硅基人与地球人的渊源开始了(4)

【2】第二次尝试：把每个词汇表征为一个向量，而且向量维度就是词表长度，也就是每个向量都是5000维，比如“吾”这个词序号为3，那么这个词对应的5000维向量就是第三个数字是1，其余数字为0：<0,0,1,0,... ...,0>，相比第一次尝试的方法，这种方法可以实现比较好的计算，但若是词表发生变化（尤其变至上万甚至几万的情况下）那么计算量就会陡增，因为每个词都是几万维度的向量，进行梯度计算时就会出现梯度消失或者梯度爆炸等一些现象。
【3】第三次尝试：在第二次的尝试基础上结合设计出来的网络结构，将几万维度的向量进行一个压缩，比如是512维（512是2的9次幂），但是维度的含义解释性比较低。相比以前BIT在处理陨石雨攻击时采用的将陨石刻画为<密度、体积、长度、角度...>等这样有具体含义的特征序列不同，现在这种方法对语言符号的表示是未知特征的序列，比如<0.234，1.34，0.009，... ...，4.11>，其中每个数字都可以刻画某种类似陨石飞过来的角度这样的特征，但是特征含义未知，具体这个数值是多少也未知，需要在训练过程中慢慢更新优化。

硅基人对第三次尝试的方法尤为满意。
硅基人还设计了两种用来学习词语向量的方法，一种是根据上下文预测当前词语，另一种是根据当前词语预测上下文。在进行着两种任务的学习过程中不断更新参数，使得预测得结果更准，最后产生的每个词汇的向量就是词向量。硅基人对得到的词向量进行了一些数值上的验证，效果甚佳。
关于数据，硅基人计划通过收集每种语言环境下的具体所指，包括物理实体及其关系亦或是情绪、思考等抽象概念，获得一大批数据来训练神经网络模型。但是考虑到收集这样的语言数据消耗大量的资源，而且星际飞船能源补给出现问题，需要紧急返航以补充能量，而且硅基人的生命周期太长，下次来的时候地球语言可能已经发生了几代的更迭，数据收集的代价过大，也正是出于这样的考虑，硅基人才设计了这个可以智能“学习”的神经网络模型。硅基人决定一次性收集一批语料作为启动数据，让神经网络结构自动学习这样的语言，并且在硅基人的星际飞船回航期间可以跟随地球语言的发展不断更迭，通过翻译加强文明发展和沟通。