硅基人与地球人的渊源开始了(5)

说到这里有必要解释一下，硅基人的星际飞船每个人的分工十分明确，每个具体任务由主副两位负责。其中硅基人0_1号专门负责融入策略制定，也就是他们决定是否以语言或者其他领域作为突破口，0_2是他的副官；硅基人1_1号完成策略实现，包括实际模型的设计与实现，对效果的把控，1_2是其副官；当然还有其他若干的任务，比如负责星际飞船的能源供给、负责规律武器的运营和星际飞船的安全等等。
随着地球上文明的发展，硅基人1_1号设计的word2vec效果逐渐难以满足需求，硅基人1_2号开始着手面向具体任务的模型设计与实现。
02
—
掉书袋
【1】 上述情节引出了word2vec（词向量，硅基人第三次将词语映射为数值的尝试部分就是word2vec）、神经网络、反向传播等深度学习的基础概念，只阐述其思想，不阐述细节。

【2】神经网络的基本结构可以参考感知机模型或者SVM模型，深度学习是以神经网络为基本的模型结构，在一定程度上模仿了人类大脑的一些生物学特征，比如神经元、神经连接、激活函数等。
【3】激活函数对来自神经元的加权信号进行非线性映射，这是神经网络结构的深度学习模型可以理论上拟合任意函数的重要基础。
【4】上述情节中硅基人第二次尝试将语言映射为可计算的数值实际上是NLP技术中的one-hot，词向量在某种程度上来讲，本质还是one-hot，只不过是one-hot向量与一个参数向量或者参数矩阵相乘得到的一个压缩后的向量。在工程实践中这个one-hot向量中的1的位置实际上就相当于字典序，直接索引到对应的指定维度的向量。
【5】反向传播是以梯度下降算法为基础，通过计算梯度寻找当前的最优值（可能是最大值也可能是最小值），然后更新全部网络结构的参数，循环往复直到模型参数达到全局最优。