神经网络受人脑启发而出现,因此人类社会的运作机制与神经网络训练也有着各种相似和关联。

这一年,涉猎了不少别的学科。大多浅尝辄止,但还是收获巨大。每挖一个新坑,我就会习惯性地找到新学科与旧学科之间的关联。特别的,我更偏好于使用本专业的视角去看待这些知识。例如,人类社会的运作机制与训练神经网络之间的关联。

​ 每一个人,都可以被想象成一台计算机:

​ 他有着作为中央处理器与存储器的大脑;有着作为外围处理机的小脑;跳动的心脏则是整个机器的动力来源——电源;他有着各种输入器件:作为摄像头的眼睛、作为麦克风的耳朵、作为气相成分分析仪的鼻子、作为固液相成分分析仪的舌头、作为压力温度传感器的皮肤。 他有着各种输出器件:作为运动部件的肌肉、作为音频信号输出的声带(哦,其实这也应该是肌肉控制的)。肌肉控制的姿势,表情作为人的显示器。而声带则作为扬声器。

​ 输入输出,运算存储控制器,以及其他设配都齐备了,作为一个人,他的硬件已经准备好了。然而,仅仅有作为硬件的肉体,是不够称之为一个完整的人的。软件——才是人的灵魂。我们所有的行为模式,本质上都可以抽象为 “接受刺激——做出反应”这样的模型。软件,就是这样一种具体的处理机制:它将特定的输入与输出相匹配,完成传感器信号到执行器动作的转化与映射。

​ 从呱呱坠地的娃娃开始,人就开始不断的学习——亦即建立这种映射关系的过程。首先,我们学会一种语言,建立了一种最最基本的有限状态自动机模型,建立了基本的规则:用于思考。进一步,在这种语言的基础上,我们接受社会文化的熏陶——这便是安装操作系统了。所谓文化——不妨将其理解为一组特定的行为模式,它为生活在同一个社会的人,所有的行为模式,制定了通用的规范,提供了标准的接口。接受文化的影响,便是遵从这样的一种交流规范,使用同一种标准去运行。当然,文化所提供的,只是一种建议标准(RFC)。这种标准我们称之为道德,价值观。提供了运行所需要遵从的强制标准的,是法律Law。

​ 有了硬件和基本的操作系统,接下来计算机就可以运行了。但是,正如神经网络需要训练才可以使用一样,人也如此。一个小孩子,其行为往往表现的非常不稳定:两次近似的输入,可能得到巨大的结果差异。但是经过训练与学习,这种不稳定性会逐渐消失:经过了一二十年的训练,人会变得成熟而稳重。如果将感情状态纳入输入因子考量,那么相同的输入,却表现出巨大的差异这种情况,应该是很难在正常的成年人身上看到的。这便是进入了稳定的工作状态。

​ 然而,在安装完操作系统之后,真正的任务总是由应用程序来完成的。计算机的价值体现在它能进行的工作上,而能进行的工作由其所软件决定。接受教育的过程,就是安装这些软件的过程。就是建立一个用于实现新功能的神经网络,并对其进行训练的过程。

​ 对于一些基础的应用程序:比如画图,录音机,记事本,写字板,播放器。这些最基本的软件,我们在家庭中,小学里习得。再进一步的Word语文,Excel数学,PPT常识,则留到大学前的教育体系中完成。而对于更高级的专业软件:杀毒软件(医科),Matlab(工科),Latex(理科),Acrobat(文科),电源管理(农科),网络应用(商科)这些软件,我们在大学里获得。不过正如大学的水平也是各有高低一样,软件公司的产品也是良莠不齐。这就是属于训练不佳,设计不当的神经网络模式。

​ 有的计算机,安装完这些软件,大学毕业了,就可以正式投入计算工作之中了。但是,还有一部分人,进一步掌握了更高级的软件:创造软件的知识。编写新的软件,创造新的知识。这便是读博,走上学术道路。创造一种设计神经网络的神经网络,建立一个自指的系统。

​ 对于每台计算机,他们所选择安装软件的策略是不同的。有的计算机安装了许许多多各式各样的软件,每样都只是使用一些简单的功能,但是将这些软件相互组合,妙用无穷。这就是广度偏好型学习,是为学者。有的计算机只装那一样专业软件,但是高度定制化,各种强悍功能用起来得心应手,深度偏好型学习,是为专家。这恰好是MBIT第四维度J与P的区别。个人而言我认为专家型更优,但实际执行时倾向于组合使用两种策略:本科使用学者型,研究生以后使用专家型。因为每一门学科的学习曲线几乎都呈对数或对数-s型T函数规律,按照边际收益递减的规律,在学习初期的效率是显著的。各个软件都有共通之处,同时学习亦能减少学习成本。同时更有可能层展涌现出无比强大的组合:比如Resharp与VS,Everything与TC等等。当然更有效的解决方案是:减少每天停机维护的时间,以同时兼顾深度与广度。

​ 无论是科研还是工作,有一点是确定的,技能的熟练度会随着时间而逐渐增加,经验会随着劳动而逐渐积累。这便是一个参数最优化的过程。有的人学的快但不扎实,就是神经网络的学习速度α值高,有的人学的慢,但是扎实稳定,这就是α值低。有的人学的又快又好,这就是收敛算法好,学习能力强,智商高。

​ 人的学习速度也会随着时间的推移而不断减小,这是一种老化的过程,一种趋于稳定的过程。老教授的α值很低,他们的知识已经收敛到一个特定的点上,能高效地适应稳定而细微的环境变化,对于输入迅速给出高置信度的输出。年轻人的α值高,输出不稳定,但是很有可能就闯到了一个新的领域之中。

​ 人类与机器相比,还有一个特殊之处在于人有感情。感情是什么?感情应当是对于外界刺激一种心理反应。其实可以视为波动因素,扰乱因子。然而,感情不可能这么简单的类BUG存在。在我看来,感情是一种非常非常复杂而高级的反应模式与规则,它是在大自然亿万年优胜劣汰过程中所筛选出来的生存策略,无数残酷竞争所训练出的成熟的神经网络。它在我们面临紧急危险情况来不及进行分析决策时,提供了一种高速高效的异常处理机制。亦即是一种快速近似算法。只不过这种方法往往都被人们所滥用了。

​ 算了,扯了这么多。浪费快一个小时了…,突然觉得好没意思。