![]() |
![]() |
12岁的流浪汉 Walter Pitts 被一群黑帮匪徒追打躲进一个图书馆。打手们找了一圈后走了,而Walter Pitts却没离开,注意力完全被一套三卷本的书吸引了:Alfred North Whitehead 与 Bertrand Russell 合著的《Principia Mathematica》。这是作者为纯数学提供逻辑基础的雄心勃勃的大部头著作。
独立学习3年之后,15岁的Walter Pitts 写信给 Russell,指出在第一卷里的几个错误。Russel 马上回信,邀请 Walter Pitts 去英国学习。
Walter Pitts 没有去英格兰,而去了芝加哥大学。
在进芝加哥大学第一年的时候,芝加哥大学的数学教授 Carnap 出了一本关于逻辑学的新书。
一天, Walter Pitts 走进 Carnap 的办公室,手里拿着写有自己注释的Carnap 的新书, 对书中的几个地方提出尖锐的评论。
震惊之后,Carnap 开始反驳,两人交流了一个小时左右。Walter Pitts把书留在Carnap 那里便离开了办公室。
Walter Pitts 的故事和其他天才的故事一样,让人难以想象,就像莫扎特、王维、冯纽曼,这些年纪轻轻就在自己的领域独步天下,似乎全不费力,信手拈来。那么这些天才是否可以人造?
神经科学发现神经元之间的联结“突触”,可以被神经元的活动所改变。这一点很可能是学习的物质基础。在人工智能领域,人工神经元之间的联结强度的改变,也是人工神经网络可以学习的基础。
这一特性,被目前的“深度学习”推到了极致,可以说引起了一个深度学习的革命。在网络搜索、网站过滤、广告推送、图像识别、语言翻译等大量应用都可以找到深度学习的实际应用,其中 Geoffrey Hinton 做出了突出的贡献。
1982年,Geoffrey Hinton 和 Terry Sejnowski一起找到了训练人工神经网络的方法,从而发明了玻尔兹曼机,在人工智能和计算神经科学领域都有很重要的应用。
他们还和同行一起推动了BP算法,即反向传播算法的广泛应用,之后一直致力于优化人工神经网络的学习。
他们两个人都从神经系统的原理得到灵感:LeCun 把脑的视觉系统的组织结构扩展到人工神经网络中,发明了卷积神经网络,实现了高效的手写字的识别;而Geoffrey Hinton 则把脑皮层中分层的组织原则移植到人工神经网络中,在2006年发明了深度学习的训练方法。
恰逢计算机能力在2006前后获得了急速提升,网络的普及使用提供了大规模的数据,使得深度学习得以发挥其多层网络的优势。在大数据的训练和冲击下,那些局部极小值消失了,取而代之的是全局最小值。
目前,深度学习在很多特定任务,例如人脸识别、图像中的物体识别、语音识别等应用中的正确率已经超过了人类。
Geoffrey Hinton兼职进入Google,而谷歌也收购了“深脑”,这一由系统神经科学家创造的公司,结合深度学习与神经科学中的强化学习概念,领导的团队创造了 AlphaGo,并在围棋上战胜李世石和其他顶级职业高手,这也许是深度学习革命的最好注解。
但有趣的是,与 Pitts 认识的人都会觉着Pitts乐于交流,极好相处,谈吐不凡,知识渊博。往往你问他一个科学或者艺术的问题,他可以把这个问题的来龙去脉、前因后果娓娓道来,讲上两三个小时,闻者不倦。
Pitts 的天才和遭遇也许正是目前人工智能还无法企及的能力。深度学习需要“监督学习”,也就是需要提前知道最终答案,从而训练人工神经网络。
(作者单位:中国科学院神经科学研究所)