本字幕由TME AI技术生成
加州大学圣迭戈分校的一位名叫戴维
鲁梅尔哈特david
尔romilheart的教授是PDP小组的主要人物之一
他拥有心理学
核数学学位
当被问及鲁梅尔哈特时
辛顿常常回忆他们被迫听双方都毫无兴趣的一场讲座的时光
讲座结束时
辛顿抱怨说他刚刚浪费了一个小时的生命
鲁梅尔哈特说他并不介意
鲁梅尔哈特说
如果可以忽略台上的讲座
他就有六十分钟不间断的时间来思考自己的研究了
对辛顿来说
这就是他长期合作者的缩影
鲁梅尔哈特给自己设定了一个非常特殊但又核心的挑战
要打造一个多层的神经网络
其中的一个大问题是
你很难确定每个神经元对整体计算的相对重要性权重
对于感知机这样的单层网络
这至少是可行的
系统可以自动设置其单层神经元的权重
但是对于多层网络
这种方法根本行不通
神经元之间的关系过于广泛和复杂
改变一个神经元的权重
就意味者要改变其他所有依赖于其行为的神经元
人们需要一种更强大的数学方法
将每个权重的设定与其他所有权重结合起来
鲁梅尔哈特认为答案是一个叫反向传播backpropartion的过程
这本质上是一种基于微分的算法
当神经元能够分析更多数据
并更好的理解每个权重是什么的时候
它就会发送一种数学反馈
沿着神经元的层次结构向下传递
金顿刚拿到博士学位并到达圣迭戈时
他们讨论这个想法
他告诉鲁梅尔哈特
这个数学把戏永远不会成功
他说
毕竟设计感知机的弗兰克
罗森布拉特已经证明了
它永远不会有效
如果你打造了一个神经网络
并将所有的权重设置为零
系论就可以学会自己调整权重
将变动往下串联多层
但最终每一个权重都会和其他权重一样落在同一个地方
无论你如何努力的让系统采用相对权重
它的自然趋势都是不断较平
正如弗兰克
罗森布拉特所展
是的
这只是数学的运行方式
用数学术语来说
这个系统无法打破对称性
一个神经元永远不会比其他任何神经元更重要
这是一个问题
这意味着这个神经网络并不比感知机好多少
鲁梅尔哈特听取了辛顿的反对意见
然后提了一个建议
如果没有将权重设置为零呢
他问道
如果数字是随机的呢
他建议
如果在开始时将所有的权重设置为不同的数值
那么数学的运行情况会有差异
不会将所有的权重叫平
他会找到对应的权重
让系统真正识别出复杂的图形
比如一张小狗的照片
星顿常常说
旧的想法也是新的
他认为科学家永远不应该放弃一个想法
除非有人证明了他行不通
二十年前
罗森布拉特已经证明了反向传播是行不通的
所以辛顿放弃了
然后鲁梅尔哈特提出了这个小建议
在接下来的几个星期里
他们两人开始着手打造一个从随机权重开始的系统
这个系统可能会打破对诚性
它给每个神经元分配不同的权重
通过设置这些权重
系统实际上可以识别图像中的图形
这些都是简单的图像
该系统无法识别狗
猫或汽车
但由于反向传播
他现在可以处理被称为异惑的事情了
这弥补了十多年前马文明司基所指出的神经网络的缺陷
系统可以检查一张纸板上的两个点
并回答那个难懂的问题
他们是两种不同的颜色吗
但他们的系统也仅限于此
他们再次将这个想法搁置一边
然而
他们找到了绕过罗森布拉特的证明的方法
在随后的几年里
辛顿与特里谢诺夫斯基建立了单独的合作关系
后者当时是普林斯顿大学生物系的博士后
他们通过第二个未命名的连接主义者小组会面
这个小组每年在全美各地召开一次会议
讨论的很多话题与在圣迭戈讨论的相同
反向传播就是其中之一
波尔兹曼基也是
多年之后
当有人让辛顿给那些对数学或科学知之甚少的普通人解释波尔兹曼机时
他拒绝了
他说
这就像让诺贝尔奖得主
物理学家理查德
费曼richardfayman解释他在量子电动力学方面的工作
当任何人要求费曼用外行人能理解的语言解释他赢得诺贝尔奖的工作时
他都会拒绝
十四 他会说
如果我能向普通人解释
那他就不值得赢得诺贝尔奖了
波尔兹曼机当然也很难解释
部分原因在于他是一个数学系统
基于奥地利物理学家路德维希
波尔兹曼勒德维k曼得意调百年理论
涉及一个似乎吁人工智能完全无关的现象
加热气体中粒子的平衡
但其目标很简单
它是一种打造更好的神经网络的方式
和感知机一样
波尔兹曼机通过分析数据
包括声音和图像数据来学习
但它增加了一个新的变化
就是会创造自己的声音和图像
然后通过对比自己创造的数据与分析的数据来进行学习
这有点像人类的思维方式
因为人类可以想象图像
声音和文字
人们会做梦
夜晚和白天都会
然后在现实世界中运用这些想法和幻象
借助波尔兹曼基
辛顿和谢诺夫斯基希望用数字技术重新创造这一人类现象
这是我一生之中最激动人心的时刻
谢诺夫斯基说
我们确信我们已经弄清楚了大脑是如何工作的
但是
与反向传播一样
波尔兹曼基也是一项正在进行中的研究
他没有做任何有用的事情
多年来
他也徘徊在学术界的边缘
辛顿对各种不受欢迎的想法都抱有宗教般的信仰
这可能让他脱离了主流
但也确实给他带来了一份新工作
一位名叫斯科特
法尔曼scottforman的卡内基梅隆大学教授与辛顿和谢诺夫斯基一起参加了年度联接主义者大会
法尔曼开始认识到
招穆星顿可已成为该大学队冲其在人工智能领域压注的一种方式
与麻省理工学院
斯坦福大学和世界上大多数其他实验室一样
卡内基梅隆大学专注于符号人工智能研究
法尔曼认为神经网络是一个疯狂的想法
但他也承认
大学里正在开发的其他想法可能同样疯狂
一九八一年
在法尔曼的宝剑下
辛顿去卡内基梅隆大学面试了
他做了两场讲座
一场在心理学系一场
在计算机科学系
他的讲座就像一条信息的消防水袋
信息极度密集
他根本没有给不熟悉该领域的人多少停顿的时间
因为他在讲每句话时
都挥动手臂
将双手分开
然后在表明自己的观点时
又将双手合在一起
他在讲座中并没有强调数学或计算机科学
仅仅是因为他对数学或计算机科学没那么感兴趣
他更多的是强调想法
那些有兴趣并且能够跟上他思路的人感到莫名的兴奋
那一天
他的讲座引起了人工智能运动的开创者之一艾伦
纽厄尔的注意
纽厄尔是数十年来推动符号方法的领军人物
是卡内基梅隆大学计算机科学系主任
第二天下午
纽厄尔给了新顿一份该系工作作
辛顿在接受之前推辞了一下
有些事
你应该知道
辛顿说
什么事
纽额尔问
实际上
我对计算机科学一无所知
没事儿
我们这里有人懂这个
既然如此
我接受这份工作
工资呢
纽额尔问
哦 我不在乎
辛顿说
我做这些不是为了钱
后来
辛顿发现
他的工资仅仅是同事工资的大约四分之三
二点六万美元对三点五万美元
但他为自己的非正统研究找到了归宿
他继续研究波尔兹曼机
还经常在周末开车去巴尔的摩
这样他就可以与约翰斯霍普金斯大学实验室里的谢诺夫斯基合作了
在此过程中
他还开始完善反向传播的研究
认为他会产生有用的比较
他觉得自己需要一些可以与波尔兹曼基做对比的东西
而反向传播就是不错的选择
在卡内基梅隆大学
他不仅有机会探索这两个项目
还能使用更好更快的计算机硬件
这推动了研究工作向前发展
使这这些数学系统能够从更多的数据中学到更多的东西
一九八五年
也就是他在波士顿向明斯基演讲的一年之后
突破性工作出现了
但产生突破的不是波尔兹曼基
而是反向传播
在加州大学圣迭戈分校
辛顿和鲁梅尔
哈特证明了多层神经网络可以调整自身的权重
然后在卡内基梅隆大学
辛顿证明了这个神经网络实际上可以做的事情
不仅仅是给数学家留下深刻的印象
当他输入家普的碎片信
其实他可以学会识别家庭成员之间的各种关系
这项小技能表明他能够做到更多
如果他告诉这个神经网络
约翰的母亲是维多利亚
维多利亚的丈夫是比尔
他就可以推断出
比尔是约翰的父亲
辛顿不知道的是
在完全独立的领域
其他人已经设计出了类似于反向传播的数学技术
但与之前的人不同的是
辛顿展示出的这种数学想法具有前景
他不仅可以用于图像
还可以用于文字
他也比其他人工智能技术更有潜力
因为他可以自己学习
第二年
辛顿与一位名叫罗莎琳德
扎林roslin
lyin德因国学者结婚了
这是他在因国萨塞克斯大学做博士后研究时人世的
一位分子生物学家不相信顺势疗法
这将成为他们两人关系紧张的根源
对一位分子生物学家来说
相信顺势疗法是不光彩的
所以生活很艰难
辛顿说
我们不得不达成一致
不谈论这个
他是一名坚定的社会主义者
不喜欢匹兹堡或罗罗纳德
里根的美国政治
但对辛顿来说
在这段时期
他自己的研究富有成果
婚礼当天早上
他消失了半个小时
给世界领先的科学期刊自然的编辑寄去了一个包裹
包裹里有一篇描述反向传播的研究论文
作者是鲁梅尔
哈特和一位名叫罗纳德
威廉姆斯ronaldwilliams的美国东北大学教授
这篇论文在当年年底发表了十五
这是被整个世界忽视的那种学术时刻
但在这篇论文发表之后
神经网络我进入了一个乐观和进步的新时代
随着该领域走出第一个漫长的寒冬
并乘着更大的人工智能投资的浪潮前进
研究人员所说的反向传播不再仅仅是一个想法了
第一次实际应用发生在一九八七年
卡内基梅隆人工智能实验室的研究人员正试图制造一种可以自动驾驶的卡车
他们以一辆形似救护车的宝蓝色雪佛兰汽车为基础
在车顶安装了一个手提箱大小的摄像机
并在后备箱里装上了当时被称为超级计算机的东西
这种机器处理数据的速度比当时典型的商用计算机快一百倍
整体的思路是
这台包括几块电路板
一些电线和硅芯片的机器将读取车顶摄像头传来的图像
并决定卡车在前方道路上应该如何行驶
但这需要一些努力
几名研究生正在为所有的驾驶行为人工编写代码
一次一行软件代码
为卡车在道路上遇到的各种情况编写详细的指令
这是一项徒劳的工作
到了那年秋天
也就是该项目启动几年之后
这辆车的速度只有每秒几英寸一
然后
在一九八七年
一位名叫迪安
波莫洛
dem泡莫o得意蔫吉博士生将所有的代码丢到一边
用鲁梅尔哈特核心盾提出的想法从建了软件
他称自己的系统为alvin
两个n代表神经网络
在他完成后
卡车能以一种全新的方式运行了
他可以通过观察人类如何在道路上行进来学习行驶
当波莫洛和他的同事驾驶卡车穿过匹兹堡的胜利公园
沿着沥青自行车道蜿蜒前行时
卡车利用车顶摄像头拍摄的图像来跟踪司机们在做什么
正如弗兰克
罗森
布拉特的感知机可以通过分析纸板上的方格来学习识别字母一样
这辆卡车可以通过分析人类如何处理道路上的每个转弯来学习行驶
很快
他就独自在胜利公园行驶了
起初
这辆加大马力的宝蓝色雪佛兰汽车载着几百斤的计算机硬件和电器设备
以每小时九到十英里或更慢的速度行驶
但随着他继续与波莫洛和其他研究人员一起学习在更高的速度下分析更多道路上的更多图像
他继续得到改进
美国中产阶级家庭往往在他们的车窗上贴着车上有婴儿或车上有奶奶的标志
于是
波莫洛和他的研究伙伴给elvin贴上了一个写着车上没有人的标志
这是真的
至少在精神上如此
一九九一年一个星期天的清晨
elvin以接近六十英里的时速从匹兹堡开到宾夕法尼亚州的伊利
在明斯基和佩佩特的的感知机一书出版二十多年后
alvin做到了他们说神经网络做不到的事情
辛顿没有去现场见证
一九八七年
也就是波莫洛来到卡内基梅隆大学的那一年
辛顿和妻子离开美国前往加拿大
他愿意说的理由是
罗纳德 里根
在美国
人工智能研究的大部分经费来自军事和情报组织
其中最著名的是美国国防部高级研究计划局darpa
这是美国国防部中专门研究新兴技术的部门
他创建于一九五八年
是为了回应苏联发射人造卫星而设立的
从人工智能最早的时候起
他就一直资助该领域的研究
十六
这是在感知机一书出版后
明斯基从罗森
布拉特和其他连接主义者那里撤出的赞助资金的主要来源
他也资助了波莫洛对alvin的研究
但在当时的美国政治环境中
围绕着伊朗门事件的争议频发
里根政府官员秘密向伊朗出售武器以资助反对尼加拉瓜社会主义政府的行动
十七
星顿逐渐对依赖美国国防部高级研究计划局的资金感到不满
同时
他的妻子怂恿他搬到加拿大
他说自己不能继续在美国生活了
在神经网络研究复兴的高峰时期
辛顿离开了卡内基梅隆大学
到多伦多大学担任教授
在这次搬家几年之后
当辛顿大费周章的为自己的研究寻找新的资金时
他怀疑自己是否做出了正确的决定
我本应该去伯克利的
他对妻子说
伯克利
他的妻子说
我愿意去伯克利
但你说过
你不会住在美国
那不是美国
是加州
但是他们已经做出了决定
他到了多伦多
这次搬家
改变了人工智能的未来
更不用说地缘政治的格局了
