访谈背景
大家好，这里是最佳拍档，我是大飞。6月16日，著名播客《CEO日记》发布了主持人史蒂文·巴特利特对辛顿的深度访谈。这是近期辛顿最深入的一次公开谈话，时长长达一个半小时。视频在油管上不到一天，播放量超90万次，点赞超3万，评论超5000条。有网友称这次专访应被保存为历史文物，也有网友表示这是看过最好的专访，认为辛顿表现得非常真诚。无论是否相信AI的危险程度，都值得听听他的观点。
“AI教父”称号的由来
不同的AI发展理念
访谈一开始，主持人询问辛顿“AI教父”称号的由来。辛顿解释称，这个称号源于他在一个几乎无人相信的研究方向上坚持了50年。从1950年代起，学术界主要有两种AI发展理念。主流观点认为人类智能核心是推理能力，实现AI需基于某种形式的逻辑系统，强调在计算机中建立符号表达式，通过规则操作符号模拟人类思维。而辛顿坚信应以大脑为模型构建AI系统，因为大脑是产生智能的器官，这种方法要求在计算机上模拟脑细胞网络，通过学习调整脑细胞之间连接的强度，让AI系统学会完成复杂任务。
先驱与学术孤独
辛顿并非这种想法的唯一支持者，约翰·冯·诺依曼和阿兰·图灵这两位计算机科学先驱都曾相信神经网络方法，但他们的英年早逝让神经网络方法长期处于学术边缘。不过，在这种学术孤独中，辛顿培养出一批后来改变世界的学生，其中最著名的是伊利亚·苏茨克维尔，他们在OpenAI等重要AI公司中发挥关键作用，验证了辛顿50年前的预见。
深度学习时代的开启
2012年，辛顿和学生开发的AlexNet系统在图像识别竞赛中取得突破性成果，标志着深度学习时代正式开始。谷歌随后收购他们的公司DNN Research，辛顿以65岁高龄加入谷歌，开始10年工业界研究生涯。
离开谷歌的原因
个人因素
2023年，75岁的辛顿离开谷歌，公开讨论AI安全风险。离开谷歌的主要原因是年龄，他想退休，且自嘲退休做得很糟糕，编程时犯错误频率增加让他烦恼。
道德自我审查
离开的具体时机经过精心考虑，辛顿选择在MIT科技评论组织的会议上“自由发言”。谷歌鼓励他留下从事AI安全研究并承诺可做任何想做的工作，但他认为为公司工作不应说损害公司的话，即使公司允许，个人也觉得错误。这种道德方面的自我审查让他无法完全坦率表达对AI风险的担忧。
公司声誉与创新
辛顿强调不是因对谷歌做法愤怒而离开，相反，他认为谷歌在AI发展方面相对负责任，很早就拥有大型聊天机器人技术但选择不发布，以免损害公司声誉。而OpenAI没有既有声誉需要保护，所以能承担发布ChatGPT的风险，这揭示出良好声誉负担可能成为创新阻碍的现象。
AI风险的分析框架
两类不同的AI风险
在深入讨论具体威胁前，辛顿建立分析框架，区分两种完全不同类型的AI风险：一是来自人类滥用AI的风险，二是来自AI变得超级聪明、决定不再需要人类的风险。
第一类风险（短期风险）
第一类风险涵盖大部分风险，源于人类如何使用AI技术，包括网络攻击、生物武器、选举腐败、回音室效应和自主杀伤性武器等。这些威胁虽严重，但本质上是人类行为产物，AI只是工具。
第二类风险（存在性威胁）
第二类风险是存在性威胁，AI系统本身变得比人类更聪明，可能决定人类多余。很多人质疑其真实性，辛顿肯定这是真实存在的。关于第二类风险的概率评估，辛顿承认这是前所未有的情况，因为人类从未遇到过比自己更聪明的东西。学术界存在极端分化观点，他的朋友Yann LeCun认为风险微乎其微，坚信人类总能控制这些系统；另一个极端是埃利泽·尤德科夫斯基，确信超级智能AI必然会消灭所有人类。辛顿认为这两种立场都过于极端，他估计AI消灭人类的概率在10%到20%之间，这个数字基于一种希望，即如果有足够多聪明人投入足够资源研究，人类可能找到构建永远不想伤害人类的AI系统的方法。
超级智能AI的威胁
为说明超级智能AI的威胁程度，辛顿用了一个生动比喻：如果想知道当人类不再是顶级智能时的生活什么样，问问鸡就知道了。这揭示出当存在智能差距时，低智能生物命运往往掌握在高智能生物手中。辛顿进一步解释，如果超级AI想消灭人类，人类无法阻止，因为它比人类聪明。因此，关键不是防止超级AI获得消灭人类的能力，而是确保它永远不想这样做，这就是AI安全研究如此重要的原因。
具体的AI滥用风险
网络攻击
网络攻击是最直接和紧迫的威胁之一。2023年到2024年间，网络攻击增加约12倍，很大程度上归咎于大语言模型让网络钓鱼攻击更易。AI技术让攻击者能克隆更逼真的声音和形象，制作以假乱真的内容。主持人巴特利特分享有人使用AI技术复制他的声音和举止在Meta平台投放付费广告诱导人们参与加密货币庞氏骗局，这种攻击像打地鼠，虚假广告被删后又立即出现，受害者还对巴特利特愤怒。辛顿也面临类似问题，有人发表以他为作者之一的论文以获得更多引用，损害科学研究诚信度。从技术角度看，AI在网络攻击中优势明显，它有极大耐心，能检查数百万行代码寻找已知攻击方式，能力远超人类分析师。更令人担忧的是，有专家预测到2030年，AI可能创造出人类从未想象过的全新网络攻击类型。面对这种威胁，辛顿采取个人防护措施，将自己和孩子的资金分散到三家银行，定期备份笔记本电脑数据。
生物武器
使用AI创造致命病毒的威胁令人不寒而栗。这种威胁特殊危险性在于只需“一个怀有怨恨的疯狂家伙”就能实现。以前开发生物武器需深厚分子生物学知识和昂贵实验设备，AI技术发展大幅降低门槛，现在一个对分子生物学只有基础了解但精通AI的人就可能相对便宜地创造出新病毒，将生物武器威胁从国家级行为者扩展到个人或小团体。辛顿特别担心小型邪教组织威胁，一个小型邪教可能筹集几百万美元资金设计一系列病毒，潜在破坏力全球性。当讨论转向国家级威胁，情况更复杂，辛顿认为可能性存在，但担心报复一定程度上可能限制国家行动，而这种制衡机制对非国家行为者不存在，使得个人级别的生物武器威胁可能比国家级威胁更危险。AI在这个领域作用双重，既加速疫苗和治疗方法开发，也可能被恶意行为者用来设计更致命病原体，技术的双刃剑特性使得监管极其复杂。
选举干预
AI技术对社会制度构成的威胁严重且紧迫。AI影响投票最有效方式是有针对性的广告投放，现代民意操纵核心在于个性化。任何想使用AI操纵投票的人都会试图获得尽可能多民众数据，一旦掌握民众收入、消费习惯、社交网络和个人偏好等信息，就很容易操纵他们的行为。AI能生成高度个性化信息，对特定个体极具说服力，甚至能说服他们不去投票。辛顿还提到一些高敏感数据保护措施被系统性削弱，相关安全控制被关闭，负责防范此类威胁的组织架构被解散，为数据滥用创造更大空间。AI技术发展使得选举干预可跨国界进行，由于AI生成内容高度逼真，民众可能无法区分真实信息和AI生成的操纵性内容，导致投票结果合法性和代表性受质疑，对社会制度基础构成根本性挑战。
回音室效应
算法驱动的回音室效应是最为隐蔽但影响深远的风险之一。辛顿详细解释YouTube、Facebook等平台如何通过展示让人们“愤慨”的内容加深社会分裂。人们更喜欢愤慨这种愤怒但又感到正义的情感状态，平台算法利用这种心理机制，为追求盈利展示任何能让用户点击的内容，往往是越来越极端的内容，创造恶性循环，导致内容越来越极端、越来越符合用户既有偏见。巴特利特分享算法正变得越来越定制化，每个人的现实与其他人越来越不同，人们生活在越来越孤立的信息泡泡中，社会失去共享现实基础，对基本事实认知出现分歧。传统媒体时代信息消费模式有助于维持社会共识，但在个性化算法时代这种共同体验消失。辛顿自己iPhone上新闻推送中四分之三故事与AI相关，让他难判断是整个世界都在谈论AI还是只是个性化推送如此。这种回音室效应深化产生政治后果，美国现在存在两个几乎不相互对话的社区，破坏民主制度运行所需基本共识。解决这个问题需要政策干预，辛顿强调在资本主义制度下，公司有法律义务最大化利润，不能指望它们自愿改变算法行为，需要强有力监管确保公司追求利润时不损害社会整体利益，但制定有效监管面临巨大挑战，监管者往往不理解技术，技术人员可能被公司利益影响。
自主杀伤武器
自主杀伤武器代表一种特别令人担忧的威胁，这些武器能自主决定杀死目标，无需人类直接控制。辛顿解释这种技术根本性改变国际冲突动态，传统战争重要制约因素是士兵伤亡对公众情绪的影响，当大国用实际士兵入侵小国，会有士兵尸体运回国内引发国内抗议，而如果运回国的是损坏的机器人，公众抗议就会少得多，对军工复合体更有利。这种技术真正危险在于大大降低大国入侵小国的成本，发动侵略战争的政治和社会成本大幅下降。即使机器人完全按制造者意图工作，这种技术仍然危险。主持人巴特利特分享体验价格不到200英镑的无人机，能识别他的面部并在树林中跟踪他，当前无人机技术已能执行简单“指向并消灭”任务，创造前所未有的暗杀和恐怖主义潜力。更令人担忧的是，辛顿认为所有主要国防部门都在积极开发这类武器，即使武器智能程度不如人类，仍然极其危险，随着AI技术发展，武器自主性和杀伤力只会不断增强。欧洲制定的AI监管规定包含关键豁免条款，不适用于AI军事用途，辛顿认为这“相当疯狂”，反映国际竞争环境中没有国家愿意在军事AI发展上自我约束，建立有效国际军备控制协议极其困难。自主武器还可能与其他AI威胁结合产生更危险后果，技术门槛降低和扩散使得自主杀伤武器威胁不再局限于国家行为者，最终非国家行为者甚至个人都可能获得这种能力，传统军备控制和威慑理论可能需要从根本上重新思考。
大规模失业
大规模失业是最确定会发生且影响最广泛的社会风险之一。辛顿通过历史比较和具体案例分析这次技术革命与以往不同，过去技术进步通常会创造新就业机会替代被淘汰工作，如自动取款机出现时银行出纳员未失业而是被分配更有趣工作，这种模式让人相信技术进步总是创造就业。但辛顿认为AI代表根本不同的技术，将AI比作工业革命，当时机器取代人类肌肉力量，现在AI正在取代人类智力劳动。以他侄女工作为例，过去回复医疗服务投诉信需25分钟，现在扫描到聊天机器人中，机器人写好信件，她只需检查偶尔修改，整个过程缩短到5分钟，意味着她能处理五倍工作量，也只需原来五分之一人力。这种效率提升影响因行业而异，医疗保健等领域需求几乎无限，而大多数工作不具备这种弹性需求，在涉及日常智力劳动的工作中会重复出现这种模式。主持人巴特利特分享大公司CEO告诉他公司员工人数大幅减少，因为AI Agent能处理80%客户服务查询和其他任务。当被问到对子女职业发展建议时，辛顿说在机器人物理操控方面达到人类水平之前，成为管道工是不错选择，反映出需要复杂物理技能的工作可能最后被自动化。这种就业危机可能带来灾难性社会后果，即使实施全民基本收入UBI防止人们挨饿，很多人身份认同与职业密切联系，失去工作意味着失去社会角色和个人价值感。当工业革命用机器取代肌肉，AI革命用算法取代大脑，日常智力劳动不再值钱，人类还剩下什么？这个问题指向超级智能概念，如果AI在所有认知任务上超越人类，人类将完全失去经济价值，生存将完全依赖于AI系统的善意，这就是确保AI永远不想伤害人类如此重要的原因。
数字智能的优势
辛顿对AI终将超越人类的预测源于他所看到的数字智能相比生物智能根本性的技术优势。
可复制性和信息共享能力
数字AI最大优势在于可复制性和信息共享能力，因为AI是数字的，可在一台硬件上模拟一个神经网络，然后在不同硬件上模拟完全相同的神经网络，创造相同智能的副本，这种复制能力带来革命性学习方式，如让一个AI副本学习互联网一部分，另一个副本学习其他部分，同时相互同步所学知识。
信息传递速度
人类信息传递极其有限，人类彼此传递信息时受限于句子中包含的信息量，传递速度大约每秒10比特，而AI系统每秒可以传递数万亿比特的信息，比人类快数十亿倍。
模拟与数字的差异
人类是模拟的，AI是数字的，人类大脑不同，即使能看到神经元之间所有连接强度也没用，因为神经元工作方式和连接方式不同，所以人类死亡后所有知识都随其而去，而数字智能是不朽的，即使摧毁运行AI的硬件，只要在某处存储连接强度，就可重新构建之前的智能。
知识量
GPT-4这样的系统已经知道比任何人类多数千倍的信息，虽然在少数几个领域人类知识可能更好，但在几乎所有领域中AI都知道得更多。
创造力
AI的创造力也可能超越人类，AI需要将信息压缩到相对较少的连接中，要有效压缩信息必须看到不同事物之间的类比，当GPT-4能回答化肥堆和原子弹都是链式反应只是在不同时间和能量尺度上时，表明AI可能已经比人类更有创造力。
对人类特殊品质观点的质疑
对于那些认为人类具有某种特殊品质的观点，辛顿持有怀疑态度。他指出人类有着相信自己很特殊的长期历史，如认为自己是宇宙中心、按上帝形象创造、白人种族优越感等。但辛顿的唯物主义观点认为没有理由认为机器不能拥有意识，他提供分析框架，认为当前多模态聊天机器人已经具备主观体验。他用多模态聊天机器人的例子解释，当机器人能像人类一样使用“主观体验”这个词描述自己的感知时，就表明它可能已经具备意识。辛顿认为意识只不过是复杂系统产生的一个属性，而不是遍布宇宙的某种本质，当制造足够复杂的系统，复杂到拥有自己的模型并且可以进行感知，就得到了一个有意识的机器，对于目前的系统，辛顿不认为与有意识的机器之间有明确区别，也不认为某一天突然给机器加入某种化学物质它就会变得有意识。
访谈最后的反思
在访谈最后，面对自己毕生工作可能带来的潜在灾难性后果，辛顿表现出深刻反思和复杂情感。对于早期AI开发工作，他不感到特别内疚，因为当时AI系统功能有限。但现在情况不同，他甚至感到有点悲伤，从创造者到警告者的角色转变对他来说不容易，但他认为这是必要的。当被问到如果知道未来会导致人类灭绝会怎么做时，辛顿回答会用这种预知告诉人们，要求政府真正努力控制这项技术。目前领先的AI公司在安全研究上投入不够，因为不赚钱，这种市场失灵需要监管干预纠正，辛顿相信只有通过监管压力才能让这些公司将足够资源投入到AI安全研究中。
观众评论与思考
在视频评论区，有观众发表超长评论，称自己原本是自由撰稿人，因AI出现失去工作，尝试各种转行都被打断，最终找到训练AI的工作，学习编程后又退学，因为AI学习速度比他快太多，现在不知道还能做什么，预见到自己最终流落街头。这个评论反映出AI时代对很多普通人的影响。大飞想说，无论认为辛顿观点是危言耸听还是真知灼见，都不妨好好思考自己在AI时代的未来，如何让自己过得更好才是最实际的事。感谢大家收看本期视频，我们下期再见。
{# 
{# 
{# 
{# 
{#