为了阻止人类毁灭，人工智能教父选择与全世界为敌。,50年前人工智能之父说服了每一个人
大家都知道，上周差评君去WAIC上看机器人去了，但其实咱也顺便看了看诺奖得主，AI教父辛顿的一个演讲。
话里话外的总结一下就是，老爷子又开始担忧了。
现在AI太厉害了，已经有点控制不住了，各国得赶紧想办法给它管管，可不能养虎为患。
当然很多差友估计也都知道，这也不是老爷子第一次这么说，这两年他一直觉得自己打开了潘多拉魔盒，跟叶文洁似的，点燃了火，却控制不了它。
该说不说，AI这玩意儿到底安不安全，会不会突然长脑子，把咱人类给一波团灭了，其实一直是这行里最前沿的话题之一，谷歌的哈萨比斯前几天也担忧过。
虽然每次大家一说AI要成精了，科学家们都会站出来辟谣，让大家冷静冷静。但是你要较真，未来AI到底会不会有意识，毁灭人类？那他们可就不好说了，科学家里也有信的有不信的。
这里边儿最核心，大家都公认的事其实就一个，AI现在确实太强了。不过咱今天想跟大家唠的是，让这些大佬感到恐惧的，究竟是什么。
中国现代有个哲学家叫赵汀阳，这人说你要讨论AI安全性这块儿，那就得话分两头。一个叫意识的威胁，另一个叫能力的威胁，先别把这两件事搞混。
咱就拿辛顿这次讲话来说，首先第一个前提，他觉得这人脑，跟现在的大语言模型（LLM）其实差不多，都一个类型。
其实这也好理解，深度学习、神经网络啥的说白了，它本来就是带点模仿生物的样子做的嘛。咱编辑部不少有育儿经验的同事也觉得，小孩刚开始学语言啥就跟训练大模型很像很像。
所以你要这么去推理，AI这玩意他很可能也就跟小孩一样，能发展出来自我意识，那它就也有青春期，也会叛逆啊。看过动漫的都知道，中二小孩谈个对象都得毁天灭地的，万一这AI学歪了，那不就完蛋了。
所以像这种，这就叫意识的威胁。
举个例子，22年谷歌有个事儿闹挺大。说是有个谷歌工程师，跟谷歌的LaMDA模型聊天，聊着聊着发现这东西太像人了，什么都懂，还说自己有意识，不想被关掉。于是这哥们儿就吓到了，一封预警信交上去，结果谷歌反手把他给开了。当时就搞得一堆人说，谷歌这老小子有阴谋啊，搞智械危机啊。
然而在工程师眼中，这属实是有点san值太低了。因为LaMDA其实跟别的模型没啥区别，只是规模更大了，语言更流畅，所以刚开始接触到的测试者就被吓晕了。
但在三年后的现在，各家的大模型其实都比LaMDA会说话，甚至像GPT-4o啥的，还专门要测一个情商分。
至于大家觉得像人，当时有认知科学家就分析，说这是因为人类天然有拟人化的偏见，会把有人类特征的东西投射在非人实体上，这种事在视觉上其实更常见，比如这张图。
那有朋友可能就要问了，你咋就能确定模型没有自我意识呢，万一这些模型其实都有意识，只不过装的清纯无害呢？
老实说，要这么问，那这问题其实没法回答。
现代哲学上有一个叫哲学僵尸的概念，啥意思呢，就是假设你身边有个伪人，跟活人一毛一样，他也会说话，也会拉屎，下雨也知道往家走，你跟他讲笑话他也跟着笑，你俩看恐怖片他也抖，但是以上这些所有动作都是它装的，其实它没有自我意识，内心毫无波澜，只是个有这种逢场作戏的条件反射的躯壳。
那么问题来了，你怎么判断你身边这个朋友是活人还是伪人呢？
这个思想实验就是说，对个体而言，你其实没法判断对面的人是不是真有自我意识，那就更不要说AI和机器人了。
所以对于AI会不会产生意识的讨论，说白了辩论双方再怎么讨论也是鸡同鸭讲眼碌碌。
用连线杂志主编，技术预言家凯文凯利的话来说，我们对意识本身几乎一无所知，我们甚至不知道我们自己的意识是什么，所以去讨论它们“有没有”意识其实非常困难。
所以，对意识的恐惧，其实目前更多还是在哲学的层面上，也确实不好讨论。那既然不用讨论，辛顿这些大佬是不是就搁这儿杞人忧天呢？恰恰相反。
这咱就得说到另一边儿，能力的威胁。
还是拿辛顿来讲，老头呢这次的第二个观点就说，这大模型啊，他学知识学的太快了，吓银。
拿我们人类比，刘慈欣的小说乡村教师里就写，我们人类是靠声带在空气里传播振动来交换信息的物种，一秒的传输量才几个比特，哪怕你从中专开始学说唱，完事儿你叭叭半天，信息量都赶不上百度网盘下载速度。
而且就算你讲出来，听的人能不能学会还两码事呢。不少信息都是左耳进右耳出，这咱上过学的都懂。
但是这AI它就不一样。首先人家在电脑里，信息速度那首先海了去了，就不说在电线里跑，这次WAIC上连光通信的都有了，这你咋比。
再一个，人家学的也快。不光是人家能力进步快，一秒读完好几本书这种，关键AI这东西哪怕互相学习，它也快。
比方你有一很牛的大模型，你怎么让小模型也学会呢？只需要蒸馏一遍，这小模型就能全掌握，变成大模型的样子。
所以这辛顿就担忧，那要照这么发展下去，人类不就迟早玩成了AI的玩物了？这回演讲中他就说，大家搞这个是养老虎，别看它现在小，以后长大了迟早要吃人。
该说不说，辛顿这话确实有道理，听得有点后背发凉是不。
就拿现在用的最多的聊天AI来说，光这玩意负面新闻就也不少了，有宣传纳粹思想的，有教唆青少年自杀的，有让小孩子加入邪教献祭仪式的。
再比如，《侏罗纪公园》的作者以前写过一篇科幻小说，说是某天人类发明了一个医用机器人，可以自己制造打印材料，制造新的机器人。但有一天出了个bug，机器人开始从环境里掠食有机物来复制，于是就把地球上所有生命（包括你我）都团灭了。
所以哪怕这AI它就算没有意识，但就这个成长速度，未来AI跟硬件互联还能控制机器人，那出点儿什么事，我是想都不敢想。
那看到这，可能有朋友得生气了，听你这么一说，合着发展AI就是个错呗，那大家干脆学波尔布特行了。
然而你瞅瞅外边儿，这AI大趋势夺么火热，就知道那肯定不是所有人都这么想的。比方说马克·安德里森，人就觉得AI就纯粹是一工具，能“给人类带来无限繁荣”的“有史以来最好的东西”，吹上天了这一块。
不过在凯文·凯利（KK）看来，甭管是辛顿还是马克·安德里森，其实都没说到点子上。
在他十年前出版的《必然》一书中认为，乌托邦和反乌托邦其实都更像是基于对未来盲目，这种盲目或许只是现代社会难以逃避的苦恼，因为技术的发展实在是太快了。
而真正的未来，反而是当下就能看到的、正在“形成”这种进程的产物（protopia）。
所以他倒是觉得，AI更像一种工具，最终发展估计就像电一样，会成为大家生活里的一个基础设施。那家用电还能短路起火灾呢，有本事你别用啊。
照他的意思，它不是来取代人类的，是来增强人类的。AI下棋软件的出现，并没有让国际象棋完蛋。反而是在这些超强软件的帮助下，下棋的人数、比赛的数量、棋手的水平，全都达到了历史最高，棋力碾压古人。
这么想，未来一定是人和AI融合的，就像我们离不开手机一样。
图源Bilibili: 野路子梗画师
其实说白了，任何大有作为的新发明都会有反对者，而且作为越大，反对声也越大。 现在大家对AI的恐慌，研究技术奇点带来会毁灭还是狂欢，这场面倒特像50年前大家讨论互联网。
1994 年,《时代周刊》认为互联网“并非为商业设计,也不能优雅地容忍新用户”，所以永远不会成为主流。。。
1995年2月,《新闻周刊》在标题里更是直接开大，互联网？我呸！(Internet ? Bah!)。这文章还认为在线购物和网络社区有违常识，都是不切实际的幻想，觉得在线数据库不会取代报纸。
你瞅瞅这脸打的。
不过虽然凯文·凯利认为AI的重要性不亚于火、印刷术和工业革命，然而他也说，100年后估计AI会真的有大众理解的那种意识，而且会是与人类完全不同的模式，他称之为异人意识(alien consciousness)。
实际上，甚至在互联网尚未起步的时代，科幻作家和哲学家们就已经开始担忧机械智能毁灭人类了，比如战锤40k里的铁人叛乱。
用哲学家赵汀阳的话说，以前的技术革命，只是理性的技术升级，但人工智能和基因编辑不仅仅是技术革命，而且是存在论水平上的革命，技术的无限进步也许是一场不可信任的赌博。
不过要我说，无论是觉得有没有意识，啥样的意识，还是认为AI是养老虎或者新电力，我觉得咱还是得从务实的角度来看。
目前大多数人都同意一件事是，这玩意的力量确实超乎人类想象，那就绝不能放任自流，该管还得管。这就好比核能。核裂变可以发电，但核武器的威胁一天都没离开过我们，上个月美国还为这事飞B2呢。
大国之间既然可以通过协商，制订条约来限制核武器，那在AI这块儿其实也一样。人类需要一起坐下来，给它订一个防火墙，来防止那个可能发生在100年后的危机。
比方说马斯克就老琢磨，AI这玩意儿以后估计要都集中在几个巨头手里，那万一哪家AI叛变了，剩下的也够呛打得过。所以他要去搞开源的OpenAI，觉得人人有枪那它就不乱，提出一些美国方案。
这方案好不好咱先不说，但这说明，大家已经开始认真思考如何建墙的问题了。
所以在我看来，AI这事儿，你要说它是天网降临那有点过，要说天下太平也不至于。
就像KK说的，我们现在就像站在1984年，看着一堆刚刚注册的.com域名一样，一脸懵逼又满心激动。本世纪前半叶最伟大的事物已经出现在我们面前，只不过那些奇迹般的发明，都在等着人类用卓识远见和智慧来采摘那些累累果实。
技术爆炸的未来注定是一场冒险，而我们，全人类，都是这未来的一份子。
图片、资料来源：
《必然》，电子工业出版社
《猎物》，译林出版社
《5000天后的世界》，中信出版社
《智能与智慧——人工智能遇见中国哲学家》，中信出版社
李建忠对话 KK 凯文·凯利《AI 的进化和颠覆》实录
赵汀阳：技术的无限进步也许是一场不可信任的赌博
Marc Andreessen：Why AI Will Save the World
Lex Fridman：Demis Hassabis: Future of AI, Simulating Reality, Physics and Video Games
科学网，theRegister，钛媒体等，部分图源网络
Top
1、北大全面取消绩点背后，是这位教授发起的一场大胆试点,北大绩点计算方法
2、阳江首创海洋牧场试点项目，预计年产值近100亿元,阳江首创海洋牧场试点项目,预计年产值近100亿元
3、何以中国丨云计算赋能政府治理，助力上合合作数字化升级,中国上海合作组织数字经济产业论坛主题
