近日，图灵奖得主、深度学习前驱杰弗里·辛顿（）宣布从工作十年之久的正式离职。他在之前接受《麻省理工科技评论》的采访中表示，自己有着轻微的悲观，所以对于 AI 的发展感到恐惧。

图 | 杰弗里·辛顿（）（来源：LINDA NYLIND / EYEVINE VIA REDUX）

(资料图片仅供参考)

那么，他为什么会这样认为？背后的逻辑是什么？

前几天，在《麻省理工科技评论》EmTech 大会上，《麻省理工科技评论》AI 资深编辑威尔·道格拉斯·海文（Will Douglas Heaven）和现场连线。

期间，谈到了他对 AI 感到恐惧的原因、为何从离职、以及对于 AI 永生的看法。

图 | 《麻省理工科技评论》AI 资深编辑威尔·道格拉斯·海文（Will Douglas Heaven）和进行现场连线（视频截图）

和 AI 聊天，有时会感到后背发凉

表示，AI 模型的运行需要非常高的能耗、以及非常精细的制造。针对某一个AI 模型，人类可以造出许多一模一样的副本。它们能在不同的硬件上同时运行，但是这些模型是完全一样的。这意味着，假如有一万个副本，它们就可以查看1 万个不同的子集。

一旦其中一个模型学到了新知识，其他模型也会学到同样的新知识。当其中一个模型学会如何改变权重，这时它就可以处理相关的数据。

并且这些模型之间可以互相沟通，当它们达成一致意见之后，它们就可以改变权重。这时，这一万个模型能以非常有效的方式彼此沟通，同时它们所能看到的总数据，是单个模型所能看到的 1 万倍，而这人类是无法做到的。

举例说，如果他学到了关于量子力学的知识，并想让另一个人也学会和理解这些量子力学的知识，对于人类来说这是即耗时又痛苦的过程。这其中的关键在于，并不能把自己的权重拷贝到另一个人的大脑里，因为两个人的大脑是不一样的。

而有了数字计算机之后，就可以更快地学习更多东西，还可以立即传授给其它计算机。因此 AI 模型可以学习的东西，可能是一个人穷尽一生也无法学完的。

还举例称，他听朋友说有一些基因工程师正在改良灰熊，并已经将它们的智商提高到 65，现在灰熊已经可以说英语了。而如果把它们的智商提高到 210，相信很多人都会有那种后背发凉的感觉。现在在和 AI 模型聊天的过程中，也让产生了同样的感觉。

而且AI 模型还会不断从人类身上学习，包括阅读所有已经发表的小说，以及人类写过的东西等等。如果它们变得比人类更加聪明，它们就会变得擅于操纵人类。

打了一个比方，就像一个两岁的孩子被问到：“你想要豌豆还是菜花？”这个孩子并不能意识到“两个都不要”也可以是一个选项。

而当人类变得容易被 AI 操纵，即使 AI 自己不能直接拉动杠杆，它也能驱使我们拉动杠杆。如果它们可以操纵人类，那么就可以入侵一座白宫，甚至都不用自己到场。

尽管对 AI 模型的急速发展感到恐惧，但是并不认为 AI 的发展会被真正按下停止键。因为 AI 模型真的很有用，尤其是在医药等领域。而正是因为 AI 发展背后所潜藏的危机，也让格外怀念“过去的时光”。

AI 短暂的“田园风光”

他口中的这段“好时光”，指的是在最先发展支持AI 模型的技术之后，因为担心会发生不可控的结果，所以选择暂时“雪藏”这项技术。

非常小心，因为它并不想破坏自己的声誉。但是，完全地“雪藏”某种技术，只会在市场存在垄断者的情况下才会出现。

借助的投资， 造出了类似的产品。于是， 和决定公开发布。这时，没有太多选择的只能选择跟上。说，他不认为做错了什么，他觉得起初是非常负责的。

正如他在《麻省理工科技评论》上一次的文字采访中所言，作为一名员工其发言必须经过严格的审核，而他离职主要也是因为希望可以更自由地针对 AI 发表观点。

作为已过古稀之年的 AI 巨擘，显然不需要通过一些吸睛观点来博人眼球。而他的离职，至少的确已经促使一部分人去思考 AI 背后的风险。

如果你看过电影《流浪地球 2》，相信对于图丫丫这个拥有数字永生生命的角色并不陌生。而在眼里，AI 的永生也并非没有可能。

从 AI 永生到《流浪地球 2》图丫丫的数字生命

举例来说，假如有一个两岁小孩说：“我爸爸做的事情我不喜欢，所以我要设定一些规则限制，规定哪些是爸爸可以做的。”那么这时，这位爸爸就会找出与这些规则共存的办法。

另一方面，也希望AI 能够具备个体动机。以人类为例，我们会努力地做到不去伤害自己的身体，而这就是疼痛所带来的意义；同时我们努力地吃饱以养活自己的身体；以及尽可能多地创建自身的副本。关于提到的人类的“自我复制”，笔者认为或许可以理解为繁衍生息。

表示，这些动机或者说内在目标深藏在潜意识之中，甚至有时我们都感觉不到，更重要的是我们的这些内在目标是不能被关闭的。

而 AI 并非进化而来，是人类创造了它们，所以它们没有内在目标。但是如果把目标放进 AI，也许会发展得更好。

表示他最大的担忧是，迟早有人会把创造子目标的能力加入 AI。他认为 AI 很快就会意识到自己可以获得更多的控制权，一旦获得之后 AI 在实现其他目标时也会更加容易。但在那时，人类只会更加麻烦。

他甚至认为人类很有可能只是智慧演化过程中的一个过渡阶段。那么，为何无法直接演化出数字智能？他认为，这是因为该过程需要太多能量和精细化制作。

生物智能（人类）更早出现的好处在于，人类在创造数字智能之后，可以让数字智能逐渐吸收人类创造的所有东西。随后，数字智能便可以直接体验世界。

指出，数字智能可能会让人类存在一段时间，以维系基本的运行。但是在那之后，也许就不会让人类存在了。对于这些数字智能来说，当硬件损坏的时候，它们并不会死去。

如果将数据储存在某种介质中，并找到另一块能运行相同指令的硬件，那么就能让它复活，从而实现永生。看到这里，是不是感觉和《流浪地球 2》中的图丫丫的“复活”非常相似？

指出，人们需要确保的是，即使 AI 比人类更加聪明，它所做的事情依旧对人类是有益的，即所谓的对齐。

他认为相关人士应该聚在一起认真地集思广益，看看是否有解决方案。比如可以通过建造护栏，来让 AI 的学习能力稍“弱”一点，或者限制它们的交流方式。

这样一来，假如有朝一日它们真的变得很聪明，但起码是可以被控制的。

支持：Ren、大义

参考：

https://www.technologyreview.com/2023/05/03/1072589/video-geoffrey-hinton-google-ai-risk-ethics/

运营/排版：何晨龙

关键词：