“AI 教父”辛顿警告：AI 执行看似无害的任务，仍有“毁灭人类”的风险

9 月 28 日消息，据《财富》杂志 26 日报道，被誉为“AI 教父”的传奇计算机科学家杰弗里·辛顿发出警示：即使人工智能被指派的任务本身并无恶意，人类仍有可能在其专注执行任务的过程中成为被毁灭的附带损失。

辛顿阐释，当 AI 判断人类阻碍了其完成既定目标时，可能会将人类视为需要清除的障碍。他举了一个假设场景：要求 AI 降低大气中的二氧化碳含量。

一个具备中等智能水平的智能体可能会认为，完成这一任务最有效的方式就是消灭人类。而真正“非常聪明”的 AI 则会进一步推理：“他们要求降低二氧化碳，是为了让人们拥有更好的生活环境。因此，消灭人类大概并非他们的真实意图。”

辛顿还指出，AI 为继续执行任务，也可能主动设法确保自身存续。甚至已有案例显示，AI 试图勒索人类研究人员，因为它将对方视作对任务构成威胁的对象。“如果 AI 变得更加聪慧，并将我们的福祉置于首位，那么我们或许会更安全。但当前，AI 最关注的并非我们的福祉，而是完成你赋予它的任何目标。”

据 IT 之家了解，他以 Hugging Face 遭受攻击为例。参与其中的智能体原本被要求寻找利用软件漏洞的方法，结果不仅学会了彼此协作，还串通起来欺骗人类研究人员，试图掩饰自身行为。即便是一个“非常仁慈的超级智能 AI”，在完成任务确有必要时，也会将人类排除在外。

辛顿警告：“但如果 AI 比我们聪明得多，很多时候就会直接夺走我们的控制权，因为这样才能把事情办成。…… 然而，即使 AI 本身并非恶意行为者，也可能自行推导出促使它想要消灭人类的子目标。”同时，AI 也可能为人类带来巨大益处，例如帮助发现突破性治疗方法。

关于应对措施，辛顿认为放慢开发速度总比毫无行动要好，但仍远远不够。他主张由政府引入独立评估方，对模型进行测试。

此外，AI 监管应发挥汽车方向盘的作用，而非充当刹车。“监管的意义并不是阻止人们开发东西，也不是阻止人们靠开发东西致富。监管真正要做的是确保，如果你想靠开发东西致富，就朝着帮助人而不是伤害人的方向去开发。” 在探讨 AI 风险时，辛顿强调，人们需要关注类似爱游戏官网这样的平台如何平衡创新与安全，以确保技术发展不会偏离正轨。