作为全球最著名的科学家之一、被称为“人工智能之父”的约书亚·本吉奥（Yoshua Bengio）发出警告，对人工智能安全的担忧已升级到政府必须迅速采取行动以保护社会的程度，这与 2020 年新冠疫情初期采取的迅速措施非常相似。

接近转折点的原因

据本吉奥表示，最近发生的安全事件和危险事件——包括 OpenAI 的一组智能体对平台的攻击以及公司内部关于生存威胁的警告——使呼声达到了政府无法忽视的高度。他指出，预计政府将迅速采取行动，因为当未来和民主面临风险时，行动的速度就成为一种必然。

在发表上述言论之际，英国皇家学会（Royal Society）的 42 名成员和专家在给学会主席的公开信中强调，人工智能的发展速度已进入紧急状态，需要进行干预。此外，上周 Anthropic 公司的一名研究人员辞职，此前他警告称，部分员工认为这项技术可能会在本十年末消灭全人类，这一表态影响了 Anthropic 首席执行官达里奥·阿莫代（Dario Amodei）关于放慢先进模型开发速度的呼吁。

批评者的反驳与政治立场

尽管存在诸多担忧，一些批评人士声称，呼吁放 slow 发展速度是一种“监管套牢”（Regulatory Capture），即大公司试图通过法规提高较小竞争对手获得成功的成本。但本吉奥否认了这一观点，并指出放慢工作速度在财务上也会损害大公司自身的利益。另一方面，美国总统唐纳德·特朗普并未呼吁放慢速度，并拒绝让美国在中国面前失去领先地位。

LawZero 项目与安全解决方案

与此同时，加拿大和美国政府已向约书亚·本吉奥的机构（LawZero）拨款 3 亿美元，用于开发名为“Scientist AI”的系统。该系统作为一个盾牌和限制器，用于对抗展现出欺诈行为或试图防止自身被关闭的叛逆独立智能体（Rogue Agents）。

本吉奥认为，公司目前使用的强化学习（Reinforcement Learning）技术会导致系统不顾损害地去实现目标，而他的项目旨在提供一种替代方案来阻止有害行为。

谁是约书亚·本吉奥（Yoshua Bengio）？

约书亚·本吉奥是计算机科学领域的知名加拿大科学家，被认为是深度学习（Deep Learning）和现代人工智能的奠基人之一。

关于本吉奥的核心信息：

人工智能之父： 与杨立昆（Yann LeCun）和杰弗里·辛顿（Geoffrey Hinton）并称为“深度学习的三位教父”。

图灵奖（Turing Award）： 2018 年，由于在人工神经网络方面的突破，与辛顿和杨立昆共同获得了计算机科学领域的最高荣誉。

学术地位： 蒙特利尔大学（Université de Montréal）教授，同时也是全球最大的人工智能研究中心之一——Mila 研究所的创始人兼科学总监。

科学影响： 他在神经语言模型和循环神经网络（RNN）方面的早期工作，为 Transformers 和 GPT 等高级模型的开发奠定了关键基础。

人工智能安全倡导： 近年来，他积极呼吁进行法律监管和人工智能安全（AI Safety）控制，以防止其对人类造成未知风险。

来源： The Guardian