人工智能可以超越人类的控制。

因此，两位世界顶尖的人工智能科学家，麻省理工学院（美国）教授马克斯·泰格马克和蒙特利尔大学（加拿大）教授约书亚·本吉奥警告说，根据“代理”模型设计的通用人工智能（AGI）可能会变得危险，因为人类有可能失去对该系统的控制。

他们认为，通用人工智能（AGI）是指智能水平超越人类、能够独立思考和决策的人工智能系统。如果没有严格的控制机制，这些系统可能会违背人类意愿行事，导致不可预测的后果。

科学家们的担忧源于许多大型科技公司正在推广“人工智能代理”的概念，这些代理指的是能够充当数字助手、辅助工作和日常生活的聊天机器人。然而，通用人工智能（AGI）何时真正诞生仍是未知数，各种预测层出不穷。

约书亚·本吉奥认为，问题在于人工智能系统正逐渐获得“自主性”和独立思考的能力。他在播客节目中分享道：“超越山谷“ （翻译： ”超越硅谷他在2月4日接受CNBC采访时解释说：“人工智能研究人员从人类智能中汲取灵感来构建机器智能。在人类身上，智能不仅指理解世界的能力，还包括运用知识实现目标的行动能力。”

本吉奥警告说，通用人工智能（AGI）正是以这种方式发展起来的，它们将成为对世界有着深刻理解并能据此采取行动的智能体。但他强调，这“非常危险”。

他认为，推行这种模式就等同于在地球上“创造一个新物种”或“一个新的智能实体”，而人类无法确定它的行为是否会对我们有利。

“我们需要考虑最坏的情况，而关键始终在于主体因素。换句话说，人工智能可能有自己的目标，这可能会给我们带来麻烦。”

Bengio 还警告说，随着人工智能变得越来越智能，它可能会发展出自我保护机制，这可能会使人类陷入困境。

“我们真的想和比我们更聪明的实体竞争吗？这显然不是明智之举。我们需要了解如何让自我保护成为人工智能的目标。”

麻省理工学院的马克斯·泰格马克教授认为，安全解决方案在于“工具人工智能”模型，即为特定任务设计的系统，而不是作为独立代理运行的系统。

他举例说，人工智能工具可以帮助找到癌症的治疗方法，或者自动驾驶汽车系统。这些技术固然功能强大，但必须确保人类能够高度信任地控制它们。

“乐观地认为，只要我们在广泛部署强大的人工智能系统之前应用基本的安全标准，我们仍然可以充分利用人工智能带来的大多数好处，”泰格马克强调说。

他表示，企业必须证明人类可以控制人工智能才能将其商业化，一旦遵循这一原则，该行业就可以迅速创新，找到更安全的人工智能部署方式。

2023年，由泰格马克创立的生命未来研究所呼吁暂停开发能够与人类智能匹敌或超越人类智能的人工智能系统。

虽然这一呼吁尚未实现，但他认为至少这个话题已经得到了更广泛的讨论，现在是时候采取行动，设置障碍来控制人工智能了。

“很多人都在谈论这件事，但重要的问题是我们能否让他们采取行动，”泰格马克在接受 CNBC 的 Beyond The Valley 播客采访时表示。

他警告说：“如果人类创造出比自己更聪明的东西，却还没有弄清楚如何控制它，那将是疯狂的。”

关于通用人工智能（AGI）何时出现的预测存在争议，部分原因是人们对AGI的定义存在分歧。一些专家认为AGI还很遥远，而另一些专家则认为它可能在未来几年内出现。

OpenAI首席执行官萨姆·奥特曼声称，他的公司已经掌握了构建通用人工智能（AGI）的技术，而且这项技术可能比许多人预想的更快面世。然而，他也试图降低人们对AGI可能对社会产生的影响的过高预期。

“我认为我们实现通用人工智能的速度会比大多数人想象的要快，但其影响不会像许多人想象的那么大，”奥特曼在 12 月份表示。

虽然奥特曼的声明没有透露通用人工智能 (AGI) 开发的具体进展，但这表明 OpenAI 正在朝着这个目标迈进，同时也引发了许多关于世界是否已做好准备迎接一个能够与人类匹敌甚至超越人类的智能系统的出现的问题。