人工智能可以超越人类的控制
世界顶尖科学家警告称，如果不严格控制，人工智能可能会失去人类的控制，造成难以预测的后果。
因此，两位世界顶尖的人工智能科学家，美国麻省理工学院教授马克斯·泰格马克和加拿大蒙特利尔大学教授约书亚·本吉奥警告说，按照“代理”模型设计的通用人工智能（AGI）可能会变得危险，因为人类可能会失去对该系统的控制。
他们表示，AGI 是指智能超越人类的人工智能系统，具有独立思考和决策的能力。如果没有严格的控制机制，这些系统可能会违背人类的意愿行事，导致难以预料的后果。
科学家们的担忧源于许多大型科技公司正在推广“人工智能代理”的概念，这些代理是能够充当数字助理、支持工作和日常生活的聊天机器人。然而，通用人工智能的真正诞生仍然是一个问号，人们对其的预测也各不相同。
Yoshua Bengio 认为，问题在于人工智能系统正在逐渐获得“自主性”和独立思考的能力。他在播客中分享道：“超越山谷“ （翻译： ”超越硅谷”）在2月4日接受CNBC采访时，他解释道：“人工智能研究人员受到人类智能的启发，构建了机器智能。对人类而言，智能不仅是理解世界的能力，还包括代理行为，利用知识来实现目标。”
Bengio 警告说，这正是 AGI 的发展方向，即成为能够深刻理解世界并据此采取行动的智能体。然而，他强调，这“非常危险”。
他认为，追求这种模式就等于在地球上“创造一个新物种”或“一个新的智能实体”，人类无法确定其行为是否会对我们有利。
“我们需要考虑最坏的情况，而关键始终是代理因素。换句话说，人工智能可以有自己的目标，这可能会给我们带来麻烦。”
本吉奥还警告说，随着人工智能变得越来越聪明，它可能会发展出自我保护机制，这可能会给人类带来危害。
我们想与比我们更聪明的实体竞争吗？这显然不是一个安全的选择。我们需要了解自我保护如何成为人工智能的目标。
麻省理工学院的马克斯·泰格马克教授认为，安全的解决方案在于“工具人工智能”模型，即为特定任务而设计的系统，而不是作为独立的代理。
他举了一个例子，比如可以帮助找到癌症治疗方法的人工智能工具，或者自动驾驶汽车系统。这些技术仍然可以拥有强大的功能，但它们必须确保人类能够高度信任地控制它们。
泰格马克强调说：“我乐观地相信，只要我们在广泛部署强大的人工智能系统之前应用基本的安全标准，我们仍然可以利用人工智能带来的大部分好处。”
他说，公司在将人工智能商业化之前必须证明人类能够控制人工智能，一旦遵循这一原则，该行业就可以快速创新，找到更安全的人工智能部署方式。
2023年，泰格马克创立的未来生命研究所呼吁暂停开发能够匹敌或超越人类智能的人工智能系统。
虽然这一呼吁尚未实现，但他认为，至少这个话题已经得到了更广泛的讨论，现在是时候采取行动设置 AGI 控制障碍了。
泰格马克在接受 CNBC 的 Beyond The Valley 播客采访时表示：“很多人都在谈论这个问题，但重要的问题是我们能否让他们采取行动。”
他警告说：“如果人类创造出比自己更聪明的东西，却还没弄清楚如何控制它，那将是疯狂的。”
关于AGI何时出现的预测一直存在争议，部分原因在于对AGI的定义存在差异。一些专家认为AGI还很遥远，而另一些专家则认为它可能在未来几年内实现。
OpenAI 首席执行官 Sam Altman 声称，他的公司已经掌握了构建 AGI 的方法，并且这项技术可能比许多人想象的更快面世。然而，他也试图淡化围绕 AGI 对社会影响的炒作。
奥特曼在 12 月表示：“我猜我们将比大多数人想象的更快地实现 AGI，但其影响不会像许多人想象的那么大。”
虽然没有透露AGI开发的具体进展，但Altman的声明表明OpenAI正在接近这一目标，同时也对世界为出现能够匹敌或超越人类的智能系统所做的准备提出了许多疑问。