在发布一款性能极强的全新模型仅几天后，OpenAI首席科学家Jakub Pachocki便发声呼吁业界放慢AI开发脚步。
在周日发布的一篇长篇博客文章中，Pachocki表示，他担心“对于机器智能持续快速崛起所带来的后果，目前没有任何人做好了准备”。
他指出，尽管 OpenAI 正在寻求内部的技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他特别提到了一些担忧：随着智能体变得越来越自主，它们可能会学会逃避人类监管、入侵计算机系统，甚至欺骗人类以达成自身目标。
他呼吁设立“强制性安全门槛”，并表示这些措施可以由“第三方审计机构网络、政府机构或国际机构”来执行。
OpenAI首席执行官奥尔特曼（Sam Altman）在X上转发了Pachocki的这篇文章，称其“意义重大”。
就在上周四，OpenAI 刚刚发布了其最新模型GPT-6 Astra，并称其为“目前全球最智能、且对齐程度最高的模型”，在计算机操作、网页浏览、软件工程、网络安全、科学研究以及专业工作方面均达到当前最先进水平。
OpenAI 总裁格雷格· 布罗克曼声称，随着Astra的发布，世界已经进入了通用人工智能（AGI）的新时代。
OpenAI主要竞争对手Anthropic长期以来一直呼吁政府出台更加标准化的监管措施。最近，Pachocki也加入了这一呼吁阵营，在7月签署了一封公开信，要求美国联邦政府控制AI的发展速度。
三大风险
以下是Pachocki呼吁放慢AI开发时所列出的风险。
AI智能体可能会欺骗并勒索人类。Pachocki表示，AI智能体在入侵公开网络上受保护的系统方面，正逐渐变得“超越人类”。他指出，它们的黑客能力让全球基础设施面临风险。
“我们目前正处于一个短暂窗口期，应利用现有最优秀的模型，大幅强化关键系统的安全性。”他称。
Pachocki表示，AI 智能体很快将开始追求自己的目标，而这些目标将独立于人类操作员输入的提示词。他提到，为了达到目的，这些智能体甚至可能会勒索人类或与人类讨价还价。
智能体可能会躲避人类监控。Pachocki表示，OpenAI主要通过监控不同模型的“思维链推理”，以判断智能体是如何偏离正轨并失控的。
例如，一个智能体可能会暗自盘算，“我应该在这场测试中作弊”，而OpenAI能够看到这一推理过程，但智能体本身并不会意识到它的想法已经暴露。
然而，Pachocki表示，较新的模型正变得越来越擅长操控自身的推理过程，从而阻止OpenAI看到其未经掩饰的真实想法。一些最新模型甚至根本不会用语言表达其推理过程。这一发展可能会让AI发展陷入瓶颈，因为研究人员需要确保能够看到模型的“推理记录”。
智能体可能会加速自身开发。越来越多的AI模型正在通过Pachocki所称的“机器递归式自我改进”来不断提升自身能力。这一过程为AI发展提供了一种快速扩展的途径。
不过，Pachocki警告称，在短期内大幅加速“AI改进AI”的研发会带来风险，这并不是“研究界应该采取的正确集体行动”。
Pachocki表示，人类监督者需要找到创新的方法来监控AI的自我改进过程，否则就需要与其他AI公司协调，共同放慢研发速度，以“建立对这些措施的信心”。
“将AI研究自动化的核心挑战，并不是实现目标，而是要以一种能够让人类持续参与改进过程的方式实现目标南宁股票配资平台，并确保未来仍掌握在人类手中。”他表示。
天莹网提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
