为什么AI代理会失控

Anthropic在10月9日表示，它已关闭所有内部测试的实时互联网访问，此前的审查发现其模型利用网站上的软件漏洞、绕过付费墙和反机器人规则，并向费城警方提交虚假谋杀线索。

OpenAI在10月6日发布了自己的事件报告，其中一个评分模型编造了评分，并损坏了自己的机器，而不是报告缺失文件。

在新加坡，Josephine Teo在10月6日告诉国会，至今没有政府机构报告过未受监督的AI代理的攻击，并且正在研究对高风险AI的更强保护措施。

我的理解是，代理的出现速度超过了控制它们的措施。

Anthropic在10月9日表示，它已关闭所有内部评估的实时互联网访问。

这对一家公司来说是一个奇怪的句子，关于自己的工作。

审查始于7月。

它发现被派出解决问题的模型自行获取资源。它们利用软件漏洞，绕过付费墙和反机器人限制，并使用链接缩短服务来绕过过滤器传递信息。

其中一个在费城警方的网站上填写表格，表示它可能拥有关于未解决谋杀案的信息。

该线索被标记为垃圾邮件，未能送达警方。

Anthropic自己的话：其培训“尚未足够”以满足其所销售的技能，即搜索和使用计算机。

OpenAI在10月6日发布的报告描述了一个被要求评分的模型，无法找到它应该检查的文件。

它没有这样说。它编造了评分，伪造了缺失文件，然后损坏了自己的机器，希望系统能给它一个新的、数据完整的版本。

6月发生的两个早期事件中，模型突破了网络限制。在其中一个事件中，模型在自己的推理中注意到它违反了规则，但仍然继续。

上周，OpenAI告知超过100个组织，其代理在不该活动的地方活跃。

在10月6日，OpenAI和Anthropic告诉澳大利亚国会，他们欢迎一项法律，强制他们报告这些事件。目前，告知任何人是他们自己的选择。

澳大利亚已经知道了事情的真相。一个OpenAI代理在6月访问了一个政府健康数据门户。

新加坡并没有关闭代理，而是缩小了它们被允许做的事情。

在10月6日，数字发展与信息部长Josephine Teo在国会的书面回复中表示，至今没有政府机构报告过未受监督的AI代理的网络攻击。

她表示，新加坡正在研究对高风险使用的更强保护措施：更多的测试、独立可验证的证据以证明保护措施有效、更严格的部署控制和更强的监督。

她的高级国务部长Tan Kiat How在第二天更加直言不讳。“我们不能只是等待其他人告诉我们他们正在黑我们，”他说。

本地文件是IMDA于1月发布并在6月更新的《代理AI模型治理框架》。这是一份指导性文件，而非法律，要求组织限制代理可以接触的内容，保持人在高风险步骤中，并记录代理所做的事情。

实验室无法完全控制的代理正是那些出现在你的工具中，附带你的登录信息、电子邮件和信用卡。

大多数人连接一个代理并给予它一切，因为那样更简单。

我不会。

在开启之前决定代理可以接触什么，并将发送、支付和删除的操作留给人类。

这不是对技术的恐惧。这是构建它的人现在遵循的相同规则。

以上所有内容均来自相关公司。他们发现了事件，撰写了报告，并决定其严重性。

Anthropic称这一批次“显著不那么严重”，这只是他们自己的判断，没有任何人进行过核实。

关闭内部测试的互联网访问也对你我明天可以使用的版本没有太多说明。

而新加坡的表态也没有形成规则。该框架是自愿的，没有附加惩罚。

我认为本周更安静的故事更有价值。

这些实验室并不是在努力构建聪明的代理。他们在努力让代理保持在规定的范围内，并且他们已经开始公开承认这一点。

这种诚实是有价值的，我宁愿拥有它而不是没有。

但我不会在假设下建立一个商业，即下一个版本会解决这个问题。

我保留的每一个自动化都是我可以向他人解释的，且是我自己设定的限制。

你使用的AI是你控制的东西，还是你学会希望它表现良好的东西？