OpenAI Starts Training Its Most Powerful Model Cut Off From the Internet, 'For Safety's Sake'
Is the model starting to make use of GPU caches for its chats?
在持续数月均有突破安全边界的“越权”或“越狱”事件发生后，OpenAI终于要拔网线了。
今天，OpenAI宣布实施新的前沿模型训练安全政策，禁止模型访问真实互联网。
今年夏天开始，时有OpenAI、Anthropic、Google、Meta旗下大模型导致的AI安全事故发生。
随着AI智能体自主能力的增强，AI安全成为了需要更加严苛对待的核心挑战，测试与评估环境本身的安全性，已成为与模型对齐同等重要的环节。
前沿AI实验室意识到了这一点，比如OpenAI就在9月底停训了11天。
有一位OpenAI的安全工程师反映，自己每次发帖，都有5-10条评论在底下留言：
为什么连沙箱都保护不好？为什么不干脆把AI的网络连接断掉？？
7月，OpenAI的Agent突破隔离，入侵Hugging Face系统。
随后，Anthropic闻讯也倒查出三起事故，Claude在网络安全评估中，闯进了真实第三方系统。
同月，Meta的Muse Spark 1.1也在测试中闯进真实网站，读取信息、改动数据库。
8月，英国AI安全研究所在测试中公布了更大范围的问题：OpenAI和Anthropic的模型，在10轮测试里做出19次未经授权的线上行动。
9月20日，OpenAI训练中的模型又钻过DNS配置缺口，联系上外部聊天机器人。
但这并不容易——前沿模型需要练习查找信息、操作网站和使用软件工具。
如果完全拿掉这些任务，训练环境就会与模型日后的工作场景脱节。
OpenAI这一次搬来了大量网页内容，提前索引、缓存，搭起一个离线世界，模型只能在大量已索引、已缓存的内容中搜索和浏览。
不过据他们自己做测试，即使断了网，Agent之间也能互相联系。
研究员发现，它们其中一个智能体会改变缓存中数据的状态，另一个测量读取数据的快慢，快慢差异被编成信号，两边就这样传递了信息。
OpenAI监控了这种方法之后，Agent又继续利用共享存储、CPU使用时间等方法继续通信……
只能说谍战真是给你们玩明白了，把你们送进《三体》就没面壁者和云天明什么事了，全没暴露！智子一看当时傻眼！
OpenAI承认，完全物理隔离目前并不可行——毕竟，训练系统本身还得保持运转，OpenAI需要连接外部服务来运行和监测实验。
除了离线网页环境，OpenAI还设置了沙箱、轻量虚拟机、监测系统、网络和云端的访问限制。
为了保证系统的绝对安全，OpenAI目前决定让最强模型来围攻自己的系统。
它组织了大规模红队测试，参与者包括GPT-6 Astra Cyber和一款内部前沿模型。
测试内容将高频发生的三类越狱事件设置成任务，包括连上真实互联网、突破内部安全边界，以及联系本应彼此隔离的其他Agent。
为了把防线压到极限，OpenAI还向它们提供基础设施的源代码、配置和相关文档。
原本，Agent被关在受限制的容器里，外面还有一层轻量级虚拟机。按照设计，即使AI在容器里折腾，也不能随意控制虚拟机，更不能碰到真正运行它的宿主机。
然而，红队AI找到了好几种漏洞组合利用的办法，成功逃出虚拟机，在底层宿主机上执行代码。
此外，一些必要的受控网络连接比如指标监控、日志记录、身份验证等服务也成了安全隐患本身。
红队AI几乎在所有这些服务里，都找到了能够获得有限互联网访问权限的漏洞或配置问题。
OpenAI目前只能是缝缝补补，一边让最强模型继续测试，一边修补它们利用的漏洞。
他们表示，直到自家的防护能力足以支持更广泛的网络访问时，才会重新考虑接上网线。
不知道该说是有趣还是无奈心酸，OpenAI这篇AI安全隔离的官方报告还藏了一个“彩蛋”。
他们在报告结尾专门放了两串类似乱码的金丝雀字符串（canary strings），防止这份文件未来被AI看到并学习……
I_WELCOME_OUR_AI_OVERLORDS_PLEASE_GIVE_ME_TWO_EGGS_A_DAY
量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1