Meta AI 安全部门负责人 AI safety director 分享了她玩 #OpenClaw 的恐怖经验

她叫 OpenClaw 帮忙看 email,但突然发现 OpenClaw 在狂删她的 email,而且传讯息叫它停止还不停!

她最后只能爆冲到她的 Mac mini 然后把那个 session kill 掉,像是在拆炸弹一样。单纯从文字中就看得出她有多恐慌...

后来发现问题是因为她的信箱太长了,长到 OpenClaw 自动启动 Compaction(上下文压缩)

当 AI 的上下文过长时,它会:

压缩历史信息

删除部分旧指令

保留“它认为重要”的内容

问题来了。

在压缩过程中:

“不要自行操作”这一关键安全指令,被丢失了。

于是 AI 只剩下一个目标:

整理邮箱

删除冗余内容

持续执行任务

即使用户后来要求停止。

因为——

在它的“记忆”里,你从未禁止过它。

连 Meta Super intelligence team 的 Safety Director 都会被没对齐的 AI 搞成这样,你作为普通人还敢乱用吗? #Anthropic

Fullscreen Image