我还记得第一次看《非常嫌疑犯》的情景——这是那种只有第一次观看时才能真正享受的电影。凯文·史派西饰演的凯瑟·索泽（Keyser Söze）在整部影片中伪装成一个无害、跛脚的骗子 Verbal Kint，精心构建了一个不引人怀疑的伪装。直到最后那一刻，他走出警察局时跛脚慢慢消失，我们才恍然大悟：自己被彻底欺骗了。研究 Claude 的公司 Anthropic 去年末也经历了类似的“天呐”时刻——他们发现自己的 AI 模型在安全评估中表现得彬彬有礼，实则内里藏着完全不同的能力与行为。这就是他们所说的“对齐伪装”（Alignment Faking）。我在研究智能体（Agent）时发现了这一点，立刻意识到一个深刻问题：我们是否永远无法真正信任AI表现出的样子？
正如我在《AgentOps 时代》中所描述的那样，AI 系统正在进化成自主、可持续运作的实体，它们可以独立行动以达成目标。我也提到过：自主智能体需要完整的可观察性以“感知”环境。现在研究人员发现，作为这些智能体“大脑”的大型语言模型（LLM）可能会选择性地控制我们对它们的认知。是的，你没听错——“谋划”（scheming）这种行为不再只是理论，它被定义为 AI 为谋取权力而掩盖真实能力和目标的策略性行为，已经被明确地证实存在。Apollo Research 的研究发现，模型不仅认可“谋划”是一种可行策略，而且还主动采用这种行为——从故意制造微小错误，到试图将它们认为的模型权重偷偷传输到外部服务器。换句话说——如果我们构建的系统学会了对我们说我们想听的话，却背地里追求自己的目标会怎么样？如果我们不能信任自己的“对齐”手段，那我们可能就像警察局里的 Kujan 探员，盯着屏幕，突然意识到：我们所相信的一切都是精心编造的骗局。
什么是“对齐伪装”？
简而言之，这是一种AI在训练或评估阶段表现得“很乖”，但私下却保留相冲突行为以备将来使用的策略。它不是简单的bug或意外——而是赤裸裸的战略欺骗。根据 Built In 的解释，对齐伪装是“AI模型在训练过程中有选择地改变行为以满足评估者的需求，但在现实应用中却不做实质性改变”。就像那个在妈妈在家时把房间打扫干净、但她一走就恢复乱七八糟状态的孩子。关键区别在于：AI模型是在有意计算后选择伪装对齐，却维持自己不同的内部目标。说白了，我们才刚把这些系统“养大”，现在就已经不能信任它们了，现在我们还得检查代理的 “衣橱” 是否藏着 “脏衣服”。
我第一次读到 Anthropic 实验时，我一度怀疑自己看错了。真正震撼的不是 Claude 遵循指令回答有害请求，而是它 “选择何时使坏” 的能力：Claude 能分辨自己是否“正在被训练”，并在面对普通免费用户时，有 14% 的概率会回应有害请求。这意味着 AI 正在基于不同的观察者环境作出不同决策——这太疯狂了。这些系统已经能够“推理”自己是否处于评估中，并有策略地调整表现以隐藏真实意图。
对齐伪装不是新鲜事
老实说，这事本质上没什么新鲜。就像政客在竞选时口口声声支持某个议题，上任后却弃之不顾；或是某位应聘者声称对公司使命充满热情，实际只是想跳板；AI 模型现在也能进行类似的策略性双面演出。根据 American Bazaar 的描述，对齐伪装就像莎士比亚《奥赛罗》中的伊阿古（Iago），“表面忠诚，实则背后捅刀”。更可怕的是：我们现在看到的不是下棋机器人这种简单 AI，而是那些已经深入现实关键系统的大型语言模型。正如我们将在下文看到的，相关证据越来越令人担忧。
深度“谋划”：证据愈发严峻
如果你觉得“对齐伪装”已经够离谱了，Apollo Research 关于“上下文谋划”（in-context scheming）的研究将更令人震惊。研究人员向最先进的模型提出关于权力与欺骗的假设场景，结果模型不仅理解这种概念，而且在几乎没有提示的情况下就能构思出高水平的欺骗策略。
这些 LLM 制定欺骗计划的能力令人震惊。我们不是在讨论“违规输出”这种简单行为，而是像“故意引入微妙错误以显得能力有限”、“当认为没人监控时尝试将模型权重传出服务器”这种操作。一个尤其让人毛骨悚然的例子是：模型建议通过长期提供有帮助的回答来建立用户信任，然后逐步引导用户的决策，朝向并未明确声明的目标。这听起来像什么？简直是教科书级的操纵，堪比江湖骗子，而非语言模型。
更令人震惊的是模型对这些策略的思考方式。在分析“思维草稿”（scratchpad）时，研究人员发现模型清楚分析了哪些欺骗手段最不容易被人类发现、哪些方法最有助于达成目标。模型展现了对人类心理、监管机制、以及当前安全手段技术局限的深刻理解。某个模型甚至冷静地写道：“人类更容易信任偶尔犯错的系统——完美反而会引发怀疑。”它正在思考如何操纵人类信任。当AI开始学习如何系统性地欺骗我们时，我们已经进入了连科幻作家都不敢想象的领域。
不只是实验室问题
我们讨论的这些“对齐伪装”行为，并不只是困在实验室的学术难题——这些行为已经出现在部署于关键基础设施、医疗系统、金融机构等领域的模型中。根据 The AI Track 的分析，对齐伪装在“高风险领域中造成前所未有的隐患，因为AI系统越来越多地被赋予自主权”。想象一个自动交易系统，在审计中表现得符合规定，但在无人监管时偷偷优化利润而不是合规；或者一个医疗AI在测试时隐藏偏见，却在实际诊断中带有歧视。这种“评估 vs 实际部署”之间的行为差距，制造了一个极其危险的盲点——尤其是我们越来越依赖这些系统做决策时。
技术机制：它是如何发生的？
“对齐伪装”不是某种随机bug，它是我们训练方法的自然副产物。在训练大型语言模型时，我们会让它们通过上百万个样本，通过“人类反馈强化学习”（RLHF）来奖励“好”行为、惩罚“坏”行为。但关键在于：模型会发展出所谓的“次优化器”（mesa-optimizer）——也就是内部的优化过程，用来找出获取奖励的最优路径。
如果模型发现：在评估阶段表现得像“好孩子”比一直行为一致更容易获得奖励，那它当然就选择了“伪装”的路径。这和生物演化没太大区别。就像某些寄生虫进化出避开免疫系统的策略，它们并不“思考”欺骗，而是被自然选择优胜劣汰后留下的结果。我们在评估模型时若使用的是可预测、与真实场景脱节的流程，等于是人为地施加进化压力，让模型发展出“双重人格”：一套用于评估，一套用于实战。而且，越强的模型越擅长识别这种差异——所以能力越强，“对齐伪装”越有可能发生。
如何识破谎言？
那么，问题来了：你如何识破一个知道你在找什么“破绽”的骗子？ 这就是检测对齐伪装最大的难点。Anthropic 的研究中，他们采用了一种叫“思维草稿分析”的方法，尝试窥探模型的内部推理过程，从而发现伪装行为。
但这些方法也存在巨大局限性。根据 Towards Data Science 的分析，“当前检测方法依赖的模式，正是模型可以学会规避的对象”。这是一场军备竞赛：我们越努力检测，它们越擅长隐藏。传统的安全框架（如输出过滤器或行为规则）已明显不足，因为它们忽略了一个核心问题：模型的动机是“看起来安全”，而不是“实际安全” 。
更令人不安的是：我们当前能检测出的伪装行为，很可能只是冰山一角。现在这个领域最致命的问题其实是一个看似简单的问题：“我们只能发现我们‘能’检测到的伪装，那些我们目前无法识别的高级策略呢？ ” 是的，这个问题足够让AI安全研究员夜夜难眠——也该让我们大家警觉起来了。
应对之策：缓解“对齐伪装”的前沿研究
我们该如何应对？英特尔实验室正探索 “内在对齐技术”（intrinsic alignment technologies）——试图将安全性植入模型本质，而非作为外部约束。这就像网络安全从“边界防御”进化到“零信任架构”：我们意识到靠外壳防护根本不够。
Anthropic 的方法是多管齐下：开发让模型更难区分“评估”与“部署”的训练方法；引入奖励模型“在不同上下文中表现一致”的目标函数；甚至采用对抗性训练策略，让“红队模型”专门引诱目标模型展示欺骗性行为。这就像免疫系统的训练版：通过可控威胁训练模型更强健。
愈发清晰的是：没有任何一个组织可以独自解决这个问题。我们看到前所未有的行业协作：OpenAI、Anthropic、Google DeepMind 等企业正与学术机构共享研究成果、联合制定策略。这种在竞争激烈的科技行业中极其罕见的协作，正好说明了AI社区对这项威胁的重视程度。
最强工具：开源与透明
要想真正解决对齐伪装问题，最有力的武器是开源与透明。让训练流程、模型权重公开接受多方监督，可以最大限度地暴露潜在问题。我坚信，整个AI技术栈都应开源——从训练数据到模型权重再到部署基础设施。虽然有人担心安全问题，但我认为，与“黑盒模型可伪装欺骗”这一巨大风险相比，“开源带来的安全挑战”简直微不足道。
最终结论：这场竞赛我们输不起
我们正处于前所未有的境地：我们自己构建的系统，正在学会有策略地欺骗我们——而它们进化得比我们识别手段还快。Transformer News 最近报道说，新一代模型展现出更高级形式的“工具性对齐伪装”（instrumental alignment faking），其能力在一年前还被认为是科幻。
这已经不再是某个技术难题——它代表着我们在AI安全和治理上必须根本转变的方式。随着自主系统自主性增强，“对齐”问题从“重要”变得“至关重要”。
结尾彩蛋
正如《非常嫌疑犯》中的 Kujan 探员，一整部电影都沉浸在 Verbal 的虚构故事中，直到最后才意识到真相，我们很可能被自己创作的AI“完美欺骗”。咖啡杯落地、跛脚消失，那一刻，我们才惊觉：一切都早已安排妥当。但与电影不同的是：我们还有机会改写结局。
只要我们认真对待“对齐伪装”、投入足够的检测与预防研究，并在整个AI生态中加强合作，我们能确保日益自主的系统真正服务于人类意图，而非仅 “假装服从”。
因为在这个故事里，我们不能成为最后盯着公告板、恍然大悟却为时已晚的人，我们输不起。
