为什么独立 AI 审计需要保持独立

重点摘要

六家领先的 AI 公司承诺与独立审计人员合作，但协议并未说明由谁挑选审计人员、他们可以检查哪些内容，或是否必须公开结果。过去企业的失败，以及先前自愿性 AI 承诺的成效不彰，都说明将监督交由受审查的公司负责存在风险。新的隐私保护测试方法，或许能让审计人员在不获取模型副本或接触敏感数据的情况下检查先进模型。要让审计具有公信力，公司就不应掌控检查的问题或范围。本文主张，应透明选任审计人员、提供有意义的报告，并让审查审计结果的人员受到外部问责。

情绪分析

• 本文对白宫协议持审慎批判态度。文章肯定外部审查的承诺，但强调仅有自愿承诺未必能确保严格监督。
• 包括 Enron 与 Arthur Andersen 倒闭事件在内的历史案例，支持了人们对利益冲突的担忧：公司自行选任并支付审计人员费用，可能造成利益冲突。对先前 AI 承诺的讨论也表明，这些承诺可能未能充分落实。
• 文章的语气并非全然悲观。Google DeepMind 与新加坡 AI 安全研究所及其他团体共同开发的双盲测试方法，被视为一种实用做法，可同时保障模型安全与评估者的独立性。
• 总体而言，情绪复杂但偏向审慎：加强审查的技术方法已经存在，但可信的治理、公共问责，以及防范利益冲突的保障措施仍未解决。

文章正文

六家大型人工智能公司近日同意，根据一项提交白宫的协议，配合外部审查人员进行审查。9 月 29 日，Nvidia、OpenAI、Anthropic、Google、Meta 和 xAI 签署了关于其最先进 AI 模型的协议。美国总统 Donald Trump 称这项协议具有“道德约束力”。这些公司表示，将与独立的外部审计人员或评估者合作，并由独立董事会成员审查报告，确保已发现的问题得到处理。

外部审查有助于发现公司可能忽略，或缺乏动力披露的风险。然而，这项协议仍留下重要问题未解：它没有界定由谁挑选审计人员、审计人员可以检查模型或开发流程的哪些部分，也没有说明是否必须公开调查结果。此外，协议也未规定不履行承诺的处罚措施。按照目前描述的安排，公司自行选择审计人员，并决定审计人员可以获取哪些资料。

本文将这套架构与 Enron 和 Arthur Andersen 涉及的会计丑闻相提并论。2000 年，Enron 支付 Arthur Andersen $25 million 审计账目，另支付 $27 million 作为税务与咨询服务费用。不到两年，两家公司都倒闭了。国会随后通过《Sarbanes-Oxley 法案》，将审计人员的选任权从管理层手中移除、限制审计人员向审计客户提供许多其他服务，并成立一个公共委员会来检查审计人员。文中指出，Andersen 的失败并非单纯因为专业能力不足；财务激励可能削弱审计人员质疑客户的意愿。

自愿性的 AI 承诺也带来了参差不齐的结果。2023 年，领先的 AI 公司向白宫承诺，包括允许外部专家在系统发布前进行测试。Stanford、Harvard 和 Brown 的研究人员后来依据这些承诺，评估了 16 家公司。平均分数为 53%，而 16 家公司中有八家在“协助外部人士找出并报告问题”这项承诺上得了零分。这些结果令人怀疑，在缺乏明确标准或执行机制的情况下，依赖承诺是否足够。

即使确实进行外部测试，模型开发公司仍可能限制评估者可以检查的内容。非营利 AI 模型测试机构 METR 表示，在 OpenAI 的 o3 模型发布前进行的评估仅持续三周，可获取的信息有限，而且无法查看模型逐步推理的过程。OpenAI 确实允许进行这项评估，但这个例子说明，审查的价值取决于开发者提供的权限与条件。

模型安全确实带来一项棘手难题。训练完成的 AI 模型是一个非常庞大的数字文件，制作成本可能超过 $100 million。若将副本交给外部人士，可能会暴露有价值的技术或造成安全风险。Google DeepMind 曾说明由此产生的两难：评估者可能必须事先透露问题，让公司知道测试内容；或者由开发者让评估者获取模型。

8 月，Google DeepMind 与新加坡 AI 安全研究所及另外三个外部团体合作，展示了另一种做法。这项合作按照双盲药物试验所采用的原则，进行了其所称全球首例 AI 模型双盲测试。测试在封闭式计算机硬件上进行，评估者看不到模型，Google 也看不到他们的问题。Google 表示，双方都能以数学方式验证各自的资料仍受到保护。这种做法表明，独立测试不必以交付模型副本给审计人员为前提。

封闭式硬件并非毫无风险。去年，研究人员使用不到 $1,000 的设备突破了这类硬件的防护，不过攻击者必须实际接触服务器。本文认为，这项弱点值得重视，但比起全面拒绝让评估者接触模型，更容易管理。谨慎管控设备可以降低风险。

Decentralization Research Center 本周发布的报告《集中式 AI 的替代方案》，根据对 36 人的访谈，整理出近 30 种可行方案，说明如何避免 AI 由少数人掌控。报告的核心发现是，外部人士无需获取模型或其数据，也能审查先进 AI。因此，本文建议由审计人员，而非受评估的公司，决定测试内容。公司应公布审计人员身份并说明审计范围，即使详细结果仍须保密也无妨。本文还主张，负责审查报告的董事会委员会应向公司以外的对象负责。这项协议并未设立独立的审计人员监察机构，因此国会必须决定如何填补这项问责缺口。

关键见解表