Garry Tan 主张允许美国开源权重实验室蒸馏前沿模型
前言
背景:本文概述了 Y Combinator 首席执行官 Garry Tan 对所谓蒸馏技术及其在美国应如何适用的立场。近期对实验室——特别是在中国的实验室——使用蒸馏从领先模型中提取知识的担忧,引发了对监管行动的呼吁。Tan 反驳称,过于严厉的监管可能适得其反,美国的开源权重实验室应当能够使用类似方法以促进竞争并增强 AI 生态系统的弹性。本文旨在呈现 Tan 的论点、蒸馏的技术实践以及不同观点,让读者理解这些权衡与影响。
Lazy bag
Garry Tan 表示:不要匆忙禁止蒸馏。相反,应允许 美国开源权重 AI 实验室 公开地蒸馏前沿模型。他主张允许合法、正当的正门蒸馏会增强美国的选择、促进创新并有助于防止单一专有公司垄断。Tan 强调这关乎合法、透明的使用——不是盗窃或凭证欺诈——并将对模型知识的获取视为促进竞争与公共利益的重要事项。
主体
蒸馏指的是大量查询强大模型以了解其推理方式并将其行为提取到新模型中的做法。这可以是研究人员与较小实验室用来加速开发并增加可用模型种类的一般且合法的训练方法。近期,一些公司提出警告,称某些行为者通过欺骗手段——例如隐藏身份或使用被盗凭证——发动“非法蒸馏攻击”。这些指控促使一些人呼吁监管介入,特别是来自担心其模型能力被未经授权提取的公司。
Garry Tan 提出不同看法。他主张监管者在全面禁止蒸馏时应保持谨慎。Tan 在采访中表示,美国决策者或可改为允许甚至鼓励一种美国式的蒸馏制度,允许国内开源权重实验室通过适当、合法的渠道蒸馏前沿模型。他的论点主要有两个方面。
首先,Tan 认为限制模型创建者控制其系统下游使用的能力,可能属于过度。如果模型通过一般互动或 API 响应泄露信息,他质疑创建者是否应完全决定客户如何使用该信息。在 Tan 看来,一旦通过以广泛公开数据训练的模型生成出智能,就以严格的合同或技术控制来限制对该智能的访问,反而有可能集中权力而非实现民主化。
第二,Tan 强调历史行为上的不对称。许多知名的专有模型是通过大量摄取公开可得的人类创作内容来训练的——常常未向个别权利人取得明确许可。鉴于此动态,Tan 认为在开发阶段允许广泛的数据摄取,却在下游严格限制对模型所产生智能的访问,具有不一致性。相反,他将由开源权重的美国实验室负责任地进行蒸馏,视为扩展可用模型生态并减少对任何单一供应商或外国产权主导模型依赖的一种方式。
他谨慎地将自己的立场与支持非法实践区分开来。Tan 不赞成欺诈、凭证盗用或秘密攻击以提取模型行为。他设想的是一条开放且合法的路径:允许较小的美国实验室通过一般访问方式与前沿模型互动,并将那些互动作为训练自身开源权重模型的数据。他相信这种做法会扩展可信赖且可获取的选项,而不依附于外国供应商。
Tan 也从长期市场结构与公共利益角度来框定辩论。他担心一种情景,即一家专有公司积累过多的资本、人才与基础设施,导致一个控制最强大 AI 系统的单一垄断供应商。那才是他所说真正的“末日”结果——技术与经济权力的集中,限制了访问、选择与创新。他主张,能够合法蒸馏的开源权重实验室,有助于形成更具多元性的环境,使多方行为者能够迭代、审计并在先进能力上构建。
批评者——包括某些前沿公司的高管——则敦促监管机构介入,主张不受限制的蒸馏可能便利知识产权盗用或让行为者在无问责的情况下复制危险能力。这些担忧不可忽视:如果蒸馏是秘密进行或使用被盗访问,可能破坏现有保护并创造滥用路径。小型实验室可能也缺乏大型实验室在安全工程上的投入,这一点亦属实。这在促进竞争与确保负责任开发部署之间造成张力。
Tan 的提议邀请一条中间道路:防范非法活动,同时允许透明、合法的蒸馏做法以维持多样化的模型生态。在这样的制度下,政府可以澄清可接受的行为、要求透明或标注来源,并遏止欺诈性访问,同时仍允许为创新与冗余而采用的合法逆向工程式技术。该观点的支持者认为,监管上的明确性会减少秘密行为,并营造一个开源权重模型可与前沿闭源提供者共存的环境。
采纳以美国为中心的蒸馏政策也会有地缘政治影响。倡导者认为,这可确保外国产权主导模型之外的替代方案持续可用,支持国家技术独立与学术研究。反对者则反驳,宽松政策可能加速高风险能力的扩散或削弱前沿实验室在负责任管理其模型上的投资激励。
最终,Tan 的观点与关于治理、创新与竞争的更广泛 AI 讨论一致。他强调合法性、开放性与平衡:支持可获资助的前沿实验室作为进步的引擎,同时允许开源权重模型提供自由与获取。决策者是否采纳他的做法,将取决于他们如何权衡竞争、安全、知识产权与国家利益之间的利弊。
关键洞见表
| 面向 | 描述 |
|---|---|
| Tan 的立场 | 他支持允许美国开源权重 AI 实验室合法蒸馏,以促进竞争并提供对外国产品的替代。 |
| 蒸馏定义 | 大量查询强大模型以捕捉其行为,并使用该数据训练新模型的过程。 |
| 提出的担忧 | 关于非法蒸馏的指控(欺骗性访问、被盗凭证)以及在缺乏监管下复制危险能力的风险。 |
| Tan 的保留 | 他明确反对非法手段;他的建议是采用透明、正门的访问与合法做法。 |
| 政策含义 | 受监管的美国蒸馏制度可在竞争、公共获取与防止欺诈和滥用之间取得平衡。 |
| 更广目标 | 避免 AI 权力集中于单一专有公司,并保留模型开发的多元性。 |