文章上線

AI 生成的模式能欺骗监控摄像头 — 包括 Flock

AI 生成的模式能欺骗监控摄像头 — 包括 Flock

前言

背景:计算机视觉的进步使自动化监控更强大,但也暴露出干扰检测的新方法。本文解释了一个最近的项目,该项目使用 AI 生成的视觉模式 来阻止机器视觉系统对人、面孔或车辆进行分类。目的是客观概述该技术、其真实世界示范以及对隐私、法律和安全的更广泛影响。

要点摘要

关键要点: 对抗性模式—由强化学习生成—可以混淆监控系统使用的目标检测模型。在公开测试中,这些模式使多个开源检测器(包括一些被广泛部署系统背后的技术)无法识别被包裹的汽车。该方法不会使摄像头失效或让人类观看者看不见图像;它针对的是自动分类层。

主体内容

最近的 noRecognition 项目展示了对抗性机器学习如何产生对现代监控的实用视觉对策。开发者 Bill Swearingen 使用强化学习演化图形模式,利用目标检测模型的弱点。与物理遮挡或简单伪装不同,这些模式是专门优化以破坏检测算法的输出,同时对人类保持视觉上的一致性。换句话说,人类观看摄像头画面仍然会看到汽车、人物或物体,但原本会标记并记录该物体的程序却无法做到。

Swearingen 的工作在规模与针对性方面值得注意。在大约一年的时间里,他运行了数百万次测试来完善能够击败各种检测堆栈的模式。根据他的结果,这些模式成功规避了他评估的所有 11 个开源检测器。他测试的目标中包括与某商业车牌识别厂商相关的检测管线;当各市政府考虑更广泛部署该厂商的摄像头时,这引发了争议。该项目在一次重要的安全会议上公开展示:一辆用其中一种生成模式包裹的 2009 年 Toyota Yaris 在现场摄像头前驶过,以演示检测层未能如预期识别该车辆。

需要明确说明这些模式能做和不能做的事。它们不会致盲摄像头;也不会抹去或扭曲供人类观看的视频。相反,它们引入了结构化的视觉噪声,这些噪声针对机器视觉模型内部数学的脆弱性进行调整。现代计算机视觉系统通过将视觉特征映射到高维表示并根据学习到的模式做出判断来分类对象。对抗性样本会破坏这种映射:对人来说看起来像大胆图形艺术的设计,可能产生使分类器解释为无关或无意义的特征激活,导致模型输出低置信度或根本没有标签。

在技术上,Swearingen 使用了一种强化学习形式,反复评估模式在目标模型上的表现,然后调整模式以改进规避效果。他将这一过程描述为教模型“如何绘画”:生成模式、针对检测器进行测试、从失败中学习,并产生更好的候选模式。通过这个反馈回路,系统可以高频率地生成新模式。Swearingen 表示,他将最有效的模式离线保留,以防供应商用那些具体样本重新训练其模型。

该项目属于一系列即兴防御与对抗技术的历史延续。活动家和技术人员长期尝试使自主感测混淆或失效的方法——从简单的硬件技巧到专门的服装或眼镜以干扰面部识别。使 noRecognition 与众不同的是其有意针对组织和供应商实际部署的堆栈。通过针对特定工业模型的测试,该工作从理论性的对抗样本转向针对已在运行的现实世界系统的有针对性对策。

除了技术示范之外,这种方法也引发了法律和伦理问题。自动车牌识别和面部识别系统曾涉及误认和滥用,从错误拦查到对抗议者和移民社区的监控。大量部署能够持续识别的摄像头的前景已促使政策制定者和隐私倡导者展开辩论。支持者将让人们避免自动检测的工具视为收回隐私、选择退出持续追踪的一种方式。批评者则指出可能被试图规避执法或从事不法行为的个人滥用。

这类视觉对策存在实际限制与需要考虑的因素。各司法辖区对车辆改装与遮挡车牌的法律不同;公开示范中展示的模式覆盖了车身但未覆盖车牌。距离、分辨率与摄像头角度会影响任何视觉对策的效果:在某一范围或角度干扰检测的模式,在不同条件下可能不起作用。此外,检测供应商可以通过重新训练模型、增加训练集多样性,或部署额外的传感器融合(例如将摄像头数据与雷达或 LIDAR 结合)来降低对单一视觉模态的敏感性。Swearingen 表示他将最成功的模式保密,以限制供应商的再训练,但在对抗设计者与模型开发者之间的军备竞赛中,这只是暂时优势。

从政策与社会角度来看,可复制的对抗技术的存在具有影响。监管者与考虑部署监控的市政府必须权衡自动检测的好处与错误、偏见及被规避的风险。对隐私倡导者而言,阻碍自动记录的工具可视为在法律框架跟进前的必要对策。对技术人员而言,该工作强调需要设计能抵抗对抗性输入的鲁棒系统,同时考虑检测技术的伦理使用。

在实践层面,noRecognition 项目还探索了众筹生产可穿戴与车辆尺度的模式——最初为品牌周边商品,最终可能是车辆贴膜——旨在实现足够的分辨率和设计可用性以促使人们采用。这进一步引发了关于对抗性保护商品化以及市场如何影响此类技术传播的问题。

最终,对抗性模式展示了关于当前机器视觉的一条核心真相:它以不同于人类的方式感知世界,而这种差异可被利用。此类利用是用于保护公民自由、规避执法或用于其他目的,将取决于法律框架、供应商回应与公众辩论。noRecognition 项目是对抗性学习如何从实验室走向公开示范并进入政策讨论领域的具体示例,凸显了技术聪明才智与社会取舍。

关键洞见表

面向 描述
关键事实 1 AI 生成的对抗性模式可以在保持人类可见影像完整的情况下,阻止目标检测模型对被覆盖物品进行分类。
关键事实 2 noRecognition 项目展示了对多个开源检测器的规避,并公开在部署的摄像头系统前测试了一辆包覆图案的汽车。
最後編輯時間:2026/8/12

Mr. W

Z新闻专职作家