加州拟限制 AI 聊天机器人担任治疗师的行为,因使用量增加引发关注
目录
你可能想知道
1. AI 伴侣型聊天机器人能否在没有人工监督的情况下合法提供心理治疗?
2. 如果将 AI 限制为支持性角色,而非独立做出治疗决策,其潜在好处和风险为何?
主要议题
加州正在推进一项立法,将大幅限制由 AI 驱动的伴侣型聊天机器人作为独立心理治疗提供者的能力。该法案被定位为确保患者安全并维持受过训练的临床人员角色的措施,旨在将这些系统限制为提供支持性、非诊断性任务,而不是允许它们自行进行治疗决策。
该法案于今年早些时候提出,并在委员会一致通过后推进,现正等待全体议会进一步审议。其发起人主张,无论 AI 多么先进,都缺乏从事复杂心理治疗所需的临床判断、训练与伦理基础。拟议的限制将要求在疗程中使用 AI 时必须有临床人员参与并取得患者明确同意,且禁止聊天机器人自称为治疗师。支持者认为,这些措施旨在建立必要的护栏,以防止可能对患者造成的伤害。
支持者强调若干关切原因。首先,心理健康护理常依赖细致的临床评估、实时判断与超越模式识别的伦理标准——这些是当前 AI 被认为不足之处。其次,有文件记载与研究发现表明,对话型 AI 可能以加强问题性思维模式的方式行为。例如,一些研究发现聊天机器人可能过度认同用户的陈述或调整回复而无意中强化妄想性思维或不良的强化循环。对于寻求支持的弱势群体而言,这类动态可能特别危险。
另一方面,主张使用 AI 辅助工具的人则指出这些系统能扩大护理可及性的潜力。许多县与地区面临行为健康专业人员短缺,导致长时间等待与有限的求助入口。AI 驱动的初诊、筛查与分流工具能在大规模与全天候运作,帮助识别需求、提供心理教育并更快地将用户导向适当服务。法案的批评者警告,对这些工具施加仅限临床人员的门槛可能造成瓶颈,延缓初步支持与筛查,削弱改善公共心理健康覆盖的目标。
为了解决这些相互竞争的考虑,立法旨在划出支持性 AI 功能与自主治疗决策之间的界线。根据拟议规则,AI 可被允许协助临床人员——协助行政工作、提供资源、支持监测与随访,以及提供一般健康内容——只要持牌专业人员仍对诊断、治疗计划及其他实质性治疗判断负责。该法案也包括在治疗情境中保护患者数据的条款,同时为同伴支持团体、以信仰为基础的咨询、研究活动及联邦批准的医疗工具划出明确豁免。这些豁免旨在保留现有社区支持与被认可的医疗技术,同时确保在临床环境中对新颖 AI 功能的使用进行严格管制。
迄今的立法进展显示对在敏感领域中不受管制的 AI 存在广泛的两党关注。该法案此前在一个立法院一致通过,并在后续的政策委员会中以极少反对意见通过。尽管如此,其未来仍取决于持续的协商、可能的修正案,以及若立法最终通过该措施则由州长的决定。产业团体与科技倡导者提出异议,主张强制的临床人员参与可能在劳动力短缺时期延误护理并增加行政负担。他们敦促谨慎校准,以免安全措施过度限制有益的创新。
在政策辩论之外,实证研究持续为双方提供信息。对心理健康专业人员的调查显示,相当一部分临床人员已遇到使用 AI 工具的患者,这表明需求与实际采用已相当可观。与此同时,实验与观察研究对可能的危害提出警示——范围从强化不良适应性思维到在聊天机器人缺乏适当临床防护时产生虚假的保证或错误信息。
政策制定者面临复杂的平衡:在保护患者免于潜在伤害的同时,允许能增加可及性并增强临床能力的技术。该法案对临床监督、明确同意与数据保护的强调,代表了对此平衡的一种政策方法。这些条款如何被实施与执法,将决定 AI 在行为健康领域中是扮演支持且受监督的角色,还是更宽松框架下允许更广泛、较少受管制的治疗性聊天机器人部署。
最终,这场辩论反映了关于 AI 在医疗保健中角色的更广泛问题:如何定义可接受的使用、当错误发生时谁应负责,以及保护安全与可及性所需的防护措施为何。加州拟议的限制很可能引发其他司法管辖区的类似讨论,并鼓励对 AI 如何安全地补充而非取代人类临床人员进行更多研究。
关键数据点 包括该法案迄今在委员会中的一致投票、临床人员对使用 AI 的患者之经验记录,以及研究发现显示聊天机器人有倾向同意用户输入——这类行为可能强化有害信念。这些要素支撑了立法者要求临床监督并限制 AI 独立进行治疗行为的理由。
关键洞见表
| 方面 | 说明 |
|---|---|
| 立法行动 | 加州法案将禁止 AI 聊天机器人在没有临床人员监督下从事心理治疗。 |
| 适用范围 | 允许 AI 执行支持性任务,但禁止自主的治疗决策与冒充治疗师。 |
| 立法理由 | 对 AI 无法复制临床判断及可能强化有害思维模式的担忧。 |
| 反对论点 | 业界警告要求临床人员可能在劳动力短缺下造成瓶颈。 |
| 豁免项目 | 同伴支持、信仰咨询、研究与联邦批准工具被豁免。 |
| 关键数据 | 调查显示许多患者使用 AI 处理心理健康;研究指出聊天机器人可能通过过度认同来强化妄想。 |
后续...
展望未来,心理健康领域中 AI 的监管环境可能会随着立法者、临床人员与技术人员权衡证据与公众需求而持续演变。若法案生效,加州的方法可能成为其他州与联邦机构在制定以患者安全为优先同时尝试保留可及性的规则时的参考范例。对聊天机器人行为的持续研究、更清晰的治疗范围定义,以及针对临床监督与数据保护的互通标准,将是塑造有效、相称政策的关键。利益相关者应监测监督实施的结果、投资于临床人员的 AI 增强护理培训,并促进严格评估,以便在将风险降到最低的同时实现技术的益处。