医疗行业在缺乏联邦指导的情况下自行应对AI监管挑战

在联邦标准缺失的背景下，医疗公司正艰难地采用人工智能，而特朗普政府不太可能提供任何帮助，这使得负责任地实施AI的重担完全落在了行业自身肩上。

专家在拉斯维加斯举行的HIMSS医疗会议上表示，随着技术日益复杂，这一任务正变得愈发困难。

“有一点很明确：本届政府不会监管AI。无论好坏，请自行理解。”供应商自动化公司Commure的首席执行官Tanay Tandon在小组讨论中表示。

特朗普总统对AI治理的放任态度意味着，那些希望借助AI节省成本并为过度劳累的临床医生提供缓解的医院，至少在接下来四年内可能将在监管灰色地带运营。

总统表示，他的目标是解放美国开发者以促进创新。但这对于渴望护栏的技术开发者和医疗公司来说也有弊端，因为AI容易出错、随时间退化并加剧现有偏见。

更不用说，一些专家认为，缺乏国家标准实际上可能阻碍AI的发展和采用。

“当没有联邦框架时，它绝对可能引发各种问题，”电子健康记录协会主席Leigh Burchell说。“我们都想知道规则是什么，然后我们可以遵守。”

拜登与特朗普在医疗AI上的不同立场

迄今为止，包括HHS技术办公室、CMS和食品药品监督管理局在内的少数联邦机构已发布了针对医疗AI使用和质量的针对性规则。但国会和行政部门均未聚焦于制定全面的监管框架——尽管在拜登政府期间取得了一些进展，当时HHS的一个工作组正在努力构建统一的监管结构。

该工作组在1月发布了一项战略计划——就在特朗普就职前10天。然而，特朗普在他的首批行政命令之一中否决了该蓝图。

与此同时，从事AI监管工作的联邦雇员（包括FDA的）已被卷入特朗普政府的人员清洗。在这场动荡中，负责AI政策的HHS办公室的未来仍不明朗。

因此，华盛顿在制定具体医疗AI监管战略方面仅存的一点势头似乎已经停滞，至少目前如此。取而代之的是，特朗普宣布了“星际之门项目”，一项与私营公司达成的5000亿美元投资协议，旨在优先发展AI并保持美国在该领域的优势——这一高风险赌注立即因中国高性能且低成本的开源模型DeepSeek的发布而变得复杂。

“本届政府——刹车已松开，油门已踩下。”

——Brian Spisak，哈佛大学国家应急领导力计划AI与领导力项目主任

特朗普政府在2月初发布了一份信息征询，以征求公众对潜在国家AI行动计划的意见。然而，该计划的措辞明确了政府的优先事项：“维持和增强美国AI主导地位，并确保不必要的繁重要求不会阻碍私营部门的AI创新。”

撤销拜登时代的AI计划在很大程度上是象征性的，因为各机构尚未对开发者或用户施加任何要求。

但在“本届政府——刹车已松开，油门已踩下，”哈佛大学国家应急领导力计划AI与领导力项目主任Brian Spisak在HIMSS上说。“医疗系统领导层有重大责任去找到创新与速度、安全与传统之间的最佳平衡。”

技术巨变

这一责任——也落在创建模型的AI开发者、将AI整合到健康记录中的软件供应商以及使用它们的临床医生身上——并非微不足道。

目前，即使在医疗机构中最前沿的AI也主要用于行政自动化，仅边缘性地涉及患者护理。但这似乎正在改变：根据HIMSS在秋季进行的一项调查，医疗组织对AI的更多临床用例（如定制治疗方案或帮助临床医生做出诊断）的兴趣日益增长。

许多用例涉及生成式AI，它可以创建原创文本和图像。但这类模型以“幻觉”著称，即提供事实上不正确或不相关的答案。AI可能遗漏重要信息，这种错误称为遗漏。模型也可能漂移，即AI的性能随时间变化或退化。

专家表示，鉴于AI在从EHR系统提取数据、转录医患对话等方面的日益普及，此类错误可能干扰临床医生照顾患者的能力。

与此同时，技术正以惊人的速度发展。去年，医疗行业才刚刚开始应对生成式AI的治理问题。但现在，讨论已转向AI代理，它们可以在几乎无人监督的情况下完成复杂任务。

3月在拉斯维加斯举行的HIMSS健康IT会议，多家公司展示了AI代理。

Commure的Tanay将当前时刻比作19世纪末美国从煤油转向电力的时期。“六个月前我们做事的方式已完全无关紧要，”他说。

专家表示，由于发展速度飞快，任何政府的联邦标准都可能需要保持灵活性。

拜登政府的HHS工作组建议政府可以围绕测试和试点工具制定指导方针，并提供一些采用支持。然而，它回避了规定性的方法。

这与许多利益相关者的愿望清单一致。科技公司和医院系统的多位高管表示，任何联邦标准都应按AI模型带来的风险水平分层——例如，对帮助医生诊断疾病的算法进行更严格的监督，而对帮助医院工作人员分配床位的算法则放宽限制。

“我们必须权衡监管不足（可能增加风险）和监管过度（将阻碍创新）之间的平衡，”加州橙县儿童医院首席智能与创新官Anthony Chang在小组讨论中说。“本届政府更可能倾向于监管不足。所以作为专业人士，我们必须小心，不能允许这种情况发生。”

各州和行业组织填补空白

华盛顿缺乏指导方针，导致医院和医疗团体在零散的州法律和行业组织发布的自愿标准中，争相建立自己的内部控制。

包括科罗拉多州、犹他州和加利福尼亚州在内的州已颁布法律，对AI系统设定免责声明要求。更多州正在考虑类似法律：据Burchell称，电子健康记录协会正在追踪150项与医疗AI相关的州法案。

“法案数量爆炸式增长，”Burchell说。

但不同的标准可能阻止医疗AI开发者和软件公司在特定州推出产品，从而可能使患者因居住地而处于不利地位。她补充说，更规避风险的软件公司可能会完全避开AI或某些州。

“州级各种规模和形式的立法对我们构成风险，因为这意味着我们必须进行各种不同的开发。我们更愿意开发一个可以在全国广泛使用和接受的系统，”Burchell说。

医疗AI标准组织也在填补联邦政府留下的空白。这些组织通常由领先医院、数字健康公司和技术巨头组成，包括Health AI Partnership（一个行业AI学习网络）和健康AI联盟（最近推出了医院AI注册表）。

“我认为我们可能会看到更多像Health AI Partnership这样的非政府组织成为我们今天的北极星，因为它们在该领域提供了领导力，”EHR供应商Meditech的生成式AI计划企业负责人Rachel Wilkes说。

但专家表示，没有联邦政府的支持，行业联盟的标准几乎没有分量。历史上，自愿标准并不特别有效。

“在没有联邦框架的情况下，人们有空间按自己的最佳利益行事，无论那是什么，”Wilkes说。

“我们仍不太知道如何应对”

EHR供应商和医院运营商表示，他们正在为AI工具建立严格的内部标准，包括验证和频繁审计。

“政府监督有其位置，但我确实认为临床实践的发展往往更多由医疗系统内部发生的事情驱动，”美国最大的EHR公司Epic的研发执行副总裁Seth Howard说。

在接受采访时，Epic、Oracle、Meditech和eClinicalWorks的高管表示，他们正在以严格的监督向医生提供AI，包括后端准确性检查和持续监控。

然而，技术领导者强调，医院和临床医生也有责任确保一切按计划运行。

“我们正在一个涉及人类生命的行业工作。它不能是琐碎的。对于需要什么样的护栏、制衡和讨论，不能低估，”eClinicalWorks首席执行官Girish Navani说。

大力押注AI的技术巨头也有同感。例如，谷歌已与营利性医院巨头HCA合作，开发评估框架以捕捉其AI模型产生的任何错误并确保可靠性，据谷歌云医疗保健负责人Aashima Gupta称。

“我们提供这些工具用于评估框架，并且所有这一切都有人员参与反馈循环，该反馈循环使模型更有效，”Gupta说。“这让我感到安心。”

“我们正在一个涉及人类生命的行业工作。它不能是琐碎的。对于需要什么样的护栏、制衡和讨论，不能低估。”

——Girish Navani，eClinicalWorks首席执行官

尽管一些私营部门表示他们已处理好治理问题，但AI工程师表示，现代AI极难监督。生成式AI的主要优势——其创造力——也引入了主观性，使其输出评分变得复杂。

例如，如果两名临床医生被要求根据临床笔记总结患者的病史，他们的结果可能截然不同，尽管仍然准确。生成式AI也是如此，专家说：当存在这种程度的可变性时，如何以标准化方式衡量质量？

“AI治理仍是一个非常成熟的过程，”哈佛的Spisak说。

医院高管表示，他们正在谨慎处理监督问题。但一些研究表明，针对更简单的预测性AI模型的治理系统已经不够严格。根据去年发表在《新英格兰医学杂志》上的一项研究，有明确AI工具使用和评估程序的医院仍在努力识别和缓解问题。

患者在接受配备环境监听AI技术以转录互动的检查。

即使是一些资源最充足、技术最先进的系统也在挣扎。

克利夫兰诊所拥有一个AI治理机构，包括来自学术医疗中心的利益相关者，据该诊所首席数字官Rohit Chandra称。该工作组监督AI对组织和患者的影响，同时确保临床安全并讨论隐私、合法性和偏见的棘手问题。

但“我不认为我们已经完全解决了，”Chandra在小组讨论中说。“‘幻觉’这个词在过去两三年才出现。我们仍不太知道如何应对。”

医院应尝试让特定人员对工具性能负责，作为包括高管、律师、医生和护士在内的更大治理机构的一部分，标准组织CHAI的运营主管Brenton Hill说。

医院需要决定如何有效监控AI并报告该信息，这取决于他们已有的产品。他们还需要考虑AI将使用哪些资源，并与AI供应商制定适当的数据使用协议，Hill在小组讨论中说。

但“没有一种银弹治理结构可以解决所有问题，”Hill说。

“白日梦”

尽管联邦监管机构的路线图会有所帮助，但致力于将AI工具整合到医疗保健中的利益相关者表示，他们并不抱太大希望。

“虽然自我监管是好的，但我们认为这还不够。我们认为AI太重要了，不能不加以监管，”谷歌的Gupta说。

但当被问及她对特朗普政府的期望时，Gupta不置可否。“目前很难说。我们正试图找出与他们合作的最佳方式，分享我们的最佳实践……现在说还为时过早。我认为整个医疗界都在等待。”

其他专家表示，特朗普政府是对那些曾希望华盛顿能承担AI监督责任的医院高管的警钟。

相反，责任应落在所有接触技术的人身上，以确保AI算法——鉴于其变化性和固有的不透明性——按设计运行，尤其是在任何错误都可能影响患者健康的行业中。

“简单的答案是，如果监管机构说它安全，那么我可以信任它。我认为人们曾希望AI也能如此，”代理AI公司Notable的首席医疗官Aaron Neinstein说。“我认为那是一个白日梦。”