人工智能已在医疗领域广泛应用，但生成式AI因其部署速度之快与监管监督之缺位，被视为一次重大且带有风险的前进。本周在芝加哥举行的HIMSS大会上，行业专家就此发出警示。

由此，围绕GPT-4——OpenAI最新的大语言模型，也是广受欢迎的聊天机器人ChatGPT付费版所依托的技术——的严苛伦理问题层出不穷。尽管如此，支持者认为生成式AI在改善美国医疗服务方面潜力巨大。

该领域最大的公司之一微软，在过去八个月中一直与GPT-4开发者OpenAI合作，以理解该技术对医疗的潜在影响。微软医疗部门企业副总裁Peter Lee在周二的主题小组讨论中表示，生成式AI已在多个用例中显现早期成功，包括简化福利说明（EOB）通知的解读，以及撰写预授权申请表格。

Lee指出，医生可向AI发出提示，以辅助解读疑难新病例，或将患者对话按标准化格式重写。

微软近期公布了将生成式AI嵌入Epic临床软件的计划。Epic是美国最大的医院电子健康记录（EHR）供应商。

上周，微软与Epic已率先在部分站点上线集成GPT的EHR工作流，用于自动草拟对患者消息的回复。两家公司还将生成式AI工具引入Epic的医院数据库，使非专业人士也能直接向AI提出一般性问题，而无需数据科学家查询特定数据。

Epic研发副总裁Seth Howard在接受采访时表示，Epic正将大量研发资源投入生成式AI。

这家医疗IT公司还在研究利用生成式AI总结患者病史，并将面向患者的材料在不同语言和阅读水平之间进行翻译，以提升健康素养。

“这是一大类工作，”Howard说，“未来一年我们会推出许多用例。”

谷歌也在将其自研的大语言模型Med-PaLM 2开放给一组精选客户，以探索用例。Med-PaLM经过医疗数据的专门训练，能够筛选并理解海量医疗信息。不过，据谷歌AI团队称，该模型在可处理查询的复杂程度以及达到产品卓越性方面仍有提升空间。

谷歌云负责人Aashima Gupta在接受采访时表示，Med-PaLM不会用于面向患者的场景。相反，医院可利用该AI分析数据以辅助诊断复杂疾病、填写病历，或作为患者门户的“礼宾”服务。

专家指出，生成式AI一个值得注意的用例是简化医疗记录。医生每天可能花费多达六小时在EHR中记录笔记，这减少了与患者相处的时间，并可能加剧职业倦怠。

领先的临床文档公司正在集成生成式AI技术，并声称这能提高其产品的准确性和速度。

微软旗下的文档公司Nuance上月表示，已将GPT-4集成到其临床笔记软件中。今年夏天，使用现有Nuance文档产品的供应商可申请测试该应用DAX Express的测试版。

Nuance总经理Diana Nole表示，6月中旬将有10至15家客户（合计300至500名医生）在私人预览中测试该产品，之后将于初秋全面上市。

与谷歌合作的文档公司Suki，本月早些时候推出了其由生成式AI驱动的“Gen 2”语音助手。

Suki首席执行官Punit Soni告诉Healthcare Dive，现在Suki可以从对话中环境式生成临床笔记并自动填充。Soni称，接近年底时，医生还将能够向AI提问并下达指令，例如绘制患者过去三个月的A1C水平图表。

据这位CEO称，Gen 2目前正与“极少数”客户进行试点。Suki计划在今年晚些时候将其全面推出。

“兴趣令人难以置信，”Soni说，“如果有人能帮你把所有笔记都做完——那岂不是很棒？”

沉重的风险

诚然，生成式AI会犯错，这引发了围绕准确性、公平性和问责制的棘手伦理问题。这意味着医学界需要在决定是否、何时以及如何使用这类AI方面持续发挥重要作用，HIMSS专家如是说。

AI的一个问题是“黑箱”难题：如果无法清楚AI如何得出结论，结果又如何能被信任？

人们很容易被误导，以为这类技术能够推理，但用户必须记住，生成式AI并不进行深思熟虑——它只是预测最合理的下一组词，医学伦理学家Reid Blackman说。

“也许我们能接受有效的魔法。那是一种选择。另一种选择是，如果要做癌症诊断，我必须完全理解你做出该诊断的原因……问题在于GPT并不给出理由。它给出的是看起来像理由的东西，”Blackman在周二的小组讨论中表示。

生成式AI还存在准确性问题。大语言模型以“幻觉”著称，即提供事实上不正确或无关的答案。OpenAI官网写道，GPT-4“仍有许多已知局限，我们正在努力解决，例如社会偏见、幻觉和对抗性提示”。

偏见是AI的另一个关键担忧，尤其在医疗领域。专家表示，如果算法基于有偏见的数据训练，或其结果以有偏见的方式应用，它将反映并延续这些偏见。

问责制也仍是关切。由于生成式AI领域如此之新，尚不清楚哪个利益相关方——所有者？用户？开发者？——应对其使用产生的任何负面后果负责，可信技术中心CEO Kay Firth-Butterfield表示。

“出了事你起诉谁？有可起诉的对象吗？”Firth-Butterfield在周二的主题小组讨论中问道。

超过27,000名利益相关者已签署一封公开信，要求AI实验室立即暂停训练比GPT-4更强大的AI系统至少六个月。信中主张，业界应利用这一暂停期制定共享安全协议，并与政策制定者合作建立AI治理体系。

“你不应该在未理解负责任AI问题的情况下探索或参与人工智能，”签署了该信的Firth-Butterfield说，“我们正冲进未来，却没有退后一步，为自己设计它。”

“神秘”、“令人敬畏”、“令人沮丧”

AI公司辩称，许多问题可以通过细致的人类监督得到改善。专家表示，组织应明确了解模型训练所用的数据集，以及其确切适用时机。

微软的Lee表示，关于生成式AI的疑问固然重要，尤其是问责制方面，但“黑箱”问题或许并不像一些人说的那样令人困扰。

“我们一直无法证明它不具备推理能力，”Lee说，“这是一个神秘、令人敬畏又令人沮丧的研究障碍，我们一直无法证明这一点。作为科学家，我不得不承认，从GPT-4开始的某个发展阶段起，这个黑箱问题实际上可能并不真正存在。”

Epic的Howard表示，还有技术可以确保生成式AI给出可靠输出——这一领域称为“提示工程”，即科学家研究如何以能产生可信结果的方式向AI提问。

Suki和Nuance均拒绝透露其基于生成式AI的记录工具的准确率，但表示准确度已足够高，他们放心将其投入真实环境应用。

Soni表示，Suki可能在几个月内公布Gen 2的准确率。Nole则称，Nuance已从事AI工作多年。

“我们已有的准确率水平是先进的。我们知道它如何工作，知道它如何表现。现在，我们只是利用GPT来进一步提升水平，”Nole说。

随着AI的进步，一些模型在诊断任务上已超越医生，引发机器有朝一日可能取代临床医生的担忧。HIMSS专家一致认为，即使有了生成式AI，那一天也远未到来。

谷歌健康AI研究负责人Alan Karthikesalingam在接受采访时表示，Med-PaLM通过医学考试的能力“绝不代表医学知识或能力”。

“有大量实质性的安全、偏见和伦理问题需要非常谨慎地对待，”Karthikesalingam说。但取代？“我认为总体而言，这本身希望不会成为我们医生的巨大担忧。这些系统的定位非常明确——它们是工具。”

Suki和Nuance强调，其AI生成的笔记允许临床医生编辑并批准最终写入EHR的内容。AI高管们表示，生成式AI是医生的工具，而非替代品。

尽管如此，“任何能预测这个时代将带来什么的人都是傻瓜，”Soni说，“我能告诉你的是，在可预见的未来，我看到AI将成为一个非常强大而认真的助手，让我们的生活变得更好。”