AI本身的能力与人类使用这种能力的效率之间存在巨大鸿沟。关于AI医生是否真的可靠，以及其性能能否仅靠增加算力来提升的问题，2月10日发表在《自然-医学》上的一项新研究显示，对于普通人来说，答案是否定的。

　　该研究中，来自牛津大学等机构的研究人员招募了1298名英国参与者，在10个医学场景中做出判断，比如突然剧烈头痛应该去哪个医疗机构就诊热点话题，以及可能患的是什么疾病。参与者被随机分配到四个实验组：三个治疗组分别使用GPT-4o、Llama 3或Command R+三种不同的大语言模型来辅助决策，而对照组则使用他们平时在家会用的任何方法，主要是互联网搜索。

　　当研究人员直接将医学场景的信息输入给这些大语言模型时，它们的表现非常好。GPT-4o能在94.7%的情况下指出至少一个相关的医学诊断，在64.7%的情况下给出正确的医疗建议。Llama 3和Command R+的表现也大同小异，说明它们确实掌握了大量的医学信息。

　　然而，当普通人使用这些相同的模型时，情况就不一样了。使用大语言模型的参与者在识别相关医学条件方面的表现变得更差，只有不到34.5%的准确率。他们在判断医疗优先级方面的表现也没有超过对照组，两者的准确率均为44%左右。换句话说，让患者自己咨询AI医生，结果可能还不如上网搜索。

　　这一结果表明AI本身的能力与人类使用这种能力的效率之间存在巨大鸿沟。研究团队分析了参与者与大语言模型之间的对话记录，发现了一系列系统性的问题。信息传递的不通畅是一个主要问题。大语言模型在对话中提到相关症状的比例大约在65%-73%之间，远低于它们单独工作时的表现，这说明人类患者往往没有向AI系统提供足够的信息。超过一半的患者在最初描述症状时没有提供完整的信息，例如只说“头很疼”，而没有提到“突然发作”或“伴有颈部僵硬”这样的关键症状。有时候，患者会在AI的提问下逐步补充信息，但有时候他们根本不补充。咨询AI医生还不如上网搜索靠谱吗 沟通鸿沟影响效果