Med-PaLM:大语言模型在临床医学中的挑战与机遇

人工 AI 在临床医学上的应用发展到什么程度了？

近期，谷歌在Nature杂志上发布了一篇名为“Large language models encode clinical knowledge”的研究论文，对医学领域中表现出色的大语言模型Med-PaLM进行了全面评估。

打开凤凰新闻，查看更多高清图片

论文截图

Med-PaLM 在大语言模型 Flan-PaLM 的基础上进行微调。研究人员首先对 Flan-PaLM 进行测试，结果发现，在整合了美国医师执照考试类问题的数据集中，Flan-PaLM 达到了 67.6% 的准确率，达到了通过考试的标准（60%）。不过，进一步评估显示，Flan-PaLM 在回答消费者的医疗问题方面依然存在不足。

论文截图

在经历了针对医学领域的精细调整之后，Med-PaLM应运而生。为了验证其有效性，研究人员安排了真正的人类临床医生以及Flan-PaLM和Med-PaLM共同解答了140个临床问题，并把答案提交给一组临床医生进行评分。

测试结果显示，评分小组认为 Flan-PaLM 的答案只有 61.9% 符合科学共识，而 Med-PaLM 的这一比例为 92.6%，与临床医生生成的答案（92.9%）相当。此外，29.7% 的 Flan-PaLM 答案被评为可能导致有害结果，而 Med-PaLM 的这一比例为 5.9%，这与临床医生生成的答案（5.7%）的结果相似。

论文截图

经过深入研究，论文指出，虽然当前的研究成果已经显示出一定的积极信号，但在医学领域中，仍然存在着诸多复杂且难以解决的问题亟待解决。因此，在Med-PaLM真正被应用于临床之前，我们需要对其进行更为详尽的评估和探讨。这一观点得到了策划专家z_popeye和监督专家gyozua以及carellero的认可和支持。