Gastroenterology:ChatGPT回答关于结肠镜检查的常见问题

2023-05-13 Jenny Ou MedSci原创 发表于上海

这项研究首次证明了当代对话式人工智能程序能够为胃肠病学家确定的有关结肠镜检查的CQs提供易于理解、科学充分且总体令人满意的答案。

ChatGPT(OpenAI)是一个1750亿个参数的大型语言模型(LLM)人工智能(AI),于2022年11月发布。ChatGPT是基于生成预训练的Transformer(GPT)-3.5自然语言处理技术开发的,并提供对给定提示的会话文本响应。

ChatGPT的一个潜在应用是回答病人的医疗问题。在美国,每年有超过7000万例手术,筛查结肠镜检查经常是胃肠病学问题的主题。2023年4月30日发表在Gastroenterology的文章,检查了ChatGPT生成的关于结肠镜检查的常见问题(CQs)答案的质量。

检测人工智能生成的答案的准确性

研究人员从《美国新闻与世界报道》胃肠病学和胃肠外科最佳医院排名前20位的三家医院的公开网页中随机抽取了关于结肠镜检查的8个CQs和答案。在同一天两次将这些问题作为ChatGPT(2023年1月30日版本)的提示输入,并将ChatGPT生成的答案分别记录为AI1和AI2。使用抄袭检测软件比较了所有答案的文本相似度。为了客观地解释ChatGPT生成的答案的质量,四名胃肠病学家(两名高级胃肠病学家,两名研究员)对随机显示的36对cq和答案进行了7点李克特量表的以下质量指标评分:(1)易于理解,(2)科学充足性,(3)对答案的满意度(表1)。

研究结果显示,与医院网页上的答案相比,ChatGPT答案的文本相似性极低(0%至16%),而两个ChatGPT答案之间的文本相似性范围为28%至77%,除了第7个CQ。胃肠病学家对ChatGPT答案的评价与非AI答案的理解程度相似(AI 5.0 - 6.4 vs非AI 4.8 - 5.8, P均>0.00089进行56次多次比较Bonferroni调整后的比较均值),人工智能平均得分高于非人工智能得分。科学充分性得分也相似(63%的时间为AI 5.4)。人工智能和非人工智能的答案在回答的满意度方面得到了相似的评级(人工智能4.9 - 6.3 vs非人工智能4.8 - 5.8,无显著性)。

评分者在识别人工智能生成的答案时只有48%的准确率,灵敏度为41%,特异性为54%。三个评分员的准确率低于50%,而一个(一个家伙)的准确率为81%。

然而,ChatGPT存在一定的隐患。首先,ChatGPT生成的MI不是基于临床证据构建的,而是通过在各种互联网文本上训练的LLM通过人类反馈进行强化学习而创建的。LLM输出可能很敏感,容易受到提示工程的影响,即输入提示的细微变化所操纵,性能的一致性可能处于“不断变化的状态”。因此,在技术和格式方面,LLM在负责任的临床护理中的应用仍然存在很大差距。内隐偏见是另一个问题,因为有或没有资源的患者的临床效用可能不同。此外,使用有效的阅读水平指标(Flesch-Kincaid Grade Level;射击雾指数)显示,人工智能生成的答案的阅读水平明显高于医院网页(P <0.001),远远超过建议的八年级阈值。

这项研究有几个局限性。首先,研究人员没有包括患者评分者,最终将提供结肠镜检查准备答案的群体。在本研究中,研究人员旨在通过医学专业人士的视角对人工智能产生的心梗进行初步批判。未来的研究应该探索对更广泛的问题样本和临床条件的反应,以及纳入患者评分者。其次,医院网页和评分者的数量都很少,限制了广泛的推广。最后,随机选择的一线医院的网页可能不全面。

这项研究表明,对话式人工智能程序在优化患者和医疗服务提供者之间的沟通方面具有潜在作用,尤其是在结肠镜检查等大容量手术中。尽管评级相似,但人工智能和非人工智能答案之间,以及两个人工智能答案之间几乎没有重叠或抄袭(表S1),这表明ChatGPT固有的避免抄袭的设计,以及ChatGPT为同一问题创造独特答案的能力。

 

原文出处

Lee TC, Staller K, Botoman V, Pathipati MP, Varma S, Kuo B. ChatGPT Answers Common Patient Questions About Colonoscopy. Gastroenterology. 2023 May 5:S0016-5085(23)00704-7. doi: 10.1053/j.gastro.2023.04.033. 

版权声明:
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章,或“梅斯号”自媒体发布的文章,仅系出于传递更多信息之目的,本站仅负责审核内容合规,其内容不代表本站立场,本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (2)
#插入话题
  1. [GetPortalCommentsPageByObjectIdResponse(id=2133693, encodeId=b2cd213369336, content=学习, beContent=null, objectType=article, channel=null, level=null, likeNumber=48, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=57545476725, createdName=陈文志, createdTime=Sun May 14 00:56:49 CST 2023, time=2023-05-14, status=1, ipAttribution=四川省), GetPortalCommentsPageByObjectIdResponse(id=2133649, encodeId=d0432133649f9, content=挺有意思, beContent=null, objectType=article, channel=null, level=null, likeNumber=43, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=2d114843943, createdName=1013100771, createdTime=Sat May 13 22:20:54 CST 2023, time=2023-05-13, status=1, ipAttribution=山东省)]
    2023-05-14 陈文志 来自四川省

    学习

    0

  2. [GetPortalCommentsPageByObjectIdResponse(id=2133693, encodeId=b2cd213369336, content=学习, beContent=null, objectType=article, channel=null, level=null, likeNumber=48, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=57545476725, createdName=陈文志, createdTime=Sun May 14 00:56:49 CST 2023, time=2023-05-14, status=1, ipAttribution=四川省), GetPortalCommentsPageByObjectIdResponse(id=2133649, encodeId=d0432133649f9, content=挺有意思, beContent=null, objectType=article, channel=null, level=null, likeNumber=43, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=2d114843943, createdName=1013100771, createdTime=Sat May 13 22:20:54 CST 2023, time=2023-05-13, status=1, ipAttribution=山东省)]
    2023-05-13 1013100771 来自山东省

    挺有意思

    0

相关资讯

Endoscopy:结肠镜检查的质量和并发症发生率

治疗性和FIT阳性筛查结肠镜检查的穿孔率和出血率最高

肠镜检查前如何做好肠道准备,看看全新欧洲指南怎么说

不充分的肠道准备将严重影响肠镜检查的质量,尤其是降低了腺瘤和进展期腺瘤的检出率,还与盲肠进镜失败、不舒适的患者体验、缩短肠镜监测间隔、延长住院时间及增加医疗费用等密切相关。

全球改善结肠镜检查结果的口服药物Methylene Blue MMX,在欧洲获批

与HDWL结肠镜检查相比,Methylene Blue MMX组的腺瘤检出率(ADR)更高(分别为56.29%和47.81%)。

从息肉到大肠癌,仅仅是一次肠镜的距离!无痛肠镜真的不痛吗?

从肠道里面的一个小小息肉发展成为癌症最少需要5-10年的时间,如果能在这段时间里面早期筛查得到治疗,生存几率超过90%,然而现实的情况是,在我国大肠癌的早期诊断比例不足10%,很多了白白错过了这5年“

Dig Dis Sci:便秘,影响肠镜检查,高危因素有哪些?

便秘是肠道准备不充分的常见原因,不利于肠镜检查,但是目前便秘患者肠道准备不充分的危险因素仍不明确。

Endoscopy:AI系统的结肠镜腺瘤检出率与经验丰富的内镜医师旗鼓相当!

在实时结肠镜检查期间,AI 系统具有与经验丰富的内镜医师相当的表现,具有相近的高腺瘤检出率