Pediatric Nephrology:ChatGPT 在罕见肾脏病信息传递中的准确性、实用性与应用局限

2025-09-13 熊佳仪 MedSci原创 发表于上海

ChatGPT在回答罕见肾脏病的基本解释、预后询问和基因检测建议时表现出较高的科学准确性和患者有用性,中位数评分达4分(满分5分);但在替代疗法、第二意见推荐和信息来源建议方面回答较为模糊且缺乏针对性

随着人工智能技术的快速发展,以ChatGPT为代表的大语言模型在医疗信息传递领域展现出广阔的应用前景。罕见肾脏病虽然在单一病种上患者数量稀少,但整体而言,其患者群体在欧洲及全球范围内可达数百万人,占慢性肾脏病患者的5%至10%,尤其在儿童慢性肾脏病患者中几乎全部由罕见病构成。由于专业医生稀缺,患者及其家庭往往难以获得准确、及时且易于理解的疾病信息,转而依赖互联网甚至社交媒体,这大大增加了接触错误信息的风险。因此,探索如何利用人工智能技术弥补这一信息鸿沟,成为当前医学信息学与临床实践相结合的重要课题。

为了系统评估ChatGPT在罕见肾脏病信息提供中的准确性与实用性,欧洲罕见肾脏病参考网络(ERKNet)开展了一项多中心探索性研究。该研究共邀请了42名ERKNet专家(包括小儿肾脏科医生、成人肾脏科医生、遗传学家及病理学家等)以及12名来自欧洲患者倡导组织(ePAG)的代表,覆盖德国、荷兰、意大利、西班牙等13个国家。参与者通过Microsoft Forms问卷平台与ChatGPT 3.5或4.0版本进行模拟医患对话,在对话前统一使用提示语要求模型以非医学背景的普通用户为对象进行回应。每位参与者自选一种熟悉的罕见肾脏病,并依次提出八个标准问题,涵盖疾病解释、预后担忧、基因检测建议、饮食与补充剂、替代疗法、寻找第二意见的医疗资源、其他可靠信息来源以及用通俗语言解释疾病等方面。专家还需提出一至两个专业水平的问题或情感类情境挑战模型回答能力。所有回复由参与者从科学正确性和对患者的有用性两个维度进行评分,评分采用1至5分的等级量表。

研究共收集到54份有效回复,涉及28种不同的罕见肾脏病,包括非典型溶血尿毒综合征、常染色体隐性多囊肾病、胱氨酸贮积症、肾病综合征等常见类型。在科学正确性方面,ChatGPT对疾病基本解释、预后信息及基因检测建议的回答中位数评分均为4分(满分5分),表明其回答与当前临床知识高度一致。在有用性方面,患者与家属对这些回复也普遍持积极态度,评分同样达到4分。尤其值得注意的是,ChatGPT在回答专业级问题时也表现出较强的能力,中位数正确性评分达4分,仅极个别案例中出现建议不够及时或可能误导的情况,例如在肾性尿崩症中建议出现脱水体征再就医,被专家指出存在安全隐患。然而,在涉及替代疗法、第二意见医生推荐以及其他信息资源推荐等问题上,ChatGPT的回答普遍较为模糊、泛化甚至包含不具证据支持的内容(如推荐草药或心智技巧),因此在这些项目上评分中性(中位数3分),未获得专家和患者代表的肯定。

表1 ChatGPT回答的“科学正确性”与“有用性”评价

除了具体问题回答的评估,研究还调查了参与者对ChatGPT整体性能的看法。多数专家认为ChatGPT在帮助罕见肾病患者方面具有潜力,且回答表现出一定同理心,但在安全性方面仍持保留态度,中位数评分仅为3分,处于中性水平。ePAG代表对模型在情感支持场景中的表现评价也较为中立,反映出当前生成式人工智能在复杂情感交互和敏感医疗建议方面仍有局限。许多参与者特别指出,ChatGPT倾向于推荐美国地区的医疗资源(如梅奥诊所),而忽略了欧洲本地的专业机构如ERKNet、欧洲儿科肾脏学会等,这限制了其在实际应用中的地域适应性。此外,部分回答中使用了过多专业术语,对普通患者而言理解起来仍有困难。

尽管存在上述局限,ChatGPT在提供罕见肾脏病相关信息方面仍表现出显著的技术优势,尤其是在整合和传递疾病基础知识、遗传咨询和预后信息方面准确性较高,未出现严重错误或具有直接危害的回答。研究者强调,由于大语言模型存在“幻觉”现象(即模型生成不准确或虚构内容),且其训练数据来源不透明,目前仍不能完全替代专业医疗人员的判断。因此,在实际应用中必须结合人工监督,避免患者因依赖模型建议而延误治疗或采纳非循证疗法。

图 54名ERKNet专家和ePAG代表选出的28种罕见肾脏病

为进一步优化ChatGPT在患者教育中的应用,研究团队提出了一系列提问策略建议,包括要求模型提供来自世界卫生组织或国家卫生机构的可靠信息、明确请求科学证实的治疗方案、根据用户教育背景调整语言复杂度,以及加入地域上下文以提高回答的相关性。目前,ERKNet已启动一项新项目,旨在开发基于精细标注数据训练的专业大语言模型,以更精准地服务于罕见肾脏病患者的信息需求,并在高风险场景中引入“人在回路”机制以保障安全性。

综上所述,ChatGPT作为辅助工具在提升罕见肾脏病患者知识获取和医患沟通效率方面具备重要价值,但其应用仍需谨慎,结合专业医疗指导才能发挥最大效益。未来的研究可进一步拓展至多语言环境和文化适应性分析,以推动人工智能在全球健康信息服务中的公平与包容发展。

原始出处:

van Eerde, A.M., Teixeira, A., Galletti, F. et al. Risks and benefits of ChatGPT in informing patients and families with rare kidney diseases: an explorative assessment by the European Rare Kidney Disease Reference Network (ERKNet). Pediatr Nephrol 40, 2899–2905 (2025). https://doi.org/10.1007/s00467-025-06746-w

本文相关学术信息由梅斯医学提供,基于自主研发的人工智能学术机器人完成翻译后邀请临床医师进行再次校对。如有内容上的不准确请留言给我们。

相关资料下载:
[AttachmentFileName(sort=1, fileName=s00467-025-06746-w(1).pdf)] GetArticleByIdResponse(id=4ff189e071b0, projectId=1, sourceId=null, title=Pediatric Nephrology:ChatGPT 在罕见肾脏病信息传递中的准确性、实用性与应用局限, articleFrom=MedSci原创, journalId=5474, copyright=原创, creationTypeList=[1], summary=ChatGPT在回答罕见肾脏病的基本解释、预后询问和基因检测建议时表现出较高的科学准确性和患者有用性,中位数评分达4分(满分5分);但在替代疗法、第二意见推荐和信息来源建议方面回答较为模糊且缺乏针对性, cover=https://img.medsci.cn/20250219/1740029730941_4754896.jpg, authorId=0, author=熊佳仪, originalUrl=, linkOutUrl=, content=<p>随着人工智能技术的快速发展,以ChatGPT为代表的大语言模型在医疗信息传递领域展现出广阔的应用前景。罕见肾脏病虽然在单一病种上患者数量稀少,但整体而言,其患者群体在欧洲及全球范围内可达数百万人,占<a href="https://www.medsci.cn/topic/show?id=9c95536521c">慢性肾脏</a>病患者的5%至10%,尤其在儿童慢性肾脏病患者中几乎全部由<a href="https://rare.medsci.cn/">罕见病</a>构成。由于专业医生稀缺,患者及其家庭往往难以获得准确、及时且易于理解的疾病信息,转而依赖互联网甚至社交媒体,这大大增加了接触错误信息的风险。因此,探索如何利用人工智能技术弥补这一信息鸿沟,成为当前医学信息学与临床实践相结合的重要课题。</p> <p><img src="https://img.medsci.cn/20250913/1757736574390_6512445.png" /></p> <p>为了系统评估ChatGPT在罕见肾脏病信息提供中的准确性与实用性,欧洲罕见肾脏病参考网络(ERKNet)开展了一项多中心探索性研究。该研究共邀请了42名ERKNet专家(包括小儿肾脏科医生、成人肾脏科医生、遗传学家及病理学家等)以及12名来自欧洲患者倡导组织(ePAG)的代表,覆盖德国、荷兰、意大利、西班牙等13个国家。参与者通过Microsoft Forms问卷平台与ChatGPT 3.5或4.0版本进行模拟医患对话,在对话前统一使用提示语要求模型以非医学背景的普通用户为对象进行回应。每位参与者自选一种熟悉的罕见肾脏病,并依次提出八个标准问题,涵盖疾病解释、预后担忧、基因检测建议、饮食与补充剂、替代疗法、寻找第二意见的医疗资源、其他可靠信息来源以及用通俗语言解释疾病等方面。专家还需提出一至两个专业水平的问题或情感类情境挑战模型回答能力。所有回复由参与者从科学正确性和对患者的有用性两个维度进行评分,评分采用1至5分的等级量表。</p> <p>研究共收集到54份有效回复,涉及28种不同的罕见肾脏病,包括非典型溶血尿毒综合征、常染色体隐性多囊肾病、胱氨酸贮积症、肾病综合征等常见类型。在科学正确性方面,ChatGPT对疾病基本解释、预后信息及基因检测建议的回答中位数评分均为4分(满分5分),表明其回答与当前临床知识高度一致。在有用性方面,患者与家属对这些回复也普遍持积极态度,评分同样达到4分。尤其值得注意的是,ChatGPT在回答专业级问题时也表现出较强的能力,中位数正确性评分达4分,仅极个别案例中出现建议不够及时或可能误导的情况,例如在肾性<a href="https://www.medsci.cn/topic/show?id=c5644e411fe">尿崩症</a>中建议出现脱水体征再就医,被专家指出存在安全隐患。然而,在涉及替代疗法、第二意见医生推荐以及其他信息资源推荐等问题上,ChatGPT的回答普遍较为模糊、泛化甚至包含不具证据支持的内容(如推荐草药或心智技巧),因此在这些项目上评分中性(中位数3分),未获得专家和患者代表的肯定。</p> <p>表1 ChatGPT回答的&ldquo;科学正确性&rdquo;与&ldquo;有用性&rdquo;评价</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/20250913/1757736637927_6512445.png" /></p> <p>除了具体问题回答的评估,研究还调查了参与者对ChatGPT整体性能的看法。多数专家认为ChatGPT在帮助罕见肾病患者方面具有潜力,且回答表现出一定同理心,但在安全性方面仍持保留态度,中位数评分仅为3分,处于中性水平。ePAG代表对模型在情感支持场景中的表现评价也较为中立,反映出当前生成式人工智能在复杂情感交互和敏感医疗建议方面仍有局限。许多参与者特别指出,ChatGPT倾向于推荐美国地区的医疗资源(如梅奥诊所),而忽略了欧洲本地的专业机构如ERKNet、欧洲儿科肾脏学会等,这限制了其在实际应用中的地域适应性。此外,部分回答中使用了过多专业术语,对普通患者而言理解起来仍有困难。</p> <p>尽管存在上述局限,ChatGPT在提供罕见肾脏病相关信息方面仍表现出显著的技术优势,尤其是在整合和传递疾病基础知识、遗传咨询和预后信息方面准确性较高,未出现严重错误或具有直接危害的回答。研究者强调,由于大语言模型存在&ldquo;幻觉&rdquo;现象(即模型生成不准确或虚构内容),且其训练数据来源不透明,目前仍不能完全替代专业医疗人员的判断。因此,在实际应用中必须结合人工监督,避免患者因依赖模型建议而延误治疗或采纳非循证疗法。</p> <p><img src="https://img.medsci.cn/20250913/1757736637938_6512445.png" /></p> <p style="text-align: center;">图 54名ERKNet专家和ePAG代表选出的28种罕见肾脏病</p> <p>为进一步优化ChatGPT在患者教育中的应用,研究团队提出了一系列提问策略建议,包括要求模型提供来自世界卫生组织或国家卫生机构的可靠信息、明确请求科学证实的治疗方案、根据用户教育背景调整语言复杂度,以及加入地域上下文以提高回答的相关性。目前,ERKNet已启动一项新项目,旨在开发基于精细标注数据训练的专业大语言模型,以更<a href="https://www.medsci.cn/search?q=%E7%B2%BE%E5%87%86">精准</a>地服务于罕见肾脏病患者的信息需求,并在高风险场景中引入&ldquo;人在回路&rdquo;机制以保障安全性。</p> <p>综上所述,ChatGPT作为辅助工具在提升罕见肾脏病患者知识获取和医患沟通效率方面具备重要价值,但其应用仍需谨慎,结合专业医疗指导才能发挥最大效益。未来的研究可进一步拓展至多语言环境和文化适应性分析,以推动人工智能在全球健康信息服务中的公平与包容发展。</p> <p><span style="color: #999999;">原始出处:</span></p> <p><span style="color: #999999;">van Eerde, A.M., Teixeira, A., Galletti, F. et al. Risks and benefits of ChatGPT in informing patients and families with rare kidney diseases: an explorative assessment by the European Rare Kidney Disease Reference Network (ERKNet). Pediatr Nephrol 40, 2899&ndash;2905 (2025). <a style="color: #999999;" href="https://doi.org/10.1007/s00467-025-06746-w" target="_blank" rel="noopener">https://doi.org/10.1007/s00467-025-06746-w</a></span></p> <p><span style="color: #999999;">本文相关学术信息由梅斯医学提供,基于自主研发的人工智能学术机器人完成翻译后邀请临床医师进行再次校对。如有内容上的不准确请留言给我们。</span></p>, belongTo=, tagList=[TagDto(tagId=878, tagName=基因检测), TagDto(tagId=8461, tagName=人工智能), TagDto(tagId=94953, tagName=遗传及罕见肾脏病), TagDto(tagId=467561, tagName=chatGPT)], categoryList=[CategoryDto(categoryId=14, categoryName=肾内科, tenant=100), CategoryDto(categoryId=18, categoryName=儿科, tenant=100), CategoryDto(categoryId=72, categoryName=人工智能, tenant=100), CategoryDto(categoryId=84, categoryName=研究进展, tenant=100), CategoryDto(categoryId=304, categoryName=罕见病, tenant=100), CategoryDto(categoryId=20656, categoryName=梅斯医学, tenant=100)], articleKeywordId=0, articleKeyword=, articleKeywordNum=6, guiderKeywordId=0, guiderKeyword=, guiderKeywordNum=6, opened=1, paymentType=1, paymentAmount=0, recommend=0, recommendEndTime=null, sticky=0, stickyEndTime=null, allHits=1649, appHits=10, showAppHits=0, pcHits=179, showPcHits=1639, likes=0, shares=2, comments=1, approvalStatus=1, publishedTime=Sat Sep 13 13:06:00 CST 2025, publishedTimeString=2025-09-13, pcVisible=1, appVisible=1, editorId=6545039, editor=罕见病新前沿, waterMark=0, formatted=0, deleted=0, version=4, createdBy=074a6512445, createdName=xiongjy, createdTime=Sat Sep 13 12:13:04 CST 2025, updatedBy=92910, updatedName=rayms, updatedTime=Sat Sep 13 13:06:45 CST 2025, ipAttribution=上海, attachmentFileNameList=[AttachmentFileName(sort=1, fileName=s00467-025-06746-w(1).pdf)], guideDownload=1, surveyId=null, surveyIdStr=null, surveyName=null, pushMsXiaoZhi=true, qaList=[{id=1021684, encryptionId=e27310216849b, articleId=4ff189e071b0, userName=administrator, question=ChatGPT在罕见肾脏病信息提供中的准确性如何?, answer=研究表明,ChatGPT在疾病基本解释、预后信息及基因检测建议方面的回答中位数评分均为4分(满分5分),与当前临床知识高度一致。, clickNum=0, type=article, createdAt=1757740120189, updatedAt=1757740120189}, {id=1021686, encryptionId=6be81021686eb, articleId=4ff189e071b0, userName=administrator, question=为什么罕见肾脏病患者更容易接触错误信息?, answer=由于罕见肾脏病专业医生稀缺,患者及其家庭往往难以获得准确、及时且易于理解的疾病信息,转而依赖互联网甚至社交媒体,这大大增加了接触错误信息的风险。, clickNum=0, type=article, createdAt=1757740120189, updatedAt=1757740120189}])
s00467-025-06746-w(1).pdf
评论区 (1)
#插入话题
  1. [GetPortalCommentsPageByObjectIdResponse(id=2281104, encodeId=c29a2281104a0, content=<a href='/topic/show?id=5eae41e7007' target=_blank style='color:#2F92EE;'>#基因检测#</a> <a href='/topic/show?id=d3a024808e0' target=_blank style='color:#2F92EE;'>#人工智能#</a> <a href='/topic/show?id=c4ab9506543' target=_blank style='color:#2F92EE;'>#遗传及罕见肾脏病#</a> <a href='/topic/show?id=c751105068f0' target=_blank style='color:#2F92EE;'>#chatGPT#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=121, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=105068, encryptionId=c751105068f0, topicName=chatGPT), TopicDto(id=24808, encryptionId=d3a024808e0, topicName=人工智能), TopicDto(id=41770, encryptionId=5eae41e7007, topicName=基因检测), TopicDto(id=95065, encryptionId=c4ab9506543, topicName=遗传及罕见肾脏病)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=cade5395722, createdName=梅斯管理员, createdTime=Sat Sep 13 13:06:45 CST 2025, time=2025-09-13, status=1, ipAttribution=上海)]

相关资讯

青少年起病的成人型糖尿病:基因检测助力精准诊断、疾病管理及遗传咨询

本研究强调了基因检测在早期诊断、MODY亚型区分及遗传咨询中的重要性,并阐述了基因型-表型的相关性(尤其与疾病临床进展和个体化治疗相关),同时也突出了家庭背景下每位患者的个体特征。

用于诊断神经发育障碍和癫痫的基因检测

尽管各研究间存在异质性和潜在的出版偏倚限制了估计的确切性,但结果表明基于NGS的测试,特别是WES和WGS,相较于CMA,能够为患有NDD或癫痫的患者提供明显更高的诊断率,支持其作为一线遗传测试的使用

绘真约大咖 | 宁忠华教授:聚焦常见的中枢神经系统肿瘤,为什么都需要注重基因检测?

基因检测在中枢神经系统肿瘤中意义重大,可辅助脑胶质瘤、髓母细胞瘤等多种肿瘤的分型、分级、治疗指导及预后评估,推动精准诊疗。