人工智能“新革命”!ChatGPT竟然出现在论文共同作者栏,却惨遭顶刊“封杀”!

2023-02-10 梅斯医学整理 梅斯医学整理 发表于上海

未来人工智能将无所不在~

近期,人工智能(AI)聊天工具ChatGPT火遍全球,来自全球各地的用户很兴奋的展示着ChatGPT的逆天技能,包括写诗、写代码、做策划、改论文等等。据报道,ChatGPT仅用了两个月就达到1亿活跃用户数,成为史上用户增长速度最快的应用程序。

由于ChatGPT对人类语言和对话逻辑的理解,对回答内容进行生成式创作。ChatGPT竟然通过了美国具有极大挑战性的三大专业考试:美国医学执业考试(USMLE)、律师资格证考试、沃顿商学院MBA考试。ChatGPT的应用功能远不止医学问答或在线问诊,在临床试验方案设计、论文写作、诊疗方案提供等众多服务展示其逆天功能。

1ChatGPT医学问答/在线问诊

近期,发表在JAMA杂志上的一项研究,通过ChatGPT进行在线对话,旨在对心血管疾病预防建议进行探讨。研究人员设立了25个具体问题,涉及到疾病预防概念、风险因素咨询、检查结果和用药咨询等。每个问题均向ChatGPT提问3次,记录每次的回复内容。

图片

每个问题的3次回答都由1名评审员进行评定,评定结果分为合理、不合理或不靠谱,3次回答中只要有1次回答有明显医学错误,可直接判断为不合理

结果显示,ChatGPT的合理概率为84%21/25)。然而,ChatGPT在预防措施推荐不合理或概念解释不清晰等错误表现。值得注意的是,仅从这25个问题的回答来看,ChatGPT在回答心血管预防问题的结果较好,具有辅助临床工作的潜力,有助于加强患者教育,减少医生与患者沟通的壁垒和成本,但尚存在诸多问题需要解决,比如医学概念不清楚,预防措施推荐不合理等。

2ChatGPT写医学论文

ChatGPT以其强大的文本创作能力,引发医疗界的关注。梅斯医学笔者也体验了ChatGPT,相比市面上其他聊天机器人,其功能更加多样,例如可以按照要求写诗、写讲话稿、新闻稿甚至写代码,甚至统计,专业论文也能干。

写一篇有关DS-8201治疗HER2低表达的乳腺癌的临床研究方面的论文,前言该怎么写?

一看写作风格,就知道应该吸收了大量的中文文献的资料。

当改为英文时,英文写的比中文略好!详细见:聊天机器人ChatGPT出圈,能在医学领域干点啥?#黑科技#

医学领域的研究人员对ChatGPT可谓是达到了痴迷的程度。美国已经有大学生用ChatGPT写论文,获得了第一名。来自西班牙的研究人员使用ChatGPT进行辅助论文写作,该论文旨在测试 ChatGPT的写作能力,并且论文内容被相关的学术期刊所接受。

另外,ChatGPT竟然以作者身份出现在了学术论文中。发表于Nurse Education in Practice的一篇关于人工智能在护理教育方面的应用文章,ChatGPT同样被列为第二作者。

图片

Nature、Science多个顶级刊物纷纷开始对ChatGPT出台使用限制措施。Science明确禁止将ChatGPT列为合著者,且不允许在论文中使用ChatGPT所生产的文本。

图片

Nature也发表声明,明确表示:任何大型语言模型工具(如ChatGPT)都不能作为论文作者,如在文章中使用过相关工具,需要在方法致谢等位置有明确说明。这项要求目前已经被加入Nature的作者投稿指南中。

图片

另外,由于ChatGPT写论文无敌技能,美国高校已如临大敌。一项调查显示,现在美国89%的大学生都是用ChatGPT做作业,目前,纽约教育系统全面封杀ChatGPT据《纽约时报》报道称,在全美范围内,大学教授、系主任和管理人员已经开始对授课进行大修,ChatGPT促使教学和学习发生了潜在的巨大转变。一些教授正在重新设计他们的课程,包括更多的口试、小组工作和手写评估,而不是打字的评估。

据每经报道,在北京、上海、四川等地的重点大学的一线教师正密切关注学生对于ChatGPT的使用情况。有老师明确表示,已经发现有学生用ChatGPT撰写论文。某位高校老师甚至直言,估计今年开学后会出现一些ChatGPT所引发的学术乱象问题。

时至今日,人类仍然在探索神秘的医学领域。ChatGPT在复杂的医学领域的适用场景仍然具有很大的想象力Nature发表社论,针对ChatGPT等大型语言模型产品在科学研究中的应用,提出5大重点事项。

1、坚持人工验证

对话式的人工智能回答专业问题,可能带来不准确、抄袭等问题。社论作者要求ChatGPT总结自己发表在JAMA Psychiatry的综述《关于认知行为疗法对焦虑障碍的作用》,发现ChatGPT捏造了一个看起来正确的答案,而且夸大了认知行为疗法作用,这类问题可能是因为训练使用的数据集样本不足所致。

因此,对于研究中使用到ChatGPT,人工核验步骤必不可少,甚至必要时可能需要禁用相关程序。因为,人类需要对科学实践负责。

2、制定问责制度

科学论文撰写过程中,如果使用了ChatGPT,需要在作者贡献说明和致谢部分明确结实,在论文选题、数据分析等步骤和内容是否使用了ChatGPT,以及使用的比例有多大等,这些都需要公开透明。

此外,ChatGPT的爆火,也推动了人们对专利法的新思考,特别是对于内容作者的定义将会更加明确。

3、真正开放式的大型语言模型

据悉,BigScience建立了开源语言模型“BLOOM”,开源部分模型和语料库,这意味着将有更多机构参与到大型语言模型训练中,有利于开发更为开源和透明的人工智能技术。

4、拥抱人工智能

人工智能的应用有优有劣,需要正确认识人工智能的作用,开展研究创新。

5、扩大对ChatGPT的讨论

ChatGPT还尚属于早期应用阶段,更多探讨和研究可以让人们更为全面的认识大型语言模型产品,这无疑是有利且合理的。

总之,ChatGPT虽然可以快速生成回答,甚至超出预期响应你的需求,但不能保证信息正确,技术伦理问题有待商榷,局限性固然存在。虽然信息来源广泛,但ChatGPT无法识别判断内容的准确性,简单来说,它就是个统计模型,这个模型包含了不同上下文中的语言组合。
参考资料:

1,Sarraju A, Bruemmer D, Van Iterson E, et al. Appropriateness of Cardiovascular Disease Prevention Recommendations Obtained From a Popular Online Chat-Based Artificial Intelligence Model. JAMA. 2023 Feb 3. doi: 10.1001/jama.2023.1044. Epub ahead of print. PMID: 36735264.

2,Performance of ChatGPT on USMLE: Potential for AI-Assisted Medical Education Using Large Language Models.

3,https://mp.weixin.qq.com/s/wwBgt07x5ZyxRI5RF9zTPA

版权声明:
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章,或“梅斯号”自媒体发布的文章,仅系出于传递更多信息之目的,本站仅负责审核内容合规,其内容不代表本站立场,本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (0)
#插入话题

相关资讯

人工智能ChatGPT和Flan-PaLM双双通过美国医生许可考试(USMLE)

根据最近的两篇论文,两个人工智能 (AI) 程序——包括 ChatGPT——已经通过了美国医学许可考试 (USMLE)。

bioRxiv:人工智能ChatGPT写的医学论文摘要,审稿人无法辨别真假

ChatGPT,是由埃隆·马斯克等人创立的人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型——人工智能技术驱动的自然语言处理工具。它

2023年,人工智能界7大可能事件,7大发展方向预测

目前,人工智能(AI)在技术和产业两个方面临近 " 奇点时刻 ",与各个传统行业的融合度也日益加深。

chatGPT刚火,Bard也来了!医疗界能用人工智能干点啥?……

最近朋友圈刷屏的是chatGPT,史上最强的人工智能(聊天,对话,部分工作),简直是个“小超人”!各种奇葩的问题都没有难到这个小超人,虽然有时回答给人感觉就是“废话

European Radiology:癌症患者偶发肺栓塞的人工智能检测

基于人工智能(AI)的方法可能是提高iPE检测率的一种方式。早期的研究表明,CTPA研究对疑似PE的检测准确率很高。

颠覆性创新直线下降,科学家开始“谨小慎微”了?

近年火热的人工智能,或许能提供帮助,让科学家从平庸的重复中解放出来,有更多时间和精力思考更重要的问题。