如何客观评判科研人员的水平及其论文影响力?

2013-10-27 MedSci MedSci原创

关于科研评价体系的争论,多年来未曾停歇过,尤其是随着近年来唯 SCI 的评价体系出现了各种各样的问题,科学家们也希望能有更公平更有效的评价系统。 如何评判科研人员的水平? 在申请基金、选择导师、合作者和招聘科研人员等多个方面都需要判断科研人员的学术水平。评价科研人员学术水平的金指标是对社会贡献的大小,除了个别纯理论 的研究。但是对社会的贡献有时候需要很久才能显示出来,而且有时社会效

关于科研评价体系的争论,多年来未曾停歇过,尤其是随着近年来唯 SCI 的评价体系出现了各种各样的问题,科学家们也希望能有更公平更有效的评价系统。

如何评判科研人员的水平?

在申请基金、选择导师、合作者和招聘科研人员等多个方面都需要判断科研人员的学术水平。评价科研人员学术水平的金指标是对社会贡献的大小,除了个别纯理论 的研究。但是对社会的贡献有时候需要很久才能显示出来,而且有时社会效益评价的主观性很强。在社会效益显示出来之前,评价科研人员的学术水平从高到低有三 种层次的方法。

同行评议法
可信指数:五颗星

直接看他发表的文章,根据自己的学识判断其学术价值,这是最准确最可靠的方法。但是要能对别人的文章进行判断需要两个前提条件:一是要求自己和作者是同 行,最好是小同行;二是自己的学术水平和作者相比更高,最好是高一个等级,至少是相当,无论如何不能差太远。只有这样,自己才有能力对别人的文章进行评 价。你比被评价者水平高的越多,评价就越准确。这也是期刊选择审稿人的依据,所以能被著名期刊选为审稿人、编辑本身就是对其学术水平的认可。对于基础知识 尚有欠缺,对选题的重要性、新颖性一无所知的本科生和外行,或知之不多的研究生而言,是无法对一篇文献做出准确的判断的。如果自己不具备评价别人文章的能 力,也可以参考别的专家对该文章的同行评价的意见的。同行评价,即使是本领域的权威的评价也不是绝对正确的,只能说是正确的概率很大。爱因斯坦的相对论刚 提出来的时候,据说全世界只有三个人能看懂。那么如果用同行评价的方法去评价爱因斯坦,如果请的不是那看的懂的三个人,结果可能就是爱因斯坦的理论是胡 扯。为什么?因为他们的水平远不及爱因斯坦。当然爱因斯坦只有一个,如果你不认为自己是爱因斯坦,对于权威的否定,至少要清楚大部分情况下他们是正确的。

发表论文档次查阅法
可信指数:三颗星

SCI 论文用的是国内常说的影响因子,即看期刊的影响因子有多高,国内非SCI 收录的期刊一般也有档次,例如中华牌、中国牌、核心期刊、省级期刊等。一般而言,发表在低影响因子期刊上的论文质量不如高影响因子上的,但是并非全部如 此。例如,发表在IF2.5 的一篇论著,如果被引次数是25,而发表在IF5.0 的一篇论文被引只有4 次,那么应该前者水平要高。事实上有很多诺奖获得者的获奖代表作不是发表在nature、science、cell 这些顶级期刊,而是发表在影响因子相对不是很高的期刊上的。这就是为什么被引次数比期刊影响因子更能准确判断学术水平的原因。当然影响因子也有优点:简 单。要查一个作者发表的所有论文被引次数一共有多少,是需要一定时间的,尤其是先要确定作者之前一共在哪些单位呆过,不然就容易漏查。

发表论文数量法
可信指数:一颗星

是最不可靠的方法,就是看发表论文是数量。由于以前的科研评价体制只重数量不重质量,结果造成了大量的低水平的论文发表,这些论文无论是影响因子还是被引 次数都很低,很多是把一篇论文拆开为几篇发表,或者重复发表。所以,那些宣传“发表了XX 篇论文”的说法其实是难以真实的反应作者的学术水平的。

如何评判科学研究的影响力?

调整科研评价体系

适用度:有待商榷

英国高等教育局(HEFCE)讨论推行卓越研究框架(REF),替代原有的研究评估制度(REA),以强调科学研究为英国经济和社会发展服务。

从REA到REF,三项评价指标中前两项即“研究质量”和“研究环境”不变,但是第三项“研究的声誉”将被“研究的经济社会影响”所替代。各项指标的权重有所调整,分别是:研究质量(60%)、研究环境(15%)和研究的经济社会影响(25%)。

英国计划2014年开始执行REF,其中“研究的经济社会影响”(impact)这一指标替代的原来的“声誉”指标,但其比重将从20%开始试行,以后要调整到25%。HEFCE还表示,只有研究质量到达2级或2级以上的研究成果,才有资格进行研究影响的指标的评估。

REF的“研究的经济社会影响”(impact)概念提出以后,受到英国学术界的极大关注。英国学术院(BA)建议比例不宜太高,应设定为15%,其理由 是人文艺术学科与理工科不同,其经济社会效益很难衡量。许多科学家对这一概念也提出质疑,认为“研究的经济社会影响”(impact)这一指标操作性不 强。

以重大产出为导向
适用度:四颗星

中国科学院此前曾宣布,将建立从评价、评估到验收及年度监测的一整套新评价体系,充分发挥评价的导向、诊断、衡量作用。

根据新的评价体系,中科院将组织国内外高水平同行专家和用户专家,对研究进展情况进行诊断评估。中科院还将根据6-7个核心指标和创新能力指数,对研究所 进行年度监测,监测指标主要是研究所状态、产出和效益情况。并对中科院宏观布局和发展态势也进行监测。2015年,中科院将根据“重大突破”的标准、人才 引进和培养等情况,对研究所任务完成情况进行验收。

中科院目前每年在国际上发表的文章数量虽然不少,但对科技发展的“贡献”却不多。相关人员表示,这一新的评价体系将一改从前“重成果轻应用”的论文、资源导向,引导科学研究向实质性的贡献看齐。

科研评价体系失当导致优秀论文外流

中国科协曾进行过一次问卷调查,在“科技论文外流的原因”一题中,不少学者都选了“外部评价体系方面原因,科技评价、职称评聘、奖励制度等均以外国科技期刊为高水准”这一项。

确实,科学引文索引(SCI)可谓是目前中国科技界时髦的词语之一,也被作为衡量大学、科研机构和科技工作者学术水平的重要尺度,而这种导向在某种程度上导致了国内科研成果和智力资源的流失。

除此之外,我国现有英文科技期刊也存在量少质低的情况。数据显示,我国现有英文科技期刊有230多种,仅占我国科技期刊总量的4.3%。2012年,中国 大陆有134种科技期刊被国际著名检索系统 SCI 收录,但被收录期刊的总体水平偏低,平均影响因子和平均被引频次远低于国际总体平均值。

科技界的专家指出,要完善政策环境,制定适当的期刊扶持政策,鼓励科技人员把科研成果,尤其是国家财政支持的科研项目产出的优秀论文,优先发表在国内优秀科技期刊上。

为促进科技期刊出版质量和论文发表水平的提高,已有为之努力者。据中国科学技术协会学会学术部副部长刘兴平介绍,从2006年起,中国科协开始实施精品科技期刊工程。截止目前,已资助科技期刊224种772项(次),累计资助金额达9025万元。

版权声明:
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章,或“梅斯号”自媒体发布的文章,仅系出于传递更多信息之目的,本站仅负责审核内容合规,其内容不代表本站立场,本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (2)
#插入话题
  1. [GetPortalCommentsPageByObjectIdResponse(id=1746013, encodeId=b8761e46013c6, content=<a href='/topic/show?id=6ce1e50024b' target=_blank style='color:#2F92EE;'>#科研人员#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=29, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=75002, encryptionId=6ce1e50024b, topicName=科研人员)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=064535650230, createdName=zhangj7120, createdTime=Wed Jun 04 16:08:00 CST 2014, time=2014-06-04, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1947065, encodeId=3f88194e06517, content=<a href='/topic/show?id=2ac250319fe' target=_blank style='color:#2F92EE;'>#影响力#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=26, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=50319, encryptionId=2ac250319fe, topicName=影响力)], attachment=null, authenticateStatus=null, createdAvatar=http://thirdwx.qlogo.cn/mmopen/vi_32/L2dMhrxjvSWuPWKZZP1I83Rw21EWia7LVTYJibLQkb4oTibrYLwhnAXntTBWR3FruIzKfNMiaBwhYV0AKNmiaNxfialg/132, createdBy=6ea92500119, createdName=ms9608593228839890, createdTime=Tue Jul 08 09:08:00 CST 2014, time=2014-07-08, status=1, ipAttribution=)]
  2. [GetPortalCommentsPageByObjectIdResponse(id=1746013, encodeId=b8761e46013c6, content=<a href='/topic/show?id=6ce1e50024b' target=_blank style='color:#2F92EE;'>#科研人员#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=29, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=75002, encryptionId=6ce1e50024b, topicName=科研人员)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=064535650230, createdName=zhangj7120, createdTime=Wed Jun 04 16:08:00 CST 2014, time=2014-06-04, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1947065, encodeId=3f88194e06517, content=<a href='/topic/show?id=2ac250319fe' target=_blank style='color:#2F92EE;'>#影响力#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=26, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=50319, encryptionId=2ac250319fe, topicName=影响力)], attachment=null, authenticateStatus=null, createdAvatar=http://thirdwx.qlogo.cn/mmopen/vi_32/L2dMhrxjvSWuPWKZZP1I83Rw21EWia7LVTYJibLQkb4oTibrYLwhnAXntTBWR3FruIzKfNMiaBwhYV0AKNmiaNxfialg/132, createdBy=6ea92500119, createdName=ms9608593228839890, createdTime=Tue Jul 08 09:08:00 CST 2014, time=2014-07-08, status=1, ipAttribution=)]

相关资讯

德国著名心脏病专家48篇干细胞论文遭质疑

多产而又高调的德国心脏病专家 Bodo-Eckehard Strauer 又一次受到了攻击——他一直宣称:基于骨髓细胞的干细胞可以修复病变导致的心脏损伤。Strauer 于 2009 年从德国杜塞尔多夫大学退休,在德国科学界,自从他 2001 年第一次声称临床干细胞治疗心脏损伤获得成功以来,一直是一个饱受争议的人物。许多干细胞科学家都公开表示自己对这一言论的怀疑,媒体对于这些怀疑的呼声也给予了报道

不发表就淘汰:一纸论文背后的腐败

本文从不同身份不同角度来剖析学术论文发表的同行审议制度。主要分为三个部分:第一部分为伦敦大学学院药学系教授大卫·科洪(David Colquhoun)针对某篇具体论文来质疑“同行审议”制度;第二部分为该论文作者的回应;第三部分则为期刊编辑的回应。 第一部分 文/大卫·科洪(David Colquhoun),伦敦大学学院药学系教授。 同行评审决定了你

吴亚生:为“ 85% SCI 论文是垃圾”辩

不久前有媒体报道,中国工程院院士钟世镇曾有“我国发表在 SCI 上的论文 85% 是垃圾”的言论,并且该言论引起一些读者的意见反弹。一些读者批评钟院士说话随意。更有读者要求钟院士拿出“ 85% 是垃圾”的定量数据来源。 在我看来,钟院士的话乍听突兀,似乎伤人,但实际上是有一定认识基础的。根据我对自己熟悉学科在国外 SCI 刊物上发文的了解,科学论文的数量与科学真理的揭示之间是有一些数量关系的。

研究论文很难重复,现代科学在什么地方出错了?

《经济学人》发表了一篇评论分析现代科学发展中存在的问题。 文章称,支撑科学进步的一大基本思想是“信任,但要有验证”。这一简单但强大的思想产生了浩瀚的知识。现代科学自17世纪诞生以来,世界已经被改变的面目 全非,世界也变得更美好。但成功滋生了自满。现代科学家滥用信任而缺乏足够的验证——破坏了整个自然科学和人文科学。充斥学界的科学发现要么是拙劣实验要 么是不当分析的结果。在生物科学中,

Nature:开放存取里程碑!2011年发表的半数论文可以免费阅读

欧盟委员会的一份报告称,在互联网上搜索 2011 年出版的任何一篇论文,你将有五成的几率可以找到免费下载,显示开放获取的论文比以前认为的要多。 这项发现对开放获取支持者而言是一个令人振奋的好消息。欧盟委托加拿大咨询公司 Science-Metrix 进行了这项研究。 在初期测试中,魁北克大学的一个研究团队从 2008 年出版的 2 万篇论文中随机选择样本进行

首届赛诺菲—安万特/《细胞研究》优秀论文奖颁奖

 7月8日下午,首届赛诺菲—安万特/Cell Research优秀论文奖颁奖仪式在中国科学院上海生科院生化与细胞研究所举行。中国科学院院士、《细胞研究》(Cell Research)主编裴钢、中科院上海生科院党委书记张建新、上海生化与细胞所所长林安宁研究员、赛诺菲—安万特公司代表张愚等参加仪式并共同为获奖者颁奖。 加拿大阿尔伯塔大学的Robert B Campenot与北京大学