清华大学刘立教授:英国大学“卓越科研评价”的标准与启示

||  据12月2日《科技日报》的公开报道自然科学提名取消填写论文期刊“影响因子”和“SCI他引次数”的硬性规定。笔由此想英国新近修订的针大学的 “卓越科研评价框架”(REF)的评价标准,概要地说,就是看原创性,影响引子,慎看他引数。下面简要介绍。

  、什么是性?

  从科学家转型社会的齐曼提出,所谓原创性就是给人类的知识宝库添新砖加新瓦,比提出一个新的科学问题探索出新的研究方法,获得新的数据,提出新的理论,提出新的解释;或是这些新东西的组

  英国学的 “卓越科研评价框架”(REF),对科研成果性提出了可操作性的界定。这里的原创性的是,某个科研成果程度上对某个科研领域的理解和知识作出了创新性和要性贡献。具说来,一个具有原创性的科研成果的是:作出了新的实证现,或现了新的材料,以及对这些新发现或新材料作出了新的解释;解决了新问题或复杂难题;开发出创新性的研究方法、方法论和分析仪器设备;展出富有想像和创造性的研究视野;提出了新的论证或/和新的表述、新的解释或/和新的洞见;获得或采集新的数据;或/和对社会政策实践提出了新的理论、新的分析或新的表述。

  英对大学科成果的评价,除了坚持原创性标准之外,还提出要兼顾对科研成果的“要性”和“谨性”进行评价。所谓“重要性”(sIGnificance),指的是某项科研成果大程度上对人类知识、学术思想或对社会政策实践产生了影响,或者对它们具有多大的影响潜。更广泛地说,就是要评价科技创新成果科学价值技术价值、经济价值、社会价值、文化价值。所谓“谨性”(rIGour),指的是某项科研成果是否充分现了学术严谨性、体现了学术诚信科研伦理,使用的概念、分析方法、数据资料、理论和方法论是否确凿可。比,NgAgo基因编辑技术, 对人类胚胎的编辑等所谓科研成果,违背了科研诚信伦理,因而“严谨性”评价标准。

  二、原创性是分层次的:如何评价?

  1.评价方式标准

  对科研成果的原创性评价,英国“卓越科研评价框架”(REF)运用“专家同行评议”和“分类评价”的方式进行。这里指的是划分大类学科进行科研评价,分别是:第一类的物质科学、工程和数学;第二类的医学、健康和生命科学;第类的社会科学;第类的人文艺术。“卓越科研评价框架”(REF)对科研成果原创性(含科研成果的重要性、严谨性)的评价,划分为四星、星、二星、星等四个层次;如果科研成果质量达到一星标准,则入“忽略不计”行列。

  下面以第一类学科物质科学、工程和数学对科研成果原创性(含科研成果的重要性、严谨性)层次的评价标准为例,对这一评价方式进行介绍。

  专家评议组要根据证据事实以及其他规定的通用标准,对科研成果的原创性(含科研成果的重要性、严谨性)进行评议,如果某项科研成果具有或潜在具有对应层次的某些特征,则评价为相应星级别。“物质科学、工程和数学”类成果原创性(含科研成果的重要性、严谨性)评价标准如下表所示。

  表 成果原创性评价的四个层次标准

所属层次 评价标准 四星级 •开辟了新的科研议程(agenda-setting),导致其他科学家跟随跟踪或跟风。
•引领(leading)世界科研,在国际前沿。
•对提出新思维、新技艺、新结果具有很的新颖性(novelty)。
•对科研主题和议程具有重大的影响。
•提出了新的范式(paradigm)或崭新的概念
•对社会政策或实践产生了重大的影响。
•对生产过程、工艺流程和管理产生了重大的影响。
•对用户产生了重大的影响。 三星级 •在国际层面,对某科研领域作出了重要的贡献。
•对某领域的知识、思想和方法作出了重要的贡献,并产生持续的影响。
•对社会政策和实践产生了重要的影响。
•对生产过程、工艺流程和管理产生了重要的影响。
•对用户产生了重要的影响。 二星级 •产生了有用的知识,对某领域有一定的影响。
•作出了渐进性的贡献,比如对有的理论和范式添砖加瓦。
•对社会政策或实践产生了一定的影响。
•对生产过程、工艺流程和管理产生了一定的影响。
•对用户产生了一定的影响。 一星级 •科研成果有用,但对本领域影响较
•对社会政策或实践影响较
•对生产过程、工艺流程和管理的影响较小。
•对用户的影响较小。 忽略不计 如果科研成果的质量等,远远于一~四星标准,则入“忽略不计”行列。

  2.评价要求

  (1)不看影响因子评价

  REF《评价标准》规定:任何评估小组(四大类学科主评估组下,划分为34个小学科评估小组)对科研成果进行评估,不得虑发表该成果的期刊的影响因子,不得虑期刊的档次和级别。

  (2)慎看引用数

  若干小学科评估小组明确表示:科研成果评价,彻底不看引用数,比如物质科学、工程和数学大类的“数学”评估小组,“工程”评估小组;社会科学大类中除“经济学和计量经济学”评估小组之外,所有其他小组均不看引用数。“艺术与人文”大类,一律不看引用数。若干小学科评估小组表示,会部分看引用数,比如医学大类的所有分学科评估小组均看引用数。

  四大类学科主评估组对那些在科研评价中参考引用数的评估小组,作出了下述规定:

  ①引用数仅仅作为评估科研成果的学术意义(academic significance;或学术重要性,学术价值)[而原创性]的一个指标。引用数只是提示同行评议判断成果质量的一个元素,不得用作评估的主要指标和工具。

  ②如果某项科研成果没有提供引用数,并不意味着该成果缺乏学术意义。

  ③评估小组应当认识到,引用数只是有些时候而并不总是一个可靠的指标(reliable)。引用数并不是一个总可以查到的数据,并且引用数因学科或评估单元不同而不同,不能搞“一刀切”。同时,评估小组应当认识到,引用数对某些类型的成果(如应用性科研成果)是一个不可靠的指标;而且引用数对不是用英语写作的科研成果以及新近发表的成果,存在着很大的局限性(和不公平)。

  ④评估小组如果看引用数,只能看REF评估组提供的数据,任何其他机构和个人提供的数据都是无效的。任何评估小组不得看期刊影响因子或期刊级别分区。

  ⑤任何看引用数的评估小组,必须遵循REF的总规定。任何评估小组必须把同行专家评议作为科研成果评价的主要手段,以此作为对科研成果的原创性以及重要性和严谨性进行全面的评估。

  三、新时代科研评价:分层次分阶段淡化影响引子评价,强化原创性评价

  对自然科学奖这个国“最”层次的科研评价评选,不看影响因子,主要依靠国外专家进行公正性高负责任高质量的同行评议,是完正确的。那么,其他层次的科研评价比如大学科研院所对评职称、评“帽子”的科研评价,是否也应取消影响因子和他引次数这些量化评价指标呢?个人认为,不可一刀切,应该分层次分阶段淡化影响引子和他引次数评价,强化以同行评议为基础的原创性评价。

  比如,对经进入世界一流的大学或科研院所的正教授授这个高层次的科研评价,应该持“唯原创性”标准。也就是说,对世界一流大学的正教授科研成果的评价,不管其论文发表的期刊是否是《自然》、《科学》、《细胞》,不管期刊是否是SCI/SSCI,不管影响因子高,不管是用英文还是用中文发表,主要看论文本身的原创性高低。另外,科研评价,必须高度重视“首发权”。在科学研究中,只有第一,没有第二。国科学家应充分用国内中英文期刊获取科研成果的“首发权”和“优先权”。

  作者简介:

  刘立,北京大学博士清华大学马克思主义学院授。出版有《基础研究政策的理论与实践》,《科技政策学研究》。

0 条评论

目前没有人发表评论

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。