国际科技评价查包養網心得改革十年评述_中国网
中国网/中国发展门户网讯 2013年5月,《科研评价的旧金山宣言》(以下简称DORA或《旧金山宣言》)正式发布,旨在解决逐渐兴起的“以刊评文,以文评人”问题。《旧金山宣言》得到国际科学共同体广泛认同与反响;以此为旗帜,许多国际学术组织、学术年会、高校与研究机构开始讨论科技评价改革。同时,成立了DORA科技评价联盟、科技管理国际联盟(INORMS)科技评价工作组等新的国际组织致力于推动科技评价改革。10年来,国际科技评价改革不断深入,逐步从理念层面的提倡和讨论落实到众多科研机构的实践探索之中,效果初显。 笔者曾于2022年发表过《科技评价改革十年评述》一文,对我国科技评价10年改革进行过总结。认为,以“三评”改革和破“四唯”为代表的我国科技评价改革正处在关键时刻。虽然目前在清理“四唯”上已取得初步效果,以论文等指标进行简单量化评价的现象明显好转。但是,“立新标”还在半路上,特别是科技评价改革所要引导的对卓越的价值追求还远未形成。对此,如何谋划下一步科技评价改革的目标和举措是迫切需要回答的重要课题。笔者作为国际科技评价组织的任职者和经历者,通过对国际科技评价改革10年进行系统的梳理、分析和比较,得出相应结论和启示,以期起到他山之石的效果。 为避免引起歧义,对文中2个概念进行说明:本文中提及的国内、国际的科技评价均指针对高等学校、科研机构(含科研资助机构)开展的以基础研究为主的科研评价,包括论文、人才、项目、机构等的评审评价,尽管英文一般被称为“research assessment”或“research evaluation”,但是,为了与国内语境保持一致,本文沿用“科技评价”而不是“科研评价”。国际科技评价改革主要是指欧洲和北美等地区的传统科技强国主导、目前在国际上形成较大影响的科技评价改革,包括改革目标、改革的组织推动过程、改革的基本理念及开展的改革实践等。 国际科技评价改革要解决什么问题? 一般而言,欧洲和北美等传统科技强国因为其深厚的科学文化底蕴,科学价值标准与追求传统上是不错的。但是,随着科技自身的发展及其地位的提升,其科技评价也面临新的问题与挑战,必须与时俱进。归纳起来,国际科技评价改革要应对的问题或者说要达成的目标大致有3个方面。 避免文献计量学方法在科技评价中的不当使用。在美国学者Garfield提出利用参考文献追踪科学进展的引文分析方法后,美国科学信息研究所(ISI)于1963年开始通过引文分析筛选期刊,形成科学引文索引(SCI)数据库,从而为在科研评价中应用文献计量学方法提供了基础。文献计量学方法的引入,一方面为科技评价提供了证据支撑;另一方面助推了“以刊评文”的逐步兴起——“发表在哪儿比发表什么更重要”,这无疑对科研产出的质量、完整性和多样性产生不利影响。如何避免文献计量学方法的不当使用,成为国际科学共同体面临的重要挑战。 重视科学对经济社会的影响力(impact)评价。随着科技在国家经济社会发展、国家安全等方面地位的提升,科技竞争愈演愈烈,世界各国一方面加大科技投入,另一方面也更加关注科技投入对本国创新发展的效率和效果。原来科学投入“只问耕耘,不问收获”的线型模型被质疑,科学对经济社会的影响力评价逐渐成为科技评价的核心内容。影响力评价的引入带来2个方面的挑战:科学共同体难以形成共识,很多科研人员不认可影响力评价,认为这种边界模糊、容易自我吹嘘的评价会助长学术不端、损害学术质量。准确评价影响力难度太大,难以找到科学的指标、数据来源与评价方法。这2个问题也是国际科技评价界讨论的热点问题。 适应开放科学、基于人工智能的科学研究等新范式发展。以数据共享为基础的开放科学(open science)近年来在欧美盛行并逐渐影响全球。开放科学运动兴起的同时要求改革科技评价系统,以提高公开性和透明度。但是,如何将传统上以个人创造活动为主的科学研究,转变为数据共享的、体现大规模协作的集体性科研活动并非易事,需要各方面共同努力。例如,联合国教育、科学及文化组织(UNESCO)提出了关于开放科学的建议,其中包括为其成员开发的“开放科学工具包”,帮助他们审查和改革科研职业生涯的评估标准。人工智能的迅猛发展也将对科技评价产生深远影响,“人工智能驱动的科学研究”(AI for Science,简称AI4S)成为新的科学范式。各国都致力于抢占这一范式制高点,也需要通过科技评价予以激励和引导。同时,AI4S在促进科技发展、减轻科学家负担的同时,可能强化数据预测技术而带来风险与偏见,也对改革科技评价提出了新挑战。不过,在这方面目前虽然有较多提及,但目前还没有成为10年来国际科技评价改革的重点。 就以上3个方面而言,这次国际科技评价改革要解决的紧迫问题或者说核心目标是前2个方面,即文献计量学方法不当使用,以及影响力评价。这与我国是相似的,第1个问题即文献计量学方法不当使用方面的挑战在我国尤其严峻。这是因为,相比于传统科技强国,由于科学文化薄弱、人情因素过多等原因,我国的同行评议系统还不够健全,这导致科技评价中对论文发表的刊物的影响因子、论文自身的引用量及论文数量等量化指标更加倚重。第2个问题即如何推动影响力评价跟我国正在推动的科技成果“五元价值”评价是相似的。但是,我国破“四唯”中的奖项、学历、职称、人才“帽子”等,更多是我国特色,对于一些传统科学强国而言这些基础性问题并不显著。 国际科技评价改革采取了什么举措? 国际科技评价改革的若干重要举措 从路径来看,国际科技评价改革由科学共同体主导,主要采用自下而上方式开展。国际科技评价改革启动的标志性事件是2013年5月《旧金山宣言》的发布。该宣言的初稿是相关学者和编辑在2012年末旧金山召开的美国细胞生物学学会(ASCB)年会期间,针对期刊影响因子在科技评价中不当使用的弊端所提出的。《旧金山宣言》发布后,许多国际学术组织、学术年会、高校与研究机构纷纷跟进,并成立了DORA科技评价联盟等新的国际组织共同致力于推动科技评价改革。2023年5月,包括中国在内的全球许多国家分别举行了《旧金山宣言》发布10周年纪念活动。 10年来,国际科学共同体在推动科技评价改革上做了大量形式多样的工作,包括发布宣言、倡议、声明;组织学术年会交流、专题研讨、项目研究;形成研究专报、科技评价方法框架、好的评价案例、科技评价试点协定等。本文梳理了其中14项比较重大的举措(表1)。 国际科技评价改革的主要效果 在全球范围内形成科技评价改革共识。截至2024年1月4日,已有3078个组包養網 花園织和21339名个人签署了《旧金山宣言》,其中包括来自中国的15家机构。2022年,“推进科研评价联盟”(CoARA)正式成立,并发布了《改革科研评价的协定》,来自40多个国家的350多个组织签署了协定。科技评价改革日益在全球范围内形成共识。 经过科学共同体各方力量共同努力,科技评价改革的“图谱”逐渐清晰化。比如,《旧金山宣言》提出破除“以刊评文”;《莱顿宣言》进一步提出要纠偏“量化评价”;《量化指标潮流》报告进一步明确量化评价的作用及规范;SCOPE框架定义负责任评价的过程等。不同的学术组织针对不同问题提出科技评革的不同方面,拼凑成一个比较完整的“图谱”。最后,这张改革“图谱”被冠以“负责任科研的评价”(responsible research assessment)的标识,逐步成为科技界的共同用语。 科技评价改革正在从理念层面走向实践。目前,签署《旧金山宣言》的3000个多组织正在或者已经落实避免“以刊评文”要求。签署《改革科研评价的协定》的300多个组织(包括资助机构、高校和科研机构)正在进行科技评价改革试点,并且经常组织各种形式的试点经验交流。 形成了关于科技评价的一些基本判断。包括对科技评价正、反两方面作用,定量评价与定性评价之间的关系,启动评价的前提条件,以及提升评价数据质量的技术等。这些理性认识对我国有重要启示意义。 国际上的“三评”改革实践案例 如前文所述,国际科技评价改革正在从理念层面走向实践,以下进行实践案例分析。鉴于我国当前科技评价源于国家“三评”改革文件,在此也分别选择人才评价、项目评审和机构评估3个方面的案例进行分析。 比利时根特大学人才评价改革 比利时根特大学(Ghent University)较早注意到基于文献计量学方法的定量评价对研究文化带来的系统性损害,认为定量评价助长了“发表在哪儿比发表什么更重要”的文化。2013年发布后,根特大学签署了《旧金山宣言》。之后,又签署了《改革科研评价的协定》。随之着手对科教人员晋升评价等人才评价进行改革,以维护根特大学一贯倡导的多元化文化,同时消除教师对量化评价越来越大的不满,力图创建一个强调追求卓越研究的共同价值观、富有挑战性、高质量且具激励性的职业框架。 在学校管理层和科教人员的共同努力下,2016年11月,根特大学发布了《根特大学评价研究愿景声明》,提出科研评价必须遵守8项原则。2017年进一步公布了科研评价中定量指标的使用指南。根据这2项政策,2018年根特大学建立了一种全新的教师评价和晋升模式,重新将“责任”和学术自由还给教授级教职员。根据新的评价体系,根特大学对教师的评价不再只看科研产出,而会从更加定性、综合且以人为本的视角进行评价。评价以5年为周期,包括初期的证据性评价、中期反馈访谈和末期的访谈式评价。评价内容包括在研究、教学、社会参与度、管理和领导力方面最重要成就的叙述性展示(而非使用可衡量的定量标准),以及未来5年的意向规划。 美国国立卫生研究院(NIH)项目评审改革 美国国立卫生研究院(NIH)是美国最主要的医学研究和资助机构,每年都会资助大量新项目以推动相关领域的发展。NIH在签署了《旧金山宣言》后,着手进行项目评审改革,以消除已有评审中存在的量化问题与偏见,同时适应开放科学的发展。改革主要包括3个方面。 修改评审规则。新规则要求对于研究者和研究环境的评估必须放在研究项目的背景下来考虑而不是像之前被单独评分。无论是人员还是机构,评审标准不再是“越强越好”而是“能胜任即可”;如果评审专家认为人员或机构能力不足,则需要给出具体说明。新标准的“够用”原则试图尽量解决声望偏见,将关注点更多地放在研究课题本身上面而非机构声誉。…