科技评价指标在我国使用的现状、问题及对策

                     

                姜联合


 

1.科技评价在深化科技体制改革的战略需求

当前,我国正处在全面深化改革、实现中国梦的关键时期和攻坚时期,科技在经济社会发展中的作用日益凸显,新科技革命和全球产业变革步伐加快,我国科技发展既面临重大机遇,也面临严峻挑战,尤其是体制机制上的障碍仍然突出。主要表现为“三不”:科技与经济结合不紧密,产学研用结合的机制尚未系统确立;科技投入与成果产出不对称,科技资源配置呈现的分散、重复、封闭、低效等问题突出;科技评价机制不科学,科研诚信和创新文化建设薄弱等等[1]。,科技评价机制不科学已成为制约我国深化科技体制改革的重要因素。

目前我国科技工作评价主要依赖美国科学情报研究所(ISI)提出的科学引文索引(SCI)。由于评价导向问题,使得许多科研机构、大学和科技人员过度追崇SCI论文,严重影响了我国科技事业的发展,制约了科技成果在国内的转化应用、科技传播和普及以及中文期刊的发展。

党的十八大报告中提出实现两个百年的奋斗目标,正确引导科技发展,实现科技强国梦。科学合理、适应我国国情的科技评价机制是坚实我国科技基础,实现基础研究、应用研发、长期科技知识积累和科学传播持续发展,突破深化科技体制改革障碍的重要一环。

2.目前我国科技评价体制的突出问题

2.1 过度追崇SCI论文及论文的引用率,使用SCI评价科研工作偏差弊端凸显

      我国自1998年开始分析和整理SCI资料[2],并于90年代中期开始倡导利用SCI来评价科研工作[3]认为对科研成果的评价虽关系到个人、发表论文的刊物、甚至一个国家科学技术整体水平的重要问题,但由于问题的复杂性,没有完善的评估方法,经过各种各样的尝试,认为SCI是比较客观定量的评价方法。

     自此,以SCI数据库为统计源,我国开展了多年中国科技论文统计与分析工作[4],就中国科技论文在国际的影响和发表情况分析统计,长期以来各科研机构、高校、医院、地方科技单位等将SCI论文及论文的引用率不仅作为科研成果评估,也成为了个人科研成就评价的主要工具。

      一个不争的事实是:在过去的十多年中,SCI论文在我国逐渐成为一个非常重要、不可替代科研评价指标。在2011年科技部发布的《国家“十二五”科学和技术发展规划》中,还首次将国际论文(SCI论文)及其被引频次列入国家科技发展战略,并提出了具体的目标:到2015年我国国际论文被引用次数由世界排名第8位提高到前5位[5] 。

      SCI作为引文数据,具有很强的科学性,是一个全学科定量评价工具,一定程度上在科研评价中克服了行政化带来的不可确定性的弊端,通过SCI指标对所有学科进行简单的量化评价,使得科研管理更加简单。

     SCI作为数据库,科研人员通过SCI数据库查询与搜索科研论文,一定程度上使我国科学研究研与国际接轨。

    SCI现象和影响因子呈现逐渐蔓延和加剧的趋势,SCI问题在于我们如何正确的运用它。

     事实上,SCI的创始人加菲尔德告诫人们:对SCI数据不要不加区分的使用,SCI数据尽管很方便,但很危险,虽然期刊的评估很重要,但对科研人员的评价更重要,因为影响到个人的职业生涯,影响因子不应作为人的评价的替代物[6]。

长期以来,我国科研评估中过度追崇SCI论文及论文的引用率,事实上弊端已经显现。

2.1.1长期以SCI论文评价科研成果使我国优秀科研成果外流,国内获取最新科技成果相对困难

     从90年代中期开始,我国开始用SCI指标评估科研成果,这种导向致使优秀科研论文纷纷投向SCI刊物,SCI 数据库90%以上收录英文期刊,我国优秀的科研成果多数以英文形式发表在SCI刊物中(表1),这虽然一定程度上使我国科研成果国际化,但事实上,就SCI论文本身来说,我国科研工作者大多面临英语能力匮乏的缺陷,尤其对于年龄大和专业性强的科技工作者来说,内容不是问题,英语往往成了制约的瓶颈,为了发表SCI论文,产生了众多的SCI论文英文修改及翻译机构,语言修改不仅增加了科研成本,同时科研人员面临在高影响因子期刊上发表论文的巨大压力。 而且由于SCI论文评价的导向,国内优秀成果受制于国际刊物,我国优秀科研成果严重外流,国内获取最新科研成果困难。

表1  1997-2013中国作者发表SCI期刊论文数量

年份

论文数(篇)

占SCI收录总数(%)

在世界所处位次

1997

16883


12

1998

19838


12

1999

24476


10

2000

30499


8

2001

35685


8

2002

31572


6

2003

49788

4.48

6

2004

57377

5.43

5

2005

68226

5.25

5

2006

71184

5.87

5

2007

89147

7.00

5

2008

95506

6.60

4

2009

127532

8.84

2

2010

143769

10.12

2

2011

165818

10.94

2

2012

192761

12.12

2

2013

204100


2

 

2.1.2我国部分优势期刊纳入到国际学术出版集团旗下,影响我国科研成果知识传播体系发展

      2014年,我国共出版期刊9966种,综合类期刊365种,文化教育类期刊1363种,文学艺术类期刊646种,自然科学、技术类期刊4974种,其中244种纳入国际出版集团旗下,244种英文版科技期刊中有146种(59.8%)与10余家国际性出版机构采用各种合作模式共同出版或宣传推广[7]。包括了国际出版集团Nature、Elsevier、Springer、PubMed、Taylor & Francis、Wiley、Oxford U Press、Cambridge U Press等(http://scholar.cnki.net/)。据不完全统计,截至2014年底,我国约180种有CN号的英文版科技期刊与国际性出版机构合作出版,其中合作出版期刊数量超过5种的国外出版商有施普林格(90余种)、爱思唯尔(40余种)、威利(8种)、英国物理学会(8种)、自然出版集团(7种)、牛津大学出版社(5种) [8]。

2.1.3 国外新论文评价指数的引进助长了“以SCI论文导向”的科技评价

     自然出版集团(Nature)发布“自然指数”(Nature Index),对全球的科研机构进行排名,从2010年-2014年发布了中国“自然出版指数”报告;世界上最大的出版集团—爱思唯尔(Elsevier)针对中国学者发布“中国高被引学者榜单”(以下简称“榜单”),对中国学者个人的科研能力进行排名。“中国自然出版指数”报告和“中国高被引学者榜单”可能成为继SCI之后我国科技人员追逐的另一个新目标,这将对中国科技评价SCI论文导向产生新的影响。

2.2科技成果应用转化评价导向尚需加强,普及性的评价指标缺失

     科学技术是第一生产力,经济的繁荣与社会的发展离不开科技的进步。无论是基础研究,还是应用研究,其成果和普及都将对提升生产力发展水平、提高人类对自然界的认知能力具有重要作用。科技成果转化是使科技成果能够实际应用并服务社会的关键环节、科学普及及传播是提高国民科学素养的重要举措。

     据统计,我国每年约有2万余项比较重大的科学技术研究成果和5000度多项专利,但是其中最终转化为商品的成果不足5%,而欧美发达国家转化率则为45%。 我国科学技术向生产力转化的比例仅为10%-15%,远低于发达国家的60%-80%。高新技术企业的产值在社会总产值的比例仅占2%,也远低于欧美发达国家的25%-30%。科技创新、科技成果转化的数量、质量、规模和效率较低的问题,已经成为我国实现经济增长和产业化结构优化的制约因素[9]。2008年全国科技工作者状况调查,我国科研成果转化为产品或应用于实践的科技工作者仅为24.5%,发达国家的科技转化率为80%[10]。

   科技成果转化率低, 既有成果本身问题,又有体制机制方面的问题,目前对科技成果的评价多数停留在学术性、先进性层面,而对成果的实用性、市场性估计不够,更不能量化成果的社会价值、经济价值。科技工作评价中忽视科技成果应用转化的评价,缺乏普及性的评价指标应用。

 2.3 科技对服务社会、普及传播的评价体制机制还没有形成

      科学研究成果的展现和共享一定程度上推动了科学研究的进一步发展,然而科学研究的最终目的是将科学成果惠及全人类,科学研究成果的科学传播过程是科学研究实现最终目的的必然过程和社会发展的客观要求[11]。高素质的国民是促进国家科技创新、经济长期繁荣与社会稳定的必然前提。2002年我国颁布了《中华人民共和国科学技术普及法》,2006年颁布了《全民科学素质行动计划纲要(2006—2010—2020年)》。2011年7月下发了《全民科学素质行动计划纲要实施方案(2011-2015年)》,目标是到2015年,我国的“科学技术教育、传播与普及显著发展,基本形成公民科学素质建设的组织实施、基础设施、条件保障、监督评估等体系,我国公民具备基本科学素质的比例超过5%”。2011年《全民科学素质刚要》中特别对科研成果转化科普效应做了重要解读。2010年11月15日发布的《第八次中国公民科学素养调查结果》显示,2010年我国具备基本科学素养的公民比例为3.27%,相当于日本(1991年3%)、加拿大(1989年4%)和欧盟(1992年5%)等主要发达国家和地区20世纪80年代末、90年代初的水平。2015年第9次公民科学素质调查显示,我国的公民科学素质达到6.2%,相当于发达国家上世纪末本世纪初水平。

      我国科技资源科学普及和传播力度相对不足,相对于国家科技投入而言有很大的提升空间。从我国科技工作者从事科普工作的调查来看,尽管大多数科学家认为参与科普创作很有意义,但只有35%科学家曾参与科普创作,大多数科学家在科普创作上没有实际行动,科研人员参与科普的积极性不高,我国科技工作者参加过至少1种科普活动的比例59.9%[12],与发达国家相比,相对较低。在对我国科技计划项目科普化立项调查中,科学家认为开展科普工作义不容辞,但科技计划项目科普化还没有完善的政策措施,体制机制还没有形成。

      科技工作评价中缺乏科学普及性的评价指标应用,科技资源科普传播及应用还没有完善的政策措施,科技对服务社会、普及传播的评价体制机制还没有完全形成。

3            国内外主要科技评价指标内涵及应用

        目前,主要科技评价指标大多基于SCI数据库、近年出现Nature出版集团和爱思唯尔出版集团对我国的学术评价、谷歌基于其数据库推出谷歌学术指标,各指标的主要特点见表2。

表 2  国内外主要科技评价指标内涵及应用

名称

数据基础

内涵、定义

应用范围

缺陷

影响因子

基于SCI数据库,2014年8618种期刊

评估期刊:近期影响力

应用于对期刊近两年影响力的评价,影响因子体现期刊短期影响力的指标

使用影响因子来评估个人和团体的研究业绩.但事实上,影响因子很容易受少数高引论文的拉动

总被引频次

评估期刊:显示期刊被使用和受重视的程度,

测度期刊自创刊以来的学术影响力

被发表的信息中仅有一部分被作为产生新信息的来源,,在忽略信息老化特征的前提下,用累积发表的文献数来体现某学科领域中相关知识的方法是错误的


即时指数

评估期刊:描述期刊当年发表的论文在当年被引用的情况

体现期刊对某一学科领域内近期相关知识的贡献



特征因子

评估期刊:同时测量引文的数量和“质量”,

衡量一个期刊在其学科中的总体贡献,基于引证的网络分析

特征因子是目前JCR指标中的数据封闭性最强的指标,2009年JCR开始使用


H指数

评价科技论文:

评价个人科学产出的指数

测量个人研究成果的广泛影响

由于刊载论文的最大值是h指数的上限,指数值对低产学者不利


兀指数

评价科技论文:

用来分析个体文献优劣

评价个人科学声誉的文献影响力指标

高被引论文被引次数的增加则指数增加,而且指数增幅要高于低被引论文


谷歌学术指标h5因子

 

基于谷歌学术2014年5450份杂志,1亿6千万篇学术文献,涉及书籍、会议、以及各种预印本。

评估期刊:显示的是出版物综合整体实力,而不会像影响因子那样很容易受一篇高引用文章影响。

 

某一出版物在过去5年发表的文章之中,至少有h5篇文章每篇引用不低于h5次

 

1数据库收入范围广泛;

2指标统计过去五年的数据,比影响因子过去两年数据体现持久的影响力

3偏重年发表论文量大的杂志

4谷歌的学术指标才发布了四年,有些问题仍有待完善

5谷歌没有提供对各领域及学科分类的标准,也没有提供每个杂志所隶属的学科信息

谷歌学术指标h5中位数

 

h5中位数指进入h5因子的所有文章的引用中位数




爱思唯尔“中国高被引学者榜单”

基于爱思唯尔旗下的Scopus数据库,2200多种期刊

针对来自不同学科总数   排名2000以内的中国学者发表论文高被引的排序。

中国学者发表论文高被引的排序

容易引导中国科研SCI论文评价的导向偏差

自然指数(Nature index)

基于英国自然出版集团的《自然》系列期刊在前一年所发表的论文为基础。

2014年自然出版集团提出自然指数,基于前一年发表在68种包括《自然》系列和其它自然科学期刊上的研究型论文数量计算

衡量不同国家和研究机构的科研实力

容易引导中国科研SCI论文评价的导向偏差

 

  从表2 可知,各学术评价指标側重面不同,应用范围各有所限,在学术使用评价中应分别对待、慎重使用。

3.1  SCI引文数据库

SCI美国《科学引文索引》(Science Citation Index, 简称 SCI )。1957 年美国科学信息研究所(Institute for Scientific Information, 简称 ISI)在美国费城创办,是由美国科学信息研究所(ISI)1961年创办出版的引文数据库,创办人为尤金·加菲尔德(Eugene Garfield, September 16,1925~)(ISI,现为汤森路透集团,Thomson Reulers)创制。该检索系统以其综合、强大而独特的检索机制受关注,通过该系统可以检索出一个国家(地区)、机构、个人文献的发表情况,还可直接检索某一篇文献自发表以来的被引用情况,可以回溯某一研究文献的起源与历史,跟踪其最新的进展。该系统目前有SCI-CDE(光盘版)、SCI Search(online),Web of Science(SCIE)网络版等出版形式。

科学引文索引以布拉德福(S. C. Bradford)文献离散律理论、以加菲尔德(E.   Garfield)引文分析理论为主要基础,通过论文的被引用频次等的统计,对学术期刊和科研成果进行多方位的评价研究,从而评判一个国家或地区、科研单位、个人的科研产出绩效,来反映其在国际上的学术水平。因此,SCI是目前国际上被公认的最具权威科技文献检索工具。

SCI收录期刊总数变化

年份

SCI期刊数

1997

4964

2003

5907,65个国家和地区

2008

6598

2013

8474

2014

8618


3.2  SCI指标
3.2.1    SCI指标的功能和应用

由于SCI收录的论文主要是自然科学的基础研究领域,所以SCI指标主要适用于评价基础研究的成果,而基础研究的主要成果的表现形式是学术论文。所以,如何评价基础研究成果也就常常简化为如何评价论文所承载的内容对科学知识进展的影响。

科学引文索引通过统计大量的引文,然后得出某期刊某论文在某学科内的影响因子、被引频次、即时指数等量化指标来对期刊、论文等进行排行。被引频次高,说明该论文在它所研究的领域里产生了巨大的影响,被国际同行重视,学术水平高。

科学引文索引是当今世界上最著名的检索性刊物之一 ,也是文献计量学科学计量学的重要工具。通过引文检索功能可查找相关研究课题早期、当时和最近的学术文献,同时获取论文摘要;可以看到所引用参考文献的记录、被引用情况及相关文献的记录。

3.2.2   SCI应用于科技期刊主要评价指标

美国JCR公布的主要评价指标有总被引频次(Total cites)、影响因子(Impac facor)、即时指数(Immediacy index)、当年论文数(Current Aicles)、被引半衰期(Cited Half-life)。2007年JCR可以获取的指标:特征因子(Eigenfactor)、文献影响力(Article influence)、5年影响因子、其中有一个非常重要的指标是按照影响因子给出期刊在本学科的排名(Journal rank in categories),即对期刊的分区,按影响因子高低在本学科中的位置依次划分为Q1、Q2、Q3、Q4区。

 

1). 影响因子(IF)

影响因子(1F)是由美国科学信息研究所所长加菲尔德提出的,现已成为国际上通用的期刊评价指标。它指某刊前两年的载文被第三年引用的次数与前两年的载文总数之比。它是期刊论文被引情况的平均测度指标,除了能表述显示论文质量的被引频次外,还消除了载文数量的多少及创刊时间长短对期刊被引频次的影响。因此,IF是一个非常客观实际的评价指标,根据Ⅳ值的高低能够比较合理地判定学术期刊的水平,一般来说IF值越大,就表明期刊被引用的程度越高,影响力和学术作用也就越大。

(1) 定义

指期刊近2年文献的平均被引用率,即期刊前2年发表的论文在当年每篇论文被引用的平均次数。

(2 )计算

   IF= 该刊前2年发表论文在统计当年被引用的总次数/该刊前2年发表论文总数

(3) 内涵

一般来说,IF越大,期刊影响也越大,学术水平也相对较高。

(4) 应用:

应用于对期刊近两年影响力的评价,影响因子体现期刊短期影响力的指标。

(5) 误区和缺陷

[1]影响因子仅仅为单一数据点,必须严谨并联系实际情况加以考虑,很多因素都会影响论文在不同学科中的引用情况。

[2]实际计算IF时,用的是前2年的引用数据。这就给那些在短期内研究员人员非常关注的专业期刊,与研究进展速度慢但有长期引用价值的专业期刊的IF造成截然不同的结果。

[3]期刊IF作为评估论文本身或者作者的替代品并不合理。

[4]全世界目前都在使用影响因子来评估个人和团体的研究业绩.但事实上,影响因子很容易受少数高引论文的拉动.尤金·加菲尔德(Eugene Garfield)博士提出影响因子的原意是为评估和挑选期刊,多年来他一直劝告人们不要仅仅使用影响因子这一个指标来评价个人或团体的研究业绩。

[5]影响因子其初衷是为了比较不同规模期刊的被引用次数,然而存在缺点.如:一些发表文献数非常少的期刊也有可能具有非常高的影响因子,而且它没有考虑到不同学科领域中信息老化速度的差异.

[6]从长时间来看,IF随着时间推移呈现线性增长[13]并且一段时间内期刊中被引用文献比例(高被引、经常被引用、适度被引用、不常被引用、从未被引用的文献比例)相对稳定。事实上,一些期刊的影响因子的显著增长通常是由期刊内容的重新组织、所覆盖学科领域的变化等原因引起的。影响因子并不能代表一本期刊的平均被引次数。相反,一本期刊的影响因子衡量的是该期刊对其所属学科领域所有期刊总体影响力的相对贡献[14]

(6) 改进

近几年来,胡思(Huth)博士提出了范围调节影响因子(scope adjusted impact factor),美国科技信息研究所提出了累计因子(cumulative impact factor),这两种方法对评价学术期刊都很有用.尽管影响因子已被人们普遍使用,但在使用它评估科研业绩时应非常谨慎,因为它仅是文献计量学众多方法中的一种方法。

2) 被引频次

(1 )定义:

 被引频次指该期刊自创刊以来所登载的全部论文在统计当年被引用的总次数。

(2) 计算

(3) 内涵

它是从信息反馈的角度评价期刊的基本指标之一。可以显示该期刊被使用和受重视的程度,以及在科学交流中的作用和地位,在一定程度上可测度期刊自创刊以来的学术影响力。

期刊的被引用次数越多、引用期刊的档次越高、范围越广,则该期刊的影响力越大、受重视程度越高。

(4) 应用:

一本期刊中任意年发表的文献在某一特定年被引用的次数,体现的是该期刊对相应学科领域内近期发表文献的总体影响力.

(5) 误区和缺陷

[1]总被引频次与载文量及创刊期长短有一定关系,但总体上能反映出期刊的学术影响力。

[2]发表的信息中仅有一部分被作为产生新信息的来源,,在忽略信息老化特征的前提下,用累积发表的文献数来体现某学科领域中相关知识的方法是错误的. 在研究某一年期刊中参考文献的时间分布时,研究人员发现仅有10%-20%的文献会引用15-20年前发表的文献[15].

3)即时指数

由美国文献计量学家加菲尔德1972年提出,表征期刊即时反应速率的指标,描述期刊当年发表的论文在当年被引用的情况,体现期刊对某一学科领域内近期相关知识的贡献。

即时指数= 该刊当发表论文的被引用次数/该刊当年发表论文总数

4)特征因子

衡量一个期刊在其学科中的总体贡献。该指标是基于引证的网络分析。

3.2.3  SCI应用于科技论文影响力的评价指标
1) h指数(h-index)

h指数是一个混合量化指标,最初是由美国加利福尼亚大学圣地亚哥分校的物理学家乔治·赫希(Jorge Hirsch)在2005年的时候提出来的,其目的是量化科研人员作为独立个体的研究成果。

(1 )定义

 一个科学家的H指数是指:他发表的N篇论文中有H篇论文获得了不少于h次的被引次数,而剩下的(N-h)篇论文中每篇论文的被引次数都小于h。

(2 )计算;

如:Writen的H指数等于110,即Writen已经有110篇论文至少被引110次。

(3) 内涵

评价个人科学产出的指数,测量个人研究成果的广泛影响。

(4 )应用

[1]  h指数被认为是对先前众多衡量指标的一大改进,先前的衡量指标都倾向于关注科研人员在其发表论文的期刊,因而,它们都假定作者的贡献等同于期刊的平均值。如果一位科学家的出版成果以它们被引生命周期的数字进行排序的话,那么h指数就是一个最大值,这个最大值是指每篇论文至少被引了h次的h篇文章。此指数被用于个人、研究团队、期刊、国家等[16].

[2]  h指数排名明显高于影响因子排名的期刊得到公众认可,是高水平期刊。

(5) 误区和缺陷

 [1] 对科学声望的评价应主要从科学文献的影响力方面进行,而不是根据信息产生的数量。从h指数的定义可知:他的指数值小于等于发表的论文数量(h≤N).一位学者发表了26篇论文,就不能达到高于26的指数值,即使其中有数篇高被引论文.

[2] h指数为自引率很高的作者带来了不公正的优势。在计算大数据集合指标时(如国家),自引不会导致任何问题;但在较低层面(研究团队或个人)会造成很大差异,特别是有许多合著者的个人可能会出现许多自引。若计算时排除自引,h指数会大大降低。

[3] 由于刊载论文的最大值是h指数的上限,指数值对低产学者不利。

(6 ) 修正

     Batista等[17]利用合著者平均数量来修正h指数(h1).h1=h2/N,其中N为论文合著者总数,合理处在于反映个体论文平均产量。

合著者数量和篇均被引之间有显著的相关性[18]:合著者数量越多,被引次数越多。在应用指标进行比较评价时,自引不应计算在内,至少应减少其影响。

2) 兀指数

(1) 定义

 将论文被引频次降序排列,作者论文总数P的平方根为 ,那么第篇论文对应引用频次的1%为科学家的兀指数[19]。

(2) 计算

兀-index=0.01C()其中C为P篇文献的引文总数,P为作者论文总数。

(3) 内涵

兀指数用来分析个体文献优劣,在相似学科领域比较评价中,是评价个人科学声誉的文献影响力指标。使用了被评价者产生的可能对科学进步影响最大的信息量(),论文的集合可以称为精英集合。

(4) 应用

Galton(1963)提出声誉阈值的概念, 一个国家或行业或其他类别的人口平方根可以代表真正知名人士的数量[20].

阈值应取决于带分析集合的特点、规模和评价的目的。

对影响力的测度关注总体中最为重要的论文的引用数量。如:基本科学指标(ISI of Knowledge)将总体的0.1%、1%或10%定为精英。

1)  指数可以更好地利用相对较少的高被引论文而不是被引频次脚底的文献

2)  高被引论文被引次数的增加则指数增加,而且指数增幅要高于低被引论文

3)  指数可以用来分析各种数据集合,且方法易被理解和应用。

 

一些杰出学者的h指数和指数

作者

领域

h指数

兀指数

Balimore  D

分子生物和遗传学

155

288

Witten   E

物理学

115

206

Smalley   RE

化学

115

204

Booren   AM

农业科学

23

8

数据引自:皮特.温克勒著.<基于科学计量学指标的科研评价,北京:科学拘束文献出版社,2014,94)

3.3 自然出版指数(Nature index)的内涵

3.3.1  定义

      自然出版指数是以国际知名学术出版机构英国自然出版集团的《自然》系列期刊在前一年所发表的论文为基础,衡量不同国家和研究机构的科研实力,并对往年的数据进行比较,每年4月上旬发布。

2014年自然出版集团提出自然指数,基于前一年发表在68种包括《自然》系列和其它自然科学期刊上的研究型论文数量计算。

 


3.3.2 内涵

通过论文数量排序,并对往年的数据进行比较,衡量不同国家和研究机构的科研实力。

3.3.3 自然指数覆盖的范围

1)2014年自然指数主要包括生命科学、物理、化学、地球和环境四大学科的期刊;期刊影响因子主要集中在10-

 

2)自然指数涉及的期刊主要由自然出版集团、细胞出版社等25个出版社出版,前3个出版社出版的期刊数约占一半;上述期刊仅在英、美等6个国家版,其中,美国高达80%。

 

3.3.4 对中国的科研的评价

已发布2010年中国“自然出版指数”报告、2011年中国“自然出版指数”报告、2012年中国“自然出版指数”报告、2013年中国“自然出版指数”报告、2014年中国“自然出版指数”报告。

3.4.爱思唯尔“中国高被引学者榜单”的内涵

爱思唯尔“中国高被引学者榜单”主要是由Elsevier发布的基于其旗下的Scopus数据库(Scopus是全球最大同行评议学术论文索引摘要数据库,与全球优秀的科技和医学团体合作出版2200多种期刊),针对来自不同学科总数 排名2000以内的中国学者发表论文高被引的排序。

3.4.1 榜单的遴选标准

1)中国(大陆地区)学者;

2) 考虑不同学科分布,按总数 2000人计算各学科上榜名额分配。

3) 在各个学科按相应名额筛选出通讯或第一作者发表论文总被引次数排名较高的作者名单。

4) 排除从未发表被引次数世界前1%论文,且标准化影响力 (Field-weighted citation impact)低于1的学者。

3.4.2内涵

2014年榜单不分先后排序,包括1651名学者,来自38个学科。

 

“爱思唯尔“中国高被引学者榜单”38个学科

序号

学科

序号

学科

1

牙医学

20

社会科学

2

心理学

21

物理学和天文学

3

药理学、毒理学和药剂学

22

护理学

4

神经科学

23

医学

5

数学

24

材料科学

6

建设和建造

25

安全、风险、可靠性和质量

7

海洋工程

26

材料力学

8

机械工程

27

工业和制造工程

9

电气和电子工程

28

控制和系统工程

10

计算力学

29

土木和结构工程

11

生物医学工程

30

汽车工程

12

航天工程

31

通用工程

13

能源

32

经济、经济计量学和金融

14

环境科学

33

地球和行星科学

15

计算机科学

34

化学工程

16

商业、管理和会计

35

生化、遗传和分子生物学

17

农业与生物科学

36

免疫和微生物学

18

兽医学

37

化学

19

决策科学

38

艺术和人文

 

3.5  谷歌学术指标(Google Scholar Metric)

谷歌学术(Google Scholar)自2004年底推出,与Web of Science相比,谷歌学术可以免费检索,而且范围远远大于Web of Science,既包括正常的学术期刊,也涉及书籍、会议、以及各种预印本。据估计,截止至2014年5月,谷歌学术共收集1亿6千万篇学术文献,几乎是历史更为悠久的Web of Science的三倍,已经成为学者们文献检索不可或缺的重要工具[21]。谷歌学术(Google Scholar)在2012年推出了一个杂志评价系统,即谷歌学术计量(Google Scholar Metrics),用来评价各个领域杂志的影响力。该系统主要包括H指数(h-index或Hirsch index),H核心(h-core),H中值(h-median),H5指数(h5-index),H5核心(h5-core)和H5中值(h5-median)。

    到目前为止,谷歌已经连续4年发布了杂志学术计量报告。今年(2015年)所发布的报告共包括7211份杂志,由于其中有1761份杂志在不同领域排名中重复出现,因此该报告中实际上只收录了5450份杂志。2015年公布了261个学科杂志的详细分类排名。每学科只有top20杂志信息,没有其余中低档次杂志的排名信息[22]。

1) 谷歌学术指标h5因子

(1) 定义

谷歌学术指标h5因子,即某一出版物在过去5年发表的文章之中,至少有h5篇文章每篇引用不低于h5次

(2) 计算

例如排名最高的Nature,在2010年至2014年h5因子为377,表明这一期间Nature共有377篇文章引用数不低于377次。

(3) 内涵

h因子评价体系最初由UCSD物理学家Jorge Hirsch提出,用于评价一个学者的影响力。目前通常基于两个数据库进行统计,一个是Web of Science,另一个就是谷歌学术。越来越多的学者开始采用谷歌学术进行统计,基于其更为广泛的代表性。这一趋势预计在谷歌学术指标和影响因子的竞争中也会延续。

(4) 应用

[1]影响因子只基于过去两年数据不同,谷歌学术指标统计过去五年的数据,因而更加体现一个出版物的持久影响力,而不仅仅是当前的热度。

[2]谷歌学术指标采用h5因子进行评价,显示的是出版物综合整体实力,而不会像影响因子那样很容易受一篇高引用文章影响。

[3] 值得一提的是,只有那些在5年内发表了100篇以上论文并且至少有一个引用的杂志才会被收录到谷歌学术。

 

(5)与影响因子差异举例

[1] 谷歌学术指标能够更为准确的体现一个出版物的实际影响,2015年影响因子排名第一的CA - A Cancer Journal for Clinicians,在谷歌学术指标中连前100名都没有进去。

[2] 两个出版物发表文章数量不同,但影响因子接近,显然发表数量多的影响力更广。这种差别在影响因子上看不出来,而在谷歌学术指标上则很容易体现。如:Nanoscale和Nano Research,两者都是国人主导的纳米领域杂志,短短几年都取得非常优异的成绩,影响因子都超过了7。但Nanoscale发表文章更多,因此进入了工程和计算机科学的前20名。

2) 谷歌学术指标h5中位数

h5中位数指进入h5因子的所有文章的引用中位数。例如Nature的h5中位数为529次,显示其进入h5因子统计的377篇文章中,排名第189位的文章引用数为529次。

4、科学应用科技评价指标的对策和建议

4.1 国际科技评价趋势

科学技术既包括科学和技术本身,也包括科学和技术对社会、经济、文化、政治,以及自然环境的影响,科学技术的产出即科技成果具有非常丰富的表现形式和内容。国际上科研评价已不仅仅局限于科研论文的数量及SCI论文,更多关注科研的质量以及科研对经济社会的贡献,即科研影响力评价。

科技活动评价指标从过去强调研究活动定量的近期直接产出,如发表论文、出版专著、发明专利等,扩展为关注影响覆盖学术界和社会经济诸方面的中长期的综合性的成果,反映出科技产出对经济、社会、文化、公共政策或服务、健康、环境或生活质量产生效果、变化或收益的影响[23]。

考虑到不同类型和不同学科的研究工作各有特点,产生的影响涉及经济社会的方方面面,且科研与经济社会之间的关系也不明晰,如何对科研影响力进行评价既是科研评价的热点也是难点问题[24].

建立分级分类的评价指标是主要发达国家科技评价的共同特点。当前,我国的科技评价还是以一定检索系统收录的论文以及专利和著作为主,众多其他类型的科研产出没有得到平等的认可。科技评价应在尊重科技产出多样化的前提下,以科技活动的主体作为分类依据,实行科学的分类评价,兼顾基础研究、应用研究、成果转化和产业化等不同的科技活动类型的差异,将质量和实际贡献贯穿在不同功能类型科技产出形式和不同类型科技活动的评价中。

评价从同行评议发展到利益相关者评议,专家包括科学界、经济界、企业界、政府部门,不仅有利于多方制衡和监督,更易于形成多角度、多层次的评价认知。

4.2.合理慎重使用SCI科技评价指标,建立以“三个面向”为标准的科技分类评价

4.2.1 “三个面向”科技活动分类

科学技术的产出形势,包括学术论著、科普论著、专利、非专利技术,科学技术产出的内容包括思想和技术。科学技术产出的实现形式包括引用、采用和购买。

科技论文的数量可以从一个侧面反映出一个国家的科技实力和水平;专利数量可以更好地说明一个国家的创新能力。科技投入一般以经费量化,产出包括分析论文产出的数量和质量、专利产出的数量和类型、技术交易的总量等。

2015年,中国科学院确定了“三个面向”“四个率先”办院方针,即“面向世界科技前沿,面向国家重大需求,面向国民经济主战场,率先实现科学技术跨越发展,率先建成国家创新人才高地,率先建成国家高水平科技智库,率先建设国际一流科研机构”[25]。“三个面向”引导科研活动建立任务导向和需求的的分类评价。

按照“三个面向”要求,科技活动可以分为多种形式(表)。

表   “三个面向”科技活动产出

科技产出分类

产出形式

面向科技前沿

论文、论著

专利


面向国民经济主战场

科研成果转化应用

技术转移推广


面向社会、服务民生

决策咨询报告

科学普及


国家及行业标准


工具书


将科研成果转化为教材和教学内容等教学资源


依托科技活动培养创新人才


 

4.2.2  建立任务导向和需求的分类评价指标

1)合理选取科技论文评价计量指标

科学计量指标不能完全满足科学评价的需求,在使用科学计量指标时必须注意到其适用性、局限性和不确定性。 实际中,很多科研工作者和科技管理者对科学计量指标的内涵理解不深,不太懂科学计量的原理和概念,不知道每个指标的优缺点,在使用科学计量指标时大胆应用,仅仅简单以SCI科学计量评价指标开展科技评价。

SCI科学计量评价指标仅适用于基础研究成果评价,多应用于评价论文,对其他的科技活动不能通用评价。表2给出了各评价指标应用范畴,,常用的影响因子(IF)指标在评价科技论文时也应根据学科的不同分别对待,更不适宜对科研人员的个人评价。在对科技论文评价时,应详细了解各指标使用范畴,可使管理者更理性、更人性化、更有成效进行科研评价和管理。同时,对不同的和相似的文献计量指标,在不同的科学领域和子领域中,以不同的方式发挥作用。科技论文的评价也应按照论文类型设置不同的权重,公平公正地评价科研绩效。以往研究在考虑不同类型科技论文评价时亦给出了相应的系数:如国内论文的系数为1、国际论文的系数为2、SCI论文的系数为4 。各类评价计量指标也应根据需求分别采用,如对科技人员基础研究个人学术能力的评价更适用h指数和兀指数,而不仅仅单一使用影响因子等。

2)加强各类科技活动对生产力贡献的研究和应用

科技投入一般以经费量化,产出包括分析论文产出的数量和质量、专利产出的数量和类型、技术交易的总量等。在考虑各类科技活动对现实生产力贡献时,科技论文的数量和质量从一个侧面反映出一个国家的科技实力和水平;专利数量可以更好地说明一个国家的创新能力。

连燕华 等[26]编制了科学技术产出指数—STP,每种产出的基本单位数量乘以系数,而后对各种产出的计量值相加,得出科学技术产出的总计量值,最后除以10000,缩量得出相当于万元单位的科技产出指数值(科学技术产出指数STP的单位是“点”(见下表)得出这种产出的STP计量值,对不同科技活动形式通过量化的得出对科技产出的总体贡献。

皮特.温克勒等[27]研究了1997和200年EUJ国家年GDP值和期刊论文数,表明,从长期来看,EUJ国家不同时期GDP和期刊论文数随时间近似线性增长,同步变化 。

 

科学技术产出指数STP

科技成果产出类型系数STP

系数值

论文

国内论文的系数为1

国际论文的系数为2


SCI论文的系数为4


专利

外观设计的系数为1

实用新型的系数为2


发明专利的系数为4


创收

国内技术市场成交额系数为1

国技术出口成交额系数为1


    目前,单一科技活动类型对现实生产力的贡献在我国还未见研究和应用。开展这一方面的研究和应用对于科技分类评价,改善目前以SCI论文为导向的科技评价具有重要意义。

 

3)建立科技评价从注重科技论文评价向科技影响力评价转化、同行专家评议向多角度、多层次评价的导向机制

 

     科技评价一方面,需要遵循科学自身的发展规律,创造一种有利于出人才出成果的宽松自由的科研环境;另一方面,需要不断完善科技评价制度,充分发挥科技评价的导向作用与激励作用。

      我国20 世纪80 年代以来,成果鉴定等传统的同行评议普遍存在客观性不足的严重问题,90年代以后又过于注重论文数量等定量指标。目前形成以SCI论文影响因子为评价的主流评价机制,这一现象已严重影响了我国任务不同的多样性的科技活动。

国外早于我国之前认识到这些问题。如:德国 实行科技分类评价,对于从事基础研究的评估,并不考虑论文SCI的影响因子,在评估的指标体系中,主要考察科研工作是如何开展的、研究工作国际交流、青年人才培养情况、财务使用状况、学术带头人的人格魅力及影响、研究团队精神等;对于应用研究类的评估,更加注重从企业界争取到的经费、服务的企业界客户数量、申请专利的数量、考察科学家自己创办企业的数量等,评估中注重企业界专家的评估。

     法国在对科技人员进行评价时更加注重“经过漫长的学习和科研过程的科研人员学术能力的评估” 一般为4年一次评估,对论文SCI影响因子关注不多[28]。

     日本在产业技术的评估中,注重具有长期目标的阶段性评估,如日本产业技术综合研究所2001—2004 年, 开展了近期评价, 侧重评价直接科技产出和科研质量, 包括文章、专利、地理地图、标准、软件和数据库等。 2005—2009 年, 开展中期评价, 侧重评价其科技产出的直接经济社会效益, 包括产品普及、能源节省、风险控制、灾害预防和疾病防治等。2010 年后, 开展回溯评价, 侧重评价其科技产出对GDP、新增就业机会、国际竞争能力提升、生活质量、环境保护、社会安全等的贡献。

      英国1986年第一次开始对大学的科研水平进行评估(RAE)[29],2014年英国建立REF评估,评价2008-2013年的科研活动,更加注重视研究的经济和社会影响、重视跨学科研究或合作研究的评价,注重科研活动以外对经济、社会、文化、公共政策或服务、健康、环境或生活质量产生的效果、变化和收益。

      美国的科技评估仅仅止步于项目绩效的评价,同时还要评价项目的计划、战略和管理[30]。在对科技人员的评估中,一些同行评议中要求提供论文详尽的发表记录,一些学科要求提供论文被引用情况。一定程度上避免了学术造假。

     我国在科技评价中也应建立多指标的科技评价体系,按照任务导向和科技活动特点,定性与定量结合,逐步打破以SCI论文影响因子为导向的科技评价,建立面向基础研究为主的论文评价、面向国民经济主战场的成果效益评价、面向社会和国民服务的科技影响力评价的多层次、多角度的科技评价体制,研制相应指标和指标体系。

 

参考文献:

[1] 郑友取,深化科技体制改革要解决三个问题。学习时报,http://www.rmlt.com.cn/2014/1208/355369_3.shtml     2014-12-08 08:55 

[2] 中国科技信息研究所,1989-1997年中国科技论文统计与分析

[3]师昌绪、田中卓、黄孝瑛等。“科学引文索引---国际上评定科研成果的一种方法。科学通报,1997,42(8):888-893

[4]中国科技信息研究所,1998-2014年中国科技论文统计与分析

[5]SCI论文在我国科研评价中的利与弊。科技日报,2013-5-7

[6] Garfidld E.How can impact factors be imoroved?British Medical Journal,1996,313:411-413

[7]2014年我国英文版科技期刊发展回顾,http://bbs.pinggu.org/thread-3667659-1-1.html

[8]任胜利. 2014年我国英文版科技期刊发展回顾. 科技与出版, 2015, (2): 9-12

[9]李友华等。科技成果推广转化绩效评价理论和方法研究。北京:中国农业出版社,2008,35

[10]别雪君等,科研与科普结合的现状调查及对策研究.见:中国科学技术协会普及部、中国科普研究所编:科普发展对策研究.北京:科学普及出版社,2014.4

[11]姜联合等.我国科技计划项目科普化模式和实施过程初探.科普研究,2010,(6):5-15

 [12] 袁汝兵等,科研与科普结合对策研究. 见:中国科学技术协会普及部、中国科普研究所编:科普发展对策研究.北京:科学普及出版社,2014.15

[13]皮特.温克勒著.基于科学计量学指标的科研评价.科学技术文献出版社,北京,2014,37

[14] Klaic  B.The use of scientometric parameters for the evaluation of scientific contributions, Collection of  Anthropology, 1999.23,751-770  ;Vinkler, P.Dynamic changes in the chance for citedness.Scientometrics.2002.58,687-694

[15]Gupta B M.Growth and obsolescence of literature in theoretical population genetics .Scientometrics,1998,42,335-347

[16]Glanzel W.(2006)On he h-index –A mahemaical approach o a new measure of publication activity and citation impact.Scientomerics,67,315-321

[17]Batista P D,Campiteli M G,Kinouchi O,Martinez A S(2006)Is it possibleto compare researchers with different scientific interests? Scientometrics,68,179-189

[18]Persson O,Glanzel W,Danell R(2004)Inflationary bibliometric values:The role of scientific collaboration and the need for relative indicators in evaluative studies.Scientometrics,60,421-432

[19]Vinkler P.2009 .The 兀-index .Anew indicator for assessing scientific impact.Journal of Informaion.Science,35,602-612.

[20] Price DJ,De Solla.1963.Litle Science,Big Scienc.New York:Columbia University Press)。

[21]谷歌推出学术指标,影响因子面临颠覆http://www.editorhome.cn/reading/19091/78d79d03-d558-4af1-9b01-01bb4fb53c2b.aspx  2015/7/15

[22] 歌学术H5指数及其与汤森路透影响因子对比分析,http://www.aiweibang.com/yuedu/42049224.html,2015-08-05

[23]朱军文等,国际科技评价政策发展报告,上海交通大学出版社,2015,277

[24]徐芳,刘文斌,李晓轩. 英国REF科研影响力评价的方法及启示,《科学学与科学技术管理》, 2014(7)

[25]中国科学院办院方针 :“三个面向”“四个率先”, http://finance.chinanews.com/cj/2015/02-13/7061958.shtml

[26]连燕华,石兵,刘学英,马晓光。国家科学技术投入与产出评价,中国软科学2002, (1)

[27]皮特.温克勒著.<基于科学计量学指标的科研评价,北京:科学技术文献出版社,2014,191

[28]黄向阳,德、法科研评估方法的启示,中国科学院院刊 , 2002, 17(6)

[29]黄小勇,英国大学科研评估制度及其启示 - 武汉理工大学学报(社会科学版) - 2010, 23(5)

[30]刘莹、张大群、李晓轩。美国联邦科研机构的绩效评估制度及其启示.中国科技论坛 ,2007, (9)

 

科技评价指标在我国使用的现状、问题及对策

图文简介

该文以深化科技体制改革的战略需求为目标,着手我国科技评价的突出问题,通过对国内外主要科技评价指标的内涵和应用分析、着手我国不同形式科技活动对现实生产力贡献,提出科学应用科技评价指标的建议和对策