2014年09月21日 星期日
汤森路透改进科研评价数据库,再次引发学界对评价工具的讨论
影响因子:我不是罪魁祸首
本报记者 杨雪

    据媒体报道,信息公司汤森路透正在改进他们的商业分析产品——Incites数据库,以增加基于单篇文章的评价指标,并允许用户自行计算。除了改进科研评价工具,他们还表示将在影响因子的计算上变得更加透明。当前,影响因子被视为科学界被误用最严重的评价标准,很多研究人员对于此次改良并不满意。然而汤森路透表示,问题的关键在于影响因子如何被使用,而不在评价标准本身。

    影响因子需要不断“自我调整”

    影响因子,是指某一期刊的文章在特定年份或时期被引用的频率,即某期刊前两年发表的论文在统计当年的被引用总次数除以该期刊在前两年内发表的论文总数。一般而言,一本期刊的影响因子越高,该刊的学术影响力就较大,图书馆员可以参考这一指标来帮助决定优先购买哪些期刊。

    近年来,影响因子对科学评价的“影响”越来越大,甚至演变成为判断研究人员及其论文质量的一个重要标准,这一现状激怒了很多科学家,他们认为影响因子使得自己的成果变成由发表在哪儿而不是发表了什么来评判。去年,上百家研究机构和1.1万余位科学家签署了《关于研究评价的旧金山宣言》(DORA),呼吁开发评价科学研究的更好方法。

    “发展到现阶段,影响因子的‘生身机构’其实也在不断地针对该指标的缺陷进行自我调整”,中国科学技术信息研究所研究员武夷山告诉记者,比如自然科学在被引时效上一般是优于人文社会科学的,所以,两年影响因子对于自然科学期刊还比较合适,对于人文社科期刊就未必合适。于是,汤森路透几年前增加了五年影响因子这个新指标。

    武夷山认为,目前影响因子的定义仍然存在一个硬伤。当初下定义的时候,有关学者觉得被引用的肯定是研究论文和综述评论文章,故把它们称为“可引文献”,而社评、读者来信、新闻、观点等则称为“不可引文献”。在计算影响因子时,分母是某期刊在统计年的前两年发表的“可引文献总数”,分子是该期刊在统计当年获得的引用次数。

    然而实际上,“不可引文献”完全可能被引,而且被引后就顺理成章进入了分子,被引的这些文献本身却不进入分母。“这个漏洞常常被某些期刊无意识利用,甚至是有意识操控,用来提高自己的影响因子”武夷山说,《新英格兰医学杂志》《美国医学会杂志》(JAMA)和《柳叶刀》都是“重灾区”,不可引文献的被引量和来自不可引文献的引用量占本刊被引总量的比例较高。

    “既然不可引文献可以扭曲科学计量学指标所应该反映出的真实图景,那么影响因子的定义最好重新调整一下”,武夷山说。

    科学评价过度依赖影响因子

    具体地说,借助影响因子,除了图书馆员可以更好地制定文献收藏计划,向读者推荐优秀期刊外,期刊编辑可以通过分析影响因子的变化,更心中有数地制定有效的规划和办刊目标;出版商可以利用它监测出版动态,指导自己做出新的出版决策;科研人员可以参考该指标确定投稿期刊;信息分析研究人员可以利用它进行文献计量工作。

    然而,在全世界范围的不少地方,影响因子跟论文水平,甚至跟科研奖励挂上了勾。正如美国细胞生物学学会执行董事Stefano Bertuzzi形容的,导致的结果便是科学家竞相“投靠”高影响因子期刊。几乎每个人都对这种现状不满,但是都“骑虎难下”。据武夷山介绍,在滥用影响因子方面,目前我们国家的情况也不妙。

    众所周知,我国科研人员收入不高,对优质论文作者进行奖励本来是一件好事。但是一些高校和科研院所为了省事,往往没有下力气制定一套适合本单位的科学评价体系,而是简单参照几个定量指标做评价,尤其倚重期刊影响因子。例如,国内一些高校就参照北大图书馆的《中文核心期刊要目总览》作为其教师发表期刊论文的“认定标准”,而实际上北大图书馆明确表示他们的一套核心期刊入围标准是为图书馆藏服务的。

    另一方面,在实践过程中,评审者在评审基金项目申请书的时候,在考察申请职称者的成果履历的时候,是否在高影响因子期刊上发过文章确实也是受到关注的一个点。因此,武夷山举了一个例子,如果某科研人员写了一篇自认为高质量的物理学论文,假定期刊影响因子在本单位科研绩效评价与奖励的考察标准中权重较高甚至最高,或者他即将准备申请一个重要的项目,那么他很可能会将这篇论文投给某影响因子很高的综合类期刊,而不是影响因子稍低的物理学专业期刊,即便该期刊的影响因子在物理学领域是名列前茅的。

    “而且这样也不利于科研成果的传播”,武夷山指出,还举刚才的例子,优秀的物理学论文发在物理学期刊上,不是更容易获得较好的传播效果吗?与此同时,科学评价对影响因子的过度依赖也驱使期刊争相“提高”自己的影响因子,形成一个恶性循环。究竟是影响因子绑架科学评价,还是科学评价绑架影响因子,谁能说清?

    科学评价如何更科学

    既然当下影响因子的使用已经不能避免诸多缺陷,那么我们能不能如同许多科研人员期许的那样,直接摒弃这个不受欢迎的定量指标?

    “显然不现实,那样会因噎废食”,武夷山认为,如果在评价中完全弃用类似于影响因子这样的定量指标,仅仅依靠同行评审,至少一定会面临具有评审资格的人力资源匮乏的问题。目前,全世界论文数量正在迅速增长,尤其是来自中国大陆、台湾、印度、伊朗等亚太地区的论文稿如潮水般纷纷投向欧美的优质期刊,很多期刊都发现,数量有限的评审专家根本无法应对这么大的来稿量。同时,既然海量论文稿和有限的人力资源之间的矛盾无法克服,有些学者倡导的“取消期刊评价、直接对每篇论文进行评价”的做法也不现实。

    “再说,谁又能保证同行评价就一定优于指标评价呢,同行评价里也可以掺水的”,武夷山说,定量分析评价当然存在着问题,但只采用同行评价又不可行。要获得科学的评价结果,借助指标的定量评价方式和同行评价方式需要而且可以结合起来。

    “英国肯特大学刘文斌教授与我讨论时曾有一个观点,即既然总有人通过做手脚来应对指标考核,而不是通过高质量的工作来自然而然地提升指标,那么评价指标就不能太少”,武夷山说,他同意这一认识。据他介绍,中国科学技术信息研究所在期刊评价方面,截至目前设计了20多项学术计量指标,包括影响因子、扩散因子、他引率、权威因子、被引半衰期、基金论文比等等,每年都计算这些指标,供各期刊编辑部参考。

    说到基金论文比,武夷山又举一例,由于全世界迄今都没有关于基金支持的论文该如何标注的公认规范,在论文稿的基金标注方面是乱象丛生。一些科研人员为了使论文更容易刊发,或者为了体面等其他原因,就会将不该标注“基金支持”的论文也标注上“受××基金支持”。这样,“基金论文比”这个本来很好的指标就不能反映客观情况了,但这个指标提高了对期刊也有好处,所以期刊编辑部即使知道作者的基金标注不合适往往也睁只眼闭只眼。

    设计再周到的指标都会被人想办法对付,只是时间早晚的问题,世界各国莫不如此,这似乎成了“定律”。武夷山认为,我们所能够做的,是面对不断涌现的问题不懈地寻求解决方案,追求一种相对的公平和公正,而不是轻言放弃,不是简单化地断言这种评价方式一定比另一种方式更好。

京ICP备06005116