都是“指标驱动”惹的祸?
1. 科研评价依赖显性量化 痴迷指标引发学术不端
也许应该指出,“核心期刊”神圣化以及“影响因子”神圣化本身还不是问题的全部。问题还在于我们对科学的评价过度地依赖某种显性的、最好是量化的指标。这种对指标的依赖似乎已经在很大程度上绑架了我们的意识,造成“指标驱动的评价”,甚至“指标驱动的研究”。
笔者曾在Nature举办的一个讨论会上反复听到我国研究人员问“我怎样才能在Nature上发表论文”,尽管Nature编辑回答说“你需要做一个高水平的研究”,但提问者明显感到“不解决问题”。我们看到,问题和答案的出发点有明显的差异,很可能导致人们行为的差异。
对于提问者来说,发文-->在核心期刊发文-->在影响因子尽可能高的期刊发文,已经成了科研是否成功、工作能否“交账”和“职业生涯”能否发展的主要(甚至全部)依据,成了各类机构的宣传重点、成就象征和评价条件。这就在潜意识上、甚至在实际评价和管理中造成只要发了文章就“功成名就”,至于是否真正解决了问题、是否解决了对科学或对发展真正重要的问题,那已经无关紧要了。那么,为了快发文、多发文、发那些高影响因子期刊“喜欢发”的论文,可能就直接导致追风式科研、短平快科研、碎片化科研等,也容易诱导科学不端行为。
对指标的痴迷也对办刊理念和办刊方法带来负面影响。例如,前面已经提到的对跨学科内容的回避、对特色化办刊的回避、对“热点”主题的盲目追逐、对冷门问题的冷漠,等等。而且,对指标的痴迷还会驱使期刊“想方设法”把引用量“做上去”,这在一些圈子里已经成了交流的热点、密室交换的利器,甚至专业化“杀手锏”。有些期刊在这方面颇有“创新”意识,例如少发文章、发表综述文章、奖励作者引用自己刊物、建立“引用联盟”等等。
2. 热门引用不等于杰出思想 引用指标一样要走下神坛
其实,许多看似神圣的指标本身应该走下神坛。前面我们对“核心期刊”去神圣化,现在来分析“引用”这个指标本身。“引用”作为影响力指标,是假定“引用”代表了使用、使用代表了影响、影响促进了科学发展。在大量文章的大量引用情况下,从平均来说“引用”确实能够从一个方面体现“关注”和“影响”,但是,引用本身有很多原因,热门引用论文不一定代表了杰出科学思想,引用量并非一定与论文的学术水平严格正相关。
Nature在2014年发文指出,许多提出了后来获得诺贝尔奖的发现或创造的论文并不在高被引论文名单上,“史上引用量最高”的论文往往是与方法、数据等有关。尽管我们承认这些论文的效用,但它们往往不能代表所在学科的学术创造方向和一流学术水平。
而且必须看到,引用指标严重偏向基础研究论文,因为人们写一篇论文时必须引用其读过的另一篇论文才产生“引用”,因此“引用“作为指标有利于把学术论文作为主要产出的基础研究领域。但是,技术应用、科学普及、政策研究等方面的学术和研究,它们的读者受到“影响”后往往不是再写一篇研究论文,而是开发技术和工具、改变或完善政策、组织生产或管理、开展教育等。因此对这些领域,即使很大的“影响”也往往不是通过其他新的论文来体现,也可能带不来很多的引用量,因此在那些以引用量为基础的评价体系中就缺乏“价值”。
另外,区域性主题、细节化问题,甚至高深的突破性的创新,往往比那些“全球性”问题或“宏观性”问题的“受众”少,因此,无论其研究水平和创新程度有多高,自然也不会有多少引用。试想,如果霍金没有写《时间简史》,有多少人知道他呢?
我们不反对采用指标,包括采用量化指标。许多指标,如果正确地计算和正确地应用,有其客观的有限的作用。但是,把任何指标用到它本身力所不逮的程度就变成了荒唐,真理超过一步就是谬误。
最后需要说明,我们批判某些指标体系的错误,并不指望甚至不希望又出现一个超级精细和“全面”的指标体系。任何指标都无非是从某一个角度观察复杂世界的投影,而异常复杂纠缠的指标体系往往可能存在更多的问题。我们的目的是排除对指标的迷信,不被指标(更不用说其中错误百出者)所裹胁。
参考文献:
期刊评价:鼓励还是阻碍跨学科研究?http://ir.las.ac.cn/handle/12502/7897;
期刊评价:不能狭隘地看待研究基金的作用。http://ir.las.ac.cn/handle/12502/7893;
期刊评价:与时俱进和实事求是地看待文摘索引刊物的作用。http://ir.las.ac.cn/handle/12502/7894;
期刊评价:压低跨学科影响力会伤害一大批期刊。
期刊评价:压低跨学科影响力会伤害一大批期刊。http://ir.las.ac.cn/handle/12502/7907;
期刊评价:从SCI和SSCI数据看跨学科影响力的重要性。http://ir.las.ac.cn/handle/12502/7908;
REF2914 Assessment framework and guidance on submissions.
http://www.ref.ac.uk/pubs/2011-02/;
Uprising: Less prestigious journals publishing greater share of high-impact papers;
The top 100 papers. Nature 29 October 2014. http://www.nature.com/news/the-top-100-papers-1.16224
《知识分子》是由饶毅、鲁白、谢宇三位学者创办的移动新媒体平台,致力于关注科学、人文、思想