@ 2016.11.25 , 14:00
17

为什么「同行评审」如此不靠谱?

[-]

如果拿一件事激怒所有的科学家,那就是同行评审。

为了筛掉那些注水的科研,你必须拿出宝贵的业余时间免费检查同行的论文。你不仅得不到感谢,还拖慢了发表过程,更糟心的是,几乎没有证据显示这种科研方法真的有效,这一过程本身也充满了不可告人的秘密。

这个最新的研究也许解释了为什么同行评审搞不好,以及为什么它无法保证科研质量。它的主要发现就是很小一部分研究者承担了大部分同行审议的工作。

来自巴黎第五大学的研究者们使用了一个数学模型来评估生物医药研究领域同行评审的供需关系。我们终于首次见识到同行评审带来的“全球性负担”。

2015年,他们发现同行评审人员的供给超过需求多达250%,也就是说,有大量学术界人士可以审查这些研究。但是,其中20%的人完成了70%-95%的评审工作。所有这一小部分专家做了大部分工作。

“这可能意味着大量评审人员从未做过评审工作,”研究合著者,来自波士顿大学的Ludovic Trinquart说。

[-]

举个例子,根据爱思唯尔和威立这两家全球最大的学术出版商的数据库,同行评审的工作基本都落在了美国科学家的头上。“中国研究者发表的文章数量是他们评审的文章数量的两倍,”研究者写到。

同行评审中,偶尔也会出现注水研究和学术欺骗这样的漏网之鱼。可能的原因就是研究者们没有公平合理地分担评审压力。Trinquart说的更简单:“少数评审人员工作量太大。”

新研究还量化了同行评审花费的时间。对大部分评审人员而言,时间很少——除了那一小部分加班加点的可怜虫。

“在实际参与同行评审的研究者中,70%贡献了1%或者更少的工作时间,5%贡献了13%或者更多的工作时间,”研究者写到。还是那句话,大部分人都没有花时间做这件事,一小部分人花费了可观的时间来检查同行的研究。

研究者估计,2015年,同行评审一共花去了约6300万小时,其中近20%的时间都是来自最「慷慨」的5%。

“同行评审应建立在交换补偿的基础上,做的评审比发的论文少是不够的。这种二八分布是有问题的。系统需要改进,未来的同行评审需要强调大家付出的努力,” Trinquart说。

[-]

同行评审通常始于研究者向期刊提交文章之后。如果编辑认为这片文章有干货,就会发给同领域的专家,获得他们的评论、批评或者拒绝。

但是《英国医学杂志》前编辑Richard Smith说:“我们几乎没有证据说明同行评审有用,但却有大量证据说明它的缺点。”

实际上,不同的期刊拥有不同的匿名评审制度:有的是双盲评审,有的是三盲评审,即作者、编辑和评审人员都不知道彼此。一些期刊使用了一种开放式合作过程;有些使用了“后同行评审”,即学者们能在文章发表后对彼此的研究发表意见。

鉴于同行评审本身缺乏科学依据,研究者们一直在呼吁更理想的过程。循证医学研究者Drummond Rennie近日在《自然》杂志上写到:“我们需要严谨透彻地研究目前这些同行评审方法的好处和坏处。在此之前,不要听风就是雨,将来出了偏差要负责任的。”

Drummond建议,那些担忧同行评审的科学家们要学习一下临床实验研究者们,因为他们在这个领域一直在推动更高的质量标准和透明度。

Trinquart对此很支持,而且他希望给学术出版界施加压力,让它们开始分享同行评审数据。

“临床实验可以被视为一项公益事业,参与研究的病人数据是公开了,但是大多数时候的临床数据都被制药业紧紧攥在手里,”他说。他认为同行评审数据也应该被视为一项公益,参与评审的科学家的数据,还有出版界的数据都应被分享。

“很多针对同行评审的问题,只要有了同行评审或者评审报告的整合数据,都能迎刃而解,”他提到。比如说,在这套系统中,文章被拒后,有多少会重新投给其他期刊呢?这个数据没人知道。随着更多研究的开展,这块学术界的短板将会慢慢被补齐。

本文译自 vox,由译者 许叔 基于创作共用协议(BY-NC)发布。


给这篇稿打赏,让译者更有动力
支付宝打赏 [x]
您的大名: 打赏金额:

4.8
赞一个 (8)

TOTAL COMMENTS: 17+1

  1. 刚到教室v
    @10 months ago
    3332925

    郭老师说了,说相声都盼着死同行。好自己当老大。

    [30] XX [5] 回复 [0]
  2. 3332936

    同行如战友的工作还真是很少见的

    [23] XX [1] 回复 [0]
  3. 呀呀嘿
    @10 months ago
    3332947

    Peer review?

  4. 3332950

    西医&中医

  5. 3332981

    如果找同行评判,拿对人类真正有贡献的那些领域来说,起码一半的诺贝尔物理、化学跟医学奖得主要被扼杀掉,类似小柴昌俊这种流氓,还有凯利穆利斯这个自己合成毒品自己享用的嗑药痞子,大概连留校任职的饭碗都保不住。。

  6. 3332983

    活在中国,那些所谓同行……来自40年前。

  7. 3333003

    只有同行才是赤裸裸的仇恨

  8. 3333026

    文中提到:“几乎没有证据显示这种科研方法真的有效”
    那么为什么某个科学家会说:科学的进步,取决于评审者的死亡速度?(大意)
    ^_^

  9. 3333051

    相比一手交钱一手盖章通过,双盲评审当然不是有效率的方法,但这是避免学术腐败的必要措施。

    [21] XX [0] 回复 [0]
  10. 虫(哈)合
    @10 months ago
    3333056

    自然杂志这么说,会不会有一种钦定的感觉?

  11. 年轻的记者
    @10 months ago
    3333058

    自然杂志这么说,会不会有一种钦定的感觉?

  12. 无浪漫主义者
    @10 months ago
    3333105

    除了内文说的那些之外,还有讨好该领域大老和结党的现象
    讨好的方式像是在文中尽量引用那个领域大老跟其徒孙的论文,他们让你的论文刊登,同时自己已发表的论文的被引用次数也会增加
    以上行为同时也会产生结党现象
    我同事做温度传感器的,他就明白该讨好某个黑叔叔..

    [15] XX [0] 回复 [0]
  13. 3333313

    亲眼见到有人同行评审把人家的文章压下,自己在其他杂志发一篇同样内容的

  14. 神之疯神
    @10 months ago
    3333651

    都什么年代了还在纠结这种问题……这就应该建一个网上平台所有愿意评审的教授进来注册并审核身份,由平台来监控整体任务的分配情况,尽量在相关研究者之间平均分配,然后收捐款给工作量最大的人一些象征性的奖励(出去开会升个仓什么的)。顺带可以建立一个信用体系,把那些整天揽活又不好好干的排除出去。

  15. 3333714

    有学(术)霸(权)啊,你这和学霸研究的一样,否了!

  16. 3333787

    @alessio:
    不是”如果”. 现在基本正式的会议, 期刊, 都是同行评判的. 不知道其他领域的怎么样, 至少我在的这个领域就是, 挂个好名字比搞几年闷头实验要管用得多. 好名字的作用有多大呢, 之前有个不识好歹的会议玩双盲评判, 结果导致某个人的某篇文章被拒了, 某个人很生气. 那一次是该会议第一次, 也是最后一次实行双盲. 学术圈其实和政治圈区别没那么大.

发表评论


24H最赞