随着科学家的工作方式发生快速变化,同行评审将如何适应?
随着大科学和大数据的兴起,传统学科壁垒的打破,以及机器学习的不断增加,科学正在不断变化。这些发展,对同行评审意味着什么?今年9月举行的2023年同行评审周提出了这样的问题。为此,有必要思考物理审稿人和编辑,将如何适应不断变化的世界。
物理学(尤其是高能物理学、核物理学和天体物理学)越来越多地出现在大型合作中,这是解决大型实验和观测的巨大复杂性的唯一途径。如果研究结果来自于拍字节petabyte(1PB=1024TB==2^50字节)级数据集的分析,并且这些数据集是来自世界上唯一能够收集该数据集的工具,那么这对同行评审意味着什么?在传统的同行评审模式中,重要的评审是在期刊中进行的。而目前与传统不同,大部分审稿是在合作内部进行的,甚至在稿件提交之前。这种做法,并不会使外部同行评审变得多余,而是更专注于大局,而不是评审方法,这是一项需要高度熟悉项目细节的工作。但是更广泛的学术界,没有必要对盲目信任进行内部检查:程序和分析流程都是公开的,这提供了一层透明度。在大科学中,这种方法最为流行,但这一存在表明,同行评审并不总是以同样的方式发生——实际上也不可能发生。
“同行评审并不总是以同样的方式进行,事实上也不可能以同样的方式进行。”
随着研究人员越来越多地发布代码和数据等新类型的输出,即使是倾向于在较小的研究小组中发生的物理学领域,也需要适应。同行评审这样的研究对象,带来了实际问题。如果代码有数百万行,或者只能在超级计算机上运行,或者数据集比审稿人的硬盘大得多,那么除了评论作者对算法或数据收集方法的描述之外,审稿人还能对其进行测试吗?为了回应这类问题,研究人员开始呼吁开放工作流,而不仅仅是让代码和数据可用。
与发表原创研究的期刊相比,Nature Reviews Physics作为发表综述文章的期刊,这些问题关系并不大。但是,依然也面临着如何做物理的变化。例如,许多综述类型的文章都是跨学科的,反映了物理学日益交叉的性质。如果一份手稿与几个领域相关,那么就需要所有这些领域的专家评审。在术语和科学思维方式的差异上,这些审稿人必须可以有效地评估。通常,来自不同学科的审稿人,对如何提升稿件,都会有非常不同的想法。而编辑的工作是采纳这些有时相互矛盾的建议,并将其综合为作者的行动指南。但是,正如跨学科研究人员所证明的那样,拥有重视跨学科工作的审稿人,是至关重要的。
鉴于所有这些挑战,同行评议显然不能一成不变,而必须适应变化。事实上,尽管现代同行评审过程,感觉像是科学的基石,但其实际上是最近才出现的,而且以前就已经适应了。其中一些适应可能是技术性的,即许多人在问人工智能(AI)是否能有所帮助。但人工智能还没有准备好评估研究产出2。
还有一些伦理问题需要解决,比如将稿件输入机器学习模型,所涉及的潜在隐私问题,美国国立卫生研究院(National Institutes of Health)禁止在拨款审查中,使用人工智能3。这需要在物理学领域展开对话,讨论不同领域希望从同行评审中,获得什么,以及实现这一目标的最佳方式是什么,而不是跳到技术修正上。在《自然物理评论》(Nature Reviews Physics)上,希望成为这一对话的一部分,并重视听取读者的意见,也希望看到同行评审继续发展。
同行评审Peer review早已被确立为科学出版的黄金标准,但是在出版生态系统的变化,不应影响作者对同行观点的回应。
科学出版商应该是基于评审人评估手稿的观察和结论的正确性,这一概念,可以追溯到科学时代之初。1665年,第一期《哲学汇刊Philosophical Transactions 》出版,从一开始就指出,皇家学会的成员,将非正式地评审提交的文件1。令人惊讶的是,直到最近,在1973年,《自然》杂志才要求对任何提交的论文,进行外部同行评审报告2。在《自然》杂志强制同行评审50周年之际,有必要回顾了同行评审历史、出版业变化,以及同行评审过程中的最佳实践。
尽管在《哲学汇刊》上的论文评审是一种常见的做法,但这并不等同于现代的同行评审。1731年,爱丁堡皇家学会(Royal Society of Edinburgh)制定了一项政策,规定论文只能发送给适当的匿名成员,首次正式指出审稿人,应是论文所讨论领域的专家3。同行评审并没有立即成为黄金标准。学术团体越来越多地使用外部专家,以评估论文,但直到二十世纪,未经同行评审就发表论文的情况并不少见。1936年,阿尔伯特·爱因斯坦写信给《物理评论》的编辑,抱怨他的论文被寄给了匿名专家,并表示由于审稿人的评论是错误的,他不会费心作出回应。James Watson和Francis Crick在《自然》(Nature)杂志上发表的关于DNA结构模型论文,也并没有经过外部审查,而是得到了他们所在机构卡文迪什实验室(Cavendish Laboratory)负责人的认可,足以保证发表2。
直到1973年,David Davies成为《自然》杂志(Nature)的主编,《自然》杂志的外部同行评审才成为必须。Davies曾在麻省理工学院(Massachusetts Institute of Technology)工作,在担任编辑时意识到,当时有一种看法认为《自然》(Nature)是一份英国权威期刊。为了应对这一指责,外部同行审查成为强制性的,同时在英国之外扩大了评审人才库2。
自那时以来,同行评审有了进一步的创新。预印本服务器,即保存科学论文早期版本的数据库(如arXiv)经常用于某些科学学科。预印本的出版,并不影响在Nature Portfolio期刊上的出版5。自2015年以来,提交给Nature Portfolio Journals 的论文6,可以进行双盲同行评审,即作者匿名投稿,作者的身份不会传递给审稿人。还允许自愿认可评审。对于来自某些领域(如生命科学或光伏)的意见书,还要求将清单发送给推荐人,以提高透明度和可重复性7。
科学出版生态系统也在发展,发表的论文比以往任何时候都多,有更多的期刊满足这一需求。事实上,对于包括施普林格自然(Springer Nature)在内的几家出版商来说,现在比以往任何时候,都更容易在同行评审之前或之后,将投稿从一本期刊转移到另一本期刊。但在这里提一句,尽管在同行评审后,可以使用提供的链接转移到另一个期刊,但这并不一定总是发生。这很好,也很正常,研究人员可以自由选择向哪个期刊投稿,也可以重新投稿。这在一定程度上,促使人们在其他地方重新提交,而不充分解决专家提出的关切或意见。同行评审的基本理念是,判断所研究的科学假设的质量、影响和正确性。回应同行评审的良好科学实践,应该是解决和承认这些问题;即使论文在目标期刊被退稿,论文的科学价值也得到了加强。在没有解决技术问题的情况下,简单地在其他地方提交手稿,甚至在极端情况下,使用同行评审,以发现稿件中的弱点,并随后在其他地方重新提交中,删除这些薄弱的数据,可以被视为不良的科学实践。虽然这可能有助于一篇论文在狭义上被接受,但这肯定不会有助于论文的长期和更广泛的影响。毕竟,许多专家都会阅读这篇论文,包括那些在另一本期刊上看过这篇论文的同行审稿人。
到目前为止,同行评审的历史是不断演变的过程,希望这种演变能够继续下去。但目前同行评审的核心理念,即通过专家反馈提高稿件质量,不应改变。