人工智能
科学家更喜欢ChatGPT的反馈，而不是同行建议
科学研究在发表之前必须经过其他科学家的审查，但一些研究人员表示，他们发现ChatGPT提供的反馈更有用。
ChatGPT可以为研究人员提供有用的反馈，建议它可以补充人类同行评审的过程，帮助科学期刊决定哪些研究应该发表。但是，其他人对ChatGPT在同行评审中是否起作用持怀疑态度。
同行评审是科学出版的重要组成部分。然而，许多期刊和研究会议都在努力招募足够多的人类同行评审人员，这些人通常免费志愿评估越来越多的提交论文。
斯坦福大学的James Zou表示：“研究人员很难从评审人员那里得到高质量的反馈。”“这促使我们去尝试使用像ChatGPT这样的大型语言模型为这些研究人员提供反馈。”
Zou和他的同事首先请OpenAI的ChatGPT - 具体来说是基于人工智能模型GPT-4的聊天机器人版本 - 为超过3000份提交并被《自然》系列期刊接受的手稿提供建设性的反馈，这些手稿经过了标准的同行评审。他们还要求聊天机器人审查超过1700篇来自国际学习表示会议(ICLR)的论文，这是世界上最大的机器学习会议之一。然后，他们将AI的评论内容与评估相同论文的人类评审人员的意见进行了比较。
ChatGPT对《自然》论文的反馈超过一半都提出了至少一名科学家的意见。对于ICLR会议论文，ChatGPT超过77％的评论都提出了至少一名人类评审人员提出的意见。
此外，该研究还使用ChatGPT为数百篇尚未经过同行评审但最近被上传到预印服务器的论文提供反馈。佐伊和他的同事调查了308位作者 - 他们都是人工智能和计算生物学领域的研究人员 - 对这些评论的印象。
尽管他们没有直接将其与任何人类评审人员的评论进行比较，但超过82％的研究人员认为ChatGPT的反馈通常比他们过去收到的某些反馈更有益。
但是，该研究缺乏关于AI生成的反馈与人类评审意见不同的情况的详细信息，“掩盖了AI生成的评论可能极具偏见或错误的程度”，伊利诺伊州西北大学的Mohammad Hosseini表示。
Zou表示，他们调查的一些研究人员认为ChatGPT的反馈过于笼统，缺乏技术细节。他认为AI可以为研究人员提供一些论文的初步评论。但他警告说，评审人员不应依赖ChatGPT来完成他们的工作。“我们仍然需要高质量的人类评审人员，”他说。
Zou和他的同事已将他们的工作发布在网络上 - 但它尚未经过同行评审并由科学期刊发表。
本文译自 New Scientist，由 BALI 编辑发布。