人工智能
BBC发现,用AI生成的新闻摘要问题太多
BBC研究发现,AI新闻摘要常常失实,引发对信息准确性的担忧。
BBC在经历了Apple Intelligence误报事件后,发布了一项关于AI助手新闻摘要准确性的研究,结果令人堪忧。今年1月,Apple的AI服务生成了一条虚假新闻标题,错误地声称一名被捕男子Luigi Mangione自杀。事实上,这一消息并不属实,BBC对此提出了投诉。虽然Apple承诺进行软件更新以澄清内容来源,并暂时关闭了新闻和娱乐摘要功能,但截至iOS 18.3版本发布,该功能仍未恢复。
这次事件促使BBC对其他AI新闻摘要服务进行了深入研究。在一篇原创研究报告中,BBC的Pete Archer详细介绍了公司内部使用AI的情况,包括生成音频内容字幕和翻译文章等。他强调,AI在被负责任地使用时能带来真正的价值,但同时也警告称,AI对观众和信息生态系统带来了重大挑战。
研究重点评估了OpenAI的ChatGPT、Microsoft的Copilot、Google的Gemini和Perplexity助手的表现。这些AI被允许访问BBC网站,并回答了100个新闻相关问题。结果显示,51%的AI回答存在重大问题,19%的回答引入了事实错误,13%的引用内容与原文不符或根本不存在。
在各大AI助手中,Gemini表现最差,34%的回答存在严重问题,其次是Copilot(27%)、Perplexity(17%)和ChatGPT(15%)。常见问题包括事实错误、引用错误和缺乏背景信息。例如,Gemini错误地声称英国国家医疗服务体系(NHS)不建议通过电子烟戒烟,而实际上NHS确实推荐这种方法。
BBC新闻和时事部门的CEO Deborah Turness在一篇博客文章中写道,AI带来的好处不应以扭曲事实为代价。她警告说,AI生成的虚假信息可能进一步动摇人们对事实的信任,甚至可能导致严重的现实危害。
研究还指出,AI在职场中的广泛应用可能带来更深远的影响。如果AI被用来撰写邮件或总结会议内容,而接收方也使用AI回复,最终可能导致信息失真,甚至削弱人们的批判性思维能力。
对此,OpenAI表示,他们正在努力改进AI生成内容的准确性和引用方式。Microsoft则强调,他们通过结合用户输入和最新数据来提高AI回答的准确性,并鼓励用户核实信息的真实性。
这项研究揭示了AI在新闻摘要中的局限性,即使有直接的信息来源,AI仍然可能生成虚假信息。这不仅对新闻行业,也对所有依赖AI的领域提出了警示。
本文译自 The Register,由 BALI 编辑发布。