语言模型的固有局限性：幻觉不可避免

原论文地址：https://arxiv.org/abs/2401.11817

摘要

幻觉一直被认为是大型语言模型 (LLM) 的一个重大缺陷。许多研究试图减少幻觉的产生，但迄今为止这些努力大多是经验性的，无法回答幻觉是否可以完全消除这一根本性问题。该研究通过形式化方法证明 LLM 存在固有的幻觉问题，即 LLM 不可能完全避免生成与真实世界不符的信息；并探讨了现有缓解幻觉的方法及其有效性，并强调了对 LLM 安全性进行严格研究的重要性。

简介

大型语言模型 (LLM) 的出现标志着人工智能领域，特别是自然语言处理领域的重要里程碑。这些模型拥有庞大的知识库，能够生成连贯且符合语境的相关文本，对研究、工业和社会产生了巨大影响。然而，LLM 面临的一大挑战是“幻觉”问题，即模型生成看似合理但事实错误或毫无意义的信息。随着 LLM 应用广泛，这个问题引起了人们越来越多的安全和伦理方面担忧，并催生了大量试图对其进行分类、理解和缓解的研究。

先前研究从数据收集、训练到推理等方面发现了 LLM 产生幻觉的多种可能来源。例如，在综述论文中，作者将自然语言生成中的幻觉归因于启发式数据收集、固有偏差、表示学习缺陷、错误解码、暴露偏差和参数知识偏差。

为缓解幻觉，人们提出了多种方法。例如，事实中心度量和基准测试被用来衡量和减少特定数据集上的幻觉。检索式方法通过知识图或数据库来增强 LLM，帮助纠正模型输出中的事实错误。提示模型推理和验证其答案也被证明可以减少幻觉。

迄今为止，关于 LLM 幻觉的研究仍然主要是经验性的。尽管经验研究很有用，但它们无法回答一个根本性问题：幻觉是否可以完全消除？这个问题的答案至关重要，因为它表明了 LLM 能力的潜在上限。然而，由于不可能凭经验枚举和测试所有可能的输入，因此如果不清晰地定义和形式化地分析幻觉，就无法正式讨论这个问题。

在现实世界中，形式化地定义 LLM 的事实或逻辑错误(即幻觉)极其困难。这是因为现实世界中语义的正式定义仍然是一个悬而未决的问题。因此，在这项工作中，我们严格定义了一个由可计算函数组成的形式世界，可以在其中对幻觉进行精确的讨论。在这个世界里，每当 LLM 无法完全复制可计算函数的输出时，就会发生幻觉。在此定义下，我们提出了一个基本结论：任何可计算的 LLM 都不可避免地会出现幻觉，这与模型架构、学习算法、提示技术或训练数据无关。由于这个形式世界是现实世界的一部分，因此该结果也适用于现实世界中的 LLM。

基于理论结果，我们识别了一些现实世界中 LLM 可能出现幻觉的形式问题，并通过实证验证了这一识别。理论和实证结果引导我们讨论了它们对正确使用 LLM 的实际影响。

本文的贡献总结如下：

* 我们形式化地定义和讨论了 LLM 的幻觉，并利用学习理论的成果证明了幻觉对于 LLM 是不可避免的。
* 实证研究表明，最先进的 LLM 在一些现实世界问题中容易出现幻觉，这验证了理论结果。
* 我们讨论了理论结果对设计缓解幻觉的方法和部署 LLM 在现实世界中的实际影响。

结论

本文研究了消除 LLM 幻觉的根本性问题。为此，我们定义了一个形式世界，可以在其中清晰地定义和讨论 LLM 的幻觉。具体而言，幻觉被定义为可计算 LLM 和可计算的真实函数之间的不一致。利用学习理论的结果，我们证明了如果真实函数是任何可计算函数，那么对于可计算的 LLM 来说，幻觉是不可避免的。既然形式世界是现实世界的一部分，我们进一步得出结论，在现实世界的 LLM 中消除幻觉也是不可能的。利用形式世界框架，我们讨论了现有缓解幻觉方法的可能机制和有效性，并讨论了理论结果对 LLM 在现实世界中部署的实际影响。我们强调，由于幻觉不可避免，因此对 LLM 安全性进行严格研究至关重要。