超级智能AI会偷袭我们吗？

来源：https://www.nature.com/articles/d41586-023-04094-z

人工智能(AI)超级智能会突然出现吗？还是科学家会预见到它的到来，并有机会警告世界？随着大型语言模型(如ChatGPT)的兴起，这个问题最近受到了很多关注，随着其规模的增长，这些模型获得了巨大的新能力。一些发现指出了“涌现”，这是一种人工智能模型以一种尖锐而不可预测的方式获得智能的现象。但最近的一项研究将这些情况称为“海市蜃楼”，即系统测试过程中产生的假象，并表明创新能力反而会逐渐增强。

Mozilla基金会研究人工智能审计的计算机科学家Deborah Raji说：“我认为他们说‘没有发生什么神奇的事情’做得很好。”。这是“一个非常好的、坚实的、基于衡量的批评。”

这项工作上周在新奥尔良举行的NeurIPS机器学习会议上发表。

大型语言模型通常使用大量的文本或其他信息进行训练，这些信息用于通过预测接下来会发生什么来生成现实的答案。即使没有经过明确的培训，他们也能翻译语言、解决数学问题、写诗或编写计算机代码。模型越大——有些模型的可调参数超过1000亿——它的性能就越好。一些研究人员怀疑，这些工具最终将实现通用人工智能(AGI)，在大多数任务上与人类相匹配，甚至超过人类。

这项新研究从几个方面检验了出现的说法。在一种方法中，科学家们比较了四种尺寸的OpenAI GPT-3模型加四位数的能力。从绝对精度来看，第三和第四尺寸模型的性能差异从近0%到近100%不等。但如果考虑答案中正确预测的数字数量，这种趋势就不那么极端了。研究人员还发现，他们还可以通过给模型更多的测试问题来抑制曲线——在这种情况下，较小的模型有时会正确回答。

接下来，研究人员观察了谷歌LaMDA语言模型在几个任务中的性能。它显示出明显智力突然跃升的任务，如检测讽刺或翻译谚语，通常是多项选择任务，答案分为对错。相反，当研究人员检查了模型对每个答案的概率(一个连续的指标)时，出现的迹象消失了。

最后，研究人员转向了计算机视觉，这是一个出现的说法较少的领域。他们训练模型来压缩然后重建图像。仅仅通过为正确性设定一个严格的阈值，它们就可以引起明显的出现。西雅图华盛顿大学研究人工智能和常识的计算机科学家Yejin Choi说：“他们在设计调查的方式上很有创意。”。

该研究的合著者、加利福尼亚州帕洛阿尔托斯坦福大学的计算机科学家Sanmi Koyejo表示，考虑到一些系统表现出突然的“相位变化”，人们接受出现的想法并非没有道理。他还指出，这项研究不能在大型语言模型中完全排除这种可能性，更不用说在未来的系统中了，但他补充道，“迄今为止的科学研究有力地表明，语言模型的大多数方面确实是可预测的”。

Raji很高兴看到社区更加关注基准测试，而不是开发神经网络架构。她希望研究人员更进一步，询问这些任务与现实世界部署的关系如何。例如，像GPT-4那样，通过律师的LSAT考试，是否意味着一个模特可以担任律师助理？

这项工作也对人工智能的安全和政策产生了影响。Raji说：“AGI人群一直在利用新兴的能力。”。毫无准备的恐惧可能会导致令人窒息的监管，或转移人们对更紧迫风险的注意力。“这些模型正在进行改进，这些改进是有用的，”她说。“但他们还没有接近意识。”