04

幻觉，抑或虚构

之所以认定GPT无法成为谷歌搜索的替代物是因为，如果GPT以很高的信心给出错误的答案，它又怎么会取代谷歌呢？例如，有用户要求ChatGPT给出一份关于社会认知理论的顶级书单。在回答的10本书中，4本书不存在，3本书是由不同的人写的。当谷歌技术与社会高级副总裁詹姆斯·曼尼卡（James Manyika）在一个演示中向Bard询问通货膨胀问题时，聊天机器人推荐了五本不存在但听起来可能存在的书，比如彼得·特明（Peter Temin）的《通货膨胀战争：现代史》。特明是一位确实存在的麻省理工学院经济学家，研究通货膨胀，并写过几本书，只是其中完全没有被推荐的那本书。

人工智能研究人员有个说法，AI系统会频繁地产生“幻觉”（hallucination）， 即编造与现实无关的事实。技术分析师本尼迪克特·埃文斯（Benedict Evans）将ChatGPT描述为 “一个自信的扯淡的家伙，可以写出非常有说服力的废话”。

就聊天机器人而言，幻觉指的是原本正确的回答中加入不正确的信息。必应机器人会把错误的信息当作事实同正确的数据一起呈现，使人难以分辨出真实的陈述与错误的陈述。例如，必应可能并不知道某个与财务数据有关的数字，但它会编造一个，然后将这个数字与其他正确的信息一起呈现。当一家媒体要求ChatGPT为特斯拉撰写季度收益报告时，它吐出了一篇措辞流畅的文章，没有语法错误或逻辑混乱，但它也插入了一组随机的数字，与任何真正的特斯拉报告都不相一致。没有迹象表明其内部意识到这些数字是机器人自己想象的产物。

在人工智能中，类似的现象都被称为“幻觉”，是指人工智能做出的并不符合其训练数据的自信反应。它与人类心理学中的幻觉现象相类似，但请注意，人类的幻觉是人类的一种感知，它不能理智地与人类目前直接用感觉器官观察到的那部分外部世界联系起来，而人工智能的幻觉则是人工智能的自信反应，它无法在人工智能曾经访问或训练过的任何数据中立足。

2022年左右，随着某些大型语言模型的推出，人工智能的幻觉被凸显出来。用户抱怨说，聊天机器人似乎经常“反社会”，毫无意义地在其生成的内容中嵌入似是而非的随机假话。到2023年，分析师认为频繁的幻觉是LLM技术的一个主要问题。它可能会产生有害的后果，因为没有足够领域知识（domain knowledge）的用户开始过度依赖这些似乎越来越有说服力的语言模型。

然而，随着该话题成为主流，这个标签的争议也越来越大，因为有人觉得它将人工智能模型拟人化（即暗示它们有类似人类的特征），或者赋予这些模型并不存在的能动性（即暗示它们可以作出自己的选择）。一些批判性人工智能研究者明确表示反对使用幻觉一词，因为它将算法输出与人类心理处理混为一谈。在回应Meta公司关于其模型Galactica的免责声明时，语言学家埃米莉·本德（Emily M. Bender）写道：“让我们反思一下他们的免责声明的措辞，好吗？‘幻觉’在这里是一个糟糕的选词，它暗示语言模型具有*经验*，并且可以*感知事物*。(此外，它还在轻描淡写地描述一种严重的精神疾病的症状）。同样，人们还称‘语言模型往往是自信的’。不，它们不是这样的，因为这需要主观的情感。”

商业LLM的创造者也可能利用幻觉作为借口，将错误的输出归咎于AI模型，而不是对输出本身负责。例如，谷歌DeepMind的一篇会议论文《语言模型所带来的风险分类》明确表示：“语言模型的训练是为了预测话语的可能性。一个句子是否可能，并不能可靠地表明该句子是否也正确。”

在此情况下，有研究者主张使用“虚构症”（confabulation）或“虚言症”一词来描述相关现象，虽然也不尽完美，但对照“幻觉”是一个更好的隐喻。在心理学中，当某人的记忆出现空白，而大脑在无意欺骗他人的情况下令人信服地填补了其余部分时，就会出现“虚构”。 一般来说，“虚构症”患者编造出听起来很有道理的理由，但却没有任何事实依据。这通常不是有意识的欺骗行为，而是真的相信他们报告的故事。这种行为与LLM的做法十分相同。

在过去数月里，像ChatGPT这样的人工智能聊天机器人已经吸引了全世界的注意力，因为它们能够以类似人类的方式就几乎任何话题进行交谈。但它们也有一个严重的缺点：可以轻易地提供令人信服的虚假信息，使之成为不可靠的信息来源和潜在的诽谤策源地。

在2021年的一篇论文中，来自牛津大学和OpenAI的三位研究人员确定了像ChatGPT这样的LLM可能产生的两大类虚假信息。第一种来自于其训练数据集中不准确的源材料，如常见的错误概念。第二种情况来自于对其训练材料（数据集）中不存在的特定情况的推断；这即属于前述的“幻觉”，或者“虚构”。

在ChatGPT推出后不久，人们就开始宣称搜索引擎的终结。但与此同时，许多关于ChatGPT“虚构”的例子也开始在社交媒体上广为流传。这个人工智能机器人发明了不存在的书籍和研究报告，教授从未写过的出版物，假的学术论文，伪造的法律引用，子虚乌有的报刊文章，真实人物传记的编造细节，危险的医疗建议，等等，不一而足。

然而，尽管ChatGPT喜欢随便撒谎，但违反直觉的是，它对“虚构”的抵抗能力也是我们今天持续谈论它的原因。ChatGPT始终处于不断改进之中，它现在会拒绝回答一些问题，或让你知道它的答案可能不准确。必应聊天机器人在更新了版本之后，一方面大大减少了无缘无故拒绝回答的情况，另一方面，回答中出现“幻觉”的情况也减少了。

但本质上，GPT模型的原始数据集当中并不存在任何东西能够将事实与虚构分开。理解ChatGPT的虚构能力的关键是理解它作为预测机器的作用。当ChatGPT虚构时，它其实在寻找其数据集中不存在的信息或分析，并用听起来合理的词来填补空白。由于ChatGPT拥有超人的数据量，所以它特别善于编造事情，而且它蒐辑单词上下文的能力非常好，这有助于它将错误的信息无缝地放入周遭的文本中。

GPT模型是否会进行疯狂的猜测，是基于人工智能研究人员称之为“温度”的属性，它通常被描述为有关“创造力”的设置。如果创造力设置较高，模型就会胡乱猜测；如果设置较低，它就会根据其数据集确定性地吐出数据。因此，微软广告和网络服务部首席执行官米哈伊尔·帕拉金（Mikhail Parakhin）在推特上讨论必应聊天机器人产生幻觉的原因时指出：“这就是我之前试图解释的：幻觉=创造力。它试图利用所有可支配的数据来生成字符串的最高概率的延续。很多时候它是正确的。有时人们从未生成这样的延续。”

而那些疯狂的创造性跳跃是使大型语言模型变得有趣的原因。“你可以钳制幻觉，但它会变得超级无聊。它总是回答‘我不知道’，或者只是读取搜索结果中存在的内容（而那些内容有时也不正确）。此处缺失的是说话的语气：在这类情况下，它不应该听起来那么自信。”

另外还有压缩的问题。在训练过程中，GPT-3考虑了PB级别的信息，但所产生的神经网络在大小上只是如此庞大的信息的一小部分。在一篇被广泛阅读的《纽约客》文章中，小说家特德·姜（Ted Chiang）称ChatGPT只是“万维网的一张模糊图片”。这意味着很大一部分事实性的训练数据被丢失了，但GPT-3通过学习概念之间的关系来弥补，之后重新制定这些事实的新排列组合。就好比一个记忆力有缺陷的人凭着对某件事情的直觉而工作一样，它有时会把事情弄错。也因此，即使它不知道答案，也会给出它最好的猜测。

我们同样不能忘记提示（prompt）在虚构中的作用。在某些方面，ChatGPT是一面镜子：你给它什么，它就回给你什么。假如你给它提供虚假的信息，它就会倾向于同意你的观点，并沿着这些思路“思考”。这就是为什么在改变主题或遭遇不想要的回应时，用新的提示开始是很重要的。而ChatGPT是概率性的，这意味着它在本质上是部分随机的。即使是相同的提示，它的输出结果也会在不同时段发生变化。

在对ChatGPT这样的语言模型进行微调时，如何平衡创造力和准确性是一大挑战。一方面，作出创造性反应的能力使ChatGPT成为产生新想法或打破创意窒碍的强大工具。这也使语言模型变得更像人。另一方面，当涉及到产生可靠的信息和避免虚构时，原始材料的准确性是至关重要的。在这两者之间找到适当的平衡是语言模型发展的一个持续的挑战，然而这一过程是产生一个既有用又值得信赖的工具所必须的。