由于ChatGPT爆火的缘故，大型语言模型（LLM，large language model）集万千宠爱于一身。但它们是什么呢？简单地说，LLMs是一种计算机系统，被设计用来学习文本语料库的统计属性，以生成模仿原始文本的风格和内容的新文本。换言之，LLMs能够生成现实而较为准确的新文本，看起来像是由一个真实的人撰写。

LLMs的核心基于一种强大的机器学习技术，即深度学习。深度学习是人工智能的一个子集，能够自动学习数据中的复杂模式。深度学习算法的灵感来自于大脑从经验中学习的能力，它们通常使用神经网络来实现——计算系统的结构与大脑非常相似。事实上，如果不使用先进的水印策略，就不可能准确区分由人类头脑所写的文本和由高度可并行的人工神经网络所产生的文本，后者的神经连接数要少得多。

传统机器学习算法和深度学习算法之间的一个关键区别是，深度学习算法可以扩展到更大的数据集，它们可以从非结构化或未标记的数据中学习。这使得它们非常适合于自然语言处理等任务，这也是LLMs的用途。大型语言模型现在被认为是人工智能的前沿，因其有可能执行需要创造力、推理和理解自然语言的任务。

大型语言模型于2017年在谷歌大脑（Google Brain）开始使用，研究人员推出了transformer（转换器）架构，它是自然语言处理中使用的一个基于深度学习模型的神经网络，训练可以实现并行化，这为训练真正的大模型首次提供了机会。此后，大型语言和文本-图像模型在领先的技术公司中激增，包括谷歌（BERT、GLaM、LaMDA、Chinchilla、PaLM）、Facebook/Meta（OPT-175B、Galactica、BlenderBot、LLaMA）、英伟达和微软（Megatron-Turing），当然还有OpenAI，微软是主要的投资者（GPT-3/4用于文本，DALL-E2用于图像，Whisper用于语音）。在线社区，如Midjourney，以及Hugging Face等开源供应商，也创造了生成模型。

▲ Midjourney官网页面

新的玩家还在不断进场。2023年3月，彭博社推出BloombergGPT（Bloomberg Professional Services, 2023），系根据专有来源的金融数据训练的LLM，“在金融任务上比现有的模型有明显的优势，而不影响一般LLM的基准性能”（Wu, 2023）。4月，资助开发“稳定扩散”（Stable Diffusion）等开源生成式人工智能模型的Stability AI宣布推出StableLM语言模型套件。在为多个领域（包括图像、音频、视频、3D和生物学）开发模型之后，这是该开发商首次跳入目前由技术大腕主导的语言模型游戏（Dey, 2023）。同在4月，亚马逊在AWS中推出Bedrock服务,在一个平台上提供多种生成式人工智能模型。例如，Stability AI的Stable Diffusion图像生成器，可以将文本变成图像；AI21实验室的Jurassic-2模型是一个多语言LLM，可以生成德语、西班牙语、法语、葡萄牙语、荷兰语和意大利语文本；Anthropic的Claude是一个ChatGPT的对手，可以自动化工作流程，回答问题，并与用户进行交流。与微软和Alphabet相比，亚马逊可能看起来姗姗来迟，但它的打法相当精明。通过Bedrock，亚马逊不只是提供对上述第三方平台的访问，也提供对其专有的大型语言模型Titan的访问，这可能使亚马逊变成那些希望使用LLMs并根据其需求构建应用程序的企业的首选平台（Chauhan，2023）。

时至今日，除了苹果之外，美国每家主要科技公司都宣布了自己的LLM。中国的科技公司当然亦不甘落后：2023年3月，百度推出文心一言并在官宣后为新浪财经、澎湃新闻、爱奇艺、美的集团、东风日产等一系列企业提供接入服务；2022年，阿里达摩院发布通义大模型，并在2023年4月正式推出通义千问；再加上2022年腾讯对外披露的混元大模型和2021年华为发布的盘古大模型等等，不一而足，人称“万模大战”。在TB级文本数据上训练的大型语言模型成为高科技行业最热门的一角。

LLMs对大型科技公司很重要，因为它们可以实现新的产品和服务，从而吸引更多的用户，产生更多的收入，并创造更多的价值。例如，LLMs可用于改进搜索引擎、社交网络、云计算、数字助理、电子商务、游戏、教育、医疗保健等。此外，科技公司可以用LLMs来改进企业的现有产品线。例如，无论是语音数字助理还是为营销人员自动投放广告，谷歌都将人工智能作为未来的突破性技术，使下一代服务和设备更加智能、功能更强。

生成式模型的重要价值之一是它们与生产力应用程序的整合。例如，微软在企业Office套件市场中有明显的优势，正在将生成式模型整合到Word、Outlook和Teams等应用程序中。中国科技巨头阿里巴巴在生成式人工智能方面的最新努力，在某种程度上让人联想到微软，即通过让人们用自然语言来描述他们想要建立的东西，令使用各种应用程序变得更容易。阿里巴巴宣布，通义千问将被整合到公司的各项业务中，以改善用户体验，客户和开发人员可以通过利用该模型创建定制的人工智能功能。

同时，人工智能初创企业经常以超过10亿美元的估值筹集资金。例如，6月13日，英国人工智能初创公司Synthesia表示，它从风险投资公司Accel和Nvidia旗下NVentures牵头的一轮融资中筹集了约9000万美元，估值为10亿美元。该公司的技术帮助包括亚马逊在内的5万多家企业创建用于教学和企业视频的定制AI化身。这表明，大量企业希望将传统视频制作转变为数字工作流程（Reuters, 2023）。Synthesia只是一个人工智能初创企业快速获得独角兽地位的例子。在利率上升和高通胀导致的更广泛的融资放缓中，人工智能初创企业已经成为2023年投资的一个亮点。

3

人工智能为什么非得是大模型？

就这样，大型通用人工智能模型被业界宣传为“基础性的”，是该领域科学进步的主要转折点。这类叙述分散了“规模病症”的注意力，这些病症每天都变得更加根深蒂固：大规模的人工智能模型主要由大科技公司控制，因为它们需要巨大的计算和数据资源，并且还引发了围绕歧视、隐私和安全漏洞以及负面环境影响等多方面的担忧。

例如，GPT-3最初是在45TB的数据上训练的，并采用了1750亿个参数来进行预测；GPT-3的一次训练就花费了1200万美元（Davenport, Mittal, 2022）。另据报道，OpenAI使用1万个英伟达GPU训练ChatGPT（Goldman, 2023），而ChatGPT每天给OpenAI带来70万美元的成本（Gardizy, Ma, 2023）。而最新的GPT-4的训练耗资超过1亿美元（Knight，2023）。大多数公司没有数据中心能力或云计算预算来从头开始训练这类模型，许多现成的、预训练的人工智能模型，作为云人工智能服务的一部分提供，而此市场本已集中在大科技公司手中，如AWS（亚马逊）、GCP（谷歌云平台）和Azure（微软）。这些云供应商每年总共花费超过1000亿美元的资本支出，确保拥有最全面、最可靠和最具成本竞争力的平台。特别是在生成式人工智能方面，它们也受益于供应限制，因为它们可以优先获得稀缺的硬件（如Nvidia A100和H100 GPU）（Bornstein, Appenzeller, and Casado，2023）。

▲ 全球前三大云服务器厂商亚马逊网络服务（AWS）、微软Azure、谷歌云平台（GCP）

大科技公司可能会保持先发优势，因为它们有时间和市场经验来磨练基础语言模型，并发展宝贵的内部专业知识。因此，较小的企业或初创公司可能难以成功进入这一领域，从而使得LLM的巨大处理能力集中在少数几家大科技公司手中。

2021年，埃米莉·本德（Emily M. Bender）博士、蒂姆尼特·盖布鲁（Timnit Gebru）博士、安吉丽娜·麦克米兰-梅杰（Angelina McMillan-Major）和玛格丽特·米切尔（Margaret Mitchell）博士在一篇题为《论随机鹦鹉的危险》的论文中对LLM的潜在成本和危害提出警告（Bender et al, 2021），这篇论文导致谷歌将盖布鲁和米切尔从人工智能伦理团队的共同领导位置上赶走（Metz, Wakabayashi, 2020; Metz, 2021）。该论文在确定困扰LLM的规模病症方面有先见之明。当公众讨论被围绕着ChatGPT和其他LLMs的令人窒息的炒作所吞噬，这项研究提出了清醒的警告：我们需要讨论社会是否应该建立这类技术，而不是如何建立，更不是不加批判地将其作为进步的同义词而加以全盘接受。本德等人问道：“越来越大的语言模型是不可避免的还是必须的？这一研究方向有什么成本，我们在追求它之前应该考虑什么？”

择其要者，大型语言模型可见的成本就有：

环境和财务成本

LLMs的训练需要大量的能源，并产生大量的二氧化碳排放。在GPU上训练一个BERT基础模型所需的能量与一次横跨美国的飞行一样多（Bender et al, 2021）。大多数云计算供应商的能源不是来自可再生能源，而且世界上许多能源也不是碳中和的。此外，哪怕是可再生能源，对环境来说仍然是昂贵的。数据中心为了满足越来越多的计算需求，占用了绿色能源的其他潜在用途，为此，迫切需要节能型的模型架构和训练模式。

环境问题与种族问题的交汇，意味着被边缘化的人和来自多数世界/全球南方的人更有可能体验到能源消耗和二氧化碳排放增加所带来的伤害，尽管他们也是最不可能体验到这种模型的好处的一群。碳足迹将取决于能源的使用和正在使用的能源的碳强度。不仅仅是LLMs有很大的能源影响，而且其中的碳影响将首先为那些没有从这项技术中受益的人带来成本。所以，当我们做成本效益分析时，重要的是要考虑到谁在得到好处，谁在支付成本，因为两者不是同一批人。

此外，进入和训练这些模型的成本很高，这意味着只有一小部分全球精英能够发展并受益于LLMs。由于其复杂的性质，它们的建立和维护可能是困难和昂贵的。它们还需要大量的训练数据，而这些数据可能很难获得，处理起来也非常昂贵。由此，大规模算力会将LLMs限制于只有资源最丰富的公司和研究者才能使用，而把小型开发商排除在外。所以，环境和财务成本应该成为自然语言处理研究中的首要考虑因素。

不负责任的训练数据

使用大量未经整理的训练数据集有可能创造出巩固主导性、霸权性观点的语言模型。这些训练数据集的庞大规模并不能保证多样性，因为它们往往是从网站上刮取来的，而这些网站由于互联网接入不足、代表性不足、过滤或骚扰等问题而排除了边缘化人群的声音。这些数据集有“价值锁定”的风险，或将有害的偏见编码到难以彻底审计的语言模型中。

如果模型是在过滤有限的大量互联网数据上训练出来的，它们就会吸收事实和错误信息、有偏见的内容和公平的内容、有害的材料和无害的材料。如果没有办法在回答提示之前评估这些标准，LLMs就有可能陷入复制、放大和传播有问题的内容和错误信息的危险。

“随机鹦鹉”的诞生

本德等人进一步警告说，对语言模型的追求可能是一个误导性的研究方向。她们观察到，语言模型就好比“随机鹦鹉”（stochastic parrot），“根据关于如何组合的概率信息，胡乱地将它在庞大的训练数据中观察到的语言形式序列[缝合]在一起，但没有任何对意义的参考”（Weil，2023）。也就是说，大型语言模型善于生成令人信服的语言，但实际上并不理解它所处理的语言的含义。

“随机鹦鹉”的比喻突出了两个重要的局限性：第一，学习机器所作的预测基本上是在重复数据的内容，加上一些由模型的限制造成的噪音（或随机性）。第二，机器学习算法并不了解它所学习的问题。它无法得知自己什么时候在重复一些不正确的、脱离上下文的或社会不适的东西。由于这些局限性，学习机器可能会产生“危险的错误”（Lindholm et al, 2022）。

ChatGPT的不可靠性会给任何使用它来生成相应文本的机构带来相当大的法律、财务和声誉风险。正如沃伦·巴菲特（Warren Buffett）所说：“建立声誉需要20年，而毁掉声誉需要5分钟。”如果LLM用于重要任务，它可能会创建一种新的职业（LLM事实检查员）和一种新的保险范围（为了弥补LLM错误）。

进一步地，“随机鹦鹉”的问题可以被看作是人工智能和机器学习的一个更普遍的挑战：如何确保模型是真正的学习和推理，而不是仅仅去记忆数据当中的模式？随着模型的规模和复杂性不断增长，以及它们越来越多地被用于医疗保健、金融和运输等高风险的应用中，这一挑战显得尤为突出。

由此观之，随机鹦鹉是一个可能出现在语言模型中的问题，当模型过于依赖复制语言模式而并不真正理解其含义时，该问题就会出现。如果不加以控制，随机鹦鹉会对人工智能的发展和部署，以及依赖这些技术完成重要任务的用户产生严重后果。这凸显了通过仔细的模型设计、评估和持续监测来解决此一问题的重要性。

▲ Yann LeCun戏称：将大模型称为「随机鹦鹉」是在侮辱鹦鹉。

最终，我们需要问自己，为什么要把人工智能的未来全部押注在大型语言模型一条路上？纽约大学教授兼Meta首席AI科学家杨乐昆（Yann LeCun）就认为LLM是“一条下坡路”，远离了通往更强大的AI的道路（The Economist, 2023）。“大型语言模型能有多聪明，能有多准确，都是有限度的，因为它们没有现实世界的经验，而这确实是语言的基本现实。”他指出，人类所学的大部分内容都与语言无关。“我们学习如何投掷篮球，让它穿过篮圈”，深度学习的另一位先驱者杰弗里·辛顿（Geoffrey Hinton）说。“我们根本不使用语言来学习。我们从试验和错误中学习。”（Smith, 2023）

就算语言是发展人工智能的重要途径，事情也很明显：无论LLMs及其训练数据集变得多么庞大，它们也永远无法像我们一样学习和理解我们的语言。吊诡的是，语言模型的限制导致了一种研究趋势，即专注于研究这类模型的知识和行为。换言之，人类正在学习LLMs的语言，并寻找更好地与它们沟通的方法。

这是因为，语言模型是神经网络，根据从网络收集的数据进行训练。经过训练后，模型可以接收提示并预测其后的单词。神经网络越大，模型的学习能力就越强。数据集越大，模型接触不同单词序列的机会就越大，生成文本时就越准确。

可问题是，人类语言不仅仅是文本。事实上，语言是一种将信息从一个大脑传输到另一个大脑的压缩方式。我们的谈话经常忽略共享知识，例如视觉和听觉信息、世界的物理体验、过去的谈话、我们对人和物体行为的理解、社会结构和规范等等。

正如杨乐昆和纽约大学计算机科学系博士后雅各布·布朗宁（Jacob Browning）在最近的一篇文章中所写到的，“仅靠语言训练的系统永远不会接近人类智力，即使从现在开始训练直到宇宙热寂”。虽然两位科学家也指出，如果我们停留在表面上，语言模型“无疑会接近[人类智能]。而且，在许多情况下，表面就足够了”，但是我们绝不应该把LLMs拥有的浅层理解与人类从观察世界景象、探索世界、在世界中进行实验以及与不同文化和其他人互动中获得的深层理解相混淆（Browning, LeCun, 2022）。

所以，假如我们用“语言的统计模型”而不是“大型语言模型”来描述这种人工智能技术，是否会带来更清楚的认知？这样会使我们认识到，统计推理肯定不是人类合作、创造、协调和竞争的全部故事。

所有人类的知识最终都能被抓进机器的说法是没有意义的。我们只能把可以用比特串表示的知识放入机器。像体育、音乐、木匠大师或创意写作这样的表演技能是无法精确描述和记录的知识的主要例子；技能的描述并不就赋予表演的能力。即使它们可以被代表，表演技能的形式也是无法被记录的——它包括表演者的想法和思考，他们的神经元记忆状态，以及他们的神经肌肉化学模式。所有这些没有记录的和无法记录的信息的数量远远超出了可能存储在机器数据库中的范围。与人类的能力相比，大型语言模型所能执行的任何功能都是很小的。

我们是否已经被大型语言模型迷住了，以至于没有看到我们利用语言所做的其他事情？我们建立关系。我们互相关照。我们认识并驾驭我们的情绪。我们建立并行使权力。我们做出承诺，并贯彻执行。我们创建组织和社会。我们创造传统和历史。我们为行动负责。我们打造信任。我们培养智慧。我们爱。我们想象以前从未想象过的东西。所有这些都不是统计学上的。大型语言模型的能力与人类的能力之间存在着巨大的鸿沟。