GuppyLM：任何人都可以训练这种微型人工智能

当人工智能模型变得越来越大、越来越昂贵、越来越不透明时，GuppyLM 却反其道而行之--它是被设计出来的。这个小型开源项目是一个语言模型，只有约 870 万个参数，远远少于现代旗舰模型。Guppy 只知道在水族箱中生活。其目标不是与ChatGPT或其他大型机型竞争。相反，GuppyLM 的目的是向人们展示，LLM 并不一定要很神秘，训练一个 LLM 也不一定需要专业知识。

GuppyLM 是在 60,000 个合成对话中训练出来的。就内容而言，该模型非常有限，但正是这一点使其具有惊人的一致性。Guppy 使用小写短句，不理解政治、金钱或电话等人类抽象概念。由于这种个性被牢牢地植入了模型中，所以 Guppy 始终保持着自己的鱼类视角。GitHub还提供了一个浏览器演示，模型可在浏览器中本地运行。另外，预训练版本也可以通过Colab或使用 Python 在本地运行。想要更进一步的用户甚至可以直接使用准备好的 Colab 笔记本（基于浏览器的编程环境）来训练自己的迷你 LLM。

训练过程本身相对简单。模型会收到大量由输入和匹配响应组成的示例对。在预训练的 GuppyLM 模型中，这些例子包括问候语、关于食物、水、光、睡眠或生命意义的问题，所有这些都是从一条小鱼的角度出发的。从这些例子中，模型可以学习到下一个标记。简单地说，标记是小的文本单元，单词被分解成这些单元。在每个训练步骤中，模型都会将其预测与期望的反应进行比较，并相应地调整其内部权重。这样，GuppyLM 就能逐渐学会鱼应该如何说话。