海豹突击队展示人工智能如何不断思考和进化

人工智能正变得越来越多才多艺--它能生成图像、写诗和构建应用程序。然而，一个关键的局限性依然存在：如今的系统很难真正超越其最初的编程。这正是麻省理工学院（MIT）提出新概念的原因所在。这个框架被称为 SEAL（自适应语言模型），它能让大型语言模型表现得更像学习者。SEAL 允许它们处理新信息、产生自己的见解并实时更新知识，而无需依赖外部数据集或大量的开发人员干预。该研究论文于 6 月 12 日发表在arXiv 上。.

无需开发人员干预的持续学习

"麻省理工学院博士生 Jyothish Pari 说："特别是在公司，仅仅检索数据是不够的，系统必须能够不断适应。SEAL 正是为了实现这一目标而设计的，它采用了一个连续的两步流程。首先，人工智能会总结新信息，生成相关示例，并调整其内部设置。这些变化被称为 "自我编辑"。

然后，系统会立即对其自我修正进行测试：根据新的调整进行简短的再训练，并评估其反应是否真的有所改善。只有当结果显示性能明显提高时，SEAL 才会保留这些修改。对比测试证实了这种方法的有效性：在没有辅助文本的问答测验中，Qwen 2.5-7B 模型的准确率从 33.5% 提高到 47%。在更具挑战性的ARC谜题（来自抽象与推理语料库的基于逻辑的任务）中，准确率甚至上升到72.5%，是模型原始得分的三倍多。

得益于这种循环，SEAL 的行为几乎就像一个会思考的实体：每当出现新的事实或问题时，模型就会 "反思 "哪些是重要的，生成自己的示例并调整设置，以便更好地应用所学知识。由于这一过程持续进行，人工智能一直在学习。它不再依赖于开发人员的单独微调，而是将接收到的文本作为训练材料，即时生成自己的数据。

SEAL 同时开启了多种可能性。未来，聊天机器人可以自然地适应用户的个人喜好，而无需向外部服务器发送敏感数据。开发和研究工具也可以更加独立地发展--适应不断变化的项目要求，而无需每次都重新进行培训。即使公开的文本数据变得稀缺，SEAL 也能通过自创的示例生成自己的训练材料，从而提供一种智能方法来避免潜在的数据短缺。

潜力巨大，但并非没有障碍

尽管SEAL在推动人工智能发展方面大有可为，但研究人员指出了三个主要挑战：

• 首先是灾难性遗忘问题：随着模型不断整合新的自我编辑，其执行早期任务的能力会逐渐下降。这项研究已经显示出这种效应的早期迹象。
• 其次，计算成本巨大，因为每次自我编辑都需要一个简短的微调步骤。根据研究，一个完整的周期需要 30 到 45 秒，大大增加了运行大型模型的运行成本。
• 第三，验证自编辑的准确性仍然是一项挑战。性能测试主要评估答案听起来是否令人信服，而不是实际是否正确。Reddit 上的用户https://www.reddit.com/r/LocalLLaMA/comments/1lgxjw2/self_adapting_llms_legit/的用户已经提出了这样的担忧：系统可能会接受听起来可信但不正确的自我修改作为改进，然后将这些错误永久内化。