你在免费训练人工智能，而它却连声谢谢都不说

你有没有感觉到，你在深夜的 ChatGPT 兔子洞里为硅谷做的贡献比你自己失眠导致的工作效率还要高？那是因为它们的确如此。如果你正在使用免费的人工智能工具，那么恭喜你，你已经被征召加入了一支全球无偿劳动力大军，甚至没有人愿意给你一个礼节性的杯子。

实际运作情况（是的，你也是其中一员）

让我们拉开窗帘。大多数免费的人工智能聊天机器人，如 ChatGPT、克劳德和双子座，都是通过一种叫 "人类反馈强化学习"（RLHF）的方法来改进模型的。听起来很复杂，但这里有一个简单的版本：

你提出一个问题。人工智能回答。你可以竖起大拇指给它打分。也许你更喜欢其中一个答案。恭喜你......你刚刚训练了模型。你的偏好会被记录下来并进行分析，最终，模型会调整得更 "有用"。

这些工具并不只是住在云端取乐。它们向你学习。事实上，你不仅仅是在聊天，你还是一个非常实惠（读作：无偿）的数据注释者。

是的，即使是付费用户也能帮助训练机器人

你以为付费购买 GPT-4 就能躲过数据磨坊？再想想吧。除非您在 ChatGPT 设置中明确选择退出，否则您的互动仍会被用于微调人工智能的行为方式。没错。您每月支付 20 美元，就能为产品开发做出贡献。规模化。没有版税。这招不错吧？

例如，OpenAI 会使用免费用户和付费用户的对话来改进其模型，除非你关闭 "聊天记录"。谷歌的双子座？同理。人类学的克劳德？也是通过收集偏好来改进其排列模型。

RLHF 不仅仅是技术魔术...它是人类的传送带

在每一个听起来华丽的缩写词（如 RLHF）背后，都有一个非常真实、非常人性化的过程。承包商被雇来对反应进行排序、标记幻觉并对提示进行分类。

像 Sama（曾与 OpenAI 有联系）、Surge AI 和 Scale AI 这样的公司提供这种劳动，通常是通过低薪承包商提供，他们工作时间很长，许多人在发展中国家工作。2023 年，有报告证实，RLHF 标签员的时薪为 2 美元至 15 美元，具体取决于地区和角色。所以，是的，真实的人们正在一次又一次地点击 "这个回答更好"。正是这种反馈循环为机器人提供了动力。

如果你通过竖起大拇指的方式提供相同类型的反馈，那么你基本上就是在免费完成他们的迷你版工作。

如何使用反馈

有趣的地方就在这里。你的反馈不会直接训练主模型。它提供给奖励模型，即告诉主人工智能如何行动的小型系统。因此，当你说 "我更喜欢这个答案 "时，你就是在帮助建立大模型所遵循的内部指南针。一旦有足够多的人这样做，人工智能就会开始感觉更有人性、更有礼貌、更乐于助人......或者更像一个有边界问题的专栏作家。

你的写作风格如何？

人工智能会记住语气。当你始终以某种风格与它互动时--讽刺、学术或粗暴直率，系统就会学会以牙还牙。它不会窃取你的写作风格并将其出售给他人（目前还不会），但你的写作模式有助于形成集体训练经验的一部分，尤其是当机器人发现他人喜欢你的措辞或语气时。

与其说是克隆你，不如说是复制有效的东西。而有效的东西往往来自从未同意复制风格的人。

验证码不再只是机器人的专利

哦，你为了证明自己是人类而破解的那些验证码谜题？你不仅仅是通过点击交通信号灯和人行横道线来进入电子邮件。你是在为机器学习模型标注数据。谷歌的 reCAPTCHA、hCaptcha 和 Cloudflare 的 Turnstile 都将可视化数据输入训练管道，帮助人工智能一次看清一个模糊的路标。

是的，现在就连你的安全验证也是反馈经济的一部分。

价值数十亿零识别

这不是什么边缘阴谋。训练数据市场正在蓬勃发展。根据 MarketsandMarkets 的预测，全球训练数据市场规模将从 2023 年的 15 亿美元增长到 2030 年的 46 亿美元。虽然这包括合成数据和策划数据集，但人类标注的真实世界数据（也就是您每天随手提供的数据）的价值也在不断攀升。

然而，大多数用户仍然认为他们的聊天机器人对话会消失在茫茫人海中。剧透：不会的。除非你明确禁用了日志记录（即便如此......也要相信，但要核实）。

最后的想法你不是偏执狂......你只是参与其中

重点来了。你参与构建的东西最终可能会取代你的工作，超越你的创造力，或将你的推文变成产品样本。这并不意味着你应该停止使用人工智能，但你应该知道自己在做什么。也许，只是也许，你应该要求一点透明度作为回报。

毕竟，如果你的免费劳动足以塑造下一代价值数十亿美元的人工智能模型，那么他们至少应该说声谢谢。