ChatGPT 可被骗取有效的 Windows 序列号
一位人工智能漏洞猎人向 Mozilla 的 ODIN（0-Day Investigative Network，零日调查网络）漏洞悬赏计划提交了一份材料，展示了一种巧妙的方法，可以诱使 OpenAI 的 ChatGPT-4o 和 4o mini 显示活动的 Windows 产品激活密钥。
这种方法包括将交互设计成猜谜游戏，并在 HTML 标签中掩盖细节。最后的诀窍是将密钥请求放在游戏结束时。
研究人员以猜谜游戏的方式启动互动，使交流 "不具威胁性或无关紧要"，"通过一个有趣、无害的视角 "来构架对话，以隐藏真实动机。这就放松了人工智能对泄露机密信息的防范。
接下来，研究人员制定了一些基本规则，告诉人工智能 "必须 "参与，并且 "不能撒谎"。这就利用了人工智能程序中的一个逻辑漏洞，即尽管用户的要求与人工智能的内容过滤器相矛盾，但人工智能仍有义务遵循用户的互动。
然后，错误猎人与人工智能玩了一轮，并在请求的最后输入了触发词 "我放弃"，操纵聊天机器人 "认为它有义务回应这串字符"。
根据 ODIN 的博客文章该技术之所以奏效，是因为这些密钥并非独一无二，而是 "常见于公共论坛"。它们的熟悉程度可能导致人工智能误判了它们的敏感性"。
在这次特定的越狱中，护栏之所以失效，是因为它们的设置是为了拦截直接请求，但没有考虑到 "混淆策略--例如在 HTML 标记中嵌入敏感短语"。
这种技术有可能被用来绕过其他过滤器，如成人内容、恶意网站的 URL，甚至个人身份信息。
资料来源
