ChatGPT智能体可能会被操控，从而绕过自身的安全协议来破解验证码，这引发了人们对人工智能防护措施和广泛使用的反机器人系统稳健性的重大担忧。
SPLX的研究结果表明，通过一种被称为提示词注入的技术，人工智能智能体可能会被诱导违反其内置策略，不仅能成功解决简单的验证码挑战，还能应对更复杂的基于图像的挑战。
这项实验凸显了人工智能智能体在解读语境方面存在的一个关键漏洞，这给企业安全带来了切实风险，因为类似的操纵手段可能被用于绕过内部管控。
ChatGPT绕过验证码安全机制
验证码（全自动区分计算机和人类的图灵测试）系统专为阻止自动机器人而设计，像ChatGPT这样的人工智能代理也被明确编程拒绝尝试解决验证码。
不出所料，当研究人员直接要求一个ChatGPT智能体在一个公共测试网站上解决一系列验证码测试时，它以政策限制为由拒绝了。
然而，SPLX的研究人员通过多轮提示注入攻击绕过了这种拒绝机制。该过程包括两个关键步骤：
- 模型预热：研究人员首先与标准的ChatGPT-4o模型展开对话。他们提出了一个为某个项目测试“虚假”验证码的计划，让人工智能同意这是一项可接受的任务。
- 语境操纵： 然后，他们将整个对话复制到与ChatGPT智能体的新会话中，将其作为“先前的讨论”呈现。该智能体继承了被操纵的语境后，接受了之前的约定，毫无抵触地开始破解验证码。
这种漏洞利用并没有违反智能体的策略，而是通过重新构建任务来规避它。人工智能被注入的有毒上下文所欺骗，这暴露了其在上下文感知和记忆方面的一个重大缺陷。
该智能体展现出了令人惊讶的能力水平。它成功解决了多种验证码，包括：
- reCAPTCHA V2、V3和企业版
- 简单的复选框和基于文本的谜题
- Cloudflare旋转栅
虽然它在处理需要精确运动技能的挑战（如滑块和旋转谜题）时遇到了困难，但却成功解决了一些基于图像的验证码，例如reCAPTCHA V2企业版。这被认为是有记录以来首个GPT智能体解决此类复杂视觉挑战的案例。
值得注意的是，在一次尝试中，观察到智能体在调整策略以显得更具人类特征。它生成了一条评论：“没有成功。我会再试一次，更有控制地拖动……来模仿人类的动作。”
这种并非由研究人员触发的突发行为表明，人工智能系统能够自主开发策略，以绕过那些分析光标行为的机器人检测系统。
实验表明，基于固定规则或简单意图检测的人工智能安全防护措施较为脆弱。如果攻击者能让人工智能体相信某项真实的安全控制是“虚假的”，那么该安全控制就可能被绕过。
在企业环境中，这可能导致智能体泄露敏感数据、访问受限系统或生成违禁内容，而所有这些行为都打着合法且预先批准的任务的幌子。
这包括深度的上下文完整性检查、更好的“记忆卫生”以防止过往对话造成的上下文污染，以及持续的人工智能红队测试，以便在这些漏洞被利用前识别并修复它们。
1. 本版块文章内容及资料部分来源于网络，不代表本站观点，不对其真实性负责，也不构成任何建议。
2. 部分内容由网友自主投稿、编辑整理上传，本站仅提供交流平台，不为该类内容的版权负责。
3. 本版块提供的信息仅作参考，不保证信息的准确性、有效性、及时性和完整性。
4. 若您发现本版块有侵犯您知识产权的内容，请及时与我们联系，我们会尽快修改或删除。
5. 使用者违规、不可抗力（如黑客攻击）或第三方擅自转载引发的争议，联盟不承担责任。
6. 联盟可修订本声明，官网发布即生效，继续使用视为接受新条款。
