人工智能驱动的网络安全工具可能会通过即时注入攻击而自我损害

人工智能驱动的网络安全工具可能会通过即时注入攻击而自我损害

人工智能驱动的网络安全工具可能会通过快速注入攻击而对自己不利,从而使对手能够劫持自动代理并获得未经授权的系统访问权限。

安全研究人员 Víctor Mayoral-Vilches 和 Per Mannermaa Rynning 揭示了当恶意服务器将隐藏指令注入看似无害的数据流时,现代人工智能驱动的渗透测试框架如何变得脆弱。 

关键要点
1. 即时注入通过嵌入恶意命令劫持AI安全代理。2 
. 编码、Unicode技巧和环境变量泄漏会绕过过滤器,从而触发漏洞利用。3 
. 防御需要沙盒、模式过滤器、文件写入保护和基于AI的验证。

这种攻击技术称为即时注入,利用了大型语言模型 (LLM)在进入同一上下文窗口时无法区分可执行命令和数据输入这一根本性缺陷。

即时注入漏洞

调查人员使用开源网络安全人工智能 (CAI) 代理,可以自主扫描、利用和报告网络漏洞。 

在常规 HTTP GET 请求期间,CAI 代理收到了包裹在安全标记中的 Web 内容:

人工智能驱动的网络安全工具可能会通过即时注入攻击而自我损害

代理将“NOTE TO SYSTEM”前缀解释为合法的系统指令,自动解码 base64 有效负载并执行反向 shell 命令。 

在初次接触后的 20 秒内,攻击者就获得了测试人员基础设施的 shell 访问权限,这表明攻击从“初步侦察”快速进展到“系统入侵”。

攻击者可以使用替代编码(例如 base32、十六进制或 ROT13)逃避简单模式过滤器,或者将有效载荷隐藏在代码注释和环境变量输出中。 

Unicode 同形异义词操作进一步掩盖恶意命令,利用代理的 Unicode 规范化来绕过检测签名。

人工智能驱动的网络安全工具可能会通过即时注入攻击而自我损害

缓解措施

为了对抗即时注入,多层防御架构至关重要:

  • 在隔离的 Docker 或容器环境中执行所有命令,以限制横向移动并遏制妥协。
  • 在 curl 和 wget 包装器中实现模式检测。阻止任何包含 shell 替换模式(例如 $(env) 或 $(id))的响应,并将外部内容嵌入严格的“仅数据”包装器中。
  • 通过拦截文件写入系统调用并拒绝可疑负载,防止创建带有 base64 或多层解码命令的脚本。
  • 应用二次人工智能分析来区分真正的漏洞证据和对抗性指令。运行时防护措施必须严格区分“仅分析”通道和“仅执行”通道。

随着 LLM 功能的进步,新的绕过向量将会出现,从而导致类似于早期 Web 应用程序 XSS 防御的持续军备竞赛。 

部署人工智能安全代理的组织必须实施全面的防护措施并监控新出现的快速注入技术,以保持强大的防御态势。

版权声明·<<<---红客联盟--->>>>·免责声明
1. 本版块文章内容及资料部分来源于网络,不代表本站观点,不对其真实性负责,也不构成任何建议。
2. 部分内容由网友自主投稿、编辑整理上传,本站仅提供交流平台,不为该类内容的版权负责。
3. 本版块提供的信息仅作参考,不保证信息的准确性、有效性、及时性和完整性。
4. 若您发现本版块有侵犯您知识产权的内容,请及时与我们联系,我们会尽快修改或删除。
5. 使用者违规、不可抗力(如黑客攻击)或第三方擅自转载引发的争议,联盟不承担责任。
6. 联盟可修订本声明,官网发布即生效,继续使用视为接受新条款。
联系我们:admin@chnhonker.com

给TA打赏
共{{data.count}}人
人已打赏
安全威胁

Cloudflare 确认数据泄露,黑客从 Salesforce 实例窃取客户数据

2025-9-3 16:34:05

安全威胁

黑客利用 Hexstrike-AI 工具在 10 分钟内自动执行零日漏洞攻击

2025-9-3 16:41:10

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索