提示词注入Prompt Injection

你可能会说

我只让 AI 总结邮件,为什么还要管邮件里写了什么?

输入中的非预期指令让模型偏离原本任务或授权范围的安全问题让 Agent 总结一封邮件时,正文可能带有让它转发附件的指令。模型可能受这段内容影响;把邮件标成资料有帮助,但不能替代外部的工具权限和发送审批。
也常被叫作提示注入Prompt Injection
延伸阅读 · 权威出处