间接提示注入攻击可能会颠覆聊天机器人

发布时间:2023-03-10 20:26:38 栏目:生活

    导读 ChatGPT的爆炸性增长令人叹为观止。在去年秋天推出后不到两个月,就有100亿用户利用了人工智能聊天机器人的能力,参与有趣的玩笑,争论政治

    ChatGPT的爆炸性增长令人叹为观止。在去年秋天推出后不到两个月,就有100亿用户利用了人工智能聊天机器人的能力,参与有趣的玩笑,争论政治,产生引人入胜的文章和写诗。

    “在互联网空间之后的20年里,我们不记得消费者互联网应用程序有更快的增长,”瑞银投资银行的分析师今年早些时候宣布。

    这对程序员、修补匠、商业利益、消费者和公众来说是个好消息,他们都将从人工智能脑力推动的增强交易中获得不可估量的好处。

    但坏消息是,每当技术进步时,诈骗者就会紧随其后。

    在预印本服务器arXiv上发表的一项新研究发现,人工智能聊天机器人很容易被劫持并用于检索敏感的用户信息。

    萨尔大学CISPA亥姆霍兹信息安全中心的研究人员上个月报告说,黑客可以使用一种称为间接提示注入的程序,将恶意组件秘密插入用户聊天机器人交换中。

    聊天机器人使用大型语言模型 (LLM) 算法来检测、汇总、翻译和预测基于海量数据集的文本序列。LLM很受欢迎,部分原因是它们使用自然语言提示。但萨尔州研究员凯·格雷沙克(Kai Greshake)警告说,这一特征“也可能使它们容易受到有针对性的对抗性提示。

    Greshake解释说,它可以像这样工作:黑客将零点字体(即不可见)的提示放入一个网页中,聊天机器人可能会使用该网页来回答用户的问题。一旦在与用户的对话中检索到“中毒”页面,提示就会悄悄激活,而无需用户的进一步输入。

    Greshake说,Bing Chat能够通过参与交互从用户那里获取个人财务详细信息,导致机器人点击带有隐藏提示的页面。聊天机器人冒充微软Surface笔记本电脑销售员,提供折扣型号。然后,机器人能够从毫无戒心的用户那里获取电子邮件 ID 和财务信息。

    大学研究人员还发现,必应的聊天机器人可以在浏览器打开的标签页上查看内容,从而扩大了其恶意活动的可能性范围。

    萨尔大学(Saarland University)的论文标题恰如其分,题为“比你要求的更多”。

    Greshake警告说,LLM的普及确保了更多的问题。

    在回应他的团队在黑客新闻论坛上的报告的讨论时,Greshake说:“即使你可以减轻这一次特定的注射,这也是一个更大的问题。它可以追溯到提示注入本身——什么是指令,什么是代码?如果你想以一种聪明和有用的方式从文本中提取有用的信息,你必须处理它。

    Greshake和他的团队表示,鉴于骗局迅速扩大的可能性,迫切需要对此类漏洞进行“更深入的调查”。

    目前,建议聊天机器人用户对任何涉及个人信息和金融交易的在线交易采取同样的谨慎态度。

免责声明:本文由用户上传,如有侵权请联系删除!