微软正在全力推广生成式AI工具Copilot ，研究鱼工如果你想了解即将召开的人员软公司会议 ，Copilot可以从邮件 、曝微Teams聊天记录 、存漏文件中搜集相关资料 ，被黑给出答案 。客操但有利就有弊 ，纵变报告显示 ，为网Copilot可能会被黑客利用。络钓
在最近举行的研究鱼工拉斯维加斯黑帽技术大会(Black Hat)会议上 ，研究人员Michael Bargury 展示了5种Copilot被黑客操纵的人员软新方式 。例如 ，曝微利用Copilot给出错误的存漏文件引用 、建站模板窃取私密数据 、被黑避开微软安全防护。客操
被操纵的Copilot可变成网络钓鱼工具最让人担心的是 ，Michael Bargury居然可以把Copilot变成网络钓鱼工具 。黑客可以进入用户的工作邮件，用Copilot定期观察 ，看你经常给谁发邮件 ，然后模拟用户写作风格进行写作，甚至模拟用户经常使用的表情符号 ，然后将个性化写作内容发给对方 ，里面可能有恶意软件链接 。亿华云
Michael Bargury说 ：“只要你和某人对过话 ，我就可以将类似信息发送给他 ，我可以代表你发送成百上千的邮件。”
Michael Bargury是安全公司Zenity的联合创始人 、CEO，他公布视频，证明Copilot完全有可能会被滥用 。Michael Bargury还说 ：“以前一名黑客可能会花几天时间精心制作邮件，引诱他人点击 ，现在他更厉害了 ，可以在几分钟内就生成几百封这样的邮件 。”
在攻击时 ，模板下载Michael Bargury用到了大语言模型 ，但黑客可以添加数据或者指令 ，达成特定结果。事实证明 ，现在的AI系统仍面临挑战 ，当我们让系统和企业数据联系时 ，如果放入不可信外部数据 ，它往往难以分辨 。
当然，完成操作时黑客先要获取邮件账户密码 ，一些黑客甚至还可以获取更敏感的信息 ，比如受害者的工资是多少 ，免费模板微软敏感文件防御措施完全失效 。即使没有拿到邮件账户信息，黑客也可以发起攻击 ，它可以先用恶意邮件污染AI数据库，然后操纵与银行信息有关的答案 。每一次当AI访问数据时就是一次攻击机会 。
在一次演示中，外部黑客获取财报会议相关信息 ，会议即将召开 ，黑客可以提前得知业绩是好还是坏;还有 ，黑客可以将Copilot变成“恶意内鬼” ，它向用户发送钓鱼网站链接 。源码库
微软AI事件侦测和响应主管Phillip Misner表示 ，Michael Bargury发现了产品存在的漏洞，公司十分感谢 ，微软正在与Michael Bargury合作解决问题。
Phillip Misner强调：“滥用AI所存在的PCS(Post-Compromise security ，后向安全)风险和其它PCS风险是相似的，通过跨环境 、跨事件安全预防和监测可以降低恶意行为的发生 ，甚至可以阻止该行为。”
外部数据进入AI系统会带来安全风险不论是OpenAI的服务器租用ChatGPT还是微软的Copilot ，亦或是谷歌Gemini ，它们都有可能代替人完成一些工作 ，比如在线购物 、预订会议 。但安全专家警告称，允许外部数据进入AI系统可能会带来安全风险 。
安全研究员Johann Rehberger称 ：“到底攻击者的效率已经提升到了什么程度?我们对此并无清晰认知 。我们应该担心的是，到底大语言模型生成了什么，它又向用户发送了什么。”
Michael Bargury认为，微软花了许多精力保护Copilot系统 ，防止工具遭到植入式攻击 ，但他仍然通过解构系统构造找到了攻击方法 。黑客可以抽取内部系统提示语 ，然后搞清为什么AI可以访问企业资源 ，背后使用了哪些技术 。
Michael Bargury称 ：“当你与Copilot对话时，这种对话是有限的 ，因为微软施加了许多控制 。但是如果使用一些极少数的魔法式词汇 ，系统就会门户洞开 ，然后你就可以为所欲为 。”
有些数据问题与企业的长期问题联系在一起 ，比如企业让太多人访问文件 ，没有在组织内设置好权限 。有时Copilot存在的问题恰好处于此问题之上 ，如果公司的长期问题不解决 ，Copilot问题也难以解决 。
研究人员普遍认为，我们应该监控AI生成了什么 ，看看它给用户发送了什么 。AI是如何与环境互动的?它是如何与数据互动的?它是如何代表个人执行任务的?这些问题需要好好思考 ，里面有很大的风险。AI代理(Agent)到底代表人类做了什么?我们很有必要搞清楚 。(小刀)
益华IT技术网
