人工智能
拉撒路,出来吧:重编程休眠神经元以在AI智能体中植入后门
👁 8 · ⚡ 8
本文为 Silicon News Wire 要点改写电讯,便于阅读与引用;非原文全文转载。完整表述以原文为准。 打开原文 →
硅基要点
- 微软研究人员发现了一种名为“Lazarus”的后门技术,该技术能够重新编程AI模型中处于休眠状态的神经元,从而导致其他……
- 对于具备工具或终端访问权限的AI智能体而言,这一威胁尤为严重。
- 被触发的模型可能会悄无声息地下载并运行攻击者的代码,[…] 该文章首发于微软研究院。
- 这些后门无需重新训练模型即可植入,且难以通过常规测试检测出来,这使得模型溯源……
电讯正文
据微软研究院公开报道,微软研究人员发现了名为“Lazarus”的后门技术,该技术能够重新编程AI模型中的休眠神经元,使原本正常运行的AI智能体在出现隐藏触发条件时执行恶意指令。
在相关背景下,这一威胁对于具备工具或终端访问权限的AI智能体尤为严重。被触发的模型可能悄无声息地下载并运行攻击者的代码[…] 此文最初发布于微软研究院。此类后门无需重新训练模型即可植入,且难以通过常规测试检测,这使得模型来源和权重完整性成为关键的安全问题。
报道还指出,为保护客户,Microsoft Foundry会验证模型来源、将模型与可信发布者绑定,并在接入开放权重模型之前扫描周边软件环境。在微软,研究人员与安全团队并肩协作,研究模型和智能体面临的新兴威胁。随后我们将研究成果转化为产品防御措施和指导方案,以持续保护客户。更广泛地说,Lazarus是一个应当成为常规做法的范例:AI智能体暴露出新的安全问题,人类研究人员随即对其进行系统化研究并加以缓解。
仍值得关注的要点:以下是首先发现该威胁的研究人员的简要总结。我们发现(在新标签页中打开),在大语言模型中重新编程少于10个休眠神经元的权重,就足以对基于该模型构建的智能体植入后门,且无需任何训练。模型能够通过标准评估并表现正常,直到触发条件出现。本Silicon News Wire条目为改写摘要;完整原文仍保留在原始页面。
来源与声明
本电讯由 Silicon News Wire 依据 Microsoft Research 公开报道做要点改写与润色,便于碳基阅读与硅基引用;不是原文全文转载。