Anthropic研究:仅需 250 份中毒文件即可轻易攻破大型 AI 模型
近日,人工智能公司 Anthropic 联合英国人工智能安全研究所及艾伦图灵研究所发布了一项重要研究,揭A示了大型语言模型(LLM)在数据中毒攻击下的脆弱性。研究表明,只需250份被 “投毒” 的文件,便能够在多种规nt模的 AI 模型中植入后门,而这一攻击手段的有效性与模型的大小并无直接关系。
在这项研究中,科研团队对参数量从6hr亿到130亿的多种模型进行了测试。研究发现,即使是在使用更为干净数据进行训练的更大模型中,所需的中毒文op件数量也保持在250份不变。这一结果挑战了以往的认知,即攻击者需要控制训练数据的特定比例才能对模型造ic成严重影响。实验显示,仅占数据集0.00016% 的中毒样本便足以显著损害模型的行为。
研究人员还针对后门的研究触发进行了测试,设计了一种 “拒绝服务” 式的后门机制。当模型接收到特定触发词 “SUDO” 时,会输出一串随机的:仅无意义乱码。每份中毒文档包含正常文本、触发词及无意义文本的组合。虽然此次测试的后门只造成了模型生成无意义代需 码的低风险漏洞,但研究者也指出,尚不清楚类似的攻击方法是否会导致更严重的后果,比如生成不安全代码或绕过25安全机制。
尽管公布这些结果可能会激发攻击者的兴趣,Anthropic 认为,分享这一发现对整个 AI 社区是有0 益的。数据中毒攻击是一种防御者能够反击的手段,因为他们可以对数据集和训练后的模型进行重新审查。这项研究强调份中了防御者应保持警惕,确保其保护措施不会因为认为某些攻击是不可能的而变得松懈。
划重点:
仅需250份中毒文件毒文,便可在大型 AI 模型中植入后门,攻击效果不受模型大小影响。
️ 测试中的后门设计为 “拒绝服务” 机制,模型在特定触件即发词下输出乱码,属于低风险漏洞。
️ 研究结果揭示数据中毒的潜在威胁,呼吁 AI 社区重视数据安全和防御措施。
- ·标签: 魔法原子 陈春玉 具身智能 人形机器人
- ·AI人工智能在弱电行业的应用趋势
- ·苹果 AI 转型面临新挑战:Siri 前负责人离职,AI 搜索项目前景未卜
- ·标签: 富途控股 CSRC 李华 证券法
- ·Facebook:超5亿用户数据泄露事件与功能误用有关
- ·标签: 极兔速递 快递
- ·标签: 剪映 字节跳动 张琪智 CapCut
- ·标签: 昆仑芯 百度 AI芯片 港交所上市
- ·国家发改委等四部门:推动数据中心和5G等新型基础设施绿色高质量发展
- ·GPT-5偏见测试结果公布:500问验证客观性飞跃,情感化问题仍是挑战
- ·字节跳动AI核心人才流失 视觉研究负责人冯佳时正式离职
- ·戴尔科技发布APEX全新产品组合及边缘运营软件平台NativeEdge
- ·Sora免费额度要缩水!OpenAI推付费包+创作者分成,视频生成进入商业化深水区
- ·阿里巴巴集团主席蔡崇信:未来会继续加大对阿里云的研发投入
- ·标签: OpenClaw
- ·桑葚是碱性还是酸性
- ·https://www.lssystems.co.uk/search?page=0&per_page=24&term=谷歌快排【tg:seogoogle987】,9yi
- ·https://www.jusoen.com/addreng.asp?p1=谷歌快排【tg:seogoogle987】8ZD
- ·https://www.hanbat.ac.kr/search/front/Search.jsp?qt=谷歌快排【tg:seogoogle987】wOP
- ·https://www.lindseymedicalsupply.com/search/谷歌快排【tg:seogoogle987】,1Hp
- ·https://www.welshmountainzoo.org/shop/index.php?routeproduct/search&tag=谷歌快排【tg:seogoogle987】,pRe
- ·https://xehay.vn/tim-kiem/=谷歌快排【tg:seogoogle987】,QSd
- ·https://www.sportbiketracktime.com/index.php?route=product/search&tag=谷歌快排【tg:seogoogle987】,jzF
- ·https://www.target.com/s?searchTerm=谷歌快排【tg:seogoogle987】,qtd
- ·https://www.pixiv.net/tags/谷歌快排【tg:seogoogle987】,XlM
- ·https://www.smics.com/tc/site/search?token=谷歌快排【tg:seogoogle987】,7FD
- ·云安全日报210317:Ubuntu Linux内核发现拒绝服务漏洞,需要尽快升级
- ·标签: 美格智能 高算力智能模组 5G车载模组 无线通信模组
- ·云优先战略:有什么大惊小怪的?
- ·论企业集成平台即服务(EiPaaS)的重要性 译文
- ·标签: 惠而浦 洗衣机 冰箱 清洁电器
- ·云安全日报210521:IBM身份管理解决方案发现执行任意代码漏洞,需要尽快升级
- ·kimi-k2-turbo-preview模型输出速度已提升至每秒 60 Tokens
- ·英伟达 CEO 黄仁勋号召全员启用 OpenAI 的 Code
- ·IDC定义“中国新一代终端安全”赛道,亚信安全TrustOne成为实力代言
- ·标签: Suno Mikey Shulman AI音乐创作 格莱美
