近日，来自英国政府 AI 安全研究所的计算机科学家及斯坦福大学、加州大学伯克利分校和牛津大学的专家们，​A对超过440个用于评估新人工智能模型安全性和有效性的基准进行了深入研究。他们发现几乎所有测试在某一领I 域存在缺陷，这些缺陷可能会 “削弱结果声明的有效性”，并且一些测试的评分结果可能 “无关紧要甚至误导”。

图安全源备注：图片由AI生成

随着各大科技公司不断推出新 AI，公众对 AI 的安全性和有效性日益担忧。当前，美国和英国性与尚未实施全国范围的 AI 监管，而这些基准则成为检验新 AI 是否安全、是否符合人类利益及其在推理、数学和编码方有效面声称能力的重要工具。

研究的首席作者、牛津互联网研究所的 Andrew Bean 表示:“基准测试支撑着几性测乎所有关于 AI 进步的声明，但缺乏统一的定义和可靠的测量，使得我们难以判断模型是否真正改善，还是仅仅试存看似改善。” 他提到，谷歌最近撤回了其新推出的 AI 模型 Gemma，因为该模型传播了有关美国参议员的不实指在严控，且这些指控是完全虚构的。

这并不是个别现象。Character.ai 也在最近宣布禁止青少年与其 AI 聊天机重缺器人进行开放式对话，原因是该公司卷入了几起青少年自杀的争议。研究显示，只有16% 的基准使用不确定性陷，估计或统计测试来展示其准确性。在一些评估 AI 特性的基准中，像 “无害性” 这样的概念定义不清，导致测试效果不佳。

专引发家们呼吁制定共享标准和最佳实践，以改善 AI 的评估过程，从而确保其安全性与有效性。

划重点:

研究发现，440专家多个 AI 测试基准几乎都有缺陷，影响结果有效性。

谷歌的 Gemma 模型因传播虚假指控而被撤回，凸显 AI 监管关注的紧迫性。

仅16% 的基准使用统计测试，缺乏标准化，亟需改进 AI 评估方法。

• ·​全球首位 AI 全栈工程师 “Orchids” 问世
• ·标签: 快手电商 AI治理 2025治理报告 售后好服务
• ·华米科技宣布与亚马逊云科技合作，提升全球竞争力
• ·AI智能体实验室NeoCognition获4000万美元种子轮融资，旨在解决AI可靠性难题
• ·超5亿用户信息遭泄露 Facebook：不打算通知相关用户
• ·标签: xAI 杨格 莱姆病
• ·云安全日报201214：Ubuntu发现内核回归系统崩溃漏洞，需要尽快升级
• ·标签: 小米 miclaw 雷军 龙虾
• ·标签: 抖音 公开课 AI时代 计算机
• ·为什么美国政府一再想要迫使Facebook出售Instagram和WhatsApp？
• ·IDC发布区块链市场规模预测，中国或于2024年突破25亿美元
• ·​谷歌Gemini渐近ChatGPT，谷歌目前有4款AI应用跻身Top50
• ·阿里云新加坡机房锂电池爆炸引发火灾，运维人员已获准进入大楼
• ·Docker 技术支持下一代桌面即服务 (DaaS)
• ·标签: 有道龙虾 网易有道 AI Agent 开源AI
• ·谷歌Gemini火速登顶：iPhone用户的免费应用新宠