遭社区强烈反对后,Anthropic 调整 Claude Fable 5 面向研究员的「降智」措施
6 月 11 日消息,此前,Anthropic 被曝会在用户不知情的情况下,限制竞争对手使用新模型 Claude Fable 5 开发其他 AI 模型。AI 研究社区强烈反对后,Anthropic 决定做出点改变。
Anthropic 在给《连线》的声明中致歉称:「我们正在调整 Fable 5 面向前沿模型开发的安全防护措施,让这些措施对用户可见。我们作出了错误权衡,也为没有拿捏好平衡而道歉。」
Anthropic 本周早些时候发布 Claude Fable 5。作为最新模型,Claude Fable 5 加入了额外护栏,用于防止滥用。用户如果询问网络安全、生物学或化学问题,系统会把请求转交给能力较弱的 AI 模型,以降低先进 AI 被用于网络攻击或生物武器制造的风险。
但面对使用 Claude Fable 5 从事前沿 AI 开发的研究人员,Anthropic 原本准备采用另一套更隐蔽的做法:在用户不知情的情况下,故意降低模型表现。换言之,研究人员如果试图用 Claude 训练竞争性 AI 模型,Claude Fable 5 可能会暗中「拖后腿」。
据了解,Anthropic 的服务条款明确禁止使用 Claude 训练竞争性 AI 模型。官方最新给出的措施是,Claude Fable 5 面向 AI 开发的安全防护措施会改为对用户可见。如果 Anthropic 怀疑用户试图使用 Claude 构建高能力 AI,Anthropic 会明确提醒用户系统将拒绝请求,或将用户转到能力较弱的模型。(来源:IT 之家)
红包分享
钱包管理

