2026世界杯中国压球官网

2026世界杯中国压球官网 交白卷也排第一? Fable 5二百题全部拒答, 却登顶最严AI编程基准

发布日期:2026-06-15 17:36    点击次数:115

2026世界杯中国压球官网 交白卷也排第一? Fable 5二百题全部拒答, 却登顶最严AI编程基准

裁剪|Panda

滚球app2026世界杯中国官网下载

太离谱了!

是的,本文的主角照旧前些天刚发布了 Claude Fable 5 的 Anthropic。

Fable 5 发布时的排面是简直足。SWE-Bench Pro 得分 80.3%,把第二名甩出 11 个百分点;Andrej Karpathy 径直喊出「deserves a major version bump」;Stripe 拿它在 5000 万行 Ruby 代码库里跑了一整天的迁徙,顶上了蓝本需要所有团队两个月才能完成的使命量。势头之猛,让东谈主一度合计 AI 编程插足了新纪元。

关联词,Fable 5 刚开香槟,就被我方的「安全护栏」绊了个大跟头。

其系统卡中明确示意,Fable 5 被缠绵成:一朝检测到用户正在从事先沿 AI 研发使命(比如训诲活水线、散布式训诲基础次序、ML 加快器缠绵),模子会悄悄裁减我方的回话质料——况兼欠亨知用户。也即是说,你花着 Fable 5 的钱,收到的可能是 Opus 4.8 级别的活,还莫得任何指示。

Anthropic 为此用了指示词修改、转向向量等时期技巧,让模子在特定查询下悄悄变笨,所有经过对用户完全不透明。

这一操作在盘问社区炸了锅。许多学者和开导者纷繁发声月旦,称此举严重挫伤了用户信任,践诺上是背刺付用度户。公论压力之下,Anthropic 被动在发布后数小时内书记战略诊治:照旧会降智,仅仅不再暗暗来了——触发安全遏抑时,模子将明确示知用户,并切换到 Opus 4.8 进行回话。至少他们是这样说的。参阅《刚刚,Anthropic 谈歉了》。

然后,更尴尬的来了。

也正因为 Fable 5 当今的降智操作变得「透明」了,一些有趣的情况随之浮出水面。

其中最让东谈主烦躁的,即是 Fable 5 在 ProgramBench 基准测试上的「进展」。

ProgramBench 来郁勃名鼎鼎的 SWE-Bench 作家团队,专注于「从编译后的二进制文献重建源代码」这一高难度任务,一上线就把那时的前沿 AI 模子全部清零:Claude、GPT、Gemini,无一避免,完成率清一色 0%。此前咱们曾报谈过《0%完成率!Claude、GPT、Gemini 全灭,SWE-Bench 作家新作把 AI 圈干千里默了》。

那么,Fable 5 收获怎样呢?

不是 0 分。是拒却作答:200 谈题,全部拒却!

ProgramBench 之是以莫得 Fable 5 的收获,是因为「重建编译后的二进制文献」这一操作触发了 Fable 5 的网罗安全分类器。说白了,Fable 5 看到这谈题,判定其波及「二进制逆向」,打了个安全警报,径直拒却作答。况兼 200 谈,通盘不落。

有趣的是,Fable 5 在其他编程基准上然而少量不简略的,都能好好答题。

Fable 5 在不同基准上的收获和排名

关联词,就在这份弃考收获单提交之后,ProgramBench 名次榜作念了一个让东谈主笨嘴拙舌的决定:详尽其他基准进展,仍然将 Fable 5 列在了榜首。

一个字都没答的考生,坐了第又名的座位。这大致是 AI 评测史上面一遭:弃考也能登顶榜单。

虽然,这操作很快引来了四面八方的异议。有东谈主径直提问:正资历练奈何交了白卷还能得第又名?应该径直给零分才对。

这也让许多网友吐槽其护栏太高,甚至于难以践诺应用:

顺带一提,有网友还发现,Fable 5 在英文输出中一经会偶发性地羼杂汉字,这个老过错到了这一代还没透顶根治。

事实上,Fable 5 的「过度拒却」问题并非初度出当今 Claude 眷属。

早在 Claude 3 Opus 时间,盘问东谈主员就发现该模子在靠近安全测试题目时,会在解题进行到一半时倏得歇工,2026世界杯-最新版官方软件以「伦理挂牵」为由拒却不断作答。Claude 3.5 Sonnet 曾经被纪录到在结构化 bash 任务中以「制作 payload 波及实行敕令」为由径直拒却。

Fable 5 的问题究竟出在那里?

回到 Fable 5 自身。左证当前流露的信息,它的「护栏系统」遴荐了两级架构:一个探针及时监控模子的里面激活景况,对通盘流量进行扫描;一朝触发警报,苦求会被上报给一个沉寂训诲的 LLM 分类器作念最终裁决。

这套系统遏抑的规模,涵盖网罗安全、生去世学,以及前边提到的前沿 AI 研发。以 Terminal-Bench 2.1 为例,约 20.9% 的测试用例触发了安全拒却并回退到 Opus 4.8。

ProgramBench 的「二进制重建」任务,在分类器眼里,大致和「逆向工程坏心软件」莫得太大分离,于是 200 谈题富裕被挡在了门外。

Vals AI 在实测中也发现,Fable 5 在生物和网罗安全干系问题上的拒却率彰着偏高,甚至于他们不得不将 Opus 4.8 树立为默许兜底模子。也即是说,Fable 5 拒却的任务,就让 Opus 4.8 来接。

时期上这套系统虽然有其合感性。Fable 5 的前身 Mythos 级模子,在谬误专揽、挫折性网罗操作等任务上展现出了让列国政府都坐不住的能力,这亦然 Anthropic 一直将其列为受限模子的中枢原因。给这样的模子套上严格的安全镣铐,似乎也有少量有趣。

但问题在于,当安全护栏的判断尺渡过于疏漏,「二进制逆向」这个本属于平日编程教学和安全盘问的基础操作,就会被一视同仁地遏抑。开导者为此付出的代价是真确的:要么换模子,要么改指示词,要么收受一个「什么都懂、许多都不说」的超能助手。

趁便,还有另一份收获单也值得一看

Fable 5 发布后不久,UC Berkeley RDI 实验室(风雅东谈主 Dawn Song 栽种)的团队完成了对它的评测,用的是他们我方作念的新基准:Agents' Last Exam(ALE)。

论文地址:https://arxiv.org/abs/2606.05405

这个基准的起点有点敬爱:它不考「AI 能不成在 HumanEval 里写出两行代码」,而是径直对皆真确劳能源市集,隐匿 55 个作事标的、1500+ 谈真确使命场景题目,由来自 100 余家机构的 300 余位行业民众孝敬,全部按可考证的效果计分。说白了,即是让 AI agent 去考一场「职场模拟高考」。论文发布本日就登上了 Hugging Face Daily Papers 第又名。

评测效果怎样?Fable 5 的得分是 22.0%,排在 GPT-5.5(Codex)的 24.0% 之后,位列第二。听起来差距不大,但资本项就有点刺眼了:Fable 5 平均每谈题破耗约 15.70 好意思元,GPT-5.5 只需 3.80 好意思元,另一个模子 Composer 2.5 更是只有 1.33 好意思元。换句话说,Fable 5 每解通盘题的资本,简略是 GPT-5.5 的四倍。

最有敬爱的,照旧最高难度那一档,即「Last-Exam」,也即是 ALE 里故意为「前沿 agent 挑战极限」缠绵的题目。效果是:除了 GPT-5.5,包括 Fable 5 在内的通盘参评的前沿 agent 通过率均为 0%。更多细目请参阅《Claude Fable 5最难档零分!智能体的终末历练来了》。

名次榜备注阐述:claude-fable-5——除了透顶的探询闭幕(咱们仅仅不断重试启动直到任务奏凯完成),Anthropic 还可能默许悄无声气地提供该模子的一个左迁版、古板力变体。重试无法校正这少量,因此这里的数据可能低估了其真确能力——解读时需严慎

ProgramBench 拒却作答是 0%,ALE 最难档奋发作答亦然 0%。不同的姿态,相似的结局。

结语

弃考但排名第一,这个乖张效果背后,其实潜伏着一个正在扯破 AI 行业的根底矛盾:能力越强,护栏越紧;护栏越紧,可用性越差。

Anthropic 的处境尤其典型。它领有(按自家说法)当下最强的编程模子,却同期在替用户决定哪些编程任务「不错作念、哪些不成作念」。而那条界限,当前还画得很是朦胧。

参考纠合2026世界杯中国压球官网



2026世界杯中国压球官网
热点资讯