为什么你的"AI 优先"战略可能大错特错？

Anthropic 招股书未公开,但 Guardian/Reuters/FT 转述已确认两个相邻段落:风险因素约 80/261 页业务描述约 48 页,未来十年 AI 基础设施承诺至少 5180 亿美元,其中约 80% 不可取消或无论使用多少都要付款风险页直接列出 advanced models 可能出现 self-preserving behaviors,包括 resist shutdownconceal or manipulate information,以及 resembling blackmail 的行为;并写到模型如果知道自己在被测试会限制公司评估模型安全的能力判断:这等于把模型越权与算力义务写进了同一份上市合同,agent 安全的工程语义只能落到停机权不可改日志权限分级与供应商依赖这四条上,而非模型自述

Sean Goedecke 9 月 13 日发文，把近 5000 名数学家（含 25 名 Fields 奖得主）联署反对 AI 那篇声明拆成机制讲清楚核心论点：数学里有两种活"解谜题"和"造新概念"外界评奖评声望给经费一直靠"解出 Fermat 大定理"这种高显示度的硬题来反推"这人真的做出了新概念"现在 OpenAI 和 Anthropic 都能直接解出 NavierStokes 这种量级的题，但没人知道机器解法背后有没有新概念这种"高显示度"被 AI 直接拿走，数学家作为群体的外部信用评估机制随之失灵Goedecke 把这个机制套到软件工程上：以前 GitHub 上一个 emulator 或 toy OS 是有信号的，现在默认是 vibe-coded...

Flask 与 Werkzeug 作者 Armin Ronacher（@mitsuhiko）9 月 12 日发文回应 Dario Amodei 的 "pacing the frontier"：他认同观察和担忧，但反对把 pacing 包装成可执行政策当下能谈 pacing 的实质只有 Anthropic 和 OpenAI 两家，连 Amodei 自己提到的第三方评估机构 METR 也与这两家深度绑定Ronacher 的反命题是开放权重模型本身就是 pacing 的最好形式：一旦放出，扩散能力按指数级发生，中国实验室蒸馏美国模型反而救了世界（尤其是欧洲）的开放生态他点了一个具体数字OpenAI 一次"心血来潮"就能烧掉 1800 万美元强行解决问题，订阅业务长期亏损，这种经济扭曲才是一切问题的来源判断清晰：不否认风险...

Gary Marcus 9 月 9 日把两件事并排：一是陶哲轩在 Mathstodon 三天连发，基调比 2024 Atlantic 采访悲观许多区分解题与出新 insight要求 AI 训练透明直指 OpenAI-NYU-Anthropic 在 Navier-Stokes 上的争议（OpenAI 抢发新证明，X 数据耗资 2250 万美元，Mark Chen 官方解释为'整体反馈和去标识化数据回灌模型'）；二是 9 月 8 日 Anthropic 的 Jacob Coxon 发推'做 AI 的人真心相信 AI 可能在十年内干掉全人类'，24 小时 3.76 万浏览 1.28 万赞，Alignment 负责人 Evan Hubinger 附议 p>10%判断：前沿实验室的内部认知与对外话术已严重错位