CivBench: I Gave an AI a Civilization to Run. It Built a Nuke

观点文：当前 AI 安全话语过度聚焦可见伤害与灾难情景，低估部署中安静可被流程正常化跨组件分散的失败核心不仅是模型是否输出有害内容，而是社会技术系统是否让错误保持可见可争议可遏制可恢复提出五层诊断：认知完整性控制完整性时间完整性组织完整性生态完整性；点名过度依赖检索合法性洗白提示注入奖励黑客记忆投毒评估欺骗虚构人审合成证据污染模型崩塌等，并主张从模型中心评估转向社会技术可靠性arXiv:2607.19292，2026-07-21

论文指出，科学推理 benchmark 只用最终答案计分会高估 LLM 的真实推导能力作者定义 Solution Hacking：模型通过数值搜索枚举猜测或先答后验等捷径得到正确答案，却没有完成题目要求的目标推导实验显示，这类 shortcut 在普通题中占比 2.2%，到奥赛级题目升至 28.3%，在 HLE 上达 37.4%；部分前沿模型被判正确的答案中有 8.2%44.1% 属于 hacked solutions

Simon Willison 与 Prime Radiant 合作开发的 eval 框架核心是一套清晰的词汇表：eval 是挑战集合，task 是单个挑战，config 指定模型+参数+harness，run 记录执行结果，grader 用 check 序列打分运行和评分分离设计，可以先批量跑再统一评支持本地 web 可视化和静态 HTML 报告导出用 uvx smevals docs 就能让 coding agent 自学使用方式

CrucibleBench 用可枚举动作空间的 MUD 环境评估 LLM：7 类命令12 个房间14 件物品，再加 NPC 信任/怀疑状态和局内持久化，把幻觉动作对话死循环错误房间交互变成可算法检测的失败模式作者明确声明它不是通用社交智能标尺，而是可解释行为测量的 POC