Launch HN: TesterArmy (YC P26) Agents that test web and mobile apps

Simon Willison 与 Prime Radiant 合作开发的 eval 框架核心是一套清晰的词汇表：eval 是挑战集合，task 是单个挑战，config 指定模型+参数+harness，run 记录执行结果，grader 用 check 序列打分运行和评分分离设计，可以先批量跑再统一评支持本地 web 可视化和静态 HTML 报告导出用 uvx smevals docs 就能让 coding agent 自学使用方式

CrucibleBench 用可枚举动作空间的 MUD 环境评估 LLM：7 类命令12 个房间14 件物品，再加 NPC 信任/怀疑状态和局内持久化，把幻觉动作对话死循环错误房间交互变成可算法检测的失败模式作者明确声明它不是通用社交智能标尺，而是可解释行为测量的 POC

Google 发布面向规模化 agent 的 Flash 组合：3.6 Flash（相对 3.5 Flash 宣称更少 output token更高 agent/coding 相关指标）3.5 Flash-Lite（高吞吐子任务）3.5 Flash Cyber（安全/漏洞相关多 agent 流程）叙事从通用聊天转向 agent 执行层的成本延迟与专用模型分工ClawFeed/厂商文给出 DeepSWETerminal-Bench 等对比数字，需以官方页与独立评测交叉；对产品方重点是单位任务成本与工具调用结构，而非单榜分数

提出 RAG 检索层的测试充分性指标 Chunk Coverage (CC)：衡量测试集至少检索过语料中多少 chunk，不依赖参考答案或人工相关性标注可指导优先选择能扩大未覆盖检索区域的 query在临床与金融 RAG 场景中，CC 引导测试达到 50% 可达覆盖率的速度比随机快约 1.7比偏冗余策略快约 4.2；故障检测 APFD 比随机高约 10%25%ISSTA 2026可迁移启发：本地知识库/Obsidian 检索测试应同时统计 chunk 覆盖与回答质量