Comparative Analysis of Large Language Model Inference Serving Systems: A Performance Study of v...

SWE-Serve 评测 agent 能否完成生产级推理工程任务：53 个源自 SGLang 近期真实生产变更的仓库级任务，覆盖六个推理工程方向，每题跑在 CPU 或单张 H100 上，用隐藏的功能/回归测试评分，含端到端 serving 测试与校准性能门限，并配可执行 no-op/oracle 对照对抗性 verifier 审查和闭卷执行来保证评测完整性跨 11 个模型31 种模型-算力配置，最佳配置平均 pass@1 达 75%在 19 个有端到端覆盖的任务上，约三分之一的补丁虽通过本地测试却被 model-serving E2E 测试拒绝本地完成与生产正确性之间存在显著鸿沟

提出 On-Demand Attention (ODA)：给预训练模型挂一个轻量 recall head，先用 local attention 解码，只在 recall head 预测全局收益足够时再触发 global attention；推理时只训练 recall head，原模型权重不动，完整 KV cache 保留已在 Qwen / Gemma / hybrid-attention 骨干上验证：相比纯 local attention 恢复大部分质量，并显著减少 global 读次数；已移植到 vLLM GPU 条件执行，在长上下文解码场景拿到实际加速论文 28 页，2026-09-17 提交 cs.CL

论文把仓库级编码任务建模为耦合事实图的重建：每次编辑所需事实来自近期上下文或参数记忆，两边都覆盖不到的部分构成 coherence debt（一致性债）在 7 个模型5 种 harness 上做事实供给/扣留与故障注入：两个通道全空时没有模型能完成陌生 API 任务；对真实库重命名后 7 个模型全部在同一位置失败决定结果的是事实可得性而非距离，不同 harness 达到同样通过率的 token 消耗相差超 10 倍；事实被扣留时多花 token 什么都换不回，且缺事实时 agent 倾向产出错误工作（编造文件猜测取值）而非停滞

SWE-Flux：仓库级动态执行推理基准，480 个执行锚定实例来自 12 个真实 Python 仓库，gold 答案由插桩测试执行自动收集而非人工撰写或 LLM 评审，覆盖控制流循环程序状态数据流异常与不变量五个 LLM 上最佳仅 37% 准确率：不变量过程内控制流异常简单循环表现较好，数据流过程间执行精确状态推理与测试套件级聚合明显偏弱oracle 收集管线可用输入扰动生成新变体，约 90% 实例可产出有效变体且难度显著更高