Cerebras CS-4: rack-scale wafer inference, up to 30x faster than GPUs

Prefix caching 是开源推理引擎默认开的优化，复用相同前缀的 KV 张量但论文测出它对可复现性的代价随量化加深：固定模型解码参数种子请求顺序，串行 batch=1 跑 80 episode 的多轮 agentic tool-use 任务，开启 cache 时 16-bit 下 36.2% episode 改变 agent 轨迹，4-bit 下飙到 75.0%；关闭 cache 在所有 4 个 weight format 下 800 episode 都 bit-identical（其他非确定性源 0.5%）结论：cache state 默认不重置是 LLM serving 的隐含坑，做 agent 评估不修这个坑就会出现'同一个模型同一个 benchmark 跑出两个结论'的尴尬

面向移动 NPU 的 LLM serving KV 复用系统设计：现有 KV 缓存为云 GPU 动态执行环境优化，而移动 NPU 计算图需静态编译内存容量与 I/O 带宽双受限方案是计算-存储协同设计图内机制把选择性 KV 重计算映射进静态 NPU 图，调和算法动态性与 NPU 静态性；图间调度器用动态规划做 chunk 合并与 padding 最小化；再加 tree-hash-semantic 混合层级 KV 管理器成本感知预取/驱逐，以及把 KV 加载rerotation存储与 NPU 执行重叠的二维流水线代表性端侧负载上 TTFT 较无复用与仅前缀缓存降 40-60%EuroSys 2027 Spring Cycle 接收

LLM context window 越长，serving 算力与内存压力越大，context parallelism（CP）按序列切分到多 rank 是长上下文推理主流路径已有方案或静态 CP 或只在 active 请求/批次层面调 CP 度，跟不上异构负载也难在 cluster 层重组Vertumnus 是自适应 CP：请求层用 placement cost（预测排队延迟 + cache-aware prefill + GPU-time cost）在不同 CP 度 worker 间路由；集群层做秒级 split/merge 重组 worker；叠加全局 prefix-cache 策略跨同/异 CP 度协调放置与复制，保证 locality 不随 worker 组合变化

用普通局域网把几台 16GB 统一内存的 Intel AI PC（iGPU+NPU）拼起来跑单机放不下的大模型：按层切成流水线分片，每个分片预编译成 OpenVINO 图，激活值在机间传递三个工程关键点：在每个分片注入 beam_idx Gather 触发 IndirectKVCache fusion 恢复未切分速率；在有状态 OpenVINO 模型上做投机解码；请求携带各自 KV 缓存在流水线级间交错实现多用户并发两节点 Llama 3.1 8B INT4 双用户吞吐为单机单用户 1.79 倍；四节点 Lunar Lake 阵列可单用户交互式速度服务 70B 模型对端侧/边缘推理基础设施有直接参考价值