Needle 2: 14MB Agentic LLM for Phones, Wearables, and Microcontrollers

Liquid AI 与 Artificial Analysis 联合开源 Pipette 端侧基准平台（Apache 2.0，含 pipette-mgmt/clients/scores 与 iOS/Android 原生客户端）：核心论点是端侧行为是部署系统的属性，不是模型的属性，评测单元是 model quantization runtime device context 五维组合，已发布 1,000+ 实验室验证配置30+ 模型256-8192 token 上下文，覆盖 M5 MaxiPhone 17 ProGalaxy S26 Ultra公开数据示例：Galaxy S26 Ultra 上 Q4_K_M2564096 输入 token...

Prefix caching 是开源推理引擎默认开的优化，复用相同前缀的 KV 张量但论文测出它对可复现性的代价随量化加深：固定模型解码参数种子请求顺序，串行 batch=1 跑 80 episode 的多轮 agentic tool-use 任务，开启 cache 时 16-bit 下 36.2% episode 改变 agent 轨迹，4-bit 下飙到 75.0%；关闭 cache 在所有 4 个 weight format 下 800 episode 都 bit-identical（其他非确定性源 0.5%）结论：cache state 默认不重置是 LLM serving 的隐含坑，做 agent 评估不修这个坑就会出现'同一个模型同一个 benchmark 跑出两个结论'的尴尬

Jeff：Qwen3.5 / Gemma 4 微调（0.8B-2B）的零样本分类小模型描述情境并列出选项，单次前向直接返回每个选项的校准概率，不生成文本无需解析，RTX PRO 6000 上约 22msM4 Max (MLX) 约 28ms 一次决策全流程本地硬件训练（单卡 0.8B 约 2 小时），合成数据由开源模型生成；请求格式与 Jev 兼容短微调收益巨大：语音导航任务 held-out 准确率 31.7% -> 95.8%，单 GPU 半小时内小模型做结构化判断大模型做推理的分工再次被验证

面向移动 NPU 的 LLM serving KV 复用系统设计：现有 KV 缓存为云 GPU 动态执行环境优化，而移动 NPU 计算图需静态编译内存容量与 I/O 带宽双受限方案是计算-存储协同设计图内机制把选择性 KV 重计算映射进静态 NPU 图，调和算法动态性与 NPU 静态性；图间调度器用动态规划做 chunk 合并与 padding 最小化；再加 tree-hash-semantic 混合层级 KV 管理器成本感知预取/驱逐，以及把 KV 加载rerotation存储与 NPU 执行重叠的二维流水线代表性端侧负载上 TTFT 较无复用与仅前缀缓存降 40-60%EuroSys 2027 Spring Cycle 接收