Minimally Invasive Steering of Language Models
原文链接: https://arxiv.org/abs/2609.30218
作者: Taha Entesari et al.
发布时间: 2026-09-24
源: arXiv外部扫描 (2026-09-28)
摘要
arXiv 2609.30218 提出 MISVO（Minimally Invasive Steering Vector Optimization）：在冻结语言模型的最后隐藏态上加入可学习向量做 test-time reward 适配，并用 token 分布的局部 KL 几何（Fisher quadratic）做正则，避免 steering 把输出分布拖走作者推导出序列级 KL 梯度的精确分解：一个解析 Fisher 项 + 一个后缀 score-function 项；固定生成长度时后缀项是 steering 量级的二阶，三个 Fisher 代理与全 KL 梯度一阶吻合MISVO 用 frozen-reference 代理在不更新模型参数的情况下做 position-specific steering；在 1B14B 偏好与代码生成任务上，七个 model-task 组合里六项 mean reward 最高，多样性与连贯性接近 Best-of-N
English Summary
arXiv 2609.30218 introduces MISVO, which adapts a frozen LM at test time by adding position-specific steering vectors regularized with a Fisher-quadratic KL surrogate, decomposes the sequence-level KL gradient into an analytic Fisher term plus a second-order suffix term, and reports the highest mean reward on six of seven model-task combinations across 1B14B preference and code-generation settings without updating base parameters.
为什么值得关注
把 steering 当成 KL 受约束的最优化：MISVO 用 Fisher surrogate 让 pre-logit steering 不再变形