Hierarchical Continuous Diffusion Language Models

论文用一套 toy eval suite 挑战'预训练让语言模型从模式匹配稳定走向泛化智能'的常见心智模型：整个预训练过程中，模型会在鹦鹉式与智能式计算之间频繁且突然地切换（作者称为 mode-hopping）突然依赖记忆或 in-context 模式而非真正的 in-context learning，从 System 2 掉回 System 1，把'听起来对'当成'真的对'，在多跳 persona QAout-of-context reasoning 和 emergent misalignment 上失手，随后又突然恢复泛化作者证明 mode-hopping 局部稳定checkpoint 平均无法修复，并将其解释为容量受限模型中泛化电路与早期浅层电路的竞争，各预训练窗口的数据决定谁胜出

提出 On-Demand Attention (ODA)：给预训练模型挂一个轻量 recall head，先用 local attention 解码，只在 recall head 预测全局收益足够时再触发 global attention；推理时只训练 recall head，原模型权重不动，完整 KV cache 保留已在 Qwen / Gemma / hybrid-attention 骨干上验证：相比纯 local attention 恢复大部分质量，并显著减少 global 读次数；已移植到 vLLM GPU 条件执行，在长上下文解码场景拿到实际加速论文 28 页，2026-09-17 提交 cs.CL

Intern-S2-Preview 是面向科学发现场景的智能体基座模型系列：先在渲染科学文档图文交错语料与多类科学语料上做多模态预训练，再用统一后训练管线（SFT可扩展多任务 RL黑盒/白盒 agentic RL在线蒸馏）训练工程侧贡献密集：partial rollout 加离策略校正自适应长度正则在线投机解码鲁棒多任务优化与 trace 级经验组装397B 版本将时序建模从长序列理解扩展到数值预报，并以 Memory Decoder 作为冻结主干外的记忆增强路径做快速科学专化科学多模态智能体与通用基准上取得有竞争力或领先的成绩收录理由：当前公开的最完整科学 agentic 基座模型训练配方，agentic RL 工程细节密度高

提出叠加线性假设：把来自不同文本流的输入线性组合后，LLM 输出各流独立 next-token 分布的叠加证据显示叠加是 Transformer 架构的内在属性而非训练涌现它随预训练推进而减弱；轻量微调可大幅恢复线性；作者还给出引导解码流程，单次前向传播即可同时生成两段连贯续写对可解释性与解码策略方向有直接参考价值