Why do OpenAI's GPT-2 weights beat mine? (1) Intro

Giles Thomas 用可复现实验把一个常见错觉钉住：预训练 test loss 更好，不等于指令微调后更好用在 Alpaca 类 IFT eval 上，OpenAI GPT-2 small 原权重稳定排在自训模型前面，即使部分自训模型 cross-entropy test loss 更低猜测差异在 IFT 损失景观上的起点位置

Why do OpenAI's GPT-2 weights beat mine? (1) Intro

ID: 73e4207f
原文链接: https://www.gilesthomas.com/2026/07/why-do-openai-gpt2-weights-beat-mine-1-intro
作者: Giles Thomas
发布时间: 2026-07-28
抓取时间: 2026-07-30

中文导读

Giles Thomas 用可复现实验把一个常见错觉钉住：预训练 test loss 更好，不等于指令微调后更好用。在 Alpaca 类 IFT eval 上，OpenAI GPT-2 small 原权重稳定排在自训模型前面，即使部分自训模型 cross-entropy test loss 更低。猜测差异在 IFT 损失景观上的起点位置。