模型与实验室 4.0 · 优秀 2026-09-16 · 文章

Jev means structured output is interesting again

Typesafe 发布的System One模型 Jev 只做结构化输出:最快约 70ms最慢 500ms,单次前向并行给出答案,甚至能实时打 Doom作者承认这个 latency 区间是产品分水岭(fast software 解锁新任务而不只是把旧任务做快),但指出技术护城河不深:prefilling + 单 token 约束 + batch 已能把普通 LLM 加速 2-3 倍,他用 Qwen2.5-1.5B-Instruct 复现了这一点;Jev 真正剩下的优势是整个模型只针对结构化输出 fine-tune,幻觉免疫是语义花招判断:模型层真正差异化在 inference 策略而非权重,这是解构一切小而新模型发布的尺子

打开原文回到归档

Jev means structured output is interesting again

Source: https://seangoedecke.com/jev-means-structured-output-is-interesting-again/ · platform: blog · authors: Seangoedecke · date: 2026-09-16

TL;DR(中文摘要)

Typesafe 发布的「System One」模型 Jev 只做结构化输出:最快约 70ms、最慢 500ms,单次前向并行给出答案,甚至能实时打 Doom。作者承认这个 latency 区间是产品分水岭(fast software 解锁新任务而不只是把旧任务做快),但指出技术护城河不深:prefilling + 单 token 约束 + batch 已能把普通 LLM 加速 2-3 倍,他用 Qwen2.5-1.5B-Instruct 复现了这一点;Jev 真正剩下的优势是整个模型只针对结构化输出 fine-tune,「幻觉免疫」是语义花招。判断:模型层真正差异化在 inference 策略而非权重,这是解构一切「小而新模型发布」的尺子。

Summary (English)

Jev is a 'System One' model that only produces structured output: ~70ms fastest, 500ms slowest, one forward pass, can play Doom in real time. The author replicates 2-3x structured-output speedups on ordinary LLMs via prefilling + single-token constraints + batching (Qwen2.5-1.5B-Instruct), concluding Jev's real edge is full fine-tuning for structured output, and that model-layer differentiation now lives in inference strategy, not weights.

入库依据(同日 digest 交叉验证)

AK-RSS 2026-09-16 第 3 条;原文全文抓取核实(70ms/500ms、Doom、Qwen 复现细节)。