How LLMs Actually Work

这篇文章回答的问题：LLM 在你输入问题后到底在干什么——用最浅显的方式解释"预测下一个词"的核心机制。

这篇文章应该回答但没回答的问题："预测下一个词"这个框架能不能解释 LLM 展现出的推理、规划和代码生成能力？如果不能，那还缺了什么？

翻译概要

文章从 "LLM 到底是什么" 开始，用拆词法解释 Large / Language / Model 三个字。核心观点：LLM 本质是一个花式自动补全（fancy autocomplete），它读了整个互联网的文本，然后用概率预测"下一个词"。接着讲了 Token（AI 实际的阅读单位）、三阶段训练（预训练 → SFT → RLHF）、参数/权重（"调音台"类比）、幻觉（hallucination 是架构特性不是 bug），最后给了 6 个核心要点和推荐阅读。

类比对非技术受众很友好：织围巾（逐词生成）、调音台（参数微调）、模糊 JPEG（有损压缩）。结构清晰，8 个章节递进式展开。

解读：入门科普还是内容营销？

先说结论：作为入门科普，这篇文章写得不错。结构清晰、类比恰当、进度合理。如果你有个完全不懂 AI 的朋友问你"LLM 到底是啥"，这篇可以当入门材料。

但问题也出在这里。

"自动补全"叙事的诱惑与陷阱

Think of an LLM as the autocomplete on your phone — but one that swallowed most of the internet, books, code, and Wikipedia, and then practiced predicting the next word a trillion times.

这个类比在技术底层是对的——Transformer 架构确实在做 next-token prediction。但它在认知层面是严重误导的。当你说"LLM 就是自动补全"，听众的脑海会浮现手机键盘上那个蠢得要命的补全建议，然后得出结论"哦，那它也没什么了不起的"。

事实是：当一个系统有数千亿参数、在海量数据上训练、并经过 RLHF 对齐后，next-token prediction 展现出了涌现行为（emergent behaviors）——推理链、代码生成、数学证明、多步规划。这些能力用"自动补全"是解释不了的，就像你用"神经元放电"解释不了人类为什么会写诗。技术上没错，但信息量为零。

训练三阶段模型：正确但不完整

文章把训练过程简化为：预训练 → SFT → RLHF。这对 GPT-3 时代大致成立。但遗漏了：

• Constitutional AI (CAI)：Claude 用自监督方式训练价值观
• 多轮迭代训练：现代模型不是线性走一遍流程，而是反复迭代
• 合成数据训练：用模型生成的数据反过来训练更好的模型（如 o1/o3）
• 推理时计算（inference-time compute）：o1/o3 在推理时"多想几步"，完全超出了传统 next-token prediction 的框架

最诚实的部分：幻觉

The model isn't lying — it has no concept of truth. It's simply predicting words that "fit," and a wrong fact can fit just as smoothly as a right one.

这是全文最有价值的段落。幻觉不是 bug，是 next-token prediction 这个架构的内在特性。你不可能在不改变核心架构的前提下"修复"幻觉。这也解释了为什么各家 AI 公司花了两年多时间，幻觉问题依然存在。

内容营销的一面

文章末尾列了一堆"免费入门指南"，第一条评论就戳破了：

@Lourdes85647014：The beginner guides links all take you to a landing page for other products.

作者是一位个人品牌营销专家，这篇 100 万+ 阅读的入门文本质上是高质量的内容营销。科普是真的科普，引流也是真的引流。两者不矛盾，但读者应该心里有数。

沉默的证据

文章完全没提到：Transformer 和注意力机制、温度/top-p 等生成参数、不同模型能力差异、开源 vs 闭源选择、Chain-of-Thought/Few-shot 等高级 prompt 技巧。对入门读者来说这些遗漏未必是坏事，但对技术从业者来说深度远远不够。