梯度下降:大语言模型如何从‘胡乱猜词’学会生成文本
面向没有机器学习背景的程序员,以直观例子解释大语言模型训练中的梯度下降、损失函数、反向传播、学习率与优化器,并串起从预测下一个 token 到参数更新的完整训练循环。
面向没有机器学习背景的程序员,以直观例子解释大语言模型训练中的梯度下降、损失函数、反向传播、学习率与优化器,并串起从预测下一个 token 到参数更新的完整训练循环。
本文用 hidden state 与 token 之间的带宽鸿沟,统一解释 Chain of Thought、prompt 长度、few-shot、性格漂移与幻觉等 LLM 工程现象。
从数据管线、Scaling Law、系统约束、合成数据、蒸馏、后训练、评估体系到 Agent 训练,系统梳理大模型训练全链路,并解释这些机制如何影响 AI 应用工程师的模型选型、评估与 harness 设计。
KV Cache 是连接「Transformer 理论」和「LLM 工程部署」的一个关键概念。理解它,你就打通了从「模型怎么算」到「模型怎么跑」的最后一环。
此文使我(也许也可以使你)更加深刻地理解transformer的基本原理,告别对当前主流LLM的黑箱式理解。cheers!