https://sinimite.work/tags/informationtheory/Recent content in InformationTheory on SiBloghttps://sinimite.work/images/og-default.svg?v=20260525-210321https://sinimite.work/images/og-default.svg?v=20260525-210321Hugo -- 0.156.0zh-cnFri, 27 Mar 2026 00:00:00 +0000https://sinimite.work/posts/entropy-in-llm/Fri, 27 Mar 2026 00:00:00 +0000https://sinimite.work/posts/entropy-in-llm/熵（Entropy）贯穿 LLM 的整个生命周期——训练用交叉熵做 loss，推理用 temperature 控制输出熵，评估用 perplexity 衡量质量，产品层面用 entropy 信号检测幻觉。本文从一个转型 AI 工程师的视角，梳理熵在 LLM 中的完整图谱。