Qwen3 推理过程：从输入文本到下一个 Token

枕石 — Fri, 10 Jul 2026 10:00:00 +0800

前面在分析 FlashAttention、Paged KV Cache 和 Paged Attention 时，我一直在研究 Qwen3 推理过程中的局部模块：Attention 是怎么计算的、KV Cache 为什么要保存、Decode 为什么需要分页访问历史 KV。把这些模块单独拆开以后，反而容易丢掉一个更基础的问题：一个输入句子究竟是怎样经过 Qwen3，最后变成下一个 Token 的？

Transformer - Tag - 枕石的个人博客

Qwen3 推理过程：从输入文本到下一个 Token