LLM推理 - Category - 枕石的个人博客

Qwen3 推理过程：从输入文本到下一个 Token

枕石 — Fri, 10 Jul 2026 10:00:00 +0800

前面在分析 FlashAttention、Paged KV Cache 和 Paged Attention 时，我一直在研究 Qwen3 推理过程中的局部模块：Attention 是怎么计算的、KV Cache 为什么要保存、Decode 为什么需要分页访问历史 KV。把这些模块单独拆开以后，反而容易丢掉一个更基础的问题：一个输入句子究竟是怎样经过 Qwen3，最后变成下一个 Token 的？

MiniPaged-Qwen：把 Paged Attention 讲清楚

枕石 — Fri, 10 Jul 2026 00:30:00 +0800

大模型推理里，大家一提优化，最容易先想到的是 FlashAttention、Tensor Core、Kernel Fusion。但在实际的 LLM Serving 场景里，另一个同样关键的问题往往更“系统”一些：

MiniPaged-Qwen：Paged KV Cache 与 KV Block Manager

枕石 — Thu, 09 Jul 2026 22:00:00 +0800

大模型推理中，Attention 的计算优化只是问题的一部分。进入 Decode 阶段以后，另一个越来越重要的问题是：历史 Token 的 Key 和 Value 应该放在哪里，又应该怎样管理？