2026年7月13日从 Attention 到 PagedAttention：用 llama.cpp 跑通 Qwen2.5-7B 后，我终于看懂了 LLM 推理主线用 BPE、Transformer、RoPE、GQA、FlashAttention、PagedAttention 等论文作纵轴，串起 Qwen2.5-7B 在 llama.cpp 上的 tokenizer、forward、KV cache、benchmark、PPL 和 sampling 实验。AIAI InfraLLMInferenceTransformerAttentionKV Cachellama.cppvLLMQwen
2026年7月13日Decode 为什么跑不到理论带宽：KV cache、activation、反量化和调度开销系统拆解 decode 实测速度低于理论带宽上限的原因：权重读取、KV cache、activation、反量化 metadata、kernel 调度和 cache miss。AIAI InfraLLMInferenceBenchmarkKV CacheQuantizationllama.cppQwen
2026年7月13日采样不是玄学：从 logits 到 temperature、top-k、top-p用一次 llama-cli 采样实验讲清 logits、softmax、temperature、top-k 和 top-p 的真实作用。AIAI InfraLLMSamplingllama.cppQwen数学
2026年7月10日PPL 是什么：把模型困惑度理解成平均岔路数用 Qwen2.5-7B 的 llama-perplexity 实测结果，讲清 PPL、交叉熵和量化质量评估之间的关系。AIAI InfraLLMEvaluationPerplexityllama.cppQwen数学
2026年7月10日本机实操一次最小大模型蒸馏：用 GGUF Qwen 当 teacher用本机 GGUF Qwen teacher、llama-server top-k logprobs 和 NumPy tiny student，讲清大模型蒸馏里的 soft labels、KL loss、训练流程和最小实现。learning-logAILLMAI InfraDistillationllama.cppGGUF
2026年7月9日Decode 速度上限公式：为什么 4.677GB 模型、16.99 tok/s 反推约 79.5GB/s用 Qwen2.5-7B llama-bench 的真实数据，讲清 decode 为什么常被内存带宽卡住、bandwidth / model_size 怎么估理论上限，以及 79.5GB/s 这个反推数字到底代表什么。AIAI InfraLLMInferenceBenchmarkllama.cppQwen数学
2026年7月9日KV cache 那笔账：为什么 Qwen2.5-7B 在 2048 长度下大约是 117MB从人话直觉、小数字张量形状和 Qwen2.5-7B 的真实参数出发，讲清 KV cache 公式、GQA 为什么省 7 倍，以及 100 并发为什么会变成 11.7GB。AIAI InfraLLMTransformerAttentionKV CacheQwenllama.cpp数学
2026年7月8日Out 投影到底在输出什么：把多头 attention 结果重新混回 hidden state补齐 W1-Q4 attention 内部四步的最后一块：用混音台直觉、小数字矩阵乘和 Qwen2.5-7B 的真实 shape，讲清 attn_output.weight 与最终 output.weight 的区别。AIAI InfraLLMTransformerAttentionllama.cpp源码阅读数学
2026年7月7日Masked Softmax 到底在 mask 什么：把 QK 分数变成注意力权重面向初学者拆解 masked softmax：先补 softmax 的 exp、求和、归一化，再讲 causal mask 如何把未来 token 权重变 0，最后对上 GQA 下的 Q/K/V shape 和 llama.cpp attention graph。AIAI InfraLLMTransformerAttentionSoftmaxllama.cpp源码阅读数学
2026年7月7日QKV 投影到底在投什么：从 3584 维 hidden 到 28 个 Query 头、4 个 KV 头面向初学者拆解 Transformer 的 QKV 投影：从 Query/Key/Value 的角色，到矩阵乘、shape 推导、GQA、KV cache 和 llama.cpp 的 build_qkv 源码对应。AIAI InfraLLMTransformerAttentionllama.cpp源码阅读数学
2026年7月7日RoPE 为什么只是高中三角函数：把 Q/K 向量按位置旋转面向初学者拆解 RoPE：先补 cos/sin 的横向和纵向直觉，再推导二维旋转公式、128 维 head 拆分、相对位置如何进入 QK 点积，并对上 llama.cpp 的 ggml_rope_ext。AIAI InfraLLMTransformerAttentionRoPEllama.cpp源码阅读数学
2026年7月6日一个 token 的诞生：从 llama.cpp 主循环看懂 Prefill 和 Decode从 llama.cpp 的命令行入口、tokenize、生成 while 循环、llama_decode、batch、n_past 和 KV cache 串起一次 LLM 推理，解释 prefill 与 decode 的代码分叉和性能差异。AIAI InfraLLMllama.cpp推理引擎源码阅读
2026年7月6日计算图不是在算，而是在排活：从伪代码到 ggml 看懂 llama.cpp 的 Qwen2 forward用一段极简伪代码解释计算图，再拆开 ggml_tensor、ggml_cgraph 和 llama.cpp 的 Qwen2 graph builder，看懂一次 forward 如何从 logits 反向追出完整执行图。AIAI InfraLLMllama.cppggml推理引擎源码阅读