2026年7月18日把注意力换成一块「会遗忘的内存」:源码级深读 Kimi K3 的心脏 KDAKimi K3 权重 7 月 27 日才放出,但它的核心 KDA 九个月前就完整开源了。从 arXiv 论文和 flash-linear-attention 的 kernel 源码出发,拆解这块 128×128 的矩阵内存如何撑起 2.8 万亿参数与 1M 上下文。LLMAI InfraAttention论文解读Kimi
2026年7月18日会加减乘除就够:十个问题,手算读懂 Kimi K3 心脏里的全部数学上一篇 KDA 深读里的公式劝退你了?这篇是零基础陪读:用一块 2×2 的迷你内存和十个问题,每一步都能用小学算术手算,算完你能逐个符号读懂 KDA 的核心公式。数学LLMAttention零基础论文解读
2026年7月18日KV cache 是内存管理,上下文管理是 GC 吗?——把 LLM 推理栈当操作系统读一遍一个常见直觉的精确化:KV cache 层确实对应操作系统内存管理——PagedAttention 就是把虚拟内存搬进显存,前缀缓存的 ref_cnt 就是字面意义的引用计数 GC;但语义层的上下文管理对应的不是 GC,而是页面置换加有损压缩。给出三问判据。AI InfraLLMvLLMKV Cache操作系统论文解读