返回全部博客

#Benchmark

2 篇相关记录

2026年7月13日

Decode 为什么跑不到理论带宽：KV cache、activation、反量化和调度开销

系统拆解 decode 实测速度低于理论带宽上限的原因：权重读取、KV cache、activation、反量化 metadata、kernel 调度和 cache miss。

AI AI Infra LLM Inference Benchmark KV Cache Quantization llama.cpp Qwen

2026年7月9日

Decode 速度上限公式：为什么 4.677GB 模型、16.99 tok/s 反推约 79.5GB/s

用 Qwen2.5-7B llama-bench 的真实数据，讲清 decode 为什么常被内存带宽卡住、bandwidth / model_size 怎么估理论上限，以及 79.5GB/s 这个反推数字到底代表什么。

AI AI Infra LLM Inference Benchmark llama.cpp Qwen 数学