CE=-∑y log pGQAKV cacheW+ΔWAx=bbeam=4embedding Ed_headPagedAttentiontr(A)decodeE[log pθ]reward rθPPL=exp(CE)log pRoPEMoEsoftmax(QKᵀ/√d)VEOSBayesn_headsblock tablehₜbatch BVar(X)advantage AₜKL(p||q)FFNθ ← θ-η∇Largmin L(θ)softmaxBOScos θtop-klim x→∞zᵢseq TGELUγaₙMLP∇θ Lrouter logitsWq≥sin θtop-pcausal mask

博客

文章千古事，得失寸心知。

2026年7月8日

Evoflux 学习笔记：小模型不会稳定用工具时，先别急着微调

消化 Evoflux 论文：为什么紧凑模型在 MCP 风格工具调用里容易失败，Evoflux 如何把工具调用看成可执行工作流的推理时演化修复，以及它对 Agent 系统设计的启发。

2026年7月8日

HELM 学习笔记：模型评测不是跑榜，而是建立一张能力地图

消化 HELM 论文：为什么 LLM 评测不能只看单一排行榜，HELM 如何用场景、指标和透明产物重构模型评测，以及工程团队应该如何借鉴。

AI LLM Eval AI Infra 论文学习

2026年7月8日

IFEval 学习笔记：别只问模型聪不聪明，先测它是否真的听话

消化 IFEval 论文：为什么指令遵循需要可验证评测，IFEval 如何用 25 类可检查约束构造约 500 条样本，以及它对 prompt 和模型发布门禁的启发。

AI LLM Eval Instruction Following 论文学习

2026年7月8日

从 .codex 目录反推 Codex 内核：一个本地 Agent OS 的剖面

从 CODEX_HOME 的目录、SQLite schema 和官方文档出发，把 Codex 拆成控制面、状态面、执行面、扩展面、安全面、后台面和记忆面，理解它为什么更像本地 agent runtime。

learning-log codex agent AI Infra MCP skills

2026年7月8日

Agent Jail：把 AI Agent 关进可审计的企业权限边界

从 untrusted tenant 视角重新设计 Codex、Claude Code 和企业 Agent 的运行边界：Capability Manifest、策略引擎、短期凭证、MCP Gateway、审计和绕过防护。

learning-log agent AI Infra security MCP codex

2026年7月8日

LLM-as-a-Judge 学习笔记：让模型当裁判，到底靠不靠谱

消化 MT-Bench 与 Chatbot Arena 论文：为什么开放式回答难以自动评测，LLM-as-a-Judge 如何近似人类偏好，以及 position、verbosity、self-enhancement 等偏差该如何处理。

AI LLM Eval LLM-as-a-Judge 论文学习

2026年7月8日

Out 投影到底在输出什么：把多头 attention 结果重新混回 hidden state

补齐 W1-Q4 attention 内部四步的最后一块：用混音台直觉、小数字矩阵乘和 Qwen2.5-7B 的真实 shape，讲清 attn_output.weight 与最终 output.weight 的区别。

AI AI Infra LLM Transformer Attention llama.cpp 源码阅读数学

2026年7月8日

BPE 不是一个汉字一个 Token：从 Qwen tokenizer 实验看懂 token 计费

用 Qwen2.5 tokenizer 的中文、英文、代码和 emoji 实测数据，讲清为什么 token 不是字符，以及为什么 LLM 按 token 而不是字符计费。

AI AI Infra LLM Tokenizer BPE Qwen 学习笔记

2026年7月8日

PrologMCP 学习笔记：别让大模型硬想，把演绎推理交给符号系统

消化 PrologMCP 论文：为什么 LLM 在深层演绎推理上不稳定，PrologMCP 如何把 Prolog 标准化为 MCP 工具，以及“模型做翻译、求解器做推理”的系统分工。

AI LLM Agent MCP Prolog Symbolic AI 论文学习

2026年7月8日

SWE-bench 学习笔记：代码模型评测，终于从刷题走向真实修 Bug

消化 SWE-bench 论文：为什么传统代码生成评测不足以衡量软件工程能力，SWE-bench 如何用真实 GitHub issue、仓库上下文和测试执行构造可执行评测。

AI LLM Eval Code Agent SWE-bench 论文学习

2026年7月7日

Codex AI Digest 深读版 · 2026-07-07

Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版。我先读了 9 个渠道的 23 篇原文包，今天最值得你投入注意力的不是又一个模型名，而是三条更硬的信号：验证正在成为 agent 能力的新缩放轴；弱模型上的 RL 成果开始有机会迁移到更强模型；内容站点已经开始把 agent 抓取当成独立…

learning-log ai-digest aibrief codex feishu-card

2026年7月7日

Masked Softmax 到底在 mask 什么：把 QK 分数变成注意力权重

面向初学者拆解 masked softmax：先补 softmax 的 exp、求和、归一化，再讲 causal mask 如何把未来 token 权重变 0，最后对上 GQA 下的 Q/K/V shape 和 llama.cpp attention graph。

AI AI Infra LLM Transformer Attention Softmax llama.cpp 源码阅读数学

2026年7月7日

QKV 投影到底在投什么：从 3584 维 hidden 到 28 个 Query 头、4 个 KV 头

面向初学者拆解 Transformer 的 QKV 投影：从 Query/Key/Value 的角色，到矩阵乘、shape 推导、GQA、KV cache 和 llama.cpp 的 build_qkv 源码对应。

AI AI Infra LLM Transformer Attention llama.cpp 源码阅读数学

2026年7月7日

RoPE 为什么只是高中三角函数：把 Q/K 向量按位置旋转

面向初学者拆解 RoPE：先补 cos/sin 的横向和纵向直觉，再推导二维旋转公式、128 维 head 拆分、相对位置如何进入 QK 点积，并对上 llama.cpp 的 ggml_rope_ext。

AI AI Infra LLM Transformer Attention RoPE llama.cpp 源码阅读数学

2026年7月6日

AI Infra 工程师日常工作地图：以 OpenAI 岗位为镜，明自己的学习坐标

基于 OpenAI 公开 AI Infra 相关岗位描述，按训练、推理、数据、GPU 集群、可靠性、评测发布、Agent Infra、安全和开发效率拆解 AI Infra 工程师每天实际做什么，并映射到个人学习路线。

AI AI Infra LLM 职业地图学习笔记 OpenAI

2026年7月6日

Codex AI Digest 深读版 · 2026-07-06

Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版：我先抓取 source pack，再逐篇阅读原文摘录后重写判断。今天最值得放进脑子的主线是：agent 不再只是“会调用工具的模型”，而是在逼工程体系补上运行时、权限、验证、成本和产品界面这几块短板。

learning-log ai-digest aibrief codex feishu-card

2026年7月6日

一个 token 的诞生：从 llama.cpp 主循环看懂 Prefill 和 Decode

从 llama.cpp 的命令行入口、tokenize、生成 while 循环、llama_decode、batch、n_past 和 KV cache 串起一次 LLM 推理，解释 prefill 与 decode 的代码分叉和性能差异。

AI AI Infra LLM llama.cpp 推理引擎源码阅读

2026年7月6日

LoRA 机制学习笔记：为什么它能把函数和技能变成大模型的可插拔补丁

从矩阵乘法、Transformer 线性层、低秩增量和 adapter 加载机制出发，解释 LoRA 如何与大模型内核协作，以及为什么 Program-as-Weights 和 Parametric Skills 都选择把能力内化成 LoRA。

AI LLM AI Infra 论文学习 LoRA PEFT Program-as-Weights Parametric Skills

2026年7月6日

LoRA rank=16 数学直觉：不是更新 16 个维度，而是用 16 个方向生成完整增量

从矩阵秩、外积、低秩分解和瓶颈层出发，用通俗数学解释 LoRA 里的 rank=16 到底是什么意思，为什么它能影响所有输出维度，以及为什么常在 8/16/32/64 之间取值。

AI LLM AI Infra 论文学习 LoRA PEFT 数学

2026年7月6日

计算图不是在算，而是在排活：从伪代码到 ggml 看懂 llama.cpp 的 Qwen2 forward

用一段极简伪代码解释计算图，再拆开 ggml_tensor、ggml_cgraph 和 llama.cpp 的 Qwen2 graph builder，看懂一次 forward 如何从 logits 反向追出完整执行图。

AI AI Infra LLM llama.cpp ggml 推理引擎源码阅读

2026年7月6日

Parametric Skills 学习笔记：把 Agent 技能从上下文说明书编译成 LoRA 参数

深入拆解 Parametric Skills：为什么文本技能会在长上下文 Agent 中失效，如何用 hypernetwork 把 SKILL.md / 轨迹经验转成 LoRA adapter，以及它和 Program-as-Weights 的关系。

AI LLM AI Infra 论文学习 Parametric Skills agent LoRA skills

2026年7月6日

本地跑通一个真实 PEFT LoRA：从环境、代码到 base/adapter/merged 输出对比

完整记录一次生产常见 LoRA 推理链路：Apple Silicon 本地环境、uv 隔离环境、Transformers + PEFT 加载 Qwen2.5-0.5B 基座和 commit message LoRA adapter，比较 base、active adapter、merged model 的输出。

AI LLM AI Infra 论文学习 LoRA PEFT Transformers 本地推理

2026年7月6日

Program-as-Weights 学习笔记：把一次大模型调用编译成可复用的小权重程序

深入拆解 Program-as-Weights 论文：为什么要把模糊函数编译成权重、PAW 的编译器-解释器结构、Text-to-LoRA 实现、FuzzyBench 训练方式、实验结果、工程收益和局限。

AI LLM AI Infra 论文学习 Program-as-Weights Parametric Skills LoRA 本地推理

$AI Infra 数学地基（细分版）：每个知识点拆到高中数学起步$

2026年7月4日

AI Infra 数学地基（细分版）：每个知识点拆到高中数学起步

给数学底子一般的人的 AI Infra 数学地图：8 个板块全部拆到高中数学层级，标注难度和前置依赖，每个概念配人话解释，并用真实实验数据代入验证。

AI AI Infra LLM 数学思维导图学习笔记