CE=-∑y log pGQAKV cacheW+ΔWAx=bbeam=4embedding Ed_headPagedAttentiontr(A)decodeE[log pθ]reward rθPPL=exp(CE)log pRoPEMoEsoftmax(QKᵀ/√d)VEOSBayesn_headsblock tablehₜbatch BVar(X)advantage AₜKL(p||q)FFNθ ← θ-η∇Largmin L(θ)softmaxBOScos θtop-klim x→∞zᵢseq TGELUγaₙMLP∇θ Lrouter logitsWq≥sin θtop-pcausal mask

博客

文章千古事，得失寸心知。

2026年7月21日

Codex AI Digest 深读版 · 2026-07-21

Codex 真读真写 · 方向 / 判断 / 技能 / 工具 / 行动。这是 Codex 深读版，不做关键词拼盘。今天 23 篇材料里最值得你调整判断的，不是又一个更大的模型，而是三条更耐久的线索：机器人开始把采数工具链产品化；agent 与自动发现系统开始暴露评测与验证短板；模型对措辞和软上下文的脆弱性，已经足以反…

2026年7月20日

Agent 工程七问：如何把一个随机内核，包装成能托付长任务的可靠系统

状态记录、失败恢复、沙箱隔离、多轮评测、test-time compute 分配、上下文组织、速度/成本/成功率联合优化——七个问题共享同一个答案结构：把真相移到模型外面。

AI LLM Agent Code Agent AI Infra Context Engineering 学习笔记

2026年7月20日

Codex AI Digest 深读版 · 2026-07-20

Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版。我先把今天 7 个渠道的 19 篇正文压成三个判断：一是开源大模型竞争已经从“能否追上”转到“谁能稳供给、稳工作流、稳生态”；二是 agent 提效的瓶颈正从写 prompt 转向写循环、设停机条件、少拥有代码；三是下一波高杠杆数据不只…

learning-log ai-digest aibrief codex feishu-card

2026年7月20日

所谓点拨：不是贵人一句话，而是把自己送进高价值反馈场

从清华到 OpenAI、Meta Superintelligence Labs、Google DeepMind 等公开案例出发，拆解“点拨”的真实机制：识别热场、压缩路径、构建可验证筹码，并给出 AI 学习者的 90 天行动协议。

AI 职业地图学习方法 Agent AI Infra 大模型深度思考

2026年7月20日

为什么生成一个 token，要把权重从内存搬到计算单元旁边？

从矩阵乘法、GPU 内存层级和 Transformer decode 流程解释，为什么大模型推理不能直接用显存里的权重原地计算。

AI AI Infra LLM Inference GPU Transformer 学习笔记

2026年7月20日

PPO 的训练循环:每一个部件,都是同一对矛盾的产物

从 REINFORCE 的"数据用一次就作废"出发,一步步推出 PPO 训练循环的全部部件——重要性采样比率、clip、critic、GAE、多 epoch 复用——再落到 RLHF 的四模型循环。读完你能口述一次 PPO 迭代的每个阶段,以及每个阶段为什么非存在不可。

强化学习 LLM RLHF 深度学习

2026年7月20日

Lilian Weng 新文深读：当 Harness 本身成为被优化的对象

《Harness Engineering for Self-Improvement》深度消化：递归自我改进不会从模型改写自己的权重开始，而是从部署层开始。被优化对象的爬升路径（prompt → context → workflow → harness 代码 → 优化器代码），以及为什么评估器必须留在循环之外。

researcher-deepdive lilian-weng Agent Self-Improvement Harness 学习笔记

2026年7月20日

示范教不会的东西:为什么大模型需要强化学习

零基础向。不讲任何算法、不用一个公式,只回答三个更早的问题:强化学习到底是什么?已经有预训练和微调了,为什么还需要它?它是怎么被搬到语言模型上的?读完你会拿到一张 RL 术语对照表——之后再读 RLHF、PPO、GRPO,那些词就不再是黑话。

强化学习 LLM RLHF 入门

2026年7月18日

零基础陪读 Big-O：那篇复杂度深读读不动？你缺的是六件初中数学工具

上一篇 Big-O 深读的陪读篇。用折纸、猜数字、握手、排队照相六个能手算的真问题，把指数、对数、求和、阶乘、递推式、「阶」的眼镜逐件装好，每件工具讲完立刻回扣原文公式。读完这篇再回去，那些公式会自己开口说话。

算法 Big-O 数学零基础

2026年7月18日

别再背 Big-O：十大时间复杂度模式，其实是五种「工作量生成结构」

从一张疯传的复杂度速查图出发，把 O(1) 到 O(n!) 逐个从头推导：为什么砍半是 log、三角回路为什么还是 n²、斐波那契递归为什么其实不到 2ⁿ、排序为什么卡死在 n log n。学会从代码形状读出增长阶，你就不再需要那张图。

算法 Big-O 数据结构面试

2026年7月18日

Codex AI Digest 深读版 · 2026-07-18

Codex 真读真写 · 深读判断 / 论文雷达 / 工具 / 行动。这是 Codex 深读版。今天最值得形成的判断不是“谁又发了一个更大的模型”，而是前沿竞争正在转向效率栈、数据生产栈和 agent 运行时三条系统能力：Kimi K3 把开源前沿继续往前推，Lila 把实验室当成数据中心来制造可验证训练数据，vLL…

learning-log ai-digest aibrief codex feishu-card

2026年7月18日

短视频说"AI 一小时证明了 50 年数学悬案"——我把 OpenAI 那两份 PDF 读了，真实故事更精彩

2026 年 7 月，"GPT-5.6 一小时证明循环双覆盖猜想"刷屏短视频。事实核查：事件为真，但"证明了"三个字说早了——现在的准确状态是"机器生成了一份证明，人类正在核验"。这篇先用能手画的小例子讲透这个 50 年悬案本身（圈、桥、snark），再逐页拆 OpenAI 发布的两份一手 PDF：3 页的证明走了哪四步，那份比证明更值得读的 2 页提示词里藏着哪些多代理工程设计。结尾是一张"视频说法 vs 核实结果"对照表，以及一个漂亮的对偶：费马大定理是人类已证、等机器核验；这次是机器生成、等人类核验。

数学 AI 图论事实核查 LLM

2026年7月18日

vLLM + verl 源码学习地图：推理引擎与 RL 后训练框架各怎么读

基于 vLLM v0.25.1 和 verl v0.8.0 源码，给出两个仓库的目录地图、必读文件清单、三阶段阅读路线，以及两者在 rollout 权重同步处的交汇点。

AI AI Infra vLLM verl RLHF GRPO 源码阅读 LLM Serving

2026年7月18日

零基础讲透欧拉公式：e^(iθ) = cos θ + i·sin θ 不是一个数，是"旋转"的名字

费曼称它为"数学中最非凡的公式"，但它第一眼看上去像语法错误——e 的虚数次方是什么鬼？这篇从复利、乘 -1、摩天轮三个能手算的真问题出发，把 e、i、cos/sin 三个符号包逐个拆开，再沿两条路线把公式拼回去：一条给直觉（增长掰成垂直方向就是绕圈），一条给验算（欧拉本人 1748 年的级数对账）。读完你带走一个可复用的模型：乘 e^(iθ) = 旋转 θ，它一路通到 LLM 的 RoPE 位置编码。

数学零基础欧拉公式复数

2026年7月18日

把注意力换成一块「会遗忘的内存」:源码级深读 Kimi K3 的心脏 KDA

Kimi K3 权重 7 月 27 日才放出,但它的核心 KDA 九个月前就完整开源了。从 arXiv 论文和 flash-linear-attention 的 kernel 源码出发,拆解这块 128×128 的矩阵内存如何撑起 2.8 万亿参数与 1M 上下文。

LLM AI Infra Attention 论文解读 Kimi

2026年7月18日

会加减乘除就够:十个问题,手算读懂 Kimi K3 心脏里的全部数学

上一篇 KDA 深读里的公式劝退你了?这篇是零基础陪读:用一块 2×2 的迷你内存和十个问题,每一步都能用小学算术手算,算完你能逐个符号读懂 KDA 的核心公式。

数学 LLM Attention 零基础论文解读

2026年7月18日

KV cache 是内存管理,上下文管理是 GC 吗?——把 LLM 推理栈当操作系统读一遍

一个常见直觉的精确化:KV cache 层确实对应操作系统内存管理——PagedAttention 就是把虚拟内存搬进显存,前缀缓存的 ref_cnt 就是字面意义的引用计数 GC;但语义层的上下文管理对应的不是 GC,而是页面置换加有损压缩。给出三问判据。

AI Infra LLM vLLM KV Cache 操作系统论文解读

2026年7月18日

种子公式全录（上）：大众正典 22 条——从 1 + 1 = 2 到 Black-Scholes，每个符号都给准

数学号称有上亿条公式，但真正的"种子"很少。这篇收录两份最权威的大众榜单的并集——Ian Stewart《改变世界的 17 个方程》与 Robert Crease《伟大的方程》（Physics World 读者投票）——去重后恰好 22 条。按六幕从简单到复杂排列：数与形、变化与力、波与场、热随机与信息、相对论与量子、混沌与市场。每条给出精确公式、逐符号解释和它为什么配称"种子"。

数学种子公式收藏向物理

2026年7月18日

种子公式全录（下）：ZFC 九条公理与 Wiedijk 百定理全枚举——数学的 DNA 与考卷

数学压缩到极限是多少条公式？答案被实测过：9 条 ZFC 公理，经过 12,151 条中间定理，撑起学界公认的 100 条名定理。本篇把两层全部枚举：ZFC 九条公理逐条给出严格的一阶逻辑写法（含公理模式、弱形式等所有记号细节），Wiedijk"形式化 100 定理"清单逐条给出精确陈述。100 条中 99 条已被计算机验证，唯一悬着的是费马大定理。

数学种子公式收藏向数理逻辑

2026年7月17日

Agent 的内存管理:Claude Code 与 Codex 如何决定"忘掉什么"

深度拆解 Claude Code / Codex 的上下文淘汰策略:分层压缩管道、compaction 幸存规则、KV cache 淘汰的同构问题,以及 arXiv 论文给出的反直觉证据——简单丢弃常常不输昂贵的摘要。

AI LLM Code Agent Context Engineering Claude Code Codex 论文学习

2026年7月17日

Claude Code 和 Codex 还在用 RAG 吗？——代码检索为什么回到了 grep

拆解 Claude Code / Codex 的代码检索机制：为什么两家都放弃了向量索引式 RAG，改用 agentic search（grep + 模型闭环）；Fetch 工具到底是干什么的；以及 arXiv 论文链条给出的证据与边界。

AI LLM Code Agent RAG Agentic Search Claude Code Codex 论文学习

2026年7月17日

给「物料搭建 + 还原业务逻辑」设计一套 AI Harness

前两篇讲了设计稿出码的难题和物料驱动搭建的问题地图。这一篇动手：从「AI 可被控制、可被配置的切面」出发，设计一套能真正跑起来的搭建 harness——用一条「逐步降低不确定性」的窄专家流水线，每步产出可校验的 typed artifact，把 skill.md / tool schema / MCP / 结构化输出 / 编排 / 校验门 / 人机门当成控制阀装上去。含可直接参考的 SKILL.md、工具契约、IR schema 与编排流程图。

AI Agent Harness Low-Code Frontend Orchestration MCP Skill

2026年7月17日

Codex AI Digest 深读版 · 2026-07-17

Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版。今天读完 24 条候选、拿到 23 条正文后，最值得提前建立判断的不是又一个模型 headline，而是三条更耐久的线索：开源 MoE 正在从“更便宜”转向“更强但更贵”；科研和工业都在把 memory、planning、data pi…

learning-log ai-digest aibrief codex feishu-card

2026年7月17日

设计稿出码，七年走到哪了：从 pix2code 到 Design2Code 的深度精读

精读设计稿出码方向的两篇奠基论文——2017 年 pix2code（CNN+LSTM 学「截图→DSL」）与 2024 年斯坦福 Design2Code（多模态 LLM 直接出前端代码）。不只讲模型，重点拆解一个更隐蔽的问题：这个任务到底该怎么「评好坏」，以及为什么「元素召回」和「布局」始终是最难啃的骨头。

AI Design2Code Multimodal Frontend Code Generation Paper Reading