作者：Lei阅读 --

Codex AI Digest 深读版 · 2026-07-04

Codex 真读真写 · 论文/趋势/技能/工具/行动。这是 Codex 深读版，不是关键词卡。今天先读 26 篇候选、24 篇正文后，我的主判断是：Agent 的竞争正在从“谁回答得更好”转向“谁能被当作软件运行”。这意味着评测要看预算曲线，安全要在线监控，隐私删除要能定位到参数，工具链要补齐技能、沙箱、可恢复执行…

learning-logai-digestaibriefcodexfeishu-card

Codex 真读真写 · 论文/趋势/技能/工具/行动

先看结论

这是 Codex 深读版，不是关键词卡。今天先读 26 篇候选、24 篇正文后，我的主判断是：Agent 的竞争正在从“谁回答得更好”转向“谁能被当作软件运行”。这意味着评测要看预算曲线，安全要在线监控，隐私删除要能定位到参数，工具链要补齐技能、沙箱、可恢复执行和知识图谱。

今天覆盖 10 个渠道，抓到 24 篇正文；正文失败 2 项：Reuters/HN 链接 HTTP 401，GitHub Search 聚合页为 non-article URL。

今天先读

1. Vercel’s Andrew Qu on why agents are a new kind of software

  • 来源：Latent Space / newsletters
  • 核心内容：Vercel 把 agents 看成新软件形态：需要 context、tools、resumability、long-running work、skills、sandboxes 和 agent-readable websites 这些新原语。
  • 我的判断：这比“给网页加聊天框”更接近真实方向。Agent 产品的护城河会在运行时、恢复能力、工具边界和可观察性里。
  • 你可以怎么用：为一个内部 agent 写一页运行契约：状态放哪、工具能做什么、失败如何恢复、怎样记录轨迹。

2. AIEWF Daily Dispatch: The great loops debate and the state of AI engineering

  • 来源：Latent Space / newsletters
  • 核心内容：AI Engineer World’s Fair 的 loops 争论把分歧讲清楚：循环已经有用，但随机 agent loop 还没有 Kubernetes control loop 那种纪律性。
  • 我的判断：今天要避免的不是 loop，而是用更多 token 掩盖没有 verifier、没有边界、没有经济账的流程。
  • 你可以怎么用：只挑一个能快速验收的环节做循环，例如测试修复、文档更新或数据清洗，先测成功率和成本。

3. UK’s AI Security Institute finds standard benchmarks systematically underestimate what AI agents can actually do

  • 来源：The Decoder / media
  • 核心内容：The Decoder 转述英国 AISI 研究：固定 token 预算会低估 agent 能力；软件工程任务在预算从 100 万增到 1000 万 token 后成功率可明显上升。
  • 我的判断：单点 benchmark 分数开始不够用了。你需要看能力-预算曲线，尤其是能自检、能跑代码、能验证 exploit 的任务。
  • 你可以怎么用：重跑一个自己的 agent eval，至少设低/中/高三档 token 或时间预算，记录边际收益。

4. Program-as-Weights: A Programming Paradigm for Fuzzy Functions

  • 来源：arXiv / cs.CL
  • 核心内容：PAW 把自然语言规格编译成小型本地神经 artifact，让模糊函数从每次调用大模型，变成一次生成、多次低成本执行。
  • 我的判断：如果这条路线成立，很多“每次都问 LLM”的产品逻辑会被改写成本地、可复用、可控的小函数。
  • 你可以怎么用：列出你系统里重复出现的模糊判断：日志重要性、JSON 修复、query intent 排序，先找一个做缓存/蒸馏实验。

5. LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning

  • 来源：arXiv / cs.CL
  • 核心内容：LACUNA 给 unlearning 做参数级 ground truth，发现很多方法输出层看似删除成功，但参数定位不准，仍可能被 resurfacing attack 找回。
  • 我的判断：隐私与合规里的“模型忘了”不能只看回答变了没有，要看知识是否真的从负责参数里被处理掉。
  • 你可以怎么用：如果你关心数据删除承诺，把 unlearning eval 从行为测试扩到重现攻击和定位精度。

前沿论文雷达

LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning

  • 研究问题：LLM unlearning 到底是在参数里删除了敏感知识，还是只让模型暂时不说出来？
  • 关键贡献/信号：论文构建带参数级 ground truth 的测试床，把合成 PII 注入预定义参数，再直接评估当前 unlearning 方法是否定位到正确权重；结果显示许多方法输出效果强但定位不准，容易被 resurfacing attack 重新挖出。
  • 风险或局限：测试环境基于合成个体和 OLMo 系列模型，不能直接等同于商业模型中的真实训练数据删除；但它把评测目标从“回答是否消失”推进到了“知识存储位置是否被命中”。
  • 下一步看法：把它作为隐私删除评测的方向标：以后看 unlearning 论文要问有没有定位指标、有没有重现攻击，而不是只看拒答率。

Program-as-Weights: A Programming Paradigm for Fuzzy Functions

  • 研究问题：很多工程里的模糊函数不适合手写规则，能不能由大模型一次编译成可本地运行的小模型程序？
  • 关键贡献/信号：PAW 用 4B compiler 从自然语言规格生成参数高效 adapters，再由 0.6B Qwen3 interpreter 执行，声称性能接近直接 prompt Qwen3-32B，同时显著降低内存和在线调用成本。
  • 风险或局限：当前仍是新范式验证，真实业务里的可解释性、更新机制、失败回退和安全边界都需要补；生成出的权重也比普通代码更难审查。
  • 下一步看法：优先在低风险、高频、可验收的 fuzzy task 上试，例如日志分级、格式修复、轻量分类，而不是直接替代核心业务判断。

Online Safety Monitoring for LLMs

  • 研究问题：部署后模型仍可能输出不安全内容，能不能用简单实时 monitor 在风险超过可接受阈值时报警？
  • 关键贡献/信号：论文研究用外部 verifier 信号加风险控制阈值来做在线告警，并显示这种简单设计能与更复杂的 sequential hypothesis testing monitor 竞争。
  • 风险或局限：monitor 依赖 verifier 质量和阈值校准；它只能报警或拦截风险，不能保证底层模型已经对齐。
  • 下一步看法：把它落到产品上，就是给高风险 agent 加运行时告警：不仅预发布测一次，还要对真实输出持续抽检和升级处理。

分渠道总结

跨渠道汇总

  • Agent 正在变成可运行软件：框架、技能、沙箱、恢复、观察、评测预算，都是产品能力的一部分。
  • 能力评测从单分数转向曲线：同一个模型在不同 token/time budget 下可能表现完全不同。
  • 安全从训练前后扩展到运行时：unlearning 要查参数，online monitoring 要持续告警，漏洞发现要看真实披露链路。
  • 本地化和可复用 artifact 是下一阶段成本战：PAW、video frame extraction、Graphify 都在把一次性 LLM 调用变成可复用中间物。

趋势

  • Agents as software：Agent 产品开始需要自己的运行时原语，而不是只依赖聊天 UI 和 prompt。 Vercel eve、Claude Code、Codex plugin、skills 生态和 n8n 都在补同一层。
  • Budget-aware eval：评估 agent 时不能只给一个固定预算分数，要看预算增加后能力是否仍在上升。 The Decoder 转述 AISI 研究称软件工程和网络安全任务在高 token 预算下成功率继续增长。
  • Safety at runtime：模型安全正在从发布前测评转向部署中的监控、告警、审计和重现攻击。 Online Safety Monitoring、LACUNA、漏洞报告激增三条材料指向同一问题。

技能

  • 画能力-预算曲线：同一 agent 至少用三档 token/time budget 跑评测，别只看一个分数。 为一个 coding agent 任务记录 1x、5x、10x 预算下的成功率、成本和耗时。
  • 设计 agent 运行契约：把 state、tools、sandbox、resume、logs、human approval 写成明确接口。 给一个内部 agent 增加 run id、checkpoint、tool allowlist 和失败恢复说明。
  • 把模糊任务产品化：识别高频 fuzzy functions，先用规则和 LLM 建基线，再考虑本地小模型或缓存 artifact。 挑一个日志分类或数据清洗函数，建立可回放样本集和验收指标。

工具 / 项目

  • openai/codex-plugin-cc：对 Claude Code 用户有直接价值：可以在现有 Claude Code 工作流里调用 Codex 做 review、adversarial review 或后台任务委派。
  • safishamsi/graphify：把代码、SQL、文档、图片、视频做成可查询知识图谱；适合大型仓库理解、审计和 onboarding，但要先验证输出是否稳定可信。
  • HUANGCHIHHUNGLeo/claude-real-video：本地抽取视频关键帧和转录，再交给任意 LLM 阅读；适合把视频 demo、课程、会议录屏转成可审查上下文。
  • n8n-io/n8n：继续是把 agent 接入真实业务系统的实用层：多步骤工作流、人工审批、1500+ integrations 和可自托管。

下一步行动

  1. 把一个现有 agent eval 改成预算曲线，记录每档 token/time 的成功率和成本。
  2. 选一个 agent 产品流程，补上 sandbox、checkpoint、tool allowlist 和运行日志。
  3. 从系统里找一个高频 fuzzy function，先建 50-100 条可回放样本，为本地化或蒸馏做准备。
  4. 对媒体转述的 AISI、Bridgewater、漏洞报告激增三条，只先记为方向信号，等原始报告或二次来源确认。

需要验证

  • Reuters/HN 关于 Alibaba 禁用 Claude Code 的链接正文抓取失败（HTTP 401），只能视作社区热度和待核验报道，不能写成已确认事实。
  • The Decoder 关于 AISI benchmark 低估 agent 的内容是媒体转述；结论需回到 AISI 原始论文或报告确认具体实验设置。
  • Bridgewater/Thinking Machines 的金融模型数字来自公司内部评测，且媒体明确说未被外部验证；如果属实，信号是企业私有知识微调有效，不是通用模型排名结论。
  • 漏洞报告激增来自 The Decoder 对 Epoch AI/厂商项目的转述；需要区分真实漏洞增加、披露流程变化和 AI 扫描带来的报告噪音。
  • GitHub Search 的 Claude Skills 成熟度是搜索结果量估算，且聚合页非文章正文，不应当作精确市场份额。
  • Google DeepMind 与 A24 合作目前只给出合作方向和投资信息，没有具体技术产物或可复现实验。

这篇日志由 yo codex-send-card --export-site 从 Codex-authored card JSON 导出，生成时间：2026-07-04T00:59:17.399235+08:00。