返回全部博客

#LoRA

6 篇相关记录

2026年7月14日

任务能力怎样写进 LLM 权重：从一次梯度更新到预训练与对齐

沿着一条训练信号的旅程，解释 loss、gradient、AdamW 怎样改变权重，并串起预训练、SFT、RLHF、DPO、LoRA 与上下文学习。

AI LLM 模型训练论文学习 RLHF LoRA 可解释性

2026年7月6日

LoRA 机制学习笔记：为什么它能把函数和技能变成大模型的可插拔补丁

从矩阵乘法、Transformer 线性层、低秩增量和 adapter 加载机制出发，解释 LoRA 如何与大模型内核协作，以及为什么 Program-as-Weights 和 Parametric Skills 都选择把能力内化成 LoRA。

AI LLM AI Infra 论文学习 LoRA PEFT Program-as-Weights Parametric Skills

2026年7月6日

LoRA rank=16 数学直觉：不是更新 16 个维度，而是用 16 个方向生成完整增量

从矩阵秩、外积、低秩分解和瓶颈层出发，用通俗数学解释 LoRA 里的 rank=16 到底是什么意思，为什么它能影响所有输出维度，以及为什么常在 8/16/32/64 之间取值。

AI LLM AI Infra 论文学习 LoRA PEFT 数学

2026年7月6日

Parametric Skills 学习笔记：把 Agent 技能从上下文说明书编译成 LoRA 参数

深入拆解 Parametric Skills：为什么文本技能会在长上下文 Agent 中失效，如何用 hypernetwork 把 SKILL.md / 轨迹经验转成 LoRA adapter，以及它和 Program-as-Weights 的关系。

AI LLM AI Infra 论文学习 Parametric Skills agent LoRA skills

2026年7月6日

本地跑通一个真实 PEFT LoRA：从环境、代码到 base/adapter/merged 输出对比

完整记录一次生产常见 LoRA 推理链路：Apple Silicon 本地环境、uv 隔离环境、Transformers + PEFT 加载 Qwen2.5-0.5B 基座和 commit message LoRA adapter，比较 base、active adapter、merged model 的输出。

AI LLM AI Infra 论文学习 LoRA PEFT Transformers 本地推理

2026年7月6日

Program-as-Weights 学习笔记：把一次大模型调用编译成可复用的小权重程序

深入拆解 Program-as-Weights 论文：为什么要把模糊函数编译成权重、PAW 的编译器-解释器结构、Text-to-LoRA 实现、FuzzyBench 训练方式、实验结果、工程收益和局限。

AI LLM AI Infra 论文学习 Program-as-Weights Parametric Skills LoRA 本地推理