Articles & notes
Course reports, experiments, and things I've learned along the way.
RLHF 数学笔记：从策略梯度到 PPO 与 GRPO
从轨迹概率、策略梯度与优势估计出发，逐步推导 GAE、TRPO、PPO 和 GRPO，再连接 RLOO、DAPO、Dr. GRPO、GSPO 与 DPO，理解后训练算法中的采样、裁剪与归一化。
VAE 与 Diffusion Model 学习笔记
从潜变量、变分下界与重参数化出发，完整推导 DDPM 的前向边缘、条件后验、变分目标、噪声预测与采样，再连接潜空间图像、视频生成和生成后训练。
Flash-GRPO 学习笔记：理解视频扩散的单步策略优化
从完整 rollout 与单步策略更新出发，理解 ITG 的组内条件化、TGR 的梯度尺度修正，以及论文实验的结论与边界。