4核心研究方向
10³–10⁹参数量跨度
100%实验可复现目标
FP8→FP32混合精度训练
研究方向
从优化到部署,四条主线
每条主线都对应一组具体问题——不是宽泛的口号,而是我们真正在训练日志里反复调的东西。
Optimization
优化与训练动力学
学习率调度、二阶方法、损失曲面的几何。让大模型在有限算力下更快收敛、更少发散。
Representation
表示学习
自监督预训练与嵌入空间的结构分析。研究模型学到了什么,以及这些表示如何迁移。
Sequence Models
序列与注意力
Transformer 及其长上下文变体。在注意力开销与建模能力之间寻找可用的折中。
Systems
训练系统与工程
分布式训练、混合精度、数据管线。把研究想法变成能跑通、可监控、可复现的流程。
技术笔记
一切从这行更新规则开始
梯度下降是深度学习的地基。上面那张等高线图,画的就是参数沿负梯度方向、一步步走向损失最低点的过程。
参数更新 · 梯度下降
每一步,参数朝损失下降最快的方向移动一个由学习率控制的小步长。整个训练,就是这行规则重复数百万次的结果。
θₜ₊₁ =
θₜ −
η · ∇θL(θₜ)