Tag: 优化器
All the articles with the tag "优化器".
-
从零训练大模型(八):优化与训练系统
训练系统全景:从梯度下降到 Adam、AdamW,学习率调度、梯度累积、混合精度与分布式数据并行(DDP),把“怎么把模型训得动、训得稳”讲透。
All the articles with the tag "优化器".
训练系统全景:从梯度下降到 Adam、AdamW,学习率调度、梯度累积、混合精度与分布式数据并行(DDP),把“怎么把模型训得动、训得稳”讲透。