Tag: 数据工程

All the articles with the tag "数据工程".

• 从零训练大模型（十）：数据流水线——从 The Pile 到 HDF5

  13 Jul, 2026

  预训练的数据流水线：从 The Pile 下载、预处理，到把扁平 token 存成 HDF5，再到训练时的数据加载窗口——喂给模型的数据是怎么造出来的。