Tag: 分词

All the articles with the tag "分词".

• 从零训练大模型（四）：文本如何变成数字——分词与数据形状

  13 Jul, 2026

  文本如何变成数字：分词（tokenization）、token id、上下文窗口，以及送进模型的 (B, T) batch 形状与错位标签。