Tag: 采样策略
All the articles with the tag "采样策略".
-
LLM 算法 LeetCode(三):单请求 Decode 与生成策略
从 KV Cache 的近似账本公式出发,厘清为何它随序列长度线性而非平方增长,再梳理 KV 压力的八类优化手段、Greedy / Temperature / Top-k / Top-p 四种采样策略,以及投机解码中草稿模型与目标模型的分工。
All the articles with the tag "采样策略".
从 KV Cache 的近似账本公式出发,厘清为何它随序列长度线性而非平方增长,再梳理 KV 压力的八类优化手段、Greedy / Temperature / Top-k / Top-p 四种采样策略,以及投机解码中草稿模型与目标模型的分工。