Tag: 投机解码
All the articles with the tag "投机解码".
-
LLM 算法 LeetCode(三):单请求 Decode 与生成策略
从 KV Cache 的近似账本公式出发,厘清为何它随序列长度线性而非平方增长,再梳理 KV 压力的八类优化手段、Greedy / Temperature / Top-k / Top-p 四种采样策略,以及投机解码中草稿模型与目标模型的分工。
All the articles with the tag "投机解码".
从 KV Cache 的近似账本公式出发,厘清为何它随序列长度线性而非平方增长,再梳理 KV 压力的八类优化手段、Greedy / Temperature / Top-k / Top-p 四种采样策略,以及投机解码中草稿模型与目标模型的分工。