Tag: PagedAttention
All the articles with the tag "PagedAttention".
-
LLM 算法 LeetCode(四):KV Cache 状态与生命周期
PagedAttention 管"内存怎么分配"(物理层),RadixAttention 管"哪些缓存内容能被跨请求复用"(逻辑层)。两者互补,RadixAttention 实际构建在分页式 KV 分配之上。
All the articles with the tag "PagedAttention".
PagedAttention 管"内存怎么分配"(物理层),RadixAttention 管"哪些缓存内容能被跨请求复用"(逻辑层)。两者互补,RadixAttention 实际构建在分页式 KV 分配之上。