Tag: 论文阅读
All the articles with the tag "论文阅读".
-
DoRA:权重分解低秩适应
DoRA(Weight-Decomposed Low-Rank Adaptation)通过将预训练权重分解为方向和幅度两个分量分别微调,在不增加推理开销的前提下缩小了 LoRA 与全量微调的性能差距,在常识推理、视觉指令微调、图像/视频文本理解等多种任务上持续超越 LoRA。
All the articles with the tag "论文阅读".
DoRA(Weight-Decomposed Low-Rank Adaptation)通过将预训练权重分解为方向和幅度两个分量分别微调,在不增加推理开销的前提下缩小了 LoRA 与全量微调的性能差距,在常识推理、视觉指令微调、图像/视频文本理解等多种任务上持续超越 LoRA。