Tag: LoRA

All the articles with the tag "LoRA".

• 大模型算力计算指南：从训练到推理

  28 Jul, 2026

  系统梳理大模型训练与推理所需算力的计算方法，涵盖全量训练 FLOPs 估算（6PD 公式）、训练显存需求、GPU 利用率与训练时间换算、Chinchilla Scaling Laws、LoRA/QLoRA 微调算力与显存、推理算力（2P/token）、KV Cache 显存、Prefill/Decode 两阶段延迟、memory-bound 与 compute-bound 分析、推理优化技术，并配以 LLaMA-7B/70B 等实例计算。

• DoRA：权重分解低秩适应

  28 Jul, 2026

  DoRA（Weight-Decomposed Low-Rank Adaptation）通过将预训练权重分解为方向和幅度两个分量分别微调，在不增加推理开销的前提下缩小了 LoRA 与全量微调的性能差距，在常识推理、视觉指令微调、图像/视频文本理解等多种任务上持续超越 LoRA。

• LLM 应用实战精通（四）：微调大模型

  15 Jun, 2026

  讲清什么时候该微调、怎么微调大模型：从全量微调到参数高效微调（PEFT/LoRA），再到指令微调与 RLHF，并梳理数据准备与训练流程的关键要点。