Archives

从「计算是什么」出发，系统梳理并行计算的核心概念——IPC、延迟与吞吐、数据依赖与同步、Flynn 分类法（SISD/SIMD/MISD/MIMD），到大模型训练中的数据并行、模型并行、流水线并行、张量并行与三维并行，再到 SIMT/CUDA 与 Tile/Triton 两种并行抽象，建立对「为什么大模型要写 Kernel、为什么 GPU 能训练大模型」的直觉。

系统梳理大模型训练与推理所需算力的计算方法，涵盖全量训练 FLOPs 估算（6PD 公式）、训练显存需求、GPU 利用率与训练时间换算、Chinchilla Scaling Laws、LoRA/QLoRA 微调算力与显存、推理算力（2P/token）、KV Cache 显存、Prefill/Decode 两阶段延迟、memory-bound 与 compute-bound 分析、推理优化技术，并配以 LLaMA-7B/70B 等实例计算。

DoRA（Weight-Decomposed Low-Rank Adaptation）通过将预训练权重分解为方向和幅度两个分量分别微调，在不增加推理开销的前提下缩小了 LoRA 与全量微调的性能差距，在常识推理、视觉指令微调、图像/视频文本理解等多种任务上持续超越 LoRA。

Jcode 是一个最大化主动 (maximally proactive) 的编程 Agent 与助手，开源在 GitHub。本文系统梳理 Jcode 的核心理念、工具体系、技能（Skills）生态与典型工作流，帮助开发者快速上手并发挥 Agent 的全部潜力。

一门完全零基础的中文系列教程：以 train-llm-from-scratch 仓库为“活教材”，用纯 PyTorch 手写复刻现代大模型的完整训练链路——从张量、Transformer、注意力，一路到预训练、SFT、奖励模型、DPO、PPO、GRPO。本文是 19 章的学习地图与阅读约定。

从零装好 Python 环境、把 train-llm-from-scratch 项目跑起来，认识它的目录结构与 smoke 小配置，完成你的第一次运行。

用最小够用的数学打好地基：向量、矩阵、张量，导数与梯度，概率与对数，并从直觉上讲清“训练”到底在做什么。

PyTorch 极简入门：张量运算、自动求导、nn.Module，最后亲手写一个最小可跑的训练循环，把前两章的概念落到代码。

文本如何变成数字：分词（tokenization）、token id、上下文窗口，以及送进模型的 (B, T) batch 形状与错位标签。

拆开 decoder-only Transformer 的完整数据流：嵌入与位置编码、pre-norm 残差 Block、LayerNorm、MLP、logits，并学会用 12NC²+2VC 估算参数量。

打开注意力这个黑箱：从缩放点积注意力、因果掩码，一路推到多头注意力，讲清它为什么是让 token 互相“通信”的引擎，以及复杂度从何而来。

训练目标的完整推导：从最大似然到负对数似然再到交叉熵，讲清困惑度（perplexity）的含义，以及标签错位与掩码在实现中的细节。

训练系统全景：从梯度下降到 Adam、AdamW，学习率调度、梯度累积、混合精度与分布式数据并行（DDP），把“怎么把模型训得动、训得稳”讲透。

自回归生成的完整机制，以及贪心、温度、top-k、top-p 等采样策略的原理与取舍——同一个模型，如何生成出风格迥异的文本。

预训练的数据流水线：从 The Pile 下载、预处理，到把扁平 token 存成 HDF5，再到训练时的数据加载窗口——喂给模型的数据是怎么造出来的。

动手跑通 pretrain_base.py：亲手预训练一个基座（Base）模型，并学会读懂 loss 与困惑度曲线，判断训练是否健康。

SFT 指令微调：对话模板、只对“回答”部分计算损失的掩码推导，以及序列打包，让基座模型学会遵循指令。

奖励模型的完整推导：成对偏好数据、标量奖励头，以及 Bradley-Terry 损失——如何把“人类更喜欢哪个回答”变成一个可训练的打分器。

DPO 直接偏好优化的完整目标函数推导：隐式奖励是什么，为什么它能绕开显式强化学习，直接用偏好数据对齐模型。

PPO 完整推导：策略梯度、actor-critic、GAE、裁剪目标与 KL 惩罚，一步步搭出 RLHF 里最经典的强化学习对齐算法。

GRPO / RLVR 的组相对优势推导：可验证奖励、组内相对优势、去掉 critic，以及课程学习——面向数学推理的高效对齐方法。

动手评估与推理：用 GSM8K 衡量预训练、SFT、DPO/PPO 各阶段的效果，并和你自己训练出的 checkpoint 真实对话。

收尾篇：一键把预训练到 RLHF 的整条链路跑起来，梳理常见报错与排查思路，并给出继续深入的进阶学习路线。

一篇 IEEE 综述的中文导读——具身智能如何从离身 AI 走向 AGI，LLM/MLLM 赋能语义推理与任务分解，世界模型提供物理一致的内部表示与未来预测，以及两者联合架构为何将成为下一代具身系统的主流。

Yazi 是基于 Rust 的高性能终端文件管理器，快捷键大量沿用 Vim 逻辑。本文用一屏速查表 + 分类详解的形式，整理覆盖 90% 日常场景的核心指令。

一段 10 周的 LLM 实战之旅。本系列系统讲解大语言模型从基础概念、提示工程、微调、RAG，到评估、应用构建、部署、挑战与前沿趋势的全流程，帮你把散落的知识拼成完整图景。

从 AI/ML/神经网络的历史脉络讲起，厘清 LLM 的规模与训练方式，盘点内容生成、翻译、摘要、问答等真实世界用例，并梳理数据、伦理、技术与部署四类挑战。

通用大模型在垂直领域为何力不从心？本文对比领域预训练、领域微调与检索增强生成（RAG）三类自适应方法，结合 BloombergGPT、ChatDoctor 等案例，讲清各自的适用场景与取舍。

系统梳理提示工程的核心技巧——从零样本/少样本提示，到思维链（CoT）、ReAct、自洽性等进阶方法，并总结写出高质量 Prompt 的实用原则。

讲清什么时候该微调、怎么微调大模型：从全量微调到参数高效微调（PEFT/LoRA），再到指令微调与 RLHF，并梳理数据准备与训练流程的关键要点。

深入拆解 RAG 的完整管线——文档摄取、分块与嵌入、向量检索、上下文增强与生成，讲清每个环节的设计要点与常见优化手段。

盘点搭建 LLM 应用所需的工具生态——编排框架（LangChain/LlamaIndex）、向量数据库、模型托管与前端原型工具，理清各类组件在技术栈中的位置。

如何科学评估 LLM 与 LLM 应用？本文梳理从传统指标（BLEU/ROUGE/困惑度）到基准测试（MMLU/HELM），再到 LLM-as-a-judge 的评估方法体系与实践要点。

把前几篇的概念落到代码——本文带你端到端搭建一个 LLM 应用，串起数据准备、检索、提示编排与前端界面，理清从原型到可用产品的关键步骤。

从原型走向生产：本文介绍函数调用、Agent、缓存与量化等高级特性，并梳理把 LLM 应用部署上线时在性能、成本与可靠性上需要权衡的关键问题。

直面大模型的局限与风险——幻觉、对抗攻击、对齐与提示脆弱性等行为挑战，以及内存可扩展性、隐私等部署挑战，分析其成因并梳理当前可行的检测与缓解策略。

展望 LLM 的前沿方向——多模态 LLM、开源模型、自主智能体、领域专用模型，以及 Mixture of Experts、Mamba、RWKV 等新架构，帮你把握领域的演进脉络与值得关注的研究热点。

作为系列番外，带你走进 LLM 的底层架构——从 Seq2Seq 到 Transformer，理解自注意力机制、编码器-解码器与位置编码等核心概念，为深入研究打基础。

系统梳理 Redis 高频面试题，涵盖基础概念、数据结构、底层原理、缓存三大问题、持久化、分布式锁、高可用架构等 12 个核心模块。

深入理解 Python 异步编程的核心概念，从事件循环到 async/await 语法，掌握高并发编程的关键技术。

深入理解 React Props 与组件组合模式，包括 TypeScript 接口定义、默认值、children、变体模式、组件复用策略，以及 Server/Client Component 概念。

深入理解 React 条件渲染的多种模式，包括逻辑与、三元运算符、早返回、状态机模式，配合用户资料卡片的加载/错误/成功/空状态实战。

深入理解 React 列表渲染机制，包括 map 方法、key 的作用与选择、不可变更新、进度统计、列表操作等实战场景。

深入理解 React 事件处理与表单模式，包括受控组件、通用 handleChange、表单校验、useCallback 优化、提交历史管理等完整实战。

深入理解 React Context API，包括 createContext、Provider、useContext、自定义 Hook 封装，以及暗黑主题切换的完整实战。

深入理解 React 自定义 Hooks 的编写方法，包括泛型、SSR 安全、localStorage 持久化，以及 useMemo 和 useCallback 的性能优化策略。

8 个 React 核心模式的系列导览，涵盖 useState、useEffect、Props 组合、条件渲染、列表渲染、表单处理、Context API、自定义 Hooks，足以应对 95% 的日常开发场景。

深入理解 React useEffect Hook，涵盖副作用概念、依赖数组、清理函数、定时器、数据获取等实战场景，以及常见陷阱和最佳实践。

深入理解 React useState Hook，涵盖基本类型、对象、数组状态管理，函数式更新，以及不可变更新模式，配合计数器实战案例。

基于实际项目，系统介绍 React 核心概念，包括组件、Props、useState、事件处理、表单、条件渲染、列表渲染等基础知识，适合零基础初学者。

全面系统地介绍 JavaScript 基础知识，包括语法、函数、DOM 操作、事件处理等核心概念，适合初学者查缺补漏。

全面系统地介绍 CSS 基础知识，包括选择器、盒子模型、布局、定位等核心概念，适合初学者查缺补漏。

全面系统地介绍 HTML 基础知识，包括文本标签、属性、表单、区块等核心概念，适合初学者查缺补漏。

Agent 高级知识拓展、记忆与检索、上下文工程

Agent经典范式构建

大语言模型的核心概念和评价指标介绍

NLP基础知识

RAG基本概念

dify修改嵌入聊天框的power by图标

linux 服务器ssh 免密登录配置

系统整理 Git 常用命令，从基础配置、提交与分支，到高级的 HEAD 操作、相对引用和撤销变更，适合初学者和日常查阅。

从数据库基础、表设计、索引原理到EXPLAIN执行计划分析，系统梳理SQL面试核心考点，附高频面试题和优化套路。

测试开发面试题整理