分布式模型并行
1 模型并行训练概念（Model Parallel Training）
模型并行（Model Parallelism）：将模型的计算（前向传播 / 反向传播 / 参数更新）分布到多个 GPU 上执行。
2 流水线PP并行
2.1 朴素模型并行（Naïve Model Parallel）
最原始的模型并行方式是：将模型的不同层分布到不同 GPU 上执行。
参考: https://siboehm.com/articles/22/pipeline-parallel-training
在模型定义的时候，针对于层数进行拆分
class ModelParallelResNet50(ResNet):
def __init__(self, *args, **kwa...
分布式GPU训练
1 回顾大规模模型训练
1.1 扩大训练规模的策略
1.1.1 切分数据（Data Parallelism）
Single Node Multi-GPU
DDP（Distributed Data Parallel）
Parameter Server 模式
1.1.2 切分模型（Model Parallelism）
模型并行（Model Parallel）
流水线并行（Pipeline Parallel, PP）
张量并行（Tensor Parallel, TP）
要点：
无论是数据并行还是模型并行，都需要跨 GPU 传递梯度（communicate gradients across GPUs）。
2 多卡通信 Multi-GPU Com...
混合精度训练与显存复用
本文是《Transformer 加速策略》的下篇，聚焦混合精度训练与自注意力反向传播的显存复用。上篇讲算子融合与减少同步，见 transformer-acc。
4 混合精度策略
4.1 动机
现代 GPU 支持 FP16/FP8（H100）。
收益
可以减少显存，增大batch size
可以更快传输数据
可以有更高的FLOPS
4.2 混合策略（为什么不全部采用低精度）
forward 和 backward 可以用fp16 /fp8
优化器必须用fp32
FP16 / FP8 的动态范围有限，不能精确地累计很多次梯度更新，会导致数值不稳定、训练...
transformer的加速策略
1 Transformer 训练的4个阶段
如图所示，transformer 训练有4个阶段
前向传播
反向传播
梯度聚合(AllReudce Aggregation)
参数更新(Optimizer Step)
2 算子融合(Kernel Fusion)策略
2.1 概念
朴素实现：
C = A + B
E = C + D
需要 4 次 load、2 次 store、2 次矩阵加，并且 需要两次 kernel 启动（launch）。
融合后（自定义单个 kernel）：
E = A + B + C
只需 3 次 load、1 次 store、2 次矩阵加，一次...
GPU 内存访问优化与稀疏矩阵
本文是《GPU加速策略》的下篇，聚焦内存访问局部性、稀疏矩阵乘法与 cuBLAS 库。上篇讲 CUDA 内存模型与 Tiled 矩阵乘法，见 gpu-acceleration。
7 内存并行与访问局部性
Locality / Bursts Organization 局部排布/交错排除
• Consecutive memory 顺序读取
accesses in a warp are coalesced together.
• Row-major format to store multidimensional array in C and CUDA
• allows DRAM burst, faster than individual acces
7.1 合并访问 (Coalesc...
GPU加速策略
1 从一个问题开始：为什么同一份数据要读很多次？
计算矩阵乘法 $C=AB$ 时，C 中的每个元素都可以单独计算。于是，一个很自然的 GPU 实现是：给每个输出元素分配一个线程，让它读取需要的数据，完成乘加，再把结果写回。
问题在于，这些线程需要的数据经常是相同的。例如，计算 C 同一行的多个元素，都要用到 A 的同一行。如果每个线程都自己去读，就会重复读取相同的数据。
本文要解释的分块（Tiling），就是让一组线程分工搬数据，再共同使用。我们先看重复读取发生在哪里，再看如何用共享内存减少这些读取，最后讨论块为什么不能无限增大。
2 一个线程怎样计算一个输出元素
2.1 先看矩阵里的一个数
下面一直用 $6\times6$ 的矩阵作例子，行列下标都从 0 开始。计算 C[...
LLM的decoding
1. 序列解码(Sequence Decoding )概览
大语言模型在生成文本时，需要从词汇表中逐个选择 token 来组成完整的序列。
核心问题是：如何选择最优的 token 序列。
1.1 四种主要策略
1.1.1 朴素方案：穷举搜索（Exhaustive Search）
思路：尝试所有可能的 token 组合，找到概率最高的序列
复杂度：
\(O(V^N)\)
其中
$V$：词汇表大小（通常几万到十几万）
$N$：序列长度
示例：词汇表 5 万，生成 10 个 token → (50000^{10}) 种可能
结论：完全不可行，计算成本天文数字。
1.1.2 贪心解码（Gr...
LLM的tokenizer
tokenizer 有多种计算token，进行转换的方式
1. Byte Pair Encoding (BPE)
1.1 BPE 算法概述
BPE 最早是为数据压缩提出的算法, 其核心思想是：
统计字节（或字符）对的频率
把频率最高的一对替换成一个新的”符号”
重复这个过程，不断合并频繁出现的对，形成越来越大的”词典”
需要注意的是，BPE 拆分的子单词不一定都具有语义意义
1.2 BPE 词表构建流程
1.2.1 初始化词表（Initialize vocabulary）
一开始，BPE 的词表只包含：
所有单个字符（例如英文字母 a-z，标点，空格等）
一个词尾标志（end-of-word symbol，通常用 </w> 或 ▁...
共计 214 篇文章，27 页。