非结构化剪枝 (unstructured pruning)#

非结构化剪枝是直接减除低于阈值的权值，这种方法是一种细粒度的剪枝方法

在 PyTorch 中，具体的实现方式是

• 随机非结构化剪枝，即随机把参数的某些值置为 0。可以使用 torch.nn.utils.prune 模块来实现。

import torch.nn.utils.prune as prune

model = LeNet().to(device=device)

# 对 conv1 层进行剪枝
module = model.conv1
print("conv1 的参数:\n", list(module.named_parameters()))  # 查看 conv1 层有哪些参数，以及对应的参数值是什么

# 进行非结构化剪枝

# 对 weight 参数进行随机非结构化剪枝
# 即随机把参数的某些值置为 0
# amount 表示剪枝比例，即将 30% 值随机置 0
prune.random_unstructured(module, name='weight', amount=0.3) 

# named_buffers() 是 torch 中的一个用于获取模型或模块中所有注册的 buffers 及其名称的方法
# buffers 是模型中需要保存但不需要梯度更新的张量
# 这里保存的是剪枝的 mask，剪枝并不是直接把参数的值设为 0，而是通过 mask 机制把被剪枝的掩码置 0
# 这样，被剪枝的权重还可以被恢复，方法为 prune.remove()
print("weight 的 mask:\n", list(module.named_buffers()))
print("查看剪枝后的结果:\n", module.weight)    # 查看剪枝后的结果

# 查看原始权重
print(module.weight_orig)

# 恢复权重
prune.remove(module, name='weight')
print("查看恢复的结果:\n", module.weight)    # 查看恢复的结果

• 点击下载: 随机非结构化剪枝代码

• L1 非结构化剪枝，即根据参数的 L1 范数进行剪枝。L1 范数是指向量中每个元素的绝对值之和。L1 范数越小，表示该参数对模型的贡献越小，因此可以被剪枝。

# 对 conv1 层进行剪枝
module = model.conv1
print("conv1 的参数:\n", list(module.named_parameters()))  # 查看 conv1 层有哪些参数，以及对应的参数值是什么

# 进行非结构化剪枝

# 对 bias 参数进行 L1非结构化剪枝
# 即随机把参数的某些值置为 0
# amount 表示剪枝比例，即将 30% 值随机置 0
# importance_scores 是用来指定重要性指标的接口
# 例如可以设置参数的绝对值信息作为指标
# 要求是该指标的形状必须与被剪枝的参数相同
importance_scores = module.bias.abs()
prune.l1_unstructured(module, name='bias', amount=0.3, importance_scores=importance_scores)

# named_buffers() 是 torch 中的一个用于获取模型或模块中所有注册的 buffers 及其名称的方法
# buffers 是模型中需要保存但不需要梯度更新的张量
# 这里保存的是剪枝的 mask，剪枝并不是直接把参数的值设为 0，而是通过 mask 机制把被剪枝的掩码置 0
# 这样，被剪枝的权重还可以被恢复，方法为 prune.remove()
print("bias 的 mask:\n", list(module.named_buffers()))
print("查看剪枝后的结果:\n", module.bias)    # 查看剪枝后的结果

• 点击下载: L1 非结构化剪枝代码

非结构化剪枝的特点是剪枝并不会改变参数矩阵的形状，只是变成了含有大量零值的稀疏矩阵。对应的优点是存储上可以用稀疏矩阵存储（只存储非零元素的数值和位置即可实现存储体积的减少）和计算上的开销减少（稀疏矩阵乘法）。

英伟达 A100 GPU 的 sparse tensor core

结构化剪枝 (structured pruning)#

结构化剪枝是在将大矩阵划分为若干符合内存大小的子块的前提下，直接减除低于阈值的权值块的剪枝方法。这种方法是一种粗粒度的剪枝方法，粗粒度的剪枝方法的好处是可以加快推理速度，对硬件友好，缺点是会带来精度损失。这是因为规则化限制了对不重要参数的精准剪枝。

块大小对精度的影响

PyTorch 中的实现方式是

import torch.nn.utils.prune as prune

prune.ln_structured(module, name="weight", amount=0.5, n=2, dim=0)
print(module.weight)

结构化剪枝的一种实现方式是通道剪枝，即将整个通道剪掉。它的自定义实现方式是

import torch

def index_remove(tensor, dim, index):  
    size_ = list(tensor.size())
    a = tensor.size(dim)
    b = len(index)
    new_size = a - b
    size_[dim] = new_size

    select_index = list(set(range(tensor.size(dim))) - set(index))
    new_tensor = torch.index_select(tensor, dim, torch.tensor(select_index))

    return new_tensor

kernel = torch.rand(4, 2, 3)

kernel_pruned = index_remove(kernel, 0, [0, 2])
print(kernnel_pruned)

正则化手段#

如果一般训练后模型的权重分布不符合正态分布，可以使用正则化的方式强迫权重分布符合正态分布。常用的正则化手段有 L1 正则化和 L2 正则化。

• L1 正则化：L1 正则化是通过对模型的权重参数施加 L1 范数的惩罚项来实现的。

• L2 正则化：L2 正则化是通过对模型的权重参数施加 L2 范数的惩罚项来实现的。

• 下载结构化稀疏后微调模型的代码 prune_struct3.py

按精度分类#

• FP32 → INT8：将32位浮点数量化为8位整数，典型应用于推理加速
• FP32 → INT4：更进一步减少到4位表示，但精度损失增加
• 二值化（Binary）：极端情况下参数只用1位表示（+1或-1）
• 三值化（Ternary）：参数使用3个值表示（-1、0、+1）

按量化范围分类#

• 权重量化：只对模型权重进行量化
• 激活量化：对神经元的激活输出进行量化
• 全量化：对权重和激活值都进行量化

按量化时机分类#

• 训练后量化（Post-Training Quantization，PTQ）：在模型训练完成后应用量化
• 量化感知训练（Quantization-Aware Training，QAT）：在训练过程中考虑量化效应

优势#

• 存储效率：模型大小显著减少，INT8模型比FP32模型小约75%
• 推理加速：低精度运算速度更快，尤其在支持INT8计算的硬件上
• 能耗降低：降低算力和存储需求，减少能源消耗
• 边缘设备部署：使大模型能在资源有限的设备上运行

挑战#

• 精度损失：量化不可避免地导致信息损失，尤其是在极低位宽时
• 特殊层处理：某些层（如Softmax）对量化特别敏感
• 硬件依赖：不同硬件对量化算法的支持程度不同
• 动态范围问题：处理激活值范围变化大的情况较困难

MobileNet v1#

MobileNet v1 的核心创新是将标准卷积分解为深度可分离卷积

1. 深度卷积(Depthwise Convolution): 对每个输入通道单独进行空间卷积
2. 逐点卷积(Pointwise Convolution): 使用1×1卷积进行通道融合

这种分解大幅降低了计算复杂度：

• 标准卷积: $D_K \times D_K \times M \times N \times D_F \times D_F$
• 深度可分离卷积: $D_K \times D_K \times M \times D_F \times D_F + M \times N \times D_F \times D_F$

其中，$D_K$ 是卷积核尺寸，$M$ 是输入通道数，$N$ 是输出通道数，$D_F$ 是特征图尺寸。

计算复杂度降低了约 8-9 倍，而精度损失相对较小。

MobileNet v2#

MobileNet v2 引入了两个重要改进：

1. 倒置残差结构(Inverted Residual): 先扩展通道数，再进行卷积，最后压缩回原始维度
2. 线性瓶颈(Linear Bottleneck): 在瓶颈层去掉了ReLU激活函数，防止特征信息丢失

这些改进使MobileNet v2在保持低计算量的同时，提高了特征表达能力。

ShuffleNet v1#

ShuffleNet v1主要创新点：

1. 组卷积(Group Convolution): 将输入通道分组进行卷积，减少计算量
2. 通道混洗(Channel Shuffle): 在组间进行特征混合，解决组卷积造成的信息流通受限问题

通道混洗操作示例：假设有9个通道分为3组，先将通道重塑为(3,3)形状，然后转置为(3,3)，最后重塑回9个通道，实现了跨组特征交流。

ShuffleNet v2#

ShuffleNet v2不仅关注FLOPs，还考虑了实际运行速度的影响因素：

1. 内存访问成本(MAC): 提出通道数输入输出应相等的原则
2. 并行度: 避免过多的组卷积分支
3. 硬件友好: 减少了分支结构和碎片化操作

核心模块是通道分离(Channel Split)和通道混洗的组合，实现了更高效的特征提取。

SqueezeNet#

通过”Fire模块”实现压缩，该模块首先使用1×1卷积减少通道数(“squeeze”)，然后并行应用1×1和3×3卷积(“expand”)。虽然参数量极小，但实际速度不尽如人意。

MnasNet/EfficientNet#

使用神经架构搜索(NAS)自动设计轻量级网络，优化精度、延迟和计算量的平衡。EfficientNet还引入了复合缩放方法，同时缩放网络的宽度、深度和分辨率。

GhostNet#

基于”幽灵”(Ghost)模块设计，该模块首先使用少量卷积生成内在特征，然后通过线性变换生成更多廉价特征。大幅降低计算成本的同时保持表达能力。

参考资料

• Han, S., Pool, J., Tran, J., & Dally, W. (2015). Learning both Weights and Connections for Efficient Neural Networks. NIPS 2015.
• Frankle, J., & Carbin, M. (2019). The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks. ICLR 2019.
• Howard, A. G., Zhu, M., Chen, B., et al. (2017). MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications.
• Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., & Chen, L.C. (2018). MobileNetV2: Inverted Residuals and Linear Bottlenecks. CVPR 2018.
• Zhang, X., Zhou, X., Lin, M., & Sun, J. (2018). ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices. CVPR 2018.
• Ma, N., Zhang, X., Zheng, H.T., & Sun, J. (2018). ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design. ECCV 2018.
• Jacob, B., Kligys, S., Chen, B., et al. (2018). Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference. CVPR 2018.
• Han, S., Mao, H., & Dally, W. J. (2016). Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding. ICLR 2016.
• Iandola, F.N., Han, S., Moskewicz, M.W., et al. (2016). SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size.
• Tan, M., & Le, Q.V. (2019). EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. ICML 2019.
• Han, K., Wang, Y., Tian, Q., et al. (2020). GhostNet: More Features from Cheap Operations. CVPR 2020.
• Alizadeh, M., Behboodi, A., van Baalen, M., et al. (2019). Gradient ℓ1 Regularization for Quantization Robustness. ICLR 2019.