1、研究背景和动机

在 AlexNet、VGG、GoogLeNet 之后，深度卷积神经网络（CNN）在图像分类上性能越来越强，但同时 模型参数量急剧膨胀。
- VGG-16 参数量高达 138M，存储需要 500MB+。
- 这对计算资源有限的设备（如手机、嵌入式设备、无人机）来说，几乎不可用。

随着深度学习走向 移动端和物联网（IoT），迫切需要：
1. 更小的模型（存储占用少，便于部署和传输）；
2. 计算更快（适合低功耗设备的实时推理）；
3. 精度不下降（在 ImageNet 等大规模任务上保持接近 AlexNet/VGG 的准确率）。

论文作者的目标是：
- 在 ImageNet 分类任务 上，达到 与 AlexNet 相同的准确率；
- 但模型体积 小 50 倍以上，参数显著减少；
- 让模型可以轻松部署在嵌入式设备、移动端，甚至通过网络快速传输。

2、SqueezeNet 的创新点

SqueezeNet 的目标是 极大减少参数量，同时保持 AlexNet 级别的精度。它的核心设计理念有三个。

结构设计：
- Squeeze（压缩层）：用 1×1 卷积 代替一部分传统的大卷积，减少输入通道数。
- Expand（扩展层）：再用 1×1 + 3×3 卷积 混合生成输出特征。
效果：
- 大量减少参数量（因为 1×1 卷积计算量远小于 3×3）。
- 保证特征表达能力不下降。

👉 比喻：就像“先把水管收窄（Squeeze），减少水量，再分流成多个小管（Expand），扩展出不同方向的水流”。

👉 比喻：就像拍照时，先保留高清原图，后面再缩小，而不是一开始就压缩成小图。

SqueezeNet 的核心是 Fire 模块，整个网络就是由 卷积层 + Fire 模块 + 池化层 组合而成。

Fire 模块是 Squeeze（压缩）+ Expand（扩展） 的组合：

👉 Fire 模块的设计目标：减少参数，同时保持特征丰富性。

网络中一共堆叠了 8 个 Fire 模块：

SqueezeNet 的关键点：延后下采样。
- 最大池化只在 Conv1 后、Fire4 后和 Fire8 后进行。
- 这样保证大部分中间层的特征图更大，更容易提取细节特征。

参数量小 ≠ 一定推理更快。
原因：
- 大量使用 1×1 卷积，虽然参数少，但在实际硬件（尤其是 GPU/嵌入式设备）上，1×1 卷积的内存访问开销较大。
- 在某些平台上，SqueezeNet 的速度并不一定比 ResNet-18 更快。

👉 换句话说：它更像是“存储友好”而非“运算极快”。

SqueezeNet 的核心贡献是提出了 Fire 模块 和 极小参数量的 CNN 设计思想。在它的基础上，后续研究提出了一系列改进模型，主要目标是：进一步加快速度、提升精度、增强在移动端/嵌入式设备上的适用性。

灵感来源：SqueezeNet 强调 轻量化卷积核设计。
创新点：
- 使用 Group Convolution + Channel Shuffle，在降低计算量的同时保持信息流动。
- 可以看作是 SqueezeNet 思路的“进化版”。
效果：在移动端设备上显著优于 SqueezeNet。

关系：虽然不是直接“Fire 模块”的改进，但 与 SqueezeNet 一样追求轻量化。
创新点：
- Depthwise Separable Convolution（深度可分离卷积）。
- 与 Fire 模块有相似的设计理念：减少计算量 + 保持特征表达能力。
效果：MobileNet 成为轻量级 CNN 的主流，逐渐取代了 SqueezeNet。