高光谱图像分类综述：从CNN、Transformer到Mamba

从应用角度看，高光谱技术的价值在于“识别差异”。很多物体在普通图像中颜色相近，但在光谱曲线上却可能存在明显区别。例如，不同作物、不同植被状态、不同材料类型，甚至某些肉眼难以察觉的异常变化，都可能通过光谱特征表现出来。而要真正把这些复杂的光谱信息转化为可理解的类别结果，就离不开高光谱图像分类技术。

高光谱图像分类的任务，可以简单理解为：根据每个像素的光谱特征和空间上下文，为图像中的每个像素分配一个类别标签。在高光谱遥感中，这类任务通常表现为像素级地物分类，即根据每个像素及其邻域信息判断其所属地物类别。它看似与普通图像分类相似，但实际上更复杂。普通图像通常只有红、绿、蓝三个通道，而高光谱图像往往包含几十个甚至上百个连续波段。每一个像素不只是一个颜色点，而是一条完整的光谱曲线。为了更清晰地理解高光谱图像分类的发展脉络，可以将其大致概括为以下几个阶段：

早期的高光谱分类方法主要依赖传统机器学习。研究人员通常将每个像素的光谱曲线看作一个高维向量，再利用支持向量机、随机森林、K 近邻等方法进行分类。这类方法结构清晰、实现方便，在小样本条件下也能取得一定效果。但它们大多关注单个像素的光谱特征，对周围空间信息利用不足。对于光谱相似但空间分布不同的地物，仅靠单点光谱容易出现误分。

随着深度学习的发展，卷积神经网络开始被引入高光谱分类任务。CNN的优势在于能够自动提取局部空间特征，使模型不再只看一个像素，而是结合周围邻域共同判断。二维卷积主要关注空间纹理和局部结构，三维卷积则能够同时处理空间维度和光谱维度，因此在高光谱分类中得到了广泛应用。相比传统方法，CNN推动高光谱分类从单纯光谱识别走向空间-光谱联合建模。

在实验验证方面，CNN 类高光谱分类模型常使用Indian Pines、Pavia University、Salinas、University of Houston等公开数据集。其中，Indian Pines和Salinas更偏农业地物场景，Pavia University和University of Houston则更偏城市地物与复杂地表覆盖场景。

（a）光谱卷积神经网络

（b）空间卷积神经网络

（c）空间-光谱卷积神经网络

图 2.高光谱CNN分类模型的三种基本建模方式：

光谱、空间与空间-光谱联合特征提取

不过，CNN也存在一定局限。卷积操作更擅长提取局部特征，对长距离依赖和全局关系建模能力相对有限。而高光谱图像中，不同波段之间、不同区域之间往往存在复杂联系。为了解决这一问题，Transformer逐渐进入高光谱分类领域。依靠注意力机制，Transformer可以建模不同位置、不同波段之间的关联关系，更适合捕捉全局空间-光谱依赖。

图 3.高光谱Transformer分类模型结构：

基于自注意力机制的空间-光谱特征建模

Transformer的引入，使高光谱分类从局部特征提取进一步走向全局关系建模。它能够帮助模型关注更大范围的信息，对复杂地物边界、相似类别区分和长程光谱依赖具有一定优势。但与此同时，Transformer也带来了新的问题。高光谱数据波段多、维度高，如果直接使用注意力机制，计算量和显存消耗会明显增加。此外，高光谱标注样本通常较少，复杂模型在小样本条件下也更容易过拟合。

近年来，Mamba和状态空间模型为高光谱分类提供了新的思路。与Transformer不同，Mamba类方法更强调高效序列建模，能够在较低计算复杂度下处理长序列信息。对于高光谱图像来说，光谱维度本身就是一条连续序列，空间区域也可以通过扫描方式展开为序列。因此，Mamba/SSM类结构具有高效长序列建模能力，因此为光谱序列和空间-光谱序列建模提供了新的思路。

图 4.SS-Mamba高光谱分类模型结构：

基于空间与光谱双分支的状态空间建模

从发展脉络来看，高光谱分类经历了几个明显阶段：传统机器学习主要解决“光谱向量如何分类”的问题；CNN解决“如何融合局部空间信息”的问题；Transformer关注“如何建立全局关系”的问题；而Mamba/SSM类方法则进一步探索“如何高效建模长程空间-光谱依赖”。这些方法并不是简单替代关系，而是在不同阶段解决不同核心矛盾。近年来的Mamba/SSM类方法除了传统基准数据集，也逐渐开始在WHU-Hi-HanChuan、WHU-Hi-HongHu、WHU-Hi-LongKou等更大规模或更复杂场景的数据集上验证模型的泛化能力。

尽管模型不断进步，高光谱分类仍然面临不少挑战。首先是样本标注不足。高光谱数据标注通常需要专业知识，获取成本较高。其次是类别不平衡问题，一些类别像素数量很多，而另一些类别非常稀少，模型容易偏向多数类。再次，不同传感器、不同地区、不同成像条件下的数据差异较大，模型在一个数据集上表现很好，换到另一个场景中可能效果明显下降。

因此，未来高光谱分类的发展方向，不只是追求单个数据集上的高精度，而是更加关注模型的泛化能力、轻量化能力和真实场景适应能力。一方面，需要设计更有效的空间-光谱联合建模结构；另一方面，也需要结合少样本学习、迁移学习、自监督学习和基础模型等思路，提升模型在不同数据源和不同任务中的适应性。

总体来看，高光谱图像分类的发展，本质上是模型不断学习“如何读懂光谱、如何理解空间、如何适应复杂地物”的过程。从传统机器学习到CNN，从Transformer到Mamba，高光谱分类正在从简单的像素级识别，走向更加智能、高效和泛化的空间-光谱解译。

[1] Roy S K, Krishna G, Dubey S R, et al. HybridSN: Exploring 3-D–2-D CNN feature hierarchy for hyperspectral image classification[J]. IEEE geoscience and remote sensing letters, 2019, 17(2): 277-281.

[2]  Hong D, Han Z, Yao J, Gao L, Zhang B, Plaza A, Chanussot J. SpectralFormer: Rethinking Hyperspectral Image Classification With Transformers. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1–15.

[3]  Yao J, Hong D, Li C, Chanussot J. SpectralMamba: Efficient Mamba for Hyperspectral Image Classification. arXiv:2404.08489, 2024.

[4] Wang G, Zhang X, Peng Z, Zhang T, Jiao L. S²Mamba: A Spatial-Spectral State Space Model for Hyperspectral Image Classification. IEEE Transactions on Geoscience and Remote Sensing, 2025.

[5]  Ahmad M, Butt M H F, Khan A M, et al. Spatial–spectral morphological mamba for hyperspectral image classification[J]. Neurocomputing, 2025, 636: 129995.

[6] He Y, Tu B, Jiang P, et al. IGroupSS-mamba: Interval group spatial–spectral mamba for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62: 1-17.