当全色遇到高光谱：一条融合路线的演进与思考

从成像特性上看，多光谱图像能够提供较丰富的波段信息，适合表达植被、水体、建筑、裸地等不同地物在光谱上的差异，但受限于空间分辨率，细节往往不够清楚；全色图像则具有更高的空间分辨率，边缘、纹理和结构信息更明显，但通常只包含较少的波段信息。全色锐化的价值，就在于把这两类图像的优势结合起来，让结果图像同时具备“看得清”和“分得开”的能力。

图 2.多光谱与全色影像的特性差异及全色锐化的融合目标

这套方法最早确实是围绕多光谱影像设计的，但它所面对的核心矛盾——空间增强与光谱保真之间的权衡关系在高光谱图像中同样存在，而且要求更严苛。高光谱数据动辄几十上百个波段，光谱分辨率越高，对融合过程中“不破坏光谱曲线”的要求就越敏感。因此，理解全色锐化的技术逻辑，对高光谱应用而言不是“顺便看看”，而是绕不开的基础课。

从方法体系来看，全色锐化大致可以分为四大类：成分替换法、多分辨率分析法、模型优化法和深度学习方法。它们的区别，并不只是实现形式不同，更重要的是对“空间细节从哪里来、如何注入、怎样尽量避免光谱失真”这几个问题给出了不同答案。

图 3.全色锐化分类

成分替换法是最早也最直观的一类全色锐化思路。它的基本逻辑，是先把多光谱图像变换到一个新的表示空间，再将其中一个与亮度最接近的分量替换为全色图像，最后逆变换回原空间，得到融合结果。这里最经典、也最能代表这一类思想的方法是GSA（Gram-Schmidt Adaptive）。GSA的关键，是先根据多光谱图像构造一个与全色图像光谱特性更接近的模拟全色分量，再通过 Gram-Schmidt 正交变换完成替换，从而比更早期的直接替换方法更稳一些，也更能降低颜色偏差。它的优点是思路清楚、实现简单、计算量小，能够快速得到锐化明显的结果；但它本质上仍然属于替换式注入，只要传感器响应存在差异，仍然可能带来一定程度的光谱失真。因此，GSA更适合作为理解全色锐化机制的经典代表，而不是高光谱应用中的最终答案。

图 4.GSA方法流程图

多分辨率分析法则走的是另一条路线。它不直接替换某个分量，而是把图像拆成不同尺度上的信息，再把全色图像中的高频细节注入到多光谱图像中。这里可以用MTF 约束下的多分辨率分析方法作为代表。它的核心思想，是先通过多分辨率分解把图像拆成不同层次的结构，再利用 MTF 匹配去控制全色图像和多光谱图像在空间频率上的一致性，之后再把匹配后的细节注入到重构过程中。这样做的好处，是它不是简单地把锐利细节“硬塞”进多光谱图像，而是尽量让注入的细节和传感器的成像特性保持一致，因此通常比成分替换法更容易兼顾空间增强和光谱保真。它的不足也比较明确，即分解方式、金字塔层数、匹配策略和重构过程都会影响结果，参数不合适时，效果也会波动。对高光谱场景来说，这类方法尤其重要，因为高光谱数据本身就包含更复杂的谱间关系和尺度结构，分层处理往往更有利于控制失真。

图 5.MTF方法流程图

模型优化法和前两类方法的思路明显不同。它不再强调“替换”或者“分解”，而是直接把全色锐化写成一个数学优化问题：既要让融合结果尽量符合观测数据，又要满足某种先验约束，例如平滑性、稀疏性、结构一致性或边缘保持。这里可以把变分重建方法作为代表，也可以理解为贝叶斯、MAP框架下的估计问题。它的优点在于理论表达更完整，目标更清晰，能够显式地平衡空间细节和光谱一致性，因此在高精度任务里很受重视。它的缺点也很现实，模型设计和求解过程都更复杂，优化计算量更大，而且对先验假设比较敏感。不过，放到高光谱场景里，这种思路恰恰意义重大——高光谱波段多、信息密，单纯靠经验式注入往往不够稳，而优化框架更适合处理这种高维约束问题。

图 6.基于退化模型与优化求解的锐化方法

近年来，深度学习方法已成为全色锐化研究中的主流方向，并逐渐形成了清晰的技术演进脉络。与传统方法依赖手工设计的细节注入规则和优化先验不同，深度学习方法能够通过端到端训练从数据中自动学习 PAN 与多光谱或高光谱图像之间的非线性映射关系，在复杂场景下表现出更强的特征表达能力和融合适应性。早期研究主要以卷积神经网络为核心，利用卷积结构在局部纹理提取、多尺度特征建模以及残差信息重建方面的优势，从 PAN 中学习高频空间细节，并将其注入到低分辨率多光谱或高光谱图像中，以提升融合结果的空间分辨率。典型的 CNN 类方法通常通过残差模块、跳跃连接以及高频增强分支来缓解细节丢失问题，并在保证重建稳定性的同时提高纹理恢复能力，如图7所示。

图 7.SRPNN方法架构图

随着研究的深入，单纯依赖局部卷积的建模方式逐渐暴露出对长距离依赖和全局上下文刻画不足的问题，因此 Transformer 被引入全色锐化任务。相比CNN，Transformer 基于自注意力机制，能够更有效地捕获图像中跨区域、跨波段的全局关联信息，从而增强 PAN 与多光谱信息之间的交互建模能力，并提升复杂场景下的融合表达效果。此类方法通常首先通过 patch embedding 将输入图像映射到特征空间，再借助自注意力块和跨模态融合模块实现全局特征交互，最后通过重建模块生成高分辨率结果，如图8所示。

图 8.PanFormer方法架构图

与此同时，深度学习方法对配对训练数据的依赖也带来了现实限制，尤其在高光谱相关任务中，高质量标注样本稀缺，真实退化过程又难以精确获得，使得纯监督学习方法在实际应用中面临泛化不足的问题。在这一背景下，无监督方法逐渐受到关注。这类方法通常通过退化一致性、重建约束或物理先验进行优化，在减少对标注数据依赖的同时，也为真实场景下的融合提供了更具可行性的思路。以扩散模型为代表的一些无监督方法，往往通过逐步估计潜在状态并结合观测一致性约束来恢复高分辨率结果，从而在不依赖成对 HRHS 标注的情况下实现细节补偿与结构重建，如图9所示。

图 9.PLRDiff方法架构图

把这四类方法放在一起看，全色锐化的技术演进逻辑就很清楚了：成分替换法追求简单直接，多分辨率分析法强调尺度分离，模型优化法讲究理论约束，深度学习法依赖数据驱动。路线不同，但目标一致——在“看得清”和“分得开”之间，找一个尽可能最优的解。

这套方法体系对高光谱图像处理具有直接的参照意义。高光谱数据拥有几十上百个连续波段，光谱分辨率远高于多光谱，这意味着两方面的挑战：一是信息量更大、应用潜力更广，二是对融合过程中引入的失真更敏感。光谱曲线稍有走样，后续的分类、识别、定量反演都可能失效。因此，高光谱场景下的空间增强，难度和要求都比多光谱高出一个量级。

全色锐化恰好为这个问题提供了一个完整的参照框架。它揭示了一个关键事实：遥感影像处理真正要解决的，从来不只是“让图像变清楚”，而是在数据越来越复杂、分辨率越来越高的情况下，如何同时保住空间细节和光谱真实性。这不仅是一个技术命题，更是一个关于信息保真的基础性问题。

全色锐化的价值，不止于方法本身，更在于它提供了一种思考方式——当面对看似矛盾的需求时，与其做取舍，不如求融合。

[1] Aiazzi B, Baronti S, Selva M. Improving component substitution pansharpening through multivariate regression of MS+Pan data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(10): 3230–3239.

[2] Aiazzi B, Alparone L, Baronti S, et al. Context-driven fusion of high spatial and spectral resolution images based on oversampled multiresolution analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2002, 40(10): 2300-2312.

[3] Chen C, Li Y, Liu W, et al. SIRF: Simultaneous satellite image registration and fusion in a unified framework[J]. IEEE Transactions on Image Processing, 2015, 24(11): 4213-4224.

[4] Liu P, Xiao L, Li T. A variational pan-sharpening method based on spatial fractional-order geometry and spectral–spatial low-rank priors[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(3): 1788-1802.

[5] Cai J, Huang B. Super-resolution-guided progressive pansharpening based on a deep convolutional neural network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(6): 5206-5220.

[6] Zhou H, Liu Q, Wang Y. PanFormer: A Transformer based model for pan-sharpening[C]//2022 IEEE International Conference on Multimedia and Expo (ICME). IEEE, 2022: 1-6.

[7] Rui X, Cao X, Pang L, et al. Unsupervised hyperspectral pansharpening via low-rank diffusion model[J]. Information Fusion, 2024, 107: 102325.