Quand le panchromatisme rencontre l'hyperspectral : évolution et réflexion sur une voie de fusion

En termes de caractéristiques d'imagerie, les images multispectrales offrent une information spectrale plus riche et sont adaptées à la représentation des différences spectrales de divers éléments du paysage, tels que la végétation, les plans d'eau, les bâtiments et les sols nus. Cependant, en raison des limitations de résolution spatiale, les détails sont souvent peu nets. Les images panchromatiques, quant à elles, présentent une résolution spatiale plus élevée et une meilleure définition des contours, des textures et des structures, mais contiennent généralement moins d'informations spectrales.L'intérêt de l'accentuation des couleurs réside dans la combinaison des avantages de ces deux types d'images, permettant à l'image résultante d'être à la fois « nette » et « distincte ».

Figure 2.Les différences de caractéristiques entre les images multispectrales et panchromatiques et les cibles de fusion de l'accentuation panchromatique.

Cette méthode a certes été initialement conçue pour l'imagerie multispectrale, mais le principal défi auquel elle est confrontée — le compromis entre l'amélioration spatiale et la fidélité spectrale — se retrouve également dans les images hyperspectrales, et les exigences y sont encore plus strictes. Les données hyperspectrales contiennent souvent des dizaines, voire des centaines de bandes spectrales ; plus la résolution spectrale est élevée, plus il est crucial de « ne pas altérer la courbe spectrale » lors du processus de fusion. Par conséquent,Comprendre la logique technique de l'accentuation des couleurs n'est pas à prendre à la légère pour les applications hyperspectrales ; c'est une leçon fondamentale essentielle qu'il est impossible d'éviter.

D'un point de vue méthodologiqueL'amélioration de la netteté en couleur peut être globalement catégorisée en quatre types : substitution de composants, analyse multi-résolution, optimisation de modèles et méthodes d'apprentissage profond.La différence entre eux ne réside pas seulement dans leur mise en œuvre, mais surtout dans les différentes réponses qu'ils apportent aux questions suivantes : « D'où proviennent les détails spatiaux, comment sont-ils injectés et comment peut-on éviter autant que possible la distorsion spectrale ? »

Figure 3. Classification de l'accentuation des couleurs

La méthode de remplacement des composants est l'approche la plus ancienne et la plus intuitive pour l'amélioration de la netteté en couleur.Sa logique de base consiste d'abord à transformer l'image multispectrale dans un nouvel espace de représentation, puis à remplacer la composante la plus proche de la luminosité par une image panchromatique, et enfin à effectuer la transformation inverse pour revenir à l'espace d'origine et obtenir ainsi le résultat fusionné. La méthode la plus classique et représentative de ce type de raisonnement est…GSA(Gram-Schmidt adaptatif). Le principe de l'algorithme GSA consiste d'abord à construire une composante panchromatique simulée qui se rapproche davantage des caractéristiques spectrales de l'image panchromatique à partir de l'image multispectrale, puis à utiliser l'algorithme de Gram-Schmidt... Transformation orthogonaleCette méthode de remplacement est plus stable que les méthodes de remplacement direct antérieures et permet de réduire les écarts de couleur. Ses avantages incluent une approche claire, une mise en œuvre simple, un faible coût de calcul et la capacité d'obtenir rapidement des résultats d'amélioration de la netteté significatifs. Cependant, il s'agit toujours d'une méthode d'injection basée sur le remplacement, et tant qu'il existe des différences de réponse des capteurs, elle peut encore introduire un certain degré de distorsion spectrale. Par conséquent, la méthode GSA est plus appropriée comme exemple classique pour comprendre les mécanismes d'amélioration de la netteté panchromatique que comme solution définitive dans les applications hyperspectrales.

Figure 4. Organigramme de la méthode GSA

L'analyse multi-résolution adopte une approche différente. Au lieu de remplacer directement un composant, elle décompose l'image en informations à différentes échelles, puis injecte les détails haute fréquence de l'image panchromatique dans l'image multispectrale.Cela peut être utiliséMTF L'analyse multi-résolution sous contraintes est une méthode représentative. Son principe consiste d'abord à décomposer l'image en différents niveaux de structure par décomposition multi-résolution, puis à utiliser la correspondance MTF pour contrôler les images panchromatiques et multispectrales.Fréquence spatialeLe processus assure d'abord la cohérence entre les éléments de l'image multispectrale et les caractéristiques d'imagerie du capteur, puis injecte les détails correspondants dans le processus de reconstruction. L'avantage de cette approche est qu'elle ne se contente pas d'« insérer » des détails précis dans l'image multispectrale, mais s'efforce plutôt de maintenir la cohérence entre les détails injectés et les caractéristiques d'imagerie du capteur. Par conséquent, il est généralement plus facile d'équilibrer l'amélioration spatiale et la fidélité spectrale que les méthodes de substitution de composantes. Ses limites sont également évidentes : la méthode de décomposition, le nombre de couches pyramidales, la stratégie d'appariement et le processus de reconstruction influent tous sur les résultats, et des paramètres inappropriés peuvent entraîner des performances fluctuantes. Ce type de méthode est particulièrement important pour les scènes hyperspectrales, car les données hyperspectrales contiennent elles-mêmes des relations interspectrales et des structures d'échelle plus complexes, et le traitement par couches est souvent plus efficace pour contrôler la distorsion.

Figure 5. Organigramme de la méthode MTF

méthode d'optimisation de modèleCette approche diffère sensiblement des deux méthodes précédentes. Elle ne met plus l'accent sur le « remplacement » ou la « décomposition », mais plutôt…Le processus d'accentuation panchromatique peut être décrit directement comme un problème d'optimisation mathématique : le résultat de la fusion doit correspondre au mieux aux données observées, tout en respectant certaines contraintes préalables, telles que la régularité, la parcimonie, la cohérence structurelle ou la préservation des contours.Les méthodes de reconstruction variationnelle peuvent servir d'approche représentative et être appréhendées comme des problèmes d'estimation dans les cadres bayésien et MAP. Leurs avantages résident dans leur formulation théorique plus complète, leurs objectifs plus clairs et leur capacité à équilibrer explicitement la précision spatiale et la cohérence spectrale, ce qui les rend particulièrement précieuses pour les tâches de haute précision. Leurs inconvénients sont également d'ordre pratique : la conception du modèle et les processus de résolution sont plus complexes, les calculs d'optimisation sont plus importants et la méthode est sensible aux hypothèses initiales. Cependant, cette approche est particulièrement pertinente dans les contextes hyperspectraux : les bandes hyperspectrales sont nombreuses et riches en informations, et le recours exclusif à l'injection empirique est souvent insuffisant ; les cadres d'optimisation sont mieux adaptés au traitement de tels problèmes contraints de grande dimension.

Figure 6.Méthodes d'affûtage basées sur des modèles de dégradation et des solutions d'optimisation

Au cours des dernières années,Les méthodes d'apprentissage profond sont devenues l'approche dominante dans la recherche sur l'amélioration de la netteté en couleur et ont progressivement tracé une voie d'évolution technologique claire.Contrairement aux méthodes traditionnelles qui reposent sur des règles d'injection de détails conçues manuellement et des distributions a priori optimisées, les méthodes d'apprentissage profond peuvent apprendre automatiquement la relation de mappage non linéaire entre les PAN et les images multispectrales ou hyperspectrales à partir des données grâce à un entraînement de bout en bout. Elles présentent ainsi des capacités de représentation des caractéristiques plus robustes et une meilleure adaptabilité de la fusion dans des scènes complexes. Les premières recherches se sont principalement concentrées sur les réseaux de neurones convolutifs, tirant parti des avantages des structures convolutives en matière d'extraction de texture locale, de modélisation de caractéristiques multi-échelles et de reconstruction d'informations résiduelles pour apprendre les détails spatiaux haute fréquence des PAN et les injecter dans des images multispectrales ou hyperspectrales basse résolution afin d'améliorer la résolution spatiale du résultat de la fusion. Les méthodes typiques de type CNN atténuent généralement le problème de la perte de détails grâce à des modules résiduels, des connexions résiduelles et des branches d'amélioration haute fréquence, et améliorent les capacités de récupération de texture tout en assurant la stabilité de la reconstruction, comme illustré sur la figure 7.

Figure 7.Diagramme d'architecture de la méthode SRPNN

À mesure que la recherche s'est approfondie, les méthodes de modélisation reposant uniquement sur des convolutions locales ont progressivement révélé leurs limites quant à la capture des dépendances à longue portée et du contexte global. C'est pourquoi le Transformer a été introduit dans les tâches d'amélioration de la netteté des images panchromatiques. Comparé aux CNN, le Transformer, basé sur un mécanisme d'auto-attention, capture plus efficacement les informations de corrélation globale entre les régions et les bandes d'une image, améliorant ainsi la modélisation de l'interaction entre les informations panchromatiques et multispectrales et la qualité de la représentation par fusion dans les scènes complexes. Ces méthodes consistent généralement à projeter l'image d'entrée dans l'espace des caractéristiques par l'intégration de patchs, puis à utiliser des blocs d'auto-attention et des modules de fusion intermodale pour réaliser l'interaction globale des caractéristiques, et enfin à générer des résultats haute résolution grâce à un module de reconstruction, comme illustré sur la figure 8.

Figure 8.Diagramme d'architecture de la méthode PanFormer

Par ailleurs, la dépendance des méthodes d'apprentissage profond aux données d'entraînement appariées présente des limitations pratiques, notamment pour les tâches liées à l'hyperspectral. Les échantillons étiquetés de haute qualité sont rares et le processus de dégradation réel est difficile à appréhender avec précision, ce qui explique l'insuffisance de généralisation des méthodes d'apprentissage supervisé dans les applications pratiques. Dans ce contexte, les méthodes non supervisées ont progressivement suscité un intérêt croissant. Ces méthodes sont généralement optimisées par la cohérence de la dégradation, les contraintes de reconstruction ou les connaissances physiques a priori, réduisant ainsi la dépendance aux données étiquetées et offrant une approche de fusion plus réaliste. Certaines méthodes non supervisées, représentées par les modèles de diffusion, parviennent souvent à reconstruire des résultats haute résolution en estimant progressivement l'état latent et en le combinant à des contraintes de cohérence des observations. Elles réalisent ainsi la compensation des détails et la reconstruction structurelle sans recourir aux étiquettes HRHS appariées, comme illustré sur la figure 9.

Figure 9.Diagramme d'architecture de la méthode PLRDiff

En considérant ces quatre méthodes ensemble, la logique d'évolution technologique de l'accentuation des couleurs devient très claire :Les méthodes de substitution de composants privilégient la simplicité et la directivité, l'analyse multi-résolution met l'accent sur la séparation des échelles, les méthodes d'optimisation de modèles s'appuient sur des contraintes théoriques et les méthodes d'apprentissage profond reposent sur des approches basées sur les données. Elles empruntent des voies différentes, mais partagent le même objectif : trouver la solution optimale entre « visibilité claire » et « séparabilité ».

Cette méthodologie présente un intérêt direct pour le traitement d'images hyperspectrales. Les données hyperspectrales comportent des dizaines, voire des centaines de bandes spectrales continues, et leur résolution spectrale est bien supérieure à celle des données multispectrales. Ceci soulève deux défis : d'une part, elles contiennent davantage d'informations et offrent un champ d'application plus vaste ; d'autre part, elles sont plus sensibles aux distorsions introduites lors de la fusion. Même une légère distorsion de la courbe spectrale peut compromettre la classification, la reconnaissance et l'inversion quantitative ultérieures. Par conséquent, l'amélioration spatiale en contexte hyperspectral est considérablement plus complexe et exigeante qu'avec les méthodes multispectrales.

L'accentuation des couleurs en pleine résolution offre un cadre de référence complet pour ce problème. Elle révèle un fait essentiel :Le véritable défi du traitement d'images de télédétection n'est pas seulement de « rendre l'image plus nette », mais de préserver les détails spatiaux et la précision spectrale tout en traitant des données de plus en plus complexes et à haute résolution.Il ne s'agit pas seulement d'un problème technique, mais aussi d'une question fondamentale concernant la fidélité de l'information.

L’intérêt de l’accentuation des couleurs réside non seulement dans la méthode elle-même, mais aussi dans la façon dont elle propose une approche : face à des besoins apparemment contradictoires, au lieu de faire des compromis, il est préférable de rechercher l’intégration.

[1] Aiazzi B, Baronti S, Selva M. Amélioration de la fusion panchromatique par substitution de composants grâce à la régression multivariée des données MS+Pan[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(10): 3230–3239.

[2] Aiazzi B, Alparone L, Baronti S, et al. Fusion contextuelle d'images à haute résolution spatiale et spectrale basée sur une analyse multirésolution suréchantillonnée[J]. IEEE Transactions on Geoscience and Remote Sensing, 2002, 40(10): 2300-2312.

[3] Chen C, Li Y, Liu W, et al. SIRF : Enregistrement et fusion simultanés d'images satellites dans un cadre unifié[J]. IEEE Transactions on Image Processing, 2015, 24(11) : 4213-4224.

[4] Liu P, Xiao L, Li T. Une méthode de fusion pan-image variationnelle basée sur la géométrie spatiale d'ordre fractionnaire et les a priori de faible rang spectral-spatial [J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(3): 1788-1802.

[5] Cai J, Huang B. Super-resolution-guided progressive pansharpening based on a deep convolutional neural network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(6): 5206-5220.

[6] Zhou H, Liu Q, Wang Y. PanFormer : un modèle basé sur Transformer pour la fusion pan [C]//2022 IEEE International Conference on Multimedia and Expo (ICME). IEEE, 2022 : 1-6.

[7] Rui X, Cao X, Pang L, et al. Fusion panspectrale hyperspectrale non supervisée via un modèle de diffusion de faible rang[J]. Information Fusion, 2024, 107: 102325.