请留言
diapositive 1

Global Vision Media Focus

L'entreprise a été présentée sur les chaînes de vidéosurveillance à 15 reprises au total, et sa diffusion via les médias du Parti, les médias centraux et les médias officiels locaux a touché un total de 50 millions de personnes.

0101
Actualités Catégories

Revue de la classification d'images hyperspectrales : des CNN et Transformer à Mamba

30 juillet 2026

Avant l'avènement de l'apprentissage profond, la classification hyperspectrale reposait principalement sur des méthodes d'apprentissage automatique classiques. L'imagerie hyperspectrale est une technologie de télédétection et d'imagerie capable d'acquérir simultanément des informations spatiales et spectrales continues. Contrairement aux images RVB ordinaires, les images hyperspectrales enregistrent non seulement la couleur apparente, mais aussi les caractéristiques de réflexion ou d'absorption des différentes substances sur plusieurs bandes spectrales. De ce fait, elle est largement utilisée dans divers domaines tels que l'agriculture, la surveillance environnementale, l'imagerie médicale, les analyses alimentaires, l'inventaire des ressources et la reconnaissance de cibles.

Figure 1.Applications typiques de l'imagerie hyperspectrale en médecine, alimentation, agriculture, environnement, surveillance et autres domaines.

Du point de vue des applications, la valeur de la technologie hyperspectrale réside dans sa capacité à « distinguer les différences ». De nombreux objets, bien que d'apparence similaire en couleur sur les images classiques, peuvent présenter des différences significatives dans leurs spectres. Par exemple, différentes cultures, différents types de végétation, différents matériaux, et même certaines anomalies difficiles à détecter à l'œil nu, peuvent être mis en évidence grâce aux caractéristiques spectrales. Cependant, pour transformer véritablement ces informations spectrales complexes en résultats catégoriels compréhensibles, la technologie hyperspectrale est indispensable.Classification d'images hyperspectralestechnologie.

La classification d'images hyperspectrales consiste à attribuer une catégorie à chaque pixel d'une image en fonction de ses caractéristiques spectrales et de son contexte spatial. En télédétection hyperspectrale, cette tâche se traduit généralement par une classification de l'occupation du sol au niveau du pixel, c'est-à-dire la détermination de la catégorie d'occupation du sol de chaque pixel à partir des informations de son voisinage. Bien que cela puisse paraître similaire à la classification d'images classiques, c'est en réalité plus complexe. Les images classiques ne possèdent généralement que trois canaux : rouge, vert et bleu, tandis que les images hyperspectrales contiennent souvent des dizaines, voire des centaines de bandes continues. Chaque pixel n'est pas un simple point de couleur, mais une courbe spectrale complète. Pour mieux comprendre le processus de classification d'images hyperspectrales, on peut le résumer en plusieurs étapes :

Les premières méthodes de classification hyperspectrale reposaient principalement sur l'apprentissage automatique classique. Les chercheurs traitaient généralement la courbe spectrale de chaque pixel comme un vecteur de grande dimension, puis utilisaient des méthodes telles que les machines à vecteurs de support, les forêts aléatoires et les k plus proches voisins pour la classification. Ces méthodes sont simples, faciles à mettre en œuvre et peuvent donner de bons résultats même avec de petits échantillons. Cependant, elles se concentrent surtout sur les caractéristiques spectrales d'un seul pixel, exploitant insuffisamment les informations spatiales environnantes. Pour des éléments du sol présentant des spectres similaires mais des distributions spatiales différentes, se fier uniquement aux spectres d'un seul point peut facilement conduire à des erreurs de classification.

Avec le développement de l'apprentissage profond, les réseaux de neurones convolutifs (CNN) sont désormais utilisés pour les tâches de classification hyperspectrale. Leur principal avantage réside dans leur capacité à extraire automatiquement les caractéristiques spatiales locales, permettant ainsi au modèle de prendre en compte non seulement un pixel isolé, mais aussi son environnement immédiat pour une analyse globale. La convolution bidimensionnelle se concentre principalement sur la texture spatiale et la structure locale.convolution 3DIl peut traiter simultanément les dimensions spatiales et spectrales et, de ce fait, est largement utilisé en classification hyperspectrale. Comparé aux méthodes traditionnelles, le CNN a permis de faire évoluer la classification hyperspectrale, passant d'une simple reconnaissance spectrale à une modélisation spatio-spectrale conjointe.

En matière de vérification expérimentale, on utilise souvent des modèles de classification hyperspectrale basés sur les CNN.Pins indiensDes jeux de données publics, tels que ceux des universités de Pavie, de Salinas et de Houston, sont utilisés. Parmi eux, Indian Pines et Salinas sont davantage axés sur les formes de relief agricoles, tandis que les universités de Pavie et de Houston privilégient les formes de relief urbaines et les scénarios complexes d'occupation des sols.

(a) Réseau neuronal convolutif spectral

(b) Réseau neuronal convolutif spatial

(c) Réseau neuronal convolutif spatio-spectral

Figure 2.Trois méthodes de modélisation de base pour les modèles de classification CNN hyperspectraux :

Extraction conjointe de caractéristiques spectrales, spatiales et spatio-spectrales

Cependant, les CNN présentent aussi certaines limitations. Les opérations de convolution sont plus performantes pour extraire les caractéristiques locales, mais leur capacité à modéliser les dépendances à longue portée et les relations globales est relativement limitée. Dans les images hyperspectrales, il existe souvent des relations complexes entre les différentes bandes et les différentes régions. Pour pallier ce problème…TransformateurIl s'impose progressivement dans le domaine de la classification hyperspectrale. S'appuyant sur le mécanisme d'attention, le Transformer peut modéliser la corrélation entre différentes localisations et différentes bandes spectrales, ce qui le rend plus adapté à la capture des dépendances spatio-spectrales globales.

Figure 3.Structure du modèle de classification Hyperspectral Transformer :

Modélisation des caractéristiques spatio-spectrales basée sur un mécanisme d'auto-attention

L'introduction du Transformer permet à la classification hyperspectrale de dépasser l'extraction de caractéristiques locales et de s'orienter vers la modélisation des relations globales. Il aide le modèle à se concentrer sur un plus large éventail d'informations, à gérer les limites complexes des caractéristiques du terrain, à distinguer les catégories similaires, et…Dépendance spectrale à longue portéeBien que présentant certains avantages, le Transformer soulève également de nouveaux problèmes. Les données hyperspectrales comportent de nombreuses bandes et une dimensionnalité élevée ; par conséquent, l’utilisation directe du mécanisme d’attention augmenterait considérablement le coût de calcul et la consommation de mémoire GPU. De plus, le nombre d’échantillons hyperspectraux étiquetés étant généralement faible, les modèles complexes sont plus susceptibles de surapprendre dans ces conditions.

Ces dernières années, les modèles Mamba et les modèles d'espace d'état ont ouvert de nouvelles perspectives pour la classification hyperspectrale. Contrairement aux Transformers, les méthodes de type Mamba privilégient une modélisation efficace des séquences, permettant de traiter de longues séquences avec une complexité de calcul réduite. Pour les images hyperspectrales, la dimension spectrale est elle-même une séquence continue, et les régions spatiales peuvent également être étendues en séquences par balayage. Par conséquent, les structures de type Mamba/SSM possèdent d'excellentes capacités de modélisation des longues séquences, offrant ainsi de nouvelles idées pour la modélisation des séquences spectrales et spatio-spectrales.

Figure 4.Structure du modèle de classification hyperspectrale SS-Mamba :

Modélisation d'espace d'état basée sur des branches duales spatiales et spectrales

Du point de vue du développement, la classification hyperspectrale a connu plusieurs étapes distinctes : l’apprentissage automatique traditionnel s’attaque principalement au problème de la classification des vecteurs spectraux ; les réseaux de neurones convolutifs (CNN) traitent celui de la fusion des informations spatiales locales ; les Transformers se concentrent sur l’établissement des relations globales ; et les méthodes de type Mamba/SSM explorent plus avant la modélisation efficace des dépendances spatio-spectrales à longue portée. Ces méthodes ne sont pas de simples substitutions, mais des solutions à différents défis fondamentaux à différentes étapes. Ces dernières années, outre les jeux de données de référence traditionnels, les méthodes de type Mamba/SSM ont progressivement validé leurs capacités de généralisation sur des jeux de données plus vastes ou plus complexes, tels que WHU-Hi-HanChuan, WHU-Hi-HongHu et WHU-Hi-LongKou.

Malgré les améliorations continues apportées aux modèles, la classification hyperspectrale reste confrontée à de nombreux défis. Premièrement, l'étiquetage des échantillons est insuffisant. L'étiquetage des données hyperspectrales requiert généralement des connaissances spécialisées et son acquisition est coûteuse. Deuxièmement, le problème du déséquilibre des classes se pose : certaines classes comportent un grand nombre de pixels, tandis que d'autres sont très clairsemées, ce qui tend à favoriser la classe majoritaire. Troisièmement, les données varient considérablement selon les capteurs, les régions et les conditions d'acquisition d'images ; un modèle performant sur un jeu de données donné peut voir ses performances chuter significativement dans un autre contexte.

Par conséquent, l'avenir de la classification hyperspectrale ne se limite pas à la recherche d'une précision élevée sur un seul jeu de données, mais privilégie également la capacité de généralisation du modèle, sa légèreté et son adaptabilité aux situations réelles. D'une part, il est nécessaire de concevoir des structures de modélisation spatio-spectrale conjointes plus efficaces ; d'autre part, il est également nécessaire de combiner des approches telles que l'apprentissage avec peu d'exemples, l'apprentissage par transfert, l'apprentissage auto-supervisé et les modèles de base afin d'améliorer l'adaptabilité du modèle à différentes sources de données et tâches.

De manière générale, le développement de la classification d'images hyperspectrales est essentiellement un processus dans lequel les modèles apprennent continuellement « à interpréter les spectres, à comprendre l'espace et à s'adapter aux caractéristiques complexes du terrain ». De l'apprentissage automatique traditionnel aux CNN, des Transformers à Mamba, la classification hyperspectrale évolue d'une simple reconnaissance au niveau du pixel vers une interprétation spatio-spectrale plus intelligente, efficace et généralisée.

 

Références

[1] Roy SK, Krishna G, Dubey SR, et al. HybridSN : Exploration de la hiérarchie des caractéristiques CNN 3D–2D pour la classification d'images hyperspectrales [J]. IEEE geoscience and remote sensing letters, 2019, 17(2) : 277-281.

[2] Hong D, Han Z, Yao J, Gao L, Zhang B, Plaza A, Chanussot J. SpectralFormer : repenser la classification d'images hyperspectrales avec des transformateurs. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60 : 1–15.

[3] Yao J, Hong D, Li C, Chanussot J. SpectralMamba : Mamba efficace pour la classification d'images hyperspectrales. arXiv:2404.08489, 2024.

[4] Wang G, Zhang X, Peng Z, Zhang T, Jiao L. S²Mamba : un modèle d'espace d'état spatio-spectral pour la classification d'images hyperspectrales. IEEE Transactions on Geoscience and Remote Sensing, 2025.

[5] Ahmad M, Butt MHF, Khan AM, et al. Mamba morphologique spatio-spectral pour la classification d'images hyperspectrales [J]. Neurocomputing, 2025, 636: 129995.

[6] He Y, Tu B, Jiang P, et al. IGroupSS-mamba : Interval group spatial–spectral mamba pour la classification d'images hyperspectrales[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62 : 1-17.