Cuando lo pancromático se encuentra con lo hiperespectral: la evolución y la reflexión en una ruta de fusión.

En cuanto a las características de imagen, las imágenes multiespectrales ofrecen información de banda más rica y son adecuadas para expresar las diferencias espectrales de distintos elementos del terreno, como vegetación, cuerpos de agua, edificios y terrenos baldíos. Sin embargo, debido a las limitaciones de resolución espacial, los detalles a menudo no son lo suficientemente nítidos. Las imágenes pancromáticas tienen mayor resolución espacial y ofrecen información más clara sobre bordes, texturas y estructuras, pero generalmente contienen menos información de banda.El valor del realce de nitidez a todo color reside en combinar las ventajas de estos dos tipos de imágenes, lo que permite que la imagen resultante sea a la vez "nítida" y "distinguible".

Figura 2.Las diferencias en las características entre las imágenes multiespectrales y pancromáticas y los objetivos de fusión del realce pancromático.

Este método fue diseñado originalmente para imágenes multiespectrales, pero el desafío principal al que se enfrenta —la compensación entre la mejora espacial y la fidelidad espectral— también existe en las imágenes hiperespectrales, y los requisitos son aún más estrictos. Los datos hiperespectrales suelen contener docenas o incluso cientos de bandas; cuanto mayor sea la resolución espectral, más importante es "no destruir la curva espectral" durante el proceso de fusión. Por lo tanto,Comprender la lógica técnica del realce de color no es algo que deba tomarse a la ligera en las aplicaciones hiperespectrales; es una lección fundamental e ineludible.

Desde una perspectiva metodológicaEl realce de imágenes a todo color se puede clasificar en cuatro tipos principales: sustitución de componentes, análisis multirresolución, optimización de modelos y métodos de aprendizaje profundo.La diferencia entre ellos no radica solo en su implementación, sino, lo que es más importante, en las diferentes respuestas que ofrecen a las preguntas de "¿de dónde proviene el detalle espacial, cómo se inyecta y cómo se puede evitar la distorsión espectral en la medida de lo posible?".

Figura 3. Clasificación de nitidez a todo color.

El método de sustitución de componentes es el enfoque más antiguo e intuitivo para el enfoque a todo color.Su lógica básica consiste en transformar primero la imagen multiespectral a un nuevo espacio de representación, luego reemplazar el componente más cercano al brillo con una imagen pancromática y, finalmente, transformarla inversamente de nuevo al espacio original para obtener el resultado fusionado. El método más clásico y representativo de este tipo de razonamiento es...GSA(Gram-Schmidt Adaptativo). La clave del GSA consiste en construir primero un componente pancromático simulado que se aproxime más a las características espectrales de la imagen pancromática a partir de la imagen multiespectral, y luego utilizar Gram-Schmidt... Transformación ortogonalEste método de reemplazo es más estable que los métodos de reemplazo directo anteriores y puede reducir la desviación de color. Sus ventajas incluyen un enfoque claro, una implementación sencilla, un bajo costo computacional y la capacidad de lograr rápidamente resultados de nitidez significativos. Sin embargo, esencialmente sigue siendo un método de inyección basado en reemplazo, y mientras existan diferencias en la respuesta del sensor, aún puede introducir cierto grado de distorsión espectral. Por lo tanto, GSA es más adecuado como un ejemplo clásico para comprender los mecanismos de nitidez pancromática que como la solución final en aplicaciones hiperespectrales.

Figura 4. Diagrama de flujo del método GSA

El análisis multirresolución adopta un enfoque diferente. En lugar de reemplazar directamente un componente, descompone la imagen en información a diferentes escalas y luego inyecta detalles de alta frecuencia de la imagen pancromática en la imagen multiespectral.Esto se puede utilizarMTF El análisis multirresolución con restricciones es un método representativo. Su idea principal consiste en descomponer primero la imagen en diferentes niveles de estructura mediante la descomposición multirresolución y, a continuación, utilizar la coincidencia de la función de transferencia de modulación (MTF) para controlar las imágenes pancromáticas y multiespectrales.Frecuencia espacialEl proceso primero garantiza la coherencia entre los elementos de la imagen multiespectral y las características de imagen del sensor, para luego incorporar los detalles coincidentes al proceso de reconstrucción. La ventaja de este enfoque radica en que no se limita a "introducir" detalles nítidos en la imagen multiespectral, sino que busca mantener la coherencia entre los detalles incorporados y las características de imagen del sensor. Por lo tanto, generalmente resulta más sencillo equilibrar la mejora espacial y la fidelidad espectral que con los métodos de sustitución de componentes. Sus limitaciones también son evidentes: el método de descomposición, el número de capas de la pirámide, la estrategia de coincidencia y el proceso de reconstrucción influyen en los resultados, y parámetros inadecuados pueden provocar fluctuaciones en el rendimiento. Este tipo de método es particularmente importante para escenas hiperespectrales, ya que los datos hiperespectrales en sí mismos contienen relaciones interespectrales y estructuras de escala más complejas, y el procesamiento por capas suele ser más eficaz para controlar la distorsión.

Figura 5. Diagrama de flujo del método MTF

Método de optimización de modelosEste enfoque difiere significativamente de los dos métodos anteriores. Ya no hace hincapié en la "sustitución" ni en la "descomposición", sino más bien...El proceso de mejora de la nitidez en todo el espectro cromático puede describirse directamente como un problema de optimización matemática: el resultado de la fusión debe ajustarse lo más posible a los datos observados, al tiempo que satisface ciertas restricciones previas, como la suavidad, la escasez, la consistencia estructural o la preservación de los bordes.Los métodos de reconstrucción variacional pueden utilizarse como un enfoque representativo y también pueden entenderse como problemas de estimación dentro de los marcos bayesiano y MAP. Sus ventajas radican en su expresión teórica más completa, objetivos más claros y la capacidad de equilibrar explícitamente el detalle espacial y la consistencia espectral, lo que los hace muy valiosos en tareas de alta precisión. Sus desventajas también son bastante prácticas: el diseño del modelo y los procesos de solución son más complejos, los cálculos de optimización son mayores y es sensible a las suposiciones previas. Sin embargo, este enfoque es particularmente significativo en escenarios hiperespectrales: las bandas hiperespectrales son numerosas y densas en información, y depender únicamente de la inyección empírica suele ser insuficiente; los marcos de optimización son más adecuados para abordar este tipo de problemas restringidos de alta dimensionalidad.

Figura 6.Métodos de afilado basados ​​en modelos de degradación y soluciones de optimización

En los últimos años,Los métodos de aprendizaje profundo se han convertido en el enfoque principal en la investigación sobre el realce de imágenes a todo color y han configurado gradualmente una clara trayectoria de evolución tecnológica.A diferencia de los métodos tradicionales que dependen de reglas de inyección de detalles diseñadas manualmente y priors optimizados, los métodos de aprendizaje profundo pueden aprender automáticamente la relación de mapeo no lineal entre PAN e imágenes multiespectrales o hiperespectrales a partir de datos mediante entrenamiento de extremo a extremo, exhibiendo capacidades de representación de características más fuertes y adaptabilidad de fusión en escenas complejas. Las primeras investigaciones se centraron principalmente en redes neuronales convolucionales, aprovechando las ventajas de las estructuras convolucionales en la extracción de textura local, el modelado de características multiescala y la reconstrucción de información residual para aprender detalles espaciales de alta frecuencia de PAN e inyectarlos en imágenes multiespectrales o hiperespectrales de baja resolución para mejorar la resolución espacial del resultado de la fusión. Los métodos típicos tipo CNN generalmente mitigan el problema de la pérdida de detalles a través de módulos residuales, conexiones de salto y ramas de mejora de alta frecuencia, y mejoran las capacidades de recuperación de textura al tiempo que garantizan la estabilidad de la reconstrucción, como se muestra en la Figura 7.

Figura 7.Diagrama de arquitectura del método SRPNN

A medida que la investigación se ha profundizado, los métodos de modelado que se basan únicamente en convoluciones locales han revelado gradualmente sus deficiencias para capturar dependencias de largo alcance y contexto global. Por lo tanto, se ha introducido el Transformer en las tareas de mejora de nitidez pancromática. En comparación con las CNN, el Transformer, basado en un mecanismo de autoatención, puede capturar de manera más efectiva la información de correlación global entre regiones y bandas en una imagen, mejorando así la capacidad de modelado de interacción entre la información pancromática y multiespectral y optimizando el efecto de representación de fusión en escenas complejas. Estos métodos suelen mapear primero la imagen de entrada al espacio de características mediante incrustación de parches, luego utilizan bloques de autoatención y módulos de fusión intermodal para lograr la interacción de características globales y, finalmente, generan resultados de alta resolución mediante un módulo de reconstrucción, como se muestra en la Figura 8.

Figura 8.Diagrama de arquitectura del método PanFormer

Mientras tanto, la dependencia de los métodos de aprendizaje profundo en datos de entrenamiento emparejados también presenta limitaciones prácticas, especialmente en tareas relacionadas con la hiperespectralidad. Las muestras etiquetadas de alta calidad son escasas y el proceso de degradación real es difícil de obtener con precisión, lo que provoca que los métodos de aprendizaje puramente supervisado sufran de una generalización insuficiente en aplicaciones prácticas. En este contexto, los métodos no supervisados ​​han ido ganando atención. Estos métodos suelen optimizarse mediante la consistencia de la degradación, las restricciones de reconstrucción o los conocimientos previos físicos, lo que reduce la dependencia de los datos etiquetados y proporciona un enfoque más viable para la fusión en escenarios del mundo real. Algunos métodos no supervisados, representados por modelos de difusión, a menudo recuperan resultados de alta resolución estimando progresivamente el estado latente y combinándolo con restricciones de consistencia de la observación, logrando así la compensación de detalles y la reconstrucción estructural sin depender de etiquetas HRHS emparejadas, como se muestra en la Figura 9.

Figura 9.Diagrama de arquitectura del método PLRDiff

Al analizar estos cuatro métodos en conjunto, la lógica de la evolución tecnológica del enfoque a todo color se vuelve muy clara:Los métodos de sustitución de componentes priorizan la simplicidad y la inmediatez, el análisis multirresolución enfatiza la separación de escalas, los métodos de optimización de modelos se basan en restricciones teóricas y los métodos de aprendizaje profundo dependen de enfoques basados ​​en datos. Siguen caminos diferentes, pero comparten el mismo objetivo: encontrar la solución óptima entre "clara visibilidad" y "separabilidad".

Esta metodología tiene un valor de referencia directo para el procesamiento de imágenes hiperespectrales. Los datos hiperespectrales poseen decenas o incluso cientos de bandas continuas, y su resolución espectral es mucho mayor que la de los datos multiespectrales. Esto implica dos desafíos: primero, contienen más información y tienen un mayor potencial de aplicación; segundo, son más sensibles a las distorsiones introducidas durante el proceso de fusión. Incluso una ligera distorsión en la curva espectral puede provocar fallos en la clasificación, el reconocimiento y la inversión cuantitativa posteriores. Por lo tanto, la mejora espacial en escenarios hiperespectrales es un orden de magnitud más difícil y exigente que con los métodos multiespectrales.

El realce de color proporciona un marco de referencia completo para este problema. Revela un hecho clave:El verdadero desafío del procesamiento de imágenes de teledetección no reside simplemente en "hacer que la imagen sea más nítida", sino en cómo preservar el detalle espacial y la precisión espectral al tiempo que se trabaja con datos cada vez más complejos y de alta resolución.Esto no es solo una cuestión técnica, sino también una cuestión fundamental sobre la fidelidad de la información.

El valor del enfoque a todo color reside no solo en el método en sí, sino también en la forma en que proporciona una manera de pensar: cuando nos enfrentamos a necesidades aparentemente contradictorias, en lugar de hacer concesiones, es mejor buscar la integración.

[1] Aiazzi B, Baronti S, Selva M. Mejora del realce de la imagen pancromática mediante sustitución de componentes a través de regresión multivariante de datos MS+Pan[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(10): 3230–3239.

[2] Aiazzi B, Alparone L, Baronti S, et al. Fusión orientada al contexto de imágenes de alta resolución espacial y espectral basada en análisis multirresolución sobremuestreado[J]. IEEE Transactions on Geoscience and Remote Sensing, 2002, 40(10): 2300-2312.

[3] Chen C, Li Y, Liu W, et al. SIRF: Registro y fusión simultáneos de imágenes satelitales en un marco unificado[J]. IEEE Transactions on Image Processing, 2015, 24(11): 4213-4224.

[4] Liu P, Xiao L, Li T. Un método de realce pancromático variacional basado en geometría espacial de orden fraccional y priors espectrales-espaciales de bajo rango[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(3): 1788-1802.

[5] Cai J, Huang B. Super-resolution-guided progressive pansharpening based on a deep convoluted neural network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(6): 5206-5220.

[6] Zhou H, Liu Q, Wang Y. PanFormer: Un modelo basado en Transformer para pan-sharpening[C]//2022 IEEE International Conference on Multimedia and Expo (ICME). IEEE, 2022: 1-6.

[7] Rui X, Cao X, Pang L, et al. Pansharpening hiperespectral no supervisado mediante un modelo de difusión de bajo rango[J]. Information Fusion, 2024, 107: 102325.