Enfoque de los medios de comunicación de Global Vision
La empresa apareció en CCTV un total de 15 veces, y su alcance a través de los medios del Partido, los medios centrales y los medios oficiales locales llegó a un total de 50 millones de personas.
Un análisis sobre la aplicación del modelo de arcilla en la segmentación por teledetección.
Introducción a los antecedentes
Con la mejora continua de las capacidades de adquisición de imágenes de teledetección, tareas como la clasificación de la cobertura terrestre, la identificación de cuerpos de agua, la extracción de tierras agrícolas, el monitoreo de humedales y la segmentación de superficies urbanas impermeables exigen una mayor capacidad de generalización de los modelos. Los métodos tradicionales de segmentación semántica suelen basarse en grandes conjuntos de datos etiquetados manualmente y, a menudo, se entrenan con una sola fuente de datos o una sola región, lo que fácilmente provoca una degradación del rendimiento al aplicarse a diferentes regiones, sensores y fases temporales. En cambio, los modelos base, preentrenados con grandes conjuntos de datos de teledetección, pueden aprender representaciones de superficie más generales antes de ser transferidos a tareas posteriores específicas, lo que les confiere una ventaja significativa en el campo de la segmentación por teledetección. Clay es un modelo base de observación de la Tierra de código abierto propuesto en este contexto. Oficialmente posicionado como un "modelo base orientado a la Tierra", puede recibir imágenes de teledetección junto con información de ubicación y tiempo, y generar representaciones de características con semántica espaciotemporal para tareas posteriores de clasificación, regresión, detección de cambios y segmentación.
Desde una perspectiva de aplicación, Clay es especialmente adecuado para escenarios de segmentación de teledetección con muestras etiquetadas limitadas pero con requisitos comerciales claros. Por ejemplo, en el mapeo de uso y cobertura del suelo, puede utilizarse como base para un codificador, aprovechando características generales preentrenadas para mejorar el rendimiento de la segmentación en condiciones de muestras pequeñas; en tareas de migración interregional, también puede mitigar el problema de "entrenar en una región y fallar en otra". La documentación oficial también señala que Clay admite múltiples entradas de sensores, incluyendo Sentinel-2, Landsat, Sentinel-1, NAIP, LINZ y MODIS, lo que le confiere una gran adaptabilidad en aplicaciones de teledetección de múltiples fuentes.
Marco del modelo
El marco general de Clay v1.5 se puede resumir como "incrustación dinámica + codificación de ubicación espaciotemporal + arquitectura MAE + restricciones de profesor". En primer lugar, el modelo genera representaciones de parches basadas en el número de bandas y la información de longitud de onda de la imagen de entrada mediante el módulo de incrustación dinámica, lo que permite el procesamiento de entradas de diferentes sensores y distintas combinaciones de bandas. En segundo lugar, el modelo introduce la codificación de ubicación, que codifica la resolución espacial (GSD), la latitud, la longitud y la información temporal en la representación de características, lo que permite al modelo no solo "ver" el contenido espectral, sino también comprender la ubicación espacial y los atributos temporales de la imagen.
En su núcleo, Clay emplea una estructura de autoencoder enmascarado basada en Vision Transformer para reconstruir bloques de entrada ocluidos. Según la documentación oficial, la pérdida de reconstrucción representa aproximadamente el 95 % de la pérdida total, siendo la principal responsable del aprendizaje de la estructura espectral-espacial de los datos de teledetección; el 5 % restante proviene de las restricciones de representación proporcionadas por la red maestra. La versión 1.5 utiliza DINOv2 como red maestra para mejorar la expresividad semántica del espacio de incrustación. En términos de tamaño del modelo, Clay v1.5 tiene aproximadamente 632 millones de parámetros, incluyendo aproximadamente 311 millones para el codificador, aproximadamente 15 millones para el decodificador y aproximadamente 304 millones para la red maestra. La documentación oficial también revela que esta versión del modelo se entrenó con aproximadamente 70 millones de chips de teledetección distribuidos globalmente, lo que indica una sólida base de preentrenamiento.
Figura 1. Modelo de arcilla
En tareas de segmentación, Clay no genera directamente mapas de segmentación semántica, sino que resulta más adecuado como plataforma para la extracción de características. El enfoque habitual consiste en conservar su codificador y añadir un decodificador de segmentación ligero, como un decodificador tipo SegFormer, FPN o U-Net, para recuperar detalles espaciales mediante la fusión de características multicapa, obteniendo finalmente resultados de clasificación a nivel de píxel. Este enfoque de "modelo base + capa de procesamiento" equilibra las capacidades de representación preentrenadas con la adaptabilidad a tareas posteriores y satisface mejor los requisitos de la segmentación por teledetección para detalles de contorno y multiescala.
Resultados de la reproducción
Este experimento añadió un decodificador tipo SegFormer después del codificador Clay, utilizando la fusión de características de la capa intermedia para predecir los resultados de la segmentación. El experimento utilizó aproximadamente 2000 muestras aleatorias para el entrenamiento y la validación. Después de aproximadamente 30 épocas de entrenamiento, el conjunto de validación alcanzó...IoU ponderado 0,869El resultado.
Figura 2. Datos experimentales
Clay puede utilizarse como una estructura unificada de características para tareas como el mapeo de la cobertura terrestre, la segmentación de cuerpos de agua, la identificación de bosques y vegetación baja, y la extracción de carreteras y superficies impermeables. Sin embargo, cabe destacar que el objetivo del preentrenamiento de Clay sigue siendo esencialmente el aprendizaje y la reconstrucción de representaciones. Por lo tanto, para una caracterización precisa de los límites, se requieren decodificadores de segmentación adecuados, fusión de características multiescala y estrategias de posprocesamiento para obtener resultados de mayor calidad en aplicaciones de ingeniería.