Global Vision Media Focus
Das Unternehmen wurde insgesamt 15 Mal im chinesischen Staatsfernsehen CCTV erwähnt und erreichte über Parteimedien, zentrale Medien und lokale offizielle Medien insgesamt 50 Millionen Menschen.
Eine Diskussion über die Anwendung des Tonmodells in der Fernerkundungssegmentierung
Hintergrund Einführung
Mit der stetigen Verbesserung der Fernerkundungsbildgebung steigen die Anforderungen an die Generalisierungsfähigkeit von Modellen für Aufgaben wie Landbedeckungsklassifizierung, Gewässeridentifizierung, Ackerlandextraktion, Feuchtgebietsüberwachung und die Segmentierung versiegelter Flächen in urbanen Gebieten. Traditionelle semantische Segmentierungsmethoden basieren typischerweise auf umfangreichen, manuell annotierten Daten und werden oft nur mit einer einzigen Datenquelle oder in einer einzigen Region trainiert. Dies führt leicht zu Leistungseinbußen bei der Anwendung über verschiedene Regionen, Sensoren und Zeiträume hinweg. Im Gegensatz dazu können Basismodelle, die mit umfangreichen Fernerkundungsdaten vortrainiert wurden, allgemeinere Oberflächenrepräsentationen erlernen, bevor sie für spezifische nachgelagerte Aufgaben eingesetzt werden. Dies bietet einen deutlichen Vorteil im Bereich der Fernerkundungssegmentierung. Clay ist ein Open-Source-Erdbeobachtungs-Basismodell, das vor diesem Hintergrund entwickelt wurde. Offiziell als „erdorientiertes Basismodell“ positioniert, kann es Fernerkundungsbilder zusammen mit Orts- und Zeitinformationen verarbeiten und Merkmalsrepräsentationen mit raumzeitlicher Semantik für nachfolgende Klassifizierungs-, Regressions-, Änderungsdetektions- und Segmentierungsaufgaben ausgeben.
Aus Anwendungssicht eignet sich Clay besonders für Fernerkundungssegmentierungsszenarien mit wenigen annotierten Daten, aber klaren Geschäftsanforderungen. Beispielsweise kann es bei der Landnutzungs-/Landbedeckungskartierung als Encoder-Backbone eingesetzt werden und nutzt vortrainierte allgemeine Merkmale, um die Segmentierungsleistung bei kleinen Datenmengen zu verbessern. Bei regionsübergreifenden Migrationsaufgaben kann es zudem das Problem beheben, dass die Modelle in einer Region trainiert werden, in einer anderen jedoch versagen. Die offizielle Dokumentation hebt außerdem hervor, dass Clay mehrere Sensordaten unterstützt, darunter Sentinel-2, Landsat, Sentinel-1, NAIP, LINZ und MODIS, wodurch es sich hervorragend für Anwendungen mit mehreren Fernerkundungsquellen eignet.
Modellrahmen
Das Gesamtframework von Clay v1.5 lässt sich wie folgt zusammenfassen: „Dynamisches Einbetten + räumlich-zeitliche Positionskodierung + MAE-Backbone + Lehrerbeschränkungen“. Zunächst generiert das Modell mithilfe des dynamischen Einbettungsmoduls Patch-Repräsentationen basierend auf der Anzahl der Bänder und den Wellenlängeninformationen des Eingangsbildes. Dadurch werden Eingaben von verschiedenen Sensoren und unterschiedlichen Bandkombinationen unterstützt. Anschließend führt das Modell die Positionskodierung ein und kodiert die Bodenauflösung (GSD), die geografische Breite und Länge sowie zeitliche Informationen in die Merkmalsrepräsentation. Dies ermöglicht es dem Modell, nicht nur den spektralen Inhalt zu erfassen, sondern auch die räumlichen und zeitlichen Attribute des Bildes zu verstehen.
Clay verwendet im Kern eine auf Vision Transformer basierende Masked-Autoencoder-Struktur zur Rekonstruktion verdeckter Eingabeblöcke. Laut offizieller Dokumentation macht der Rekonstruktionsverlust etwa 95 % des Gesamtverlusts aus und ist hauptsächlich für das Erlernen der spektral-räumlichen Struktur der Fernerkundungsdaten verantwortlich; die verbleibenden 5 % resultieren aus den Repräsentationsbeschränkungen des Lehrernetzwerks. Version 1.5 verwendet DINOv2 als Lehrernetzwerk, um die semantische Ausdruckskraft des Einbettungsraums zu verbessern. Das Modell Clay v1.5 umfasst etwa 632 Millionen Parameter, davon etwa 311 Millionen für den Encoder, etwa 15 Millionen für den Decoder und etwa 304 Millionen für das Lehrernetzwerk. Die offizielle Dokumentation gibt außerdem an, dass diese Version des Modells mit etwa 70 Millionen weltweit verteilten Fernerkundungschips trainiert wurde, was auf eine solide Grundlage für das Vortraining hinweist.
Abbildung 1. Tonmodell
Bei Segmentierungsaufgaben erzeugt Clay keine direkten semantischen Segmentierungskarten, sondern eignet sich besser als Grundlage für die Merkmalsextraktion. Üblicherweise wird der Encoder beibehalten und ein ressourcenschonender Segmentierungsdecoder, beispielsweise ein Decoder vom Typ SegFormer, FPN oder U-Net, hinzugefügt, um räumliche Details durch mehrschichtige Merkmalsfusion zu extrahieren und letztendlich Klassifizierungsergebnisse auf Pixelebene auszugeben. Dieser Ansatz aus „Basismodell und Aufgabenkopf“ vereint die Möglichkeiten vortrainierter Repräsentation mit der Anpassungsfähigkeit an nachfolgende Aufgaben und erfüllt die Anforderungen der Fernerkundungssegmentierung hinsichtlich Konturen und Details in verschiedenen Maßstäben besser.
Reproduktionsergebnisse
In diesem Experiment wurde dem Clay-Encoder ein SegFormer-ähnlicher Decoder nachgeschaltet, der die Segmentierungsergebnisse durch Merkmalsfusion in einer Zwischenschicht vorhersagte. Für das Training und die Validierung wurden jeweils etwa 2000 zufällige Stichproben verwendet. Nach etwa 30 Trainingsepochen erreichte der Validierungsdatensatz folgende Ergebnisse:gewichteter IoU 0,869Das Ergebnis.
Abbildung 2. Experimentelle Daten
Clay kann als einheitliches Feature-Backbone für Aufgaben wie die Kartierung der Landbedeckung, die Segmentierung von Gewässern, die Identifizierung von Wäldern und niedriger Vegetation sowie die Extraktion von Straßen und versiegelten Flächen verwendet werden. Es ist jedoch zu beachten, dass das Vortraining von Clay im Wesentlichen weiterhin auf dem Lernen und Rekonstruieren von Repräsentationen basiert. Daher sind für eine präzise Charakterisierung von Grenzen geeignete Segmentierungsdecoder, die Fusion von Merkmalen auf verschiedenen Skalen und Nachbearbeitungsstrategien erforderlich, um in technischen Anwendungen qualitativ hochwertigere Ergebnisse zu erzielen.