Deep Learning ermöglicht bordseitige Hyperspektralerkennung: Ein wichtiger Weg zur Verbesserung der Zielerkennungsgenauigkeit

On-Board-Hyperspektralbilder sind auf ihreHohe spektrale AuflösungUndGroßflächige räumliche AbdeckungHyperspektrale Objekte finden breite Anwendung in Bereichen wie der Identifizierung von Bodenmerkmalen, der Stadtüberwachung, landwirtschaftlichen Erhebungen und Umweltbewertung. Allerdings weisen diese Daten typischerweise zahlreiche Spektralbänder, große Zielgrößenvariationen, komplexe Hintergründe und wenige annotierte Stichproben auf, was die Objekterkennung zu einer großen Herausforderung macht. Traditionelle spektrale Abgleich- und statistische Merkmalsanalysen stoßen bei der gleichzeitigen Verarbeitung spektraler und räumlicher Informationen an ihre Grenzen, was die Erkennung kleiner Objekte vor komplexen Hintergründen erschwert. In den letzten Jahren hat die Entwicklung von Deep-Learning-Technologien einen neuen Ansatz für die fahrzeuginterne hyperspektrale Objekterkennung eröffnet. Durch die automatische Extraktion spektral-räumlicher Merkmale mittels End-to-End-Training werden Genauigkeit und Robustheit der Erkennung deutlich verbessert.

Abbildung 1Beispiele für hyperspektrale Bilder des Satelliten Xiguang-1 01

Methodisch gesehen,Spektral-räumliche Faltungsnetzwerke(wie3D-CNNEine der gängigsten Methoden ist die Verwendung eines hybriden CNN (oder einer Kombination aus beiden). Diese Methoden behandeln hyperspektrale Daten als...3D-VolumendatenDurch die gleichzeitige Durchführung von Faltungen in räumlicher und spektraler Dimension lassen sich Kontinuität und räumliche Strukturinformationen zwischen Spektralbändern erfassen. Beispielsweise können 3D-CNN-Methoden zur Pflanzenidentifizierung kleine Objekte effektiv erkennen und die Gesamtgenauigkeit der Erkennung durch mehrschichtige Faltungsfusion verbessern. Allerdings ist ihr Rechenaufwand hoch und sie reagieren empfindlich auf die Anzahl der Trainingsbeispiele. Um Zielmerkmale hervorzuheben und Störungen durch komplexe Hintergründe zu unterdrücken,spektral-räumlicher AufmerksamkeitsmechanismusDieser Ansatz ist in die Netzwerkstruktur integriert. Durch die Gewichtung der Aufmerksamkeit sowohl in spektraler als auch in räumlicher Dimension wird die Reaktion in wichtigen Frequenzbändern und Regionen verstärkt, was sich als besonders effektiv für die Erkennung kleiner Ziele erweist und gleichzeitig die Robustheit des Modells in komplexen Umgebungen verbessert.

Abbildung 2 zeigt das CNSST-Netzwerk, das eine Kombination aus parallelen Faltungszweigen und Transformer-Zweigen verwendet, um eine hyperspektrale Zielerkennung zu erreichen.

Merkmalsfusion auf verschiedenen SkalenDies ist eine weitere Schlüsseltechnologie zur Bewältigung von Zielgrößenvariationen in hyperspektralen Satellitenbildern. Durch die Integration von Merkmalsinformationen aus verschiedenen Faltungsschichten oder Pyramidenstrukturen kann das Modell sowohl große als auch kleine Objekte verarbeiten und erzielt gute Erkennungsergebnisse in Szenarien wie Stadtgebäuden, Straßen oder Ackerland. Um das Problem begrenzter annotierter Daten zu lösen, werden Transferlernen und Few-Shot-Learning häufig eingesetzt. Durch das Vortraining des Modells mit umfangreichen Fernerkundungsdaten oder anderen hyperspektralen Datensätzen und die anschließende Feinabstimmung für eine spezifische Aufgabe lässt sich das Problem der Stichprobenknappheit verringern, die Konvergenzgeschwindigkeit des Trainings beschleunigen und eine hohe Erkennungsgenauigkeit aufrechterhalten.

Abbildung 3 zeigt MsFNet, das eine mehrzweigige parallele Architektur verwendet und dilatierte Faltung, Aufmerksamkeitsmechanismus und skalenübergreifende Merkmalsinteraktion kombiniert, um eine spektral-räumliche dynamische Fusion auf mehreren Skalen in der Hyperspektraldetektion zu erreichen.

Trotz der bedeutenden Fortschritte, die mit den oben genannten Methoden bei der bordseitigen hyperspektralen Zielerkennung erzielt wurden, bestehen weiterhin einige Herausforderungen, darunter unzureichende Echtzeitverarbeitungskapazitäten für große Datenmengen, Probleme mit der Anpassungsfähigkeit an verschiedene bordseitige Plattformen und die Schwierigkeit, kleine Proben und seltene Ziele zu erkennen.

Zukünftige Entwicklungsrichtungen umfassen die Entwicklung ressourcenschonender Modelle für die Echtzeitdetektion, multimodale Datenfusion zur Verbesserung der Detektionsgenauigkeit, selbst- oder halbüberwachtes Lernen zur Reduzierung der Abhängigkeit von annotierten Daten sowie Transformer-basierte Netzwerkstrukturen zur Erfassung globaler spektral-räumlicher Abhängigkeiten. Insgesamt haben sich Deep-Learning-Methoden zu einer Kerntechnologie für die bordseitige hyperspektrale Zielerkennung entwickelt. Durch die kontinuierliche Optimierung von Netzwerkstrukturen und Lernstrategien wird eine weitere Verbesserung der Detektionsgenauigkeit und -anwendbarkeit erwartet, wodurch die Fernerkundung und die Identifizierung von Oberflächenzielen maßgeblich unterstützt werden.