Deep Learning Memungkinkan Deteksi Hiperspektral di Perangkat: Jalur Kunci untuk Meningkatkan Akurasi Deteksi Target

Citra hiperspektral yang terpasang di pesawat dapat diperoleh karenaResolusi spektral tinggiDanCakupan spasial skala besarTarget hiperspektral memiliki aplikasi signifikan dalam tugas-tugas seperti identifikasi fitur permukaan tanah, pemantauan perkotaan, survei pertanian, dan penilaian lingkungan. Namun, jenis data ini biasanya memiliki banyak pita spektral, variasi skala target yang besar, latar belakang yang kompleks, dan sampel berlabel yang sedikit, sehingga tugas deteksi target menjadi sangat menantang. Metode pencocokan spektral dan fitur statistik tradisional kesulitan memproses informasi spektral dan spasial secara bersamaan, sehingga efektivitasnya terbatas untuk mendeteksi target kecil dan latar belakang yang kompleks. Dalam beberapa tahun terakhir, pengembangan teknologi pembelajaran mendalam telah memberikan solusi baru untuk deteksi target hiperspektral di dalam pesawat. Dengan mengekstrak fitur spektral-spasial secara otomatis melalui pelatihan ujung-ke-ujung, hal ini secara signifikan meningkatkan akurasi dan ketahanan deteksi.

Gambar 1Contoh citra hiperspektral dari satelit Xiguang-101

Dari segi metodologi,Jaringan konvolusional spektral-spasial(menyukaiCNN 3DSalah satu pendekatan yang paling umum adalah menggunakan CNN hibrida (atau kombinasi keduanya). Metode ini memperlakukan data hiperspektral sebagai...Data volume 3DDengan melakukan konvolusi secara simultan pada dimensi spasial dan spektral, dimungkinkan untuk menangkap informasi kontinuitas dan struktur spasial antar pita spektral. Misalnya, metode 3D-CNN untuk tugas identifikasi tanaman dapat secara efektif mendeteksi target skala kecil dan meningkatkan akurasi deteksi secara keseluruhan melalui fusi fitur konvolusi multi-lapisan, tetapi biaya komputasinya tinggi dan sensitif terhadap jumlah sampel pelatihan. Untuk menyoroti fitur target dan menekan interferensi dari latar belakang yang kompleks,Mekanisme perhatian spektral-spasialPendekatan ini diintegrasikan ke dalam struktur jaringan. Melalui pembobotan perhatian dalam dimensi spektral dan spasial, pendekatan ini meningkatkan respons pada pita dan wilayah kunci, terbukti sangat efektif untuk deteksi target kecil, sekaligus meningkatkan ketahanan model di lingkungan yang kompleks.

Gambar 2 menunjukkan jaringan CNSST, yang menggunakan kombinasi cabang konvolusional paralel dan cabang Transformer untuk mencapai pengenalan target hiperspektral.

Penggabungan fitur multi-skalaIni adalah teknologi kunci lain untuk mengatasi variasi skala target dalam citra hiperspektral satelit. Dengan mengintegrasikan informasi fitur dari berbagai lapisan konvolusi atau struktur piramida, model ini dapat menangani target skala besar dan kecil, mencapai hasil deteksi yang baik dalam skenario seperti bangunan perkotaan, jalan raya, atau lahan pertanian. Untuk masalah keterbatasan data berlabel, transfer learning dan few-shot learning banyak digunakan. Dengan melatih model terlebih dahulu pada data penginderaan jauh skala besar atau dataset hiperspektral lainnya dan kemudian menyempurnakannya untuk tugas tertentu, masalah kelangkaan sampel dapat diatasi, kecepatan konvergensi pelatihan dapat dipercepat, dan akurasi deteksi yang tinggi dapat dipertahankan.

Gambar 3 menunjukkan MsFNet, yang menggunakan arsitektur paralel multi-cabang dan menggabungkan konvolusi dilatasi, mekanisme perhatian, dan interaksi fitur lintas skala untuk mencapai fusi dinamis spektral-spasial multi-skala dalam deteksi hiperspektral.

Terlepas dari kemajuan signifikan yang telah dicapai oleh metode-metode di atas dalam deteksi target hiperspektral di atas pesawat, beberapa tantangan masih tetap ada, termasuk kemampuan pemrosesan waktu nyata yang tidak memadai untuk data skala besar, masalah adaptabilitas terhadap berbagai platform di atas pesawat, dan kesulitan mendeteksi sampel kecil dan target langka.

Arah pengembangan di masa depan mencakup desain model ringan untuk deteksi waktu nyata, fusi data multimodal untuk meningkatkan akurasi deteksi, pembelajaran mandiri atau semi-mandiri untuk mengurangi ketergantungan pada data berlabel, dan struktur jaringan berbasis Transformer untuk menangkap ketergantungan spektral-spasial global. Secara keseluruhan, metode pembelajaran mendalam telah menjadi teknologi inti untuk deteksi target hiperspektral di pesawat ruang angkasa. Melalui optimalisasi berkelanjutan dari struktur jaringan dan strategi pembelajaran, diharapkan dapat lebih meningkatkan akurasi deteksi dan penerapannya, memberikan dukungan kuat untuk pemantauan penginderaan jauh dan identifikasi target permukaan.