Derin Öğrenme, Yerleşik Hiper Spektral Algılamayı Mümkün Kılıyor: Hedef Algılama Doğruluğunu Artırmanın Önemli Bir Yolu

Gemideki hiperspektral görüntüler, şunlardan kaynaklanmaktadır:Yüksek spektral çözünürlükVeGeniş ölçekli mekansal kapsamaHiperspektral hedefler, yer özelliklerinin tanımlanması, kentsel izleme, tarımsal araştırmalar ve çevresel değerlendirme gibi görevlerde önemli uygulamalara sahiptir. Bununla birlikte, bu tür veriler tipik olarak çok sayıda spektral bant, büyük hedef ölçeği varyasyonları, karmaşık arka planlar ve az sayıda etiketlenmiş örnek içerir; bu da hedef tespit görevlerini oldukça zorlu hale getirir. Geleneksel spektral eşleştirme ve istatistiksel özellik yöntemleri, spektral ve uzamsal bilgileri eş zamanlı olarak işlemekte zorlanır ve bu da küçük hedeflerin ve karmaşık arka planların tespitinde sınırlı etkinliğe yol açar. Son yıllarda, derin öğrenme teknolojisinin gelişimi, yerleşik hiperspektral hedef tespiti için yeni bir çözüm sunmuştur. Uçtan uca eğitim yoluyla spektral-uzamsal özellikleri otomatik olarak çıkararak, tespitin doğruluğunu ve sağlamlığını önemli ölçüde artırır.

Şekil 1Xiguang-1 01 uydusundan alınan hiperspektral görüntülere örnekler

Metodoloji açısından,Spektral-uzamsal evrimsel ağlar(beğenmek3D-CNNEn yaygın yaklaşımlardan biri hibrit bir CNN (veya her ikisinin bir kombinasyonu) kullanmaktır. Bu yöntemler hiperspektral verileri şu şekilde ele alır...3 boyutlu hacim verileriHem uzamsal hem de spektral boyutlarda eş zamanlı evrişimler gerçekleştirerek, spektral bantlar arasındaki süreklilik ve uzamsal yapı bilgilerini yakalamak mümkündür. Örneğin, mahsul tanımlama görevleri için 3D-CNN yöntemleri, çok katmanlı evrişimsel özellik füzyonu yoluyla küçük ölçekli hedefleri etkili bir şekilde tespit edebilir ve genel tespit doğruluğunu artırabilir, ancak hesaplama maliyetleri yüksektir ve eğitim örneklerinin sayısına duyarlıdırlar. Hedef özelliklerini vurgulamak ve karmaşık arka planlardan gelen paraziti bastırmak için,Spektral-uzamsal dikkat mekanizmasıBu yaklaşım ağ yapısına entegre edilmiştir. Hem spektral hem de uzamsal boyutlarda dikkat ağırlıklandırması yoluyla, özellikle küçük hedef tespiti için etkili olduğu kanıtlanan önemli bantlarda ve bölgelerde yanıtı artırırken, modelin karmaşık ortamlardaki sağlamlığını da iyileştirir.

Şekil 2, hiperspektral hedef tanımayı sağlamak için paralel evrişimsel dallar ve Transformer dallarının bir kombinasyonunu kullanan CNSST ağını göstermektedir.

Çok ölçekli özellik füzyonuBu, uydu hiperspektral görüntülerindeki hedef ölçek varyasyonlarını ele almak için kullanılan bir diğer önemli teknolojidir. Farklı evrişim katmanlarından veya piramit yapılarından gelen özellik bilgilerini entegre ederek, model hem büyük ölçekli hem de küçük ölçekli hedefleri işleyebilir ve kentsel binalar, yollar veya tarım arazileri gibi senaryolarda iyi tespit sonuçları elde edebilir. Sınırlı etiketli veri sorunu için, transfer öğrenme ve az örnekli öğrenme yaygın olarak kullanılmaktadır. Modelin büyük ölçekli uzaktan algılama verileri veya diğer hiperspektral veri kümeleri üzerinde önceden eğitilmesi ve ardından belirli bir görev için ince ayar yapılmasıyla, örnek kıtlığı sorunu hafifletilebilir, eğitim yakınsama hızı hızlandırılabilir ve yüksek tespit doğruluğu korunabilir.

Şekil 3, çok dallı paralel bir mimari kullanan ve hiperspektral tespitte çok ölçekli spektral-uzamsal dinamik füzyonu sağlamak için genişletilmiş evrişim, dikkat mekanizması ve çapraz ölçekli özellik etkileşimini birleştiren MsFNet'i göstermektedir.

Yukarıda bahsedilen yöntemlerin, gemi üzerinde hiperspektral hedef tespiti alanında önemli ilerleme kaydetmesine rağmen, büyük ölçekli veriler için yetersiz gerçek zamanlı işleme kapasitesi, farklı gemi içi platformlara uyarlanabilirlik sorunları ve küçük örneklerin ve nadir hedeflerin tespitindeki zorluk gibi bazı zorluklar devam etmektedir.

Gelecekteki geliştirme yönleri arasında gerçek zamanlı tespit için hafif model tasarımı, tespit doğruluğunu artırmak için çok modlu veri füzyonu, etiketli verilere olan bağımlılığı azaltmak için kendi kendine denetimli veya yarı denetimli öğrenme ve küresel spektral-mekansal bağımlılıkları yakalamak için Transformer tabanlı ağ yapıları yer almaktadır. Genel olarak, derin öğrenme yöntemleri, yerleşik hiperspektral hedef tespiti için temel bir teknoloji haline gelmiştir. Ağ yapılarının ve öğrenme stratejilerinin sürekli optimizasyonu yoluyla, tespit doğruluğunun ve uygulanabilirliğinin daha da iyileştirilmesi ve uzaktan algılama izleme ve yüzey hedef tanımlaması için güçlü bir destek sağlanması beklenmektedir.