Giperspektral tasvir tasnifiga sharh: CNN, Transformerdan Mambagacha

Qo'llanilish nuqtai nazaridan, giperspektral texnologiyaning qiymati "farqlarni farqlashda" yotadi. Ko'pgina obyektlar oddiy tasvirlarda rang jihatidan o'xshash ko'rinadi, ammo ularning spektral egri chiziqlarida sezilarli farqlarni ko'rsatishi mumkin. Masalan, turli ekinlar, turli o'simlik sharoitlari, turli xil material turlari va hatto yalang'och ko'z bilan aniqlash qiyin bo'lgan ba'zi anomaliyalar spektral xususiyatlar orqali aniqlanishi mumkin. Biroq, bu murakkab spektral ma'lumotni chinakam tushunarli kategorik natijalarga aylantirish uchun giperspektral texnologiya ajralmas hisoblanadi.Giperspektral tasvir tasnifitexnologiya.

Giperspektral tasvirlarni tasniflash vazifasini shunchaki tasvirdagi har bir pikselga uning spektral xususiyatlari va fazoviy kontekstiga qarab kategoriya yorlig'ini berish sifatida tushunish mumkin. Giperspektral masofaviy zondlashda bu vazifa odatda piksel darajasidagi yer qoplamini tasniflash, ya'ni har bir pikselning yer qoplami toifasini uning qo'shnichilik ma'lumotlari asosida aniqlash sifatida namoyon bo'ladi. Bu oddiy tasvirlarni tasniflashga o'xshash ko'rinishi mumkin bo'lsa-da, aslida u murakkabroq. Oddiy tasvirlar odatda faqat uchta kanalga ega: qizil, yashil va ko'k, giperspektral tasvirlar esa ko'pincha o'nlab yoki hatto yuzlab uzluksiz polosalarni o'z ichiga oladi. Har bir piksel shunchaki rang nuqtasi emas, balki to'liq spektral egri chiziqdir. Giperspektral tasvirlarni tasniflashning rivojlanishini yaxshiroq tushunish uchun uni taxminan quyidagi bosqichlarga umumlashtirish mumkin:

Dastlabki giperspektral tasniflash usullari asosan an'anaviy mashina o'rganishga asoslangan edi. Tadqiqotchilar odatda har bir pikselning spektral egri chizig'ini yuqori o'lchovli vektor sifatida ko'rib chiqishgan va keyin tasniflash uchun qo'llab-quvvatlovchi vektor mashinalari, tasodifiy o'rmonlar va K-eng yaqin qo'shnilar kabi usullardan foydalanishgan. Bu usullar tuzilishi jihatidan aniq, amalga oshirish oson va hatto kichik namunaviy sharoitlarda ham ma'lum natijalarga erishishi mumkin. Biroq, ular asosan bitta pikselning spektral xususiyatlariga e'tibor qaratadilar, atrofdagi fazoviy ma'lumotlardan yetarlicha foydalanmaydilar. Shunga o'xshash spektrlarga ega, ammo turli fazoviy taqsimotlarga ega bo'lgan yer xususiyatlari uchun faqat bitta nuqtali spektrlarga tayanish noto'g'ri tasniflashga olib kelishi mumkin.

Chuqur o'rganishning rivojlanishi bilan konvolyutsion neyron tarmoqlari (CNN) giperspektral tasniflash vazifalariga kiritila boshlandi. CNNlarning afzalligi shundaki, ular mahalliy fazoviy xususiyatlarni avtomatik ravishda ajratib olish qobiliyatiga ega, bu esa modelga nafaqat bitta pikselni, balki uning atrofidagi qo'shnichilikni ham keng qamrovli baholashda ko'rib chiqish imkonini beradi. Ikki o'lchovli konvolyutsiya asosan fazoviy tekstura va mahalliy tuzilishga qaratilgan.3D buralishU bir vaqtning o'zida ham fazoviy, ham spektral o'lchamlarni qayta ishlay oladi va shuning uchun giperspektral tasniflashda keng qo'llanilgan. An'anaviy usullar bilan taqqoslaganda, CNNlar giperspektral tasniflashni oddiy spektral aniqlashdan qo'shma fazoviy-spektral modellashtirishga olib keldi.

Eksperimental tekshirish nuqtai nazaridan, CNN asosidagi giperspektral tasniflash modellari ko'pincha qo'llaniladi.Hind qarag'aylariPavia universiteti, Salinas va Xyuston universiteti kabi ommaviy ma'lumotlar to'plamlaridan foydalaniladi. Ular orasida Indian Pines va Salinas qishloq xo'jaligi yer shakllariga ko'proq e'tibor qaratgan bo'lsa, Pavia universiteti va Xyuston universiteti shahar yer shakllari va murakkab yer qoplami stsenariylariga ko'proq e'tibor qaratgan.

(a) Spektral konvolyutsion neyron tarmog'i

(b) Fazoviy konvolyutsion neyron tarmog'i

(c) Fazoviy-spektral konvolyutsion neyron tarmog'i

2-rasm.Giperspektral CNN tasniflash modellari uchun uchta asosiy modellashtirish usuli:

Spektral, fazoviy va fazoviy-spektral bo'g'im xususiyatlarini ajratib olish

Biroq, CNNlarning ham ma'lum cheklovlari bor. Konvolyutsiyali operatsiyalar mahalliy xususiyatlarni ajratib olishda yaxshiroq, ammo ularning uzoq masofali bog'liqliklar va global munosabatlarni modellashtirish qobiliyati nisbatan cheklangan. Giperspektral tasvirlarda ko'pincha turli diapazonlar va turli mintaqalar o'rtasida murakkab munosabatlar mavjud. Bu muammoni hal qilish uchun...TransformatorU asta-sekin giperspektral tasniflash sohasiga kirib bormoqda. Diqqat mexanizmiga tayanib, Transformer turli joylar va turli diapazonlar o'rtasidagi korrelyatsiyani modellashtirishi mumkin, bu esa uni global fazoviy-spektral bog'liqliklarni aniqlash uchun ko'proq moslashtiradi.

3-rasm.Giperspektral Transformator tasnifi model tuzilishi:

O'z-o'zini diqqat bilan jamlash mexanizmiga asoslangan fazoviy-spektral xususiyatlarni modellashtirish

Transformatorning joriy etilishi giperspektral tasnifni mahalliy xususiyatlarni ajratib olishdan tashqariga va global munosabatlarni modellashtirishga o'tish imkonini beradi. Bu modelga kengroq ma'lumotlarga e'tibor qaratish, murakkab yer xususiyatlari chegaralarini boshqarish, o'xshash toifalarni ajratish va...Uzoq masofali spektral bog'liqlikTransformator ma'lum afzalliklarga ega bo'lsa-da, yangi muammolarni ham keltirib chiqaradi. Giperspektral ma'lumotlar ko'p diapazonli va yuqori o'lchamli, shuning uchun diqqat mexanizmidan to'g'ridan-to'g'ri foydalanish hisoblash xarajatlarini va GPU xotira sarfini sezilarli darajada oshiradi. Bundan tashqari, giperspektral yorliqlangan namunalar odatda kam bo'ladi, bu esa murakkab modellarni kichik namunaviy sharoitlarda ortiqcha moslashishga moyil qiladi.

So'nggi yillarda Mamba va holat-fazo modellari giperspektral tasniflash uchun yangi yondashuvlarni taqdim etdi. Transformatorlardan farqli o'laroq, Mamba tipidagi usullar samarali ketma-ketlik modellashtirishga urg'u beradi, ular uzoq ketma-ketlik ma'lumotlarini hisoblash murakkabligi pastroq bo'lgan holda qayta ishlashga qodir. Giperspektral tasvirlar uchun spektral o'lchamning o'zi uzluksiz ketma-ketlikdir va fazoviy mintaqalarni skanerlash orqali ketma-ketliklarga kengaytirish mumkin. Shuning uchun, Mamba/SSM tipidagi tuzilmalar samarali uzoq ketma-ketlik modellashtirish imkoniyatlariga ega, shu bilan spektral ketma-ketliklar va fazoviy-spektral ketma-ketliklarni modellashtirish uchun yangi g'oyalarni taqdim etadi.

4-rasm.SS-Mamba giperspektral tasniflash modeli tuzilishi:

Fazoviy va spektral ikki tomonlama tarmoqlarga asoslangan holat-fazoviy modellashtirish

Rivojlanish nuqtai nazaridan, giperspektral tasniflash bir nechta aniq bosqichlardan o'tdi: an'anaviy mashina o'rganish asosan "spektral vektorlarni qanday tasniflash kerak" muammosini hal qiladi; CNNlar "mahalliy fazoviy ma'lumotlarni qanday birlashtirish kerak" muammosini hal qiladi; Transformatorlar "global munosabatlarni qanday o'rnatish kerak" muammosiga e'tibor qaratadi; va Mamba/SSMga o'xshash usullar "uzoq masofali fazoviy-spektral bog'liqliklarni qanday qilib samarali modellashtirish" ni yanada o'rganadi. Bu usullar shunchaki almashtirish emas, balki turli bosqichlardagi turli asosiy muammolarga yechimdir. So'nggi yillarda Mamba/SSMga o'xshash usullar, an'anaviy etalon ma'lumotlar to'plamlaridan tashqari, asta-sekin WHU-Hi-HanChuan, WHU-Hi-HongHu va WHU-Hi-LongKou kabi kengroq yoki murakkabroq ma'lumotlar to'plamlarida o'zlarining umumlashtirish imkoniyatlarini tasdiqlay boshladilar.

Modellarning doimiy ravishda takomillashtirilishiga qaramay, giperspektral tasniflash hali ham ko'plab qiyinchiliklarga duch kelmoqda. Birinchidan, namunaviy yorliqlash yetarli emas. Giperspektral ma'lumotlarni yorliqlash odatda maxsus bilimlarni talab qiladi va ularni olish qimmatga tushadi. Ikkinchidan, sinf nomutanosibligi muammosi mavjud; ba'zi sinflarda piksellar soni ko'p, boshqalari esa juda kam, bu esa modellarning ko'pchilik sinfga ustunlik berishga moyil bo'lishiga olib keladi. Uchinchidan, ma'lumotlar turli sensorlar, mintaqalar va tasvirlash sharoitlarida sezilarli darajada farq qiladi; bitta ma'lumotlar to'plamida yaxshi ishlaydigan model boshqa stsenariyda ishlashning sezilarli darajada pasayishini ko'rsatishi mumkin.

Shuning uchun, giperspektral tasniflashning kelajakdagi rivojlanish yo'nalishi nafaqat bitta ma'lumotlar to'plamida yuqori aniqlikka erishish, balki modelning umumlashtirish qobiliyati, yengilligi va real dunyo stsenariylariga moslashishiga ko'proq e'tibor qaratishdan iborat. Bir tomondan, yanada samarali fazoviy-spektral qo'shma modellashtirish tuzilmalarini loyihalash zarur; boshqa tomondan, modelning turli ma'lumotlar manbalari va vazifalariga moslashishini yaxshilash uchun oz sonli o'rganish, transferli o'rganish, o'z-o'zini nazorat qiluvchi o'rganish va bazaviy modellar kabi g'oyalarni birlashtirish ham zarur.

Umuman olganda, giperspektral tasvir tasnifini ishlab chiqish asosan modellar "spektrlarni qanday talqin qilishni, fazoni qanday tushunishni va murakkab relyef xususiyatlariga qanday moslashishni" doimiy ravishda o'rganadigan jarayondir. An'anaviy mashinaviy o'qitishdan CNNlargacha, Transformerlardan Mambagacha, giperspektral tasniflash oddiy piksel darajasida aniqlashdan yanada aqlli, samaraliroq va umumlashtirilgan fazoviy-spektral talqinga o'tmoqda.

[1] Roy SK, Krishna G, Dubey SR va boshqalar. HybridSN: Giperspektral tasvirlarni tasniflash uchun 3D–2D CNN xususiyatlar ierarxiyasini o'rganish [J]. IEEE geoscience and remote zonding letters, 2019, 17(2): 277-281.

[2] Hong D, Han Z, Yao J, Gao L, Zhang B, Plaza A, Chanussot J. SpectralFormer: Transformatorlar yordamida giperspektral tasvir tasnifini qayta ko'rib chiqish. IEEE Geoscience va masofaviy zondlash bo'yicha translyatsiyalar, 2022, 60: 1–15.

[3] Yao J, Hong D, Li C, Chanussot J. SpectralMamba: Giperspektral tasvir tasnifi uchun samarali Mamba. arXiv:2404.08489, 2024.

[4] Wang G, Zhang X, Peng Z, Zhang T, Jiao L. S²Mamba: Giperspektral tasvirlarni tasniflash uchun fazoviy-spektral holat fazoviy modeli. IEEE Geoscience va masofaviy zondlash bo'yicha tranzaksiyalari, 2025.

[5] Ahmad M, Butt MHF, Khan AM va boshqalar. Giperspektral tasvirlarni tasniflash uchun fazoviy-spektral morfologik mamba [J]. Neurocomputing, 2025, 636: 129995.

[6] He Y, Tu B, Jiang P va boshqalar. IGroupSS-mamba: Giperspektral tasvirlarni tasniflash uchun interval guruhli fazoviy-spektral mamba [J]. IEEE Geoscience and Remote Zonding Transactions, 2024, 62: 1-17.