Global Vision Media Fokus
Kompaniya CCTVda jami 15 marta namoyish etildi va uning partiya ommaviy axborot vositalari, markaziy ommaviy axborot vositalari va mahalliy rasmiy ommaviy axborot vositalari orqali qamrab olinishi jami 50 million kishiga yetdi.
Masofaviy zondlash segmentatsiyasida loy modelini qo'llash bo'yicha muhokama
Kirish tarixi
Masofaviy zondlash tasvirlarini olish imkoniyatlarining doimiy ravishda yaxshilanishi bilan, yer qoplamini tasniflash, suv havzalarini aniqlash, qishloq xo'jaligi yerlarini qazib olish, botqoqliklarni monitoring qilish va shaharlarning suv o'tkazmaydigan sirt segmentatsiyasi kabi vazifalar modellarning umumlashtirish qobiliyatiga yuqori talablar qo'yadi. An'anaviy semantik segmentatsiya usullari odatda keng ko'lamli qo'lda yorliqlangan ma'lumotlarga tayanadi va ko'pincha bitta ma'lumot manbai yoki bitta mintaqada o'qitiladi, bu esa mintaqalar, sensorlar va vaqt fazalari bo'yicha qo'llanilganda ishlashning pasayishiga olib keladi. Aksincha, keng ko'lamli masofaviy zondlash ma'lumotlari bo'yicha oldindan o'qitilgan bazaviy modellar ma'lum bir quyi oqim vazifalariga o'tkazilishidan oldin ko'proq umumiy sirt tasvirlarini o'rganishi mumkin, shu bilan masofaviy zondlash segmentatsiyasi sohasida sezilarli ustunlikni namoyish etadi. Clay - bu fonda taklif qilingan ochiq manbali Yer kuzatuv bazasi modeli. Rasman "Yerga yo'naltirilgan bazaviy model" sifatida joylashtirilgan u masofaviy zondlash tasvirlarini joylashuv va vaqt ma'lumotlari bilan birga qabul qilishi va keyingi tasniflash, regressiya, o'zgarishlarni aniqlash va segmentatsiya vazifalari uchun fazoviy-vaqtinchalik semantika bilan xususiyatlar tasvirlarini chiqarishi mumkin.
Ilova nuqtai nazaridan, Clay cheklangan yorliqlangan namunalar, ammo aniq biznes talablariga ega masofadan zondlash segmentatsiyasi stsenariylari uchun juda mos keladi. Masalan, yerdan foydalanish/qoplama xaritalashda undan kodlovchi asosiy vosita sifatida foydalanish mumkin, kichik namunaviy sharoitlarda segmentatsiya samaradorligini oshirish uchun oldindan o'qitilgan umumiy xususiyatlardan foydalanadi; mintaqalararo migratsiya vazifalarida u "bir mintaqada o'qitish va boshqasida muvaffaqiyatsizlikka uchrash" muammosini ham yengillashtirishi mumkin. Rasmiy hujjatlarda shuningdek, Clay Sentinel-2, Landsat, Sentinel-1, NAIP, LINZ va MODIS kabi bir nechta sensor kirishlarini qo'llab-quvvatlashi va bu unga ko'p manbali masofadan zondlash ilovalarida kuchli moslashuvchanlikni berishi ta'kidlangan.
Model doirasi
Clay v1.5 ning umumiy tizimini "dinamik joylashtirish + fazoviy-vaqtinchalik joylashuv kodlash + MAE magistral liniyasi + o'qituvchi cheklovlari" deb umumlashtirish mumkin. Birinchidan, model dinamik joylashtirish moduli orqali kirish tasvirining diapazonlar soni va to'lqin uzunligi ma'lumotlariga asoslangan yamoq tasvirlarini yaratadi, shu bilan turli sensorlar va turli diapazon kombinatsiyalaridan kirishlarni qo'llab-quvvatlaydi. Ikkinchidan, model joylashuv kodlashni kiritadi, yer o'lchamlari (GSD), kenglik va uzunlik hamda vaqtinchalik ma'lumotlarni xususiyatlar tasviriga kodlaydi, bu modelga nafaqat spektral tarkibni "ko'rish", balki tasvirning fazoviy joylashuvi va vaqtinchalik atributlarini ham tushunish imkonini beradi.
Clay o'zining asosiy qismida okklyuziv kirish bloklarini qayta tiklash uchun Vision Transformer asosidagi Masked Autoencoder tuzilmasidan foydalanadi. Rasmiy hujjatlarga ko'ra, qayta tiklash yo'qotishlari umumiy yo'qotishning taxminan 95% ni tashkil qiladi, bu asosan masofaviy zondlash ma'lumotlarining spektral-fazoviy tuzilishini o'rganish uchun javobgardir; qolgan 5% o'qituvchilar tarmog'i tomonidan taqdim etilgan vakillik cheklovlaridan kelib chiqadi. v1.5 o'rnatish maydonining semantik ifodaliligini oshirish uchun o'qituvchi sifatida DINOv2 dan foydalanadi. Model hajmi jihatidan Clay v1.5 taxminan 632 million parametrga ega, jumladan, kodlovchi uchun taxminan 311 million parametr, dekoder uchun taxminan 15 million parametr va o'qituvchilar tarmog'i uchun taxminan 304 million parametr. Rasmiy hujjatlarda shuningdek, modelning ushbu versiyasi taxminan 70 million global miqyosda tarqalgan masofaviy zondlash chiplarida o'qitilganligi, bu esa mustahkam tayyorgarlikdan oldingi poydevorni ko'rsatadi.
1-rasm. Loy modeli
Segmentatsiya vazifalarida Clay semantik segmentatsiya xaritalarini to'g'ridan-to'g'ri chiqarmaydi, lekin xususiyatlarni ajratib olish magistrali sifatida ko'proq mos keladi. Umumiy yondashuv o'zining kodlovchisini saqlab qolish va ko'p qatlamli xususiyatlarni birlashtirish orqali fazoviy tafsilotlarni tiklash uchun SegFormer uslubidagi dekoder, FPN yoki U-Net dekoder kabi yengil segmentatsiya dekoderini biriktirishdir, natijada piksel darajasidagi tasniflash natijalari chiqariladi. Ushbu "asosiy model + vazifa boshi" yondashuvi oldindan o'rgatilgan tasvirlash imkoniyatlarini keyingi vazifalarga moslashuvchanlik bilan muvozanatlashtiradi va chegara va ko'p masshtabli tafsilotlar uchun masofaviy zondlash segmentatsiyasi talablariga yaxshiroq javob beradi.
Reproduksiya natijalari
Ushbu tajribada segmentatsiya natijalarini bashorat qilish uchun oraliq qatlam xususiyatlarining birlashuvidan foydalangan holda Clay kodlovchisidan keyin SegFormerga o'xshash dekoder qo'shildi. Tajribada o'qitish va tasdiqlash uchun taxminan 2000 ta tasodifiy namunalar ishlatilgan. Taxminan 30 ta o'qitish davridan so'ng, tasdiqlash to'plami... ga erishildi.og'irlikdagi IoU 0.869Natija.
2-rasm. Eksperimental ma'lumotlar
Gil yer qoplamini xaritalash, suv havzalarini segmentlash, o'rmon va past o'simliklarni aniqlash, yo'l va suv o'tkazmaydigan sirtlarni ajratib olish kabi vazifalar uchun birlashtirilgan xususiyat asosi sifatida ishlatilishi mumkin. Biroq, shuni ta'kidlash kerakki, Clayning dastlabki mashg'ulot maqsadi asosan vakillikni o'rganish va qayta tiklashdir. Shuning uchun, nozik chegaralarni tavsiflash uchun muhandislik qo'llanmalarida yuqori sifatli natijalarga erishish uchun tegishli segmentatsiya dekoderlari, ko'p masshtabli xususiyatlarni birlashtirish va keyingi qayta ishlash strategiyalari hali ham zarur.