Global Vision медиа фокусы
Компания бейнебақылау камераларында барлығы 15 рет көрсетілді, ал оның партиялық БАҚ, орталық БАҚ және жергілікті ресми БАҚ арқылы таралуы 50 миллион адамға жетті.
MAE-ден Спектрлік Жерге дейін: Негізгі гиперспектрлік модель
Анықтамалық кіріспе
Соңғы жылдары табиғи кескіндер саласындағы визуалды іргелі модельдердегі жетістіктермен бір сұрақ біртіндеп айқындала бастады: гиперспектрлік қашықтықтан зондтау өзінің «іргелі моделін» де құра ала ма? RGB кескіндерінен айырмашылығы, гиперспектрлік кескіндер әдетте күшті физикалық мағынаға, жоғары өлшемді артықшылыққа және сирек таңбаланған деректерге ие жүздеген тізбекті жолақтарды қамтиды. Дәстүрлі әдістер көбінесе бақыланатын оқыту үшін шағын көлемді деректер жиынтықтарына сүйенеді, бұл модельді жалпылау мүмкіндігінің шектеулі болуына және аймақаралық және сенсораралық тасымалдауда қиындықтарға әкеледі. Сондықтан, гиперспектрлік салаға үлкен көлемдегі таңбаланбаған деректерді пайдаланып алдын ала оқытуға қабілетті бірыңғай модельдеу парадигмасы қажет.
Модельдік құрылым
Осыған байланысты, Masked Autoencoder (MAE) гиперспектрлік іргелі модельдер үшін маңызды техникалық қолдауға айналды. Meta алғаш рет ұсынған MAE-нің негізгі идеясы кіріс кескінінің үлкен бөлігін кездейсоқ түрде жауып тастау, тек көрінетін бөліктерді кодтау, содан кейін декодерді пайдаланып, жауып тасталған мазмұнды қайта құру болып табылады. Контрасттық оқытудан айырмашылығы, MAE үлгілер арасындағы ұқсастық шектеулеріне сүйенбейді; оның орнына, ол модельді «қалпына келтіру тапсырмасы» арқылы деректердің ішкі құрылымын түсінуге мәжбүрлейді. Патчтың 75%-дан астамы жауып тасталған кезде, модель жергілікті текстуралық ерекшеліктерді жаттап алудың орнына, жаһандық кеңістіктік қатынастар мен семантикалық ұйымдастыру ережелерін үйренуі керек. Бұл механизм MAE-ге құрылымдық көріністерді үйренудің қуатты мүмкіндігін береді.
1-сурет. MAE құрылымының диаграммасы
Осы шеңберде ұсынылған Спектрлік Жер гиперспектрлік саладағы іргелі модельдердің жаңа дәуірін бастауға бағытталған маңызды әрекет ретінде қарастырылуы мүмкін. Vision Transformer архитектурасына негізделген бұл жұмыс MAE көмегімен өзін-өзі басқаратын алдын ала оқыту арқылы ауқымды гиперспектрлік деректер бойынша бірыңғай көріністі үйренеді. Оның негізгі мақсаты бір тапсырма үшін оңтайландыру емес, керісінше, берілетін, жалпыланған ерекшелік көріністерін құру. Алдын ала оқытудан кейін модель жер жамылғысын жіктеу, дақыл түрін анықтау және орман түрін картаға түсіру сияқты бірнеше төменгі ағымдағы қашықтықтан зондтау тапсырмалары бойынша бағаланды, бұл әртүрлі сценарийлер бойынша алдын ала оқытудан өткен көріністердің жалпылау мүмкіндігін растады.
2-сурет. Спектрлік Жерді алдын ала дайындау/дәл баптау блок-схемасы
Көшіру нәтижелері
Төменгі ағымдағы бағалауда Spectral Earth моделін CORINE, CDL, NLCD, EuroCrops, TreeMap, BDForêt және BNETD сияқты бірнеше жалпыға қолжетімді деректер жиынтықтарында тексерді. Тәжірибелік нәтижелер Full Fine-Tuning стратегиясы бойынша, яғни жалпы дәлдеу үшін барлық модель параметрлерін алып тастау арқылы, MAE арқылы алдын ала дайындалған ViT моделі көптеген тапсырмаларда нөлден бастап дайындалған модельдерден асып түсетінін көрсетеді. Бұл өзін-өзі басқаратын алдын ала дайындық шынымен де гиперспектрлік модельдерге тұрақтырақ және тасымалданатын құрылымдық көрініс мүмкіндіктерін беретінін көрсетеді.
1-кесте. Көбею нәтижелерін салыстыру
MAE (ViT-S нұсқасы) нақты көшірмесінде және оны кейінгі тапсырмалар бойынша бағалауда алдын ала оқытудың артықшылықтары айқын көрінеді. Біріншіден, модель шағын үлгі сценарийлерінде жылдамырақ конвергенцияланады және тұрақтырақ жұмыс істейді. Екіншіден, аймақаралық деректер жиынтықтарында өнімділік ауытқулары аз, бұл оның нақты деректерді тарату ерекшеліктерін емес, жалпы спектрлік құрылым туралы ақпаратты үйренетінін көрсетеді. Әсіресе, дақылдарды анықтау және ормандарды жіктеу тапсырмаларында спектрлік модельдеу мүмкіндігі өнімділікті жақсартудың негізгі факторына айналады.