Global Vision медиа фокусы
Компания бейнебақылау камераларында барлығы 15 рет көрсетілді, ал оның партиялық БАҚ, орталық БАҚ және жергілікті ресми БАҚ арқылы таралуы 50 миллион адамға жетті.
Қашықтықтан зондтау сегментациясында саз моделін қолдану туралы талқылау
Анықтамалық кіріспе
Қашықтықтан зондтау кескіндерін алу мүмкіндіктерінің үздіксіз жақсаруымен жер жамылғысын жіктеу, су айдындарын анықтау, ауылшаруашылық жерлерін алу, батпақты жерлерді бақылау және қалалық өткізбейтін беткі сегменттеу сияқты тапсырмалар модельдердің жалпылау қабілетіне жоғары талаптар қояды. Дәстүрлі семантикалық сегменттеу әдістері әдетте үлкен көлемді қолмен белгіленген деректерге сүйенеді және көбінесе бір деректер көзінде немесе бір аймақта оқытылады, бұл аймақтар, сенсорлар және уақыт фазалары бойынша қолданылған кезде өнімділіктің төмендеуіне оңай әкеледі. Керісінше, үлкен көлемді қашықтықтан зондтау деректерінде алдын ала оқытылған базалық модельдер нақты төменгі ағымдық тапсырмаларға ауыстырылмас бұрын жалпы беттік көріністерді көбірек үйрене алады, осылайша қашықтықтан зондтау сегменттеу саласында айтарлықтай артықшылық көрсетеді. Clay - осы фонда ұсынылған ашық бастапқы коды бар Жерді бақылау базалық моделі. Ресми түрде «Жерге бағытталған базалық модель» ретінде орналастырылған ол қашықтықтан зондтау кескіндерін орналасқан жер мен уақыт туралы ақпаратпен бірге қабылдай алады және кейінгі жіктеу, регрессия, өзгерістерді анықтау және сегменттеу тапсырмалары үшін кеңістіктік-уақыттық семантикасы бар ерекшеліктердің көріністерін шығара алады.
Қолдану тұрғысынан алғанда, Clay шектеулі белгіленген үлгілері бар, бірақ айқын бизнес талаптары бар қашықтықтан зондтау сегменттеу сценарийлері үшін өте қолайлы. Мысалы, жерді пайдалану/жабын картаға түсіруде оны шағын үлгі жағдайларында сегменттеу өнімділігін жақсарту үшін алдын ала дайындалған жалпы мүмкіндіктерді пайдалана отырып, кодтаушының негізі ретінде пайдалануға болады; аймақаралық миграция тапсырмаларында ол «бір аймақта оқыту және басқа аймақта сәтсіздікке ұшырау» мәселесін де жеңілдете алады. Ресми құжаттамада сонымен қатар Clay Sentinel-2, Landsat, Sentinel-1, NAIP, LINZ және MODIS сияқты бірнеше сенсорлық кірістерді қолдайтыны, бұл оған көп көзді қашықтықтан зондтау қолданбаларында күшті бейімделу мүмкіндігін беретіні атап өтілген.
Модельдік құрылым
Clay v1.5 жалпы құрылымын «динамикалық ендіру + кеңістіктік-уақыттық орналасуды кодтау + MAE магистральдық желісі + мұғалімнің шектеулері» деп қорытындылауға болады. Біріншіден, модель динамикалық ендіру модулі арқылы кіріс кескінінің жолақтар саны мен толқын ұзындығы туралы ақпаратқа негізделген патч көріністерін жасайды, осылайша әртүрлі сенсорлардан және жолақтардың әртүрлі комбинацияларынан келетін кірістерді қолдайды. Екіншіден, модель орналасуды кодтауды енгізеді, жер ажыратымдылығын (GSD), ендік пен бойлықты және уақытша ақпаратты ерекшелік көрінісіне кодтайды, бұл модельге спектрлік мазмұнды «көруге» ғана емес, сонымен қатар кескіннің кеңістіктік орналасуы мен уақытша атрибуттарын түсінуге мүмкіндік береді.
Clay өзінің негізінде оқшауланған енгізу блоктарын қайта құру үшін Vision Transformer негізіндегі Masked Autoencoder құрылымын пайдаланады. Ресми құжаттамаға сәйкес, қайта құру шығыны жалпы шығынның шамамен 95%-ын құрайды, бұл негізінен қашықтықтан зондтау деректерінің спектрлік-кеңістіктік құрылымын үйренуге жауап береді; қалған 5%-ы мұғалімдер желісі қамтамасыз ететін репрезентативтік шектеулерден келеді. v1.5 ендірілген кеңістіктің семантикалық экспрессивтілігін арттыру үшін мұғалім ретінде DINOv2 пайдаланады. Модель өлшемі тұрғысынан Clay v1.5 шамамен 632 миллион параметрге ие, оның ішінде кодтаушы үшін шамамен 311 миллион параметр, декодер үшін шамамен 15 миллион параметр және мұғалімдер желісі үшін шамамен 304 миллион параметр бар. Ресми құжаттамада сонымен қатар модельдің бұл нұсқасы шамамен 70 миллион жаһандық таралған қашықтықтан зондтау чиптерінде оқытылғаны, бұл оқыту алдындағы берік негізді көрсетеді.
1-сурет. Саз балшық моделі
Сегменттеу тапсырмаларында Clay семантикалық сегменттеу карталарын тікелей шығармайды, бірақ мүмкіндіктерді алудың негізгі көзі ретінде қолайлырақ. Жалпы тәсіл - өзінің энкодерін сақтап қалу және SegFormer стиліндегі декодер, FPN немесе U-Net декодері сияқты жеңіл сегменттеу декодерін қосу, бұл кеңістіктік бөлшектерді көп қабатты мүмкіндіктерді біріктіру арқылы қалпына келтіру, сайып келгенде пиксель деңгейіндегі жіктеу нәтижелерін шығару. Бұл «базалық модель + тапсырма басы» тәсілі алдын ала дайындалған ұсыну мүмкіндіктерін тапсырманың төменгі ағымына бейімделумен теңестіреді және шекаралық және көп масштабты бөлшектер үшін қашықтықтан зондтау сегменттеу талаптарына жақсырақ сәйкес келеді.
Көшіру нәтижелері
Бұл экспериментте Clay кодтаушысынан кейін SegFormer тәрізді декодер қосылды, сегменттеу нәтижелерін болжау үшін аралық қабат ерекшеліктерін біріктіруді қолданды. Экспериментте оқыту және валидация үшін шамамен 2000 кездейсоқ үлгі пайдаланылды. Шамамен 30 кезеңдік оқытудан кейін валидация жиынтығы...салмақталған IoU 0,869Нәтиже.
2-сурет. Тәжірибелік деректер
Балшықты жер жамылғысын картаға түсіру, су айдындарын сегменттеу, орман және өсімдіктердің аз қабаттарын анықтау, жолдар мен су өткізбейтін беттерді алу сияқты тапсырмалар үшін бірыңғай ерекшеліктер негізі ретінде пайдалануға болады. Дегенмен, Клейдің алдын ала оқыту мақсаты әлі де бейнелеуді үйрену және қалпына келтіру екенін атап өткен жөн. Сондықтан, ұсақ шекаралық сипаттамалар үшін инженерлік қолданбаларда жоғары сапалы нәтижелерге қол жеткізу үшін тиісті сегменттеу декодерлері, көп масштабты ерекшеліктерді біріктіру және өңдеуден кейінгі стратегиялар қажет.