Global Vision Media Focus
Кампанія была прадстаўлена на тэлеканалах CCTV у агульнай складанасці 15 разоў, а яе ахоп праз партыйныя СМІ, цэнтральныя СМІ і мясцовыя афіцыйныя СМІ дасягнуў 50 мільёнаў чалавек.
Абмеркаванне прымянення мадэлі Клея ў сегментацыі дыстанцыйнага зандзіравання
Уводзіны ў перадумовы
З пастаянным удасканаленнем магчымасцей атрымання выяваў дыстанцыйнага зандзіравання, такія задачы, як класіфікацыя зямельнага покрыва, ідэнтыфікацыя вадаёмаў, здабыча сельскагаспадарчых угоддзяў, маніторынг водна-балотных угоддзяў і сегментацыя непранікальнай паверхні гарадоў, прад'яўляюць больш высокія патрабаванні да здольнасці мадэляў да абагульнення. Традыцыйныя метады семантычнай сегментацыі звычайна абапіраюцца на буйнамаштабныя дадзеныя, маркіраваныя ўручную, і часта навучаюцца на адной крыніцы дадзеных або ў адным рэгіёне, што лёгка прыводзіць да зніжэння прадукцыйнасці пры ўжыванні ў розных рэгіёнах, датчыках і часовых фазах. Наадварот, базавыя мадэлі, папярэдне навучаныя на буйнамаштабных дадзеных дыстанцыйнага зандзіравання, могуць вывучаць больш агульныя прадстаўленні паверхні, перш чым быць перададзенымі на канкрэтныя задачы далейшага развіцця, тым самым дэманструючы значную перавагу ў галіне сегментацыі дыстанцыйнага зандзіравання. Clay - гэта базавая мадэль назірання Зямлі з адкрытым зыходным кодам, прапанаваная на гэтым фоне. Афіцыйна пазіцыянуемая як "арыентаваная на Зямлю базавая мадэль", яна можа атрымліваць выявы дыстанцыйнага зандзіравання разам з інфармацыяй пра месцазнаходжанне і час, а таксама выводзіць прадстаўленні аб'ектаў з прасторава-часавой семантыкай для наступных задач класіфікацыі, рэгрэсіі, выяўлення змяненняў і сегментацыі.
З пункту гледжання прымянення, Clay асабліва падыходзіць для сцэнарыяў сегментацыі дыстанцыйнага зандзіравання з абмежаванай колькасцю пазначаных выбарак, але з выразна акрэсленымі бізнес-патрабаваннямі. Напрыклад, пры картаграфаванні землекарыстання/покрыва яго можна выкарыстоўваць у якасці асновы кадавальніка, выкарыстоўваючы папярэдне навучаныя агульныя функцыі для паляпшэння прадукцыйнасці сегментацыі ва ўмовах невялікай выбаркі; у задачах міжрэгіянальнай міграцыі ён таксама можа вырашыць праблему «навучання ў адным рэгіёне і няўдачы ў іншым». У афіцыйнай дакументацыі таксама адзначаецца, што Clay падтрымлівае ўваходы ад некалькіх датчыкаў, у тым ліку Sentinel-2, Landsat, Sentinel-1, NAIP, LINZ і MODIS, што забяспечвае яму высокую адаптыўнасць у шматкрынічных прыкладаннях дыстанцыйнага зандзіравання.
Мадэльная структура
Агульную структуру Clay v1.5 можна коратка апісаць наступным чынам: «дынамічнае ўбудаванне + прасторава-часавае кадаванне месцазнаходжання + магістральная магістраль MAE + абмежаванні настаўніка». Па-першае, мадэль генеруе прадстаўленні плям на аснове колькасці дыяпазонаў і інфармацыі аб даўжыні хвалі ўваходнага малюнка праз модуль дынамічнага ўбудавання, тым самым падтрымліваючы ўваходныя дадзеныя ад розных датчыкаў і розных камбінацый дыяпазонаў. Па-другое, мадэль уводзіць кадаванне месцазнаходжання, кадуе наземную раздзяляльную здольнасць (GSD), шырату і даўгату, а таксама часавую інфармацыю ў прадстаўленне аб'ектаў, што дазваляе мадэлі не толькі «бачыць» спектральны змест, але і разумець прасторавае месцазнаходжанне і часавыя атрыбуты малюнка.
У сваёй аснове Clay выкарыстоўвае структуру маскіраванага аўтаэнкадэра на аснове Vision Transformer для рэканструкцыі заблакаваных уваходных блокаў. Згодна з афіцыйнай дакументацыяй, страты пры рэканструкцыі складаюць прыблізна 95% ад агульных страт, у першую чаргу адказных за навучанне спектральна-прасторавай структуры дадзеных дыстанцыйнага зандзіравання; астатнія 5% паходзяць з абмежаванняў прадстаўлення, якія забяспечваюцца сеткай настаўніка. Версія 1.5 выкарыстоўвае DINOv2 у якасці настаўніка для паляпшэння семантычнай выразнасці прасторы ўбудавання. Што тычыцца памеру мадэлі, Clay версіі 1.5 мае прыблізна 632 мільёны параметраў, у тым ліку прыблізна 311 мільёнаў параметраў для кадавальніка, прыблізна 15 мільёнаў параметраў для дэкодэра і прыблізна 304 мільёны параметраў для сеткі настаўніка. У афіцыйнай дакументацыі таксама паведамляецца, што гэтая версія мадэлі была навучана прыблізна на 70 мільёнах глабальна размеркаваных чыпаў дыстанцыйнага зандзіравання, што сведчыць аб трывалай базе перад навучаннем.
Малюнак 1. Гліняная мадэль
У задачах сегментацыі Clay не выводзіць карты семантычнай сегментацыі непасрэдна, але больш падыходзіць у якасці асновы для вылучэння прыкмет. Распаўсюджаны падыход заключаецца ў захаванні ўласнага кадавальніка і падключэнні лёгкага дэкодэра сегментацыі, напрыклад, дэкодэра ў стылі SegFormer, FPN або U-Net, для аднаўлення прасторавых дэталяў шляхам шматслаёвага аб'яднання прыкмет, што ў канчатковым выніку выводзіць вынікі класіфікацыі на ўзроўні пікселяў. Гэты падыход "базавая мадэль + кіраўнік задачы" ўраўнаважвае папярэдне навучаныя магчымасці прадстаўлення з адаптыўнасцю наступных задач і лепш адпавядае патрабаванням сегментацыі дыстанцыйнага зандзіравання для межавых і шматмаштабных дэталяў.
Вынікі размнажэння
У гэтым эксперыменце пасля кадавальніка Clay быў дададзены дэкодэр, падобны на SegFormer, з выкарыстаннем аб'яднання прыкмет прамежкавага пласта для прагназавання вынікаў сегментацыі. У эксперыменце для навучання і праверкі выкарыстоўвалася прыблізна 2000 выпадковых узораў. Пасля прыблізна 30 эпох навучання набор для праверкі дасягнуў...узважаная разліковая стаўка 0,869Вынік.
Малюнак 2. Эксперыментальныя дадзеныя
Clay можна выкарыстоўваць у якасці адзінай асновы для такіх задач, як картаграфаванне расцільнага покрыва, сегментацыя вадаёмаў, ідэнтыфікацыя лясоў і нізкарослых раслін, а таксама вылучэнне дарог і непранікальнай паверхні. Аднак варта адзначыць, што мэтай папярэдняга навучання Clay па сутнасці застаецца навучанне і рэканструкцыя прадстаўленняў. Такім чынам, для дакладнай характарыстыкі межаў усё яшчэ неабходныя адпаведныя дэкодэры сегментацыі, шматмаштабнае аб'яднанне прыкмет і стратэгіі пасляапрацоўкі, каб атрымаць больш якасныя вынікі ў інжынерных прыкладаннях.