Global Vision медиа фокусу
Компания CCTVде жалпысынан 15 жолу көрсөтүлүп, анын партиялык маалымат каражаттары, борбордук маалымат каражаттары жана жергиликтүү расмий маалымат каражаттары аркылуу жалпысынан 50 миллион адамга жеткен.
MAEден Спектрдик Жерге чейин: Фундаменталдык гиперспектралдык модель
Алдын ала маалымат
Акыркы жылдары табигый сүрөттөр жаатындагы визуалдык фундаменталдык моделдердеги жетишкендиктер менен бир суроо акырындык менен айкын болуп калды: гиперспектралдык алыстан зонддоо өзүнүн "фундаменталдык моделин" да түзө алабы? RGB сүрөттөрүнөн айырмаланып, гиперспектралдык сүрөттөр, адатта, күчтүү физикалык мааниге, жогорку өлчөмдүү резервдүүлүккө жана сейрек белгиленген маалыматтарга ээ болгон жүздөгөн удаалаш тилкелерди камтыйт. Салттуу ыкмалар көбүнчө көзөмөлдөнгөн окутуу үчүн чакан масштабдуу маалымат топтомдоруна таянат, бул моделди жалпылоо мүмкүнчүлүгүнүн чектелүү болушуна жана региондор аралык жана сенсорлор аралык өткөрүп берүүдө кыйынчылыктарга алып келет. Ошондуктан, гиперспектралдык тармакка чоң көлөмдөгү белгиленбеген маалыматтарды колдонуп алдын ала окутууга жөндөмдүү бирдиктүү моделдөө парадигмасы шашылыш түрдө керек.
Моделдик алкак
Ушул жагдайда, Masked Autoencoder (MAE) гиперспектралдык фундаменталдык моделдер үчүн маанилүү техникалык колдоо болуп калды. Алгач Meta тарабынан сунушталган MAEнин негизги идеясы - киргизилген сүрөттүн көп бөлүгүн кокустук түрдө жаап коюу, көрүнгөн бөлүктөрүн гана коддоо жана андан кийин декодерди колдонуп, жаап коюлган мазмунду кайра куруу. Контрасттык окутуудан айырмаланып, MAE үлгүлөрдүн ортосундагы окшоштук чектөөлөрүнө таянбайт; анын ордуна, ал моделди "кайра куруу тапшырмасы" аркылуу маалыматтардын ички түзүлүшүн түшүнүүгө мажбурлайт. Патчтын 75% дан ашыгы жаап калганда, модель жөн гана жергиликтүү текстуранын өзгөчөлүктөрүн жаттап алуунун ордуна, глобалдык мейкиндик мамилелерин жана семантикалык уюштуруу эрежелерин үйрөнүшү керек. Бул механизм MAEге структуралык көрсөтмөлөрдү үйрөнүү үчүн күчтүү мүмкүнчүлүк берет.
1-сүрөт. MAE түзүмдүк диаграммасы
Бул алкакта сунушталган Спектрдик Жер гиперспектралдык тармактагы фундаменталдык моделдердин жаңы доорун баштоо үчүн маанилүү аракет катары каралышы мүмкүн. Vision Transformer архитектурасына негизделген бул иш MAEди колдонуу менен өз алдынча көзөмөлдөнгөн алдын ала окутуу аркылуу ири масштабдуу гиперспектралдык маалыматтар боюнча бирдиктүү чагылдырууну үйрөнөт. Анын негизги максаты бир гана тапшырма үчүн оптималдаштыруу эмес, тескерисинче, өткөрүлүп берилүүчү, жалпыланган өзгөчөлүктөрдүн чагылдырылышын түзүү болуп саналат. Алдын ала окутуудан кийин, модель жер катмарын классификациялоо, өсүмдүк түрүн аныктоо жана токой түрүн картага түшүрүү сыяктуу бир нече кийинки аралыктан зонддоо тапшырмалары боюнча бааланган, бул ар кандай сценарийлер боюнча алдын ала окутуудан өткөн чагылдыруулардын жалпылоо жөндөмүн тастыктаган.
2-сүрөт. Спектрдик Жерди алдын ала даярдоо/так жөнгө салуу блок-схемасы
Көбөйтүүнүн жыйынтыктары
Кийинки баалоодо Spectral Earth моделди CORINE, CDL, NLCD, EuroCrops, TreeMap, BDForêt жана BNETD сыяктуу бир нече коомдук маалымат топтомдорунда текшерген. Эксперименталдык жыйынтыктар көрсөткөндөй, Full Detail-Tuning стратегиясынын алкагында, башкача айтканда, жалпы деталдаштыруу үчүн бардык моделдин параметрлерин тоңдурбай коюу менен, MAE менен алдын ала даярдалган ViT модели көпчүлүк тапшырмалар боюнча нөлдөн баштап даярдалган моделдерден ашып түшөт. Бул өзүн-өзү көзөмөлдөгөн алдын ала даярдоо чындыгында гиперспектралдык моделдерге туруктуураак жана өткөрүлүп берилүүчү структуралык чагылдыруу мүмкүнчүлүктөрүн берерин көрсөтүп турат.
1-таблица. Көбөйүү жыйынтыктарын салыштыруу
MAE (ViT-S версиясы) репродукциясында жана аны кийинки тапшырмалар боюнча баалоодо алдын ала окутуунун пайдасы айкын көрүнүп турат. Биринчиден, модель чакан үлгү сценарийлеринде тезирээк конверсияланат жана туруктуураак иштейт. Экинчиден, регион аралык маалымат топтомдорунда иштин өзгөрүшү азыраак, бул анын маалыматтардын бөлүштүрүлүшүнүн конкреттүү өзгөчөлүктөрүн эмес, жалпы спектрдик түзүлүш жөнүндө маалыматты үйрөнөрүн көрсөтүп турат. Айрыкча өсүмдүктөрдү аныктоо жана токойлорду классификациялоо тапшырмаларында спектрдик моделдөө мүмкүнчүлүгү иштин натыйжалуулугун жогорулатууда негизги фактор болуп калат.