Fokus Media Visi Global
Syarikat itu telah dipaparkan di CCTV sebanyak 15 kali, dan jangkauannya melalui media Parti, media pusat dan media rasmi tempatan mencecah sejumlah 50 juta orang.
Perbincangan tentang Aplikasi Model Tanah Liat dalam Segmentasi Penderiaan Jauh
Pengenalan Latar Belakang
Dengan peningkatan berterusan keupayaan pemerolehan imej penderiaan jauh, tugas-tugas seperti pengelasan litupan tanah, pengenalpastian badan air, pengekstrakan tanah ladang, pemantauan tanah lembap dan segmentasi permukaan kedap bandar meletakkan permintaan yang lebih tinggi terhadap keupayaan generalisasi model. Kaedah segmentasi semantik tradisional biasanya bergantung pada data berlabel manual berskala besar dan sering dilatih pada satu sumber data atau satu rantau, yang mudah membawa kepada penurunan prestasi apabila digunakan merentasi rantau, sensor dan fasa masa. Sebaliknya, model asas, yang telah dilatih terlebih dahulu pada data penderiaan jauh berskala besar, boleh mempelajari lebih banyak perwakilan permukaan umum sebelum dipindahkan ke tugas hiliran tertentu, sekali gus mempamerkan kelebihan yang ketara dalam bidang segmentasi penderiaan jauh. Tanah liat ialah model asas pemerhatian Bumi sumber terbuka yang dicadangkan dengan latar belakang ini. Diposisikan secara rasmi sebagai "model asas berorientasikan Bumi," ia boleh menerima imej penderiaan jauh bersama-sama dengan maklumat lokasi dan masa dan menghasilkan perwakilan ciri dengan semantik spatiotemporal untuk tugas pengelasan, regresi, pengesanan perubahan dan segmentasi seterusnya.
Dari perspektif aplikasi, Clay amat sesuai untuk senario segmentasi penderiaan jauh dengan sampel berlabel terhad tetapi keperluan perniagaan yang jelas. Contohnya, dalam pemetaan guna tanah/litupan, ia boleh digunakan sebagai tulang belakang pengekod, memanfaatkan ciri umum yang telah dilatih terlebih dahulu untuk meningkatkan prestasi segmentasi di bawah keadaan sampel yang kecil; dalam tugasan migrasi merentas wilayah, ia juga boleh mengurangkan masalah "latihan di satu wilayah dan gagal di wilayah lain." Dokumentasi rasmi juga menunjukkan bahawa Clay menyokong berbilang input sensor, termasuk Sentinel-2, Landsat, Sentinel-1, NAIP, LINZ dan MODIS, memberikannya kebolehsuaian yang kukuh dalam aplikasi penderiaan jauh berbilang sumber.
Kerangka model
Kerangka keseluruhan Clay v1.5 boleh diringkaskan sebagai "penyempukan dinamik + pengekodan lokasi spatiotemporal + tulang belakang MAE + kekangan guru". Pertama, model menjana perwakilan tampalan berdasarkan bilangan jalur dan maklumat panjang gelombang imej input melalui modul penyempukan dinamik, justeru menyokong input daripada sensor yang berbeza dan kombinasi jalur yang berbeza. Kedua, model memperkenalkan pengekodan lokasi, mengekod resolusi tanah (GSD), latitud dan longitud, dan maklumat temporal ke dalam perwakilan ciri, membolehkan model bukan sahaja "melihat" kandungan spektrum tetapi juga memahami lokasi spatial dan atribut temporal imej.
Pada terasnya, Clay menggunakan struktur Masked Autoencoder berasaskan Vision Transformer untuk membina semula blok input yang tersumbat. Menurut dokumentasi rasmi, kehilangan pembinaan semula menyumbang kira-kira 95% daripada jumlah kehilangan, terutamanya bertanggungjawab untuk mempelajari struktur spektrum-ruang data penderiaan jauh; baki 5% datang daripada kekangan perwakilan yang disediakan oleh rangkaian guru. v1.5 menggunakan DINOv2 sebagai guru untuk meningkatkan ekspresi semantik ruang pembenaman. Dari segi saiz model, Clay v1.5 mempunyai kira-kira 632 juta parameter, termasuk kira-kira 311 juta parameter untuk pengekod, kira-kira 15 juta parameter untuk penyahkod dan kira-kira 304 juta parameter untuk rangkaian guru. Dokumentasi rasmi juga mendedahkan bahawa versi model ini dilatih pada kira-kira 70 juta cip penderiaan jauh yang diedarkan di seluruh dunia, menunjukkan asas pra-latihan yang kukuh.
Rajah 1. Model Tanah Liat
Dalam tugasan segmentasi, Clay tidak mengeluarkan peta segmentasi semantik secara langsung, tetapi lebih sesuai sebagai tulang belakang pengekstrakan ciri. Pendekatan biasa adalah dengan mengekalkan pengekodnya dan memasang penyahkod segmentasi yang ringan, seperti penyahkod gaya SegFormer, FPN atau penyahkod U-Net, untuk memulihkan butiran ruang melalui gabungan ciri berbilang lapisan, yang akhirnya mengeluarkan hasil pengelasan peringkat piksel. Pendekatan "model asas + kepala tugas" ini mengimbangi keupayaan perwakilan pra-terlatih dengan kebolehsuaian tugas hiliran dan memenuhi keperluan segmentasi penderiaan jauh untuk butiran sempadan dan berbilang skala dengan lebih baik.
Hasil pembiakan
Eksperimen ini menambahkan penyahkod seperti SegFormer selepas pengekod Clay, menggunakan gabungan ciri lapisan perantaraan untuk meramalkan keputusan segmentasi. Eksperimen ini menggunakan kira-kira 2000 sampel rawak untuk latihan dan pengesahan. Selepas kira-kira 30 zaman latihan, set pengesahan mencapai...IoU berwajaran 0.869Hasilnya.
Rajah 2. Data eksperimen
Tanah liat boleh digunakan sebagai tulang belakang ciri terpadu untuk tugas-tugas seperti pemetaan litupan tanah, segmentasi badan air, pengenalpastian hutan dan tumbuh-tumbuhan rendah, serta pengekstrakan permukaan jalan dan kedap air. Walau bagaimanapun, perlu diingatkan bahawa objektif pra-latihan Tanah Liat pada dasarnya masih merupakan pembelajaran perwakilan dan pembinaan semula. Oleh itu, untuk pencirian sempadan halus, penyahkod segmentasi yang sesuai, gabungan ciri berbilang skala, dan strategi pemprosesan pasca masih diperlukan untuk mendapatkan hasil yang berkualiti tinggi dalam aplikasi kejuruteraan.