Fokus Media Visi Global
Perusahaan tersebut tampil di CCTV sebanyak 15 kali, dan jangkauannya melalui media Partai, media pusat, dan media resmi daerah mencapai total 50 juta orang.
Diskusi tentang Penerapan Model Tanah Liat dalam Segmentasi Penginderaan Jauh
Pendahuluan Latar Belakang
Dengan terus meningkatnya kemampuan akuisisi citra penginderaan jauh, tugas-tugas seperti klasifikasi tutupan lahan, identifikasi badan air, ekstraksi lahan pertanian, pemantauan lahan basah, dan segmentasi permukaan kedap air perkotaan menuntut kemampuan generalisasi model yang lebih tinggi. Metode segmentasi semantik tradisional biasanya bergantung pada data berlabel manual skala besar dan sering dilatih pada satu sumber data atau satu wilayah, yang mudah menyebabkan penurunan kinerja ketika diterapkan di berbagai wilayah, sensor, dan fase waktu. Sebaliknya, model dasar, yang telah dilatih sebelumnya pada data penginderaan jauh skala besar, dapat mempelajari representasi permukaan yang lebih umum sebelum ditransfer ke tugas hilir tertentu, sehingga menunjukkan keunggulan signifikan di bidang segmentasi penginderaan jauh. Clay adalah model dasar pengamatan Bumi sumber terbuka yang diusulkan dengan latar belakang ini. Secara resmi diposisikan sebagai "model dasar berorientasi Bumi," ia dapat menerima citra penginderaan jauh beserta informasi lokasi dan waktu, dan menghasilkan representasi fitur dengan semantik spasial-temporal untuk tugas klasifikasi, regresi, deteksi perubahan, dan segmentasi selanjutnya.
Dari perspektif aplikasi, Clay sangat cocok untuk skenario segmentasi penginderaan jauh dengan sampel berlabel terbatas tetapi persyaratan bisnis yang jelas. Misalnya, dalam pemetaan penggunaan/tutupan lahan, Clay dapat digunakan sebagai tulang punggung encoder, memanfaatkan fitur umum yang telah dilatih sebelumnya untuk meningkatkan kinerja segmentasi dalam kondisi sampel kecil; dalam tugas migrasi lintas wilayah, Clay juga dapat mengurangi masalah "pelatihan di satu wilayah dan gagal di wilayah lain." Dokumentasi resmi juga menunjukkan bahwa Clay mendukung berbagai input sensor, termasuk Sentinel-2, Landsat, Sentinel-1, NAIP, LINZ, dan MODIS, sehingga memiliki kemampuan adaptasi yang kuat dalam aplikasi penginderaan jauh multi-sumber.
Kerangka model
Kerangka kerja keseluruhan Clay v1.5 dapat diringkas sebagai "penyematan dinamis + pengkodean lokasi spasial-temporal + tulang punggung MAE + batasan guru". Pertama, model menghasilkan representasi patch berdasarkan jumlah band dan informasi panjang gelombang dari citra masukan melalui modul penyematan dinamis, sehingga mendukung masukan dari berbagai sensor dan kombinasi band yang berbeda. Kedua, model memperkenalkan pengkodean lokasi, mengkodekan resolusi tanah (GSD), lintang dan bujur, serta informasi temporal ke dalam representasi fitur, memungkinkan model untuk tidak hanya "melihat" konten spektral tetapi juga memahami lokasi spasial dan atribut temporal dari citra.
Pada intinya, Clay menggunakan struktur Masked Autoencoder berbasis Vision Transformer untuk merekonstruksi blok input yang terhalang. Menurut dokumentasi resmi, kerugian rekonstruksi menyumbang sekitar 95% dari total kerugian, terutama bertanggung jawab untuk mempelajari struktur spektral-spasial data penginderaan jauh; 5% sisanya berasal dari batasan representasional yang diberikan oleh jaringan guru. v1.5 menggunakan DINOv2 sebagai guru untuk meningkatkan ekspresivitas semantik ruang penyematan. Dari segi ukuran model, Clay v1.5 memiliki sekitar 632 juta parameter, termasuk sekitar 311 juta parameter untuk encoder, sekitar 15 juta parameter untuk decoder, dan sekitar 304 juta parameter untuk jaringan guru. Dokumentasi resmi juga mengungkapkan bahwa versi model ini dilatih pada sekitar 70 juta chip penginderaan jauh yang tersebar secara global, menunjukkan fondasi pra-pelatihan yang solid.
Gambar 1. Model Tanah Liat
Dalam tugas segmentasi, Clay tidak secara langsung menghasilkan peta segmentasi semantik, tetapi lebih cocok sebagai tulang punggung ekstraksi fitur. Pendekatan umum adalah mempertahankan encoder-nya dan melampirkan decoder segmentasi ringan, seperti decoder bergaya SegFormer, FPN, atau decoder U-Net, untuk memulihkan detail spasial melalui fusi fitur multi-lapisan, yang pada akhirnya menghasilkan hasil klasifikasi tingkat piksel. Pendekatan "model dasar + kepala tugas" ini menyeimbangkan kemampuan representasi yang telah dilatih sebelumnya dengan kemampuan adaptasi tugas hilir, dan lebih memenuhi persyaratan segmentasi penginderaan jauh untuk detail batas dan multi-skala.
Hasil reproduksi
Eksperimen ini menambahkan decoder mirip SegFormer setelah encoder Clay, memanfaatkan fusi fitur lapisan perantara untuk memprediksi hasil segmentasi. Eksperimen ini menggunakan sekitar 2000 sampel acak untuk pelatihan dan validasi. Setelah sekitar 30 epoch pelatihan, set validasi mencapai...IoU tertimbang 0,869Hasilnya.
Gambar 2. Data eksperimental
Clay dapat digunakan sebagai tulang punggung fitur terpadu untuk tugas-tugas seperti pemetaan tutupan lahan, segmentasi badan air, identifikasi hutan dan vegetasi rendah, serta ekstraksi jalan dan permukaan kedap air. Namun, perlu dicatat bahwa tujuan pra-pelatihan Clay pada dasarnya masih berupa pembelajaran representasi dan rekonstruksi. Oleh karena itu, untuk karakterisasi batas yang lebih halus, diperlukan dekoder segmentasi yang tepat, fusi fitur multi-skala, dan strategi pasca-pemrosesan untuk mendapatkan hasil yang lebih berkualitas dalam aplikasi teknik.