Global Vision Medya Odak Noktası
Şirket, CCTV'de toplam 15 kez yer aldı ve parti medyası, merkezi medya ve yerel resmi medya aracılığıyla toplam 50 milyon kişiye ulaştı.
Uzaktan Algılama Yöntemleriyle Segmentasyon İşleminde Kil Modelinin Uygulanmasına İlişkin Bir Tartışma
Arka Plan Girişi
Uzaktan algılama görüntü elde etme yeteneklerinin sürekli gelişmesiyle birlikte, arazi örtüsü sınıflandırması, su kütlesi tanımlaması, tarım arazisi çıkarımı, sulak alan izleme ve kentsel geçirimsiz yüzey segmentasyonu gibi görevler, modellerin genelleme yeteneğine daha yüksek talepler getirmektedir. Geleneksel semantik segmentasyon yöntemleri genellikle büyük ölçekli, elle etiketlenmiş verilere dayanır ve genellikle tek bir veri kaynağı veya tek bir bölge üzerinde eğitilir; bu da bölgeler, sensörler ve zaman dilimleri genelinde uygulandığında performans düşüşüne kolayca yol açar. Buna karşılık, büyük ölçekli uzaktan algılama verileri üzerinde önceden eğitilmiş temel modeller, belirli alt görevlere aktarılmadan önce daha genel yüzey temsillerini öğrenebilir ve böylece uzaktan algılama segmentasyonu alanında önemli bir avantaj sergileyebilir. Clay, bu bağlamda önerilen açık kaynaklı bir Dünya gözlem temel modelidir. Resmi olarak "Dünya odaklı temel model" olarak konumlandırılan Clay, konum ve zaman bilgileriyle birlikte uzaktan algılama görüntülerini alabilir ve daha sonraki sınıflandırma, regresyon, değişim tespiti ve segmentasyon görevleri için mekansal-zamansal semantik özelliklere sahip özellik temsilleri üretebilir.
Uygulama açısından bakıldığında, Clay özellikle sınırlı etiketli örneklem içeren ancak net iş gereksinimlerine sahip uzaktan algılama segmentasyon senaryoları için uygundur. Örneğin, arazi kullanımı/örtüsü haritalamasında, küçük örneklem koşullarında segmentasyon performansını iyileştirmek için önceden eğitilmiş genel özelliklerden yararlanan bir kodlayıcı omurgası olarak kullanılabilir; bölgeler arası geçiş görevlerinde ise "bir bölgede eğitim yapıp diğerinde başarısız olma" sorununu hafifletebilir. Resmi dokümantasyon ayrıca Clay'in Sentinel-2, Landsat, Sentinel-1, NAIP, LINZ ve MODIS dahil olmak üzere birden fazla sensör girişini desteklediğini ve bu sayede çok kaynaklı uzaktan algılama uygulamalarında güçlü bir uyarlanabilirliğe sahip olduğunu belirtmektedir.
Model çerçevesi
Clay v1.5'in genel çerçevesi "dinamik gömme + uzamsal-zamansal konum kodlaması + MAE omurgası + öğretmen kısıtlamaları" olarak özetlenebilir. İlk olarak, model, dinamik gömme modülü aracılığıyla giriş görüntüsünün bant sayısı ve dalga boyu bilgilerine dayanarak yama temsilleri oluşturur ve böylece farklı sensörlerden ve farklı bant kombinasyonlarından gelen girdileri destekler. İkinci olarak, model konum kodlamasını devreye sokar, yer çözünürlüğünü (GSD), enlem ve boylamı ve zamansal bilgileri özellik temsiline kodlar; bu da modelin yalnızca spektral içeriği "görmesini" değil, aynı zamanda görüntünün uzamsal konumunu ve zamansal özelliklerini de anlamasını sağlar.
Özünde, Clay, gizlenmiş giriş bloklarını yeniden yapılandırmak için Vision Transformer tabanlı Maskeli Otomatik Kodlayıcı yapısını kullanır. Resmi belgelere göre, yeniden yapılandırma kaybı toplam kaybın yaklaşık %95'ini oluşturur ve esas olarak uzaktan algılama verilerinin spektral-mekansal yapısını öğrenmekten sorumludur; kalan %5'lik kısım ise öğretmen ağı tarafından sağlanan temsili kısıtlamalardan gelir. v1.5, gömme alanının anlamsal ifade gücünü artırmak için öğretmen olarak DINOv2'yi kullanır. Model boyutu açısından, Clay v1.5 yaklaşık 632 milyon parametreye sahiptir; bunların yaklaşık 311 milyonu kodlayıcı, yaklaşık 15 milyonu kod çözücü ve yaklaşık 304 milyonu öğretmen ağı içindir. Resmi belgeler ayrıca, modelin bu sürümünün yaklaşık 70 milyon küresel olarak dağıtılmış uzaktan algılama çipi üzerinde eğitildiğini ve sağlam bir ön eğitim temeline işaret ettiğini açıklamaktadır.
Şekil 1. Kil Modeli
Segmentasyon görevlerinde Clay, doğrudan anlamsal segmentasyon haritaları üretmez, ancak özellik çıkarma omurgası olarak daha uygundur. Yaygın yaklaşım, kodlayıcısını korumak ve çok katmanlı özellik füzyonu yoluyla mekansal ayrıntıları kurtarmak için SegFormer tarzı bir kod çözücü, FPN veya U-Net kod çözücü gibi hafif bir segmentasyon kod çözücü eklemek ve nihayetinde piksel düzeyinde sınıflandırma sonuçları üretmektir. Bu "temel model + görev başlığı" yaklaşımı, önceden eğitilmiş temsil yeteneklerini sonraki görev uyarlanabilirliğiyle dengeler ve sınır ve çok ölçekli ayrıntılar için uzaktan algılama segmentasyonunun gereksinimlerini daha iyi karşılar.
Üreme sonuçları
Bu deneyde, segmentasyon sonuçlarını tahmin etmek için ara katman özellik birleştirmesini kullanan Clay kodlayıcısından sonra SegFormer benzeri bir kod çözücü eklendi. Deneyde eğitim ve doğrulama için yaklaşık 2000 rastgele örnek kullanıldı. Yaklaşık 30 eğitim döngüsünden sonra, doğrulama seti şu sonuçlara ulaştı...ağırlıklı IoU 0.869Sonuç.
Şekil 2. Deneysel veriler
Clay, arazi örtüsü haritalama, su kütlesi segmentasyonu, orman ve düşük bitki örtüsü tanımlama, yol ve geçirimsiz yüzey çıkarımı gibi görevler için birleşik bir özellik omurgası olarak kullanılabilir. Bununla birlikte, Clay'in ön eğitim hedefinin esasen hala temsil öğrenimi ve yeniden yapılandırma olduğu unutulmamalıdır. Bu nedenle, ince sınır karakterizasyonu için, mühendislik uygulamalarında daha yüksek kaliteli sonuçlar elde etmek amacıyla uygun segmentasyon kod çözücüler, çok ölçekli özellik birleştirme ve işlem sonrası stratejiler hala gereklidir.