โกลบอล วิชั่น มีเดีย โฟกัส
บริษัทดังกล่าวได้รับการนำเสนอในรายการโทรทัศน์ CCTV รวม 15 ครั้ง และเข้าถึงผู้ชมรวมกว่า 50 ล้านคน ผ่านสื่อของพรรค สื่อส่วนกลาง และสื่อทางการท้องถิ่น
การอภิปรายเกี่ยวกับการประยุกต์ใช้แบบจำลองดินเหนียวในการแบ่งส่วนภาพถ่ายดาวเทียม
ภูมิหลังและบทนำ
ด้วยการพัฒนาอย่างต่อเนื่องของความสามารถในการได้มาซึ่งภาพถ่ายจากระยะไกล งานต่างๆ เช่น การจำแนกประเภทการใช้ที่ดิน การระบุแหล่งน้ำ การสกัดพื้นที่เกษตรกรรม การตรวจสอบพื้นที่ชุ่มน้ำ และการแบ่งส่วนพื้นผิวที่ไม่สามารถซึมผ่านได้ในเขตเมือง จึงต้องการความสามารถในการสรุปผลของแบบจำลองที่สูงขึ้น วิธีการแบ่งส่วนเชิงความหมายแบบดั้งเดิมมักอาศัยข้อมูลที่ติดป้ายกำกับด้วยตนเองขนาดใหญ่ และมักได้รับการฝึกฝนจากแหล่งข้อมูลเดียวหรือภูมิภาคเดียว ซึ่งนำไปสู่ประสิทธิภาพที่ลดลงได้ง่ายเมื่อนำไปใช้กับภูมิภาค เซ็นเซอร์ และช่วงเวลาที่แตกต่างกัน ในทางตรงกันข้าม แบบจำลองพื้นฐานที่ได้รับการฝึกฝนล่วงหน้าจากข้อมูลการสำรวจระยะไกลขนาดใหญ่ สามารถเรียนรู้การแสดงพื้นผิวทั่วไปได้มากขึ้นก่อนที่จะถ่ายโอนไปยังงานเฉพาะในขั้นตอนถัดไป จึงแสดงให้เห็นถึงข้อได้เปรียบที่สำคัญในด้านการแบ่งส่วนภาพถ่ายจากระยะไกล Clay เป็นแบบจำลองพื้นฐานการสังเกตการณ์โลกแบบโอเพนซอร์สที่เสนอขึ้นโดยคำนึงถึงเรื่องนี้ โดยได้รับการวางตำแหน่งอย่างเป็นทางการว่าเป็น "แบบจำลองพื้นฐานที่มุ่งเน้นโลก" สามารถรับภาพถ่ายจากระยะไกลพร้อมกับข้อมูลตำแหน่งและเวลา และส่งออกการแสดงคุณลักษณะที่มีความหมายเชิงพื้นที่และเวลาสำหรับการจำแนกประเภท การถดถอย การตรวจจับการเปลี่ยนแปลง และงานแบ่งส่วนในภายหลัง
จากมุมมองด้านการใช้งาน Clay เหมาะอย่างยิ่งสำหรับสถานการณ์การแบ่งส่วนภาพถ่ายดาวเทียมที่มีตัวอย่างข้อมูลที่มีป้ายกำกับจำกัด แต่มีความต้องการทางธุรกิจที่ชัดเจน ตัวอย่างเช่น ในการทำแผนที่การใช้ที่ดิน/การปกคลุมของพื้นที่ Clay สามารถใช้เป็นแกนหลักของตัวเข้ารหัส โดยใช้ประโยชน์จากคุณลักษณะทั่วไปที่ได้รับการฝึกฝนล่วงหน้าเพื่อปรับปรุงประสิทธิภาพการแบ่งส่วนภายใต้เงื่อนไขตัวอย่างขนาดเล็ก ในงานการย้ายข้อมูลข้ามภูมิภาค Clay ยังสามารถบรรเทาปัญหา "การฝึกฝนในภูมิภาคหนึ่งและล้มเหลวในอีกภูมิภาคหนึ่ง" เอกสารอย่างเป็นทางการยังชี้ให้เห็นว่า Clay รองรับข้อมูลจากเซ็นเซอร์หลายตัว รวมถึง Sentinel-2, Landsat, Sentinel-1, NAIP, LINZ และ MODIS ทำให้มีความสามารถในการปรับตัวสูงในการใช้งานภาพถ่ายดาวเทียมแบบหลายแหล่งข้อมูล
กรอบแบบจำลอง
โครงสร้างโดยรวมของ Clay v1.5 สามารถสรุปได้ว่า "การฝังข้อมูลแบบไดนามิก + การเข้ารหัสตำแหน่งเชิงพื้นที่และเวลา + โครงสร้างพื้นฐาน MAE + ข้อจำกัดของครู" ประการแรก โมเดลสร้างการแสดงภาพแบบแพทช์โดยอิงจากจำนวนแบนด์และข้อมูลความยาวคลื่นของภาพอินพุตผ่านโมดูลการฝังข้อมูลแบบไดนามิก ซึ่งรองรับอินพุตจากเซ็นเซอร์ต่างๆ และการผสมผสานแบนด์ที่แตกต่างกัน ประการที่สอง โมเดลนำเสนอการเข้ารหัสตำแหน่ง โดยเข้ารหัสความละเอียดภาคพื้นดิน (GSD) ละติจูดและลองจิจูด และข้อมูลเวลาลงในการแสดงคุณลักษณะ ทำให้โมเดลไม่เพียงแต่ "มองเห็น" เนื้อหาสเปกตรัม แต่ยังเข้าใจตำแหน่งเชิงพื้นที่และคุณลักษณะเชิงเวลาของภาพได้อีกด้วย
โดยพื้นฐานแล้ว Clay ใช้โครงสร้าง Masked Autoencoder ที่อิงตาม Vision Transformer เพื่อสร้างบล็อกอินพุตที่ถูกบดบังขึ้นมาใหม่ ตามเอกสารอย่างเป็นทางการ การสูญเสียในการสร้างใหม่คิดเป็นประมาณ 95% ของการสูญเสียทั้งหมด ซึ่งส่วนใหญ่รับผิดชอบในการเรียนรู้โครงสร้างเชิงสเปกตรัมและเชิงพื้นที่ของข้อมูลการสำรวจระยะไกล ส่วนที่เหลืออีก 5% มาจากข้อจำกัดในการแสดงผลที่ได้รับจากเครือข่ายครู เวอร์ชัน 1.5 ใช้ DINOv2 เป็นครูเพื่อเพิ่มความสามารถในการแสดงออกทางความหมายของพื้นที่ฝังตัว ในแง่ของขนาดโมเดล Clay เวอร์ชัน 1.5 มีพารามิเตอร์ประมาณ 632 ล้านตัว รวมถึงพารามิเตอร์ประมาณ 311 ล้านตัวสำหรับตัวเข้ารหัส พารามิเตอร์ประมาณ 15 ล้านตัวสำหรับตัวถอดรหัส และพารามิเตอร์ประมาณ 304 ล้านตัวสำหรับเครือข่ายครู เอกสารอย่างเป็นทางการยังเปิดเผยว่าโมเดลเวอร์ชันนี้ได้รับการฝึกฝนบนชิปการสำรวจระยะไกลที่กระจายอยู่ทั่วโลกประมาณ 70 ล้านชิ้น ซึ่งบ่งชี้ถึงพื้นฐานการฝึกฝนเบื้องต้นที่แข็งแกร่ง
รูปที่ 1. แบบจำลองดินเหนียว
ในงานแบ่งส่วนภาพ Clay ไม่ได้สร้างแผนที่การแบ่งส่วนภาพเชิงความหมายโดยตรง แต่เหมาะกว่าที่จะใช้เป็นโครงสร้างพื้นฐานสำหรับการสกัดคุณลักษณะ วิธีการทั่วไปคือการคงตัวเข้ารหัสไว้และแนบตัวถอดรหัสการแบ่งส่วนภาพที่มีน้ำหนักเบา เช่น ตัวถอดรหัสแบบ SegFormer, FPN หรือตัวถอดรหัส U-Net เพื่อกู้คืนรายละเอียดเชิงพื้นที่ผ่านการรวมคุณลักษณะหลายชั้น และสุดท้ายจะส่งผลลัพธ์การจำแนกประเภทในระดับพิกเซล วิธีการ "โมเดลพื้นฐาน + ส่วนหัวของงาน" นี้จะสร้างสมดุลระหว่างความสามารถในการแสดงผลที่ได้รับการฝึกฝนล่วงหน้ากับความสามารถในการปรับตัวเข้ากับงานปลายทาง และตอบสนองความต้องการของการแบ่งส่วนภาพจากระยะไกลสำหรับรายละเอียดขอบเขตและหลายระดับได้ดียิ่งขึ้น
ผลลัพธ์การสืบพันธุ์
การทดลองนี้ได้เพิ่มตัวถอดรหัสแบบ SegFormer ต่อท้ายตัวเข้ารหัส Clay โดยใช้การหลอมรวมคุณลักษณะของเลเยอร์ระดับกลางเพื่อทำนายผลลัพธ์การแบ่งส่วน การทดลองใช้ตัวอย่างสุ่มประมาณ 2000 ตัวอย่างสำหรับการฝึกฝนและการตรวจสอบ หลังจากฝึกฝนประมาณ 30 รอบ ชุดข้อมูลตรวจสอบได้ผลลัพธ์...IoU ถ่วงน้ำหนัก 0.869ผลลัพธ์.
รูปที่ 2 ข้อมูลจากการทดลอง
แบบจำลอง Clay สามารถใช้เป็นแกนหลักของคุณลักษณะแบบครบวงสำหรับงานต่างๆ เช่น การทำแผนที่การปกคลุมของพื้นดิน การแบ่งส่วนแหล่งน้ำ การระบุป่าไม้และพืชพรรณเตี้ย และการสกัดถนนและพื้นผิวที่ไม่สามารถซึมผ่านได้ อย่างไรก็ตาม ควรสังเกตว่าวัตถุประสงค์ของการฝึกฝนเบื้องต้นของ Clay นั้นโดยพื้นฐานแล้วยังคงเป็นการเรียนรู้และการสร้างใหม่ของตัวแทน ดังนั้น สำหรับการกำหนดลักษณะขอบเขตที่ละเอียดขึ้น ตัวถอดรหัสการแบ่งส่วนที่เหมาะสม การรวมคุณลักษณะหลายระดับ และกลยุทธ์การประมวลผลภายหลังยังคงมีความจำเป็นเพื่อให้ได้ผลลัพธ์ที่มีคุณภาพสูงขึ้นในการใช้งานทางวิศวกรรม