Глубокое обучение обеспечивает бортовое гиперспектральное обнаружение: ключевой путь к повышению точности обнаружения целей.

Бортовые гиперспектральные изображения обусловлены ихВысокое спектральное разрешениеиШирокомасштабное пространственное покрытиеГиперспектральные данные о целях находят широкое применение в таких задачах, как идентификация наземных объектов, мониторинг городской среды, сельскохозяйственные обследования и оценка состояния окружающей среды. Однако этот тип данных обычно характеризуется многочисленными спектральными диапазонами, большими вариациями масштаба целей, сложным фоном и малым количеством размеченных образцов, что делает задачи обнаружения целей чрезвычайно сложными. Традиционные методы сопоставления спектральных данных и статистических признаков с трудом справляются с одновременной обработкой спектральной и пространственной информации, что приводит к ограниченной эффективности обнаружения небольших целей и сложного фона. В последние годы развитие технологий глубокого обучения предоставило новое решение для бортового обнаружения гиперспектральных целей. Автоматическое извлечение спектрально-пространственных признаков посредством сквозного обучения значительно повышает точность и надежность обнаружения.

Рисунок 1Примеры гиперспектральных изображений со спутника Xiguang-1 01

С точки зрения методологии,Спектрально-пространственные сверточные сети(нравиться3D-CNNОдин из наиболее распространенных подходов — использование гибридной сверточной нейронной сети (или комбинации обеих). Эти методы обрабатывают гиперспектральные данные как...3D объемные данныеОдновременное выполнение сверток как в пространственном, так и в спектральном измерениях позволяет получить информацию о непрерывности и пространственной структуре между спектральными диапазонами. Например, методы 3D-CNN для задач идентификации сельскохозяйственных культур могут эффективно обнаруживать мелкомасштабные объекты и повышать общую точность обнаружения за счет многослойного слияния сверточных признаков, но их вычислительная стоимость высока, и они чувствительны к количеству обучающих выборок. Для выделения целевых объектов и подавления помех от сложного фона,Спектрально-пространственный механизм вниманияЭтот подход интегрирован в структуру сети. Благодаря взвешиванию внимания как в спектральном, так и в пространственном измерениях, он повышает отклик в ключевых диапазонах и областях, оказываясь особенно эффективным для обнаружения небольших целей, а также улучшает устойчивость модели в сложных условиях.

На рисунке 2 показана сеть CNSST, которая использует комбинацию параллельных сверточных ветвей и ветвей Transformer для достижения гиперспектрального распознавания целей.

Многомасштабное слияние признаковЭто еще одна ключевая технология для решения проблемы вариаций масштаба объектов на спутниковых гиперспектральных изображениях. Благодаря интеграции информации о признаках из различных сверточных слоев или пирамидальных структур, модель может обрабатывать как крупномасштабные, так и мелкомасштабные объекты, достигая хороших результатов обнаружения в таких сценариях, как городские здания, дороги или сельскохозяйственные угодья. Для решения проблемы ограниченного количества размеченных данных широко используются трансферное обучение и обучение с малым количеством примеров. Предварительное обучение модели на крупномасштабных данных дистанционного зондирования или других гиперспектральных наборах данных с последующей тонкой настройкой для конкретной задачи позволяет смягчить проблему нехватки выборки, ускорить скорость сходимости обучения и сохранить высокую точность обнаружения.

На рисунке 3 показана MsFNet, которая использует многоветвевую параллельную архитектуру и сочетает в себе расширенную свертку, механизм внимания и межмасштабное взаимодействие признаков для достижения многомасштабного спектрально-пространственного динамического слияния в гиперспектральном обнаружении.

Несмотря на значительный прогресс, достигнутый вышеупомянутыми методами в области бортового гиперспектрального обнаружения целей, остаются некоторые проблемы, в том числе недостаточные возможности обработки больших объемов данных в реальном времени, проблемы адаптации к различным бортовым платформам, а также трудности обнаружения небольших выборок и редких целей.

В числе перспективных направлений развития – разработка облегченных моделей для обнаружения в реальном времени, многомодальное слияние данных для повышения точности обнаружения, самообучение или полуконтролируемое обучение для снижения зависимости от размеченных данных, а также сетевые структуры на основе трансформеров для учета глобальных спектрально-пространственных зависимостей. В целом, методы глубокого обучения стали ключевой технологией для бортового гиперспектрального обнаружения целей. Ожидается, что благодаря непрерывной оптимизации сетевых структур и стратегий обучения будет достигнуто дальнейшее повышение точности обнаружения и расширение области применения, что обеспечит надежную поддержку дистанционного зондирования и идентификации наземных целей.