Сбор гиперспектральных данных с дронов: Как получать гиперспектральные изображения с помощью БПЛА

В статье представлен структурированный обзор передовых практик и рекомендаций, направленных на повышение точности, стабильности и надежности процессов гиперспектральной съемки с использованием беспилотных летательных аппаратов (БПЛА).

Важными аспектами при получении изображения с БПЛА являются:

• Выбор и интеграция системы: Ключевые факторы, влияющие на выбор оптимального решения для гиперспектральной съемки с БПЛА, в том числе технические спецификации, совместимость с полезной нагрузкой и производительность в различных условиях.
• Оптимизация сбора данных HSI с БПЛА: Рекомендации по планированию полетов, калибровке датчиков, контролю качества данных и оперативным аспектам для обеспечения максимальной точности и надежности полученных данных.

Применения воздушной гиперспектральной визуализации:

• Точное земледелие: Картирование здоровья растений, стадия роста;
• Обнаружение инвазивных видов;
• Правоохранительные органы: Обнаружение наркотических растений, защитные брезенты;
• Экологический мониторинг: Оценка водных объектов, загрязнение моря, лесоустройство;
• Геология: Картирование минералов и руды;
• Оборона и безопасность: Картирование камуфляжных материалов, имитирующих цвет естественного окружения;
• Растительность: Измерение характеристик, таких как содержание влаги в растениях, для мониторинга здоровья растительности.

Рисунок 1 - Гиперспектральная камера Specim AFX, интегрированная с дроном Skyfront Parameter 8 для сбора данных в точном земледелии. Предоставлено Alchemy Analytics

Рисунок 2 - Гиперспектральная съемка здоровья виноградной лозы и стадий ее роста с помощью БПЛА. Предоставлено Alchemy Analytics

Рисунок 3 - Воздушная визуализация VNIR-диапазона для экологического мониторинга. Данные предоставлены SpecTIR

Как получать данные HSI с помощью Specim AFX, установленной на БПЛА

Выбор БПЛА и установка датчика Specim AFX

Выбор БПЛА для гиперспектральной съемки (HSI)

Используйте любой БПЛА, способный нести полезную нагрузку весом 4-6 кг и способный летать по предварительно запланированному маршруту.

Датчики Specim AFX, как правило, имеют массу 2-3 кг. Для обеспечения надежности и резервирования рекомендуется, чтобы грузоподъемность БПЛА была как минимум вдвое, а лучше втрое больше. Это уменьшит нагрузку на систему БПЛА и повысит ее управляемость в нештатных ситуациях, например, при отказе двигателя.

Современные БПЛА, как правило, оснащены функцией полета по заранее заданному маршруту либо в стандартной комплектации, либо через обновление программного обеспечения. Поскольку системы Specim AFX запускают и останавливают сбор данных в зависимости от географического положения, для обеспечения корректной работы требуется точное прохождение через заданные путевые точки, что значительно облегчается использованием автоматического режима полета.

Выбирайте гекса- или октокоптеры вместо квадрокоптеров

Когда речь идет о мультикоптерах, для полетов для HSI-съемки рекомендуются гекса- или октокоптеры, то есть БПЛА с шестью или восемью двигателями. Квадрокоптеры, то есть БПЛА с четырьмя двигателями, не рекомендуются из-за резервирования. Потеря одного двигателя на квадрокоптере на практике означает, что вы теряете два, а оставшихся двух обычно недостаточно, чтобы удержать вашу полезную нагрузку в воздухе, или даже меньше, чтобы поддерживать систему управляемой. Следовательно, гекса- и октокоптеры являются лучшим выбором для HSI-съемки.

Посвятите своих операторов и предоставьте им профессиональную подготовку

Воздух — самая сложная стихия для HSI-съемки. Не стоит недооценивать важность обучения операторов дронов. Это гораздо важнее, чем марка БПЛА, на котором вы летаете.

Соблюдайте местные правила воздушного пространства, наземного риска и регистрации

Получите информацию от местной CAA (Civil Aviation Authority — Управления гражданской авиации) о требованиях к местному воздушному пространству, наземному риску и регистрации в стране/регионе, в котором вы летаете.

Приобретите уверенность — сначала летайте пустым или с макетом веса

Прежде всего, приобретите уверенность, много летая, прежде чем устанавливать ценные датчики на борт. Летайте пустым или с макетом веса, чтобы изучить свою систему, как она работает и каковы ее проблемы.

Плюсы и минусы системы крепления

Фиксированное крепление

Фиксированное крепление является самым легким и бюджетным вариантом, однако оно уступает гиростабилизированным креплениям по качеству изображения из-за большего размытия. Поскольку фиксированное крепление не компенсирует наклон платформы во время полета, необходимо увеличивать боковое перекрытие при планировании (более 30%). Это, в свою очередь, приводит к увеличению времени полета, необходимого для покрытия заданной области.

При использовании фиксированного крепления рекомендуется применять DAMPERZEN, так как регулируемые пружины позволяют настраивать жесткость в зависимости от уровня вибраций, характерных для конкретной модели БПЛА.

Рисунок 4 - Фиксированные крепления Damperzen на БПЛА с камерой Specim AFX

Гиростабилизированное подвесное крепление

Гиростабилизированные подвесы обеспечивают максимальное разрешение на местности (GSD) и пространственное разрешение, а также эффективно гасят вибрации. Они обеспечивают оптимальную ориентацию по надиру и корректируют крены и наклоны, что позволяет снизить требования к боковому перекрытию при планировании полета.

К недостаткам гиростабилизированных систем можно отнести их более высокую стоимость, сложность и вес. Для эффективной работы требуется обучение и настройка, выбор оптимальных режимов и контроль положения центра тяжести. Увеличенный вес снижает время полета. Кроме того, гиростабилизаторы могут приводить к колебаниям рычага антенны и увеличивать дрейф инерциального измерительного модуля (IMU).

Рисунок 5 - Гиростабилизированное подвесное крепление

Планирование полета

Основные соображения для планирования полета с Specim AFX

• Приоритизируйте отношение сигнал/шум (SNR) над разрешением — не "выжимайте" датчик до максимума!

Может показаться нелогичным, что при использовании гиперспектральных датчиков мы, прежде всего, стремимся к спектральному разрешению, а не к пространственному. Вот почему вам следует приоритизировать отношение сигнал/шум (SNR) над разрешением. Высокое спектральное разрешение означает, что вы иногда лишаетесь естественного освещения. Без достаточного SNR становится трудно отделить тонкие спектральные особенности из-за шума.

• Планируйте боковое перекрытие минимум 25-50%, в зависимости от выбора крепления

Планируйте боковое перекрытие в соответствии с вашей системой крепления. Боковое перекрытие зависит от ряда факторов, таких как ветер, как показано на рисунке ниже (рис. 6). При фиксированной системе крепления любые наклоны и крены также будут создавать риск появления пробелов между линиями полета.

Рисунок 6 - Влияние ветра на боковое перекрытие. Как видно слева, сильный боковой ветер уменьшит ширину вашей полосы захвата и, следовательно, боковое перекрытие. Изображение слева демонстрирует влияние наклонов и кренов на линии полета

• По возможности планируйте направление Север-Юг

Следует планировать выравнивание полета по направлению Север-Юг по нескольким причинам.

Давайте рассмотрим солнечное окно и ориентацию линии. Солнечное окно означает время суток, когда вы можете собирать данные, которое полностью зависит от угла солнца от горизонта. Хороший минимум с точки зрения атмосферной коррекции составляет 40°. Хотя его можно уменьшить до 30°, это уже резко уменьшит освещенность — проблема, особенно очевидная в северных и крайних южных широтах.

Ориентация полета с севера на юг предпочтительна из-за явления, называемого двунаправленной функцией отражения (BRDF), которое проявляется как разница в освещенности между правой и левой сторонами полосы захвата. В идеале, при гиперспектральной съемке следует выравнивать направление полета с направлением освещения. Поскольку это не всегда возможно, наилучшим компромиссом является ориентация север-юг, обеспечивающая оптимальное освещение в полдень. Следует избегать ситуаций, когда направление освещения перпендикулярно линиям полета. Как показано на рисунке 7 (справа), это приведет к максимальному проявлению эффектов BRDF, что приведет к значительным различиям в спектральном альбедо по разные стороны от центра полосы захвата. Эти различия будут особенно заметны при создании мозаики изображений и могут быть лишь частично скорректированы алгоритмически.

Рисунок 7 - Солнечное окно и ориентация линии. Избегайте ситуации справа, когда освещение перпендикулярно линиям полета

Другая причина выравнивать ваши линии полета по направлению Север-Юг связана с размерами файлов. Не-Север-Юг направление линии умножает размеры ваших файлов, как показано на изображении ниже (рис. 8).

Рисунок 8 - Сравнение размера изображения при выравнивании линий полета Север-Юг (слева) и в других направлениях (справа). Не-Север-Юг линия полета привела к массивному размеру файла по сравнению с линией полета Север-Юг

Планирование полета

Настройка файлов kml для полета с Specim AFX10

Для работы требуются два отдельных файла KML: один для определения маршрута полета БПЛА, а второй – для указания линий начала и окончания записи данных для Specim AFX10. Файл KML, содержащий маршрут полета, загружается в автопилот БПЛА для автоматического выполнения полета. Файл KML с линиями записи Specim AFX10 загружается в веб-интерфейс Specim AFX, который автоматически включает датчик в начале запланированного участка и выключает его в конце. Важно отметить, что направление полета БПЛА должно соответствовать направлению, указанному в файлах KML для включения/выключения записи.

Рисунок 9 - Настройка файлов kml для полета с Specim AFX10. Синяя стрелка — это kml траектории полета БПЛА. Красная стрелка — это файл kml включения/выключения Specim AFX10. Зеленый круг указывает на начальную точку записи, а желтый круг — на точку остановки записи. Летите в том же направлении, что и нарисовано

Ниже вы видите пример того, как траектория полета может выглядеть на практике (рис. 10).

Рисунок 10 - Это бортовой крест, летающий с датчиками Specim. Слева вы видите линии включения-выключения, три из них образуют крест. Справа — фактическая траектория полета БПЛА. Траектория полета для использования автопилотом нарисована точно поверх линий включения-выключения. Автопилот летит по маршруту, а Specim AFX запускает и останавливает датчик по мере необходимости, отдельно от автопилота БПЛА

Рабочий процесс планирования полета шаг за шагом

Начало работы с летной эксплуатацией

Минимальная скорость

5 м/с — это минимальная скорость для поддержания выравнивания IMU с одноантенным приемником. Specim AFX оснащен одноантенным GNSS/IMU. IMU требует выравнивания, которое он получает с помощью GNSS. GNSS требует минимальной скорости 5 м/с для обеспечения хорошего курса. Поэтому каждый полет должен начинаться и, время от времени, также заканчиваться прогоном выравнивания с определенной скоростью. Кроме того, весь полет должен выполняться при минимальной скорости 5 м/с относительно земли. Более низкая скорость приведет к ухудшению выравнивания IMU относительно курса. Это, в свою очередь, означает, что существует определенный максимум в отношении частоты кадров и минимум в отношении высоты, в зависимости от типа местности, над которой ведется полет.

Минимальная высота полета

Минимальная практическая высота полета для Specim AFX10 над местностью со средней отражательной способностью составляет ∼50 м (75 Гц). Абсолютный минимум составляет 37 м (100 Гц), если не ослаблять требования к квадратному пикселю и/или полному кубу данных.

Бортировочная миссия

Рисунок 11 иллюстрирует этапы бортировочной миссии. После взлета и достижения заданной высоты необходимо выполнить выравнивание инерциального измерительного модуля (IMU). Это можно сделать в ручном или автоматическом режиме. Выравнивание выполняется путем резкого ускорения до скорости менее 10 м/с в выбранном направлении на протяжении менее 10 секунд, затем резкого торможения и продолжения движения в обратном направлении с той же скоростью и на протяжении того же времени.

После выравнивания IMU можно переходить к автоматическому полету по запланированному маршруту. БПЛА начнет движение к первой линии полета Specim AFX, где начнется сбор данных, который будет запускаться и останавливаться в предварительно определенных точках. Обратите внимание, что повороты между линиями чередуются: влево, вправо, влево и так далее. Такая последовательность сохраняется на протяжении всего полета, независимо от количества линий. В данном примере, иллюстрирующем бортировку, показаны три линии. После завершения сбора данных можно возвращаться на базу.

При использовании технологии постобработки кинематических данных (PPK) выравнивание IMU необходимо выполнить также в конце полета. Преимущество PPK заключается в возможности обработки данных в прямом и обратном направлении, а обратная обработка также требует предварительного выравнивания IMU. В этом случае возврат на базу возможен только после выполнения заключительного выравнивания IMU.

Рисунок 11 - Компоненты бортировочной миссии

Стандартная (не-бортировочная) миссия

Составные элементы стандартной (не-бортировочной) миссии, например, при съемке территории или проведении коридорной съемки, аналогичны (см. рисунок 12). После взлета начинается этап выравнивания инерциального измерительного блока (IMU), после чего выполняется автоматический пролет по запланированным маршрутным линиям. При наличии системы постобработки с кинематикой (PPK), дополнительный прогон выравнивания IMU выполняется в конце миссии перед возвращением на базу.

Рисунок 12 - Компоненты стандартной миссии

Почему важно выравнивание IMU?

Некорректное выполнение процедуры выравнивания инерциального измерительного модуля (IMU) приводит к плохому выравниванию, примеры которого представлены на изображениях ниже. Чтобы избежать этих проблем, необходимо тщательно выравнивать IMU в начале полета, а также в конце, если используется технология PPK (кинематика в постобработке). Следует отметить, что использование PPK значительно улучшает результаты благодаря двойной частоте дискретизации IMU.

Рисуноке 13 - Пример, где на фоне геопривязанного изображения Google Earth видно, что линия съемки, выполненная с системой AFX и с плохим выравниванием IMU, привела к искажению положения подъездных путей. Белые линии отображают запланированный маршрут полета, которому беспилотник следовал достаточно точно. Однако IMU не был выровнен должным образом, предположительно, из-за недостаточной скорости во время процедуры выравнивания

Рисунок 14 - На этом изображении вы можете увидеть результат неправильного выравнивания с дополнительной дрожью

Серия Specim AFX для дистанционного зондирования

Линейка продуктов Specim AFX предлагает два компактных универсальных решения для гиперспектральной визуализации для использования в бортовых приложениях, охватывающих спектральные диапазоны VNIR и NIR:

Specim AFX10

• Компактное универсальное решение для гиперспектральной визуализации для дронов;
• 400–1000 нм (VNIR).

Specim AFX17

• Компактное универсальное решение для гиперспектральной визуализации для дронов;
• 900–1700 нм (NIR).