Гиперспектральная съемка в реальном времени для автономной навигации и наземной разведки
Вооруженные силы разных стран разрабатывают автономные беспилотные наземные машины (AUGV) для множества задач. Однако создание действительно автономной техники, пригодной для реальных условий, требует значительных исследований и совершенствования как аппаратной части – сенсорных технологий, – так и программного обеспечения и моделей искусственного интеллекта.
Следует учитывать сложности, с которыми сталкиваются беспилотные автомобили при безопасной автономной навигации на современных дорогах. Для наземной военной машины эти проблемы необходимо решать на сильно изменчивой местности в неконтролируемой среде, одновременно выявляя опасности и реагируя на действия противника.
Автономные беспилотные наземные машины нуждаются в технологиях автономной навигации и наземной разведки, способных понимать окружающую обстановку в реальном времени и немедленно выбирать оптимальные действия в конкретной ситуации.
Одно из активных направлений исследований – испытание различных методов восприятия для распознавания и анализа местности. Изучаются машинное зрение, трехмерное картографирование и глубокое обучение. Перспективным решением, предоставляющим расширенные наборы изображений в реальном времени, является моментальная гиперспектральная съемка (HSI).
HSI позволяет обучать современные модели анализировать среду по подробной спектральной информации. Это способно значительно повысить точность и надежность результатов, а моментальная съемка в реальном времени обеспечивает высокую производительность без потери скорости.
Разработка автономных беспилотных наземных машин
AUGV – это беспилотные машины, соприкасающиеся с поверхностью земли и действующие автономно. Их разрабатывают и применяют в гражданских и военных ситуациях, где участие оператора непрактично, опасно или слишком дорого.
В военной сфере такие машины заменяют пилотируемую технику и позволяют не подвергать военнослужащих опасности. Возможные задачи включают:
- Работу со взрывчатыми веществами и обезвреживание бомб;
- Наблюдение, разведку и распознавание целей;
- Вызов первого огня противника на беспилотную платформу.
Одна из важнейших проблем – распознавание и определение характеристик местности в реальном времени при движении по неконтролируемой среде. Решение должно быстро и надежно предоставлять данные, а затем точно анализировать их для немедленного принятия решений.
Сложности автономной навигации наземных машин
Переход от дистанционно управляемой беспилотной машины к автономной требует замены оператора автономной системой управления. Датчики собирают сведения об окружающей среде и передают их модели ИИ. Модель интерпретирует местность и определяет оптимальные действия для движения по неконтролируемой территории.
Большинство существующих автономных транспортных средств работает в контролируемой среде и перемещается по заранее определенной поверхности. Например, беспилотные автомобили Waymo действуют в заданных геозонах с известной схемой улиц и средствами регулирования движения. Хотя им приходится реагировать на переменные факторы и опасности, движение происходит в пределах обозначенных дорог.
В отличие от них, AUGV должны перемещаться в неконтролируемой среде с сильно различающейся местностью. Для этого нужен гораздо более широкий анализ обстановки с помощью комплекса датчиков реального времени и передовых моделей ИИ – при одновременном соблюдении требований к установке оборудования на наземную платформу.
Особенно активно исследуются сенсорные технологии для решения двух задач:
- Классификация типов местности;
- Выявление опасностей, например обнаружение наземных мин.
Любое решение должно в реальном времени обеспечивать точный и надежный анализ среды, необходимый для оптимального принятия решений в полевых условиях.
Для классификации местности изучаются машинное зрение, трехмерное картографирование и глубокое обучение; для обнаружения мин – традиционное машинное зрение, георадар и металлодетекторы.
Перспективным методом, который уже демонстрирует значительный потенциал, является гиперспектральная съемка в реальном времени. Гиперспектральный анализ позволяет автономной системе управления глубже понимать окружающую среду и улучшает навигацию в сложных условиях.
Преодоление ограничений AUGV с помощью гиперспектральной съемки
Гиперспектральная съемка регистрирует свет в десятках спектральных диапазонов вместо трех – красного, зеленого и синего. Камера выявляет спектральные признаки по всему изображению и предоставляет ранее недоступные сведения о составе материалов и факторах среды. Передача этой информации в модели ИИ формирует более четкое представление высокого спектрального и пространственного разрешения об окружении машины.
Традиционные гиперспектральные камеры со сканированием и другие – ограничены высокой стоимостью, чувствительностью и низкой кадровой частотой. Новые моментальные устройства потенциально подходят для AUGV: они обеспечивают анализ в реальном времени при меньших размерах, повышенной надежности и мобильности.
Моментальная гиперспектральная камера одновременно регистрирует пространственную и спектральную информацию в одном кадре, обеспечивая считывание с видеочастотой. Это принципиально важно для автономного принятия решений в реальном времени.
Для AUGV, использующей гиперспектральные данные, необходима быстрая, точная и надежная моментальная технология в прочном корпусе. Камера Living Optics соответствует этим требованиям и уже проходит полевые испытания по классификации типов местности.
Испытания классификации местности с камерой Living Optics
Команда Living Optics использовала контролируемое обучение по малому числу примеров, чтобы создать модель, различающую три типа поверхности по спектральной яркости: дорогу, грязь и растительность. Видео снимали на открытом поле в Великобритании в солнечный зимний день с мобильной платформы, управляемой вручную.
Эксперимент имитировал движение наземной машины; камера записывала видео со скоростью 30 кадров в секунду. Данные разделили на обучающую и тестовую выборки в соотношении 70/30. Для обучения классификаторов применили несколько моделей. Наилучший результат – F1-мера 89,5 % – показал многослойный перцептрон.
Рисунок 1 – Результаты классификации трех типов местности – дороги, грязи и растительности – по данным камеры Living Optics
Результаты подтверждают, что камера надежно различает три класса поверхности в динамических условиях, включая изменения освещения и влажности, способные влиять на качество классификации. Планируются дополнительные испытания при различной погоде и изменениях состояния местности.
Также проводились испытания дистанционного обнаружения наземных мин камерой Living Optics. Для создания алгоритма, пригодного к развертыванию в поле, требуются дополнительные наборы данных, полученные в различных эксплуатационных условиях.
Материал подготовлен по статье Living Optics, “Real-Time Hyperspectral Imaging for Autonomous Navigation and Ground Reconnaissance”. Источник изображений: Living Optics.
