Основы спектральной визуализации и работы с камерой Specim IQ

Камера Specim IQ

Камера Specim IQ – портативная готовая к работе гиперспектральная камера со встроенными функциями регистрации, обработки и визуализации данных. Данная камера может просканировать цель и показать результат на дисплее всего за несколько секунд. Вес камеры составляет всего 1.3 кг, включая перезаряжаемый аккумулятор и карту памяти, что обеспечивает полную мобильность системы.

Чтобы увидеть текст видео на русском, перейдите в полноэкранный режим и включите субтитры.

Камера Specim IQ поставляется вместе со специализированным ПО Specim IQ Studio. Оно позволяет пользователю разрабатывать и использовать собственные приложения, которые можно загрузить на камеру. IQ Studio также дает возможность загружать, экспортировать и работать с гиперспектральными данными, регулировать настройки камеры Specim IQ, создавать модели и эталонные спектры.

Работа со Specim IQ очень проста благодаря интуитивно понятному интерфейсу пользователя. Для этого не требуются опыт или квалификация в области гиперспектральной визуализации. Интерфейс на дисплее камеры осуществляет руководство на каждом этапе съемки и помогает проверить качество изображения. Specim IQ может работать в режиме записи данных, который позволяет получить гиперспектральные данные (необработанные данные, сигнал отражения), или в прикладном режиме, когда кроме необработанных данных на дисплее отображается полученный результат.

Благодаря графическому интерфейсу пользователя работа со Specim IQ Studio также не требует навыком разработчика. Автоматизированные подсказки помогают вам на каждом этапе процесса и информируют о его удачном завершении. Создав приложение с определенным алгоритмом обработки данных и загрузив его на камеру, вы можете в любом месте провести съемку и мгновенно получить результат измерений. На камеру можно загрузить несколько приложений, каждое из которых будет использоваться для своей цели. Кроме того, ПО камеры легко обновить путем загрузки файлов на карту памяти.

Гиперспектральная камера, такая как Specim IQ, это устройство визуализации, которое используется для получения изображений с информацией о спектре в каждом пикселе изображения объекта. По сравнению со стандартной шкалой оттенков серого с информацией только об усредненной по всему диапазону длин волн интенсивности, или цветной камерой с информацией об усредненной интенсивность света в красной, зеленой и синей областях спектра, гиперспектральная камера может поделить спектральный диапазон на сотни спектральных полос. Спектр, полученный от объекта, с непрерывным и подробным делением на спектральные полосы может быть использован для идентификации материала объекта съёмки или определения его физических и химических свойств.

Рабочий диапазон Specim IQ лежит от 400 до 1000 нм. Она разработана на основе технологии поперечного сканирования вдоль траектории движения (верное сканирование, push-broom), то есть линейных сканирующих камерах. Система состоит из объектива, спектрографа и датчика для формирования изображений. Представленная система формирует изображение одной линии исследуемого объекта при регистрации одного кадра сенсором. Свет данной линии разлагается в спектр с помощью оптики, сохраняя спектральную информацию. Таким образом, одна ось сенсора (в горизонтальном направлении) используется для пространственного распределения, а вторая (вертикальная) для спектральной информации каждой визуализированной точки. Другими словами, каждый столбец изображения содержит отдельный спектр заданной точки вдоль линии визуализации. Более того, так как одно изображение содержит информацию только вдоль одной линии, вся интересующая область должна быть снята, линия за линией – просканирована. Полученной в результате гиперспектральное изображение - 3D структура, куб данных, в котором 2 измерения используются для информации о пространственных параметрах и одно для информации о спектре.

В камере Specim IQ, число визуализируемых линий стандартно, и таким образом, камера всегда регистрирует 2D изображение с разрешением 512x512 пикселей. Число регистрируемых спектральных линий 204, путем биннинга число полос может быть увеличено в 2 или 3 раза.

Камера Specim IQ позволяет проводить измерения в полевых условиях или удаленно, что раньше было возможно только в условиях лаборатории. Ее можно использовать на улице, в помещении, в режиме съемки с триноги, с рук или с летательного устройства. Рекомендуемый источник света для работы со Specim IQ – галогеновая лампа, которая полностью покрывает рабочий диапазон устройства. В условиях работы на улице прямого солнечного излучения может быть достаточно.

Комплект поставки Specim IQ содержит все необходимое оборудование для начала работы и получения изображений.

Спектральная визуализация

Когда вы делаете цифровую цветную фотографию, вы на самом деле делаете три фотографии. Конечная картина представляет собой сочетание трех цветов, красного, зеленого и синего, каждый из которых взят из относительно широкой области спектра. Окончательные цвета, видимые человеческому глазу, формируются путем наложения красного, зеленого и синего друг с другом в различных количествах, чтобы воспроизвести массив различных цветов.

RGB модель стандартного изображения имеет биологическую основу. Человеческий глаз содержит только три типа цветовых рецепторов. Эти рецепторы называются колбочками. Каждый тип рецепторов отвечает за различные диапазоны длины волны спектра. Пользуясь данной аналогией, мы можем сказать, что у людей есть три цветовых канала.

Свет, как мы его воспринимаем, - это электромагнитное излучение, видимое человеческому глазу в диапазоне длин волн приблизительно 400-700 нм. Каждый цвет, который мы можем видеть, находится в этом диапазоне длин волн. Например, оранжевый цвет имеет длину волны в диапазоне 590-620 нм.

Спектральное изображение с расширенным диапазоном длин волн, также регистрирует данные видимые человеческому глазу. После обработки полученных данных, результат может быть конвертирован в RGB формат, при необходимости, для визуализации.

Подводя итог, когда мы делаем обычную фотографию, мы получаем информацию о длине волны от каждого записанного пикселя следующим образом:

• Через 3 спектральных канала (RGB)

Изображение: Сравнение количества RGB данных со страницами книги

• В спектральном диапазоне от 400 — 700 нм

Если представить фотографию в качестве книги, то стандартное фото – книга с 3 страницами:

1. Первая страница – длины волн красного диапазона. Спектральный диапазон страницы составляет примерно 75 нм.

2. Вторая страница – длины волн зеленого диапазона. Спектральный диапазон страницы составляет примерно 100 нм.

3. Вторая страница – длины волн синего диапазона. Спектральный диапазон страницы составляет примерно 150 нм.

Когда мы смотрим сквозь страницы книги, мы видим все цвета, как на обложке книги на изображении (см. выше).

Фотография, полученная с использованием камеры Specim IQ состоит из 220 страниц, спектральный диапазон каждой из которых составляет примерно 2.7 нм.

Когда мы делаем спектральную фотографию, мы получаем информацию о длине волны от каждого записанного пикселя:

• Вплоть до нескольких сотен цветовых каналов;

Изображение: Сравнение количества гиперспектральных данных со страницами книги

• В спектральном диапазоне от 400 — 700 нм

Используя гиперспектральную визуализацию, мы можем создавать более полные изображения реальности, чем через стандартную фотографию.

Что мы можем сделать с изображением, несущем так много информации о спектральных характеристиках?

Разные материалы отражают свет по-разному, значит с помощью спектральных изображений мы можем распознавать тип материала. Но не только материалы, но и их количество и состояние.

Например, если мы смотрим на стандартную фотографию яблока, то мы знаем, что это яблоко, но мы не можем точно сказать насколько оно спелое. А при использовании спектрального изображения можем, потому что цвет спелого яблока немного отличается от несозревшего.

Имея дело с очень незначительными отличиями длин волн отраженного света, мы не можем полагаться на невооруженный взгляд. В примере с яблоком, нам необходима информация о конкретных длинах волн, которые отражаются от яблока в процессе разных этапов его созревания. Наборы таких спектральных данных называются библиотеками спектров.

С технической точки зрения не только отраженные длины волн указывают на существование или отсутствие конкретного материала в сфотографированном объекте. Часто приходится использовать различные расчетные модели, чтобы еще глубже вникнуть в свойства объекта. Эти расчетные модели, со своей стороны, называются моделями спектральной обработки.

Чтобы облегчить жизнь пользователям, компания Specim предоставляет возможность объединять библиотеки спектров и модели для создания нестандартных приложений для работы со спектральными изображениями. Например, можно создать приложение, которое будет определять степень спелости яблока, или приложение для создания карт пшеничных полей, которые позволят выявлять области, которые требуют большего количества удобрений. Области использования спектральной визуализации практически не ограничены.

Куб данных

Изображение, полученное с помощью гиперспектральной камеры, имеет 3D структуру. В ней изображения с разными длинами волн накладываются друг на друга (см. изображения выше).

Когда объект снимают с помощью гиперспектральной камеры, система регистрирует три разных куба данных:

· Куб необработанных данных;

· Темновой кадр

· Эталон белого

Эта данные необходимы для коррекции эффектов, которые возникают из-за свойств оптики и сенсора камеры, так как они могут повлиять на зарегистрированные данные. Еще одной важной причиной записи всех этих данных является необходимость учитывать и корректировать влияние различного освещения на измерения. Таким образом, это позволяет сравнить данные, полученные в различных условиях.

Куб необработанных данных

Куб необработанных данных содержит данные об интенсивности света, отраженного от объекта, и всех длинах волн, которые регистрирует камера. Это реальные данные, но их нельзя сравнивать с другими данными пока сигнал не скорректирован с помощью других данных.

Темновой кадр

В каждой цифровой камере, включая гиперспектральную камеру, сенсор имеет смещение темнового уровня из-за электроники камеры. Данное смещение может меняться в зависимоти от температуры окружающей среды и времени экспозиции. При проведении спектральных измерений нас интересует только свет, отраженный от объекта, и эффекты, налагаемые сенсором необходимо устранить. Для этого темновой сигнал сенсора сохраняют в качестве темнового кадра. В тоже время, используя темновой кадр, можно убрать часть шума и скорректировать неоднородность изображения.

Эталон белого

При проведении гиперспектральных измерений крайне важно знать, какого рода сигнал и спектр имеет используемое освещение - искусственное или естественное. Без этой информации невозможно узнать, какой спектр отражается от объекта. Материал может быть надежно исследован только при использовании спектра, который содержит сигнал исключительно от объекта.

Один из наиболее часто используемых методов такой коррекции – это измерение эталона белого. На практике это означает измерение изображения, которое частично или полностью закрыто белой эталонной пластинкой. Такая пластинка изготовлена из материала с коэффициентом отражения близком к 100% без других спектральных черт. Когда эталон белого измеряется при том же освещении и геометрии, на том же расстоянии, что и исследуемый объект, полученный сигнал от такого эталона будет содержать только сигнал источника освещения. Он также включает в себя информацию о спектральном отклике используемой гиперспектральной камеры, то есть о том, как камера повлияет на измеряемый спектр.

Сигнал от эталона белого сохраняется в качестве куба данных. Эта информация будет использована для преобразования отражения.

Получение сигнала отражения

Когда полный набор необходимых данных получен (3 куба данных), необработанные данные необходимо преобразовать для получения сигнала отражения от объекта. Проводимое преобразование в определённых случаях называется нормализацией и проводится с использованием следующего уравнения:

Полученный куб данных с информацией об отраженном сигнале можно сравнивать с другими измерениями, проведенными в отличных от данного измерения условиях и при другом освещении. В уравнении, t1 и t2 (времена экспозиции) относятся к ситуации, когда при съемке эталона белого (с высоким коэффициентом отражения) используется время экспозиции отличное от того, что использовалось при измерениях объекта (с низким коэффициентом отражения). В данном случае, для каждого измерения необходимо зарегистрировать свой темновой кадр.

Освещение

При регистрации спектральных изображений, хорошее освещение играет большую роль, чем при получении стандартных цифровых изображений. При настройке освещения следует обратить внимание на три основных параметра:

• Интенсивность
• Спектральный отклик
• Однородность

Интенсивность

Гиперспектральные камеры требуют значительно больше света, т. е. большую интенсивность, чем стандартные камеры. Основная причина может быть объяснена с помощью примера с книгами (см. выше)

Давайте предположим, что общее количество отраженного от объекта света – 100 единиц. При использовании стандартной камеры зеленый, синий и красный канал покроют примерно 1/3 всего спектра каждый. Это приводит к тому, что 33 единицы пойдет в каждый канал. Однако, в гиперспектральной камере тот же поток света будет разбит на 200 каналов, т. е. спектральных полос. Тогда поток света от образца в каждый канал будет составлять только 0.5 единиц. Другими словами, гиперспектральная камера требует в 33/0.5 = 66 раз больше света, чем обычная.

Необходимость в большем количестве света может быть частично скомпенсирована путем увеличения времени экспозиции, но в тоже время это увеличит продолжительность измерений. В большинстве случаев, освещение, используемое для гиперспектральной съемки должно быть ярче, чем для стандартных фотографий.

Спектральный отклик

Источник света для гиперспектральной визуализации всегда должен иметь непрерывный спектр, который покрывает весь рабочий диапазон длин волн гиперспектральной камеры. Если источник света не покрывает какую-то часть диапазона, данные в этой спектральной области не достоверны.

Лучшим выбором источника для работы со Specim IQ является галогеновый источник (см. спектр ниже), который покрывает диапазон от 400 до 1000 нм. При съемке в полевых условиях можно использовать прямой солнечный свет (см. спектр ниже).

Чаще всего в помещениях используются светодиодные источники освещения (см. спектр ниже) и люминесцентные лампы (см. спектр ниже). Однако их спектральный отклик не подходят для измерений во всем спектральном диапазоне Specim IQ.

Спектр светодиода не покрывает весь рабочий диапазон длин волн Specim IQ, а спектр люминесцентных ламп состоит в основном из сильных пиков. В определенных случаях можно использовать данные источники света, но необходимо быть точно уверенным в методах обработки таких результатов.

Спектр галогеновой лампы

Спектр солнечного света

Спектр светодиодной лампы

Спектр люминесцентной лампы

Однородность

Еще один важный параметр – однородность освещения области. Это означает, что свет, падающий на каждую точку изображаемой области, должен иметь одинаковый спектральный отклик и интенсивность. В освещенной области не должно быть ни теней, ни зеркальных отражений. На практике этого добиться крайне сложно, но всегда лучше использовать несколько, предпочтительно два или четыре источника света вместо одного.

Для начала работы с гиперспектральной камерой Specim IQ достаточно 2 галогеновых источников по 125 Вт без фокусирующей оптики. Также возможно использование сфокусированных галогеновых источников. В этом случае, достаточно, например, 4 источников по 35 Вт с область освещения 30 градусов. Более высокая мощность источников позволит использовать более короткое время экспозиции, но увеличит тепловую нагрузку на область измерений.

Освещение при работе с камерой Specim IQ

На рисунках ниже представлена рекомендуемая схема расположения источников освещения при работе с гиперспектральной камерой Specim IQ. При использовании 2 или 4 источников света, их следует располагать симметрично относительно Specim IQ. Во избежание перегрева устройства расстояние от источника до камеры должно составлять минимум 15 см. Минимально расстояние от объекта до Specim IQ – 15 см.

Рисунок: Идеальное расположение источников освещения для работы со Specim IQ, где α = ~45° и x = 15 см (мин.)

Рисунок: Расположение 2 источников света относительно Specim IQ

Рисунок: Расположение 4 источников света относительно Specim IQ