Мультиспектральная визуализация оксигенации тканей в реальном времени
Мультиспектральная визуализация позволяет получать значительно больше информации об исследуемом объекте, чем обычная цветная съёмка. Помимо пространственного изображения система регистрирует интенсивность отражённого излучения в нескольких спектральных диапазонах. Анализ этих данных может использоваться для определения оптических и физиологических характеристик биологических тканей, в том числе насыщения крови кислородом.
Исследователи Линчёпингского университета продемонстрировали метод визуализации насыщения крови кислородом (SO₂) в микроциркуляторном русле кожи практически в реальном времени. В основе метода — мультиспектральная snapshot-камера XIMEA MQ022HG-IM-SM4X4-VIS и искусственная нейронная сеть, обученная на синтетических данных, полученных посредством моделирования распространения света в ткани методом Монте-Карло.
Snapshot-съёмка динамических процессов
Во многих гиперспектральных и мультиспектральных системах спектральный куб формируется посредством последовательного сканирования – по пространственной координате или по длинам волн. Такой подход хорошо подходит для статичных объектов, однако создаёт ограничения при исследовании быстро изменяющихся процессов.
Если состояние или положение объекта меняется непосредственно во время сканирования, в спектральных данных могут возникать пространственные и спектральные артефакты.
Snapshot-технология позволяет регистрировать несколько спектральных каналов одновременно в одном кадре без последовательного сканирования. Это особенно важно при исследовании биологических тканей, поскольку микроциркуляция, кровоток и насыщение гемоглобина кислородом непрерывно изменяются.
В экспериментальной установке использовалась мультиспектральная snapshot-камера XIMEA MQ022HG-IM-SM4X4-VIS с 16 спектральными каналами в диапазоне 470–650 нм. Камера оснащена CMOS-сенсором с исходным разрешением 2048 × 1088 пикселей. Интерференционные фильтры Фабри–Перо расположены непосредственно над пикселями сенсора в виде повторяющейся мозаики 4 × 4. После обработки исходного изображения формировался мультиспектральный куб размерностью 16 × 512 × 272 пикселей.
Камера подключалась к компьютеру через USB3 и теоретически обеспечивала частоту до 170 кадров/с. В эксперименте фактическая частота регистрации составляла около 4,2 кадр/с из-за выбранного времени экспозиции и усреднения нескольких последовательных изображений.
Точная спектральная калибровка камеры
Одним из важных этапов исследования стала калибровка спектрального отклика камеры. Характеристики отдельных каналов зависят не только от самого сенсора, но и от используемой оптики, апертуры объектива и дополнительных фильтров.
Поэтому исследователи выполнили собственную калибровку камеры непосредственно с установленными оптическими компонентами. Для этого использовались перестраиваемый жидкокристаллический фильтр, белый источник излучения, эталон диффузного отражения Spectralon и калиброванный спектрометр.
Полученные экспериментально спектральные отклики отличались от характеристик, предоставленных производителем. Результаты показали, что для точных количественных измерений необходимо учитывать параметры всей оптической системы, включая объектив, апертуру и дополнительные фильтры, а не только номинальный спектральный отклик сенсора.
Рисунок 1 – Схема калибровки мультиспектральной камеры. Экспериментальная установка для определения спектрального отклика 16 каналов камеры XIMEA с использованием перестраиваемого источника излучения и калиброванного спектрометра.
От спектрального изображения к оценке SO₂
Получение мультиспектрального изображения – только первый этап. Для практического применения необходимо определить, какие характеристики ткани соответствуют зарегистрированному спектру.
Спектральный отклик кожи зависит сразу от множества параметров: содержания меланина, количества крови в ткани, насыщения гемоглобина кислородом, диаметра сосудов, толщины эпидермиса и характеристик светорассеяния. Кроме того, на результат измерения влияют спектральный отклик сенсора, характеристики источника освещения и шум детектора.
Поэтому определение SO₂ представляет собой сложную обратную задачу, которую нельзя свести к анализу интенсивности одного или двух спектральных каналов.
В качестве эталонного вычислительного подхода исследователи использовали обратный метод Монте-Карло. Была создана двухслойная модель кожи, состоящая из эпидермиса и дермы. Для эпидермиса учитывались толщина и содержание меланина, а для дермы – содержание крови, насыщение крови кислородом и диаметр сосудов. Дополнительно моделировались характеристики рассеяния света.
Метод Монте-Карло позволяет с высокой точностью описывать распространение света в биологических тканях, однако решение обратной задачи требует значительных вычислительных ресурсов, что ограничивает скорость обработки мультиспектральных изображений.
Нейронная сеть вместо длительного итерационного анализа
Для ускорения обработки авторы предложили использовать искусственную нейронную сеть (ANN).
Вместо выполнения трудоёмкого обратного расчёта для каждого измеренного спектра нейронная сеть предварительно обучалась устанавливать соответствие между мультиспектральными данными и уровнем насыщения крови кислородом.
Для каждого сеанса обучения использовался набор из 50 000 синтетических MSI-спектров, сформированных на основе модели распространения света. При генерации данных изменялись физиологически значимые характеристики ткани: содержание меланина и крови, SO₂, диаметр сосудов, толщина эпидермиса и параметры светорассеяния.
Модель учитывала не только характеристики ткани, но и особенности конкретной измерительной системы XIMEA: спектральный отклик камеры, спектр источника освещения, его временные и угловые изменения, а также шум детектора. Такой подход позволил приблизить синтетические данные к реальным измерениям.
Рисунок 2 – Моделирование MSI-данных и нейросетевая обработка. Принцип определения насыщения крови кислородом (SO₂) по мультиспектральным данным. Модель учитывает спектральный отклик камеры, характеристики освещения, оптические свойства ткани и результаты моделирования методом Монте-Карло. Синтетические данные используются для обучения нейронной сети, которая затем выполняет быструю оценку SO₂.
Проверка метода in vivo
Для проверки разработанного подхода был проведён эксперимент с временной окклюзией среднего пальца. Мультиспектральные изображения регистрировались до перекрытия кровотока, во время окклюзии и после её снятия.
После восстановления кровотока наблюдалась фаза реперфузии – быстрое увеличение уровня оксигенации ткани.
Полученные мультиспектральные данные анализировали двумя независимыми методами:
- Обратным моделированием Монте-Карло;
- Предварительно обученной искусственной нейронной сетью.
Результаты практически совпали. Среднее абсолютное расхождение оценки SO₂ составило 1,3 процента, а коэффициент корреляции между методами достиг 0,999.
Рисунок 3 – Сравнение ANN и обратного метода Монте-Карло. Сравнение динамики SO₂, рассчитанной искусственной нейронной сетью и обратным методом Монте-Карло. Полученные временные зависимости практически совпадают: среднее абсолютное расхождение составляет 1,3 процентного пункта.
Обработка мультиспектрального куба за 0,11 секунды
Одним из главных результатов работы стало значительное увеличение скорости анализа.
Полная обработка одного MSI-куба, включающая коррекцию тёмного сигнала, демозаикизацию, нормировку по белому эталону, нормировку интенсивности и нейросетевой анализ, занимала около 0,11 секунды при реализации на GPU NVIDIA GeForce GTX 1070.
Это как минимум в 10 000 раз быстрее, чем обработка с применением обратного метода Монте-Карло. Такая производительность позволяет строить динамические пространственные карты SO₂ практически в реальном времени.
Во время экспериментальной окклюзии уровень насыщения кислородом снижался практически до нуля. После восстановления кровотока наблюдалось быстрое увеличение SO₂, которое в пике реперфузии достигало примерно 85 %.
Рисунок 4 – Пространственные карты насыщения крови кислородом. Карты насыщения крови кислородом SO₂, полученные методом мультиспектральной визуализации и нейросетевой обработки: слева – состояние ткани во время окклюзии, справа – после восстановления кровотока (реперфузии). Цветовая шкала отображает уровень SO₂ от 0 до 100 %.
Перспективные области применения
Сочетание snapshot-мультиспектральной съёмки и алгоритмов машинного обучения представляет интерес для задач, в которых необходимо одновременно наблюдать пространственное распределение параметров ткани и их изменение во времени.
Спектральная визуализация может применяться для исследования микроциркуляции и тканевой оксигенации, оценки ишемических состояний и периферических сосудистых нарушений, исследования диабетической стопы, ран и язв, а также контроля жизнеспособности тканей при реконструктивных операциях.
От регистрации спектра к количественной визуализации
Результаты исследования демонстрируют возможности мультиспектральных snapshot-камер не только для регистрации изображений в нескольких спектральных диапазонах, но и для количественного картирования физиологических параметров биологических тканей.
Snapshot-регистрация обеспечивает получение спектральных данных динамических объектов без последовательного сканирования. Физическое моделирование позволяет связать измеренный спектр с характеристиками ткани, а нейронная сеть выполняет сложную обратную задачу с высокой скоростью.
В результате система способна практически сразу преобразовать зарегистрированный мультиспектральный куб в пространственную карту интересующего параметра – в данном случае насыщения крови кислородом.
При точном моделировании как биологической ткани, так и характеристик конкретной измерительной системы искусственная нейронная сеть способна обеспечить результаты, сопоставимые с обратным методом Монте-Карло, при скорости обработки, достаточной для визуализации SO₂ в реальном времени.
Источник изображений и материалов: M. Larsson et al., Artificial neural networks trained on simulated multispectral data for real-time imaging of skin microcirculatory blood oxygen saturation, Journal of Biomedical Optics, Vol. 29(S3), S33304, 2024. DOI: 10.1117/1.JBO.29.S3.S33304. © The Authors, CC BY 4.0.
