Сортировка плодов авокадо по гиперспектральным изображениям

Методом главных компонент осуществлена декомпозиция матрицы данных HSI плодов авокадо и выявлены полосы отражения в видимой и ближней инфракрасной областях спектра, взаимосвязанные с процессом созревания и содержанием влажности плодов авокадо. Установлено, что при использовании факторных нагрузок в качестве псевдоцвета возможна визуализация при поточной сортировке плодов авокадо по влажности. Построение калибровочных моделей определения влажности и сухого вещества плодов авокадо проведено на основе данных измерений влажности и гиперспектральных изображений. Формирование матрицы спектральных данных осуществляли двумя способами: посредством отбора спектральных сигнатур HSI случайным образом со всей поверхности плодов или поверхность изображения HSI плодов (исходные HSI) как области интереса (ROI). На основе данных измерений влажности и отбора спектральных сигнатур гиперспектральных изображений проведено построение калибровочных моделей определения влажности и сухого вещества плодов авокадо. При последовательном моделировании методом PLS (проекция на латентные структуры) разработаны точные калибровочные модели для определения влажности (R_P² = 0.89) и сухого вещества (R_P² = 0.92) в составе плодов авокадо. При построении калибровочных моделей по исходным HSI получены модели для прогнозирования влажности (R_С² = 0.99) и сухого вещества (R_С² = 0.99) в составе плодов авокадо. Предлагается использование калибровочных моделей по исходным HSI для определения влажности и сухого вещества в интервалах допустимых значений в соответствии с действующим стандартом UNECE STANDARD FFV‑42:2019.

Ключевые слова: авокадо, качество, гиперспектральное изображение, многомерный анализ, влажность, сухой остаток, PLS.

Сведения об авторах: Метленкин Д. А., Платова Р. А., Платов Ю. Т., Федосеенко О. В., Садкова О. В.

1. Введение

Авокадо — один из тропических плодов, обладающих пищевой и диетической ценностью. Поскольку авокадо является климактерическим плодом, поэтому после срезания плоды являются вполне развившимися и сформировавшимися, но не обладают потребительской зрелостью: вкусом, ароматом и цветом. Определение зрелости плодов авокадо — это ключевой фактор в обеспечении с одной стороны, минимальных требований качества, с другой стороны, низких потерь в цепочке поставок.

Определение зрелости плодов авокадо проводят как сенсорным анализом (оценка внешнего вида поверхности), так и инструментальными методами разрушающего контроля: измерение содержания влаги, сухого вещества, липидов, сахаров, а также определение твердости плода. Однако, указанные методы обладают рядом недостатков: сенсорный анализ субъективен, а инструментальные методы имеют разрушительный характер и трудоемки, что порождает необходимость поиска неразрушающего метода для точного и быстрого определения зрелости.

В работах приведен анализ применения неразрушающих методов определения зрелости плодов авокадо, основанные на различиях в плотности, звуке и оптических характеристиках. В последние годы предпринимаются попытки применения неразрушающей технологии для контроля качества плодов, в частности методов визуализации, таких как: спектральные методы (рамановская визуализация, гиперспектральная визуализация, флуоресцентная визуализация и визуализация обратного рассеяния лазерного света), ядерно-магнитные методы (магнитно-резонансная томография и мягкая рентгенография) и другие методы, включая тепловизионную, инфракрасную термографию и микроволновое изображение. К сожалению, фрукты, обладающие толстой кожицей, такие как плоды авокадо, создают проблемы для применения неразрушающих технологий мониторинга качества.

В качестве неразрушающего метода определения зрелости авокадо используют метод гиперспектрального изображения (HSI). HSI‑технология позволяет анализировать одновременно спектральные и пространственные характеристики, тем самым осуществляя сегментацию поверхности на области интереса и выделение спектральных сигнатур различного физиологического состояния плодов. Некоторые объекты имеют уникальные характеристики в электромагнитном спектре, известные как спектральные сигнатуры, которые позволяют идентифицировать материал.

При анализе HSI используют многомерные методы классификации и построения калибровочных моделей. В работе показана возможность классификации плодов авокадо по степени зрелости использованием HSI в диапазоне 300–900 нм. Разработка калибровочных моделей для определения физико-химических свойств плодов авокадо продемонстрирована в работе.

Разработка технологии HSI позволяет проводить неразрушающую и бесконтактную цифровую сортировку плодов авокадо. Использование такого подхода дает возможность определять зрелость и проводить сортировку плодов в режиме реального времени и на месте.

Целью данного исследования является разработка методического подхода сортировки плодов авокадо сочетанием методов гиперспектрального изображения и многомерного анализа.

2. Объекты и методы

Для исследования сформирован калибровочный набор плодов авокадо, который использовался для построения моделей. В калибровочный набор отобраны 9 плодов авокадо из одной партии сорта Хасс пурпурного и темно-зеленого цвета (страна происхождения: Танзания; урожай 2021 года), которые отличались по влажности как указано в Таблице 1.

Измерение влажности (MS,%) проводилось c использованием влагомера Mettler Toledo HB43-S (Mettler-Toledo International Inc., USA), диапазон измерения которого составляет от 0.01 до 100%, с погрешностью ± 0.04%. Для каждого образца авокадо из калибровочного набора отбиралась проба массой 10 г и высушивались при 100 °C в до постоянной массы (45 мин). Разница между изначальной массой W₀ и массой после высушивания W₁ использовалась для расчета сухого вещества (DM,%) плодов авокадо из калибровочного набора, как представлено в уравнении (1).

Регистрация гиперспектральных изображений проведена с помощью гиперспектральной камеры Specim IQ (Spectral Imaging Ltd, Finland) в спектральном диапазоне 400–1000 нм (спектральное разрешение 7 нм и включает 204 полосы). Камера для проведения исследований предоставлена компанией АЗИМУТ ФОТОНИКС (Москва). В процессе съемки характеристики освещения фиксируются с помощью белой эталонной панели (white reference), которая расположена в левом верхнем углу области съемки. Для равномерного освещения образцов при регистрации изображений область съемки, содержащую образцы авокадо на листе картона, подсвечивали галогеновой лампой QL 500BW Falcon Eyes под углом освещения 30°. Гиперспектральная камера была установлена на штатив и размещена в верхней части освещаемой лампой области на расстоянии 30 см от образцов авокадо. При регистрации HSI с использованием Specim IQ происходит направление гиперспектральной камеры с помощью камеры-видоискателя (RGB‑камера). Полученные гиперспектральные изображения были импортированы на компьютер для последующей обработки.

HSI — это трехмерный массив данных, который включает спектр в каждой точке-пикселе поверхности плодов. Процедура сегментации поверхности разбивает изображение на группы пикселей, обладающих схожими спектральными характеристиками. Большое число каналов — полос спектра и число пикселей (дискретизация) описывающих поверхность, приводят к значительной информативной избыточности. При обработке HSI используют алгоритмы сокращения размерности, одним из наиболее распространенным является метод главных компонент.

Для плодов из калибровочного набора были получены гиперспектральные изображения (n = 4) с каждой стороны (поворотом на 180°), что способствовало увеличению пространственных и спектральных данных при разработке калибровочных моделей. Регистрация гиперспектральных изображений образцов плодов авокадо из тестового набора проведена на 7, 9 и 12 дни хранения.

При построении калибровочных моделей определения MS,% и DM,% проводили отбор спектральных сигнатур (спектров в отдельных пикселях изображения) из гиперспектральных изображений плодов авокадо из калибровочного набора. Для разработки калибровочных моделей определения MS,% и DM,% используют матрицы данных X и Y. По результатам отбора построена матрица данных X размерностью I × J (I – количество спектральных сигнатур HSI, J — число коэффициентов отражения на длинах волн) и матрица Y размерностью I × K (K – число столбцов, равное числу значений показателей, характеризующих зрелость плодов (MS,% и DM,%).

Классификация образцов плодов авокадо из калибровочного набора посредством сегментации поверхности по HSI проведена методом главных компонент (МГК) в программном комплексе Альбедо 4.0.23 (МФТИ, Россия).

Разработка калибровочных моделей осуществлялась в двух программных комплексах Unscrambler X 10.0.4 (Camo Software, Норвегия) и perClass Mira 3.1 (perClass BV, Netherlands). Качество и точность калибровочных моделей оценивалась по стандартным в программном комплексе Unscrambler показателям: коэффициенту детерминации (R_C²), среднеквадратичной ошибке (RMSEC) и по результатам полной перекрестной кросс-валидации моделей (R_P², RMSEP, соответственно). Последовательное моделирование проводилось с удалением выбросов согласно статистике Hotteling’s T2 и F‑residuals.

3. Результаты и обсуждение

3.1. Влажность плодов авокадо

Зрелость авокадо тесно связана с содержанием влаги и сухого вещества плодов. Содержание сухого вещества плодов авокадо после срезания постепенно увеличивается. Согласно содержание сухого вещества плодов авокадо сорта Хасс в стадии потребительской зрелости должно быть не менее 21.0%. Перезревание, порча или хранение авокадо в ненадлежащих условиях, приводят к увеличению влажности и уменьшению содержания сухого вещества, что обусловлено окислением липидов мякоти и образованию свободной воды в составе плодов.

Из данных Таблицы 1 следует, что диапазон значений влажности для образцов авокадо из калибровочного набора составляет 74.4–83.0%, а сухого вещества путем расчета по значениям влажности — 17.0–25.6%, соответственно. Среди отобранных образцов, образцы под номером 5,6,8 с содержанием сухого вещества 17.0–19.2% не соответствуют требованиям стандарта UNECE STANDARD FFV‑42:2019 (не менее 21.0%), а образцы плодов авокадо под номерами 2–4 имеют значение содержания сухого вещества выше минимальных требований стандарта (23.9–25.6% против 21.0%).

Таблица 1 – Содержание влажности и сухого вещества в образцах плодов авокадо из калибровочного набора

Показатели содержания влажности и сухого вещества использовались в качестве откликов y матрицы Y для разработки калибровочных моделей.

3.2. Градация плодов авокадо по спектральным сигнатурам HSI

Содержание MS,% и DM,% сильно коррелирует с физиологическим состоянием плодов, включая, например, твердость плода. Согласно физиологическое состояние плодов неоднородно как внутри единичной партии, так и по различным сортам авокадо. Согласно международному стандарту незначительный объем выборки для проверки качества плодов авокадо не позволяет оценить множество отдельных плодов из партии. Цифровая сортировка по HIS позволит осуществлять градацию множества плодов авокадо по зрелости целой партии быстро и на месте.

На Рисунке 1 представлены усредненные спектральные сигнатуры двух плодов авокадо из калибровочного набора, имеющие минимальное (образец № 4) и максимальное (образец № 5) содержание влаги. Как видно, в диапазоне 400-690 нм в видимой области (VIS) их спектры визуально слабо различимы, но значимо различаются в диапазоне «красный край» (red edge) (690-780 нм) VIS‑области и в ближней инфракрасной области (NIR) (780-1000 нм). В связи с малым различием в VIS‑области эти два образца имеют, соответственно, малое цветовое различие по окраске (ниже порога различения при визуальном осмотре).

Согласно опубликованным работам в VIS‑области присутствуют полосы колебаний C-H при 740 нм и широкая полоса третьего обертона колебаний C-H, CH2, и CH3 при 840 нм, интенсивность которых коррелирует с содержанием сухого вещества. Следовательно, более низкое отражение в NIR‑области при 740 и 840 нм характерное для образца № 4, соответствует меньшему содержанию влаги и большему содержанию сухого вещества.

3.3. Классификация плодов авокадо посредством сегментации поверхности по HSI методом главных компонент

В качестве первого этапа разработки определения зрелости плодов авокадо необходимо изучить возможность сегментации поверхности по данным HSI в диапазоне 400-1000 нм. Такой подход, в свою очередь, позволит установить можно ли по HSI поверхности плодов авокадо: по отдельным сегментам поверхности или по всей площади поверхности производить их сортировку.

Рисунок 1 – Усредненные спектральные сигнатуры плодов авокадо из калибровочного набора: образец № 5 (красная линия) и образец № 4 (синяя линяя)

При анализе HSI с помощью МГК проведена декомпозиция трехмерной матрицы данных (512 × 512 pixel, 204 канала) с использованием алгоритма NIPALS на матрицы T‑счетов и P‑нагрузок. В матрице T‑счетов приводятся пространственные координаты, т. е. пиксели изображения как независимые друг от друга данные. А в качестве P‑нагрузок коэффициенты отражения спектра HSI.

По результатам обработки матрицы данных выделено первые четыре главные компоненты (ГК): первая, вторая, третья и четвертая ГК (PC – principal component), которые объясняют 99.5% от общей дисперсии (70.3%, 27.0%, 1.4%, 0.8% соответственно). Значение факторных нагрузок коэффициентов отражения на длинах волн спектра по четырем ГК представлена на Рисунке 2. Проведена интерпретация с первой по четвертую ГК по знаку (+/–) и по значению факторных нагрузок коэффициентов отражения на длинах волн спектра.

Первая ГК связана со знаком (+) с коэффициентами отражения спектра без явных максимумов. Вторая ГК согласно знаку (+/–) факторных нагрузок коэффициентов отражения на длинах волн спектра разделяет спектр на два диапазона: со знаком (+) — для факторных нагрузок в VIS‑диапазоне от 400 до 710 нм, со знаком (–) — в NIR‑диапазоне от 710 до 1000 нм. Следовательно, 1 и 2 ГК, во‑первых, содержат большую часть информации (97.3% от общей дисперсии), содержащуюся в гиперкубе данных, но при этом, во‑вторых, коэффициенты отражения на длинах волн спектра по этим двум ГК сильно коррелированы и поэтому не вносят вклад, позволяющий проводить классификацию плодов авокадо.

При анализе факторных нагрузок коэффициентов отражения на длинах волн спектра по 3 ГК выявлены следующие максимумы: 434, 487, 545, 604, 690. Ряд максимумов факторных нагрузок коэффициентов отражения на длинах волн спектра, соответствуют полосам поглощения пигментов в составе кожуры плода. По 3 ГК согласно знаку (+) присутствуют факторные нагрузки полос отражения каротиноидов при 434 нм, антоцианов при 545 нм, против факторных нагрузок согласно знаку (–) полос отражения хлорофилла b при 604 нм и хлорофилла a при 690 нм. Как показано в работах при созревании в кожуре авокадо наблюдается изменение соотношения содержания хлорофилла и каротиноидов при увеличении антоцианов. При этом в первые дни созревания уменьшение содержания каротиноидов наблюдается незначительно. Следовательно, максимумы факторных нагрузок при 434, 545 нм со знаком (+) связаны с изменением содержания антоцианов и незначительно с содержанием каротиноидов, а максимумы при 604 и 690 нм со знаком (–) — с содержанием хлорофилла при созревании плодов авокадо. Поэтому, 3 ГК информирует о соотношении содержания пигментов в составе кожуры при созревании плодов авокадо.

По 4 ГК со знаком (+) выявлены имеют факторные нагрузки, соответствующие полосе отражения 1-го обертона OH при 963 нм, а со знаком (–) — спектральной области «красный край» с максимумом при 750 нм.

Таким образом, 3 и 4 ГК, объясняющие 1.4% и 0.8% от общей дисперсии, соответственно, характеризуют процесс созревания плодов авокадо.

Рисунок 2 – Факторные нагрузки коэффициентов отражения на длинах волн спектра HSI в диапазоне 400–1000 нм по четырем ГК (PC1-PC4)

После вычисления ГК пользовательский интерфейс Альбедо 4.0.23. позволяет просматривать изображение при использовании ГК в качестве псевдоцветов в различных режимах отображения (оттенки серого, RGB (красный, зеленый, синий). Для визуализации различий плодов авокадо из калибровочного набора по влажности 4 ГК была использована в качестве псевдоцвета для перестроения гиперспектрального изображения (Рисунок 3b) и его сравнения с исходным изображением (Рисунок 3a).

На Рисунке 3а представлено изображение плодов авокадо снятых с помощью RGB‑камеры по сравнению с изображением, построенного по значениям факторных нагрузок по 4 ГК (Рисунок 3b), значение которых представлено в оттенках серого (grayscale). При визуальном анализе изображения плодов авокадо снятых с помощью RGB‑камеры не видно явных различий между образцами.

Из Рисунка 3b видно, что образцы № 2,3,4 из калибровочного набора окрашены в светло-серые цвета, в отличие от других образцов, цвет площади поверхности которых ближе к темно серому цвету. Согласно данным таблицы 1, образцы № 2,3,4 более низкое значение влажности (от 74.4% до 76.1%) по сравнению с другими образцами (от 78.3% до 83.0%). Следовательно, поточная сортировка плодов авокадо по влажности возможна при использовании факторных нагрузок по 4 ГК в качестве псевдоцвета для визуализации. Также выявлено, что визуализация позволяет выявить латентные (скрытые) области поверхности, в которых происходит изменение качества плодов.

Рисунок 3 – Гиперспектральное изображение плодов авокадо из калибровочного набора: исходное (а), в оттенках серого образцов с использованием 4 ГК как псевдоцвета (b). Образцы авокадо расположены по порядковым номерам слева-направо и сверху-вниз

3.4. Разработка калибровочных моделей определения MS,% и DM,% по HSI

По результатам анализа HSI выбрано два направления разработки калибровочных моделей:

• Посредством отбора спектральных сигнатур HSI случайным образом с поверхности плодов;
• Использование всей площади поверхности HSI (исходные HSI) плодов авокадо в качестве.

Разработка калибровочных по спектральным сигнатурам проведена методом PLS в программном комплексе Unscrambler X 10.0.4, по исходным HSI — в perClass Mira 3.1 (perClass BV, Netherlands).

При разработке калибровочных моделей определения MS,% и DM,% плодов авокадо по спектральным сигнатурам проводили моделирование с изменением следующих параметров (Таблица 2):

• Использование спектральных сигнатур с гиперспектрального изображения с одной или с двух сторон;
• Уменьшение количества спектральных сигнатур при последовательном удалении выбросов согласно статистике Hotteling’s T2 и F‑residuals;
• Определение количества латентных переменных (факторов) по кумулятивной доле объяснимой дисперсии.

Отбор наиболее репрезентативных моделей проводился по статистическим показателям RMSE (точность модели) и R2 (качество модели). При этом необходимы наибольшие значения R2 при наименьшем значении RMSE. Показатель RMSE отображает отклонение определяемого при калибровке показателя, поэтому для достижения высокой репрезентативности модели проводилось последовательное моделирование для уменьшения показателей RMSE и увеличения показателей R2.

Таблица 2 – Проверка точности и качества калибровочных моделей с использованием спектральных сигнатур для определения сухого вещества и влажности плодов авокадо Хасс

По итогам моделирования наиболее репрезентативными являлись модели (Таблица 2), в которых используются спектральные сигнатуры гиперспектральных изображений с двух сторон плодов авокадо. Низкие значения показателей R_C² и R_P² для таких моделей, в отличие от моделей со спектральными сигнатурами гиперспектрального изображения с одной стороны, компенсируются меньшими значениями RMSEC и RMSEP, что повышает качество моделей. Последовательное обнаружение и удаление выбросов, то есть спектральных сигнатур, превышающих критический предел согласно статистике Hotteling’s T2 и F‑residuals, повышало качество и точность моделей. К выбросам были отнесены спектральные сигнатуры, отобранные с поверхности плодов авокадо в местах возникновения бликов от галогеновой лампы. Показано, что использование данных спектральных сигнатур гиперспектральных изображений с двух сторон позволяет увеличить качество моделей при незначительном снижении точности. Однако, отбор спектральных сигнатур вручную не позволяет в достаточной мере избавиться от фоновых шумов и выбросов в спектральных данных, содержащихся в областях с бликами от галогеновой лампы, что приводит к снижению точности и необходимости последовательного удаления выбросов из калибровки.

Разработку калибровочных моделей по исходным HIS плодов авокадо проводили с реализацией алгоритма: выделение плодов авокадо по контуру, удаление заднего фона и бликов от галогеновой лампы. После этого осуществлена сегментация объектов, то есть выделение каждого плода авокадо на передний план как отдельную область интереса (ROI).

Точность калибровочных моделей для определения DM,% и MS,% до удаления областей с бликами от галогеновой лампы составляла R_C² = 0.93 и R_P² = 0.86, соответственно. После сегментации HSI были разработаны калибровочные модели с высокой точностью R_C² = 0,99 для определения содержания MS,% и DM,%. Высокая точность достигается за счет увеличения количества репрезентативных спектральных данных.

В отличие от калибровочных моделей по спектральным сигнатурам, выбранным случайным образом с поверхности плодов, против моделей с использованием всей площади поверхности HSI достигается более высокая точность за счет увеличения спектральных данных — числа пикселей с площади изображения каждого плода авокадо из калибровочного набора.

Калибровочные модели по исходным гиперспектральным изображениям могут быть использованы для определения влажности и сухого вещества в интервалах допустимых значений в соответствии с действующим стандартом UNECE STANDARD FFV‑42:2019.

4. Выводы

Показан потенциал использования гиперспектрального изображения в видимом-ближнем инфракрасном диапазоне и многомерного анализа для неразрушающей идентификации плодов авокадо.

Проведено сравнение спектральных сигнатур плодов авокадо из калибровочного набора с наименьшей и наибольшей влажностью и выявлены диапазоны спектра, коррелирующие с физиологическим состоянием плодов.

Методом главных компонент осуществлена декомпозиция матрицы данных HSI плодов авокадо из калибровочного набора и выявлены полосы отражения в VIS- и NIR‑области, коррелирующие с процессами созревания и содержания влажности плодов авокадо. Установлено, что при использовании факторных нагрузок по 4 ГК в качестве псевдоцвета возможна визуализация при поточной сортировке плодов авокадо по влажности.

На основе данных измерений влажности и отбора спектральных сигнатур гиперспектральных изображений проведено построение калибровочных моделей определения влажности и сухого вещества плодов авокадо. При последовательном моделировании методом PLS разработаны точные калибровочные модели для определения влажности (R_P² = 0.89) и сухого вещества (R_P² = 0.92) в составе плодов авокадо. При построении калибровочных моделей по исходным HSI получены модели для прогнозирования влажности (R_C² = 0.99) и сухого вещества (R_C² = 0.99) в составе плодов авокадо.

Предлагается использование калибровочных моделей по исходным HSI для определения влажности и сухого вещества в интервалах допустимых значений в соответствии с действующим стандартом UNECE STANDARD FFV‑42:2019.