Применение вегетационных индексов гиперспектральных изображений для сортировки плодов авокадо
Исследования проводили с целью оценки информативности вегетационных индексов, рассчитанных по гиперспектральным изображениям плодов авокадо, для их сортировки по физиологическому состоянию в период хранения. Работу выполняли в июле 2021 г. Использовали четыре вегетационных индекса: индекс нормализованного различия произрастания (NDVI), в том числе его модификацию (NDVI679/757), индекс потребительской зрелости (CFI) и индекс растительной воды (PWI). Гиперспектральные изображения регистрировали с использованием портативной камеры и проводили отбор спектральных сигнатур плодов авокадо. Методом главных компонент выявлены наиболее информативные спектральные области – 679…757 нм и 900…970 нм, которые использовали для расчета и модификации вегетационных индексов. В ходе проведения расчетов обнаружено, что по мере роста величин индекса PWI уменьшаются индексы NDVI и NDVI757/679. При этом модифицированный индекс NDVI757/679 обладает более высокой обратной взаимосвязью с PWI (R2=0.99), чем NDVI с PWI (R2=0.95). По величинам двух вегетационных индексов (PWI, NDVI679/757) с использованием их как псевдоцветов в оттенках серого проводили процедуру визуализации гиперспектральных изображений. Это позволило выявить изменение физиологического состояния плодов авокадо: потемнение и увеличение влажности экзокарпия, явно не определяемые при органолептической оценке. Предложенный подход дает возможность использовать гиперспектральную информацию для определения потребительской зрелости и сортировки плодов авокадо по их физиологическому состоянию в период хранения в коммерческих организациях.
Ключевые слова: авокадо, гиперспектральное изображение, вегетационный индекс, спектральные характеристики, метод главных компонент.
Сведения об авторах: Д. А. Метленкин, инженер; Р. А. Платова, кандидат технических наук, доцент; Ю. Т. Платов, доктор технических наук, профессор; М. В. Ежова, студент.
Работа выполнена при финансовой поддержке ФГБОУ ВО «РЭУ имени Г. В. Плеханова».
Одной из отраслей, в которой происходит цифровая трансформация, выступает пищевая промышленность. Разработка и освоение цифровых технологий мониторинга качества плодовоовощной продукции служит одним из основных направлений государственной политики в сфере обеспечения продовольственной безопасности России.
Сортировка плодовоовощной продукции по показателям качества – сложная задача, которая решается как органолептическими, так и инструментальными методами. Например, одним из органолептических методов контроля плодов авокадо считается оценка цвета кожуры плодов, которая изменяется от ярко-зеленого до темно-зеленого или коричневого, пурпурного. При созревании изменение окраски из-за деградации хлорофилла сопровождается повышением концентрации каротиноидов и антоцианов. По окраске плодов довольно сложно органолептическим методом различить незрелые, зрелые и перезрелые плоды авокадо. Из инструментальных методов наиболее часто используют методы определения твёрдости и влажности, а также содержания масла в мезокарпии. Инструментальные методы представляются более точными, но в то же время разрушающими и сложными по условиям пробоподготовки.
Мониторинг качества большой партии плодов без их разрушения в режиме реального времени проводят с применением оптической спектроскопии: машинного зрения, мультиспектрального и гиперспектрального изображения (HSI), включая использование цифровых камер, установленных на сортировочных линиях. Для сбора и анализа спектральных и гиперспектральных данных применяют программные комплексы для построения компьютерных моделей.
Гиперспектральное изображение обладает преимуществами оптической спектроскопии и предоставляет спектрально-пространственную информацию об объектах исследования. К важнейшим характеристикам, предъявляемым к цифровым камерам для регистрации HSI, относят число пикселей и каналов спектра. При увеличении числа пикселей повышается детальность изображения поверхности плодов, а от числа каналов зависит точность и фиксируется изменчивость отражательной способности между областями поверхности одного плода или между множеством плодов.
При классификации плодов по HSI изображению реализуют, в основном, два подхода: используют общее число каналов спектра или проводят выбор двух или более спектральных каналов, которые служат основой для расчета вегетационных индексов. С использованием вегетационных индексов и HSI можно определять порчу клубники или цитрусовых.
Расчет спектральных индексов по данным гиперспектральных изображений позволяет сохранить продукцию пригодной для дальнейшего использования и уменьшить время контроля качества. Вегетационные индексы рассчитывает компьютерная программа, которая представляет RGB-изображение или изображение с использованием псевдоцвета.
Цель исследования – разработка методического подхода к цифровой сортировке плодов авокадо по гиперспектральным изображениям с использованием вегетационных индексов.
Условия, материалы и методы. Работу проводили в лабораториях кафедры товароведения и товарной экспертизы ФГБОУ ВО «Российский экономический университет имени Г. В. Плеханова» в 2021 г. Для исследования сформирован набор плодов авокадо сорта Хасс пурпурного и темно-зеленого цвета (страна происхождения – Танзания, урожай – 2021 г., количество образцов – 47 шт.). Образцы плодов авокадо были разделены следующим образом: 7 использовали как свежие, которые были разрушены для определения влажности; 40 хранили в темном месте при комнатной температуре в течение 12 дней. Для этих 40 образцов в период хранения отмечали потемнение кожицы и снижение плотности мезокарпия, эти процессы ускорились на 7-й день хранения.
С 7-го по 12-й день хранения отмечали прогрессивный характер возникновения критических дефектов: значительное потемнение кожицы, возникновение на отдельных плодах грибковых заболеваний, а также значительное снижение плотности мезокарпия и возникновение внешней влажности.
Регистрацию гиперспектральных изображений HSI проводили с использованием гиперспектральной камеры Specim IQ (Spectral Imaging Ltd, Finland) в спектральном диапазоне 400…1000 нм (спектральное разрешение 7 нм – 204 канала) с пространственной дискретизацией 512×512 пикселей. Камера для проведения исследований предоставлена компанией АЗИМУТ ФОТОНИКС (Москва). В процессе съемки характеристики освещения фиксировали с использованием белой эталонной панели (white reference), которая расположена в левом верхнем углу области съемки. Для равномерного освещения образцов при регистрации изображений область съемки, содержащую образцы авокадо на листе картона, подсвечивали галогеновой лампой QL 500BW Falcon Eyes под углом освещения 30°. Гиперспектральная камера была установлена на штатив и размещена в верхней части освещаемой лампой области на расстоянии 30 см от образцов авокадо. При регистрации HSI Specim IQ происходит направление гиперспектральной камеры с использованием камеры-видоискателя (RGB-камера). Регистрацию гиперспектральных изображений образцов плодов авокадо осуществляли следующим образом: для 7 свежих образцов – при их получении, для хранившихся 40 образцов – на 7-й, 9-й и 12-й дни хранения. Гиперспектральные изображения импортировали на компьютер для последующей обработки.
Для построения матрицы данных был проведен отбор спектральных сигнатур гиперспектральных изображений поверхности плодов авокадо. Сигнатурой пикселя называют соответствующий ему вектор значений пикселя по спектральному диапазону. При отборе спектральных сигнатур использовали четыре гиперспектральных изображения плодов авокадо различного срока хранения: свежие – fresh, на 7-й, 9-й, 12-й день хранения – 7d, 9d, 12d соответственно. Отбор областей интереса как совокупности пикселей (region of interest, ROI) проводили по внутреннему контуру поверхности плодов авокадо. По отобранным ROI рассчитывали средние коэффициенты отражения на длинах волн спектра для каждого плода авокадо и осуществляли их импорт в формате .csv для последующего построения матрицы данных.
Матрица данных X имела размерность I×J, где I – количество ROI поверхности плодов авокадо различного срока хранения, J – число средних значений коэффициентов отражения на длинах волн (число каналов). Обработку матрицы данных X методом главных компонент (МГК) осуществляли в программном комплексе Unscrambler X 10.0.4 (Camo Software, Норвегия).
Визуализацию HSI плодов авокадо по вегетационным индексам выполняли в программном комплексе Альбедо 4.0.23 (МФТИ, Россия)
Результаты и обсуждение. Сравнение изменения усредненных спектральных сигнатур HSI плодов авокадо в зависимости от срока хранения (рис. 1.) показало, что в диапазоне 400…620 нм видимой области их спектры слабо различимы. Это подтверждают и результаты органолептической оценки окраски плодов (ниже порога визуального различения). При этом спектры значимо различаются в диапазоне «красного края» (red-edge) 680…780 нм и в ближней инфракрасной области.
Рис. 1. Средние значения спектральных сигнатур четырех категорий плодов авокадо различного срока хранения: свежие плоды, плоды на 7-й, 9-й, 12-й день хранения.
При декомпозиции матрицы данных X методом главных компонент (МГК) для выявления наиболее значимых полос отражения в спектрах плодов авокадо интерпретацию главных компонент (ГК) согласно знаку (±) и значению факторных нагрузок длин волн спектра осуществляли следующим образом: основной вклад (69 % от общей дисперсии) вносит 1 ГК, показывающая изменения в ближней инфракрасной области спектра, которая имеет максимальные значения факторных нагрузок длин волн со знаком (+) при 757 нм и со знаком (-) при 927 нм (рис. 2). Максимум при 927 нм, расположенный в области 1-го обертона колебаний OH (900…970 нм), соответствует изменению содержания влаги в верхних слоях плодов авокадо при хранении.
Рис. 2. Факторные нагрузки коэффициентов отражения спектра в диапазоне 400…1000 нм плодов авокадо различного срока хранения в координатах 1 и 2 ГК: PC-1 – 1 ГК, PC-2 – 2 ГК.
Менее значим вклад 2 ГК (29 %), которая имеет максимальные значения со знаком (±) при 679 и 757 нм, соответствующих диапазону «красного края» спектра (рис. 2). Выявленные по 2 ГК максимумы факторных нагрузок коэффициентов отражения длин волн спектра связаны с изменением и деградацией хлорофилла в экзокарпии при хранении.
Основная область видимого спектра от 400 до 676 нм расположена на пересечении осей 1 и 2 ГК и, соответственно, вносит малый вклад в различение плодов авокадо от срока хранения, что упоминалось ранее.
Максимум факторных нагрузок коэффициентов отражения спектра при 757 нм использовали для модификации вегетационного индекса NDVI.
Индекс CFI (Consumer Freshness Index) или индекса потребительской свежести характеризует степень пригодности плодов для употребления человеком. Чем больше величина индекса, тем выше потребительская свежесть плода и наоборот. Индекс CFI был рассчитан с использованием метода числового интегрирования:
где i=680, n=800, Ri – коэффициент отражения при соответствующей длине волны спектра i.
Один из наиболее широко используемых индексов, вычисляемый на основании многоспектральной информации, – индекс нормализованного различия произрастания или Normalized Difference Vegetation Index (NDVI). NDVI вычисляется, как:
где R800, R680 – спектральное отражение на 800 нм и 680 нм соответственно.
Индекс NDVI был модифицирован с учетом результатов анализа факторных нагрузок длин волн спектра. В отличие от стандартного индекса NDVI, в котором точкой экстремума диапазона red-edge выступает полоса при 800 нм, в предлагаемом индексе NDVI757/679 за эту точку была выбрана полоса при 757 нм, которая обладает максимальной дисперсией и, соответственно, сильнее связана с различиями в спектральных сигнатурах образцов:
где R757, R679 – спектральное отражение на 757 нм и 679 нм соответственно.
Индекс вегетации растительной воды или Plant Water Index (PWI) количественно показывает содержание воды в исследуемых образцах и рассчитывается по формуле:
где R970 и R900 – спектральное отражение на 970 нм и 900 нм соответственно.
Средние значения вег. индексов образцов авокадо по срокам хранения
|
Индекс |
Категория |
|||
|
Свежие |
7 дней |
9 дней |
12 дней |
|
|
CFI |
35.57 |
26.41 |
19.47 |
18.23 |
|
NDVI |
0.86 |
0.74 |
0.66 |
0.52 |
|
NDVI757/679 |
0.86 |
0.66 |
0.50 |
0.36 |
|
PWI |
0.85 |
0.96 |
1.06 |
1.12 |
При увеличении срока хранения образцов вегетационные индексы NDVI и NDVI757/679 уменьшаются, а индекс растительной воды PWI – повышается (см. табл.). PWI коррелирует с изменением влаги у плодов авокадо, а NDVI – с изменением пигментов. При длительном хранении авокадо происходит его порча с одновременным накоплением влаги в верхних слоях плодов и изменением окраски – деградацией хлорофилла. То есть индексы PWI, NDVI и NDVI757/679 описывают характерные изменения физиологического состояния плодов авокадо при длительном хранении. При этом выявлено (рис. 3), что индекс NDVI757/679 обладает более высокой обратной взаимосвязью с PWI (R2=0.99), чем NDVI (R2=0.95).
Рис. 3. Изменение соотношения значения индексов NDVI, NDVI 757/679 и PWI от срока хранения плодов авокадо на 7-й, 9-й и 12-й день хранения.
Результатом применения двух вегетационных индексов служит визуализация HSI изображений состояния поверхности плодов авокадо. Ее проводили с использованием двух вегетационных индексов: PWI (рис. 4) и усовершенствованного NDVI757/679 (рис. 5), в оттенках серого цвета (от темно-серого с минимальными значениями индексов до светло-серого с максимальными значениями индексов).
Рис. 4. Гиперспектральные изображения плодов авокадо после применения индекса PWI: а – свежие образцы; б – образцы на 7-й день хранения; в – образцы на 9-й день хранения; г – образцы на 12-й день хранения.
Рис. 5. Гиперспектральные изображения плодов авокадо после применения индекса NDVI757/679: а – свежие образцы; б – образцы на 7-й день хранения; в – образцы на 9-й день хранения; г – образцы на 12-й день хранения.
При анализе гиперспектрального изображения плодов авокадо после применения индекса PWI наблюдается повышение площади светлых участков на поверхности плодов с увеличением срока хранения (см. рис. 4), что соответствует росту содержания влаги в верхних слоях плодов. Аналогичный результат на гиперспектральном изображении плодов авокадо после применения индекса NDVI757/679 выглядит как повышение площади темно-серых участков на поверхности плодов при увеличении срока хранения (см. рис. 5).
Эти обратно связанные вегетационные индексы хорошо отражают изменение состояния плодов авокадо в зависимости от срока хранения, что обусловлено увеличением их влажности. То есть использование гиперспектральных камер позволяет определять диапазон потребительской зрелости плодов авокадо в период реализации в коммерческих организациях в режиме реального времени на месте без их разрушения.
Выводы. Предложен методический подход цифровой сортировки плодов авокадо с использованием вегетационных индексов и визуализации гиперспектральных изображений по их значениям, в том числе индекса NDVI, модифицированного по результатам отбора информативных каналов (коэффициентов отражения на длинах волн спектра) методом главных компонент.
Градация плодов авокадо по срокам хранения возможна по координатам значений двух индексов: PWI (оценка содержания воды) и NDVI757/679 (изменение пигментации кожуры). Визуализация HSI по значениям этих вегетационных индексов позволяет выявить изменение физиологического состояния плодов авокадо: потемнение и увеличение влажности экзокарпия от срока хранения. Предложенный методический подход позволяет разработать технологию неразрушающего контроля качества при хранении в режиме реального времени на месте.
