Оценка степени повреждения мушмулы с использованием гиперспектральной визуализации
Мушмула японская (Eriobotrya japonica) – ценный фрукт из семейства Розовые, созревающий в межсезонье и требующий бережной обработки. Тонкая кожица делает плоды восприимчивыми к повреждениям при сборе, хранении и транспортировке, что приводит к ухудшению внешнего вида и экономическим потерям. Точное определение степени повреждения мушмулы необходимо для оптимизации послеуборочной обработки.
Традиционная оценка повреждений "на глаз" субъективна и неэффективна. Поэтому актуальна разработка объективного, быстрого и неразрушающего метода, такого как гиперспектральная визуализация.
Эксперимент
Подготовка образцов
Для экспериментов отобрано 135 плодов мушмулы одинакового размера (около 60 мм в длину и 40 мм в ширину) без видимых дефектов и повреждений. Поверхность плодов была очищена и промаркирована.
Ручная классификация повреждений, основанная на стандарте GB/T 13867-1992, недостаточно объективна. В данном исследовании для создания контролируемых повреждений использовался метод регулируемого удара. Сила удара моделировалась падением металлического шарика с определенной высоты, что позволяло создавать повреждения с заданной интенсивностью. Подбор шарика и высоты падения осуществлялся на основе анализа площади контакта и силы, возникающей при падении плода. Такой подход обеспечивает более контролируемые условия для изучения влияния силы удара на степень повреждения мушмулы, минимизируя влияние других факторов.
Для имитации повреждений различной степени тяжести на мушмуле применялось устройство свободного падения (Рис. 1). Металлический шарик (диаметр 30 мм, масса 100 г) сбрасывался с высоты 0.4, 0.5 и 0.6 м на экваториальную часть плода. Электромагнитная система устройства обеспечивала точный сброс: инфракрасное излучение определяло положение области повреждения, а электромагнитное поле удерживало шарик до момента сброса. После моделирования повреждений образцы стабилизировались при комнатной температуре (24°C). На Рис. 2 показаны образцы мушмулы с различной степенью повреждения после одинакового периода хранения. Гиперспектральные изображения легких, умеренных и сильных повреждений были получены через 3 часа после воздействия для последующего построения модели классификации. Из-за последовательного измерения каждого образца время получения данных для разных плодов незначительно отличалось.
Рисунок 1 - Устройство для нанесения ударов свободным падением
Рисунок 2 - Образцы мушмулы с различной степенью повреждения
В исследовании применялась гиперспектральная камера FS13 (Hangzhou Caipu Technology Co., Ltd.) с диапазоном 400-1000 нм. Ключевые характеристики камеры: спектральное разрешение < 2.5 нм, до 1200 спектральных каналов, скорость получения данных до 128 кадров/с (полный спектр) и до 3300 Гц (после выбора спектральных полос).
Рисунок 3 - Гиперспектральная камера FS13
Типичный спектр отражения мушмулы представлен на Рис. 4. Форма спектральных кривых для разных степеней повреждения схожа: пики и провалы соответствуют одним и тем же длинам волн. Однако, значения отражения различаются в зависимости от степени повреждения. При определенной длине волны отражение уменьшается с увеличением тяжести повреждения. Этот эффект объясняется разрушением клеточных стенок и мембран в месте удара, что приводит к высвобождению внутриклеточной жидкости на поверхность плода. Чем сильнее повреждение, тем больше жидкости выделяется, что визуально проявляется как потемнение поверхности. Спектрально это выражается в увеличении содержания воды на поверхности и, как следствие, в снижении отражения. Процесс потери влаги клетками является постепенным, поэтому цвет и спектр поврежденных участков со временем изменяются. Следовательно, спектральные характеристики, полученные в разное время после нанесения повреждения, могут незначительно отличаться, но общая тенденция сохраняется. В данном исследовании гиперспектральные данные регистрировались через 3 часа после моделирования повреждений. Этот период времени соответствует среднему времени транспортировки плодов от сада до места хранения. Цель состоит в том, чтобы разработать метод высокоточной сортировки поврежденных плодов перед хранением, чтобы минимизировать потери, вызванные гниением и заражением здоровых экземпляров.
Рисунок 4 - Кривые спектрального отражения для различных степеней повреждения мушмулы
Разрешение изображений мушмулы, полученных гиперспектральной камерой, составляет 960x366 пикселей. Изображения содержат много фона конвейерной ленты, который не является чисто черным и имеет серые значения из-за освещения галогеновой лампой. В качестве переменных для моделирования и анализа использовались средние значения RGB-каналов и модели HSI в сочетании со спектральной информацией. Для отделения изображения мушмулы от фона использовался метод пороговой сегментации. На основе полученных граничных значений применялся метод маскирования, позволяющий сохранить значения серого для переднего плана (мушмулы) для последующих вычислений. Затем цветные и спектральные характеристики были объединены для моделирования и анализа. Общий процесс показан на Рисунке 5. Извлеченные спектральные характеристики, характеристики RGB-изображения и характеристики HSI-изображения использовались для построения четырех моделей степени повреждения мушмулы: модель на основе спектральных характеристик, модель на основе спектральных характеристик в сочетании с характеристиками RGB-изображения, модель на основе спектральных характеристик в сочетании с характеристиками HSI-изображения и модель на основе спектральных характеристик в сочетании со смешанными характеристиками изображения.
Рисунок 5 - Общий процесс
Экспериментальные результаты
Классификация с использованием алгоритма Random Forest (RF)
Алгоритм RF, известный своей высокой точностью и обобщающей способностью, был использован для классификации степени повреждения мушмулы. Результаты (Таблица 1) показали, что точность классификации на основе только спектральных данных составила 86.67%. Интеграция цветовых характеристик (RGB или HSI) значительно улучшила точность до 91.11%. Дальнейшее объединение RGB и HSI характеристик не привело к дополнительному увеличению точности. Анализ ошибок классификации показал, что основное улучшение точности связано с более точной идентификацией плодов с сильными повреждениями.
Таблица 1 - Результаты классификации степени повреждения мушмулы на основе модели RF
Классификация с использованием алгоритма Partial Least Squares Discriminant Analysis (PLS-DA)
Для построения классификационных моделей и анализа результатов использовался алгоритм PLS-DA, метод статистического анализа, предназначенный для работы с многомерными данными и уменьшения размерности пространства признаков. Результаты, полученные на основе алгоритма PLS-DA, представлены в Таблице 2.
Точность обучения моделей на основе спектральных данных, спектральных данных + RGB, спектральных данных + HSI и спектральных данных + комбинированных признаков составила 88.89%, 91.11%, 91.11% и 90%, соответственно. Аналогичные результаты были получены и для точности предсказания, составив 86.67%, 86.67%, 88.89% и 86.67%, соответственно. По результатам обучения, модель, основанная только на спектральных данных, демонстрировала наименьшую точность. Включение цветовых признаков привело к улучшению точности модели. Однако, точность прогнозирования для моделей, использующих спектральные признаки, спектральные+RGB и комбинированные признаки, оказалась одинаковой. Это может быть связано с ограниченным объемом выборки в тестовом наборе. Несмотря на это, анализ RMSECs (Root Mean Square Error of Calibration) показал, что модели, использующие комбинированные признаки, демонстрируют меньшие значения (0.304 - 0.323), что указывает на их лучшую стабильность по сравнению с моделью, основанной только на спектральных данных.
Таблица 2 - Результаты классификации модели степени повреждения мушмулы на основе алгоритма PLS-DA
Рисунок 6 - Результаты классификации модели степени повреждения мушмулы на основе PLS-DA при различных характеристиках
Итоги и перспективы
В данной работе исследована возможность применения гиперспектральной визуализации для классификации степени повреждения мушмулы. Получены гиперспектральные изображения образцов с различными повреждениями, проведена сегментация и маскирование для выделения объектов интереса. Извлечены спектральные (средний спектр области интереса) и цветовые признаки (средние значения RGB и HSI). Разработаны модели классификации на основе алгоритмов RF, PLS-DA, ELM, LIN-LS-SVM и RBF-LS-SVM, с использованием различных комбинаций признаков.
Наилучшие результаты показала модель, основанная на алгоритме RBF-LS-SVM, использующая комбинацию спектральных и смешанных цветовых признаков, достигнув 100% точности классификации. Также хорошие результаты продемонстрировали модели на основе алгоритмов ELM (95.56%) и RF (91.11%). Хотя PLS-DA показал несколько меньшую точность (86.67%), он остается полезным методом для работы с многомерными данными.
Таким образом, продемонстрирована эффективность гиперспектральной визуализации в сочетании с анализом цветовых признаков для неразрушающей и объективной оценки степени повреждения мушмулы. Полученные результаты закладывают основу для дальнейшего развития методов качественной идентификации фруктов с использованием гиперспектральной визуализации и хемометрических подходов. Перспективным направлением является дальнейшая оптимизация алгоритмов классификации и расширение спектра анализируемых фруктов.
