Методы извлечения и распознавания выцветшей текстовой информации с использованием гиперспектральной визуализации
В работе применяется гиперспектральная камера FS13 (диапазон 400–1000 нм), разработанная компанией Hangzhou CHNSpec Technology Co., Ltd., что делает её подходящей для научных исследований в данной области.
Китай обладает богатейшим культурным наследием — настенными росписями, произведениями каллиграфии и живописи. Эти памятники отражают духовную жизнь, мировоззрение и исторические события древних цивилизаций. Одним из важнейших способов передачи информации в них является текст.
Письменность в Китае имеет многотысячелетнюю историю: от древнейших надписей на гадательных костях до современных иероглифов — она всегда служила средством фиксации знаний, событий и человеческих чувств.
Многие из дошедших до нас культурных реликвий содержат надписи или сопровождаются текстовыми элементами. Их исследование помогает точнее восстановить историческую картину и понять особенности культуры различных эпох.
Однако под влиянием времени, климата и человеческой деятельности поверхности многих артефактов утратили яркость, а надписи — читаемость. В связи с этим извлечение текстовой информации становится важной задачей при реставрации и сохранении культурного наследия.
Традиционные методы, основанные на визуальном осмотре и опыте специалистов, не всегда позволяют распознать сильно выцветшие или скрытые символы. Поэтому требуется применение современных технологий для восстановления утраченных элементов.
Гиперспектральная съёмка обладает рядом преимуществ: бесконтактным характером, объединением изображений и спектральных данных, а также широким диапазоном длин волн. Эта технология обеспечивает более глубокий анализ состояния артефактов и позволяет выявить детали, незаметные человеческому глазу, что делает её особенно ценной для задач распознавания и интерпретации текстовой информации на культурных памятниках.
Рисунок 1
Диапазон длин волн камеры, используемой в исследовании, составляет 400–1000 нм.
В исследовании использовались гиперспектральные данные, полученные с традиционных китайских живописных работ, каменных рельефов и внутренних поверхностей гробниц. Все три типа объектов культурного наследия имеют различную степень разрушения, что осложняет процесс идентификации информации, сохранившейся на их поверхности.
После предварительной обработки данных была проведена экстракция выцветших текстовых элементов, а затем применена нейронная сеть (CNN) для распознавания символов. Это позволило получить опорные результаты и подтвердить эффективность предложенного подхода к извлечению текстовой информации.
В каждом наборе гиперспектральных данных отдельно выделялись области почерка и фоновые зоны. Анализ показал, что фон на изображениях китайских живописных произведений и каменных гравюр в основном представлен коричневыми и белыми оттенками, а в данных, полученных с гробниц, присутствуют красные пигменты, также относящиеся к фоновым областям.
В ходе эксперимента были получены спектральные кривые для всех этих материалов: для каждого вещества выбирали от 10 до 20 точек, сохраняли результаты в формате ASCII, после чего вычисляли средние спектральные значения.
В случае каменных рельефов, сильно подверженных выцветанию, различие между фоном и надписью оказалось минимальным — выделить можно было лишь несколько фрагментов почерка, расположенных в правой части изображения. Остальные области выбирались равномерно по всей поверхности.
На рисунке 1 представлены результаты:
- (a), (b), (c) — координаты выбранных спектральных кривых для данных живописи, каменных рельефов и гробниц соответственно.
- Оранжевые точки обозначают области почерка, а синие, фиолетовые и зелёные — фоновую область (коричневый, белый и красный цвета).
- На рисунках (d), (e), (f) приведены усреднённые спектральные кривые для трёх типов объектов.
Из анализа видно, что отражательная способность чернил (почерка) остаётся низкой и меняется незначительно с увеличением длины волны, тогда как фон обладает более высокой отражательностью, которая значительно варьируется при разных длинах волн. После оптимизации гиперспектральных данных удалось существенно улучшить результаты распознавания.
Рисунок 2
Заключение
В рамках исследования проведено тестирование и сравнительный анализ методов.
Во-первых, применён индекс усиления почерка, который использовался для трёх изображений с различной степенью выцветания и показал хороший эффект контрастного усиления. В сравнении с двумя традиционными методами извлечения информации из гиперспектральных данных визуальный анализ подтвердил, что данный индекс эффективнее выделяет текстовые элементы.
Во-вторых, текстовая информация была извлечена методом плотностной сегментации, что позволило получить бинарные изображения. Однако из-за сильной утраты штрихов на каменных надписях и нечетких контуров символов на изображениях гробниц использование свёрточной нейросети оказалось ограниченным, так как она требует цельных иероглифов для корректного распознавания. Поэтому для этих изображений были применены морфологические преобразования, позволившие создать несколько вариантов формы символов и облегчить экспертную интерпретацию.
В заключение, изображения традиционной китайской живописи, содержащие больше читаемых иероглифов, были разделены на отдельные фрагменты, подвергнуты морфологическим операциям и поданы на вход свёрточной нейросети. Алгоритм определил три наиболее вероятных варианта для каждого символа.
Всего было распознано 17 иероглифов с точностью 70,8%, что подтверждает эффективность предложенного метода извлечения и распознавания выцветших текстов на основе гиперспектральных данных.
