Исследование методов совмещения видеоданных дистанционного зондирования(Автореферат)

На правах рукописи

Василейский Александр Сергеевич

ИССЛЕДОВАНИЕ МЕТОДОВ СОВМЕЩЕНИЯ ВИДЕОДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ

Специальность 01.04.01 приборы и методы экспериментальной физики

АВТОРЕФЕРАТ на соискание ученой степени кандидата физико-математических наук

Москва, 2003

Работа выполнена в Институте космических исследований Российской академии наук (ИКИ РАН) Научный руководитель: доктор технических наук, профессор Зиман Я.Л.

Официальные оппоненты: д.ф-м.н. Орлов В.М. к.ф-м.н. Гершензон В.Е.

Ведущее предприятие: Центр по проблемам экологии и продуктивности лесов РАН (ЦЭПЛ РАН)

Защита диссертации состоится “ ” октября 2003 года в ___ часов на заседании диссертационного совета Д.002.113.01 в Институте космических исследований по адресу: 117997 Москва, ул.Профсоюзная, 84/32, 2-й подъезд, конференц-зал.

С диссертацией можно ознакомиться в библиотеке ИКИ РАН Автореферат разослан “

” сентября 2003 года

Ученый секретарь диссертационного совета Д.002.113.01 к.ф-м.н.

Акимов В.В.

1

Общая характеристика работы Актуальность работы Видеоданные дистанционного зондирования Земли (ДЗЗ), получаемые с космических аппаратов (КА), уже на протяжении нескольких десятков лет с успехом применяются в решении научных, хозяйственных и прикладных задач. Наблюдающаяся в последнее время устойчивая тенденция роста объема видеоинформации ДЗЗ и необходимость оперативного использования большой ее части требуют разработки и реализации эффективных методов автоматизированной и автоматической обработки. Космическую съемку одних и тех же участков земной поверхности проводят в разное время, разными съемочными системами, с разных КА, в различных спектральных зонах и с разным пространственным разрешением. В то же время эффективность исследования большинства характеристик земной поверхности и происходящих на ней процессов может быть достигнута только при совместной обработке большей части всех вышеперечисленных видеоданных. Такая совместная обработка разных изображений одного и того же участка земной поверхности требует их координатного совмещения с субпиксельной точностью. Совмещение видеоданных ДЗЗ направлено на установление взаимно однозначного соответствия между соответствующими одним и тем же участкам земной поверхности пикселами одного изображения, обычно называемого совмещаемым, и пикселами другого изображения, обычно называемого опорным или базовым. Другими словами, совмещение изображений - это процесс трансформирования совмещаемого изображения таким образом, чтобы одни и те же пространственные структуры на нем и на базовом изображении имели одинаковые координаты в используемой системе координат (например, в системе координат базового изображения). Кроме того, проблему совмещения различных получаемых из космоса изображений земной поверхности можно рассматривать как задачу координатной привязки совмещаемого изображения к базовому. Традиционно применяемое на практике ручное совмещение изображений является очень трудоемким процессом, требующим привлечения большого количества операторов, существенно увеличивая общие финансовые затраты на обработку данных ДЗЗ. Автоматизация процесса совмещения является весьма актуальной задачей, особенно в условиях жестких временных ограничений, накладываемых при

2 оперативном использовании видеоданных, и высокой требуемой точности их совмещения, недостижимой при ручной обработке. Проблема совмещения изображений традиционно привлекает к себе внимание многих исследователей во всем мире. За последнее десятилетие опубликовано более тысячи печатных работ, посвященных разработке автоматизированных методов совмещения, но универсальное решение задачи не было найдено. Предмет исследования Предметом исследования в диссертационной работе является проблема совмещения изображений, получаемых при ДЗЗ. Научная новизна Научная новизна работы определяется основными результатами проведенных исследований: ƒ Разработан метод и реализующий его алгоритм совмещения с субпиксельной точностью разновременных и разноканальных данных ДЗЗ. ƒ Предложен метод выбора сети опорных точек (ОТ), обеспечивающий их однородное распределение по площади изображения. Разработан метод расчета ожидаемого положения ОТ с учетом локальных свойств изображений. ƒ Разработан двухступенчатый метод идентификации и уточнения положения ОТ на основе метода наименьших квадратов (МНК), обеспечивающий субпиксельную точность совмещения изображений. ƒ Предложен комбинированный многоступенчатый метод верификации ОТ с использованием остаточных ошибок и сравнения текстурных признаков фрагментов изображений с помощью преобразования Уолша. Практическая значимость Разработанный в диссертационной работе метод и программноалгоритмическое обеспечение позволяют решать с использованием разновременных космических снимков задачу мониторинга динамических процессов и явлений, происходящих на земной поверхности. Метод разработан в обеспечение проекта Европейского космического агентства (ЕКА) FUEGO/FFEW (работа WP-3350 "FFEWAL Исследование точной координатной привязки") и принят для мониторинга

3 лесных пожаров по изображениям, которые планируется получать со спутника FUEGO/FFEW. Разработанное программное обеспечение с 2000 года используется для оперативной автоматизированной обработки данных ДЗЗ в Лаборатории дистанционного зондирования университета Вальядолида (LATUV, Испания) и в нескольких других научных центрах, проводящих работы в рамках различных проектов ЕКА. В рамках сотрудничества ИКИ РАН и Немецкого аэрокосмического центра (DLR) автором диссертационной работы на основе предложенного метода совмещения изображений разработана методика для прецизионной межканальной геометрической калибровки аппаратуры ДЗЗ, установленной на борту КА BIRD. В настоящее время результаты исследования используются при разработке программно-алгоритмического обеспечения геометрической коррекции изображений, получаемых создаваемой в Оптикофизическом отделе ИКИ РАН цифровой аэросъемочной камерой. Основные положения, выносимые на защиту 1. 2. 3. 4. 5. 6. 7. 8.

Общий алгоритм совмещения разновременных и разноканальных данных ДЗЗ. Метод выбора сети ОТ, обеспечивающий их однородное распределение на изображениях. Метод расчета ожидаемого положения ОТ с учетом локальных свойств изображений. Метод идентификации ОТ на основе МНК. Метод субпиксельного уточнения положения ОТ на основе МНК. Комбинированный многоступенчатый метод верификации ОТ с использованием остаточных ошибок и сравнения с помощью преобразования Уолша текстур фрагментов изображений. Методика выбора параметров алгоритма совмещения, обеспечивающих заданную точность и минимальные вычислительные затраты. Методика прецизионного определения межканальных сдвигов в изображениях, получаемых многоканальными съемочными системами. Апробация работы

Результаты диссертационной работы докладывались и обсуждались на четырех рабочих встречах разработчиков в рамках

4 проекта Европейского космического агентства FUEGO/FFEW, включены в отчет по проекту*, были представлены на 21-м ежегодном симпозиуме EARSeL "Observing our Environment from Space: New Solutions for a New Millennium" (Париж, Франция, 2001 г.), 22-м ежегодном симпозиуме EARSeL (Прага, Чехия, 2002 г.) и международной конференции “Teledetection. Medio Ambiente y Cambio Global” (Льеда, Испания, 2001 г.). По теме диссертационной работы автором опубликовано 13 печатных работ. Из них 5 затрагивают вопросы обработки изображений, разработки космических систем ДЗЗ и обработки результатов ДЗЗ [1,2,5,6,13], 5 посвящены разработке методов и алгоритмов географической координатной привязки данных ДЗЗ и совмещения изображений [3,4,7-9]. В 3 работах [10-12] приведены результаты, полученные при выполнении диссертационной работы. Структура и объем работы Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка, включающего 102 наименования, и трех приложений. Общий объем работы составляет 160 страниц (из них 22 страницы занимают приложения). Работа содержит 112 рисунков и 10 таблиц.

Содержание работы Во введении обоснована актуальность темы, сформулированы цели работы, раскрыты научная новизна и практическая ценность диссертационной работы. В первой главе перечислены задачи исследования Земли из космоса (ИЗК), при решении которых необходимо проведение совмещения разных изображений, и приведены основные требования к решению задачи совмещения. Анализ определенного Российским космическим агентством перечня задач мониторинга природной среды, для решения которых целесообразно использовать данные ДЗЗ в оптическом диапазоне излучений, показывает, что в большинстве случаев необходима совместная обработка данных, получаемых в разных спектральных областях. Это требует использования различной съемочной аппаратуры, зачастую существенно отличающейся по пространственному *

FFEWAL fine geo-location study. LATUV, Valladolid 2000. FUT-LATUV-3350-TN-01.- 120 p.

5 разрешению. Во многих случаях критичными являются требования высокой периодичности обновления информации и оперативности доставки данных потребителям, достигаемой за счет применения группировок из нескольких однотипных КА или путем совместного использования информации с разных КА. При совместном использовании нескольких изображений одного и того же участка местности практически всегда необходимо совмещение этих изображений. Задачи, требующие проведения совмещения, можно разделить на следующие группы: ƒ совместная обработка изображений, полученных разными съемочными системами; ƒ совместная обработка изображений, полученных в разное время; ƒ координатная привязка изображений; ƒ восстановление рельефа снимаемой поверхности с использованием стереопар; ƒ обработка изображений, полученных многоканальными съемочными системами, при наличии межканальных сдвигов. Приведенный в диссертационной работе анализ показывает, что каждой группе задач присущи свои требования к процессу совмещения изображений. В силу того, что в основу работы легли требования проекта FUEGO/FFEW, в приведенном исследовании рассматриваются в основном задачи совмещения разновременных многозональных изображений с одинаковым пространственным разрешением, полученных идентичными съемочными системами, и устранения межканальных сдвигов в таких изображениях. На основе анализа достаточно типичных требований, предъявляемых к системе обработки изображений в проекте FUEGO/FFEW, в диссертационной работе сформулирована задача совмещения видеоданных в автоматическом режиме с высокой точностью (среднеквадратическая ошибка (СКО) не более 0,5 размера пиксела) при жестких временных ограничениях (не более нескольких минут). В заключительной части первой главы рассмотрены факторы, позволяющие облегчить решение поставленной задачи. Характеристики однотипных съемочных систем практически идентичны, поэтому подлежащие совмещению изображения мало отличаются как по пространственному разрешению, так и радиометрически. Передаваемые на наземные приемные станции изображения сопровождаются дополнительной информацией о местоположении и ориентации КА, используемой для предварительной географической привязки, точность которой ограничена в первую очередь ошибками навигационных

6 определений и деформациями конструкции КА. Проведенный на основе характеристик съемочной системы КА FUEGO/FFEW расчет максимальной возможной ошибки предварительной координатной привязки позволил сформулировать дополнительное требование к процедуре совмещения получаемых изображений, заключающееся в ее работоспособности при априорном совмещении с точностью не хуже величины ±10 пикселов. Вторая глава содержит изложение и сравнительный анализ известных методов совмещения изображений. Традиционно процесс совмещения разделяется на следующие основные этапы: выбор характерных элементов на подлежащих совмещению изображениях, идентификация элементов и установление соответствия между ними, определение вида и параметров геометрического преобразования совмещаемого изображения для приведения его в соответствие с базовым изображением и собственно трансформирование. В соответствии с общепринятой классификацией алгоритмов совмещения на так называемые площадные и контурные, в диссертационной работе подробно рассматриваются основные принципы, этапы, особенности, преимущества и недостатки алгоритмов, принадлежащих к каждой из этих групп. Сравнительный анализ известных алгоритмов совмещения показывает, что выбор оптимального алгоритма в каждом конкретном случае зависит от характеристик съемочной системы, с которой получены изображения, ландшафта, условий съемки и требований к точности совмещения. Основными преимуществами площадных методов являются простота реализации, независимость от наличия ярко выраженных деталей на подлежащих совмещению изображениях и устойчивость к шумам. При этом достигается высокая, вплоть до субпиксельной, точность совмещения. Контурные методы характеризуются высокой надежностью и приемлемой точностью при совмещении полученных в разных областях спектра изображений с существенными взаимными геометрическими искажениями. Особое внимание при рассмотрении алгоритмов совмещения уделено концепции использования так называемых опорных точек (ОТ), применяемых для описания местоположения соответствующих элементов на совмещаемом и базовом изображениях. Применение концепции ОТ позволяет гибко, эффективно и экономично с точки зрения хранения, обработки и обмена информацией описывать взаимные геометрические искажения изображений и обеспечивает простоту

7 последующего воплощения разрабатываемых методов совмещения в программное обеспечение. Отдельно рассмотрена не затрагиваемая в других разделах диссертационной работы проблема финального трансформирования совмещаемых изображений. Третья глава, являющаяся основной, включает детальное изложение предлагаемого метода совмещения разновременных и разноканальных видеоданных с субпиксельной точностью. Предложен обобщенный площадной алгоритм, основанный на применении ОТ и обеспечивающий высокоточное и надежное автоматическое совмещение разновременных изображений одинакового пространственного разрешения в условиях относительно небольших взаимных геометрических искажений. Блок-схема алгоритма представлена на рис.1. Алгоритм может быть разделен на приведенные ниже основные этапы: ƒ Предобработка совмещаемого и базового изображений для представления их в наиболее удобной для последующего совмещения форме. Этот этап может включать радиометрическую коррекцию, пространственную фильтрацию для устранения шумов, а иногда и передискретизацию одного из изображений для его поворота и приведения к необходимому масштабу. ƒ Выбор ОТ на одном из изображений и расчет их ожидаемого положения на другом изображении. ОТ выбираются на базовом изображении в местах хорошо различимых деталей. Для обеспечения наилучшего возможного расчета ожидаемого положения этих ОТ на совмещаемом изображении на данном шаге используются результаты предварительной географической координатной привязки. ƒ Идентификация ОТ. На этом шаге положение выбранных ОТ уточняется таким образом, чтобы они указывали на соответствующие детали совмещаемого и базового изображения. ƒ Верификация полученного набора ОТ. Этот этап подразумевает исключение из дальнейшего рассмотрения ОТ, неправильно идентифицированных на совмещаемом и базовом изображениях. ƒ Оценка функции преобразования, описывающей взаимные геометрические соотношения между совмещаемым и базовым изображениями. Оценка осуществляется на основе ранее полученного набора ОТ.

8 ƒ

Трансформирование совмещаемого изображения в проекцию базового путем передискретизации с использованием оцененной функции преобразования. Архив базовых изображений

Приемная станция

Базовое изображение

Совмещаемое изображение

Предварительная привязка Список ОТ

Предварительное трансформирование

Оценка функции трансформирования

3

Оценка функции трансформирования

Предобработка

Предобработка

Предсказание

Выбор ОТ

Сеть ОТ

Идентификация

Верификация ОТ

нет

Однородное распределение ОТ?

2 4

1

Оценка функции трансформирования

Трансформирование Трансформированное изображение

Дальнейшая обработка

Рис.1. Алгоритм автоматического совмещения изображений.

5

.

9

1-

234-

5-

Прерывистыми линиями на блок-схеме показаны: Выбор дополнительных ОТ после исключения на этапе верификации большого количества неправильно идентифицированных ОТ, что может привести к неоднородности распределения ОТ по изображению и, вследствие этого, к существенным локальным ошибкам совмещения. Итерационная ужесточающаяся проверка с оценкой функции трансформирования. Исключение этапа предварительного трансформирования в случае незначительных взаимных геометрических искажений подлежащих совмещению изображений. Прямое использование исходного совмещаемого изображения на этапе финального трансформирования для исключения неизбежных в противном случае ошибок передискретизации и обеспечения наибольшего радиометрического и геометрического качества результатов совмещения. Использование некоторых из совмещенных и географически привязанных изображений в качестве базовых для последующей привязки получаемых в дальнейшем изображений.

В работе детально рассматриваются этапы предобработки изображений, отбора, идентификации и верификации ОТ. Этап финального трансформирования предлагается осуществлять подробно хорошо известными и описанными в литературе методами. Предварительная координатная привязка осуществляется с использованием дополнительной информации о местоположении и ориентации КА во время съемки и заключается в определении на базовом изображении координат выбранной на совмещаемом изображении регулярной сетки ОТ. Результаты этого этапа являются необходимой априорной информацией для алгоритма совмещения. Этап идентификации ОТ является основным и во многом определяют эффективность решения задачи совмещения. В случае использования площадных методов совмещения вместо формализованно описанных деталей оперируют фрагментами изображений. На этапе идентификации в работе используется методика скользящего окна, обеспечивающая нахождение наилучшего положения заданного фрагмента (образца) одного из изображений на другом изображении. Сравнение фрагментов осуществляется с использованием некоторой численной меры сходства.

10 Поиск образца проводится внутри предопределенной области (в зоне поиска) на совмещаемом изображении вокруг расчетного ожидаемого положения по следующему алгоритму: ƒ Попиксельное перемещение окна, размер которого равен размеру образца базового изображения, внутри зоны поиска на совмещаемом изображении. ƒ Сравнение получаемого фрагмента-кандидата совмещаемого изображения внутри окна с образцом путем вычисления значения меры сходства для каждого положения скользящего окна. ƒ Позиция, демонстрирующая наилучшее значение меры сходства, указывает положение образца на совмещаемом изображении. При таком подходе сравнение искомого образца со всеми возможными фрагментами-кандидатами совмещаемого изображения приводит к надежной идентификации. В работе подробно рассмотрен корреляционный метод совмещения, основанный на применении методики скользящего окна и использовании коэффициента корреляции в качестве меры сходства фрагментов. Этот метод является достаточно надежным и точным, в том числе и при наличии шумов. Он может применяться и для совмещения изображений с существенно различающимися радиометрическими характеристиками. Недостатком метода является то, что целевая корреляционная функция зачастую демонстрирует очень гладкий и трудно детектируемый максимум. В качестве альтернативы корреляционному методу в работе предлагается использовать идентификацию на основе МНК. Применение МНК для совмещения изображений позволяет оценить вертикальные и горизонтальные сдвиги образца относительно фрагмента базового изображения, предполагая линейную зависимость между значениями яркости пикселов изображений. Получаемая при этом так называемая нормальная система уравнений наблюдения имеет четыре неизвестных параметра и является нелинейной. Линеаризация этой системы приводит к итерационному процессу решения. Данный подход может обеспечивать очень высокую точность совмещения (порядка 5% размера пиксела), однако его применение осложняется рядом факторов. Количество итераций для достижения необходимой точности решения в общем случае непредсказуемо. При некоторых формах поверхности целевой функции итерационный процесс из части стартовых точек не может достичь реального минимума. В некоторых случаях итерационный процесс может зацикливаться в виде бесконечных шагов вокруг минимального значения. Кроме того,

11 используемые при линеаризации градиентные функции должны быть гладкими и определенными для любых значений параметров. В реальном случае, однако, градиентные функции являются гладкими только в пределах одного пиксела и имеют разрывы на границах пикселов. Следовательно, надежное решение системы для любых фрагментов изображений не гарантировано. В работе предложен упрощенный подход, основанный на комбинации МНК и методики скользящего окна и позволяющий избежать вышеперечисленных проблем. Для каждого положения скользящего окна предполагается линейная модель зависимости значений яркости пикселов совмещаемого и базового изображений: B x , y = k ⋅ R x +l , y + m + b + ε i , где B x, y - значение яркости пиксела базового изображения с координа-

тами (x, y ) ; Rx+l , y + m - значение яркости пиксела совмещаемого изображения с координатами, сдвинутыми относительно (x, y ) на (l, m) ; k и b – неизвестные параметры линейной зависимости значений яркости пикселов совмещаемого и базового изображений. Подобные уравнения, составленные для всех пикселов фрагмента, формируют избыточную систему линейных уравнений наблюдения с двумя неизвестными. T Оценка по МНК вектора ξˆ = {kˆ, bˆ} используется для вычисления значения квадратической ошибки El ,m для текущего положения скользящего окна (l, m) , используемого как мера рассогласования фрагментов совмещаемого и базового изображений: El ,m =

∑ (B

x, y

− kˆ ⋅ R x + l , y + m − bˆ

)

2

.

x, y

Предлагаемый комбинированный подход к решению задачи с использованием МНК гарантирует надежную идентификацию фрагментов благодаря тому, что проверяются все возможные фрагментыпретенденты внутри зоны поиска совмещаемого изображения. Объем необходимых вычислений постоянен для фиксированного размера зоны поиска и размера фрагмента. Приведенный в работе сравнительный анализ эффективности идентификации ОТ на базе корреляции и МНК основан на оценке ошибок совмещения и вероятности правильной идентификации ОТ. Анализ зависимости этих показателей от основных параметров алгоритмов - размеров используемого фрагмента и зоны поиска позволил не только сравнить методы идентификации ОТ, но и сфор-

12 мулировать основные правила для выбора оптимальных значений параметров, обеспечивающих заданную точность и надежность и минимизирующих вычислительные затраты. Размер фрагмента, обеспечивающий некоторое заданное значение вероятности правильной идентификации, зависит от характеристик снимаемого ландшафта. Для выбора на этапе идентификации оптимального размера фрагмента предложено анализировать автокорреляционную функцию, характеризующую статистическую зависимость между пикселами изображения. Идентификация ОТ на основе МНК обеспечивает несколько большую надежность, хотя и требует больших вычислительных затрат. Благодаря попиксельному перемещению скользящего окна, местоположение ОТ при идентификации определяется с точностью не более одного пиксела. Для обеспечения субпиксельной точности необходимо проводить уточнение местоположения ОТ, причем для уменьшения общих вычислительных затрат этот этап целесообразно осуществлять после верификации ОТ. Предложенный в работе метод субпиксельного уточнения ОТ основан на предположении о постоянстве линейной зависимости между значениями яркости соответствующих пикселов совмещаемого и базового изображений в пределах некоторой окрестности. При этом используются оценки коэффициентов kˆ и bˆ , полученные при сопоставлении фрагментов по МНК на пиксельном уровне. Оценка величины субпиксельного сдвига фрагментов осуществляется на основе МНК. Избыточная система уравнений наблюдения является нелинейной и содержит два незвестных параметра. Линеаризация системы ведет к необходимости ее итерационного решения. Одним из основных требований для надежного получения решения итерационным путем является определенность градиентных функций на каждом шаге. Величины этих функций направляют следующий шаг итерационной процедуры к местоположению минимума целевой функции. Однако, в случае целочисленных величин сдвигов фрагментов, градиентные функции определены неоднозначно. Для обеспечения надежного уточнения местоположения ОТ предложено использовать альтернативный итерационному принцип. Он основан на том, что градиентные функции гладкие, а целевая функция имеет единственный минимум внутри каждого из четырех квадрантов вокруг точки нулевого сдвига ( (− 1 ÷ 0,−1 ÷ 0) , (0 ÷1,−1 ÷ 0) , (− 1 ÷ 0,0 ÷ 1) , (0 ÷1,0 ÷1) ). Эти квадранты представляют четыре возможных случая смешивания пикселов совмещаемого изображения внутри одного

13 пиксела базового изображения или четыре возможных сдвига в вертикальном или горизонтальном направлениях на величину от нуля до одного пиксела. Вместо выбора некоторой стартовой точки и последующей итерационной процедуры предлагается проводить четыре одинарных шага начиная от центров квадрантов. Начальные точки в этом случае расположены в положениях (-0,5;-0,5), (0,5;-0,5), (-0,5;0,5) и (0,5;0,5) относительно точки нулевого сдвига. Предлагаемый метод графически представлен на рис.2. Здесь оцененное по МНК на пиксельном уровне наилучшее положение ОТ показано темным квадратным маркером, четыре начальные точки для одношаговых оценок по МНК субпиксельного смещения обозначены светлыми, а точка реального решения - круглым темным маркером. X-1 Y-1

X-0.5

X

X+0.5

X+1

Y-0.5

Y

Y+0.5

Y+1

Рис.2. Четыре стартовые точки для одношаговых оценок субпиксельного смещения по МНК. Градиентные функции однозначно определены в четырех начальных точках. Благодаря выбору этих четырех начальных точек появляется возможность оценить с некоторой точностью все четыре возможные локальные минимумы целевой функции. Выбор глобального минимума осуществляется путем сравнения четырех полученных значений целевой функции в локальных минимумах. Основным преимуществом предложенного метода является большая надежность получаемого решения. Использование двух неизвестных вместо традиционно используемых четырех упрощает вычисления. Проведение четырех одношаговых оценок вместо итерационной процедуры обеспечивает фиксированное время субпиксельного уточнения ОТ. Оба этих преимущества достигаются за счет некоторой потери точности. Однако надежность получаемого результата более важна. Время вычислений также крайне важно во многих приложениях, требующих совмещения изображений.

14 Исследование методов выбора ОТ в диссертационной работе включает в первую очередь анализ их влияния на точность и надежность всего процесса совмещения. Простейший метод автоматического отбора состоит в выборе регулярной сети ОТ с некоторым фиксированным шагом. При этом не используется информация, содержащаяся в самих изображениях, и велика вероятность того, что будет отобрана ОТ, вокруг которой на изображении нет никаких различимых деталей. При использовании площадных методов совмещения целесообразно следовать алгоритму, основанному на отборе опорных фрагментов на базовом изображении. При этом изображение разделяется на набор фрагментов равного размера, для каждого из них вычисляется значение оператора интереса, численно характеризующего присутствие различимых деталей внутри фрагмента. Затем в качестве ОТ выбираются центральные точки фрагментов, демонстрирующих наилучшие значения оператора интереса. В работе рассмотрены два метода, использующие операторы Моравека и энтропии. Оба метода обеспечивают существенно лучшие результаты, чем отбор регулярной сетки ОТ. Применение оператора Моравека дает намного более высокую вероятность последующей правильной идентификации ОТ и меньшие величины ошибок даже для малых размеров фрагментов. Однородность распределения ОТ по изображению является одним из главных требований к процедуре выбора, ведущим к увеличению точности результатов совмещения. При однородном распределении на изображении отсутствуют большие области, не покрытые ОТ, где возможны существенные локальные ошибки. Отбор ОТ по наибольшим значением оператора интереса зачастую приводит к достаточно неравномерному покрытию изображения. В работе предложен следующий метод итеративного выбора ОТ, гарантирующий, что расстояние между любой точкой изображения и, по крайней мере, одной ОТ не превышает некоторого заданного характеристического расстояния: ƒ Рассчитывается поле значений оператора интереса. ƒ Находится фрагмент с наибольшим значением оператора интереса, его центральная точка выбирается в качестве ОТ. ƒ Значения операторов интереса окружающих фрагментов уменьшаются в соответствии со следующей затеняющей функцией:

′ I i , j = I i , j ⋅ 1 − e − 

(i − x )2 + ( j − y )2

dist

 , 

15

ƒ

где I i , j и I i , j ′ - исходное и модифицированное значения оператора интереса для фрагмента с координатами i и j, x и y - координаты очередного выбранного опорного фрагмента, dist – заданное значение характеристического расстояния между ОТ. Переходим к поиску следующей ОТ до тех пор, пока не будет выбрано некоторое заданное количество ОТ.

После этого, для заполнения оставшихся свободными областей дополнительными ОТ необходимо выполнить вторую фазу алгоритма, реализующую более строгий подход к отбору фрагментов: ƒ Маскируются все фрагменты изображения, расстояние от которых до, по крайней мере, одного опорного фрагмента меньше заданного характеристического расстояния. ƒ В случае если на изображении присутствует хотя бы один незамаскированный фрагмент, выбирается дополнительный опорный фрагмент с наибольшим значением оператора интереса. Все расположенные вокруг него фрагменты маскируются. ƒ Этот процесс повторяется до тех пор, пока на изображении остаются незамаскированные фрагменты. При использовании предложенного алгоритма ОТ распределяются однородно по площади изображения (см. правую часть рис.3). Отобранные фрагменты всегда демонстрируют локально максимальные значения оператора интереса в пределах некоторых окрестностей.

Рис.3. Выбор опорных фрагментов на поле значений оператора интереса с затенением близлежащих фрагментов (слева) и выбранная однородная сеть ОТ (справа).

16 Расчет ожидаемого положения выбранной ОТ осуществляется на основе функции преобразования, определяющей взаимно однозначное соответствие координат любого пиксела на базовом и на совмещаемом изображении. Обычно в качестве функции преобразования используется полином первого или второго порядка. Оценка коэффициентов функции преобразования производится с помощью МНК на основе координат ОТ, известных по результатам предшествующих этапов алгоритма (например, предварительной координатной привязки). В случае существенных локальных искажений при перспективной съемке холмистой местности вместо полиномиального предсказания предлагается использовать кусочно-линейную аппроксимацию функции преобразования. Расчет ожидаемого местоположения каждой ОТ на совмещаемом изображении производится в соответствии с линейной функцией, параметры которой задаются тремя ближайшими ОТ. Следующая часть третьей главы посвящена рассмотрению влияния различных методов предварительной обработки изображений на точность и надежность последующего совмещения с использованием корреляционного метода или МНК. Рассмотрены радиометрические преобразования, методы пространственной фильтрации (медианная и гауссовская фильтрация) и выделения границ на изображениях (фильтр Лапласа и направленный фильтр). Изучение радиометрических преобразований показало, что их целесообразно применять только для последующего визуального анализа изображений и ручного совмещения. Исследование методов пространственной фильтрации продемонстрировало преимущество медианного фильтра, обеспечивающего меньшие ошибки и несколько большую вероятность правильной идентификации ОТ, чем гауссовская фильтрация. Однако предварительная обработка изображений как гауссовским, так и медианным фильтрами практически не обеспечивает улучшения точности и надежности последующего совмещения. Поэтому пространственная фильтрация должна проводиться перед совмещением только в случае присутствия на изображениях сильных случайных шумов. Применение методов выделения границ, а особенно фильтра Лапласа, продемонстрировало существенное (в некоторых случаях двукратное) снижение ошибок совмещения и повышение вероятности правильной идентификации. Наилучшие результаты достигались при использовании для отбора ОТ оператора Моравека. Результаты, получаемые при использовании корреляционного метода и МНК, в

17 этом случае практически совпадали, что позволяет утверждать предпочтительность использования корреляционного метода, как требующего меньших вычислительных затрат. Направленный фильтр продемонстрировал несколько худшие результаты, несмотря на то, что обработанные им изображения визуально легче интерпретировать. Поэтому его целесообразно использовать для ручного совмещения. Рекомендуемая многими авторами комбинированная предварительная обработка, заключающаяся в пространственной фильтрации изображений гауссовским фильтром и последующем выделении границ фильтром Лапласа, продемонстрировала низкую эффективность. Последняя часть третьей главы посвящена изучению этапа верификации ОТ. Подробно рассмотрен традиционный метод верификации, основанный на анализе остаточных ошибок ОТ, определяемых как расстояние между ожидаемым положением ОТ (на основе функции преобразования) и определенным в процессе идентификации реальным положением на базовом изображении. При этом все ОТ, остаточные ошибки которых превышают некоторый заданный порог, исключаются из дальнейшего рассмотрения как неправильно идентифицированные. Два альтернативных метода верификации, основанные на сравнении деталей изображений в окрестности ОТ, используют в качестве меры сходства коэффициент корреляции или ошибку МНК, вычисленные по значениям яркости пикселов подлежащих совмещению изображений в пределах квадратного окна вокруг ОТ. Сравнение полученной величины меры сходства с предварительно установленным пороговым значением позволяет отбраковывать неправильно идентифицированные ОТ. Два последних метода верификации продемонстрировали недостаточную эффективность, хотя и позволяли отсеивать небольшую часть неправильно идентифицированных ОТ. Для эффективной верификации предложено использовать комбинированный подход, сочетающий дискриминацию по МНК и коэффициентам корреляции, а также многоступенчатую дискриминацию ОТ по остаточным ошибкам с ужесточением пороговых значений и пересчетом функции преобразования. В работе предложен метод верификации ОТ, основанный на анализе текстуры соответствующих фрагментов изображений с использованием преобразования Уолша. Свойством преобразования Уолша является его способность разделять информацию по разным пространственным частотам. Основное описание содержимого фраг-

18 мента изображения - информация о текстуре и деталях - хранится в области средних частот. В качестве меры сходства для верификации ОТ предложено использовать коэффициент корреляции преобразований Уолша от фрагментов изображений. Для сравнения текстурной информации предложено исключать из преобразованных фрагментов части, соответствующие низким и высоким пространственным частотам. Эффективность предложенного метода верификации ОТ иллюстрируется рис.4, где приведен пример существенно различающихся распределений коэффициентов корреляции преобразования Уолша для правильно и неправильно идентифицированных ОТ на тестовом изображении. 10

10

8

8

6

6

4

4

2

2

0

0 1

0.5

0

1

0.5

0

Рис.4. Гистограмма распределения коэффициентов корреляции преобразования Уолша для правильно (слева) и неправильно (справа) идентифицированных ОТ. В четвертой главе представлено экспериментальное подтверждение эффективности предложенного алгоритма на основе совмещения модельных видеоданных, которые планируется получать с КА FUEGO/FFEW, а также совмещения и разноканальных изображений, полученных с КА Landsat, SPOT, “Ресурс-О1”. На момент выполнения диссертационной работы реальные изображения с КА FUEGO/FFEW еще не были получены. Поэтому проверка работоспособности алгоритма проводилась с использованием двух изображений одной и той же области на земной поверхности, полученных съемочной аппаратурой SPOT-XS в 2000 году с временным интервалом около 2 месяцев. Такой подход не влияет на адекватность эксперимента по причине достаточно близких спектральных характеристик и незначительного различия пространствен-

19 ного разрешения. Результаты предварительной географической координатной привязки моделировались путем ручного выбора с заведомо низкой точностью (средняя ошибка 3 пиксела) десяти соответствующих ОТ, равномерно распределенных по площади изображений. Совмещение изображений проводилось по разработанному алгоритму в автоматическом режиме с использованием специально разработанного программного обеспечения - программы “Registrator”. В результате был получен набор из 106 ОТ, равномерно распределенных по площади изображений. Полученные при этом с использованием линейной функции трансформирования оценки остаточных ошибок ОТ (среднее значение – 0,975 пиксела, максимальное значение – 2,244 пиксела) достаточно велики, что вызвано в первую очередь локальными геометрическими искажениями при перспективной съемке холмистой местности. Для достоверной численной оценки точности полученных результатов совмещаемое изображение было трансформировано путем кусочно-афинного преобразования в проекцию базового в соответствии с полученным набором координат ОТ. Затем на обоих изображениях были вручную отобраны и идентифицированы 30 проверочных ОТ, равномерно распределенных по площади изображений. Среднее значение ошибки проверочных ОТ составило 0,3 пиксела (СКО=0,56). Вторая серия представленных в работе экспериментов была направлена на оценку величины межканальных сдвигов в изображениях, полученных многоканальными съемочными системами Landsat-TM, Landsat-ETM, SPOT-XS, “Ресурс-О1” МСУ-Е. Точная оценка величины межканальных сдвигов является отдельной задачей совмещения. Кроме того, эти эксперименты позволили оценить точность предлагаемого алгоритма совмещения изображений на субпиксельном уровне. В качестве совмещаемого и базового изображения поочередно выбиралось каждое из изображений отдельных каналов (например, всего для случая шестиканального изображения, полученного системой Landsat-TM - 36 возможных комбинаций). Получаемые при автоматическом совмещении по разработанному алгоритму наборы ОТ позволили оценивать величины вертикальных и горизонтальных взаимных сдвигов для каждой пары канальных изображений. С учетом того, что найденные величины описывают сдвиги в единой системе из нескольких канальных изображений, с помощью

20 МНК были получены более точные оценки межканальных сдвигов. При этом сдвиг первого канала предполагался равным нулю. Полученные величины горизонтальных и вертикальных межканальных сдвигов представлены в табл.1. Для наглядности на рис.5 представлено графическое отображение межканальных сдвигов изображения, полученного аппаратурой Landsat-TM (соответствующие пикселы шести канальных изображений показаны смещенными друг относительно друга на найденную величину межканальных сдвигов). Таблица 1 Величины межканальных сдвигов на изображениях, полученных многоканальными съемочными системами (в пикселах) Каналы Канал 1 Канал 2 Канал 3 Канал 4 Канал 5 Канал 6 Канал 7 Канал 1 Канал 2 Канал 3 Канал 4

Горизонтальный сдвиг Landsat-TM 0,0000 -0,0107 -0,0422 -0,0168 -0,5885 -0,5834 SPOT-XS 0,0000 0,0353 -0,2363 -0,2625

Вертикальный сдвиг 0,0000 -0,0929 -0,1086 -0,0716 -0,4946 -0,3755 0,0000 -0,2861 -0,2817 -0,0850

Каналы

Горизонталь- Вертикальный сдвиг ный сдвиг Landsat-ETM Канал 1 0,0000 0,0000 Канал 2 0,0715 0,0260 Канал 3 0,2000 0,0070 Канал 4 -0,0600 -0,0849 Канал 5 0,0127 0,1291 Канал 6 -0,4348 0,5799 Канал 7 0,0391 0,1447 Канал 8 -0,4135 0,5743 «Ресурс-О1» МСУ-Е Канал 1 0,0000 0,0000 Канал 2 0,4402 1,6838 Канал 3 1,2344 2,7919

Ch 5 Ch 3

Ch 2 Ch 4

Ch 7

Ch 1

Рис.5. Межканальные сдвиги изображения, полученного аппаратурой Landsat-TM.

21 Приведенные результаты подтверждают наличие существенных межканальных сдвигов в изображениях, полученных разными многоканальными съемочными системами. В случае камеры МСУ-Е на КА “Ресурс-О1” эти сдвиги особенно велики - до 2,8 размера пиксела. Съемочная система Landsat-ETM продемонстрировала похожую на Landsat-TM картину межканальных сдвигов. Изображение, полученное съемочной системой SPOT-XS продемонстрировало наименьшие межканальные сдвиги - около 0,25 размера пиксела. Эти результаты хорошо согласуются с известными величинами межканальных сдвигов, полученными при летной геометрической калибровке съемочной аппаратуры КА SPOT. Средние величины ошибок определения отдельных межканальных сдвигов и средние ошибки определения индивидуальных ОТ для изображений, полученных разными съемочными системами приведены в табл.2. Таблица 2 Средние ошибки определения межканальных сдвигов на изображениях, полученных разными съемочными системами Съемочная система

Кол-во каналов

Ошибка определения межканальных сдвигов, в пикселах

Ошибка определения ОТ, в пикселах

Landsat-TM

6

0,0165

0,113

“Ресурс-О1” МСУ-Е

3

0,0220

0,221

Landsat-ETM

7

0,0901

0,349

SPOT-XS

4

0,0461

0,273

Для большинства съемочных систем ошибка определения величины межканальных сдвигов не превышает 5% размера пиксела (несколько большая ошибка - около 9% размера пиксела – наблюдается лишь в случае изображения с Landsat-ETM, часть каналов которого первоначально имела худшее пространственное разрешение). Полученная высокая точность подтверждает возможность использования предложенного метода совмещения для оценки межканальных сдвигов многоканальных изображений. Средние значения ошибок для отдельных ОТ составили 0,1-0,35 размера пиксела, что подтверждает высокую субпиксельную точность предложенного алгоритма совмещения.

22 В заключении сформулированы выводы и перечислены основные результаты, полученные при выполнении диссертационной работы. В приложениях представлен определенный Российским космическим агентством состав задач мониторинга природной среды, для решения которых целесообразно использовать данные ДЗЗ в оптическом диапазоне излучений, приведено краткое описание системы ДЗЗ FUEGO/FFEW, а также представлено описание программного обеспечения совмещения видеоданных, реализующего предложенный и разработанный в диссертации метод.

Выводы и основные полученные результаты В представленной диссертационной работе приведены результаты разработки методов и программно-алгоритмического обеспечения совмещения изображений ДЗЗ. На основе анализа задач исследований Земли из космоса, при решении которых необходимо проведение совмещения изображений, сформулированы основные требования к алгоритму совмещения. Проведенный сравнительный анализ известных методов совмещения изображений позволил предложить структуру обобщенного алгоритма совмещения разновременных и разноканальных данных ДЗЗ, обеспечивающего субпиксельную точность. При разработке алгоритма совмещения в рамках диссертационной работы предложен ряд методов для реализации отдельных его этапов. Проведены исследования, позволяющие выбирать оптимальные параметры алгоритма, максимизирующие точность и минимизирующие временные затраты на его выполнение. Предложенный алгоритм совмещения изображений реализован в виде специализированного программного обеспечения. Эффективность разработанных в рамках диссертационной работы алгоритма и методов подтверждается рядом проведенных экспериментов по совмещению разновременных изображений. Высокая точность предложенного алгоритма демонстрируется проведенными по разработанной методике экспериментами по определению межканальных сдвигов в изображениях, полученных многоканальной съемочной аппаратурой Landsat-TM, Landsat-ETM, SPOT-XS, “Ресурс-О1” МСУ-Е. Разработанное при выполнении диссертационной работы программно-алгоритмическое обеспечение в настоящее время используется для оперативной автоматизированной обработки данных ДЗЗ в

23 нескольких европейских научных центрах, проводящих работы в рамках различных проектов ЕКА, и позволяет решать с использованием разновременных космических снимков задачу мониторинга динамических процессов и явлений, происходящих на земной поверхности. В настоящее время полученные диссертантом результаты используются при разработке программно-алгоритмического обеспечения обработки изображений, получаемых создаваемой в Оптикофизическом отделе ИКИ РАН аппаратурой ДЗЗ.

Работы, опубликованные по теме диссертации 1. 2.

3.

4.

5.

6. 7.

Василейский А.С., Витриченко Э.А. Решение кривых блеска звезды ВМ Ori, полученных Волфом в полосах UVBYRI // Письма в астрономический журнал.- 2000.- Т.26.- № 8.- С.613-624. Василейский А.С., Гридин А.Н., Юсупова О.Х. Оптимизация программы развертывания орбитальных группировок спутниковых систем / Современные технологии в задачах управления, автоматики и обработки информации: сборник трудов 8-го международного научно-технического семинара.М.: Издательство МАИ, 1999.- С.333-335. Василейский А.С., Железнов М.М., Зиман Я.Л. Алгоритмы координатной привязки космических видеоданных по навигационным измерениям // Известия ВУЗов: приборостроение.2003.- Т.46.- № 4.- С.37-43. Василейский А.С., Железнов М.М., Зиман Я.Л., Форш А.А. Повышение точности координатной привязки данных дистанционного зондирования Земли // Известия ВУЗов: приборостроение.- 2003.- Т.46.- № 4.- С.62-65. Василейский А.С., Лапшев Ю.В., Максимов Н.А. Система распространения изображений, полученных с метеорологического спутника GOMS / Современные технологии в задачах управления, автоматики и обработки информации: сборник трудов 8-го международного научно-технического семинара.М.: Издательство МАИ, 1999.- С.335-337. Al-Rawi K.R., Casanova J.-L., Vasileisky A.S. A very quick neural network algorithm for cloud detection // Geocarto International.- 2001.Vol.16.- № 2.- P.53-57. Berger M., Kaufmann H., Ziman Y., Kuzmin A., Nikitin A., Polyanski I., Vasileisky A., Oertel D., Zhukov B. Entwicklung neuer Bildregistrierungsverfahren zur Fusion von Fernerkundungsdatensätzen mit unterschiedlichen geometrischen und spektralen

24

8. 9.

10.

11.

12. 13.

Auflösungen.- 1998.- Endbericht zum Vorhaben: BMBF 93F20GUS; GeoForschungsZentrum Potsdam: GFZ-STR 98/02, 52 s. Maximov N.A., Vasileisky A.S. Image processing technology for remote sensing / Proceedings of the 1993 MAI/BUAA international symposium on Automatic control.- Moscow, MAI.- 1993.- P.38-42. Vasileisky A.S., Berger M. Automated Co-registration of Multi-sensor Images on the Basis of Linear Feature Recognition for Subsequent Data Fusion. Proceedings of the “Fusion of Earth Data” conference, Sophia Antipolis, France, 1998.- P.59-66. Vasileisky A.S., Casanova J.-L.R., Al-Rawi K.R. Automatic sub-pixel co-registration of the same sensor images by the least square technology // Observing our environment from space: new solutions for a new millenium. Ed. G.Begni.- 2002.- Rotterdam: Balkema.- P.221226. Vasileisky A.S., Casanova J.-L.R., Al-Rawi K.R. Accurate images’ coregistration technique for fine geo-location in the FUEGO/FFEW project / Teledeteccion. Medio ambiente y cambio global. Eds. J.I.R.Urrutia, J.A.Martinez-Casasnovas.- 2001.- Universidad de Lleida.- P.481-484. Vasileisky A.S., Casanova J.-L.R., Romo A. Control points verification technique for reliable and accurate images co-registration / Proceedings of the 22-nd EARSEL Symposium, Praha, June 4-7, 2002. Vitrichenko E.A., Lazarev V.I., Panferov V.I., Poskonin Yu.A., Revzina N.B., Vasileisky A.S., Altov V.V., Kopiatkevich R.M., Starostin A.N., Belyavskiy E.P., Elchin A.P. Star Sensor Thermal Mode / Proceedings of the 28-th ICES conference, No 981546, 1998.

055(02)2

Заказ

Формат 70×108/32

Размножено на ротапринте ИКИ РАН Москва, 117997, Профсоюзная 84/32 Подписано к печати 9.09.2003 Тираж 100 1 уч.-изд.л.