RU2729557C2

RU2729557C2 - Способ идентификации объектов на цифровых изображениях подстилающей поверхности методом нечеткой триангуляции делоне

Info

Publication number: RU2729557C2
Application number: RU2018126535A
Authority: RU
Inventors: Сергей Олегович Крамаров; Владимир Викторович Храмов; Виктор Иванович Повх; Александр Романович Грошев; Алексей Сергеевич Каратаев; Виктор Владимирович Храмов
Priority date: 2018-07-18
Filing date: 2018-07-18
Publication date: 2020-08-07
Also published as: RU2018126535A3; RU2018126535A

Abstract

Изобретение относится к области информатики и вычислительной техники. Технический результат заключается в повышении достоверности и точности идентификации пространственной сцены в системе технического зрения робота и определения местоположения и расположения целевого объекта в местной системе координат. Такой результат достигается тем, что выполняют предварительную обработку исходного изображения, приведение изображения связанной совокупности объектов, вводимого в вычислительное устройство, к нормальному, стандартному для данного способа видоизменения масштабу, центрирование, вписывание в прямоугольник требуемого размера, поочередное сравнение с хранящимися в памяти компьютера шаблонами, которые хранят в виде нечетких триангуляций Делоне, которые сравнивают с нечеткой триангуляцией Делоне поданного на вход изображения сцены посредством нейронной сети. Сравнение производят путем анализа признаков формы триангуляции полученной сцены объектов земной поверхности, причем производят сравнение по каждому признаку, и принимают решение о совпадении триангуляции Делоне векторной модели сцены полученного изображения и эталонных нечетких триангуляций Делоне. 3 з.п. ф-лы, 3 ил.

Description

Изобретение относится к области информатики и вычислительной техники и может найти применение в системах сбора, преобразования, переработки информации в различных сферах человеческой деятельности: в частности, целевом мониторинге объектов земной поверхности, космонавтике, системах технического зрения роботов различного назначения.

Дистанционное зондирование Земли из космоса в интересах разведки полезных ископаемых, лесного хозяйства, экологии, мониторинга почвенных покровов осуществляют путем получения цифровых изображений подстилающей поверхности. Селективными признаками объектов на изображениях являются: цвет, тон, текстура, топология. Существуют многофункциональные программы редактирования, ретуширование изображений, работа со слоями в палитре RGB, CMYK и др. в интерактивном режиме (например, [Минько П.А. Обработка графики в Photoshop CS2. М.: Изд. «Эксмо», 2007 г., С. 71-89, С. 145-151]). Однако, в целом ряде случаев, указанные селективные признаки для конкретных исследуемых объектов не обладают достаточной стабильностью, нечетки, например, способны к сезонным (периодическим) модификациям. При этом другие объекты на тех же изображениях могут быть идентифицируемы с требуемым качеством.

Пока не существуют универсальные методы автоматической идентификации объектов на изображениях. Необходимый объем информации для обнаружения объектов на изображениях и их идентификации содержится в их форме. Психологически, восприятие образов человеком-оператором происходит на уровне абриса, т.е. контура формы объекта. Под контуром, в данном случае, будем понимать множество пикселов исследуемых объектов, имеющих хотя бы один соседний пиксел, данному объекту не принадлежащий. Для многоградационного изображения контур - это край (некоторой области изображения), где наиболее быстро изменяется градиент функции сигнала. Контур, в отличие от текстуры изображения и фона, обладает определенной независимостью от погоды, освещения, других факторов. На бинарном, двухуровневом цифровом изображении, каждый пиксель также либо однозначно принадлежит, либо не принадлежит исследуемому объекту. Поэтому контур будем считать характеристическим (математическим) объектом.

В то же время, для контура могут быть выбраны характерные точки, например, вершина горы, небольшое озеро и т.п., или вычислен центр тяжести плоской фигуры, ограниченной этим контуром, которые обладают относительной пространственной устойчивостью (по сравнению с точками самого контура).

Исходная информация об объектах изображения, по своей природе, не точна и нечетка, что вызвано совокупностью так называемых НЕ-факторов [Нариньяни А.С. Недоопределенность в системах представления и обработки знаний // Изв. АН СССР. Техн. кибернетика. 1986. №5, С. 3-28]: недоопределенность общих и конкретных знаний о модели изображения вообще и данного объекта изображения в частности; неоднозначность и некорректность модели формирования изображения; неточность (конечная точность) реальных величин, связанная как с ошибками аппроксимации, так и с ошибками измерения; собственно нечеткость (размытость).

Известен «Способ обнаружения аномалий подстилающей поверхности» [Патент РФ на изобретение №2160912, G01V 8/00, опубл. 20.12.2000 г.], который включает получение изображения подстилающей поверхности в виде цифровой матрицы функции яркости I(х, у) от пространственных координат, разбиение изображения на сравнительно однородные по тону участки на основе априорных данных, вычисление фрактальной размерности каждого участка, составление матрицы эталонов из коэффициентов фрактальной размерности каждого участка, разницы между текущим и эталонным значениями фрактальной размерности за пороговый уровень для анализируемого участка. Недостатками данного способа являются:

- неоднозначность разбиения изображения на мозаику участков, приводящая к существенной погрешности вычисления фрактальной размерности;

- не вся доступная для исследования информация (признаки сигнала изображения) используется для идентификации объекта;

- недостаточная информативность единственного признака, вызванная малым интервалом изменения функции фрактальной размерности изображения, что снижает достоверность идентификации.

Известен также способ автоматической идентификации объектов на изображениях [Патент РФ на изобретение №2514155, G06K 9/68, опубл. 01.11.2012 г.]. Задача, решаемая данным способом, состоит в автоматической, идентификации объектов на изображениях путем выделения контурного рисунка объекта и количественного сравнения площади рельефа поверхности объекта внутри контура с эталоном. Согласно данному способу производят сканирование исходного фотоизображения с высоким разрешением. Матрицу полученных отсчетов приводят к масштабу эталонной матрицы путем нормирования пикселей яркости масштабным коэффициентом. Производят разложение полученного изображения на три двумерные матрицы в палитре стандартных цветов RGB. Методами пространственного дифференцирования функции сигнала матриц выделяют контурные рисунки объектов. Поверхности рельефов объектов внутри выделенных контуров аппроксимируют мозаикой треугольников. Площадь мозаик в каждом из каналов рассчитывают по формуле Герона и производят сравнение полученных площадей рельефов поверхности объектов с их значениями для эталонов по критерию достоверности.

Недостатками данного способа являются: не вся доступная для исследования информация (признаки сигнала изображения в целом) используется для идентификации объекта; неоднозначность разбиения изображения на мозаику треугольников, приводящая к существенной погрешности вычисления их площади, в том числе и по формуле Герона; недостаточная информативность единственного признака - площади объекта, вызванная нечеткостью исходных данных изображения, что снижает достоверность идентификации.

Наиболее близким к предлагаемому является способ идентификации протяженных объектов земной поверхности [Патент РФ на изобретение №2640331, G06K 9/62, опубл. 16.06.2017], при котором выполняют предварительную обработку исходного изображения, приводят изображение объекта, вводимого в вычислительное устройство, к единому масштабу, центрируют, вписывают в прямоугольник требуемого размера, поочередно сравнивают с находящимися в памяти компьютера эталонными объектами, при этом сравнение производят путем сопоставления интегральных признаков формы контура, для каждого из находящихся на изображении объектов, затем идентифицируют и соседние с целевым объекты, определяют центры тяжести целевого и соседних с ним контуров объектов, строят матрицы связности совокупности протяженных объектов, которые используют в качестве дополнительных признаков идентификации, производят их сравнение и принимают решение об окончательной идентификации целевого объекта.

Недостатками данного способа являются: неполное использование доступной информации об объектах на изображении; ограниченные возможности сопоставления информации об исследуемом объекте изображения и остальных идентифицируемых объектов сцены.

Задача, решаемая заявленным способом состоит в автоматической, идентификации объектов на изображениях путем выделения контурного рисунка объекта и количественного сравнения площади и формы поверхности объекта внутри контура с эталоном, вычислением (или выбором) координат характерных точек этого контура, с последующей нечеткой триангуляцией Делоне этих точек с аналогичными точками контуров всех других объектов сцены на изображении в целом.

Технический результат достигается тем, что способ идентификации объектов цифровых план-схем протяженных объектов на изображениях методом нечеткой триангуляции включает сканирование исходного изображения с высоким линейным и амплитудным разрешением, приведение матрицы полученных отсчетов к масштабу эталонной матрицы путем нормирования пикселей.

Далее проводится разложение полученного изображения на п двумерных матриц, ответствующих выбранным каналам и частотным диапазонам, выделение методами пространственного дифференцирования контурных рисунков объекта в каждом из выбранных каналов. Затем находят (нечеткие) центры тяжести плоских изображений, ограниченных данным контуром, аналогично находят центры тяжести всех объектов данной сцены на изображении, затем осуществляют нечеткую триангуляцию Делоне всей нерегулярной совокупности характерных точек сцены. После этого производят окончательную идентификацию полученной многомерной матрицы смежности объектов изображения с эталонной.

Способ может быть реализован в нескольких вариантах, в частности при n=1 осуществляется обработка гиперспектрального изображения по одному каналу. Значительное число спутников представляет именно такие снимки. В качестве варианта может быть монохромное изображение, с несколькими «уровнями серого».

При n=3 осуществляется предварительное разбиение (в ходе предварительной обработки) исходного гиперспектрального изображения на три проекции R, G, В. Обработку полученных изображений по трем соответствующим каналам, идентификацию объектов по форме осуществляют путем расчета признаков их контуров в границах выделенных, соответственно, в каналах R, G, В. Далее сопоставляются вычисленные признаки с их эталонными значениями и принимается решение об идентификации на основании предопределенного правила мажоритирования (например 2 из 3х).

Часть спутников, например, LandSat, предоставляет сформированные на борту спектрозональные изображения. В этом случае осуществляется обработка полученных изображений по n соответствующим каналам, идентификация объектов по форме (контуру) осуществляют путем расчета признаков их контуров в границах выделенных (например, как это показано в способе идентификации протяженных объектов земной поверхности [Патент РФ на изобретение №2640331, G06K 9/62, опубл. 16.06.2017], соответственно, n каналах. Затем осуществляется сопоставление вычисленных признаков с их эталонными значениями и принятием решения об идентификации на основании предопределенного правила мажоритирования. В этом случае, в зависимости от решаемой задачи, насколько, например, опасно обнаруженное свойство (значение признака), для принятия решения может быть достаточно двух-трех или даже одного (из 10-15 каналов) с «опасным» признаком.

Вариантом последнего случая может быть такой, что на основе исходных n изображений формируется n матриц значений функций принадлежности элемента (пиксела) I(х,у) искомому свойству подстилающей поверхности, например, определенному типу растения в заданной фазе вегетации.

Вариант реализации данного способа, обеспечивающего высокую оперативность и простоту выполнения является идентификация объекта, применительно к бинаризованному (объект-фон) изображению, при этом выделение контура осуществляется специальным эвристическим алгоритмом [Патент РФ на изобретение №2640331, G06K 9/62, опубл. 16.06.2017].

Техническая сущность изобретения состоит в следующем.

Многие научные задачи при дистанционных исследованиях из космоса решаются путем получения изображения подстилающей поверхности: мониторинг объектов сельхозназначения, обнаружение очагов землетрясений, выделение областей экологических аномалий, пожарищ, разведка объектов военной инфраструктуры, позиционных районов расположения войск и т.д.

До настоящего времени задача распознавания объектов на изображениях подстилающей поверхности решается, как правило, оператором по набору дешифровочных признаков. При этом, наибольший объем информации содержит форма объекта, а на изображении - его контурный рисунок. Для уменьшения потерь используют сканер высокого разрешения. Средняя яркость изображений зависит от условий съемки: времени суток, высоты Солнца, состояния среды (атмосферы), параметров аппаратуры.

В предлагаемом способе в качестве дешифровочных признаков предложены триангуляции Делоне, обладающие тем полезным свойством, что, так как в нашем случае, когда исходные данные, и, соответственно, координаты характерных точек сцены нечеткие, возможные отрезки имеют разную длину, то результат работы, например, «жадного алгоритма» однозначен ([Скворцов А.В. Триангуляция Делоне и ее применение. - Томск: Изд-во Том. ун-та, 2002. - 128 с.], стр. 8). С учетом того, что триангуляция, по определению, планарный граф, все внутренние области которого являются треугольниками, задачей построения триангуляции по заданному (характеристическому) набору двумерных точек называется задача соединения этих точек непересекающимися отрезками так, чтобы образовалась треугольники. Причем, триангуляция удовлетворяет условию Делоне, если внутрь окружности, описанной вокруг любого построенного треугольника, не попадает ни одна из заданных точек триангуляции. При этом считается, что треугольник триангуляции удовлетворяет условию Делоне, если этому условию удовлетворяет триангуляция, составленная только из этого треугольника и трех его соседей (если они существуют). Тем самым, очевидно, что исходные изображения сцен объектов в системах технического зрения могут быть подвергнуты триангуляции Делоне.

Способ поясняется чертежами, где:

Фиг. 1 - Исходное изображение;

Фиг. 2 - Контурный рисунок объекта на фрагменте изображения по одному из каналов (слоев):

а) фрагмент изображения с выделенным контуром,

б) собственно рисунок контура;

Фиг. 3 - Вариант построения триангуляции Делоне на фрагменте сцены изображения подстилающей поверхности.

Порядок реализации способа. Для исключения влияния погодных и сезонных факторов на достоверность идентификации, необходимо сравниваемые изображения привести к единому масштабу, т.е. пронормировать пикселы яркости исходной матрицы, умножив их амплитуду на масштабный коэффициент, упомянутый выше. После масштабирования исходного изображения (Фиг. 1) для повышения достоверности идентификации осуществляют разложение исходной матрицы (изображения) на три ортогональных, в стандартной палитре цветов RGB. Применительно к обработке космической информации, могут быть использованы спектрозональные снимки. Далее выделяют контурные рисунки объекта во всех каналах, например, методами пространственного дифференцирования функции сигнала матриц (См. способ-аналог). Выделенный контурный рисунок в одном из каналов иллюстрируется фиг.2. Вариант программы выделения контуров приведен в работе [Гвоздев, Д.С. Прикладные методы идентификации в автоматизированных системах на транспорте / Д.С. Гвоздев, В.В. Храмов, С.М. Ковалев, Е.В. Голубенко // Монография, Ростов-на-Дону: РГУПС, 2015. - 184 с.]. Формирование первичных признаков исследуемых объектов и их идентификацию по форме осуществляют путем вычисления коэффициентов разложения в ряды ортогональных функций [Гвоздев, Д.С. Прикладные методы идентификации в автоматизированных системах на транспорте / Д.С. Гвоздев, В.В. Храмов, С.М. Ковалев, Е.В. Голубенко // Монография, Ростов-на-Дону: РГУПС, 2015. - 184 с.] и сравнения их с эталонными значениями.

На фиг. 3 представлена триангуляция Делоне для объектов сцены изображения участка земной поверхности.

Claims

1. Способ идентификации объектов на цифровых изображениях подстилающей поверхности методом нечеткой триангуляции Делоне включает предварительную обработку исходного изображения, приведение изображения связанной совокупности объектов, вводимого в вычислительное устройство, к нормальному, стандартному для данного способа видоизменения, масштабу, центрирование, вписывание в прямоугольник требуемого размера, поочередное сравнение с хранящимися в памяти компьютера шаблонами, отличающийся тем, что шаблоны сцен хранят в виде нечетких триангуляций Делоне по заданному набору двумерных точек с нечеткими координатами, которые сравнивают с нечеткой триангуляцией Делоне поданного на вход изображения сцены посредством нейронной сети, причем сравнение производят путем анализа признаков формы триангуляции полученной сцены объектов земной поверхности, при этом производят сравнение по каждому признаку, и принимают решение о совпадении триангуляции Делоне векторной модели сцены полученного изображения и эталонных нечетких триангуляций Делоне.

2. Способ по п. 1, отличающийся тем, что часть двумерных точек, по которым строится триангуляция Делоне имеет четкие координаты.

3. Способ по п. 1, отличающийся тем, что осуществляется предварительное разбиение исходного гиперспектрального изображения на три проекции R, G, В и обработка полученных изображений по трем соответствующим каналам, при этом получают три набора двумерных точек и, соответственно три диаграммы Делоне, а идентификацию сцен объектов осуществляют путем расчета их признаков в границах выделенных, соответственно, в каналах R, G, В, сопоставления их с эталонными значениями и принятием решения об идентификации на основании предопределенного правила мажоритирования (например, 2 из 3х).

4. Способ по п. 1, отличающийся тем, что при формируемом на спутнике спектрозональном изображении осуществляется обработка полученных изображений по соответствующим каналам, идентификацию сцен и отдельных объектов осуществляют путем расчета признаков их контуров в границах выделенных соответственно каналах, сопоставления их с эталонными значениями и принятием решения об идентификации на основании предопределенного правила мажоритирования.