RU2664411C2 - Способ обработки последовательности изображений для распознавания воздушных объектов - Google Patents
Способ обработки последовательности изображений для распознавания воздушных объектов Download PDFInfo
- Publication number
- RU2664411C2 RU2664411C2 RU2016147183A RU2016147183A RU2664411C2 RU 2664411 C2 RU2664411 C2 RU 2664411C2 RU 2016147183 A RU2016147183 A RU 2016147183A RU 2016147183 A RU2016147183 A RU 2016147183A RU 2664411 C2 RU2664411 C2 RU 2664411C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- descriptor
- images
- observed
- descriptors
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
Изобретение относится к области цифровой обработки изображений. Технический результат заключается в повышении точности определения класса наблюдаемого воздушного объекта. Способ заключается: в генерации на основе 3D-моделей эталонных бинарных изображений воздушных объектов, в формировании эталонных дескрипторов внешнего контура для этих изображений, в нормировании дескрипторов внешнего контура, в создании базы эталонных дескрипторов внешнего контура, которая в дальнейшем используется при распознавании наблюдаемого воздушного объекта, и в принятии решения, заключающегося в принятии и аналого-цифровом преобразовании сигнала изображения каждого кадра, в обнаружении наблюдаемого объекта в кадре и формировании его бинарного изображения, в формировании дескриптора внешнего контура, в нормировании дескриптора внешнего контура, в определении различия нормированного дескриптора наблюдаемого изображения с нормированными дескрипторами эталонных изображений, в определении эталонного дескриптора с наименьшей мерой отличия, в определении класса наблюдаемого воздушного объекта.
Description
Изобретение относится к области цифровой обработки изображений и может быть использовано в охранных системах, системах мониторинга и контроля воздушного движения, оптикоэлектронных системах сопровождения объектов и др.
Известен способ и устройство для распознавания изображений объектов [Пат. РФ №2361273, опубл. 10.09.2009], в котором для распознавания используется трехмерная векторная модель эталона объекта. Для трехмерных моделей генерируют множество двухмерных изображений объекта под разными ракурсами, которые характеризуются набором параметров аффинных преобразований: углами поворота по осям x, y, z и масштабом. Количество данных изображений зависит от сложности модели: чем сложнее форма объекта, тем большее количество ракурсов необходимо для точного распознавания объектов. Полученные изображения кодируются 25-битным кодом. Для этого разбивают изображение на 25 равных областей. В том случае, если в области присутствует часть изображения объекта, то ее помечают единицей, в противном случае нулем. Из полученных таким образом бинарных комбинаций формируют базу данных, которая используется для распознавания. Наблюдаемое изображение объекта аналогичным образом подвергают кодированию. При этом перед кодированием в каждом из 25 блоков необходимо отделить на изображении объект от фона. Из базы данных выбирают комбинацию, наиболее похожую на кодированное представление наблюдаемого изображения. Для данной комбинации по соответствующему набору параметров для аффинных преобразований воспроизводится двумерное изображение модели объекта. Данное изображение модели и наблюдаемое изображение объекта сравнивается попиксельно посредством нейросети типа персептрон, которая принимает решение о схожести.
Недостаток данного способа заключается в том, что он является чувствительным к формированию бинарных комбинаций. Ошибки в разделении фона и объекта при анализе частей наблюдаемого изображения будут приводить к формированию ошибочных бинарных комбинаций, что, в свою очередь, будет негативно влиять на точность распознавания.
Известен способ Object recognition system and process for identifying people and objects in an image of a scene [пат. США № US 20050089223, опубл. 28.05.2016], заключающийся в том, что распознавание осуществляется за счет сравнения гистограммы наблюдаемого изображения с эталонными гистограммами из базы данных. На первом этапе создают гистограммы, соответствующие изображениям людей и объектов из эталонной базы. На втором этапе наблюдаемое изображение сегментируется для выделения областей, которые, вероятно, соответствуют людям и объектам. Для каждой области вычисляются гистограммы. Затем для них рассчитывается мера сходства с гистограммами из базы данных. При превышении мерой сходства порога принимается решение об отнесении области к одному из классов.
Недостатком данного способа является то, что для одного и того же объекта при разной освещенности будут сформированы разные гистограммы, т.е. результат распознавания объектов зависит от условий наблюдения. Также при использовании гистограмм для распознавания объектов не используется информации о форме объекта. Данный способ распознавания может давать хорошие результаты только при условии статистического различия точек фона и объекта.
Наиболее близким к заявляемому способу является выбранный в качестве прототипа способ компьютерного распознавания объектов [Пат. РФ №2250499, опубл. 20.04.2005].
Изобретение относится к автоматике и вычислительной технике. Его применение в системах искусственного интеллекта позволяет получить технический результат в виде сокращения времени распознавания за счет сокращения области распознавания. Распознавание согласно данному способу заключается в сравнении текущего изображения объекта с шаблоном. Для этого используется подход на основе алгоритма сопоставления, использующего для сравнения нормированную корреляционную функцию. Согласно алгоритму осуществляется попиксельное сравнение двух изображений. В шаблоне и текущем изображении помимо точек, принадлежащих объекту, присутствуют точки, принадлежащие фону. В рассматриваемом способе для уменьшения числа рассматриваемых точек предлагается исключить из рассмотрения точки фона. Для получения изображения объекта выделяют его границы на текущем изображении. После чего осуществляется виртуальный охват опорных точек контура объекта округлой фигурой, все точки которой сближают с точками контура обрабатываемого изображения объекта. Сближение выполняется до тех пор, пока одни точки фигуры не совпадут с точками контура объекта, а другие ее точки не образуют сплошную границу между двумя близлежащими точками контура объекта, замыкая, таким образом, полностью его контур с получением контура объекта, максимально приближенного к реальному.
После получения контура распознаваемого объекта его изображение центрируют, вписывают в прямоугольник, удаляют фон на площади между обработанным контуром изображения и прямоугольником, накладывают шаблоны на область изображения, ограниченную обработанным замкнутым контуром, сравнивают их и распознают.
Можно выделить несколько недостатков прототипа. Во-первых, способ обладает низкой скоростью работы, так как производится полный перебор базы эталонов, представленной изображениями объектов (шаблонами). Во-вторых, для сравнения текущего изображения с шаблонами используется корреляционная обработка с нормированной функцией, которая является вычислительно сложной, что также приводит к низкой скорости работы. В-третьих, предлагаемый в прототипе способ не обеспечивает инвариантность к повороту и изменению масштаба изображения наблюдаемого объекта, что приводит к уменьшению частоты правильного распознавания.
Технический результат, на достижение которого направлено заявляемое изобретение, состоит в обеспечении инвариантности распознавания к преобразованиям сдвига, поворота и масштаба, а также в повышении частоты правильного распознавания воздушных объектов.
Технический результат достигается тем, что заявляемый способ распознавания воздушных объектов по их двумерному изображению позволяет определить принадлежность объекта к одному из заданных классов воздушных объектов (самолеты, вертолеты, беспилотные летательные аппараты) на основе описания изображения объекта с помощью дескрипторов внешнего контура.
Способ обработки последовательности изображений для распознавания воздушного объекта состоит из предварительного этапа и этапа принятия решения. На предварительном этапе происходит расчет дескрипторов внешнего контура эталонных изображений, сформированных на основе 3D-моделей вертолетов, самолетов и беспилотных летательных аппаратов. На этапе принятия решения для определения класса объекта выбирается дескриптор эталонного изображения, который в наибольшей степени соответствует дескриптору наблюдаемого изображения. На предварительном этапе выполняются наиболее трудоемкие операции и формируется база эталонных дескрипторов. На этапе принятия решения осуществляется сопоставление дескриптора наблюдаемого объекта со всеми дескрипторами эталонных объектов, т.е. непосредственно определяется класс объекта в режиме реального времени.
Предлагаемый способ обработки последовательности изображений для распознавания воздушных объектов включает в себя выполнение следующих действий.
1. На основе 3D-моделей вертолетов, самолетов и беспилотных летательных аппаратов генерируются эталонные бинарные изображения воздушных объектов, достаточно полно охватывающие все возможные ориентации объектов. Для получения такого набора изображений объект интереса необходимо разместить в центре сферы и сгенерировать его изображения из точек, равномерно распределенных на этой сфере [Алпатов Б.А., Бабаян П.В., Масленников Е.А. Алгоритмы оценивания ориентации объекта по его двумерному изображению в бортовых системах видеослежения // Вестник Рязанского государственного радиотехнического университета. - Рязань, 2013. - №3. - С. 3-8].
2. После генерации эталонного бинарного изображения первой 3D-модели объекта на нем выделяются точки внешнего контура и переводятся в полярную систему координат с началом координат в центре масс бинарного изображения объекта. Далее для точек внешнего контура применяется линейная интерполяция и осуществляется медианная фильтрация окном [1×5], в результате чего формируется дискретный дескриптор. Данное действие выполняется для всех бинарных изображений данной 3D-модели объекта.
3. Далее осуществляется нормирование дескрипторов внешнего контура первой 3D-модели. Введение нормировки дескриптора позволяет получить инвариантность способа распознавания к масштабу объекта (расстоянию от объекта-наблюдателя до исследуемого объекта в момент распознавания).
4. После получения дескриптора внешнего контура для первой 3D-модели действия 2-3 выполняются для всех остальных 3D-моделей объектов. Таким образом, создается база эталонных дескрипторов изображений. В данной базе каждому дескриптору внешнего контура поставлен в соответствие класс воздушного объекта (самолет, вертолет, беспилотный летательный аппарат).
Действия 1-4 относятся к предварительному этапу.
5. Производится прием и аналого-цифровое преобразование сигнала изображения каждого кадра наблюдаемой последовательности. Результат аналого-цифрового преобразования изображения каждого кадра имеет вид матрицы чисел 
, 
, 
, где I и J - размеры оцифрованного изображения в элементах разрешения (пикселях), n=1, 2, 3, … - номер кадра. Каждый элемент матрицы является результатом квантования яркости соответствующей точки наблюдаемой сцены.
6. Выполняется обнаружение воздушного объекта алгоритмом на основе пространственной фильтрации, известным из [Пат. РФ №2419150, опубл. 20.05.2011]. Данный алгоритм определяет местоположение объекта в кадре и формирует бинарное изображение воздушного объекта.
7. Далее на полученном бинарном изображении воздушного объекта выделяются точки внешнего контура и переводятся в полярную систему координат с началом координат в центре масс бинарного изображения объекта. Далее для точек внешнего контура применяется линейная интерполяция и осуществляется медианная фильтрация окном [1×5], в результате чего формируется дискретный дескриптор.
8. Далее осуществляется нормирование дескрипторов внешнего контура.
9. Определяется различие нормированного дескриптора наблюдаемого изображения с нормированными дескрипторами эталонных изображений по формуле:
где D0 - дескриптор наблюдаемого изображения, Dj - дескриптор текущего эталонного изображения, ND - размер дескриптора, i - индекс элемента дескриптора, j - индекс эталонного дескриптора, s - величина циклического сдвига дескриптора.
Инвариантность данного дескриптора к повороту изображения достигается циклическим сдвигом дескриптора в процессе сопоставления дескриптора наблюдаемого изображения с дескрипторами эталонных изображений.
10. Формируется вектор, характеризующий степень соответствия наблюдаемого воздушного объекта n-му объекту из базы эталонов:
где Ng - количество эталонных бинарных изображений, сформированных для 3D-моделей воздушных объектов.
11. Определяется эталонный дескриптор с наименьшей метрикой из вектора М:
12. Полученное минимальное значение метрики Rk сравнивается с пороговым значением. Если минимальное значение метрики Rk больше порогового значения, то принимается решение о том, что объект не распознан. В противном случае принимается решение, что класс наблюдаемого воздушного объекта соответствует классу эталонного дескриптора с наименьшей метрикой Rk.
Действия 5-12 относятся к этапу принятия решения.
Таким образом, отличия заявляемого способа от прототипа состоят в следующем:
1. Использование 3D-моделей для формирования базы данных воздушных объектов.
2. Формирование эталонного набора бинарных изображений, охватывающего все возможные ориентации объекта с заданной дискретностью за счет размещения его 3D-модели в центре сферы.
3. Описание изображений воздушных объектов при помощи дескрипторов внешнего контура, инвариантных к изменению масштаба, сдвигу, а также к повороту объекта вокруг оптической оси системы наблюдения.
Claims (1)
- Способ обработки последовательности изображении для распознавания воздушных объектов, включающий предварительный этап, заключающийся в генерации на основе 3D-моделей эталонных бинарных изображений воздушных объектов, в формировании эталонных дескрипторов внешнего контура для этих изображений, в нормировании дескрипторов внешнего контура, в создании базы эталонных дескрипторов внешнего контура, которая в дальнейшем используется при распознавании наблюдаемого воздушного объекта, и этап принятия решения, заключающийся в принятии и аналого-цифровом преобразовании сигнала изображения каждого кадра, в обнаружении наблюдаемого объекта в кадре и формировании его бинарного изображения, в формировании дескриптора внешнего контура, в нормировании дескриптора внешнего контура, в определении различия нормированного дескриптора наблюдаемого изображения с нормированными дескрипторами эталонных изображений, в определении эталонного дескриптора с наименьшей мерой отличия, в принятии решения о классе наблюдаемого воздушного объекта.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016147183A RU2664411C2 (ru) | 2016-12-01 | 2016-12-01 | Способ обработки последовательности изображений для распознавания воздушных объектов |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016147183A RU2664411C2 (ru) | 2016-12-01 | 2016-12-01 | Способ обработки последовательности изображений для распознавания воздушных объектов |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2016147183A RU2016147183A (ru) | 2018-06-06 |
| RU2016147183A3 RU2016147183A3 (ru) | 2018-06-06 |
| RU2664411C2 true RU2664411C2 (ru) | 2018-08-17 |
Family
ID=62557359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016147183A RU2664411C2 (ru) | 2016-12-01 | 2016-12-01 | Способ обработки последовательности изображений для распознавания воздушных объектов |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2664411C2 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2707710C1 (ru) * | 2018-10-13 | 2019-11-28 | Анатолий Васильевич Попов | Способ выделения вектора признаков для распознавания изображений объектов |
| RU2784497C1 (ru) * | 2022-01-18 | 2022-11-28 | АКЦИОНЕРНОЕ ОБЩЕСТВО "Научно-исследовательский институт оптико-электронного приборостроения" (АО "НИИ ОЭП") | Способ обнаружения и слежения за движущимися объектами во временной последовательности изображений |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0587301A2 (en) * | 1992-08-12 | 1994-03-16 | International Business Machines Corporation | Bending point extraction method for optical character recognition |
| US5528703A (en) * | 1992-02-18 | 1996-06-18 | Neopath, Inc. | Method for identifying objects using data processing techniques |
| US6240209B1 (en) * | 1992-12-30 | 2001-05-29 | Koninklijke Ptt Nederland N.V. | Method for deriving character features in a character recognition system |
| RU2250499C1 (ru) * | 2003-11-17 | 2005-04-20 | Иванов Александр Львович | Способ компьютерного распознавания объектов |
| US20050089223A1 (en) * | 1999-11-23 | 2005-04-28 | Microsoft Corporation | Object recognition system and process for identifying people and objects in an image of a scene |
| RU2476825C2 (ru) * | 2011-03-01 | 2013-02-27 | Государственное образовательное учреждение высшего профессионального образования Томский государственный университет (ТГУ) | Способ управления движущимся объектом и устройство для его осуществления |
| RU2550811C1 (ru) * | 2014-04-15 | 2015-05-20 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации | Способ и устройство определения координат объектов |
-
2016
- 2016-12-01 RU RU2016147183A patent/RU2664411C2/ru not_active IP Right Cessation
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5528703A (en) * | 1992-02-18 | 1996-06-18 | Neopath, Inc. | Method for identifying objects using data processing techniques |
| EP0587301A2 (en) * | 1992-08-12 | 1994-03-16 | International Business Machines Corporation | Bending point extraction method for optical character recognition |
| US6240209B1 (en) * | 1992-12-30 | 2001-05-29 | Koninklijke Ptt Nederland N.V. | Method for deriving character features in a character recognition system |
| US20050089223A1 (en) * | 1999-11-23 | 2005-04-28 | Microsoft Corporation | Object recognition system and process for identifying people and objects in an image of a scene |
| RU2250499C1 (ru) * | 2003-11-17 | 2005-04-20 | Иванов Александр Львович | Способ компьютерного распознавания объектов |
| RU2476825C2 (ru) * | 2011-03-01 | 2013-02-27 | Государственное образовательное учреждение высшего профессионального образования Томский государственный университет (ТГУ) | Способ управления движущимся объектом и устройство для его осуществления |
| RU2550811C1 (ru) * | 2014-04-15 | 2015-05-20 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации | Способ и устройство определения координат объектов |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2707710C1 (ru) * | 2018-10-13 | 2019-11-28 | Анатолий Васильевич Попов | Способ выделения вектора признаков для распознавания изображений объектов |
| RU2811357C2 (ru) * | 2021-12-06 | 2024-01-11 | Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ | Программно-аппаратный комплекс, предназначенный для обработки аэрокосмических изображений местности с целью обнаружения, локализации и классификации до типа авиационной и сухопутной техники |
| RU2784497C1 (ru) * | 2022-01-18 | 2022-11-28 | АКЦИОНЕРНОЕ ОБЩЕСТВО "Научно-исследовательский институт оптико-электронного приборостроения" (АО "НИИ ОЭП") | Способ обнаружения и слежения за движущимися объектами во временной последовательности изображений |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2016147183A (ru) | 2018-06-06 |
| RU2016147183A3 (ru) | 2018-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11144786B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
| Zhang et al. | Vehicle-damage-detection segmentation algorithm based on improved mask RCNN | |
| Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
| CN110235138B (zh) | 用于外观搜索的系统和方法 | |
| KR101640998B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| CN110781836A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
| KR101374139B1 (ko) | 감시시스템의 영상 융합을 통한 객체 감시 방법 | |
| JP2006146626A (ja) | パターン認識方法および装置 | |
| JP2017062778A (ja) | 画像のオブジェクトを分類するための方法およびデバイスならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体 | |
| CN112633297B (zh) | 目标对象的识别方法、装置、存储介质以及电子装置 | |
| CN108073940B (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
| JP2005311691A (ja) | 物体検出装置及び方法 | |
| CN111325265B (zh) | 一种针对篡改图像的检测方法及装置 | |
| Fernández et al. | Robust real-time traffic surveillance with deep learning | |
| CN116109950A (zh) | 一种低空域反无人机视觉检测、识别与跟踪方法 | |
| CN111856445B (zh) | 一种目标检测方法、装置、设备及系统 | |
| CN112712066B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| RU2664411C2 (ru) | Способ обработки последовательности изображений для распознавания воздушных объектов | |
| Narayanan et al. | Study and analysis of pedestrian detection in thermal images using YOLO and SVM | |
| CN113243015B (zh) | 视频监控系统 | |
| CN113994381A (zh) | 检测移动物体的方法 | |
| CN109558771B (zh) | 海上船舶的行为状态识别方法、装置、设备及存储介质 | |
| CN110910379B (zh) | 一种残缺检测方法及装置 | |
| Nair et al. | Recognition of Speed Limit from Traffic Signs Using Naive Bayes Classifier | |
| CN113837270B (zh) | 一种目标识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PD4A | Correction of name of patent owner | ||
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20200817 |
|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20201202 |