RU2315352C2 - Method and system for automatically finding three-dimensional images - Google Patents
Method and system for automatically finding three-dimensional images Download PDFInfo
- Publication number
- RU2315352C2 RU2315352C2 RU2005133866/09A RU2005133866A RU2315352C2 RU 2315352 C2 RU2315352 C2 RU 2315352C2 RU 2005133866/09 A RU2005133866/09 A RU 2005133866/09A RU 2005133866 A RU2005133866 A RU 2005133866A RU 2315352 C2 RU2315352 C2 RU 2315352C2
- Authority
- RU
- Russia
- Prior art keywords
- tracking
- interest
- dimensional
- objects
- scene
- Prior art date
Links
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
Изобретение относится к системам автоматического видеонаблюдения, экспертным системам обнаружения и распознавания объектов и может быть использовано в системах идентификации личности по целевому списку в местах скопления множества людей, в частности в метро, в аэропортах и т.п.The invention relates to automatic video surveillance systems, expert systems for detecting and recognizing objects and can be used in identity identification systems according to the target list in crowded places, in particular in the metro, at airports, etc.
Одной из особенностей развития современного общества является возрастающая потребность в автоматизации существующих систем видеонаблюдения и создании нового класса интеллектуальных систем массового обслуживания, рассчитанных на следующие типы приложений:One of the features of the development of modern society is the growing need for automation of existing video surveillance systems and the creation of a new class of intelligent queuing systems designed for the following types of applications:
интеллектуальное видеонаблюдение:intelligent video surveillance:
- обнаружение и слежение за человеком в зоне наблюдения;- detection and tracking of a person in the observation area;
- выделение человека в группе людей в условиях помех и перекрытий лиц;- the allocation of a person in a group of people in the conditions of interference and overlap of persons;
- нахождение элементов тела человека (тело, голова, лицо, глаза, рот, черты лица), определение его уникальных биометрических признаков (рост человека, размер головы, черты лица, антропометрические признаки лица);- finding elements of the human body (body, head, face, eyes, mouth, facial features), determining its unique biometric features (human height, head size, facial features, anthropometric facial features);
- нахождение элементов одежды пользователя для кратковременных процессов слежения и распознавания (например, отслеживание посетителей магазина);- finding elements of the user's clothing for short-term tracking and recognition processes (for example, tracking store visitors);
- захват траектории, анализ динамических характеристик движения объекта;- capture of the trajectory, analysis of the dynamic characteristics of the movement of the object;
биометрическая идентификация личности:biometric identity:
- накопительное извлечение биометрических черт пользователя и создание эталонов подписи, характеризующей уникальность личности пользователя;- cumulative extraction of user biometric features and creation of signature standards characterizing the uniqueness of the user's personality;
- поиск человека по целевому списку и идентификация личности (например, соответствие лица аналогу в базе разыскиваемых преступников);- search for a person on the target list and identification of a person (for example, matching a person with an analogue in the database of wanted criminals);
- ограничение доступа к различным объектам, например офисам, складам, банкоматам, военным объектам.- restriction of access to various facilities, such as offices, warehouses, ATMs, military facilities.
распознавание ситуаций на сцене:scene recognition:
- улучшение пропускной системы массового обслуживания в местах скопления людей (автоматическая проверка паспорта);- Improving the throughput system of mass service in crowded places (automatic passport verification);
- оперативное оповещение при предопределенных событиях, распознавание криминальной ситуации (наличие людей в масках на сцене).- prompt notification of predefined events, recognition of a criminal situation (the presence of people in masks on the stage).
Известны многочисленные решения этой проблемы с различной степенью сложности и достоверности результатов. В частности, в патенте США 6593852 [1] предлагается способ интеллектуального видеонаблюдения, позволяющий обнаруживать нарушителя в охраняемой зоне наблюдения, распознавать его личность, обнаруживать траекторию, идентифицировать траекторию, в случае несовпадения траекторий по метрике или распознавание незарегистрированного пользователя - формировать сигнал о возникновении криминальной ситуации. Однако представленное в патенте устройство может применяться в местах лишь небольшого скопления людей и в силу двумерности применяемых технологий не позволяет идентифицировать трехмерные биометрические характеристики пользователя.Numerous solutions to this problem are known with varying degrees of complexity and reliability of the results. In particular, US Pat. No. 6,593,852 [1] proposes an intelligent video surveillance method for detecting an intruder in a guarded surveillance zone, identifying his identity, detecting a trajectory, identifying a trajectory, if the trajectories do not match the metrics or recognizing an unregistered user - generate a signal about a criminal situation . However, the device presented in the patent can be used in places of only a small concentration of people and, due to the two-dimensionality of the technologies used, does not allow identifying three-dimensional biometric characteristics of the user.
Патент США 6700999 [2] описывает способ и устройство для обнаружения и слежения за множеством объектов "лицо человека". Тем не менее, данный способ и устройство позволяют обнаруживать лицо человека только на близких расстояниях и требуют от пользователя точного позиционирования перед камерой, что не позволяет применять данное устройство для бесконтактного и скрытого наблюдения за людьми.US Pat. No. 6,700,999 [2] describes a method and apparatus for detecting and tracking a plurality of human face objects. However, this method and device can detect a person’s face only at close distances and require the user to accurately position in front of the camera, which does not allow the use of this device for contactless and covert surveillance of people.
Наиболее близким аналогом заявляемого изобретения является патент США 6917703 [3], который раскрывает способ и устройство формирования эталонных признаков лица на основе анализа изображений с помощью преобразования Габора и нейронной сети, а также геометрии графа лица. Недостатком этого решения является то, что при формировании эталонов оно ориентируется на работу только с изображениями лиц высокого качества, без перекрытий внешними объектами, на изображения лиц во фронтальном ракурсе, и может быть применимо только тогда, когда человек позиционирует свое лицо перед камерой.The closest analogue of the claimed invention is US patent 6917703 [3], which discloses a method and apparatus for generating reference features of a face based on image analysis using Gabor transform and neural network, as well as face graph geometry. The disadvantage of this solution is that when forming standards, it focuses on working only with images of high-quality faces, without overlapping by external objects, on images of faces in the front view, and can only be applied when a person positions his face in front of the camera.
Таким образом, задача, на решение которой направлено заявляемое изобретение, заключается в создании такой системы автоматизированного наблюдения и обнаружения, которая сочетала бы объективность и стабильность работы автомата и интеллектуальный подход к оценке ситуации, свойственный охраннику-человеку.Thus, the task to which the claimed invention is directed is to create such a system of automated surveillance and detection, which would combine the objectivity and stability of the machine and the intelligent approach to assessing the situation that is characteristic of a human security guard.
Технический результат достигается за счет разработки системы "Интеллектуального Охранника", использующей более совершенный способ наблюдения и оценки ситуации. При этом автоматизируются три главные функции, выполняемые охранником-человеком, а именно: интеллектуальное видеонаблюдение, биометрическая идентификация личности по целевому списку, распознавание криминальной ситуации.The technical result is achieved by developing a system of "Intelligent Security", using a more advanced way to monitor and evaluate the situation. At the same time, three main functions performed by a human security guard are automated, namely: intelligent video surveillance, biometric identification of a person according to the target list, recognition of a criminal situation.
Предложенные система и способ позволяют решать следующие задачи:The proposed system and method allows to solve the following tasks:
интеллектуальное видеонаблюдение:intelligent video surveillance:
- автоматический сбор информации о трехмерных изображениях, характеризующих зону наблюдения;- automatic collection of information about three-dimensional images characterizing the observation area;
- выполнение быстрого обнаружения, слежения за человеком и обобщения информации о трехмерных объектах, находящихся в зоне наблюдения;- performing quick detection, tracking a person and summarizing information about three-dimensional objects located in the observation zone;
- выделение человека в группе людей в условиях помех и перекрытий лиц;- the allocation of a person in a group of people in the conditions of interference and overlap of persons;
- нахождение элементов тела человека (тело, голова, лицо, глаза, рот, черты лица), измерение его уникальных биометрических признаков (рост человека, размер головы, черты лица, антропометрические признаки лица);- finding elements of the human body (body, head, face, eyes, mouth, facial features), measuring its unique biometric features (human height, head size, facial features, anthropometric facial features);
- нахождение элементов одежды пользователя для кратковременных процессов слежения и распознавания (например, отслеживание посетителей магазина);- finding elements of the user's clothing for short-term tracking and recognition processes (for example, tracking store visitors);
- захват траектории, анализ динамических характеристик движения объекта;- capture of the trajectory, analysis of the dynamic characteristics of the movement of the object;
- распознавание личности по физическим и поведенческим характеристикам лица человека (ситуация массового скопления людей, когда для более точного слежения за объектом помимо обнаружения выполняется процесс распознавания);- recognition of a person by the physical and behavioral characteristics of a person’s face (a situation of mass crowds, when for more accurate tracking of an object, in addition to detection, a recognition process is performed);
- идентификация ситуации загруженности каналов в системе контроля доступа, работающей как система массового обслуживания;- identification of the situation of congestion in the access control system, operating as a queuing system;
- идентификация типов криминальной ситуации за счет анализа действий обнаруженных пользователей и принятия решения о типе ситуации в зоне наблюдения в соответствии с приложением.- identification of types of criminal situations by analyzing the actions of detected users and deciding on the type of situation in the surveillance zone in accordance with the application.
биометрическая идентификация личности:biometric identity:
- накопительное извлечение биометрических черт пользователя и создание эталонов подписи, характеризующей уникальность личности пользователя,- cumulative extraction of biometric features of the user and the creation of signature standards characterizing the uniqueness of the user's identity,
- поиск человека по целевому списку и идентификация личности (например, соответствие лица аналогу в базе разыскиваемых преступников).- search for a person on the target list and identification of a person (for example, matching a person with an analogue in the database of wanted criminals).
распознавание ситуаций на сцене:scene recognition:
- улучшение пропускной системы массового обслуживания в местах скопления людей (например, автоматическая проверка паспорта);- Improving the throughput system of mass service in crowded places (for example, automatic passport verification);
- оперативное оповещение при предопределенных событиях, распознавание криминальной ситуации (наличие людей в масках на сцене, повышенная активность в зоне наблюдения, атака камеры нарушителем).- prompt notification of predetermined events, recognition of a criminal situation (the presence of people in masks on the stage, increased activity in the observation area, camera attack by the intruder).
При этом существо заявляемого способа заключается в выполнении следующей последовательности операций:Moreover, the essence of the proposed method consists in performing the following sequence of operations:
- производят дистанционный сбор трехмерных и двумерных данных по изображениям, характеризующих зону слежения на базе использования трехмерной стереоскопической системы, состоящей из двух и более оптических датчиков с заранее заданным их расположением;- make remote collection of three-dimensional and two-dimensional data from images characterizing the tracking zone based on the use of a three-dimensional stereoscopic system consisting of two or more optical sensors with a predetermined location;
- на основе трехмерных данных о сцене и двумерных данных, характеризующих оптический поток, производят обнаружение объектов-шумов сцены, выделяют статические объекты фона и регулярные динамические объекты-шумы;- on the basis of three-dimensional data about the scene and two-dimensional data characterizing the optical flow, the scene noise objects are detected, static background objects and regular dynamic noise objects are distinguished;
- на основе сравнения трехмерных и двумерных данных о сцене на текущем кадре с референтными данными на предыдущих кадрах и картой объектов-шумов определяют изменения на сцене, формируют трехмерную зону интереса на сцене;- based on the comparison of three-dimensional and two-dimensional data about the scene on the current frame with the reference data on previous frames and a map of noise objects, changes in the scene are determined, a three-dimensional zone of interest on the scene is formed;
- в трехмерных зонах интереса производят предварительную проверку наличия человекоподобных объектов, производят уточнение зон интереса и отслеживание их изменений;- in three-dimensional zones of interest, a preliminary check is made for the presence of human-like objects, the zones of interest are refined and their changes are tracked;
- производят выделение контура отдельных элементов тела человека, зоны интереса разделяют на множество подзон интереса для элементов, производят уточнение положений элементов в пространстве;- make the selection of the contour of the individual elements of the human body, zones of interest are divided into many subzones of interest for the elements, refine the position of the elements in space;
- производят обнаружение трехмерной головы человека и слежение за ней в каждой из зон интереса;- produce the detection of a three-dimensional human head and tracking it in each of the zones of interest;
- производят слежение за лицом человека в каждой из зон интереса;- monitor the face of a person in each of the zones of interest;
- изображения обнаруженного лица нормализуют по размерам, по ракурсам и по освещенности;- images of the detected face are normalized in size, angle and light;
- производят распознавание личности по целевому списку согласно сценарию работы биометрической системы.- make recognition of the person according to the target list according to the scenario of the biometric system.
Система, реализующая заявляемый способ, включает в себя следующие устройства:A system that implements the inventive method includes the following devices:
- устройство дистанционного сбора данных в виде трехмерных и двумерных изображений, характеризующих зону слежения, основывается на использовании трехмерного сенсора, состоящего из двух и более оптических датчиков с заранее известным их расположением;- a device for remote data collection in the form of three-dimensional and two-dimensional images characterizing the tracking zone, is based on the use of a three-dimensional sensor, consisting of two or more optical sensors with their known location;
- устройство обнаружения объектов-шумов сцены, обрабатывающее трехмерные данные о сцене и выдающее карту вероятных объектов-шумов;- a scene noise object detection device that processes three-dimensional scene data and provides a map of probable noise objects;
- устройство выделения зон интереса, сравнивающее трехмерные данные о сцене с референтными данными с предыдущего кадра и с данными карты объектов-шумов, отслеживающее изменения на сцене, выделяющее трехмерные зоны интереса;- a device for selecting zones of interest, comparing three-dimensional data about the scene with reference data from the previous frame and with map data of noise objects, tracking changes in the scene, highlighting three-dimensional zones of interest;
- устройство проверки наличия трехмерных человекоподобных объектов в зоне интереса и коррекции зоны интереса, выдающее на основании движений или формы объекта поднабор из выделенных зон интереса, содержащих человекоподобные объекты, и передающее его на устройство управления системой слежения;- a device for checking the presence of three-dimensional human-like objects in the zone of interest and correcting the zone of interest, issuing, based on the movements or shape of the object, a subset of the selected zones of interest containing human-like objects and transmitting it to the tracking system control device;
- устройство управления системой слежения и распознавания трехмерных объектов, формирующее список объектов слежения, вызывающее одно или несколько устройств слежения и оценки параметров объектов слежения, выделяющее и разделяющее объекты слежения в зонах интереса по результатам их работы, определяющее тип ситуации на сцене, вызывающее устройство формирования биометрических признаков для объекта слежения, по результатам формирования набора признаков инициирующее создание эталона или распознавание личности для объекта слежения; выдающее описание распознанного объекта и список вероятных эталонов;- a control device for a tracking system and recognition of three-dimensional objects, forming a list of tracking objects, calling one or more tracking devices and evaluating parameters of tracking objects, highlighting and separating tracking objects in areas of interest based on the results of their work, determining the type of situation on the stage, causing the device for generating biometric signs for the tracking object, according to the results of the formation of a set of signs initiating the creation of a standard or personality recognition for the tracking object; an outstanding description of the recognized object and a list of probable standards;
- устройство слежения и оценки параметров объектов слежения, состоящее из следующих блоков:- a device for tracking and evaluating parameters of tracking objects, consisting of the following blocks:
-- блок выделения параметров фигуры человека;- block allocation of the parameters of the human figure;
-- блок обнаружения и слежения за трехмерной головой человека в области интереса;- a unit for detecting and tracking a three-dimensional human head in an area of interest;
-- блок обнаружения и слежения за лицом человека на голове;- a unit for detecting and tracking a person’s face on the head;
-- блок обнаружения и слежения за чертами лица человека;- unit for detecting and tracking facial features of a person;
-- блок обнаружения и предсказания траектории движения человека в области интереса;- unit for detecting and predicting the trajectory of a person in the area of interest;
-- блок обнаружения ориентации тела человека в пространстве;- a unit for detecting the orientation of the human body in space;
- устройство формирования биометрических признаков, состоящее из следующих блоков:- a device for the formation of biometric features, consisting of the following blocks:
-- блок формирования набора параметров по переданным признакам;- block forming a set of parameters for the transmitted characteristics;
-- блок наложения ограничений сцены, выделяющий признаки, соответствующие предсказанному поведению человека на сцене;- block imposing restrictions of the scene, highlighting the signs corresponding to the predicted behavior of a person on the stage;
-- блок нормализации признаков с учетом расстояния и ориентации человека в пространстве;- a block of normalization of signs, taking into account the distance and orientation of a person in space;
-- блок оценки репрезентативности признаков, определяющий тип и качество выделения признаков с учетом нормализации;- a unit for evaluating the representativeness of features that determines the type and quality of the selection of features, taking into account normalization;
-- блок обновления параметров и оценок репрезентативности признаков человека;- a unit for updating parameters and representativeness estimates of human attributes;
- устройство распознавания личности, формирующее из целевого списка список вероятных эталонов и просеивающее его с учетом расстояния до человека, ориентации тела человека в пространстве, качества съемки; проводящее сравнение и фильтрацию эталонов в списке с учетом порогов для меры сходства и надежности; выдающее устройству управления меру сходства и надежность сходства объекта с эталонами из списка;- a personality recognition device that forms a list of probable standards from the target list and sifts it taking into account the distance to the person, the orientation of the person’s body in space, and the quality of shooting; conducting comparison and filtering of standards in the list taking into account thresholds for a measure of similarity and reliability; giving the control device a measure of similarity and reliability of similarity of the object with the standards from the list;
- СУБД, хранящая переданные из устройства управления эталоны, кластеризующая их по доступным расстояниям, ориентациям, репрезентативности; организующая доступ устройства распознавания личности к эталонам и их признакам с учетом кластеризации; выдающая устройству управления список вероятных эталонов.- DBMS, storing the standards transferred from the control device, clustering them according to available distances, orientations, representativeness; organizing the access of a personality recognition device to standards and their attributes, taking into account clustering; giving the control device a list of probable standards.
Основными отличительными признаками заявляемого способа и системы являются:The main distinguishing features of the proposed method and system are:
- наличие устройства обнаружения и слежения за объектами разного типа и разного класса сложности (тело человека, голова человека, лицо человека, черты лица (глаза, рот)),- the presence of a device for detecting and tracking objects of different types and different complexity classes (human body, human head, human face, facial features (eyes, mouth)),
- наличие устройства обнаружения и слежения за объектами лица в условиях большого скопления людей,- the presence of a device for detecting and tracking objects of a person in a large crowd,
- повышенная адаптивность к освещенности, помехам на изображениях, шумам фона, наличию внешних объектов,- increased adaptability to illumination, interference in images, background noise, the presence of external objects,
- способность к обнаружению траектории движения объекта,- the ability to detect the trajectory of the object,
- осуществление последовательного сбора и накопления биометрических признаков об объектах в зоне наблюдения, формирование эталона на основе траектории и положения лица в определенных ракурсах,- the implementation of the sequential collection and accumulation of biometric features about objects in the observation area, the formation of a standard based on the trajectory and position of the face in certain angles,
- осуществление распознавания лиц по частичной информации об объекте интереса, распознавание в условиях помех и присутствии внешних объектов,- the implementation of face recognition by partial information about the object of interest, recognition in the presence of interference and the presence of external objects,
- введение функции распознавания лиц при наличии перекрытий лица внешними объектами,- the introduction of face recognition in the presence of overlap of the face by external objects,
- дополнительная идентификация лица по целевому списку (списку подозрительных лиц),- additional identification of the person according to the target list (list of suspicious persons),
- сокращение перебора эталонов целевого списка при помощи параметрической организации целевого списка и выбора из него,- reduction of enumeration of the target list’s standards by parametric organization of the target list and selection from it,
- сокращение проводимых вычислений при сравнении с эталоном целевого списка,- reduction of calculations when comparing with the standard target list,
- осуществление идентификации ситуации по целевому списку траекторий и поведенческих характеристик объектов.- identification of the situation according to the target list of trajectories and behavioral characteristics of objects.
Следует отметить назначение компонентов, входящих в заявляемую систему обнаружения трехмерных объектов и распознавания на предмет присутствия их в целевом списке, в числе которых присутствуют:It should be noted the purpose of the components included in the inventive system for detecting three-dimensional objects and recognition for their presence in the target list, including:
Устройство дистанционного сбора данных (трехмерных и двумерных изображений), характеризующих зону слежения, основывается на использовании трехмерного сенсора (например, стереоскопической системы, состоящей из двух и более оптических датчиков (например, видео- или фотокамер)) с заранее известным их расположением. The device for remote data collection (three-dimensional and two-dimensional images) characterizing the tracking zone is based on the use of a three-dimensional sensor (for example, a stereoscopic system consisting of two or more optical sensors (for example, video or cameras)) with their location known in advance.
Устройство обнаружения объектов-шумов сцены, которое предназначено для обработки трехмерных данных о сцене и выдачи карты вероятных объектов-шумов; оно осуществляет обнаружение объектов-шумов сцены, выделяет статические объекты фона и регулярные динамические объекты-шумы (регулярные движения). A device for detecting scene noise objects, which is intended for processing three-dimensional scene data and issuing a map of probable noise objects; it detects scene noise objects, emits static background objects and regular dynamic noise objects (regular movements).
Устройство проверки наличия трехмерных человекоподобных объектов в зоне интереса и коррекции зоны интереса, которое служит для осуществления следующих функций:A device for checking the presence of three-dimensional human-like objects in the zone of interest and correction of the zone of interest, which serves to carry out the following functions:
- выделение зоны интереса,- highlighting the zone of interest,
- детектирование изменений на сцене,- detection of changes in the scene,
- детектирование тела человека по карте диспарантности,- detection of the human body according to the disparity map,
- детектирование тела человека по движению,- detection of the human body by movement,
- интегрирование решения по детектированию человека.- Integration of solutions for human detection.
Функция выделения зон интереса заключается в сравнении трехмерных данных о сцене с референтными данными с предыдущего кадра и с данными карты объектов-шумов, в отслеживании изменений на сцене, в выделении трехмерных зон интереса. Анализ производится с помощью ускоренной стереореконструкции. На основании движений или формы объекта выдается подмножество из выделенных зон интереса, содержащее возможные человекоподобные объекты, и передается на интегрированный решатель. Функция интегрированного решения служит для принятия решения о наличии в зоне наблюдения одного или более человекоподобного объекта. В дальнейшем информация о наличии и количестве объектов типа тело человека уточняется в устройстве управления системой слежения и распознавания трехмерных объектов.The function of highlighting zones of interest consists in comparing three-dimensional data about the scene with reference data from the previous frame and with map data of noise objects, in tracking changes on the scene, in highlighting three-dimensional zones of interest. The analysis is performed using accelerated stereo reconstruction. Based on the movements or the shape of the object, a subset of the selected zones of interest is issued containing possible human-like objects and transmitted to the integrated solver. The integrated decision function serves to make a decision about the presence of one or more human-like objects in the observation zone. In the future, information about the presence and number of objects such as the human body is specified in the control device of the tracking system and recognition of three-dimensional objects.
Устройство управления системой слежения и распознавания трехмерных объектов формирует список объектов слежения, вызывает одно или несколько устройств слежения и оценки параметров объектов слежения, по результатам его работы выделяет и разделяет объекты слежения (тела людей) в зонах интереса, определяет тип ситуации на сцене, вызывает устройство формирования биометрических признаков для объекта слежения, по результатам формирования набора признаков инициирует создание эталона или распознавание личности для объекта слежения; выдает описание распознанного объекта (положение, траектория) и список вероятных эталонов. The control device for the tracking and recognition system for three-dimensional objects generates a list of tracking objects, calls up one or several tracking devices and evaluates the parameters of tracking objects, selects and separates tracking objects (people’s bodies) in zones of interest based on the results of its operation, determines the type of situation on the scene, calls the device the formation of biometric features for the tracking object, according to the results of the formation of a set of signs initiates the creation of a standard or personality recognition for the tracking object; gives a description of the recognized object (position, trajectory) and a list of probable standards.
- Устройство слежения и оценки параметров объектов слежения состоит из блоков:- The device for tracking and evaluating the parameters of tracking objects consists of blocks:
- блок выделения параметров фигуры человека,- block allocation of the parameters of the human figure,
- блок обнаружения и слежения за трехмерной головой человека в области интереса,- a unit for detecting and tracking a three-dimensional human head in an area of interest,
- блок обнаружения и слежения за лицом человека на голове,- a unit for detecting and tracking a person’s face on a head,
- блок обнаружения и слежения за чертами лица человека (например, глазами, ртом),- a unit for detecting and tracking facial features of a person (for example, eyes, mouth),
- блок обнаружения и предсказания траектории движения человека в области интереса,- unit for detecting and predicting the trajectory of a person in the area of interest,
- блок обнаружения ориентации тела (головы) человека в пространстве.- block detecting the orientation of the body (head) of a person in space.
В блоке выделения параметров фигуры производят последовательный поиск на картах черт (Габора, диспаратности, цветовой) гипотез о фигуре одного человека, а также уточняют расстояние объекта до камеры. Принятие решение о распознавании всей фигуры человека заключается в распознавании основных структурных частей тела человека: голова, плечи, руки, ноги, туловище. С помощью блока обнаружения и слежения за трехмерной головой человека детектируют сигнал головы по картам черт Габора (вертикальная и горизонтальная), при близких расстояниях объекта до камеры имеется возможность использования цветовой сегментации. С помощью блока обнаружения и слежения за лицом человека на голове производят анализ карт черт следующим образом:In the block for selecting the parameters of the figure, a consecutive search is made on the charts of features (Gabor, disparity, color) of hypotheses about the figure of one person, and also specify the distance of the object to the camera. The decision to recognize the entire human figure consists in recognizing the main structural parts of the human body: head, shoulders, arms, legs, body. Using the unit for detecting and tracking a three-dimensional human head, a head signal is detected on Gabor trait cards (vertical and horizontal), at close distances to the camera, it is possible to use color segmentation. Using the unit for detecting and tracking the face of a person on his head, he analyzes the trait cards as follows:
- лицо находят на основе анализа геометрии лица и расположения локальных черт;- a face is found based on an analysis of the geometry of the face and the location of local features;
При формировании решения о детектировании лица используют, по меньшей мере, одно из трех представлений моделей лица:When forming a decision to detect a face, at least one of the three representations of the face models is used:
- представление с помощью локальных черт, объединенных в кластеры черт: (брови и глаза), (ноздри, усы, рот, подбородок), (щеки и нос);- representation using local features combined in clusters of features: (eyebrows and eyes), (nostrils, mustache, mouth, chin), (cheeks and nose);
- представление с помощью цветовой сегментации;- representation using color segmentation;
- представление с помощью анализа карты диспарантности - анализа выпуклости множества соответственных точек.- representation by analysis of a disparity map — an analysis of the convexity of a plurality of corresponding points.
При слежении поиск лица проводят в заданной области интереса (на базе предыдущего положения лица), проверяют консистентность найденных локальных черт- в случае если объект обнаружен с низкой степенью уверенности, запускают процедуры детектирования:When tracking, a face search is carried out in a given area of interest (based on the previous position of the face), the consistency of the local features found is checked, if the object is detected with a low degree of confidence, the detection procedures are started:
Устройство формирования биометрических признаков состоит из следующих блоков: The device for forming biometric features consists of the following blocks:
- блок нормализации признаков, который получает из устройства обнаружения обнаруженные признаки и с учетом расстояния и ориентации человека в пространстве производит над изображениями последовательные процедуры нормализации: согласование размеров, элиминирование наклонов, выравнивание освещенности:- a block of normalization of signs, which receives detected signs from the detection device and, taking into account the distance and orientation of a person in space, performs sequential normalization procedures on images: coordination of sizes, elimination of slopes, leveling of illumination:
- блок формирования набора параметров для формирования эталона, который по полученным нормализованным признакам извлекает определенные типы параметров (например, главные компоненты, признаки Габора),- a unit for generating a set of parameters for forming a standard, which, based on the received normalized features, extracts certain types of parameters (for example, the main components, Gabor features),
- блок наложения ограничений сцены выделяет признаки, соответствующие предсказанному поведению человека на сцене, с учетом обнаруженных шумов и геометрии сцены,- the block imposing restrictions of the scene selects signs corresponding to the predicted behavior of the person on the scene, taking into account the detected noise and geometry of the scene,
- блок оценки репрезентативности признаков, которое определяет тип, качество, полноту базиса и представительность выделенных признаков с учетом нормализации,- a unit for evaluating the representativeness of features, which determines the type, quality, completeness of the basis and representativeness of the selected features, taking into account normalization,
- блок обновления набора параметров и оценок репрезентативности признаков.- block updating the set of parameters and estimates of representativeness of signs.
Устройство распознавания личности, предназначенное для формирования списка вероятных эталонов из целевого списка и просеивания его с учетом расстояния до человека, ориентации тела человека в пространстве, качества съемки; для проведения сравнения и фильтрации эталонов в списке с учетом порогов для меры сходства и надежности; для выдачи устройству управления мерой сходства и надежности сходства объекта с эталонами из списка. A personality recognition device designed to generate a list of probable standards from the target list and sift it taking into account the distance to the person, the orientation of the person’s body in space, and the quality of shooting; to compare and filter the standards in the list taking into account thresholds for measures of similarity and reliability; for issuing to the control device a measure of similarity and reliability of similarity of the object with the standards from the list.
Система управления базой данных (СУБД), которая хранит переданные из блока управления эталоны, кластеризует их по доступным расстояниям, ориентациям, репрезентативности; организует доступ блока распознавания личности к эталонам и их признакам с учетом кластеризации; выдает блоку управления список вероятных эталонов. Заявляемые способ и система поясняются схемой взаимодействия устройств системы. Database Management System (DBMS), which stores the standards transmitted from the control unit, clusters them according to available distances, orientations, representativeness; organizes the access of the personality recognition unit to the standards and their attributes, taking into account clustering; gives the control unit a list of probable standards. The inventive method and system are illustrated by the interaction scheme of the system devices.
На чертеже представлена схема взаимодействия элементов и устройств системы:The drawing shows a diagram of the interaction of elements and devices of the system:
1. Стереоскопическая система;1. The stereoscopic system;
2. 2D камеры;2. 2D cameras;
3. устройство дистанционного сбора данных:3. remote data acquisition device:
3.1. 3D изображения;3.1. 3D images;
3.2. 2D изображения;3.2. 2D images;
4. устройство обнаружения объектов-шумов сцены:4. scene noise object detection device:
4.1. карты черт объектов шумов;4.1. feature maps of noise objects;
4.2. детектор объектов фона;4.2. background object detector;
4.3. детектор регулярных динамических объектов;4.3. detector of regular dynamic objects;
5. устройство выделения зон интереса:5. device for the allocation of zones of interest:
5.1. детектор изменений на сцене;5.1. scene change detector;
6. устройство проверки наличия трехмерных человекоподобных объектов в зоне интереса и коррекции зоны интереса:6. A device for checking the presence of three-dimensional humanoid objects in the zone of interest and correction of the zone of interest:
6.1. детектор тела человека по 3D;6.1. 3D human body detector;
6.2. детектор тела человека по движению;6.2. human body motion detector;
6.3. интегрированный решатель по детектированию человека;6.3. integrated human detection solver;
7. устройство управления системой слежения и распознавания:7. control device for tracking and recognition system:
7.1. генератор списка объектов слежения;7.1. tracking object list generator;
7.2. детектор типа ситуации на сцене;7.2. scene type scene detector;
8. устройство слежения и оценки параметров объектов слежения, состоящее из следующих блоков:8. A device for tracking and evaluating parameters of tracking objects, consisting of the following blocks:
8.1. блок выделения параметров фигуры человека;8.1. a block for selecting parameters of a human figure;
8.2. блок обнаружения и слежения за трехмерной головой человека;8.2. a unit for detecting and tracking a three-dimensional human head;
8.3. блок обнаружения и слежения за лицом человека на голове;8.3. a unit for detecting and tracking a person’s face on the head;
8.4. блок обнаружения и предсказания траектории движения человека;8.4. a unit for detecting and predicting a human trajectory;
8.5. блок обнаружения ориентации тела человека в пространстве;8.5. a unit for detecting the orientation of the human body in space;
8.6. блок обнаружения и слежения за чертами лица человека;8.6. unit for detecting and tracking facial features of a person;
9. устройство формирования биометрических признаков, состоящее из следующих блоков:9. A device for the formation of biometric features, consisting of the following blocks:
9.1. блок наложения ограничений сцены;9.1. block imposing restrictions of the scene;
9.2. блок нормализации признаков;9.2. block normalization of signs;
9.3. блок оценки репрезентативности признаков;9.3. a unit for evaluating the representativeness of features;
9.4. блок формирования набора параметров;9.4. block forming a set of parameters;
9.5. блок обновления параметров и оценок репрезентативности признаков человека;9.5. a unit for updating parameters and representativeness estimates of human attributes;
10. устройство распознавания личности:10. personality recognition device:
10.1. фильтр эталонов по расстоянию до человека;10.1. filter of standards by distance to a person;
10.2. фильтр эталонов по ориентации в пространстве;10.2. filter standards for orientation in space;
10.3. фильтр эталонов по качеству съемки;10.3. filter of standards by shooting quality;
10.4. фильтр по мере сходства и надежности;10.4. filter as similarity and reliability;
11. СУБД эталонов:11. DBMS standards:
11.1. БД эталонов;11.1. Database of standards;
11.2. управление и оптимизация выбора эталонов из БД.11.2. management and optimization of the selection of standards from the database.
От известных решений заявляемое изобретение отличается следующими моментами:From the known solutions of the claimed invention differs in the following:
- детальное и накопительное обнаружение объектов интереса путем нахождения следующих трехмерных объектов: тело, голова, лицо, элементы лица человека,- detailed and cumulative detection of objects of interest by finding the following three-dimensional objects: body, head, face, elements of a person’s face,
- обнаружение шумовых объектов (фон и динамические объекты сцены)- detection of noise objects (background and dynamic scene objects)
- множественное детектирование лиц и формирование списка слежения в толпе (при скоплении 3 и более лиц),- multiple detection of faces and the formation of a tracking list in the crowd (with the accumulation of 3 or more persons),
- слежения за лицом конкретного человека при различных перекрытиях путем использования информации о списке слежения и списке распознанных лиц,- tracking the face of a particular person at various overlaps by using information about the tracking list and the list of recognized faces,
- адаптивность и устойчивость системы обнаружения объектов по отношению к внешним объектам (очки, борода, маска), освещению, ракурсам, что достигается путем использования трехмерных сенсоров, нескольких типов представлений лица и применения процедур детектирования и обобщения признаков лиц по различным ракурсам,- adaptability and stability of the system for detecting objects with respect to external objects (glasses, beard, mask), lighting, angles, which is achieved by using three-dimensional sensors, several types of facial representations and applying procedures for detecting and generalizing facial features from different angles,
- экспертная оценка информации об обнаруженных объектах: информативность, репрезентативность, уровень надежности при детектировании и распознавании,- expert assessment of information about detected objects: information content, representativeness, level of reliability during detection and recognition,
- распознавание лица на сцене в режиме идентификации по целевому списку,- face recognition on the scene in the identification mode according to the target list,
- распознавание лица в условиях перекрытий лица внешними объектами сцены,- face recognition in conditions of overlapping faces with external objects of the scene,
- распознавание ситуации загруженности каналов в системах контроля доступа (таких как системы массового обслуживания) для улучшения пропускной способности работы биометрической системы,- recognition of the situation of congestion in access control systems (such as queuing systems) to improve the throughput of the biometric system,
- распознавание криминальной ситуации и защита биометрической системы распознавания от несанкционированного доступа в случае проникновения зарегистрированного пользователя с несанкционированными пользователями или опасными объектами, что достигается путем скрытого обнаружения присутствия всех возможных пользователей и определенных типов взаимодействия объектов на сцене,- recognition of a criminal situation and protection of a biometric recognition system from unauthorized access in the event of a registered user entering with unauthorized users or dangerous objects, which is achieved by covert detection of the presence of all possible users and certain types of interaction of objects on the stage,
- использование статических и динамических подписей как физических, так и поведенческих биометрических характеристик для распознавания лица.- the use of static and dynamic signatures of both physical and behavioral biometric characteristics for face recognition.
Предпочтительным вариантом реализации способа и системы является их использование для автоматизации существующих систем видеонаблюдения и создания нового класса интеллектуальных систем массового обслуживания, рассчитанных на следующие типы приложений: интеллектуальное видеонаблюдение за пользователем, биометрическая идентификация личности по целевому списку, распознавание криминальной ситуации.The preferred embodiment of the method and system is their use to automate existing video surveillance systems and create a new class of intelligent queuing systems designed for the following types of applications: intelligent video surveillance of the user, biometric identification of the person from the target list, recognition of the criminal situation.
Устройства, входящие в заявляемую систему, реализуются в виде сенсоров трехмерных и двумерных изображений и платы устройств, в состав которой входит, по меньшей мере, один или нескольких сигнальных процессоров.The devices included in the inventive system are implemented in the form of sensors of three-dimensional and two-dimensional images and a device board, which includes at least one or more signal processors.
Изобретение предназначается для дополнительной защиты охранных систем безопасности, в том числе и биометрических, и позволяет повысить интеллектуальность, надежность и точность систем с помощью следующих технологий:The invention is intended for additional protection of security security systems, including biometric ones, and allows to increase the intelligence, reliability and accuracy of systems using the following technologies:
- скрытое и бесконтактное наблюдение за пользователем;- covert and contactless monitoring of the user;
- обнаружение человека в зоне наблюдения;- detection of a person in the observation area;
- уточнение деталей объекта - поиск головы, лица человека без явного сценария взаимодействия пользователя;- clarification of the details of the object - the search for the head, face of a person without an explicit script for user interaction;
- слежение за перемещениями объектов;- tracking the movements of objects;
- идентификация траектории движения объектов, распознавание типа ситуации в сценарии работы биометрической системы (криминальная ситуация, загруженность системы, разные типы поведения пользователя);- identification of the trajectory of the movement of objects, recognition of the type of situation in the scenario of the biometric system (criminal situation, system load, various types of user behavior);
- идентификация личности пользователя в целевом списке по мере его приближения к камерам;- User identification in the target list as it approaches the cameras;
- распознавание криминальных ситуаций и автоматическое формирование подозрительных лиц в целевой список (WATCH LIST);- recognition of criminal situations and automatic formation of suspicious persons in the target list (WATCH LIST);
- быстрый поиск по базе данных;- quick database search;
- механизм индексации и кластеризации БД - для быстрого поиска по базе данных.- DB indexing and clustering mechanism - for quick database search.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2005133866/09A RU2315352C2 (en) | 2005-11-02 | 2005-11-02 | Method and system for automatically finding three-dimensional images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2005133866/09A RU2315352C2 (en) | 2005-11-02 | 2005-11-02 | Method and system for automatically finding three-dimensional images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2005133866A RU2005133866A (en) | 2007-05-10 |
| RU2315352C2 true RU2315352C2 (en) | 2008-01-20 |
Family
ID=38107693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2005133866/09A RU2315352C2 (en) | 2005-11-02 | 2005-11-02 | Method and system for automatically finding three-dimensional images |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2315352C2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2534827C2 (en) * | 2013-04-12 | 2014-12-10 | Закрытое акционерное общество "НТК" | Method for video surveillance of open space with fire hazard monitoring |
| RU2562441C2 (en) * | 2011-02-17 | 2015-09-10 | Нек Корпорейшн | Information processing device |
| WO2017070699A1 (en) * | 2015-10-22 | 2017-04-27 | Bluegoji Llc | Incorporating biometric data from multiple sources to augment real-time electronic interaction |
| RU2680747C1 (en) * | 2015-02-26 | 2019-02-26 | Оки Электрик Индастри Ко., Лтд. | Device for observing the terminal, attachment, decision making and program |
| RU2694016C1 (en) * | 2015-08-06 | 2019-07-08 | Эксенчер Глобал Сервисез Лимитед | Detecting the state of objects using an image processing system, a corresponding method and a persistent machine-readable medium |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2534892C2 (en) * | 2010-04-08 | 2014-12-10 | Самсунг Электроникс Ко., Лтд. | Apparatus and method of capturing markerless human movements |
| US8965064B2 (en) * | 2011-08-22 | 2015-02-24 | Eyelock, Inc. | Systems and methods for capturing artifact free images |
| CN111247526B (en) * | 2020-01-02 | 2023-05-02 | 香港应用科技研究院有限公司 | Method and system for tracking position and direction of target object moving on two-dimensional plane |
-
2005
- 2005-11-02 RU RU2005133866/09A patent/RU2315352C2/en active IP Right Revival
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2562441C2 (en) * | 2011-02-17 | 2015-09-10 | Нек Корпорейшн | Information processing device |
| US9213891B2 (en) | 2011-02-17 | 2015-12-15 | Nec Corporation | Information processing device |
| RU2534827C2 (en) * | 2013-04-12 | 2014-12-10 | Закрытое акционерное общество "НТК" | Method for video surveillance of open space with fire hazard monitoring |
| RU2680747C1 (en) * | 2015-02-26 | 2019-02-26 | Оки Электрик Индастри Ко., Лтд. | Device for observing the terminal, attachment, decision making and program |
| RU2694016C1 (en) * | 2015-08-06 | 2019-07-08 | Эксенчер Глобал Сервисез Лимитед | Detecting the state of objects using an image processing system, a corresponding method and a persistent machine-readable medium |
| US10346687B2 (en) | 2015-08-06 | 2019-07-09 | Accenture Global Services Limited | Condition detection using image processing |
| WO2017070699A1 (en) * | 2015-10-22 | 2017-04-27 | Bluegoji Llc | Incorporating biometric data from multiple sources to augment real-time electronic interaction |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2005133866A (en) | 2007-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7375101B2 (en) | Information processing device, information processing method and program | |
| CN109934176B (en) | Pedestrian recognition system, recognition method, and computer-readable storage medium | |
| US9875392B2 (en) | System and method for face capture and matching | |
| RU2315352C2 (en) | Method and system for automatically finding three-dimensional images | |
| RU2431190C2 (en) | Facial prominence recognition method and device | |
| US8116534B2 (en) | Face recognition apparatus and face recognition method | |
| CN108256459A (en) | Library algorithm is built in detector gate recognition of face and face based on multiple-camera fusion automatically | |
| KR100974293B1 (en) | METHOD AND SYSTEM FOR AUTOMATED FACE DETECTION and Recognition | |
| CN111563480B (en) | Conflict behavior detection method, device, computer equipment and storage medium | |
| JP2000259814A (en) | Image processor and method therefor | |
| Bertoni et al. | Perceiving humans: from monocular 3d localization to social distancing | |
| JP2008146539A (en) | Face authentication device | |
| WO2019220589A1 (en) | Video analysis device, video analysis method, and program | |
| CN112183162A (en) | Face automatic registration and recognition system and method in monitoring scene | |
| KR20220042301A (en) | Image detection method and related devices, devices, storage media, computer programs | |
| KR20090132339A (en) | Method and system for tracing trajectory of moving objects using surveillance systems' network | |
| Mahajan et al. | Detection of concealed weapons using image processing techniques: A review | |
| RU2316051C2 (en) | Method and system for automatically checking presence of a living human face in biometric safety systems | |
| JP7102137B2 (en) | Suspicious person detection device | |
| CN109919968A (en) | A kind of target detection for monitoring unmanned plane and component identifying system | |
| JP2012212968A (en) | Image monitoring apparatus | |
| Chandana et al. | Face recognition through machine learning of periocular region | |
| KR20090053295A (en) | Method and system for monitoring video | |
| Živković | Application for student attendance based on face recognition | |
| Tistarelli et al. | Human face analysis: from identity to emotion and intention recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20121103 |
|
| NF4A | Reinstatement of patent |
Effective date: 20140427 |
|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20140805 |