WO2020197431A1 - Система детектирования, поиска, распознавания и фиксации лица - Google Patents

Система детектирования, поиска, распознавания и фиксации лица Download PDF

Info

Publication number
WO2020197431A1
WO2020197431A1 PCT/RU2019/000296 RU2019000296W WO2020197431A1 WO 2020197431 A1 WO2020197431 A1 WO 2020197431A1 RU 2019000296 W RU2019000296 W RU 2019000296W WO 2020197431 A1 WO2020197431 A1 WO 2020197431A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
face
central server
computing device
camera
Prior art date
Application number
PCT/RU2019/000296
Other languages
English (en)
French (fr)
Inventor
Сергей Владимирович ВАСИЛЕВСКИЙ
Виталий Андреевич Лобанёв
Original Assignee
Общество с ограниченной ответственностью "Арсенал 67"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Арсенал 67" filed Critical Общество с ограниченной ответственностью "Арсенал 67"
Publication of WO2020197431A1 publication Critical patent/WO2020197431A1/ru

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the invention relates to the field of computing technology for detecting, searching, recognizing and fixing a person's face, and can be used to search for persons, for example, intruders in crowded places.
  • the method includes (a) initializing parameters used to discover a user; (B) determining the current mode; (c) when it is determined that the current mode is a face detection mode, perform face detection for each of the plurality of image frames, and when no face is detected even after a predetermined number of face detection attempts, select the motion detection mode and return to step (b); and (d) when it is determined that the current mode is a motion detection mode, perform motion detection on a predetermined number of image frames at a time, and when at least a predetermined number of motion detections are performed successfully within a predetermined period of time, return to step (a).
  • the known solution has disadvantages.
  • the known system does not provide for the formation of an image of a face to be searched for using downloaded photo or video data and searching for a face by: a) comparing the processed data with the downloaded from external data sources or with a formed face image, b) input of date, time and face motion vector data. Also among the disadvantages of the known solution is the lack of the ability to calculate and build a set of locations on an electronic map, where the person found as a result of the said search was recorded.
  • the object of the invention is to eliminate the above disadvantages.
  • the technical result is to improve the accuracy of detecting, searching, recognizing and fixing a face to ensure high accuracy in calculating the areas with the greatest number of matches of the desired face by constructing face tracking on an electronic map.
  • a system for detecting, searching, recognizing and fixing a face comprising: at least one computing device containing a processor and memory and configured to control at least one remote camera, receive video , photo data from said camera, including the geographical coordinates of the camera, processing, storing the processed data in said memory with the date and time of the captured person, and transmitting the processed data to the central server; a display device of a computing device connected to said computing device and configured to display and reproduce to at least one user said processed data; communication module computing a device configured to establish two-way communication with the communication module of the central server via a data network; a communication module of the central server configured to establish two-way communication with the communication module of the computing device via a data network; a central server containing a processor and memory and configured to receive processed video, photo data, including the geographical coordinates of the camera, from said device and store the processed data in said memory; and a central server display device connected to said central server and configured to display the processed data indicating the location on
  • the computing device and the central server comprise databases configured to store the generated at least one face image.
  • a digital ip-camera is used, configured to generate an rtsp video stream in mjpeg or h264 format.
  • the central server contains an electronic map module adapted to edit the electronic map.
  • the memory of the central server is made with the possibility of data redundancy, has a block structure of independent blocks, qualifying for read and write groups.
  • the central server contains a data protection module configured to protect data stored in the central server memory from unauthorized access to data, copying or modification of stored data.
  • the remote computing device and the central server comprise replication modules capable of two-way replication of data stored in the device memory and the central server memory.
  • at least one remote camera is equipped with a microphone and provides audio data transmission to the computing module and the central server.
  • two-way communication is provided via an optical communication channel and / or VPN communication channel.
  • the computing device and / or the central server plays a sound signal that notifies at least one user if at least one match is found or at least one search result is found.
  • the computing device comprises a self-diagnostic module configured to: detect failures when receiving video, photo data from a remote camera, processing said data, storing processed data, displaying and playing said data, forming a face image, searching for a face, transmitting matched or found data to the central server; elimination of the detected failures, and generating an alert to at least one user, if the detected failure is unrecoverable.
  • the central server contains a module for diagnosing the operation of at least one remote camera, configured to record the state of the said camera over the entire time interval, build diagrams of the operability of the said camera, and generate information messages to at least one user in in the event that a malfunction occurs in the said camera.
  • a face search is performed by searching by belonging to a specific age and gender.
  • FIG. 1 is a schematic diagram of the claimed system for detecting, searching, recognizing and fixing a face.
  • FIG. 2 is a flowchart of the steps of the system for detecting, searching, recognizing and fixing a face.
  • System 100 comprises at least one computing device 101, display device 102 of computing device, communication module 103 of computing device, at least one remote camera 104, communication network 105, communication module 106 of the central server, central server 107, and the device display 108 central server.
  • FIG. 1 depicts six remote cameras 104, two computing devices 101, two display devices 102 of a computing device, and two communication modules 103 of a computing device for illustrative purposes.
  • the given number of the mentioned elements is given for illustrative purposes only and does not serve to limit the scope of the claims of this invention.
  • Each of these elements, in the context of the claimed invention may be at least one.
  • one remote camera 104, one computing device 101, one display device 102 of the computing device, and one communication module 103 of the computing device will be used to explain this technical solution.
  • a computing device 101 is meant a device containing a processor and memory and configured to control at least one remote camera, receive video, photo data from said camera, including the geographical coordinates of the camera, processing, preservation processed data in said memory with the date and time of the recorded person, and transferring the processed data to the central server.
  • a personal computer, laptop and any other device containing a processor and memory can be used as this device.
  • the computing device may further comprise a replication module (not shown in the figure) capable of two-way replication of data stored in the memory of the device 101 and the memory of the central server 107.
  • the Computing device 101 provides data processing, including: detection, recognition and fixation of the face, face tracking, construction of the data of the face motion vector. Also, the device 101 performs the formation of a face to be searched from the downloaded photo or video data. Data can be downloaded from both a computer-readable storage medium and from external network storage sources such as cloud storage, remote storage server, etc. Face detection, recognition and fixation are performed by a remote camera, which captures an image of a person, detects an area of the image characteristic of a person's face, captures an image of a person's face, and performs recognition and fixation. After detecting, recognizing and fixing the face, the apparatus 101 performs face tracking and construction of the face motion vector data.
  • processed data is obtained.
  • Said data with the indication of date and time is transmitted to the central server 107 or to external data storage sources with parallel storage in the memory of the computing device 101, where the memory of the device 101, the server 107 or external data storage sources contain databases in which the mentioned processed data are stored and stored. data.
  • the device 101 searches for a face by comparing the processed data with the generated face data. Also the search can be performed by entering date, time and face vector data.
  • the device 101 performs sound reproduction. a signal notifying at least one user that at least one match or at least one search result has been found. In this case, the user can also be notified by sending the user an SMS notification or an email notification. Subsequently, positive search or comparison results are sent to the central server 107. Additionally, the device 101, as a result of detecting, recognizing and fixing a person's face, is made capable of determining the sex or age of the face.
  • the device 101 can search for a face by searching for a specific age and gender.
  • tracking means determining the location of a moving object (several objects) in time using a camera.
  • the tracking algorithm analyzes video frames and gives out the position of moving targets in relation to the frame.
  • tracking is understood to be the imposition of marks on the electronic map of the zones where this or that person was recorded.
  • the computing device 101 may further comprise a self-diagnostic module configured to: detect failures when receiving video, photo data from a remote camera, processing said data, storing processed data, displaying and playing said data, generating a face image, searching for a face , transferring matched or found data to the central server; elimination of identified failures; and generating an alert to at least one user if the detected failure is irreparable.
  • Notification to the user can be sent by any of the above methods (sound notification, SMS notification, notification sent to e-mail, at least one user).
  • the computing device 101 is connected to the remote camera 104.
  • the remote camera 104 a digital ip-camera configured to generate an rtsp video stream in mjpeg or h264 format, an analog camera, a camera equipped with a microphone and providing transmission of audio data to the computing module 101 and the central server 107 and other types of cameras capable of remote data transmission.
  • a remote camera can be installed, for example, in crowded places, in a protected area in order to identify intruders who are in the protected area illegally.
  • Camera 104 transmits data to computing device 101 and server 107.
  • the computing device 101 is connected to the display device 102 of the computing device. There may be more than one display device 102 for one computing device 101.
  • the display device 102 displays and reproduces to at least one user the data processed by the computing device 101.
  • the display device 102 can also display data from a remote camera in real time.
  • the computing device 101 is also connected to the communication module 103 of the computing device.
  • the communication module 103 provides two-way communication with the communication module 106 of the central server via the communication network 105.
  • the communication module 103 can be used, for example, a network switch, router, etc.
  • a network with an optical communication channel, Fast Ethernet and VPN communication channel can be used, which are used to access trusted and untrusted users.
  • the network 105 can be of various standards such as LTE, LTE-A, 3G, 4G, etc.
  • trusted users means users who have passed the authorization, authentication procedure and have "administrator” rights in accordance with the passed authorization and authentication. Access rights of the "administrator” type imply access to all functions and capabilities of the system for detecting, searching, recognizing and fixing a face.
  • the communication module 106 of the central server is connected to the communication module 103 of the computing device via the above-mentioned network, and provides two-way communication with the communication module 103 via the aforementioned communication network 105.
  • the communication module 106 can be, for example, a network switch, router, etc.
  • the central server 107 comprises a processor and a memory and is configured to receive processed video, photo data including camera geographic coordinates from the device 101 and store the processed data in said memory.
  • the memory of the central server 107 can additionally be made with the possibility of data backup, has a block structure of independent blocks, qualifying for read and write groups.
  • the server 107 contains a data protection module configured to protect data stored in the memory of the central server from unauthorized access to data, copying or modification of stored data.
  • the server 107 may further comprise a replication module (not shown in the figure) adapted to two-way replication of data stored in the memory of the device 101 and the memory of the central server 107.
  • the memory of the server 107 contains databases storing text, graphic and audio information, obtained from both external sources outside of the system 100 and from computing devices 101.
  • Server 107 is configured to search for a face by: a) comparing the processed data with data loaded from external sources or with a generated face image, b) inputting date, time and face motion vector data. This search is performed by the server when receiving data, by means of device 101, from a remote camera. In general, server 107 receives processed positive search or comparison data from device 101. Additionally, the server 107 can search for a face by searching for a specific age and gender.
  • the server 107 receives the processed data, including the geographical coordinates of the camera, from the computing device 101 and performs additional processing of this data, as a result of which the geographical coordinates are aligned with the electronic map.
  • post-processed data is obtained indicating the location on the electronic map of the remote camera, the data of which is displayed and reproduced at the moment, the face data that was found or matched in accordance with the face search capability of the computing device, and the location on the electronic map of the remote camera. which performed the transfer of found or matched data.
  • the server 107 may also include a data protection module configured to protect data stored in the central server memory from unauthorized access to data, copying, deletion, illegal blocking (encryption) of data, or alteration of stored data.
  • a data protection module configured to protect data stored in the central server memory from unauthorized access to data, copying, deletion, illegal blocking (encryption) of data, or alteration of stored data.
  • the server 107 may further comprise a module for diagnosing the operation of at least one remote camera, configured to fix the state over the entire time interval said camera, building diagrams of said camera's operability, and generating information messages, at least for one user, in the event that a malfunction occurs in the operation of said camera.
  • the server 107 may further comprise an electronic map module configured to edit the electronic map on which the aforementioned locations are displayed.
  • This module is connected to the cartography server of a detailed geographic electronic map, where the cartography server includes a database describing the geographic objects of an electronic map, a rendering and viewing component for obtaining maps in standard graphic formats, as well as modules that provide free editing of an electronic map.
  • the computing device 101 includes the following subsystems connected in series and respectively.
  • a subsystem for receiving a video stream from a camera connected to a subsystem for detecting, recognizing, fixing a face, and designed to receive a video stream (or a video stream with an audio stream) from the camera.
  • the subsystem generates a video archive in accordance with the specified schedule and ensures correct operation with cameras from different manufacturers.
  • a Subsystem for detecting, recognizing and fixing a face connected to a subsystem for storing received and recognized information, containing a database of information about recognized faces and performing: processing of a video stream (or video stream with an audio stream) from a camera, face detection, face recognition, tracking people by faces, recording information about the recognized face, date, time, fixation location, coordinates of the camera installation location in the database, vector recording movement, saving the image of a person at the time of fixation in file storage.
  • Subsystem for storing received and recognized information connected to a subsystem for displaying, searching for received and stored information, with a subsystem for replicating the base of search images, a subsystem for training search images, an administration subsystem, a self-diagnosis subsystem and designed to store the received and recognized information and online access analysis, processing and unloading within 24 hours 7 days a week or during the entire operation of the camera.
  • a subsystem for displaying, searching for received and stored information which provides the ability to display video from the camera, display the recorded faces for the last 5 minutes, indicating the fixation time and motion vector, informing the recognized faces with a sound signal (or in another way described above) in the event matches with the search image, the ability to search by date, time of fixation, motion vector, gender and / or age, search in the database of the face image by the loaded face image.
  • a Subsystem for replicating the database of search images with a central server providing two-way replication of the database of search images with the database of search images on the central server, and containing the database of search images in an up-to-date state.
  • the current state means updating the database by adding new search images.
  • the replication subsystem interacts (for example, in real time) with the face detection, recognition and fixation subsystem in case of a change in the state of the search image database. Those. any changes in the state of the search image database will be reflected by re-saving to a database of information about the recognized faces of the subsystem for face detection, recognition and fixation.
  • the Subsystem for training search images from photo, video materials and video stream of the camera designed for: generating search images from the downloaded photographic material or from the video material available in the storage system, as well as the video stream necessary for identifying recognized persons, and saving them to the database of search images ; interaction with the search image database replication subsystem.
  • An administration subsystem that provides administrative functions in the system (connecting / disconnecting cameras; providing notifications on the general operation of the system, with the output of graphically understandable information on the ongoing processes of all subsystems); the ability to control all subsystems of the computing device 101.
  • the management subsystem provides communication between the subsystems of the computing device 101 and the subsystems of the server 107.
  • a self-diagnostic subsystem that monitors the state of the system in order to detect problems that can lead to a malfunction, which will entail a complete or partial loss of data, and is designed to: monitor the ongoing processes of all subsystems; elimination of identified malfunctions and generating notifications to the user (in any of the above ways) in the event of unrecoverable failures and malfunctions that require operator intervention.
  • the central server 107 includes the following sequentially and respectively interconnected subsystems.
  • Subsystem for obtaining photo, video, recognized information from the computing device 101 and the location of cameras 104 connected to the subsystem simultaneous display of the video image and providing: obtaining information about the fixed and recognized faces by the computing module, including in the case of coincidence of the recognized face with the database of search images (cropping an image of a person with a recognized face indicating the date, time, coordinates of the fixation point, motion vector), obtaining information about the coordinates of the computing device 101 or camera 104.
  • Information display can also occur in real time.
  • An operational monitor subsystem connected to the subsystem of a freely editable detailed electronic map and providing a display of recognized faces (for example, in real time) if they match the search image database for all connected devices, indicating the date, time, fixation location, vector directions of movement, notification with a sound signal (or in any way described above) of each new identification when adding an operational monitor to the display results, the ability to view the location of a fixed person on an edited detailed electronic map.
  • a subsystem of a freely editable detailed electronic map connected to a subsystem for displaying, searching for the received and stored information, and is designed to bind the computing device and / or camera to the geographic objects of the electronic map and identify the location of the computing device and / or camera.
  • the subsystem includes: a local cartography server of a detailed geographic electronic map, a detailed base describing the geographic objects of an electronic map, a rendering and viewing component for obtaining electronic maps in standard graphic formats, and tools for editing an electronic map.
  • a subsystem for displaying, searching for received and stored information connected to a subsystem of statistics and analysis of accumulated information, and providing the ability to display a detailed video for a selected camera (for example, in real time), displaying captured faces for the last 5 minutes, indicating the time fixation and motion vector, the ability to search by date, fixation time, motion vector, recognized data, including gender, age, search in the database for the loaded face image, search in the database of the central server of the selected fixed recognized face for the selected a period of time, with the construction of marks on a detailed electronic map, where this person was recorded.
  • Subsystem of statistics and analysis of accumulated information with the output of graphically expanded diagrams and graphs, connected to the storage subsystem and intended for: output of statistical information on the recorded recognized persons; outputting statistics of the locations of fixation zones on the electronic map with the greatest number of matches with the database of search images, outputting statistics of the operation of computing devices (or computing device) by the hour with the number of fixed faces, building a track of fixations of several selected (loaded) faces on a detailed electronic map.
  • a subsystem for diagnosing the operation of computing devices designed for: timely informing the operator about problems in the operation of the connected computing modules; proposing to the operator the most common scenarios for solving current problems to bring the connected computing modules into working condition; fixing the state of computing modules over the entire time interval and constructing performance diagrams.
  • An administration subsystem connected to a subsystem for diagnosing the operation of computing devices, a storage subsystem, an information security subsystem, and provides: execution of administrative functions in the system (connecting / disconnecting computing modules); connection / disconnection of data storage arrays; monitoring the overall operation of the system, with the output of graphically understandable information on the ongoing processes of the operation of all subsystems, providing alerts on the operation of subsystems, computing modules, remote storages, the ability to manage the processes of all server subsystems 107.
  • An information security subsystem designed to protect data and increase the level of reliability of their storage Includes organizational and technical measures to protect information aimed at excluding: unauthorized access, copying, provision or dissemination of information (ensuring the confidentiality of information); illegal destruction or modification of information (ensuring the integrity of information); illegal blocking of information (ensuring the availability of information).
  • FIG. 2 A flowchart 200 of the steps of the face detection, search, recognition and fixation system is shown in the figure (Fig. 2).
  • the system for detecting, searching, recognizing and fixing a face is implemented in accordance with the following steps.
  • a face image is captured by the computing device 101 via the remote camera 104.
  • the captured image is subjected to preprocessing, namely, on the captured image, face detection, recognition and fixation, face tracking, and face motion vector data are constructed.
  • the captured image by the remote camera has the geographic coordinates of the said camera. The process then continues to block 202.
  • step 202 the captured image is searched by comparing the preprocessed data with data loaded from external sources or with the generated face image. Also at this stage, the pre-processed data with the date and time of the captured person is stored in the memory of the computing device 101 and in the memory (distributed file system) of the remote video data storage (not shown in the figure). According to the aforementioned preservation history is formed monitoring the remote camera 104. In case no faces were found, the process returns to step 201. Otherwise, the process continues to step 203.
  • the aforementioned stored data via a secure communication channel of the data transmission network 105 after a certain period of time is transmitted to the central server 107 and stored in the memory of the server 107.
  • the data stored in the memory of the server 107 is stored in the archive storage (not shown in FIG. .) is similar to the aforementioned remote video storage.
  • the memory of the server 107 is periodically cleaned of redundant data, therefore storage in the archive storage is intended to store all data transmitted by the computing device 101 without losing them. The process then proceeds to block 204.
  • a face search is performed by comparing the processed data with data loaded from external sources or with a generated face image, or by entering date, time, and face motion vector data. Also at this stage, in contrast to step 202, the tracking of the face's locations is built on the electronic map if at least one match is found or at least one search result is found. This stage is repeated until at least one match has been found. If at least one match is found, the process continues to step 205.
  • step 205 the display 108, the processor and the memory of the central server 107 of the zones (on the electronic map) with the highest number of matches of the said person are output by the display device 108.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к области вычислительной техники. Система содержит вычислительное устройство, выполненное с возможностью : сравнения обработанных данных с загруженными из внешних источников данными или с сформированным образом лица, ввода данных даты, времени и вектора движения лица, передачи совпавших или найденных данных центральному серверу посредством сети передачи данных. Центральный сервер выполнен с возможностью поиска лица путем: сравнения обработанных данных с загруженными из внешних источников данными или с сформированным образом лица, ввода данных даты, времени и вектора движения лица, построения на электронной карте трекинга местоположений упомянутого лица в случае если найдено совпадение или найден результат поиска, где под трекингом подразумевается вычисление и построение множества местоположений на электронной карте, где было зафиксировано найденное в результате упомянутого поиска лицо. Изобретение позволяет повысить точность детектирования, поиска, распознания и фиксации лица для обеспечения высокой точности вычисления зон с наибольшим числом совпадений искомого лица посредством построения трекинга лица на электронной карте.

Description

СИСТЕМА ДЕТЕКТИРОВАНИЯ, ПОИСКА, РАСПОЗНАВАНИЯ И
ФИКСАЦИИ ЛИПД
Область техники:
[0001] Изобретение относится к области вычислительной техники для детектирования, поиска, распознания и фиксации лица человека, и может использоваться для розыска лиц, например, злоумышленников в местах массового скопления людей.
Уровень техники:
[0002] В настоящее время существует множество систем, предназначенных для обнаружения и фиксации лица человека. Одним из примеров таких систем является система обнаружения человека посредством обнаружения его лица и движения, описанная в источнике ЕР 1426898 А2. Данное решение предусматривает способ и устройство обнаружения человека. В этом способе человека обнаруживают по изображению, полученному с цифровой видеокамеры. Способ включает в себя (а) инициализацию параметров, используемых для обнаружения пользователя; (Ь) определение текущего режима; (с) когда определено, что текущим режимом является режим обнаружения лица, выполняют обнаружение лица для каждого из множества кадров изображения и когда лицо не обнаруживают даже после предварительно определенного числа попыток обнаружения лица, выбирают режим обнаружения движения и возврат к этапу (Ь); и (d) когда определено, что текущий режим является режимом обнаружения движения, выполняют обнаружение движения на заранее определенном количестве кадров изображения за раз, и когда, по меньшей мере, предварительно определенное количество обнаружений движения выполняются успешно в течение предварительно определенного периода времени, возвращаются к шагу (а). [0003] Однако известному решению присущи недостатки. В числе недостатков известного решения имеется низкая точность детектирования, поиска, распознавания и фиксации лица, поскольку в известной системе не предусмотрено формирования образа лица, подлежащего поиску, по загружаемым фото- или видео- данным и поиска лица путем: а) сравнения обработанных данных с загруженными из внешних источников данными или с сформированным образом лица, Ь) ввода данных даты, времени и вектора движения лица. Также в числе недостатков известного решения имеется отсутствие возможности вычисления и построения множества местоположений на электронной карте, где было зафиксировано найденное в результате упомянутого поиска лицо.
Раскрытие изобретения:
[0004] Задачей изобретения является устранение указанных выше недостатков.
[0005] Техническим результатом при этом является повышение точности детектирования, поиска, распознания и фиксации лица для обеспечения высокой точности вычисления зон с наибольшим числом совпадений искомого лица посредством построения трекинга лица на электронной карте.
[0006] Для достижения данного технического результата предложена система детектирования, поиска, распознания и фиксации лица, содержащая: по меньшей мере, одно вычислительное устройство, содержащее процессор и память и выполненное с возможностью управления, по меньшей мере, одной удаленной камерой, приема видео-, фото- данных от упомянутой камеры, включающих географические координаты камеры, обработки, сохранения обработанных данных в упомянутой памяти с датой и временем зафиксированного лица, и передачи обработанных данных центральному серверу; устройство отображения вычислительного устройства, соединенное с упомянутым вычислительным устройством и выполненное с возможностью отображения и воспроизведения, по меньшей мере, одному пользователю, упомянутых обработанных данных; модуль связи вычислительного устройства, выполненный с возможностью установки двухсторонней связи с модулем связи центрального сервера посредством сети передачи данных; модуль связи центрального сервера, выполненный с возможностью установки двухсторонней связи с модулем связи вычислительного устройства посредством сети передачи данных; центральный сервер, содержащий процессор и память и выполненный с возможностью приема от упомянутого устройства обработанных видео-, фото- данных, включающих географические координаты камеры, и сохранения в упомянутой памяти обработанных данных; и устройство отображения центрального сервера, соединенное с упомянутым центральным сервером и выполненное с возможностью отображения обработанных данных с указанием местоположения на электронной карте, по меньшей мере, одной удаленной камеры, данные которой отображаются и воспроизводятся в текущий момент, данных лица, которые были найдены или совпали в соответствии с возможностью поиска лица вычислительного устройства, и местоположения на электронной карте, по меньшей мере, одной удаленной камеры, выполнившей передачу найденных или совпавших данных; при этом вычислительное устройство дополнительно выполнено с возможностью: обработки данных, включающей: детектирование, распознавание и фиксацию лица, трекинг лица, построение данных вектора движения лица, формирования образа лица, подлежащего поиску, по загружаемым фото- или видео- данным; поиска лица путем: а) сравнения обработанных данных с загруженными из внешних источников данными или с сформированным образом лица, Ь) ввода данных даты, времени и вектора движения лица, передачи совпавших или найденных данных центральному серверу посредством сети передачи данных; при этом центральный сервер выполнен с возможностью: поиска лица путем: а) сравнения обработанных данных с загруженными из внешних источников данными или с сформированным образом лица, Ь) ввода данных даты, времени и вектора движения лица, построения на электронной карте трекинга местоположений упомянутого лица в случае если найдено, по меньшей мере, одно совпадение или найден, по меньшей мере, один результат поиска, где под трекингом подразумевается вычисление и построение множества местоположений на электронной карте, где было зафиксировано найденное в результате упомянутого поиска лицо; и вывод, посредством устройства отображения, процессора и памяти центрального сервера зон с наибольшим числом совпадений упомянутого лица.
[0007] Дополнительно передача, получение, обработка, отображение и воспроизведение данных происходит в режиме реального времени.
[0008] Дополнительно вычислительное устройство и центральный сервер содержат базы данных, выполненные с возможностью хранения сформированного, по меньшей мере, одного образа лица.
[0009] Дополнительно в качестве, по меньшей мере, одной удаленной камеры используется цифровая ip-камера, выполненная с возможностью формирования rtsp-видеопотока в формате mjpeg или h264.
[0010] Дополнительно центральный сервер содержит модуль электронной карты, выполненный с возможностью редактирования электронной карты.
[ООП] Дополнительно память центрального сервера выполнена с возможностью резервирования данных, имеет блочную структуру из независимых блоков, квалифицирующихся на группы чтения и записи.
[0012] Дополнительно центральный сервер содержит модуль защиты данных, выполненный с возможностью защиты данных, хранящихся в памяти центрального сервера от несанкционированного доступа к данным, копирования или изменения хранящихся данных.
[0013] Дополнительно удаленное вычислительное устройство и центральный сервер содержат модули репликации, выполненные с возможностью двухсторонней репликации данных, сохраненных в памяти устройства и памяти центрального сервера. [0014] Дополнительно по меньшей мере, одна удаленная камера снабжена микрофоном и обеспечивает передачу вычислительному модулю и центральному серверу аудио данных.
[0015] Дополнительно двухсторонняя связь обеспечивается посредством оптического канала связи и/или VPN каналом связи.
[0016] Дополнительно вычислительное устройство и/или центральный сервер выполняет воспроизведение звукового сигнала, оповещающего, по меньшей мере, одного пользователя в случае, если найдено, по меньшей мере, одно совпадение или найден, по меньшей мере, один результат поиска.
[0017] Дополнительно вычислительное устройство содержит модуль самодиагностики, выполненный с возможностью: обнаружения сбоев при приеме видео-, фото- данных от удаленной камеры, обработке упомянутых данных, сохранении обработанных данных, отображении и воспроизведении упомянутых данных, формировании образа лица, поиска лица, передачи совпавших или найденных данных центральному серверу; устранения выявленных сбоев, и формирования оповещения, по меньшей мере, одному пользователю, в случае, если обнаруженный сбой является неустранимым.
[0018] Дополнительно центральный сервер содержит модуль диагностики работы, по меньшей мере, одной удаленной камеры, выполненный с возможностью фиксирования на всем временном промежутке состояние упомянутой камеры, построения диаграмм работоспособности упомянутой камеры, и генерирования информационных сообщений, по меньшей мере, одному пользователю, в случае, если в работе упомянутой камеры возник сбой.
[0019] Дополнительно поиск лица происходит путем поиска по принадлежности к определенному возрасту и полу.
[0020] Очевидно, что как предыдущее общее описание, так и последующее подробное описание даны лишь для примера и пояснения и не являются ограничениями данного изобретения. Краткое описание чертежей:
[0021] Фиг. 1 - схематичное изображение заявленной системы детектирования, поиска, распознания и фиксации лица.
[0022] Фиг. 2 - блок-схема этапов выполнения системой детектирования, поиска, распознания и фиксации лица.
Осуществление изобретения:
[0023] Схематическое изображение заявленной системы 100 детектирования, поиска, распознания и фиксации лица показано на рисунке (Фиг. 1). Система 100 содержит, по меныней мере, одно вычислительное устройство 101, устройство отображения 102 вычислительного устройства, модуль связи 103 вычислительного устройства, по меньшей мере, одна удаленная камера 104, сеть 105 передачи данных, модуль связи 106 центрального сервера, центральный сервер 107 и устройство отображения 108 центрального сервера. На фиг. 1 в иллюстративных целях изображено шесть удаленных камер 104, два вычислительных устройства 101, два устройства отображения 102 вычислительного устройства и два модуля связи 103 вычислительного устройства. Однако следует понимать, что данное количество упомянутых элементов дано лишь в иллюстративных целях и не служит для сужения объема притязаний данного изобретения. Каждого из упомянутых элементов, в контексте заявленного изобретения, может быть, по меньшей мере, по одному. Далее по тексту описания в качестве пояснения данного технического решения будет использоваться одна удаленная камера 104, одно вычислительное устройство 101, одно устройство отображения 102 вычислительного устройства и один модуль связи 103 вычислительного устройства.
[0024] В контексте настоящего изобретения, в качестве вычислительного устройства 101 подразумевается устройство, содержащее процессор и память и выполненное с возможностью управления, по меньшей мере, одной удаленной камерой, приема видео-, фото- данных от упомянутой камеры, включающих географические координаты камеры, обработки, сохранения обработанных данных в упомянутой памяти с датой и временем зафиксированного лица, и передачи обработанных данных центральному серверу. В качестве примера, в качестве данного устройства может использоваться персональный компьютер, ноутбук и любое другое устройство, содержащее процессор и память. Вычислительное устройство может дополнительно содержать модуль репликации (не показан на фиг.), выполненный с возможностью двухсторонней репликации данных, сохраненных в памяти устройства 101 и памяти центрального сервера 107.
[0025] Вычислительное устройство 101 обеспечивает обработку данных, включающую: детектирование, распознавание и фиксацию лица, трекинг лица, построение данных вектора движения лица. Также устройство 101 выполняет формирование лица, подлежащего поиску, по загружаемым фото- или видео- данным. Данные могут быть загружены как с машиночитаемого носителя данных, так и с внешних сетевых источников хранения данных, таких как облачное хранилище, удаленный сервер хранения данных и т.д. Детектирование, распознавание и фиксация лица выполняются посредством удаленной камеры, которая захватывает образ человека, детектирует область образа, характерную для лица человека, захватывает изображение лица человека и выполняет его распознавание и фиксацию. После детектирования, распознавания и фиксации лица, устройство 101 выполняет трекинг лица и построение данных вектора движения лица. В результате детектирования, распознавания и фиксации лица, трекинга лица и построения данных вектора движения лица вычислительным устройством 101 получаются обработанные данные. Упомянутые данные с указанием даты и времени передаются на центральный сервер 107 или на внешние источники хранения данных с параллельным сохранением в памяти вычислительного устройства 101 , где память устройства 101, сервер 107 или внешние источники хранения данных содержат базы данных, в которых сохраняются и хранятся упомянутые обработанные данные. Далее устройство 101 выполняет поиск лица путем сравнения обработанных данных с данными сформированного лица. Также поиск может выполняться путем ввода данных даты, времени и вектора движения лица. В случае нахождения хотя бы одного совпадения в результате сравнения обработанных данных с данными сформированного лица или результатов поиска в соответствии с введенными данными даты, времени и вектора движения лица (при этом совпадений или результатов поиска может быть два и более), устройство 101 выполняет воспроизведение звукового сигнала, оповещающего, по меньшей мере, одного пользователя о том, что найдено, по меньшей мере, одно совпадение или, по меньшей мере, один результат поиска. При этом оповещение пользователя может также быть произведено путем отправки пользователю SMS оповещения или оповещения по электронной почте. В дальнейшем, положительные результаты поиска или сравнения отправляются на центральный сервер 107. Дополнительно устройство 101 в результате детектирования, распознавания и фиксации лица человека выполнено с возможность определения пола или возраста лица. В дальнейшем устройство 101 может выполнять поиск лица путем поиска по принадлежности к определенному возрасту и полу. В контексте данного изобретение под трекингом понимается определение местоположения движущегося объекта (нескольких объектов) во времени с помощью камеры. Алгоритм трекинга анализирует кадры видео и выдает положение движущихся целевых объектов относительно кадра. В дальнейшем под трекингом понимается наложение на электронную карту меток зон, где было зафиксировано то или иное лицо.
[0026] Вычислительное устройство 101 может дополнительно содержать модуль самодиагностики, выполненный с возможностью: обнаружения сбоев при приеме видео-, фото- данных от удаленной камеры, обработке упомянутых данных, сохранении обработанных данных, отображении и воспроизведении упомянутых данных, формировании образа лица, поиска лица, передачи совпавших или найденных данных центральному серверу; устранения выявленных сбоев; и формирования оповещения, по меньшей мере, одному пользователю, в случае, если обнаруженный сбой является неустранимым. Оповещение пользователю может направляться любым из вышеописанных способов (звуковое оповещение, SMS уведомление, уведомление, направленное на электронную почту, по меньшей мере, одного пользователя).
[0027] Вычислительное устройство 101 соединено с удаленной камерой 104. В контексте данного решения в качестве удаленной камеры 104 могут использоваться: цифровая ip-камера, выполненная с возможностью формирования rtsp-видеопотока в формате mjpeg или h264, аналоговая камера, камера, снабженная микрофоном и обеспечивающая передачу вычислительному модулю 101 и центральному серверу 107 аудио данных и другие типы камер, выполненные с возможностью удаленной передачи данных. Удаленная камера может быть установлена, например, в местах массового скопления людей, на охраняемой территории с целью выявления нарушителей, находящихся на охраняемой территории незаконным образом. Камера 104 выполняет передачу данных вычислительному устройству 101 и серверу 107.
[0028] Вычислительное устройство 101 соединено с устройством отображения 102 вычислительного устройства. Устройств отображения 102 может быть более одного для одного вычислительного устройства 101. Устройство отображения 102 выполняет отображение и воспроизведение, по меньшей мере, одному пользователю, данных, обработанных вычислительным устройством 101. Также устройство отображения 102 может отображать данные с удаленной камеры в режиме реального времени.
[0029] Вычислительное устройство 101 также соединено с модулем связи 103 вычислительного устройства. Модуль связи 103 обеспечивает двухстороннюю связь с модулем связи 106 центрального сервера посредством сети 105 передачи данных. В качестве модуля связи 103 может использоваться, например, сетевой коммутатор, маршрутизатор и др.
[0030] В качестве сети 105 передачи данных может использоваться сеть с оптическим каналом связи, Fast Ethernet и VPN каналом связи, которые используются для доступа доверенных и не доверенных пользователей. В целом, сеть 105 может быть различных стандартов, таких как LTE, LTE-A, 3G, 4G и т.д. В контексте данного изобретения под доверенными пользователями подразумеваются пользователи, прошедшие процедуру авторизации, аутентификации и обладающие правами «администратора» в соответствии с пройденной авторизацией и аутентификацией. Права доступа типа «администратор» подразумевают доступ к всем функциям и возможностям системы детектирования, поиска, распознания и фиксации лица.
[0031] Модулем связи 106 центрального сервера соединен с модулем связи 103 вычислительного устройства посредством упомянутой выше сети, и обеспечивает двухстороннюю связь с модулем связи 103 посредством вышеупомянутой сети 105 передачи данных. В качестве модуля связи 106 может использоваться, например, сетевой коммутатор, маршрутизатор и др.
[0032] Центральный сервер 107 содержит процессор и память и выполнен с возможностью приема от устройства 101 обработанных видео-, фото- данных, включающих географические координаты камеры, и сохранения в упомянутой памяти обработанных данных. Память центрального сервера 107 дополнительно может быть выполнена с возможностью резервирования данных, имеет блочную структуру из независимых блоков, квалифицирующихся на группы чтения и записи. Также сервер 107 содержит модуль защиты данных, выполненный с возможностью защиты данных, хранящихся в памяти центрального сервера от несанкционированного доступа к данным, копирования или изменения хранящихся данных. Сервер 107 может дополнительно содержать модуль репликации (не показан на фиг.), выполненный с возможностью двухсторонней репликации данных, сохраненных в памяти устройства 101 и памяти центрального сервера 107. Память сервера 107 содержит базы данных, хранящие текстовую, графическую и аудио информацию, полученную как из внешних источников, не относящихся к системе 100, так и от вычислительных устройств 101.
[0033] Сервер 107, также, как и устройство 101, выполнен с возможностью поиска лица путем: а) сравнения обработанных данных с загруженными из внешних источников данными или с сформированным образом лица, Ь) ввода данных даты, времени и вектора движения лица. Данный поиск производится сервером при приеме данных, посредством устройства 101, от удаленной камеры. В целом, сервер 107 принимает от устройства 101 обработанные данные положительных результатов поиска или сравнения. Дополнительно сервер 107 может выполнять поиск лица путем поиска по принадлежности к определенному возрасту и полу.
[0034] Сервер 107 получает обработанные данные, включающие географические координаты камеры, от вычислительного устройства 101 и выполняет дополнительную обработку этих данных, в результате чего происходит совмещение географических координат с электронной картой. После упомянутого совмещения получаются пост обработанные данные с указанием местоположения на электронной карте удаленной камеры, данные которой отображаются и воспроизводятся в текущий момент, данные лица, которые были найдены или совпали в соответствии с возможностью поиска лица вычислительного устройства, и местоположения на электронной карте удаленной камеры, выполнившей передачу найденных или совпавших данных.
[0035] Сервер 107 также может содержать модуль защиты данных, выполненный с возможностью защиты данных, хранящихся в памяти центрального сервера от несанкционированного доступа к данным, копирования, удаления, неправомерного блокирования (шифровки) данных или изменения хранящихся данных.
[0036] Сервер 107 дополнительно может содержать модуль диагностики работы, по меньшей мере, одной удаленной камеры, выполненный с возможностью фиксирования на всем временном промежутке состояние упомянутой камеры, построения диаграмм работоспособности упомянутой камеры, и генерирования информационных сообщений, по меныпей мере, одному пользователю, в случае, если в работе упомянутой камеры возник сбой.
[0037] Сервер 107 дополнительно может содержать модуль электронной карты, выполненный с возможностью редактирование электронной карты, на которой выполняется отображение вышеупомянутых местоположений. Данный модуль соединен с сервером картографии подробной географической электронной карты, где сервер картографии включает базу данных, описывающую географические объекты электронной карты, компонент рендеринга и просмотра для получения карт в стандартных графических форматах, а также модули, обеспечивающие свободное редактирование электронной карты.
[0038] Далее будут описаны подсистемы вычислительного устройства 101 и центрального сервера 107. Вычислительное устройство 101 включает нижеследующие последовательно и соответственно соединенные между собой подсистемы.
[0039] Подсистема получения видеопотока с камеры, соединенная с подсистемой детектирования, распознания, фиксации лица, и предназначенная для получения видеопотока (или видеопотока с аудио потоком) от камеры. Подсистема формирует видеоархив в соответствии с заданным расписанием и обеспечивает корректную работу с камерами различных производителей.
[0040] Подсистема детектирования, распознания и фиксации лица, соединенная с подсистемой хранения полученной и распознанной информации, содержащая базу данных информации о распознанных лицах и выполняющая: обработку видеопотока (или видеопотока с аудио потоком) с камеры, детектирование лица, распознавание лица, трекинг людей по лицам, запись в базу данных информации о распознанном лице, даты, времени, места фиксации, координат места установки камеры, запись вектора движения, сохранение изображения человека в момент фиксации в файловое хранилище.
[0041] Подсистема хранения полученной и распознанной информации, соединенная с подсистемой отображения, поиска полученной и хранимой информации, с подсистемой репликации базы поисковых образов, подсистемой обучения поисковым образам, подсистемой администрирования, подсистемой самодиагностики и предназначенная для хранения полученной и распознанной информации и оперативного доступа для анализа, обработки и выгрузки в течение 24 часов 7 дней в неделю или в течение всей работы камеры.
[0042] Подсистема отображения, поиска полученной и хранимой информации, обеспечивающая возможность отображения видео с камеры, отображения зафиксированных лиц за последние 5 минут, с указанием времени фиксации и вектора движения, информирование звуковым сигналом (или иным, описанным выше способом) распознанных лиц в случае совпадения с поисковым образом, возможность поиска по дате, времени фиксации, вектору движения, по принадлежности к полу и/или возрасту, поиска в базе данных изображения лица по загружаемому изображению лица.
[0043] Подсистема репликации базы поисковых образов с центральным сервером, обеспечивающая двухстороннюю репликацию базы данных поисковых образов с базой данных поисковых образов на центральном сервере, и содержащая базу данных поисковых образов в актуальном состоянии. Под актуальным состоянием подразумевается обновление базы данных путем добавления новых поисковых образов. При этом, подсистема репликации взаимодействует (например, в реальном времени) с подсистемой детектирования, распознания и фиксации лица в случае изменения состояния базы данных поисковых образов. Т.е. любые изменения состояния базы данных поисковых образов будут отражены путем повторного сохранения в базу данных информации о распознанных лицах подсистемы детектирования, распознания и фиксации лица.
[0044] Подсистема обучения поисковым образам по фото-, видеоматериалам и видеопотоку камеры, предназначенная для: формирования поисковых образов по загружаемому фотоматериалу или имеющемуся в системе хранения видеоматериалу, а также видеопотоку, необходимых для идентификации распознанных лиц, и сохранения их в базу данных поисковых образов; взаимодействия с подсистемой репликации базы поисковых образов.
[0045] Подсистема администрирования, обеспечивающая выполнение административных функций в системе (подключение/отключение камер; предоставление оповещений по общей работе системы, с выводом графически понятной информации по протекающим процессам работы всех подсистем); возможность управления всеми подсистемами вычислительного устройства 101. При этом, подсистема администрирования обеспечивает связь между подсистемами вычислительного устройства 101 и подсистемами сервера 107.
[0046] Подсистема самодиагностики, обеспечивающая контроль состояния системы с целью обнаружения проблем, которые могут привести к сбою работы, что повлечет за собой полную или частичную потерю данных, и предназначенная для: мониторинга протекающих процессов всех подсистем; устранения выявленных сбоев в работе и формирования оповещений пользователю (любым вышеуказанным способом) в случае выявления неустранимых сбоев и неисправностей, требующих вмешательства оператора.
[0047] Центральный сервер 107 включает нижеследующие последовательно и соответственно соединенные между собой подсистемы.
[0048] Подсистема получения фото-, видео, распознанной информации с вычислительного устройства 101 и местоположения камер 104 (или вычислительных устройств 101), соединенная с подсистемой одновременного отображения видеоизображения и обеспечивающая: получение информации о зафиксированных и распознанных лицах вычислительным модулем, в том числе в случае совпадения распознанного лица с базой данных поисковых образов (кадрирование изображение человека с распознанным лицом с указанием даты, времени, координат места фиксации, вектора движения), получение информации о координатах вычислительного устройства 101 или камеры 104.
[0049] Подсистема одновременного отображения видеоизображения с нескольких вычислительных модулей или отображения видеоизображения с одного вычислительного модуля, соединенная с подсистемой оперативного монитора, с подсистемой свободно редактируемой детальной электронной карты и предназначенная для воспроизведения видеоизображения с каждого подключенного вычислительного модуля (или одного вычислительного устройства), с указанием местоположения и отображением местоположения на детальной свободно редактируемой электронной карте, запуска и остановки воспроизведения видеоизображения из базы данных по каждому вычислительному устройству (или по одному вычислительному устройству). Отображение информации может также происходить в реальном времени.
[0050] Подсистема оперативного монитора, соединенная с подсистемой свободно редактируемой детальной электронной карты и обеспечивающая отображение распознанных лиц (например, в реальном времени) в случае совпадения их с базой данных поисковых образов для всех подключенных устройств с указанием даты, времени, места фиксации, вектора направления движения, оповещение звуковым сигналом (или любым вышеописанным способом) каждой новой идентификации при добавлении в результаты отображения оперативного монитора, возможность просмотра местоположения зафиксированного лица на редактируемой детальной электронной карте.
[0051] Подсистема свободно редактируемой детальной электронной карты, соединенная с подсистемой отображения, поиска полученной и хранимой информации, и предназначенная для привязки вычислительного устройства и/или камеры к географическим объектам электронной карты и идентификации местоположения вычислительного устройства и/или камеры. Подсистема включает: локальный сервер картографии подробной географической электронной карты, подробную базу, описывающую географические объекты электронной карты, компонент рендеринга и просмотра для получения электронных карт в стандартных графических форматах, и инструменты для редактирования электронной карты.
[0052] Подсистема отображения, поиска полученной и хранимой информации, соединенная с подсистемой статистики и анализа накопленной информации, и обеспечивающая возможность отображения детального видео для выбранной камеры (например, в режиме реального времени), отображение зафиксированных лиц за последние 5 минут, с указанием времени фиксации и вектора движения, возможность поиска по дате, времени фиксации, вектору движения, распознанным данным, в том числе по принадлежности к полу, возрасту, поиск в базе данных по загружаемому изображению лица, поиск по базе данных центрального сервера выбранного зафиксированного распознанного лица за выбранный промежуток времени, с построением на детализированной электронной карте меток, где данное лицо было зафиксировано.
[0053] Подсистема статистики и анализа накопленной информации, с выводом графически развернутых схем и графиков, соединенная с подсистемой хранения и предназначенная для: вывода статистической информации по зафиксированным распознанным лицам; вывода статистики местоположений зон фиксации на электронной карте с наибольшим числом совпадений с базой данных поисковых образов, вывода статистики работы вычислительных устройств (или вычислительного устройства) по часам с количеством зафиксированных лиц, построения на детализированной электронной карте трека фиксаций нескольких выбранных (загруженных) лиц. [0054] Подсистема хранения полученной от вычислительных модулей (или вычислительного модуля) информации с доступностью 24/7, резервированием и начальным объемом, рассчитанным на 365 дней, имеющая блочную структуру из независимых блоков, квалифицирующихся на группы (чтение-запись) и обеспечивающая: доступность данных с вычислительного устройства (или устройств) для статистики, анализа, выгрузки и обработки в течение 24 часов 7 дней в неделю; вывод системы для технического обслуживания на период, не превышающий 1 час в неделю; резервирование и сохранность информации от утери в течение 365 дней со дня подключения блока хранения; расширяемость и независимость от основной системы сбора и обработки информации с подключенных вычислительных модулей (или вычислительного модуля); увеличение пространства для хранения информации без остановки основных систем (например, в режиме реального времени).
[0055] Подсистема диагностики работы вычислительных устройств, предназначенная для: своевременного информирования оператора о проблемах в работе подключенных вычислительных модулей; предложения оператору наиболее распространенных сценариев решения текущих проблем для приведения подключенных вычислительных модулей в рабочее состояние; фиксирования на всем временном промежутке состояния вычислительных модулей и построения диаграмм работоспособности.
[0056] Подсистема администрирования, соединенная с подсистемой диагностики работы вычислительных устройств, подсистемой хранения, подсистемой защиты информации, и обеспечивающая: выполнение административных функций в системе (подключение/отключение вычислительных модулей); подключение/отключение массивов хранилища данных; слежение за общей работой системы, с выводом графически понятной информации по протекающим процессам работы всех подсистем, предоставление оповещений по работе подсистем, вычислительных модулей, удаленных хранилищ, возможность по управлению процессами всех подсистем сервера 107.
[0057] Подсистема защиты информации, предназначенная для защиты данных и повышения уровня надежности их хранения. Включает организационные и технические меры защиты информации, направленные на исключение: неправомерного доступа, копирования, предоставления или распространения информации (обеспечение конфиденциальности информации); неправомерного уничтожения или модифицирования информации (обеспечение целостности информации); неправомерного блокирования информации (обеспечение доступности информации).
[0058] Блок-схема 200 этапов выполнения системой детектирования, поиска, распознания и фиксации лица показана на рисунке (Фиг. 2). Система детектирования, поиска, распознавания и фиксации лица реализуется в соответствии с нижеследующими этапами.
[0059] На этапе 201 происходит захват изображения лица вычислительным устройством 101 посредством удаленной камеры 104. На данном этапе захваченное изображение подвергается предварительной обработке, а именно, на захваченном изображении происходит детектирование, распознавание и фиксация лица, трекинг лица, построение данных вектора движения лица. При этом, захваченное изображение посредством удаленной камеры имеет географические координаты упомянутой камеры. Далее процесс переходит к этапу 202.
[0060] На этапе 202 захваченное изображение подвергается поиску путем сравнения предварительно обработанных данных с загруженными из внешних источников данными или с сформированным образом лица. Также на данном этапе происходит сохранение предварительно обработанных данных с датой и временем зафиксированного лица в памяти вычислительного устройства 101 и в память (в распределенную файловую систему) удаленного видео хранилища данных (не показано на фиг.). В соответствии с вышеупомянутым сохранением формируется история наблюдения удаленной камеры 104. В случае, если не было найдено ни одного лица, процесс возвращается к этапу 201. В противном случае процесс переходит к этапу 203.
[0061] На этапе 203 упомянутые выше сохраненные данные по защищенному каналу связи сети передачи 105 данных через определенный промежуток времени передаются в центральный сервер 107 и сохраняются в памяти сервера 107. Также сохраненные в памяти сервера 107 данные сохраняется в архивное хранилище (не показано на фиг.) аналогично вышеупомянутому удаленному видео хранилищу данных. Память сервера 107 периодически подвергается очистке от избыточных данных, поэтому сохранение в архивное хранилище предназначено для хранения всех переданных вычислительным устройством 101 данных без их утери. Далее процесс переходит к этапу 204.
[0062] На этапе 204 происходит поиск лица путем сравнения обработанных данных с загруженными из внешних источников данными или с сформированным образом лица, или ввода данных даты, времени и вектора движения лица. Также на данном этапе, в отличие от этапа 202, происходит построение на электронной карте трекинга местоположений лица в случае если найдено, по меньшей мере, одно совпадение или найден, по меньшей мере, один результат поиска. Данный этап повторяется до тех пор, пока не было найдено хотя бы одно совпадение. В случае нахождения, по меньшей мере, одного совпадения, процесс переходит к этапу 205.
[0063] На этапе 205 происходит вывод, посредством устройства отображения 108, процессора и памяти центрального сервера 107 зон (на электронной карте) с наибольшим числом совпадений упомянутого лица.
[0064] Хотя данное изобретение было показано и описано со ссылкой на определенные варианты его осуществления, специалистам в данной области техники будет понятно, что различные изменения и модификации могут быть сделаны в нем, не покидая фактический объем изобретения.

Claims

Формула изобретения
1. Система детектирования, поиска, распознания и фиксации лица, содержащая:
- по меньшей мере, одно вычислительное устройство, содержащее процессор и память и выполненное с возможностью управления, по меньшей мере, одной удаленной камерой, приема видео-, фото- данных от упомянутой камеры, включающих географические координаты камеры, обработки, сохранения обработанных данных в упомянутой памяти с датой и временем зафиксированного лица, и передачи обработанных данных центральному серверу;
- устройство отображения вычислительного устройства, соединенное с упомянутым вычислительным устройством и выполненное с возможностью отображения и воспроизведения, по меньшей мере, одному пользователю, упомянутых обработанных данных;
модуль связи вычислительного устройства, выполненный с возможностью установки двухсторонней связи с модулем связи центрального сервера посредством сети передачи данных;
- модуль связи центрального сервера, выполненный с возможностью установки двухсторонней связи с модулем связи вычислительного устройства посредством сети передачи данных;
- центральный сервер, содержащий процессор и память и выполненный с возможностью приема от упомянутого устройства обработанных видео-, фото- данных, включающих географические координаты камеры, и сохранения в упомянутой памяти обработанных данных; и
- устройство отображения центрального сервера, соединенное с упомянутым центральным сервером и выполненное с возможностью отображения обработанных данных с указанием местоположения на электронной карте, по меньшей мере, одной удаленной камеры, данные которой отображаются и воспроизводятся в текущий момент, данных лица, которые были найдены или совпали в соответствии с возможностью поиска лица вычислительного устройства, и местоположения на электронной карте, по меньшей мере, одной удаленной камеры, выполнившей передачу найденных или совпавших данных;
- при этом вычислительное устройство дополнительно выполнено с возможностью:
обработки данных, включающей: детектирование, распознавание и фиксацию лица, трекинг лица, построение данных вектора движения лица, формирования образа лица, подлежащего поиску, по загружаемым фото- или видео- данным;
20
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) поиска лица путем: а) сравнения обработанных данных с загруженными из внешних источников данными или с сформированным образом лица, Ь) ввода данных даты, времени и вектора движения лица,
передачи совпавших или найденных данных центральному серверу посредством сети передачи данных;
- при этом центральный сервер выполнен с возможностью:
поиска лица путем: а) сравнения обработанных данных с загруженными из внешних источников данными или с сформированным образом лица, Ь) ввода данных даты, времени и вектора движения лица,
построения на электронной карте трекинга местоположений упомянутого лица в случае если найдено, по меньшей мере, одно совпадение или найден, по меньшей мере, один результат поиска, где под трекингом подразумевается вычисление и построение множества местоположений на электронной карте, где было зафиксировано найденное в результате упомянутого поиска лицо; и
вывод, посредством устройства отображения, процессора и памяти центрального сервера зон с наибольшим числом совпадений упомянутого лица.
2. Система по п. 1, отличающаяся тем, что передача, получение, обработка, отображение и воспроизведение данных происходит в режиме реального времени.
3. Система по п. 1, отличающаяся тем, что вычислительное устройство и центральный сервер содержат базы данных, выполненные с возможностью хранения сформированного, по меньшей мере, одного образа лица.
4. Система по п. 1, отличающаяся тем, что в качестве, по меньшей мере, одной удаленной камеры используется цифровая ip-камера, выполненная с возможностью формирования rtsp-видеопотока в формате mjpeg или h264.
5. Система по п. 1, отличающаяся тем, что центральный сервер дополнительно содержит модуль электронной карты, выполненный с возможностью редактирования электронной карты.
6. Система по п. 1, отличающаяся тем, что память центрального сервера дополнительно выполнена с возможностью резервирования данных, имеет блочную структуру из независимых блоков, квалифицирующихся на группы чтения и записи.
7. Система по п. 1, отличающаяся тем, что центральный сервер дополнительно содержит модуль защиты данных, выполненный с возможностью защиты данных, хранящихся в памяти центрального сервера от несанкционированного доступа к данным, копирования или изменения хранящихся данных.
21
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)
8. Система по и. 1, отличающаяся тем, что удаленное вычислительное устройство и центральный сервер содержат модули репликации, выполненные с возможностью двухсторонней репликации данных, сохраненных в памяти устройства и памяти центрального сервера.
9. Система по и. 1, отличающаяся тем, что, по меньшей мере, одна удаленная камера снабжена микрофоном и обеспечивает передачу вычислительному модулю и центральному серверу аудио данных.
10. Система по п. 1, отличающаяся тем, что двухсторонняя связь обеспечивается посредством оптического канала связи и/или VPN каналом связи.
11. Система по и. 1, отличающаяся тем, что вычислительное устройство и/или центральный сервер выполняет воспроизведение звукового сигнала, оповещающего, по меньшей мере, одного пользователя в случае, если найдено, по меньшей мере, одно совпадение или найден, по меньшей мере, один результат поиска.
12. Система по и. 1, отличающаяся тем, что вычислительное устройство содержит модуль самодиагностики, выполненный с возможностью:
- обнаружения сбоев при приеме видео-, фото- данных от удаленной камеры, обработке упомянутых данных, сохранении обработанных данных, отображении и воспроизведении упомянутых данных, формировании образа лица, поиска лица, передачи совпавших или найденных данных центральному серверу;
- устранения выявленных сбоев, и
- формирования оповещения, по меньшей мере, одному пользователю, в случае, если обнаруженный сбой является неустранимым.
13. Система по п. 1, отличающаяся тем, что центральный сервер содержит модуль диагностики работы, по меньшей мере, одной удаленной камеры, выполненный с возможностью фиксирования на всем временном промежутке состояние упомянутой камеры, построения диаграмм работоспособности упомянутой камеры, и генерирования информационных сообщений, по меньшей мере, одному пользователю, в случае, если в работе упомянутой камеры возник сбой.
14. Система по п. 1, отличающаяся тем, что поиск лица происходит дополнительно путем поиска по принадлежности к определенному возрасту и полу.
22
ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)
PCT/RU2019/000296 2019-03-28 2019-05-08 Система детектирования, поиска, распознавания и фиксации лица WO2020197431A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2019109113A RU2713615C1 (ru) 2019-03-28 2019-03-28 Система детектирования, поиска, распознавания и фиксации лица
RU2019109113 2019-03-28

Publications (1)

Publication Number Publication Date
WO2020197431A1 true WO2020197431A1 (ru) 2020-10-01

Family

ID=69624824

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2019/000296 WO2020197431A1 (ru) 2019-03-28 2019-05-08 Система детектирования, поиска, распознавания и фиксации лица

Country Status (3)

Country Link
CZ (1) CZ2021482A3 (ru)
RU (1) RU2713615C1 (ru)
WO (1) WO2020197431A1 (ru)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2741412C1 (ru) * 2020-03-19 2021-01-25 Общество с ограниченной ответственностью «Арсенал 67» Система распознавания лиц для сравнения с базами данных с помощью мобильных терминалов

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1426898A2 (en) * 2002-12-06 2004-06-09 Samsung Electronics Co., Ltd. Human detection through face detection and motion detection
US20070035632A1 (en) * 2005-08-12 2007-02-15 Silvernail William B Mobile digital video recording system
US20190005659A1 (en) * 2014-09-19 2019-01-03 Brain Corporation Salient features tracking apparatus and methods using visual initialization
RU2679218C1 (ru) * 2018-02-06 2019-02-06 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Система и способ контроля перемещения людей

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2431191C2 (ru) * 2009-01-27 2011-10-10 Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ идентификации личности человека по цифровому изображению лица

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1426898A2 (en) * 2002-12-06 2004-06-09 Samsung Electronics Co., Ltd. Human detection through face detection and motion detection
US20070035632A1 (en) * 2005-08-12 2007-02-15 Silvernail William B Mobile digital video recording system
US20190005659A1 (en) * 2014-09-19 2019-01-03 Brain Corporation Salient features tracking apparatus and methods using visual initialization
RU2679218C1 (ru) * 2018-02-06 2019-02-06 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Система и способ контроля перемещения людей

Also Published As

Publication number Publication date
RU2713615C1 (ru) 2020-02-05
CZ2021482A3 (cs) 2021-11-24

Similar Documents

Publication Publication Date Title
CN108391086A (zh) 融合事件感知与位置传感的工业视频联动分析方法与系统
US20060274828A1 (en) High capacity surveillance system with fast search capability
US20060274829A1 (en) Mobile surveillance system with redundant media
US9411690B2 (en) Security surveillance apparatus with networking and video recording functions and failure detecting and repairing method for storage device thereof
US10887553B2 (en) Monitoring system and monitoring method
US8781296B2 (en) Auditing system for misuse of an image information
US20070217501A1 (en) Surveillance system with digital tape cassette
WO2006112921A1 (en) Video image processing appliance manager
JP7047970B2 (ja) 事象を管理するための注目期間及び少なくとも１つの注目領域を決定する方法、装置及びプログラム
US20240083443A1 (en) Driving state monitoring device, driving state monitoring method, and driving state monitoring system
JP2006245686A (ja) 画像記録装置及び画像記録再生方法
JP5202419B2 (ja) 警備システムおよび警備方法
RU2713615C1 (ru) Система детектирования, поиска, распознавания и фиксации лица
CN113507588A (zh) 一种基于人工智能的智慧校园人流量监测系统
JPWO2017006749A1 (ja) 画像処理装置および画像処理システム
JP2016122892A (ja) 映像装置
CN111931569B (zh) 安防监控热力图统计系统
KR20100022743A (ko) 영상관리 시스템 및 방법
Itano et al. Evaluation of the effectiveness of a crowdsourcing-based crime detection system
CN114092999A (zh) 基于监控视频时序动作异常检测的监控系统
CN111783594A (zh) 一种报警方法、装置及电子设备
EP2375382A1 (en) Image motion detection method and apparatus
CN101833484B (zh) 一种车载数字视频录像机的录像备份方法、系统及录像机
KR100350219B1 (ko) 영상기록 시스템과 네트워크를 통한 영상기록 방법
US9558650B2 (en) Surveillance method, surveillance apparatus, and marking module

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19921598

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19921598

Country of ref document: EP

Kind code of ref document: A1