WO2022035190A1 - 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법 - Google Patents

딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
WO2022035190A1
WO2022035190A1 PCT/KR2021/010589 KR2021010589W WO2022035190A1 WO 2022035190 A1 WO2022035190 A1 WO 2022035190A1 KR 2021010589 W KR2021010589 W KR 2021010589W WO 2022035190 A1 WO2022035190 A1 WO 2022035190A1
Authority
WO
WIPO (PCT)
Prior art keywords
child
missing child
image
missing
information
Prior art date
Application number
PCT/KR2021/010589
Other languages
English (en)
French (fr)
Inventor
김민식
Original Assignee
주식회사 원모어시큐리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200127867A external-priority patent/KR102270899B1/ko
Priority claimed from KR1020210022739A external-priority patent/KR102305038B1/ko
Application filed by 주식회사 원모어시큐리티 filed Critical 주식회사 원모어시큐리티
Priority to US17/606,590 priority Critical patent/US20220319232A1/en
Priority to DE112021004252.1T priority patent/DE112021004252T5/de
Priority to GB2213332.6A priority patent/GB2608063A/en
Publication of WO2022035190A1 publication Critical patent/WO2022035190A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a technology for finding a missing child based on face recognition.
  • Korean Patent Application Laid-Open No. 10-2018-0006016 (hereinafter referred to as 'preceding literature') provides a missing child finding service based on face recognition using pictures of the missing child.
  • a recognition error may occur due to various environmental changes, such as a photographing posture, photographing distance, facial expression change, and ambient light brightness change.
  • the lost child is not simply lost, but is kidnapped by a kidnapper, the development of a technology capable of tracking the movement path of the missing child is required, considering that there is a high possibility that the kidnapper will run away with the missing child in a vehicle.
  • an object of the present invention is to quickly track the movement path of a lost child in consideration of the fact that, when kidnapped by a kidnapper, the kidnapper has a high possibility of escaping by riding a lost child in a vehicle.
  • a method for providing a service for finding a missing child based on face recognition using deep learning includes transmitting the information, and transmitting the contact information of the first user terminal and information on the occurrence of a missing child to the second user terminal.
  • the method of providing a service for finding a missing child based on facial recognition using deep learning further includes receiving an image of a child from at least one first user terminal and pre-registering the child before the occurrence of a missing child,
  • the step of registering the occurrence information may include registering a pre-registered child image as the first missing child image as the missing child is reported from the first user terminal.
  • the method of providing a service for finding a missing child based on facial recognition using deep learning further includes receiving a child image from the first user terminal before the occurrence of a missing child and registering the child image in advance.
  • the method may further include deleting a pre-registered image of a child when the occurrence of a missing child is not reported within a predetermined time after registration.
  • the facial feature information includes the steps of detecting a face region from the first missing image and the second missing image, detecting facial feature points from the detected face region through a 3D model estimation method, and based on the detected feature points. It may be obtained through normalizing the face region and calculating a feature vector from the normalized face region based on a convolutional neural network.
  • the method of providing a service for finding a missing child based on facial recognition using deep learning further comprises the step of sending missing child occurrence information to the intelligent control center system and requesting tracking of the missing child
  • the intelligent control center system comprises: , a plurality of CCTVs and a missing child tracking server interworking with signage displays, wherein the missing child tracking server collects CCTV images based on the location and time information where the missing child occurred, at least one of the collected CCTV images extracting image frames including a person of Extracting the characteristic information of the human body, clustering image frames into a predetermined number of groups based on the extracted characteristic information, selecting a tracking group from among predetermined groups based on the similarity with the characteristic information of the whole body of a missing child , tracking the movement path of the lost child based on time and location information of image frames included in the tracking group, and displaying information on the occurrence of the missing child on a digital signage positioned on the movement path of the lost child.
  • the method for providing a service for finding a missing child based on face recognition using deep learning includes the steps of generating a corrected third lost image based on a first lost image and a second lost image; Further comprising the steps of generating search information by collecting the location and time and the location and time at which the missing child was found, and sending a third lost child image and search information to the intelligent control center system to request tracking of the missing child, the intelligent control center system Silver, including a plurality of CCTVs and a missing child tracking server that interworks with signage displays, wherein the missing child tracking server collects CCTV images based on the corrected missing child tracking location and time information, at least in the collected CCTV images Extracting image frames including one person, extracting feature information of the entire body of a missing child from an image frame estimated to contain a missing child among image frames based on the third missing child image, Extracting feature information of all human bodies, clustering image frames into a predetermined number of groups based on the extracted characteristic information, selecting a tracking group from among predetermined
  • An apparatus for providing a service providing a service for finding a missing child based on facial recognition using deep learning includes a memory in which at least one program is recorded and a processor executing the program, wherein the program is provided from at least one first user terminal Registering missing child occurrence information including a first missing child image, location and time information at which the child was born as the missing child is reported Registering missing child discovery information including information on the location and time at which the .
  • the steps of transmitting the contact information and missing child discovery information of the second user terminal to the first user terminal and transmitting the contact information and missing child occurrence information of the first user terminal to the second user terminal may be performed.
  • the program includes the steps of receiving and pre-registering a child image before the occurrence of a missing child from at least one first user terminal, and pre-registering the child image.
  • the step of deleting the missing child information may include registering the pre-registered child image as the first missing child image as the missing child is reported from the first user terminal.
  • the facial feature information includes the steps of detecting a face region from the first missing image and the second missing image, detecting facial feature points from the detected face region through a 3D model estimation method, and based on the detected feature points. It may be obtained through normalizing the face region and calculating a feature vector from the normalized face region based on a convolutional neural network.
  • the program further performs the step of requesting to track the missing child by transmitting the information on the occurrence of the missing child to the intelligent control center system
  • the intelligent control center system includes a missing child tracking server that is linked with a plurality of CCTVs and signage displays , the missing child tracking server collects CCTV images based on the location and time information of the missing child, extracting image frames containing at least one person from the collected CCTV image, based on the first missing child image Extracting the characteristic information of the whole body of a missing child from an image frame estimated to contain a missing child among the image frames, extracting characteristic information of the whole human body included in the image frames, and extracting image frames based on the extracted characteristic information clustering into a predetermined number of groups, selecting a tracking group from among predetermined groups based on similarity with feature information of the entire body of the missing child, moving the missing child based on time and location information of image frames included in the tracking group
  • the program generates a third missing child image corrected based on the first missing child image and the second missing child image, and generates search information by collecting the location and time at which the missing child occurred and the location and time at which the missing child was found.
  • Step and the step of sending a third missing child image and search information to the intelligent control center system to request tracking of the missing child wherein the intelligent control center system includes a missing child tracking server that works with a plurality of CCTVs and signage displays
  • the missing child tracking server collects CCTV images based on the search information, extracts image frames including at least one person from the collected CCTV images, and a third missing child among the image frames based on the missing child image.
  • the step of tracing the first movement path through comparative analysis, the step of analyzing the CCTV image taken of the first movement path to determine whether there is a kidnapping vehicle related to the abduction of a lost child, and if it is determined that the kidnapping vehicle exists, the second It may include the step of tracing the second moving path through comparative analysis of the CCTV image and the kidnapped vehicle image collected based on the first moving path.
  • the lost child tracking server may further include displaying information on the occurrence of the missing child on a digital signage that is linked with a plurality of signage displays and is located on at least one of the first movement path and the second movement path.
  • the step of tracing the first movement path includes the steps of collecting CCTV images based on the location and time information of the lost child, extracting image frames including at least one person from the collected CCTV images, the missing child Extracting the characteristic information of the whole body of a missing child from an image frame estimated to contain a missing child among image frames based on the image, extracting characteristic information of the entire human body included in the image frames, and based on the extracted characteristic information clustering image frames into a predetermined number of groups, selecting a tracking group from among predetermined groups based on similarity with feature information of the entire body of a missing child, and based on time and location information of image frames included in the tracking group It may include tracking the first movement path that the Mia moved.
  • the step of tracing the second movement path is a step of extracting the characteristic information of the entire kidnapped vehicle from the kidnapping vehicle image frame, and image frames including at least one vehicle in the CCTV image collected based on the second moving path. extracting, extracting the characteristic information of all vehicles included in the image frames, and clustering the image frames into a predetermined number of groups based on the extracted characteristic information, based on the similarity with the characteristic information of the kidnapped vehicle.
  • the steps of selecting a tracking group from among predetermined groups and tracking the second movement path of the vehicle based on time and location information of image frames included in the tracking group may be performed.
  • the step of tracing the first movement path is performed according to a missing child tracking request received together with the missing child occurrence information from the missing child finding service providing server, wherein the missing child finding service providing server is configured to generate a missing child from at least one first user terminal.
  • the step of tracing the first movement path is performed according to a missing child tracking request received together with the missing child occurrence information from the missing child finding service providing server, wherein the missing child finding service providing server is configured to generate a missing child from at least one first user terminal.
  • Registering missing child occurrence information including a first missing child image and information on the location and time of the child as this is reported
  • Registering missing child discovery information including location and time information, calculating a similarity between facial feature information extracted from each of the first and second missing images based on deep learning, when the similarity is greater than or equal to a predetermined threshold , generating a third corrected image of a lost child based on the first and second lost images, generating search information by collecting the location and time at which the missing child occurred and the location and time at which the missing child was found; and a third
  • the step of requesting tracking of the missing child may be further performed with information on the occurrence of the missing child including the image of the missing child and search information.
  • the lost child tracking server interworking with a plurality of CCTVs at least one program comprising a memory and a processor executing the program, the program, the location and time information of the missing child.
  • the step of tracking the second movement path may be performed through comparative analysis of the CCTV image and the kidnapped vehicle image collected based on the first movement path.
  • the lost child tracking server may further perform the step of displaying information about the missing child on a digital signage that is linked with a plurality of signage displays and is located on at least one of the first movement path and the second movement path.
  • the step of tracing the first movement path includes the steps of collecting CCTV images based on the location and time information of the lost child, extracting image frames including at least one person from the collected CCTV images, the missing child Extracting the characteristic information of the whole body of a missing child from an image frame estimated to contain a missing child among image frames based on the image, extracting characteristic information of the entire human body included in the image frames, and based on the extracted characteristic information clustering image frames into a predetermined number of groups, selecting a tracking group from among predetermined groups based on similarity with feature information of the entire body of a missing child, and based on time and location information of image frames included in the tracking group It may include tracking the first movement path that the Mia moved.
  • the step of tracing the second movement path is a step of extracting the characteristic information of the entire kidnapped vehicle from the kidnapping vehicle image frame, and image frames including at least one vehicle in the CCTV image collected based on the second moving path. extracting, extracting the characteristic information of all vehicles included in the image frames, and clustering the image frames into a predetermined number of groups based on the extracted characteristic information, based on the similarity with the characteristic information of the kidnapped vehicle.
  • the steps of selecting a tracking group from among predetermined groups and tracking the second movement path of the vehicle based on time and location information of image frames included in the tracking group may be performed.
  • the step of tracing the first movement path is performed according to a missing child tracking request received together with the missing child occurrence information from the missing child finding service providing server, wherein the missing child finding service providing server is configured to generate a missing child from at least one first user terminal.
  • the step of tracing the first movement path is performed according to a missing child tracking request received together with the missing child occurrence information from the missing child finding service providing server, wherein the missing child finding service providing server is configured to generate a missing child from at least one first user terminal.
  • Registering missing child occurrence information including a first missing child image and information on the location and time of the child as this is reported
  • Registering missing child discovery information including location and time information, calculating a similarity between facial feature information extracted from each of the first and second missing images based on deep learning, when the similarity is greater than or equal to a predetermined threshold , generating a third corrected image of a lost child based on the first and second lost images, generating search information by collecting the location and time at which the missing child occurred and the location and time at which the missing child was found; and a third
  • the step of requesting tracking of the missing child may be further performed with information on the occurrence of the missing child including the image of the missing child and search information.
  • a missing child can be found quickly and without errors through face recognition-based finding using deep learning that is robust to various environmental changes, such as a photographing posture, a photographing distance, a change in facial expression, and a change in the brightness of ambient light.
  • the present invention in the case of kidnapping by a kidnapper, it is possible to quickly trace the movement path of the missing child, considering that the kidnapper is highly likely to run away with the missing child in a vehicle.
  • information on the occurrence of a missing child can be intensively and effectively exposed to citizens located on the path of the missing child, thereby preventing unnecessary information spread and shortening the time to find a missing child.
  • FIG. 1 is a configuration diagram of a deep learning-based missing child finding service providing system according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of a user terminal according to an embodiment of the present invention.
  • FIG. 3 is a schematic block diagram of a server for providing a missing child search service according to an embodiment of the present invention.
  • FIG. 4 is a schematic block diagram of an intelligent control center system according to an embodiment of the present invention.
  • FIG. 5 is a signal flow diagram illustrating a method for providing a face recognition-based missing child finding service using deep learning according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a process of extracting facial feature information according to an embodiment of the present invention.
  • FIG. 7 is a signal flow diagram for explaining a process of tracking a lost child in conjunction with an intelligent control system according to an embodiment of the present invention.
  • FIG. 8 is a flowchart for explaining a deep learning-based lost child movement path tracking method according to an embodiment of the present invention.
  • FIG. 9 is a flowchart for explaining the step ( S310 ) of tracking the first movement path of FIG. 8 .
  • FIG. 10 is a flowchart for explaining the step ( S340 ) of tracking the second movement path of FIG. 8 .
  • FIG. 11 is a diagram showing the configuration of a computer system according to an embodiment of the present invention.
  • first or second is used to describe various elements, these elements are not limited by the above terms. Such terms may only be used to distinguish one component from another. Accordingly, the first component mentioned below may be the second component within the spirit of the present invention.
  • FIG. 1 is a block diagram of a system for providing a service providing system for finding a missing child based on face recognition using deep learning according to an embodiment of the present invention
  • FIG. 2 is a schematic block diagram of a user terminal according to an embodiment of the present invention
  • FIG. It is a schematic block diagram of a missing child finding service providing server according to an embodiment of the present invention
  • FIG. 4 is a schematic block diagram of an intelligent control center system according to an embodiment of the present invention.
  • the system 1 for providing a service providing a missing child based on face recognition using deep learning includes a plurality of user terminals 10-1, 10-2, ..., 10-N, and a missing child.
  • the search service providing server 20 and the intelligent control center system 30 may be configured to operate in conjunction with each other through the wired/wireless communication network 40 .
  • the plurality of user terminals 10-1, 10-2, ..., 10-N include a device that the user can carry and use, such as a mobile phone, a smart phone, a smart pad, and a computer that can transmit pictures.
  • a device that the user can carry and use such as a mobile phone, a smart phone, a smart pad, and a computer that can transmit pictures.
  • the terminal is composed of a smart phone and will be described.
  • a missing child finding service providing application may be installed in a plurality of user terminals 10-1, 10-2, ..., 10-N. As such a missing child finding service providing application is executed, it is connected to the missing child finding service providing server 20 to receive a missing child finding service.
  • Such a missing child finding service providing application the pre-registration unit 11 for pre-registering the child image input before the missing child to the missing child finding service providing server 20, and the missing child occurrence information to the missing child finding service providing server 20 according to the occurrence of a missing child It may include a missing child occurrence report unit 12 that transmits the information and a report missing child discovery report unit 13 that transmits missing child discovery information to the missing child search service providing server 20 according to the discovery of a child estimated to be a missing child.
  • a detailed operation by the missing child finding service providing application executed in the plurality of user terminals 10-1, 10-2, ..., 10-N will be described later with reference to FIG. 5 .
  • the missing child finding service providing server 20 collects images of missing children transmitted from a plurality of user terminals 10-1, 10-2, ..., 10-N in order to provide the missing child finding service. It performs a missing child search based on a face recognition algorithm using deep learning.
  • the missing child finding service providing server 20 stores the missing child pre-registration information DB 21 that stores the missing child image and additional information registered before the missing child, the first missing child image according to the missing child occurrence, and the location and time of the missing child.
  • the lost child occurrence information DB 22 to store, the second lost child image according to the missing child discovery, the missing child discovery information DB 23 to store the missing child discovery location and time, pre-registration information, the missing child occurrence information, and the missing child discovery information are stored and deleted and a missing child information management unit 25 to manage, a facial feature extraction unit 26 for extracting facial features based on deep learning from an image, and a missing child information comparison unit 27 for determining whether an image matches or not based on the similarity between the facial feature information ) may be included.
  • the facial feature extraction unit 26 may use a robust deep learning technology-based face recognition model even when various shooting conditions, ie, posture, distance, lighting, and expression are changed. A detailed operation of the missing child search service will be described later with reference to FIGS. 5 and 6 .
  • the server 20 for providing a service for finding a missing child may request the intelligent control center system 30 to track the missing child.
  • the missing child finding service providing server 20 may include a lost child tracking information DB 24 and a missing child tracking information generating unit 28.
  • the missing child tracking information generating unit 28 is a lost child. It is possible to generate lost child tracking information based on the occurrence information and the missing child discovery information.
  • the intelligent control center system 30 a plurality of digital signage (Digital Signage) 31, a digital signage control unit 32, a plurality of CCTV (Closed Circuit Television) (33), It may include a CCTV control unit 34 and a lost child tracking server 35 .
  • the lost child tracking server 35 analyzes a plurality of CCTV images obtained based on the location and time information included in the missing child tracking information transmitted from the missing child finding service providing server 20 to track the missing child or the lost child's movement path. .
  • the lost child tracking server 35 may track the first movement path through comparative analysis of the CCTV image and the lost child image collected based on the location and time information of the lost child.
  • the lost child tracking server 35 analyzes the CCTV image taken of the first movement path to determine whether there is a kidnapping vehicle related to the kidnapping of a lost child, and if it is determined that the kidnapped vehicle exists, based on the first moving path
  • the second movement path can be traced through comparative analysis of the CCTV images and the kidnapped vehicle images collected by
  • the kidnapper generally takes the child to the vehicle and runs away.
  • the path cannot be traced. Accordingly, according to an embodiment, when a vehicle estimated to be an abducted vehicle is found by analyzing a vehicle image existing on the first moving path, the second moving path, which is a path through which the corresponding vehicle moves, is traced.
  • the plurality of digital signage 31 is an outdoor advertisement device using a digital information display (DID), and may be a billboard that can control advertisement contents through a communication network in the control center.
  • DID digital information display
  • Such a plurality of digital signage 31 is, for example, installed in subway stations, bus stops, apartment elevators, banks, etc. where there is a lot of floating population.
  • the lost child tracking server 35 may display information on the tracked missing child through the digital signage 31 so that a citizen can quickly discover the missing child. A detailed operation of the lost child tracking service will be described later with reference to FIGS. 7 to 10 .
  • FIG. 5 is a signal flow diagram illustrating a method for providing a face recognition-based missing child finding service using deep learning according to an embodiment.
  • the first user terminal 10 - 1 is defined as possessed by a guardian
  • the second user terminal 10 - 2 is defined as possessed by a citizen who discovers a lost child.
  • the at least one first user terminal 10 - 1 may transmit an image of a child to the missing child search service providing server 20 before the occurrence of a missing child and request pre-registration ( S105 ).
  • the missing child finding service providing server 20 maps and registers the child image transmitted from the first user terminal 10-1 together with the contact information of the first user terminal 10-1 (S110).
  • the missing child finding service providing server 20 provides the first missing child image and information on the location and time of the missing child. The information on the occurrence of missing children is registered (S120).
  • the pre-registered child image in S110 may be registered as the first missing child image.
  • the first missing child image may be registered as a new image registered in real time by the first user terminal 10 - 1 . That is, when a missing child occurs without prior registration, the guardian may report the missing child while transmitting a pre-stored child image to the first user terminal 10 - 1 . That is, the aforementioned S105 and S110 may not be performed before S115.
  • only the size of the face area greater than or equal to a predetermined size may be registered.
  • a predetermined size For example, in order to increase the accuracy of face recognition, only images having a size of 150 pixels*150 pixels or more of the face area may be registered.
  • the missing child finding service providing server 20 may extract facial feature information based on deep learning from the child image or the first missing child image, and encrypt and store the extracted facial feature information.
  • facial feature information can be extracted using a robust deep learning technology-based face recognition model even when various shooting conditions, ie, posture, distance, lighting, and expression are changed, a detailed description of this will be described later with reference to FIG. 6 .
  • the missing child finding service providing server 20 may determine whether or not to store the registered child image redundantly based on the facial feature information, and may prevent redundant storage.
  • facial feature information having a similarity with facial feature information extracted from the child image or the first missing child image among the pre-stored images is equal to or greater than a predetermined threshold, it may be determined as duplicate.
  • the pre-registered child image may be deleted. For example, if a report of a missing child is not received within a predetermined time (eg, 24 hours) after pre-registration of the child image, the child image may be automatically deleted.
  • the child image or the first missing child image may be deleted after the search for the missing child is completed.
  • the missing child search service providing server 20 may automatically delete the pre-registered child image, thereby reducing the user's psychological burden on personal information exposure.
  • the number of repetitions of S135 and S140 performed later can be reduced, so that the missing child can be found quickly.
  • information on the occurrence of a missing child may be provided to the citizen through text transmission, a missing child finding service application or digital signage, so that the missing child can be found quickly by the citizen. .
  • the registration for finding a missing child may be registered even if it does not necessarily go through the application.
  • the missing child occurrence information is transmitted to a phone number such as a police station through the second user terminal 10 - 2 , it may be configured to be automatically transmitted to the missing child finding service server 20 .
  • the service providing server 20 registers the missing child discovery information including the second missing child image, the location and time information where the missing child was discovered ( S130 ).
  • the second missing child image may be desirable to register the second missing child image with a face area having a size greater than or equal to a predetermined size.
  • photographing conditions may not be easy depending on the circumstances at the time of finding a missing child, it may not be essential.
  • the missing child finding service providing server 20 may extract facial feature information based on deep learning from the second missing child image and store the extracted facial feature information.
  • facial feature information can be extracted using a robust deep learning technology-based face recognition model even when various shooting conditions, ie, posture, distance, lighting, and expression are changed, a detailed description of this will be described later with reference to FIG. 6 . decide to do
  • the missing child finding service providing server 20 calculates a similarity between facial feature information extracted based on deep learning from each of the first missing child image and the second missing child image (S135).
  • the missing child search service providing server 20 determines whether the calculated similarity is equal to or greater than a predetermined threshold ( S140 ).
  • the similarity is greater than or equal to a predetermined threshold, it may be determined that the first missing child image and the second missing child image are images of the same child.
  • steps S135 to S140 may be repeatedly performed for each of the plurality of first missing images.
  • the missing child finding service providing server 20 transmits the contact information of the second user terminal 10-2 and the missing child discovery information to the first user terminal 10-1 (S145). ), and transfer the contact information and missing child information of the first user terminal 10-1 to the second user terminal 10-2 (S150).
  • the guardian and the citizen can make an immediate contact ( S155 ) with each other to the first user terminal 10-1 and the second user terminal 10-2, respectively, and psychologically through contact with the family of the missing child. It can help relieve anxiety and speed up family reunions.
  • FIG. 6 is a flowchart illustrating a process of extracting facial feature information according to an embodiment.
  • the missing child finding service providing server 20 detects a face region from the image (S210).
  • the missing child finding service providing server 20 detects facial feature points from the detected face region through a three-dimensional model estimation method (S220). That is, key parts of the face such as eyes, nose, mouth, and eyebrows, that is, feature points serving as landmarks are detected.
  • the missing child finding service providing server 20 normalizes the face region based on the detected feature points (S230). That is, the extracted face region may be lateral rather than the front according to the posture of the photographer or subject, may vary according to a change in expression, and the size of the face region may vary according to the distance between the photographer and the subject, and The brightness may vary depending on the lighting condition of the In this case, even for images of the same person, the feature information to be extracted in S240 may be different.
  • the extracted face region should be normalized so that toughness can be secured regardless of such a photographing posture or distance.
  • all extracted face regions may be corrected to face the front, corrected to have the same expression based on the extracted positions of eyes, nose, and mouth, or
  • the face region image may be corrected so that all sizes are the same based on the distance, or the brightness of the face region may be corrected with a preset value.
  • the missing child finding service providing server 20 may calculate a feature vector based on a convolutional neural network (CNN) from the normalized face region (S250).
  • CNN convolutional neural network
  • FIG. 7 is a signal flow diagram for explaining a process of tracking a lost child in conjunction with an intelligent control system according to an embodiment.
  • the missing child finding service providing server 20 generates a corrected third missing child image based on the first missing child image and the second missing child image ( S310 ). That is, the missing child finding service providing server 20 restores a portion that has been expanded based on at least one of the first missing child image and the second missing child image, for example, using at least one of the two images, and maximizes the image area.
  • a third image can be created.
  • the missing child finding service providing server 20 generates search information by collecting the location and time at which the missing child occurred and the location and time at which the missing child was discovered ( S320 ).
  • the missing child tracking server 35 may perform a missing child tracking operation, which will be described later, based on the third image and search information.
  • the server 30 for providing the missing child search service may request tracking of the missing child only with the missing child occurrence information before the missing child discovery information is registered.
  • the first image may be transmitted instead of the third image, and a missing child occurrence location and time included in the missing child occurrence information may be transmitted as search information.
  • the missing child finding service providing server 20 transmits a third lost child image and search information to the missing child tracking server 35 of the intelligent control center system 30 to request tracking of the missing child (S330).
  • the CCTV images taken at the corresponding location and the corresponding time are collected (S340).
  • the missing child tracking server 35 extracts image frames including at least one person from the collected CCTV images (S350).
  • the lost child tracking server 35 extracts the characteristic information of the whole body of the missing child from the image frame estimated to contain the missing child among the image frames based on the third missing child image (S360).
  • the missing child tracking server 35 secures the facial feature information of all people included in the extracted image frames, and then analyzes the similarity with the facial feature information extracted from the third missing child image to determine if the missing child is included. Get an image frame. Then, the lost child tracking server 35 extracts the whole body region image of the lost child from the secured image frame, and then extracts feature information of the lost child's whole body. This feature information extraction process is the same as described above with reference to FIG. 6 .
  • the lost child tracking server 35 extracts feature information of all human bodies included in the image frames, and clusters the image frames into a predetermined number of groups based on the extracted feature information (S370). In this case, it may be based on a pre-trained artificial intelligence cluster classification model.
  • the lost child tracking server 35 selects a tracking group from among predetermined groups based on the similarity with the feature information of the entire body of the missing child (S380). That is, image frame groups having a similarity with the characteristic information of the whole body of the missing child is greater than or equal to a predetermined threshold may be selected.
  • the missing child tracking server 35 tracks the movement path of the child based on the time and location information of the image frames included in the tracking group (S390).
  • the movement route of the lost child may be displayed on a map.
  • the lost child tracking server 35 displays the information about the missing child on the digital signage 31 located in the movement path of the lost child (S400).
  • the lost child tracking server 35 may automatically recognize a person having the same movement path as the lost child among the movement paths of people belonging to other image frame groups as a kidnapper.
  • the lost child tracking server 35 may also display information of a person who is presumed to be a kidnapper.
  • FIG. 8 is a flowchart illustrating a method for tracking a lost child movement path based on deep learning according to an embodiment.
  • the lost child tracking server 35 may track the first movement path through comparative analysis of the CCTV image and the lost child image collected based on the location and time information of the lost child ( S410 ).
  • the first moving path may be a walking path of the lost child tracked based on the image of the missing child based on location and time information included in the missing child tracking information transmitted from the finding missing child providing server 20 .
  • the lost child tracking server 35 analyzes the CCTV image captured by the first moving path to estimate the existence of a kidnapping vehicle related to the kidnapping of a lost child (S420).
  • the estimation of the abducted vehicle may be performed, for example, in a manner in which the lost child tracking manager monitors the first movement path with the naked eye and captures an image of a child who is estimated to be a lost child riding in the vehicle.
  • the lost child tracking server 35 may receive information about the location and time at which the image frame of the child boarding the vehicle was obtained from the lost child tracking manager, and obtain the kidnapped vehicle image from the corresponding image frame.
  • the lost child tracking server 35 may estimate a vehicle included in the image frame corresponding to the point at which the first movement route is no longer tracked, that is, the time point and location at which the first movement route ends, as a kidnapping vehicle. there is.
  • the lost child tracking server 35 proceeds to S410 and continuously tracks the first movement path.
  • the missing child tracking server 35 tracks the second moving path through comparative analysis of the CCTV image and the kidnapping vehicle image collected based on the first moving path. (S440).
  • the second movement path may be a movement path of the vehicle in which the lost child is boarded, which is tracked based on the vehicle image.
  • FIG. 9 is a flowchart for explaining the step (S410) of tracking the first movement path of FIG.
  • the missing child finding service providing server 20 generates a corrected third missing child image based on the first missing child image and the second missing child image ( S510 ). That is, the missing child finding service providing server 20 restores a portion that has been expanded based on at least one of the first missing child image and the second missing child image, for example, using at least one of the two images, and maximizes the image area.
  • a third image can be created.
  • the missing child finding service providing server 20 generates search information by collecting the location and time at which the missing child occurred and the location and time at which the missing child was discovered ( S520 ).
  • the missing child tracking server 35 may perform a missing child tracking operation, which will be described later, based on the third image and search information.
  • the server 30 for providing the missing child search service may request tracking of the missing child only with the missing child occurrence information before the missing child discovery information is registered.
  • the first image may be transmitted instead of the third image, and the missing child occurrence location and time included in the missing child occurrence information may be transmitted as search information.
  • the missing child finding service providing server 20 transmits a third lost child image and search information to the missing child tracking server 35 of the intelligent control center system 30 to request tracking of the missing child (S530).
  • the CCTV images taken at the corresponding location and the corresponding time are collected (S540).
  • the lost child tracking server 35 extracts image frames including at least one person from the collected CCTV images (S550).
  • the lost child tracking server 35 extracts the characteristic information of the whole body of the missing child from the image frame estimated to contain the missing child among the image frames based on the third missing child image (S560).
  • the missing child tracking server 35 secures the facial feature information of all people included in the extracted image frames, and then analyzes the similarity with the facial feature information extracted from the third missing child image to determine if the missing child is included. Get an image frame. Then, the lost child tracking server 35 extracts the whole body region image of the lost child from the secured image frame, and then extracts feature information of the lost child's whole body. This feature information extraction process is the same as described above with reference to FIG. 6 .
  • the missing child tracking server 35 extracts feature information of all human bodies included in the image frames, and clusters the image frames into a predetermined number of groups based on the extracted feature information (S570). In this case, it may be based on a pre-trained artificial intelligence cluster classification model.
  • the lost child tracking server 35 selects a tracking group from among predetermined groups based on the similarity with the characteristic information of the entire body of the missing child (S580). That is, image frame groups having a similarity with the characteristic information of the whole body of the missing child is greater than or equal to a predetermined threshold may be selected.
  • the lost child tracking server 35 tracks the movement path of the lost child based on the time and location information of the image frames included in the tracking group (S590).
  • the movement route of the lost child may be displayed on a map.
  • the lost child tracking server 35 displays the lost child occurrence information on the digital signage 31 located in the movement path of the lost child (S595).
  • the lost child tracking server 35 may automatically recognize a person having the same movement path as the lost child among the movement paths of people belonging to other image frame groups as a kidnapper.
  • the lost child tracking server 35 may also display information of a person who is presumed to be a kidnapper.
  • FIG. 10 is a flowchart for explaining the step ( S440 ) of tracking the second movement path of FIG. 8 .
  • the lost child tracking server 35 extracts characteristic information of the entire kidnapped vehicle from the kidnapped vehicle image ( S610 ). This feature information extraction process is the same as described above with reference to FIG. 6 .
  • the kidnapping vehicle image may be a corrected image based on a plurality of kidnapping vehicle images taken at various angles. That is, although not shown in the figure, the missing child tracking server 35 restores the part that is extended based on at least one of the plurality of vehicle images, for example, using at least one of the two images, and the image area. A maximized vehicle image can be created.
  • the lost child tracking server 35 extracts image frames including at least one vehicle from the CCTV image collected based on the second movement path (S620).
  • the lost child tracking server 35 extracts feature information of all vehicles included in the extracted image frames ( S630 ), and clusters the image frames into a predetermined number of groups based on the extracted feature information ( S630 ). S640). In this case, it may be based on a pre-trained artificial intelligence cluster classification model.
  • the lost child tracking server 35 selects a tracking group from among predetermined groups based on the similarity with the characteristic information of the kidnapped vehicle image (S650). That is, image frame groups having a similarity with characteristic information of the kidnapped vehicle image greater than or equal to a predetermined threshold may be selected.
  • the lost child tracking server 35 tracks the second movement path of the vehicle based on the time and location information of the image frames included in the tracking group (S660). This second movement path may be displayed on the map.
  • the lost child tracking server 35 displays the information about the missing child on the digital signage 31 located in the second movement path (S670).
  • FIG. 11 is a diagram showing the configuration of a computer system according to an embodiment.
  • the user terminal 10, the missing child finding service providing apparatus 20 and the missing child tracking server 35 may be implemented in the computer system 1000 such as a computer-readable recording medium, respectively.
  • Computer system 1000 may include one or more processors 1010 , memory 1030 , user interface input device 1040 , user interface output device 1050 , and storage 1060 that communicate with each other via bus 1020 .
  • computer system 1000 may further include a network interface 1070 coupled to network 1080 .
  • the processor 1010 may be a central processing unit or a semiconductor device that executes programs or processing instructions stored in the memory 1030 or the storage 1060 .
  • the memory 1030 and the storage 1060 may be a storage medium including at least one of a volatile medium, a non-volatile medium, a removable medium, a non-removable medium, a communication medium, and an information delivery medium.
  • the memory 1030 may include a ROM 1031 or a RAM 1032 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계, 적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계, 제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계 및 유사도가 소정 임계치 이상일 경우, 제1 사용자 단말로 제2 사용자 단말의 연락처, 미아 발견 정보를 전달하고, 제2 사용자 단말로 제1 사용자 단말의 연락처, 미아 발생 정보를 전달하는 단계를 포함할 수 있다.

Description

딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
본 발명은 얼굴 인식 기반의 미아 찾기 기술에 관한 것이다.
한국 공개특허 10-2018-0006016호(이하 '선행 문헌'으로 기재함)는 미아 사진을 이용한 얼굴 인식을 기반으로 미아 찾기 서비스를 제공하고 있디.
그런데, 선행 문헌에서는 일반적인 이미지 인식 기법을 사용하기 때문에, 촬영 자세, 촬영 거리, 표정 변화 및 주변광의 밝기 변화 등과 같은 다양한 환경 변화에 의해 인식 오류가 발생될 수 있다.
또한, 골든타임의 효과적 활용을 통해 미아를 찾기까지의 시간을 보다 단축시킬 수 있는 기술 개발이 요구된다.
또한, 아동이 미아 발생 위치 또는 시민에 의해 미아로 추정되는 아동의 발견 위치에서 먼 곳으로 이동할 수 있으므로 미아의 이동 경로를 신속히 추적할 필요가 있다.
이때, 미아가 단순히 길을 잃은 것이 아닌 유괴범에 의해 납치된 경우, 유괴범은 차량으로 미아를 태워 도주할 가능성이 크다는 점을 고려하여, 미아의 이동 경로를 추적할 수 있는 기술 개발이 요구된다.
본 발명의 목적은 촬영 자세, 촬영 거리, 표정 변화 및 주변광의 밝기 변화 등과 같은 다양한 환경 변화에도 강인한 딥러닝을 이용한 얼굴 인식 기반 미아 찾기를 통해 신속하고 오류없이 미아 발견이 이루어지도록 하는데 있다.
또한, 본 발명의 목적은 미아의 이동 경로를 신속히 추적하는 데 있다.
또한, 본 발명의 목적은 유괴범에 의해 납치된 경우, 유괴범은 차량으로 미아를 태워 도주할 가능성이 크다는 점을 고려하여, 미아의 이동 경로를 신속히 추적하는 데 있다.
또한, 본 발명의 목적은 미아 이동 경로 상에 위치한 시민들에게 미아 발생 정보가 집중적이고 효과적으로 노출되도록 하여 불필요한 정보 확산을 방지하면서 미아를 찾기까지의 시간을 보다 단축시키도록 하는데 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법은, 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계, 적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계, 제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계 및 유사도가 소정 임계치 이상일 경우, 제1 사용자 단말로 제2 사용자 단말의 연락처, 미아 발견 정보를 전달하고, 제2 사용자 단말로 제1 사용자 단말의 연락처, 미아 발생 정보를 전달하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법은, 적어도 하나의 제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계를 더 포함하되, 미아 발생 정보를 등록하는 단계는, 제1 사용자 단말로부터 미아 발생이 신고됨에 따라, 사전 등록된 아동 이미지를 제1 미아 이미지로 등록할 수 있다.
또한, 본 발명의 일 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법은, 제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계를 더 포함하되, 아동 이미지를 사전 등록한 후, 소정 시간이 이내에 미아 발생이 신고되지 않을 경우, 사전 등록된 아동 이미지를 삭제하는 단계를 더 포함할 수 있다.
이때, 아동 이미지 및 제1 미아 이미지는, 얼굴 영역의 크기가 소정 크기 이상인 것만 등록될 수 있다.
이때, 얼굴 특징 정보는, 제1 미아 이미지 및 제2 미아 이미지로부터 얼굴 영역을 검출하는 단계, 검출된 얼굴 영역으로부터 3차원 모델 추정 방식을 통해 얼굴의 특징점을 검출하는 단계, 검출된 특징점을 기반으로 얼굴 영역을 정규화하는 단계 및 정규화된 얼굴 영역으로부터 콘볼루셔널 신경망을 기반으로 특징 벡터를 산출하는 단계를 통해 획득될 수 있다.
또한, 본 발명의 일 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법은, 지능형 관제 센터 시스템에 미아 발생 정보를 전송하여 미아 추적 요청하는 단계를 더 포함하되, 지능형 관제 센터 시스템은, 복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되, 미아 추적 서버는, 미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계, 제1 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계 및 미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법은, 제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계, 미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계 및 지능형 관제 센터 시스템에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청하는 단계를 더 포함하되, 지능형 관제 센터 시스템은, 복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되, 미아 추적 서버는, 보정된 미아 추적 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계, 제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계 및 미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행할 수 있다.
본 발명의 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치는, 적어도 하나의 프로그램이 기록된 메모리 및 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계, 적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계, 제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계 및 유사도가 소정 임계치 이상일 경우, 제1 사용자 단말로 제2 사용자 단말의 연락처, 미아 발견 정보를 전달하고, 제2 사용자 단말로 제1 사용자 단말의 연락처, 미아 발생 정보를 전달하는 단계를 수행할 수 있다.
이때, 프로그램은, 적어도 하나의 제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계 및 아동 이미지를 사전 등록한 후, 소정 시간이 이내에 미아 발생이 신고되지 않을 경우, 사전 등록된 아동 이미지를 삭제하는 단계를 더 수행하되, 미아 발생 정보를 등록하는 단계는, 제1 사용자 단말로부터 미아 발생이 신고됨에 따라, 사전 등록된 아동 이미지를 제1 미아 이미지로 등록할 수 있다.
이때, 얼굴 특징 정보는, 제1 미아 이미지 및 제2 미아 이미지로부터 얼굴 영역을 검출하는 단계, 검출된 얼굴 영역으로부터 3차원 모델 추정 방식을 통해 얼굴의 특징점을 검출하는 단계, 검출된 특징점을 기반으로 얼굴 영역을 정규화하는 단계 및 정규화된 얼굴 영역으로부터 콘볼루셔널 신경망을 기반으로 특징 벡터를 산출하는 단계를 통해 획득될 수 있다.
이때, 프로그램은, 지능형 관제 센터 시스템에 미아 발생 정보를 전송하여 미아 추적 요청하는 단계를 더 수행하되, 지능형 관제 센터 시스템은, 복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되, 미아 추적 서버는, 미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계, 제1 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계 및 미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행할 수 있다.
이때, 프로그램은, 제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계, 미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계 및 지능형 관제 센터 시스템에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청하는 단계를 더 수행하되, 지능형 관제 센터 시스템은, 복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되, 미아 추적 서버는, 검색 정보를 기반으로 CCTV 영상을 수집하는 단계, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계, 제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계 및 미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행할 수 있다.
본 발명의 다른 실시예에 따른 복수의 CCTV들과 연동되는 미아 추적 서버에서의 딥러닝 기반 미아 이동 경로 추적 방법에 있어서, 미아가 발생된 위치 및 시간 정보를 기반으로 수집된 CCTV 영상 및 미아 이미지의 비교 분석을 통해 제1 이동 경로를 추적하는 단계, 제1 이동 경로를 촬영한 CCTV 영상을 분석하여 미아 유괴와 연관된 유괴 차량의 존재 여부를 판단하는 단계 및 유괴 차량이 존재하는 것으로 판단될 경우, 제1 이동 경로를 기반으로 수집된 CCTV 영상 및 유괴 차량 이미지의 비교 분석을 통해 제2 이동 경로를 추적하는 단계를 포함할 수 있다.
이때, 미아 추적 서버는, 복수의 사이니지 디스플레이들과 연동되고, 제1 이동 경로 및 제2 이동 경로 중 적어도 하나에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 더 포함할 수 있다.
이때, 제1 이동 경로를 추적하는 단계는, 미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계, 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계 및 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아가 이동한 제1 이동 경로를 추적하는 단계를 포함할 수 있다.
이때, 제2 이동 경로를 추적하는 단계는, 유괴 차량 이미지 프레임으로부터 유괴 차량 전체의 특징 정보를 추출하는 단계, 제2 이동 경로를 기반으로 수집된 CCTV 영상에서 적어도 하나의 차량이 포함된 이미지 프레임들을 추출하는 단계, 이미지 프레임들에 포함된 모든 차량의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 유괴 차량의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계 및 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 차량이 이동한 제2 이동 경로를 추적하는 단계를 수행할 수 있다.
이때, 제1 이동 경로를 추적하는 단계는, 미아 찾기 서비스 제공 서버로부터 미아 발생 정보와 함께 수신되는 미아 추적 요청에 따라 수행되되, 미아 찾기 서비스 제공 서버는, 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계 및 등록된 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보로 미아 추적 요청하는 단계를 수행할 수 있다.
이때, 제1 이동 경로를 추적하는 단계는, 미아 찾기 서비스 제공 서버로부터 미아 발생 정보와 함께 수신되는 미아 추적 요청에 따라 수행되되, 미아 찾기 서비스 제공 서버는, 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계, 적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계, 제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계, 유사도가 소정 임계치 이상일 경우, 제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계, 미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계 및 제3 미아 이미지, 검색 정보를 포함하는 미아 발생 정보로 미아 추적 요청하는 단계를 더 수행할 수 있다.
본 발명의 실시예에 따른 복수의 CCTV들과 연동되는 미아 추적 서버에 있어서, 적어도 하나의 프로그램이 기록된 메모리 및 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 미아가 발생된 위치 및 시간 정보를 기반으로 수집된 CCTV 영상 및 미아 이미지의 비교 분석을 통해 제1 이동 경로를 추적하는 단계, 제1 이동 경로를 촬영한 CCTV 영상을 분석하여 미아 유괴와 연관된 유괴 차량의 존재 여부를 판단하는 단계 및 유괴 차량이 존재하는 것으로 판단될 경우, 제1 이동 경로를 기반으로 수집된 CCTV 영상 및 유괴 차량 이미지의 비교 분석을 통해 제2 이동 경로를 추적하는 단계를 수행할 수 있다.
이때, 미아 추적 서버는, 복수의 사이니지 디스플레이들과 연동되고, 제1 이동 경로 및 제2 이동 경로 중 적어도 하나에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 더 수행할 수 있다.
이때, 제1 이동 경로를 추적하는 단계는, 미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계, 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계 및 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아가 이동한 제1 이동 경로를 추적하는 단계를 포함할 수 있다.
이때, 제2 이동 경로를 추적하는 단계는, 유괴 차량 이미지 프레임으로부터 유괴 차량 전체의 특징 정보를 추출하는 단계, 제2 이동 경로를 기반으로 수집된 CCTV 영상에서 적어도 하나의 차량이 포함된 이미지 프레임들을 추출하는 단계, 이미지 프레임들에 포함된 모든 차량의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 유괴 차량의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계 및 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 차량이 이동한 제2 이동 경로를 추적하는 단계를 수행할 수 있다.
이때, 제1 이동 경로를 추적하는 단계는, 미아 찾기 서비스 제공 서버로부터 미아 발생 정보와 함께 수신되는 미아 추적 요청에 따라 수행되되, 미아 찾기 서비스 제공 서버는, 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계 및 등록된 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보로 미아 추적 요청하는 단계를 수행할 수 있다.
이때, 제1 이동 경로를 추적하는 단계는, 미아 찾기 서비스 제공 서버로부터 미아 발생 정보와 함께 수신되는 미아 추적 요청에 따라 수행되되, 미아 찾기 서비스 제공 서버는, 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계, 적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계, 제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계, 유사도가 소정 임계치 이상일 경우, 제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계, 미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계 및 제3 미아 이미지, 검색 정보를 포함하는 미아 발생 정보로 미아 추적 요청하는 단계를 더 수행할 수 있다.
본 발명에 따르면, 촬영 자세, 촬영 거리, 표정 변화 및 주변광의 밝기 변화 등과 같은 다양한 환경 변화에도 강인한 딥러닝을 이용한 얼굴 인식 기반 미아 찾기를 통해 신속하고 오류없이 미아를 발견하도록 할 수 있다.
또한, 본 발명에 따라, 미아의 이동 경로를 신속히 추적해낼 수 있다.
또한, 본 발명에 따라, 유괴범에 의해 납치된 경우, 유괴범은 차량으로 미아를 태워 도주할 가능성이 크다는 점을 고려하여, 미아의 이동 경로를 신속히 추적해낼 수 있다.
또한, 본 발명에 따라, 미아 경로 상에 위치한 시민들에게 미아 발생 정보가 집중적이고 효과적으로 노출되도록 하여 불필요한 정보 확산을 방지하면서 미아를 찾기까지의 시간을 보다 단축시키도록 할 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 미아 찾기 서비스 제공 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 사용자 단말의 개략적인 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 미아 찾기 서비스 제공 서버의 개략적인 블록 구성도이다.
도 4는 본 발명의 실시예에 따른 지능형 관제 센터 시스템의 개략적인 블록 구성도이다.
도 5는 본 발명의 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법을 설명하기 위한 신호 흐름도이다.
도 6은 본 발명의 실시예에 따른 얼굴 특징 정보를 추출하는 과정을 설명하기 위한 순서도이다.
도 7은 본 발명의 실시예에 따른 지능형 관제 시스템과 연동하여 미아를 추적하는 과정을 설명하기 위한 신호 흐름도이다.
도 8은 본 발명의 실시예에 따른 딥러닝 기반 미아 이동 경로 추적 방법을 설명하기 위한 순서도이다.
도 9는 도 8의 제1 이동 경로를 추적하는 단계(S310)를 설명하기 위한 순서도이다.
도 10은 도 8의 제2 이동 경로를 추적하는 단계(S340)를 설명하기 위한 순서도이다.
도 11은 본 발명의 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 11을 참조하여 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법이 상세히 설명된다.
도 1은 본 발명의 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 시스템의 구성도이고, 도 2는 본 발명의 실시예에 따른 사용자 단말의 개략적인 블록 구성도이고, 도 3은 본 발명의 실시예 따른 미아 찾기 서비스 제공 서버의 개략적인 블록 구성도이고, 도 4는 본 발명의 실시예에 따른 지능형 관제 센터 시스템의 개략적인 블록 구성도이다.
도 1을 참조하면, 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 시스템(1)은 복수의 사용자 단말들(10-1, 10-2, ..., 10-N), 미아 찾기 서비스 제공 서버(20) 및 지능형 관제 센터 시스템(30)이 유/무선 통신망(40)을 통해 연동되어 동작하도록 구성될 수 있다.
이때, 복수의 사용자 단말들(10-1, 10-2, ..., 10-N)은 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기와, 사진을 전송할 수 있는 컴퓨터를 총칭하는 것이며, 본 실시예에서는 스마트폰으로 구성된 단말기로 가정하고 설명하기로 한다.
도 2를 참조하면, 복수의 사용자 단말들(10-1, 10-2, ..., 10-N)에는 미아 찾기 서비스 제공 어플리케이션이 설치될 수 있다. 이러한 미아 찾기 서비스 제공 어플리케이션이 실행됨에 따라 미아 찾기 서비스 제공 서버(20)와 접속되어 미아 찾기 서비스를 제공받을 수 있다.
이러한 미아 찾기 서비스 제공 어플리케이션은, 미아 발생 전에 입력된 아동 이미지를 미아 찾기 서비스 제공 서버(20)로 사전 등록하는 사전 등록부(11), 미아 발생에 따라 미아 찾기 서비스 제공 서버(20)로 미아 발생 정보를 전송하는 미아 발생 신고부(12) 및 미아로 추정되는 아동의 발견에 따라 미아 발견 정보를 미아 찾기 서비스 제공 서버(20)로 전송하는 신고 미아 발견 신고부(13)를 포함할 수 있다. 이러한 복수의 사용자 단말들(10-1, 10-2, ..., 10-N)에서 실행되는 미아 찾기 서비스 제공 어플리케이션에 의한 상세 동작은 도 5를 참조하여 후술하기로 한다.
실시예에 따라, 미아 찾기 서비스 제공 서버(20)는, 미아 찾기 서비스를 제공하기 위해 복수의 사용자 단말들(10-1, 10-2, ..., 10-N)로부터 전달되는 미아 이미지들을 딥러닝을 이용한 얼굴 인식 알고리즘을 기반으로 미아 찾기를 수행한다.
이를 위해, 미아 찾기 서비스 제공 서버(20)는, 미아 발생 전에 등록되는 미아 이미지 및 부가 정보를 저장하는 미아 사전 등록 정보 DB(21), 미아 발생에 따른 제1 미아 이미지, 미아 발생 위치 및 시간을 저장하는 미아 발생 정보 DB(22), 미아 발견에 따른 제2 미아 이미지, 미아 발견 위치 및 시간을 저장하는 미아 발견 정보 DB(23), 사전 등록 정보, 미아 발생 정보 및 미아 발견 정보를 저장, 삭제 및 관리하는 미아 정보 관리부(25), 이미지로부터 딥러닝 기반으로 얼굴 특징을 추출하는 얼굴 특징 추출부(26) 및 얼굴 특징 정보들 간의 유사도를 기반으로 이미지 일치 여부를 판단하는 미아 정보 비교부(27)를 포함할 수 있다. 이때, 얼굴 특징 추출부(26)는, 다양한 촬영 조건, 즉, 자세, 거리, 조명 및 표정이 변화되더라도 강인한 딥러닝 기술 기반 얼굴 인식 모델을 사용할 수 있다. 미아 찾기 서비스의 상세 동작은 도 5 및 도 6을 참조하여 후술하기로 한다.
또한, 실시예에 따라, 미아 찾기 서비스 제공 서버(20)는 지능형 관제 센터 시스템(30)에 미아 추적 요청할 수 있다.
이를 위해, 미아 찾기 서비스 제공 서버(20)는, 미아 추적 정보 DB(24) 및 미아 추적 정보 생성부(28)를 포함할 수 있는데, 실시예에 따라, 미아 추적 정보 생성부(28)는 미아 발생 정보 및 미아 발견 정보를 기반으로 미아 추적 정보를 생성할 수 있다.
도 4를 참조하면, 지능형 관제 센터 시스템(30)은, 복수의 디지털 사이니지(Digital Signage)들(31), 디지털 사이니지 제어부(32), 복수의 CCTV(Closed Circuit Television)들(33), CCTV 제어부(34) 및 미아 추적 서버(35)를 포함할 수 있다.
미아 추적 서버(35)는, 미아 찾기 서비스 제공 서버(20)로부터 전달된 미아 추적 정보에 포함된 위치 및 시간 정보를 기반으로 획득된 복수의 CCTV 영상을 분석하여 미아 또는 미아의 이동 경로를 추적한다.
실시예에 따라, 미아 추적 서버(35)는 미아가 발생된 위치 및 시간 정보를 기반으로 수집된 CCTV 영상 및 미아 이미지의 비교 분석을 통해 제1 이동 경로를 추적할 수 있다.
또한, 미아 추적 서버(35)는 제1 이동 경로를 촬영한 CCTV 영상을 분석하여 미아 유괴와 연관된 유괴 차량의 존재 여부를 판단하여, 유괴 차량이 존재하는 것으로 판단될 경우, 제1 이동 경로를 기반으로 수집된 CCTV 영상 및 유괴 차량 이미지의 비교 분석을 통해 제2 이동 경로를 추적할 수 있다.
즉, 미아가 단순히 길을 잃은 것이 아니라 유괴되었을 경우, 유괴범은 일반적으로 미아를 차량에 태우고 도주하게 되므로, 전술한 바와 같이 미아 이미지로만 미아를 추적할 경우 미아가 차량에 탑승한 이후의 미아의 이동 경로는 추적될 수가 없다. 따라서, 실시 예에 따라, 제1 이동 경로 상에 존재하는 차량 이미지를 분석하여, 유괴 차량으로 추정되는 차량이 발견될 경우, 해당 차량이 이동하는 경로인 제2 이동 경로를 추적하는 것이다.
이때, 복수의 디지털 사이니지들(31)은 디지털 정보 디스플레이(digital information display, DID)를 이용한 옥외 광고 장치로, 관제센터에서 통신망을 통해 광고 내용을 제어할 수 있는 광고판일 수 있다. 이러한 복수의 디지털 사이니지들(31)은 예컨대, 지하철 역사, 버스정류장, 아파트 엘리베이터, 은행 등 유동인구가 많은 곳에서 설치된다. 따라서, 미아 추적 서버(35)는, 추적된 미아에 대한 정보를 디지털 사이니지들(31)을 통해 디스플레이되도록 하여, 시민에 의한 미아 발견이 신속히 이루어지도록 할 수 있다. 미아 추적 서비스의 상세 동작은 도 7 내지 도 10을 참조하여 후술하기로 한다.
도 5는 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법을 설명하기 위한 신호 흐름도이다.
우선, 도 5에서 제1 사용자 단말(10-1)은 보호자가 소지한 것으로 정의하고, 제2 사용자 단말(10-2)는 미아를 발견한 시민이 소지한 것으로 정의하기로 한다.
우선, 적어도 하나의 제1 사용자 단말(10-1)은 미아 발생 전에 아동 이미지를 미아 찾기 서비스 제공 서버(20)에 전송하여 사전 등록 요청할 수 있다(S105).
예컨대, 보호자는 사람이 많은 쇼핑 센터 또는 놀이 공원과 같은 공공 장소에 아이와 함께 외출시, 혹시 모를 미아 발생 대비하여 아동 이미지를 미리 미아 찾기 서비스 제공 서버(20)에 등록해두어, 실제로 미아가 발생했을 때 신속한 대응이 이루어질 수 있도록 할 수 있다. 또한, 미아 발생 당일의 아동의 사진이 등록될 수 있어 미아 찾기 가능성을 높일 수 있다는 이점도 있다.
그러면, 미아 찾기 서비스 제공 서버(20)는 제1 사용자 단말(10-1)로부터 전송된 아동 이미지를 제1 사용자 단말(10-1)의 연락처와 함께 매핑하여 등록해둔다(S110).
한편, 미아 찾기 서비스 제공 서버(20)는, 적어도 하나의 제1 사용자 단말(10-1)로부터 미아 발생이 신고됨(S115)에 따라, 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록한다(S120).
이때, 제1 미아 이미지는, S110에서 사전 등록된 아동 이미지를 제1 미아 이미지로 등록될 수도 있다.
또한, 제1 미아 이미지는, 제1 사용자 단말(10-1)에 의해 실시간으로 등록된 신규 이미지로 등록될 수도 있다. 즉, 사전 등록없이 미아가 발생된 경우, 보호자는 제1 사용자 단말(10-1)에 미리 저장된 아동 이미지를 전송하면서 미아 발생을 신고를 할 수도 있다. 즉, 전술한 S105 및 S110은 S115 이전에 수행되지 않을 수도 있다.
이때, 아동 이미지 및 제1 미아 이미지는, 얼굴 영역의 크기가 소정 크기 이상인 것만 등록될 수 있다. 예컨대, 얼굴 인식 정확도를 높이기 위해서 얼굴 영역의 크기가 150pixel*150pixel 이상이 되는 이미지만 등록될 수 있다.
이때, 미아 찾기 서비스 제공 서버(20)는 아동 이미지 또는 제1 미아 이미지로부터 딥러닝 기반으로 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보를 암호화하여 저장해둘 수도 있다.
이때, 얼굴 특징 정보는, 다양한 촬영 조건, 즉, 자세, 거리, 조명 및 표정이 변화되더라도 강인한 딥러닝 기술 기반 얼굴 인식 모델을 사용하여 추출될 수 있는데, 이에 대한 상세한 설명은 도 6을 참조하여 후술하기로 한다.
이때, 미아 찾기 서비스 제공 서버(20)는 얼굴 특징 정보를 기반으로 등록된 아동 이미지의 중복 저장 여부를 판단하고, 중복 저장을 방지할 수 있다.
이때, 미리 저장된 이미지들 중, 아동 이미지 또는 제1 미아 이미지로부터 추출된 얼굴 특징 정보와의 유사도가 소정 임계치 이상인 얼굴 특징 정보가 존재할 경우, 중복으로 판단될 수 있다.
한편, 소정 시간이 이내에 미아 발생이 신고되지 않을 경우, 사전 등록된 아동 이미지가 삭제될 수 있다. 예컨대, 아동 이미지를 사전 등록한 이후, 소정 시간(예컨대, 24시간) 이내에 미아 발생 신고가 접수되지 않을 경우, 아동 이미지를 자동 삭제할 수 있다.
또한, 미아 발생이 신고된 경우에도, 이후 미아 찾기가 완료된 이후에는 아동 이미지 또는 제1 미아 이미지는 삭제될 수 있다.
즉, 아동 이미지가 등록된 이후, 미아 발생이 이루어지지 않거나 미아 찾기가 완료된 이후에도 계속적으로 아동 이미지가 등록 상태일 경우 개인 정보 노출 우려가 있을 수 있다. 이러한 개인 정보 노출을 우려하여 사용자가 일일이 등록 정보를 삭제하는 것 또한 번거로운 일일 수 있다. 따라서, 실시예에서는, 미아 찾기 서비스 제공 서버(20)가 사전 등록된 아동 이미지를 자동 삭제하여 개인 정보 노출에 대한 사용자의 심리적 부담을 경감시킬 수 있다.
또한, 제1 미아 이미지의 삭제를 통해, 추후 수행되는 S135 및 S140의 반복 횟수를 감소시켜, 신속히 미아 찾기가 이루어지도록 할 수 있다.
한편, 도면에는 도시되어 있지 않지만, 이때, 실시예에 따라, 문자 전송, 미아 찾기 서비스 어플리케이션 또는 디지털 사이니지를 통해 미아 발생 정보를 시민에게 제공하여, 시민에 의한 미아 발견이 신속히 이루어지도록 할 수 있다.
한편, 시민은 주변에 미아로 보이는 아동을 발견함에 따라, 자신이 소유한 제2 사용자 단말(10-2)로 해당 아동의 사진을 촬영하여 미아 찾기 서비스 서버(20)에 미아 발견을 신고할 수 있다(S125).
이때, 미아 찾기 등록은 반드시 어플리케이션을 통하지 않더라도 등록될 수 있도록 할 수 있다. 예컨대, 제2 사용자 단말(10-2)을 통해 경찰서 등과 같은 전화번호로 미아 발생 정보를 전송함에 따라, 자동으로 미아 찾기 서비스 서버(20)로 전달되도록 구성될 수도 있다.
그러면, 서비스 제공 서버(20)는 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록한다(S130).
이때, 제2 미아 이미지는, 얼굴 영역의 크기가 소정 크기 이상인 것이 등록되도록 하는 것이 바람직할 수 있다. 다만, 미아 발견시의 상황에 따라 촬영 조건이 용이하지 않을 수 있으므로, 필수적인 것은 아닐 수 있다.
이때, 미아 찾기 서비스 제공 서버(20)는 제2 미아 이미지로부터 딥러닝 기반으로 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보를 저장해둘 수도 있다. 이때, 얼굴 특징 정보는, 다양한 촬영 조건, 즉, 자세, 거리, 조명 및 표정이 변화되더라도 강인한 딥러닝 기술 기반 얼굴 인식 모델을 사용하여 추출될 수 있는데, 이에 대한 상세한 설명은 도 6을 참조하여 후술하기로 한다.
따라서, 미아 찾기 서비스 제공 서버(20)는, 제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출한다(S135).
그런 후, 미아 찾기 서비스 제공 서버(20)는, 산출된 유사도가 소정 임계치 이상인지를 판단한다(S140).
예컨대, 620 만장의 얼굴 특징 정보 분석 결과, 일란성 쌍둥이가 아닌 다른 사람과 유사도 분석 시 0.7 이상이 나올 확률은 거의 불가능하다. 따라서, 이러한 유사도가 소정 임계치 이상일 경우, 제1 미아 이미지와 제2 미아 이미지는 동일한 아동의 이미지인 것으로 판단될 수 있다.
이때, 제1 미아 이미지는 복수개 일 수 있고, S135~S140는 복수개의 제1 미아 이미지들 각각에 대해 반복 수행될 수 있다.
S140의 판단 결과 유사도가 소정 임계치 이상일 경우, 미아 찾기 서비스 제공 서버(20)는, 제1 사용자 단말(10-1)로 제2 사용자 단말(10-2)의 연락처, 미아 발견 정보를 전달(S145)하고, 제2 사용자 단말(10-2)로 제1 사용자 단말(10-1)의 연락처, 미아 발생 정보를 전달(S150)할 수 있다.
그러면, 보호자 및 시민은 각각 제1 사용자 단말(10-1) 및 제2 사용자 단말(10-2)로 상호간에 즉시 연락(S155)을 취하도록 할 수 있어, 미아의 가족과의 연락을 통한 심리적 불안감 완화 및 가족 상봉이 신속히 이루어지도록 할 수 있다.
도 6은 실시예에 따른 얼굴 특징 정보를 추출하는 과정을 설명하기 위한 순서도이다.
도 6을 참조하면, 미아 찾기 서비스 제공 서버(20)는, 이미지로부터 얼굴 영역을 검출한다(S210).
그런 후, 미아 찾기 서비스 제공 서버(20)는, 검출된 얼굴 영역으로부터 3차원 모델 추정 방식을 통해 얼굴의 특징점을 검출한다(S220). 즉, 눈, 코, 입, 눈썹과 같은 얼굴 주요 부분, 즉 랜드 마크(Land Mark)가 되는 특징점들이 검출되는 것이다.
미아 찾기 서비스 제공 서버(20)는, 검출된 특징점을 기반으로 얼굴 영역을 정규화한다(S230). 즉, 추출된 얼굴 영역은 촬영자 또는 촬영 대상자의 자세에 따라 정면이 아닌 측면일 수도 있고, 표정 변화에 따라 달라질 수도 있고, 촬영자와 촬영 대상자 간의 거리에 따라 얼굴 영역의 크기도 달라질 수 있고, 촬영시의 조명 상태에 따라 그 명도 등이 달라질 수 있다. 이럴 경우, 동일한 사람을 촬영한 이미지들이라 하더라도 S240에서 추출될 특징 정보가 달라질 수 있다.
따라서, 이러한 촬영 자세 또는 거리에 상관없이 강인성 확보 가능하도록 추출된 얼굴 영역이 정규화되어야 한다. 예컨대, 추출된 양안의 위치를 기준으로 추출된 얼굴 영역이 모두 정면을 바라보도록 보정될 수도 있고, 추출된 눈, 코, 입의 위치를 기준으로 동일한 표정이 되도록 보정될 수도 있고, 추출된 양안의 거리를 기준으로 그 크기가 모두 동일해지도록 얼굴 영역 이미지가 보정될 수도 있고, 미리 설정된 값으로 얼굴 영역의 명도가 보정될 수도 있다.
그런 후, 미아 찾기 서비스 제공 서버(20)는, 정규화된 얼굴 영역으로부터 콘볼루셔널 신경망(Convolutional Neural Network, CNN)을 기반으로 특징 벡터를 산출할 수 있다(S250).
도 7은 실시예에 따른 지능형 관제 시스템과 연동하여 미아를 추적하는 과정을 설명하기 위한 신호 흐름도이다.
도 7을 참조하면, 미아 찾기 서비스 제공 서버(20)는, 제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성한다(S310). 즉, 미아 찾기 서비스 제공 서버(20)는, 제1 미아 이미지 및 제2 미아 이미지 중 적어도 하나를 기반으로 확장된, 예컨대, 두 이미지 중 적어도 하나를 이용하여 가려진 부분을 복원하고, 이미지 영역을 최대화된 제 3 이미지를 생성할 수 있다.
또한, 미아 찾기 서비스 제공 서버(20)는, 미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성한다(S320).
그러면, 미아 추적 서버(35)는, 제3 이미지 및 검색 정보를 기반으로 후술되는 미아 추적 동작을 수행할 수 있다.
그러나, 신속히 미아를 추적하기 위해서, 미아 찾기 서비스 제공 서버(30)는, 미아 발견 정보가 등록되기 이전에 미아 발생 정보만으로 미아 추적을 요청할 수도 있다. 이때, 제3 이미지 대신 제1 이미지가 전송되고, 검색 정보로 미아 발생 정보에 포함된 미아 발생 위치 및 시간이 전송될 수 있다.
미아 찾기 서비스 제공 서버(20)는, 지능형 관제 센터 시스템(30)의 미아 추적 서버(35)에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청한다(S330).
그러면, 미아 추적 서버(35), 보정된 미아 추적 위치 및 시간 정보를 기반으로 해당 위치 및 해당 시간에 촬영된 CCTV 영상을 수집한다(S340).
미아 추적 서버(35)는, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출한다(S350).
미아 추적 서버(35)는, 제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출한다(S360).
상세하게는, 미아 추적 서버(35)는, 추출된 이미지 프레임들에 포함된 모든 사람의 얼굴 특징 정보를 확보한 후 제3 미아 이미지로부터 추출된 얼굴 특징 정보와의 유사도 분석을 통해 미아가 포함된 이미지 프레임을 확보한다. 그런 후, 미아 추적 서버(35)는, 확보된 이미지 프레임에서 미아의 전신 영역 이미지를 추출한 후, 미아 전신의 특징 정보를 추출한다. 이러한 특징 정보 추출 과정은 전술한 도 6에 설명한 바와 같다.
또한, 미아 추적 서버(35)는, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링한다(S370). 이때, 미리 학습된 인공 지능 클러스터 분류 모델을 기반으로 할 수 있다.
미아 추적 서버(35)는, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정한다(S380). 즉, 미아 전신의 특징 정보와 유사도가 소정 임계치 이상인 이미지 프레임 그룹들이 선정될 수 있다.
그런 후, 미아 추적 서버(35)는, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적한다(S390). 이러한 미아의 이동 경로는 지도에 표시될 수 있다.
또한, 미아 추적 서버(35)는, 미아의 이동 경로에 위치하는 디지털 사이니지(31)에 미아 발생 정보를 디스플레이한다(S400).
한편, 도면에는 도시되어 있지 않지만, 미아 추적 서버(35)는, 다른 이미지 프레임 그룹에 속하는 사람의 이동 경로 중에서 미아와 동일한 이동 경로를 갖는 사람을 유괴범으로 자동 인식할 수도 있다.
따라서, 미아 추적 서버(35)는, 유괴범으로 추정되는 사람의 정보도 함께 디스플레이하도록 할 수 있다.
도 8은 실시예에 따른 딥러닝 기반 미아 이동 경로 추적 방법을 설명하기 위한 순서도이다.
도 8을 참조하면, 미아 추적 서버(35)는, 미아가 발생된 위치 및 시간 정보를 기반으로 수집된 CCTV 영상 및 미아 이미지의 비교 분석을 통해 제1 이동 경로를 추적할 수 있다(S410).
이때, 제1 이동 경로는, 미아 찾기 제공 서버(20)로부터 전달된 미아 추적 정보에 포함된 위치 및 시간 정보를 기반으로 하는 미아의 이미지를 기반으로 추적된 미아의 보행 경로일 수 있다.
그런데, 미아가 단순히 길을 잃은 것이 아니라 유괴되었을 경우, 유괴범은 일반적으로 미아를 차량에 태우고 도주하게 되므로, 전술한 바와 같이 미아 이미지로만 미아를 추적할 경우 미아가 차량에 탑승한 이후의 미아의 이동 경로는 추적될 수가 없다.
따라서, 미아 추적 서버(35)는, 제1 이동 경로를 촬영한 CCTV 영상을 분석하여 미아 유괴와 연관된 유괴 차량의 존재 여부를 추정한다(S420).
이때, 유괴 차량의 추정은, 예컨대, 미아 추적 관리자가 육안으로 제1 이동 경로를 모니터링하여 미아로 추정되는 아동이 차량에 탑승하는 영상을 포착하는 방식으로 이루어질 수 있다. 이럴 경우, 미아 추적 서버(35)는, 미아 추적 관리자로부터 아동이 차량에 탑승하는 이미지 프레임이 획득된 위치 및 시간 정보를 입력받아 상응하는 이미지 프레임으로부터 유괴 차량 이미지를 획득할 수 있다.
또한, 미아 추적 서버(35)는, 제1 이동 경로가 더 이상 추적되지 않는 지점, 즉, 제1 이동 경로가 종료되는 시점 및 위치에 상응하는 이미지 프레임에 포함된 차량을 유괴 차량으로 추정해낼 수도 있다.
그러나, 이는 일 예일 뿐, 본 발명의 실시예에 따른 유괴 차량 추정은 다양한 방식으로 이루어질 수 있다.
다음으로, 유괴 차량으로 추정되는 차량이 존재하지(S430) 않을 경우, 미아 추적 서버(35)는, S410으로 진행하여 계속적으로 제1 이동 경로를 추적해간다.
반면, 유괴 차량으로 추정되는 차량이 존재할(S430) 경우, 미아 추적 서버(35)는, 제1 이동 경로를 기반으로 수집된 CCTV 영상 및 유괴 차량 이미지의 비교 분석을 통해 제2 이동 경로를 추적한다(S440).
이때, 제2 이동 경로는, 차량 이미지를 기반으로 추적된 미아가 탑승한 차량의 이동 경로일 수 있다.
도 9는 도 8의 제1 이동 경로를 추적하는 단계(S410)를 설명하기 위한 순서도이다.
도 9를 참조하면, 미아 찾기 서비스 제공 서버(20)는, 제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성한다(S510). 즉, 미아 찾기 서비스 제공 서버(20)는, 제1 미아 이미지 및 제2 미아 이미지 중 적어도 하나를 기반으로 확장된, 예컨대, 두 이미지 중 적어도 하나를 이용하여 가려진 부분을 복원하고, 이미지 영역을 최대화된 제 3 이미지를 생성할 수 있다.
또한, 미아 찾기 서비스 제공 서버(20)는, 미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성한다(S520).
그러면, 미아 추적 서버(35)는, 제3 이미지 및 검색 정보를 기반으로 후술되는 미아 추적 동작을 수행할 수 있다.
그러나, 신속히 미아를 추적하기 위해서, 미아 찾기 서비스 제공 서버(30)는, 미아 발견 정보가 등록되기 이전에 미아 발생 정보만으로 미아 추적을 요청할 수도 있다. 이때, 제3 이미지 대신 제1 이미지가 전송되고, 검색 정보로 미아 발생 정보에 포함된 미아 발생 위치 및 시간이 전송될 수 있다.
미아 찾기 서비스 제공 서버(20)는, 지능형 관제 센터 시스템(30)의 미아 추적 서버(35)에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청한다(S530).
그러면, 미아 추적 서버(35), 보정된 미아 추적 위치 및 시간 정보를 기반으로 해당 위치 및 해당 시간에 촬영된 CCTV 영상을 수집한다(S540).
미아 추적 서버(35)는, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출한다(S550).
미아 추적 서버(35)는, 제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출한다(S560).
상세하게는, 미아 추적 서버(35)는, 추출된 이미지 프레임들에 포함된 모든 사람의 얼굴 특징 정보를 확보한 후 제3 미아 이미지로부터 추출된 얼굴 특징 정보와의 유사도 분석을 통해 미아가 포함된 이미지 프레임을 확보한다. 그런 후, 미아 추적 서버(35)는, 확보된 이미지 프레임에서 미아의 전신 영역 이미지를 추출한 후, 미아 전신의 특징 정보를 추출한다. 이러한 특징 정보 추출 과정은 전술한 도 6에 설명한 바와 같다.
또한, 미아 추적 서버(35)는, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링한다(S570). 이때, 미리 학습된 인공 지능 클러스터 분류 모델을 기반으로 할 수 있다.
미아 추적 서버(35)는, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정한다(S580). 즉, 미아 전신의 특징 정보와 유사도가 소정 임계치 이상인 이미지 프레임 그룹들이 선정될 수 있다.
그런 후, 미아 추적 서버(35)는, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적한다(S590). 이러한 미아의 이동 경로는 지도에 표시될 수 있다.
또한, 미아 추적 서버(35)는, 미아의 이동 경로에 위치하는 디지털 사이니지(31)에 미아 발생 정보를 디스플레이한다(S595).
한편, 도면에는 도시되어 있지 않지만, 미아 추적 서버(35)는, 다른 이미지 프레임 그룹에 속하는 사람의 이동 경로 중에서 미아와 동일한 이동 경로를 갖는 사람을 유괴범으로 자동 인식할 수도 있다.
따라서, 미아 추적 서버(35)는, 유괴범으로 추정되는 사람의 정보도 함께 디스플레이하도록 할 수 있다.
도 10는 도 8의 제2 이동 경로를 추적하는 단계(S440)를 설명하기 위한 순서도이다.
도 10을 참조하면, 미아 추적 서버(35)는, 유괴 차량 이미지로부터 유괴 차량 전체의 특징 정보를 추출한다(S610). 이러한 특징 정보 추출 과정은 전술한 도 6에 설명한 바와 같다.
이때, 유괴 차량 이미지는 다양한 각도에서 촬영된 복수의 유괴범 차량 이미지들을 기반으로 보정된 이미지일 수 있다. 즉, 도면에는 도시되어 있지 않지만, 미아 추적 서버(35)는, 복수의 차량 이미지들 중 적어도 하나를 기반으로 확장된, 예컨대, 두 이미지 중 적어도 하나를 이용하여 가려진 부분을 복원하고, 이미지 영역을 최대화된 차량 이미지를 생성할 수 있다.
미아 추적 서버(35), 제2 이동 경로를 기반으로 수집된 CCTV 영상에서 적어도 하나의 차량이 포함된 이미지 프레임들을 추출한다(S620).
그런 후, 미아 추적 서버(35)는, 추출된 이미지 프레임들에 포함된 모든 차량의 특징 정보를 추출(S630)하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링한다(S640). 이때, 미리 학습된 인공 지능 클러스터 분류 모델을 기반으로 할 수 있다.
미아 추적 서버(35)는, 유괴 차량 이미지의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정한다(S650). 즉, 유괴 차량 이미지의 특징 정보와 유사도가 소정 임계치 이상인 이미지 프레임 그룹들이 선정될 수 있다.
그런 후, 미아 추적 서버(35)는, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 차량이 이동한 제2 이동 경로를 추적한다(S660). 이러한 제2 이동 경로는 지도에 표시될 수 있다.
또한, 미아 추적 서버(35)는, 제2 이동 경로에 위치하는 디지털 사이니지(31)에 미아 발생 정보를 디스플레이한다(S670).
도 11은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.
실시예에 따른 사용자 단말(10), 미아 찾기 서비스 제공 장치(20) 및 미아 추적 서버(35)는 각각 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (20)

  1. 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계;
    적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계;
    제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계; 및
    유사도가 소정 임계치 이상일 경우, 제1 사용자 단말로 제2 사용자 단말의 연락처, 미아 발견 정보를 전달하고, 제2 사용자 단말로 제1 사용자 단말의 연락처, 미아 발생 정보를 전달하는 단계를 포함하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  2. 제1 항에 있어서,
    적어도 하나의 제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계를 더 포함하되,
    미아 발생 정보를 등록하는 단계는,
    제1 사용자 단말로부터 미아 발생이 신고됨에 따라, 사전 등록된 아동 이미지를 제1 미아 이미지로 등록하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  3. 제1 항에 있어서,
    제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계를 더 포함하되,
    아동 이미지를 사전 등록한 후, 소정 시간이 이내에 미아 발생이 신고되지 않을 경우, 사전 등록된 아동 이미지를 삭제하는 단계를 더 포함하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  4. 제3 항에 있어서, 아동 이미지 및 제1 미아 이미지는,
    얼굴 영역의 크기가 소정 크기 이상인 것만 등록되는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  5. 제1 항에 있어서, 얼굴 특징 정보는,
    제1 미아 이미지 및 제2 미아 이미지로부터 얼굴 영역을 검출하는 단계;
    검출된 얼굴 영역으로부터 3차원 모델 추정 방식을 통해 얼굴의 특징점을 검출하는 단계;
    검출된 특징점을 기반으로 얼굴 영역을 정규화하는 단계; 및
    정규화된 얼굴 영역으로부터 콘볼루셔널 신경망을 기반으로 특징 벡터를 산출하는 단계를 통해 획득되는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  6. 제1 항에 있어서,
    지능형 관제 센터 시스템에 미아 발생 정보를 전송하여 미아 추적 요청하는 단계를 더 포함하되,
    지능형 관제 센터 시스템은,
    복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되,
    미아 추적 서버는,
    미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계;
    수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계;
    제1 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계;
    이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계;
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계; 및
    미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  7. 제 1항에 있어서,
    제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계;
    미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계; 및
    지능형 관제 센터 시스템에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청하는 단계를 더 포함하되,
    지능형 관제 센터 시스템은,
    복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되,
    미아 추적 서버는,
    검색 정보를 기반으로 CCTV 영상을 수집하는 단계;
    수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계;
    제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계;
    이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계;
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계; 및
    미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  8. 적어도 하나의 프로그램이 기록된 메모리; 및
    프로그램을 실행하는 프로세서를 포함하며,
    프로그램은,
    적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계;
    적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계;
    제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계; 및
    유사도가 소정 임계치 이상일 경우, 제1 사용자 단말로 제2 사용자 단말의 연락처, 미아 발견 정보를 전달하고, 제2 사용자 단말로 제1 사용자 단말의 연락처, 미아 발생 정보를 전달하는 단계를 수행하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치.
  9. 제8 항에 있어서, 프로그램은,
    적어도 하나의 제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계; 및
    아동 이미지를 사전 등록한 후, 소정 시간이 이내에 미아 발생이 신고되지 않을 경우, 사전 등록된 아동 이미지를 삭제하는 단계를 더 수행하되,
    미아 발생 정보를 등록하는 단계는,
    제1 사용자 단말로부터 미아 발생이 신고됨에 따라, 사전 등록된 아동 이미지를 제1 미아 이미지로 등록하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치.
  10. 제8 항에 있어서, 얼굴 특징 정보는,
    제1 미아 이미지 및 제2 미아 이미지로부터 얼굴 영역을 검출하는 단계;
    검출된 얼굴 영역으로부터 3차원 모델 추정 방식을 통해 얼굴의 특징점을 검출하는 단계;
    검출된 특징점을 기반으로 얼굴 영역을 정규화하는 단계; 및
    정규화된 얼굴 영역으로부터 콘볼루셔널 신경망을 기반으로 특징 벡터를 산출하는 단계를 통해 획득되는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치.
  11. 제8 항에 있어서, 프로그램은,
    지능형 관제 센터 시스템에 미아 발생 정보를 전송하여 미아 추적 요청하는 단계를 더 수행하되,
    지능형 관제 센터 시스템은,
    복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되,
    미아 추적 서버는,
    미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계;
    수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계;
    제1 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계;
    이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계;
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계; 및
    미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치.
  12. 제 8항에 있어서, 프로그램은,
    제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계;
    미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계; 및
    지능형 관제 센터 시스템에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청하는 단계를 더 수행하되,
    지능형 관제 센터 시스템은,
    복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되,
    미아 추적 서버는,
    검색 정보를 기반으로 CCTV 영상을 수집하는 단계;
    수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계;
    제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계;
    이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계;
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계; 및
    미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치.
  13. 제8 항에 있어서,
    프로그램은,
    미아가 발생된 위치 및 시간 정보를 기반으로 수집된 CCTV 영상 및 미아 이미지의 비교 분석을 통해 제1 이동 경로를 추적하는 단계;
    제1 이동 경로를 촬영한 CCTV 영상을 분석하여 미아 유괴와 연관된 유괴 차량의 존재 여부를 판단하는 단계; 및
    유괴 차량 이미지가 존재하는 것으로 판단될 경우, 제1 이동 경로를 기반으로 수집된 CCTV 영상 및 유괴 차량 이미지의 비교 분석을 통해 제2 이동 경로를 추적하는 단계를 더 수행하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치.
  14. 제13 항에 있어서, 제2 이동 경로를 추적하는 단계는,
    유괴 차량 이미지 프레임으로부터 유괴 차량 전체의 특징 정보를 추출하는 단계;
    제2 이동 경로를 기반으로 수집된 CCTV 영상에서 적어도 하나의 차량이 포함된 이미지 프레임들을 추출하는 단계;
    이미지 프레임들에 포함된 모든 차량의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    유괴 차량의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계; 및
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 차량이 이동한 제2 이동 경로를 추적하는 단계를 포함하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치.
  15. 복수의 CCTV들과 연동되는 미아 추적 서버에서의 딥러닝 기반 미아 이동 경로 추적 방법에 있어서,
    미아가 발생된 위치 및 시간 정보를 기반으로 수집된 CCTV 영상 및 미아 이미지의 비교 분석을 통해 제1 이동 경로를 추적하는 단계;
    제1 이동 경로를 촬영한 CCTV 영상을 분석하여 미아 유괴와 연관된 유괴 차량의 존재 여부를 판단하는 단계; 및
    유괴 차량이 존재하는 것으로 판단될 경우, 제1 이동 경로를 기반으로 수집된 CCTV 영상 및 유괴 차량 이미지의 비교 분석을 통해 제2 이동 경로를 추적하는 단계를 포함하는, 딥러닝 기반 미아 이동 경로 추적 방법.
  16. 제15 항에 있어서, 미아 추적 서버는,
    복수의 사이니지 디스플레이들과 연동되고,
    제1 이동 경로 및 제2 이동 경로 중 적어도 하나에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 더 포함하는, 딥러닝 기반 미아 이동 경로 추적 방법.
  17. 제15 항에 있어서, 제1 이동 경로를 추적하는 단계는,
    미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계;
    수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계;
    미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계;
    이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계; 및
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아가 이동한 제1 이동 경로를 추적하는 단계를 포함하는, 딥러닝 기반 미아 이동 경로 추적 방법.
  18. 제15 항에 있어서, 제2 이동 경로를 추적하는 단계는,
    유괴 차량을 촬영한 이미지 프레임으로부터 유괴 차량 전체의 특징 정보를 추출하는 단계;
    제2 이동 경로를 기반으로 수집된 CCTV 영상에서 적어도 하나의 차량이 포함된 이미지 프레임들을 추출하는 단계;
    이미지 프레임들에 포함된 모든 차량의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    유괴 차량의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계; 및
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 차량이 이동한 제2 이동 경로를 추적하는 단계를 수행하는, 딥러닝 기반 미아 이동 경로 추적 방법.
  19. 제15 항에 있어서, 제1 이동 경로를 추적하는 단계는,
    미아 찾기 서비스 제공 서버로부터 미아 발생 정보와 함께 수신되는 미아 추적 요청에 따라 수행되되,
    미아 찾기 서비스 제공 서버는, 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계; 및
    등록된 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보로 미아 추적 요청하는 단계를 수행하는, 딥러닝 기반 미아 이동 경로 추적 방법.
  20. 제15 항에 있어서, 제1 이동 경로를 추적하는 단계는,
    미아 찾기 서비스 제공 서버로부터 미아 발생 정보와 함께 수신되는 미아 추적 요청에 따라 수행되되,
    미아 찾기 서비스 제공 서버는,
    적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계;
    적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계;
    제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계;
    유사도가 소정 임계치 이상일 경우, 제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계;
    미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계; 및
    제3 미아 이미지, 검색 정보를 포함하는 미아 발생 정보로 미아 추적 요청하는 단계를 더 수행하는, 딥러닝 기반 미아 이동 경로 추적 방법.
PCT/KR2021/010589 2020-08-11 2021-08-10 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법 WO2022035190A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/606,590 US20220319232A1 (en) 2020-08-11 2021-08-10 Apparatus and method for providing missing child search service based on face recognition using deep-learning
DE112021004252.1T DE112021004252T5 (de) 2020-08-11 2021-08-10 Vorrichtung und verfahren zum bereitstellen eines suchdienstes für ein vermisstes kind auf der basis einer gesichtserkennung unter verwendung von deep-learning
GB2213332.6A GB2608063A (en) 2020-08-11 2021-08-10 Device and method for providing missing child search service based on face recognition using deep learning

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20200100700 2020-08-11
KR10-2020-0100700 2020-08-11
KR10-2020-0127867 2020-10-05
KR1020200127867A KR102270899B1 (ko) 2020-08-11 2020-10-05 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
KR10-2021-0022739 2021-02-19
KR1020210022739A KR102305038B1 (ko) 2021-02-19 2021-02-19 미아 추적 서버 및 미아 추적 서버에서의 딥러닝 기반 미아 이동 경로 추적 방법

Publications (1)

Publication Number Publication Date
WO2022035190A1 true WO2022035190A1 (ko) 2022-02-17

Family

ID=80248056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010589 WO2022035190A1 (ko) 2020-08-11 2021-08-10 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법

Country Status (4)

Country Link
US (1) US20220319232A1 (ko)
DE (1) DE112021004252T5 (ko)
GB (1) GB2608063A (ko)
WO (1) WO2022035190A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230054182A (ko) * 2021-10-15 2023-04-24 주식회사 알체라 인공신경망을 이용한 사람 재식별 방법 및 이를 수행하기 위한 컴퓨팅 장치
GB202218660D0 (en) * 2022-11-07 2023-01-25 Onemoresecurity Inc Apparatus and method for tracking missing person based on attribute
CN118051727B (zh) * 2024-02-27 2024-07-26 日照市规划设计研究院集团有限公司 一种亲友游中特殊成员识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101215948B1 (ko) * 2012-04-02 2012-12-27 주식회사 뉴인테크 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
KR101371662B1 (ko) * 2013-01-16 2014-03-12 영남대학교 산학협력단 미아 추적 시스템 장치 및 그 방법
KR20160044858A (ko) * 2014-10-16 2016-04-26 황의종 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체
KR20180006016A (ko) * 2016-07-08 2018-01-17 이응수 얼굴인식 기반의 미아 찾기 방법 및 이를 이용한 미아 찾기 시스템
KR20190041704A (ko) * 2017-10-13 2019-04-23 주식회사 이송 Cctv 분할 운영시스템 및 그 운영방법
KR102004999B1 (ko) * 2017-02-09 2019-07-30 권양호 스마트폰을 이용한 미아찾기를 위한 장치 및 방법
KR20190093799A (ko) * 2018-01-17 2019-08-12 경북대학교 산학협력단 Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
KR20200094444A (ko) * 2019-01-30 2020-08-07 한국전자통신연구원 지능형 영상 촬영 장치, 그리고 이를 이용하는 객체 추적 장치 및 방법
KR102270899B1 (ko) * 2020-08-11 2021-06-30 (주) 원모어시큐리티 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102085179B1 (ko) * 2013-05-07 2020-04-16 삼성전자주식회사 디바이스의 위치에 기초한 콘텐트 제공 시스템 및 방법
KR101773885B1 (ko) * 2016-10-19 2017-09-01 (주)잼투고 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버
CN107679451A (zh) * 2017-08-25 2018-02-09 百度在线网络技术（北京）有限公司 建立人脸识别模型的方法、装置、设备和计算机存储介质
KR102350192B1 (ko) * 2019-07-19 2022-01-17 한국과학기술연구원 검색 데이터베이스를 구축하기 위한 관심영상 선별 방법 및 이를 수행하는 영상 관제 시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101215948B1 (ko) * 2012-04-02 2012-12-27 주식회사 뉴인테크 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
KR101371662B1 (ko) * 2013-01-16 2014-03-12 영남대학교 산학협력단 미아 추적 시스템 장치 및 그 방법
KR20160044858A (ko) * 2014-10-16 2016-04-26 황의종 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체
KR20180006016A (ko) * 2016-07-08 2018-01-17 이응수 얼굴인식 기반의 미아 찾기 방법 및 이를 이용한 미아 찾기 시스템
KR102004999B1 (ko) * 2017-02-09 2019-07-30 권양호 스마트폰을 이용한 미아찾기를 위한 장치 및 방법
KR20190041704A (ko) * 2017-10-13 2019-04-23 주식회사 이송 Cctv 분할 운영시스템 및 그 운영방법
KR20190093799A (ko) * 2018-01-17 2019-08-12 경북대학교 산학협력단 Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
KR20200094444A (ko) * 2019-01-30 2020-08-07 한국전자통신연구원 지능형 영상 촬영 장치, 그리고 이를 이용하는 객체 추적 장치 및 방법
KR102270899B1 (ko) * 2020-08-11 2021-06-30 (주) 원모어시큐리티 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법

Also Published As

Publication number Publication date
US20220319232A1 (en) 2022-10-06
DE112021004252T5 (de) 2023-05-25
GB202213332D0 (en) 2022-10-26
GB2608063A (en) 2022-12-21

Similar Documents

Publication Publication Date Title
WO2022035190A1 (ko) 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
WO2021091021A1 (ko) 화재 검출 시스템
KR102305038B1 (ko) 미아 추적 서버 및 미아 추적 서버에서의 딥러닝 기반 미아 이동 경로 추적 방법
WO2021221249A1 (ko) 스마트 가축 관리 시스템 및 그 방법
CN112215185B (zh) 一种从监控视频中检测跌倒行为的系统及方法
WO2020207030A1 (zh) 视频编码方法、系统、设备及计算机可读存储介质
JP7405200B2 (ja) 人物検出システム
KR102270899B1 (ko) 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
WO2021261656A1 (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2019083299A1 (ko) 사육장 관리 장치 및 방법
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
WO2021002722A1 (ko) 이벤트 태깅 기반 상황인지 방법 및 그 시스템
WO2020145517A1 (en) Method for authenticating user and electronic device thereof
WO2020186777A1 (zh) 图像检索方法、装置、设备及计算机可读存储介质
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
WO2019112154A1 (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
WO2022080844A1 (ko) 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
WO2020080734A1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
WO2024101466A1 (ko) 속성 기반 실종자 추적 장치 및 방법
WO2019083073A1 (ko) 교통정보 제공 방법, 장치 및 그러한 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
WO2012015156A2 (ko) 열적외선을 이용한 환경독립형 교통검지시스템
WO2018062602A1 (ko) 광각 영상 처리 방법 및 이를 위한 장치
WO2022019355A1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
WO2019199035A1 (ko) 시선 추적 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21856196

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 202213332

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20210810

122 Ep: pct application non-entry in european phase

Ref document number: 21856196

Country of ref document: EP

Kind code of ref document: A1