KR102270899B1 - 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법 - Google Patents

딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR102270899B1
KR102270899B1 KR1020200127867A KR20200127867A KR102270899B1 KR 102270899 B1 KR102270899 B1 KR 102270899B1 KR 1020200127867 A KR1020200127867 A KR 1020200127867A KR 20200127867 A KR20200127867 A KR 20200127867A KR 102270899 B1 KR102270899 B1 KR 102270899B1
Authority
KR
South Korea
Prior art keywords
missing child
child
image
missing
information
Prior art date
Application number
KR1020200127867A
Other languages
English (en)
Inventor
김민식
Original Assignee
(주) 원모어시큐리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 원모어시큐리티 filed Critical (주) 원모어시큐리티
Application granted granted Critical
Publication of KR102270899B1 publication Critical patent/KR102270899B1/ko
Priority to PCT/KR2021/010589 priority Critical patent/WO2022035190A1/ko
Priority to DE112021004252.1T priority patent/DE112021004252T5/de
Priority to US17/606,590 priority patent/US20220319232A1/en
Priority to GB2213332.6A priority patent/GB2608063A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G06K9/00201—
    • G06K9/00268—
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계, 적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계, 제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계 및 유사도가 소정 임계치 이상일 경우, 제1 사용자 단말로 제2 사용자 단말의 연락처, 미아 발견 정보를 전달하고, 제2 사용자 단말로 제1 사용자 단말의 연락처, 미아 발생 정보를 전달하는 단계를 포함할 수 있다.

Description

딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법{Apparatus and Method for Providing Missing Child Search Service based on Face Recognition using Deep-Learning}
기재된 실시예는 얼굴 인식 기반의 미아 찾기 기술에 관한 것이다.
한국 공개특허 10-2018-0006016호(이하 '선행 문헌'으로 기재함)는 미아 사진을 이용한 얼굴 인식을 기반으로 미아 찾기 서비스를 제공하고 있디.
그런데, 선행 문헌에서는 일반적인 이미지 인식 기법을 사용하기 때문에, 촬영 자세, 촬영 거리, 표정 변화 및 주변광의 밝기 변화 등과 같은 다양한 환경 변화에 의해 인식 오류가 발생될 수 있다.
또한, 골든타임의 효과적 활용을 통해 미아를 찾기까지의 시간을 보다 단축시킬 수 있는 기술 개발이 요구된다.
한국공개특허 10-2018-0006016호
기재된 실시예는 촬영 자세, 촬영 거리, 표정 변화 및 주변광의 밝기 변화 등과 같은 다양한 환경 변화에도 강인한 딥러닝을 이용한 얼굴 인식 기반 미아 찾기를 통해 신속하고 오류없이 미아 발견이 이루어지도록 하는데 그 목적이 있다.
또한, 기재된 실시예는 미아 이동 경로 상에 위치한 시민들에게 미아 발생 정보가 집중적이고 효과적으로 노출되도록 하여 불필요한 정보 확산을 방지하면서 미아를 찾기까지의 시간을 보다 단축시키도록 하는데 그 목적이 있다.
실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법은, 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계, 적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계, 제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계 및 유사도가 소정 임계치 이상일 경우, 제1 사용자 단말로 제2 사용자 단말의 연락처, 미아 발견 정보를 전달하고, 제2 사용자 단말로 제1 사용자 단말의 연락처, 미아 발생 정보를 전달하는 단계를 포함할 수 있다.
실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법은, 적어도 하나의 제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계를 더 포함하되, 미아 발생 정보를 등록하는 단계는, 제1 사용자 단말로부터 미아 발생이 신고됨에 따라, 사전 등록된 아동 이미지를 제1 미아 이미지로 등록할 수 있다.
실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법은, 제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계를 더 포함하되, 아동 이미지를 사전 등록한 후, 소정 시간이 이내에 미아 발생이 신고되지 않을 경우, 사전 등록된 아동 이미지를 삭제하는 단계를 더 포함할 수 있다.
이때, 아동 이미지 및 제1 미아 이미지는, 얼굴 영역의 크기가 소정 크기 이상인 것만 등록될 수 있다.
이때, 얼굴 특징 정보는, 제1 미아 이미지 및 제2 미아 이미지로부터 얼굴 영역을 검출하는 단계, 검출된 얼굴 영역으로부터 3차원 모델 추정 방식을 통해 얼굴의 특징점을 검출하는 단계, 검출된 특징점을 기반으로 얼굴 영역을 정규화하는 단계 및 정규화된 얼굴 영역으로부터 콘볼루셔널 신경망을 기반으로 특징 벡터를 산출하는 단계를 통해 획득될 수 있다.
실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법은, 지능형 관제 센터 시스템에 미아 발생 정보를 전송하여 미아 추적 요청하는 단계를 더 포함하되, 지능형 관제 센터 시스템은, 복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되, 미아 추적 서버는, 미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계, 제1 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계 및 미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행할 수 있다.
실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법은, 제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계, 미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계 및 지능형 관제 센터 시스템에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청하는 단계를 더 포함하되, 지능형 관제 센터 시스템은, 복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되, 미아 추적 서버는, 보정된 미아 추적 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계, 제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계 및 미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행할 수 있다.
실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치는, 적어도 하나의 프로그램이 기록된 메모리 및 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계, 적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계, 제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계 및 유사도가 소정 임계치 이상일 경우, 제1 사용자 단말로 제2 사용자 단말의 연락처, 미아 발견 정보를 전달하고, 제2 사용자 단말로 제1 사용자 단말의 연락처, 미아 발생 정보를 전달하는 단계를 수행할 수 있다.
이때, 프로그램은, 적어도 하나의 제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계 및 아동 이미지를 사전 등록한 후, 소정 시간이 이내에 미아 발생이 신고되지 않을 경우, 사전 등록된 아동 이미지를 삭제하는 단계를 더 수행하되, 미아 발생 정보를 등록하는 단계는, 제1 사용자 단말로부터 미아 발생이 신고됨에 따라, 사전 등록된 아동 이미지를 제1 미아 이미지로 등록할 수 있다.
이때, 얼굴 특징 정보는, 제1 미아 이미지 및 제2 미아 이미지로부터 얼굴 영역을 검출하는 단계, 검출된 얼굴 영역으로부터 3차원 모델 추정 방식을 통해 얼굴의 특징점을 검출하는 단계, 검출된 특징점을 기반으로 얼굴 영역을 정규화하는 단계 및 정규화된 얼굴 영역으로부터 콘볼루셔널 신경망을 기반으로 특징 벡터를 산출하는 단계를 통해 획득될 수 있다.
이때, 프로그램은, 지능형 관제 센터 시스템에 미아 발생 정보를 전송하여 미아 추적 요청하는 단계를 더 수행하되, 지능형 관제 센터 시스템은, 복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되, 미아 추적 서버는, 미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계, 제1 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계 및 미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행할 수 있다.
이때, 프로그램은, 제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계, 미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계 및 지능형 관제 센터 시스템에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청하는 단계를 더 수행하되, 지능형 관제 센터 시스템은, 복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되, 미아 추적 서버는, 검색 정보를 기반으로 CCTV 영상을 수집하는 단계, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계, 제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계 및 미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행할 수 있다.
기재된 실시예에 따라, 촬영 자세, 촬영 거리, 표정 변화 및 주변광의 밝기 변화 등과 같은 다양한 환경 변화에도 강인한 딥러닝을 이용한 얼굴 인식 기반 미아 찾기를 통해 신속하고 오류없이 미아를 발견하도록 할 수 있다.
또한, 기재된 실시예에 따라, 미아 경로 상에 위치한 시민들에게 미아 발생 정보가 집중적이고 효과적으로 노출되도록 하여 불필요한 정보 확산을 방지하면서 미아를 찾기까지의 시간을 보다 단축시키도록 할 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 미아 찾기 서비스 제공 시스템의 구성도이다.
도 2는 실시예에 따른 사용자 단말의 개략적인 블록 구성도이다.
도 3은 실시예에 따른 미아 찾기 서비스 제공 서버의 개략적인 블록 구성도이다.
도 4는 실시예에 따른 지능형 관제 센터 시스템의 개략적인 블록 구성도이다.
도 5는 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법을 설명하기 위한 신호 흐름도이다.
도 6은 실시예에 따른 얼굴 특징 정보를 추출하는 과정을 설명하기 위한 순서도이다.
도 7은 실시예에 따른 지능형 관제 시스템과 연동하여 미아를 추적하는 과정을 설명하기 위한 신호 흐름도이다.
도 8은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 8을 참조하여 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법이 상세히 설명된다.
도 1은 본 발명의 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 시스템의 구성도이고, 도 2는 실시예에 따른 사용자 단말의 개략적인 블록 구성도이고, 도 3은 실시예에 따른 미아 찾기 서비스 제공 서버의 개략적인 블록 구성도이고, 도 4는 실시예에 따른 지능형 관제 센터 시스템의 개략적인 블록 구성도이다.
도 1을 참조하면, 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 시스템(1)은 복수의 사용자 단말들(10-1, 10-2, ..., 10-N), 미아 찾기 서비스 제공 서버(20) 및 지능형 관제 센터 시스템(30)이 유/무선 통신망(40)을 통해 연동되어 동작하도록 구성될 수 있다.
이때, 복수의 사용자 단말들(10-1, 10-2, ..., 10-N)은 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기와, 사진을 전송할 수 있는 컴퓨터를 총칭하는 것이며, 본 실시예에서는 스마트폰으로 구성된 단말기로 가정하고 설명하기로 한다.
도 2를 참조하면, 복수의 사용자 단말들(10-1, 10-2, ..., 10-N)에는 미아 찾기 서비스 제공 어플리케이션이 설치될 수 있다. 이러한 미아 찾기 서비스 제공 어플리케이션이 실행됨에 따라 미아 찾기 서비스 제공 서버(20)와 접속되어 미아 찾기 서비스를 제공받을 수 있다.
이러한 미아 찾기 서비스 제공 어플리케이션은, 미아 발생 전에 입력된 아동 이미지를 미아 찾기 서비스 제공 서버(20)로 사전 등록하는 사전 등록부(11), 미아 발생에 따라 미아 찾기 서비스 제공 서버(20)로 미아 발생 정보를 전송하는 미아 발생 신고부(12) 및 미아로 추정되는 아동의 발견에 따라 미아 발견 정보를 미아 찾기 서비스 제공 서버(20)로 전송하는 신고 미아 발견 신고부(13)를 포함할 수 있다. 이러한 복수의 사용자 단말들(10-1, 10-2, ..., 10-N)에서 실행되는 미아 찾기 서비스 제공 어플리케이션에 의한 상세 동작은 도 5를 참조하여 후술하기로 한다.
실시예에 따라, 미아 찾기 서비스 제공 서버(20)는, 미아 찾기 서비스를 제공하기 위해 복수의 사용자 단말들(10-1, 10-2, ..., 10-N)로부터 전달되는 미아 이미지들을 딥러닝을 이용한 얼굴 인식 알고리즘을 기반으로 미아 찾기를 수행한다.
이를 위해, 미아 찾기 서비스 제공 서버(20)는, 미아 발생 전에 등록되는 미아 이미지 및 부가 정보를 저장하는 미아 사전 등록 정보 DB(21), 미아 발생에 따른 제1 미아 이미지, 미아 발생 위치 및 시간을 저장하는 미아 발생 정보 DB(22), 미아 발견에 따른 제2 미아 이미지, 미아 발견 위치 및 시간을 저장하는 미아 발견 정보 DB(23), 사전 등록 정보, 미아 발생 정보 및 미아 발견 정보를 저장, 삭제 및 관리하는 미아 정보 관리부(25), 이미지로부터 딥러닝 기반으로 얼굴 특징을 추출하는 얼굴 특징 추출부(26) 및 얼굴 특징 정보들 간의 유사도를 기반으로 이미지 일치 여부를 판단하는 미아 정보 비교부(27)를 포함할 수 있다. 이때, 얼굴 특징 추출부(26)는, 다양한 촬영 조건, 즉, 자세, 거리, 조명 및 표정이 변화되더라도 강인한 딥러닝 기술 기반 얼굴 인식 모델을 사용할 수 있다. 미아 찾기 서비스의 상세 동작은 도 5 및 도 6을 참조하여 후술하기로 한다.
또한, 실시예에 따라, 미아 찾기 서비스 제공 서버(20)는 지능형 관제 센터 시스템(30)에 미아 추적 요청할 수 있다.
이를 위해, 미아 찾기 서비스 제공 서버(20)는, 미아 추적 정보 DB(24) 및 미아 추적 정보 생성부(28)를 포함할 수 있는데, 실시예에 따라, 미아 추적 정보 생성부(28)는 미아 발생 정보 및 미아 발견 정보를 기반으로 미아 추적 정보를 생성할 수 있다.
도 4를 참조하면, 지능형 관제 센터 시스템(30)은, 복수의 디지털 사이니지(Digital Signage)들(31), 디지털 사이니지 제어부(32), 복수의 CCTV(Closed Circuit Television)들(33), CCTV 제어부(34) 및 미아 추적 서버(35)를 포함할 수 있다.
미아 추적 서버(35)는, 미아 찾기 서비스 제공 서버(20)로부터 전달된 미아 추적 정보에 포함된 위치 및 시간 정보를 기반으로 획득된 복수의 CCTV 영상을 분석하여 미아를 추적한다.
이때, 복수의 디지털 사이니지들(31)은 디지털 정보 디스플레이(digital information display, DID)를 이용한 옥외 광고 장치로, 관제센터에서 통신망을 통해 광고 내용을 제어할 수 있는 광고판일 수 있다. 이러한 복수의 디지털 사이니지들(31)은 예컨대, 지하철 역사, 버스정류장, 아파트 엘리베이터, 은행 등 유동인구가 많은 곳에서 설치된다. 따라서, 미아 추적 서버(35)는, 추적된 미아에 대한 정보를 디지털 사이니지들(31)을 통해 디스플레이되도록 하여, 시민에 의한 미아 발견이 신속히 이루어지도록 할 수 있다. 미아 추적 서비스의 상세 동작은 도 7을 참조하여 후술하기로 한다.
도 5는 실시예에 따른 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법을 설명하기 위한 신호 흐름도이다.
우선, 도 5에서 제1 사용자 단말(10-1)은 보호자가 소지한 것으로 정의하고, 제2 사용자 단말(10-2)는 미아를 발견한 시민이 소지한 것으로 정의하기로 한다.
우선, 적어도 하나의 제1 사용자 단말(10-1)은 미아 발생 전에 아동 이미지를 미아 찾기 서비스 제공 서버(20)에 전송하여 사전 등록 요청할 수 있다(S105).
예컨대, 보호자는 사람이 많은 쇼핑 센터 또는 놀이 공원과 같은 공공 장소에 아이와 함께 외출시, 혹시 모를 미아 발생 대비하여 아동 이미지를 미리 미아 찾기 서비스 제공 서버(20)에 등록해두어, 실제로 미아가 발생했을 때 신속한 대응이 이루어질 수 있도록 할 수 있다. 또한, 미아 발생 당일의 아동의 사진이 등록될 수 있어 미아 찾기 가능성을 높일 수 있다는 이점도 있다.
그러면, 미아 찾기 서비스 제공 서버(20)는 제1 사용자 단말(10-1)로부터 전송된 아동 이미지를 제1 사용자 단말(10-1)의 연락처와 함께 매핑하여 등록해둔다(S110).
한편, 미아 찾기 서비스 제공 서버(20)는, 적어도 하나의 제1 사용자 단말(10-1)로부터 미아 발생이 신고됨(S115)에 따라, 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록한다(S120).
이때, 제1 미아 이미지는, S110에서 사전 등록된 아동 이미지를 제1 미아 이미지로 등록될 수도 있다.
또한, 제1 미아 이미지는, 제1 사용자 단말(10-1)에 의해 실시간으로 등록된 신규 이미지로 등록될 수도 있다. 즉, 사전 등록없이 미아가 발생된 경우, 보호자는 제1 사용자 단말(10-1)에 미리 저장된 아동 이미지를 전송하면서 미아 발생을 신고를 할 수도 있다. 즉, 전술한 S105 및 S110은 S115 이전에 수행되지 않을 수도 있다.
이때, 아동 이미지 및 제1 미아 이미지는, 얼굴 영역의 크기가 소정 크기 이상인 것만 등록될 수 있다. 예컨대, 얼굴 인식 정확도를 높이기 위해서 얼굴 영역의 크기가 150pixel*150pixel 이상이 되는 이미지만 등록될 수 있다.
이때, 미아 찾기 서비스 제공 서버(20)는 아동 이미지 또는 제1 미아 이미지로부터 딥러닝 기반으로 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보를 암호화하여 저장해둘 수도 있다.
이때, 얼굴 특징 정보는, 다양한 촬영 조건, 즉, 자세, 거리, 조명 및 표정이 변화되더라도 강인한 딥러닝 기술 기반 얼굴 인식 모델을 사용하여 추출될 수 있는데, 이에 대한 상세한 설명은 도 6을 참조하여 후술하기로 한다.
이때, 미아 찾기 서비스 제공 서버(20)는 얼굴 특징 정보를 기반으로 등록된 아동 이미지의 중복 저장 여부를 판단하고, 중복 저장을 방지할 수 있다.
이때, 미리 저장된 이미지들 중, 아동 이미지 또는 제1 미아 이미지로부터 추출된 얼굴 특징 정보와의 유사도가 소정 임계치 이상인 얼굴 특징 정보가 존재할 경우, 중복으로 판단될 수 있다.
한편, 소정 시간이 이내에 미아 발생이 신고되지 않을 경우, 사전 등록된 아동 이미지가 삭제될 수 있다. 예컨대, 아동 이미지를 사전 등록한 이후, 소정 시간(예컨대, 24시간) 이내에 미아 발생 신고가 접수되지 않을 경우, 아동 이미지를 자동 삭제할 수 있다.
또한, 미아 발생이 신고된 경우에도, 이후 미아 찾기가 완료된 이후에는 아동 이미지 또는 제1 미아 이미지는 삭제될 수 있다.
즉, 아동 이미지가 등록된 이후, 미아 발생이 이루어지지 않거나 미아 찾기가 완료된 이후에도 계속적으로 아동 이미지가 등록 상태일 경우 개인 정보 노출 우려가 있을 수 있다. 이러한 개인 정보 노출을 우려하여 사용자가 일일이 등록 정보를 삭제하는 것 또한 번거로운 일일 수 있다. 따라서, 실시예에서는, 미아 찾기 서비스 제공 서버(20)가 사전 등록된 아동 이미지를 자동 삭제하여 개인 정보 노출에 대한 사용자의 심리적 부담을 경감시킬 수 있다.
또한, 제1 미아 이미지의 삭제를 통해, 추후 수행되는 S135 및 S140의 반복 횟수를 감소시켜, 신속히 미아 찾기가 이루어지도록 할 수 있다.
한편, 도면에는 도시되어 있지 않지만, 이때, 실시예에 따라, 문자 전송, 미아 찾기 서비스 어플리케이션 또는 디지털 사이니지를 통해 미아 발생 정보를 시민에게 제공하여, 시민에 의한 미아 발견이 신속히 이루어지도록 할 수 있다.
한편, 시민은 주변에 미아로 보이는 아동을 발견함에 따라, 자신이 소유한 제2 사용자 단말(10-2)로 해당 아동의 사진을 촬영하여 미아 찾기 서비스 서버(20)에 미아 발견을 신고할 수 있다(S125).
이때, 미아 찾기 등록은 반드시 어플리케이션을 통하지 않더라도 등록될 수 있도록 할 수 있다. 예컨대, 제2 사용자 단말(10-2)을 통해 경찰서 등과 같은 전화번호로 미아 발생 정보를 전송함에 따라, 자동으로 미아 찾기 서비스 서버(20)로 전달되도록 구성될 수도 있다.
그러면, 서비스 제공 서버(20)는 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록한다(S130).
이때, 제2 미아 이미지는, 얼굴 영역의 크기가 소정 크기 이상인 것이 등록되도록 하는 것이 바람직할 수 있다. 다만, 미아 발견시의 상황에 따라 촬영 조건이 용이하지 않을 수 있으므로, 필수적인 것은 아닐 수 있다.
이때, 미아 찾기 서비스 제공 서버(20)는 제2 미아 이미지로부터 딥러닝 기반으로 얼굴 특징 정보를 추출하고, 추출된 얼굴 특징 정보를 저장해둘 수도 있다. 이때, 얼굴 특징 정보는, 다양한 촬영 조건, 즉, 자세, 거리, 조명 및 표정이 변화되더라도 강인한 딥러닝 기술 기반 얼굴 인식 모델을 사용하여 추출될 수 있는데, 이에 대한 상세한 설명은 도 6을 참조하여 후술하기로 한다.
따라서, 미아 찾기 서비스 제공 서버(20)는, 제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출한다(S135).
그런 후, 미아 찾기 서비스 제공 서버(20)는, 산출된 유사도가 소정 임계치 이상인지를 판단한다(S140).
예컨대, 620 만장의 얼굴 특징 정보 분석 결과, 일란성 쌍둥이가 아닌 다른 사람과 유사도 분석 시 0.7 이상이 나올 확률은 거의 불가능하다. 따라서, 이러한 유사도가 소정 임계치 이상일 경우, 제1 미아 이미지와 제2 미아 이미지는 동일한 아동의 이미지인 것으로 판단될 수 있다.
이때, 제1 미아 이미지는 복수개 일 수 있고, S135~S140는 복수개의 제1 미아 이미지들 각각에 대해 반복 수행될 수 있다.
S140의 판단 결과 유사도가 소정 임계치 이상일 경우, 미아 찾기 서비스 제공 서버(20)는, 제1 사용자 단말(10-1)로 제2 사용자 단말(10-2)의 연락처, 미아 발견 정보를 전달(S145)하고, 제2 사용자 단말(10-2)로 제1 사용자 단말(10-1)의 연락처, 미아 발생 정보를 전달(S150)할 수 있다.
그러면, 보호자 및 시민은 각각 제1 사용자 단말(10-1) 및 제2 사용자 단말(10-2)로 상호간에 즉시 연락(S155)을 취하도록 할 수 있어, 미아의 가족과의 연락을 통한 심리적 불안감 완화 및 가족 상봉이 신속히 이루어지도록 할 수 있다.
도 6은 실시예에 따른 얼굴 특징 정보를 추출하는 과정을 설명하기 위한 순서도이다.
도 6을 참조하면, 미아 찾기 서비스 제공 서버(20)는, 이미지로부터 얼굴 영역을 검출한다(S210).
그런 후, 미아 찾기 서비스 제공 서버(20)는, 검출된 얼굴 영역으로부터 3차원 모델 추정 방식을 통해 얼굴의 특징점을 검출한다(S220). 즉, 눈, 코, 입, 눈썹과 같은 얼굴 주요 부분, 즉 랜드 마크(Land Mark)가 되는 특징점들이 검출되는 것이다.
미아 찾기 서비스 제공 서버(20)는, 검출된 특징점을 기반으로 얼굴 영역을 정규화한다(S230). 즉, 추출된 얼굴 영역은 촬영자 또는 촬영 대상자의 자세에 따라 정면이 아닌 측면일 수도 있고, 표정 변화에 따라 달라질 수도 있고, 촬영자와 촬영 대상자 간의 거리에 따라 얼굴 영역의 크기도 달라질 수 있고, 촬영시의 조명 상태에 따라 그 명도 등이 달라질 수 있다. 이럴 경우, 동일한 사람을 촬영한 이미지들이라 하더라도 S240에서 추출될 특징 정보가 달라질 수 있다.
따라서, 이러한 촬영 자세 또는 거리에 상관없이 강인성 확보 가능하도록 추출된 얼굴 영역이 정규화되어야 한다. 예컨대, 추출된 양안의 위치를 기준으로 추출된 얼굴 영역이 모두 정면을 바라보도록 보정될 수도 있고, 추출된 눈, 코, 입의 위치를 기준으로 동일한 표정이 되도록 보정될 수도 있고, 추출된 양안의 거리를 기준으로 그 크기가 모두 동일해지도록 얼굴 영역 이미지가 보정될 수도 있고, 미리 설정된 값으로 얼굴 영역의 명도가 보정될 수도 있다.
그런 후, 미아 찾기 서비스 제공 서버(20)는, 정규화된 얼굴 영역으로부터 콘볼루셔널 신경망(Convolutional Neural Network, CNN)을 기반으로 특징 벡터를 산출할 수 있다(S250).
도 7은 실시예에 따른 지능형 관제 시스템과 연동하여 미아를 추적하는 과정을 설명하기 위한 신호 흐름도이다.
도 7을 참조하면, 미아 찾기 서비스 제공 서버(20)는, 제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성한다(S310). 즉, 미아 찾기 서비스 제공 서버(20)는, 제1 미아 이미지 및 제2 미아 이미지 중 적어도 하나를 기반으로 확장된, 예컨대, 두 이미지 중 적어도 하나를 이용하여 가려진 부분을 복원하고, 이미지 영역을 최대화된 제 3 이미지를 생성할 수 있다.
또한, 미아 찾기 서비스 제공 서버(20)는, 미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성한다(S320).
그러면, 미아 추적 서버(35)는, 제3 이미지 및 검색 정보를 기반으로 후술되는 미아 추적 동작을 수행할 수 있다.
그러나, 신속히 미아를 추적하기 위해서, 미아 찾기 서비스 제공 서버(30)는, 미아 발견 정보가 등록되기 이전에 미아 발생 정보만으로 미아 추적을 요청할 수도 있다. 이때, 제3 이미지 대신 제1 이미지가 전송되고, 검색 정보로 미아 발생 정보에 포함된 미아 발생 위치 및 시간이 전송될 수 있다.
미아 찾기 서비스 제공 서버(20)는, 지능형 관제 센터 시스템(30)의 미아 추적 서버(35)에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청한다(S330).
그러면, 미아 추적 서버(35), 보정된 미아 추적 위치 및 시간 정보를 기반으로 해당 위치 및 해당 시간에 촬영된 CCTV 영상을 수집한다(S340).
미아 추적 서버(35)는, 수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출한다(S350).
미아 추적 서버(35)는, 제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출한다(S360).
상세하게는, 미아 추적 서버(35)는, 추출된 이미지 프레임들에 포함된 모든 사람의 얼굴 특징 정보를 확보한 후 제3 미아 이미지로부터 추출된 얼굴 특징 정보와의 유사도 분석을 통해 미아가 포함된 이미지 프레임을 확보한다. 그런 후, 미아 추적 서버(35)는, 확보된 이미지 프레임에서 미아의 전신 영역 이미지를 추출한 후, 미아 전신의 특징 정보를 추출한다. 이러한 특징 정보 추출 과정은 전술한 도 6에 설명한 바와 같다.
또한, 미아 추적 서버(35)는, 이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링한다(S370). 이때, 미리 학습된 인공 지능 클러스터 분류 모델을 기반으로 할 수 있다.
미아 추적 서버(35)는, 미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정한다(S380). 즉, 미아 전신의 특징 정보와 유사도가 소정 임계치 이상인 이미지 프레임 그룹들이 선정될 수 있다.
그런 후, 미아 추적 서버(35)는, 추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적한다(S390). 이러한 미아의 이동 경로는 지도에 표시될 수 있다.
또한, 미아 추적 서버(35)는, 미아의 이동 경로에 위치하는 디지털 사이니지(31)에 미아 발생 정보를 디스플레이한다(S400).
한편, 도면에는 도시되어 있지 않지만, 미아 추적 서버(35)는, 다른 이미지 프레임 그룹에 속하는 사람의 이동 경로 중에서 미아와 동일한 이동 경로를 갖는 사람을 유괴범으로 자동 인식할 수도 있다.
따라서, 미아 추적 서버(35)는, 유괴범으로 추정되는 사람의 정보도 함께 디스플레이하도록 할 수 있다.
도 8은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.
실시예에 따른 사용자 단말(10), 미아 찾기 서비스 제공 장치(20) 및 미아 추적 서버(35)는 각각 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10 : 사용자 단말 11 : 사전 등록부
12 : 미아 발생 신고부 13 : 미아 발견 신고부
20 : 미아 찾기 서비스 제공 서버 21 : 미아 사전 등록 정보 DB
22 : 미아 발생 정보 DB 23 : 미아 발견 정보 DB
24 : 미아 추적 정보 DB 25 : 미아 정보 관리부
26 : 얼굴 특징 추출부 27 : 미아 정보 비교부
28 : 미아 추적 정보 생성부
30 : 지능형 관제 센터 시스템 31 : 디지털 사이니지
32 : 디지털 사이니지 제어부 33 : CCTV
34 : CCTV 제어부 35 : 미아 추적 서버

Claims (12)

  1. 적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계;
    적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계;
    제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계; 및
    유사도가 소정 임계치 이상일 경우, 제1 사용자 단말로 제2 사용자 단말의 연락처, 미아 발견 정보를 전달하고, 제2 사용자 단말로 제1 사용자 단말의 연락처, 미아 발생 정보를 전달하는 단계를 포함하되,
    제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계;
    미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계; 및
    지능형 관제 센터 시스템에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청하는 단계를 더 포함하되,
    지능형 관제 센터 시스템은,
    복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되,
    미아 추적 서버는,
    검색 정보를 기반으로 CCTV 영상을 수집하는 단계;
    수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계;
    제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계;
    이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계;
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계;
    미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계;를 수행하되,
    제3 미아 이미지를 생성하는 단계는,
    제1 미아 이미지 및 제2 미아 이미지를 기반으로 가려진 부분을 복원하는 단계를 포함하고,
    미아 추적 서버는,
    다른 이미지 프레임 그룹에 속하는 사람의 이동 경로 중에서 미아와 동일한 이동 경로를 갖는 사람을 유괴범으로 자동 인식하고, 유괴범으로 추정되는 사람의 정보도 함께 디스플레이하고,
    얼굴 특징 정보는,
    제1 미아 이미지 및 제2 미아 이미지로부터 얼굴 영역을 검출하는 단계;
    검출된 얼굴 영역으로부터 3차원 모델 추정 방식을 통해 얼굴의 특징점을 검출하는 단계;
    검출된 특징점을 기반으로 얼굴 영역을 정규화하는 단계; 및
    정규화된 얼굴 영역으로부터 콘볼루셔널 신경망을 기반으로 특징 벡터를 산출하는 단계를 통해 획득되되,
    정규화하는 단계는,
    추출된 양안의 위치를 기준으로 추출된 얼굴 영역이 모두 정면을 바라보도록 보정하고, 추출된 특징점의 위치를 기준으로 동일한 표정이 되도록 보정하고, 추출된 양안의 거리를 기준으로 그 크기가 모두 동일해지도록 얼굴 영역 이미지를 보정하고, 미리 설정된 값으로 얼굴 영역의 명도를 보정하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  2. 제1 항에 있어서,
    적어도 하나의 제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계를 더 포함하되,
    미아 발생 정보를 등록하는 단계는,
    제1 사용자 단말로부터 미아 발생이 신고됨에 따라, 사전 등록된 아동 이미지를 제1 미아 이미지로 등록하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  3. 제1 항에 있어서,
    제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계를 더 포함하되,
    아동 이미지를 사전 등록한 후, 소정 시간이 이내에 미아 발생이 신고되지 않을 경우, 사전 등록된 아동 이미지를 삭제하는 단계를 더 포함하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  4. 제3 항에 있어서, 아동 이미지 및 제1 미아 이미지는,
    얼굴 영역의 크기가 소정 크기 이상인 것만 등록되는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  5. 삭제
  6. 제1 항에 있어서,
    지능형 관제 센터 시스템에 미아 발생 정보를 전송하여 미아 추적 요청하는 단계를 더 포함하되,
    지능형 관제 센터 시스템은,
    복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되,
    미아 추적 서버는,
    미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계;
    수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계;
    제1 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계;
    이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계;
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계; 및
    미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 방법.
  7. 삭제
  8. 적어도 하나의 프로그램이 기록된 메모리; 및
    프로그램을 실행하는 프로세서를 포함하며,
    프로그램은,
    적어도 하나의 제1 사용자 단말로부터 미아 발생이 신고됨에 따라 제1 미아 이미지, 미아가 발생된 위치 및 시간 정보를 포함하는 미아 발생 정보를 등록하는 단계;
    적어도 하나의 제2 사용자 단말로부터 미아 발견이 신고됨에 따라 제2 미아 이미지, 미아가 발견된 위치 및 시간 정보를 포함하는 미아 발견 정보를 등록하는 단계;
    제1 미아 이미지 및 제2 미아 이미지 각각으로부터 딥러닝 기반으로 추출된 얼굴 특징 정보들 간의 유사도를 산출하는 단계; 및
    유사도가 소정 임계치 이상일 경우, 제1 사용자 단말로 제2 사용자 단말의 연락처, 미아 발견 정보를 전달하고, 제2 사용자 단말로 제1 사용자 단말의 연락처, 미아 발생 정보를 전달하는 단계를 수행하되,
    제1 미아 이미지 및 제2 미아 이미지를 기반으로 보정된 제3 미아 이미지를 생성하는 단계;
    미아가 발생 위치 및 시간과 미아가 발견된 위치 및 시간을 취합하여 검색 정보를 생성하는 단계; 및
    지능형 관제 센터 시스템에 제3 미아 이미지, 검색 정보를 전송하여 미아 추적 요청하는 단계를 더 수행하고,
    지능형 관제 센터 시스템은,
    복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되,
    미아 추적 서버는,
    검색 정보를 기반으로 CCTV 영상을 수집하는 단계;
    수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계;
    제3 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계;
    이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계;
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계;
    미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계;를 수행하되,
    제3 미아 이미지를 생성하는 단계는,
    제1 미아 이미지 및 제2 미아 이미지를 기반으로 가려진 부분을 복원하는 단계를 포함하고,
    미아 추적 서버는,
    다른 이미지 프레임 그룹에 속하는 사람의 이동 경로 중에서 미아와 동일한 이동 경로를 갖는 사람을 유괴범으로 자동 인식하고, 유괴범으로 추정되는 사람의 정보도 함께 디스플레이하고,
    얼굴 특징 정보는,
    제1 미아 이미지 및 제2 미아 이미지로부터 얼굴 영역을 검출하는 단계;
    검출된 얼굴 영역으로부터 3차원 모델 추정 방식을 통해 얼굴의 특징점을 검출하는 단계;
    검출된 특징점을 기반으로 얼굴 영역을 정규화하는 단계; 및
    정규화된 얼굴 영역으로부터 콘볼루셔널 신경망을 기반으로 특징 벡터를 산출하는 단계를 통해 획득되되,
    정규화하는 단계는,
    추출된 양안의 위치를 기준으로 추출된 얼굴 영역이 모두 정면을 바라보도록 보정하고,
    추출된 특징점의 위치를 기준으로 동일한 표정이 되도록 보정하고,
    추출된 양안의 거리를 기준으로 그 크기가 모두 동일해지도록 얼굴 영역 이미지를 보정하고,
    미리 설정된 값으로 얼굴 영역의 명도를 보정하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치.
  9. 제8 항에 있어서, 프로그램은,
    적어도 하나의 제1 사용자 단말로부터 미아 발생 전에 아동 이미지를 전달받아 사전 등록하는 단계; 및
    아동 이미지를 사전 등록한 후, 소정 시간이 이내에 미아 발생이 신고되지 않을 경우, 사전 등록된 아동 이미지를 삭제하는 단계를 더 수행하되,
    미아 발생 정보를 등록하는 단계는,
    제1 사용자 단말로부터 미아 발생이 신고됨에 따라, 사전 등록된 아동 이미지를 제1 미아 이미지로 등록하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치.
  10. 삭제
  11. 제8 항에 있어서, 프로그램은,
    지능형 관제 센터 시스템에 미아 발생 정보를 전송하여 미아 추적 요청하는 단계를 더 수행하되,
    지능형 관제 센터 시스템은,
    복수의 CCTV들 및 사이니지 디스플레이들과 연동되는 미아 추적 서버를 포함하되,
    미아 추적 서버는,
    미아가 발생된 위치 및 시간 정보를 기반으로 CCTV 영상을 수집하는 단계;
    수집된 CCTV 영상에서 적어도 하나의 사람이 포함된 이미지 프레임들을 추출하는 단계;
    제1 미아 이미지를 기반으로 이미지 프레임들 중 미아가 포함된 것으로 추정되는 이미지 프레임으로부터 미아 전신의 특징 정보를 추출하는 단계;
    이미지 프레임들에 포함된 모든 사람 전신의 특징 정보를 추출하고, 추출된 특징 정보를 기반으로 이미지 프레임들을 소정 개수의 그룹들로 클러스터링하는 단계;
    미아 전신의 특징 정보와의 유사도를 기반으로 소정 그룹들 중 추적 그룹을 선정하는 단계;
    추적 그룹에 포함된 이미지 프레임들의 시간 및 위치 정보를 기반으로 미아의 이동 경로를 추적하는 단계; 및
    미아의 이동 경로에 위치하는 디지털 사이니지에 미아 발생 정보를 디스플레이하는 단계를 수행하는, 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치.
  12. 삭제
KR1020200127867A 2020-08-11 2020-10-05 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법 KR102270899B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2021/010589 WO2022035190A1 (ko) 2020-08-11 2021-08-10 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
DE112021004252.1T DE112021004252T5 (de) 2020-08-11 2021-08-10 Vorrichtung und verfahren zum bereitstellen eines suchdienstes für ein vermisstes kind auf der basis einer gesichtserkennung unter verwendung von deep-learning
US17/606,590 US20220319232A1 (en) 2020-08-11 2021-08-10 Apparatus and method for providing missing child search service based on face recognition using deep-learning
GB2213332.6A GB2608063A (en) 2020-08-11 2021-08-10 Device and method for providing missing child search service based on face recognition using deep learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200100700 2020-08-11
KR20200100700 2020-08-11

Publications (1)

Publication Number Publication Date
KR102270899B1 true KR102270899B1 (ko) 2021-06-30

Family

ID=76601866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200127867A KR102270899B1 (ko) 2020-08-11 2020-10-05 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102270899B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022035190A1 (ko) * 2020-08-11 2022-02-17 주식회사 원모어시큐리티 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
KR102617756B1 (ko) * 2022-11-07 2023-12-28 (주) 원모어시큐리티 속성 기반 실종자 추적 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160044858A (ko) * 2014-10-16 2016-04-26 황의종 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체
KR20180006016A (ko) 2016-07-08 2018-01-17 이응수 얼굴인식 기반의 미아 찾기 방법 및 이를 이용한 미아 찾기 시스템
KR20190093799A (ko) * 2018-01-17 2019-08-12 경북대학교 산학협력단 Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160044858A (ko) * 2014-10-16 2016-04-26 황의종 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체
KR20180006016A (ko) 2016-07-08 2018-01-17 이응수 얼굴인식 기반의 미아 찾기 방법 및 이를 이용한 미아 찾기 시스템
KR20190093799A (ko) * 2018-01-17 2019-08-12 경북대학교 산학협력단 Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022035190A1 (ko) * 2020-08-11 2022-02-17 주식회사 원모어시큐리티 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
GB2608063A (en) * 2020-08-11 2022-12-21 Onemoresecurity Inc Device and method for providing missing child search service based on face recognition using deep learning
KR102617756B1 (ko) * 2022-11-07 2023-12-28 (주) 원모어시큐리티 속성 기반 실종자 추적 장치 및 방법
WO2024101466A1 (ko) * 2022-11-07 2024-05-16 주식회사 원모어시큐리티 속성 기반 실종자 추적 장치 및 방법

Similar Documents

Publication Publication Date Title
KR102305038B1 (ko) 미아 추적 서버 및 미아 추적 서버에서의 딥러닝 기반 미아 이동 경로 추적 방법
WO2021114892A1 (zh) 基于环境语义理解的人体行为识别方法、装置、设备及存储介质
WO2020042419A1 (zh) 基于步态的身份识别方法、装置、电子设备
WO2019095571A1 (zh) 人物情绪分析方法、装置及存储介质
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
KR102270899B1 (ko) 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
KR20080097798A (ko) 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
Chiranjeevi et al. Neutral face classification using personalized appearance models for fast and robust emotion detection
CN105718873A (zh) 基于双目视觉的人流分析方法
JP6535196B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP7422456B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2022156317A1 (zh) 视频帧处理方法及装置、电子设备和存储介质
CN111046734A (zh) 基于膨胀卷积的多模态融合视线估计方法
JP2022542199A (ja) キーポイントの検出方法、装置、電子機器および記憶媒体
CN112215185A (zh) 一种从监控视频中检测跌倒行为的系统及方法
WO2022088819A1 (zh) 视频处理方法、视频处理装置和存储介质
CN113887424A (zh) 人体行为的识别方法、装置、计算机设备和存储介质
CN111724199A (zh) 基于行人主动感知的智慧社区广告精准投放方法及装置
KR102617756B1 (ko) 속성 기반 실종자 추적 장치 및 방법
US20220319232A1 (en) Apparatus and method for providing missing child search service based on face recognition using deep-learning
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN117216313A (zh) 姿态评价音频输出方法、装置、电子设备和可读介质
WO2021259033A1 (zh) 人脸识别方法、电子设备以及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant