KR20210058134A - 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치 및 방법 - Google Patents

복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치 및 방법 Download PDF

Info

Publication number
KR20210058134A
KR20210058134A KR1020190145227A KR20190145227A KR20210058134A KR 20210058134 A KR20210058134 A KR 20210058134A KR 1020190145227 A KR1020190145227 A KR 1020190145227A KR 20190145227 A KR20190145227 A KR 20190145227A KR 20210058134 A KR20210058134 A KR 20210058134A
Authority
KR
South Korea
Prior art keywords
face image
similarity
spying
median
face
Prior art date
Application number
KR1020190145227A
Other languages
English (en)
Inventor
신은영
김형경
손인식
김경화
김봉기
박학선
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020190145227A priority Critical patent/KR20210058134A/ko
Publication of KR20210058134A publication Critical patent/KR20210058134A/ko

Links

Images

Classifications

    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G06K9/6255—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 오탐 없이 정확히 분류할 수 있는 장치 및 방법이 개시된다. 일 실시예에 따른 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치는, 상기 복수의 얼굴 이미지 간의 유사도를 산출하여 전체 유사도 맵을 생성하는 유사도 산출부; 상기 전체 유사도 맵에서 전체 중앙값보다 큰 유사도 중앙값을 갖는 얼굴 이미지를 오탐 후보로 선정하고 나머지 얼굴 이미지를 정탐 후보로 선정하는 1차 선정부; 각 얼굴 이미지의 유사도 중앙값에 기초하여 제 1 정탐 기준 얼굴 이미지와 제 2 정탐 기준 얼굴 이미지를 선정하는 기준 선정부; 및 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지 또는 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정의 정탐 이동 조건을 만족하는 얼굴 이미지를 정탐 후보로 선정하는 2차 선정부를 포함한다.

Description

복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치 및 방법{Apparatus and method for classifying face images of the same person in a plurality of face images}
본 발명은 얼굴 이미지의 자동 분류 기술에 관한 것으로서, 보다 구체적으로 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치 및 방법에 관한 것이다.
딥 러닝 기반 영상 내 얼굴 인식 시스템은 범죄 예방, 미아찾기, 방범과 같은 보안 분야에서 CCTV를 기반으로 사용되고 있으며, 그 외 다양한 분야에서 연구개발되고 있다. 딥 러닝 기반 얼굴 인식 시스템의 성능은 학습한 데이터의 품질, 양과 비례한다. 따라서, 높은 성능의 얼굴 인식 시스템 구축을 위해서는 고품질의 대용량 학습 데이터가 필수적이다.
서양인의 경우 연예인, 일반인 등 많은 얼굴 데이터가 수집되어 딥 러닝 기반 얼굴 인식 시스템의 학습에 사용됨으로써 얼굴 인식 시스템의 서양인에 대한 얼굴 인식률이 동양인 대비 평균적으로 높다. 동양인에 대한 얼굴 인식률은 최근 중국에서 정부 주도하에 데이터를 수집함에 따라 크게 개선되었다. 이처럼 고품질 대용량의 데이터는 곧 얼굴 인식 시스템의 성능으로 직결된다.
얼굴 데이터를 수집하는 종래의 기술로는 별도의 등록 장치를 두고 사람들이 직접 본인의 얼굴을 등록하는 수동 수집 방법과, 영상 내에서 얼굴을 자동으로 추출 및 저장하는 자동 수집 방법 두 가지가 있다.
별도의 등록 장치로 얼굴을 등록하는 수동 수집 방법은 정확히 레이블된 데이터를 수집할 수 있는 장점이 있으나, 사람이 직접 와서 얼굴을 등록해야 불편함과 시간이 소요되는 단점이 있으며 등록 장치의 비용이 발생한다.
두 번째 방법인 영상 내에서 얼굴을 자동으로 추출 및 저장하는 자동 수집 방법은 직접 사람이 방문할 필요가 없어 간편하고 대량의 데이터를 빠르게 수집할 수 있으나, 동일한 사람을 정확히 구별하여 레이블하기 어려워 오탐이 섞이게 된다. 여기서 발생한 오탐은 향후 얼굴 인식 시스템의 인식률 저하로 이어질 수 있다.
본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로, 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 오탐 없이 정확히 분류할 수 있는 장치 및 방법을 제공하는 데 그 목적이 있다.
일 실시예에 따른 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치는, 상기 복수의 얼굴 이미지 간의 유사도를 산출하여 전체 유사도 맵을 생성하는 유사도 산출부; 상기 전체 유사도 맵에서 전체 중앙값보다 큰 유사도 중앙값을 갖는 얼굴 이미지를 오탐 후보로 선정하고 나머지 얼굴 이미지를 정탐 후보로 선정하는 1차 선정부; 각 얼굴 이미지의 유사도 중앙값에 기초하여 제 1 정탐 기준 얼굴 이미지와 제 2 정탐 기준 얼굴 이미지를 선정하는 기준 선정부; 및 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지 또는 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정의 정탐 이동 조건을 만족하는 얼굴 이미지를 정탐 후보로 선정하는 2차 선정부를 포함한다.
상기 기준 선정부는, 상기 복수의 얼굴 이미지 중 가장 작은 유사도 중앙값을 갖는 얼굴 이미지를 제 1 정탐 기준 얼굴 이미지로 선정하고 가장 큰 유사도 중앙값을 갖는 얼굴 이미지를 제 2 정탐 기준 얼굴 이미지로 선정할 수 있다.
상기 2차 선정부는, 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지와의 유사도가 상기 전체 중앙값보다 작은 얼굴 이미지를 정탐 후보로 선정할 수 있다.
상기 2차 선정부는, 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정 값 이상인 얼굴 이미지를 정탐 후보로 선정할 수 있다.
상기 소정 값은, 상기 전체 중앙값과 상기 제 2 정탐 기준 얼굴 이미지의 유사도 중앙값의 평균 또는 1 중 하나일 수 있다.
상기 장치는, 상기 복수의 얼굴 이미지 및 각 얼굴 이미지의 환경 메타데이터를 수집하는 수집부; 및 상기 환경 메타데이터를 기초로 상기 정탐 후보의 얼굴 이미지들을 그룹화하는 그룹화부를 더 포함할 수 있다.
상기 그룹화부는, 각 그룹별로 얼굴 이미지 간의 유사도 맵을 생성하고, 상기 전체 유사도 맵의 전체 중앙값보다 큰 전체 중앙값을 갖는 유사도 맵의 그룹을 정탐 후보에서 제외할 수 있다.
상기 그룹화부는, 그룹화되지 않은 얼굴 이미지를 환경 메타데이터가 일부 동일한 그룹에 포함시켜 유사도 맵을 확장하고, 그 확장된 유사도 맵에서의 해당 얼굴 이미지의 유사도 중앙값과, 상기 전체 유사도 맵의 전체 중앙값 간의 비교 결과에 따라, 해당 얼굴 이미지의 그룹 내 유지 여부를 결정할 수 있다.
일 실시예에 따른 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 방법은, 상기 복수의 얼굴 이미지 간의 유사도를 산출하여 전체 유사도 맵을 생성하는 단계; 상기 전체 유사도 맵에서 전체 중앙값보다 큰 유사도 중앙값을 갖는 얼굴 이미지를 오탐 후보로 선정하고 나머지 얼굴 이미지를 정탐 후보로 선정하는 단계; 각 얼굴 이미지의 유사도 중앙값에 기초하여 제 1 정탐 기준 얼굴 이미지와 제 2 정탐 기준 얼굴 이미지를 선정하는 단계; 및 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지 또는 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정의 정탐 이동 조건을 만족하는 얼굴 이미지를 정탐 후보로 선정하는 단계를 포함한다.
상기 제 2 정탐 기준 얼굴 이미지를 선정하는 단계는, 상기 복수의 얼굴 이미지 중 가장 작은 유사도 중앙값을 갖는 얼굴 이미지를 제 1 정탐 기준 얼굴 이미지로 선정하고 가장 큰 유사도 중앙값을 갖는 얼굴 이미지를 제 2 정탐 기준 얼굴 이미지로 선정할 수 있다.
상기 정탐 후보로 선정하는 단계는, 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지와의 유사도가 상기 전체 중앙값보다 작은 얼굴 이미지를 정탐 후보로 선정할 수 있다.
상기 정탐 후보로 선정하는 단계는, 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정 값 이상인 얼굴 이미지를 정탐 후보로 선정할 수 있다.
상기 소정 값은, 상기 전체 중앙값과 상기 제 2 정탐 기준 얼굴 이미지의 유사도 중앙값의 평균 또는 1 중 하나일 수 있다.
상기 방법은, 상기 복수의 얼굴 이미지 각각의 환경 메타데이터를 수집하는 단계; 상기 환경 메타데이터를 기초로 상기 정탐 후보의 얼굴 이미지들을 그룹화하는 단계를 더 포함할 수 있다.
상기 방법은, 각 그룹별로 얼굴 이미지 간의 유사도 맵을 생성하고, 상기 전체 유사도 맵의 전체 중앙값보다 큰 전체 중앙값을 갖는 유사도 맵의 그룹을 정탐 후보에서 제외하는 단계를 더 포함할 수 있다.
상기 방법은, 그룹화되지 않은 얼굴 이미지를 환경 메타데이터가 일부 동일한 그룹에 포함시켜 유사도 맵을 확장하고, 그 확장된 유사도 맵에서의 해당 얼굴 이미지의 유사도 중앙값과, 상기 전체 유사도 맵의 전체 중앙값 간의 비교 결과에 따라, 해당 얼굴 이미지의 그룹 내 유지 여부를 결정하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 별도의 얼굴 등록 장치 없이 자동으로 영상 내 얼굴 데이터를 수집할 때 수집된 얼굴들 간의 관계 및 메타데이터에 기초하여 오탐 없이 정확하게 얼굴 이미지를 분류할 수 있다.
본 발명은 기존 자동 수집 방법에서 발생하는 오탐을 감소시켜 이를 기반으로 학습한 얼굴 인식 시스템의 정확도 향상에 기여한다. 따라서, 서비스의 대기 시간 감소, 정확도 향상을 기반으로 얼굴 인식 서비스에 대한 소비자 접근성을 높여 얼굴 인식 서비스의 확대에 기여한다.
도 1은 본 발명의 일 실시예에 따른 얼굴 이미지 분류 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 유사도 맵을 나타낸 도면이다.
도 3은 도 2의 유사도 맵에서 오탐 후보와 정탐 후보를 나타낸 도면이다.
도 4는 도 2의 유사도 맵에서 두 개의 정탐 기준 얼굴 이미지를 표기한 도면이다.
도 5는 본 발명의 일 실시예에 따른 오탐 후보의 얼굴 이미지를 정탐 후보로 이동시키기 위한 정탐 이동 조건을 나타낸 도면이다.
도 6은 도 3에 도시된 오탐 후보 중 7번 얼굴 이미지를 제 1 정탐 기준 얼굴 이미지와 비교하는 과정을 나타낸 도면이다.
도 7은 도 3에 도시된 오탐 후보 중 7번 얼굴 이미지를 제 2 정탐 기준 얼굴 이미지와 비교하는 과정을 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 따른 얼굴 이미지 분류 장치의 구성을 나타낸 도면이다.
도 9는 도 8의 수집부의 구성을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 단위 유사도 맵을 나타낸 도면이다.
도 11은 도 10의 단위 유사도 맵을 확장한 예이다.
도 12는 본 발명의 일 실시예에 따른 얼굴 이미지 분류 방법을 설명하는 흐름도이다.
도 13은 본 발명의 다른 실시예에 따른 얼굴 이미지 분류 방법을 설명하는 흐름도이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 얼굴 이미지 분류 장치의 구성을 나타낸 도면이다. 얼굴 이미지 분류 장치(100)는, 메모리, 메모리 제어기, 하나 이상의 프로세서(CPU), 주변 인터페이스, 입출력(I/O) 서브시스템, 디스플레이 장치, 입력 장치 및 통신 회로를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 프로세서 및 주변 인터페이스와 같은 다른 구성요소에 의한 메모리로의 액세스는 메모리 제어기에 의하여 제어될 수 있다. 메모리는 각종 정보와 프로그램 명령어를 저장할 수 있고, 프로그램은 프로세서에 의해 실행된다. 주변 인터페이스는 입출력 주변 장치를 프로세서 및 메모리와 연결한다. 하나 이상의 프로세서는 다양한 소프트웨어 프로그램 및/또는 메모리에 저장되어 있는 명령어 세트를 실행하여 시스템을 위한 여러 기능을 수행하고 데이터를 처리한다. I/O 서브시스템은 디스플레이 장치, 입력 장치와 같은 입출력 주변장치와 주변 인터페이스 사이에 인터페이스를 제공한다. 통신 회로는 외부 포트를 통한 통신 또는 RF 신호에 의한 통신을 수행한다. 통신 회로는 전기 신호를 RF 신호로 또는 그 반대로 변환하며 이 RF 신호를 통하여 통신 네트워크, 다른 이동형 게이트웨이 장치 및 통신 장치와 통신할 수 있다. 도 1을 참조하면, 얼굴 이미지 분류 장치(100)는, 유사도 산출부(120), 1차 선정부(130), 기준 선정부(140) 및 2차 선정부(150)를 포함하고, 이러한 구성요소는 프로그램으로 구현되어 메모리에 저장되어 프로세서에 의해 실행될 수 있고, 또는 소프트웨어 및 하드웨어의 조합으로 구현되어 동작을 수행할 수 있다.
저장부(110)는, 메모리 또는 데이터베이스로 구현될 수 있고, 복수의 얼굴 이미지를 저장한다. 복수의 얼굴 이미지는 동일한 사람의 얼굴 이미지를 주로 포함하고 예외적으로 다른 사람의 얼굴 이미지를 포함할 수 있다. 따라서, 복수의 얼굴 이미지 중에서 그 예외적인 다른 사람의 얼굴 이미지를 분류해야 한다.
유사도 산출부(120)는, 상기 복수의 얼굴 이미지 간의 유사도를 산출하여 전체 유사도 맵을 생성한다. 유사도 산출부(120)는 딥 러닝 기반의 유사도 산출 엔진을 이용하여 얼굴 이미지 간의 유사도를 산출할 수 있다. 유사도를 산출하는 방법은 공지된 기술을 이용할 수 있으나 특별히 제한하지 않는다. 전체 유사도 맵은 상기 복수의 얼굴 이미지를 가로 행에 나열하고 또한 상기 복수의 얼굴 이미지를 세로 열에 나열한 후, 내부 셀 각각에 가로 행의 각 얼굴 이미지와 세로 열의 각 얼굴 이미지 간의 유사도를 표기한 테이블이다. 유사도 산출부(120)는, 상기 전체 유사도 맵에서 유사도의 전체 중앙값(total median)과 각 얼굴 이미지의 유사도 중앙값(median)을 산출한다.
도 2는 본 발명의 일 실시예에 따른 유사도 맵을 나타낸 도면이다. 도 2를 참조하면, 첫 번째 가로 행에 복수의 얼굴 이미지의 인덱스가 기록되어 있고, 첫 번째 세로 열에 동일한 복수의 얼굴 이미지의 인덱스가 기록되어 있다. 그리고 각 셀에는 해당 셀이 속하는 열의 얼굴 이미지와 해당 셀이 속하는 행의 얼굴 이미지 간의 유사도가 기록된다. 예를 들어, 도 2의 참조번호 210의 셀은, 1번 얼굴 이미지와 0번 얼굴 이미지 간의 유사도가 기록된다. 또한 도 2에 도시된 맨 마지막 행의 값은, 각 얼굴 이미지의 유사도 중앙값으로서, 각 얼굴 이미지와 다른 얼굴 이미지들 간의 유사도들의 중앙값이 기록된다. 예를 들어, 참조번호 230의 셀의 값은, 1번 얼굴 이미지와 다른 얼굴 이미지들 간의 유사도들의 중앙값이다. 각 얼굴 이미지의 유사도 중앙값은 해당 얼굴 이미지가 다른 얼굴 이미지들과의 관계를 대표한다. 한편, 유사도 맵의 유사도의 전체 중앙값은, 도 2에 도시된 전체 유사도들의 중앙값으로, 도 2의 실시예는 0.7538이다.
다시 도 1을 참조하면, 1차 선정부(130)는, 상기 전체 유사도 맵에서 전체 중앙값보다 큰 유사도 중앙값을 갖는 얼굴 이미지를 오탐 후보로 선정하고 나머지 얼굴 이미지를 정탐 후보로 선정한다. 여기서 오탐은 잘못된 탐지이고 정탐은 정확한 탐지를 의미한다. 정탐 후보의 얼굴 이미지들은 동일한 사람의 얼굴 이미지일 수 있고, 오탐 후보의 얼굴 이미지들은 다른 사람의 얼굴 이미지일 수 있음을 의미한다. 도 3은 도 2의 유사도 맵에서 오탐 후보와 정탐 후보를 나타낸 도면으로, 도 3을 참조하면, 도 2의 유사도 맵의 전체 중앙값은 0.7538이고, 따라서 이 전체 중앙값 0.7538보다 큰 유사도 중앙값을 갖는 얼굴 이미지 4, 7, 8은 오탐 후보로 선정되고 나머지 얼굴 이미지들은 정탐 후보로 선정된다. 얼굴이 유사할수록 유사도는 0에 가깝다. 따라서 전체 중앙값보다 유사도 중앙값이 크다는 것은, 다른 얼굴 이미지들과 유사하지 않을 가능성이 높다는 것을 의미하므로 해당 얼굴 이미지를 오탐 후보로 선정하는 것이다.
정탐 후보의 얼굴 이미지가 오탐 후보로 1차 선정될 수 있다. 따라서 오탐 후보로 분류된 얼굴 이미지들 중에서 잘못 분류된 얼굴 이미지를 분류해야 한다. 이를 위해, 기준 선정부(140)는, 각 얼굴 이미지의 유사도 중앙값에 기초하여 두 개의 정탐 기준 얼굴 이미지를 선정한다. 여기서 정탐 기준 얼굴 이미지는 오탐 후보의 얼굴 이미지가 정탐 후보인지를 판단하기 위해 해당 오탐 후보의 얼굴 이미지와 비교되는 얼굴 이미지이다.
바람직하게, 기준 선정부(140)는, 복수의 얼굴 이미지 중 가장 작은 유사도 중앙값을 갖는 얼굴 이미지를 제 1 정탐 기준 얼굴 이미지로 선정하고, 가장 큰 유사도 중앙값을 갖는 얼굴 이미지를 제 2 정탐 기준 얼굴 이미지로 선정한다. 도 4는 도 2의 유사도 맵에서 두 개의 정탐 기준 얼굴 이미지를 표기한 도면으로, 3번 얼굴 이미지의 유사도 중앙값은 0.67182로서, 가장 작은 유사도 중앙값이다. 따라서 3번 얼굴 이미지가 제 1 정탐 기준 얼굴 이미지로 선정된다. 그리고 8번 얼굴 이미지의 유사도 중앙값은 1.21893으로, 가장 큰 유사도 중앙값이다. 따라서 8번 얼굴 이미지가 제 2 정탐 기준 얼굴 이미지로 선정된다.
2차 선정부(150)는, 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지 또는 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정의 정탐 이동 조건을 만족하는 얼굴 이미지를 정탐 후보로 선정한다. 보다 구체적으로, 2차 선정부(150)는, 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지와의 유사도가 전체 유사도 맵의 전체 중앙값보다 작은 얼굴 이미지를 정탐 후보로 선정한다. 또한, 2차 선정부(150)는, 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정 값 이상인 얼굴 이미지를 정탐 후보로 선정한다.
도 5는 본 발명의 일 실시예에 따른 오탐 후보의 얼굴 이미지를 정탐 후보로 이동시키기 위한 정탐 이동 조건을 나타낸 도면이다. 도 5를 참조하면, 오탐 후보의 얼굴 이미지와 제 1 정탐 기준 얼굴 이미지 간의 유사도가, 도 5에 도시된 정탐 이동 조건 A 구간에 속할 경우, 해당 오탐 후보의 얼굴 이미지를 정탐 후보로 이동시킨다. 또는 오탐 후보의 얼굴 이미지와 제 2 정탐 기준 얼굴 이미지 간의 유사도가, 도 5에 도시된 정탐 이동 조건 B 구간에 속할 경우, 해당 오탐 후보의 얼굴 이미지를 정탐 후보로 이동시킨다. 여기서 정탐 이동 조건 B 구간의 시작점은, 전체 유사도 맵의 전체 중앙값과 제 2 정탐 기준 얼굴 이미지의 유사도 중앙값의 평균으로, 0.986365이다. 또는, 오탐 후보의 얼굴 이미지와 제 2 정탐 기준 얼굴 이미지 간의 유사도가, 1보다 크면, 해당 오탐 후보의 얼굴 이미지를 정탐 후보로 이동시킨다.
제 1 정탐 기준 얼굴 이미지의 유사도 중앙값은 전체 유사도 맵에서 가장 작은 유사도 중앙값이므로, 제 1 정탐 기준 얼굴 이미지는 정탐 가능성이 매우 높다는 것을 의미한다. 따라서 오탐 후보의 얼굴 이미지와 제 1 정탐 기준 얼굴 이미지를 비교했을 때의 유사도가 상기 정탐 이동 조건 A 구간에 속한다는 것은, 오탐 후보의 얼굴 이미지가 제 1 정탐 기준 얼굴 이미지와 매우 유사하다는 것을 의미하고, 따라서 오탐 후보가 아닐 가능성이 높다는 것을 의미하므로, 정탐 후보로 이동시킨다.
한편, 제 2 정탐 기준 얼굴 이미지의 유사도 중앙값은 전체 유사도 맵에서 가장 큰 유사도 중앙값이므로, 제 2 정탐 기준 얼굴 이미지는 오탐 가능성이 매우 높다는 것을 의미한다. 따라서, 오탐 후보의 얼굴 이미지와 제 2 정탐 기준 얼굴 이미지를 비교했을 때의 유사도가 상기 정탐 이동 조건 B 구간에 속한다는 것은, 오탐 후보의 얼굴 이미지가 제 2 정탐 기준 얼굴 이미지와 매우 상이하다는 것을 의미하고, 따라서 오탐 후보가 아닐 가능성이 높다는 것을 의미하므로, 정탐 후보로 이동시킨다.
도 6은 도 3에 도시된 오탐 후보 중 7번 얼굴 이미지를 제 1 정탐 기준 얼굴 이미지와 비교하는 과정을 나타낸 도면이고, 도 7은 도 3에 도시된 오탐 후보 중 7번 얼굴 이미지를 제 2 정탐 기준 얼굴 이미지와 비교하는 과정을 나타낸 도면이다. 도 6을 참조하면, 7번 얼굴 이미지와 제 1 정탐 기준 얼굴 이미지 간의 유사도는, 0.81이고, 그 유사도 0.81은 정탐 이동 조건 A, B 구간 어디에도 속하지 않는다. 따라서, 7번 얼굴 이미지와 제 1 정탐 기준 얼굴 이미지를 비교했을 때 7번 얼굴 이미지는 오탐 후보이다. 반면, 도 7을 참조하면, 7번 얼굴 이미지와 제 2 정탐 기준 얼굴 이미지 간의 유사도는 1.17이고, 그 유사도 1.17은 정탐 이동 조건 B 구간에 속한다. 따라서, 7번 얼굴 이미지와 제 2 정탐 기준 얼굴 이미지를 비교했을 때 7번 얼굴 이미지는 정탐 후보이다. 따라서, 7번 얼굴 이미지는 최종적으로 정탐 후보로 선정된다.
이상의 실시예에 따르면, 동일한 사람의 얼굴 이미지들을 주로 포함하는 복수의 얼굴 이미지에서 그 동일한 사람의 얼굴 이미지들은 정탐 후보로 분류되고, 예외적으로 다른 사람들의 얼굴 이미지들은 오탐 후보로 분류됨으로써, 정확한 얼굴 분류가 가능해진다.
도 8은 본 발명의 다른 실시예에 따른 얼굴 이미지 분류 장치의 구성을 나타낸 도면이고, 도 9는 도 8의 수집부의 구성을 나타낸 도면이다. 도 8을 참조한 본 실시예에서 도 1을 참조한 실시예와 동일한 참조번호의 구성요소는 도 1을 참조하여 설명한 기능 및 동작을 모두 포함한다. 도 8에 도시된 바와 같이, 본 실시예의 얼굴 이미지 분류 장치(800)는, 수집부(810) 및 그룹화부(820)를 더 포함한다.
수집부(810)는, 복수의 얼굴 이미지 및 각 얼굴 이미지의 환경 메타데이터를 수집한다. 도 9에 도시된 바와 같이, 수집부(810)는, 수신부(811), 얼굴 추출부(812) 및 전처리부(813)를 포함할 수 있다.
수신부(811)는, CCTV 카메라 등의 영상 촬영 장치, 출입 게이트웨이, 센서 등의 장치로부터 실시간 영상, 직원 정보 및 환경 메타데이터를 수신한다. 예를 들어, 기업 내 출입 게이트웨이에 설치된 CCTV 카메라는 출입 방향의 실시간 촬영을 수행하고, 출입 게이트웨이에 종업원이 출입 카드를 태깅하면 출입 게이트웨이 및 센서는 태깅 정보 및 환경 메타데이터를 전송하고, 수신부(811)는 이를 수신한다. 여기서 환경 메타데이터는, 장소, 시간, 계절, 조도 등의 촬영시의 환경 정보를 포함한다.
얼굴 추출부(812)는, 상기 수신된 실시간 촬영 영상의 지정 영역에서 다수의 얼굴을 추출한다. 바람직하게, 얼굴 추출부(812)는, 추출한 얼굴을 인물별로 분류한다. 얼굴 추출부(812)가 인물별로 얼굴을 분류하더라도, 다른 인물의 얼굴이 섞일 수 있다.
전처리부(813)는 얼굴 추출부(812)에서 추출된 다수의 얼굴을 전처리한다. 여기서 전처리는, 예를 들어, 얼굴 각도가 정면인지, 충분히 밝은지, 크기가 충분히 큰지 등을 판단하여, 이 조건에 만족하지 않으면 삭제하는 것 등을 포함한다. 전처리부(813)는, 이와 같이 전처리한 다수의 얼굴 이미지를 저장부(110)에 저장한다. 바람직하게, 전처리부(813)는, 각 인물별로 저장부(110)에 폴더를 생성하고 각 폴더에 인물별 다수의 얼굴 이미지를 저장한다.
본 실시예의 얼굴 이미지 분류 장치(800)의 유사도 산출부(120), 1차 선정부(130), 기준 선정부(140) 및 2차 선정부(150)는 앞서 설명한 방법에 따라 각 폴더별로 얼굴 이미지들을 분류한다.
도 8에 도시된 그룹화부(820)는, 2차 선정부(150)에서 선정한 정탐 후보의 얼굴 이미지들에 대해 보다 정밀하게 정탐 분석을 한다. 그룹화부(820)는, 정탐 부호의 얼굴 이미지 각각의 환경 메타데이터를 기초로 정탐 후보의 얼굴 이미지들을 그룹화한다. 바람직하게 그룹화부(820)는, 동일한 환경 메타데이터를 갖는 얼굴 이미지들을 동일 그룹으로 그룹화한다. 예를 들어, 장소에 대한 메타데이터로서 '정문'을 갖고, 시간에 대한 메타데이터로서 '13:00'을 가지며, 계절에 대한 메타데이터로서 '여름"을 갖는 얼굴 이미지들을 동일 그룹으로 그룹화한다. 동일한 환경 메타데이터를 갖는 얼굴 이미지들은 동일 인물의 얼굴 이미지일 가능성이 높기 때문이다.
그룹화부(820)는, 각 그룹별로 얼굴 이미지 간의 단위 유사도 맵을 생성한다. 그룹화부(820)는, 그룹화하기 전의 얼굴 이미지들의 전체 유사도 맵의 전체 중앙값보다 큰 전체 중앙값을 갖는 단위 유사도 맵의 그룹을 정탐 후보에서 제외한다. 도 10은 본 발명의 일 실시예에 따른 단위 유사도 맵을 나타낸 도면으로, 도 10의 단위 유사도 맵은, "정문/13:00/여름"의 환경 메타데이터를 갖는 얼굴 이미지들의 유사도 맵이다. 도 10에 도시된 단위 유사도 맵의 전체 중앙값은 0.12이고, 도 2의 전체 유사도 맵의 전체 중앙값은 0.7538이므로, 도 10에 도시된 단위 유사도 맵의 전체 중앙값은, 도 2의 전체 유사도 맵의 전체 중앙값보다 작다. 따라서 해당 그룹은 정탐 후보로 유지한다. 만약, 도 10에 도시된 단위 유사도 맵의 전체 중앙값이, 도 2의 전체 유사도 맵의 전체 중앙값보다 컸다면, 해당 그룹의 얼굴 이미지들은 정탐 후보에서 제외된다.
환경 메타데이터를 기준으로 얼굴 이미지들을 그룹화할 때, 환경 메타데이터가 일치하지 않아 그룹화되지 않은 얼굴 이미지가 있을 수 있다. 그룹화부(820)는, 그룹화되지 않은 얼굴 이미지를 환경 메타데이터가 일부 동일한 그룹에 포함시켜 유사도 맵을 확장하고, 그 확장된 유사도 맵에서의 해당 얼굴 이미지의 유사도 중앙값과, 상기 전체 유사도 맵의 전체 중앙값 간의 비교 결과에 따라, 해당 얼굴 이미지의 그룹 내 유지 여부를 결정할 수 있다. 도 11은 도 10의 단위 유사도 맵을 확장한 예로서, 3가지 환경 메타데이터 중에서 1가지, 즉 장소만 일치하는 5번 얼굴 이미지를 도 10의 단위 유사도 맵에 추가하여 확장한다. 이때 5번 얼굴 이미지를 단위 유사도 맵에 추가하였을 때, 해당 5번 얼굴 이미지의 유사도 중앙값이, 전체 유사도 맵의 전체 중앙값보다 작으면 5번 얼굴 이미지를 해당 그룹에 유지하고 전체 유사도 맵의 전체 중앙값보다 크면 해당 그룹에서 제외한다.
이상의 도 8 내지 도 11을 참조하여 설명한 실시예와 같이 정탐 분석을 하게 되면, 보다 정확하게 인물별로 얼굴 이미지를 분류할 수 있다.
도 12는 본 발명의 일 실시예에 따른 얼굴 이미지 분류 방법을 설명하는 흐름도이다.
도 12를 참조하면, 단계 S1201에서, 얼굴 이미지 분류 장치는, 저장부(110)에 저장된 복수의 얼굴 이미지 간의 유사도를 산출하여 전체 유사도 맵을 생성한다. 얼굴 이미지 분류 장치는, 상기 전체 유사도 맵에서 유사도의 전체 중앙값(total median)과 각 얼굴 이미지의 유사도 중앙값(median)을 산출한다.
단계 S1202에서, 얼굴 이미지 분류 장치는, 상기 전체 유사도 맵에서 전체 중앙값보다 큰 유사도 중앙값을 갖는 얼굴 이미지를 오탐 후보로 선정하고 나머지 얼굴 이미지를 정탐 후보로 선정한다.
단계 S1203에서, 얼굴 이미지 분류 장치는, 복수의 얼굴 이미지 중 가장 작은 유사도 중앙값을 갖는 얼굴 이미지를 제 1 정탐 기준 얼굴 이미지로 선정하고, 가장 큰 유사도 중앙값을 갖는 얼굴 이미지를 제 2 정탐 기준 얼굴 이미지로 선정한다.
단계 S1204에서, 얼굴 이미지 분류 장치는, 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지 또는 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정의 정탐 이동 조건을 만족하는 얼굴 이미지를 정탐 후보로 선정한다. 보다 구체적으로, 얼굴 이미지 분류 장치는, 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지와의 유사도가 전체 유사도 맵의 전체 중앙값보다 작은 얼굴 이미지를 정탐 후보로 선정한다. 또한, 얼굴 이미지 분류 장치는, 상기 오탐 후보의 얼굴 이미지 중에서 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정 값 이상인 얼굴 이미지를 정탐 후보로 선정한다. 상기 소정 값은, 상기 전체 중앙값과 상기 제 2 정탐 기준 얼굴 이미지의 유사도 중앙값의 평균 또는 1 중 하나이다.
도 12를 참조한 실시예에 따르면, 동일한 사람의 얼굴 이미지들을 주로 포함하는 복수의 얼굴 이미지에서 그 동일한 사람의 얼굴 이미지들은 정탐 후보로 분류되고, 예외적으로 다른 사람들의 얼굴 이미지들은 오탐 후보로 분류됨으로써, 정확한 얼굴 분류가 가능해진다.
도 12를 참조한 실시예에서, 얼굴 이미지 분류 장치는, 단계 S1201 이전에, 복수의 얼굴 이미지 및 각 얼굴 이미지의 환경 메타데이터를 수집할 수 있다. 얼굴 이미지 분류 장치는, CCTV 카메라 등의 영상 촬영 장치, 출입 게이트웨이, 센서 등의 장치로부터 실시간 영상, 직원 정보 및 환경 메타데이터를 수신할 수 있다. 예를 들어, 기업 내 출입 게이트웨이에 설치된 CCTV 카메라는 출입 방향의 실시간 촬영을 수행하고, 출입 게이트웨이에 종업원이 출입 카드를 태깅하면 출입 게이트웨이 및 센서는 태깅 정보 및 환경 메타데이터를 전송하고, 얼굴 이미지 분류 장치는, 이를 수신한다. 여기서 환경 메타데이터는, 장소, 시간, 계절, 조도 등의 촬영시의 환경 정보를 포함한다. 얼굴 이미지 분류 장치는, 상기 수신된 실시간 촬영 영상의 지정 영역에서 다수의 얼굴을 추출한다. 바람직하게, 얼굴 이미지 분류 장치는, 추출한 얼굴을 인물별로 분류한다. 인물별로 얼굴을 분류하더라도, 다른 인물의 얼굴이 섞일 수 있다. 얼굴 이미지 분류 장치는, 추출된 다수의 얼굴을 전처리한다. 여기서 전처리는, 예를 들어, 얼굴 각도가 정면인지, 충분히 밝은지, 크기가 충분히 큰지 등을 판단하여, 이 조건에 만족하지 않으면 삭제하는 것 등을 포함한다. 얼굴 이미지 분류 장치는, 이와 같이 전처리한 다수의 얼굴 이미지를 저장부(110)에 저장한다. 바람직하게, 얼굴 이미지 분류 장치는, 각 인물별로 저장부(110)에 폴더를 생성하고 각 폴더에 인물별 다수의 얼굴 이미지를 저장한다.
도 13은 본 발명의 다른 실시예에 따른 얼굴 이미지 분류 방법을 설명하는 흐름도이다.
도 13을 참조하면, 단계 S1301에서, 얼굴 이미지 분류 장치는, 도 12를 참조하여 선정한 정탐 후보의 얼굴 이미지 각각의 환경 메타데이터를 기초로 정탐 후보의 얼굴 이미지들을 그룹화한다. 바람직하게 얼굴 이미지 분류 장치는, 동일한 환경 메타데이터를 갖는 얼굴 이미지들을 동일 그룹으로 그룹화한다. 예를 들어, 장소에 대한 메타데이터로서 '정문'을 갖고, 시간에 대한 메타데이터로서 '13:00'을 가지며, 계절에 대한 메타데이터로서 '여름"을 갖는 얼굴 이미지들을 동일 그룹으로 그룹화한다.
단계 S1302에서, 얼굴 이미지 분류 장치는, 각 그룹별로 얼굴 이미지 간의 단위 유사도 맵을 생성한다. 단계 S1303에서, 얼굴 이미지 분류 장치는, 그룹화하기 전에 얼굴 이미지들의 전체 유사도 맵의 전체 중앙값 보다 큰 전체 중앙값을 갖는 단위 유사도 맵의 그룹이 존재하는지 확인한다. 만약 있으면, 단계 S1304에서, 얼굴 이미지 분류 장치는, 해당 그룹을 정탐 후보에서 제외한다.
한편, 단계 S1305에서, 얼굴 이미지 분류 장치는, 환경 메타데이터를 기준으로 얼굴 이미지들을 그룹화할 때 환경 메타데이터가 일치하지 않아 그룹화되지 않은 얼굴 이미지가 있는 경우, 그룹화되지 않은 얼굴 이미지를 환경 메타데이터가 일부 동일한 그룹에 추가시켜 유사도 맵을 확장하고, 그 확장된 유사도 맵에서의 해당 얼굴 이미지의 유사도 중앙값과, 상기 전체 유사도 맵의 전체 중앙값 간의 비교 결과에 따라, 해당 얼굴 이미지의 그룹 내 유지 여부를 결정한다. 구체적으로, 얼굴 이미지 분류 장치는, 추가한 얼굴 이미지의 유사도 중앙값이, 전체 유사도 맵의 전체 중앙값보다 작으면 해당 얼굴 이미지를 그룹에 유지하고 전체 유사도 맵의 전체 중앙값보다 크면 그룹에서 제외한다.
이상의 도 13을 참조하여 설명한 실시예와 같이 정탐 분석을 하게 되면, 보다 정확하게 인물별로 얼굴 이미지를 분류할 수 있다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100, 800 : 얼굴 이미지 분류 장치
110 : 저장부
120 : 유사도 산출부
130 : 1차 선정부
140 : 기준 선정부
150 : 2차 선정부
810 : 수집부
820 : 그룹화부
811 : 수신부
812 : 얼굴 추출부
813 : 전처리부

Claims (17)

  1. 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치에 있어서,
    상기 복수의 얼굴 이미지 간의 유사도를 산출하여 전체 유사도 맵을 생성하는 유사도 산출부;
    상기 전체 유사도 맵에서 전체 중앙값보다 큰 유사도 중앙값을 갖는 얼굴 이미지를 오탐 후보로 선정하고 나머지 얼굴 이미지를 정탐 후보로 선정하는 1차 선정부;
    각 얼굴 이미지의 유사도 중앙값에 기초하여 제 1 정탐 기준 얼굴 이미지와 제 2 정탐 기준 얼굴 이미지를 선정하는 기준 선정부; 및
    상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지 또는 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정의 정탐 이동 조건을 만족하는 얼굴 이미지를 정탐 후보로 선정하는 2차 선정부를 포함하는 장치.
  2. 제 1 항에 있어서,
    상기 기준 선정부는,
    상기 복수의 얼굴 이미지 중 가장 작은 유사도 중앙값을 갖는 얼굴 이미지를 제 1 정탐 기준 얼굴 이미지로 선정하고 가장 큰 유사도 중앙값을 갖는 얼굴 이미지를 제 2 정탐 기준 얼굴 이미지로 선정하는 것을 특징으로 하는 장치.
  3. 제 1 항에 있어서,
    상기 2차 선정부는,
    상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지와의 유사도가 상기 전체 중앙값보다 작은 얼굴 이미지를 정탐 후보로 선정하는 것을 특징으로 하는 장치.
  4. 제 1 항에 있어서,
    상기 2차 선정부는,
    상기 오탐 후보의 얼굴 이미지 중에서 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정 값 이상인 얼굴 이미지를 정탐 후보로 선정하는 것을 특징으로 하는 장치.
  5. 제 4 항에 있어서,
    상기 소정 값은,
    상기 전체 중앙값과 상기 제 2 정탐 기준 얼굴 이미지의 유사도 중앙값의 평균 또는 1 중 하나인 것을 특징으로 하는 장치.
  6. 제 1 항에 있어서,
    상기 복수의 얼굴 이미지 및 각 얼굴 이미지의 환경 메타데이터를 수집하는 수집부; 및
    상기 환경 메타데이터를 기초로 상기 정탐 후보의 얼굴 이미지들을 그룹화하는 그룹화부를 더 포함하는 것을 특징으로 하는 장치.
  7. 제 6 항에 있어서,
    상기 그룹화부는,
    각 그룹별로 얼굴 이미지 간의 유사도 맵을 생성하고, 상기 전체 유사도 맵의 전체 중앙값보다 큰 전체 중앙값을 갖는 유사도 맵의 그룹을 정탐 후보에서 제외하는 것을 특징으로 하는 장치.
  8. 제 7 항에 있어서,
    상기 그룹화부는,
    그룹화되지 않은 얼굴 이미지를 환경 메타데이터가 일부 동일한 그룹에 포함시켜 유사도 맵을 확장하고, 그 확장된 유사도 맵에서의 해당 얼굴 이미지의 유사도 중앙값과, 상기 전체 유사도 맵의 전체 중앙값 간의 비교 결과에 따라, 해당 얼굴 이미지의 그룹 내 유지 여부를 결정하는 것을 특징으로 하는 장치.
  9. 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 방법에 있어서,
    상기 복수의 얼굴 이미지 간의 유사도를 산출하여 전체 유사도 맵을 생성하는 단계;
    상기 전체 유사도 맵에서 전체 중앙값보다 큰 유사도 중앙값을 갖는 얼굴 이미지를 오탐 후보로 선정하고 나머지 얼굴 이미지를 정탐 후보로 선정하는 단계;
    각 얼굴 이미지의 유사도 중앙값에 기초하여 제 1 정탐 기준 얼굴 이미지와 제 2 정탐 기준 얼굴 이미지를 선정하는 단계; 및
    상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지 또는 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정의 정탐 이동 조건을 만족하는 얼굴 이미지를 정탐 후보로 선정하는 단계를 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 제 2 정탐 기준 얼굴 이미지를 선정하는 단계는,
    상기 복수의 얼굴 이미지 중 가장 작은 유사도 중앙값을 갖는 얼굴 이미지를 제 1 정탐 기준 얼굴 이미지로 선정하고 가장 큰 유사도 중앙값을 갖는 얼굴 이미지를 제 2 정탐 기준 얼굴 이미지로 선정하는 것을 특징으로 하는 방법.
  11. 제 9 항에 있어서,
    상기 정탐 후보로 선정하는 단계는,
    상기 오탐 후보의 얼굴 이미지 중에서 상기 제 1 정탐 기준 얼굴 이미지와의 유사도가 상기 전체 중앙값보다 작은 얼굴 이미지를 정탐 후보로 선정하는 것을 특징으로 하는 방법.
  12. 제 9 항에 있어서,
    상기 정탐 후보로 선정하는 단계는,
    상기 오탐 후보의 얼굴 이미지 중에서 상기 제 2 정탐 기준 얼굴 이미지와의 유사도가 소정 값 이상인 얼굴 이미지를 정탐 후보로 선정하는 것을 특징으로 하는 방법.
  13. 제 12 항에 있어서,
    상기 소정 값은,
    상기 전체 중앙값과 상기 제 2 정탐 기준 얼굴 이미지의 유사도 중앙값의 평균 또는 1 중 하나인 것을 특징으로 하는 방법.
  14. 제 9 항에 있어서,
    상기 복수의 얼굴 이미지 각각의 환경 메타데이터를 수집하는 단계;
    상기 환경 메타데이터를 기초로 상기 정탐 후보의 얼굴 이미지들을 그룹화하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 제 14 항에 있어서,
    각 그룹별로 얼굴 이미지 간의 유사도 맵을 생성하고, 상기 전체 유사도 맵의 전체 중앙값보다 큰 전체 중앙값을 갖는 유사도 맵의 그룹을 정탐 후보에서 제외하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  16. 제 15 항에 있어서,
    그룹화되지 않은 얼굴 이미지를 환경 메타데이터가 일부 동일한 그룹에 포함시켜 유사도 맵을 확장하고, 그 확장된 유사도 맵에서의 해당 얼굴 이미지의 유사도 중앙값과, 상기 전체 유사도 맵의 전체 중앙값 간의 비교 결과에 따라, 해당 얼굴 이미지의 그룹 내 유지 여부를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  17. 제 9 항 내지 제 16 항 중 어느 한 항에 따른 방법을 컴퓨터 시스템을 통해 실행하는 컴퓨터 프로그램으로서 기록매체에 기록된 컴퓨터 프로그램.
KR1020190145227A 2019-11-13 2019-11-13 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치 및 방법 KR20210058134A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190145227A KR20210058134A (ko) 2019-11-13 2019-11-13 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190145227A KR20210058134A (ko) 2019-11-13 2019-11-13 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210058134A true KR20210058134A (ko) 2021-05-24

Family

ID=76152714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145227A KR20210058134A (ko) 2019-11-13 2019-11-13 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210058134A (ko)

Similar Documents

Publication Publication Date Title
Leng et al. A survey of open-world person re-identification
CN110609920B (zh) 一种视频监控场景下的行人混合搜索方法及系统
CN107545241B (zh) 神经网络模型训练及活体检测方法、装置及存储介质
WO2020125216A1 (zh) 一种行人重识别方法、装置、电子设备及计算机可读存储介质
CN102902959B (zh) 基于二代身份证存储证件照的人脸识别方法及系统
CN107251045B (zh) 物体识别装置、物体识别方法及计算机可读存储介质
Zhao et al. Hi-Fi: Hierarchical feature integration for skeleton detection
CN104978567B (zh) 基于场景分类的车辆检测方法
US10606824B1 (en) Update service in a distributed environment
Lee et al. Place recognition using straight lines for vision-based SLAM
US10719735B2 (en) Information processing method, information processing device and video surveillance system
WO2020155790A1 (zh) 理赔信息提取方法和装置、电子设备
US11023713B2 (en) Suspiciousness degree estimation model generation device
CN112149538A (zh) 一种基于多任务学习的行人重识别方法
CN113158777A (zh) 质量评分方法、质量评分模型的训练方法及相关装置
CN116311063A (zh) 监控视频下基于人脸识别的人员细粒度跟踪方法及系统
WO2023019927A1 (zh) 一种人脸识别方法、装置、存储介质及电子设备
CN103745223A (zh) 一种人脸检测方法及装置
CN111241987A (zh) 基于代价敏感的三支决策的多目标模型视觉追踪方法
Špaňhel et al. Vehicle fine-grained recognition based on convolutional neural networks for real-world applications
KR20210058134A (ko) 복수의 얼굴 이미지에서 동일한 사람의 얼굴 이미지를 분류하는 장치 및 방법
KR102656084B1 (ko) 이동경로 기반 객체 매핑 방법 및 장치
JP6244887B2 (ja) 情報処理装置、画像探索方法、及びプログラム
JP4838272B2 (ja) 映像インデキシング装置，映像インデキシング方法，映像インデキシングプログラムおよびその記録媒体
CN112651996A (zh) 目标检测跟踪方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination