KR20120140184A - 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법 - Google Patents

얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법 Download PDF

Info

Publication number
KR20120140184A
KR20120140184A KR1020120023338A KR20120023338A KR20120140184A KR 20120140184 A KR20120140184 A KR 20120140184A KR 1020120023338 A KR1020120023338 A KR 1020120023338A KR 20120023338 A KR20120023338 A KR 20120023338A KR 20120140184 A KR20120140184 A KR 20120140184A
Authority
KR
South Korea
Prior art keywords
unit
search result
face
search
image
Prior art date
Application number
KR1020120023338A
Other languages
English (en)
Other versions
KR101390591B1 (ko
Inventor
히로오 사이또
히로시 스께가와
오사무 야마구찌
도시오 사또
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20120140184A publication Critical patent/KR20120140184A/ko
Application granted granted Critical
Publication of KR101390591B1 publication Critical patent/KR101390591B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시 형태에 따른 얼굴 화상 검색 시스템은, 미리 복수의 얼굴 특징을 데이터베이스로서 기억하는 기억부와, 화상 데이터를 수신하는 화상 수신부와, 상기 화상 수신부에 의해 수신한 상기 화상 데이터로부터 얼굴 화상을 검출하는 얼굴 검출부와, 상기 얼굴 검출부에 의해 검출된 상기 얼굴 화상으로부터 얼굴 특징을 추출하는 특징 추출부와, 상기 특징 추출부에 의해 추출된 상기 얼굴 특징과, 상기 데이터베이스에 포함되어 있는 상기 얼굴 특징과의 유사도를 산출하고, 산출한 유사도에 기초하여 검색 결과를 출력하는 검색부와, 상기 검색부에 의해 출력된 상기 검색 결과의 양을 계측하는 계측부와, 상기 계측부에 의해 계측된 상기 검색 결과량이 미리 설정된 임계값 이상인 경우, 상기 검색부에 의해 출력된 상기 검색 결과를 선별하는 선별부와, 상기 선별부에 의해 선별된 상기 검색 결과에 기초하여 검색 결과 화면을 생성하는 표시 제어부와, 상기 표시 제어부에 의해 생성된 상기 검색 결과 화면을 출력하는 출력부를 포함한다.

Description

얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법{FACIAL IMAGE SEARCH SYSTEM AND FACIAL IMAGE SEARCH METHOD}
본 출원은 2011년 6월 20일에 출원된 일본 특허 출원 제2011-136355호에 기초한 것으로서, 그 우선권을 주장하며, 그 전체 내용이 본 명세서에서 참조로서 인용된다.
본 발명은, 얼굴 화상 검색 시스템, 및 얼굴 화상 검색 방법에 관한 것이다.
복수 지점에 설치된 복수의 카메라에 의해 취득된 화상 중에서 얼굴 화상을 검출하고, 이 얼굴 화상을 데이터베이스로부터 검색하는 얼굴 화상 검색 시스템이 있다. 얼굴 화상 검색 시스템은, 카메라에 의해 취득한 화상, 또는, 기록 장치에 축적된 화상 등 중에서 얼굴 화상을 검출하고, 데이터베이스에 축적한다.
얼굴 화상 검색 시스템에 얼굴 화상을 공급하는 카메라의 수, 또는, 얼굴 화상 검색 시스템의 데이터베이스 내의 정보량이 증가한 경우, 얼굴 화상 검색 시스템이 출력하는 검색 결과가 증가한다. 이 때문에, 얼굴 화상 검색 시스템의 감시자의 부담이 커질 가능성이 있다. 이에 의해, 얼굴 화상 검색 시스템의 감시자에 의한 확인 작업이 늦어질 가능성이 있다고 하는 과제가 있다.
도 1은 실시예에 따른 얼굴 화상 검색 시스템을 설명하기 위한 예시도.
도 2는 실시예에 따른 얼굴 화상 검색 시스템을 설명하기 위한 예시도.
도 3은 실시예에 따른 얼굴 화상 검색 시스템을 설명하기 위한 예시도.
도 4은 실시예에 따른 얼굴 화상 검색 시스템을 설명하기 위한 예시도.
도 5는 실시예에 따른 얼굴 화상 검색 시스템을 설명하기 위한 예시도.
도 6은 실시예에 따른 얼굴 화상 검색 시스템을 설명하기 위한 예시도.
이하, 도면을 참조하면서, 일 실시 형태에 따른 얼굴 화상 검색 시스템, 및 얼굴 화상 검색 방법에 대하여 상세하게 설명한다.
도 1은, 일 실시 형태에 따른 얼굴 화상 검색 시스템(100)의 예를 나타낸다.
얼굴 화상 검색 시스템(100)은, 화상을 취득하는 카메라(10), 클라이언트(20), 검색 서버(30), 및 표시 장치(40) 등을 포함한다. 또한, 도 1에서는, 얼굴 화상 검색 시스템(100)은, 복수의 카메라(10A 내지 10N), 복수의 클라이언트(20A 내지 20N), 복수의 검색 서버(30A 내지 30N), 및 복수의 표시 장치(40A 내지 40N)를 포함하는 예가 도시되어 있다.
카메라(10), 클라이언트(20), 검색 서버(30), 및 표시 장치(40)는, 각각 서로 LAN, 공중 회선, 또는 다른 데이터 통신이 가능한 네트워크 등에 의해 서로 접속되어 있다. 이에 의해, 카메라(10), 클라이언트(20), 검색 서버(30), 및 표시 장치(40)는, 서로 데이터 통신을 행할 수 있다.
카메라(10)는, 소정의 범위로부터 광을 수광하고, 화상을 취득한다. 예를 들면, 카메라(10A 내지 10N)는, 각각 서로 다른 지점에 설치된다. 이에 의해, 카메라(10)는, 각각의 지점에 존재하는 인물의 화상을 취득할 수 있다. 카메라(10)는, 예를 들면 industrial television(ITV) 카메라 등을 포함한다. ITV 카메라는, 렌즈에 의해 수광되는 광에 기초하여 전기 신호를 생성하고, 전기 신호를 아날로그 디지털(A/D) 변환기에 의해 디지탈화하고, 화상 데이터로서 출력한다. 이에 의해, 카메라(10)는, 클라이언트(20)에 화상 데이터를 출력할 수 있다.
클라이언트(20)는, 카메라(10)로부터 출력된 화상 데이터에 기초하여 얼굴 화상(얼굴 화상 데이터)을 검출한다. 또한, 얼굴 화상을 검출하는 방법에 대해서는 후술한다.
또한, 클라이언트(20)는, 검출된 얼굴 화상 데이터에 기초하여, 인물의 얼굴 특징(facial feature)을 추출한다. 또한, 클라이언트(20)는, 얼굴 화상 데이터, 또는 얼굴 특징에 기초하여, 인물의 속성을 판별한다. 클라이언트(20)는, 판별한 속성에 기초하여, 속성을 나타내는 속성 정보를 생성한다. 클라이언트(20)는, 검색 서버(30)에 얼굴 화상 데이터, 얼굴 특징, 및 속성 정보를 1개의 인물 정보(personal data)로서 출력한다.
검색 서버(30)는, 클라이언트(20)로부터 출력된 인물 정보를 저장한다. 검색 서버(30)는, 복수의 인물 정보를 포함하는 데이터베이스를 구축한다. 또한, 검색 서버(30)는, 이미 데이터베이스에 등록되어 있는 인물 정보에 포함되어 있는 얼굴 특징과, 클라이언트(20)로부터 출력된 인물 정보에 포함되어 있는 얼굴 특징과의 유사도를 산출함으로써, 인물 검색을 행한다. 검색 서버(30)는, 예를 들면, 검색 결과를 표시 장치(40) 등에 표시함으로써, 특정한 인물의 과거 액세스를 얼굴 화상 검색 시스템(100)의 감시자에게 통지할 수 있다.
이에 의해, 얼굴 화상 검색 시스템(100)은, 얼굴 화상을 이용해서, 데이터베이스 중의 인물 정보를 특정할 수 있다. 이 결과, 얼굴 화상 검색 시스템(100)은, 예를 들면, 고객 데이터 중에서 특정한 인물을 찾거나, 또는 수상한 사람의 데이터베이스로부터 해당자를 찾는 것 등을 실현할 수 있다. 또한, 얼굴 화상 검색 시스템(100)은, ID증의 갱신 시의 본인 확인, 또는 ID증의 신규 발행 시의 이중 발행의 방지 등에 이용할 수 있다.
도 2는, 일 실시 형태에 따른 얼굴 화상 검색 시스템(100)의 보다 구체적인 예를 도시한다. 도 2는, 예를 들면, 얼굴 화상 검색 시스템(100)의 기능을 블록으로서 도시한다.
도 2에 도시된 바와 같이, 얼굴 화상 검색 시스템(100)은, 화상 수신부(110), 얼굴 검출부(120), 특징 추출부(130), 검색부(140), 인물 정보 기억부(141), 계측부(150), 선별부(160), 표시 제어부(170), 및 출력부(180)를 포함한다.
또한, 화상 수신부(110), 얼굴 검출부(120), 및 특징 추출부(130)는, 예를 들면 도 1에 의해 도시된 클라이언트(20)가 포함한다. 또한, 도 1에 의해 도시된 네트워크에 접속된 또 다른 모듈이 상기 기능 블록을 포함하는 구성이어도 된다. 또한, 얼굴 화상 검색 시스템(100)은, 상기 각 블록을 복수 포함하는 구성이어도 된다. 즉, 얼굴 화상 검색 시스템(100)의 각 블록의 수는, 얼굴 화상 검색 시스템(100)의 입출력의 수에 따라 임의로 증가시킬 수 있다.
화상 수신부(110)는, 카메라(10)로부터 화상 데이터를 수신한다. 화상 수신부(110)는, 수신한 화상 데이터를 얼굴 검출부(120)로 송신한다. 또한, 화상 수신부(110)는, 카메라(10) 대신에 디지털 비디오 레코더(DVR) 등의 영상을 기록하는 기억 장치, 또는 메모리 등에 기록되어 있는 화상 데이터를 수신하는 구성이어도 된다. 또한, 화상 수신부(110)는, 아날로그의 영상 신호(화상)를 수신하고, 수신한 아날로그 영상 신호를 아날로그 디지털 변환하고, 변환된 디지털의 화상 데이터를 얼굴 검출부(120)로 송신하는 구성이어도 된다.
얼굴 검출부(120)는, 화상 수신부(110)로부터 송신된 화상 데이터에 기초하여, 인물의 얼굴이 찍혀져 있는 영역(얼굴 영역)의 화상(얼굴 화상)을 검출한다. 얼굴 검출부(120)는, 검출한 얼굴 화상을 특징 추출부(130)로 송신한다.
얼굴 검출부(120)는, 예를 들면, 화상 데이터 내를 미리 준비된 템플릿을 이동시키면서 상관값을 산출한다. 얼굴 검출부(120)는, 가장 높은 상관값이 산출된 영역을 얼굴 영역으로 특정한다. 이에 의해, 얼굴 검출부(120)는, 화상 데이터 내의 인물의 얼굴이 투영하고 있는 얼굴 영역의 얼굴 화상을 검출할 수 있다.
또한, 얼굴 검출부(120)는, 고유 공간법(eigen space method), 또는 부분 공간법(subspace method) 등을 이용하여 얼굴 영역을 검출하는 구성이어도 된다. 또한, 얼굴 검출부(120)는, 화상 데이터 중에서 눈, 코 등의 얼굴 부위의 위치를 검출함으로써, 얼굴 영역을 검출하는 구성이어도 된다.
또한, 얼굴 검출부(120)는, 1매의 화상 중에서 1개의 얼굴 영역(얼굴 특징)을 검출하는 경우, 전체 화상에 대하여 템플릿과의 상관값을 구하여 최대로 되는 위치와 크기를 출력한다. 또한, 얼굴 검출부(120)는, 1매의 화상 중에서 복수의 얼굴 특징을 검출하는 경우, 화상 전체에 대한 상관값의 국소 최대값을 구하고, 1매의 화상 내에서의 겹침을 고려하여 얼굴의 후보 위치를 좁힌다. 또한, 얼굴 검출부(120)는, 연속해서 입력된 과거의 화상과의 관계성(시간적인 추이)을 고려하여, 최종적으로 복수의 얼굴 화상을 동시에 검출할 수 있다.
또한, 얼굴 검출부(120)는, 인물이 마스크, 선글라스, 또는 모자 등을 착용하고 있는 경우에도 얼굴 영역을 검출할 수 있도록, 미리 인물이 마스크, 선글라스, 또는 모자 등을 착용하고 있는 경우의 얼굴 패턴을 템플릿으로 해서 기억해 두는 구성이어도 된다.
또한, 얼굴 검출부(120)는, 얼굴의 특징점의 검출을 할 때에, 얼굴의 특징점의 모든 점을 검출할 수 없는 경우, 일부의 얼굴 특징점의 평가값에 기초하여 처리를 행한다. 즉, 얼굴 검출부(120)는, 일부의 얼굴 특징점의 평가값이 미리 설정되는 기준값 이상인 경우, 이차원 평면, 또는 삼차원적인 얼굴의 모델을 이용하여 검출된 특징점으로부터 나머지의 특징점을 추측할 수 있다.
또한, 특징점이 전혀 검출되지 않은 경우, 얼굴 검출부(120)는, 얼굴 전체의 패턴을 미리 학습함으로써, 얼굴 전체의 위치를 검출하고, 얼굴 전체의 위치로부터 얼굴 특징점을 추측할 수 있다.
또한, 카메라(10)가 감시 카메라 등인 경우, 연속한 프레임에 걸쳐 동일 인물이 찍혀져 있을 가능성이 높다. 따라서, 얼굴 검출부(120)는, 인물이 보통으로 보행하고 있는 경우에 연속하는 프레임에서 어느 부근으로 이동할지의 통계 정보를 바탕으로 확률을 산출하고, 가장 확률이 높아지는 조합을 선택하여 연속해서 검출된 얼굴 영역의 대응지음을 행할 수 있다. 이에 의해, 얼굴 검출부(120)는, 복수의 프레임 사이에 동일 인물이 옮겨져 있는 신으로부터 1개의 얼굴 영역을 검출할 수 있다.
또한, 얼굴 검출부(120)는, 카메라(10)에서의 프레임 레이트가 높은 경우, 옵티컬플로우를 이용하는 등으로 해서 프레임 사이에서의 얼굴 영역을 대응지음으로써, 복수의 프레임 사이에 동일 인물이 옮겨져 있는 신으로부터 1개의 얼굴 영역을 검출할 수 있다.
또한, 얼굴 검출부(120)는, 예를 들면, 인물의 전신의 영역을 검출하는 구성이어도 된다. 얼굴 검출부(120)는, 예를 들면, 인물이 존재하는 경우의 휘도 구배 정보의 분포가 어떻게 나타날지를 복수의 국소 영역에서의 공기성을 이용하여 구한다. 인물이 존재하고 있는 경우, 얼굴 검출부(120)는, 그 인물이 찍혀져 있는 영역을 구형 정보로서 산출한다. 얼굴 검출부(120)는, 이 검출 결과에 기초하여, 이 인물의 얼굴이 투영하고 있는 얼굴 영역을 추정하고, 얼굴 화상을 검출한다. 또한, 얼굴 검출부(120)는, 상기 구형 정보에 기초하여, 인물의 신장 등을 계측하는 구성이어도 된다.
특징 추출부(130)는, 얼굴 검출부(120)로부터 송신된 얼굴 화상에 기초하여 얼굴 특징(facial feature)을 추출한다. 얼굴 특징은, 개인을 식별하기 위한 특징 정보이다. 특징 추출부(130)는, 예를 들면, 부분 공간법(subspace method) 등을 이용함으로써 얼굴 특징을 산출할 수 있다. 특징 추출부(130)는, 추출한 얼굴 특징을 검색부(140)로 송신한다.
특징 추출부(130)는, 예를 들면 얼굴 화상의 농담 정보를 얼굴 특징으로서 추출한다. 특징 추출부(130)는, m 픽셀×n 픽셀 영역의 농담값을 m×n차원의 특징 벡터로서 추출한다. 즉, 특징 추출부(130)는, 단순 유사도법이라고 하는 방법을 이용함으로써, 벡터와 벡터의 길이를 각각 1로 하도록 정규화를 행하고, 내적을 계산한다. 이에 의해, 특징 추출부(130)는, 특징 벡터간 유사성을 나타내는 유사도를 산출할 수 있다.
또한, 특징 추출부(130)는, 얼굴 화상에 대하여 미리 설정된 모델을 이용함으로써, 얼굴의 방향, 및 상태 등을 의도적으로 변동시킨 화상을 작성하고, 이 화상에 기초하여 얼굴 특징을 추출할 수도 있다.
또한, 특징 추출부(130)는, 상기한 바와 같이 카메라(10)에 의해 연속해서 촬상된 복수의 얼굴 화상에 기초하여, 보다 높은 정밀도로 얼굴 특징을 추출할 수도 있다. 예를 들면, 특징 추출부(130)는, 문헌(후쿠이 가즈히로, 야마구치 오사무, 마에다 겐이치: 「동화상을 이용한 얼굴 인식 시스템」 전자 정보 통신 학회 연구 보고 PRMU, vol97, N0.113, pp17-24(1997))을 이용한다. 이 경우, 특징 추출부(130)는, 예를 들면, 상호 부분 공간법(mutual subspace method)을 이용함으로써, 얼굴 특징을 추출할 수 있다. 즉, 특징 추출부(130)는, 얼굴 화상의 특징 벡터의 상관 행렬을 산출하고, 산출한 행렬을 K-L 전개(KL expansion)함으로써, 고유 벡터(eigen vector)를 구한다. 이에 의해, 특징 추출부(130)는, 연속한 화상으로부터 얻어지는 얼굴의 특징을 나타내는 부분 공간을 계산한다.
부분 공간은, 고유값이 큰 순으로 선택된 k개의 고유 벡터의 집합에 의해 표현할 수 있다. 본 실시예에서는, 상관 행렬 Cd를 특징 벡터로부터 산출하고, Cd=Φd×Δd×Φd×T로 대각화하여, 고유 벡터의 행렬 Φ를 산출한다.
또한, 특징 추출부(130)는, 얼굴 화상 데이터, 또는 얼굴 특징에 기초하여, 인물의 속성을 판별한다. 특징 추출부(130)는, 판별한 속성에 기초하여, 속성을 나타내는 속성 정보를 생성한다. 특징 추출부(130)는, 검색부(140)에 얼굴 화상 데이터, 얼굴 특징, 및 속성 정보를 1개의 인물 정보로서 출력한다.
특징 추출부(130)는, 예를 들면, 「연령」, 「성별」, 「안경의 유무」, 「모자의 유무」, 「마스크의 유무」 등의 속성을 판별한다. 또한, 특징 추출부(130)는, 또 다른 속성을 판별하는 구성이어도 된다. 다른 속성의 예는, 예를 들면, 복장, 표정, 비만도, 유복도, 얼굴의 장식품 유무, 인종, 등이 있다.
예를 들면, 연령 및 성별 등의 속성을 판별하는 경우, 특징 추출부(130)는, 연령, 및 성별 각각에 적합한 전처리를 행함으로써, 높은 정밀도로 속성을 판별할 수 있다.
통상, 인물의 얼굴은, 연령이 높아질수록 주름이 늘어난다. 따라서, 특징 추출부(130)는, 예를 들면, 주름을 강조하는 선분 강조 필터를 얼굴 특징에 대하여 중첩함으로써, 인물의 연령을 판별할 수 있다.
또한, 특징 추출부(130)는, 성별 특유의 부위(예를 들면 수염 등)가 강조되는 주파수 성분을 강조하는 필터, 또는, 골격 정보가 강조되는 것 같은 필터를 얼굴 특징에 대하여 중첩한다. 이에 의해, 특징 추출부(130)는, 인물의 성별을 판별할 수 있다.
예를 들면, 특징 추출부(130)는, 성별을 판별하는 경우, 판별 결과로서 성별도를 나타내는 하나의 수치를 산출한다. 특징 추출부(130)는,이 수치와, 미리 설정되는 기준값에 기초하여, 남녀를 판별한다. 그러나, 기준값에 가까운 값이 산출된 경우, 특징 추출부(130)는, 성별을 불명이라고 판별한다.
또한, 특징 추출부(130)는, 예를 들면, 얼굴 검출 처리에 의해 구해진 얼굴 부위의 위치 정보로부터 눈, 눈꼬리, 또는 눈구석의 위치를 특정한다. 이에 의해, 특징 추출부(130)는, 양 눈 부근의 화상을 잘라내고, 잘라낸 화상을 부분 공간의 계산 대칭으로 함으로써, 안경의 유무를 판별할 수 있다.
또한, 특징 추출부(130)는, 예를 들면, 얼굴 검출 처리에 의해 구해진 얼굴의 부위의 위치 정보로부터 입과 코의 위치를 특정한다. 이에 의해, 특징 추출부(130)는, 특정한 입과 코의 위치의 화상을 잘라내고, 잘라낸 화상을 부분 공간의 계산 대칭으로 함으로써, 마스크의 유무를 판별할 수 있다.
또한, 특징 추출부(130)는, 예를 들면, 얼굴 검출 처리에 의해 구해진 얼굴의 부위의 위치 정보로부터 눈, 및 눈썹의 위치를 특정한다. 이에 의해, 특징 추출부(130)는, 얼굴의 피부 영역의 상단부를 특정할 수 있다. 또한, 특징 추출부(130)는, 특정한 얼굴의 헤드부 영역의 화상을 잘라내고, 잘라낸 화상을 부분 공간의 계산 대칭으로 함으로써, 모자의 유무를 판별할 수 있다.
상기한 바와 같이, 특징 추출부(130)는, 얼굴 특징 또는 얼굴 화상에 기초하여, 연령, 성별, 안경의 유무, 마스크의 유무, 및 모자의 유무 등의 속성을 판별할 수 있다. 즉, 특징 추출부(130)는, 얼굴의 위치로부터 추정 가능한 위치에 존재하는 속성이면 어떠한 물건이든 특징 정보를 추출할 수 있다.
또한, 인물이 착용하고 있는 착용물을 직접 검출하는 알고리즘도 일반적으로 실용화되고 있다. 특징 추출부(130)는, 그러한 방법을 이용함으로써 속성을 판별하는 구성이어도 된다. 또한, 예를 들면, 특징 추출부(130)는, 안경의 종류, 마스크의 종류, 모자의 종류, 수염, 점, 주름, 상처, 머리 모양, 머리카락 색, 옷색, 옷의 형태, 모자, 장식품, 얼굴 부근의 착용물, 표정, 유복도, 및 인종 등의 속성을 더 판별하는 구성이어도 된다.
검색부(140) 및 인물 정보 기억부(141)는, 예를 들면, 도 1에 의해 도시된 검색 서버(30)가 포함하는 구성이다. 그러나, 인물 정보 기억부(141)와, 검색부(140)는, 각각 개별로 구성된 모듈이어도 된다. 또한, 얼굴 화상 검색 시스템(100) 내에 설치되는 인물 정보 기억부(141) 및 검색부(140)의 수는, 어떤 수여도 된다.
인물 정보 기억부(141)는, 특징 추출부(130)로부터 송신된 인물 정보를 기억하는 메모리이다. 인물 정보 기억부(141)는, 예를 들면 도 3에 의해 도시된 바와 같이, 복수의 인물 정보를 데이터베이스로서 기억한다. 인물 정보 기억부(141)는, 예를 들면, 개인마다 ID, 얼굴 특징, 얼굴 화상, 요주의 플래그, 및 속성 등을 대응지어서 기억한다.
요주의 플래그는, 특히 우선해서 특정해야 할 인물인지의 여부를 나타내는 플래그이다. 요주의 플래그는, 임의의 조작 입력에 의해 설정된다.
속성은, 상기한 바와 같이, 예를 들면, 성별, 연령, 신장, 모자의 유무, 마스크의 유무, 안경의 유무 등이다. 또한, 인물 정보 기억부(141)가 기억하는 얼굴 특징은, 예를 들면 특징 추출부(130)에 의해 추출된 데이터이다. 즉, 인물 정보 기억부(141)는, m×n의 특징 벡터, 부분 공간, KL 전개를 행하기 직전의 상관 행렬 등 중 어느 하나, 또는 복수를 기억한다.
또한, 이 실시예에서는, 1개의 인물 정보 기억부(141)와, 1개의 검색부(140)가 대응하는 예를 나타낸다. 그러나, 얼굴 화상 검색 시스템(100)은, 1개의 인물 정보 기억부(141)와, 복수의 검색부(140)가 대응하는 구성이어도 된다. 또한, 얼굴 화상 검색 시스템(100)은, 복수의 인물 정보 기억부(141)와, 1개의 검색부(140)가 대응하는 구성이어도 된다. 또한, 인물 정보 기억부(141)는, 속성마다 정보를 구분하여 기억하는 구성이어도 된다.
검색부(140)는, 특징 추출부(130)로부터 송신된 인물 정보에 포함되어 있는 얼굴 특징과, 인물 정보 기억부(141)에 기억되어 있는 인물 정보에 포함되어 있는 얼굴 특징과의 유사도를 산출한다. 검색부(140)는, 예를 들면, 특징 추출부(130)로부터 송신된 인물 정보에 포함되어 있는 얼굴 특징과, 인물 정보 기억부(141)에 기억되어 있는 복수의 인물 정보의 얼굴 특징에 기초하여 유사도를 산출하고, 산출한 유사도가 높은 인물 정보를 인물 정보 기억부(141)로부터 검색한다. 검색부(140)는, 검색 결과를 선별부(160)로 송신한다.
검색부(140)는, 예를 들면, 얼굴 특징으로서의 부분 공간의 유사도를 산출한다. 계산 방법은, 부분 공간법이나 복합 유사도법 등의 방법을 이용해도 된다. 이 방법을 이용함으로써, 검색부(140)는, 인물 정보 기억부(141)에 미리 축적된 데이터베이스 중의 인물 정보의 부분 공간과, 특징 추출부(130)에 의해 산출된 부분 공간이 이루는 「각도」를 유사도로서 산출한다. 검색부(140)는, 입력 데이터열에 대하여 상관 행렬 Cin을 산출한다. 검색부(140)는, Cin=ΦinΔinΦinT로 대각화하고, 고유 벡터 Φin을 산출한다. 검색부(140)는, Φin과 Φd로 나타내는 부분 공간의 부분 공간 유사도(0.0 내지 1.0)를 산출하고, 유사도로서 이용한다.
계측부(150)는, 화상 데이터로부터 검출된 얼굴 화상의 검색 처리의 양과, 얼굴 화상 검색 시스템(100)의 감시자의 부담을 계측한다.
계측부(150)는, 예를 들면, 단위 시간당 얼굴 검출수, 단위 시간당 검색 쿼리수, 단위 시간당 검색 결과수, 단위 시간당 소정의 임계값을 초과한 검색 결과수, 얼굴 화상 검색 시스템(100) 내의 장치의 CPU의 부하, 메모리 사용량, 및 네트워크 트래픽양 등의 지표에 기초하여, 검색 결과량을 계측한다.
계측부(150)는, 예를 들면, 단위 시간당 얼굴 검출수, 단위 시간당 검색 쿼리수, 단위 시간당 검색 결과수, 단위 시간당 소정의 임계값을 초과한 검색 결과수, 얼굴 화상 검색 시스템(100) 내의 장치의 CPU의 부하, 메모리 사용량, 및 네트워크 트래픽양 중 어느 하나, 또는 이들 중 복수가 인용된 함수 등에 기초하여, 검색 결과량을 계측한다.
계측부(150)는, 검색 결과량이, 미리 설정된 임계값을 초과한 경우, 선별부(160)로 경고를 송신한다. 또한, 이 임계값은, 임의로 설정된 값이어도 된다. 또한, 임계값은, 매시각, 매요일, 매일, 또는 매월로 설정된 값이어도 된다.
또한, 얼굴 화상 검색 시스템(100)은, 얼굴 화상 검색 시스템(100)의 감시자의 인원수, 표시 장치(40)에 표시된 검색 결과에 따른 조작 입력의 유무, 및 이 조작 입력에 필요한 시간 등에 기초하여, 상기한 임계값을 더 변동시키는 구성이어도 된다. 이에 의해, 얼굴 화상 검색 시스템(100)은, 감시자의 확인 작업의 효율을 측정하여, 이 효율에 적합한 표시를 행할 수 있다.
선별부(160) 및 설정부(161)는, 예를 들면, 도 1에 의해 도시된 검색 서버(30)가 포함하는 구성이다. 그러나, 선별부(160) 및 설정부(161)는, 각각 개별로 구성된 모듈이어도 된다.
설정부(161)는, 선별부(160)에 의한 선별 처리에 이용되는 선별 조건을 생성하고, 기억한다. 설정부(161)는, 얼굴 화상 검색 시스템(100)의 감시자에 의한 조작 입력에 기초하여 조작 신호를 생성하는 조작부, 및 설정 화면 등을 표시하기 위한 표시부 등이 접속된다. 설정부(161)는, 설정 화면을 생성하고, 상기 표시부 등에 표시시킨다. 도 4는, 설정부(161)에 의해 생성된 설정 화면의 예를 도시한다.
설정 화면은, 「카메라」, 「자동/수동(자동 또는 수동)」, 「장소 우선도」, 「일시 우선도」, 「혼잡 우선도」, 및 「우선도의 순서」 등의 항목을 포함한다. 얼굴 화상 검색 시스템(100)은, 이들 설정에 기초하여, 검색부(140)에 의해 검색된 검색 결과를 선별한다.
「카메라」는, 설정 대상으로 되는 카메라(10)를 나타내는 항목이다. 즉, 도 3에 의해 도시되는 설정 항목은, 예를 들면, 도 1에 의해 도시되는 카메라(10)마다 설정되는 구성이어도 된다. 또한, 도 1에 의해 도시되는 모든 카메라(10)에 공통되게 설정(일괄 설정)되는 구성이어도 된다.
「자동/수동」은, 선별 조건을 자동으로 생성할 지의 여부를 설정하기 위한 항목이다. 「자동」이 선택된 경우, 설정부(161)는, 선별 조건을 자동적으로 생성한다. 예를 들면 m 설정부(161)는, 과거의 검색 결과의 히트수, 중요한 이벤트가 발생한 이력 등에 기초하여 선별 조건을 자동으로 생성한다.
또한, 「수동」이 선택된 경우, 설정부(161)는, 「장소 우선도」, 「일시 우선도」, 「혼잡 우선도」, 및 「우선도의 순서」 등의 항목과, 조작 입력에 기초하여, 선별 조건을 생성한다.
「장소 우선도」는, 카메라(10)가 설치되어 있는 장소에 기초하여 설정된 득점을 나타낸다. 이에 의해, 얼굴 화상 검색 시스템(100)은, 예를 들면 금고 부근 등의 시큐리티 레벨이 높은 장소를 우선시킬 수 있다.
「일시 우선도」는, 화상 데이터가 취득된 일시에 기초하여 설정된 득점이다. 이에 의해, 얼굴 화상 검색 시스템(100)은, 특정한 이벤트 개최일, 개최 시각, 또는 심야 등의 경계가 필요한 시각에 검출된 인물을 우선시킬 수 있다.
「혼잡 우선도」는, 카메라(10)가 설치되어 있는 장소의 혼잡도에 기초하여 결정된 득점이다. 이에 의해, 얼굴 화상 검색 시스템(100)은, 예를 들면 출입장 입구 등의 혼잡도가 높은 장소에서 취득된 화상 데이터에 기초하는 검색 결과를 우선하여 표시시킬 수 있다.
또한, 얼굴 화상 검색 시스템(100)은, 카메라(10)마다 혼잡도를 자동적으로 산출할 수 있다. 예를 들면, 얼굴 화상 검색 시스템(100)은, 얼굴 검출부(120)에 의해 검출된 얼굴 화상의 수에 기초하여 득점을 산출한다.
「우선도의 순서」는, 선별 처리에서, 우선도가 낮은 검색 결과와 우선도가 높은 검색 결과의 어느쪽을 우선하여 표시할지를 나타내는 항목이다. 예를 들면, 높은 우선도를 우선시키는 경우, 얼굴 화상 검색 시스템(100)은, 상기한 바와 같이, 시큐리티 레벨이 높은 장소, 경계가 필요한 시각, 또는 혼잡한 장소에서 취득된 화상 데이터에 기초하는 검색 결과를 우선시켜서 표시한다.
또한, 낮은 우선도를 우선시키는 경우, 얼굴 화상 검색 시스템(100)은, 혼잡도가 낮은 장소에서 취득된 화상 데이터에 기초하는 검색 결과를 우선하여 표시시킬 수 있다. 이에 의해, 얼굴 화상 검색 시스템(100)은, 통상, 사람이 출입하지 않는 장소에 인물이 입장한 것을 검출할 수 있다.
선별부(160)는, 검색부(140)로부터 송신된 복수의 검색 결과와, 설정부(161)에 의해 기억되어 있는 선별 조건에 기초하여 선별 처리를 행하고, 선별 처리의 결과를 표시 제어부(170)에 출력한다.
선별부(160)는, 계측부(150)로부터 경고를 수신한 경우, 선별 처리를 행한다. 이 경우, 선별부(160)는, 검색 결과마다 우선도를 산출한다. 선별부(160)는, 산출한 우선도의 대소와, 미리 설정된 표시 건수에 기초하여, 검색 결과를 선별한다. 선별부(160)는, 선별된 검색 결과와 우선도를 선별 결과로서 표시 제어부(170)로 송신한다.
선별부(160)는, 검색 결과와, 선별 조건에 기초하여 개별로 우선도를 산출한다. 우선도는, 예를 들면 0부터 100의 점수여도 되고, 확률값이어도 된다.
선별부(160)는, 예를 들면, 검색 결과에 따라, 선별 조건의 어느 하나의 항목에 착안하여, 득점을 산출하고, 산출한 득점에 기초하여 우선도를 산출한다. 즉, 선별부(160)는, 예를 들면, 「장소 우선도」, 「일시 우선도」, 및 「혼잡 우선도」 중 어느 하나에 기초하여 검색 결과마다 득점을 산출하고, 산출한 득점에 기초하여 우선도를 산출한다.
또한, 선별부(160)는, 예를 들면, 검색 결과에 따라, 선별 조건의 각 항목마다 득점을 산출하고, 산출한 득점을 적산함으로써 우선도를 산출하는 구성이어도 된다.
또한, 선별부(160)는, 검색 결과에 따라, 선별 조건의 각 항목마다 득점을 산출하고, 산출한 복수의 득점에 기초하여 벡터 거리를 산출하고, 산출한 벡터 거리를 우선도로서 이용하는 구성이어도 된다.
예를 들면, N개의 카메라(10)로부터 화상 데이터를 취득하는 구성인 경우, 선별부(160)는, 카메라 k(k=1, 2,,,,,, N)로부터 수신한 화상 데이터에 기초하는 검색 결과에 기초하여 산출한 n_k개의 득점의 벡터, 또는 스칼라를 p(1, k),,,,, p(n_k, k)로 한다. 이 경우, 선별부(160)는, 예를 들면
max{p(i, n_k)|k=1, 2, ..., N, i=1, 2, ..., n_k }
에 기초하여 우선도를 산출한다.
또한, 선별부(160)는, 예를 들면, 인물 정보 기억부(141)에 의해 기억되어 있는 데이터베이스에서, 요주의 플래그가 ON인 인물의 검색 결과를 우선하여 표시하는 구성이어도 된다. 예를 들면, 선별부(160)는, 검색부(140)로부터 수신한 검색 결과에서 요주의 플래그가 ON인 경우, 소정의 득점 또는 우선도를 가산할 수 있다. 이에 의해, 얼굴 화상 검색 시스템(100)은, 소정의 인물에 관한 검색 결과를 우선하여 표시시킬 수 있다.
또한, 선별부(160)는, 카메라(10)로부터 수신한 화상 데이터에 기초하여 이상한 행동이 검출된 경우, 검색 결과를 우선하여 표시하는 구성이어도 된다. 예를 들면, 얼굴 화상 검색 시스템(100)은, 카메라(10)로부터 연속해서 수신한 화상 데이터에 찍혀져 있는 인물의 시간적인 변화 등에 기초하여 이상 행동을 검출한다. 예를 들면, 얼굴 화상 검색 시스템(100)은, 연속하는 프레임 사이의 어떤 인물의 얼굴 영역의 이동 거리 등에 기초하여 이상 행동을 검출한다. 예를 들면, 선별부(160)는, 검색부(140)로부터 수신한 검색 결과에 있어서 이상 행동이 검출되어 있었을 경우, 소정의 득점 또는 우선도를 가산할 수 있다. 이에 의해, 얼굴 화상 검색 시스템(100)은, 이상 행동을 일으킨 인물에 관한 검색 결과를 우선하여 표시시킬 수 있다.
상기한 바와 같이, 선별부(160)는, 화상 데이터가 취득된 장소, 화상 데이터가 취득된 시각, 화상 데이터가 취득된 장소의 혼잡도, 화상 데이터가 취득되었을 때의 이상 행동의 유무, 및 검색 결과에서의 요주의 플래그의 유무 등에 기초하여 득점을 산출한다. 또한, 선별부(160)는, 검색 결과에서의 연령, 성별, 인종, 및 다양한 속성 중 1개 또는 복수에 기초하여 득점을 산출하는 구성이어도 된다.
표시 제어부(170)는, 선별부(160)로부터 수신한 선별 결과에 기초하여, 검색 결과를 표시 및 소거하는 타이밍을 결정짓는다. 또한, 표시 제어부(170)는, 순차적으로 검색 결과 화면을 생성하고, 출력부(180)로 송신한다. 표시 제어부(170)는, 예를 들면, 우선도에 기초하여 검색 결과를 표시하는 시간을 산출하고, 산출한 결과에 기초하여 검색 결과 화면을 생성한다.
예를 들면, 표시 제어부(170)는, 우선도가 높은 순으로 M개의 검색 결과를 r_1, ..., r_M으로 설정한다. 또한, 표시 제어부(170)는, 각 검색 결과의 표시 시간을 우선도가 높을수록 긴 시간이 되도록 t_1, ..., t_M이라고 결정짓는다. 또한, 표시 제어부(170)는, 각 검색 결과의 표시 시간이 미리 설정된 소정 시간 T보다 길어지도록 설정할 수도 있다. 또한, 표시 제어부(170)는, 자동 스크롤 속도를 제어함으로써, 표시 시간을 컨트롤하는 구성이어도 된다.
또한, 표시 제어부(170)는, 검색 결과의 표시 종료의 판정을 감시자의 확인 작업에 기초하여 행하는 구성이어도 된다. 즉, 표시 제어부(170)는, 우선도가 소정값 이상인 검색 결과를 표시하는 경우, 감시자에 의한 소정의 조작 입력이 입력될 때까지 상기 검색 결과를 표시하는 구성이어도 된다. 즉, 표시 제어부(170)는, 도시되지 않은 조작부로부터 소정의 조작 신호를 수취할 때까지의 동안에, 검색 결과를 검색 결과 화면에 표시시키도록 검색 결과 화면을 생성하는 구성이어도 된다.
예를 들면, 표시 제어부(170)는, 도 6에 의해 도시되는 검색 결과 화면을 생성한다. 도 6에 의해 도시된 바와 같이, 검색 결과 화면은, 입력 화상(화상 데이터)과, 얼굴 유사 후보자의 화상과, 얼굴 검색 결과를 표시한다.
입력 화상은, 각 카메라(10)로부터 수신한 화상 데이터가 시계열적으로 스크롤한다. 얼굴 유사 후보자로서 표시되어 있는 검색 결과는, 최상단의 입력 화상에 기초하는 검색 결과이다.
얼굴 유사 후보자는, 예를 들면, 상기의 선별 처리에 의해 선별된 검색 결과이다. 도 6은, 우선도가 높은 N개의 검색 결과가 표시되어 있다. 즉, 얼굴 유사 후보자로서 표시되어 있는 검색 결과는, 우선도가 높은 검색 결과이다.
얼굴 검색 결과는, 예를 들면, 상기의 선별 처리에 의해 선별되지 않았던 검색 결과이다. 도 6은, 선별 처리에 의해 선별되지 않았던 N개의 검색 결과가 표시되어 있다. 예를 들면, 표시 제어부(170)는, 얼굴 유사 후보자를 얼굴 검색 결과보다 긴 시간 표시하도록 검색 결과 화면을 생성한다.
표시 제어부(170)는, 얼굴 유사 후보자 및 얼굴 검색 결과의 화상 근방에, 산출한 유사도, 및 ID 등을 표시해도 된다. 또한, 표시 제어부(170)는, 입력 화상의 근방에 촬상 장소, 일시 등을 표시해도 된다.
또한, 표시 제어부(170)는, 얼굴 검출부(120)에 의해 얼굴 화상을 검출한 영역을 구형상의 프레임으로 둘러싸서 표시해도 된다. 이에 의해, 표시 제어부(170)는, 얼굴 화상 검색 시스템(100)의 감시자에 대하여 검출된 얼굴 영역을 통지할 수 있다.
또한, 이 검색 결과 화면에서 표시되는 얼굴 유사 후보자의 수는 임의로 설정할 수 있다. 또한, 얼굴 화상 검색 시스템(100)은, 미리 설정된 임계값 이상의 유사도가 산출된 경우, 알람 등의 소리를 이용해서, 얼굴 화상 검색 시스템(100)의 감시자에게 통지하는 구성이어도 된다.
출력부(180)는, 표시 제어부(170)에 의해 생성된 검색 결과 화면을 표시부(200)에 출력한다.
표시부(200)는, 영상 등의 화면을 표시하는 표시 장치를 포함한다. 표시부(200)는, 도 1에 도시된 네트워크에 접속되고, 출력부(180)로부터 출력되는 화면을 수취하고, 표시한다. 또한, 표시부(200)의 수는, 복수이어도 된다. 이 경우, 출력부(180)는, 검색 결과 화면을 원하는 표시부(200)에 출력한다.
도 6은, 얼굴 화상 검색 시스템(100)에 의해 실행되는 처리의 예를 도시한다.
화상 수신부(110)는, 카메라(10)로부터 화상 데이터를 수신한다(스텝 S11). 화상 수신부(110)는, 수신한 화상 데이터를 얼굴 검출부(120)로 송신한다.
얼굴 검출부(120)는, 화상 수신부(110)로부터 송신된 화상 데이터에 기초하여, 얼굴(얼굴 화상)을 검출한다(스텝 S12). 얼굴 검출부(120)는, 검출한 얼굴 화상을 특징 추출부(130)로 송신한다.
특징 추출부(130)는, 얼굴 검출부(120)로부터 송신된 얼굴 화상에 기초하여 얼굴 특징을 추출한다(스텝 S13). 또한, 특징 추출부(130)는, 추출한 얼굴 특징 또는 얼굴 화상에 기초하여, 속성을 판별해도 된다.
검색부(140)는, 추출된 얼굴 특징과, 인물 정보 기억부(141)에 기억되어 있는 인물 정보에 기초하여, 검색을 행한다(스텝 S14). 즉, 검색부(140)는, 추출된 얼굴 특징과, 인물 정보 기억부(141)에 기억되어 있는 인물 정보에 포함되어 있는 얼굴 특징과의 유사도를 산출한다.
또한, 계측부(150)는, 검색 결과량을 계측한다(스텝 S15). 계측부(150)는, 계측한 검색 결과량이, 미리 설정된 임계값 이상인지의 여부를 판정한다(스텝 S16).
계측한 검색 결과량이, 미리 설정된 임계값 이상인 경우, 선별부(160)는, 검색부에 의해 얻어진 검색 결과와, 미리 설정된 선별 조건에 기초하여, 검색 결과를 선별한다(스텝 S17). 예를 들면, 선별부(160)는, 검색 결과마다 우선도를 산출하고, 우선도의 상위 N개의 검색 결과를 선별 결과로서 출력한다.
표시 제어부(170)는, 선별 결과에 기초하여 검색 결과 화면을 생성한다(스텝 S18). 예를 들면, 표시 제어부(170)는, 산출된 우선도에 기초하여 각 검색 결과를 표시하는 표시 시간을 산출하고, 표시 시간과 검색 결과에 기초하여, 검색 결과 화면을 생성한다.
또한, 계측한 검색 결과량이, 미리 설정된 임계값 미만인 경우, 선별부(160)는, 선별 처리를 행하지 않는다. 이 경우, 표시 제어부(170)는, 검색부(140)에 의해 취득된 검색 결과에 기초하여 검색 결과 화면을 생성한다(스텝 S19).
표시 제어부(170)는, 생성한 검색 결과 화면을 출력부(180)로 송신한다. 이 경우, 출력부(180)는, 표시 제어부(170)로부터 수신한 검색 결과 화면을 표시부(200)로 출력한다(스텝 S20). 이에 의해, 얼굴 화상 검색 시스템(100)은, 얼굴 화상 검색 시스템(100)의 감시자에게 순차적으로 검색 결과를 통지할 수 있다. 또한, 얼굴 화상 검색 시스템(100)은, 높은 우선도가 산출된 검색 결과를 장시간 표시하고, 낮은 우선도가 산출된 검색 결과를 단시간 표시할 수 있다. 즉, 얼굴 화상 검색 시스템(100)은, 산출된 우선도에 따라 검색 결과의 표시 시간을 제어할 수 있다.
또한, 검색부(140)는, 얼굴 화상 등으로부터 판정된 속성에 따라, 데이터베이스를 좁혀서 검색을 행하는 구성이어도 된다. 즉, 인물 정보 기억부(141)는, 속성 정보, 인물 정보의 화상을 취득한 카메라의 ID, 및 화상의 취득 일시 등을 데이터베이스의 인물 정보에 부가한다. 이 경우, 검색부(140)는, 화상 데이터의 촬상 장소, 일시, 또는 속성 등으로 검색 대상을 좁힐 수 있다.
상기한 바와 같이, 본 실시 형태에 따른 얼굴 화상 검색 시스템(100)은, 화상 데이터로부터 얼굴 화상 및 얼굴 특징을 검출하고, 얼굴 특징에 기초하여 인물 정보가 복수 포함되는 데이터베이스 중에서 검색을 행한다. 또한, 얼굴 화상 검색 시스템(100)은, 검색 결과량을 계측하고, 검색 결과량이 미리 설정된 임계값 이상인 경우, 검색 결과마다 우선도를 산출하고, 산출된 우선도에 따라 검색 결과를 선별한다. 얼굴 화상 검색 시스템(100)은, 선별된 검색 결과와, 우선도에 따라 검색 결과 화면을 생성하고, 표시시킨다.
이 구성에 의해, 얼굴 화상 검색 시스템(100)은, 미리 설정된 조건에 기초하여 검색 결과를 선별하여 표시시킬 수 있다. 또한, 얼굴 화상 검색 시스템(100)은, 우선도에 따라 검색 결과의 표시 시간을 제어함으로써, 우선도가 높은 검색 결과를 감시자에게 확실하게 확인시킬 수 있다. 그 결과, 보다 효율적으로 얼굴 화상의 검색을 행할 수 있는 얼굴 화상 검색 시스템, 및 얼굴 화상 검색 방법을 제공할 수 있다.
또한, 상술한 각 실시 형태에서 설명한 기능은, 하드웨어를 이용해서 구성하는 데에 그치지 않고, 소프트웨어를 이용하여 각 기능을 기재한 프로그램을 컴퓨터로 읽어들여서 실현할 수도 있다. 또한, 각 기능은, 적절히 소프트웨어, 하드웨어 중 어느 하나를 선택해서 구성하는 것이어도 된다.
또한, 본 발명은 상기 실시 형태 그대로 한정되는 것은 아니고, 실시 단계에서는 그 요지를 일탈하지 않는 범위에서 구성 요소를 변형하여 구체화할 수 있다. 또한, 상기 실시 형태에 개시되어 있는 복수의 구성 요소의 적절한 조합에 의해 다양한 발명을 형성할 수 있다. 예를 들면, 실시 형태에 나타나는 전체 구성 요소로부터 몇몇 구성 요소를 삭제해도 된다. 또한, 서로 다른 실시 형태에 걸치는 구성 요소를 적절히 조합해도 된다.

Claims (10)

  1. 미리 복수의 얼굴 특징을 데이터베이스로서 기억하는 기억부와,
    화상 데이터를 수신하는 화상 수신부와,
    상기 화상 수신부에 의해 수신한 상기 화상 데이터로부터 얼굴 화상을 검출하는 얼굴 검출부와,
    상기 얼굴 검출부에 의해 검출된 상기 얼굴 화상으로부터 얼굴 특징을 추출하는 특징 추출부와,
    상기 특징 추출부에 의해 추출된 상기 얼굴 특징과, 상기 데이터베이스에 포함되어 있는 상기 얼굴 특징과의 유사도를 산출하고, 산출한 유사도에 기초하여 검색 결과를 출력하는 검색부와,
    상기 검색부에 의해 출력된 상기 검색 결과의 양을 계측하는 계측부와,
    상기 계측부에 의해 계측된 상기 검색 결과량이 미리 설정된 임계값 이상인 경우, 상기 검색부에 의해 출력된 상기 검색 결과를 선별하는 선별부와,
    상기 선별부에 의해 선별된 상기 검색 결과에 기초하여 검색 결과 화면을 생성하는 표시 제어부와,
    상기 표시 제어부에 의해 생성된 상기 검색 결과 화면을 출력하는 출력부
    를 포함하는, 얼굴 화상 검색 시스템.
  2. 제1항에 있어서,
    상기 선별부는, 상기 검색부로부터 출력된 상기 검색 결과와, 미리 설정된 선별 조건에 기초하여 우선도를 산출하고, 산출한 상기 우선도에 기초하여 상기 검색 결과를 선별하는, 얼굴 화상 검색 시스템.
  3. 제2항에 있어서,
    상기 선별 조건은, 1개 또는 복수의 항목과, 이 항목마다 설정된 득점을 갖고,
    상기 선별부는, 상기 검색 결과와, 상기 선별 조건에 기초하여 1개 또는 복수의 득점을 산출하고, 산출된 상기 득점을 통합하여 상기 우선도를 산출하는, 얼굴 화상 검색 시스템.
  4. 제3항에 있어서,
    상기 선별 조건의 항목은, 상기 화상 데이터가 취득된 장소, 상기 화상 데이터가 취득된 시각, 상기 화상 데이터가 취득된 장소의 혼잡도, 및 상기 화상 데이터가 취득되었을 때의 이상 행동의 유무를 포함하고,
    상기 선별부는, 상기 선별 조건의 각 항목 및 상기 검색 결과에서의 연령, 성별, 인종, 및 요주의 플래그의 유무 중 1개 또는 복수에 기초하여 상기 득점을 산출하는, 얼굴 화상 검색 시스템.
  5. 제2항에 있어서,
    상기 표시 제어부는, 상기 우선도가 높은 순, 또는 낮은 순으로 상기 검색 결과를 우선시켜서 상기 검색 결과 화면에 표시시키도록 상기 검색 결과 화면을 생성하는, 얼굴 화상 검색 시스템.
  6. 제5항에 있어서,
    상기 표시 제어부는, 상기 우선도에 기초하여 선별된 상기 검색 결과를 상기 검색 결과 화면에 표시하는 표시 시간을 산출하고, 산출한 상기 표시 시간 동안에, 상기 검색 결과를 상기 검색 결과 화면에 표시시키도록 상기 검색 결과 화면을 생성하는, 얼굴 화상 검색 시스템.
  7. 제5항에 있어서,
    조작에 기초하여 조작 신호를 생성하는 조작부를 더 포함하고,
    상기 표시 제어부는, 상기 조작부로부터 소정의 조작 신호를 수취할 때까지의 동안에, 상기 검색 결과를 상기 검색 결과 화면에 표시시키도록 상기 검색 결과 화면을 생성하는, 얼굴 화상 검색 시스템.
  8. 제2항에 있어서,
    상기 계측부는, 단위 시간당 얼굴 검출수, 단위 시간당 검색 쿼리수, 단위 시간당 검색 결과수, 단위 시간당 소정의 임계값을 초과한 검색 결과수, 얼굴 화상 검색 시스템 내의 장치의 CPU의 부하, 메모리 사용량, 및 네트워크 트래픽양 중 어느 하나 또는 이들 중 복수에 기초하여, 상기 검색 결과량을 계측하는, 얼굴 화상 검색 시스템.
  9. 제2항에 있어서,
    상기 출력부로부터 출력된 상기 검색 결과 화면을 수신하고, 수신한 상기 검색 결과 화면을 표시하는 표시부를 더 포함하는 얼굴 화상 검색 시스템.
  10. 미리 복수의 얼굴 특징을 데이터베이스로서 기억하는 기억부를 포함하는 얼굴 화상 검색 시스템에 이용되는 얼굴 화상 검색 방법으로서,
    화상 데이터를 수신하고,
    수신한 상기 화상 데이터로부터 얼굴 화상을 검출하고,
    검출된 상기 얼굴 화상으로부터 얼굴 특징을 추출하고,
    추출된 상기 얼굴 특징과, 상기 데이터베이스에 포함되어 있는 상기 얼굴 특징과의 유사도를 산출하고, 산출한 유사도에 기초하여 검색 결과를 출력하고,
    출력된 상기 검색 결과의 양을 계측하고,
    계측된 상기 검색 결과의 양이 미리 설정된 임계값 이상인 경우, 출력된 상기 검색 결과를 선별하고,
    선별된 상기 검색 결과에 기초하여 검색 결과 화면을 생성하고,
    생성된 상기 검색 결과 화면을 출력하는, 얼굴 화상 검색 방법.
KR1020120023338A 2011-06-20 2012-03-07 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법 KR101390591B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2011-136355 2011-06-20
JP2011136355A JP5793353B2 (ja) 2011-06-20 2011-06-20 顔画像検索システム、及び顔画像検索方法

Publications (2)

Publication Number Publication Date
KR20120140184A true KR20120140184A (ko) 2012-12-28
KR101390591B1 KR101390591B1 (ko) 2014-04-30

Family

ID=47353695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120023338A KR101390591B1 (ko) 2011-06-20 2012-03-07 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법

Country Status (4)

Country Link
US (1) US9171012B2 (ko)
JP (1) JP5793353B2 (ko)
KR (1) KR101390591B1 (ko)
MX (1) MX2012002938A (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008436B2 (en) 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8811747B2 (en) * 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
JP6026119B2 (ja) 2012-03-19 2016-11-16 株式会社東芝 生体情報処理装置
US9076028B2 (en) 2012-10-08 2015-07-07 Citrix Systems, Inc. Facial recognition and transmission of facial images in a videoconference
US9286693B2 (en) * 2013-02-25 2016-03-15 Hanwha Techwin Co., Ltd. Method and apparatus for detecting abnormal movement
JP6013241B2 (ja) * 2013-03-18 2016-10-25 株式会社東芝 人物認識装置、及び方法
JP2015001871A (ja) * 2013-06-17 2015-01-05 Ｎｅｃソリューションイノベータ株式会社 人物判定装置、人物判定方法、プログラム及び記録媒体
JP6405606B2 (ja) * 2013-07-12 2018-10-17 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6358258B2 (ja) * 2013-09-19 2018-07-18 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
US20170017833A1 (en) * 2014-03-14 2017-01-19 Hitachi Kokusai Electric Inc. Video monitoring support apparatus, video monitoring support method, and storage medium
JP6597611B2 (ja) 2014-07-25 2019-10-30 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
JP6435779B2 (ja) * 2014-10-30 2018-12-12 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP6367169B2 (ja) * 2015-09-28 2018-08-01 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6665591B2 (ja) * 2016-03-03 2020-03-13 沖電気工業株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US10987030B2 (en) * 2016-06-30 2021-04-27 Koninklijke Philips N.V. Method and apparatus for face detection/recognition systems
CN106303568B (zh) * 2016-08-18 2019-08-02 北京奇虎科技有限公司 一种视频联播的方法、客户端及服务器
EP3418944B1 (en) * 2017-05-23 2024-03-13 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
CN109089085A (zh) * 2018-09-21 2018-12-25 深圳市九洲电器有限公司 一种基于高清摄像头的记忆寻物方法、装置及系统
CN109783692B (zh) * 2019-01-08 2021-12-31 深圳英飞拓科技股份有限公司 一种快数据和慢数据结合的目标特征码比对方法和装置
JP7026341B2 (ja) * 2019-03-04 2022-02-28 パナソニックＩｐマネジメント株式会社 顔認証機および顔認証方法
JP7389955B2 (ja) 2020-01-31 2023-12-01 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
WO2021181638A1 (ja) * 2020-03-12 2021-09-16 日本電気株式会社 情報処理装置、情報処理方法、及び、コンピュータ読み取り可能な記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209600A (ja) * 2000-01-26 2001-08-03 Mitsubishi Electric Corp ブラウザ
JP2004328622A (ja) * 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd 行動パターン識別装置
US20060018522A1 (en) * 2004-06-14 2006-01-26 Fujifilm Software(California), Inc. System and method applying image-based face recognition for online profile browsing
CN102231801B (zh) * 2005-11-25 2013-07-10 株式会社尼康 电子摄像机及图像处理装置
JP2007190076A (ja) 2006-01-17 2007-08-02 Mitsubishi Electric Corp 監視支援システム
JP2007243342A (ja) * 2006-03-06 2007-09-20 Yokogawa Electric Corp 画像監視装置及び画像監視システム
US8756510B2 (en) * 2006-10-17 2014-06-17 Cooliris, Inc. Method and system for displaying photos, videos, RSS and other media content in full-screen immersive view and grid-view using a browser feature
JP2008191816A (ja) * 2007-02-02 2008-08-21 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US20080300951A1 (en) * 2007-06-04 2008-12-04 Cisco Technology, Inc. Dynamic staffing using population count
JP4834639B2 (ja) * 2007-09-28 2011-12-14 株式会社東芝 電子機器および画像表示制御方法
KR20090093904A (ko) * 2008-02-28 2009-09-02 미디어코러스 주식회사 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템
JP5171351B2 (ja) * 2008-03-31 2013-03-27 セコム株式会社 画像監視装置
WO2009135253A1 (en) * 2008-05-05 2009-11-12 Iomniscient Pty Ltd A system and method for electronic surveillance
CN102132318B (zh) * 2008-08-21 2014-06-11 惠普开发有限公司 图像收藏集的可缩放的相关性排序表示的自动创建
JP5390322B2 (ja) * 2009-09-28 2014-01-15 株式会社東芝 画像処理装置、及び画像処理方法
JP5459674B2 (ja) 2010-09-13 2014-04-02 株式会社東芝 移動物体追跡システムおよび移動物体追跡方法
JP5355446B2 (ja) 2010-02-19 2013-11-27 株式会社東芝 移動物体追跡システムおよび移動物体追跡方法
JP2012003626A (ja) 2010-06-18 2012-01-05 Konica Minolta Business Technologies Inc 画像処理装置

Also Published As

Publication number Publication date
JP5793353B2 (ja) 2015-10-14
US20120321145A1 (en) 2012-12-20
JP2013003964A (ja) 2013-01-07
MX2012002938A (es) 2012-12-19
KR101390591B1 (ko) 2014-04-30
US9171012B2 (en) 2015-10-27

Similar Documents

Publication Publication Date Title
KR101390591B1 (ko) 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법
JP5740210B2 (ja) 顔画像検索システム、及び顔画像検索方法
JP6013241B2 (ja) 人物認識装置、及び方法
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP5649425B2 (ja) 映像検索装置
US8965061B2 (en) Person retrieval apparatus
JP6548998B2 (ja) 人物検索システムおよび人物検索方法
JP5992276B2 (ja) 人物認識装置、及び方法
WO2014050518A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6369470B2 (ja) 情報処理システム
JP5726596B2 (ja) 画像監視装置
JP2014016968A (ja) 人物検索装置及びデータ収集装置
JP4862518B2 (ja) 顔登録装置、顔認証装置および顔登録方法
JP6516702B2 (ja) 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法
JP5726595B2 (ja) 画像監視装置
CN107231519B (zh) 视频处理装置及控制方法
JP5752976B2 (ja) 画像監視装置
JP2019110474A (ja) 不審者検知装置
JP2019109760A (ja) 画像監視装置
JP2019029747A (ja) 画像監視システム
CN114494995A (zh) 用户行为分析方法、装置、电子设备及存储介质
JP2015001871A (ja) 人物判定装置、人物判定方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170317

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 6