KR100996066B1 - 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체 - Google Patents

얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체 Download PDF

Info

Publication number
KR100996066B1
KR100996066B1 KR1020087023721A KR20087023721A KR100996066B1 KR 100996066 B1 KR100996066 B1 KR 100996066B1 KR 1020087023721 A KR1020087023721 A KR 1020087023721A KR 20087023721 A KR20087023721 A KR 20087023721A KR 100996066 B1 KR100996066 B1 KR 100996066B1
Authority
KR
South Korea
Prior art keywords
face image
registration
face
image
representative
Prior art date
Application number
KR1020087023721A
Other languages
English (en)
Other versions
KR20080104034A (ko
Inventor
토모히로 이노우에
마사히로 센가
타카시 카키우치
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20080104034A publication Critical patent/KR20080104034A/ko
Application granted granted Critical
Publication of KR100996066B1 publication Critical patent/KR100996066B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Abstract

씬 추출부(11)는, 입력된 동화상으로부터, 적어도 1인의 얼굴화상이 연속하여 촬영되어 있는 씬을 추출한다. 대표 얼굴화상 추출부(12)는, 추출된 씬으로부터, 정면을 향한 얼굴의 화상을 추출한다. 등록용 얼굴화상 추출부(13)는, 추출된 정면 얼굴화상이 나타내는 인물에 관한 다른 얼굴화상중, 픽업 조건에 일치하는 각종의 등록용 얼굴화상을 씬으로부터 추출한다. 얼굴화상 등록부(14)는, 추출된 대표 얼굴화상과, 추출된 등록용 얼굴화상을, 서로 관련시켜서 얼굴화상 사전(15)에 등록한다. 이로써, 유저에게 수고를 끼치는 일 없이, 인증 처리에 이용할 수 있는 다양한 얼굴화상을 사전에 등록한다.
얼굴화상 등록

Description

얼굴화상 등록 장치, 얼굴화상 등록 방법, 얼굴화상 등록 프로그램, 및 기록 매체{FACE-IMAGE REGISTRATION DEVICE, FACE-IMAGE REGISTRATION METHOD, FACE-IMAGE REGISTRATION PROGRAM, AND RECORDING MEDIUM}
본 발명은, 얼굴 인증 처리에 이용되는 얼굴화상을 사전에 등록하는 얼굴화상 등록 장치, 얼굴화상 등록 방법, 얼굴화상 등록 프로그램, 및 기록 매체에 관한 것이다.
보안 의식이 높아짐을 반영하는지, 근래, 얼굴 인증 시스템의 이용이 급속하게 확대하고 있다. 종래의 비밀번호를 이용한 인증 시스템에 비하여, 얼굴 인증 시스템은, 인증에 필요한 정보(본인의 얼굴의 특징)를 타인에게 도둑맞는 가능성이 극히 낮은 것, 본인만 있으면 확실하게 인증할 수 있는 것 등의 간편함이 있기 때문에, 금후, 보다 한층의 보급이 예상되고 있다.
그렇지만 얼굴 인증 시스템은, 현재, 다양한 미해결의 문제를 안고 있다. 그 하나는 인증의 정밀도가 아직도 충분히 높지 않은 것이다. 얼굴화상만 비추면 인증할 수 있는 레벨에는 아직 도달하고 있지 않고, 예를 들면 배경의 밝기가 변한 것만으로, 본인이라고 인증할 수 없게 되는 문제도 현실적으로 발생하고 있다.
그래서, 얼굴 인증 처리의 정밀도를 높이는 것을 목적으로 한 각종의 기술 이, 종래, 제안되어 있다.
예를 들면 특허 문헌 1에는, 영상중에서부터 얼굴이 찍히여 있는 프레임을 검출하고, 상기 프레임으로부터 얼굴화상을 추출하고, 추출한 모든 얼굴화상으로부터 동일 등장 인물의 얼굴을 그룹화하고, 등장 인물별로 그 대표 얼굴화상을 추출하는 것을 특징으로 하는 화상 검색 방법이 개시되어 있다.
상기한 방법에 의하면, 영상으로부터 얼굴에 특화한 검출을 행하고, 또한 검출한 얼굴의 식별을 행함으로써, 영상중에 등장하는 인물의 얼굴을 구별하여 표시할 수 있다.
특허 문헌 2에는, 인물 인증을 행하기 위한 화상 데이터를 프레임 단위로 입력하는 수단과, 상기 화상 데이터로부터 얼굴 영역을 검출하는 수단과, 상기 얼굴 영역에서 특징량을 검출하는 수단과, 상기 특징량을 기준치와 비교함에 의해 해당 특징량이 유효한지의 여부를 판정하는 수단과, 유효하다고 판정된 특징량을 복수 프레임분 축적하는 수단과, 상기 복수 프레임분의 특징량에 연산을 시행함에 의해 인증용 특징량을 얻는 수단과, 상기 인증용 특징량을 미리 기억된 얼굴특징량과 비교함에 의해 해당 인불의 인증을 행하는 수단을 구비한 것을 특징으로 하는 인물 인증 장치가 개시되어 있다.
상기 장치에 의하면, 머리의 자세, 표정의 영향에 의해 인증 정밀도의 저하를 없애고, 또한 유효 프레임 판정을 위한 특징량의 계측 정밀도를 향상시킬 수 있다.
특허 문헌 3에는, 인증 본인의 얼굴을 서로 다른 복수의 환경하에서 촬영하 여 얻어진 복수의 얼굴 정보를, 상기 환경에 대응한 패턴명을 붙여서 등록한 얼굴 인증용 데이터베이스와, 이 얼굴 인증용 데이터베이스에 등록된 패턴명과, 이 패턴명으로 촬영한 인증 본인을 대응시킨 인증 본인 특정 테이블과, 인증 대상인의 얼굴을 촬영하여 얼굴 정보를 얻는 카메라와, 이 카메라로 촬영한 얼굴 정보와, 상기 얼굴 인증용 데이터베이스에 등록된 복수의 얼굴 정보를 대조하여, 가장 유사도가 높은 얼굴 정보를 특정하는 인증 처리 수단과, 이 인증 처리 수단에 의해 특정된 얼굴 정보의 패턴명으로부터, 상기 인증 본인 특정 테이블에 의해, 이 패턴명에 대응하는 인증 본인을 특정하는 인증 본인 특정 수단을 구비한 것을 특징으로 하는 인증 시스템이 개시되어 있다.
상기한 시스템에 의하면, 다른 환경하에서의 얼굴 정보를 복수 준비하여 둠에 의해, 어떤 환경하에서도 올바르게 인증을 행할 수가 있다.
특허 문헌 4에는, 인물의 얼굴화상 데이터베이스와 얼굴 특징 데이터베이스에 신규 인물을 등록하는 얼굴화상 데이터베이스 신규 등록 장치에 있어서, 입력 화상중의 인물의 얼굴 영역에 있어서의 복수의 특징점의 위치, 및 상기 인물의 얼굴 방향을 추정하는 추정 수단과, 상기 추정 수단에 의해 추정된 얼굴 방향 정보 또는 외부로부터 입력된 얼굴 방향 정보에 따라, 상기 인물의 얼굴이 소정 방향을 나타내는 프레임을 상기 입력 화상으로부터 선택하는 선택 수단과, 상기 선택 수단에 의해 선택된 프레임과 그 관련 정보를 유저 명령을 받아서 표시시키는 유저 인터페이스 수단과, 상기 선택 수단에 의해 선택된 상기 프레임에 있어서, 상기 추정 수단에 의해 추정된 상기 복수의 특징점의 부근에서 상기 인물의 얼굴의 특징량을 계측함으로써, 상기 입력 화상중의 상기 인물의 데이터베이스 성분을 계산하는 계산 수단을 포함하는 것을 특징으로 하는 얼굴화상 데이터베이스 신규 등록 장치가 개시되어 있다.
상기한 장치에 의하면, 신규 인물의 데이터베이스 등록 작업을 자동화할 수 있다.
특허 문헌 1 : 일본국 공개특허공보 「특개2001-167110호 공보(공개일 : 2001년 6월 22일)」
특허 문헌 2 : 일본국 공개특허공보 「특개평6-259534호 공보(공개일 : 1994년 9월 16일)」
특허 문헌 3 : 일본국 공개특허공보 「특개2005-115481호 공보(공개일 : 2005년 4월 28일)」
특허 문헌 4 : 일본국 공개특허공보 「특개2002-133423호 공보(공개일 : 2002년 5월 10일)」
얼굴화상을 이용한 인증 장치에 있어서, 인증 성능을 향상시키기 위해서는, 다양한 조건하에서 촬영된 얼굴화상을 등록할 것이 필요하다. 그러나 등록에 적합한 화상을, 다수의 정지화로부터 수동으로 선택하고 등록하는 작업은 번잡하고, 때로는 곤란하다.
특허 문헌 1의 기술은, 동일 등장 인물의 얼굴을 그룹화하는데 지나지 않고, 그룹화한 얼굴을 사전에 등록한 점에 있어서는 전혀 궁리가 없다.
특허 문헌 2의 기술은, 어디까지나 유효 프레임 판정을 위한 특징량의 계측 정밀도를 향상시키는데 지나지 않고, 계측한 특징량을 사전에 등록한 점에 있어서는 전혀 궁리가 없다.
특허 문헌 3의 기술에서는, 다른 환경화(環境化)에서의 얼굴 정보를 유저가 미리 준비하여 둘 필요가 있어서, 유저에게 쓸데없는 수고를 끼치게 하는 문제가 생긴다.
특허 문헌 4의 기술에서는, 입력 소재의 각 프레임에 있어서의 특징점의 위치를 추정할 뿐이고, 최종적인 판단을 유저에게 맡겨 버리고 있다. 따라서 유저에게 필요없는 수고를 끼치게 한다는 문제가 생긴다.
이상과 같이, 종래의 기술을 유용(流用)하여도, 인증 장치가 필요로 하는 얼굴화상을, 전부 망라하지 않을 가능성이 높다. 그래서, 유저의 수동으로는 대단한 수고를 필요로 한다.
본 발명은 상기한 과제를 해결하기 위해 이루어진 것으로, 그 목적은, 유저에게 수고를 끼치는 일 없이, 다양한 얼굴화상을 사전에 등록하는 얼굴화상 등록 장치, 얼굴화상 등록 방법, 얼굴화상 등록 프로그램, 및 기록 매체를 제공하는 것에 있다.
(얼굴화상 등록 장치의 주요 구성)
본 발명에 관한 얼굴화상 등록 장치는, 상기한 과제를 해결하기 위해,
입력된 동화상으로부터, 인물의 얼굴을 나타내는 얼굴화상을 추출하고 사전에 등록하는 얼굴화상 등록 장치로서,
미리 정하여진 대표 조건에 일치하는 적어도 하나의 얼굴화상을, 대표 얼굴화상으로서 상기 동화상으로부터 추출하는 대표 얼굴화상 추출 수단과,
상기 대표 얼굴화상이 나타내는 인물에 관한 다른 얼굴화상중, 미리 정하여진 등록 조건에 일치하는 적어도 하나의 다른 얼굴화상을, 등록용 얼굴화상으로서 상기 동화상으로부터 추출하는 등록용 얼굴화상 추출 수단과,
상기 등록용 얼굴화상을 상기 대표 얼굴화상에 관련시켜서 상기 사전에 등록하는 얼굴화상 등록 수단을 구비하고 있는 것을 특징으로 하고 있다.
(작용·효과)
상기한 구성에 의하면, 대표 얼굴화상 추출 수단은, 미리 정하여진 대표 조건에 일치하는 적어도 하나의 얼굴화상을, 대표 얼굴화상으로서 동화상으로부터 추출한다. 여기서 말하는 「얼굴화상」이란, 인물의 얼굴을 나타내는 정지화인 것을 말한다. 「대표 조건」이란, 동화상에 촬영되어 있는 각종의 얼굴화상중, 얼굴 인증에 가장 적합하고 있는 얼굴화상이 충족하여야 할 조건인 것이다. 예를 들면 정면을 향한 얼굴은, 대표 조건을 충족시키고 있다. 그 때문에 대표 얼굴화상 추출 수단은, 대표 얼굴화상으로서, 예를 들면 정면을 향한 얼굴에 관한 화상인 정면 얼굴화상을, 동화상으로부터 추출한다.
동화상은, 일반적으로, 인물이나 사물의 움직임을 촬영한 것이다. 그 때문에, 정면얼굴 등의 대표 얼굴화상을, 대표 얼굴화상 추출 수단은 문제 없이 동화상으로부터 추출할 수 있다.
대표 얼굴화상이 추출된 후, 등록용 얼굴화상 추출 수단이, 대표 얼굴화상이 나타내는 인물에 관한 다른 얼굴화상중, 미리 정하여진 등록 조건에 일치하는 적어도 하나의 다른 얼굴화상을, 등록용 얼굴화상으로서 동화상으로부터 추출한다. 여기서 말하는 「등록 조건」이란, 화상 인식에 적합한 얼굴화상에 들어맞는 조건인 것이다. 예를 들면 위를 향한 얼굴, 수염을 길은 얼굴, 입을 연 얼굴 등, 다양한 상태의 얼굴에 들어맞는 조건이, 등록 조건에 해당한다.
따라서 대표 얼굴화상 추출 수단이, 예를 들면 정면을 향한 얼굴을 대표 얼굴화상으로서 추출할 때, 얼굴화상 등록 장치는, 이 정면 얼굴화상이 나타내는 인물에 관한, 위를 향한 얼굴, 수염을 길은 얼굴, 입을 연 얼굴 등, 다양한 등록 조건에 일치하는 등록용 얼굴화상을, 같은 동화상으로부터 추출한다.
얼굴화상 등록 수단은, 대표 얼굴화상과, 등록용 얼굴화상 추출 수단을 관련시켜서 사전에 등록한다. 따라서 예를 들면 정면을 향한 얼굴의 화상에, 수염을 길은 얼굴의 화상 등의 각종이 다른 얼굴화상을 관련시켜서 등록한다. 여기서 말하는 등록이란, 반드시, 화상 그 자체를 등록하는 것으로 한정되지 않는다. 예를 들면 화상의 특징을 나타내는 특징량을 산출하고, 화상 대신에 사전에 등록하여도 좋다.
이상의 처리에 의해, 얼굴화상 등록 장치는, 얼굴화상을 등록하기 위한 사전에, 같은 인물에 관한 다양한 얼굴화상을 등록할 수 있다. 따라서 사전에 등록하는 얼굴화상의 종류를, 보다 확실하게 늘릴 수 있는 효과를 이룬다. 또한, 동화상으로부터 얼굴화상을 추출하기 때문에, 등록에 필요한 얼굴화상을 수작업으로 조사하거나, 또는 촬영 조건을 다양하게 변화시켜서, 등록용의 얼굴화상을 미리 준비하거나 하는 수법에 비하여, 얼굴화상의 등록 처리에 필요로 하는 수고를, 보다 줄일 수 있다. 즉, 유저에게 수고를 끼치는 일 없이, 다양한 얼굴화상을 사전에 등록할 수 있다.
(얼굴화상 등록 방법)
본 발명에 관한 얼굴화상 등록 방법은, 상기한 과제를 해결하기 위해,
입력된 동화상으로부터, 인물의 얼굴을 나타내는 얼굴화상을 추출하고 사전에 등록하는 얼굴화상 등록 방법으로서,
미리 정하여진 대표 조건에 일치하는 적어도 하나의 얼굴화상을, 대표 얼굴화상으로서 상기 동화상으로부터 추출하는 대표 얼굴화상 추출 스텝과,
상기 대표 얼굴화상이 나타내는 인물에 관한 다른 얼굴화상중, 미리 정하여진 등록 조건에 일치하는 적어도 하나의 다른 얼굴화상을, 등록용 얼굴화상으로서 상기 동화상으로부터 추출하는 등록용 얼굴화상 추출 스텝과,
상기 등록용 얼굴화상을 상기 대표 얼굴화상에 관련시켜서 상기 사전에 등록하는 얼굴화상 등록 스텝을 포함하고 있는 것을 특징으로 하고 있다.
상기한 구성에 의하면, 본 방법은, 상술한 얼굴화상 등록 장치와 같은 작용 효과를 이룬다.
(특징량을 등록)
또한, 본 발명에 관한 얼굴화상 등록 장치에서는, 또한,
상기 얼굴화상 등록 수단은,
상기 등록용 얼굴화상의 특징을 수치화한 특징량을, 상기 사전에 등록하는 것이 바람직하다.
(작용·효과)
상기한 구성에 의하면, 얼굴화상 등록 수단은, 등록용 얼굴화상의 특징을 수치화한 특징량을, 상기 사전에 등록한다. 예를 들면, 얼굴의 각 기관의 위치를 각각 특정하고, 각 위치의 배치 상태 등을 산출함에 의해, 얼굴화상의 특징량을 산출한다.
이렇게 하여 산출한 특징량은, 통상, 화상 그 자체보다도 데이터량이 훨씬 작다. 따라서 얼굴화상 등록 장치는, 얼굴화상 그 자체를 사전에 등록하는 경우에 비하여, 사전의 데이터 사이즈를 보다 작게 할 수 있는 효과를 이룬다.
(등록 조건에 일치하는 모든 등록용 얼굴화상을 등록)
또한, 본 발명에 관한 얼굴화상 등록 장치에서는, 또한,
상기 얼굴화상 등록 수단은,
서로 다른 복수의 등록 조건이 미리 정하여져 있을 때, 해당 등록 조건마다, 해당 등록 조건에 일치하는 적어도 하나의 상기 등록용 얼굴화상을 추출하고,
상기 얼굴화상 등록 수단은,
상기 대표 얼굴화상에, 상기 등록 조건마다 추출된 상기 등록용 얼굴화상을, 전부 관련시켜서 상기 사전에 등록하는 것이 바람직하다.
(작용·효과)
상기한 구성에 의하면, 대표 얼굴화상 추출 수단은, 서로 다른 복수의 등록 조건이 미리 정하여져 있을 때, 해당 등록 조건마다, 해당 등록 조건에 일치하는 적어도 하나의 상기 등록용 얼굴화상을 추출한다. 예를 들면, 10개의 등록 조건이 미리 정하여져 있으면, 10개의 등록 조건의 전부에 관해, 들어맞는 등록용 얼굴화상을 동화상으로부터 추출한다.
이로써 얼굴화상 등록 수단은, 등록 조건마다 추출된 상기 등록용 얼굴화상을, 전부, 대표 얼굴화상에 관련시켜서 사전에 등록한다. 즉, 복수의 등록 조건에 각각 개별적으로 일치하는 복수의 얼굴화상을, 사전에 망라적으로 등록한다.
이상의 처리에 의해, 얼굴화상 등록 장치는, 사전의 충실도를 보다 높일 수 있는 효과를 이룬다.
(등록 조건에 일치하는 모든 등록용 얼굴화상을 하나씩 등록)
또한, 본 발명에 관한 얼굴화상 등록 장치에서는, 또한,
상기 얼굴화상 등록 수단은,
서로 다른 복수의 등록 조건이 미리 정하여져 있을 때, 해당 등록 조건마다, 해당 등록 조건에 일치하는 하나의 상기 등록용 얼굴화상을 추출하고,
상기 얼굴화상 등록 수단은,
상기 대표 얼굴화상에, 상기 등록 조건마다 추출된 하나의 상기 등록용 얼굴화상을, 전부 관련시켜서 상기 사전에 등록하는 것이 바람직하다.
(작용·효과)
상기한 구성에 의하면, 대표 얼굴화상 추출 수단은, 서로 다른 복수의 등록 조건이 미리 정하여져 있을 때, 해당 등록 조건마다, 해당 등록 조건에 일치하는 하나의 상기 등록용 얼굴화상을 추출한다. 예를 들면, 10개의 등록 조건이 미리 정하여져 있으면, 10개의 등록 조건의 전부에 관해, 들어맞는 등록용 얼굴화상을, 하나씩, 동화상으로부터 추출한다.
이로써 얼굴화상 등록 수단은, 등록 조건마다 추출된 상기 등록용 얼굴화상을, 전부, 대표 얼굴화상에 관련시켜서 사전에 등록한다. 즉, 복수의 등록 조건의 전부를 망라한 복수의 얼굴화상을, 사전에 등록한다.
이상의 처리에 의해, 얼굴화상 등록 장치는, 사전의 충실도를 보다 높일 수 있는 효과를 이룬다. 또한, 사전에 등록하는 얼굴화상은, 등록 조건마다 하나로 한정된다. 따라서 등록 조건마다 복수의 얼굴화상을 등록하는 경우보다도, 사전의 데이터 사이즈를 보다 작게 할 수 있는 효과를 이룬다.
(전(全)인물의 얼굴화상을 등록)
또한, 본 발명에 관한 얼굴화상 등록 장치에서는, 또한,
상기 등록용 얼굴화상 추출 수단은,
상기 대표 얼굴화상 추출 수단에 의해 복수의 다른 상기 대표 얼굴화상이 추출된 때, 해당 대표 얼굴화상마다 상기 등록용 얼굴화상을 추출하는 것이 바람직하다.
(작용·효과)
동화상에는 1인의 인물이 촬영되어 있다고는 한하지 않는다. 많은 인물이 찍히여 있는 일도 자주 있다. 그래서 상기한 구성에 의하면, 대표 얼굴화상 추출 수단에 의해 복수의 다른 대표 얼굴화상이 추출된 때, 등록용 얼굴화상 추출 수단은, 추출된 대표 얼굴화상마다 등록용 얼굴화상을 추출한다. 복수의 다른 대표 얼굴화상이란, 개별적의 얼굴화상이 각각 다른 인물의 얼굴을 나타내고 있는 복수의 얼굴화상인 것이다. 이 때 등록용 얼굴화상은, 다른 인물마다, 등록용 얼굴화상을 추출한다.
따라서 얼굴화상 등록 수단은, 동화상에 복수의 인물이 촬영되어 있는 경우에 있어서, 인물마다, 대표 얼굴화상과 이 등록용 얼굴화상을 관련시켜서, 사전에 등록한다. 그 결과로서 사전에는, 복수의 다른 인물에 관한 얼굴화상이 축적되게 된다.
이상의 처리에 의해, 얼굴화상 등록 장치는, 사전의 충실도를 보다 높일 수 있는 효과를 이룬다.
(씬으로부터 얼굴화상을 추출)
또한, 본 발명에 관한 얼굴화상 등록 장치는, 또한,
상기 동화상으로부터 씬을 추출하는 씬 추출 수단을 또한 구비하고,
상기 대표 얼굴화상 추출 수단은, 상기 씬으로부터 상기 대표 얼굴화상을 추출하고,
상기 등록용 얼굴화상 추출 수단은, 상기 씬으로부터 상기 등록용 얼굴화상을 추출하는 것이 바람직하다.
(작용·효과)
상기한 구성에 의하면, 씬 추출 수단은, 동화상으로부터 씬을 추출한다. 여기서 말하는 씬이란, 동화상에 있어서, 특정한 얼굴이 연속하여 계속 존재하는 복수의 프레임을 하나로 정리한 부분 동화상인 것이다. 예를 들면 씬 추출 수단은, 얼굴 트래킹 기술을 이용함에 의해, 특정한 얼굴이 있는 프레임에 들어가, 그리고 나서 일정 매수의 프레임에 계속 존재하고, 최후에 다른 프레임으로부터 나가기까지의 사이를, 하나의 씬으로서 동화상으로부터 추출한다.
씬 추출 수단에 의해 씬이 추출된 때, 대표 얼굴화상 추출 수단은, 씬으로부터 대표 얼굴화상을 추출한다. 따라서 동화상의 일부를, 얼굴화상 추출의 처리 대상으로 할 수 있다. 또한 등록용 얼굴화상 추출 수단은, 같은 씬으로부터 등록용 얼굴화상을 추출한다. 이로써 동화상의 일부를, 얼굴화상 추출의 처리 대상으로 할 수 있다.
이상의 처리에 의해 얼굴화상 등록 장치는, 얼굴화상을 추출하는 처리의 대상으로 하는 동화상을, 전체중의 일부에 머물게 할 수 있다. 이로써 얼굴화상의 등록 처리에 필요로 하는 시간을, 보다 단축할 수 있는 효과를 이룬다.
(복수 씬을 처리)
또한, 본 발명에 관한 얼굴화상 등록 장치에서는, 또한,
상기 씬 추출 수단은, 복수의 다른 상기 씬을 상기 동화상으로부터 추출하고,
상기 등록용 얼굴화상 추출 수단은, 어떤 씬으로부터 상기 등록용 얼굴화상을 추출할 수가 없었을 때, 상기 씬과는 다른 딴 씬으로부터 상기 등록용 얼굴화상을 추출하는 것이 바람직하다.
(작용·효과)
상기한 구성에 의하면, 씬 추출 수단은, 복수의 다른 씬을 동화상으로부터 추출한다. 이 때 예를 들면, 인물의 얼굴이 찍혀 있지 않은 씬을 단락으로 하여, 단락된 복수의 부분 동화상을, 각각 다른 씬으로서 동화상으로부터 추출한다.
하나의 씬에, 등록 조건에 일치하는 모든 종류의 얼굴화상이 포함되어 있다고는 한하지 않는다. 그래서 등록용 얼굴화상 추출 수단은, 복수의 다른 씬중 있는 어떤씬으로부터 등록용 얼굴화상을 추출할 수가 없었을 때, 복수의 다른 씬중, 상기 씬과는 다른 딴 씬으로부터, 등록용 얼굴화상을 추출한다. 이로써, 사전에 등록하는 얼굴화상의 종류를, 보다 확실하게 늘릴 수 있는 효과를 이룬다.
(보다 신뢰성이 높은 얼굴화상으로 치환)
또한, 본 발명에 관한 얼굴화상 등록 장치에서는, 또한,
상기 등록용 얼굴화상 추출 수단은,
어떤 등록 조건에 일치하는 등록용 얼굴화상이, 상기 사전에 등록을 마친 경우, 해당 등록 조건에 일치하는 다른 등록용 얼굴화상을 새롭게 추출하고,
상기 얼굴화상 등록 수단은,
상기 다른 등록용 얼굴화상의 인식 신뢰도가, 상기 등록을 마친 등록용 얼굴화상의 인식 신뢰도보다도 높은 때, 해당 등록을 마친 얼굴화상을, 해당 다른 등록용 얼굴화상으로 치환하는 것이 바람직하다.
(작용·효과)
상기한 구성에 의하면, 등록용 얼굴화상 추출 수단은, 어떤 등록 조건에 일치하는 등록용 얼굴화상이 사전에 등록을 마친 경우에 있어서, 해당 등록 조건에 일치하는 다른 등록용 얼굴화상을 새롭게 추출한다.
그리고 얼굴화상 등록 수단은, 다른 등록용 얼굴화상의 인식 신뢰도가, 상기 등록을 마친 등록용 얼굴화상의 인식 신뢰도보다도 높은 때, 등록을 마친 얼굴화상을, 다른 등록용 얼굴화상으로 치환한다. 이것에 의해, 사전에 등록을 마친 얼굴화상의 인식 신뢰도를 보다 높일 수 있다.
따라서 얼굴화상 등록 장치는, 사전에 등록한 얼굴화상의 인식 정밀도를, 보다 높일 수 있는 효과를 이룬다.
(얼굴화상 등록 프로그램 및 기록 매체)
또한, 상기 얼굴화상 등록 장치는, 컴퓨터에 의해 실현하여도 좋다. 이 경우, 컴퓨터를 상기 각 수단으로서 동작시킴에 의해 상기 얼굴화상 등록 장치를 컴퓨터에서 실현한 얼굴화상 등록 프로그램, 및 그 얼굴화상 등록 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 범주에 들어간다.
본 발명의 다른 목적, 특징, 및 우수한 점은, 이하에 도시하는 기재에 의해 충분히 알 수 있을 것이다. 또한, 본 발명의 이점은, 첨부 도면을 참조한 다음의 설명에 의해 명백하게 될 것이다.
도 1은 본 발명의 한 실시 형태에 관한 얼굴화상 등록 시스템의 주요부 구성을 도시하는 블록도.
도 2는 얼굴화상 등록 장치가 동화상으로부터 얼굴화상을 추출하고 얼굴화상 사전에 등록할 때의 처리의 흐름을 도시하는 플로우 차트.
도 3(a)는 사전 작성 장치가 얼굴화상을 추출할 때에 처리하는 동화상의 한 예를 도시하는 도면.
도 3(b)는 씬 추출부에 의해 추출된 씬의 한 예를 도시하는 도면.
도 3(c)는 각각이 각종의 얼굴화상을 포함하고, 하나의 씬을 구성하는, 복수의 프레임의 예를 도시하는 도면.
도 4는 대표 얼굴화상의 선택을 유저에게 구하기 위한 표시 화면의 한 예를 도시하는 도면.
도 5는 픽업 조건 리스트(50)의 한 예를 도시하는 도면.
도 6은 픽업 조건에 일치하는 얼굴화상을 등록용 얼굴화상 추출부가 씬으로부터 추출하는 처리의 흐름을 도시하는 플로우 차트.
도 7은 등록용 얼굴화상 추출부에 의해 추출된 등록용 얼굴화상을, 얼굴화상 등록부가 얼굴화상 사전에 등록할 때의 처리의 흐름을 도시하는 플로우 차트.
도 8은 픽업 조건에 일치하는 얼굴화상을 등록용 얼굴화상 추출부가 추출할 때의 처리의 흐름을 도시하는 플로우 차트.
도 9는 등록용 얼굴화상 추출부가 픽업 조건 리스트를 갱신할 때의 처리의 흐름을 도시하는 플로우 차트.
도 10은 복수의 인물에 관한 얼굴화상을 얼굴화상 등록 장치가 추출하고, 얼굴화상 사전에 등록할 때의 처리의 흐름을 도시하는 플로우 차트.
도 11은 얼굴화상 사전에 기억되어 있는 사전 데이터의 한 예를 도시하는 도면.
(부호의 설명)
1 : 얼굴화상 등록 장치
2 : 입력 장치
3 : 표시 장치
10 : 동화 입력부
11 : 씬 추출부(영상 씬 추출 수단)
12 : 대표 얼굴화상 추출부(대표 얼굴화상 추출 수단)
13 : 등록용 얼굴화상 추출부(등록용 얼굴화상 추출 수단)
14 : 얼굴화상 등록부(얼굴화상 등록 수단)
15 : 얼굴화상 사전(사전)
16 : 입력 처리부
17 : 표시 처리부
20 : 얼굴화상 등록 시스템
40 : 화면
41 : 정면 얼굴화상
42 : 메시지 박스
50 : 픽업 조건 리스트
본 발명의 한 실시 형태에 관해, 도 1 내지 도 11을 참조하여 이하에 설명한다.
(얼굴화상 등록 시스템(20))
우선, 얼굴화상 등록 시스템(20)의 구성에 관해, 도 1을 참조하여 이하에 설 명한다. 도 1는, 본 발명의 한 실시 형태에 관한 얼굴화상 등록 시스템(20)의 주요부 구성을 도시하는 블록도이다. 이 도면에 도시하는 바와 같이, 얼굴화상 등록 시스템(20)은, 얼굴화상 등록 장치(1), 입력 장치(2), 표시 장치(3), 및 동화 촬영 장치(4)에 의해 구성되어 있다.
(얼굴화상 등록 장치(1))
얼굴화상 등록 장치(1)는, 얼굴 인증에 필요한 얼굴화상을, 사전에 등록하는 장치이다. 구성이나 개요 등의 상세는, 후술한다.
(입력 장치(2))
입력 장치(2)는, 정보를 얼굴화상 등록 장치(1)에 입력하거나, 표시 장치(3)에 표시되어 있는 정보를 선택하거나 하기 위해 유저가 이용하는 장치이다. 예를 들면 마우스나 키보드로서 실현된다.
(표시 장치(3))
표시 장치(3)는, 정보를 표시하고 유저에게 제시하는 장치이다. 예를 들면 액정 표시 장치나 플라즈마 표시 장치로서 실현된다.
(동화 촬영 장치(4))
동화 촬영 장치(4)는, 외계의 인물이나 사물을 동화에 촬영하는 장치이다. 예를 들면 비디오 카메라로서 실현된다.
(얼굴화상 등록 장치(1))
본 실시 형태에 관한 얼굴화상 등록 장치(1)에 관해, 도 1을 참조하여 이하에 설명한다. 도 1에 도시하는 바와 같이, 얼굴화상 등록 장치(1)는, 동화 입력 부(10), 씬 추출부(11)(씬 추출 수단), 대표 얼굴화상 추출부(12)(대표 얼굴화상 추출 수단), 등록용 얼굴화상 추출부(13)(등록용 얼굴화상 추출 수단), 얼굴화상 등록부(14)(얼굴화상 등록 수단), 얼굴화상 사전(15)(사전), 입력 처리부(16), 및 표시 처리부(17)를 구비하고 있다.
(얼굴화상 등록 장치(1)의 개요)
얼굴화상 등록 장치(1)의 개요를 우선 설명한다. 얼굴화상 등록 장치(1)는, 동화상으로부터 사전 등록에 적합한 얼굴화상을 추출하고, 등록한다. 즉 씬 잘라나눔이나, 얼굴화상의 그룹화가 목적은 아니다. 사전의 성능 향상과, 성능 향상 순서의 간략화를 목적으로 하고 있다.
구체적으로는, 얼굴화상 등록 장치(1)는, 얼굴의 인증 처리에 적합한 얼굴화상을, 입력된 동화상으로부터 추출하고, 얼굴화상 사전(15)에 자동적으로 등록한다. 이 때, 예를 들면 유저에 의해 지정된 인물의 얼굴화상을 선택적으로 등록한다. 얼굴화상을 동화상으로부터 추출하는 것이 포인트이다.
즉 동화상에는, 다양한 조건에 일치하는 얼굴화상이, 수많이 촬영되어 있을 가능성이 극히 높다. 그 때문에 얼굴화상 등록 장치는, 같은 인물에 관한 다른 얼굴화상을, 동화상으로부터 다양하게 추출할 수 있다. 이로써, 얼굴화상 사전(15)에 다양한 얼굴화상을 등록할 수 있기 때문에, 얼굴화상 사전(15)에 등록되는 얼굴화상의 치우침을 줄일 수 있다. 또한, 얼굴화상 사전(15)을 간단하면서 정밀도 좋게 작성할 수 있다.
이상으로 부터, 얼굴화상 등록 장치(1)에 의해 작성된 얼굴화상 사전(15)을 이용하면, 인증 장치는, 인물의 얼굴 인증의 성능을 크게 향상시킬 수 있다.
(얼굴화상의 등록 처리)
얼굴화상 등록 장치(1)가, 동화상으로부터 추출한 얼굴화상을 얼굴화상 사전(15)에 등록할 때의 처리에 관해, 도 2를 참조하여 이하에 설명한다. 도 2는, 얼굴화상 등록 장치(1)가 동화상으로부터 얼굴화상을 추출하고 얼굴화상 사전(15)에 등록할 때의 처리의 흐름을 도시하는 플로우 차트이다.
(동화상의 입력)
도 2에 도시하는 처리 전에, 유저는, 동화 촬영 장치(4)를 이용하여 동화상을 촬영하여 둔다. 이로써 동화 촬영 장치(4)는, 동화상을 얼굴화상 등록 장치(1)에 입력한다(스텝 S20). 입력된 동화상을, 얼굴화상 등록 장치(1)에서는 동화 입력부(10)가 접수한다. 입력 처리부(16)는, 접수한 동화상을 씬 추출부(11)에 출력한다.
본 발명에 있어서, 얼굴화상 등록 장치(1)에 입력되는 동화상은, 동화 촬영 장치(4)에 의해 촬영된 것으로 한정되지 않는다. 예를 들면, 시판되고 있는 유상(有償)의 영상 소프트라도 좋고, 또는 방송되고 있는 드라마나 스포츠 프로그램과 같은, 무상으로 입수할 수 있는 동화상이라도 좋다. 즉 얼굴화상 등록 장치(1)에 입력되는 동화상은, 인물의 얼굴이 촬영되어 있는 것이면 무엇이라도 좋다.
(동화상의 예)
얼굴화상 등록 장치(1)는, 동화상으로부터 얼굴화상을 추출한다. 그러면 우선, 얼굴화상 등록 장치(1)가 처리의 대상으로 하는 동화상의 한 예에 관해, 도 3(a)를 참조하여 이하에 설명한다. 도 3(a)는, 사전 작성 장치(1)가 얼굴화상을 추출할 때에 처리하는 동화상의 한 예를 도시하는 도면이다.
이 도면에 도시하는 바와 같이, 동화상(30)은, 복수의 연속한 프레임(31)에 의해 구성되어 있다. 각 프레임은 영상에서 말하는 바의 이른바 「코마」에 상당한다. 즉 각 프레임(31)는, 모두 하나의 정지화이다.
(씬의 추출)
얼굴화상 등록 장치에 있어서, 씬 추출부(11)는, 입력된 동화상으로부터, 적어도 하나의 씬을 추출한다(스텝 S21). 여기서 말하는 「씬」이란, 동화상을 구성하는 일부의 프레임이 연속하여 이어저 있는, 부분 동화상이다. 씬 추출부(11)는, 동일 인물의 얼굴이 프레임에 들어가고 나서, 나가기까지의 사이를, 하나의 씬으로서 추출하면 좋다. 즉 하나의 씬은, 어떤 인물의 얼굴이 최초의 프레임에 비치고 나서, 사라져 가기 까지의 것이면 좋다.
씬 추출부(11)는, 공지의 임의 수법을 이용하여, 동화상으로부터 씬을 추출하면 좋다. 예를 들면, 연속적으로 조금씩 변화하는 얼굴을 검출하여 뒤쫓는, 이른바 얼굴 트래킹 기술을 이용할 수 있다. 또한, 배경의 변화를 검출하고, 미리 정하여져 있는 특정 조건에 일치하는 배경을 비춘 프레임이 출현한 개소에서, 동화상을 잘라 나누어도 좋다. 이 때, 잘라 나눈 전후의 프레임군을, 각각 다른 씬으로서 추출하게 된다.
(씬의 한 예)
씬 추출부(11)에 의해 동화상으로부터 추출되는 씬의 한 예를, 도 3(b)를 참 조하여 이하에 설명한다. 도 3(b)는, 씬 추출부(11)에 의해 추출된 씬의 한 예를 도시하는 도면이다.
이 도면에 도시하는 예에서는, 씬 추출부(11)는, 하나의 동화상으로부터 3개의 씬을, 즉 씬(32), 씬(33), 및 씬(34)을 추출한다. 씬(32)은, 프레임(32a)부터 프레임(32b)까지, 연속하는 복수의 프레임이 이어진 구조를 취하고 있다. 이들의 프레임에는, 어느것이나, 동일 인물의 얼굴이 연속하여 촬영되어 있다.
씬(33)는, 프레임(33a) 및 프레임(33b)이라는 2개의 프레임으로 구성되어 있다. 프레임(33a)의 직전의 프레임, 및 프레임(33b)의 직후의 프레임에는, 얼굴이 촬영되어 있지 않기 때문에, 씬 추출부(11)는, 동화상중 프레임(33a 및 33b)의 2개에 의해 구성되는 개소를, 하나의 씬(33)으로서 추출한다.
씬(34)은, 3개의 프레임 즉 프레임(34a부터 34c)이 연속하여 이어진 구조를 취하고 있다. 이들의 프레임에는, 동일 인물의 얼굴화상이, 연속하여 촬영되어 있다. 그 때문에 씬 추출부(11)는, 동화상중 프레임(34a부터 34c)의 3개에 의해 구성되어 있는 개소를, 하나의 씬(34)으로서 추출한다.
(프레임의 한 예)
씬을 구성하는 프레임에 관해, 도 3(c)를 참조하여 이하에 설명한다. 도 3(c)는, 각각이 각종의 얼굴화상을 포함하고, 하나의 씬(32)을 구성하는, 복수의 프레임의 예를 도시하는 도면이다.
이 도면에 도시하는 바와 같이, 씬(32)은, 복수의 프레임에 의해 구성되어 있다. 각 프레임에는, 적어도 1인의 인물의 얼굴이 촬영되어 있다. 더하여, 다른 인물의 얼굴도 동시에 촬영하고 있는 프레임도, 씬(32)에 포함되어 있다. 또한, 반드시 모든 프레임이, 복수의 인물의 얼굴화상을 촬영하고 있다고는 한하지 않는다. 그러나, 각 프레임에는, 정면을 향한 얼굴, 옆을 향한 얼굴, 수염을 길은 얼굴, 입을 연 얼굴 등, 다양하게 다른 특징을 갖은 얼굴이 촬영되어 있다.
(정면얼굴의 추출)
씬 추출부(11)는, 스텝 S21에서 추출한 씬을, 대표 얼굴화상 추출부(12)에 출력한다. 대표 얼굴화상 추출부(12)는, 입력된 씬으로부터, 각종의 얼굴화상을 검색한다(스텝 S22).
이 때 대표 얼굴화상 추출부(12)는, 특히, 미리 정하여진 대표 조건에 일치하는 얼굴화상을 추출한다. 여기서 말하는 「대표 조건」이란, 동화상에 촬영되어 있는 각종의 얼굴화상중, 얼굴 인증에 가장 적합한 얼굴화상이 충족하여야 할 조건인 것이다. 얼굴화상 등록 장치(1)에 있어서, 대표 조건은, 도시하지 않은 메모리에 미리 기억되어 있다. 본 실시 형태에서는, 정면을 향한 얼굴의 얼굴화상이 충족시키는 조건이 대표 조건이다. 따라서 대표 얼굴화상 추출부(12)는, 입력된 씬으로부터, 정면을 향한 얼굴을 추출한다(스텝 S23).
또한, 대표 조건은, 반드시는, 정면을 향한 얼굴의 얼굴화상이 충족시키는 조건으로 한하지 않는다. 그외에, 얼굴 인증에 적합한 얼굴화상이 충족하여야 할 조건이라면, 어떤 조건이라도 좋다.
또한 대표 얼굴화상 추출부(12)는, 씬으로부터, 대표 조건에 일치하는 얼굴화상을, 가능한 한 전부 추출하여도 좋다. 따라서 같은 인물에 관한 정면을 향한 얼굴을, 각각 다른 대표 얼굴화상으로서 서로 구별하여 추출하여도 좋다.
또한, 얼굴화상 등록 장치(1)에 있어서, 유저가, 적절히, 대표 조건을 설정하여도 좋다. 이 경우 대표 얼굴화상 추출부(12)는, 유저에 의해 설정된 대표 조건에 일치하는 얼굴화상을, 대표 얼굴화상으로서 씬으로부터 추출한다.
(인물의 선택)
본 실시 형태에서는, 대표 얼굴화상 추출부(12)는, 입력된 씬으로부터, 가능한 한의 수의 대표 얼굴화상을, 해당하는 인물의 중복에 관계없이 모두 추출한다. 그리고, 추출한 모든 대표 얼굴화상을, 표시 처리부(17)에 출력한다.
대표 얼굴화상 추출부(12)가 대표 얼굴화상을 씬으로부터 추출을 마치면, 얼굴화상 등록 장치(1)는, 추출된 대표 얼굴화상을 하나, 선택한다(스텝 S24). 본 실시 형태의 얼굴화상 등록 장치(1)는, 얼굴화상 사전(15)에 등록시키고 싶은 인물의 대표 얼굴화상을, 유저에게 하나 선택시킨다.
구체적으로는, 표시 처리부(17)는, 입력된 모든 대표 얼굴화상을 표시 장치(3)에 표시시킨다. 유저는, 표시 장치(3)를 통하여 대표 얼굴화상의 표시를 확인한다. 다음에 유저는, 표시되어 있는 대표 얼굴화상 중 어느 하나를, 입력 장치(2)를 이용하여 선택한다. 이 선택을, 입력 처리부(16)가 접수한다. 입력 처리부(16)는, 유저가 선택한 대표 얼굴화상에 관한 정보를 등록용 얼굴화상 추출부(13)에 출력한다. 이로써 등록용 얼굴화상 추출부(13)는, 유저가 선택한 대표 얼굴화상을, 처리의 대상으로서 선택한다.
도 4는, 대표 얼굴화상의 선택을 유저에게 구하기 위한 표시 화면의 한 예를 도시하는 도면이다. 표시 처리부(17)는, 도 4에 도시하는 화면(40)을 표시 장치(3)에 표시시킨다. 화면(40)은, 정면 얼굴화상(41)을 포함하는 복수의 정면 얼굴화상을 표시하는 영역과, 메시지 박스(42)를 포함하고 있다. 메시지 박스(42)에는, 유저에게 얼굴화상의 선택을 촉구하는 메시지를 표시하고 있다. 도 4의 예에서는, 「등록하고 싶은 인물의 얼굴화상을 선택하여 주십시오」라는 메시지를 표시하고 있다.
상술한 바와 같이, 대표 얼굴화상 추출부(12)는, 대표 얼굴화상으로서, 동일 인물에 관해 다른 정면 얼굴화상을 복수회, 추출할 수도 있다. 이 때 표시 처리부(17)는, 표시 장치(3)에, 같은 인물에 관한 복수의 다른 정면 얼굴화상을, 동시에 표시시키게 된다.
(선택한 인물의 등록)
등록용 얼굴화상 추출부(13)는, 유저에 의해 선택된 정면 얼굴화상을 얼굴화상 사전(15)에 등록한다(스텝 S25). 이 때, 선택된 정면 얼굴화상을 식별하기 위한 고유의 식별자를, 얼굴화상 사전(15)에 등록하여도 좋다. 또는, 선택된 정면 얼굴화상 그 자체를, 등록하여도 좋다. 또는, 후술하는 방법에 의해 산출할 수 있는, 얼굴화상의 특징량을 등록하여도 좋다. 어쨌든, 선택된 인물의 얼굴을 나타내는 얼굴화상을 등록하기 위한 격납 영역을, 얼굴화상 사전(15)에 새롭게 설정하는 것에 다름은 없다.
(등록 인물에 관해 얼굴화상 검색)
등록용 얼굴화상 추출부(13)는, 유저에 의해 선택된 정면 얼굴화상이 나타내 는 인물에 관해, 같은 인물의 얼굴화상을, 각종, 입력된 씬으로부터 검색한다(스텝 S26). 이 때, 조건의 차이에 관계없이, 추출된 정면얼굴과 같은 인물의 얼굴이라고 판정할 수 있는 얼굴화상을, 전부 검색한다. 판정 수법은 공지의 것으로 좋다. 본 실시 형태에서는, 등록용 얼굴화상 추출부(13)는, 얼굴화상이라고 판정할 수 있는 화상을 일괄하여 검색하여 둔다.
(조건 판정 및 추출)
스텝 S26에서 각종의 얼굴화상을 검색한 후, 등록용 얼굴화상 추출부(13)는, 검색한 얼굴화상이, 미리 정하여져 있는 픽업 조건(등록 조건)에 일치하는지의 여부를 판정한다. 그리고, 충족시킨다고 판정한 얼굴화상을, 얼굴화상 사전(15)에 등록하는 얼굴화상으로서 추출한다(스텝 S27). 이 때, 도시하지 않은 메모리에 미리 기억되어 있는 픽업 조건 리스트를 이용한다. 「픽업 조건 리스트」란, 얼굴화상 사전(15)에의 등록에 적합한 얼굴화상이 충족하여야 할 각종의 픽업 조건을 하나로 정리한 리스트이다.
(픽업 조건 리스트(50))
등록용 얼굴화상 추출부(13)가 이용하는 픽업 조건 리스트(50)에 관해, 도 5를 참조하여 이하에 설명한다. 도 5는, 픽업 조건 리스트(50)의 한 예를 도시하는 도면이다.
이 도면에 도시하는 바와 같이, 픽업 조건 리스트(50)에 있어서, 주조건, 부조건(A), 부조건(B), 부조건(C)가 각각 정의되어 있다. 주조건은, 얼굴화상의 특징을 대략적으로 분류한 조건이다. 픽업 조건 리스트(50)에는, 얼굴 방향, 밝기, 표 정, 및 부대물이, 픽업 조건의 주조건으로서 정의되어 있다.
주조건을 더욱 세밀하게 정의한 것이, 부조건(A)이다. 예를 들면 「얼굴 방향」에는 「상」 「하」 「우」 「좌」가, 「밝기」에는 「플래시」 「배경비(背景比)」가, 「표정」에는 「눈」 「입」이, 그리고 「부대물」에는 「안경」 「수염」이, 각각 부조건(A)으로서 정의되어 있다.
부조건(A)을 더욱 세밀하게 정의한 것이, 부조건(B)이다. 예를 들면 「상」에는 「0 내지 30도」가, 「플래시」에는 「있음」 「없음」이, 「배경비」에는 「밝음」 「어두움」이, 「눈」에는 「개(開)」 「폐(閉)」라는 부조건(B)이 각각 정의되어 있다.
부조건(B)를 더욱 세밀하게 정의한 것이, 부조건(C)이다. 예를 들면 「0 내지 30도」에는 「5도씩」이 정의되어 있다.
이상과 같이, 픽업 조건에 의해서는, 설정되는 부조건의 레벨이 다르다. 그러나, 얼굴화상을 추출하기 위한 조건인 것에 다름은 없다. 즉, 특정한 조건에 일치하는 얼굴화상이라고 판정할 수 있는 조건의 자세함에 차이가 있을 뿐이다.
등록용 얼굴화상 추출부(13)는, 픽업 조건 리스트(50)에 정의되어 있는 주조건에, 해당 주조건에 속하는 부조건을 적절히 조합시켜서, 각종의 픽업 조건을 생성한다. 예를 들면, 「얼굴 방향」에 관해 말하면, 「위로 5도 향한 얼굴」을 하나의 픽업 조건으로서 취급한다.
스텝 S27에 도시하는 처리의 상세에 관해서는, 후술한다. 또한, 이 처리를 실행함에 의해, 등록용 얼굴화상 추출부(13)는, 픽업 조건 리스트(50)에 정의되어 있는 적어도 하나의 픽업 조건에 일치하는 얼굴화상을, 적어도 하나, 등록용 얼굴화상으로서 씬으로부터 추출한다.
(얼굴화상의 등록)
등록용 얼굴화상 추출부(13)는, 씬으로부터 추출한 등록용 얼굴화상을 얼굴화상 등록부(14)에 출력한다. 얼굴화상 등록부(14)는, 입력된 등록용 얼굴화상을 얼굴화상 사전(15)에 등록한다(스텝 S28). 이 상세는 후술한다.
(최종 판정 처리)
스텝 S28에서 등록용 얼굴화상을 얼굴화상 사전(15)에 등록한 후, 등록용 얼굴화상 추출부(13)는, 씬으로부터 얼굴화상을 추출하여 마쳤는지의 여부를 판정한다(스텝 S29). 이 때 등록용 얼굴화상 추출부(13)는,
조건(A) : 픽업 조건 리스트(50)에 정의되어 있는 각 픽업 조건에 일치하는 얼굴화상을 전부 얼굴화상 사전(15)에 등록하였다
조건(C) : 하나의 동화상 내의 전 씬을 처리하였다
조건(B) : 일정수의 씬을 처리하였다
조건(D) : 입력된 복수의 동화상을 전부 처리하였다
조건(E) : 일정수의 동화상을 처리하였다
조건(F) : 추출 처리를 시작하고 나서 일정 시간이 경과하였다
의 어느 하나를 충족시킨 때, 얼굴화상의 추출을 종료하였다고 판정한다.
상기한 조건(A부터 F)의 어느 것도 충족시키고 있지 않다고 판정한 때(No), 도 2에 도시하는 처리는 스텝 S27로 되돌아온다. 이 때 등록용 얼굴화상 추출 부(13)는, 씬으로부터 검색한 얼굴화상중 픽업 조건에 일치하는지의 여부를 판정하지 않은 얼굴화상을, 새롭게 하나선택한다. 그리고, 상술한 픽업 조건에 일치하는지의 여부를 판정한다.
이와 같이 하여, 스텝 S29에 나타내는 최종 판정 처리에서 「진(眞)」의 결과를 얻을 때까지, 등록용 얼굴화상 추출부(13)는, 씬으로부터 검색한 얼굴화상이, 등록용 얼굴화상으로서의 픽업 조건에 일치하는지의 여부를, 얼굴화상마다 반복 판정한다.
(조건 판정 및 추출 처리의 상세)
스텝 S27에 도시하는 조건 판정 및 추출 처리의 상세에 관해, 도 6을 참조하여 이하에 설명한다. 도 6는, 픽업 조건에 일치하는 얼굴화상을 등록용 얼굴화상 추출부(13)가 씬으로부터 추출하는 처리의 흐름을 도시하는 플로우 차트이다.
본 실시 형태의 등록용 얼굴화상 추출부(13)는, 예를 들면 특개2005-49854호 공보에 개시되어 있는 기술을 이용하여, 픽업 조건에 일치하는 얼굴화상을 씬으로부터 추출한다. 따라서 각 픽업 조건에 해당하는 얼굴화상(템플릿)을 사전에 필요로 하지 않는다. 즉, 픽업 조건으로서 정의되어 있는 조건이 주어지면, 그것에 일치하는 얼굴화상을, 인물마다 자동적으로 추출할 수 있다.
(미등록의 조건을 선택)
등록용 얼굴화상 추출부(13)는, 우선, 미등록의 픽업 조건을 하나 선택한다(스텝 S60). 여기서 말하는 「미등록의 픽업 조건」이란, 선택된 대표 얼굴화상이 나타내는 인물에 관한 얼굴화상중, 얼굴화상 사전(15)에 등록되어 있지 않은 얼굴 화상이 충족시키는 조건인 것이다. 예를 들면, 얼굴 방향의 픽업 조건에 일치하는 얼굴화상이, 얼굴화상 사전(15)에 등록되어 있지 않은 때, 얼굴 방향에 관한 픽업 조건을, 픽업 조건 리스트(50)로부터 선택한다.
등록용 얼굴화상 추출부(13)는, 선택한 조건에 응한 처리를 실행한다. 도 6의 예에서는, 선택한 조건을 처리하기 위한 블록까지 점프한다.
또한, 본 실시 형태에서는, 픽업 조건에 일치하는 얼굴화상을 얼굴화상 사전(15)에 등록한 것을 나타내는 플래그가, 픽업 조건마다 픽업 조건 리스트(50)에 설정되어 있다. 따라서 등록용 얼굴화상 추출부(13)는, 픽업 조건 리스트(50)에 정의되어 있는 픽업 조건중, 플래그가 설정되어 있지 않은 조건을, 미등록의 픽업 조건으로서 선택하면 좋다.
(얼굴 방향의 산출 및 판정)
이하에서는, 「얼굴 방향」의 조건에 일치하는 등록용 얼굴화상이, 얼굴화상 사전(15)에 미등록이라고 가정한다. 이 때 등록용 얼굴화상 추출부(13)는, 처리 대상의 얼굴화상이 나타내는 얼굴 방향을 산출한다. 예를 들면, 상향 40도, 라는 방향이나 수치를 산출한다.
이 때 등록용 얼굴화상 추출부(13)는, 예를 들면,
·눈과 입을 연결한 삼각형의 형태
·눈초리부터 얼굴의 윤곽까지의 거리, 좌우 방향
등에 의거하여, 얼굴 방향을 산출한다. 이들의 산출 방법은 이미 확립되어 있는 것이기 때문에, 상세한 설명을 생략한다.
등록용 얼굴화상 추출부(13)는, 산출한 얼굴 방향이, 선택한 픽업 조건을 충족시키고 있는지의 여부를 판정한다(스텝 S62). 충족시키고 있다고 판정한 때(Yes), 등록용 얼굴화상 추출부(13)는, 픽업 조건을 갱신한다(스텝 S69). 갱신의 상세는 후술한다.
(밝기의 산출 및 판정)
스텝 S62에서, 얼굴화상으로부터 산출한 얼굴 방향이, 얼굴 방향에 관한 픽업 조건에 일치하지 않는다고 판정한 때(No), 등록용 얼굴화상 추출부(13)는, 다음에 얼굴화상의 밝기를 산출한다(스텝 S63).
이 때 등록용 얼굴화상 추출부(13)는, 예를 들면,
·화상 파일이 조리개 정보
·플래시의 정보
·배경의 휘도와, 얼굴의 밝기 휘도의 차
·얼굴화상의 윤곽 내 화소의 휘도 레벨 평균치
등에 의거하여, 얼굴화상의 밝기를 선택한다. 이들의 산출 방법은 이미 확립되어 있는 것이기 때문에, 상세한 설명을 생략한다.
등록용 얼굴화상 추출부(13)는, 산출한 밝기가, 선택한 픽업 조건을 충족시키고 있는지의 여부를 판정한다(스텝 S64). 충족시키고 있다고 판정한 때(Yes), 등록용 얼굴화상 추출부(13)는, 픽업 조건을 갱신한다(스텝 S69). 갱신의 상세는 후술한다.
(표정의 산출 및 판정)
스텝 S64에서, 얼굴화상으로부터 산출한 밝기가, 밝기에 관한 픽업 조건에 일치하지 않는다고 판정한 때(No), 등록용 얼굴화상 추출부(13)는, 다음에 얼굴화상의 표정을 산출한다(스텝 S65).
이 때 등록용 얼굴화상 추출부(13)는, 예를 들면,
·눈의 중심부터의 에지량
·눈의 중심부터 상하 좌우 방향으로의 에지량
·눈동자와 흰자위의 경계
·눈의 세로와 가로와의 비율
등에 의거하여, 얼굴화상의 표정을 산출한다. 이들의 산출 방법은 이미 확립되어 있는 것이기 때문에, 상세한 설명을 생략한다.
등록용 얼굴화상 추출부(13)는, 산출한 표정이, 표정에 관한 픽업 조건을 충족시키고 있는지의 여부를 판정한다(스텝 S68). 충족시키고 있다고 판정한 때(Yes), 등록용 얼굴화상 추출부(13)는 픽업 조건을 갱신한다(스텝 S69). 갱신의 상세는 후술한다.
(부대물의 산출 및 판정)
스텝 S66에서, 얼굴화상으로부터 산출한 표정이, 표정에 관한 픽업 조건에 일치하지 않는다고 판정한 때(No), 등록용 얼굴화상 추출부(13)는, 다음에 얼굴화상의 부대물의 유무를 산출한다(스텝 S67).
이 때 등록용 얼굴화상 추출부(13)는, 예를 들면,
·대표 얼굴화상과의 차
·눈의 주위의 색과, 살색과의 차이
·입의 주위의 색(흑색)
등에 의거하여, 얼굴화상의 부대물의 유무를 산출한다. 이들의 산출 방법은 이미 확립되어 있는 것이기 때문에, 상세한 설명을 생략한다.
등록용 얼굴화상 추출부(13)는, 산출한 부대물이, 부대물에 관한 픽업 조건을 충족시키고 있는지의 여부를 판정한다(스텝 S68). 충족시키고 있다고 판정한 때(Yes), 등록용 얼굴화상 추출부(13)는, 픽업 조건을 갱신한다(스텝 S69). 상세는 후술한다.
(픽업 조건 리스트(50)의 갱신)
얼굴 방향, 밝기, 표정, 부대물의 어느것에든지, 얼굴화상으로부터 산출한 조건이, 선택한 픽업 조건을 충족시키고 있다고 판정한 때(Yes), 등록용 얼굴화상 추출부(13)는, 픽업 조건 리스트(50)를 갱신한다(스텝 S69). 구체적으로는, 선택한 픽업 조건에 관해, 일치하는 얼굴화상을 얼굴화상 사전(15)에 등록하는 것을 나타내는 플래그를, 픽업 조건 리스트(50)에 세운다. 이 때 등록용 얼굴화상 추출부(13)는, 다음 얼굴화상을 처리할 때, 이번 등록한 조건을 재차 선택하는 일은 없다.
(정리)
이상과 같이 얼굴화상 등록 장치(1)는, 얼굴화상 사전(15)에 등록하고 싶는 인물을 유저가 선택함에 의해, 그 인불의 얼굴 인증에 최적인 얼굴화상 사전(15)을 자동적으로 생성한다. 즉, 다양하게 다른 얼굴화상을 동화상(씬)으로부터 자동적으 로 추출하고, 얼굴화상 사전(15)에 등록한다. 따라서 얼굴화상의 등록 처리에 필요로 하는 수고를, 종래 기술보다도 줄일 수 있다.
또한, 얼굴화상 등록 장치(1)는, 얼굴화상 사전(15)에 등록하는 등록용 얼굴화상의 선택을, 유저에게 맡겨도 좋다. 이 때 얼굴화상 등록 장치(1)는, 검색한 각종의 얼굴화상을, 표시 장치(3)에 일람 표시시킨다. 이로써, 유저에 의해 선택된 얼굴화상을 얼굴화상 사전(15)에 등록하게 된다. 이 경우, 등록한 얼굴화상의 선별에 유저에 의한 판정이 가미되기 때문에, 얼굴화상 사전(15)의 정밀도를 보다 높일 수 있다.
(무작위한 선택)
이상의 예에서는, 등록용 얼굴화상 추출부(13)는, 픽업 조건에 일치하는 얼굴화상을 추출할 때마다, 픽업 조건 리스트(50)를 갱신하고 있다. 그러나 등록용 얼굴화상 추출부(13)는, 픽업 조건에 일치하는 얼굴화상을, 우선, 전부 정리하고 메모리에 기억하여도 좋다. 이 때 등록용 얼굴화상 추출부(13)는, 얼굴화상의 추출을 종료한 후, 얼굴화상 사전(15)에 등록한 얼굴화상을 하나, 무작위하게 선택하면 좋다. 또는, 등록한 얼굴화상을 유저에게 선택시켜서도 좋다.
(얼굴화상 사전(15)에의 등록 처리의 상세)
스텝 S28에서 얼굴화상 등록부(14)가 실행하는, 얼굴화상 사전(15)에의 얼굴화상의 등록 처리에 관해, 도 7을 참조하여 이하에 설명한다. 도 7은, 등록용 얼굴화상 추출부(13)에 의해 추출된 등록용 얼굴화상을, 얼굴화상 등록부(14)가 얼굴화상 사전(15)에 등록할 때의 처리의 흐름을 도시하는 플로우 차트이다.
(기관 위치의 검출)
이 도면에 도시하는 바와 같이, 얼굴화상 등록부(14)는, 우선, 얼굴화상에 의해 표시되는 얼굴에 관해, 각종의 기관의 위치를 검출한다(스텝 S70). 구체적으로는, 눈의 중심, 눈초리, 눈시울, 입, 입의 양단, 눈썹의 양단 등을 검출한다. 기관의 검출 수법은 공지이기 때문에, 상세한 설명을 생략한다. 얼굴화상 등록부(14)가 검출하는 기관은 이들로 한정되지 않고, 얼굴의 기관이라면 어느 것이라도 좋다. 검출하는 수도 특히 한정되지 않는다. 어느 기관을, 얼마만큼의 수 검출하는가는, 얼굴화상 등록 장치(1)에서 도시하지 않은 메모리에 미리 정하여져 있다.
(특징량의 산출)
얼굴화상의 기관 위치를 검출한 후, 얼굴화상 등록부(14)는, 검출한 각 기관 위치의 정보를 이용하여, 얼굴화상의 특징량을 산출한다(스텝 S71). 이로써 얼굴화상의 특징을 수치화한다. 수치화의 방법은 이미 확립되어 있는 것이기 때문에, 여기서는 특히 상세하게 설명하지 않는다.
(특징량의 등록)
다음에 얼굴화상 등록부(14)는, 산출한 특징량을, 얼굴화상 사전(15)에서, 이미 등록되어 있는 대표 얼굴화상에 관련시켜서 격납한다(스텝 S72).
이상의 처리에 의해, 얼굴화상 등록부(14)는, 얼굴화상 그 자체를 얼굴화상 사전(15)에 등록하는 것에 비하여, 보다 적은 양으로의 데이터를 얼굴화상 사전(15)에 등록한다. 따라서 생성하는 얼굴화상 사전(15)의 데이터 사이즈를, 보다 작게 할 수 있다.
(조건 판정 및 추출 처리)
이상에 설명한 예에서는, 얼굴화상 등록 장치(1)는, 얼굴화상 사전(15)에 등록되어 있지 않은 픽업 조건에 일치하는 얼굴화상을 추출하고, 얼굴화상 사전(15)에 등록하고 있다. 그러나 얼굴화상 등록 장치(1)는, 등록 끝나든지의 여부에 관계없이, 픽업 조건에 일치하는 얼굴화상을 추출하여도 좋다. 이 때 등록용 얼굴화상 추출부(13)는, 얼굴화상 사전(15)에 등록되어 있는 얼굴화상과, 새롭게 추출한 등록용 얼굴화상중, 어느쪽이 얼굴 인증에 적합하고 있는지를 판정한다. 만약 새롭게 추출한 얼굴화상의 쪽이, 얼굴 인증에 적합하고 있다고 판정한 때, 기존의 얼굴화상을, 새롭게 추출한 얼굴화상에 의해 치환한다.
이상의 처리에 관해, 도 8을 참조하여 이하에 설명한다. 도 8은, 픽업 조건에 일치하는 얼굴화상을 등록용 얼굴화상 추출부(13)가 추출할 때의 처리의 흐름을 도시하는 플로우 차트이다.
처리 전에, 등록용 얼굴화상 추출부(13)는, 처리 대상으로 하는 얼굴화상을 하나, 선택하고 있다. 다음에 얼굴화상 등록부(14)는, 선택한 얼굴화상에 관한 얼굴 방향을 산출한다(스텝 S80). 얼굴 방향의 산출 처리에 관해서는 상술하였기 때문에, 설명을 생략한다. 등록용 얼굴화상 추출부(13)는, 산출한 얼굴 방향이, 픽업 조건 리스트(50)에 정의되어 있는, 얼굴 방향에 관한 픽업 조건의 적어도 어느 하나에 일치하는지의 여부를 판정한다(스텝 S81).
스텝 S81에서, 산출한 얼굴 방향이 픽업 조건에 일치한다고 판정한 때(Yes), 등록용 얼굴화상 추출부(13)는, 픽업 조건 리스트(50)를 갱신한다. 이 처리의 상세 에 관해서는, 후술한다.
스텝 S81에서, 산출한 얼굴 방향이 픽업 조건에 일치하지 않는다고 판정한 때(No), 등록용 얼굴화상 추출부(13)는, 다음에, 선택한 얼굴화상에 관한 밝기를 산출한다(스텝 S82). 밝기의 산출 처리에 관해서는 상술하였기 때문에, 설명을 생략한다. 등록용 얼굴화상 추출부(13)는, 산출한 밝기가, 픽업 조건 리스트(50)에 정의되어 있는, 밝기에 관한 픽업 조건의 적어도 어느 하나에 일치하는지의 여부를 판정한다(스텝 S83).
스텝 S83에서, 산출한 밝기가 픽업 조건에 일치한다고 판정한 때(Yes), 등록용 얼굴화상 추출부(13)는, 픽업 조건 리스트(50)를 갱신한다. 이 처리의 상세에 관해서는, 후술한다.
스텝 S83에서, 산출한 얼굴 방향이 픽업 조건에 일치하지 않는다고 판정한 때(No), 등록용 얼굴화상 추출부(13)는, 다음에, 선택한 얼굴화상에 관한 표정을 산출한다(스텝 S82). 표정의 산출 처리에 관해서는 상술하였기 때문에, 설명을 생략한다. 등록용 얼굴화상 추출부(13)는, 산출한 표정이, 픽업 조건 리스트(50)에 정의되어 있는, 표정에 관한 픽업 조건의 적어도 어느 하나에 일치하는지의 여부를 판정한다(스텝 S85).
스텝 S83에서, 산출한 밝기가 픽업 조건에 일치한다고 판정한 때(Yes), 등록용 얼굴화상 추출부(13)는, 픽업 조건 리스트(50)를 갱신한다. 이 처리의 상세에 관해서는, 후술한다.
스텝 S85에서, 산출한 표정이 픽업 조건에 일치하지 않는다고 판정한 때(No), 등록용 얼굴화상 추출부(13)는, 다음에, 선택한 얼굴화상에 관한 부대물을 산출한다(스텝 S86). 표정의 산출 처리에 관해서는 상술하였기 때문에, 설명을 생략한다. 등록용 얼굴화상 추출부(13)는, 산출한 부대물이, 픽업 조건 리스트(50)에 정의되어 있는, 부대물에 관한 픽업 조건의 적어도 어느 하나에 일치하는지의 여부를 판정한다(스텝 S87).
(픽업 조건 리스트의 갱신)
어느 픽업 조건에 일치하는지에 관계없이, 등록용 얼굴화상 추출부(13)는, 얼굴화상이 픽업 조건에 일치하는 때, 픽업 조건 리스트(50)를 갱신한다(스텝 S88).
(픽업 조건 리스트 갱신의 상세)
스텝 S88에서 등록용 얼굴화상 추출부(13)가 실행하는, 픽업 조건 리스트(50) 갱신 처리에 관해, 도 9를 참조하여 이하에 설명한다. 도 9는, 등록용 얼굴화상 추출부(13)가 픽업 조건 리스트를 갱신할 때의 처리의 흐름을 도시하는 플로우 차트이다.
우선 등록용 얼굴화상 추출부(13)는, 선택한 얼굴화상에 일치한다고 판정한 픽업 조건이, 픽업 조건 리스트(50)에 등록 끝남인지의 여부를 판정한다(스텝 S90). 구체적으로는, 픽업 조건 리스트(50)에, 그 픽업 조건에 관한 플래그가 설정되어 있는지의 여부를 판정한다.
(인식 신뢰도의 비교)
스텝 S90에서 판정의 결과가 「위(僞)」일 때(No), 픽업 조건 리스트(50)를 갱신한다. 구체적으로는, 얼굴화상에 일치한다고 판정한 픽업 조건에, 플래그를 설정한다
한편, 스텝 S90에서 판정의 결과가 「진(眞)」일 때(Yes), 그 픽업 조건에는 이미 플래그가 설정되어 있다. 즉, 그 픽업 조건에 일치하는 얼굴화상이, 이미 얼굴화상 사전(15)에 등록되어 있다. 그래서 등록용 얼굴화상 추출부(13)는, 등록이 끝난 얼굴화상에 관한 인식 신뢰도와, 새롭게 추출한 얼굴화상에 관한 인식 신뢰도를 비교한다. 이로써, 기억되어 있는 인식 신뢰도가, 새롭게 산출한 인식 신뢰도가, 기억이 끝난 인식 신뢰도보다도 큰지의 여부를 판정한다(스텝 S91).
여기서 말하는 「인식 신뢰도」란, 픽업 조건의 충족 정도를 수치화한 것이다. 예를 들면, 얼굴 방향이라면, 5도, 8도라는 바와 같이, 등록용 얼굴화상 추출부(13)는, 산출한 수치를, 픽업 조건에 관련시켜서 픽업 조건 리스트(50)에 기억한다. 또는, 등록용 얼굴화상에 관련시켜서 얼굴화상 사전(15)에 등록하여도 좋다.
스텝 S90에서 판정의 결과가 「진」일 때(Yes), 등록용 얼굴화상 추출부(13)는, 픽업 조건 리스트(50)를 갱신한다. 픽업 조건에 일치하는 얼굴화상이 얼굴화상 사전(15)에 등록되어 있는 것을 나타내는 플래그는, 이미 픽업 조건 리스트(50)에 설정되어 있기 때문에, 그대로로 한다. 한편으로, 그때까지 기억되어 있는 인식 신뢰도를, 새롭게 추출한 얼굴화상에 관한 인식 신뢰도로 치환한다. 이 후에, 얼굴화상 등록부(14)가, 얼굴화상 사전(15)에 등록이 끝난 얼굴화상을, 등록용 얼굴화상 추출부(13)에 의해 새롭게 추출된 얼굴화상으로 치환한다.
이상의 처리에 의해, 얼굴화상 사전(15)에, 보다 인식 정밀도가 높은 얼굴화 상을 등록할 수 있다. 따라서 얼굴화상 등록 장치(1)가 생성한 얼굴화상 사전(15)의 인증 정밀도를, 보다 높일 수 있다.
(복수의 인물에 관한 얼굴화상을 등록)
이상에 설명한 예에서는얼굴화상 등록 장치(1)는, 복수의 대표 얼굴화상중, 유저가 선택한 1인의 인물에 관한 등록용 얼굴화상을 추출하고, 얼굴화상 사전(15)에 등록하고 있다. 그러나 얼굴화상 등록 장치(1)는, 하나의 동화상, 또는 하나의 씬으로부터 등록에 적합한 얼굴화상을 추출할 때, 복수의 인물에 관한 등록용 얼굴화상을 각각 추출하고, 얼굴화상 사전(15)에 계속하여 등록하여도 좋다.
도 10은, 복수의 인물에 관한 얼굴화상을 얼굴화상 등록 장치(1)가 추출하고, 얼굴화상 사전(15)에 등록할 때의 처리의 흐름을 도시하는 플로우 차트이다.
도 10에 도시하는 스텝 S100부터 S109의 처리는, 각각, 스텝 S20부터 S29의 처리와, 본질적으로 동일하다. 그 때문에, 상세는 설명을 생략한다. 또한, 스텝 S104에서, 표시 처리부(17)는, 유저가 선택한 인물이 선택 끝남인 것을 나타내는 플래그를, 도시하지 않은 메모리에 설정한다.
스텝 S109에서, 어떤 인물에 관한 등록용 얼굴화상의 추출을 종료하였다고 판정한 때(Yes), 등록용 얼굴화상 추출부(13)는, 유저에게 제시한 대표 얼굴화상의 인물중, 얼굴화상 사전(15)에 미등록, 즉 아직 처리의 대상으로 하고 있지 않은 얼굴화상에 관한 인물이 있는지의 여부를 판정한다(스텝 S110). 구체적으로는, 플래그가 미설정의 얼굴화상이 있는지의 여부를 판정한다.
스텝 S110에서 판정의 결과가 「진」일 때(Yes), 도 10의 처리는 스텝 S104 로 되돌아와, 얼굴화상 등록 장치(1)는, 표시 장치(3)에 표시시킨 대표 얼굴화상중, 미등록의 것을, 유저에게 선택시킨다. 이 때 예를 들면 선택이 끝난 얼굴화상을 그레이 스케일 표시하는 등으로, 선택 끝남인 것을 명시시켜서도 좋다.
유저는, 미선택의 대표 얼굴화상을 하나 선택한다. 이로써 등록용 얼굴화상 추출부(13)는, 새롭게 선택된 대표 얼굴화상이 나타내는 인물에 관한 등록용 얼굴화상을, 씬으로부터 추출한다. 그리고, 등록용 얼굴화상 추출부(13)에 의해 선택한 등록용 얼굴화상을, 얼굴화상 등록부(14)가 얼굴화상 사전(15)에 등록한다.
이상의 처리를, 이미 선택할 수 있는 대표 얼굴화상이 없어지던가, 또는 유저에 의해 명시적으로 등록 종료의 지시가 이루어질 때까지, 얼굴화상 등록 장치(1)는 반복한다.
(작용·효과)
동화상에는, 1인의 인물이 촬영되어 있다고는 한하지 않는다. 많은 인물이 찍히여 있는 것도, 종종 있다. 그래서 등록용 얼굴화상 추출부(13)는, 대표 얼굴화상 추출부(12)에 의해, 복수의 다른 대표 얼굴화상이 추출된 때, 대표 얼굴화상마다 등록용 얼굴화상을 추출한다. 복수의 다른 대표 얼굴화상이란, 개개의 얼굴화상이 각각 다른 인물의 얼굴을 나타내고 있는 복수의 얼굴화상인 것이다. 이 때 등록용 얼굴화상 추출부(13)는, 다른 인물마다, 등록용 얼굴화상을 추출한다.
따라서 얼굴화상 등록부(14)는, 동화상에 복수의 인물이 촬영되어 있는 경우에 있어서, 인물마다, 대표 얼굴화상과 이 등록용 얼굴화상을 관련시켜서, 얼굴화상 사전(15)에 등록한다. 따라서 얼굴화상 사전(15)에는, 복수의 다른 인물에 관한 얼굴화상이 축적되게 된다.
이상의 처리에 의해, 얼굴화상 등록 장치(1)는, 얼굴화상 사전(15)의 충실도를 보다 높일 수 있다.
(사전 데이터의 한 예)
얼굴화상 등록 장치(1)가 생성하는, 얼굴화상 사전(15)에 기억된 사전 데이터의 한 예에 관해, 도 11을 참조하여 이하에 설명한다. 도 11은, 얼굴화상 사전(15)에 기억되어 있는 사전 데이터의 한 예를 도시하는 도면이다.
이 도면에 도시하는 바와 같이, 얼굴화상 등록 장치(1)가 생성하는 사전 데이터는, 헤더 데이터(H), 특징량 데이터(d1), 특징량 데이터(d2), … 특징량 데이터(dn)를 포함하고 있다. 헤더 데이터(H)는, 얼굴화상 사전(15)의 버전 정보나, 얼굴화상 사전(15)에 등록되어 있는 인물의 인원수 등, 사전 데이터 전체에 관한 각종의 정의(定義) 데이터에 의해 구성되어 있다. 각 특징량 데이터(di)(i=1, 2, … n)는, 대표 얼굴화상 추출부(12)에 의해 동화상으로부터 추출된 대표 얼굴화상이 나타내는 인물마다의, 특징량을 나타내는 데이터이다. 인물마다의 특징량 데이터에 있어서, 특징량은, 등록용 얼굴화상마다 나누어지지 않고 일체화되어 있다.
(얼굴화상 사전(15)의 이용)
상술한 바와 같이, 얼굴화상 등록 장치(1)는, 특정한 픽업 조건에 일치하는 템플릿 화상과, 동화상 내의 얼굴화상을 비교하여, 일치하는 얼굴화상을 추출하고 있는 것이 아니다. 그 대신에, 등록된 각 픽업 조건에 일치하는 얼굴화상을 추출하고, 추출한 얼굴화상으로부터 산출한 특징량을 하나로 합성하여, 얼굴화상 사 전(15)을 생성한다. 따라서 등록 끝남 조건보다도 폭넓게 대응할 수 있는 얼굴화상 사전(15)을 작성할 수 있다.
이상과 같이 하여 얼굴화상 등록 장치(1)가 생성한 얼굴화상 사전(15)을, 각종의 인증 장치가 사용한다. 예를 들면, 인증 장치는, 주어진 다량의 정지화로부터, 특정한 인물이 찍혀진 사진을 추출한다. 또는, 본인 인증시에 얼굴화상 사전(15)을 사용하여, 인증 정밀도를 높일 수도 있다. 또는, 입력된 동화로부터, 특정한 인물이 등장하는 장면을 발출(拔出)할 수도 있다. 어떻든, 종래에 비하여 보다 정밀도가 높은 얼굴화상 사전(15)을 이용할 수 있기 때문에, 얼굴화상의 인증을 종래에 비하여 보다 정밀도 좋게 실행할 수 있다.
또한, 본 발명은 상술한 실시 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜서 얻어지는 실시 형태에 관해서도, 본 발명의 기술적 범위에 포함된다.
(다른 씬의 연속 검색)
예를 들면 하나의 씬에, 픽업 조건에 일치하는 모든 종류의 얼굴화상이 포함되어 있다고는 한하지 않는다. 그래서 등록용 얼굴화상 추출부(13)는, 하나의 씬에 필요한 등록용 얼굴화상이 없으면, 다른 씬을 검색 대상으로 할 수도 있다.
이 때 씬 추출부(11)는, 동화상으로부터, 복수의 다른 씬을 추출한다. 이 때 예를 들면, 인물의 얼굴이 찍혀 있지 않은 장면을 단락으로 한다. 등록용 얼굴화상 추출부(13)는, 복수의 다른 씬중 있는 어떤 씬으로부터 등록용 얼굴화상을 추출할 수가 없었을 때, 복수의 다른 씬중, 그 씬과는 다른 딴 씬으로부터, 등록용 얼굴화상을 추출한다. 이로써, 얼굴화상 사전(15)에 등록하는 얼굴화상의 종류를, 보다 확실하게 늘릴 수 있다.
(얼굴화상의 크기)
대표 얼굴화상 추출부(12)는, 씬으로부터 대표 얼굴화상을 추출할 때, 인물마다, 서로 같은 크기의 얼굴화상을 추출할 수도 있다. 이와 같이 하면, 얼굴화상 사전(15)에 등록하는 대표 얼굴화상의 인증 정밀도를 안정시킬 수 있다.
마찬가지로, 등록용 얼굴화상 추출부(13)는, 씬으로부터 등록을 추출할 때에, 픽업 조건마다, 서로 같은 크기의 얼굴화상을 추출할 수도 있다. 이와 같이 하면, 얼굴화상 사전(15)에 등록하는 등록용 얼굴화상의 인증 정밀도를 안정시킬 수 있다.
(대표 얼굴화상의 자동 선택)
얼굴화상 등록 장치(1)는, 대표 얼굴화상 추출부(12)가 추출한 대표 얼굴화상을, 유저에게 선택시키는 일 없이, 자동적으로 선택하여도 좋다. 이 때 등록용 얼굴화상 추출부(13)가, 추출된 대표 얼굴화상중 어느 하나를 선택하고, 해당 선택한 대표 얼굴화상이 나타내는 인물에 관한 등록용 얼굴화상을, 씬으로부터 추출한다. 이 수법에 의하면, 얼굴화상 사전(15)을 완전히 자동적으로 생성할 수 있고, 유저의 손을 일체, 괴롭히는 것이 없다.
(얼굴화상 등록 프로그램 및 기록 매체)
최후로, 얼굴화상 등록 장치(1)에 포함되어 있는 각 블록은, 하드웨어 로직 에 의해 구성하면 좋다. 또는, 다음과 같이, CPU(Central Processing Unit)를 이용하여 소프트웨어에 의해 실현하여도 좋다.
즉 얼굴화상 등록 장치(1)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU, 이 제어 프로그램을 격납한 ROM(Read Only Memory), 상기 제어 프로그램을 실행 가능한 형식으로 전개하는 RAM(Random Access Memory), 및, 상기 제어 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체)를 구비하고 있다.
이 구성에 의해, 본 발명의 목적은, 소정의 기록 매체에 의해서도 달성할 수 있다. 이 기록 매체는, 상술한 기능을 실현하는 소프트웨어인 얼굴화상 등록 장치(1)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)을 컴퓨터에서 판독 가능하게 기록하고 있으면 좋다. 얼굴화상 등록 장치(1)에 이 기록 매체를 공급한다. 이로써, 컴퓨터로서의 얼굴화상 등록 장치(1)(또는 CPU나 MPU)가, 공급된 기록 매체에 기록되어 있는 프로그램 코드를 판독하고, 실행하면 좋다.
프로그램 코드를 얼굴화상 등록 장치(1)에 공급하는 기록 매체는, 특정한 구조 또는 종류의 것으로 한정되지 않는다. 즉 이 기록 매체는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크ROM/EPROM/EEPROM/플래시ROM 등의 반도체 메모리계 등으로 할 수가 있다.
또한 얼굴화상 등록 장치(1)는, 통신 네트워크와 접속 가능하게 구성하여도, 본 발명의 목적을 달성할 수 있다. 이 경우, 상기한 프로그램 코드를, 통신 네트워크를 통하여 얼굴화상 등록 장치(1)에 공급한다. 이 통신 네트워크는, 얼굴화상 등록 장치(1)에 프로그램 코드를 공급할 수 있는 것이면 좋고, 특정한 종류 또는 형태로 한정되지 않는다. 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(Virtual Private Network), 전화 회선망, 이동체 통신망, 위성 통신망 등이면 좋다.
이 통신 네트워크를 구성하는 전송 매체도, 프로그램 코드를 전송 가능한 임의의 매체이면 좋고, 특정한 구성 또는 종류의 것으로 한정되지 않는다. 예를 들면, IEEE1394, USB(Universal Serial Bus), 전력선 반송, 케이블TV 회선, 전화선, ADSL(Asymmetric Digital Subsciiber Line) 회선 등의 유선이라도, IrDA나 리모트 콘트롤과 같은 적외선, Bluetooth(등록상표), 802.11 무선, HDR, 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 매입된 컴퓨터 데이터 신호의 형태라도 실현될 수 있다.
이상과 같이, 본 발명에 관한 얼굴화상 등록 장치는, 동화상으로부터 추출된 등록용 얼굴화상을, 동화상으로부터 추출된 대표 얼굴화상에 관련시켜서 사전에 등록하는 얼굴화상 등록 수단을 구비하고 있기 때문에, 유저에게 수고를 끼치는 일 없이, 다양한 얼굴화상을 사전에 등록할 수 있는 효과를 이룬다.
발명의 상세한 설명의 항에서 이루어진 구체적인 실시 형태 또는 실시예는, 어디까지나, 본 발명의 기술 내용을 명확하게 하는 것이고, 그와 같은 구체예로만 한정하고 협의로 해석되어야 하는 것이 아니라, 본 발명의 정신과 다음에 기재한 청구의 범위 내에서, 여러가지로 변경하여 실시할 수 있는 것이다.
본 발명은, 인물의 얼굴화상을 인증하는 각종의 인증 장치가 이용하는 얼굴화상 사전을 생성하는 얼굴화상 등록 장치로서 널리 이용할 수 있다.

Claims (11)

  1. 입력된 동화상으로부터, 인물의 얼굴을 나타내는 얼굴화상을 추출하고 사전에 등록하는 얼굴화상 등록 장치로서,
    미리 정하여진 대표 조건에 일치하는 적어도 하나의 얼굴화상을, 대표 얼굴화상으로서 상기 동화상으로부터 추출하는 대표 얼굴화상 추출 수단과,
    상기 대표 얼굴화상이 나타내는 인물에 관한 다른 얼굴화상중, 미리 정하여진 등록 조건에 일치하는 적어도 하나의 다른 얼굴화상을, 등록용 얼굴화상으로서 상기 동화상으로부터 추출하는 등록용 얼굴화상 추출 수단과,
    상기 등록용 얼굴화상을 상기 대표 얼굴화상에 관련시켜서 상기 사전에 등록하는 얼굴화상 등록 수단을 구비하고,
    상기 등록용 얼굴화상 추출 수단은,
    서로 다른 복수의 등록 조건이 미리 정하여져 있을 때, 해당 등록 조건마다, 해당 등록 조건에 일치하는 적어도 하나의 상기 등록용 얼굴화상을 추출하고,
    상기 얼굴화상 등록 수단은,
    상기 대표 얼굴화상에, 상기 등록 조건마다 추출된 상기 등록용 얼굴화상을, 서로 전부 관련시켜서 상기 사전에 등록하는 것을 특징으로 하는 얼굴화상 등록 장치.
  2. 제 1항에 있어서,
    상기 얼굴화상 등록 수단은,
    상기 등록용 얼굴화상의 특징을 수치화한 특징량을, 상기 사전에 등록하는 것을 특징으로 하는 얼굴화상 등록 장치.
  3. 삭제
  4. 제 1항에 있어서,
    상기 등록용 얼굴화상 추출 수단은,
    서로 다른 복수의 등록 조건이 미리 정하여져 있을 때, 해당 등록 조건마다, 해당 등록 조건에 일치하는 하나의 상기 등록용 얼굴화상을 추출하고,
    상기 얼굴화상 등록 수단은,
    상기 대표 얼굴화상에, 상기 등록 조건마다 추출된 하나의 상기 등록용 얼굴화상을, 서로 전부 관련시켜서 상기 사전에 등록하는 것을 특징으로 하는 얼굴화상 등록 장치.
  5. 제 1항에 있어서,
    상기 등록용 얼굴화상 추출 수단은,
    상기 대표 얼굴화상 추출 수단에 의해 복수의 다른 상기 대표 얼굴화상이 추출된 때, 해당 대표 얼굴화상마다 상기 등록용 얼굴화상을 추출하는 것을 특징으로 하는 얼굴화상 등록 장치.
  6. 제 1항에 있어서,
    상기 동화상으로부터 씬을 추출하는 씬 추출 수단을 또한 구비하고,
    상기 대표 얼굴화상 추출 수단은, 상기 씬으로부터 상기 대표 얼굴화상을 추출하고,
    상기 등록용 얼굴화상 추출 수단은, 상기 씬으로부터 상기 등록용 얼굴화상을 추출하는 것을 특징으로 하는 얼굴화상 등록 장치.
  7. 제 6항에 있어서,
    상기 씬 추출 수단은, 복수의 다른 상기 씬을 상기 동화상으로부터 추출하고,
    상기 등록용 얼굴화상 추출 수단은, 어떤 씬으로부터 상기 등록용 얼굴화상을 추출할 수가 없었을 때, 상기 어떤 씬과는 다른 씬으로부터 상기 등록용 얼굴화상을 추출하는 것을 특징으로 하는 얼굴화상 등록 장치.
  8. 제 1항에 있어서,
    상기 등록용 얼굴화상 추출 수단은,
    어떤 등록 조건에 일치하는 등록용 얼굴화상이, 상기 사전에 등록을 마친 경우에, 해당 등록 조건에 일치하는 다른 등록용 얼굴화상을 새롭게 추출하고,
    상기 얼굴화상 등록 수단은,
    상기 다른 등록용 얼굴화상의 인식 신뢰도가, 상기 등록을 마친 등록용 얼굴화상의 인식 신뢰도보다도 높을 때, 해당 등록을 마친 얼굴화상을, 해당 다른 등록용 얼굴화상으로 치환하는 것을 특징으로 하는 얼굴화상 등록 장치.
  9. 입력된 동화상으로부터, 인물의 얼굴을 나타내는 얼굴화상을 추출하고 사전에 등록하는 얼굴화상 등록 방법에 있어서,
    미리 정하여진 대표 조건에 일치하는 적어도 하나의 얼굴화상을, 대표 얼굴화상으로서 상기 동화상으로부터 추출하는 대표 얼굴화상 추출 스텝과,
    상기 대표 얼굴화상이 나타내는 인물에 관한 다른 얼굴화상중, 미리 정하여진 등록 조건에 일치하는 적어도 하나의 다른 얼굴화상을, 등록용 얼굴화상으로서 상기 동화상으로부터 추출하는 등록용 얼굴화상 추출 스텝과,
    상기 등록용 얼굴화상을 상기 대표 얼굴화상에 관련시켜서 상기 사전에 등록하는 얼굴화상 등록 스텝을 포함하고,
    상기 등록용 얼굴화상 추출 스텝은,
    서로 다른 복수의 등록 조건이 미리 정하여져 있을 때, 해당 등록 조건마다, 해당 등록 조건에 일치하는 적어도 하나의 상기 등록용 얼굴화상을 추출하고,
    상기 얼굴화상 등록 스텝은,
    상기 대표 얼굴화상에, 상기 등록 조건마다 추출된 상기 등록용 얼굴화상을, 서로 전부 관련시켜서 상기 사전에 등록하는 것을 특징으로 하는 얼굴화상 등록 방법.
  10. 삭제
  11. 입력된 동화상으로부터, 인물의 얼굴을 나타내는 얼굴화상을 추출하고 사전에 등록하는 얼굴화상 등록장치를 동작시키는 얼굴화상 등록 프로그램을 기록하고 있는 컴퓨터 판독 가능한 기록 매체에 있어서,
    미리 정하여진 대표 조건에 일치하는 적어도 하나의 얼굴화상을, 대표 얼굴화상으로서 상기 동화상으로부터 추출하는 대표 얼굴화상 추출 수단과,
    상기 대표 얼굴화상이 나타내는 인물에 관한 다른 얼굴화상중, 미리 정하여진 등록 조건에 일치하는 적어도 하나의 다른 얼굴화상을, 등록용 얼굴화상으로서 상기 동화상으로부터 추출하는 등록용 얼굴화상 추출 수단과,
    상기 등록용 얼굴화상을 상기 대표 얼굴화상에 관련시켜서 상기 사전에 등록하는 얼굴화상 등록 수단을 구비하고,
    상기 등록용 얼굴화상 추출 수단은,
    서로 다른 복수의 등록 조건이 미리 정하여져 있을 때, 해당 등록 조건마다, 해당 등록 조건에 일치하는 적어도 하나의 상기 등록용 얼굴화상을 추출하고,
    상기 얼굴화상 등록 수단은,
    상기 대표 얼굴화상에, 상기 등록 조건마다 추출된 상기 등록용 얼굴화상을, 서로 전부 관련시켜서 상기 사전에 등록하는 것을 특징으로 하는 얼굴화상 등록장치를 동작시키는 얼굴화상 등록 프로그램으로서, 컴퓨터를 상기의 각 수단으로서 기능시키기 위한 얼굴화상 등록 프로그램을 기록하고 있는 컴퓨터 판독가능한 기록매체.
KR1020087023721A 2006-03-15 2007-03-14 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체 KR100996066B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00071851 2006-03-15
JP2006071851A JP4725377B2 (ja) 2006-03-15 2006-03-15 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
KR20080104034A KR20080104034A (ko) 2008-11-28
KR100996066B1 true KR100996066B1 (ko) 2010-11-25

Family

ID=38509584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087023721A KR100996066B1 (ko) 2006-03-15 2007-03-14 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체

Country Status (6)

Country Link
US (1) US8848985B2 (ko)
EP (1) EP1998286A4 (ko)
JP (1) JP4725377B2 (ko)
KR (1) KR100996066B1 (ko)
CN (1) CN101401126B (ko)
WO (1) WO2007105768A1 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4697106B2 (ja) * 2006-09-25 2011-06-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4941124B2 (ja) * 2007-06-25 2012-05-30 オムロン株式会社 監視システムおよび方法、情報処理装置、並びにプログラム
JP4983558B2 (ja) * 2007-11-13 2012-07-25 マツダ株式会社 車両用運転支援装置
KR100840023B1 (ko) * 2007-11-13 2008-06-20 (주)올라웍스 셀프 촬영 시 얼굴의 구도를 잡도록 도와주는 방법 및시스템
CN101465961B (zh) * 2007-12-19 2013-10-30 神基科技股份有限公司 以特征影像辨识控制快门的摄像装置及方法
JP2010027035A (ja) 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
JP2014116033A (ja) * 2008-06-16 2014-06-26 Canon Inc 個人認証装置及び個人認証方法、カメラ、プログラム並びに記憶媒体
US9405995B2 (en) * 2008-07-14 2016-08-02 Lockheed Martin Corporation Method and apparatus for facial identification
JP5371083B2 (ja) 2008-09-16 2013-12-18 Ｋｄｄｉ株式会社 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体
JP5164767B2 (ja) * 2008-09-25 2013-03-21 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
DE102009023306A1 (de) * 2009-05-29 2010-12-09 Siemens Aktiengesellschaft Verfahren zum rechnergestützten Erkennen der Identität eines Objekts
JP5438419B2 (ja) * 2009-07-29 2014-03-12 富士フイルム株式会社 人物照合装置及び人物照合方法
JP5881932B2 (ja) * 2009-09-30 2016-03-09 カシオ計算機株式会社 顔画像データ生成装置、顔画像データ生成方法及びプログラム
JP4844670B2 (ja) * 2009-11-13 2011-12-28 日本ビクター株式会社 映像処理装置および映像処理方法
KR101185243B1 (ko) * 2009-12-15 2012-09-21 삼성전자주식회사 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법
KR101673032B1 (ko) * 2010-01-25 2016-11-04 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 ｔｖ
KR101214732B1 (ko) 2010-03-09 2012-12-21 삼성전자주식회사 복수의 얼굴 영상을 이용한 얼굴 인식 장치 및 방법
JP5434708B2 (ja) * 2010-03-15 2014-03-05 オムロン株式会社 照合装置、デジタル画像処理システム、照合装置制御プログラム、コンピュータ読み取り可能な記録媒体、および照合装置の制御方法
JP5479198B2 (ja) * 2010-04-23 2014-04-23 株式会社東芝 電子機器及び画像処理プログラム
WO2012029150A1 (ja) * 2010-09-01 2012-03-08 富士通株式会社 生体認証システム、生体認証方法、及びプログラム
EP2633474A4 (en) * 2010-10-28 2017-03-22 Telefonaktiebolaget LM Ericsson (publ) A face data acquirer, end user video conference device, server, method, computer program and computer program product for extracting face data
JP5801601B2 (ja) 2011-05-10 2015-10-28 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
JP5311239B2 (ja) 2011-06-17 2013-10-09 カシオ計算機株式会社 売上データ処理装置及びプログラム
JP5755046B2 (ja) 2011-06-22 2015-07-29 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
EP3312770B1 (en) * 2013-06-28 2023-05-10 NEC Corporation Crowd state recognition device, method, and program
JP5673743B2 (ja) * 2013-06-28 2015-02-18 カシオ計算機株式会社 データ処理装置及びプログラム
JP6018029B2 (ja) 2013-09-26 2016-11-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
JP6287527B2 (ja) * 2014-04-17 2018-03-07 富士通株式会社 情報処理装置、方法及びプログラム
WO2017047090A1 (ja) 2015-09-18 2017-03-23 日本電気株式会社 指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及び記録媒体
JP6754574B2 (ja) * 2016-01-18 2020-09-16 株式会社日立情報通信エンジニアリング 移動体計測システム、及び計測対象の領域における人物の数を特定する方法
US20190057249A1 (en) * 2016-02-26 2019-02-21 Nec Corporation Face recognition system, face matching apparatus, face recognition method, and storage medium
JP2017021844A (ja) * 2016-09-29 2017-01-26 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
US10621419B2 (en) * 2016-12-06 2020-04-14 Robert William Kocher Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
JP7104291B2 (ja) * 2017-06-30 2022-07-21 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
JP7299543B2 (ja) * 2017-06-30 2023-06-28 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
JP6769475B2 (ja) * 2018-12-04 2020-10-14 日本電気株式会社 情報処理システム、認証対象の管理方法、及びプログラム
CN109784231B (zh) * 2018-12-28 2023-07-25 广东中安金狮科创有限公司 安防信息管理方法、装置及存储介质
JP7054847B2 (ja) * 2019-03-04 2022-04-15 パナソニックＩｐマネジメント株式会社 顔認証登録装置および顔認証登録方法
JP7327571B2 (ja) * 2020-09-24 2023-08-16 日本電気株式会社 情報処理システム、端末装置、認証対象の管理方法、及びプログラム
JP7067593B2 (ja) * 2020-09-24 2022-05-16 日本電気株式会社 情報処理システム、認証対象の管理方法、及びプログラム
JPWO2023032157A1 (ko) * 2021-09-03 2023-03-09

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232934A (ja) 1997-02-18 1998-09-02 Toshiba Corp 顔画像登録装置及びその方法
JPH11167632A (ja) 1997-12-02 1999-06-22 Omron Corp 本人特定装置
JP2006031387A (ja) * 2004-07-15 2006-02-02 Yamaha Motor Co Ltd 画像認識装置、画像認識方法、画像認識プログラムおよび画像認識プログラムを記録した記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259534A (ja) 1993-03-03 1994-09-16 Toshiba Corp 人物認証装置
JPH10257436A (ja) * 1997-03-10 1998-09-25 Atsushi Matsushita 動画像の自動階層構造化方法及びこれを用いたブラウジング方法
JP2001167110A (ja) 1999-12-08 2001-06-22 Matsushita Electric Ind Co Ltd 画像検索方法及びその装置
JP2002133423A (ja) 2000-10-19 2002-05-10 Nippon Hoso Kyokai <Nhk> 顔画像データベース新規登録装置および記録媒体
JP2002269563A (ja) * 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd 顔画像照合システム
TWI299471B (en) * 2001-08-24 2008-08-01 Toshiba Kk Person recognition apparatus
US7587068B1 (en) * 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
JP4706197B2 (ja) 2003-07-15 2011-06-22 オムロン株式会社 対象決定装置及び撮像装置
JP4230870B2 (ja) * 2003-09-25 2009-02-25 富士フイルム株式会社 動画記録装置、動画記録方法、及びプログラム
JP4189811B2 (ja) * 2003-09-30 2008-12-03 日本電気株式会社 画像検出装置、画像検出方法及び画像検出用プログラム
JP4057501B2 (ja) 2003-10-03 2008-03-05 東芝ソシオシステムズ株式会社 認証システム及びコンピュータ読み取り可能な記憶媒体
JP4230959B2 (ja) * 2004-05-19 2009-02-25 株式会社東芝 メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232934A (ja) 1997-02-18 1998-09-02 Toshiba Corp 顔画像登録装置及びその方法
JPH11167632A (ja) 1997-12-02 1999-06-22 Omron Corp 本人特定装置
JP2006031387A (ja) * 2004-07-15 2006-02-02 Yamaha Motor Co Ltd 画像認識装置、画像認識方法、画像認識プログラムおよび画像認識プログラムを記録した記録媒体

Also Published As

Publication number Publication date
JP2007249588A (ja) 2007-09-27
US8848985B2 (en) 2014-09-30
EP1998286A4 (en) 2011-02-02
US20090060295A1 (en) 2009-03-05
KR20080104034A (ko) 2008-11-28
CN101401126B (zh) 2011-10-26
EP1998286A1 (en) 2008-12-03
JP4725377B2 (ja) 2011-07-13
WO2007105768A1 (ja) 2007-09-20
CN101401126A (zh) 2009-04-01

Similar Documents

Publication Publication Date Title
KR100996066B1 (ko) 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체
KR101424956B1 (ko) 등록 판정장치, 그 제어방법 및 제어 프로그램, 및 전자기기
US8270806B2 (en) Information processing apparatus and method of controlling same
KR100480781B1 (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
JP5366756B2 (ja) 情報処理装置及び情報処理方法
US8866900B2 (en) Information processing apparatus and method of controlling same
JP5106271B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US20150339516A1 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
US10146992B2 (en) Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type
US20120148118A1 (en) Method for classifying images and apparatus for the same
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
US20110158540A1 (en) Pattern recognition method and pattern recognition apparatus
KR20120062609A (ko) 영상 검색 장치 및 영상 검색 방법
WO2019083509A1 (en) PEOPLE SEGMENTATIONS FOR BACKGROUND REPLACEMENTS
CN107231519B (zh) 视频处理装置及控制方法
CN106529388A (zh) 信息处理装置及其控制方法
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
JP2023065024A (ja) 検索処理装置、検索処理方法及びプログラム
JP4859057B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6762754B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2008148262A (ja) 撮像装置及び撮像装置の制御方法、プログラム及び記憶媒体
JP7371806B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5582924B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR100840022B1 (ko) 프리뷰 히스토리를 참조로 디지털 데이터에 포함된 인물을인식하는 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131022

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141021

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161020

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 10