KR101365789B1 - 얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법, 및 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체 - Google Patents

얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법, 및 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR101365789B1
KR101365789B1 KR1020127030899A KR20127030899A KR101365789B1 KR 101365789 B1 KR101365789 B1 KR 101365789B1 KR 1020127030899 A KR1020127030899 A KR 1020127030899A KR 20127030899 A KR20127030899 A KR 20127030899A KR 101365789 B1 KR101365789 B1 KR 101365789B1
Authority
KR
South Korea
Prior art keywords
feature point
facial feature
face
facial
points
Prior art date
Application number
KR1020127030899A
Other languages
English (en)
Other versions
KR20130025906A (ko
Inventor
유스께 모리시따
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20130025906A publication Critical patent/KR20130025906A/ko
Application granted granted Critical
Publication of KR101365789B1 publication Critical patent/KR101365789B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

얼굴 특징점 신뢰도 생성 수단은 얼굴 화상으로부터 각각의 얼굴 특징점의 신뢰도 맵을 생성한다. 초기 얼굴 특징점 위치 계산 수단은 신뢰도 맵에 기초하여 얼굴 화상에서의 각각의 얼굴 특징점의 위치를 계산한다. 오프-포지션 얼굴 특징점 판정 수단은, 각각의 얼굴 특징점이, 미리 정해진 조건에 합치하지 않는 오프-포지션 얼굴 특징점인지 여부를 판정한다. 얼굴 특징점 차이 계산 수단은, 오프-포지션 특징점들로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와 그 얼굴 특징점의 대응점의 위치 사이의 차이를 계산한다. 얼굴 특징점 위치 보정 수단은 오프-포지션 얼굴 특징점 판정 수단의 판정 결과 및 얼굴 특징점 차이 계산 수단의 계산 결과에 기초하여 얼굴 특징점들의 결정된 위치들을 보정한다.

Description

얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법, 및 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체{FACIAL FEATURE POINT POSITION CORRECTING DEVICE, FACIAL FEATURE POINT POSITION CORRECTING METHOD, AND COMPUTER READABLE RECORDING MEDIUM RECORDING FACIAL FEATURE POINT POSITION CORRECTING PROGRAM}
본 발명은, 화상으로부터 검출한 얼굴 기관(눈, 코 등)의 특징점 위치를 보정하는 얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법 및 얼굴 특징점 위치 보정 프로그램에 관한 것이다.
얼굴이 촬영된 화상(이하 "얼굴 화상"이라 함)으로부터 눈과 코 등의 얼굴 기관의 특징점(얼굴 특징점)의 위치(얼굴 특징점 위치)를 검출해서 이 검출된 얼굴 특징점 위치를 출력하는 기술은, 얼굴의 방향 추정, 얼굴의 인증, 표정 인식 등을 고정밀도로 수행하기 위해 중요하다. 얼굴 특징점 위치의 검출에 대하여 여러 가지 방법이 제안되고 있다.
예컨대, 얼굴 특징점을 검출해서 얼굴 특징점 위치를 출력하는 기술을 설명하고 있는 비특허 문헌 1에는, 통계적인 얼굴 형상 모델에 기초하여, 검출한 얼굴 특징점 위치를 보정하는 방법이 기재되어 있다. 이 방법에서는, 먼저, 얼굴 특징점 검출기(이들 각각은 각각의 얼굴 특징점에 대해 구축됨)가 얼굴 영역에 적용되어 얼굴 특징점이 검출되고, 검출된 얼굴 특징점 각각에 대해 얼굴 특징점으로서의 적합성을 나타내는 신뢰도 맵이 생성된다.
다음에, 각각의 얼굴 특징점에 대해, 신뢰도가 높으며, 통계적인 얼굴 형상 모델에 의해 표시되는 위치와의 차이를 최소화하는 얼굴 특징점 위치가 미리 정해진 평가 함수에 기초하여 탐색된다. 이 프로세스에서, 통계적인 얼굴 형상 모델에 의해 표시되는 대응 위치로부터 멀리 떨어진 얼굴 특징점 위치에는 페널티가 할당된다(구체적으로는, 가중치가 할당되지 않는다). 따라서, 얼굴 화상에서 무엇인가(장애물)에 의해 얼굴 특징점의 일부 또는 전부가 숨겨진(차단된) 경우에도 지당한(plausible) 얼굴 특징점 위치를 얻을 수 있다.
얼굴 특징점을 검출해서 얼굴 특징점 위치를 출력하는 기술을 설명하고 있는 특허 문헌 1에는, 기하학적인 배치 관계에 기초하여, 검출한 얼굴 특징점 위치를 보정하는 방법이 기재되어 있다. 이 방법에서는, 먼저, 입력된 신뢰도 맵에 기초하여 얼굴 화상에서의 얼굴 특징점이 미리 설정된 탐색 범위 내에서 탐색되고, 그 탐색 결과로서 초기 얼굴 특징점 위치를 얻는다.
탐색에 의해 얻어진 초기 얼굴 특징점 위치는, 그 위치 관계에 기초하여, 고유 공간(eigenspaces)을 이용한 통계적인 기하 구속 프로세스(statistical geometric constraint process)를 실행함으로써 보정된다. 다음에, 보정된 초기 얼굴 특징점 위치에 기초하여 탐색 범위가 재설정되고, 재설정된 탐색 범위 내에서 얼굴 특징점 위치에 대한 탐색이 다시 실행된다. 마지막으로, 초기 얼굴 특징점 위치의 신뢰성과 제2 탐색의 결과로서의 얼굴 특징점 위치의 신뢰성이 판정됨으로써, 지당한 얼굴 특징점 위치를 얻는다.
일본 특허 공개 공보 제2009-211177호
D. Cristinacce 및 T. F. Cootes, "A Comparison of Shape Constrained Facial Feature Detectors," In 6th International Conference on Automatic Face and Gesture Recognition 2004, Korea, pp. 357-380
비특허 문헌 1에 기재되어 있는 방법에서는, 얼굴 화상 촬영 시의 몇몇 요인(조명 상태의 변동, 차폐 등)으로 인해, 하나 이상의 얼굴 특징점에 대해 잘못된 신뢰도 맵이 생성된 경우, 이러한 얼굴 특징점의 위치에는, 미리 정해진 평가 함수에 의해 페널티가 할당되어, 얼굴 형상 모델로부터 계산되는 평균적인 위치에 가까운 위치로 수정된다. 그러나, 이러한 얼굴 특징점의 신뢰도도 포함하여 미리 정해진 평가 함수의 계산이 실행되므로, 잘못된 신뢰도 맵의 영향을 받아 다른 얼굴 특징점의 위치가 시프트되는 문제가 있다.
한편, 특허 문헌 1에 기재되어 있는 방법에서는, 하나 이상의 얼굴 특징점에 대해 낮은 신뢰도의 정보가 입력되는 경우에, 다른 얼굴 특징점 위치가 올바르게 결정되는 한, 기하학적인 배치 관계(위치 관계)에 기초하여 얼굴 특징점 위치가 적절하게 보정된다. 그러나, 얼굴 검출 등에서의 에러로 인해 얼굴 영역의 위치, 크기 및 화면상 회전의 정규화에서 다른 실패가 발생하면, 얼굴 특징점 위치가 고유 공간으로 표현된 표준적인 얼굴 형상으로부터 전체적으로 벗어나 버린다. 이 경우, 어떤 얼굴 특징점 위치가 표준적인 얼굴 형상으로부터 벗어나 있는지를 판단하는 것이 불가능하다. 따라서, 기하학적인 배치 관계(위치 관계)를 적절하게 계산할 수 없으며, 얼굴 특징점 위치를 올바르게 결정할 수 없다.
따라서, 본 발명의 주요 목적은, 하나 이상의 얼굴 특징점에 대해 낮은 신뢰도의 정보가 입력되는 경우에도, 고정밀도의 얼굴 특징점 위치의 출력이 가능한 얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법 및 얼굴 특징점 위치 보정 프로그램을 제공하는 것이다.
본 발명에 따른 얼굴 특징점 위치 보정 장치는, 각각의 얼굴 특징점의 특징점 적합성을 나타내기 위해서 얼굴이 찍힌 화상으로부터 각각의 얼굴 특징점에 대하여 각각 생성된 신뢰도 맵에 기초하여, 이 얼굴이 찍힌 화상에서의 얼굴 상의 기관들의 얼굴 특징점들의 위치들을 계산하는 초기 얼굴 특징점 위치 계산 수단; 각각의 얼굴 특징점이, 초기 얼굴 특징점 위치 계산 수단에 의해 계산된 얼굴 특징점의 위치 및 이 얼굴 특징점에 대응하는 통계적인 얼굴 형상 모델에서의 대응점의 위치에 기초하여 특정된 미리 정해진 조건에 합치하지 않는 얼굴 특징점인 오프-포지션(off-position) 얼굴 특징점인지 여부를 판정하는 오프-포지션 얼굴 특징점 판정 수단; 미리 정해진 평가 함수에 따라, 오프-포지션 얼굴 특징점 판정 수단에 의해 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와 그 얼굴 특징점에 대응하는 대응점의 위치 사이의 차이를 계산하는 얼굴 특징점 차이 계산 수단; 및 오프-포지션 얼굴 특징점 판정 수단에 의한 판정 결과 및 얼굴 특징점 차이 계산 수단에 의한 계산 결과에 기초하여, 얼굴 특징점들의 결정된 위치들을 보정하는 얼굴 특징점 위치 보정 수단을 포함한다.
본 발명에 따른 얼굴 특징점 위치 보정 방법은, 각각의 얼굴 특징점의 특징점 적합성을 나타내기 위해서 얼굴이 찍힌 화상으로부터 각각의 얼굴 특징점에 대하여 각각 생성된 신뢰도 맵에 기초하여, 이 얼굴이 찍힌 화상에서의 얼굴 상의 기관들의 얼굴 특징점들의 위치들을 계산하는 단계; 각각의 얼굴 특징점이, 계산된 얼굴 특징점의 위치 및 이 얼굴 특징점에 대응하는 통계적인 얼굴 형상 모델에서의 대응점의 위치에 기초하여 특정된 미리 정해진 조건에 합치하지 않는 얼굴 특징점인 오프-포지션 얼굴 특징점인지 여부를 판정하는 단계; 미리 정해진 평가 함수에 따라, 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와 그 얼굴 특징점에 대응하는 대응점의 위치 사이의 차이를 계산하는 단계; 및 각각의 얼굴 특징점이 오프-포지션 얼굴 특징점인지 여부의 판정 결과, 및 각각의 얼굴 특징점의 위치와 그 얼굴 특징점에 대응하는 대응점의 위치 사이의 차이의 계산 결과에 기초하여, 얼굴 특징점들의 결정된 위치들을 보정하는 단계를 포함한다.
본 발명에 따른 얼굴 특징점 위치 보정 프로그램은, 컴퓨터로 하여금, 각각의 얼굴 특징점의 특징점 적합성을 나타내기 위해서 얼굴이 찍힌 화상으로부터 각각의 얼굴 특징점에 대하여 각각 생성된 신뢰도 맵에 기초하여, 이 얼굴이 찍힌 화상에서의 얼굴 상의 기관들의 얼굴 특징점들의 위치들을 계산하는 초기 얼굴 특징점 위치 계산 처리; 각각의 얼굴 특징점이, 초기 얼굴 특징점 위치 계산 처리에 의해 계산된 얼굴 특징점의 위치 및 이 얼굴 특징점에 대응하는 통계적인 얼굴 형상 모델에서의 대응점의 위치에 기초하여 특정된 미리 정해진 조건에 합치하지 않는 얼굴 특징점인 오프-포지션 얼굴 특징점인지 여부를 판정하는 오프-포지션 얼굴 특징점 판정 처리; 미리 정해진 평가 함수에 따라, 오프-포지션 얼굴 특징점 판정 처리에 의해 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와 그 얼굴 특징점에 대응하는 대응점의 위치 사이의 차이를 계산하는 얼굴 특징점 차이 계산 처리; 및 오프-포지션 얼굴 특징점 판정 처리에 의한 판정 결과 및 얼굴 특징점 차이 계산 처리에 의한 계산 결과에 기초하여, 얼굴 특징점들의 결정된 위치들을 보정하는 얼굴 특징점 위치 보정 처리를 실행하도록 한다.
본 발명에 따르면, 하나 이상의 얼굴 특징점에 대해 신뢰도가 낮은 정보가 입력되는 경우에도, 이 얼굴 특징점들의 위치를 보정하여, 고정밀도의 얼굴 특징점 위치가 출력될 수 있다.
도 1은 본 발명의 실시예에 따른 얼굴 특징점 위치 보정 장치의 구성예를 도시하는 블록도이다.
도 2는 본 실시예의 얼굴 특징점 위치 보정 장치의 동작을 도시하는 흐름도이다.
도 3은 얼굴 화상 입력 수단이 입력하는 얼굴 화상(얼굴이 찍힌 화상)의 예를 도시하는 설명도이다.
도 4는 얼굴 화상에서 검출하고자 하는 얼굴 특징점을 도시하는 설명도이다.
도 5는 오른쪽 눈의 눈동자 중심의 신뢰도 맵의 예를 도시하는 설명도이다.
도 6은 오른쪽 눈의 눈동자 중심 주변의 신뢰도 맵에 있어서 최대 신뢰도 위치(신뢰도를 최대화하는 위치)를 X 마크로 나타내는 설명도이다.
도 7은 초기 얼굴 특징점 위치 계산 수단이 계산한 초기 얼굴 특징점들의 위치들을 도시하는 설명도이다.
도 8은 랜덤하게 선택된 2개의 얼굴 특징점의 예를 도시하는 설명도이다.
도 9는 오프-포지션 얼굴 특징점 판정 수단에 의한 판정 결과의 예를 도시하는 설명도이다.
도 10은 얼굴 특징점 위치 보정 수단이 얼굴 형상 모델로부터 벗어난 얼굴 특징점의 위치를 보정한 결과의 예를 도시하는 설명도이다.
도 11은 본 발명의 개요를 도시하는 블록도이다.
이하, 본 발명에 따른 얼굴 특징점 위치 보정 장치의 실시예에 대해서, 도면을 참조하여 설명한다. 도 1은 본 발명의 실시예에 따른 얼굴 특징점 위치 보정 장치의 구성예를 도시하는 블록도이다.
도 1에 도시한 바와 같이, 본 발명에 따른 얼굴 특징점 위치 보정 장치(1)는, 데이터 처리 장치(100) 및 기억 장치(200)를 포함한다. 데이터 처리 장치(100)는, 얼굴 화상 입력 수단(110), 얼굴 특징점 신뢰도 생성 수단(120), 초기 얼굴 특징점 위치 계산 수단(130), 오프-포지션 얼굴 특징점 판정 수단(140), 얼굴 특징점 차이 계산 수단(150), 및 얼굴 특징점 위치 보정 수단(160)을 포함한다. 기억 장치(200)는 얼굴 형상 모델 기억 수단(210)을 포함한다.
얼굴 화상 입력 수단(110)은 얼굴이 찍힌 화상(얼굴 화상)을 입력한다. 얼굴 화상 입력 수단(110)에 의해 입력된 얼굴 화상으로부터, 얼굴 특징점 신뢰도 생성 수단(120)은 각각의 얼굴 특징점에 대해 얼굴 특징점(눈과 코 등)의 특징점 적합성을 나타내는 신뢰도 맵을 생성한다. 초기 얼굴 특징점 위치 계산 수단(130)은, 얼굴 특징점 신뢰도 생성 수단(120)이 생성한 신뢰도 맵에 기초하여, 얼굴 특징점 위치들(얼굴 특징점들의 위치들)을 계산한다. 이하, 초기 얼굴 특징점 위치 계산 수단(130)에 의해 산출된 얼굴 특징점 위치들을 "초기 얼굴 특징점 위치들"이라 한다.
초기 얼굴 특징점 위치 계산 수단(130)이 계산한 초기 얼굴 특징점 위치들에 기초하여, 오프-포지션 얼굴 특징점 판정 수단(140)은, 각각의 초기 얼굴 특징점 위치에 있는 각각의 얼굴 특징점이, 얼굴 형상 모델 기억 수단(210)에 기억되어 있는 통계적인 얼굴 형상 모델로부터 벗어난 (오프) 위치에 있는 오프-포지션 얼굴 특징점인지 여부를 판정한다. 얼굴 특징점 차이 계산 수단(150)은, 미리 정해진 평가 함수에 따라, 오프-포지션 얼굴 특징점 판정 수단(140)에 의해 오프-포지션 얼굴 특징점인 것으로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와 통계적인 얼굴 형상 모델에서의 대응하는 얼굴 특징점(대응점)의 위치 사이의 차이를 계산한다. 오프-포지션 얼굴 특징점 판정 수단(140)에 의한 판정 결과 및 얼굴 특징점 차이 계산 수단(150)에 의한 계산 결과에 기초하여, 얼굴 특징점 위치 보정 수단(160)은 (얼굴 형상 모델 기억 수단(210)에 기억되어 있는 통계적인 얼굴 형상 모델에서의) 대응하는 얼굴 특징점의 위치로부터의 위치 오차가 큰 얼굴 특징점들의 위치들을 보정한다.
다음에, 얼굴 특징점 위치 보정 장치(1)의 동작에 대해 도면을 참조하여 후술한다. 도 2는, 도 1에 도시된 얼굴 특징점 위치 보정 장치(1)의 동작을 도시하는 흐름도이다.
먼저, 얼굴 화상 입력 수단(110)은 얼굴이 찍힌 화상(얼굴 화상)을 입력한다(단계 S111). 다음에, 얼굴 특징점 신뢰도 생성 수단(120)은, 단계 S111에서 입력된 얼굴 화상으로부터, 얼굴 특징점(눈, 코 등)의 특징점 적합성을 나타내는 신뢰도 맵을 생성한다(단계 S112). 초기 얼굴 특징점 위치 계산 수단(130)은 단계 S112에서 생성된 신뢰도 맵에 기초하여 초기 얼굴 특징점 위치들을 계산한다(단계 S113).
다음에, 오프-포지션 얼굴 특징점 판정 수단(140)은, 단계 S113에서 계산된 초기 얼굴 특징점 위치들에 기초하여, 각각의 초기 얼굴 특징점 위치에 있는 각각의 얼굴 특징점이 (얼굴 형상 모델 기억 수단(210)에 기억되어 있는 통계적인 얼굴 형상 모델로부터 벗어난 (오프) 위치에 있는) 오프-포지션 얼굴 특징점인지 여부를 판정한다(단계 S114). 얼굴 특징점 차이 계산 수단(150)은, 미리 정해진 평가 함수에 따라, 단계 S114에서 오프-포지션 얼굴 특징점들인 것으로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와, 통계적인 얼굴 형상 모델에서의 대응하는 얼굴 특징점의 위치 사이의 차이를 계산한다(단계 S115). 다음에, 단계 S114에서의 판정 결과 및 단계 S115에서의 계산 결과에 기초하여, 얼굴 특징점 위치 보정 수단(160)은, (얼굴 형상 모델 기억 수단(210)에 기억되어 있는 통계적인 얼굴 형상 모델에서의) 대응하는 얼굴 특징점의 위치로부터의 위치 오차가 큰 얼굴 특징점들의 위치들을 보정한다(단계 S116).
본 실시예에 따르면, 얼굴 특징점들의 위치들은, 미리 정해진 평가 함수에 따라, 얼굴 화상으로부터 검출된 얼굴 특징점들 중에서, 통계적인 얼굴 형상 모델에서의 대응하는 얼굴 특징점의 위치로부터 벗어난 (오프) 위치에 있는 얼굴 특징점들을 제외하고, (남아있는) 얼굴 특징점들 각각과 통계적인 얼굴 형상 모델에서의 각각의 대응하는 얼굴 특징점 위치 사이의 차이(오차)를 계산함으로써 보정된다. 따라서, 고정밀도의 얼굴 특징점 위치의 출력이 가능하다.
<실시예>
다음에, 본 발명에 따른 실시예의 구성과 동작에 대해서, 몇몇 구체적인 예를 이용하여 상세하게 설명한다. 본 발명에 따른 도 1의 얼굴 특징점 위치 보정 장치(1)에서, 기억 장치(200)는, 예컨대 반도체 메모리 또는 하드 디스크 드라이브에 의해 실현된다. 얼굴 화상 입력 수단(110)은, 예컨대 디지털 카메라에 의해 실현된다. 얼굴 화상 입력 수단(110), 얼굴 특징점 신뢰도 생성 수단(120), 초기 얼굴 특징점 위치 계산 수단(130), 오프-포지션 얼굴 특징점 판정 수단(140), 얼굴 특징점 차이 계산 수단(150) 및 얼굴 특징점 위치 보정 수단(160)은, 예컨대 프로그램 제어에 따라 처리를 실행하는 CPU(Central Processing Unit)에 의해 실현된다. 얼굴 형상 모델 기억 수단(210)은, 예컨대 반도체 메모리 또는 하드 디스크 드라이브에 의해 실현된다.
얼굴 화상 입력 수단(110)은 얼굴이 찍힌 화상을 입력한다. 도 3은 얼굴 화상 입력 수단(110)에 의해 입력된 얼굴 화상(얼굴이 찍힌 화상)의 예를 도시하는 설명도이다. 얼굴 화상 입력 수단(110)에 의해 입력된 화상에는 얼굴뿐만 아니라 배경이 포함될 수 있다. 또한, 얼굴 화상 입력 수단(110)은, 미리 얼굴 검출을 수행하고, 얼굴 화상으로부터 얼굴 영역(얼굴이 점유한 영역)을 추출하며, 추출된 얼굴 영역을 얼굴 특징점 위치 보정 장치(1)로 입력하도록 구성될 수 있다.
얼굴 화상 입력 수단(110)에 의해 입력된 얼굴 화상으로부터, 얼굴 특징점 신뢰도 생성 수단(120)은 각각의 얼굴 특징점에 대하여 신뢰도 맵(얼굴 특징점(눈, 코 등)의 특징점 적합성을 나타냄)을 생성한다. 도 4는 얼굴 화상에서 검출하고자 하는 얼굴 특징점들을 도시하는 설명도이다. 도 4의 예에서, 검출하고자 하는 얼굴 특징점들은 X 마크로 표시되어 있다. 이 예에서는, 도 4에 도시된 바와 같이 총 14개의 X 마크(각각의 (좌, 우) 눈썹의 양단부, 각각의 (좌, 우) 눈의 중앙부 및 양단부, 코의 하부, 입의 중앙부 및 양단부)가 표시되어 있다. 이 경우, 얼굴 특징점 신뢰도 생성 수단(120)은 이러한 점들에 대응하여 신뢰도 맵들을 14개 생성한다. 얼굴 특징점의 특징점 적합성을 표시하는 신뢰도 맵들을 생성하기 위하여 종래에 제안된 다양한 기법들이 이용될 수 있다. 예컨대, 비특허 문헌 1의 기법과 유사하게, 얼굴 화상 입력 수단(110)에 의해 입력된 화상의 영역 전체에 대하여, Viola와 Jones에 의해 제안된 Haar-like 특징에 기초한 AdaBoost를 이용하여 구성된 각각의 얼굴 특징점에 대하여 검출기를 적용함으로써, 신뢰도 맵들을 생성할 수 있다.
도 5는 오른쪽 눈의 눈동자 중심에 대한 신뢰도 맵의 예를 도시하는 설명도이다. 도 5에 도시된 예에서, 각각의 점(위치)은 얼굴 특징점 적합성을 나타내는 신뢰도가 증가할수록 더 짙은 검정으로 표시되어 있다. 도 5의 예에서는, 오른쪽 눈의 눈동자 중심뿐만 아니라 왼쪽 눈의 눈동자 중심 부근, 오른쪽 눈썹 부근, 및 코밑 영역 부근이 신뢰도가 높은 것으로 표시되어 있다.
초기 얼굴 특징점 위치 계산 수단(130)은, 얼굴 특징점 신뢰도 생성 수단(120)이 생성한 신뢰도 맵에 기초하여 초기 얼굴 특징점들의 위치들을 계산한다. 도 14에 도시된 14개의 얼굴 특징점들의 위치를 검출하고자 하는 경우, 14개의 초기 얼굴 특징점들의 위치들이 계산된다. 예컨대, 초기 얼굴 특징점 위치 계산 수단(130)은, 얼굴 특징점 신뢰도 생성 수단(120)이 생성한 각각의 신뢰도 맵에 있어서 신뢰도가 최대값이 되는 위치(신뢰도가 가장 높은 위치)를 각각의 초기 얼굴 특징점의 위치로 결정한다. 신뢰도 맵에 있어서 최대 신뢰도 위치를 초기 얼굴 특징점의 위치로 이용하는 이러한 방법 외에, 초기 얼굴 특징점 위치 계산 수단(130)은 또한 얼굴 특징점 신뢰도와 얼굴 특징점 위치들의 사전 분포의 곱을 최대화하는 위치를 초기 얼굴 특징점의 위치로서 이용할 수도 있다.
도 6은 오른쪽 눈의 눈동자 중심 주변의 신뢰도 맵에서 최대 신뢰도 위치(신뢰도를 최대화하는 위치)를 X 마크로 표시하는 설명도이다. 도 6에서, 오른쪽 눈의 눈동자 중심뿐만 아니라, 왼쪽 눈의 눈동자 중심 부근, 오른쪽 눈썹 부근, 및 코밑 영역 부근이 신뢰도가 높은 것으로 표시되어 있다. 그러나, 도 6에는, 오른쪽 눈의 눈동자 중심에서 신뢰도가 가장 높기 때문에, 오른쪽 눈의 눈동자 중심(X 마크로 표시된 위치)이 초기 얼굴 특징점 위치로서 선택되었다고 또한 표시되어 있다.
초기 얼굴 특징점 위치 계산 수단(130)에 의해 계산된 초기 얼굴 특징점들의 위치들에 기초하여, 오프-포지션 얼굴 특징점 판정 수단(140)은, 각각의 초기 얼굴 특징점 위치에 있는 각각의 얼굴 특징점이, 얼굴 형상 모델 기억 수단(210)에 기억된 통계적인 얼굴 형상 모델로부터 벗어난 (오프) 위치에 있는 오프-포지션 얼굴 특징점인지 여부를 판정한다. 얼굴 형상 모델 기억 수단(210)에는, 도 4에 도시된 14개의 얼굴 특징점의 좌표값이 통계적인 얼굴 형상 모델로서 기록되어 있다.
부수적으로, 14개의 얼굴 특징점의 좌표값은 얼굴 표정 및 얼굴 방향에서의 변동들 및 개인 차이들을 포함하는 다수의 얼굴 화상의 얼굴 특징점 좌표값들의 평균값들로서 결정될 수 있다. 얼굴 형상 모델 기억 수단(210)은 또한 (다양한 변동을 포함하는) 다수의 얼굴 화상들의 얼굴 특징점 좌표값들에 대해 k-means 방법을 적용함으로써 얻어지는 좌표값들의 세트를 얼굴 형상 모델로서 사전 기억할 수 있다. 각각의 얼굴 특징점이 (통계적인 얼굴 형상 모델로부터 벗어난 (오프) 위치에 있는) 오프-포지션 얼굴 특징점인지 여부의 판정에는, 예컨대 로버스트 추정(robust estimation) 기법이 이용될 수 있다.
여기서, (로버스트 추정 기법 타입인) LMedS(Least Median of Squares) 방법을 이용한 오프-포지션 얼굴 특징점의 판정 방법에 대해서, 도면을 참조하여 설명한다. 도 7은 초기 얼굴 특징점 위치 계산 수단(130)에 의해 계산된 초기 얼굴 특징점들의 위치들을 도시하는 설명도이다. 도 7에 도시된 바와 같이, 초기 얼굴 특징점 위치 계산 수단(130)은, 얼굴 화상 촬영 시의 몇몇 요인(예를 들면, 조명 조건의 변동)에 기인하여 오른쪽 눈의 눈동자 중심부, 오른쪽 눈의 눈시울부와 입의 오른쪽 단부의 초기 얼굴 특징점 위치들을 얼굴 화상(얼굴이 찍힌 화상)에서의 대응하는 위치들로부터 크게 벗어난 (오프) 위치들로서 계산하였다고 여기서 가정한다.
먼저, 오프-포지션 얼굴 특징점 판정 수단(140)은, 도 4에 도시된 14개의 얼굴 특징점으로부터 2개의 얼굴 특징점을 랜덤하게 선택한다. 도 8은 랜덤하게 선택된 2개의 얼굴 특징점의 예를 도시하는 설명도이다. 도 8의 (a)에 도시된 예에서는, 오른쪽 눈의 눈초리부의 얼굴 특징점 및 입의 왼쪽 단부의 얼굴 특징점이 선택된 것으로 표시되어 있다.
이하 오프-포지션 얼굴 특징점 판정 수단(140)에 의해 선택된 각각의 얼굴 특징점에 문자 "a" 또는 "b"를 붙여서 설명한다. 입력 화상에 있어서, 랜덤하게 선택된 2개의 얼굴 특징점에 대응하는 초기 얼굴 특징점들의 좌표값들의 세트는 (ta, tb)라고 정의된다. 각각의 심볼 ta와 tb는 입력 화상에서의 좌표값들을 나타내는 2차원 벡터를 표시한다. 또한, 도 8의 (b)에 도시된 바와 같이, 얼굴 형상 모델 기억 수단(210)에 기억되어 있는 통계적인 얼굴 형상 모델에서, 오프-포지션 얼굴 특징점 판정 수단(140)에 의해 선택된 얼굴 특징점(이 예에서는 오른쪽 눈의 눈초리부의 점 및 입의 왼쪽 단부의 점)에 대응하는 2개의 얼굴 특징점의 좌표값들의 세트, 즉 얼굴 형상 모델에서의 오른쪽 눈의 눈초리부의 점 및 입의 왼쪽 단부의 점의 좌표값들의 세트를 (ka, kb)라고 정의한다. 각각의 심볼 ka와 kb는 얼굴 형상 모델에서의 좌표값들을 나타내는 2차원 벡터를 표시한다.
얼굴 형상 모델의 얼굴 특징점의 좌표계와 초기 얼굴 특징점의 좌표계가 서로 다르기 때문에, 전자의 좌표계의 좌표값들과 후자의 좌표계의 좌표값들을 서로 연관시키는 것이 필요하다. 따라서, 오프-포지션 얼굴 특징점 판정 수단(140)은 초기 얼굴 특징점의 좌표값 세트 (ta, tb)로부터 얼굴 형상 모델의 좌표값 세트 (ka, kb)로의 좌표 변환 p를 결정한다. 좌표 변환 p는 x축 방향의 평행 이동 성분, y축 방향의 평행 이동 성분, 화면내 방향의 회전 성분 및 스케일 성분을 포함하는 4차원 벡터이다. 다음에, 오프-포지션 얼굴 특징점 판정 수단(140)은, 좌표 변환 p를 이용하여 변환한 후의 초기 얼굴 특징점의 나머지 12개의 좌표값과, 12개의 초기 얼굴 특징점에 대응하는 얼굴 형상 모델에서의 12개의 얼굴 특징점의 좌표값 사이의 제곱 오차(square errors)를 계산한 다음, 다음의 수학식 1에 따라 12개의 제곱 오차의 중앙값을 결정한다:
Figure 112012097485730-pct00001
전술한 수학식 1의 심볼 "med"는 중앙값을 산출하는 함수를 나타낸다. 오프-포지션 얼굴 특징점 판정 수단(140)은 상기 시퀀스(랜덤하게 두 개의 얼굴 특징점을 선택하고, 좌표 변환 p를 결정하고, 좌표값의 제곱 오차를 계산함)를 수회 실행한다. 다음에, 오프-포지션 얼굴 특징점 판정 수단(140)은 제곱 오차의 중앙값을 최소화하는 좌표 변환 p를 좌표 변환 p′로서 유지한다. 마지막으로, 오프-포지션 얼굴 특징점 판정 수단(140)은, 각각의 얼굴 특징점이 오프-포지션 얼굴 특징점인지 여부를 판정한다. 구체적으로는, 좌표 변환 p′에 의해 변환된 이후의 초기 얼굴 특징점의 좌표값들과 얼굴 형상 모델에서의 좌표값들 사이의 제곱 오차가 미리 정해진 임계값보다 크면, 얼굴 특징점은 오프-포지션 얼굴 특징점인 것으로 판정된다.
도 9는 오프-포지션 얼굴 특징점 판정 수단(140)의 판정 결과의 예를 도시하는 설명도이다. 도 9에서, 오프-포지션 얼굴 특징점 판정 수단(140)에 의해 오프-포지션 얼굴 특징점으로 판정된 각각의 얼굴 특징점은 원으로 둘러싸인 X 마크로 표시된다. 도 9에는, 오른쪽 눈의 눈동자 중심부, 오른쪽 눈의 눈시울부와 입의 오른쪽 단부의 초기 얼굴 특징점들이 오프-포지션 얼굴 특징점으로 판정된 것이 표시되어 있다.
또한, 좌표 변환 p를 결정하기 위해 오프-포지션 얼굴 특징점 판정 수단(140)에 의해 랜덤하게 선택되는 얼굴 특징점의 수는 3개 이상일 수 있다. 예컨대, 오프-포지션 얼굴 특징점 판정 수단(140)이 도 4에 도시된 14개의 얼굴 특징점으로부터 3개의 얼굴 특징점을 랜덤하게 선택한 경우에 대해, 오프-포지션 얼굴 특징점 판정 수단(140)에 의해 선택된 각각의 얼굴 특징점에 문자 "a", "b" 또는 "c"를 붙여 간략하게 여기에서 설명한다. 입력 화상에서, 랜덤하게 선택된 3개의 얼굴 특징점에 대응하는 3개의 초기 얼굴 특징점의 좌표값의 세트는 (ta, tb, tc)로서 정의된다. 또한, 얼굴 형상 모델 기억 수단(210)에 기억되어 있는 통계적인 얼굴 형상 모델에서, 오프-포지션 얼굴 특징점 판정 수단(140)에 의해 선택된 얼굴 특징점들에 대응하는 3개의 얼굴 특징점의 좌표값 세트는 (ka, kb, kc)로서 정의된다.
오프-포지션 얼굴 특징점 판정 수단(140)은, 얼굴 형상 모델에서의 다른 좌표값들(남아있는 얼굴 특징점들의 좌표값들)과, 초기 얼굴 특징점의 좌표값 세트 (ta, tb, tc)로부터 얼굴 형상 모델의 좌표값 세트 (ka, kb, kc)로의 좌표 변환에서 전자의 좌표값들에 대응하는 초기 얼굴 특징점들의 좌표값들 사이의 제곱 오차를 최소화시키는 좌표 변환 p를 결정한다. 다음에, 랜덤하게 선택된 얼굴 특징점의 수가 2개인 경우와 유사하게, 오프-포지션 얼굴 특징점 판정 수단(140)은, 각각의 얼굴 특징점이 오프-포지션 얼굴 특징점인지 여부를 판정할 수 있다.
얼굴 특징점 차이 계산 수단(150)은, 미리 정해진 평가 함수에 따라, 오프-포지션 얼굴 특징점 판정 수단(140)에 의해 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와, 대응하는 얼굴 특징점의 위치 사이의 차이를 계산한다.
예컨대, 얼굴 특징점 차이 계산 수단(150)은, 오프-포지션 얼굴 특징점 판정 수단(140)에 의해 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들을 제외한 초기 얼굴 특징점들의 좌표값들로부터, 얼굴 형상 모델의 초기 얼굴 특징점들에 대응하는 얼굴 특징점들의 좌표값들로의 좌표 변환 p를, 최소 제곱법을 이용하여 결정한다. 다음에, 얼굴 특징점 차이 계산 수단(150)은, 좌표 변환 p에 의해 변환된 이후의 각각의 초기 얼굴 특징점의 좌표값들과 얼굴 형상 모델에서의 좌표값들 사이의 제곱 오차를, 각각의 얼굴 특징점(오프-포지션 얼굴 특징점으로 판정된 것들을 제외함)의 위치와 통계적인 얼굴 형상 모델에서의 얼굴 특징점의 위치 사이의 차이로 이용할 수 있다. 또한, 얼굴 특징점 차이 계산 수단(150)은 전술한 좌표 변환 p 대신에 (오프-포지션 얼굴 특징점 판정 수단(140)에 의해 결정된) 좌표 변환 p′를 대용할 수 있다. 변환된 각각의 초기 얼굴 특징점의 좌표값들과 얼굴 형상 모델에서의 좌표값들 사이의 제곱 오차 외에, 얼굴 특징점 차이 계산 수단(150)은, 예컨대 각각의 초기 얼굴 특징점의 좌표들에 있어서의 얼굴 특징점 신뢰도를 또한 이용할 수 있다.
얼굴 특징점 신뢰도가 이용되는 경우에, 얼굴 특징점 차이 계산 수단(150)은, 예컨대 초기 얼굴 특징점의 변환된 좌표값들과 얼굴 형상 모델에서의 좌표값들 사이의 제곱 오차와, 얼굴 특징점 신뢰도의 역수(inverse; reciprocal number)의 곱을 계산할 수 있고, 그 곱을 변환된 초기 얼굴 특징점의 좌표값들과 얼굴 형상 모델에서의 좌표값들 사이의 오차로서 출력할 수 있다.
오프-포지션 얼굴 특징점 판정 수단(140)에 의한 판정 결과 및 얼굴 특징점 차이 계산 수단(150)에 의한 계산 결과에 기초하여, 얼굴 특징점 위치 보정 수단(160)은 통계적인 얼굴 형상 모델로부터의 오차가 큰 얼굴 특징점들의 위치들을 보정한다. 얼굴 특징점 위치 보정 수단(160)에 의해 위치가 보정되는 얼굴 특징점들은, 오프-포지션 얼굴 특징점 판정 수단(140)에 의해 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들, 및 얼굴 특징점 차이 계산 수단(150)에 의해 계산된 (얼굴 형상 모델에서의 위치로부터의) 위치 오차가 미리 정해진 임계값 이상인 얼굴 특징점들이다.
얼굴 특징점 위치 보정 수단(160)은, 얼굴 특징점들의 보정을 위해, 예컨대 얼굴 형상 모델 기억 수단(210)에 기억되어 있는 얼굴 형상 모델을 이용할 수 있다. 구체적으로는, 얼굴 특징점 위치 보정 수단(160)은, 얼굴 특징점 차이 계산 수단(150)에 의해 결정된 좌표 변환 p의 역변환 p~를 이용하여, (보정-대상 얼굴 특징점들에 대응하는) 얼굴 형상 모델에서의 대응하는 얼굴 특징점들의 좌표값들을 변환함으로써, 얼굴 형상 모델로부터 벗어난 얼굴 특징점들(보정 대상인 얼굴 특징점들)의 보정된 좌표값들을 결정할 수 있다.
도 10은 얼굴 특징점 위치 보정 수단(160)에 의해 수행된 얼굴 형상 모델로부터 벗어난 얼굴 특징점들의 위치 보정의 결과의 예를 도시하는 설명도이다. 도 10에는, 도 9에서 오프-포지션 얼굴 특징점들로 판정된 오른쪽 눈의 눈동자 중심부, 오른쪽 눈의 눈시울부, 및 입의 오른쪽 단부의 얼굴 특징점들의 위치들이 적절한 위치들로 보정된 것이 표시되어 있다.
이 실시예에 따르면, 통계적인 얼굴 형상 모델에서의 대응하는 얼굴 특징점들의 위치들로부터 벗어난 위치에 있는 것으로 판정된 얼굴 특징점들을 적절한 위치로 위치 보정함으로써, 고정밀도의 얼굴 특징점 위치들이 출력될 수 있다.
다음에, 본 발명의 개요에 대해 설명한다. 도 11은 본 발명의 개요를 도시하는 블록도이다. 도 11에 도시된 바와 같이, 본 발명에 따른 얼굴 특징점 위치 보정 장치(300)는 얼굴 특징점 신뢰도 생성 수단(301), 초기 얼굴 특징점 위치 계산 수단(302), 오프-포지션 얼굴 특징점 판정 수단(303), 얼굴 특징점 차이 계산 수단(304) 및 얼굴 특징점 위치 보정 수단(305)을 포함한다.
얼굴 특징점 신뢰도 생성 수단(301)은, 얼굴이 찍힌 입력 화상으로부터, 각각의 얼굴 특징점에 대하여, 얼굴 상의 기관의 특징점을 표시하는 얼굴 특징점의 특징점 적합성을 표시하는 신뢰도 맵을 생성한다. 초기 얼굴 특징점 위치 계산 수단(302)은, 얼굴 특징점 신뢰도 생성 수단(301)에 의해 생성된 신뢰도 맵에 기초하여, 얼굴이 찍힌 화상에서의 얼굴 특징점들의 위치들을 계산한다. 오프-포지션 얼굴 특징점 판정 수단(303)은, 각각의 얼굴 특징점이, 초기 얼굴 특징점 위치 계산 수단(302)에 의해 계산된 얼굴 특징점의 위치 및 이 얼굴 특징점에 대응하는 통계적인 얼굴 형상 모델에서의 대응점의 위치에 기초하여 특정된 미리 정해진 조건에 합치하지 않는 얼굴 특징점인 오프-포지션 얼굴 특징점인지 여부를 판정한다.
얼굴 특징점 차이 계산 수단(304)은, 미리 정해진 평가 함수에 따라, 오프-포지션 얼굴 특징점 판정 수단(303)에 의해 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와 이 얼굴 특징점에 대응하는 대응점의 위치 사이의 차이를 계산한다. 얼굴 특징점 위치 보정 수단(305)은, 오프-포지션 얼굴 특징점 판정 수단(303)에 의한 판정 결과 및 얼굴 특징점 차이 계산 수단(304)에 의한 계산 결과에 기초하여, 얼굴 특징점들의 결정된 위치들을 보정한다.
이러한 구성은, 얼굴 화상의 촬영 시의 몇몇 요인들(조명 조건의 변동, 차폐 등)에 기인하여, 하나 이상의 얼굴 특징점의 신뢰도가 낮은 화상(예컨대, 비선명한 화상)이 입력된 경우에도 얼굴 특징점들의 위치들의 보정을 통해 고정밀도의 얼굴 특징점 위치를 출력하는 것을 가능하게 한다.
다음의 얼굴 특징점 위치 보정 장치 (1) 내지 (4) 또한 전술한 실시예에서 개시되어 있다:
(1) 오프-포지션 얼굴 특징점 판정 수단(303)이, 로버스트 추정 기법을 이용하여 각각의 얼굴 특징점이 오프-포지션 얼굴 특징점인지 여부를 판정하는 얼굴 특징점 위치 보정 장치.
(2) 오프-포지션 얼굴 특징점 판정 수단(303)은,
얼굴 특징점들로부터 랜덤하게 몇몇 얼굴 특징점을 선택하는 동작,
선택된 얼굴 특징점들의 위치들을 나타내는 좌표값들을 얼굴 특징점들의 대응점들의 위치들을 나타내는 좌표값들로 변환하는 벡터에 기초하여, 선택하는 동작에 의해 선택되지 않은 얼굴 특징점들의 위치들을 나타내는 좌표값들을 변환하는 동작, 및
변환 이후의 좌표값들과 얼굴 특징점들의 대응점들의 위치들을 나타내는 좌표값들 사이의 제곱 오차들의 중앙값을 산출하는 동작
을 반복하고,
반복된 동작들에서 좌표값 변환에 이용된 벡터 중에서 중앙값을 최소화하는 벡터에 기초하여 변환된 얼굴 특징점의 좌표값들과, 얼굴 특징점의 대응점의 위치를 나타내는 좌표값들 사이의 제곱 오차가, 미리 정해진 임계값보다도 큰 경우에 얼굴 특징점을 오프-포지션 얼굴 특징점인 것으로 판정하는 얼굴 특징점 위치 보정 장치.
(3) 통계적인 얼굴 형상 모델의 정보를 기억하는 얼굴 형상 모델 기억 수단을 포함하는 얼굴 특징점 위치 보정 장치.
(4) 얼굴 특징점 위치 보정 수단(305)이, 오프-포지션 얼굴 특징점 판정 수단(303)에 의해 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들, 및 얼굴 특징점 차이 계산 수단(304)에 의한 계산 결과로서의 차이가 사전 설정된 임계값 이상인 얼굴 특징점들에 대한 위치의 보정을 실행하는 얼굴 특징점 위치 보정 장치.
실시예들과 예들을 참조하여 본 발명이 전술되었지만, 본 발명은 특정한 실시예들과 예들로 한정되는 것은 아니다. 본 발명의 구성 및 상세에 대해 본 발명의 범위 내에서 당업자가 이해할 수 있는 다양한 변경을 할 수 있다.
본 출원은, 2010년 5월 26일자로 출원된 일본 특허 출원 제2010-121017호에 대해 우선권을 주장하며, 그 개시의 전부는 여기에 참고로 포함된다.
본 발명은 얼굴 방향 추정 및 얼굴 인증 시스템의 고정밀화, 얼굴 표정 인식 등에 널리 이용 가능하다.
1, 300: 얼굴 특징점 위치 보정 장치
100: 데이터 처리 장치
110: 얼굴 화상 입력 수단
120, 301: 얼굴 특징점 신뢰도 생성 수단
130, 302: 초기 얼굴 특징점 위치 계산 수단
140, 303: 오프-포지션 얼굴 특징점 판정 수단
150, 304: 얼굴 특징점 차이 계산 수단
160, 305: 얼굴 특징점 위치 보정 수단
200: 기억 수단
210: 얼굴 형상 모델 기억 수단

Claims (8)

  1. 얼굴 특징점 위치 보정 장치로서,
    각각의 얼굴 특징점의 특징점 적합성(suitability of a feature point)을 나타내기 위해서 얼굴이 찍힌 화상으로부터 각각의 얼굴 특징점에 대하여 각각 생성된 신뢰도 맵에 기초하여, 상기 화상에서의 상기 얼굴 상의 기관들의 얼굴 특징점들의 위치들을 계산하는 초기 얼굴 특징점 위치 계산 수단;
    각각의 얼굴 특징점이, 상기 초기 얼굴 특징점 위치 계산 수단에 의해 계산된 얼굴 특징점의 위치 및 상기 얼굴 특징점에 대응하는 통계적인 얼굴 형상 모델에서의 대응점의 위치에 기초하여 특정된 미리 정해진 조건에 합치하지 않는 얼굴 특징점인 오프-포지션(off-position) 얼굴 특징점인지 여부를 판정하는 오프-포지션 얼굴 특징점 판정 수단;
    미리 정해진 평가 함수에 따라, 상기 오프-포지션 얼굴 특징점 판정 수단에 의해 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와 상기 얼굴 특징점에 대응하는 상기 대응점의 위치 사이의 차이를 계산하는 얼굴 특징점 차이 계산 수단; 및
    상기 오프-포지션 얼굴 특징점 판정 수단에 의한 판정 결과 및 상기 얼굴 특징점 차이 계산 수단에 의한 계산 결과에 기초하여, 상기 얼굴 특징점들의 결정된 위치들을 보정하는 얼굴 특징점 위치 보정 수단
    을 포함하는 얼굴 특징점 위치 보정 장치.
  2. 제1항에 있어서,
    상기 오프-포지션 얼굴 특징점 판정 수단은, 로버스트 추정(robust estimation) 기법을 이용하여, 각각의 얼굴 특징점이 오프-포지션 얼굴 특징점인지 여부를 판정하는 얼굴 특징점 위치 보정 장치.
  3. 제2항에 있어서,
    상기 오프-포지션 얼굴 특징점 판정 수단은,
    상기 얼굴 특징점들로부터 랜덤하게 몇몇 얼굴 특징점들을 선택하는 동작,
    상기 선택된 얼굴 특징점들의 위치들을 나타내는 좌표값들을 상기 얼굴 특징점들의 대응점들의 위치들을 나타내는 좌표값들로 변환하는 파라미터에 기초하여, 상기 선택하는 동작에 의해 선택되지 않은 얼굴 특징점들의 위치들을 나타내는 좌표값들을 변환하는 동작, 및
    상기 변환 이후의 좌표값들과 상기 얼굴 특징점들의 대응점들의 위치들을 나타내는 좌표값들 사이의 오차들의 중앙값을 산출하는 동작
    을 반복하고,
    상기 반복된 동작들에서 좌표값 변환에 이용된 파라미터들 중에서 상기 중앙값을 최소화하는 파라미터에 기초하여 변환된 얼굴 특징점의 좌표값들과, 얼굴 특징점의 대응점의 위치를 나타내는 좌표값들 사이의 오차가, 미리 정해진 임계값보다 큰 경우에 얼굴 특징점을 오프-포지션 얼굴 특징점인 것으로 판정하는 얼굴 특징점 위치 보정 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 통계적인 얼굴 형상 모델의 정보를 기억하는 얼굴 형상 모델 기억 수단을 포함하는 얼굴 특징점 위치 보정 장치.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 얼굴 특징점 위치 보정 수단은, 상기 오프-포지션 얼굴 특징점 판정 수단에 의해 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들, 및 상기 얼굴 특징점 차이 계산 수단에 의한 계산 결과로서의 차이가 사전 설정된 임계값 이상인 얼굴 특징점들에 대한 위치의 보정을 실행하는 얼굴 특징점 위치 보정 장치.
  6. 얼굴 특징점 위치 보정 방법으로서,
    각각의 얼굴 특징점의 특징점 적합성을 나타내기 위해서 얼굴이 찍힌 화상으로부터 각각의 얼굴 특징점에 대하여 각각 생성된 신뢰도 맵에 기초하여, 상기 화상에서의 상기 얼굴 상의 기관들의 얼굴 특징점들의 위치들을 계산하는 단계;
    각각의 얼굴 특징점이, 얼굴 특징점의 계산된 위치 및 상기 얼굴 특징점에 대응하는 통계적인 얼굴 형상 모델에서의 대응점의 위치에 기초하여 특정된 미리 정해진 조건에 합치하지 않는 얼굴 특징점인 오프-포지션 얼굴 특징점인지 여부를 판정하는 단계;
    미리 정해진 평가 함수에 따라, 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와 상기 얼굴 특징점에 대응하는 상기 대응점의 위치 사이의 차이를 계산하는 단계; 및
    각각의 얼굴 특징점이 오프-포지션 얼굴 특징점인지 여부의 판정 결과, 및 각각의 얼굴 특징점의 위치와 상기 얼굴 특징점에 대응하는 상기 대응점의 위치 사이의 차이의 계산 결과에 기초하여, 상기 얼굴 특징점들의 결정된 위치들을 보정하는 단계
    를 포함하는 얼굴 특징점 위치 보정 방법.
  7. 컴퓨터로 하여금,
    각각의 얼굴 특징점의 특징점 적합성을 나타내기 위해서 얼굴이 찍힌 화상으로부터 각각의 얼굴 특징점에 대하여 각각 생성된 신뢰도 맵에 기초하여, 상기 화상에서의 상기 얼굴 상의 기관들의 얼굴 특징점들의 위치들을 계산하는 초기 얼굴 특징점 위치 계산 처리;
    각각의 얼굴 특징점이, 상기 초기 얼굴 특징점 위치 계산 처리에 의해 계산된 얼굴 특징점의 위치 및 상기 얼굴 특징점에 대응하는 통계적인 얼굴 형상 모델에서의 대응점의 위치에 기초하여 특정된 미리 정해진 조건에 합치하지 않는 얼굴 특징점인 오프-포지션 얼굴 특징점인지 여부를 판정하는 오프-포지션 얼굴 특징점 판정 처리;
    미리 정해진 평가 함수에 따라, 상기 오프-포지션 얼굴 특징점 판정 처리에 의해 오프-포지션 얼굴 특징점들로 판정된 얼굴 특징점들을 제외한 각각의 얼굴 특징점의 위치와 상기 얼굴 특징점에 대한 통계적 얼굴 형상 모델에서의 대응하는 상기 대응점의 위치 사이의 차이를 계산하는 얼굴 특징점 차이 계산 처리; 및
    상기 오프-포지션 얼굴 특징점 판정 처리에 의한 판정 결과 및 상기 얼굴 특징점 차이 계산 처리에 의한 계산 결과에 기초하여, 상기 얼굴 특징점들의 결정된 위치들을 보정하는 얼굴 특징점 위치 보정 처리
    를 실행하도록 하는 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체.
  8. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 얼굴이 찍힌 입력 화상으로부터, 각각의 얼굴 특징점에 대하여, 신뢰도 맵을 생성하는 얼굴 특징점 신뢰도 생성 수단을 포함하며,
    상기 초기 얼굴 특징점 위치 계산 수단은, 상기 얼굴 특징점 신뢰도 생성 수단에 의해 생성된 상기 신뢰도 맵에 기초하여, 상기 얼굴이 찍힌 화상에서의 각각의 얼굴 특징점의 위치를 계산하는 얼굴 특징점 위치 보정 장치.
KR1020127030899A 2010-05-26 2011-05-18 얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법, 및 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체 KR101365789B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010121017 2010-05-26
JPJP-P-2010-121017 2010-05-26
PCT/JP2011/002766 WO2011148596A1 (ja) 2010-05-26 2011-05-18 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム

Publications (2)

Publication Number Publication Date
KR20130025906A KR20130025906A (ko) 2013-03-12
KR101365789B1 true KR101365789B1 (ko) 2014-02-20

Family

ID=45003597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127030899A KR101365789B1 (ko) 2010-05-26 2011-05-18 얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법, 및 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체

Country Status (6)

Country Link
US (1) US8737697B2 (ko)
EP (1) EP2579210A4 (ko)
JP (1) JP5772821B2 (ko)
KR (1) KR101365789B1 (ko)
CN (1) CN102906786B (ko)
WO (1) WO2011148596A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001144A1 (en) * 2011-06-30 2013-01-03 Nokia Corporation Method and apparatus for face tracking utilizing integral gradient projections
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
US8983203B2 (en) * 2011-10-14 2015-03-17 Ulsee Inc. Face-tracking method with high accuracy
JP6071002B2 (ja) * 2012-02-16 2017-02-01 日本電気株式会社 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP6026119B2 (ja) * 2012-03-19 2016-11-16 株式会社東芝 生体情報処理装置
WO2013145496A1 (ja) * 2012-03-27 2013-10-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
JP5895703B2 (ja) * 2012-05-22 2016-03-30 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
CN103116403A (zh) * 2013-02-16 2013-05-22 广东欧珀移动通信有限公司 一种屏幕切换方法及移动智能终端
JP6261187B2 (ja) * 2013-05-21 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105868767B (zh) * 2015-01-19 2020-02-18 阿里巴巴集团控股有限公司 人脸特征点定位方法和装置
CN105893920B (zh) 2015-01-26 2019-12-27 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
EP3136289A1 (en) 2015-08-28 2017-03-01 Thomson Licensing Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
US9898674B2 (en) 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6822482B2 (ja) 2016-10-31 2021-01-27 日本電気株式会社 視線推定装置、視線推定方法及びプログラム記録媒体
JP6894725B2 (ja) * 2017-03-09 2021-06-30 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
WO2019003973A1 (ja) 2017-06-26 2019-01-03 日本電気株式会社 顔認証装置、顔認証方法およびプログラム記録媒体
JP6992367B2 (ja) * 2017-09-27 2022-01-13 カシオ計算機株式会社 爪輪郭検出装置、爪輪郭検出方法及び爪輪郭検出プログラム
CN109872379B (zh) * 2017-12-05 2022-12-02 富士通株式会社 数据处理装置和方法
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US20220036581A1 (en) 2018-09-26 2022-02-03 Nec Corporation Estimation device, estimation method, and storage medium
CN110889373B (zh) * 2019-11-27 2022-04-08 中国农业银行股份有限公司 基于区块链的身份识别方法、信息保存方法及相关装置
US11587288B2 (en) * 2021-03-15 2023-02-21 Tencent America LLC Methods and systems for constructing facial position map

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299051A (ja) 2006-04-27 2007-11-15 Toshiba Corp 画像処理装置、方法およびプログラム
KR100816016B1 (ko) 2006-09-12 2008-03-21 인하대학교 산학협력단 이기종 지문 입력기 간 인식의 호환을 위한 테일러시리즈를 이용한 특징점 변환 방법
KR100886407B1 (ko) 2005-09-26 2009-03-02 캐논 가부시끼가이샤 정보 처리 장치 및 그 제어방법
JP2009211177A (ja) 2008-02-29 2009-09-17 Canon Inc 特徴点位置決定方法及び装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4501937B2 (ja) * 2004-11-12 2010-07-14 オムロン株式会社 顔特徴点検出装置、特徴点検出装置
JP2007094906A (ja) * 2005-09-29 2007-04-12 Toshiba Corp 特徴点検出装置および方法
CN1786980A (zh) * 2005-12-08 2006-06-14 上海交通大学 用二维轮廓进行人脸特征点新位置搜索的方法
GB0607143D0 (en) * 2006-04-08 2006-05-17 Univ Manchester Method of locating features of an object
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
JP2010121017A (ja) 2008-11-19 2010-06-03 Dainippon Printing Co Ltd 粘着フィルム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100886407B1 (ko) 2005-09-26 2009-03-02 캐논 가부시끼가이샤 정보 처리 장치 및 그 제어방법
JP2007299051A (ja) 2006-04-27 2007-11-15 Toshiba Corp 画像処理装置、方法およびプログラム
KR100816016B1 (ko) 2006-09-12 2008-03-21 인하대학교 산학협력단 이기종 지문 입력기 간 인식의 호환을 위한 테일러시리즈를 이용한 특징점 변환 방법
JP2009211177A (ja) 2008-02-29 2009-09-17 Canon Inc 特徴点位置決定方法及び装置

Also Published As

Publication number Publication date
EP2579210A1 (en) 2013-04-10
CN102906786A (zh) 2013-01-30
US8737697B2 (en) 2014-05-27
US20130022277A1 (en) 2013-01-24
CN102906786B (zh) 2015-02-18
WO2011148596A1 (ja) 2011-12-01
JP5772821B2 (ja) 2015-09-02
KR20130025906A (ko) 2013-03-12
JPWO2011148596A1 (ja) 2013-07-25
EP2579210A4 (en) 2018-01-17

Similar Documents

Publication Publication Date Title
KR101365789B1 (ko) 얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법, 및 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체
US10964057B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP5159950B2 (ja) 画像処理装置、方法、プログラム
US10223804B2 (en) Estimation device and method
RU2016137779A (ru) Слежение за взглядом на основе адаптивного гомографического сопоставления
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
US10896343B2 (en) Information processing apparatus and information processing method
EP2717223A1 (en) Information processing device, information processing method, and information processing program
JPWO2019003973A1 (ja) 顔認証装置、顔認証方法およびプログラム
US20200058136A1 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
US9904843B2 (en) Information processing device, information processing method, and program
WO2019123554A1 (ja) 画像処理装置、画像処理方法、及び、記録媒体
US11647152B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US11488415B2 (en) Three-dimensional facial shape estimating device, three-dimensional facial shape estimating method, and non-transitory computer-readable medium
US10755439B2 (en) Estimation device, estimation method and storage medium
US20220309704A1 (en) Image processing apparatus, image processing method and recording medium
US20240070903A1 (en) Image processing apparatus and control method for same
US20230168103A1 (en) Information processing apparatus, information processing method, and medium
JP2018055173A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180119

Year of fee payment: 5