KR20120006493A - 얼굴특징점 검출 장치 및 프로그램 - Google Patents

얼굴특징점 검출 장치 및 프로그램 Download PDF

Info

Publication number
KR20120006493A
KR20120006493A KR1020117022723A KR20117022723A KR20120006493A KR 20120006493 A KR20120006493 A KR 20120006493A KR 1020117022723 A KR1020117022723 A KR 1020117022723A KR 20117022723 A KR20117022723 A KR 20117022723A KR 20120006493 A KR20120006493 A KR 20120006493A
Authority
KR
South Korea
Prior art keywords
eyelid
parameter
eye
shape model
tail
Prior art date
Application number
KR1020117022723A
Other languages
English (en)
Other versions
KR101267205B1 (ko
Inventor
사토루 나카니시
요시키 니노미야
다카시 나이토
신이치 고지마
요시나오 다케마에
다쿠히로 오미
준 아다치
다카시 히라마키
Original Assignee
아이신세이끼가부시끼가이샤
가부시키가이샤 덴소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이신세이끼가부시끼가이샤, 가부시키가이샤 덴소 filed Critical 아이신세이끼가부시끼가이샤
Publication of KR20120006493A publication Critical patent/KR20120006493A/ko
Application granted granted Critical
Publication of KR101267205B1 publication Critical patent/KR101267205B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

노이즈에 의해 눈시울 및 눈꼬리 부분이 가려져 있을 경우라도 얼굴특징점으로서 눈시울 위치 및 눈꼬리 위치를 정밀하게 검출한다. 영상으로부터 검출된 눈시울의 제1위치를 나타내는 고정의 제어 점 P3, 눈꼬리의 제1위치를 나타내는 고정의 제어 점 P4, 윗 눈꺼풀 위치 후보에게 대응한 제어점 P1 (제1의 파라미터) 및 아랫 눈꺼풀 위치 후보에게 대응한 제어점P2 (제2의 파라미터)에 의해 나타내어지는 베지어(bezier)곡선을 제1의 눈꺼풀 형상 모델이라고 해서 제1의 눈꺼풀 형상 모델과 영상에 포함되는 눈꺼풀의 형상과의 피팅 평가 값λ이 가장 높을 때의 P1 및 P2을 고정한 제2의 눈꺼풀 형상 모델에 있어서 눈시울 위치 후보를 나타내는 제어점 P3 (제3의 파라미터) 및 눈꼬리 위치 후보를 나타내는 제어점 P4 (제4의 파라미터)을 변경했을 때의 피팅 평가 값λ이 가장 높을 때의 P3 및 P4를 눈시울의 제2위치 및 눈꼬리의 제2위치로서 결정한다.

Description

얼굴특징점 검출 장치 및 프로그램 {FACE FEATURE POINT DETECTION DEVICE AND PROGRAM}
본 발명은 얼굴특징점 검출장치 및 프로그램에 따른 특히 얼굴특징점으로서의 눈시울 위치 및 눈꼬리 위치를 검출하는 얼굴특징점 검출장치 및 프로그램에 관한 것이다.
종래에 검출 대상의 영상에 포함된 얼굴을 검출하고, 이 얼굴의 검출 정보를 이용하여 얼굴을 구성하는 눈을 검출하고, 이 눈의 검출 정보를 이용하여 눈의 눈시울 및 눈꼬리를 검출하는 얼굴특징점 검출방법에 있어서, 사전에 복수의 샘플 영상을 이용해서 생성된 학습 식별기를 이용하여 눈시울 및 눈꼬리를 검출하는 얼굴특징점 검출방법이 제안되어 있다 (예를 들면, 특허문헌 1참조).
또한, 윗 눈꺼풀의 에지(edge)와 아랫 눈꺼풀의 에지(edge)와의 교점을 코너 검출법을 이용해 눈꼬리와 눈시울의 후보점으로 검출하고 검출된 후보점 주변의 패턴(pattern)을 잘라내어 미리 등록돼 있는 눈꼬리 및 눈시울의 템플릿(template)과의 유사도를 계산하고, 유사도가 높은 눈꼬리 후보 및 눈시울 후보를 눈꼬리 및 눈시울로서 검출하는 특징점 검출 장치가 제안되어 있다 (예를 들면, 특허문헌 2참조).
[특허문헌1]일본특허공개제 2007-213377호 공보
[특허문헌2]일본특허공개제 2007-94906호 공보
그렇지만, 상기 특허문헌 1에 기재된 기술에서는 학습 식별기에 의해 검출된 영역의 눈꼬리 또는 눈시울과의 유사도를 판별할 수는 있지만, 얼굴 특징점으로서의 눈꼬리 위치 및 눈시울 위치의 검출로서는 정밀도가 좋지 않다는 문제가 있다.
또한, 검출 정밀도를 향상시키기 위해서는 고정밀 학습 식별기를 생성해서 기억시켜 놓을 필요가 있으며 계산 시간 및 필요 메모리량이 증대한다는 문제가 있다.
또한, 상기 특허문헌 2에 기재된 기술에서는 코너 검출법에 의해 검출한 후보점의 주변이 미소(微小)한 범위에 대하여 템플릿과의 유사도를 계산하고 있기 때문에 안경의 비침현상등의 노이즈(noise)에 의해 눈꼬리 및 눈시울 부분이 가려져 있을 경우에는 눈꼬리 위치 및 눈시울 위치의 검출이 곤란해진다는 문제가 있다.
본 발명은 상기의 문제를 해결하기 위해서 이뤄진 것이며, 안경의 비침현상등의 노이즈에 의해 눈시울 및 눈꼬리 부분이 가려져 있을 경우라도 얼굴 특징점으로서 눈시울 위치 및 눈꼬리 위치를 정밀하게 검출할 수 있는 얼굴특징점 검출장치 및 프로그램을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해서 본 발명의 얼굴특징점 검출장치는
눈시울 및 눈꼬리를 대비한 눈영역을 포함하는 영상의 영상 데이터를 취득하는 취득 수단과 상기 취득 수단으로 취득한 영상 데이터에서 패턴 매칭(matching)에 의해 눈시울의 제1위치 및 눈꼬리의 제1위치를 검출하는 위치 검출 수단과
상기 위치 검출 수단으로 검출된 눈시울의 제1위치 및 눈꼬리의 제1위치를 끝(가장자리)점으로 하는 위쪽의 곡선 및 아래쪽의 곡선으로 표시되며 또한, 상기 위쪽의 곡선 위로 정한 윗 눈꺼풀 위치를 제1의 파라미터(parameter) 및 상기 아래쪽의 곡선 위로 정한 아랫 눈꺼풀 위치를 제2의 파라미터로 하는 제1의 눈꺼풀 형상 모델에 있어서,
상기 제1의 파라미터 및 상기 제2의 파라미터를 변경했을 때의 상기 제1의 눈꺼풀 형상 모델과 상기영상에 포함된 눈꺼풀의 형상이 일치하는 정도를 나타낸 제1의 우도(尤度, likelyhood)를 상기 제1의 파라미터 및 상기 제2의 파라미터마다 연산하는 제1의 연산 수단과
상기 제1의 연산 수단으로 연산된 제1의 우도가 가장 높은 상기 제1의 눈꺼풀 형상 모델로 또한, 눈시울 위치를 제3의 파라미터 및 눈꼬리 위치를 제4의 파라미터로 한, 제2의 눈꺼풀 형상 모델에 있어서,
상기 제3의 파라미터 및 상기 제4의 파라미터를 변경했을 때의 상기 제2의 눈꺼풀 형상 모델과 상기 영상에 포함된 눈꺼풀의 형상이 일치하는 정도를 나타내는 제2의 우도를 상기 제3의 파라미터 및 상기 제4의 파라미터마다 연산하는 제2의 연산 수단과
상기 제2의 연산 수단으로 연산된 제2의 우도가 가장 높은 상기 제2의 눈꺼풀형상 모델의 제3의 파라미터에서 나타내지는 위치를 눈시울의 제2위치 및 제4의 파라미터에서 나타내지는 위치를 눈꼬리의 제2위치로서 결정하는 위치 결정 수단을 포함해서 구성되어 있다.
또한, 본 발명의 얼굴특징점 검출 프로그램은 컴퓨터를 눈시울 및 눈꼬리를 대비한 눈영역을 포함하는영상의 영상 데이터를 취득하는 취득 수단과
상기 취득 수단으로 취득한 영상 데이터로 패턴 매칭에 의해 눈시울의 제1위치 및 눈꼬리의 제1위치를 검출하는 위치 검출 수단과
상기 위치 검출 수단으로 검출된 눈시울의 제1위치 및 눈꼬리의 제1위치를 끝(가장자리)점으로 하는 위쪽의 곡선 및 아래쪽의 곡선으로 표시된 또한 상기 위쪽의 곡선 위로 정한 윗 눈꺼풀 위치를 제1의 파라미터 및 상기 아래쪽의 곡선 위로 정한 아랫 눈꺼풀 위치를 제2의 파라미터로 하는 제1의 눈꺼풀 형상 모델에 있어서,
상기 제1의 파라미터 및 상기 제2의 파라미터를 변경했을 때의 상기 제1의 눈꺼풀 형상 모델과 상기 영상에 포함된 눈꺼풀의 형상이 일치하는 정도를 나타내는 제1의 우도를 상기 제1의 파라미터 및 상기 제2의 파라미터마다 연산하는 제1의 연산 수단과
상기 제1의 연산 수단으로 연산된 제1의 우도가 가장 높은 상기 제1의 눈꺼풀 형상 모델로 또한, 눈시울 위치를 제3의 파라미터 및 눈꼬리 위치를 제4의 파라미터로 한, 제2의 눈꺼풀 형상 모델에 있어서,
상기 제3의 파라미터 및 상기 제4의 파라미터를 변경했을 때의 상기 제2의 눈꺼풀 형상 모델과 상기 영상에 포함된 눈꺼풀의 형상이 일치하는 정도를 나타내는 제2의 우도를 상기 제3의 파라미터 및 상기 제4의 파라미터마다 연산하는 제2의 연산 수단과
상기 제2의 연산 수단으로 연산된 제2의 우도가 가장 높은 상기 제2의 눈꺼풀형상 모델의 제3의 파라미터에서 나타내지는 위치를 눈시울의 제2위치 및 제4의 파라미터에서 나타내지는 위치를 눈꼬리의 제2위치로서 결정하는 위치 결정 수단으로서 기능시키기 위한 프로그램이다.
본 발명의 얼굴특징점 검출장치 및 프로그램에 의하면 취득 수단이 눈시울 및 눈꼬리를 대비한 눈영역을 포함하는영상의 영상 데이터를 취득하고, 위치 검출 수단이 취득 수단으로 취득한 영상 데이터로 패턴 매칭에 의해 눈시울의 제1위치 및 눈꼬리의 제1위치를 검출한다.
여기에서 눈시울 및 눈꼬리 부근에 노이즈가 존재하고 있는 등의 경우에는 눈시울의 제1위치 및 눈꼬리의 제1위치는 정밀하게 검출되지 않는 경우가 있다.
거기에서, 제1의 연산 수단이 위치 검출 수단으로 검출된 눈시울의 제1위치 및 눈꼬리의 제1위치를 끝(가장자리)점으로 하는 위쪽의 곡선 및 아래쪽의 곡선에서 표시되며, 또한 위쪽의 곡선 위로 정한 윗 눈꺼풀 위치를 제1의 파라미터 및 아래쪽의 곡선 위로 정한 아랫 눈꺼풀 위치를 제2의 파라미터로 하는 제1의 눈꺼풀 형상 모델에 있어서, 제1의 파라미터 및 제2의 파라미터를 변경했을 때의 제1의 눈꺼풀 형상 모델과 영상에 포함되는 눈꺼풀의 형상이 일치하는 정도를 나타내는 제1의 우도를 제1의 파라미터 및 제2의 파라미터마다 연산하고, 제2의 연산 수단이 제1의 연산 수단으로 연산된 제1의 우도가 가장 높은 제1의 눈꺼풀 형상 모델로, 또한 눈시울 위치를 제3의 파라미터 및 눈꼬리 위치를 제4의 파라미터로 한 제2의 눈꺼풀 형상 모델에 있어서, 제3의 파라미터 및 제4의 파라미터를 변경했을 때의 제2의 눈꺼풀 형상 모델과 영상에 포함되는 눈꺼풀의 형상이 일치하는 정도를 나타내는 제2의 우도를 제3의 파라미터 및 제4의 파라미터마다 연산하고, 위치 결정 수단이 제2의 연산 수단으로 연산된 제2의 우도가 가장 높은 제2의 눈꺼풀 형상 모델의 제3의 파라미터에서 나타내지는 위치를 눈시울의 제2위치 및 제4의 파라미터에서 나타내지는 위치를 눈꼬리의 제2위치로서 결정한다.
이와같이, 영상에 포함되는 눈꺼풀의 형상과의 우도가 가장 높은 제1의 눈꺼풀 형상 모델의 눈시울 위치를 제3의 파라미터 및 눈꼬리 위치를 제4의 파라미터로 하는 제2의 눈꺼풀 형상 모델에 있어서,
영상에 포함되는 눈꺼풀의 형상과의 우도가 가장 높은 제2의 눈꺼풀 형상 모델의 제3의 파라미터에서 나타내지는 위치를 눈시울의 제2위치 및 제4의 파라미터에서 나타내지는 위치를 눈꼬리의 제2위치로서 결정하기 위해서,
안경의 비침현상등의 노이즈에 의해 눈시울 및 눈꼬리 부분이 가려져 있을 경우라도 얼굴특징점으로서 눈시울 위치 및 눈꼬리 위치를 정밀하게 검출할 수 있다.
또한, 본 발명의 상기 제2의 연산 수단은 상기 위치 검출 수단에 의한 패턴 매칭의 매칭도가 미리 정한 역치(threshold value)보다 작을 경우에 상기 영상에 포함되는 눈꺼풀 형상 중, 상기 제2의 눈꺼풀 형상 모델의 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치 근방의 부분을 이용해서 제2의 우도를 연산하도록 할 수 있다.
위치 검출 수단에 의한 패턴 매칭의 매칭도가 미리 정한 역치보다 작을 경우에는 눈시울 및 눈꼬리 부근에 노이즈가 존재하고 있는 가능성이 높기 때문으로 제2의 눈꺼풀 형상 모델의 윗 눈꺼풀위치 및 아랫 눈꺼풀 위치 근방의 부분을 이용해서 제2의 우도를 연산하는 것에 의해 노이즈의 영향을 제외해서 우도를 연산할 수 있다.
또한, 본 발명의 상기위치 검출 수단은 패턴 매칭의 매칭도가 미리 정한 역치보다 작을 경우에 눈시울의 제1위치로서 복수의 눈시울 후보점을 검출하고, 눈꼬리의 제1위치로서 복수의 눈꼬리 후보점을 검출하고, 상기 제1의 연산 수단은 상기 복수의 눈시울 후보점에서 선택한 1개의 눈시울 후보점 및 상기 복수의 눈꼬리 후보점에서 선택한 1개의 눈꼬리 후보점을 끝(가장자리)점으로 하는 제1의 눈꺼풀 형상 모델에 있어서, 눈시울 후보점과 눈꼬리 후보점과의 구성 모두에 대해서 상기 제1의 우도를 연산하도록 할 수 있다.
이에 따라, 제1의 눈꺼풀 형상 모델을 유연하게 설정할 수 있고, 우도가 높은 파라미터를 결정할 수 있다.
또한, 본 발명의 상기 제2의 연산 수단은 상기 제2의 눈꺼풀 형상 모델의 윗 눈꺼풀 위치와 아랫 눈꺼풀 위치와의 거리가 미리 정한 개도(開度) 역치보다 작을 경우에는 상기 제3의 파라미터 및 상기 제4의 파라미터를 미리 정한 범위내에서 변경하도록 할 수 있다.
눈의 개도가 작을 경우에는 주름살 등의 영향으로 본래의 눈시울 및 눈꼬리와는 벗어난 위치로 눈시울 위치 및 눈꼬리 위치가 검출될 경우가 있기 때문에 제3의 파라미터 및 제4의 파라미터를 미리 정한 범위 내에서 변경하도록 하는 것에 의해 검출되는 눈시울 위치 및 눈꼬리 위치가 크게 벗어나는 것을 방지할 수 있다.
또한, 본 발명의 얼굴특징점 검출장치는 상기 위치 결정 수단으로 이번에 결정된 눈시울의 제2위치와 눈시울의 제1위치와의 차이 및 이번에 결정된 눈꼬리의 제2위치와 눈꼬리의 제1위치와의 차이가 적어도 한쪽이 미리 정한 지난 번의 역치차이보다 클 경우에는 이번에 결정된 눈시울의 제2위치 및 눈꼬리의 제2위치를 눈시울의 제1위치 및 눈꼬리의 제1위치로 하여 바꿔 놓고, 다시 눈시울의 제2위치 및 눈꼬리의 제2위치를 결정하도록 제어하는 제어 수단을 포함해서 구성할 수 있다.
이것에 의해, 검출 정밀도가 향상된다.
또한, 본 발명의 얼굴특징점 검출 프로그램은 컴퓨터를 본 발명의 얼굴특징점 검출장치를 구성하는 각 수단으로 기능시키기 위한 프로그램이다.
이상에서 설명한 것 같이 본 발명의 얼굴특징점 검출장치 및 프로그램에 의하면 눈꺼풀 형상과의 우도가 높은 눈꺼풀 형상 모델의 파라미터로서 눈시울 위치 및 눈꼬리 위치를 검출하기 위해서 안경의 비침현상 등의 노이즈에 의해 눈꼬리 및 눈시울 부분이 가려져 있을 경우라도 얼굴특징점으로서 눈시울 위치 및 눈꼬리 위치를 정밀하게 검출할 수 있다 라는 효과를 얻을 수 있다.
도1은 본 발명의 실시형태에 따른 얼굴특징점 검출장치의 구성을 나타내는 블록도면.
도2는 제1의 실시의 형태의 얼굴특징점 검출장치에 있어서의 얼굴특징점 검출처리의 처리루틴(routine)의 내용을 나타내는 플로 차트.
도3은 본 발명의 제1실시형태에 있어서의 눈시울과 눈꼬리 위치 검출 처리의 처리루틴의 내용을 나타내는 플로 차트.
도4a는 얼굴영역의 검출을 설명하기 위한 도면.
도4b는눈의 탐색 범위 설정을 설명하기 위한 도면.
도4c는눈 영역의 검출을 설명하기 위한 도면.
도5는 눈시울의 탐색 범위 및 눈꼬리의 탐색 범위의 설정을 설명하기 위한 도면.
도6은 눈시울 영역의 검출을 설명하기 위한 도면.
도7은 눈시울의 제1위치의 검출을 설명하기 위한 도면.
도8은 제1의 실시의 형태에 있어서의 상하 눈꺼풀 위치 검출 처리의 처리루틴의 내용을 나타내는 플로 차트.
도9a는 눈꺼풀 형상 모델로서의 베지어(bezier)곡선 및 제어 점을 설명하기 위한 도면.
도9b는 제어 점 P₁과 윗 눈꺼풀 위치 후보와의 관계를 설명하기 위한 도면.
도10은 피팅(fitting) 평가 값과 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치와의 관계를 설명하기 위한 도면.
도11은 제1의 실시의 형태에 있어서의 눈시울 및 눈꼬리 위치 결정 처리의 처리루틴의 내용을 나타내는 플로 차트.
도12a는 노이즈가 없을 경우에 있어서의 피팅에 대해서 설명하기 위한 도면.
도12b는 노이즈가 있을 경우에 있어서의 피팅에 대해서 설명하기 위한 도면.
도13은 제2의 실시의 형태에 있어서의 눈시울 및 눈꼬리 위치 검출 처리의 처리루틴의 내용을 나타내는 플로 차트.
도14는 복수의 눈시울 위치 후보의 설정을 설명하기 위한 도면.
도15는 제2의 실시의 형태에 있어서의 상하 눈꺼풀 위치 검출 처리의 처리루틴의 내용을 나타내는 플로 차트.
도16은 제3의 실시의 형태에 있어서의 눈시울 및 눈꼬리 위치 결정 처리의 처리루틴의 내용을 나타내는 플로 차트.
도17는 눈의 개도에 의한 눈시울 위치 및 눈꼬리 위치 검출에의 영향을 설명하기 위한 도면.
도18은 제4의 실시의 형태의 얼굴특징점 검출장치에 있어서의 얼굴특징점 검출처리의 처리루틴의 내용을 나타내는 플로 차트.
도19는 눈꺼풀 형상 윈도우에 의한 눈꺼풀 형상 모델을 설명하기 위한 도면.
이하, 도면을 참조하고, 본 발명의 얼굴특징점 검출장치의 실시형태를 상세하게 설명한다.
도1에서 나타내는 바와 같이, 본 발명의 제1 실시형태에 따른 얼굴특징점 검출장치(10)은 촬영의 대상이 되는 대상물을 촬영하는 카메라(12), 표시장치(14) 및 컴퓨터(16)을 포함한다.
표시장치(14)는 입력된 정보에 기초한 표시를 실행하는 LCD(Liquid Crystal Display) 또는 CRT(Cathode Ray Tube)로 구성되어 있다.
컴퓨터(16)는 I/O (입출력)포트(16a), ROM(Read Only Memory) (16b), HDD(Hard Disk Drive) (16c), CPU(Central Processing Unit) (16d), RAM(Random Access Memory) (16e) 및 이것들 I/O포트(16a), ROM(16b), HDD(16c), CPU(16d)및 RAM(16e)를 서로 접속하는 버스(16f)를 포함해서 구성되어 있다.
기억 매체로서의 ROM(16b) 또는 HDD(16c)에는 OS등의 기본 프로그램 및 후술하는 얼굴특징점 검출처리의 처리루틴을 실행하기 위한 얼굴특징점 검출 프로그램 등의 각종 프로그램 및 각종 데이터가 기억되어 있다.
CPU(16d)는 프로그램을 ROM(16b) 및 HDD(16c)으로부터 읽어내서 실행하고, RAM(16e)에는 각종 데이터가 일시적으로 기억된다.
I/O포트(16a)에는 카메라(12) 및 표시장치(14)가 접속되어 있다.
그 다음에, 도2를 참조하고 제1의 실시의 형태의 얼굴특징점 검출장치에 있어서의 얼굴특징점 검출처리의 처리루틴에 대해서 설명한다.
또한, 본 루틴은 얼굴특징점 검출장치(10)의 스위치(용도 설명하지 않고)가 온(on)된 시점부터 소정시간 간격(예를 들면, 수 10msec)마다 컴퓨터(16)의 CPU(16d)에 의해 실행된다.
스텝(100)으로 카메라(12)로 촬영된 얼굴영상의 영상 데이터를 받아들인다.
그 다음에, 스텝(102)으로 상기 스텝(100)으로 받아들인 영상 데이터에 기초한 영상으로부터, 눈시울의 제1위치 및 눈꼬리의 제1위치를 검출하는 눈시울 및 눈꼬리 위치 검출 처리를 실행한다.
그 다음에, 스텝(104)으로 상기 스텝(102)으로 검출된 눈시울의 제1위치 및 눈꼬리의 제1위치에 기초하여 상부 눈꺼풀위치인 윗 눈꺼풀 위치 및 하부 눈꺼풀위치인 아랫 눈꺼풀 위치를 검출하여 상하 눈꺼풀위치 검출 처리를 실행한다.
그 다음에, 스텝(106)으로 상기 스텝(104)로 검출된 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치에 기초하여 눈시울의 제2위치 및 눈꼬리의 제2위치를 결정하는 눈시울 및 눈꼬리 위치 결정 처리를 실행한다.
그 다음에, 스텝(108)으로 상기 스텝(106)으로 결정된 눈시울의 제2위치 및 눈꼬리의 제2위치를 눈꼬리 위치 및 눈시울 위치의 검출 결과로서 표시하도록 표시장치(14)의 표시를 제어하고, 처리를 종료한다.
그 다음에, 도3을 참조하고 상기 얼굴특징점 검출처리의 처리루틴(도2)의 스텝(102)으로 실행되는 눈시울 및 눈꼬리 위치 검출 처리의 처리루틴에 대해서 설명한다.
스텝(110)으로 도4a에서 나타내는 템플릿 매칭 등의 수법에 의한 영상에서 예를 들면 직사각형 영역의 얼굴영역(30)을 검출한다.
그 다음에, 스텝(112)으로 상기 스텝(110)으로 검출된 얼굴영역(30)에 대하여, 도4b에서 나타내는 바와같이 눈의 탐색범위(32)를 설정한다.
눈의 탐색범위(32)는 검출된 얼굴영역(30)의 크기 등에 따르고, 눈이 존재한다고 상정되는 얼굴영역(30) 안에 오른쪽 눈용 및 왼쪽 눈용의 탐색 범위를 설정한다.
그리고, 도4c에서 나타내는 바와같이, 설정한 눈의 탐색범위(32)로부터 템플릿 매칭 등의 수법에 의해 예를 들면, 직사각형 영역의 눈영역(34)를 검출한다.
그 다음에, 스텝(114)으로 상기 스텝(112)으로 검출된 눈영역(34)에 기초하여 도5에서 가리킨 바와 같이 눈시울의 탐색범위(36) 및 눈꼬리의 탐색범위(38)을 설정한다.
눈시울의 탐색범위(36)은 예를 들면, 왼쪽 눈의 경우 눈영역을 가로방향으로 3분할했을 경우의 오른쪽영역 및 그 주변영역과 같이 설정할 수 있다.
또한, 본 스텝 이후의 처리는 오른쪽 눈 및 왼쪽 눈의 각각에 대해서 행하여 지지만, 여기에서는 왼쪽 눈의 처리에 대해서 설명하고 오른쪽 눈의 처리는 같으므로 설명을 생략한다.
그 다음에, 스텝(116)으로 도6에서 가리킨 바와 같이 상기 스텝(114)으로 설정된 눈시울의 탐색범위(36)에 대하여 예를 들면, 직사각형의 눈시울 탐색 윈도우(40)를 주사(走査)해서 눈시울 영역을 검출하고, 템플릿 매칭 등의 수법에 의해 눈시울 영역의 영상과 템플릿과의 매칭도를 내보이는 출력 값 Vhead를 산출한다.
그 다음에, 스텝(118)으로 상기 스텝(116)으로 산출된 출력 값V head가 미리 정한 역치 α보다 작은 것인가 아닌가를 판정한다.
출력 값 Vhead가 작을 경우, 즉 템플릿과의 매칭도가 낮을 경우에는 눈시울 영역에 안경의 비침현상에 의한 노이즈가 영향을 주고 있는 가능성이 높다고 판단할 수 있다.
거기에서, 역치 α는 노이즈의 존재 유무를 판정할 수 있는 값을 미리 정해 둔다.
Vhead <α의 경우에는 스텝(120)으로 진행하고 도7에서 나타내는 바와같이 눈시울의 탐색범위(36)의 중심을 눈시울의 제1위치로서 검출한다.
한편, Vhead=α의 경우에는 스텝(122)로 진행하고 도6에서 나타내는 바와 같이 눈시울 영역(눈시울 탐색 윈도우(40))의 중심을 눈시울의 제1위치로서 검출한다.
한편, 눈시울의 제1위치는 영상 상의 화소에 대응한 좌표(x, y)에 의해 특별히 정해진다.
후술하는 눈꼬리의 제1위치, 윗 눈꺼풀위치, 아랫 눈꺼풀위치 등에 대해서도 같다.
그 다음에 스텝(124)∼(130)로 눈시울의 제1위치를 검출한 처리와 같은 처리로 의해, 눈꼬리 탐색윈도우(42)을 이용하여 출력 값 Vtail을 산출하여 눈꼬리의 제1위치를 검출하고 리턴한다.
그 다음에 도8을 참조하여 상기 얼굴특징점 검출처리의 처리루틴(도2)의 스텝(104)으로 실행되는 상하 눈꺼풀 위치 검출 처리의 처리루틴에 대해서 설명한다.
스텝(132)으로 도9a에서 나타내는 바와 같이 눈시울 및 눈꼬리 위치 검출 처리로 검출된 눈시울의 제1위치를 제어 점 P₃, 눈꼬리의 제1위치를 제어 점 P₄및 윗 눈꺼풀 위치에 대응하는 제어 점 P₁을 설정한다.
제어 점P₃및 P₄는 고정으로 한다.
그리고, 제어 점P₁, P₃및 P₄에 기초하여 정해지는 베지어(bezier)곡선을 윗 눈꺼풀 형상 모델로 한다.
여기에서, 도9b에서 나타내는 바와 같이 제어 점P₃및 P₄를 끝(가장자리)점으로 하는 선분(線分)에 제어 점 P₁으로부터 내린 수선(垂線)의 중점을 윗 눈꺼풀 위치 후보로 정한다.
그 다음에, 스텝(134)으로 제어 점 P₁을 변경하면서 하기 수학식 1에 의해 피팅 평가 값λ을 산출한다.
Figure pct00001
여기에서, pi는 베지어(bezier)곡선 상의 점i에 있어서의 법선(法線) 벡터, ei는 점i에 있어서의 영상의 휘도구배(輝度勾配) 벡터 및 n은 베지어(bezier)곡선상의 점i의 수다.
점i에 있어서의 법선 벡터와 영상의 휘도구배 벡터와의 내적(內積)으로부터 베지어(bezier)곡선과 영상에 포함되는 눈꺼풀의 형상과의 우도를 산출하는 것이다.
또한, 제어 점 P₁의 변경 범위는 예를 들면, 눈의 탐색범위(32)안이며, 또한 제어 점 P₃및 P₄를 통하는 직선의 윗쪽 범위로 할 수 있다.
그 다음에, 스텝(136)으로 변경 범위 내의 모든 위치에 있어서 제어 점 P₁의 변경을 실행해서 피팅 평가 값 λ을 산출한 것인가 아닌가를 판정한다.
산출하지 않은 경우에는 스텝(132)으로 되돌아오고, 다음 위치에 제어 점 P₁을 설정하고 피팅 평가 값 λ의 산출 처리를 되풀이한다.
모든 위치에 있어서 산출 처리가 종료한 경우에는, 스텝(138)으로 진행하고, 도10에서 나타내는 바와 같이 산출된 피팅 평가 값 λ이 최대가 될 때의 제어 점 P₁에 의해 정해지는 윗 눈꺼풀 위치 후보를 윗 눈꺼풀 위치로서 검출한다.
그 다음에, 스텝(140)∼(146)로 윗 눈꺼풀 위치를 검출한 처리와 같은 처리로 의해 아랫 눈꺼풀 위치에 대응하는 제어 점 P₂를 이용하여 피팅 평가 값 λ를 산출하고, 피팅 평가 값 λ가 최대가 될 때의 제어 점 P₂에 의해 정해지는 아랫 눈꺼풀 위치 후보를 아랫 눈꺼풀위치로서 검출하고 리턴한다.
그 다음에, 도11을 참조하고 상기 얼굴특징점 검출처리의 처리루틴(도2)의 스텝(106)으로 실행되는 눈시울 및 눈꼬리 위치 결정 처리의 처리루틴에 대해서 설명한다.
스텝(150)으로 도12a에서 나타내는 바와 같이 상하 눈꺼풀 위치 검출 처리로 검출된 윗 눈꺼풀 위치의 제어 점을 P1, 아랫 눈꺼풀 위치의 제어점을 P2 , 눈시울 및 눈꼬리 위치 검출 처리로 검출된 눈꼬리의 제1위치를 제어 점 P4및 눈시울의 제2위치 후보를 제어 점 P3으로 설정한다.
윗 눈꺼풀 위치, 아랫 눈꺼풀위치 및 P4는 고정으로 한다.
그리고, 제어 점P1, P3 및 P4에 기초하여 정해지는 베지어(bezier)곡선, 및 제어 점 P2, P3 및 P4에 기초하여 정해지는 베지어(bezier)곡선을 상하 눈꺼풀 형상 모델로 한다.
그 다음에, 스텝(152)으로 눈시울 및 눈꼬리 위치 검출 처리(도3)의 스텝(116)으로 산출된 출력 값 Vhead가 역치α이상인가 아닌가를 판정하는 것에 의해 눈시울 부근에 노이즈가 존재할 가능성이 있는지 없는지를 판정한다.
Vhead=α의 경우에는 스텝(154)으로 진행하고, 제어점 P3∼제어점 P1 및 제어점 P3 ∼ 제어점 P2의 베지어(bezier)곡선상의 점i를 이용하고, 수학식 1에 의해 피팅 평가 값 λ을 산출한다.
한편, Vhead <α의 경우에는 스텝(156)으로 진행하고, 도12b에서 나타내는 바와 같이, 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치 근방의 베지어(bezier)곡선상의 점i를 이용해서 피팅 평가 값 λ을 산출한다.
윗 눈꺼풀 위치 근방과는 예를 들면, 제어점 P3 ∼ 윗 눈꺼풀 위치간의 곡선상의 윗 눈꺼풀 위치보다 1/2∼1/3의 범위로 할 수 있다.
아랫 눈꺼풀 위치 근방에 대해서도 같다.
이와같이, 노이즈가 생기고 있는 눈시울 부근의 눈꺼풀 형상을 이용할 일이 없고 피팅 평가 값 λ을 산출하는 것에 의해, 평가 값의 산출 정밀도를 향상시킬 수 있다.
그 다음에, 스텝(158)으로 변경 범위 내의 모든 위치에 있어서 제어점 P3의 변경을 실행하여 피팅 평가 값λ을 산출할 것인가 아닌가를 판정한다.
여기에서, 변경 범위는 예를 들면, 눈시울의 탐색범위(36) 안으로 할 수 있다.
산출하지 않고 있을 경우에는 스텝(150)에 되돌아오고, 다음 위치에 제어점P3을 설정하고, 피팅 평가 값λ의 산출 처리를 되풀이한다.
모든 위치에 있어서 산출 처리가 종료했을 경우에는 스텝(160)으로 진행하고, 산출된 피팅 평가 값λ이 최대가 될 때의 제어점 P3의 위치를 눈시울의 제2위치로서 결정한다.
그 다음에, 스텝(162)∼(172)로 눈시울의 제2위치를 결정한 처리와 같은 처리에 의해 상하 눈꺼풀 위치 검출 처리로 검출된 윗 눈꺼풀 위치의 제어점을 P1, 아랫 눈꺼풀 위치의 제어점을 P2, 상기 스텝(160)으로 결정된 눈시울의 제2위치를 제어 점 P3 및 눈꼬리의 제2위치 후보를 제어 점 P4로서 설정하고, 윗 눈꺼풀 위치, 아랫 눈꺼풀 위치 및 P3을 고정하고, 제어점 P4를 변경하면서 피팅 평가 값λ을 산출하고, 피팅 평가 값λ이 최대가 될 때의 제어 점 P4의 위치를 눈꼬리의 제2위치로서 결정하고 리턴한다.
이상에서 설명한 것 같이, 제1의 실시의 형태의 얼굴특징점 검출장치에 의하면 눈시울 및 눈꼬리 위치 검출 처리로 검출된 눈시울의 제1위치 및 눈꼬리의 제1위치를 이용하고, 제1의 눈꺼풀 형상 모델과의 피팅을 실시하고, 피팅 평가 값이 최대일 때의 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치를 이용하고, 제2의 눈꺼풀 형상 모델과의 피팅을 실행하여 눈시울의 제2위치 및 눈꼬리의 제2위치를 결정하기 위해서, 안경의 비침현상등의 노이즈에 의해 눈시울 또는 눈꼬리 부분이 가려져 있을 경우라도 얼굴특징점으로서 눈시울 위치 및 눈꼬리 위치를 정밀하게 검출할 수 있다.
그 다음에, 제2의 실시의 형태에 대해서 설명한다.
제1의 실시의 형태에서는 눈시울의 제1위치 및 눈꼬리의 제1위치를 각각 1점만 검출할 경우에 대해서 설명했지만 제2의 실시의 형태에서는 노이즈가 발생할 경우에 복수의 후보점을 검출하는 점이 다르다.
또한, 제1의 실시의 형태와 동일한 구성 및 처리에 대해서는 동일한 부호를 첨부해서 설명을 생략한다.
도13을 참조하고, 제2의 실시의 형태에 있어서의 눈시울 및 눈꼬리 위치 검출 처리의 처리루틴에 대해서 설명한다.
제1의 실시의 형태의 경우와 같이 스텝(116)으로 눈시울의 탐색범위(36)에 대하여 예를 들면, 직사각형의 눈시울 탐색 윈도우(40)을 주사해서 눈시울 영역을 검출하고, 템플릿 매칭 등의 수법에 의해 눈시울 영역의 영상과 템플릿과의 매칭도를 나타내는 출력 값 Vhead를 산출하고, 그 다음에 스텝(118)으로 Vhead가 역치α보다 작은 것인가 아닌가를 판정한다.
역치α보다 작을 경우에는 스텝(200)으로 진행하고, 도14에서 나타내는 바와같이 눈시울의 탐색범위(36)안에 복수의 눈시울 위치 후보를 설정한다.
또한, 눈꼬리 위치에 대해서도 같이 출력 값 Vtail이 역치보다 작을 경우에는 스텝(202)으로 눈꼬리의 탐색범위(38)안에 복수의 눈꼬리 위치 후보를 설정한다.
그 다음에, 도15를 참조하고 제2의 실시의 형태에 있어서의 상하 눈꺼풀 위치 검출 처리의 처리루틴에 대해서 설명한다.
스텝(210)으로 눈시울 및 눈꼬리 위치 검출 처리로 복수의 눈시울 위치 후보 또는 눈꼬리 위치 후보가 설정되어 있을 경우에는 그 안에서 1개씩 선택하고, 그 다음에 스텝(132)으로 선택한 눈시울 위치 후보를 제어점 P3및 눈꼬리 위치 후보를 제어 점 P4로서 고정하고, 그 다음에 스텝(134)로 피팅 평가 값λ을 산출한다.
스텝(136)으로 변경 범위내의 모든 위치에서 피팅이 종료했다고 판정되었을 경우에는 스텝(212)로 진행하고, 모든 눈시울 위치 후보 및 눈꼬리 위치 후보의 구성에 대해서 선택해서 처리가 종료한 것인가 아닌가를 판정하고, 아직 모두 종료하지 않고 있을 경우에는 스텝(210)으로 되돌아오고 다음 눈시울 위치 후보 또는 눈꼬리 위치 후보를 선택한다.
모두 종료했을 경우에는 스텝(138)로 눈시울 위치 후보에게서 선택된 1개의 제1의 눈시울 위치와 눈꼬리 위치 후보에게서 선택된 1개의 제1의 눈꼬리 위치와의 구성 모두에 대해서 산출된 피팅 평가 값λ이 최대일 때의 제어점P1에 의해 정해지는 윗 눈꺼풀 위치 후보를 윗 눈꺼풀 위치로서 검출한다.
또한, 눈꼬리 위치에 대해서도 같이 스텝(214)으로 눈시울 위치 후보 및 눈꼬리 위치 후보에게서 1개씩 선택하고, 스텝(216)으로 모든 구성을 선택해서 처리가 종료한 것인가 아닌가를 판정한다.
이상에서 설명한 바와 같이, 제2의 실시의 형태의 얼굴특징점 검출장치에 의하면, 눈시울 및 눈꼬리 위치 검출 처리시 눈시울 또는 눈꼬리 부근에 노이즈가 존재한 경우에는 눈시울의 제1위치 또는 눈꼬리의 제1위치로서 복수의 후보점을 검출하고 그 모든 구성에 대해서 피팅 하여 피팅 평가 값이 최대일 때의 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치를 검출하기 위해서 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치의 검출 정밀도가 향상하고 이 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치를 이용해서 결정되는 눈시울의 제2위치 및 눈꼬리의 제2위치의 결정 정밀도도 향상한다.
그 다음에, 제3의 실시의 형태에 대해서 설명한다.
제3의 실시의 형태에서는 눈의 개도(열린 각도)에 의해 눈시울의 제2위치 및 눈꼬리의 제2위치를 검출하기 위한 제어점의 변경 범위에 제한을 가하는 점이 제1의 실시의 형태와 다르다.
또한, 제1의 실시의 형태와 동일한 구성 및 처리에 대해서는 동일한 부호를 첨부해서 설명을 생략한다.
도16을 참조하고 제3의 실시의 형태에 있어서의 눈시울 및 눈꼬리 위치 결정 처리의 처리루틴에 대해서 설명한다.
스텝(300)으로 상하 눈꺼풀 위치 검출 처리로 검출된 윗 눈꺼풀 위치와 아랫 눈꺼풀 위치와의 거리로 나타내지는 눈의 개도가 개도 역치 이하인가 아닌가를 판정한다.
도17에서 나타내는 바와같이 눈의 개도가 작을 경우에는 눈시울 및 눈꼬리 부분에 생기는 주름살등의 영향을 받고 본래의 눈시울 위치 및 눈꼬리 위치와는 크게 다른 위치가 눈시울 위치 및 눈꼬리 위치로서 검출되어버릴 가능성이 있다.
거기에서, 개도 역치로서는 상기와 같은 영향에 의해 눈시울 위치 및 눈꼬리 위치의 판별이 곤란해지는 눈의 개도를 판별할 수 있는 것 같은 값을 미리 설정해 둔다.
눈의 개도가 개도 역치이하의 경우에는 스텝(302)로 진행하고, 개도가 개도 역치보다 클 경우에는 스텝(150)으로 진행한다.
스텝(302)로 제어점 P3 및 P4의 변경 범위를 한정한다.
예를 들면, 눈의 개도가 개도 역치이상일 때에 결정된 눈시울의 제2위치 및 눈꼬리의 제2위치를 소정의 기억 영역에 기억해 두고 이 위치부터의 거리가 소정범위내가 되는 것 같은 범위로 한정할 수 있다.
또한, 눈영역의 영상을 소정 사이즈 (예를 들면 세로20화소 × 가로 40화소)로 정규화하고 제어점 P3, P4와의 거리가 얼굴이 정면을 향한 얼굴 영상의 경우에는 30화소분의 거리, 비스듬히 기운 얼굴(경사짐) (45°) 영상의 경우에는 20화소분의 거리가 되게 변경 범위를 한정할 수도 있다.
이하와 같이 제1의 실시의 형태에 있어서 눈시울 및 눈꼬리 위치 결정 처리와 같이 처리하고, 스텝(158) 및 스텝(170)에서는 상기 스텝(302)으로 한정된 변경 범위 내의 모든 점에서 제어점 P3 또는 P4를 변경하고, 피팅 평가 값λ의 산출을 종료한 것인가 아닌가를 판정하도록 한다.
이상에서 설명한 바와 같이, 제3의 실시 형태의 얼굴특징점 검출장치에 의하면 눈의 개도가 작은 경우에도 눈시울 및 눈꼬리 부근에 생긴 주름살등의 영향에 의해 눈시울 위치 및 눈꼬리 위치가 크게 벗어나서 검출되는 것을 방지할 수 있다.
그 다음에, 제4의 실시 형태에 대해서 설명한다.
제4의 실시의 형태에서는 눈시울 및 눈꼬리 위치 결정 처리를 되풀이 하여 실행하는 점이 제1의 실시 형태와 다르다.
또한, 제1의 실시 형태와 동일한 구성 및 처리에 대해서는 동일한 부호를 첨부해서 설명을 생략한다.
도18을 참조하고, 제4의 실시 형태의 얼굴특징점 검출장치에 있어서의 얼굴특징점 검출처리의 처리루틴에 대해서 설명한다.
스텝(100)으로 얼굴 영상의 영상 데이터를 받아들이고, 그 다음에 스텝(102)으로 눈시울의 제1위치 및 눈꼬리의 제1위치를 검출하는 눈시울 및 눈꼬리 위치 검출 처리를 실행하고, 그 다음에 스텝(104)으로 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치를 검출하는 상하 눈꺼풀 위치 검출 처리를 실행하고, 그 다음에 스텝(106)으로 눈시울의 제2위치 및 눈꼬리의 제2위치를 결정하는 눈시울 및 눈꼬리 위치 결정 처리를 실행한다.
그 다음에, 스텝(400)으로 상기 스텝(106)으로 결정된 눈시울의 제2위치 및 눈꼬리의 제2위치와 눈시울의 제1위치 및 눈꼬리의 제1위치와의 차이가 소정범위 내인가 아닌가를 판정한다.
소정범위 내의 경우에는 스텝(108)에 진행하고, 검출 결과를 표시한다.
한편, 소정범위 외의 경우에는 스텝(402)에 진행한다.
스텝(402)으로 상기 스텝(106)으로 결정된 눈시울의 제2위치 및 눈꼬리의 제2위치를 눈시울의 제1위치 및 눈꼬리의 제1위치로서 치환하고 스텝(104)에 되돌아온다.
스텝(104)에서는 상기 스텝(402)로 치환된 눈시울의 제1위치 및 눈꼬리의 제1위치를 이용하여 다시 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치를 검출하고 그 다음에 스텝(106)으로 다시 눈시울의 제2위치 및 눈꼬리의 제2위치를 결정한다.
이상에서 설명한 바와 같이, 제4의 실시 형태의 얼굴 영상특징 점검 출신 장치에 의하면 눈시울 및 눈꼬리 위치 검출 처리로 검출된 눈시울의 제1위치 및 눈꼬리의 제1위치보다도 정밀하게 결정된 눈시울의 제2위치 및 눈꼬리의 제2위치를 이용하고, 다시 윗 눈꺼풀위치 및 아랫 눈꺼풀 위치의 검출, 눈시울의 제2위치 및 눈꼬리의 제2위치를 결정하고, 눈시울의 제1위치 및 눈꼬리의 제1위치와의 차이가 소정범위가 될때 까지 반복하기 위해서 눈시울의 제2위치 및 눈꼬리의 제2위치를 정밀히 결정할 수 있다.
또한, 상기 각 실시의 형태에서는 베지어(bezier)곡선상의 점i에 있어서의 법선 벡터와 영상의 휘도구배 벡터와의 내적에 기초하여 피팅 평가 값을 산출할 경우에 대해서 설명했지만, 상하 눈꺼풀에는 가로 에지가 강하게 나타났기 때문에 가로 에지의 강도를 사용한 피팅 평가 값을 산출하도록 해도 좋다.
또한, 상기 각 실시 형태에서는 눈꺼풀 형상 모델로서 눈시울 위치, 눈꼬리 위치 및 상하 눈꺼풀 위치에 대응한 제어점으로 표시되는 베지어(bezier)곡선을 이용할 경우에 대해서 설명했지만 이에 한정되는 것은 아니다.
예를 들면, 도19에서 표시된 바와 같은 3개의 윈도우 (50a, 50b, 50c)를 조합한 눈꺼풀 형상 윈도우(50)를 눈꺼풀 형상 모델로서 이용해도 좋다.
이 경우 이 눈꺼풀 형상윈도우(50)를 눈의 탐색 범위내에서 주사하면서, 좌우의 윈도우(50a) 및 (50c)내에 나타나는 세로 에지의 강도를 검출하고, 중앙의 윈도우(50b) 내에 나타나는 가로 에지의 강도를 검출하고, 그 강도의 합을 이용해서 피팅을 실시할 수 있다.
10 얼굴특징점 검출장치
12 카메라
14 표시장치
16 컴퓨터
16d CPU

Claims (7)

  1. 눈시울 및 눈꼬리를 대비한 눈영역을 포함하는 영상의 영상 데이터를 취득하는 취득 수단과
    상기 취득 수단으로 취득한 영상 데이터로 패턴 매칭에 의해 눈시울의 제1위치 및 눈꼬리의 제1위치를 검출하는 위치 검출 수단과
    상기 위치 검출 수단으로 검출된 눈시울의 제1위치 및 눈꼬리의 제1위치를 끝(가장자리)점으로 하는 위쪽의 곡선 및 아래쪽의 곡선으로 표시된 또한, 상기 위쪽의 곡선위로 정한 윗 눈꺼풀 위치를 제1의 파라미터 및 상기 아래쪽의 곡선위로 정한 아랫 눈꺼풀 위치를 제2의 파라미터로 하는 제1의 눈꺼풀 형상 모델에 있어서, 상기 제1의 파라미터 및 상기 제2의 파라미터를 변경했을 때의 상기 제1의 눈꺼풀 형상 모델과 상기 영상에 포함된 눈꺼풀의 형상이 일치하는 정도를 나타내는 제1의 우도를 상기 제1의 파라미터 및 상기 제2의 파라미터마다 연산하는 제1의 연산 수단과
    상기 제1의 연산 수단으로 연산된 제1의 우도가 가장 높은 상기 제1의 눈꺼풀 형상 모델로 또한, 눈시울 위치를 제3의 파라미터 및 눈꼬리 위치를 제4의 파라미터로 한, 제2의 눈꺼풀 형상 모델에 있어서 상기 제3의 파라미터 및 상기 제4의 파라미터를 변경했을 때의 상기 제2의 눈꺼풀 형상 모델과 상기 영상에 포함된 눈꺼풀의 형상이 일치하는 정도를 나타내는 제2의 우도를, 상기 제3의 파라미터 및 상기 제4의 파라미터마다 연산하는 제2의 연산 수단과
    상기 제2의 연산 수단으로 연산된 제2의 우도가 가장 높은 상기 제2의 눈꺼풀 형상 모델의 제3의 파라미터에서 나타내지는 위치를 눈시울의 제2위치 및 제4의 파라미터에서 나타내어지는 위치를 눈꼬리의 제2위치로서 결정하는 위치 결정 수단
    을 포함하는 얼굴특징점 검출장치.
  2. 제1항에 있어서,
    상기 제2의 연산 수단은 상기 위치 검출 수단에 의한 패턴 매칭의 매칭도가 미리 정한 역치보다 작을 경우에 상기 영상에 포함되는 눈꺼풀의 형상중, 상기 제2의 눈꺼풀 형상 모델의 윗 눈꺼풀 위치 및 아랫 눈꺼풀 위치 근방의 부분을 이용해서 제2의 우도를 연산하는 얼굴특징점 검출장치.
  3. 제1항 또는 제2항에 있어서,
    상기 위치 검출 수단은 패턴 매칭의 매칭도가 미리 정한 역치보다 작을 경우에 눈시울의 제1위치로서 복수의 눈시울 후보점을 검출하고, 눈꼬리의 제1위치로서 복수의 눈꼬리 후보점을 검출하고,
    상기 제1의 연산 수단은 상기 복수의 눈시울 후보점에서 선택한 1개의 눈시울 후보점 및 상기 복수의 눈꼬리 후보점에서 선택한 1개의 눈꼬리 후보점을 끝(가장자리)점으로 하는 제1의 눈꺼풀 형상 모델에 있어서 눈시울 후보점과 눈꼬리 후보점과의 구성의 모두에 대해서 상기 제1의 우도를 연산하는 얼굴특징점 검출장치.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 제2의 연산 수단은 상기 제2의 눈꺼풀 형상 모델의 윗 눈꺼풀 위치와 아랫 눈꺼풀 위치와의 거리가 미리 정한 개도 역치보다 작을 경우에는 상기 제3의 파라미터 및 상기 제4의 파라미터를 미리 정한 범위내에서 변경하는 얼굴특징점 검출장치.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 위치 결정 수단으로 이번에 결정된 눈시울의 제2위치와 눈시울의 제1위치와의 차이 및 이번에 결정된 눈꼬리의 제2위치와 눈꼬리의 제1위치와의 차이가 적어도 한쪽이 미리 정한 지난번과의 차이가 역치보다 클 경우에는 이번에 결정된 눈시울의 제2위치 및 눈꼬리의 제2위치를 눈시울의 제1위치 및 눈꼬리의 제1위치로서 바꿔 놓고, 다시 눈시울의 제2위치 및 눈꼬리의 제2위치를 결정하도록 제어하는 제어 수단을 포함하는 얼굴특징점 검출장치.
  6. 컴퓨터를
    눈시울 및 눈꼬리를 대비한 눈영역을 포함한 영상의 영상 데이터를 취득하는 취득 수단과
    상기 취득 수단으로 취득한 영상 데이터로 패턴 매칭에 의해 눈시울의 제1위치 및 눈꼬리의 제1위치를 검출하는 위치 검출 수단과
    상기 위치 검출 수단으로 검출된 눈시울의 제1위치 및 눈꼬리의 제1위치를 끝(가장자리)점으로 하는 위쪽의 곡선 및 아래쪽의 곡선에서 표시된 또한 상기 위쪽의 곡선위로 정한 윗 눈꺼풀 위치를 제1의 파라미터 및 상기 아래쪽의 곡선 위로 정한 아랫 눈꺼풀 위치를 제2의 파라미터로 하는 제1의 눈꺼풀 형상 모델에 있어서 상기 제1의 파라미터 및 상기 제2의 파라미터를 변경했을 때의 상기 제1의 눈꺼풀 형상 모델과 상기 영상에 포함되는 눈꺼풀의 형상이 일치하는 정도를 나타내는 제1의 우도를 상기 제1의 파라미터 및 상기 제2의 파라미터마다 연산하는 제1의 연산 수단과
    상기 제1의 연산 수단으로 연산된 제1의 우도가 가장 높은 상기 제1의 눈꺼풀 형상 모델로 또한, 눈시울 위치를 제3의 파라미터 및 눈꼬리 위치를 제4의 파라미터로 한, 제2의 눈꺼풀 형상 모델에 있어서, 상기 제3의 파라미터 및 상기 제4의 파라미터를 변경했을 때의 상기 제2의 눈꺼풀 형상 모델과 상기 영상에 포함되는 눈꺼풀의 형상이 일치하는 정도를 나타내는 제2의 우도를 상기 제3의 파라미터 및 상기 제4의 파라미터마다 연산하는 제2의 연산 수단과
    상기 제2의 연산 수단으로 연산된 제2의 우도가 가장 높은 상기 제2의 눈꺼풀 형상 모델의 제3의 파라미터에서 나타내어지는 위치를 눈시울의 제2위치 및 제4의 파라미터에서 나타내어지는 위치를 눈꼬리의 제2위치로서 결정하는 위치 결정 수단
    으로써 기능시키기 위한 얼굴특징점 검출 프로그램.
  7. 컴퓨터를, 제1항 내지 제5항 중 어느 한항에 따른 얼굴특징점 검출장치를 구성하는 각 수단으로서 기능시키기 위한 얼굴특징점 검출 프로그램.
KR1020117022723A 2009-04-02 2010-03-26 얼굴특징점 검출 장치 및 프로그램 KR101267205B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009090065A JP5221436B2 (ja) 2009-04-02 2009-04-02 顔特徴点検出装置及びプログラム
JPJP-P-2009-090065 2009-04-02
PCT/JP2010/055454 WO2010113821A1 (ja) 2009-04-02 2010-03-26 顔特徴点検出装置及びプログラム

Publications (2)

Publication Number Publication Date
KR20120006493A true KR20120006493A (ko) 2012-01-18
KR101267205B1 KR101267205B1 (ko) 2013-05-24

Family

ID=42828112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117022723A KR101267205B1 (ko) 2009-04-02 2010-03-26 얼굴특징점 검출 장치 및 프로그램

Country Status (6)

Country Link
US (1) US8331630B2 (ko)
EP (1) EP2416294B1 (ko)
JP (1) JP5221436B2 (ko)
KR (1) KR101267205B1 (ko)
CN (1) CN102362291B (ko)
WO (1) WO2010113821A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140126630A (ko) * 2013-04-23 2014-10-31 한국전자통신연구원 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493097B (zh) * 2011-04-15 2015-09-16 爱信精机株式会社 眼睑检测装置、眼睑检测方法
US9020199B2 (en) * 2011-04-19 2015-04-28 Aisin Seiki Kabushiki Kaisha Eyelid detection device, eyelid detection method, and recording medium
US8811686B2 (en) 2011-08-19 2014-08-19 Adobe Systems Incorporated Methods and apparatus for automated portrait retouching using facial feature localization
JP5802524B2 (ja) * 2011-11-21 2015-10-28 株式会社Pfu 画像処理装置、画像処理方法、および画像処理プログラム
KR101141901B1 (ko) 2011-12-13 2012-07-12 한국 한의학 연구원 윗 눈꺼풀 모양 검출장치 및 방법
KR101164769B1 (ko) 2011-12-13 2012-07-12 한국 한의학 연구원 눈 특징점 검출장치 및 방법
CN103208111B (zh) * 2012-01-17 2015-10-07 富士通株式会社 用于修正图像角点的方法和装置以及图像处理设备
US20130243270A1 (en) * 2012-03-16 2013-09-19 Gila Kamhi System and method for dynamic adaption of media based on implicit user input and behavior
EP2876607B1 (en) * 2012-07-23 2019-07-31 Fujitsu Limited Shape data generation method and device
US9122914B2 (en) * 2013-05-09 2015-09-01 Tencent Technology (Shenzhen) Co., Ltd. Systems and methods for matching face shapes
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
CN105279764B (zh) 2014-05-27 2020-09-11 北京三星通信技术研究有限公司 眼睛图像处理设备和方法
US9846807B1 (en) 2014-12-31 2017-12-19 Morphotrust Usa, Llc Detecting eye corners
US10089525B1 (en) 2014-12-31 2018-10-02 Morphotrust Usa, Llc Differentiating left and right eye images
US9710707B1 (en) 2014-12-31 2017-07-18 Morphotrust Usa, Llc Detecting iris orientation
US9747508B2 (en) * 2015-07-24 2017-08-29 Honda Motor Co., Ltd. Surrounding environment recognition device
KR20230150397A (ko) * 2015-08-21 2023-10-30 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
JP6885935B2 (ja) 2015-10-16 2021-06-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼の特徴を用いる眼ポーズ識別
JP2019082743A (ja) * 2016-03-18 2019-05-30 三菱電機株式会社 情報処理装置及び情報処理方法
US10082866B2 (en) 2016-04-12 2018-09-25 International Business Machines Corporation Gaze point detection using dynamic facial reference points under varying lighting conditions
CN106203262A (zh) * 2016-06-27 2016-12-07 辽宁工程技术大学 一种基于眼睑曲线相似度与眼型指数的眼型分类方法
JP6946831B2 (ja) * 2017-08-01 2021-10-13 オムロン株式会社 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
US11200417B2 (en) * 2018-02-13 2021-12-14 Mitsubishi Electric Corporation Determination apparatus and method to enhance accuracy in determining the presence of an erroneously detected eyelid
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
CN110956067B (zh) * 2019-05-26 2022-05-17 魔门塔(苏州)科技有限公司 一种人眼眼睑曲线的构建方法及装置
CN113221599B (zh) * 2020-01-21 2022-06-10 魔门塔(苏州)科技有限公司 一种眼睑曲线的构建方法及装置
CN111582270A (zh) * 2020-04-24 2020-08-25 哈尔滨工业大学 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法
SE2250299A1 (en) * 2022-03-04 2023-09-05 Tobii Ab Eye openness

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
CN100382751C (zh) * 2005-05-08 2008-04-23 上海交通大学 基于vpf和改进的susan的眼角和瞳孔的定位方法
JP2007094906A (ja) * 2005-09-29 2007-04-12 Toshiba Corp 特徴点検出装置および方法
JP4414401B2 (ja) 2006-02-10 2010-02-10 富士フイルム株式会社 顔特徴点検出方法および装置並びにプログラム
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
FR2907569B1 (fr) * 2006-10-24 2009-05-29 Jean Marc Robin Procede et dispositif de simulation virtuelle d'une sequence d'images video.
FR2911984B1 (fr) * 2007-01-30 2009-02-27 Siemens Vdo Automotive Sas Procede pour identifier des points symboliques sur une image d'un visage d'une personne
JP4309928B2 (ja) * 2007-03-15 2009-08-05 アイシン精機株式会社 瞼検出装置、瞼検出方法、及び、プログラム
JP4825737B2 (ja) * 2007-06-20 2011-11-30 トヨタ自動車株式会社 開眼度判定装置
CN100561503C (zh) * 2007-12-28 2009-11-18 北京中星微电子有限公司 一种人脸眼角与嘴角定位与跟踪的方法及装置
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
US8345922B2 (en) * 2008-09-03 2013-01-01 Denso Corporation Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
FR2920938B1 (fr) * 2008-09-30 2010-01-29 Jean Marc Robin Procede et dispositif de simulation virtuelle d'une image
JP4788786B2 (ja) * 2009-02-09 2011-10-05 株式会社デンソー 眠気検出装置，プログラムおよび眠気検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140126630A (ko) * 2013-04-23 2014-10-31 한국전자통신연구원 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치

Also Published As

Publication number Publication date
EP2416294B1 (en) 2013-05-29
EP2416294A1 (en) 2012-02-08
KR101267205B1 (ko) 2013-05-24
JP2010244178A (ja) 2010-10-28
WO2010113821A1 (ja) 2010-10-07
JP5221436B2 (ja) 2013-06-26
US8331630B2 (en) 2012-12-11
CN102362291A (zh) 2012-02-22
EP2416294A4 (en) 2012-04-11
US20120014610A1 (en) 2012-01-19
CN102362291B (zh) 2013-09-04

Similar Documents

Publication Publication Date Title
KR101267205B1 (ko) 얼굴특징점 검출 장치 및 프로그램
JP4895847B2 (ja) 瞼検出装置及びプログラム
EP0593028B1 (en) Color image processing method and apparatus for same
US5878156A (en) Detection of the open/closed state of eyes based on analysis of relation between eye and eyebrow images in input face images
CN109426835B (zh) 信息处理装置、信息处理装置的控制方法和存储介质
JP4130820B2 (ja) 顔中心位置検出装置及び方法並びにプログラム
JP4445454B2 (ja) 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
JP4680161B2 (ja) 画像評価装置および方法並びにプログラム
CN113792718B (zh) 深度图中人脸区域定位方法、电子设备及存储介质
JP2000137792A (ja) 眼部検出装置
JP2007272435A (ja) 顔特徴抽出装置及び顔特徴抽出方法
US20150261998A1 (en) Image processing apparatus and image processing method
KR20220107022A (ko) 안저 영상 식별 방법 및 장치와 기기
CN116051631A (zh) 光斑标注方法及系统
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
US20030228044A1 (en) Radiographic marker location
EP3961495B1 (en) System and method for finding an area of an eye from a facial image
JP5111321B2 (ja) 瞼尤度演算装置、及びプログラム
JP5035139B2 (ja) 眼画像処理装置
JP4996943B2 (ja) 顔特徴点検出装置、顔特徴点検出方法及びプログラム
JP2008084109A (ja) 目開閉判定装置及び目開閉判定方法
JP5655491B2 (ja) 開眼状態検出装置
TW202203079A (zh) 智能鏡的臉部影像定位方法
CN117523633A (zh) 一种基于图像深度学习的眼部上睑下垂自动识别方法
JP2007130246A (ja) 細胞画像処理装置，角膜内皮細胞画像処理装置，細胞画像処理プログラム，及び角膜内皮細胞画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 7