KR100590572B1 - 눈 위치 검출 방법 및 장치 - Google Patents

눈 위치 검출 방법 및 장치 Download PDF

Info

Publication number
KR100590572B1
KR100590572B1 KR1020040106572A KR20040106572A KR100590572B1 KR 100590572 B1 KR100590572 B1 KR 100590572B1 KR 1020040106572 A KR1020040106572 A KR 1020040106572A KR 20040106572 A KR20040106572 A KR 20040106572A KR 100590572 B1 KR100590572 B1 KR 100590572B1
Authority
KR
South Korea
Prior art keywords
eye
pair
feature
detector
learning
Prior art date
Application number
KR1020040106572A
Other languages
English (en)
Inventor
김정배
박찬민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040106572A priority Critical patent/KR100590572B1/ko
Priority to US11/294,468 priority patent/US20060126940A1/en
Application granted granted Critical
Publication of KR100590572B1 publication Critical patent/KR100590572B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 눈 위치 검출 방법 및 장치에 관한 것으로, 보다 구체적으로 소정의 얼굴 영상에서 눈 후보를 검출하고, 상기 검출된 눈 후보로부터 생성된 눈 쌍 조합에서 눈 쌍 후보를 검출하고, 상기 검출된 눈 쌍 후보로부터 눈의 위치를 결정하는 눈 위치 검출 방법 및 장치에 관한 것이다.
본 발명에 따른 눈 위치 검출 장치는 상기 얼굴 영상으로부터 소정 크기로 정규화된 양 눈 영역에서 양 눈 후보를 검출하는 눈 후보 검출부, 상기 검출된 양 눈 후보의 조합으로부터 눈 쌍 후보를 검출하는 눈 쌍 후보 검출부 및 상기 검출된 눈 쌍 후보로부터 눈의 위치를 결정하는 눈 위치 결정부를 포함하는 것을 특징으로 한다.

Description

눈 위치 검출 방법 및 장치{Method and apparatus for detecting a position of eye}
도 1은 본 발명의 일 실시예에 상응하는 눈 위치 검출 장치의 기능 블록도를 도시하고 있다.
도 2는 소정의 얼굴 영상에서 제1 크기로 제한된 눈 후보 영역의 예를 도시하고 있다.
도 3은 본 발명의 일 실시예에 상응하는 눈 후보 검출부의 기능 블록도를 도시하고 있다.
도 4는 본 발명의 일 실시예에 상응하는 눈 학습 장치의 기능 블록도를 도시하고 있다.
도 5는 눈 학습 장치의 눈 학습 데이터 베이스에서 사용되는 눈 영상의 형식을 도시하고 있다.
도 6는 눈 위치 검출부의 제1 검출부의 기능 블록도를 도시하고 있다.
도 7은 본 발명의 일 실시예에 상응하는 눈 쌍 후보 검출부의 기능 블록도를 도시하고 있다.
도 8은 본 발명의 일 실시예에 상응하는 눈 쌍 학습 장치의 기능 블록도를 도시하고 있다.
도 9은 본 발명의 일 실시예에 상응하는, 눈 쌍 재구성부에서 재구성된 눈 쌍 영상을 도시하고 있다.
도 10은 본 발명의 일 실시예에 상응하는 눈 위치 결정부의 기능 블록도를 도시하고 있다.
도 11는 본 발명의 일 실시예에 상응하는 눈 위치 검출 방법의 흐름도를 도시하고 있다.
도 12은 본 발명의 일 실시예에 상응하는 눈 후보 검출 방법의 흐름도를 도시하고 있다.
도 13은 검출된 눈 후보의 조합으로부터 눈 쌍 후보를 검출하는 단계를 보다 구체적으로 설명하고 있는 흐름도이다.
도 14는 본 발명의 일 실시예에 상응하는 눈 학습 방법의 흐름도를 도시하고 있다.
도 15는 본 발명의 일 실시예에 상응하는 눈 쌍 학습 방법의 흐름도를 도시하고 있다.
본 발명은 눈 위치 검출 방법 및 장치에 관한 것으로, 보다 구체적으로 소정의 얼굴 영상에서 눈 후보를 검출하고, 상기 검출된 눈 후보로부터 생성된 눈 쌍 조합에서 눈 쌍 후보를 검출하고, 상기 검출된 눈 쌍 후보로부터 눈의 위치를 결정 하는 눈 위치 검출 방법 및 장치에 관한 것이다.
눈 위치를 검출하는 기술은 얼굴 인식 뿐만 아니라 휴먼 컴퓨터 인터페이스, 비디오 감시 시스템, 얼굴을 이용한 영상 검색 등의 다양한 응용 분야가 생겨나면서, 그 중요성이 점점 커지고 있다. 특히, 얼굴을 인식하기 위해서는 얼굴의 크기와 위치를 정규화해야 하는데, 일반적으로 눈의 위치로 정규화를 하고 있기 때문에, 눈 검출은 얼굴 인식을 위한 필수적인 기술이다.
한국 특허 출원 제10-2001-0080719에는 이진 탐색에 의해 결정된 이진화 임계치에 따라 얼굴 영상에서 눈 쌍 후보를 생성한 후, 눈 쌍 후보에 대해서 템플릿 매칭으로 눈 쌍을 결정하는 눈 검출 방법이 개시되어 있다. 그러나, 임계값으로 이진화한 눈 후보 중에 실제 눈이 존재할 확률이 낮은 문제점이 있다.
한편, 한국 특허 출원 제10-2001-0046110에는 "평균 눈 영상"과의 템플릿 매칭으로 눈 후보들을 검출하고, 상기 검출된 눈 후보로 얼굴 영상을 생성한 후, 상기 생성된 얼굴 영상과 평균 얼굴 영상의 유사성 비교에 의해 눈쌍을 결정하는 눈 검출 방법이 개시되어 있다. 그러나, 다양한 형태를 가지는 얼굴과 눈을 평균 얼굴 영상과 평균 눈 영상을 검출하는데는 한계가 있다.
본 발명이 이루고자 하는 기술적 과제는 얼굴 영상에서 정확하게 눈의 위치를 검출할 수 있는 눈 위치 검출 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 얼굴 영상에서 정확하게 눈의 위치를 검출할 수 있는 눈 위치 검출 장치를 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 눈 위치를 검출하기 위한 학습 장치를 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 눈 쌍 위치를 검출하기 위한 학습 장치를 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 눈 위치를 검출하기 위한 학습 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 눈 쌍 위치를 검출하기 위한 학습 방법을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 눈 위치 검출 방법은 얼굴 영상으로부터 소정 크기로 정규화된 양 눈 영역에서 양 눈 후보를 검출하는 단계(a 단계), 상기 검출된 양 눈 후보의 조합으로부터 눈 쌍 후보를 검출하는 단계(b 단계) 및 상기 검출된 눈 쌍 후보로부터 상기 눈의 위치를 결정하는 단계(c 단계)를 포함하는 것을 특징으로 것을 특징으로 한다.
바람직하게, 상기 눈 위치 검출 방법은 소정 크기의 얼굴 영상에서 오른 쪽 눈 영역과 왼쪽 눈 영역을 제1 크기로 정규화하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 (a) 단계는 상기 제1 크기로 분할되어 정규화된 눈 영역을 상기 제1 크기보다 작은 제 2 크기 이상의 서브윈도우들로 분할하는 단계(a1 단계), 상기 제2 크기의 서브윈도우를 제3 크기로 정규화하는 단계(a2 단계), 상기 제3 크기로 정규화된 서브윈도우에서 눈 특징을 추출하는 단계(a3 단계), 상기 제3 크기의 눈 영상을 저장하고 있는 학습 데이터 베이스를 학습하고 상기 눈 학습 결과로부터 선정된 눈 특징들에 기초하여 생성된 캐스캐이드 눈 검출기를 이용하여, 상기 추출된 특징의 서브윈도우를 눈 후보로 검출하는 단계(a4 단계) 및 상기 검출된 눈 후보들 중에서 영역이 서로 겹치는 눈 후보를 평균 크기와 위치로 통합하는 단계(a5 단계)를 포함하는 것을 특징으로 한다.
바람직하게, 상기 (b) 단계는 상기 검출된 눈 후보의 조합으로부터 생성된 눈 쌍에서 눈 쌍 특징을 추출하는 단계(b1 단계) 및 소정의 눈 쌍 학습 데이터 베이스를 학습하고 상기 눈 쌍 학습 결과로부터 선정된 눈 쌍 특징들에 기초하여 생성된 캐스캐이드 눈 쌍 검출기를 이용하여, 상기 눈 쌍을 눈 쌍 후보로 검출하는 단계(b2 단계)를 포함하는 것을 특징으로 한다.
바람직하게, 상기 (c) 단계는 검출된 양 눈 후보에 대한 캐스캐이드 눈 쌍 검출부에서 진행한 최고 레벨 수, 통합부에서 통합된 눈 후보의 수 및 눈 쌍 후보 결정부에서 눈 쌍 후보의 왼쪽 눈과 오른 쪽 눈의 위치 차이에 기초하여 결정되는 것을 특징으로 한다.
상기 기술적 과제를 달성하기 위한 눈 위치 검출 장치는 상기 얼굴 영상으로부터 소정 크기로 정규화된 양 눈 영역에서 양 눈 후보를 검출하는 눈 후보 검출부, 상기 검출된 양 눈 후보의 조합으로부터 눈 쌍 후보를 검출하는 눈 쌍 후보 검출부 및 상기 검출된 눈 쌍 후보로부터 눈의 위치를 결정하는 눈 위치 결정부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 눈 위치 검출 장치는 소정 크기의 얼굴 영상에서 오른 쪽 눈 영역과 왼쪽 눈 영역을 제 1 크기로 제한하여 정규화하는 눈 영역 제한부를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 눈 후보 검출부는 상기 제1 크기의 눈 영역을 상기 제1 크기보다 작은 제2 크기 이상의 서브윈도우로 분할하는 영역 분할부, 상기 분할된 서브윈도우를 제3 크기로 정규화하는 정규화부, 상기 정규화된 서브윈도우에서 눈 특징을 추출하는 제1 특징 추출부, 소정의 눈 학습 데이터 베이스를 학습하고 상기 눈 학습 결과로부터 선정된 눈 특징들에 기초하여 상기 추출된 눈 특징이 상기 선정된 눈 특징들에 일치하는지를 검출하는 캐스캐이드 눈 검출부, 상기 캐스캐이드 눈 검출부의 최고 레벨까지 진행된 눈 특징의 서브윈도우를 눈 후보로 검출하는 제 1 검출부 및 상기 검출된 눈 후보들 중에서 영역이 서로 겹치는 눈 후보를 평균 크기와 위치로 통합하는 통합부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 눈 쌍 후보 검출부는 상기 검출된 눈 후보의 조합으로부터 생성된 눈 쌍에서 눈 쌍 특징을 추출하는 제2 특징 추출부, 소정의 눈 쌍 학습 데이터 베이스를 학습하고 상기 눈 쌍 학습 결과로부터 선정된 눈 쌍 특징들에 기초하여 상기 추출된 눈 쌍 특징이 상기 선정된 눈 쌍 특징들에 일치하는지를 검출하는 캐스캐이드 눈 쌍 검출부 및 상기 캐스캐이드 눈 쌍 검출부의 최고 레벨을 진행한 눈 쌍 조합을 눈 쌍 후보로 검출하는 제 2 검출부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 눈 위치 결정부는 상기 검출된 눈 쌍 후보에서 오른쪽 눈 과 왼쪽 눈의 위치 차이를 계산하는 계산부 및 상기 검출된 눈 쌍 후보에 대한 캐스캐이드 눈 쌍 검출기에서 진행한 최고 레벨 수, 상기 통합부를 통해 통합된 눈 후보의 수 및 상기 오른쪽 눈과 왼쪽 눈의 위치 차이에 기초하여 눈 쌍을 결정하는 결정부를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 달성하기 위한 눈 학습 장치는 눈에 대한 학습 데이터 베이스를 저장하고 있는 제1 메모리부, 상기 눈 학습 데이터 베이스를 소정 크기로 정규화하여 학습하고, 상기 학습 결과에 기초하여 추출할 눈 특징을 선정하는 제1 특징 선정부, 상기 선정된 특징의 좌우 좌표를 바꾸어 거울 특징을 생성하는 거울 특징 생성부 및 상기 선정된 눈 특징 또는 거울 특징에 기초하여 상기 눈 영상에서 눈을 검출하기 위한 검출기를 제작하는 제1 제작부를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 달성하기 위한 눈 쌍 학습 장치는 눈 쌍에 대한 학습 데이터 베이스를 저장하고 있는 제2 메모리부, 상기 눈 쌍 학습 데이터 베이스로 정규화하여 학습하고, 상기 학습 결과에 기초하여 추출할 눈 쌍 특징을 선정하는 제2 특징 선정부 및 상기 선정된 눈 쌍 특징에 기초하여 상기 눈쌍 영역에서 추출된 눈 쌍 특징을 검출하기 위한 검출기를 제작하는 제2 제작부를 포함하며, 상기 눈 쌍 데이터 베이스에서 사용되는 눈 쌍 영상은 폭과 높이의 비율이 3:1의 크기로 정규화되는 것을 특징으로 한다.
상기 기술적 과제를 달성하기 위한 눈 학습 방법은 눈 학습 데이터 베이스의 눈 영상을 소정 크기로 정규화하여 학습하는 단계, 상기 학습 결과에 기초하여 추 출할 눈 특징을 선정하는 단계, 상기 선정된 특징의 좌우 좌표를 바꾸어 거울 특징을 생성하는 단계 및 상기 선정된 눈 특징 또는 거울 특징에 기초하여 상기 눈 영상에서 눈을 검출하기 위한 검출기가 제작되는 단계를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 달성하기 위한 눈 쌍 학습 방법은 눈 쌍 학습 데이터 베이스의 눈 쌍 영상을 소정 크기로 정규화하여 학습하는 단계, 상기 학습 결과에 기초하여 추출할 눈 쌍 특징을 선정하는 단계 및 상기 선정된 눈 쌍 특징에 기초하여 상기 눈 쌍 영상에서 눈 쌍을 검출하기 위한 검출기가 제작되는 단계를 포함하며, 상기 눈 쌍 데이터 베이스에서 사용되는 눈 쌍 영상은 폭과 높이의 비율이 3:1의 크기로 정규화되는 것을 특징으로 한다.
이하, 첨부된 도면을 참고로, 본 발명에 따른 눈 위치 검출 방법 및 장치를 보다 자세히 설명한다.
도 1은 본 발명의 일 실시예에 상응하는 눈 위치 검출 장치의 기능 블록도를 도시하고 있다. 도 1을 참고로, 본 발명에 따른 눈 위치 검출 장치는 눈 영역 제한부(110), 눈 후보 검출부(120), 눈 쌍 후보 검출부(130) 및 눈 위치 결정부(140)를 포함하고 있다.
상기 눈 영역 제한부(110)는 소정 크기의 정면 얼굴 영상에서 오른 쪽 눈 영역과 왼쪽 눈 영역을 제1 크기로 정규화한다. 예를 들어, 상기 정면 얼굴 영상에서 왼쪽 눈 영역과 오른쪽 눈 영역은 각각 x축을 기준으로 상기 얼굴 영상의 10%에서 50% 및 50%에서 90%로 제한되며, y축을 기준으로 상위 10%에서 50%로 제한된다. 상기 제한된 양 눈 영역을 제1 크기, 가령 50×50 픽셀 크기의 영상으로 정규화한다. 도 2는 소정의 얼굴 영상에서 상기 50×50 픽셀 크기로 정규화된 양 눈 영역을 도시하고 있다.
상기 눈 후보 검출부(120)는 상기 50×50 픽셀 크기로 정규화된 양 눈 영역을 제2 크기 이상, 가령 14×14 픽셀 이상의 서브윈도우들로 분할하고, 상기 분할된 서브 윈도우를 제3 크기, 가령 14×14로 정규화한다. 눈 영상을 저장하고 있는 눈 영상 데이터베이스를 학습하여 선정된 눈 특징과 상기 선정된 눈 특징에 기초하여 생성된 캐스캐이드 눈 검출기를 이용하여 상기 정규화된 양 눈 영역에서 눈 후보를 검출한다.
상기 눈 쌍 후보 검출부(130)는 눈 쌍 영상 데이터 베이스를 학습하여 선정된 눈 쌍 특징과 상기 선정된 눈 쌍 특징에 기초하여 생성된 캐스캐이드 눈 쌍 검출기를 이용하여 상기 검출된 눈 후보의 조합으로부터 눈 쌍 후보를 검출한다. 상기 눈 후보 검출부(120)로부터 검출된 눈 후보는 실제 눈이 아닌 눈썹 또는 안경테 등이 검출될 수 있다. 따라서, 상기 눈 쌍 후보 검출부(130)는 눈 쌍 데이터 베이스로부터 학습되어 선정된 특징들을 이용하여 상기 검출된 눈 후보의 조합으로부터 눈 쌍 후보를 검출한다.
상기 눈 위치 결정부(140)는 상기 눈 후보 검출부(120) 및 눈 쌍 후보 검출부(130)에서 검출된, 상기 눈 쌍 후보들 중에서 눈 쌍을 결정하기 위한 특징값(x)으로부터 하나의 눈 쌍을 결정한다. 상기 눈 위치 결정부(140)늘 통해 결정된 눈 쌍이 양 눈의 위치이다.
도 3은 본 발명의 일 실시예에 상응하는 눈 후보 검출부의 기능 블록도를 도시하고 있다. 도 3을 참고로, 본 발명에 따른 눈 후보 검출부는 영역 분할부(310), 정규화부(320), 제1 특징 추출부(330), 캐스캐이드 눈 검출부(340), 제1 검출부(350) 및 통합부(360)를 포함하고 있다.
상기 영역 분할부(310)는 상기 눈 영역 제한부(110)를 통해 입력된 눈 영역을 소정 크기의 영역으로 분할한다. 예를 들어, 상기 눈 영역 제한부(110)로부터 50×50 픽셀 크기의 눈 영역이 상기 영역 분할부(310)로 입력되면, 상기 영역 분할부(310)는 상기 양 눈 영역을 제1 크기, 예를 들어 50×50 픽셀 크기보다 작고 제2 크기, 예를 들어 14×14 픽셀 크기보다 큰 크기의 서브윈도우들로 분할한다. 상기 영역 분할부(310)는 상기 서브윈도우의 제2 크기를 소정 비율, 예를 들어 1.2배로 증가시키면서 상기 제1 크기의 눈 영역을 분할한다. 상기 영역분할부(310)은 상기 서브윈도우의 제2 크기가 상기 제1 크기보다 작을 때까지 상기 서브윈도우의 제2 크기를 소정 비율로 증가시키면서, 상기 제1 크기의 눈영역을 분할한다. 상기 정규화부(320)는 상기 분할된 서브윈도우를 제3 크기, 예를 들어 14×14 픽셀 크기로 정규화한다.
상기 제1 특징 추출부(330)는 소정의 눈 학습 장치에서 선정된 특징 혹은 거울 특징에 상응하는 눈 특징을 상기 정규화된 서브윈도우에서 추출한다. 상기 눈 학습 장치는 소정의 눈 학습 데이터 베이스를 학습하고 상기 눈 학습 결과로부터 선정된 상기 눈 특징들에 기초하여 캐스캐이드 눈 검출기를 제작한다. 상기 캐스캐이드 눈 검출기는 오프라인 상에서 생성되어 본 발명에 따른 눈 후보 검출부에 사용될 수 있다. 이하에서, 도 4을 참고로 상기 눈 학습 장치에 대해 보다 상세히 설명한다. 상기 캐스캐이드 눈 검출부(340)는 상기 눈 학습 장치에 의해 미리 제작된 캐스캐이드 눈 검출기에 의해 상기 추출된 눈 특징이 상기 선정된 눈 특징들에 일치하는지를 검출한다.
상기 제1 검출부(350)는 상기 캐스캐이드 눈 검출부(340)의 최고 레벨까지 진행된 눈 특징의 서브윈도우를 눈 후보로 검출한다. 상기 캐스캐이드 눈 검출부(340)에서 사용되는 캐스캐이드 눈 검출기는 상기 선정된 눈 특징들의 조합을 검출하기 위한 다수 검출기들의 직렬 연결로 구성되어 있다. 상기 캐스캐이드 눈 검출부(340)는 상기 추출된 눈 특징을 상기 다수의 검출기들을 통해 각각 검출하며, 상기 제1 검출부(350)는 상기 다수의 검출기들 중에서 가장 높은 레벨, 즉 가장 많은 검출기까지 진행된 눈 특징의 서브윈도우를 눈 후보로 검출한다.
상기 통합부(360)는 상기 검출된 눈 후보들 중에서 서로 영역이 겹쳐 있는 눈 후보들을 상기 통합된 눈 후보들의 평균 위치와 크기를 가지는 하나의 눈 후보로 통합시킨다.
도 4는 본 발명의 일 실시예에 상응하는 눈 학습 장치의 기능 블록도를 도시하고 있다. 도 4을 참고로, 본 발명에 따른 눈 학습 장치는 제1 메모리부(410), 제1 특징 선정부(420), 거울 특징 생성부(430) 및 제1 제작부(440)을 포함하고 있다.
상기 제1 메모리부(410)는 다수의 눈 영상에 관한 학습 데이터 베이스를 저장하고 있다. 상기 제1 특징 선정부(420)는 상기 눈 학습 데이터 베이스의 눈 영 상을 소정 크기로 정규화하여 학습하고, 상기 학습 결과에 기초하여 추출할 눈 특징을 선정한다. 바람직하게, 상기 제1 특징 선정부(420)는 모양-기반(appearance-based) 방식의 패턴 인식 방법으로 눈 특징을 선정한다. 상기 모양-기반 패턴 인식 방법은 학습 데이터 베이스에 의해 학습된 템플릿, 즉 눈의 색깔, 모양, 위치 등에 의해 눈을 인식하는 방법이다.
바람직하게, 상기 제1 특징 선정부(420)는 아다부스트(Adaboost) 알고리즘에 의해 학습되는 것을 특징으로 한다. 바람직하게, 상기 눈 학습 데이터 베이스에 저장되어 있는 눈 영상의 크기는 폭과 높이의 비율이 1:1인 상기 제3 크기, 예를 들어 14×14 픽셀 크기로 정규화되어 있는 것을 특징으로 한다. 상기 제3 크기는 눈 학습 장치를 학습하기 위해 정규화한 눈 영상의 크기이며, 동시에 본 발명에 상응하는 눈 위치 검출 장치의 영역 분할부에서 분할된 서브윈도우 하한 크기이다.
상기 거울 특징 생성부(430)는 상기 선정된 특징의 좌우 좌표를 바꾸어 거울 특징을 생성한다. 본 발명에서 상기 제1 메모리부(410)에는 왼쪽 눈과 오른 쪽 눈 중 한 쪽 눈에 대한 데이터 베이스가 저장되어 있으며, 한 쪽 눈에 대해서만 학습하여 추출한 눈 특징을 상기 제1 특징 선정부(420)을 통해 선정한다. 한편, 다른 쪽 눈에 대해 추출할 눈 특징은 먼저 선정된 눈 특징들의 거울 특징에 의해 생성된다. 상기 거울 특징이란, 한 쪽 눈, 가령 왼쪽 눈에 대한 특징을 좌우 변경하여 생성된 다른 쪽 눈, 가령 오른쪽 눈의 특징을 의미한다.
상기 제1 제작부(440)는 상기 선정된 눈 특징 또는 거울 특징에 기초하여 상기 눈 위치 검출 장치로 입력된 얼굴 영상의 눈 영상에서 눈 후보를 검출하기 위한 검출기를 제작한다. 바람직하게, 상기 제1 제작부(440)을 통해 제작된 검출기는 상기 제1 특징 선정부(420)에서 선정된 특징들의 조합을 각각 검출하는 검출기의 직렬 연결로 구성된 캐스캐이드 (cascade) 검출기인 것을 특징으로 한다.
도 5는 눈 학습 장치의 눈 학습 데이터 베이스에서 사용되는 눈 영상의 형식을 도시하고 있다. 도 5의 (a)는 눈 영상만을 포함하고 있는, 가로:세로의 비율이 2:1인 눈 영상이다. 한편, 도 5의 (b)는 눈 영상의 위 및 아래의 주변 정보도 포함하고 있는, 가로:세로의 비율이 1:1인 눈 영상이다. 본 발명에 일 실시예에 상응하는 눈 학습 장치는 상기 1:1 비율의 눈 영상 데이터 베이스를 학습하여 추출할 눈 특징을 선정하고, 상기 선정된 눈 특징에 기초하여 캐스캐이드 눈 검출기를 제작한다.
도 6는 본 발명의 일 실시예에 상응하는, 눈 후보를 검출하기 위한 캐스캐이드 눈 검출기의 기능 블록도를 도시하고 있다. 상기 캐스캐이드 눈 검출기는 상기 눈 학습 결과로부터 선정된 다수의 눈 특징들의 조합을 검출하는 검출기의 직렬 연결로 구성된 구성되어 있다. 각 레벨의 검출기(1, 2,...,n)는 아다부스트 알고리즘에 의해 상기 제1 특징 추출부에서 추출된 눈 특징 값들의 가중합(weighted sum)을 소정 임계값에 의해 검출한다. 상기 캐스캐이드 검출기에서 최고 높은 레벨을 만족하는 눈 특징의 서브윈도우가 눈 후보로 검출되기 때문에, 항상 소정 수의 눈 후보가 상기 캐스캐이드 검출기를 통해 검출된다. 예를 들어, 상기 캐스캐이드 검출기의 최종 레벨이 N이라고 하면, 최종 레벨(N)까지 만족하지 않더라도 가장 높은 레벨 M까지 만족하는 눈 특징의 서브윈도우가 눈 후보로 검출된다.
도 7은 본 발명의 일 실시예에 상응하는 눈 쌍 후보 검출부의 기능 블록도를 도시하고 있다. 도 7을 참고로, 본 발명에 따른 눈 쌍 후보 검출부(130)는 눈 쌍 재구성부(710), 제2 특징 추출부(720), 캐스캐이드 눈 쌍 검출부(730) 및 제2 검출부(740)를 포함하고 있다.
상기 제2 특징 추출부(720)는 소정의 눈 쌍 학습 장치에 의해 선정된 눈 쌍 특징에 상응하는 눈 쌍 특징을 추출한다. 상기 눈 쌍 학습 장치는 소정의 눈 쌍 학습 데이터 베이스를 학습하고 상기 눈 쌍 학습 결과로부터 선정된 눈 쌍 특징들에 기초하여 캐스캐이드 눈 쌍 검출기를 제작한다. 상기 캐스캐이드 눈 쌍 검출기는 눈 쌍 학습 장치를 통해 오프라인 상에서 생성되어 본 발명에 따른 눈 쌍 후보 검출부에 사용될 수 있다. 이하에서, 도 8을 참고로 상기 눈 쌍 학습 장치에 대해 보다 상세히 설명한다.
상기 검출된 양 눈 후보에서 같은 높이에 양 눈이 존재하지 않고 기울어져 있는 경우, 바람직하게 상기 눈 쌍 재구성부(710)는 상기 양 눈 영역과 미간 영역을 평행하게 재구성하여 상기 재구성된 눈 쌍 영상을 상기 제2 특징 추출부로 제공한다.
상기 캐스캐이드 눈 쌍 검출부(730)는 상기 눈 쌍 학습 장치에 의해 미리 제작된 캐스캐이드 눈 쌍 검출기에 의해 상기 추출된 눈 쌍 특징이 상기 선정된 눈 특징들에 일치하는지를 검출한다. 상기 캐스캐이드 눈 쌍 검출부(730)에서 사용되는 캐스캐이드 눈 쌍 검출기는 상기 선정된 눈 쌍 특징들의 조합을 검출하기 위한 다수 검출기들의 직렬 연결로 구성되어 있다. 상기 캐스캐이드 눈 쌍 검출부(730) 는 상기 추출된 눈 쌍 특징을 상기 다수의 검출기들을 통해 각각 검출한다.
상기 제2 검출부(740)는 상기 캐스캐이드 눈 쌍 검출기의 최고 레벨까지 진행된 눈 쌍을 눈 쌍 후보로 검출한다. 상기 캐스캐이드 눈 쌍 검출부(730)는 상기 추출된 눈 쌍 특징을 상기 다수의 검출기들을 통해 각각 검출하며, 상기 제2 검출부(740)는 상기 다수의 검출기들 중에서 가장 높은 레벨, 즉 가장 많은 검출기까지 진행된 눈 쌍을 눈 쌍 후보로 검출한다. 상기 눈 쌍 후보를 검출하기 위한 캐스캐이드 눈 쌍 검출기에서는 최종 레벨이 아닌, 테스트되는 눈 쌍 조합들 중에서 가장 높은 레벨까지 진행된 눈 쌍 조합이 눈 쌍 후보로 검출된다. 따라서 항상 소정 수의 눈 쌍 후보가 상기 캐스캐이드 눈 쌍 검출기를 통해 검출된다.
도 8은 본 발명의 일 실시예에 상응하는 눈 쌍 학습 장치의 기능 블록도를 도시하고 있다. 도 8을 참고로, 본 발명에 따른 눈 쌍 학습 장치는 제2 메모리부(810), 눈 쌍 재구성부(820), 제2 특징 선정부(830) 및 제2 제작부(840)을 포함하고 있다.
상기 제2 메모리부(810)는 양 눈과 미간 영역을 포함하는 눈 쌍 영상에 대한 데이터 베이스를 저장하고 있다. 상기 눈 쌍 재구성부(820)는 상기 데이터 베이스에 저장되어 있는 눈 쌍 영상에서 상기 양 눈 영역과 미간 영역이 서로 평행하게 위치하고 있지 않은 경우, 상기 양 눈 영역과 미간 영역을 서로 평행하게 재구성하여 상기 재구성된 눈 쌍 영상을 상기 제2 특징 선정부로 제공한다.
상기 제2 특징 선정부(830)는 상기 눈 쌍 학습 데이터 베이스의 눈 쌍 영상을 소정 크기로 정규화하여 학습하고, 상기 학습 결과에 기초하여 추출할 눈 쌍 특 징을 선정한다. 바람직하게, 상기 제2 특징 선정부(830)는 모양-기반(appearance-based) 방식의 패턴 인식 방법으로 눈 특징을 선정한다. 상기 모양-기반 패턴 인식 방법은 학습 데이터 베이스에 의해 학습된 템플릿, 즉 눈의 색깔, 모양, 위치 등에 의해 눈을 인식하는 방법이다. 바람직하게, 상기 제2 특징 선정부(830)는 아다부스트(Adaboost) 알고리즘에 의해 학습되는 것을 특징으로 한다.
바람직하게, 상기 눈 쌍 학습 데이터 베이스에 저장되어 있는 눈 쌍 영상의 크기는 폭과 높이의 비율이 3:1인 상기 제4 크기, 예를 들어 30×10 픽셀 크기로 정규화되어 있는 것을 특징으로 한다.
상기 제2 제작부(840)는 상기 선정된 눈 쌍 특징에 기초하여 상기 눈 후보의 조합으로 생성된 눈 쌍에서 눈 쌍 후보를 검출하기 위한 검출기를 제작한다. 바람직하게, 상기 제2 제작부(840)을 통해 제작된 검출기는 상기 제2 특징 선정부(830)에서 선정된 특징들의 조합을 각각 검출하는 검출기의 직렬 연결로 구성된 캐스캐이드 (cascade) 검출기인 것을 특징으로 한다.
도 9은 눈 쌍 재구성부(710, 820)에서 재구성된 눈 쌍 영상을 도시하고 있다. 도 9의 (a)는 기울어진 얼굴 영상의 예를 도시하고 있으며, 도9의 (b)는 상기 기울어진 얼굴 영상에서 검출된 오른쪽 눈 후보, 왼쪽 눈 후보 및 상기 검출된 양 눈 후보 사이의 미간 영역을 도시하고 있다. 상기 기울어진 얼굴 영상에서 검출된 양 눈 후보는 서로 다른 높이에 위치하고 있다. 도 9의 (c)는 서로 다른 높이에 위치하는 양 눈 후보 및 미간 영역으로부터 재구성된 눈 쌍 영상을 도시하고 있다. 상기 제2 검출부 또는 제2 특징 선정부는 눈 쌍 후보를 검출하거나 눈 쌍 데이터베 이스를 학습하기 위해 상기 눈 쌍 영상을 회전해야 한다.
예를 들어, 눈 후보 검출부에서 오른쪽 눈 후보가 2개, 왼쪽 눈 후보가 3개 검출되면, 상기 검출된 양 눈 후보로부터 6개의 눈 쌍 조합이 생긴다. 상기 눈 쌍 조합의 양 눈 높이를 평행하게 재구성하기 위해, 상기 생성된 6개의 눈 쌍 조합을 6번 왼쪽 또는 오른쪽으로 회전하여야 하며, 상기 회전된 눈 쌍 영상을 얻기 위해 상당한 계산량이 소요된다. 따라서, 본원발명의 눈 쌍 재구성부(710)는 양 눈 후보 영역과 미간 영역을 서로 분할하고, 상기 분할된 양 눈 후보 영역과 미간 영역을 평행하게 재구성함으로써 간단하게 평행한 눈 쌍 영상을 획득한다.
도 10은 본 발명의 일 실시예에 상응하는 눈 위치 결정부의 기능 블록도를 도시하고 있다. 도 10을 참고로, 본 발명에 따른 눈 위치 결정부(140)는 계산부(1010) 및 결정부(1020)을 포함하고 있다. 상기 계산부(1010)는 눈 쌍 후보 검출부(130)에서 검출된 눈 쌍 후보에서 왼쪽 눈 위치(Ln x, Ln y )과 오른 쪽 눈 위치(Rn x, Rn y) 사이의 위치 차이(c=dx+dy)를 계산한다. 여기서 상기 dx와 dy는 아래의 수학식(1)과 수학식(2)에 의해 계산된다.
수학식[1]
Figure 112004059223290-pat00001
수학식[2]
Figure 112004059223290-pat00002
상기 결정부(1020)는 상기 제2 검출부(740)에서 검출된 눈 쌍 후보에 대한 캐스캐이드 눈 쌍 검출부(730)의 최고 레벨(a), 상기 통합부(350)에서 통합된 눈 후보의 수(b) 및 상기 오른쪽 눈의 중심 위치와 왼 쪽 눈의 중심 위치 사이의 위치 차이(c)에 기초하여 생성되는 특징값(x)이 가장 높은 눈 쌍 후보를 눈 쌍으로 결정한다. 상기 특징값(x)은 아래의 수학식(3)에 의해 계산된다.
[수학식3]
x= a + b - c
도 11는 본 발명의 일 실시예에 상응하는 눈 위치 검출 방법의 흐름도를 도시하고 있다. 소정 얼굴 영상에서 오른쪽 눈 영역과 왼쪽 눈 영역이 제한되며, 상기 제한된 오른쪽 눈 영역과 왼쪽 눈 영역은 제1 크기, 예를 들어 50×50 픽셀 크기로 정규화된다(단계 1110). 상기 제1 크기로 각각 정규화된 양 눈 영역을 제1 크기, 예를 들어 50×50 픽셀 크기보다 작고 제2 크기, 예를 들어 14×14 픽셀 크기보다 큰 크기의 서브윈도우들로 분할한다. 서브윈도우들은 다시 제3 크기, 예를 들어 14×14 크기로 정규화가 되고, 눈 영상 데이터베이스를 학습하여 눈 특징을 선정하고, 상기 선정된 눈 특징에 기초하여 생성된 캐스캐이드 눈 검출기를 통해 눈 후보를 검출한다(단계 1120). 바람직하게, 상기 검출된 눈 후보들 중에서 서로 영역이 겹치는 눈 후보들은 서로 통합된다. 눈 쌍 데이터 베이스를 학습하여 눈 쌍 특징들을 선정하고, 상기 선정된 눈 쌍 특징에 기초하여 생성된 캐스캐이드 눈 쌍 검출기를 이용하여 상기 검출된 눈 후보의 조합으로부터 생성된 눈 쌍으로부터 눈 쌍 후보를 검출한다(단계 1130). 상기 검출된 눈 쌍 후보들 중에서 하나의 눈 쌍을 결정한다(단계 1140). 상기 1140 단계에서, 상기 눈 쌍 후보를 검출하기 위한 캐스캐이드 눈 쌍 검출기의 최고 레벨(a), 상기 통합된 눈 후보의 수(b) 및 상기 눈 쌍 후보에서 양 눈의 중심 위치의 차이(c)에 기초하여 생성된 특징값(x)이 가장 높은 눈 쌍 후보를 눈 쌍으로 결정한다.
도 12은 본 발명의 일 실시예에 상응하는 눈 후보 검출 단계(1120)를 보다 구체적으로 설명하고 있는 흐름도이다. 도 12을 참고로, 제1 크기, 예를 들어 50×50 픽셀 크기로 정규화된 양 눈 영역이 각각 입력되면, 상기 입력된 눈 영역은 제2 크기, 예를 들어 14×14 픽셀 크기 이상의 서브윈도우들로 분할된다(단계 1210). 상기 분할된 서브윈도우는 제3 크기, 예를 들어 14×14 픽셀 크기로 정규화된다(1220). 상기 정규화된 눈 영역의 크기, 서브윈도우의 크기 및 서브윈도우의 정규화 크기는 본 발명이 적용되는 분야에 따라 다를 수 있으며, 이는 본 발명의 범위에 속한다.
소정의 눈 학습 장치를 통해 선정된 눈 특징 혹은 거울 특징들에 상응하는 눈 특징을 상기 정규화된 서브윈도우에서 추출한다(1230). 상기 눈 학습 장치는 소정의 눈 학습 데이터 베이스를 학습하고 상기 눈 학습 결과로부터 선정된 눈 특징들에 기초하여 캐스캐이드 눈 검출기를 제작한다. 상기 추출된 눈 특징을 캐스캐이드 눈 검출기에 적용하고(1240), 상기 캐스캐이드 검출기에서 가장 높은 레벨까지 진행된 서브윈도우를 눈 후보로 검출한다(1250). 상기 캐스캐이드 눈 검출기는 상기 선정된 눈 특징들의 조합을 검출하기 위한 다수 검출기들의 직렬 연결로 구성되어 있으며 상기 추출된 눈 특징을 상기 다수의 검출기들을 통해 각각 검출한다. 상기 다수의 검출기들 중에서 가장 높은 레벨, 즉 가장 많은 검출기까지 진행된 눈 특징의 서브윈도우를 눈 후보로 검출한다. 검출된 눈 후보들 중에서 서로 영역이 겹쳐지는 눈 후보들은 평균 위치와 크기로 통합된다(단계 1260).
도 13은 검출된 눈 후보의 조합으로부터 눈 쌍 후보를 검출하는 단계를 보다 구체적으로 설명하고 있는 흐름도이다. 도 13을 참고로, 검출된 눈 후보의 조합으로부터 생성된 눈 쌍의 양 눈이 서로 평행한 위치에 존재하지 않는 경우, 양 눈 후보 영역과 미간 영역을 서로 분할하고, 상기 분할된 양 눈 후보 영역과 미간 영역을 평행하게 재구성함으로써 간단하게 평행한 눈 쌍 영상을 획득한다(단계 1310). 상기 눈 쌍 영상을 제4 크기, 예를 들어 30×10 픽셀 크기로 정규화한다(1320).
소정의 눈 쌍 학습 장치로부터 선정된 눈 쌍 특징들에 기초하여 각 눈 쌍 영상에 대해서 눈 쌍 특징을 추출한다(1330). 상기 눈 쌍 학습 장치는 소정의 눈 쌍 학습 데이터 베이스를 학습하고 상기 눈 쌍 학습 결과로부터 선정된 눈 쌍 특징들에 기초하여 캐스캐이드 눈 쌍 검출기를 제작한다. 상기 추출된 눈 쌍 특징을 캐스캐이드 눈 쌍 검출기에 적용한다(1340). 상기 캐스캐이드 검출기에서 가장 높은 레벨까지 진행된 눈 쌍 조합을 눈 쌍 후보로 선택한다(1350).
도 14는 본 발명에 상응하는 눈 학습 방법의 흐름도를 도시하고 있다. 도 14을 참고로, 눈 학습 데이터 베이스에 저장되어 있는, 폭과 높이의 비율이 1:1인 눈 영상을 제3 크기, 예를 들어 14×14 픽셀 크기로 정규화하고 상기 정규화된 눈 영상을 학습한다(단계 1410). 상기 학습 결과에 기초하여, 눈 학습 데이터 베이스에서 추출할 눈 특징을 선정한다(단계 1420). 상기 눈 특징을 선정하기 위해, 모 양-기반의 패턴 인식 방법이 사용될 수 있으며, 바람직하게는 아다부스트 알고리즘이 사용된다. 상기 추출된 눈 특징들은 눈의 색깔, 모양, 위치 등과 같은 특징들이다.
상기 선정된 한 쪽 눈의 특징에 기초하여 다른 쪽 눈의 특징에 대한 거울 특징을 생성한다(단계 1430). 한 쪽 눈에 대해서만 학습하여 추출한 눈 특징을 선정한다. 한편, 다른 쪽 눈에 대해 추출할 눈 특징은 먼저 선정된 눈 특징들의 거울 특징에 의해 생성된다. 상기 거울 특징이란, 한 쪽 눈, 가령 왼쪽 눈에 대한 특징을 좌우 변경하여 생성된 다른 쪽 눈, 가령 오른쪽 눈의 특징을 의미한다.
상기 선정된 눈 특징 또는 거울 특징에 기초하여 상기 눈 영상에서 눈을 검출하기 위한 눈 검출기를 제작한다(단계 1440). 바람직하게, 상기 눈 검출기는 선정된 특징들의 조합을 각각 검출하는 검출기의 직렬 연결로 구성된 캐스캐이드 (cascade) 검출기인 것을 특징으로 한다.
도 15는 본 발명의 일 실시예에 상응하는 눈 쌍 학습 방법의 흐름도를 도시하고 있다. 도 15을 참고로, 눈 쌍 학습 데이터 베이스에 저장되어 있는, 눈 쌍 영상을 폭과 높이의 비율이 3:1인 제4 크기, 예를 들어 30×10 픽셀 크기로 정규화하고 상기 정규화된 눈 쌍 영상을 학습한다(단계 1510). 상기 학습 결과에 기초하여 추출할 눈 쌍 특징을 선정한다(단계 1520). 상기 눈 쌍 특징을 선정하기 위해, 모양-기반의 패턴 인식 방법이 사용될 수 있으며, 바람직하게는 아다부스트 알고리즘이 사용된다. 상기 추출된 눈 상 특징들은 눈의 색깔, 모양, 위치 등과 같은 특징들이다. 상기 선정된 눈 쌍 특징에 기초하여 상기 눈 영상에서 눈 쌍을 검출하 기 위한 눈 쌍 검출기를 제작한다(단계 1530). 바람직하게, 상기 눈 쌍 검출기는 선정된 특징들의 조합을 각각 검출하는 검출기의 직렬 연결로 구성된 캐스캐이드 (cascade) 검출기인 것을 특징으로 한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 따른 눈 위치 검출 방법 및 장치는 아다부스트 알고리즘에 의해 눈 학습 데이터베이스 및 눈 쌍 학습 데이터베이스를 학습하여 추출된 눈 특징 및 눈 쌍 특징에 의해 눈 위치를 검출함으로써, 눈의 개폐, 조명 조건의 변화 및 안경또는 머리카락이 눈을 가린 상태 등의 많은 변화 요건에서도 정확하게 눈을 검출할 수 있다.
또한, 본 발명에 따른 눈 위치 검출 방법 및 장치는 카메라 핸드폰 등과 같은 인물 영상에서 눈 위치를 정확하게 검출하여, 모자, 안경 등을 바꾸어 주는 캐릭터 사업에 적용될 수 있다.

Claims (36)

  1. 소정 얼굴 영상에서 눈의 위치를 검출하는 방법에 있어서,
    (a) 상기 얼굴 영상으로부터 소정 크기로 정규화된 양 눈 영역에서 양 눈 후보를 검출하는 단계;
    (b) 상기 검출된 양 눈 후보의 조합으로부터 눈 쌍 후보를 검출하는 단계; 및
    (c)상기 검출된 눈 쌍 후보로부터 상기 눈의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 눈 위치 검출 방법.
  2. 제 1 항에 있어서, 상기 (a) 단계 이전에
    상기 얼굴 영상에서 오른 쪽 눈 영역과 왼쪽 눈 영역을 제1 크기로 정규화하는 단계를 더 포함하는 것을 특징으로 하는 눈 위치 검출 방법.
  3. 제 2 항에 있어서, 상기 (a) 단계는
    (a1) 상기 제1 크기로 분할되어 정규화된 눈 영역을 상기 제1 크기보다 작은 제 2 크기 이상의 서브윈도우들로 분할하는 단계;
    (a2) 상기 제2 크기의 서브윈도우를 제3 크기로 정규화하는 단계;
    (a3) 상기 제3 크기로 정규화된 서브윈도우에서 눈 특징을 추출하는 단계;
    (a4) 상기 제3 크기의 눈 영상을 저장하고 있는 학습 데이터 베이스를 학습하고 상기 눈 학습 결과로부터 선정된 눈 특징들에 기초하여 생성된 캐스캐이드 눈 검출기를 이용하여, 상기 추출된 특징의 서브윈도우를 눈 후보로 검출하는 단계; 및
    (a5) 상기 검출된 눈 후보들 중에서 영역이 서로 겹치는 눈 후보를 평균 크기와 위치로 통합하는 단계를 포함하는 것을 특징으로 하는 눈 위치 검출 방법
  4. 제 3 항에 있어서, 상기 캐스캐이드 검출기는
    상기 선정된 한 쪽 눈에 대한 눈 특징의 좌우 좌표를 바꾸어 생성된 다른 쪽 눈의 거울 특징에 기초하여 생성되는 것을 특징으로 하는 눈 위치 검출 방법.
  5. 제 3 항에 있어서, 상기 (a4) 단계는
    (a4-1) 상기 추출된 눈 특징을 상기 캐스캐이드(cascade) 눈 검출기에 적용하여 상기 추출된 눈 특징이 상기 선정된 눈 특징들에 일치하는지를 판단하는 단계; 및
    (a4-2) 상기 캐스캐이드 눈 검출기의 가장 높은 레벨을 진행한 눈 특징의 서브윈도우를 눈 후보로 검출하는 단계를 포함하는 것을 특징으로 하는 눈 위치 검출 방법.
  6. 제 5 항에 있어서, 상기 (a1) 단계에서
    상기 서브윈도우의 제2 크기는 상기 눈 영역의 제1 크기까지 소정 비율로 커지면서 분할되는 것을 특징으로 하는 눈 위치 검출 방법.
  7. 제 5 항에 있어서,
    상기 눈 학습 데이터 베이스로 사용되는 눈 영상은 폭과 높이의 비율은 1:1의 크기로 정규화되는 것을 특징으로 하는 눈 위치 검출 방법.
  8. 제 5 항에 있어서, 상기 (b) 단계는
    (b1) 상기 검출된 눈 후보의 조합으로부터 눈 쌍을 생성하여 제4 크기로 정규화하고 상기 정규화된 눈 쌍에서 눈 쌍 특징을 추출하는 단계; 및
    (b2) 소정의 눈 쌍 학습 데이터 베이스를 학습하고 상기 눈 쌍 학습 결과로부터 선정된 눈 쌍 특징들에 기초하여 생성된 캐스캐이드 눈 쌍 검출기를 이용하여, 상기 눈 쌍을 눈 쌍 후보로 검출하는 단계를 포함하는 것을 특징으로 하는 눈 위치 검출 방법.
  9. 제 8 항에 있어서, 상기 (b2) 단계는
    (b2-1)상기 추출된 눈 쌍 특징을 상기 캐스캐이드 눈 쌍 검출기에 적용하여 상기 추출된 눈 쌍 특징이 상기 선정된 눈 쌍 특징에 일치하는지를 판단하는 단계; 및
    (b2-2)상기 캐스캐이드 눈 쌍 검출기의 가장 높은 레벨을 진행한 눈 쌍을 눈 쌍 후보로 검출하는 단계를 포함하는 것을 특징으로 하는 눈 위치 검출 방법.
  10. 제 9 항에 있어서, 상기 (b1) 단계 이전에
    상기 검출된 양 눈 후보가 같은 높이에 존재하지 않고 기울어져 있는 경우, 상기 양 눈 영역과 양 눈 영역 사이의 미간 영역을 평행하게 재구성하는 단계를 더 포함하는 눈 위치 검출 방법.
  11. 제 9 항에 있어서,
    상기 눈 쌍 학습 데이터 베이스에서 사용되는 눈 쌍 영상은 폭과 높이의 비율이 3:1의 크기로 정규화되는 것을 특징으로 하는 눈 위치 검출 방법.
  12. 제 8 항에 있어서, 상기 (c) 단계에서
    수학식(1)에 의해 상기 검출된 눈 쌍 후보들 중에서 가장 높은 특징값(x)을 가지는 눈 쌍 후보가 눈 쌍으로 결정되며,
    여기서 수학식(1)은 x= a + b - c 이고, 여기서 a는 상기 검출된 눈 쌍 후보에 대한 캐스캐이드 눈 쌍 검출부에서 진행한 최고 레벨 수, b는 상기 통합된 눈 후보의 수 및 c는 수학식(2)와 수학식(3)에 의해 계산되는 왼쪽 눈 위치(Ln x, L n y)과 오른 쪽 눈 위치(Rn x, Rn y)의 위치 차이(dx+dy)이며, 여기서 수학식(2)와 수학식(3)은
    [수학식2]
    Figure 112004059223290-pat00003
    [수학식3]
    Figure 112004059223290-pat00004
    인 것을 특징으로 하는 눈 위치 검출 방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 의한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  14. 소정의 눈 영상에서 눈을 검출하는 검출기를 제작하기 위한 학습 방법에 있어서,
    눈 학습 데이터 베이스의 눈 영상을 소정 크기로 정규화하여 학습하는 단계;
    상기 학습 결과에 기초하여 추출할 눈 특징을 선정하는 단계;
    상기 선정된 특징의 좌우 좌표를 바꾸어 거울 특징을 생성하는 단계; 및
    상기 선정된 눈 특징 또는 거울 특징에 기초하여 상기 눈 영상에서 눈을 검출하기 위한 검출기가 제작되는 단계를 포함하는 것을 특징으로 하는 눈 학습 방 법.
  15. 제 14 항에 있어서,
    상기 기 눈 학습 데이터 베이스로 사용되는 눈 영상은 폭과 높이의 비율이 1:1의 크기로 정규화되는 것을 특징으로 하는 눈 학습 방법.
  16. 제 14 항에 있어서, 상기 검출기는
    상기 눈 학습 결과로부터 추출된 다수의 눈 특징들의 조합을 검출하는 검출기의 직렬 연결로 구성된 캐스캐이드 검출기인 것을 특징으로 하는 눈 학습 방법.
  17. 소정의 눈 쌍 영상에서 눈 쌍을 검출하는 검출기를 제작하기 위한 학습 방법에 있어서,
    (a)눈 쌍 학습 데이터 베이스의 눈 쌍 영상을 소정 크기로 정규화하여 학습하는 단계;
    (b)상기 학습 결과에 기초하여 추출할 눈 쌍 특징을 선정하는 단계; 및
    (c)상기 선정된 눈 쌍 특징에 기초하여 상기 눈 쌍 영상에서 눈 쌍을 검출하기 위한 검출기가 제작되는 단계를 포함하며,
    상기 눈 쌍 데이터 베이스에서 사용되는 눈 쌍 영상은 폭과 높이의 비율이 3:1의 크기로 정규화되는 것을 특징으로 하는 눈 쌍 학습 방법.
  18. 제 17 항에 있어서, 상기 (a) 단계 이전에
    기울어진 얼굴 영상의 눈 쌍 영상은 양 눈 영역과 미간 영역으로 분할되고, 상기 분할된 양 눈 영역과 미간 영역이 평행하도록 재구성되는 단계를 더 포함하는 것을 특징으로 하는 눈 쌍 학습 방법.
  19. 소정 얼굴 영상에서 눈의 위치를 검출하는 장치에 있어서,
    상기 얼굴 영상으로부터 소정 크기로 정규화된 양 눈 영역에서 양 눈 후보를 검출하는 눈 후보 검출부;
    상기 검출된 양 눈 후보의 조합으로부터 눈 쌍 후보를 검출하는 눈 쌍 후보 검출부; 및
    상기 검출된 눈 쌍 후보로부터 눈의 위치를 결정하는 눈 위치 결정부를 포함하는 것을 특징으로 하는 눈 위치 검출 장치.
  20. 제 19 항에 있어서,
    소정 크기의 정면 얼굴 영상에서 오른쪽 눈 영역과 왼쪽 눈 영역을 제 1 크기로 제한하여 정규화하는 눈 영역 제한부를 더 포함하는 것을 특징으로 하는 눈 위치 검출 장치.
  21. 제 20 항에 있어서, 상기 눈 후보 검출부는
    상기 제1 크기의 눈 영역을 상기 제1 크기보다 작은 제2 크기 이상의 서브윈 도우로 분할하는 영역 분할부;
    상기 분할된 서브윈도우를 제3 크기로 정규화하는 정규화부;
    상기 정규화된 서브윈도우에서 눈 특징을 추출하는 제1 특징 추출부;
    소정의 눈 학습 데이터 베이스를 학습하고 상기 눈 학습 결과로부터 선정된 눈 특징들에 기초하여 상기 추출된 눈 특징이 상기 선정된 눈 특징들에 일치하는지를 검출하는 캐스캐이드 눈 검출부;
    상기 캐스캐이드 눈 검출부의 최고 레벨까지 진행된 눈 특징의 서브윈도우를 눈 후보로 검출하는 제 1 검출부; 및
    상기 검출된 눈 후보들 중에서 영역이 서로 겹치는 눈 후보를 평균 크기와 위치로 통합하는 통합부를 포함하는 것을 특징으로 하는 눈 위치 검출 장치.
  22. 제 21 항에 있어서, 상기 캐스캐이드 눈 검출부는
    상기 선정된 특징의 좌우 좌표를 바꾸어 거울 특징을 생성하고, 상기 생성된 거울 특징에 기초하여 상기 추출된 눈 특징이 상기 거울 특징들에 일치하는지를 검출하는 것을 특징으로 하는 눈 위치 검출 장치.
  23. 제 21 항에 있어서, 상기 눈 학습 데이터 베이스로 사용되는 눈 영상은 폭과 높이의 비율이 1:1의 크기로 정규화되는 것을 특징으로 하는 눈 위치 검출 장치.
  24. 제 21 항에 있어서, 상기 캐스캐이드 눈 검출부는
    상기 눈 학습 결과로부터 추출된 다수의 눈 특징들의 조합을 검출하는 검출기의 직렬 연결로 구성되어 있는 것을 특징으로 하는 눈 위치 검출 장치.
  25. 제 21 항에 있어서, 상기 영역 분할부는
    상기 서브윈도우의 제2 크기를 상기 눈 영역의 제1 크기까지 소정 비율로 키워가면서 상기 눈 영역을 분할하는 것을 특징으로 하는 눈 위치 검출 장치.
  26. 제 21 항에 있어서, 상기 눈 쌍 후보 검출부는
    상기 검출된 눈 후보의 조합으로부터 생성된 눈 쌍에서 눈 쌍 특징을 추출하는 제2 특징 추출부;
    소정의 눈 쌍 학습 데이터 베이스를 학습하고 상기 눈 쌍 학습 결과로부터 선정된 눈 쌍 특징들에 기초하여, 상기 추출된 눈 쌍 특징이 상기 선정된 눈 쌍 특징들에 일치하는지를 검출하는 캐스캐이드 눈 쌍 검출부; 및
    상기 캐스캐이드 눈 쌍 검출부의 최고 레벨을 진행한 눈 쌍 조합을 눈 쌍 후보로 검출하는 제 2 검출부를 포함하는 것을 특징으로 하는 눈 위치 검출 장치.
  27. 제 26 항에 있어서, 상기 눈 쌍 후보 검출부는
    상기 검출된 양 눈 후보가 같은 높이에 존재하지 않고 기울어져 있는 경우, 상기 양 눈 영역과 양 눈 영역 사이의 미간 영역을 평행하게 재구성하는 눈 쌍 재구성부를 더 포함하는 것을 특징으로 하는 눈 위치 검출 장치.
  28. 제 26 항에 있어서, 상기 캐스캐이드 눈 쌍 검출부는
    상기 눈 쌍 학습 결과로부터 추출된 다수의 눈 쌍 특징들의 조합을 검출하는 검출기의 직렬 연결로 구성되어 있는 것을 특징으로 하는 눈 위치 검출 장치.
  29. 제 26 항에 있어서,
    상기 눈 쌍 데이터 베이스에서 사용되는 눈 쌍 영상은 폭과 높이의 비율이 3:1의 크기로 정규화되는 것을 특징으로 하는 눈 위치 검출 장치.
  30. 제 26 항에 있어서, 상기 눈 위치 결정부는
    상기 검출된 눈 쌍 후보에서 오른쪽 눈과 왼쪽 눈의 위치 차이를 계산하는 계산부; 및
    상기 검출된 눈 쌍 후보에 대한 캐스캐이드 눈 쌍 검출기에서 진행한 최고 레벨 수, 상기 통합부를 통해 통합된 눈 후보의 수 및 상기 오른쪽 눈과 왼쪽 눈의 위치 차이에 기초하여 눈 쌍을 결정하는 결정부를 포함하는 것을 특징으로 하는 눈 위치 검출 장치.
  31. 제 30 항에 있어서, 상기 결정부는
    수학식(1)에 의해 상기 검출된 눈 쌍 후보들 중에서 가장 높은 특징값(x)을 가지는 눈 쌍 후보를 눈 쌍으로 결정하며, 여기서 수학식(1)은
    [수학식1]
    x= a + b - c 이고, 여기서 a는 상기 검출된 눈 후보에 대한 케스케이드 검출부의 최고 레벨, b는 상기 통합된 눈 후보의 수 및 c는 수학식(2)와 수학식(3)에 의해 계산되는 왼쪽 눈 위치(Ln x, Ln y)과 오른 쪽 눈 위치(R n x, Rn y)의 위치 차이(dx+dy)이며, 여기서 수학식(2)와 수학식(3)은
    [수학식2]
    Figure 112004059223290-pat00005
    [수학식3]
    Figure 112004059223290-pat00006
    인 것을 특징으로 하는 눈 위치 검출 장치.
  32. 소정 눈 영상에서 눈을 검출하는 검출기를 제작하기 위한 학습 장치에 있어서,
    눈에 대한 학습 데이터 베이스를 저장하고 있는 제1 메모리부;
    상기 눈 학습 데이터 베이스를 소정 크기로 정규화하여 학습하고, 상기 학습 결과에 기초하여 추출할 눈 특징을 선정하는 제1 특징 선정부;
    상기 선정된 특징의 좌우 좌표를 바꾸어 거울 특징을 생성하는 거울 특징 생성부; 및
    상기 선정된 눈 특징 또는 거울 특징에 기초하여 상기 눈 영상에서 눈을 검 출하기 위한 검출기를 제작하는 제1 제작부를 포함하는 것을 특징으로 하는 눈 학습 장치.
  33. 제 32 항에 있어서, 상기 기 눈 학습 데이터 베이스로 사용되는 눈 영상은 폭과 높이의 비율이 1:1의 크기로 정규화되는 것을 특징으로 하는 눈 학습 장치.
  34. 제 32 항에 있어서, 상기 제1 제작부는
    상기 눈 학습 결과로부터 선정된 다수의 눈 특징들의 조합을 각각 검출하는 검출기의 직렬 연결로 구성된 캐스캐이드 검출기를 제작하는 것을 특징으로 하는 눈 학습 장치.
  35. 소정의 눈 쌍 영상에서 눈 쌍을 검출하는 검출기를 제작하기 위한 학습 장치에 있어서,
    눈 쌍에 대한 학습 데이터 베이스를 저장하고 있는 제2 메모리부;
    상기 눈 쌍 학습 데이터 베이스로 정규화하여 학습하고, 상기 학습 결과에 기초하여 추출할 눈 쌍 특징을 선정하는 제2 특징 선정부; 및
    상기 선정된 눈 쌍 특징에 기초하여 상기 눈쌍 영역에서 추출된 눈 쌍 특징을 검출하기 위한 검출기를 제작하는 제2 제작부를 포함하며,
    상기 눈 쌍 데이터 베이스에서 사용되는 눈 쌍 영상은 폭과 높이의 비율이 3:1의 크기로 정규화되는 것을 특징으로 하는 눈 쌍 학습 장치.
  36. 제 35 항에 있어서,
    기울어진 얼굴 영상의 눈 쌍 영상은 양 눈 영역과 미간 영역으로 분할되고, 상기 분할된 양 눈 영역과 미간 영역을 평행하도록 재구성하는 재구성부를 더 포함하는 것을 특징으로 하는 눈 쌍 학습 장치.
KR1020040106572A 2004-12-15 2004-12-15 눈 위치 검출 방법 및 장치 KR100590572B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040106572A KR100590572B1 (ko) 2004-12-15 2004-12-15 눈 위치 검출 방법 및 장치
US11/294,468 US20060126940A1 (en) 2004-12-15 2005-12-06 Apparatus and method for detecting eye position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040106572A KR100590572B1 (ko) 2004-12-15 2004-12-15 눈 위치 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR100590572B1 true KR100590572B1 (ko) 2006-06-19

Family

ID=36583931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040106572A KR100590572B1 (ko) 2004-12-15 2004-12-15 눈 위치 검출 방법 및 장치

Country Status (2)

Country Link
US (1) US20060126940A1 (ko)
KR (1) KR100590572B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080187213A1 (en) * 2007-02-06 2008-08-07 Microsoft Corporation Fast Landmark Detection Using Regression Methods
US8170332B2 (en) * 2009-10-07 2012-05-01 Seiko Epson Corporation Automatic red-eye object classification in digital images using a boosting-based framework
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
DE102016122649B3 (de) * 2016-11-24 2018-03-01 Bioid Ag Biometrisches Verfahren
CN107704805B (zh) * 2017-09-01 2018-09-07 深圳市爱培科技术股份有限公司 疲劳驾驶检测方法、行车记录仪及存储装置
TWI659364B (zh) * 2018-04-03 2019-05-11 財團法人工業技術研究院 電子裝置、虹膜辨識方法以及電腦可讀式媒體

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990016896A (ko) * 1997-08-20 1999-03-15 전주범 얼굴영상에서 눈영역 검출방법
JP2001022933A (ja) 1999-07-07 2001-01-26 Mitsubishi Electric Corp ２次元テンプレートを用いた顔画像処理装置
KR20030081539A (ko) * 2002-04-11 2003-10-22 (주)엠앤제이코퍼레이션 얼굴 구성 요소 추출 시스템 및 방법
KR20040040826A (ko) * 2002-11-08 2004-05-13 한국전자통신연구원 Ｓｖｍ을 이용한 얼굴 영역 검출 방법
KR20050111183A (ko) * 2004-05-21 2005-11-24 삼성전자주식회사 눈검출 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
KR100473598B1 (ko) * 2002-11-04 2005-03-11 삼성전자주식회사 가려진 얼굴영상을 판단하는 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990016896A (ko) * 1997-08-20 1999-03-15 전주범 얼굴영상에서 눈영역 검출방법
JP2001022933A (ja) 1999-07-07 2001-01-26 Mitsubishi Electric Corp ２次元テンプレートを用いた顔画像処理装置
KR20030081539A (ko) * 2002-04-11 2003-10-22 (주)엠앤제이코퍼레이션 얼굴 구성 요소 추출 시스템 및 방법
KR20040040826A (ko) * 2002-11-08 2004-05-13 한국전자통신연구원 Ｓｖｍ을 이용한 얼굴 영역 검출 방법
KR20050111183A (ko) * 2004-05-21 2005-11-24 삼성전자주식회사 눈검출 장치 및 방법

Also Published As

Publication number Publication date
US20060126940A1 (en) 2006-06-15

Similar Documents

Publication Publication Date Title
JP4755202B2 (ja) 顔特徴の検出方法
US7953253B2 (en) Face detection on mobile devices
US7643659B2 (en) Facial feature detection on mobile devices
US8233676B2 (en) Real-time body segmentation system
Boehnen et al. A fast multi-modal approach to facial feature detection
JP4410732B2 (ja) 顔画像検出装置、顔画像検出方法および顔画像検出プログラム
US20070058856A1 (en) Character recoginition in video data
WO2003081532A1 (en) Method and apparatus for the automatic detection of facial features
Kawulok et al. Precise multi-level face detector for advanced analysis of facial images
WO2009078957A1 (en) Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
KR20050025927A (ko) 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
JP2009523266A (ja) 目に関して取得される画像中の虹彩を表す画素を特定する方法
JP4757598B2 (ja) 顔検出方法および装置並びにプログラム
KR100664956B1 (ko) 눈 검출 방법 및 장치
KR101582467B1 (ko) 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치
Devadethan et al. Face detection and facial feature extraction based on a fusion of knowledge based method and morphological image processing
KR100590572B1 (ko) 눈 위치 검출 방법 및 장치
JP4749884B2 (ja) 顔判別装置の学習方法、顔判別方法および装置並びにプログラム
JP4749879B2 (ja) 顔判別方法および装置並びにプログラム
JP2011170890A (ja) 顔検出方法および装置並びにプログラム
Guo et al. Iris extraction based on intensity gradient and texture difference
JP4795737B2 (ja) 顔検出方法および装置並びにプログラム
KR20150135745A (ko) 얼굴 인식 장치 및 방법
JP2006244385A (ja) 顔判別装置およびプログラム並びに顔判別装置の学習方法
JP5625196B2 (ja) 特徴点検出装置、特徴点検出方法、特徴点検出プログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151207

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160607

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170605

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180604

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190605

Year of fee payment: 14