KR20110076723A - 시선 추적 장치 및 방법 - Google Patents

시선 추적 장치 및 방법 Download PDF

Info

Publication number
KR20110076723A
KR20110076723A KR1020100026453A KR20100026453A KR20110076723A KR 20110076723 A KR20110076723 A KR 20110076723A KR 1020100026453 A KR1020100026453 A KR 1020100026453A KR 20100026453 A KR20100026453 A KR 20100026453A KR 20110076723 A KR20110076723 A KR 20110076723A
Authority
KR
South Korea
Prior art keywords
pupil
detected
eye
face
detecting
Prior art date
Application number
KR1020100026453A
Other languages
English (en)
Other versions
KR101286965B1 (ko
Inventor
이희경
박민식
이한규
홍진우
박강령
이원오
이의철
Original Assignee
한국전자통신연구원
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 동국대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20110076723A publication Critical patent/KR20110076723A/ko
Application granted granted Critical
Publication of KR101286965B1 publication Critical patent/KR101286965B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 시선 추적 장치 및 방법에 관한 것으로, 보다 구체적으로 사용자의 시선 방향을 추적하는 장치 및 방법에 관한 것이다.
본 발명의 일 실시 예에 따른 시선 추적 방법은 영상촬영기기로부터 소정의 간격으로 수신된 얼굴 영상들에서 미리 결정된 방법을 이용하여 얼굴 영역을 검출하고, 상기 얼굴 영역을 수직 방향으로 소정의 비율로 나누어 눈 후보 영역을 검출하고, 상기 검출된 눈 후보 영역에서 상기 미리 결정된 방법을 이용하여 눈 영역들을 검출하고, 상기 눈 영역들을 이진화하여 동공을 검출하고, 상기 검출된 동공의 성분을 추적하여 동공의 중심 좌표를 검출하며, 상기 검출된 동공의 중심 좌표를 화면의 논리 좌표에 대응시켜 상기 화면상에 사상되는 커서의 위치를 계산한다.

Description

시선 추적 장치 및 방법{APPARATUS AND METHOD FOR TRACKING EYE}
본 발명은 시선 추적 장치 및 방법에 관한 것으로, 보다 구체적으로 사용자의 시선 방향을 추적하는 장치 및 방법에 관한 것이다.
오늘날 디지털 기술이 발전함에 따라 영상 정보를 분석하여 특정 영역 또는 특정 부분으로 구분할 수 있는 기술이 개발 되고 있다. 이러한, 분석 기술 중에 얼굴 인식 기술은 디지털 카메라뿐만 아니라, 보안 기술을 수행하는 장치 등에 접목 되는 기술로써, 다양한 방식으로 다각도로 연구 및 개발되고 있는 실정이다.
일반적으로, 얼굴 검출은 임의의 입력 영상에 대하여 해당 영상 내에 사람의 얼굴이 존재하는지 유무를 가리고, 만일 얼굴이 존재하면 영상 내에 존재하는 각 사람의 얼굴을 찾아서 그 위치를 표시하는 것으로 감시 시스템, 범죄 수사용인 머그 샷정합(mug shot maching) 시스템, 얼굴 정보를 이용한 검색 시스템 및 객체 지향 코딩 시스템 등에 활용될 수 있다.
이러한 얼굴 검출 시스템에서 한단계 더 나아가 최근 활발히 연구되고 있는 개인인식 시스템의 구현을 목적으로 영상에서 인체의 특징 중 눈을 인식해 검출하는 것이 눈 검출 시스템이다. 즉, 눈 인식 기술은 지문인식, 홍채인식 등과 같이 사람마다 고유한 신체적 특징을 이용하여 개인을 식별하고자 하는데 그 목적이 있다. 특히 최근 널리 활용되고 있는 지문인식 기술은 고급 아파트나 회사의 사무실 출입구에 지문 인식 장치가 보급될 만큼 상용화가 진행되어 앞으로 지문인식 장치의 수요는 더욱 증가할 것으로 예상되지만, 이러한 지문 인식 장치는 접촉식이기 때문에 많은 사람들이 수시로 접근하는 장소에는 그 효용이 저하되는 단점이 있다.
더군다나, 아파트 또는 개인 주택의 도어락, 자동차, 현금지급기, 사무실 출입구, 멤버쉽 클럽 등과 같이 사용자 인증을 필요로 하는 분야가 점점 더 다양화되고 있어서, 눈 인식 장치는 기존의 기술인 지문 인식 장치, IC/마그네틱/RF 카드 리더등의 보조적인 인식 장치와 패키지로 결합되면 보안 등급에 따라 다양한 형태의 상용 제품이 구현될 수 있어 활발한 연구가 필요되는 부분이다.
사람의 시선 위치는 얼굴과 안구의 방향을 모두 고려하여 판단할 수 있다. 하지만 안구의 방향이 사람의 시선 위치를 결정하는 중요한 단서가 되므로, 기존의 시선 추적 방법에서는 주로 안구의 움직임을 추적하고, 얼굴 움직임에 의해 발생하는 오차를 보정하는 방식으로 연구가 진행되어 왔다. 기존의 시선 추적 방법들은 콘택트렌즈를 착용하거나, 피부전극(skin electrode)을 눈 주위에 부착하는 방법, 카메라 비전 시스템을 통한 영상 분석 방법들이 있었다. 콘택트렌즈를 이용한 방법은, 별도의 장비가 렌즈 면에 부착되어 있는 콘택트렌즈를 사용자의 각막 면에 부착되도록 착용해야 하고, 피부전극을 이용한 방법은 여러 개의 피부전극을 눈 주위에 부착해야 한다.
또한 카메라 비전 시스템을 이용한 방법은 얼굴 움직임에 영향을 받지 않고 고해상도의 눈 영상을 취득하기 위해 머리에 착용식 카메라를 장착하거나 회전 및 자동 초점 조절, 줌 기능을 가지는 고가의 카메라 장치를 사용해야 한다는 문제점이 있다. 결과적으로 세 가지 방법 모두 제작 단가 및 상용성 측면에서 단점을 가지고 있다.
따라서, 본 발명은 사용자의 얼굴 영상을 이용하여 추출한 눈 영역에서 동공을 검출하여 사용자의 시선 방향을 추적하는 시선 추적 장치 및 방법에 관한 것이다.
또한, 본 발명은 사용자의 얼굴 영상을 이용하여 얼굴 영역 또는 눈 영역의 검출을 실패한 경우에도 모션 벡터를 이용하여 제어할 수 있는 시선 방향을 추적하는 시선 추적 장치 및 방법에 관한 것이다.
상기한 목적들을 해결하기 위해 본 발명의 일 실시 예에 따른 시선 위치 추적 장치는, 영상촬영기기로부터 소정의 간격으로 수신된 얼굴 영상들에서 미리 결정된 방법을 이용하여 얼굴 영역을 검출하는 얼굴 검출부; 상기 얼굴 영역을 수직 방향으로 소정의 비율로 나누어 눈 후보 영역을 검출하는 후보 검출부; 상기 검출된 눈 후보 영역에서 상기 미리 결정된 방법을 이용하여 눈 영역들을 검출하고, 상기 눈 영역들을 이진화하여 동공을 검출하고, 상기 검출된 동공의 성분을 추적하여 동공의 중심 좌표를 검출하는 동공 검출부; 및 상기 검출된 동공의 중심 좌표를 화면의 논리 좌표에 대응시켜 상기 화면상에 사상되는 커서의 위치를 계산하는 맵핑부를 포함한다.
본 발명의 일 실시 예에 따른 시선 위치 추적 방법은, 영상촬영기기로부터 소정의 간격으로 수신된 얼굴 영상들에서 미리 결정된 방법을 이용하여 얼굴 영역을 검출하는 단계; 상기 얼굴 영역을 수직 방향으로 소정의 비율로 나누어 눈 후보 영역을 검출하는 단계; 상기 검출된 눈 후보 영역에서 상기 미리 결정된 방법을 이용하여 눈 영역들을 검출하고, 상기 눈 영역들을 이진화하여 동공을 검출하고, 상기 검출된 동공의 성분을 추적하여 동공의 중심 좌표를 검출하는 단계; 상기 검출된 동공의 중심 좌표를 화면의 논리 좌표에 대응시켜 상기 화면상에 사상되는 커서의 위치를 계산하는 단계를 포함한다.
본 발명은, 사용자의 얼굴 영상을 이용하여 추출한 눈 영역에서 동공을 검출하여 사용자의 시선 방향을 추적할 수 있고, 사용자의 얼굴 영상을 이용하여 얼굴 영역 또는 눈 영역의 검출을 실패한 경우에도 모션 벡터를 이용하여 제어할 수 있는 시선 방향을 추적할 수 있다. 또한, 본 발명은 손에 의한 동작 없이 시선을 이용해서 사용자의 시선 방향을 추적할 수 있다.
도 1은 본 발명의 실시 예에 따른 시선 추적 장치의 구성을 도시한 도면,
도 2a는 본 발명의 실시 예에 따른 시선 추적 장치에서 얼굴 검출에 사용되는 하 웨이블릿 특징 중 에지 특성을 도시한 도면,
도 2b는 본 발명의 실시 예에 따른 시선 추적 장치에서 얼굴 검출에 사용되는 하 웨이블릿 특징 중 라인 특성을 도시한 도면,
도 2c는 본 발명의 실시 예에 따른 시선 추적 장치에서 얼굴 검출에 사용되는 하 웨이블릿 특징 중 중심 특성을 도시한 도면,
도 3은본 발명의 실시 예에 따른 시선 추적 장치에서 직렬 분류기(Cascade Classifier)들에 의한 얼굴 검출 과정을 도시한 도면,
도 4는 본 발명의 실시 예에 따른 시선 추적 장치에서 Adaboost 얼굴 검출 기법을 이용한 얼굴 영역 검출 결과를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 시선 추적 장치에서 검출된 얼굴 영역 내에서 눈 후보 영역을 지정하는 과정을 도시한 도면,
도 6은 본 발명의 실시 예에 따른 시선 추적 장치에서 지정된 눈 후보 영역에서 눈 영역을 검출하는 과정을 도시한 도면,
도 7은 본 발명의 실시 예에 따른 시선 추적 장치에서 눈 좌표에서 IPTV 화면 좌표로의 사상 고정에 대한 개념도,
도 8은 본 발명의 실시 예에 따른 시선 추적 장치에서 계층적 KLT 특징 추적기를 이용하여 모션벡터를 찾은 결과를 도시한 도면,
도 9는 본 발명에 의한 방법과 일반 마우스를 이용하여 무작위하게 위치한 아이콘에 도달하는데 걸리는 시간을 비교한 그래프,
도 10은 본 발명의 실시 예에 따른 시선 추적 장치의 관심도와 편의성에 관한 설문 결과를 도시한 도면,
도 11은 본 발명의 실시 예에 따른 시선 추적 장치를 사용한 IPTV 환경에서의 응용 서비스 예 중 인터넷 쇼핑의 예시도,
도 12는 본 발명의 실시 예에 따른 시선 추적 장치를 사용한 IPTV 환경에서의 응용 서비스 예 중 VOD 서비스의 예시도,
도 13은 본 발명의 실시 예에 따른 시선 추적 장치를 사용한 IPTV 환경에서의 응용 서비스 예 중 어두운 밤 환경에서의 동작 예시도,
도 14는 본 발명의 실시 예에 따른 IPTV 시스템에서 시선 추적 과정을 도시한 도면이다.
본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
그러면 먼저 시선 추적 방법이 사용되고 있는 예들을 살펴보기로 하자. 시선 위치 추적 방법은 크게 스킨 전극(Skin Electrodes) 기반 방법, 콘텍트 렌즈(Contact Lens) 기반 방법, 두부 장착형 디스플레이(Head Mounted Display) 부착 기반 방법, 원격 팬&틸트(Remote Pan&Tilting) 장치 기반 방법으로 나누어져 있다.
상기 스킨 전극 기반 방법은 사용자 눈 주변에 전극(electrode)을 부착하여 망막(retina)과 각막(cornea) 사이의 전위차를 측정하고, 측정된 전위차를 통해 응시 위치를 계산하는 방법이다. 상기 스킨 전극 기반 방법은 양 눈의 응시위치를 모두 파악할 수 있으며, 가격이 저렴하며 사용 방법이 간편하다는 장점이 있다. 하지만, 스킨 전극 기반 방법은 가로세로 방향의 움직임이 제한적이어서 정확성이 떨어진다.
상기 콘텍트 렌즈 기반 방법은 각막에 미끄러지지 않는 렌즈를 부착하고 이곳에 자기장 코일이나 거울을 부착하여 응시위치를 계산하는 방법이다. 상기 콘텍트 렌즈 기반 방법은 정확히 응시위치를 계산할 수 있다. 하지만, 사용이 불편하고 눈의 깜박거림이 자유롭지 못하며, 계산이 가능한 범위가 제한되어 있다.
상기 두부 장착형 디스플레이 부착 기반 방법은 헤드밴드 또는 헬멧 밑에 장착된 작은 카메라를 이용하여 응시위치를 계산한다. 두부 장착형 디스플레이 부착 기반 방법은 사용자의 머리 움직임에 관계없이 응시위치를 계산할 수 있다. 그러나, 카메라가 사용자 눈높이보다 아래에 기울어져 있어 눈의 상하 움직임에 민감하지 못하여, 두부 장착형 디스플레이에만 적용된다.
원격 팬&틸트 장치 기반 방법은 모니터 주변에 팬&틸트가 되는 카메라와 조명을 장치하여 응시위치를 계산하는 방법이다. 원격 팬&틸트 장치 기반 방법은 응시위치 계산이 정확하고 빠르며, 그 적용이 쉬운 장점을 가지나, 머리의 움직임을 추적하기 위해 2대 이상의 고가 스테레오 카메라 장치와 복잡한 알고리즘을 요구하며, 추가로 카메라와 모니터간의 복잡한 캘리브레이션을 요구한다. 그러면 여기서, 도 1을 참조하여 본 발명의 실시 예에 따른 시선 추적 장치의 구성을 보다 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 시선 추적 장치의 내부 구조를 도시한 도면이다.
본 발명의 실시 예에 따른 시선 추적 장치는 다양한 형태의 동영상 재생기기, 예컨대 IPTV 시스템, TV, 컴퓨터, 게임기 등 다양한 응용 분야에 적용될 수 있다. 그러면, 설명의 편의를 위해서 IPTV 시스템을 예를 들어 설명하기로 한다. 초기에는 사용자는 사용자의 얼굴 영상을 촬영하기 위한 영상촬영기기, 예컨대 카메라, 웹캠 등을 포함하는 IPTV 모니터의 중앙 지점을 응시하고 있다고 가정하여 설명하기로 한다.
도 1을 참조하면, 시선 추적 장치는 얼굴 검출부(100), 후보 검출부(102), 동공 검출부(104), 맵핑부(106), 보정부(108)를 포함한다. 상기 얼굴 검출부(100)는 IPTV에 연결된 영상촬영기기로부터 촬영된 사용자의 얼굴 영상을 수신한다. 상기 얼굴 검출부(100)는 아다부스트 알고리즘을 이용하여 얼굴 영상으로부터 얼굴 영역을 검출한다.
상기 아다부스트 알고리즘은 입력된 사용자의 얼굴 영상이 정면 얼굴인 경우에 정확하게 얼굴 영역을 검출할 수 있는 알고리즘이다. 만약, 상기 사용자의 얼굴 영상이 정면 얼굴이 아닌 경우에는 추후 후술될 보정부(108)는 계층적 KLT 특징 추적(Pyramidal Kanade Lucas Tomasi Feature Track) 알고리즘을 이용하여 모션 벡터를 검색하고, 상기 검색된 모션 벡터를 이용하여 커서를 제어함으로써 정확한 동공의 중심좌표를 추출한다.
아다부스트 알고리즘은 훈련 단계와 실행 단계로 구성되며, 상기 훈련 단계는 검사대상과 유사한 샘플, 예컨대 특징 템플릿을 이용하여 다수개의 약한 분류기(weak classifier)로 구성되는 강한 분류기(strong classifier)를 사전에 설정하는 단계이다. 상기 실행단계는 사전에 설정된 강한 분류자를 실제 검사대상에 적용시켜 조건에 부합되는지의 여부를 판단하는 단계를 의미한다.
얼굴 검출부(100)는 상기 아다부스트 알고리즘을 이용하여 입력된 사용자의 얼굴 영상에서 얼굴 영역을 추출할 때, 상기 입력된 사용자의 얼굴 영상을 그대로 사용하지 않고, 서브윈도우로 분할한다. 그리고, 얼굴 검출부(100)는 상기 서브윈도우에 포함된 하 웨이블릿(Haar Wavelet)특징을 이용하여 특징값을 계산한다. 이때, 상기 아다부스트 알고리즘의 성능은 상기 약한 분류기의 개수에 따라 좌우되며, 아다부스트 알고리즘의 정확도는 특징값 계산방식이나 윈도우 계산방식 등에 따라 좌우된다.
상기 서브윈도우에 포함된 하 웨이블릿 특징들은 픽셀들의 숫자보다 많기 때문에 상기 얼굴 검출부(100)는 작고 중요한 특징에 초점을 맞추어 특징값을 계산한다. 상기 하 웨이블릿 특징은 도 2와 같이 템플릿으로 표현될 수 있다. 그러면 여기서, 도 2a 내지 도 2c를 참조하여 본 발명의 실시 예에 따른 IPTV 시스템에서 얼굴 검출에 사용되는 하 웨이블릿 특징에 대해서 보다 구체적으로 설명하기로 한다.
도 2a는 본 발명의 실시 예에 따른 시선 추적 장치에서 사용되는 하 웨이블릿 특징 중 에지 특성을 도시한 도면이고, 도 2b는 본 발명의 실시 예에 따른 시선 추적 장치에서 사용되는 하 웨이블릿 특징 중 라인 특성을 도시한 도면이고, 도 2c는 본 발명의 실시 예에 따른 시선 추적 장치에서 사용되는 하 웨이블릿 특징 중 중심 특성을 도시한 도면이다.
도 2a 내지 도 2c를 참조하면, 하 웨이블릿 특징은 2개 또는 3개의 검은색과 흰색의 사각형으로 구성되어 있고, 수평, 수직 또는 대각방향으로 기울어져 있다. 이러한 각각의 하 웨이블릿 특징은 얼굴 구성요소, 예컨대 양 눈, 코, 왼쪽 눈, 눈커플 등을 나타낸다. 도 2a는 동공을 표현한 것이고, 도 2b는 동공과 홍채가 이루는 다양한 경계 성분을 표현한 것이다.
얼굴 검출부(100)는 상기 계산된 특징값은 결정 트리 분류기(Decision Tree Classifier)의 입력으로 사용한다. 이때, 각가의 분류기는 개별적으로 원하는 물건을 찾을 수 없기 때문에 약한 분류기라 칭하기로 한다. 상기 결정 트리 분류기는 레이디 신호 분류, 의학 진단, 전문가 시스템, 음성 인식 등 많은 분야에서 사용되고 있으며, 복잡한 결정 처리를 단순한 결정의 집합으로 만드는데 사용되는 분류기이다. 상기 결정 트리 분류기는 4단계를 거쳐 단순한 결정의 집합을 만들 수 있다.
먼저, 상기 특징값을 이용하여 특징값의 부분집합 W를 랜덤으로 선택하고, 상기 W에서 결정트리(Decision Trees)를 생성한다. 그리고 특징값이 아닌 부분에서 생성된 규칙을 적용하여 예외적인 사례를 검색한다. 그리고 상기 예외적인 사례를 상기 특징값의 부분집합에 포함시키고, 상기 업데이트된 부분집합을 이용하여 결정트리를 생성한다. 상기와 같은 과정을 통해서 강력한 분류기가 생성된다.
Figure pat00001
상기 <수학식 1>을 참조하면, 변수 f는 약한 분류기를 나타내고, 변수 n은 약한 분류기의 개수와 스테이지의 개수를 나타낸다. 변수 c는 스테이지에 따라 변화하는 계수(coefficient)를 나타낸다. 각각의 반복 단계에서 새로운 약한 분류기 fi는 학습되어 누적된다.
학습 집합에서 분류기 fi 의 에러 값이 작아질수록 계수 ci는 점점 커지게 된다. 그 후, 모든 학습 샘플들의 가중치가 갱신되고, 다음 반복단계에서는 이미 만들어진 F에 의해 잘못 분류된 샘플들의 역할이 강조되게 된다. 만약, fi 가 미리 결정된 임계값보다 조금이라도 크면 F는 소정의 큰 값을 가지게 된다. 하지만, 실제로는 빠른 처리 시간을 위해서는 매우 많은 개수의 약한 분류기들만큼이나 매우 많은 큰 학습 집합들이 요구된다. 그러면 여기서, 도 3을 참조하여 직렬 분류기(Cascade Classifier)들에 의한 얼굴 검출 과정을 보다 구체적으로 설명하기로 한다.
도 3을 참조하면, 직렬 분류기는 약한 분류기가 앞쪽에 있도록 직렬형태로 배치하여 구성되어있다. 현재의 검색 윈도우는 검출하고자하는 물체를 판단하는 각각의 FK 분류기에 의해 세부단계로 나누어진다. 이렇게 약한 분류기를 앞에 둠으로써 검출에 필요한 연산시간을 줄일 수 있다. 여기서 각각의 단계들은 낮은 false-alarm rate보다는 높은 hit-rate를 지향한다.
즉, 얼굴이 아닌데 잘못 찾는 에러 율을 줄이기보다는 얼굴인데 못 찾는 에러가 없는 방향으로 학습한다. 이 때, 각 단계에서 이루고자 하는 hit-rate와 false-alarm rate를 미리 설정하고 각 단계에서의 정확도를 선택하면 좋은 검출 성능을 이룰 수 있다. 본 발명에서는 이러한 방식으로 학습한 분류기를 이용하여, 입력 영상이 정면 얼굴인 경우에 99%의 정확도로 도 4와 같이 얼굴 영역을 검출하였다.
후보 검출부(102)는 얼굴의 비율을 이용하여 상기 얼굴 검출부(100)에서 검출된 얼굴 영역에서 도 5와 같이 눈이 존재할 만한 영역, 예컨대 눈 후보 영역을 지정한다. 그리고 후보 검출부(102)는 상기 눈 후보 영역에서 도 6과 같이 눈 영역을 검출한다. 여기서, 도 6과 같이 눈 영역을 검출하지 못한 경우에는 후술될 보정부(108)는 계층적 KLT 특징 추적(Pyramidal Kanade Lucas Tomasi Feature Track) 알고리즘을 이용하여 모션 벡터를 검색하고, 상기 검색된 모션 벡터를 이용하여 커서를 제어함으로써 정확한 동공의 중심좌표를 추출한다.
여기서, 상기 얼굴의 비율은 상기 얼굴 검출부(100)에서 검출된 얼굴 영역을 수직 방향으로 4등분 하였을 때 두 번째 영역에 해당하는 비율을 의미한다. 이는 32명의 사진 192장의 얼굴 영상으로부터 눈 후보 영역을 지정하는 실험을 통해서, 얼굴 영상으로부터 검출된 얼굴 영역을 수직 방향으로 4등분 하였을 대 두 번째 영역이 눈을 포함하고 있다고 판단되었다.
상기와 같이 눈 후보 영역을 결정함으로써, 눈이 아닌 영역을 눈으로 잘못 검출하는 에러를 줄이는 효과를 볼 수 있다. 이때, 얼굴 영역이 정면이 아닌 경우에는 눈 영역이 가장 자리에 존재할 수 있으므로, 상기 검출된 얼굴 영역에서 수직 방향으로만 탐색 범위를 좁히고 수형 방향에 대해서는 탐색 범위를 좁히지 않았다.
동공 검출부(104)는 상기 눈 영역 안에서 적응적 임계치 추정 방법을 이용하여 동공의 중심을 검출한다. 상기 적응적 임계치 추정 방법은 초기 임계값, 예컨대 를 임의로 결정하고, 상기 결정된 임계값을 기준으로 이진화를 수행한다. 상기 동공 검출부(104)는 상기 이진화 과정을 통해서 상기 눈 후보 영역의 밝기 값이 상기 임계값보다 크거나 같은 밝기 값으로 구성된 G1 그룹과 눈 후보 영역의 밝기 값이 상기 임계값보다 작은 밝기 값으로 구성된 G2 그룹으로 나눈다.
그런 다음, 상기 동공 검출부(104)는 상기 G1 그룹과 G2 그룹에 포함된 밝기 값의 평균값을 계산하고, 상기 계산된 평균값을 이용하여 새로운 임계값을 하기 <수학식 2>와 같이 계산한다.
Figure pat00002
상기 <수학식 2>를 참조하면, 상기 M1은 G1 그룹의 평균값을 나타내고, M2 는 G2 그룹의 평균값을 나타낸다. 상기 동공 검출부(104)는 상기 임계값이 미리 결정된 값보다 작을 때까지 상기 과정을 반복한다.
상기 동공 검출부(104)는 눈 동공 영역의 그레이 레벨이 주위 영역보다 낮다는 특징을 이용하여 눈 후보 영역을 이진화하여 동공을 검출한다. 그런 다음, 상기 동공 검출부(104)는 눈 영역에 포함된 노이즈, 예컨대 눈썹 등의 영향을 줄이기 위해서 상기 검출된 동공에 성분 명명화(component labeling)방법을 적용한다.
상기 성분 명명화 방법은 영상에서 분리되어진 각 영역에 고유한 부호를 부여하는 영상 처리 방법으로 이진 영상의 분할, 영역의 특징 추출 및 영상의 복원 등에 사용된다. 상기 성분 명명화 방법에는 주사선법(raster scan), 시드확산법(seed connectivity), 4진목법(quadtree) 및 윤곽추적법(contour following) 등이 있다.
즉, 상기 동공 검출부(104)는 성분 명명화 방법을 이용하여 동공의 윤곽을 추적하여 최종적으로 추출된 동공의 블랙 화소의 무게 중심을 계산하여 정확하게 동공의 중심 좌표를 검출한다. 그러면 여기서, 도 7을 참조하여 맵핑부(106)가 동공의 중심 좌표를 IPTV 화면의 논리 좌표로 매핑하는 과정을 보다 구체적으로 설명하기로 한다.
도 7은 맵핑부(106)가 동공의 중심 좌표를 IPTV 화면의 논리 좌표로 매핑하는 과정을 도시한 도면이다.
도 7을 참조하면, 상기 맵핑부(106)는 상기 동공 검출부(104)에서 검출된 동공의 중심 좌표, 예컨대(Sx, Sy)를 IPTV 모니터의 중앙 좌표, 예컨대
Figure pat00003
에 대응시킨다. 여기서, 상기 x, y는 각각 동공의 x좌표와 y좌표를 나타낸다. 그리고 상기 맵핑부(106)는 하기 <수학식 3>과 <수학식 4>를 이용하여 스크린 상에 사상되는 커서의 위치를 계산한다.
Figure pat00004
Figure pat00005
상기 <수학식 3>와 <수학식 4>를 참조하면, (Cx, Cy)는 연속적인 프레임에서 움직인 사용자 동공의 중심 좌표를 나타내고, (Mx, My)는 상기 검출부(104)에서 검출된 동공의 중심 좌표, 예컨대(Sx, Sy)를 IPTV 모니터의 중앙 좌표에 사상했을 때 모니터 상에 사상되는 커서의 위치를 나타낸다.
Figure pat00006
와
Figure pat00007
는 상기 (Cx, Cy)의 변화에 따라 (Mx, My)의 변화량을 변화시켜서 상기 모니터 상에 사상되는 커서 조절의 감도를 조정하기 위한 상수이다. 상기 (Cx, Cy)의 변화에 따라 (Mx, My)의 변화량을 변화시킬 때 상기 변화량이 작으면 (Cx, Cy)의 작은 변화에도 화면상의 커서를 많이 움직일 수 있다. 이런 경우, 상기 커서 이동이 민감하여 화면의 여러 픽셀을 한꺼번에 건너뛰게 될 수 있으므로 커서의 정교한 조정을 할 수 없어진다.
한편, 상기 (Cx, Cy)의 변화에 따라 (Mx, My)의 변화량을 변화시킬 때 상기 변화량이 크면 정교한 조정이 가능하다. 하지만, 커서를 움직이기 위해 많은 얼굴 움직임이 필요하므로 IPTV의 응용 프로그램에 따라 목적에 맞게 α와 β 값을 적절하게 조절해야 한다. 본 연구에서는 시스템 사용 초기에 사용자로 하여금 선호도에 따라 α와 β를 설정할 수 있도록 하는 기능을 제공한다.
또한, 본 연구에서는 카메라의 디지털 줌 기능을 사용하여 사용자의 작은 움직임으로도 커서가 많이 움직일 수 있도록 하여 사용자가 얼굴을 많이 움직여야 하는 불편함을 최소화 하였다. 또한 (Cx, Cy) 좌표가 영상의 이전 프레임과 대비하여 2픽셀 이하로 움직였을 때에는 이전 프레임에서 검출된 양 눈의 중심 위치로 (Cx, Cy)를 대체함으로써, 커서의 떨림 보정 기능을 추가하였다.
상기 얼굴 검출부(100)에 입력된 사용자의 얼굴 영상이 정면 얼굴인 경우에는 상기 과정을 통해서 동공의 중심좌표를 추출할 수 있지만, 상기 얼굴 검출부(100)에 입력된 사용자의 얼굴 영상이 측면 얼굴인 경우에는 상기 과정을 통해서는 정확한 동공의 중심좌표를 추출할 수 없다.
상기와 같은 이유로, 상기 보정부(108)는 계층적 KLT 특징 추적(Pyramidal Kanade Lucas Tomasi Feature Track) 알고리즘을 이용하여 모션 벡터를 검색하고, 상기 모션 벡터를 이용하여 커서를 제어함으로써 정확한 동공의 중심좌표를 추출한다. 상기 계층적 KLT 특징 추적 알고리즘은 영상 밝기의 항상성 제약조건(image brightness constancy constraint)를 만족하고, 영상의 움직임이 작을 때 연속하는 프레임 사이의 특징점의 변위를 계산하여 특징점의 대응관계를 계산하는 알고리즘이다.
이때, 움직임이 큰 변위를 얻기 위해서는 충분히 큰 특징점 윈도우 W가 요구된다. 하지만, 상기 특징점 윈도우의 크기가 커질 경우 윈도우의 평균을 계산하는 연산들로 인해 작은 변위에 대한 추적 성능이 저하되고, 연산량 또한 증가한다. 상기와 같은 이유로 윈도우 크기에 대한 적절한 선택이 요구된다.
따라서 특징 윈도우의 크기와 정확성 사이의 절충을 위해서 KLT 특징 추적기는 계층적 추적을 수행함으로써 변위가 큰 특징점 윈도우에 대응하여 세밀한 움직임에 대한 추적도 가능하다. 영상촬영기기의 움직임으로 인해 특징점 윈도우는 연속하는 프레임 사이에서 일정 거리만큼 움직이고, 모양 또한 근소하게 변화하기 때문에 움직임 모델은 이미지 밝기와 관련하여 하기 <수학식 5>와 같이 나타낼 수 있다.
Figure pat00008
상기 <수학식 5>를 참조하면, 함수 I는 특정 프레임에서의 밝기를 나타내고, 함수 J는 다음 프레임에서의 밝기, 변수 d는 변위 벡터, 함수_는 형태의 변화로 인한 차이를 나타낸다. 특징점의 추적은 두 영상에서 대응되는 특징점 윈도우 W에서 하기 <수학식 6>과 같이 정의된 평균제곱오차(mean squared error), 예컨대
Figure pat00009
을 최소화하는 변위를 결정하는 것을 의미한다.
Figure pat00010
상기 보정부(108)는 상기 <수학식 5>를 테일러급수(Taylor Series)를 이용하여 근사화할 수 있고, 상기와 같은 과정을 반복하여
Figure pat00011
을 최소화하는 변위를 계산할 수 있다. 상기 테일러급수는 미분 가능한 어떤 함수를 다항식의 형태로 근사화할 때 사용되는 방법이다.
그 후, 상기 보정부(108)는 계층적 KLT 특징 추적 알고리즘을 이용하여 모션 벡터를 검색한다. 보다 구체적으로, 상기 보정부(108)는 해리스 코너 검출기(Harris Corner Detector)를 이용하여 이전 영상과 현재 영상에서 코너점을 추출한다. 상기 해리스 코너 검출기는 기본적으로 지역적으로 신호 변화를 측정할 수 있는 국소 자기상관(local auto-correlation) 함수에 바탕을 두어 특징점을 추출하는 검출기이다.
그런 다음, 상기 보정부(108)는 이전 영상과 현재 영상 사이에서의 서로 상응하는 코너점을 추출한다. 그 결과, 상기 보정부(108)는 현재 영상과 이전 영상에서의 서로 상응하는 코너점의 변화, 즉 모션벡터를 검색할 수 있다.
상기 모션 벡터는 클러스터링을 통하여 추출한 동적 물체 후보들 중에서 배경을 제외한 나머지 동적 물체를 추출하기 위해서 사용되는 벡터이다. 본 발명에서상기 모션 벡터는 눈 후보 영역들 중에서 배경을 제외하고 동공을 추출하기 위해서 사용되었다.
상기 보정부(108)는 상기 검색한 모션 벡터를 이용하여 도 8과 같이 커서를 제어한다. 상기 도 8은 상기 보정부(108)가 계층적 KLT 특징 추적 알고리즘을 이용하여 검색한 모션 벡터를 통해 커서를 제어하는 과정을 도시한 도면이다. 그러면 여기서, 하기 <수학식 7>과 <수학식 8>를 참조하여 보정부(108)가 계층적 KLT 특징 추적 알고리즘을 이용하여 검색한 모션 벡터를 통해 커서를 제어하는 과정을 보다 구체적으로 설명하기로 한다.
Figure pat00012
Figure pat00013
상기 <수학식 7>과 <수학식8>을 참조하면 (Mx, My)는 모니터 상에 사상되는 좌표를 나타내고, (Mx prev, My prev)는 이전 커서의 좌표를 나타낸다. 또한,
Figure pat00014
는 상기 KLT 특징 추적 알고리즘을 통해 검색된 모션벡터의 x, y축 성분들을 각각 나타낸다.
상기 아다부스트 알고리즘은 상기 입력된 사용자의 얼굴 영상이 정면 얼굴일 경우에 정확하게 얼굴 영역을 추출할 수 있다. 하지만, 사용자는 IPTV를 시청할 시, 얼굴의 회전이나 자세가 변경될 수 있으므로 상기 아다부스트 알고리즘의 사용만으로는 정확하게 얼굴 영역을 추출할 수 없다.
이와 같은 문제점을 해결하기 위해서 상기 보정부(108)는 계층적 KLT 특징 추적 알고리즘을 이용하여 모션 벡터를 검색히고, 상기 검색된 모션벡터를 이용하여 도 8과 같이 커서를 제어함으로써 상기의 문제점을 해결하였다. 그러면 여기서, 본 발명의 시선 추적 장치를 IPTV 시스템에 응용한 경우 시선 추적의 실험 결과 및 분석에 대해서 보다 구체적으로 설명하기로 한다.
본 발명의 실시 예에 따른 시선 추적 장치를 IPTV 시스템에 응용하였을 때 하기와 같은 환경에서 진행되었다. IPTV용 컴퓨터 하드웨어는 Intel(R) Core 2(TM) Duo CPU 2.4GHz, 3GB RAM를 포함한다. 또한, 상기 IPTV에 카메라가 연결되어있고, 상기 키메라의 모델은 Logitech PN 960-00057이다. IPTV용 모니터는 19인치 크기이고, 모니터 해상도는 1260 ㅧ 1024 픽셀이다. 사용자는 모니터와 80cm 이격된 거리에 위치하고 있으며, 상기 IPTV에 연결된 카메라는 사용자의 얼굴 영상을 촬영하고, 상기 촬영된 사용자의 얼굴 영상은 상기 얼굴 검출부(100)로 전송된다.
본 발명의 실시 예에 따른 시선 추적을 위한 프로그램은 Microsoft Visual Studio C++ 개발환경에서 DirectX 9.0c SDK (Software Development Kit)의 DirectShow를 사용하여 구현된다. 또한, 실험은 IPTV 화면에 보여지는 메뉴들의 크기를 고려하여 상기
Figure pat00015
와
Figure pat00016
값을 (Cx, Cy)와 (Mx, My)의 움직임 비가 1:4가 되도록 설정하고 진행된다.
그러면 여기서, 도 9를 참조하여 본 발명의 실시 예에 따른 시선 추적 장치를 IPTV 시스템에 응용한 경우의 시선 추적의 객관적 성능 평가를 보다 구체적으로 설명하기로 한다.
도 9는 본 발명의 실시 예에 따른 시선 추적 방법을 IPTV 시스템에 적용한 경우와 일반 마우스를 이용하여 랜덤으로 위치한 아이콘에 도달하는데 걸리는 시간을 비교한 그래프이다.
도 9를 참조하면, 본 발명의 실시 예에 따른 시선 추적 방법을 이용하여 IPTV 모니터에 랜덤으로 위치한 10개의 아이콘 그림을 순서대로 커서를 위치시키는데 걸리는 시간과 일반 마우스를 이용하여 상기 10개의 아이콘 그림을 순서대로 커서를 위치시키는데 걸리는 시간을 비교한 그래프이다. 상기 시간의 평균치는 총 25명을 대상으로 상기와 같은 실험을 진행하였다.
본 발명의 실시 예에 따른 시선 추적 방법을 IPTV 시스템에서 이용한 경우에는 초기에는 시간이 많이 걸리지만, 반복 사용에 따라 아이콘에 도달하는 시간이 감소하여 기계적인 마우스를 사용했을 경우와 거의 비슷해진다. 기계적인 마우스는 횟수의 변화에 따라 소요시간에 큰 변화가 없다. 이는 사용자 대부분이 기계적인 마우스에 익숙해져 있고, 제안하는 알고리즘에는 익숙하지 않기 때문이다.
본 발명에 의한 방법을 통해 얼굴을 포함하는 영상 한 프레임을 처리하여 IPTV 화면상의 시선 위치를 계산하는데 평균 64ms의 처리시간이 소요된다. 이를 통해 본 발명의 실시 예에 따른 시선 추적 방법을 IPTV 시스템에 응용한 경우에은 초당 15프레임의 영상을 취득하는 USB 카메라를 사용할 때 실시간으로 동작할 수 있음을 알 수 있다. 그러면 여기서, 도 10을 참조하여 본 발명의 실시 예에 따른 시선 추적 장치의 주관적 성능 평가를 보다 구체적으로 설명하기로 한다.
주관적인 성능 평가에서는 총 25명의 실험 대상자에게 IPTV환경에서 기존의 기계적인 마우스를 사용하는 경우와 제안하는 방법 중 어느 것에 더 편의성 및 관심도를 느끼는 지에 대해 측정하였다. 편의성과 관심도에 관한 실험결과는 도 10과 같다. 도 10을 참조하면, 본 발명에서 제안하는 방법이 기계적인 마우스를 사용하는 것보다 관심도가 높다는 의견이 많은 것을 알 수 있다. 반면에 편의성에 관한 조사에서는 기존의 마우스를 이용한 입력 방식이 제안하는 방법보다 편하다는 의견이 약간 많았다.
도 11 내지 도 13은 본 발명에서 제안하는 방법을 이용하여 IPTV환경에서 다양한 서비스, 예컨대 인터넷 검색, Video-On-Demand 등을 사용하는 예시도이다. 상기 도 11 내지 도 13을 통해 TV시청 시 실내조명 상황에 관계없이 본 방법에 의한 방법을 사용할 수 있음을 알 수 있다. 그러면 여기서, 도 14를 참조하여 본 발명의 실시 예에 따른 시선 추적 과정을 보다 구체적으로 설명하기로 한다.
도 14를 참조하면, 얼굴 검출부(100)는 1401단계에서 영상촬영기기로부터 촬영된 사용자의 얼굴 영상을 수신한다. 상기 얼굴 검출부(100)는 1402단계에서 아다부스트 알고리즘을 이용하여 얼굴 영상으로부터 얼굴 영역을 검출한다. 그리고 얼굴 검출부(100)는 1402단계에서 얼굴 영상으로부터 얼굴 영역이 성공적으로 검출되었는지 판단한다.
상기 판단결과 얼굴 영역이 성공적으로 판단되었으면 1404단계로 진행하고, 상기 판단결과 얼굴 영역이 성공적으로 판단되지 않았다면 1408단계로 진행한다. 먼저, 상기 판단결과 얼굴 영역이 성공적으로 판단된 경우를 설명하기로 한다. 후보 검출부(102)는 1404단계에서 얼굴의 비율을 이용하여 상기 얼굴 검출부(100)에서 검출된 얼굴 영역에서 눈이 존재할 만한 영역, 예컨대 눈 후보 영역을 지정한다. 그리고 후보 검출부(102)는 1405단계에서 상기 1404단계에서 검출된 눈 후보 영역에서 아다부스트 알고리즘을 이용하여 눈 영역을 검출한다.
만약, 상기 판단결과 얼굴 영역이 성공적으로 판단되지 않은 경우에는 상기 보정부(108)는 1408단계에서 계층적 KLT 특징 추적(Pyramidal Kanade Lucas Tomasi Feature Track) 알고리즘을 이용하여 모션 벡터를 검색한다. 그리고 상기 보정부(108)는 1409단계에서 상기 검색된 모션 벡터를 이용하여 커서를 제어함으로써 정확한 동공의 중심좌표를 추출한다.
상기 계층적 KLT 특징 추적 알고리즘은 영상 밝기의 항상성 제약조건(image brightness constancy constraint)를 만족하고, 영상의 움직임이 작을 때 연속하는 프레임 사이의 특징점의 변위를 계산하여 특징점의 대응관계를 계산하는 알고리즘이다.
이때, 움직임이 큰 변위를 얻기 위해서는 충분히 큰 특징점 윈도우 W가 요구된다. 하지만, 상기 특징점 윈도우의 크기가 커질 경우 윈도우의 평균을 계산하는 연산들로 인해 작은 변위에 대한 추적 성능이 저하되고, 연산량 또한 증가한다. 상기와 같은 이유로 윈도우 크기에 대한 적절한 선택이 요구된다.
따라서 특징 윈도우의 크기와 정확성 사이의 절충을 위해서 KLT 특징 추적기는 계층적 추적을 수행함으로써 변위가 큰 특징점 윈도우에 대응하여 세밀한 움직임에 대한 추적도 가능하다.
다음으로, 상기 후보 검출부(102)는 1406단계에서 상기 눈 후보 영역에서 눈 영역이 성공적으로 검출되었는지 판단한다. 상기 판단결과 눈 영역이 성공적으로 판단되었으면 1407단계로 진행하고, 상기 판단결과 눈 영역이 성공적으로 판단되지 않았다면 1408단계로 진행한다. 먼저, 상기 판단결과 눈 영역이 성공적으로 판단된 경우를 설명하기로 한다.
상기 맵핑부(108)는 1407단계에서 검출된 동공의 중심 좌표를 IPTV 모니터의 중앙 좌표에 대응시키고, 상기 <수학식 3>과 <수학식 4>를 이용하여 스크린 상에 사상되는 커서의 위치를 계산한다. 여기서, 상기 <수학식 3>과 <수학식 4>에 관한 설명은 앞서 설명하였으므로 생략하기로 한다.
만약, 상기 판단결과 얼굴 영역이 성공적으로 판단되지 않은 경우에는 상기 보정부(108)는 1408단계에서 계층적 KLT 특징 추적(Pyramidal Kanade Lucas Tomasi Feature Track) 알고리즘을 이용하여 모션 벡터를 검색한다. 그리고 상기 보정부(108)는 1409단계에서 상기 검색된 모션 벡터를 이용하여 커서를 제어함으로써 정확한 동공의 중심좌표를 추출한다.
이제까지 본 발명에 대하여 그 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 얼굴 검출부, 102 : 후보 검출부
104 : 동공 검출부, 106 : 맵핑부
108 : 보정부

Claims (20)

  1. 시선 추적 장치에 있어서,
    영상촬영기기로부터 소정의 간격으로 수신된 얼굴 영상들에서 미리 결정된 방법을 이용하여 얼굴 영역을 검출하는 얼굴 검출부;
    상기 얼굴 영역을 수직 방향으로 소정의 비율로 나누어 눈 후보 영역을 검출하는 후보 검출부;
    상기 검출된 눈 후보 영역에서 상기 미리 결정된 방법을 이용하여 눈 영역들을 검출하고, 상기 눈 영역들을 이진화하여 동공을 검출하고, 상기 검출된 동공의 성분을 추적하여 동공의 중심 좌표를 검출하는 동공 검출부; 및
    상기 검출된 동공의 중심 좌표를 화면의 논리 좌표에 대응시켜 상기 화면상에 사상되는 커서의 위치를 계산하는 맵핑부를 포함함을 특징으로 하는 시선 추적 장치.
  2. 제 1 항에 있어서,
    미리 결정된 방법을 이용하여 모션 벡터를 검색하고, 상기 검색된 모션 벡터를 이용하여 상기 화면에 사상된 커서를 제어하여 최종 동공의 중심 좌표를 검출하는 보정부를 더 포함함을 특징으로 하는 시선 추적 장치.
  3. 제 1 항에 있어서, 상기 얼굴 검출부는,
    아다부스트 알고리즘을 이용하여 상기 수신된 얼굴 영상의 특징점을 분석하여 얼굴 영역을 검출함을 특징으로 하는 시선 추적 장치.
  4. 제 1 항에 있어서, 상기 얼굴 검출부는,
    상기 아다부스트 알고리즘을 이용하여 상기 수신된 얼굴 영상에서 얼굴 영역을 검출하지 못한 경우에는 상기 모션 벡터를 이용하여 상기 화면에 사상된 커서를 제어함을 특징으로 하는 시선 추적 장치.
  5. 제 1 항에 있어서, 상기 후보 검출부는,
    상기 검출된 얼굴 영역을 수직 방향으로 네 개의 영역으로 분할하고, 상기 분할된 영역들 중 두 번째 영역에 눈 영상이 포함되었다고 판단함을 특징으로 하는 시선 추적 장치.
  6. 제 1 항에 있어서, 상기 후보 검출부는,
    상기 아다부스트 알고리즘을 이용하여 눈 후보 영역에서 눈 영역들을 검출하지 못한 경우에는 상기 모션 벡터를 이용하여 상기 화면에 사상된 커서를 제어함을 특징으로 하는 시선 추적 장치.
  7. 제 1 항에 있어서, 상기 동공 검출부는,
    상기 검출된 눈 후보 영역의 밝기 값이 소정의 임계값보다 크거나 같은 밝기 값으로 구성된 제 1 그룹과 상기 검출된 눈 후보 영역의 밝기 값이 상기 소정의 임계값 보다 작은 밝기 값으로 구성된 제 2 그룹으로 나누고, 상기 제 1 그룹과 제 2 그룹의 평균값을 이용하여 동공을 검출함을 특징으로 하는 시선 추적 장치.
  8. 제 7 항에 있어서, 상기 동공 검출부는,
    상기 소정의 임계값이 미리 결정된 값보다 작을 때까지 상기 제 1그룹과 제 2 그룹의 평균값을 이용하여 동공을 검출함을 특징으로 하는 시선 추적 장치.
  9. 제 7 항에 있어서, 상기 동공 검출부는,
    상기 검출된 공동의 윤곽을 추적하여 최종적으로 추출된 동공의 블랙 화소의 무게 중심을 계산하여 동공의 중심 좌표를 검출함을 특징으로 하는 시선 추적 장치.
  10. 제 2 항에 있어서, 상기 보정부는,
    이전에 검출된 얼굴 영상과 상기 검출된 얼굴 영상사이에서 서로 다른 코너점의 변화 검색하고, 상기 검색된 코너점의 변화를 이용하여 모션 벡터를 검색함을 특징으로 하는 시선 추적 장치.
  11. 시선 추적 방법에 있어서,
    영상촬영기기로부터 소정의 간격으로 수신된 얼굴 영상들에서 미리 결정된 방법을 이용하여 얼굴 영역을 검출하는 단계;
    상기 얼굴 영역을 수직 방향으로 소정의 비율로 나누어 눈 후보 영역을 검출하는 단계;
    상기 검출된 눈 후보 영역에서 상기 미리 결정된 방법을 이용하여 눈 영역들을 검출하고, 상기 눈 영역들을 이진화하여 동공을 검출하고, 상기 검출된 동공의 성분을 추적하여 동공의 중심 좌표를 검출하는 단계;
    상기 검출된 동공의 중심 좌표를 화면의 논리 좌표에 대응시켜 상기 화면상에 사상되는 커서의 위치를 계산하는 단계를 포함함을 특징으로 하는 시선 추적 방법.
  12. 제 11 항에 있어서,
    미리 결정된 방법을 이용하여 모션 벡터를 검색하고, 상기 검색된 모션 벡터를 이용하여 상기 화면에 사상된 커서를 제어하여 최종 동공의 중심 좌표를 검출하는 단계를 더 포함함을 특징으로 하는 시선 추적 방법.
  13. 제 11 항에 있어서, 상기 얼굴 영역을 검출하는 단계는,
    아다부스트 알고리즘을 이용하여 상기 수신된 얼굴 영상의 특징점을 분석하여 얼굴 영역을 검출함을 특징으로 하는 시선 추적 방법.
  14. 제 11 항에 있어서, 상기 얼굴 영역을 검출하는 단계는,
    상기 아다부스트 알고리즘을 이용하여 상기 수신된 얼굴 영상에서 얼굴 영역을 검출하지 못한 경우에는 상기 모션 벡터를 이용하여 상기 화면에 사상된 커서를 제어함을 특징으로 하는 시선 추적 방법.
  15. 제 11 항에 있어서, 상기 눈 후보 영역을 검출하는 단계는,
    상기 검출된 얼굴 영역을 수직 방향으로 네 개의 영역으로 분할하고, 상기 분할된 영역들 중 두 번째 영역에 눈 영상이 포함되었다고 판단함을 특징으로 하는 시선 추적 방법.
  16. 제 11 항에 있어서, 상기 눈 후보 영역을 검출하는 단계는,
    상기 아다부스트 알고리즘을 이용하여 눈 후보 영역에서 눈 영역들을 검출하지 못한 경우에는 상기 모션 벡터를 이용하여 상기 화면에 사상된 커서를 제어함을 특징으로 하는 시선 추적 방법.
  17. 제 11 항에 있어서, 상기 동공을 검출하는 단계는,
    상기 검출된 눈 후보 영역의 밝기 값이 소정의 임계값보다 크거나 같은 밝기 값으로 구성된 제 1 그룹과 상기 검출된 눈 후보 영역의 밝기 값이 상기 소정의 임계값 보다 작은 밝기 값으로 구성된 제 2 그룹으로 나누고, 상기 제 1 그룹과 제 2 그룹의 평균값을 이용하여 동공을 검출함을 특징으로 하는 시선 추적 방법.
  18. 제 17 항에 있어서, 상기 동공을 검출하는 단계는,
    상기 소정의 임계값이 미리 결정된 값보다 작을 때까지 상기 제 1그룹과 제 2 그룹의 평균값을 이용하여 동공을 검출함을 특징으로 하는 시선 추적 방법.
  19. 제 17 항에 있어서, 상기 동공을 검출하는 단계는,
    상기 검출된 공동의 윤곽을 추적하여 최종적으로 추출된 동공의 블랙 화소의 무게 중심을 계산하여 동공의 중심 좌표를 검출함을 특징으로 하는 시선 추적 방법.
  20. 제 12 항에 있어서, 상기 보정하는 단계는,
    이전에 검출된 얼굴 영상과 상기 검출된 얼굴 영상사이에서 서로 다른 코너점의 변화 검색하고, 상기 검색된 코너점의 변화를 이용하여 모션 벡터를 검색함을 특징으로 하는 시선 추적 방법.
KR1020100026453A 2009-12-29 2010-03-24 시선 추적 장치 및 방법 KR101286965B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090132792 2009-12-29
KR1020090132792 2009-12-29

Publications (2)

Publication Number Publication Date
KR20110076723A true KR20110076723A (ko) 2011-07-06
KR101286965B1 KR101286965B1 (ko) 2013-07-23

Family

ID=44916591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100026453A KR101286965B1 (ko) 2009-12-29 2010-03-24 시선 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101286965B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140105116A (ko) * 2013-02-22 2014-09-01 삼성전자주식회사 동작 제어 방법 및 그 전자 장치
KR101453713B1 (ko) * 2014-02-03 2014-10-22 연세대학교 산학협력단 객체 인식 방법 및 그 장치
US9182819B2 (en) 2014-04-10 2015-11-10 Samsung Electronics Co., Ltd. Eye gaze tracking method and apparatus and computer-readable recording medium
KR101601541B1 (ko) * 2014-11-19 2016-03-08 현대자동차주식회사 시선추적기 및 그의 동공 검출 방법
KR101706992B1 (ko) * 2016-01-27 2017-02-15 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
KR20170029166A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 시점 추적 방법 및 장치
US9906767B2 (en) 2014-10-14 2018-02-27 Electronics And Telecommunications Research Institute Apparatus and method for digital holographic table top display
WO2018117366A1 (ko) * 2016-12-21 2018-06-28 주식회사 쓰리이 홍채 검증 방법
KR20220038038A (ko) * 2015-06-18 2022-03-25 삼성전자주식회사 전자 장치 및 전자 장치에서의 노티피케이션 처리 방법
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101628493B1 (ko) 2014-10-10 2016-06-21 현대자동차주식회사 안경 착용자의 시선 추적 장치 및 그 방법
KR102241334B1 (ko) * 2015-02-04 2021-04-19 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102460665B1 (ko) 2017-12-14 2022-10-31 삼성전자주식회사 응시 거리를 결정하는 방법 및 디바이스
KR101887626B1 (ko) * 2018-02-12 2018-08-10 (주)포세듀 안면 데이터 기반 집중도 분석 시스템 및 그 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140105116A (ko) * 2013-02-22 2014-09-01 삼성전자주식회사 동작 제어 방법 및 그 전자 장치
KR101453713B1 (ko) * 2014-02-03 2014-10-22 연세대학교 산학협력단 객체 인식 방법 및 그 장치
US9182819B2 (en) 2014-04-10 2015-11-10 Samsung Electronics Co., Ltd. Eye gaze tracking method and apparatus and computer-readable recording medium
US9798384B2 (en) 2014-04-10 2017-10-24 Samsung Electronics Co., Ltd. Eye gaze tracking method and apparatus and computer-readable recording medium
US9906767B2 (en) 2014-10-14 2018-02-27 Electronics And Telecommunications Research Institute Apparatus and method for digital holographic table top display
KR101601541B1 (ko) * 2014-11-19 2016-03-08 현대자동차주식회사 시선추적기 및 그의 동공 검출 방법
KR20220038038A (ko) * 2015-06-18 2022-03-25 삼성전자주식회사 전자 장치 및 전자 장치에서의 노티피케이션 처리 방법
KR20170029166A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 시점 추적 방법 및 장치
KR101706992B1 (ko) * 2016-01-27 2017-02-15 숭실대학교산학협력단 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체
WO2018117366A1 (ko) * 2016-12-21 2018-06-28 주식회사 쓰리이 홍채 검증 방법
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof

Also Published As

Publication number Publication date
KR101286965B1 (ko) 2013-07-23

Similar Documents

Publication Publication Date Title
KR101286965B1 (ko) 시선 추적 장치 및 방법
Valenti et al. Combining head pose and eye location information for gaze estimation
US20160086023A1 (en) Apparatus and method for controlling presentation of information toward human object
JP5016175B2 (ja) 顔画像処理システム
US7657062B2 (en) Self-calibration for an eye tracker
US8081822B1 (en) System and method for sensing a feature of an object in an interactive video display
US20080199054A1 (en) Iris recognition for a secure facility
CN108985210A (zh) 一种基于人眼几何特征的视线追踪方法及系统
US20220383653A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
KR20120057033A (ko) Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
MX2012010602A (es) Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara.
Cho et al. Gaze Detection by Wearable Eye‐Tracking and NIR LED‐Based Head‐Tracking Device Based on SVR
CN115482574B (zh) 基于深度学习的屏幕注视点估计方法、装置、介质及设备
Arar et al. A regression-based user calibration framework for real-time gaze estimation
Jafari et al. Gaze estimation using Kinect/PTZ camera
CN112069986A (zh) 高龄老人眼动机器视觉跟踪方法及装置
Hong et al. A new gait representation for human identification: mass vector
Khilari Iris tracking and blink detection for human-computer interaction using a low resolution webcam
JP3980464B2 (ja) 鼻位置の抽出方法、およびコンピュータに当該鼻位置の抽出方法を実行させるためのプログラムならびに鼻位置抽出装置
Bashir et al. Video surveillance for biometrics: long-range multi-biometric system
Hansen et al. Robustifying eye interaction
Wallhoff et al. Multimodal face detection, head orientation and eye gaze tracking
JP2019040592A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
Xu et al. Real time detection of eye corners and iris center from images acquired by usual camera
EP2685351A1 (en) Method for calibration free gaze tracking using low cost camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee