KR20130043366A - 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법 - Google Patents

시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법 Download PDF

Info

Publication number
KR20130043366A
KR20130043366A KR1020110107423A KR20110107423A KR20130043366A KR 20130043366 A KR20130043366 A KR 20130043366A KR 1020110107423 A KR1020110107423 A KR 1020110107423A KR 20110107423 A KR20110107423 A KR 20110107423A KR 20130043366 A KR20130043366 A KR 20130043366A
Authority
KR
South Korea
Prior art keywords
user
center coordinates
pupil
gaze
pupil center
Prior art date
Application number
KR1020110107423A
Other languages
English (en)
Other versions
KR101288447B1 (ko
Inventor
이민호
장영민
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020110107423A priority Critical patent/KR101288447B1/ko
Publication of KR20130043366A publication Critical patent/KR20130043366A/ko
Application granted granted Critical
Publication of KR101288447B1 publication Critical patent/KR101288447B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는 디스플레이 화면을 제공하는 디스플레이부, 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 촬상부, 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부, 적외선 카메라로 촬상된 적외선 안구 이미지 정보가 저장된 저장부, 검출부에서 검출된 안구 영역에 대한 정보와 적외선 안구 이미지 정보를 이용하여, 안구 영역 내의 동공 위치를 추측하여 사용자의 시선을 판단하는 판단부 및 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 제어부를 포함한다. 이에 따라, 디스플레이 화면상의 사용자 시선을 판단하고, 사용자 시선에 따라 디스플레이 장치를 제어할 수 있다.

Description

시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법{GAZE TRACKING APPARATUS, DISPLAY APPARATUS AND METHOD THEROF}
시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법들에 관한 것으로, 보다 상세하게는 본 발명은 촬상된 사용자 이미지로부터 사용자의 시선을 추적하는 장치와 이를 이용하는 디스플레이 장치 및 그 방법에 관한 것이다.
모바일 IT 장치가 일상 생활에서 대중적으로 사용되는 가운데 인간 컴퓨터 상호 작용(HCI:Human Computer Interaction)은 높은 우선권의 연구 주제로 남아있다. 최근 몇 년간 스마트폰, 테블렛 PC, 상호적인 게임 컨솔 등과 같은 모바일 IT 장치에 멀티터치 인터페이스 기술 및 제스처 인식 등과 같은 다양한 HCI 기술들이 적용되고 있다.
이러한 기술들 외에, 사용자의 눈동자 움직임을 이용하는 HCI는 편리성과 높은 속도의 입력을 제공하기 때문에, 컴퓨터를 조작하거나 사용자의 심리적 사실들을 분석하기 위해 눈동자의 움직임을 검출하는 인터페이스 기술 역시 개발되고 있다.
사용자의 시선을 추적하는 장치는 몇 가지 종류가 있다. 머리에 쓰는 타입 또는 안경 타입의 시선 추적 시스템은 상대적으로 정확한 응시점을 제공할 수 있다. 이러한 장치에 붙어 있는 카메라는 인간 눈동자에 가깝게 위치하기 때문에 눈동자 및 동공을 항상 안정적으로 검출할 수 있다. 그러나, 이러한 타입의 장치가 아닌 경우 촬상된 이미지가 사용자의 얼굴뿐만 아니라 눈동자 움직임을 검출하는데 불필요한 부분들까지도 포함하고 있을 수 있기 때문에 사용자의 응시점을 쉽게 측정할 수 없다.
따라서, 대부분의 정확한 시선 추적 장치는 동공을 검출하기 위해 일반적으로 IR(Infrared Ray)근처의 발광원을 사용한다. IR 카메라를 이용한 동공 검출은 시선 추적을 수행하는데 높은 정확도를 제공하고 동공을 더 쉽게 찾을 수 있다. 그러나, IR을 이용한 방법은 사용자의 눈에 직접적으로 에너지를 방출하고, 가동할 때 많은 열을 방출하기 때문에 오랜 시간 사용하는 것은 안정하지 않다. 이러한 이유들로, 스마트 폰이나 테블렛 PC와 같은 내장형 장치는 IR 카메라를 사용하는 시선 추적 시스템의 적용이 제한되어 통상적인 USB 카메라를 이용하여 사용자의 시선을 추적하는 방법이 요청된다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 통상적인 USB 카메라를 이용하여 촬상된 사용자 이미지로부터 사용자의 시선을 추적하는 시선 추적 장치, 이를 이용하는 디스플레이 장치 및 그 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 디스플레이 화면을 제공하는 디스플레이부, 상기 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 촬상부, 상기 촬상부에 의해 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부, 적외선 카메라로 촬상된 적외선 안구 이미지 정보가 저장된 저장부, 상기 검출부에서 검출된 안구 영역에 대한 정보와 상기 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 판단부 및 상기 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 제어부를 포함한다.
여기서, 상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고, 상기 검출부는, 상기 촬상된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 안구 영역을 검출하며, 검출된 안구 영역에서 홍채 영역을 검출하여, 검출된 홍채 영역의 중심 좌표를 검출할 수 있다.
또한, 상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고, 상기 판단부는, 상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크(Neural Network)를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 동공 추측부, 상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 시선 판단부를 포함할 수 있다.
그리고, 상기 시선 판단부는, 아래의 수식을 사용하여 상기 디스플레이 화면상의 사용자의 시선을 판단할 수 있고,
Figure pat00001
여기서,
Figure pat00002
및
Figure pat00003
는 디스플레이 화면상의 사용자 시선의 x축 및 y축 좌표이고,
Figure pat00004
및
Figure pat00005
는 상기 사용자의 동공 중심 좌표 중 x축 및 y축 좌표이다.
또한, 상기 제어부는, 상기 디스플레이 화면상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이할 수 있다.
그리고, 상기 저장부는, 사용자의 안구 영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 더 저장하며, 상기 시선 판단부는, 상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단할 수 있다.
또한, 상기 저장부는, 복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 더 저장하며, 상기 제어부는, 상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고, 상기 시선 판단부는, 상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교할 수 있다.
한편 본 발명의 일 실시 예에 따른 시선 추적 장치는, 촬상된 사용자 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부, 적외선 카메라로 촬상된 적외선 안구 이미지 정보가 저장된 저장부 및 상기 검출부에서 검출된 안구 영역에 대한 정보와 상기 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 판단부를 포함한다.
여기서, 상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고, 상기 검출부는, 상기 촬상된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 안구 영역을 검출하며, 검출된 안구 영역에서 홍채 영역을 검출하여, 검출된 홍채 영역의 중심 좌표를 검출할 수 있다.
그리고, 상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고, 상기 판단부는, 상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 동공 추측부, 상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 시선 판단부를 포함할 수 있다.
그리고, 상기 저장부는, 사용자의 안구 영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 더 저장하며, 상기 시선 판단부는, 상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단할 수 있다.
또한, 상기 저장부는, 복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 더 저장하며, 상기 제어부는, 상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고, 상기 시선 판단부는, 상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교할 수 있다.
한편, 본 발명을 일 실시 예에 따른 디스플레이 방법은, 디스플레이 화면을 제공하는 단계, 상기 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 단계, 상기 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 단계, 상기 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 단계 및 상기 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 단계를 포함할 수 있다.
여기서, 상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고, 상기 검출하는 단계는, 상기 촬상된 이미지에서 얼굴 영역을 검출하는 단계, 검출된 얼굴 영역에서 안구 영역을 검출하는 단계, 검출된 안구 영역에서 홍채 영역을 검출하는 단계, 검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계를 포함할 수 있다.
그리고, 상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고, 상기 판단하는 단계는, 상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 단계, 상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 단계를 포함할 수 있다.
또한, 상기 시선을 판단하는 단계는, 아래의 수식을 사용하여 상기 디스플레이 화면상의 사용자의 시선을 판단할 수 있고,
Figure pat00006
여기서,
Figure pat00007
및
Figure pat00008
는 디스플레이 화면상의 사용자 시선의 x축 및 y축 좌표이고,
Figure pat00009
및
Figure pat00010
는 상기 사용자의 동공 중심 좌표 중 x축 및 y축 좌표이다.
그리고, 상기 제어하는 단계는, 상기 디스플레이 화면 상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이할 수 있다.
또한, 사용자의 안구영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 저장하는 단계를 더 포함하고, 상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는, 상기 동공 중심 위치를 추측하는 단계에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단할 수 있다.
여기서, 복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 저장하는 단계를 더 포함하고, 상기 제어하는 단계는, 상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고, 상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는, 상기 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교할 수 있다.
한편 본 발명을 일 실시 예에 따른 시선 추적 방법은, 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 단계, 상기 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지를 이용하는 단계를 포함할 수 있다.
그리고, 상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고, 상기 검출하는 단계는, 상기 촬상된 이미지에서 얼굴 영역을 검출하는 단계, 검출된 얼굴 영역에서 안구 영역을 검출하는 단계, 검출된 안구 영역에서 홍채 영역을 검출하는 단계, 검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계를 포함할 수 있다.
또한, 상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고, 상기 판단하는 단계는, 상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 위치를 추측하는 단계, 상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 단계를 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 통상적인 USB 카메라를 이용하여 촬영된 이미지로부터 사용자의 시선을 추적할 수 있고, 사용자의 시선을 이용해 디스플레이를 조작할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 시선 추적 장치의 구성을 나타내는 블럭도이다.
도 3은 촬상된 사용자 이미지로부터 사용자의 홍채 중심 좌표를 검출하는 과정을 도시한 흐름도이다.
도 4는 촬상된 사용자 이미지로부터 얼굴 영역을 검출하는 과정을 도시한 흐름도이다.
도 5는 검출된 얼굴 영역에서 안구 영역을 검출한 결과를 나타낸다.
도 6은 검출된 안구 영역에서 눈꼬리를 검출한 결과를 나타낸다.
도 7은 홍채 영역 및 홍채 중심 좌표 검출하기 위해 안구 영역을 수평 및 수직 축으로 투영한 그래프를 나타낸다.
도 8a 및 도 8b는 적외선 안구 이미지에서 동공 중심 좌표를 검출하는 흐름도 및 그 결과를 나타낸다.
도 9는 동공 중심 좌표를 추측하기 위한 뉴럴 네트워크의 구조를 나타낸다.
도 10a 및 도 10b는 뉴럴 네트워크의 트레이닝 페이즈 및 테스트 페이즈의 동작 과정을 나타내는 흐름도이다.
도 11은 디스플레이 화면으로의 칼리브레이션을 나타낸다.
도 12a 및 도 12b는 본 발명의 일 실시 예에 따른 시선 추적 장치를 이용한 시선 추적 결과를 보여준다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 방법을 나타내는 흐름도이다.
도 14는 본 발명의 일 실시 예에 따른 시선 추적 방법을 나타내는 흐름도이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면, 디스플레이 장치(100)은 디스플레이부(110), 촬상부(120), 저장부(130), 검출부(140), 판단부(150), 제어부(160)를 포함한다. 본 디스플레이 장치(100)는 TV, 홈씨어터, 휴대폰, PDA, 게임기, 노트북 PC, 전자 책, MP3 플레이어 등과 같은 다양한 유형의 장치로 구현될 수 있다.
디스플레이부(110)는 각종 정보를 디스플레이 화면에 표시할 수 있다. 구체적으로, 디스플레이부(110)는 저장부(150)에 기저장된 정보 또는 외부에서 제공되는 동영상, 사진, 문서, UI, 아이콘 등과 같은 각종 정보를 사용자에게 표시할 수 있다. 이러한 디스플레이부(110)는 CRT, LCD 등과 같은 장치로 구현될 수 있다.
촬상부(120)는 사용자의 이미지를 촬상한다. 구체적으로, 촬상부(120)는 디스플레이 화면을 시청하는 사용자의 이미지를 촬상할 수 있다. 이러한 촬상부(120)는 TV, 휴대폰, 노트북 PC등과 같은 다양한 유형의 장치에 내장된 촬영장치로 구현할 수 있다. 또한, 종래에는 이러한 촬상부(120)를 IR 카메라 등 IR 촬상 장치를 이용하여 구현하였으나, 본 발명의 일 실시 예에 따르면 촬상부(120)를 통상적인 USB 촬상 장치로 구현할 수 있다. 한편, 본 발명의 실시 예에서는 촬상부(120)가 디스플레이 장치(100)에 내장된 것으로 표현하였으나, 이러한 촬상부(120)는 디스플레이 장치(100)와 연결된 외부 장치로 구현될 수도 있다.
저장부(130)는 적외선 카메라로 촬상된 적외선 안구 이미지 정보를 저장한다. 그리고, 저장부(130)는 디스플레이부(110)에 표시할 각종 정보를 저장할 수 있다. 그리고, 저장부(130)는 촬상부(120)에서 촬상된 사용자의 이미지를 저장할 수 있다. 또한, 저장부(130)는 후술할 검출부(140)에서 사용되는 각종 검출 알고리즘 및 검출된 사용자 안구 영역에 대한 정보를 저장할 수 있다. 특히, 얼굴 검출 과정에서 사용자 얼굴 특징 정보를 저장할 수 있다. 그리고, 저장부(130)는 후술할 판단부(150)에서 사용되는 알고리즘, 수학식, 매트릭스, 판단부(150)에 의해 추측되는 사용자 동공 중심 좌표 및 사용자 시선 위치 좌표를 저장할 수 있다.
그리고 저장부(130)는 각종 메모리, 예를 들면, ROM, 플래시 메모리 또는 HDD로 구성될 수 있다. 한편, 본 발명의 실시 예에 따르면, 저장부(130)는 디스플레이 장치(100) 내부에 내장된 것으로 표현하였으나, 이러한 저장부(130)는 디스플레이 장치(100)와 연결된 외장형 HDD 또는 메모리 카드, 예를 들면, 플래시 메모리(Flash Memory: M/S, XD, SD 등)나 USB 메모리 등으로 구현될 수도 있다.
검출부(140)는 촬상된 이미지에서 사용자의 안구 영역에 대한 정보를 검출한다. 구체적으로, 검출부(140)는 촬상부(120)에서 촬상된 사용자 이미지로부터 얼굴 영역, 안구 영역, 홍채 영역 및 홍채 중심 좌표를 순차적으로 검출할 수 있으며, 사용자의 홍채 중심 좌표를 검출하는 방법을 도 3 내지 도 7을 참고하여 구체적으로 설명한다. 여기서, 안구 영역은 사전적 의미의 눈동자 영역만을 의미하는 것이 아니라 사람의 얼굴을 볼 때 보여지는 눈 및 그 근처의 영역을 의미할 수 있다.
도 3은 촬상된 사용자 이미지로부터 사용자의 홍채 중심 좌표를 검출하는 과정을 도시한 흐름도이다. 도 3에 따른 검출 과정은 도 1에 도시된 디스플레이 장치(100)의 검출부(140)에서 수행가능하다.
여기서, 홍채 중심과 동공 중심과의 관계에 대해 설명한다. 사람은 물체를 보기 위하여 안구를 이동시킨다. 이때 홍채는 안구의 고정된 위치에 존재하므로 안구이동에 따라 함께 움직이게 된다. 홍채 내에 존재하는 동공은 홍채근육의 움직임에 의해서도 변하기 때문에 안구의 움직임에 대한 동일한 위치변화량을 가진다고 볼 수는 없다. 동공은 몸의 긴장상태에 의해 꾸준히 수축, 팽창운동을 하고 있으며, 동공의 크기 변화와 함께 그 중심도 일정하지 않다. 따라서 동공의 위치는 유연성을 갖는다고 볼 수 있다. 동공은 홍채의 중심부분에 존재하지만 동공의 중심과 홍채의 중심은 일치하지 않는다. 일반적으로 동공의 중심은 홍채의 중심으로부터 얼굴 가운데 쪽으로 위치하고 있다.
도 3에 도시된 홍채 중심 좌표 검출과정에 따르면, 촬상된 사용자 이미지에서 SM(Saliency Map)모델을 사용하여 얼굴 영역을 검출한다(S310). 이어서, 검출된 얼굴 영역에서 AdaBoost알고리즘을 사용하여 안구 영역을 검출한다(S320). 그리고, 검출된 안구 영역에서 균등화 및 Otsu의 임계 방법에 따라 홍채 영역을 검출하고(S330), 검출된 홍채 영역에서 그 중심좌표를 검출할 수 있다(S340).
도 4는 촬상된 사용자 이미지로부터 얼굴 영역을 검출하는 과정을 도시한 흐름도이다.
사용자의 얼굴을 검출하기 위해 선택적 주의 집중 모델이 사용된다. 구체적으로 사용자의 얼굴을 검출하기 위해 상향식 SM 모델을 사용할 수 있다. 상향식 SM 모델은 레티나(Retina) 함수 및 LGN(Lateral Geinculate Nucleus)를 사용할 수 있다. 레티나 함수를 사용하여 색의 요소 R(Red), G(Green), B(blue)가 추출되며, Intensity 특징과 함께 사용자 얼굴 검출에 사용될 수 있다. 추출된 피부색은 필터링 되며 이때 색의 요소 중 Red가 필터링에 지배적으로 공헌할 수 있고, Red 와 Green의 반대되는 색 특징은 얼굴 영역과 비 얼굴 영역의 경계 특징을 나타낼 수 있다. LGN 및 레티나 함수를 사용하여, 각 레벨이 2n 에 의해 만들어지는 0레벨 부터 n레벨까지의 상이한 스케일의 가우스 피라미드 이미지에 의해 on-center 및 off-center 동작을 수행하여 I(Intensity), E(Edge), C(color)와 같은 특징 지도를 구성할 수 있다. 세 가지 특징 지도의 합에 의해 SM 이 생성될 수 있다. SM 에서 상대적으로 많이 돌출된 영역을 후보영역으로 선택하고, Otsu의 임계 방법을 사용하여 선택 영역의 2차원 데이터를 생성한 후, 라벨링 방법을 사용하여 분할된 영역의 그룹을 생성할 수 있다. 선택된 후보영역이 AdaBoost(Adaptive Boosting) 알고리즘의 입력으로 사용되어 얼굴 영역을 검출할 수 있다.
또한, 검출부(140)는 검출된 얼굴영역에 대해 점진적(Incremental) (2D)2PCA(Incremental two directional two dimensional PCA)기법을 적용하여 얼굴 특징 정보를 추출할 수 있다. 복수 개의 트레이닝 데이터의 열방향 데이터 행렬의 공분산에서 초기 열방향 고유벡터(eigenvector) 및 고유값(Eigen value)을 구하고, 2DPCA를 이용하여 열방향 데이터의 고유벡터(Eigen vector) 및 고유값(Eigen value)를 생성하고 소정의 고유벡터를 선택하여 열방향 표현공간의 차원(dimension)을 선택한다.
여기서, (2D)2PCA는 2DPCA를 행방향과 열방향으로 동시에 각각 실행하여 투영 행렬을 구한다. 그 후 두 개의 투영 행렬을 동시에 적용하여 특징 행렬을 구하는 방식으로 특징 행렬의 크기는 매우 작게 하면서도 인식률은 2DPCA 정도의 수준을 유지할 수 있으므로, 저장 공간 및 계산량을 현저히 줄일 수 있게 된다. 또한, Incremental (2D)2PCA란 점진적으로 표현공간을 추정하는 동시에 2DPCA를 행방향과 열방향으로 각각 실행하는 방식을 의미한다. 이는 Incremental PCA가 특징 자체의 변화를 시간적으로 모델링하는 점진적 부공간(Incremental Subspace) 알고리즘이라는 점에 기인한다.
구체적으로 검출부(140)는 검출된 얼굴 영역과 사용자(또는 감독자)가 입력한 인식자 정보를 이용하여 Incremental (2D)2PCA 학습 임계값을 측정한 후 온라인 학습을 수행할 수 있다.
여기서 온라인 학습이란 새로운 학습데이터만을 이용해 기존의 학습 모델을 효율적으로 업데이트하는 방법으로, 점진적/적응적(Incremental/Adaptive) 학습이라고도 한다. 한편, 본 발명에서는, IPCA(Incremental Principal Component Analysis)를 적용하는 것으로 설명하였다. 하지만, 점진적/온라인/적응적(Incremental/Online/Adaptive) 학습에는 ILDA(Incremental Linear Discriminant Analysis), INMF(Incremental Non-negative Matrix Factorization)같은 특징 자체의 변화를 시간적으로 모델링하는 점진적 부공간(Incremental Subspace) 알고리즘, ISVM(Incremental Support Vector Machine)과 INN(Incremental Neural Network)같은 특징분포의 변화를 시간적으로 모델링하는 분류기들도 적용될 수 있다.
여기서, 상술한 바와 같이 상기 얼굴 영역 검출 단계에서 나타난 사용자 얼굴영역의 특징 정보들은 저장부(130)에 저장될 수 있다.
도 3의 검출된 얼굴 영역에서 안구 영역을 검출하는 단계(S320)는 도 5를 참고하여 구체적으로 설명한다.
도 5는 검출된 얼굴 영역으로부터 안구 영역을 검출한 결과를 나타낸다. 검출된 얼굴 영역에서 안구 영역을 검출하는 과정은 Adaboost 알고리즘을 사용하여 수행되며, 당해 기술분야에서 널리 알려진 기술로서 이에 대한 설명은 생략한다.
도 6은 검출된 안구 영역에서 눈꼬리를 검출한 결과를 보여준다. 검출된 안구 영역에서 눈꼬리를 검출하는 단계(미도시)는 간단한 견본 매칭 알고리즘(template matching algorithm)을 사용하여 수행될 수 있으며, 당해 기술분야에서 널리 알려진 기술로서 이에 대한 설명은 생략한다. 눈꼬리를 검출하는 과정이 필요한 이유는 사용자를 촬상하는 과정에서 사용자의 얼굴이 움직일 수 있기 때문이다. 사용자의 얼굴 움직임을 정규화에 의한 보정을 수행하기 위해 양 눈꼬리의 중심위치로부터 상술할 홍채 중심 및 추측된 동공 중심 좌표까지의 상대적 거리를 이용할 수 있다.
도 3의 검출된 안구 영역에서 홍채 영역 및 홍채의 중심 좌표를 검출하는 단계(S330 및 S340)는 도 7을 참고하여 구체적으로 설명한다.
도 7은 홍채 영역 및 홍채 중심 좌표 검출하기 위해 안구 영역을 수평 및 수직 축으로 투영한 그래프를 나타낸다. 도 3의 홍채 영역을 검출하는 단계(S330)는 균등화 및 Otsu 임계 방법에 기초한 2차원화 과정을 포함하는 이미지 처리과정을 사용할 수 있다. 이에 따라, 검출된 눈 영역에서 홍채 영역을 검출하기 위해 수평/수직 투영 히스토그램을 순차적으로 얻을 수 있다. 수평 및 수직 투영 히스토그램은 각각 수평 및 수직축에 합쳐진다. 다음 수학식 1은 수평 및 수직 투영 히스토그램을 얻는 식을 보여준다.
Figure pat00011
여기서,
Figure pat00012
및
Figure pat00013
는 각각 x축 및 y축의 히스토그램이다. w 및 h는 각각 검출된 안구 영역의 너비 및 높이를 나타낸다. 홍채 영역은
Figure pat00014
및
Figure pat00015
에 의해 검출될 수 있다. 구체적으로, 홍채 영역은 다음 수학식 2에 의해 검출될 수 있다.
Figure pat00016
여기서,
Figure pat00017
,
Figure pat00018
,
Figure pat00019
및
Figure pat00020
는 각각 검출 영역의 가장 좌측 좌표, 가장 우측 좌표, 가장 위쪽 좌표 및 가장 아래쪽 좌표를 나타낸다.
검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계(S340)는, 다음 수학식 3에 의해 수행될 수 있다.
Figure pat00021
여기서,
Figure pat00022
및
Figure pat00023
는 각각 홍채 중심 좌표의 x축 좌표 및 y축 좌표를 나타낸다.
여기서, 도 3 내지 도 7을 참고하여 사용자의 홍채 중심 좌표를 검출하는 방법을 통상적인 USB 카메라를 이용한 이미지에 대해 설명하였지만, 도 3 내지 도 7에 나타난 홍채 중심 좌표를 검출하는 방법은 적외선 카메라로 촬상된 이미지에도 동일하게 적용될 수 있다.
도 1의 판단부(150)는 디스플레이 화면상의 사용자의 시선을 판단한다. 이를 위해, 판단부(150)는 동공 추측부(151) 및 시선 판단부(152)로 구성될 수 있다.
동공 추측부(151)는 사용자의 동공 중심 좌표를 추측한다. 구체적으로, 동공 추측부(151)는 저장부(130)에 기 저장된 적외선 안구 이미지 내에 포함된 동공의 중심 좌표를 학습데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 검출부(140)에서 검출된 홍채 중심 좌표로부터 사용자의 동공 중심 좌표를 추측할 수 있다. (여기서, 적외선 안구 이미지 내에 포함된 동공의 중심 좌표는 추측된 동공 중심 좌표 및 이를 저장부(120)에 저장한 동공 중심 좌표와 상이하며, '적외선'이라는 수식어가 없는 동공 중심 좌표는 동공 추측부(151)의 추측과정에서 사용되는 동공 중심 좌표가 아니고, 적외선 안구 이미지에서 검출된 동공 중심 좌표는 동공 추측부(151)에 의한 동공 추측과정에만 사용된다.)
또한, 바람직하게는, 적외선 안구 이미지에서 동공 중심 좌표를 검출하는 과정 및 검출된 동공 중심 좌표를 학습 데이터로 사용하여 MLP 알고리즘에 의해 학습하는 과정은 미리 수행될 수 있다. 구체적으로, 검출부(140)는 저장부(130)에 기 저장되어 있는 적외선 안구 이미지를 이용하여 적외선 안구 이미지상의 동공의 중심 좌표를 검출할 수 있고, 적외선 안구 이미지상에서 기 검출된 동공 중심 좌표가 기 저장되어 있을 수도 있다. 그러면, 동공 중심 좌표를 추측하기 전에, 동공 추측부(151)는 적외선 이미지 상의 동공 중심 좌표를 MLP 알고리즘의 학습 데이터로 사용하여 미리 학습할 수 있다.
여기서, 뉴럴 네트워크는 뇌기능의 특성 몇 가지를 컴퓨터 시뮬레이션으로 표현하는 것을 목표로 하는 수학 모델이다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다. 좁은 의미에서는 오차역전파법을 이용한 다층퍼셉트론(MLP)을 가리키는 경우도 있지만, 이것은 잘못된 용법으로, 뉴럴 네트워크는 이에 국한되지 않는다. 뉴럴 네트워크는 교사 신호(정답)의 입력에 의해서 문제에 최적화되어 가는 교사 학습과 교사 신호를 필요로 하지 않는 비교사 학습이 있다. 명확한 해답이 있는 경우에는 교사 학습이, 데이터 클러스터링에는 비교사 학습이 이용된다. 결과적으로 모두 차원을 줄이기 위해, 화상이나 통계 등 다차원량의 데이터로, 선형 분리 불가능한 문제에 대해서, 비교적 작은 계산량으로 양호한 회답을 얻을 수 있는 것이 많다. 그 때문에, 패턴 인식이나 데이터 마이닝 등, 다양한 분야에서 응용되고 있다.
도 8a는 적외선 안구 이미지에서 동공 중심 좌표를 검출하는 흐름도를 나타낸다. 동공 중심 좌표를 검출하는 단계는 히스토그램 균등화(equalization) 단계, 히스토그램 경계화(binarization) 단계, 딜레이션(dilation) 단계, 에로젼(erosion) 단계, 블랍 라벨링(blob labeling) 단계를 포함할 수 있다. 히스토그램 균등화 과정은 이미지의 히스토그램을 이용하여 그레이 스케일된 눈 이미지의 콘트라스트(contrast) 조정 역할을 할 수 있다. 그리고, 히스트그램 경계화과정에서 적절한 경계값을 이용한 경계화가 적용될 수 있다. 그리고, 동공 주위의 glint 및 noise에 의한 오차를 감소시키기 위해 딜레이션 및 에로젼 같은 수학적인 모폴로지 동작이 사용될 수 있다. 마지막으로, 안구 이미지에 블럽 라벨링을 하는 과정이 이루어지고, 동공에 해당하는 적절한 색깔 부분을 찾음으로써 동공영역 및 동공의 중심좌표를 검출할 수 있다. 도 8b는 적외선 안구 이미지에서 동공 중심을 찾은 결과를 보여준다.
도 9는 동공 중심 좌표를 추측하기 위한 뉴럴 네트워크의 구조를 나타낸다. 뉴럴 네트워크는 7개의 노드와 바이어스를 포함하는 하나의 숨겨진 층을 사용할 수있다. 뉴럴 네트워크의 입력 벡터는 홍채 중심의 2차원 좌표로 구성되고, 타겟 벡터는 IR 카메라로부터 얻어진 동공 중심의 2차원 좌표로 구성될 수 있다. 또한, 뉴럴 네트워크는 트레이닝 페이즈(training phase) 및 테스트 페이즈(test phase)로 구분하여 나타낼 수 있다.
도 10a는 뉴럴 네트워크의 트레이닝 페이즈의 동작 과정을 나타내는 흐름도이다.
트레이닝 페이즈는, 상술할 테스트 페이즈에서 동공 중심 좌표를 추측하기 전에, 홍채 중심과 동공 중심 사이의 관계에 대해 미리 학습할 수 있다. 트레이닝 페이즈에서 뉴럴 네트워크는 검출된 양 눈꼬리의 중심좌표를 이용하여 검출된 홍채 중심 좌표 및 적외선 이미지 상의 동공 중심 좌표를 정규화할 수 있다. 정규화된 홍채 중심 좌표는 입력 벡터로, 정규화된 적외선 이미지상의 동공 중심 좌표는 타겟 벡터로 주어지고, 홍채 중심과 동공 중심 사이의 관계에 대해 타겟 정확도가 만족될 때까지 반복적으로 학습할 수 있다.
도 10b는 뉴럴 네트워크의 테스트 페이즈의 동작 과정을 나타내는 흐름도이다.
테스트 페이즈에서는 홍채 중심 좌표를 이용하여 동공 중심 좌표를 추측할 수 있다. 테스트 페이즈는 검출된 홍채 중심 좌표를 눈꼬리 중심 좌표를 이용하여 정규화하고, 정규화된 홍채 중심 좌표는 입력벡터로 사용된다. 뉴럴 네트워크는 미리 학습된 데이터를 이용하여 동공 중심 좌표를 출력 벡터로서 출력한다.
시선 판단부(152)는 디스플레이 화면상의 사용자의 시선을 판단한다. 구체적으로, 시선 판단부(152)는 동공 추측부(151)에서 추측된 동공 중심 좌표를 칼리브레이션과정을 통하여 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있다. 칼리브레이션을 위해 사용자는 미리 데이터를 입력할 필요가 있다. 예를 들어, 디스플레이 화면상의 일정한 지점을 응시하고 입력키를 누르면, 디스플레이 화면상의 시선 위치 좌표에 대응하는 동공 위치 좌표에 대한 관계를 도출할 수 있다. 도 11은 동공 중심 좌표로부터 디스플레이 화면상으로의 칼리브레이션을 나타낸다.
동공 추측부(151)에서 추측된 동공 중심좌표를 사용하여 디스플레이 화면으로의 시선을 추적하기 위해 다음 수학식 4와 같은 2차 다항식 함수를 고려할 수 있다.
Figure pat00024
Figure pat00025
내지
Figure pat00026
및
Figure pat00027
내지
Figure pat00028
는 미정 계수이다. 이러한 시스템은 12개의 미지수를 가지므로 6번 이상의 사용자 입력을 받음으로써 쉽게 풀 수 있다. 예를 들어, 칼레브레이션을 위해 9개의 점을 사용한다면, 이 시스템은 12개의 미지수 및 18개의 식으로 이루어진 과잉 결정되는 시스템이 되어 쉽게 계수들을 결정할 수 있다. 더 높은 차수의 다항식을 사용하면 정확성을 더 높일 수 있지만, 2차 다항식으로도 응시점의 칼리브레이션을 수행하는데 충분한 근사치로 수행될 수 있다.
계수들의 관계는 다음 수학식 5와 같은 매트릭스로 나타낼 수 있다.
Figure pat00029
상기 매트릭스는
Figure pat00030
로 간단하게 나타낼 수 있다.
여기서,
Figure pat00031
를 얻을 수 있다. 칼리브레이션 매트릭스
Figure pat00032
를 이용하여 추측된 동공 중심 좌표로부터 디스플레이 화면상의 사용자의 시선 위치를 칼리브레이션 할 수 있다.
또한, 시선 판단부(152)는 도출된 동공 중심 좌표를 상기 저장부(130)에 저장된 동공 중심 좌표와 비교하여 서로 일치하는 경우, 상기 칼리브레이션 과정 없이 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단할 수 있다. 이로써, 디스플레이 화면상의 사용자의 시선 위치를 더욱 효율적으로 판단할 수 있다.
여기서, 시선 판단부(152)는 후술할 제어부(160)에 의해 현재 사용자가 식별된 경우, 상기 저장부(130)에 저장된 동공 중심 좌표 중 식별된 사용자에 대응되는 동공 중심 좌표를 상기 동공 추측부(151)에서 추측된 동공 중심 좌표와 비교할 수 있다. 즉, 여러 사용자가 있는 경우, 현재 사용자를 식별하여 해당 사용자에 해당하는 저장 정보만을 비교하여 시선 판단 과정을 간소화할 수 있다.
제어부(160)는 디스플레이부(110)의 동작을 제어한다. 일 실시 예로, 제어부(160)는 디스플레이 화면상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이할 수 있다.
또한, 제어부(160)는 상기 저장부(130)에 저장된 사용자들의 얼굴 영역의 특징 정보를 이용하여 촬상부(120)에 의해 촬상된 이미지에 대응하는 현재 사용자를 식별할 수 있다. 구체적으로, 현재 사용자 이미지에서 검출된 얼굴 영역의 특징 정보와 저장부(130)에 저장된 각각의 사용자의 얼굴 영역의 특징 정보들을 비교하여, 일치하는 얼굴 영역의 특징 정보에 해당하는 사용자를 현재 사용자로 판단할 수 있다.
여기서, 제어부(160)는 추출된 얼굴 특징을 기초로 점진적 분류기를 적용하여 얼굴 인식 결과를 산출한다. 구체적으로, 약분류기 및 강분류기를 이용하여 얼굴 인식 결과를 산출할 수 있다. 일 실시 예로서, 약분류기는 SVM(Support Vector Machine)으로 구현될 수 있으며, 강분류기는 Adaboosted SVM으로 구현될 수 있다.
Adaboosted SVM 란, 약분류기인 SVM에 Adaboost 기법을 적용하여 생성된 분류기를 의미한다. Adaboost 기법이란, 약분류기의 선형적인 결합을 통하여 최종적으로 높은 검출 성능을 가지는 강분류기를 생성하는 알고리즘이다. 검출된 얼굴 영역에서 추출한 특징 정보를 기 분류된 인식자 정보와 결합시켜 약분류기를 훈련시키고, 훈련결과에 따라 인식자 정보 별로 설정된 가중치를 적용하여 Adaboost 연산한 강분류기를 생성할 수 있다. 이와 같이 약 분류기 및 강분류기를 적용하여 분류하는 기법을 이진 분류 기법이라고 한다.
또한, 제어부(160)는 디스플레이 장치(100)의 디스플레이부(110), 촬상부(120), 저장부(130), 검출부(140), 판단부(150)의 동작을 제어한다. 구체적으로, 제어부(160)는 저장부(130)에 저장된 각종 제어프로그램 및 알고리즘들을 사용하여 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다.
따라서 본 실시 예에 따른 디스플레이 장치는, 촬상된 사용자 이미지로부터 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있고, 판단된 사용자의 시선 위치를 이용해 디스플레이 장치를 제어할 수 있게 된다.
도 2는 본 발명의 일 실시 예에 따른 시선 추적 장치(200)의 구성을 나타내는 블럭도이다. 시선 추적 장치(200)는 촬상된 사용자의 이미지를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하기 위한 장치로서, 검출부(240), 판단부(250)로 구성될 수 있다. 시선 추적 장치(200)의 검출부(240), 판단부(250)는 각각 디스플레이장치(100)의 검출부(140), 판단부(150)에 대응될 수 있다.
검출부(240)는 촬상된 이미지에서 사용자의 안구 영역에 대한 정보를 검출한다. 구체적으로, 검출부(240)는 촬상된 사용자 이미지로부터 얼굴 영역, 안구 영역, 홍채 영역 및 홍채 중심 좌표를 순차적으로 검출할 수 있으며, 사용자의 홍채 중심 좌표를 검출하는 방법을 도 3 내지 도 7에 나타난다. 여기서, 안구 영역은 사전적 의미의 눈동자 영역만을 의미하는 것이 아니라 사람의 얼굴을 볼 때 보여지는 눈 및 그 근처의 영역을 의미할 수 있다. 검출부(240)에서 홍채 중심 좌표를 검출하는 과정은 디스플레이 장치(100)의 검출부(140)에서 홍채 중심 좌표를 검출하는 과정과 동일하다.
판단부(250)는 디스플레이 화면상의 사용자의 시선을 판단한다. 이를 위해, 판단부(240)는 동공 추측부(251) 및 시선 판단부(252)로 구성될 수 있다. 판단부(240)의 동공 추측부(251) 및 시선 판단부(252)는 디스플레이 장치(100)의 판단부(150)의 동공 추측부(151) 및 시선 판단부(152)에 대응된다.
동공 추측부(251)는 사용자의 동공 중심 좌표를 추측한다. 구체적으로, 동공 추측부(251)는 저장부(230)에 기 저장된 적외선 안구 이미지 내에 포함된 동공의 중심 좌표를 학습데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 검출부(240)에서 검출된 홍채 중심 좌표로부터 사용자의 동공 중심 좌표를 추측할 수 있고, 동공 중심 좌표를 추측하는 과정은 디스플레이 장치(100)의 동공 추측부(151)에서 동공 중심 좌표를 추측하는 과정과 동일하다.
시선 판단부(252)는 디스플레이 화면상의 사용자의 시선을 판단한다. 구체적으로, 동공 추측부(251)에서 추측된 동공 중심 좌표를 칼리브레이션과정을 통하여 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있다. 디스플레이 화면상의 사용자의 시선 위치를 판단하는 과정은 디스플레이 장치(100)의 시선 판단부(152)에서 디스플레이 화면상의 사용자의 시선 위치를 판단하는 과정과 동일하다.
따라서 본 실시 예에 따른 시선 추적 장치는, 촬상된 사용자 이미지로부터 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있게 된다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 방법을 나타내는 흐름도이다. 도 13에 따르면 디스플레이 방법은 디스플레이 화면을 제공하면(S1310), 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하고(S1320), 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출한다(S1330). 이어서, 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지를 이용하여, 안구 영역 내의 동공 위치를 추측하여 사용자의 시선을 판단한다(S1340). 그리고, 사용자의 시선에 따라 디스플레이 장치의 동작을 제어한다(S1350).
도 1, 도 3, 도 13을 참고하여 디스플레이 방법을 구체적으로 설명하면, 디스플레이부(110)는 저장부(150)에 기저장된 정보 또는 외부에서 제공되는 동영상, 사진, 문서, UI, 아이콘 등과 같은 각종 정보를 사용자에게 표시한다(S1310). 그러면, 촬상부(120)는 디스플레이 화면을 시청하는 사용자의 이미지를 촬상한다(S1320). 검출부(140)는 촬상된 이미지에서 사용자의 안구 영역에 대한 정보를 검출한다(S1330). 구체적으로, 검출부(140)는 촬상부(120)에서 촬상된 사용자 이미지로부터 얼굴 영역, 안구 영역, 홍채 영역 및 홍채 중심 좌표를 순차적으로 검출할 수 있다. 도 3을 참고하면, 사용자의 홍채 중심 좌표를 검출하는 과정은 촬상된 사용자 이미지에서 얼굴 영역을 검출하는 단계(S310), 검출된 얼굴 영역에서 안구 영역을 검출하는 단계(S320), 검출된 안구 영역에서 홍채 영역을 검출하는 단계(S330), 검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계(S340)로 구성될 수 있다.
판단부(150)는 검출부(140)에서 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지를 이용하여, 안구 영역 내의 동공 위치를 추측하여 사용자의 시선을 판단한다(S1340). 이를 위해, 판단부(150)는 동공 추측부(151) 및 시선 판단부(152)로 구성될 수 있다. 동공 추측부(151)는 저장부(130)에 기 저장된 적외선 안구 이미지 내에 포함된 동공의 중심 좌표를 학습데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 검출부(140)에서 검출된 홍채 중심 좌표로부터 사용자의 동공 중심 좌표를 추측할 수 있다. 여기서, 적외선 안구 이미지에서 동공 중심 좌표를 검출하는 과정 및 검출된 동공 중심 좌표를 학습 데이터로 사용하여 MLP 알고리즘에 의해 학습하는 과정은 미리 수행될 수 있다. 시선 판단부(152)는 동공 추측부(151)에서 추측된 동공 중심 좌표를 칼리브레이션과정을 통하여 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있다. 또한, 시선 판단부(152)는 도출된 동공 중심 좌표를 상기 저장부(130)에 저장된 동공 중심 좌표와 비교하여 서로 일치하는 경우, 상기 칼리브레이션 과정 없이 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단할 수 있으며, 제어부(160)에 의해 현재 사용자가 식별된 경우, 상기 저장부(130)에 저장된 동공 중심 좌표 중 식별된 사용자에 대응되는 동공 중심 좌표를 상기 동공 추측부(151)에서 추측된 동공 중심 좌표와 비교할 수 있다
제어부(160)는 디스플레이부(110)의 동작을 제어한다(S1350). 일 실시 예로, 제어부(160)는 디스플레이 화면상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이할 수 있다. 또한, 제어부(160)는 상기 저장부(130)에 저장된 사용자들의 얼굴 영역의 특징 정보를 이용하여 촬상부(120)에 의해 촬상된 이미지에 대응하는 현재 사용자를 식별할 수 있다.
따라서 본 실시 예에 따른 디스플레이 방법은, 촬상된 사용자 이미지로부터 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있고, 판단된 사용자의 시선 위치를 이용해 디스플레이 장치를 제어할 수 있게 된다.
도 14는 본 발명의 일 실시 예에 따른 시선 추적 방법을 나타내는 흐름도이다. 도 14에 따르면 시선 추적 방법은 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하고(S1430), 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지를 이용하여, 안구 영역 내의 동공 위치를 추측하여 사용자의 시선을 판단한다(S1440). 시선 추적 방법을 구성하는 각 단계는 도 13의 디스플레이 방법을 나타내는 흐름도의 단계(S1330) 및 단계(S1340)에 대응하며, 동일하게 수행된다.
따라서 본 실시 예에 따른 시선 추적 방법은, 촬상된 사용자 이미지로부터 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있게 된다.
도 12a 및 도 12b는 본 발명의 일 실시 예에 따른 시선 추적 장치(200)를 이용한 시선 추적 결과를 보여준다.
도 12a는 시선 추적 장치(200)을 이용해 시선을 추적하기 위해 800*600의 해상도를 가지는 디스플레이 화면을 7*5 영역으로 분할한 화면을 보여준다. 즉, 7*5의 해상도를 가지는 화면상에 테스트한다. 각 분할된 영역의 중심에는 시선 추적을 위한 타겟이 위치한다. 사용자가 각 타겟을 바라보면 시선 추적 장치(200)은 디스플레이 화면상의 사용자의 시선 위치를 판단한다. 아래 표 1은 각 타겟에 10회의 테스트한 결과를 보여준다. 표 1의 각 숫자는 디스플레이 화면상의 타겟의 위치와, 시선 추적 장치(200)에 의해 홍채 중심 좌표, 적외선 이미지로 검출한 동공 중심 좌표, 추측된 동공 중심 좌표를 이용하여 판단된 사용자의 시선 위치 사이의 오차의 평균 및 분산을 나타낸다. 타겟과의 거리는 Manhattan distance에 의해 측정되었다.
Figure pat00033
표 1에 나타난 결과를 보면 적외선 이미지로 검출한 동공 중심 좌표를 이용한 사용자 시선 판단은 가장 높은 정확도를 가진다. 홍채 중심 좌표를 이용한 사용자의 시선 판단은 가장 낮은 정확도를 가진다. 추측된 동공 중심을 이용하여 사용자의 시선을 판단한 결과는 적외선 이미지로 검출한 동공 중심 좌표를 이용한 결과에 못미치지만 만족할 만한 정확도를 보여준다.
도 12b는 더욱 정확한 테스트를 위해 800*600의 해상도를 가지는 화면에 테스트한 결과를 보여준다. 35개의 타겟 위치에 대해 각각 10번씩 테스트하였다. 표 2의 각 숫자는 디스플레이 화면상의 타겟의 위치와, 시선 추적 장치(200)에 의해 홍채 중심 좌표, 적외선 이미지로 검출한 동공 중심 좌표, 추측된 동공 중심 좌표를 이용하여 판단된 사용자의 시선 위치 사이의 오차의 평균 제곱근을 나타낸다. 타겟과의 거리는 Manhattan distance에 의해 측정되었다.
Figure pat00034
표 2의 결과는 표 1의 결과와 마찬가지로, 적외선 이미지로 검출한 동공 중심 좌표에 의한 테스트가 가장 정확한 결과를 나타내고 홍채 중심 좌표를 이용한 테스트는 가장 부정확한 결과를 나타냄을 알 수 있다. 통상 적인 USB 카메라를 이용하여 얻은 결과는 적외선 이미지로 검출한 동공 중심 좌표에 의한 테스트 결과에 못미치지만, 사용자 시선을 추적하기 위해 IR 카메라와 같은 다른 추가적인 장비 없이 만족할 만한 정확도를 보여준다.
상술한 본 발명의 다양한 실시 예들에 따른 시선 추적 방법 및 디스플레이 방법은, 다양한 유형의 기록 매체에 저장되어, 전자 장치에 구비된 CPU에 의해 실행될 수 있는 프로그램 코드에 의해 구현될 수도 있다.
구체적으로는, 상술한 시선 추적 방법 및 디스플레이 방법을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100 : 디스플레이 장치 110 : 디스플레이부
120 : 촬상부 130 : 저장부
140 : 검출부 150 : 판단부
151 : 동공 추측부 152 : 시선 판단부
160 : 제어부 200 : 시선 추적 장치
240 : 검출부 250 : 판단부
251 : 동공 추측부 252 : 시선 판단부

Claims (24)

  1. 디스플레이 장치에 있어서,
    디스플레이 화면을 제공하는 디스플레이부;
    상기 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 촬상부;
    상기 촬상부에 의해 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부;
    적외선 카메라로 촬상된 적외선 안구 이미지 정보가 저장된 저장부;
    상기 검출부에서 검출된 안구 영역에 대한 정보와 상기 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 판단부; 및
    상기 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 제어부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,
    상기 검출부는,
    상기 촬상된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 안구 영역을 검출하며, 검출된 안구 영역에서 홍채 영역을 검출하여, 검출된 홍채 영역의 중심 좌표를 검출하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,
    상기 판단부는,
    상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 동공 추측부; 및
    상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 시선 판단부;를 포함하는 것을 특징으로 하는 디스플레이 장치.
  4. 제3항에 있어서,
    상기 시선 판단부는,
    아래의 수식을 사용하여 상기 디스플레이 화면상의 사용자의 시선을 판단하는 것을 특징으로 하는 디스플레이 장치:
    Figure pat00035

    여기서,
    Figure pat00036
    및
    Figure pat00037
    는 디스플레이 화면상의 사용자 시선의 x축 및 y축 좌표이고,
    Figure pat00038
    및
    Figure pat00039
    는 상기 사용자의 동공 중심 좌표 중 x축 및 y축 좌표이다.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 디스플레이 화면상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  6. 제3항에 있어서,
    상기 저장부는,
    사용자의 안구 영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 더 저장하며,
    상기 시선 판단부는,
    상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 디스플레이 장치.
  7. 제6항에 있어서,
    상기 저장부는,
    복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 더 저장하며,
    상기 제어부는,
    상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고,
    상기 시선 판단부는,
    상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 디스플레이 장치.
  8. 시선 추적 장치에 있어서,
    촬상된 사용자 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부;
    적외선 카메라로 촬상된 적외선 안구 이미지 정보가 저장된 저장부; 및
    상기 검출부에서 검출된 안구 영역에 대한 정보와 상기 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 판단부;를 포함하는 시선 추적 장치.
  9. 제8항에 있어서,
    상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,
    상기 검출부는,
    상기 촬상된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 안구 영역을 검출하며, 검출된 안구 영역에서 홍채 영역을 검출하여, 검출된 홍채 영역의 중심 좌표를 검출하는 것을 특징으로 하는 시선 추적 장치.
  10. 제9항에 있어서,
    상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,
    상기 판단부는,
    상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 동공 추측부; 및
    상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 시선 판단부;를 포함하는 것을 특징으로 하는 시선 추적 장치.
  11. 제10항에 있어서,
    상기 저장부는,
    사용자의 안구 영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 더 저장하며,
    상기 시선 판단부는,
    상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면 상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 시선 추적 장치.
  12. 제11항에 있어서,
    상기 저장부는,
    복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 더 저장하며,
    상기 제어부는,
    상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고,
    상기 시선 판단부는,
    상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 시선 추적 장치.
  13. 디스플레이 방법에 있어서,
    디스플레이 화면을 제공하는 단계;
    상기 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 단계;
    상기 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 단계;
    상기 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 단계; 및
    상기 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 단계;를 포함하는 디스플레이 방법.
  14. 제13항에 있어서,
    상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,
    상기 검출하는 단계는,
    상기 촬상된 이미지에서 얼굴 영역을 검출하는 단계;
    검출된 얼굴 영역에서 안구 영역을 검출하는 단계;
    검출된 안구 영역에서 홍채 영역을 검출하는 단계; 및
    검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 방법.
  15. 제14항에 있어서,
    상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,
    상기 판단하는 단계는,
    상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 단계; 및
    상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 방법.
  16. 제15항에 있어서,
    상기 시선을 판단하는 단계는,
    아래의 수식을 사용하여 상기 디스플레이 화면상의 사용자의 시선을 판단하는 것을 특징으로 하는 디스플레이 방법:
    Figure pat00040

    여기서,
    Figure pat00041
    및
    Figure pat00042
    는 디스플레이 화면상의 사용자 시선의 x축 및 y축 좌표이고,
    Figure pat00043
    및
    Figure pat00044
    는 상기 사용자의 동공 중심 좌표 중 x축 및 y축 좌표이다.
  17. 제16항에 있어서,
    상기 제어하는 단계는,
    상기 디스플레이 화면 상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이하는 것을 특징으로 하는 디스플레이 방법.
  18. 제15항에 있어서,
    사용자의 안구영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 저장하는 단계를 더 포함하고,
    상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,
    상기 동공 중심 위치를 추측하는 단계에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 디스플레이 방법.
  19. 제18항에 있어서,
    복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 저장하는 단계를 더 포함하고,
    상기 제어하는 단계는,
    상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고,
    상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,
    상기 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 디스플레이 방법.
  20. 시선 추적 방법에 있어서,
    촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 단계; 및
    상기 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 단계;를 포함하는 시선 추적 방법.
  21. 제20항에 있어서,
    상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,
    상기 검출하는 단계는,
    상기 촬상된 이미지에서 얼굴 영역을 검출하는 단계;
    검출된 얼굴 영역에서 안구 영역을 검출하는 단계;
    검출된 안구 영역에서 홍채 영역을 검출하는 단계; 및
    검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계;를 포함하는 것을 특징으로 하는 시선 추적 방법.
  22. 제21항에 있어서,
    상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,
    상기 판단하는 단계는,
    상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 위치를 추측하는 단계; 및
    상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 단계;를 포함하는 것을 특징으로 하는 시선 추적 방법.
  23. 제22항에 있어서,
    사용자의 안구영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 저장하는 단계를 더 포함하고,
    상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,
    상기 동공 중심 위치를 추측하는 단계에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 시선 추적 방법.
  24. 제23항에 있어서,
    복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 저장하는 단계를 더 포함하고,
    상기 제어하는 단계는,
    상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고,
    상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,
    상기 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 시선 추적 방법.
KR1020110107423A 2011-10-20 2011-10-20 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법 KR101288447B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110107423A KR101288447B1 (ko) 2011-10-20 2011-10-20 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110107423A KR101288447B1 (ko) 2011-10-20 2011-10-20 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130043366A true KR20130043366A (ko) 2013-04-30
KR101288447B1 KR101288447B1 (ko) 2013-07-26

Family

ID=48441616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110107423A KR101288447B1 (ko) 2011-10-20 2011-10-20 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101288447B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016093419A1 (ko) * 2014-12-11 2016-06-16 삼성전자 주식회사 시선 캘리브레이션 방법 및 그 전자 장치
KR101638095B1 (ko) * 2015-01-16 2016-07-20 한국과학기술원 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
CN111824043A (zh) * 2019-04-16 2020-10-27 上汽通用汽车有限公司 汽车显示屏控制系统和方法以及包括该系统的车辆
KR102308190B1 (ko) * 2020-06-26 2021-10-01 이종우 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체
CN115565224A (zh) * 2022-09-29 2023-01-03 珠海视熙科技有限公司 一种实时连续定位瞳孔中心的方法、装置、介质及设备
WO2023128358A1 (ko) * 2021-12-29 2023-07-06 삼성전자 주식회사 안구 모델에 기초하여 센싱 범위를 결정하는 시선 추적 방법, 장치 및 시선 추적 센서

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117350A1 (ko) 2017-12-14 2019-06-20 삼성전자 주식회사 응시 거리를 결정하는 방법 및 디바이스
KR102094953B1 (ko) 2018-03-28 2020-03-30 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 단말
KR102262890B1 (ko) * 2019-11-29 2021-06-09 주식회사 비엔알아이 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4901229B2 (ja) 2005-03-11 2012-03-21 富士フイルム株式会社 赤目検出方法および装置並びにプログラム
JP4998364B2 (ja) 2008-04-28 2012-08-15 オムロン株式会社 視線検出装置および方法、並びに、プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016093419A1 (ko) * 2014-12-11 2016-06-16 삼성전자 주식회사 시선 캘리브레이션 방법 및 그 전자 장치
KR101638095B1 (ko) * 2015-01-16 2016-07-20 한국과학기술원 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
WO2016114496A1 (ko) * 2015-01-16 2016-07-21 한국과학기술원 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
CN111824043A (zh) * 2019-04-16 2020-10-27 上汽通用汽车有限公司 汽车显示屏控制系统和方法以及包括该系统的车辆
KR102308190B1 (ko) * 2020-06-26 2021-10-01 이종우 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체
WO2021261770A1 (ko) * 2020-06-26 2021-12-30 (주)매트리오즈 사용자의 동공 위치 산출 방법 및 사용자의 동공 위치 산출 방법을 실행시키는 프로그램이 기록된 기록 매체
WO2023128358A1 (ko) * 2021-12-29 2023-07-06 삼성전자 주식회사 안구 모델에 기초하여 센싱 범위를 결정하는 시선 추적 방법, 장치 및 시선 추적 센서
CN115565224A (zh) * 2022-09-29 2023-01-03 珠海视熙科技有限公司 一种实时连续定位瞳孔中心的方法、装置、介质及设备

Also Published As

Publication number Publication date
KR101288447B1 (ko) 2013-07-26

Similar Documents

Publication Publication Date Title
KR101288447B1 (ko) 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
US10616475B2 (en) Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium
US20180239955A1 (en) Liveness detection
US9733703B2 (en) System and method for on-axis eye gaze tracking
US10048749B2 (en) Gaze detection offset for gaze tracking models
US8942434B1 (en) Conflict resolution for pupil detection
US10318797B2 (en) Image processing apparatus and image processing method
US9750420B1 (en) Facial feature selection for heart rate detection
US9633044B2 (en) Apparatus and method for recognizing image, and method for generating morphable face images from original image
US9691007B2 (en) Identification apparatus and method for controlling identification apparatus
Barra et al. Web-shaped model for head pose estimation: An approach for best exemplar selection
CN109375765B (zh) 眼球追踪交互方法和装置
Chen et al. Efficient and robust pupil size and blink estimation from near-field video sequences for human–machine interaction
WO2016090376A1 (en) Eye tracking via patterned contact lenses
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
CN108369785A (zh) 活性检测
US20210319585A1 (en) Method and system for gaze estimation
US10254831B2 (en) System and method for detecting a gaze of a viewer
US9858501B2 (en) Reliability acquiring apparatus, reliability acquiring method, and reliability acquiring program
US9013591B2 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
Ferhat et al. A cheap portable eye-tracker solution for common setups
Ghani et al. GazePointer: A real time mouse pointer control implementation based on eye gaze tracking
Florea et al. Can Your Eyes Tell Me How You Think? A Gaze Directed Estimation of the Mental Activity.
WO2018078857A1 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN106471440A (zh) 基于高效森林感测的眼睛跟踪

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180626

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 7