KR100850357B1 - 시선 위치 추적 방법 및 그 장치 - Google Patents

시선 위치 추적 방법 및 그 장치 Download PDF

Info

Publication number
KR100850357B1
KR100850357B1 KR1020060123178A KR20060123178A KR100850357B1 KR 100850357 B1 KR100850357 B1 KR 100850357B1 KR 1020060123178 A KR1020060123178 A KR 1020060123178A KR 20060123178 A KR20060123178 A KR 20060123178A KR 100850357 B1 KR100850357 B1 KR 100850357B1
Authority
KR
South Korea
Prior art keywords
user
center point
image
eye
eye image
Prior art date
Application number
KR1020060123178A
Other languages
English (en)
Other versions
KR20080051664A (ko
Inventor
이재선
정영규
한문성
박준석
이의철
박강령
황민철
임좌상
조용주
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060123178A priority Critical patent/KR100850357B1/ko
Priority to US11/951,813 priority patent/US20080137909A1/en
Publication of KR20080051664A publication Critical patent/KR20080051664A/ko
Application granted granted Critical
Publication of KR100850357B1 publication Critical patent/KR100850357B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 시선 위치 추적 방법 및 그 장치에 관한 것으로, 상기 적외선으로 조명된 사용자 눈 영상을 45˚ 굴절시켜 획득하는 영상 획득 모듈; 기 설정된 알고리즘을 구동하여 상기 사용자 눈 영상의 동공 중심점을 획득하고, 상기 동공 중심점이 기 설정된 변환함수를 통해 상기 표시화면 평면에 매핑되도록 하는 영상 처리 모듈을 포함하여 구성하며, 이에 의하여 저사양의 시스템에서도 간편하게 시선 위치 추적을 수행하고, 사용자 동공 상하 움직임에 대한 해상도가 증가된 눈 영상을 획득하고, 다수 환경에서 호환성을 가질 수 있는 효과를 가진다.
시선 위치 추적, 응시 위치 추적, 동공 중심점, 동공 중심 좌표

Description

시선 위치 추적 방법 및 그 장치 {System and method for tracking gaze}
도 1은 본 발명의 바람직한 일 실시예에 따른 시선 위치 추적 장치를 나타낸 도면,
도 2a는 본 발명의 일 실시예에 따른 원형 검출 알고리즘 구동 방법을 나타낸 도면,
도 2b는 본 발명의 바람직한 일 실시예에 따른 동공 중심점 획득을 위한 지역적 이진화 방법을 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 사용자 캘리브레이션 수행을 위한 선형보간 방법을 나타낸 도면,
도 4는 본 발명의 일 실시예에 따른 사용자 캘리브레이션 수행을 위한 기하학적 변환 방법을 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 사용자 캘리브레이션 수행을 위한 복비 방법을 나타낸 도면, 그리고
도 6은 본 발명의 바람직한 일 실시예에 따른 시선 위치 추적 장치의 사용자 시선 위치 추적 방법을 나타낸 순서 흐름도이다.
*도면의 주요 부분에 대한 부호의 설명*
100 : 영상 획득 모듈 110 : 적외선 조명부
120 : 적외선 반사부 130 : 소형 카메라
131 : 적외선 투사필름 132 : 렌즈
133 : 이미지 센서 200 : 단말
210 : 영상 처리 모듈 300 : 모니터
본 발명은 시선 위치 추적 방법 및 그 장치에 관한 것으로, 특히 모니터를 구비한 시스템에서 사용자 시선 위치를 간편하게 모니터 평면으로 매핑시키기 위한 시선 위치 추적 방법 및 그 장치에 관한 것이다.
시선 위치 추적이란, 컴퓨터 모니터 등과 같은 스크린 장치에서 사용자가 어느 위치를 응시하고 있는지를 파악하는 방법이다.
즉, 시선 위치 추적은 기존 마우스 작동 프로토콜과 같이 사용자가 응시하는 곳을 포인팅하여, 손이 불편한 사용자에게 입력 장치 역할을 수행하며, 가상현실환경의 사용자에게 높은 몰입감을 제공하는 기능을 수행한다.
현재 시선 위치 추적 방법은 크게 스킨 전극(Skin Electrodes) 기반 방법, 콘텍트 렌즈(Contact Lens) 기반 방법, 두부 장착형 디스플레이(Head Mounted Display) 부착 기반 방법, 원격 팬&틸트(Remote Pan&Tilting) 장치 기반 방법으로 나누어져 있다.
이 중, 스킨 전극 기반 방법은 사용자 눈 주변에 전극(electrode)을 부착하여 망막(retina)과 각막(cornea) 사이의 전위차를 측정하고, 측정된 전위차를 통해 응시위치를 계산하는 방법으로, 양 눈의 응시위치를 모두 파악할 수 있는 점과, 저렴한 가격, 간편한 사용방법을 장점으로 가진다.
하지만, 스킨 전극 기반 방법은 가로세로 방향의 움직임이 제한적이어서 정확성이 떨어진다는 문제점을 가진다.
콘텍트 렌즈 기반 방법은 각막에 미끄러지지 않는 렌즈를 부착하고 이곳에 자기장 코일이나 거울을 부착하여 응시위치를 계산하는 방법으로, 정확성이 높은 장점을 가지나, 사용이 불편하고 눈의 깜박거림이 자유롭지 못하며, 계산이 가능한 범위가 제한되어 있다는 단점을 가진다.
한편, 두부 장착형 디스플레이는 안경이나 헬멧처럼 착용하는(Wearable) 모니터로 눈앞에 바로 있는 스크린을 보는 영상장치로, 양쪽 눈에 근접한 위치에 소형디스플레이가 설치되어 입체영상을 투영함으로써 사용자에게 3차원 공간 체험이 가능하도록 한다. 이와 같은 두부 장착형 디스플레이는 미국공군에서 군사용으로 처음 개발되어 현재는 3D, 게임, 의학 등 다양한 분야의 가상현실(Virtual Reality)에 응용하고 있으며, 의료분야의 진단, 치료, 수술 등에 사용하는 의료장비의 모니터나, 교육, 학습, 훈련 등 다양한 분야의 시물레이션 장비로 활용할 수 있다.
두부 장착형 디스플레이 부착 기반 방법은 이와 같은 두부 장착형 디스플레이에 부착되어 사용자 시선 위치를 파악하는 방법으로, 헤드밴드 또는 헬멧 밑에 작은 카메라를 장착하여 응시위치를 계산하고 있다. 따라서, 두부 장착형 디스플레이 부착 기반 방법은 사용자의 머리 움직임에 관계없이 응시위치를 계산할 수 있는 장점을 가지나, 카메라가 사용자 눈높이보다 아래에 기울어져 있어 눈의 상하 움직임에 민감하지 못하며, 두부 장착형 디스플레이에만 적용된다는 단점을 가진다.
원격 팬&틸트 장치 기반 방법은, 모니터 주변에 팬&틸트가 되는 카메라와 조명을 장치하여 응시위치를 계산하는 방법으로, 응시위치 계산이 정확하고 빠르며, 그 적용이 쉬운 장점을 가지나, 머리의 움직임을 추적하기 위해 2대 이상의 고가 스테레오 카메라 장치와 복잡한 알고리즘을 요구하며, 추가로 카메라와 모니터간의 복잡한 캘리브레이션을 요구하는 단점을 가진다.
이와 같이 현재 제시되고 있는 시선 위치 추적 방법들은, 저렴한 가격 및 간편한 사용방법을 제공하는 경우 그 정확성이 떨어지는 문제점을 가지며, 스테레오 카메라, 팬&필트 등과 같은 고가의 많은 하드웨어 장비들로 정확성을 높이는 경우 큰 부피와 무게, 높은 가격 및 많은 단계의 영상처리를 요구하여 저사양 시스템에서는 적용이 불가능하다는 문제점을 가진다.
또한, 현재 제시되고 있는 시선 위치 추적 방법들은, 사용자 시선을 가리지 않도록 하기 위해 대부분 사용자 눈높이 아래에 카메라를 위치시킴에 따라, 동공의 상하 움직임에 민감하게 반응하지 못하며, 시선 위치 추적 장치가 하나의 단말에 종속되도록 설계되고 있어 다른 환경과는 호환되지 못하는 문제점을 가진다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제 1 목적은 디스플레이 장치를 구비한 단말에 대한 사용자 시선 위치를 추적하는 시선 위치 추적 장치가, 작은 부피의 저가 장비들로 그 정확성을 증가시키도록 하기 위한 시선 위치 추적 방법 및 그 장치를 제공하는데 있다.
본 발명의 제 2 목적은 디스플레이 장치를 구비한 단말에 대한 사용자 시선 위치를 추적하는 시선 위치 추적 장치가, 사용자 동공의 상하 움직임에 대해 민감하게 반응하도록 하기 위한 시선 위치 추적 방법 및 그 장치를 제공하는데 있다.
본 발명의 제 3 목적은 디스플레이 장치를 구비한 단말에 대한 사용자 시선 위치를 추적하는 시선 위치 추적 장치가, 간단한 영상처리 알고리즘만을 구동하여 다수 환경에 대한 호환성을 가지도록 하기 위한 시선 위치 추적 방법 및 그 장치를 제공하는데 있다.
상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 모디스플레이 장치를 구비한 단말에 대한 사용자 시선 위치를 추적하는 시선 위치 추적 장치는, 사용자 눈으로 적외선을 조명하고, 상기 적외선으로 조명된 사용자 눈 영상을 45˚ 굴절시켜 상기 45˚ 굴절된 사용자 눈 영상을 획득하는 영상 획득 모듈; 기 설정된 알고리즘을 구동하여 상기 사용자 눈 영상의 동공 중심점을 획득하고, 상기 동공 중심점이 기 설정된 변환함수를 통해 상기 디스플레이 장치의 표시화면 평면에 매 핑되도록 하는 영상 처리 모듈을 포함한다.
상기 영상 획득 모듈은, 상기 디스플레이 장치의 표시화면을 응시하는 사용자 눈으로 적외선을 조명하는 적외선 조명부; 상기 적외선으로 조명된 사용자 눈 영상이 45˚ 굴절되도록 하는 적외선 반사부; 상기 45˚ 굴절된 사용자 눈 영상을 획득하는 소형 카메라를 포함하는 것을 특징으로 한다.
상기 적외선 조명부는, 적외선 LED(Light Emitteng Diode), 할로겐(Halogen), 크세논 램프(Xenon Lamp) 또는 백열등 중 적어도 하나로 구성되는 것을 특징으로 한다.
상기 소형 카메라는, 상기 적외선 반사부를 통해 45˚ 굴절된 사용자 눈 영상을 입력받는 렌즈; CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-oxide Semiconductor)로 구성되어 상기 렌즈로 입력되는 사용자 눈 영상을 획득하는 이미지 센서; 상기 렌즈 전면 또는 상기 이미지 센서 전면에 부착되어 적외선 파장만을 투과시키는 적외선 투과필터를 포함하는 것을 특징으로 한다.
상기 영상 획득 모듈은, 안경, 보안경, 헬멧형 기기 또는 고정할 수 있는 지지대 중 적어도 하나에 부착되는 것을 특징으로 한다.
삭제
상기 영상 획득 모듈은, PnP(Plug and Play)로 상기 단말에 연결되어, 상기 단말로부터 제공되는 전원을 상기 적외선 조명부 및 상기 소형 카메라에 공급하고, 상기 소형 카메라를 통해 획득되는 매 영상 프레임을 상기 단말로 제공하는 인터페 이스부를 더 포함하는 것을 특징으로 한다.
상기 인터페이스부는, USB(Universal Serial Bus) 타입, 아날로그 방식, SD(Secure Digital) 타입 또는 CD(Compact Disc) 타입 중 적어도 하나로 상기 단말에 연결되는 것을 특징으로 한다.
상기 영상 처리 모듈은, 영상 처리 알고리즘를 통해 상기 눈 영상에 포함된 동공 영역을 검출하고, 원형 플레닛을 상기 동공 영역으로 이동시켜 상기 동공의 중심점을 획득하는 원형 검출 알고리즘과 상기 동공 영역으로부터 기 설정된 범위에 대한 이진화를 수행한 후 어두운 영역의 무게중심을 동공 중심점으로 획득하는 지역적 이진화 기법 중 적어도 하나 이상을 통해 상기 동공 중심점을 획득하는 것을 특징으로 한다.
상기 변환함수는, 선형보간, 기하학적 또는 복비 변환함수 중 적어도 하나인 것을 특징으로 한다.
상기 영상 처리 모듈은, 시스템 초기에 사용자 캘리브레이션을 수행하여 사용자 동공 중심점에 대응되는 표시화면 평면 위치를 교정한 후, 상기 매 획득되는 사용자 눈 영상에 대한 표시화면 평면 매핑을 수행하는 것을 특징으로 한다.
상기 영상 처리 모듈은, 선형보간 기법을 이용하여 상기 표시화면의 우측상단과 좌측하단 또는 좌측상단과 우측하단을 응시한 사용자 눈 영상으로부터 상기 표시화면 평면 위치를 교정하거나, 기하학적 기법 또는 복비 기법을 이용하여 상기 표시화면 상하좌우 네 모서리를 응시한 사용자 눈 영상으로부터 상기 표시화면 평면 위치를 교정하는 상기 사용자 캘리브레이션을 수행하는 것을 특징으로 한다.
상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 디스플레이 장치를 구비한 단말에 대한 사용자 시선 위치를 추적하는 사용자 시선 위치 추적 방법은, 상기 디스플레이 장치의 표시화면을 응시하는 사용자 눈으로 적외선을 조명하는 단계; 상기 적외선으로 조명된 사용자 눈 영상을 45˚ 굴절시킨 후 소형 카메라를 통해 획득하는 단계; 기 설정된 알고리즘을 구동하여 상기 눈 영상의 동공 중심점을 획득하는 단계; 기 설정된 변환함수를 이용하여 상기 동공 중심점을 상기 표시화면 평면으로 매핑시키는 단계를 포함한다.
상기 적외선을 사용자 눈으로 조명하는 단계는, 적외선 LED, 할로겐, 크세논 램프 또는 백열등 중 적어도 하나를 통해 상기 적외선을 사용자 눈으로 조명하는 것을 특징으로 한다.
상기 사용자 눈 영상을 소형 카메라를 통해 획득하는 단계는, 상기 소형 카메라의 렌즈 전면 또는 이미지 센서 전면에 적외선 투과필터를 구비하여, 상기 45˚ 굴절된 적외선 파장의 사용자 눈 영상만을 획득하는 것을 특징으로 한다.
상기 사용자 눈 영상을 획득하는 단계는, 안경, 보안경, 헬멧형 기기 또는 고정할 수 있는 지지대 중 적어도 하나에 부착되는 소형 카메라, 적외선 조명기, 적외선 반사부 장비들을 통해 상기 사용자 눈 영상을 획득하는 것을 특징으로 한다.
상기 동공 중심점을 획득하는 단계는, 상기 소형 카메라로 획득된 눈 영상이 PnP로 상기 단말에 제공되도록 하여, 상기 단말에 구비된 상기 기 설정된 알고리즘을 통해 상기 동공 중심점을 획득하는 것을 특징으로 한다.
상기 PnP로 상기 눈 영상이 단말에 제공되도록 하는 단계는, USB 타입, 아날로그 방식, SD 타입 또는 CD 타입 중 적어도 하나로 상기 눈 영상이 상기 단말에 제공되도록 하는 것을 특징으로 한다.
상기 동공 중심점을 획득하는 단계는, 영상 처리 알고리즘를 통해 상기 눈 영상에 포함된 동공 영역을 검출하는 단계; 원형 플레닛을 상기 동공 영역으로 이동시켜 상기 동공의 중심점을 획득하는 원형 검출 알고리즘과 상기 동공 영역으로부터 기 설정된 범위에 대한 이진화를 수행한 후 어두운 영역의 무게중심을 동공 중심점으로 획득하는 지역적 이진화 기법 중 적어도 하나 이상을 통해 상기 동공 중심점을 획득하는 단계를 포함하는 것을 특징으로 한다.
상기 동공 중심점을 표시화면 평면으로 매핑시키는 단계는, 선형보간, 기하학적 또는 복비 변환함수 중 적어도 하나의 변환함수를 통해 상기 동공 중심점을 표시화면 평면으로 매핑시키는 것을 특징으로 한다.
바람직하게 상기 시선 위치 추적 방법은, 시스템 초기에 사용자 캘리브레이션을 수행하여 사용자 동공 중심점에 대응되는 표시화면 평면 위치를 교정하는 단계를 더 포함하는 것을 특징으로 한다.
상기 사용자 동공 중심점에 대응되는 표시화면 평면 위치를 교정하는 단계는, 선형보간 기법을 이용하여 상기 표시화면의 우측상단과 좌측하단 또는 좌측상단과 우측하단을 응시한 사용자 눈 영상으로부터 상기 표시화면 평면 위치를 교정하거나, 기하학적 기법 또는 복비 기법을 이용하여 상기 표시화면 상하좌우 네 모서리를 응시한 사용자 눈 영상으로부터 상기 표시화면 평면 위치를 교정하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 시선 위치 추적 장치를 나타낸 도면이다.
도 1에 도시된 바와 같이 시선 위치 추적 장치는, 안경, 보안경, 헬멧형 기기, 또는 기타 고정할 수 있는 지지대 등에 부착되어 사용자 눈 영상을 획득하는 영상 획득 모듈(100)과, 컴퓨터 본체 등과 같은 단말(200)에 구비되어 영상 획득 모듈(100)로부터 제공되는 사용자 눈 영상에 따른 디스플레이 장치(이하 일예로, 모니터로 지칭하도록 함)(300)의 표시화면 평면 위치를 검출하는 영상 처리 모듈(210)을 포함할 수 있다.
그리고, 시선 위치 추적 장치는 영상 획득 모듈(100)가 도 1과 같이 적외선 조명부(110), 적외선 반사부(120), 소형 카메라(130) 및 인터페이스부(140)를 포함 하여, 모니터(300) 응시에 따라 변화하는 매 사용자 눈 영상을 영상 처리 모듈(210)로 제공하도록 한다.
이와 같은 영상 획득 모듈(100)에서 적외선 조명부(110)는, 적외선 LED(Light Emitteng Diode), 할로겐(Halogen), 크세논 램프(Xenon Lamp), 백열등 등으로 구성되어 사용자 눈에 적외선을 조명하는 기능을 수행한다.
그리고, 적외선 반사부(120)는 핫 미러(hot mirror) 등으로 구성되어, 도 1에서와 같이 사용자 눈과 동일한 수평선상에서 45˚ 기울어져 적외선으로 조명된 사용자 눈 영상이 45˚ 굴절 반사되어 소형 카메라(130)에 입력되도록 한다. 여기서, 적외선 반사부(120)가 45˚ 기울어진 이유는, 소형 카메라(130)로 입력되는 사용자 눈 영상에서 사용자 눈동자의 상하 움직임 해상도가 높아지도록 하기 위함이다.
소형 카메라(130)는 적외선 투과필터(131), 렌즈(132) 및 이미지 센서(133)를 포함하되, 렌즈(132) 전면 또는 이미지 센서(133) 전면에 적외선 투과필터(131)가 부착되도록 하여, 적외선 파장의 사용자 눈 영상만이 이미지 센서(133)를 통해 획득되도록 한다. 도 1은 일예로, 렌즈(132) 전면에 적외선 투과필터(131)가 부착되도록 하였다.
한편, 이미지 센서(133)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-oxide Semiconductor)로 구성될 수 있다.
인터페이스부(140)는 소형 카메라(130)로부터 획득되는 영상의 매 프레임을 단말(200)로 전송하고, 단말(200)로부터 제공되는 전원을 소형 카메라(130) 및 적 외선 조명부(110)에 공급하는 기능을 수행한다. 여기서, 인터페이스부(140)는 USB(Universal Serial Bus) 타입, 아날로그 방식, SD(Secure Digital) 타입 또는 CD(Compact Disc) 타입으로 구성될 수 있다.
이와 같은 구성을 갖는 영상 획득 모듈(100)은, 인터페이스부(140)로부터 공급되는 전원을 통해 적외선 영상부가 구동되도록 하여 일정한 밝기의 적외선이 사용자 눈으로 조명되도록 하고, 적외선만을 반사하는 적외선 반사부(120)와 적외선만을 투시하는 적외선 투시필터를 통해 가시광선으로 구성되는 주변 외부광의 영향을 받지 않아 동공과 홍채의 경계가 뚜렷한 적외선 파장의 사용자 눈 영상이 소형 카메라(130)에 제공되도록 할 수 있다.
한편, 단말(200)에 구비되는 영상 처리 모듈(210)은 소프트웨어로 구성되어, 영상 획득 모듈(100)로부터 제공되는 매 영상 프레임에 대해 영상처리 알고리즘 및 원형검출 알고리즘을 구동하여 사용자 동공 중심점을 획득하고, 획득된 동공 중심점이 사용자 시선 위치로 모니터(300)상으로 포인팅되도록 한다.
즉, 영상 처리 모듈(210)은 영상 획득 모듈(100)로부터 사용자 눈 영상이 제공되면 먼저 영상처리 알고리즘을 구동하여 해당 눈 영상에 포함된 사용자 동공 영역을 검출한 후, 원형검출 알고리즘을 구동하여 검출된 동공 영역으로부터 동공의 중심점을 획득한다. 그리고, 영상 처리 모듈(210)은 상기 획득된 동공의 중심점이 기 설정된 변환함수를 통해 모니터(300) 평면에 매핑되도록 함으로, 사용자 시선 위치가 모니터(300) 상에 포인팅되도록 한다.
이와 같은 영상 처리 모듈(210)은, 영상처리 알고리즘을 통해 검출된 동공 영역으로부터 동공 중심점을 획득함에 있어서, 도 2a에 도시된 바와 같은 원형 검출 알고리즘을 구동할 수 있다.
도 2a는 본 발명의 일 실시예에 따른 원형 검출 알고리즘 구동 방법을 나타낸 도면이다.
도 2a를 참조하면, 원형 검출 알고리즘은 내부원과 외부원으로 구성되는 원형 검출 템플릿을 동공 영역으로 이동시켜, 템플릿의 내부원과 외부원의 그레이 레벨합 차가 가장 큰 부분을 검출하고, 검출된 영역의 중심점을 동공 중심점으로 획득할 수 있다.
한편, 영상 처리 모듈(210)은 사용자가 모니터(300) 구석을 응시하는 경우 영상 획득 모듈(100)로부터 제공되는 동공의 모양이 타원형임을 고려하여, 원형 검출 알고리즘과 더불어 도 2b에 도시된 바와 같은 지역적 이진화 기법을 더 수행하여 동공 중심점을 획득할 수 있다.
도 2b는 본 발명의 바람직한 일 실시예에 따른 동공 중심점 획득을 위한 지역적 이진화 방법을 나타낸 도면이다.
도 2b를 참조하면, 영상 처리 모듈(210)은 원형검출 알고리즘을 통해 획득된 동공 중심점으로부터 기 설정된 범위에 대한 이진화 기법을 수행하고, 이진화된 영역 중 어두운 영역의 무게중심을 구하여, 해당 무게 중심을 실질적인 사용자 동공 중심점으로 획득할 수 있다.
이와 같이 영상 처리 모듈(210)은, 동공의 중심점을 정확하게 획득하기 위하 여 원형검출 알고리즘과 더불어 지역적 이진화를 수행하고, 이진화된 영역 중 어두운 부분을 동공 영역으로 판단하여 어두운 영역에 대한 무게중심을 사용자 동공의 실질적인 중심점으로 판단할 수 있다.
한편, 영상 처리 모듈(210)은 동공의 중심점을 획득함에 있어서, 전술된 원형검출 알고리즘만을 구동하거나, 원형검출 알고리즘 구동과 지역적 이진화 기법을 순차적으로 실시할 수 있으나, 지역적 이진화만을 수행하여 동공 중심점을 획득할 수도 있다.
이와 같이 동공 중심점을 획득하는 영상 처리 모듈(210)은, 상기 획득된 동공의 중심점이 기 설정된 변환함수를 통해 모니터(300) 평면에 매핑되도록 함으로, 사용자 시선 위치가 모니터(300) 상에 포인팅되도록 할 수 있다.
여기서, 기 설정된 변환함수는 시스템 초기에 수행되는 사용자 캘리브레이션에 사용된 선형보간, 기하학적 또는 복기 변환함수 중 적어도 하나가 될 수 있다.
다음으로, 시스템 초기에 수행되는 사용자 캘리브레이션에 대해 자세히 살펴보도록 한다.
시선 위치 추적 장치는 시스템 초기에 사용자 캘리브레이션을 먼저 수행하여 사용자 동공 중심점에 대응되는 모니터(300) 평면 위치를 교정한 후, 매 영상 프레임에 대한 모니터(300) 평면 매핑을 수행한다.
본 발명은 일 실시예로 사용자 캘리브레이션이 선형보간(Linear Interpolation), 기하학적 변환(Geometric Transform) 또는 복비(Cross Ratio)와 같은 변환함수를 이용하여 수행되도록 할 수 있다.
즉, 본 발명의 시선 위치 추적 장치는 영상 처리 모듈(210)이 선형보간 변환 방법을 통해 사용자가 모니터(300) 우측상단과 좌측하단 또는 좌측상단과 우측하단의 구석을 보는 두 단계 캘리브레이션을 수행하거나, 기하학적 변환 또는 복비 변환을 통해 사용자가 모니터(300)의 상하좌우 네 모서리 모두를 바라보는 네 단계 캘리브레이션을 수행하도록 할 수 있다.
도 3은 본 발명의 일 실시예에 따른 사용자 캘리브레이션 수행을 위한 선형보간 방법을 나타낸 도면이다.
도 3을 참조하면, 영상 처리 모듈(210)은 시스템 초기에 우측상단을 응시한 사용자 눈 영상, 좌측하단을 응시한 사용자 눈 영상 및 모니터(300) 임의의 위치를 응시한 사용자 눈 영상을 순차적으로 제공받는 경우, 영상처리 알고리즘과 원형검출 알고리즘을 통해 각각의 눈 영상에 대응되는 동공 중심점 즉, 동공 중심 좌표(A, B)를 획득한 후, 하기 수학식 1의 선형보간 변환함수를 이용하여 모니터(300) 임의의 위치를 응시한 사용자 동공 중심점에 대응되는 모니터(300) 평면 위치(P)를 산출할 수 있다.
Figure 112006090510678-pat00001
(xgaze, ygaze) : 모니터 평면 위치,
(Resolx, Resoly) : 모니터의 가로세로 공간 해상도,
(xrec, yrec) : 모니터 임의의 위치를 응시한 사용자 동공 중심 좌표,
(xru, yru) : 우측상단을 응시한 사용자 동공 중심 좌표,
(xld, yld) : 좌측하단을 응시한 사용자 동공 중심 좌표
도 4는 본 발명의 일 실시예에 따른 사용자 캘리브레이션 수행을 위한 기하학적 변환 방법을 나타낸 도면이다.
도 4를 참조하면, 영상 처리 모듈(210)은 시스템 초기에 좌측상단, 우측상단, 우측하단 및 좌측하단 각각을 응시한 사용자 눈 영상을 순차적으로 제공받는 경우, 영상처리 알고리즘과 원형검출 알고리즘을 통해 각각의 눈 영상에 대응되는 동공 중심 좌표들을 획득하고, 하기 수학식 2의 기하학적 변환함수를 이용하여 각 동공 중심 좌표에 대응되는 모니터(300) 평면 위치를 산출할 수 있다.
Figure 112006090510678-pat00002
(Cx1, Cy1) ~ (Cx4, Cy4) : 모니터 4 모서리를 응시한 사용자 동공 중심 좌표,
(mx1, my1) ~ (mx4, my4) : 모니터 평면 위치
도 5는 본 발명의 일 실시예에 따른 사용자 캘리브레이션 수행을 위한 복비 방법을 나타낸 도면이다.
도 5를 참조하면, 영상 처리 모듈(210)은 시스템 초기에 우측상단, 좌측상단, 좌측하단 및 우측하단 각각을 응시한 사용자 눈 영상, 모니터(300) 임의의 위치(P)를 응시한 사용자 눈 영상을 순차적으로 제공받는 경우, 영상처리 알고리즘과 원형검출 알고리즘을 통해 각각의 눈 영상에 대응되는 동공 중심 좌표(a, b, c, d), 소실점, 소실점과 마주치는 점들(M1~M4)을 획득한 후, 하기 수학식 3의 복비 변환함수를 이용하여 모니터(300) 임의의 위치를 응시한 사용자 동공 중심점에 대응 되는 모니터(300) 평면 위치를 산출할 수 있다.
Figure 112006090510678-pat00003
a, b, c, d : 모니터 4 모서리를 응시한 사용자 동공 중심 좌표,
P : 모니터 임의의 위치를 응시한 사용자 동공 중심 좌표,
(xgaze, ygaze) : P에 대응되는 모니터 평면 위치,
(w, h) : 모니터의 가로, 세로 공간 해상도, (CRx, CRy) : Cross Ration
이와 같이 선형보간, 기하학적 또는 복비 변환 방법을 통해 사용자 캘리브레 이션을 수행한 영상 처리 모듈(210)은, 사용자 동공 중심점에 대응되어 산출된 모니터(300) 평면 위치를 교정하여, 영상 획득 모듈(100)로부터 제공되는 매 영상 프레임에 대한 모니터(300) 평면 매핑을 수행할 수 있다.
이상에서 살펴본 바와 같은 시선 위치 추적 장치는, 저가의 소형 카메라(130) 및 소형 장치들로 구성되어 사용자 눈 영상을 획득하는 영상 획득 모듈(100)가 USB 타입, SD 타입, CD 타입 등으로 단말(200)에 PnP(Plug and Play)되도록 하고, 영상 획득 모듈(100)로부터 제공되는 매 영상 프레임의 동공 중심점을 검출하여 모니터(300) 평면으로 매핑하는 영상 처리 모듈(210)이 소프트웨어로 구성되도록 함에 따라, 하나의 환경에 국한되어 사용자 시선 위치 추적 동작을 수행하는 것이 아니라 영상 처리 모듈(210)을 인식할 수 있는 모든 단말(200) 환경에 적용되어 동작할 수 있게 된다.
즉, 시선 위치 추적 장치는 PnP 기능을 수행하고, 영상 처리 모듈(210)을 인식할 수 있는 모든 환경에 대한 호환성을 가지는 것이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 시선 위치 추적 장치의 사용자 시선 위치 추적 방법을 나타낸 순서 흐름도이다.
후술하는 도 6은 사용자 캘리브레이션이 수행되었음을 전제로 하여, 사용자 캘리브레이션 동작을 생략하도록 한다.
도 6을 참조하면, 시선 위치 추적 장치는 단말(200)로부터 제공되는 전원을 통해 적외선이 사용자 눈으로 조명되도록 한다(S101).
그리고, 시선 위치 추적 장치는 적외선으로 조명된 사용자 눈 영상이 45˚ 굴절되어(S102), 구비하는 소형 카메라(130)로 입력되도록 함으로 해당 사용자 눈 영상을 획득한다(S103).
이와 같은 시선 위치 추적 장치는 영상 처리 알고리즘을 구동하여(S104), 사용자 눈 영상에 포함된 동공 영역을 검출하고(S105), 원형 검출 알고리즘을 구동하여(S106) 동공 중심점을 획득한다(S107).
이에 시선 위치 추적 장치는 획득된 사용자 동공 중심점이 기 설정된 변환함수 즉, 선형보간, 기하학적 또는 복비 변환함수를 통해 모니터(300) 평면에 매핑되도록 함으로, 사용자 시선 위치가 모니터(300) 상에 포인팅되도록 한다(S108).
이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명에 따른 시선 위치 추적 방법 및 그 장치는, 디스플레이 장치를 구비한 단말에 대한 사용자 시선 위치를 추적하는 시선 위치 추적 장치가 저가의 장비 및 간단한 알고리즘으로 정확성이 증가된 시선 위치 추적을 수행하도록 함으로써, 저사양의 시스템에서도 간편하게 시선 위치 추적을 수행하도록 하는 효과를 가진다.
또한, 본 발명에 따른 시선 위치 추적 방법 및 그 장치는, 시선 위치 추적 장치가 적외선으로 조명된 사용자 눈 영상을 45˚ 굴절시켜 획득하도록 함으로써, 사용자 동공 상하 움직임에 대한 해상도가 증가된 눈 영상을 획득하는 효과를 가진다.
그리고, 본 발명에 따른 시선 위치 추적 방법 및 그 장치는, 시선 위치 추적 장치가 단말에 PnP되는 영상 획득 모듈과 소프트웨어인 영상 처리 모듈로 구성되도록 함으로써, PnP 기능을 수행하고 영상 처리 모듈을 인식할 수 있는 모든 환경 대해 호환성을 가질 수 있는 효과를 가진다.

Claims (22)

  1. 디스플레이 장치를 구비한 단말에 대한 사용자 시선 위치를 추적하는 시선 위치 추적 장치에 있어서,
    사용자 눈으로 적외선을 조명하고, 상기 적외선으로 조명된 사용자 눈 영상을 45˚ 굴절시켜 상기 45˚ 굴절된 사용자 눈 영상을 획득하는 영상 획득 모듈; 및
    기 설정된 알고리즘을 구동하여 상기 사용자 눈 영상의 동공 중심점을 획득하고, 상기 동공 중심점이 기 설정된 변환함수를 통해 상기 디스플레이 장치의 표시화면 평면에 매핑되도록 하는 영상 처리 모듈을 포함하는 시선 위치 추적 장치.
  2. 제1항에 있어서,
    상기 영상 획득 모듈은,
    상기 사용자 눈으로 적외선을 조명하는 적외선 조명부;
    상기 적외선으로 조명된 사용자 눈 영상이 45˚ 굴절되도록 하는 적외선 반사부; 및
    상기 45˚ 굴절된 사용자 눈 영상을 획득하는 소형 카메라를 포함하는 것을 특징으로 하는 시선 위치 추적 장치.
  3. 제2항에 있어서,
    상기 적외선 조명부는,
    적외선 LED(Light Emitteng Diode), 할로겐(Halogen), 크세논 램프(Xenon Lamp) 또는 백열등 중 적어도 하나로 구성되는 것을 특징으로 하는 시선 위치 추적 장치.
  4. 제2항에 있어서,
    상기 소형 카메라는,
    상기 적외선 반사부를 통해 45˚ 굴절된 사용자 눈 영상을 입력받는 렌즈;
    CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-oxide Semiconductor)로 구성되어 상기 렌즈로 입력되는 사용자 눈 영상을 획득하는 이미지 센서; 및
    상기 렌즈 전면 또는 상기 이미지 센서 전면에 부착되어 적외선 파장만을 투과시키는 적외선 투과필터를 포함하는 것을 특징으로 하는 시선 위치 추적 장치.
  5. 제1항에 있어서,
    상기 영상 획득 모듈은,
    안경, 보안경, 헬멧형 기기 또는 고정할 수 있는 지지대 중 적어도 하나에 부착되는 것을 특징으로 하는 시선 위치 추적 장치.
  6. 삭제
  7. 제2항에 있어서,
    상기 영상 획득 모듈은,
    PnP(Plug and Play)로 상기 단말에 연결되어, 상기 단말로부터 제공되는 전원을 상기 적외선 조명부 및 상기 소형 카메라에 공급하고, 상기 소형 카메라를 통해 획득되는 매 영상 프레임을 상기 단말로 제공하는 인터페이스부를 더 포함하는 것을 특징으로 하는 시선 위치 추적 장치.
  8. 제7항에 있어서,
    상기 인터페이스부는,
    USB(Universal Serial Bus) 타입, 아날로그 방식, SD(Secure Digital) 타입 또는 CD(Compact Disc) 타입 중 적어도 하나로 상기 단말에 연결되는 것을 특징으로 하는 시선 위치 추적 장치.
  9. 제1항에 있어서,
    상기 영상 처리 모듈은,
    영상 처리 알고리즘를 통해 상기 눈 영상에 포함된 동공 영역을 검출하고,
    원형 플레닛을 상기 동공 영역으로 이동시켜 상기 동공의 중심점을 획득하는 원형 검출 알고리즘과 상기 동공 영역으로부터 기 설정된 범위에 대한 이진화를 수행한 후 어두운 영역의 무게중심을 동공 중심점으로 획득하는 지역적 이진화 기법 중 적어도 하나 이상을 통해 상기 동공 중심점을 획득하는 것을 특징으로 하는 시선 위치 추적 장치.
  10. 제1항에 있어서,
    상기 변환함수는,
    선형보간, 기하학적 또는 복비 변환함수 중 적어도 하나인 것을 특징으로 하는 시선 위치 추적 장치.
  11. 제1항에 있어서,
    상기 영상 처리 모듈은,
    시스템 초기에 사용자 캘리브레이션을 수행하여 사용자 동공 중심점에 대응되는 표시화면 평면 위치를 교정한 후, 상기 매 획득되는 사용자 눈 영상에 대한 표시화면 평면 매핑을 수행하는 것을 특징으로 하는 시선 위치 추적 장치.
  12. 제11항에 있어서,
    상기 영상 처리 모듈은,
    선형보간 기법을 이용하여 상기 표시화면의 우측상단과 좌측하단 또는 좌측상단과 우측하단을 응시한 사용자 눈 영상으로부터 상기 표시화면 평면 위치를 교정하거나, 기하학적 기법 또는 복비 기법을 이용하여 상기 표시화면 상하좌우 네 모서리를 응시한 사용자 눈 영상으로부터 상기 표시화면 평면 위치를 교정하는 상기 사용자 캘리브레이션을 수행하는 것을 특징으로 하는 시선 위치 추적 장치.
  13. 디스플레이 장치를 구비한 단말에 대한 사용자 시선 위치를 추적하는 사용자 시선 위치 추적 방법에 있어서,
    상기 디스플레이 장치의 표시화면을 응시하는 사용자 눈으로 적외선을 조명 하는 단계;
    상기 적외선으로 조명된 사용자 눈 영상을 45˚ 굴절시킨 후 소형 카메라를 통해 획득하는 단계;
    기 설정된 알고리즘을 구동하여 상기 눈 영상의 동공 중심점을 획득하는 단계; 및
    기 설정된 변환함수를 이용하여 상기 동공 중심점을 상기 표시화면 평면으로 매핑시키는 단계를 포함하는 시선 위치 추적 방법.
  14. 제13항에 있어서,
    상기 적외선을 사용자 눈으로 조명하는 단계는,
    적외선 LED, 할로겐, 크세논 램프 또는 백열등 중 적어도 하나를 통해 상기 적외선을 사용자 눈으로 조명하는 것을 특징으로 하는 시선 위치 추적 방법.
  15. 제13항에 있어서,
    상기 사용자 눈 영상을 소형 카메라를 통해 획득하는 단계는,
    상기 소형 카메라의 렌즈 전면 또는 이미지 센서 전면에 적외선 투과필터를 구비하여, 상기 45˚ 굴절된 적외선 파장의 사용자 눈 영상만을 획득하는 것을 특징으로 하는 시선 위치 추적 방법.
  16. 제13항에 있어서,
    상기 사용자 눈 영상을 획득하는 단계는,
    안경, 보안경, 헬멧형 기기 또는 고정할 수 있는 지지대 중 적어도 하나에 부착되는 소형 카메라, 적외선 조명기, 적외선 반사부 장비들을 통해 상기 사용자 눈 영상을 획득하는 것을 특징으로 하는 시선 위치 추적 방법.
  17. 제13항에 있어서,
    상기 동공 중심점을 획득하는 단계는,
    상기 소형 카메라로 획득된 눈 영상이 PnP로 상기 단말에 제공되도록 하여, 상기 단말에 구비된 상기 기 설정된 알고리즘을 통해 상기 동공 중심점을 획득하는 것을 특징으로 하는 시선 위치 추적 방법.
  18. 제17항에 있어서,
    상기 PnP로 상기 눈 영상이 단말에 제공되도록 하는 단계는,
    USB 타입, 아날로그 방식, SD 타입 또는 CD 타입 중 적어도 하나로 상기 눈 영상이 상기 단말에 제공되도록 하는 것을 특징으로 하는 시선 위치 추적 방법.
  19. 제13항에 있어서,
    상기 동공 중심점을 획득하는 단계는,
    영상 처리 알고리즘를 통해 상기 눈 영상에 포함된 동공 영역을 검출하는 단계; 및
    원형 플레닛을 상기 동공 영역으로 이동시켜 상기 동공의 중심점을 획득하는 원형 검출 알고리즘과 상기 동공 영역으로부터 기 설정된 범위에 대한 이진화를 수행한 후 어두운 영역의 무게중심을 동공 중심점으로 획득하는 지역적 이진화 기법 중 적어도 하나 이상을 통해 상기 동공 중심점을 획득하는 단계를 포함하는 것을 특징으로 하는 시선 위치 추적 방법.
  20. 제13항에 있어서,
    상기 동공 중심점을 표시화면 평면으로 매핑시키는 단계는,
    선형보간, 기하학적 또는 복비 변환함수 중 적어도 하나의 변환함수를 통해 상기 동공 중심점을 표시화면 평면으로 매핑시키는 것을 특징으로 하는 시선 위치 추적 방법.
  21. 제13항에 있어서,
    시스템 초기에 사용자 캘리브레이션을 수행하여 사용자 동공 중심점에 대응되는 표시화면 평면 위치를 교정하는 단계를 더 포함하는 것을 특징으로 하는 시선 위치 추적 방법.
  22. 제21항에 있어서,
    상기 사용자 동공 중심점에 대응되는 표시화면 평면 위치를 교정하는 단계는,
    선형보간 기법을 이용하여 상기 표시화면의 우측상단과 좌측하단 또는 좌측상단과 우측하단을 응시한 사용자 눈 영상으로부터 상기 표시화면 평면 위치를 교정하거나, 기하학적 기법 또는 복비 기법을 이용하여 상기 표시화면 상하좌우 네 모서리를 응시한 사용자 눈 영상으로부터 상기 표시화면 평면 위치를 교정하는 것을 특징으로 하는 시선 위치 추적 방법.
KR1020060123178A 2006-12-06 2006-12-06 시선 위치 추적 방법 및 그 장치 KR100850357B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060123178A KR100850357B1 (ko) 2006-12-06 2006-12-06 시선 위치 추적 방법 및 그 장치
US11/951,813 US20080137909A1 (en) 2006-12-06 2007-12-06 Method and apparatus for tracking gaze position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060123178A KR100850357B1 (ko) 2006-12-06 2006-12-06 시선 위치 추적 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20080051664A KR20080051664A (ko) 2008-06-11
KR100850357B1 true KR100850357B1 (ko) 2008-08-04

Family

ID=39498081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060123178A KR100850357B1 (ko) 2006-12-06 2006-12-06 시선 위치 추적 방법 및 그 장치

Country Status (2)

Country Link
US (1) US20080137909A1 (ko)
KR (1) KR100850357B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962772B2 (en) 2017-10-27 2021-03-30 Samsung Electronics Co., Ltd. Method of removing reflection area, and eye tracking method and apparatus

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20090196460A1 (en) * 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
KR20110062824A (ko) * 2009-12-04 2011-06-10 삼성전기주식회사 관심 영역 내 이벤트의 좌표 인식 장치 및 이를 포함하는 디스플레이 장치, 시큐리티 장치 및 전자 칠판
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
KR101027054B1 (ko) * 2010-10-06 2011-04-11 주식회사 엠이티엔지니어링 시선 인식 기능을 구비한 유아용 모빌
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
KR101249263B1 (ko) * 2010-12-14 2013-04-09 한국기초과학지원연구원 시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US20130022947A1 (en) * 2011-07-22 2013-01-24 Muniz Simas Fernando Moreira Method and system for generating behavioral studies of an individual
EP2587342A1 (en) * 2011-10-28 2013-05-01 Tobii Technology AB Method and system for user initiated query searches based on gaze data
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9024844B2 (en) 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
KR20130121303A (ko) * 2012-04-27 2013-11-06 한국전자통신연구원 원거리 시선 추적 시스템 및 방법
US9081195B2 (en) * 2012-08-13 2015-07-14 Innolux Corporation Three-dimensional image display apparatus and three-dimensional image processing method
KR101479471B1 (ko) 2012-09-24 2015-01-13 네이버 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템
KR101470243B1 (ko) 2013-11-15 2014-12-05 현대자동차주식회사 시선 검출 장치 및 그 시선 검출 방법
US9430040B2 (en) * 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
US20150228226A1 (en) * 2014-02-13 2015-08-13 Nvidia Corporation Power-efficient steerable displays
WO2016017945A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
KR102325684B1 (ko) 2014-09-23 2021-11-12 주식회사 비주얼캠프 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법
KR20160109443A (ko) 2015-03-11 2016-09-21 주식회사 비주얼캠프 시선 추적을 이용한 디스플레이 장치 및 방법
US20160282934A1 (en) * 2015-03-25 2016-09-29 Motorola Mobility Llc Presence detection for gesture recognition and iris authentication
US10016130B2 (en) 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
US10303246B2 (en) * 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
KR101904889B1 (ko) 2016-04-21 2018-10-05 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
US10579141B2 (en) * 2017-07-17 2020-03-03 North Inc. Dynamic calibration methods for eye tracking systems of wearable heads-up displays
US10755676B2 (en) * 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US10564717B1 (en) * 2018-07-16 2020-02-18 Facebook Technologies, Llc Apparatus, systems, and methods for sensing biopotential signals
US10656710B1 (en) * 2018-07-16 2020-05-19 Facebook Technologies, Llc Apparatus, systems, and methods for sensing biopotential signals via compliant electrodes
SE542887C2 (en) * 2018-10-31 2020-08-11 Tobii Ab Gaze tracking using mapping of pupil center position

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0792375A (ja) * 1993-09-27 1995-04-07 Canon Inc 視線検出装置
JPH11206713A (ja) 1998-01-26 1999-08-03 Canon Inc 視線検出用機器およびこれを用いた視線検出装置
JP2002101322A (ja) 2000-07-10 2002-04-05 Matsushita Electric Ind Co Ltd 虹彩カメラモジュール
JP2002153445A (ja) 2000-11-21 2002-05-28 Oki Electric Ind Co Ltd アイリス認識装置
KR20040095322A (ko) * 2002-03-29 2004-11-12 마쯔시다덴기산교 가부시키가이샤 눈 화상 촬상 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3289953B2 (ja) * 1991-05-31 2002-06-10 キヤノン株式会社 視線方向検出装置
JPH05199518A (ja) * 1992-01-21 1993-08-06 Sony Corp テレビ電話装置
JPH0830380A (ja) * 1994-05-10 1996-02-02 Minolta Co Ltd 表示装置
US7262919B1 (en) * 1994-06-13 2007-08-28 Canon Kabushiki Kaisha Head-up display device with curved optical surface having total reflection
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6091378A (en) * 1998-06-17 2000-07-18 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
JP4172930B2 (ja) * 2001-10-31 2008-10-29 松下電器産業株式会社 目画像撮像装置及び入退室管理システム
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7362885B2 (en) * 2004-04-20 2008-04-22 Delphi Technologies, Inc. Object tracking and eye state identification method
WO2006030658A1 (ja) * 2004-09-15 2006-03-23 Matsushita Electric Works, Ltd. 視野計
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7522344B1 (en) * 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
US7783077B2 (en) * 2006-12-01 2010-08-24 The Boeing Company Eye gaze tracker system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0792375A (ja) * 1993-09-27 1995-04-07 Canon Inc 視線検出装置
JPH11206713A (ja) 1998-01-26 1999-08-03 Canon Inc 視線検出用機器およびこれを用いた視線検出装置
JP2002101322A (ja) 2000-07-10 2002-04-05 Matsushita Electric Ind Co Ltd 虹彩カメラモジュール
JP2002153445A (ja) 2000-11-21 2002-05-28 Oki Electric Ind Co Ltd アイリス認識装置
KR20040095322A (ko) * 2002-03-29 2004-11-12 마쯔시다덴기산교 가부시키가이샤 눈 화상 촬상 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962772B2 (en) 2017-10-27 2021-03-30 Samsung Electronics Co., Ltd. Method of removing reflection area, and eye tracking method and apparatus

Also Published As

Publication number Publication date
KR20080051664A (ko) 2008-06-11
US20080137909A1 (en) 2008-06-12

Similar Documents

Publication Publication Date Title
KR100850357B1 (ko) 시선 위치 추적 방법 및 그 장치
JP5467303B1 (ja) 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
US10032074B2 (en) Systems and methods for high-resolution gaze tracking
CN113729611B (zh) 使用眼球中心位置的眼睛追踪
KR100949743B1 (ko) 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
EP3076892B1 (en) A medical optical tracking system
EP2710516B1 (en) Systems and methods for identifying gaze tracking scene reference locations
KR101094766B1 (ko) 시선 위치 추적 장치 및 방법
US8885177B2 (en) Medical wide field of view optical tracking system
JP5915981B2 (ja) 注視点検出方法及び注視点検出装置
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
JP6631951B2 (ja) 視線検出装置及び視線検出方法
KR20130107981A (ko) 시선 추적 장치 및 방법
US20210373660A1 (en) Calibration, customization, and improved user experience for bionic lenses
JP6948688B2 (ja) 視線計測装置、視線計測方法および視線計測プログラム
US20210096368A1 (en) Head-mounted display apparatus and method employing dynamic eye calibration
WO2019228634A1 (en) Method and system for glint/reflection identification
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
JP2002017677A (ja) 輻輳角測定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee