KR20150067608A - 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법 - Google Patents

시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법 Download PDF

Info

Publication number
KR20150067608A
KR20150067608A KR1020130153262A KR20130153262A KR20150067608A KR 20150067608 A KR20150067608 A KR 20150067608A KR 1020130153262 A KR1020130153262 A KR 1020130153262A KR 20130153262 A KR20130153262 A KR 20130153262A KR 20150067608 A KR20150067608 A KR 20150067608A
Authority
KR
South Korea
Prior art keywords
user
calibration
light
cornea
infrared
Prior art date
Application number
KR1020130153262A
Other languages
English (en)
Inventor
이희경
김회율
조훈
Original Assignee
한국전자통신연구원
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한양대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020130153262A priority Critical patent/KR20150067608A/ko
Priority to US14/564,550 priority patent/US9857870B2/en
Publication of KR20150067608A publication Critical patent/KR20150067608A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

시력 보조 기구를 착용한 사용자를 위한 시선 추적 장치가 제공된다. 보다 구체적으로, 시선 추적 장치는 제1 적외선 조명 및 제2 적외선 조명으로부터 적외선을 사용자에 대하여 각각 조사하는 조명부, 제1 각막 반사광, 제2 각막 반사광, 제1 렌즈 반사광, 및 제2 렌즈 반사광을 포함하는 사용자의 눈 영상을 획득하는 영상 획득부 및 획득된 눈 영상 내에서, 상기 제1 각막 반사광 및 상기 제2 렌즈 반사광 사이에 간섭이 발생하는 경우, 상기 제2 렌즈 반사광을 제거하고, 상기 제1 각막 반사광의 좌표 및 사용자 캘리브레이션 정보를 이용하여 상기 사용자의 시선 위치를 계산하는 프로세서를 포함할 수 있다.

Description

시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법 {GAZE TRACKING METHOD REGARDLESS OF WHETHER WEARING VIEWING AIDS AND MOVING}
본 발명은 적외선 조명을 이용하여 사용자의 시선을 추적하는 시선 추적 장치에서, 사용자가 시력 보조 기구 착용시, 시력 보조 기구의 렌즈에 생기는 적외선 조명의 반사광에 의해 생기는 시선 추적 오차를 제거하기 위한 기술적 사상에 관한 것이다.
시선 위치 추적이란 사용자가 어느 위치를 응시하고 있는지를 파악하는 방법이다.
시선 위치 추적의 장점으로는 기존 마우스 작동 방법 프로토콜과의 유사성, 바라보는 곳을 바로 포인팅할 수 있다는 신속성, 손이 불편한 사용자에게 입력 장치 역할을 제공할 수 있다는 편의성, 가상현실환경에서 사용자의 시선 방향에 따라 뷰 화면을 조정함으로써 제공하는 몰입감 들이 있을 수 있다.
이와 같은 시선 추적 방법 중 사용자의 머리에 착용하는 방법과는 달리 외부에 카메라와 조명을 장치하여 비착용식으로 응시위치를 계산하는 방법이 있다.
이때, 적외선 조명을 사용하게 되면 카메라로부터 영상 잡음이 적은 눈 영역의 영상을 획득할 수 있고, 적외선 조명이 각막의 표면에서 반사될 때 발생하는 반사광(Glint)을 시선 정보를 계산할 때 이용할 수 있게 된다. 이 반사광은 입력 영상 내에서 영상 처리 기술을 통해 간단하면서 안정적으로 검출할 수 있기 때문에, 많은 시선 추적 기술에서 성능의 정확성과 안정성을 위하여 시선 정보 계산 시 기준점으로 사용한다.
조명을 사용하여 시선을 추적하는 방법은, 사용자가 안경 및 콘택트 렌즈 등의 시력 보조 기구를 착용하고 있으면, 시력 보조 기구의 렌즈에 생긴 조명에 의한 렌즈 반사광이 사용자의 동공을 가리거나 동공에 생긴 반사광을 가리는 현상이 발생한다.
따라서, 시력 보조 기구 착용 여부에 상관 없이 사용자의 눈 영상에서 동공 중심과 각막 반사광의 위치를 검출할 수 있는 장치가 필요하다.
또한, 시력 보조 기구 착용 여부에 상관 없이 검출된 동공 중심과 각막 반사광의 위치에 기반해 정확한 시선 위치를 추적 할 수 있는 장치가 필요하다.
일실시예에 따르면, 시력 보조 기구를 착용한 사용자를 위한 시선 추적 장치가 제공될 수 있다. 상기 시선 추적 장치는 제1 적외선 조명 및 제2 적외선 조명으로부터 적외선을 사용자에 대하여 각각 조사하는 조명부, 제1 각막 반사광, 제2 각막 반사광, 제1 렌즈 반사광, 및 제2 렌즈 반사광을 포함하는 사용자의 눈 영상을 획득하는 영상 획득부 및 획득된 눈 영상 내에서, 상기 제1 각막 반사광 및 상기 제2 렌즈 반사광 사이에 간섭이 발생하는 경우, 상기 제2 렌즈 반사광을 제거하고, 상기 제1 각막 반사광의 좌표 및 사용자 캘리브레이션 정보를 이용하여 상기 사용자의 시선 위치를 계산하는 프로세서를 포함할 수 있다.
일실시예에 따르면, 상기 사용자 캘리브레이션 정보는, 사용자 캘리브레이션을 수행한 위치인, 사용자 캘리브레이션 위치에서 측정된 제1 캘리브레이션 각막 반사광의 좌표로부터, 상기 제1 캘리브레이션 각막 반사광과 제2 캘리브레이션 각막 반사광 사이의 캘리브레이션 중심 좌표로의 벡터 관계를 포함할 수 있다.
일실시예에 따르면, 상기 시선 추적 장치는, 사용자가 사용자 캘리브레이션 위치에 있을 때, 상기 제1 캘리브레이션 각막 반사광의 좌표, 제2 캘리브레이션 각막 반사광의 좌표 및 상기 제1 캘리브레이션 각막 반사광과 상기 제2 캘리브레이션 각막 반사광의 캘리브레이션 중심 좌표를 미리 측정하여 저장하는 저장부를 더 포함할 수 있다.
일실시예에 따르면, 상기 사용자 캘리브레이션 정보에 상기 사용자의 상기 사용자 캘리브레이션 위치에서 현재 위치로의 움직임 정보를 반영하여 시선을 추적할 수 있다.
다른 일실시예에 따르면, 시력 보조 기구를 착용한 사용자의 시선 추적 방법이 제공될 수 있다. 상기 시선 추적 방법은 제1 적외선 조명 및 제2 적외선 조명으로부터 사용자에 대하여 적외선을 각각 조사하는 단계, 상기 조사된 적외선으로부터 제1 각막 반사광, 제2 각막 반사광, 제1 렌즈 반사광, 및 제2 렌즈 반사광을 포함하는, 사용자의 눈 영상을 획득하는 단계, 상기 획득된 눈 영상 내에서, 상기 제1 각막 반사광 및 상기 제2 렌즈 반사광 사이에 간섭이 발생하는 경우, 상기 제2 렌즈 반사광을 제거하는 단계 및 상기 제1 각막 반사광의 좌표 및 사용자 캘리브레이션 정보를 이용해 상기 사용자의 시선 위치를 계산하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 캘리브레이션 정보는 상기 사용자가 사용자 캘리브레이션을 수행한 위치인, 사용자 캘리브레이션 위치에서 측정된 제1 캘리브레이션 각막 반사광의 좌표로부터, 상기 제1 캘리브레이션 각막 반사광과 제2 캘리브레이션 각막 반사광 사이의 캘리브레이션 중심 좌표로의 벡터 관계를 포함할 수 있다.
일실시예에 따르면, 상기 시선 추적 방법은, 복수 개의 광각 카메라 간의 스테레오 켈리브레이션을 수행하여 상기 복수 개의 광각 카메라를 통해 획득한 영상에서 눈 영상의 위치 좌표를 획득하는 단계, PTZ(Pan-Tilt-Zoom) 캘리브레이션을 수행하여 협각 카메라의 패닝(Panning), 틸팅(Tilting) 및 포커싱(Focusing) 정도를 제어하기 위해 필요한 정보를 추출하는 단계 및 상기 복수 개의 광각 카메라, 상기 협각 카메라, 영상 재생 장치 및 사용자 간의 사용자 캘리브레이션을 수행하여 상기 사용자의 위치 정보를 계산하는 단계를 더 포함할 수 있다.
도 1은 종래의 시선 추적 방법에 있어서, 시력 보조 기구를 착용하는 사용자로부터 발생할 수 있는 렌즈 반사광의 문제를 설명하는 도면이다.
도 2는 일실시예에 따른 시력 보조 기구를 착용한 사람의 시선을 추적하는 시선 추적 장치를 설명하는 블록도이다.
도 3은 일실시예에 따른 시선 추적 장치의 상세 구성을 도시한 도면이다.
도 4은 제2 적외선 조명을 제거한 효과를 설명하는 실시예이다.
도 5는 일실시예에 따라 하나의 각막 반사광을 통해 시선을 추적하는 시선 추적 장치를 설명하기 위해 도시한 도면이다.
도 6는 일실시예에 따른 시력 보조 기구를 착용한 사람의 시선을 추적하는 시선 추적 방법을 설명하는 흐름도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시 된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 종래의 시선 추적 방법에 있어서, 시력 보조 기구를 착용하는 사용자로부터 발생할 수 있는 렌즈 반사광의 문제를 설명하는 도면이다.
도 1을 참조하면, 시력 보조 기구의 사용 유무에 따른 렌즈 반사광의 영향을 도시한 것이다. 이때, 시력 보조 기구의 일례로서, 안경이나 콘택트 렌즈를 포함할 수 있다.
도 1을 참조하면, 시력 보조 기구를 착용하지 않은 경우(110)와 착용한 경우(120)의 차이를 확인할 수 있다. 먼저, 시력 보조 기구를 착용하지 않은 경우(110) 사용자의 동공 면에 각막 반사광들(111, 112)이 발생할 수 있다. 이 경우에는 시선 추적 장치가 상기 각막 반사광들의 중심 위치를 측정하여 사용자의 시선을 추적할 수 있다. 반면, 사용자가 시력 보조 기구를 착용할 경우에는 이들의 표면에서도 적외선 조명의 렌즈에 대한 반사광이 나타나게 되는 문제가 발생한다. 즉, 시력 보조 기구를 착용한 경우(120)에는 동공에 생기는 각막 반사광(111, 112) 이외에도, 렌즈 표면에 렌즈 반사광(121, 122)이 발생할 수 있다. 시력 보조 기구의 표면에서 나타나는 반사광은 각막 반사광의 크기보다 크게 나타나게 되고, 때때로 이 반사광이 시선 정보 계산에 있어 필수 요소인 동공 영역을 가리게 된다. 이러한 경우에 동공 중심과 각막 반사광을 검출하지 못하게 되기 때문에 최종적으로 시선 정보를 계산할 수 없게 된다. 이처럼 시력 보조 기구 렌즈에 생긴 렌즈 반사광이 동공 중심 혹은 각막 반사광을 가릴 경우에, 사용자의 시선 위치를 계산하는데 많은 오차가 발생하게 되거나 검출이 불가능한 경우가 발생한다.
도 2는 일실시예에 따른 시력 보조 기구를 착용한 사람의 시선을 추적하는 시선 추적 장치의 내부 구성을 설명하는 블록도이다.
일실시예에 따르면, 시력 보조 기구 착용여부에 무관하게 원거리에서 자유롭게 움직이는 사용자의 시선 정보를 획득할 수 있는 시선 추적 장치가 제공될 수 있다. 보다 구체적으로, 시선 추적 장치의 동작 범위 내에서 시력 보조 기구 착용 여부에 상관 없이 사용자의 눈 영상에서 동공 중심과 각막 반사광의 위치를 검출할 수 있는 시선 추적 장치가 제공될 수 있다.
일실시예에 따른 시선 추적 장치(200)는 조명부(210), 영상 획득부(220), 프로세서(230) 및 저장부(240)를 포함할 수 있다.
일실시예에 따르면, 조명부(210)는 사용자의 방향으로 적외선을 조사하는 복수의 적외선 조명을 포함할 수 있다. 일실시예에 따르면, 조명부(210)는 복수의 적외선 조명으로서 제1 적외선 조명 및 제2 적외선 조명을 포함할 수 있다.
일실시예에 따르면, 영상 획득부(220)는 상기 사용자의 얼굴 영상을 획득하여 상기 사용자의 얼굴 및 눈 위치를 추적하고, 상기 추적된 눈 위치에서 확대된 사용자 눈 영상을 획득할 수 있다. 일실시예에 따른 시선 추적 장치는 상기 사용자의 얼굴 영상을 획득하기 위해서 둘 이상의 광각 카메라를 이용할 수 있고, 상기 획득한 얼굴 영상을 이용하여 얼굴 폭, 눈간 거리, 및 눈과 화면 간 거리를 획득할 수 있다. 일례로, 시선 추적 장치는 상기 획득한 얼굴에서 아다부스트(Adaboost) 알고리즘을 적용하여, 얼굴 및 눈 위치를 검출할 수 있다. 일실시예에 따른 시선 추적 장치는 상기 획득한 눈 위치에 기초하여 확대된 눈의 영상을 획득할 수 있다.
일실시예에 따른 영상 획득부(220)는 확대된 눈 영상을 획득하기 위해서, 협각 카메라를 포함할 수 있다. 이때, 상기 눈 영상은 제1 각막 반사광, 제2 각막 반사광, 제1 렌즈 반사광, 및 제2 렌즈 반사광을 포함할 수 있다. 여기서, 제1 각막 반사광은 제1 적외선 조명으로부터 조사된 적외선이 상기 사용자의 동공에 반사되어 생성된 반사광이다. 제2 각막 반사광은 상기 제2 적외선 조명으로부터 조사된 적외선이 상기 사용자의 동공에 반사되어 생성된 반사광이다. 제1 렌즈 반사광은 상기 제1 적외선 조명으로부터 조사된 적외선이 상기 사용자의 시력 보조 기구에 반사되어 생성된 반사광이다. 제2 렌즈 반사광은 상기 제2 적외선 조명으로부터 조사된 적외선이 상기 사용자의 시력 보조 기구에 반사되어 생성된 반사광이다.
일실시예에 따른 영상 획득부(220)는 협각 카메라가 사용자의 눈 위치를 향하게 하도록 상기 협각 카메라 위치를 회전시킬 수 있는 패닝(Panning), 틸팅(Tilting) 및 포커싱(Focusing) 모터를 포함할 수 있다. 패닝 모터는 협각 카메라를 좌측 또는 우측으로 제어할 수 있다. 틸팅 모터는 협각 카메라를 상향 또는 하향으로 제어할 수 있다. 포커싱 모터는 협각 카메라가 동공의 초점을 맞추도록 제어할 수 있다.
일실시예에 따르면, 프로세서(230)는 획득된 눈 영상 내에서, 제2 렌즈 반사광이 두 각막 반사광의 촬영을 방해하는 경우, 상기 제2 렌즈 반사광을 제거하고, 상기 제1 각막 반사광의 좌표 및 사용자 캘리브레이션 정보를 이용해 상기 사용자의 시선 위치를 계산할 수 있다. 여기서 사용자 캘리브레이션 정보는, 상기 사용자가 사용자 캘리브레이션을 수행한 위치인, 사용자 캘리브레이션 위치에서 측정된 제1 캘리브레이션 각막 반사광의 좌표로부터, 상기 제1 캘리브레이션 각막 반사광과 제2 캘리브레이션 각막 반사광 사이의 중심 좌표로의 벡터 관계를 포함할 수 있다. 이때, 적외선 조명에 의한 복수의 렌즈 반사광 중에서 사용자의 동공을 가리거나, 각막 반사광을 가리는 렌즈 반사광을 제2 렌즈 반사광으로 할 수 있다. 따라서 제2 렌즈 반사광을 유발하는 조명이 제2 적외선 조명이 될 수 있다.
일례로, 본 발명의 일실시예에 따른 프로세서(230)는 측정 위치에서 획득된 눈 영상 내에서, 제1 각막 반사광 또는 제2 각막 반사광과 제2 렌즈 반사광 사이에 간섭이 발생하는 경우, 상기 제2 렌즈 반사광을 제거할 수 있다. 여기서 제2 렌즈 반사광을 제거하는 것은 상기 제2 렌즈 반사광을 유발하는 제2 적외선 조명을 턴 오프(turn off)하거나 제2 적외선 조명의 빛을 막는 것을 의미할 수 있다. 그리고, 사용자가 사용자 캘리브레이션 위치에 있을 때 측정된, 상기 제1 캘리브레이션 각막 반사광의 좌표로부터 상기 제1 캘리브레이션 각막 반사광 및 제2 캘리브레이션 각막 반사광의 중심 좌표로의 벡터 관계를 이용해 상기 사용자의 시선 위치를 계산할 수 있다. 이때, 사용자 캘리브레이션 위치는 미리 사용자가 사용자 캘리브레이션을 수행한 위치가 될 수 있다. 여기서 사용자 캘리브레이션 위치는 미리 사용자가 복수 개의 광각 카메라, 협각 카메라, 영상 재생 장치 및 사용자 간의 사용자 캘리브레이션을 수행한 위치일 수 있다.
일실시예에 따르면, 저장부(240)는 상기 사용자가 사용자 캘리브레이션 위치에 있을 때의 각막 반사광인 제1 캘리브레이션 각막 반사광의 좌표 및 제2 캘리브레이션 각막 반사광의 좌표를 미리 측정하여 저장할 수 있다. 여기서 저장부는, 상기 제1 캘리브레이션 각막 반사광과 상기 제2 캘리브레이션 각막 반사광의 중심 좌표를 더 저장할 수 있다. 일실시예에 따른 제1 캘리브레이션 각막 반사광의 좌표 및 제2 캘리브레이션 각막 반사광의 좌표는 시선을 추적하기 전에 미리 측정 되어 저장부에 저장될 수 있다.
사용자의 현재 위치로의 움직임 정보는 두 개의 광각 카메라, 협각 카메라, 영상 재생 장치 및 사용자 간의 캘리브레이션를 통해 사용자의 위치 정보를 획득하여 계산할 수 있다. 일실시예에 따른 프로세서(230)는 영상 획득부(220)를 통해 획득한 영상을 이용하여 캘리브레이션(calibration)을 수행할 수 있다. 먼저, 일실시예에 따르면, 광각 카메라 영상 내 객체의 3차원 위치 좌표 획득을 위한 2대의 광각 카메라간의 스테레오 켈리브레이션을 수행할 수 있다. 이때, 스테레오 캘리브레이션을 이용하여 하나의 광각 카메라를 기준으로 다른 카메라의 위치 및 회전 정도를 추정할 수 있다. 다른 일실시예에 따르면, 3차원 위치 좌표로부터 협각 카메라를 패닝(panning), 틸팅(tilting), 포커싱(focusing) 시키기 위해 필요한 정보를 추출하기 위한 PTZ(Pan-Tilt-Zoom) 캘리브레이션을 수행할 수 있다. 이때, PTZ 캘리브레이션을 통해 협각 카메라의 회전 정도 및 포커싱 정도를 결정할 수 있다. 또 다른 일실시예에 따르면, 사용자 별 특성 파악을 위해서, 복수 개의 광각 카메라, 협각 카메라 및 영상 처리 장치 간의 사용자 캘리브레이션을 수행할 수 있다.
일실시예에 따르면, 사용자 캘리브레이션 위치에서 두 개의 광각 카메라, 협각 카메라, 영상 재생 장치 및 사용자 간의 캘리브레이션를 통해 사용자의 사용자 캘리브레이션 위치 정보를 계산할 수 있다. 또한, 시선을 추적하려는 현재 위치에서 두 개의 광각 카메라, 협각 카메라, 영상 재생 장치 및 사용자 간의 캘리브레이션를 통해 사용자의 현재 위치 정보를 계산할 수 있다. 상기 획득한 사용자 캘리브레이션 위치 정보와 현재 위치 정보를 통해 사용자의 움직임 정보를 획득할 수 있다.
일실시예에 따르면, 렌즈 반사광에 의해 각막 반사광이 가려지는 경우에 프로세서가 각막 반사광을 가리는 렌즈 반사광을 유발하는 제2 적외선 조명을 제거할 수 있다. 이때, 제1 적외선 조명에 의해 발생한 제1 각막 반사광의 좌표와 상기 저장된 사용자 캘리브레이션 위치에서 측정된, 제1 캘리브레이션 각막 반사광 및 제2 캘리브레이션 각막 반사광의 중심 좌표를 이용하여 사용자의 시선 위치를 계산할 수 있다.
보다 구체적으로, 일실시예에 따른 프로세서(230)는 상기 복수의 적외선 조명의 on/off 상태를 제어하여 각막 반사광을 가리는 렌즈 반사광을 유발하는 제2 적외선 조명을 찾아낼 수 있다. 이때, 각막 반사광을 가리는 렌즈 반사광을 유발하는 제2 적외선 조명을 제거함으로써 제1 적외선 조명에 의해서 반사되는 하나의 각막 반사광을 이용하여 상기 시선 위치를 계산할 수 있다.
도 3은 일실시예에 따른 시선 추적 장치의 실시예를 도시한 것이다.
일실시예에 따른 시선 추적 장치(300)는, 복수 개의 광각 카메라(301), 복수 개의 적외선 조명(302), 협각 카메라(303), 프로세서(304), 및 영상 재생 장치(305)를 포함할 수 있다.
일실시예에 따르면, 시력 보조 기구의 렌즈에 생긴 렌즈 반사광을 제거하는 알고리즘을 적용하기 위한 시선 추적 장치로 구성될 수 있다.
본 발명의 일실시예에 따른 협각 카메라(303)는 카메라 렌즈를 제어하는 패닝/틸팅/포커싱 모터를 포함할 수 있다.
먼저, 복수 개의 광각 카메라(301)는 사용자의 얼굴 영상을 촬영할 수 있다. 상기 광각 카메라를 통해 눈 위치를 파악하고, 파악된 눈 위치에 따라 협각 카메라(303)를 제어하는 패닝(Panning)/틸팅(Tilting)/포커싱(Focusing) 모터를 제어 할 수 있다. 또한, 상기 협각 카메라에서는 사용자의 확대된 눈 영상을 취득할 수 있다.
일실시예에 따른 프로세서(304)는 상기 협각 카메라(303)에서 취득한 사용자의 확대된 눈 영상에서 2개의 적외선 조명(302)에 의해 생긴 2개의 각막 반사광의 중심 좌표를 검출 한 후, 기하 변환(Geometric transform)을 이용하여 시선 위치를 계산할 수 있다.
그러나, 앞에서 설명한 바와 같이 사용자가 시력 보조 기구를 착용시 시력 보조 기구의 렌즈에 적외선 조명(302)에 의한 반사광이 발생하여 협각 카메라가 사용자의 동공을 촬영하는 것을 가리거나, 협각 카메라가 동공에 생긴 각막 반사광을 획득하는 것을 가리는 현상이 발생할 수 있다.
일실시예에 따른 프로세서(304)는 각 적외선 조명(302)의 on/off를 제어하여 어느 적외선 조명에 의해 반사된 렌즈 반사광이, 협각 카메라(303)가 사용자의 동공을 촬영하는 것을 가리거나 협각 카메라가 동공에 생긴 각막 반사광을 획득하는 것을 방해하는 것인지 찾을 수 있다. 이때, 프로세서(304)는 협각 카메라(303)가 사용자의 동공을 촬영하는 것을 가리거나 협각 카메라(303)가 각막 반사광을 획득하는 것을 방해하는 렌즈 반사광인 제2 렌즈 반사광을 제거할 수 있다. 여기서 제2 렌즈 반사광을 제거하는 방법으로는 제2 렌즈 반사광을 유발하는 적외선 조명을 off 시키거나, 차단막을 통해 제2 렌즈 반사광을 유발하는 적외선 조명이 사용자를 향해 비춰지는 것을 막는 방법이 있을 수 있다.
사용자의 현재 위치로의 움직임 정보는 두 개의 광각 카메라(301), 협각 카메라(303), 영상 재생 장치(305) 및 사용자 간의 사용자 캘리브레이션를 통해 획득할 수 있다. 일실시예에 따르면, 광각 카메라 영상 내 객체의 3차원 위치 좌표 획득을 위한 2대의 광각 카메라(301)간의 스테레오 켈리브레이션을 수행할 수 있다. 이때, 스테레오 캘리브레이션을 이용하여 하나의 광각 카메라를 기준으로 다른 카메라의 위치 및 회전 정도를 추정할 수 있다. 다른 일실시예에 따르면, 3차원 위치 좌표로부터 협각 카메라(303)를 패닝(panning), 틸팅(tilting) 및 포커싱(focusing) 시키기 위해 필요한 정보를 추출하기 위하여 PTZ(Pan-Tilt-Zoom) 캘리브레이션을 수행할 수 있다. 또 다른 일실시예에 따르면, 사용자 별 특성 파악을 위해서, 상기 사용자와 복수 개의 광각 카메라, 협각 카메라 및 영상 처리 장치 간의 사용자 캘리브레이션을 수행할 수 있다.
일실시예에 따르면, 시선 추적 장치(300)는 상기 사용자가 사용자 캘리브레이션 위치에 있을 때, 제1 캘리브레이션 각막 반사광 및 제2 캘리브레이션 각막 반사광의 좌표 및 상기 제1 캘리브레이션 각막 반사광과 상기 제2 캘리브레이션 각막 반사광의 중심 좌표를 미리 측정하여 저장하는 저장부를 더 포함할 수 있다.
일실시예에 따르면, 사용자 캘리브레이션 위치는 협각 카메라를 제어하는 패닝(Panning)/틸팅(Tilting) 모터의 회전 각도가 0도인 기준 위치가 될 수 있다. 다른 일실시예에 따르면, 사용자 캘리브레이션 위치는 미리 사용자가 사용자 캘리브레이션을 수행한 위치가 될 수 있다. 즉, 여기서 사용자 캘리브레이션 위치는 미리 사용자가 복수 개의 광각 카메라, 협각 카메라, 영상 재생 장치 및 사용자 간의 캘리브레이션을 수행한 위치일 수 있다.
일실시예에 따른 프로세서(304)는 사용자가 시선을 추적하려는 현재 위치에 있을 때 측정된 제1 각막 반사광의 좌표, 사용자의 사용자 캘리브레이션 위치로부터 현재 위치로의 움직임 정보 및 사용자 캘리브레이션 정보를 이용하여 사용자의 시선 위치를 계산할 수 있다. 여기서 사용자 캘리브레이션 정보는 사용자가 사용자 캘리브레이션 위치에 있을 때 측정된, 제1 캘리브레이션 각막 반사광의 좌표 및 상기 제1 캘리브레이션 각막 반사광과 제2 각막 캘리브레이션 반사광의 중심 좌표를 이용해 상기 사용자의 시선 위치를 계산할 수 있다.
도 4는 협각 카메라가 동공에 생긴 각막 반사광을 획득하는 것을 방해하는 적외선 조명을 제거한 효과를 설명하는 실시예이다.
도 4를 참고하면, 시력 보조 기구의 표면에서 발생한 렌즈 반사광(411, 412)은 일반적으로 각막에서 발생한 반사광(413)보다 크기가 클 수 있다. 두 개의 적외선 조명이 사용자의 눈을 향해 조사되는 경우, 시력 보조 기구를 착용한 사용자로부터 총 4개의 반사광이 발생될 수 있다. 여기서 상기 4개의 반사광은 제1 각막 반사광, 제2 각막 반사광, 제1 렌즈 반사광, 및 제2 렌즈 반사광이다. 제1 각막 반사광은 제1 적외선 조명으로부터 조사된 적외선이 상기 사용자의 동공에 반사되어 생성된 반사광이다. 제2 각막 반사광은 상기 제2 적외선 조명으로부터 조사된 적외선이 상기 사용자의 동공에 반사되어 생성된 반사광이다. 제1 렌즈 반사광은 상기 제1 적외선 조명으로부터 조사된 적외선이 상기 사용자의 시력 보조 기구에 반사되어 생성된 반사광이다. 제2 렌즈 반사광은 상기 제2 적외선 조명으로부터 조사된 적외선이 상기 사용자의 시력 보조 기구에 반사되어 생성된 반사광이다.
사용자가 특정 위치에 있는 경우, 렌즈 반사광(411, 412) 중 어느 하나가 동공을 가리게 되어, 동공 중심 또는 각막 반사광 위치를 검출할 수 없어, 사용자의 시선 위치를 계산하는데 많은 오차가 발생하게 되거나 검출이 불가능한 경우가 발생할 수 있다. 위쪽 그림은 렌즈 반사광(411)에 의해 각막 반사광(413)들이 추출되기 어려운 상태(410)를 표현한 예시이다. 여기서, 동공을 가리는 렌즈 반사광을 제2 렌즈 반사광(411)으로 할 수 있다. 이런 경우 동공을 가리는 렌즈 반사광을 유발하는 적외선 조명을 제거함으로써 동공 중심 또는 각막 반사광(423)의 위치를 검출할 수 있게 할 수 있다. 아래 그림은 동공을 가리는 렌즈 반사광을 제거한 상태(420)의 예시이다. 이때, 나머지 적외선 조명에 의해 유발된 렌즈 반사광(422)은 동공을 촬영하는 것을 방해하지 않는다. 일실시예에 따르면, 시선 위치를 계산할 때 두 개의 조명으로부터 동공을 통해 반사된 두 개의 각막 반사광의 중심 위치를 사용해야 하는데, 하나의 적외선 조명을 끄면 하나의 렌즈 반사광 위치밖에 사용할 수 없다. 이러한 경우, 하나의 렌즈 반사광 위치와 사용자가 사용자 캘리브레이션 위치에 있을 때 측정된 각막 반사광의 캘리브레이션 좌표를 이용해 상기 사용자의 시선 위치를 계산할 수 있다.
도 5는 일실시예에 따라 하나의 각막 반사광을 통해 시선을 추적하는 시선 추적 장치를 설명하기 위해 도시한 도면이다.
도 5a를 참고하면, 두 개의 적외선 조명을 사용하는 장치의 구성과 눈의 관계를 확인할 수 있다. 렌즈 반사광이 동공을 가리지 않는 경우에, 시선 추적 장치의 프로세서는 협각 카메라에서 취득한 사용자의 눈 영상에서 동공 중심 좌표와 2개의 적외선 조명(511, 512)에 의해 생긴 2개의 각막 반사광(516)의 중심 좌표(518)를 검출 한 후, 기하 변환(Geometric transform)을 이용하여 시선 위치를 계산할 수 있다.
도 5b를 참고하면, 사용자가 기준 위치에 있을 때 시선 추적 장치와 눈과의 관계를 볼 수 있다. 사용자가 기준 위치(Pan/Tilt의 회전된 각도가 0)에 있을 때, 하나의 적외선 조명(521)에 의해 각막 상에 각막 반사광이 발생하는 지점(525)과 두 개 각막 반사광의 중심 위치라고 가정하는 지점(527), 그리고 이 두 지점이 각각 협각 카메라의 이미지 평면(Image plane)상에 맺히는 지점(526, 528)을 알 수 있다. 여기서, 이미지 평면 상에 맺히는 지점이 저장부에 저장되는 각막 반사광의 기준 좌표가 될 수 있다.
도 5c를 참고하면, 한 개의 적외선 조명이 유효하고, 사용자가 위치를 옮긴 경우에 시선 추적 장치와 눈과의 관계를 볼 수 있다. 사용자가 시선이 추적될 현재 위치(Pan/Tilt의 회전된 각도(532)가 θ)에 있을 때, 하나의 적외선 조명(531)에 의해 현재 위치에 있는 사용자의 각막(530) 상에 각막 반사광이 발생하는 지점(535)과 두 개 적외선 조명에 의한 각막 반사광의 중심 위치라고 추정되는 지점(537), 그리고 이 두 지점이 각각 협각 카메라의 이미지 평면(Image plane)상에 맺히는 지점(536, 538)을 알 수 있다.
일실시예에 따르면, 사용자가 현재 위치에 있을 때 측정된 제1 각막 반사광의 좌표, 사용자의 움직임 정보 및 사용자가 기준 위치에 있을 때 측정된 기준 벡터 관계를 이용해 사용자의 시선 위치를 계산할 수 있다. 이때, 기준 벡터 관계는 제1 기준 각막 반사광의 좌표로부터 제1 기준 각막 반사광과 제2 기준 각막 반사광 사이의 기준 중심 좌표로의 벡터일 수 있다. 일실시예에 따른 시선 추적 장치의 프로세서는, 하기 수학식 1에 의해 상기 사용자의 시선 위치를 계산할 수 있다.
Figure pat00001
여기서
Figure pat00002
은 현재 위치에서 카메라의 이미지 평면 상에 맺히는 상기 제1 각막 반사광의 좌표와 예측되는 중심 좌표 사이의 거리이고,
Figure pat00003
은 상기 협각 카메라의 광학 중심으로부터 기준 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이고,
Figure pat00004
은 적외선 조명으로부터 현재 위치에 있는 사용자의 눈을 향한 협각 카메라의 광축까지의 거리이고,
Figure pat00005
은 적외선 조명으로부터 기준 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이다.
Figure pat00006
은 상기 협각 카메라의 광학 중심으로부터 현재 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이고,
Figure pat00007
은 적외선 조명으로부터 기준 위치에 있는 사용자의 눈을 향한 협각 카메라의 광축까지의 거리이고,
Figure pat00008
은 적외선 조명으로부터 현재 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이고,
Figure pat00009
은 카메라의 이미지 평면 상에 맺히는, 기준 위치에 있는 사용자의 제1 기준 각막 반사광의 좌표로부터 제1 기준 각막 반사광 및 제2 기준 각막 반사광의 중심 좌표까지의 거리를 의미한다.
일실시예에 따른 수학식 1은 다음과 같이 수학식 2 및 수학식 3에 의해 얻을 수 있다.
Figure pat00010
Figure pat00011
위 수식에서 첨자 r과 n은 각각 기준 위치와 현재 위치를 뜻한다. 적외선 조명(521)으로부터 협각 카메라의 광축(529)까지의 거리,
Figure pat00012
Figure pat00013
은 장치 구성 시 실측이 가능하며, 협각 카메라의 광학 중심(524)으로부터 사용자 눈의 중심 위치(523, 533)까지의 거리,
Figure pat00014
Figure pat00015
,
Figure pat00016
Figure pat00017
은 하기 수학식 4와 같이 Pan/Tilt 캘리브레이션에서 얻어진 결과인 프로젝션 행렬이
Figure pat00018
일때, Projection Matrix P를, Intrinsic Matrix K, Rotation Matrix R, Translation matrix t로 분해하고, 사용자 눈의 중심 위치(523, 533)를
Figure pat00019
Figure pat00020
,
Figure pat00021
Figure pat00022
, 적외선 조명(521, 531)의 위치를
Figure pat00023
Figure pat00024
라고 하여 계산될 수 있다.
Figure pat00025
다음으로,
Figure pat00026
Figure pat00027
는 Pan/Tilt 모듈에 의해 협각 카메라가
Figure pat00028
Figure pat00029
,
Figure pat00030
Figure pat00031
만큼 회전된다고 하면 협각 카메라의 기준 위치로부터 틸팅각도
Figure pat00032
를 반영한 행렬
Figure pat00033
패닝각도
Figure pat00034
Figure pat00035
를 반영한 행렬
Figure pat00036
를 이용하여 하기 수학식 5에서
Figure pat00037
,
Figure pat00038
을 계산할 수 있고, 실제 조명의 위치
Figure pat00039
Figure pat00040
사이의 거리를 계산하여 획득할 수 있다.
Figure pat00041
미리 알고 있는 조명의 위치
Figure pat00042
Figure pat00043
와 측정된 눈의 중심 위치
Figure pat00044
Figure pat00045
사이의 거리
Figure pat00046
은 하기 수학식 6을 통해 구할 수 있다. 이때, 조명과 협각 카메라의 광축까지의 벡터를
Figure pat00047
라고 가정할 수 있다.
Figure pat00048
일실시예에 따른 시선 추적 장치는 시선 위치를 계산하기 위하여 초기에 미리 사용자가 사용자 캘리브레이션을 수행한 정보를 이용하는데, 기준 위치와 현재 위치에서의 관계를 나타낸 수학식 1은 사용자의 사용자 캘리브레이션 위치와 현재 위치 사이의 관계로 다시 정립될 수 있다. 사용자 캘리브레이션 위치를 아래 첨자 c로 표현할 때, 수학식 7으로 나타낼 수 있다.
Figure pat00049
여기서,
Figure pat00050
은 현재 위치에서 카메라의 이미지 평면 상에 맺히는, 상기 제1 각막 반사광의 좌표와 예측되는 중심 좌표 사이의 거리이고,
Figure pat00051
은 상기 협각 카메라의 광학 중심으로부터 사용자 캘리브레이션 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이고,
Figure pat00052
은 적외선 조명으로부터 현재 위치에 있는 사용자의 눈을 향한 협각 카메라의 광축까지의 거리이고,
Figure pat00053
은 적외선 조명으로부터 사용자 캘리브레이션 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이다.
Figure pat00054
은 상기 협각 카메라의 광학 중심으로부터 현재 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이고,
Figure pat00055
은 적외선 조명으로부터 사용자 캘리브레이션 위치에 있는 사용자의 눈을 향한 협각 카메라의 광축까지의 거리이고,
Figure pat00056
은 적외선 조명으로부터 현재 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이고,
Figure pat00057
은 카메라의 이미지 평면 상에 맺히는, 사용자 캘리브레이션 위치에 있는 사용자의 상기 제1 캘리브레이션 각막 반사광의 좌표와 제1 캘리브레이션 각막 반사광 및 제2 캘리브레이션 각막 반사광의 중심 좌표 사이의 거리를 의미한다.
기준 위치를 사용자 캘리브레이션 위치로 바꾸는 경우, 기준 정보는 사용자 캘리브레이션 정보가 될 수 있다. 여기서 사용자 캘리브레이션 정보는 사용자가 사용자 캘리브레이션을 수행한 위치인, 사용자 캘리브레이션 위치에서 측정된 제1 캘리브레이션 각막 반사광의 좌표로부터, 제1 캘리브레이션 각막 반사광과 제2 캘리브레이션 각막 반사광 사이의 캘리브레이션 중심 좌표로의 벡터 관계를 포함할 수 있다.
일실시예에 따른 캘리브레이션 위치는 상기 제1 캘리브레이션 각막 반사광 및 제2 캘리브레이션 각막 반사광을 렌즈 반사광의 간섭을 받지 않고 온전히 획득할 수 있는 위치일 수 있다.
따라서, 사용자가 사용자 캘리브레이션 위치에 있을 때 측정된, 제1 캘리브레이션 각막 반사광의 좌표로부터 제1 및 제2 캘리브레이션 각막 반사광의 중심 좌표로의 벡터 관계(
Figure pat00058
)에 사용자의 움직임 정보(
Figure pat00059
)를 반영하여 상기 사용자의 시선 위치를 계산할 수 있다.
도 6은 일실시예에 따른 시력 보조 기구를 착용한 사람의 시선을 추적하는 시선 추적 방법을 설명하는 흐름도이다.
도 6을 참고하면, 시력 보조 기구를 착용한 사용자의 시선 추적 방법이 제공될 수 있다.
단계(610)에서, 상기 시선 추적 방법은 제1 적외선 조명 및 제2 적외선 조명으로부터 사용자에 대하여 적외선을 각각 조사할 수 있다.
단계(620)에서, 상기 조사된 적외선으로부터 상기 사용자의 눈 영상을 획득할 수 있다.
일실시예에 따르면, 눈 영상을 획득하는 단계(620)는 복수 개의 광각 카메라, 협각 카메라 및 영상 재생 장치 상호간의 캘리브레이션을 수행하여 사용자의 위치정보를 계산하는 단계를 더 포함할 수 있다. 일실시예에 따른 시선 추적 방법은 획득한 얼굴에서 아다부스트(Adaboost) 알고리즘을 적용하여, 얼굴 및 눈 위치를 검출할 수 있다. 일실시예에 따른 시선 추적 방법은 상기 획득한 눈 위치에 기초하여 확대된 눈의 영상을 획득할 수 있다.
일실시예에 따른 시선 추적 방법은 확대된 눈 영상을 획득하기 위해서, 협각 카메라를 이용할 수 있다. 이때, 상기 확대된 눈 영상은 제1 각막 반사광, 제2 각막 반사광, 제1 렌즈 반사광, 및 제2 렌즈 반사광을 포함할 수 있다. 여기서, 제1 각막 반사광은 제1 적외선 조명으로부터 조사된 적외선이 상기 사용자의 동공에 반사되어 생성된 반사광이다. 제2 각막 반사광은 상기 제2 적외선 조명으로부터 조사된 적외선이 상기 사용자의 동공에 반사되어 생성된 반사광이다. 제1 렌즈 반사광은 상기 제1 적외선 조명으로부터 조사된 적외선이 상기 사용자의 시력 보조 기구에 반사되어 생성된 반사광이다. 제2 렌즈 반사광은 상기 제2 적외선 조명으로부터 조사된 적외선이 상기 사용자의 시력 보조 기구에 반사되어 생성된 반사광이다.
눈 영상을 획득하는 단계(620)는 상기 획득한 얼굴 영역의 눈 위치 정보에 따라 모터를 통해 상기 협각 카메라가 사용자의 눈 위치를 향하게 하도록 카메라 위치를 패닝(Panning)/틸팅(Tilting)/포커싱(Focusing) 제어할 수 있다.
단계(630)에서, 상기 획득된 눈 영상 내에서, 상기 제1 각막 반사광 또는 제2 각막 반사광과 상기 제2 렌즈 반사광 사이에 간섭이 발생하는 경우, 상기 제2 렌즈 반사광을 제거할 수 있다. 여기서, 제2 렌즈 반사광을 제거하는 단계는 제2 적외선 조명을 턴 오프(turn off)하여 각막 반사광을 가리는 렌즈 반사광을 유발하는 적외선 조명을 제거하는 단계일 수 있다.
일실시예에 따르면, 적외선 조명에 의한 복수의 렌즈 반사광 중에서 사용자의 동공을 가리거나, 각막 반사광을 가리는 렌즈 반사광을 제2 렌즈 반사광으로 할 수 있다. 따라서, 제2 렌즈 반사광을 유발하는 조명이 제2 적외선 조명이 될 수 있다. 일실시예에 따라, 획득된 눈 영상 내에서, 각막 반사광들 및 제2 렌즈 반사광 사이에 간섭이 발생하는 경우, 제2 렌즈 반사광을 유발하는 제2 적외선 조명을 제거할 수 있다.
단계(640)에서, 상기 제1 각막 반사광의 좌표 및 상기 사용자가 사용자 캘리브레이션 위치에 있을 때 측정된 사용자 캘리브레이션 정보를 이용해 상기 사용자의 시선 위치를 계산하는 단계를 포함할 수 있다. 여기서, 사용자 캘리브레이션 정보는 사용자가 사용자 캘리브레이션 한 위치인, 캘리브레이션 위치에서 측정된 제1 캘리브레이션 각막 반사광의 좌표로부터, 제1 캘리브레이션 각막 반사광과 제2 캘리브레이션 각막 반사광 사이의 캘리브레이션 중심 좌표로의 벡터 관계를 포함할 수 있다.
이에 따라, 사용자가 사용자 캘리브레이션 위치에 있을 때 상기 제1 적외선 조명 및 상기 제2 적외선 조명 각각에 의해 유발된 제1 캘리브레이션 각막 반사광의 좌표 및 제2 캘리브레이션 각막 반사광의 좌표를 미리 측정하여 저장하는 단계를 더 포함할 수 있다. 일실시예에 따른 사용자 캘리브레이션 정보는 미리 각 조명에 대한 제1 캘리브레이션 각막 반사광의 좌표 및 제2 캘리브레이션 각막 반사광의 좌표를 측정하여 저장할 수 있다.
일실시예에 따르면, 상기 사용자의 눈 영상을 획득하는 단계는, 복수 개의 광각 카메라 간의 스테레오 켈리브레이션을 수행하여 상기 복수 개의 광각 카메라를 통해 획득한 영상에서 눈 영상의 위치 좌표를 획득하는 단계를 더 포함할 수 있다. 다른 일실시예에 따르면, 상기 사용자의 눈 영상을 획득하는 단계는, PTZ(Pan-Tilt-Zoom) 캘리브레이션을 수행하여 협각 카메라의 패닝(Panning), 틸팅(Tilting) 및 포커싱(Focusing) 정도를 제어하기 위해 필요한 정보를 추출하는 단계를 더 포함할 수 있다. 또 다른 일실시예에 따르면, 상기 사용자의 눈 영상을 획득하는 단계는, 상기 복수 개의 광각 카메라, 상기 협각 카메라, 영상 재생 장치 및 사용자 간의 캘리브레이션을 수행하여 상기 사용자의 위치 정보를 계산하는 단계를 더 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
210: 조명부
220: 영상 획득부
230: 프로세서
240: 저장부

Claims (13)

  1. 제1 적외선 조명 및 제2 적외선 조명을 포함하고, 상기 제1 적외선 조명 및 상기 제2 적외선 조명으로부터 적외선을 사용자에 대하여 각각 조사하는 조명부;
    상기 사용자의 눈 영상을 획득하고, 상기 눈 영상은 상기 제1 적외선 조명으로부터 조사된 적외선이 상기 사용자의 동공에 반사되어 생성된 제1 각막 반사광, 상기 제2 적외선 조명으로부터 조사된 적외선이 상기 사용자의 동공에 반사되어 생성된 제2 각막 반사광, 상기 제1 적외선 조명으로부터 조사된 적외선이 상기 사용자의 시력 보조 기구에 반사되어 생성된 제1 렌즈 반사광, 및 상기 제2 적외선 조명으로부터 조사된 적외선이 상기 사용자의 시력 보조 기구에 반사되어 생성된 제2 렌즈 반사광을 포함하는 영상 획득부; 및
    상기 획득된 눈 영상 내에서, 상기 제1 각막 반사광 또는 제2 각막 반사광과 상기 제2 렌즈 반사광 사이에 간섭이 발생하는 경우, 상기 제2 렌즈 반사광을 제거하고,
    상기 제1 각막 반사광의 좌표, 사용자 캘리브레이션 정보 및 상기 사용자의 움직임 정보를 이용하여 상기 사용자의 시선 위치를 계산하는 프로세서
    를 포함하는 시선 추적 장치.
  2. 제1항에 있어서,
    상기 사용자 캘리브레이션 정보는,
    상기 사용자가 사용자 캘리브레이션을 수행한 위치인, 사용자 캘리브레이션 위치에서 측정된 제1 캘리브레이션 각막 반사광의 좌표로부터, 상기 제1 캘리브레이션 각막 반사광과 제2 캘리브레이션 각막 반사광 사이의 캘리브레이션 중심 좌표로의 벡터 관계를 포함하는
    시선 추적 장치.
  3. 제2항에 있어서,
    상기 시선 추적 장치는,
    상기 사용자가 상기 사용자 캘리브레이션 위치에 있을 때, 상기 제1 캘리브레이션 각막 반사광의 좌표, 제2 캘리브레이션 각막 반사광의 좌표 및 상기 제1 캘리브레이션 각막 반사광과 상기 제2 캘리브레이션 각막 반사광의 캘리브레이션 중심 좌표를 미리 측정하여 저장하는 저장부
    를 더 포함하는 시선 추적 장치.
  4. 제2항에 있어서,
    상기 영상 획득부는,
    복수 개의 광각 카메라를 포함하고,
    상기 프로세서는,
    상기 복수 개의 광각 카메라 간의 스테레오 켈리브레이션을 수행하여 상기 광각 카메라를 통해 획득한 영상에서 눈 영상의 위치 좌표를 획득하는
    시선 추적 장치.
  5. 제4항에 있어서,
    상기 영상 획득부는,
    협각 카메라와 상기 협각 카메라를 제어하는 패닝(Panning), 틸팅(Tilting) 및 포커싱(Focusing) 모터를 더 포함하고,
    상기 프로세서는,
    PTZ(Pan-Tilt-Zoom) 캘리브레이션을 수행하여 상기 협각 카메라가 상기 획득한 눈 영상에 대향하도록 상기 패닝(Panning), 틸팅(Tilting) 및 포커싱(Focusing) 모터를 제어하기 위해 필요한 정보를 추출하는
    시선 추적 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 복수 개의 광각 카메라, 상기 협각 카메라, 영상 재생 장치 및 상기 사용자 간의 캘리브레이션을 수행하여 상기 사용자의 위치 정보를 계산하는
    시선 추적 장치.
  7. 제2항에 있어서,
    상기 프로세서는,
    수학식
    Figure pat00060

    에 따라 상기 사용자의 시선 위치를 계산하고,
    Figure pat00061
    은 현재 위치에서 카메라의 이미지 평면 상에 맺히는, 상기 제1 각막 반사광의 좌표와 예측되는 중심 좌표 사이의 거리이고,
    Figure pat00062
    은 상기 협각 카메라의 광학 중심으로부터 사용자 캘리브레이션 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이고,
    Figure pat00063
    은 적외선 조명으로부터 현재 위치에 있는 사용자의 눈을 향한 협각 카메라의 광축까지의 거리이고,
    Figure pat00064
    은 적외선 조명으로부터 사용자 캘리브레이션 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이고,
    Figure pat00065
    은 상기 협각 카메라의 광학 중심으로부터 현재 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이고,
    Figure pat00066
    은 적외선 조명으로부터 사용자 캘리브레이션 위치에 있는 사용자의 눈을 향한 협각 카메라의 광축까지의 거리이고,
    Figure pat00067
    은 적외선 조명으로부터 현재 위치에 있는 사용자의 눈의 중심 위치 사이의 거리이고,
    Figure pat00068
    은 카메라의 이미지 평면 상에 맺히는, 사용자 캘리브레이션 위치에 있는 사용자의 상기 제1 캘리브레이션 각막 반사광의 좌표와 제1 캘리브레이션 각막 반사광 및 제2 캘리브레이션 각막 반사광의 중심 좌표 사이의 거리인 시선 추적 장치.
  8. 제1 적외선 조명 및 제2 적외선 조명으로부터 사용자에 대하여 적외선을 각각 조사하는 단계;
    상기 조사된 적외선으로부터 상기 제1 적외선 조명으로부터 조사된 적외선이 상기 사용자의 동공에 반사되어 생성된 제1 각막 반사광, 상기 제2 적외선 조명으로부터 조사된 적외선이 상기 사용자의 동공에 반사되어 생성된 제2 각막 반사광, 상기 제1 적외선 조명으로부터 조사된 적외선이 상기 사용자의 시력 보조 기구에 반사되어 생성된 제1 렌즈 반사광, 및 상기 제2 적외선 조명으로부터 조사된 적외선이 상기 사용자의 시력 보조 기구에 반사되어 생성된 제2 렌즈 반사광을 포함하는, 상기 사용자의 눈 영상을 획득하는 단계;
    상기 획득된 눈 영상 내에서, 상기 제1 각막 반사광 또는 제2 각막 반사광과 상기 제2 렌즈 반사광 사이에 간섭이 발생하는 경우, 상기 제2 렌즈 반사광을 제거하는 단계; 및
    상기 제1 각막 반사광의 좌표, 사용자 캘리브레이션 정보 및 상기 사용자의 움직임 정보를 이용하여 상기 사용자의 시선 위치를 계산하는 단계
    를 포함하는 시선 추적 방법.
  9. 제8항에 있어서,
    상기 사용자 캘리브레이션 정보는,
    상기 사용자가 사용자 캘리브레이션을 수행한 위치인, 사용자 캘리브레이션 위치에서 측정된 제1 캘리브레이션 각막 반사광의 좌표로부터, 상기 제1 캘리브레이션 각막 반사광과 제2 캘리브레이션 각막 반사광 사이의 캘리브레이션 중심 좌표로의 벡터 관계를 포함하는
    시선 추적 방법.
  10. 제9항에 있어서,
    상기 시선 추적 방법은,
    상기 사용자가 상기 사용자 캘리브레이션 위치에 있을 때, 상기 제1 적외선 조명에 의해 유발된 제1 캘리브레이션 각막 반사광의 좌표, 상기 제2 적외선 조명에 의해 유발된 제2 캘리브레이션 각막 반사광의 좌표 및 상기 제1 캘리브레이션 각막 반사광과 상기 제2 각막 캘리브레이션 반사광의 중심 좌표를 미리 측정하여 저장하는 단계를 더 포함하는
    시선 추적 방법.
  11. 제9항에 있어서,
    상기 시선 추적 방법은,
    복수 개의 광각 카메라 간의 스테레오 켈리브레이션을 수행하여 상기 복수 개의 광각 카메라를 통해 획득한 영상에서 눈 영상의 위치 좌표를 획득하는 단계;
    PTZ(Pan-Tilt-Zoom) 캘리브레이션을 수행하여 협각 카메라의 패닝(Panning), 틸팅(Tilting) 및 포커싱(Focusing) 정도를 제어하기 위해 필요한 정보를 추출하는 단계; 및
    상기 복수 개의 광각 카메라, 상기 협각 카메라 및 영상 재생 장치의 상호 간의 캘리브레이션을 수행하여 상기 사용자의 위치 정보를 계산하는 단계
    를 포함하는 시선 추적 방법.
  12. 제9항에 있어서,
    상기 사용자의 시선 위치를 계산하는 단계는,
    사용자의 사용자 캘리브레이션 위치에서 현재 위치로의 움직임 정보를 획득하는 단계
    상기 벡터 관계에 상기 획득한 움직임 정보를 반영하여 계산하는 단계;
    를 포함하는 시선 추적 방법.
  13. 제12항에 있어서,
    상기 움직임 정보를 획득하는 단계는,
    상기 사용자 캘리브레이션 위치에서 복수 개의 광각 카메라, 협각 카메라, 영상 재생 장치 및 사용자 간의 캘리브레이션을 수행하여 상기 사용자의 사용자 캘리브레이션 위치 정보를 계산하는 단계,
    상기 현재 위치에서 복수 개의 광각 카메라, 협각 카메라, 영상 재생 장치 및 사용자 간의 캘리브레이션을 수행하여 상기 사용자의 현재 위치 정보를 계산하는 단계; 및
    상기 사용자 캘리브레이션 위치 정보와 상기 현재 위치 정보로부터 상기 움직임 정보를 획득하는 단계;
    를 포함하는 시선 추적 방법.
KR1020130153262A 2013-12-10 2013-12-10 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법 KR20150067608A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130153262A KR20150067608A (ko) 2013-12-10 2013-12-10 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법
US14/564,550 US9857870B2 (en) 2013-12-10 2014-12-09 Method of acquiring gaze information irrespective of whether user wears vision aid and moves

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130153262A KR20150067608A (ko) 2013-12-10 2013-12-10 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법

Publications (1)

Publication Number Publication Date
KR20150067608A true KR20150067608A (ko) 2015-06-18

Family

ID=53271128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130153262A KR20150067608A (ko) 2013-12-10 2013-12-10 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법

Country Status (2)

Country Link
US (1) US9857870B2 (ko)
KR (1) KR20150067608A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170090881A (ko) * 2016-01-29 2017-08-08 한국전자통신연구원 멀티 어레이 기반의 시선추적 장치 및 방법
KR20170091467A (ko) * 2016-02-01 2017-08-09 한국전자통신연구원 시선 추적 장치 및 시선 추적 방법
KR20190027081A (ko) * 2017-09-06 2019-03-14 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102227284B1 (ko) * 2014-01-16 2021-03-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
RU2672502C1 (ru) * 2014-12-10 2018-11-15 Телефонактиеболагет Лм Эрикссон (Пабл) Устройство и способ для формирования изображения роговицы
WO2016162822A1 (en) * 2015-04-08 2016-10-13 Controlrad Systems Inc. Devices and methods for monitoring gaze
KR102345652B1 (ko) * 2015-06-26 2021-12-30 삼성전자주식회사 뷰 파인더 장치 및 그 동작 방법
WO2018076202A1 (zh) * 2016-10-26 2018-05-03 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
US9898082B1 (en) * 2016-11-01 2018-02-20 Massachusetts Institute Of Technology Methods and apparatus for eye tracking
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
CN107463880A (zh) * 2017-07-07 2017-12-12 广东欧珀移动通信有限公司 控制方法、电子装置和计算机可读存储介质
WO2019163066A1 (ja) * 2018-02-22 2019-08-29 日本電気株式会社 なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
CN109044263A (zh) * 2018-07-13 2018-12-21 北京七鑫易维信息技术有限公司 眼睛视线的检测方法、装置、设备及存储介质
WO2020047140A1 (en) * 2018-08-29 2020-03-05 Intuitive Surgical Operations, Inc. Dynamic illumination for eye-tracking
TWI704473B (zh) * 2018-11-16 2020-09-11 財團法人工業技術研究院 視線向量偵測方向與裝置
CN109256042A (zh) * 2018-11-22 2019-01-22 京东方科技集团股份有限公司 显示面板、电子设备及人眼追踪方法
CN113827244B (zh) * 2020-06-24 2023-10-17 比亚迪股份有限公司 驾驶员视线方向的检测方法、监控方法、系统和装置
CN113473015B (zh) * 2021-06-08 2022-03-08 荣耀终端有限公司 一种云台控制方法及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2685976C (en) * 2007-05-23 2013-02-19 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
KR20130121303A (ko) 2012-04-27 2013-11-06 한국전자통신연구원 원거리 시선 추적 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170090881A (ko) * 2016-01-29 2017-08-08 한국전자통신연구원 멀티 어레이 기반의 시선추적 장치 및 방법
KR20170091467A (ko) * 2016-02-01 2017-08-09 한국전자통신연구원 시선 추적 장치 및 시선 추적 방법
KR20190027081A (ko) * 2017-09-06 2019-03-14 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체

Also Published As

Publication number Publication date
US9857870B2 (en) 2018-01-02
US20150160725A1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
KR20150067608A (ko) 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법
US10878236B2 (en) Eye tracking using time multiplexing
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
CN109715047B (zh) 用于眼动追踪应用的传感器融合系统和方法
KR20130121303A (ko) 원거리 시선 추적 시스템 및 방법
US9398848B2 (en) Eye gaze tracking
US7771049B2 (en) Method and apparatus for detecting sight line vector
EP2748797B1 (en) Object distance determination from image
KR101769177B1 (ko) 시선 추적 장치 및 방법
US20110170060A1 (en) Gaze Tracking Using Polarized Light
WO2018100235A1 (en) Gaze-tracking system and method
KR20190050876A (ko) 객체 트래킹 방법 및 장치
US20220100268A1 (en) Eye tracking device and a method thereof
US20150309567A1 (en) Device and method for tracking gaze
US20140085189A1 (en) Line-of-sight detection apparatus, line-of-sight detection method, and program therefor
Lukander et al. OMG! A new robust, wearable and affordable open source mobile gaze tracker
US11003244B2 (en) System and method for real-time high-resolution eye-tracking
JP2016532217A (ja) グリントにより眼を検出する方法および装置
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
US11675427B2 (en) Eye tracking based on imaging eye features and assistance of structured illumination probe light
JP2003079577A (ja) 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体
CN116382473A (zh) 一种基于自适应时序分析预测的视线校准、运动追踪及精度测试方法
KR20210136623A (ko) 시선 추적 장치 및 방법
JP5994069B2 (ja) 視線方向推定システムおよび視線方向の推定方法
KR20170085933A (ko) 비착용형 시선추적기의 응시점 보정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
E601 Decision to refuse application
E801 Decision on dismissal of amendment