KR20200121584A - 시선 추적 장치 - Google Patents

시선 추적 장치 Download PDF

Info

Publication number
KR20200121584A
KR20200121584A KR1020190044320A KR20190044320A KR20200121584A KR 20200121584 A KR20200121584 A KR 20200121584A KR 1020190044320 A KR1020190044320 A KR 1020190044320A KR 20190044320 A KR20190044320 A KR 20190044320A KR 20200121584 A KR20200121584 A KR 20200121584A
Authority
KR
South Korea
Prior art keywords
markers
user
calibration
information
calibration data
Prior art date
Application number
KR1020190044320A
Other languages
English (en)
Inventor
김현철
김준수
이광순
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190044320A priority Critical patent/KR20200121584A/ko
Publication of KR20200121584A publication Critical patent/KR20200121584A/ko

Links

Images

Classifications

    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/0061—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명의 실시 예에 따른 시선 추적 장치는, 디스플레이 상에 복수의 마커를 순차적으로 표시하는 마커 재생부, 상기 복수의 마커가 표시되는 동안 복수의 적외선 조명을 통해 사용자에 적외선 광을 조사하고, 상기 복수의 마커 각각이 표시되는 동안 상기 사용자의 눈 영상을 획득하는 영상 획득부, 상기 복수의 마커 각각이 상기 디스플레이 상에 표시되는 좌표 정보와, 상기 눈 영상으로부터 검출한 PCCR(pupil center corneal reflection) 벡터를 이용하여, 상기 복수의 마커 각각에 대응하는 캘리브레이션 데이터를 획득하고, 상기 눈 영상에서 상기 적외선 광이 반사되어 표시된 각막 반사광들 간의 거리 정보를 검출하는 캘리브레이션 데이터 생성부, 상기 거리 정보를 이용하여 상기 복수의 마커 각각에 대응하는 캘리브레이션 데이터를 보정하는 보정부, 및 상기 보정부에 의해 보정된 캘리브레이션 데이터들을 이용하여 상기 사용자의 캘리브레이션 정보를 생성하는 캘리브레이션 정보 생성부를 포함할 수 있다.

Description

시선 추적 장치{EYE TRACKER}
본 발명은 시선 추적 장치에 관한 것이다.
시선 추적 장치는 안경이나 헤드 마운티드 디스플레이(Head mounted Display, HMD)와 같이 사용자의 신체에 착용되어 사용자의 시선을 추적하는 착용 방식과, 모니터나 TV 등과 같이 디스플레이 장치에 부착되어 사용자의 시선을 추적하는 비착용 방식으로 구분될 수 있다.
비착용 방식의 시선 추적 장치는 적외선 조명과 카메라를 이용하여 사용자의 시선을 추적한다. 적외선 조명에 의해 조사된 적외선 광은 사용자의 각막에 의해 반사되어 각만 반사광을 발생시킨다. 시선 추적 장치는 카메라를 통해 촬영된 사용자의 안면 영상으로부터, 각막 반사광과 동공 중심을 검출하고, 이들에 의해 생성되는 벡터(pupil center corneal reflection vector, PCCR 벡터)를 이용하여 사용자의 응시점을 추적한다.
각각의 사용자는 안구 구조가 서로 다를 수 있으며, 이는 시선 추적 장치의 추적 오차를 발생시키는 원인으로 작용할 수 있다. 따라서, 시선 추적 장치는 시선 추적을 개시하기 전에 먼저 사용자에 따른 캘리브레이션 단계를 수행해야 한다. 캘리브레이션 단계에서, 시선 추적 장치는 디스플레이 상에 사용자의 응시를 유도하는 마커를 순차적으로 표시하고, 사용자가 마커를 응시하는 동안 캘리브레이션이 수행된다.
한편, 캘리브레이션 단계에서 사용자가 마커를 응시하는 동안 사용자의 움직임이 발생하는 경우, 캘리브레이션 정확도가 낮아져 이로 인해 시선 추적 장치의 추적 성능이 저하되는 문제가 발생할 수 있다.
본 발명의 실시 예가 해결하려는 과제는 캘리브레이션 단계에서 사용자의 움직임으로 인해 발생하는 캘리브레이션 오차를 보정하여 시선 추적 성능을 향상시킬 수 있는 시선 추적 장치를 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 시선 추적 장치는, 디스플레이 상에 복수의 마커를 순차적으로 표시하는 마커 재생부, 상기 복수의 마커가 표시되는 동안 복수의 적외선 조명을 통해 사용자에 적외선 광을 조사하고, 상기 복수의 마커 각각이 표시되는 동안 상기 사용자의 눈 영상을 획득하는 영상 획득부, 상기 복수의 마커 각각이 상기 디스플레이 상에 표시되는 좌표 정보와, 상기 눈 영상으로부터 검출한 PCCR(pupil center corneal reflection) 벡터를 이용하여, 상기 복수의 마커 각각에 대응하는 캘리브레이션 데이터를 획득하고, 상기 눈 영상에서 상기 적외선 광이 반사되어 표시된 각막 반사광들 간의 거리 정보를 검출하는 캘리브레이션 데이터 생성부, 상기 거리 정보를 이용하여 상기 복수의 마커 각각에 대응하는 캘리브레이션 데이터를 보정하는 보정부, 및 상기 보정부에 의해 보정된 캘리브레이션 데이터들을 이용하여 상기 사용자의 캘리브레이션 정보를 생성하는 캘리브레이션 정보 생성부를 포함할 수 있다.
본 발명의 실시 예에 따르면, 캘리브레이션 단계에서 사용자의 움직임으로 인해 발생하는 캘리브레이션 오차를 보정하여 시선 추적 성능을 향상시킬 수 있다.
도 1은 시선 추적 장치에서 캘리브레이션을 수행하는 일 예를 도시한다.
도 2는 시선 추적 장치의 캘리브레이션 과정 중 사용자의 움직임이 발생하는 일 예를 도시한다.
도 3은 시선 추적 장치의 캘리브레이션 과정 중 사용자의 움직임에 의해 캘리브레이션 오차가 발생하는 일 예를 도시한다.
도 4는 본 발명의 실시 예에 따른 시선 추적 장치를 개략적으로 도시한다.
도 5는 본 발명의 실시 예에 따른 시선 추적 장치의 캘리브레이션 방법을 도시한다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하, 필요한 도면들을 참조하여 본 발명의 실시 예에 따른 시선 추적 장치에 대해 상세히 설명하기로 한다.
도 1은 시선 추적 장치에서 캘리브레이션을 수행하는 일 예를 도시한 것이고, 도 2는 시선 추적 장치의 캘리브레이션 과정 중 사용자의 움직임이 발생하는 일 예를 도시한 것이다.
도 1을 참조하면, 시선 추적 장치(미도시)는 캘리브레이션 절차가 시작되면, 미리 정해진 수의 캘리브레이션용 마커들(5a, 5b, 5c, 5d)을 디스플레이(1) 화면 상에 순차적으로 표시한다. 그리고, 사용자가 각 마커(5a, 5b, 5c, 5d)를 응시하는 동안 카메라(10)를 통해 사용자를 촬영하고, 촬영된 영상으로부터 캘리브레이션 데이터를 획득한다. 캘리브레이션 데이터는, 각 마커(5a, 5b, 5c, 5d)의 디스플레이(1) 상의 좌표와, 적외선 조명(20a, 20b)에 의해 조사된 적외선 광이 사용자의 각막에 의해 반사된 각막 반사광과, 사용자의 동공 중심이 만들어내는 벡터(PCCR 벡터) 데이터로 이루어진다.
시선 추적 장치는 각 마커(5a, 5b, 5c, 5c)가 표시될 때마다 대응하는 캘리브레이션 데이터를 획득하며, 각 마커(5a, 5b, 5c, 5c) 별로 획득한 캘리브레이션 데이터들을 이용하여 최종적인 캘리브레이션 정보를 산출한다. 통상적으로, 최종적인 캘리브레이션 정보는 행렬 형태로 획득된다. 각 마커(5a, 5b, 5c, 5c) 별로 획득한 캘리브레이션 데이터들을 이용하여 최종적인 캘리브레이션 정보를 산출하는 방법은 이미 공지된 기술이므로, 본 문서에서는 캘리브레이션 데이터들로부터 캘리브레이션 정보를 획득하는 방법에 대해서는 구체적인 기술을 생략한다.
시선 추적 장치는 캘리브레이션 단계를 통해 최종적인 캘리브레이션 정보가 획득되면, 이후 사용자의 시선을 추적하는 단계에서 이를 이용하여 사용자의 응시점을 산출한다. 즉, 시선 추적 장치는 시선 추적 단계에서도, 캘리브레이션 단계와 마찬가지로 사용자를 촬영한 영상으로부터 PCCR 벡터를 검출하고, 검출된 PCCR 벡터에 캘리브레이션 정보를 적용하여 사용자의 응시점을 산출한다.
따라서, 캘리브레이션 정보의 정확도는 시선 추적 장치의 시선 추적 성능에 큰 영향을 미치게 되므로, 캘리브레이션은 가능한 정확하게 수행될 필요가 있다.
한편, 도 2에 도시된 바와 같이, 캘리브레이션을 위해 사용자가 디스플레이(1) 상의 마커(5a, 5b, 5c, 5d)를 순차적으로 응시하는 과정에서 사용자의 머리 움직임이 발생할 수 있으며, 이러한 움직임은 캘리브레이션 정보의 정확도를 감소시킬 수 있다.
도 3은 시선 추적 장치의 캘리브레이션 과정 중 사용자의 움직임에 의해 캘리브레이션 오차가 발생하는 일 예를 도시한 것이다. 도 3의 (a)는 도 2에서 사용자의 머리가 P1의 위치에서 마커(5a)를 응시하는 동안 PCCR 벡터를 검출하는 경우를 나타내고, 도 3의 (b)는 도 2에서 사용자가 P2의 위치에서 마커(5b)를 응시하는 동안 PCCR 벡터를 검출하는 경우를 나타낸다. 도 2를 참조하면, 사용자의 머리는 P1의 위치에서 마커(5a)를 응시한 후, 디스플레이(1)와의 거리가 P1보다 가까운 P2로 이동하여 마커(5b)를 응시한다.
도 3을 참조하면, 시선 추적 장치는 사용자의 눈을 촬영한 눈 영상(30a, 30b)으로부터 적외선 광이 반사된 각막 반사광들(31a, 31b)과 동공 중심(32a, 32b)를 추출하고, 각막 반사광들(31a, 31b)의 중심에서 동공 중심(32a, 32b)으로 이어지는 PCCR 벡터(33a, 33b)를 회득할 수 있다. 즉, PCCR 벡터(33a, 33b)는, 눈 영상(30a, 30b) 내에서 각막 반사광들(31a, 31b)의 중심에서 동공 중심(32a, 32b)을 향하도록 그 방향이 결정되며, 각막 반사광들(31a, 31b)의 중심과 동공 중심(32a, 32b) 사이의 거리에 대응하여 그 크기가 결정될 수 있다. 여기서, 각막 반사광들(31a, 31b)의 중심은, 눈 영상(30a, 30b)에서 각막 반사광들(31a, 31b)이 표시되는 좌표들 사이의 중간 지점을 나타낸다.
한편, 사용자의 머리가 P1에서 P2로 이동할 경우, 사용자의 눈과 카메라(10)와의 거리가 감소하고, 이로 인해 P2에서의 눈 영상(30b)은 P1에서의 눈 영상(30a)보다 확대되어 촬영된다. 따라서, 사용자의 눈 영상(30a, 30b)에서 적외선 광의 각막 반사광(31a, 31b)과 동공 중심(32a, 32b)에 의해 획득되는 PCCR 벡터(33a, 33b) 또한 도 3에 도시된 바와 같이 눈 영상(30a)에서보다 눈 영상(30b)에서 더 크게 나타난다.
이와 같이, 눈 영상(30a)에서의 PCCR 벡터(33a)와 눈 영상(30b)에서의 PCCR 벡터(33b)는, 사용자의 응시점의 변화에 따른 동공 움직임뿐만 아니라, 안구와 카메라 간의 위치 변화에 따른 영상 스케일 변화량도 함께 반영되어 나타난다. 따라서, 사용자 머리의 움직임에 따른 영상 스케일 변화는 캘리브레이션 오차로 작용하여, 추후 시선 추적 성능을 감소시키는 원인으로 작용할 수 있다.
따라서, 본 발명의 실시 예에서는 캘리브레이션 과정에서 안구와 카메라 간의 상대적인 위치 변화로 인한 오차를 제거함으로써, 캘리브레이션 정확도를 향상시킬 수 있는 시선 추적 장치를 제공한다.
도 4는 본 발명의 실시 예에 따른 시선 추적 장치를 개략적으로 도시한다.
도 4를 참조하면, 본 발명의 실시 예에 따른 시선 추적 장치(100)는 영상 획득부(110), 캘리브레이션부(120), 및 시선 추적부(130)를 포함할 수 있다.
영상 획득부(110)는 카메라(도 1 및 2의 도면부호 20 참조) 및 적외선 조명(도 1 및 2의 도면 부호 10a 및 10b 참조)을 포함하며, 적외선 조명(20a, 20b)을 사용자에게 조사한 상태에서 카메라(10)를 통해 사용자의 안면을 촬영한 영상(이하, '사용자 영상'이라 칭함)을 획득할 수 있다.
캘리브레이션부(120)는 영상 획득부(110)로부터 사용자 영상을 수신하며, 이를 분석하여 사용자의 안구 구조에 따른 캘리브레이션 정보를 획득할 수 있다. 이를 위해, 캘리브레이션부(120)는 마커 재생부(121), 캘리브레이션 데이터 생성부(122), 보정부(123), 및 캘리브레이션 정보 생성부(124)를 포함할 수 있다.
마커 재생부(121)는 디스플레이(도 1 및 2의 도면부호 1 참조)를 통해 사용자의 응시를 유도하는 복수의 마커(도 1 및 도 2의 5a, 5b, 5c, 5d 참조)를 순차적으로 표시할 수 있다.
캘리브레이션 데이터 생성부(122)는 마커 재생부(121)로부터 디스플레이(1)의 화면 상에서 각 마커(5a, 5b, 5c, 5d)가 표시되는 좌표 정보를 수신하며, 영상 획득부(110)로부터 각 마커(5a, 5b, 5c, 5d)가 표시되는 동안 촬영된 사용자 영상을 수신할 수 있다. 또한, 각 마커(5a, 5b, 5c, 5d)가 표시되는 동안 촬영된 사용자 영상으로부터 PCCR 벡터를 검출하고, 검출된 PCCR 벡터와 대응하는 마커(5a, 5b, 5c, 5d)의 좌표 정보를 이용하여 각 마커(5a, 5b, 5c, 5d)에 대응하는 캘리브레이션 데이터를 생성할 수 있다.
또한, 캘리브레이션 데이터 생성부(122)는 각 마커(5a, 5b, 5c, 5d)가 표시되는 동안 촬영된 사용자 영상으로부터 캘리브레이션 데이터의 보정 정보를 추출할 수 있다. 여기서, 보정 정보는, 각 사용자 영상에서, 적외선 조명들(20a, 20b)에서 조사된 적외선 광들이 사용자의 각막에 의해 반사되어 표시된 각막 반사광들 간의 거리 정보를 포함할 수 있다.
또한, 캘리브레이션 데이터 생성부(122)는 스테레오 카메라(미도시)와 같이 객체의 3차원 위치 정보를 획득할 수 있는 장치를 통해 보정 정보를 획득할 수도 있다. 이 경우, 보정 정보는 사용자의 동공과 스테레오 카메라 간의 거리 정보를 포함하는 3차원 위치 정보를 포함할 수도 있다.
보정부(123)는 캘리브레이션 데이터 생성부(122)로부터 각 마커(5a, 5b, 5c, 5d)에 대해 획득한 캘리브레이션 데이터 및 보정 정보를 수신하고, 이를 이용하여 각 마커(5a, 5b, 5c, 5d)에 대응하는 캘리브레이션 데이터로부터 사용자의 움직임에 따른 오차를 보정할 수 있다.
보정 정보가 각막 반사광들 사이의 거리 정보인 경우, 보정부(123)는 기준이 되는 각막 반사광들 간의 거리(이하, '기준 거리'라 칭함)를 결정하고, 각막 반사광들 간의 기준 거리와 각 보정 정보에 포함된 각막 반사광들 사이의 거리 정보의 비를 이용하여, 각 마커(5a, 5b, 5c, 5d)에 대응하는 캘리브레이션 데이터를 보정할 수 있다. 여기서, 각막 반사광들 간의 기준 거리는, 각 마커에 대응하는 보정정보들 중 하나를 이용하여 결정될 수도 있고, 각 마커에 대응하는 보정 정보들의 평균을 이용하여 결정될 수도 있다. 예를 들어, 각막 반사광들 간 기준 거리를 Dr1이라 하고, 각 마커에 대응하는 PCCR 벡터를 V, 보정 정보 즉, 각막 반사광들 간의 거리를 D1라고 하면, 보정된 PCCR 벡터 Vc1는 아래의 수학식 1과 같이 산출할 수 있다.
[수학식 2]
Vc1 = V × ((Dr1+a)/(D1+a))2
위 수학식 1에서 a는 시선 추적 장치(100)의 하드웨어 및 환경에 따른 보정 상수로 사전에 정의될 수 있다.
보정 정보가 동공의 3차원 위치 정보인 경우, 보정부(123)는 기준이 되는 동공과 카메라 간 거리(이하, '기준 거리'라 칭함)를 정하고, 동공과 카메라 간의 기준 거리와 각 보정 정보에 포함된 동공과 카메라 간 거리 정보의 비를 이용하여 각 마커(5a, 5b, 5c, 5d)에 대응하는 캘리브레이션 데이터를 보정할 수 있다. 여기서, 동공과 카메라 간의 기준 거리는, 각 마커에 대응하는 보정 정보들 중 하나를 이용하여 결정될 수도 있고, 각 마커(5a, 5b, 5c, 5d)에 대응하는 보정 정보들의 평균을 이용하여 결정될 수도 있다. 예를 들어, 동공과 카메라 간의 기준 거리를 Dr2이라 하고, 각 마커에 대응하는 PCCR 벡터를 V, 보정 정보 즉, 동공과 카메라 간의 거리를 D2라고 하면, 보정된 PCCR 벡터 Vc2는 아래의 수학식 2와 같이 산출할 수 있다.
[수학식 2]
Vc2 = V × ((Dr2+a)/(D2+a))2
위 수학식 2에서 a는 시선 추적 장치(100)의 하드웨어 및 환경에 따른 보정 상수로 사전에 정의될 수 있다.
캘리브레이션 정보 생성부(124)는 보정부(123)에 의해 각 마커(5a, 5b, 5c, 5d)에 대응하는 캘리브레이션 데이터가 보정되면, 보정된 캘리브레이션 데이터들을 이용하여 사용자에 대응하는 최종 캘리브레이션 정보를 생성한다. 캘리브레이션 정보 생성부(124)에 의해 생성된 캘리브레이션 정보는, 시선 추적부(130)로 전달되어 이후 시선 추적부(130)가 사용자의 응시점을 추적하는데 사용될 수 있다.
도 5는 본 발명의 실시 예에 따른 시선 추적 장치의 캘리브레이션 방법을 개략적으로 도시한 것이다.
도 5를 참조하면, 시선 추적 장치(100)는 사용자의 응시를 유도하는 마커(5a, 5b, 5c, 또는 5d)를 디스플레이(1) 화면 상에 표시하고(S10), 이를 응시하는 사용자의 눈 영상을 획득한다(S11). 이후, 시선 추적 장치(100)는 눈 영상으로부터 PCCR 벡터를 검출하고, 검출된 PCCR 벡터와 대응하는 마커의 좌표 정보를 이용하여 캘리브레이션 데이터를 획득한다(S12). 또한, 시선 추적 장치(100)는 눈 영상으로부터 캘리브레이션 데이터의 보정 정보를 획득한다(S13). 여기서, 보정 정보는, 각 사용자 영상에서, 적외선 조명들(20a, 20b)에서 조사된 적외선 광들이 사용자의 각막에 의해 반사되어 표시된 각막 반사광들 간의 거리 정보를 포함할 수 있다. 또한, 보정 정보는 사용자의 동공과 스테레오 카메라 간의 거리 정보를 포함하는 3차원 위치 정보를 포함할 수도 있다.
시선 추적 장치(100)는 마커의 재생이 완료된 것으로 판단될 때까지(S14), 마커가 화면 상에 표시되는 좌표를 변경해가며(S15), 상기 S10 단계 내지 S13 단계를 반복함으로써, 각 마커(5a, 5b, 5c, 5d)에 대응하여 캘리브레이션 데이터 및 보정 정보를 획득한다.
그리고, 마커의 재생이 완료되면, 각 마커(5a, 5b, 5c, 5d)에 대응하는 보정 정보를 이용하여, 각 마커(5a, 5b, 5c, 5d)의 캘리브레이션 데이터를 보정한다(S16). 그리고, 보정된 캘리브레이션 데이터들을 이용하여 최종적으로 사용자에 대응하는 캘리브레이션 정보를 생성한다(S17).
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (1)

  1. 디스플레이 상에 복수의 마커를 순차적으로 표시하는 마커 재생부,
    상기 복수의 마커가 표시되는 동안 복수의 적외선 조명을 통해 사용자에 적외선 광을 조사하고, 상기 복수의 마커 각각이 표시되는 동안 상기 사용자의 눈 영상을 획득하는 영상 획득부,
    상기 복수의 마커 각각이 상기 디스플레이 상에 표시되는 좌표 정보와, 상기 눈 영상으로부터 검출한 PCCR(pupil center corneal reflection) 벡터를 이용하여, 상기 복수의 마커 각각에 대응하는 캘리브레이션 데이터를 획득하고, 상기 눈 영상에서 상기 적외선 광이 반사되어 표시된 각막 반사광들 간의 거리 정보를 검출하는 캘리브레이션 데이터 생성부,
    상기 거리 정보를 이용하여 상기 복수의 마커 각각에 대응하는 캘리브레이션 데이터를 보정하는 보정부, 및
    상기 보정부에 의해 보정된 캘리브레이션 데이터들을 이용하여 상기 사용자의 캘리브레이션 정보를 생성하는 캘리브레이션 정보 생성부를 포함하는 시선 추적 장치.
KR1020190044320A 2019-04-16 2019-04-16 시선 추적 장치 KR20200121584A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190044320A KR20200121584A (ko) 2019-04-16 2019-04-16 시선 추적 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190044320A KR20200121584A (ko) 2019-04-16 2019-04-16 시선 추적 장치

Publications (1)

Publication Number Publication Date
KR20200121584A true KR20200121584A (ko) 2020-10-26

Family

ID=73006377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190044320A KR20200121584A (ko) 2019-04-16 2019-04-16 시선 추적 장치

Country Status (1)

Country Link
KR (1) KR20200121584A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122119A (ko) * 2021-02-26 2022-09-02 (주)블라우비트 사용자의 화면 집중도 분석을 위한 아이 트래킹 시작 정규화 장치 및 방법
WO2024128371A1 (ko) * 2022-12-16 2024-06-20 한국전자기술연구원 안면, 안구 형상, 헤드 마운트 디스플레이 착용 위치 기반 고도 영상 출력 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122119A (ko) * 2021-02-26 2022-09-02 (주)블라우비트 사용자의 화면 집중도 분석을 위한 아이 트래킹 시작 정규화 장치 및 방법
WO2024128371A1 (ko) * 2022-12-16 2024-06-20 한국전자기술연구원 안면, 안구 형상, 헤드 마운트 디스플레이 착용 위치 기반 고도 영상 출력 방법

Similar Documents

Publication Publication Date Title
JP6902075B2 (ja) 構造化光を用いた視線追跡
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US10650533B2 (en) Apparatus and method for estimating eye gaze location
US11016301B1 (en) Accommodation based optical correction
US10614577B1 (en) Eye tracking system with single point calibration
JP6576574B2 (ja) 眼球モデルを生成するための角膜球追跡
KR102366110B1 (ko) 번쩍임의 광원에의 매핑
US20190333480A1 (en) Improved Accuracy of Displayed Virtual Data with Optical Head Mount Displays for Mixed Reality
US20030123027A1 (en) System and method for eye gaze tracking using corneal image mapping
US12056274B2 (en) Eye tracking device and a method thereof
KR101613091B1 (ko) 시선 추적 장치 및 방법
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2013175701A1 (ja) 映像解析装置、映像解析方法、および注視点表示システム
US20220365342A1 (en) Eyeball Tracking System and Method based on Light Field Sensing
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
KR20200121584A (ko) 시선 추적 장치
CN115137293A (zh) 用于确定参考注视数据的系统和方法
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
JP2015046111A (ja) 視点検出装置および視点検出方法
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
US11222394B2 (en) Devices and headsets
US12118145B2 (en) Electronic apparatus
WO2022093521A1 (en) Systems and methods for visual field testing in head-mounted displays
CN118632653A (zh) 用于控制扩展现实显示系统的性能的方法