KR100949743B1 - 고글 형태를 갖는 착용형 시선 추적 장치 및 방법 - Google Patents

고글 형태를 갖는 착용형 시선 추적 장치 및 방법 Download PDF

Info

Publication number
KR100949743B1
KR100949743B1 KR1020090023930A KR20090023930A KR100949743B1 KR 100949743 B1 KR100949743 B1 KR 100949743B1 KR 1020090023930 A KR1020090023930 A KR 1020090023930A KR 20090023930 A KR20090023930 A KR 20090023930A KR 100949743 B1 KR100949743 B1 KR 100949743B1
Authority
KR
South Korea
Prior art keywords
monitor
user
eye
camera
image
Prior art date
Application number
KR1020090023930A
Other languages
English (en)
Inventor
박강령
이의철
조철우
이지우
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020090023930A priority Critical patent/KR100949743B1/ko
Application granted granted Critical
Publication of KR100949743B1 publication Critical patent/KR100949743B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 착용성이 뛰어난 경량의 시선 추적 장치 개발 및 촬영된 눈 영상으로부터 추출된 눈에 의한 시선 위치를 얼굴 움직임에 의해 촬영된 전방 영상에서 추정하는 고글 형태를 갖는 착용형 시선 추적 장치 및 방법을 제공하기 위한 것으로서, 사용자의 눈 영상 및 사용자의 얼굴 방향에 의한 전방 영상을 각각 획득하는 고글 형태의 영상 획득 모듈과, 상기 획득된 전방 영상을 기반으로 사용자가 응시하고자 하는 범위를 지정하고, 해당 범위를 템플릿 매칭을 통해 실시간으로 추적하여, 상기 획득된 사용자의 눈 영상에서의 동공 중심 위치에 기반하여 시선 위치를 산출하는 영상 처리 모듈을 포함하는데 있다.
고글(goggle), 시선 추적, 적외선 반사거울(hot mirror), 근 적외선 영상

Description

고글 형태를 갖는 착용형 시선 추적 장치 및 방법{Apparatus and method for wearable eye tracking having goggle typed}
본 발명은 기존의 시선 추적 장치인 머리 착용형 방식의 사용 편의성이 떨어지는 단점과 데스크 탑 방식의 고가 장비를 필요로 하는 단점을 해결하기 위해, 경량의 고글(goggle)에 적외선 반사거울(hot mirror)과 적외선 기반의 카메라 두 대를 포함하는 고글 형태를 갖는 착용형 시선 추적 장치 및 방법에 관한 것이다.
시선 위치 추적이란 사용자가 어느 위치에 응시하고 있는지를 파악하는 방법으로, 장점으로는 기존 마우스 작동방법 프로토콜과의 유사성, 바라보는 곳을 바로 포인팅 할 수 있다는 신속성, 손이 불편한 사용자에게 입력 장치 역할을 할 수 있다는 편의성, 가상현실 환경에서 사용자의 시선 방향에 따라 뷰(view) 화면을 조정함으로써 제공하는 몰입감 등이 있을 수 있다.
현재 시선 위치 추적 방법은 크게 스킨 전극(skin electrodes) 기반 방법, 콘택트렌즈(contact lens) 기반 방법, 머리 장착형 디스플레이(head mounted display) 부착 기반 방법 및 데스크탑 기반 방법으로 나누어져 있다.
이 중, 상기 스킨 전극 기반 방법은 사용자 눈 주변에 전극(electrode)을 부 착하여 망막(retina)과 각막(cornea) 사이의 전위차를 측정하고, 측정된 전위차를 통해 응시위치를 계산하는 방법으로, 양 눈의 응시위치를 모두 파악할 수 있는 점과, 저렴한 가격, 간편한 사용방법을 장점으로 가진다. 하지만 상기 스킨 전극 기반 방법은 가로세로 방향의 움직임이 제한적이어서 정확성이 떨어진다는 단점이 있다.
상기 콘택트렌즈 기반 방법은 각막에 미끄러지지 않는 렌즈를 부착하고 이곳에 자기장 코일이나 거울을 부착하여 응시위치를 계산하는 방법으로, 정확성이 높은 장점을 가진다. 하지만 상기 콘택트렌즈 기반 방법은 사용이 불편하고 눈의 깜박거림이 자유롭지 못하며, 계산이 가능한 범위가 제한되어 있다는 단점이 있다.
그리고 상기 머리 장착형 디스플레이 부착 기반 방법은 헤드밴드 또는 헬멧 밑에 작은 카메라를 장착하여 응시위치를 계산하는 방법으로, 사용자의 머리 움직임에 관계없이 응시위치를 계산할 수 있는 장점을 가진다. 하지만 상기 머리 장착형 디스플레이 부착 기반 방법은 밴드나 헬멧 착용이 불편하고 카메라가 눈높이보다 아래에 기울어져 있어 눈의 상하 움직임에 민감하지 못하다는 단점이 있다.
마지막으로 상기 데스크탑 기반 방법은 사용자의 몸에 시선추적 장치를 착용하는 기존의 방법들과는 달리 외부에 회전 및 줌 기능을 가지는 카메라와 조명을 장치하여 응시위치를 계산하는 방법으로, 사용자의 머리 등에 장치를 부착하지 않으므로 사용 편의성이 높다는 장점이 있다. 하지만 상기 데스크탑 기반 방법은 제작 단가가 높고, 복잡한 시선 추적 알고리즘이 요구되며, 추가로 카메라와 모니터간의 위치관계 정립을 위한 복잡한 교정(calibration)이 요구되는 단점이 있다.
이와 같이 현재 제시되고 있는 시선 위치 추적 방법들은 저렴한 가격 및 간편한 사용방법을 제공하는 경우 그 정확성이 떨어지는 문제점을 가지며, 스테레오 카메라, 팬&틸트(pan&tilt) 등과 같은 고가의 많은 하드웨어 장비들로 정확성을 높이는 경우 큰 부피와 무게, 높은 가격 및 많은 단계의 영상처리를 요구하여 저사양 시스템에서는 적용이 불가능하다는 문제점을 가진다. 또한, 현재 제시되고 있는 시선 위치 추적 방법들은 사용자 시선을 가리지 않도록 하기 위해 대부분 사용자 눈높이 아래에 카메라를 위치시킴에 따라, 동공의 상하 움직임에 민감하게 반응하지 못하며, 시선 위치 추적 장치가 하나의 단말에 종속되도록 설계되고 있어 다른 환경과는 호화되지 못하는 문제점을 가진다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 착용성이 뛰어난 경량의 시선 추적 장치 개발 및 촬영된 눈 영상으로부터 추출된 눈에 의한 시선 위치를 얼굴 움직임에 의해 촬영된 전방 영상에서 추정하는 고글 형태를 갖는 착용형 시선 추적 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 고가의 기능을 구비한 카메라를 사용하지 않기 때문에 제작단가가 싸고, 크기가 작고 가벼우며, 적외선 반사거울(hot mirror)을 통해 반사된 눈 영역을 영상으로 취득하므로 사용자의 시선을 가리지 않으면서 특정 방향으로 왜곡되지 않은 눈 영상을 취득하여 사용 편의성과 시선 추적 정확도를 극대화하는 고글 형태를 갖는 착용형 시선 추적 장치 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 고글 형태를 갖는 착용형 시선 추적 장치의 특징은 사용자의 눈 영상 및 사용자의 얼굴 방향에 의한 전방 영상을 각각 획득하는 고글 형태의 영상 획득 모듈과, 상기 획득된 전방 영상을 기반으로 사용자가 응시하고자 하는 범위를 지정하고, 해당 범위를 템플릿 매칭을 통해 실시간으로 추적하여, 상기 획득된 사용자의 눈 영상에서의 동공 중심 위치에 기반하여 시선 위치를 산출하는 영상 처리 모듈을 포함하는데 있다.
바람직하게, 상기 영상 획득 모듈은 전방 영상을 촬영하는 제 1 카메라와, 사용자 눈으로 적외선을 조명하는 적외선 조명부와, 사용자 눈으로 조명된 적외선이 굴절되도록 반사하는 적외선 반사거울(hot mirror)과, 상기 적외선 반사거울을 통해 반사된 적외선을 기반으로 사용자 눈 영상을 획득하는 제 2 카메라를 포함하는 것을 특징으로 한다.
이때, 상기 제 1 카메라는 카메라 렌즈의 광축이 얼굴면의 중심으로부터 수식을 향하도록 상기 영상 획득 모듈의 중앙에 설치되어 사용자의 얼굴 방향에 의한 시야가 촬영되는 것을 특징으로 한다.
그리고 상기 제 2 카메라는 사용자의 눈 하단에 설치하여, 상기 적외선 반사거울을 통해 45도 굴절된 적외선을 촬영하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 고글 형태를 갖는 착용형 시선 추적 방법의 특징은 전 방향을 촬영하는 제 1 카메라에서 촬영된 전방 영상에서의 모니터 구석 위치를 기반으로 모니터 영역을 취득하는 모니터 추적 단계와, 사용자 눈으로 조명된 적외선을 기반으로 제 2 카메라를 통해 촬영된 눈 영상을 획득하여 동공 중심 위치에 기반하여 시선 위치를 취득하는 시선 추적 단계와, 상기 추적된 모니터 구석 위치와 사용자 시선의 동공 중심 위치 간의 관계를 고려한 모니터 평면의 픽셀 단위 논리 좌표 간의 사상 관계를 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 시선 위치 좌표 값을 계산하여 모니터 상의 시선 위치를 결정하는 시선 위치 결정 단계를 포함하여 이루어지는데 있다.
바람직하게 상기 모니터 추적 단계는 상기 제 1 카메라를 통해 사용자의 얼굴 방향에 의한 전방향이 촬영된 전방 영상을 취득하는 단계와, 상기 취득된 전방 영상 내에서 구석 네 점의 좌표 값을 이용하여 모니터 각 구석 좌표 주변영상을 취득 한 후, 이를 이용하여 최초 전방 대상 물체의 모니터 구석좌표를 통한 모니터 영역을 취득하는 단계를 포함하는 것을 특징으로 한다.
바람직하게 상기 시선 추적 단계는 사용자 눈 쪽으로 조명되는 적외선을 기반으로 제 2 카메라에서 촬영된 눈 영상을 취득하는 단계와, 상기 모니터 추적 단계에서 취득된 전방 대상 물체의 최초 모니터 구석좌표를 이용하여 사용자에게 상기 모니터 네 구석 점을 응시하도록 하고, 상기 제 2 카메라로 촬영된 눈 영상에서 상기 모니터 네 구성 점을 응시할 때의 각 동공의 중심 위치를 추출하는 단계를 포함하는 것을 특징으로 한다.
바람직하게 상기 동공 추출 방법은 상기 제 2 카메라로 촬영된 눈 영상에서 원형을 검출하는 단계와, 상기 검출된 원형을 지역 이진화를 통해 동공과 홍채의 경계를 구분하는 단계와, 상기 촬영된 눈 영상 중 동공으로 구분된 영상을 기반으로 동공의 중심 좌표를 취득하는 단계를 포함하는 것을 특징으로 한다.
바람직하게 상기 시선 위치 결정 단계는 상기 모니터 추적 단계에서 취득된 모니터 영역(S2)과, 상기 시선 추적 단계에서 취득된 시선 영역(S1)을 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 상기 시선 영역(S1)을 상기 모니터 영역(S2)으로 변환해주는 제 1 사상행렬(T1)을 계산하는 단계와, 상기 모니터 추적 과정에서 취득된 모니터 영역(S2)과, 실제 픽셀단위의 논리적인 모니터 영역(S3)을 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 상기 취득된 모니터 영역(S2)을 상기 논리적인 모니터 영역(S3)으로 변환해주는 제 2 사상행렬(T2)을 계산하는 단계와, 상기 계산된 제 1 사상행렬(T1)과 제 2 사상행렬(T2)의 곱으로 표현되는 변환행렬(T)을 정의하고, 상기 정의된 변환행렬(T)을 통해 사용자가 응시하는 순간 추출된 동공 위치(W)의 좌표값(
Figure 112009016956369-pat00001
,
Figure 112009016956369-pat00002
)을 모니터 상에서의 모니터 위치 값의 변화에 따른 실제 응시위치(G)의 좌표값(
Figure 112009016956369-pat00003
,
Figure 112009016956369-pat00004
)으로 보정하는 단계와, 상기 보정으로 초기 추출된 모니터 구석에 대한 템플릿을 이용한 탐색을 통해 실시간으로 모니터의 네 구석점을 추정하고, 이에 따라 변경되는 T1과 T2 또한 실시간을 구해서 눈에 의한 시선 위치를 얼굴의 이동 및 얼굴의 회전에 따른 사용자의 얼굴 움직임의 전방 영상에서 추정하여 모니터 상의 시선 위치(X,Y)를 계산하는 단계를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 고글 형태를 갖는 착용형 시선 추적 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 광고나 상품 전시 코너 등에서의 시선 기반 사용자의 관심 영역 분석, 손이 불편한 장애인을 위한 인터페이스, 운전자나 비행 조종사의 조정 습관 훈련, 게임 및 가상현실 등에서의 인터페이스 등 다양한 분야에 적용이 가능한 효과가 있다.
둘째, 고가의 줌(zoom) 및 팬&틸트(pan&tilt) 기능을 구비한 카메라를 사용하지 않기 때문에 제작단가가 싸며, 크기가 작고 가벼운 효과가 있다.
셋째, 적외선 반사거울(hot mirror)을 통해 반사된 눈 영역을 영상으로 취득하므로 사용자의 시선을 가리지 않으면서 특정 방향으로 왜곡되지 않은 눈 영상을 취득 가능하기 때문에 사용 편의성과 시선 추적 정확도를 극대화 할 수 있다.
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 고글 형태를 갖는 착용형 시선 추적 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 실시예에 따른 고글 형태를 갖는 착용형 시선 추적 장치의 구성을 나타낸 구성도이다.
도 1과 같이, 시선 추적 장치는 사용자의 눈 영상 및 사용자의 얼굴 방향에 의한 전방 영상을 각각 획득하는 고글 형태의 영상 획득 모듈(100)과, 기 설정된 알고리즘을 구동하여 상기 획득된 전방 영상을 기반으로 사용자가 응시하고자 하는 범위를 지정하고, 해당 범위를 템플릿 매칭을 통해 실시간으로 추적하여, 상기 획득된 사용자의 눈 영상에서의 동공 중심 위치에 기반하여 시선 위치를 산출하는 영상 처리 모듈(200)을 포함하여 구성된다.
이때, 상기 영상 획득 모듈(100)은 전방 영상을 촬영하는 제 1 카메라(110)와, 사용자 눈 쪽으로 적외선을 조명하는 적외선 조명부(120)와, 사용자 눈으로 조명된 적외선이 굴절되도록 반사하는 적외선 반사거울(hot mirror)(130)과, 상기 적외선 반사거울(130)을 통해 반사된 적외선을 기반으로 사용자 눈 영상을 획득하는 제 2 카메라(140)로 구성된다.
상기 전방의 영상을 촬영하는 제 1 카메라(110)는 사용자의 얼굴 움직임에 의한 시선 방향과 동일한 전방의 영상이 촬영되도록 하기 위해 카메라 렌즈의 광축이 얼굴면의 중심으로부터 수식을 향하도록 고글 형태인 영상 획득 모듈(100)의 중 앙에 설치되어 사용자(착용자)의 얼굴 방향에 의한 시야를 촬영한다.
상기 적외선 조명부(120)는 사용자 눈 쪽으로 적외선을 바로 조명하거나, 또는 사용자 눈 쪽으로 적외선을 바로 조명하지 않고 적외선 반사거울(130) 쪽으로 적외선을 조명하여 적외선 반사거울(130)에 반사된 적외선이 사용자 눈으로 조명되도록 구성할 수도 있다. 이때, 상기 적외선 조명부(120)는 적외선 LED(Light Emitting Diode), 할로겐(Halogen), 크세논램프(Xenon Lamp), 백열등 등의 적외선 파장을 가지는 조명으로 구성된다.
적외선 반사거울(130)은 눈 영상의 왜곡이 없도록 하기 위해서 사용자 눈앞에 45도의 각도로 구성되도록 부착하여, 외부 가시광선 조명의 눈 유입을 막고, 자체 적외선 조명만이 사용자 눈으로 조명되도록 한다.
그리고 눈 영상을 획득하는 제 2 카메라(140)는 사용자의 눈 하단에 설치하여, 상기 적외선 반사거울(130)을 통해 45도 굴절된 적외선을 촬영하여 수직 방향의 왜곡이 없는 사용자 눈 영상을 획득하게 된다. 즉, 상기 제 2 카메라(140)는 동공과 홍채의 경계를 명확하게 하기 위한 적외선 조명에 조사된 영역을 영상으로 취득하며, 렌즈 내부에 위치한 적외선 차단 필터를 제거하고 적외선 투과 필터를 장착하여 적외선에 의해서만 촬영된 영상을 취득한다. 또한 제 2 카메라(140)는 기존의 카메라 렌즈를 대신한 고배율 렌즈를 부착하여, 사용자의 시야를 가리지 않는 범위에서도 시선 추적에 적합한 크기의 동공이 포함한 눈 영상을 취득할 수 있도록 한다.
한편, 상기 제 1 카메라(110) 및 제 2 카메라(140)는 USB(Universal Serial Bus) 타입, IEEE 1394 타입, 카메라 링크 타입, 프레임그레버 기법의 아날로그 타입 등을 사용할 수 있다.
이와 같이 구성된 본 발명에 따른 고글 형태를 갖는 착용형 시선 추적 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 2 는 본 발명의 실시예에 따른 고글 형태를 갖는 착용형 시선 추적 방법을 설명하기 위한 흐름도이다.
도 2를 참조하여 설명하면, 시선 추적 방법은 전 방향을 촬영하는 제 1 카메라(110)에서 촬영된 전방 영상에서의 모니터 구석 위치(좌표)를 기반으로 모니터 영역을 취득하는 모니터 추적(tracking) 과정(S100)과, 적외선을 기반으로 제 2 카메라(140)를 통해 촬영된 눈 영상을 획득하여 동공 중심 위치(좌표)에 기반하여 시선 위치를 취득하는 시선 추적 과정(S200)과, 상기 추적된 모니터 구석 위치(좌표)와 사용자 시선의 동공 중심 위치(좌표) 간의 관계를 고려한 모니터 평면의 픽셀 단위 논리 좌표 간의 사상 관계를 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 시선 위치 좌표값을 계산하여 모니터 상의 시선 위치를 결정하는 시선 위치 결정 과정(S300)으로 구분할 수 있다.
도 3을 참조하여 상기 모니터 추적 과정(S100)을 좀 더 상세히 설명하면 다음과 같다.
상기 모니터 추적 과정(S100)은 먼저, 상기 제 1 카메라(110)를 통해 사용자 의 얼굴 방향에 의한 전방향이 촬영된 전방 영상을 취득한다(S110).
그리고 상기 취득된 전방 영상 내에서 구석 네 점의 좌표값을 사용자의 마우스 클릭을 통해 지정해주고, 모니터 각 구석 좌표 주변영상을 여러 가지 크기로 취득 한 후, 이를 이용하여 최초 전방 대상 물체의 모니터 구석좌표를 통한 모니터 영역을 취득한다(S120). 이때, 상기 최초 전방 대상 물체의 구석좌표는 사용자의 지정이 아닌 코너 검출(corner detection), 에지 검출(edge detection) 혹은 템플릿 매칭(template matching) 등과 같은 자동 검출방법에 의해 얻을 수 있다.
도 6의 (
Figure 112009016956369-pat00005
,
Figure 112009016956369-pat00006
)(
Figure 112009016956369-pat00007
,
Figure 112009016956369-pat00008
)(
Figure 112009016956369-pat00009
,
Figure 112009016956369-pat00010
)(
Figure 112009016956369-pat00011
,
Figure 112009016956369-pat00012
)의 구석좌표를 갖는“S2”는 상기 제 1 카메라(110)를 통해 취득된 모니터 영역을 말한다. 이를 행렬식으로 표현하면
Figure 112009016956369-pat00013
이다.
한편, 상기 여러 가지 크기로 취득된 영상을 적응적인 템플릿 매칭(adaptive template matching)을 이용한 자동 검출방법을 사용하면, 사용자(착용자)의 움직임 발생 시에도 새로운 모니터 구석 좌표의 추적이 가능하다.
다음으로, 도 4를 참조하여 상기 시선 추적 과정(S200)을 좀 더 상세히 설명하면 다음과 같다.
상기 시선 추적 과정(S200)은 먼저, 적외선 조명부(120)에서 사용자 눈 쪽으로 조명되는 적외선을 기반으로 제 2 카메라(140)에서 촬영된 눈 영상을 취득한 다(S210).
이어 상기 모니터 추적 과정(S100)에서 취득된 전방 대상 물체의 최초 모니터 구석좌표를 이용하여 사용자에게 상기 모니터 네 구석점을 응시하도록 하고, 상기 제 2 카메라(140)로 촬영된 눈 영상에서 상기 모니터 네 구성 점을 응시할 때의 각 동공의 중심 위치(좌표)를 추출한다(S220). 이때, 상기 동공 추출 방법은 원형 검출 알고리즘 기반의 방법으로서, 먼저 상기 제 2 카메라(140)로 촬영된 눈 영상에서 원형을 검출한 후(S222), 지역 이진화를 통해 동공과 홍채의 경계를 명확하게 구분 짓는다(S224). 이후, 상기 촬영된 눈 영상 중 동공으로 구분된 영상을 기반으로 동공의 중심 좌표를 취득한다(S226).
도 6의 (x1,y1)(x2,y2)(x3,y3)(x4,y4)의 구석좌표를 갖는“S1"는 상기 제 2 카메라(140)를 통해 취득된 시선 영역을 말한다. 이를 행렬식으로 표현하면
Figure 112009016956369-pat00014
이다.
마지막으로 도 5를 참조하여 상기 시선 위치 결정 과정(S300)을 좀 더 상세히 설명하면 다음과 같다.
상기 시선 위치 결정 과정(S300)은 먼저, 상기 모니터 추적 과정(S100)에서 취득된 모니터 영역(S2)과, 상기 시선 추적 과정(S200)에서 취득된 시선 영역(S1)을 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 상기 시선 영역(S1)을 상기 모니터 영역(S2)으로 변환해주는 제 1 사상행렬(T1)을 계산한다(S310). 상기 제 1 사상행렬(T1)은 다음 수학식 1을 통해 산출된다.
S2 = T1 x S1
이때, S1 =
Figure 112009016956369-pat00015
이고, S2 =
Figure 112009016956369-pat00016
이며, T1 =
Figure 112009016956369-pat00017
이다.
또한, 상기 모니터 추적 과정(S100)에서 취득된 모니터 영역(S2)과, 실제 픽셀단위의 논리적인 모니터 영역(S3)을 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 상기 취득된 모니터 영역(S2)을 상기 논리적인 모니터 영역(S3)으로 변환해주는 제 2 사상행렬(T2)을 계산한다(S320). 상기 제 2 사상행렬(T2)은 다음 수학식 2를 통해 산출된다.
S3 = T2 x S2 = T2 x T1 x S1
이때, S3 =
Figure 112009016956369-pat00018
이며, T2 =
Figure 112009016956369-pat00019
이다.
즉, 도 6에서 도시된 것과 같이, 제 2 카메라(140)에서 취득된 동공의 이동영역을 나타내는 시선 영역(S1)을 나타내는 사각형을 제 2 카메라(140)에서 취득된 모니터 영역(S2)을 나타내는 사각형으로 변환해주는 제 1 사상행렬(T1)과, 상기 취득된 모니터 영역(S2)을 나타내는 사각형을 실제 픽셀단위의 논리적인 모니터 영역(S3)을 나타내는 사각형으로 변환해주는 제 2 사상행렬(T2)을 수학식 1 및 수학식 2를 이용하여 각각 산출한다. 참고로 상기 수학식 1, 2와 같은 기하 변환(geometric transform)을 대신해서, 유사 변환(affine transform), 사영 변환(projective transform), 교차비(cross ratio) 등의 변형 방법을 사용할 수도 있다.
한편, 계산식 수학식 1 및 수학식 2를 다음의 수학식 3과 같이 치환하면 제 1 사상행렬(T1)과 제 2 사상행렬(T2)의 곱으로 표현되는 변환행렬(T)을 정의할 수 있다(S330).
Figure 112009016956369-pat00020
Figure 112009016956369-pat00021
Figure 112009016956369-pat00022
S3 = T2 x T1 x = T x =
이때, T = T2 x T1 이다.
따라서 T =
Figure 112009016956369-pat00023
이다.
그리고 상기 수학식 3에서 정의된 변환행렬(T)을 통해 사용자가 응시하는 순간 추출된 동공 위치(W)의 좌표값(
Figure 112009016956369-pat00024
,
Figure 112009016956369-pat00025
)을 모니터 상에서의 모니터 위치 값의 변화에 따른 실제 응시위치(G)의 좌표값(
Figure 112009016956369-pat00026
,
Figure 112009016956369-pat00027
)으로 보정할 수 있으며, 이는 다음 수학식 4를 통해 보정된다(S350).
Figure 112009016956369-pat00028
그리고 상기 보정으로 사용자의 얼굴 움직임에 따라 전방 영상에서의 모니터 영역의 위치는 도 7과 같이 모니터 사각의 변화 및 무게중심의 위치가 각각 바뀌게 되므로, 초기 추출된 모니터 구석에 대한 템플릿을 이용한 탐색을 통해 실시간으로 모니터의 네 구석점을 추정하게 된다. 이에 따라 변경되는 T1과 T2 또한 실시간을 구해서 눈에 의한 시선 위치를 얼굴의 이동 및 얼굴의 회전에 따른 사용자의 얼굴 움직임의 전방 영상에서 추정하여 정확한 모니터 상의 시선 위치(X,Y)를 계산할 수 있게 된다(S360).
즉, 수학식 5와 같이 네 모니터 구석이 형성하는 사각형의 무게중심(C) 이동량과 각 구석에서의 각도 변화를 이용하여 얼굴 이동 및 얼굴 회전에 강인한 모니터 상의 시선위치(X,Y)를 구할 수 있게 된다.
Figure 112009016956369-pat00029
시선 위치(X,Y) =
상기 수학식 5에서, 상기 무게 중심(C)은 얼굴의 이동을 의미하며, C =
Figure 112009016956369-pat00030
=
Figure 112009016956369-pat00031
로 표현된다.
또한, 상기 움직임 변수(
Figure 112009016956369-pat00032
)는 얼굴의 회전을 의미하며,
Figure 112009016956369-pat00033
=
Figure 112009016956369-pat00034
로 표현된다. 이때, 상기
Figure 112009016956369-pat00035
은 움직임 가중치이고, 상기
Figure 112009016956369-pat00036
는 모니터 사각형의 네 각을 말한다.
도 8 은 본 발명에 따른 고글 형태를 갖는 착용형 시선 추적 장치 및 방법을 통해 구현되는 시선 추적의 실시예를 나타낸 캡처 화면으로서, 제 1 카메라(110)를 통해 취득된 전방 영상 화면(112)과, 제 2 카메라(140)를 통해 취득된 눈 영상 화면(142)이 표시되며, 자동 검출방법을 통한 모니터 각 구석 좌표 주변영상 화면(114)이 표시된다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 1 은 본 발명의 실시예에 따른 고글 형태를 갖는 착용형 시선 추적 장치의 구성을 나타낸 구성도
도 2 는 본 발명의 실시예에 따른 고글 형태를 갖는 착용형 시선 추적 방법을 설명하기 위한 흐름도
도 3 은 도 2의 모니터 추적 과정을 상세히 설명하기 위한 흐름도
도 4 는 도 2의 시선 추적 과정을 상세히 설명하기 위한 흐름도
도 5 는 도 2의 시선 위치 결정 과정을 상세히 설명하기 위한 흐름도
도 6 은 본 발명에 따른 고글 형태를 갖는 착용형 시선 추적에서 기하 변환(geometric transform)을 이용한 사상행렬의 계산을 설명하기 위한 도면
도 7 은 본 발명에 따른 고글 형태를 갖는 착용형 시선 추적에서 사용자의 고개 이동에 따른 모니터 사각의 변화 및 무게중심 위치를 설명하기 위한 도면
도 8 은 본 발명에 따른 고글 형태를 갖는 착용형 시선 추적 장치 및 방법을 통해 구현되는 시선 추적의 실시예를 나타낸 캡처 화면
*도면의 주요부분에 대한 부호의 설명
100 : 영상 획득 모듈 110 : 제 1 카메라
120 : 적외선 조명부 130 : 적외선 반사거울(hot mirror)
140 : 제 2 카메라 200 : 영상 처리 모듈

Claims (14)

  1. 사용자의 눈 영상 및 사용자의 얼굴 방향에 의한 전방 영상을 각각 획득하는 고글 형태의 영상 획득 모듈과,
    상기 획득된 전방 영상을 기반으로 사용자가 응시하고자 하는 범위를 지정하고, 해당 범위를 템플릿 매칭을 통해 실시간으로 추적하여, 상기 획득된 사용자의 눈 영상에서의 동공 중심 위치에 기반하여 시선 위치를 산출하는 영상 처리 모듈을 포함하고,
    상기 영상 획득 모듈은
    전방 영상을 촬영하는 제 1 카메라와,
    사용자 눈으로 적외선을 조명하는 적외선 조명부와,
    사용자 눈으로 조명된 적외선이 굴절되도록 반사하는 적외선 반사거울(hot mirror)과,
    상기 적외선 반사거울을 통해 반사된 적외선을 기반으로 사용자 눈 영상을 획득하는 제 2 카메라를 포함하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제 1 카메라는 카메라 렌즈의 광축이 얼굴면의 중심으로부터 수식을 향하도록 상기 영상 획득 모듈의 중앙에 설치되어 사용자의 얼굴 방향에 의한 시야가 촬영되는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치.
  4. 제 1 항에 있어서,
    상기 적외선 조명부는 사용자 눈 쪽으로 적외선을 바로 조명하거나, 또는 상기 적외선 반사거울 쪽으로 적외선을 조명하여 적외선 반사거울에 반사된 적외선이 사용자 눈으로 조명되도록 구성되는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치.
  5. 제 1 항 또는 제 4 항에 있어서,
    상기 적외선 조명부는 적외선 LED(Light Emitting Diode), 할로겐(Halogen), 크세논램프(Xenon Lamp), 백열등 중 어느 하나인 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치.
  6. 제 1 항에 있어서,
    상기 적외선 반사거울은 사용자 눈앞에 45도의 각도로 구성되는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치.
  7. 제 1 항에 있어서,
    상기 제 2 카메라는 사용자의 눈 하단에 설치하여, 상기 적외선 반사거울을 통해 45도 굴절된 적외선을 촬영하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치.
  8. 제 1 항에 있어서,
    상기 제 1 카메라 및 제 2 카메라는 USB(Universal Serial Bus) 타입, IEEE 1394 타입, 카메라 링크 타입, 프레임그레버 기법의 아날로그 타입 중 어느 하나의 타입으로 구성되는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 장치.
  9. 전 방향을 촬영하는 제 1 카메라에서 촬영된 전방 영상에서의 모니터 구석 위치를 기반으로 모니터 영역을 취득하는 모니터 추적 단계와,
    사용자 눈으로 조명된 적외선을 기반으로 제 2 카메라를 통해 촬영된 눈 영상을 획득하여 동공 중심 위치에 기반하여 시선 위치를 취득하는 시선 추적 단계와,
    상기 추적된 모니터 구석 위치와 사용자 시선의 동공 중심 위치 간의 관계를 고려한 모니터 평면의 픽셀 단위 논리 좌표 간의 사상 관계를 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 시선 위치 좌표값을 계산하여 모니터 상의 시선 위치를 결정하는 시선 위치 결정 단계를 포함하여 이루어지는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법.
  10. 제 9 항에 있어서, 상기 모니터 추적 단계는
    상기 제 1 카메라를 통해 사용자의 얼굴 방향에 의한 전방향이 촬영된 전방 영상을 취득하는 단계와,
    상기 취득된 전방 영상 내에서 구석 네 점의 좌표값을 이용하여 모니터 각 구석 좌표 주변영상을 취득 한 후, 이를 이용하여 최초 전방 대상 물체의 모니터 구석좌표를 통한 모니터 영역을 취득하는 단계를 포함하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법.
  11. 제 10 항에 있어서,
    상기 최초 전방 대상 물체의 구석좌표는 코너 검출(corner detection), 에지 검출(edge detection), 템플릿 매칭(template matching), 적응적인 템플릿 매칭(adaptive template matching) 중 적어도 하나의 자동 검출방법에 의해 검출하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법.
  12. 제 9 항에 있어서, 상기 시선 추적 단계는
    사용자 눈 쪽으로 조명되는 적외선을 기반으로 제 2 카메라에서 촬영된 눈 영상을 취득하는 단계와,
    상기 모니터 추적 단계에서 취득된 전방 대상 물체의 최초 모니터 구석좌표를 이용하여 사용자에게 상기 모니터 네 구석점을 응시하도록 하고, 상기 제 2 카메라로 촬영된 눈 영상에서 상기 모니터 네 구성 점을 응시할 때의 각 동공의 중심 위치를 추출하는 단계를 포함하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시 선 추적 방법.
  13. 제 12 항에 있어서, 상기 동공 추출 방법은
    상기 제 2 카메라로 촬영된 눈 영상에서 원형을 검출하는 단계와,
    상기 검출된 원형을 지역 이진화를 통해 동공과 홍채의 경계를 구분하는 단계와,
    상기 촬영된 눈 영상 중 동공으로 구분된 영상을 기반으로 동공의 중심 좌표를 취득하는 단계를 포함하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법.
  14. 제 9 항에 있어서, 상기 시선 위치 결정 단계는
    상기 모니터 추적 단계에서 취득된 모니터 영역(S2)과, 상기 시선 추적 단계에서 취득된 시선 영역(S1)을 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 상기 시선 영역(S1)을 상기 모니터 영역(S2)으로 변환해주는 제 1 사상행렬(T1)을 계산하는 단계와,
    상기 모니터 추적 과정에서 취득된 모니터 영역(S2)과, 실제 픽셀단위의 논리적인 모니터 영역(S3)을 기하 변환(geometric transform) 기반의 행렬 연산으로 정의하고, 이를 이용하여 상기 취득된 모니터 영역(S2)을 상기 논리적인 모니터 영 역(S3)으로 변환해주는 제 2 사상행렬(T2)을 계산하는 단계와,
    상기 계산된 제 1 사상행렬(T1)과 제 2 사상행렬(T2)의 곱으로 표현되는 변환행렬(T)을 정의하고, 상기 정의된 변환행렬(T)을 통해 사용자가 응시하는 순간 추출된 동공 위치(W)의 좌표값(
    Figure 112009016956369-pat00037
    ,
    Figure 112009016956369-pat00038
    )을 모니터 상에서의 모니터 위치 값의 변화에 따른 실제 응시위치(G)의 좌표값(
    Figure 112009016956369-pat00039
    ,
    Figure 112009016956369-pat00040
    )으로 보정하는 단계와,
    상기 보정으로 초기 추출된 모니터 구석에 대한 템플릿을 이용한 탐색을 통해 실시간으로 모니터의 네 구석점을 추정하고, 이에 따라 변경되는 T1과 T2 또한 실시간을 구해서 눈에 의한 시선 위치를 얼굴의 이동 및 얼굴의 회전에 따른 사용자의 얼굴 움직임의 전방 영상에서 추정하여 모니터 상의 시선 위치(X,Y)를 계산하는 단계를 포함하는 것을 특징으로 하는 고글 형태를 갖는 착용형 시선 추적 방법.
KR1020090023930A 2009-03-20 2009-03-20 고글 형태를 갖는 착용형 시선 추적 장치 및 방법 KR100949743B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090023930A KR100949743B1 (ko) 2009-03-20 2009-03-20 고글 형태를 갖는 착용형 시선 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090023930A KR100949743B1 (ko) 2009-03-20 2009-03-20 고글 형태를 갖는 착용형 시선 추적 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100949743B1 true KR100949743B1 (ko) 2010-03-25

Family

ID=42183841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090023930A KR100949743B1 (ko) 2009-03-20 2009-03-20 고글 형태를 갖는 착용형 시선 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100949743B1 (ko)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101191640B1 (ko) * 2011-02-23 2012-10-17 동국대학교 산학협력단 사용자에게 정보를 전달하는 정보전달장치 및 그 방법
KR101230566B1 (ko) * 2011-05-06 2013-02-07 경북대학교 산학협력단 제어 디바이스 및 그 제어 방법
KR101255219B1 (ko) 2011-10-13 2013-04-24 상명대학교 산학협력단 시선 추적 방법 및 이를 적용한 장치
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
WO2014028477A1 (en) * 2012-08-14 2014-02-20 Carnegie Mellon University Systems and methods for iris detection and gaze estimation
KR101383235B1 (ko) * 2010-06-17 2014-04-17 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법
KR20140126630A (ko) * 2013-04-23 2014-10-31 한국전자통신연구원 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치
KR101471488B1 (ko) * 2012-03-23 2014-12-10 경북대학교 산학협력단 시선 추적 장치 및 방법
KR20140145661A (ko) * 2013-06-13 2014-12-24 한양대학교 산학협력단 볼록거울과 카메라를 이용한 안면 영상 획득 방법 및 그 장치
KR101557152B1 (ko) 2014-04-02 2015-10-05 서울시립대학교 산학협력단 광고노출 측정 장치, 방법 및 기록매체
KR20160062906A (ko) 2014-11-26 2016-06-03 송명진 고글형 디바이스를 위한 증강현실 키보드
KR101732618B1 (ko) 2016-02-02 2017-05-08 동국대학교 산학협력단 시선 추적 장치 및 방법
WO2018084649A1 (ko) * 2016-11-04 2018-05-11 삼성전자 주식회사 눈을 촬영하여 정보를 획득하는 방법 및 장치
US9977243B2 (en) 2015-01-16 2018-05-22 Hyundai Motor Company Method for executing vehicle function using wearable device and vehicle for carrying out the same
WO2018093102A1 (ko) * 2016-11-16 2018-05-24 (주)스코넥엔터테인먼트 단일 카메라를 이용한 양안 촬영 장치
KR101920319B1 (ko) * 2012-11-14 2018-11-20 삼성전자주식회사 이미지 촬영을 위한 휴대용 장치
CN112804796A (zh) * 2021-02-09 2021-05-14 中国人民解放军海军特色医学中心 基于视线追踪技术控制的智能床头灯及其调控方法
US11137608B2 (en) 2019-09-25 2021-10-05 Electronics And Telecommunications Research Institute Slim immersive display device, slim visualization device, and user eye-tracking device
US11216974B2 (en) 2017-12-14 2022-01-04 Samsung Electronics Co., Ltd. Staring distance determination method and device
KR20240060054A (ko) 2022-10-28 2024-05-08 주식회사 엘지화학 점착 필름
KR20240063234A (ko) 2022-10-28 2024-05-10 주식회사 엘지화학 광학 적층체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09206279A (ja) * 1996-01-31 1997-08-12 Canon Inc 眼球組織形状検出装置および視線検出装置
JPH10206789A (ja) * 1997-01-22 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JP2007004448A (ja) * 2005-06-23 2007-01-11 Honda Motor Co Ltd 視線検出装置
JP2007522496A (ja) 2004-01-13 2007-08-09 オフソニックス・インコーポレーテッド カスタム眼鏡の製造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09206279A (ja) * 1996-01-31 1997-08-12 Canon Inc 眼球組織形状検出装置および視線検出装置
JPH10206789A (ja) * 1997-01-22 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JP2007522496A (ja) 2004-01-13 2007-08-09 オフソニックス・インコーポレーテッド カスタム眼鏡の製造方法
JP2007004448A (ja) * 2005-06-23 2007-01-11 Honda Motor Co Ltd 視線検出装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383235B1 (ko) * 2010-06-17 2014-04-17 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법
KR101191640B1 (ko) * 2011-02-23 2012-10-17 동국대학교 산학협력단 사용자에게 정보를 전달하는 정보전달장치 및 그 방법
KR101230566B1 (ko) * 2011-05-06 2013-02-07 경북대학교 산학협력단 제어 디바이스 및 그 제어 방법
KR101255219B1 (ko) 2011-10-13 2013-04-24 상명대학교 산학협력단 시선 추적 방법 및 이를 적용한 장치
US9390326B2 (en) * 2011-11-07 2016-07-12 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
WO2013070788A1 (en) * 2011-11-07 2013-05-16 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US20150220779A1 (en) * 2011-11-07 2015-08-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR101471488B1 (ko) * 2012-03-23 2014-12-10 경북대학교 산학협력단 시선 추적 장치 및 방법
WO2014028477A1 (en) * 2012-08-14 2014-02-20 Carnegie Mellon University Systems and methods for iris detection and gaze estimation
KR101920319B1 (ko) * 2012-11-14 2018-11-20 삼성전자주식회사 이미지 촬영을 위한 휴대용 장치
KR20140126630A (ko) * 2013-04-23 2014-10-31 한국전자통신연구원 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치
KR102012254B1 (ko) 2013-04-23 2019-08-21 한국전자통신연구원 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치
KR101674709B1 (ko) 2013-06-13 2016-11-10 한양대학교 산학협력단 볼록거울과 카메라를 이용한 안면 영상 획득 방법 및 그 장치
KR20140145661A (ko) * 2013-06-13 2014-12-24 한양대학교 산학협력단 볼록거울과 카메라를 이용한 안면 영상 획득 방법 및 그 장치
KR101557152B1 (ko) 2014-04-02 2015-10-05 서울시립대학교 산학협력단 광고노출 측정 장치, 방법 및 기록매체
KR20160062906A (ko) 2014-11-26 2016-06-03 송명진 고글형 디바이스를 위한 증강현실 키보드
US9977243B2 (en) 2015-01-16 2018-05-22 Hyundai Motor Company Method for executing vehicle function using wearable device and vehicle for carrying out the same
KR101732618B1 (ko) 2016-02-02 2017-05-08 동국대학교 산학협력단 시선 추적 장치 및 방법
US11307646B2 (en) 2016-11-04 2022-04-19 Samsung Electronics Co., Ltd. Method and apparatus for acquiring information by capturing eye
WO2018084649A1 (ko) * 2016-11-04 2018-05-11 삼성전자 주식회사 눈을 촬영하여 정보를 획득하는 방법 및 장치
WO2018093102A1 (ko) * 2016-11-16 2018-05-24 (주)스코넥엔터테인먼트 단일 카메라를 이용한 양안 촬영 장치
US11216974B2 (en) 2017-12-14 2022-01-04 Samsung Electronics Co., Ltd. Staring distance determination method and device
US11137608B2 (en) 2019-09-25 2021-10-05 Electronics And Telecommunications Research Institute Slim immersive display device, slim visualization device, and user eye-tracking device
CN112804796A (zh) * 2021-02-09 2021-05-14 中国人民解放军海军特色医学中心 基于视线追踪技术控制的智能床头灯及其调控方法
KR20240060054A (ko) 2022-10-28 2024-05-08 주식회사 엘지화학 점착 필름
KR20240063234A (ko) 2022-10-28 2024-05-10 주식회사 엘지화학 광학 적층체

Similar Documents

Publication Publication Date Title
KR100949743B1 (ko) 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
CN113729611B (zh) 使用眼球中心位置的眼睛追踪
CN106168853B (zh) 一种自由空间头戴式视线跟踪系统
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
JP6498606B2 (ja) ウエアラブル視線計測デバイス及び使用方法
KR100850357B1 (ko) 시선 위치 추적 방법 및 그 장치
US7682026B2 (en) Eye location and gaze detection system and method
JP5467303B1 (ja) 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
CN109429060B (zh) 瞳孔距离测量方法、可穿戴眼部设备及存储介质
KR101094766B1 (ko) 시선 위치 추적 장치 및 방법
WO2018076202A1 (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
US20180336720A1 (en) Systems and Methods For Generating and Using Three-Dimensional Images
CN104809424B (zh) 一种基于虹膜特征实现视线追踪的方法
US12056274B2 (en) Eye tracking device and a method thereof
US20160363995A1 (en) Circular light element for illumination of cornea in head mounted eye-tracking
WO2019010959A1 (zh) 用于确定视线的方法、设备和计算机可读存储介质
US9928421B2 (en) Method for helping determine the vision parameters of a subject
WO2015051605A1 (zh) 图像采集定位方法及图像采集定位装置
KR20130107981A (ko) 시선 추적 장치 및 방법
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
US10288879B1 (en) Method and system for glint/reflection identification
CN209358681U (zh) 一种应用于手术室内的裸眼3d人眼追踪设备
WO2019228634A1 (en) Method and system for glint/reflection identification
CN110377158B (zh) 基于变化视场范围的眼球追踪的校准方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130312

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140313

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160311

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 10