KR102469762B1 - 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법 - Google Patents
시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법 Download PDFInfo
- Publication number
- KR102469762B1 KR102469762B1 KR1020180141303A KR20180141303A KR102469762B1 KR 102469762 B1 KR102469762 B1 KR 102469762B1 KR 1020180141303 A KR1020180141303 A KR 1020180141303A KR 20180141303 A KR20180141303 A KR 20180141303A KR 102469762 B1 KR102469762 B1 KR 102469762B1
- Authority
- KR
- South Korea
- Prior art keywords
- pupil
- proximity
- lights
- voltages
- light
- Prior art date
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 282
- 238000000034 method Methods 0.000 title claims description 21
- 230000004466 optokinetic reflex Effects 0.000 title claims description 5
- 230000003287 optical effect Effects 0.000 claims abstract description 26
- 210000004087 cornea Anatomy 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims description 92
- 210000001508 eye Anatomy 0.000 claims description 37
- 210000003128 head Anatomy 0.000 description 10
- 230000004424 eye movement Effects 0.000 description 9
- 230000011514 reflex Effects 0.000 description 9
- 210000001525 retina Anatomy 0.000 description 8
- 230000012043 vestibular reflex Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000026058 directional locomotion Effects 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 5
- 230000004886 head movement Effects 0.000 description 4
- 239000004984 smart glass Substances 0.000 description 4
- 230000009012 visual motion Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000000873 fovea centralis Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/32—Holograms used as optical elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0033—Means for improving the coupling-out of light from the light guide
- G02B6/005—Means for improving the coupling-out of light from the light guide provided by one optical element, or plurality thereof, placed on the light output side of the light guide
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/10—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type
- G02B6/102—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type for infrared and ultraviolet radiation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Eye Examination Apparatus (AREA)
Abstract
본 발명의 실시 예에 따른 시운동 반사(optokinetic reflex)에 따라 움직이는 눈의 동공 중심 위치 및 동공과 객체 간의 근접 깊이를 측정하는 동공 추적 장치는, 적외광을 출력하는 광원, 객체광(object light)을 출력하는 디스플레이, 적외광 및 객체광을 동공을 향하는 방향으로 안내(guide)하는 웨이브가이드(waveguide), 눈의 각막에서 반사된 적외광을 복수의 광으로 분리하는 필름, 및 복수의 광을 검출하고 동공 중심 위치 및 근접 깊이를 측정하는 광픽업(optical pick-up)을 포함할 수 있다.
Description
본 발명은 동공 추적 장치 및 동공 추적 방법에 관한 것으로, 좀 더 자세하게는 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법에 관한 것이다.
가상 현실이나 증강 현실 기술을 구현하기 위해, 스마트 글라스(smart glass)에는 사용자의 동공을 검출하고 동공의 위치를 측정하는 기술이 사용되고 있다. 일반적으로, 전정안 반사에 따른 눈의 움직임에 기초하여 동공을 추적하는 장치는 사용자에게 머리를 움직이도록 요구한다. 따라서, 스마트 글라스를 착용하는 사용자에게 효과적으로 시선 추적 서비스를 제공하기 위해 머리의 움직임과 무관하게 눈의 움직임을 검출할 수 있는 기술이 요구되고 있다.
또한, 스마트 글라스를 편리하게 사용하기 위해서, 양안 카메라나 빔포밍(beamforming) 장치 없이 동공의 움직임을 검출할 수 있는 기술이 필요하다.
본 발명은 상술한 기술적 과제를 해결하기 위한 것으로, 본 발명은 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법을 제공할 수 있다.
본 발명의 실시 예에 따른 시운동 반사(optokinetic reflex)에 따라 움직이는 눈의 동공 중심 위치 및 동공과 객체 간의 근접 깊이를 측정하는 동공 추적 장치는, 적외광을 출력하는 광원, 객체광(object light)을 출력하는 디스플레이, 적외광 및 객체광을 동공을 향하는 방향으로 안내(guide)하는 웨이브가이드(waveguide), 눈의 각막에서 반사된 적외광을 복수의 광으로 분리하는 필름, 및 복수의 광을 검출하고 동공 중심 위치 및 근접 깊이를 측정하는 광픽업(optical pick-up)을 포함할 수 있다.
본 발명의 실시 예에 따른 시운동 반사에 따라 움직이는 눈의 동공 중심 위치 및 동공과 객체 간의 근접 깊이를 측정하는 동공 추적 방법은, 광원에 의해 적외광을 출력하고 그리고 디스플레이에 의해 객체광을 출력하는 단계, 눈의 각막에서 반사된 적외광을 복수의 광으로 분리하는 단계, 복수의 광검출기들에 의해 각각 복수의 광을 검출하는 단계, 복수의 광에 기초하여 동공 중심 위치 및 근접 깊이를 측정하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 동공 추적 장치 및 동공 추적 방법은 시운동 반사에 따른 눈의 움직임을 검출할 수 있다.
본 발명의 실시 예에 따른 동공 추적 장치 및 동공 추적 방법은 머리의 움직임 없이 동공 중심 위치 및 동공과 객체 간의 근접 깊이를 측정할 수 있다.
도 1은 전정안 반사에 따른 눈의 움직임을 도시한다.
도 2는 시운동 반사에 따른 눈의 움직임을 도시한다.
도 3은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치의 블록도를 도시한다.
도 4는 도 3의 동공 추적 장치를 좀 더 구체적으로 도시한다.
도 5는 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 예시적인 광픽업의 블록도를 도시한다.
도 6은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 광검출기들의 예시적인 배치를 도시한다.
도 7은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 필름 및 광검출기들의 예시적인 배치를 도시한다.
도 8은 도 6의 예시적인 광검출기들의 배치에 있어서 동공의 움직임 방향을 검출하는 광검출기들의 사용을 보여주는 예시적인 표를 도시한다.도 9는 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 방법을 도시한다.
도 10은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 예시적인 광픽업의 다른 블록도를 도시한다.
도 11은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 광검출기들의 또 다른 예시적인 배치를 도시한다.
도 12는 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 방법을 예시적으로 보여주는 순서도이다.
도 2는 시운동 반사에 따른 눈의 움직임을 도시한다.
도 3은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치의 블록도를 도시한다.
도 4는 도 3의 동공 추적 장치를 좀 더 구체적으로 도시한다.
도 5는 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 예시적인 광픽업의 블록도를 도시한다.
도 6은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 광검출기들의 예시적인 배치를 도시한다.
도 7은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 필름 및 광검출기들의 예시적인 배치를 도시한다.
도 8은 도 6의 예시적인 광검출기들의 배치에 있어서 동공의 움직임 방향을 검출하는 광검출기들의 사용을 보여주는 예시적인 표를 도시한다.도 9는 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 방법을 도시한다.
도 10은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 예시적인 광픽업의 다른 블록도를 도시한다.
도 11은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 광검출기들의 또 다른 예시적인 배치를 도시한다.
도 12는 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 방법을 예시적으로 보여주는 순서도이다.
아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.
이하의 설명에서, 머리, 눈, 및 동공의 움직임을 설명하기 위한 왼쪽, 오른쪽, 위쪽, 및 아래쪽 방향들은 모두 머리 및 눈을 관찰하는 관찰자를 기반으로 한다. 동공의 왼쪽, 오른쪽, 위쪽, 및 아래쪽 방향들은 동공 중심 위치를 기준으로 정의한다. 눈이 정면을 바라보는 경우, 동공은 동공 중심 위치에 위치한다. 동공에 대한 객체의 근접 방향은 객체가 동공을 향하여 가까워지는 방향으로 정의한다. 예를 들어, 동공의 수평 방향은 위쪽 및 아래쪽 방향들을 포함하고 그리고 동공의 수직 방향은 위쪽 및 아래쪽 방향들을 포함한다.
도 1은 전정안 반사에 따른 눈의 움직임을 도시한다. 도 2는 시운동 반사에 따른 눈의 움직임을 도시한다. 도 1 및 도 2는 함께 설명될 것이다. 객체, 대상, 또는 이미지를 바라보는 시선 추적 운동은 전정안 반사(vestibule-ocular reflex)와 시운동 반사(optokinetic reflex)로 분류될 수 있다. 전정안 반사는 머리가 움직일 때 안구의 움직임을 자동적으로 유지하는 반사이다. 도 1을 참조하면, 머리가 움직이는 동안, 전정안 반사는 머리의 운동 방향과 반대 방향으로 안구를 움직일 수 있다. 객체가 고정되어 있는 경우, 머리가 회전하더라도 전정안 반사에 의해 시선은 객체에 고정될 수 있다. 예를 들어, 머리가 오른쪽으로 움직이는 경우, 전정안 반사를 통해 눈은 왼쪽으로 움직일 수 있다. 전정안 반사에 의해 이미지는 망막에 가능한 오랫동안 맺힐 수 있고 눈은 시야의 객체를 분명하게 볼 수 있다. 전정안 반사는 시야의 초점 및 망막의 객체를 안정화시킬 수 있고 시야의 중심에 있는 객체를 보존할 수 있다.
시운동 반사(optokinetic reflex)는 단속운동과 연성추적운동의 결합이다. 도 2를 참조하면, 머리가 고정되어 있고 객체가 움직이는 동안, 시운동 반사는 움직이는 객체의 방향으로 안구를 움직일 수 있다. 머리는 고정된 채, 시선은 움직이는 객체에 유지될 수 있다. 예를 들어, 창 밖에서 움직이는 객체를 바라보는 경우, 안구는 짧은 순간 동안 연성 추적을 통해 객체가 시야 밖으로 사라질 때가지 움직이는 객체에 초점을 맞출 수 있다. 객체가 시야 밖으로 사라지는 시점에 안구는 객체를 처음 봤던 지점으로 움직일 수 있다.
일반적으로, 전정안 반사에 따른 눈의 움직임에 기초하여 동공을 추적하는 장치는 사용자가 머리를 움직이도록 요구한다. 다만, 시운동 반사에 따른 눈의 움직임에 기초하여 동공을 추적하는 장치는 머리의 움직임과 무관하게 눈의 움직임을 검출할 수 있다. 따라서, 스마트 글라스를 착용하는 사용자에게 효과적으로 시선 추적 서비스를 제공하기 위해서, 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법이 요구된다.
도 3은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치의 블록도를 도시한다. 동공 추적 장치(1000)는 광원(1100), 웨이브가이드(1200), 필름(1300), 광픽업(1400), 및 디스플레이(1500)를 포함할 수 있다.
광원(1100)은 적외광을 출력하는 레이저 다이오드일 수 있다. 광원(1100)에서 출력된 적외광은 웨이브가이드(1200)를 거쳐 눈(10)의 동공을 향한 방향으로 전파될 수 있다. 전파된 적외광은 눈(10)의 각막(11)에 도달할 수 있다. 광원(1100)은 적외광을 각막(11)으로 투사할 수 있고 그리고 각막(11)에 도달한 적외광은 각막(11)에서 반사될 수 있다. 반사된 적외광은 웨이브가이드(1200)를 거쳐 동공을 향한 방향의 역방향으로 전파될 수 있다. 역방향으로 전파되는 경우, 적외광은 웨이브가이드(1200)를 거쳐 광픽업(1400)에 도달할 수 있다.
일 실시 예에서, 반사된 적외광은 웨이브가이드(1200)를 거쳐 필름(1300)을 투과하고 그리고 필름(1300)에 의해 복수의 광으로 분리될 수 있다. 필름(1300)에 의해 분리된 복수의 광은 광픽업(1400)에 도달할 수 있다. 다른 실시 예에서, 적외광은 필름(1300)에 의해 제 1 내지 제 4 광으로 분리될 수 있고 그리고 제 1 내지 제 4 광은 광픽업(1400)에 도달할 수 있다. 필름(1300)은 HOE(holographic optical element) 패턴을 포함할 수 있다.
웨이브가이드(1200)는 내부 전반사 원리에 의해 광원(1100)에서 출력된 적외광 및 디스플레이(1500)에서 출력된 객체광을 안내(guide) 또는 전파할 수 있다. 안내된 적외광 및 객체광은 동공을 향하는 방향으로 전파될 수 있다. 또한, 안내된 적외광은 동공을 향하는 방향의 역방향으로 전파될 수도 있다.
디스플레이(1500)는 객체광을 출력할 수 있다. 디스플레이(1500)는 점광원으로 발광될 수 있다. 눈은 객체광으로부터 객체를 검출 또는 감지할 수 있다. 디스플레이(1500)에서 출력된 객체광은 웨이브가이드(1200)를 거쳐 동공을 향하는 방향으로 전파될 수 있다. 전파된 객체광은 망막의 중심와(fovea centralis; 12)에 도달할 수 있다. 객체광의 상 및 객체의 상은 망막에 맺힐 수 있고 눈은 객체광 및 객체를 검출할 수 있다. 디스플레이(1500)는 LCoS(liquid crystal on silicon) 또는 OLED(organic light emitting diodes)일 수 있다.
도 4는 도 3의 동공 추적 장치를 좀 더 구체적으로 도시한다. 도 4는 도 3을 참조하여 설명될 것이다. 동공 추적 장치(1000)는 제 1 및 제 2 렌즈들(1610,1620), 반사판(1800), 제 1 및 제 2 패턴들(1210,1220), 제 1 및 제 2 빔 분리기들(1710,1720)을 더 포함할 수 있다.
제 1 및 제 2 렌즈들(1610,1620)은 투과하는 빛을 평행하게 할 수 있고 조준(collimate)할 수 있다. 광원(1100)에서 출력된 적외광 및 각막(11)에서 반사된 적외광은 제 1 렌즈(1610)를 투과할 수 있다. 제 1 렌즈(1610)는 투과된 적외광을 평행하게 할 수 있다. 디스플레이(1500)에서 출력된 객체광은 제 2 렌즈(1620)를 투과할 수 있다. 제 2 렌즈(1620)는 투과된 객체광을 평행하게 할 수 있다. 적외광 및 객체광은 제 1 및 제 2 렌즈들(1610,1620)에 의해 각각 조준될 수 있다.
반사판(1800)은 적외광 및 객체광을 반사시킬 수 있다. 적외광 및 객체광은 반사판(1800)을 거쳐 웨이브가이드(1200)에 입사될 수 있다. 각막(11)에서 반사된 적외광은 웨이브가이드(1200)를 거쳐 반사판(1800)에서 반사될 수 있다. 반사판(1800)은 금속일 수 있다.
웨이브가이드(1200)는 제 1 및 제 2 패턴들(1210,1220)을 포함할 수 있다. 예를 들어, 웨이브가이드(1200)는 표면에 부착하는 방식으로 제 1 및 제 2 패턴들(1210,1220)을 포함할 수 있다. 제 1 및 제 2 패턴들(1210,1220)은 내부 전반사 원리에 의해 적외광 및 객체광을 동공을 향하는 방향 및 그 역방향으로 안내할 수 있다. 또한, 제 2 패턴(1220)은 적외광을 동공 중심 위치에 모을 수 있다. 제 1 패턴(1210)은 HOE(holographic optical element) 패턴을 포함할 수 있다. 제 2 패턴(1220)은 HOE 패턴 및 DOE(diffractive optical element) 패턴을 포함할 수 있다. HOE 패턴은 적외광 및 객체광을 안내할 수 있고 그리고 DOE 패턴은 적외광을 동공 중심 위치에 모을 수 있다.
제 1 및 제 2 빔 분리기들(1710,1720)은 편광 특성에 따라 투과하는 빛을 편광된 빛과 편광되지 않은 빛으로 분리할 수 있다. 제 1 빔 분리기(1710)는 적외광을 편광된 적외광 및 편광되지 않은 적외광으로 분리할 수 있다. 제 2 빔 분리기(1720)는 편광 특성에 따라 디스플레이(1500)에서 출력된 객체광을 편광된 객체광 및 편광되지 않은 객체광으로 분리할 수 있다. 제 2 빔 분리기(1720)가 렌즈형 반사면인 경우, 제 2 렌즈(1620)는 필요하지 않을 수 있다.
일 실시 예에서, 광원(1100)에서 출력된 적외광은 제 1 렌즈(1610)를 투과할 수 있다. 제 1 렌즈(1610)에 의해 평행하게 된 적외광은 반사판(1800)를 거쳐 웨이브가이드(1200)에 입사될 수 있다. 입사된 적외광은 내부 전반사 원리에 기초하여 제 1 및 제 2 패턴들(1210,1220)에 의해 동공을 향한 방향으로 안내될 수 있다. 제 2 패턴(1220)은 입사된 적외광을 동공 중심 위치에 모을 수 있다. 동공 중심 위치에 모인 적외광은 각막(11)에서 반사될 수 있다.
다른 실시 예에 있어서, 각막(11)에서 반사된 적외광은 웨이브가이드(1200) 내에서 동공의 역방향으로 전파될 수 있다. 제 1 및 제 2 패턴들(1210,1220)은 내부 전반사 원리에 기초하여 각막(11)에서 반사된 적외광을 동공의 역방향으로 안내할 수 있다. 각막(11)에서 반사된 적외광은 반사판(1800)을 거쳐 제 1 렌즈(1610)를 투과할 수 있다. 투과된 적외광은 편광 특성에 따라 제 1 빔 분리기(1710)에 의해 분리될 수 있다. 분리된 적외광은 필름(1300)을 거쳐 광픽업(1400)에 도달할 수 있다.
또 다른 실시 예에 있어서, 디스플레이(1500)에서 출력된 객체광은 제 2 렌즈(1620)를 투과할 수 있다. 제 2 렌즈(1620)에 의해 평행하게 된 객체광은 반사판(1800)를 거쳐 웨이브가이드(1200)에 입사될 수 있다. 입사된 객체광은 내부 전반사 원리에 기초하여 제 1 및 제 2 패턴들(1210,1220)에 의해 동공의 방향으로 전파될 수 있다. 전파된 객체광은 망막의 중심와(12)에 도달할 수 있다. 객체광의 상 및 객체의 상은 망막에 맺힐 수 있고 눈은 객체광 및 객체를 검출 또는 감지할 수 있다.
도 5는 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 예시적인 광픽업의 블록도를 도시한다. 도 5는 도 3을 참조하여 설명될 것이다.
광픽업(1400)은 제 1 내지 제 4 광검출기들(1410~1440), 및 동공 위치 계산기(1460)를 포함할 수 있다. 제 1 내지 제 4 광검출기들(1410~1440)은 광원(1100)에서 출력된 적외광을 감지할 수 있다. 적외광은 필름(1300)에 의해 제 1 내지 제 4 광으로 분리될 수 있고 그리고 제 1 내지 제 4 광은 광픽업(1400)에 도달할 수 있다. 제 1 내지 제 4 광검출기들(1410~1440)은 각각 제 1 내지 제 4 광을 검출하고 제 1 내지 제 4 광에 따라 각각 제 1 내지 제 4 전압들을 출력할 수 있다.
제 1 내지 제 4 광에 기초하여, 제 1 내지 제 4 광검출기들(1410~1440)은 동공의 움직임들을 검출할 수 있다. 여기서, 동공의 움직임들은 동공의, 수평 방향 움직임 및 수직 방향 움직임을 포함할 수 있다. 예를 들어, 제 1 및 제 2 광검출기들(1410,1420)은 제 1 및 제 2 광에 기초하여 동공의 수평 방향 움직임을 검출할 수 있고 제 3 및 제 4 광검출기들(1430,1440)은 제 3 및 제 4 광에 기초하여 동공의 수직 방향 움직임을 검출할 수 있다.
제 1 내지 제 4 광검출기들(1410~1440)은 동공에 대한 객체의 근접 방향 움직임을 검출할 수 있다. 예를 들어, 제 3 및 제 4 광검출기들(1430,1440)은 제 3 및 제 4 광에 기초하여 동공에 대한 객체의 근접 방향 움직임을 검출할 수 있다. 여기서, 객체는 눈에 의해 객체광으로부터 감지될 수 있다.
동공 위치 계산기(1460)는 제 1 내지 제 4 광검출기들(1410~1440)과 연결될 수 있다. 제 1 내지 제 4 광검출기들(1410~1440)에 의해 출력된 제 1 내지 제 4 전압들은 동공 위치 계산기(1460)에 의해 수신될 수 있다. 동공 위치 계산기(1460)는 제 1 내지 제 4 전압들에 기초하여 동공의 움직임 거리들을 계산 할 수 있다. 여기서, 동공의 움직임 거리들은 동공의, 수평 방향 움직임 거리 및 수직 방향 움직임 거리를 포함할 수 있다. 예를 들어, 동공 위치 계산기(1460)는 제 1 및 제 2 전압들에 기초하여 동공의 수평 방향 움직임 거리를 계산할 수 있고 제 3 및 제 4 전압들에 기초하여 동공의 수직 방향 움직임 거리를 계산할 수 있다.
동공 위치 계산기(1460)는 제 1 내지 제 4 전압들에 기초하여 동공에 대한 객체의 근접 방향 움직임을 검출할 수 있다. 예를 들어, 동공 위치 계산기(1460)는 제 3 및 제 4 전압들에 기초하여 동공에 대한 객체의 근접 방향 움직임을 계산할 수 있다.
도 6은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 광검출기들의 예시적인 배치를 도시한다. 도 6에서, 광픽업(1400)의 동공 위치 계산기(1460)는 생략되었고 광픽업(1400)의 제 1 내지 제 4 광검출기들(1410~1440)이 도시되었다. 도 6은 도 3 및 도 5를 참조하여 설명될 것이다. 제 1 내지 제 4 광검출기들(1410~1440)에 도달하는 적외광은 오른쪽 눈의 각막에서 반사된 것으로 가정한다.
도 6에서, x축 및 y축은 제 1 내지 제 4 포토다이오드들(1411~1441)의 위치들 및 제 1 내지 제 4 광이 조사(illuminate)되는 위치들을 위한 기준들일 수 있다. 예를 들어, x축은 동공이 수평으로 이동하는 방향과 대응할 수 있다. y축은 x축에 수직하고 그리고 동공이 수직으로 이동하는 방향과 대응할 수 있다.
제 1 내지 제 4 광검출기들(1410~1440)은 각각 제 1 내지 제 4 포토다이오드들(photodiodes; 1411~1441)을 포함할 수 있다. 제 1 내지 제 4 포토다이오드들(1411~1441)은 바이셀(bi-cell) 포토다이오드들일 수 있다.
제 1 내지 제 4 포토다이오드들(1411~1441)은 각각 제 1 내지 제 4 광을 검출할 수 있다. 제 1 내지 제 4 광에 기초하여, 제 1 내지 제 4 포토다이오드들(1411~1441)은 동공의 수평 방향 움직임, 동공의 수직 방향 움직임, 및 동공에 대한 객체의 근접 방향 움직임을 검출할 수 있다.
제 1 내지 제 4 포토다이오드들(1411~1441)은 각각 제 1 내지 제 4 광이 조사되는 위치들에 배치될 수 있다. 제 1 및 제 2 포토다이오드들(1411,1421)은 양의 단자들과 음의 단자들이 x축을 따라서 배열되도록 배치될 수 있다. 예를 들어, 제 1 및 제 2 포토다이오드들(1411,1421)의 양의 단자들은 x축 상의 같은 방향을 향할 수 있다. 제 3 및 제 4 포토다이오드들(1431,1441)은 양의 단자들과 음의 단자들이 y축을 따라서 배열되도록 배치될 수 있다. 예를 들어, 제 3 및 제 4 포토다이오드들(1431,1441)의 양의 단자들은 x축 상의 같은 방향을 향할 수 있다. 제 1 내지 제 4 포토다이오드들(1411~1441)은 각각 제 1 내지 제 4 광을 검출할 수 있고 제 1 내지 제 4 광에 따라 각각 제 1 내지 제 4 전압 차들을 출력할 수 있다. 도 6에서 도시된 x축 및 y축에 따라 배치되는 제 1 내지 제 4 포토다이오드들(1411~1441)의 위치들은 예시적인 것에 불과하다. 또한, 도 6에서 도시된 제 1 내지 제 4 포토다이오드들(1411~1441)의 양의 단자들 및 음의 단자들의 방향들 또는 위치들도 예시적인 것에 불과하다.
제 1 내지 제 4 포토다이오드들(1411~1441)로부터 출력되는 제 1 내지 제 4 전압 차들의 크기들에 기초하여 동공 위치 계산기(1460)는 동공의 각 방향의 움직임 거리들을 계산할 수 있다. 제 1 내지 제 4 전압 차들의 크기(amplitude)들 및 부호들은 제 1 내지 제 4 광이 제 1 내지 제 4 포토다이오드들(1411~1441) 상에 조사되는 위치들에 따라 결정될 수 있다.
동공이 정면을 향하는 경우, 제 1 내지 제 4 광이 각각 제 1 내지 제 4 포토다이오드들(1411~1441)의 중앙 지점들(1411_0~1441_0)에 조사될 수 있다.
동공이 동공 중심 위치를 기준으로 왼쪽 방향으로 움직이는 경우, 제 1 내지 제 4 광이 각각 제 1 내지 제 4 포토다이오드들(1411~1441)의 왼쪽 지점들(1411_1~1441_1)에 조사될 수 있다. 동공이 동공 중심 위치를 기준으로 더 왼쪽 방향으로 움직일수록, 제 1 내지 제 2 포토다이오드들(1411,1421)로부터 출력되는 제 1 내지 제 2 전압 차들의 크기들은 더 커질 수 있다.
동공이 동공 중심 위치를 기준으로 오른쪽 방향으로 움직이는 경우, 제 1 내지 제 4 광이 각각 제 1 내지 제 4 포토다이오드들(1411~1441)의 오른쪽 지점들(1411_2~1414_2)에 조사될 수 있다. 동공이 동공 중심 위치를 기준으로 더 오른쪽 방향으로 움직일수록, 제 1 내지 제 2 포토다이오드들(1411,1421)로부터 출력되는 제 1 내지 제 2 전압 차들의 크기들은 더 커질 수 있다.
동공이 동공 중심 위치를 기준으로 위쪽 방향으로 움직이는 경우, 제 1 내지 제 4 광이 각각 제 1 내지 제 4 포토다이오드들(1411~1441)의 위쪽 지점들(1411_3~1441_3)에 조사될 수 있다. 동공이 동공 중심 위치를 기준으로 더 위쪽 방향으로 움직일수록, 제 3 내지 제 4 포토다이오드들(1431,1441)로부터 출력되는 제 3 내지 제 4 전압 차들의 크기들은 더 커질 수 있다.
동공이 동공 중심 위치를 기준으로 아래쪽 방향으로 움직이는 경우, 제 1 내지 제 4 광이 각각 제 1 내지 제 4 포토다이오드들(1411~1441)의 아래쪽 지점들(1411_4~1441_4)에 조사될 수 있다. 동공이 동공 중심 위치를 기준으로 더 아래쪽 방향으로 움직일수록, 제 3 내지 제 4 포토다이오드들(1431,1441)로부터 출력되는 제 3 내지 제 4 전압 차들의 크기들은 더 커질 수 있다.
동공에 대해 객체가 근접 방향으로 움직이는 경우, 적외광이 오른쪽 눈의 각막에서 반사된 것으로 가정하였기 때문에 제 3 및 제 4 광이 각각 제 3 및 제 4 포토다이오드들(1431,1441)의 왼쪽 지점들(1431_1,1441_1)에 조사될 수 있다. 동공에 대해 객체가 더 근접 방향으로 움직일수록, 제 3 내지 제 4 포토다이오드(1431,1441)로부터 출력되는 제 3 내지 제 4 전압 차들의 크기들은 더 커질 수 있다.
동공의 각 방향 움직임에 따라 도 6에서 도시된 제 1 내지 제 4 광이 조사되는 위치들은 예시적인 것에 불과하다.
제 1 내지 제 4 광검출기들(1410~1440)은 각각 증폭기(amplifier; AMP)들을 포함할 수 있다. 증폭기들은 차동 증폭기들일 수 있다. 각 증폭기와 제 1 내지 제 4 포토다이오드들(1411~1441) 사이에는 복수의 저항들이 연결될 수 있다. 예를 들어, 증폭기와 제 1 포토다이오드(1411) 사이에는 저항들 Rf, Ri, R'f, 및 R'i 가 연결될 수 있다.
증폭기들 각각은 저항들 Rf, Ri, R'f, 및 R'i 의 비율에 기초하여 제 1 내지 제 4 포토다이오드들(1411~1441)로부터 출력되는 제 1 내지 제 4 전압 차들을 증폭하고 제 1 내지 제 4 전압들을 생성할 수 있다. 각 증폭기의 출력단자들은 동공 위치 계산기(1460)와 연결될 수 있고 그리고 동공 위치 계산기(1460)는 제 1 내지 제 4 전압들을 입력받을 수 있다.
도 6을 참조하면, 예를 들어, 제 1 포토다이오드(1411)로부터 출력되는 제 1 전압 차(△Vi)는 저항들 Rf, Ri, R'f, 및 R'i 의 비율에 기초하여 증폭기에 의해 증폭할 수 있고 제 1 전압(도 6 상의 V0, V0=
△Vi)을 생성할 수 있다. 동공 위치 계산기(1460)는 제 1 전압을 입력받을 수 있다. 유사하게, 제 2 내지 제 4 전압들도 생성될 수 있고 동공 위치 계산기(1460)는 제 2 내지 제 4 전압들을 입력받을 수 있다.
제 1 내지 제 4 전압들의 크기(amplitude)들 및 부호들은 제 1 내지 제 4 전압들의 크기들 및 부호들에 따라 결정될 수 있다. 예를 들어, 제 1 내지 제 4 전압들의 크기들은 제 1 내지 제 4 전압 차들의 크기들에 비례할 수 있고 제 1 내지 제 4 전압들의 부호들은 제 1 내지 제 4 전압 차들의 부호들과 같을 수 있다. 제 1 내지 제 4 전압들의 부호들은 도 8에서 좀 더 구체적으로 설명될 것이다.
도 7은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 필름 및 광검출기들의 예시적인 배치를 도시한다. 도 7은 도 3 및 도 6과 함께 설명될 것이다. 도 7의 x축 및 y축은 도 6의 x축 및 y축과 대응된다.
도 7을 참조하면, 필름(1300)을 투과하는 적외광은 제 1 내지 제 4 광으로 분리될 수 있다. 분리된 적외광은 제 1 내지 제 4 포토다이오드들(1411~1441)이 배치된 위치들로 조사될 수 있다. 필름(1300)을 투과하는 적외광은 분리되지 않을 수도 있고 분리되지 않는 경우, 적외광은 필름(1300)을 그대로 통과할 수 있다.
도 8은 도 6의 예시적인 광검출기들의 배치에 있어서 동공의 움직임 방향을 검출하는 광검출기들의 사용을 보여주는 예시적인 표를 도시한다. 도 8은 도 6을 참조하여 설명될 것이다.
동공이 오른쪽 방향으로 움직이는 경우, 제 1 및 제 2 광검출기들(1410,1420)로부터 출력되는 제 1 및 제 2 전압들은 모두 양의 부호들을 가질 수 있다. 즉, 제 1 및 제 2 광검출기들(1410,1420)로부터 출력되는 제 1 및 제 2 전압들이 모두 양의 부호들을 가지는 경우, 제 1 및 제 2 광검출기들(1410,1420)은 동공의 오른쪽 방향 움직임을 검출 또는 감지할 수 있다.
동공이 왼쪽 방향으로 움직이는 경우, 제 1 및 제 2 광검출기들(1410,1420)로부터 출력되는 제 1 및 제 2 전압들은 모두 음의 값들을 가질 수 있다. 즉, 제 1 및 제 2 광검출기들(1410,1420)로부터 출력되는 제 1 및 제 2 전압들이 모두 음의 값들을 가지는 경우, 제 1 및 제 2 광검출기들(1410,1420)은 동공의 왼쪽 방향 움직임을 검출할 수 있다.
동공이 위쪽 방향으로 움직이는 경우, 제 3 및 제 4 광검출기들(1430,1440)로부터 출력되는 제 3 및 제 4 전압들은 모두 양의 부호들을 가질 수 있다. 즉, 제 3 및 제 4 광검출기들(1430,1440)로부터 출력되는 제 3 및 제 4 전압들이 모두 양의 부호들을 가지는 경우, 제 3 및 제 4 광검출기들(1430,1440)은 동공의 위쪽 방향 움직임을 검출할 수 있다.
동공이 아래쪽 방향으로 움직이는 경우, 제 3 및 제 4 광검출기들(1430,1440)로부터 출력되는 제 3 및 제 4 전압들은 모두 음의 부호들을 가질 수 있다. 즉, 제 3 및 제 4 광검출기들(1430,1440)로부터 출력되는 제 3 및 제 4 전압들이 모두 음의 부호들을 가지는 경우, 제 3 및 제 4 광검출기들(1430,1440)은 동공의 아래쪽 방향 움직임을 검출할 수 있다.
동공에 대해 객체가 근접하는 경우, 양쪽 눈의 동공들은 안쪽 수렴(converge)할 수 있다. 동공들이 안쪽 수렴하는 경우, 제 3 및 제 4 광검출기들(1430,1440)로부터 출력되는 제 3 및 제 4 전압들은 모두 음의 부호들을 가질 수 있다. 즉, 제 3 및 제 4 광검출기들(1430,1440)로부터 출력되는 제 3 및 제 4 전압들이 모두 음의 부호들을 가지는 경우, 제 3 및 제 4 광검출기들(1430,1440)은 동공의 아래쪽 방향 움직임뿐만 아니라, 동공에 대한 객체의 근접 방향 움직임도 검출할 수 있다.
동공의 움직임에 따른 제 1 내지 제 4 전압들의 부호들은 예시적인 것에 불과하다. 동공의 움직임에 따른 제 1 내지 제 4 전압들의 부호들은 제 1 내지 제 4 광검출기들(1410~1440)의 위치들에 따라 결정될 수 있다.
도 9는 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 방법을 도시한다. 도 9는 도 5 및 도 6을 참조하여 설명될 것이다.
객체광으로부터 눈에 의해 감지된 객체(20)는 동공 중심 위치(13)와 근접 깊이(25)만큼 떨어져있을 수 있다. 동공 위치 계산기(1460)는 근접 깊이(25)를 계산할 수 있다. 근접 깊이(25)를 계산하기 위해서, 동공 위치 계산기(1460)는 동공의 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 거리들을 설정할 수 있고 저장할 수 있다. 또한, 동공 위치 계산기(1460)는 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 전압들을 설정할 수 있고 저장할 수 있다. 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 전압들은 동공의 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 거리들에 각각 대응할 수 있다.
최좌측 기준 지점(14), 최우측 기준 지점(15), 최상측 기준 지점(16), 및 최하측 기준 지점(17)은 각각 사용자의 동공이 왼쪽 방향, 오른쪽 방향, 위쪽 방향, 및 아래쪽 방향을 향하여 최대로 움직일 수 있는 지점들일 수 있다.
동공의 최좌측 기준 거리는 객체 기준 지점(21)에서 동공의 최좌측 기준 지점(14)까지의 거리일 수 있다. 동공의 최우측 기준 거리는 객체 기준 지점(21)에서 동공의 최우측 기준 지점(15)까지의 거리일 수 있다. 동공의 최상측 기준 거리는 객체 기준 지점(21)에서 동공의 최상측 기준 지점(16)까지의 거리일 수 있다. 동공의 최하측 기준 거리는 객체 기준 지점(21)에서 동공의 최하측 기준 지점(17)까지의 거리일 수 있다. 동공의 최대 근접 기준 거리는 객체 기준 지점(21)에서 동공에 대한 객체의 최대 근접 기준 지점인 동공 중심 위치(13)까지의 거리일 수 있다. 동공 위치 계산기(1460)는 기준 거리들 및 기준 전압들을 초기화할 수 있고 사용자마다 재설정할 수 있다.
동공 위치 계산기(1460)는 최좌측 또는 최우측 기준 전압들 및 제 1 및 제 2 전압들 간의 비교를 통하여 최좌측 또는 최우측 기준 거리들에 따른 동공의 수평 방향 움직임 거리(22)를 계산할 수 있고, 최상측 또는 최하측 기준 전압들 및 제 3 및 제 4 전압들 간의 비교를 통하여 최상측 또는 최하측 기준 거리들에 따른 동공의 수직 방향 움직임 거리(23)를 계산할 수 있고, 그리고 최대 근접 기준 전압 및 제 3 및 제 4 전압들의 절대값들 간의 비교를 통하여 최대 근접 기준 거리에 따른 동공의 근접 방향 움직임 거리(24)를 계산할 수 있다.
동공의, 수평 방향 움직임 거리(22), 수직 방향 움직임 거리(23), 및 근접 방향 움직임 거리(24)는 기준 거리들 및 기준 전압들과 비례하여 계산될 수 있다.
동공 위치 계산기(1460)는 동공의 수평 방향 움직임 거리(22), 수직 방향 움직임 거리(23), 및 근접 방향 움직임 거리(24)로부터 근접 깊이(25)를 계산할 수 있다.
일 실시 예에 있어서, 동공 위치 계산기(1460)는 동공의 수평 방향 움직임 거리(22), 수직 방향 움직임 거리(23), 및 근접 방향 움직임 거리(24)로부터 근접 깊이(25)를 계산하기 위한 식들을 저장할 수 있다.
동공이 좌측 및 상측 방향들로 움직이고 동공에 대해 객체가 근접 방향으로 움직이는 경우, 근접 깊이(25)는 수학식 1로부터 계산될 수 있다.
동공이 좌측 및 하측 방향들로 움직이고 동공에 대해 객체가 근접 방향으로 움직이는 경우, 근접 깊이(25)는 수학식 2로부터 계산될 수 있다.
동공이 우측 및 상측 방향들로 움직이고 동공에 대해 객체가 근접 방향으로 움직이는 경우, 근접 깊이(25)는 수학식 3로부터 계산될 수 있다.
동공이 우측 및 하측 방향들로 움직이고 동공에 대해 객체가 근접 방향으로 움직이는 경우, 근접 깊이(25)는 수학식 4로부터 계산될 수 있다.
동공 위치 계산기(1460)는, 수학식들 1 내지 4를 모두 저장할 수 있고 그리고 수평 방향 움직임 거리(22), 수직 방향 움직임 거리(23), 및 근접 방향 움직임 거리(24)를 수학식들 1, 2, 3, 또는 4에 대입함으로써 근접 깊이(25)를 계산할 수 있다.
도 9를 참조하면, 예를 들어, 동공이 좌측 및 상측 방향들로 움직일 수 있고 동공에 대해 객체가 근접 방향으로 움직일 수 있다. 여기서, 기준 거리들은 모두 10cm로 설정되었다고 가정하고 기준 전압들은 모두 5V로 설정되었다고 가정한다.
예시적인 수평 방향 움직임 거리(22), 수직 방향 움직임 거리(23), 및 근접 방향 움직임 거리(24)가 모두 5cm인 경우, 수학식 1에 의해 예시적인 근접 깊이(25)는 
이다.
도 10은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 예시적인 광픽업의 다른 블록도를 도시한다. 광픽업(1400)은 제 5 광검출기들(1450)를 더 포함할 수 있다.
제 5 광검출기(1450)는 도 3의 필름(1300)에 의해 분리되지 않고 그대로 투과된 적외광을 검출할 수 있다. 도 3의 필름(1300)에 의해 분리되지 않고 그대로 투과된 적외광은 제 5 광일 수 있다. 제 5 광검출기(1450)는 제 5 광에 기초하여 눈의 초점을 검출 또는 감지할 수 있다. 제 5 광검출기(1450)는 제 5 광에 기초하여 제 5 전압을 출력할 수 있다.
제 5 광검출기(1450)는 동공 위치 계산기(1460)과 연결될 수 있다. 동공 위치 계산기(1460)는 제 5 광에 따른 제 5 전압에 기초하여 눈의 초점을 계산할 수 있다.
도 11은 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 장치 내의 광검출기들의 또 다른 예시적인 배치를 도시한다. 도 11은 도 6 및 도 10을 참조하여 설명될 것이다. 도 11에서 제 5 광검출기(1450)은 생략되었다. 제 5 포토다이오드(1451)은 제 5 광검출기(1450)에 포함될 수 있다. 제 5 포토다이오드(1451)에 도달하는 적외광은 오른쪽 눈의 각막에서 반사된 것으로 가정한다. 제 5 포토다이오드(1451)는 사분원(quadrant) 포토다이오드일 수 있다.
동공 위치 계산기(1460)는, 제 5 포토다이오드(1451)에 의해 출력되는 제 5 전압 차에 기초하여 눈의 초점을 측정할 수 있다. 제 5 전압 차의 크기 및 부호는 제 5 광이 제 5 포토다이오드(1451) 상에 조사되는 위치들에 따라 결정될 수 있다.
동공이 정면을 향하는 경우, 제 5 광이 제 5 포토다이오드(1451)의 중앙 지점(1451_0)에 조사될 수 있다.
동공이 왼쪽 방향으로 움직이는 경우, 제 5 광이 제 5 포토다이오드(1451)의 왼쪽 지점(1451_1)에 조사될 수 있다. 동공이 동공 중심 위치를 기준으로 더 왼쪽 방향으로 움직일수록, 제 5 포토다이오드(1451)로부터 출력되는 제 5 전압 차의 크기는 더 커질 수 있다.
동공이 오른쪽 방향으로 움직이는 경우, 제 5 광이 제 5 포토다이오드(1451)의 오른쪽 지점(1451_2)에 조사될 수 있다. 동공이 동공 중심 위치를 기준으로 더 오른쪽 방향으로 움직일수록, 제 5 포토다이오드(1451)로부터 출력되는 제 5 전압 차의 크기는 더 커질 수 있다.
동공이 위쪽 방향으로 움직이는 경우, 제 5 광이 제 5 포토다이오드(1451)의 위쪽 지점(1451_3)에 조사될 수 있다. 동공이 동공 중심 위치를 기준으로 더 위쪽 방향으로 움직일수록, 제 5 포토다이오드(1451)로부터 출력되는 제 5 전압 차의 크기는 더 커질 수 있다.
동공이 아래쪽 방향으로 움직이는 경우, 제 5 광이 제 5 포토다이오드(1451)의 아래쪽 지점(1451_4)에 조사될 수 있다. 동공이 동공 중심 위치를 기준으로 더 아래쪽 방향으로 움직일수록, 제 5 포토다이오드(1451)로부터 출력되는 제 5 전압 차의 크기는 더 커질 수 있다.
동공에 대해 객체가 근접 방향으로 움직이는 경우, 적외광이 오른쪽 눈의 각막에서 반사된 것으로 가정하였기 때문에 제 5 광이 제 5 포토다이오드(1451)의 왼쪽 지점(1451_1)에 조사될 수 있다. 동공에 대해 객체가 더 근접 방향으로 움직일수록, 제 5 포토다이오드(1451)로부터 출력되는 제 5 전압 차의 크기는 더 커질 수 있다.
동공의 각 방향 움직임에 따라 도 11에서 도시된 제 1 내지 제 4 광이 조사되는 위치들은 예시적인 것에 불과하다.
도 12는 본 발명의 일부 예시적인 실시 예들에 따른 동공 추적 방법을 예시적으로 보여주는 순서도이다. 도 12는 도 3 및 도 6을 참조하여 설명될 것이다.
S110 단계에서, 광원(1100)으로 적외광이 동공을 향하는 방향으로 출력될 수 있다. 또한, 디스플레이(1500)로부터 객체광이 동공을 향하는 방향으로 출력될 수 있다. 출력된 적외광은 각막(11)에 도달할 수 있다. 출력된 객체광은 웨이브가이드(1200)를 거쳐 망막의 중심와(12)에 도달할 수 있다. 객체광의 상 및 객체의 상은 망막에 맺힐 수 있고 눈(10)은 객체광 및 객체를 검출할 수 있다.
S120 단계에서, 각막(11)에 도달한 적외광은 각막(11)에서 반사될 수 있다. 반사된 적외광은 웨이브가이드(1200)를 거쳐 필름(1300)에 도달할 수 있고 필름(1300)에 의해 제 1 내지 제 4 광으로 분리될 수 있다.
S130 단계에서, 제 1 내지 제 광은 각각 제 1 내지 제 4 광검출기들(1410~1440)에 도달할 수 있다. 제 1 내지 제 4 광검출기들(1410~1440)은 제 1 내지 제 4 광으로부터 제 1 내지 제 4 전압들을 출력할 수 있다.
S141, S142, 및 S143 단계에서, 동공 위치 계산기(1460)는 제 1 내지 제 4 전압들에 기초하여 동공의 수평 방향 움직임 거리 및 수직 방향 움직임 거리, 및 동공에 대한 객체의 근접 방향 움직임 거리를 계산할 수 있다.
근접 깊이를 계산하기 위해서, 동공 위치 계산기(1460)는 동공의 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 거리들을 설정할 수 있고 저장할 수 있다. 또한, 동공 위치 계산기(1460)는 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 전압들을 설정할 수 있고 저장할 수 있다. 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 전압들은 동공의 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 거리들에 각각 대응된다.
최좌측 기준 지점, 최우측 기준 지점, 최상측 기준 지점, 및 최하측 기준 지점은 각각 동공이 왼쪽 방향, 오른쪽 방향, 위쪽 방향, 및 아래쪽 방향을 향하여 최대로 움직일 수 있는 지점들일 수 있다.
동공의 최좌측 기준 거리는 객체 기준 지점에서 동공의 최좌측 기준 지점까지의 거리일 수 있다. 동공의 최우측 기준 거리는 객체 기준 지점에서 동공의 최우측 기준 지점까지의 거리일 수 있다. 동공의 최상측 기준 거리는 객체 기준 지점에서 동공의 최상측 기준 지점까지의 거리일 수 있다. 동공의 최하측 기준 거리는 객체 기준 지점에서 동공의 최하측 기준 지점까지의 거리일 수 있다. 동공의 최대 근접 기준 거리는 객체 기준 지점에서 동공에 대한 객체의 최대 근접 기준 지점인 동공 중심 지점까지의 거리일 수 있다. 동공 위치 계산기(1460)는 기준 거리들 및 기준 전압들을 초기화할 수 있고 사용자마다 재설정할 수 있다.
S141 단계에서, 동공 위치 계산기(1460)는 최좌측 또는 최우측 기준 전압들 및 제 1 및 제 2 전압들 간의 비교를 통하여 최좌측 또는 최우측 기준 거리들에 따른 동공의 수평 방향 움직임 거리를 계산할 수 있다.
S142 단계에서, 최상측 또는 최하측 기준 전압들 및 제 3 및 제 4 전압들 간의 비교를 통하여 최상측 또는 최하측 기준 거리들에 따른 동공의 수직 방향 움직임 거리를 계산할 수 있다.
S143 단계에서, 최대 근접 기준 전압 및 제 3 및 제 4 전압들의 절대값들 간의 비교를 통하여 최대 근접 기준 거리에 따른 동공의 근접 방향 움직임 거리를 계산할 수 있다.
수평 방향 움직임 거리, 수직 방향 움직임 거리, 및 근접 방향 움직임 거리는 기준 거리들 및 기준 전압들과 비례하여 계산될 수 있다.
S150 단계에서, 동공 위치 계산기(1460)는 동공의 수평 방향 움직임 거리 및 수직 방향 움직임 거리, 및 동공에 대한 객체의 근접 방향 움직임 거리로부터 동공과 객체 간의 근접 깊이를 계산할 수 있다.
일 실시 예에 있어서, 동공 위치 계산기(1460)는 동공의 수평 방향 움직임 거리, 수직 방향 움직임 거리, 및 동공에 대한 객체의 근접 방향 움직임 거리로부터 근접 깊이를 계산하기 위한 식들을 저장할 수 있다. 동공 위치 계산기(1460)는 수평 방향 움직임 거리, 수직 방향 움직임 거리, 및 근접 방향 움직임 거리를 저장된 식들에 대입함으로써 근접 깊이를 계산할 수 있다.
예를 들어, 동공 위치 계산기(1460)는 도 9와 함께 설명된 실시 예의 수학식들 1 내지 4를 저장할 수 있다. 동공 위치 계산기(1460)는 수평 방향 움직임 거리, 수직 방향 움직임 거리, 및 근접 방향 움직임 거리를 저장된 수학식 제 1 내지 4에 대입함으로써 근접 깊이를 계산할 수 있다.
위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.
1000: 동공 추적 장치
1100: 광원
1200: 웨이브가이드
1300: 필름
1400: 광픽업
1100: 광원
1200: 웨이브가이드
1300: 필름
1400: 광픽업
Claims (18)
- 시운동 반사(optokinetic reflex)에 따라 움직이는 눈의 동공 중심 위치 및 동공과 객체 간의 근접 깊이를 측정하는 동공 추적 장치에 있어서,
적외광을 출력하는 광원;
상기 눈이 상기 객체를 감지하도록 하는 객체광(object light)을 출력하는 디스플레이;
상기 적외광 및 상기 객체광을 동공을 향하는 방향으로 안내(guide)하는 웨이브가이드(waveguide);
상기 눈의 각막에서 반사된 상기 적외광을 복수의 광으로 분리하는 필름; 및
상기 복수의 광을 검출하고, 상기 검출된 복수의 광으로부터 상기 동공의 움직임 및 상기 동공에 대한 상기 객체의 근접 방향 움직임을 검출하여 상기 동공 중심 위치 및 상기 근접 깊이를 측정하는 광픽업(optical pick-up)을 포함하는 동공 추적 장치. - 제 1 항에 있어서,
상기 웨이브가이드는 HOE(holographic optical element) 패턴 및 DOE(diffractive optical element) 패턴을 포함하는 동공 추적 장치. - 제 1 항에 있어서,
상기 필름은 HOE(holographic optical element) 패턴을 포함하는 동공 추적 장치. - 제 1 항에 있어서,
상기 각막에서 반사된 상기 적외광을 분리하는 제 1 빔 분리기;
상기 객체광을 분리하는 제 2 빔 분리기;
상기 적외광을 투과시키는 제 1 렌즈; 및
상기 객체광을 투과시키는 제 2 렌즈를 더 포함하는 동공 추적 장치. - 제 1 항에 있어서,
상기 복수의 광은 제 1 내지 제 4 광을 포함하고,
상기 광픽업은:
상기 제 1 내지 제 4 광이 각각 조사되는 제 1 내지 제 4 광검출기들; 및
상기 제 1 내지 제 4 광검출기들과 연결된 동공 위치 계산기를 포함하되,
상기 제 1 내지 제 4 광검출기들은 각각 상기 제 1 내지 제 4 광을 검출하고, 그리고 상기 제 1 내지 제 4 광에 따라 각각 제 1 내지 제 4 전압들을 출력하는 동공 추적 장치. - 제 5 항에 있어서,
상기 제 1 및 제 2 광검출기들은 상기 제 1 및 제 2 광에 기초하여 상기 동공의 수평 방향 움직임을 검출하고, 그리고
상기 제 3 및 제 4 광검출기들은 상기 제 3 및 제 4 광에 기초하여 상기 동공의 수직 방향 움직임을 검출하는 동공 추적 장치. - 제 6 항에 있어서,
상기 제 3 및 제 4 광검출기들은 상기 제 3 및 제 4 광에 기초하여 상기 근접 방향 움직임을 검출하는 동공 추적 장치. - 제 5 항에 있어서,
상기 동공 위치 계산기는:
상기 동공의 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 거리들을 설정하고, 그리고
상기 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 거리들에 각각 대응되는 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 전압들을 설정하는 동공 추적 장치. - 제 8 항에 있어서,
상기 동공 위치 계산기는:
상기 최좌측 또는 최우측 기준 전압들 및 상기 제 1 및 제 2 전압들의 값들의 비교를 통하여 상기 최좌측 또는 최우측 기준 거리들에 따른 상기 동공의 수평 방향 움직임 거리를 계산하고,
상기 최상측 또는 최하측 기준 전압들 및 상기 제 3 및 제 4 전압들의 값들의 비교를 통하여 상기 최상측 또는 최하측 기준 거리들에 따른 상기 동공의 수직 방향 움직임 거리를 계산하고, 그리고
상기 최대 근접 기준 전압 및 상기 제 3 및 제 4 전압들의 절대값들의 비교를 통하여 상기 최대 근접 기준 거리에 따른 상기 동공에 대한 상기 객체의 근접 방향 움직임 거리를 계산하는 동공 추적 장치. - 제 9 항에 있어서,
상기 동공 위치 계산기는 상기 수평 방향 움직임 거리, 상기 수직 방향 움직임 거리, 및 상기 근접 방향 움직임 거리로부터 상기 근접 깊이를 계산하는 동공 추적 장치. - 제 5 항에 있어서,
상기 광픽업은 상기 눈의 초점을 검출하는 제 5 광검출기를 더 포함하는 동공 추적 장치. - 시운동 반사(optokinetic reflex)에 따라 움직이는 눈의 동공 중심 위치 및 동공과 객체 간의 근접 깊이를 측정하는 동공 추적 방법에 있어서,
광원이 적외광을 출력하고 그리고 상기 눈이 상기 객체를 감지하도록 디스플레이가 객체광(object light)을 출력하는 단계;
필름이 상기 눈의 각막에서 반사된 상기 적외광을 복수의 광으로 분리하는 단계;
복수의 광검출기들 각각이 상기 복수의 광 중 적어도 하나를 검출하는 단계; 및
동공 위치 계산기가 상기 복수의 광에 기초하여 상기 동공 중심 위치 및 상기 근접 깊이를 측정하는 단계를 포함하는 동공 추적 방법. - 제 12 항에 있어서,
상기 동공 중심 위치 및 상기 근접 깊이를 측정하는 단계는:
상기 동공의 수평 방향 움직임을 검출하는 단계;
상기 동공의 수직 방향 움직임을 검출하는 단계; 및
상기 동공에 대한 상기 객체의 근접 방향 움직임을 검출하는 단계를 포함하는 동공 추적 방법. - 제 12 항에 있어서,
상기 복수의 광은 제 1 내지 제 4 광을 포함하고,
상기 복수의 광검출기들은 제 1 내지 제 4 광검출기들을 포함하고, 그리고
상기 동공 중심 위치 및 상기 근접 깊이를 측정하는 단계는 상기 제 1 내지 제 4 광에 따라 제 1 내지 제 4 전압들을 출력하는 단계를 포함하되,
상기 제 1 내지 제 4 전압들의 크기들은 상기 제 1 내지 제 4 광이 상기 제 1 내지 제 4 광검출기들 상에 조사되는 위치들에 따라 결정되는 동공 추적 방법. - 제 14 항에 있어서,
상기 동공 중심 위치 및 상기 근접 깊이를 측정하는 단계는:
상기 동공의 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 거리들을 설정하는 단계; 및
상기 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 거리들에 각각 대응되는 최좌측, 최우측, 최상측, 최하측, 및 최대 근접 기준 전압들을 설정하는 단계를 포함하는 동공 추적 방법. - 제 15 항에 있어서,
상기 동공 중심 위치 및 상기 근접 깊이를 측정하는 단계는:
상기 최좌측 또는 최우측 기준 전압들 및 상기 제 1 및 제 2 전압들 간의 비교를 통하여 상기 최좌측 또는 최우측 기준 거리들에 따른 상기 동공의 수평 방향 움직임 거리를 계산하는 단계;
상기 최상측 또는 최하측 기준 전압들 및 상기 제 3 및 제 4 전압들 간의 비교를 통하여 상기 최상측 또는 최하측 기준 거리들에 따른 상기 동공의 수직 방향 움직임 거리를 계산하는 단계; 및
상기 최대 근접 기준 전압 및 상기 제 3 및 제 4 전압들의 절대값들 간의 비교를 통하여 상기 최대 근접 기준 거리에 따른 상기 동공에 대한 상기 객체의 근접 방향 움직임 거리를 계산하는 동공 추적 방법. - 제 16 항에 있어서,
상기 동공 중심 위치 및 상기 근접 깊이를 측정하는 단계는, 상기 수평 방향 움직임 거리, 상기 수직 방향 움직임 거리, 및 상기 근접 방향 움직임 거리로부터 상기 근접 깊이를 계산하는 동공 추적 방법. - 제 12 항에 있어서,
상기 눈의 초점을 검출하는 단계를 더 포함하는 동공 추적 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180141303A KR102469762B1 (ko) | 2018-11-16 | 2018-11-16 | 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법 |
| US16/555,786 US10990172B2 (en) | 2018-11-16 | 2019-08-29 | Pupil tracking device and pupil tracking method for measuring pupil center position and proximity depth between object and pupil moving by optokinetic reflex |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180141303A KR102469762B1 (ko) | 2018-11-16 | 2018-11-16 | 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200057223A KR20200057223A (ko) | 2020-05-26 |
| KR102469762B1 true KR102469762B1 (ko) | 2022-11-22 |
Family
ID=70728263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180141303A KR102469762B1 (ko) | 2018-11-16 | 2018-11-16 | 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10990172B2 (ko) |
| KR (1) | KR102469762B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11928257B2 (en) * | 2021-02-17 | 2024-03-12 | Samsung Electronics Co., Ltd. | Method and electronic device for tracking eye |
| CN112926523B (zh) * | 2021-03-30 | 2022-07-26 | 青岛小鸟看看科技有限公司 | 基于虚拟现实的眼球追踪方法、系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160262608A1 (en) | 2014-07-08 | 2016-09-15 | Krueger Wesley W O | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050137586A1 (en) | 2003-12-23 | 2005-06-23 | Gray Gary P. | Hybrid eye tracking system and associated methods |
| EP3462227A3 (en) * | 2004-03-29 | 2019-06-19 | Sony Corporation | Optical device, and virtual image display device |
| KR101094766B1 (ko) | 2009-10-08 | 2011-12-20 | 동국대학교 산학협력단 | 시선 위치 추적 장치 및 방법 |
| KR101383235B1 (ko) | 2010-06-17 | 2014-04-17 | 한국전자통신연구원 | 시선 추적을 이용한 좌표 입력 장치 및 그 방법 |
| US9426447B2 (en) | 2012-10-09 | 2016-08-23 | Electronics And Telecommunications Research Institute | Apparatus and method for eye tracking |
| KR101610951B1 (ko) | 2014-02-20 | 2016-04-20 | 임한웅 | 안구 운동 범위 측정 방법 및 그 장치 |
| CA2999261C (en) * | 2015-09-23 | 2022-10-18 | Magic Leap, Inc. | Eye imaging with an off-axis imager |
| US20180284886A1 (en) * | 2015-09-25 | 2018-10-04 | Itu Business Development A/S | Computer-Implemented Method of Recovering a Visual Event |
| US20180172981A1 (en) | 2016-12-16 | 2018-06-21 | Fusao Ishii | Wearable display |
| US10314483B2 (en) * | 2017-03-01 | 2019-06-11 | The Johns Hopkins University | Fast X-Y axis bright pupil tracker |
-
2018
- 2018-11-16 KR KR1020180141303A patent/KR102469762B1/ko active IP Right Grant
-
2019
- 2019-08-29 US US16/555,786 patent/US10990172B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160262608A1 (en) | 2014-07-08 | 2016-09-15 | Krueger Wesley W O | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200057223A (ko) | 2020-05-26 |
| US20200159317A1 (en) | 2020-05-21 |
| US10990172B2 (en) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7482163B2 (ja) | 拡張現実ディスプレイシステム | |
| US10481687B1 (en) | Waveguide integrated eye tracking | |
| US9606354B2 (en) | Heads-up display with integrated display and imaging system | |
| KR102594058B1 (ko) | 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템 | |
| WO2015017291A1 (en) | Near-eye optic positioning in display devices | |
| US20220414921A1 (en) | Gaze tracking system with contact lens fiducial | |
| US10025101B2 (en) | Dynamic draft for Fresnel lenses | |
| US20120147038A1 (en) | Sympathetic optic adaptation for see-through display | |
| US10789782B1 (en) | Image plane adjustment in a near-eye display | |
| KR20180023983A (ko) | 헤드 마운트 디스플레이 | |
| US10061384B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2017503570A (ja) | 頭部装着型アイトラッキング装置の較正方法 | |
| CN111077670B (zh) | 光传递模块以及头戴式显示装置 | |
| US7618144B2 (en) | System and method for tracking eye movement | |
| KR102469762B1 (ko) | 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법 | |
| US10452911B2 (en) | Gaze-tracking system using curved photo-sensitive chip | |
| TWI743148B (zh) | 眼動追蹤的電腦實施方法、眼動追蹤系統及裝置 | |
| KR20220046494A (ko) | 시선 방향을 결정하는 방법 및 시선 추적 센서 | |
| US20180267601A1 (en) | Light Projection for Guiding a User within a Physical User Area During Virtual Reality Operations | |
| KR101043202B1 (ko) | 마이어링 광 및 포커스 광을 이용한 검안기의 위치 조정 방법 및 이를 이용한 검안기 | |
| US11561405B1 (en) | Wavefront sensing with in-field illuminators | |
| JP2022527960A (ja) | ヘッドマウントディスプレイ | |
| CN111751987A (zh) | 全息眼睛成像设备 | |
| WO2020205303A1 (en) | Compact array light source for scanning display | |
| Kim et al. | Pupil Detection and Its Tracking Based on Optokinetic Reflex Motion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |