KR20210031597A - Eye accommodation distance measuring device and method for head mounted display, head mounted display - Google Patents
Eye accommodation distance measuring device and method for head mounted display, head mounted display Download PDFInfo
- Publication number
- KR20210031597A KR20210031597A KR1020200042405A KR20200042405A KR20210031597A KR 20210031597 A KR20210031597 A KR 20210031597A KR 1020200042405 A KR1020200042405 A KR 1020200042405A KR 20200042405 A KR20200042405 A KR 20200042405A KR 20210031597 A KR20210031597 A KR 20210031597A
- Authority
- KR
- South Korea
- Prior art keywords
- eye
- laser
- distance
- signal
- determining
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/40—Optical focusing aids
-
- G06K9/0061—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
개시된 실시예들은 스테레오스코픽 디스플레이(stereoscopic display)에 관한 것으로, 더욱 상세하게는 헤드 마운트 디스플레이용 눈의 적응 거리 측정 장치 및 방법, 및 증강/가상 현실 시스템에서 사용될 수 있는 헤드 마운트 디스플레이에 관한 것이다.Disclosed embodiments relate to a stereoscopic display, and more particularly, to an apparatus and method for measuring an adaptive distance of an eye for a head mounted display, and a head mounted display that can be used in an augmented/virtual reality system.
실제 세계에서 3D 물체를 인지하는 생리학적인 원리는 눈의 초점(적응 거리(accommodation distance))과 눈의 수렴점(수렴 거리(vergence distance))을 일치시킬 것을 요구한다. 고정 초점 거리를 갖는 현재 상용화된 AR/VR 시스템에서는, 이 값들이 일치할 수가 없어서 소위 수렴-조절 불일치(vergence-accommodation conflict; VAC)가 발생하며, 그 결과 사용자에게 피로와 시각적 불편을 준다. AR-안경을 사용하는 경우, 실제 물체를 관찰할 때 가상의 물체에 초점이 맞지 않아서 VAC 효과는 실제 물체와 가상의 물체를 매칭시키는 공정을 매우 복잡하게 한다. 이러한 문제는 자동으로 눈의 초점을 측정(시선 추적) 하고 AR 안경 렌더링 시스템에 피드백을 제공함으로써 완화될 수 있다.The physiological principle of recognizing 3D objects in the real world requires that the eye's focus (accommodation distance) and the eye's convergence point (vergence distance) be matched. In the currently commercialized AR/VR system with a fixed focal length, these values cannot be matched, resulting in a so-called convergence-accommodation conflict (VAC), resulting in fatigue and visual discomfort to the user. When using AR-glasses, the virtual object is out of focus when observing the real object, so the VAC effect complicates the process of matching the real object and the virtual object. This problem can be alleviated by automatically measuring the focus of the eye (gaze tracking) and providing feedback to the AR glasses rendering system.
또한, 눈의 이동으로 인해 초점이 흐려지는 문제도 있다. 가상 현실에서 통상적인 둘러보기는 머리의 회전에 의해 수행되는데 반하여, 실계 세계에서는 눈의 이동에 의해서도 수행된다. 종래의 AR/VR 시스템에서 눈의 이동은 렌더링된 화상의 훼손을 가져온다. 이러한 문제를 해소하기 위하여 시선 추적을 제공하는 해결책이 요구된다.In addition, there is a problem in that the focus is blurred due to the movement of the eyes. In virtual reality, the usual tour is performed by the rotation of the head, whereas in the real world, it is also performed by the movement of the eyes. In the conventional AR/VR system, the movement of the eyes causes damage to the rendered image. In order to solve this problem, there is a need for a solution that provides eye tracking.
주요한 AR(증간 현실 시스템) 문제들 중에 하나는 실제 물체와 가상 물체들에 대한 초점 일치이다. 만약 실제 세계 물체들을 갖는 소위 가상의 화상들이 상이한 초점 평면에 놓인다면, 완전히 선명해야 할 물체들을 응시할 때마다 블러(blur)의 불일치로 인해 사용자가 초점을 바꾸게 할 것이다.One of the major AR (Augmented Reality System) problems is focus matching on real and virtual objects. If so-called virtual images with real-world objects are placed on different focal planes, each time they stare at objects that should be completely sharp, they will cause the user to change focus due to the inconsistency of blur.
따라서, AR/VR 장치(예컨데, AR 안경, VR 헬멧)에 통합될 수 있으며 값 싸고 소형인 시선 방향 및 눈 초점 추적 장치가 요구된다. 그러한 장치에 대한 추가적인 요구 사항은 사용자에 대한 눈의 안전 및 눈의 적응 거리를 측정하는데 있어서의 작은 지연(빠른 측정 속도)이다.Accordingly, there is a need for a gaze direction and eye focus tracking device that can be integrated into an AR/VR device (eg, AR glasses, VR helmet) and is inexpensive and compact. An additional requirement for such a device is a small delay (fast measurement speed) in measuring the eye safety for the user and the eye's adaptation distance.
공지된 종래의 기술로서 US 2014375541 A1에 개시된 시선 추적 시스템이 있다. 공지된 시스템은 사람 눈의 2D 영상을 획득하고, 시선 방향을 추적하고, 디스플레이까지의 거리를 결정하기 위하여 비행시간법(time of flight; TOF)을 사용한다. 공지된 시스템은 단지 시선 방향만을 추적하며, 눈의 적응 거리에 관한 정보를 얻을 수는 없다. TOF 카메라는 카메라로부터 가까운 거리에 사각지대(dead zone)가 있다는 결점을 가지며, 이는 카메라의 설계를 복잡하게 만들 수 있다.As a known prior art, there is a gaze tracking system disclosed in US 2014375541 A1. Known systems use the time of flight (TOF) method to acquire a 2D image of the human eye, track the gaze direction, and determine the distance to the display. Known systems only track the direction of the gaze and cannot obtain information on the adaptation distance of the eye. TOF cameras have the drawback that there is a dead zone close to the camera, which can complicate the design of the camera.
공지된 종래의 기술로서 US 2017109562 A1에 개시된 시선 추적 장치가 있다. 공지된 장치는 눈의 전방 표면의 곡률을 측정하여 시선 방향을 추산하기 위하여 깊이 센서를 사용한다. 공지된 장치는 단지 시선 방향만을 추적하며, 눈의 적응 거리에 관한 정보를 얻을 수는 없다.As a known conventional technique, there is a gaze tracking device disclosed in US 2017109562 A1. Known devices use a depth sensor to estimate the gaze direction by measuring the curvature of the anterior surface of the eye. Known devices only track the direction of the gaze and cannot obtain information about the adaptation distance of the eye.
공지된 종래의 기술로서 US 20080208022 A1에 개시된 레이저 광피드백 단층촬영(laser optical feedback tomography; LOFT) 센서가 있다. 공지된 센서는 레이저의 이완 발진(relaxation oscillation) 주파수에 대해 주파수 시프트 광피드백을 함으로써 레이저의 자기 혼합 간섭(self-mixing interferometry; SMI) 성능의 효율을 향상시킨다. 공지된 센서의 결점은 빔스플리터, 주파수 변환기(frequency shifter), 및 기계적인 스캐닝을 사용하여 구성된다는 것이다. US 20080208022 A1은 AR/VR 장치에 적합한 또는 시선 추적에 의도된 센서의 구현을 개시하지 않았다.As a known conventional technique, there is a laser optical feedback tomography (LOFT) sensor disclosed in US 20080208022 A1. The known sensor improves the efficiency of the self-mixing interferometry (SMI) performance of the laser by performing a frequency shift optical feedback with respect to the relaxation oscillation frequency of the laser. The drawback of known sensors is that they are constructed using beamsplitters, frequency shifters, and mechanical scanning. US 20080208022 A1 does not disclose an implementation of a sensor suitable for AR/VR devices or intended for eye tracking.
공지된 종래의 기술로서 US 10154254 A1에 개시된 헤드 마운트 디스플레이(head-mounted display; HMD)가 있다. 공지된 디스플레이는 TOF 카메라를 사용하는 시선 추적 시스템을 포함한다. 시선 추적 시스템은 조명광원, 촬상 장치, 및 제어기를 포함한다. 제어기는 눈의 표면에 관한 깊이 정보를 결정하고 눈의 모델을 생성한다. 공지된 디스플레이는 시선 방향을 추적하는 것에 대해 주로 초점을 맞춘다. 디스플레이의 단점은 시간에 따라 왜곡되는 광 패턴들의 영상 처리에 기초한 복잡한 신호 처리에 있다. 위에서 지적한 바와 같이, TOF 카메라는 카메라로부터 가까운 거리에 사각지대가 있다는 결점을 가지며, 이는 카메라의 설계를 복잡하게 만들 수 있다.As a known prior art there is a head-mounted display (HMD) disclosed in US 10154254 A1. Known displays include eye tracking systems using TOF cameras. The eye tracking system includes an illumination light source, an imaging device, and a controller. The controller determines depth information about the surface of the eye and creates a model of the eye. Known displays focus primarily on tracking the direction of the gaze. The disadvantage of the display lies in complex signal processing based on image processing of light patterns that are distorted over time. As pointed out above, the TOF camera has the drawback that there is a blind spot at a close distance from the camera, which can complicate the design of the camera.
공지된 종래의 기술로서 US 2016370605 A1에 개시된 시선 추적 및 깊이 검출을 이용한 시력 교정용 장치가 있다. 공지된 장치는 가변 렌즈, 시선 추적 센서, 및 깊이 센서를 구비한 웨어러블 컴퓨팅 장치(wearable computing device)를 포함한다. 공지된 장치는 초점의 깊이를 간접적으로 추산하며 요구되는 정확성을 제공하지는 않는다.As a known conventional technique, there is an apparatus for correcting vision using eye tracking and depth detection disclosed in US 2016370605 A1. Known devices include wearable computing devices with variable lenses, eye tracking sensors, and depth sensors. Known devices indirectly estimate the depth of focus and do not provide the required accuracy.
공지된 종래의 기술로서 US 2017124928 A1에 개시된 디스플레이 시스템이 있다. 공지된 시스템은 투사된 광 시야의 영상들을 획득하고 획득된 영상들을 사용하여 광 시야의 다양한 영역들에 대한 초점 깊이(또는 측방 초점 위치)를 결정할 수 있다. 이 시스템은 다양한 디스플레이 결함들과 수차들을 정정할 수 있다. 영상은 다양한 초점 깊이들에서 구성된다. 이 시스템은 시선 추적을 기초로 하며 깊이 또는 눈의 초점 추적과는 연동되지 않는다.As a known prior art, there is a display system disclosed in US 2017124928 A1. Known systems can acquire images of the projected wide field of view and use the acquired images to determine the depth of focus (or lateral focal position) for various areas of the wide field of view. This system can correct a variety of display defects and aberrations. The image is composed at various depths of focus. The system is based on eye tracking and does not work with depth or focus tracking of the eye.
헤드 마운트 디스플레이용 눈의 적응 거리 측정 장치 및 방법을 제공한다.It provides an apparatus and method for measuring an eye adaptive distance for a head mounted display.
증강/가상 현실 시스템에서 사용될 수 있는 헤드 마운트 디스플레이를 제공한다.It provides a head mounted display that can be used in an augmented/virtual reality system.
일 실시예에 따른 눈의 적응 거리 결정 장치는, 주파수 변조된 복수의 레이저 빔을 상이한 방향으로 생성하고 상기 복수의 레이저 빔 중에서 눈의 반사면들에서 반사된 레이저 빔으로 복수의 간섭 신호를 생성하는 간섭계; 복수의 간섭 신호를 각각 이용하여 신호 스펙트럼을 생성하는 신호 처리부; 상기 신호 스펙트럼을 분석하여 각각의 레이저 빔에 대해 눈의 반사면까지의 거리를 결정하는 거리 결정부; 눈의 반사면들까지의 상기 결정된 거리와 각각의 레이저 빔의 방향에 관한 정보를 기초로 각각의 레이저 빔에 대해 눈의 각각의 반사면 상의 점들의 좌표를 결정하는 점 좌표 결정부; 눈의 반사면 상의 점들의 상기 결정된 좌표를 기초로 눈 내부 구조 모델을 생성하는 재구성부; 및 상기 눈 내부 구조 모델을 기초로 눈의 적응 거리를 결정하는 눈의 적응 거리 결정부;를 포함할 수 있다.The apparatus for determining the adaptive distance of the eye according to an embodiment generates a plurality of frequency-modulated laser beams in different directions, and generates a plurality of interference signals from the laser beams reflected from the reflective surfaces of the eye among the plurality of laser beams. interferometer; A signal processor for generating a signal spectrum using each of a plurality of interference signals; A distance determining unit that analyzes the signal spectrum and determines a distance to a reflective surface of the eye for each laser beam; A point coordinate determining unit for determining coordinates of points on each reflective surface of the eye for each laser beam based on the determined distance to the reflective surfaces of the eye and information about the direction of each laser beam; A reconstruction unit that generates an eye internal structure model based on the determined coordinates of points on the reflective surface of the eye; And an eye adaptation distance determination unit that determines an eye adaptation distance based on the eye internal structure model.
눈의 망막에 입사한 레이저 빔에 대해 상기 신호 처리부에서 생성된 각각의 신호 스펙트럼은 주파수 도메인에서 제 1 내지 제 4 피크를 가지며, 제 1 피크는 각막의 표면에 대응하고, 제 2 피크는 수정체의 전면에 대응하고, 제 3 피크는 수정체의 배면에 대응하고, 제 4 피크는 망막의 표면에 대응할 수 있다.For the laser beam incident on the retina of the eye, each signal spectrum generated by the signal processing unit has first to fourth peaks in the frequency domain, the first peak corresponds to the surface of the cornea, and the second peak is of the lens. Corresponding to the front surface, the third peak may correspond to the back surface of the lens, and the fourth peak may correspond to the surface of the retina.
상기 거리 결정부는 각각의 신호 스펙트럼의 주파수 도메인 내의 제 1 내지 제 4 피크로부터 각각의 레이저 빔의 광 경로 거리에 따른 피크를 추출하여 각각의 레이저 빔을 반사하는 눈의 반사면들까지의 거리를 계산할 수 있다.The distance determining unit extracts peaks according to the optical path distance of each laser beam from the first to fourth peaks in the frequency domain of each signal spectrum and calculates the distance to the reflective surfaces of the eyes reflecting each laser beam. I can.
상기 복수의 레이저 빔은 눈의 반사면들 상의 서로 다른 점들에 각각 입사하며, 상기 신호 처리부는 상기 복수의 레이저 빔들을 이용하여 눈의 반사면들 상의 서로 다른 점들에 대해 각각 신호 스펙트럼을 생성할 수 있다.The plurality of laser beams are incident on different points on the reflective surfaces of the eye, respectively, and the signal processing unit may generate signal spectra for different points on the reflective surfaces of the eye using the plurality of laser beams. have.
상기 재구성부는 각막의 표면, 수정체의 전면 및 수정체의 배면에 대응하는 점들을 구면으로 근사시킴으로써 각막의 곡률 반경, 수정체 전면의 곡률 반경, 수정체 후면의 곡률 반경, 수정체의 두께, 및 수정체와 망막 사이의 거리를 구하고, 이를 기초로 눈의 적응 거리를 결정할 수 있다.The reconstruction unit approximates the points corresponding to the surface of the cornea, the front surface of the lens, and the rear surface of the lens with a spherical surface, so that the radius of curvature of the cornea, the radius of curvature of the front of the lens, the radius of curvature of the back of the lens, the thickness of the lens, and between the lens and the retina The distance can be obtained, and based on this, an adaptation distance of the eye can be determined.
상기 재구성부는 근사된 구면들의 중심들이 위치하는 라인의 방향으로 눈의 광축 방향을 결정할 수 있다.The reconstruction unit may determine an optical axis direction of the eye in a direction of a line in which centers of the approximate spherical surfaces are located.
상기 신호 처리부, 상기 거리 결정부, 상기 점 좌표 결정부, 상기 재구성부, 및 상기 눈의 적응 거리 결정부는 하나의 소프트웨어, 또는 하나의 반도체칩, 또는 하나의 전자회로로 구현될 수 있다.The signal processing unit, the distance determination unit, the point coordinate determination unit, the reconstruction unit, and the eye adaptive distance determination unit may be implemented with one software, one semiconductor chip, or one electronic circuit.
상기 간섭계는 복수의 레이저를 구비하는 레이저 어레이 및 주파수 변조된 제어 신호를 상기 레이저 어레이의 각각의 레이저에 공급하는 레이저 어레이 구동기를 포함하는 자기 혼합 간섭계이고, 상기 간섭 신호는 레이저 자기 혼합 신호일 수 있다.The interferometer is a magnetic mixing interferometer including a laser array including a plurality of lasers and a laser array driver supplying a frequency modulated control signal to each laser of the laser array, and the interference signal may be a laser magnetic mixing signal.
상기 간섭계는 레이저, 주파수 변조된 제어 신호를 상기 레이저에 공급하는 레이저 구동기, 및 광학-기계 스캐닝 시스템을 포함하는 자기 혼합 간섭계이고, 상기 간섭 신호는 레이저 자기 혼합 신호일 수 있다.The interferometer is a magnetic mixing interferometer including a laser, a laser driver that supplies a frequency modulated control signal to the laser, and an optical-mechanical scanning system, and the interference signal may be a laser magnetic mixing signal.
상기 간섭계는 상기 눈의 반사면들에서 반사된 레이저 빔이 상기 레이저 빔을 방출한 레이저의 캐비티에 다시 입사하도록 구성될 수 있다.The interferometer may be configured such that the laser beam reflected from the reflective surfaces of the eye re-enters the cavity of the laser emitting the laser beam.
상기 간섭계는 복수의 레이저를 구비하는 레이저 어레이, 주파수 변조된 제어 신호를 상기 레이저 어레이의 각각의 레이저에 공급하는 레이저 어레이 구동기, 검출기, 빔 스플리터, 및 참조 거울을 포함하고, 상기 간섭 신호는 상기 검출기에 의해 생성된 신호일 수 있다.The interferometer includes a laser array including a plurality of lasers, a laser array driver for supplying a frequency modulated control signal to each laser of the laser array, a detector, a beam splitter, and a reference mirror, and the interference signal is the detector It may be a signal generated by
상기 간섭계는 레이저, 주파수 변조된 제어 신호를 상기 레이저에 공급하는 레이저 구동기, 검출기, 빔 스플리터, 참조 거울, 및 광학-기계 스캐닝 시스템을 포함할 수 있다.The interferometer may include a laser, a laser driver for supplying a frequency modulated control signal to the laser, a detector, a beam splitter, a reference mirror, and an optical-mechanical scanning system.
상기 빔 스플리터는 레이저에 의해 방출된 레이저 빔을 제 1 빔과 제 2 빔으로 분할하며, 제 1 빔은 상기 참조 거울에서 반사되고 제 2 빔은 눈의 반사면들로부터 반사되며, 반사된 제 1 빔과 제 2 빔은 상기 검출기에서 간섭 신호를 형성할 수 있다.The beam splitter divides the laser beam emitted by the laser into a first beam and a second beam, the first beam is reflected from the reference mirror and the second beam is reflected from the reflective surfaces of the eye, and the reflected first beam The beam and the second beam may form an interference signal in the detector.
다른 실시예에 따른 눈의 적응 거리 결정 방법은, 상이한 방향으로 주파수 변조된 복수의 레이저 빔들을 생성하며, 빔 방향 정보는 각각의 빔 방향에 대응하고, 복수의 레이저 빔 중에서 적어도 일부는 눈의 내부 구조의 반사면들에 입사하는 단계; 상기 복수의 레이저 빔들의 각각 레이저 빔에 대한 간섭 신호를 생성하는 단계; 복수의 간섭 신호들 중에서 각각의 간섭 신호에 대한 신호 스펙트럼을 생성하는 단계; 신호 스펙트럼을 분석하여 상기 복수의 레이저 빔들 중에서 각각의 레이저 빔에 대해 반사면까지의 거리를 결정하는 단계; 반사면들까지의 상기 결정된 거리와 빔 방향 정보를 기초로 각각의 빔에 대해 눈 표면의 점들의 좌표를, 헤드 마운트 디스플레이와 연관된 좌표계 내에서 결정하는 단계; 눈 표면의 점들의 상기 결정된 좌표를 기초로 눈 내부 구조 모델을 생성하는 단계; 및 상기 눈 내부 구조 모델을 기초로 눈의 적응 거리를 결정하는 단계;를 포함할 수 있다.The method for determining the adaptive distance of the eye according to another embodiment generates a plurality of laser beams frequency-modulated in different directions, and the beam direction information corresponds to each beam direction, and at least some of the plurality of laser beams are inside the eye. Incident on the reflective surfaces of the structure; Generating an interference signal for each laser beam of the plurality of laser beams; Generating a signal spectrum for each interfering signal from among the plurality of interfering signals; Analyzing a signal spectrum to determine a distance to a reflective surface for each laser beam among the plurality of laser beams; Determining coordinates of points of the eye surface for each beam based on the determined distance to reflective surfaces and beam direction information, within a coordinate system associated with the head mounted display; Generating a model of the internal structure of the eye based on the determined coordinates of points on the eye surface; And determining an adaptation distance of the eye based on the eye internal structure model.
또 다른 실시예에 따른 헤드 마운트 디스플레이는 상술한 눈의 적응 거리 결정 장치 및 조절 가능한 초점 거리를 갖는 렌더링 시스템을 포함하며, 상기 조절 가능한 초점 거리를 갖는 렌더링 시스템은 상기 눈의 적응 거리 결정 장치로부터 얻은 눈의 적응 거리를 기초로 자동으로 초점 거리를 조절하는 조절 가능한 초점 거리를 가질 수 있다.The head mounted display according to another embodiment includes the above-described apparatus for determining the adaptive distance of the eye and a rendering system having an adjustable focal length, and the rendering system having the adjustable focal length is obtained from the apparatus for determining the adaptive distance of the eye. It may have an adjustable focal length that automatically adjusts the focal length based on the adaptation distance of the eye.
개시된 실시예에 따르면, 눈의 초점과 눈의 수렴점 사이의 차이를 완화시킬 수 있다. 따라서 사용자가 오랜 시간 AR/VR 장치를 사용할 수 있다. 또한, 사용자가 머리의 움직임뿐만 아니라 눈의 움직임으로도 초점을 잃지 않고 시야를 변화시킬 수 있어서 자연스러운 느낌을 줄 수 있다.According to the disclosed embodiment, it is possible to mitigate the difference between the focus of the eye and the convergence point of the eye. Therefore, the user can use the AR/VR device for a long time. In addition, since the user can change the field of view without losing focus not only by movement of the head but also movement of the eyes, it is possible to give a natural feeling.
도 1은 일 실시예에 따른 눈의 적응 거리 결정 장치(eye accommodation distance determinig device)에 대한 블록도를 나타낸다.
도 2는 레이저 빔을 반사하는 눈의 내부 구조를 개략적으로 나타낸다.
도 3은 눈의 구조면들로부터 반사된 레이저 빔에 의해 생성된 신호 스펙트럼을 예시적으로 나타낸다.
도 4는 눈 구조의 반사면까지의 거리를 보이는 빔 간섭 신호 스펙트럼의 해석을 나타낸다.
도 5는 눈 구조면으로부터 반사되는 복수의 빔을 예시적으로 나타낸다.
도 6은 눈 구조면으로부터 반사된 복수의 빔의 간섭 신호 스펙트럼을 개략적으로 나타낸다.
도 7은 눈 내부 구조의 모델을 나타낸다.
도 8은 눈의 유효 광학 배치(effective optical layout)를 나타낸다.
도 9는 제 1 실시예에 따른 눈의 적응 거리 결정 장치에 대한 개략적인 도면이다.
도 10은 제 2 실시예에 따른 눈의 적응 거리 결정 장치에 대한 개략적인 도면이다.
도 11은 제 3 실시예에 따른 눈의 적응 거리 결정 장치에 대한 개략적인 도면이다.
도 12는 제 4 실시예에 따른 눈의 적응 거리 결정 장치에 대한 개략적인 도면이다.
도 13은 다른 실시예에 따른 헤드 마운트 디스플레이 장치에 대한 개략적인 도면이다.1 is a block diagram of an eye accommodation distance determinig device according to an exemplary embodiment.
2 schematically shows the internal structure of an eye reflecting a laser beam.
3 exemplarily shows the signal spectrum generated by the laser beam reflected from the structural surfaces of the eye.
4 shows an analysis of a spectrum of a beam interference signal showing the distance to the reflective surface of the eye structure.
5 exemplarily shows a plurality of beams reflected from the surface of the eye structure.
6 schematically shows an interference signal spectrum of a plurality of beams reflected from the ocular structure surface.
7 shows a model of the internal structure of the eye.
8 shows the effective optical layout of the eye.
9 is a schematic diagram of an apparatus for determining an adaptation distance of an eye according to the first embodiment.
10 is a schematic diagram of an apparatus for determining an adaptive distance of an eye according to a second embodiment.
11 is a schematic diagram of an apparatus for determining an adaptive distance of an eye according to a third exemplary embodiment.
12 is a schematic diagram of an apparatus for determining an adaptive distance of an eye according to a fourth exemplary embodiment.
13 is a schematic diagram of a head mounted display device according to another exemplary embodiment.
이하, 첨부된 도면들을 참조하여, 헤드 마운트 디스플레이용 눈의 적응 거리 측정 장치 및 방법, 및 헤드 마운트 디스플레이에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 또한, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다.Hereinafter, an apparatus and method for measuring an eye adaptive distance for a head mounted display, and a head mounted display will be described in detail with reference to the accompanying drawings. In the following drawings, the same reference numerals refer to the same components, and the size of each component in the drawings may be exaggerated for clarity and convenience of description. In addition, the embodiments described below are merely exemplary, and various modifications are possible from these embodiments.
이하에서, "상부" 나 "상"이라고 기재된 것은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Hereinafter, what is described as "top" or "top" may include not only those directly above by contact, but also those that are above non-contact. Singular expressions include multiple expressions unless the context clearly indicates otherwise. In addition, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.
"상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 다수 모두에 해당하는 것일 수 있다. 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 이러한 단계들은 적당한 순서로 행해질 수 있으며, 반드시 기재된 순서에 한정되는 것은 아니다. The use of the term "above" and similar designating terms may correspond to both the singular and the plural. Unless explicitly stated or contradictory to the steps constituting the method, these steps may be performed in an appropriate order, and are not necessarily limited to the stated order.
또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as "... unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .
도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.Connections or connecting members of lines between components shown in the drawings are illustrative representations of functional connections and/or physical or circuit connections, and in an actual device, various functional connections, physical connections, alternative or additional, Or it can be represented as circuit connections.
모든 예들 또는 예시적인 용어의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 청구범위에 의해 한정되지 않는 이상 이런 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다.The use of all examples or illustrative terms is merely for describing technical concepts in detail, and the scope is not limited by these examples or illustrative terms unless limited by the claims.
도 1을 참조하면, 헤드 마운트 디스플레이(head mounted display)를 위한 일 실시예에 따른 눈의 적응 거리 결정 장치(eye accommodation distance determinig device)는 레이저 간섭계(1), 신호 처리부(2), 거리 결정부(3), 점 좌표 결정부(4), 재구성부(5), 및 눈의 적응 거리 결정부(6)를 포함한다. 도 1에는 신호 처리부(2), 거리 결정부(3), 점 좌표 결정부(4), 재구성부(5), 및 눈의 적응 거리 결정부(6)를 설명의 편의 상 분리하여 도시하였으나, 신호 처리부(2), 거리 결정부(3), 점 좌표 결정부(4), 재구성부(5), 및 눈의 적응 거리 결정부(6)는 실제로는 하나의 소프트웨어, 또는 하나의 반도체칩, 또는 하나의 전자회로로 구현될 수 있다.Referring to FIG. 1, an eye accommodation distance determinig device according to an embodiment for a head mounted display includes a
레이저 간섭계(1)는 빔속(beam bundle)을 형성하는 상이한 방향들로 복수의 주파수 변조된 레이저 빔들을 발생시키고, 눈의 외부면들과 눈의 내부면들을 포함하며 각각의 빔에 대한 간섭 신호를 생성하는 눈의 하나 이상의 표면으로부터 반사된 빛을 검출한다. 예를 들어, 눈의 외부면들은 각막(cornea)의 표면이나 공막(sclera)의 표면들이고, 눈의 내부면들은 수정체의 표면이나 망막의 표면들이다.The
신호 처리부(2)는 간섭 신호들을 처리하여 레이저 간섭계(1)에 의해 발생된 복수의 간섭 신호들의 각각의 신호에 대해 신호 스펙트럼을 생성한다.The
눈의 구조면들로부터 반사된 빔들의 신호들의 스펙트럼은 상이한 표면들로부터의 반사에 대응하는 상이한 주파수의 특정한 피크를 갖는다. 예를 들어, 도 2 및 도 3을 참조하면, 눈의 동공에 입사한 빔들의 신호들의 스펙트럼은 내부와 외부의 눈 구조들의 반사면들, 이를 테면, 각막(7)이나 공막(8)의 표면, 수정체(9)의 전면, 수정체(9)의 배면, 및 망막(10)의 표면으로부터의 반사에 대응하는 4개의 상이한 주파수 피크를 가질 것이다. 따라서, 스펙트럼 피크들은 상이한 반사면들로 해석될 수 있다. 예를 들어, 제 1 피크는 눈의 각막(7)과 공막(8)의 표면들에 대응하고, 제 2 피크는 수정체(9)의 전면과 홍채(iris)에 대응하고, 제 3 피크는 수정체(9)의 배면에 대응하고, 제 4 피크는 눈의 망막(10)의 표면에 대응한다.The spectrum of the signals of the beams reflected from the structural surfaces of the eye has specific peaks at different frequencies corresponding to reflections from different surfaces. For example, referring to FIGS. 2 and 3, the spectrum of signals of beams incident on the pupil of the eye are reflective surfaces of internal and external eye structures, such as the surface of the
거리 결정부(3)는, 각각의 레이저 빔에 대해, 간섭 기술을 사용하여 신호 스펙트럼 분석을 수행하고 레이저 빔을 반사하는 하나 이상의 표면들까지의 하나 이상의 거리를 결정한다. 예를 들어, 도 4를 참조하면, 거리 결정부(3)는 신호 스펙트럼의 분석을 통해 도 3에 도시된 주파수 도메인의 4개의 피크로부터 광 경로 거리에 따른 4개의 피크를 추출하여 각각의 레이저 빔을 반사하는 표면들 사이의 거리를 계산한다.The
점 좌표 결정부(4)는, 각각의 빔에 대한 반사면들까지의 거리에 관한 정보 및 빔 방향(공간 내에서 빔의 위치)에 관한 정보를 기초로, 헤드 마운트 디스플레이와 연관된 좌표계에서 눈의 구조면들의 점들의 좌표들을 결정한다. 각각의 점은 눈의 구조의 특정 표면과 관련될 수 있다. 예를 들어, 레이저 빔들 중에서 눈의 망막(10)에 입사한 레이저 빔은 4개의 반사를 가지며, 이 경우 신호 스펙트럼의 제 1 피크는 각막 표면 상의 한 점에 대응하고, 신호 스펙트럼의 제 2 피크는 수정체의 전면 상의 한 점에 대응하고, 신호 스펙트럼의 제 3 피크는 수정체의 배면 상의 한 점에 대응하고, 신호 스펙트럼의 제 4 피크는 망막 표면 상의 한 점에 대응한다. 2개의 반사를 갖는 빔의 경우, 신호 스펙트럼의 제 1 피크는 각막 표면에 대응하고, 신호 스펙트럼의 제 1 피크는 홍채 표면에 대응한다. 하나의 반사를 갖는 빔의 경우, 하나의 단일한 피크가 공막 또는 공막의 표면 또는 다른 표면(빔이 사용자의 눈에 입사하지 않는다면)에 대응한다.The point coordinate
도 5를 참조하면, 복수의 주파수 변조된 레이저 빔들은 눈의 구조면들 상의 서로 다른 점들에 각각 입사한다. 따라서, 신호 스펙트럼의 제 1 피크 내지 제 4 피크들의 위치는, 예를 들어, 도 6에 도시된 바와 같이, 복수의 주파수 변조된 레이저 빔들이 입사하는 눈의 구조면들 상의 점들의 위치에 따라 달라진다. 신호 처리부(2)는 복수의 주파수 변조된 레이저 빔들을 이용하여 눈의 구조면들 상의 서로 다른 점들에 대해 각각 신호 스펙트럼을 생성한다. 거리 결정부(3)는 복수의 레이저 빔들로부터 얻은 복수의 신호 스펙트럼을 이용하여 복수의 레이저 빔들이 각각 진행하는 경로 상에 있는 표면들 사이의 거리를 결정한다. 그러면, 점 좌표 결정부(4)는 거리 결정부(3)로부터 제공되는 정보를 이용하여 눈의 구조면들 상의 서로 다른 점들의 좌표들을 결정할 수 있다.Referring to FIG. 5, a plurality of frequency-modulated laser beams are incident on different points on structural surfaces of the eye, respectively. Accordingly, the positions of the first to fourth peaks of the signal spectrum vary depending on the positions of points on the structural surfaces of the eye to which a plurality of frequency modulated laser beams are incident, as shown in FIG. 6, for example. . The
재구성부(5)는 눈의 구조면들에 관한 정보를 기초로 눈 구조 모델을 생성한다. 눈 구조 모델(eye structure model)은, 예를 들어, 기하학적 표면들에 의해 점들을 근사(approximating)시킴으로써 생성될 수 있다. 예를 들어, 각막 표면, 수정체 전면 및 수정체 배면에 대응하는 점들의 그룹들은 구면(spherical surface)에 의해 근사될 수 있으며, 망막과 관련된 점들의 그룹은 평면에 의해 근사될 수 있다. 따라서, 눈 구조 모델은 눈의 구성 요소들의 표면들에 대응하는 근사적인 표면들의 조합일 수 있다.The
재구성부(5)는 눈의 구조면들에 대응하는 근사적인 구면들의 중심들이 위치하는 라인의 방향으로 눈의 광축의 방향을 결정하도록 구성될 수 있다.The
눈의 적응 거리 결정부(6)는, 눈 내부의 구조 모델을 기초로, 눈의 적응 거리(accommodation distance)를 결정한다. 도 7 및 도 8을 참조하여 보다 구체적으로 설명하자면, 눈의 적응 거리(S1)는 눈 구조면들 사이의 거리들(S2, d) 및 구조면들의 곡률들(R1-1, R2-1, R3-1)을 기초로 결정될 수 있으며, 상기 거리들 및 곡률들은 재구성부(5)에 의해 생성된 눈 구조 모델을 기초로 얻을 수 있다. 적응 거리(S1)는 다음의 수학식들의 조합으로부터 결정될 수 있다.The eye adaptation
여기서,here,
수학식 1은 얇은 렌즈 방정식(thin lens equation)(유효 광학 배치 방정식(effective optical layout equation))이며,
수학식 2는 눈의 광학계 방정식(eye optical system equation)이고,
f는 유효 광학 배치 초점거리이고,f is the effective optical placement focal length,
R1은 각막의 곡률 반경이고,R 1 is the radius of curvature of the cornea,
R2는 수정체 전면의 곡률 반경이고,R 2 is the radius of curvature of the front of the lens,
R3는 수정체 배면의 곡률 반경이고,R 3 is the radius of curvature of the back of the lens,
d는 수정체의 두께이고,d is the thickness of the lens,
S1은 (계산될) 적응 거리이고,S 1 is the (to be calculated) adaptation distance,
S2는 수정체와 망막 사이의 거리이고,S 2 is the distance between the lens and retina,
n1은 유리체(vitreous body)의 눈 매질 굴절률이고,n 1 is the refractive index of the eye medium of the vitreous body,
n2는 수정체 매질의 굴절률이다.n 2 is the refractive index of the lens medium.
상술한 값들 중에서, R1, R2, R3, d 및 S2의 값들은 눈 내부의 구조 모델(도 5 참조)을 기초로 결정되고, n1 및 n2의 값들은 미리 결정되어 있고, S1의 값은 결정될 값이다.Among the above-described values, values of R 1 , R 2 , R 3 , d and S 2 are determined based on a structural model inside the eye (see FIG. 5 ), and values of n 1 and n 2 are predetermined, The value of S 1 is the value to be determined.
따라서, 제안된 장치는 눈 내부의 구조 모델을 기초로 눈의 적응 거리에 대한 정확한 결정을 제공한다.Therefore, the proposed device provides an accurate determination of the adaptation distance of the eye based on a structural model inside the eye.
간섭 신호들을 생성하는 방식이 다르고 또한 상이한 방향들로 복수의 주파수 변조된 레이저 빔들을 생성하는 방식이 다른 특정 실시예들을 이하에서 설명한다.Specific embodiments in which the method of generating the interference signals is different and the method of generating a plurality of frequency modulated laser beams in different directions will be described below.
제 1 실시예
도 9에 도시된 제 1 실시예에 따르면, 눈의 적응 거리 결정 장치의 간섭계는 자기 혼합 간섭계(SMI interferometer)이며, 예를 들어, 수직 공진기 면발광 레이저(vertical-cavity surface-emitting-laser; VCSEL)들의 어레이인 레이저 어레이(11), 레이저 어레이 구동기(12) 및 광학계를 포함한다.According to the first embodiment shown in FIG. 9, the interferometer of the apparatus for determining the adaptive distance of the eye is an SMI interferometer, for example, a vertical-cavity surface-emitting-laser (VCSEL). ), a
레이저 어레이 구동기(12)는, 레이저 어레이(11) 내의 레이저들에, 예를 들어, 하나의 레이저에, 레이저들의 그룹에, 또는 어레이 내의 모든 레이저들에 동시에 레이저 펌핑 전류의 변조를 제공함으로써, 주파수 변조된 제어 신호를 선택적으로 공급한다. 동시에 동작하는 레이저들의 개수는 눈에 안전한 최대 허용 레이저 방출 출력으로 제한된다. 어레이 내의 각각의 레이저는 서로 다른 특정한 빔 방향을 갖는다. 이러한 빔 방향은 빔 방향을 형성하는 데 연관되는 눈의 적응 거리 결정 장치의 다른 부품들에 대한 레이저 어레이(11) 내의 레이저의 위치에 의존하며 미리 알고 있다.The
광학계는 빔들의 방향을 형성하는 데 연관되며, 사용자의 눈에 광을 전달하고, 예를 들어, 하나 이상의 렌즈(13)와 다이크로익 거울(14)을 포함할 수 있다. 다이크로익 거울(14)은 사용자의 눈에 광을 전달하기 위한 수단의 단지 하나의 예일 뿐이다. 다이크로익 거울(14) 대신에, 예를 들어, 도파로가 사용될 수도 있다.The optical system is involved in shaping the direction of the beams, transmits light to the user's eye, and may include, for example, one or
상세한 설명에서, 빔 방향이라는 용어는, 눈의 반사면들에 입사하기 전의 레이저 빔의 진행 경로의 마지막 부분에서, 다시 말해, 간섭계의 광학계로부터 출사한 후의 빔 진행 경로의 일부에서, 헤드 마운트 디스플레이와 연관된 좌표계에 대한 레이저 빔의 축의 공간 내의 위치로서 이해할 수 있다.In the detailed description, the term beam direction is used at the end of the path of the laser beam before it is incident on the reflective surfaces of the eye, that is, in the part of the path of the beam after exiting from the optical system of the interferometer, the head mounted display and It can be understood as the position in space of the axis of the laser beam relative to the associated coordinate system.
본 실시예에 따르면, 간섭계는 자기 혼합 간섭 신호를 발생시킨다. 특정 레이저에 의해 방출된 빔은 광학계의 소자들을 통해 눈에 전달되며, 눈의 구조면들에 의해 반사되고, 그 레이저 빔을 방출한 레이저의 캐비티로 다시 입사하여 빔 생성 모드에 영향을 준다(즉, 자기 혼합 효과가 발생한다). 이러한 효과는 구동기(12) 측에서 레이저 바이어스 전압을 측정함으로써 또는 레이저 패키지 내에 장착된 포토다이오드(도면에 도시되지 않음)를 사용하여 레이저 출력의 발진을 측정함으로써 검출된다. 구동기 또는 포토다이오드로부터 얻은 대응하는 신호가 자기 혼합 간섭 신호이다.According to this embodiment, the interferometer generates a self-mixed interference signal. The beam emitted by a specific laser is transmitted to the eye through the elements of the optical system, is reflected by the structural surfaces of the eye, and re-enters the cavity of the laser that emitted the laser beam to affect the beam generation mode (i.e. , A self-mixing effect occurs). This effect is detected by measuring the laser bias voltage at the
따라서, 레이저 어레이(11)는 복수의 빔들을 발생시키는 데 사용되며 SMI 효과는 간섭 신호를 발생시키는 데 사용된다. 본 실시예는 소자의 개수들의 최소화, 간단한 구성 및 낮은 단가를 특징으로 한다.Thus, the
본 실시예 및 다른 실시예들에서, 복수의 빔들을 발생시키고 사용자의 눈 및 소자들(예컨대, 광학계 및 광학-기계 스캐닝 시스템)에 광을 전달하는 기능들은 조건부로 간섭계에 관련된 것이지만, 필요하다면, 별개로 생각할 수도 있다.In this and other embodiments, the functions of generating a plurality of beams and delivering light to the user's eyes and elements (e.g., optical and optical-mechanical scanning systems) are conditionally related to the interferometer, but if necessary, You can think of it separately.
제 2 실시예Example 2
도 10에 도시된 제 2 실시예에 따르면, 눈의 적응 거리 결정 장치의 간섭계는 레이저 어레이(11), 레이저 어레이 구동기(12), 검출기(15), 빔 스플리터(16), 참조 거울(17), 및 광학계를 포함하는 2 아암(two-arm) 간섭계이다.According to the second embodiment shown in FIG. 10, the interferometer of the apparatus for determining the adaptive distance of the eye includes a
레이저 어레이(11), 레이저 어레이 구동기(12) 및 광학계는 제 1 실시예에서 설명한 것과 같다.The
제 2 실시예는 간섭 신호를 발생시키는 방식에 있어서 제 1 실시예와 상이하다. 어레이(11)의 특정 레이저에 의해 방출된 빔은 빔 스플리터(16)(부분적으로 반사하는 거울)에 의해 2개의 빔으로 분할되며, 그 중에서 하나는 참조 거울(17)로부터 반사되고 다른 하나는 사용자의 눈에 전달되어 눈의 반사면들로부터 반사된다. 2개의 빔들은 빔 스플리터(16)로 되돌아와서 검출기(15)로 보내지며, 여기서 빔들은 간섭하여 간섭 신호를 형성한다.The second embodiment differs from the first embodiment in the manner of generating an interference signal. The beam emitted by a particular laser in the
본 실시예는 더 많은 부품들을 구비하며 덜 컴팩트하고 더 고가이지만, 동일한 레이저 출력으로 더 우수한 신호대 잡음비를 제공한다.This embodiment has more components, is less compact and more expensive, but provides a better signal-to-noise ratio with the same laser power.
제 3 실시예
도 11에 도시된 제 3 실시예에 따르면, 눈의 적응 거리 결정 장치의 간섭계는 자기 혼합 간섭계이며 단일 레이저(18), 레이저 구동기, 광학-기계 스캐닝 시스템 및 광학계를 포함한다.According to the third embodiment shown in Fig. 11, the interferometer of the apparatus for determining the adaptive distance of the eye is a magnetic mixing interferometer and includes a
본 실시예의 광학계는 이전의 실시예들의 광학계에 상응하므로 설명을 생략한다.Since the optical system of this embodiment corresponds to the optical system of the previous embodiments, a description thereof will be omitted.
간섭 신호의 생성은 제 1 실시예와 유사한 자기 혼합 효과를 사용하여, 다시 말해 구동기 측에서 레이저 바이어스 전압을 측정함으로써 또는 레이저 패키지 내에 장착된 포토다이오드를 사용하여 레이저 출력의 발진을 측정함으로써 수행된다.The generation of the interference signal is performed using a magnetic mixing effect similar to that of the first embodiment, that is, by measuring the laser bias voltage at the driver side or by measuring the oscillation of the laser output using a photodiode mounted in the laser package.
광학-기계 스캐닝 시스템은 레이저 빔 방향의 변화를 제공하며 어떠한 광 편향 기술, 예컨대, 회전 거울, MEMS 거울, 이동 가능 렌즈, 음향-광학 편향기 등을 이용하여 구현될 수 있다. 도 11에 개략적으로 도시된 실시예에서, 광학-기계 스캐닝 시스템은 이동 가능 거울(19)이다.The optical-mechanical scanning system provides a change in laser beam direction and can be implemented using any optical deflection technique, such as rotating mirrors, MEMS mirrors, movable lenses, acoustic-optical deflectors, and the like. In the embodiment schematically shown in FIG. 11, the optical-mechanical scanning system is a
광학-기계 스캐닝 시스템은, 예를 들어, 모터에 의해 구동되어 레이저 빔 스캐닝을 제공하는 이동 가능 거울들의 시스템, 거울 위치 센서, 및 모터를 제어하고 센서를 읽어서 각각의 순간에 스캐닝 시스템의 상태를 특징짓고 각각의 순간에 레이저 빔 위치를 결정하도록 하는 신호의 생성(빔 방향 정보)을 제공하는 제어기를 포함할 수 있다.The optical-mechanical scanning system, for example, is a system of movable mirrors that are driven by a motor to provide laser beam scanning, a mirror position sensor, and the state of the scanning system at each moment by controlling the motor and reading the sensor. It may include a controller that provides the generation (beam direction information) of a signal to build and determine the laser beam position at each instant.
광학-기계 스캐닝 시스템이 사용되는 본 실시예에서, 공간 내에서 연속적으로 이동하는 빔을 갖는 단일 레이저가 사용되기 때문에, 특정 레이저 빔은 작은 시간 간격 내에서(예컨대, 레이저의 변조 주기 내에서) 고려된 레이저 빔으로 이해하여야 한다.In this embodiment where an optical-mechanical scanning system is used, since a single laser with a beam moving continuously in space is used, a specific laser beam is considered within a small time interval (e.g., within the modulation period of the laser). It should be understood as a laser beam.
제 4 실시예
도 12에 도시된 제 4 실시예에 따르면, 눈의 적응 거리 결정 장치의 간섭계는 단일 레이저(18), 레이저 구동기, 광학-기계 스캐닝 시스템, 검출기(15), 빔 스플리터(16), 참조 거울(17), 및 광학계를 포함하는 2 아암 간섭계이다.According to the fourth embodiment shown in Fig. 12, the interferometer of the apparatus for determining the adaptive distance of the eye is a
제 4 실시예는 간섭 신호를 생성하는 방식에 있어서 제 3 실시예와 상이하고 제 2 실시예와 유사하다.The fourth embodiment is different from the third embodiment and is similar to the second embodiment in the manner of generating an interference signal.
제안된 눈의 적응 거리 결정 장치는 가변의 초점 거리를 갖는 헤드 마운트 디스플레이 장치의 부품으로서 사용될 수 있다. 예를 들어, 도 13을 참조하면, 가변의 초점 거리를 갖는 헤드 마운트 디스플레이 장치(20)는 상술한 눈의 적응 거리 결정 장치 및 가변의 초점 거리를 갖는 렌더링 시스템(21)을 포함한다. 가변의 초점 거리를 갖는 렌더링 시스템(21)은 눈의 적응 거리 결정 장치에 연결되어 눈의 적응 거리 결정 장치에서 결정된 눈의 적응 거리에 관한 신호를 수신한다. 이와 동시에, 렌더링 시스템(21)은 결정된 적응 거리를 기초로 초점 거리를 조절하도록 구성된다. 결정된 적응 거리를 기초로 시각화 시스템의 초점 거리를 결정하는 알고리즘은 적용예에 따라 달라진다. 예를 들어, 렌더링 시스템(21)은 디스플레이 되는 가상의 물체가 사용자의 눈에 언제나 포커싱되도록 초점 거리를 조절할 수 있다. 예를 들어, 렌더링 시스템(21)은 사용자의 눈의 적응 거리와 가상 물체의 초점 평면 사이의 간격(g)을 최소화하여 가상 물체와 실제 물체가 일치하도록 초점 거리를 조절할 수 있다. 따라서, 사용자의 눈의 적응 거리를 기초로 헤드 마운트 디스플레이의 초점 거리를 보다 정확하게 조절할 수 있다.The proposed eye adaptive distance determination device can be used as a component of a head mounted display device having a variable focal length. For example, referring to FIG. 13, the head mounted
상술한 헤드 마운트 디스플레이용 눈의 적응 거리 측정 장치 및 방법, 및 헤드 마운트 디스플레이는 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 권리범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.The above-described apparatus and method for measuring eye adaptive distance for a head mounted display, and a head mounted display have been described with reference to the embodiments shown in the drawings, but these are only exemplary, and those of ordinary skill in the art It will be appreciated that various modifications and other equivalent embodiments are possible. Therefore, the disclosed embodiments should be considered from an illustrative point of view rather than a limiting point of view. The scope of the rights is indicated in the claims rather than the above description, and all differences within the scope equivalent thereto should be construed as being included in the scope of the rights.
1.....레이저 간섭계
2.....신호 처리부
3.....거리 결정부
4.....점 좌표 결정부
5.....재구성부
6.....눈의 적응 거리 결정부
11.....레이저 어레이
12.....레이저 어레이 구동기
15.....검출기
16.....빔 스플리터
17.....참조 거울
18.....단일 레이저
20.....헤드 마운트 디스플레이 장치
21.....렌더링 시스템1.....
3.....
5.....
11.....
15.....
17.....
20.....head mounted
Claims (15)
복수의 간섭 신호를 각각 이용하여 신호 스펙트럼을 생성하는 신호 처리부;
상기 신호 스펙트럼을 분석하여 각각의 레이저 빔에 대해 눈의 반사면까지의 거리를 결정하는 거리 결정부;
눈의 반사면들까지의 상기 결정된 거리와 각각의 레이저 빔의 방향에 관한 정보를 기초로 각각의 레이저 빔에 대해 눈의 각각의 반사면 상의 점들의 좌표를 결정하는 점 좌표 결정부;
눈의 반사면 상의 점들의 상기 결정된 좌표를 기초로 눈 내부 구조 모델을 생성하는 재구성부; 및
상기 눈 내부 구조 모델을 기초로 눈의 적응 거리를 결정하는 눈의 적응 거리 결정부;를 포함하는 눈의 적응 거리 결정 장치.An interferometer that generates a plurality of frequency-modulated laser beams in different directions and generates a plurality of interference signals from the laser beams reflected from the reflective surfaces of the eye among the plurality of laser beams;
A signal processor for generating a signal spectrum using each of a plurality of interference signals;
A distance determining unit that analyzes the signal spectrum and determines a distance to a reflective surface of the eye for each laser beam;
A point coordinate determining unit for determining coordinates of points on each reflective surface of the eye for each laser beam based on the determined distance to the reflective surfaces of the eye and information about the direction of each laser beam;
A reconstruction unit that generates an eye internal structure model based on the determined coordinates of points on the reflective surface of the eye; And
And an eye adaptation distance determining unit configured to determine an eye adaptation distance based on the eye internal structure model.
눈의 망막에 입사한 레이저 빔에 대해 상기 신호 처리부에서 생성된 각각의 신호 스펙트럼은 주파수 도메인에서 제 1 내지 제 4 피크를 가지며,
제 1 피크는 각막의 표면에 대응하고, 제 2 피크는 수정체의 전면에 대응하고, 제 3 피크는 수정체의 배면에 대응하고, 제 4 피크는 망막의 표면에 대응하는 눈의 적응 거리 결정 장치.The method of claim 1,
Each signal spectrum generated by the signal processing unit for the laser beam incident on the retina of the eye has first to fourth peaks in the frequency domain,
The first peak corresponds to the surface of the cornea, the second peak corresponds to the front surface of the lens, the third peak corresponds to the back surface of the lens, and the fourth peak corresponds to the surface of the retina.
상기 거리 결정부는 각각의 신호 스펙트럼의 주파수 도메인 내의 제 1 내지 제 4 피크로부터 각각의 레이저 빔의 광 경로 거리에 따른 피크를 추출하여 각각의 레이저 빔을 반사하는 눈의 반사면들까지의 거리를 계산하는 눈의 적응 거리 결정 장치.The method of claim 2,
The distance determining unit calculates distances to reflective surfaces of the eyes reflecting each laser beam by extracting peaks according to the optical path distance of each laser beam from the first to fourth peaks in the frequency domain of each signal spectrum. Device for determining the adaptive distance of the eye
상기 복수의 레이저 빔은 눈의 반사면들 상의 서로 다른 점들에 각각 입사하며, 상기 신호 처리부는 상기 복수의 레이저 빔들을 이용하여 눈의 반사면들 상의 서로 다른 점들에 대해 각각 신호 스펙트럼을 생성하는 눈의 적응 거리 결정 장치.The method of claim 2,
The plurality of laser beams are incident on different points on the reflective surfaces of the eye, and the signal processing unit generates a signal spectrum for different points on the reflective surfaces of the eye using the plurality of laser beams. Adaptive distance determination device.
상기 재구성부는 각막의 표면, 수정체의 전면 및 수정체의 배면에 대응하는 점들을 구면으로 근사시킴으로써 각막의 곡률 반경, 수정체 전면의 곡률 반경, 수정체 후면의 곡률 반경, 수정체의 두께, 및 수정체와 망막 사이의 거리를 구하고, 이를 기초로 눈의 적응 거리를 결정하는 눈의 적응 거리 결정 장치.The method of claim 1,
The reconstruction unit approximates the points corresponding to the surface of the cornea, the front surface of the lens, and the rear surface of the lens with a spherical surface, so that the radius of curvature of the cornea, the radius of curvature of the front of the lens, the radius of curvature of the rear of the lens, the thickness of the lens, and between the lens and the retina An eye adaptation distance determination device that calculates a distance and determines an adaptation distance of the eye based on this.
상기 재구성부는 근사된 구면들의 중심들이 위치하는 라인의 방향으로 눈의 광축 방향을 결정하는 눈의 적응 거리 결정 장치.The method of claim 5,
The reconstruction unit determines the optical axis direction of the eye in the direction of the line where the centers of the approximate spherical surfaces are located.
상기 신호 처리부, 상기 거리 결정부, 상기 점 좌표 결정부, 상기 재구성부, 및 상기 눈의 적응 거리 결정부는 하나의 소프트웨어, 또는 하나의 반도체칩, 또는 하나의 전자회로로 구현되는 눈의 적응 거리 결정 장치.The method of claim 1,
The signal processing unit, the distance determining unit, the point coordinate determining unit, the reconstruction unit, and the eye adaptive distance determining unit determine the adaptive distance of the eye implemented by one software, one semiconductor chip, or one electronic circuit. Device.
상기 간섭계는 복수의 레이저를 구비하는 레이저 어레이 및 주파수 변조된 제어 신호를 상기 레이저 어레이의 각각의 레이저에 공급하는 레이저 어레이 구동기를 포함하는 자기 혼합 간섭계이고,
상기 간섭 신호는 레이저 자기 혼합 신호인 눈의 적응 거리 결정 장치.The method of claim 1,
The interferometer is a magnetic mixing interferometer including a laser array including a plurality of lasers and a laser array driver for supplying a frequency modulated control signal to each laser of the laser array,
The interference signal is a laser magnetic mixing signal adaptive distance determination device of the eye.
상기 간섭계는 레이저, 주파수 변조된 제어 신호를 상기 레이저에 공급하는 레이저 구동기, 및 광학-기계 스캐닝 시스템을 포함하는 자기 혼합 간섭계이고,
상기 간섭 신호는 레이저 자기 혼합 신호인 눈의 적응 거리 결정 장치.The method of claim 1,
The interferometer is a magnetic mixing interferometer including a laser, a laser driver for supplying a frequency modulated control signal to the laser, and an optical-mechanical scanning system,
The interference signal is a laser magnetic mixing signal adaptive distance determination device of the eye.
상기 간섭계는 상기 눈의 반사면들에서 반사된 레이저 빔이 상기 레이저 빔을 방출한 레이저의 캐비티에 다시 입사하도록 구성된 눈의 적응 거리 결정 장치. The method of claim 9,
The interferometer is an apparatus for determining an adaptive distance of the eye, configured such that the laser beam reflected from the reflective surfaces of the eye re-enters the cavity of the laser emitting the laser beam.
상기 간섭계는 복수의 레이저를 구비하는 레이저 어레이, 주파수 변조된 제어 신호를 상기 레이저 어레이의 각각의 레이저에 공급하는 레이저 어레이 구동기, 검출기, 빔 스플리터, 및 참조 거울을 포함하고,
상기 간섭 신호는 상기 검출기에 의해 생성된 신호인 눈의 적응 거리 결정 장치.The method of claim 1,
The interferometer includes a laser array including a plurality of lasers, a laser array driver for supplying a frequency modulated control signal to each laser of the laser array, a detector, a beam splitter, and a reference mirror,
The apparatus for determining an adaptive distance of the eye, wherein the interference signal is a signal generated by the detector.
상기 간섭계는 레이저, 주파수 변조된 제어 신호를 상기 레이저에 공급하는 레이저 구동기, 검출기, 빔 스플리터, 참조 거울, 및 광학-기계 스캐닝 시스템을 포함하는 눈의 적응 거리 결정 장치.The method of claim 1,
The interferometer comprises a laser, a laser driver for supplying a frequency modulated control signal to the laser, a detector, a beam splitter, a reference mirror, and an optical-mechanical scanning system.
상기 빔 스플리터는 레이저에 의해 방출된 레이저 빔을 제 1 빔과 제 2 빔으로 분할하며, 제 1 빔은 상기 참조 거울에서 반사되고 제 2 빔은 눈의 반사면들로부터 반사되며, 반사된 제 1 빔과 제 2 빔은 상기 검출기에서 간섭 신호를 형성하는 눈의 적응 거리 결정 장치.The method of claim 12,
The beam splitter divides the laser beam emitted by the laser into a first beam and a second beam, the first beam is reflected from the reference mirror and the second beam is reflected from the reflective surfaces of the eye, and the reflected first beam An apparatus for determining an adaptive distance of an eye in which the beam and the second beam form an interference signal in the detector.
상기 복수의 레이저 빔들의 각각 레이저 빔에 대한 간섭 신호를 생성하는 단계;
복수의 간섭 신호들 중에서 각각의 간섭 신호에 대한 신호 스펙트럼을 생성하는 단계;
신호 스펙트럼을 분석하여 상기 복수의 레이저 빔들 중에서 각각의 레이저 빔에 대해 반사면까지의 거리를 결정하는 단계;
반사면들까지의 상기 결정된 거리와 빔 방향 정보를 기초로 각각의 빔에 대해 눈 표면의 점들의 좌표를, 헤드 마운트 디스플레이와 연관된 좌표계 내에서 결정하는 단계;
눈 표면의 점들의 상기 결정된 좌표를 기초로 눈 내부 구조 모델을 생성하는 단계; 및
상기 눈 내부 구조 모델을 기초로 눈의 적응 거리를 결정하는 단계;를 포함하는 눈의 적응 거리 결정 방법.Generating a plurality of laser beams frequency modulated in different directions, the beam direction information corresponding to each beam direction, and at least some of the plurality of laser beams are incident on reflective surfaces of the inner structure of the eye;
Generating an interference signal for each laser beam of the plurality of laser beams;
Generating a signal spectrum for each interfering signal from among the plurality of interfering signals;
Analyzing a signal spectrum to determine a distance to a reflective surface for each laser beam among the plurality of laser beams;
Determining coordinates of points of the eye surface for each beam based on the determined distance to reflective surfaces and beam direction information, within a coordinate system associated with the head mounted display;
Generating a model of the internal structure of the eye based on the determined coordinates of points on the eye surface; And
Determining an adaptation distance of the eye based on the internal structure model of the eye.
상기 조절 가능한 초점 거리를 갖는 렌더링 시스템은 상기 눈의 적응 거리 결정 장치로부터 얻은 눈의 적응 거리를 기초로 자동으로 초점 거리를 조절하는 조절 가능한 초점 거리를 갖는 헤드 마운트 디스플레이.An apparatus for determining an adaptive distance of an eye according to any one of claims 1 to 13 and a rendering system having an adjustable focal length,
The rendering system having the adjustable focal length automatically adjusts the focal length based on the eye adaptation distance obtained from the eye adaptation distance determination device.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2020/008766 WO2021049740A1 (en) | 2019-09-12 | 2020-07-06 | Eye accommodation distance measuring device and method, and head-mounted display |
CN202010659541.0A CN112485904B (en) | 2019-09-12 | 2020-07-09 | Eye accommodation distance measuring apparatus and method, and head-mounted display |
US17/581,352 US12085716B2 (en) | 2019-09-12 | 2022-01-21 | Eye accommodation distance measuring device and method for head-mounted display, and head-mounted display |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019128648 | 2019-09-12 | ||
RU2019128648A RU2724442C1 (en) | 2019-09-12 | 2019-09-12 | Eye focusing distance determining device and method for head-end display device, head-end display device |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210031597A true KR20210031597A (en) | 2021-03-22 |
Family
ID=71136160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200042405A KR20210031597A (en) | 2019-09-12 | 2020-04-07 | Eye accommodation distance measuring device and method for head mounted display, head mounted display |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20210031597A (en) |
RU (1) | RU2724442C1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11625095B2 (en) | 2021-01-22 | 2023-04-11 | Zinn Labs, Inc. | Gaze sensors and display elements for detection of gaze vectors and user control at headset |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6337433B2 (en) * | 2013-09-13 | 2018-06-06 | セイコーエプソン株式会社 | Head-mounted display device and method for controlling head-mounted display device |
EP3167333A1 (en) * | 2014-07-10 | 2017-05-17 | Lusospace, Projectos Engenharia Lda | Display device |
AU2016349891B9 (en) * | 2015-11-04 | 2021-05-06 | Magic Leap, Inc. | Dynamic display calibration based on eye-tracking |
US10154254B2 (en) * | 2017-01-17 | 2018-12-11 | Facebook Technologies, Llc | Time-of-flight depth sensing for eye tracking |
-
2019
- 2019-09-12 RU RU2019128648A patent/RU2724442C1/en active
-
2020
- 2020-04-07 KR KR1020200042405A patent/KR20210031597A/en active Search and Examination
Also Published As
Publication number | Publication date |
---|---|
RU2724442C1 (en) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112485904B (en) | Eye accommodation distance measuring apparatus and method, and head-mounted display | |
JP7559815B2 (en) | Eyeball tilt position detection device, display device, and eye examination device | |
US11868522B2 (en) | Method for ascertaining a viewing direction of an eye | |
JP6902075B2 (en) | Line-of-sight tracking using structured light | |
EP2581034B1 (en) | Eye-tracker illumination | |
US11586038B2 (en) | Image projection device | |
CN117055231A (en) | Eye projection system and method | |
KR20170136582A (en) | A method for operating an eye tracking device and an eye tracking device | |
US11523095B2 (en) | Mems mirror-based extended reality projection with eye-tracking | |
CN109979016B (en) | Method for displaying light field image by AR (augmented reality) equipment, AR equipment and storage medium | |
CN114815468B (en) | Multi-plane projection with laser beam scanning in an augmented reality display | |
US11435820B1 (en) | Gaze detection pipeline in an artificial reality system | |
US11430262B1 (en) | Eye tracking using optical coherence methods | |
JP7467623B2 (en) | Improved eye tracking for augmented or virtual reality display systems | |
US11334153B2 (en) | Optical device, retinal projection display, head-mounted display, and input device | |
KR20210031597A (en) | Eye accommodation distance measuring device and method for head mounted display, head mounted display | |
JP2022108496A (en) | Optical device, line-of-sight detection device, retina projection display device, head-mounted display device, optometry device, method of detecting inclination of three-dimensional object, and line-of-sight detection method | |
CN112543886A (en) | Device arrangement for projecting a laser beam for generating an image on the retina of an eye | |
CN216485801U (en) | Optical imaging system, image display device and augmented reality display equipment | |
WO2023150239A2 (en) | Techniques for producing glints and iris illumination for eye tracking | |
CN108983424A (en) | A kind of nearly eye display device | |
US20240151966A1 (en) | Method for operating a pair of smart glasses and smart glasses | |
US20240219999A1 (en) | Optical system for a virtual retina display and a gesture detection of a user of the virtual retina display | |
US20240261147A1 (en) | Pupil-aware eye tracking for eye safety | |
KR20230088909A (en) | Systems and methods for eye tracking in head-mounted devices using low-coherence interferometers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination |