KR20190015573A - 시선 추적에 기초하여 자동 초점 조정하는 이미지 포착 시스템, 장치 및 방법 - Google Patents
시선 추적에 기초하여 자동 초점 조정하는 이미지 포착 시스템, 장치 및 방법 Download PDFInfo
- Publication number
- KR20190015573A KR20190015573A KR1020197002178A KR20197002178A KR20190015573A KR 20190015573 A KR20190015573 A KR 20190015573A KR 1020197002178 A KR1020197002178 A KR 1020197002178A KR 20197002178 A KR20197002178 A KR 20197002178A KR 20190015573 A KR20190015573 A KR 20190015573A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- eye
- focus
- view
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000003287 optical effect Effects 0.000 claims abstract description 51
- 238000013507 mapping Methods 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 32
- 210000001747 pupil Anatomy 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 26
- 210000001210 retinal vessel Anatomy 0.000 claims description 13
- 210000003128 head Anatomy 0.000 claims description 9
- 210000004087 cornea Anatomy 0.000 claims description 6
- 239000000700 radioactive tracer Substances 0.000 claims description 2
- 238000011017 operating method Methods 0.000 claims 1
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 229920000954 Polyglycolide Polymers 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 235000010409 propane-1,2-diol alginate Nutrition 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H04N5/23296—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/12—Fluid-filled or evacuated lenses
- G02B3/14—Fluid-filled or evacuated lenses of variable focal length
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H04N5/2257—
-
- H04N5/23212—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Signal Processing (AREA)
- Vascular Medicine (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
- Eyeglasses (AREA)
- Focusing (AREA)
Abstract
사용자가 보거나/주시하고 있는 곳에 기초하여 사용자의 시야의 물체에 자동으로 초점을 조정하는 이미지 포착 시스템, 장치 및 방법이 설명된다. 이미지 포착 시스템은 자동 초점 카메라가 사용자의 관심 물체에 쉽고 정확하게 초점 조정하는 것을 가능하게 하도록 자동 초점 카메라와 통신하는 시선 추적기 서브시스템을 포함한다. 자동 초점 카메라는 시선 추적기 서브시스템에 의해 결정된 시선 방향, 및 명암비 및/또는 위상과 같은 광 특성 또는 이의 물리적 거리와 같은 물체의 하나 이상의 초점 특성(들)에 기초하여, 사용자가 보고 있는 것에 자동으로 초점을 조정한다. 이미지 포착 시스템은 사용자로부터의 최소한의 개입으로 사용자의 시야의 물체의 초점 조정된 이미지를 포착하도록 착용식 헤드업 디스플레이에서 사용하기에 특히 적합하다.
Description
본 시스템, 장치 및 방법은 일반적으로 자동 초점 조정(autofocusing) 카메라에 관한 것으로서, 특히 착용식 헤드업 디스플레이의 카메라를 자동으로 초점 조정하는 것에 관한 것이다.
관련 기술의 설명
착용식 헤드업 디스플레이
머리 장착형 디스플레이는 사용자의 머리에 착용되는 전자 장치이며, 이와 같이 착용했을 때, 사용자의 머리의 위치 또는 배향과 무관하게, 사용자의 눈 중 적어도 하나의 눈의 시인 가능한 필드 내에 적어도 하나의 전자 디스플레이를 고정시킨다. 착용식 헤드업 디스플레이는 사용자가 디스플레이된 컨텐츠를 볼 수 있게 하지만 또한 사용자가 이들의 외부 환경을 볼 수 없도록 하는 머리 장착형 디스플레이이다. 착용식 헤드업 디스플레이의 "디스플레이" 요소는 사용자가 이들의 외부 환경을 볼 수 없게 완전히 차단하지 않도록 사용자의 시야 주변에 있거나 또는 투명하다. 착용식 헤드업 디스플레이의 예는 몇 가지만 예로 들자면, Google Glassㄾ, Optinvent Oraㄾ, Epson Moverioㄾ 및 Sony Glasstronㄾ을 포함한다.
착용식 헤드업 디스플레이의 광학 성능은 이의 설계에 있어서 중요한 인자이다. 그러나 얼굴-착용 장치의 경우, 사용자는 또한 미적 감각에 대하여 관심을 갖는다. 이는 방대한 안경테(선글라스를 포함함) 산업에 의해 명확히 드러난다. 이들의 성능 제한사항과는 별도로, 전술한 착용식 헤드업 디스플레이의 많은 예들은 적어도 부분적으로 패션 매력이 부족하기 때문에 소비자 시장에서 견인력을 얻는데 어려움을 겪어 왔다. 현재까지 출시된 대부분의 착용식 헤드업 디스플레이는 대형 디스플레이 요소를 사용하고, 그 결과, 현재까지 출시된 대부분의 착용식 헤드업 디스플레이는 종래의 안경테보다 상당히 부피가 더 크고 멋이 없다.
착용식 헤드업 디스플레이의 디자인에 있어서의 도전은 여전히 디스플레이된 컨텐츠에 충분한 시각적 품질을 제공하면서 얼굴-착용 장치의 규모를 축소시키는 것이다. 사용자가 자신의 외부 환경을 볼 수 있는 능력을 제한하지 않으면서 사용자에게 고품질의 이미지를 제공할 수 있는 보다 심미적으로 매력적인 디자인의 착용식 헤드업 디스플레이가 당업계에 필요하다.
자동 초점(autofocus) 카메라
자동 초점 카메라는 초점 제어기를 포함하고 사용자가 초점 장치를 직접 조정하지 않고 관심 피사체에 자동으로 초점을 조정한다. 초점 제어기는 전형적으로 하나 또는 수개의 광학 요소를 포함할 수 있는 적어도 하나의 동조 가능한(tunable) 렌즈를 가지며, 렌즈의 상태 또는 구성은 피사체를 통과하여 피사체로부터 나오는 광의 수렴 또는 발산을 조정하기 위해 가변적이다. 카메라 내에서 이미지를 생성하기 위해, 피사체로부터의 광은 감광성 표면 상에 집속되어야 한다. 디지털 사진 촬영시에 감광성 표면은 전형적으로 전하-결합 소자 또는 상보형 금속-산화물-반도체(CMOS) 이미지 센서인 반면에, 종래의 사진 촬영시에 그 표면은 사진 필름이다. 통상적으로, 이미지의 초점은 적어도 하나의 동조 가능한 렌즈와 감광성 표면 사이의 거리를 변경함으로써 또는 렌즈의 광학 배율(예를 들어, 수렴 레이트)을 변경함으로써 초점 제어기에서 조정된다. 이를 위해, 초점 제어기는 전형적으로 적어도 하나의 초점 특성 센서를 포함하거나 이와 통신 가능하게 결합되어 사용자의 시야의 관심 영역의 초점 특성(예를 들어, 카메라와의 거리)을 직접적으로 또는 간접적으로 결정한다. 초점 제어기는 렌즈의 위치를 변경 및/또는 렌즈 자체를 변경(유체 또는 액체 렌즈의 경우와 같이)하기 위해 임의의 몇 가지 유형의 작동기(예를 들어, 모터 또는 다른 작동 가능한 구성 요소)를 사용할 수 있다. 물체가 너무 멀리 떨어져 있어서 초점 특성 센서가 초점 특성을 정확하게 결정할 수 없는 경우, 일부 자동 초점 카메라는 초점 제어기가 카메라로부터 "무한 거리"에 있는 물체에 초점 조정하는 "무한 초점"으로 알려진 초점 조정 기술을 사용한다. 사진 촬영시에, 무한 거리는 그러한 거리에 있는 또는 그러한 거리를 초과해서 있는 물체로부터의 광이 적어도 대략적으로 평행한 광선들로서 카메라에 도달하는 거리이다.
종래의 자동 초점 조정 접근법으로서 능동형 및 수동형의 2가지 범주가 있다. 능동형 자동 초점 조정은 카메라로부터의 출력 신호, 및 카메라로부터의 출력 신호를 관심 피사체에 의해 수신하는 것에 기초하는 관심 피사체로부터의 피드백을 필요로 한다. 능동형 자동 초점 조정은 예를 들어, 적외선 광 또는 초음파 신호와 같은 카메라로부터의 "신호"를 방출하고 "전파 시간"을 측정함으로써, 즉 관심 피사체로부터 반사에 의해 신호가 카메라로 리턴될 때까지 경과하는 시간량을 측정함으로써 달성될 수 있다. 수동형 자동 초점 조정은 카메라에 의해 이미 수집되고 있는 이미지 정보로부터 초점 조정 거리를 결정한다. 수동형 자동 초점 조정은 위상 검출에 의해 달성될 수 있으며, 위상 검출은 전형적으로 상이한 위치들로부터, 예를 들어 카메라의 이미지 센서 주변에 위치된 다수의 센서로부터(오프-센서 위상 검출), 또는 카메라의 이미지 센서 내에 위치된 다수의 픽셀 세트(예를 들어, 픽셀 쌍들)로부터(온-센서 위상 검출) 관심 피사체의 다수의 이미지를 수집하고, 그러한 이미지들의 위상을 맞추도록 적어도 하나의 동조 가능한 렌즈를 조정한다. 이와 유사한 방법은 약간 상이한 장소들, 위치들 또는 배향들의 이미지들을 함께 맞추기 위해(예를 들어, 시차), 상이한 장소들 또는 위치들 또는 배향들에서 하나 보다 많은 카메라 또는 다른 이미지 센서, 즉 듀얼 카메라 또는 이미지 센서 쌍을 사용하는 것을 포함한다. 다른 수동형 자동 초점 조정 방법은 이미지 센서의 인접 픽셀들의 휘도 차이가 측정되어 초점을 결정하는 명암비 검출이다.
오늘날 당업계에서 자동 초점 카메라를 갖는 착용식 헤드업 장치는 일반적으로 사용자의 의도된 관심 피사체와 관계없이 사용자의 머리의 전방 배향 방향으로 자동으로 초점 조정한다. 이는 나쁜 이미지 품질 및 이미지들의 합성에 있어서 부자유를 초래한다. 이미지 피사체를 보다 정확하고 효율적으로 선택할 수 있고 해당 피사체로 정밀하게 초점 조정할 수 있는 이미지 포착 시스템이 당업계에 필요하다.
이미지 포착 시스템은, 사용자의 눈의 적어도 하나의 특징부(feature)를 감지하고, 적어도 하나의 특징부에 기초하여 사용자의 눈의 시선 방향을 결정하는 시선 추적기(eye tracker) 서브시스템; 및 시선 추적기 서브시스템에 통신 가능하게 결합된 자동 초점 카메라를 포함하는 것으로 요약될 수 있으며, 자동 초점 카메라는 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향에 기초하여 사용자의 눈의 시야의 물체에 자동으로 초점을 조정한다.
자동 초점 카메라는, 사용자의 눈의 시야와 적어도 부분적으로 중첩되는 시야를 갖는 이미지 센서; 이미지 센서의 시야의 물체에 동조 가능하게 초점 조정하도록 위치 및 배향된 동조 가능한 광학 요소; 및 동조 가능한 광학 요소에 통신 가능하게 결합된 초점 제어기를 포함할 수 있으며, 초점 제어기는 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향, 및 자동 초점 카메라에 의해 결정된 이미지 센서의 시야의 적어도 일부분의 초점 특성에 모두 기초하여, 사용자의 눈의 시야의 물체에 이미지 센서의 시야를 초점 조정하도록 동조 가능한 광학 요소에 조정을 적용한다. 이 경우, 포착 시스템은, 시선 추적기 서브시스템 및 자동 초점 카메라 모두에 통신 가능하게 결합된 프로세서; 및 프로세서에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체를 더 포함할 수 있으며, 비-일시적 프로세서 판독 가능한 저장 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향과 자동 초점 카메라에 의해 결정된 이미지 센서의 시야의 적어도 일부분의 초점 특성 사이의 매핑을 수행하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 저장한다. 또한, 자동 초점 카메라는 이미지 센서의 시야의 적어도 일부분의 초점 특성을 결정하는 초점 특성 센서를 포함할 수 있으며, 초점 특성 센서는, 이미지 센서의 시야의 물체와의 거리를 감지하는 거리 센서; 이미지 센서의 시야의 물체와의 거리를 결정하는 전파 시간 센서; 이미지 센서의 시야의 적어도 2개의 지점 사이의 위상차를 검출하는 위상 검출 센서; 및 이미지 센서의 시야의 적어도 2개의 지점 사이의 휘도 차이를 검출하는 명암비 검출 센서로 이루어진 그룹에서 선택된다.
이미지 포착 시스템은, 시선 추적기 서브시스템 및 자동 초점 카메라 모두에 통신 가능하게 결합된 프로세서; 및 프로세서에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체를 포함할 수 있으며, 비-일시적 프로세서 판독 가능한 저장 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 시선 추적기 서브시스템 및/또는 자동 초점 카메라 중 적어도 하나의 동작을 제어하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 저장한다. 이 경우, 시선 추적기 서브시스템은, 사용자의 눈의 적어도 하나의 특징부를 감지하는 시선 추적기; 및 비-일시적 프로세서 판독 가능한 저장 매체에 저장된 프로세서 실행 가능한 데이터 및/또는 명령을 포함할 수 있으며, 프로세서에 의해 실행될 때, 데이터 및/또는 명령은 프로세서로 하여금, 시선 추적기에 의해 감지된 사용자의 눈의 적어도 하나의 특징부에 기초하여 사용자의 눈의 시선 방향을 결정하도록 한다.
시선 추적기 서브시스템에 의해 감지된 사용자의 눈의 적어도 하나의 특징부는, 사용자의 눈의 동공 위치, 사용자의 눈의 동공 배향, 사용자의 눈의 각막 위치, 사용자의 눈의 각막 배향, 사용자의 눈의 홍채 위치, 사용자의 눈의 홍채 배향, 사용자의 눈의 적어도 하나의 망막 혈관의 위치, 및 사용자의 눈의 적어도 하나의 망막 혈관의 배향으로 이루어진 그룹에서 선택될 수 있다. 이미지 포착 시스템은 사용시에 사용자의 머리에 착용되는 지지 구조체를 더 포함할 수 있으며, 시선 추적기 서브시스템 및 자동 초점 카메라는 모두 지지 구조체에 의해 보유된다.
시선 추적기 서브시스템 및 자동 초점 카메라를 포함하는 이미지 포착 시스템을 초점 조정하는 방법은, 시선 추적기 서브시스템에 의해 사용자의 눈의 적어도 하나의 특징부를 감지하는 단계; 시선 추적기 서브시스템에 의해 적어도 하나의 특징부에 기초하여 사용자의 눈의 시선 방향을 결정하는 단계; 및 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향에 기초하여 자동 초점 카메라에 의해 사용자의 눈의 시야의 물체에 초점을 조정하는 단계를 포함하는 것으로 요약될 수 있다. 시선 추적기 서브시스템에 의해 사용자의 눈의 적어도 하나의 특징부를 감지하는 단계는, 시선 추적기 서브시스템에 의해 사용자의 눈의 동공 위치를 감지하는 단계; 시선 추적기 서브시스템에 의해 사용자의 눈의 동공 배향을 감지하는 단계; 시선 추적기 서브시스템에 의해 사용자의 눈의 각막 위치를 감지하는 단계; 시선 추적기 서브시스템에 의해 사용자의 눈의 각막 배향을 감지하는 단계; 시선 추적기 서브시스템에 의해 사용자의 눈의 홍채 위치를 감지하는 단계; 시선 추적기 서브시스템에 의해 사용자의 눈의 홍채 배향을 감지하는 단계; 시선 추적기 서브시스템에 의해 사용자의 눈의 적어도 하나의 망막 혈관의 위치를 감지하는 단계; 및/또는 시선 추적기 서브시스템에 의해 사용자의 눈의 적어도 하나의 망막 혈관의 배향을 감지하는 단계 중 적어도 하나를 포함할 수 있다.
이미지 포착 시스템은, 시선 추적기 서브시스템 및 자동 초점 카메라 모두에 통신 가능하게 결합된 프로세서; 및 프로세서에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체를 더 포함할 수 있으며, 비-일시적 프로세서 판독 가능한 저장 매체는 프로세서 실행 가능한 데이터 및/또는 명령을 저장하고, 방법은, 자동 초점 카메라로 하여금, 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향에 기초하여 사용자의 눈의 시야의 물체에 초점을 조정하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 프로세서에 의해 실행하는 단계를 더 포함할 수 있다. 자동 초점 카메라는 이미지 센서, 동조 가능한 광학 요소, 및 동조 가능한 광학 요소에 통신 가능하게 결합된 초점 제어기를 포함할 수 있으며, 방법은 자동 초점 카메라에 의해 이미지 센서의 시야의 적어도 일부분의 초점 특성을 결정하는 단계를 더 포함할 수 있고, 이미지 센서의 시야는 사용자의 눈의 시야와 적어도 부분적으로 중첩된다. 이 경우, 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향에 기초하여 자동 초점 카메라에 의해 사용자의 눈의 시야의 물체에 초점을 조정하는 단계는, 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향, 및 자동 초점 카메라에 의해 결정된 이미지 센서의 시야의 적어도 일부분의 초점 특성에 모두 기초하여, 사용자의 눈의 시야의 물체에 이미지 센서의 시야를 초점 조정하도록, 자동 초점 카메라의 초점 제어기에 의해 동조 가능한 광학 요소를 조정하는 단계를 포함할 수 있다. 자동 초점 카메라는 초점 특성 센서를 포함할 수 있으며, 자동 초점 카메라에 의해 이미지 센서의 시야의 적어도 일부분의 초점 특성을 결정하는 단계는, 초점 특성 센서에 의해 이미지 센서의 시야의 물체와의 거리를 감지하는 단계; 초점 특성 센서에 의해 이미지 센서의 시야의 물체와의 거리를 결정하는 단계; 초점 특성 센서에 의해 이미지 센서의 시야의 적어도 2개의 지점 사이의 위상차를 검출하는 단계; 및/또는 초점 특성 센서에 의해 이미지 센서의 시야의 적어도 2개의 지점 사이의 휘도 차이를 검출하는 단계 중 적어도 하나를 포함할 수 있다.
방법은 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향과 자동 초점 카메라에 의해 결정된 이미지 센서의 시야의 적어도 일부분의 초점 특성 사이의 매핑을 프로세서에 의해 수행하는 단계를 포함할 수 있다. 이 경우, 시선 추적기 서브시스템에 의해 사용자의 눈의 시선 방향을 결정하는 단계는 시선 추적기 서브시스템에 의해, 사용자의 눈의 적어도 하나의 특징부에 해당하는 제1 세트의 2차원 좌표를 결정하는 단계를 포함할 수 있으며; 자동 초점 카메라에 의해 이미지 센서의 시야의 적어도 일부분의 초점 특성을 결정하는 단계는 자동 초점 카메라에 의해, 이미지 센서의 시야의 제1 영역의 초점 특성을 결정하는 단계를 포함할 수 있고, 이미지 센서의 시야의 제1 영역은 제2 세트의 2차원 좌표를 포함하며; 그리고 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향과 자동 초점 카메라에 의해 결정된 이미지 센서의 시야의 적어도 일부분의 초점 특성 사이의 매핑을 프로세서에 의해 수행하는 단계는, 사용자의 눈의 적어도 하나의 특징부에 해당하는 제1 세트의 2차원 좌표와 이미지 센서의 시야의 제1 영역에 해당하는 제2 세트의 2차원 좌표 사이의 매핑을 프로세서에 의해 수행하는 단계를 포함할 수 있다.
방법은 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향과 자동 초점 카메라의 이미지 센서의 시야 사이의 매핑을 프로세서에 의해 수행하는 단계를 포함할 수 있다.
방법은, 프로세서에 의해 사용자로부터 이미지 포착 명령을 수신하는 단계; 및 프로세서에 의해 사용자로부터 이미지 포착 명령을 수신하는 단계에 대응하여, 자동 초점 카메라로 하여금, 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향에 기초하여 사용자의 눈의 시야의 물체에 초점을 조정하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 프로세서에 의해 실행하는 단계를 포함할 수 있다.
방법은 자동 초점 카메라가 물체에 초점 조정되는 동안에 자동 초점 카메라에 의해 물체의 이미지를 포착하는 단계를 포함할 수 있다.
착용식 헤드업 디스플레이는, 사용시에 사용자의 머리에 착용되는 지지 구조체; 지지 구조체에 의해 보유되며, 시각적 디스플레이 컨텐츠를 제공하는 디스플레이 컨텐츠 생성기; 지지 구조체에 의해 보유되고 사용자의 시야 내에 위치되며, 디스플레이 컨텐츠 생성기에 의해 제공된 시각적 디스플레이 컨텐츠를 사용자의 시야로 지향시키는 투명 결합기; 및 이미지 포착 시스템을 포함하는 것으로 요약될 수 있으며, 이미지 포착 시스템은, 사용자의 눈의 적어도 하나의 특징부를 감지하고, 적어도 하나의 특징부에 기초하여 사용자의 눈의 시선 방향을 결정하는 시선 추적기 서브시스템; 및 시선 추적기 서브시스템에 통신 가능하게 결합된 자동 초점 카메라를 포함하고, 자동 초점 카메라는 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향에 기초하여 사용자의 눈의 시야의 물체에 자동으로 초점을 조정한다. 착용식 헤드업 디스플레이의 자동 초점 카메라는, 사용자의 눈의 시야와 적어도 부분적으로 중첩되는 시야를 갖는 이미지 센서; 이미지 센서의 시야의 물체에 동조 가능하게 초점 조정하도록 위치 및 배향된 동조 가능한 광학 요소; 및 동조 가능한 광학 요소에 통신 가능하게 결합된 초점 제어기를 포함할 수 있으며, 초점 제어기는, 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향, 및 자동 초점 카메라에 의해 결정된 이미지 센서의 시야의 적어도 일부분의 초점 특성에 모두 기초하여, 사용자의 눈의 시야의 물체에 이미지 센서의 시야를 초점 조정하도록 동조 가능한 광학 요소에 조정을 적용한다. 착용식 헤드업 디스플레이는, 시선 추적기 서브시스템 및 자동 초점 카메라 모두에 통신 가능하게 결합된 프로세서; 및 프로세서에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체를 더 포함할 수 있으며, 비-일시적 프로세서 판독 가능한 저장 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향과 자동 초점 카메라에 의해 결정된 이미지 센서의 시야의 적어도 일부분의 초점 특성 사이의 매핑을 수행하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 저장한다.
도면에서, 동일한 참조 번호는 유사한 요소 또는 동작을 식별한다. 도면에서 요소의 크기 및 상대적인 위치는 반드시 축척으로 도시된 것은 아니다. 예를 들어, 다양한 요소의 형상 및 각도는 반드시 축척으로 도시된 것은 아니며, 이들 요소 중 일부는 도면의 가독성을 향상시키기 위해 임의로 확대되어 위치된다. 또한, 도시된 바와 같은 요소의 특정 형상은 반드시 특정 요소의 실제 형상에 관한 임의의 정보를 전달할 의도가 아니며, 단지 도면에서의 용이한 인식을 위해 선택되었다.
도 1은 본 시스템, 장치 및 방법에 따른 시선 추적기 서브시스템 및 자동 초점 카메라를 사용하는 이미지 포착 시스템의 예시도이다.
도 2a는 사용되는 예시적인 이미지 포착 시스템을 도시하는 예시도로서, 본 시스템, 장치 및 방법에 따라, 제1 물체를 보거나 주시하는(즉, 제1 물체의 방향으로) 사용자의 눈에 대응하여 제1 물체에 초점을 조정한다.
도 2b는 사용되는 예시적인 이미지 포착 시스템을 도시하는 예시도로서, 본 시스템, 장치 및 방법에 따라, 제2 물체를 보거나 주시하는(즉, 제2 물체의 방향으로) 사용자의 눈에 대응하여 제2 물체에 초점을 조정한다.
도 2c는 사용되는 예시적인 이미지 포착 시스템을 도시하는 예시도로서, 본 시스템, 장치 및 방법에 따라, 제3 물체를 보거나 주시하는(즉, 제3 물체의 방향으로) 사용자의 눈에 대응하여 제3 물체에 초점을 조정한다.
도 3은 본 시스템, 장치 및 방법에 따라, 사용자의 눈의 시선 방향과 이미지 센서의 시야의 적어도 일부분의 초점 특성 사이의 예시적인 매핑(이미지 포착 시스템에 의해 수행됨)을 도시하는 예시도이다.
도 4는 본 시스템, 장치 및 방법에 따라 사용자의 시선 방향의 물체에 자동 초점 조정하도록 이미지 포착 시스템을 동작하는 방법을 도시하는 흐름도이다.
도 5는 본 시스템, 장치 및 방법에 따라 사용자로부터의 이미지 포착 명령에 대응하여 사용자의 시선 방향의 물체의 정초점(in-focus) 이미지를 포착하도록 이미지 포착 시스템을 동작하는 방법을 도시하는 흐름도이다.
도 6a는 본 시스템, 장치 및 방법에 따른 이미지 포착 시스템을 갖는 착용식 헤드업 디스플레이의 전방 정면도이다.
도 6b는 본 시스템, 장치 및 방법에 따른 이미지 포착 시스템을 갖는 도 6a의 착용식 헤드업 디스플레이의 후방 정면도이다.
도 6c는 본 시스템, 장치 및 방법에 따른 이미지 포착 시스템을 갖는 도 6a 및 도 6b의 착용식 헤드업 디스플레이의 우측 정면도이다.
도 1은 본 시스템, 장치 및 방법에 따른 시선 추적기 서브시스템 및 자동 초점 카메라를 사용하는 이미지 포착 시스템의 예시도이다.
도 2a는 사용되는 예시적인 이미지 포착 시스템을 도시하는 예시도로서, 본 시스템, 장치 및 방법에 따라, 제1 물체를 보거나 주시하는(즉, 제1 물체의 방향으로) 사용자의 눈에 대응하여 제1 물체에 초점을 조정한다.
도 2b는 사용되는 예시적인 이미지 포착 시스템을 도시하는 예시도로서, 본 시스템, 장치 및 방법에 따라, 제2 물체를 보거나 주시하는(즉, 제2 물체의 방향으로) 사용자의 눈에 대응하여 제2 물체에 초점을 조정한다.
도 2c는 사용되는 예시적인 이미지 포착 시스템을 도시하는 예시도로서, 본 시스템, 장치 및 방법에 따라, 제3 물체를 보거나 주시하는(즉, 제3 물체의 방향으로) 사용자의 눈에 대응하여 제3 물체에 초점을 조정한다.
도 3은 본 시스템, 장치 및 방법에 따라, 사용자의 눈의 시선 방향과 이미지 센서의 시야의 적어도 일부분의 초점 특성 사이의 예시적인 매핑(이미지 포착 시스템에 의해 수행됨)을 도시하는 예시도이다.
도 4는 본 시스템, 장치 및 방법에 따라 사용자의 시선 방향의 물체에 자동 초점 조정하도록 이미지 포착 시스템을 동작하는 방법을 도시하는 흐름도이다.
도 5는 본 시스템, 장치 및 방법에 따라 사용자로부터의 이미지 포착 명령에 대응하여 사용자의 시선 방향의 물체의 정초점(in-focus) 이미지를 포착하도록 이미지 포착 시스템을 동작하는 방법을 도시하는 흐름도이다.
도 6a는 본 시스템, 장치 및 방법에 따른 이미지 포착 시스템을 갖는 착용식 헤드업 디스플레이의 전방 정면도이다.
도 6b는 본 시스템, 장치 및 방법에 따른 이미지 포착 시스템을 갖는 도 6a의 착용식 헤드업 디스플레이의 후방 정면도이다.
도 6c는 본 시스템, 장치 및 방법에 따른 이미지 포착 시스템을 갖는 도 6a 및 도 6b의 착용식 헤드업 디스플레이의 우측 정면도이다.
이하의 설명에서, 개시되는 다양한 실시형태의 철저한 이해를 제공하기 위해 특정한 구체적인 세부사항이 설명된다. 그러나, 관련 당업자는 실시형태가 하나 이상의 이러한 구체적인 세부사항 없이 실시될 수 있거나, 또는 다른 방법, 요소, 재료 등으로 실시될 수 있다는 것을 인식할 것이다. 다른 예에서, 휴대용 전자 장치 및 머리-착용식 장치와 연관된 널리 공지된 구조는 실시형태의 설명을 불필요하게 모호하게 하는 것을 방지하기 위해 상세하게 도시되거나 설명되지 않았다.
문맥상 달리 요구되지 않는 한, 이하의 명세서 및 청구범위 전반에 걸쳐서, "포함한다(comprise)"라는 단어 및 "포함하며(comprises)" 및 "포함하는(comprising)"과 같은 그 변형은 개방적이고 포괄적인 의미로, 즉 "포함하지만 이에 한정되지 않는"의 의미로 해석되어야 한다.
본 명세서 전반에 걸쳐서 "일 실시형태" 또는 "실시형태"라는 언급은 특정한 특징, 구조 또는 특성이 하나 이상의 실시형태에서 임의의 적합한 방식으로 결합될 수 있음을 의미한다.
본 명세서 및 첨부된 청구범위에서 사용되는 바와 같이, 단수 형태 "a", "an" 및 "the"는 내용상 명확하게 달리 지시되지 않는 한 복수의 지시대상을 포함한다. 또한, "또는"이라는 용어는 일반적으로 이의 가장 넓은 의미로 사용되는데, 즉 내용상 명확하게 달리 지시되지 않는 한 "및/또는"을 의미하는 것으로 사용된다는 것을 유의해야 한다.
본원에서 제공된 개시물의 요약서 및 표제는 단지 편의를 위한 것이며 실시형태의 범주 또는 의미를 설명하지 않는다.
본원에서 설명되는 다양한 실시형태는 사용자가 보거나 주시하고 있는 곳에 기초하여 사용자의 시야의 물체에 자동으로 초점 조정하는 자동 초점 카메라를 위한 시스템, 장치 및 방법을 제공한다. 보다 구체적으로는, 본원에서 설명되는 다양한 실시형태는 물체를 보거나 주시함으로써 카메라가 이에 자동으로 초점 조정하도록 사용자가 물체를 선택할 수 있도록 하기 위해, 시선 추적기 서브시스템이 자동 초점 카메라와 통합되는 이미지 포착 시스템을 포함한다. 이러한 이미지 포착 시스템은 착용식 헤드업 디스플레이("WHUD")에서 사용하기에 특히 적합하다.
본 명세서 및 첨부된 청구범위 전반에 걸쳐서, "시선 추적기 서브시스템"이 자주 참조된다. 일반적으로, "시선 추적기 서브시스템"은 사용자의 적어도 하나의 눈의 적어도 하나의 특징부를 측정, 감지, 검출, 및/또는 모니터링하고, 적어도 하나의 특징부에 기초하여 사용자의 적어도 하나의 눈의 시선 방향을 결정하는 시스템 또는 장치(예를 들어, 장치들의 결합물)이다. 적어도 하나의 특징부는, 사용자의 눈의 동공 위치, 사용자의 눈의 동공 배향, 사용자의 눈의 각막 위치, 사용자의 눈의 각막 배향, 사용자의 눈의 홍채 위치, 사용자의 눈의 홍채 배향, 사용자의 눈의 적어도 하나의 망막 혈관의 위치, 및/또는 사용자의 눈의 적어도 하나의 망막 혈관의 배향 중 어느 하나 또는 전부를 포함할 수 있다. 적어도 하나의 특징부는 사용자의 눈의 다양한 특징부 중 적어도 하나로부터의 반사광 또는 섬광을 검출, 모니터링, 또는 달리 감지함으로써 결정될 수 있다. 오늘날 다양한 시선 추적 기술들이 사용되고 있다. 본 시스템, 장치 및 방법의 시선 추적기에 사용될 수 있는 시선 추적 시스템, 장치 및 방법의 예는, 미국 정규 특허출원 일련번호 제15/167,458호; 미국 정규 특허출원 일련번호 제15/167,472호; 미국 정규 특허출원 일련번호 제15/167,484호; 미국 가특허출원 일련번호 제62/271,135호; 미국 가특허출원 일련번호 제62/245,792호; 및 미국 가특허출원 일련번호 제62/281,041호에서 설명된 것들을 포함하지만, 이에 한정되지 않는다.
도 1은 본 시스템, 장치 및 방법에 따라, 사용자의 눈(180)의 시야(191)에 물체(131, 132 및 133)(일괄하여 "130")가 있을 때 시선 추적기 서브시스템(110) 및 자동 초점 카메라(120)를 사용하는 이미지 포착 시스템(100)의 예시도이다. 동작시, 시선 추적기 서브시스템(110)은 눈(180)의 적어도 하나의 특징부를 감지하고, 적어도 하나의 특징부에 기초하여 눈(180)의 시선 방향을 결정한다. 자동 초점 카메라(120)는 시선 추적기 서브시스템(110)에 통신 가능하게 결합되며, 시선 추적기 서브시스템(110)에 의해 결정된 눈(180)의 시선 방향에 기초하여 눈(180)의 시야(191)의 물체(130)에 자동으로 초점을 조정하도록 구성된다. 이러한 방식으로, 사용자는 물체들 중에서 특정 물체(131, 132 또는 133)를 단순히 보거나 주시함으로써, 자동 초점 카메라(120)가 이의 이미지를 포착하기 전에 이에 초점 조정하도록 할 수 있다. 도 1에서, 물체(132)는 물체들(131 및 133)보다 사용자에 더 가깝고, 물체(131)는 물체(133)보다 사용자에 더 가깝다.
본 명세서 및 첨부된 청구범위 전반에 걸쳐서, "물체"라는 용어는 일반적으로 사용자의 눈의 시야의 특정 구역(즉, 영역 또는 하위-구역)을 지칭하며, 보다 구체적으로는, 사용자의 시야의 특정 구역에 위치되거나 특정 구역 내에 위치되는 임의의 보이는 물질, 물건, 풍경, 물품 또는 실체를 지칭한다. "물체"의 예는 사람, 동물, 구조물, 건물, 경관, 포장물 또는 소포, 소매 물품, 차량, 기계류, 및 일반적으로 자동 초점 카메라가 이에 초점 조정할 수 있고 자동 초점 카메라가 이의 이미지를 포착할 수 있는 임의의 물리적 물품을 포함하지만, 이에 한정되지 않는다.
이미지 포착 시스템(100)은 시선 추적기 서브시스템(110) 및 자동 초점 카메라(120) 모두에 통신 가능하게 결합된 적어도 하나의 프로세서(170)(예를 들어, 디지털 프로세서 회로), 및 프로세서(170)에 통신 가능하게 결합된 적어도 하나의 비-일시적 프로세서 판독 가능한 매체 또는 메모리(114)를 포함한다. 메모리(114)는, 다른 것들 중에서도, 프로세서(170)에 의해 실행될 때, 프로세서(170)로 하여금, 시선 추적기 서브시스템(110) 및/또는 자동 초점 카메라(120) 중 어느 하나 또는 모두의 동작을 제어하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 저장한다.
예시적인 시선 추적기 서브시스템(110)은, (위에서 설명된 바와 같이) 사용자의 눈(180)의 적어도 하나의 특징부(예를 들어, 동공(181), 홍채(182), 각막(183), 또는 망막 혈관(184))를 감지하는 시선 추적기(111), 및 이미지 포착 시스템(100)의 적어도 하나의 프로세서(170)에 의해 실행될 때, 적어도 하나의 프로세서(170)로 하여금, 시선 추적기(111)에 의해 감지된 사용자의 눈(180)의 적어도 하나의 특징부(예를 들어, 동공(181))에 기초하여 사용자의 눈의 시선 방향을 결정하도록 하는, 적어도 하나의 메모리(114)에 저장된 프로세서 실행 가능한 데이터 및/또는 명령(115)을 포함한다. 이미지 포착 시스템(100)의 예시적인 구현예에서, 시선 추적기(111)는 적어도 하나의 광원(112)(예를 들어, 적외선 광원), 및 적어도 하나의 카메라 또는 광 검출기(113)(예를 들어, 적외선 카메라 또는 적외선 광 검출기)를 포함하지만, 당업자는 본원에서 교시된 이미지 포착 시스템의 다른 구현예가 다른 형태 및/또는 구성의 시선 추적 구성 요소들을 사용할 수 있음을 인식할 것이다. 광 신호 소스(112)는 광 신호(141)를 방출하며, 광 신호(141)는 반사광 신호(142)로서 눈(180)에 의해 반사되거나 달리 리턴된다. 광 검출기(113)는 반사광 신호(142)를 검출한다. 광 검출기(113)에 의해 검출된 반사광 신호(142)의 적어도 하나의 특성(예를 들어, 밝기, 휘도, 전파 시간, 위상)은 눈(180)의 적어도 하나의 특징부(예를 들어, 동공(181))에 좌우되므로, 당업자에 의해 일반적으로 이해되는 방식으로 눈(180)의 적어도 하나의 특징부(예를 들어, 동공(181))를 나타내거나 표시한다. 도시된 실시예에서, 시선 추적기(111)는 눈(180)의 적어도 하나의 특징부(예를 들어, 동공(181), 홍채(182), 각막(183), 또는 망막 혈관(184)의 위치 및/또는 배향)를 측정, 검출, 및/또는 감지하고, 이를 나타내는 데이터를 프로세서(170)에 제공한다. 프로세서(170)는 눈(180)의 적어도 하나의 특징부(예를 들어, 동공(181))에 기초하여 눈(180)의 시선 방향을 결정하도록 비-일시적 프로세서 판독 가능한 저장 매체(114)로부터의 데이터 및/또는 명령(115)을 실행한다. 구체적인 실시예로서, 시선 추적기(111)는 눈(180)이 제1 물체(131)를 향해 보거나 주시하고 있는 경우 눈(180)의 적어도 하나의 특징부를 검출하고, 프로세서(170)는 눈(180)의 시선 방향이 제1 시선 방향(151)인 것으로 결정하며; 시선 추적기(111)는 눈(180)이 제2 물체(132)를 향해 보거나 주시하고 있는 경우 눈(180)의 적어도 하나의 특징부(예를 들어, 동공(181))를 검출하고, 프로세서(170)는 눈(180)의 시선 방향이 제2 시선 방향(152)인 것으로 결정하며; 시선 추적기(111)는 눈(180)이 제3 물체(133)를 향해 보거나 주시하고 있는 경우 눈(180)의 적어도 하나의 특징부(예를 들어, 동공(181))를 검출하고, 프로세서(170)는 눈(180)의 시선 방향이 제3 시선 방향(153)인 것으로 결정한다.
도 1에서, 자동 초점 카메라(120)는, 눈(180)의 시야(191)와 적어도 부분적으로 중첩되는 시야(192)를 갖는 이미지 센서(121), 이미지 센서(121)의 시야(192)를 동조 가능하게 초점 조정하도록 위치 및 배향된 동조 가능한 광학 요소(122), 및 동조 가능한 광학 요소(122)에 통신 가능하게 결합된 초점 제어기(125)를 포함한다. 동작시, 초점 제어기(125)는 시선 추적기 서브시스템(110)에 의해 결정된 눈(180)의 시선 방향, 및 자동 초점 카메라(120)에 의해 결정된 이미지 센서(121)의 시야(192)의 적어도 일부분의 초점 특성에 모두 기초하여, 눈(180)의 시야(191)의 물체(130)에 이미지 센서(121)를 초점 조정하기 위한 조정을 동조 가능한 광학 요소(122)에 적용한다. 이를 위해, 자동 초점 카메라(120)는 또한 프로세서(170)에 통신 가능하게 결합되며, 메모리(114)는, 프로세서(170)에 의해 실행될 때, 프로세서(170)로 하여금, 시선 추적기 서브시스템(110)에 의해 결정된 눈(180)의 시선 방향과 자동 초점 카메라(120)에 의해 결정된 이미지 센서(121)의 시야(192)의 적어도 일부분의 초점 특성 사이의 매핑을 수행하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 추가로 저장한다.
이미지 센서(121)의 시야(192)의 적어도 일부분의 초점 특성, 및 결정되는 특정 초점 특성(들)의 종류를 자동 초점 카메라(120)가 결정하는 메커니즘(들) 및/또는 기술(들)은 구체적인 구현예에 좌우되며, 본 시스템, 장치 및 방법은 광범위한 구현예들을 포괄한다. 이미지 포착 시스템(100)의 특정 구현예에서, 자동 초점 카메라(120)는 이미지 센서(121)의 시야(192)의 적어도 일부분의 각각의 초점 특성을 각각 결정하는 2개의 초점 특성 센서(123, 124)를 포함한다. 도시된 실시예에서, 초점 특성 센서(123)는 이미지 센서(121)의 시야(192)의 적어도 2개의 지점 사이의 위상차를 검출하기 위해 이미지 센서(121)와 통합된 위상 검출 센서이다(따라서, 초점 특성 센서(123)와 연관된 초점 특성은 이미지 센서(121)의 시야(192)의 적어도 2개 지점 사이의 위상차이다). 도시된 실시예에서, 초점 특성 센서(124)는 이미지 센서(121)의 시야(192)의 물체(130)와의 거리를 감지하기 위한, 이미지 센서(121)와 별개의 거리 센서이다(따라서, 초점 특성 센서(124)와 연관된 초점 특성은 이미지 센서(121)의 시야(192)의 물체(130)와의 거리이다). 초점 특성 센서(123 및 124)는 모두 초점 제어기(125)에 통신 가능하게 결합되고, 초점 제어기(125)에 의해 이루어지는 동조 가능한 광학 요소(122)에 대한 조정을 가이드하거나 달리 영향을 주기 위해 초점 특성(또는 초점 특성을 나타내거나 달리 표시하는 데이터)을 이에 각각 제공한다.
예시적인 구현예로서, 시선 추적기 서브시스템(110)은 눈(180)의 시선 방향(예를 들어, 152)을 나타내는 정보를 프로세서(170)에 제공하고, 초점 특성 센서(들)(123 및/또는 124) 중 어느 하나 또는 모두는 이미지 센서(121)의 시야(192)에 관한 초점 특성 정보를 프로세서(170)에 제공한다. 프로세서(170)는 시선 방향(예를 들어, 152)을 따라 눈(180)의 시야(191)의 물체(130)(예를 들어, 132)에 대한 초점 조정 파라미터를 결정하기 위해, 시선 방향(예를 들어, 152)과 초점 특성 정보 사이의 매핑을 수행한다. 그 다음, 프로세서(170)는 초점 조정 파라미터(또는 이를 나타내는 데이터/명령)를 초점 제어기(125)에 제공하고, 초점 제어기(125)는 사용자가 시선 방향(예를 들어, 132)을 따라 주시하고 있는 특정 물체(130)(예를 들어, 132)에 초점을 조정하기 위해, 초점 조정 파라미터에 따라 동조 가능한 광학 요소(122)를 조정한다.
다른 예시적인 구현예로서, 시선 추적기 서브시스템(110)은 눈(180)의 시선 방향(예를 들어, 152)을 나타내는 정보를 프로세서(170)에 제공하고, 프로세서(170)는 시선 방향(예를 들어, 152)을 이미지 센서(122)의 시야(192)의 특정 영역에 매핑한다. 그 다음, 프로세서(170)는 자동 초점 카메라(120)로부터 이미지 센서(121)의 시야(192)의 해당 특정 영역에 관한 초점 특성 정보를 요청하고(초점 특성 센서(들)(123 및/또는 124)와의 직접 통신을 통해, 또는 초점 특성 센서(들)(123 및/또는 124)와 자체적으로 직접 통신하는 초점 제어기(125)와의 통신을 통해), 자동 초점 카메라(120)는 해당 초점 특성 정보를 프로세서(170)에 제공한다. 그 다음, 프로세서(170)는 사용자가 시선 방향을 따라 주시하고 있는 물체(예를 들어, 132)에 자동 초점 카메라가 초점을 조정하게 하는 초점 조정 파라미터(또는 이를 나타내는 데이터/명령)를 결정하고, 이러한 초점 조정 파라미터를 초점 제어기(125)에 제공한다. 초점 제어기(125)는 사용자가 시선 방향(예를 들어, 132)을 따라 주시하고 있는 특정 물체(130)(예를 들어, 132)에 초점을 조정하기 위해, 초점 조정 파라미터에 따라 동조 가능한 광학 요소(122)를 조정한다.
일부 구현예에서, 다수의 프로세서가 포함될 수 있다. 예를 들어, 자동 초점 카메라(120)(또는 구체적으로, 초점 제어기(125))는 프로세서(170)와 별개의 제2 프로세서를 포함할 수 있거나 이에 통신 가능하게 결합될 수 있으며, 제2 프로세서는 위의 실시예들에서 설명된 매핑 및/또는 결정 동작들 중 일부(예를 들어, 시선 방향 및 초점 특성 정보에 기초하여 초점 조정 파라미터를 결정하는 것)를 수행할 수 있다.
도 1에 도시된 구성은 단지 일 실시예이다. 대안적인 구현예에서, 대안적인 및/또는 추가적인 초점 특성 센서(들)가 사용될 수 있다. 예를 들어, 일부 구현예는 이미지 센서(121)의 시야(192)의 물체(130)와의 거리를 결정하는 전파 시간 센서(직접 측정되거나 감지되는 것과는 대조적으로, 전파 시간 센서는 신호 이동 시간의 함수로서 거리가 결정되는 거리 센서의 형태로 간주될 수 있음), 및/또는 이미지 센서(121)의 시야(192)의 적어도 2개 지점(예를 들어, 픽셀들) 사이의 휘도 차이를 검출하는 명암비 검출 센서를 사용할 수 있다. 일부 구현예는 단일 초점 특성 센서를 사용할 수 있다. 일부 구현예에서, 동조 가능한 광학 요소(122)는 다수의 구성 요소를 포함하는 조립체일 수 있다.
본 시스템, 장치 및 방법은 사용되는 시선 추적 및 자동 초점 조정 메커니즘들의 종류를 포괄한다. 시선 추적기 서브시스템(110) 및 자동 초점 카메라(120)(초점 특성 센서(123)를 포함함)의 위의 설명은 단지 예시적인 목적으로만 의도되며, 실제로, 시선 추적 및/또는 자동 초점 조정을 위한 다른 메커니즘들이 사용될 수 있다. 상위 레벨에서, 본원에서 설명된 다양한 실시형태는, 다수의 이용 가능한 물체 중 특정 물체를 바라봄으로써 자동 초점 카메라가 이에 초점 조정하도록 다수의 이용 가능한 물체 중 특정 물체를 사용자가 선택할 수 있도록 하기 위해, 시선 추적 및/또는 시선 방향 데이터(예를 들어, 시선 추적기 서브시스템(110)으로부터의)와 초점 특성 데이터(예를 들어, 초점 특성 센서(123 및/또는 124)로부터의)를 결합하는 이미지 포착 시스템(예를 들어, 이미지 포착 시스템(100), 및 이의 동작 방법)을 제공한다. 이러한 시선 추적기-기반(예를 들어, 시선 방향-기반) 카메라 자동 초점 조정의 예시적인 실시예들은 도 2a, 도 2b 및 도 2c에 제공된다.
도 2a는 사용되는 예시적인 이미지 포착 시스템(200)을 도시하는 예시도로서, 본 시스템, 장치 및 방법에 따라, 제1 물체(231)를 보거나 주시하는(즉, 제1 물체(231)의 방향으로) 사용자의 눈(280)에 대응하여 제1 물체(231)에 초점을 조정한다. 이미지 포착 시스템(200)은 도 1의 이미지 포착 시스템(100)과 실질적으로 유사하며, 자동 초점 카메라(220)(도 1의 자동 초점 카메라(220)와 실질적으로 유사함)와 통신하는 시선 추적기 서브시스템(210)(도 1의 시선 추적기 서브시스템(110)과 실질적으로 유사함)을 포함한다. 그 각각이 눈(280)으로부터 상이한 거리들에 있는 한 세트의 3개의 물체들(231, 232 및 233)이 사용자의 눈(280)의 시야에 존재하며, 물체(232)는 사용자에 가장 가까운 물체이고, 물체(233)는 사용자로부터 가장 멀리 떨어진 물체이다. 도 2a에서, 사용자는 제1 물체(231)를 향해 보거나/주시하고 있으며, 시선 추적기 서브시스템(210)은 제1 물체(231)를 보거나/주시하는 사용자에 해당하는 눈(280)의 시선 방향(251)을 결정한다. 시선 방향(251)을 나타내거나 달리 시선 방향(251)에 관련되는 데이터/정보는 시선 추적기 서브시스템(210)으로부터 프로세서(270)로 전송되며, 프로세서(270)는 적어도 대략적으로 사용자가 이미지 센서(221)의 시야에서 보거나/주시하고 있는 곳을 결정하기 위해, 자동 초점 카메라(220)의 이미지 센서(221)의 시야와 시선 방향(251) 사이의 매핑(예를 들어, 이에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체(214)에 저장된 데이터 및/또는 명령의 실행에 기초하여)을 수행한다.
예시적인 이미지 포착 시스템(200)은 이미지 포착 시스템(200)이 이미지 포착 시스템(100)과 상이한 초점 특성 감지 메커니즘을 사용한다는 점에서 예시적인 이미지 포착 시스템(100)과 구별된다. 구체적으로, 이미지 포착 시스템(200)은 위상 검출 센서(123)를 포함하지 않으며, 그 대신에, 자동 초점 카메라(220)의 이미지 센서(221)는 명암비 검출을 가능하게 하도록 적응된다. 일반적으로, 이미지 센서(221)의 픽셀들/센서들 중 다양한(예를 들어, 인접한) 픽셀들/센서들로부터의 광 휘도 데이터/정보는 (예를 들어, 프로세서(270)에 의해, 또는 초점 제어기(225)에 의해, 또는 이미지 포착 시스템(200)의 다른 프로세서(도시되지 않음)에 의해) 처리 및 비교되어 휘도 차이를 식별하거나 달리 결정한다. "정초점"인 이미지 센서(221)의 구역 또는 영역은 인접한 픽셀들 사이의 휘도 차이가 가장 큰 구역/영역에 해당하는 경향이 있다.
부가적으로, 이미지 포착 시스템(200)의 초점 특성 센서(224)는 이미지 센서(221)의 시야의 물체(231, 232 및/또는 233)와의 거리를 결정하는 전파 시간 센서이다. 따라서, 명암비 검출 및/또는 전파 시간 검출은, 사용자가 시선 방향(251)을 따라 보거나/주시하고 있는 경우 사용자가 보거나/주시하고 있는 곳에 해당하는 이미지 센서(221)의 시야의 적어도 일부분의 하나 이상의 초점 특성(들)(즉, 명암비 및/또는 물체와의 거리)을 결정하기 위해 이미지 포착 시스템(200)에서 사용된다. 이미지 센서(221)에 의한 명암비 검출 및/또는 전파 시간 센서(224)에 의한 거리 결정 중 어느 하나 또는 모두는 함께 또는 개별적으로 또는 부가적으로 사용될 수 있거나, 또는 위상 검출 센서 및/또는 다른 형태의 거리 센서와 같은 다른 초점 특성 센서에 의해 대체될 수 있다. 이미지 센서(221) 및/또는 전파 시간 센서(224)에 의해 결정된 초점 특성(들)은 초점 제어기(225)로 전송되며, 초점 제어기(225)는 이에 기초하여, 이미지 센서(221)의 시야를 제1 물체(231)에 초점 조정하도록 동조 가능한 광학 요소(222)에 조정을 적용한다. 그 다음, 자동 초점 카메라(220)는 (예를 들어, 사용자로부터의 이미지 포착 명령에 대응하여) 제1 물체(231)의 초점 조정된 이미지(290a)를 포착할 수 있다. 제1 물체(231)의 "초점 조정된" 양태는 제1 물체(231a)가 음영 처리되지 않은 입체감으로 도시되는 반면에 물체들(232a 및 233a)은 모두 음영 처리되는(즉, 초점 조정되지 않은 상태를 나타냄) 점으로 이미지(290a)의 예시적인 실시예에서 표현된다.
일반적으로, 시선 추적기 서브시스템(210)에 의한 시선 방향의 결정, 프로세서(270)에 의한 이미지 센서(221)의 시야의 해당 영역과의 시선 방향의 매핑, 명암비 검출 및/또는 전파 시간 검출에 의한 이미지 센서(221)의 시야의 적어도 해당 영역의 초점 특성의 결정, 및/또는 초점 제어기(225)에 의한 이미지 센서(221)의 시야의 해당 영역을 초점 조정하기 위한 동조 가능한 광학 요소(222)의 조정 중 어느 하나 또는 전부는, 실시간으로 연속적으로 또는 독자적으로(예를 들어, 정의된 빈도로 주기적으로) 수행될 수 있으며, 실제 이미지(290a)는 사용자로부터의 이미지 포착 명령에 대응해서만 포착될 수 있거나, 또는 대안적으로 임의의 모든 전술한 것들이 사용자로부터의 이미지 포착 명령에 대응해서만 수행될 수 있다.
도 2b는 사용되는 예시적인 이미지 포착 시스템(200)을 도시하는 예시도로서, 본 시스템, 장치 및 방법에 따라, 제2 물체(232)를 보거나 주시하는(즉, 제2 물체(232)의 방향으로) 사용자의 눈(280)에 대응하여 제2 물체(232)에 초점을 조정한다. 도 2b에서, 사용자는 제2 물체(232)를 향해 보거나/주시하고 있으며, 시선 추적기 서브시스템(210)은 제2 물체(232)를 보거나/주시하는 사용자에 해당하는 눈(280)의 시선 방향(252)을 결정한다. 시선 방향(252)을 나타내거나 달리 시선 방향(252)에 관련되는 데이터/정보는 시선 추적기 서브시스템(210)으로부터 프로세서(270)로 전송되며, 프로세서(270)는 적어도 대략적으로 사용자가 이미지 센서(221)의 시야에서 보거나/주시하고 있는 곳을 결정하기 위해, 자동 초점 카메라(220)의 이미지 센서(221)의 시야와 시선 방향(252) 사이의 매핑(예를 들어, 이에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체(214)에 저장된 데이터 및/또는 명령의 실행에 기초하여)을 수행한다. 사용자가 시선 방향(252)을 따라 보거나/주시하고 있는 경우 사용자가 보거나/주시하고 있는 곳에 해당하는 이미지 센서(221)의 시야의 영역에서, 이미지 센서(221)가 명암비(예를 들어, 상대적인 휘도) 정보를 결정할 수 있거나/결정할 수 있고, 전파 시간 센서(224)가 물체 거리 정보를 결정할 수 있다. 이러한 초점 특성들 중 어느 하나 또는 모두는 초점 제어기(225)로 전송되며, 초점 제어기(225)는 이에 기초하여, 이미지 센서(221)의 시야를 제2 물체(232)에 초점 조정하도록 동조 가능한 광학 요소(222)에 조정을 적용한다. 그 다음, 자동 초점 카메라(220)는 (예를 들어, 사용자로부터의 이미지 포착 명령에 대응하여) 제2 물체(232)의 초점 조정된 이미지(290b)를 포착할 수 있다. 제2 물체(232)의 "초점 조정된" 양태는 제2 물체(232b)가 음영 처리되지 않은 입체감으로 도시되는 반면에 물체들(231b 및 233b)은 모두 음영 처리되는(즉, 초점 조정되지 않은 상태를 나타냄) 점으로 이미지(290b)의 예시적인 실시예에서 표현된다.
도 2c는 사용되는 예시적인 이미지 포착 시스템(200)을 도시하는 예시도로서, 본 시스템, 장치 및 방법에 따라, 제3 물체(233)를 보거나 주시하는(즉, 제3 물체(233)의 방향으로) 사용자의 눈(280)에 대응하여 제3 물체(233)에 초점을 조정한다. 도 2c에서, 사용자는 제3 물체(233)를 향해 보거나/주시하고 있으며, 시선 추적기 서브시스템(210)은 제3 물체(233)를 보거나/주시하는 사용자에 해당하는 눈(280)의 시선 방향(253)을 결정한다. 시선 방향(253)을 나타내거나 달리 시선 방향(253)에 관련되는 데이터/정보는 시선 추적기 서브시스템(210)으로부터 프로세서(270)로 전송되며, 프로세서(270)는 적어도 대략적으로 사용자가 이미지 센서(221)의 시야에서 보거나/주시하고 있는 곳을 결정하기 위해, 자동 초점 카메라(220)의 이미지 센서(221)의 시야와 시선 방향(253) 사이의 매핑(예를 들어, 이에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체(214)에 저장된 데이터 및/또는 명령의 실행에 기초하여)을 수행한다. 사용자가 시선 방향(253)을 따라 보거나/주시하고 있는 경우 사용자가 보거나/주시하고 있는 곳에 해당하는 이미지 센서(221)의 시야의 영역에서, 이미지 센서(221)가 명암비(예를 들어, 상대적인 휘도) 정보를 결정할 수 있거나/결정할 수 있고, 전파 시간 센서(224)가 물체 거리 정보를 결정할 수 있다. 이러한 초점 특성들 중 어느 하나 또는 모두는 초점 제어기(225)로 전송되며, 초점 제어기(225)는 이에 기초하여, 이미지 센서(221)의 시야를 제3 물체(233)에 초점 조정하도록 동조 가능한 광학 요소(222)에 조정을 적용한다. 그 다음, 자동 초점 카메라(220)는 (예를 들어, 사용자로부터의 이미지 포착 명령에 대응하여) 제3 물체(233)의 초점 조정된 이미지(290c)를 포착할 수 있다. 제3 물체(233)의 "초점 조정된" 양태는 제3 물체(233c)가 음영 처리되지 않은 입체감으로서 깔끔한 라인들로 도시되는 반면에 물체들(231c 및 232c)은 모두 음영 처리되는(즉, 초점 조정되지 않은 상태를 나타냄) 점으로 이미지(290c)의 예시적인 실시예에서 표현된다.
도 3은 본 시스템, 장치 및 방법에 따라, 사용자의 눈(380)의 시선 방향과 이미지 센서의 시야의 적어도 일부분의 초점 특성 사이의 예시적인 매핑(300)(이미지 포착 시스템에 의해 수행됨)을 도시하는 예시도이다. 매핑(300)은 4개의 시야를 도시한다: 시야(311)는 시선 추적기 서브시스템의 시선 추적기 구성 요소의 시야이며 눈(380)을 나타낸다; 시야(312)는 눈(380)의 시야의 표현이며 물체(331, 332 및 333)를 나타낸다; 시야(313)는 자동 초점 카메라의 초점 특성 센서 구성 요소의 시야이며 또한 물체(331, 332 및 333)를 나타낸다; 그리고 시야(314)는 자동 초점 카메라의 이미지 센서 구성 요소의 시야이며 또한 물체(331, 332 및 333)를 나타낸다. 도시된 실시예에서, 이미지 센서의 시야(314)는 눈(380)의 시야(312)와 실질적으로 동일하지만, 대안적인 구현예에서 이미지 센서의 시야(314)는 눈(380)의 시야(312)와 부분적으로만 중첩될 수 있다. 예시된 실시예에서, 초점 특성 센서의 시야(313)는 이미지 센서의 시야(314)와 실질적으로 동일하지만, 대안적인 구현예에서 시야(314)는 시야(313)와 부분적으로만 중첩될 수 있거나, 또는 시야(314)는 시야(313)보다 더 작을 수 있으며, 시야(314)는 시야(313) 내에 완전히 포함될 수 있다. 물체(332)는 물체(331 및 333)보다 사용자에 더 가깝고, 물체(331)는 물체(333)보다 사용자에 더 가깝다.
상술한 바와 같이, 시야(311)는 시선 추적기 서브시스템의 시선 추적기 구성 요소의 시야를 나타낸다. 눈(380)의 특징부(321)는 시선 추적기에 의해 감지, 식별, 측정 또는 달리 검출된다. 특징부(321)는 예를 들어, 동공, 홍채, 각막, 또는 하나 이상의 망막 혈관(들)과 같은 눈의 구성 요소의 위치 및/또는 배향을 포함할 수 있다. 도시된 실시예에서, 특징부(321)는 눈(380)의 동공 위치에 해당한다. 매핑(300)의 특정 구현예에서, 시야(311)는 시야(311)를 2차원 "동공 위치 공간"으로 분배하는 그리드 패턴에 의해 오버레이된다. 따라서, 눈(380)의 동공 위치는 2차원 동공 위치 공간에서의 눈(380)의 동공 위치(즉, 특징부(321)의 위치)에 해당하는 2차원 좌표들에 의해 시야(311)에서 특성화된다. 대안적으로, 예를 들어 반경 좌표계와 같은 다른 좌표계가 사용될 수 있다. 동작시, 특징부(321)는 시선 추적기 서브시스템의 시선 추적기 구성 요소에 의해 감지, 식별, 측정 또는 달리 검출될 수 있으며, 특징부(321)의 2차원 좌표들은 시선 추적기 구성 요소에 통신 가능하게 결합된 프로세서에 의해 결정될 수 있다.
상술한 바와 같이, 시야(312)는 눈(380)의 시야를 나타내며 또한 2차원 그리드에 의해 오버레이되어 2차원 "시선 방향 공간"을 설정한다. 시야(312)는 눈(380)의 실제 시야일 수 있거나, 또는 메모리에 저장되어 프로세서에 의해 액세스되는 눈(380)의 시야의 모델일 수 있다. 어느 경우이든, 프로세서는 눈(380)의 시선 방향(322)을 결정하기 위해, 시야(311)로부터의 특징부(321)의 2차원 위치를 시야(312)의 2차원 위치에 매핑한다. 도시된 바와 같이, 시선 방향(322)은 사용자의 시야의 물체(332)와 정렬된다.
상술한 바와 같이, 시야(313)는 자동 초점 카메라의 초점 특성 센서 구성 요소의 시야를 나타내며, 또한 2차원 그리드에 의해 오버레이되어 2차원 "초점 특성 공간"을 설정한다. 초점 특성 센서는 초점 특성 센서의 시야(313)가 이미지 센서의 시야(314)와 동일할 수 있거나 동일하지 않을 수 있도록, 자동 초점 카메라의 이미지 센서와 통합될 수 있거나 통합되지 않을 수 있다. 시야(313)의 다양한 지점에서 다양한 초점 특성(예를 들어, 명암비 검출을 위한 픽셀 휘도, 거리 등)(340)이 결정된다. 매핑(300)에서, 프로세서는 시야(312)로부터의 시선 방향(322)을 시야(313)의 2차원 초점 특성 공간의 해당 지점에 매핑하고, 그 지점에 해당하는 초점 특성(323)을 식별 또는 결정한다. 매핑(300)의 이러한 단계에서, 이미지 포착 시스템은 사용자의 시선 방향을 식별하였고, 사용자가 물체(332)를 보거나 주시하고 있다고 결정하였으며, 물체(332)의 초점 특성을 식별 또는 결정하였다. 그 다음, 본 시스템, 장치 및 방법에 따라, 프로세서는 물체(332)와 연관된 하나 이상의 초점 조정 파라미터(들)를 결정할 수 있고, 하나 이상의 초점 조정 파라미터(들)에 기초하여 물체(332)에 이미지 센서를 초점 조정하도록(예를 들어, 하나 이상의 동조 가능한 광학 요소(들) 또는 렌즈(들)에 조정을 적용함으로써) 자동 초점 카메라의 초점 제어기에 명령할 수 있다.
상술한 바와 같이, 시야(314)는 자동 초점 카메라의 이미지 센서의 시야이다. 물체들(331 및 333)이 모두 음영 처리(즉, 초점이 맞지 않음을 나타냄)된 것으로 도시된 반면에 물체(332)는 입체감 음영 처리 없이 도시되는 것으로 나타낸 바와 같이, 시야(314)는 물체(332)에 초점 조정되고 물체들(331 및 333)에는 초점 조정되지 않는다. 매핑(300)을 통해 결정되는 바와 같이, 물체(332)는 사용자가 보거나/주시하고 있는 곳에 해당하는 반면에 물체들(331 및 333)은 그렇지 않기 때문에, 물체(332)는 정초점인 반면에 물체들(331 및 333)은 그렇지 않다. 이러한 단계에서, 사용자에 의해 그렇게 요구되는 경우(예를 들어, 명령되는 경우), 이미지 포착 시스템은 시야(314)에 해당하는 물체(332)의 이미지를 포착할 수 있다.
도 4는 본 시스템, 장치 및 방법에 따라 사용자의 시선 방향의 물체에 자동 초점 조정하도록 이미지 포착 시스템을 동작하는 방법(400)을 도시한다. 이미지 포착 시스템은 도 1의 이미지 포착 시스템(100) 및/또는 도 2a, 도 2b 및 도 2c의 이미지 포착 시스템(200)과 실질적으로 유사하거나 심지어 동일할 수 있으며, 일반적으로 시선 추적기 서브시스템 및 자동 초점 카메라를 포함하고, 이들 사이에는 통신 결합이 이루어진다(예를 들어, 하나 이상의 프로세서(들)를 통해). 방법(400)은 3개의 동작(401, 402 및 403)을 포함한다. 당업자는 대안적인 실시형태에서 특정 동작이 생략 및/또는 추가적인 동작이 부가될 수 있음을 인식할 것이다. 당업자는 또한 예시된 순서의 동작이 단지 예시적인 목적으로만 나타낸 것이며 대안적인 실시형태에서 변경될 수 있음을 인식할 것이다.
401에서, 시선 추적기 서브시스템은 사용자의 눈의 적어도 하나의 특징부를 감지한다. 보다 구체적으로, 시선 추적기 서브시스템은 시선 추적기를 포함할 수 있고, 시선 추적 서브시스템의 시선 추적기는 당업자에게 익숙한 시선 추적을 위한 임의의 광범위한 설정 기술들에 따라 사용자의 눈의 적어도 하나의 특징부를 감지할 수 있다. 앞서 설명된 바와 같이, 시선 추적기에 의해 감지된 사용자의 눈의 적어도 하나의 특징부는, 사용자의 눈의 동공, 사용자의 눈의 각막, 사용자의 눈의 홍채 또는 사용자의 눈의 적어도 하나의 망막 혈관의 위치 및/또는 배향 중 어느 하나 또는 조합을 포함할 수 있다.
402에서, 시선 추적기 서브시스템은 401에서 시선 추적기 서브시스템에 의해 감지된 사용자의 눈의 적어도 하나의 특징부에 기초하여 사용자의 눈의 시선 방향을 결정한다. 보다 구체적으로, 시선 추적기 서브시스템은 프로세서를 포함할 수 있거나 이에 통신 가능하게 결합될 수 있고, 그 프로세서는 비-일시적 프로세서 판독 가능한 저장 매체 또는 메모리에 통신 가능하게 결합될 수 있다. 메모리는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 시선 추적기에 의해 감지된 사용자의 눈의 적어도 하나의 특징부에 기초하여 사용자의 눈의 시선 방향을 결정하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령(예를 들어, 도 1의 데이터/명령(115)과 같이, 시선 추적기 서브시스템의 일부로서 본원에서 일반적으로 지칭됨)을 저장할 수 있다.
403에서, 자동 초점 카메라는 402에서 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향에 기초하여 사용자의 눈의 시야의 물체에 초점을 조정한다. 이미지 포착 시스템이 프로세서 및 메모리를 포함하는 경우, 프로세서는 자동 초점 카메라로 하여금 사용자의 눈의 시선 방향에 기초하여 사용자의 눈의 시야의 물체에 초점을 조정하도록 하는, 메모리에 저장된 데이터 및/또는 명령을 실행할 수 있다.
일반적으로, 자동 초점 카메라는, 이미지 센서, 이미지 센서의 시야에 위치되어 이미지 센서 상에 광을 제어 가능하게 집속하는 동조 가능한 광학 요소, 및 동조 가능한 광학 요소에 통신 가능하게 결합되어 이미지 센서 상에 충돌하는 광의 초점을 제어하기 위해 이에 조정을 적용하는 초점 제어기를 포함할 수 있다. 이미지 센서의 시야는 사용자의 눈의 시야와 적어도 부분적으로(예를 들어, 완전히 또는 상당한 정도로, 예를 들어 80% 이상만큼) 중첩될 수 있다. 방법(400)의 확장된 버전에서, 자동 초점 카메라는 이미지 센서의 시야의 적어도 일부분의 초점 특성을 결정할 수 있다. 이 경우, 403에서 자동 초점 카메라의 초점 제어기는 사용자의 눈의 시야의 물체에 이미지 센서의 시야를 초점 조정하도록 동조 가능한 광학 요소를 조정할 수 있으며, 그러한 조정은 402에서 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향, 및 자동 초점 카메라에 의해 결정된 이미지 센서의 시야의 적어도 일부분의 초점 특성에 모두 기초하여 이루어질 수 있다.
403에서 자동 초점 카메라에 의해 결정된 초점 특성은 이미지 센서의 적어도 2개의 지점(예를 들어, 픽셀들)에 걸친 명암비 차이를 포함할 수 있다. 이 경우, 이미지 센서는 초점 특성 센서(즉, 구체적으로는 명암비 검출 센서)로서 역할을 할 수 있고, 프로세서에 의해 실행될 때, 프로세서로 하여금, 이미지 센서 상에 충돌하는(동조 가능한 광학 요소를 통해) 광이 집속되는 이미지 센서의 시야의 영역을 결정하기 위해, 이미지 센서의 적어도 2개의 근접한(예를 들어, 인접한) 지점 또는 영역(예를 들어, 픽셀들)의 상대적인 휘도를 비교하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 저장하는 비-일시적 프로세서 판독 가능한 저장 매체, 및 프로세서에 통신 가능하게 결합될 수 있다. 일반적으로, 정초점인 이미지 센서의 시야의 영역은 이미지 센서의 픽셀들이 휘도의 가장 큰 상대적인 변화들을 나타내는 이미지 센서의 시야의 영역에 해당할 수 있으며, 이는 이미지의 가장 선명한 에지들에 해당한다.
명암비 검출과 더불어 또는 그 대신에, 일부 구현예에서, 자동 초점 카메라는 403에서 이미지 센서의 시야의 적어도 일부분의 초점 특성을 결정하는 적어도 하나의 전용 초점 특성 센서를 포함할 수 있다. 실시예로서, 403에서, 자동 초점 카메라의 거리 센서는 이미지 센서의 시야의 물체와의 거리를 감지할 수 있거나/있고, 전파 시간 센서는 이미지 센서의 시야의 물체와의 거리를 결정할 수 있거나/있으며, 위상 검출 센서는 이미지 센서의 시야의 적어도 2개의 지점 사이의 위상차를 검출할 수 있다.
본원에서 설명된 이미지 포착 시스템, 장치 및 방법은 다양한 구성 요소(예를 들어, 시선 추적기 서브시스템 및 자동 초점 카메라)를 포함하고, 앞서 설명된 바와 같이, 다양한 구성 요소에 의해 사용되는 및/또는 수집되는 데이터/정보 간에 하나 이상의 매핑(들)을 수행하는 것을 포함할 수 있다. 일반적으로, 임의의 그러한 매핑은 하나 이상의 프로세서(들)에 의해 수행될 수 있다. 일 실시예로서, 방법(400)에서, 적어도 하나의 프로세서는 사용자가 보거나 주시하고 있는 곳에 해당하는 이미지 센서의 시야의 위치, 영역 또는 지점을 식별하거나 달리 결정하기 위해, 402에서 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향과 이미지 센서의 시야 사이의 매핑을 수행할 수 있다. 즉, 사용자가 보거나 주시하고 있는 사용자의 시야의 위치, 영역 또는 지점(예를 들어, 물체)이 시선 추적기 서브시스템에 의해 결정된 다음, 이러한 위치, 영역 또는 지점(예를 들어, 물체)은 이미지 센서의 시야의 해당하는 위치, 영역 또는 지점(예를 들어, 물체)에 프로세서에 의해 매핑된다. 본 시스템, 장치 및 방법에 따라, 사용자가 보거나 주시하고 있는 곳에 해당하는 이미지 센서의 시야의 위치, 영역 또는 지점(예를 들어, 물체)이 설정되면, 이미지 포착 시스템은 해당 위치, 영역 또는 지점(예를 들어, 물체)에 자동으로 초점 조정할 수 있고, 원하는 경우, 해당 위치, 영역 또는 지점(예를 들어, 물체)의 초점 조정된 이미지를 포착할 수 있다. 위치, 영역 또는 지점(예를 들어, 물체)에 초점 조정하는 것을 원활하게 하거나 가능하게 하기 위해, 적어도 하나의 프로세서는 402에서 시선 추적기 서브시스템에 의해 결정된 사용자의 눈의 시선 방향과 403에서 자동 초점 카메라에 의해(예를 들어, 자동 초점 카메라의 적어도 하나의 초점 특성 센서에 의해) 결정된 이미지 센서의 시야의 적어도 일부분의 하나 이상의 초점 특성(들) 사이의 매핑을 수행할 수 있다. 이는 사용자가 보거나 주시하고 있는 위치, 영역 또는 지점(예를 들어, 물체)에 해당하는 이미지 센서의 시야의 위치, 영역 또는 지점(예를 들어, 물체)의 초점 특성을 제공한다. 자동 초점 카메라의 초점 제어기는 이러한/이들 초점 특성(들)에 관한 데이터/정보를 사용하여, 이미지 센서 상에 충돌하는 광이 사용자가 보거나 주시하고 있는 위치, 영역 또는 지점(예를 들어, 물체) 상에 집속되도록 동조 가능한 광학 요소에 조정을 적용할 수 있다.
앞서 설명된 바와 같이, 프로세서(또는 프로세서들)가 매핑을 수행하는 경우, 그러한 매핑은 좌표계를 포함할 수 있거나 좌표계에 기초하여 이루어질 수 있다. 예를 들어, 402에서 시선 추적기 서브시스템은 사용자의 눈의 적어도 하나의 특징부에 해당하는 제1 세트의 2차원 좌표를 결정할 수 있고(예를 들어, "동공 위치 공간"에서), "시선 방향 공간"에서 시선 방향으로서 제1 세트의 2차원 좌표를 전환, 변환 또는 달리 표현할 수 있다. 자동 초점 카메라의 이미지 센서의 시야는 2차원 "이미지 센서 공간"으로 유사하게 분배될 수 있으며, 403에서 자동 초점 카메라는 이미지 센서의 시야의 적어도 하나의 영역(즉, 제2 세트의 2차원 좌표에 해당함)의 초점 특성을 결정할 수 있다. 이러한 방식으로, 적어도 하나의 프로세서가 사용자의 눈의 시선 방향과 이미지 센서의 시야의 적어도 일부분의 초점 특성 사이의 매핑을 수행하는 경우 및 수행할 때(앞서 설명된 바와 같이), 적어도 하나의 프로세서는 사용자의 눈의 적어도 하나의 특징부 및/또는 시선 방향에 해당하는 제1 세트의 2차원 좌표와 이미지 센서의 시야의 특정 영역에 해당하는 제2 세트의 2차원 좌표 사이의 매핑을 수행할 수 있다.
자동 초점 카메라가 이미지 센서의 시야의 적어도 하나의 영역(즉, 제2 세트의 2차원 좌표에 해당함)의 초점 특성을 결정하는 경우 및 결정할 때, 프로세서는, i) 이미지 센서의 전체 시야에 걸쳐서 초점 특성을 지속적으로(예를 들어, 일정한 간격으로 또는 연속적으로) 모니터링하여 403에서의 매핑의 일부로서 특정 제2 세트의 2차원 좌표에 해당하는 특정 초점 특성을 리턴할 수 있거나, 또는 ii) 403에서의 매핑의 일부로서 제2 세트의 2차원 좌표를 식별하거나 달리 결정하여 제2 세트의 2차원 좌표에 해당하는 초점 특성을 리턴할 수 있다.
앞서 설명된 바와 같이, 일부 구현예에서, 이미지 포착 시스템은 사용자의 시선 방향을 지속적으로(예를 들어, 일정한 간격으로 또는 연속적으로) 모니터링(시선 추적기 서브시스템을 통해)할 수 있거나/할 수 있고, 자동 초점 카메라의 시야의 하나 이상의 초점 특성(들)을 지속적으로(예를 들어, 일정한 간격으로 또는 연속적으로) 모니터링할 수 있다. 즉, 이미지 포착 시스템은 방법(400)을 지속적으로 또는 반복적으로 수행할 수 있으며, 사용자로부터의 이미지 포착 명령에 대응해서만 물체의 실제 이미지를 포착(예를 들어, 이미지의 이미지 복사본을 메모리에 저장)할 수 있다. 다른 구현예에서, 이미지 포착 시스템이 사용자로부터 이미지 포착 명령을 수신할 때까지, 이미지 포착 시스템의 시선 추적기 서브시스템 및/또는 자동 초점 카메라 구성 요소들은 실질적으로 비활성 상태로 유지될 수 있다(즉, 방법(400)은 지속적으로 수행되지 않을 수 있다).
도 5는 본 시스템, 장치 및 방법에 따라 사용자로부터의 이미지 포착 명령에 대응하여 사용자의 시선 방향의 물체의 정초점 이미지를 포착하도록 이미지 포착 시스템을 동작하는 방법(500)을 도시한다. 이미지 포착 시스템은 도 1의 이미지 포착 시스템(100) 및/또는 도 2a, 도 2b 및 도 2c의 이미지 포착 시스템(200)과 실질적으로 유사하거나 심지어 동일할 수 있으며, 일반적으로 프로세서(및 전형적으로, 프로세서에 의해 실행될 때, 이미지 포착 시스템으로 하여금 방법(500)을 수행하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 저장하는 비-일시적 프로세서 판독 가능한 매체 또는 메모리)에 통신 가능하게 모두 결합된 시선 추적기 서브시스템 및 자동 초점 카메라를 포함한다. 방법(500)은 6개의 동작(501, 502, 503, 504, 505 및 506)을 포함하지만, 당업자는 대안적인 실시형태에서 특정한 동작이 생략 및/또는 추가적인 동작이 부가될 수 있음을 인식할 것이다. 당업자는 또한 예시된 순서의 동작이 단지 예시적인 목적으로만 도시되고 대안적인 실시형태에서 변경될 수 있음을 인식할 것이다. 동작(503, 504 및 505)은 각각 방법(400)의 동작(401, 402 및 403)과 실질적으로 유사하며, 중복을 피하기 위해 이하에서 상세하게 설명되지 않는다.
501에서, 프로세서는 사용자로부터의 이미지 포착 명령의 발생 또는 요청을 모니터링한다. 프로세서는 프로세서로 하여금 사용자로부터의 이미지 포착 명령을 모니터링하도록 하는 비-일시적 프로세서 판독 가능한 저장 매체로부터의 명령을 실행할 수 있다. 사용자로부터의 이미지 포착 명령의 종류는 구현예에 따라, 그리고 특히 이미지 포착 시스템의 입력 메커니즘에 따라 매우 다양한 상이한 형태로 될 수 있다. 예를 들어, 터치 기반 인터페이스(예를 들어, 하나 이상의 터치스크린, 버튼, 용량성 또는 유도성 스위치, 접촉 스위치)를 사용하는 이미지 포착 시스템에서, 이미지 포착 명령은 하나 이상의 터치 기반 입력의 활성화를 포함할 수 있거나/포함할 수 있고; 음성 명령(예를 들어, 적어도 하나의 마이크로폰 및 오디오 처리 기능)을 사용하는 이미지 포착 시스템에서, 이미지 명령은 특정 음성 명령을 포함할 수 있거나/포함할 수 있으며; 제스처 제어(예를 들어, 광학 또는 적외선, 또는 초음파 기반 제스처 검출 또는 MyoTM 암밴드와 같은 EMG 기반 제스처 검출)를 사용하는 이미지 포착 시스템에서, 이미지 포착 명령은 적어도 하나의 제스처 입력을 포함할 수 있다. 일부 구현예에서, 이미지 포착 시스템의 시선 추적기 서브시스템은 미국 가특허출원 일련번호 제62/236,060호 및/또는 미국 가특허출원 일련번호 제62/261,653호에서 설명된 것과 유사한 인터페이스를 사용하여, 사용자로부터의 이미지 포착 명령을 모니터링 및 식별하는데 사용될 수 있다.
502에서, 이미지 포착 시스템의 프로세서는 사용자로부터 이미지 포착 명령을 수신한다. 일부 구현예에서, 이미지 포착 명령은 이미지를 즉시 포착하는 것에 관련될 수 있는 반면에, 다른 구현예에서 이미지 포착 명령은 이미지 포착 시스템의 비-일시적 프로세서 판독 가능한 저장 매체에 저장된 카메라 애플리케이션 또는 다른 소프트웨어 애플리케이션(들)을 개시, 실행 또는 달리 활성화하는 것에 관련될 수 있다.
502에서 프로세서가 사용자로부터 이미지 포착 명령을 수신하는 것에 대응하여, 방법(500)은 본질적으로 도 4의 방법(400)을 수행하는 동작들(503, 504 및 505)로 진행한다.
503에서, 시선 추적기 서브시스템은 방법(400)의 동작(401)에 대해 설명된 것과 유사한 방식으로 사용자의 눈의 적어도 하나의 특징부를 감지한다. 시선 추적기 서브시스템은 적어도 하나의 특징부 데이터를 나타내거나 달리 표시하는 데이터/정보를 프로세서에 제공할 수 있다.
504에서, 시선 추적기 서브시스템은 방법(400)의 동작(402)에 대해 설명된 것과 실질적으로 유사한 방식으로 503에서 감지된 사용자의 눈의 적어도 하나의 특징부에 기초하여 사용자의 눈의 시선 방향을 결정한다.
505에서, 자동 초점 카메라는 방법(400)의 동작(403)에 대해 설명된 것과 실질적으로 유사한 방식으로 504에서 결정된 사용자의 눈의 시선 방향에 기초하여 사용자의 눈의 시야의 물체에 초점을 조정한다.
506에서, 이미지 포착 시스템의 자동 초점 카메라는 자동 초점 카메라가 505마다 물체에 초점 조정되는 동안에 물체의 초점 조정된 이미지를 포착한다. 일부 구현예에서, 자동 초점 카메라는 물체의 디지털 사진 또는 이미지를 기록 또는 복사할 수 있고, 디지털 사진 또는 이미지를 로컬 메모리에 저장할 수 있거나 원격 또는 외장 메모리에 저장하기 위해 디지털 사진 또는 이미지를 전송할 수 있다. 다른 구현예에서, 자동 초점 카메라는 시각적 정보를 반드시 기록 또는 저장할 필요 없이 물체로부터 시각적 정보를 포착할 수 있다(예를 들어, 뷰파인더에서 또는 디스플레이 스크린 상에 실시간으로 시각적 정보를 디스플레이하거나 분석하기 위한 목적으로). 또 다른 구현예에서, 자동 초점 카메라는 506에서 이미지들의 "버스트(burst)"로서 또는 비디오의 각각의 프레임들로서 물체의 복수의 이미지를 포착할 수 있다.
앞서 설명된 바와 같이, 시선 추적 및/또는 시선 방향 검출에 기초하여 자동 초점 조정하는 본 이미지 포착 시스템, 장치 및 방법은 WHUD에서 사용하기에 특히 적합하다. 본원에서 설명된 이미지 포착 시스템, 장치 및 방법을 사용하는 WHUD의 예시적인 실시예는 도 6a, 도 6b 및 도 6c에 제공된다.
도 6a는 본 시스템, 장치 및 방법에 따른 시선 방향-기반 자동 초점 조정 이미지 포착 시스템을 갖는 WHUD(600)의 정면도이다. 도 6b는 도 6a의 WHUD(600)의 배면도이며, 도 6c는 도 6a의 WHUD(600)의 측면 또는 측면도이다. 도 6a, 도 6b 및 도 6c를 각각 참조하면, WHUD(600)는, 사용시에 사용자의 머리에 착용되고 안경테의 일반적인 형상 및 외형을 갖는 지지 구조체(610)를 포함한다. 지지 구조체(610)는, 디스플레이 컨텐츠 생성기(620)(예를 들어, 프로젝터 또는 마이크로 디스플레이 및 관련 광학기), 투명 결합기(630), 자동 초점 카메라(640), 및 적외선 광원(651)과 적외선 광 검출기(652)를 포함하는 시선 추적기(650)를 포함하는 다수의 구성 요소를 보유한다. 도 6a에서, 자동 초점 카메라(640)는 별개의 요소로서 도시된 적어도 하나의 초점 특성 센서(641)를 포함한다. 디스플레이 컨텐츠 생성기(620), 자동 초점 카메라(640) 및 시선 추적기(650)의 부분들은 지지 구조체(610)의 내부 체적 내에 포함될 수 있다. 예를 들어, WHUD(600)는 또한 자동 초점 카메라(640)와 시선 추적기(650)에 통신 가능하게 결합된 프로세서, 및 프로세서에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체를 포함할 수 있으며, 프로세서 및 저장 매체는 모두 지지 구조체(610)의 하나 이상의 내부 체적(들) 내에 보유되므로, 도 6a, 도 6b 및 도 6c의 도면에서는 보이지 않는다.
본 명세서 및 첨부된 청구범위 전반에 걸쳐서, "보유한다"라는 용어 및 "~에 의해 보유된"과 같은 변형은 일반적으로 2개의 물체 사이의 물리적 결합을 지칭하는데 사용된다. 물리적 결합은 직접적인 물리적 결합(즉, 2개의 물체 사이의 직접적인 물리적 접촉으로) 또는 하나 이상의 추가적인 물체에 의해 중개되는 간접적인 물리적 결합일 수 있다. 따라서, "보유한다"라는 용어 및 "~에 의해 보유된"과 같은 변형은 일반적으로 직접적인 및 간접적인 물리적 결합의 모든 방식을 포함하는 것을 의미한다.
지지 구조체(610)에 의해 보유된 디스플레이 컨텐츠 생성기(620)는 투명 결합기(630)와 연동하여 디스플레이 컨텐츠를 제공하는 광학계 및 광원을 포함할 수 있다. 투명 결합기(630)는 지지 구조체(610)가 사용자의 머리에 착용될 때 사용자의 눈의 시야 내에 위치된다. 투명 결합기(630)는 사용자의 환경으로부터의 광이 사용자의 눈으로 통과할 수 있도록 하기에 충분히 광학적으로 투명하고, 또한 디스플레이 컨텐츠 생성기(620)로부터의 광을 사용자의 눈을 향해 재지향시킨다. 도 6a, 도 6b 및 도 6c에서, 투명 결합기(630)는 투명 안경 렌즈(660)(예를 들어, 맞춤 안경 렌즈 또는 비-맞춤 안경 렌즈)의 구성 요소이다. WHUD(600)는 하나의 디스플레이 컨텐츠 생성기(620) 및 하나의 투명 결합기(630)를 보유한다; 그러나, 다른 구현예는 양쪽 눈을 위한 투명 결합기 및 디스플레이 컨텐츠 생성기를 갖는 양안 디스플레이를 사용할 수 있다.
이미지 센서, 동조 가능한 광학 요소, 초점 제어기, 및 별개의 초점 특성 센서(641)를 포함하는 자동 초점 카메라(640)는 지지 구조체(610)의 우측면(도 6b의 배면도에 따른 사용자 관점에서) 상에 보유된다. 그러나, 다른 구현예에서, 자동 초점 카메라(640)는 WHUD(600)의 어느 한 측면 또는 양 측면 상에 보유될 수 있다. 초점 특성 센서(641)는 자동 초점 카메라(640)의 이미지 센서와 물리적으로 구별되지만, 일부 구현예에서, 초점 특성 센서(641)는 이미지 센서(예를 들어, 명암비 검출 센서) 내에 통합된 유형일 수 있다.
시선 추적기(650)의 광 신호 소스(651) 및 광 검출기(652)는 예를 들어, 사용자의 눈 사이의 지지 프레임(610)의 중간부 상에 보유되고, 사용자의 우측 눈을 추적하는 것에 관련된다. 당업자는 대안적인 구현예에서, 시선 추적기(650)가 지지 구조체(610) 상의 다른 곳에 위치될 수 있고/있거나 사용자의 좌측 눈 또는 사용자의 양쪽 눈을 추적하도록 배향될 수 있음을 인식할 것이다. 사용자의 양쪽 눈을 추적하는 구현예에서, 자동 초점 카메라의 초점 제어기가 동조 가능한 광학 요소로 하여금, 이미지 센서 상에 충돌하는 광을 집속하도록 하는 깊이에 영향을 주는 초점 특성으로서, 눈의 수렴 데이터/정보가 사용될 수 있다. 예를 들어, 자동 초점 카메라(640)는 시선 추적기 서브시스템에 의해 결정된 양쪽 눈의 수렴에 해당하는 깊이로 자동으로 초점 조정할 수 있으며, 이미지 포착 시스템은 반드시 사용자의 시선 방향 및/또는 사용자의 관심 물체를 결정할 필요 없이, 해당 깊이로 초점 조정된 이미지를 포착할 수 있다.
위와 같은 구현예들 중 어느 하나에 있어서, 다수의 자동 초점 카메라가 사용될 수 있다. 다수의 자동 초점 카메라는 단일 시선 추적 서브시스템으로부터의 시선 방향 정보에 대응하여 사용자의 시야의 동일한 물체에 각각 자동 초점 조정할 수 있다. 다수의 자동 초점 카메라는 입체식 또는 비-입체식일 수 있으며, 별개의 이미지들, 또는 단일 이미지 생성에 기여하는 이미지들을 포착할 수 있다.
본 시스템, 장치 및 방법에서 설명된 WHUD와 관련하여 또는 WHUD로서 사용될 수 있는 WHUD 시스템, 장치 및 방법의 예는, 미국 특허 공개번호 US 제2015-0205134호 A1, 미국 특허 공개번호 US 제2015-0378164호 A1, 미국 특허 공개번호 US 제2015-0378161호 A1, 미국 특허 공개번호 US 제2015-0378162호 A1, 미국 정규 특허출원 일련번호 제15/046,234호, 미국 정규 특허출원 일련번호 제15/046,254호, 및/또는 미국 정규 특허출원 일련번호 제15/046,269호에서 설명된 것들을 포함하지만, 이에 한정되지 않는다.
당업자는 시선 추적에 기초하여 초점을 조정하는 이미지 포착 시스템, 장치 및 방법에 대해 본원에서 설명된 다양한 실시형태가 비-WHUD 적용예들에 적용될 수 있음을 인식할 것이다. 예를 들어, 본 시스템, 장치 및 방법은 비-착용식 헤드업 디스플레이(즉, 착용식이 아닌 헤드업 디스플레이), 및/또는 가시성 디스플레이를 포함할 수 있거나 포함하지 않을 수 있는 다른 적용예들에서 적용될 수 있다.
본원에서 설명된 WHUD 및/또는 이미지 포착 시스템은 사용자의 환경으로부터 데이터를 수집하기 위한 하나 이상의 센서(들)(예를 들어, 마이크로폰, 카메라, 온도계, 나침반, 고도계, 기압계, 및/또는 기타)를 포함할 수 있다. 예를 들어, 하나 이상의 카메라(들)가 사용되어 WHUD의 프로세서에 피드백을 제공할 수 있고 디스플레이(들) 상에서 임의의 주어진 이미지가 디스플레이되어야 하는 곳에 영향을 줄 수 있다.
본원에서 설명된 WHUD 및/또는 이미지 포착 시스템은 하나 이상의 내장 전원(예를 들어, 하나 이상의 배터리(들)), 무선 통신을 송신/수신하기 위한 무선 트랜시버, 및/또는 컴퓨터에 결합하거나/결합하고 하나 이상의 내장 전원(들)을 충전하기 위한 접속 커넥터 포트를 포함할 수 있다.
본원에서 설명된 WHUD 및/또는 이미지 포착 시스템은, 마이크로폰을 통한 음성 명령; 버튼, 스위치 또는 터치 감응 표면을 통한 터치 명령; 및/또는 예를 들어, 이들 모두의 전체 내용이 본원에 참고로 포함되는 미국 정규 특허출원 일련번호 제14/155,087호, 미국 정규 특허출원 일련번호 제14/155,107호, 및/또는 PCT 특허 출원 PCT/US2014/057029에 설명된 바와 같은 제스처 검출 시스템을 통한 제스처 기반 명령을 포함하지만 이에 한정되지 않는 다양한 방식들 중 하나 이상으로 사용자로부터 명령을 수신하여 대응할 수 있다.
본 명세서 및 첨부된 청구범위 전반에 걸쳐서, "통신 경로", "통신 결합", 및 "통신 가능하게 결합"과 같은 그 변형에서의 "통신"이라는 용어는 일반적으로 정보를 전송 및/또는 교환하기 위한 임의의 설계된 배치를 지칭하기 위해 사용된다. 예시적인 통신 경로는 전기 전도성 경로(예를 들어, 전기 전도성 배선, 전기 전도성 트레이스), 자기 경로(예를 들어, 자기 매체), 및/또는 광학 경로(예를 들어, 광섬유)를 포함하지만 이에 한정되지 않으며, 예시적인 통신 결합은 전기 결합, 자기 결합, 및/또는 광학 결합을 포함하지만 이에 한정되지 않는다.
본 명세서 및 첨부된 청구범위 전반에 걸쳐서, 부정사형 동사 형태가 종종 사용된다. 예는, "감지하도록", "제공하도록", "송신하도록", "통신하도록", "처리하도록", "라우팅하도록" 등을 포함하지만, 이에 한정되지 않는다. 구체적인 문맥상 달리 요구하지 않는 한, 그러한 부정사형 동사 형태는 "적어도 감지하도록", "적어도 제공하도록", "적어도 송신하도록" 등으로서 개방적인 포괄적 의미로 사용된다.
요약서에서 기술되는 것을 포함하는 예시된 실시형태에 대한 위의 설명은 그 실시형태를 개시된 정확한 형태로 한정하거나 완전하게 하려는 의도가 아니다. 구체적인 실시형태 및 실시예가 예시적인 목적으로 본원에서 설명되지만, 관련 당업자에 의해 인식되는 바와 같이, 본 발명의 사상 및 범주를 벗어나지 않고 다양한 동등한 변형이 이루어질 수 있다. 본원에서 제공된 다양한 실시형태의 교시는 다른 이미지 포착 시스템, 또는 휴대용 및/또는 착용식 전자 장치들에 적용될 수 있으며, 반드시 위에서 일반적으로 설명된 예시적인 이미지 포착 시스템 및 착용식 전자 장치에 적용될 필요는 없다.
예를 들어, 전술한 상세한 설명은 블록도, 개략도 및 실시예의 사용을 통해 시스템, 장치 및/또는 방법의 다양한 실시형태를 상술하였다. 그러한 블록도, 개략도 및 실시예가 하나 이상의 기능 및/또는 동작을 포함하는 한, 그러한 블록도, 흐름도 또는 실시예 내의 각각의 기능 및/또는 동작은 광범위한 하드웨어, 소프트웨어, 펌웨어, 또는 사실상 이들의 임의의 조합으로 개별적으로 및/또는 집합적으로 구현될 수 있음을 당업자는 이해할 것이다. 일 실시형태에서, 본 대상물은 예를 들어, 하나 이상의 주문형 집적 회로(ASIC)와 같은 하나 이상의 프로세서를 통해 구현될 수 있다. 그러나, 당업자라면, 본원에서 개시된 실시형태가 전체적으로 또는 부분적으로, 하나 이상의 컴퓨터에 의해 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템에서 실행되는 하나 이상의 프로그램)으로서, 하나 이상의 제어기(예를 들어, 마이크로 컨트롤러)에 의해 실행되는 하나 이상의 프로그램으로서, 하나 이상의 프로세서(예를 들어, 마이크로 프로세서, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 프로그램 가능한 게이트 어레이(PGA), 프로그램된 로직 제어기(PLC))에 의해 실행되는 하나 이상의 프로그램으로서, 펌웨어로서, 또는 사실상 이들의 임의의 조합으로서, 표준형 또는 범용 집적 회로에서 동등하게 구현될 수 있음을 인식할 것이며, 소프트웨어 및/또는 펌웨어를 위한 회로 설계 및/또는 코드 작성이 본 개시물의 교시에 비추어 아마도 당업자의 기술 범위 내에 있음을 인식할 것이다. 본원에서 그리고 청구범위에서 사용되는 바와 같은, 프로세서 또는 프로세서들이라는 용어는 예를 들어, ASIC, 마이크로 프로세서, CPU, GPU, PGA, PLC 및 다른 마이크로 컨트롤러와 같은 하드웨어 회로를 지칭한다.
로직이 소프트웨어로서 구현되어 메모리에 저장되는 경우, 로직 또는 정보는 임의의 프로세서 관련 시스템 또는 방법에 의해 또는 임의의 프로세서 관련 시스템 또는 방법과 관련하여 사용하기 위해 임의의 프로세서 판독 가능한 매체에 저장될 수 있다. 본 개시물의 맥락에서, 메모리는 전자, 자기, 광학 또는 다른 물리적 장치인 프로세서 판독 가능한 매체이거나, 또는 컴퓨터 및/또는 프로세서 프로그램을 포함하거나 저장하는 수단이다. 로직 및/또는 정보는, 컴퓨터-기반 시스템, 프로세서-포함 시스템, 또는 명령 실행 시스템, 장치 또는 디바이스로부터 명령을 인출하여 로직 및/또는 정보와 연관된 명령을 실행할 수 있는 다른 시스템과 같은, 명령 실행 시스템, 장치 또는 디바이스와 관련하여 또는 그에 의해 사용하기 위한 임의의 프로세서 판독 가능한 매체에서 구현될 수 있다.
본 명세서의 맥락에서, "비-일시적 프로세서 판독 가능한 매체"는 명령 실행 시스템, 장치, 및/또는 디바이스와 관련하여 또는 그에 의해 사용하기 위한 로직 및/또는 정보와 연관된 프로그램을 저장할 수 있는 임의의 하드웨어일 수 있다. 프로세서 판독 가능한 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스일 수 있지만, 이에 한정되지 않는다. 컴퓨터 판독 가능한 매체의 보다 구체적인 예(완전하지 않은 리스트)는, 휴대용 컴퓨터 디스켓(자기, 컴팩트 플래시 카드, 보안 디지털 장치 등), 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 소거 가능한 프로그램 가능 판독-전용 메모리(EPROM, EEPROM 또는 플래시 메모리), 휴대용 컴팩트 디스크 판독-전용 메모리(CDROM), 디지털 테이프 및 기타 비-일시적 매체를 포함한다.
위에서 설명된 다양한 실시형태가 결합되어 추가적인 실시형태를 제공할 수 있다. 이들이 본원에서의 특정 교시 및 정의와 불일치하지 않는 정도까지, 미국 특허 공개번호 US 제2015-0205134호 A1, 미국 특허 공개번호 US 제2015-0378164호 A1, 미국 특허 공개번호 US 제2015-0378161호 A1, 미국 특허 공개번호 US 제2015-0378162호 A1, 미국 정규 특허출원 일련번호 제15/046,234호, 미국 정규 특허출원 일련번호 제15/046,254호, 미국 정규 특허출원 일련번호 제15/046,269호, 미국 정규 특허출원 일련번호 제15/167,458호, 미국 정규 특허출원 일련번호 제15/167,472호, 미국 정규 특허출원 일련번호 제15/167,484호, 미국 가특허출원 일련번호 제62/271,135호, 미국 가특허출원 일련번호 제62/245,792호, 미국 가특허출원 일련번호 제62/281,041호, 미국 정규 특허출원 일련번호 제14/155,087호, 미국 정규 특허출원 일련번호 제14/155,107호, PCT 특허 출원 PCT/US2014/057029, 미국 가특허출원 일련번호 제62/236,060호, 미국 가특허출원 일련번호 제62/261,653호, 및/또는 미국 가특허출원 일련번호 제62/357,201호를 포함하지만 이에 한정되지 않는, Thalmic Labs Inc.가 소유하고 있는 본 명세서에서 언급된 및/또는 출원 데이터 시트에 나열된 모든 미국 특허, 미국 특허출원 공보, 미국 특허 출원, 해외 특허, 해외 특허 출원 및 비-특허 공보는 그 전체가 본원에 참고로 포함된다. 또 다른 추가적인 실시형태를 제공하기 위해, 다양한 특허, 출원 및 공보의 시스템, 회로 및 개념을 사용하도록 실시형태의 양태는 필요한 경우 변형될 수 있다.
위의 상세한 설명에 비추어 실시형태에 대한 이러한 변경 및 다른 변경이 이루어질 수 있다. 일반적으로, 이하의 청구범위에서, 사용되는 용어는 명세서 및 청구범위에 개시된 구체적인 실시형태로 청구범위를 제한하는 것으로 해석되어서는 안되며, 그러한 청구범위에 권리가 부여되는 등가물의 전체 범주와 함께 가능한 모든 실시형태를 포함하는 것으로 해석되어야 한다. 따라서, 청구범위는 개시물에 의해 한정되지 않는다.
Claims (21)
- 이미지 포착 시스템으로서,
사용자의 눈의 적어도 하나의 특징부를 감지하고, 상기 적어도 하나의 특징부에 기초하여 상기 사용자의 눈의 시선 방향을 결정하는 시선 추적기 서브시스템; 및
상기 시선 추적기 서브시스템에 통신 가능하게 결합된 자동 초점 카메라를 포함하며,
상기 자동 초점 카메라는 상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향에 기초하여 상기 사용자의 눈의 시야의 물체에 자동으로 초점을 조정하는,
이미지 포착 시스템. - 제1항에 있어서,
상기 자동 초점 카메라는,
상기 사용자의 눈의 상기 시야와 적어도 부분적으로 중첩되는 시야를 갖는 이미지 센서;
상기 이미지 센서의 상기 시야의 상기 물체에 동조 가능하게 초점 조정하도록 위치 및 배향된 동조 가능한 광학 요소; 및
상기 동조 가능한 광학 요소에 통신 가능하게 결합된 초점 제어기를 포함하며,
상기 초점 제어기는, 상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향, 및 상기 자동 초점 카메라에 의해 결정된 상기 이미지 센서의 상기 시야의 적어도 일부분의 초점 특성에 모두 기초하여, 상기 사용자의 눈의 상기 시야의 상기 물체에 상기 이미지 센서의 상기 시야를 초점 조정하도록 상기 동조 가능한 광학 요소에 조정을 적용하기 위해 통신 가능하게 결합되는, 이미지 포착 시스템. - 제2항에 있어서,
상기 시선 추적기 서브시스템 및 상기 자동 초점 카메라 모두에 통신 가능하게 결합된 프로세서; 및
상기 프로세서에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체를 더 포함하며,
상기 비-일시적 프로세서 판독 가능한 저장 매체는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향과 상기 자동 초점 카메라에 의해 결정된 상기 이미지 센서의 상기 시야의 적어도 일부분의 상기 초점 특성 사이의 매핑을 수행하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 저장하는, 이미지 포착 시스템. - 제2항에 있어서,
상기 자동 초점 카메라는 상기 이미지 센서의 상기 시야의 적어도 일부분의 상기 초점 특성을 결정하는 초점 특성 센서를 포함하며,
상기 초점 특성 센서는,
상기 이미지 센서의 상기 시야의 물체와의 거리를 감지하는 거리 센서;
상기 이미지 센서의 상기 시야의 물체와의 거리를 결정하는 전파 시간 센서;
상기 이미지 센서의 상기 시야의 적어도 2개의 지점 사이의 위상차를 검출하는 위상 검출 센서; 및
상기 이미지 센서의 상기 시야의 적어도 2개의 지점 사이의 휘도 차이를 검출하는 명암비 검출 센서로 이루어진 그룹에서 선택되는, 이미지 포착 시스템. - 제1항에 있어서,
상기 시선 추적기 서브시스템 및 상기 자동 초점 카메라 모두에 통신 가능하게 결합된 프로세서; 및
상기 프로세서에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체를 더 포함하며,
상기 비-일시적 프로세서 판독 가능한 저장 매체는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 상기 시선 추적기 서브시스템 및/또는 상기 자동 초점 카메라 중 적어도 하나의 동작을 제어하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 저장하는, 이미지 포착 시스템. - 제5항에 있어서,
상기 시선 추적기 서브시스템은,
상기 사용자의 눈의 상기 적어도 하나의 특징부를 감지하는 시선 추적기; 및
상기 비-일시적 프로세서 판독 가능한 저장 매체에 저장된 프로세서 실행 가능한 데이터 및/또는 명령을 포함하며,
상기 프로세서 실행 가능한 데이터 및/또는 명령은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 상기 시선 추적기에 의해 감지된 상기 사용자의 눈의 상기 적어도 하나의 특징부에 기초하여 상기 사용자의 눈의 상기 시선 방향을 결정하도록 하는, 이미지 포착 시스템. - 제1항에 있어서,
상기 시선 추적기 서브시스템에 의해 감지된 상기 사용자의 눈의 상기 적어도 하나의 특징부는, 상기 사용자의 눈의 동공 위치, 상기 사용자의 눈의 동공 배향, 상기 사용자의 눈의 각막 위치, 상기 사용자의 눈의 각막 배향, 상기 사용자의 눈의 홍채 위치, 상기 사용자의 눈의 홍채 배향, 상기 사용자의 눈의 적어도 하나의 망막 혈관의 위치, 및 상기 사용자의 눈의 적어도 하나의 망막 혈관의 배향으로 이루어진 그룹에서 선택되는, 이미지 포착 시스템. - 제1항에 있어서,
사용시에 상기 사용자의 머리에 착용되는 지지 구조체를 더 포함하며, 상기 시선 추적기 서브시스템 및 상기 자동 초점 카메라는 모두 상기 지지 구조체에 의해 보유되는, 이미지 포착 시스템. - 시선 추적기 서브시스템 및 자동 초점 카메라를 포함하는 이미지 포착 시스템의 동작 방법으로서,
상기 시선 추적기 서브시스템에 의해 사용자의 눈의 적어도 하나의 특징부를 감지하는 단계;
상기 시선 추적기 서브시스템에 의해 상기 적어도 하나의 특징부에 기초하여 상기 사용자의 눈의 시선 방향을 결정하는 단계; 및
상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향에 기초하여 상기 자동 초점 카메라에 의해 상기 사용자의 눈의 시야의 물체에 초점을 조정하는 단계를 포함하는,
이미지 포착 시스템의 동작 방법. - 제9항에 있어서,
상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 적어도 하나의 특징부를 감지하는 단계는,
상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 동공 위치를 감지하는 단계;
상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 동공 배향을 감지하는 단계;
상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 각막 위치를 감지하는 단계;
상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 각막 배향을 감지하는 단계;
상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 홍채 위치를 감지하는 단계;
상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 홍채 배향을 감지하는 단계;
상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 적어도 하나의 망막 혈관의 위치를 감지하는 단계; 또는
상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 적어도 하나의 망막 혈관의 배향을 감지하는 단계 중 적어도 하나를 포함하는, 방법. - 제9항에 있어서,
상기 이미지 포착 시스템은,
상기 시선 추적기 서브시스템 및 상기 자동 초점 카메라 모두에 통신 가능하게 결합된 프로세서; 및
상기 프로세서에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체를 더 포함하며,
상기 비-일시적 프로세서 판독 가능한 저장 매체는 프로세서 실행 가능한 데이터 및/또는 명령을 저장하고, 상기 방법은,
상기 자동 초점 카메라로 하여금, 상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향에 기초하여 상기 사용자의 눈의 상기 시야의 상기 물체에 초점을 조정하도록 하는 상기 프로세서 실행 가능한 데이터 및/또는 명령을 상기 프로세서에 의해 실행하는 단계를 더 포함하는, 방법. - 제11항에 있어서,
상기 자동 초점 카메라는 이미지 센서, 동조 가능한 광학 요소, 및 상기 동조 가능한 광학 요소에 통신 가능하게 결합된 초점 제어기를 포함하며, 상기 방법은,
상기 자동 초점 카메라에 의해 상기 이미지 센서의 시야의 적어도 일부분의 초점 특성을 결정하는 단계를 더 포함하고,
상기 이미지 센서의 상기 시야는 상기 사용자의 눈의 상기 시야와 적어도 부분적으로 중첩되며,
상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향에 기초하여 상기 자동 초점 카메라에 의해 상기 사용자의 눈의 시야의 물체에 초점을 조정하는 단계는,
상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향, 및 상기 자동 초점 카메라에 의해 결정된 상기 이미지 센서의 상기 시야의 적어도 일부분의 상기 초점 특성에 모두 기초하여, 상기 사용자의 눈의 상기 시야의 상기 물체에 상기 이미지 센서의 상기 시야를 초점 조정하도록, 상기 자동 초점 카메라의 상기 초점 제어기에 의해 상기 동조 가능한 광학 요소를 조정하는 단계를 포함하는, 방법. - 제12항에 있어서,
상기 자동 초점 카메라는 초점 특성 센서를 포함하며, 상기 자동 초점 카메라에 의해 상기 이미지 센서의 시야의 적어도 일부분의 초점 특성을 결정하는 단계는,
상기 초점 특성 센서에 의해 상기 이미지 센서의 상기 시야의 상기 물체와의 거리를 감지하는 단계;
상기 초점 특성 센서에 의해 상기 이미지 센서의 상기 시야의 상기 물체와의 거리를 결정하는 단계;
상기 초점 특성 센서에 의해 상기 이미지 센서의 상기 시야의 적어도 2개의 지점 사이의 위상차를 검출하는 단계; 및/또는
상기 초점 특성 센서에 의해 상기 이미지 센서의 상기 시야의 적어도 2개의 지점 사이의 휘도 차이를 검출하는 단계 중 적어도 하나를 포함하는, 방법. - 제12항에 있어서,
상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향과 상기 자동 초점 카메라에 의해 결정된 상기 이미지 센서의 상기 시야의 적어도 일부분의 상기 초점 특성 사이의 매핑을 상기 프로세서에 의해 수행하는 단계를 더 포함하는, 방법. - 제14항에 있어서,
상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 시선 방향을 결정하는 단계는 상기 시선 추적기 서브시스템에 의해 상기 사용자의 눈의 상기 적어도 하나의 특징부에 해당하는 제1 세트의 2차원 좌표를 결정하는 단계를 포함하며;
상기 자동 초점 카메라에 의해 상기 이미지 센서의 시야의 적어도 일부분의 초점 특성을 결정하는 단계는 상기 자동 초점 카메라에 의해 상기 이미지 센서의 상기 시야의 제1 영역의 초점 특성을 결정하는 단계를 포함하고, 상기 이미지 센서의 상기 시야의 상기 제1 영역은 제2 세트의 2차원 좌표를 포함하며; 그리고
상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향과 상기 자동 초점 카메라에 의해 결정된 상기 이미지 센서의 상기 시야의 적어도 일부분의 상기 초점 특성 사이의 매핑을 상기 프로세서에 의해 수행하는 단계는,
상기 사용자의 눈의 상기 적어도 하나의 특징부에 해당하는 상기 제1 세트의 2차원 좌표와 상기 이미지 센서의 상기 시야의 상기 제1 영역에 해당하는 상기 제2 세트의 2차원 좌표 사이의 매핑을 상기 프로세서에 의해 수행하는 단계를 포함하는, 방법. - 제12항에 있어서,
상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향과 상기 자동 초점 카메라의 이미지 센서의 시야 사이의 매핑을 상기 프로세서에 의해 수행하는 단계를 더 포함하는, 방법. - 제11항에 있어서,
상기 프로세서에 의해 상기 사용자로부터 이미지 포착 명령을 수신하는 단계; 및
상기 프로세서에 의해 상기 사용자로부터 상기 이미지 포착 명령을 수신하는 단계에 대응하여, 상기 자동 초점 카메라로 하여금, 상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향에 기초하여 상기 사용자의 눈의 상기 시야의 상기 물체에 초점 조정하도록 하는 상기 프로세서 실행 가능한 데이터 및/또는 명령을 상기 프로세서에 의해 실행하는 단계를 더 포함하는, 방법. - 제9항에 있어서,
상기 자동 초점 카메라가 상기 물체에 초점 조정되는 동안에 상기 자동 초점 카메라에 의해 상기 물체의 이미지를 포착하는 단계를 더 포함하는, 방법. - 착용식 헤드업 디스플레이("WHUD")로서,
사용시에 사용자의 머리에 착용되는 지지 구조체;
상기 지지 구조체에 의해 보유되며, 시각적 디스플레이 컨텐츠를 제공하는 디스플레이 컨텐츠 생성기;
상기 지지 구조체에 의해 보유되고 상기 사용자의 시야 내에 위치되며, 상기 디스플레이 컨텐츠 생성기에 의해 제공된 시각적 디스플레이 컨텐츠를 상기 사용자의 상기 시야로 지향시키는 투명 결합기; 및
이미지 포착 시스템을 포함하며,
상기 이미지 포착 시스템은,
상기 사용자의 눈의 적어도 하나의 특징부를 감지하고, 상기 적어도 하나의 특징부에 기초하여 상기 사용자의 눈의 시선 방향을 결정하는 시선 추적기 서브시스템; 및
상기 시선 추적기 서브시스템에 통신 가능하게 결합된 자동 초점 카메라를 포함하고,
상기 자동 초점 카메라는 상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향에 기초하여 상기 사용자의 눈의 시야의 물체에 자동으로 초점을 조정하는,
착용식 헤드업 디스플레이("WHUD"). - 제19항에 있어서,
상기 자동 초점 카메라는,
상기 사용자의 눈의 상기 시야와 적어도 부분적으로 중첩되는 시야를 갖는 이미지 센서;
상기 이미지 센서의 상기 시야의 상기 물체에 동조 가능하게 초점 조정하도록 위치 및 배향된 동조 가능한 광학 요소; 및
상기 동조 가능한 광학 요소에 통신 가능하게 결합된 초점 제어기를 포함하며,
상기 초점 제어기는, 상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향, 및 상기 자동 초점 카메라에 의해 결정된 상기 이미지 센서의 상기 시야의 적어도 일부분의 초점 특성에 모두 기초하여, 상기 사용자의 눈의 상기 시야의 상기 물체에 상기 이미지 센서의 상기 시야를 초점 조정하도록 상기 동조 가능한 광학 요소에 조정을 적용하는, WHUD. - 제20항에 있어서,
상기 시선 추적기 서브시스템 및 상기 자동 초점 카메라 모두에 통신 가능하게 결합된 프로세서; 및
상기 프로세서에 통신 가능하게 결합된 비-일시적 프로세서 판독 가능한 저장 매체를 더 포함하며,
상기 비-일시적 프로세서 판독 가능한 저장 매체는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 상기 시선 추적기 서브시스템에 의해 결정된 상기 사용자의 눈의 상기 시선 방향과 상기 자동 초점 카메라에 의해 결정된 상기 이미지 센서의 상기 시야의 적어도 일부분의 상기 초점 특성 사이의 매핑을 수행하도록 하는 프로세서 실행 가능한 데이터 및/또는 명령을 저장하는, WHUD.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662357201P | 2016-06-30 | 2016-06-30 | |
| US62/357,201 | 2016-06-30 | ||
| PCT/US2017/040323 WO2018005985A1 (en) | 2016-06-30 | 2017-06-30 | Image capture systems, devices, and methods that autofocus based on eye-tracking |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190015573A true KR20190015573A (ko) | 2019-02-13 |
Family
ID=60787612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197002178A KR20190015573A (ko) | 2016-06-30 | 2017-06-30 | 시선 추적에 기초하여 자동 초점 조정하는 이미지 포착 시스템, 장치 및 방법 |
Country Status (8)
| Country | Link |
|---|---|
| US (3) | US20180007255A1 (ko) |
| EP (1) | EP3479564A1 (ko) |
| JP (1) | JP2019527377A (ko) |
| KR (1) | KR20190015573A (ko) |
| CN (1) | CN109983755A (ko) |
| AU (1) | AU2017290811A1 (ko) |
| CA (1) | CA3029234A1 (ko) |
| WO (1) | WO2018005985A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11508339B2 (en) | 2019-12-09 | 2022-11-22 | Samsung Electronics Co., Ltd. | Electronic device for changing displayed image associated with camera positioned below display and operating method thereof |
Families Citing this family (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9874744B2 (en) | 2014-06-25 | 2018-01-23 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays |
| CN108351519A (zh) | 2015-02-17 | 2018-07-31 | 赛尔米克实验室公司 | 用于在可穿戴式平视显示器中进行适眼区扩大的系统、设备和方法 |
| US10175488B2 (en) | 2015-05-04 | 2019-01-08 | North Inc. | Systems, devices, and methods for spatially-multiplexed holographic optical elements |
| CA2984138A1 (en) | 2015-05-28 | 2016-12-01 | Thalmic Labs Inc. | Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays |
| CN108352393B (zh) | 2015-07-23 | 2022-09-16 | 光程研创股份有限公司 | 高效宽光谱传感器 |
| US10861888B2 (en) | 2015-08-04 | 2020-12-08 | Artilux, Inc. | Silicon germanium imager with photodiode in trench |
| TW202335281A (zh) | 2015-08-04 | 2023-09-01 | 光程研創股份有限公司 | 光感測系統 |
| US10761599B2 (en) * | 2015-08-04 | 2020-09-01 | Artilux, Inc. | Eye gesture tracking |
| US10707260B2 (en) | 2015-08-04 | 2020-07-07 | Artilux, Inc. | Circuit for operating a multi-gate VIS/IR photodiode |
| CN108140656B (zh) | 2015-08-27 | 2022-07-26 | 光程研创股份有限公司 | 宽频谱光学传感器 |
| CA2996721A1 (en) | 2015-09-04 | 2017-03-09 | Thalmic Labs Inc. | Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses |
| WO2017059285A1 (en) | 2015-10-01 | 2017-04-06 | Thalmic Labs Inc. | Systems, devices, and methods for interacting with content displayed on head-mounted displays |
| US9904051B2 (en) | 2015-10-23 | 2018-02-27 | Thalmic Labs Inc. | Systems, devices, and methods for laser eye tracking |
| US10418407B2 (en) | 2015-11-06 | 2019-09-17 | Artilux, Inc. | High-speed light sensing apparatus III |
| US10254389B2 (en) | 2015-11-06 | 2019-04-09 | Artilux Corporation | High-speed light sensing apparatus |
| US10739443B2 (en) | 2015-11-06 | 2020-08-11 | Artilux, Inc. | High-speed light sensing apparatus II |
| US10886309B2 (en) | 2015-11-06 | 2021-01-05 | Artilux, Inc. | High-speed light sensing apparatus II |
| US10741598B2 (en) | 2015-11-06 | 2020-08-11 | Atrilux, Inc. | High-speed light sensing apparatus II |
| US10802190B2 (en) | 2015-12-17 | 2020-10-13 | Covestro Llc | Systems, devices, and methods for curved holographic optical elements |
| US10303246B2 (en) | 2016-01-20 | 2019-05-28 | North Inc. | Systems, devices, and methods for proximity-based eye tracking |
| US10151926B2 (en) | 2016-01-29 | 2018-12-11 | North Inc. | Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display |
| JP6266675B2 (ja) * | 2016-03-18 | 2018-01-24 | 株式会社Ｓｕｂａｒｕ | 捜索支援装置、捜索支援方法及び捜索支援プログラム |
| CA3020631A1 (en) | 2016-04-13 | 2017-10-19 | Thalmic Labs Inc. | Systems, devices, and methods for focusing laser projectors |
| US10277874B2 (en) | 2016-07-27 | 2019-04-30 | North Inc. | Systems, devices, and methods for laser projectors |
| US10459221B2 (en) | 2016-08-12 | 2019-10-29 | North Inc. | Systems, devices, and methods for variable luminance in wearable heads-up displays |
| US10345596B2 (en) | 2016-11-10 | 2019-07-09 | North Inc. | Systems, devices, and methods for astigmatism compensation in a wearable heads-up display |
| WO2018098579A1 (en) | 2016-11-30 | 2018-06-07 | Thalmic Labs Inc. | Systems, devices, and methods for laser eye tracking in wearable heads-up displays |
| US10663732B2 (en) | 2016-12-23 | 2020-05-26 | North Inc. | Systems, devices, and methods for beam combining in wearable heads-up displays |
| US10437073B2 (en) | 2017-01-25 | 2019-10-08 | North Inc. | Systems, devices, and methods for beam combining in laser projectors |
| US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
| US10901216B2 (en) | 2017-10-23 | 2021-01-26 | Google Llc | Free space multiple laser diode modules |
| JP2019129366A (ja) * | 2018-01-23 | 2019-08-01 | セイコーエプソン株式会社 | 頭部装着型表示装置、音声伝送システム、及び頭部装着型表示装置の制御方法 |
| US11194161B2 (en) | 2018-02-09 | 2021-12-07 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| WO2019154511A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
| US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| TWI788246B (zh) | 2018-02-23 | 2022-12-21 | 美商光程研創股份有限公司 | 光偵測裝置 |
| US11105928B2 (en) | 2018-02-23 | 2021-08-31 | Artilux, Inc. | Light-sensing apparatus and light-sensing method thereof |
| TWI758599B (zh) | 2018-04-08 | 2022-03-21 | 美商光程研創股份有限公司 | 光偵測裝置 |
| US10642049B2 (en) * | 2018-04-25 | 2020-05-05 | Apple Inc. | Head-mounted device with active optical foveation |
| US10854770B2 (en) | 2018-05-07 | 2020-12-01 | Artilux, Inc. | Avalanche photo-transistor |
| US10969877B2 (en) | 2018-05-08 | 2021-04-06 | Artilux, Inc. | Display apparatus |
| CN112752992B (zh) | 2018-09-28 | 2023-10-31 | 苹果公司 | 混合现实或虚拟现实相机系统 |
| SE542553C2 (en) * | 2018-12-17 | 2020-06-02 | Tobii Ab | Gaze tracking via tracing of light paths |
| WO2020147948A1 (en) | 2019-01-16 | 2020-07-23 | Pupil Labs Gmbh | Methods for generating calibration data for head-wearable devices and eye tracking system |
| WO2020213088A1 (ja) * | 2019-04-17 | 2020-10-22 | 楽天株式会社 | 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 |
| US10798292B1 (en) * | 2019-05-31 | 2020-10-06 | Microsoft Technology Licensing, Llc | Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction |
| CN110049252B (zh) * | 2019-05-31 | 2021-11-02 | 努比亚技术有限公司 | 一种追焦拍摄方法、设备及计算机可读存储介质 |
| US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| KR20210019826A (ko) | 2019-08-13 | 2021-02-23 | 삼성전자주식회사 | Ar 글래스 장치 및 그 동작 방법 |
| EP4025990A1 (en) * | 2019-09-05 | 2022-07-13 | Dolby Laboratories Licensing Corporation | Viewer synchronized illumination sensing |
| JP7500211B2 (ja) * | 2020-02-07 | 2024-06-17 | キヤノン株式会社 | 電子機器 |
| CN111225157B (zh) * | 2020-03-03 | 2022-01-14 | Oppo广东移动通信有限公司 | 追焦方法及相关设备 |
| JP7542973B2 (ja) * | 2020-03-18 | 2024-09-02 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| US12094243B2 (en) * | 2020-05-19 | 2024-09-17 | Board Of Regents, The University Of Texas System | Method and apparatus for discreet person identification on pocket-size offline mobile platform with augmented reality feedback with real-time training capability for usage by universal users |
| IL280256A (en) * | 2021-01-18 | 2022-08-01 | Emza Visual Sense Ltd | Device and method for determining connection to an item |
| US20220227381A1 (en) * | 2021-01-19 | 2022-07-21 | Ford Global Technologies, Llc | Systems And Methods For Communicating Using A Vehicle |
| US11493773B2 (en) | 2021-06-07 | 2022-11-08 | Panamorph, Inc. | Near-eye display system |
| US11558560B2 (en) * | 2021-06-16 | 2023-01-17 | Varjo Technologies Oy | Imaging apparatuses and optical devices having spatially variable focal length |
| CN115695768A (zh) * | 2021-07-26 | 2023-02-03 | 北京有竹居网络技术有限公司 | 拍摄方法、装置、电子设备、存储介质和计算机程序产品 |
| US11966045B2 (en) | 2022-01-03 | 2024-04-23 | Varjo Technologies Oy | Optical focus adjustment based on occlusion |
| US20230308770A1 (en) * | 2022-03-07 | 2023-09-28 | Meta Platforms, Inc. | Methods, apparatuses and computer program products for utilizing gestures and eye tracking information to facilitate camera operations on artificial reality devices |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2859270B2 (ja) * | 1987-06-11 | 1999-02-17 | 旭光学工業株式会社 | カメラの視線方向検出装置 |
| CA2310114A1 (en) * | 1998-02-02 | 1999-08-02 | Steve Mann | Wearable camera system with viewfinder means |
| CN101169897A (zh) * | 2006-10-25 | 2008-04-30 | 友立资讯股份有限公司 | 多媒体系统的脸部检测的遥控系统及其方法及多媒体系统 |
| JP4873729B2 (ja) * | 2007-04-06 | 2012-02-08 | キヤノン株式会社 | 光学機器 |
| US7736000B2 (en) * | 2008-08-27 | 2010-06-15 | Locarna Systems, Inc. | Method and apparatus for tracking eye movement |
| CN101567004B (zh) * | 2009-02-06 | 2012-05-30 | 浙江大学 | 基于眼球跟踪的英文文本自动摘要方法 |
| US8510166B2 (en) * | 2011-05-11 | 2013-08-13 | Google Inc. | Gaze tracking system |
| US20130088413A1 (en) * | 2011-10-05 | 2013-04-11 | Google Inc. | Method to Autofocus on Near-Eye Display |
| US9338370B2 (en) * | 2012-11-05 | 2016-05-10 | Honeywell International Inc. | Visual system having multiple cameras |
| US20150003819A1 (en) * | 2013-06-28 | 2015-01-01 | Nathan Ackerman | Camera auto-focus based on eye gaze |
| US8958158B1 (en) * | 2013-12-03 | 2015-02-17 | Google Inc. | On-head detection for head-mounted display |
| NZ773812A (en) * | 2015-03-16 | 2022-07-29 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
-
2017
- 2017-06-30 WO PCT/US2017/040323 patent/WO2018005985A1/en unknown
- 2017-06-30 EP EP17821369.0A patent/EP3479564A1/en not_active Withdrawn
- 2017-06-30 CN CN201780052590.4A patent/CN109983755A/zh active Pending
- 2017-06-30 JP JP2018567834A patent/JP2019527377A/ja active Pending
- 2017-06-30 KR KR1020197002178A patent/KR20190015573A/ko not_active Application Discontinuation
- 2017-06-30 CA CA3029234A patent/CA3029234A1/en not_active Abandoned
- 2017-06-30 US US15/639,371 patent/US20180007255A1/en not_active Abandoned
- 2017-06-30 AU AU2017290811A patent/AU2017290811A1/en not_active Abandoned
- 2017-12-12 US US15/839,049 patent/US20180103194A1/en not_active Abandoned
- 2017-12-12 US US15/839,034 patent/US20180103193A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11508339B2 (en) | 2019-12-09 | 2022-11-22 | Samsung Electronics Co., Ltd. | Electronic device for changing displayed image associated with camera positioned below display and operating method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180103194A1 (en) | 2018-04-12 |
| CA3029234A1 (en) | 2018-01-04 |
| US20180103193A1 (en) | 2018-04-12 |
| WO2018005985A1 (en) | 2018-01-04 |
| EP3479564A1 (en) | 2019-05-08 |
| AU2017290811A1 (en) | 2019-02-14 |
| US20180007255A1 (en) | 2018-01-04 |
| JP2019527377A (ja) | 2019-09-26 |
| CN109983755A (zh) | 2019-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190015573A (ko) | 시선 추적에 기초하여 자동 초점 조정하는 이미지 포착 시스템, 장치 및 방법 | |
| US11567336B2 (en) | Display systems and methods for determining registration between display and eyes of user | |
| US9934573B2 (en) | Technologies for adjusting a perspective of a captured image for display | |
| EP3228072B1 (en) | Virtual focus feedback | |
| US10382699B2 (en) | Imaging system and method of producing images for display apparatus | |
| US9961335B2 (en) | Pickup of objects in three-dimensional display | |
| US20150003819A1 (en) | Camera auto-focus based on eye gaze | |
| WO2016115873A1 (zh) | 双目ar头戴显示设备及其信息显示方法 | |
| US20150187115A1 (en) | Dynamically adjustable 3d goggles | |
| US8692870B2 (en) | Adaptive adjustment of depth cues in a stereo telepresence system | |
| US10948729B2 (en) | Keep-out zone for in-field light sources of a head mounted display | |
| JP7081599B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN112655202B (zh) | 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 | |
| TW201814356A (zh) | 頭戴顯示裝置與其鏡片位置調整方法 | |
| CN110895433B (zh) | 用于增强现实中用户交互的方法和装置 | |
| US10877268B2 (en) | Active control of in-field light sources of a head mounted display | |
| KR101739768B1 (ko) | 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템 | |
| US20170142407A1 (en) | Portable device that controls photography mode, and control method therefor | |
| JP2014102668A (ja) | 表示装置 | |
| WO2018196444A1 (zh) | 虚拟现实播放设备及其控制方法及计算机可读存储介质 | |
| CN113645894B (zh) | 用于自动瞳孔检测的方法和系统 | |
| EP3139586B1 (en) | Image shooting processing method and device | |
| US12056276B1 (en) | Eye tracking based on vergence | |
| US20240211035A1 (en) | Focus adjustments based on attention | |
| US20230403386A1 (en) | Image display within a three-dimensional environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |