KR101844883B1 - 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템 - Google Patents

관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템 Download PDF

Info

Publication number
KR101844883B1
KR101844883B1 KR1020177017265A KR20177017265A KR101844883B1 KR 101844883 B1 KR101844883 B1 KR 101844883B1 KR 1020177017265 A KR1020177017265 A KR 1020177017265A KR 20177017265 A KR20177017265 A KR 20177017265A KR 101844883 B1 KR101844883 B1 KR 101844883B1
Authority
KR
South Korea
Prior art keywords
display
image
eye
vision system
focus
Prior art date
Application number
KR1020177017265A
Other languages
English (en)
Other versions
KR20170081702A (ko
Inventor
레이몬드 춘 힝 로
스테파노 발다씨
Original Assignee
메타 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메타 컴퍼니 filed Critical 메타 컴퍼니
Publication of KR20170081702A publication Critical patent/KR20170081702A/ko
Application granted granted Critical
Publication of KR101844883B1 publication Critical patent/KR101844883B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed

Abstract

개시된 장치, 방법 및 시스템의 양태는 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 실시간으로 결합함으로써 3D 기술, 특히 3D 증강 현실(AR) 디바이스에서 디스플레이하기 위한 3차원 구배 및 동적 광 필드를 제공한다.

Description

관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템{APPARATUSES, METHODS AND SYSTEMS COUPLING VISUAL ACCOMMODATION AND VISUAL CONVERGENCE TO THE SAME PLANE AT ANY DEPTH OF AN OBJECT OF INTEREST}
관련 출원에 대한 상호 참조
본 출원은, 전체 내용이 모든 목적을 위해 본 명세서에 명시적으로 병합된, 미국 특허 상표청에 2014년 12월 23일자로 출원된 발명의 명칭이 "APPARATUSES, METHODS AND SYSTEMS COUPLING VISUAL ACCOMMODATION AND VISUAL CONVERGENCE TO THE SAME PLANE AT ANY DEPTH OF AN OBJECT OF INTEREST"인 미국 가출원 번호 62/096,521의 35 U.S.C.§119(e) 하의 이익을 주장한다.
가상 또는 증강 현실 디스플레이를 제공하는 많은 유형의 비전 시스템(vision system)이 있다. 특히 HMD(Head Mounted Display)와 같은 착용가능한 기술이 점점 대중화되고 있다. 그러나 일부 사용자에게는 짧은 시간 기간 동안에만 착용하거나 사용되는 경우에도 이러한 시각 시스템(visual system)을 착용하거나 사용하는 데 문제가 있을 수 있다.
하나의 일반적인 양태에서, 본 명세서에 설명된 공정, 시스템, 구성 요소(component) 및 기술은 비전 시스템의 사용자에 대한 3차원(3D) 이미지를 생성하기 위해 광 필드(light field)(예를 들어, 구배 및 동적 광 필드)를 생성하면서, 가상 또는 증강 현실 디스플레이의 기능 및 광 필드가 제공하는 이미지를 보는 사용자의 편안함을 유지하고/하거나 최적화할 수 있도록 한다.
하나의 일반적인 양태에서, 비전 시스템은 제1 디스플레이; 제2 디스플레이; 및 광학 소자를 포함한다. 상기 광학 소자는, 상기 제1 디스플레이로부터 방출된 광을 제1 초점 평면으로 투사하고, 상기 제2 디스플레이로부터 방출된 광을 제2 초점 평면으로 투사하기 위해 상기 제1 디스플레이로부터 제1 거리에 있고 상기 제2 디스플레이로부터 제2 거리에 배열된다. 처리 디바이스는 인식된 3차원 광 필드를 생성하기 위해 상기 제1 디스플레이와 상기 제2 디스플레이의 하나 이상의 픽셀의 상대적 강도(relative intensity: RI)를 제어하도록 구성된다.
상기 제1 초점 평면은 상기 시스템의 관찰자에게 원거리 초점 평면(far plane of focus)(FP)일 수 있고, 상기 제2 초점 평면은 상기 시스템의 관찰자에게 근거리 초점 평면(near plane of focus)(NP)일 수 있다.
상기 시스템의 RI는 RI = (INP-IFP)/(INP+IFP)로 표현될 수 있고, 여기서 RI는 이미지의 각 픽셀에서 계산되고 정규화된 상대적 강도이고, INP는 NP에 제공된 이미지의 강도이며, IFP는 FP에서 제공된 이미지의 강도이다.
상기 제1 디스플레이는 액정 디스플레이일 수 있고, 상기 제2 디스플레이는 투명한 유기 발광 다이오드 디스플레이일 수 있으며, 상기 광학 소자는 단일 초점을 가질 수 있다.
상기 시스템은 추가적인 디스플레이를 더 포함할 수 있다. 예를 들어, 제3 디스플레이는 상기 제1 디스플레이보다 더 가깝고 상기 제2 디스플레이보다 더 멀리 있는, 상기 광학 소자로부터의 제3 거리에 배열될 수 있으며, 상기 제3 디스플레이는 상기 시스템의 관찰자의 중간 초점 평면(mid-plane of focus)에 이미지를 투사하도록 배열된다.
다른 일반적인 양태에서, 비전 시스템은 적어도 제1 부분과 제2 부분을 포함하는 디스플레이; 상기 디스플레이의 상기 제1 부분으로부터 방출된 광을 제1 초점 평면으로 투사하도록 배열된 제1 초점과, 상기 디스플레이의 상기 제2 부분으로부터 방출된 광을 상기 제2 초점 평면으로 투사하도록 배열된 제2 초점을 포함하는 다초점 광학 소자; 및 상기 디스플레이의 상기 제1 부분과 상기 디스플레이의 상기 제2 부분의 하나 이상의 픽셀의 상대적 강도(RI)를 제어하여 인식가능한 3차원 광 필드를 생성하도록 구성된 처리 디바이스를 포함한다.
상기 시스템의 상기 제1 초점 평면은 상기 시스템의 관찰자에게 원거리 초점 평면(far plane: FP)일 수 있고, 상기 제2 초점 평면은 상기 시스템의 관찰자에게 근거리 초점 평면(near plane: NP)일 수 있다.
상기 시스템의 RI는 RI = (INP-IFP)/(INP+IFP)로 표현될 수 있고, 여기서 RI는 이미지의 각 픽셀에서 계산되고 정규화된 상대적 강도이고, INP는 NP에 제공된 이미지의 강도이며, IFP는 FP에 제공된 이미지의 강도이다.
상기 디스플레이는 제3 부분을 더 포함할 수 있고, 상기 다초점 광학 소자는 상기 제3 부분으로부터 이미지를 상기 시스템의 관찰자의 중간 초점 평면에 투사하도록 배열된 제3 초점을 포함할 수 있다.
또 다른 일반적인 양태에서, 비전 시스템을 위한 구배 광 필드를 생성하는 방법으로서, 상기 방법은, 상기 비전 시스템의 적어도 하나의 구성 요소에 의해 이미지 데이터를 수신하는 단계; 상기 관찰자에 제공될 상기 이미지 데이터의 픽셀에 대해 상기 구성 요소에 의해 적어도 2개의 초점 평면으로 형성된 상기 구배 광 필드 내의 인식된 깊이를 결정하는 단계; 각각의 초점 평면에서 상기 이미지 데이터의 픽셀의 상대적 강도(RI)를 결정하는 단계로서, 상기 RI는 상기 광 필드에서 상기 픽셀의 결정된 인식된 깊이에 대응하는, 상기 상대적 강도를 결정하는 단계; 및 상기 결정된 RI에 대응하는 강도로 조명하기 위해 대응하는 광 소스(light source) 또는 광 소스의 일부의 화소를 제어하는 단계를 포함한다.
상기 방법은 RI = (INP-IFP)/(INP + IFP)로 표현되는 것으로 RI를 결정할 수 있고, 여기서 RI는 이미지의 각 픽셀에서 계산되고 정규화된 상대적 강도이고, INP는 NP에 제공된 이미지의 강도이며, IFP는 FP에 제공된 이미지의 강도이다.
다른 일반적인 양태에서, 비전 시스템은 상기 시스템의 관찰자의 안구의 위치를 결정하도록 구성된 안구 추적 디바이스; 다초점 광학 소자; 및 상기 비전 시스템의 관찰자의 3차원 공간에서 수렴 점(convergence point)을 결정하고, 상기 결정된 수렴 점에 기초하여 상기 비전 시스템의 초점 평면을 조정하고, 상기 조정된 초점 평면에 기초하여 디스플레이된 이미지에 대해 상기 비전 시스템에 의해 깊이 의존 불일치(disparity)와 블러(blur: 흐려짐)를 렌더링하도록 구성된 처리 디바이스를 포함한다.
다른 일반적인 양태에서, 비전 시스템의 관찰자에게 인식가능한 동적 광 필드를 생성하는 방법은 상기 비전 시스템의 관찰자의 3차원 공간에서 수렴 점을 결정하는 단계; 상기 결정된 수렴 점에 기초하여 상기 비전 시스템의 초점 평면을 조정하는 단계; 및 상기 조정된 초점 평면에 기초하여 디스플레이된 이미지에 대해 상기 비전 시스템에 의한 깊이 의존 불일치와 블러를 렌더링하는 단계를 포함한다.
상기 방법은 또한 소스로부터 광을 관찰자의 눈으로 지향시키는 단계; 상기 눈으로부터 상기 광 소스의 반사율을 감지하는 단계; 및 상기 관찰자의 각 눈의 안구 위치를 결정하는 단계를 포함하고, 상기 수렴 점은 상기 관찰자의 상기 결정된 안구 위치에 기초하여 결정된다.
다양한 실시예의 상세는 첨부된 도면 및 이하의 상세한 설명에서 제시된다. 다른 특징 및 장점은 다음의 상세한 설명, 도면 및 청구범위로부터 명백해질 것이다.
다음의 상세한 설명은 첨부된 도면을 참조하여 비한정적이고 예시적인 것으로 의도된, 예로서, 개시된 장치, 방법 및 시스템의 실시예의 양태를 보다 상세히 설명한다.
도 1a 및 도 1b는 비전 공정(vision process)에서 시각적 조절과 시각적 수렴을 결합시키는 일례를 도시한다.
도 1c 및 도 1d는 비전 공정에서 시각적 조절과 시각적 수렴을 분리시키는 일례를 도시한다.
도 2a는 상대적 강도의 함수로서 객체의 인식된 깊이의 일례를 도시한다.
도 2b는 도 2a의 예시적인 함수를 사용하여 2개의 초점 평면을 제공하고 장면을 조명하는 일례를 도시한다.
도 2c는 3개의 초점 평면을 포함하는 다평면 구배 광 필드를 생성하는 구성의 일례를 도시한다.
도 3a 및 도 3b는 3개의 초점 평면을 사용하는 비전 시스템의 예를 도시한다.
도 4는 구배 광 필드를 제공하기 위해 비전 시스템의 하나 이상의 광 소스를 제어하는 공정의 일례를 도시한다.
도 5a, 도 5b, 도 5c, 및 도 5d는 구배 또는 다중 구배 광 필드를 제공하는 비전 시스템의 예를 도시한다.
도 6은 도 5a 및 도 5b에 도시된 시스템의 구성의 일례를 도시한다.
도 7은 구배 광 필드를 제공하기 위해 비전 시스템의 하나 이상의 광 소스를 제어하는 공정의 일례를 도시한다.
도 8은 비전 시스템에서 디스플레이를 위한 이미지들을 정렬하는 일례를 도시한다.
도 9는 3 차원 이미지를 관찰하기 위해 동적 광 필드를 제공하는 비전 시스템의 일례를 나타낸다.
도 10은 도 8의 비전 시스템에 의해 구현되는 공정의 일례를 도시한다.
도 11a 및 도 11b는 2개의 상이한 초점 평면에서 비전 시스템에 의해 렌더링된 객체를 처리하는 일례를 도시한다.
도 12a 및 도 12b는 비축(off-axis) 증강 현실 비전 시스템의 광학 다이어그램의 예를 도시한다.
도 13은 광 소스 위치에 대한 초점 평면의 일례를 도시한다.
도 14는 타깃 가상 초점 평면에 사용되는 디스플레이 움직임의 일례를 도시한다.
도 15 및 도 16은 상이한 FOV들에 대한 디지털 컨텐츠의 인식된 위치를 조정하기 위해 디스플레이 움직임을 제공하는 비전 시스템의 예를 도시한다.
다음의 상세한 설명은 특성상 단지 예시를 위한 것일 뿐, 설명된 실시예(예시, 옵션 등) 또는 설명된 실시예의 응용 및 용도를 제한하는 것으로 의도된 것이 아니다. 본 명세서에 사용된 바와 같이, "예시적인" 또는 "설명적인"이라는 단어는 "예시, 실례 또는 설명으로 기능"하는 것을 의미한다. "예시적인" 또는 "설명적인" 것으로 여기서 설명된 임의의 구현 예는 반드시 다른 구현예에 비해 선호되거나 유리한 것으로 해석되는 것은 아니다. 이하에 설명되는 모든 구현 예는 본 발명의 실시예를 제조하거나 사용할 수 있도록 제공되는 예시적인 구현 예이며, 본 발명의 범위를 제한하려고 의도된 것이 아니다. 본 명세서에서 설명하기 위해, "상부", "하부", "좌측", "후면", "우측", "전면", "수직", "수평" 및 이와 유사한 용어 또는 그 파생어는 도면에서 배향과 관련된 것을 말하고 구체적으로 지시되지 않는 한, 반드시 실제 세계의 배향을 반영하는 것은 아니다. 또한 앞서 설명된 '발명의 내용'란이나 다음의 상세한 설명에 제시된 표현되거나 암시된 이론에 구애되는 것으로 의도된 것이 아니다. 또한, 첨부된 도면에 도시되고 다음의 상세한 설명에서 설명되는 특정 디바이스 및 공정은 예시적인 실시예(예시), 양태 및/또는 개념인 것으로 이해된다. 그리하여, 본 명세서에 개시된 실시예와 관련된 특정 치수 및 다른 물리적 특성은 달리 명시적으로 언급된 임의의 청구범위의 문맥을 제외하고는 본 발명을 제한하는 것으로 간주되어서는 안 된다. 개체는 "적어도 하나"의 개체와 등가인 것으로 이해된다.
양태(예시, 변경, 변형, 옵션, 변동, 실시예 및 이의 임의의 등가물)는 도면을 참조하여 설명된다; 본 명세서의 설명은 청구된 발명이 실시될 수 있고 모든 예를 전부 개시하거나 그 밖의 것을 배타적으로 제외하지 않는 다양한 실시예를 예시하는 것으로 이해해야 한다. 이들 설명은 청구된 원리를 이해하고 교시하는 것을 도와주기 위해 제시된 것이다. 이들 설명은 반드시 모든 청구된 발명을 나타내는 것은 아니라는 것을 이해해야 한다. 그리하여 일부 실시예의 특정 양태는 여기에서 논의되지 않았다. 그러한 대안적인 실시예는 본 발명의 특정 부분에 대해 제공되지 않았거나 또는 설명되지 않은 추가적인 대안적인 실시예가 일부에 대해 이용가능할 수 있다는 것은 그러한 대안적인 실시예의 포기인 것으로 간주되어서는 안된다. 설명되지 않은 많은 실시예는 본 발명의 것과 동일한 원리 및 동등한 다른 원리를 포함하는 것으로 이해된다. 따라서, 다른 실시예가 사용될 수 있고, 본 발명의 범위 및/또는 사상을 벗어나지 않고 기능적, 논리적, 조직적, 구조적 및/또는 위상적 변형이 이루어질 수 있는 것으로 이해된다.
비전 공정:
하나의 일반적인 양태에서, 인간의 양안 또는 입체 비전은 적어도 2개의 밀접하게 결합된 생리적 메커니즘을 포함한다. 예를 들어, 하나의 메커니즘은 시각적 조절(visual accommodation: VA)로 분류될 수 있다. VA는 예를 들어 하나 이상의 관심 객체(object of interest: OOI)에 대응하는 깊이 평면(예를 들어, 초점 평면)으로 초점을 조정하는 눈의 수정체의 곡률의 동적 변화를 지칭할 수 있다. 또 다른 메커니즘은 시각적 수렴(visual convergence: VC)으로 분류될 수 있으며, 이는 때때로 주시각(vergence)이라고도 한다. VC는 각 눈의 시선(line of sight)이 예를 들어 다양한 거리에 위치된 OOI에 대응하여 공간의 한 점에 수렴할 수 있도록 각 눈이 회전하는 것을 지칭할 수 있다. 도 1a, 도 1b, 도 1c 및 도 1d는 이러한 메커니즘을 설명하는 것을 도와준다.
예를 들어, 도 1a 및 도 1b에 도시된 바와 같이, 한 쌍의 눈(101)은 근거리 깊이(135)와 원거리 깊이(125)에 있는 OOI(110)를 관찰한다. 도 1a, 도 1b, 도 1c 및 도 1d에 도시된 바와 같이, 눈의 수정체는 깊이의 함수로서 곡률을 변화시킨다. 각 눈의 시선(120)은 눈의 수정체의 제1 곡률(127)에 대응하는 원거리 깊이(125)에 있는 조절 평면(AP)(123) 내 OOI(110)에서 수렴 점(CP)(122)에 수렴한다. OOI(110)가 (도 1b에 도시된 바와 같이) 전방으로 이동하면, 안구는 안쪽으로 회전하여, 새로운 시선(128)이 눈의 수정체의 제2 곡률(137)에 대응하는 근거리 깊이(135)에 있는 AP(133) 내 OOI(110)에서 CP(130)에 수렴한다. 도 1a 및 도 1b에 도시된 바와 같이, AP와 CP는 동일한 평면(예를 들어, 도 1a의 123 및 도 1b의 133)에 위치된다. 따라서, 도 1a 및 도 1b는 VA와 VC가 원거리 OOI(도 1a)와 근거리 OOI(도 1b)에 결합되는 일반적인 인간 비전의 일례를 도시한다.
도 1c 및 도 1d는 VA와 VC를 분리시키는 일례를 도시한다. 예를 들어, 도 1c에 도시된 바와 같이, 한 쌍의 눈(101)은 OOI(110)를 관찰한다. 그러나, 각 눈의 시선(140)은 AP(145)보다 더 깊은 깊이(143)에 있는 OOI(110)에서 CP(142)에 수렴한다. 도 1d는 AP(145)보다 더 가까운 깊이(153)에 있는 OOI(110)에서 CP(152)에 수렴하는 눈(101)의 시선(150)의 일례를 도시한다. 도 1c 및 도 1d에 도시된 예에서, (상이한 깊이의 OOI에서 초점을 맞추기 위해 조정될 수 있는) 눈의 수정체의 곡률(157)은 평면(145) 상에 고정된다. 그 결과, 초점 평면(145)은 근거리이든지 원거리이든지 상관 없이 OOI(110)의 겉보기 깊이로부터 분리되고, CP만이 OOI(110)를 동적으로 추적한다.
CP와 AP 사이의 거리가 예를 들어 약 1/3 디옵터와 같은 거리보다 더 큰 경우, 디옵터는 단위가 1/미터라 할 때, 개인은 일반적으로 안구의 변형 및/또는 시각적 불편함의 다른 증상을 경험한다. 따라서 각 눈에 보이는 객체의 이미지들이 시각적으로 융합되는 것을 보장하기 위해 CP가 시각 시스템에 의해 동적으로 설정될 때; 예를 들어, 수렴이 불량하여 이중 비전을 초래한다. 또한, 시각 시스템이 예를 들어, 단일 불변 AP를 제공하는 경우, 이미지가 투사되고 CP가 동적으로 변하는 경우, 눈의 변형 및 연관된 불편함이 또한 발생할 수 있다.
그럼에도 불구하고, 본 명세서에 언급된 바와 같이, 인간의 인식 시스템은 공간에서 '물리적으로 그럴듯한' 디지털 객체를 인식하기 위해 효율적인 방식으로 다양한 감각 단서(sensory cue)를 결합시키는 능력을 갖고 있다. 예를 들어, 인간의 인식 시스템은 특히 휘도, 깊이, 형상 정보 중 하나 이상과 같은 감각 단서를 통합하여, 일관성 있고 시각적 객체를 형성하거나 인식할 수 있는 능력을 갖고 있다. 그 결과, 인간의 인식 특성은 본 명세서에 설명된 바와 같이 시각 시스템을 통해 사용될 수 있으며, 인간 두뇌의 깊이 감지 모듈의 원리에 의해 비전 시스템의 사용자에 의해 공간 내에 위치되거나 인식될 수 있는 디지털 이미지를 형성하기 위해 하드웨어 및/또는 소프트웨어 아키텍처를 사용할 수 있다.
구배 광 필드:
본 명세서에 설명된 시스템 및 기술의 일 예시적인 실시예에 따라, 예를 들어 이미지를 관찰하는 사용자의 편안함을 유지 및/또는 최적화하면서 비전 시스템의 사용자를 위한 3D 이미지를 생성하기 위해 비전 시스템에 의해 구배 광 필드가 제공된다. 이 비전 시스템은 디지털 이미지 그래픽 처리를 제공하는 적어도 하나의 처리 디바이스, 이 처리 디바이스에 의해 제어되는 적어도 하나의 광 소스, 및 이 이미지를 투사하기 위해 하나 이상의 대응하는 시각적 광학 소자를 포함하는 임의의 시스템에서 구현될 수 있다. 비전 시스템의 다양한 구성 요소 및 구성에 대해서는 아래에서 보다 상세히 설명된다. 일 예시에서, 비전 시스템은, 예를 들어, 2014년 1월 3일에 출원된 발명의 명칭이 "Extramissive Spatial Imaging Digital Eye Glass Apparatuses, Methods and Systems for Virtual or Augmediated Vision, Manipulation, Creation, or Interaction with Objects, Materials, or Other Entities"인 미국 특허 출원 번호 14/147,199에 개시된 시스템 또는 "2015년 11월 18일에 출원된 발명의 명칭이 "Wide Field of View Head Mounted Display Apparatuses, Methods and Systems"인 미국 특허 출원 번호 14/945,372에 개시된 시스템과 같은 머리 장착형 디스플레이 시스템(head mounted display system, HMD) 등에 통합될 수 있고, 이들 특허 출원 문헌들은 모두 전체 내용이 모든 목적을 위해 본 명세서에 병합된다.
일 실시예에서, 비전 시스템은 디옵터 단위로 표현된 깊이 델타(Δ)로 분리된 적어도 2개의 별개의 초점 평면 - 예를 들어, 근거리 평면(NP)과 원거리 평면(FP) - 의 동일한 평면 (즉, 2 차원("2D")) 위치에 투사한다. 2개의 투사된 이미지에서 객체가 동일하거나 실질적으로 유사하다면, 인간의 시각 시스템은 2개의 투사된 이미지의 객체를 하나의 객체로 통합하고, 여기서 인식된 깊이는 각각의 투사된 이미지에서 객체를 형성하는 픽셀의 상대적인 강도에 의존한다.
비전 시스템의 일 구현 예에서, 픽셀의 상대적 강도는 다음과 같이 주어질 수 있다:
RI = (INP-IFP)/(INP+IFP) [1]
여기서, RI는 이미지의 각 픽셀에서 계산되고 정규화된 상대적 강도이고, INP는 NP에 제공된 이미지의 강도이며, IFP는 FP에 제공된 이미지의 강도이다.
도 2a는 RI의 함수로서 객체의 인식된 깊이의 일례를 도시한다. 도 2a에 도시된 바와 같이, 일례에서, 객체의 깊이는 2개의 초점 평면, 예를 들어, NP와 FP에서의 강도 값에 의해 예측되며, 여기서 RI의 양의 값은 INP가 IFP보다 우세한 경우를 나타내고, RI의 음수 값은 IFP가 INP보다 우세한 경우를 나타낸다. RI가 0일 때, IFP와 INP의 강도 값은 실질적으로 동일하고, 이로 사용자는 2개의 초점 평면에 의해 생성된 부피의 중간에서 OOI를 인식하게 된다.
투사된 객체가 FP에서만 조명되고 NP가 완전히 희미해지면 객체의 이미지는 FP의 깊이에서 인식된다. 이 경우 VC와 VA는 둘 다 FP에 등록(registered)된다. 투사된 객체가 NP 평면에서만 조명되고 FP 평면이 완전히 희미해지면 객체는 NP의 깊이에서 인식된다. 이 경우 VC와 VA는 둘 다 NP에 등록된다. 그러나, 이미지의 전체 조명이 2개의 초점 평면에 걸쳐 분배될 때, OOI는 FP와 NP의 RI에 따라 변하는 2개의 초점 평면들 사이의 거리 또는 깊이에서 인식된다. 예를 들어, 객체에 대응하는 각 픽셀에서 객체에 의해 반사된 총 휘도가 2개의 평면에 균등하게 (즉, NP에 50%, FP에 50%) 분배된 경우, 객체는 2개의 초점 평면들 사이에 1/2Δ인 거리(D)에 떠 있는 것으로 인식된다. 따라서, 일례에서, 비전 시스템은 2개의 초점 평면 각각에서 각 픽셀에서 객체에 의해 반사된 전체 휘도 분배의 선형 관계(예를 들어, 도 2a에 도시)에 따른 구배 광 필드를 제공하여, 시스템이 객체를 2개의 초점 평면들 사이 임의의 비율(Δ)에서 관찰자에 의해 인식되는 것으로 렌더링할 수 있다. 일 실시예에서, 거리(Δ)는, 예를 들어, 구배 광 필드의 관찰자의 편안함을 위해 0.66 디옵터 이하이다.
도 2a에 도시된 관계에 따라, VC와 VA는 예를 들어 도 2b에 도시된 바와 같이 2개의 초점 평면들 사이의 투사된 OOI의 겉보기(또는 환영) 깊이 평면에 각각 수렴하고 조절된다. 도 2b에 도시된 바와 같이, 장면(200)은 2개의 OOI, 예를 들어, 등대(lighthouse)와 펠리컨(pelican)으로 도시되어 있다. 이 예에서, 비전 시스템은 각각 NP와 FP를 제공하는 2개의 초점 평면(210 및 212)을 제공한다. 도 2b에 도시된 바와 같이, 펠리컨의 이미지(216)와 등대의 이미지(218)는 NP(210)에 투사된다. 이 예에서, 펠리컨의 이미지(216)의 강도는 NP(210)에서 등대의 이미지(218)의 강도보다 더 높다. 또한, 펠리컨의 이미지(226)와 등대의 이미지(228)가 FP(212)에 투사된다. 이 예에서 펠리컨의 이미지(226)의 강도는 FP에서 등대의 이미지(218)의 강도보다 더 낮다. 장면(200)의 관찰자에 의해 인식된 결과적인 이미지는 이들 이미지가 2개의 평면에서 객체들 각각의 RI 효과로서 인식된 부피에 보이기 때문에 펠리컨(236)과 등대(238)를 포함한다. 이 예에서, 펠리컨(236)은 관찰자에게 FP에보다 NP에 더 가깝게 보이고, 등대(233)는 관찰자에게 NP에보다 FP에 더 가깝게 보인다. VC와 VA는 관찰자가 현재 보고 있는 객체가 무엇인지에 따라 한 쪽의 OOI 또는 다른 쪽의 OOI에 함께 초점을 맞춘다. 그 결과, 3D 장면(200)은 장면(200)에서 사용자가 보고 있는 OOI가 어느 것인지에 상관없이 관찰자의 편안함을 유지 및/또는 최적화하면서 관찰자에 의해 인식된다. 일례에서, NP와 FP 사이의 거리(Δ)는, 예를 들어, 관찰자의 편안함을 향상시킨 장면을 제공하기 위해, 0.5 ≤ Δ ≤ 0.66 디옵터로 표현될 수 있다.
공간에서 인식되는 부피를 제공하기 위해 3개 이상의 초점 평면이 사용될 수 있는 것으로 이해된다. 예를 들어, 비전 시스템은 관찰자에 의해 인식되기 위해 부피가 생성되는 깊이 또는 범위를 확장하기 위해 3개 이상의 초점 평면을 제공함으로써 다중 평면 구배 광 필드를 구현할 수 있다. 일 구현예에서, 초점 평면은 부피에 최적의 분리를 달성하기 위해 대응하는 2D 위치와 특정 깊이를 갖는다. 일 구현예에서, 2개의 인접한 평면들 사이의 분리 거리는 인식된 3D OOI들의 관찰자의 편안함을 향상시키기 위해 선택될 수 있다. 예를 들어, 초점 평면들 사이의 깊이 또는 거리는 실질적으로 0.33 디옵터와 동일한 각각의 초점 평면 주위에 편안한 비전의 예시적인 영역을 제공하기 위해 0.66 디옵터 이하로 선택될 수 있다. 다중 평면 구배 광 필드의 구성에 대한 하나의 이러한 예가 도 2c에 도시되어 있다.
도 2c는 3개의 초점 평면을 포함하는 다중 평면 구배 광 필드를 생성하는 구성의 일례(280)를 도시한다. 이 실시예에 따라, 중간 평면(mid-plane: MP)(285)은 NP(290)와 FP(295) 사이에 위치된다. 일 구현예에서, 초점 평면은 FP, MP와 NP에 대해 각각 0.34, 1 및 1.66 디옵터의 광학 배율에 대응하는 상대 거리에 위치될 수 있다. 그러나, 이들 거리는 예시적인 것이고, 다른 거리 및 구성도 사용될 수 있다.
일 예시에서, 다수의 초점 평면(예를 들어, 2개 이상의 평면)이 예를 들어, 디스플레이와 같은 2개 이상의 광 소스를 사용하여 생성될 수 있다. 예를 들어, 위에서 설명된 구배 광 필드에 대해 이미지를 제공하기 위해 2개의 디스플레이가 사용되거나, 또는 위에서 설명된 다중 평면 구배 광 필드에 대해 이미지를 제공하기 위해 3개 이상의 디스플레이가 사용될 수 있다. 일 구현예에서, 구배 광 필드는 단일 초점 광학 소자로부터 상이한 거리에 다수의 디스플레이를 구성, 위치 지정, 적층(stacking) 또는 오버레이(overlay)함으로써 생성된다. 일 예시에서, 광학 소자는 지정된 곡률을 갖는, 바이저(visor)(예를 들어, 광학 결합기), 단안경, 또는 안경 및/또는 라인의 눈 이미지 구역에 의해 제공된 것과 같은 하나 이상의 렌즈일 수 있다. 일 실시예에서, 디스플레이는, 디스플레이로부터 방출된 광이 반사된 광을 이미지로 인식하는 사용자의 눈으로 광학 소자에 의해 반사되도록 광학 소자와 사용자에 대해 위치될 수 있다. 초점 길이와 관계 없이, 광 소스 또는 디스플레이가 광학 소자로부터 더 멀리 위치될수록, 관련된 투사된 초점 평면이 관찰자에게 보다 멀리 보인다.
일 실시예에서, 광학 소자로부터 가장 멀리 있는 디스플레이는 FP를 투사하기 위해 액정 디스플레이(LCD)를 사용하여 구현될 수 있지만, 특히 발광 다이오드(LED) 디스플레이, 표면 전도 전자 방출 디스플레이(SED) 및/또는 플라즈마 디스플레이와 같은 다른 디스플레이도 또한 사용될 수 있다. 일 실시예에서, FP보다 더 가까운 거리에서 생성된 각 추가적인 초점 평면은 더 멀리 있는 디스플레이로부터 방출된 광이 사용자의 눈으로 반사되기 전에 광학 소자를 향하여 투명한 디스플레이를 통과하게 하는 투명한 디스플레이를 사용하여 구현될 수 있다. 일 실시예에서, 이러한 구성으로 배열된 디스플레이는 적층된다. 일 예시에서, 투명한 유기 발광 다이오드(OLED) 디스플레이는 투명한 디스플레이에 의해 제공되는 각 추가적인 초점 평면에 대해 사용될 수 있다. 하나의 일반적인 양태에서, OLED는 자체-발광 픽셀을 가지기 때문에, OLED는, 예를 들어, FP를 생성하는데 사용되는 LCD의 백광(backlight)의 밝기에 의존하지 않는다. LCD가 디스플레이 적층의 FP를 생성하는 데 사용되는 경우 LCD의 백광은 디스플레이의 다층 적층에서 크게 감쇠될 수 있다. 따라서, 가까운 평면을 생성하기 위해 자체 발광 OLED를 사용하여 디스플레이의 적층에서 이러한 감쇠를 방지하거나 완화시킬 수 있다.
임의의 특정 설계 또는 실시예에 사용되는 초점 평면의 수는 많은 상이한 구현 또는 요구 조건을 수용하기 위해 최적 또는 원하는 거리 범위를 달성하도록 선택될 수 있다. 3개의 초점 평면을 제공하는 하나의 예가 도 3a에 도시되어 있다. 본 발명의 일 실시예를 도시하는 도 3a에 도시된 바와 같이, 비전 시스템(300)은 하나의 LCD 디스플레이(301)와 2개의 OLED 디스플레이(305, 307)를 포함한다. 이 예는 하나의 LCD와 두 개의 OLED의 사용을 도시하지만, 다른 조합도 가능하다. 예를 들어, OLED 대신에 백광이 없는 박막 트랜지스터(TFT) LCD (즉, 투명한 LCD) 디스플레이가 사용될 수 있다. LCD 디스플레이(301)는 FP(315)에 대응하는 이미지를 제공하기 위해 광학 소자(310)로부터 가장 먼 거리에 배열된다. 제1 OLED 디스플레이(305)는 MP(317)에 대응하는 이미지를 제공하기 위해 LCD 디스플레이(301)와 광학 소자(310) 사이의 거리에 배열된다. 제2 OLED 디스플레이(307)는 NP(319)에 대응하는 이미지를 제공하기 위해 제1 OLED 디스플레이(305)와 광학 소자(310) 사이의 거리에 배열된다. 상이한 디스플레이들에 의해 제공된 동일한 객체에 대응하는 광의 강도를 변조함으로써, 디스플레이로부터 나오는 광이 광학 소자로부터 사용자의 눈으로 반사하는 것에 의해 생성된 NP와 FP에 의해 한정된 부피(320) 내의 어딘가에 객체가 보이는 것으로 관찰자가 인식할 수 있다.
다른 예에서, 분할된 디스플레이와 같은 단일 광 소스를 사용하여 다수의 초점 평면(예를 들어, 2개 이상의 평면)이 생성될 수 있다. 예를 들어, 단일 디스플레이는 2개의 부분 또는 세그먼트로 분할될 수 있으며, 여기서 각 부분은 전술한 구배 광 필드를 투사하기 위해 실질적으로 동일한 이미지를 제공한다. 또한, 각각의 부분이 실질적으로 동일한 이미지를 제공하는, 3개 이상의 부분으로 분할된 단일 디스플레이가 전술한 다중 평면 구배 광 필드를 제공하는데 사용될 수 있다. 다른 예에서, 단일 분할된 디스플레이를 생성하기 위해 2개 이상의 디스플레이가 동일한 평면에 나란히 배열될 수 있으며, 여기서 각각의 디스플레이는 분할된 디스플레이의 세그먼트를 형성한다. 일 구현예에서, 구배 광 필드는 다초점 광학 소자의 상이한 초점들에 대응하도록 디스플레이의 각 세그먼트를 구성, 위치 지정 또는 위치시킴으로써 생성된다. 일 예시에서, 다초점 광학 소자는 비전 시스템에 의해 제공된 각 초점 평면과 연관된 상이한 초점들을 제공하는 특정 곡률을 갖는, 바이저(예를 들어, 광학 결합기), 단안경, 또는 안경의 눈 이미지 구역에 의해 제공된 것과 같은 하나 이상의 렌즈일 수 있다. 일 구현예에서, 디스플레이의 각 세그먼트 내의 동일한 객체는 강도가 변조되고 나서, 원하는 거리에 대응하는 상이한 초점 평면으로 광학 소자의 대응하는 초점에 의해 사용자의 눈으로 반사된다. 일 실시예에서, 고해상도 LCD 디스플레이는 각 부분이 광학 소자의 대응하는 상이한 초점을 향하는 광을 방출하도록 배열된 2개 이상의 부분으로 균등하게 분할될 수 있다. 임의의 특정 설계 또는 실시예에서 광학 소자에 의해 제공되는 초점 평면의 수는 많은 상이한 구현 또는 요구 조건을 수용하기 위해 최적의 또는 원하는 거리 범위를 달성하도록 선택될 수 있다. 3개의 초점 평면을 제공하는 일례가 도 3b에 도시되어 있다.
도 3b에 도시된 바와 같이, 일 실시예에서, 비전 시스템(330)은 적어도 하나의 고해상도 LCD 디스플레이(331)와 다초점 광학 소자(332)를 포함한다. 디스플레이(331)는 3개의 동일한 부분(333, 335 및 337)으로 분할된다. 대안적인 예에서, 각 부분(333, 335, 337)은 동일한 평면에 배열될 수 있는 것과 같이 별개의 대응하는 디스플레이에 의해 구현될 수 있다. 이 예에서, 디스플레이(331)는 중간 부분(335)을 사이에 두고 2개의 외부 부분(333, 337)을 제공하도록 길이 방향으로 분할된다. 제1 외부 부분(333)은 FP(345)에 대응하는 이미지를 제공하는 다초점 광학 소자(332)의 제1 초점 평면에 대응하도록 배열된다. 중간 부분(335)은 MP(347)에 대응하는 이미지를 제공하는 다초점 광학 소자(332)의 제2 초점 평면에 대응하도록 배치된다. 다른 쪽의 외부 부분(337)은 NP(349)에 대응하는 이미지를 제공하는 다초점 광학 소자(332)의 제3 초점 평면에 대응하도록 배열된다. 상이한 디스플레이 세그먼트(333, 335 및 337)들에서 동일한 객체의 강도를 변조함으로써, 객체는 NP(349)와 FP(345)로 한정된 부피(350) 내의 어딘가에 객체가 보이는 것으로 관찰자가 인식할 수 있다.
도 3a 및 도 3b는 일반적인 개념을 예시하기 위해 제공되며, 임의의 실제 설계 구현시에는 변형될 수 있는 것으로 이해된다. 예를 들어, 도 3a 및 도 3b에 도시된 눈은 디스플레이에 대한 안구의 실제 위치를 반영하지 않을 수 있다. 예를 들어, HMD에 의해 제공된 일 구현예에서, 디스플레이(301, 305, 307 또는 331)는 HMD를 착용하는 사용자의 시야(field of view) 바깥에 위치될 수 있다. 일 예시에서, 적층 또는 디스플레이의 하나의 에지는 HMD의 물리적 하우징에 의해 사용자의 눈 위에 및 사용자의 이마 근처에 상대적으로 위치될 수 있다. 이 구현 예에서, 디스플레이로부터 방출된 광은 디스플레이 아래에 배치되고 디스플레이로부터 방출된 광을 사용자의 눈으로 향하게 하는 곡률을 갖는 광학 소자(예를 들어, 미러, 결합기 및/또는 등)에 의해 반사된다. 또한, 디스플레이와 광학 소자의 다수의 상이한 조합이 사용될 수 있다. 예를 들어, 일 구현에서, 도 3a 및 도 3b에 도시된 바와 같은 광학 아키텍처는 (예를 들어, 각 눈에 대해 별개의 디스플레이 구성을 사용하는) 사용자의 각 눈에 대해 별개로 구성될 수 있다. 일례에서, 임의의 특정 구현 또는 구성의 선택은, 예를 들어, HMD 내의 시야(Filed Of View: FOV)의 크기와 같은 비전 시스템이 구현된 디바이스의 특성을 최적화하도록 선택될 수 있다. 상이한 구현 및 구성이 도면에 개략적으로 설명되며, 이하에서 보다 상세히 설명된다.
도 4는 비전 시스템의 하나 이상의 광 소스를 제어하는 공정(400)의 일례를 도시한다. 예를 들어, 이 공정은 LCD 디스플레이, 능동 또는 수동 매트릭스 OLED 디스플레이, 백광이 없는 TFT LCD 디스플레이(즉, 투명한 LCD) 및/또는 고해상도 LCD 디스플레이 및/또는 등에서 하나 이상을 제어하기 위해 소프트웨어, 하드웨어, 또는 이들의 조합에 의해 구현될 수 있다.
동작(401)에서, 이미지 데이터는 비전 시스템의 적어도 하나의 구성 요소에 의해 수신된다. 예를 들어, 하나의 구현 예에서, 두 평면(D)에 대해 D_RI는 수신된 이미지 데이터이고, D_NP는 NP에서 렌더링된 최종 데이터이며, D_FP는 FP에서 렌더링된 최종 데이터이다. 이 예에서, 동작(401)은 이미지 내의 각 픽셀에 대한 관찰자에 대한 깊이 데이터(DD)를 계산한다(예를 들어, GPU(graphics processing unit)는 이미지를 프레임 버퍼에 렌더링하고 깊이 데이터를 별도의 깊이 또는 z-버퍼에 렌더링한다.). 구성 요소에 의해 수신된 이미지 데이터는 비전 시스템에 의해 사용자에게 제공된 컨텐츠와 관련된 디지털 이미지 데이터를 포함할 수 있다. 예를 들어, 디지털 이미지 데이터는 특히, 비전 시스템의 관찰자에게 제시될, 그래픽, 장면, 그래픽 사용자 인터페이스, 컴퓨터 게임, 영화, 인터넷으로부터의 컨텐츠, 예를 들어, 월드 와이드 웹(World Wide Web)으로부터 액세스된 웹 컨텐츠 중 하나 이상을 나타낼 수 있다.
동작(410)에서, 광 필드 내의 인식된 깊이가 관찰자에게 제시될 이미지 데이터의 각 픽셀에 대해 구성 요소에 의해 결정된다. 예를 들어, 좌표 또는 다른 정보가 제시될 디지털 이미지의 각 픽셀에 대해 결정되거나 액세스될 수 있다. 좌표 또는 다른 정보는 각 픽셀이 생성된 광 필드 내에서 비전 시스템의 관찰자에 의해 인식되는 곳을 결정하기 위해 구성 요소에 의해 사용될 수 있다. 동작(410)의 일 구현에서, 동작(401)에서 계산된 DD는 광 필드에서 인식된 깊이를 결정하는데 사용된다. 예를 들어, 관찰자가 인식한 NP 거리와 FP 거리에 대해 DD가 정규화(DD_N)된다 (예를 들어, 도 2a에 도시된 바와 같이, 예를 들어, NP가 1이고 FP가 -1이고 DD_N이 NP에서 1로부터 FP에서 -1로 선형적으로 보간된다). 다른 예에서, DD는 NP = 0이고 FP = 1인 경우 [0,1]의 범위로 정규화된다.
동작(420)에서, RI는 광 필드에서 픽셀의 결정된 인식된 깊이에 대응하는 이미지 데이터의 픽셀에 대해 비전 시스템에 의해 제공된 각 초점 평면에 대해 결정된다. 예를 들어, 구성 요소는 시스템이 제공하는 초점 평면의 수에 대한 위치 또는 좌표 정보를 사용하여, 예를 들어, 도 2a에 도시된 RI 관계 및/또는 미분(derivation) 및/또는 변동(variation)에 의해 결정된 바와 같이 사용자에 의해 원하는 인식된 거리에서 이미지를 렌더링하기 위해 각 초점 평면에 대응하는 하나 이상의 광 소스에 대해 전체 조명 출력을 결정한다.
일 구현 예에서, DD_N은 평면당 RI를 계산하는데 사용된다. 이 예에서, 절차는, 예를 들어, 가산(additive) 디스플레이 기술과 곱셈(multiplicative) 디스플레이 기술과 같은 디스플레이 기술에 의존할 수 있다. 가산 시스템에서, 2개 이상의 디스플레이 패널로부터 광들이 함께 가산된다(예를 들어, 2개의 패널 시스템에서 최종 광 = 광#1 + 광#2). 곱셈 시스템에서 단일 광 소스(예를 들어, 백광)가 있으며 각 패널은 광의 퍼센트 양(percentage amount)을 통과시킨다(예를 들어, 2개의 패널 시스템의 경우 최종 광 = 백광 * 패널#1_투과 * 패널#2_투과).
예를 들어, DD_N 범위가 [0,1]인 경우:
a. 가산 디스플레이 기술의 경우 사용자에 보이는 최종 강도는 패널의 가중 평균이다: I = I_NP + I_FP = DD_N*NP + (1 - DD_N)*FP
b. 곱셈 디스플레이 기술의 경우 사용자에 보이는 최종 강도는 곱이다: I = I_NP * I_FP. I_NP와 I_FP를 계산하는 하나의 기술은 인수 분해이다. 예를 들어, 강도(및/또는 색상) 값이 [0, 1] 범위에 있으면 고성능 근사값은 D_RI와 최대 가능한 데이터 값(D_M)(1이다) 사이를 보간하는 것이다:
i. I_NP = A * D_RI + (1-A) * D_M
ii. I_FP = B * D_RI + (1-B) * D_M
c. A와 B는 DD_N에 기초하여 계산된다. 일 구현에서, DD_N 도메인(domain)은 로그 범위(logarithmic range)로 매핑된다.
동작(430)에서, 구성 요소는 디스플레이에 의해 제공된 대응하는 픽셀을 결정된 RI에 대응하는 강도로 조명하도록 대응하는 광 소스 또는 광 소스(예를 들어, 디스플레이)의 부분의 각 픽셀을 제어한다. 예를 들어, 디스플레이에 의해 제공된 픽셀은 동작(420)에서 계산되고 프레임 버퍼에 저장된다. 디스플레이 드라이버는 이 데이터를 물리적 디스플레이로 전달할 수 있다.
공정(400)은 비전 시스템의 구성 요소에 의해 수신된 디지털 데이터에 대해 임의의 횟수만큼 반복될 수 있다. 일 예시에서, 구성 요소는 예를 들어 그래픽 처리 유닛과 같은 하나 이상의 처리 디바이스일 수 있다.
도 5a, 도 5b, 도 5c 및 도 5d는 구배 또는 다중 구배 광 필드를 제공하는 비전 시스템(500, 501, 502 및 503)의 예를 도시한다. 도 5a에 도시된 바와 같이, 비전 시스템(500)은 처리 디바이스(504), 그래픽 처리 유닛(GPU)(505), 적어도 2개의 디스플레이(507, 509), 및 평면간(inter-planar) 광학 소자(510 및 511)를 포함할 수 있으며, 미도시된 다른 구성 요소(예를 들어, 하나 이상의 저장 디바이스 및/또는 버퍼, 하나 이상의 인터페이스, 전력 공급원 및/또는 이와 유사한 것들)를 포함할 수 있다.
비전 시스템(500)은 처리 디바이스(504)를 포함한다. 처리 디바이스(504)는 운영 시스템과 같은 다른 소프트웨어를 포함하는 하나 이상의 애플리케이션 또는 프로그램을 구현할 수 있다. 일례에서, 처리 디바이스(504)는 처리 디바이스(504)에 의해 구현되는 애플리케이션(512)을 저장하는 연관된 메모리(도시되지 않음)와 인터페이스하고/하거나 이 메모리를 포함하며, 예를 들어, 비전 시스템(500)의 관찰자에게 제시될 수 있는, 예를 들어, 그래픽, 장면, 그래픽 사용자 인터페이스, 컴퓨터 게임, 영화, 인터넷으로부터의 컨텐츠, 예를 들어, 특히 월드 와이드 웹으로부터 액세스되는 웹 컨텐츠 중 하나 이상을 나타내는 디지털 이미지 데이터를 생성할 수 있다. 애플리케이션의 예는 미디어 플레이어, 모바일 애플리케이션, 브라우저, 비디오 게임, 그래픽 사용자 인터페이스 및/또는 등을 포함한다.
비전 시스템(500)은 또한 GPU(505)를 포함할 수 있다. GPU(505)는 공정(400)을 구현하고/하거나 2개 이상의 디스플레이, 예를 들어, LCD 디스플레이(507)와 2개의 초점 평면이 제공된 예에 대해 투명한 OLED 디스플레이(509)를 제어하도록 구성된, 독립형 그래픽 프로세서, 통합 그래픽 프로세서, 또는 이들의 조합 중 하나 이상일 수 있다. GPU는 메모리 슬롯에 제공된 메모리 및/또는 BIOS를 저장하는 플래시 메모리, 클록, 메모리 제어기, 그래픽 제어기, 중앙 처리 유닛, I/O 제어기 및 다양한 통신 I/O 인터페이스(예를 들어, 통신 버스, PGA, PCI 및 PCI 익스프레스 및 다른 포트)와 같은 하나 이상의 저장 디바이스와 같은 다양한 구성 요소를 포함할 수 있다. 또한, GPU는 전용 메모리를 가질 수 있고 및/또는 처리 디바이스(504)와 메모리를 공유할 수 있다.
도 5a에 도시된 바와 같이, GPU(505)는 LCD 디스플레이(507)를 구동하여, 평면간 광학 소자(510 및 511)에 의해 반사된 이미지에 대응하는 광을 사용자의 대응하는 눈으로 방출하여, 사용자에 의해 인식되는 구배 광 필드(515)의 FP(520)를 제공한다. 또한, GPU(505)는 투명한 OLED 디스플레이(509)를 구동하여, 평면간 광학 소자(510 및 511)에 의해 반사된 이미지에 대응하는 광을 사용자의 대응하는 눈으로 방출하여, 사용자에 의해 인식되는 구배 광 필드(515)의 NP(525)를 제공한다.
일례에서, 평면간 광학 소자(510 및 511) 각각은 디스플레이로부터 방출된 광을 사용자의 대응하는 눈으로 반사시키기 위해 디스플레이에 대해 위치된 바이저의 반사 구역으로서 구현될 수 있다. 예를 들어, 평면간 광학 소자(510 또는 511)에 대응하는 바이저의 눈 이미지 구역 또는 개구(aperture) 구역은 디스플레이로부터 방출된 광을 사용자의 눈으로 반사시켜 인식된 광 필드(515)를 생성하기 위해 각 눈에 대응하는 바이저의 구역 상에 형성된 반사 또는 반-반사(semi-reflection) 박막 시리즈를 사용하여 코팅될 수 있다.
GPU(505)로부터의 출력은, 예를 들어, 도 2a에 도시된 것과 같은 기능을 사용하여 각 이미지의 RI에 의해 규정된 인식된 거리에서 이미지를 렌더링하기 위해 2개의 디스플레이(507, 509)에 전체 조명을 분배한다. 일례에서, GPU는 아래에서 보다 상세히 설명된 렌더링 공정을 구현할 수 있다. 2개의 디스플레이(507, 509), 대응하는 광학 소자(510, 511) 및 예를 들어 GPU(505)에 의해 제공되는 평면간 광학 인터페이스 강도 로직을 분리시키면, 상대적 거리들 사이에 보이도록 사용자에 의해 인식되는 구배 광 필드(515)를 생성하는 2개의 별개의 초점 평면(520, 525)을 생성할 수 있다. 예를 들어, 구배 광 필드(515)를 생성하기 위해, GPU(505)는 디스플레이(507, 509)를 구동하여 적절한 강도 비율이 각 이미지의 각 픽셀에 한정된 2개의 유사한 이미지를 제공한다. 일례에서, 수식 1(위에서 제공됨)이 사용될 수 있거나 또는 그 미분이 (예를 들어, 공정(400)에서 전술한 바와 같이) 사용될 수 있다. 일 실시예에서, 단일 초점을 갖는 평면간 광학 소자(510, 511)는 사용자에 의해 인식되는 렌더링된 이미지의 의도된 깊이를 생성하기 위해 디스플레이로부터의 광을 2개의 초점 평면(520, 525)에서 사용자의 대응하는 눈으로 반사시킨다.
비전 시스템(500)은 MP(530)와 같은 하나 이상의 선택적인 또는 추가적인 초점 평면을 제공할 수 있는 것으로 이해된다. 이 구현에서, 투명한 OLED 디스플레이(535)와 같은 추가적인 디스플레이가 각각의 추가적인 초점 평면에 대해 제공되고, 이는 다중 구배 광 필드(515)를 생성하기 위해 GPU(505)의 추가적인 출력에 의해 제어/구동된다.
도 5b에 도시된 바와 같이, 비전 시스템(501)은 도 5a에 도시된 것과 유사하다. 비전 시스템(501)은 또한 처리 디바이스(504), GPU(505), 및 평면내 광학 소자(510, 511), 및/또는 도시되지 않은 다른 구성 요소를 포함한다. 도 5b에 도시된 바와 같이, 비전 시스템(501)은 2개의 디스플레이(507, 509) 세트와 선택적인 디스플레이(535)를 포함한다. 이 예에서, 각 디스플레이 세트는 GPU(505)에 의해 개별적으로 제어되어 사용자 눈들 중 대응하는 눈을 위한 이미지를 제공하고, 그밖의 경우, 시스템은 도 5a에 대해 전술한 것과 동일하다.
도 5c는 또한 처리 디바이스(504), GPU(505), 고해상도 LCD 디스플레이(547) 및 다초점 광학 소자(550, 551)를 더 포함하는 비전 시스템(502)의 일례를 도시한다.
비전 시스템(501)은 전술한 바와 같이 처리 디바이스(504), 처리 디바이스(504)에 의해 구현되는 애플리케이션(512), 및 GPU(505)를 포함한다.
이 실시예에서, 고해상도 LCD 디스플레이(547)는 2개의 절반부(552 및 553)로 분할된다. 예를 들어, 하나의 절반부(552)는 사용자의 우측 눈에 대응하고 나머지 절반부(553)는 사용자의 좌측 눈에 대응한다. 또한, 디스플레이(547)의 각 절반부는 2개 이상의 초점 평면(예를 들어, 적어도 NP 및 FP)에 대응하는 2개 이상의 부분으로 분할된다. 일 구현예에서, GPU(505)는 디스플레이의 제1 부분(555)의 픽셀의 강도를 제어하여, 다초점 광학 소자(550, 551)의 제1 초점에 의해 반사된 이미지를 사용자에 의해 인식되는 구배 광 필드(515)의 FP(560)에서 사용자의 대응하는 눈으로 투사한다. 또한, GPU(505)는 다초점 광학 소자(550, 551)의 제2 초점에 의해 반사된 이미지를 사용자에 의해 인식되는 구배 광 필드(515)의 NP(570)에서 사용자의 대응하는 눈으로 투사하기 위해 디스플레이의 제2 부분(565)의 픽셀의 강도를 제어한다. GPU(505)로부터의 출력은 예를 들어 도 2a에 도시된 것과 같은 기능을 사용하여 인식된 거리에서 이미지를 렌더링하기 위해 디스플레이(555, 565)의 부분들로 전체 조명을 분배한다. 이 경우, 이중 초점 광학 소자들인 다초점 광학 소자들(550, 551)은 2개의 별개의 초점 평면(560, 570)을 규정하는 2개의 초점(575, 580)을 제공하여, 구배 광 필드(515)를 생성한다. 구배 광 필드(515)를 생성하기 위해 GPU(505)는 디스플레이 부분(555, 565)을 구동하여, 각 이미지의 각 픽셀에서 적절한 강도 비율로 2개의 유사한 이미지를 제공한다. 일례에서, 수식 1(위에서 제공됨) 및/또는 그 미분 및/또는 변동(예를 들어, 공정(400)에서 제공되는 바와 같은)이 사용될 수 있다. 2개의 초점을 갖는 다초점 광학 소자(510, 511)는 2개의 초점 평면(555, 565)에서 지정된 강도를 갖는 디스플레이로부터의 광을 사용자의 눈으로 투사하여, 렌더링된 이미지의 깊이의 인식을 생성한다.
일 실시예에서, 비전 시스템(502)은 MP(590)와 같은 하나 이상의 추가적인 초점 평면을 제공할 수 있다. 이 구현에서, 고해상도 LCD 디스플레이(547)는 각 추가적인 초점 평면에 대한 추가적인 부분(594)으로 분할될 수 있다. 이 경우, 다초점 광학 소자(550, 551)는 다중 구배 광 필드(515)를 생성하기 위해 디스플레이(547)의 각각의 추가적인 부분(594)에 대응하는 추가적인 초점(595)을 포함한다.
도 5d는 또한 처리 디바이스(504), GPU(505), 고해상도 LCD 디스플레이(547) 및 다초점 광학 소자(550, 551)를 포함하는 비전 시스템(503)의 일례를 도시한다. 도 5b와 유사하게, 비전 시스템(503)은 2개의 디스플레이(547) 세트를 포함한다. 이 예에서, 각 디스플레이(547) 세트는 GPU(505)에 의해 개별적으로 제어되어, 사용자의 대응하는 눈을 위한 이미지를 제공하고, 그 밖의 경우, 시스템은 도 5c에 대해 전술한 것과 동일한 방식으로 동작한다.
도 6은 Y-Z 평면에서 시스템(500 및 501)의 구성(600)의 일례를 도시한다. 이 실시예에 도시된 바와 같이, 평면간 광학 소자(510 및 511)는 각각 디스플레이(507, 509 및 535)에 대해 위치된 바이저의 반사 구역으로서 구현된다. 바이저는 구역(510 및 511)에서 굴곡되어, 디스플레이로부터 광을 사용자의 대응하는 눈으로 반사하여, 사용자의 눈의 망막 상에 (가상 초점 평면(520, 525, 530)으로 구성된) 인식된 광 필드(515)를 생성한다. 이 예에서, 2개의 상이한 광 경로에 대응하는 2개의 상이한 눈의 회전이 있다.
도 7은 시각적 조절을 제공하기 위해 HMD의 하나 이상의 광 소스를 제어하는 공정의 일례를 도시한다. 동작(701)은 시각적 조절 공정에서 사용하기 위해 이미지를 캡쳐한다. 예를 들어, 이미지는 GPU에 의해 렌더링된 이미지일 수 있다. 디스플레이로 출력하기 위해 GPU에 의해 렌더링된 이미지는 컬러 정보, 깊이 및 강도와 같은 디스플레이의 각 픽셀에 대한 다양한 정보를 포함한다. 일례에서, GPU는 이미지를 프레임 버퍼에 렌더링하고 깊이 데이터를 별도의 깊이 또는 z-버퍼에 렌더링한다. 이미지를 디스플레이에 출력하기 전에 GPU는 시각적 조절을 제공하기 위해 여러 작업을 수행한다. 동작(702)에서, GPU는 깊이 또는 z 버퍼로부터 깊이 정보를 판독한다. 동작(703)에서, GPU는 렌더링된 이미지의 각 픽셀에 대한 컬러 정보(예를 들어, RGB 데이터의 강도)를 판독한다. 동작(702 및 703)들은 병렬로 수행된다. GPU는 각 초점 평면에 대해 일련의 동작(704, 705 및 706)을 수행한다. 이 예에서, GPU는 근거리 평면(NP)과 원거리 평면(FP)에 대응하는 2개의 디스플레이를 위한 디스플레이 출력을 생성하는 동작을 수행한다. 동작(704, 705, 및 706)들은 제1 평면(예를 들어, NP)에서 시작하여 다른 평면(예를 들어, FP)으로 직렬로 수행될 수 있다. 마지막 동작(707)은 그 후 706의 출력에 대해 수행된다. 다른 실시예에서, 동작(704, 705, 706 및 707)들은 형성된 평면들 각각에 대해 병렬로 수행될 수 있다. 이 예에서, 2개의 평면이 이 공정에 의해 생성되었지만, 이 기술 분야에 통상의 지식을 가진 자라면 동작(704, 705, 706 및 707)이 하나 이상의 추가적인 평면(예를 들어, 중간 평면)을 위해 복제될 수 있다는 것을 이해할 수 있을 것이다.
동작(704)(예를 들어, 704np 및 704fp)에서, 각 평면에 의해 디스플레이하기 위한 이미지의 이미지 강도는, 예를 들어, 사용된 디스플레이 기술에 기초하여 전술한 기술 중 하나를 사용하여 조정된다. 예를 들어, 가산 디스플레이 기술이 사용되는 경우, 각 평면에 대해 디스플레이를 위한 이미지의 가중 평균이 결정된다(예를 들어, I = I_NP + I_FP = DD_N * NP +(1-DD_N) * FP). 곱셈 디스플레이 기술이 사용되면, 각 디스플레이의 최종 강도는 곱(예를 들어, I = I_NP * I_FP)으로 결정된다.
동작(705)(예를 들어, 705np 및 705fp)에서, 대응하는 이미지 데이터(이제는 강도가 수정됨)는 비전 시스템의 구성을 설명하기 위해 선명화(sharpened)된다. 예를 들어, 회절은 하나의 디스플레이로부터 나오는 광이 하나 이상의 디스플레이를 통과하여 진행하도록 디스플레이들이 배열될 때 발생한다. 예를 들어, 2개의 디스플레이 구성의 경우에, NP에 대한 이미지를 제공하는 디스플레이는 FP에 대한 이미지를 제공하는 디스플레이로부터의 광의 회절을 야기한다. 이 예에서, 회절은 FP에 대응하는 디스플레이로부터 진행하는 광이 NP에 대응하는 디스플레이를 통해 진행해야 하는 것에 의해 야기된다. 회절은 파로서 진행하는 빛이 장애물을 만날 때, 이 경우 NP에 대응하는 디스플레이를 만날 때 발생한다. 이 기술 분야에 통상의 지식을 가진 자라면 광이 통과하여 진행하는 각 추가적인 디스플레이에 따라 회절이 증가된다는 것을 이해할 수 있을 것이다. 회절의 정도는 패널 기술과 구성에 따라 또한 결정된다. 이 예에서, 회절은 FP에 대응하는 이미지가 흐려 보이거나 소프트(soft) 또는 초점이 맞지 않게 나타나기 때문에, 이 회절을 보상하기 위해 이 동작에서 선명화 필터(sharpening filter)가 적용된다. 일 예시에서, 회절을 보상하기 위해 선명하지 않는 마스크(unsharp mask)가 사용될 수 있다. 전체 선명화 양은 도입되는 물리적 패널, 깊이 및 회절량에 따라 조정된다. 예를 들어, 픽셀이 NP에 더 가까울수록 수행되는 선명화가 더 적어지고, 픽셀이 FP에 더 가까울수록 수행되는 선명화가 더 많아진다.
동작(706)(예를 들어, 706np 및 706fp)에서, 이미지 데이터 - 이제 평면에 의해 변경되고 선명화된 강도를 갖는 -, 각 이미지의 대응하는 픽셀들이 정렬되어, 제공된 평면(예를 들어, NP와 FP)의 올바른 픽셀들이 눈에 의해 최종 이미지로 통합된다. 예를 들어, 각 디스플레이는 개별 픽셀에서 다양한 강도를 갖는 동일한 이미지를 출력하여 구배 광 필드를 제공한다. 그러나 서로 다른 디스플레이들로부터 광이 진행하는 경로들 때문에 이 차이를 고려하여 이미지를 정렬해야 한다. 정렬 동작에 의해 사용자는 2개의 평면에 의해 제공되는 이미지를 융합할 수 있다. 도 7은 이 동작에 의해 제공되는 정렬의 일례를 도시한다.
동작(707)(예를 들어, 707np 및 707fp)에서, 최종 출력 이미지는 물리적 디스플레이 패널 상의 평면 깊이(예를 들어, NP 또는 FP)에 대응하는 디스플레이 상에 디스플레이된다.
도 8은 동작(706)에 의해 제공되는 정렬의 일례를 도시한다. 도 8에 도시된 바와 같이, 2개의 디스플레이(800 및 01)가 제공된다. 디스플레이(800)는 FP에 대응하는 제1 강도 세트를 갖는 이미지(A')에 대해 광을 방출하고, 디스플레이(801)는 NP에 대응하는 제2 세트의 강도를 갖는 이미지(A")에 대해 광을 방출한다. 디스플레이(800)로부터 방출된 광은 디스플레이(801)를 통과한다. 이미지(A' 및 A")로서의 두 디스플레이로부터 방출된 광은 광학 소자(802)에 의해 시스템 사용자의 눈(803)으로 반사되고, 여기서 이들 광은 이미지(A)로서 결합된다. 이미지(A)로서 융합되기 위해서, 이미지(A' 및 A")를 제공하는 각각의 디스플레이의 픽셀들이 정렬된다.
예를 들어, 각각의 디스플레이(800 및 801)는 다수의 픽셀을 포함한다. 그러나, 디스플레이의 분리 때문에, 각각의 디스플레이 상에 이미지를 제공하는 픽셀들이 정렬되어야 한다. 예를 들어, 시스템에 의해 제공된 이미지의 픽셀(A)에 대해, 픽셀(A)은 디스플레이(800)의 픽셀 1(804)과 디스플레이(801)의 픽셀 2(805)로 매핑된다. 디스플레이(800)의 픽셀 1(804)에서 방출된 광과, 광선(A)(808)에 대응하는 픽셀 2(805)에서 방출된 광은 반사되고 사용자의 눈(803)에서 결합된다. 유사하게, 디스플레이(800)의 픽셀 n(806)에 의해 방출된 광과 광선 B(809)에 대응하는 픽셀 n-1(807)에 의해 방출된 광은 반사되어 사용자의 눈(803)에서 결합된다. 이러한 방식으로, 각 평면으로부터 올바른 픽셀들이 사용자의 눈 및 다른 생리에 의해 최종 이미지로 통합될 수 있다.
도 8은 디스플레이(801)에 의해 NP 상에 디스플레이된 이미지가 디스플레이(800)에 의해 FP 상에 디스플레이된 이미지 디스플레이보다 더 작게 렌더링되는 (또는 반대로 FP 상의 이미지가 NP 상의 이미지보다 더 크게 렌더링되는) 것을 도시한다. 이러한 필요성은 원근 스케일링(perspective scaling)으로 인해 발생한다. 예를 들어, 객체가 눈으로부터 더 멀리 이동하면, 망막에 투사된 이미지가 더 작아진다. 사용자의 눈과 생리에 의해 적절한 융합을 위해 2개의 이미지가 정렬되어야 하기 때문에 추가적인 이미지가 확대되거나 더 가까운 이미지가 축소되어 각 이미지의 크기가 눈의 관점에서 동일하게 보일 수 있다. 도 8에 도시된 바와 같이 FP 상의 제1 픽셀은 NP 상의 제2 픽셀에 대응하고, FP 상의 마지막 픽셀은 NP 상의 제2 마지막 픽셀에 대응한다. 이 예에서 NP 상의 제1 픽셀에는 FP 상에 대응하는 픽셀이 없고, NP 상의 마지막 픽셀에는 FP 상의 대응하는 픽셀이 없다. 이 경우 이들 픽셀은 흑색으로 또는 조명되지 않은 것으로 렌더링될 수 있다.
동적 광 필드
본 명세서에 설명된 시스템, 방법 및 기술의 다른 예시적인 실시예에 따라, 동적 광 필드는 이미지를 관찰하는 사용자의 편안함을 유지, 향상 및/또는 그 밖에 최적화하면서 비전 시스템의 사용자에 대한 3D 이미지를 생성하는 비전 시스템에 의해 제공된다. 비전 시스템의 다양한 구성 요소 및 구성의 실시예는 아래에서 보다 상세히 설명된다.
일 실시예에서, 비전 시스템은 OOI를 보는 비전 시스템의 사용자에 의해 임의의 주어진 고정에서 OOI에 실제 광학적으로 초점 맞출 수 있는 하드웨어와 소프트웨어 구조를 사용하여 동적 광 필드를 제공한다. 다음 예에서, 동적 광 필드는 사람의 안구-모터 시스템의 특성을 사용하여 선명한 3D 디지털 이미지를 형성할 수 있는 하드웨어 및/또는 소프트웨어 아키텍처에 기초한다. 일 실시예에서, 3D 이미지는 다양한 거리에서 OOI 위로 수렴하도록 동공들이 회전할 때 2개의 동공 사이의 수평 거리의 함수로서 비전 시스템의 광학 소자에 의해 형성된 초점 평면을 동적으로 변조함으로써 생성된다.
관찰자가 VC를 제어하는 것은 자발적이며 VA를 제어하는 것이 자발적이 아니다. 따라서, 비전 시스템은 안구 추적 시스템을 사용하여, 관찰자의 시각적 집중의 초점과 일치하는 사용자의 VC를 실시간으로 계산한다. 비전 시스템의 광학 소자에 의해 생성된 초점 평면은 관찰자의 VC와 일치하도록 동적으로 보정될 수 있다. 그 결과, OOI 상에 올바른 초점이 발생하고 VC와 VA가 계속 결합된다. 일 실시예에서, 비전 시스템 아키텍처는 적어도 양안 안구 추적기, 적어도 하나의 처리 디바이스, 및 비전 시스템의 사용자가 볼 수 있는 동적 광 필드를 소프트웨어로 생성하는 다초점 광학 소자를 제공하는 조정 가능한 초점 광학 아키텍처를 포함한다.
도 9는 3D 이미지를 보기 위해 동적 광 필드를 제공하는 비전 시스템(900)의 일례를 나타낸다.
도 9에 도시된 바와 같이, 비전 시스템(900)은 양안 안구 추적 구성 요소를 포함한다. 일 예시에서, 안구-추적기의 아키텍처는, IR 광을 각각의 눈(101)의 각막 및/또는 동공으로 지향시키도록 위치되거나 구성된, 예를 들어, 하나 이상의 적외선(IR) LED 광 소스와 같은 적어도 2개의 광 소스(910)(각 눈마다 하나씩)를 포함한다. 또한, 예를 들어, IR 카메라와 같은 적어도 2개의 센서(920)(예를 들어, 각 눈마다 하나씩)가 각 눈의 시선 또는 위치를 감지하도록 위치되거나 구성된다. 예를 들어, 카메라는 대응하는 눈으로부터 IR 반사율을 판독하도록 구성되고, 이 반사율은 동공과 각막의 반사율 위치를 결정하기 위해 처리된다. 일 예시에서, 소스와 센서 모두는 HMD와 같은 비전 시스템의 프레임 또는 하우징에 장착될 수 있다.
일 구현예에서, 비전 시스템(900)은 적어도 하나의 처리 디바이스(930)를 또한 포함할 수 있다. 처리 디바이스(930)는 비전 시스템(900)의 관찰자에게 제시될, 그래픽, 장면, 그래픽 사용자 인터페이스, 컴퓨터 게임, 영화, 인터넷으로부터의 컨텐츠, 예를 들어, 월드 와이드 웹으로부터 액세스되는 웹 컨텐츠 중 하나 이상을 나타내는 3D 디지털 이미지 데이터를 제공하는 하나 이상의 애플리케이션을 구현할 수 있다. 애플리케이션의 예는 미디어 플레이어, 모바일 애플리케이션, 브라우저, 비디오 게임 및 그래픽 사용자 인터페이스 및/또는 등을 포함한다.
일례에서, 처리 디바이스(930)는 처리 디바이스(930)에 의해 구현되는 하나 이상의 애플리케이션(도시되지 않음)을 저장하는 연관된 메모리를 포함한다. 예를 들어, 하나의 애플리케이션은 적외선 LED 소스의 반사율 궤적(locus)에 대해 눈이 움직이는 동공의 위치를 결정하고, 비전 시스템에 의해 제시된 그래픽 또는 장면에 대해 관찰자의 응시(gaze) 위치를 맵핑하는 안구 추적기이다. 일례에서, 처리 디바이스(930)에 의해 구현되는 애플리케이션은 각 센서로부터 수신된 출력을 통합하여, 처리 디바이스(930)에 의해 입력으로 사용되는 관찰자의 응시선의 3D 좌표를 계산하여, 다초점 광학 소자(940)를 사용하여 비전 시스템(900)의 초점을 조정한다. 다초점 광학 소자를 사용하여 초점을 조정하는 다수의 상이한 방법은 하기에서 보다 상세히 설명된다. IR 소스와 추적기가 사용되는 경우, 광학 소자는 IR 광을 반사해야 한다. 일 예시에서, 비전 시스템을 제공하는 HMD의 바이저의 눈 이미지 구역을 위한 광학 코팅은 오목면을 위한 분광 반사율을 위해 선택된다. 이 예에서, 유전체 코팅은 가시광(예를 들어, 400 내지 700 nm)에 대해 부분 반사성(예를 들어, ~30%)이고 IR 파장에 대해 보다 반사성(예컨대, 85%)이다. 이것은 가상 이미지 생성, 외부 세계를 볼 수 있는 능력, 및 임베디드 안구 추적기 시스템의 IR LED 부분의 반사율을 (모두 코팅에 사용된 것과 동일한 일련의 필름으로부터) 허용한다.
비전 시스템(900)은 또한 디스플레이와 다초점 광학 소자(940)의 하나 이상의 조합을 포함할 수 있다. 처리 디바이스에 의해 이루어진 입력과 계산에 기초하여 안구 추적기 애플리케이션에 의해 구동되는 다초점 광학 소자(940)는 다수의 상이한 아키텍처 중 하나를 사용하여 구현될 수 있다. 예를 들어, 디스플레이와 조합된 가변 배율 렌즈가 사용될 수 있다. 가변 배율 렌즈 광학 아키텍처는 가변 곡률 렌즈 또는 전동 누진 렌즈에 기초할 수 있는 누진 시스템을 사용한다. 가변 배율 렌즈는 예를 들어, 렌즈가 전기적 입력 또는 유체 운동성에 기초하여 형상을 변화시키는 것과 같은 다양한 방식으로 구현될 수 있다. 또 다른 예에서, 전동 누진 렌즈는 광학 시스템의 FOV의 크기를 최대화하기 위해 초점 평면을 동적으로 재 센터링하기 위해 시스템의 방향으로 움직이는 누진 다초점 렌즈를 사용한다.
다른 예에서, 동적 초점 아키텍처가 사용될 수 있다. 예를 들어, 렌즈의 광학 적층 또는 디스플레이는 안구 추적기 애플리케이션의 출력에 기초하여 디지털 컨텐츠의 초점 평면을 변경하기 위해 전동 시스템에 의해 이동된다. 예를 들어, 처리 디바이스에 의해 제어되는 모터는 미리 결정된 위치 범위 내에서 디스플레이를 이동시키기 위해 디스플레이와 결합된다. 예를 들어, 사용자가 원거리 객체를 보고 있는지 여부를 결정하기 위해 처리 디바이스가 안구 추적기로부터 획득된 위치 데이터를 판독하고 처리할 때, 처리 디바이스는 디스플레이를 시스템 광학 소자로부터 멀리 이동시키도록 모터를 제어한다. 그 결과, 디스플레이로부터 방출된 광은 사용자의 눈으로 반사되기 전에 광학 소자로 더 멀리 이동하고, 이는 사용자에 의해 인식되는 초점 평면을 이동시킨다. 따라서, 디스플레이에 의해 제공된 컨텐츠는 멀리 있는 객체가 위치된 곳과 매칭(match)하기 위해 사용자로부터 멀리 있는 것으로 관찰자에 의해 인식된다. 유사한 방식으로, 프로세서가 안구 추적기 애플리케이션으로부터 새로운 출력을 판독하고, 사용자가 근거리 객체를 보기 위해 초점을 변경했다고 결정하면, 프로세서는 모터를 제어하여, 근거리 객체의 인식된 위치와 일치하는 초점 거리에서 디스플레이에 의해 제시된 디지털 컨텐츠와 매칭하도록 디스플레이를 더 가까이 이동시킨다.
또 다른 예에서, 가변 광 가이드는 비전 시스템(900)에 의해 구현될 수 있다. 이 예에서, 지향성 전동 미러의 시스템은 비전 시스템(900)의 가변 초점을 제공하기 위해 광 가이드의 길이를 동적으로 적응하도록 이동된다.
또 다른 실시예에서, 전기적으로 튜닝가능한 액체 렌즈("액체 렌즈")가 초점 평면을 이동시키는데 사용된다. 이 예시에서, 렌즈는 디스플레이 소스와 광학 소자 사이에 위치된다. 일 예시에서, 액체 렌즈가 사용될 수 있다. 액체 렌즈는 렌즈 챔버 내의 액체의 부피를 증가 또는 감소시킴으로써 렌즈의 광학 곡률을 제어하기 위해 압전 막(piezoelectric membrane)을 포함할 수 있다. 막에 대한 구동 전압은 사용자가 보고 있는 실제 환경에서의 객체의 것과 매칭하도록 초점 평면을 튜닝하기 위해 안구 추적기 애플리케이션으로부터의 출력에 기초하여 처리 디바이스에 의해 결정된다.
도 10은 비전 시스템(900)에 의해 구현된 공정(1000)의 일례를 도시한다. 도 10에 도시된 공정(1000)에 따라, 동작(1001)에서, 소스로부터의 광은 비전 시스템의 사용자의 좌안과 우안으로 향한다. 예를 들어, IR 광 소스는 관찰자의 각 눈으로 광을 지향시키도록 비전 시스템 내에 구성될 수 있다. 일 실시예에서, 소스는 소스로부터의 광을 관찰자의 눈의 각막/동공 영역으로 지향시키기 위해 HMD의 하우징의 프레임에 관련하여 구성될 수 있다.
동작(1010)에서 광 소스의 반사율을 좌안과 우안으로부터 감지하고, 동작(1020)에서 각 눈의 안구 위치를 결정한다. 예를 들어, 하나 이상의 IR 센서는 각각의 눈의 각막과 동공으로부터의 반사율을 감지하도록 위치될 수 있다. 일 구현예에서, IR 카메라는 각각의 눈으로부터 IR 소스의 반사율을 판독하도록 구성된 HMD의 프레임 또는 하우징에 장착될 수 있다. 카메라는 반사율을 감지하고 이 반사율은 각 눈의 각막 및/또는 동공 위치를 결정하기 위해 처리된다.
동작(1030)에서 관찰자의 수렴 점을 결정한다. 예를 들어, IR 카메라로부터의 출력은 처리 디바이스에 입력될 수 있다. 처리 디바이스는 눈의 위치(예를 들어, 각 눈에 대한 각막 및/또는 동공 위치)를 통합하여 관찰자의 시야의 수렴 점과 연관된 좌표(예를 들어, x, y, z 좌표로 표시된 3D 공간에서의 위치)를 결정한다. 일 실시예에서, 수렴 점은 사용자가 그 시간에 보고 있는 OOI와 일치한다. 일 예시에서, 시스템은 안구 추적기의 출력으로부터 눈이 고정되는 픽셀의 좌표, 고정 좌표(FC)를 결정한다. 좌표는 캡처된 이미지로부터 깊이 정보를 찾는 데 사용된다. 예를 들어, GPU가 이미지를 프레임 버퍼에 렌더링하고 깊이 데이터를 별도의 깊이 또는 z-버퍼에 렌더링하면, 깊이 정보는 버퍼로부터 판독될 수 있다. 검색된 깊이 정보는 단일 픽셀이거나 FC 주변의 픽셀 집합체일 수 있다. 깊이 정보는 초점 거리를 결정하는 데 사용된다. 또 다른 예에서, FC는 광선을 가상 장면으로 주사하는 데 사용된다. 일 구현예에서, 광선에 의해 교차되는 제1 객체는 가상 OOI로 결정될 수 있다. 관찰자로부터 가상 OOI와 광선이 교차하는 점의 거리는 초점 거리를 결정하는 데 사용된다.
다른 예에서, FC는 광선을 각각의 눈에 대해 인식되는 가상 장면으로 주사하는데 사용된다. 광선의 교차점은 눈의 수렴 점으로 결정된다. 관찰자로부터 교차점의 거리는 초점 평면을 결정하는 데 사용된다.
동작(1040)에서, 비전 시스템의 초점 평면이 조정된다. 비전 시스템은 결정된 수렴 점을 사용하여 CP와 매칭하도록 초점 평면을 조정한다. 예를 들어, 수렴 점의 좌표는 대응하는 전하(charge)로 변환되어 렌즈에 기초하여 형상을 변화시켜 렌즈의 초점을 좌표와 일치시킨다. 다른 예시에서, 누진 다초점 렌즈는 결정된 좌표와 일치하도록 초점 평면을 동적으로 재 센터링하도록 이동된다. 다른 예에서, 모터는 결정된 좌표를 이용하여 디스플레이를 좌표에 대응하는 위치로 이동시킨다.
깊이에 따른 불일치와 블러는 비전 시스템(1050)에 의해 렌더링된다. 이 공정(1000)에 사용되는 특정 광학 아키텍처와는 독립적으로, 비전 시스템의 가변 초점은 깊이에 관계없이 모든 객체의 렌더링이 이들의 가장 선명한 초점에 디스플레이되게 한다. 이것을 설명하고 현실감 있는 초점 깊이(depth of focus: DOF)를 생성하기 위해, 처리 디바이스는, 매칭 불일치(즉, 두 눈 사이의 수평 오프셋)를 구현하고, 시스템에 의해 장면에 제시된 객체를 흐리게 하여 상대적인 깊이 차이에서 광학적인 블러와 매칭시킴으로써 결정된 초점 평면 외부에 있는 장면에 제공된 디지털 객체를 조정하는 소프트웨어 인터페이스를 구현한다.
도 11a 및 도 11b는 2개의 상이한 초점 평면에서 비전 시스템(900)에 의해 렌더링된 객체를 처리하는 일례를 도시한다. 예를 들어, 도 11a 및 도 11b에 도시된 바와 같이 2개의 객체(예를 들어, 펠리컨과 등대)가 도시되어 있다. 도 11a는 등대의 CP(1105)와 정렬된 초점 평면(1101)의 일례를 도시한다. 도 11b는 펠리컨의 CP(1125)와 정렬된 초점 평면(1120)의 일례를 도시한다. 일 실시예에서, 자연 인간의 비전 공정과 일치하는 장면을 제공하기 위해, DOF 처리는 (예를 들어, OOI와 일치하는) 관찰자의 초점 평면 외부의 임의의 객체의 불일치와 블러를 생성한다. 예를 들어, 도 11a에 도시된 바와 같이, OOI는 등대이다. 따라서, 초점 평면 외부에 있는 펠리컨은 비전 시스템에 의해 (1130)에서 흐려진다. 반면에, 도 11b에 도시된 바와 같이, OOI는 펠리컨이다. 따라서, 초점 평면 외부에 있는 등대는 비전 시스템에 의해 (1140)에서 흐려진다. 비전 시스템의 처리 디바이스는 예를 들어 사용자의 동공간 거리(inter-pupillary distance: IPD)에 기초하여 불일치를 결정한다. 일 실시예에서, IPD는 비전 시스템의 설정 동안 구현되는 교정 공정 동안 결정될 수 있다. IPD는 또한 장면에 나타난 가상 객체의 거리에 기초할 수 있다. 객체의 흐려짐은, (예를 들어, 전체 조명 조건에 기초하여 결정된 바와 같이) 동공 크기의 추정치를 사용하는 것에 더하여, 예를 들어, 현재 고정된 초점 평면으로부터의 거리에 따라 이미지를 흐리게 하는 흐려짐 커널(blurring kernel)을 사용하여 현실감 있게 적용될 수 있다.
도 12a는 비축 증강 현실 가상 시스템의 광학 다이어그램의 일례를 도시한다. 도 12a에 도시된 바와 같이, 일 구현예에서, 광학 비전 시스템(1200)은 적어도 하나의 이미지 소스(1201)와, 사용자의 눈(1220)이 보기 위해 배열된 광학 소자(1210)를 포함한다. 이미지 소스(1201)는 광을 방출한다. 광학 소자(1210)는 광을 반사하는 오목 광학 표면을 포함한다. 광학 표면은 또한 예를 들어, 표면의 곡률을 한정하는 규정(prescription)에 의해 지정된 광학 배율을 갖는다. 일 구현예에서, 이미지 소스(1201)는 사용자의 FOV 외부에 광을 방출하도록 위치된다(즉, 사용자는 이미지 소스(1201)를 직접 보지 않는다). 광학 소자(1210)는 광학 소자(1210)의 오목 광학 표면이 이미지 소스(1201)에 의해 방출된 광을 반사하도록 이미지 소스(1201)에 대해 위치된다. 이미지 소스(1201)와 광학 소자(1210)는, 이미지 소스로부터의 광이 광학 소자의 광학 표면에 의해 사용자의 대응하는 눈으로 반사되어, 이미지를 사용자의 FOV 내에서 중첩되는 망막 상에 제공하도록 서로에 대해 상대적인 각도로 (그리고 HMD를 착용하고자 하는 사용자의 눈의 근사된 위치에) 더 위치된다. 일 구현 예에서, 광학 소자(1210)는, 사용자의 FOV에서 이미지 광과 외부 광을 결합시키기 위해 광을 외부 광 소스로부터 광학 표면을 통과시키는 것에 더하여, 광학 소자(1210)의 광학 표면이 이미지 소스로부터의 광을 부분적으로 반사할 수 있는 광학 결합기, 반-반사 표면, 하프-실버 미러(half-silvered mirror) 및/또는 유사한 것일 수 있다.
일 구현예에서, 이미지 소스(1201)와 눈(1220)을 향하는 광학 소자(1210)의 광학 표면은 오목하다. 광학 표면은 광학 시스템(1200)에 대해 지정된 광학 배율을 제공하도록 굴곡되어 있어서, 사용자의 FOV 내에서 소스로부터의 이미지를 확대하고(예를 들어, 유사하게 각진 편평한 표면 위에) 넓은 FOV를 제공한다. 일 구현예에서, 광학 표면은 이미지 소스(1210)와 관찰자에 대해 기울어져 있다. 그러나, 광학 배율 표면을 기울이면 관찰자의 수직 방향(x 치수)과 수평 방향(y 치수)에 상이한 광학 배율이 적용되어 비축 시스템이 생성된다.
일 실시예에서, 광학 소자(1210)는 사용자의 눈들 중 하나의 눈에 각각 대응하는 예를 들어 2개의 눈 이미지 구역을 갖는 바이저로서 구현될 수 있다. 이미지 소스(1201)는 임의의 유형의 원하는 디지털 컨텐츠를 제공할 수 있는 디스플레이로 구현될 수 있다. 디스플레이에 의해 제공되는 이미지는 일 구현예에서, 수백만 개의 점 소스(point source)로서 모델링될 수 있다. 이 예에서, 이미지(1211)는 디스플레이에 의해 제공된다. 도 12에 도시된 바와 같이, 이미지(1211)에 대응하는 디스플레이 상의 점들로부터 방출된 광(1212)은 바이저 상의 국부 광학 영역(1215)(예를 들어, 역 사각형으로 지시됨)에 도달하기 전에 D1의 거리를 이동한다. 방출된 광(1212)의 부분(1218)은 사용자의 눈(1220)을 향해 반사된다. 반사된 광(1218)은 눈의 수정체(1221)에 부딪치기 전에 D2의 거리를 이동한다. 눈의 광학적 근육은 눈의 수정체(1221)의 광학 배율을 변경하여 광을 다시 초점에 형성하고 망막(1227) 상에 대응하는 점 이미지(point image)(1225)를 형성한다. 그 결과, 사용자는 바이저 위치(1215)로부터 거리(D3)에 이 점의 가상 이미지(1230)를 보거나 인식한다. 가상 이미지의 총 거리 또는 인간의 눈으로부터의 초점 깊이는 D3과 D2의 합이다.
도 12b는 비전 시스템(1200)의 또 다른 예(1250)를 도시한다. 사용자의 눈이 회전하여 디스플레이에 의해 제공되는 다른 점을 볼 때, 관찰자의 광 경로가 변경된다. 또한 도 13에 도시된 바와 같이, 디스플레이 상의 2개의 상이한 점(1211 및 1251)과 관련된 2개의 상이한 광 경로가 도시되어 있다. (예를 들어, 태양 이미지를 나타내는) 디스플레이의 점(1211)을 볼 때, 발광된 광(1212)은 바이저(1201) 상의 국부 광학 영역(1215)까지 거리(D1)를 이동하며, 여기서 광(1218)의 일부는 눈의 수정체에 도달하기 전에 거리(D2)에서 반사되어, 망막(1227)에 점 이미지(1225)를 형성한다. 전술한 바와 같이, 사용자는 사용자의 눈으로부터 거리(D3 + D2)만큼 떨어진 곳에 가상 이미지 점(1230)을 보고 인식한다. 그런 후, 사용자가 디스플레이의 점(1215)(예를 들어, 별 기호로 표시)을 볼 때, 눈은 회전하여 눈의 수정체를 다른 위치에 위치시킨다. 이 경우, 광(1258)은 바이저 상의 국부 광학 영역(1260)에 도달하기 전에 점(1251)으로부터 거리(D4)로 이동한다. 광(1261)의 일부는 망막(1127) 상에 새로운 점 이미지(1262)를 형성하기 위해 새로운 위치에서 눈의 수정체에 도달할 때까지 거리(D5)를 이동하는 시야를 향해 반사된다. 사용자는 관찰자의 눈으로부터 결합된 거리(D6 + D5)에서 가상 이미지 점(1265)을 본다. 비전 시스템(1200)의 비축 레이아웃 때문에, 2개의 가상 이미지 점(1230 및 1265)은 사용자의 눈으로부터 다른 거리에 있다. 그 결과, 디스플레이(1210)에 의해 제공된 이미지와 관련된 가상 "초점 평면"(예를 들어, 흑색의 대시 라인으로 표시됨)(1268)은 눈으로부터 멀어지는 방향으로 경사져 있어서, 시야의 상부가 사용자에 더 가깝게 되고 하부가 더 멀게 되도록 놓여 있다.
도 13은 광 소스 위치와의 관계로서 초점 평면의 일례(1300)를 도시한다. 도 13에 도시된 바와 같이, 광 소스(1201)(예를 들어, 패널 디스플레이)는 3개의 위치(1301, 1303, 1305) 중 하나의 위치에 놓일 수 있다. 도시된 바와 같이 광학 소자(1210)(예를 들어, HMD의 바이저)에 대한 디스플레이의 배향은 위치(1301, 1303, 1305) 각각에서 실질적으로 동일하지만; 디스플레이로부터의 거리가 변하면 광이 디스플레이로 이동하는 거리가 변한다. 그 결과, 연관된 가상 초점 평면의 거리가 변한다. 예를 들어, 가상 초점 평면(1311)은 디스플레이의 위치(1301)에 대응하고, 가상 초점 평면(1313)은 디스플레이의 위치(1303)에 대응하고, 가상 초점 평면(1315)은 디스플레이의 위치(1305)에 대응한다. 따라서, 위치(1301)와 위치(1305) 사이에서 디스플레이를 이동시키면 NP(예를 들어, 1311)와 FP(예를 들어, 1315)에 의해 한정된 부피 초점 평면 구역이 도입된다. 일 실시예에서, 디스플레이(1201)는 적어도 NP와 FP에 대응하는 적어도 2개의 미리 결정된 위치들 사이에서 디스플레이를 이동시키기 위해 적어도 하나의 전기 기계적 메커니즘(1330)과 결합된다. 예를 들어, 처리 디바이스(1335)의 인터페이스는 처리 디바이스에 의해 지정된 바와 같이 디스플레이의 위치를 제어하기 위해 메커니즘(1330)(예를 들어, 전기 모터, 자석 또는 스프링의 제어기 또는 드라이버)에 연결된다.
도 14는 디지털 컨텐츠를 상이한 FOV로 타깃 가상 초점 평면으로 이동시키는데 사용되는 상이한 디스플레이 움직임의 다른 예(1400)를 도시한다. 도 1400에 도시된 바와 같이, 공칭 위치(1401)에 디스플레이하기 위해, 가상 초점 평면(1410)이 생성된다. 이전에 지적한 바와 같이, 평면(1410)은 비축 광학 소자(1210)에 의해 생성된 초점 평면의 곡률로 인해 경사진다. 예를 들어, 가상 초점 평면(1410)의 상부 부분(1411)은 하부 부분(1412)보다 비전 시스템의 사용자에게 더 가깝다. 비축 광학 소자(예를 들어, 1201)를 사용하는 광학 시스템에서, 비전 시스템에 의해 제공된 이미지가 타깃 가상 초점 평면(1420) 상에 태양 이미지(1413), 달 이미지(1414), 및 별 이미지(1415)를 포함하면, 디스플레이는 사용자가 초점을 맞추고 있는 이미지(예를 들어, 태양, 달 또는 별)를 가져오기 위해 이동되어야 한다. 예를 들어, 관찰자가 타깃 초점 평면(1420) 상에서 태양(1413)을 보고 있으면, 디스플레이는 FP(1441')에 대응하는 위치(1441)로 이동된다. 관찰자가 타깃 가상 초점 평면(1420) 상에서 달(1414)을 보고 있으면, 디스플레이는 중간 가상 초점 평면(1445')에 대응하는 중간 위치(1445)로 이동된다. 관찰자가 타깃 초점 평면(1420) 상의 별(1415)을 보고 있는 경우, 디스플레이는 또 다른 중간 가상 초점 평면(1450')에 대응하는 위치(1450)로 이동된다. 이 예에서, 비전 시스템은 안구 추적기 시스템(예를 들어, 적외선 카메라(1430), 적외선 방출기(1431) 및 처리 디바이스(도시되지 않음))으로부터의 피드백에 기초하여 사용자가 보고 있는 가상 객체가 무엇인지를 결정한다. 안구 추적기 시스템은 사용자의 고정 위치(예를 들어, FC)를 결정하고, 타깃 평면(1420)에서 이미지의 그 부분을 초점 형성하도록 디스플레이를 이동시키는 거리를 결정한다.
도 15는 상이한 FOV들에 대한 디지털 컨텐츠의 인식된 위치를 조정하기 위해 상이한 디스플레이 움직임을 제공하는 비전 시스템의 다른 예(1500)를 도시한다. 이 예에서, 안구 추적기 시스템을 통한 피드백은 비전 시스템의 사용자가 보고 있는 물리적 실제 세계 객체(1520)(예를 들어, 삼각형)의 위치(1510)와 매칭하도록 가상 이미지(1507) 내의 디지털 컨텐츠(예를 들어, 태양(1505))의 인식된 깊이(1501)를 조정한다. 이 예에서, 안구 추적기 시스템은 IR 카메라(1530), IR 방출기(1531) 및 처리 디바이스(1540)를 포함한다. 안구 추적기 시스템의 도움으로, 비전 시스템은 사용자가 고정된 좁은 FOV 각도가 어느 것인지를 결정하고, 인간이 보고 있는 거리에 대응하는 물리적 타깃 위치를 결정한다. 일례로서, 피드백 루프는 디스플레이를 공칭 위치(1550)로부터 특정 교정된 양만큼 새로운 위치(1551)로 이동시켜, 동일한 좁은 FOV 각도의 디지털 컨텐츠(예를 들어, 태양)를 가상 이미지(1560)로서 물리적 타깃(1520)의 위치(1510)에 대응하는 깊이로 투사하는데 사용된다.
도 16은 도 15에 도시된 것과 유사한 다른 예(1600)를 도시한다. 이 예에서, 가변 배율 렌즈(1601)는 광 소스(1210)와 사람의 눈 사이의 총 광학 배율을 변경하여 가상 이미지(1607)에서 이미지(1606)(예를 들어, 태양)의 인식된 깊이를 변경시켜, 사용자가 보고 있는 실제 세계의 물리적 객체(1620)(예를 들어, 삼각형)의 위치(1610)와 일치시키는데 사용된다. 안구 추적기 시스템의 도움으로, 비전 시스템은 사용자가 고정되어 있는 좁은 FOV 각도가 어느 것인지를 결정하고, 사용자가 보고 있는 거리에 대응하는 물리적 타깃을 결정한다. 일 예시에서, 피드백 루프는 액체 렌즈(1601)의 형상을 변화시켜, 동일한 좁은 FOV 각도의 디지털 컨텐츠(예를 들어, 태양)를 가상 이미지(1624)로서 물리적 타깃(예를 들어, 삼각형)의 위치(1610)에 대응하는 깊이(1630)로 투사하는데 사용된다.
전술한 바와 같이, 비전 시스템에 대해 본 명세서에 설명된 기술은 디지털 전자 회로를 사용하여 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 이들 기술은, 데이터 처리 장치 또는 처리 디바이스, 예를 들어, 프로그래밍 가능한 프로세서, 컴퓨터 또는 다수의 컴퓨터에 의해 실행되거나 또는 이의 동작을 제어하기 위해, 비 일시적인 정보 매체, 예를 들어, 기계 판독 가능한 저장 디바이스에, 기계 판독 가능한 저장 매체에, 컴퓨터 판독 가능한 저장 디바이스에, 또는 컴퓨터 판독 가능한 저장 매체에 유형적으로 구현된 컴퓨터 프로그램 제품, 즉 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터 프로그램은 컴파일된 언어 또는 인터프리트된 언어를 포함하여 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 이 컴퓨터 프로그램은 독립 실행형 프로그램 도는 모듈로서, 구성 요소, 서브루틴 또는 특정 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛을 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 비전 시스템의 하나의 구성 요소 또는 다수의 구성 요소에 의해 실행되도록 전개될 수 있다.
예를 들어, 400, 700, 1000 및 다른 것들과 같은 예시적인 공정은 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍 가능한 처리 디바이스 또는 프로세서에 의해 수행되어, 입력 디지털 데이터에 동작하고 (예를 들어, 하나 이상의 디스플레이의 강도에 대한 휘도를 제어하거나 비전 시스템의 초점 평면을 조정하고 깊이 의존 불균형과 블러를 렌더링하기 위해) 대응하는 출력을 생성함으로써 전술한 기술의 기능을 수행할 수 있다. 방법 단계들 및 기술들은 또한 특수 목적 논리 회로, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit)으로 구현될 수 있다.
컴퓨터 프로그램을 실행하는데 적합한 처리 디바이스 또는 프로세서는 예를 들어 일반 및 특수 목적 마이크로프로세서와 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 이들 둘 모두로부터 명령과 데이터를 수신할 수 있다. 컴퓨터의 필수적 요소는 명령을 실행하기 위한 프로세서, 및 명령과 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 본 명세서에 설명된 처리 디바이스는 하나 이상의 프로세서 및/또는 코어를 포함할 수 있다. 일반적으로, 처리 디바이스는 또한 자기, 광 자기 디스크 또는 광 디스크와 같은 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스로부터 데이터를 수신하거나 이로 데이터를 전송하거나 또는 이들 둘 모두를 수행하도록 동작 가능하게 결합될 수 있다. 컴퓨터 프로그램 명령과 데이터를 구현하는데 적합한 비 일시적인 정보 매체는 EPROM, EEPROM, 및 플래시 메모리 또는 솔리드 스테이트 메모리 디바이스와 같은 반도체 메모리 디바이스; 내부 하드 디스크 또는 이동식 디스크와 같은 자기 디스크; 광 자기 디스크; 및 CD-ROM과 DVD-ROM 디스크를 포함하는 모든 형태의 비 휘발성 메모리를 포함한다. 프로세서와 메모리는 특수 목적 논리 회로에 의해 보충되거나 또는 이에 통합될 수 있다.
비전 시스템은 사용자에게 편안한 관찰 경험을 제공하면서 사용자에 비전 시스템을 위치 지정하거나 장착하여 사용자에 비전 시스템을 착용하게 하는 다양한 광학 디바이스와 프레임 또는 다른 구조를 포함하는 다양한 다른 구성 요소를 포함할 수 있다. 비전 시스템은, 예를 들어, 다양한 시스템 구성 요소에 전력을 공급하기 위해 하나 이상의 전력 디바이스 또는 이 전력 디바이스와의 연결부, 운영 시스템 구성 요소를 위한 하나 이상의 제어기/드라이버, 하나 이상의 출력 디바이스(예를 들어, 스피커), 증강 현실을 시스템의 사용자에게 제공하는데 사용되는 정보를 시스템에 제공하기 위한 하나 이상의 센서, 외부 출력 디바이스와 통신하는 하나 이상의 인터페이스, 외부 메모리 디바이스 또는 프로세서와 통신하기 위한 하나 이상의 인터페이스, 및 다양한 통신 경로를 통해 데이터를 송수신하도록 구성된 하나 이상의 통신 인터페이스와 같은 하나 이상의 추가적인 구성 요소를 포함할 수 있다. 또한, 다양한 구성 요소를 연결하고, 데이터와 프로그램을 수신, 송신, 조작 및 저장하기 위해 하나 이상의 내부 통신 링크 또는 버스가 제공될 수 있다. 이러한 구성 요소를 제공하기 위해 사용될 수 있는 다양한 디바이스의 많은 예는 앞서 병합된 미국 출원 번호 14/147,199에 보다 상세히 설명되어 있다.
다양한 주제를 다루고 기술을 발전시키기 위해, 본 출원의 (커버 페이지, 명칭, 표제, 상세한 설명, 청구범위, 요약서, 도면, 부록 및/또는 다른 것을 포함하는) 전체 내용은 청구된 발명이 실시될 수 있는 여러 실시예를 예시적으로 제시한다. 본 출원의 장점 및 특징은 단지 실시예의 대표적인 샘플일 뿐, 이것이 전부 다 설명된 것이고/이거나 다른 것을 배제하는 것은 아니다. 이들은 청구된 원리를 이해하고 교시하는 것을 도와주기 위해서만 제시된 것이다. 이들은 모든 청구된 발명을 나타내는 것은 아니라는 것을 이해해야 한다. 또한, 본 발명은 현재 청구되지 않은 다른 발명을 포함한다. 출원인은 그러한 발명을 청구하며, 추가적인 출원, 계속 출원, 부분 계속 출원, 분할 출원 및/또는 등을 제출할 권리를 포함하여 현재 청구되지 않은 발명에 대한 모든 권리를 보유하고 있다. 그리하여, 본 발명의 장점, 실시예, 예시, 기능, 특징, 논리, 조직, 구조, 위상 및/또는 다른 양태들은 청구범위 또는 청구범위의 등가물에 대한 제한에 의해 한정된 바와 같은 본 발명에 대한 제한으로 간주되어서는 안된다는 것을 이해해야 한다.

Claims (14)

  1. 비전 시스템(vision system)으로서,
    제1 디스플레이;
    제2 디스플레이;
    상기 제1 디스플레이로부터 방출된 광을 제1 초점 평면으로 투사시키고 상기 제2 디스플레이로부터 방출된 광을 제2 초점 평면으로 투사하도록 상기 제1 디스플레이로부터 제1 거리에 그리고 상기 제2 디스플레이로부터 제2 거리에 배열된 광학 소자(optical element); 및
    인식되는 3 차원 광 필드(light field)를 생성하기 위해 상기 제1 디스플레이와 상기 제2 디스플레이의 하나 이상의 픽셀의 상대적 강도(relative intensity: RI)를 제어하도록 구성된 처리 디바이스를 포함하는, 비전 시스템.
  2. 제1항에 있어서, 상기 제1 초점 평면은 상기 시스템의 관찰자에게 원거리 초점 평면(far plane of focus)(FP)이고, 상기 제2 초점 평면은 상기 시스템의 관찰자에게 근거리 초점 평면(near plane of focus)(NP)인, 비전 시스템.
  3. 제2항에 있어서, RI = (INP-IFP)/(INP + IFP)이고, RI는 이미지의 각 픽셀에서 계산되고 정규화된 상대적 강도이고, INP는 상기 NP에 제공된 상기 이미지의 강도이며, 그리고 IFP는 상기 FP에 제공된 상기 이미지의 강도인, 비전 시스템.
  4. 제1항에 있어서, 상기 제1 디스플레이는 액정 디스플레이이고, 상기 제2 디스플레이는 투명한 유기 발광 다이오드 디스플레이이고, 상기 광학 소자는 단일 초점을 갖는, 비전 시스템.
  5. 제1항에 있어서, 상기 제1 디스플레이보다 더 가깝고 상기 제2 디스플레이보다 더 먼, 상기 광학 소자로부터의 제3 거리에 배열된 제3 디스플레이를 더 포함하고, 상기 제3 디스플레이는 상기 시스템의 관찰자의 중간 초점 평면(mid-plane of focus)에 이미지를 투사하도록 배열된, 비전 시스템.
  6. 비전 시스템으로서,
    적어도 제1 부분과 제2 부분을 포함하는 디스플레이;
    상기 디스플레이의 상기 제1 부분으로부터 방출된 광을 제1 초점 평면으로 투사하도록 배열된 제1 초점과, 상기 디스플레이의 상기 제2 부분으로부터 방출된 광을 제2 초점 평면으로 투사하도록 배열된 제2 초점을 포함하는 다초점 광학 소자; 및
    상기 디스플레이의 상기 제1 부분과 상기 디스플레이의 상기 제2 부분의 하나 이상의 픽셀의 상대적 강도(RI)를 제어하여 인식되는 3 차원 광 필드를 생성하도록 구성된 처리 디바이스를 포함하는, 비전 시스템.
  7. 제6항에 있어서, 상기 제1 초점 평면은 상기 시스템의 관찰자에게 원거리 초점 평면(FP)이고, 상기 제2 초점 평면은 상기 시스템의 관찰자에게 근거리 초점 평면(NP)인, 비전 시스템.
  8. 제7항에 있어서, RI = (INP-IFP)/(INP + IFP)이고, RI는 이미지의 각 픽셀에서 계산되고 정규화된 상대적 강도이고, INP는 상기 NP에 제공된 상기 이미지의 강도이고, 그리고 IFP는 상기 FP에 제공된 상기 이미지의 강도인, 비전 시스템.
  9. 제6항에 있어서, 상기 디스플레이는 제3 부분을 포함하고, 상기 다초점 광학 소자는 상기 제3 부분으로부터의 이미지를 상기 시스템의 관찰자의 중간 초점 평면으로 투사하도록 배열된 제3 초점을 포함하는, 비전 시스템.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020177017265A 2014-12-23 2015-12-23 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템 KR101844883B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462096521P 2014-12-23 2014-12-23
US62/096,521 2014-12-23
PCT/US2015/000277 WO2016105521A1 (en) 2014-12-23 2015-12-23 Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187008712A Division KR20180035934A (ko) 2014-12-23 2015-12-23 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20170081702A KR20170081702A (ko) 2017-07-12
KR101844883B1 true KR101844883B1 (ko) 2018-04-03

Family

ID=56151262

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177017265A KR101844883B1 (ko) 2014-12-23 2015-12-23 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
KR1020187008712A KR20180035934A (ko) 2014-12-23 2015-12-23 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187008712A KR20180035934A (ko) 2014-12-23 2015-12-23 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템

Country Status (5)

Country Link
US (3) US9576399B2 (ko)
EP (1) EP3234920A4 (ko)
KR (2) KR101844883B1 (ko)
CN (1) CN107003734B (ko)
WO (1) WO2016105521A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11579683B2 (en) 2018-08-21 2023-02-14 Samsung Electronics Co., Ltd. Wearable device and control method therefor

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
CA3157218A1 (en) * 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
JP6326482B2 (ja) 2013-03-15 2018-05-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 表示システムおよび方法
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
KR102586069B1 (ko) * 2015-07-03 2023-10-05 에씰로 앙터나시오날 증강 현실을 위한 방법 및 시스템
CA2995978A1 (en) 2015-08-18 2017-02-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
EP3369091A4 (en) * 2015-10-26 2019-04-24 Pillantas Inc. SYSTEMS AND METHODS FOR CONTROLLING CONVERGENT OCULAR MOVEMENTS
US9984507B2 (en) * 2015-11-19 2018-05-29 Oculus Vr, Llc Eye tracking for mitigating vergence and accommodation conflicts
WO2017131770A1 (en) * 2016-01-29 2017-08-03 Hewlett-Packard Development Company, L.P Viewing device adjustment based on eye accommodation in relation to a display
WO2017180615A1 (en) 2016-04-12 2017-10-19 Quidient, Llc Quotidian scene reconstruction engine
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
US10089788B2 (en) * 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
US9773438B1 (en) 2016-06-29 2017-09-26 Meta Company System and method for providing views of virtual content in an augmented reality environment
JP6714791B2 (ja) * 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
KR102239686B1 (ko) * 2016-08-04 2021-04-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 단일 깊이 추적 순응-수렴 솔루션
WO2018027015A1 (en) * 2016-08-04 2018-02-08 Dolby Laboratories Licensing Corporation Single depth tracked accommodation-vergence solutions
EP3296792A1 (en) * 2016-09-19 2018-03-21 Essilor International Method for managing the display of an image to a user of an optical system
CN206301289U (zh) * 2016-11-29 2017-07-04 阿里巴巴集团控股有限公司 Vr终端设备
CN107066079A (zh) 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
GB2557231B (en) 2016-11-30 2020-10-07 Jaguar Land Rover Ltd Multi-depth display apparatus
GB2557230B (en) 2016-11-30 2019-09-25 Jaguar Land Rover Ltd Multi-depth augmented reality display
GB2557227A (en) 2016-11-30 2018-06-20 Jaguar Land Rover Ltd Multi-depth display apparatus
GB2557229A (en) * 2016-11-30 2018-06-20 Cambridge Entpr Ltd Multi-depth augmented reality display
EP3333696B1 (en) * 2016-12-06 2019-12-04 LG Electronics Inc. Digital signage system
KR20180064723A (ko) * 2016-12-06 2018-06-15 엘지전자 주식회사 디지털 사이니지 시스템 및 그 데이터 처리 방법
US11042039B1 (en) * 2016-12-20 2021-06-22 Facebook Technologies, Llc Varifocal display with actuated reflectors
CN106501885B (zh) * 2017-01-13 2019-07-05 京东方科技集团股份有限公司 透镜及其制造方法、以及光学显示设备
US10520742B1 (en) * 2017-02-13 2019-12-31 Facebook Technologies, Llc Beamsplitter assembly for eye tracking in head-mounted displays
EP3485319A4 (en) 2017-02-21 2020-04-01 Facebook Technologies, LLC MULTIPLANAR FOCUS ADJUSTMENT HEADSET
EP3370100A1 (en) * 2017-03-03 2018-09-05 Nokia Technologies Oy Virtual and augmented reality apparatus, near-eye displays comprising the same, and method of displaying virtual and augmented reality
CN107122642A (zh) 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
KR102404734B1 (ko) * 2017-03-24 2022-06-07 삼성전자주식회사 컨텐트를 재생하는 전자 장치 및 컴퓨터 판독 가능한 기록 매체
WO2018183405A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
CN111406412B (zh) 2017-04-11 2021-09-03 杜比实验室特许公司 分层的增强型娱乐体验
EP3619704A4 (en) 2017-05-01 2020-11-11 Pure Depth Inc. SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING
US10672311B2 (en) * 2017-05-04 2020-06-02 Pure Depth, Inc. Head tracking based depth fusion
US10771773B2 (en) * 2017-05-11 2020-09-08 Htc Corporation Head-mounted display devices and adaptive masking methods thereof
JP6952123B2 (ja) 2017-05-26 2021-10-20 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 拡張された調節範囲の調整を有するニアアイディスプレイ
CN107102446B (zh) 2017-06-27 2019-07-09 京东方科技集团股份有限公司 一种三维立体显示面板、其显示方法及显示装置
KR102411661B1 (ko) * 2017-07-31 2022-06-21 삼성전자주식회사 영상 처리 방법 및 디바이스
GB201713051D0 (en) * 2017-08-15 2017-09-27 Imagination Tech Ltd Low latency distortion unit for head mounted displays
US10546430B1 (en) * 2017-08-29 2020-01-28 Facebook Technologies, Llc Image plane adjustment in a near-eye display
CN111133366B (zh) * 2017-09-20 2022-11-08 元平台技术有限公司 用于头戴式显示器的多层投影仪
EP3460785A1 (en) * 2017-09-20 2019-03-27 Facebook Technologies, LLC Multiple layer projector for a head-mounted display
JP7036572B2 (ja) * 2017-11-02 2022-03-15 マクセル株式会社 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system
TWI653469B (zh) * 2017-12-19 2019-03-11 宏碁股份有限公司 面板調整方法以及頭戴顯示器
US10867174B2 (en) 2018-02-05 2020-12-15 Samsung Electronics Co., Ltd. System and method for tracking a focal point for a head mounted device
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
US10698218B1 (en) * 2018-03-07 2020-06-30 Facebook Technologies, Llc Display system with oscillating element
AU2019262147A1 (en) 2018-05-02 2020-12-10 Quidient, Llc A codec for processing scenes of almost unlimited detail
KR20200001863A (ko) 2018-06-28 2020-01-07 삼성전자주식회사 디스플레이 장치
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
KR102546321B1 (ko) 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
KR20200013453A (ko) 2018-07-30 2020-02-07 삼성전자주식회사 3차원 영상 표시 장치 및 영상 처리 방법
US10728534B2 (en) * 2018-07-31 2020-07-28 Lightspace Technologies, SIA Volumetric display system and method of displaying three-dimensional image
US20200049994A1 (en) * 2018-08-13 2020-02-13 Google Llc Tilted focal plane for near-eye display system
US11287883B2 (en) * 2018-10-22 2022-03-29 Evolution Optiks Limited Light field device, pixel rendering method therefor, and adjusted vision perception system and method using same
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US11729370B2 (en) * 2018-11-28 2023-08-15 Texas Instruments Incorporated Multi-perspective display driver
CN113196132A (zh) 2018-12-07 2021-07-30 阿维甘特公司 可操纵定位元件
US10778953B2 (en) 2018-12-10 2020-09-15 Universal City Studios Llc Dynamic convergence adjustment in augmented reality headsets
KR20200075533A (ko) 2018-12-18 2020-06-26 삼성전자주식회사 영상을 표시하는 장치, 방법 및 컴퓨터 프로그램
CN109633905B (zh) * 2018-12-29 2020-07-24 华为技术有限公司 多焦平面显示系统以及设备
KR20210111795A (ko) 2019-01-07 2021-09-13 아브간트 코포레이션 제어 시스템 및 렌더링 파이프라인
US11200655B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Wearable visualization system and method
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
EP3948399A1 (en) 2019-03-29 2022-02-09 Avegant Corp. Steerable hybrid display using a waveguide
US11852813B2 (en) * 2019-04-12 2023-12-26 Nvidia Corporation Prescription augmented reality display
CA3134747A1 (en) * 2019-04-23 2020-10-29 Evolution Optiks Limited Light field display and vibrating light field shaping layer and vision testing and/or correction device
CN114341705A (zh) * 2019-07-18 2022-04-12 三星电子株式会社 能够表达多个深度的图像显示设备
WO2021038422A2 (en) 2019-08-26 2021-03-04 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
CA3156195A1 (en) * 2019-11-08 2021-05-14 Joseph Ivar Etigson System and method for implementing a viewer-specific image perception adjustment within a defined view zone, and vision correction system and method using same
US11662808B2 (en) * 2019-12-06 2023-05-30 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
WO2021142486A1 (en) 2020-01-06 2021-07-15 Avegant Corp. A head mounted system with color specific modulation
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
CN111739359A (zh) * 2020-06-30 2020-10-02 上海乂学教育科技有限公司 增强现实的课件生成系统
CN111783660B (zh) * 2020-07-01 2023-11-10 业成科技（成都）有限公司 眼动追踪装置及应用其的电子装置
CN111830714B (zh) * 2020-07-24 2024-03-29 闪耀现实(无锡)科技有限公司 图像显示控制方法、图像显示控制装置及头戴式显示设备
US11410580B2 (en) 2020-08-20 2022-08-09 Facebook Technologies, Llc. Display non-uniformity correction
US11393368B2 (en) * 2020-11-05 2022-07-19 Innolux Corporation Display method of image
CN112526763B (zh) * 2020-11-20 2022-09-27 亿信科技发展有限公司 一种光场3d显示装置及其驱动方法
WO2022124607A1 (en) * 2020-12-07 2022-06-16 Samsung Electronics Co., Ltd. Depth estimation method, device, electronic equipment and computer readable storage medium
US11733773B1 (en) 2020-12-29 2023-08-22 Meta Platforms Technologies, Llc Dynamic uniformity correction for boundary regions
US11415806B1 (en) * 2021-02-05 2022-08-16 Htc Corporation Head mounted display apparatus
KR102380713B1 (ko) * 2021-02-05 2022-04-01 이태경 스마트 디스플레이
CN112835453B (zh) * 2021-03-04 2023-05-09 网易（杭州）网络有限公司 模拟人眼聚焦时界面效果的方法、设备和存储介质
US20220311984A1 (en) * 2021-03-26 2022-09-29 Lightspace Technologies, SIA System and method for rendering three-dimensional image content
US11681363B2 (en) 2021-03-29 2023-06-20 Meta Platforms Technologies, Llc Waveguide correction map compression
EP4071543A1 (en) * 2021-04-06 2022-10-12 Horizons Optical S.L.U. Method for establishing the size of the near, far and intermediate vision zones of a progressive lens
DE102021205700B4 (de) * 2021-06-07 2023-07-06 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität
US11754846B2 (en) 2022-01-21 2023-09-12 Meta Platforms Technologies, Llc Display non-uniformity correction
US11710212B1 (en) * 2022-01-21 2023-07-25 Meta Platforms Technologies, Llc Display non-uniformity correction
WO2023187167A1 (en) * 2022-03-31 2023-10-05 Horizons Optical S.L.U. Method to establish the size of the different areas of a progressive lens
KR102646925B1 (ko) * 2022-07-21 2024-03-12 주식회사 긱스로프트 가상 객체 시인성 개선 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100862A (en) 1998-04-20 2000-08-08 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation
US20120113097A1 (en) 2010-11-05 2012-05-10 Samsung Electronics Co., Ltd. Display apparatus and method

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0961506B1 (en) * 1998-05-20 2003-03-26 Texas Instruments France Autostereoscopic display
US8248458B2 (en) 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
JP4692986B2 (ja) * 2004-12-17 2011-06-01 株式会社 日立ディスプレイズ 表示装置
WO2007072270A1 (en) * 2005-12-19 2007-06-28 Koninklijke Philips Electronics N.V. 3d image display method and apparatus
CN101360252A (zh) * 2008-09-04 2009-02-04 黄松琪 光学立体电视接收器
KR101695809B1 (ko) * 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP4900741B2 (ja) 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
US20110241977A1 (en) 2010-04-01 2011-10-06 Microsoft Corporation Enhanced viewing brightness for surface display
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US20120105428A1 (en) * 2010-10-28 2012-05-03 Microsoft Corporation Transparent display configuration modes
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8692738B2 (en) * 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
US9459457B2 (en) 2011-12-01 2016-10-04 Seebright Inc. Head mounted display with remote control
CN202330754U (zh) * 2011-12-09 2012-07-11 上海康耐特光学股份有限公司 一种3d光学树脂眼镜片
FR2988962A1 (fr) * 2012-03-29 2013-10-04 France Telecom Procede et dispositif de creation d'images
US20130300635A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
US10073201B2 (en) * 2012-10-26 2018-09-11 Qualcomm Incorporated See through near-eye display
JP2016509292A (ja) 2013-01-03 2016-03-24 メタ カンパニー エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
US9392129B2 (en) * 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
MX357964B (es) 2013-03-15 2018-08-01 Immy Inc Pantalla montada en la cabeza con trayectoria óptica de formación sin pupila.
JP6326482B2 (ja) 2013-03-15 2018-05-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 表示システムおよび方法
RU2682798C2 (ru) * 2013-07-19 2019-03-21 Сони Корпорейшн Устройство обнаружения и способ
US9170646B2 (en) * 2013-09-04 2015-10-27 Johnson & Johnson Vision Care, Inc. Ophthalmic lens system capable of interfacing with an external device
EP4220999A3 (en) 2013-11-27 2023-08-09 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
WO2016105541A1 (en) * 2014-12-24 2016-06-30 Reald Inc. Adjustment of perceived roundness in stereoscopic image of a head
IL289705B2 (en) * 2014-12-29 2023-10-01 Magic Leap Inc A light projector that uses an acousto-optical control device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100862A (en) 1998-04-20 2000-08-08 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation
US20120113097A1 (en) 2010-11-05 2012-05-10 Samsung Electronics Co., Ltd. Display apparatus and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11579683B2 (en) 2018-08-21 2023-02-14 Samsung Electronics Co., Ltd. Wearable device and control method therefor

Also Published As

Publication number Publication date
US20160260258A1 (en) 2016-09-08
US20200098184A1 (en) 2020-03-26
US10650605B2 (en) 2020-05-12
KR20180035934A (ko) 2018-04-06
CN107003734A (zh) 2017-08-01
US9576399B2 (en) 2017-02-21
EP3234920A1 (en) 2017-10-25
WO2016105521A1 (en) 2016-06-30
US20170206713A1 (en) 2017-07-20
US10319148B2 (en) 2019-06-11
EP3234920A4 (en) 2017-10-25
CN107003734B (zh) 2019-12-17
KR20170081702A (ko) 2017-07-12

Similar Documents

Publication Publication Date Title
KR101844883B1 (ko) 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
JP7329105B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
JP7381482B2 (ja) ディスプレイシステムのための深度ベースの中心窩化レンダリング
US20200051320A1 (en) Methods, devices and systems for focus adjustment of displays
US10516879B2 (en) Binocular display with digital light path length modulation
WO2020190575A1 (en) Varifocal display with fixed-focus lens
US10602033B2 (en) Display apparatus and method using image renderers and optical combiners
US11137610B1 (en) System, method, and non-transitory computer-readable storage media related wearable pupil-forming display apparatus with variable opacity and dynamic focal length adjustment
US11221487B2 (en) Method and device of field sequential imaging for large field of view augmented/virtual reality
CN109997067B (zh) 使用便携式电子设备的显示装置和方法
Wetzstein et al. State of the art in perceptual VR displays
US10928633B1 (en) Apparatuses, methods and systems for an off-axis display assembly
KR20240046291A (ko) 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant