JP7230082B2 - 仮想および拡張現実システムならびに方法 - Google Patents
仮想および拡張現実システムならびに方法 Download PDFInfo
- Publication number
- JP7230082B2 JP7230082B2 JP2021033518A JP2021033518A JP7230082B2 JP 7230082 B2 JP7230082 B2 JP 7230082B2 JP 2021033518 A JP2021033518 A JP 2021033518A JP 2021033518 A JP2021033518 A JP 2021033518A JP 7230082 B2 JP7230082 B2 JP 7230082B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- depth planes
- depth
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 64
- 230000003190 augmentative effect Effects 0.000 title description 104
- 230000002829 reductive effect Effects 0.000 claims description 20
- 230000009849 deactivation Effects 0.000 claims 13
- 210000003128 head Anatomy 0.000 description 128
- 238000005259 measurement Methods 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 13
- 239000000470 constituent Substances 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 10
- 230000008447 perception Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004308 accommodation Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000004886 head movement Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000256837 Apidae Species 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
- G09G2310/0235—Field-sequential colour display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/08—Details of timing specific for flat panels, other than clock recovery
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2007—Display of intermediate tones
- G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
- G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- User Interface Of Digital Computer (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
Description
本願は、2015年8月18日に出願され、“VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS”と題された米国仮出願第62/206,765号の35 USC §119(e)のもとでの優先権の利益を主張するものであり、該米国仮出願は、その全体が参照により本明細書中に援用される。
(項目1)
複数の深度平面の画像を表示するように構成される、ディスプレイと、
グラフィックスプロセッサからレンダリングされた仮想または拡張現実画像データを受信するように、かつ前記レンダリングされた画像に埋め込まれた制御情報に少なくとも部分的に基づいて前記ディスプレイを制御するように構成される、ディスプレイコントローラと、
を備え、
前記埋め込まれた制御情報は、前記画像を表示するときに、前記レンダリングされた画像の少なくとも一部に適用する偏移を示す、仮想または拡張現実ディスプレイシステム。
(項目2)
前記偏移は、前記レンダリングされた画像内の1つまたはそれを上回るオブジェクトの位置と比較して、1つまたはそれを上回る仮想または拡張現実オブジェクトの表示された位置を変更する、項目1に記載の仮想または拡張現実ディスプレイシステム。
(項目3)
前記偏移は、同一深度平面内の規定数のピクセルによる、前記画像の少なくとも一部の横方向偏移を備える、項目1に記載の仮想または拡張現実ディスプレイシステム。
(項目4)
前記偏移は、1つの深度平面から別の深度平面への前記画像の少なくとも一部の縦方向偏移を備える、項目1に記載の仮想または拡張現実ディスプレイシステム。
(項目5)
前記ディスプレイコントローラはさらに、1つの深度平面から別の深度平面への縦方向偏移と併せて、前記画像の少なくとも一部を拡大縮小するように構成される、項目4に記載の仮想または拡張現実ディスプレイシステム。
(項目6)
前記偏移は、1つの深度平面から仮想深度平面への前記画像の少なくとも一部の縦方向偏移を備え、前記仮想深度平面は、少なくとも2つの深度平面の加重組み合わせを備える、項目1に記載の仮想または拡張現実ディスプレイシステム。
(項目7)
前記偏移は、ユーザの頭部姿勢に関する情報に基づく、項目1に記載の仮想または拡張現実ディスプレイシステム。
(項目8)
前記偏移は、前記画像を再レンダリングすることなく前記ディスプレイコントローラによって行われる、項目1に記載の仮想または拡張現実ディスプレイシステム。
(項目9)
仮想または拡張現実ディスプレイシステムにおける方法であって、
グラフィックスプロセッサからレンダリングされた仮想または拡張現実画像データを受信するステップと、
前記レンダリングされた画像に埋め込まれた制御情報に少なくとも部分的に基づいて、複数の深度平面の画像を表示するステップと、
を含み、
前記埋め込まれた制御情報は、前記画像を表示するときに、前記レンダリングされた画像の少なくとも一部に適用する偏移を示す、方法。
(項目10)
前記画像を表示するステップは、前記レンダリングされた画像内の1つまたはそれを上回るオブジェクトの位置と比較して、1つまたはそれを上回る仮想または拡張現実オブジェクトの表示された位置を偏移させるステップを含む、項目9に記載の方法。
(項目11)
前記表示された位置を偏移させるステップは、前記制御情報に基づいて、同一深度平面内の規定数のピクセルによって前記画像の少なくとも一部を横方向に偏移させるステップを含む、項目9に記載の方法。
(項目12)
前記表示された位置を偏移させるステップは、前記制御情報に基づいて、1つの深度平面から別の深度平面へ前記画像の少なくとも一部を縦方向に偏移させるステップを含む、項目9に記載の方法。
(項目13)
1つの深度平面から別の深度平面へ前記画像を縦方向に偏移させるステップと併せて、前記画像の少なくとも一部を拡大縮小するステップをさらに含む、項目12に記載の方法。
(項目14)
前記表示された位置を偏移させるステップは、1つの深度平面から仮想深度平面へ前記画像の少なくとも一部を縦方向に偏移させるステップを含み、前記仮想深度平面は、少なくとも2つの深度平面の加重組み合わせを備える、項目9に記載の方法。
(項目15)
前記偏移は、ユーザの頭部姿勢に関する情報に基づく、項目9に記載の方法。
(項目16)
前記画像を再レンダリングすることなく前記画像を偏移させるステップをさらに含む、項目9に記載の方法。
(項目17)
周囲照明の1つまたはそれを上回る特性を判定するように構成される、センサと、
前記周囲照明の前記1つまたはそれを上回る特性に基づいて、仮想オブジェクトの1つまたはそれを上回る特性を調節するように構成される、プロセッサと、
前記仮想オブジェクトをユーザに表示するように構成される、ディスプレイと、
を備える、仮想または拡張現実ディスプレイシステム。
(項目18)
前記周囲照明の前記1つまたはそれを上回る特性は、前記周囲照明の明度を備える、項目17に記載の仮想または拡張現実ディスプレイシステム。
(項目19)
前記周囲照明の前記1つまたはそれを上回る特性は、前記周囲照明の色相を備える、項目17に記載の仮想または拡張現実ディスプレイシステム。
(項目20)
前記仮想オブジェクトの前記1つまたはそれを上回る特性は、前記仮想オブジェクトの明度を備える、項目17に記載の仮想または拡張現実ディスプレイシステム。
(項目21)
前記仮想オブジェクトの前記1つまたはそれを上回る特性は、前記仮想オブジェクトの色相を備える、項目17に記載の仮想または拡張現実ディスプレイシステム。
(項目22)
仮想または拡張現実ディスプレイシステムにおける方法であって、
センサから周囲照明の1つまたはそれを上回る特性を受信するステップと、
プロセッサを使用して、前記周囲照明の前記1つまたはそれを上回る特性に基づいて、仮想オブジェクトの1つまたはそれを上回る特性を調節するステップと、
前記仮想オブジェクトをユーザに表示するステップと、
を含む、方法。
等のデジタルメモリとを含んでもよい。これは、画像捕捉デバイス(例えば、カメラ)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等のセンサから捕捉されるデータを含む。センサは、例えば、フレーム64に動作可能に結合されてもよい、または別様にユーザ60に取り付けられてもよい。代替として、または加えて、センサデータは、おそらく、そのような処理または読出後のディスプレイ62への通過のために、遠隔処理モジュール72および/または遠隔データリポジトリ74を使用して取得および/または処理されてもよい。ローカル処理およびデータモジュール70は、遠隔モジュール(72、74)が相互に動作可能に結合され、ローカル処理およびデータモジュール70へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク(76、78)によって、これらの遠隔処理モジュール72および遠隔データリポジトリ74に動作可能に結合されてもよい。
(182、184、186、188、190)はそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼4に出力するように構成される、光再指向要素(282、284、286、288、290)を含んでもよい。光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光再指向要素(282、284、286、288、290)は、反射および/または回折光学特徴であってもよい。説明の容易性および図面の明確性のために、導波管(182、184、186、188、190)の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光再指向要素(282、284、286、288、290)は、上部および/または底部主要表面に配置されてもよい、および/または導波管(182、184、186、188、190)の容積内に直接配置されてもよい。いくつかの実施形態では、光再指向要素(282、284、286、288、290)は、導波管(182、184、186、188、190)を形成するように透明基板に取り付けられる、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管(182、184、186、188、190)は、モノリシックな材料片であってもよく、光再指向要素(282、284、286、288、290)は、その材料片の表面上および/またはその内部に形成されてもよい。
は、回折パターンまたは「回折光学要素」(本明細書では「DOE」とも称される)を形成する、回折特徴である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差点を伴って眼4に向かって偏向される一方で、残りが全内部反射を介して導波管を通って移動し続けるように、比較的低い回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果は、導波管内の周囲で反射する本特定のコリメートされたビームに関して、眼4に向かった出射放出の非常に均一なパターンである。
において眼4に伝搬するように再指向されてもよい。実質的に平行な出射ビームは、眼4からの大きいシミュレーションされた距離(例えば、光学無限遠)における深度平面に対応する導波管を示し得ることを理解されたい。他の導波管は、より発散する出射ビームパターンを出力してもよく、これは、眼4がより近いシミュレーションされた距離上で合焦するように遠近調節することを要求し、光学無限遠より眼4に近い距離からの光として脳によって解釈されるであろう。
(ディスプレイタイミング方式)
(ビデオデータ用の制御データ)
(ビットB1およびB2)は、最大4つの深度平面のうちのいずれにそのピクセルが対応するかを規定するために使用されることができる。より多いまたは少ない深度平面がある場合には、より多数または少数の色ビットが犠牲にされ得る。例えば、ビット深度が1ビット低減される場合、最大2つの深度平面が規定されることができる。ビット深度が3ビット低減される場合、最大8つの深度平面が規定されることができる、等である。このようにして、色値のダイナミックレンジは、直接、画像データ自体内で深度平面インジケータデータを符号化する能力とトレードオフされ得る。
(多重深度平面画像圧縮)
(動的に構成可能なディスプレイ描画エリア)
(図16に示されるような)を含んでもよい。ディスプレイのそのような下位部分は、ライトフィールド画像データ内の深度平面毎に判定されることができる。ディスプレイコントローラは、次いで、ディスプレイに、ビデオのその特定のフレームのためのディスプレイの識別された下位部分をリフレッシュさせることのみができる。本プロセスは、ビデオのフレーム毎に行われることができる。いくつかの実施形態では、コントローラは、ビデオデータの各フレームの冒頭におけるリフレッシュされるであろうディスプレイのエリアを動的に調節する。
(強化された頭部姿勢推定)
(例えば、場面の視野が偏移または傾転されることができる)。
(強化された「トーテム」位置推定)
(周囲照明に基づく画像色の調節)
Claims (26)
- 画像データを表示するように構成されているディスプレイであって、前記画像データは、複数のフレームを備え、各フレームは、複数の深度平面を備える、ディスプレイと、
ディスプレイコントローラであって、
前記画像データを受信することと、
前記画像データに埋め込まれた制御情報に基づいて前記ディスプレイを制御することと
を行うように構成されているディスプレイコントローラと
を備え、
前記埋め込まれた制御情報は、前記複数の深度平面内の1つまたは複数の深度平面の非アクティブ化を規定する、
ディスプレイシステム。 - 前記非アクティブ化は、前記ディスプレイへの低減された電力入力である、請求項1に記載のディスプレイシステム。
- 前記非アクティブ化は、前記ディスプレイへの電力を遮断する、請求項2に記載のディスプレイシステム。
- 前記ディスプレイコントローラは、前記画像データに埋め込まれた前記制御情報に基づいて前記複数の深度平面内の1つまたは複数の深度平面を順序付けるようにさらに構成されている、請求項1に記載のディスプレイシステム。
- 少なくとも1つの画像データフレームの1つまたは複数のピクセルにおける1つまたは複数の値は、前記埋め込まれた制御情報によって置換されている、請求項1に記載のディスプレイシステム。
- 前記1つまたは複数の値は、前記1つまたは複数のピクセルにおける最下位ビットである、請求項5に記載のディスプレイシステム。
- 前記ディスプレイは、前記複数の深度平面のための前記画像データを表示するために複数の導波管を備える、請求項1に記載のディスプレイシステム。
- 前記複数の深度平面は、それぞれの複数の異なる波面曲率と関連付けられている、請求項7に記載のディスプレイシステム。
- 前記ディスプレイは、複数の別個の画像投入デバイスを備え、前記画像投入デバイスの各々は、前記複数の深度平面のうちの1つのための前記画像データを提供するように構成され、前記1つまたは複数の深度平面の非アクティブ化は、対応する1つまたは複数の画像投入デバイスへの低減された電力入力を含む、請求項1に記載のディスプレイシステム。
- 画像データを表示するように構成されているディスプレイであって、前記画像データは、複数のフレームを備え、各フレームは、複数の深度平面を備え、各深度平面は、複数の色視野を備える、ディスプレイと、
ディスプレイコントローラであって、
前記画像データを受信することと、
前記画像データに埋め込まれた制御情報に基づいて前記ディスプレイを制御することと
を行うように構成されているディスプレイコントローラと
を備え、
前記埋め込まれた制御情報は、1つまたは複数の深度平面内の1つまたは複数の色視野の非アクティブ化を規定する、
ディスプレイシステム。 - 前記非アクティブ化は、前記ディスプレイへの低減された電力入力である、請求項10に記載のディスプレイシステム。
- 前記非アクティブ化は、前記ディスプレイへの電力を遮断する、請求項11に記載のディスプレイシステム。
- 少なくとも1つの画像データフレームの1つまたは複数のピクセルにおける1つまたは複数の値は、前記埋め込まれた制御情報によって置換されている、請求項10に記載のディスプレイシステム。
- 前記1つまたは複数の値は、前記1つまたは複数のピクセルにおける最下位ビットである、請求項13に記載のディスプレイシステム。
- 前記ディスプレイは、前記複数の深度平面のための前記画像データを表示するために複数の導波管を備える、請求項10に記載のディスプレイシステム。
- 前記複数の深度平面は、それぞれの複数の異なる波面曲率と関連付けられている、請求項15に記載のディスプレイシステム。
- 前記ディスプレイは、複数の別個の画像投入デバイスを備え、前記画像投入デバイスの各々は、前記複数の深度平面のうちの1つの前記色視野のうちの1つのための前記画像データを提供するように構成され、前記1つまたは複数の色視野の非アクティブ化は、対応する1つまたは複数の画像投入デバイスへの低減された電力入力を含む、請求項10に記載のディスプレイシステム。
- 複数のフレームを備える画像データを受信することであって、各フレームは、複数の深度平面を備える、ことと、
前記画像データに埋め込まれた制御情報に基づいてディスプレイを制御することと
を含み、前記埋め込まれた制御情報は、前記複数の深度平面内の1つまたは複数の深度平面の非アクティブ化を規定する、方法。 - 前記非アクティブ化は、前記ディスプレイへの低減された電力入力である、請求項18に記載の方法。
- 前記非アクティブ化は、前記ディスプレイへの電力入力を遮断する、請求項19に記載の方法。
- 前記画像データに埋め込まれた前記制御情報に基づいて前記複数の深度平面内の1つまたは複数の深度平面を順序付けることをさらに含む、請求項18に記載の方法。
- 少なくとも1つの画像データフレームの1つまたは複数のピクセルにおける1つまたは複数の値は、前記埋め込まれた制御情報によって置換されている、請求項18に記載の方法。
- 前記1つまたは複数の値は、前記1つまたは複数のピクセルにおける最下位ビットである、請求項22に記載の方法。
- 複数のフレームを備える画像データを受信することであって、各フレームは、複数の深度平面を備え、各深度平面は、複数の色視野を備える、ことと、
前記画像データに埋め込まれた制御情報に基づいてディスプレイを制御することと
を含み、前記埋め込まれた制御情報は、1つまたは複数の深度平面内の1つまたは複数の色視野の非アクティブ化を規定する、方法。 - 前記非アクティブ化は、前記ディスプレイへの低減された電力入力である、請求項24に記載の方法。
- 前記非アクティブ化は、前記ディスプレイへの電力入力を遮断する、請求項25に記載の方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022179495A JP7454627B2 (ja) | 2015-08-18 | 2022-11-09 | 仮想および拡張現実システムならびに方法 |
JP2024014037A JP2024036460A (ja) | 2015-08-18 | 2024-02-01 | 仮想および拡張現実システムならびに方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562206765P | 2015-08-18 | 2015-08-18 | |
US62/206,765 | 2015-08-18 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508163A Division JP7036711B2 (ja) | 2015-08-18 | 2016-08-17 | 仮想および拡張現実システムならびに方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022179495A Division JP7454627B2 (ja) | 2015-08-18 | 2022-11-09 | 仮想および拡張現実システムならびに方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021093206A JP2021093206A (ja) | 2021-06-17 |
JP7230082B2 true JP7230082B2 (ja) | 2023-02-28 |
Family
ID=58051711
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508163A Active JP7036711B2 (ja) | 2015-08-18 | 2016-08-17 | 仮想および拡張現実システムならびに方法 |
JP2019110260A Active JP7036773B2 (ja) | 2015-08-18 | 2019-06-13 | 仮想および拡張現実システムならびに方法 |
JP2021033518A Active JP7230082B2 (ja) | 2015-08-18 | 2021-03-03 | 仮想および拡張現実システムならびに方法 |
JP2022179495A Active JP7454627B2 (ja) | 2015-08-18 | 2022-11-09 | 仮想および拡張現実システムならびに方法 |
JP2024014037A Pending JP2024036460A (ja) | 2015-08-18 | 2024-02-01 | 仮想および拡張現実システムならびに方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018508163A Active JP7036711B2 (ja) | 2015-08-18 | 2016-08-17 | 仮想および拡張現実システムならびに方法 |
JP2019110260A Active JP7036773B2 (ja) | 2015-08-18 | 2019-06-13 | 仮想および拡張現実システムならびに方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022179495A Active JP7454627B2 (ja) | 2015-08-18 | 2022-11-09 | 仮想および拡張現実システムならびに方法 |
JP2024014037A Pending JP2024036460A (ja) | 2015-08-18 | 2024-02-01 | 仮想および拡張現実システムならびに方法 |
Country Status (10)
Country | Link |
---|---|
US (3) | US11481911B2 (ja) |
EP (2) | EP3338251B1 (ja) |
JP (5) | JP7036711B2 (ja) |
KR (2) | KR102511490B1 (ja) |
CN (4) | CN109409251B (ja) |
AU (2) | AU2016308731A1 (ja) |
CA (1) | CA2995978A1 (ja) |
IL (2) | IL257505B2 (ja) |
NZ (2) | NZ739860A (ja) |
WO (1) | WO2017031246A1 (ja) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9407865B1 (en) * | 2015-01-21 | 2016-08-02 | Microsoft Technology Licensing, Llc | Shared scene mesh data synchronization |
CN109409251B (zh) | 2015-08-18 | 2023-05-16 | 奇跃公司 | 虚拟和增强现实系统和方法 |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
KR20180000771A (ko) * | 2016-06-23 | 2018-01-04 | 삼성디스플레이 주식회사 | 표시 장치 |
JP6880174B2 (ja) | 2016-08-22 | 2021-06-02 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 仮想現実、拡張現実、および複合現実システムおよび方法 |
US10869026B2 (en) * | 2016-11-18 | 2020-12-15 | Amitabha Gupta | Apparatus for augmenting vision |
CN110679147B (zh) * | 2017-03-22 | 2022-03-08 | 奇跃公司 | 用于显示系统的基于深度的凹式渲染 |
US20180300916A1 (en) * | 2017-04-14 | 2018-10-18 | Facebook, Inc. | Prompting creation of a networking system communication with augmented reality elements in a camera viewfinder display |
CN110431468B (zh) * | 2017-04-28 | 2022-12-06 | 惠普发展公司,有限责任合伙企业 | 确定用于显示系统的用户躯干的位置和取向 |
JP6257825B1 (ja) * | 2017-05-26 | 2018-01-10 | 株式会社コロプラ | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
WO2018223179A1 (en) * | 2017-06-05 | 2018-12-13 | Immersive Robotics Pty Ltd | Digital content stream compression |
JP6791034B2 (ja) * | 2017-06-16 | 2020-11-25 | 株式会社Jvcケンウッド | 表示システム、映像処理装置、画素ずらし表示装置、映像処理方法、表示方法、及びプログラム |
US10338400B2 (en) | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
IL253432A0 (en) * | 2017-07-11 | 2017-09-28 | Elbit Systems Ltd | System and method for correcting a rolling display effect |
US11311188B2 (en) * | 2017-07-13 | 2022-04-26 | Micro Medical Devices, Inc. | Visual and mental testing using virtual reality hardware |
CN107835403B (zh) * | 2017-10-20 | 2020-06-26 | 华为技术有限公司 | 一种以3d视差效果显示的方法及装置 |
US10705606B1 (en) * | 2017-10-23 | 2020-07-07 | Facebook Technologies, Llc | Tracking sensor integration system and method for recursive estimation of pose of user's body part |
CA3078895A1 (en) * | 2017-10-27 | 2019-05-02 | Magic Leap, Inc. | Virtual reticle for augmented reality systems |
US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
WO2019178566A1 (en) | 2018-03-16 | 2019-09-19 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
US11012694B2 (en) * | 2018-05-01 | 2021-05-18 | Nvidia Corporation | Dynamically shifting video rendering tasks between a server and a client |
US10284752B1 (en) * | 2018-05-22 | 2019-05-07 | BioForce Analytics LLC | Method for determining a start offset between a video recording device and an inertial measurement unit for use in synchronizing motion data of an object collected by the inertial measurement unit attached to the object with video frames captured by an image sensor of the video recording device of the object in motion |
US10469750B1 (en) | 2018-05-22 | 2019-11-05 | BioForce Analytics LLC | Method for embedding motion data of an object into a video file to allow for synchronized visualization of the motion data upon playback of the video file |
US11624909B2 (en) | 2018-06-18 | 2023-04-11 | Magic Leap, Inc. | Head-mounted display systems with power saving functionality |
CN112567287A (zh) * | 2018-06-18 | 2021-03-26 | 奇跃公司 | 具有帧调制功能的增强现实显示 |
US10812731B2 (en) * | 2018-08-22 | 2020-10-20 | Qualcomm Incorporated | Adjustable receiver exposure times for active depth sensing systems |
US10991283B2 (en) * | 2018-09-04 | 2021-04-27 | Apple Inc. | Decimated burn-in compensation with pixel shifting |
US11189054B2 (en) * | 2018-09-28 | 2021-11-30 | Apple Inc. | Localization and mapping using images from multiple devices |
CN109633632B (zh) * | 2018-12-26 | 2021-11-30 | 青岛小鸟看看科技有限公司 | 一种头戴显示设备,手柄及其定位追踪方法 |
CN109862339A (zh) * | 2019-02-19 | 2019-06-07 | 浙江舜宇光学有限公司 | 增强现实的再现方法、装置、系统、存储介质和处理器 |
WO2020172610A1 (en) | 2019-02-22 | 2020-08-27 | Vuzix Corporation | Parallel plate waveguides |
CN110033521B (zh) * | 2019-04-01 | 2020-01-14 | 重庆固成未来教育科技有限公司 | 一种基于vr与ar技术的三维可视化系统 |
EP3973510A4 (en) | 2019-05-23 | 2022-07-13 | Magic Leap, Inc. | MIXED MODE THREE-DIMENSIONAL DISPLAY SYSTEMS AND METHODS |
JP7379961B2 (ja) | 2019-09-04 | 2023-11-15 | 株式会社Jvcケンウッド | 表示システム、及び表示方法 |
CN110782532B (zh) * | 2019-10-23 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 图像生成方法、生成装置、电子设备及存储介质 |
EP4058835A4 (en) | 2019-11-13 | 2022-12-07 | Magic Leap, Inc. | AMBIENT LIGHT MANAGEMENT SYSTEMS AND METHODS FOR PORTABLE DEVICES |
WO2021113482A1 (en) | 2019-12-06 | 2021-06-10 | Magic Leap, Inc. | Virtual, augmented, and mixed reality systems and methods |
US11276201B1 (en) | 2020-06-01 | 2022-03-15 | Snap Inc. | Localizing an augmented reality device |
US11748954B2 (en) * | 2020-06-01 | 2023-09-05 | Snap Inc. | Tracking an augmented reality device |
SE2030252A1 (en) * | 2020-08-13 | 2022-02-14 | Nagoon AB | Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world |
JP2024513890A (ja) * | 2021-04-09 | 2024-03-27 | インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ | 多平面画像のシーケンスを符号化/復号するための方法及び装置、コンピュータ生成ホログラムを再構成するための方法及び装置 |
US11288027B1 (en) * | 2021-04-14 | 2022-03-29 | Varjo Technologies Oy | Peripheral display apparatus and system |
JP2022185485A (ja) | 2021-06-02 | 2022-12-14 | トヨタ自動車株式会社 | ステータとその製造方法 |
US20230136662A1 (en) * | 2021-10-27 | 2023-05-04 | Meta Platforms Technologies, Llc | Parallax Asynchronous Spacewarp for Multiple Frame Extrapolation |
CN114265330B (zh) * | 2021-12-17 | 2023-05-02 | 中国人民解放军空军特色医学中心 | 一种基于模拟飞行的增强现实显示效果评估系统及方法 |
US11720380B1 (en) | 2022-05-18 | 2023-08-08 | Bank Of America Corporation | System and method for updating augmented reality navigation instructions based on a detected error |
US11586286B1 (en) | 2022-05-18 | 2023-02-21 | Bank Of America Corporation | System and method for navigating on an augmented reality display |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009025919A (ja) | 2007-07-17 | 2009-02-05 | Canon Inc | 画像処理装置、画像処理方法 |
US20130286053A1 (en) | 2012-04-25 | 2013-10-31 | Rod G. Fleck | Direct view augmented reality eyeglass-type display |
US20150116528A1 (en) | 2012-08-04 | 2015-04-30 | Paul Lapstun | Scanning Light Field Camera |
US20150201176A1 (en) | 2014-01-10 | 2015-07-16 | Ostendo Technologies, Inc. | Methods for Full Parallax Compressed Light Field 3D Imaging Systems |
WO2015081313A3 (en) | 2013-11-27 | 2015-11-12 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
Family Cites Families (103)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US6351261B1 (en) | 1993-08-31 | 2002-02-26 | Sun Microsystems, Inc. | System and method for a virtual reality system having a frame buffer that stores a plurality of view points that can be selected and viewed by the user |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US6084979A (en) * | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
DE19906769A1 (de) | 1998-02-19 | 1999-12-16 | Leica Microsystems | Überlastschutz zur Vermeidung einer Beschädigung optischer Komponenten |
US6377276B1 (en) * | 1998-06-18 | 2002-04-23 | Sony Corporation | Bitmap animation of on-screen-display graphics over a distributed network and a clipping region having a visible window |
US6801213B2 (en) | 2000-04-14 | 2004-10-05 | Brillian Corporation | System and method for superframe dithering in a liquid crystal display |
US20050193425A1 (en) * | 2000-07-24 | 2005-09-01 | Sanghoon Sull | Delivery and presentation of content-relevant information associated with frames of audio-visual programs |
JP3406965B2 (ja) | 2000-11-24 | 2003-05-19 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法 |
US7850304B2 (en) | 2001-01-23 | 2010-12-14 | Kenneth Martin Jacobs | Continuous adjustable 3Deeps filter spectacles for optimized 3Deeps stereoscopic viewing and its control method and means |
US7604348B2 (en) * | 2001-01-23 | 2009-10-20 | Kenneth Martin Jacobs | Continuous adjustable 3deeps filter spectacles for optimized 3deeps stereoscopic viewing and its control method and means |
US7522257B2 (en) | 2001-01-23 | 2009-04-21 | Kenneth Jacobs | System and method for a 3-D phenomenoscope |
US7508485B2 (en) | 2001-01-23 | 2009-03-24 | Kenneth Martin Jacobs | System and method for controlling 3D viewing spectacles |
US7218339B2 (en) * | 2002-01-22 | 2007-05-15 | Kenneth Jacobs | Eternalism, a method for creating an appearance of sustained three-dimensional motion-direction of unlimited duration, using a finite number of pictures |
US7391888B2 (en) * | 2003-05-30 | 2008-06-24 | Microsoft Corporation | Head pose assessment methods and systems |
JP4463538B2 (ja) | 2003-12-15 | 2010-05-19 | 三菱電機株式会社 | マルチディスプレイ三次元グラフィックス表示装置 |
US7567241B2 (en) * | 2004-08-03 | 2009-07-28 | Silverbrook Research Pty Ltd | Stylus with customizable appearance |
JP4904692B2 (ja) | 2005-01-28 | 2012-03-28 | 株式会社ニコン | 画像再生装置、及び画像再生プログラム |
JP2007018173A (ja) | 2005-07-06 | 2007-01-25 | Canon Inc | 画像処理方法、画像処理装置 |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
JP2007148567A (ja) | 2005-11-24 | 2007-06-14 | Canon Inc | 画像処理方法、画像処理装置 |
CN103000137B (zh) * | 2005-12-19 | 2015-10-07 | 皮克斯特隆尼斯有限公司 | 直视mems显示装置以及在其上生成图像的方法 |
JP4519865B2 (ja) | 2007-01-29 | 2010-08-04 | 三菱電機株式会社 | 通信装置 |
JP4857196B2 (ja) | 2007-05-31 | 2012-01-18 | キヤノン株式会社 | 頭部装着型表示装置、及びその制御方法 |
US20130044104A1 (en) * | 2008-01-22 | 2013-02-21 | Jaison Bouie | Methods and Apparatus for Displaying an Image with Enhanced Depth Effect |
EP2329313A4 (en) | 2008-08-27 | 2013-04-10 | Puredepth Ltd | IMPROVEMENTS OF, OR IN CONNECTION WITH ELECTRONIC VISUAL DISPLAYS |
PL2342693T3 (pl) | 2008-09-25 | 2012-12-31 | Koninl Philips Electronics Nv | Przetwarzanie danych obrazu trójwymiarowego |
TWI542190B (zh) | 2008-11-04 | 2016-07-11 | 皇家飛利浦電子股份有限公司 | 編碼三維影像信號的方法及系統、經編碼之三維影像信號、解碼三維影像信號的方法及系統 |
ES2537073T3 (es) * | 2008-11-18 | 2015-06-02 | Panasonic Corporation | Dispositivo de reproducción, método de reproducción y programa para reproducción estereoscópica |
US9256282B2 (en) * | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
WO2010143441A1 (ja) | 2009-06-11 | 2010-12-16 | パナソニック株式会社 | 再生装置、集積回路、記録媒体 |
JP5604825B2 (ja) | 2009-08-19 | 2014-10-15 | ソニー株式会社 | 画像処理装置および方法 |
JP2011082675A (ja) | 2009-10-05 | 2011-04-21 | Sony Corp | 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム |
US20110175902A1 (en) * | 2010-01-20 | 2011-07-21 | Apple Inc. | Multilayer display device |
GB2477120A (en) * | 2010-01-22 | 2011-07-27 | Icescreen Ehf | Media editing using poly-dimensional display of sequential image frames |
EP2586209A1 (en) | 2010-06-28 | 2013-05-01 | Thomson Licensing | Method and apparatus for customizing 3-dimensional effects of stereo content |
KR20120017228A (ko) * | 2010-08-18 | 2012-02-28 | 엘지전자 주식회사 | 이동 단말기 및 상기 이동 단말기의 영상 표시 방법 |
JP5837606B2 (ja) | 2010-11-15 | 2015-12-24 | エルジー エレクトロニクス インコーポレイティド | フレームフォーマット変換方法及びその方法を使用する装置 |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
JP2012120067A (ja) | 2010-12-03 | 2012-06-21 | Brother Ind Ltd | シースルー型画像表示装置およびシースルー型画像表示方法 |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
US9041774B2 (en) * | 2011-01-07 | 2015-05-26 | Sony Computer Entertainment America, LLC | Dynamic adjustment of predetermined three-dimensional video settings based on scene content |
US8514225B2 (en) | 2011-01-07 | 2013-08-20 | Sony Computer Entertainment America Llc | Scaling pixel depth values of user-controlled virtual object in three-dimensional scene |
CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
JP2013003848A (ja) | 2011-06-16 | 2013-01-07 | Nippon Telegr & Teleph Corp <Ntt> | 仮想物体表示装置 |
JP2013066075A (ja) | 2011-09-01 | 2013-04-11 | Sony Corp | 送信装置、送信方法および受信装置 |
JP2015504616A (ja) | 2011-09-26 | 2015-02-12 | マイクロソフト コーポレーション | 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正 |
US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
CA3207408A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
KR102376368B1 (ko) | 2011-11-23 | 2022-03-17 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
US9392251B2 (en) * | 2011-12-29 | 2016-07-12 | Samsung Electronics Co., Ltd. | Display apparatus, glasses apparatus and method for controlling depth |
EP2683168B1 (en) * | 2012-02-16 | 2019-05-01 | Sony Corporation | Transmission device, transmission method and receiver device |
KR102306729B1 (ko) | 2012-04-05 | 2021-09-28 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
GB2501929B (en) * | 2012-05-11 | 2015-06-24 | Sony Comp Entertainment Europe | Apparatus and method for augmented reality |
JP2013254151A (ja) | 2012-06-08 | 2013-12-19 | Canon Inc | 画像処理装置および画像処理方法 |
CN115494654A (zh) * | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US10629003B2 (en) * | 2013-03-11 | 2020-04-21 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US8957855B2 (en) | 2012-06-25 | 2015-02-17 | Cyberlink Corp. | Method for displaying a stereoscopic cursor among stereoscopic objects |
US10129524B2 (en) * | 2012-06-26 | 2018-11-13 | Google Llc | Depth-assigned content for depth-enhanced virtual reality images |
RU2012138174A (ru) * | 2012-09-06 | 2014-03-27 | Сисвел Текнолоджи С.Р.Л. | Способ компоновки формата цифрового стереоскопического видеопотока 3dz tile format |
US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
JP5873982B2 (ja) | 2012-10-09 | 2016-03-01 | パナソニックIpマネジメント株式会社 | 3次元表示装置、3次元画像処理装置および3次元表示方法 |
KR101909630B1 (ko) | 2012-10-30 | 2018-10-18 | 삼성전자주식회사 | 동작 인식 방법 및 동작 인식 장치 |
US9448404B2 (en) | 2012-11-13 | 2016-09-20 | Qualcomm Incorporated | Modifying virtual object display properties to increase power performance of augmented reality devices |
KR101984915B1 (ko) * | 2012-12-03 | 2019-09-03 | 삼성전자주식회사 | 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템 |
WO2014106823A2 (en) * | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities |
JP6025050B2 (ja) | 2013-01-11 | 2016-11-16 | パナソニックIpマネジメント株式会社 | 照明装置 |
JP6434918B2 (ja) | 2013-01-15 | 2018-12-05 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 超高分解能の走査ファイバディスプレイ |
US10371943B2 (en) * | 2013-03-14 | 2019-08-06 | Valve Corporation | Method and system to control the focus depth of projected images |
KR102458124B1 (ko) | 2013-03-15 | 2022-10-21 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
RU2015145510A (ru) | 2013-03-26 | 2017-05-03 | Сейко Эпсон Корпорейшн | Наголовное устройство отображения, способ управления наголовным устройством отображения и система отображения |
US9036078B1 (en) * | 2013-05-14 | 2015-05-19 | Google Inc. | Reducing light damage in shutterless imaging devices |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9514571B2 (en) | 2013-07-25 | 2016-12-06 | Microsoft Technology Licensing, Llc | Late stage reprojection |
JP5466786B1 (ja) * | 2013-08-28 | 2014-04-09 | 株式会社 ディー・エヌ・エー | 画像処理装置及び画像処理プログラム |
KR102341870B1 (ko) | 2013-10-16 | 2021-12-20 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
KR102197504B1 (ko) | 2013-12-18 | 2020-12-31 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법 |
CA3089749A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
GB2524478A (en) | 2014-03-20 | 2015-09-30 | Nokia Technologies Oy | Method, apparatus and computer program product for filtering of media content |
US9563269B2 (en) | 2014-03-25 | 2017-02-07 | Microsoft Technology Licensing, Llc | Scanning liquid-crystal display backlight |
US9971153B2 (en) | 2014-03-29 | 2018-05-15 | Frimory Technologies Ltd. | Method and apparatus for displaying video data |
US9495801B2 (en) * | 2014-05-01 | 2016-11-15 | Microsoft Technology Licensing, Llc | Pose tracking an augmented reality device |
JP2017526078A (ja) | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法 |
CA3124368C (en) | 2014-05-30 | 2023-04-25 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
GB2528699B (en) * | 2014-07-29 | 2017-05-03 | Sony Computer Entertainment Europe Ltd | Image processing |
CN104392045B (zh) * | 2014-11-25 | 2018-01-09 | 沈阳建筑大学 | 一种基于智能移动终端的实时增强虚拟现实系统及方法 |
KR101844883B1 (ko) * | 2014-12-23 | 2018-04-03 | 메타 컴퍼니 | 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템 |
US10721517B2 (en) | 2015-03-20 | 2020-07-21 | Liuzhou Guitong Technology Co., Ltd. | Method and system for synchronously reproducing multimedia multi-information |
US10284816B2 (en) * | 2015-03-23 | 2019-05-07 | Intel Corporation | Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US10089790B2 (en) * | 2015-06-30 | 2018-10-02 | Ariadne's Thread (Usa), Inc. | Predictive virtual reality display system with post rendering correction |
US9240069B1 (en) * | 2015-06-30 | 2016-01-19 | Ariadne's Thread (Usa), Inc. | Low-latency virtual reality display system |
CN109409251B (zh) | 2015-08-18 | 2023-05-16 | 奇跃公司 | 虚拟和增强现实系统和方法 |
AU2017328161B2 (en) | 2016-09-13 | 2022-02-17 | Magic Leap, Inc. | Sensory eyewear |
US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
-
2016
- 2016-08-17 CN CN201811171282.6A patent/CN109409251B/zh active Active
- 2016-08-17 CA CA2995978A patent/CA2995978A1/en active Pending
- 2016-08-17 CN CN202210656307.1A patent/CN114998557A/zh active Pending
- 2016-08-17 JP JP2018508163A patent/JP7036711B2/ja active Active
- 2016-08-17 WO PCT/US2016/047425 patent/WO2017031246A1/en active Application Filing
- 2016-08-17 IL IL257505A patent/IL257505B2/en unknown
- 2016-08-17 KR KR1020187007629A patent/KR102511490B1/ko active IP Right Grant
- 2016-08-17 US US15/239,710 patent/US11481911B2/en active Active
- 2016-08-17 NZ NZ73986016A patent/NZ739860A/en unknown
- 2016-08-17 IL IL305152A patent/IL305152A/en unknown
- 2016-08-17 CN CN201811171280.7A patent/CN109407835B/zh active Active
- 2016-08-17 AU AU2016308731A patent/AU2016308731A1/en not_active Abandoned
- 2016-08-17 CN CN201680060759.6A patent/CN108140259B/zh active Active
- 2016-08-17 EP EP16837782.8A patent/EP3338251B1/en active Active
- 2016-08-17 EP EP23152806.8A patent/EP4198911A1/en active Pending
- 2016-08-17 NZ NZ752336A patent/NZ752336A/en unknown
- 2016-08-17 KR KR1020237008861A patent/KR20230042142A/ko active IP Right Grant
-
2017
- 2017-11-06 US US15/804,356 patent/US11302018B2/en active Active
-
2019
- 2019-06-13 JP JP2019110260A patent/JP7036773B2/ja active Active
-
2021
- 2021-03-03 JP JP2021033518A patent/JP7230082B2/ja active Active
- 2021-07-26 AU AU2021209169A patent/AU2021209169A1/en not_active Abandoned
-
2022
- 2022-09-13 US US17/944,037 patent/US20230005167A1/en active Pending
- 2022-11-09 JP JP2022179495A patent/JP7454627B2/ja active Active
-
2024
- 2024-02-01 JP JP2024014037A patent/JP2024036460A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009025919A (ja) | 2007-07-17 | 2009-02-05 | Canon Inc | 画像処理装置、画像処理方法 |
US20130286053A1 (en) | 2012-04-25 | 2013-10-31 | Rod G. Fleck | Direct view augmented reality eyeglass-type display |
US20150116528A1 (en) | 2012-08-04 | 2015-04-30 | Paul Lapstun | Scanning Light Field Camera |
WO2015081313A3 (en) | 2013-11-27 | 2015-11-12 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US20150201176A1 (en) | 2014-01-10 | 2015-07-16 | Ostendo Technologies, Inc. | Methods for Full Parallax Compressed Light Field 3D Imaging Systems |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7230082B2 (ja) | 仮想および拡張現実システムならびに方法 | |
AU2023201212B2 (en) | Virtual, augmented, and mixed reality systems and methods | |
US11800218B2 (en) | Virtual and augmented reality systems and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7230082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |