KR20190026891A - 홀로그래픽 감각 데이터 생성, 조작 그리고 전송을 위한 시스템 및 방법 - Google Patents

홀로그래픽 감각 데이터 생성, 조작 그리고 전송을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20190026891A
KR20190026891A KR1020197004036A KR20197004036A KR20190026891A KR 20190026891 A KR20190026891 A KR 20190026891A KR 1020197004036 A KR1020197004036 A KR 1020197004036A KR 20197004036 A KR20197004036 A KR 20197004036A KR 20190026891 A KR20190026891 A KR 20190026891A
Authority
KR
South Korea
Prior art keywords
energy
data
distortion
data points
content data
Prior art date
Application number
KR1020197004036A
Other languages
English (en)
Inventor
조나단 션 카라핀
브렌던 엘우드 베벤시
Original Assignee
라이트 필드 랩 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이트 필드 랩 인코포레이티드 filed Critical 라이트 필드 랩 인코포레이티드
Priority claimed from PCT/US2017/042469 external-priority patent/WO2018014047A1/en
Publication of KR20190026891A publication Critical patent/KR20190026891A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0096—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the lights guides being of the hollow type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0864—Catadioptric systems having non-imaging properties
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0994—Fibers, light pipes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/32—Holograms used as optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/02—Optical fibres with cladding with or without a coating
    • G02B6/02042—Multicore optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/02—Optical fibres with cladding with or without a coating
    • G02B6/02295—Microstructured optical fibre
    • G02B6/023—Microstructured optical fibre having different index layers arranged around the core for guiding light by reflection, i.e. 1D crystal, e.g. omniguide
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/26—Optical coupling means
    • G02B6/28—Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals
    • G02B6/293—Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals with wavelength selective means
    • G02B6/29304—Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals with wavelength selective means operating by diffraction, e.g. grating
    • G02B6/29316—Light guides comprising a diffractive element, e.g. grating in or on the light guide such that diffracted light is confined in the light guide
    • G02B6/29325—Light guides comprising a diffractive element, e.g. grating in or on the light guide such that diffracted light is confined in the light guide of the slab or planar or plate like form, i.e. confinement in a single transverse dimension only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H1/024—Hologram nature or properties
    • G03H1/0248—Volume holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q15/00—Devices for reflection, refraction, diffraction or polarisation of waves radiated from an antenna, e.g. quasi-optical devices
    • H01Q15/02—Refracting or diffracting devices, e.g. lens, prism
    • H01Q15/08—Refracting or diffracting devices, e.g. lens, prism formed of solid dielectric material
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0105—Holograms with particular structures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G02B25/002—Magnifying glasses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1073—Beam splitting or combining systems characterized by manufacturing or alignment methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/02—Simple or compound lenses with non-spherical faces
    • G02B3/08—Simple or compound lenses with non-spherical faces with discontinuous faces, e.g. Fresnel lens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/60—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images involving reflecting prisms and mirrors only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/02—Optical fibres with cladding with or without a coating
    • G02B6/0229—Optical fibres with cladding with or without a coating characterised by nanostructures, i.e. structures of size less than 100 nm, e.g. quantum dots
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/02—Optical fibres with cladding with or without a coating
    • G02B6/02295—Microstructured optical fibre
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
    • G02B6/08—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images with fibre bundle in form of plate
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/19—Microoptic array, e.g. lens array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G—PHYSICS
    • G21—NUCLEAR PHYSICS; NUCLEAR ENGINEERING
    • G21K—TECHNIQUES FOR HANDLING PARTICLES OR IONISING RADIATION NOT OTHERWISE PROVIDED FOR; IRRADIATION DEVICES; GAMMA RAY OR X-RAY MICROSCOPES
    • G21K1/00—Arrangements for handling particles or ionising radiation, e.g. focusing or moderating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/89—Television signal recording using holographic recording
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y02E10/52—PV systems with concentrators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Optical Couplings Of Light Guides (AREA)
  • Holo Graphy (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Liquid Crystal (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Optical Integrated Circuits (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Physical Or Chemical Processes And Apparatus (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Prostheses (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Optical Filters (AREA)
  • Lenses (AREA)
  • Light Guides In General And Applications Therefor (AREA)
  • Steroid Compounds (AREA)
  • Electroluminescent Light Sources (AREA)
  • Eyeglasses (AREA)
  • User Interface Of Digital Computer (AREA)
  • Nitrogen Condensed Heterocyclic Rings (AREA)
  • Processing Or Creating Images (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Credit Cards Or The Like (AREA)

Abstract

방법은 컨텐츠 데이터를 수신하고, 기준 표면인 제1 표면에 대한 데이터 포인트의 위치를 결정하여 상기 컨텐츠 데이터의 디지털 체적 표현을 생성하고; 상기 체적 표현 내의 데이터 포인트들을 4D 함수가 적용되는 제2 표면으로 트레이싱함으로써 상기 제2 표면에서의 데이터 포인트들의 4D 플렌옵틱 좌표를 결정하고; 제1 수렴 포인트를 갖는 4D 플렌옵틱 좌표들에 대한 에너지 소스 위치 값을 결정함으로써 상기 컨텐츠 데이터에 대한 4차원(4D) 플렌옵틱 좌표들을 결정한다.

Description

홀로그래픽 감각 데이터 생성, 조작 그리고 전송을 위한 시스템 및 방법
본 발명은 일반적으로 감각 정보를 포함하는 홀로그래픽 컨텐츠의 생성에 관한 것이며, 보다 구체적으로는 비-홀로그래픽 정보로부터 홀로그래픽 컨텐츠를 생성하는 것에 관한 것이다.
Gene Roddenberry의 스타 트랙(Star Trek)에 의해 대중화되고 1900년대 초에 작가인 Alexander Moszkowski에 의해 처음 구상되었던 "홀로덱(holodeck)" 챔버 내에서의 상호작용식 가상 세계의 꿈은 거의 한 세기 동안 과학 소설과 기술 혁신에 영감을 주었다. 하지만, 문학, 미디어 및 어린이와 성인의 집단적 상상력 외에는 이 경험에 대한 강력한 구현은 존재하지 않는다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 내용 중에 포함되어 있다.
본 개시의 이들 및 다른 장점들은 다음의 상세한 설명 및 첨부된 청구항들로부터 당업자에게 명백해질 것이다.
도 1은 에너지 지향 시스템에 대한 설계 파라미터를 나타내는 개략도이다.
도 2는 기계적 엔벨로프(envelope)를 갖는 능동 소자 영역을 갖는 에너지 시스템을 나타내는 개략도이다.
도 3은 에너지 릴레이 시스템을 나타내는 개략도이다.
도 4는 베이스 구조체에 함께 접착되어 고정된 에너지 릴레이 요소들의 실시예를 나타내는 개략도이다.
도 5a는 멀티 코어 광섬유를 통해 중계된 이미지의 일례를 나타내는 개략도이다.
도 5b는 횡방향 앤더슨 편재 원리의 특성들을 나타내는 에너지 릴레이를 통해 중계된 이미지의 일례를 나타내는 개략도이다.
도 6은 에너지 표면으로부터 뷰어로 전파된 광선을 나타내는 개략도이다.
도 7a는 본 발명의 일 실시예에 따른, 베이스 구조체, 4개의 에너지 장치 및 심리스 에너지 표면을 형성하는 4개의 에너지 릴레이 요소를 갖는 에너지 도파관 시스템의 사시도이다.
도 7b는 본 발명의 일 실시예에 따른 에너지 릴레이 시스템을 도시한다.
도 7c는 본 발명의 일 실시예에 따른 에너지 도파관 시스템의 실시예의 탑-다운 사시도이다.
도 7d는 도 7c에 도시된 실시예의 전면 사시도이다.
도 7e 내지 도 7l은 에너지 금지 요소의 다양한 실시예를 도시한다.
도 8은 홀로그래픽 감각 데이터를 처리하기 위한 프로세스의 일 실시예의 실시예를 나타내는 흐름도이다.
도 9는 감각 데이터로 구성된 가상 환경의 개략도이다.
도 10은 에너지 트레이싱의 일 실시예를 나타내는 개략도이다.
도 11은 일 실시예를 나타내는 개략도이다.
홀로덱("홀로덱 설계 파라미터들"이라고 통칭함)의 실시예는 가상의 사회적 상호작용식 환경 내에서 수신된 에너지 자극들이 실제적이라고 믿게 하기 위해 인간의 감각 수용체들을 속이기에 충분한 에너지 자극을 제공하며, 다음을 제공한다: 1) 외부 액세서리들 없이 양안 디스패러티, 머리 장착식 안경류 또는 기타 주변 장치들; 2) 임의의 수의 관찰자들을 위해 동시에 시인 체적(viewing volume) 전체에 걸친 정확한 운동 시차(motion parallax), 오클루젼(occlusion) 및 혼탁(opacity); 3) 모든 인지된 광선에 대한 눈의 동기식 수렴(convergence), 원근조절(accommodation) 및 축동(miosis)을 통한 시각 초점(visual focus); 및 4) 시각, 청각, 촉각, 미각, 후각 및/또는 균형을 위한 인간의 감각 "해상도"를 초과하는 충분한 밀도 및 해상도의 수렴 에너지 파 전파.
시각계, 청각계, 체성감각계, 미각계, 후각계 및 전정(vestibular)계를 포함하는 홀로덱 설계 파라미터들에 의해 제안되는 바와 같은 강력한 방식으로 모든 수용장들(receptive fields)을 위해 제공할 수 있는 기술이, 현재까지의 종래 기술에 기초하여, 수 세기는 아니더라도, 수 십년이 걸렸다.
본 개시에서, 라이트 필드(light field) 및 홀로그램이라는 용어들은 임의의 감각 수용체 반응의 자극에 대한 에너지 전파를 정의하기 위해 상호교환 가능하게 사용될 수 있다. 초기 개시들은 홀로그래픽 이미지 및 부피 측정 햅틱스를 위한 에너지 표면들을 통한 에너지 및 기계 에너지 전파의 예들을 지칭할 수 있는 한편, 모든 형태의 감각 수용체들이 이 개시에서 구상된다. 또한, 전파 경로들을 따른 에너지 전파를 위해 본원에 개시된 원리들은 에너지 방출 및 에너지 캡처 양방 모두에 적용 가능할 수 있다.
렌티큘러 프린팅(lenticular printing), 페퍼의 유령(Pepper's Ghost), 안경없는 스테레오스코픽(stereoscopic) 디스플레이, 수평 시차 디스플레이, 머리 장착식 VR 및 AR 디스플레이(HMD) 및 "폭슬로그래피(fauxlography)"로서 일반화된 이러한 다른 환상(illusions)을 포함하는 홀로그램과 종종 불행하게도 혼동되는 많은 기술들이 오늘날 존재한다. 이러한 기술들은 진정한 홀로그램 디스플레이의 원하는 특성들 중 일부를 나타낼 수 있기는 하지만, 4개의 식별된 홀로덱 설계 파라미터들 중 적어도 2개를 해결하기에 충분한 임의의 방식으로 인간의 시각적 감각 반응을 자극하는 능력이 부족하다.
이러한 도전들은 홀로그램 에너지 전파에 충분한 심리스 에너지 표면을 생성하기 위해 종래 기술에 의해 성공적으로 구현되지 못했다. 패럴랙스 배리어(parallax barriers), 호겔(hogels), 복셀(voxels), 회절 광학, 멀티 뷰 투영, 홀로그램 디퓨저(diffuser)들, 회전 거울, 다층형 디스플레이, 시간 순차 디스플레이, 머리 장착식 디스플레이 등을 포함하는 체적 및 방향 다중화 라이트 필드 디스플레이를 구현하기 위한 다양한 접근법들이 있기는 하지만, 종래의 접근법들은 이미지 품질, 해상도, 각도 샘플링 밀도, 크기, 비용, 안전성, 프레임 속도 등에 대한 타협을 수반할 수 있으며, 이는 궁극적으로 실현 불가능한 기술을 초래할 수 있다.
시각계, 청각계, 체성감각계들에 대한 홀로덱 설계 파라미터들을 달성하기 위해 각 계들의 각각의 인간의 예민성(acuity)이 연구되고 이해되어 인간의 감각 수용체들을 충분히 속일 수 있도록 에너지 파들을 전파한다. 시각계는 약 1각분(arc min)으로 분해할 수 있으며, 청각계는 배치에 있어서의 차이를 적게는 3도만큼 구별할 수 있으며 손에 있는 체성감각계는 2-12mm로 분리된 지점들을 식별할 수 있다. 이러한 예민성을 측정하기 위한 다양하고 상충되는 방식이 존재하기는 하지만, 이러한 값들은 에너지 전파의 인지를 자극하기 위한 시스템들과 방법들을 이해하기에 충분하다.
언급된 감각 수용체들 중에서 인간의 시각계는, 심지어 단일 광자조차도 감각을 유발할 수 있음을 고려하면, 단연코 가장 민감하다. 이러한 이유로, 이 소개의 대부분은 시각적인 에너지 파 전파에 초점을 맞출 것이고, 개시된 에너지 도파관 표면 내에 커플링된 상당히 낮은 해상도의 에너지 시스템들은 홀로그램 감각 인지를 유도하기 위해 적절한 신호들을 수렴할 수 있다. 달리 언급하지 않는 한, 모든 개시는 모든 에너지 및 감각 도메인들에 적용된다.
시인 체적 및 시인 거리(viewing distance)가 주어진 시각계에 대한 에너지 전파의 효과적인 설계 파라미터들을 계산할 때, 원하는 에너지 표면은 많은 기가픽셀의 유효 에너지 위치 밀도를 포함하도록 설계될 수 있다. 넓은 시인 체적 또는 근접 필드 시인(near field viewing)에 대해서는, 원하는 에너지 표면의 설계 파라미터들이 수백 기가픽셀 또는 그 이상의 유효 에너지 위치 밀도를 포함할 수 있다. 이와 비교하여, 원하는 에너지 소스는 볼륨 햅틱의 초음파 전파를 위한 1 내지 250메가픽셀의 에너지 위치 밀도 또는 입력 환경 변수들에 따른 홀로그램 사운드의 음향 전파를 위한 36 내지 3,600개의 유효 에너지 위치들의 어레이를 갖도록 설계될 수 있다. 주목해야 할 중요한 점은 개시된 양방향 에너지 표면 아키텍처를 이용하면 모든 컴포넌트가 홀로그램 전파를 가능하게 하기 위해 임의의 에너지 영역에 대해 적합한 구조체들을 형성하도록 구성될 수 있다는 것이다.
하지만, 오늘날 홀로덱을 사용하기 위한 주요 과제는 이용 가능한 시각적 기술들과 에너지 장치 제한들을 수반한다. 청각 및 초음파 장치들은, 복잡성이 과소 평가되어서는 안되지만, 각각의 수용장에서의 감각 예민성에 기초하여 원하는 밀도에 있어서의 규모 차이의 순서들이 주어지면 덜 어렵다. 홀로그램 에멀젼은 정적 이미지에서 간섭 패턴들을 인코딩하기 위해 원하는 밀도를 초과하는 해상도로 존재하지만, 최첨단 디스플레이 장치들은 해상도, 데이터 스루풋 및 제조 가능성에 의해 제한된다. 현재까지, 고유 디스플레이 장치는 시력에 대해 거의 홀로그램 해상도를 갖는 라이트 필드를 의미있게 생성할 수 없었다.
강력한 라이트 필드 디스플레이를 위해 원하는 해상도를 충족시킬 수 있는 단일 실리콘 기반의 장치를 제작하는 것은 실용적이지 않을 수 있으며 현재의 제조 능력을 넘어선 극히 복잡한 제조 공정들을 수반할 수 있다. 다수의 기존 디스플레이 장치를 함께 타일링하는 것에 대한 제한은, 패키징, 전자 장치, 인클로저, 광학 및 필연적으로 이미징, 비용 및/또는 크기 관점으로부터 실행 불가능한 기술을 초래하는 다수의 다른 과제들의 물리적 크기에 의해 형성된 심 및 갭을 수반한다.
본원에 개시된 실시예들은 홀로덱을 구축하기 위한 실제 경로를 제공할 수 있다.
예시적인 실시예들은 이제 본 명세서의 일부를 형성하고, 실시될 수 있는 예시적인 실시예들을 도시하는 첨부 도면들을 참조하여 설명될 것이다. 개시 및 첨부된 청구항들에서 사용된 바와 같이, "실시예", "예시적인 실시예" 및 "예시의 실시예"라는 용어들은 반드시 단일 실시예를 지칭하는 것이 아니며, 예시적인 실시예들의 범위 또는 사상으로부터 벗어나지 않으면서, 다양한 예시적인 실시예들이 용이하게 결합되고 상호교환될 수 있다. 또한, 본 명세서에서 사용되는 전문용어는 단지 예시적인 실시예들을 설명하기 위한 것이지, 제한하려고 의도되는 것은 아니다. 이와 관련하여, 본원에 사용된 바와 같이, 용어 "에서"는 "안에" 및 "위에"를 포함할 수 있고, 용어 "하나", "일" 및 "그"는 단수 및 복수의 참조들을 포함할 수 있다. 또한, 본원에 사용된 용어 "~에 의해"는 또한 문맥에 따라 "~로부터"를 의미할 수도 있다. 또한, 본원에서 사용되는 바와 같이, 용어 "~이면"은 또한 문맥에 따라 "~일 때" 또는 "~할 때"를 의미할 수도 있다. 또한, 본원에 사용된 바와 같이, "및/또는"이라는 단어는 관련된 목록화된 항목들 중 하나 이상의 임의의 그리고 모든 가능한 조합들을 지칭하고 포괄할 수 있다.
홀로그램 시스템 고려사항:
라이트 필드 에너지 전파 해상도의 개요
라이트 필드 및 홀로그램 디스플레이는 에너지 표면 위치들이 시인 체적 내에서 전파되는 각도, 색 및 강도 정보를 제공하는 복수의 투영들의 결과이다. 개시된 에너지 표면은, 부가적인 정보가 공존하고, 동일한 표면을 통해 전파되어 다른 감각계 반응들을 유도할 수 있는 기회들을 제공한다. 스테레오스코픽 디스플레이와는 달리, 공간에서의 수렴된 에너지 전파 경로들의 보이는 위치는 관찰자가 시인 체적 주위를 이동함에 따라 변하지 않으며, 임의의 수의 보는 사람들이 실제로 거기에 존재하는 것처럼 전파된 물체들을 실제 공간에서 동시에 볼 수 있다. 일부 실시예들에서, 에너지의 전파는 동일한 에너지 전파 경로에 위치될 수도 있지만 반대 방향에 위치될 수도 있다. 예를 들어, 에너지 전파 경로를 따른 에너지 방출 및 에너지 포획은 양방 모두가 본 발명의 일부 실시예들에서 가능하다.
도 1은 감각 수용체 반응의 자극에 관련된 변수들을 나타내는 개략도이다.　 이들 변수들은 표면 대각선(101), 표면 폭(102), 표면 높이(103), 결정된 타겟 시팅(seating) 거리(118), 디스플레이의 중심으로부터의 뷰의 시야(view field)의 타겟 시팅 필드(104), 눈 사이의 샘플들로서 여기에서 보여진 중간 샘플들의 수(105), 평균 성인의 안구 간격(106), 각분에서 인간의 눈의 평균 해상도(107), 타겟 관찰자 위치와 표면 폭 사이에 형성된 수평 시야(108), 타겟 관찰자 위치와 표면 높이 사이에 형성된 수직 시야(109), 표면에 걸친, 결과적인 수평 도파관 요소 해상도 또는 요소들의 전체 수(110), 표면에 걸친, 결과적인 수직 도파관 요소 해상도 또는 요소들의 전체 수(111), 눈 사이의 안구 간격과 눈 사이의 각도 투영을 위한 중간 샘플들의 수에 기초한 샘플 거리(112), 샘플 거리 및 타겟 시팅 거리에 기초할 수 있는 각도 샘플링(113), 원하는 각도 샘플링으로부터 도출된 도파관 요소 당 전체 해상도 수평도(114), 원하는 각도 샘플링으로부터 도출된 도파관 요소 당 전체 해상도 수직도(115), 원하는 이산(discreet) 에너지 소스들의 결정된 수의 계수(count)인 장치 수평도(116), 그리고 원하는 이산 에너지 소스들의 결정된 수의 계수인 장치 수직도(117)를 포함할 수 있다.
원하는 최소 해상도를 이해하는 방법은, 시각적(또는 다른) 감각 수용체 반응의 충분한 자극을 보장하기 위해 다음의 기준, 즉, 표면 크기(예컨대, 84" 대각선), 표면 종횡비(예컨대, 16:9), 시팅 거리(예컨대, 디스플레이로부터 128"), 시팅 시야(예컨대, 디스플레이의 센터를 중심으로 120도 또는 +/-60도), 일 거리에 있는 원하는 중간 샘플들(예컨대, 눈 사이에서의 하나의 부가적인 전파 경로), 성인의 평균 안구 간격(약 65mm), 그리고 인간의 눈의 평균 해상도(약 1각분)에 기초할 수 있다. 이러한 예시적인 값들은 특정 애플리케이션 설계 파라미터들에 따른 플레이스홀더(placeholders)로 간주되어야 한다.
또한, 시각 감각 수용체에 기인한 값들의 각각은 원하는 전파 경로 파라미터들을 결정하기 위해 다른 시스템들로 대체될 수 있다. 다른 에너지 전파의 실시예들에 대해서는, 청각계의 각도 민감도는 3도 정도로 낮을 수 있고, 손의 체성감각계의 공간 해상도는 2-12mm 정도로 작을 수 있음이 고려될 수 있다.
이러한 감각 예민성을 측정하기 위한 다양하고 상충되는 방식이 존재하기는 하지만, 이러한 값들은 가상의 에너지 전파의 인지를 자극하기 위한 시스템들과 방법들을 이해하기에 충분하다.. 설계 해상도를 고려하는 많은 방식들이 있으며, 아래 제안된 방법은 실용적인 제품 고려사항을 감각계의 생물학적 분해 한계와 결합시킨다. 당업자에 의해 이해될 수 있는 바와 같이, 다음의 개요는 임의의 그러한 시스템 설계의 단순화이며, 단지 예시의 목적을 위해 고려되어야 한다.
이해된 감각계의 해상도 한계로, 전체 에너지 도파관 요소 밀도는, 다음과 같은, 수신 감각계가 인접한 요소로부터 단일 에너지 도파관 요소를 식별할 수 없도록 계산될 수 있다:
Figure pct00001
위의 계산들은 대략적으로 32Х18°의 시야를 초래하고, 이는 약 1920Х1080(가장 가까운 형식으로 반올림됨) 에너지 도파관 요소들이 요구되는 것을 초래한다. 또한, (u, v) 양방 모두가 에너지 위치들의 보다 규칙적인 공간 샘플링(예컨대, 픽셀 종횡비)을 제공하기 위해 시야가 일정하도록 변수들이 제약될 수 있다. 시스템의 각도 샘플링은, 다음과 같은, 최적화된 거리에 있는 두 지점들 사이에 정의된 타겟 시인 체적 위치와 부가적인 전파 에너지 경로들을 가정한다:
Figure pct00002
이 경우, 주어진 거리만큼 적절한 샘플 수를 설명하기 위해 임의의 메트릭(metric)이 활용될 수 있지만, 안구간 거리는 샘플 거리를 계산하기 위해 활용된다. 위의 변수들을 고려할 때, 0.57° 당 약 1개의 광선이 요구될 수 있으며, 독립적인 감각계 당 전체 계의 해상도는 다음과 같이 결정될 수 있다:
Figure pct00003
시력 시스템에 대해 해결된 에너지 표면 및 각도 해상도의 크기를 고려한 상기의 시나리오를 이용하면, 결과적인 에너지 표면은 바람직하게는 약 400kХ225k 픽셀의 에너지 해상도 위치들, 또는 90기가픽셀의 홀로그램 전파 밀도를 포함할 수 있다. 제공된 이러한 변수들은 오직 예시의 목적으로 제공되며, 에너지의 홀로그램 전파의 최적화를 위해 많은 다른 감각 및 에너지 계측 고려사항이 고려되어야 한다. 추가적인 실시예에서, 입력 변수들에 기초하여 1기가픽셀의 에너지 해상도 위치들이 바람직할 수 있다. 추가적인 실시예에서, 입력 변수들에 기초하여 1,000기가픽셀의 에너지 해상도 위치들이 요구될 수 있다.
현재 기술 제한사항:
능동 영역, 소자 전자 장치, 패키징 및 기계적 엔벨로프
도 2는 소정의 기계적 폼 팩터를 갖는 능동 영역(220)을 갖는 장치(200)를 나타낸다. 장치(200)는 능동 영역(220)에 전력을 공급하고 인터페이스하기 위한 드라이버(230) 및 전자 장치(240)를 포함할 수 있으며, 능동 영역은 x 및 y 화살표들로 나타낸 치수를 갖는다. 이 장치(200)는 컴포넌트를 구동, 전력 및 냉각시키기 위한 케이블류 및 기계적 구조들을 고려하지 않고, 플렉스(flex) 케이블을 장치(200)에 도입함으로써 기계적 풋프린트가 더 최소화될 수 있다. 이러한 장치(200)의 최소 풋프린트는 또한 M:x 및 M:y 화살표들로 나타낸 치수를 갖는 기계적 엔벨로프(210)로 지칭될 수 있다. 이 장치(200)는 단지 설명의 목적일 뿐이고 주문형 전자 설계는 기계적 엔벨로프 오버헤드를 더 감소시킬 수 있지만, 거의 모든 경우에 장치의 능동 영역의 정확한 크기가 아닐 수 있다. 일 실시예에서, 이 장치(200)는 마이크로 OLED, DLP 칩 또는 LCD 패널에 대한 능동 이미지 영역(220), 또는 이미지 조명의 목적을 갖는 임의의 다른 기술에 관한 전자 장치의 의존성을 나타낸다.
일부 실시예들에서, 다른 투영 기술들을 고려하여 다수의 이미지를 더 큰 전체 디스플레이에 집성(aggregate)하는 것이 또한 가능할 수 있다. 하지만, 이것은, 투사 거리, 최소 초점, 광학 품질, 균일한 필드 해상도, 색수차(chromatic aberration), 열 특성, 교정(calibration), 정렬, 부가적인 크기 또는 폼 팩터에 대한 더 큰 복잡성의 대가를 치를 수 있다. 대부분의 실제 응용들에 대해서는, 수 십 또는 수 백개의 이들 투영 소스(200)를 호스팅하는 것은 신뢰성이 떨어지면서 훨씬 더 큰 설계를 초래할 수 있다.
오직 예시적인 목적으로, 3840Х2160개의 사이트의 에너지 위치 밀도를 갖는 에너지 장치들을 가정하면, 다음과 같이 주어진, 에너지 표면에 대해 요구되는 개별 에너지 장치(예컨대, 장치(100))의 수를 결정할 수 있다:
Figure pct00004
상기의 해상도 고려사항을 고려하면, 도 2에 나타낸 것과 유사한 약 105Х105 장치들이 요구된다. 많은 장치들이 정규 그리드에 맵핑될 수도 있고 맵핑되지 않을 수도 있는 다양한 픽셀 구조체들을 포함한다는 것에 유의해야 한다. 각각의 전체 픽셀 내에 부가적인 서브 픽셀 또는 위치가 존재하는 경우, 이들이 활용되어 부가적인 해상도 또는 각도 밀도를 생성할 수 있다. 픽셀 구조체(들)의 지정 위치에 따라 라이트 필드를 올바른 (u, v) 좌표로 변환하는 방법을 결정하기 위해 부가적인 신호 처리가 사용될 수 있으며, 알려지고 교정된 각 장치의 명시적인 특성이 될 수 있다. 또한, 다른 에너지 도메인들은 이들 비율들 및 장치 구조들의 상이한 취급을 수반할 수 있고, 당업자는 원하는 주파수 도메인의 각각 사이의 직접적인 본질적인 관계를 이해할 것이다. 이것은 이후의 개시에서 보다 상세히 설명되고 논의될 것이다.
결과적인 계산은 얼마나 많은 이러한 개별 장치들이 전체 해상도 에너지 표면을 생성하기를 원하는지를 이해하는 데 사용될 수 있다. 이 경우, 약 105Х105 또는 약 11,080개의 장치들이 시력 임계치를 달성하는 데 필요할 수 있다. 충분한 감각 홀로그램 전파를 위해 이러한 가용 에너지 위치들로부터 심리스 에너지 표면을 제작하는 과정 내에는 과제와 신규함이 존재한다.
심리스 에너지 표면들의 개요:
에너지 릴레이들의 어레이들의 구성 및 설계
일부 실시예들에서, 장치들에 대한 기계적 구조의 제한으로 인해 심을 갖지 않는 개별 장치들의 어레이로부터 고에너지 위치 밀도를 생성하는 과제를 해결하기 위한 접근법들이 개시된다. 일 실시예에서, 에너지 전파 릴레이 시스템은 능동 소자 영역의 유효 크기를 증가시켜 기계적 치수들을 충족시키거나 초과하여 릴레이들의 어레이를 구성하고 고유 심리스 에너지 표면을 형성할 수 있다.
도 3은 이러한 에너지 릴레이 시스템(300)의 일 실시예를 나타낸다. 나타낸 바와 같이, 릴레이 시스템(300)은 기계적 엔벨로프(320)에 장착된 장치(310)를 포함할 수 있으며, 에너지 릴레이 요소(330)는 장치(310)로부터 에너지를 전파한다. 릴레이 요소(330)는 장치의 다수의 기계적 엔벨로프(320)가 다수의 장치(310)의 어레이 내에 배치될 때 생성될 수 있는 임의의 갭(340)을 완화시키는 능력을 제공하도록 구성될 수 있다.
예를 들어, 장치의 능동 영역(310)이 20mmХ10mm이고 기계적 엔벨로프(320)가 40mmХ20mm라면, 에너지 릴레이 요소(330)는 축소형 단부(화살표 A) 상에서 약 20mmХ10mm이고 확대형 단부(화살표 B) 상에서 40mmХ20mm인 테이퍼 형상을 생성하도록 2:1의 배율로 설계될 수 있으며, 각각의 장치(310)의 기계적 엔벨로프(320)를 변경하거나 이와 충돌시키지 않으면서 이들 요소(330)의 어레이를 함께 심리스로(seamlessly) 정렬하는 능력을 제공한다. 기계적으로, 릴레이 요소들(330)은 장치들(310) 사이의 최소 심 갭(340)을 보장하면서 정렬 및 연마하기 위해 함께 접합되거나 융합될 수 있다. 이러한 일 실시예에서, 눈의 시력 한계보다 작은 심 갭(340)을 달성하는 것이 가능하다.
도 4는 함께 형성되고 부가적인 기계적 구조(430)에 견고하게 고정된 에너지 릴레이 요소들(410)을 갖는 베이스 구조체(400)의 일례를 나타낸다. 심리스 에너지 표면(420)의 기계적 구조는 릴레이 요소들(410, 450)을 장착하기 위해 접합 또는 다른 기계적 공정을 통해 동일한 베이스 구조체에 직렬로 다수의 에너지 릴레이 요소들(410, 450)을 커플링하는 능력을 제공한다. 일부 실시예들에서, 각각의 릴레이 요소(410)는 융합, 결합, 접착, 압력 맞춤, 정렬 또는 그렇지 않은 방식으로 함께 부착되어 결과적인 심리스 에너지 표면(420)을 형성할 수 있다. 일부 실시예들에서, 장치(480)는 릴레이 요소(410)의 후방에 장착될 수 있고, 결정된 공차(tolerance) 내에서 적절한 에너지 위치 정렬이 유지되는 것을 보장하기 위해 수동적으로 또는 능동적으로 정렬될 수 있다.
일 실시예에서, 심리스 에너지 표면은 하나 이상의 에너지 위치들을 포함하고, 하나 이상의 에너지 릴레이 요소 스택들은 제 1 및 제 2 면을 포함하고, 각각의 에너지 릴레이 요소 스택은 하나 이상의 에너지 위치들과 심리스 에너지 표면 사이에서 연장되는 전파 경로들을 따라 에너지를 지향시키는 고유 심리스 에너지 표면을 형성하도록 배치되며, 여기서, 말단 에너지 릴레이 요소들의 임의의 2개의 인접한 제 2 면들의 에지들 사이의 이격 거리는, 고유 심리스 에너지 표면의 폭보다 큰 거리를 두고 20/40 시력보다 좋은 시력을 갖는 인간의 눈의 시력에 의해 정의되는 최소 인지 가능한 윤곽보다 작다.
일 실시예에서, 심리스 에너지 표면들의 각각은 횡 배향 및 종 배향(longitudinal orientation)을 갖는 제 1 및 제 2 표면을 형성하는 하나 이상의 구조체들을 각각 갖는 하나 이상의 에너지 릴레이 요소들을 포함한다. 제 1 릴레이 표면은 포지티브 또는 네거티브 확대를 초래하는 제 2 릴레이 표면과는 상이한 영역을 가지며, 제 2 릴레이 표면을 통해 에너지를 통과시키는 제 1 및 제 2 표면 양방 모두에 대해 명시적인 표면 윤곽들로 구성되어 제 2 릴레이 표면 전체에 걸친 표면 윤곽의 법선에 대해 +/-10도의 각도를 실질적으로 채운다.
일 실시예에서, 다수의 에너지 도메인들은 시각, 청각, 촉각 또는 다른 에너지 도메인들을 포함하는 하나 이상의 감각 홀로그램 에너지 전파 경로들을 지향하도록 단일 에너지 릴레이 내에 또는 다수의 에너지 릴레이들 사이에 구성될 수 있다.
일 실시예에서, 심리스 에너지 표면은 시스템 전체에 걸쳐 양방향 에너지 전파를 제공하기 위해 하나 이상의 에너지 도메인들을 동시에 수신 및 방출하기 위해 각각의 제 2 면에 대한 2이상의 제 1 면들을 포함하는 에너지 릴레이들로 구성된다.
일 실시예에서, 에너지 릴레이들은 느슨한 코히어런트(coherent) 요소들로서 제공된다.
컴포넌트 엔지니어드 구조체들에 대한 소개:
횡방향 앤더슨 편재 에너지 릴레이들에서의 개시된 진전들
에너지 릴레이들의 특성들은 횡방향 앤더슨 편재를 유도하는 에너지 릴레이 요소들에 대해 본원에 개시된 원리들에 따라 상당히 최적화될 수 있다. 횡방향 앤더슨 편재는 횡방향으로 무질서하지만 종방향으로 일정한 재료를 통해 전송되는 광선의 전파이다.
이것은 앤더슨 편재 현상을 유도하는 재료들의 효과는 다중 산란 경로들 사이의 무작위화에 의한 것보다 전체 내부 반사에 의한 영향이 더 적을 수 있으며, 여기서, 파 간섭은 종 배향으로 계속되면서 횡 배향(transverse orientation)으로의 전파를 완전히 제한할 수 있음을 의미한다.
중요한 부가적인 이점은 전통적인 다중-코어 광섬유 재료들의 클래딩(cladding)의 제거이다. 클래딩은 섬유들 사이의 에너지의 산란을 기능적으로 제거하는 것이지만, 동시에 에너지의 광선들에 대한 장벽으로서 작용하므로, 적어도 코어 대 클래드 비율(예컨대, 70:30의 코어 대 클래드 비율은 수신된 에너지 송신을 최대 70%로 송신할 것이다)에 의해 송신을 감소시키고, 부가적으로 전파된 에너지에서 강한 픽셀화 패터닝을 형성한다.
도 5a는 광섬유의 본질적인 특성으로 인해 픽실레이션(pixilation) 및 광섬유 노이즈가 나타날 수 있는 다중-코어 광섬유를 통해 이미지가 릴레이되는, 이러한 비-앤더슨 편재(non-Anderson Localization) 에너지 릴레이(500)의 예의 단면도를 나타낸다. 종래의 다중-모드 및 다중-코어 광섬유를 사용하면, 중계된 이미지들이 코어들 사이의 혼선(cross-talk)이 변조 전달 함수를 감소시키고 번짐(blurring)을 증가시킬, 중계된 이미지들은 코어들의 개별 어레이의 전체 내부 반사의 특성들로 인해 본질적으로 픽셀화 될 수 있다. 종래의 다중-코어 광섬유를 이용하여 생성된 결과 이미지는 도 3에 나타낸 것과 유사한 잔류 고정형 노이즈 섬유 패턴을 갖는 경향이 있다.
도 5b는 도 5a로부터의 고정형 섬유 패턴과 비교하여, 중계된 패턴이 더 큰 밀도의 결정립 구조들을 갖는 횡방향 앤더슨 편재의 특성들을 나타내는 재료들을 포함하는 에너지 릴레이를 통해 동일한 중계된 이미지(550)의 예를 나타낸다. 일 실시예에서, 무작위화된 미세(microscopic) 컴포넌트 엔지니어드 구조체들을 포함하는 릴레이들은 횡방향 앤더슨 편재를 유도하고 상업적으로 이용 가능한 다중 모드 유리 광섬유보다 더 높은 분해 가능 해상도의 전파를 이용하여 광을 보다 효율적으로 전송한다.
유사한 광학 등급의 유리 재료가 실시예 내에서 생성된 동일한 재료에 대한 비용보다 10 내지 100배 이상 비싸고 무게가 나가는, 비용 및 중량 양방 모두의 측면에서 횡방향 앤더슨 편재 재료 특성들에 상당한 이점이 존재하며, 여기서, 개시된 시스템들 및 방법들은 당업계에 공지된 다른 기술들에 비해 비용 및 품질 양방 모두를 개선할 수 있는 중요한 기회들을 시사하는 무작위화된 미세 컴포넌트 엔지니어드 구조체들을 포함한다.
일 실시예에서, 횡방향 앤더슨 편재를 나타내는 릴레이 요소는 차원 격자로 배치된 3개의 직교 평면들의 각각에 복수의 적어도 2개의 상이한 컴포넌트 엔지니어드 구조체들을 포함할 수 있으며, 복수의 구조는 차원 격자 내의 횡방향 평면에서의 재료 파 전파 특성들의 무작위화된 분포들 그리고 차원 격자 내의 종방향 평면에서 재료 파 전파 특성들의 유사한 값들의 채널들을 형성하며, 여기서, 에너지 릴레이를 통해 전파되는 편재형 에너지 파들은 횡 배향에 비해 종 배향에서 더 높은 전송 효율을 갖는다.
일 실시예에서, 다수의 에너지 도메인들은 시각, 청각, 촉각 또는 다른 에너지 도메인들을 포함하는 하나 이상의 감각 홀로그램 에너지 전파 경로들을 지향하도록 단일 에너지 릴레이 내에 또는 다수의 횡방향 앤더슨 편재 에너지 릴레이들 사이에 구성될 수 있다.
일 실시예에서, 심리스 에너지 표면은 시스템 전체에 걸쳐 양방향 에너지 전파를 제공하기 위해 하나 이상의 에너지 도메인들을 동시에 수신 및 방출하기 위해 각각의 제 2 면에 대한 2이상의 제 1 면들을 포함하는 횡방향 앤더슨 편재 에너지 릴레이들로 구성된다.
일 실시예에서, 횡방향 앤더슨 편재 에너지 릴레이들은 느슨한 코히어런트 또는 가요성 에너지 릴레이 요소들로서 구성된다.
4D 플렌옵틱(Plenoptic) 함수들에 대한 고려사항:
홀로그램 도파관 어레이들을 통한 에너지의 선택적 전파
전술한 바와 같이, 본 명세서 전반에 걸쳐서, 라이트 필드 디스플레이 시스템은 일반적으로 에너지 소스(예컨대, 조명 소스) 및 상기의 설명에서 언급된 바와 같이 충분한 에너지 위치 밀도로 구성된 심리스 에너지 표면을 포함한다. 다수의 릴레이 요소들은 에너지를 에너지 장치들로부터 심리스 에너지 표면으로 중계하는 데 사용될 수 있다. 필요한 에너지 위치 밀도로 심리스 에너지 표면에 에너지가 전달되면, 에너지는 개시된 에너지 도파관 시스템을 통해 4D 플렌옵틱 함수에 따라 전파될 수 있다. 당업자에 의해 이해되는 바와 같이, 4D 플렌옵틱 함수는 본 기술분야에 잘 알려져 있으며 본원에서는 더 이상 설명되지 않을 것이다.
에너지 도파관 시스템은, 4D 플렌옵틱 함수의 각도 컴포넌트를 나타내는, 통과하는 에너지 파들의 각도 방향을 변경하도록 구성된 구조를 갖는 4D 플렌옵틱 함수의 공간 좌표를 나타내는 심리스 에너지 표면을 따르는 복수의 에너지 위치들을 통해 에너지를 선택적으로 전파하되, 전파된 에너지 파들은 4D 플렌옵틱 함수에 의해 지향된 복수의 전파 경로들에 따라 공간에서 수렴할 수 있다.
이제 4D 플렌옵틱 함수에 따른 4D 이미지 공간에서의 라이트 필드 에너지 표면의 예를 나타내는 도 6을 참조한다. 이 도면은 시인 체적 내의 다양한 위치들로부터 에너지의 광선들이 공간(630)에서 수렴하는 방법을 설명하는 관찰자(620)에 대한 에너지 표면(600)의 광선 트레이스(trace)들을 나타낸다. 나타낸 바와 같이, 각각의 도파관 요소(610)는 에너지 표면(600)을 통한 에너지 전파(640)를 기술하는 정보의 4차원을 정의한다. 2개의 공간 차원들(본원에서 x 및 y로 지칭됨)은 이미지 공간에서 볼 수 있는 물리적인 복수의 에너지 위치들이고, 가상 공간에서 관찰되는 각도 성분들인 세타(theta) 및 파이(phi)(본원에서 u 및 v로 지칭됨)이며, 이것은 에너지 도파관 어레이를 통해 투영될 때 가상 공간에서 관찰된다. 일반적으로 그리고 4D 플렌옵틱 함수에 따라, 복수의 도파관(예컨대, 렌즈릿(lenslet)들)은, 본원에 기술된 홀로그램 또는 라이트 필드 시스템을 형성함에 있어서, x, y 차원로부터 가상 공간에서의 고유한 위치로 u, v 각도 컴포넌트에 의해 정의된 방향을 따라 에너지 위치를 지향시킬 수 있다.
하지만, 라이트 필드 및 홀로그램 디스플레이 기술들에 대한 중요한 도전은 회절, 산란, 확산, 각도 방향, 교정, 포커스, 시준(collimation), 곡률, 균일성, 요소 혼선뿐만 아니라 감소된 유효 해상도 그리고 충분한 충실도로 정확하게 에너지를 수렴하는 것에 대한 불능에 기여하는 다수의 다른 파라미터들 중 임의의 것을 정확히 설명하지 않은 설계들로 인해 제어되지 않은 에너지의 전파로부터 발생한다는 것을 당업자는 이해할 것이다.
일 실시예에서, 홀로그램 디스플레이와 연관된 도전 과제들을 해결하기 위한 선택적 에너지 전파에 대한 접근법은 에너지 금지 요소들을 포함할 수 있고, 4D 플렌옵틱 함수에 의해 정의된 환경 내에 거의 시준된 에너지를 갖는 도파관 개구들을 실질적으로 채우는 것을 포함할 수 있다.
일 실시예에서, 에너지 도파관들의 어레이는 규정된 4D 함수에 의해 정의된 고유한 방향들로 도파관 요소의 유효 개구를 연장통과하여, 단일 도파관 요소만을 통과하도록 각각의 에너지 위치의 전파를 제한하도록 배치된 하나 이상의 요소들에 의해 금지된 심리스 에너지 표면을 따르는 복수의 에너지 위치들에 실질적으로 채우도록 구성된 각각의 도파관 요소에 대한 복수의 에너지 전파 경로들을 정의할 수 있다.
일 실시예에서, 다수의 에너지 도메인들은 시각, 청각, 촉각 또는 다른 에너지 도메인들을 포함하는 하나 이상의 감각 홀로그램 에너지 전파들을 지향하도록 단일 에너지 릴레이 내에 또는 다수의 에너지 도파관들 사이에 구성될 수 있다.
일 실시예에서, 에너지 도파관들 및 심리스 에너지 표면은 시스템 전체에 걸쳐 양방향 에너지 전파를 제공하기 위해 하나 이상의 에너지 도메인들을 수신 및 방출하도록 구성된다.
일 실시예에서, 에너지 도파관들은, 벽, 테이블, 바닥, 천장, 실내 또는 기타 기하학적 구조 기반의 환경들을 포함하는 임의의 심리스 에너지 표면 배향을 위해 디지털 방식으로 인코딩된, 회절식, 굴절식, 반사식, 그린식(grin), 홀로그램, 프레넬(Fresnel) 등의 도파관 구성들을 활용하여, 비-송신 공극(void) 영역들을 포함하는 비선형 또는 비규칙적 에너지의 분포들을 전파하도록 구성된다. 추가적인 실시예에서, 에너지 도파관 요소는 임의의 표면 프로파일 및/또는 탁상 시인(tabletop viewing)을 제공하는 다양한 기하학적 구조들을 생성하도록 구성되어, 사용자가 360도 구성에서 에너지 표면 주위의 모든 곳에서 홀로그램 이미지를 볼 수 있게 한다.
일 실시예에서, 에너지 도파관 어레이 요소들은 반사 표면들일 수 있고, 요소들의 배치는 육각형, 정사각형, 불규칙형, 반정칙형(semi-regular), 만곡형, 비평면형, 구형, 원통형, 틸트형(tilted) 규칙형, 틸트형 불규칙형, 공간적 변화형 및/또는 다중 계층형일 수 있다.
심리스 에너지 표면 내의 임의의 컴포넌트에 대해서는, 도파관, 또는 릴레이 컴포넌트들은, 광섬유, 실리콘, 유리, 폴리머, 광학 릴레이들, 회절, 홀로그램, 굴절, 또는 반사 요소들, 광학면 판, 에너지 결합기들, 빔 스플리터들, 프리즘들, 편광 요소들, 공간 광 변조기들, 능동 픽셀들, 액정 셀들, 투명 디스플레이들, 또는 앤더슨 편재 또는 전체 내부 반사를 나타내는 유사한 재료들을 포함할 수 있지만, 이에 한정되는 것은 아니다.
홀로덱을 실현하는 것:
홀로그램 환경들 내에서 인간의 감각 수용체들을 자극하는 양방향 심리스 에너지 표면 시스템들의 집성
전체 룸(room)들을 포함하는 임의의 크기들, 형상들, 윤곽들 또는 폼 팩터들을 형성하는 다수의 심리스 에너지 표면들을 함께 타일링(tiling), 융합, 본딩, 부착 및/또는 스티칭(stitching)함으로써 심리스 에너지 표면 시스템들의 대규모 환경들을 구축하는 것이 가능하다. 각각의 에너지 표면 시스템은 양방향 홀로그램 에너지 전파, 방출, 반사 또는 감지를 위해 집합적으로 구성된 베이스 구조체, 에너지 표면, 릴레이들, 도파관, 장치들 및 전자 장치를 갖는 어셈블리를 포함할 수 있다.
일 실시예에서, 타일링된 심리스 에너지 시스템들의 환경은 주어진 환경에서 모든 표면들을 포함하는 설비들을 포함하는 큰 심리스 평면 또는 곡선 벽들을 형성하도록 집성되며, 심리스, 불연속의 평면, 패시트, 만곡형, 원통형, 구형, 기하 또는 비규칙적 기하학적 구조의 임의의 조합으로서 구성된다.
일 실시예에서, 평면의 표면들의 집성된 타일(tile)들은 무대 또는 장소 기반의 홀로그램 엔터테인먼트를 위한 벽 크기의 시스템들을 형성한다. 일 실시예에서, 평면의 표면들의 집성된 타일들은 동굴 기반의 홀로그램 설비들을 위해 천장과 바닥 양방 모두를 포함하는 4개 내지 6개의 벽들을 갖는 룸을 커버한다. 일 실시예에서, 곡면들의 집성된 타일들은 몰입형(immersive) 홀로그램 설비들을 위한 원통형의 심리스 환경을 생성한다. 일 실시예에서, 심리스 구형 표면들의 집성된 타일들은 몰입형 홀로덱 기반의 경험들을 위한 홀로그램 돔을 형성한다.
일 실시예에서, 심리스 만곡형 에너지 도파관들의 집성된 타일들은 에너지 도파관 구조체 내의 에너지 금지 요소들의 경계를 따른 정확한 패턴을 따르는 기계적 에지들을 제공하여, 인접한 도파관 표면들의 인접한 타일링된 기계적 에지들을 결합, 정렬 또는 융합함으로써 모듈식 및 심리스 에너지 도파관 시스템을 초래한다.
집성된 타일링 환경의 다른 실시예에서, 에너지는 다수의 동시 에너지 도메인들에 대해 양방향으로 전파된다. 추가적인 실시예에서, 에너지 표면은 라이트 필드 데이터가 도파관을 통해 조명원에 의해 투영되고 동시에 동일한 에너지 표면을 통해 수신될 수 있도록 설계된 도파관들을 갖는 동일한 에너지 표면으로부터 동시에 디스플레이 및 캡처하는 능력을 제공한다. 추가적인 실시예에서, 추가 깊이 감지 및 능동 스캐닝 기술들이 활용되어 정확한 세계 좌표계에서 에너지 전파와 관찰자 사이의 상호 작용을 허용할 수 있다. 추가적인 실시예에서, 에너지 표면 및 도파관은 주파수들을 방출, 반사 또는 수렴하여 촉각 감각 또는 체적 햅틱 피드백을 유도하도록 동작 가능하다. 일부 실시예들에서, 양방향 에너지 전파 및 집성된 표면들의 임의의 조합이 가능하다.
일 실시예에서, 시스템은 적어도 2개의 에너지 장치를 심리스 에너지 표면의 동일한 부분에 페어링(pair)할 수 있도록 2개 이상의 경로 에너지 결합기들과 독립적으로 페어링된 하나 이상의 에너지 장치들을 이용하여 에너지 표면을 통한 에너지의 양방향 방출 및 감지가 가능한 에너지 도파관을 포함하거나, 또는 하나 이상의 에너지 장치들이 베이스 구조체에 또는 오프-축(off-axis)의 직접 또는 반사 투영 또는 감지를 위해 도파관의 FOV의 전방 및 외측에서의 위치에 고정된 부가적인 컴포넌트에 근접하여 에너지 표면 뒤에 고정되고, 또한 결과적인 에너지 표면은 도파관이 에너지를 수렴할 수 있게 하는 에너지의 양방향 송신, 에너지를 방출하는 제 1 장치 및 에너지를 감지하는 제 2 장치를 제공하며, 여기서, 정보는 전파된 에너지 패턴들, 깊이 추정, 근접도, 모션 추적, 이미지, 색상 또는 사운드 형성 또는 기타 에너지 주파수 분석 내에서 4D 플렌옵틱 눈 및 망막 추적 또는 간섭의 감지를 포함하는, 하지만 이에 한정되지는 않는, 컴퓨터 비전 관련 작업들을 수행하도록 처리된다. 추가적인 실시예에서, 추적된 위치들은 양방향 캡처된 데이터와 투영 정보 간의 간섭에 기초하여 에너지의 위치들을 능동적으로 계산 및 수정한다.
일부 실시예들에서, 초음파 센서, 가시적인 에너지 디스플레이 및 초음파 방출 장치를 포함하는 3개의 에너지 장치들의 복수의 조합들은, 각각의 장치의 에너지 도메인, 그리고 초음파 및 전자기 에너지 각각을 위해 구성된 2개의 엔지니어드 도파관 요소들에 특정한 엔지니어드 특성들을 포함하는 3개의 제 1 표면들의 각각과 함께 단일의 제 2 에너지 릴레이 표면에 결합된 에너지를 전파하는 3개의 제 1 릴레이 표면들의 각각에 대해 함께 구성되어, 별도의 에너지 도메인을 위해 구성된 다른 도파관 요소들에 의해 독립적으로 그리고 실질적으로 영향을 받지 않은 각각의 장치의 에너지를 지향 및 수렴하는 능력을 제공한다.
일부 실시예들에서, 시스템 아티팩트(artifact)들을 제거하고 인코딩/디코딩 기술들과 함께 사용하기 위해 결과적인 에너지 표면의 기하학적 맵핑을 생성하기 위한 효율적인 제조를 가능하게 하는 교정 절차뿐만 아니라 교정된 구성 파일들에 기초하여 데이터를 에너지 전파에 적절한 교정된 정보로 변환하기 위한 전용 통합 시스템이 개시된다.
일부 실시예들에서, 일련의 부가적인 에너지 도파관들 및 하나 이상의 에너지 장치들이 불투명한 홀로그램 픽셀들을 생성하기 위해 시스템에 통합될 수 있다.
일부 실시예들에서, 도파관의 직경보다 큰 공간 해상도 및/또는 각도 해상도를 제공하기 위해 또는 다른 초해상도(super-resolution) 목적을 위해 에너지 금지 요소들, 빔 스플리터들, 프리즘들, 능동 시차 배리어들 또는 편광 기술들을 포함하는 부가적인 도파관 요소가 통합될 수 있다.
일부 실시예들에서, 개시된 에너지 시스템은 또한 가상 현실(VR) 또는 증강 현실(AR)과 같은 착용형 양방향 장치로서 구성될 수 있다. 다른 실시예들에서, 에너지 시스템은 디스플레이되거나 수신된 에너지로 하여금 관찰자를 위한 공간에서 결정된 평면에 근접하게 포커싱되도록 하는 조정 광학 요소(들)를 포함할 수 있다. 일부 실시예들에서, 도파관 어레이는 홀로그램 헤드 장착식 디스플레이에 통합될 수 있다. 다른 실시예들에서, 시스템은 관찰자가 에너지 시스템 및 실제 환경(예컨대, 투과형 홀로그램 디스플레이) 양방 모두를 볼 수 있게 하는 다수의 광학 경로들을 포함할 수 있다. 이러한 경우, 시스템은 다른 방법들에 더하여 근접 필드로서 제공될 수 있다.
일부 실시예들에서, 데이터의 송신은 정보 및 메타데이터의 임의의 데이터세트를 수신하는 선택 가능하거나 가변적인 압축 비율들로 프로세스들을 인코딩하는 것; 상기 데이터세트를 분석하고, 더 희박한 데이터세트를 형성하는 재료 특성들, 벡터들, 표면 ID들, 새로운 픽셀 데이터를 수신 또는 할당하며, 수신된 데이터는 2차원, 스테레오스코픽, 멀티 뷰, 메타데이터, 라이트 필드, 홀로그램, 기하학적 구조, 벡터들 또는 벡터화된 메타데이터를 포함하고, 인코더/디코더는, 깊이 메타데이터를 갖거나 갖지 않은 깊이 추정 알고리즘들을 통해, 2D; 2D + 깊이, 메타데이터 또는 기타 벡터화된 정보; 스테레오스코픽, 스테레오스코픽 + 깊이, 메타데이터 또는 기타 벡터화된 정보; 멀티 뷰; 멀티 뷰 + 깊이, 메타데이터 또는 기타 벡터화된 정보; 홀로그램; 또는 라이트 필드 콘텐츠에 대한 이미지 처리를 포함하여 실시간 또는 오프라인에서의 데이터를 변환하는 능력을 제공할 수 있으며, 역 광선 추적 방법은 특성화된 4D 플렌옵틱 함수를 통해 다양한 2D, 스테레오스코픽, 다중 뷰, 체적, 라이트 필드 또는 홀로그램 데이터로부터의 역 광선 추적에 의해 생성된 결과적인 변환 데이터를 실제 좌표들에 적절히 맵핑한다. 이들 실시예에서, 원하는 전체 데이터 송신은 원시 라이트 필드 데이터세트보다 다수의 자리수만큼 덜 송신된 정보일 수 있다.
홀로그램 감각 데이터를 제공하기에 적합한 에너지 지향 장치
일 실시예에서, 광학 기계적 디스플레이 장치는 광을 방출 및 안내하여 2D, 스테레오스코픽, 멀티뷰, 플렌옵틱, 4D, 체적, 라이트 필드, 홀로그래픽 또는 임의의 다른 시각적 광 표현을 형성할 수 있다.
도 7a는 방사 디스플레이 장치, 광학 릴레이 및 마이크로 렌즈 어레이와 같은 굴절 요소의 어레이로서 구현되는 도파관으로 구성되는 경우의 라이트 필드 광학 기계 시스템의 일 예이며, 여기서는 하나 이상의 디스플레이로부터의 가시적 이미지가 에너지 표면으로 전송되기 이전에 광학적으로 중계될 수 있으며, 굴절 요소들의 어레이가 에너지 표면 상의 각 위치와 그 위치로부터의 광 투영 방향 사이의 맵핑을 제공하여 4D 체적 라이트 필드 이미지가 투영될 수 있다.
일 실시예에서, 도파관은 광선을 수렴하여 관측자의 관점에서의 주시각과 거리적응을 유도할 수 있다.
일 실시예에서, 도파관들 및 에너지 릴레이들은 다양한 표면 지오메트리들로 형성되거나 폴리싱될 수 있다. 일 실시예에서, 에너지 릴레이들은 횡방향 앤더슨 편재를 유도하는 요소를 포함한다. 일 실시예에서, 에너지 릴레이들은 양방향성이며, 에너지를 방출 및/또는 투영할 수 있다.
일 실시예에서, 4 차원(4D)의 플렌옵틱 함수에 따라 에너지를 지향시키도록 구성된 에너지 시스템은 복수의 에너지 장치를 포함한다. 일부 실시예들에서, 복수의 에너지 장치는 이미지 정보를 방출하는 조명 소스를 포함하며, 여기서 이미지 정보는 가시광, IR, UV, 코히런트, 레이저, 적외선, 편광 또는 다른 전자기 조명 소스를 활용하는, 방출, 투영, 또는 반사 디스플레이 기술을 포함한다. 다른 실시예들에서, 복수의 에너지 장치는 음향 필드로부터 몰입 형 오디오 또는 체적 촉감을 제공하도록 구성된 기계적 에너지 방출 장치를 포함한다.
일부 실시예들에서, 상기 구성된 에너지 시스템은 복수의 에너지 장치, 에너지 릴레이 시스템 및 에너지 도파관 시스템이 모두 베이스 구조체에 결합될 수 있도록 하는 베이스 구조체(예를 들면, 72)를 더 포함할 수 있다. 다른 실시예들에서, 복수의 에너지 장치, 에너지 릴레이 시스템 및 에너지 도파관 시스템은 하나 이상의 장착 브래킷에 의해서 베이스 구조체에 결합될 수 있다.
일부 실시예들에서, 복수의 에너지 장치는 기계적, 화학적, 전사적, 열적, 전기적, 전위적, 운동적, 자기적, 중력적, 복사적, 에너지적, 구조적, 비정형적 또는 다른 형태의 에너지를 포함하는, 에너지를 캡처하거나 감지하기 위한 에너지 장치를 포함한다. 다른 실시예들에서, 복수의 에너지 장치는 기계적, 화학적, 전사적, 열적, 전기적, 전위적, 운동적, 자기적, 중력적, 복사적, 에너지적, 구조적, 비구조적 또는 다른 형태의 에너지를 포함하는, 에너지를 전파하거나 방출하기 위한 에너지 장치를 포함한다. 또 다른 실시예들에서, 복수의 에너지 장치는 감각 피드백 또는 가청 제어를 제공하도록 구성된 음향 수신 장치를 포함한다
일 실시예에서, 에너지 시스템은 하나 이상의 에너지 릴레이 요소를 갖는 에너지 릴레이 시스템(예를 들어, 도 7b에 가장 잘 도시된 바와 같은 6110)을 더 포함하며, 하나 이상의 에너지 릴레이 요소 각각은 제 1 표면 및 제 2 표면을 포함하고, 하나 이상의 에너지 중계 요소의 제 2 표면은 에너지 릴레이 시스템의 단일 심리스 에너지 표면을 형성하도록 배치되고, 제 1 복수의 에너지 전파 경로는 에너지 릴레이 시스템의 단일 심리스 에너지 표면을 통해 복수의 에너지 장치 내의 에너지 위치들로부터 연장된다. 이에 대해서는 아래에서 자세히 설명한다.
이제 본 발명의 일 실시예에 따른 직각도에서, 에너지 릴레이 시스템(6110)을 도시하는 도 7b를 참조하도록 한다. 일 실시예에서, 에너지 릴레이 시스템(6110)은 2개 이상의 릴레이 요소(6112)를 포함할 수 있으며, 각각의 릴레이 요소(6112)는 제 1 표면(6114), 제 2 표면(6116), 횡 배향(일반적으로 표면들(6114, 6116)에 평행) 및 종 배향(일반적으로 표면들(6114, 6116)에 수직)을 포함한다. 일 실시예에서, 제 1 표면(6114)의 표면적은 제 2 표면(6116)의 표면적과 상이할 수 있다. 예를 들어, 제 1 표면(6114)의 표면적은 제 2 표면(6116)의 표면적보다 크거나 작을 수 있다. 다른 실시예에서, 제 1 표면(114)의 표면적은 제 2 표면(6116)의 표면적과 동일할 수 있다. 에너지 파들은 제 1 표면(6114)으로부터 제 2 표면(6116)으로 또는 그 반대로 통과할 수 있다.
일 실시예에서, 에너지 릴레이 시스템(6110)의 릴레이 요소(6112)는 제 1 표면(6114)과 제 2 표면(6116) 사이의 경사진 프로파일 부분(6118)을 포함한다. 동작 시에, 제 1 표면(6114)과 제 2 표면(6116) 사이에서 전파하는 에너지 파는 횡 배향에서보다 종 배향에서 더 높은 전송 효율을 가질 수 있으며, 릴레이 요소(6112)를 통과하는 에너지 파는 공간 확대 또는 공간 축소를 야기할 수 있다. 다시 말하면, 릴레이 요소 장치(6110)의 릴레이 요소(6112)를 통과하는 에너지 파는 배율 증가 또는 배율 감소를 경험할 수 있다. 일부 실시예들에서, 에너지 릴레이 요소(6110)를 형성하기 위한 하나 이상의 구조는 유리, 탄소, 광섬유, 광학 필름, 플라스틱, 중합체 또는 이들의 혼합물을 포함할 수 있다.
일 실시예에서, 제 1 표면(6114)을 통과하는 에너지 파들은 제 1 해상도를 가지며, 제 2 표면(6116)을 통과하는 에너지 파들은 제 2 해상도를 갖고, 제 2 해상도는 제 1 해상도의 약 50 % 이상이다. 다른 실시예에서, 에너지 파들은 제 1 표면에 제공될 때 균일한 프로파일을 가지지만, 전방 방향으로 에너지 밀도를 갖는 모든 방향으로 방사하는 제 2 표면을 통과할 수 있으며, 이것은 제 2 릴레이 표면 상의 위치에 관계없이, 제 2 표면의 법선에 대하여 +/- 10도의 개방 각도로 실질적으로 콘을 채우게 된다.
일부 실시예들에서, 제 1 표면(6114)은, 제 1 표면(6114) 및 제 2 표면(6116) 중 적어도 하나의 폭과 다른 폭을 갖는 기계적 엔벨로프를 포함하는 에너지 소스로부터 에너지를 수신하도록 구성될 수 있다.
각각의 릴레이(6112)에서, 에너지는 종 배향을 규정하는 제 1 및 제 2 표면들 사이에서 전송되고, 각각의 릴레이의 제 1 및 제 2 표면들은 일반적으로 제 1 및 제 2 방향들에 의해 규정되는 횡 배향을 따라 연장되며, 여기서 종 배향은 횡 배향에 대하여 실질적으로 수직하다. 일 실시예에서, 복수의 릴레이를 통해 전파하는 에너지 파들은 종 배향에서 최소 굴절률 변화로 결합되는 횡 배향에서 무작위화된 굴절률 변동성으로 인해 횡 배향에서보다 종 배향에서 더 높은 전송 효율을 갖는다. 각각의 릴레이가 멀티코어 섬유로 구성되는 일부 실시예들에서, 각각의 릴레이 요소 내에서 전파하는 에너지 파들은 이러한 배향의 섬유 정렬에 의해 결정되는 종 배향에서 이동할 수 있다.
일 실시예에서, 말단 에너지 릴레이 요소의 임의의 2개의 인접한 제 2 면들의 에지들 사이의 이격은, 단일 심리스 에너지 표면의 높이 또는 단일 심리스 에너지 표면의 폭 중의 더 작은 것보다 큰 심리스 에너지 표면으로부터의 거리를 두고서 20/40보다 양호한 시력을 갖는 인간 눈의 시력에 의해 정의되는 최소 인지 가능한 윤곽보다 작을 수 있다.
일 실시예에서, 적층된 구성의 복수의 에너지 릴레이 요소는 복수의 페이스플레이트를 포함할 수 있다. 일부 실시예들에서, 복수의 페이스플레이트는 상이한 길이를 가질 수 있거나 또는 느슨한 코히어런트 광학 릴레이일 수 있다. 다른 실시예들에서, 복수의 요소는 도 7b와 유사한 경사진 프로파일 부분들을 가질 수 있으며, 이 경사진 프로파일 부분들은 릴레이 요소의 법선 축에 대하여 수직이 아닌 각도로 경사지거나, 선형이거나, 만곡되거나, 테이퍼지거나, 패시트되거나 또는 정렬될 수 있다. 또 다른 실시예들에서, 복수의 릴레이 요소를 통해 전파하는 에너지 파들은 종 배향에서 최소 굴절률 변화로 결합되는 횡 배향에서 무작위화된 굴절률 변동성으로 인해 횡 배향에서보다 종 배향에서 더 높은 전송 효율을 갖는다. 각각의 릴레이가 멀티코어 섬유로 구성되는 일부 실시예들에서, 각각의 릴레이 요소 내에서 전파하는 에너지 파들은 이러한 배향의 섬유 정렬에 의해 결정되는 종 배향에서 이동할 수 있다.
일부 실시예들에서, 하나 이상의 릴레이 요소(예를 들어, 6112)는 융합 또는 타일링된 모자이크를 포함하며, 인접한 융합 또는 타일링된 모자이크 사이의 이음새는 단일 심리스 에너지 표면의 폭 또는 높이 이상의 거리를 두고 20/40보다 양호한 시각을 갖는 인간의 시력에 의해 정의되는 최소 인지 가능한 윤곽 이하로 분리된다.
다른 실시예들에서, 하나 이상의 릴레이 요소(예컨대, 6112)는 광섬유, 실리콘, 유리, 중합체, 광학 릴레이, 회절 소자, 홀로그래픽 광학 소자, 굴절 소자, 반사 소자, 광학 면판, 광학 결합기, 빔 스플리터, 프리즘, 편광 컴포넌트, 공간 광 변조기, 능동 픽셀, 액정 셀, 투명 디스플레이, 또는 단일 심리스 에너지 표면을 형성하기 위한 앤더슨 편재 또는 전체 내부 반사 특성을 갖는 임의의 유사한 재료를 포함할 수 있다.
또 다른 실시예들에서, 하나 이상의 릴레이 요소(예를 들어, 6112)는 지정된 응용을 위한 평면형, 구형, 원통형, 원뿔형, 패시트형, 타일형, 규칙형, 불규칙형 또는 임의의 다른 기하 구조 형상을 포함하는 단일 심리스 에너지 표면의 형상을 수용하도록 구성된다.
또 다른 실시예에서, 시스템은 에너지 도파관들의 어레이를 갖는 에너지 도파관 시스템(예를 들어, 도 7c 내지 도 7l에 가장 잘 도시된 7100)을 포함하며, 제 2 복수의 에너지 전파 경로는 4D 플렌옵틱 함수에 의해 결정되는 방향들에서 에너지 도파관들의 어레이를 통해 단일 심리스 에너지 표면으로부터 연장된다.
도 7c는 복수의 에너지 전파 경로(7108)를 정의하도록 동작 가능한 에너지 도파관 시스템(7100)의 일 실시예의 탑-다운 사시도를 도시한 것이다. 에너지 도파관 시스템(7100)은 복수의 에너지 전파 경로(7108)를 따라 에너지를 지향시키도록 구성되는 에너지 도파관들의 어레이(7112)를 포함한다. 일 실시예에서, 복수의 에너지 전파 경로(7108)는 어레이(7116)의 제 1면 상의 복수의 에너지 위치(7118)를 통해 어레이(7114)의 제 2면까지 연장된다.
도 7c 및 도 7l을 참조하면, 일 실시예에서, 복수의 에너지 전파 경로(7108)의 제 1 서브세트(7290)는 제 1 에너지 위치(7122)를 통해 연장된다. 제 1 에너지 도파관(7104)은 복수의 에너지 전파 경로(7108)의 제 1 서브세트(7290)의 제 1 에너지 전파 경로(7120)를 따라 에너지를 지향시키도록 구성된다. 제 1 에너지 전파 경로(7120)는 제 1 에너지 위치(7122)와 제 1 에너지 도파관(7104) 사이에 형성된 제 1 주 광선(7138)에 의해 정의될 수 있다. 제 1 에너지 전파 경로(7120)는 에너지 전파 경로(7120A 및 7120B)를 따라 제 1 에너지 도파관(7104)에 의해 각각 지향되는 제 1 에너지 위치(7122)와 제 1 에너지 도파관(7104) 사이에 형성된 광선(7138A 및 7138B)을 포함할 수 있다. 제 1 에너지 전파 경로(7120)는 제 1 에너지 도파관(7104)으로부터 어레이(7114)의 제 2면을 향해 연장될 수 있다. 일 실시예에서, 제 1 에너지 전파 경로(7120)를 따라 지향되는 에너지는, 제 1 주 광선(7138)에 의해 제 2 면(7114)을 통과하여 전파되는 각도에 실질적으로 평행한 방향으로 제 1 에너지 도파관(7104)을 통해 지향되는 에너지 전파 경로(7120A 및 7120B) 사이에 있거나 또는 이를 포함하는 하나 이상의 에너지 전파 경로를 포함한다.
실시예들은 제 1 에너지 전파 경로(7120)를 따라 지향된 에너지가 에너지 전파 경로(7120A 및 7120B) 및 제 1 주 광선(7138)에 실질적으로 평행한 방향으로 제 1 에너지 도파관(7104)을 빠져나갈 수 있도록 구성될 수 있다. 제 2면(7114) 상의 에너지 도파관 요소(7112)를 통해 연장되는 에너지 전파 경로는 실질적으로 유사한 전파 방향의 복수의 에너지 전파 경로를 포함하는 것으로 가정될 수 있다.
도 7d는 에너지 도파관 시스템(7100)의 일 실시예에 대한 정면도이다. 제 1 에너지 전파 경로(7120)는 적어도 제 1 에너지 위치(7122)에 의해 결정되는 제 1 에너지 도파관(7104)으로부터 연장되는 고유한 방향(7208)으로 어레이(7114)의 제 2면을 향해 연장될 수 있다. 제 1 에너지 도파관(7104)은 공간 좌표(7204)에 의해 정의될 수 있으며, 적어도 제 1 에너지 위치(7122)에 의해 결정되는 고유 방향(7208)은 제 1 에너지 전파 경로(7120)의 방향들을 정의하는 각도 좌표(7206)에 의해 정의될 수 있다. 공간 좌표(7204) 및 각도 좌표(7206)는 제 1 에너지 전파 경로(7120)의 고유한 방향(7208)을 정의하는 4 차원 플렌옵틱 좌표 세트(7210)를 형성할 수 있다.
일 실시예에서, 제 1 에너지 도파관(7104)을 통해 제 1 에너지 전파 경로(7120)를 따라 지향된 에너지는 실질적으로 제 1 에너지 도파관(7104)의 제 1 개구(7134)를 채우고, 에너지 전파 경로(7120A 및 7120B) 사이에 놓여 있는 제 1 에너지 전파 경로(7120)의 방향과 평행한 하나 이상의 에너지 전파 경로를 따라 전파한다. 일 실시예에서, 제 1 개구(7134)를 실질적으로 채우는 하나 이상의 에너지 전파 경로는 제 1 개구(7134)의 직경의 50 %보다 큰 길이를 포함할 수 있다.
바람직한 실시예에서, 제 1 개구(7134)를 실질적으로 채우는 제 1 에너지 도파관(7104)을 통해 제 1 에너지 전파 경로(7120)를 따라 지향된 에너지는 제 1 개구(7134) 직경의 50% 내지 80%의 길이를 포함할 수 있다.
도 7c 및 도 7e 내지 도 7l을 다시 참조하면, 일 실시예에서, 에너지 도파관 시스템(7100)은 제 1면(7116)과 제 2면(7114) 사이의 에너지 전파를 제한하고 인접한 도파관들(7112) 사이의 에너지 전파를 금지하도록 배치된 에너지 금지 요소(7124)를 더 포함할 수 있다. 일 실시예에서, 에너지 금지 요소는 제 1 개구(7134)를 통해 연장되지 않는 다수의 에너지 전파 경로(7108) 중 제 1 서브세트(7290)의 부분을 따르는 에너지 전파를 금지하도록 구성된다. 일 실시예에서, 에너지 금지 요소(7124)는 에너지 도파관들의 어레이(7112)와 복수의 에너지 위치들(7118) 사이의 제 1면(7116) 상에 위치될 수 있다. 일 실시예에서, 에너지 금지 요소(7124)는 복수의 에너지 위치들(7118)과 에너지 전파 경로들(7108) 사이의 제 2면(7114) 상에 위치될 수 있다. 일 실시예에서, 에너지 금지 요소(7124)는 에너지 도파관들의 어레이(7112) 또는 복수의 에너지 위치들(7118)에 직교하는 제 1 면(7116) 또는 제 2 면(7114) 상에 위치될 수 있다.
일 실시예에서, 제 1 에너지 전파 경로(7120)를 따라 지향되는 에너지는 제 2 에너지 도파관(7128)을 통해 제 2 에너지 전파 경로(7126)를 따라 지향되는 에너지와 수렴할 수 있다. 제 1 및 제 2 에너지 전파 경로들은 어레이(7112)의 제 2면(7114) 상의 위치(7130)에서 수렴할 수 있다. 일 실시예에서, 제 3 및 제 4 에너지 전파 경로들(7140, 7141)은 또한 어레이(7112)의 제 1면(7116) 상의 위치(7132)에서 수렴할 수 있다. 일 실시예에서, 제 5 및 제 6 에너지 전파 경로들(7142, 7143)은 또한 어레이(7112)의 제 1 및 제 2면들(7116, 7114) 사이의 위치(7136)에서 수렴할 수 있다.
또한, 도 7e 내지 도7l은 에너지 금지 요소(7124)의 다양한 실시예들에 대한 도면이다. 의심의 여지를 없애기 위해, 이들 실시예는 예시적인 목적으로 제공되며, 본 개시의 범위 내에서 제공되는 조합 또는 구현의 범위를 결코 제한하지 않는다.
도 7e는 에너지 금지 요소(7251)가 에너지 위치(7118)의 표면에 인접하여 배치되고 특정 굴절, 회절, 반사 또는 다른 에너지 변경 특성을 포함하는 복수의 에너지 위치(7118)의 실시예를 도시한다. 에너지 금지 요소(7251)는 에너지 전파 경로들(7252)을 따르는 에너지의 전파를 금지함으로써 에너지 전파 경로들(7290)의 제 1 서브세트를 보다 작은 범위의 전파 경로들(7253)로 제한하도록 구성될 수 있다. 일 실시예에서, 에너지 금지 요소는 1보다 작은 개구수(numerical aperture)를 갖는 에너지 릴레이이다.
도 7f는 에너지 금지 구조체(7254)가 에너지 위치들(7118)의 영역들 사이에 직교 배치되고, 에너지 금지 구조체(7254)가 흡수 특성을 나타내며, 에너지 금지 구조체(7254)가 에너지 전파 경로(7256)를 따라 규정된 높이를 가짐으로써 특정 에너지 전파 경로들(7255)이 금지되도록 하는 다수의 에너지 위치들(7118)의 실시예를 도시한다. 일 실시예에서, 에너지 금지 구조체(7254)는 육각형 형상이다. 일 실시예에서, 에너지 금지 구조체(7254)는 둥근 형상이다. 일 실시예에서, 에너지 금지 구조체(7254)는 전파 경로의 임의의 배향을 따라 그 형상 또는 크기가 불균일하다. 일 실시예에서, 에너지 금지 구조체(7254)는 추가의 특성들을 갖는 다른 구조체 내에 포함된다.
도 7g는 다수의 에너지 위치들(7118)을 도시한 것이며, 제 1 에너지 금지 구조체(7257)는 그것을 통해 전파하는 에너지(7259)를 실질적으로 제 1 상태로 배향시키도록 구성된다. 제 2 에너지 금지 구조체(7258)는 실질적으로 제 1 상태로 배향된 에너지(7259)가 전파되도록 허용하고, 실질적으로 제 1 상태와 비유사하게 배향된 에너지(7260)의 전파를 제한하도록 구성된다. 일 실시예에서, 에너지 금지 요소(7257, 7258)는 에너지 편광 요소 쌍이다. 일 실시예에서, 에너지 금지 요소(7257, 7258)는 에너지 파 대역 통과 요소 쌍이다. 일 실시예에서, 에너지 금지 요소(7257, 7258)는 회절 도파관 쌍이다.
도 7h는 복수의 에너지 위치들(7118)의 실시예를 도시한 것이며, 본 실시예에서 에너지 금지 요소(7261)는 에너지 전파 경로들(7263)이 연장되는 복수의 에너지 위치들(7118) 중 어느 것에 따라 에너지 전파 경로들(7263)을 어느 정도 변경하도록 구성된다. 에너지 금지 요소(7261)는 특정 에너지 전파 경로들(7262)이 금지되도록 에너지 전파 경로들(7263)을 따라 균일 또는 비균일 한 방식으로 에너지 전파 경로들(7263)을 변경할 수 있다. 에너지 금지 구조체(7254)는 에너지 위치들(7118)의 영역들 사이에 직교 배치되며, 에너지 금지 구조체(7254)는 흡수 특성을 나타내고, 억제 에너지 구조체(7254)는 에너지 전파 경로(7263)를 따라 규정된 높이를 가짐으로써 특정 에너지 전파 경로들(7262)이 금지되도록 한다. 일 실시예에서, 금지 요소(7261)는 필드 렌즈이다. 일 실시예에서, 금지 요소(7261)는 회절 도파관이다. 일 실시예에서, 금지 요소(7261)는 만곡된 도파관 표면이다.
도 7i는 에너지 금지 요소(7264)가 다른 전파 경로(7267)가 통과하는 것을 허용하면서 에너지(7266)의 전파를 제한하는 흡수 특성을 제공하는 복수의 에너지 위치들(7118)의 실시예를 도시한 것이다.
도 7j는 복수의 에너지 위치들(7118) 및 복수의 에너지 도파관들(7112)의 실시예를 도시한 것이며, 본 실시예에서 제 1 에너지 금지 구조체(7268)는 이를 통해 전파하는 에너지(7270)를 제 1 상태로 실질적으로 배향시키도록 구성된다. 제 2 에너지 금지 구조체(7271)는 제 1 상태로 실질적으로 배향된 에너지(7270)가 전파되도록 허용하고, 제 1 상태와 실질적으로 유사하지 않게 배향된 에너지(7269)의 전파를 제한하도록 구성된다. 스트레이 에너지 전파(7272)에 의해 예시된 시스템을 통한 에너지 전파를 추가로 제어하기 위해, 에너지 금지 구조체(7268, 7271)는 에너지 전파가 정확한 전파 경로를 유지하도록 보장하는 복합 에너지 금지 요소를 필요로 할 수 있다.
도 7k는 복수의 에너지 위치들(7118)의 실시예를 도시한 것이며, 본 실시예에서 에너지 금지 요소(7276)는 에너지 전파 경로(7278)를 따르는 에너지의 전파를 제한하는 한편, 에너지 전파 경로(7277)를 따르는 다른 에너지가 도파관들의 어레이(7112) 내의 유효 개구(7284)를 위한 한 쌍의 에너지 도파관들(7112)을 통과할 수 있게 하는 흡수 특성을 제공한다. 일 실시예에서, 에너지 금지 요소(7276)는 블랙 크롬을 포함한다. 일 실시예에서, 에너지 금지 요소(7276)는 흡수성 재료를 포함한다. 일 실시예에서, 에너지 금지 요소(7276)는 투명 픽셀 어레이를 포함한다. 일 실시예에서, 에너지 금지 요소(7276)는 양극산화된 물질을 포함한다.
도 7l은 복수의 에너지 위치들(7118) 및 복수의 에너지 도파관들(7112)을 포함하는 실시예를 도시한 것이며, 본 실시예에서 제 1 에너지 금지 구조체(7251)는 에너지 위치들(7118)의 표면에 인접하게 배치되고, 특정한 굴절, 회절, 반사 또는 다른 에너지 변환 특성을 포함한다. 에너지 금지 구조체(7251)는 에너지 전파 경로들(7274)을 따르는 에너지의 전파를 금지함으로써 에너지 전파 경로들(7290)의 제 1 서브세트를 보다 작은 범위의 전파 경로들(7275)로 제한하도록 구성될 수 있다. 제 2 에너지 금지 구조체(7261)는 에너지 전파 경로들(7275)이 연장되는 복수의 에너지 위치들(7118) 중 어느 위치에 의존하여 어느 정도까지 에너지 전파 경로들(7275)을 변경시키도록 구성된다. 에너지 금지 구조체(7261)는 특정 에너지 전파 경로들(7274)이 금지되도록 균일 또는 비균일한 방식으로 에너지 전파 경로들(7275)을 변경할 수 있다. 제 3 에너지 금지 구조체(7254)은 에너지 위치(7118)의 영역들 사이에서 직교하게 배치된다. 에너지 금지 구조체(7254)는 흡수 특성을 나타내며, 특정 에너지 전파 경로들(7274)이 억제되도록 하는 에너지 전파 경로(7275)를 따라 규정된 높이를 갖는다. 에너지 금지 요소(7276)는 에너지(7281)가 통과하는 것을 허용하면서 에너지(280)의 전파를 제한하는 흡수 특성을 제공한다. 유사하거나 상이한 도파관 요소들(7112)로 이루어지는 복합 시스템이 복수의 에너지 위치들(7118)로부터의 에너지에 의해서 유효 도파관 요소 개구(7285)를 실질적으로 채우고 특정 시스템에 의해 규정되는 에너지의 전파 경로(7273)를 변경하도록 위치된다.
일 실시예에서, 에너지 금지 구조체(7124)는 제 1 에너지 위치(7122)에 근접하게 위치될 수 있으며 일반적으로 제 1 에너지 도파관(7104)을 향해 연장될 수 있다. 일 실시예에서, 에너지 금지 구조체(7124)는 제 1 에너지 도파관(7104)에 근접하게 위치될 수 있으며 일반적으로 제 1 에너지 위치(7122)를 향해 연장될 수 있다.
일 실시예에서, 에너지 시스템은 에너지 도파관 시스템을 통해 제 2 복수의 에너지 전파 경로들을 따라 에너지를 단일의 심리스 에너지 표면으로 지향시키고, 에너지 릴레이 시스템을 통해 단일의 심리스 에너지 표면으로부터 제 1 복수의 에너지 전파 경로들을 따라 복수의 에너지 장치들로 에너지를 지향시키도록 구성된다.
다른 실시예에서, 에너지 시스템은 에너지 릴레이 시스템을 통해 복수의 에너지 장치들로부터 복수의 에너지 전파 경로들을 따라 단일의 심리스 에너지 표면으로 에너지를 지향시키고, 에너지 도파관 시스템을 통해 단일의 심리스 에너지 표면으로부터 제 2 복수의 에너지 전파 경로들을 따라 에너지를 지향시키도록 구성된다.
또 다른 실시예에서, 단일의 심리스 에너지 표면은 3이하 파장의 가시광 내로 편재된 광 전송을 안내하도록 동작 가능하다.
홀로그래픽 디스플레이에 적합한 감각 데이터
에너지 지향 표면으로부터 표면을 통한 플렌옵틱 4D 함수는 에너지 위치들을 포함하는 제 1 평면으로부터
Figure pct00005
2개의 공간 좌표를 제공하며, 이것은 에너지 전파 경로의 벡터를 정의하는 도파 파라미터들
Figure pct00006
을 포함하는 제 2 평면을 따라 제 2 좌표를 통해 지향된다
Figure pct00007
. 복수의 에너지 지향 표면들을 고려하여, 플렌옵틱 5D 함수는 하나 이상의 에너지 위치들을 포함하는 제 1 좌표로부터
Figure pct00008
3개의 공간 좌표를 제공하며, 이것은 에너지 전파 경로의 벡터를 정의하는 도파 파라미터들
Figure pct00009
을 포함하는 평면을 따라 제 2 좌표를 통해 지향된다
Figure pct00010
. 4D 또는 5D 각각에 있어서, 그 기능 및 설명의 간략화를 위해 명시적으로 언급하지 않은 경우에도 시간 및 색상에 대한 추가적인 변수들을 고려할 수 있으며 응용을 위해 필요한 임의의 플렌옵틱 함수들을 포함하는 것으로 가정할 수 있다. 의심의 여지를 없애기 위해, 에너지 지향 표면에 대한 언급은 단지 예시적인 것이며, 5D 좌표의 측위를 위한 공간 내의 임의의 추가 지점, 위치, 방향 또는 평면을 포함할 수 있으며, 집합적으로 에너지 "지향 표면"이라고 지칭된다.
도 8은 컨텐츠 데이터에 대한 4 차원(4D) 플렌옵틱 좌표를 결정하는 프로세스(800)의 실시예를 도시하는 흐름도이다. 프로세스(800)는 시각 센서, 음성 센서, 텍스처 센서, 감각 센서 또는 후각 센서에 의해 인지 가능한 임의의 신호를 포함할 수 있는 컨텐츠 데이터가 수신되는 단계(802)를 포함할 수 있다. 도 9는 오브젝트 위치, 재료 특성(예를 들어, 재료 특성(906, 907, 및 908)), 가상 광원(904), 비-오브젝트에서의 지오메트리(902), 기준 표면 외측의 컨텐츠, 가상 카메라 위치(914), 오브젝트들의 세그먼테이션(910), 배경 텍스처(912), 및 계층화된 컨텐츠들 중의 적어도 하나를 포함할 수 있는 컨텐츠 데이터에 대한 일 실시예를 도시한 개략도이다.
도 8 및 도 9를 참조하면, 프로세스(800)는 컨텐츠 데이터의 디지털 체적 표현(922)을 생성하기 위해 제 1 표면(920)에 대한 데이터 포인트들의 위치가 결정되는 단계(804)를 더 포함할 수 있다. 제 1 표면(920)은 공간 내의 데이터 포인트들의 위치를 정의하기 위한 기준 표면으로서 사용될 수 있다. 일 실시예에서, 프로세스(800)는 4D 함수가 적용되는 제 2 표면에 대한 체적 표현에서 데이터 포인트들의 위치를 트레이싱함으로써 데이터 포인트들의 4D 플렌옵틱 좌표가 제 2 표면에서 결정되는 단계(806)를 더 포함할 수 있다. 일 실시예에서, 프로세스(800)는 에너지 소스 위치 값들이 제 1 수렴 지점을 갖는 4D 플렌옵틱 좌표에 대해 결정되는 단계(808)를 더 포함할 수 있다.
단계(802)에서 수신된 컨텐츠 데이터는 N개의 뷰를 포함할 수 있으며, N은 하나 이상이다. 단일 뷰는 깊이 채널의 유무에 관계없이 제공될 수 있다. 스테레오스코픽 뷰들은 깊이 채널의 유무에 관계없이 제공될 수 있다. 멀티 뷰 이미지는 깊이 채널의 유무에 관계없이 제공될 수 있다. 또한, 4D 라이트 필드는 깊이 채널의 유무에 관계없이 제공될 수 있다.
단계(806)의 트레이싱은 글로벌 모델 또는 개별적으로 특성화 된 시스템 또는 두 방법의 일부 조합으로서 메모리에 저장될 수 있는 에너지 시스템의 캘리브레이션된 지오메트리의 사전 지식을 사용할 수 있다.
일 실시예에서, 입력 데이터와 출력 에너지 소스 간의 맵핑은 다양한 비트레이트 소스들 간을 정확하게 맵핑하는 방법을 제공한다. 단계(806)의 트레이싱은 상기 나열된 일부 샘플들로부터의 체적 4D 데이터 세트 전체를 추론하는 능력을 제공한다. 사용 가능한 데이터로부터 깊이 정보가 제공되거나 계산되어야 한다. 깊이 정보가 알려져 있거나 계산된 상태에서, N개의 뷰(들)는 깊이 좌표에 기초한 기지의 체적 표현으로부터의 샘플들을 4D 공간으로 삼각 측량함으로써 역 트레이싱될 수 있다.
삼각 측량은 에너지 도파관과 에너지 소스 위치 포맷 해상도 간의 맵핑이 제공되는 경우 N 소스 컨텐츠의 각 가용 에너지 소스 위치가 각 에너지 도파관의 에너지 소스 위치를 나타내는 것으로 가정할 수 있다. N 소스 컨텐츠 해상도가 더 낮은 경우, 초-해상도 또는 스케일링 알고리즘들이 구현될 수 있다. N 소스 이미지(들)의 해상도가 에너지 지향 장치 내의 에너지 도파관의 수보다 높은 경우, 슈퍼 샘플링된 에너지 소스 위치들 사이의 보간이 수행됨으로써 결과적인 4D 역 광선 트레이스에 있어서 에너지 도파관마다 더 많은 양의 에너지 소스 위치들을 생성할 수가 있다.
상기에서는 거리 정보가 제공 또는 계산된 깊이 정보의 형태에 따라 정확할 수도 있고 정확하지 않을 수도 있는 깊이 맵으로부터 결정될 수 있는 것으로 가정하며, 알려지거나 가정된 거리 정보에 의해서, 에너지 지향 장치 특성들에 의해 결정되는 (u, v) 각도 정보 및 x-y 에너지 소스 위치 좌표와 조합된 거리 정보가 제한된 이미징 데이터 샘플들을 갖는 4D 또는 5D 라이트 필드로 간주될 수 있다. 거리 정보에 기초한 이미징 샘플들은 각 에너지 도파관 뒤에 각각 존재할 수 있는 적절한 에너지 소스 위치들로 다시 삼각 측량되며, 누락된 데이터는 본 명세서에 포함된 개시를 통해 단계(808)에서 생성될 수 있다.
일 실시예에서 도 7c, 도 8, 도 9, 도 10을 참조하면, 에너지 위치들이 제 1 표면(920)에 위치될 수 있고, 4D 함수가 적용되는 제 2 표면은 에너지 지향 장치의 도파관 시스템(7100)에 대응할 수 있으며, 데이터 포인트들의 4D 플렌옵틱 좌표들에 따라 도파관 시스템을 통해 지향되어 컨텐츠 데이터의 감지 가능한 체적 표현을 형성하도록 에너지가 동작될 수 있다.
일 실시예에서, 프로세스(800)는 컨버전스의 제 1 포인트를 갖는 4D 좌표들에 대해 에너지 소스 위치 값들이 결정되는 단계(810)를 더 포함할 수 있다. 본 개시의 예시적인 구현을 제공하기 위해, 도 11은 이미지(1002)의 형태의 컨텐츠 데이터가, 에너지 위치(1010)를 참조하여 결정된 최소 위치(1006) 및 최대 위치(1008) 내에서 제공 또는 계산될 수 있는 거리 위치(1004)를 갖는 트레이싱 프로세스를 거치는 에너지 지향 장치 (1000)의 실시예를 도시한 것이다. 일 실시예에서, 에너지 위치들(1010)은 에너지 지향 장치 표면을 포함할 수 있다. 4D 플렌옵틱 함수에 의해 정의되는 에너지 위치들(1010)로부터 알려진 지오메트리로 인하여 이미지(1002)의 가상 표면 상의 포인트(1014)의 삼각 측량이 광선(1016)을 따라 각각 고유한 x-y 좌표를 갖는 특정 에너지 위치들(1018)로 역 트레이싱될 수 있다. 누락된 샘플들은 데이터 세트에 포함된 가용 정보에 기초하여 계산적으로 산출될 수 있다.
추가적인 N개 샘플이 제공될 경우, 동일한 방법이 추가의 다중 퍼스펙티브 이미징 데이터와 함께 적용됨으로써 더 많은 역 광선 트래이싱 샘플 세트를 생성하고 우수한 홀로그램 결과를 제공한다. 다수의 N개 샘플로부터의 깊이 정보가 단일 깊이 맵을 통해 제공되거나, 최대 N, 또는 N보다 많은 깊이 맵을 통해 제공됨으로써, 소스 위치(N+X 퍼스펙티브)와 소스 깊이 맵(N+X 깊이 맵) 사이의 알려진 맵핑으로 적절한 역 광선 트래이싱이 수행되는 것을 보장한다.
예를 들어, 중심 N 퍼스펙티브에 대한 단일 깊이 맵이 제공되는 경우, 추가의 깊이 맵들은 N과 N+X 뷰포인트들 사이의 소스 및 타겟 위치를 정확하게 맵핑하기 위해 각 인접 뷰들 사이의 디스패러티를 계산함으로써 보간될 수 있다. 이 방법을 사용하면, 4D 라이트 필드에 적절한 뷰 종속 맵핑을 역 광선 트래이싱함으로써 정확한 퍼스펙티브(들)가 적절한 도파관 좌표들로 투영되며 그 결과 뷰어가 연관된 뷰포인트들에서 올바른 뷰 종속성을 유지할 수 있게 된다.
인코더 및 디코더는 강건하며 2D/플랫 파일, 깊이가 있는 2D, 스테레오스코픽, 단일 깊이 채널이 있는 스테레오스코픽, 이중 깊이 채널이 있는 스테레오스코픽, 깊이가 없는 N+X 멀티 뷰, N+Y 깊이가 있는 N+Y 멀티 뷰, 환경을 재구성하기 위해 텍스처, 지오메트리, 라이팅, 재료 특성 등을 포함할 수 있는 지오메트리 또는 벡터 기반 장면 파일들을 포함하며 이에 한정되지 않는 복수의 데이터 타입들을 해석할 수 있으며, 여기서 다수의 RGBAZ 값들이 각 x-y 좌표, 4D 또는 5D(4D 플러스 깊이) 라이트 필드에 대해 제공되거나, N+X 뷰 플러스 N+Y 델타 채널 데이터 세트로서 제공될 수 있고, 깊이 채널은 결정된 에너지 지향 장치의 시야에 필요한 일정 양의 에너지 소스 위치 데이터의 렌더링만을 위한 더 낮은 대역폭 방법을 제공한다. 프로세서들은 월드 좌표 위치들의 유무에 관계없이, 그리고 보상된 최소 및 최대 투영된 월드 위치들의 유무에 관계없이, 그리고 특징화 및/또는 설계된 에너지 지향 장치 고유사항을 고려하여 실시간 속도까지, 또는 이것을 초과하여 역 광선 트래이싱함으로써, 적절한 4D 라이트 필드를 제공하여 뷰어에게 프레젠테이션할 수 있다.
일 실시예에서, 프로세스(800)는 도파관 시스템(7100)의 제 1면 상의 에너지 위치들(7122)과 도파관 시스템(7100)의 제 2 면 상의 도파관 요소(7100)로부터의 에너지 전파 경로들(7120)의 각도 방향들 사이의 맵핑이 적용되는 단계(812)를 더 포함할 수 있다. 이렇게 함으로써, 데이터 포인트들의 4D 플렌옵틱 좌표들에 대응하는 도파관 시스템(7100)의 제 1면 상의 다수의 에너지 위치들이 결정되도록 할 수 있다.
도 12는 감각 데이터 프로세서(1202), 벡터화 엔진(1204) 및 트래이싱 엔진(1206)을 갖는 프로세싱 서브시스템과 통신하는 데이터 입/출력 인터페이스(1201)를 포함하는 프로세싱 시스템(1200)의 개략도이다. 감각 데이터 프로세서(1202), 벡터화 엔진(1204), 및 트래이싱 엔진(1206)은 개별적으로 또는 이들의 임의의 조합으로, 하나 이상의 프로세서 상에서 구현될 수 있다는 것을 이해해야 한다. 프로세스(800)의 단계(802)는 데이터 입/출력 인터페이스(1201)를 통해 프로세싱 서브시스템(1220)에 컨텐츠 데이터를 입력할 수 있다. 단계(804)는 컨텐츠 데이터의 체적 표현을 생성하기 위해 감각 데이터 프로세서(1202)에 의해 수행될 수 있다. 단계(806)
일 실시예에서, 맵핑을 적용하는 것은 시스템(7100)에서의 왜곡을 캘리브레이션하는 것을 포함할 수 있으며, 이것은 공간 왜곡, 각도 왜곡, 강도 왜곡 및 색 왜곡으로 구성된 그룹으로부터 선택되는 적어도 하나의 왜곡에 대해 캘리브레이션하는 것을 더 포함할 수 있다.
일 실시예에서, 에너지 지향 장치는 도파관 시스템(7100)에 인접한 제 1 표면(6116)을 갖는 릴레이 시스템을 도파관 시스템(7100)의 제 1 면 상에 더 포함할 수 있으며, 도파관 시스템의 제 1 면 상의 에너지 위치들(7112)은 릴레이 시스템(6110)의 제 2 표면(6114)에 인접하게 위치될 수 있다.
일 실시예에서, 맵핑을 적용하는 것은 도파관 시스템(7100)에서의 왜곡을 캘리브레이션하는 것을 포함할 수 있다. 일 실시예에서, 맵핑을 적용하는 것은 릴레이 시스템(6110)에서의 왜곡 및 도파관 시스템(7100)에서의 왜곡 모두를 캘리브레이션하는 것을 포함할 수 있다. 일 실시예에서, 캘리브레이션 대상인 왜곡은 공간 왜곡, 각도 왜곡, 강도 왜곡 및 색상 왜곡으로 이루어진 그룹으로부터 선택되는 적어도 하나의 왜곡을 포함할 수 있다.
[도 12의 시스템에 대한 프로세스(800)를 논할 예정]
일 실시예에서, 상기 방법 일부가 실시간으로 수행될 수 있으며, 또는 상기 방법 전체가 실시간으로 수행될 수 있거나, 또는 상기 방법의 적어도 두 부분이 상이한 시간 기간에 수행될 수 있다.
2D에서 라이트 필드로 변환
일 실시예에서, 컨텐츠 데이터는 2 차원(2D) 공간에서의 데이터 포인트들을 포함할 수 있으며, 단계(704)의 위치들을 결정하는 것은 2 차원 공간에서의 데이터 포인트들에 깊이 맵을 적용하는 것을 포함할 수 있다.
2 차원 또는 평면 이미지를 라이트 필드 데이터로 변환하는데는 여러 가지 방법이 있다. 여기에는 동작 분석으로부터의 깊이를 통한 깊이 정보, 수동 또는 렌더링 수단을 통해 제공된 깊이 채널, 또는 디스패러티, 깊이, 오클루젼, 지오메트리의 수동 생성 및/또는 수동 및 자동 프로세스들에 의한 전체 환경의 재생성을 통해 전체 라이트 필드를 재생하는 시각 효과 컨텐츠 생성을 위한 표준으로 알려진 기타 방법이 포함된다.
제 1 실시예에서, 이용 가능한 에너지 소스 위치 정보로부터 깊이의 추정을 수행하기 위한 실시간 또는 오프라인 프로세서를 포함하는 시스템이 가능하다. 이것은 셋톱 박스로서 또는 오프라인 프로세스로서 에너지 지향 장치에서 수행될 수 있다. 누락된 체적 데이터에 대한 추가 계산은 시간 정보 및/또는 아트 텍스처 합성의 상태 또는 당업계에 공지된 다른 기술을 이용하여 수행될 수 있다.
제 2 실시예에서는, 깊이 정보가 이미지 스트림으로서 제공되며 이미지 포맷에 내장될 수 있다. 마찬가지로, 누락된 체적 데이터에 대한 추가 계산이 수행될 수 있다.
제 3 실시예에서는, 아티스트 또는 프로세스가 누락된 환경 정보를 생성하기 위해 활용되며, 이 누락된 환경 정보는 장면 내의 각 오브젝트를 분리 또는 세그먼트화하고, 상기 오브젝트들을 시간 경과에 따라 수동으로, 반자동 또는 자동으로 추적하고, 디스패러티 공간, 에너지 지향 장치 공간, 광학 공간 또는 월드 좌표들을 활용하여 오브젝트들을 공간에 배치함으로써, 배경, 투명도, 에지 세부 사항 등의 재구성을 위해 당업계에 알려진 시각 효과 프로세스들을 통해 배경 및 전경 누락 정보를 합성하여 환경을 재생성하는 프로세스를 포함할 수 있다. 의심의 여지를 없애기 위해, 구현 프로세스들은 이들 환경의 재구성을 위해 열거된 실시예들 중 임의의 것이거나 이 중에 없거나 전부일 수 있다. 생성된 환경 정보는 에너지 지향 장치의 뷰 각도들에 의해 결정되는 만큼 많은 누락 정보를 포함해야 하며, 적절한 오클루젼 및 뷰 의존 정보가 적절하게 생성되도록 이들 뷰 각도들이 아티스트에게 알려질 수 있다.
또한, 장면의 각 오브젝트에 대한 표면 모델이 부분 모델로서 또는 완전하게 구축된 모델로서 생성될 수 있으며, 이미지 데이터의 텍스처들이 지 ㅍ 오메트리의 표면들에 투영되어 다음의 역 광선 트래이싱에 적합한 형상을 제공한다.
또한, 4D 라이트 필드의 재생성 정확도를 더욱 높이기 위해 가상 조명 소스들에서 뷰 의존 라이팅을 도입할 수 있도록 재료 특성들을 계산하거나 수동으로 도입할 수 있다.
또한, 기존의 변환된 재료를 보완하기 위해 추가의 CG 또는 합성 컨텐츠가 도입될 수도 있다. 체적 데이터의 추가도 포함될 수 있다. CG, 2D, 스테레오스코픽, 멀티 뷰 및/또는 4D 미디어를 하나의 합성물로 심리스 혼합하기 위해 N+X 컨텐츠의 상호 혼합을 도입할 수도 있다.
결과물인 2D에서 라이트 필드 변환된 컨텐츠는 CG 장면 자체에서 나타나는 지오메트리, 텍스처, 조명, 재질 등을 포함하는 지오메트리 장면 파일로 유지될 수 있으며 N+D 깊이 채널에 의해서 N+X 뷰로 렌더링되거나, 4D 또는 5D(4D + 깊이) 라이트 필드, x-y 좌표당 Z 샘플의 스태킹 제한 유무와 관계없이 x-y 에너지 소스 위치 좌표당 다중 RGBAZ 샘플을 허용하는 포맷인 깊이 이미지로 렌더링되거나, 또는 N+X 뷰 플러스 N+Y 델타 채널 데이터 세트로 제공될 수 있으며, 여기서 깊이 채널은 결정된 에너지 지향 장치의 시야에 대해 요구되는 일정량의 에너지 소스 위치 데이터의 렌더링만을 위한 더 낮은 대역폭 방법을 제공한다. 이러한 각각의 출력 포맷들 중 하나, 일부 또는 전부를 생성할 수 있도록 하는 툴이 제공될 수 있다.
스테레오스코픽 및 멀티 뷰에서 라이트 필드로의 변환
상기한 단일 뷰 컨텐츠 활용의 프로세스는 스테레오스코픽 및 멀티 뷰 재료에 적용될 수도 있다. 깊이 정보의 추정은 모션 분석으로부터의 깊이뿐만 아니라 스테레오스코픽, 멀티 뷰 및/또는 디스패러티 분석, 제공된 깊이 채널 또는 수동 또는 렌더링 수단을 통해 제공된 깊이 채널들, 또는 디스패러티, 깊이, 오클루젼, 지오메트리 및/또는 시각 효과 컨텐츠 생성을 위한 표준으로 알려진 다른 방법을 통해 얻어지며 이에 따라 수동 및 자동 프로세스를 통해 전체 환경의 재생성을 통해 전체 라이트 필드를 재현하고 적절한 데이터를 활용하여 제공된 이미징 재료에서 사용 가능한 뷰 종속 컨텐츠를 계속 유지한다.
일 실시예에서, 단계(102)에서 수신된 컨텐츠 데이터는 3 차원(3D) 공간에서의 데이터 포인트들을 포함할 수 있으며, 위치를 결정하는 것은 3D 공간에서 데이터 포인트들을 조정하는 것을 포함할 수 있다.
일 실시예에서, 3D 공간에서 데이터 포인트들을 조정하는 것은 3D 공간에서의 데이터 포인트들에 깊이 맵을 적용하거나, 새로운 데이터 포인트들을 추가하거나, 오클루젼된 데이터 포인트들을 재구성하거나, 또는 이들의 임의의 조합을 포함할 수 있다.
이 접근법에 대한 중요한 이점은 모션 시차(motion parallax) 또는 다른 유사한 2D 추정 프로세스들에 비해 스테레오스코픽 디스패러티 추정의 정확도가 훨씬 더 높다는 것이다. 또한 변환된 4D 라이트 필드의 이미지 품질은 조명, 투과도, 재료, 오클루젼 등을 포함하되 이에 한정되지 않는 일부 뷰 종속 조건의 가용성으로 인해 더욱더 정확하다.
멀티 뷰 이미지 데이터의 명시적인 각도 의존성을 유지하는 능력은 중심 뷰포인트 카메라 또는 일부 다른 정의된 중심 포인트와 관련된 표면 법선을 계산하는 능력에 의존한다. 이러한 법선 및 디스패러티 또는 깊이 정보가 알려지면, 에너지 지향 장치 뷰 각도에 기초하여 뷰포인트들 사이를 보간할 수 있으며, 이것은 역 광선 트래이싱에 직접 적용되거나, 또는 역 광선 트래이싱 동안에 텍스처 합성의 일부로서 합성된다.
간략화를 위해, 2D에서 라이트 필트 이미지로의 재구성에 대해 이전에 개시된 모든 방법들은 스테레오스코픽 또는 멀티 뷰 데이터 세트의 재구성에 적용될 수 있다.
4D 또는 5D 라이트 필드의 NxN RGB 이미지 생성
4D 또는 5D 라이트 필드를 활용하여, NxN개의 또는 최대 NxN 개 중의 임의 값의 RGB 멀티 뷰 이미지를 생성할 수 있다. 이 프로세스는 정사각형 그리드, 0,0 위치 및 N, N 위치로서의 상부 우측 위치를 가정하여, 각각의 도파관 아래의 각각의 하부 우측 좌표를 고려함으로써 수용된다. 이 그리드는 단지 예시일뿐이며 임의의 다른 맵핑 방법도 활용될 수 있다. 각각의 0,0 내지 N,N 위치에 있어서, 활용되는 캡처 시스템에 기초하여 가능한 가장 넓은 필드 깊이를 갖는 라이트 필드로부터 전체 해상도 이미지를 형성하는 것이 가능하며, 여기서 어레이의 각 도파관은 단일 에너지 소스 위치로 간주되고, 각 도파관 아래의 각 좌표는 0,0에서 N, N까지의 각각의 완전한 이미지에 대해 더 큰 에너지 소스 위치 어레이의 단일 에너지 소스 위치이다. 이것은 깊이 정보에 대한 5D 라이트 필드에 대해서도 반복될 수 있다. 이러한 방식으로, 4D 또는 5D 라이트 필드 사이에서의 2D, 스테레오스코픽, 멀티 뷰, 포인트 클라우드, CG 장면 파일 또는 그 밖의 4D 또는 5D 라이트 필드에서 도출될 수 있는 원하는 데이터 조합을 포함하는 다양한 배포 목적에 필요한 데이터 세트의 임의의 서브세트로의 변환이 용이하게 이루어질 수 있다. 불규칙형 또는 정사각형으로 패킹된 4D 또는 5D 구조의 경우, 에너지 소스 위치를 일반 그리드에 정렬하기 위해 추가 보간이 필요하거나 에너지 소스 위치와 비사각형으로 패킹된 구조 사이의 선형 맵핑이 구현될 수 있으며 여기서는 결과 이미지들이 나타나지 않을 수도 있고 에너지 소스 위치 아티팩트들을 포함할 수도 있다.
도 11은 각각의 에너지 도파관 요소 위치 및 에너지 위치 좌표에 따라 각 에너지 도파관 요소(1104)의 하부로부터 에너지 위치(1102)를 배열함으로써 4D 또는 5D 라이트 필드를 다수의 뷰포인트로 변환하는 방법을 예시한 것이다. 이것은 라이트 필드와 더 작은 데이터 세트를 심리스하게 전송하는 능력을 제공한다.
N+X RGB 및 N+Y 깊이 데이터 세트
데이터 전송 크기의 균형과 함께 최고의 품질을 제공하는 이상적인 데이터 세트 포맷은 N+X RGB 및 N+Y 깊이 + 벡터화된 채널의 사용을 포함하며, 여기서 N+X RGB 정보에는 특정 해상도 및 포맷을 나타낼 수 있는 N RGB 이미지, 및 상이한 해상도 및 저해상도, 델타 정보 등을 포함하는 RGB 데이터에 대한 포맷을 나타낼 수 있는 X, 및 N+Y 깊이 + N 깊이를 포함하는 벡터화된 채널 + 특정 해상도와 포맷 그리고 상이한 해상도와 깊이에 대한 포맷을 나타낼 수 있는 Y를 포함하는 벡터화된 채널 + 저해상도, 델타 정보 등을 포함하는 벡터 데이터가 포함될 수 있다.
N+X개의 뷰는 중심 뷰의 유무와 관계없이 중심 포인트 주위의 일 반경으로부터, 중심 뷰의 유무와 관계없이 중심 포인트 주위의 여러 반경으로부터, 또는 다수 뷰의 맵핑 및 이와 관련된 패킹 또는 퍼스펙티브 위치를 결정하는 임의의 방법으로부터, 일반 그리드 상에 생성될 수 있다. 퍼스펙티브들을 위한 구성이 파일의 메타 데이터에 포함될 수 있으며, 또는 이미징 데이터가 다른 필수 메타데이터 없이도 XYZ 공간의 동일한 좌표에 정렬되도록 제공된 깊이 + 벡터화된 채널들이 월드 좌표에 직접 맵핑되는 것을 포함할 수 있다.
4D 디스크 반전 및 에너지 지향 장치 호환성 처리
4D 또는 5D 라이트 필드 시스템의 광학 시뮬레이션을 사용하여 가상 장비로 캡처된 잠재적 데이터를 비롯한, 플렌옵틱 또는 라이트 필드 4D 또는 5D 시스템으로 캡처된 모든 데이터의 경우, 결과로 생성되는 플라이스 아이(fly's eye) 퍼스펙티브 에는 라이트 필드의 uv 벡터를 나타내는 디스크가 포함된다. 그러나, 이러한 좌표는 에너지 지향 장치에 존재하지 않을 수 있는 에너지 포커싱 요소를 가정한 것이다. 본 제안된 에너지 지향 장치 솔루션에서는, 포커싱 요소가 뷰어의 눈일 수 있으며, 캡처 시스템과의 맵핑 및 원본 캡처 방법과 뷰잉된 에너지 지향 장치 간의 맵핑은 더 이상 정확하지 않다.
이것을 반전시키고 캡쳐 시스템과 비교할 때 그 시스템에서 추가적으로 누락된 에너지 지향 요소를 보정하기 위해, 각각의 디스크를 독립적으로 플립할 수 있으며, 각 (u, v) 좌표의 x-y 위치는 각 도파관의 중심 포인트를 기준으로 재지정된다. 이러한 방식으로, 주 도파관의 결과로서 형성되는 이미지의 반전이 인버트되어, 라이트 필드 에너지 지향 장치가 올바른 x-y-u-v 방향으로 광선을 투영하게 한다.
이에 대한 또 다른 실시예는 하드웨어 수정을 구현하는 것일 수 있으며, 여기서는 에너지 도파관 어레이를 활용하여 모든 제시된 에너지 도파관 에너지 소스 위치의 직접 반전을 제공한다. 라이트 필드 에너지 지향 장치의 경우, 캡처 시스템과 에너지 지향 장치 간의 직접 맵핑을 갖는 것이 유리하다. 이것은 정확한 x-y-u-v 좌표에 대한 추가 시간을 중계할 필요성을 제거함으로써 전체 어레이 내의 에너지 도파관의 그룹이 제거될 수 있도록 HMD 시스템 또는 체적 불투명 에너지 지향 장치를 포함하는 실시예에 더욱 유리할 수 있다.
또한, 모든 라이트 필드가 동일한 것은 아니다. 이들은 상이한 NA, FOV, N 값, 광학 프리스크립션 등으로 캡처될 수 있다. 입력 라이트 필드 데이터의 인트린식 및 익스트린식을 이해하여 에너지 지향 장치 특성으로 변환할 수 있다. 이것은 홀로그램 및 라이트 필드 데이터의 범용 파라미터화를 위해 본 개시 내용에 포함된 실시예들에 의해 수행될 수 있다.
역 에너지 트래이싱 및 에너지 지향 시스템의 감각 특성 벡터화를 통한 홀로그래픽 감각 데이터 전송의 범용 파라미터화
에너지 지향 표면으로부터의 표면을 통한 플렌옵틱 4D 함수는 에너지 위치들을 포함하는 제 1 평면으로부터 2개의 공간 좌표
Figure pct00011
를 제공하며, 이것은 에너지 전파 경로의 벡터를 정의하는 도파 파라미터들
Figure pct00012
을 포함하는 제 2 평면을 따라 제 2 좌표를 통해 지향된다
Figure pct00013
. 복수의 에너지 지향 표면을 고려하여, 플렌옵틱 5D 함수는 하나 이상의 에너지 위치들을 포함하는 제 1 좌표로부터 3개의 공간 좌표
Figure pct00014
를 제공하며, 이것은 에너지 전파 경로의 벡터를 정의하는 도파 파라미터들
Figure pct00015
을 포함하는 평면을 따라 제 2 좌표를 통해 지향된다
Figure pct00016
. 4D 또는 5D 각각에 있어서, 그 기능 및 설명의 간략화를 위해 명시적으로 언급하지 않은 경우에도 시간 및 색상
Figure pct00017
에 대한 추가적인 변수들을 고려할 수 있으며 응용을 위해 필요한 임의의 플렌옵틱 함수들을 포함하는 것으로 가정할 수 있다. 의심의 여지를 없애기 위해, 에너지 지향 표면에 대한 언급은 단지 예시적인 것이며, 5D 좌표의 측위를 위한 공간 내의 임의의 추가 지점, 위치, 방향 또는 평면을 포함할 수 있으며, 집합적으로 에너지 "지향 표면"이라고 지칭된다.
에너지 전파 경로의 제 1 벡터에 따라, 에너지들의 수렴을 포함하는 복수의 교차점들이 추가의 에너지 전파 경로들과 함께 발생할 수 있다. 이 교차점에서, 3D 포인트 또는 깊이 파라미터는 4D 또는 5D 함수를 갖는 복수의 에너지 전파 경로들 사이의 위치
Figure pct00018
에 형성되며, 여기서 수렴
Figure pct00019
의 3D 포인트는 복수의 에너지 전파 경로들 사이에 존재하며, 에너지 지향 표면 또는 표면들 내에 포함되는 각각의
Figure pct00020
또는
Figure pct00021
좌표의 경우, 제 1 좌표와 수렴 3D 포인트 사이에 형성되는 단일의
Figure pct00022
전파 경로만이 존재한다. 4D 함수
Figure pct00023
또는 5D 함수
Figure pct00024
는
Figure pct00025
에서 각 수렴 포인트에 대해 존재하는 모든 4D
Figure pct00026
또는 5D
Figure pct00027
좌표 및 상응하는
Figure pct00028
전파 경로들을 집합적으로 정의한다.
에너지 지향 표면
Figure pct00029
을 통한 복수의 에너지 전파 경로들을 따르는 에너지 수렴으로 인한 제 1 5D 좌표에서, 이 좌표는 더 큰 오브젝트, 체적, 입자 또는 편재화된 에너지 파라미터 내의 포인트를 나타낼 수 있고, 제 1 5D 좌표에 근접한 추가 좌표에서의 수렴 에너지들은 환경 또는 홀로그래픽 데이터 세트 내의 감각 에너지들에 대한 추가의 벡터화된 특성들을 나타낼 수 있다. 이러한 벡터화된 특성들은 4D 또는 5D 데이터 세트 중 하나의 영역들에 대한 4D 데이터 세트 내의 각 에너지 위치 좌표에 대한 각 5D 좌표 또는 에너지 표면을 포함하는 좌표들의 다른 서브세트에 대한 정보를 포함할 수 있다.
일 실시예에서는, 래스터 및 벡터 2D, 3D, 4D 및 5D 데이터 세트에 대한 시각, 청각, 체성 감각, 미각, 후각, 전정(vestibular) 또는 감각 시스템 반응에 관한 다른 원하는 에너지들의 전파를 위한 4D 및 5D 홀로그래픽 감각 에너지 특성들의 범용 파라미터화가 개시되며, 여기서 2D 데이터는 단일 각도 샘플을 포함할 수 있고, 3D 데이터는 단일 차원에서의 2개 이상의 각도 샘플을 포함할 수 있고, 4D 데이터는 2 차원에서의 복수의 각도 샘플을 포함할 수 있고, 또는 5D 데이터는 3차원 이상의 차원에서 복수의 각도 샘플을 포함할 수 있으며, 이것은 4D 에너지 지향 표면의 제 2 평면의 제 2 좌표를 기준으로 한다.
수신된 샘플 데이터의 실시예들은 다음 중의 어느 것을 포함할 수 있다:
1). 2D 또는 모노스코픽, 플랫, 포인트 클라우드, uv-맵핑된 지오메트리, 인트린식 지오메트리, 딥 이미지, 계층화된 이미지, CAD 파일(인트린식), 단일 포인트 샘플링, 단일 카메라 캡처, 단일 프로젝터 투영, 체적 측정(체적 내의 벡터가 있는 모노스코픽 단일 샘플 포인트들), 3 자유도 소스(DoF; 단일 포인트를 중심으로 하는 모노스코픽 x, y, z 회전을 갖는 래스터), 비-라이트 필드 6 DoF 소스(래스터 + 모노스코픽 샘플들로부터의 벡터), 체적형 에너지 지향 장치(체적 내의 모노스코픽 샘플들), 페퍼의 유령(Pepper 's Ghost) 소스(단일 포인트 투영) 소스, 2D AR HMD 소스(모노스코픽 단일 또는 다중 포커스 평면; 계층화된 모노스코픽), 2D VR HMD 소스(모노스코픽 단일 또는 다중 포커스 평면; 계층화된 모노스코픽), 또는 임의의 다른 2 차원 래스터 또는 벡터 정보 표현;
2). 3D 또는 스테레오스코픽, 트리스코픽(단일 베이스라인), 멀티뷰(1D), 1D 멀티 샘플, 1D 멀티 퍼스펙티브, 수평 또는 수직 시차, 1D 투영 어레이, 2 포인트 샘플링, 1D 포인트 샘플링, 수평 또는 수직 어레이, 불릿 타임(bullet time), 3 DoF 소스(래스터; 단일 포인트를 중심으로 하는 스테레오스코픽 x, y, z 회전), 3 DoF 소스(단일 포인트를 중심으로 하는 스테레오스코픽 x, y, z 회전 내의 3D 래스터), 비-라이트 필드 6 DoF 소스(3D 래스터 + 스테레오스코픽 샘플들로부터의 벡터), 1D 체적형 에너지 지향 장치의 소스(1D 시차가 포함된 샘플), 오토스테레오스코픽 데이터 소스, 수평 멀티 뷰 에너지 지향 장치의 소스, 3D AR HMD 소스(스테레오스코픽 단일 또는 다중 포커스 평면; 계층화된 스테레오스코픽), 3D VR HMD 소스(스테레오스코픽 단일 또는 다중 포커스 평면; 계층화된 스테레오스코픽), 또는 임의의 다른 3 차원 래스터 또는 벡터 정보의 표현;
3). 4D 또는 플렌옵틱(5D), 멀티스코픽, 적분 이미지(integral image), 라이트 필드(4D), 2D 멀티 뷰, 2D 멀티 샘플, 2D 퍼스펙티브, 2D 시차, 수평 및 수직 시차, 2D 투영 어레이, 2D 포인트 샘플링, 모션 캡쳐 스테이지(표면을 따라), 평면 어레이, 감시 카메라 어레이, 렌더링 또는 레이트래이싱 지오메트리 표현(4D 표현), 익스트린식 지오메트리(4D 표현), 라이트 필드 6 DoF 소스(평면 라이트 필드 샘플들 내의 4D 래스터), 프리-뷰포인트 6 DoF 소스(4D 래스터 + 4D 라이트 필드 샘플들로부터의 벡터들), 4D 체적형 에너지 지향 장치 소스(2D 시차 포함된 샘플), 라이트 필드 에너지 지향 장치 소스(4D 샘플링), 라이트 필드 HMD 소스(니어 필드 4D 샘플링), 홀로 그래픽 에너지 지향 장치 소스(4D 샘플링), 또는 임의의 다른 4 차원 래스터 또는 벡터 정보의 표현;
4). 5D 또는 플렌옵틱 + 깊이, 라이트 필드 + 깊이, 홀로그래픽(5D 샘플링, 4D + 깊이), 임의의 멀티 뷰(모든 x, y 및 z 축을 따라), 멀티 샘플(모든 xyz를 따라), 멀티 퍼스펙티브(모든 xyz를 따라), 체적 시차(모든 xyz를 따라), 투영 어레이(모든 xyz를 따라), 포인트 샘플링(모든 xyz를 따라), 모션 캡처 스테이지(모든 xyz를 따라), 감시 카메라 어레이(임의의 xyz 설정), 렌더링된 또는 레이트래이싱된 지오메트리 표현(5D 표현), 큐빅 또는 체적 렌더링(모든 xyz를 따라), 익스트린식 지오메트리(5D 표현), 라이트 필드 6 DoF 소스(체적 라이트 필드 샘플 내의 5D 래스터), 프리-뷰포인트 6 DoF 소스(5D 래스터 + 5D 라이트 필드 샘플로부터의 벡터), 5D 라이트 필드 HMD 소스(니어 필드 5D 심플링, 4D + 다중 평면), 홀로그래픽 에너지 지향 장치 소스(5D 샘플링, 4D + 다중 평면), 또는 임의의 다른 5 차원 래스터 또는 벡터 정보의 표현.
각각의 제 2 좌표에서, 제공된 데이터는 래스터 또는 벡터 샘플의 서브-세트 또는 슈퍼-세트를 포함할 수 있으며, 샘플은 래스터 또는 벡터 샘플들의 서브-세트 또는 슈퍼-세트의 해석 또는 처리를 통해 증가된 샘플링 밀도로 변환할 수 있도록 추가 벡터화된 정보를 나타내거나 포함할 수 있다.
2D, 3D, 4D 또는 5D 제공 데이터 세트 각각에 있어서, 정보는 벡터화된 정보, 수동 식별, 컴퓨터 비전 분석, 자동화 처리 또는 원본 데이터 세트로부터 제공된 샘플을 5D 좌표 시스템으로 변환하는 다른 수단을 통해 변환된다. 2D, 3D, 4D 또는 5D 제공 데이터 세트 각각에 있어서, 정보는 복수 샘플 또는 샘플 레이어 그리고 4D 에너지 지향 표면의 제 2 평면의 제 2 좌표를 기준으로 각 제공된 데이터 세트에 대한 원래의 각도 샘플링 컴포넌트에 대한 추가 벡터화된 특성들을 포함할 수 있으며, 또는 2D, 3D, 4D 또는 5D 추가 제공 데이터 세트 중 임의의 것에 기여하는 샘플의 조합을 포함할 수 있다.
제공된 샘플 각각은 각각의 원하는 좌표에 대한 인트린식 에너지를 포함하며, 인트린식 에너지는 추가적인 익스트린식 에너지 속성들을 포함할 수 있고, 여기서 인트린식 에너지는 다른 외부 샘플, 특성 또는 환경 조건이 없는 경우 주어진 5D 좌표에서의 값을 나타낸다. 전자기 스펙트럼에서, 이것은 모든 입사 방사선을 반사하는 화이트 바디(white body)에 대응하는 반사율에 대한 무차원 측정으로서 알베도(albedo)라고 지칭될 수 있지만, 무차원 값의 범위가 특정 감각 에너지에 상응하는 각각의 원하는 감각 에너지로 명시적으로 확장될 수 있다. 시각 감각 시스템 내에서 이 범위는 약 400nm내지 700um이며, 청각 감각 시스템에서 이 범위는 약 20Hz내지 20kHz이다.
지난 수십년 동안 인간의 감각을 재현할 수 있는 광대한 기술 향상으로 인해 전자적 수단을 통해 감지된 감각, 향기 및 풍미의 정교한 패턴 인식을 인위적으로 활용했다. 전자기 스펙트럼 외부에 존재할 수 있는 다른 시스템의 경우, 이러한 무차원 값은 감지된 시력 반응을 기반으로 동일한 방식으로 특성화될 수 있다. 홀로그래픽 감각 에너지 기술이 새롭게 부상하는 동안, 본 실시예에 개시된 것은 가상 환경에서 모든 인간 감각을 자극하여 다양한 감각 파라미터에 대한 범용 구조를 명확하게 하기 위한 시스템, 방법 및 포맷을 포함하며, 이에 따라 적절한 데이터 처리, 구성된 가상 환경의 완전한 몰입 및 홀로그래픽 감각 기술을 위한 에너지 전파의 실시예에 필요한 임의의 감각 에너지 파라미터 또는 장치로의 전송, 저장, 벡터화, 변환은 미래의 응용에 개시될 것이다. 또한 본 발명은 고전적인 "스멜-오-비전(smell-o-vision)"과 같은 신기한 물건이나 FeelReal의 냄새 나는 VR 헤드셋과 같은 최신 버전을 비롯한 다른 아날로그 장치가 본 데이터 세트의 벡터화 내에서 제공되는 파라미터화된 값을 활용할 수 있게 하는 것을 의도한다.
일 실시예에서, 체성 감각 시스템은 50Hz 내지 300Hz로 정규화될 수 있는 피부 내의 압력 감도 범위를 갖는 텍스처를 위한 기계 수용체, 0°C 내지 50°C(이 범위는 극한의 온도에 의해 정의 된 상한과 하한을 갖는 훨씬 넓은 범위일 수 있음)로 정규화될 수 있는 피부 내의 온도 감도 범위를 갖는 기계 수용체 또는 시간, 스트레인, 모듈러스에 대한 변수를 비롯한 다수의 피직스를 제공하는 시간 경과에 따른 응력과 스트레인 사이의 변형을 겪을 경우, 점성 및 탄성 특성 모두를 측정하는 재료의 점탄성 거동의 범위를 정의하는 표면 변형성을 포함하는 감도를 정의하는 컴포넌트들에 기초하여 정의될 수 있으며, 또한 본 개시의 목적 상, 화강암과 같은 움직일 수 없는 고체의 경우 0의 값을 갖고 물과 같은 저점도 액체의 경우 1을 갖는 무차원 정규화된 스케일로 단순화된다. 당업자는 제공되는 실제 벡터가 재료의 점탄성을 적절히 정의하는데 필요한 피직스를 포함할 것이며 예시적인 목적으로만 정규화될 수 있음을 이해할 것이다.
마지막으로, 미각 및 후각 장치를 포함하는 인공 전자 감지의 최신 기술은 홀로덱 설계 파라미터에 대하여 개시된 감각 파라미터를 더 벡터화할 수 있으며, 또한 본 명세서에서 설명된 홀로그래픽 도파 수단을 통한 인공적인 맛과 냄새의 전자적 재현을 가능하게 할 수 있는 가능성을 보여 준다. 인공 전자 맛 냄새 수용체는 주파수 기반의 인공 맛 수용체가 효소 바이오 센서를 이용하여 화학 자극의 강도를 주파수 기반의 펄스로의 인코딩 및 변환을 통해 샘플링하고 패턴 인식 시스템을 통해 샘플링된 화학 조성의 주파수로 반복적으로 정확하게 맛을 감지하여 인간의 입맛을 구성하는 맛을 감지하는 나노 장치를 통해 상당한 발전을 이루었다. 이 기술은 모든 유형의 검출 가능한 맛으로 확장될 수 있으며 인공 후각 시스템의 유사한 발전은 전기 신호의 변화를 통한 특별한 후각 반응의 주파수 내에 포함된 패턴을 더욱 파라미터화하기 위한 지속적인 연구를 통해 비갑개(nasal conchae)를 겨냥한 약한 전기 펄스를 사용하여 냄새 수용체를 자극하는 디지털 인터페이스를 보여줬다.
일 실시예에서, 후각, 미각 및 다른 감각 시스템을 나타내기 위한 주파수 임의 생성 및 복잡한 전자 패턴에 대해 확립된 경로에 의해, 미각에 대한 명민한 반응은 평균 인간의 2,000- 8,000 개의 입맛을 포화시키는 최소 및 최대 미각 반응을 나타 내기 위해 0 내지 1의 스케일을 따라 전자적으로 제어되는 파라미터들 각각에 대해 정규화된 스케일을 포함하도록 벡터화될 수 있으며, 이것은 잠재적으로 신맛, 짠맛, 쓴맛(spiciness), 단맛 및 풍미(unmami)에 대한 벡터를 포함하지만 이에 한정되지 않고 벡터화된 신호의 벡터 및 공간 좌표는 복잡한 후각 구현에 대한 생성을 나타낼 수 있다.
다른 실시예에서, 냄새에 대한 명민한 반응은 평균 인간의 10 cm2의 후각 상피를 포화시키는 최소 및 최대 후각 반응을 나타내기 위해 0내지 1의 스케일을 따라 전자적으로 제어되는 파라미터들 각각에 대한 정규화된 스케일을 포함하도록 추가로 벡터화될 수 있으며, 고도로 복잡한 후각 공간에 있어서, 이것은 향기로운, 과일향 나는, 나무향 나는(수지성), 화학적, 달콤한, 박하향 나는(페퍼민트), 토스트향 나는(너티), 매운향이 나는 및 부식향이 나는 벡터를 포함하지만 이에 한정되지 않으며, 벡터화된 신호의 벡터 및 공간 좌표는 복잡한 후각 구현에 대한 생성을 나타낼 수 있다.
이들 각 벡터는 제공된 벡터화된 값의 적절한 적용에 필요한 파, 진폭, 크기 또는 다른 속성으로 변환된 맛, 냄새 또는 다른 감각 영역에 대해 이러한 패턴을 나타내는 정규화된 값을 제공할 수 있다. 냄새 및 맛의 감각은 복잡한 혼합을 벡터화하기 위한 파라미터화된 값을 갖는 감각 시스템 내에서 가장 뒤떨어진 감각의 두 가지이지만, 일 실시예에서 이러한 감각 에너지의 감도에 대한 사용자 기반 대화식 제어를 제공하는 것은 청각, 체성 감각, 미각, 후각, 전정 또는 기타 원하는 감각 시스템 반응의 개별화에 대한 커스터마이제이션을 제공할 수 있다.
일 실시예에서, 샘플의 각 감각 알베도 에너지 값은 다른 외부 샘플, 특성 또는 환경 조건 각각의 제공된 샘플의 부가 결과를 나타내는 단일 샘플 값으로 베이킹된 익스트린식 에너지 속성을 추가로 포함할 수 있다. 이 구성에서, 화합물 샘플 값은 물리적 기반으로 또는 시뮬레이션된 환경에서 다른 샘플로부터의 다른 에너지의 잠복 속성을 나타내거나 나타내지 않을 수도 있다. 파라미터화되고 재구성된 홀로그래픽 데이터 세트를 전송하는 가장 효율적이고 순수한 방법은 단순화되고 낮은 대역폭 주파수 정보를 제공하는 단일의 인트린식 샘플 정보를 기반으로 하지만, 물리적 기반 이미징 또는 음향 시스템과 같은 전적으로 합성 환경 외부에서 수신하는 것이 항상 가능하지는 않다. 실제 환경에서는, 항상 결과 샘플 정보에 약간의 익스트린식 기여가 존재한다. 라이트 스테이지 또는 반사율, 형상, 텍스처 및 모션 캡처의 평가를 용이하게 하는 당업계에 공지된 다른 시스템과 같은 특정 시스템은 몇몇 형태의 구조화된 조명 및 알베도, 깊이 정보, 표면 법선 및 양방향 산란 분포 표면 특성의 직접 또는 간접 분석을 제공하는 하나 이상의 이미징 장치를 이용한다.
양방향 산란 분포 함수(BSDF)는 BTDF(bidirectional transmittance distribution function), BTF(bidirectional texture function) 및 BRDF(Birectional Reflectance Distribution Function)의 일반화된 슈퍼 세트이며, 이것은 종종 일반화된 함수
Figure pct00030
로 표현되며, 컴퓨터 그래픽 및 당업계에 공지된 시각 알고리즘에서 표면 특성을 파라미터화하고 식별하기 위한 모델로서 집합적으로 작용한다. 이 함수는 에너지 전파 경로에 대해 입사 방향 및 출사 반사 또는 전송 방향이 주어지면 가시광이 반사되거나 전송되거나 표면과 상호 작용하는 방식을 나타내며(여기서 표면 법선은 물체 표면의 접선에 수직임), 또한 이 함수는 들어오는 경로를 따라 표면에 입사하는 광에 대한 나가는 경로 [3]를 따라 나오는 반사광의 비율을 나타내며, 여기서 각각의 들어오는 광 경로 및 나가는 광 경로 각각에 대한 파라미터화된 방위각 및 천정각을 정의하는 4D 함수를 포함할 수 있다.
이 함수들은 표면에 부딪치는 에너지의 제 1 위치에 대해 더 명확하게 표현될 수 있고, 변색, 발광, 표면 아래 산란, 비-국지적 산란 효과, 반사, 그림자, 마스킹, 상호 반사 등과 같은 가시 파장 효과들을 설명하기 위해 재료 특성들이 에너지의 제 2 위치로 내부적으로 산란시킨 이후에 종료될 수 있으며, 결과 출력 에너지는 표면의 재료 특성, 입력 에너지들 및 위치들, 물체, 부피 또는 지점의 표면을 가로지르는 출력 에너지들 및 위치들에 기초한다.
따라서, 표면에 충돌하는 임의의 두 에너지 광선 사이에서 에너지가 전달되는 방식, 파장 또는 주파수 의존성 및 공간적으로 변하는 재표 특성들 또는 표면들을 포함하는 방법을 설명하는 일반화된 특성은 10D 함수로 표현될 수 있으며, 입력 에너지, 벡터화된 표면 프로파일의 영향, 및 굴절, 반사, 투과, 산란, 확산된 출력, 또는 함수의 일반화가 주어진 임의의 에너지 도메인의 결과인 다른 재료 특성을 설명하기 위해 데이터 세트 내에서 이용 가능하거나 제공되는 샘플들 각각 또는 이들 중의 임의의 것에 대한 것으로서 지정된다.
이제 에너지 지향 표면을 고려하여, 플렌옵틱 4D 함수는 에너지 위치들을 포함하는 제 1 평면으로부터 2개의 공간 좌표
Figure pct00031
를 제공하고, 에너지 전파 경로
Figure pct00032
의 벡터를 정의하는 도파관 파라미터들
Figure pct00033
를 포함하는 제 2 평면을 따라 제 2 좌표를 통해 지향된다. 복수의 에너지 지향 표면들을 고려하여, 플렌옵틱 5D 함수는 하나 이상의 에너지 위치들을 포함하는 제 1 좌표로부터 3개의 공간 좌표
Figure pct00034
을 제공하고, 에너지 전파 경로
Figure pct00035
의 벡터를 정의하는 도파관 파라미터들
Figure pct00036
를 포함하는 평면을 따라 제 2 좌표를 통해 지향된다. 4D 또는 5D 각각에 대해, 기능 및 토론의 간소화를 위해 명시적으로 언급되지 않은 경우에도 시간 및 색상
Figure pct00037
에 대한 추가 변수들이 고려되어 응용에 필요한 플렌옵틱 함수들 중 임의의 것을 포함하는 것으로 가정할 수 있다.
에너지 전파 경로의 제 1 벡터에 따라, 에너지들의 수렴을 포함하는 복수의 교차점들이 추가 에너지 전파 경로들과 함께 발생할 수 있다. 이 교차점에서, 4D 또는 5D 플렌옵틱 함수들을 갖는 복수의 에너지 전파 경로들 중 위치
Figure pct00038
에서 3D 포인트 또는 깊이 파라미터가 형성되고, 여기서 3D 포인트는 복수의 에너지 전파 경로들 중의 수렴
Figure pct00039
이며, 에너지 지향 4D 표면 또는 5 D 표면들 내에 포함된 각각의
Figure pct00040
또는
Figure pct00041
좌표에 대해, 제 1 좌표와 수렴 3D 포인트 사이에 형성되는 단일
Figure pct00042
전파 경로 각도만이 존재한다. 4D 함수
Figure pct00043
또는 5D 함수
Figure pct00044
는,
Figure pct00045
에서 각 수렴 포인트에 존재하는 모든 4D
Figure pct00046
또는 5D
Figure pct00047
좌표들 및 상응하는
Figure pct00048
전파 경로들을 집합적으로 정의한다.
수렴 좌표
Figure pct00049
에서, 표면이 형성되며, 이 표면은 수렴 에너지 전파 경로들의 3D 위치를 포함하는 포인트, 체적, 객체, 또는 다른 실시예를 포함할 수 있다. 각 표면 위치에 대해 제공된 샘플들은 결과적인 에너지뿐만 아니라 표면 위치에 근접한 주어진 지점을 타격하는 하나 이상의 입력 에너지 원들을 특성화하거나 처리하기 위해 하나 이상의 표면 특성들, 벡터들, 재료들, 특성화 또는 다른 식별 특성
Figure pct00050
을 포함할 수 있으며, 여기서 반사율 함수는 이제 표면의 다양한 특성들에 대한 일반화된 벡터를 포함하고, 11D 범용 객체 파라미터화 함수
Figure pct00051
로 표현된다.
11D 범용 홀로그래픽 파라미터화 함수
Figure pct00052
는 주어진 환경 및 벡터화된 객체 특성들에 대한 결과 값들을 정의하고, 4D 함수
Figure pct00053
는 에너지 지향 장치 표면으로부터의 에너지 전파 경로들을 정의하며, 따라서, 전송되는 방향
Figure pct00054
이 전파 경로
Figure pct00055
를 정의하고 그 전파 경로들과 동일한 15D 범용 홀로그래픽 파라미터화 함수
Figure pct00056
으로서 더 일반화될 수 있으며, 이에 의해 공간 좌표
Figure pct00057
을 정의하고, 각각의 전송되는 방향
Figure pct00058
에 대해 하나의
Figure pct00059
값들의 세트만이
Figure pct00060
=
Figure pct00061
을 만족시킬 수 있다. 당업자는 4D 및 5D 홀로그래픽 감각 에너지 특성에 대하여 개시된 범용 파라미터화와 관련된 렌더링 요구 사항 이외에 다양한 변환 및 수학적 구성을 이해할 것이다.
공간의 수렴 포인트들에서 형성된 표면들과 일치하는 모든 감각 에너지 특성들의 벡터화를 나타내는 완전한 15D 함수를 통하여, 필요한 데이터의 측정 체계가 진정으로 홀로그래픽 데이터 세트들의 송신을 가능하게 하는 실행 가능 경로에 대한 근본적으로 제거된 프로비저닝이다.
벡터화된 특성들은 종합적으로 프로그래밍되거나 캡처되거나 계산적으로 평가될 수 있는 특성들에 대한 감각 도메인들 각각에 대해 정확한 피직스를 제공하기 위한 것이며, 여기서
Figure pct00062
은 일반 시스템 메타 데이터 또는 각각의 또는 임의의 감각 에너지 도메인에 대해 제공된 데이터 세트 내에서 주어진 샘플에 대한 객체에 관하여 각 표면, 체적 또는 3D 좌표
Figure pct00063
벡터화된 특성들에 대한 속성들을 규정할 수 있으며, 다음을 포함한다:
1). 시스템 메타데이터는 법선, 깊이 정보, 환경 속성들, 주어진 3D 좌표에 대한 다수의 각도 샘플들, 절차적 텍스처, 지오메트리, 포인트 클라우드, 딥 이미지 데이터, 정적 프레임, 시간 프레임, 비디오 데이터, 표면 ID, 표면 통과, 좌표 맵, 가상 카메라 좌표, 가상 조명 및 시각적 에너지 정보, 환경 맵들, 시각적 감각 샘플 정보의 필드 밖의 장면 정보, 곡선, 정점, 시간 정보, 네트워크 데이터, 데이터베이스, 객체 인식, 에너지 장치, 외부 데이터 피드, 시스템 수정 및 상호 작용을 위한 센서, 시스템 상태, 음성 인식, 후각 감지, 청각 감지, 안면 인식, 체성 감각 인식, 미각 인식, UI, UX, 사용자 프로파일, 흐름 및 모션 벡터, 레이어, 영역, 투명도, 세그먼트, 애니메이션, 순서 정보, 절차 정보, 변위 맵, 또는 각 샘플의 적절한 프로세싱을 위한 충분한 데이터를 제공하는데 필요한 다른 장면 데이터를 포함하는 각 샘플에 대한 표면 특성들에 대한 임의의 감각 에너지 특정 속성들 또는 시스템 전체 기준들을 제공할 수 있고;
2). 시각적 감각 에너지는 가시적 또는 비-가시적 전자기 에너지의 적절한 렌더링, 변색, 발광, 표면 하도 산란, 비-국부 산란 효과, 반사, 섀도잉, 흡광도, 투과율, 마스킹, 상호 반사, 알베도, 투명도, 피직스, 다이내믹스, 반사, 굴절, 회절, 광학 효과, 대기 효과, 주파수, 변조 표면 프로파일, 텍스처, 변위 맵, 다른 감각 에너지들과 특별히 상호 관련하고 프로비저닝된 에너지들(예를 들어, 반사 특성을 변화시키는 사운드의 진동 또는 표면 변형을 일으키는 촉각 재료 변형)에 기초하여 반응하는 피직스 및 다이내믹스, 레이어, 영역, 투명도, 세그먼트, 곡선, 애니메이션, 순서 정보, 절차 정보, 재료의 크기, 환경 조건, 실내 다이내믹스, 또는 표면, 환경, 공간, 객체, 포인트, 체적 등에 대한 다른 관련 재료 특성들을 정의하는 표면 속성들을 포함할 수 있고;
3). 청각 감각 에너지: 편재된 사운드 필드의 배치와 관련하는 벡터, 크기, 진폭, 질량, 재료 전파 파라미터, 흡광도, 투과도, 음향 반사도를 알려주는 재료 특성, 확산, 전송, 증가, 마스킹, 산란 위치, 주파수 의존성 또는 변조, 피치, 음색, 점도, 부드러움, 질감, 모듈러스, 객체, 표면, 매체 등 내에서의 음향 파의 전파를 결정하는 임의의 다른 파라미터들, 다른 감각 에너지들과 구체적으로 상호 관련되어 프로비저닝 에너지들에 기초하여 반응하는 피직스 및 다이내믹스(예를 들어, 재료의 사운드를 변화시키는 온도), 레이어, 영역, 투명도, 세그먼트, 곡선, 순서 정보, 절차 정보, 재료의 크기, 환경 조건, 공간 다이내믹스, 또는 표면, 환경, 공간, 객체, 포인트, 체적 등에 대한 다른 관련 재료 특성들;
4). 텍스처, 압력, 감온 수용체, 온도, 다른 다이내믹스들 중의 시간, 변형, 모듈러스에 대한 변수를 포함하는 다양한 피직스를 제공하는 응력과 스트레인 사이의 변형을 겪을 때 점성 및 탄성 특성 모두를 측정하는 재료의 점탄성 거동 범위를 정의하는 표면 변형 파라미터들 및 벡터들에 대한 기계 수용체들과 관련된 체성 감각 에너지 벡터, 레이어, 영역, 투명도, 세그먼트, 곡선, 애니메이션, 순서 정보, 절차 정보, 재료의 크기, 환경 조건, 공간 다이내믹스, 또는 표면, 환경, 공간, 객체, 포인트, 체적 또는 다른 체성 감각 파라미터들에 대한 다른 관련 재료 특성들;
5). 향기로운, 과일향 나는, 나무향 나는(수지성), 화학적, 달콤한, 박하향 나는(페퍼민트), 토스트향 나는(너티), 매운향이 나는 및 부식향이 나는 것에 대한 미각 감각 에너지 벡터로서, 상기 벡터 및 벡터화된 신호들의 공간 좌표는 복잡한 후각 구현들에 대한 생성을 나타낼 수 있고, 지속 시간, 크기, 주파수, 길이, 시간, 반경, 변조, 레이어, 영역, 투명도, 세그먼트, 곡선, 애니메이션, 시퀀스 정보, 절차 정보, 재질 크기, 환경 조건, 공간 다이내믹스 또는 그 밖의 표면, 환경, 공간, 객체, 포인트, 체적 또는 다른 미각 감각 파라미터와 관련된 재료 특성들을 더 제공하고;
6). 신맛, 짠맛, 쓴맛(spiciness), 단맛 및 풍미(unmami)에 대한 후각 감각 에너지 벡터들로서, 상기 벡터 및 벡터화된 신호들의 공간 좌표는 복잡한 후각 구현들에 대한 생성을 나타낼 수 있고 지속 시간, 크기, 주파수, 길이, 시간, 반경, 변조, 레이어, 영역, 투명도, 세그먼트, 곡선, 애니메이션, 시퀀스 정보, 절차 정보, 재질 크기, 환경 조건, 공간 다이내믹스 또는 그 밖의 표면, 환경, 공간, 객체, 포인트, 체적 또는 다른 후각 감각 파라미터와 관련된 재료 특성들을 더 제공하고;
7). 또는, 임의의 다른 감각 샘플 데이터 세트로부터의 물리적, 합성, 전송 또는 전산 상호 의존성에 기초하여 다른 상호 관련된 감각 다이내믹스로서, 필요로 하거나, 설계되거나, 요구되는 감각 시스템 벡터들, 및 특정 특성의 파라미터화가 일반화된 홀로그픽 구성 데이터의 재구성, 저장, 처리 또는 전송에 유용한 임의의 추가적인 감각 특성들.
단일 각도 샘플을 갖는 2D 데이터를 포함하는 수신된 데이터 세트를 통해, 3D 데이터가 단일 차원에서 2개 이상의 각도 샘플을 가지거나, 4D 데이터가 2차원에서 복수의 각도 샘플들을 가지거나, 또는 5D 데이터가 3 차원 또는 그 이상의 차원에서 복수의 각도 샘플들을 갖는다.
제공된 모든 소스 자료에 대해 각 소스 자료는 홀로그래픽 데이터 세트의 효율적인 벡터화를 위해 적절하게 준비하기 위한 추가 프로세스를 거칠 수 있다. 제공된 에너지 원이 에너지 지향 표면보다 낮은 공간 해상도 또는 각도 해상도를 보이는 경우 본래의 소스를 4D 또는 5D 데이터 세트로 정확하게 변환하기 위해 변환 프로세스가 필요할 수 있다.
적절한 준비를 위해, 일 실시예에서, 제공된 2D 또는 3D 소스 재료는 표준 이미징 시스템으로부터의 사진 캡쳐를 포함한다. 이러한 일련의 이미지 내에서, 반사, 굴절, 투명 요소 및 물리적 특성에 기초한 조명과의 재료 특성 상호 작용의 다른 유사한 예가 래스터링된다.
이미 래스터된 재료 특성들을 가진 표면들에 대한 표면 ID들을 간단히 식별하여 컨텐츠를 준비하는 경우, 유효 데이터는 4D 좌표 시스템으로 수렴하기에 충분할 수 있지만, 이러한 표면들에 적용된 임의의 추가 렌더링은 사진 합성 및 파라미터화된 합성 렌더링 반사 특성의 피직스에 대한 이중 이미지를 나타낸다. 효율적인 홀로그램 전송을 위한 이상적인 소스 데이터 세트는 샘플 소스 정보의 알베도 표현과 알베도 멀티 뷰 샘플의 객체 기반 체적 샘플링을 형성하는 메타 데이터를 갖는 지정된 에너지 도메인들 각각에 대한 벡터화된 재료 특성들을 포함하며, 모든 재료 특성들은 정확한 표면 식별 및 렌더링뿐만 아니라 지정된 벡터화된 표면 특성들에 기초하여 다른 감각 에너지들의 위치 또는 투영을 제공한다.
일 실시예에서, 수동, 반자동, 컴퓨터 비전 또는 자동화된 프로세스들이 소스 샘플 데이터 세트의 컨텐츠를 알고리즘적으로 또는 수동적으로 평가하기 위해 프로비저닝되며, 여기서 수동 또는 알고리즘 분석이 수행되고, 이에 의해 당업계에 공지된 세그먼트화 및 다른 객체 분리 방법들이 바람직하지 않은 물리적으로 래스터화된 효과들을 포함하는 영역들을 식별하기 위해 수행된다. 일 실시예에서, 사람이 배경 앞에서 촬영되며, 여기서 사람의 재질 특성들은 환경으로부터의 반사를 포함하고, 배경 객체들은 촬영된 사람에 의해 가려진다. 이 영역들이 바람직하지 않은 것으로 식별된 이후에, 프로세스를 활용하여 1) 문제의 객체들을 격리하고: 2) 오클루젼, 투명성, 에지 또는 다른 요소를 설명하기 위해 모든 객체 요소들을 핵심 요소들로 분리하고; 3) 이미지 분석, 시간 분석, 에너지 분석, 기계 학습의 촉진과 함께, 컴퓨터 비전, 추가 하드웨어, 및 장면, 객체들 및/또는 환경에 대한 정보를 추가적으로 캡처하는 에너지 장치들을 통해, 완전 수동 수단을 통해, 재료 특성을 나타낼 임의의 표면이 컴퓨터 비전, 알고리즘들, 프로세서들 또는 수동 시각 효과들을 통해 제거된 임의의 그러한 베이킹된 재료 특성들을 갖도록 객체 요소들이 프로비저닝되며, 여기서 수동 프로세스들은 외부 재료 특성이 없는 상태에서 고유 재료 특성을 재생하여 가장 효율적인 송신 및 전파를 위한 컨텐츠를 준비할 목적으로 와이어 제거, 페인트 고정, 클린 플레이트, 이미지 복원, 알파 매트 생성, 오클루젼 충전, 객체 레크리에이션, 이미지 투영, 모션 트래킹, 카메라 트래킹, 로토스코프, 옵티컬 플로우 등을 수행하는 방법들에 대해 일반적으로 당업계에 공지되어 있으며; 4) 위의 추가 프로세스들에는 원하는 샘플들 각각에 대한 깊이 또는 3D 좌표 값들의 수동 또는 컴퓨터 지원 식별이 포함되고; 5) 또한, 관련된 재료 특성들을 식별하는 이 실시예 내에서, 이들 각각은 에너지 지향 장치의 디스플레이 드라이버들 내에서 또는 파라미터화된 데이터 세트를 인코딩 및 디코딩할 수 있는 임의의 추가 시스템 내에서 더 쉽게 렌더링될 수 있도록 포인트, 데이터의 영역, 표면, 객체 또는 다른 재료 표현을 나타낸다.
일 실시예에서, 위의 데이터 세트는 알베도 시간 에너지 샘플들을 준비하는 3D 멀티 뷰 샘플들을 포함하고, 이들 각각은 RGBA 정보의 다수의 층들을 가지며, 벡터화된 재료 특성의 모음은 각 세그먼트화 재료를 표면 ID 및 일련의 표면 파라미터들과 연관시켜, 익스트린식 이미지 데이터를 제거하기 이전에 본 소스 데이터 세트를 면밀히 재구성하며, 여기서 음향 데이터 세트에는 시각적 에너지 시스템의 재료 특성들과 관련된 벡터화된 재료 특성들이 프로비저닝되고, 또한 다수의 사운드 채널들 각각은 식별된 주파수, 변조, 공간 배치 및 다른 사운드 위치 파악 특성을 가지며, 여기서 신체 에너지 감각 에너지 데이터 세트는 시각 에너지 데이터 세트 내에 포함된 표면들의 서브세트에 대해 제공되어, 점탄성 및 온도 벡터화된 재료 특성을 추가로 포함하며, 둘 다 다른 벡터화된 데이터 세트들과 상관된다.
임의의 제공된 데이터 세트에서, 시각적인 에너지 데이터 세트로부터의 각각의 제공된 샘플은 에너지 지향 장치 표면과 관련하여 상대적인 깊이 위치에 대해 평가되고, 여기서 임의의 시각적 에너지 샘플들에 대한 샘플들 각각은 3D 좌표 시스템에 배치되며, 여기서 에너지 전파 경로 길이는, 에너지 지향 4D 표면 또는 5D 표면 내에 포함된 각각의
Figure pct00064
또는
Figure pct00065
좌표에 대해, 4D 또는 5D 플렌옵틱 함수들 내의 복수의 에너지 전파 경로들 중 위치
Figure pct00066
에 있는 제 1 3D 포인트를 교차하는 공존하는 복수의 수렴 에너지 전파 경로들에 관련하여 각각의 3D 좌표를 상관시키는 함수와 관련하여 평가되며, 제 1 좌표와 수렴 3D 포인트 사이의 단일
Figure pct00067
전파 경로 각도만이 형성된다. 4D 함수 또는 5D 함수는 에너지 지향 장치 내에 포함된 모든 4D [3] 또는 5D 좌표들 및 위치에서의 각 수렴 포인트에 대해 존재하는 그에 상응하는 전파 경로들을 집합적으로 정의하며, 여기서 제시되거나 이용 가능한 4D 또는 5D 공간 좌표당 샘플들의 전체 개수가 분석 프로세스를 수행한 이후에 알려지고, 여기서 위치에서의 각 3D 포인트와 4D 또는 5D 좌표 위치 사이의 총 에너지 전파 경로 길이가 알려지며, 또한 여기서 이용 가능한 복수의 3D 좌표 데이터로부터 샘플링된 3D 좌표 값들에 대한 4D 또는 5D 좌표 및 최소 경로 길이당 가용 전체 샘플들에 기초한 가중 분포가 임의의 데이터 세트에서 4D 또는 5D 라이트 필드의 완전한 샘플링을 제공한다.
상기의 다른 실시예로서, 임의의 1) 시각적, 청각적, 체성 감각에 대한 샘플들 각각 및 임의의 다른 제공된 에너지 샘플들이 제공된 데이터 세트, 추가 프로세싱 또는 추가 벡터화된 특성들에 기초하여 3D 좌표계에 배치된 이후에 2) 좌표 분석을 수행하기 이전에 3) 15D 범용 홀로그램 파라미터화 함수
Figure pct00068
가 평가되며, 여기서 4) 추가의 공지된 환경 장면, 기하학, 메타 데이터 등이 제공되며, 각각은 독립적인 벡터화된 재료 특성들을 갖고 5) 가상 조명 정보가 제공되고 추가 감각 에너지 메타 데이터 특성들은 렌더링 기능들을 변경할 수 있는 특성들 사이의 임의의 잠재적인 간섭에 대해 평가되며 6) 15D 파라미터화 함수는 각각 제공된 3D 좌표 및 상응하는 벡터화된 재료 특성을 평가하고, 7) 온-라인, 오프-라인, 실시간, 프로세서, ASIC, FPGA, 클라우드 또는 다른 형태의 렌더링 프로세스를 통해 렌더링 프로세스를 수행하여, 임의의 제공된 데이터 세트에 따라 새로운 복수의 각도 변화 재료 속성들을 생성하며, 여기서 8) 렌더링 프로세스는 전파 경로들
Figure pct00069
각각을 정의하고 이와 동일한 전송되는 방향
Figure pct00070
의 각각에 특정되고, 이에 의해 공간 좌표
Figure pct00071
를 정의하며, 각각의 전송되는 방향
Figure pct00072
에 대해
Figure pct00073
=
Figure pct00074
을 만족할 수 있는 하나의
Figure pct00075
세트의 값만이 있을 수 있으며, 여기서 9) 렌더링된 결과 및 결과적으로 이용 가능한 새로운 각도 변화 재료 특성에 기초하여, 제공된 샘플들 각각에 대한 에너지 전파 경로 길이를 포함하는 4D 또는 5D 좌표 각각은, 교차점이 4D 또는 5D 플렌옵틱 함수 내의 복수의 에너지 전파 경로들 중 위치
Figure pct00076
에 있는 제 1 3D 포인트를 교차하는, 공존하는 복수의 수렴 에너지 전파 경로들에 관련하여 각각의 3D 좌표를 상관시키는, 상기 함수와 관련하여 평가되며, 여기서 에너지 지향 4D 표면 또는 5D 표면 내에 포함된 각각의
Figure pct00077
또는
Figure pct00078
좌표에 대해, 제 1 좌표와 수렴 3D 포인트 사이에 형성되는 단일
Figure pct00079
전파 경로 각도만이 존재한다. 4D 함수
Figure pct00080
또는 5D 함수
Figure pct00081
는 에너지 지향 장치 내에 포함된 모든 4D
Figure pct00082
또는 5D
Figure pct00083
좌표들 및
Figure pct00084
에서 각각의 수렴 포인트에 존재하는 그에 상응하는
Figure pct00085
전파 경로들을 집합적으로 정의하며, 여기서 제시 또는 이용 가능한 4D
Figure pct00086
또는 5D
Figure pct00087
공간 좌표당 샘플들의 전체 수는 이 분석 프로세스를 수행한 이후에 알려지고, 여기서 위치
Figure pct00088
에서의 각 3D 포인트와 4D 또는 5D 좌표 위치 사이의 전체 에너지 전파 경로 길이가 알려지고, 여기서 이용 가능한 복수의 3D 좌표 데이터로부터 샘플링된 3D 좌표 값들에 대한 4D 또는 5D 좌표 및 최소 경로 길이당 전체 이용 가능한 샘플들에 기초한 가중 분포는 임의의 데이터 세트로부터의 모든 제공된 감각 에너지들에 대한 4D 또는 5D 라이트 필드의 완전한 샘플링을 제공한다.
상기 시스템의 추가 실시예에서, 렌더링은 추가적으로 양방향 에너지 지향 표면을 설명하여, 실제 환경의 조명을 나타내는 감지된 전자기 에너지 또는 환경 내의 특정 음향 주파수들의 흡광도는 렌더링 프로세스에 대한 동적 또는 오프라인 업데이트가 발생하거나 다른 감지된 대화식 실제 요소가 평가될 수 있으며, 여기서 조명 및 음향 또는 다른 소스들은 환경 조건의 수정을 수용하도록 조정된다.
다시 도 8을 참조하면, 프로세스(800)의 일 실시예에서의 상기 개시된 원리들의 관점에서, 수신된 컨텐츠 데이터는 벡터화된 재료 특성 데이터를 더 포함할 수 있으며, 여기서 프로세스(800)는 컨텐츠 데이터의 디지털 체적 표현이 벡터화된 재료 특성 데이터와 관련되는 단계(830)를 더 포함하며; 단계(804)에서, 에너지 소스 위치 값들을 결정하는 것은 컨텐츠 데이터의 체적 표현과 관련된 적어도 벡터화된 재료 특성 데이터에 기초한다.
도 9 및 도 13을 참조하면, 일 실시예에서, 벡터화 프로세스(1300)는 제 1 컨텐츠 데이터가 수신되는 단계(1302) 및 컨텐츠 데이터의 표면(915)을 식별하는 단계(1304)를 포함할 수 있다. 일 실시예에서, 표면(915)을 식별하는 것은 컨텐츠 데이터에서 세그먼테이션 데이터를 사용하는 것을 포함할 수 있다. 벡터화 프로세스(1300)는 표면(915)의 표면 식별이 결정되는 단계(1306) 및 표면(915)의 재료 특성 데이터가 결정되는 단계(1308)를 더 포함할 수 있다. 일 실시예에서, 재료 특성 데이터를 결정하는 단계는 수동 결정을 포함하거나 소정의 프로세스를 사용할 수 있다. 단계들(1306 및 1308) 이후에, 벡터화 프로세스(1300)는 표면 식별이 표면(915)의 재료 특성 데이터와 연관되는 단계(1310)를 더 포함할 수 있다. 벡터화 프로세스(1300)는 재료 특성 데이터의 벡터가 생성되는 단계(1312)를 더 포함할 수 있다. 벡터화 프로세스(1300)는 벡터화된 재료 특성 데이터가 생성된 벡터들에 기초하여 생성되는 단계(1314)를 더 포함할 수 있다.
일 실시예에서, 프로세스(1300)는 재료 특성 데이터가 제 1 컨텐츠 데이터로부터 제거되고, 단계(1314)로부터 생성되는 벡터화된 특성 데이터로 대체되는 단계(1316)를 선택적으로 포함할 수 있다. 일 실시예에서, 단계(1314)에서 생성된 벡터화된 재료 특성 데이터는 위에서 논의 된 바와 같이 본 개시의 에너지 지향 장치에 대한 4D 플렌옵틱 좌표를 결정하기 위해 전술한 바와 같이 프로세스(800)에서 사용될 수 있다.
프로세스(1300)는 프로세싱 시스템 (1200)을 포함하는 본 개시의 임의의 프로세싱 시스템을 이용하여 수행될 수 있다. 일 실시예에서, 컨텐츠 데이터는 단계 1302에서 데이터 입 / 출력 인터페이스 (1201)를 통해 수신 될 수 있고, 벡터화 프로세스(1300)의 단계 1304 내지 1314는 벡터화 엔진 (1204)을 사용하여 수행될 수 있다. 또한, 단계(1314)에서 생성된 벡터화된 재료 특성 데이터는 상술한 바와 같이 프로세스(800)의 단계에 따라 처리하기 위해 감각 데이터 프로세서 (1202) 및 트레이싱 엔진 (1206)에 의해 사용될 수 있다. 단계들(808 및 812)은 홀로그래픽 표현을 위한 4D 좌표를 결정하기 위해 트레이싱 엔진에 의해 수행될 수 있다. 단계(810)는 감각 데이터 프로세서(1202)에 의해 수행될 수 있다. 프로세싱 서브시스템의 출력은 압축 엔진(1210)에 제공될 수 있으며, 압축 엔진(1210)으로부터 압축된 데이터는 시스템(1210)에 로컬로 또는 원격으로 연결된 에너지 지향 시스템으로의 전송을 위해 메모리에 저장되거나 데이터 입력 인터페이스(1201)에 제공될 수 있다. 또한, 데이터는 향후에 검색될 때까지 메모리(1208)에 저장될 수 있다.
호겔은 라이트 필드 홀로그램의 일부이다. 본 호겔들이 렌더링될 수 있다.
본원에 개시된 원리들에 따라 다양한 실시예들이 위에서 설명되었지만, 이들은 단지 예로서 제시되었고 제한적인 것이 아니라는 것이 이해되어야 한다. 따라서, 본 발명(들)의 폭 및 범위는 전술한 예시적인 실시예들 중 임의의 것에 의해 제한되어서는 안되며, 오직 본 개시로부터 공표된 청구항들 및 그 등가물들에 따라 정의되어야 한다. 또한, 전술한 장점들 및 특징들은 설명된 실시예들에서 제공되지만, 이러한 공표된 청구항들의 적용을 상기의 장점들의 일부 또는 전부를 달성하는 공정들 및 구조들로 제한해서는 안된다.
본 개시의 주요 특징은 본 발명의 범위를 벗어나지 않고 다양한 실시예에서 채용될 수 있음은 이해될 것이다. 당업자는 일상적인 실험만을 사용하여 본원에 기재된 특정 절차들에 대한 다수의 등가물들을 인식하거나 또는 확인할 수 있을 것이다. 이러한 등가물들은 본 개시의 범위 내에 있는 것으로 간주되고 청구항들에 의해 커버된다.
또한, 본원에서 섹션 표제들은 37 CFR 1.77에 따른 제안사항과의 일관성을 위해, 또는 그렇지 않으면 구조적 단서를 제공하기 위해 제공된다. 이 표제들은 이 개시로부터 공표할 수 있는 임의의 청구항들에 기술된 발명(들)을 제한하거나 특성을 부여하지 않는 것이다. 구체적으로, 예로서, 표제들이 "발명의 분야"를 지칭하고는 있지만, 그러한 주장들은 이 표제 하에서의 언어에 의해 제한되어서는 안되며, 소위 기술 분야를 설명하는 것이다. 또한, "발명의 배경" 섹션에서의 기술의 설명은 기술이 본 개시에서 임의의 발명(들)에 대한 선행 기술이라는 것을 인정하는 것으로 해석되어서는 안된다. 또한 "개요"는 공표된 청구항들에 명시된 발명(들)의 특성으로 간주되어서는 안된다. 게다가, 본 개시에서의 "발명"에 대한 임의의 참조는 이 개시에서 오직 단일한 지점의 신규성만이 존재함을 논증하는 데 사용되어서는 안된다. 다수의 발명들은 본 개시로부터 공표된 다수의 청구항들의 한계들에 따라 명시될 수 있으며, 따라서 그러한 청구항들은 그에 의해 보호되는 발명(들) 및 그 등가물들을 정의한다. 모든 경우에, 그러한 청구항들의 범위는 본 개시에 비추어 그 자체의 장점들에 대해 고려되어야 하지만 본원에 명시된 표제들에 의해 제약되어서는 안된다.
하나 또는 "하나의"라는 용어의 사용은, 청구항들 및/또는 명세서에서 용어 "포함하는"과 함께 사용되는 경우, "하나"를 의미할 수도 있지만, "하나 이상", "적어도 하나", 그리고 "하나 또는 하나 초과"의 의미와 일치한다. 본 개시는 단지 대안들 그리고 "및/또는"만을 지칭하는 정의를 지지하기는 하지만, 청구항들에서 "또는"이라는 용어의 사용은 명시적으로 대안들만을 지칭하는 것으로 나타내거나 대안들이 상호 배타적인 경우를 제외하고는 "및/또는"을 의미하는 것으로 사용된다. 본 출원의 전반에서, 용어 "약"은 값이 장치에 대한 오차의 고유한 변화를 포함하는 것을 나타내는 데 사용되며, 방법은 값, 또는 연구 주제들 사이에 존재하는 변동을 결정하기 위해 채용된다. 일반적으로, 전술한 논의에 종속되지만, "약"과 같은 근사의 단어에 의해 수정된 본원에서의 수치는 언급된 값으로부터 적어도 ±1, 2, 3, 4, 5, 6, 7, 10, 12 또는 15%만큼 변경될 수 있다.
본 명세서 및 청구항(들)에서 사용된 바와 같이, "포함하는"(및 임의의 형태의 포함하는, 이를테면 "포함한다" 및 "포함하고"), "갖는"(및 임의의 형태의 갖는, 이를테면 "갖다" "가진다"), "포함시키는"(및 임의의 형태의 포함시키는, 이를테면 "포함시킨다" 및 "포함시키고"), 또는 "함유하는"(및 임의의 형태의 함유하는, 이를테면 "함유한다" 및 "함유하고")은 포괄적이거나 확장 가능(open-ended)하며, 부가적인 언급되지 않은 요소들이나 방법 단계들을 배제하지 않는다.
"그 시간에", "등가의", "도중에", "완료된" 등과 같은 비교, 측정 및 타이밍의 단어들은 "실질적으로 그 시간에", "실질적으로 등가의", "실질적으로 도중에", "실질적으로 완료된" 등을 의미하며, 여기서, "실질적으로"는 이러한 비교, 측정 및 타이밍이 묵시적으로 또는 명시적으로 언급된 원하는 결과를 달성하기 위해 실행 가능하다는 것을 의미한다. 근처의, "근접한" 및 "인접한"과 같은 요소들의 상대적 위치와 관련된 단어들은 각각의 시스템 요소 상호 작용에 물리적인 영향을 미치기에 충분히 가깝다는 것을 의미하는 것이다. 근사의 다른 단어들은, 유사하게는, 그렇게 수정될 때 반드시 절대적이거나 완전하지는 않지만, 당업자에게 충분히 가깝다고 생각되는 것으로 이해되는 조건을 지칭하여, 그 조건을 존재하는 것으로 간주하는 것을 보증한다. 설명이 변경될 수 있는 정도는 변경이 얼마나 크게 도입될 수 있는지에 달려 있으며, 여전히 당업자는 수정되지 않은 특징의 원하는 특성들 및 능력들을 여전히 가지면서 수정된 특징을 인식한다.
본원에 사용된 바와 같은 용어 "또는 그의 조합"은 용어 앞에 기재된 나열된 항목들의 모든 순열 및 조합을 지칭한다. 예를 들어, A, B, C 또는 이들의 조합은 A, B, C, AB, AC, BC 또는 ABC 중 적어도 하나를 포함하도록 의도되며, 특정 문맥에서 순서가 중요하다면 BA, CA, CB, CBA, BCA, ACB, BAC 또는 CAB를 포함하도록 의도된다. 이 예를 계속하면 BB, AAA, AB, BBC, AAABCCCC, CBBAAA, CABABB 등과 같이 하나 이상의 항목 또는 용어를 반복하여 포함하는 조합이 명시적으로 포함된다. 당업자는 통상적으로 문맥으로부터 명백하지 않는 한 임의의 조합으로 항목들 또는 용어들의 수에 제한이 없다는 것을 이해할 것이다.
본원에 개시되고 청구된 모든 구성들 및/또는 방법들은 본 개시에 비추어 과도한 실험없이 제조되고 실행될 수 있다. 본 개시의 구성들 및 방법들은 바람직한 실시예들의 관점에서 기재되었지만, 본 개시의 개념, 사상 및 범위를 벗어나지 않는 한, 변형예들이 구성들 및/또는 방법들에 그리고 본원에 기재된 방법의 단계들에서 또는 단계들의 시퀀스에서 적용될 수 있음은 당업자에게 명백할 것이다. 당업자에게 명백한 이러한 모든 유사한 대체예들 및 변형예들은 첨부된 청구항들에 의해 정의된 바와 같은 개시의 사상, 범위 및 개념 내에 있는 것으로 간주된다.

Claims (48)

  1. 컨텐츠 데이터에 대한 4차원(4D) 플렌옵틱 좌표(plenoptic coordinate)들을 결정하는 방법으로서,
    컨텐츠 데이터를 수신하는 단계;
    상기 컨텐츠 데이터의 디지털 체적 표현을 생성하기 위해 제1 표면에 대한 데이터 포인트들의 위치들을 결정하는 단계로서, 상기 제1 표면은 기준 표면인, 상기 결정하는 단계;
    상기 체적 표현 내의 데이터 포인트들의 위치들을, 4D 함수가 적용되는 제2 표면으로 트레이싱함으로써, 상기 제2 표면의 데이터 포인트들의 4D 플렌옵틱 좌표들을 결정하는 단계; 및
    제1 수렴 포인트를 갖는 4D 플렌옵틱 좌표들에 대한 에너지 소스 위치 값들을 결정하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 컨텐츠 데이터는 시각, 청각, 텍스처(textural), 감각 또는 냄새 센서에 의해 인지 가능한 신호를 포함하는 방법.
  3. 제1항에 있어서,
    상기 컨텐츠 데이터는 오브젝트 위치, 재료 특성, 가상 광원, 비-오브젝트 위치에서의 지오메트리를 위한 컨텐츠, 상기 기준 표면의 외측의 컨텐츠, 가상 카메라 위치, 오브젝트들의 세그먼테이션(segmentation of object), 및 계층화된 컨텐츠 중 적어도 하나를 포함하는 방법.
  4. 제1항에 있어서,
    상기 컨텐츠 데이터는 2차원(2D) 공간 내의 데이터 포인트들을 포함하고, 상기 위치들을 결정하는 단계는 2차원 공간 내의 상기 데이터 포인트들에 깊이 맵을 적용하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 컨텐츠 데이터는 3차원(3D) 공간 내의 데이터 포인트들을 포함하고, 상기 위치들을 결정하는 단계는 상기 3D 공간 내의 상기 데이터 포인트들을 조절하는 단계를 포함하는 방법.
  6. 제5항에 있어서,
    상기 조절하는 단계는 상기 3D 공간 내의 상기 데이터 포인트들에 깊이 맵을 적용하는 단계를 포함하는 방법.
  7. 제5항에 있어서,
    상기 조절하는 단계는 새로운 데이터 포인트를 추가하는 단계를 포함하는 방법.
  8. 제5항에 있어서,
    상기 조절하는 단계는 폐색된(occluded) 데이터 포인트들을 재구성하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 제2 표면은 에너지 지향 장치의 도파관 시스템에 대응하고,
    에너지는 상기 컨텐츠 데이터의 검출 가능한 체적 표현을 형성하기 위해 상기 데이터 포인트들의 상기 4D 플렌옵틱 좌표에 따라 상기 도파관 시스템을 통해 지향되도록 동작 가능한 방법.
  10. 제 9항에 있어서,
    상기 방법은 상기 도파관 시스템의 제1 측면 상의 에너지 위치들과 상기 도파관 시스템의 제2 측면 상의, 상기 도파관 요소로부터의 에너지 전파 경로들의 각도 방향들 간의 맵핑을 적용하는 단계를 더 포함하되,
    상기 맵핑을 적용함으로써, 상기 데이터 포인트들의 상기 4D 플렌옵틱 좌표에 대응하는 상기 도파관 시스템의 상기 제1 측면 상의 복수의 에너지 위치가 결정되는 방법.
  11. 제10항에 있어서,
    상기 맵핑을 적용하는 단계는 상기 도파관 시스템에서의 왜곡을 캘리브레이션하는 단계를 포함하는 방법.
  12. 제11항에 있어서,
    상기 도파관 시스템에서의 상기 왜곡을 캘리브레이션하는 단계는 공간 왜곡, 각도 왜곡, 강도 왜곡 및 색상 왜곡으로 이루어진 그룹으로부터 선택된 적어도 하나의 왜곡에 대해 캘리브레이션하는 단계를 포함하는 방법.
  13. 제 9항에 있어서,
    상기 에너지 지향 장치는 상기 도파관 시스템의 제1 측면 상에 릴레이 시스템을 더 포함하며, 상기 릴레이 시스템은 상기 도파관 시스템에 인접한 제1 표면을 가지며, 상기 도파관 시스템의 상기 제1 측면 상의 상기 에너지 위치들은 상기 릴레이 시스템의 제2 표면에 인접하게 위치되는 방법.
  14. 제13항에 있어서,
    상기 맵핑을 적용하는 단계는 상기 도파관 시스템에서의 왜곡을 캘리브레이션하는 단계를 포함하는 방법.
  15. 제13항에 있어서,
    상기 맵핑을 적용하는 단계는 상기 릴레이 시스템에서의 왜곡을 캘리브레이션하는 단계를 포함하는 방법.
  16. 제15항에 있어서,
    상기 맵핑을 적용하는 단계는 상기 도파관 시스템에서의 왜곡을 캘리브레이션하는 단계를 포함하는 방법.
  17. 제15항에 있어서,
    상기 릴레이 시스템에서의 왜곡을 캘리브레이션하는 단계는 공간 왜곡, 각도 왜곡, 강도 왜곡 및 색상 왜곡으로 구성된 그룹으로부터 선택된 적어도 하나의 왜곡에 대해 캘리브레이션하는 단계를 포함하는 방법.
  18. 제 9항에 있어서,
    상기 에너지 위치들은 상기 제1 표면에 위치하는 방법.
  19. 제1항에 있어서,
    상기 수신된 컨텐츠 데이터는 벡터화된 재료 특성 데이터를 더 포함하고,
    상기 방법은 상기 컨텐츠 데이터의 디지털 체적 표현을 상기 벡터화된 재료 특성 데이터와 연관시키는 단계를 더 포함하며,
    에너지 소스 위치 값들을 결정하는 것은 적어도, 상기 컨텐츠 데이터의 체적 표현과 관련된 상기 벡터화된 재료 특성 데이터에 기초하는 방법.
  20. 제1항에 있어서,
    상기 방법의 적어도 일부는 실시간으로 수행되는 방법.
  21. 제1항에 있어서,
    상기 방법은 전체적으로 실시간으로 수행되는 방법.
  22. 제1항에 있어서,
    상기 방법의 적어도 두 부분은 상이한 기간들에 수행되는 방법.
  23. 컨텐츠 데이터에 대한 4차원(4D) 플렌옵틱 좌표들을 결정하는 방법으로서,
    컨텐츠 데이터를 수신하는 단계;
    기준 포인트 위치에 대한 데이터 포인트들의 위치들을 결정하는 단계;
    상기 기준 포인트 위치에 기초하여 상기 데이터 포인트들의 벡터들을 생성함으로써 상기 데이터 포인트들을 벡터화하는 단계;
    상기 벡터화된 데이터 포인트들에 기초하여, 제1 표면에 대한 데이터 포인트들의 위치들을 결정하여 상기 컨텐츠 데이터의 디지털 체적 표현을 생성하는 단계로서, 상기 제1 표면은 기준 표면인, 상기 생성하는 단계; 및
    상기 체적 표현 내의 데이터 포인트들의 위치들을, 4D 함수가 적용되는 제2 표면으로 트레이싱함으로써, 상기 제2 표면의 데이터 포인트들의 4D 플렌옵틱 좌표들을 결정하는 단계를 포함하는 방법.
  24. 제23항에 있어서,
    상기 컨텐츠 데이터는 시각, 청각, 텍스처(textural), 감각 또는 냄새 센서에 의해 인지 가능한 신호를 포함하는 방법.
  25. 제23항에 있어서,
    상기 컨텐츠 데이터는 오브젝트 위치, 재료 특성, 가상 광원, 비-오브젝트 위치에서의 지오메트리를 위한 컨텐츠, 상기 기준 표면의 외측의 컨텐츠, 가상 카메라 위치, 오브젝트들의 세그먼테이션(segmentation of object), 및 계층화된 컨텐츠 중 적어도 하나를 포함하는 방법.
  26. 제23항에 있어서,
    상기 컨텐츠 데이터는 2 차원(2D) 공간 내의 데이터 포인트들을 포함하고, 상기 위치들을 결정하는 단계는 2차원공간 내의 상기 데이터 포인트들에 깊이 맵을 적용하는 단계를 포함하는 방법.
  27. 제23항에 있어서,
    상기 컨텐츠 데이터는 3 차원(3D) 공간 내의 데이터 포인트들을 포함하고, 상기 위치들을 결정하는 단계는 상기 3D 공간 내의 상기 데이터 포인트들을 조절하는 단계를 포함하는 방법.
  28. 제27항에 있어서,
    상기 조절하는 단계는 상기 3D 공간 내의 상기 데이터 포인트들에 깊이 맵을 적용하는 단계를 포함하는 방법.
  29. 제27항에 있어서,
    상기 조절하는 단계는 새로운 데이터 포인트를 추가하는 단계를 포함하는 방법.
  30. 제27항에 있어서,
    상기 조절하는 단계는 폐색된(occluded) 데이터 포인트들을 재구성하는 단계를 포함하는 방법.
  31. 제23항에 있어서,
    상기 제2 표면은 에너지 지향 장치의 도파관 시스템에 대응하고,
    에너지는 상기 컨텐츠 데이터의 검출 가능한 체적 표현을 형성하기 위해 상기 데이터 포인트들의 상기 4D 플렌옵틱 좌표에 따라 상기 도파관 시스템을 통해 지향되도록 동작 가능한 방법.
  32. 제31항에 있어서,
    상기 방법은 상기 도파관 시스템의 제1 측면 상의 에너지 위치들과 상기 도파관 시스템의 제2 측면 상의, 상기 도파관 요소로부터의 에너지 전파 경로들의 각도 방향들 간의 맵핑을 적용하는 단계를 더 포함하되,
    상기 맵핑을 적용함으로써, 상기 데이터 포인트들의 상기 4D 플렌옵틱 좌표에 대응하는 상기 도파관 시스템의 상기 제1 측면 상의 복수의 에너지 위치가 결정되는 방법.
  33. 제32항에 있어서,
    상기 맵핑을 적용하는 단계는 상기 도파관 시스템에서의 왜곡을 캘리브레이션하는 단계를 포함하는 방법.
  34. 제33항에 있어서,
    상기 도파관 시스템에서의 상기 왜곡을 캘리브레이션하는 단계는 공간 왜곡, 각도 왜곡, 강도 왜곡 및 색상 왜곡으로 이루어진 그룹으로부터 선택된 적어도 하나의 왜곡에 대해 캘리브레이션하는 단계를 포함하는 방법.
  35. 제31항에 있어서,
    상기 에너지 지향 장치는 상기 도파관 시스템의 제1 측면 상에 릴레이 시스템을 더 포함하며, 상기 릴레이 시스템은 상기 도파관 시스템에 인접한 제1 표면을 가지며, 상기 도파관 시스템의 상기 제1 측면 상의 상기 에너지 위치들은 상기 릴레이 시스템의 제2 표면에 인접하게 위치되는 방법.
  36. 제35항에 있어서,
    상기 맵핑을 적용하는 단계는 상기 도파관 시스템에서의 왜곡을 캘리브레이션하는 단계를 포함하는 방법.
  37. 제35항에 있어서,
    상기 맵핑을 적용하는 단계는 상기 릴레이 시스템에서의 왜곡을 캘리브레이션하는 단계를 포함하는 방법.
  38. 제37항에 있어서,
    상기 맵핑을 적용하는 단계는 상기 도파관 시스템에서의 왜곡을 캘리브레이션하는 단계를 포함하는 방법.
  39. 제37항에 있어서,
    상기 릴레이 시스템에서의 왜곡을 캘리브레이션하는 단계는 공간 왜곡, 각도 왜곡, 강도 왜곡 및 색상 왜곡으로 구성된 그룹으로부터 선택된 적어도 하나의 왜곡에 대해 캘리브레이션하는 단계를 포함하는 방법.
  40. 제31항에 있어서,
    상기 에너지 위치들은 상기 제1 표면에 위치하는 방법.
  41. 제23항에 있어서,
    상기 수신된 컨텐츠 데이터는 벡터화된 재료 특성 데이터를 더 포함하고,
    상기 방법은 상기 컨텐츠 데이터의 디지털 체적 표현을 상기 벡터화된 재료 특성 데이터와 연관시키는 단계를 더 포함하며,
    에너지 소스 위치 값들을 결정하는 것은 적어도, 상기 컨텐츠 데이터의 체적 표현과 관련된 상기 벡터화된 재료 특성 데이터에 기초하는 방법.
  42. 벡터화 방법으로서,
    제1 컨텐츠 데이터를 수신하는 단계;
    상기 컨텐츠 데이터 내의 표면을 식별하는 단계;
    상기 표면의 표면 식별을 결정하는 단계;
    상기 표면의 재료 특성 데이터를 결정하는 단계;
    상기 표면 식별을 상기 표면의 상기 재료 특성 데이터와 연관시키는 단계;
    상기 재료 특성 데이터의 벡터들을 생성하는 단계; 및
    생성된 상기 벡터들에 기초하여 벡터화된 재료 특성 데이터를 생성하는 단계를 포함하는 방법.
  43. 제42항에 있어서,
    상기 표면을 식별하는 단계는 상기 컨텐츠 데이터 내의 세그먼테이션 데이터를 사용하는 단계를 포함하는 방법.
  44. 제42항에 있어서,
    상기 재료 특성 데이터를 결정하는 단계는 수동 결정을 포함하는 방법.
  45. 제42항에 있어서,
    상기 재료 특성 데이터를 결정하는 단계는 사전결정된 프로세스를 사용하는 단계를 포함하는 방법.
  46. 제42항에 있어서,
    상기 제1 컨텐츠 데이터의 디지털 체적 표현을 생성하기 위해 기준 표면에 대한 상기 표면의 데이터 포인트들의 위치들을 결정하는 단계;
    상기 제1 컨텐츠 데이터의 디지털 체적 표현을 상기 벡터화된 재료 특성 데이터와 연관시키는 단계;
    상기 체적 표현 내의 데이터 포인트들의 위치들을, 4D 함수가 적용되는 제2 표면으로 트레이싱함으로써, 4D 애플리케이션 표면에서 상기 표면의 데이터 포인트들의 4D 플렌옵틱 좌표들을 결정하는 단계; 및
    제1 수렴 포인트를 갖는 4D 좌표들에 대한 에너지 소스 위치 값들을 결정하는 단계로서, 적어도 상기 제1 컨텐츠 데이터의 상기 체적 표현과 연관된 상기 벡터화된 재료 특성 데이터에 기초하는, 상기 에너지 소스 위치 값들을 결정하는 단계를 포함하는 방법.
  47. 제46항에 있어서,
    재료 특성 데이터를 제거하는 단계를 더 포함하는 방법.
  48. 시스템으로서,
    입출력 인터페이스;
    상기 입출력 인터페이스와 통신하는 프로세싱 서브시스템;
    압축 엔진; 및
    선택사양적 메모리를 포함하는 시스템.
KR1020197004036A 2016-07-15 2017-07-17 홀로그래픽 감각 데이터 생성, 조작 그리고 전송을 위한 시스템 및 방법 KR20190026891A (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201662362602P 2016-07-15 2016-07-15
US62/362,602 2016-07-15
US201662366076P 2016-07-24 2016-07-24
US62/366,076 2016-07-24
US201762507500P 2017-05-17 2017-05-17
US62/507,500 2017-05-17
PCT/US2017/042275 WO2018014009A1 (en) 2016-07-15 2017-07-14 Energy propagation and transverse anderson localization with two-dimensional, light field and holographic relays
USPCT/US2017/042275 2017-07-14
USPCT/US2017/042276 2017-07-14
PCT/US2017/042276 WO2018014010A1 (en) 2016-07-15 2017-07-14 Selective propagation of energy in light field and holographic waveguide arrays
PCT/US2017/042469 WO2018014047A1 (en) 2016-07-15 2017-07-17 System and methods of holographic sensory data generation, manipulation and transport

Publications (1)

Publication Number Publication Date
KR20190026891A true KR20190026891A (ko) 2019-03-13

Family

ID=60952208

Family Applications (15)

Application Number Title Priority Date Filing Date
KR1020237029640A KR20230131497A (ko) 2016-07-15 2017-07-14 2차원 라이트 필드 및 홀로그램 릴레이들을 이용한 에너지 전파와 횡방향 앤더슨 편재
KR1020197004032A KR102574781B1 (ko) 2016-07-15 2017-07-14 2차원 라이트 필드 및 홀로그램 릴레이들을 이용한 에너지 전파와 횡방향 앤더슨 편재
KR1020197004034A KR102609330B1 (ko) 2016-07-15 2017-07-14 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
KR1020237041094A KR20230166155A (ko) 2016-07-15 2017-07-14 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
KR1020237012371A KR20230054496A (ko) 2016-07-15 2017-07-17 라이트 필드, 가상 및 증강 현실을 위한, 투명 광도파관 어레이를 통한 실제 플렌옵틱 불투명도 변조의 홀로그래픽 중첩
KR1020197004036A KR20190026891A (ko) 2016-07-15 2017-07-17 홀로그래픽 감각 데이터 생성, 조작 그리고 전송을 위한 시스템 및 방법
KR1020237041095A KR20230166156A (ko) 2016-07-15 2017-07-17 고밀도 에너지 지향 장치
KR1020227033871A KR102600432B1 (ko) 2016-07-15 2017-07-17 홀로그램 초해상도를 위한 인코딩된 광 에너지 가이딩 요소
KR1020237037936A KR20230156806A (ko) 2016-07-15 2017-07-17 홀로그램 초해상도를 위한 인코딩된 에너지 도파관
KR1020197004033A KR102450992B1 (ko) 2016-07-15 2017-07-17 홀로그램 초해상도를 위한 인코딩된 에너지 도파관
KR1020197004588A KR102618960B1 (ko) 2016-07-15 2017-07-17 컴포넌트 엔지니어드 구조체들을 사용하여 에너지 릴레이에서 횡방향 앤더슨 편재를 실현하기 위한 시스템 및 방법
KR1020237044399A KR20240001724A (ko) 2016-07-15 2017-07-17 컴포넌트 엔지니어드 구조체들을 사용하여 에너지 릴레이에서 횡방향 앤더슨 편재를 실현하기 위한 시스템 및 방법
KR1020197004031A KR102609329B1 (ko) 2016-07-15 2017-07-17 고밀도 에너지 지향 장치
KR1020197004035A KR20190026890A (ko) 2016-07-15 2017-07-17 라이트 필드, 가상 및 증강 현실을 위한, 투명 광도파관 어레이를 통한 실제 플렌옵틱 불투명도 변조의 홀로그래픽 중첩
KR1020197004343A KR102609331B1 (ko) 2016-07-15 2017-07-18 홀로그램 에너지 지향 시스템에 대한 캘리브레이션 방법

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020237029640A KR20230131497A (ko) 2016-07-15 2017-07-14 2차원 라이트 필드 및 홀로그램 릴레이들을 이용한 에너지 전파와 횡방향 앤더슨 편재
KR1020197004032A KR102574781B1 (ko) 2016-07-15 2017-07-14 2차원 라이트 필드 및 홀로그램 릴레이들을 이용한 에너지 전파와 횡방향 앤더슨 편재
KR1020197004034A KR102609330B1 (ko) 2016-07-15 2017-07-14 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
KR1020237041094A KR20230166155A (ko) 2016-07-15 2017-07-14 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
KR1020237012371A KR20230054496A (ko) 2016-07-15 2017-07-17 라이트 필드, 가상 및 증강 현실을 위한, 투명 광도파관 어레이를 통한 실제 플렌옵틱 불투명도 변조의 홀로그래픽 중첩

Family Applications After (9)

Application Number Title Priority Date Filing Date
KR1020237041095A KR20230166156A (ko) 2016-07-15 2017-07-17 고밀도 에너지 지향 장치
KR1020227033871A KR102600432B1 (ko) 2016-07-15 2017-07-17 홀로그램 초해상도를 위한 인코딩된 광 에너지 가이딩 요소
KR1020237037936A KR20230156806A (ko) 2016-07-15 2017-07-17 홀로그램 초해상도를 위한 인코딩된 에너지 도파관
KR1020197004033A KR102450992B1 (ko) 2016-07-15 2017-07-17 홀로그램 초해상도를 위한 인코딩된 에너지 도파관
KR1020197004588A KR102618960B1 (ko) 2016-07-15 2017-07-17 컴포넌트 엔지니어드 구조체들을 사용하여 에너지 릴레이에서 횡방향 앤더슨 편재를 실현하기 위한 시스템 및 방법
KR1020237044399A KR20240001724A (ko) 2016-07-15 2017-07-17 컴포넌트 엔지니어드 구조체들을 사용하여 에너지 릴레이에서 횡방향 앤더슨 편재를 실현하기 위한 시스템 및 방법
KR1020197004031A KR102609329B1 (ko) 2016-07-15 2017-07-17 고밀도 에너지 지향 장치
KR1020197004035A KR20190026890A (ko) 2016-07-15 2017-07-17 라이트 필드, 가상 및 증강 현실을 위한, 투명 광도파관 어레이를 통한 실제 플렌옵틱 불투명도 변조의 홀로그래픽 중첩
KR1020197004343A KR102609331B1 (ko) 2016-07-15 2017-07-18 홀로그램 에너지 지향 시스템에 대한 캘리브레이션 방법

Country Status (11)

Country Link
US (27) US10877210B2 (ko)
EP (10) EP3485312A4 (ko)
JP (16) JP2019523445A (ko)
KR (15) KR20230131497A (ko)
CN (15) CN114296175A (ko)
AU (20) AU2017296074B2 (ko)
CA (13) CA3030848A1 (ko)
EA (1) EA039517B1 (ko)
NZ (3) NZ743841A (ko)
TW (3) TWI830544B (ko)
WO (5) WO2018014010A1 (ko)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201517607D0 (en) * 2015-10-06 2015-11-18 Silver Joshua D Novel optical waveguide display
EP3443735A4 (en) * 2016-04-12 2019-12-11 Quidient, LLC RECONSTRUCTION MACHINE FOR EVERYDAY SCENES
NZ743841A (en) 2016-07-15 2018-12-21 Light Field Lab Inc Energy propagation and transverse anderson localization with two-dimensional, light field and holographic relays
US10664716B2 (en) * 2017-07-19 2020-05-26 Vispek Inc. Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence
GB201715369D0 (en) * 2017-09-22 2017-11-08 Ceres Imaging Ltd Pseudo-collimated illumination derived from and array of light sources
GB2566744B (en) * 2017-09-26 2021-03-03 Sony Interactive Entertainment Inc Head-mountable display system
KR102030451B1 (ko) * 2017-10-26 2019-10-10 현대오트론 주식회사 초음파 센서 및 그 제어 방법
KR102507626B1 (ko) * 2017-10-31 2023-03-07 엘지디스플레이 주식회사 부피표현방식 3차원 표시장치
EP3704531B1 (en) 2017-11-02 2023-12-06 InterDigital Madison Patent Holdings, SAS Method and system for aperture expansion in light field displays
JP7138897B2 (ja) * 2018-01-03 2022-09-20 エルジー・ケム・リミテッド 光学フィルム
US11656466B2 (en) * 2018-01-03 2023-05-23 Sajjad A. Khan Spatio-temporal multiplexed single panel based mutual occlusion capable head mounted display system and method
US11309370B1 (en) 2018-01-12 2022-04-19 Apple Inc. Electronic device displays with curved surfaces
CN112105968A (zh) 2018-01-14 2020-12-18 光场实验室公司 全息衍射光学编码系统
US11181749B2 (en) * 2018-01-14 2021-11-23 Light Field Lab, Inc. Systems and methods for transverse energy localization in energy relays using ordered structures
CN112074773B (zh) 2018-01-14 2024-02-02 光场实验室公司 四维能量场封装组合件
CN112074782A (zh) 2018-01-14 2020-12-11 光场实验室公司 用于渲染来自3d环境的数据的系统和方法
CN108198238B (zh) * 2018-01-30 2021-06-22 北京小米移动软件有限公司 全息投影设备、方法、装置及计算机可读存储介质
CN110136592B (zh) * 2018-02-09 2020-07-24 京东方科技集团股份有限公司 像素结构、显示面板、显示装置及显示方法
CN108227210A (zh) * 2018-02-26 2018-06-29 上海小蚁科技有限公司 虚拟现实显示方法以及虚拟现实眼镜
US11003015B1 (en) 2018-03-05 2021-05-11 Apple Inc. Electronic device with a light guiding layer
CA3097202A1 (en) 2018-05-02 2019-11-07 Quidient, Llc A codec for processing scenes of almost unlimited detail
US11737307B1 (en) 2018-06-05 2023-08-22 Apple Inc. Electronic devices having curved displays with supporting frames
US11054861B2 (en) 2018-06-11 2021-07-06 Apple Inc. Electronic devices having displays with expanded edges
US10951875B2 (en) 2018-07-03 2021-03-16 Raxium, Inc. Display processing circuitry
US11353652B1 (en) 2018-07-10 2022-06-07 Apple Inc. Electronic devices having displays with curved surfaces and image transport layers
US11963425B1 (en) 2018-07-10 2024-04-16 Apple Inc. Electronic devices having displays with curved surfaces
US11388329B1 (en) 2018-07-17 2022-07-12 Apple Inc. Electronic devices having displays with image transport layers
US10937987B1 (en) 2018-07-20 2021-03-02 Apple Inc. Electronic devices having displays with tilted anodes
CN112512653B (zh) 2018-07-25 2023-04-04 光场实验室公司 基于光场显示系统的游乐园景点
US11619779B1 (en) 2018-08-10 2023-04-04 Apple Inc. Methods for forming image transport layers
US11810534B1 (en) * 2018-09-14 2023-11-07 Apple Inc. Distortion control in displays with optical coupling layers
EP3857290A4 (en) 2018-09-28 2022-07-06 Light Field Lab, Inc. HOLOGRAPHIC OBJECT RELAY FOR A LIGHT FIELD DISPLAY
WO2020072034A1 (en) * 2018-10-01 2020-04-09 Leia Inc. Holographic reality system, multiview display, and method
US10405683B1 (en) * 2018-10-18 2019-09-10 Jonathan E. Bittner System and method for detecting the addition or removal of a physical object
US10884142B2 (en) * 2018-10-19 2021-01-05 Incom, Inc. Pellet-start process for making transverse anderson localization optical element
US10860032B2 (en) * 2018-10-29 2020-12-08 Dell Products, Lp System and method for adaptive infrared emitter power optimization for simultaneous localization and mapping
US11436964B1 (en) * 2018-11-13 2022-09-06 Apple Inc. Electronic devices having image transport layers and electrical components
US11516908B1 (en) 2018-11-13 2022-11-29 Apple Inc. Electronic devices having image transport layers with embedded circuitry
US11817025B1 (en) * 2018-11-13 2023-11-14 Apple Inc. Electronic devices having housings with image transport layers
US10785473B2 (en) * 2019-01-10 2020-09-22 Honeywell International Inc. Virtual window display
US11361511B2 (en) * 2019-01-24 2022-06-14 Htc Corporation Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
US10904479B2 (en) 2019-03-12 2021-01-26 Light Field Lab, Inc. Video communication including holographic content
US20200290513A1 (en) * 2019-03-13 2020-09-17 Light Field Lab, Inc. Light field display system for vehicle augmentation
KR20210141946A (ko) * 2019-03-14 2021-11-23 라이트 필드 랩 인코포레이티드 편향각이 영이 아닌 에너지 지향 표면을 갖는 에너지 지향 시스템
US11212514B2 (en) * 2019-03-25 2021-12-28 Light Field Lab, Inc. Light field display system for cinemas
WO2020206190A1 (en) 2019-04-02 2020-10-08 Light Field Lab, Inc. Four-dimensional energy directing systems and methods
US10678059B1 (en) * 2019-04-02 2020-06-09 Microsoft Technology Licensing, Llc Concealed shock protector for head-mounted device display
GB201905773D0 (en) * 2019-04-25 2019-06-05 Wave Optics Ltd Display for augmented reality
JP6919673B2 (ja) 2019-05-07 2021-08-18 オムロン株式会社 表示切替装置
US11428933B2 (en) 2019-05-13 2022-08-30 Light Field Lab, Inc. Light field display system for performance events
CN113811845A (zh) * 2019-05-20 2021-12-17 光场实验室公司 模块化显示系统的扫描线刷新
US20200371472A1 (en) * 2019-05-21 2020-11-26 Light Field Lab, Inc. Light Field Display System Based Commercial System
CN114175627B (zh) 2019-06-07 2024-04-12 交互数字Vc控股公司 用于基于分布式光孔的光场显示器的光学方法和系统
EP3990972A1 (en) 2019-06-28 2022-05-04 PCMS Holdings, Inc. Optical method and system for light field (lf) displays based on tunable liquid crystal (lc) diffusers
DE102019210046A1 (de) * 2019-07-08 2021-01-14 Continental Automotive Gmbh Bildgebende Einheit für ein Head-Up-Display
EP4010756A4 (en) 2019-08-09 2023-09-20 Light Field Lab, Inc. DIGITAL SIGNAL SYSTEM BASED ON A LIGHT FIELD DISPLAY SYSTEM
US11247421B1 (en) 2019-08-20 2022-02-15 Apple Inc. Single-step extrusion of fiber optic plates for electronic devices
JP7366643B2 (ja) * 2019-08-22 2023-10-23 キヤノンメディカルシステムズ株式会社 医用データ処理装置、医用データ処理方法及び医用画像診断装置
US11513554B1 (en) 2019-08-23 2022-11-29 Apple Inc. Electronic devices having displays with borders of image transport material
GB2586512B (en) * 2019-08-23 2021-12-08 Dualitas Ltd Holographic projection
EP4022390A4 (en) 2019-08-26 2023-08-23 Light Field Lab, Inc. LIGHT FIELD DISPLAY SYSTEM FOR SPORTS EVENTS
US11774644B1 (en) 2019-08-29 2023-10-03 Apple Inc. Electronic devices with image transport layers having light absorbing material
CN110406266B (zh) * 2019-08-30 2020-08-25 昆山国显光电有限公司 喷墨打印装置和喷墨打印方法
CN110658708B (zh) * 2019-09-02 2021-09-07 杭州辰景光电科技有限公司 SLMs阵列拼接方法、拼接件及其拼接架
KR20220054850A (ko) * 2019-09-03 2022-05-03 라이트 필드 랩 인코포레이티드 게임 환경을 위한 라이트필드 디스플레이 시스템
DE102019214437A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Vorrichtung zum Umlenken von Licht für ein Gerät zur virtuellen Netzhautanzeige, Verfahren zum Herstellen derselben und Gerät zur virtuellen Netzhautanzeige
GB2578523B (en) * 2019-09-25 2021-08-11 Dualitas Ltd Holographic projection
US11402869B1 (en) 2019-09-25 2022-08-02 Apple Inc. Electronic devices having displays with enhanced optical uniformity
US11860394B1 (en) 2019-09-25 2024-01-02 Apple Inc. Electronic devices with reduced stray light and ambient light reflections
GB2588142B (en) * 2019-10-09 2023-05-31 Gp Acoustics International Ltd Acoustic waveguides
EP4053630A4 (en) * 2019-10-31 2022-12-21 Sony Group Corporation IMAGE DISPLAY DEVICE
US11474597B2 (en) 2019-11-01 2022-10-18 Google Llc Light field displays incorporating eye trackers and methods for generating views for a light field display using eye tracking information
JP7388135B2 (ja) * 2019-11-05 2023-11-29 株式会社Ｊｖｃケンウッド ヘッドマウントディスプレイ
KR20220099556A (ko) 2019-11-12 2022-07-13 라이트 필드 랩 인코포레이티드 중계 시스템
WO2021207582A1 (en) * 2020-04-09 2021-10-14 Looking Glass Factory, Inc. System and method for generating light field images
CN111477208B (zh) * 2020-04-17 2023-11-03 丁志军 波导装置和声波传递设备
US11525955B1 (en) 2020-06-05 2022-12-13 Apple Inc. Electronic devices with drawn sheet-packed coherent fiber bundles
US11683573B2 (en) 2020-09-02 2023-06-20 Samsung Electronics Co., Ltd. Folded optic for multicamera device and multicamera device including the same
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices
WO2022081537A2 (en) * 2020-10-13 2022-04-21 Compound Photonics U.S. Corporation Optical systems and display engines for augmented reality and near-eye headsets
CN112255787B (zh) * 2020-10-23 2022-06-07 中国人民解放军陆军装甲兵学院 一种集成成像显示系统的景深扩展方法及系统
CN112509605B (zh) * 2020-11-26 2022-08-26 鹏城实验室 一种多层体全息式五维数据存储方法及系统
CN112684610B (zh) * 2021-03-11 2021-06-18 成都工业学院 一种高光学效率狭缝光栅3d显示器
US20220308355A1 (en) * 2021-03-23 2022-09-29 Msg Entertainment Group, Llc Striped mirror image splitter
WO2022225977A1 (en) 2021-04-19 2022-10-27 Looking Glass Factory, Inc. System and method for displaying a three-dimensional image
TWI761197B (zh) * 2021-04-29 2022-04-11 晶盛材料股份有限公司 紫外光陣列模組
CN113297789B (zh) * 2021-05-17 2024-03-19 南京大学 一种基于机器学习的声涡旋分束器设计方法
WO2023022270A1 (ko) * 2021-08-20 2023-02-23 주식회사 프라젠 증강현실 장치
CN114066721B (zh) * 2021-11-03 2024-02-02 抖音视界有限公司 显示方法、装置和电子设备
US20230281955A1 (en) 2022-03-07 2023-09-07 Quidient, Llc Systems and methods for generalized scene reconstruction
CN115877808B (zh) 2023-01-30 2023-05-16 成都秦川物联网科技股份有限公司 用于薄片工件加工的工业物联网及控制方法

Family Cites Families (436)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US947702A (en) 1908-10-02 1910-01-25 William W Rowley Molding-machine.
GB474564A (en) 1937-03-09 1937-11-03 Joseph Hayes Improvements in dies for the drawing of metals
US3505046A (en) 1966-07-01 1970-04-07 American Optical Corp Uniting fiber energy-conducting structures
DE1497661B1 (de) 1966-12-01 1969-10-02 Zeiss Carl Fa Verfahren zur Fixierung der Buendelenden einer faseroptischen Bilduebertragungsvorrichtung
US3626040A (en) 1969-10-06 1971-12-07 American Optical Corp Method of making fused bundles of light-conducting fibers
US3859071A (en) 1970-11-26 1975-01-07 Philips Corp Apparatus for compressing a polygonal pack of optical fibers employing a plurality of slides with curved faces and a cage
GB1399597A (en) 1971-06-24 1975-07-02 Ross P M Drawing die assemblies
US3961931A (en) 1973-09-10 1976-06-08 Hoya Glass Works, Ltd. Apparatus for heat-bonding optical fibers
US3870399A (en) 1973-11-28 1975-03-11 Corning Glass Works Pseudo-fiber optic devices
US4099833A (en) * 1974-03-08 1978-07-11 Galileo Electro-Optics Corp. Non-uniform fiber optic imaging system
JPS5157457A (en) * 1974-09-20 1976-05-19 Max Planck Gesellschaft Dohakanomochiita jikoketsuzohoshiki
US4149772A (en) 1975-09-22 1979-04-17 Northern Electric Company Limited Optical fibre having low mode dispersion
US4134642A (en) * 1976-04-16 1979-01-16 Northern Telecom Limited Optical fibre with increased security
US4143234A (en) 1976-11-08 1979-03-06 Monsanto Company Solar collector using total internal reflectance
SU701325A2 (ru) * 1977-01-17 1996-12-27 Г.Б. Двойрин Экран
US4265515A (en) 1978-05-08 1981-05-05 International Telephone And Telegraph Corporation Optical fiber waveguide with effective refractive index profile
US4372769A (en) 1981-07-20 1983-02-08 Hicks Jr John W Multi-fiber fiber-optic assembly method
JPS6030407U (ja) 1983-08-09 1985-03-01 日本電信電話株式会社 複心光フアイバ
ES2000293A6 (es) 1986-12-29 1988-02-01 Dominguez Montes Juan Instalacion y procedimiento para obtener imagenes tridimensionales en movimiento esto es tetradimimensionales tanto en color como en blanco y negro
US5187260A (en) 1988-09-06 1993-02-16 Sharifa Karali Process for the preparation of a high purity protamine-DNA complex and process for use of same
JPH02288707A (ja) 1989-04-28 1990-11-28 Arimura Giken Kk 平板ガイドアンテナ
US5274714A (en) 1990-06-04 1993-12-28 Neuristics, Inc. Method and apparatus for determining and organizing feature vectors for neural network recognition
GB2251700B (en) * 1990-11-30 1994-08-24 Combined Optical Ind Ltd Multiple array lens
NL192610C (nl) 1990-12-13 1997-11-04 Enschede & Zonen Grafisch Beelddrager en werkwijze voor het op een beelddrager drukken van een beeld.
GB2253070A (en) 1991-01-15 1992-08-26 Third Generation Technology Li Optic fibre plates containing scintillators
FR2701571B1 (fr) 1993-02-15 1995-03-17 Georges Le Noane Guides optiques multicÓoeurs de grande précision et de petites dimensions et procédé de fabrication de ces guides.
JPH06258532A (ja) 1993-03-05 1994-09-16 Asahi Glass Co Ltd ファイバアレイプレートを用いた画像読み取り・記録モジュール
US5451969A (en) 1993-03-22 1995-09-19 Raytheon Company Dual polarized dual band antenna
US5479550A (en) 1993-05-13 1995-12-26 Olympus Optical Co., Ltd. Image fiber
US5481385A (en) 1993-07-01 1996-01-02 Alliedsignal Inc. Direct view display device with array of tapered waveguide on viewer side
JPH0738926A (ja) * 1993-07-26 1995-02-07 Sharp Corp ３次元ディスプレイ装置
US5371826A (en) 1993-08-27 1994-12-06 Demetron Research Corp. Dental fiber optic light bundle with uniform taper
US5396350A (en) * 1993-11-05 1995-03-07 Alliedsignal Inc. Backlighting apparatus employing an array of microprisms
CN1135262A (zh) * 1993-11-15 1996-11-06 联合讯号公司 在显示装置内的光学元件阵列中用的光学元件
US6546112B1 (en) 1993-11-18 2003-04-08 Digimarc Corporation Security document with steganographically-encoded authentication data
US5374975A (en) 1994-02-14 1994-12-20 Amat; Henry W. Film archival storage holder and method
JPH0894864A (ja) * 1994-04-08 1996-04-12 Olympus Optical Co Ltd イメージファイバー及びその製造方法
US5553184A (en) * 1994-12-07 1996-09-03 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Process for the application of fiber optical bundles comprising optical fibers
JPH08179131A (ja) * 1994-12-22 1996-07-12 Yasuo Kitada 像伝送体、その製造方法及びそれを使用した像伝送装置
US5612821A (en) 1995-06-15 1997-03-18 United Technologies Corporation Micro lens system for controlling an optical beam pattern
US8610674B2 (en) 1995-06-29 2013-12-17 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US5973844A (en) 1996-01-26 1999-10-26 Proxemics Lenslet array systems and methods
US6124974A (en) 1996-01-26 2000-09-26 Proxemics Lenslet array systems and methods
JP3380132B2 (ja) 1996-03-15 2003-02-24 シャープ株式会社 画像表示装置
JP3452472B2 (ja) 1996-09-12 2003-09-29 シャープ株式会社 パララックスバリヤおよびディスプレイ
US5822125A (en) * 1996-12-20 1998-10-13 Eastman Kodak Company Lenslet array system
JPH10186275A (ja) * 1996-12-26 1998-07-14 Konica Corp ３次元画像表示装置
JPH10186276A (ja) 1996-12-26 1998-07-14 Konica Corp ３次元画像表示装置
US6229562B1 (en) 1997-07-08 2001-05-08 Stanley H. Kremen System and apparatus for the recording and projection of images in substantially 3-dimensional format
US20010028485A1 (en) 1997-07-08 2001-10-11 Stanley Kremen Methods of preparing holograms
US6013072A (en) 1997-07-09 2000-01-11 Intraluminal Therapeutics, Inc. Systems and methods for steering a catheter through body tissue
US5949581A (en) 1997-08-12 1999-09-07 Daktronics, Inc. Display system
AUPO884297A0 (en) 1997-08-27 1997-09-18 Orme, Gregory Michael Imaging devices
US5905568A (en) * 1997-12-15 1999-05-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereo imaging velocimetry
US6381072B1 (en) 1998-01-23 2002-04-30 Proxemics Lenslet array systems and methods
JP3519268B2 (ja) * 1998-03-30 2004-04-12 株式会社東芝 立体表示装置
EP0955641B1 (de) * 1998-05-05 2004-04-28 Carl Zeiss Beleuchtungssystem insbesondere für die EUV-Lithographie
US5974215A (en) * 1998-05-20 1999-10-26 North Carolina State University Compound image sensor array having staggered array of tapered optical fiber bundles
JP2000050387A (ja) 1998-07-16 2000-02-18 Massachusetts Inst Of Technol <Mit> パラメトリックオ―ディオシステム
US6389206B1 (en) * 1998-07-16 2002-05-14 Brookhaven Science Associates Light redirective display panel and a method of making a light redirective display panel
JP2000066132A (ja) * 1998-08-20 2000-03-03 Harness Syst Tech Res Ltd 表示装置
US6169594B1 (en) * 1998-08-24 2001-01-02 Physical Optics Corporation Beam deflector and scanner
US6684007B2 (en) 1998-10-09 2004-01-27 Fujitsu Limited Optical coupling structures and the fabrication processes
US6614972B1 (en) * 1998-12-02 2003-09-02 3M Innovative Properties Company Coupler for transporting and distributing light to multiple locations with uniform color and intensity
JP2000347046A (ja) * 1999-06-02 2000-12-15 Casio Comput Co Ltd 導光体及びその形成方法並びにそれを備えた表示装置
US6418254B1 (en) 1999-06-04 2002-07-09 Shizuki Electric Company, Inc. Fiber-optic display
WO2001006287A1 (en) * 1999-07-19 2001-01-25 Cogent Light Technologies, Inc. Compound cladded rod for transmission of optical power
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6326939B1 (en) 1999-09-24 2001-12-04 Ronald S. Smith Optical waveguide system for a flat-panel display
US6452699B1 (en) 1999-09-28 2002-09-17 Holospex, Inc. Controlled diffraction efficiency far field viewing devices
US6384400B1 (en) 1999-11-29 2002-05-07 General Electric Company High resolution and high luminance scintillator and radiation imager employing the same
US6663560B2 (en) 1999-12-17 2003-12-16 Digital Optical Imaging Corporation Methods and apparatus for imaging using a light guide bundle and a spatial light modulator
HU222262B1 (hu) 2000-01-17 2003-05-28 Tibor Neumann Plomba
US6680761B1 (en) 2000-01-24 2004-01-20 Rainbow Displays, Inc. Tiled flat-panel display having visually imperceptible seams, optimized for HDTV applications
EP1266247A4 (en) * 2000-02-02 2009-09-30 Brilliant Film Llc FILM ORIENTING LIGHT WITH MULTIPLE REFLECTIONS
HU0000752D0 (en) 2000-02-21 2000-04-28 Pixel element for three-dimensional screen
US6288842B1 (en) * 2000-02-22 2001-09-11 3M Innovative Properties Sheeting with composite image that floats
KR100822953B1 (ko) 2000-03-17 2008-04-16 코닝 인코포레이티드 광 도파관 렌즈 및 그 제조방법
CN1181377C (zh) * 2000-04-10 2004-12-22 廖洪恩 立体图像显示装置
GB2380344B (en) 2000-04-26 2005-04-06 Arete Associates Very fast time resolved imaging in multiparameter measurement space
US7054850B2 (en) 2000-06-16 2006-05-30 Canon Kabushiki Kaisha Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements
US6633710B2 (en) 2000-06-19 2003-10-14 Schott Fiber Optics, Inc. Opto-electronic multi-chip modules using imaging fiber bundles
US6480345B2 (en) 2000-06-30 2002-11-12 Ricoh Company, Ltd. Image magnifying/reducing optical device and manufacturing method thereof
US6675863B1 (en) * 2000-09-07 2004-01-13 Physical Optics Corporation Seamless master and method of making same
US6556280B1 (en) * 2000-09-19 2003-04-29 Optical Switch Corporation Period reconfiguration and closed loop calibration of an interference lithography patterning system and method of operation
US6563648B2 (en) 2000-10-20 2003-05-13 Three-Five Systems, Inc. Compact wide field of view imaging system
US6487351B1 (en) 2000-11-06 2002-11-26 Schott Fiber Optics Fiber optic faceplate
US20050036029A1 (en) * 2000-12-12 2005-02-17 Nissim Pilossof Imaging head with laser diode array and a beam-shaping micro light-pipe array
GB0030675D0 (en) 2000-12-15 2001-01-31 Rue De Int Ltd Methods of creating high efficiency diffuse back-reflectors based on embossed surface relief
JP3429282B2 (ja) 2001-02-02 2003-07-22 リサーチ・インターナショナル・インコーポレーテッド 自動化されたシステム、及びサンプルの分析方法
JP2002250895A (ja) * 2001-02-23 2002-09-06 Mixed Reality Systems Laboratory Inc 立体画像表示方法及びそれを用いた立体画像表示装置
US6611648B2 (en) 2001-05-09 2003-08-26 Corning Incorporated Optical fibers having cores with different propagation constants, and methods of manufacturing same
US20020172478A1 (en) * 2001-05-21 2002-11-21 Sahlin Jennifer Joyce Light transmission techniques
AUPR518801A0 (en) * 2001-05-22 2001-06-14 Poly Optics Australia Pty Ltd Side scattering fibre-optic and method of manufacturing a side scattering fibre-optic
CN1343910A (zh) * 2001-07-07 2002-04-10 昆明理工大学 像素化全息显示技术
US20030026567A1 (en) 2001-08-01 2003-02-06 Schott Communications Technologies, Inc. Graded index fiber, array and method of manufacture
GB0119176D0 (en) * 2001-08-06 2001-09-26 Ocuity Ltd Optical switching apparatus
WO2003032678A2 (en) 2001-10-09 2003-04-17 Frank Joseph Pompei Ultrasonic transducer for parametric array
JP2003167500A (ja) * 2001-11-30 2003-06-13 Art Nau:Kk ホログラム作成方法
EP2420873A3 (en) 2001-12-14 2013-01-16 QUALCOMM MEMS Technologies, Inc. Uniform illumination system
US20030137730A1 (en) * 2002-01-23 2003-07-24 Sergey Fridman Autostereoscopic display
US7403332B2 (en) 2002-03-13 2008-07-22 Dolby Laboratories Licensing Corporation High dynamic range display devices
JP2003330109A (ja) * 2002-05-09 2003-11-19 Seiko Epson Corp 照明装置および投射型表示装置
US7203005B2 (en) * 2002-05-22 2007-04-10 Chelix Technologies, Inc. Real image configuration for a high efficiency heads-up display (HUD) using a polarizing mirror and a polarization preserving screen
US20040046709A1 (en) 2002-09-05 2004-03-11 Kazutora Yoshino 3 Dimensional image projector and holodeck
TW200402012A (en) * 2002-07-23 2004-02-01 Eastman Kodak Co OLED displays with fiber-optic faceplates
US20050041944A1 (en) 2002-07-26 2005-02-24 Cryan Colm V. Graded index fiber array and method of manufacture
JP2004078123A (ja) 2002-08-22 2004-03-11 Asahi Glass Co Ltd 多孔質プラスチック光伝送体およびその製造方法
JP3969252B2 (ja) * 2002-08-27 2007-09-05 日本電気株式会社 立体画像平面画像切換表示装置及び携帯端末装置
EP1587670B1 (en) * 2002-08-29 2015-03-25 The Regents of The University of California Indefinite materials
WO2004031867A2 (en) 2002-10-03 2004-04-15 Massachusetts Insitute Of Technology System and method for holographic fabrication and replication of diffractive optical elements for maskless lithography
KR20040043411A (ko) 2002-11-18 2004-05-24 삼성전자주식회사 표시장치용 광학 시트, 이의 제조 방법 및 표시장치
US7317578B2 (en) * 2002-12-04 2008-01-08 Thomson Licensing Imager to imager relay lens system
JP3970784B2 (ja) * 2003-02-10 2007-09-05 シャープ株式会社 マイクロレンズ基板、及びそれを備えた液晶表示素子、並びに投影型液晶表示装置
US7618373B2 (en) 2003-02-14 2009-11-17 Siemens Medical Solutions Usa, Inc. Microfabricated ultrasonic transducer array for 3-D imaging and method of operating the same
EP1597907A2 (en) * 2003-02-21 2005-11-23 Koninklijke Philips Electronics N.V. Autostereoscopic display
JP2005026772A (ja) 2003-06-30 2005-01-27 Victor Co Of Japan Ltd 立体映像表示方法及び立体映像表示装置
JP2007534972A (ja) 2003-07-14 2007-11-29 マサチューセッツ・インスティテュート・オブ・テクノロジー 導電体、半導電体、絶縁体で共用できる光電子ファイバ
JP2007508596A (ja) 2003-10-17 2007-04-05 エクスプレイ リミテッド 投影システムに使用する光学システムおよび方法
JP4495942B2 (ja) 2003-10-20 2010-07-07 リコー光学株式会社 結像光学系・画像形成装置・プリンターおよび画像読取装置
GB0326005D0 (en) * 2003-11-07 2003-12-10 Koninkl Philips Electronics Nv Waveguide for autostereoscopic display
BRPI0417172A (pt) * 2003-12-02 2007-03-06 3M Innovative Properties Co aparelho de irradiação, e, sistema de irradiação
JP3859158B2 (ja) 2003-12-16 2006-12-20 セイコーエプソン株式会社 マイクロレンズ用凹部付き基板、マイクロレンズ基板、透過型スクリーン、およびリア型プロジェクタ
US20050180676A1 (en) 2004-02-12 2005-08-18 Panorama Flat Ltd. Faraday structured waveguide modulator
US20050243275A1 (en) * 2004-04-30 2005-11-03 Curatu Eugene O Wavefront sensor and relay for optical measurement and associated methods
ATE459023T1 (de) * 2004-05-05 2010-03-15 Imax Corp Hochleistungsfähiges stereographisches projektionssystem mit mehreren quellen
FR2871796B1 (fr) * 2004-06-21 2006-09-15 Alcatel Sa Procede et installation de fabrication d'un element fibre a filtre de lumiere selectif
SG155167A1 (en) 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
CN101431087B (zh) 2004-09-14 2014-03-12 全视技术有限公司 低高度成像系统及相关方法
US7329982B2 (en) * 2004-10-29 2008-02-12 3M Innovative Properties Company LED package with non-bonded optical element
US7773849B2 (en) 2004-12-14 2010-08-10 Oms Displays Ltd. Device and method for optical resizing and backlighting
DE102005041229A1 (de) 2004-12-30 2006-08-03 Volkswagen Ag Displayanordnung für ein Fahrzeug
US20060165358A1 (en) 2005-01-21 2006-07-27 Ceramoptec Industries, Inc. Compact bundles of light guides with sections having reduced interstitial area
US20060191566A1 (en) 2005-02-28 2006-08-31 Applied Optical Materials Solar concentrator system using photonic engineered materials
US8537310B2 (en) * 2005-03-01 2013-09-17 North Carolina State University Polarization-independent liquid crystal display devices including multiple polarization grating arrangements and related devices
WO2007008265A2 (en) * 2005-04-11 2007-01-18 Zetetic Institute Apparatus and method for in situ and ex situ measurement of spatial impulse response of an optical system using phase-shifting point-diffraction interferometry
US9468500B2 (en) 2005-04-26 2016-10-18 Tea Time Partners, L.P. Image-guided laser catheter
CA2606571A1 (en) 2005-05-06 2006-11-16 Seereal Technologies Gmbh Device for holographic reconstruction of three-dimensional scenes
JP2007212781A (ja) * 2006-02-09 2007-08-23 Sony Corp ３次元像表示装置
CN1728016A (zh) * 2005-07-19 2006-02-01 电子科技大学 一种电子全息显示器件
WO2007011214A1 (en) 2005-07-19 2007-01-25 Milabs B.V. Radiation detection apparatus
JP4863044B2 (ja) * 2005-07-21 2012-01-25 ソニー株式会社 表示装置、表示制御方法、並びにプログラム
JP4678731B2 (ja) 2005-09-09 2011-04-27 株式会社リコー ハニカム構造体又は微細複合部品の製造方法
WO2007051064A2 (en) 2005-10-28 2007-05-03 Brewer Donald R Elastic fiber optic image guide
US7450806B2 (en) 2005-11-08 2008-11-11 Corning Incorporated Microstructured optical fibers and methods
WO2007141598A2 (en) * 2005-12-08 2007-12-13 Lenslet Ltd. Optical system with coherent feedback
JP2008058583A (ja) 2006-08-31 2008-03-13 Matsushita Electric Ind Co Ltd 三次元画像表示装置および三次元画像表示方法
WO2007123586A2 (en) 2006-01-19 2007-11-01 The Regents Of The University Of California Biomimetic microfabricated compound eyes
ATE499800T1 (de) * 2006-03-03 2011-03-15 Koninkl Philips Electronics Nv Autostereoskopische anzeigevorrichtung mit steuerbarem flüssigkristall-linsenarray zur umschaltung zwischen einem 3d- und einem 2d-modus
EP1994768A2 (en) * 2006-03-15 2008-11-26 Zebra Imaging, Inc. Dynamic autostereoscopic displays
US20080144174A1 (en) * 2006-03-15 2008-06-19 Zebra Imaging, Inc. Dynamic autostereoscopic displays
US7701641B2 (en) 2006-03-20 2010-04-20 Ophthonix, Inc. Materials and methods for producing lenses
US7376314B2 (en) 2006-03-22 2008-05-20 Spectral Imaging Laboratory Fiber coupled artificial compound eye
US20070291504A1 (en) 2006-06-20 2007-12-20 Chun-I Lu Fused fiber array optics for led
GB2439345A (en) 2006-06-23 2007-12-27 Gsi Group Ltd Annular tapered fibre coupler for cladding pumping of an optical fibre
US7935212B2 (en) 2006-07-31 2011-05-03 Essilor International Compagnie Process for transferring onto a surface of an optical article a layer having a variable index of refraction
JP2008052010A (ja) 2006-08-24 2008-03-06 Noriji Ooishi 立体像表示装置と撮影装置
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
US7382959B1 (en) 2006-10-13 2008-06-03 Hrl Laboratories, Llc Optically oriented three-dimensional polymer microstructures
DE102007024237B4 (de) * 2007-05-21 2009-01-29 Seereal Technologies S.A. Holographisches Rekonstruktionssystem mit einer optischen Wellennachführung
US7847238B2 (en) 2006-11-07 2010-12-07 New York University Holographic microfabrication and characterization system for soft matter and biological systems
GB2444301A (en) 2006-11-30 2008-06-04 Qinetiq Ltd Autostereoscopic projection display
US8736675B1 (en) 2006-12-01 2014-05-27 Zebra Imaging, Inc. Multi-core processor architecture for active autostereoscopic emissive displays
DE102006062413A1 (de) * 2006-12-21 2008-06-26 Seereal Technologies S.A. Holographische Projektionsvorrichtung zur Vergrößerung eines Sichtbarkeitsbereichs
GB2445982A (en) * 2007-01-24 2008-07-30 Sharp Kk Image data processing method and apparatus for a multiview display device
JP5317706B2 (ja) 2007-02-02 2013-10-16 明 伴野 表示装置
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP5104063B2 (ja) * 2007-02-09 2012-12-19 ソニー株式会社 ３次元像表示装置
US7710845B2 (en) 2007-02-09 2010-05-04 Sanyo Electric Co., Ltd. Holographic memory and holographic recording apparatus
EP2202688B1 (en) 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
JP4306744B2 (ja) 2007-03-01 2009-08-05 ソニー株式会社 生体認証装置
US8477906B2 (en) * 2007-03-05 2013-07-02 Trustees Of Boston University High definition scintillation detector for medicine, homeland security and non-destructive evaluation
US20090164397A1 (en) * 2007-12-20 2009-06-25 Mitchell Kwok Human Level Artificial Intelligence Machine
US20080285125A1 (en) 2007-05-18 2008-11-20 Fujifilm Manufacturing U.S.A. Inc. Optical panel for front projection under ambient lighting conditions
CN101072366B (zh) * 2007-05-24 2010-08-11 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
US7589901B2 (en) * 2007-07-10 2009-09-15 Microvision, Inc. Substrate-guided relays for use with scanned beam light sources
US20140300695A1 (en) 2007-08-11 2014-10-09 Massachusetts Institute Of Technology Full-Parallax Acousto-Optic/Electro-Optic Holographic Video Display
US10452026B2 (en) 2007-08-11 2019-10-22 Massachusetts Institute Of Technology Transparent flat-panel holographic display
US10108146B2 (en) 2007-08-11 2018-10-23 Massachusetts Institute Of Technology Anisotropic leaky-mode modulator for holographic video displays
US8149265B2 (en) 2007-08-11 2012-04-03 Massachusetts Institute Of Technology Holographic video display system
JP2009053263A (ja) * 2007-08-23 2009-03-12 Tomohiko Fujishima 光制御素子及び光制御パネル並びにそれを用いた光制御装置
GB0716776D0 (en) 2007-08-29 2007-10-10 Setred As Rendering improvement for 3D display
JP2009053567A (ja) 2007-08-29 2009-03-12 Victor Co Of Japan Ltd 立体画像表示用プロジェクタ
DE102007042984A1 (de) 2007-09-10 2009-03-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur optischen Navigation
CN101387815B (zh) 2007-09-12 2010-09-29 鸿富锦精密工业（深圳）有限公司 投影机
DE102007047470B3 (de) 2007-09-28 2009-05-28 Visumotion Gmbh Verfahren zur Ausrichtung eines Parallaxenbarriereschirms auf einem Bildschirm
US8373630B2 (en) 2007-10-01 2013-02-12 Mitsubishi Electric Corporation Display device
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
TW200928624A (en) 2007-10-19 2009-07-01 Seereal Technologies Sa Light modulating device
GB2454246B (en) * 2007-11-02 2010-03-10 Light Blue Optics Ltd Holographic image display systems
JP4404146B2 (ja) 2008-01-17 2010-01-27 パナソニック株式会社 投影型三次元画像再生装置
JP4450076B2 (ja) 2008-01-17 2010-04-14 パナソニック株式会社 三次元画像再生装置
JP4928476B2 (ja) 2008-01-22 2012-05-09 日本放送協会 立体像生成装置、その方法およびそのプログラム
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US7856883B2 (en) 2008-03-24 2010-12-28 Industrial Technology Research Institute Capacitive ultrasonic sensors and display devices using the same
US8608573B2 (en) 2008-03-29 2013-12-17 Hemanth Gundurao Kanekal Electronic trading card and game system
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US9063289B1 (en) 2008-06-30 2015-06-23 Nlight Photonics Corporation Multimode fiber combiners
US20130216184A1 (en) 2008-07-14 2013-08-22 Victor Il'ich Kopp Configurable pitch reducing optical fiber array
US20110122467A1 (en) 2008-07-21 2011-05-26 Gerald Futterer Light modulating device
US8809758B2 (en) 2008-07-25 2014-08-19 Cornell University Light field image sensor with an angle-sensitive pixel (ASP) device
US20100156895A1 (en) 2008-10-26 2010-06-24 Zebra Imaging, Inc. Processing Pre-recorded Hogel Data
US8335419B2 (en) * 2008-11-10 2012-12-18 Schott Corporation Optical components with variable electro-chromic extra-mural absorption capability
US8666142B2 (en) 2008-11-18 2014-03-04 Global Filtration Systems System and method for manufacturing
WO2010072065A1 (zh) * 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
EP2382597B1 (en) * 2008-12-29 2015-05-06 Mauna Kea Technologies Image processing method and apparatus
TWI425629B (zh) * 2009-03-30 2014-02-01 Sony Corp 固態影像拾取裝置及其製造方法，影像拾取裝置及電子裝置
US9256007B2 (en) 2009-04-21 2016-02-09 Svv Technology Innovations, Inc. Light collection and illumination systems employing planar waveguide
EP2244484B1 (en) 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
DE102009003069A1 (de) 2009-05-13 2010-11-25 Seereal Technologies S.A. 3D-Anzeigedisplay mit steuerbarer Vorrichtung zum Nachführen von Sichtbarkeitsbereichen
CN101566740A (zh) * 2009-05-26 2009-10-28 中山大学 一种自适应的空间光场合成系统
BRPI1008264A2 (pt) * 2009-05-28 2019-09-24 Koninklijke Philips Electrnics N. V. dispositivo de tela autoestereoscopica tendo um campo de visão em uma direção lateral e vertical e luz de fundo colimante
US9494738B1 (en) * 2009-05-28 2016-11-15 Nlight, Inc. Single mode fiber combiners
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
JP5608233B2 (ja) * 2009-07-31 2014-10-15 カール・ツァイス・エスエムティー・ゲーエムベーハー 光学ビーム偏向要素及び調節方法
US9083958B2 (en) * 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
WO2011015843A2 (en) * 2009-08-07 2011-02-10 Light Blue Optics Ltd Head up displays
KR101600010B1 (ko) 2009-09-22 2016-03-04 삼성전자주식회사 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
WO2011042711A2 (en) 2009-10-09 2011-04-14 Milan Momcilo Popovich Compact edge illuminated diffractive display
EP3567416A1 (en) 2009-10-12 2019-11-13 The Trustees of Columbia University in the City of New York Photonic crystal spectrometer
CN201540406U (zh) * 2009-10-21 2010-08-04 陕西金合泰克信息科技发展有限公司 光影衍射全息影像系统
JP2011095332A (ja) 2009-10-27 2011-05-12 Furukawa Electric Co Ltd:The 光ファイバの製造方法
US8493383B1 (en) 2009-12-10 2013-07-23 Pixar Adaptive depth of field sampling
US8308329B1 (en) 2009-12-18 2012-11-13 Rockwell Collins, Inc. Directionalizing fiber optic plate
US9326675B2 (en) 2009-12-24 2016-05-03 Microsoft Technology Licensing, Llc Virtual vision correction for video display
US20110169832A1 (en) * 2010-01-11 2011-07-14 Roy-G-Biv Corporation 3D Motion Interface Systems and Methods
JP5678679B2 (ja) * 2010-01-22 2015-03-04 住友電気工業株式会社 マルチコアファイバ
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
CN101794028B (zh) * 2010-03-04 2011-12-28 首都师范大学 光学实时三维立体显示装置及方法
WO2011119401A2 (en) * 2010-03-23 2011-09-29 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
KR101993573B1 (ko) * 2010-04-01 2019-06-26 시리얼 테크놀로지즈 에스.에이. 홀로그래픽 시스템에서 투명 물체를 포함한 3차원 장면을 인코딩하는 방법 및 장치
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
KR101756910B1 (ko) 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
CN102262346B (zh) * 2010-05-24 2014-02-19 台达电子工业股份有限公司 用以显示多重视角影像的显示装置
US8743466B2 (en) 2010-06-15 2014-06-03 Sharp Kabushiki Kaisha Display device and method for forming the same
JP5918758B2 (ja) 2010-07-06 2016-05-18 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． ホログラフィックディスプレイ又は立体ディスプレイのための、ビームの発散及び種々のコリメータ
JP2012022639A (ja) 2010-07-16 2012-02-02 Ntt Docomo Inc 表示装置、映像表示システムおよび映像表示方法
AU2010100802A4 (en) * 2010-07-28 2010-08-26 Evans, Sean Mr A lock
US20120050833A1 (en) 2010-08-30 2012-03-01 Massachusetts Institute Of Technology Methods and Apparatus for Holographic Animation
US8948561B2 (en) * 2010-09-02 2015-02-03 CNR—Consiglio Nazionale Delle Ricerche Waveguide for efficient light trapping and absorption
US9232123B2 (en) * 2010-10-06 2016-01-05 Hewlett-Packard Development Company, L.P. Systems and methods for acquiring and processing image data produced by camera arrays
TWI452739B (zh) 2010-10-20 2014-09-11 Macroblock Inc 發光二極體封裝結構及發光二極體立體顯示裝置
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9179134B2 (en) 2011-01-18 2015-11-03 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
DE102011078127B4 (de) 2011-02-01 2018-06-14 Johnson Controls Gmbh Interaktive Anzeigeeinheit
US9542000B2 (en) 2011-02-10 2017-01-10 Kyocera Corporation Electronic device and control method for electronic device
US20120268950A1 (en) * 2011-04-22 2012-10-25 Parkyn William A Wide-Angle Non-Imaging Illumination Lens Arrayable for Close Planar Targets
US9640170B2 (en) 2011-05-04 2017-05-02 Thornton Tomasetti, Inc. Acoustically transparent and acoustic wave steering materials for acoustic cloaking and methods of fabrication thereof
JP5747641B2 (ja) 2011-05-06 2015-07-15 大日本印刷株式会社 立体映像表示装置
CN103687743B (zh) 2011-05-13 2016-11-09 大众汽车有限公司 用于车辆的显示单元
JP2014142368A (ja) * 2011-05-13 2014-08-07 Sharp Corp 光拡散部材およびその製造方法、表示装置
JP2014522591A (ja) 2011-05-25 2014-09-04 サード ディメンション アイピー リミテッド ライアビリティー カンパニー 角スライス実像３ｄディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法
EP2721553B1 (en) 2011-06-15 2017-02-22 Hewlett-Packard Development Company, L.P. Security image printing
CN102231044A (zh) 2011-06-29 2011-11-02 浙江大学 基于多屏拼接的体视三维显示装置
EP2551827A3 (en) 2011-07-28 2017-08-02 Sony Mobile Communications AB Presenting three dimensional depth
US8294987B1 (en) * 2011-09-09 2012-10-23 Van Nuland Henricus Servatius Fransiscus Image transforming device
US8525829B2 (en) 2011-09-19 2013-09-03 Disney Enterprises, Inc. Transparent multi-view mask for 3D display systems
US8593564B2 (en) 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor
US8879766B1 (en) 2011-10-03 2014-11-04 Wei Zhang Flat panel displaying and sounding system integrating flat panel display with flat panel sounding unit array
FR2981172B1 (fr) 2011-10-11 2015-10-30 Wysips Dispositif d'affichage comprenant une surface multifonctionnelle et communicante
TW201317636A (zh) 2011-10-20 2013-05-01 Seereal Technologies Sa 顯示三維場景之顯示裝置及方法
CN103918257B (zh) * 2011-11-09 2018-05-11 皇家飞利浦有限公司 显示设备和方法
US9055289B2 (en) 2011-11-23 2015-06-09 Korea Institute Of Science And Technology 3D display system
US8802966B2 (en) 2011-12-06 2014-08-12 The Boeing Company Methods and systems for light energy augmented power
KR101849508B1 (ko) * 2011-12-20 2018-05-28 가부시키가이샤 니콘 기판 처리 장치, 디바이스 제조 시스템 및 디바이스 제조 방법
US8917453B2 (en) 2011-12-23 2014-12-23 Microsoft Corporation Reflective array waveguide
JP6110404B2 (ja) 2011-12-23 2017-04-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３次元超音波画像のインタラクティブ表示のための方法及び装置
EP2618103A1 (de) 2012-01-17 2013-07-24 Hexagon Technology Center GmbH Verfahren, System und Computerprogramm zum Messen eines Winkels zwischen zwei räumlich voneinander entfernten Elementen und dessen Verwendung
US9612395B2 (en) * 2012-01-26 2017-04-04 Corning Incorporated Optical fiber with a variable refractive index profile
US8953012B2 (en) * 2012-02-13 2015-02-10 Raytheon Company Multi-plenoptic system with image stacking and method for wide field-of-regard high-resolution imaging
US8761534B2 (en) 2012-02-16 2014-06-24 Ricoh Co., Ltd. Optimization of plenoptic imaging systems
CN102591124A (zh) * 2012-02-21 2012-07-18 浙江大学 基于拼接光场的横向大视场三维显示方法及系统
US8811769B1 (en) * 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
JPWO2013140726A1 (ja) 2012-03-22 2015-08-03 日本電気株式会社 発光装置
JP5845123B2 (ja) 2012-03-22 2016-01-20 日本放送協会 ３次元モデル−インテグラル画像変換装置およびそのプログラム
KR20130112541A (ko) 2012-04-04 2013-10-14 삼성전자주식회사 플레놉틱 카메라 장치
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
JP6119744B2 (ja) * 2012-05-15 2017-04-26 株式会社ニコン 立体映像表示装置
KR102253212B1 (ko) * 2012-05-18 2021-05-20 리얼디 스파크, 엘엘씨 지향성 조명식 도파관 배열체
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
JP2013254649A (ja) 2012-06-07 2013-12-19 Sharp Corp 面光源装置、表示装置および照明装置
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP5774550B2 (ja) * 2012-06-27 2015-09-09 日立マクセル株式会社 ピンホールアレイ並びにそれを用いた表示装置
US8911102B2 (en) * 2012-06-29 2014-12-16 Qualcomm Mems Technologies, Inc. Low-profile lighting system
US9841537B2 (en) * 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US9841563B2 (en) 2012-08-04 2017-12-12 Paul Lapstun Shuttered waveguide light field display
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9860522B2 (en) 2012-08-04 2018-01-02 Paul Lapstun Head-mounted light field display
CN103578500B (zh) * 2012-08-06 2016-07-06 日立视听媒体股份有限公司 光信息记录再现装置
CN102809918B (zh) * 2012-08-08 2014-11-05 浙江大学 基于多层空间光调制器的高分辨全息三维显示装置和方法
US9225972B2 (en) 2012-08-10 2015-12-29 Pixtronix, Inc. Three dimensional (3D) image generation using electromechanical display elements
US9703019B2 (en) * 2012-08-28 2017-07-11 President And Fellows Of Harvard College Adaptive optic and acoustic devices
US9014394B2 (en) 2012-09-07 2015-04-21 Apple Inc. Systems and methods for retaining a microphone
US9143673B2 (en) 2012-09-19 2015-09-22 Google Inc. Imaging device with a plurality of pixel arrays
CN202975583U (zh) * 2012-10-09 2013-06-05 耿征 真三维图像显示系统
EP2920511B2 (en) 2012-11-14 2023-10-11 CoeLux S.r.l. Artificial illumination device for generating natural light
CA2891391A1 (en) * 2012-11-16 2014-05-22 Koninklijke Philips N.V. Reflective or transflective autostereoscopic display with reduced banding effects
US8977090B2 (en) 2012-11-29 2015-03-10 Delphi Technologies, Inc. Contoured display
JP2014115411A (ja) 2012-12-07 2014-06-26 Canon Inc レンズアレイ、画像形成装置及び画像読取装置
JP6076083B2 (ja) 2012-12-26 2017-02-08 日本放送協会 立体画像補正装置及びそのプログラム
KR101896339B1 (ko) 2012-12-27 2018-09-10 삼성전자주식회사 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
DE102013200059B4 (de) * 2013-01-04 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Aufnahme eines von einer Hauptlinse einer plenoptischen Kamera erzeugten Zwischenbilds und plenoptische Kamera
US9417762B2 (en) * 2013-01-09 2016-08-16 Northrop Grumman Systems Corporation System and method for providing a virtual immersive environment
US20150262424A1 (en) 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
CN105580363B (zh) * 2013-02-11 2018-08-10 刘世昌 实现量子计算机、量子通讯、裸视4d全息电视机系统的方法
US9223139B2 (en) 2013-02-15 2015-12-29 Google Inc. Cascading optics in optical combiners of head mounted displays
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
EP2962149B8 (en) 2013-02-28 2018-05-16 1930106 Ontario Limited Light-concentrating lens assembly for a solar energy recovery system
AU2014229796A1 (en) 2013-03-15 2015-10-01 Bae Systems Plc Directional multiband antenna
IL225374A0 (en) 2013-03-21 2013-07-31 Noveto Systems Ltd Array@Matamari
CN103248905A (zh) 2013-03-22 2013-08-14 深圳市云立方信息科技有限公司 一种模仿全息3d场景的显示装置和视觉显示方法
US9310769B2 (en) 2013-03-28 2016-04-12 Disney Enterprises, Inc. Coarse integral holographic display
US9405124B2 (en) 2013-04-09 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for light field projection
US10062210B2 (en) * 2013-04-24 2018-08-28 Qualcomm Incorporated Apparatus and method for radiance transfer sampling for augmented reality
CN105359013A (zh) * 2013-05-01 2016-02-24 康宁股份有限公司 无规空气线杆
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
CN110061018B (zh) * 2013-05-21 2023-11-28 弗托斯传感与算法公司 全光透镜在光传感器衬底上的单片集成
US10027947B2 (en) 2013-06-05 2018-07-17 Sony Corporation Image processing apparatus and image processing method
US9188737B2 (en) 2013-06-07 2015-11-17 Disney Enterprises, Inc. Physical texture digital display system
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9464001B2 (en) 2013-06-18 2016-10-11 California Institute Of Technology Engineered aggregates for metamaterials
GB2516820A (en) 2013-07-01 2015-02-11 Nokia Corp An apparatus
US9392187B2 (en) 2013-07-09 2016-07-12 Samsung Electronics Co., Ltd. Image generating apparatus including digital iris and method and non-transitory recordable medium
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US20150022754A1 (en) 2013-07-19 2015-01-22 Google Inc. Configurations for tileable display apparatus with multiple pixel arrays
WO2015012835A1 (en) 2013-07-25 2015-01-29 Empire Technology Development, Llc Composite display with mutliple imaging properties
US9343020B2 (en) 2013-08-05 2016-05-17 Massachusetts Institute Of Technology Methods and apparatus for visual display
US9158080B2 (en) 2013-08-23 2015-10-13 Corning Incorporated Light-coupling apparatus and methods for light-diffusing optical fibers
US9411511B1 (en) 2013-09-19 2016-08-09 American Megatrends, Inc. Three-dimensional display devices with out-of-screen virtual keyboards
US9030580B2 (en) 2013-09-28 2015-05-12 Ricoh Company, Ltd. Color filter modules for plenoptic XYZ imaging systems
US9351083B2 (en) 2013-10-17 2016-05-24 Turtle Beach Corporation Transparent parametric emitter
US9706116B2 (en) * 2013-10-31 2017-07-11 Ricoh Co., Ltd. Plenoptic color imaging system with enhanced resolution
US9304492B2 (en) 2013-10-31 2016-04-05 Disney Enterprises, Inc. Scalable and tileable holographic displays
WO2015071903A1 (en) 2013-11-14 2015-05-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Printed optics system
WO2015074718A1 (en) 2013-11-22 2015-05-28 Vidinoti Sa A light field processing method
US20150146032A1 (en) * 2013-11-22 2015-05-28 Vidinoti Sa Light field processing method
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
CN107315249B (zh) * 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
CN103616770B (zh) 2013-12-12 2016-02-17 北京理工大学 基于多投影机和透射式散射屏幕的周视三维显示装置
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
US9538075B2 (en) * 2013-12-30 2017-01-03 Indiana University Research And Technology Corporation Frequency domain processing techniques for plenoptic images
US9612658B2 (en) 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
US20150197062A1 (en) 2014-01-12 2015-07-16 Zohar SHINAR Method, device, and system of three-dimensional printing
US9615068B2 (en) 2014-01-15 2017-04-04 Disney Enterprises, Inc. Optical vortex 3D displays
US9746686B2 (en) * 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
KR102205419B1 (ko) * 2014-02-04 2021-01-21 삼성디스플레이 주식회사 커브드 백라이트 어셈블리 및 이를 갖는 커브드 표시장치
US9369259B2 (en) 2014-02-13 2016-06-14 Farrokh Mohamadi W-band combiner-splitter fabricated using 3-D printing
CN103777455B (zh) 2014-02-25 2016-08-17 浙江大学 基于光场拼接的球形沉浸式三维显示方法及系统
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106233227B (zh) 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
US10048647B2 (en) 2014-03-27 2018-08-14 Microsoft Technology Licensing, Llc Optical waveguide including spatially-varying volume hologram
US9465361B2 (en) 2014-03-31 2016-10-11 Disney Enterprises, Inc. Image based multiview multilayer holographic rendering algorithm
US9786986B2 (en) 2014-04-07 2017-10-10 Kymeta Coproration Beam shaping for reconfigurable holographic antennas
US9478036B2 (en) 2014-04-14 2016-10-25 Nokia Technologies Oy Method, apparatus and computer program product for disparity estimation of plenoptic images
CN104298065B (zh) * 2014-05-07 2017-01-25 浙江大学 基于多台高速投影机拼接的360°三维显示装置和方法
US9958829B2 (en) 2014-05-07 2018-05-01 International Business Machines Corporation Sensory holograms
EP2957935A1 (en) 2014-06-18 2015-12-23 Karlsruher Institut für Technologie Nanophotonic spatial light modulator
US20160014395A1 (en) * 2014-07-10 2016-01-14 Arete Associates Data fusion processing to identify obscured objects
CN104090372B (zh) * 2014-07-11 2017-04-05 北京理工大学 基于衍射光学元件的波导式集成成像三维显示系统
WO2016007920A1 (en) 2014-07-11 2016-01-14 New York University Three dimensional tactile feedback system
JP7156791B2 (ja) * 2014-07-31 2022-10-19 ビュージックス コーポレーション 拡散媒体を介した画像および波フィールド投影
CN104156916B (zh) * 2014-07-31 2017-03-29 北京航空航天大学 一种用于场景光照恢复的光场投影方法
WO2016021442A1 (ja) 2014-08-06 2016-02-11 国立大学法人東京農工大学 表示装置
US9360668B2 (en) 2014-08-07 2016-06-07 Continental Automotive Systems, Inc. Dynamically calibrated head-up display
US10529059B2 (en) 2014-08-11 2020-01-07 The Regents Of The University Of California Vision correcting display with aberration compensation using inverse blurring and a light field display
CN105334690B (zh) 2014-08-14 2018-07-27 台达电子工业股份有限公司 环绕光场显示器及其操作方法
JP6388435B2 (ja) 2014-08-21 2018-09-12 日本放送協会 画像生成装置、画像生成方法、及びプログラム
CN104199196B (zh) * 2014-09-04 2017-02-15 北京理工大学 一种具有眼动追踪功能的波导式集成成像三维显示系统
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
WO2016048402A2 (en) 2014-09-26 2016-03-31 Reald Multiscopic image capture system
CN105637415B (zh) * 2014-09-26 2018-05-08 深圳市泛彩溢实业有限公司 全息三维信息采集、还原装置及方法
US20160091786A1 (en) * 2014-09-30 2016-03-31 Google Inc. Screen configuration for display system
US10656596B2 (en) 2014-10-09 2020-05-19 EagleMae Ventures LLC Video display and method providing vision correction for multiple viewers
US10609362B2 (en) * 2014-10-09 2020-03-31 G. B. Kirby Meacham Projected hogel autostereoscopic display
CN104457735A (zh) * 2014-10-27 2015-03-25 中国民航大学 基于World Wind的4D航迹显示方法
WO2016084083A2 (en) 2014-11-26 2016-06-02 Eyekon E.R.D. Ltd. Dynamic computer images for improving visual perception
US9921685B2 (en) 2014-12-15 2018-03-20 Rapt Ip Limited Tactile effect waveguide surface for optical touch detection
US10427034B2 (en) 2014-12-17 2019-10-01 Igt Canada Solutions Ulc Contactless tactile feedback on gaming terminal with 3D display
KR101947935B1 (ko) 2014-12-22 2019-02-13 사이버옵틱스 코포레이션 3차원 측정 시스템의 갱신 보정 방법
WO2016103675A1 (ja) 2014-12-25 2016-06-30 株式会社クラレ 光ファイバ用ロッド、光ファイバ、イメージファイバ及び光ファイバ用ロッドの製造方法
KR101608753B1 (ko) * 2014-12-30 2016-04-04 인하대학교 산학협력단 초점 이동 영상 촬영을 통한 3차원 컨텐츠 생성 방법 및 장치
US9544583B2 (en) 2015-01-09 2017-01-10 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems
US9945985B2 (en) 2015-02-05 2018-04-17 Coractive High-Tech, Inc. Method for making an optical element having a textured surface and an optical element having a textured surface
US9740169B2 (en) 2015-03-19 2017-08-22 Disney Enterprises, Inc. Holographic high power illumination distribution system
US10591869B2 (en) 2015-03-24 2020-03-17 Light Field Lab, Inc. Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces
US9602047B2 (en) 2015-03-24 2017-03-21 Ecole Polytechnique Federale De Lausanne (Eplf) Self-tracking solar concentrator device
CN104837003B (zh) 2015-04-03 2017-05-17 深圳市魔眼科技有限公司 一种全息立体显示用于矫正视力的移动终端及方法
CN204536735U (zh) * 2015-04-08 2015-08-05 江苏慧光电子科技有限公司 透明全息显示系统
US20160309065A1 (en) 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US10341632B2 (en) * 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
CN104777615B (zh) * 2015-04-17 2017-05-10 浙江大学 基于人眼跟踪的自适应高分辨近眼光场显示装置和方法
CN104777622B (zh) * 2015-04-17 2017-12-22 浙江大学 基于视觉系统特性的多层液晶近眼显示权重优化方法和装置
JP2018524952A (ja) 2015-04-21 2018-08-30 ユニバーシティー オブ ロチェスター クローキングシステム及び方法
US9712810B2 (en) 2015-06-03 2017-07-18 Disney Enterprises, Inc. Tracked automultiscopic 3D tabletop display
US9977493B2 (en) * 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
WO2017015216A1 (en) * 2015-07-17 2017-01-26 Incom, Inc. Wave guiding element and method of manufacture
US9835812B2 (en) 2015-08-04 2017-12-05 Corning Incorporated Multi-optical fiber aggregate
US10860142B1 (en) * 2015-08-27 2020-12-08 Apple Inc. Light-based devices with light guide arrays
DE102015216985A1 (de) 2015-09-04 2017-03-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projektionsvorrichtung und Verfahren zur Projektion mit optischen Freiformflächen
CN105277136B (zh) * 2015-09-29 2019-07-02 南京理工大学 基于双波长数字全息技术的透射式显微成像装置及其方法
CN205185315U (zh) 2015-10-14 2016-04-27 北京工业大学 3d立体复印机
CN106610521B (zh) * 2015-10-22 2019-11-19 中强光电股份有限公司 取像装置以及影像拍摄方法
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
WO2017075175A2 (en) * 2015-10-28 2017-05-04 Corning Incorporated Multicore optical fiber with a randomized core structure
CN105259664B (zh) * 2015-11-13 2018-03-02 苏州苏大维格光电科技股份有限公司 一种光场成像打印装置及具有三维浮动图像的薄膜
CN105629620B (zh) * 2015-12-31 2019-03-15 武汉天马微电子有限公司 折射透镜及其驱动方法、显示装置
CN108778530B (zh) 2016-01-27 2021-07-27 毛伊图像公司 具有稀疏阵列探测器的超声成像
WO2017127897A1 (en) 2016-01-27 2017-08-03 Paul Lapstun Shuttered waveguide light field display
US9921408B2 (en) 2016-02-26 2018-03-20 Qualcomm Incorporated Collimating light emitted by a fiber via an array of lenslets on a curved surface
US9945988B2 (en) * 2016-03-08 2018-04-17 Microsoft Technology Licensing, Llc Array-based camera lens system
US9961333B1 (en) * 2016-06-10 2018-05-01 X Development Llc System and method for light field projection
NZ743841A (en) 2016-07-15 2018-12-21 Light Field Lab Inc Energy propagation and transverse anderson localization with two-dimensional, light field and holographic relays
US10154253B2 (en) 2016-08-29 2018-12-11 Disney Enterprises, Inc. Multi-view displays using images encoded with orbital angular momentum (OAM) on a pixel or image basis
KR102647969B1 (ko) 2016-10-28 2024-03-18 삼성디스플레이 주식회사 광 필드 표시 장치 및 이의 제조 방법
US10048532B2 (en) * 2016-11-08 2018-08-14 Microsoft Technology Licensing, Llc Display edge emission compensation
US10757400B2 (en) 2016-11-10 2020-08-25 Manor Financial, Inc. Near eye wavefront emulating display
US10561309B2 (en) * 2016-12-21 2020-02-18 Massachusetts Institute Of Technology Methods and apparatus for imaging and 3D shape reconstruction
PL419944A1 (pl) * 2016-12-22 2018-07-02 Instytut Technologii Materiałów Elektronicznych Sposób wytwarzania światłowodu aktywnego oraz światłowód aktywny
CA2959820A1 (en) 2017-03-03 2018-09-03 Evolution Optiks Limited Vision correction system and method, and light field display and barrier therefor
US10583613B2 (en) 2017-06-19 2020-03-10 International Business Machines Corporation 3D printing on the surface of an acoustic hologram
US10490599B2 (en) 2017-07-13 2019-11-26 Applied Materials, Inc. Collimated, directional micro-LED light field display
US10560689B2 (en) 2017-11-28 2020-02-11 Paul Lapstun Viewpoint-optimized light field display
US11181749B2 (en) 2018-01-14 2021-11-23 Light Field Lab, Inc. Systems and methods for transverse energy localization in energy relays using ordered structures
CN112074773B (zh) 2018-01-14 2024-02-02 光场实验室公司 四维能量场封装组合件
US10578797B2 (en) 2018-01-24 2020-03-03 Stc.Unm Hollow core optical fiber with light guiding within a hollow region based on transverse anderson localization of light
US10816939B1 (en) * 2018-05-07 2020-10-27 Zane Coleman Method of illuminating an environment using an angularly varying light emitting device and an imager
GB201810095D0 (en) * 2018-06-20 2018-08-08 Univ Edinburgh Coherent imaging fibre and method
US10884142B2 (en) * 2018-10-19 2021-01-05 Incom, Inc. Pellet-start process for making transverse anderson localization optical element
US11002998B2 (en) 2019-01-31 2021-05-11 Sharp Kabushiki Kaisha Enhanced privacy switchable backlight system
US10904479B2 (en) * 2019-03-12 2021-01-26 Light Field Lab, Inc. Video communication including holographic content
US11321837B2 (en) * 2019-06-12 2022-05-03 University Of Central Florida Research Foundation, Inc. Fiber imaging apparatus, methods, and applications

Also Published As

Publication number Publication date
CN109564343B (zh) 2022-02-18
CN109564353A (zh) 2019-04-02
CN114296175A (zh) 2022-04-08
TWI787192B (zh) 2022-12-21
CA3006518C (en) 2020-11-03
CN109564463B (zh) 2022-09-13
KR20230166156A (ko) 2023-12-06
CN109716242B (zh) 2021-08-13
WO2018014009A1 (en) 2018-01-18
EP3485331A4 (en) 2020-11-25
AU2017297625B2 (en) 2019-02-07
KR102450992B1 (ko) 2022-10-05
EP3485354A4 (en) 2020-04-08
JP2019530889A (ja) 2019-10-24
CA3006553C (en) 2023-02-28
US20230417981A1 (en) 2023-12-28
AU2017297627B2 (en) 2018-10-11
AU2017297629B2 (en) 2018-08-09
US11681091B2 (en) 2023-06-20
AU2017296074B2 (en) 2020-03-26
US20210080645A1 (en) 2021-03-18
KR102618960B1 (ko) 2023-12-29
KR20220134672A (ko) 2022-10-05
KR102609331B1 (ko) 2023-12-04
US20230408758A1 (en) 2023-12-21
CN116643475A (zh) 2023-08-25
NZ749957A (en) 2020-03-27
CA3030861A1 (en) 2018-01-18
CA3030876A1 (en) 2018-01-18
EP3485517A4 (en) 2020-07-29
JP7088904B2 (ja) 2022-06-21
NZ743813A (en) 2019-09-27
AU2017296073B2 (en) 2019-02-14
AU2019200180B2 (en) 2020-12-10
US20210149108A1 (en) 2021-05-20
CA3006523A1 (en) 2018-01-18
WO2018014027A1 (en) 2018-01-18
US20190011621A1 (en) 2019-01-10
EP3484695A4 (en) 2020-04-08
EA201892637A1 (ru) 2019-08-30
US20240085617A1 (en) 2024-03-14
CA3030867A1 (en) 2018-01-18
JP2019534802A (ja) 2019-12-05
WO2018014048A2 (en) 2018-01-18
JP2019531496A (ja) 2019-10-31
KR20190026890A (ko) 2019-03-13
AU2017297625A1 (en) 2018-07-12
US20200088938A1 (en) 2020-03-19
CA3006553A1 (en) 2018-01-18
EA039517B1 (ru) 2022-02-04
US11681092B2 (en) 2023-06-20
KR102600432B1 (ko) 2023-11-09
WO2018014048A3 (en) 2018-02-22
US10488584B2 (en) 2019-11-26
NZ743823A (en) 2018-11-30
US10989869B2 (en) 2021-04-27
US11921317B2 (en) 2024-03-05
JP2022165952A (ja) 2022-11-01
CA3006518A1 (en) 2018-01-18
CN109716242A (zh) 2019-05-03
AU2023203039A1 (en) 2023-06-08
US20200301164A1 (en) 2020-09-24
EP3485323A1 (en) 2019-05-22
US11073657B2 (en) 2021-07-27
US11156771B2 (en) 2021-10-26
US20210302648A1 (en) 2021-09-30
US20220083135A1 (en) 2022-03-17
CN115071184A (zh) 2022-09-20
US20230408757A1 (en) 2023-12-21
US10877210B2 (en) 2020-12-29
EP3485331A1 (en) 2019-05-22
KR20190027381A (ko) 2019-03-14
CN113504657A (zh) 2021-10-15
US20210349259A1 (en) 2021-11-11
US11733448B2 (en) 2023-08-22
CA3006528A1 (en) 2018-01-18
EP3485353A1 (en) 2019-05-22
AU2020204378A1 (en) 2020-07-23
JP2019523445A (ja) 2019-08-22
EP3485529A4 (en) 2020-04-08
CA3041500A1 (en) 2018-01-18
US11796733B2 (en) 2023-10-24
US20220206570A1 (en) 2022-06-30
KR20230156806A (ko) 2023-11-14
US20200117021A1 (en) 2020-04-16
KR20230054496A (ko) 2023-04-24
CA3030873A1 (en) 2018-01-18
US20190361253A1 (en) 2019-11-28
KR102609330B1 (ko) 2023-12-05
US20240061166A1 (en) 2024-02-22
CN109564353B (zh) 2021-08-13
JP2019529966A (ja) 2019-10-17
US20180372958A1 (en) 2018-12-27
KR20190053839A (ko) 2019-05-20
AU2017296234A1 (en) 2018-07-12
KR102609329B1 (ko) 2023-12-05
US20210373231A1 (en) 2021-12-02
CN109564343A (zh) 2019-04-02
JP2019535150A (ja) 2019-12-05
EP3485312A1 (en) 2019-05-22
JP2019525323A (ja) 2019-09-05
TWI774685B (zh) 2022-08-21
EP3485529A1 (en) 2019-05-22
AU2017296238A1 (en) 2018-07-19
US20230333310A1 (en) 2023-10-19
AU2022283646A1 (en) 2023-02-02
CA3035303C (en) 2023-09-19
EP3485330A4 (en) 2020-07-29
AU2023203253A1 (en) 2023-06-15
AU2017297628A1 (en) 2019-01-31
AU2018256628A1 (en) 2018-11-22
KR20230131497A (ko) 2023-09-13
AU2017296074A1 (en) 2019-01-31
CA3035303A1 (en) 2018-01-18
NZ743821A (en) 2019-09-27
JP7298809B2 (ja) 2023-06-27
CN109564463A (zh) 2019-04-02
AU2017297629A1 (en) 2018-07-12
EP3485322A4 (en) 2020-08-19
KR20190027387A (ko) 2019-03-14
KR20190026019A (ko) 2019-03-12
WO2018014010A1 (en) 2018-01-18
KR102574781B1 (ko) 2023-09-06
JP7069106B2 (ja) 2022-05-17
JP2023015039A (ja) 2023-01-31
AU2017296238B2 (en) 2019-02-21
CN109478704B (zh) 2021-08-13
CN113504718A (zh) 2021-10-15
JP7473115B2 (ja) 2024-04-23
US10551628B2 (en) 2020-02-04
JP2022109940A (ja) 2022-07-28
US20180356591A1 (en) 2018-12-13
JP2023078113A (ja) 2023-06-06
US20180372926A1 (en) 2018-12-27
AU2019200583B2 (en) 2020-10-22
US20240027677A1 (en) 2024-01-25
JP7279283B2 (ja) 2023-05-23
EP3485517A2 (en) 2019-05-22
JP2023123424A (ja) 2023-09-05
AU2017297617A1 (en) 2019-02-07
AU2017296234B2 (en) 2019-02-07
AU2022283651A1 (en) 2023-02-02
CA3006528C (en) 2019-06-11
CN109843566A (zh) 2019-06-04
US20190004228A1 (en) 2019-01-03
JP2022120078A (ja) 2022-08-17
CN113917817A (zh) 2022-01-11
KR20230166155A (ko) 2023-12-06
US11668869B2 (en) 2023-06-06
TW202331345A (zh) 2023-08-01
AU2017297627A1 (en) 2018-07-12
JP7289523B2 (ja) 2023-06-12
JP2023113766A (ja) 2023-08-16
JP2024056717A (ja) 2024-04-23
JP2024020258A (ja) 2024-02-14
AU2019200583A1 (en) 2019-02-21
CN109601013A (zh) 2019-04-09
AU2017297617B2 (en) 2023-06-22
NZ743841A (en) 2018-12-21
EP3484695A1 (en) 2019-05-22
AU2021201774A1 (en) 2021-04-15
TW202242065A (zh) 2022-11-01
KR20240001724A (ko) 2024-01-03
US20240077668A1 (en) 2024-03-07
TW201809214A (zh) 2018-03-16
CN115407876A (zh) 2022-11-29
CA3184087A1 (en) 2018-01-18
US10663657B2 (en) 2020-05-26
US20190004319A1 (en) 2019-01-03
AU2019200194A1 (en) 2019-01-31
EP3485330A1 (en) 2019-05-22
CN109477973B (zh) 2021-11-05
EP3485354A1 (en) 2019-05-22
JP7385202B2 (ja) 2023-11-22
EP3485353A4 (en) 2020-04-08
US20190004326A1 (en) 2019-01-03
CN109477973A (zh) 2019-03-15
KR20190028747A (ko) 2019-03-19
CN109478704A (zh) 2019-03-15
US11726256B2 (en) 2023-08-15
NZ743819A (en) 2018-11-30
AU2019200180A1 (en) 2019-01-31
US11221670B2 (en) 2022-01-11
CA3030851A1 (en) 2018-01-18
AU2017296073A1 (en) 2018-07-12
US20190064435A1 (en) 2019-02-28
NZ743820A (en) 2019-09-27
AU2017297630A1 (en) 2018-07-12
TWI830544B (zh) 2024-01-21
US10996393B2 (en) 2021-05-04
KR20190027380A (ko) 2019-03-14
EP3485312A4 (en) 2020-04-22
EP3485322A1 (en) 2019-05-22
JP7430870B2 (ja) 2024-02-14
EP3485323A4 (en) 2020-04-08
AU2017297630B2 (en) 2018-11-08
TW201809771A (zh) 2018-03-16
US11740402B2 (en) 2023-08-29
CN113504718B (zh) 2023-04-07
WO2018014036A1 (en) 2018-01-18
JP7063520B2 (ja) 2022-05-09
CA3030848A1 (en) 2018-01-18
CA3006523C (en) 2019-03-19
US11874493B2 (en) 2024-01-16
CN109843566B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
US20230341592A1 (en) Systems and methods for rendering data from a 3d environment
KR20190026891A (ko) 홀로그래픽 감각 데이터 생성, 조작 그리고 전송을 위한 시스템 및 방법
WO2018014047A1 (en) System and methods of holographic sensory data generation, manipulation and transport
WO2018014040A1 (en) Holographic superimposition of real world plenoptic opacity modulation through transparent waveguide arrays
JP2021512349A (ja) 最適化されたホログラフィック投影のための秩序化形状
US20240151896A1 (en) System and methods of universal parameterization of holographic sensory data generation, manipulation and transport
NZ789927A (en) System and methods of holographic sensory data generation, manipulation and transport

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application
E801 Decision on dismissal of amendment