KR20140094664A - 광시야각 디스플레이들 및 사용자 인터페이스들 - Google Patents

광시야각 디스플레이들 및 사용자 인터페이스들 Download PDF

Info

Publication number
KR20140094664A
KR20140094664A KR1020147020075A KR20147020075A KR20140094664A KR 20140094664 A KR20140094664 A KR 20140094664A KR 1020147020075 A KR1020147020075 A KR 1020147020075A KR 20147020075 A KR20147020075 A KR 20147020075A KR 20140094664 A KR20140094664 A KR 20140094664A
Authority
KR
South Korea
Prior art keywords
image
display
observer
optionally
hologram
Prior art date
Application number
KR1020147020075A
Other languages
English (en)
Other versions
KR101840405B1 (ko
Inventor
카르멜 로칠드
아비아드 코프먼
Original Assignee
리얼 뷰 이미징 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리얼 뷰 이미징 리미티드 filed Critical 리얼 뷰 이미징 리미티드
Publication of KR20140094664A publication Critical patent/KR20140094664A/ko
Application granted granted Critical
Publication of KR101840405B1 publication Critical patent/KR101840405B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H1/024Hologram nature or properties
    • G03H1/0248Volume holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2286Particular reconstruction light ; Beam properties
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H1/265Angle multiplexing; Multichannel holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G03H2001/0038Adaptation of holography to specific applications in hologrammetry for measuring or analysing analogue or digital holobjects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0055Adaptation of holography to specific applications in advertising or decorative art
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0061Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0402Recording geometries or arrangements
    • G03H2001/0421Parallax aspect
    • G03H2001/0426Extended parallax, e.g. panoramic or 360deg. holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • G03H2001/2207Spatial filter, e.g. for suppressing higher diffraction orders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • G03H2001/221Element having optical power, e.g. field lens
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2223Particular relationship between light source, hologram and observer
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2223Particular relationship between light source, hologram and observer
    • G03H2001/2231Reflection reconstruction
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2236Details of the viewing window
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2236Details of the viewing window
    • G03H2001/2239Enlarging the viewing window
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2236Details of the viewing window
    • G03H2001/2242Multiple viewing windows
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2263Multicoloured holobject
    • G03H2001/2271RGB holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2284Superimposing the holobject with other visual information
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2286Particular reconstruction light ; Beam properties
    • G03H2001/2292Using scanning means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • G03H2001/2297Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H2001/2605Arrangement of the sub-holograms, e.g. partial overlapping
    • G03H2001/262Arrangement of the sub-holograms, e.g. partial overlapping not in optical contact
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/2655Time multiplexing, i.e. consecutive records wherein the period between records is pertinent per se
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/266Wavelength multiplexing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/30Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique discrete holograms only
    • G03H2001/303Interleaved sub-holograms, e.g. three RGB sub-holograms having interleaved pixels for reconstructing coloured holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/202D object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object
    • G03H2210/323D+2D, i.e. composition of 3D and 2D sub-objects, e.g. scene in front of planar background
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object
    • G03H2210/36Occluded features resolved due to parallax selectivity
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/20Coherence of the light source
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/20Coherence of the light source
    • G03H2222/22Spatial coherence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/33Pulsed light beam
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/50Geometrical property of the irradiating beam
    • G03H2222/52Divergent beam
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00Optical components
    • G03H2223/24Reflector; Mirror
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/60Multiple SLMs
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/60Multiple SLMs
    • G03H2225/61Multiple SLMs for multicolour processing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/02Computing or processing means, e.g. digital signal processor [DSP]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/04Transmission or communication means, e.g. internet protocol
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/05Means for tracking the observer
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02Handheld portable device, e.g. holographic camera, mobile holographic display
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/03Means for moving one component
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00Hologram nature or properties
    • G03H2240/50Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/61SLM related parameters, e.g. pixel size

Abstract

이미지들을 표시하며 입체 사용자 인터페이스들을 구현하기 위한 방법들 및 시스템들이 개시된다. 하나의 예시적인 실시예는, 광원, 이미지 생성 유닛-상기 이미지 생성 유닛은 상기 광원으로부터 상기 이미지 생성 유닛에 접근하는 광과의 상호작용시에 이미지를 생성함, 접안 렌즈, 및 상기 이미지로부터의 광을 상기 접안 렌즈의 표면으로 지향시키는 미러를 포함하고, 상기 표면은 평면 곡선을 회전축 주위로 적어도 180도 회전시킴으로써 형성되는 회전 입체의 형상을 갖는 시스템을 제공한다. 다른 예시적인 실시예는 공중 부양 사용자 인터페이스를 구현하기 위한 방법으로서, 제1 공중 부양 디스플레이의 표시 공간 내에 제1 이미지를 표시하는 단계, 상기 제1 공중 부양 디스플레이의 표시 공간 내에 실제 객체를 삽입하는 단계, 상기 공중 부양 디스플레이의 표시 공간 내의 실제 객체의 위치를 결정하는 단계, 상기 표시 공간 내에 상기 실제 객체를 배치하는 단계, 및 상기 위치를 상기 공중 부양 사용자 인터페이스에 입력으로서 제공하는 단계를 포함하는 방법을 제공한다.

Description

광시야각 디스플레이들 및 사용자 인터페이스들{BROAD VIEWING ANGLE DISPLAYS AND USER INTERFACES}
관련 출원들
본 출원은 2008년 7월 10일자로 출원된 "광시야각 디스플레이들 및 사용자 인터페이스들(BROAD VIEWING ANGLE DISPLAYS AND USER INTERFACES)"라는 제목의 미국 특허 가출원 제61/129,665호의 우선권 및 이익을 35 U.S.C. 119(e)에 따라 주장하며, 이 가출원의 내용은 본 명세서에 참조로서 포함된다.
발명의 분야
본 발명은 그 일부 실시예들에서 이미지들을 표시하기 위한 방법들 및 장치들과 관련되며, 특히 비배타적으로 넓은 시야각으로부터, 예를 들어 이미지 주위의 360도로부터의 이미지들의 관찰을 허용하는 방법들 및 장치들에 관한 것이다.
본 발명은 그 일부 실시예들에서 컴퓨터화된 사용자 인터페이스 시스템과 관련되며, 특히 비배타적으로 공중 부양 디스플레이(f1oating-in-the-air display)를 포함하는 사용자 인터페이스 시스템에 관한 것이다.
미국 특허 출원 공개 제2006-0171008호는 삼차원(3D) 디스플레이 시스템을 설명하고 있다. 이 3D 디스플레이 시스템은 3D 이미지를 형성하기 위해 디스플레이 매체 상에 이미지를 투영하기 위한 투영기 장치를 포함한다. 3D 이미지는 관찰자가 최대 360도까지의 다양한 각도들로부터 이미지를 관찰할 수 있도록 형성된다. 다양한 디스플레이 매체들, 즉 회전 확산 스크린, 원형 확산기 스크린 및 에어로겔(aerogel)이 설명되어 있다. 회전 확산 스크린은 공간 광 변조기들을 이용하여 이미지를 제어하며, 따라서 3D 이미지는 시간 다중화 방식으로 회전 스크린상에 표시된다. 원형 확산기 스크린은 복수의 위치로부터 원형 확산기 스크린상에 이미지를 투영하여 3D 이미지를 형성하기 위한 다수의 동시에 구동되는 투영기를 포함한다. 에어로겔은 회전 확산 스크린 또는 원형 확산기 스크린에 적용 가능한 것으로 설명된 투영 장치를 사용할 수 있다. 이 공개 특허는 때때로 3D 이미지를 홀로그램이라고 하지만, 그에 의해 교시되는 디스플레이 매체는 비홀로그래픽 3D 이미지들을 생성한다.
일부 컴퓨터에 의해 생성되는 삼차원 디스플레이들이 공지되어 있다. 일부는 평면 스크린들 상에서 마이크로 렌즈들을 사용한다. 일부는 비교적 좁은 각도로부터 관찰될 수 있는 컴퓨터 생성 홀로그램들을 포함한다.
입체 디스플레이라고 하는 삼차원(3D) 디스플레이들의 한 종류가 현재 빠르게 진보하고 있다. 이러한 종류의 디스플레이들의 타입들은 스웹트 입체 디스플레이들(swept volume displays) 및 정적 입체 디스플레이들을 포함한다. 입체 디스플레이들은 삼차원(3D) 그래픽 장면들이 진정한 3D 입체 내에 표시되는 것을 가능하게 한다. 즉, 입체 디스플레이는 2D 디스플레이 상이 아니라, 진정한 물리적 3D 입체에 입체 데이터를 투영한다.
일부 사용자 인터페이스들은 제1 표시 공간에 사용자 입력 지시자의 위치를 표시하고, 입력 공간인 제2 공간으로부터 사용자 입력의 위치를 변환한다. 그러한 사용자 인터페이스의 일례는 마우스이며, 컴퓨터 스크린상의 지시자는 마우스의 이동들에 대응하여 이동하고, 마우스는 하나의 좌표계에서 데스크 상에서 이동하며, 지시자는 제2 좌표계에서 스크린상에서 이동한다.
Balakrishnan 등의 미국 특허 제7,528,823호는 입체 디스플레이 및 입체 디스플레이 내의 사용자 제어 가능 입체 포인터를 생성하는 시스템을 설명하고 있다. 사용자는 평면 또는 접선 기반 벡터인 빔을 겨냥하거나, 디스플레이와 관련하여 장치의 삼차원 위치를 결정하거나, 디스플레이 인클로저(display enclosure)의 디지타이징 표면을 터치하거나, 위치 좌표들을 입력함으로써 지시할 수 있다. 커서는 광선, 포인트, 입체 및 평면을 포함하는 다수의 상이한 형태를 취할 수 있다. 광선은 링, 구슬, 분할된 막대, 원뿔 및 원통을 포함할 수 있다. 사용자는 입력 위치를 지정하고, 시스템은 입력 위치를 입체 디스플레이 내의 3D 커서 위치로 맵핑한다. 또한, 시스템은 객체가 커서의 영향 범위 내에 있는지를 결정함으로써 임의의 객체가 커서에 의해 지정되었는지를 결정한다. 또한, 시스템은 지정과 관련하여 활성화되는 임의의 기능을 수행한다.
화이트 보딩(white-boarding)은 온-스크린 "공유 노트북" 또는 "화이트 보드" 상의 공유 파일들의 배치를 설명하는 데 사용되는 용어이다. 종종, 화상 회의 및 데이터 회의 소프트웨어는 전통적인 벽 실장 보드를 이용하여 행해지는 바와 같이 사용자가 전자 화이트 보드에 마크업하는 것을 가능하게 하는 도구들을 포함한다. 이러한 타입의 소프트웨어의 일반 특성은 두 사람 이상이 임의의 시간에 동시에 이미지에 대해 작업하는 것을 가능하게 하며, 2개의 버전이 거의 실시간으로 서로 동기화를 유지한다는 점이다.
종종 간단히 "햅틱(haptics)"이라고도 하는 햅틱 피드백은 최종 사용자에게 정보를 제공하기 위한 사용자 인터페이스 설계에서의 터치의 감지의 이용이다. 이동 전화들 및 유사한 장치들과 관련할 때, 이것은 일반적으로 터치스크린 버튼이 눌러졌음을 지시하기 위한 장치의 진동 알람으로부터의 진동들의 사용을 의미한다. 이러한 특정 예에서, 전화는 온 스크린 제어의 사용자 조작에 응답하여 약간 진동하여, 사용자가 물리적 버튼을 눌렀을 때 경험하는 통상적인 촉각 응답의 결여를 보완할 것이다. 일부 "힘 피드백(force feedback)" 조이스틱들 및 비디오 게임 조종 휠들이 제공하는 저항력은 다른 한 형태의 햅틱 피드백이다.
배경 기술은
McPheters의 미국 특허 제6,377,238호,
McPheters의 미국 특허 제7,054,045호,
Balakrishnan 등의 미국 특허 제7,528,823호,
Mintz 등의 미국 공개 특허 출원 제2006/0171008호, 및
Opt. Eng. 39(1) 10-22 (January 2000)에서 발행된 Chen F., Brown G. M., Song M.의 "Overview of three-dimensional shape measurement using optical methods"라는 제목의 논문을 포함한다.
본 발명은 그 일부 실시예들에서 많은 관찰자에게 홀로그램들을 표시하여, 각각의 관찰자가 정확히 동일한 장소에서 홀로그램을 보게 하고, 홀로그램의 소정 부분을 터치하는 경우에 모든 다른 관찰자가 각각 그 자신의 시야각으로부터 동일 장소에서 터치된 이미지를 보게 하는 것에 관련된다.
본 발명은 그 일부 실시예들에서 근축 이미지들(paraxial images)을 360도 주위에 투영하는 것에 관련된다.
따라서, 본 발명의 예시적인 실시예에 따르면, 다수의 관찰자에게 콘텐츠를 표시하는 방법으로서, 콘텐츠의 적어도 일부의 각각이고, 그 자신의 관찰 가능 공간으로부터 각각 관찰 가능한 다수의 입체 이미지를 형성하는 단계; 및 관찰 가능 공간들 중 하나 이상의 일부를 관찰자들 각각의 동공과 오버랩시키는 단계를 포함하는 방법이 제공된다.
일부 실시예들에서, 콘텐츠는 단일 장면이며, 입체 이미지들의 각각은 상이한 시점(viewing point)으로부터 관찰 가능할 때 단일 장면이 입체인지 또는 부분적으로 투명한지에 관계없이 면(face)이다.
선택적으로, 복수의 입체 이미지는 공간적으로 오버랩되거나 인접한다.
선택적으로, 입체 이미지들 모두는 공간적으로 오버랩된다.
선택적으로, 입체 이미지들 간의 오버랩은 최대한이다.
선택적으로, 입체 이미지들은 공간적으로 최대한 오버랩된다.
선택적으로, 입체 이미지들은 하나의 이미지의 이미지 포인트들이 다른 이미지의 이미지 포인트들 사이에 오버랩되거나 이격되는 경우에 오버랩된 것으로 간주된다. 유사하게, 최대 오버랩은 하나의 이미지의 모든 이미지 포인트들이 다른 이미지의 이미지 포인트들 사이에 오버랩되거나 존재할 때의 상태로서 정의될 수 있다. 선택적으로, 관찰자에 의해 이미지의 일부인 것으로서 식별되는 공간 내의 각각의 포인트는 이미지 포인트이다.
본 발명의 일부 실시예들에서, 관찰자들은 입체 이미지들 중 하나에 의해 점유되는 공간 주위의 상이한 방위각들에 위치한다.
선택적으로, 상이한 방위각들은 원 전체, 원의 절반 또는 원의 1/4에 걸친다.
일부 실시예들에서, 관찰자들 중 두 명은 서로 적어도 1 미터 이격된다.
일부 실시예들에서, 관찰자들은 이미지들을 동시에 관찰한다.
선택적으로, 관찰 가능 공간은 일련의 짧은 기간들 동안에만 관찰자의 눈과 오버랩되며, 상기 짧은 기간들은 상기 관찰자가 연속적인 뷰를 볼 수 있도록 적절히 이격된다.
본 발명은 그 일부 실시예들에서 공중 부양 디스플레이를 포함하는 사용자 인터페이스와 관련된다.
본 명세서에서 공중 부양 디스플레이라는 용어는 기판 없는 디스플레이에 대해 사용된다. 공중 부양 디스플레이는 광학적으로 생성되고, 기판을 필요로 하지 않으며, 따라서 공중에 떠 있거나, 물 속에 떠 있거나, 고체 내에 떠 있는 것처럼 보일 수 있다.
일부 실시예들에서, 사용자 인터페이스는 사용자가 표시된 객체 및/또는 장면까지 그리고/또는 표시된 객체 및/또는 장면 안에까지 표시 공간 내에 도달하는 것을 가능하게 한다. 상기 "내에 도달"은 사용자 인터페이스와 상호작용하는 사용자에게 자연스런 손-눈 협조를 제공한다. 예를 들어, 사용자는 표시된 객체를 "터치"할 수 있으며, 사용자 및 선택적으로 다른 관찰자들은 "터칭"을 본다.
소정의 종래 기술의 경우, 사용자는 하나의 공간에서 마우스와 같은 입력 장치를 조작하고, 다른 공간, 즉 표시 공간에서 조작의 결과를 본다. 본 발명의 사용자 인터페이스는 동일 공간에서 입력 장치를 조작하고 조작의 결과를 보는 것을 가능하게 한다.
일부 실시예들에서, 사용자는 사용자 인터페이스에 입력을 제공하고, 사용자 인터페이스는 소정의 표시 변경을 행하여, 표시의 일부를 마킹하거나, 잘라내기, 층 벗기기 등과 같은 더 큰 변경을 유발한다. 사용자는 객체 내에 도달하였고, 객체를 조작한 것으로 보였으므로, 사용자는 객체 자체에 대한 변경을 실시한 것으로 보인다.
일부 실시예들에서는, 사용자가 표시되고 있는 객체를 터치하는 것으로 보일 때 감각 피드백이 제공된다. 표시된 객체는 공중에 떠 있고, 터칭에 대해 어떠한 저항도 제공하지 않으므로, 사용자는 선택적으로 포인팅 장치를 사용할 수 있으며, 사용자 인터페이스는 선택적으로 사용자가 표시된 객체를 "터치"할 때 포인팅 장치가 감각 피드백을 제공하게 한다.
사용자가 디스플레이 내의 객체를 "터치"할 때 사용자에게 감각 피드백을 옵션으로 제공하기 위한 하나의 예시적인 방법은 예를 들어 진동 반지 또는 장갑을 착용하고 있는 사용자에 의해 인공 현실 분야에 공지된 바와 같은 인공 터치 감각을 불러일으키는 단계를 포함한다. 또 하나의 예시적인 방법은 사용자의 손 및/또는 손가락에 적외선 열과 같은 빔을 투사하여, 손 및/또는 손가락을 가열하는 것이다. 또 하나의 예시적인 방법은 감각을 유발하도록 변조된 사운드, 예를 들어 초음파의 빔을 투사하는 단계를 포함한다.
사용자에게 감각 피드백을 제공하기 위한 또 하나의 예시적인 방법은 예를 들어 터치 포인트를 강조함으로써 터치 포인트를 시각적으로 마킹하는 단계를 포함한다. 사용자 인터페이스는 표시되는 이미지를 디지털 방식으로 정의하며, 따라서 사용자 인터페이스는 선택적으로 표시된 이미지 내의 위치가 강조되거나, 깜박이거나, 색조를 변경하는 것 등을 행하게 할 수 있다는 점에 유의한다.
사용자에게 감각 피드백을 제공하기 위한 또 하나의 예시적인 방법은 포인터가 객체를 "터치"할 때 "노크" 소리가 나게 하고 그리고/또는 선택적으로 어느 객체가 "터치"되는지에 따라 피드백을 위한 다양한 사운드로부터 선택하는 것과 같은 가청 피드백에 의한다.
감각 피드백은 "터치", "그래브(grab)" 및 다른 그러한 조작 용어들이 사용자 상호작용을 설명하는 데 사용되는 적절한 위치들에서 선택적으로 간주되어야 한다.
본 명세서에서 "감각 피드백"이라는 용어가 사용되는 경우, 이 용어는 전술한 방법들 중 어느 하나는 물론, 사용자에게 피드백을 제공하는 다른 방법도 의미하는 것을 의도한다.
본 명세서에 설명되는 사용자 인터페이스 시스템에 대한 명령의 형태들의 일부 비제한적인 예들은 표시 공간 내에 도달하는 데에도 사용되는 포인터 상의 버튼을 누르는 것과 같이 표시 공간 내의 인터페이스를 위해서도 사용되는 도구들 상의 액추에이터들을 작동시키는 것을 포함한다.
일부 실시예들에서는, 둘 이상의 사용자 인터페이스가 상이한 위치들에 동일한 객체들 및/또는 장면을 표시한다. 하나의 위치의 사용자가 그 위치의 사용자 인터페이스와 상호작용하고, 모든 사용자들이 상호작용을 본다. 선택적으로, 다른 위치의 사용자가 선택적으로 동시에 사용자 인터페이스와 상호작용하고, 모든 사용자들이 양쪽 상호작용들을 본다. 이것은 원격 위치들 사이의 전술한 자연스런 손-눈 협조 상호작용을 가능하게 하며, 많은 예시적인 용도를 갖는다. 일부 비제한적인 예들은 원격 의료 업무, 원격 수업, 원격 로봇 조작, 아케이드 게임 실행 및 상호작용 게임 실행을 포함한다. 하나의 위치가 다른 위치로부터 이격될 수 있는 거리는 다른 방에 있거나, 다른 빌딩에 있거나, 다른 지역에 있거나, 다른 나라에 있거나, 다른 대륙에 있거나, 2미터 떨어져 있거나, 100미터 이상 떨어져 있거나, 1킬로미터 이상 떨어져 있거나, 수백 내지 수천 킬로미터 떨어져 있는 것을 포함한다.
사용자 인터페이스의 일부 응용들에서, 공중 부양 디스플레이는 본 명세서에 설명되는 입체 디스플레이의 실시예들을 이용한다. 사용자 인터페이스의 다른 응용들에서는, 다른 입체 디스플레이들의 특성들이 특정 응용을 지원하는 경우에 다른 입체 디스플레이들이 선택적으로 사용된다.
본 발명의 예시적인 일 실시예에 의하면, 다수의 관찰자에게 콘텐츠를 표시하기 위한 시스템도 제공되며, 이 시스템은 콘텐츠의 적어도 일부의 각각이고, 그 자신의 관찰 가능 공간으로부터 관찰 가능한 입체 이미지들을 생성하기 위한 유닛, 및 상기 관찰 가능 공간들 중 하나 이상의 일부를 관찰자들 각각의 동공과 오버랩되도록 제어하는 광학 시스템을 포함한다.
일부 실시예들에서, 유닛에 의해 생성된 복수의 입체 이미지는 공간적으로 오버랩된다.
선택적으로, 상기 유닛에 의해 생성된 모든 입체 이미지들은 공간적으로 오버랩된다.
선택적으로, 둘 이상의 입체 이미지 사이의 완전한 오버랩이 존재한다.
일부 예시적인 실시예들에서, 광학 시스템은 상기 관찰 가능 공간으로부터 관찰 가능한 입체 이미지에 대한 상기 관찰 가능 공간들 중 적어도 하나의 방위각을 결정하는 방위각 결정 요소를 포함한다.
선택적으로, 방위각 결정 요소는 회전 미러를 포함한다.
선택적으로, 방위각 결정 요소는 상이한 관찰 가능 공간의 방위각을 90도, 180도 또는 360도까지 다르게 결정하도록 구성된다.
일부 실시예들에서, 시스템은 관찰 가능 공간들 각각을 일련의 짧은 기간들 동안에만 상기 동공과 오버랩되도록 제어하는 시간 공유 제어를 포함하며, 상기 짧은 기간들은 상기 관찰자가 연속적인 뷰를 볼 수 있도록 적절히 이격된다.
선택적으로, 시간 공유 제어는 상기 회전 미러의 회전을 제어한다.
본 발명의 예시적인 실시예에 따르면, 근축 이미지를 생성하는 이미지 형성 유닛; 및 스테이지를 정의하고, 상기 근축 이미지를 상기 스테이지에 이미징하여, 스테이지 상의 이미지가 관찰 가능 공간으로부터 관찰될 수 있게 하는 광학 시스템을 포함하는 시스템이 제공되며, 상기 광학 시스템은 접안 렌즈 및 미러를 포함하고, 미러는 광을 복수의 상이한 방위각으로 접안 렌즈로 지향시키도록 구성되고, 상기 방위각들 각각은 상기 관찰 가능 공간에 대한 상이한 위치를 결정하고, 상기 방위각들 각각에 대해 스테이지의 위치가 동일하다.
일부 실시예들에서, 한 관찰자가 주어진 포인트를 터치하고, 다른 관찰자가 터치되고 있는 동일한 포인트를 보는 경우, 두 관찰자에 대한 스테이지의 위치는 동일한 것으로 간주된다. 선택적으로, 이것은 위치들의 차이를 느끼는 관찰자의 능력에 따라 공차를 허용한다.
선택적으로, 인물의 한 포인트의 터치가 모든 방위각들로부터 관찰하는 관찰자들로 하여금 터치되는 동일 포인트를 보게 하는 경우, 스테이지의 위치는 모든 방위각들에 대해 동일한 것으로 간주된다. 이러한 상황에서, 관찰자들이 차이를 식별할 수 없는 경우, 그 포인트는 "동일"하다.
일부 예시적인 실시예들에서, 접안 렌즈는 근축 이미지로부터의 광을 수신하는 수광면을 구비하며, 상기 수광면은 평면상에 위치하고 상기 평면 밖에 있는 축 주위를 회전한 회전 곡선의 형상을 갖는다. 본 발명의 예시적인 실시예에서, 수광면은 원통형이며, 선택적으로 이미지 확대를 제공하기 위한 곡률을 갖는 벽들을 구비한다. 선택적으로, 곡률은 상하 대칭이 아니다. 선택적으로 또는 대안으로서, 축은 예를 들어 그의 중심에서 이미지와 교차한다.
선택적으로, 수광면의 형상은 축 주위를 적어도 90도 회전한 곡선이다. 예컨대, 곡선이 원의 1/2인 경우, 표면은 구의 1/4이다.
선택적으로, 수광면의 형상은 축 주위를 360도 회전한 곡선이며, 따라서 상기 접안 렌즈는 내부 공동을 정의한다. 예를 들어, 곡선이 원의 1/2인 경우, 정의된 내부 공동은 구이다.
선택적으로, 곡선은 원의 일부를 구성하는 호이다.
선택적으로, 곡선은 포물선이다.
곡선이 호인 일부 실시예들에서, 회전축은 호의 중심을 통과하지 않는다. 선택적으로 또는 대안으로서, 축은 이미지와 교차한다. 선택적으로, 축은 이미지와 교차하지만, 완전한 수직으로 교차하지 않는다. 선택적으로 또는 대안으로서, 축은 일정하지 않다.
일부 실시예들에서, 회전축은 곡선의 평면 내에 중앙에 위치하며, 스테이지와 수직이다.
선택적으로, 곡선은 회전축에 대해 오목하다.
선택적으로, 곡선은 회전축에 대해 볼록하다.
일부 예시적인 실시예들에서, 미러는 축 주위를 회전한다. 선택적으로, 미러가 회전하는 축은 접안 렌즈의 내면의 형상을 얻기 위해 상기 곡선이 회전하는 축이다.
선택적으로, 미러가 회전하는 축 및/또는 내면의 형상을 형성하기 위해 곡선이 회전하는 축은 스테이지의 대칭축이다.
일부 예시적인 실시예들에서, 시스템은 광학 요소를 포함하며, 근축 이미지로부터 미러로 진행하는 광은 광학 요소를 통과한다.
선택적으로, 광학 요소는 렌즈를 포함한다.
선택적으로, 광학 요소는 곡선 미러를 포함한다.
일부 실시예들에서, 광원은 접안 렌즈에 의해 정의되는 공동 내에 위치한다. 선택적으로, 미러, 이미지 형성 유닛 및/또는 광학 요소는 공동 내에 위치한다.
일부 실시예들에서, 광원과 스테이지 사이의 광 경로의 적어도 일부는 공동 내에 위치한다.
본 발명의 일부 실시예들에서, 이미지 형성 유닛은 투과형 LCD를 포함한다.
본 발명의 일부 실시예들에서, 이미지 형성 유닛은 반사형 LCD를 포함한다.
본 발명의 일부 실시예들에서, 이미지 형성 유닛은 공간 광 변조기(SLM)를 포함한다. 선택적으로, 근축 이미지는 컴퓨터 생성 홀로그램(CGH)이다.
선택적으로, 근축 이미지는 근축 시차 장벽 이미지이다.
선택적으로, 근축 이미지는 이차원 이미지이다.
선택적으로, 근축 이미지는 삼차원 이미지이다.
선택적으로, 스테이지 상의 이미지는 입체 이미지이다. 이 상황에서, 입체 이미지는 단일 평면으로 한정되는 것이 아니라 삼차원 공간을 채우는 이미지 포인트들로 구성되는 이미지이다. 따라서, 입체 이미지는 입체를 차지하는 이미지이지만, 입체 안에는 공기 등과, 입체 내의 이미지 포인트들로부터 나오는 광을 제외하고는 아무것도 존재하지 않는다. 선택적으로, 입체 이미지의 3개의 물리적 차원은 동일한 정도의 크기를 가지며, 예를 들어 이미지의 높이, 폭 및 깊이 각각은 1cm 내지 20cm, 예컨대 10cm의 크기를 갖는다. 선택적으로, 차원들 중 하나 이상에 대해 더 큰 크기들, 예컨대 30cm, 50cm, 80cm, 100cm 또는 그 이상이 제공된다.
선택적으로, 이것은 이미징 시스템 내에 있는 관찰자 위치를 이용하여 제공된다. 본 발명의 예시적인 실시예에서, 수광면의 직경 및 그의 높이는 원하는 시야각들 및 이미지 크기들과 매칭되도록 선택된다. 본 발명의 예시적인 실시예에서, 스테이지는 곡선이 아니거나, 구분적으로 곡선이며, 이미지 형성 유닛 및/또는 광학계는 이를 보상하는 데 사용된다. 선택적으로, 이미지 형성 유닛은 곡선의 중심에 있지 않으며, 따라서 시스템으로부터 동일한 거리에서 상이한 시야각들에 대해 상이한 배율들 및/또는 각도 크기들이 발생할 수 있다.
예시적인 실시예들에서, 이미지 형성 유닛은 상기 모든 상이한 방위각들로부터 관찰될 통일 이미지를 형성하도록 구성된다. 선택적으로, 이미지는 상이한 거리들로부터 상이한 크기로 보여진다. 선택적으로 또는 대안으로서, 이미지는 상이한 관찰 높이 각도들에 대해 상하로 이동한다. 대안으로, 이미지는 관찰자가 그의 머리를 올리거나 낮추는 경우에도 동일할 수 있다. 그러나, 본 발명의 예시적인 실시예에서, 시스템은 표시를 수정하고 생성하여, 임의의 이동, 거리, 방위 또는 높이 변경이 실제 이미지가 공간 내에 떠 있는 상태에서 관찰되는 경우와 동일한 관찰자의 시각 효과를 발생시키게 한다. 주목되는 바와 같이, 일부 구현들에서는, 그러한 완전한 충실도는 제공되지 않으며, 예를 들어 하나 이상의 눈 위치 변경 타입들을 지원하지 않음으로써 저하될 수 있다. 예를 들어, 임의의 시야각으로부터, 선택적으로 각각의 눈에 대해 상이한 모습들을 갖는 (적합하도록 회전된) 동일 이미지가 제공될 수 있다. 다른 예에서, 눈들의 수직 재배치는 관찰되는 이미지의 부분의 변화를 제공하지 않는다.
일부 실시예들에서, 이미지 형성 유닛은 상이한 방위각들로부터 관찰될 상이한 이미지들을 생성하도록 구성된다. 예컨대, 이미지 형성 유닛은 상이한 각도로부터 각각 관찰 가능한 장면의 부분 이미지들을 생성하도록 구성될 수 있으며, 시스템은 상기 상이한 각도로부터 각각 관찰될 수 있는 장면의 부분 이미지들을 이미징하도록 구성된다.
일부 실시예들에서, 미러는 미러가 회전하는 축에 대해 경사진다.
본 발명의 일부 실시예들의 일 양태는 제1 위치에 동공을 갖고 제2 위치를 보는 관찰자에 의해 관찰될 근축 이미지를 이미징하는 방법에 관한 것으로서, 이 방법은 근축 이미지를 생성하는 단계; 가장 넓은 부분과 더 좁은 부분들을 갖는 관찰 가능 공간으로부터 근축 이미지의 이미지가 관찰될 수 있도록 근축 이미지를 관찰자가 관찰하는 위치에 이미징하는 단계; 관찰자의 동공의 위치에 응답하여, 제3 위치를 선택하는 단계; 및 관찰 가능 공간의 가장 넓은 부분을 선택된 제3 위치에 이미징하는 단계를 포함한다. 선택적으로, 이미징은 근축 이미지를 이미지 관찰 가능 공간에 이미징하는 동시에, 투영기의 평면을 관찰자의 동공의 평면에 이미징하는 단계를 포함한다. 예를 들어, 홀로그래픽 구성의 투영기는 SLM이다.
본 발명의 예시적인 실시예에서, 근축 이미지는 공간 광 변조기(SLM)를 이용하여 생성된 컴퓨터 생성 홀로그램(CGH)이며, SLM의 이미지는 관찰 가능 공간의 가장 넓은 부분에 위치한다.
예시적인 실시예에서, 제3 위치는 관찰자의 동공과 오버랩되도록 선택된다.
선택적으로, CGH의 이미지는 관찰 가능 공간으로부터 관찰 가능하며, 제3 위치는 상기 관찰 가능 공간이 관찰자의 동공과 오버랩되도록 선택된다. 선택적으로, 이미징은 근축 이미지를 이미지 관찰 가능 공간에 이미징하는 동시에, 투영기(예컨대, 홀로그래픽 구성의 SLM) 평면을 관찰자의 동공의 평면에 이미징하는 단계를 포함한다.
일부 실시예들에서, 이 방법은 관찰자의 동공의 위치의 지시를 수신하는 단계; 및 상기 지시에 응답하여, 상기 동공이 위치하는 관찰 포트홀을 정의하는 단계를 포함하고, 제3 위치는 관찰 가능 공간이 상기 관찰 포트홀과 적어도 부분적으로 오버랩되도록 선택된다. 선택적으로, 제3 위치는 관찰 가능 공간이 상기 관찰 포트홀 전체와 오버랩되도록 선택된다.
일부 실시예에서, 관찰자의 동공의 위치의 지시를 수신하는 단계는 관찰자의 얼굴의 위치의 지시를 수신하는 단계; 및 상기 지시를 분석하여 관찰자의 동공의 위치의 지시를 취득하는 단계를 포함한다.
선택적으로, SLM을 이미징하는 단계는 SLM보다 큰 이미지를 생성하는 단계를 포함한다.
선택적으로 또는 추가로, CGH의 이미지는 SLM보다 크다.
일부 예시적인 실시예들에서, 이 방법은
(a) 관찰자의 눈들 중 하나의 위치에 응답하여 SLM을 이미징하는 단계; 및
(b) 이어서, 관찰자의 눈들 중 나머지의 위치에 응답하여 SLM을 이미징하고, 관찰자가 연속 이미지를 볼 수 있도록 (a) 및 (b)를 반복하는 단계를 포함한다.
선택적으로, 제1 CGH가 관찰자의 눈들 중 제1 눈에 투영되고, 제2 CGH가 관찰자의 눈들 중 제2 눈에 투영된다.
일부 실시예들에서, 제1 및 제2 CGH는 장면이 CGH가 이미징되는 상기 제2 위치에 존재하는 경우에 관찰자의 제1 및 제2 눈에 의해 관찰되는 바와 같은 동일 장면의 홀로그램들이다.
예시적인 실시예에서, 시청자는 복수의 눈을 함께 갖는 복수의 관찰자 중 하나이고, SLM은 상기 복수의 눈 중 다른 하나의 위치에 응답할 때마다 순차적으로 이미징되며, 따라서 각각의 관찰자는 연속적으로 관찰하게 된다.
선택적으로, 제2 위치에 이미징되는 이미지들 중 하나 이상은 SLM이 동일 관찰자의 눈과 오버랩되도록 이미징될 때마다 동일하며, 따라서 관찰자는 정지 또는 유사한(예를 들어, 동적) 이미지를 보게 된다.
본 발명의 일부 실시예들에서, 제1 위치에 동공을 갖고 제2 위치를 보는 관찰자에 의해 관찰될 근축 이미지를 이미징하는 방법은 SLM으로부터의 광을 미러로 투영하는 단계; 및 상기 미러를 이동시켜 관찰자의 눈의 이동들을 따르게 하는 단계를 포함한다.
일부 실시예들에서, 이 방법은 SLM을 회전 미러에 이미징하는 단계; 및 관찰자가 연속 이미지를 볼 수 있도록 상기 회전 미러를 회전시키는 단계를 포함한다.
선택적으로, SLM은 복수의 SLM 중 하나이고, 복수의 SLM의 이미지들은 동일 회전 미러로 투영된다.
선택적으로, 미러는 상기 광학 시스템의 포커싱 요소의 초점에 위치한다.
선택적으로, 이미징은 초당 적어도 24 주기에 대한 것이며, 상기 주기들 각각은 1-20 마이크로초의 길이이다.
일부 실시예들에서, 이 방법은 눈 추적을 수행하여 관찰자의 동공의 위치의 지시를 수신하는 단계를 포함한다.
일부 실시예들에서, 관찰자의 동공의 위치의 지시를 수신하는 단계는 상기 관찰자의 눈으로부터의 광 반사를 수신하는 단계; 및 상기 반사를 분석하여 상기 관찰자의 눈의 위치를 추정하는 단계를 포함한다.
선택적으로, 관찰자의 동공의 위치의 지시를 수신하는 단계는 관찰자의 얼굴이 식별되는 위치의 지시를 수신하는 단계; 및 상기 지시를 처리하여 관찰자의 동공의 위치의 지시를 취득하는 단계를 포함한다.
일부 실시예들에서, 근축 이미지는 근축 시차 장벽 이미지이다.
일부 실시예들에서, 근축 이미지는 이차원 이미지이다.
일부 실시예들에서, 근축 이미지는 삼차원 이미지이다.
선택적으로, 근축 이미지의 이미지는 입체 이미지이다.
또한, 본 발명의 예시적인 실시예에 의하면, 주어진 위치를 바라보는 관찰자에게 장면을 표시하는 방법이 제공되며, 이 방법은 관찰자의 눈의 위치를 추정하는 단계; 장면이 주어진 배향으로 주어진 위치에 존재하는 경우에 관찰자가 어느 장면 부분들을 보았는지를 추정하는 단계; 및 상기 추정된 장면 부분들을 포함하는 장면 부분만의 컴퓨터 생성 홀로그램을 주어진 위치에 이미징하는 단계를 포함하고, 이미징은 관찰자가 홀로그램을 볼 수 있게 한다.
바람직한 실시예들에서, 이미징은 전술한 방법 내에 있다.
선택적으로, 이 방법은 관찰자의 눈의 위치를 추적하는 단계; 및 관찰자가 이동할 때 관찰자가 상기 주어진 위치에서 홀로그램을 계속 볼 수 있도록 컴퓨터 생성 홀로그램을 이미징하는 단계를 포함한다. 일부 실시예들에서, 이것은 관찰자가 예를 들어 1 또는 2미터 이동할 때에도 그러하다.
본 발명의 일부 실시예들의 일 양태는 컴퓨터 생성 홀로그램(CGH)을 이미징하기 위한 시스템에 관한 것으로서, 이 시스템은 공간 광 변조기(SLM)를 포함하는 홀로그램 생성 유닛; 상기 유닛에 의해 생성되는 홀로그램을 제1 위치로 그리고 SLM의 이미지를 제2 위치에 이미징하도록 구성되는 광학 시스템; 및 CGH가 광학 시스템과 SLM의 이미지 사이의 위치에 이미징되도록, 상기 SLM의 이미지의 제2 위치로의 이미징을 제어하도록 구성되는 제어기를 포함한다. 선택적으로, 제어기는 광학 시스템 및 홀로그램 생성 유닛 중 적어도 하나를 제어한다.
선택적으로, 상기 제어기는 상기 광학 시스템을 제어하여, 원하는 배향으로 상기 원하는 위치에 SLM의 이미지를 생성하도록 구성된다.
일부 실시예들에서, 제어기는 원하는 위치 및/또는 배향을 온라인으로 변경하도록 구성된다.
일부 실시예들에서, 시스템은 상기 원하는 위치 및/또는 배향의 지시들의 온라인 수신을 위한 입력을 포함한다.
선택적으로, 입력은 눈 추적 유닛으로부터 관찰자의 눈의 위치를 지시하는 신호를 수신하기 위한 수신기를 포함하고, 제어기는 상기 광학 시스템을 제어하여 상기 SLM의 이미지를 상기 원하는 위치로 투영함으로써, 관찰자의 눈이 상기 원하는 위치를 포함하는 관찰 가능 공간 내에 있게 한다.
선택적으로, 관찰자의 양 눈은 동시에 관찰 가능 공간 내에 있다.
일부 실시예들에서, 광학 시스템은 대물 렌즈; 접안 렌즈; 및 상기 원하는 위치와 접안 렌즈 및 대물 렌즈 중 하나 이상 사이의 거리에 응답하여 대물 렌즈와 접안 렌즈 사이의 광학 길이를 조정하도록 제어 가능한 광학 길이 조정 유닛을 포함한다.
선택적으로, 광학 길이 조정 유닛은 상기 광학 길이를 온라인으로 조정하도록 구성된다.
일부 실시예들에서, 시스템은 대물 렌즈로부터 미러에 도달하는 광을 접안 렌즈의 일부로 반사하는 미러를 포함하고, 미러는 상기 광을 접안 렌즈의 상이한 부분들로 반사하도록 제어될 수 있다.
선택적으로, 접안 렌즈는 공동체(hollow body) 또는 투명 고체 또는 유체를 포함한다.
일부 실시예들에서, 공동체는 이미지의 중심을 통과하는 축 주위에 포물선을 회전시킴으로써 얻을 수 있는 회전 입체로서 형성된다.
선택적으로, 공동 원통체는 구의 일부이다.
선택적으로, 홀로그램 생성 유닛은 상기 접안 렌즈 내에 위치한다.
일부 실시예들에서, 시스템은 접안 렌즈의 중심에서 상기 접안 렌즈의 중심 축 주위를 회전하는 회전 미러를 포함한다.
선택적으로, 대물 렌즈로부터 상기 회전 미러로 오는 광은 접안 렌즈를 향해 반사된다.
선택적으로, 광은 대물 렌즈로부터 하나 이상의 광학 요소를 통해 회전 미러에 도달한다.
선택적으로, 하나 이상의 광학 요소는 대물 렌즈와 접안 렌즈 사이의 광학 길이를 조정하도록 제어 가능한 광학 길이 조정 요소를 포함한다.
선택적으로, 하나 이상의 광학 요소는 접안 렌즈를 향하는 특정 방위에 대한 고도와 관련하여 광학적 광 방향을 조정하도록 제어 가능한 광학 길이 조정 요소를 포함한다.
본 발명의 일부 실시예들의 일 양태는 홀로그램들을 형성하기 위한 시스템에 관한 것으로서, 이 시스템은 중앙 공동을 정의하는 내벽을 갖는 공동 접안 렌즈; 상기 공동 내에 위치하는 홀로그램 생성 유닛; 및 상기 홀로그램 생성 유닛에 의해 생성되는 홀로그램으로부터 상기 내벽으로 진행하는 광 경로 상의 대물 렌즈를 포함한다.
선택적으로, 시스템은 대물 렌즈와 각각 관련되는 복수의 홀로그램 생성 유닛을 포함한다.
선택적으로 또는 대안으로서, 시스템은 선택적으로 시점과 함께 회전하는 복수의 유닛 셀을 포함한다. 예시적인 그러한 셀들은 홀로그램 생성 유닛 셀들 및 예를 들어 눈 또는 손가락 또는 입력 요소를 추적하기 위한 추적 셀들을 포함한다.
선택적으로, 시스템은 상기 접안 렌즈를 이용하여, 단일 위치에서 컴퓨터 생성 유닛들 중 상이한 유닛들에 의해 생성되는 홀로그램들의 이미지들을 생성하도록 구성된다.
선택적으로, 단일 위치는 상기 접안 렌즈 내부, 선택적으로 접안 렌즈의 회전 중심 내이다.
선택적으로, 공동 접안 렌즈는 내부 반사면을 갖는다.
일부 실시예들에서, 내부 면의 형상은 제1 평면상에 존재하는 곡선을 동일 평면 내에 존재하는 회전축 주위로 회전시킴으로써 얻어질 수 있다.
선택적으로, 회전축은 스테이지의 중앙에 수직이다. 대안으로, 축은 스테이지에 대해 경사지거나, 회전과 함께 요동한다.
선택적으로, 내부 면은 구형 셀(spherical cell)의 일부로서 형성된다.
일부 실시예들에서, 복수의 홀로그램 생성 유닛의 각각은 공간 광 변조기(SLM)를 포함하며, 복수의 유닛 셀의 각각은 SLM과 SLM에 의해 생성되는 홀로그램 사이에 초점을 갖도록 배치되는 광 수렴 대물 렌즈를 포함한다.
선택적으로, 복수의 유닛 셀 각각은 대물 렌즈, 및 상기 대물 렌즈와 접안 렌즈 사이의 광학 길이를 결정하도록 구성되는 광학 길이 결정 요소를 구비한다.
선택적으로, 광학 길이 결정 요소들 각각은 나머지 광학 길이 결정 요소들과 독립적으로 제어될 수 있다.
선택적으로, 시스템은 복수의 유닛 셀로부터 광을 수신하고 상기 광을 접안 렌즈로 반사하도록 구성되는, 상기 접안 렌즈의 중심의 회전 미러를 포함한다.
선택적으로, 하나 이상의 광학 요소는 접안 렌즈를 향한 특정 방위에 대한 고도와 관련하여 광학적 광 방향을 조정하도록 제어 가능한 광학 광 조정 요소를 포함한다.
본 발명의 일부 실시예들의 일 양태에 따르면, 소정 위치에 공중 부양 디스플레이 장치를 제공하는 단계; 및 장치로부터, 상기 위치를 둘러싸는 적어도 200도의 호 각도를 포함하는 각도들의 범위를 통해 볼 수 있는 하나 이상의 공중 부양 컴퓨터 생성 이미지들을 투영하는 단계를 포함하는 공중 부양 이미지 표시를 위한 방법이 제공된다.
본 발명의 일부 실시예들에 따르면, 투영은 관찰자가 예상되는 작은 각도를 통해 선택적으로 투영하는 단계를 포함한다. 본 발명의 일부 실시예들에 따르면, 투영은 복수의 이미지 생성 모듈을 이용하여 선택적으로 투영하는 단계를 포함한다. 본 발명의 일부 실시예들에 따르면, 투영은 동일 좌표계를 갖는 상이한 이미지들을 상이한 방향으로 투영하는 단계를 포함한다. 본 발명의 일부 실시예들에 따르면, 투영은 2D 이미지를 투영하는 단계를 포함한다.
본 발명의 일부 실시예에 따르면, 투영은 객체의 표시 각도가 그의 시야각에 따라 변하여 객체 주위를 이동하는 효과와 매칭되도록 객체의 이미지를 투영하는 단계를 포함한다. 본 발명의 일부 실시예에 따르면, 투영은 3D 이미지를 투영하는 단계를 포함한다.
본 발명의 일부 실시예에 따르면, 투영은 홀로그램을 투영하는 단계를 포함한다. 본 발명의 일부 실시예에 따르면, 투영은 이미지의 투영 거리를 조정하는 단계를 포함한다. 본 발명의 일부 실시예에 따르면, 투영은 이미지의 초점 거리를 조정하는 단계를 포함한다.
본 발명의 일부 실시예에 따르면, 투영은 동일 관찰자의 상이한 눈들에 대해 상이한 이미지들을 투영하는 단계를 포함한다. 본 발명의 일부 실시예에 따르면, 투영은 장치 내의 단일 포인트로부터 투영하는 단계를 포함한다. 본 발명의 일부 실시예에 따르면, 투영은 공유 좌표계를 갖는 이미지들을 투영하는 단계를 포함한다. 본 발명의 일부 실시예에 따르면, 투영은 디스플레이 기판에 의해 점유되지 않은 위치에 이미지들을 이미징하는 단계를 포함한다.
본 발명의 일부 실시예들의 일 양태에 따르면, 적어도 180도의 시야각들의 범위를 통해 동시에 관찰 가능한 공중 부양 컴퓨터 생성 홀로그램을 투영하는 홀로그램 디스플레이 장치가 제공된다.
본 발명의 일부 실시예에 따르면, 홀로그램은 적어도 20도만큼 분리된 시점들로부터의 동일 좌표 세트를 공유한다. 본 발명의 일부 실시예에 따르면, 장치는 홀로그램 생성 유닛 및 홀로그램을 투영하기 위한 적어도 하나의 렌즈를 포함한다. 본 발명의 일부 실시예에 따르면, 장치는 적어도 하나의 거리 제어 유닛을 포함한다. 본 발명의 일부 실시예에 따르면, 장치는 적어도 하나의 홀로그램 조준 메커니즘을 포함한다.
본 발명의 일부 실시예들의 일 양태에 따르면, 다수의 관찰자에게 콘텐츠를 표시하는 방법으로서, 콘텐츠의 적어도 일부의 각각이고, 그 자신의 관찰 가능 공간으로부터 각각 관찰 가능한 다수의 입체 이미지를 형성하는 단계; 및 관찰 가능 공간들 중 하나 이상의 일부를 관찰자들 각각의 동공과 오버랩핑하는 단계를 포함하는 방법이 제공된다.
본 발명의 일부 실시예에 따르면, 관찰 가능 공간들은 90도 이상을 커버할 수 있다.
본 발명의 일부 실시예에 따르면, 콘텐츠는 단일 장면이며, 입체 이미지들 각각은 상이한 시점으로부터 관찰 가능한 단일 장면의 일면이다.
본 발명의 일부 실시예에 따르면, 관찰자들은 입체 이미지들 중 하나에 의해 점유되는 공간 주위의 상이한 방위각들에 위치한다. 본 발명의 일부 실시예에 따르면, 상이한 방위각들은 전체 원에 걸친다. 본 발명의 일부 실시예에 따르면, 상이한 방위각들은 원의 적어도 절반에 걸친다.
본 발명의 일부 실시예에 따르면, 관찰자들 중 둘은 서로 적어도 1미터 이격된다.
본 발명의 일부 실시예에 따르면, 관찰자들은 동시에 이미지들을 본다.
본 발명의 일부 실시예에 따르면, 관찰 가능 공간은 일련의 짧은 기간들 동안만 관찰자의 눈과 오버랩되며, 짧은 기간들은 관찰자가 연속적인 뷰를 볼 수 있도록 적절히 이격된다.
본 발명의 일부 실시예들의 일 양태에 따르면, 다수의 관찰자에게 콘텐츠를 표시하기 위한 시스템으로서, 콘텐츠의 적어도 일부의 각각이고, 그 자신의 관찰 가능 공간으로부터 각각 관찰 가능한 입체 이미지들을 생성하기 위한 유닛; 및 관찰 가능 공간들 중 하나 이상의 일부를 관찰자들 각각의 동공과 함께 제어하는 광학 시스템을 포함하는 시스템이 제공된다.
본 발명의 일부 실시예들의 일 양태에 따르면, 청구항 29에 따른 시스템으로서, 광학 시스템이 관찰 가능 공간으로부터 관찰 가능한 입체 이미지에 대한 관찰 가능 공간들 중 적어도 하나의 방위각을 결정하는 방위각 결정 요소를 포함하는 시스템이 제공된다.
본 발명의 일부 실시예들의 일 양태에 따르면, 근축 이미지를 생성하는 이미지 생성 유닛, 및 스테이지를 정의하고 근축 이미지를 스테이지에 이미징하여, 스테이지 상의 이미지가 관찰 가능 공간으로부터 관찰 가능하게 하는 광학 시스템을 포함하고, 광학 시스템은 접안 렌즈 및 미러를 포함하고, 미러는 광을 복수의 상이한 방위각으로 접안 렌즈로 지향시키고, 방위각들 각각은 관찰 가능 공간에 대한 상이한 위치를 결정하고, 방위각들 각각에 대해 스테이지의 위치가 동일한 시스템이 제공된다.
본 발명의 일부 실시예들에 따르면, 적어도 2개의 상이한 방위각에 대해, 2개의 상이한 고도가 제공된다.
본 발명의 일부 실시예들의 일 양태에 따르면, 제1 위치에 동공을 갖고 제2 위치를 관찰하는 관찰자에 의해 관찰될 근축 이미지를 이미징하는 방법으로서, 근축 이미지를 생성하는 단계; 근축 이미지를 관찰자가 관찰하는 위치에 이미징하여, 근축 이미지의 이미지가 가장 넓은 부분과 더 좁은 부분들을 갖는 관찰 가능 공간으로부터 관찰 가능하게 하는 단계; 관찰자의 동공의 위치에 응답하여, 제3 위치를 선택하는 단계; 및 관찰 가능 공간의 가장 넓은 부분을 선택된 제3 위치에 이미징하는 단계를 포함하는 방법이 제공된다.
본 발명의 일부 실시예들의 일 양태에 따르면, 주어진 위치를 바라보는 관찰자에게 장면을 표시하는 방법으로서, 관찰자의 눈의 위치를 추정하는 단계; 장면이 주어진 위치에 주어진 배향으로 존재할 경우에 관찰자가 어느 장면 부분들을 보았을지를 추정하는 단계; 및 추정된 장면 부분들을 포함하는 장면의 일부만의 컴퓨터 생성 홀로그램을 주어진 위치에 이미징하는 단계를 포함하고, 이미징은 관찰자가 홀로그램을 볼 수 있도록 이루어지는 방법이 제공된다.
본 발명의 일부 실시예들에 따르면, 방법은 관찰자의 눈의 위치를 추적하는 단계; 및 관찰자가 이동할 때 관찰자가 주어진 위치에서 홀로그램을 계속 볼 수 있도록 컴퓨터 생성 홀로그램을 이미징하는 단계를 포함한다.
본 발명의 일부 실시예들의 일 양태에 따르면, 컴퓨터 생성 홀로그램(CGH)을 이미징하기 위한 시스템으로서, 공간 광 변조기(SLM)를 포함하는 홀로그램 생성 유닛; 유닛에 의해 생성된 홀로그램을 제1 위치로, SLM의 이미지를 제2 위치에 이미징하도록 구성된 광학 시스템; 및 CGH가 광학 시스템과 SLM의 이미지 사이의 위치에 이미징되도록, SLM의 이미지의 제2 위치로의 이미징을 제어하도록 구성된 제어기를 포함하는 시스템이 제공된다.
본 발명의 일부 실시예들에 따르면, 제어기는 광학 시스템을 제어하여, SLM의 이미지를 원하는 위치에 원하는 배향으로 생성하도록 구성된다.
본 발명의 일부 실시예들에 따르면, 제어기는 원하는 위치 및/또는 배향을 온라인으로 변경하도록 구성된다.
본 발명의 일부 실시예들에 따르면, 시스템은 원하는 위치 및/또는 배향의 지시들의 온라인 수신을 위한 입력을 포함한다.
본 발명의 일부 실시예들에 따르면, 입력은 눈 추적 유닛으로부터 관찰자의 눈의 위치를 나타내는 신호를 수신하기 위한 수신기를 포함하며, 제어기는 광학 시스템을 제어하여, 관찰자의 눈이 원하는 위치를 포함하는 관찰 가능 공간 내에 있도록 SLM의 이미지를 원하는 위치로 투영한다.
본 발명의 일부 실시예들에 따르면, 광학 시스템은 대물 렌즈, 접안 렌즈, 및 원하는 위치와 접안 렌즈 및 대물 렌즈 중 하나 이상 사이의 거리에 응답하여 대물 렌즈와 접안 렌즈 사이의 광학 길이를 조정하도록 제어 가능한 광학 길이 조정 유닛을 포함한다.
본 발명의 일부 실시예들에 따르면, 광학 길이 조정 유닛은 광학 길이를 온라인으로 조정하도록 구성된다.
본 발명의 일부 실시예들에 따르면, 시스템은 대물 렌즈로부터 미러에 도달하는 광을 접안 렌즈의 일부로 반사하는 미러를 포함하고, 미러는 광을 접안 렌즈의 상이한 부분들로 반사하도록 제어될 수 있다.
본 발명의 일부 실시예들에 따르면, 접안 렌즈는 공동체를 포함한다. 본 발명의 일부 실시예들에 따르면, 공동체는 포물선을 포물선과 동일한 평면상에 위치하지 않는 축 주위로 회전시킴으로써 얻어질 수 있는 회전 입체로서 형성된다. 본 발명의 일부 실시예들에 따르면, 공동 원통체는 구의 일부이다.
본 발명의 일부 실시예들에 따르면, 홀로그램 생성 유닛은 접안 렌즈 내에 위치한다.
본 발명의 일부 실시예들에 따르면, 시스템은 접안 렌즈의 중심축 주위를 회전하는 회전 미러를 포함한다.
본 발명의 일부 실시예들에 따르면, 대물 렌즈로부터 회전 미러로 오는 광은 접안 렌즈를 향해 반사된다.
본 발명의 일부 실시예들에 따르면, 광은 대물 렌즈로부터 하나 이상의 광학 요소를 통해 회전 미러에 도달한다.
본 발명의 일부 실시예들에 따르면, 하나 이상의 광학 요소는 대물 렌즈와 접안 렌즈 사이의 광학 길이를 조정하도록 제어 가능한 광학 길이 조정 요소를 포함한다.
본 발명의 일부 실시예들의 일 양태에 따르면, 적어도 90도의 호 각도를 커버하는 내부 반사벽을 갖는 접안 렌즈, 및 공동 내에 위치하는 이미지 생성 유닛을 포함하는 이미징 시스템이 제공되며, 접안 렌즈는 이미지 생성 유닛으로부터의 이미지를 하나 이상의 관찰자에게 투영하도록 구성된다.
본 발명의 일부 실시예들에 따르면, 이미지 생성 유닛은 이미지를 각도들의 범위에 걸쳐 투영하도록 이동하는 적어도 하나의 요소를 포함한다.
본 발명의 일부 실시예들에 따르면, 시스템은 관찰자가 벽에 의해 둘러싸이도록 구성된다.
본 발명의 일부 실시예들에 따르면, 접안 렌즈는 속이 비어서 공동을 정의하며, 이미지 생성 유닛은 공동 내에 위치하는 홀로그램 생성 유닛을 포함하고, 홀로그램 생성 유닛에 의해 생성된 홀로그램으로부터 내벽으로 진행하는 광 경로 상에 대물 렌즈를 포함한다.
본 발명의 일부 실시예들에 따르면, 시스템은 대물 렌즈와 각각 관련된 복수의 홀로그램 생성 유닛을 포함한다.
본 발명의 일부 실시예들에 따르면, 시스템은 접안 렌즈를 이용하여, 단일 위치에 컴퓨터 생성 유닛들 중 상이한 유닛들에 의해 생성된 홀로그램들의 이미지들을 생성하도록 구성된다.
본 발명의 일부 실시예들에 따르면, 단일 위치는 접안 렌즈 내이다. 본 발명의 일부 실시예들에 따르면, 공동 접안 렌즈는 내부 반사면을 갖는다.
본 발명의 일부 실시예들에 따르면, 내면의 형상은 제1 평면상에 위치하는 곡선을 제1 평면과 다른 제2 평면상에 위치하는 회전축 주위로 회전시킴으로써 얻어질 수 있다.
본 발명의 일부 실시예들에 따르면, 회전축은 제1 평면에 수직이다.
본 발명의 일부 실시예들에 따르면, 내면은 구형 셀의 일부로서 형성된다.
본 발명의 일부 실시예들에 따르면, 복수의 홀로그램 생성 유닛의 각각은 공간 광 변조기(SLM)를 포함하며, 복수의 유닛 셀의 각각은 SLM과 SLM에 의해 생성되는 홀로그램 사이에 초점을 갖도록 배치되는 광 수렴 대물 렌즈를 포함한다.
본 발명의 일부 실시예들에 따르면, 복수의 유닛 셀의 각각은 대물 렌즈, 및 대물 렌즈와 접안 렌즈 사이의 광학 길이를 결정하도록 구성되는 광학 길이 결정 요소를 구비한다.
본 발명의 일부 실시예들에 따르면, 광학 길이 결정 요소들의 각각은 나머지 광학 길이 결정 요소들과 무관하게 제어될 수 있다.
본 발명의 일부 실시예들에 따르면, 시스템은 복수의 유닛 셀로부터 광을 수신하고 광을 접안 렌즈 상으로 반사하도록 구성되는, 접안 렌즈 중심의 회전 미러를 포함한다.
본 발명의 일부 실시예들에 따르면, 제어기는 광학 시스템을 제어한다. 본 발명의 일부 실시예들에 따르면, 제어기는 홀로그램 생성 유닛을 제어한다.
본 발명의 일부 실시예들의 일 양태에 따르면, 공중 부양 사용자 인터페이스를 구현하기 위한 방법으로서, 제1 공중 부양 디스플레이의 표시 공간에 제1 이미지를 표시하는 단계; 실제 객체를 제1 공중 부양 디스플레이의 표시 공간에 삽입하는 단계; 제1 공중 부양 디스플레이의 표시 공간 내의 실제 객체의 위치를 결정하는 단계; 표시 공간에 실제 객체를 배치하는 단계; 및 위치를 공중 부양 사용자 인터페이스에 입력으로서 제공하는 단계를 포함하는 방법이 제공된다.
본 발명의 일부 실시예들에 따르면, 방법은 위치에 적어도 부분적으로 기초하여 제1 공중 부양 디스플레이의 표시 공간에 제2 이미지를 표시하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 공중 부양 디스플레이는 입체 디스플레이이다.
본 발명의 일부 실시예들에 따르면, 제2 이미지는 실체 객체를 표시 공간에 삽입한 후에 거의 실시간으로 표시된다. 본 발명의 일부 실시예들에 따르면, 시간은 1/24초보다 적다.
본 발명의 일부 실시예들에 따르면, 제1 이미지는 공백 이미지이고, 제2 이미지는 위치의 표시를 포함한다.
본 발명의 일부 실시예들에 따르면, 실제 객체는 손가락이다.
본 발명의 일부 실시예들에 따르면, 방법은 제1 이미지 내에 액추에이터를 표시하는 단계; 실제 객체의 위치를 액추에이터에 실질적으로 가까이 이동시키는 단계; 및 위치 입력을 액추에이터를 구동하는 실제 객체로서 해석하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 방법은 실제 객체의 위치를 이동시키는 단계; 시간 경과에 따른 실제 객체의 위치를 추적하는 단계; 위치 입력을 제1 이미지의 적어도 일부를 조작하는 실제 객체로서 해석하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 방법은 해석에 적어도 부분적으로 기초하여 제어 명령들을 로봇 장치로 전송하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 실제 객체는 복수의 실제 객체를 더 포함하고, 방법은 실제 객체들 각각의 위치들을 입체 사용자 인터페이스에 대한 위치 입력들로서 사용하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 제2 이미지는 제1 이미지와 다르다.
본 발명의 일부 실시예들에 따르면, 제2 이미지는 제1 이미지 + 첨부된 위치 입력의 지시자와 실질적으로 동일하다.
본 발명의 일부 실시예들에 따르면, 위치는 실질적으로 실제 객체 상의 포인트의 위치를 포함한다.
본 발명의 일부 실시예들에 따르면, 방법은 위치에 적어도 부분적으로 기초하여 서브이미지를 캡처하는 단계를 더 포함한다. 본 발명의 일부 실시예들에 따르면, 서브이미지는 복셀을 포함한다.
본 발명의 일부 실시예들에 따르면, 위치는 실제 객체 상의 포인트의 복수의 위치에 적어도 부분적으로 기초하는 복수의 위치를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 복수의 위치를 연결하는 경로가 제1 공중 부양 디스플레이에 의해 표시된다.
본 발명의 일부 실시예들에 따르면, 복수의 위치는 2개의 위치를 포함하고, 방법은 2개의 위치에 적어도 부분적으로 기초하여 삼차원에서 선을 정의하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 복수의 위치는 직선 내에 있지 않은 3개의 위치를 포함하며, 방법은 3개의 위치에 적어도 부분적으로 기초하여 삼차원에서 평면을 정의하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 복수의 위치는 평면 내에 있지 않은 4개의 위치를 포함하며, 방법은 4개의 위치에 적어도 부분적으로 기초하여 삼차원에서 입체를 정의하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 방법은 복수의 위치에 적어도 부분적으로 기초하여, 기능들의 그룹, 즉 제1 이미지의 줌인, 제1 이미지의 줌아웃, 제1 이미지의 절단, 제1 이미지의 회전, 제1 이미지의 슬라이싱, 제1 이미지 내의 길이의 측정, 제1 이미지 내의 면적의 측정 및 제1 이미지 내의 체적의 측정 중 하나의 기능을 구현하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 방법은 복수의 위치에 적어도 부분적으로 기초하여 서브이미지 캡처를 구현하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 방법은 포인트에 마킹하여 실제 객체의 나머지와 실질적으로 대비시키는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 방법은 마킹이 실질적으로 소형인 광원에 의한 마킹인 것을 더 포함한다.
본 발명의 일부 실시예들에 따르면, 위치는 실제 객체의 장축에 의해 정의된 선을 포함한다.
본 발명의 일부 실시예들에 따르면, 위치는 실제 객체의 형상에 대응하는 프레임을 포함한다.
본 발명의 일부 실시예들에 따르면, 방법은 제1 공중 부양 디스플레이가 제1 이미지를 표시하는 것과 실질적으로 동시에 제1 공중 부양 디스플레이가 제2 이미지를 표시하는 단계를 더 포함하며, 제1 이미지는 제1 사용자에게 표시되고, 제2 이미지는 제2 사용자에게 표시된다.
본 발명의 일부 실시예들에 따르면, 제1 이미지 및 제2 이미지는 공간 내의 동일 위치에 있는 것으로 보인다.
본 발명의 일부 실시예들에 따르면, 방법은 제1 공중 부양 디스플레이가 제1 이미지를 표시하는 것과 실질적으로 동시에 제2 공중 부양 디스플레이가 제2 이미지를 표시하는 단계를 더 포함하고, 제1 이미지는 제1 사용자에게 표시되고, 제2 이미지는 제2 사용자에게 표시된다.
본 발명의 일부 실시예들에 따르면, 제1 공중 부양 디스플레이는 제2 공중 부양 디스플레이로부터 실질적으로 이격되며, 방법은 제1 공중 부양 디스플레이와 제2 공중 부양 디스플레이 사이의 통신 채널을 더 포함한다.
본 발명의 일부 실시예들에 따르면, 제1 디스플레이 및 제2 디스플레이는 제1 사용자와 제2 사용자 사이의 원격 의료 상호작용을 구현하는 데 사용된다.
본 발명의 일부 실시예들에 따르면, 제1 디스플레이 및 제2 디스플레이는 제1 디스플레이와 제2 디스플레이 사이의 화이트보드형 협력 공유를 구현하는 데 사용된다.
본 발명의 일부 실시예들에 따르면, 제1 디스플레이 및 제2 디스플레이는 제1 공중 부양 디스플레이에서의 사용자에 의한 원격 수업을 구현하는 데 사용된다.
본 발명의 일부 실시예들에 따르면, 제1 디스플레이 및 제2 디스플레이는 제1 사용자 및 제2 사용자가 참여하는 게임을 구현하는 데 사용된다.
본 발명의 일부 실시예들에 따르면, 제1 디스플레이는 제2 디스플레이와 다르다. 본 발명의 일부 실시예들에 따르면, 제1 디스플레이는 제2 디스플레이보다 많은 콘텐츠를 표시한다.
본 발명의 일부 실시예들의 일 양태에 따르면, 동적으로 생성된 공중 부양 표시 객체 및 실제 객체를 동일 표시 공간에서 관찰하는 것을 가능하게 하는 방법으로서, 입체적으로 표시된 객체를 제1 공중 부양 디스플레이 상에 표시하는 단계; 및 실제 객체를 제1 공중 부양 디스플레이의 표시 공간에 삽입하는 단계를 포함하는 방법이 제공된다.
본 발명의 일부 실시예들에 따르면, 공중 부양 디스플레이는 입체 디스플레이이다.
본 발명의 일부 실시예들에 따르면, 동적 생성은 컴퓨터 생성을 포함한다.
본 발명의 일부 실시예들에 따르면, 방법은 실제 객체를 공중 부양 표시 객체의 적어도 일부와 비교하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 실제 객체는 객체들을 측정하는 표준을 포함하고, 비교는 표준에 대한 적합성의 판정을 가능하게 한다.
본 발명의 일부 실시예들에 따르면, 실제 객체는 몸체에 삽입하기 위한 의료 장치이고, 공중 부양 표시된 객체의 적어도 일부는 삼차원 데이터 세트에 의해 생성된 몸체의 적어도 일부이다.
본 발명의 일부 실시예들에 따르면, 비교는 실제 객체와 공중 부양 표시된 객체의 적어도 일부 사이의 크기 차이를 측정하는 단계를 더 포함한다.
본 발명의 일부 실시예들에 따르면, 크기 차이의 측정은 길이 차이, 평면 면적 차이, 표면적 차이 및 부피 차이로 구성되는 그룹 중 적어도 하나를 포함한다.
본 발명의 일부 실시예들의 일 양태에 따르면, 몸체의 삼차원 데이터 세트로부터의 공중 부양 표시 몸체 부분 및 하나 이상의 가상 객체의 삼차원 데이터 세트로부터의 입체 표시 가상 객체의 관찰을 가능하게 하기 위한 방법으로서, 제1 공중 부양 디스플레이 상에 공중 부양 표시 몸체 부분을 표시하는 단계, 및 제1 공중 부양 디스플레이의 표시 공간 내에 가상 객체를 오버레이하는 단계를 포함하는 방법이 제공된다.
본 발명의 일부 실시예들에 따르면, 가상 객체 및 공중 부양 표시 몸체 부분은 제1 공중 부양 디스플레이의 표시 공간 내에서 서로에 대해 이동한다.
본 발명의 일부 실시예들에 따르면, 방법은 가상 객체를 몸체 부분의 적어도 일부와 비교하는 단계를 더 포함한다.
본 발명의 일부 실시예들의 일 양태에 따르면, 제1 공중 부양 디스플레이, 및 제1 공중 부양 디스플레이에 의해 객체들이 표시되는 입체인 제1 표시 공간 내의 제1 위치로부터 입력을 수신하도록 적응되는 제1 입력 유닛을 포함하는 사용자 인터페이스가 제공된다.
본 발명의 일부 실시예들에 따르면, 공중 부양 디스플레이는 입체 디스플레이이다. 본 발명의 일부 실시예들에 따르면, 공중 부양 디스플레이는 이차원 공중 부양 디스플레이이다.
본 발명의 일부 실시예들에 따르면, 제1 공중 부양 디스플레이는 제1 위치를 표시하도록 적응된다.
본 발명의 일부 실시예들에 따르면, 사용자 인터페이스는 제2 공중 부양 디스플레이를 더 포함하고, 제2 공중 부양 디스플레이는 제1 위치의 표시를 포함하는, 제1 공중 부양 디스플레이와 동일한 표시를 표시한다.
본 발명의 일부 실시예들에 따르면, 사용자 인터페이스는 제2 표시 공간 내의 제2 위치로부터 입력을 수신하도록 적응되는 제2 입력 유닛을 더 포함하며, 제2 표시 공간은 제2 공중 부양 디스플레이에 의해 표시된 객체들이 나타내는 입체이고, 제1 공중 부양 디스플레이는 제2 위치의 표시를 포함하는 제2 공중 부양 디스플레이와 동일한 표시를 표시하도록 적응된다.
본 발명의 일부 실시예들에 따르면, 제1 위치로부터의 입력 및 제2 위치로부터의 입력 모두가 표시된다.
본 발명의 일부 실시예들에 따르면, 제1 공중 부양 디스플레이는 제2 공중 부양 디스플레이와 다른 공간에 위치한다. 본 발명의 일부 실시예들에 따르면, 제1 공중 부양 디스플레이는 제2 공중 부양 디스플레이로부터 적어도 100미터 이격된다.
본 발명의 일부 실시예들에 따르면, 제1 공중 부양 입체 디스플레이는 위치 및 이 위치에 무엇이 표시되는지에 적어도 부분적으로 기초하여 감각 피드백을 제공하도록 적응된다.
본 발명의 일부 실시예들에 따르면, 제1 공중 부양 입체 디스플레이는 홀로그램을 표시하도록 적응된다.
본 발명의 일부 실시예들의 일 양태에 따르면, 공중 부양 사용자 인터페이스를 구현하기 위한 방법으로서, 제1 공중 부양 디스플레이의 표시 공간에 제1 이미지를 표시하는 단계; 표시 공간에 실제 객체를 삽입하는 단계; 표시 공간 내의 실제 객체의 위치를 검출하는 단계; 위치를 사용자 인터페이스에 대한 입력으로 사용하는 단계; 및 표시 공간 내의 위치를 강조하는 단계를 포함하는 방법이 제공된다.
본 발명의 일부 실시예들에 따르면, 공중 부양 디스플레이를 표시하기 위한 수단, 및 공중 부양 디스플레이에 의해 표시된 객체들이 나타나는 입체인 표시 공간 내의 위치로부터 입력을 수신하기 위한 수단을 포함하는 사용자 인터페이스가 제공된다.
달리 정의되지 않는 한, 본 명세서에서 사용되는 모든 기술 및/또는 과학 용어들은 본 발명이 속하는 기술 분야의 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 본 명세서에 설명되는 것들과 유사하거나 동일한 방법들 및 재료들이 본 발명의 실시예들의 실시 또는 테스트에 이용될 수 있지만, 예시적인 방법들 및/또는 재료들이 아래에 설명된다. 충돌이 발생하는 경우, 정의들을 포함하는 특허 명세서가 제어할 것이다. 또한, 재료들, 방법들 및 예들은 단지 예시적이며, 반드시 제한하려는 의도는 아니다.
본 명세서에 설명되는 것들과 유사하거나 동일한 방법들 및 재료들이 본 발명의 실시예들의 실시 또는 테스트에 이용될 수 있지만, 예시적인 방법들 및/또는 재료들이 아래에 설명된다. 또한, 재료들, 방법들 및 예들은 단지 예시적이며, 반드시 제한하려는 의도는 아니다.
본 발명의 실시예들의 방법 및/또는 시스템의 구현은 선택된 작업들을 수동으로, 자동으로 또는 이들의 조합으로 수행하거나 완료하는 것을 포함할 수 있다. 더욱이, 본 발명의 방법 및/또는 시스템의 실시예들의 실제 기구 및 장비에 따르면, 여러 선택된 작업은 하드웨어에 의해, 소프트웨어에 의해 또는 펌웨어에 의해 또는 운영 체제를 이용하는 이들의 조합에 의해 구현될 수 있다.
예를 들어, 본 발명의 실시예들에 따른 선택된 작업들을 수행하기 위한 하드웨어는 칩 또는 회로로서 구현될 수 있다. 소프트웨어로서, 본 발명의 실시예들에 따른 선택된 작업들은 임의의 적절한 운영 체제를 이용하는 컴퓨터에 의해 실행되는 복수의 소프트웨어 명령어로서 구현될 수 있다. 본 발명의 예시적인 실시예에서, 여기에 설명되는 바와 같은 방법 및/또는 시스템의 예시적인 실시예들에 따른 하나 이상의 작업은 복수의 명령어를 실행하기 위한 컴퓨팅 플랫폼과 같은 데이터 프로세서에 의해 수행된다. 선택적으로, 데이터 프로세서는 명령어들 및/또는 데이터를 저장하기 위한 휘발성 메모리 및/또는 명령어들 및/또는 데이터를 저장하기 위한 비휘발성 메모리, 예컨대 자기 하드 디스크 및/또는 이동식 매체들을 포함한다. 선택적으로, 네트워크 접속도 제공된다. 디스플레이 및/또는 키보드 또는 마우스와 같은 사용자 입력 장치도 선택적으로 제공된다.
본 명세서에는 본 발명의 일부 실시예들이 첨부 도면들을 참조하여 단지 예시적으로 설명된다. 이제, 상세한 도면들을 구체적으로 참고할 때, 예시적으로 그리고 본 발명의 실시예들의 예시적인 설명의 목적으로 상세들이 도시된다는 점을 강조한다. 이와 관련하여, 도면들과 관련하여 이루어지는 설명은 본 발명의 실시예들이 어떻게 실시될 수 있는지를 이 분야의 기술자들에게 명확하게 한다. 도면에서:
도 1a는 홀로그램들을 생성하기 위한 유닛의 개략도.
도 1b는 홀로그램 내의 일부 포인트들의 관찰 가능 공간의 개략도.
도 2a는 본 발명의 일 실시예에 따른 홀로그램을 이미징하기 위한 시스템의 개략도.
도 2b는 도 2a의 시스템에 의해 생성된 이미지 홀로그램 내의 일부 포인트들의 관찰 가능 공간의 개략도.
도 3a는 본 발명의 일 실시예에 따른 투영 시스템에 의한 이미지 홀로그램 생성을 설명하는 광선 추적도.
도 3b는 도 3a에서 참조되는 동일 투영 시스템에 의한 이미지 SLM 생성을 설명하는 광선 추적도.
도 4는 본 발명의 일 실시예에 따른 원하는 위치들로의 SLM 및 홀로그램의 투영들의 튜닝을 허용하도록 설계된 광학 시스템의 개략도.
도 5는 본 발명의 일 실시예에 따른, 홀로그램이 넓은 관찰 가능 공간을 갖도록 홀로그램을 투영하는 데 유용한 시스템의 개략도.
도 6a는 본 발명의 일 실시예에 따른 360도 워크 어라운드(walk-around) 이미지 투영 시스템의 도면.
도 6b는 도 6a의 도시된 시스템의 개략도.
도 6c는 본 발명의 일 실시예에 따른 경사 미러를 갖는 360도 워크 어라운드 이미지 투영 시스템의 도면.
도 7은 본 발명의 일 실시예에 따른, 공통 접안 렌즈(320) 및 공통 회전 미러를 갖는 2개의 광학 시스템을 구비하는 투영 시스템의 도면.
도 8은 저역 통과 필터로서 동작 가능한 미러의 개략도.
도 9는 본 발명의 일 실시예에 따른 추적 유닛의 개략도.
도 10은 본 발명의 일 실시예에 따른 시스템의 간소화된 블록도.
도 11은 본 발명의 일 실시예에 따른 방법을 수행할 때 취해지는 액션들의 흐름도.
도 12는 본 발명의 일 실시예에 따른, 주어진 각도로부터 홀로그램을 보는 관찰자에 의해 관찰되는 홀로그램을 생성하는 방법에서 취해지는 액션들의 흐름도.
도 13a는 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스에 의해 표시되는 객체에 손가락을 터치하는 것으로 보이는 사용자의 간단한 도면.
도 13b는 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스에 의해 표시되는 객체에 포인터를 터치하는 것으로 보이는 사용자의 간단한 도면.
도 13c는 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스의 표시 공간에 프레임을 삽입하는 사용자의 간단한 도면.
도 14는 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스에 의해 표시되는 동일 객체와 상호작용하는 두 명의 사용자의 간단한 도면.
도 15는 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스에 의해 표시되는 동일 객체와 상호작용하는 두 명의 사용자의 간단한 도면.
도 16은 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스에 의해 표시되는 객체와 실제 객체를 비교하는 사용자의 간단한 도면.
개 요
본 발명은 그 일부 실시예들에서 이미지들을 표시하기 위한 방법들 및 장치들과 관련되며, 특히 비배타적으로 넓은 시야각으로부터 삼차원 이미지들의 관찰을 허용하는 방법들 및 장치들에 관한 것이다. 본 발명의 일부 실시예들은 또한 넓은 시야각으로부터의 이차원 이미지들의 관찰을 허용한다.
본 발명은 그의 일부 실시예들에서 컴퓨터 생성 사용자 인터페이스와 관련되며, 특히 비배타적으로 공중 부양 사용자 인터페이스에 관련된다.
일부 실시예들에서, 관찰자는 스테이지 주위를 돌 수 있고, 스테이지 상에 투영된 장면의 상이한 면들을 관찰할 수 있으며, 각각의 면은 실제의 본래의 장면을 볼 때와 같이 다른 시야각으로부터 관찰 가능하다. 예를 들어, 지구의 홀로그램 주위를 돌고 있는 관찰자는 한 포인트에서 홀로그램을 볼 때 유럽을 볼 수 있고, 다른 포인트에서 홀로그램을 볼 때 아메리카를 관찰할 수 있으며, 기타 등등이다. 일부 실시예들에서, 상이한 관찰자들은 아마도 동일 좌표들에 정렬된 상이한 데이터를 본다.
추가로 또는 대안으로, 관찰자는 앞뒤로 이동하여, 스테이지에 더 가까워지거나 스테이지로부터 더 멀어질 수 있으며, 따라서 실제 객체를 보고 그에 대한 거리를 변경할 때 필요한 초점 조정과 유사하게 이미지로부터의 거리에 눈을 맞출 수 있다. 본 발명의 예시적인 실시예에서, 디스플레이 장치는 필요에 따라, 예를 들어 관찰자 거리에 따라, 예를 들어 1.2, 2, 3, 4, 또는 중간 또는 더 큰 계수들의 계수 범위에 걸쳐 투영 거리를 조정하여, 투영 포인트 거리를 5 cm, 10 cm, 20 cm, 30 cm 또는 중간 양들 이상만큼 이동시킬 수 있다.
선택적으로, 관찰자는 자유롭게 이동할 수 있으며, 시스템 관찰 구역 내에서 스테이지를 보고 있는 한, 어느 곳에서나 홀로그램을 볼 수 있다.
선택적으로, 스테이지는 물리적 구조물이다. 대안으로서, 스테이지는 홀로그램이 투영되고 관찰자가 바라보는 공간 내의 가상 입체이다. 가상 스테이지 상의 홀로그램은 공중에 떠 있는 것처럼 보인다.
일부 실시예들에서, 관찰자는 홀로그램을 터치할 수 있다. 그러한 관찰자는 그의 손가락이 무언가를 터치하고 있음을 반드시 느낄 필요는 없으며, 그의 손가락이 홀로그램을 터치하는 것을 볼 것이다. 선택적으로, 예를 들어 인공 현실 분야에 공지된 바와 같이, 사용자가 진동 반지 또는 장갑을 착용함으로써 또는 시스템 또는 상이한 위치로부터 광 빔을 손가락에 투사하여 손가락이 가열되고 그 열을 느끼게 함으로써 관찰자에게 인공 터치 느낌을 유발한다. 선택적으로 또는 대안으로서, 사운드 빔, 예컨대 초음파가 투사 및/또는 변조되어 감각을 유발한다.
선택적으로, 홀로그램의 관찰 가능 공간 내에 있는 관찰자들만이 홀로그램을 실제로 볼 수 있다. 홀로그램의 관찰 가능 공간 내에 없지만, 스테이지를 보고 있는 다른 관찰자들은 관찰자의 손가락을 보지만, 관찰자가 터치하고 있는 홀로그램은 보지 못할 것이다. 선택적으로, 복수의 관찰자 각각의 시야각으로부터 관찰 가능한 바와 같은 동일 장면의 홀로그램이 관찰자들 각각에게 표시되며, 관찰자들 중 하나가 홀로그램을 터치할 때, 모든 다른 관찰자들은 홀로그램을 터치하는 제1 관찰자의 손가락을 본다. 선택적으로, 모든 관찰자들은 통일 홀로그램(또는 다른 이미지 타입)을 본다. 대안으로서, 상이한 관찰자들은 상이한 이미지들, 예컨대 상이한 데이터를 갖는 동일 구조를 본다.
선택적으로, 홀로그램을 터치하는 손가락을 보는 모든 관찰자들은 동일 장소에서 홀로그램을 터치하는 손가락을 본다(예컨대, 홀로그램은 인형의 홀로그램이고, 모든 관찰자들은 인형의 좌측 눈꺼풀을 터치하는 손가락을 본다).
일부 실시예들에서, 관찰자는 홀로그램 주위를 돌 수 있으며, 물리적 객체 주위를 돌고 있는 것처럼 모든 측면에서 홀로그램을 볼 수 있다. 그러한 일부 실시예들에서, 관찰자의 눈이 제1 관찰 포트홀로 지칭되는 소정 공간 내에 있는 동안, 제1 홀로그램이 스테이지에 이미징되어, 제1 관찰 포트홀 내의 포인트들로부터 보여지는 바와 같은 장면이 나타난다. 제1 홀로그램의 이미지의 홀로그래픽 성질로 인해, 관찰 포트홀 내에서 자신의 눈들을 움직이는 관찰자는 관찰 포트홀 내의 상이한 포인트들로부터 장면의 상이한 특정들을 감지할 수 있다. 선택적으로, 관찰자의 눈이 제1 포트홀 밖에 있을 때, 관찰자의 눈을 커버하는 제2 포트홀이 정의되며, 장면의 제2 홀로그램이 스테이지로 투영되어, 제2 포트홀 내의 포인트들로부터 보여지는 바와 같은 장면이 나타난다. 일부 실시예들에서는, 모든 가능한 포트홀로부터 보여지는 바와 같은 장면의 홀로그램이 연속 투영되지만, 이러한 실시예들은 훨씬 더 어려운 계산 작업을 필요로 하며, 관찰자의 관찰 경험을 반드시 향상시키는 것은 아니다. 더 계산 효율적인 일부 실시예들에서는, 관찰자의 눈(또는 양쪽 눈)의 위치가 추정되고, 그 주위에 포트홀이 정의되며, 추정된 포트홀 내로부터 관찰 가능한 장면의 일부의 홀로그램만이 스테이지로 투영된다.
일부 실시예들에서, 관찰자는 이미지를 조작할 수 있다. 예를 들어, 관찰자는 이미지를 이동, 회전, 스케일링 또는 조작할 수 있다. 일부 실시예들에서, 관찰자는 스테이지 주위를 이동하는 대신에 또는 그에 더하여 스테이지를 이동시킬 수 있다. 추가로 또는 대안으로서, 관찰자는 스테이지 상에 도시된 장면의 일부를 변경할 수 있다. 예컨대, 지구의 홀로그램을 보는 관찰자는 2개의 극을 통과하는 축 주위로 또는 임의의 다른 축 주위로 지구를 회전시킬 수 있다. 추가로 또는 대안으로, 관찰자는 홀로그램 및/또는 스테이지를 병진시키고, 이미지의 줌인, 줌 아웃 등을 행할 수 있다. 일부 실시예들에서, 줌 인은 해상도 손실을 수반하지 않는데, 그 이유는 관찰되는 더 작은 부분의 더 큰 홀로그램이 관찰자가 줌 인하기 전에 더 큰 부분이 이미징되는 것과 동일한 해상도로 이미징되기 때문이다.
본 발명의 일부 실시예들에서는, 상이한 관찰 포트홀들로부터 관찰 가능한 바와 같은 장면의 홀로그램들이 동시에 투영되며, 따라서 상이한 관찰 포트홀들로부터 스테이지를 보는 상이한 관찰자들은 각각 그 자신의 시점으로부터 장면의 홀로그램들을 동시에 볼 수 있다. 선택적으로, 관찰자들 각각은 다른 관찰자들과 무관하게 스테이지 주위를 이동할 수 있다. 선택적으로, 각각의 관찰자는 예를 들어 그의 얼굴의 이미지에 기초하여, 마커(예컨대, 얼굴 위의 적외선 판독 가능 마커)에 기초하여 그리고/또는 RFID와 같은 다른 식별 기술에 기초하여 식별된다. 선택적으로, 각각의 사용자는 관찰자에 대해 개인화된 데이터 및/또는 관찰 파라미터들을 보며, 예를 들어 거리 또는 크기는 사용자의 시력 예민성 및 적응 능력 및 사용자 선호에 따른 데이터 콘텐츠(예컨대, 객체의 외부 모습 또는 객체의 내부 모습)에 대해 설정될 수 있다.
일부 실시예들에서, 상이한 관찰 포트홀로부터 각각 관찰 가능한 상이한 홀로그램들이 충분히 높은 주파수로 단일 스테이지로 순차적으로 투영되어, 관찰 포트홀들 중 하나를 통해 각각 관찰하는 관찰자들이 각각 상이하고 연속적인 이미지 홀로그램을 볼 수 있게 한다. 이러한 방식으로, 상이한 관찰자들은 동시에 그리고 연속적으로 상이한 홀로그램들 또는 일부 실시예들에서는 상이한 홀로그래픽 영화들을 볼 수 있거나, 일부 실시예들에서 상이한 관찰자들은 단일 디스플레이 상에서 동시에 그리고 연속적으로 상이한 2D 콘텐츠, 예를 들어 비디오 또는 TV를 또는 선택적으로 공유 좌표계를 갖는 상이한 (비 홀로그램, 초점 길이 제어 또는 홀로그램) 3D 콘텐츠를 볼 수 있다.
본 발명의 일부 실시예들의 일 양태는 근축 이미지들, 예컨대 홀로그램들 또는 근축 시차 장벽 이미지들을 표시하는 방법에 관한 것이다.
근축 이미지 또는 객체는, 각각의 포인트가 통상적으로 약 3도의 작은 입체각을 갖는 원뿔에 걸치는 광선들을 방출하고, 그러한 원뿔들의 높이들이 서로 대략 평행한(또는 예를 들어 관찰자의 눈들의 수직선으로부터의 회전과 매칭되는) 이미지 또는 객체이다. 일반적으로, 근축 객체 또는 이미지 전체는 그러한 원뿔들 모두와 오버랩되는 동공을 가진 관찰자에 의해서만 관찰될 수 있다. 동공이 원뿔들의 일부와만 오버랩되는 경우, 근축 이미지 또는 객체 상의 포인트들 중 일부, 즉 오버랩되는 원뿔들이 시작되는 포인트들만이 관찰된다. 따라서, 근축 이미지들 또는 객체들은 본 명세서에서 관찰 가능 공간으로서 지칭되는 비교적 좁은 공간으로부터 관찰 가능하다.
아래의 설명에서는, 반근축 이미지(semi-paraxial image)가 종종 참조된다. 이 용어는, 각각의 포인트가 작은 입체각을 갖는 원뿔에 걸치는 광선들을 방출하지만, 그러한 원뿔들의 축들이 서로 평행하지 않은 이미지를 지칭한다. 본 발명의 일부 실시예들에서, 원뿔들은 관찰 가능 공간에, 따라서 전체 이미지가 관찰될 수 있는 관찰 가능 공간에 수렴된다.
본 발명의 일부 실시예들에서, 홀로그램은 장면에 의해 생성된 광 필드의 재생이다. 이러한 실시예들에서는, 장면의 홀로그램이 장면 자체와 동일한 사람 관찰자로 보인다. 선택적으로, 재생된 광 필드는 장면에 의해 재생된 것과 동일하다. 선택적으로, 본래의 광 필드와 홀로그램에 의해 재생된 것 사이의 유사성은 필드의 위상 및 강도 내이며, 단색 홀로그램을 형성한다. 대안으로서, 방출되는 광의 파장도 재생되어, 컬러 홀로그램을 형성한다.
일부 실시예들에서, 홀로그램은 장면의 푸리에 변환의 재생이다. 그러한 홀로그램이 렌즈를 통해 관찰될 때, 장면은 렌즈의 푸리에 평면에 나타난다.
일부 실시예들에서, 홀로그램은 공간 광 변조기(SLM)와 상호작용하는 광 빔에 의해 형성된다. 공간 광 변조기는 상이한 포인트들에서 상이한 광학 거동을 갖는 매체이다. SLM이라는 용어는 본 명세서에서 슬롯화된 필름과 같이 상이한 포인트들에서 상이한 광학 거동을 갖는 정적 매체 및 제어 가능한 광학 거동을 갖는 상이한 포인트들을 구비하는 동적 매체 양자를 지시하는 데 사용된다. 후자 유형의 SLM들은 홀로그램들의 컴퓨터 생성의 분야에서 일상적으로 사용된다. 공간 광 변조기(SLM)는 SLM과 상호작용하는(예를 들어, SLM으로부터 반사되거나 SLM을 통과하는) 광 빔이 장면의 홀로그래픽 재구성을 생성하도록 설계되거나 제어된다. 장면들에 대한 SLM들을 생성하는 다양한 방법들이 홀로그래피 분야에 공지되어 있으며, 이들 각각은 본 발명의 다양한 실시예들에 따라 투영되거나 이미징될 홀로그램을 생성하는 데 사용될 수 있다. 비홀로그래픽 이미지가 표시될 때는, 위상을 변경하지 않는 SLM(예를 들어, DMD 또는 LCD)이 사용될 수 있다는 점에 유의한다. 선택적으로 또는 대안으로서, 비코히런트 광원이 사용될 수 있다.
아래에서는, 컴퓨터 제어형 SLM들을 주로 참조하지만, 일부 실시예들에서는 다른 SLM들, 예를 들어 정적 홀로그램을 형성하도록 슬롯화된 플레이트들 또는 필름들도 사용될 수 있다.
컴퓨터 제어형 SLM은 복수의 픽셀(예컨대, 500 X 500 픽셀)로 구성되며, SLM의 각각의 픽셀의 광학 거동은 컴퓨터에 의해 다른 픽셀들과 무관하게 제어될 수 있다. 이러한 SLM들은 현재 다양한 소스로부터, 예컨대 런던의 Fourth Dimension Displays로부터 상업적으로 입수 가능하다. 상업적으로 입수 가능한 일부 SLM들은 투과형이고, 즉 광이 객체 홀로그램을 생성하기 위해 그들을 통과해야 하며, 일부는 반사형이며, 즉 광이 객체 홀로그램을 형성하기 위해 그들로부터 반사되어야 한다. 반사형 SLM의 한 종류는 이 분야에 LCoS로서 알려져 있다.
일부 실시예들은 정지 장면들의 처리로 한정된다. 일부 실시예들에서, 장면은 비디오 동화상에서와 같이 시간이 지남에 따라 변한다. 이러한 실시예들에서, 홀로그램은 선택적으로 연속 모션의 감지를 제공하는 데 적합한 레이트로 변한다. 시네마 분야로부터 공지된 바와 같이, 이러한 레이트는 초당 약 16 또는 24개의 뷰 또는 그 이상이다.
본 발명의 일부 실시예들에서, 홀로그램들은 근축 홀로그램들이다. 즉, 홀로그램 내의 각각의 포인트는 통상적으로 약 3도의 작은 입체각을 갖는 원뿔에 걸치는 광선들을 방출하며, 이러한 원뿔들의 높이들은 서로 그리고 홀로그램을 생성한 시스템의 광 축에 대략 평행하다. 근축 홀로그램들은 이들에 직접 대면하여 광 축의 방향을 보는 관찰자에 의해서만 관찰될 수 있다. 따라서, 근축 홀로그램들은 물론, 근축 이미지들은 도 1b에 도시된 바와 같이 일반적으로 비교적 좁은 관찰 가능 공간으로부터 관찰 가능하다.
전술한 바와 같이, 본 발명의 일부 실시예들의 일 양태는 홀로그램들의 표시와 관련된다. 본 발명의 일부 실시예들에서, 홀로그램의 표시는 (이하, 객체 홀로그램으로 지칭되는) 홀로그램의 생성 및 (이하, 이미지 홀로그램으로 지칭되는) 생성된 홀로그램의 이미지의 광학적 생성을 포함한다. 본 발명의 적어도 일부 실시예들은 홀로그램들을 포함하지만 이에 반드시 한정되지는 않는 근축 객체들의 표시와 관련된다. 편의를 위해, 이하에서는 주로 홀로그램들이 참조되지만, 달리 명시적으로 언급되지 않는 한, 다른 근축 객체들도 유사하게 취급될 수 있다. 본 발명의 실시예들에서 근축 이미지들 또는 객체들로부터 형성되고 관찰자에 의해 관찰되는 이미지 홀로그램과 같은 이미지들은 선택적으로 반근축 이미지들이다.
본 발명의 일부 실시예들의 일 양태는 디스플레이의 주위의 넓은 각도로부터 관찰될 이미지들의 표시와 관련된다. 일부 실시예들에서, 각도는 180도보다 크며, 예컨대 270도 또는 심지어 360도 또는 중간 각도이다. 선택적으로, 넓은 시야각으로부터 관찰되는 이미지는 홀로그램이다. 디스플레이 주위에 배치된 관찰자들에게 표시되는 이미지들의 예들은 홀로그램들, 자동 입체 이미지들, 입체 이미지들, 초점 제어형 3D 또는 기타 이미지들(예컨대, 광학계를 이용하여 이미지에 대한 지각 초점 거리를 설정하는 이미지들) 및 2D 이미지들을 포함한다.
일부 실시예들에서, 객체 홀로그램의 표시는 객체 홀로그램과 다른 이미지 홀로그램의 생성을 포함한다. 예컨대, 이미지 홀로그램은 객체 홀로그램보다 크고, 그리고/또는 객체 홀로그램보다 넓은 시야각으로부터 관찰될 수 있다.
예시적인 실시예에서, 넓은 시야각으로부터 관찰 가능한 이미지 홀로그램의 생성은 이미지 SLM이 객체 SLM보다 넓도록 단일 광학 시스템을 이용하여 홀로그램 및 SLM을 이미징하는 단계를 포함한다. 단일 광학 시스템을 이용하여 홀로그램 및 SLM을 투영하는 것은 이미지 홀로그램이 이미지 SLM 내의 임의 포인트로부터 관찰될 수 있는 것을 보장한다.
이미지 SLM은 전체 이미지 홀로그램이 관찰될 수 있는, 관찰 가능 공간으로서 지칭되는 전체 공간을 반드시 커버하지는 않는다.
근축 홀로그램은 근축 객체의 특별한 유형이며, 다른 근축 객체들도 유사하게 표시될 수 있다는 점에 주목할 수 있다. 따라서, 일부 예시적인 실시예들에서, 근축 객체의 이미지는 단일 광학 시스템을 이용하여 근축 이미지, 및 근축 객체를 관찰할 수 있는 공간의 적어도 일부를 이미징하는 단계를 포함하는 프로세스에서 생성된다. 선택적으로, 관찰 가능 공간의 이미지는 관찰 가능 공간 자체보다 넓다. 단일 광학 시스템으로 근축 이미지 및 그의 관찰 가능 공간을 이미징하는 것은 이미지 홀로그램이 관찰 가능 공간의 이미지 내의 임의의 포인트로부터 관찰될 수 있는 것을 보장한다.
일부 실시예들에서는, 근축 이미지가 특정 관찰자에 의해 관찰될 수 있는 것을 보장하기 위해, 관찰자의 동공이 이미지 관찰 가능 공간의 일부와 오버랩되는 것으로 충분하다.
일부 실시예들에서, 관찰자들은 장면의 비홀로그래픽 삼차원 이미지들, 예를 들어 3D 시차 장벽 이미지들을 보고 터치한다. 그러나, 적어도 일부 비홀로그래픽 실시예들에서, 각각의 관찰자는 손가락에 초점을 맞추는 것과 터치된 포인트에 초점을 맞추는 것 사이에서 선택해야 하는데, 그 이유는 손가락 및 터치된 포인트가 반드시 동일 초점에 있지는 않기 때문이다.
일부 실시예들에서는, 관찰자의 눈들이 추적되며, 관찰자의 시점으로부터 관찰 가능한 본래의 장면을 나타내는 홀로그램들만이 스테이지로 투영되는 반면, SLM의 이미지들은 관찰자의 눈들로 계속 투영된다.
일부 실시예들에서는, 관찰자의 눈들을 추적하여 관찰자의 눈에 SLM을 투영하는 것을 용이하게 한다. 적어도, 이미지 SLM과 관찰자의 눈 사이의 부분적 오버랩이 사용자로 하여금 전체 홀로그램을 볼 수 있게 하는 데 충분한 실시예들에서, SLM의 더 큰 이미지들의 투영은 관찰자의 눈을 덜 정확하게 추적하는 것을 허용한다. 따라서, 큰 SLM 이미지의 투영은 추적 시스템으로부터의 요구들의 완화를 도울 수 있다. 선택적으로 시스템은 전체로서 관찰자의 눈이 이미지 SLM과 오버랩되는 것을 보장하지만, 추적은 반드시 눈 자체에 대한 것은 아니라는 점에 유의해야 한다. 선택적으로, 추적은 관찰자의 얼굴 중심에 대해 이루어지며, 눈의 위치는 얼굴 중심의 위치로부터 추정된다. 선택적으로, 관찰자는 헤드폰들을 착용하며, 헤드폰들은 헤드폰의 위치를 나타내는 신호를 전송하고(또는 마커를 포함하고), 헤드폰 위치에 응답하여 눈의 위치가 결정된다. 선택적으로, 관찰자의 얼굴은 디스플레이 주위의 공간의 이미지에서 식별되며, 눈 위치는 얼굴 식별에 응답하여 결정된다. 따라서, 본 명세서에서 사용되는 눈 추적이라는 용어는 반드시 눈 자체를 추적하는 것은 아니고, 눈의 위치를 나타내는 임의의 신호를 추적하는 것을 의미한다. 일부 실시예들에서, 눈의 위치를 나타내는 신호들의 추적은 눈 자체의 추적보다 훨씬 더 쉬우며, 추적 시스템을 상당히 간소화할 수 있다는 점에 유의해야 한다.
일부 실시예들에서, 이미지 관찰 공간은 관찰자의 양 눈을 커버할 만큼 충분히 크다. 일부 실시예들에서, 2개의 포트홀이 각각의 눈 주위에 정의되며, 상이한 SLM이 눈들 각각에 이미징된다. 선택적으로, 2개의 상이한 SLM은 단일 SLM의 2개 부분이다. 선택적으로, 관찰자의 눈들과 오버랩되는 2개의 SLM은 동일한 이미지 홀로그램, 선택적으로 2개의 눈 사이로부터 관찰 가능한 이미지 홀로그램을 생성한다. 동일 SLM에 의해 적색, 녹색 및 청색 광에 의한 순차적 조명을 이용하여 컬러 홀로그램도 투영될 수 있다. 선택적으로, 적색, 녹색 및 청색 광은 동일 포트홀에 기계적으로 모두 동기화되는 3개의 상이한 SLM에 동시에 투영될 수 있다.
선택적으로, 포트홀들은 오버랩되거나 인접하며, 따라서 하나의 포트홀에서 다른 포트홀로의 스위칭은 단일 관찰 포트홀 내에서 하나의 포인트에서 다른 포인트로 가는 것만큼 원활하다.
일부 실시예들에서는, 상이한 홀로그램들이 각각의 관찰자에게 연속 이미지를 보는 느낌을 제공할 만큼 충분히 빠른 레이트로 순차적으로 생성된다. 예를 들어, 3명의 관찰자 각각은 초당 30개의 이미지를 각각 1/180 초 또는 그보다 짧은 기간 동안 본다. 3개의 눈 및 3명의 관찰자에 대해 생성할 때, 3 X 2 = 6개 눈이다.
일부 실시예들에서, 각각의 관찰자는 상이한 광학 시스템에 의해 생성된 홀로그램을 본다. 일부 실시예들에서, 둘 이상의 관찰자는 동일 광학 시스템에 의해 생성된 홀로그램들을 본다. 선택적으로, 광학 시스템 및 SLM은 상이한 관찰자들의 요구에 맞춰 반복적으로 튜닝된다. SLM은 관찰자들에 의해 현재 관찰되는 장면들의 홀로그램들을 생성하도록 튜닝되며, 광학 시스템은 SLM의 이미지를 관찰자들의 현재 위치에서 관찰자들의 눈들로 투영하도록 튜닝된다.
특정 응용 기회들의 일부 실시예들에서, 홀로그램은 관찰자에 의한 관찰을 위한 이미지이며, 따라서 관찰자는 예를 들어 그의 손가락 또는 사람 기계 인터페이스(MMI) 도구를 이용하여 홀로그램의 일부를 터치할 수 있다. 선택적으로, 홀로그램은 터치에 의해 활성화되는 부분들을 포함한다.
일부 실시예들에서, 복수의 관찰자는 그들 각각이 보고 있는 홀로그램을 각각 터치할 수 있다. 예컨대, 2명의 관찰자가 상이한 관찰 포트홀들로부터 동일한 집의 홀로그램을 보고, 그들 중 한 명의 손가락이 정문의 핸들을 터치한다. 일부 실시예들에서, 제2 관찰자가 동일 장소(예컨대, 핸들 상의 동일 지점)를 동시에 터치하고 있는 경우, 2명의 관찰자 각각은 홀로그램들을 터치하는 2개의 손가락을 본다. 선택적으로, 홀로그램들을 터치하는 2개의 손가락은 또한 서로 터치한다. 선택적으로, 하나의 사용자에 의한 이미지 조작은 다른 사용자의 관찰로 전달되며, 따라서 원할 경우에는 예를 들어 줌 및 배향이 공유된다.
일부 실시예들에서, 한 명의 관찰자가 홀로그램을 터치할 수 있고, 다른 관찰자가 홀로그램 주위를 이동할 수 있다(또는 홀로그램을 회전시킬 수 있다). 이러한 방식으로, 이동 관찰자는 상이한 각도들로부터 홀로그램을 터칭 손가락과 더불어 관찰할 수 있다. 예컨대, 교사는 심장 모델의 홀로그램에서 동맥 판막을 터치할 수 있고, 학생은 그 주위를 이동하여, 상이한 각도들로부터 터치된 판막을 볼 수 있다.
본 발명의 일부 실시예들의 일 양태는, 내부 요소가 이미지 또는 홀로그램을 생성하고, 이어서 이미지 또는 홀로그램이 이미징 미러의 내측에 투영되고, 이미징 미러가 이미지 또는 홀로그램을 확대하여 사용자에게 보내는 투영 시스템의 설계에 관한 것이다. 선택적으로, 이미징 미러는 일반적으로 원통형이며, 선택적으로 확대를 제공하도록 곡선형이다. 일부 실시예들에서, 관찰자는 이미징 미러 밖에 있다. 다른 실시예들에서, 관찰자는 예를 들어 방의 벽들에 설치될 수 있는 이미징 미러 내에 있다.
본 발명의 일부 실시예들의 일 양태는, 하나 이상의 모듈이 이미지들을 생성하고 사용자의 눈에 이미지들을 보내는 것을 돕도록 회전하는 투영 시스템의 설계에 관한 것이다. 선택적으로, 하나 이상의 모듈은 회전하거나 회전 미러를 향한다. 선택적으로, 미러는 실질적으로 일정한 속도로 회전하거나 일정한 레이트로 진동한다.
본 발명의 일부 실시예들의 일 양태는 복수의 모듈 각각이 동일 관찰자의 눈에 대한 시선을 가질 수 있는 모듈 설계를 갖는 투영 시스템의 설계와 관련된다. 선택적으로, 이러한 공유 시선은 회전 미러에 의해 제공된다. 선택적으로 또는 대안으로서, 공유 시선은 모듈들을 회전시키고, 이들이 동일한 좌표계를 공유하는 것처럼 작용할 수 있도록 이들의 위치에 주목함으로써 제공된다. 선택적으로, 모듈들은 복수의 이미지 또는 홀로그램 생성 모듈을 포함한다. 선택적으로 또는 대안으로서, 모듈들은 적어도 하나의 관찰자 추적 및/또는 사용자 상호작용 모듈을 포함한다. 본 발명의 예시적인 실시예에서는, 모듈들을 교체, 추가 또는 제거함으로써 시스템 성능이 향상되거나 저하된다.
본 발명의 적어도 일 실시예를 상세히 설명하기 전에, 본 발명은 아래의 설명에서 제공되고 그리고/또는 도면들 및/또는 예들에서 예시되는 컴포넌트들 및/또는 방법들의 구성 및 배열의 상세들로 그의 응용이 반드시 한정되지는 않는다는 것을 이해해야 한다. 본 발명은 다른 실시예들도 가능하거나, 다양한 방식으로 실시되거나 수행될 수 있다.
이제, 도 1a에 도시된 바와 같은 홀로그램 생성 유닛의 구성 및 동작, 및 도 1b에 도시된 바와 같은 근축 객체의 관찰 가능 공간을 참조한다.
예시적인 컴퓨터화된 홀로그램 생성 유닛
본 발명의 예시적인 실시예에서, 홀로그램 생성 유닛(10')은 광원(15) 및 공간 광 변조기(SLM)(20)를 포함한다.
SLM(20)은 SLM의 각각의 픽셀의 광학적 거동을 다른 픽셀들과 무관하게 제어하는 컴퓨터화된 제어 유닛(22)에 접속되며, SLM으로부터 반사되는 광은 장면(24, 도시된 예에서는 집)으로부터 방출되는 광 필드 정면을 재생할 것이다. 이를 위해, 장면(24)으로부터 수신된 광이 검출되고, 그를 나타내는 데이터가 컴퓨터화된 유닛(22)에 입력되며, 이 유닛은 입력 데이터를 처리하여 상이한 픽셀들의 필요한 광학적 거동을 얻고, 그에 따라 SLM을 제어한다.
본 발명의 예시적인 실시예에서, 광원(15)으로부터 나오는 광은 편광 빔 분할기(25)에 의해 편향되고, 1/4 파장 플레이트(40)를 통과하여 SLM(20)으로 진행하고, SLM으로부터 반사되어 홀로그램(35)을 생성한다. 편광 빔 분할기(25)로 가는 도중에, 빔은 1/4 파장 플레이트(40)를 다시 한 번 통과하여, 편광 빔 분할기를 통한 편향 없이 계속 진행한다.
선택적으로, 유닛(10')은 광원(15)의 파면을 변경하는 광학 요소(70)를 포함하며, 따라서 SLM(20)과의 상호작용시에 홀로그램(35)은 더 커진다. 선택적으로, 렌즈 없는 확대가 이용된다. 렌즈 없는 확대에서는, 구형 파면 빔이 평면 파면 빔 조명으로부터 이미지를 생성하도록 구성된 SLM을 조명한다. 구형 파면 빔을 이용하여 생성된 이미지는 평면 파면 빔을 이용하여 생성된 이미지에 비해 스케일링된다. 선택적으로, 구형 파면 빔을 이용하여 생성된 이미지는 평면 파면 빔을 이용하여 생성된 이미지보다 크다. 선택적으로, 시스템은 여러 개의 렌즈를 포함하며, 사용되는 하나의 렌즈는 원하는 크기 및 위치의 객체 홀로그램을 생성하도록 선택된다. 선택적으로, 렌즈의 선택은 광학 시스템의 튜닝의 일부이다. 선택적으로, 렌즈의 선택은 광학 시스템의 설계의 일부이며, 선택은 영구적이다.
렌즈 없는 확대의 기술은 예를 들어 McGraw-Hill에 의해 출판될 J.W. Goodmann의 "Introduction to Fourier optics"라는 책에 상세히 설명되어 있다.
유닛(10')은 코히런트 광원 및 공간 광 변조기를 이용하여 홀로그램을 생성하는 데 적합한 하나의 가능한 배열일 뿐이다. 많은 다른 배열이 이 분야에 공지되어 있으며, 본 발명의 다양한 실시예들에 따라 이용될 수 있다. 더욱이, 유닛(10')은 적어도 일부 실시예들에서 비홀로그래픽 근축 이미지들 또는 다른 이미지 타입들을 생성하기 위한 유닛들로 교체될 수 있다. 더 쉬운 이해를 위해, 아래의 설명에서는, 근축 객체를 생성하기 위한 유닛을 일반적으로 유닛(10)으로 지칭하여, 전술한 유닛(10')이 그러한 유닛의 하나의 가능한 구성일 뿐이라는 것을 나타낼 것이다. 그러나, 본 발명의 예시적인 실시예에서, 모든 유닛들(10)은 광원 및 SLM 또는 액정(LC) 패널과 같은 근축(또는 다른 타입의) 이미지 형성 유닛을 구비한다. 비홀로그램 이미지가 사용되는 실시예들에서, 디스플레이 패널은 예를 들어 광을 방출할 수 있다.
하나의 예시적인 변형에서, SLM이 예를 들어 편광에 민감한 경우, 예를 들어 광원(15)으로부터 나온 편광된 광이 빔 분할기(25)에 의해 편향되어 SLM(20)에 충돌하고 SLM으로부터 반사되어 홀로그램(35)을 생성하도록 설계가 변경될 수 있다. 선택적으로, 1/4 파장 플레이트(40)가 생략된다.
추가적인 대안 설계에서, 광은 약간의 축외(off-axis) 각도로 SLM을 향하며, 따라서 SLM으로부터 떨어져 상이한 각도로 반사되며, 빔 분할기가 사용되지 않는다.
일부 실시예들에서는, 투과형 SLM이 사용되며, 광은 또한 빔 분할기에 의해 반사되지 않는다.
근축 이미지의 반사 가능 공간
도 1b는 예를 들어 객체 홀로그램(35)과 같은 근축 이미지들을 관찰하는 일부 원리들을 나타낸다.
객체 홀로그램(35)이 근축 이미지이므로, 근축 객체 내의 각각의 포인트(예를 들어, 36, 37)는 단일 방향(h36, h37)으로 그리고 그 주위의 소정의 좁은 각도(α)로 광을 방출하여, 원뿔(C36, C37)을 생성한다. 포인트(36)는 원뿔(C36) 내의 모든 포인트로부터 관찰되며, 포인트(37)는 원뿔(C37) 내의 모든 포인트로부터 관찰된다. 따라서 원뿔들(C36, C37)은 본 명세서에서 포인트들(36, 37)의 관찰 가능 공간들로서 각각 지칭된다.
2개의 포인트(36, 37)는 양 포인트를 관찰할 수 있는 관찰 가능 공간(60)을 형성하는 원뿔(36) 및 원뿔(37) 양자의 일부를 형성하는 모든 포인트로부터 동시에 관찰될 수 있다. 마찬가지로, 전체 홀로그램을 관찰할 수 있는 공간이 결정되고, 홀로그램(35)의 관찰 가능 공간으로 지시될 수 있다.
따라서, 공간(60)의 일부와 오버랩되는 눈(52)은 양 포인트(36, 37)를 볼 수 있고, 눈(54)은 포인트(37)를 보고, 포인트(36)는 볼 수 없으며, 눈(56)은 포인트들(36, 37) 중 어느 것도 볼 수 없다.
예시적인 광학 시스템
도 2a는 본 발명의 일 실시예에 따른 객체 홀로그램(35)을 투영하기 위한 기본 시스템(200)을 나타낸다.
시스템(200)은 선택적으로 홀로그램 생성 유닛인 근축 객체 생성 유닛(10) 및 광학 시스템(210)을 포함한다. 홀로그램 생성 유닛(10)은 홀로그램(35)(객체 홀로그램)을 생성하며, 광학 시스템(210)은 객체 홀로그램(35)을, 선택적으로 빈 공간인 스테이지(237) 상에 위치하는 이미지 홀로그램(235)(이미지 홀로그램)으로서 보이도록 이미징한다. 광학 시스템(210)은 또한 SLM(20)(도 1에 도시된 객체 SLM)을 투영하여 이미지 SLM(220)을 제공한다. 이미지 SLM(220)은 선택적으로 SLM(20)보다 크며, 이미지(220)를 따르는 임의의 포인트로부터 이미지 홀로그램(235)을 관찰하는 관찰자는 이미지 홀로그램(235)을 볼 수 있다.
도 2b는 근축 객체로부터 광학 시스템(210)에 의해 생성된 반근축 이미지를 관찰하는 일부 원리들을 나타낸다.
도 1b의 근축 객체(35)와 유사하게, 반근축 이미지(235)의 각각의 포인트(예컨대, 236, 237)는 원뿔형 공간(C236, C237)으로부터 관찰 가능하며, 양 포인트는 원뿔들(238, 239)이 오버랩되는 공간(260)으로부터 관찰 가능하다. 그러나, 근축 객체(35)와의 차이로서, 함께 이미지(235)를 구성하는 상이한 포인트들의 관찰 가능 공간들은 서로 평행하지 않다. 광학 시스템(210)의 역할은 상이한 포인트들의 관찰 가능 공간들 사이의 평행을 깨뜨려, 더 크고, 선택적으로 더 가까운 관찰 가능 공간(260)을 제공하는 것이다. 결과적으로, 일부 실시예들에서, 시스템(210)은 망원경처럼 이미지 홀로그램(235)을 관찰자에게 더 가깝게 할 뿐만 아니라, 홀로그램의 관찰 가능 공간을 도 1b에 도시된 비교적 좁은 공간(60)으로부터 도 2b에 도시된 더 큰 관찰 가능 공간(260)으로 확대한다.
관찰 가능 공간(260)은 이미지 SLM(220)(도 2a)을 포함하며, 따라서 본 발명의 일부 실시예들에서 광학 시스템(210)은 이미지 SLM(220)을 관찰자의 눈과 오버랩되게 형성하도록 튜닝된다. 이러한 방식으로, 이미지(235)가 관찰자에게 보일 수 있는 것이 확인될 수 있다. 선택적으로 또는 추가로, 관찰 가능 공간(260)의 다른 부분들이 관찰자의 눈과 오버랩되도록 이미징된다.
도 3a 및 3b는 SLM(20)의 확대 이미지 및 홀로그램(35)의 확대 이미지를 투영하여, 홀로그램을 확대하고 그리고/또는 홀로그램을 관찰할 수 있는 공간을 확대하는 것을 허용하는 광학 시스템(300)의 광학 구성을 나타낸다.
도 3a는 이미지 홀로그램을 생성하는 광선들의 광선 추적을 나타내고, 도 3b는 이미지 SLM을 생성하는 광선들의 광선 추적을 나타낸다.
본 발명의 일부 실시예들에서 시스템(210)으로부터의 유일한 요구들은 (i) 객체 홀로그램(35)을 스테이지(237)에 이미징하고, (ii) 이미지 SLM(20)을 스테이지(237) 밖의 평면(또는 입체)에 이미징하고, (iii) 상기 평면의 정확한 위치가 튜닝될 수 있게 하는 것이라는 점에 유의해야 한다. 다양한 광학 아키텍처들이 이러한 작업을 완수할 수 있으며, 이 분야의 통상의 기술자는 위의 요구들에 직면할 때 도 3a 또는 3b에 도시된 구성에 대한 많은 대안을 쉽게 찾을 수 있을 것이다.
도 3a 및 3b 양 도면에는 SLM(20)을 포함하는 홀로그램 생성 유닛(10); 및 대물 렌즈(310) 및 접안 렌즈(320)를 포함하는 광학 시스템(210)이 도시되어 있다.
도시된 실시예에서, 대물 렌즈(310)는 2개의 초점(311, 312)을 가지며, 접안 렌즈(320)는 2개의 초점(321, 3220을 갖는다.
도시된 실시예에서, 대물 렌즈(310) 및 홀로그램 생성 유닛(10)은 객체 홀로그램이 유닛(10)에 의해 대물 렌즈(310)와 그의 초점(311) 사이에 생성되도록 배치된다. 광학 유닛들(310, 320)은 이들의 초점 거리들의 합 이상으로 서로 이격되게 배치되며, 따라서 요소(320)의 초점(321)은 요소(320)와 요소(310)의 초점(312) 사이에 위치한다.
선택적으로, 대물 렌즈(310)는 렌즈 및/또는 곡선 미러를 포함한다. 선택적으로, 접안 렌즈(320)는 렌즈 및/또는 곡선 미러를 포함한다.
대물 렌즈(310) 및 접안 렌즈(320)의 각각은 독립적으로 광 수렴 요소(예컨대, 오목 미러) 또는 광 발산 요소(예컨대, 볼록 미러)일 수 있다.
도 3a에 도시된 바와 같이, 이미지 홀로그램(235)은 스테이지(237) 상에 관찰자의 눈(250) 정면에 형성된다.
도 3b에 도시된 바와 같이, SLM(20)의 이미지가 관찰자의 눈(250)에 형성된다.
따라서, 도 3a 및 3b는 함께 광학 시스템(210)이 홀로그램을 스테이지(237)로 그리고 SLM(20)을 관찰자의 눈(250)과 부분적으로 오버랩되도록 이미징하는 것을 도시한다.
본 발명의 예시적인 실시예에서, 광학 시스템(210)은 예를 들어 2개의 광학 요소(310, 320) 사이의 거리를 변경함으로써, 이미지 SLM이 형성되는 위치를 변경하도록 튜닝될 수 있다. 이러한 튜닝은 이미지 홀로그램(235)이 나타나는 위치도 변경할 수 있다. 원할 경우에, 이것은 SLM(20)의 이동 없이 상이한 장소에 객체 홀로그램(35)을 형성하도록 SLM(20)을 구동할 수 있는 계산 유닛(22)(도 1a)에 의해 보상될 수 있다.
도시된 실시예에서, 접안 렌즈는 공동 미러이지만, 접안 렌즈는 투과형 요소(예를 들어, 렌즈), 선택적으로 광의 각도도 변경하는 투과형 요소(예컨대, 프리즘)일 수도 있으며, 따라서 홀로그램은 이미지 생성 시스템상에 오버레이되지 않는다.
대물 렌즈(310)의 옵션 형상들
대물 렌즈(310)는 선택적으로 회전축이 포물선의 대칭축인 회전 포물면의 형태를 가진 미러이다. 다른 옵션 형상은 회전축이 포물선의 대칭축에 수직인 회전 포물면이다. 선택적으로, 대물 렌즈 미러(310)의 형상은 구형 캡의 형상이다. 선택적으로, 대물 렌즈 미러(310)의 형상은 위에 제안된 임의 형상의 슬라이스의 형상이다. 구형 캡이 선택적으로 선호되는데, 그 이유는 구형 캡이 제조하기가 더 쉽고, 홀로그램(35)이 근축 홀로그램이므로 구면 수차들이 시스템에서 큰 역할을 하지 않기 때문이다.
선택적으로, 접안 렌즈(320)는 대물 렌즈가 가질 수 있는 전술한 형상들 중 임의의 형상을 갖는다. 특히 유용한 형상을 갖는 접안 렌즈가 아래에 "예시적인 접안 렌즈"라는 제목으로 설명된다.
일부 실시예들에서, 대물 렌즈(310)는 원통 미러 또는 그의 아치형 부분이다. 설명되는 바와 같이, 그러한 미러는 평면이 아니라 포물면일 수 있다.
광학 시스템의 예시적인 치수들
예시적인 실시예에서, 도 3a 및 3b에 도시된 구성은 -50 cm의 초점 길이를 갖는 렌즈(310), 및 렌즈(310)의 제1 측(도면에서 우측)에 렌즈(310)로부터 100cm 이격되어 배치된 접안 렌즈(320)를 이용하여 확대 이미지 SLM을 제공하는 데 사용된다. SLM은 렌즈(310)의 제2 측에 렌즈(310)로부터 수 밀리미터 정도에 위치한다.
SLM은 입력을 수신하여 객체 홀로그램의 푸리에 변환을 생성하며, 따라서 객체 홀로그램은 렌즈(310)의 50cm 좌측에 있는 렌즈(310)의 초점면에서 발견된다. 객체 홀로그램의 크기는 홀로그램을 생성하는 데 사용된 SLM 부분의 크기와 유사하다.
2개의 이미지가 접안 렌즈에 의해 형성된다.
객체 홀로그램의 이미지가 접안 렌즈(320)의 150cm 우측에 형성되고, 객체 홀로그램과 동일한 크기를 가지며, SLM의 이미지가 접안 렌즈(320)의 200cm 우측에 형성되고, SLM보다 3배 크다.
관찰자의 눈이 이미지 SLM과 오버랩될 때, 관찰자는 이미지 홀로그램으로부터 50cm에 위치한다.
이 예는 객체 홀로그램의 관찰 가능 공간보다 큰 관찰 가능 공간을 갖는 이미지 홀로그램을 생성하는 하나의 구성을 나타낸다. 이미지 홀로그램은 적어도, SLM보다 3배 크고 객체 홀로그램으로부터 50cm 떨어진 이미지 SLM의 어느 곳에서나 관찰 가능하다.
일부 실시예들에서, 이미지 홀로그램보다 큰 이미지 SLM의 생성은 관찰 가능 공간이 SLM의 이미지에 도달할 때까지 그리고 그가 수렴하는 것보다 이미지로부터 더 큰 거리로 발산하게 한다. 이러한 일부 실시예들에서, 이미지로부터 관찰자의 거리를 정밀하게 추적해야 하는 필요성이 완화되며, SLM의 이미지를 관찰자의 눈으로 정확하게 투영해야 하는 필요성도 완화된다. 그러나, 그러한 일부 실시예들에서, 관찰자와 이미지 사이의 거리에 관한 정보는 관찰 가능 공간의 크기를 추정하고 관찰자가 하나의 관찰 포트홀에서 다른 포트홀로 언제 이동할지를 결정하는 데에 여전히 도움이 된다. 이미지 SLM이 관찰자의 눈 근처에 위치하여 관찰 가능 공간이 최대가 되는 것을 보장하는 것은 선택적으로 방위각 추적으로부터의 요구들을 완화한다.
이미지 SLM 위치들의 예시적인 튜닝
제한된 관찰 가능 공간을 갖는 이미지를 이동 관찰자에게 표시하기 위해, 이미지 SLM은 관찰자의 눈을 추적해야 한다. 그러한 추적을 제공하는 일부 예시적인 실시예들이 아래에 설명된다.
설명되는 실시예들 중 일부에서, 이미지 SLM의 위치의 변경은 이미지의 위치도 변경하지만, 이미지 이동은 SLM 이동에 비해 적으며, SLM의 제한된 광학적 능력을 이용하여 보상될 수 있다.
도 4는 스테이지 및 관찰자의 눈의 위치들 각각으로의 SLM 및 홀로그램의 투영들의 튜닝을 허용하도록 설계된 광학 시스템(400)의 하나의 가능한 구조의 개략도이다.
시스템(400)은 홀로그램 생성 유닛(10), 대물 렌즈(310) 및 접안 렌즈(320)를 포함하는 시스템(210)의 모든 컴포넌트들을 포함한다. 도시된 실시예에서, 대물 렌즈(310)는 곡선 미러이고, 접안 렌즈(320)는 볼록 렌즈이다.
시스템(210)은 SLM 및 홀로그램이 투영되는 위치들의 제어를 용이하게 하기 위한 튜닝 유닛(410)을 더 포함한다. 튜닝 유닛(410)은 도면에 예를 들어 서로 60도로 고정된 미러링 표면들(420, 430)을 포함하는 V형 미러로서 도시되지만, 기술자에게는 많은 다른 구현이 명백하다.
도시된 바와 같이, V형 미러(410)를 통해 대물 렌즈(310)로부터 접안 렌즈(320)로 진행하는 광선(405)은 먼저 대물 렌즈(310)로부터 미러(420)로 그리고 미러(420)로부터 미러(430)로 반사되며, 광은 미러(430)로부터 접안 렌즈(320)를 향해 반사된다.
미러링 표면들(420, 430)을 화살표(425)의 방향으로 앞뒤로 이동시키는 것은 접안 렌즈(320)와 SLM 이미지 사이의 거리를 변경한다. 따라서, 미러링 표면들(420, 430)을 화살표(425)를 따라 이동시키는 것은 홀로그램으로부터 멀어지거나 광축을 따라 홀로그램에 가까워지는 관찰자의 눈들을 추적하는 것을 가능하게 한다.
선택적으로, V형 미러(410)가 생략되며, 유사한 효과를 얻기 위해 요소들(310 및/또는 320)이 서로에 대해 이동한다. 시스템(400)의 후방 초점 거리의 위치를 변경하기 위한 임의의 다른 공지된 수단도 광축을 따라 이미지 SLM을 이동시키는 데 있어서 V형 미러(410)를 교체하는 데 유용할 수 있다.
V형 미러(410)를 구성하는 미러들 중 하나를 화살표(426)로 표시된 방향들로(즉, 표면들(420, 430) 사이의 접촉선에 평행한 축 주위로 그리고 V 평면상에서) 회전시키는 것은 위 아래를 보는 관찰자의 추적되는 눈들을 따르는 것을 가능하게 한다.
예시적인 실시예에서, V형 미러(410)은 화살표들(425 및/또는 426)로 표시된 바와 같이 미러들을 이동시키는 모터(도시되지 않음) 상에 장착된다.
관찰자의 눈들이 이미지 홀로그램 관찰 가능 공간의 밖으로 수평으로(도면에서, 페이지 내로 그리고 페이지 밖으로) 이동할 때 이들을 추적하기 위해, 렌즈(320)는 선택적으로 관찰자에 대면하도록 이동된다.
선택적으로, 이미지 홀로그램의 위치의 제어는 이미지 홀로그램이 정확히 원하는 위치에, 예컨대 다른 관찰자에 의해 관찰되는 위치에 정확히 생성되도록 홀로그래픽 객체를 계산하고 생성하는 것을 포함한다.
선택적으로, 광학 시스템은 관찰자의 근처에 이미지 SLM을 생성하도록 튜닝되며, 계산 유닛은 이미지 홀로그램이 원하는 장소에 정확히 위치하도록, 형성될 객체 홀로그램을 계산한다. 선택적으로, 그러한 계산은 생략되며, 이미지 홀로그램 위치의 정확도가 저하된다.
도 5는 관찰자의 각각의 눈에 대해 상이한 홀로그램을 표시하는 데 유용한 시스템(500)의 개략도이다. 시스템(500)은 시스템(400)과 유사하지만, 시스템(500)에는 자신의 축(515) 주위를 회전하거나 선회하는 추가적인 평면 미러(510)가 존재한다.
일 실시예에서, 미러(510)는 예를 들어 3도의 각도로 좌우로 이동하며, SLM은 각각의 이동의 제1 절반에서 하나의 홀로그램을 생성하고, 제2 절반에서 또 하나의 홀로그램을 생성한다. 이러한 방식으로, 각각의 눈은 상이한 홀로그램을 본다. 선택적으로, 이동은 각각의 눈이 홀로그램 투영을 연속적인 것처럼 인식하게 하는 주파수를 갖는다. 선택적으로, 미러가 그 주위를 이동하는 중심 위치는 관찰자의 얼굴의 중심을 따르도록 변경된다.
다른 실시예에서, 미러(510)는 적어도 약 15Hz, 예컨대 24Hz, 30Hz, 45Hz 또는 60Hz의 주파수로 그의 축(515) 주위를 회전하며, SLM은 회전의 하나의 절반에서 하나의 홀로그램을 생성하고 제2 절반에서 다른 홀로그램을 생성한다. 선택적으로, SLM은 제1 회전에서 하나의 홀로그램을 생성하고, 제2 회전에서 제2 홀로그램을 생성한다. 예컨대, 30Hz로 회전하는 미러 및 회전당 두 번 갱신되는 SLM은 60Hz로 회전하고 회전당 한 번 갱신되는 미러와 유사한 레이트로 갱신될 수 있다.
SLM이 하나의 홀로그램 생성으로부터 다른 홀로그램의 생성으로 바뀌는 스위칭 포인트들은 선택적으로 눈들 중 어느 것도 이미지 SLM과 오버랩되지 않을 때이다. 이것은 선택적으로 각각의 회전에서 두 번, 즉 이미지 SLM이 관찰자의 눈들 사이로 투영될 때 한 번 그리고 이미지 SLM이 관찰자의 눈들로부터 이격되어 투영될 때 한 번 발생한다.
선택적으로, 각각의 눈은 다른 SLM의 이미지와 오버랩되며, 각각의 SLM은 관찰자의 눈과 오버랩되기 전에 회전당 한 번 객체 홀로그램을 변경한다.
선택적으로, 이미지 SLM은 관찰자의 눈들 양자와 동시에 오버랩된다.
도 4 및 5에 도시된 실시예들 간의 또 하나의 차이는 도 4에서는 접안 렌즈(320)가 렌즈인 반면에 도 5에서는 곡선 미러라는 것이다. 그러나, 이러한 차이는 부수적이며, 도 4의 실시예는 미러를 요소(320)로서 사용해서도 동작할 수 있고, 도 5의 실시예는 렌즈를 요소(320)로서 사용해서도 동작할 수 있다.
선택적으로, 접안 렌즈(320)는 브리지(525)를 이용하여 축(515)에 단단하게 연결되는 베이스(520) 상에 장착되며, 따라서 접안 렌즈(320)는 평면 미러(510)의 이동을 따른다. 이러한 옵션에서, 접안 렌즈 미러(320)는 선택적으로 대물 렌즈 미러(310)의 형상과 관계없이 대물 렌즈 미러(310)에 대해 위에 제안된 임의의 형태를 갖는다. 접안 렌즈(320)의 다른 가능한 형상은 아래에서 도 6a 및 6b와 관련하여 설명된다.
따라서, 일 실시예에서, 모든 이미지 형성 컴포넌트들은 관찰자의 눈을 향하도록 함께 이동한다. 선택적으로, 대물 렌즈 미러도 이동하며, 따라서 완전한 360도보다 작다. 대물 렌즈 미러 및/또는 이미지 생성 모듈을 그러한 속도들로 이동시키는 것은 에너지 비효율적이거나 잡음이 많을 수 있으며, 따라서 일부 실시예들에서는 실시되지 않을 수 있다.
다른 실시예에서, 미러(510)는 접안 렌즈(320)의 각 회전의 절반만큼 회전하여, 반사에 의해 유발되는 각속도의 배가를 보상한다.
단일 관찰자
본 발명의 예시적인 실시예에서, 시스템(500)은 홀로그램을 단일 관찰자에게 이미징하는 데 사용되며, 따라서 홀로그램은 큰 이미지 및 넓은 관찰 가능 공간을 갖는다.
일 실시예에서, 홀로그램 이미지가 투영되는 위치(스테이지)는 일정하며, 관찰자는 상이한 장소들로부터 홀로그램을 자유롭게 보지만, 어느 곳에서나 홀로그램을 본다. 이러한 실시예에서는, 관찰자의 눈이 추적되며, 홀로그램의 관찰 가능 공간이 눈을 따르도록 투영된다.
눈의 추적은 예컨대 눈이 언제 홀로그램 관찰 가능 공간 내에 있는지 그리고 눈이 언제 상기 공간 밖에 있는지를 식별할 수 있을 만큼 충분히 양호한 정확도를 갖는 눈 추적 시스템에 의해 이루어진다. 추적 시스템은 적절한 정확도를 갖는 임의의 상업적으로 입수 가능한 눈 추적 시스템, 예컨대 미국 오레곤 코발리스에 위치하는 Natural Point로부터 입수 가능한 TrackIRTM 헤드 추적 시스템일 수 있다. 선택적으로, 추적 시스템은 후술하는 바와 같이 시스템(500)과 공통 부분들을 갖는다.
추적 시스템에 의해 검출되는 관찰자의 눈의 위치는 계산 유닛으로 통신되며, 계산 유닛은 이미지 SLM을 관찰자의 눈 근처에 투영하기 위해 시스템이 어떻게 튜닝되어야 하는지를, 예를 들어 V형 미러(410)의 정확한 위치, 미러(510)가 대면하고 있는 정확한 포인트, 또는 사용되고 있는 특정 구성에 따라 요구되는 임의의 다른 튜닝을 결정한다.
관찰자의 눈이 이동할 때, 그의 이동은 추적 유닛에 의해 추적되며, 광학 시스템은 관찰자의 눈 근처에 이미지 SLM을 계속 투영하도록 제어된다. 이러한 방식으로, 관찰자는 그가 스테이지를 보고 있는 한, 그가 있는 어느 곳에서나 전체 홀로그램을 본다.
일부 실시예들에서, 계산 유닛은 관찰자의 시야각으로부터 관찰되는 바와 같은 장면을 재생하는 홀로그램들을 생성하도록 SLM을 제어한다. 선택적으로, 홀로그램은 회전 미러를 이용하여 전방향으로 표시되며, 따라서 모든 관찰자들은 그들이 어디에 있는지에 관계없이 동일한 홀로그램을 보며, 이러한 홀로그램은 그들 중 하나의 이동에 응답하여 변한다.
단일 관찰자, 각각의 눈에 대한 상이한 홀로그램
본 발명의 일부 실시예들에서, 단일 홀로그램의 관찰 가능 공간은 관찰자의 두 눈과 오버랩된다. 이러한 실시예들에서, 관찰자는 완전한 3D 홀로그램을 보게 되는데, 그 이유는 관찰되는 이미지의 홀로그래픽 성질이 본래의 장면의 모든 깊이 단서들을 제공하기 때문이다. 이러한 실시예들은 성인 관찰자의 두 눈을 커버하기 위해 약 6-8cm의 폭을 갖는 이미지 SLM에 기초한다.
그러나, 많은 실시예에서, 이미지 SLM은 더 작으며, 약 5 내지 약 20mm의 폭을 갖는다. 이러한 실시예들에서는, 단일 홀로그램이 단일 눈에 의해서만 관찰될 수 있으며, 두 눈에 홀로그램들을 표시하는 것은 각각의 눈에 하나씩 2개의 홀로그램을 필요로 한다.
본 발명의 일부 예시적인 실시예들에서, 2개의 홀로그램은 장면이 스테이지 상에 위치하는 경우에 동일 장면의 2개의 상이한 양태, 즉 관찰자의 우측 눈에 의해 관찰되는 하나의 양태 및 관찰자의 좌측 눈에 의해 관찰되는 다른 양태이다. 이러한 방식으로, 관찰자는 장면의 보다 양호한 깊이 느낌을 가질 수 있다.
단일 홀로그램
일부 실시예들에서, 시스템은 모든 방향으로, 예를 들어 360도 주위로 단일 홀로그램을 투영한다. 그러한 시스템은 후술하는 바와 같은 워크 어라운드 시스템보다 더 간단하고 더 적은 비용으로 제조될 수 있다. 시스템은 눈 추적 없이 그리고 특정 관찰자에게 튜닝되지 않고 충분히 기능할 수 있다. 그러한 시스템의 추가 이익은 SLM을 제어하는 데 필요한 계산이 복수의 사용자 각각에게 충분한 홀로그래픽 뷰를 제공하는 데 필요한 계산에 비해 매우 간단하다는 점이다.
일부 실시예들에서, 계산 유닛은 2개의 오버레이된 홀로그램으로 이루어지는 단일 홀로그램을 생성하도록 SLM을 제어한다. 선택적으로, 관찰자는 각각의 눈으로부터 상이한 이미지를 필터링하는 안경을 구비한다. 하나의 그러한 실시예는 이 분야에 공지된 2-컬러 입체 사진을 이용한다.
일부 실시예들에서, 단일 홀로그램은 상이한 높이들로부터 관찰될 수 있도록 투영된다. 그러한 일부 실시예들에서는, 동일한 홀로그램이 상이한 높이들로 그리고 각각의 높이에서 360도 주위에 투영된다. 예를 들어, 홀로그램은 프리즘들을 이용하여 증식되며, 따라서 관찰자들은 여러 상이한 높이에서 동일 홀로그램을 보게 된다.
다수의 관찰자 및/또는 360도 워크 어라운드
도 5의 실시예는 접안 렌즈(320)의 방향을 보는 관찰자들에게 홀로그램들을 표시하는 것을 가능하게 한다. 관찰자가 스테이지 주위를 이동하는 것을 가능하게 하게나, 상이한 장소들로부터 스테이지를 보는 상이한 관찰자들에게 홀로그램들을 표시하기 위해, 접안 렌즈(320)는 도 6a에 도시된 바와 같이 둥글게 제조될 수 있다.
도 6a는 공중에 떠있는 것으로 도시된 심장의 이미지 홀로그램(635)을 나타내는 시스템(600)의 도면이다. 도면은 회전 포물면으로서 형성된 내부 반사면을 선택적으로 갖는 접안 렌즈(320)를 주로 도시한다. 이 옵션에서, 접안 렌즈(320) 내의 각각의 수직 단면은 포물선의 형상을 가지며, 각각의 수평 단면은 원의 형상을 갖는다. 대안으로, 접안 렌즈(320)는 구의 슬라이스이다. 수평 단면들은 원들이고, 수직 단면들은 원호들이다.
도 6b는 시스템(600)의 개략도이다. 접안 렌즈(320)는 도 6a에 도시된 둥근 접안 렌즈의 2개의 대향 수직 단면에 의해 표현된다. 도면은 다른 광학 요소들로부터 멀어지게 그리고 접안 렌즈(320) 내로 광을 시프트시켜, 다른 광학 요소들이 접안 렌즈(320)가 회전 미러(510)로부터의 반사들을 수신하지 못하게 하는 것을 방지하는 데 사용되는 원통 미러(605)를 또한 도시한다. 도 6b에 도시된 다른 광학 요소들은 도 4 또는 도 5에 도시된 것들과 구조 및 기능에서 유사하다.
미러(605)는 생략될 수 있으며, 광선은 다른 수단에 의해 시프트될 수 있다. 예컨대, 미러(510)는 편의를 위해 접안 렌즈(320)를 도시하지 않은 도 6c에서와 같이 그가 회전하는 축에 대해 경사질 수 있다.
원통 미러(605)는 하나 이상의 평면 미러로 대체될 수 있다.
원통 미러(605)에 의해 또는 미러(605)를 대체하는 평면 미러에 의해 유발되는 왜곡들은 선택적으로 SLM의 의해 생성되는 이미지의 사전 왜곡에 의해 교정된다.
미러(605)의 사용은 선택적으로 SLM에서 관찰자로의 광 경로의 실제 길이를 제한하며, 미러(605)의 생략은 선택적으로 제한을 제거하고, 미러(605)를 보상하는 사전 왜곡에 대한 필요성을 제거한다.
접안 렌즈(320)는 하나 이상의 평면 미러로 대체될 수 있다.
접안 렌즈(320)에 의해 유발되는 왜곡들은 선택적으로 SLM에 의해 생성되는 이미지의 사전 왜곡에 의해 교정된다.
미러(605) 및/또는 평면 접안 렌즈(320)에 대한 평면 미러 교체들을 이용할 때, 평면 미러들이 서로 인접하는 위치들은 선택적으로 이미지를 투영하는 데 사용되지 않는다. 옵션인 인코더는 광 경로가 그러한 위치들과 교차하는 시기를 검출하며, 그 시간 동안에는 이미지가 투영되지 않는다.
선택적으로, 광학 시스템의 공간 커버리지 내에 갭들이 존재할 수 있으며, 선택적으로 옵션인 인코더가 광 경로가 그러한 갭들과 교차하는 시기를 검출하고, 그 시간 동안에는 이미지가 투영되지 않는다.
선택적으로, 미러(510)는 적어도 약 24Hz의 주파수로 그의 축(515) 주위를 회전하며, SLM은 이미지 SLM이 상이한 위치, 예컨대 동일 관찰자의 다른 눈, 다른 관찰자의 눈, 또는 동일 관찰자가 이동한 후의 동일 관찰자의 동일한 눈으로 투영될 때마다 상이한 홀로그램을 생성한다.
본 발명의 일부 실시예들에서, 미러(510)의 양면은 반사성이며, 따라서 미러의 각각의 회전시에 360도 투영각에 걸치는 미러 주위 전체로, 또는 150도 이상, 170도 이상, 180도 이상, 220도 이상, 260도 이상 또는 중간 각도들과 같은 더 작은 각도로 이미지들이 투영될 수 있다. 선택적으로, 미러(510)의 중심에는 비반사 포인트가 존재하여, 0차 반사들(즉, 광원의 반사들)을 제거한다. 0차 반사들은 광이 미러(510)의 중심에 도달하는 것을 방지하거나 임의의 다른 방식에 의해 미러(510)의 중심으로부터 반사되는 것을 방지함으로써 유사하게 생략될 수 있다.
본 발명의 예시적인 실시예에서, 상이한 각도들로부터 관찰되는 이미지는 (예를 들어, 평판 디스플레이 또는 다른 표준 2D 이미징 시스템상에 있으므로) 왜곡되지 않는다.
여기에 설명되는 방법들 및 장치들은 예를 들어 10도 내지 150도 사이, 예를 들어 100도 미만, 80도 미만, 45도 미만, 30도 미만 또는 중간 각도들의 더 작은 각도의 디스플레이들, 특히 공중 부양 디스플레이들에 대해서도 이용될 수 있다는 점에 유의한다.
일부 실시예들에서, 상이한 관찰자들 및/또는 상이한 눈들은 상이한 타입의 이미지들을 보며, 예를 들어 하나의 눈은 2D 이미지를 보고, 다른 눈은 3D 또는 홀로그램 이미지를 볼 수 있다. 선택적으로, 적소 내로 회전하고 그리고/또는 회전 평면 미러(예를 들어, 510)에 의해 적시에 제공되는 시선을 갖는 시스템 내의 상이한 이미지 생성 모듈들에 의해 상이한 이미지들이 생성된다.
예시적인 광원
본 발명의 예시적인 실시예들에서, 광원은 근축 객체를 생성하기 위해 평행 광(그리고 일부 실시예들에서는 코히런트 광)을 제공한다. 평행 광원들의 비제한적인 예들은 레이저들 및 LED들을 포함한다.
일부 실시예들에서, 눈에 공급되는 10-100μW의 광원이 사용된다.
이러한 광 강도는 선택적으로 회전 미러(510)와 접안 렌즈(320) 사이의 거리가 1m이고 미러가 30Hz로 회전하는 실시예들에 대해 선택된다. 전술한 광 강도를 선택하기 위한 고려 사항들은 다음과 같이 요약될 수 있다.
조명되는 방 안에서 그러한 시스템을 이용하여 관찰자에게 이미지를 표시하기 위해, 관찰자의 동공에서의 광 전력은 어두운 방에서 약 10μW, 조명되는 방에서는 최대 100μW이어야 한다.
10μW의 추정은 다음의 고려 사항들에 기초한다.
설명되는 실시예에서, 광선은 각각의 회전시에 5μs 동안 동공에 들어간다. 이러한 추정은 조명되는 방안에서의 동공의 직경이 약 1mm이라는 가정에 기초한다. 미러에서 접안 렌즈로 진행하는 광선의 먼 포인트가 미러의 각각의 회전에서 6.28m(2πR) 이동하고, 미러는 초당 30번 회전하므로, 먼 포인트는 초당 약 30 X 6.28 = 190m = 190,000mm를 이동한다.
따라서, 빔에 의해 대략 5μs인 1/190,000초에 1mm가 스캐닝된다.
선명한 이미지를 제공하기 위해, 1nW의 광이 50ms 동안 동공에 도달해야 한다.
광은 5μs 동안 눈을 지나가므로, 시스템은 50ms가 아니라 5μs 내에 모든 광을 제공해야 한다. 따라서, 1nW보다 10,000배 큰 전력이 필요하다. 1nW X 10,000 = 10μW.
위의 추정은 평균적인 실내 조명 조건들 하에서 이미지를 표시하는 데에 적합하다. 방이 더 많이 조명되는 경우, 선택적으로 더 높은 광 강도, 예를 들어 2, 5 또는 10배 더 큰 광 강도가 제공된다.
예시적인 접안 렌즈
예시적인 실시예들에서, 접안 렌즈(320)는 광학적으로 활성인 내면, 예컨대 곡선 반사 내면을 갖는 공동체이다. 선택적으로, 광학적으로 활성인 내면은 예를 들어 곡선 미러의 반사면이다. 선택적으로, 내면은 렌즈의 표면이다.
선택적으로, 공동 접안 렌즈는 미러(510)로부터 도달하는 광을 수렴시킨다. 선택적으로, 공동 접안 렌즈(320)는 각각의 포인트에서 2개의 유한 곡률 반경을 정의한다. 선택적으로, 2개의 곡률 반경은 구형 셀에서와 같이 서로 동일하다.
선택적으로, 접안 렌즈의 반사 내면은 폐쇄면이다. 선택적으로, 이것은 개방면이며, 제한된 시야각으로부터 이미지들을 관찰하는 것을 가능하게 한다. 예컨대, 일부 실시예에서, 접안 렌즈는 원의 60도 호, 절반 또는 3/4을 축 주위로 회전시킴으로써 형성되는 회전 입체의 형상을 가지며, 따라서 호의 내측은 일반적으로 축을 향한다. 이러한 실시예들은 스테이지 주위의 180도 또는 270도로부터만 이미지들을 보는 것을 허용할 수 있는데, 그 이유는 스테이지의 배경에 접안 렌즈가 없는 위치로부터 스테이지를 보는 관찰자는 접안 렌즈가 이동하지 않거나, 일부 실시예들에서는 가능할 때 이동되지 않는 한, 이미지를 보지 못하기 때문이다.
일부 실시예들에서, 공동 접안 렌즈의 형상은 호의 오목 측이 일반적으로 향하는 축 주위로 호를 회전시킴으로써 형성되는 회전 입체이다. 선택적으로, 회전축과 호 사이의 거리는 호의 반경과 동일하다. 대안으로서, 회전축과 호의 거리는 호의 반경과 다르다.
일부 실시예들에서, 공동 접안 렌즈는 호로부터의 거리가 호의 반경과 다른 축 주위로 호를 회전시킴으로써 얻어지는 회전 입체의 형태를 갖는다.
일부 실시예들에서, 공동 접안 렌즈는 포물선의 대칭축에 수직인 축 주위로 포물선을 회전시킴으로써 형성되는, 예를 들어 회전 포물면의 일부를 형성하는 포물면이다.
구형 접안 렌즈들은 포물선 접안 렌즈들보다 제조하기가 쉬울 수 있다. 한편, 포물선 접안 렌즈는 수차들에 덜 민감할 수 있다. 그러나, 일부 실시예들에서는, 시스템에 의해 처리되는 객체들 및 이미지들의 근축 성질로 인해 수차들은 작거나 심지어 무시할 수 있다. 선택적으로 또는 대안으로서, 광학 시스템 및/또는 관찰자 가시 능력에서의 그러한 수차들 또는 다른 수차들은 사전 보상을 제공하는 적응 이미지를 생성함으로써 보상된다.
선택적으로, 회전 미러(510)는 접안 렌즈의 중심에 위치하며, 회전시에 광을 접안 렌즈의 상이한 부분들로 지향시킨다.
선택적으로, 스테이지는 접안 렌즈 내에 위치한다.
선택적으로, 전체 광 경로는 접안 렌즈 내에 위치한다.
일부 실시예들에서, 이미지를 보기 위해, 관찰자는 장소에 접안 렌즈 반사면의 적어도 일부를 갖는 스테이지를 관찰해야 한다.
선택적으로, 관찰자는 외부로부터 접안 렌즈를 관찰한다.
선택적으로, 관찰자는 접안 렌즈 내에 있으며, 예를 들어 반사벽 및/또는 천장을 갖거나 그에 장착된 접안 렌즈 및/또는 접안 렌즈의 부분들을 갖는 구형 방 안에 앉아 있거나, 서 있거나, 걷거나 또는 누워 있다. 선택적으로, 시각 추적기가 접안 렌즈를 이미징하고, 이미지를 이용하여 이미지가 투영될 수 있는 곳 및 투영될 수 없는 곳을 결정하며, 그리고/또는 거리 및 광 레벨과 같은 이미징 파라미터들을 조정하는 데 사용된다. 선택적으로, 그러한 접안 렌즈는 디스플레이 시스템 내의 추적기 카메라 또는 다른 이미징 모듈에 의해 관찰 가능한, O표 또는 X표와 같은 하나 이상의 마킹들을 포함한다.
예시적인 모듈식 투영 시스템
본 발명의 일부 실시예들에서는, 둘 이상의 SLM을 이용하여 상이한 홀로그램들을 상이한 눈들, 관찰자들 및/또는 위치들에 제공한다. 예를 들어, 일 실시예에서는, 관찰자의 한 눈에 대해 객체 홀로그램들을 생성하도록 각각 전용화된 2개의 상이한 SLM이 존재한다. 일부 실시예들에서, 각각의 SLM은 여러 개의 객체 홀로그램들, 예를 들어 각각의 눈에 대해 하나씩, 3명의 상이한 관찰자에 대해 최대 6개의 상이한 홀로그램을 순차적으로 생성하며, 회전 미러는 홀로그램이 생성된 뷰에 대해 홀로그램들의 각각을 스테이지로 그리고 SLM 이미지들의 각각을 눈으로 가져간다.
선택적으로, 각각의 SLM은 그 자신의 광학 시스템(210)을 구비하며, 모든 시스템들은 이미지 홀로그램들을 동일 스테이지에, 선택적으로 스테이지 상의 동일 포인트에 제공하도록 공동 튜닝된다. 이러한 옵션은 예를 들어 관찰자들이 소정의 사전 정의된 영역들로 제한되어 360도의 전체 커버리지가 필요하지 않을 때 이로울 수 있다.
본 발명의 일부 실시예들에서는, 둘 이상의 SLM이 동시에 사용되며, 이들 각각은 그 자신의 대물 렌즈를 갖고, 이들 모두는 공통 접안 렌즈 및 회전 미러를 갖는다. 이것은 관찰자의 눈에 상이한 타입 및/또는 컬러인 경우에도 하나의 SLM에 의해 생성된 이미지들을 다른 SLM에 의해 생성된 이미지상에 오버레이하는 것을 가능하게 한다는 점에 유의한다.
그러한 하나의 배열이 도 7에 도시되며, 도 7은 공통 접안 렌즈(320) 및 공통 회전 미러(510)를 구비하는 2개의 SLM(20', 20")을 포함하는 투영 시스템(700)의 도시한다. 아래에서, SLM 자체를 포함하는, 단일 SLM에 전용화된 투영 시스템의 부분들은 유닛 셀로서 지칭된다. 도 7에서, 각각의 유닛 셀은 그 자신의 베이스(710, 720, 730) 상에 표시되며, 이는 시스템(700)의 모듈식 구성을 가능하게 한다.
일부 실시예들에서, 각각의 유닛 셀은 유닛 셀과 관련된 상이한 관찰자에 의해 또는 상이한 복수의 관찰자에 의해 관찰될 홀로그램들의 생성에 전용화된다. 선택적으로, 특정 유닛 셀(들)과 특정 관찰자(들)의 연관성은 동작 동안 변하지 않는다.
선택적으로, 관찰자들은 사전 결정된 장소들 내에, 예컨대 스테이지 주위의 동심원들 내에 배열된 고정 의자들에 않아 있다. 이 경우, 예를 들어 요소(410)를 이용하여 광학 길이를 조정하는 것은 옵션일 뿐, 때로는 생략될 수 있다. 마찬가지로, 얼굴 감지 및/또는 추적이 생략될 수 있다.
선택적으로, 유닛 셀과 관찰자의 연관성은 관찰자들의 위치에 따라 변한다. 예컨대, 이것은 소정의 유닛 셀과 관련된 하나의 관찰자로부터 다른 관찰자로의 스위칭이 V형 미러의 많은 이동을 필요로 하지 않는 경우에 편리할 수 있다. 그러나, 일부 실시예들에서는, 관찰자와 스테이지 사이의 거리가 변할 때, V형 미러는 이동해야 한다. 따라서, 일부 실시예들에서, 하나의 SLM과 관련된 2명의 관찰자가 별개로 이동하여, 그들 중 하나가 다른 하나보다 스테이지에 훨씬 더 가까울 때, 관찰자들 중 하나는 다른 유닛 셀과 관련되므로, V형 미러를 앞뒤로 큰 거리를 반복적으로 이동시킬 필요가 없어진다.
360도 시트 어라운드 ( sit - around ) 홀로그래픽 TV
이전 섹션에서 설명된 실시예들은 각각의 관찰자(또는 심지어 각각의 관찰자의 각각의 눈)가 상이한 홀로그램 또는 비디오 스트림을 보는 것을 가능하게 하는 반면, 본 발명의 일부 실시예들은 모든 관찰자들이 양 눈으로 동일 홀로그램을 보는 것을 가능하게 한다. 이러한 방식으로, 많은 사람들이 표준 TV 또는 영화를 보는 것과 같이 그러나 홀로그래픽 픽처들을 이용하여 정확히 동일한 경험을 모아 가질 수 있다. 충분한 깊이 느낌은 각각의 눈으로 상이한 홀로그램을 보는 것을 필요로 하지만, 양 눈으로 동일 홀로그램을 보는 것은 때로는 일부 자동 입체 디스플레이들로 얻을 수 있는 것보다 양호할 수 있는 소정의 깊이 느낌을 제공한다.
따라서, 본 발명의 일부 실시예들에서는, 회전 미러의 각각의 회전의 전체 지속 기간 동안 단일 홀로그램이 투영되며, 스테이지의 주위에 전체에 앉아 있는 사람들은 동일한 홀로그래픽 비디오 스트림을 볼 수 있다.
이러한 시스템은 스테이지 주위의 관찰자들의 얼굴들의 각도 추적을 필요로 하지 않으며, 스테이지로부터의 관찰자의 거리를 아는 것으로 충분할 수 있다.
선택적으로, 시트 어라운드 구성에서, 관찰자들은 스테이지 주위의 동심원들 내에 앉으며, 따라서 관찰자들의 각각의 그룹은 스테이지로부터 상이한 거리에 위치한다. 선택적으로, 착석들은 일정하며, 따라서 거리들은 사전 결정된다.
그러한 일부 실시예들에서는, 관찰자들의 각각의 원에 전용화된 하나의 유닛 셀이 존재하며, 따라서 온라인 광 경로 조정이 생략될 수 있다.
본 설명 및 청구항들에서는, 관찰자가 보고 있을 때 액션이 취해지는 경우, 액션은 온라인으로 취해지는 것으로 지칭된다. 선택적으로, 온라인 액션들은 관찰자가 보고 있는 것, 픽처의 품질 및/또는 픽처의 배향을 변화시킨다.
일부 실시예들에서는, 동심 착석 배열을 이용하여, 상이한 관찰자들에게 상이한 관찰 스트림들을 제공한다. 예컨대, 각각의 원은 상이한 영화를 볼 수 있다. 이러한 배열은 하나의 유닛 셀이 각각의 영화를 보여줄 수 있으므로 특히 간단하며, 시스템은 상이한 원들 각각에 앉아 있는 관찰자들에게 상이한 SLM으로부터 오는 상이한 영화를 보여줄 것이다.
선택적으로, 동일 원의 상이한 영역들이 상이한 영화들을 표시한다. 상이한 관찰자들에게 표시되는 상이한 콘텐츠는 유사한 성질(예를 들어, 2개의 영화) 또는 상이한 성질(예를 들어, 하나의 관찰자가 영화를 보고, 다른 관찰자가 2D 정지 이미지를 봄)을 가질 수 있다는 점에 유의해야 한다.
선택적으로, 투영되는 이미지는 2D 이미지, 예를 들어 전통적인 TV 쇼이며, 시스템은 TV가 그 주위의 최대 360도로부터 시청되는 것을 가능하게 한다. 선택적으로, 상이한 콘텐츠가 상이한 영역들(예를 들어, 2, 3, 4, 5, 6 또는 그 이상의 상이한 콘텐츠/채널)에 투영될 수 있다. 예를 들어, 0도 내지 90도의 각도로부터 디스플레이를 보는 관찰자들은 스포츠 채널을 볼 수 있고, 91도 내지 180도의 시야각으로부터 디스플레이를 보는 관찰자들은 뉴스 채널을 볼 수 있으며, 기타 등등이다. 선택적으로, 예를 들어 근축 LCD 디스플레이들을 이용하여 2D 이미지 스트림들이 표시되며, 이는 LCD의 통상적인 제어와 더불어, 본 명세서에서 설명되는 바와 같은 광학적 조작을 필요로 할 수 있다. 상이한 관찰자들이 상이한 미디어 스트림들을 볼 때, 개인용 헤드폰들을 통해 오디오를 제공하는 것이 바람직할 수 있다. 360도보다 작은 각도들, 예를 들어 100도, 160도, 180도, 210도 또는 더 작거나 크거나 중간 각도들도 지원될 수 있다는 점에 유의한다. 예를 들어, (유효한, 반드시 순간적은 아닌) 시야각은 예를 들어 적어도 10도, 20도, 30도, 40도, 50도 또는 중간 각도들일 수 있다. 작은 시야각 이미지 생성기가 예를 들어 적어도 5, 10, 30 또는 100배만큼 면적이 더 큰 넓은 시야각을 제공하도록 동작하는 것이 본 발명의 일부 실시예들의 구체적인 특징이다. 관찰자가 존재할 수 있는 공간의 모든 부분들에 대해 홀로그램을 생성하는 것이 아니라, 사용자가 존재할 것으로 예상되는 공간의 부분들에 대해서만 홀로그램(또는 다른 이미지)이 계산되고 그리고/또는 표시되는 것이 본 발명의 일부 실시예들의 구체적인 특징이다.
본 발명의 일부 실시예들에서는, 동일한 일반 콘텐츠(예컨대, 집)가 제공되지만, 상이한 데이터의 계층들(예컨대, 배관, 전기 배선)이 상이한 각도들(예를 들어, 회전 및/또는 방위의 변경들)로 제공된다. 선택적으로, 시야각이 변경됨에 따라 하나 이상의 데이터 타입의 투명성의 무결함 변경이 이루어진다.
복수의 이미지가 하나 이상의 관찰자에게 실질적으로 동시에, 예컨대 1초 미만 내에, 0.1초 미만 내에, 비디오 레이트로 또는 더 빠르게 표시되는 것이 본 발명의 일부 실시예들의 구체적인 특징이다. 본 발명의 예시적인 실시예에서, 시스템은 예를 들어 1, 2, 3, 4, 5, 6 또는 그 이상의 이미지 생성 모듈을 이용하여 초당 적어도 10, 적어도 20, 적어도 30, 적어도 40, 적어도 80, 적어도 150 또는 중간 수의 상이한 이미지들/홀로그램들을 생성한다(또는 투영한다).
예시적인 얼룩 처리
가능한 얼룩 문제들을 인식하기 위하여, 이미지 SLM이 약 2cm의 폭을 갖고, 관찰자가 회전 미러로부터 약 1m의 거리(약 6m의 원주를 의미함)에 있으며, 회전 미러가 30Hz로 회전하는 실시예를 고려하는 것이 유용할 수 있다. 이러한 특정 실시예에서, 단일 이미지가 일정하게 그리고 계속적으로 투영되는 경우, 이미지 SLM은 약 180m/초의 선형 속도로 관찰자의 눈을 스위핑하며, 이러한 스위핑은 홀로그램의 얼룩을 유발할 수 있다.
그러한 가능한 얼룩을 처리하는 한 가지 방법은 미러가 이미지 SLM을 관찰자의 눈 근처로 지향시키는 시간의 작은 부분 동안에만(이하, 투영 기간) 시스템을 구동하는 것이다. 위의 예에서, 투영 기간은 미러 회전 기간의 약 2cm/6m = 1/300이다. 미러 회전 기간은 30Hz에서 1/30초이다. 따라서, 이 예에서 투영 기간은 1/9000초이며, 이는 약 100μs이다. 이 시간의 작은 부분, 예를 들어 약 1 내지 약 20μs 동안만 레이저를 구동하는 것은 일반적으로 모든 얼룩을 줄인다. 선택적으로, 레이저는 투영 기간마다 여러 번 구동되는데, 예를 들어 사이에 18μs의 비구동 기간을 갖는 5번의 2μs 구동이 이루어진다. 선택적으로, 시스템은 각각의 미러 회전시에 각각의 눈이 한 번만 시스템에 노출되도록 튜닝된다. 위의 예에서, 이것은 예를 들어 20μs의 폭을 갖는 펄스를 80μs마다 제공함으로써 달성될 수 있다.
일부 실시예들에서, 레이저는 펄스들로 구동된다. 추가로 또는 대안으로서, 레이저 광은 연속적이며, 초퍼(chopper)를 이용하여 광을 더 짧은 플래시들로 초핑한다.
대안으로 또는 추가로, 광원은 선으로, 예컨대 SLM을 예를 들어 수평으로 스캐닝하는 수직선으로서 형성된다. 이 실시예에서, 각각의 수직 조명은 상이한 그리고 매우 좁은 각도로부터 장면을 기술하는 서브 홀로그램을 정의한다. 서브 홀로그램은 수직 슬릿 윈도로서 눈에 도달한다. 선택적으로, 스캐닝은 전체 SLM을 커버하며, 따라서 눈 근처에 모든 SLM 이미지를 표시하지만, 눈은 정확히 눈을 향하는 것과 동일한 것인 SLM의 수직 슬라이스만을 볼 것이다.
얼룩을 필터링하는 하나의 가능한 방법은 회전 미러(510') 내의 슬릿(513)(도 8 참조)을 이용하는 슬릿 조명 소스를 이용하는 것이다. 회전 미러(510')는 선택적으로 부분적으로 반사성이며, 회전 미러(510') 내의 슬릿(513)은 광을 미러 축(515)으로부터 렌즈(310)로, 렌즈로부터 SLM으로, SLM으로부터 다시 렌즈(310)로, 렌즈로부터 다시 슬릿(513)으로, 슬릿으로부터 반사하여 접안 렌즈(320)로 그리고 관찰자의 눈으로 전송한다.
미러를 회전시키지 않고 단일 관찰자를 추적하는 시스템들은 선택적으로 통상적으로 스트로빙(strobing)되어 얼룩 문제들을 극복하는데, 그 이유는 이러한 시스템들에서는 얼룩이 덜 현저하기 때문이다.
예시적인 눈 추적 유닛들
눈 추적 시스템들은 이 분야에 공지되어 있으며, 추적 품질이 SLM 이미지의 크기와 양립하는 한, 임의의 그러한 공지 시스템이 본 발명의 실시예들에서 사용하기에 적합할 수 있고, 추적은 각각의 방향에서의 눈의 위치의 추정을 동일 방향에서의 이미지 관찰 가능 공간의 크기보다 작은 허용 한계 내에서 허용할 만큼 충분히 양호해야 한다.
본 발명의 예시적인 실시예에서, 추적 유닛은 관찰자의 얼굴의 중심의 위치만을 제공하며, 눈들의 위치들은 관찰자의 얼굴의 지식에 기초하여 또는 관찰자들의 눈들 사이의 거리에 관한 일반 정보를 이용하여 계산된다. 그러한 정보는 상이한 관찰 그룹들, 예컨대 어린이들, 성인들 등에 대해 제공될 수 있다. 지식은 예를 들어 추적 전에 관찰자의 얼굴을 측정함으로써 얻어질 수 있다. 선택적으로, 측정은 추적 유닛으로부터 알려진 거리에 서서 추적 유닛을 들여다 보는 것을 포함한다. 이어서, 추적 유닛은 관찰자의 눈들 및 알려진 거리로부터 보여지는 바와 같은 눈들 사이의 거리를 감지하고, 이러한 정보를 이용하여, 관찰자의 눈들 사이의 감지된 거리에 응답하여 추적 동안에 추적 유닛과 관찰자 사이의 거리를 계산한다.
본 발명의 예시적인 실시예에서, 추적 유닛은 본질적으로 광학 시스템과 동일한 좌표계를 갖도록 구성된다. 예컨대, 도 7에 도시된 유닛 셀들 중 하나는 추적 유닛 광학계를 가질 수 있다.
도 9는 추적 유닛 셀에서 유용한 예시적인 추적 유닛(800)의 개략도이다. 추적 유닛(800)은 추적 유닛(800)의 후방 초점 거리에 배치된 광원(810) 및 광 검출기(820)를 포함한다. 선택적으로, 추적 유닛(800)은 광원(810)에 의해 생성되는 파장과 다른 파장들의 광을 필터링하는 필터(805)도 포함한다.
광원(810)에 의해 제공되고 검출기(820)에 의해 검출되는 광은 눈들에 의해 선택적으로 반사되는 종류의 광이다. 그러한 목적들을 위해 적외선 광을 사용하는 것이 이 분야에 공지되어 있다.
본 발명의 예시적인 실시예에서, 광원(810)으로부터의 광은 분할기(825)에 의해 분할되며, 따라서 광의 일부는 검출기(820)로 가고, 다른 부분은 관찰자의 눈(830)으로 간다. 눈(830)으로부터 반사된 광은 검출기로 되돌아와서 검출된다. 이것은 직접 광과 반사 광 사이의 간섭의 검출을 위해 코히런트 광이 사용되는 경우 또는 순간적인 광 레벨의 기준선을 제공하기 위해 반사 광이 사용되는 경우에 그러할 수 있다. 다른 실시예들에서는, 광이 다시 검출기로 직접 반사되는 것이 아니라, 눈들 또는 얼굴(또는 모자, 스티커 또는 안경과 같은 것들 상의 인공 마커)에 의해 반사되는 광만이 다시 검출기로 반사된다.
도시된 실시예에서, 빔 분할기로부터의 광은 광학 요소(310), 회전 미러(510) 및 접안 렌즈(320)를 통해 관찰자의 눈에 도달하며, 이들 요소는 모두 위에서 상세히 설명되었다. 관찰자의 눈으로부터 IR 검출기로 가는 도중에, 선택적으로 광은 동일한 광 경로를 통해 그러나 역순으로 이동한다.
반사 광이 검출기(820)에서 검출되는 시간에 회전 미러가 향하는 방향은 눈의 방향에 대응한다. 관찰자의 눈의 수직 높이는 선택적으로 반사 광이 검출기(820)에 충돌하는 포인트에 기초하여 추정된다. 선택적으로, 이미지의 높이는 광학 수단에 의해 그리고/또는 이미지 자체를 이동시킴으로써(예컨대, SLM 상의 그의 인코딩을 시프트시킴으로써) 조정된다. 선택적으로, 상이한 관찰 방향들은 (예를 들어, 상이한 관찰자 높이들 및/또는 거리들에 대해) 상이한 높이들을 갖는다.
선택적으로, 소정의 사전 결정된 거리, 예를 들어 약 6.4cm±1.5cm 내의 2개의 눈의 검출은 동일 관찰자의 2개의 눈의 검출로서 해석된다.
선택적으로, 관찰자의 눈들 사이의 거리는 추적이 시작되기 전에 측정되며, 관찰자의 2개의 눈으로부터 수신된 신호들 사이의 시간차는 관찰자와 시스템 사이의 거리를 추정하는 데 사용된다.
본 발명의 예시적인 실시예에서, 눈들의 검출은 (예를 들어, 정확한 검출들에 비해 10%, 30% 또는 100% 또는 중간 또는 더 큰 비율의 잘못된 검출들을 갖는) 검출을 향해 치우치도록 조정된다. 본 발명의 예시적인 실시예에서, 눈이 없는 곳으로 이미지를 전송하는 것은 시스템 컴포넌트 선택에 의해 아마도 사전 보상되는 계산 비용만을 갖는 반면, 눈이 존재하는 곳으로 이미지를 전송하지 않는 것은 디스플레이가 올바르게 동작하는 것을 방해할 수 있다.
홀로그램들의 예시적인 조정
관찰자가 객체 주위로 이동하면서 객체를 보고 있을 때, 관찰자는 각각의 포인트에서 객체의 상이한 면들을 본다.
본 발명의 일부 실시예들에 따라 표시되는 홀로그램은 광학 시스템 또는 홀로그램 생성 유닛의 어떠한 조정 없이도 유사한 효과를 제공한다. 즉, 단일 홀로그래픽 프레임의 표시는 충분한 워크 어라운드 경험을 제공한다. 그러나, 이것은 홀로그램 관찰 가능 공간의 경계들 내에 눈을 유지하는 워크 어라운드로 한정된다.
일부 실시예들에서, 관찰자가 이리저리 이동하여 눈이 이미지 관찰 가능 공간 밖에 위치할 때, 광학 시스템은 눈들을 따르도록 조정되지만, 관찰자에게 표시되는 홀로그램은 변하지 않는다. 이러한 실시예들에서, 지구의 홀로그램 주위를 이동하는 관찰자는 그가 서 있는지에 관계없이 항상 예를 들어 유럽을 본다. 선택적으로, 이러한 실시예에서, 관찰자의 눈들을 따르는 대신에, 시스템은 단순히 동일 홀로그램을 모든 방향에서 이용할 수 있게 한다.
일부 예시적인 실시예들에서, 관찰자가 이동할 때, 그에게 표시되는 장면이 갱신되며, 따라서 지구의 홀로그래프의 주위를 이동할 때, 관찰자는 상이한 대륙들을 볼 수 있다. 선택적으로, 이것은 관찰자의 눈이 이미지 홀로그램의 관찰 가능 공간 밖으로 이동하는 것이 추적될 때마다 표시된 홀로그램을 갱신함으로써 달성된다. 시스템은 실제 객체가 스테이지 상에 위치한 경우에 관찰자가 객체의 어느 부분을 보았는지를 추정하고, 스테이지 상에 그 부분의 홀로그램을 표시한다.
관찰자에 의해 관찰 가능한 장면 부분만의 홀로그램을 매번 투영하는 것은 관찰자에 의해 관찰되는 이미지의 품질을 저하시키지 않고 많은 계산 능력을 절약할 수 있게 한다.
본 발명의 일부 실시예들에서, 장면 자체는 시간 경과에 따라 변한다. 하나의 구체적인 예에서, 장면은 비디오 스트림이다. 그러한 경우에, 홀로그램은 관찰자의 눈이 이동하지 않는 경우에도 조정되어야 한다. 선택적으로, 그러한 조정들은 초당 약 24번 수행되는데, 그 이유는 그러한 주파수에서 사람의 마음이 유연한 움직임을 느낀다는 것이 이 분야에 공지되어 있기 때문이다.
선택적으로, 비디오 스트림의 홀로그램을 표시할 때, 홀로그램이 조정될 때마다(즉, 비디오 스트림의 다른 "프레임"의 홀로그램이 표시될 때마다), 시스템은 관찰자의 눈의 위치에 대해 갱신되며, 관찰자의 현재 시점으로부터 관찰자가 관찰 가능한 프레임의 부분들만을 투영한다. 예컨대, 이것은 농구 시합의 영화를 보는 관찰자가 좌석을 변경하여 다른 각도에서 시합을 보는 것을 가능하게 한다.
예시적인 시스템 및 제어
도 10은 투영 시스템의 일부 주요 유닛들 및 이들 간의 상호작용들을 도시하는 예시적인 시스템(900)의 간소화된 블록도이다.
시스템(900)은 홀로그램들을 생성하고 투영하도록 구동기(915)에 의해 구동되는 투영 유닛(910)을 포함한다. 투영 유닛(910)은 SLM(920)을 포함한다.
시스템(900)은 SLM(920)의 각각의 픽셀의 원하는 광학적 거동을 계산하기 위한 계산 유닛(930); 및 계산 유닛(930)에 의해 계산된 원하는 광학적 거동에 따라 SLM(920) 내의 각각의 픽셀의 광학적 거동을 구동하기 위한 SLM 구동기(940)를 더 포함한다.
계산 유닛(930)은 입력으로서 예를 들어 데이터 세트, 이미지 또는 비디오 스트림, 선택적으로 삼차원 또는 입체 이미지, 선택적으로 삼차원 또는 입체 이미지들의 스트림을 수신한다. 입력은 선택적으로 디지털 형태이다. 대안으로서, 입력은 아날로그 형태이다. 일부 실시예들에서, 3D 이미지의 표면만이 제공된다. 선택적으로, 데이터는 SLM으로의 스트리밍을 위해 사전 계산된다. 대안으로서, 유닛(930)은 예를 들어 후술하는 바와 같이 입력으로부터 SLM 데이터를 생성한다. 선택적으로, 유닛(930)은 (예를 들어, 사람 머리의 소정의 이동 속도를 가정하여) 사용자가 위치하거나 위치할 것으로 예상되는 관찰 방향에 대해서만 데이터를 생성하고 그리고/또는 입력을 렌더링한다. 선택적으로, 눈 추적기에 의한 새로운 사용자의 검출과 그에 대한 이미지(또는 완전한 이미지)의 표시 사이에는 예를 들어 데이터를 얻을 때의 지연 및/또는 그러한 데이터를 렌더링할 때의 지연으로 인해 지연(예를 들어, 수초 또는 수분의 1초)이 존재한다.
선택적으로, 입체 3D 이미지 스트림 데이터 또는 임의의 이미지 데이터를 시스템의 메모리에 미리 저장하고, 투영 동안, 저장된 데이터에 접근하여, 시스템을 제어하는 데 사용한다. 선택적으로, 투영 동안에 시스템을 제어하는 데 필요한 데이터가 온라인으로 수신되고 일시적으로만 저장된다.
계산 유닛(930)은 SLM의 의해 생성되는 홀로그램이 장면으로부터 방출되는 파면에 대응하는 파면을 재생하기 위해 SLM(920)의 각각의 픽셀의 광학적 거동이 어떠해야 하는지를 입력에 기초하여 계산한다. SLM 구동기(940)는 SLM의 픽셀들을 계산된 광학적 거동으로 구동한다.
선택적으로, 유닛(930)은 그의 수신된 데이터 및/또는 표시될 데이터를 시스템의 광학적 특성들, 관찰자들 및/또는 교정 프로세스를 고려하여 수정한다. 선택적으로, 교정 프로세스는 시각적이며, 그리고/또는 사용자의 포인팅 장치의 검출을 포함한다. 일례에서는, 그리드가 표시되고, 사용자는 그리드 상의 각각의 포인트를 "터치한다". 다른 예에서, 사용자는 일련의 이미지들을 보고, 예를 들어 컬러 품질, 형상, 공간 왜곡 및/또는 다른 이미지 특성들에 관한 피드백을 제공한다. 선택적으로, 입력은 이미지를 통해 또는 입력 장치(예컨대, 도시되지 않은 마우스 또는 버튼)를 이용하여 제공된다.
도시된 시스템은 추적 유닛(950)도 포함하며, 이 추적 유닛은 선택적으로 관찰자의 눈들의 위치에 관한 정보를 계산 유닛(930)에 제공하고, 따라서 계산 유닛(930)으로 하여금 관찰자가 그의 시점으로부터 장면의 어느 부분들을 보는지를 추정하고, 픽셀들의 광학적 거동을 계산하여 그러한 부분들로부터 방출되는 파면만을 생성하게 한다.
추가로 또는 대안으로, 추적 유닛(950)은 관찰자의 눈들의 위치들에 관한 정보를 투영 시스템(910)의 구동기(915)에 제공하여, 그 구동기로 하여금 생성된 홀로그램의 관찰 가능 공간의 위치를 관찰자의 눈들의 위치로 조정하게 한다.
예시적인 동작 시퀀스에서, 비디오 스트림이 계산 유닛(930)으로 입력되고, 계산 유닛은 SLM(920)의 다양한 픽셀들의 원하는 광학적 거동을 계산한다. 계산 유닛(930)은 계산된 값들을 SLM 구동기(940)로 전달하고, 이 구동기는 그에 따라 SLM(920)을 구동한다. 생성 및 투영 유닛(910)은 SLM(920)을 이용하여 객체 홀로그램을 생성하고, 객체 홀로그램을 투영한다.
이와 동시에, 추적 유닛은 관찰자의 위치 및 배향을 추적하고, 이러한 정보를 계산 유닛으로 전송한다. 계산 유닛은 이러한 정보를 이용하여, 장면으로부터 관찰자의 방향으로만 방출되는 광을 재생하는 간단한 홀로그램을 계산한다. 추적 유닛은 또한 관찰자의 눈의 위치 및 배향을 생성 및 투영 유닛(910)의 구동기(915)로 전송하고, 구동기(915)는 투영 유닛을 구동하여, 관찰자에 의해 관찰 가능한 홀로그램을 투영하게 한다.
도 11은 본 발명의 일 실시예에 따른, 스테이지를 보는 관찰자에 의해 관찰될 홀로그램들을 생성하고 투영하는 방법에서 취해지는 액션들의 흐름도이다.
105에서, 관찰자의 눈의 위치가 추정된다. 선택적으로, 양 눈의 위치들이 추정된다. 선택적으로, 관찰자가 보는 방향도 추정된다. 선택적으로, 시스템은 홀로그램들을 사전 정의된 스테이지로 투영하도록 구성되며, 관찰자의 눈 및 스테이지의 위치들이 관찰자가 보고 있는 방향을 결정한다.
110에서, 장면이 스테이지에 소정의 주어진 배향으로 위치하는 경우에 관찰자에 의해 관찰 가능한 장면 부분들이 관찰자의 눈의 위치에 기초하여 추정된다.
115에서, 관찰자에 의해 관찰될 110에서 추정된 장면의 부분들만의 홀로그램이 생성된다. 선택적으로, 이러한 홀로그램들은 홀로그램을 생성하는 데 필요한 다양한 SLM의 픽셀들의 광학적 거동을 계산하고 그에 따라 SLM을 구동함으로써 생성된다.
120에서, 115에서 생성된 홀로그램들이 투영되고, 따라서 관찰자는 스테이지를 볼 때 그의 위치로부터 홀로그램을 볼 것이다.
도 12는 주어진 각도에서 홀로그램을 보는 관찰자에 의해 관찰될 홀로그램을 생성하는 방법(150)에서 취해지는 액션들의 흐름도이다.
152에서, 관찰자의 위치가 취득된다. 관찰자의 위치의 취득은 선택적으로 추적 유닛으로부터 입력을 수신하는 단계를 포함한다. 선택적으로, 취득은 또한 상기 입력을 처리하는 단계를 포함한다. 취득이 완료될 때, 시스템은 관찰자의 위치, 및 장면이 실제로 스테이지 상에 있는 경우에 관찰자가 장면을 관찰했을 각도를 결정한다.
154에서, 입체 데이터에 접근한다. 선택적으로, 입체 데이터는 시스템의 메모리에 미리 저장된다. 선택적으로, 입체 데이터는 온라인으로, 즉 예를 들어 3D 이미징 장치, 예컨대 CT 이미저로부터 이미징 프로세스가 이루어지고 있는 동안에 수신된다.
입체 데이터로부터, 시스템은 관찰자에 의해 관찰될 152에서 결정된 뷰의 부분의 홀로그램을 생성하는 데 필요한 데이터를 필터링한다.
156에서, 컴퓨팅 시스템은 입체 데이터를 홀로그래픽 데이터로 변환하며, 이는 예를 들어 홀로그램을 생성하기 위하여 SLM의 활성 픽셀들 각각에 대해 원하는 굴절률을 설정하는 것을 포함한다. 선택적으로, SLM은 홀로그램을 생성할 때 발생하지 않을 비활성 픽셀들을 갖는다. 이러한 픽셀들은 선택적으로 (아래의) 160에서 조명되지 않는다. 선택적으로, 이러한 픽셀들의 조명 방지는 광원과 SLM 사이에 배치되는 추가적인 투과 또는 반사 LCD 또는 디지털 마이크로 미러 장치(DMD)에 의해 수행된다. 옵션인 추가적인 투과 또는 반사 LCD 또는 DMD는 도면들에 도시되지 않는다.
158에서, SLM은 각각의 픽셀이 사실상 그에 대해 설정된 굴절률을 갖도록 제어된다.
160에서, SLM은 객체 홀로그램을 생성하도록 조명된다.
홀로그램과의 예시적인 상호작용들
본 발명의 일부 실시예들은 관찰자가 홀로그램과 상호작용하는 것을 허용한다. 예컨대, 관찰자는 그의 손, 또는 임의의 다른 신체 부분, 또는 관찰자가 갖고 있는 임의의 객체, 예를 들어 포인터를 움직여 홀로그램을 터치할 수 있다. 선택적으로, 센서들이 관찰자의 손의 위치를 검출하고, 그에 따라 출력 장치를 제어한다. 일례에서, 벨을 터치하는 관찰자는 출력 장치가 울리게 한다.
다른 예에서, 관찰자는 홀로그램과 상호작용하여 장면을 조작할 수 있다. 예컨대, 자동차 홀로그램에서 엔진 커버를 터치하는 관찰자는 홀로그램이 자동차 엔진의 내부의 홀로그램으로 변하게 할 수 있다.
대안으로 또는 추가로, 홀로그램의 소정 부분을 터치하는 관찰자는 출력 장치가 시스템을 제어하여, 터치된 부분이 관찰자의 정면에 위치하는 홀로그램을 생성하게 할 수 있다. 예를 들어, 스위스에 면하는 지구를 관찰하는 관찰자는 지구에서 스페인을 터치할 수 있으며, 지구는 스페인이 관찰자의 정면으로 가도록 회전할 것이다.
대안으로 또는 추가로, 관찰자는 제어 패널을 통해 홀로그램과 상호작용하여, 공간 내에서 홀로그램을 이동시키고, 홀로그램을 소정의 사전 결정된 축 주위로 회전시키고, 홀로그램에 대해 회전축을 임시로 정의하고, 홀로그램을 임시로 정의된 축 주위로 회전시킬 수 있으며, 공간 내의 홀로그램의 배향 및/또는 위치에 대해 임의의 다른 조작을 수행할 수 있다.
선택적으로, 둘 이상의 관찰자는 동일 장면의 홀로그램들과 동시에 상호작용할 수 있다. 예컨대, 두 명의 관찰자는 그들의 정면에 있는 뷰의 동일 부분을 터치할 수 있으며, 각기 상이한 홀로그램을 보고 있지만(또는 심지어 그들 각자의 각각의 눈이 상이한 홀로그램을 보고 있지만), 그들이 장면의 동일 부분을 터치할 때, 예를 들어 양자가 벨을 터치할 때, 그들은 또한 서로를 터치한다.
컬러 이미지들
다양한 실시예들이 단색 이미지들과 관련하여 위에서 설명되었다. 그러나, 본 발명의 실시예들에 따른 시스템들 및 방법들에 의해 멀티컬러 이미지들도 제공될 수 있다.
일부 실시예들에서, 적색, 녹색 및 청색 광에 의해 순차적으로 조명되는 단일 SLM에 의해 컬러 홀로그램이 투영된다. 선택적으로, 컬러 장면이 3개의 단색 장면(하나의 적색, 하나의 녹색 및 하나의 청색)으로 처리되며, 계산 유닛은 회전시에 각각의 단색 장면을 재생하는 단색 홀로그램들 순차적으로 생성하기 위한 데이터를 SLM에 제공한다. 선택적으로, 광원들이 계산 유닛과 동기화되며, 따라서 각각의 단색 홀로그램은 대응하는 광에 의해 형성된다(적색 장면을 재생하는 홀로그램은 적색 광에 의해 생성되고, 기타 등등이다).
선택적으로, SLM들에 의해 생성된 홀로그램들을 스테이지로 투영하는 것과 동시에, SLM의 이미지들은 관찰자의 눈과 오버랩되도록 투영된다.
일부 실시예들에서, 적색, 녹색 및 청색 광이 3개의 상이한 SLM으로 투영되고, 각각의 SLM은 하나의 단색 장면을 재생한다. 일부 실시예들에서, 3개의 SLM 각각은 상이한 유닛 셀 내에 포함되며, 미러의 각각의 회전시에 모든 유닛 셀들의 이미지들이 순차적으로 스테이지로 투영되어, 관찰자는 멀티컬러 홀로그램을 보게 된다.
일부 실시예들에서, 3개의 SLM 모두는 단일 광학 시스템을 공유하며, 따라서 그들의 사이의 동기화는 광학적이다. 예컨대, 3개의 SLM은 단일 SLM 스크린의 3개 부분이다. 선택적으로, 광학 시스템들을 공유하는 SLM들은 모두 단일 유닛 셀 내에 포함된다.
컬러 홀로그램 이미지들을 생성하는 데 사용되는 광원은 예를 들어 3개의 상이한 레이저를 포함한다. 다른 예는 3개의 상이한 LED를 포함하는 광원이다.
다수의 SLM 의 예시적인 이용들
본 발명의 일부 실시예들에서, 객체 홀로그램의 생성은 전체 SLM 유닛의 구동을 필요로 하지 않는다. 이러한 경우들에서는, 하나의 SLM을 복수의 SLM 유닛으로 사용하는 것이 가능하다. 예컨대, 1000 X 1000 픽셀의 하나의 SLM은 각기 500 X 500 픽셀의 다수의 4 SLM으로서 기능하며, 후술하는 다수의 SLM을 이용하는 모든 이익들을 얻을 수 있다.
선택적으로, 여러 개의 SLM이 동일 관찰자의 동일 눈에 이미징된다. 이러한 배열은 여러 가지의 용도를 가질 수 있다.
예를 들어, 전술한 바와 같이, 일부 실시예들에서, 각각의 SLM은 단색 이미지(적색, 녹색 또는 청색)를 제공하고, 3개의 단색 이미지를 관찰하는 관찰자는 그들을 단일 멀티컬러 이미지로서 인식한다. 비홀로그램 이미지가 표시되지만, 컬러 SLM이 사용될 수 있다는 점에 유의한다. 대안으로서, 상이한 소스 컬러들이 홀로그램 생성 SLM의 상이한 부분으로 지향될 수 있으며, 이 홀로그램 생성 SLM은 선택적으로 섞이거나 혼합되는 상이한 컬러들에 대한 SLM 요소들을 구비한다.
다른 예시적인 실시예에서, 단일 SLM에 의해 제공되는 이미지보다 큰 이미지를 제공하기 위해 다수의 SLM이 사용된다. 시스템은 단일 SLM에 의해 각각 2개의 절반 객체를 형성하고 절반 객체들을 스테이지 상에 서로 가까이 이미징하도록 제어된다. 양 SLM들은 관찰자의 동일 눈과 오버랩되도록 이미징된다. 따라서, 관찰자는 동일 눈으로 각각의 절반 객체의 이미지인 2개의 이미지로 구성된 이미지를 본다. 구성된 이미지는 선택적으로 그를 구성하는 이미지들 중 임의의 이미지보다 크다.
다른 예시적인 실시예에서, 이미지가 관찰되는 각도를 확대하기 위해 다수의 SLM이 사용된다. 그러한 일 실시예에서는, 2개의 SLM이 관찰자의 근처에 서로 가까이, 선택적으로 2개의 SLM 이미지 사이에 소정의 오버랩을 갖도록 이미징된다. 2개의 SLM 각각은 선택적으로 동일 장면의 객체 홀로그램을 생성하며, 2개의 홀로그램은 스테이지에 이미징된다. 관찰자는 그의 눈이 어느 이미지 SLM과 오버랩되는지에 관계없이 이미지를 볼 수 있다. 이러한 배열은 시스템의 추적 메커니즘으로부터의 요구들을 완화할 수 있는데, 그 이유는 관찰자의 비교적 큰 이동들만이 시스템을 조정을 필요로 하기 때문이다.
다른 예시적인 실시예에서, 이미지가 관찰되는 각도를 확대하기 위해 다수의 SLM이 사용된다. 그러한 일 실시예에서는, 2개의 SLM이 관찰자의 근처에 서로 가까이, 선택적으로 2개의 SLM 이미지 사이에 관찰자의 동공에 대한 것보다 작은 소정의 오버랩을 갖도록 이미징된다. 2개의 SLM 각각은 선택적으로 동일 장면의 객체 홀로그램을 생성하며, 2개의 홀로그램은 스테이지에 이미징된다. 관찰자는 그의 눈이 어느 이미지 SLM과 오버랩되는지에 관계없이 이미지를 볼 수 있다. 이러한 배열은 이전 옵션보다 훨씬 더 많이 시스템의 추적 메커니즘으로부터의 요구들을 완화할 수 있는데, 그 이유는 관찰자의 비교적 큰 이동들만이 시스템을 조정을 필요로 하기 때문이다.
예시적인 응용들
예시적인 비공개 콘텐츠 응용들
본 발명의 일부 실시예들에서, 콘텐츠가 단 한 명의 관찰자의 눈에 이미징되고 있으며, 관찰자 근처의 다른 사람들은 콘텐츠를 볼 수 없다.
선택적으로, 관찰자는 임의의 바람직한 각도에서 콘텐츠를 관찰할 수 있으며, 일부 실시예들에서는 디스플레이 주위를 이동할 수도 있는 반면, 그의 근처의 다른 사람들은 콘텐츠를 볼 수 없다.
일부 실시예들에서, 추적 시스템이 관찰자의 추적을 잃을 때, 표시가 중단된다. 그러한 실시예들은 비밀 자료를 처리하는 데 특히 유용할 수 있다. 예를 들어, 관찰자가 최신 랩탑 디스플레이와 관련된 기밀 문서를 검토하는 경우, 관찰자 옆에 앉아 있는 사람이 그 문서를 볼 수 있다. 랩탑이 본 발명의 일 실시예에 따른 디스플레이 유닛을 구비하는 경우, 기밀 문서는 관찰자에게만 표시된다. 그러나, 관찰자는 하나의 각도에서 디스플레이를 보도록 반드시 제한될 필요는 없다. 관찰자가 디스플레이로부터 떨어질 수 있고, 그의 이웃이 디스플레이의 정면의 관찰자의 자리를 차지하여도, 여전히 아무것도 볼 수 없는데, 그 이유는 추적 시스템이 관찰자의 추적을 잃어서, 표시가 중단되었기 때문이다.
예시적인 의료 응용들
다양한 의료 응용들에서, 의사들은 조직의 삼차원 구조에 대한 정보를 제공받는다. 본 발명의 일부 실시예들에서, 이러한 정보는 의사들이 상호작용할 수 있는 홀로그램으로서 하나 이상의 의사에게 표시된다.
예를 들어, 최소 침습 심장 절차를 위한 준비로서, 의사들의 팀은 기존의 초음파 기술들을 이용하여 심장의 3D 이미지를 취득한다. 이어서, 팀 멤버들은 취득된 이미지들을 상이한 관점에서, 예를 들어 각각의 관찰자가 그 자신의 관점에서 관찰하면서, 임상 절차를 위한 그들의 의논 및 준비의 일부로서 이미지 내의 특정 영역들을 지시하고 마킹하는 능력을 가질 수 있다.
예시적인 실시예에서, 이미지 홀로그램은 이미징된 장면(위의 예에서는 심장)과 동일한 크기를 갖는다. 따라서, 외부 컴포넌트, 예를 들어 스텐트가 환자 내부에 삽입되어야 하는 경우, 그 컴포넌트는 수술이 시작되기 전에 홀로그래픽 이미지에 맞춰질 수 있어서, 수술 동안에 컴포넌트를 환자에게 맞출 필요성을 최소화할 수 있다. 이러한 특징은 선택적으로 가상 "공중 부양" 이미지를 가짐으로써 향상된다.
예시적인 컴퓨터 보조 설계
본 발명의 예시적인 실시예에서, 컴퓨터 설계 모델이 설계자들의 팀에게 표시되어, 하나, 여러 또는 각각의 팀 멤버들이 모델을 다각적으로 검토하고, 모델과 관계하고 그리고/또는 모델을 조작할 수 있다. 예를 들어, 디스플레이가 터치 스크린인 새로운 셀룰러 전화의 덮개와 같은 기계 부품의 모델에서, 하나의 설계자는 디스플레이의 조명을 변경하는 것을 제안할 수 있고, 다른 설계자는 변경의 결과들에 대해 코멘트하고, 실제 버튼들의 추가를 제안하고, 이를 즉시 사전 설정할 것이다. 유사하게, 단일 설계자가 상이한 각도들로부터 동일 상세를 볼 수 있다. 설계를 검토하는 동안, 팀의 한 멤버는 이미지 내의 특정 부분을 (전용 펜을 이용하여 또는 그의 손가락을 이용하여) 지시할 수 있다. 선택적으로, 모든 팀 멤버들은 지시된 부분을 보고, 팀 멤버들은 상이한 관점들에서 관찰된 그 부분의 뷰를 토론할 수 있다. 선택적으로, 디스플레이는 시스템-사람 인터페이스를 포함하여, 팀 멤버가 전체 설계 내의 특정 컴포넌트를 조작하는 것을, 예컨대 마킹된 표면의 컬러를 변경하는 것을 가능하게 한다. 팀이 모든 각도로부터 이미지를 정밀하게 관찰하므로, 설명되는 프로세스는 개발 프로세스 내의 일부 고속 프로토타이핑(prototyping) 단계들을 제거하여, 그의 전체 시간 및 비용을 줄인다.
디지털 광고
본 발명의 일부 실시예들은 디스플레이를 주의 깊게 보지 않고 디스플레이에 노출된 사람들의 주의를 끄는 데 이용될 수 있다. 예를 들어, 본 발명의 일부 실시예들은 공개 위치들에서의 광고 디스플레이들로서 사용될 수 있으며, 더 전통적인 평판 디스플레이들 및 포스터들이 끄는 것보다 훨씬 더 많은 주의를 끌 수 있다.
예를 들어, 본 발명의 실시예들에 따른 디스플레이는 전시회에 배치될 수 있으며, 그 주위를 이동하는 관찰자들은 광고 제품, 예를 들어 셀룰러 전화 또는 전체 선전 광고의 홀로그래픽 이미지를 볼 것이다. 홀로그래픽 디스플레이는 일반 포스터 또는 평면 스크린보다 많은 주의를 끈다.
선택적으로, 또한, 관찰자들이 이미지를 관찰하고 있는 동안에 관찰자들 중 하나가 이미지를 조작한다. 조작은 선택적으로 이미지를 이동, 회전 또는 스케일링하거나, 임의의 다른 방식으로 이미지와 상호작용함으로써 이루어진다. 이 실시예는 선택적으로, 표시된 이미지, 제품 또는 서비스에 대한 관찰자들의 유인을 강화한다.
선택적으로, 제품의 상이한 뷰들이 디스플레이 주위의 상이한 위치들에 서 있는 관찰자들에 의해 관찰되도록 표시된다. 이러한 종류의 광고에 노출된 사람들은 디스플레이를 순회하고 광고된 제품에 더욱 더 많이 주목하도록 고무될 것으로 예상될 수 있다.
선택적으로, 본 발명의 일 실시예에 따른 광고 디스플레이는 "예시적인 이미지 조작"이라는 제목으로 전술한 바와 같이 관찰자가 표시된 장면을 조작하는 것을 가능하게 한다. 관찰자들이 표시된 이미지를 조작하게 하는 것은 광고 제품에 대한 관찰자의 주의 및 연관성을 증가시킬 것으로 예상될 수 있다.
선택적으로, 본 발명의 일 실시예에 따른 광고 디스플레이는 그의 360도 주위에 동일한 홀로그램을 표시하며, 사용자가 표시된 장면을 더 가까이에서 보는 것에 관심이 있음을 지시할 수 있게 하는 입력 장치를 포함한다. 그러한 지시의 수신에 응답하여, 시스템은 관찰자의 얼굴의 추적을 시작하여, 그 특정 관찰자로 하여금 디스플레이를 순회함에 따라 상이한 각도들로부터 광고 제품을 볼 수 있게 한다.
사용자 인터페이스들
사용자들이 3D 공간에서 이동하고 상호작용을 수행할 수 있을 때 3D 상호작용이 이루어진다. 사람-기계 상호작용은 사람과 기계 양자가 정보를 수신하고 처리한 후에 그러한 처리의 출력을 서로에게 제공하는 것을 필요로 한다. 사용자들은 목표를 달성하기 위하여 액션을 수행하거나, 명령을 기계에 제공한다. 기계는 사용자에 의해 제공된 정보를 취하고, 소정의 처리를 수행한 후, 결과들을 사용자에게 제공한다.
이상적으로는, 사용자들은 그들이 실제로 할 수 있는 것과 동일하게 가상 이미지와 상호작용할 수 있다. 키보드 또는 2D 마우스와 같은 표준 입력 장치들과 달리, 완전 삼차원에서의 이상적인 동작들은 사용자들에게 자연스런 6개의 자유도를 또한 허용해야 한다. 이러한 타입의 3D 상호작용 장치는 사람의 액션들 및 제스처들을 인식하고 해석하고, 이들을 가상 장면의 대응 조작들 또는 이미지에 대한 정보로 변환해야 한다. 본 발명의 일부 실시예들은 전술한 표준 입력 장치들보다 이상에 훨씬 더 가까워진다.
일부 장치들은 최대 6개의 자유도를 갖는 삼차원 상호작용을 가능하게 하지만, 이들 중 어느 것도 실제 투영된 이미지에 대해 그렇게 하는 것을 가능하게 하지 않으며, 다만 이미지가 2D 스크린 또는 본 명세서에서 표시 공간으로 지칭되는 소정 형태의 3D 플랫폼상에 투영되는 동안에 본 명세서에서 입력 공간으로 지칭되는 공간 내의 다른 위치에서만 그것을 가능하게 한다.
본 발명의 일부 실시예들에서는, 여기에 설명되는 본 발명의 디스플레이를 사용하여, 이미지가 실제 객체의 깊이 단서들을 관찰자에게 제공함으로써, 사용자 인터페이스의 관찰이 자연스럽게 느껴지게 한다. 본 발명의 일부 실시예들은 사용자들이 투영된 3D 이미지를 실제로 "터치"하는 것을 가능하게 하면서, 선택적으로 넓은 시야각을 갖고, 선택적으로 공간 내의 정확한 위치들의 관찰을 가능하게 하는 적절한 시각 깊이 단서들을 선택적으로 상이한 시야각으로부터 제공한다. 본 발명의 일부 실시예들은 "공중 부양" 이미지를 투영하여, 따라서 이미지는 관찰자의 팔의 도달 범위 내에 관찰자로부터 약 80cm의 거리에 나타난다.
일부 실시예들에서, 관찰자에서 이미지까지의 겉보기 거리는 사용자가 이미지에 도달할 수 있는 거리, 즉 대략 뻗지 않은 팔의 길이, 대략 팔의 길이 및/또는 대략 막대 또는 포인터를 잡은 팔의 길이이다.
일부 실시예들에서, 표시 공간의 크기는 사용자의 팔의 운동 범위, 즉 약 직경 1-2미터에 대응한다. 일부 실시예들에서, 표시 공간의 크기는 손가락의 운동 범위, 즉 대략 직경 10-20cm에 대응한다.
일부 실시예들에서, 입력 위치의 해상도는 사용자의 팔의 운동, 즉 약 1cm에 대응한다. 일부 실시예들에서, 입력 위치의 해상도는 사용자의 손가락의 운동, 즉 대략 1mm에 대응한다. 더 거칠거나 미세한 해상도들도 광학적으로 가능하며, 따라서 일부 실시예들은 잠재적으로 그러한 해상도들로 동작한다.
일부 실시예들에서, 사용자 인터페이스는 공중 부양 객체를 하나 이상의 사용자에게 하나 이상의 위치에 표시한다. 공중 부양 객체는 선택적으로 관찰자의 이동에 따라 위치를 변경하는 것으로 보이지 않는다. 공중 부양 객체는 또한 선택적으로 상이한 관찰 방향들로부터 동일 위치에 나타난다.
일부 실시예들에서는, 2개의 사용자 인터페이스가 2개의 디스플레이를 이용하여 동일한 공중 부양 이미지를 2개의 상이한 위치에 표시하여, 제1 위치의 하나 이상의 사용자가 하나 이상의 워크 어라운드 레이트로 부분 또는 완전 워크 어라운드하게 할 수 있게 하는 동시에 제2 위치의 하나 이상의 사용자가 하나 이상의 다른 워크 어라운드 레이트로 부분 또는 완전 워크 어라운드하게 할 수 있다.
일부 실시예들에서, 사용자 인터페이스는 상이한 공중 부양 이미지를 상이한 관찰자들에게 표시한다. 상이한 이미지를 상이한 사용자들에게 표시하는 것은 선택적으로 많은 형태, 즉 적색 풍선 및 녹색 페라리와 같은 완전히 다른 이미지들을 표시하고; 디스플레이의 중심에 배치된 해머를 표시하는 제1 이미지 및 디스플레이의 일측에 배치된 해머를 표시하는 제2 이미지와 같이 상이한 좌표계를 이용하여 동일 객체를 표시하고; 제1 이미지 내의 객체의 한 부분 및 제2 이미지 내의 객체의 다른 부분을, 선택적으로 객체가 동일 장소, 동일 좌표계, 동일 크기로 배치된 동안 내내 표시하고; 객체를 제1 사용자에게 표시하고, 동일 객체를 콘트라스트가 강화되거나 컬러가 강화되거나 상이한 색조들의 범위로 다른 사용자에게 표시하는 것과 같이 동일 객체에 대해 상이한 컬러들을 표시하고; 동일 객체를 상이한 크기들로 표시하는 형태들을 갖는다.
동일 객체를 상이한 크기들로 상이한 사용자들에게 표시하는 것은 문제를 유발하는데, 즉 제1 사용자가 포인터로 표시 공간 안을 지시하여, 제1 사용자가 관찰하는 객체 상의 위치를 "터치"할 때, 포인터의 표시가 제2 사용자에게 나타나야 한다. 제2 사용자에게 표시되는 이미지는 제2 객체가 제1 객체와 다른 크기로 나타나는 동안에도 포인터의 터치 팁이 제1 이미지 내에서와 동일한 제2 이미지 내의 위치를 터치하는 것으로 보이도록 표시되어야 한다는 것이 하나의 옵션이다. 제2 이미지는 포인터의 팁이 제1 이미지에서와 동일한 제2 이미지 내의 위치를 터치하는 것으로 보이게 하는 좌표들에 표시된다.
일부 실시예들에서, 사용자 인터페이스는 상이한 공중 부양 이미지를 동일 관찰자의 상이한 눈들에 표시한다.
일부 실시예들에서, 사용자 인터페이스는 전술한 바와 같이 공중 부양 이미지의 부분 또는 완전 워크 어라운드를 가능하게 하여, 이미지가 공중에 떠 있는 실제 객체인 것처럼 공중 부양 이미지의 상이한 면들을 표시할 수 있게 한다.
일부 실시예들에서, 사용자 인터페이스는 손가락 또는 소정의 다른 객체를 공중 부양 이미지상에 그리고 그 안에 넣는 것을 가능하게 한다.
사용자 인터페이스의 일부 응용들에서, 공중 부양 디스플레이는 여기에 설명되는 입체 디스플레이의 실시예들을 이용한다. 사용자 인터페이스의 다른 응용들에서는, 선택적으로 다른 입체 디스플레이들의 특성들이 특정 응용을 지원하는 경우에, 이들이 사용된다.
이제, 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스(1300)에 의해 표시되는 객체(1315)를 사용자(1320)가 손가락(1330)으로 터치하는 것을 나타내는 간단한 도면인 도 13a를 참고한다.
사용자 인터페이스(1300)는 공중 부양 삼차원 표시 공간(1310) 내에 제1 이미지를 표시하는 입체 디스플레이(1305)를 포함한다. 이미지는 비제한적인 예로서 객체(1315), 비제한적인 예로서 심장을 표시한다.
삼차원 디스플레이 및/또는 공중 부양 디스플레이를 참조하는 도 13a, 13b, 13c, 14, 15 및 16과 관련하여, 참조는 비제한적인 예로서 전술한 바와 같은 홀로그래픽 이미지 디스플레이; 전술한 바와 같은 근축 이미지 디스플레이; 및 입체 디스플레이에 적합한 다른 이미지 디스플레이들을 포함하는 것을 의도한다.
비제한적인 예로서 텔레비전 디스플레이 및/또는 컴퓨터 모니터 디스플레이와 같은 이차원 디스플레이는 삼차원 이미지와 유사하게 공중 부양 이차원 이미지를 생성함으로써 입체 디스플레이로의 변환에 적합하다는 점에 유의한다.
사용자(1320)는 객체(1315)를 관찰하고, 손가락(1330)을 뻗어 객체(1315)를 외관상으로 "터치"한다. 입체 디스플레이(1305)는 실제 객체를 표시 공간(1310) 내에 삽입하는 것을 허용하는데, 그 이유는 입체 디스플레이(1305)가 공중 부양 이미지를 표시하는 공중 부양 입체 디스플레이이기 때문이다.
사용자 인터페이스(1300)는 또한 선택적으로 제어 및 데이터(1340)를 입체 디스플레이(1305)에 제공하는 컴퓨터(1335)를 포함한다.
손가락(1330)의 위치는 위치 결정 유닛(도시되지 않음)에 의해 결정된다. 위치 결정 유닛은 선택적으로 표시 공간(1310) 내에 배치된 실제 객체들을 식별함으로써 손가락의 위치를 결정한다.
위치 결정 유닛은 선택적으로 일부 비제한적인 예들로서 상이한 방향들을 따라 이미지들을 픽업하고 삼차원 위치를 삼각 측량하도록 장착된 카메라들 및/또는 표시 공간(1310) 내의 객체들까지의 거리를 측정하는 거리 측정 유닛들과 같이 삼차원에서 객체들(예컨대, 손가락(1330))의 위치를 결정하기 위한 유닛을 포함한다.
사용자 인터페이스(1300)의 일부 실시예들에서는, 도 7과 관련하여 도시되고 설명된 바와 같은 유닛 셀의 변형이 위치 결정 유닛으로서 동작한다. 유닛 셀의 변형은 표시 공간(1310)으로부터 반대 광 경로가 유닛 셀에 이르도록 배치된다. 유닛 셀은 선택적으로 유닛 셀 베이스에 대한 객체로의 회전각과 객체까지의 거리의 조합에 의해 표시 공간(1310) 내의 객체(예를 들어, 손가락(1330))의 위치를 측정한다. 선택적으로, 회전각은 광학 시스템의 회전을 고려한다.
본 발명의 일부 실시예들에서, 객체(예를 들어, 손가락(1330))까지의 거리는 카메라 자동 초점 시스템들에서 사용되는 것과 같은 거리 측정 시스템에 의해 측정된다. 본 발명의 일부 실시예들에서, 객체(예를 들어, 손가락(1330))까지의 거리는 코노스코픽(conoscopic) 거리 측정 시스템에 의해 측정된다.
선택적으로, 객체의 위치는 컴퓨터(1335)에 대한 입력(1345)으로서 사용되며, 선택적으로 컴퓨터(1335)는 선택적으로 입체 디스플레이(1305)에 의해 표시된 이미지상에 강조된 위치 입력, 예를 들어 심장 위에 강조된 위치를 이용하여 제2 이미지를 표시하기 위한 제어 명령들 및 데이터를 계산한다.
선택적으로, 표시 공간(1310) 내에 삽입된 객체 상의 특정 위치를 결정하기 위하여, 객체 상의 특정 위치가 선택되고, 특정 위치는 더 강조될 수 있다. 비제한적인 예로서, 손가락 팁이 그 위치일 수 있다. 다른 비제한적인 예로서, 손가락 팁은 색깔로 마킹함으로써 강조될 수 있다. 색깔은 사람 눈에 보일 수 있고, 그리고/또는 색깔은 위치 입력을 찾는 기계 비전 시스템에 높은 콘트라스트를 제공하도록 선택될 수 있다.
선택적으로, 인터페이스(1300)는 현재 이용 가능한 3D 카메라에 의해 예를 들어 3DV 시스템들에 의해 손가락(1330)의 위치를 추적한다.
선택적으로, 사용자 인터페이스(1300)는 손가락(1330) 또는 소정의 다른 위치 지시 도구의 위치를 추적하고, 손가락(1330)의 동적 움직임을 사용자 인터페이스(1300)에 대한 명령 제스처들로서 해석한다. 선택적으로, 명령 제스처들은 표시된 이미지의 조작들을 유발한다. 사용자 인터페이스의 이러한 사용은 사용자에게 표시된 객체 및/또는 이미지 및/또는 장면의 직접(가상) 형성의 느낌을 제공한다. 상기 느낌은 감각 피드백이 제공될 때 특히 향상된다.
이제, 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스(1350)에 의해 표시되는 객체(1365)를 사용자(1370)가 포인터(1380)로 터치하는 것을 나타내는 간단한 도면인 도 13b를 참고한다.
사용자 인터페이스(1350)는 공중 부양 삼차원 표시 공간(1360) 내에 제1 이미지를 표시하는 입체 디스플레이(1355)를 포함한다. 이미지는 비제한적인 예로서 객체(1365), 비제한적인 예로서 심장을 표시한다.
사용자(1370)는 객체(1365)를 보고, 포인터(1380)를 연장하여 객체(1365)를 외관상으로 "터치"한다. 입체 디스플레이(1355)는 포인터(1380)와 같은 실제 객체를 표시 공간(1360) 내에 삽입하는 것을 허용한다.
사용자 인터페이스(1350)는 또한 선택적으로 제어 및 데이터(1390)를 입체 디스플레이(1355)에 제공하는 컴퓨터(1385)를 포함한다. 포인터(1380)의 위치는 위치 결정 유닛(도시되지 않음)에 의해 결정된다. 위치 결정 유닛은 선택적으로 표시 공간(1360) 내에 배치된 실제 객체들을 식별함으로써 포인터(1380)의 위치를 결정한다.
포인터(1380)는 선택적으로 손가락보다 양호하게 정의된 위치 입력을 제공한다. 선택적으로, 손의 손가락의 팁보다 포인터(1380)의 팁의 위치를 결정하는 것이 더 쉽다.
포인터(1380)의 팁은 하나의 색깔 또는 둘 이상의 색깔로 마킹함으로써 강조될 수 있다.
일부 실시예들에서, 포인터의 팁은 실질적으로 소형인 광원(1382)을 포함한다. 광원(1382)은 사람 눈에 보일 수 있고, 그리고/또는 광원(1382)은 위치 입력의 위치를 결정하는 기계 비전 시스템에 높은 콘트라스트를 제공하도록 선택될 수 있다.
사용자 인터페이스의 일부 실시예들에서, 위치 입력은 사용자 인터페이스가 위치 입력에 실질적으로 가까이 위치하는 복셀에 대응하는 데이터를 취득하게 한다.
사용자 인터페이스의 일부 실시예들에서, 위치 입력은 사용자 인터페이스가 위치 입력에 실질적으로 가까이 배치된 서브 이미지에 대응하는 데이터를 취득하게 한다.
일부 실시예들에서, 사용자 인터페이스는 "액추에이터"의 표시, 즉 버튼, 레버, 또는 통상적으로 누르거나, 밀거나, 당기는 것 등의 일부 그러한 장치들과 같은 장치의 표시를 포함한다. 사용자 인터페이스는 사용자가 손 및/또는 포인터를 표시 공간 내에 넣고, 가상적으로 "버튼을 누르고", "레버를 밀거나 당기는" 것 등을 가능하게 한다. 사용자 인터페이스가 액추에이터의 표시 위치 옆의 표시 공간에서 손 및/또는 포인터를 감지할 때, 사용자 인터페이스는 선택적으로 손 또는 포인터의 삽입을 액추에이터의 구동으로서 해석한다.
사용자 인터페이스는 선택적으로 사용자에게 감각 피드백을 제공하며, 따라서 사용자는 액추에이터를 누르고/밀고/당기는 것처럼 어느 정도 느낀다.
사용자 인터페이스는 선택적으로 제1 표시를 변경하여, 액추에이터의 구동에 대응하여 액추에이터의 이미지를 이동시킨다.
사용자 인터페이스는 선택적으로 제1 표시를 변경하여, 구동되는 액추에이터, 밀리는 버튼, 및/또는 사용자가 "버튼을 미는" 것을 지시하는 다른 그러한 변경들을 표시한다. 표시는 사용자 인터페이스에 의해 제어되며, 따라서 선택적으로 구동시에 피드백을 제공한다는 점에 유의한다. 이것은 예를 들어, 버튼의 홀로그램을 표시할 수 있지만, 그들의 홀로그램이 필름으로부터 투영된 정적 표시이기 때문에 홀로그래픽 버튼의 모습을 변경할 수 없는 기존의 홀로그래픽 디스플레이들과 대조적이다.
본 발명의 일부 실시예들에서, 사용자 인터페이스는 로봇 팔의 이미지를 표시하고, 컴퓨터는 선택적으로 제어 신호들 및 데이터를 전송하며, 따라서 로봇 팔은 사용자 인터페이스의 입체 디스플레이의 표시 공간 내에서 사용자에 의해 제공된 입력에 따라 이동한다.
본 발명의 일부 실시예들에서, 사용자 인터페이스는 선택적으로 둘 이상의 위치 입력을 픽업한다. 위치 입력들은 선택적으로 입체 디스플레이의 표시 공간 내의 여러 개의 손가락에 의해 그리고/또는 여러 포인터에 의해 그리고/또는 여러 위치를 연속적으로 지시함으로써 제공된다. 위치 입력들은 선택적으로 하나의 손가락 및/또는 포인터 상의 여러 포인트에 의해 제공된다. 여러 포인트는 선택적으로 대조적인 색깔 및/또는 광원들을 이용하여 손가락 상에 그리고/또는 포인터 상에 마킹된다.
본 발명의 일부 실시예들에서, 사용자 인터페이스는 선택적으로 둘 이상의 위치 입력을 픽업한다. 위치 입력들은 선택적으로 표시 공간 내에 삽입된 객체의 형상에 기초하여 위치들을 계산 및/또는 추정함으로써 제공된다. 비제한적인 예로서, 선택적으로 표시 공간에 삽입된 실질적으로 가늘고 긴 객체의 장축에 기초하여 선이 계산된다.
사용자 인터페이스는 선택적으로 하나 이상의 위치 입력들의 움직임을 시간 경과에 따라 추적하고, 선택적으로 표시 공간 내의 움직임을 추적하는 하나 이상의 경로를, 선택적으로 표시 공간 내에 표시된 이미지상에 중첩되게 표시한다.
예시적인 응용에서, 사용자 인터페이스는 선택적으로 빈 표시로 시작하고, 하나 이상의 위치 입력들의 움직임을 시간에 따라 추적하고, 표시 공간 내의 움직임을 추적하는 하나 이상의 경로를 선택적으로 실시간 및/또는 거의 실시간으로 표시한다.
예시적인 응용에서, 사용자 인터페이스는 선택적으로 2개의 위치 입력을 수신하고, 입체 디스플레이의 삼차원 내에 2개의 위치 입력을 통과하는 선을 정의한다. 선은 선택적으로 사용자 인터페이스에 의해 표시되는 이미지를 더 조작하는 데 이용된다. 정의된 선을 이용한 이미지 조작들은 비제한적인 예로서 선 주위의 회전, 선 길이의 측정, 및 표시된 객체의 선의 어느 한쪽 상의 부분들로의 분할을 포함한다.
예시적인 응용에서, 사용자 인터페이스는 선택적으로 동일 선 상에 있지 않은 3개의 위치 입력을 수신하며, 입체 디스플레이의 삼차원 내에서 3개의 위치 입력을 통과하는 평면을 정의한다. 평면은 선택적으로 사용자 인터페이스에 의해 표시되는 이미지를 추가 조작하는 데 이용된다. 정의된 평면을 이용한 이미지 조작들은 비제한적인 예로서 평면과 표시된 객체의 교차 면적의 측정; 및 표시된 객체의 평면의 어느 한쪽 상의 부분들로의 분할을 포함한다.
예시적인 응용에서, 사용자 인터페이스는 선택적으로 동일 평면상에 있지 않은 4개 이상의 위치 입력을 수신하고, 입체 디스플레이의 삼차원 내에서 4개 이상의 위치 입력에 기초하여 입체 디스플레이의 삼차원 내의 입체를 정의한다. 입체는 선택적으로 4개 이상의 위치 입력 내에 포함된 입체로서 그리고/또는 4개 이상의 위치 입력에 기초하여 계산된 표면과 같이 4개 이상의 위치 입력의 소정 함수 내에 포함된 입체로서 정의된다.
입체는 선택적으로 사용자 인터페이스에 의해 표시되는 이미지의 추가 조작에 이용된다. 정의된 입체를 이용한 이미지 조작들은 비제한적인 예로서 부피의 측정, 및 표시된 객체의 입체의 안팎의 부분들로의 분할을 포함한다.
일부 예시적인 응용들에서, 사용자 인터페이스는 선택적으로 하나 이상의 위치 입력을 픽업한다. 위치 입력들은 선택적으로 일부 비제한적인 예들로서 줌인, 줌아웃, 이미지 절단, 이미지 회전 및 이미지 슬라이싱과 같은 이미지 처리 기능들을 개시하기 위한 입력으로서 사용된다.
이제, 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스(1350)의 표시 공간(1360)에 프레임(1383)을 삽입하는 사용자의 간단한 도면인 도 13c를 참조한다.
사용자 인터페이스(1350)는 공중 부양 삼차원 표시 공간(1360)에 제1 이미지를 표시하는 입체 디스플레이(1353)를 포함한다. 이미지는 비제한적인 예로서 객체(1365), 비제한적인 예로서 심장을 표시한다.
사용자(1370)는 객체(1365)를 관찰하고, 프레임(1383)을 연장하여 객체(1365)를 외관상으로 "둘러싼다". 입체 디스플레이(1355)는 프레임(1383)과 같은 실제 객체를 표시 공간(1360)에 삽입하는 것을 허용한다.
사용자 인터페이스(1350)는 또한 선택적으로 제어 및 데이터(1390)를 입체 디스플레이(1355)에 제공하는 컴퓨터(1385)를 포함한다. 프레임(1383)의 위치는 위치 결정 유닛(도시되지 않음)에 의해 결정된다. 위치 결정 유닛은 선택적으로 표시 공간(1360) 내에 배치된 실제 객체들을 식별함으로써 프레임(1383)의 위치를 결정한다.
프레임(1383)은 선택적으로 평면, 및 선택적으로 평면 내의 제한된 영역을 정의하는 위치 입력을 정의한다. 선택적으로, 인터페이스에 의해 정의되는 평면은 본 발명의 입체 디스플레이에 의해 사용자에게 표시된다. 선택적으로, 정의된 평면은 2D 디스플레이 상에 표시된다. 선택적으로, 정의된 평면은 실시간으로 표시된다.
본 발명의 일부 실시예들에서, 프레임(1383)은 선택적으로 삼차원 프레임, 예컨대 와이어-프레임 큐브 형상의 프레임이다. 프레임의 형상은 도 13c에 도시된 바와 같은 직사각형, 또는 큐브의 예들로 한정되는 것이 아니라, 다양한 와이어-프레임과 같은 형상들을 포함한다.
프레임(1383)은 선택적으로 프레임(1383) 내에 제한된 입체를 정의하는 위치 입력을 제공한다.
이제, 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스에 의해 표시되는 동일 객체(1465)와 상호작용하는 2명의 사용자(1470, 1472)의 간단한 도면인 도 14를 참고한다.
표시 공간(1460)이 도 14에 도시된 사용자 인터페이스는 공중 부양 이미지를 제1 사용자(1470) 및 제2 사용자(1472)에게 표시한다. 공중 부양 이미지는 객체(1465)의 이미지이다. 객체(1465)는 동일 장소에 그리고 사용자들(1470, 1472) 양자에게 실질적으로 동시에 표시되며, 사용자들(1470, 1470) 각각은 그들 각각의 위치로부터 객체(1465)를 관찰한다.
사용자 인터페이스는 선택적으로 여기에 설명되는 입체 디스플레이의 실시예를 이용하여 동일 장소 동시 표시를 구현한다. 제1 사용자(1470)가 입체 디스플레이의 표시 공간(1460) 내에 비제한적인 예로서 손, 포인터 또는 프레임과 같은 실제 객체(도시되지 않음)를 배치하는 경우, 제2 사용자(1472)는 제1 사용자(1470)와 동일한 위치에서 실제 객체를 본다. 예를 들어, 제1 사용자(1470)가 포인터를 이용하여, 표시된 객체(1465) 상의 위치를 지시하는 경우, 제2 사용자(1472)는 동일 위치를 지시하는 포인터를 본다.
"실질적으로 동시에"라는 용어는 이제 위의 설명을 참조하여, 두 명의 사용자가 "동일 장소에서 그리고 실질적으로 동시에" 객체(1465)를 보는 것으로 설명된다. 객체(1465)의 이미지는 선택적으로 짧은 기간들 동안 사용자들에게 플래시됨으로써 사용자들(1470, 1472) 각각에게 표시되며, 플래시들은 초당 수회의 레이트로 반복된다. 양 사용자들(1470, 1472)은 동일 초 동안에, 따라서 "실질적으로 동시에" 객체(1465)를 초당 여러 번 보게 된다.
사용자 인터페이스의 일부 실시예들에서, 사용자 인터페이스의 공중 부양 디스플레이는 본 발명의 입체 디스플레이의 실시예들과 관련하여 전술한 바와 같이 제2 사용자(1472)에 대한 것과 다른 이미지를 제1 사용자(1470)에게 표시한다. (도 14는 제1 사용자에게 표시되는 제1 이미지 및 제2 사용자(1472)에게 표시되는 다른 제2 이미지를 도시하지 않는다는 점에 유의한다.) 현재 설명되는 실시예들에서, 제1 사용자(1470)가 제1 이미지 내의 제1 객체를 지시하는 경우, 제2 사용자(1472)는 표시 공간을 지시하는 제1 사용자(1470)를 보지만, 제2 사용자(1472)는 제1 이미지를 보지 못하고, 지시는 일반적으로 제2 사용자에게 의미를 갖지 않는다.
이제, 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스(1500)에 의해 표시되는 동일 객체와 상호작용하는 2명의 사용자(1571, 1572)의 간단한 도면인 도 15를 참고한다.
도 15의 사용자 인터페이스(1500)는 선택적으로 서로 이격된 2개의 입체 디스플레이(1556, 1557)를 포함한다. 2개의 입체 디스플레이(1556, 1557)는 선택적으로 컴퓨터(1551, 1552)에 각각 접속되며, 2개의 컴퓨터(1551, 1552)는 선택적으로 기능적 접속(1554)에 의해 서로 기능적으로 접속된다.
도 15의 실시예에 대한 제1 이용 예에서는, 제1 입체 디스플레이(1556)가 제1 입체 디스플레이(1556)의 표시 공간(1561) 내에 제1 객체(1565)를 표시한다. 제1 사용자(1571)가 포인터(1581)를 이용하여 제1 객체(1565)를 지시한다. 포인터(1581)에 의해 지시된 위치가 픽업되어 제1 컴퓨터(1551)로 전송된다(1596). 제1 컴퓨터(1551)는 선택적으로 제1 사용자(1571)가 지시한 곳을 나타내는 신호 및/또는 데이터를 제1 입체 디스플레이(1556)로 전송하여, 선택적으로 제1 사용자(1571)에게 피드백을 제공하며, 선택적으로 데이터를 기능 접속(1554)을 통해 제2 컴퓨터(1552)로 전송한다.
제2 컴퓨터(1552)는 선택적으로 신호 및/또는 데이터를 제2 입체 디스플레이(1557)로 전송하며, 제2 입체 디스플레이는 선택적으로 제2 입체 디스플레이(1557)의 표시 공간(1562) 내에 제2 객체(1566)의 이미지를 표시한다.
제2 객체(1562)의 이미지는 선택적으로 제1 객체(1561)의 이미지와 동일하게 표시된다. 제2 객체(1562)의 이미지는 선택적으로 제1 사용자(1571)가 지시한 곳의 지시도 포함한다.
제2 사용자(1572)는 제2 객체(1562)의 이미지를 지시할 수 있고, 제2 사용자(1572)에 의해 지시된 위치가 픽업되어 제2 컴퓨터(1552)로 전송될 수 있다(1597). 제2 컴퓨터(1552)는 선택적으로 제2 사용자(1572)가 지시한 곳을 나타내는 신호 및/또는 데이터를 제2 입체 디스플레이(1557)로 전송하여, 선택적으로 제2 사용자(1572)에게 피드백을 제공하고, 선택적으로 데이터를 기능 접속(1554)을 통해 제1 컴퓨터(1551)로 전송한다. 제1 컴퓨터(1551)는 선택적으로 이미지 및 지시된 위치의 표시를 유발한다.
기능 접속(1554)은 선택적으로 제1 컴퓨터(1551)와 제2 컴퓨터(1552) 사이의 네트워크 접속을 포함한다.
일부 실시예들에서, 기능 접속(1554)은 화이트보딩 소프트웨어를 포함한다.
본 발명의 일부 실시예들에서, 제1 입체 디스플레이(1556) 및 제2 입체 디스플레이(1557)는 반드시 동일 이미지를 표시하지는 않는다. 제1 입체 디스플레이(1556) 및 제2 입체 디스플레이(1557)가 상이한 이미지들을 표시하는 일부 비제한적인 응용 예들은 교사와 학생이 상이한 이미지들을 볼 수 있는 원격 수업; 및 하나의 사용자가 다른 사용자와 다른 이미지를 보고, 선택적으로 하나의 사용자가 다른 사용자보다 더 많이 보고, 게임이 관찰의 차이를 이용하는 게이밍(gaming)을 포함한다.
도 15는 두 세트의 입체 디스플레이들(1556, 1557)의 이용을 설명한다. 셋 이상의 입체 디스플레이가 도 15와 관련하여 설명된 바와 같이 기능하도록 접속될 수 있다는 점에 유의한다.
둘 이상의 입체 디스플레이가 서로 접속되지만 서로 이격되는 실시예는 의료 및/또는 교육 목적에 특히 유용하다. 의료 사례는 삼차원 입체 이미지로서 제공될 수 있으며, 입체 디스플레이 위치들 각각에 있는 사용자들은 예를 들어 이미지상의 위치들을 지시하고, 이미지를 "터치"함으로써 의료 사례를 의논할 수 있다. 임플란트 또는 인공 판막이 의료 이미지에 대해 유지될 수 있으며, 임플란트가 하나의 위치에 있고, 의료 이미지의 소스, 즉 환자가 다른 위치에 있을 때에도 크기들이 비교될 수 있다.
도 15는 각각의 입체 디스플레이(1556, 1557)에 대해 하나씩인 2개의 컴퓨터(1551, 1552)의 이용을 설명한다. 하나의 컴퓨터는 기능 접속(1554)을 통해 양 입체 디스플레이들(1556, 1557)에 급전하고, 충분한 계산 능력을 제공하고, 충분한 통신 대역폭을 제공하는 데 사용될 수 있다는 점에 유의한다.
이제, 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스에 의해 표시되는 객체(1615)와 실제 객체(1680)를 비교하는 사용자(1620)의 간단한 도면인 도 16을 참조한다.
도 16은 본 발명의 일 실시예에 따라 구성되고 동작하는 사용자 인터페이스의 일부인 표시 공간(1610)을 도시한다. 사용자 인터페이스는 표시 공간(1610) 내에 공중 부양 객체(1615)를 표시한다. 사용자(1620)는 표시 공간(1610) 내에 실제 객체(1680)를 배치하고, 실제 객체(1680)를 표시된 객체(1615)와 비교한다.
도 16의 시나리오를 실제 세계에 적용하는 비제한적인 일례는 삼차원 의료 데이터 세트를 이용하여 심장 또는 혈관 구조와 같은 공중 부양 객체(1615)를 표시하는 것을 포함한다. 심장 또는 혈관 구조는 실제 크기로 표시된다. 사용자, 예를 들어 의사 또는 의학도는 스텐트를 심장 또는 혈관 구조에 대해 유지하고, 스텐트의 크기를, 스텐트가 목표로 하는 심장 혈관 또는 혈관 구조의 크기와 비교한다. 또 하나의 예는 인공 경피 심장 판막을, 이를 임플란트하려고 하는 심장의 표시된 해부 구조에 대해 유지할 수 있다. 공중 부양 객체와 비교되는 실제 객체(1680)는 선택적으로 임플란트 위치에 그리고/또는 임플란트 위치 옆에 배치된다. 이러한 비제한적인 예에서, 사용자는 스텐트 또는 판막의 위치 및 배향을 해석하여, 양호한 국부화(localization), 및 예를 들어 크기, 특정 제조자 또는 특정 기술과 관련하여 스텐트 또는 판막을 선택하는 능력을 제공할 수 있다.
도 16의 시나리오는 임플란트가 신체 내에 어떻게 삽입되는지에 대한 교육; 새로운 임플란트들의 연구 및/또는 개발; 및 임플란트가 그의 목적에 맞는다는 임플란트 전 검증을 가능하게 한다.
도 15에 도시된 사용자 인터페이스는 제1 위치로부터의 의료 데이터 세트가 제2 원격 위치에 표시될 수 있게 하며, 선택적으로 원격 위치가 조언, 안내를 제공하고, 크기들을 측정하고, 임플란트 및/또는 도구 크기들을 비교하는 것 등을 행하는 원격 의료 세션이 열릴 수 있다.
도 16에서의 제1 삼차원 표시 객체(1615)의 비교는 선택적으로 (도 16에 도시되지 않은) 제2 삼차원 표시 객체와 관련하여 수행된다. 선택적으로, 제1 삼차원 표시 객체(1615)는 선택적으로 비교 목적을 위해 유지되는 도구들 및/또는 임플란트들과 같은 객체들의 삼차원 표현들 중 하나와 비교된다.
일부 시나리오들에서는, 여기에 설명되는 바와 같은 입체 디스플레이를 포함하는 사용자 인터페이스에서 제1 및 제2 삼차원 객체들을 관찰함으로써 제1 삼차원 객체와 제2 삼차원 객체를 비교한다. 제1 및 제2 객체들은 본 발명의 사용자 인터페이스를 이용하여 공간 내에서 시프트되고 그리고/또는 회전될 수 있다.
도 16의 시나리오는 반드시 의료 환경들에서는 아닌 객체들의 비교를 가능하게 한다. 비제한적인 예로서, 계속/중지 게이지가 객체의 공중 부양 표시에 대해 유지될 수 있으며, 객체가 표시될 수 있는 경우에 객체의 표준에 대한 일치를 테스트할 수 있다. 게이지를 객체로 가져가는 대신에, 객체의 삼차원 표시를 게이지로 가져간다.
도 13a와 관련하여 전술한 바와 같이, 표시 공간(1610) 내의 실제 객체(1680)의 측정과 결합하는, 실제 객체(1680)가 객체(1615)의 표시와 비교되는 시나리오는 실제 객체(1680)와 표시된 객체(1615) 사이의 차이의 측정을 가능하게 한다. 이러한 차이들은 길이, 평면 면적, 표면적 및 체적의 차이 중 하나 이상을 포함한다. 이러한 차이들은 선택적으로 객체들 및/또는 객체들의 부분들에 대해 측정된다.
이제, 전술한 사용자 인터페이스의 일부 상세들이 4개의 과제, 즉 표시를 위한 데이터의 소스; 디스플레이 장치; 인터페이스 장치; 및 지원 소프트웨어 및 통신 장치들과 관련하여 설명된다.
표시를 위한 데이터의 소스들
통상적으로, 3D 표현을 위해, 복셀들 또는 부피 측정 데이터로도 알려진 XYZ 포인트들의 구름(cloud)이 선택적으로 입력되고 표시된다. 입력은 선택적으로 그러한 정보를 생성하는 소스들로부터, 선택적으로 CAD 모델들과 같은 컴퓨터 기반 데이터 및/또는 의료 이미징에서의 CT 또는 MRI 스캔들과 같은 외부에서 취득된 데이터로부터 발생한다.
선택적으로, 데이터는 컴퓨터, TV, 케이블, 위성 등으로부터 들어오는 이차원, 예컨대 2D 이미지 또는 이미지 스트림일 수 있다.
선택적으로, 2D/3D 데이터 근원은 홀로그래픽, 즉 간섭 패턴 또는 간섭 패턴들의 스트림이다.
선택적으로, 사용자에 의해 마킹된 공간 내의 특정 위치 입력 포인트들; 사용자에 의해 그려진 경로; 및/또는 사용자가 선택적으로 사용자 인터페이스와 상호작용하는 동안에 그리고/또는 오프라인으로 사용자 인터페이스의 표시 공간에 생성하는 다른 이미지들을 포함하는 데이터가 여기에 설명되는 바와 같은 본 발명의 사용자 인터페이스로부터 올 수 있다.
선택적으로, 소프트웨어가 사용자 인터페이스를 해석하고, 그의 임무에 따라 홀로그래픽, 데이터를 포함하는 2D 또는 3D를 생성한다. 선택적으로, 사용자가 인터페이스 도구를 이용하여 "터치"하는 장소에, 사용자 인터페이스는 비제한적인 예로서 강조(highlight) 및/또는 별표 또는 X표와 같은 특정 형상 등의 사전 정의된 지시를 표시한다.
비제한적인 예로서, 인간 해부의 입체 및 공간 렌더링을 제공하는 실시간 2D, 3D 또는 입체 렌더링 데이터로도 알려진 데이터가 선택적으로 3D 의료 이미징으로부터 입력된다.
선택적으로, 입력은 3D 데이터 이미지들의 스트림이다.
선택적으로, 입력은 "실시간"으로 즉, 초당 24 프레임 이상으로 제공된다.
2D/3D 데이터는 선택적으로 3D 이미징 양식들: CT; MRI; PET; 3D 회전 혈관 조영; 3D 초음파; 및 미래/최신 기술들로부터 추출된다.
2D/3D 데이터는 선택적으로 "결합된 이미징" 또는 "이미지 융합"으로도 알려진, 데이터를 중첩 및/또는 융합하는 위의 양식들의 결합을 포함한다. 그 예들은 동일 환자의 CT 및 MRI 결과들의 융합; 및 MR 유도 초음파 치료를 포함한다.
2D/3D 데이터는 선택적으로 다양한 임상 예들의 해부 라이브러리로서의 사전 정의된 해부 모델들은 물론, 개별 환자들의 이미지 세트들을 포함한다.
2D/3D 데이터는 선택적으로 SolidWorks와 같은 CAD 도구들로부터의 2D/3D 데이터 근원을 포함한다. 2D/3D 데이터는 정지 이미지들 및/또는 이미지 스트림들일 수 있다. 소정 데이터에 대한 예시적인 표준들은 IGES, 3DF, OBJ 등을 포함한다.
2D 데이터는 선택적으로 예를 들어 VESA 표준의 컴퓨터들로부터의 데이터, 및/또는 합성 비디오, DVI 등과 같은 TV 관련 시스템들로부터의 아날로그 및 디지털 비디오 표준들을 포함한다.
본 발명의 일부 응용들에서는, 어떠한 데이터도 입체 디스플레이로 전송되지 않는다. 이러한 경우에, 사용자는 선택적으로 선들, 객체들, 2D 이미지들, 입체 이미지들을 그리며, 표시 공간 내에서, 선택적으로 인터페이스 도구를 통해 디지털 입체 조각을 수행한다. 그리기 및/또는 "조각"은 선택적으로 사용자 인터페이스에 의해 입체 디스플레이를 통해 거의 실시간으로 표시 공간 내에 제공된다.
디스플레이 장치들
공중 부양 이미지와 상호작용하기 위하여, 입체 디스플레이 장치가 선택적으로 사용된다. 일반적으로, 장치는 데이터로부터 생성된 "공중 부양" 이미지를 표시하며, 사용자는 이미지와 상호작용한다.
이미지에 대한 데이터의 소스는 2D, 3D 또는 입체일 수 있다.
선택적으로, 본 발명의 광시야각 디스플레이를 이용하여, 선택적으로 데이터는 이미지의 중심을 통하는 대칭축을 갖고 디스플레이 장치의 중앙을 통과하는 이미지에 의해 표시된다. 선택적으로, 하나 이상의 관찰자, 및/또는 디스플레이 주위의 상이한 위치들 내의 하나의 관찰자에 의해 관찰 가능한 3D 입체 홀로그래픽 데이터가 절대 좌표들을 이용하여 표시된다.
선택적으로, 2D 정보가 다양한 배향으로 "공중에 떠 있는" 상태로 표시되어, 360도 원 내에 임의의 방향으로 편평 면이 표시된다. 선택적으로, 2D 이미지들은 상이한 근원들로부터 발생하며, 상이한 이미지들은 선택적으로 상이한 관찰자들에게 표시된다.
선택적으로, 이미지는 입체/2D 비 "공중(in air)" 이미지의 리이미지(re-image)이며, 리이미징 광학계를 이용하여 리이미지가 "공중" 이미지가 되게 한다.
선택적으로, 관찰자의 두 눈에 두 개의 상이한 이미지를 제공하는 3D 시차 장벽 이미지들이 표시된다.
본 발명의 일부 실시예들에서, 3D 이미지들에 대해, "공중 부양" 디스플레이는 표시 공간 내에 절대 좌표들을 갖는 투영된 3D 이미지를 사용한다. 선택적으로, 높은 품질, 넓은 시야각의 3D 디스플레이 장치가 사용된다. 그러한 디스플레이 장치들의 비제한적인 예들은 본 발명의 광시야각 디스플레이 및 아마도 이미지를 "공중에 떠 있게" 표시할 수 있는 미래의 광시야각 3D 디스플레이 장치들을 포함한다.
인터페이스 장치들
표시 공간 내의 2D/3D 사용자 입력 또는 조작을 지원하는 도구들이 인터페이스 매체로서 사용하기 위해 고려된다. 그러한 도구들은 비제한적인 예로서 펜 형태의 장치들과 같은 핸드헬드 도구들; 제스처 인식 인터페이스 유닛들; 예컨대 손가락 및/또는 손가락 팁을 인식하기 위한 객체 인식 인터페이스 유닛들; 및 핸드헬드 도구 또는 손가락의 위치 및/또는 배향을 추적하는 능력을 갖춘 추적 시스템들을 포함한다.
선택적으로, 각각의 개별 손가락 또는 도구는 개별적으로 검출될 수 있고, 선택적으로 개별적으로 식별될 수 있고, 선택적으로 상이하게 마킹될 수 있다.
예시적인 인터페이스 장치는 IR LED 또는 LED들을 구비한 스타일러스이다. 상호작용이 발생하고, 이미지가 표시되는 사용자 인터페이스의 표시 공간 근처에 IR 카메라/카메라들이 배치된다. 선택적으로, IR 카메라들은 LED로부터 IR 신호를 수신하고, 위치 및/또는 배향이 선택적으로 최대 6개의 자유도에서 위치 계산 유닛에 의해 계산된다. 위치 계산 유닛은 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 선택적으로, 위치 계산은 이미지 처리 기술들을 이용하여 수행된다. 위치 계산 유닛은 선택적으로 도구 또는 손가락의 위치 및/또는 배향을, 사용자 인터페이스 프로그램에 따라 액션들을 수행하기 위한 옵션인 컴퓨터로 전송한다. 예시적인 액션들은 비제한적인 예로서 공간 내의 포인트들 마킹; 공간 내에 선들 또는 이미지들 그리기; 공간 내의 거리들의 계산; 경로 그리기; 경로의 절대 길이의 계산; 경로 그리기; 경로의 좌표들의 저장 등이다.
도구/객체를 추적하기 위한 다른 예시적인 방법들은 공간 내의 도구들/객체 위치/배향을 추출하는 이미지 처리를 수행하는 CCD 카메라/카메라들 및 계산 하드웨어; 기계, 자기, 초음파, 광학 및 혼성 관성 센서, 상기 센서들의 일부 또는 전부의 조합에 기초하는 추적 장치들, 및/또는 공간 내의 도구/객체의 위치를 결정하기 위한 다른 방법들을 포함한다.
공간 내의 객체들을 추적하는 최신 방법은 코히런트 광을 이용한 객체들의 조명 또는 객체들 상의 조명 패턴들, 및 결과 이미지를 처리하여 객체들의 위치 및 배향을 해석하는 것에 기초한다. 이것은 선택적으로 실시간으로 수행되는데, 즉 이미지 프레임을 취득하는 데 걸리는 시간 내에 이미지 프레임이 계산된다. 이와 관련하여, 실시간은 초당 24 프레임 이상과 같은 적어도 시네마 레이트의 레이트도 의미하지만, 선택적으로 초당 2 프레임 또는 초당 10 프레임의 레이트도 이용될 수 있다.
그러한 방법들을 개발하고 있는 회사들의 예는 28 Habarzel Street, Tel-Aviv, Israel의 Prime Sense Inc.; 및 3DV Systems, 2 Carmel Street, Industrial Park Building 1, P.O. Box 249, Yokneam, 20692, Israel의 3DV Systems를 포함한다.
예시적인 IR 추적 회사는 P.O BOX 2317 Corvallis, OR 97339 UAS의 NaturalPoint Inc.이다.
예시적인 관성/초음파 추적 회사는 4 Federal Street, Billerica, MA 01821 USA의 InterSense Inc.이다.
지원 소프트웨어 및 통신 장치들
선택적으로, 지원 소프트웨어 및 통신 장치들은 표시를 위한 데이터의 소스, 디스플레이 장치 및 인터페이스 장치를 처리하고, 이들 사이를 동기화하고, 이들 사이에서 데이터를 전송한다.
지원 소프트웨어 및 통신 장치들은 사용자 인터페이스의 다른 유닛들 사이의 통신 및 데이터 전송을 담당하며, 따라서 제공되는 정보는 오리지널 데이터, 입력 데이터, 또는 결합된 데이터가 선택적으로 디스플레이 장치에 의해 사용자/사용자들에게 표시되는 방식으로 인터페이스 장치들의 결과로서 생성되는 해석된 액션들을 포함한다.
선택적으로, 결합된 데이터는 정지 3D 이미지 또는 동적 이미지상에서 실시간으로 표시된다.
선택적으로, 이미지는 2D이다.
선택적으로, 이미지는 홀로그래픽이다.
선택적으로, 지원 소프트웨어 및 통신 장치들은 예를 들어 3D 인터페이스를 통해 사용자로부터 수신된 경로 또는 다른 지시들에 따라 공간 내에서 작업들을 수행하기 위한 로봇과 같은 다른 시스템들과 통신할 수 있다.
선택적으로, 통신은 데이터 또는 데이터의 일부를 원격 디스플레이 장치로 전송한다.
선택적으로, 통신은 데이터 또는 데이터의 일부를 다른 원격 시스템들로 전송하고, 이 시스템들은 데이터를 이용하여 "공중" 이미지 내의 상호작용이 멀거나 가까운 것에 관계없이 원격 시스템들에서 이용될 수 있게 한다.
선택적으로, 데이터는 RF를 통해 전송된다.
선택적으로, 데이터는 유선 물리 계층들을 통해 전송된다.
선택적으로, 2명(또는 그 이상)의 상이한 사용자가 동일한 장치(시스템 및 디스플레이)를 이용하여 동일 위치에서 동일 입체 또는 2D "공중" 이미지와 상호작용한다.
선택적으로, 2명(또는 그 이상)의 상이한 사용자가 분리되었지만 통신하는 장치들(시스템 및 디스플레이)을 이용하여 상이한 위치들에서 동일 입체 또는 2D "공중" 이미지와 상호작용한다.
예시적인 응용들
본 발명의 사용자 인터페이스의 일부 예시적인 응용들이 아래에 설명된다.
특정 포인트의 "공중" 마킹
투영된 입체 이미지(선택적으로 홀로그래픽)에 대해, 사용자는 특정 위치들을 지시한다. 청각 및/또는 버튼 클릭 지시들에 의해, 사용자는 표시 공간 내의 특정 포인트들을 마킹한다. 예컨대, 추적 센서를 갖춘 스타일러스가 사용되며, 사용자에 의해 입체 이미지 내에 특정 포인트들이 마킹된다. 사용자 인터페이스는 스타일러스의 공간 위치 및/또는 배향을 기록하고, 이를 지원 하드웨어에 저장한다. 저장된 포인트들은 특정 복셀 또는 복셀들로 해석되며, 선택적으로 디스플레이는 포인트들을 실시간으로 입체 이미지상에 표시한다.
선택적으로, 사용자 인터페이스는 표시 공간 내에 투영된 초기 이미지 없이 시작하며, 사용자(들)에 의해 나중에 마킹된 포인트들만이 표시 공간 내에 표시된다.
이미지가 투영되는 동안, 사용자 인터페이스는 이미지 내의 복셀이라고도 하는 특정 포인트를 "터치"함으로써 표시 공간 내의 포인트를 캡처하는 것을 가능하게 한다. 선택적으로, 포인트에 대한 접근은 포인트를 둘러싸는 사전 정의된 "구름"에 의한 캡처를 가능하게 하며, 따라서 사용자는 정확한 위치를 터치할 필요가 없고, 따라서 예를 들어 사람 손의 사용은 부정확에 대한 어느 정도의 허용 한계를 갖는다.
선택적으로, 디스플레이 장치는 사용자가 선택적으로 충분히 가까이 지시하는 경우에 "그래브"할 수 있는 특정 마킹된 포인트들을 투영하며, 이어서 사용자는 포인팅 도구 상의 버튼을 눌러 포인트를 "그래브"할 수 있다.
선택적으로, 이미지의 "마킹"은 마킹된 영역의 "태깅(tagging)"을 제공하며, 따라서 동적 이미지의 경우에 마킹된 영역은 고립될 수 있고, 마킹된 영역의 이동은 선택적으로 시간에 따라 추적된다. 일례는 선택적으로 사용자 인터페이스에 의해 태깅되는 승모판막들의 추적이다. 표시된 이미지의 태깅되지 않은 부분이 선택적으로 제거되며, 동적 판막들이 선택적으로 추적되고, 구체적으로 연구된다. 태깅은 선택적으로 의료적 개입 전후에 수행되며, 의료적 개입의 효율을 비교하고 평가하기 위해 이미지들이 선택적으로 오버레이된다. 이러한 태깅은 선택적으로 심근 사전 및 사후 재동기화, 전기 생리학적 경로 사전 및 사후 절제 등을 포함하는 이미지의 정적 및/또는 동적 부분들에 적용된다.
"공중 마킹"의 추가적인 예들은
선택적으로 초음파 기반 진단, 개입적 심장학 절차 등과 같은 의료 이미징에 유용한, 지원 소프트웨어에 의해 수행되는 에지 인식을 따르는 인간 보조 에지 정정을 위한 도구;
기관 내의 위치의 마킹;
종양의 위치의 마킹;
장치, 기관 및 치료적 개입의 제안된 주입을 위한 신체 내의 공간 내의 위치의 마킹; 및
공간 또는 기관 내의 고정 포인트로 참조되고, 신체 또는 기관의 움직임 또는 ECG 게이팅 또는 호흡과 같은 신체 또는 기관 밖의 움직임 동안에 관계를 유지하는 신체, 기관 밖의 위치의 마킹을 포함한다.
특정 포인트의 "공중" 마킹은 공간 이미지의 관찰자에 의해 직관적이고 정밀한 방식으로 눈에서 손으로, 손에서 사용자 인터페이스로, 사용자 인터페이스에서 디스플레이로, 그리고 디스플레이에서 눈으로의 "루프의 폐쇄"를 가능하게 한다. 이어서, 마킹된 포인트 또는 영역이 전송될 수 있고, 관심 있는 공간 영역을 처리하는 다른 시스템들에 의해 이용될 수 있다. 그 예들은 종양의 특정 영역 상의 집중 방사선 조사, 기관 상에 마킹된 특정 포인트에 대해 절제를 수행하기 위한 로봇 또는 도구 등일 수 있다.
부피 및 길이 정량화
투영되는 이미지, 예컨대 뼈 조직에 대해, 사용자는 선택적으로 뼈 이미지의 한 단부를 마킹한 후, 뼈 이미지의 다른 단부를 마킹한다. 사용자 인터페이스 시스템은 마킹된 포인트들을 지시하며, 선택적으로 소프트웨어 모듈을 통한 계산에 의해 뼈의 길이가 계산된다.
경로의 길이가 필요한 경우, 선택적으로 사용자는 셋 이상의 포인트를 마킹하고, 선택적으로 경로 길이가 계산된다. 선택적으로, 사용자에 의해 연속 경로가 그려지며, 사용자 인터페이스 시스템은 연속 경로의 길이를 계산한다.
체적을 정량화하기 위해, 체적 구획선 상의 여러 개의 포인트, 예컨대 10개의 포인트가 선택적으로 사용자에 의해 마킹되며, 사용자 인터페이스 소프트웨어는 선택적으로 포인트들 사이의 체적을 계산한다. 선택적으로, 소프트웨어는 측정치들을 외삽하고, 포인트들에 의해 마킹된 객체에 형상적으로 가까운 연속 입체를 표시하고 체적을 계산한다. 선택적으로, 계산된 형상은 실시간으로 이미지상에 표시되어, 사용자가 계산된 형상 에지들을 실제 형상의 에지들로 이동시킴으로써 에지 교정을 수행하는 것을 가능하게 하여, 체적의 정밀한 튜닝 및 체적의 정량화를 가능하게 한다.
선택적으로, 투영 이미지는 1:1 스케일링으로 투영된다. 선택적으로, 투영 이미지는 선택적으로 사용자 입력에 의해 확대되거나 더 작게 표시된다. 사용자 인터페이스 시스템은 선택적으로 스케일링을 정의하며, 따라서 다양한 스케일로 표시된 객체에 대해 측정들이 이루어질 수 있고, 사용자 인터페이스 시스템은 선택적으로 스케일링 계수를 이용하여 절대 측정치들을 출력한다.
특정 포인트의 "공중" 마킹은 길이들, 거리들 및 체적들의 공중 정량화를 가능하게 한다. 사용자는 시스템이 길이들 또는 거리들을 계산하게 하기 위해 2개의 포인트를 마킹하거나, 사용자 인터페이스 시스템이 체적을 계산하게 하기 위해 복수의 포인트를 마킹한다.
의료 분야에서는, 때때로 높이, 무게 및/또는 신체 표면적에 따라 계산된 상이한 기관들의 정상 표면적들 및 체적들이 수신된다. 면적들 또는 체적들은 밀리리터, 리터, 제곱 센티미터 또는 세제곱 센티미터로 표현되며, 통상적으로 표준 편차들을 갖는 범위들에서 그리고 Z 값들 등으로서 표현된다. 선택적으로, 사용자 인터페이스 시스템은 정적, 동적, 독립적인 정상 면적들 또는 체적들 및/또는 폐 체적들과 같은 실제 또는 계산된 이미지들을 생성하기 위한 CT, MRI 또는 기타 그러한 양식으로부터 취해진 정적이거나 동적인 기관의 실제 이미지를 함께 투영한다.
정량화에 대한 일부 이용 예들이 아래에 열거된다.
심장학 분야에서의 박동하는 심장의 체적에 기초하는 박출 계수의 정량화.
호흡기 분야에서의 폐 기능의 입체적 분석.
표준 참조들에 기초하는 기관들의 실제 체적들과 기관들의 예측 체적들의 비교.
산과학 분야에서의 태아 기관들 또는 태아 신체의 면적 및/또는 체적 정량화에 기초하는 태아 진단.
체적 정량화가 유용한 다른 분야들은 예를 들어 종양들을 맵핑하고 측정하기 위한 교정학 및 종양학을 포함한다.
프레임형 인터페이스 장치
의사들과 같은 사용자 인터페이스의 사용자들은 종종 입체 이미지 내의 특정 평면들을 관찰하기를 원한다. 관찰될 특정 평면들은 다양한 배향들 및 위치들을 가질 수 있다. 사람에게 자연스런 특정 표면의 선택 방법이 본 발명의 사용자 인터페이스와 관련하여 설명된다.
입체 이미지가 투영되고, 선택적으로 인터페이스 장치의 위치 및 배향이 후술하는 바와 같이 3D 입체 이미지 내의 평면을 정의한다.
선택적으로, 이미지의 장축의 길이에 대한 대각선 길이를 갖는 평면 프레임이 사용된다. 평면은 "와이어-프레임", 즉 윤곽으로서 또는 투명 재료, 선택적으로 유리 또는 폴리카보네이트의 조각으로서 이루어질 수 있다. 선택적으로, 프레임 에지들 상에 마커들이 배치될 수 있는데, 예를 들어 코너들 상에 IR LED들이 배치될 수 있다. 사용자는 글자 그대로 프레임을 투영된 이미지 내에 삽입하며, 투영된 이미지 내의 특정 평면 또는 평면 내의 프레임을 지시한다. 특정 평면 또는 프레임에 포함된 데이터가 처리되고, 선택적으로 특정 평면 또는 프레임이 입체 디스플레이 상에 그리고/또는 정규 2D 디스플레이 상에 투영될 수 있다.
선택적으로, 이미지 내의 프레임의 연속 이동은 동일 디스플레이 상에 또는 대응하는 2D 디스플레이들 상에 평면 이미지들의 연속 스트림을 생성한다.
선택적으로, 입체 디스플레이는 프레임의 경계에서 이미지 평면을 "절단"한다.
선택적으로, 프레임은 평면을 정의하는 임의의 크기 및 형상을 가질 수 있다. 선택적으로, 프레임은 이미지 내의 삼차원 형상을 정의하는 삼차원 프레임일 수 있다.
선택적으로, 평면의 마킹은 마킹된 평면의 "태깅"을 제공한다. 선택적으로, 동적 투영 이미지의 경우, 마킹된 영역은 선택적으로 고립되며, 마킹된 영역의 이동은 시간에 따라 추적된다.
사용자 인터페이스의 비제한적인 이용 예는 3D 회전 혈관 조영법(3DRA)을 이용할 때, 트랜스-카테터 절차 동안, 선택적으로 의사가 의사의 정면에 "떠 있는" 입체 이미지로부터 추출되고 프레임형 인터페이스에 의해 정의되는 2D 디스플레이 상에서의 관찰을 위한 특정 평면을 선택할 때를 포함한다.
공중 이미지 조작 인터페이스
표시된 입체 이미지에 대해, 선택적으로 사용자는 이미지상의 또는 이미지 구획선 상의 포인트를 마킹하며, 제스처 또는 소정의 다른 포인트 마킹 방법에 의해 특정 방향의 이미지 회전을 정의한다. 선택적으로, 사용자는 2개의 포인트를 마킹하고, 이미지가 회전하게 하며, 따라서 회전축은 2개의 포인트에 의해 정의되는 선에 의해 정의되는 축이다. 전술한 조작은 선택적으로 마킹된 포인트들의 수신, 디스플레이에 의해 투영될 이미지를 정의하는 소프트웨어 및/또는 하드웨어에 의한 마킹된 포인트들의 해석에 적어도 부분적으로 기초하여 그리고 선택적으로 사용자에 의해 제공되는 "회전"과 같은 특정 "명령"에 기초하여 수행된다. 선택적으로, 대응하는 이미지들이 디스플레이를 통해 렌더링되고 표시된다. 선택적으로, 이러한 액션은 실시간으로 수행된다.
선택적으로 사용자는 표시된 객체 내의 3개 이상의 포인트를 마킹함으로써 평면 또는 프레임을 정의하며, 평면 또는 프레임만이 투영되도록 객체를 "슬라이싱"한다. 선택적으로, 사용자는 평면의 어느 한쪽 및/또는 프레임 밖의 이미지를 절단하기로 결정한다. 선택적으로, 사용자는 절단 액션을 반복할 수 있으며, 따라서 일련의 "절단" 평면들을 정의할 수 있다.
선택적으로, 인터페이스 장치의 배향에 대해, 이미지상에 실시간 선이 투영되고, 선택적으로 이미지가 "선"의 경로를 절단된다.
선택적으로, 인터페이스 장치의 배향에 대해, 실시간 선이 사용자에 의해 정의되고, 선택적으로 이미지를 회전시킬 수 있는 대칭축으로서 작용한다.
선택적으로, 줌인 및/또는 줌아웃과 같은 지시들을 갖는 "공중" 버튼들이 표시되며, 사용자는 인터페이스 장치를 이용하여 버튼들을 "터치"할 수 있다.
선택적으로, 사용자는 프레임형 인터페이스를 이용하여, 선택적으로 버튼을 누르거나 소정의 그러한 형태의 명령을 이용할 때 이미지의 일부를 "캡처"한다. 이 경우, 선택적으로 사용자는 가상 이미지가 프레임에 물리적으로 연결되는 경우처럼 그의 손 및/또는 프레임을 이용하여 모든 가상 이미지를 이동시킬 수 있다. 전술한 능력은 막대에 연결된 객체를 이동시키는 것과 유사하며, 선택적으로 사용자는 막대 아이스크림을 이동시키는 것과 같이 막대를 이동시킴으로써 객체를 이동시킨다.
"공중" 네비게이션
선택적으로, 사용자 인터페이스 시스템은 위치 지시자의 위치를 수신하고, 표시 공간 내에 위치를 표시한다. 선택적으로, 시스템은 도구가 네비게이트하고 있는 이미지, 예컨대 CT 데이터로부터의 이미지 또는 실시간 초음파 이미지를 표시한다. 선택적으로, 시스템은 선택적으로 스케일 상관 후에, 선택적으로 도구를 추적하기 위한 유닛과 같은 다양한 소스로부터의 도구의 위치의 지시를 이미지상에 중첩시킨다. 이어서, 사용자는 선택적으로 도구가 올바른 위치에 또는 올바른 루트 상에 있는지를 시각적으로 검사한다. 도구 위치가 올바르지 않은 경우, 사용자는 투영된 입체 이미지 내의 도구 위치 지시자를 가상적으로 "터치"하고, 도구 위치 지시자를 바람직한 위치 및/또는 루트로 드래그할 수 있다. 위치 및/또는 루트의 새로운 좌표들이 인터페이스 도구에 의해 기록되고, 선택적으로 도구 네비게이션 유닛에 제공된다.
선택적으로, 위치 지시자 네비게이션을 제어하는 시스템은 사용자의 지시에 따라 실제 위치 지시자 이동을 교정한다.
선택적으로, 제2 의사 및/또는 사용자는 제1 사용자의 지시들에 따라 인터페이스 장치를 수동으로 이동시킨다. 인터페이스 장치가 선택적으로 이미지상에 연속 표시될 때, 사용자에 의한 시각적 제어를 통해 제어 루프가 "폐쇄"된다.
선택적으로, 사용자는 인터페이스 장치를 이용하여 표시 공간 내에 경로를 그린다. 선택적으로, 시스템은 경로 내의 모든 포인트의 좌표들을 기록한다. 경로 좌표들은 로봇과 같은 개별 기계에 의해 기계가 그려진 경로를 따르도록 제어하는 데에 사용될 수 있다.
선택적으로, 기계는 의사 및/또는 자동화된 기계에 의해, 선택적으로 기계의 이미지를 투영하기 위한 입체 디스플레이를 이용하여 모니터링되며, 경로의 실시간 교정들이 이루어질 수 있다.
3D 네비게이션은 전기 생리학 기반 심장 절차들에서 중요한 응용이 되었다. 선택적으로, "공중" 네비게이션은 사용자가 정적 또는 동적 이미지는 물론, 이미지상에 중첩된 위치 지시자 및/또는 경로를, 선택적으로 실시간으로 볼 수 있게 한다. 다른 예로서, 폐들은 물론, 종격동 림프 마디들 내의 깊은 손상들에 대한 최소 침습 접근을 제공하기 위해 호흡기학/기관지경 검사에서는 전자기 3D 네비게이션도 구현된다.
추적되는 전술한 기계는 도구 또는 약물과 같은 주입 가능한 장치 또는 요법; 스텐트; 카테터; 판막; 영구 또는 임시 도구들의 조합; 약물 추출 스텐트; 색전 입자들에 부착된 화학 요법; 무선 주파수 또는 음향 에너지, 초음파 또는 HIFU와 같은 신체 또는 기관 밖의 힘 또는 에너지에 의해 영향받는 장치 또는 센서; 절제를 위한 무선 주파수 카테터들; 및 저온 절제를 위한 카테터들일 수도 있다.
원격 수술
어딘가의 실제 도구의 원격 로봇 조작을 유발하는, 표시 공간 내의 도구의 이미지의 전술한 조작은 신체를 통한 원격 수술 및/또는 원격 네비게이션을 가능하게 한다.
선택적으로, 사용자는 사람의 몸도 표시하는 제1 입체 디스플레이의 표시 공간에서 실제 도구를 조작한다. 조작은 추적되며, 실제 조작은 원격 위치의 실제 도구에 대해 실시된다. 원격 위치에서의 신체의 변화들은 삼차원 이미징 장치에 의해 픽업되어 제1 입체 디스플레이로 전송된다. 따라서, 사용자는 실제 도구의 실제 조작의 결과들의 이미지들을 본다.
선택적으로, 사용자는 신체도 표시하는 제1 입체 디스플레이의 표시 공간에서 도구, 즉 가상 도구의 이미지를 조작한다. 조작은 추적되며, 실제 조작은 원격 위치의 실제 도구에 대해 실시된다. 원격 위치에서의 신체의 변화들 및 또한 실제 도구의 변화들은 삼차원 이미징 장치에 의해 픽업되어 제1 입체 디스플레이로 전송된다. 따라서, 사용자는 신체의 이미지상의 실제 도구의 실제 조작의 결과들의 이미지들, 및 도구의 이미지를 본다.
"공중" 그리기
본 발명은 그 일부 실시예들에서 입체적으로 투영된 이미지 내에서 포인트, 선 및/또는 경로를 그리기 위한 도구를 제공하며, 사용자로 하여금 그리는 것을 실시간으로 볼 수 있게 한다. 선택적으로, "공중" 그리기는 사용자들/의사들 사이의 협력 도구를 제공하여, 이미지 내의 관심 있는 특정 해부물 또는 영역에 대한 논의를 가능하게 하기 위해 포인트를 그리거나 공간을 마킹하는 것을 가능하게 한다.
선택적으로, "공중" 그리기는 계산적으로 표시 공간의 좌표들로, 선택적으로 실시간으로 변환된다. 선택적으로, "공중" 그리기는 선택적으로 로봇과 같은 다른 도구들에 의해 사용될 소정의 다른 공간의 좌표들로 계산적으로 변환된다.
"공중" 그리기에 대한 의료적 이용의 비제한적인 일례는 유도 응용들을 위한 특정 마커들의 실시간 위치 결정이다.
표시된 이미지 내의 가상 객체의 국부화
본 발명은 그 일부 실시예들에서 입력 소스로부터의 데이터로부터 생성된 표시된 이미지 내에 가상 객체의 이미지를 결합하기 위한 도구를 제공한다. 선택적으로, 표시된 이미지 내의 가상 객체의 국부화에 대한 하나의 이용은 입체 이미지들의 표시를 통해 장비 선택을 시뮬레이션하는 것이다.
다양한 도구들/객체들이 3D 내에 모델링될 수 있으며, 이러한 모델링은 선택적으로 동적 작업을 포함한다.
선택적으로, 사용자는 가상 도구/객체를 선택하고, 표시 공간 내에서 3D 인터페이스를 이용하여 가상 도구/객체를 이동시켜, 도구/객체를 특정 위치 및 배향에 배치한다. 예를 들어, 선택적으로 가상 심장 판막의 이미지가 특정 판막과 크기 및 형상에서 유사하게 생성된다. 선택적으로, 사용자는 가상 판막을 환자의 심장의 이미지상으로 드래그한다. 선택적으로, 사용자는 심장의 이미지상의 인터페이스 포인트들 및 가상 판막 상의 대응 포인트들을 마킹한다. 선택적으로, 디스플레이 계산 유닛이 심장과 가상 판막의 결합된 이미지를 계산하고, 결합된 이미지를 사용자에게 제공한다. 선택적으로, 사용자는 판막이 올바른 위치 및 배향에 있는지를 평가하고, 필요한 경우에는 선택적으로 다른 측정/지시를 수행한다. 선택적으로, 사용자는 판막의 크기가 맞는지도 평가한다.
선택적으로, 가상 판막은 동적일 수 있으며, 심장의 동적 또는 정적 이미지 위에 중첩될 수 있다.
선택적으로, 혈액 이동 및 조직 이동의 시뮬레이션이 예측되고, 계산되고, 표시된다.
선택적으로, 사용자는 예를 들어 특정 실제 도구 또는 임플란트를 각각 표현하는 가상 이미지들의 라이브러리로부터 표시 공간 내에 표시를 호출한다. 심장 스텐트들과 같은 확장 도구들의 경우, 선택적으로 라이브러리는 확장되지 않은 형태와 확장된 형태의 도구들 및 확장 프로세스의 동적 표현을 포함한다.
표시된 이미지 내의 가상 객체의 국부화에 대한 이용들의 다른 비제한적인 예들은 판막 국부화; 정형 보철물 삽입; 심장내 및 심장외 보철물, 장치, 주입 가능 장치, 스텐트, 대동맥 이식, 스텐트 이식; 및 뇌실 보조 장치들과 같은 뇌실내 장치들을 포함한다.
이미지 내의 실제 객체의 국부화
본 발명은 그 일부 실시예들에서 입력 소스로부터의 데이터로부터 생성된 이미지와 실제 객체들을 결합하기 위한 도구를 제공한다. 선택적으로, 이러한 결합은 심장 판막 선택과 같은 실제 장비 선택에 이용된다.
선택적으로, 사용자는 실제 객체, 선택적으로 나중에 신체 내에 삽입될 실제 객체를 표시된 이미지 내에 배치한다. 실제 객체는 손에 의해 삽입될 수 있으며, 그리고/또는 실제 객체를 유지하기 위한 도구를 이용하여 삽입될 수 있다. 선택적으로, 사용자는 입체 "공중" 디스플레이 내에 투영된 기관의 정적 또는 동적 이미지 내에 객체를 배치한다. 따라서, 사용자/의사는 선택적으로 그가 신체 내에 실제 객체를 삽입하기를 원하는 방법, 실제 객체와 신체 기관들의 물리적 매칭의 레벨 등을 평가한다.
이미지 내의 실제 객체의 국부화에 대한 이용들의 다른 비제한적인 예는 판막 국부화를 포함한다.
상호작용 게이밍
입체 디스플레이의 표시 공간 내의 실제 객체의 삽입은 게이밍을 위한 사용자 인터페이스 시스템의 이용을 가능하게 한다.
비제한적인 예로서, 선택적으로 사용자는 입체 디스플레이 상의 삼차원 가상 현실 디스플레이를 갖는 게임 등에서 칼, 도구 등과 같은 게임 소도구를 사용한다.
지원되는 게임 타입의 비제한적인 일례는 도 15를 참조하여 전술한 바와 같이 통신들에 의해 접속되는 둘 이상의 상이한 입체 디스플레이에서 둘 이상의 사용자를 포함하는 가상 칼싸움이다.
본 발명의 입체 디스플레이에 의해 특별히 지원되는 흥미로운 게임은 가상 피피아타이다. 제1 사용자는 입체 디스플레이의 표시 공간 내에서 "막대"를 사용하며, 표시 공간 내에서 가상 피피아타를 보지 못한다. 다른 사용자들은 표시 공간 내에서 가상 피피아타를 보며, 제1 사용자가 사용하는 "막대"를 본다. 가상 피피아타 게임은 게임 주위에 둘 이상의 사용자를 갖는 입체 디스플레이에서, 또는 둘 이상의 입체 디스플레이에서 실행될 수 있다.
또 하나의 흥미로운 게임은 각각의 사용자가 동일 입체 디스플레이 상에서 그들 자신의 전함들만을 보는 "전함" 또는 "전함들"의 게임이다.
표시 공간 내에 실제 객체를 삽입하는 능력에 기초하는 또 하나의 흥미로운 게임 종류는 픽업 스틱(pick-up-sticks) 및 젠가(Jenga)와 같은 손-눈 협조 게임들을 포함한다. 선택적으로, 게임들은 입체 디스플레이 내에 삼차원으로 표시되는 가상 게임 조각들을 이용하며, 사용자들은 표시 공간 내에 도달하는 동안에 게임 조각들을 "그래브"한다. 선택적으로, 추적 장치가 손가락들 사이의 갭을 측정하여 사용자가 게임 조각을 언제 잡았는지를 파악한다.
일반적인 언급
본 출원으로부터 완성된 특허의 수명 동안에 많은 관련된 공간 광 변조기, 홀로그램 생성 유닛 및 입체 디스플레이가 개발될 것이며, 대응하는 용어들의 범위는 모든 그러한 새로운 기술들을 연역적으로 포함하는 것을 의도하는 것으로 예상된다.
"이미징" 및 "투영"이라는 용어들은 본 명세서에서 교환 가능하게 사용된다.
"예시적인"이라는 용어는 예, 보기 또는 실례로서 사용된다는 의미로 사용된다.
용어들 "포함한다", "포함하는", "갖는다", "갖는", "구비하는" 및 이들의 활용들은 "포함하지만, 그에 한정되지 않는"을 의미한다.
"구성되는"이라는 용어는 "포함하지만, 그에 한정되지 않는"을 의미한다.
"필수적으로 포함하는"이라는 용어는, 추가적인 성분들, 단계들 및/또는 부품들이 청구되는 조성, 방법 또는 구조의 기본적이고 새로운 특성들을 실질적으로 변경하지 않는 경우에만, 조성 방법 또는 구조가 그러한 추가적인 성분들, 단계들 및/또는 부품들을 포함할 수 있다는 것을 의미한다.
"선택적으로"라는 단어는 본 명세서에서 "일부 실시예들에서는 제공되지만, 다른 실시예들에서는 제공되지 않는다"는 것을 의미하는 데에 사용된다. 본 발명의 임의의 특정 실시예는 복수의 "옵션" 특징들이 충돌하지 않는다면 그러한 특징들을 포함할 수 있다.
본 명세서에서 사용될 때, 단수 형태는 "적어도 하나"를 나타내는 데 사용되며, 따라서 명확히 달리 지시되지 않는 한, "하나" 및 "하나보다 많은" 모두를 명시적으로 나타낸다. 예를 들어, "하나의 미러"는 복수의 미러를 포함할 수 있다.
본 명세서에서 사용될 때, "약"이라는 용어는 ±10%를 나타낸다.
본 명세서에서, 범위들은 2개의 동등한 형식, 즉 "X에서 Y까지" 및 "X와 Y 사이"로서 교환가능하게 제공되며, 양자의 경우, X, Y 및 이들 사이의 임의의 수를 커버한다.
명료화를 위해 별개의 실시예들과 관련하여 설명되는 본 발명의 소정 특징들은 단일 실시예 내에 결합하여 제공될 수도 있다는 것을 인식한다. 반대로, 간략화를 위해 단일 실시예와 관련하여 설명되는 본 발명의 다양한 특징들은 개별적으로 또는 임의의 적절한 하위 결합으로 또는 적절한 경우에 임의의 다른 설명되는 발명의 실시예에서 제공될 수도 있다. 다양한 실시예들과 관련하여 설명되는 소정의 특징들은 실시예가 그러한 요소들 없이는 동작 못하지 않는 한 그러한 실시예들의 필수적인 특징들로서 간주되지 않아야 한다.
본 발명은 그의 특정 실시예들과 관련하여 설명되었지만, 많은 대안, 변경 및 변형이 이 분야의 기술자들에게 명확할 것임이 분명하다. 따라서, 본 발명은 첨부된 청구항들의 사상 및 넓은 범위에 속하는 모든 그러한 대안들, 변경들 및 변형들을 포함하는 것을 의도한다.
본 명세서에서 언급된 모든 공보들, 특허들 및 특허 출원들은, 각각의 개별 공보, 특허 또는 출원이 본 명세서에 참고 문헌으로 포함되도록 구체적으로, 개별적으로 지시된 경우와 동일한 정도로, 그들의 전체가 본 명세서에 참고 문헌으로 포함된다. 또한, 본 출원에서의 임의의 참고 문헌의 인용 또는 식별은 그러한 참고 문헌이 본 발명에 대한 종래 기술로서 이용 가능함을 인정하는 것으로서 해석되지 않아야 한다. 섹션 제목들이 사용되는 한도에서, 이들은 반드시 제한적인 것으로 해석되지 않아야 한다.

Claims (32)

  1. 공중 부양 사용자 인터페이스를 구현하기 위한 방법으로서,
    제1 공중 부양 디스플레이의 표시 공간에 제1 이미지를 표시하는 단계;
    실제 객체를 상기 제1 공중 부양 디스플레이의 표시 공간에 삽입하는 단계;
    상기 제1 공중 부양 디스플레이의 표시 공간 내의 상기 실제 객체의 위치를 결정하는 단계; 및
    상기 위치를 상기 공중 부양 사용자 인터페이스에 입력으로서 제공하는 단계를 포함하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 제1 이미지는 컴퓨터 생성 홀로그래피에 의해 만들어지는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 실제 객체는 손가락인, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 제1 이미지에 액추에이터를 표시하는 단계;
    상기 실제 객체의 상기 위치를 상기 액추에이터에 이동시키는 단계; 및
    위치 입력을 상기 액추에이터를 구동하는 실제 객체로서 해석하는 단계를 더 포함하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  5. 제 1 항에 있어서,
    실제 객체의 위치를 이동시키는 단계;
    시간 경과에 따른 상기 실제 객체의 위치를 추적하는 단계;
    위치 입력을 상기 제1 이미지의 적어도 일부를 조작하는 실제 객체로서 해석하는 단계를 더 포함하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 실제 객체는 복수의 실제 객체를 더 포함하고, 상기 실제 객체들 각각의 위치들을 상기 공중 부양 사용자 인터페이스에 대한 위치 입력들로서 사용하는 단계를 포함하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 위치는 상기 표시 공간 내에 2개의 위치를 포함하고, 상기 2개의 위치는 디스플레이 공간에서의 회전축을 결정하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  8. 제 1 항에 있어서,
    상기 위치는 상이한 시각에 상기 실제 객체 상의 포인트의 복수의 상이한 위치에 적어도 부분적으로 기초하는 복수의 위치를 더 포함하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  9. 제 8 항에 있어서,
    상기 복수의 위치를 연결하는 경로가 상기 제1 공중 부양 디스플레이에 의해 표시되는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  10. 제 8 항에 있어서,
    복수의 위치상에 적어도 부분적으로 기초하여, 기능들, 즉
    제1 이미지의 줌인;
    제1 이미지의 줌아웃;
    제1 이미지의 절단;
    제1 이미지의 회전;
    제1 이미지의 슬라이싱;
    제1 이미지 내의 길이의 측정;
    제1 이미지 내의 면적의 측정; 및
    제1 이미지 내의 체적의 측정하는
    기능들의 그룹 중 적어도 하나의 기능을 구현하는 단계를 더 포함하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  11. 제 1 항에 있어서,
    상기 공중 부양 사용자 인터페이스는 CAD(Computer Aided Design) 사용자 인터페이스를 구현하기 위해 사용되는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  12. 제 1 항에 있어서,
    상기 입력은
    음성 명령;
    마우스 클릭;
    키보드 입력; 및
    버튼 누름으로 이루어지는 그룹으로부터 선택된 적어도 하나의 추가적인 입력을 더 포함하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  13. 제 1 항에 있어서,
    상기 실제 객체의 나머지와 실질적으로 대비하도록 포인트를 마킹하는 단계를 더 포함하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  14. 제 1 항에 있어서,
    상기 위치는 상기 실제 객체의 장축에 의해 정의된 선을 포함하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  15. 제 1 항에 있어서,
    상기 제1 공중 부양 디스플레이가 제1 이미지를 표시하는 것과 실질적으로 동시에 제2 이미지를 표시하는 제2 공중 부양 디스플레이를 더 포함하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  16. 제 15 항에 있어서,
    상기 제1 공중 부양 디스플레이는 상기 제2 공중 부양 디스플레이와 동일한 디스플레이를 표시하는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  17. 제 15 항에 있어서,
    상기 제1 공중 부양 디스플레이와 상기 제2 공중 부양 디스플레이는, 상기 제1 공중 부양 디스플레이의 제1 사용자와 상기 제2 공중 부양 디스플레이의 제2 사용자 사이의 원격 의료 상호작용을 구현하기 위해 사용되는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  18. 제 15 항에 있어서,
    상기 제1 공중 부양 디스플레이와 상기 제2 공중 부양 디스플레이는, 상기 제1 디스플레이와 상기 제2 디스플레이 사이의 화이트보드형 협력 공유를 구현하기 위해 사용되는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  19. 제 15 항에 있어서,
    상기 제1 공중 부양 디스플레이와 상기 제2 공중 부양 디스플레이는, 상기 제1 공중 부양 디스플레이의 제1 사용자와 상기 제2 공중 부양 디스플레이의 제2 사용자가 참여하는 게임을 구현하기 위해 사용되는, 공중 부양 사용자 인터페이스를 구현하기 위한 방법.
  20. 사용자 인터페이스로서,
    제1 공중 부양 디스플레이; 및
    상기 제1 공중 부양 디스플레이에 의해 객체들이 표시되는 입체인 제1 표시 공간 내의 제1 위치로부터 입력을 수신하도록 적응되는 제1 입력 유닛을 포함하는, 사용자 인터페이스.
  21. 제 20 항에 있어서,
    공중 부양 디스플레이는 입체 디스플레이인, 사용자 인터페이스.
  22. 제 20 항에 있어서,
    공중 부양 디스플레이는 이차원 공중 부양 디스플레이인, 사용자 인터페이스.
  23. 제 20 항에 있어서,
    상기 제1 공중 부양 디스플레이는 제1 위치를 표시하도록 적응되는, 사용자 인터페이스.
  24. 제 20 항에 있어서,
    상기 제1 공중 부양 디스플레이는 관찰자의 터치 범위 내에 이미지를 표시하도록 적응되는, 사용자 인터페이스.
  25. 제 23 항에 있어서,
    제2 공중 부양 디스플레이를 더 포함하고, 상기 제2 공중 부양 디스플레이는 제1 위치의 표시를 포함하는, 상기 제1 공중 부양 디스플레이에 의해 표시된 장면과 적어도 부분적으로 동일한 장면을 표시하는, 사용자 인터페이스.
  26. 제 25 항에 있어서,
    상기 제1 공중 부양 디스플레이와 상기 제2 공중 부양 디스플레이는, 상기 제1 공중 부양 디스플레이와 상기 제2 공중 부양 디스플레이 사이의 통신 채널에 의해 연결되어 있는, 사용자 인터페이스.
  27. 제 23 항에 있어서,
    제2 공중 부양 디스플레이를 더 포함하고, 상기 제2 공중 부양 디스플레이는 상기 제1 공중 부양 디스플레이에 의해 표시된 장면과 다른 장면을 표시하는, 사용자 인터페이스.
  28. 제 25 항에 있어서,
    제2 표시 공간 내의 제2 위치로부터의 입력을 수신하도록 적응된 제2 입력 유닛을 더 포함하고, 상기 제2 표시 공간은 상기 제2 공중 부양 디스플레이에 의해 표시된 객체들이 나타나는 입체인, 사용자 인터페이스.
  29. 제 20 항에 있어서,
    상기 제1 공중 부양 디스플레이는 위치 및 이 위치에 무엇이 표시되는지에 적어도 부분적으로 기초하여, 감각 피드백을 제공하도록 적응되는, 사용자 인터페이스.
  30. 3D 사용자 인터페이스를 구현하기 위한 방법으로서,
    제1 3D 장면을 보기 위해 제1 방향의 위치를 결정하는 단계;
    상기 제1 3D 장면의 제1 3D 이미지를 만드는 단계;
    상기 제1 방향으로 상기 제1 3D 장면의 상기 제1 3D 이미지를 표시하는 단계;
    상기 3D 장면을 보기 위해, 상기 제1 방향과는 다른 제2 방향의 위치를 결정하는 단계;
    상기 제1 3D 장면의 제2 3D 이미지를 만드는 단계; 및
    상기 제2 방향으로 상기 제1 3D 장면의 상기 제2 3D 이미지를 표시하는 단계를 포함하고,
    상기 제1 3D 장면이 상기 제1 방향으로부터 상기 제1 3D 장면이 나타나는 공간에서 동일한 좌표와 동일한 방향으로 상기 제2 방향으로부터 나타나도록 상기 제2 3D 이미지가 만들어지는, 3D 사용자 인터페이스를 구현하기 위한 방법.
  31. 제 30 항에 있어서,
    관찰자는 2개의 눈으로 관찰하고,
    상기 제1 방향은 상기 관찰자의 첫 번째 눈의 방향을 포함하고,
    상기 제2 방향은 상기 관찰자의 두 번째 눈의 방향을 포함하고,
    상기 제1 3D 이미지의 표시는 상기 제1 3D 이미지를 상기 첫 번째 눈에 표시하는 단계를 포함하고,
    상기 제2 3D 이미지의 표시는 상기 제2 3D 이미지를 상기 두 번째 눈에 표시하는 단계를 포함하는, 3D 사용자 인터페이스를 구현하기 위한 방법.
  32. 제 30 항에 있어서,
    상기 3D 장면은 2명의 관찰자에 의해 관찰되고,
    상기 제1 방향은 제1 관찰자의 방향을 포함하고,
    상기 제2 방향은 제2 관찰자의 방향을 포함하고,
    상기 제1 3D 이미지의 표시는 상기 제1 3D 이미지를 상기 제1 관찰자에게 표시하는 단계를 포함하고,
    상기 제2 3D 이미지의 표시는 상기 제2 3D 이미지를 상기 제2 관찰자에게 표시하는 단계를 포함하고,
    상기 제1 3D 장면이, 상기 제1 방향으로부터 관찰하는 상기 제1 관찰자에게 상기 제1 3D 장면이 나타나는 공간에서 동일한 좌표와 동일한 방향으로 상기 제2 방향으로부터 관찰하는 상기 제2 관찰자에게 나타나도록, 상기 제2 3D 이미지가 만들어지는, 3D 사용자 인터페이스를 구현하기 위한 방법.
KR1020147020075A 2008-07-10 2009-07-09 광시야각 디스플레이들 및 사용자 인터페이스들 KR101840405B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12966508P 2008-07-10 2008-07-10
US61/129,665 2008-07-10
PCT/IL2009/000686 WO2010004563A1 (en) 2008-07-10 2009-07-09 Broad viewing angle displays and user interfaces

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020117002157A Division KR101595104B1 (ko) 2008-07-10 2009-07-09 광시야각 디스플레이들 및 사용자 인터페이스들

Publications (2)

Publication Number Publication Date
KR20140094664A true KR20140094664A (ko) 2014-07-30
KR101840405B1 KR101840405B1 (ko) 2018-03-20

Family

ID=41120112

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020147020075A KR101840405B1 (ko) 2008-07-10 2009-07-09 광시야각 디스플레이들 및 사용자 인터페이스들
KR1020157034824A KR101908033B1 (ko) 2008-07-10 2009-07-09 광시야각 디스플레이들 및 사용자 인터페이스들
KR1020117002157A KR101595104B1 (ko) 2008-07-10 2009-07-09 광시야각 디스플레이들 및 사용자 인터페이스들

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020157034824A KR101908033B1 (ko) 2008-07-10 2009-07-09 광시야각 디스플레이들 및 사용자 인터페이스들
KR1020117002157A KR101595104B1 (ko) 2008-07-10 2009-07-09 광시야각 디스플레이들 및 사용자 인터페이스들

Country Status (6)

Country Link
US (6) US8500284B2 (ko)
EP (1) EP2304491A1 (ko)
JP (4) JP5805531B2 (ko)
KR (3) KR101840405B1 (ko)
CN (3) CN103529554B (ko)
WO (1) WO2010004563A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025503A (ko) * 2015-08-28 2017-03-08 한국전자통신연구원 홀로글래픽 디스플레이 장치

Families Citing this family (206)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8456488B2 (en) * 2004-10-06 2013-06-04 Apple Inc. Displaying digital images using groups, stacks, and version sets
US7557818B1 (en) * 2004-10-06 2009-07-07 Apple Inc. Viewing digital images using a floating controller
US20150121287A1 (en) * 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
US8775953B2 (en) 2007-12-05 2014-07-08 Apple Inc. Collage display of image projects
WO2009120992A2 (en) 2008-03-27 2009-10-01 St. Jude Medical, Arrial Fibrillation Division Inc. Robotic castheter system input device
WO2009120982A2 (en) 2008-03-27 2009-10-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system with dynamic response
US9241768B2 (en) 2008-03-27 2016-01-26 St. Jude Medical, Atrial Fibrillation Division, Inc. Intelligent input device controller for a robotic catheter system
US8684962B2 (en) 2008-03-27 2014-04-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter device cartridge
US8317744B2 (en) 2008-03-27 2012-11-27 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter manipulator assembly
US9161817B2 (en) 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US8343096B2 (en) 2008-03-27 2013-01-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US8282485B1 (en) 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
CN103529554B (zh) * 2008-07-10 2018-07-31 实景成像有限公司 宽视角显示和用户接口
US8704822B2 (en) * 2008-12-17 2014-04-22 Microsoft Corporation Volumetric display system enabling user interaction
US9747417B2 (en) * 2013-11-14 2017-08-29 Mores, Inc. Method and apparatus for enhanced personal care
WO2010129193A1 (en) 2009-05-08 2010-11-11 Koninklijke Philips Electronics, N.V. Ultrasonic planning and guidance of implantable medical devices
US9330497B2 (en) 2011-08-12 2016-05-03 St. Jude Medical, Atrial Fibrillation Division, Inc. User interface devices for electrophysiology lab diagnostic and therapeutic equipment
US9439736B2 (en) 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
EP2542296A4 (en) 2010-03-31 2014-11-26 St Jude Medical Atrial Fibrill INTUITIVE USER INTERFACE CONTROL FOR REMOTE CATHETER NAVIGATION AND 3D CARTOGRAPHY AND VISUALIZATION SYSTEMS
US8928659B2 (en) * 2010-06-23 2015-01-06 Microsoft Corporation Telepresence systems with viewer perspective adjustment
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
KR101172291B1 (ko) * 2010-08-13 2012-08-08 주식회사 시공테크 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법
US8943541B2 (en) * 2010-10-11 2015-01-27 Eldon Technology Limited Holographic 3D display
KR101758163B1 (ko) * 2010-12-31 2017-07-14 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
US9501036B2 (en) * 2011-01-14 2016-11-22 Levent Onural Apparatus and methods for holographic display
JP5785753B2 (ja) * 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
EP2506118A1 (en) * 2011-03-29 2012-10-03 Sony Ericsson Mobile Communications AB Virtual pointer
US20120290976A1 (en) * 2011-05-13 2012-11-15 Medtronic, Inc. Network distribution of anatomical models
KR20120132240A (ko) * 2011-05-27 2012-12-05 삼성전자주식회사 복수의 사용자에게 복수의 영상을 제공하는 듀얼 뷰 디스플레이 방법 및 듀얼 뷰 안경 구동 방법, 이를 적용한 디스플레이 장치 및 듀얼 뷰 안경
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
WO2013057649A1 (en) * 2011-10-20 2013-04-25 Koninklijke Philips Electronics N.V. Holographic user interfaces for medical procedures
CN102436169A (zh) * 2011-12-19 2012-05-02 中山大学 一种360°可视真三维图像显示系统及其显示方法
US10966684B2 (en) 2011-12-23 2021-04-06 Koninklijke Philips N.V Method and apparatus for interactive display of three dimensional ultrasound images
GB2498184A (en) * 2012-01-03 2013-07-10 Liang Kong Interactive autostereoscopic three-dimensional display
JP2013168120A (ja) * 2012-01-19 2013-08-29 Panasonic Corp 立体画像処理装置、立体画像処理方法、及びプログラム
US20130257692A1 (en) 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface
WO2013157607A1 (ja) * 2012-04-20 2013-10-24 浜松ホトニクス株式会社 ズームレンズ
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
TW201352011A (zh) * 2012-06-08 2013-12-16 Hon Hai Prec Ind Co Ltd 顯示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2014020602A2 (en) 2012-08-01 2014-02-06 Real View Imaging Ltd. Despeckling a computer generated hologram
US9636025B2 (en) 2012-08-15 2017-05-02 Nanyang Technological University Systems and methods for pedal revascularization assessment
US8963988B2 (en) * 2012-09-14 2015-02-24 Tangome, Inc. Camera manipulation during a video conference
KR20140049865A (ko) * 2012-10-18 2014-04-28 엘지전자 주식회사 공간 영상 제공 장치
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
CN103019023B (zh) * 2012-11-21 2015-10-28 中山大学 基于体视技术的全视角三维显示系统和方法
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
KR101956073B1 (ko) * 2012-12-20 2019-03-08 삼성전자주식회사 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
KR20140090838A (ko) * 2013-01-10 2014-07-18 한국전자통신연구원 홀로그램 영상 표시 장치 및 방법
US20140253432A1 (en) * 2013-01-21 2014-09-11 Holly Tina Ferguson Sensor-monitored, 3d, interactive holographic freespace control unit (hfcu) and associated components
US11206990B2 (en) * 2013-01-23 2021-12-28 Pedra Technology Pte Ltd Deep tissue flowmetry using diffuse speckle contrast analysis
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9406253B2 (en) * 2013-03-14 2016-08-02 Broadcom Corporation Vision corrective display
KR102003383B1 (ko) * 2013-03-14 2019-07-24 삼성전자주식회사 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법
US8715199B1 (en) 2013-03-15 2014-05-06 Topera, Inc. System and method to define a rotational source associated with a biological rhythm disorder
US9245387B2 (en) * 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
GB2515460B (en) 2013-04-12 2016-01-06 Two Trees Photonics Ltd Near-eye device
WO2014185920A1 (en) * 2013-05-16 2014-11-20 Empire Technology Development, Llc Three dimensional user interface in augmented reality
KR101968332B1 (ko) * 2013-05-27 2019-04-12 한국전자통신연구원 광시야각 홀로그래픽 이미지 디스플레이 방법 및 장치
US9025226B2 (en) * 2013-05-28 2015-05-05 Raytheon Company Infrared holographic projector for thermal masking and decoys
EP3019913A4 (en) * 2013-07-10 2017-03-08 Real View Imaging Ltd. Three dimensional user interface
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
KR20150012697A (ko) * 2013-07-26 2015-02-04 한국전자통신연구원 피드백 기반 디지털 홀로그래픽 콘텐츠 복원 검증 장치 및 방법
US20150042640A1 (en) * 2013-08-07 2015-02-12 Cherif Atia Algreatly Floating 3d image in midair
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
US9591295B2 (en) * 2013-09-24 2017-03-07 Amazon Technologies, Inc. Approaches for simulating three-dimensional views
US9437038B1 (en) 2013-09-26 2016-09-06 Amazon Technologies, Inc. Simulating three-dimensional views using depth relationships among planes of content
US9883173B2 (en) 2013-12-25 2018-01-30 3Di Llc Stereoscopic display
US11343487B2 (en) 2013-10-31 2022-05-24 David Woods Trackable glasses system for perspective views of a display
US10652525B2 (en) 2013-10-31 2020-05-12 3Di Llc Quad view display system
US10116914B2 (en) * 2013-10-31 2018-10-30 3Di Llc Stereoscopic display
US9986228B2 (en) 2016-03-24 2018-05-29 3Di Llc Trackable glasses system that provides multiple views of a shared display
KR20150097029A (ko) * 2014-02-17 2015-08-26 한국전자통신연구원 디지털 홀로그래픽 디스플레이 장치 및 방법
US20150253845A1 (en) * 2014-03-05 2015-09-10 Umoove Services Ltd. System and method for altering a perspective of a figure presented on an electronic display
US10048647B2 (en) 2014-03-27 2018-08-14 Microsoft Technology Licensing, Llc Optical waveguide including spatially-varying volume hologram
FI20145396A (fi) * 2014-04-29 2015-10-30 Satavision Oy Virtuaalivitriini
JP6079695B2 (ja) * 2014-05-09 2017-02-15 コニカミノルタ株式会社 画像表示撮影システム、撮影装置、表示装置、画像の表示および撮影の方法、およびコンピュータープログラム
JP6413372B2 (ja) * 2014-06-11 2018-10-31 オムロン株式会社 操作ユニットおよび遊技機
US9841844B2 (en) * 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
GB2517069B (en) * 2014-06-23 2015-09-02 Liang Kong Autostereoscopic virtual reality platform
EP3170061A1 (en) 2014-07-16 2017-05-24 Sony Corporation Apparatus for presenting a virtual object on a three-dimensional display and method for controlling the apparatus
KR20160016468A (ko) * 2014-08-05 2016-02-15 삼성전자주식회사 리얼 3d 영상 생성 방법 및 그 장치
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
JP5927366B1 (ja) * 2014-09-24 2016-06-01 オリンパス株式会社 医療システム
WO2016067397A1 (ja) * 2014-10-29 2016-05-06 日立マクセル株式会社 感覚提示装置、操作処理装置及び画像表示装置
US10379496B2 (en) 2014-12-08 2019-08-13 Levent Onural System and method for displaying and capturing holographic true 3D images
CN105005190A (zh) * 2014-12-19 2015-10-28 上海大学 液晶空间光调制器正交组合全息显示方法及装置
JP6637654B2 (ja) * 2014-12-26 2020-01-29 国立大学法人東京農工大学 ホログラム表示装置
US9759919B2 (en) 2015-01-05 2017-09-12 Microsoft Technology Licensing, Llc Virtual image display with curved light path
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
JP6637658B2 (ja) * 2015-02-23 2020-01-29 国立大学法人東京農工大学 ホログラム表示装置
US9866163B2 (en) 2015-03-16 2018-01-09 Thunder Power New Energy Vehicle Development Company Limited Method for controlling operating speed and torque of electric motor
US9547373B2 (en) 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
US9954260B2 (en) 2015-03-16 2018-04-24 Thunder Power New Energy Vehicle Development Company Limited Battery system with heat exchange device
US9539988B2 (en) 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
US10173687B2 (en) 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
US10703211B2 (en) 2015-03-16 2020-07-07 Thunder Power New Energy Vehicle Development Company Limited Battery pack, battery charging station, and charging method
US9550406B2 (en) 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US9586618B2 (en) 2015-03-16 2017-03-07 Thunder Power Hong Kong Ltd. Vehicle control system for controlling steering of vehicle
KR20160113439A (ko) * 2015-03-20 2016-09-29 전자부품연구원 웨지 프리즘을 이용한 테이블탑형 홀로그래픽 디스플레이 시스템
US10284816B2 (en) * 2015-03-23 2019-05-07 Intel Corporation Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes
WO2016149938A1 (zh) * 2015-03-26 2016-09-29 北京旷视科技有限公司 视频监控方法、视频监控系统以及计算机程序产品
US11449146B2 (en) * 2015-06-10 2022-09-20 Wayne Patrick O'Brien Interactive holographic human-computer interface
US20160364003A1 (en) * 2015-06-10 2016-12-15 Wayne Patrick O'Brien Holographic interface for manipulation
US9895803B1 (en) * 2015-06-19 2018-02-20 X Development Llc Calculating trajectory corridor for robot end effector
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
GB201513333D0 (en) * 2015-07-29 2015-09-09 Khan Javid Volumetric display
US20170038828A1 (en) * 2015-08-03 2017-02-09 Yen-Ting Cho Timeline-Based Three-Dimensional Visualization Of Video Or File Content
JP6615541B2 (ja) * 2015-09-02 2019-12-04 株式会社バンダイナムコアミューズメント 投影システム
JPWO2017047527A1 (ja) * 2015-09-15 2018-07-19 コニカミノルタ株式会社 フィットネス機器およびフィットネスシステム
US10630965B2 (en) * 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
US10073520B2 (en) * 2015-10-30 2018-09-11 Sony Mobile Communications Inc. Method and system for interaction using holographic display system
US9581962B1 (en) * 2015-11-20 2017-02-28 Arht Media Inc. Methods and systems for generating and using simulated 3D images
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
EP3420414A2 (en) * 2016-02-22 2019-01-02 Real View Imaging Ltd. Holographic display
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
WO2017145154A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Wide field of view hybrid holographic display
WO2017145155A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
CN105824417B (zh) * 2016-03-16 2019-12-10 成都电锯互动科技有限公司 一种采用虚拟现实技术的人与物的结合方法
CA3016346A1 (en) * 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images
EP3179450B1 (de) 2016-04-12 2020-09-09 Siemens Healthcare GmbH Verfahren zur multisensorischen darstellung eines objekts und darstellungssystem
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US10310284B1 (en) * 2016-07-09 2019-06-04 Mary Gormley Waldron Apparatus and method for projecting three-dimensional holographic images
JP6645371B2 (ja) * 2016-07-15 2020-02-14 オムロン株式会社 光デバイス及び立体表示方法
TWI610059B (zh) * 2016-08-04 2018-01-01 緯創資通股份有限公司 三維量測方法及應用其之三維量測裝置
US10234935B2 (en) 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
CN106162129B (zh) * 2016-08-31 2019-05-10 蒋欣飏 一种投影装置
CN106292240A (zh) * 2016-09-05 2017-01-04 京东方科技集团股份有限公司 全息显示装置及其显示方法
CN107966892B (zh) * 2016-10-20 2020-06-02 京东方科技集团股份有限公司 一种全息显示装置及其控制方法
CN106406063A (zh) * 2016-10-28 2017-02-15 京东方科技集团股份有限公司 全息显示系统和全息显示方法
US10254542B2 (en) 2016-11-01 2019-04-09 Microsoft Technology Licensing, Llc Holographic projector for a waveguide display
US9983684B2 (en) 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
CN106502075A (zh) * 2016-11-09 2017-03-15 微美光速资本投资管理(北京)有限公司 一种全息投影方法
CN106681498A (zh) * 2016-12-12 2017-05-17 歌尔科技有限公司 虚拟现实场景正对用户的实现方法、装置及虚拟现实设备
US11022939B2 (en) 2017-01-03 2021-06-01 Microsoft Technology Licensing, Llc Reduced bandwidth holographic near-eye display
US10175650B2 (en) 2017-01-16 2019-01-08 International Business Machines Corporation Dynamic hologram parameter control
US10303118B2 (en) 2017-01-16 2019-05-28 International Business Machines Corporation Holographic representations of digital object transfers
US10775740B2 (en) * 2017-01-24 2020-09-15 International Business Machines Corporation Holographic projection of digital objects in video content
DE102017103721B4 (de) * 2017-02-23 2022-07-21 Karl Storz Se & Co. Kg Vorrichtung zur Erfassung eines Stereobilds mit einer rotierbaren Blickrichtungseinrichtung
US11085018B2 (en) 2017-03-10 2021-08-10 Prellis Biologics, Inc. Three-dimensional printed organs, devices, and matrices
US10933579B2 (en) * 2017-03-10 2021-03-02 Prellis Biologics, Inc. Methods and systems for printing biological material
JP6775197B2 (ja) * 2017-03-23 2020-10-28 パナソニックIpマネジメント株式会社 表示装置及び表示方法
US11369440B2 (en) * 2017-04-17 2022-06-28 The John Hopkins University Tactile augmented reality for medical interventions
CN107390380B (zh) * 2017-05-12 2021-08-10 上海誉沛光电科技有限公司 一种显示装置、导光平板及多层悬浮显示设备
US20200201038A1 (en) * 2017-05-15 2020-06-25 Real View Imaging Ltd. System with multiple displays and methods of use
CN111032687A (zh) 2017-05-25 2020-04-17 普瑞利思生物制品公司 三维打印的器官、设备和基质
US10678338B2 (en) * 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
US10712567B2 (en) 2017-06-15 2020-07-14 Microsoft Technology Licensing, Llc Holographic display system
JP2020528162A (ja) * 2017-07-19 2020-09-17 ユークリデオン ホログラフィクス プロプリエタリー リミテッドEuclideon Holographics Pty Ltd 仮想環境における複数の観察者のための改良
EP3673319B1 (en) * 2017-08-23 2022-03-09 InterDigital Madison Patent Holdings, SAS Light field image engine method and apparatus for generating projected 3d light fields
IT201700122280A1 (it) * 2017-10-27 2019-04-27 3D I V E S R L Dispositivo volumetrico a campo di luce per visualizzazione di flussi d’immagini 3D fluttuanti e stereoscopiche 5 e relativo metodo
CN111295612B (zh) 2017-11-02 2023-03-03 Pcms控股公司 用于光场显示器中的孔径扩展的方法和系统
US20190187875A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Remote control incorporating holographic displays
US10761343B2 (en) * 2018-02-05 2020-09-01 Disney Enterprises, Inc. Floating image display system
JP7119398B2 (ja) * 2018-02-06 2022-08-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7017675B2 (ja) * 2018-02-15 2022-02-09 有限会社ワタナベエレクトロニクス 非接触入力システム、方法およびプログラム
EP3556702A1 (en) 2018-03-13 2019-10-23 Otis Elevator Company Augmented reality car operating panel
DE102018106651A1 (de) 2018-03-21 2019-09-26 Carl Zeiss Meditec Ag Visualisierungssystem und Verfahren zum Erzeugen von holographischen Darstellungen aus optischen Signalen
EP3553629A1 (en) * 2018-04-12 2019-10-16 Nokia Technologies Oy Rendering a message within a volumetric data
CN112005076A (zh) * 2018-04-26 2020-11-27 林德有限责任公司 用于在空间中表现定位线的方法
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
CN112272789B (zh) * 2018-06-15 2022-10-04 大陆汽车有限责任公司 具有可变的投影距离的用于生成虚拟图像的设备
WO2020014038A2 (en) * 2018-07-11 2020-01-16 Pure Depth Inc. Ghost multi-layer and single layer display systems
US10976704B2 (en) * 2018-07-17 2021-04-13 International Business Machines Corporation Fingerprint authentication during holographic object display
US10928775B2 (en) 2018-07-17 2021-02-23 International Business Machines Corporation 3D holographic display and holographic object formation
US10728534B2 (en) * 2018-07-31 2020-07-28 Lightspace Technologies, SIA Volumetric display system and method of displaying three-dimensional image
KR102201763B1 (ko) 2018-10-02 2021-01-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CN111050145B (zh) * 2018-10-11 2022-07-01 上海云绅智能科技有限公司 一种多屏融合成像的方法、智能设备及系统
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US10930183B2 (en) * 2018-11-22 2021-02-23 Electronics And Telecommunications Research Institute Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus
US11006091B2 (en) 2018-11-27 2021-05-11 At&T Intellectual Property I, L.P. Opportunistic volumetric video editing
US10832392B2 (en) * 2018-12-19 2020-11-10 Siemens Healthcare Gmbh Method, learning apparatus, and medical imaging apparatus for registration of images
US10818090B2 (en) * 2018-12-28 2020-10-27 Universal City Studios Llc Augmented reality system for an amusement ride
JP7416391B2 (ja) * 2018-12-28 2024-01-17 国立大学法人高知大学 ポインティング装置
US11330251B2 (en) 2019-01-16 2022-05-10 International Business Machines Corporation Defining a holographic object allowance area and movement path
US10904479B2 (en) * 2019-03-12 2021-01-26 Light Field Lab, Inc. Video communication including holographic content
US10768442B1 (en) * 2019-03-18 2020-09-08 Brelyon Inc. Display system providing concentric light field and monocular-to-binocular hybridization
CN109765695B (zh) * 2019-03-29 2021-09-24 京东方科技集团股份有限公司 一种显示系统和显示装置
CN114207507A (zh) 2019-06-28 2022-03-18 Pcms控股公司 用于基于可调谐液晶(lc)漫射器的光场(lf)显示器的光学方法和系统
EP4010756A4 (en) 2019-08-09 2023-09-20 Light Field Lab, Inc. DIGITAL SIGNAL SYSTEM BASED ON A LIGHT FIELD DISPLAY SYSTEM
EP3790023A1 (en) * 2019-09-03 2021-03-10 Koninklijke Philips N.V. Method for analyzing medical image data in a virtual multi-user collaboration, a computer program, a user interface and a system
CN110638524B (zh) * 2019-09-16 2021-11-02 山东省肿瘤防治研究院(山东省肿瘤医院) 一种基于vr眼镜的肿瘤穿刺实时模拟系统
CN116506715A (zh) * 2019-09-27 2023-07-28 苹果公司 用于操作透镜显示器的方法和设备
KR102231649B1 (ko) * 2019-10-21 2021-03-24 김동욱 3d데이터를 이용하여 쌍방향 인터랙션이 가능한 홀로그램 생성 장치 및 방법
JP7388135B2 (ja) * 2019-11-05 2023-11-29 株式会社Jvcケンウッド ヘッドマウントディスプレイ
CN112824968B (zh) * 2019-11-20 2022-08-16 宁波舜宇车载光学技术有限公司 投影设备和方法
US20220409995A1 (en) * 2019-12-03 2022-12-29 Light Field Lab, Inc. Light field display system for video games and electronic sports
JP7447474B2 (ja) * 2019-12-19 2024-03-12 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7380253B2 (ja) * 2020-01-27 2023-11-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11227444B2 (en) * 2020-03-09 2022-01-18 International Business Machines Corporation Virtual reality content adaptation
DE102020205207A1 (de) 2020-04-24 2021-10-28 Volkswagen Aktiengesellschaft Benutzerschnittstelle eines Fahrzeugs
CN111766949B (zh) * 2020-07-16 2021-08-03 腾讯科技(深圳)有限公司 三维图像显示设备、显示方法、电子设备以及存储介质
RU2746239C1 (ru) * 2020-08-21 2021-04-09 Александр Александрович Скрипкин Устройство для создания динамичных голографических изображений в пространстве
KR102476957B1 (ko) * 2020-12-11 2022-12-12 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법
KR102300285B1 (ko) * 2021-03-16 2021-09-10 (주)브이에이커뮤니케이션즈 Ar 기반 컨텐츠 3d 매핑 방법 및 시스템
CN113282174B (zh) * 2021-05-27 2023-10-17 中国联合网络通信集团有限公司 终端信息显示方法、装置、终端及存储介质
CN114002931A (zh) * 2021-10-08 2022-02-01 清华大学深圳国际研究生院 基于深度学习加速计算的大视场全息投影方法及系统
DE102022110162A1 (de) * 2022-04-27 2023-11-02 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und verfahren zur visualisierung einer interaktion eines physischen objekts mit einem 3d-bild und kraftfahrzeug mit der vorrichtung
CN116974091B (zh) * 2023-09-25 2023-11-28 成都工业学院 一种立体显示管

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2553745A (en) * 1946-02-18 1951-05-22 Ralph E Brown Apparatus for projecting images
US4339168A (en) * 1978-02-06 1982-07-13 Eidetic Images, Inc. Holograms created from cylindrical hologram masters
US4835088A (en) * 1987-12-22 1989-05-30 Submicron Structures, Inc. Method and apparatus for generating high-resolution images
FR2633069B1 (fr) * 1988-06-20 1993-12-31 Garcon Thierry Procede de realisation d'un hologramme de transfert a grand champ de vision sur son imagerie reelle orthoscopique et hologramme ainsi obtenu
US5189531A (en) * 1988-10-17 1993-02-23 August DeFazio Hologram production
US5572375A (en) * 1990-08-03 1996-11-05 Crabtree, Iv; Allen F. Method and apparatus for manipulating, projecting and displaying light in a volumetric format
US5090789A (en) * 1990-08-03 1992-02-25 Crabtree Allen E Laser light show device and method
JP3224856B2 (ja) 1992-05-29 2001-11-05 株式会社東芝 立体映像装置
JPH0695656A (ja) 1992-09-17 1994-04-08 Sony Corp 立体形状表示方法、表示装置及びコンピュータ制御自動三次元設計装置
JPH06102813A (ja) * 1992-09-18 1994-04-15 Fujitsu Ltd 空間光変調装置および立体表示装置
DE4309667A1 (de) 1993-03-26 1994-09-29 Univ Dresden Tech Optisches System zur zwei- und dreidimensionalen Darstellung von Information
CA2162036A1 (en) * 1993-05-04 1994-11-10 Angus Duncan Richards Stereoscopic display unit
JPH07253749A (ja) * 1994-03-15 1995-10-03 Fujitsu Ltd 立体表示装置
JP3438300B2 (ja) 1994-03-30 2003-08-18 凸版印刷株式会社 平面型ホログラフィックステレオグラム及びこれの作製方法並びにその装置
JPH08129447A (ja) 1994-10-31 1996-05-21 Toshiba Corp 3次元座標入力方法および3次元座標入力装置
AU706720B2 (en) 1994-12-09 1999-06-24 Joslin Diabetes Center, Inc. Electronic imaging system for retinal examination and treatment
US5744262A (en) * 1995-06-07 1998-04-28 Industrial Technology Research Institute Stable high-voltage electrolyte for lithium secondary battery
JPH0968674A (ja) 1995-09-01 1997-03-11 Tsushin Hoso Kiko 3次元画像表示装置
US20010006426A1 (en) * 1996-07-18 2001-07-05 Korea Institute Of Science And Technology Holographic projection screen for displaying a three-dimensional color images and optical display system using the holographic screen
JPH10154052A (ja) 1996-09-30 1998-06-09 Sony Corp 3次元仮想現実空間表示処理装置、表示処理方法および情報提供媒体
US6154211A (en) 1996-09-30 2000-11-28 Sony Corporation Three-dimensional, virtual reality space display processing apparatus, a three dimensional virtual reality space display processing method, and an information providing medium
DE19641480A1 (de) * 1996-10-09 1998-04-30 Tan Helmut Verfahren zur stereoskopischen Projektion von 3D-Bilddarstellungen auf einer Bildanzeigeeinrichtung
DE19646046C1 (de) 1996-11-08 1999-01-21 Siegbert Prof Dr Ing Hentschke Stereo-Hologramm-Display
WO1998027451A1 (de) * 1996-12-18 1998-06-25 Technische Universität Dresden Verfahren und anordnung zur dreidimensionalen darstellung von information
US6097472A (en) * 1997-04-17 2000-08-01 Canon Kabushiki Kaisha Apparatus and method for exposing a pattern on a ball-like device material
US6031519A (en) 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
US6097353A (en) * 1998-01-20 2000-08-01 University Of Washington Augmented retinal display with view tracking and data positioning
JP2000033184A (ja) 1998-05-14 2000-02-02 Masanobu Kujirada 全身動作入力型のゲ―ム及びイベント装置
US5949557A (en) * 1998-06-15 1999-09-07 Ball Semiconductor, Inc. Total internal reflection holography method and apparatus for lithography on 3-D spherical shaped integrated circuit
JP2002520838A (ja) * 1998-07-10 2002-07-09 ボール セミコンダクター インコーポレイテッド 非平面基板での結像用反射システム
US6765566B1 (en) * 1998-12-22 2004-07-20 Che-Chih Tsao Method and apparatus for displaying volumetric 3D images
JP3674903B2 (ja) * 1999-03-31 2005-07-27 パイオニア株式会社 体積ホログラフィックメモリ光情報記録再生装置
US6195184B1 (en) * 1999-06-19 2001-02-27 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution large-field-of-view three-dimensional hologram display system and method thereof
JP2001022958A (ja) 1999-07-06 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 仮想空間システムにおけるオブジェクト表示方法およびオブジェクト表示プログラムを記録した記録媒体
CA2277653C (en) 1999-07-20 2005-01-11 Go Simon Sunatori Cylindrical holographic display device
CA2473284C (en) 1999-07-20 2005-09-20 Go Simon Sunatori Holographic display device with a transmission-type hologram
CA2285822C (en) 1999-09-28 2005-02-08 Go Simon Sunatori Life-size optical and acoustical illusion device
CA2286937C (en) 1999-09-28 2004-11-23 Go Simon Sunatori 3-dimensional image display method and system
JP2001118015A (ja) 1999-10-18 2001-04-27 Hitachi Ltd 3次元画像を用いた遠隔診療支援方法および遠隔診療支援システムと端末
CA2289999C (en) 1999-11-12 2005-01-11 Go Simon Sunatori Holographic statue projection device
GB2363273A (en) 2000-06-09 2001-12-12 Secr Defence Computation time reduction for three dimensional displays
JP4442000B2 (ja) * 2000-07-19 2010-03-31 ソニー株式会社 画像再生装置及び画像再生方法
US6409351B1 (en) * 2001-02-12 2002-06-25 Thomas R. Ligon Spherical image projection system using a convex reflecting image dispersing element
JP2002258215A (ja) 2001-03-06 2002-09-11 Telecommunication Advancement Organization Of Japan 立体映像表示装置
KR100941017B1 (ko) * 2001-06-01 2010-02-05 소니 주식회사 표시 장치, 판형 필터, 위치 맞춤 장치, 및 위치 맞춤 방법
US7128420B2 (en) 2001-07-06 2006-10-31 Explay Ltd. Image projecting device and method
US6478432B1 (en) * 2001-07-13 2002-11-12 Chad D. Dyner Dynamically generated interactive real imaging device
JP4682470B2 (ja) 2001-07-16 2011-05-11 株式会社デンソー スキャン型ディスプレイ装置
US6874891B1 (en) * 2001-08-09 2005-04-05 John Stuart Fleming Holographic display system
JP2003057770A (ja) 2001-08-10 2003-02-26 Noritsu Koki Co Ltd 露光装置の露光特性検査方法、および露光装置
JP2003075770A (ja) * 2001-08-30 2003-03-12 Junichi Takeno 立体物を三次元の空中に表示し、その立体物に触れながらその形体を自由に加工できるディスプレイ
US7046272B2 (en) * 2001-10-02 2006-05-16 Seereal Technologies Gmbh Autostereoscopic display
WO2003036452A1 (fr) * 2001-10-24 2003-05-01 Sony Corporation Dispositif servant a afficher une information d'image
US6844948B2 (en) * 2002-03-27 2005-01-18 Rabbit Tanaka Corporation Limited Integral hologram revolving lamp and method for making same
JP4147054B2 (ja) * 2002-05-17 2008-09-10 オリンパス株式会社 立体観察装置
US20030222977A1 (en) * 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
GB0223119D0 (en) 2002-10-05 2002-11-13 Holographic Imaging Llc Reconfigurable spatial light modulators
CN1258108C (zh) * 2003-01-17 2006-05-31 财团法人工业技术研究院 产生虚拟键盘/显示器的装置及方法
KR100765274B1 (ko) * 2003-02-27 2007-10-09 엘지전자 주식회사 투사형 디스플레이 광학계
AU2004258513B2 (en) 2003-07-03 2009-12-24 Holotouch, Inc. Holographic human-machine interfaces
CA2435250C (en) 2003-07-25 2013-12-31 Go Simon Sunatori Holographic statue with an auto-switch mechanism
CA2435245C (en) 2003-07-25 2011-12-20 Go Simon Sunatori Holographic statue with a magnetically mounted figurine
US7245408B1 (en) * 2003-10-10 2007-07-17 Zebra Imaging, Inc. Systems and methods for producing wide field-of-view holographic displays
WO2005043255A1 (ja) * 2003-11-04 2005-05-12 Dai Nippon Printing Co., Ltd. 可視化断面を有する3次元物体が記録された計算機ホログラム、ホログラフィックステレオグラムの作成方法及び可視化断面を有する3次元物体が記録された計算機ホログラム、ホログラフィックステレオグラム
EP1784788A4 (en) 2004-03-03 2009-11-11 Virtual Iris Studios Inc SYSTEM FOR PROVIDING AND ENABLING INTERACTIVITY WITH IMAGES
WO2005118998A1 (en) 2004-06-01 2005-12-15 Vesely Michael A Horizontal perspective simulator
ATE552478T1 (de) * 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
TWI243960B (en) * 2004-06-25 2005-11-21 Ind Tech Res Inst The autostereoscopic projection screen
US7490941B2 (en) * 2004-08-30 2009-02-17 California Institute Of Technology Three-dimensional hologram display system
DE102004044111B4 (de) 2004-09-08 2015-05-07 Seereal Technologies Gmbh Verfahren und Vorrichtung zum Kodieren und Rekonstruieren von computergenerierten Videohologrammen
DE102004063838A1 (de) * 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
JP2006195009A (ja) * 2005-01-11 2006-07-27 Fuji Photo Film Co Ltd ホログラム記録方法、ホログラム記録装置及びホログラム記録媒体
JP4612853B2 (ja) * 2005-03-29 2011-01-12 キヤノン株式会社 指示位置認識装置及びそれを有する情報入力装置
CA2608290A1 (en) * 2005-05-13 2006-11-16 Seereal Technologies Gmbh Projection device and method for holographic reconstruction of scenes
JP2007017558A (ja) * 2005-07-06 2007-01-25 Univ Of Tsukuba 立体画像表示装置および立体画像表示方法
DE102006003741B4 (de) * 2006-01-18 2009-08-27 Seereal Technologies S.A. Verfahren zum Kodieren eines computergenerierten Hologramms
CN101467107A (zh) 2006-06-09 2009-06-24 皇家飞利浦电子股份有限公司 减小电全息显示器中有效像素间距的方法以及包括减小的有效像素间距的电全息显示器
JP4790547B2 (ja) * 2006-09-06 2011-10-12 オリンパス株式会社 視覚表示装置
JP4790556B2 (ja) * 2006-09-29 2011-10-12 オリンパス株式会社 視覚表示装置
WO2008041314A1 (fr) 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
DE102006062377B4 (de) * 2006-12-19 2018-03-22 Seereal Technologies S.A. Verfahren und holographische Wiedergabeeinrichtung zum Reduzieren von Speckle
KR20080086110A (ko) * 2007-03-21 2008-09-25 삼성전자주식회사 고효율 2차원/3차원 겸용 영상 표시장치
DE102007018266A1 (de) * 2007-04-10 2008-10-16 Seereal Technologies S.A. Holographisches Projektionssystem mit einer optischen Wellennachführung und Mitteln zum Korrigieren der holographischen Rekonstruktion
AU2008325089A1 (en) * 2007-11-06 2009-05-14 Stuart L. Weg Anesthetic composition, formulation and method of use
CN103529554B (zh) 2008-07-10 2018-07-31 实景成像有限公司 宽视角显示和用户接口

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025503A (ko) * 2015-08-28 2017-03-08 한국전자통신연구원 홀로글래픽 디스플레이 장치

Also Published As

Publication number Publication date
CN103529554B (zh) 2018-07-31
KR20160001722A (ko) 2016-01-06
JP2015163968A (ja) 2015-09-10
US10120335B2 (en) 2018-11-06
JP6186388B2 (ja) 2017-08-23
JP5805531B2 (ja) 2015-11-04
US20170090420A1 (en) 2017-03-30
JP2015165308A (ja) 2015-09-17
US20160077489A1 (en) 2016-03-17
CN103558689A (zh) 2014-02-05
KR101840405B1 (ko) 2018-03-20
KR20110028524A (ko) 2011-03-18
JP6329506B2 (ja) 2018-05-23
US20110128555A1 (en) 2011-06-02
JP2011527760A (ja) 2011-11-04
KR101908033B1 (ko) 2018-12-10
JP2016035580A (ja) 2016-03-17
US20130293939A1 (en) 2013-11-07
CN102150072A (zh) 2011-08-10
CN103558689B (zh) 2017-09-26
KR101595104B1 (ko) 2016-02-17
WO2010004563A1 (en) 2010-01-14
US9594347B2 (en) 2017-03-14
US20140033052A1 (en) 2014-01-30
US8500284B2 (en) 2013-08-06
CN103529554A (zh) 2014-01-22
US10585395B2 (en) 2020-03-10
CN102150072B (zh) 2013-08-21
US9541901B2 (en) 2017-01-10
EP2304491A1 (en) 2011-04-06
US20200117140A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
KR101595104B1 (ko) 광시야각 디스플레이들 및 사용자 인터페이스들
CN102566049B (zh) 用于扩展现实显示的自动可变虚拟焦点
Liao et al. Surgical navigation by autostereoscopic image overlay of integral videography
US7796134B2 (en) Multi-plane horizontal perspective display
US5495576A (en) Panoramic image based virtual reality/telepresence audio-visual system and method
US8717423B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
US20060250391A1 (en) Three dimensional horizontal perspective workstation
KR20070044394A (ko) 수평 원근법 핸즈온 시뮬레이터
US20060126927A1 (en) Horizontal perspective representation
JP2005508016A (ja) 3次元画像の投影
KR20160016468A (ko) 리얼 3d 영상 생성 방법 및 그 장치
CN107810634A (zh) 用于立体增强现实的显示器
JP2000112334A (ja) 運転操作訓練装置
Zhou Reconciling pixels and percept: improving spatial visual fidelity with a fishbowl virtual reality display
van der Mast et al. Research Assignment

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)