KR102277893B1 - 증강 현실을 위한 방법 및 시스템 - Google Patents

증강 현실을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102277893B1
KR102277893B1 KR1020167005452A KR20167005452A KR102277893B1 KR 102277893 B1 KR102277893 B1 KR 102277893B1 KR 1020167005452 A KR1020167005452 A KR 1020167005452A KR 20167005452 A KR20167005452 A KR 20167005452A KR 102277893 B1 KR102277893 B1 KR 102277893B1
Authority
KR
South Korea
Prior art keywords
hmd
computer
holographic image
wearer
light
Prior art date
Application number
KR1020167005452A
Other languages
English (en)
Other versions
KR20160048801A (ko
Inventor
사무엘 아르샹보
제롬 발레
오드 부셰
장 폴 카노
다비드 에스카이흐
스테판 페로
Original Assignee
에씰로 앙터나시오날
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에씰로 앙터나시오날 filed Critical 에씰로 앙터나시오날
Publication of KR20160048801A publication Critical patent/KR20160048801A/ko
Application granted granted Critical
Publication of KR102277893B1 publication Critical patent/KR102277893B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/14—Mirrors; Prisms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2286—Particular reconstruction light ; Beam properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C2202/00—Generic optical aspects applicable to one or more of the subgroups of G02C7/00
    • G02C2202/20—Diffractive and Fresnel lenses or lens portions
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/086—Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0204—Object characteristics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0228—Electro-optic or electronic components relating to digital holography
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2236—Details of the viewing window
    • G03H2001/2242—Multiple viewing windows
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2284—Superimposing the holobject with other visual information
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/42—Synthetic representation, i.e. digital or optical object decomposition from real object, e.g. using 3D scanner
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/30—Modulation
    • G03H2225/32—Phase only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/04—Transmission or communication means, e.g. internet protocol
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02—Handheld portable device, e.g. holographic camera, mobile holographic display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2270/00—Substrate bearing the hologram
    • G03H2270/55—Substrate bearing the hologram being an optical element, e.g. spectacles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Holo Graphy (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

본 발명은 머리 장착 디스플레이를 통한 컴퓨터 생성 홀로그램 이미지들의 생성, 검색 및 디스플레이를 위한 방법들 및 시스템들(터미널들, 디바이스들)을 제공한다. 홀로그램 이미지들은 증강 현실로의 디스플레이를 위해 가상의 검색 가능한 태그들로서 사용될 수 있다.

Description

증강 현실을 위한 방법 및 시스템{METHODS AND SYSTEMS FOR AUGMENTED REALITY}
본 발명은 증강 현실을 위한 시스템 및 방법에 관한 것이다.
본 발명은 보다 상세하게는 머리 장착 디스플레이(HMD)를 통한 컴퓨터 생성 홀로그램 이미지들의 생성, 검색 및 디스플레이에 관한 것이다.
디스플레이 특징을 갖는 머리 장착 디바이스가 관련 분야에 알려져 있다. 그러한 디바이스는 스마트 글래스의 착용자가 증강 현실을 위한 이미지 또는 텍스트를 시각화하는 것을 가능하게 하는 이른바 ‘스마트 글래스’를 포함한다.
착용자의 시각적 편안함을 개선하기 위해, 이미지 및 텍스트가 상세하게는 착용자 및/또는 착용된 디바이스에 적응되는 맞춤형 방식으로 표시되는 방법 및 시스템을 제공하는 것이 바람직하다.
게다가, 착용자 인체 공학적 편안함을 개선하기 위해, 가볍고, 소형이고, 특히 사용되고 있을 때 저에너지 요건들을 갖는 디바이스인 머리 장착 디바이스를 제공하는 것이 바람직하다.
또한 안전성에 대하여, 데이터 교환을 위한 통신에 사용되는 일정 타입의 전자파는 특히, HMD들과 같은 머리에 근접하게 위치되는 디바이스에 대해 건강 문제를 불러 일으킬 수 있다. 따라서, 그 기능이 그러한 전자파에 대한 착용자의 노출을 제한하거나 피하는 머리 장착 디바이스를 제공하는 것이 바람직하다.
본 발명은 일반적으로 머리 장착 디바이스로 컴퓨터 생성 홀로그램 이미지 디스플레이를 위한 방법들 및 시스템들을 제공한다.
일부 양태들에서, 본 발명은 컴퓨터 생성 홀로그램 이미지들의 검색 및 디스플레이를 위한 방법들 및 시스템들을 제공한다. 다른 양태들에서, 본 발명은 컴퓨터 생성 홀로그램 이미지들의 생성을 위한 방법들 및 시스템들을 제공하며, 상기 홀로그램 이미지들은 후속 검색 및 디스플레이에 이용 가능해질 수 있다.
본 발명에 따르면, 디스플레이의 품질 및 착용자 시각 경험은 광 수차들로 인한 이미지 왜곡들을 교정함으로써 향상될 수 있다. 그러한 수차들은 디바이스의 기하학적 구조 및 설계에 기인할 수 있다.
바람직한 실시예들에서, 본 발명은 위상 공간 광 변조기(SLM)에 의해 컴퓨터 생성 홀로그램 이미지 디스플레이를 구현한다. 상기 SLM은 위상 한정 SLM들 및 위상 및 진폭 SLM들로부터 선택될 수 있다. 컴퓨터 생성 홀로그램 이미지들의 위상 코딩은 에너지 소모 및 이미지 품질의 면에서 매우 유리하고, 후술하는 바와 같이 추가 이점들을 제공한다.
본 발명의 방법들
일반적 표현으로, 본 발명은 컴퓨터 생성 홀로그램 이미지 데이터의 처리를 위한 컴퓨터 구현 방법을 제공한다. 상기 방법은:
(a) 적어도 하나의 통신 터미널에 의해, 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스를 구비한 착용자의 존재를 검출하는 단계; 및
(b) 단계(a)에서 검출되는 존재에 응하여, 컴퓨터 생성 홀로그램 이미지 데이터를 상기 디바이스 및 상기 통신 터미널 중 하나에서, 상기 디바이스 및 상기 통신 터미널 중 다른 하나로 송신하는 단계를 포함한다.
단계(b)는 광 통신을 통해 상기 컴퓨터 생성 홀로그램 이미지 데이터를 송신하는 단계를 포함할 수 있다.
본 발명의 방법은:
(c) 적어도 하나의 광원에 의해, 상기 디바이스의 조명에 의해 홀로그램 이미지를 표시하는데 적절한(표시하도록 배열되는, 구성되는) 광 빔을 방사하는 단계를 포함할 수도 있으며, 상기 광원은 적어도 하나의 원격 조명 터미널 상에 제공되고/되거나 상기 디바이스 상에 내장된다.
상기 광원이 상기 통신 터미널 상에 제공되는 경우, 단계(b)는 상기 컴퓨터 생성 홀로그램 이미지 데이터를 상기 광원에서 상기 디바이스로 송신하는 단계를 포함할 수 있다.
상기 적어도 하나의 통신 터미널 및/또는 상기 적어도 하나의 조명 터미널은 네트워크를 통하여 서버에 연결될 수 있다.
본 발명의 방법의 제1 실시예에 따르면, 단계(b)는 상기 컴퓨터 생성 홀로그램 이미지 데이터를 상기 통신 터미널에서 상기 디바이스로 송신하는 단계일 수 있다.
이러한 제1 실시예에서, 단계(b)는 컴퓨터 생성 홀로그램 이미지 데이터를 복수의 원거리 통신 터미널에서 상기 디바이스로 순차적으로 송신하는 단계를 포함할 수 있으며, 상기 통신 터미널들 각각은 통신 네트워크를 통하여 통신 서버에 연결되고 순차적 방사는 하나의 통신 터미널의 부근에서 다른 통신 터미널의 부근으로 착용자의 존재의 연속적인 검출 단계들을 반영하여, 시간에 따른 상기 착용자의 움직임을 한정한다.
이러한 제1 실시예에서, 본 발명의 방법은:
(a2) 상기 착용자의 위치를 결정하는 단계를 더 포함할 수 있으며, 단계(b)의 컴퓨터 생성 홀로그램 이미지 데이터는 단계(a2)에서 결정되는 위치에 따라 한정된다.
이러한 제1 실시예에서, 본 발명의 방법은:
(d) 착용자의 움직임을 검출하는 단계, 및
(e) 단계(d)의 움직임의 인지에 따라, 상기 통신 터미널에서 상기 디바이스로 송신될 추가 컴퓨터 생성 홀로그램 이미지 데이터의 선택을 위한 제어 신호를 생성하는 단계를 더 포함할 수 있다.
제2 실시예에 따르면, 본 발명의 방법은:
(i) 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스를 구비한 착용자의 움직임을 검출하는 단계, 및
(ii) 단계(i)의 움직임의 인지에 따라, 이미지 데이터를 획득하는 단계를 포함하고,
단계(b)는 컴퓨터 생성 홀로그램 이미지 데이터를 상기 디바이스에서 상기 통신 터미널 쪽으로 송신하는 단계이다.
이러한 제2 실시예에서, 단계(ii)는 메뉴로부터 옵션을 선택하는 것, 가상 키보드 상에서 적어도 하나의 키를 입력하는 것, 가상 노트 패드 상에서 필기하는 것, 및 디지털 사진을 찍는 것으로부터 선택되는 하나 이상을 포함할 수 있다.
이러한 제2 실시예에서, 상기 적어도 하나의 통신 터미널은 네트워크를 통하여 통신 서버에 연결될 수 있고 단계(b)의 데이터는 선택적으로 위치와 연관지어 통신 데이터베이스에 저장될 수 있다.
(제1 및 제2 실시예들을 포함하는) 일반적 표현으로, 본 발명의 방법은 (a1) 식별자와 상기 착용자 사이의 연관을 데이터베이스에 미리 등록하는 예비 단계를 더 포함할 수 있으며, 단계(b)의 데이터가 선택적으로 액세스 권한들에 따라서 상기 식별자에 따라 한정된다.
본 발명의 시스템들 및 디바이스들
본 발명은:
- 조명에 의해 홀로그램 이미지를 표시하는데 적절한(표시하도록 배열되는, 구성되는) 광원,
- 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스를 구비한 착용자의 존재를 검출하는데 적절한(검출하도록 배열되는, 구성되는) 센서, 및
- 선택적으로 상기 조명 터미널로부터 그리고/또는 상기 조명 터미널로 컴퓨터 생성 홀로그램 이미지 데이터를 송신하는데 적절한(송신하도록 배열되는, 구성되는) 통신 인터페이스를 포함하는 조명 터미널을 제공한다.
이러한 조명 터미널은 본 발명의 방법의 구현에 적절하다(구현을 위해 배열된다, 구성된다).
본 발명은 또한 조명 터미널들 각각이 조명 네트워크를 통하여 조명 서버에 연결되는 본 발명에 설명하는 바와 같은 복수의 조명 터미널을 포함하는 시스템을 제공한다. 그러한 시스템은 본 발명의 방법의 구현에 적절하다(구현을 위해 배열된다, 구성된다).
본 발명은 또한:
- 상기 디바이스로부터 그리고/또는 상기 디바이스로 컴퓨터 생성 홀로그램 이미지 데이터를 송신하는데 적절한(송신하도록 배열되는, 구성되는) 통신 인터페이스,
- 예를 들어, LCoS(실리콘 액정) 또는 유리 투과성 액티브 매트릭스 액정으로 만들어진 위상 공간 광 변조기(SLM) 예를 들어, 위상 한정 또는 위상 및 진폭 공간 광 변조기, 및
- 선택적으로, 조명 시에 홀로그램 이미지를 표시하는데 적절한(표시하도록 배열되는, 구성되는) 광원을 포함하는 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스를 제공하며, 조명은 SLM의 조명을 포함하며; 즉, 광원은 홀로그램 이미지를 표시하도록 조명하는데 적절하다(조명하도록 배열된다, 구성된다).
이러한 디바이스는 본 발명의 방법의 구현에 적절하다(구현을 위해 배열된다, 구성된다).
본 발명의 내용에 포함됨.
도 1 내지 도 4는 본 발명의 방법들의 실시예들을 도시한다.
도 5는 본 발명의 방법에 유용한 예시적인 데이터베이스들의 구성을 도시한다.
도 6 내지 도 8은 본 발명의 머리 장착 디바이스들에 대한 예시적인 구성들을 도시한다.
이하의 정의들이 본 발명을 설명하기 위해 제공된다.
“컴퓨터 생성 홀로그램 이미지들”이 관련 분야에 알려져 있다. 그러한 홀로그램 이미지들은 컴퓨터 생성 홀로그램들을 판독함으로써(조명함으로써) 표시될 수 있다. 컴퓨터 생성 홀로그램은 또한 합성 또는 디지털 홀로그램으로 지칭된다. 컴퓨터 생성 홀로그램들은 일반적으로 2D 또는 3D 이미지를 선택하고, 2D 또는 3D 이미지의 홀로그램을 디지털 방식으로 컴퓨팅함으로써 얻어진다. 홀로그램 이미지는 광 재구성에 의해 즉, 적절한(배열된, 구성된) 광 빔(홀로그램 참조 빔)으로 홀로그램을 조명함으로써(판독함으로써) 표시될 수 있다. 이미지는 물리적 스크린 또는 지지대, 또는 (가상의) ‘안테나’ 상에 표시될 수 있다는 점에서 ‘현실적일’ 수 있다. 홀로그램은 홀로그램 지지대에 출력되거나 후술하는 바와 같이 SLM 상에 구현될 수 있다.
“컴퓨터 생성 홀로그램 이미지 데이터”(HD)가 관련 분야에 알려져 있다. 그것들은 대상에 의한 시각화를 위해 컴퓨터 생성 홀로그램 이미지의 디스플레이를 가능하게 하는 코딩된 데이터(코딩된 데이터의 세트(들))를 일반적으로 포함한다. 컴퓨터 생성 홀로그램 이미지 데이터는 이미지(2D, 3D)의 각각의 화소에 대해 위상 및 진폭에 대한 정보를 포함하는 컴퓨터 생성 홀로그램 이미지 그 자체(사진, 영숫자 문자 및 이들의 조합들 등일 수 있는 컴퓨터 생성 홀로그램 이미지의 “콘텐츠”)에 대해 코딩하는 데이터를 포함한다. 컴퓨터 생성 홀로그램 이미지 데이터는 (예를 들어, 디바이스(HMD)의 프레임을 참조하여) 착용자의 시계에서 홀로그램 이미지의 디스플레이의 위치(장소) 및/또는 시각화될 홀로그램 이미지의 크기(줌 또는 확대) 및/또는 시각화될 홀로그램 이미지 초점 도표의 위치에 대한 데이터 코딩을 더 포함할 수도 있다. 그러한 홀로그램 이미지 위치, 크기 및 초점 도표에 대한 데이터는 내장된 광원을 구비한 디바이스(HMD) 상의 홀로그램 이미지의 디스플레이에 특히 유용하다. 디바이스(HMD)가 내장된 광원을 구비하지 않을 때, 즉, 광원이 디바이스(HMD)에서 멀리 떨어져 있을 때, 위치 및 초점 도표에 대한 데이터가 컴퓨터 생성 홀로그램 이미지 데이터에 암암리에 포함된다고 고려할 수 있다. 그러나, 상기 데이터는 이미지의 크기에 대한(예를 들어, 줌잉에 대한) 데이터를 더 포함할 수 있다. 컴퓨터 생성 홀로그램 이미지 데이터는 예를 들어, 다중 디스플레이를 위해 표시될 수개의 이미지를 제공할 수도 있다. 컴퓨터 생성 홀로그램 이미지 데이터는 한가지 색상(예를 들어, 흑색 및 백색), 또는 예를 들어, 적어도 3가지 색상 예를 들어, 3원색을 사용하는 한가지보다 더 많은 색상으로 이미지를 제공할 수 있다. 컴퓨터 생성 홀로그램 이미지 그 자체(컴퓨터 생성 홀로그램 이미지의 “콘텐츠”)에 대해 코딩하는 데이터는 유리하게는 위상 코딩된다. 데이터(HD)는 표시 수단 예를 들어, SLM으로 디코딩되고 송신될 수 있어, 적절한(배열된, 구성된) 조명 시에 홀로그램의 판독 및 상응하는 홀로그램 이미지의 디스플레이를 가능하게 한다. 본 발명에 따르면, 상기 데이터(HD)는 HMD의 메모리 및/또는 통신 터미널(COM TERM)과 같은 터미널 상의 메모리 및/또는 통신 서버(COM SERV)와 같은 서버를 통하여 액세스 가능한 데이터베이스에 저장될 수 있다. 홀로그램 이미지 데이터(HD)의 세트들은 컴퓨터 생성 홀로그램 이미지 데이터(HOLO DB)의 홀로그램 이미지 데이터베이스에 저장될 수 있다. 상기 데이터베이스(DB)는 홀로그램 이미지 데이터의 세트들을 저장하고 복구하는데 적절한(저장하고 복구하도록 배열되는, 구성되는) 메모리를 포함하고 통신 서버(COM SERV)와 같은 서버의 일부이거나, 통신 네트워크(COM NETW)를 통하여 서버에 연결될 수 있다. 컴퓨터 생성 홀로그램 이미지 데이터베이스의 구성의 일 예가 도 5에 도시된다. 도 5는 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 포함하는 데이터베이스(HOLO DB)의 일 예를 도시한다. 홀로그램 이미지들은 영숫자 문자들(글자들 “A”, “B” 등; 숫자들 “1”, “2” 등) 또는 사진들과 같은 보다 복잡한 이미지들일 수 있다. 데이터는 착용자의 시계에서의 이미지의 위치(LOC)를 포함할 수 있다. 게다가, 데이터의 세트들은 액세스 권한들(AC)에 따라 한정될 수 있다. 도 5에서, 컴퓨터 생성 홀로그램 이미지 데이터(HD)의 각각의 세트는 예를 들어, 식별자(HOLO i)를 사용하여 데이터베이스로부터 검색될 수 있다. 데이터(HD)는 데이터의 세트일 수 있다. 데이터는 이미지 및/또는 텍스트와 같은 콘텐츠에 상응할 수 있다. 데이터는 텍스트 부분들 및/또는 아이콘들의 형태로 옵션들의 메뉴에 상응할 수도 있다.
“서버들”(SERV)이 관련 분야에 알려져 있다. 서버(SERV)는 확장된 네트워크(NETW)를 통하여 복수의 터미널(TERM)에 연결될 수 있다. 네트워크(NETW)는 데이터 송신을 가능하게 하고 무선 주파수 통신(Wi-Fi, 블루투스, 3G, 4G 등)과 같은 무선 통신 및/또는 Li-Fi 또는 FSO(적외선 IR, 근적외선 NIR, 단파장 적외선 SWIR, 가시광 등)과 같은 광 통신 및/또는 유선 통신(이더넷, 광 섬유)에 의존할 수 있다. 서버(SERV)는 하나 이상의 데이터베이스(DB)를 포함할 수 있고/있거나 하나 이상의 데이터베이스(DB)에 연결될 수 있다. 서버(SERV)는 통신 서버(COM SERV) 및/또는 조명 서버(LIGHT SERV)일 수 있다.
“데이터를 송신하는 것”은 관련 분야에 알려진 수단에 의해 수행될 수 있다. 데이터는 하나의 엔티티에서 다른 엔티티로 무선 통신(Wi-Fi, 블루투스, 3G, 4G를 포함하는 RF; Li-Fi 또는 FSO를 포함하는 광) 또는 (예를 들어 이더넷 케이블, USB 포트, 광 섬유 등을 통한) 유선 통신에 의해 송신될 수 있다. 광 통신은 발생 가능한 안전 문제에 대하여 바람직할 수 있다. 실제로, Li-Fi 또는 FSO에 의해서와 같은 광 통신의 이용은 건강 문제들을 일으킬 수 있는 특정 타입들의 파형들(Wi-Fi 등)에 대한 노출을 제한하는 것을 가능하게 한다. 이는 머리 장착 디바이스가 머리의 부근에 착용하기 위한 것이므로, 머리 장착 디바이스와의 데이터의 송신에 특히 적용된다.
데이터는 저장된 데이터를 포함하는 메모리 또는 데이터베이스에 대한 액세스 및 이것들로부터의 검색에 의해 송신될 수 있다(액세스 및 검색은 직접적이거나 간접적이며; 조건부이거나 조건부가 아닐 수 있는 등이다). 데이터의 송신은 미리 정해진 액세스 권한들, 및/또는 주어진 터미널(센서/들)의 부근에서의 검출된 존재에 의존할 수도 있다.
“머리 장착 디스플레이 디바이스들”(HMD)이 관련 분야에 알려져 있다. 헬멧 장착 디스플레이, 광 머리 장착 디스플레이, 머리 착용 디스플레이 등을 포함하는 그러한 디바이스들은 착용자의 머리에 또는 이것의 주변에 착용될 것이다. 그것들은 착용자에 의한 시각화를 위해 이미지를 표시하는 광 수단을 포함한다. HMD는 컴퓨터 생성 이미지의 디스플레이만을, 또는 컴퓨터 생성 이미지 및 ‘실생활의’ 시계의 중첩된 시각화를 제공할 수 있다. HMD는 단안(단일 눈)이거나 양안(눈 둘 다)일 수 있다. 본 발명의 HMD는 안경, 스키 또는 다이빙 마스크와 같은 마스크, 고글 등을 포함하는 다양한 형태를 취할 수 있다. HMD는 하나 이상의 렌즈를 포함할 수 있다. 상기 렌즈들은 처방 렌즈들로부터 선택될 수 있다. 본 발명에 따르면, HMD는 공간 광 변조기(SLM)를 포함한다. 바람직한 실시예들에서, HMD는 렌즈들을 구비한 안경이다. 본 발명의 디바이스들(HMD)의 예들이 도 6 내지 도 8에 도시된다.
“공간 광 변조기들”(SLM)이 관련 분야에 알려져 있다. 상기 SLM은 위상 SLM, 위상 한정 SLM, 진폭 한정 SLM 또는 위상 및 진폭 SLM일 수 있다. 실재하는 경우, 진폭 변조는 바람직하게는 위상 변조와는 별개이고, 이미지 스페클(speckle)의 감소를 가능하게 하여, 그레이(gray)의 레벨의 측면에서 이미지 품질을 개선한다. 바람직한 실시예들에서, SLM은 위상 또는 위상 한정 SLM이다. 본 발명에 따르면, 상기 SLM은:
- 반사성 SLM(디스플레이를 야기하는 광 빔이 SLM 상에서 반사됨)일 수 있다. 이것의 예들은 LCoS 재료(실리콘 액정)로 만들어진 SLM들을 포함한다. 가능한 상업적 소스들은 Holoeye, Boulder Nonlinear Systems, Syndiant, Cambridge technologies를 포함한다. 반사성 SLM을 포함하는 본 발명의 디바이스(HMD)는 홀로그램 미러 또는;
- 투과성 SLM(디스플레이를 야기하는 광 빔이 SLM을 통해 투과됨)을 더 포함한다. 바람직하게는, 투과성 SLM은 “속이 비치거나” “투명한” SLM 즉, 85% 초과 또는 90% 초과의 투과율을 갖는 SLM이다. 그러한 “속이 비치는” SLM은 유리하게는 달리 시력을 손상시키지 않고 착용자 눈 앞에 직접 배치될 수 있다. 이것의 예들은 얇은 실리콘 온 글래스(SOI: 실리콘 온 절연체) 또는 사파이어 기판 또는 유리 투과성 액티브 매트릭스 액정으로 만들어진 투명 액티브 매트릭스들을 포함한다. 그러한 제품들은 Citizen Finetech Miyota에 의해 개발되고 있다. 다른 예들은 비정질 실리콘, IGZO 등과 같은 LCD 타입 투명 액티브 매트릭스들을 포함한다. 가능한 상업적 소스들의 예들은 Boulder Nonlinear Systems를 포함한다. 투과성 SLM을 포함하는 본 발명의 디바이스(HMD)는 홀로그램 미러를 포함할 수 있거나 포함하지 않을 수 있다.
SLM은 바람직하게는 이하의 특징들 중 하나 이상, 바람직하게는 모두를 갖는다:
- 10 ㎛ 미만, 바람직하게는 5 ㎛ 미만 또는 4 ㎛ 미만의 화소 크기. 선택하기/고르기 용이한 일정 간격으로 이격된 회절 차수들을 갖고, 위상의 적절한(배열된, 구성된) 공간적 샘플링을 제공하여, 이미지의 상세들의 더 높은 해상도 및 더 양호한 재생을 갖는 이미지를 산출하기 위해 작은 화소 크기들을 갖는 SLM들을 선택하는 것이 바람직하다. 게다가, 더 작은 화소 크기는 회절 각도들이 더 크므로, 더 넓은 영역의 이미지들의 가능성을 제공한다.
- 85% 초과, 바람직하게는 90% 초과의 회절 효율. 이는 그것이 단일 화소의 위상의 개선된 역학 관계(반응) 및 적절한(배열된, 구성된) 샘플링을 제공하므로, 바람직하다;
- (파일럿 화소들에의) 비가시성 커맨드 매트릭스 및 하드웨어;
- 2 π 초과의 위상 역학 관계;
- 16 레벨 이상(4 비트)의 위상 샘플링;
- 90% 초과, 바람직하게는 95% 초과의 충전율(화소 유용 영역).
본 발명에 따르면, 위상 SLM들은 이미지 데이터가 위상 코딩되는 이미지들의 디스플레이를 위상 SLM들이 가능하게 한다는 점에서 유리하다. 위상 코딩은 이미지의 주어진 디스플레이에 필요한 에너지를 낮춘다(진폭 한정-변조 코딩과 비교하여 강도 손실 없음). 이에 상응하여, HMD의 에너지 소모는 더 적은 계산 리소스 요건으로 인해 유리하게 감소될 수 있다. 그러나, SLM이 또한 진폭 변조를 가능하게 하는 것은 그러한 경우에 계산이 더 많은 리소스를 필요로 하고 따라서 더 많은 에너지를 소모할 수 있더라도, SLM이 개선된 이미지 품질을 제공하므로, 또한 유리하다. 이는 더 작은 배터리들의 사용을 가능하게 하고, 따라서, HMD의 크기를 감소시키고 디바이스의 에너지 자율성을 확장시킨다. 본 발명에 따르면, SLM은 ‘프로그램 가능’ 홀로그램 즉, 원하는 홀로그램 이미지의 디스플레이를 가능하게 하는 전자적으로 다룰 수 있는 판독 지지대로서의 역할을 한다.
“광원들”(LIGHT SOURC)이 관련 분야에 알려져 있다. 본 발명에 따르면, 광원(LIGHT SOURC)은 착용자에 의한 시각화를 위해 이미지를 표시하는데 적절한(표시하도록 배열되는, 구성되는) 광 빔을 방사할 수 있는 임의의 광원이다. 홀로그램 이미지들의 디스플레이에 대하여, 광 빔은 홀로그램에 대한 참조 빔을 포함한다. 이미지는 상기 광원(LIGHT SOURC)에 의한 상기 HMD 디바이스의 조명 시에 변경된 컴퓨터 생성 이미지 데이터(예를 들어, 변경된 컴퓨터 생성 홀로그램 이미지 데이터)로부터 표시될 수 있다. 광원(LIGHT SOURC)은 (공간적으로 및 스펙트럼으로) 적어도 부분적으로 간섭성이거나, 바람직하게는 반간섭성이거나 완전히 간섭성이다. 광의 간섭성은 일반적으로 공진 공동 내에 능동 매질의 유도 방사에 기인한다. 간섭성은 유도 방사에 사용되는 일부 매질의 자연 방사로 인해 부분적으로만 발생할 수 있다. 간섭성 소스들의 예들은 레이저 및 좁은 스펙트럼 레이저 다이오드를 포함한다. 부분적으로 간섭성 소스들의 예들은 일정 레이저 다이오드, 변조된 레이저 다이오드, S-LED, 일부 LED를 포함한다. 추가 예들이 EP 0 421 460 B1에 설명된다. 바람직하게는 본 발명에 따르면, 광원(LIGHT SOURC)은 완전한 간섭성에 기인하여 스페클 효과들을 억제하도록 거의 완전히 간섭성(반-간섭성)일 수 있다.
본 발명에 따르면, 광원(LIGHT SOURC)은 단색이거나 다색 예를 들어, 3색일 수 있다. 단색의 사용의 경우, 이미지 디스플레이를 위해 방사되는 광 빔이 녹색 광(대략 500 내지 560 ㎚의 파장들)을 포함하는 것이 바람직하다. 녹색 광은 사람 망막이 이러한 범위의 파장들에 더 민감하므로, 더 낮은 에너지(예를 들어 1 ㎽ 미만)가 필요하다는 점에서 유리하다. 대략 520 내지 550 ㎚로의 방사를 갖는 단색의 광원들의 예들은 클래스(class) 2 레이저, 532 ㎚의 레이저, (예를 들어, Osram 또는 Nichia의) 520 ㎚의 레이저 다이오드, 대략 550 ㎚로 방사하는 LED 등을 포함한다. 바람직하게는, 단색원의 전력은 10 ㎽ 미만이다. 다른 적절한 단색의 광원들은 적색: 615 내지 645 ㎚; 녹색: 520 내지 550 ㎚; 청색: 435 내지 465 ㎚를 포함한다. 다색의 사용의 경우, 이미지화에 사용되는 표준들(적색: 615 내지 645 ㎚; 녹색: 520 내지 550 ㎚; 청색: 435 내지 465 ㎚)에 근접한 파장들(적색, 녹색, 청색)을 사용하는 것이 바람직하다. 3개의 별개의 소스(적색, 녹색, 청색)가 사용될 때, 상기 소스들 각각은 바람직하게는 1 ㎽ 미만의 전력을 갖는다. 다색의 광원들의 예들은 레이저, 레이저 다이오드, LED 또는 S-LED를 포함한다. 바람직하게는 적어도 3개, 바람직하게는 4개 또는 5개의 상이한 방사 파장이 색채 품질을 개선하기 위해 조합으로 사용될 수 있다.
바람직한 실시예들에서, 일정 외부 광원들(자연광, 착용자 환경에서의 다른 LED들...)에 기인하는 노이즈를 피하기 위해, 본 발명의 광원(LIGHT SOURC)은 동기 검출과 마찬가지로 디바이스와 관련 있는 특정 주파수와 동기화될 수 있다. 상기 주파수는 이미지 변조를 가시적으로 하는 것을 피하기 위해 바람직하게는 점멸 주파수보다 훨씬 더 높다. 그러한 동기화는 그 때 광원(LIGHT SOURC)과 디바이스(HMD)에 의해 표시되는 이미지 사이에서 필요하다. 일부 실시예들에서, 따라서 2개의 동기화 단계: 기생 광원들과의 원하지 않는 상호 작용을 피하는 조명 광원(LIGHT SOURC)의 식별, 및 옳은 색상으로 옳은 이미지를 표시하기 위한 변조가 있다.
조명은 적절한(배열된, 구성된) 광 빔이 원하는 디스플레이를 야기하도록 디바이스(HMD) (및 그것의 SLM)을 조명할 수 있는 한, 지향성일 필요가 없다. 본 발명에 따르면, 상기 광원(LIGHT SOURC)은 조명 터미널(LIGHT TERM) 상에 제공될 수 있고/있거나 상기 HMD 디바이스 상에 내장될 수 있다. 일 실시예에서, 광원(LIGHT SOURC)은 원격 조명 터미널(LIGHT TERM) 즉, HMD와 별개의 터미널 상에 제공된다. 상기 조명 터미널(LIGHT TERM)은 네트워크(NETW)를 통하여 서버(SERV)에 연결되거나 연결되지 않을 수 있다. 조명 터미널(LIGHT TERM) 상에 제공될 때, 광원(LIGHT SOURC)은 분기할 수 있다. 광원(LIGHT SOURC)에 의한 광 빔의 방사는 사람들에게 디바이스(HMD)가 제공되는지 여부와 관계없이, 조명 터미널(LIGHT TERM)의 부근에서 사람들의 시각 환경을 방해하지 않는다. 게다가, 분기하는, 낮은 전력(대략 100 ㎽ 미만) 광원(LIGHT SOURC)의 사용은 HMD 착용자 및 HMD 비착용자가 레이저의 사용에 의해 위태롭게 되지 않으므로, 눈 안전성 측면에서 유리하다.
본 발명에 따르면, 상기 광원(LIGHT SOURC)이 또한 데이터를 송신하는데 적절한(송신하도록 배열되는, 구성되는) 것이 바람직하다. 바람직한 실시예는 조명에 의한 이미지의 디스플레이를 야기하고 데이터를 송신하는 것 둘 다에 적절한(둘 다 이도록 배열되는, 구성되는) 광원(LIGHT SOURC)을 포함한다. 데이터를 송신할 때, 광원(LIGHT SOURC)은 예를 들어, Li-Fi 통신에 의해 (가시의) 광 통신을 통하여 상기 데이터를 방사할 수 있다. 상기 데이터는 컴퓨터 생성 이미지 데이터(변경되거나 변경되지 않은 ID 또는 MID), 컴퓨터 생성 홀로그램 이미지 데이터(변경되거나 변경되지 않은 MHD 또는 HD) 또는 PD와 같은 VPD일 수 있다. 데이터는 예를 들어, 특히, 75 ㎐ 이상 또는 80 ㎐ 이상의 주파수로의 점멸 주파수보다 더 높은 변조로 순차적으로 방사될 수 있다. 그러한 주파수들은 사람 눈에 의해 감지되지 않고 이미지 디스플레이를 위한 광 빔은‘실생활’에서 시야를 방해하지 않는다.
“터미널들”(TERM)이 관련 분야에 알려져 있다. 본 발명에 따르면, 터미널들(TERM)은 조명 터미널들(LIGHT TERM) 및 통신 터미널들(COM TERM)을 포함한다. 터미널(TERM)은 동시에 통신 및 조명 터미널일 수 있다. 이는 유리하게는 본 발명에 따라, 광원(LIGHT SOURC)이 또한 데이터를 HMD로 송신하는데 적절한(송신하도록 배열되는, 구성되는) 경우일 것이다. 터미널들은 고정된 지리학적 좌표들 또는 고정된 GPS 좌표들을 갖는 터미널, 및 고정되지 않은 지리학적 좌표들 또는 고정되지 않은 GPS 좌표들을 갖는 터미널들을 포함한다. 고정된 지리학적 또는 GPS 좌표들을 갖는 터미널들은 기차역, 전철역, 박물관, 공항, 교통 신호등 등에 위치되는 터미널들을 포함한다. 고정되지 않은 GPS를 갖는 터미널들은 스마트폰, 태블릿, 차량에 적재된 박스, TV 셋톱 박스, 인터넷 셋톱 박스, 컴퓨터 등을 포함한다. 일부 실시예들에서, 터미널은 스마트폰 이외이고/이거나 태블릿 이외이다. 터미널은 휴대용이거나 휴대용이 아닐 수 있다. 터미널은 독립형이거나 네트워크에 연결될 수 있다.
본 발명은 머리 장착 디스플레이를 통한 컴퓨터 생성 홀로그램 이미지들의 생성, 검색 및 디스플레이를 위한 방법들 및 시스템들(터미널들, 디바이스들)을 제공한다. 홀로그램 이미지들은 증강 현실로의 디스플레이를 위해 검색 가능한 가상 태그들로서 사용될 수 있다.
본 발명의 방법들
본 발명은 컴퓨터 생성 홀로그램 이미지 데이터를 처리하기 위한 방법들을 제공한다. 데이터는 생성되거나 검색될 수 있다는 점에서 홀로그램 이미지의 후속 디스플레이 동안 처리된다.
본 발명은 컴퓨터 생성 홀로그램 이미지 데이터를 처리하기 위한 컴퓨터 구현 방법으로서:
(a) 적어도 하나의 통신 터미널(COM TERM)에 의해, 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스(HMD)를 구비한 착용자의 존재를 검출하는 단계; 및
(b) 단계(a)에서 검출되는 존재에 응하여, 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 상기 디바이스(HMD) 및 상기 통신 터미널(COM TERM) 중 하나에서, 상기 디바이스(HMD) 및 상기 통신 터미널(COM TERM) 중 다른 것으로 송신하는 단계를 포함하는 컴퓨터 구현 방법을 제공한다.
단계(b)는 데이터(HD)를 송신하는 단계이다. 데이터(HD)의 송신은 2개의‘방향’으로: 디바이스(HMD)에서 터미널(COM TERM)로; 또는 터미널(COM TERM)에서 디바이스(HMD)로 일어날 수 있다.
이는 디바이스(HMD)에서 터미널(COM TERM)로의, 그리고 그 반대의 데이터(HD)의 송신이 나타내어지는 도 1에 도시된다. 통신 터미널(COM TERM)은 네트워크를 통하여 서버에 연결될 수 있거나 연결되지 않을 수 있으며: 터미널(COM TERM)은 독립형 터미널 또는 네트워크 연결 터미널일 수 있다.
단계(b)가 디바이스(HMD)에서 터미널(COM TERM)로 데이터(HD)를 송신하는 단계를 포함할 때, 방법은‘검색 가능한’홀로그램 이미지를 생성하는데 적절하다(생성하도록 배열된다, 구성된다). 실제로 데이터(HD)는 터미널(COM TERM)에서든 아니면 상기 터미널에 연결되는 서버의 데이터베이스에서든 송신되고 메모리 상에 저장될 수 있다. 가능한 응용들은 동일한 착용자 및/또는 다른 착용자들에 의한 검색 및 디스플레이를 위해 예를 들어, 주어진 위치에서 피닝(pinning)됨으로써 이후에 이용 가능하게 될 수 있는 홀로그램 이미지 태그들의 생성을 포함한다.
단계(b)가 터미널(COM TERM)에서 디바이스(HMD)로 데이터(HD)를 송신하는 단계를 포함할 때, 방법은 홀로그램 이미지의 디스플레이를 위한 데이터의 검색에 적절하다(검색을 위해 배열된다, 구성된다). 가능한 응용들은 가능하게는 주어진 위치와 관련되어 태그들 또는 콘텐츠와 같은 홀로그램 이미지들의 검색을 포함한다. 예를 들어, 홀로그램 이미지 태그들은 주어진 위치의 부근에 위치되는 HMD 착용자에 대해 관련있는 텍스트 또는 사진들과 같은 정보를 제공할 수 있다. 위치는 터미널과 함께 제공되고, 터미널은 터미널의 위치에서 피닝되는 그러한 태그들을 검색하고 표시하는 옵션을 착용자에게 제공한다.
바람직하게는 본 발명에 따르면, 단계(b)는 하나의 엔티티에서 다른 엔티티로 Li-Fi, 또는 FSO를 포함하는 광 통신을 통해 또는 (예를 들어, 이더넷 케이블, USB 포트, 광 섬유 등을 통한) 유선 통신에 의해 상기 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 송신하는 단계를 포함할 수 있다. 이는 상술한 바와 같이 안전성 우려 측면에서 유리하다.
다른 양태에서, 본 발명은 착용자에 의해 착용되는 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스(HMD)로 컴퓨터 생성 홀로그램 이미지들의 디스플레이를 위한 컴퓨터 구현 방법을 제공한다. 홀로그램 이미지의 디스플레이는 그 때 착용자가 볼 수 있다. 상기 방법은 본원에 설명하는 바와 같이 단계들(a) 및 (b)을 포함하고 (c) 상기 디바이스(HMD)의 조명에 의해 홀로그램 이미지를 표시하는데 적절한(표시하도록 배열되는, 구성되는) 광 빔을 적어도 하나의 광원(LIGHT SOURC)에 의해 방사하는 단계를 더 포함한다. SLM을 갖는 HMD의 경우, 따라서, 단계(c)는 광원(LIGHT SOURC)으로 SLM을 조명하는 단계를 포함한다.
일부 실시예들에서, 상기 광원(LIGHT SOURC)은 원격 조명 터미널(LIGHT TERM) 상에 제공된다. 다른 실시예들에서, 상기 광원(LIGHT SOURC)은 상기 디바이스(HMD) 상에 내장된다. 일부 실시예들에서, 광원(LIGHT SOURC)은 원격 조명 터미널(LIGHT TERM) 상에 제공되고 광원(LIGHT SOURC)은 상기 디바이스(HMD) 상에 내장된다.
유리하게는 본 발명에 따르면, 광원(LIGHT SOURC)에 외부 터미널(TERM)(HMD와는 별개의 원격 터미널)이 제공될 때, 광원은 적어도 순간적으로, 일정한 지리학적 또는 GPS 좌표들을 갖는다는 점에서 ‘고정된다’. 따라서, 이미지를 ‘설정하는’ 것이 가능하고, 이미지는 광원(LIGHT SOURC) 예를 들어, 박물관에서의 주어진 그림 근처에 위치되는 터미널(TERM)에 ‘부착되게’ 남는다. 이는 착용자가 머리를 돌리더라도, 이미지를 그림에 ‘부착시키는’ 눈 트래커(tracker) 및 추가 계산들에 대한 어떤 필요 조건도 없다는 점에서 유리하다.
본 발명에 따르면, 광원(LIGHT SOURC)은 다중 모드로 광을 방사할 수 있다. 다중 모드는 공간적이거나 시간적일 수 있다. 다중화는 복수의 디바이스(HMD)에 의한 디스플레이를 위해 광을 방사하는 것을 포함할 수도 있다. 박물관 예에서, 단일 광원(LIGHT SOURC)은 수명의 방문객의 편의를 위해 동시에 방사할 수 있다.
본 발명에 따르면, 상기 광원(LIGHT SOURC)은 상기 통신 터미널(COM TERM) 상에 제공될 수 있다. 따라서, 단계(b)는 상기 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 상기 광원(LIGHT SOURC)에서 상기 디바이스(HMD)로 송신하는 단계를 포함할 수 있다. 따라서, 단계(b)는 광 통신에 의해 수행될 수 있으며, 이는 상술한 바와 같이 유리하다.
게다가 본 발명에 따르면, 상기 적어도 하나의 통신 터미널(COM TERM)은 네트워크(COM SERV)를 통하여 서버(COM SERV)에 연결될 수 있고/있거나(또는 연결되지 않을 수 있고/있거나); 상기 적어도 하나의 조명 터미널(LIGHT TERM)은 네트워크(LIGHT SERV)를 통하여 서버(LIGHT SERV)에 연결될 수 있다(또는 연결되지 않을 수 있다). 서버들은 데이터의 업데이트들을 가능하게 한다는 점에서 유리하다. 서버들은 하나 이상의 데이터베이스를 포함하고/하거나, 하나 이상의 데이터베이스에 연결될 수 있다.
홀로그램 이미지를 ‘검색’하고 표시하기 위한(태그를 판독하기 위한) 방법들
제1 실시예에서, 본 발명은 컴퓨터 생성 홀로그램 이미지들의 디스플레이를 위해 적절한(배열된, 구성된) 데이터를 검색하는 방법들을 제공한다. 데이터는 정보, 사진들 등을 특정 위치에 ‘태깅하거나’ ‘플래깅(flagging)하도록’ 특정 위치와 결부될 수 있다. 위치는 고정된 GPS 좌표일 필요가 없다.
이러한 실시예에서, 단계(b)는 상기 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 상기 통신 터미널(COM TERM)에서 상기 디바이스(HMD)로 송신하는 단계일 수 있다. 송신은 착용자 관점에서 ‘푸시’ 또는 ‘풀’일 수 있다. 즉, 착용자로부터의 임의의 커맨드와 관계없거나, 착용자의 활성 커맨드에 의해 유발될 수 있다.
즉, 이러한 실시예에 따르면, 광원은 컴퓨터 생성 홀로그램 이미지를 표시하는데 적절하고(표시하도록 배열되고, 구성되고)(적절한(배열된, 구성된) 광 빔을 제공함으로써 이미지를 재생하는데 적절하고(재생하도록 배열되고, 구성되고)); 상기 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 상기 (원격) 통신 터미널(COM TERM)에서 상기 디바이스(HMD)로 송신하는데 적절하다(송신하도록 배열된다, 구성된다). 이러한 이중 역할은 상기 HMD 디바이스들이 HMD 디바이스들 자체의 광원을 포함하지 않더라도, 이러한 이중 역할이 HMD 디바이스들 상에 이미지 디스플레이를 제공한다는 점에서 특히 유리하다. 게다가, 이는 이미지 데이터를 송신할 수 있고, 유리하게는 즉시 그 후에, 적절한(배열된, 구성된) 광 빔으로 조명을 제공함으로써 이미지의 디스플레이를 야기할 수 있는 통신 터미널(COM TERM)의 이중 역할에 의존한다.
이러한 실시예에 따르면, 단계(b)의 데이터는 상기 터미널(COM TERM) 상의 메모리 상에 저장되거나(도 1), 네트워크(NETW)를 통하여 터미널(COM TERM)에 연결되는 데이터베이스(DB)에 저장될 수 있다(도 2). 데이터베이스(DB)는 데이터의 세트들을 포함할 수 있으며, 데이터의 각각의 세트는 주어진 콘텐츠(텍스트, 이미지 등)에 상응한다.
이러한 제1 실시예에 따르면, 단계(b)의 데이터(HD)는 실제 콘텐츠(텍스트, 이미지 등)에 상응할 수 있거나, 단계(b)의 데이터(HD)는 콘텐츠의 추가 선택을 위해 옵션들의 메뉴를 표시하는 데이터를 포함할 수 있다. 상응하여, 디스플레이에 대한 단계(c)는 콘텐츠를 표시하는 단계, 또는 콘텐츠 등에 대한 액세스를 제공하기 위해 옵션들의 메뉴를 표시하는 단계일 수 있다.
이러한 제1 실시예에 따르면, 방법은 연속적인 컴퓨터 생성 홀로그램 이미지들(콘텐츠, 태그들)의 순차적 검색 및 디스플레이를 포함할 수 있다. 따라서 이러한 제1 실시예에서, 단계(b)는 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 복수의 원거리 통신 터미널(COM TERM i)에서 상기 디바이스로 순차적으로 송신하는 단계를 포함할 수 있으며, 상기 통신 터미널들(COM TERM i) 각각은 통신 네트워크(COM NETW)를 통하여 통신 서버(COM SERV)에 연결되고 순차적 방사는 하나의 통신 터미널(COM TERM i)의 부근에서 다른 통신 터미널(COM TERM j)의 부근으로 착용자의 존재의 연속적인 검출 단계들을 반영하여, 시간에 따른 상기 착용자의 움직임을 한정한다. 그러한 단계(b)는 일련의 컴퓨터 생성 홀로그램 이미지들(콘텐츠, 태그들)의 시간 상 순차적으로 연속적인 디스플레이를 가능하게 한다. 통신 네트워크는 다양한 터미널의 동기화(타이밍) 및/또는 순차적으로 검색되고 표시되는 태그들의 콘텐츠의 동기화를 가능하게 한다. 이는 복수의 터미널(COM TERM 1,2,3)을 나타내는 도 3에 의해 도시된다. 그것들은 네트워크(NETW)를 통하여 서버(SERV)에 각각 연결된다. 네트워크(NETW)는 데이터(HD i)(HD 1,2,3)의 저장 및 검색에 적절한(저장 및 검색을 위해 배열되는, 구성되는) 데이터베이스(DB)를 포함한다. 데이터(HD i)는 데이터베이스(DB)에서 터미널(COM TERM i)로 그리고 그 다음 디바이스(HMD)로 송신될 수 있다. 착용자는 터미널들(TERM 1,2,3)의 시퀀스에 따라 예를 들어, 걷거나 운전할 수 있다. 데이터(HD 1,2,3)는 그 다음 터미널들(COM TERM 1,2,3)에서 디바이스(HMD)로 순차적으로 그리고 각각 송신된다. 착용자는 그 다음 데이터(HD 1,2,3)에 상응하는 홀로그램 이미지 콘텐츠(HOLO 1,2,3)의 연속적인 디스플레이를 시각화할 수 있다. 이러한 예는 3개의 터미널을 포함하지만, 당업자는 이것이 제한적이지 않고 본 발명의 방법이 복수의 임의의 수의 터미널(COM TERM)로 수행될 수 있다는 점을 이해한다.
또한 이러한 제1 실시예에 따르면, 본 발명의 방법은 (a2) 상기 착용자의 위치를 결정하는 단계를 더 포함할 수 있으며, 단계(b)의 컴퓨터 생성 홀로그램 이미지 데이터(HD)는 단계(a2)에서 결정되는 위치에 따라 한정된다. 착용자의 위치는 절대적 방식으로 예를 들어, GPS 좌표들을 통하여, 또는 상대적 방식으로 예를 들어, 주어진 터미널(COM TERM)의 부근에서 결정될 수 있다. 상대 위치는 박물관에서, 주어진 전?x역 근처에, 주어진 관광 명소의 입구에서의 주어진 그림과 같은 랜드마크 근처일 수 있다. 단계(b)의 데이터는 그 때 유리하게는 결정된 위치에 따라 한정되고, 착용자가 결정된 위치에 대한 관련 정보를 검색하는 것을 가능하게 한다. 예를 들어, 디스플레이를 위해 검색될 수 있는 홀로그램 이미지들(콘텐츠, 태그들)은 박물관에서 주어진 그림에 대한 정보(화가의 이름, 그림의 날짜, 그림의 제목 등); 전?x역 주변의 국부 맵 및 주요 방향들에 대한 표지들; 가장 가까운 식당 또는 ATM에 대한 정보를 각각 포함한다.
또한 이러한 제1 실시예에 따르면, 본 발명의 방법은 메뉴로부터와 같이 수개의 옵션으로부터 선택되는 홀로그램 이미지들에 대한 데이터를 요구 시에 검색할 가능성을 더 포함할 수 있다. 본 발명의 방법은 (d) 착용자의 움직임을 검출하는 단계, 및 (e) 단계(d)의 움직임의 인지에 따라, 상기 통신 터미널(COM TERM)에서 상기 디바이스(HMD)로 송신될 추가 컴퓨터 생성 홀로그램 이미지 데이터(HD)의 선택을 위한 제어 신호를 생성하는 단계를 더 포함할 수 있다. 움직임을 검출하는 단계(d)는 디바이스(HMD)에 의해 또는 터미널(COM TERM)에 의해 검출하는 단계일 수 있다. 움직임은 커맨드/제어 신호를 생성하기 위한 임의의 적절한(배열된, 구성된) 움직임일 수 있다. 그러한 움직임들은 버튼을 누르는 것, 손 모션, 머리 모션, 발성 모션 또는 눈 모션을 행하는 것 등과 같은 임의의 햅틱 커맨드 움직임들을 포함한다. 단계(e)의 제어 신호는 메뉴로부터의 선택, 드롭 다운 메뉴, 가상 키보드 상의 하나의 키로부터의 선택, 가상 패드 상의 필기에 의한 선택 등을 포함하는 옵션들의 선택을 가능하게 한다.
홀로그램 이미지를 생성하고 ‘태그’를 생성하기 위한 방법들
제2 실시예에서, 본 발명은 또한 홀로그램 이미지(태그/콘텐츠)를 생성하기 위한 방법을 제공한다. 상기 홀로그램 이미지는 그 때 이후에 검색되고 표시될 수 있다. 홀로그램 이미지는 주어진 위치와 연관될 수도 있어, 본 발명은 또한 홀로그램 이미지로 태깅하는 방법을 제공한다.
이러한 제2 실시예에 따르면, 본 발명은 따라서 단계들(a) 및 (b)을 포함하는 방법을 제공하며, 단계(b)는 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 상기 디바이스에서 상기 통신 터미널(COM TERM) 쪽으로 송신하는 단계이다. 유리하게는, 이러한 실시예는 이후에 터미널로 송신될 수 있는 데이터를 생성하는 것을 가능하게 하며, 상기 데이터는 그 다음 이후에 추가 검색 및 디스플레이에 이용 가능하게 된다. HMD는‘수신기’로서의 역할을 할 수 있을 뿐만 아니라, 이미지 데이터의‘방사체’로서의 역할을 할 수도 있다.
이러한 제2 실시예에서, 방법은 본원에 설명하는 바와 같이 선택적 단계(c)를 포함할 수 있다. 방법은 (i) 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스(HMD)를 구비한 착용자의 움직임을 검출하는 단계, 및 (ii) 단계(i)의 움직임의 인지에 따라, 이미지 데이터와 같은 데이터를 획득하는 단계를 포함할 수도 있다. 단계(i)의 움직임은 커맨드에 대한 제어 신호를 생성하는데 적절한(생성하도록 배열되는, 구성되는) 임의의 움직임일 수 있고, 단계(d)에 대해 상술한 바와 같은 움직임들을 포함할 수 있다.
데이터를 획득하는 단계는 단계(i)의 움직임의 인지에 따라 데이터를 획득하는 단계를 포함한다. 데이터는 사진 데이터와 같은 이미지 데이터, 텍스트 데이터일 수 있다. 상기 이미지 데이터는 그 다음 컴퓨터 생성 이미지 데이터로 변환될 수 있다. 변환은 HMD, 또는 통신 터미널 상에 내장되는 프로세서에 의해 수행될 수 있다.
데이터를 획득하는 단계(ii)는 메뉴로부터의 옵션을 선택하는 것, 가상 키보드 상의 적어도 하나의 키를 치는 것, 가상 노트 패드 상의 필기, 보컬 커맨드에 의해 명령어들을 부여하는 것, 디지털 사진을 찍거나 디지털 영상을 기록하는 것, HMD 상에 배치된 버튼을 누르는 것 및 이들의 조합들로부터 선택되는 하나 이상을 포함할 수 있다. 따라서, 단계(ii)의 데이터는 텍스트, 사진들, 이들의 조합들 등에 대한 데이터일 수 있다. 따라서, 본 발명은 가상 포스트들을 제공할 수 있으며, 가상 포스트들은 콘텐츠를 갖는 컴퓨터 생성 홀로그램 이미지 태그들이다. 단계(ii)는 예를 들어, (가상 버튼 ‘좋아요!’의 선택과 같은 미리 정해진 메뉴 또는 미리 정해진 아이콘들로부터의 선택을) 가상 클릭함으로써 또는 인지되고 디지털 텍스트로 변환될 수 있는 가상 필기에 의해 가상으로 주석을 다는 단계일 수도 있다.
또한, 통신 터미널은 네트워크를 통하여 서버에 연결될 수 있거나 연결되지 않을 수 있다. 본 발명의 방법에서, 단계(ii)는 서버에 연결하지 않고 수행될 수 있다. 대안적으로, 상기 적어도 하나의 통신 터미널(COM TERM)은 네트워크(COM NETW)를 통하여 통신 서버(COM SERV)에 연결될 수 있고 단계(b)의 데이터는 선택적으로 위치와 연관지어 (도 4에 도시되는 바와 같이) 통신 데이터베이스(COM DB)에 저장될 수 있다. 송신된 데이터의 주어진 위치와의 연관은 태그를 피닝하는 즉, 컴퓨터 생성 홀로그램 이미지(콘텐츠)를 특정 위치와 연관시키는 옵션을 가능하게 한다. 예를 들어, 식당의 소비자 리뷰들은 상기 식당의 부근에 위치되는 터미널 상에서 이용 가능하게 될 수 있다. 데이터와 연관되는 위치는 착용자의 위치일 수 있거나 아닐 수 있으며: 위치는 착용자가 터미널의 부근에 존재할 때의 착용자의 위치일 수 있지만, 예를 들어, 다른 터미널을 사용하여 네트워크를 통하여 서버에 데이터를 제공함으로써 착용자가 더 이상 관심 있는 위치에 있지 않는 시간에 데이터와 위치 사이의 연관을 착용자가 제공하는 것이 또한 가능하다.
미리 정해진 액세스 권한들로의 방법들
본 발명은 또한 착용자 프로파일들 및 액세스 권한들을 한정하는 옵션들을 제공한다. 착용자 프로파일들의 한정은 주어진 착용자에 대해 적절한 선택된 정보를 제공하는데 유용하다. 예를 들어, 착용자가 스포츠에 관심이 있으면, 스포츠에 관한 특정 콘텐츠를 상기 착용자가 시각화에 이용할 수 있다. 액세스 권한들은 홀로그램 이미지 데이터의 검색을 위해(태그 또는 콘텐츠를 시각화하는 제한된 액세스) 그리고/또는 홀로그램 이미지의 생성을 위해(태그 또는 콘텐츠를 생성하는 제한된 액세스) 한정될 수 있다.
본 발명의 방법은 (a1) 식별자(ID)와 상기 착용자 사이의 연관을 데이터베이스에 미리 등록하는 예비 단계를 더 포함할 수 있으며, 단계(b)의 데이터가 선택적으로 액세스 권한들에 따라서 상기 식별자(ID)에 따라 한정된다.
식별자(ID)는 임의의 적절한(배열된, 구성된) 식별자일 수 있다. 이는 예를 들어, 디바이스(HMD) 상에 위치되는 QR 코드 또는 RFID와 같은 코드일 수 있다. 식별자는 착용자의 관심 있는 분야, 습관들 등을 반영할 수 있는 착용자 프로파일의 한정을 가능하게 한다. 식별자는 액세스 권한들을 한정하는데 사용될 수도 있다. 액세스 권한들은 (태그를 표시하는) 데이터 검색 및/또는 (태그를 생성하는) 데이터 생성의 면에서 하나 이상의 액세스의 레벨(공개, 반공개, 기밀 등)을 설정함으로써 한정될 수 있다. 액세스 권한들은 전용 데이터베이스 예를 들어, 착용자 데이터베이스에 저장될 수 있다. 데이터베이스는 터미널 및/또는 터미널에 연결되는 서버 상에 제공될 수 있다.
본 발명의 시스템들 및 디바이스들
다른 양태에서, 본 발명은 조명 터미널들(LIGHT TERM) 및 디바이스들(HMD)을 포함하는 시스템들을 제공한다. 상기 시스템들은 본 발명의 방법을 수행하는데 적절하다(수행하도록 배열된다, 구성된다).
본 발명은 조명 터미널(LIGHT TERM)을 제공한다. 이러한 터미널은 본 발명의 방법의 구현에 적절하다.
본 발명의 광 터미널(LIGHT TERM)은:
- 조명에 의해 홀로그램 이미지를 표시하는데 적절한(표시하도록 배열되는, 구성되는) 광원(LIGHT SOURC),
- 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스(HMD)를 구비한 착용자의 존재를 검출하는데 적절한(검출하도록 배열되는, 구성되는) 센서(LIGHT SENS), 및
- 선택적으로, 상기 조명 터미널(LIGHT TERM)로부터 그리고/또는 상기 조명 터미널(LIGHT TERM)로 컴퓨터 생성 홀로그램 이미지 데이터를 송신하는데 적절한(송신하도록 배열되는, 구성되는) 통신 인터페이스(LIGHT INT)를 포함한다.
광 터미널은 네트워크(독립형 또는 네트워크 연결 터미널)에 연결될 수 있거나 연결되지 않을 수 있다.
착용자의 존재는 관련 분야에 알려진 수단 예를 들어, 임의의 적절한(배열된, 구성된) 식별자에 의해 검출될 수 있다. 적절한(배열된, 구성된) 식별자들은 QR 코드들 또는 RFID와 같은 코드들을 포함한다. 식별자는 디바이스(HMD) 상에 제공될 수 있다. 그것은 HMD (및 착용자)에 특정한 변조 주파수일 수도 있다. 그것은 광 시그니처일 수 있다.
통신 인터페이스(INT)는 USB 포트 및/또는 블루투스, Wi-Fi, 4G, 3G; 광(Li-Fi 또는 FSO) 및/또는 IR 통신과 같은 무선주파수를 포함하는 무선 통신을 위한 임의의 다른 인터페이스; 및/또는 (데이터를 수신하는) 포토다이오드 및/또는 방사체 예를 들어, (데이터를 방사하는) 가시광 또는 근적외선 광원을 포함할 수 있다.
게다가, 광 터미널(LIGHT TERM)은:
- 배터리 또는 임의의 다른 전력 수단,
- GPS 좌표들을 결정하는 GPS,
- 하나의 메모리 또는 복수의 메모리,
- 디지털 카메라,
- 다른 센서들,
- (변경되거나 변경되지 않은) 홀로그램 이미지 데이터를 처리하는데 적절한(처리하도록 배열되는, 구성되는) 제어기(CONT) 중 하나 이상을 포함할 수 있다. 상기 제어기(CONT)는 단계(iii)를 수행하는데 적절하고(수행하도록 배열되고, 구성되고) 프로세서를 포함한다.
바람직한 실시예에서, 본 발명의 조명 터미널(LIGHT TERM)에서, 상기 광원(LIGHT SOURC)은 또한 상기 조명 터미널(LIGHT TERM)로부터 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 송신하는데 적절하다(송신하도록 배열된다, 구성된다). 광 통신은 상술한 바와 같이 매우 유리하다.
본 발명은 또한 본원에 설명하는 바와 같이 조명 터미널들의 배치된 네트워크와 관련된다. 따라서, 본 발명은 본원에 설명하는 바와 같이 복수의 조명 터미널(LIGHT TERM)을 포함하는 시스템에 관한 것이며, 상기 조명 터미널들(LIGHT TERM) 각각은 조명 네트워크(LIGHT NETW)를 통하여 조명 서버(LIGHT SERV)에 연결된다.
본 발명은 또한 머리 장착 디바이스와 관련된다. 상기 디바이스는 본 발명의 방법을 구현하는데 적절하다(구현하도록 배열된다, 구성된다). 본 발명은:
- 상기 디바이스로부터 그리고/또는 상기 디바이스로 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 송신하는데 적절한(송신하도록 배열되는, 구성되는) 통신 인터페이스(?INT),
- 예를 들어, LCoS(실리콘 액정) 또는 유리 투과성 액티브 매트릭스 액정으로 만들어진 위상 공간 광 변조기(SLM) 예를 들어, 위상 한정 또는 위상 및 진폭 공간 광 변조기, 및
- 선택적으로, 조명에 의해 홀로그램 이미지를 표시하는데 적절한(표시하도록 배열되는, 구성되는) 광원(LIGHT SOURC)을 포함하는 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스를 제공한다.
이러한 디바이스(HMD)는 본 발명의 방법을 구현하는데 적절하다(구현하도록 배열된다, 구성된다).
바람직한 실시예에서, 상기 디바이스(HMD)는 위상 SLM을 갖는 처방 안경이다.
바람직하게는, 컴퓨터 생성 이미지는 컴퓨터 생성 홀로그램 이미지이다.
SLM은 바람직하게는 위상 SLM 예를 들어, 위상 한정 SLM이고, LCoS; 또는 유리 투과성 액티브 매트릭스 액정으로 만들어질 수 있다. SLM은 착용자 눈 앞에 제공되는“속이 비치는” SLM일 수도 있으며, 이 경우 홀로그램 미러가 필요 없다. SLM이 착용자 눈 앞이 아닌 다른 곳에 제공될 때, 예를 들어, SLM이 디바이스(HMD)의 측부 상에 또는 착용자 안경 다리 근처에 제공될 때, 그 때 홀로그램 미러가 필요할 수 있다.
본 발명에 따르면, 디바이스(HMD)는:
- 적어도 하나의 렌즈로서, 반사 방지 코팅이 구비되는 렌즈 및 선택적으로 착용자의 측부 상에 또는 착용자의 측부 상의 렌즈 내에 제공되는 홀로그램 미러로서; 바람직하게는 내장된 광원(LIGHT SOURC)이 디바이스(HMD)에 구비될 때, 존재하는 홀로그램 미러,
- 렌즈는 한 쌍의 처방 렌즈의 일부일 수 있는 적어도 하나의 렌즈,
- 배터리,
- GPS,
- 적어도 하나의 메모리,
- 카메라,
- 마이크,
- 센서들 예를 들어, 눈 트래커, 움직임 트래커 또는 햅틱 커맨드 수단을 포함하는 햅틱 수단,
- 이미지 데이터를 처리(디코딩, 복조, 코딩 등)하는데 적절한(처리(디코딩, 복조, 코딩 등)하도록 배열되는, 구성되는) 마이크로제어기(?CONT) 중 하나 이상을 포함할 수 있다. 상기 제어기(CONT)는 단계(iii)를 수행하는데 적절하고(수행하도록 배열되고, 구성되고) 프로세서를 포함할 수 있다.
통신 인터페이스(?INT)는 USB 포트 및/또는 블루투스, Wi-Fi, 4G, 3G와 같은 무선주파수; 광(Li-Fi, FSO) 및/또는 IR 통신을 포함하는 무선 통신을 위한 임의의 다른 인터페이스; 및/또는 (데이터를 수신하는) 포토다이오드 및/또는 방사체 예를 들어, (데이터를 방사하는) 가시광 또는 근적외선 광원을 포함할 수 있다.
디바이스(HMD)는 시각화 파라미터 데이터(VPD), 컴퓨터 생성 이미지 데이터(ID) 및 변경된 컴퓨터 생성 이미지 데이터(MID)로부터 선택되는 데이터를 저장하는데 적절한(저장하도록 배열되는, 구성되는) 메모리를 포함할 수 있다. 디바이스(HMD)의 프로그래밍은 시각화 파라미터 데이터(VPD), 컴퓨터 생성 이미지 데이터(ID) 및 변경된 컴퓨터 생성 이미지 데이터(MID)로부터 선택되는 데이터를 입력하는 것을 포함할 수 있다.
본 발명의 디바이스들(HMD)의 예들이 도 6 내지 도 8에 도시된다. 이러한 예들은 디바이스의 안경 다리(TEMP) 상에 장착되는 광원(LIGHT SOURC)을 포함하는 디바이스들이지만, 상기 광원(LIGHT SOURC)의 존재는 본 발명에 따라 선택적이다.
디바이스(HMD)는 공간 광 변조기(SLM) 및 렌즈(L)를 포함한다.
SLM은 디바이스(HMD)의 안경 다리(TEMP) 상에 위치될 수 있다. SLM은 반사로(도 6) 또는 송신으로(도 7) 기능할 수 있다. 광원(LIGHT SOURC)에 의해 방사되는 광 빔은 렌즈(L)에 이르기 전에, SLM에 의해 각각 반사되거나(도 6) 송신된다(도 7 및 도 8). 본 발명의 디바이스(HMD)가 반사성 SLM을 포함하는 경우, 디바이스(HMD)는 홀로그램 미러를 더 포함한다. 렌즈(L)는 착용자의 눈을 향하는 렌즈(L)의 측부 상에 홀로그램 미러(MIRR)가 구비된다. 렌즈(L)는 또한 반사 방지 코팅이 구비된다. 홀로그램 미러(MIRR)에서 반사된 후에, 광 빔은 착용자 눈으로 향해지므로, 홀로그램 이미지의 시각화를 야기한다. 홀로그램 미러(MIRR)는 중심에서 벗어난다.
홀로그램 미러들이 관련 분야에 알려져 있으며, 광 홀로그래피 요소들의 일부이다. 그것들은 예를 들어, 설정된 주변부들의 회절 격자를 포함할 수 있다. 홀로그램 미러는 중크롬산 젤라틴들의 광중합체들 또는 관련 분야에 알려진 합성 광중합체들 또는 표백된 실버 홀로그램 에멀션들로 만들어질 수 있다. 유리하게는, 홀로그램 미러(MIRR)는 렌즈의 기하학적 구조에 영향을 주지 않고 렌즈와 결합될 수 있다. 결과적으로, 렌즈의 광 기능 및 홀로그램 미러의 광 기능은 완전히 상관 제거되고 독립적으로 최적화될 수 있다. 홀로그램 미러는 시스템의 광 수차들 중 일부 또는 모두에 대해 교정하도록 설계될 수 있다(특히, SLM이 도6 및 도 7에서와 같이 안경 다리(TEMP) 상에 위치되므로, SLM은 중심에서 벗어나며, 이는 착용자에 의해 시각화되는 것으로서 이미지의 광 수차들을 야기한다). 홀로그램 미러는 필드 수차들을 제한하도록 각진 부분씩 제조될 수 있다(감소된 개구부). 그러한 경우에, 미러는 주어진 방향으로의 입사광에 대해서만 원하는 파장(들)의 광을 반사시킨다. 그러한 미러들은 내장된 광원(LIGHT SOURC)이 구비되는 디바이스들(HMD)에 특히 유리하다. 더 큰 개구부를 가진 이미지를 구성하기 위해, 전체 이미지를 세분화하고 빔에 의한 미러의 스캐닝을 진행하는 것이 가능하다.
SLM은 도 8에 도시된 바와 같이 “속이 비치는” 투과성 SLM일 수도 있다. 원격 광원(LIGHT SOURC)은 렌즈(L) 및 SLM을 통해 투과되어 착용자의 눈에 도달하는 빔을 방사한다.
단색의 사용의 경우, 홀로그램 미러는 조명의 그 파장으로 광 기록된다(한정된다). 이러한 파장 이외의 파장의 경우, 미러는 투명하고 따라서 렌즈를 통해 착용자에 의한 시력을 손상시키지 않는다. 3색의 사용(적색, 녹색, 청색)의 경우, 홀로그램 미러는 3개의 파장으로 광 기록되고(한정되고) 홀로그램 이미지는 고려되는 3개의 파장으로 시각화될 수 있다. 홀로그램 미러는 다른 파장들에서 투명하다. 마찬가지로, 3개의 선택된 파장 이외의 파장들의 경우, 미러는 투명하고 따라서 렌즈를 통해 착용자에 의해 시력을 손상시키지 않는다(회절 효율이 0이다). 바람직하게는, 미러는 다양한 조명각(입사광각)에 대해 광 기록된다.
홀로그램 미러의 설계 및 설정은 당업자에게 통상의 지식이다.
본 발명의 디바이스들(HMD)은 미러가 조명 및 시각화에 사용되는 파장(들)에 특정하므로, 본 발명의 디바이스들(HMD)이 디바이스(HMD)를 착용하는 착용자에 의해 시각화되는 이미지들의 기밀성을 보호한다는 점에서 유리하다.
SLM이 안경/HMD의 안경 다리 상에 제공될 때, SLM은 분명히 중심에서 벗어나고, 따라서 SLM에 의한 홀로그램 이미지의 투영은 시각/광 수차들을 생성하며, 이는 유리하게는 홀로그램 이미지 데이터의 적절한(배열된, 구성된) 변경에 의해 적어도 부분적으로 보정될 수 있다. 따라서, SLM은 그에 상응하게 SLM에 의해 방사되는(투과되거나 반사되는) 등위상면을 변경하여, 개선된 시각 경험 및 편안함을 야기한다.
본 발명은 또한 머리 장착 디바이스에서 SLM의 사용과 관련된다. 보다 상세하게는, 본 발명은 처방 안경을 포함하는 안경에서 SLM의 사용과 관련된다. SLM은 위상 및/또는 진폭 공간 광 변조기(SLM), 바람직하게는 위상 또는 위상 한정 SLM 예를 들어, LCoS SLM 또는 유리 투과성 액티브 매트릭스 LC SLM일 수 있다.
본 발명의 방법들 및 시스템들은 다수의 응용들: 가정에서, 주방에서, 예를 들어, 요리할 때, 주방/가정 기기들의 요리 설명서들, 사용자 매뉴얼들을 표시하는데; 자동차에서, 예를 들어, 운전할 때, 방향 또는 교통 정보를 표시하는데; 거실에서, 예를 들어, TV를 시청할 때, TV 프로그램 가이드들을 표시하는데; 쇼핑몰에서, 방향들, 광고, 특별 행사들에 대한 정보, 가격 정보, 제품 정보를 표시하는데; 관광 여행 장소들에서, 방향들 또는 정보를 표시하는데 유용하다.
본 발명은 이하의 비제한적 실시예들에 의해 예시된다.
실시예들
실시예 1: 공항에서 정보의 디스플레이
착용자가 본 발명의 디바이스(HMD)를 구비한다. 착용자는 비행기에 탑승하기 위해 공항에 있다. 공항에 본 발명의 복수의 터미널이 구비된다. 터미널들이 공항에 배치된다. 각각의 터미널에는 디바이스(HMD) 상에 홀로그램 이미지 디스플레이를 야기하고 Li-Fi 통신을 사용하여 데이터를 송신하는 것 둘 다에 적절한(둘 다이도록 배열되는, 구성되는) 광원이 구비된다. 착용자는 착용자가 막 탑승하려 하는 항공편을 식별하고, 다른 특징부들을 포함할 수 있는 착용자 프로파일을 갖는다. 프로파일은 터미널들에 연결되는 데이터베이스 상에 저장된다. 또한 터미널들에 연결되는 추가 데이터베이스는 출발 탑승구, 탑승구 폐쇄의 시간 등과 같은 항공편에 대한 관련 정보를 포함한다.
착용자는 정보를 HMD 상의 컴퓨터 생성 홀로그램 이미지들로서 검색하고 시각화할 수 있다. 그러한 정보는 출발에 대한 탑승구 변경, 예상되는 지연 등과 같은 항공편 정보; 공항 정보 등을 포함할 수 있다. 게다가, 착용자는 착용자가 공항에서 길을 잃은 경우에 출발 탑승구로의 방향들, 착용자 현재 위치에서 출발 탑승구로 걷는데 필요한 거리 및/또는 대략의 시간 등을 검색하고 표시할 수 있다. 추가 정보가 착용자 프로파일에 따라 이용 가능해질 수도 있다. 예를 들어, 착용자가 문학에 관심이 있으면, 정보는 공항에서 가장 가까운 서점에 관한 디스플레이에 이용 가능해질 수 있다.
실시예 2: 관심 있는 가까운 장소들에 대한 정보의 디스플레이
착용자가 본 발명의 디바이스(HMD)를 구비한다. 착용자는 관광 여행 위치에 있다. 위치는 본 발명에 따라 통신 터미널(COM TERM)과 함께 제공된다. 터미널은 착용자의 존재를 검출하며, 이는 터미널(COM TERM)에서 디바이스(HMD)로의 홀로그램 이미지 데이터(HD)의 송신을 야기한다. 데이터(HD)는 아이콘들을 포함하는 메뉴의 디스플레이를 가능하게 한다. 아이콘들은 식당들에 대한 아이콘(예를 들어, 날붙이류를 갖는 접시를 나타내는 이미지), ATM들에 대한 아이콘(예를 들어, 유로화에 대한 심볼 또는 달러화에 대한 심볼 $), 상점들에 대한 아이콘(예를 들어, 바스켓 또는 쇼핑 토트) 등을 포함할 수 있다. 햅틱 수단을 사용하여 예를 들어, 가상 클릭함으로써, 착용자는 아이콘들 중 하나를 선택할 수 있다. 아이콘을 선택함으로써, 추가 디스플레이는 터미널의 부근에서 가장 가까운 ATM들의 위치를 나타내는 표시들이 구비된다.
실시예 3: 식당에 대한 태그(플래그)를 생성하는 것
착용자가 본 발명의 디바이스(HMD)를 구비한다. 통신 터미널(COM TERM)이 식당 근처에 위치된다. 터미널은 네트워크(NETW)를 통하여 서버(SERV)에 연결된다. 서버는 데이터베이스(DB)에 연결된다. 데이터베이스는 홀로그램 이미지 데이터를 포함하는 콘텐츠 데이터베이스뿐만 아니라, 착용자 프로파일들을 포함하는 착용자 데이터베이스를 포함한다. 착용자가 미식 클럽의 일원이며, 이는 착용자의 착용자 프로파일 및 미리 등록된 액세스 권한들에 의해 반영된다.
착용자는 식당에서 저녁 식사를 하고 미식 클럽의 다른 멤버들에게 이용 가능한 리뷰를 게시하려 하고 있다. 착용자는 카메라 및/또는 햅틱 수단을 사용하여 예를 들어, 가상 키보드를 치는 것에 의해 데이터(사진, 텍스트의 엔트리)를 획득함으로써 리뷰에 상응하는 콘텐츠(접시의 사진, 식사에 대한 일반적 코멘트)를 생성할 수 있다. 그 때 2개의 옵션이 있다. 착용자는 디바이스(HMD)에서 식당 근처에 위치되는 터미널(COM TERM)로 콘텐츠에 상응하는 홀로그램 이미지 데이터(HD)의 송신을 야기한다. 또는 착용자는 귀가하고 가정에서의 터미널로부터 상기 데이터(HD)의 송신을 야기한다. 두 가지 경우 모두에서, 홀로그램 이미지 데이터(HD)는 각각의 터미널에서 서버 및 네트워크를 통하여 데이터베이스로 업로딩될 수 있다.
착용자에 의해 게시되는 콘텐츠는 그 다음 미식 클럽의 다른 멤버들에 대해 미리 정해진 액세스 권한들에 따라 미식 클럽의 다른 멤버들에게 이용 가능해진다. 식당 근처에 도착하면, 적절한(배열된,구성된) 액세스 권한들을 갖는 클럽의 다른 멤버는 착용자에 의해 생성되는 콘텐츠(리뷰)를 검색하고 표시할 수 있다.

Claims (22)

  1. 컴퓨터 생성 홀로그램 위상 코딩된 이미지 데이터의 처리를 위한 컴퓨터 구현 방법으로서:
    (a) 적어도 하나의 통신 터미널(COM TERM)에 의해, 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스(HMD)를 구비한 착용자의 존재를 검출하는 단계; 및
    (b) 단계(a)에서 상기 검출되는 존재에 응하여, 컴퓨터 생성 디코딩된 홀로그램 이미지 데이터(HD)를 상기 적어도 하나의 통신 터미널(COM TERM)에서, 상기 디바이스(HMD)로 송신하는 단계를 포함하고,
    방법은:
    (c) 상기 적어도 하나의 통신 터미널(COM TERM) 상에 제공되는 적어도 하나의 광원(LIGHT SOURC)에 의해, 상기 디바이스(HMD)의 조명에 의해 홀로그램 이미지를 표시하도록 구성되는 광 빔을 조사하는 단계를 더 포함하고, 단계(b)는 상기 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 상기 광원(LIGHT SOURC)에서 상기 디바이스(HMD)로 송신하는 단계를 포함하고, 상기 디바이스(HMD)의 조명은 상기 컴퓨터 생성 디코딩된 홀로그램 이미지 데이터(HD)를 상기 광원(LIGHT SOURC)에서 상기 디바이스(HMD)로 송신한 후에 수행되는, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    단계(b)는 광 통신을 통해 상기 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 송신하는 단계를 포함하는, 컴퓨터 구현 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 적어도 하나의 통신 터미널(COM TERM)은 네트워크(NETW)를 통하여 서버(SERV)에 연결되는, 컴퓨터 구현 방법.
  4. 제1항 또는 제2항에 있어서,
    단계(b)는 상기 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 원거리인 복수의 상기 통신 터미널(COM TERM i)에서 상기 디바이스(HMD)로 순차적으로 송신하는 단계를 포함하며, 상기 통신 터미널(COM TERM i) 각각은 통신 네트워크(COM NETW)를 통하여 통신 서버(COM SERV)에 연결되고 상기 순차적 송신은 하나의 통신 터미널(COM TERM i)의 부근에서 다른 통신 터미널(COM TERM j)의 부근으로 상기 착용자의 존재의 연속적인 검출 단계들을 반영하여, 시간에 따른 상기 착용자의 움직임을 한정하는, 컴퓨터 구현 방법.
  5. 제1항 또는 제2항에 있어서,
    (a2) 상기 착용자의 위치를 결정하는 단계를 더 포함하고,
    단계(b)의 상기 컴퓨터 생성 홀로그램 이미지 데이터(HD)는 단계(a2)에서 결정되는 상기 위치에 따라 한정되는, 컴퓨터 구현 방법.
  6. 제1항 또는 제2항에 있어서,
    (d) 상기 착용자의 움직임을 검출하는 단계, 및
    (e) 단계(d)의 상기 움직임의 인지에 따라, 상기 적어도 하나의 통신 터미널(COM TERM)에서 상기 디바이스(HMD)로 송신될 추가 컴퓨터 생성 홀로그램 이미지 데이터(HD)의 선택을 위한 제어 신호를 생성하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  7. 제1항 또는 제2항에 있어서,
    상기 방법은:
    (a1) 식별자(ID)와 상기 착용자 사이의 연관을 데이터베이스에 미리 등록하는 예비 단계를 더 포함하고,
    단계(b)의 상기 데이터는 상기 식별자(ID)에 따라 한정되는, 컴퓨터 구현 방법.
  8. 제7항에 있어서,
    단계(b)의 상기 데이터는 액세스 권한들에 따라서 상기 식별자(ID)에 따라 한정되는, 컴퓨터 구현 방법.
  9. 머리 장착 컴퓨터 생성 홀로그램 이미지 표시 디바이스(HMD)의 착용자를 위해 컴퓨터 생성 홀로그램 이미지를 표시하기 위한 시스템으로서:
    - 상기 머리 장착 표시 디바이스(HMD), 및
    - 상기 디바이스(HMD)와 통신하는 적어도 하나의 조명 터미널을 포함하고, 조명 터미널은:
    * 상기 디바이스(HMD)에 제공되는 착용자의 존재를 검출하도록 구성되는 센서, 및
    * 광원(LIGHT SOURC)를 포함하고,
    상기 광원(LIGHT SOURC)는 상기 센서에 의해 검출되는 존재에 응하여, 컴퓨터 생성 디코딩된 홀로그램 이미지 데이터(HMD)를 상기 광원에서 상기 디바이스(HMD)로 송신하고 그 후 홀로그램 이미지를 표시하기 위해 상기 디바이스(HMD)를 조명하기 위해 광 빔을 조사하도록 구성되는, 시스템.
  10. 제9항에 있어서,
    각각이 상기 적어도 하나의 조명 터미널이며 조명 네트워크를 통해 조명 서버에 연결되는 복수의 조명 터미널들을 포함하는, 시스템.
  11. 제9항 또는 제10항에 있어서,
    - 상기 디바이스(HMD)로 상기 컴퓨터 생성 홀로그램 이미지 데이터(HD)를 송신하도록 구성되는 통신 인터페이스, 및
    - 위상 공간 광 변조기(SLM)를 포함하는, 시스템.
  12. 제11항에 있어서,
    상기 위상 공간 광 변조기(SLM)는 LCoS(실리콘 액정) 또는 유리 투과성 액티브 매트릭스 액정으로 만들어진, 시스템.
  13. 제11항에 있어서,
    상기 디바이스(HMD)는 상기 위상 공간 광 변조기(SLM)의 조명에 의해 홀로그램 이미지를 표시하도록 구성되는 내장 광원(LIGHT SOURC)을 더 포함하는, 시스템.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
KR1020167005452A 2013-09-04 2014-09-03 증강 현실을 위한 방법 및 시스템 KR102277893B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306207.5 2013-09-04
EP13306207 2013-09-04
PCT/EP2014/068754 WO2015032824A1 (en) 2013-09-04 2014-09-03 Methods and systems for augmented reality

Publications (2)

Publication Number Publication Date
KR20160048801A KR20160048801A (ko) 2016-05-04
KR102277893B1 true KR102277893B1 (ko) 2021-07-15

Family

ID=49170646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167005452A KR102277893B1 (ko) 2013-09-04 2014-09-03 증강 현실을 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US10698364B2 (ko)
EP (2) EP3657265B1 (ko)
JP (1) JP6632979B2 (ko)
KR (1) KR102277893B1 (ko)
CN (2) CN105579917B (ko)
WO (1) WO2015032824A1 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3042249B1 (en) * 2013-09-04 2020-03-18 Essilor International Methods and systems for augmented reality
US10571696B2 (en) 2014-12-26 2020-02-25 Cy Vision Inc. Near-to-eye display device
US9715016B2 (en) * 2015-03-11 2017-07-25 The Boeing Company Real time multi dimensional image fusing
US10852541B2 (en) 2015-07-03 2020-12-01 Essilor International Methods and systems for augmented reality
CN107850788B (zh) 2015-07-03 2020-10-27 依视路国际公司 用于增强现实的方法和系统
WO2017045061A1 (en) * 2015-09-16 2017-03-23 Therrien Robert Relaxation and meditation eyewear
US20170115489A1 (en) * 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics
WO2017145154A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Wide field of view hybrid holographic display
WO2017145155A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
EP3433672B1 (en) * 2016-03-25 2021-03-03 CY Vision Inc. Near-to-eye image display device delivering enhanced viewing experience
US20170323482A1 (en) 2016-05-05 2017-11-09 Universal City Studios Llc Systems and methods for generating stereoscopic, augmented, and virtual reality images
US10976705B2 (en) 2016-07-28 2021-04-13 Cy Vision Inc. System and method for high-quality speckle-free phase-only computer-generated holographic image projection
CN106296827A (zh) * 2016-08-10 2017-01-04 网易（杭州）网络有限公司 图像处理方法和装置
CN106200831A (zh) * 2016-08-31 2016-12-07 广州数娱信息科技有限公司 一种ar、全息智能装置
US10187146B2 (en) * 2016-09-19 2019-01-22 DISH Technologies L.L.C. Light converting device
CN106444030A (zh) * 2016-10-13 2017-02-22 佛山市炫鲸科技有限公司 基于可见光通信的虚拟现实头盔与系统
CN110431470B (zh) * 2017-01-19 2022-03-01 脸谱科技有限责任公司 焦面显示
WO2018141408A1 (en) * 2017-02-03 2018-08-09 Vestel Elektronik Sanayi Ve Ticaret A.S. IMPROVED METHOD AND SYSTEM FOR VIDEO CONFERENCES WITH HMDs
US10338675B2 (en) * 2017-02-14 2019-07-02 Facebook Technologies, Llc Selective color sensing for motion tracking
CN106980178B (zh) * 2017-03-24 2019-05-31 浙江大学 一种位相型LCoS图像信号处理方法以及近眼显示系统
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
IT201700090535A1 (it) * 2017-08-04 2019-02-04 Stefano Bastianello Sistema ottico fuori asse per schermo ad alta trasparenza in realtà aumentata
JP7317003B2 (ja) * 2017-09-27 2023-07-28 マジック リープ， インコーポレイテッド 別個の位相および振幅変調器を伴う接眼３ｄディスプレイ
US10438404B2 (en) 2017-10-13 2019-10-08 Disney Enterprises, Inc. Ambient light characterization
EP3502763B1 (en) 2017-12-22 2023-02-01 Essilor International Head mounted device comprising a fourier hologram
US10964030B2 (en) 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
US10521013B2 (en) 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
EP3567419A1 (en) * 2018-05-11 2019-11-13 Essilor International (Compagnie Generale D'optique) A system for generating a virtual image for a wearer
CN109031669B (zh) * 2018-09-25 2021-03-23 杭州光粒科技有限公司 紧凑型全息近眼ar显示系统及其应用
EP3686767B1 (en) * 2019-01-25 2024-05-22 Essilor International Method, device and system for identifying a device
EP3703073A1 (en) * 2019-03-01 2020-09-02 Koninklijke Philips N.V. A projection and measurement system
GB2580441B (en) * 2019-03-14 2022-03-16 Dualitas Ltd Laser modulation
CN110244473A (zh) * 2019-05-06 2019-09-17 华为技术有限公司 一种显示装置及眼镜
CN111948807B (zh) * 2019-05-14 2022-10-25 Oppo广东移动通信有限公司 控制方法、控制装置、穿戴设备和存储介质
CN112565165B (zh) * 2019-09-26 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
US20220335698A1 (en) * 2019-12-17 2022-10-20 Ashley SinHee Kim System and method for transforming mapping information to an illustrated map
US11842445B1 (en) 2020-10-28 2023-12-12 Wells Fargo Bank, N.A. Digital representation of transfer of monetary assets
CN113031281B (zh) * 2021-04-21 2022-11-08 南昌三极光电有限公司 一种光学系统
CN114363594A (zh) * 2021-12-29 2022-04-15 帛度光电科技(苏州)有限公司 多空间光调制器控制系统及其控制方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3933443A1 (de) 1989-10-06 1991-04-11 Zeiss Carl Fa Strahlungsquelle fuer teilkohaerente strahlung
JP3407383B2 (ja) * 1993-06-15 2003-05-19 オリンパス光学工業株式会社 頭部装着型ディスプレイシステム
JP3385238B2 (ja) * 1999-01-12 2003-03-10 シャープ株式会社 光送受信モジュール
GB0000209D0 (en) * 2000-01-07 2000-03-01 Holmetrica Limited Holographic multiplexed image sensor
JP4673045B2 (ja) * 2004-11-26 2011-04-20 株式会社エヌ・ティ・ティ・ドコモ 画像表示装置、立体画像表示装置及び立体画像表示システム
JP2006293667A (ja) * 2005-04-11 2006-10-26 Sony Corp コンテンツ配信システム、コンテンツ提供媒体製造方法、コンテンツ取得装置、コンテンツ取得方法
DE102006003741B4 (de) * 2006-01-18 2009-08-27 Seereal Technologies S.A. Verfahren zum Kodieren eines computergenerierten Hologramms
JP2007274566A (ja) * 2006-03-31 2007-10-18 Nakagawa Kenkyusho:Kk 照明光通信装置
GB2448132B (en) * 2007-03-30 2012-10-10 Light Blue Optics Ltd Optical Systems
KR101502622B1 (ko) * 2007-12-27 2015-03-13 메이플 비젼 테크놀로지스 인크. 광정보 처리를 위한 데이터 처리 시스템 및 데이터 처리방법
JP2009237801A (ja) * 2008-03-26 2009-10-15 Nippon Tokei Jimu Center:Kk 通信システム及び通信方法
US8019233B2 (en) * 2008-05-30 2011-09-13 Avago Technologies Fiber Ip (Singapore) Pte. Ltd. Method and apparatus for using a hologram to control the optical field distribution of light generated by a light source and launched into an end of an optical waveguide
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
US8436789B2 (en) * 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
JP2010213214A (ja) * 2009-03-12 2010-09-24 Brother Ind Ltd ヘッドマウントディスプレイ
US20110143769A1 (en) * 2009-12-16 2011-06-16 Microsoft Corporation Dual display mobile communication device
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US8788197B2 (en) * 2010-04-30 2014-07-22 Ryan Fink Visual training devices, systems, and methods
GB201011829D0 (en) * 2010-07-14 2010-09-01 Two Trees Photonics Ltd Display system
JP5953311B2 (ja) * 2010-11-08 2016-07-20 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． 表示装置
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
JP2012249147A (ja) * 2011-05-30 2012-12-13 Japan Radio Co Ltd 画像提供装置
CN103270456B (zh) * 2011-10-20 2016-11-23 松下知识产权经营株式会社 显示装置及显示系统
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
CN102857299A (zh) * 2012-08-23 2013-01-02 中国科学院苏州纳米技术与纳米仿生研究所 光通信系统及方法
CA3140855A1 (en) * 2012-12-31 2014-07-03 Esight Corp. Apparatus and method for fitting head mounted vision augmentation systems
US9996551B2 (en) * 2013-03-15 2018-06-12 Huntington Ingalls, Incorporated System and method for determining and maintaining object location and status
CN103297888A (zh) * 2013-04-24 2013-09-11 青岛海信电器股份有限公司 无线耳机装置、移动终端装置以及可调制光源器件

Also Published As

Publication number Publication date
CN105579917B (zh) 2020-12-01
JP2016536700A (ja) 2016-11-24
US10698364B2 (en) 2020-06-30
JP6632979B2 (ja) 2020-01-22
EP3657265A1 (en) 2020-05-27
EP3042248B1 (en) 2020-06-17
CN112416221A (zh) 2021-02-26
CN105579917A (zh) 2016-05-11
WO2015032824A1 (en) 2015-03-12
EP3657265B1 (en) 2023-05-03
US20160223986A1 (en) 2016-08-04
KR20160048801A (ko) 2016-05-04
EP3042248A1 (en) 2016-07-13

Similar Documents

Publication Publication Date Title
KR102277893B1 (ko) 증강 현실을 위한 방법 및 시스템
KR102309257B1 (ko) 증강 현실을 위한 방법 및 시스템
JP7171727B2 (ja) 拡張現実ディスプレイシステム
US10459220B2 (en) Systems, devices, and methods for laser eye tracking in wearable heads-up displays
CN106415444B (zh) 注视滑扫选择
CN105229514B (zh) 用于将图像光耦合到近眼显示器的投影光学系统
CN105934730B (zh) 自动内容滚动
CN105431763B (zh) 在佩戴移动设备时跟踪头部移动
CN109814719B (zh) 一种基于穿戴眼镜的显示信息的方法与设备
CN105009039A (zh) 使用imu的直接全息图操纵
JP6705124B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN105103082A (zh) 由人触发的全息提醒
US20230042383A1 (en) Eyewear with integrated heads-up display
CN103917913A (zh) 在近眼显示器上自动聚焦的方法
CN103913842A (zh) 显示装置以及显示装置的控制方法
JP2016033611A (ja) 情報提供システム、表示装置、および、表示装置の制御方法
US20240012246A1 (en) Methods, Apparatuses And Computer Program Products For Providing An Eye Tracking System Based On Flexible Around The Lens Or Frame Illumination Sources
US11966048B1 (en) Head-mounted devices with dual gaze tracking systems
US20240012473A1 (en) Methods, Apparatuses And Computer Program Products For Providing Multi-Functional Optical Modules With Micro-Light Emitting Diodes As Eye Tracking Illumination Sources
WO2016121049A1 (ja) 情報表示端末および情報表示方法
JP2017078894A (ja) 携帯型表示装置、検索サーバー、および携帯型表示装置の制御方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right