JP6675312B2 - 拡張現実感のための方法とシステム - Google Patents

拡張現実感のための方法とシステム Download PDF

Info

Publication number
JP6675312B2
JP6675312B2 JP2016539532A JP2016539532A JP6675312B2 JP 6675312 B2 JP6675312 B2 JP 6675312B2 JP 2016539532 A JP2016539532 A JP 2016539532A JP 2016539532 A JP2016539532 A JP 2016539532A JP 6675312 B2 JP6675312 B2 JP 6675312B2
Authority
JP
Japan
Prior art keywords
data
computer
wearer
image data
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016539532A
Other languages
English (en)
Other versions
JP2016535872A (ja
Inventor
オードゥ・ブシエ
ジャン−ポール・カノ
ジル・ル・ソー
Original Assignee
エシロール・アンテルナシオナル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エシロール・アンテルナシオナル filed Critical エシロール・アンテルナシオナル
Publication of JP2016535872A publication Critical patent/JP2016535872A/ja
Application granted granted Critical
Publication of JP6675312B2 publication Critical patent/JP6675312B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/024Methods of designing ophthalmic lenses
    • G02C7/027Methods of designing ophthalmic lenses considering wearer's parameters
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08Auxiliary lenses; Arrangements for varying focal length
    • G02C7/086Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/14Mirrors; Prisms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2286Particular reconstruction light ; Beam properties
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C2202/00Generic optical aspects applicable to one or more of the subgroups of G02C7/00
    • G02C2202/20Diffractive and Fresnel lenses or lens portions
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0825Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2284Superimposing the holobject with other visual information
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/60Multiple SLMs
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/04Transmission or communication means, e.g. internet protocol
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02Handheld portable device, e.g. holographic camera, mobile holographic display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、拡張現実感のための方法とシステムに関する。本発明はより具体的には、頭部装着装置(HMD:head−mounted device)による画像(特にはホログラフィック画像)の表示に関する。
表示機構を有する頭部装着装置は当該技術分野で知られている。このような装置としては、拡張現実感のための画像又はテキストをその装着者が見られるようにする所謂「スマート眼鏡」が挙げられる。
装着者の視覚的快適性を改善するためには、画像とテキストが装着者及び/又は装着装置に特に適応化されたカスタマイズされたやり方で表示される方法及びシステムを提供することが望ましい。
さらに、装着者の人間工学的快適性を改善するためには、軽量かつ小型の頭部装着装置、特には使用時に低エネルギー所要量を有する装置を提供することが望ましい。
また、安全性に関して、データ交換のための通信に使用されるいくつかのタイプの電磁波(特にHMDなど頭近傍に配置される装置の)は健康問題を生じ得る。したがって、その機能が装着者のこのような電磁波への露出を制限又は回避する頭部装着装置を提供することが望ましい。
本発明は一般的には、装着者特有視覚化パラメータを考慮することにより表示のカスタム化が実現される頭部装着装置による画像表示のための方法とシステムを提供する。このような視覚化パラメータは、装置の設計に関連するパラメータ及び/又は装着者処方箋データなどの装着者眼科データを含む。好ましい画像はコンピュータ生成ホログラフィック画像である。本発明によると、表示の質と装着者の視覚的経験は、光学収差に起因する画像歪みを補正することにより強化され得る。このような収差は、装置自体の幾何学形状及び設計及び/又は装着者の非正視及び/又は老眼から生じ得る。
好ましい実施形態では、本発明は、位相空間光変調器(SLM:phase spatial light modulator)により画像表示を行う。SLMは「位相だけSLM:phase−only SLM」と「位相及び振幅SLM:phase and amplitude SLM」とから選択され得る。位相変調は、波面において画像データと処方箋データの両方を符号化する可能性を提供するという点で極めて有利である。この符号化は、波面の位相に関するいかなる情報も伝達しない他の一般的ディスプレイでは不可能である。言い換えれば、SLMは、画像の符号化に加えて処方箋レンズの視覚的効果の仮想的符号化を可能にする。位相変調はまた、以下に記載する別の利点を提供する。
本発明は、装着者により装着される頭部装着型コンピュータ生成画像表示装置による表示のためのコンピュータ生成画像データを処理するコンピュータ実施方法を提供する。本方法は、
(i)以下のデータ
− 装着者処方箋データ、装着者眼感度データ及び装着者眼科バイオメトリックデータを含む装着者眼科データ、及び
− フレームデータ及びレンズデータを含む頭部装着装置データ、から選択される視覚化パラメータデータを提供する工程と、
(ii)コンピュータ生成画像データを提供する工程と、
(iii)工程(i)の視覚化パラメータデータを考慮することにより工程(ii)のコンピュータ生成画像データから修正コンピュータ生成画像データを計算する工程と、
(iv)工程(iii)の修正コンピュータ生成画像データを上記表示装置へ提供する工程とを含む。
画像はホログラフィック画像であり得、及び/又は視覚化パラメータデータは乱視度、乱視軸、度数、プリズム及び加入度から選択された装着者処方箋データであり得る。
一実施形態では、画像はホログラフィック画像であり、コンピュータ生成画像データはコンピュータ生成ホログラフィック画像データであり、修正コンピュータ生成画像データは修正コンピュータ生成ホログラフィック画像データである。本方法は、(v)上記装置の照射により工程(iii)の修正コンピュータ生成ホログラフィック画像データからホログラフィック画像を表示するのに好適な(するように構成、配置された)光ビームを少なくとも1つの光源により発射する工程を含み、光源は、遠隔照射端末(remote lighting terminal)上に設けられる及び/又は上記装置に内蔵される。
光源は遠隔照射端末上に設けられ得、光源はデータを送信するように配置され得、
− 工程(ii)はコンピュータ生成ホログラフィック画像データを光源から上記装置へ送信する工程を含み得る、又は
− 工程(iv)は修正コンピュータ生成ホログラフィック画像データを光源から上記装置へ送信する工程を含み得る。
一実施形態では、工程(i)の視覚化パラメータデータの少なくとも1つは上記装置上のメモリ内に格納される。
この実施形態では、工程(i)は、(i−a)少なくとも1つの通信端末により装着者の存在を検出する工程と、(i−b)工程(i−a)において検知された存在に応じて、視覚化パラメータデータを上記装置から通信端末へ送信する工程とを含み得、工程(iii)は修正コンピュータ生成画像データを通信端末から上記装置へ送信する工程を含み得る。
一実施形態では、工程(i)の視覚化パラメータデータの少なくとも1つは、視覚化パラメータ識別子に関連して、通信ネットワークを介し少なくとも1つの通信端末へ接続される通信サーバ上の装着者データベース内に格納される。このような識別子は、視覚化パラメータデータ(VPD:visualization parameter data)の検索を可能にする識別子として定義され得る。
この実施形態では、工程(i)は、
(i−a)少なくとも1つの通信端末により装着者の存在を検出する工程と、
(i−b)工程(i−a)において検知された存在に応じて、視覚化パラメータデータを通信サーバから通信端末へ送信する工程と、
任意選択的に、(i−c)視覚化パラメータデータを通信端末から上記装置へ送信する別の工程とを含み得る。
工程(iii)は、
− 修正コンピュータ生成画像データを通信端末から上記装置へ送信する工程と、
− 任意選択的に、修正コンピュータ生成画像データを通信サーバから通信端末へ送信する前工程とを含み得る。
一実施形態では、コンピュータ生成画像データ又は修正コンピュータ生成画像データは画像データベース内に格納され、本方法は、上記データベース内に、装着者識別子と装着者との関連性を事前登録する予備工程を含み、工程(ii)のコンピュータ生成画像データ及び/又は工程(iii)の修正コンピュータ生成画像データは装着者識別子にしたがって(任意選択的にアクセス権にしたがって)判断(定義)される。
本発明のシステムと装置
本発明は、
− 照射によりホログラフィック画像を表示するのに好適な(するように構成、配置された)光源と、
− 任意選択的に、頭部装着型コンピュータ生成ホログラフィック画像表示装置を備える装着者の存在を検知するのに好適な(するように構成、配置された)センサと、
− 任意選択的に、視覚化パラメータデータ、コンピュータ生成ホログラフィック画像データ、及び修正コンピュータ生成ホログラフィック画像データから選択されたデータを上記端末から及び/又は上記端末へ送信するのに好適な(するように配置され、構成された)通信インターフェースとを含む照射端末を提供する。
この照射端末は、画像がホログラフィック画像である場合に本発明の方法を実施するのに好適である(するように構成、配置される)。
一実施形態では、光源はさらに、コンピュータ生成ホログラフィック画像データ及び/又は修正コンピュータ生成ホログラフィック画像データを照射端末から送信するのに好適である(するように配置され、構成される)。
本発明は、本明細書に記載されるような複数の照射端末を含むシステムを提供し、照射端末のそれぞれは照射ネットワーク(lighting network)を介し照射サーバ(lighting server)へ接続される。
本システムは、画像がホログラフィック画像である場合に本発明の方法を実施するのに好適である(するように構成され、配置される)。
本発明はまた、頭部装着型コンピュータ生成画像表示装置を提供する。本装置は、
− 例えばLCoS(液晶オンシリコン:liquid crystal on silicon)又はガラス透過型アクティブマトリックス液晶で作られた位相及び/又は振幅空間光変調器と、
− 任意選択的に、照射次第画像を表示するのに好適な(するように配置され、構成された)光源と、
− 任意選択的に、視覚化パラメータデータ、コンピュータ生成ホログラフィック画像データ、及び修正コンピュータ生成ホログラフィック画像データから選択されたデータを上記端末から及び/又は上記端末へ送信するのに好適な(するように配置され、構成された)通信インターフェースとを含む。
本装置は、本発明の方法を実施するのに好適である(するように構成、配置される)。
本発明はまた、装着者処方箋準拠頭部装着表示装置の製造のために位相及び/又は振幅空間光変調器(SLM(好適にはLCoS SLM又はガラス透過型アクティブマトリクスLC SLM)を使用することに関連する。
本発明はまた、位相及び/又は振幅空間光変調器(SLM)すなわちSLM(好適にはLCoS SLM又はガラス透過型アクティブマトリクスLC SLM)の医療利用(装着者処方箋準拠頭部装着表示装置における非正視補正のための利用)に関する。
本発明の方法の実施形態を示す。 本発明の方法の実施形態を示す。 本発明の方法の実施形態を示す。 本発明の方法の実施形態を示す。 本発明の方法の実施形態を示す。 本発明の方法の実施形態を示す。 本発明の方法の実施形態を示す。 本発明の方法の実施形態を示す。 本発明の方法に有用な例示的データベースの構造を示す。 本発明の方法に有用な例示的データベースの構造を示す。 本発明の方法に有用な例示的データベースの構造を示す。 本発明の頭部装着装置の例示的構造を示す。 本発明の頭部装着装置の例示的構造を示す。 本発明の頭部装着装置の例示的構造を示す。
以下の定義は本発明を説明するために与えられる。
「コンピュータ生成画像」は当該技術分野で知られている。本発明によると、コンピュータ生成画像はコンピュータ生成ホログラフィック画像だけでなく2D回折像などの他のタイプのコンピュータ生成画像も含む。本発明において好ましいコンピュータ生成画像はコンピュータ生成ホログラフィック画像である。
「コンピュータ生成ホログラフィック画像」は当該技術分野で知られている。このようなホログラフィック画像はコンピュータ生成ホログラムを読み出す(照射する)ことにより表示され得る。コンピュータ生成ホログラムは合成又はディジタルホログラムとも呼ばれる。コンピュータ生成ホログラムは通常、2D又は3D画像を選択しそのホログラムをディジタル的に計算することにより得られる。ホログラフィック画像は、光学的再構築により、すなわち好適な光ビーム(ホログラムの基準ビーム)によりホログラムを照射すること(読み出すこと)により表示され得る。画像は、物理的スクリーン又は支持体上に表示され得るという点で「リアル」であり、又は「空中」(仮想的)である。ホログラムは後で説明するようにホログラフィック支持体上へ印刷されてもよいしSLM上に実現されてもよい。
「画像データ」IDは当該技術分野で知られている。「画像データ」IDは通常、被験者による視覚化のための画像の表示を可能にする符号化データ(符号化データの組)を含む。画像はコンピュータ生成ホログラフィック画像などのコンピュータ生成画像であり得る。画像データは、画像自体(その「コンテンツ」)の符号化データを含むが、また、装着者の視野(例えば、装置HMDのフレームを基準とした)内の画像の表示の位置、及び/又は視覚化(ズーム又は拡大)される画像のサイズ、及び/又は視覚化される画像の焦点面の位置の符号化データをさらに含み得る。画像データは、例えば多重表示のために表示されるいくつかの画像を提供し得る。画像データは、1つの色(例えば、白と黒)で、又は2つ以上の色で(例えば、少なくとも3つの色(例えば、三原色)を使用して)画像を提供し得る。本発明によると、コンピュータ生成画像データIDは、修正されてもよいし(修正コンピュータ生成画像データMID)、されてなくてもよい(コンピュータ生成画像データID)。上記データID又はMIDは、表示を可能にするために復号化され得る。本発明によると、データは、HMDのメモリ内に、及び/又は通信端末COM TERMなどの端末上のメモリ内に、及び/又は通信サーバCOM SERVなどのサーバを介しアクセス可能なデータベース内に格納され得る。コンピュータ生成画像データID又はMIDは画像データベースIM DB内に格納され得る。データベースIM DBは、画像データの組を格納及び検索するのに好適な(するように構成、配置された)メモリを含み、通信サーバCOM SERVなどのサーバの一部であってもよいし、通信ネットワークCOM NETWを介しサーバへ接続されてもよい。
「コンピュータ生成ホログラフィック画像データ」HDは当該技術分野で知られている。「コンピュータ生成ホログラフィック画像データ」HDは通常、被験者による視覚化のためのコンピュータ生成ホログラフィック画像の表示を可能にする符号化データ(符号化データの組)を含む。コンピュータ生成ホログラフィック画像データは、画像(2D、3D)の画素毎の位相及び振幅についての情報を含むコンピュータ生成ホログラフィック画像自体(絵、アルファベット及び数字、及びそれらの組合せ等々であり得るその「コンテンツ」)の符号化データを含む。コンピュータ生成ホログラフィック画像データはまた、装着者の視野(例えば、装置HMDのフレームを基準とした)内のホログラフィック画像の表示の位置、及び/又は視覚化(ズーム又は拡大)されるホログラフィック画像のサイズ、及び/又は視覚化されるホログラフィック画像の焦点面の位置の符号化データをさらに含み得る。ホログラフィック画像位置、サイズ及び焦点面のためのこのようなデータは、内蔵光源を有する装置HMD上のホログラフィック画像の表示のために特に有用である。装置HMDが内蔵光源を有しない場合、すなわち光源が装置HMDから遠く離れている場合、位置及び焦点面のデータはコンピュータ生成ホログラフィック画像データ内に暗黙的に含まれると考えられ得る。しかし、上記データはさらに、画像のサイズの(例えば、ズーミングの)データを含み得る。コンピュータ生成ホログラフィック画像データはまた、例えば多重表示のために表示されるいくつかの画像を提供し得る。コンピュータ生成ホログラフィック画像データは、1つの色(例えば、白と黒)で、又は2つ以上の色で(例えば、少なくとも3つの色(例えば、三原色)を使用して)画像を提供し得る。コンピュータ生成ホログラフィック画像自体(その「コンテンツ」)の符号化データは、有利には位相符号化される。本発明によると、コンピュータ生成ホログラフィック画像データHDは、修正されてもよいし(修正コンピュータ生成ホログラフィック画像データMHD)されなくてもよい(コンピュータ生成ホログラフィック画像データHD)。データHD又はMHDは、復号化され、表示手段(例えば、SLM)へ送信され得、好適に照射(構成、配置され)次第、ホログラムの読み出し及び当該ホログラフィック画像の表示を可能にする。本発明によると、データHD又はMHDは、HMDのメモリ内に、及び/又は通信端末COM TERMなどの端末上のメモリ内に、及び/又は通信サーバCOM SERVなどのサーバを介しアクセス可能なデータベース内に格納され得る。ホログラフィック画像データHD又はMHDの組は、コンピュータ生成ホログラフィック画像データのホログラフィック画像データベースHOLO DB及び/又は修正コンピュータ生成ホログラフィック画像データの修正ホログラフィック画像データベースM HOLO DB内に格納され得る。データベースDBはホログラフィック画像データの組を格納及び検索するのに好適な(するように構成、配置された)メモリを含み、通信サーバCOM SERVなどのサーバの一部であってもよいし、通信ネットワークCOM NETWを介しサーバへ接続されてもよい。コンピュータ生成ホログラフィック画像データベースの構造の例が図10〜図11に示される。図10は、コンピュータ生成ホログラフィック画像データHDを含むデータベースHOLO DBの例を示す。ホログラフィック画像はアルファベット文字及び数字(文字「A」、「B」などと数字「1」、「2」など)又は絵などのより複雑な画像であり得る。データは装着者の視野内の画像の位置LOCを含み得る。さらに、データの組はアクセス権ACにしたがって判断(定義)され得る。図11は、修正コンピュータ生成ホログラフィック画像データMHDのデータベースM HOLO DBの例を示す。図10と同じホログラフィック画像が示されるが、装着者の処方箋データを考慮するように不正視装着者のために修正される。図10〜図11で、無修正コンピュータ生成ホログラフィック画像データHD又は修正コンピュータ生成ホログラフィック画像データMHDの各組は、例えば識別子(HOLO i、M HOLO i)を使用してデータベースから検索される。図10〜図11は画像データベースIM DB、M IM DBへ一般化され得る。
「サーバ」SERVは当該技術分野で知られている。サーバSERVは拡張ネットワークNETWを介し複数の端末TERMへ接続され得る。ネットワークNETWは、データ送信を可能にし、無線周波数通信(Wi−Fi、ブルートゥース、3G、4Gなど)などの無線通信、及び/又はLi−Fi又はFSOなどの光通信(赤外線IR、近赤外線NIR、短波長赤外線SWIR、可視光など)、及び/又は有線通信(イーサネット(登録商標)、光ファイバ)に依存し得る。サーバSERVは1又は複数のデータベースDBを含み得る及び/又は1又は複数のデータベースDBへ接続され得る。サーバSERVは通信サーバCOM SERV及び/又は照射サーバLIGHT SERVであり得る。
「データ提供」は当該技術分野で知られた手段により行われ得る。データは、無線通信(Wi−Fi、ブルートゥース、3G、4Gを含むRF;Li−Fi又はFSO、IR、近赤外線IR、可視光を含む光通信など)により、又はエンティティからエンティティへの有線通信(例えば、イーサネット(登録商標)ケーブル、USBポート、光ファイバなどを介した)により提供され得る。光通信は、あり得る安全懸念に関して好ましいかもしれない。実際、Li−Fi又はFSOなどによる光通信の使用は、健康問題を引き起こし得るいくつかのタイプの波形(Wi−Fiなど)への露出を制限できるようにする。これは、このような装置が脳の近傍で装着するためのものであるので、特に頭部装着装置とのデータの通信へ適用される。
データは、格納データを含むメモリ又はデータベースへのアクセス及びそれからの検索により提供され得る(アクセスと検索は、直接的であっても間接的であってもよい、条件付きであってもなくてもよい、等々)。データはまた、捕捉により(例えば、ディジタル画像を撮ることにより)提供され得る。データの捕捉は、ディジタル映像を記録することなどによる「ライブ」又はリアルタイムすなわち連続的であり得る。データはまた、例えば「手動」設定(触覚手段などによる捕捉)により類推的に提供され得る。
データ提供はまた、予め定義されたアクセス権及び/又は所与端末(センサ)近傍における存在の検知に依存し得る。
「頭部装着表示装置」(HMD)は当該技術分野で知られている。ヘルメット装着型ディスプレイ、光学的頭部装着型ディスプレイ、頭部装着型ディスプレイなどを含むこのような装置は装着者の頭上に又はその周囲に装着される。これらは、装着者による視覚化のための画像を表示する光学的手段を含む。HMDは、コンピュータ生成画像だけのための、又はコンピュータ生成画像と「現実」視野との重畳視覚化のための表示を提供し得る。HMDは単眼又は双眼(両眼)であり得る。本発明のHMDは、眼鏡、スキー又は潜水マスクなどのマスク、ゴーグルなどを含む様々な形式を採り得る。HMDは1又は複数のレンズを含み得る。レンズは処方箋レンズから選択され得る。本発明によると、HMDは空間光変調器(SLM)を含む。好ましい実施形態では、HMDはレンズを備えた一対の眼鏡である。本発明の装置HMDの例が図12〜図14に示される。
「空間光変調器」(SLM)は当該技術分野で知られている。SLMは、位相SLM、「位相だけSLM」、「振幅だけSLM:amplitude−only SLM」、又は「位相及び振幅SLM」であり得る。有する場合は、振幅変調は、好適には位相変調から独立しており、中間調という意味で画質を改善するように画像スペックルの低減を可能にする。好ましい実施形態では、SLMは「位相SLM」又は「位相だけSLM」である。本発明によると、SLMは、
− 反射SLM(表示を引き起こす光ビームはSLM上で反射される)であり得る。その例としては、LCoS(液晶オンシリコン)材料で作られたSLMが挙げられる。可能な商業的供給源としては、Holoeye、Boulder Nonlinear Systems、Syndiant、Cambridge technologiesが挙げられる。反射SLMを含む本発明の装置HMDはさらに、ホログラフィックミラー又は
− 透過SLM(表示を引き起こす光ビームはSLMを通る)を含む。好適には、透過SLMは「シー・スルー」又は「透明」SLM、すなわち>85%又は>90%の透過率を有するSLMである。このような「シー・スルー」SLMは視野を損なうこと無しに装着者の眼の前に直接配置され得るので有利である。その例としては、ガラス上の薄いシリコン(SOI:シリコンオンインシュレータ)又はサファイヤ基板又はガラス透過型アクティブマトリックス液晶で作られる透明アクティブマトリクスが挙げられる。このような製品はCitizen Finetech Miyotaにより開発された。他の例としては、アモルファスシリコン、IGZOなどのLCD型透明アクティブマトリクスが挙げられる。可能な商業的供給源の例としてはBoulder Nonlinear Systemsが挙げられる。透過SLMを含む本発明の装置HMDはホログラフィックミラーを含んでも含まなくてもよい。
SLMは好適には以下の特徴の1つ又は複数、好適にはすべてを含む。
− <10μmの画素サイズ、好適には<5μm又は<4μm。間隔が空いた回折次数(選択/精選することが容易な)を有するように、そして位相の好適な(構成、配置された)空間サンプリングを提供してより高い解像度を有する画像及びその詳細のより良好な再生を生じるように、小さな画素サイズを有するSLMを選択することが好ましい。さらに、より小さな画素サイズは、回折角がより大きいのでより広い視野の画像の可能性を提供する。
− >85%、好適には>90%の回折効果。これは、改善された動力学(応答)、及び単一画素の位相の好適な(構成、配置された)サンプリングを提供するので、望ましい。
− 非可視コマンドマトリックスとハードウェア(画素を操るための)
− >2πの位相動力学
− 16レベル(4ビット)以上の位相サンプリング
− >90%、好適には>95%の充填比(画素有用領域)。
本発明によると、位相SLMは、その画像データが位相符号化される画像の表示を可能にするという点で有利である。位相符号化は、画像の所与の表示に必要なエネルギーを低下させる(「振幅だけ変調符号化:amplitude−only−modulation coding」と比較していかなる輝度損失も無い)。したがって、HMDのエネルギー消費量は、より少ない計算資源要件のために低減され得るので有利である。しかし、SLMがまた振幅変調を許容することもまた有利である。これは、この場合、計算がより多くの資源を必要とし、したがってより多くのエネルギーを消費し得るとしても改善された画質を提供するためである。これは、より小さな電池の使用を可能にし、したがってHMDの容積を低減し、装置のエネルギー自律性を拡張する。本発明によると、SLMは、「プログラム可能」ホログラム、すなわち所望ホログラフィック画像の表示を可能にする電子的アドレス指定可能読み出し支援器(electronically addressable reading support)として働く。
「視覚化パラメータデータ」(VPD)は、頭部装着装置HMDデータ(フレームデータFD及びレンズデータLDなど)及び装着者眼科データOD(ODは、処方箋データPD、眼感度データSD及びバイオメトリックデータBDなどのデータを含む)のうちの1又は複数を含む。VPDはHMDに内蔵されたメモリ上に格納され得る、及び/又はサーバを介しアクセス可能な専用データベース上に格納され得る。視覚化パラメータデータVPDは、OD(装着者に固有な)及びHMDDデータ(装着者により選択された装置に固有な)を含むので装着者カスタマイズド(wearer−customized)データと考えられ得る。
「頭部装着装置データ」HMDDは、HMD装置の物理的特徴(特にHMDの設計、幾何学形状、又は構造に関する)に対応する一組の1又は複数のデータを指す。このようなHMDDは、フレームデータFD及び/又はレンズデータLDなどのデータを含む。HMDDは、HMDに内蔵されたメモリ上に格納され得る及び/又はサーバを介しアクセス可能な専用データベース上に格納され得る。本発明によると、このようなデータは、HMDによる表示を最適化するのに(特にHMDの幾何学形状から生じる光学収差を補正するのに)極めて有用である。装着者は、当該HMDDデータを有する所与のHMD装置を選択し得る。このようなHMDDデータは、HMDDデータが装着者により選択される装置のものであるので、装着者カスタマイズド視覚化パラメータデータと考えられ得る。
「フレームデータ」は、HMDの構造に関係する一組の1又は複数のデータを指し、HMD内のHMDの1つの素子の相対的位置などの設計パラメータを含み得る。これは、SLMの位置、光源の相対的位置、そしてもしあればSLMとHMDのレンズ間の距離、等々を含む。これはまた、SLM及び光源の特徴に関連するデータを含む。
「レンズデータ」(LD:Lens data)は眼用レンズを特徴付ける一組の1つ又は複数のデータを指す。上記データは、1又は複数の幾何学的(表面)特徴及び/又はレンズ材料の光学指標などのレンズの1つ又は複数の光学特徴を定義するデータを含む。レンズデータLDはレンズの後面に及び/又はレンズの前面に又はそれらの相対位置に対応し得る。レンズデータLDはさらに、レンズの一般的幾何学形状に関連するデータ(例えば、曲率の平均半径、凸面データなど)を含み得る。レンズデータLDはまた、レンズ上に存在するレンズの表面被膜に関するデータ及びその特徴、レンズ上に存在するホログラフィックミラーに関連するデータ及びその特徴、又はレンズ中に存在する電気的着色材料に関連するデータ及びその特徴を含み得る。
「装着者眼科データ」又は「眼科データ」ODは当該技術分野で知られている。装着者眼科データは、装着者処方箋データPD、装着者眼感度データSD及び装着者眼科バイオメトリックデータBDを含み、通常は、例えば色収差、眼水晶体の欠如(無水晶体症)などに関連するデータを含む任意の装着者視覚欠陥に関連するデータを含む。
「処方箋データ」PDは当該技術分野で知られている。処方箋データは、装着者のために得られる1又は複数のデータであって、眼毎に処方箋遠方視力平均屈折力PFV、及び/又は処方箋乱視値CYLFV、及び/又は処方箋乱視軸AXEFV、及び/又は各眼の非正視及び/又は老眼を矯正するのに好適な処方箋加入度Aを示す1又は複数のデータを指す。平均屈折力PFVは、処方箋乱視値CYLFVの半値と処方箋球値SPHFVとを合計することにより得られる:PFV=SPHFV+CYLFV/2。このとき、各眼の近接(近方)視平均屈折力PNVは、処方箋加入度Aと同眼に対して処方箋された遠方視平均屈折力PFVとを合計することにより得られる:PNV=PFV+A。累進レンズの処方箋の場合、処方箋データは、眼毎のSPHFV、CYLFV、Aの値を示す装着者データを含む。好ましい実施態様では、装着者処方箋データPDは、乱視度、乱視軸、度数、プリズム及び加入度、及びより一般的には任意の所与の視覚欠陥の補正を示す任意のデータから選択される。このような欠陥は、部分的網膜剥離、網膜又は虹彩又は角膜奇形から生じ得る。
「装着者眼感度データ」SDは当該技術分野で知られている。装着者眼感度データは、スペクトル感度(1又は複数の波長又はスペクトル帯に対する)、輝度感度などの一般的感度例えば屋外輝度感度のデータを含む。このようなデータは、装着者による画像の視覚化のためのコントラストを最適化するために重要である。
「装着者眼科バイオメトリックデータ」又は「バイオメトリックデータ」BDは当該技術分野で知られている。バイオメトリックデータは、装着者の形態論に関連するデータを含み、通常は、単眼瞳孔距離、瞳孔間距離、眼の軸方向長、眼の回転中心の位置、遠点、近点などのうちの1又は複数を含む。
「装着者データベース」WEAR DBは、装着者視覚化パラメータデータVPDを格納及び検索するのに好適な(するように構成、配置された)メモリを含むデータベースである。データベースとメモリは当該技術分野で知られている。視覚化パラメータデータの検索は、視覚化パラメータ識別子VP IDなどの専用ポインタを利用して達成され得る。装着者データベースWEAR DBの一例の構造が図9に示される。図9で、識別子WEAR IDは視覚化パラメータ識別子VP IDとして働き得る。各装着者識別子WEAR ID1、2、...、nは、装着者の右眼REと左眼LEのそれぞれの様々な処方箋データPD(ここでは度数P、乱視ASTI、加入度ADDなどとして示される)の検索を可能にする。
「光源」LIGHT SOURCは当該技術分野で知られている。本発明によると、光源LIGHT SOURCは、装着者による視覚化のための画像を表示するのに好適な(するように構成、配置された)光ビームを発射し得る任意の光源である。ホログラフィック画像の表示に関しては、光ビームはホログラムの基準ビームを含む。画像は、光源LIGHT SOURCによるHMD装置の照射次第、修正コンピュータ生成画像データ(例えば、修正コンピュータ生成ホログラフィック画像データ)から表示され得る。光源LIGHT SOURCは、少なくとも部分的にコヒーレントであり、好適には疑似的又は完全にコヒーレント(空間的かつスペクトル的に)である。光のコヒーレンスは通常、空洞共振器内の活性媒体中の誘導放出から生じる。コヒーレンスは、誘導放出に使用されるいくつかの媒体の自発的放出だけに部分的に起因し得る。コヒーレント源の例としては、レーザダイオードと狭帯域レーザダイオードが挙げられる。部分的コヒーレント源の例としては、いくつかのレーザダイオード、変調レーザダイオード、S−LED、いくつかのLEDが挙げられる。別の例は欧州特許第0,421,460B1号明細書に記載されている。好適には、本発明によると、光源LIGHT SOURCは、完全なコヒーレンスから生じるスペックル効果を抑制するようにほぼ完全にコヒーレント(準コヒーレント)であり得る。
本発明によると、光源LIGHT SOURCは、単色又は多色、例えば三色であり得る。単色使用のためには、画像表示のために発射される光ビームは緑色光(約500〜560nmの波長)を含むことが好ましい。緑色光は、人間の網膜がこの範囲内の波長により敏感であるので、より低いエネルギー(例えば、<1mW)という点で有利である。約520〜550nmで発射する単色光源の例としては、クラス2レーザ、532nmのレーザ、520nmのレーザダイオード(例えば、Osram又はNichia製の)、約550nmで発射するLED、等々が挙げられる。好適には、単色源の電力は<10mWである。他の好適な単色光源としては、赤色615〜645nm、緑色520〜550nm、青色435〜465nmが挙げられる。多色使用のためには、撮像に使用される規格に近い波長(赤、緑、青色)(赤615〜645nm、緑520〜550nm、青色435〜465nm)を使用することが好ましい。3つの別個(赤、緑、青色)の源が使用される場合、それぞれの源は好適には<1mWの電力を有する。多色光源の例としては、レーザ、レーザダイオード、LED又はS−LEDが挙げられる。好適には、少なくとも3、好適には4又は5の異なる放射波長が色の品質を改善するように組み合わせて使用され得る。
好ましい実施態様では、いくつかの外部光源(自然光、装着者環境内の他のLED等々)から生じる雑音を回避するために、本発明の光源LIGHT SOURCは、同期検波と同様に、装置に関連する特定周波数と同期し得る。上記周波数は、画像変調を可視化するのを回避するようにフリッカ周波数よりはるかに高いことが好ましい。このとき、このような同期は、光源LIGHT SOURCと装置HMDにより表示された画像間に必要である。したがって、いくつかの実施形態では、次の2つの同期段階がある:寄生光源との望ましくない相互作用を回避するために照射光源LIGHT SOURCを識別する段階と、正しい色で正しい画像を表示するための変調段階。
照射は、所望表示を引き起こすために好適な(構成、配置された)光ビームが装置HMD(及びそのSLM)を照射し得る限り、指向性である必要はない。本発明によると、光源LIGHT SOURCは、照射端末LIGHT TERM上に設けられ得る及び/又はHMD装置に内蔵され得る。一実施形態では、光源LIGHT SOURCは遠隔照射端末LIGHT TERM上に設けられる(すなわちHMDの上の別個の端末)。照射端末LIGHT TERMはネットワークNETWを介しサーバSERVへ接続されてもされなくてもよい。照射端末LIGHT TERM上に設けられると、光源LIGHT SOURCは発散し得る。光源LIGHT SOURCによる光ビームの放射は、照射端末LIGHT TERM近傍の人が装置HMDを備えているかどうかに関係なく、照射端末LIGHT TERM近傍の人の視環境を乱さない。さらに、発散性でかつ低電力(約<100mW)の光源LIGHT SOURCの使用は、HMD装着者とHMD非装着者がレーザの使用により危険にさらされないので眼の安全性という意味で有利である。本発明によると、光源LIGHT SOURCはまた、データを送信するのに好適である(するように構成、配置される)ことが好ましい。好適な実施形態は、照射により画像を表示させること及びデータを送信することの両方に好適な(構成、配置された)光源LIGHT SOURCを含む。データを送信する際、光源LIGHT SOURCは光(可視光)通信により(例えば、Li−Fi又はFSO通信により)データを発射し得る。データは、コンピュータ生成画像データ(修正又は非修正ID又はMID)、コンピュータ生成ホログラフィック画像データ(修正又は非修正MHD又はHD)又はPDなどのVPDであり得る。データは、例えばフリッカ周波数より高い(特には75Hz以上又は80Hz以上の周波数)変調により連続的に発射され得る。このような周波数は人間の眼に感知されなく、画像表示のための光ビームは「現実生活」における視界と干渉しない。
「端末」TERMは当該技術分野で知られている。本発明によると、端末TERMは照射端末LIGHT TERMと通信端末COM TERMを含む。端末TERMは同時に通信端末と照射端末とであり得る。これは、有利には、本発明によると、光源LIGHT SOURCもまたHMDへデータを送信するのに好適である(するように構成され、配置された)場合であろう。端末は、固定地理的座標又は固定GPS座標を有する端末と、非固定地理的座標又は非固定GPS座標を有する端末とを含む。固定地理的又はGPS座標を有する端末としては、列車駅、地下鉄駅、博物館、空港内、交通信号灯などに配置される端末が挙げられる。非固定GPSを有する端末としては、スマートフォン、タブレット、車両搭載ボックス、TVセットトップボックス、インターネットセットトップボックス、コンピュータなどが挙げられる。いくつかの実施形態では、端末はスマートフォン以外及び/又はタブレット以外である。端末は携帯型であってもなくてもよい。端末は、スタンドアロンである又はネットワークに接続されるかのいずれかである。
本発明は、頭部装着装置による画像のカスタマイズド表示のための方法とシステム(端末、装置)を提供する。
本発明の方法
一態様では、本発明は、装着者により装着される頭部装着型コンピュータ生成画像表示装置HMDによる表示のためのコンピュータ生成画像データを処理するコンピュータ実施方法に関する。本方法は、
(i)以下のデータ
− 装着者処方箋データPD、装着者眼感度データSD及び装着者眼科バイオメトリックデータBDを含む装着者眼科データOD、及び
− フレームデータFD及びレンズデータLDを含む頭部装着装置データHMDD、から選択される視覚化パラメータデータVPDを提供する工程と、
(ii)コンピュータ生成画像データIDを提供する工程と、
(iii)工程(i)の視覚化パラメータデータVPDを考慮することにより工程(ii)のコンピュータ生成画像データIDから修正コンピュータ生成画像データMIDを計算する工程と、
(iv)工程(iii)の修正コンピュータ生成画像データMIDを表示装置HMDへ提供する工程とを含む。
視覚化パラメータデータVPDを提供する工程(i)はVPDデータを送信する工程であり得る。例えば、送出はHMD上のコントローラに対してであり得る。送出は、無線通信によってもよいし、フラッシュドライブ(USBキー)を介した入力によってもよい。工程(i)はまた、HMD上の設定を手動で提供することにより、例えば所望焦点を得るために又は装着者の視野内に画像の位置を変更するために視覚化パラメータVPを調整するためのHMD上のサムホイールを回転させることにより、行われ得る。このような場合、VPDデータは類推ベースで提供される。
計算工程(iii)は有利には、視覚化パラメータデータVPDを考慮する。これは、装着者眼科データOD及び/又は装置データHMDDを考慮することにより画像表示のカスタム化を実現する。特に、カスタム化は、光学系によりにより生成される収差(すなわち、HMDにより生成される光学収差)、及び特にはHMD上に配置されたSLMが装着者の装置の視軸内に存在しないかもしれないということにより(SLMの中心からずれた位置により)生成される収差を制限する又は少なくとも部分的に補正できるようにする。したがって、未補正(未修正)画像の表示は視覚的快適性と画像分解能に強く影響を与える画像歪みにつながるであろう。
工程(iii)はまた、装着者の非正視/老眼に対してカスタマイズされた画像表示を提供するために装着者処方箋データPDを考慮する。例えば、所与の処方箋データPDを有する所与の近視装着者にとって、本発明により表示される画像は、上記装着者にとって完全に鮮明であるかもしれないが異なる処方箋データを有する別の装着者にとっては鮮明ではないであろう。
工程(iii)は、コンピュータ生成画像データがそれに応じて修正される計算を含む。SLMを有するHMDについて、波面の観点では、これは、SLMにより(送出又は反射により)放射された光波面が、VPDデータを考慮するために修正されるということを意味する。画像は符号化されても不正視装着者の処方箋レンズを通して見られるので画像を符号化することは可能である。このような計算(フーリエ画像ホログラム(Fourier image hologram)及び波面ホログラムの計算)は実際には、フーリエ空間において行うのがより簡単である。波面ホログラムは、当該技術分野で知られた計算技術例えばZernike多項式により分析面として説明され得る。
工程(iii)は、単一(ワンショット)計算を含み得る、又は例えば画像の動的視覚化のための「動的」、連続的、又はリアルタイム計算を含み得る。さらに、工程(iii)はオン/オフベースで行われ得る。例えば、近視装着者にとって、工程(iii)は遠方視画像表示のため行われ得るので工程(iii)は近方視画像表示には必要ないかもしれない。
好ましい実施形態では、視覚化パラメータデータVPDは装着者処方箋データPDを含む。処方箋データPDは好適には、乱視度、乱視軸、度数、プリズム及び加入度から選択される。
好ましい実施形態では、コンピュータ生成画像はホログラフィック画像である。したがって、HMD装置は頭部装着型コンピュータ生成ホログラフィック画像表示装置HMDである。したがって、本発明の方法では、コンピュータ生成画像データIDはコンピュータ生成ホログラフィック画像データHDであり、修正コンピュータ生成画像データMIDは修正コンピュータ生成ホログラフィック画像データMHDである。
別の態様では、本発明は、装着者により装着される頭部装着型コンピュータ生成ホログラフィック画像表示装置HMDによるコンピュータ生成ホログラフィック画像の表示のためのコンピュータ実施方法を提供する。本方法は、本明細書に記載された工程(i)、(ii)、(iii)、(iv)を含む。本方法はさらに、(v)装置HMDの照射により工程(iii)の修正コンピュータ生成ホログラフィック画像データMHDからホログラフィック画像を表示するのに好適な(するように構成、配置された)光ビームを少なくとも1つの光源LIGHT SOURCにより発射する工程を含み得る。したがって、SLMを有するHMDでは、工程(v)は光源LIGHT SOURCによりSLMを照射する工程を含む。
いくつかの実施形態では、光源LIGHT SOURCは遠隔照射端末LIGHT TERM上に設けられる。他の実施形態では、光源LIGHT SOURCは装置HMDに内蔵される。いくつかの実施形態では、光源LIGHT SOURCは遠隔照射端末LIGHT TERM上に設けられ、光源LIGHT SOURCは装置HMDに内蔵される。
有利には、本発明によると、光源LIGHT SOURCが外部端末TERM(HMDの上の別個の遠隔端末)上に設けられる場合、光源は、一定の地理学的又はGPS座標を少なくとも一時的に有するという点で「固定」される。したがって、画像を「セット」することが可能であり、画像は光源LIGHT SOURC(例えば、博物館内の所与の絵画の近くに配置された端末TERM)に「取り付けられた」ままである。これは、装着者が頭を回転したとしても、アイトラッカの必要性は無くかつ画像を絵画に「取り付ける」ためのさらなる計算の必要もないという点で有利である。
本発明によると、光源LIGHT SOURCは、多重モードで光を放射し得る。多重モードは空間的又は時間的であり得る。多重化はまた、複数の装置HMDによる表示のために光を放射することに関わり得る。博物館の例では、単一光源LIGHT SOURCが何人かの訪問客のために同時に放射し得る。
本発明によると、光源LIGHT SOURCが遠隔照射端末LIGHT TERM上に設けられる場合、光源LIGHT SOURCはまた、有利には、画像データを照射端末LIGHT TERMから装置HMDへ送信するのに好適となり(するように構成、配置され)得る。したがって、光源LIGHT SOURCは、表示のためのコンピュータ生成ホログラフィック画像(修正又は未修正)データを提供する役割とホログラフィック画像表示を引き起こすために装置HMDを照射する役割との2重の役割を果たす。この2重の役割は、HMD装置がそれ自身の光源を含まないとしてもHMD装置上の画像表示を提供するという点で、特に有利である。さらに、HMD装置は、画像データを含むデータを送信し得る通信端末COM TERMの役割と有利にはその後直ちに好適な(構成、配置された)光ビームにより照射を提供することにより画像を表示させ得る通信端末COM TERMの役割との2重の役割に依存する。
したがって、ホログラフィック画像データ(修正又は未修正)を提供する工程は、例えばLi−Fi又はFSO通信により遠隔照射端末LIGHT TERM上の光源LIGHT SOURCとの間の光通信によりデータを送信する工程を含む。このような実施形態において、工程(ii)は、コンピュータ生成ホログラフィック画像データHDを光源LIGHT SOURCから装置HMDへ送信する工程を含み得又は、工程(iv)は、修正コンピュータ生成ホログラフィック画像データMHDを光源LIGHT SOURCから装置HMDへ送信する工程を含み得る。
本発明の一態様では、工程(i)の視覚化パラメータデータVPDは装置HMD上のメモリ内に格納され得る。このような場合、修正データを計算する工程(iii)は、装置HMD上に配置されたプロセッサ(「ローカル」計算)又は遠隔プロセッサ(「遠隔」計算)のいずれかにより行われ得る。遠隔プロセッサは、遠隔端末TERM(例えば、遠隔照射端末LIGHT TERM、遠隔通信端末COM TERM)上に配置され得る。端末TERMはネットワークNETWを介しサーバSERVへ接続されてもよい(ネットワーク接続端末)し、接続されなくてもよい(スタンドアロン端末)。遠隔プロセッサはまた、サーバSERV内に配置され得る。したがって、本発明によると、工程(i)は、(i−a)少なくとも1つの通信端末COM TERMにより装着者の存在を検出する工程と、(i−b)工程(i−a)において検知された存在に応じて、視覚化パラメータデータVPDを装置HMDから通信端末COM TERMへ送信する工程とを含み得、工程(iv)は、修正コンピュータ生成画像データMIDを通信端末COM TERMから装置HMDへ送信する工程を含み得る。図1〜図4は、視覚化パラメータデータVPDが装置HMD上のメモリ内に格納される本発明の実施形態を示し、
− 図1〜図2は、コンピュータ生成画像データID又はHDが通信端末COM TERM上に提供される実施形態を示す。
− 図3〜図4は、コンピュータ生成画像データID又はHDが通信データベースDBへ接続された通信サーバCOM SERV上に提供される実施形態を示す。
矢印は、それぞれの送信データの注釈付きデータを提供する工程を示す、星印(*)は、計算工程すなわち工程(iii)が端末TERM又は装置HMDのいずれかの上のプロセッサにより行われ得るということを示す。
本発明の別の態様では、工程(i)の視覚化パラメータデータVPDは、視覚化パラメータ識別子VP IDに関連して、通信ネットワークCOM NETWを介し通信端末COM TERMへ接続された通信サーバCOM SERV上の装着者データベースWEAR DB内に格納されたメモリ内に格納され得る。この識別子VP IDは、視覚化パラメータデータ(VPD)の検索を可能にする識別子として定義され得る。例えば、この識別子VP IDは、OD又はHMDDのデータの検索を可能にする。この実施形態は、視覚化パラメータデータVPDの更新を可能にするという点で有利である。例えば、所与の装着者では、処方箋データは時間とともに進化し得る及び/又は装着者は装置HMDを変更し得る。本発明の方法におけるサーバの使用は、装置HMDによる画像表示を忠実にカスタム化する更新機構を提供する。視覚化パラメータ識別子VP IDは個々のもの(例えば、所与の装着者を識別する一意的識別子)であり得る。視覚化パラメータ識別子VP IDはまた、例えば同一処方箋データPDを有する装着者(例えば、同じ近視矯正を有する装着者)のグループ又は同じモデルの装置HMDを有する装着者のグループを識別するための一般的識別子(グループ識別子)であり得る。視覚化パラメータ識別子VP IDは、HMD上に配置されたQRコード(登録商標)又はRFIDコードなどのコードであり得る。視覚化パラメータ識別子VP IDはまた、HMD(及び装着者)に固有の変調周波数であり得る。視覚化パラメータ識別子VP IDは光学的署名であり得る。
視覚化パラメータデータVPDがサーバSERV上のデータベースDB内に格納される場合、視覚化パラメータデータVPDの検索は、視覚化パラメータデータVPDをデータベースDBから端末TERMへ、及び次に任意選択的に端末TERMから装置HMDへ送信することにより行われ得る。したがって、工程(i)は、(i−a)通信端末COM TERMにより装着者の存在を検出する工程と、(i−b)工程(i−a)において検知された存在に応じて、視覚化パラメータデータVPDを通信サーバCOM SERVから通信端末COM TERMへ送信する工程とを含み得る。このとき、工程(i)は任意選択的に、(i−c)視覚化パラメータデータVPDを通信端末COM TERMから装置HMDへ送信する別の工程を含み得る。視覚化パラメータデータVPDの更新は、眼専門店において、又はコンピュータ、タブレット、又はスマートフォンを介し装着者により行われ得る。
視覚化パラメータデータVPDがサーバSERV上のデータベースDB内に格納される場合、修正画像データMIDを計算する工程(iii)は、端末TERM上に配置されたプロセッサ、又はサーバSERV内に配置されたプロセッサのいずれかで行われ得る。したがって、工程(iii)は、修正コンピュータ生成画像データMIDを通信端末COM TERMから装置HMDへ送信する工程と、及び任意選択的に、修正コンピュータ生成画像データMIDを通信サーバCOM SERVから通信端末COM TERMへ送信する前工程を含み得る。
図5〜図8は、視覚化パラメータデータVPDがデータベース内に格納される本発明の実施形態を示し、
− 図5は、視覚化パラメータデータVPDが通信データベースDBから検索され、通信端末COM TERMを介し装置HMDへ送信される実施形態を示す。
− 図6は、コンピュータ生成画像データID、HDが通信端末COM TERM上に提供される実施形態を示す。
− 図7と図8は、コンピュータ生成画像データID、HDが、通信データベースDBへ接続された通信サーバSERV上に提供される実施形態を示す。
矢印は、データ提供工程を示し、星印(*)は、計算工程すなわち工程(iii)が端末TERM又はサーバSERV又は装置HMD上のプロセッサにより行われ得るということを示す。
本発明によると、画像データがサーバSERV上の画像データベースIM DB内に格納される場合、いくつかの画像へのアクセス権を定義することが可能である。したがって、コンピュータ生成画像データID又は修正コンピュータ生成画像データMIDが画像データベースIM DB内に格納される場合、本発明の方法は、装着者識別子WEAR IDと装着者との関連性をデータベースに事前登録する予備工程を含み得、及び工程(ii)のコンピュータ生成画像データID及び/又は工程(iii)の修正コンピュータ生成画像データMIDは、装着者識別子WEAR IDにしたがって(任意選択的にアクセス権にしたがって)判断(定義)される。したがって、装着者識別子は装着者プロファイルの定義を可能にする。装着者識別子WEAR IDは視覚化パラメータ識別子VP IDと同じであっても異なってもよい。装着者識別子は、装置HMD上に配置されたコード(例えば、QRコード(登録商標)又はRFIDコード)であり得る。したがって、画像データベースIM DBに関連して1又は複数のレベルのアクセス権を定義することが可能である。
本発明のシステムと装置
別の態様では、本発明は、照射端末LIGHT TERMと装置HMDとを含むシステムを提供する。上記システムは、本発明の方法を実行するのに好適である(するように構成、配置される)。
したがって、本発明は照射端末LIGHT TERMに関する。この端末は、特にコンピュータ生成画像がホログラフィック画像である場合に本発明の方法を実施するのに好適である(するように構成、配置される)。
本発明の照射端末LIGHT TERMは、
− 照射によりホログラフィック画像を表示するのに好適な(するように構成、配置された)光源LIGHT SOURCと、
− 任意選択的に、頭部装着型コンピュータ生成ホログラフィック画像表示装置HMDを備える装着者の存在を検知するのに好適な(するように構成、配置された)センサSENSと、
− 任意選択的に、視覚化パラメータデータVPD、コンピュータ生成ホログラフィック画像データHD、及び修正コンピュータ生成ホログラフィック画像データMHDから選択されたデータを上記端末から及び/又は上記端末へ送信するのに好適な(するように配置され、構成された)通信インターフェースINTとを含む。
通信インターフェースINTは、USBポート及び/又はブルートゥース、Wi−Fi、4G、3Gなどの無線周波数を含む無線通信、光(Li−Fi又はFSO)及び/又はIR通信のための任意の他のインターフェース、及び/又はフォトダイオード(データを受信するための)及び/又は発射器(データを発射するための)例えば可視又は近赤外IR光源を含み得る。
さらに、照射端末LIGHT TERMは、以下のもののうちの1又は複数を含み得る。
− 電池又は任意の他の電源手段、
− GPS座標を判断するためのGPS、
− 1つのメモリ又は複数のメモリ、
− ディジタルカメラ、
− 他のセンサ、
− ホログラフィック画像データ(修正又は未修正)を処理するために好適な(するように構成、配置された)コントローラCONT。コントローラCONTは、工程(iii)を実行するのに好適であり(するように構成、配置され)、プロセッサを含む。
好ましい実施態様では、本発明の照射端末LIGHT TERMでは、光源LIGHT SOURCはさらに、コンピュータ生成ホログラフィック画像データHD及び/又は修正コンピュータ生成ホログラフィック画像データMHDを照射端末LIGHT TERMから送信するのに好適である(するように構成、配置される)。
この2重の役割(表示のための照射とデータ送信)は、HMD装置がそれ自身の光源を含まなくてもHMD装置上に画像表示を提供するという点で特に有利である。HMD装置は、画像データを含むデータを送信し得る端末の役割と、有利にはその後直ちに、好適な(構成、配置された)光ビームにより照射を提供することにより画像を表示させ得る端末の役割との2重の役割に依存する。
本発明はまた、本明細書に記載されるような照射端末のネットワーク配備に関する。したがって、本発明は、照射端末LIGHT TERMのそれぞれが照射ネットワークLIGHT NETWを介し照射サーバLIGHT SERVへ接続される本明細書に記載されるような複数の照射端末LIGHT TERMを含むシステムに関する。サーバとネットワークは当該技術分野で知られている。例えば、通信目的のために、ネットワークを介し複数の端末とサーバとを接続することが可能である。同様に、端末が照射端末である場合、照射端末LIGHT TERMのそれぞれは、ネットワークLIGHT NETWを介しサーバLIGHT SERVと通信する(へ接続される)ように配置(構成)され得る。本発明によると、照射端末もまた通信端末であり得る。さらに、複数の照射/通信端末TERMはネットワークNETWを介しサーバSERVと通信する(へ接続される)ように配置(構成)され得る。
別の態様では、本発明は頭部装着装置に関する。本発明は、
− 位相及び/又は振幅空間光変調器SLMと、
− 任意選択的に、照射次第画像を表示するのに好適な(するように構成、配置された)光源LIGHT SOURCと、
− 任意選択的に、視覚化パラメータデータVPD、コンピュータ生成画像データID、及び修正コンピュータ生成画像データMIDから選択されたデータを装置HMDから及び/又は装置HMDへ送信するのに好適な(するように配置され、構成された)通信インターフェースμINTとを含む頭部装着型コンピュータ生成画像表示装置HMDを提供する。
この装置HMDは、本発明の方法を実施するのに好適である(するように構成、配置される)。
好適な実施形態では、装置HMDは位相SLMを有する一対の処方箋眼鏡である。
好適には、コンピュータ生成画像はコンピュータ生成ホログラフィック画像である。SLMは好適には、位相SLM(例えば、「位相だけSLM」)であり、LCoS又はガラスすなわち透過型アクティブマトリックス液晶で作られ得る。SLMはまた、装着者眼の前に設けられる「シー・スルー」SLMであり得、この場合、ホログラフィックミラーは必要ではない。SLMが装着者眼の前以外の他のどこかに設けられる場合、例えばSLMが装置HMD側に又は装着者の蔓部近くに設けられる場合は、ホログラフィックミラーが必要かもしれない。
本発明によると、装置HMDは、以下のもののうちの1又は複数を含み得る。
− 少なくとも1つのレンズ。レンズは、反射防止膜と、任意選択的に、装着者側のレンズ上又は内に設けられるホログラフィックミラーとを備え、ホログラフィックミラーは好適には、装置HMDが内蔵光源LIGHT SOURCを備える場合に存在し、レンズは一対の処方箋レンズの一部であり得る、
− 電池、
− GPS、
− 少なくとも1つのメモリ、
− カメラ、
− マイクロホン、
− センサ(例えば、アイトラッカ、運動トラッカー又は触覚指令手段を含む触覚手段)、
− 画像データを処理(復号化、復調、符号化等々)するのに好適な(するように構成、配置された)マイクロコントローラ(μCONT)。コントローラCONTは、工程(iii)を実行するのに好適であり(するように構成、配置され)得、プロセッサを含み得る。
通信インターフェースμINTは、USBポート及び/又はブルートゥース、Wi−Fi、4G、3Gなどの無線周波数を含む無線通信、光(Li−Fi又はFSO)及び/又はIR通信のための任意の他のインターフェース、及び/又は、フォトダイオード(データを受信するための)及び/又は発射器(データを放射するための)例えば可視又は近赤外IR光源を含み得る。装置HMDは、視覚化パラメータデータVPD、コンピュータ生成画像データID、及び修正コンピュータ生成画像データMIDから選択されたデータを格納するのに好適な(するように構成、配置された)メモリを含み得る。装置HMDのプログラミングは、視覚化パラメータデータVPD、コンピュータ生成画像データID、及び修正コンピュータ生成画像データMIDから選択されたデータを入力する工程を含み得る。本発明の装置HMDの例が図12〜図14に示される。これらの例は、装置の蔓部(temple)TEMP上に搭載された光源LIGHT SOURCを含む装置である。但し、光源LIGHT SOURCの存在は本発明によると任意選択的である。
装置HMDは空間光変調器SLMとレンズLを含む。
SLMは装置HMDの蔓部TEMP上に配置され得る。SLMは反射(図12)の又は透過(図13)の機能を有し得る。光源LIGHT SOURCにより放射された光ビームは、レンズLにぶつかる前に、SLMによりそれぞれ反射(図12)又は透過(図13)される。本発明の装置HMDが反射SLMを含む場合、装置HMDはホログラフィックミラーをさらに含む。レンズLは、装着者の眼に面するレンズL側にホログラフィックミラーMIRRを備える。レンズLは反射防止膜をも備える。ホログラフィックミラーMIRR上の反射後、光ビームは装着者の眼へ導かれ、したがってホログラフィック画像の視覚化を引き起こす。ホログラフィックミラーMIRRは中心から外れている。
ホログラフィックミラーは、当該技術分野で知られており、光学的ホログラフィック素子の一部である。ホログラフィックミラーは、例えば一組の干渉縞の回折格子を含む。ホログラフィックミラーは、重クロム酸ゼラチンのフォトポリマ又は当該技術分野で知られた合成フォトポリマ、又は漂白銀ホログラフィック乳剤で作られ得る。有利には、ホログラフィックミラーMIRRはレンズの幾何学形状に影響を与えること無くレンズと組み合わせられ得る。結果として、レンズの光機能とホログラフィックミラーの光機能は、完全に無相関にされ、独立に最適化され得る。ホログラフィックミラーは系の光学収差の一部又はすべてを補正するように設計され得る(特にSLMは図12〜図13のように眼鏡蔓部TEMP上に配置されるので、中心から外れており、装着者により視覚化される画像に光学収差を生じさせる)。ホログラフィックミラーは視野収差を制限する(リデューストアパーチャ)ように角度範囲(angular fraction)毎に製造され得る。このような場合、ミラーは、所与の方向の入射光の所望波長の光だけを反射する。このようなミラーは、内蔵光源LIGHT SOURCを備える装置HMDに特に有利である。より大きなアパーチャを有する画像の構築のためには、画像全体をフラグメント化し、ビームによりミラーの走査を進めることが可能である。
SLMはまた、図14に示すように「シー・スルー」透過型SLMであり得る。遠隔光源LIGHT SOURCは、レンズLとSLMを通って装着者の眼に達するビームを放射する。
単色使用のためには、ホログラフィックミラーは、照射の波長で光学的に記録(規定)される。この波長以外の波長では、ミラーは透明であり、したがってレンズを通しての装着者による視覚を損なわない。三色使用(赤、緑、青色)では、ホログラフィックミラーは3つの波長で光学的に記録(規定)され、ホログラフィック画像は3つの当該波長で視覚化され得る。ホログラフィックミラーは他の波長では透明である。同様に、3つの選択された波長以外の波長では、ミラーは透明であり、したがってレンズを通しての装着者による視覚を損なわない(回折効果はゼロである)。好適には、同ミラーは、照射(入射光)の様々な角度に対して光学的に記録される。より一般的には、ホログラフィックミラーの設計と設定は当業者にとって周知の知識である。
本発明の装置HMDは、ミラーが照射と視覚化に使用される波長に固有であるので、装置HMDを装着する装着者により視覚化される画像の機密性を保護するという点で有利である。
SLMがレンズ/HMDの蔓部上に設けられる場合、SLMは、明らかに中心から外れており、したがって、SLMによるホログラフィック画像の投影は視覚的/光学的収差を生じる。視覚的/光学的収差は有利にはホログラフィック画像データの好適な修正により少なくとも部分的に補償され得る。したがって、SLMは、SLMにより放射(透過又は反射)される波面をそれに応じて修正し、視覚的経験及び快適性の改善につながる。
本発明はまた、頭部装着装置内のSLMの使用に関する。より具体的には、本発明は、処方箋眼鏡を含む眼鏡内のSLMの使用に関する。SLMは、位相及び/又は振幅空間光変調器SLM、好適には位相SLM又は「位相だけSLM」(例えば、LCoS SLM、ガラス透過型アクティブマトリクスLC SLM)であり得る。本発明は以下の非限定的な実施例により示される。
実施例1:地下鉄路線の地図の表示
近視装着者は本発明の装置HMDを備える。装着者には、処方箋データPD(左及び右眼の度数)及び装置HMDに対応する装置データHMDDを含む視覚化パラメータデータVPDが割り振られる。視覚化パラメータデータVPDは装置HMD上のメモリ上に格納される。
一実施形態では、本発明の方法は図1に示したように以下のように実施され得る。地下鉄駅は、光源LIGHT SOURC、メモリ、及びプロセッサを含むスタンドアロン端末TERMを備える。地下鉄路線の地図を表すコンピュータ生成ホログラフィック画像データHDが端末TERMのメモリ内に格納される。端末TERMは装置HMDを装着する装着者の存在を検知する。この検知結果は、視覚化パラメータデータVPDを装置HMDから端末TERMへ送出させる。端末のプロセッサは、装着者処方箋データPDと装置データHMDDとに適応化された修正ホログラフィック画像データMHDを提供するように計算工程を行う。次に、修正データMHDは、Li−Fi通信を使用することにより端末TERMから装置HMDへ送信される。
別の実施形態では、本発明の方法は図2に示したように以下のように実施され得る。地下鉄駅は、光源LIGHT SOURC、メモリ、及びプロセッサを含むスタンドアロン端末TERMを備える。地下鉄路線の地図を表すコンピュータ生成ホログラフィック画像データHDが端末TERMのメモリ内に格納される。端末TERMは装置HMDを装着する装着者の存在を検知する。この検知結果は、Li−Fiにより、ホログラフィック画像データHDを端末TERMから装置HMDへ送出させる。装置HMDは、装着者処方箋データPDと装置データHMDDとに適応化された修正ホログラフィック画像データMHDを提供するように計算工程を行うプロセッサを備える。
両実施形態において、端末TERMの光源LIGHT SOURCは、地下鉄線路図の修正ホログラフィック画像を表示させるのに好適な(させるように構成、配置された)光ビームを放射し、これにより装着者が地下鉄内の方位を発見できるようにする。
装着者は、表示が装着者処方箋データに応じたホログラフィック画像の補正を提供するので、個人化された特徴を有する拡張現実感を経験する。
実施例2:日/時の表示
乱視装着者は本発明の装置HMDを備える。同装着者は、処方箋データPD(左及び右眼の乱視度及び軸)と上記装置に対応する装置データHMDDとを含む視覚化パラメータデータVPDを有する。装置HMDは、時計、メモリ及び内蔵光源LIGHT SOURCを含む。時計は日時を提供するのに好適である。メモリは、装着者の乱視処方箋データPDと装置データHMDDとを考慮する修正ホログラフィック画像データを含む。ホログラフィック画像データは数字0、1、2、...、9と、スラッシュ、ダッシュなどの他のアルファベット文字とを含む。装着者からの触覚指令と光源LIGHT SOURCによる照射とに続いて、HMDは、次のフォーマットで、装着者視野の左上角に日時のホログラフィック画像を表示させる。
dd/mm/yy(日/月/年)
hh:mm(時:分)
HMDは、フォントのサイズの、表示の位置(例えば、視野の右下角)の、及び次の他の表示フォーマットのカスタム化を可能にする。
hh:mm(午前又は午後)(時:分)
代替的に、ホログラフィック画像データは、手と実際の時計の画像のものであり得る。日及び/又は時の表示は有利には、装着者に対しカスタム化される。この表示は、個人化されたコンピュータ生成ホログラフィック画像を使用することにより時間の処方箋準拠表示を提供する。この例は、本発明の方法を行うためのいかなる端末も必要が無い別の実施形態に一般化され得る。
実施例3:当日の予定表の表示
老眼装着者は本発明の装置HMDを備える。同装着者は、処方箋データPD(左及び右眼)と上記装置に対応する装置データHMDDとを含む視覚化パラメータデータVPDを有する。装置は光源LIGHT SOURCを含む。
同装着者はタブレットの形式の端末TERMを備える。タブレットは装置HMDへデータを送信するのに好適である(するように構成、配置される)。タブレットはWi−Fi通信を介しインターネットへ例えばクラウドへ接続され得る。
一実施形態では、視覚化パラメータデータVPDはHMD上のメモリ上に格納される。タブレットは、装着者の1日のタイムテーブルを表す一組のホログラフィック画像データHDを装置HMDへ送信し得る。タブレットは装着者の存在を検知し、この検知結果は、データHDを装置HMDへ送出させる。データHDはその後、装置のメモリ上に格納され(タブレットからアップロードされ)、したがって、視覚化データVPDを考慮することにより修正され得、また、視覚化データVPDを考慮するために修正されるとメモリ内に格納され得る。
代替的に、別の実施形態では、タブレットは、視覚化パラメータデータVPDを格納するメモリを含み得、タブレットは、未修正ホログラフィック画像データHDの代わりに修正データMHDを直接計算し装置HMDへ送信するようにプログラムされ得る。
両実施形態では、1日の残りに関し、装着者が「オフライン」である場合、すなわちHMDが端末又はサーバへ接続されていない場合でも、装着者は、要求があり次第ホログラフィック画像としてタイムテーブルデータへアクセスしそれを表示し得る(例えば、触覚指令にしたがって)。表示は、HMDの光源により照射され次第可能となる。表示は有利には、装着者の老眼に対しカスタム化される。タイムテーブルのデータの更新は、関係サーバ又はクラウドへ接続される好適な(されるように構成、配置された)端末への接続により可能である。
実施例4:遠隔光源を有する本発明の方法及びシステムの可能な用途
博物館を訪れること
可能な用途は、単一光源LIGHT SOURCが端末TERMの一部であり博物館を訪れる装着者のために放射し得る博物館におけるものである。さらに、光源LIGHT SOURCは、多重モードで放射し得、したがって、博物館を同時に訪れる複数のHMD装着者のために使用され得る。
車両内
光源LIGHT SOURCを備えた端末TERMは自動車、モーターバイク、飛行機、トラックなどの車両内に設定され得る。端末は、交通、天候などに関する情報などの情報の表示のためのものである。情報は、個別的やり方であるが極めて可視的やり方で表示される(暗闇により、又は雨又は霧などの困難な天候条件下で、常にはあまり可視的でない道路標識とは対照的に)。画像は車両の基準系において「設定」され、したがって運転者は、標識を見るために頭を回転する必要が無い。さらに、光源は、多重モードで放射し、車両内の非運転者のための他の情報を表示し得る。
建物への入場
ビルセキュリティ(入退場制御)は本発明にしたがって行われ得る。入口の端末は、入場コードを入力するための仮想キーボードの表示を可能にする。建物への入場は、訪問客が好適な(構成、配置された)HMDを着用することを必要とする。

Claims (11)

  1. 装着者により装着される頭部装着型コンピュータ生成ホログラフィック画像表示装置(HMD)による表示のためのコンピュータ生成ホログラフィック画像データ(HD)を処理するコンピュータ実施方法であって、
    (i)以下のデータ
    − 装着者処方箋データ(PD)、装着者眼感度データ(SD)、及び装着者眼科バイオメトリックデータ(BD)を含む装着者眼科データ(OD)及び
    − フレームデータ(FD)及びレンズデータ(LD)を含む頭部装着装置データ(HMDD)
    から選択される、視覚化パラメータデータ(VPD)を提供する工程と、
    (ii)コンピュータ生成ホログラフィック画像データ(HD)を提供する工程と、
    (iii)工程(i)の前記視覚化パラメータデータ(VPD)を考慮することにより工程(ii)の前記コンピュータ生成ホログラフィック画像データ(HD)から修正コンピュータ生成ホログラフィック画像データ(MHD)を計算する工程と、
    (iv)表示のために、工程(iii)の前記修正コンピュータ生成ホログラフィック画像データ(MHD)を前記表示装置(HMD)へ提供する工程と、
    (v)前記装置(HMD)の照射により工程(iii)の前記修正コンピュータ生成ホログラフィック画像データ(MHD)からホログラフィック画像を表示するように配置された光ビームを少なくとも1つの光源(LIGHT SOURC)により発射する工程と、を含み、
    ここで前記光源(LIGHT SOURC)は遠隔照射端末上に設けられ、
    前記光源(LIGHT SOURC)はさらに、データを送信するように構成され、
    工程(ii)は、前記コンピュータ生成ホログラフィック画像データ(HD)を前記光源(LIGHT SOURC)から前記装置(HMD)へ送信する工程を含むか、
    工程(iv)は、前記修正コンピュータ生成ホログラフィック画像データ(MHD)を前記光源(LIGHT SOURC)から前記装置(HMD)へ送信する工程を含む、
    コンピュータ実施方法。
  2. 前記視覚化パラメータデータ(VPD)は、乱視度、乱視軸、度数、プリズム及び加入度から選択された装着者処方箋データ(PD)である、請求項1に記載のコンピュータ実施方法。
  3. 工程(i)の前記視覚化パラメータデータ(VPD)の少なくとも1つは前記装置(HMD)上のメモリ内に格納される、請求項1または2に記載のコンピュータ実施方法。
  4. 工程(i)は、
    (i−a)少なくとも1つの通信端末(COM TERM)により前記装着者の存在を検出する工程と、
    (i−b)工程(i−a)における前記検知された存在に応じて、前記視覚化パラメータデータ(VPD)を前記装置(HMD)から前記通信端末(COM TERM)へ送信する工程とを含み、
    工程(iv)は、修正コンピュータ生成ホログラフィック画像データ(MHD)を前記通信端末(COM TERM)から前記装置(HMD)へ送信する工程を含む、請求項3に記載のコンピュータ実施方法。
  5. 工程(i)の前記視覚化パラメータデータ(VPD)の少なくとも1つは、前記視覚化パラメータデータ(VPD)の検索を可能にする識別子である視覚化パラメータ識別子(VP ID)に関連して、通信ネットワーク(COM NETW)を介し少なくとも1つの通信端末(COM TERM)へ接続された通信サーバ(COM SERV)上の装着者データベース(WEAR DB)内に格納される、請求項1または2に記載のコンピュータ実施方法。
  6. 工程(i)は、
    (i−a)前記少なくとも1つの通信端末(COM TERM)により前記装着者の存在を検出する工程と、
    (i−b)工程(i−a)における前記検知された存在に応じて、前記視覚化パラメータデータ(VPD)を前記通信サーバ(COM SERV)から前記通信端末(COM TERM)へ送信する工程とを含む、請求項5に記載のコンピュータ実施方法。
  7. 工程(i)は、(i−c)視覚化パラメータデータ(VPD)を前記通信端末(COM TERM)から前記装置(HMD)へ送信する別の工程を含む、請求項6に記載のコンピュータ実施方法。
  8. 工程(iv)は、修正コンピュータ生成ホログラフィック画像データ(MHD)を前記通信端末(COM TERM)から前記装置(HMD)へ送信する工程を含む、請求項5に記載のコンピュータ実施方法。
  9. 工程(iv)は、修正コンピュータ生成ホログラフィック画像データ(MHD)を前記通信サーバ(COM SERV)から前記通信端末(COM TERM)へ送信する前工程を含む、請求項8に記載のコンピュータ実施方法。
  10. 前記コンピュータ生成ホログラフィック画像データ(HD)又は前記修正コンピュータ生成ホログラフィック画像データ(MHD)は画像データベース(IM DB)内に格納され、
    請求項1乃至9のいずれか一項に記載のコンピュータ実施方法は、装着者識別子(WEAR ID)と前記装着者との関連性を前記データベース内に事前登録する予備工程を含み、
    工程(ii)の前記コンピュータ生成ホログラフィック画像データ(HD)及び/又は工程(iii)の前記修正コンピュータ生成ホログラフィック画像データ(MHD)は前記装着者識別子(WEAR ID)に基づき判断される、請求項1乃至9のいずれか一項に記載のコンピュータ実施方法。
  11. 工程(ii)の前記コンピュータ生成ホログラフィック画像データ(HD)及び/又は工程(iii)の前記修正コンピュータ生成ホログラフィック画像データ(MHD)はアクセス権にしたがって前記装着者識別子(WEAR ID)に基づき判断される、請求項10に記載のコンピュータ実施方法。
JP2016539532A 2013-09-04 2014-09-03 拡張現実感のための方法とシステム Active JP6675312B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306208.3 2013-09-04
EP13306208 2013-09-04
PCT/EP2014/068758 WO2015032828A1 (en) 2013-09-04 2014-09-03 Methods and systems for augmented reality

Publications (2)

Publication Number Publication Date
JP2016535872A JP2016535872A (ja) 2016-11-17
JP6675312B2 true JP6675312B2 (ja) 2020-04-01

Family

ID=49170647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016539532A Active JP6675312B2 (ja) 2013-09-04 2014-09-03 拡張現実感のための方法とシステム

Country Status (6)

Country Link
US (1) US10520730B2 (ja)
EP (1) EP3042249B1 (ja)
JP (1) JP6675312B2 (ja)
KR (1) KR102309257B1 (ja)
CN (1) CN105518539A (ja)
WO (1) WO2015032828A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048647B2 (en) 2014-03-27 2018-08-14 Microsoft Technology Licensing, Llc Optical waveguide including spatially-varying volume hologram
US10062224B2 (en) * 2014-05-20 2018-08-28 Tyco Safety Products Canada Ltd. Dual access level security system and method
NZ773812A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US10534174B2 (en) * 2015-04-03 2020-01-14 Essilor International Methods and systems for augmented reality
US9939644B2 (en) * 2015-06-25 2018-04-10 Intel Corporation Technologies for controlling vision correction of a wearable computing device
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US9798894B2 (en) * 2015-07-02 2017-10-24 Xerox Corporation Secure computer display using inverse computational light field displays
US10852541B2 (en) 2015-07-03 2020-12-01 Essilor International Methods and systems for augmented reality
EP3317716B1 (en) 2015-07-03 2020-03-11 Essilor International Methods and systems for augmented reality
CA3015213C (en) * 2015-09-16 2019-03-19 Robert THERRIEN Relaxation and meditation eyewear
DE102015219859B4 (de) 2015-10-13 2017-07-27 Carl Zeiss Vision International Gmbh Vorrichtung und Verfahren für die AR-Darstellung
US10338410B1 (en) * 2015-12-28 2019-07-02 Facebook Technologies, Llc Eyeglass prescription correction for optics blocks in head-mounted displays
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US10795316B2 (en) 2016-02-22 2020-10-06 Real View Imaging Ltd. Wide field of view hybrid holographic display
EP3329316B1 (en) * 2016-03-11 2023-09-20 Facebook Technologies, LLC Corneal sphere tracking for generating an eye model
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
JP6409015B2 (ja) * 2016-03-29 2018-10-17 矢崎総業株式会社 車両用投影表示装置
EP4273615A3 (en) 2016-04-08 2024-01-17 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US20170323482A1 (en) * 2016-05-05 2017-11-09 Universal City Studios Llc Systems and methods for generating stereoscopic, augmented, and virtual reality images
US10108144B2 (en) 2016-09-16 2018-10-23 Microsoft Technology Licensing, Llc Holographic wide field of view display
EP3296792A1 (en) * 2016-09-19 2018-03-21 Essilor International Method for managing the display of an image to a user of an optical system
EP3296793A1 (en) * 2016-09-19 2018-03-21 Essilor International Method of determining a correcting optical function to a virtual image
US10254542B2 (en) 2016-11-01 2019-04-09 Microsoft Technology Licensing, Llc Holographic projector for a waveguide display
US20180144554A1 (en) 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
US11022939B2 (en) 2017-01-03 2021-06-01 Microsoft Technology Licensing, Llc Reduced bandwidth holographic near-eye display
EP4328865A3 (en) 2017-02-23 2024-06-05 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
JP7058471B2 (ja) * 2017-04-17 2022-04-22 キヤノン株式会社 画像処理装置、画像処理方法
CN114019683A (zh) 2017-05-17 2022-02-08 苹果公司 具有视力矫正的头戴式显示设备
US10712567B2 (en) 2017-06-15 2020-07-14 Microsoft Technology Licensing, Llc Holographic display system
US20190012841A1 (en) 2017-07-09 2019-01-10 Eyedaptic, Inc. Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids
CN107589562A (zh) * 2017-09-20 2018-01-16 厦门云镜视界设计有限公司 一种眼镜定制方法
US11231581B2 (en) * 2017-09-27 2022-01-25 Magic Leap, Inc. Near eye 3D display with separate phase and amplitude modulators
US10984508B2 (en) * 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
EP3502763B1 (en) 2017-12-22 2023-02-01 Essilor International Head mounted device comprising a fourier hologram
WO2019126951A1 (zh) * 2017-12-25 2019-07-04 歌尔科技有限公司 激光束扫描显示设备及增强现实眼镜
US11253149B2 (en) 2018-02-26 2022-02-22 Veyezer, Llc Holographic real space refractive sequence
US11614623B2 (en) 2018-02-26 2023-03-28 Veyezer, Llc Holographic real space refractive system
US10441161B2 (en) * 2018-02-26 2019-10-15 Veyezer LLC Holographic real space refractive sequence
US11563885B2 (en) 2018-03-06 2023-01-24 Eyedaptic, Inc. Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids
EP3567419A1 (en) * 2018-05-11 2019-11-13 Essilor International (Compagnie Generale D'optique) A system for generating a virtual image for a wearer
US11187906B2 (en) 2018-05-29 2021-11-30 Eyedaptic, Inc. Hybrid see through augmented reality systems and methods for low vision users
KR20210058964A (ko) 2018-09-24 2021-05-24 아이답틱 인코포레이티드 전자 시각 보조기들에서의 향상된 자율적 핸즈-프리 제어
DE102018126329A1 (de) * 2018-10-23 2020-04-23 Valeo Schalter Und Sensoren Gmbh Verfahren zum Ausrichten eines virtuellen Bildelements und Head-up-Display zum Abbilden eines virtuellen Bildelements
US10930183B2 (en) * 2018-11-22 2021-02-23 Electronics And Telecommunications Research Institute Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus
CN109769136B (zh) * 2018-12-07 2021-02-19 北京交通大学 基于瞬时访问速率值的在线视频缓存管理方法和系统
US20220240772A1 (en) * 2019-05-09 2022-08-04 Evolution Optiks Limited Corrective light field display profile management, communication and integration system and method
US20220343606A1 (en) * 2021-04-21 2022-10-27 NewSight Reality, Inc. Optical module with active microlens array capable of synchronizing with see-through display to provide multiple modes of functionality
US11790345B2 (en) * 2022-02-03 2023-10-17 Bank Of America Corporation Card to card transaction initiation using light fidelity (“LIFI”) enabled smart glasses

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421147B2 (en) * 1998-07-07 2002-07-16 Denso Corporation Hologram screen and a method of producing the same
JP3385238B2 (ja) * 1999-01-12 2003-03-10 シャープ株式会社 光送受信モジュール
JP3827082B2 (ja) * 2002-10-24 2006-09-27 株式会社中川研究所 放送システム及び電球、照明装置
US7733298B2 (en) * 2004-10-19 2010-06-08 Hewlett-Packard Development Company, L.P. Display device
JP2006208687A (ja) 2005-01-27 2006-08-10 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイの映像調節システム
DE102006003741B4 (de) * 2006-01-18 2009-08-27 Seereal Technologies S.A. Verfahren zum Kodieren eines computergenerierten Hologramms
JP2007274566A (ja) 2006-03-31 2007-10-18 Nakagawa Kenkyusho:Kk 照明光通信装置
FR2900475B1 (fr) 2006-04-26 2008-10-31 Essilor Int Afficheur comportant une paire de lunettes de type binoculaire et avec un dispositif de reglage de l'image
US7595933B2 (en) * 2006-10-13 2009-09-29 Apple Inc. Head mounted display system
JP4963467B2 (ja) 2007-12-14 2012-06-27 独立行政法人情報通信研究機構 ホログラムパターン発生装置、電子ホログラフィの非点収差補正方法、および、ホログラムパターン発生プログラム
US8019233B2 (en) * 2008-05-30 2011-09-13 Avago Technologies Fiber Ip (Singapore) Pte. Ltd. Method and apparatus for using a hologram to control the optical field distribution of light generated by a light source and launched into an end of an optical waveguide
JP4858512B2 (ja) * 2008-08-21 2012-01-18 ソニー株式会社 頭部装着型ディスプレイ
US8436789B2 (en) * 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
JP5874176B2 (ja) * 2011-03-06 2016-03-02 ソニー株式会社 表示装置、並びに中継装置
JP5451670B2 (ja) 2011-03-15 2014-03-26 株式会社アウトスタンディングテクノロジー 可視光通信装置
WO2012132289A1 (ja) * 2011-03-25 2012-10-04 パナソニック株式会社 表示装置
US9389421B2 (en) * 2011-10-20 2016-07-12 Panasonic Intellectual Property Management Co., Ltd. Display device and display system
US9143402B2 (en) * 2012-02-24 2015-09-22 Qualcomm Incorporated Sensor based configuration and control of network devices
JP5994715B2 (ja) * 2012-04-10 2016-09-21 パナソニックIpマネジメント株式会社 計算機ホログラム型表示装置
CN102857299A (zh) * 2012-08-23 2013-01-02 中国科学院苏州纳米技术与纳米仿生研究所 光通信系统及方法
US20150355481A1 (en) * 2012-12-31 2015-12-10 Esight Corp. Apparatus and method for fitting head mounted vision augmentation systems
WO2014152430A1 (en) * 2013-03-15 2014-09-25 Huntington Ingalls, Inc. Method and system for disambiguation of augmented reality tracking databases
CN103297888A (zh) * 2013-04-24 2013-09-11 青岛海信电器股份有限公司 无线耳机装置、移动终端装置以及可调制光源器件
US10698364B2 (en) * 2013-09-04 2020-06-30 Essilor International Methods and systems for augmented reality

Also Published As

Publication number Publication date
KR20160048800A (ko) 2016-05-04
WO2015032828A1 (en) 2015-03-12
CN105518539A (zh) 2016-04-20
EP3042249B1 (en) 2020-03-18
US20160216515A1 (en) 2016-07-28
JP2016535872A (ja) 2016-11-17
KR102309257B1 (ko) 2021-10-06
EP3042249A1 (en) 2016-07-13
US10520730B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
JP6675312B2 (ja) 拡張現実感のための方法とシステム
JP6632979B2 (ja) 拡張現実感のための方法とシステム
US10884246B2 (en) Releasably attachable augmented reality system for eyewear
US20180084232A1 (en) Optical See-Through Head Worn Display
US10534174B2 (en) Methods and systems for augmented reality
CA2629903C (en) Ophthalmic lens simulation system and method
US10429648B2 (en) Augmented reality head worn device
JP6145789B2 (ja) 表示装置および表示システム
CN107438796B (zh) 头戴式显示装置、近眼显示装置和方法
WO2017133564A1 (zh) 一种头戴式增强现实智能显示装置
JP5118266B2 (ja) 表示装置
CN114270245A (zh) 多投影仪视场拼接波导显示器
US10573080B2 (en) Apparatus and method for augmented reality presentation
US20190347833A1 (en) Head-mounted electronic device and method of utilizing the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170901

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180625

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180925

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200310

R150 Certificate of patent or registration of utility model

Ref document number: 6675312

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250