JP6704018B2 - ニアアイ装置 - Google Patents

Description

本開示は、ゴーグルやメガネなどのニアアイ装置の分野に関する。本明細書に開示される実施形態は、概して現実世界のシーンを拡張するための、すなわち拡張現実用のニアアイ装置に関する。より具体的には、本明細書に開示される実施形態は、概して拡張現実用の位相限定ホログラフィック投影技術などの拡張現実用ホログラフィック投影に関する。

拡張現実用のニアアイ装置などが開発されている。

既知のニアアイ装置を図１に示す。図１は、光源１０１と、ビームスプリッタ１０５を介して空間光変調器１０７を照明するように配置されたコリメートレンズ１０３とを示す。空間光変調器１０７は、画像を形成するように配置された振幅変調素子のアレイを備える。より具体的には、空間光変調器１０７に入射する光の振幅が空間的に変調されて、画像が形成される。この画像は、ビームスプリッタ１０５を介して見ることができる。より具体的には、空間光変調器１０７上の画像は、ビームコンバイナ１０９の第１の光学インプットを形成する。ビームコンバイナ１０９は、現実世界のシーンの視野を提供する第２の光学インプット１２３も備える。

ビームコンバイナ１０９は、空間光変調器１０７からの画像を発散させる球面１１１を有する。さらに、ビームコンバイナ１０９は、発散画像を少なくとも部分的にビームコンバイナの光学アウトプット１２５に反射するように配置されている。

第２の光学インプット１２３で受光された光も、ビームコンバイナ１０９の光学アウトプット１２５に向けられる。この点に関して、ビームコンバイナが現実世界の画像を空間光変調器１０７からの発散画像と合成すると理解されてもよい。従って、現実世界の画像が空間光変調器からの画像によって拡張されると理解することができる。とりわけ、図１を参照に説明される装置は、空間光変調器上の画像をビームコンバイナの背後の空間におけるある固定点から来たかのように見せる球面１１１を提供する。従って、空間光変調器１０７からの画像は、球面１１１の曲率半径によって規定される空間におけるある固定点から来たかのように見える。

本開示は、改良されたニアアイ装置を提供することを目的とする。

発明の態様は、添付の独立請求項に規定される。

空間光変調器からの空間的に変調された光を受光し現実世界の視野を提供するように配置されたビームコンバイナを用いたニアアイ装置および対応する方法が提供される。よって、現実世界のシーンは、画像の形式の付加情報により補足すなわち拡張されてもよい。既知のニアアイ装置は、アイレリーフを追加する物理的な光学要素を用いてシーンの中に実像を投影する。発明者らは、有利なことに、計算的な位相限定ホログラフィック技術を用いて画像を提供してもよいことを認識した。この技術はよりエネルギー効率がよく、この技術により追加の光学要素を画像形成データに効果的にエンコードすなわち埋め込むことが可能になる。有利なことに、さらなる複雑な部品を必要としない。さらに有利なことに、拡張画像の距離をリアルタイムで制御してもよい。

添付の図面に沿って、実施形態を説明する。
図１は、既知のニアアイ装置の概略図である。 図２は、ホログラフィック再構成を再生フィールド位置に生成するように配置されたＬＣＯＳなどの反射型ＳＬＭを示す。 図３は、位相限定ホログラムをコンピュータ生成するためのアルゴリズムの一例を示す。 図４は、図３のアルゴリズムの一例用のランダム位相シードの一例を示す。 図５は、本開示に係る一実施形態を示す。 図６は、実施形態に係るフレネルホログラムを計算するためのアルゴリズムを示す。 図７は、ＬＣＯＳ ＳＬＭの概略図である。 図面において、類似の符号は類似の部分を示す。

本開示は、空間光変調器上の画像といわゆるアイレリーフを追加するための形状の表面を有するビームコンバイナとを用いて、既知の装置には不足しているいくつかの点に対処することにより、改良されたニアアイ装置を提供することを目的とする。特に、発明者らは凡庸性のある計算的なホログラフィック技術を用いることで改良されたニアアイ装置を提供してもよいことを認識した。

物体から散乱した光は、振幅情報および位相情報の両方を含む。この振幅情報および位相情報を例えば周知の干渉技術によって感光板上にとらえて、干渉縞を有するホログラフィック記録すなわち「ホログラム」を形成することができる。「ホログラム」は適した光で照明されることで再構成されて、元の物体を表すホログラフィック再構成、すなわち再生画像を形成してもよい。

許容品質のホログラフィック再構成が元の物体に関する位相情報のみを含む「ホログラム」から形成可能であることが見いだされている。このようなホログラフィック記録は、位相限定ホログラムと称されてもよい。計算機ホログラフィでは、例えばフーリエ技術を用いて干渉プロセスを数値的にシミュレートして、計算機位相限定ホログラムを生成してもよい。計算機位相限定ホログラムを用いて、物体を表すホログラフィック再構成を生成してもよい。

従って、「ホログラム」という用語は、物体の情報を含み、物体を表す再構成を形成するために用いることができる記録に関する。ホログラムは、周波数領域すなわちフーリエ領域における物体の情報を含んでもよい。

ホログラフィック技術を二次元画像投影システムにおいて用いることが提案されている。位相限定ホログラムを用いて画像を投影する利点は、計算方法によって、例えば投影画像のアスペクト比、解像度、コントラスト、ダイナミックレンジなどの多くの画像の属性を制御できることにある。位相限定ホログラムのさらなる利点は、振幅変調によって失われる光エネルギーがないことである。

計算機位相限定ホログラムは、「ピクセル化」されてもよい。つまり、位相限定ホログラムは個別の位相素子のアレイ上に表されてもよい。それぞれの個別の素子は「ピクセル」と称されてもよい。各ピクセルは位相変調素子などの光変調素子として機能してもよい。従って、計算機位相限定ホログラムは、液晶空間光変調器（ＳＬＭ）などの位相変調素子のアレイ上に表されてもよい。ＳＬＭは反射型でもよく、つまり変調された光がＳＬＭから反射して出射されてもよい。

各位相変調素子すなわちピクセルは、状態が変化することで、当該位相変調素子に入射する光に制御可能な位相遅延を与えてもよい。従って、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ（ＬＣＯＳ）ＳＬＭなどの位相変調素子のアレイは、計算的に決定された位相遅延分布を表してもよい（すなわち「表示」してもよい）。位相変調素子のアレイに入射する光がコヒーレントである場合、この光は、ホログラフィック情報すなわちホログラムで変調される。ホログラフィック情報は、周波数領域すなわちフーリエ領域の情報でもよい。

あるいは、位相遅延分布はキノフォームに記録されてもよい。「キノフォーム」という用語は、概して位相限定ホログラフィック記録すなわちホログラムに言及するために使用されてよい。

位相遅延は量子化されてもよい。つまり、各ピクセルは離散的な数の位相レベルの１つに設定されてもよい。

位相遅延分布は、（例えばＬＣＯＳ ＳＬＭを照明することにより）入射光波に与えられ、再構成されてもよい。空間における再構成の位置は、光学フーリエ変換を行うレンズを用いて制御されて、空間領域にホログラフィック再構成すなわち「画像」が形成されてもよい。あるいは、再構成がファーフィールドで起こる場合には、レンズは必要ではない場合もある。

計算機ホログラムは、Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎなどのアルゴリズムを用いるなど、様々な方法で計算可能である。Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムを用いて、空間領域（例えば二次元画像）における振幅情報から周波数領域における位相情報を導出してもよい。つまり、物体に関する位相情報は、空間領域における強度限定情報すなわち振幅限定情報から「回復」されてもよい。よって、周波数領域における物体の位相限定ホログラフィック表示が計算されてもよい。

ホログラフィック再構成は、例えばフーリエ変換レンズを用いてホログラムを照明し、また必要であれば光学フーリエ変換を行うことにより形成されてもよく、それにより、スクリーンなどの再生フィールドに画像（ホログラフィック再構成）が形成される。フレネルホログラムの場合、ホログラフィック再構成は所定の位置に形成される。

図２は、本開示に係る、ＬＣＯＳ−ＳＬＭなどの反射型ＳＬＭを用いて、再生フィールド位置にフーリエホログラフィック再構成を生成する一例を示す。

例えばレーザやレーザダイオードなどの光源（２１０）が、コリメートレンズ（２１１）を介してＳＬＭ（２４０）を照明するように配置される。コリメートレンズは、光を概ね平面の波面でＳＬＭに入射させる。波面の方向は、わずかに法線から外れている（例えば、透明層の平面に対して真に直交する方向から２°または３°離れている）。この配置により、光源からの光はＳＬＭ裏面のミラー面で反射し、位相変調層と相互作用して、出射波面（２１２）を形成する。出射波面（２１２）は、フーリエ変換レンズ（２２０）などの、スクリーン（２２５）にその焦点を有する光学系に照射される。

フーリエ変換レンズ（２２０）は、ＳＬＭから出射する位相変調された光のビームを受光し、周波数−空間変換を行うことで、空間領域におけるスクリーン（２２５）にホログラフィック再構成を生成する。

このプロセスにおいて、光源からの光（画像投影システムの場合には可視光）は、ＳＬＭ（２４０）および位相変調層（すなわち位相変調素子のアレイ）全域に分散される。位相変調層から出射した光は、再生フィールド全域に分散されてもよい。ホログラムの各ピクセルは、再生画像全体に寄与する。つまり、再生画像上の特定の点と特定の位相変調素子との間に１対１の相関関係はない。

Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムは、平面Ａ、Ｂそれぞれにおける光ビームの断面強度Ｉ_Ａ（ｘ，ｙ）、Ｉ_Ｂ（ｘ，ｙ）が既知であり、かつＩ_Ａ（ｘ，ｙ）、Ｉ_Ｂ（ｘ，ｙ）が１つのフーリエ変換により関係づけられるときの位相回復問題を検討する。所与の断面強度により、平面Ａ、Ｂそれぞれにおける位相分布Φ_Ａ（ｘ，ｙ）、Φ_Ｂ（ｘ，ｙ）に対する近似が求められる。Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムは、反復プロセスに従ってこの問題に対する解を見出す。

Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムは、空間領域とフーリエ（スペクトル）領域との間でＩ_Ａ（ｘ，ｙ）、Ｉ_Ｂ（ｘ，ｙ）を表すデータセット（振幅および位相）を繰り返し転送しながら、空間制限およびスペクトル制限を繰り返し適用する。空間制限およびスペクトル制限は、それぞれＩ_Ａ（ｘ，ｙ）およびＩ_Ｂ（ｘ，ｙ）である。空間領域またはスペクトル領域いずれかにおける制限は、データセットの振幅に課される。対応する位相情報は、一連の反復を通して回復される。

Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎに基づく修正アルゴリズムが開発されている。例えば、同時係属の国際公開第２００７／１３１６５０号を参照されたい。これは、参照により本明細書に組み込まれる。

図３は、既知の振幅情報Ｔ［ｘ，ｙ］３６２を生じさせるデータセットのフーリエ変換の位相情報Ψ［ｕ，ｖ］を回復する修正アルゴリズムを示す。振幅情報Ｔ［ｘ，ｙ］３６２は、対象画像（例えば写真）を表す。位相情報Ψ［ｕ，ｖ］を用いて、像平面に対象画像のホログラフィック表示を生成する。

マグニチュードと位相とは本来フーリエ変換において合成されるので、変換されたマグニチュード（および位相）は、計算されたデータセットの精度に関する有用な情報を含む。そのため、当該アルゴリズムは、振幅および位相情報両方のフィードバックを提供してもよい。

図３に示すアルゴリズムは、（振幅情報３０１および位相情報３０３を有する）複合波入力と、（同様に振幅情報３１１および位相情報３１３を有する）複合波出力とを有するとみなすことができる。振幅情報と位相情報とは本来組み合わされてデータセットを形成するが、便宜上それらを個別に考察する。なお、振幅情報および位相情報はともに、それら自身ファーフィールド画像用の空間座標（ｘ，ｙ）およびホログラム用の空間座標（ｕ，ｖ）の関数であり、ともに振幅分布および位相分布とみなすことができる。

図３を参照に、処理ブロック３５０がマグニチュード情報３０１および位相情報３０３を有する第１のデータセットからフーリエ変換を生成する。その結果、マグニチュード情報および位相情報Ψ_ｎ［ｕ，ｖ］３０５を有する第２のデータセットが生じる。処理ブロック３５０からの振幅情報は光源を表す分布に設定されるが、位相情報Ψ_ｎ［ｕ，ｖ］３０５は保持される。位相情報３０５は、処理ブロック３５４により量子化され、位相情報Ψ［ｕ，ｖ］３０９として出力される。位相情報３０９は、処理ブロック３５６に送られ、処理ブロック３５２により新たなマグニチュードと組み合わされる。第３のデータセット３０７，３０９は、逆フーリエ変換を行う処理ブロック３５６に与えられる。これにより、振幅情報３１１および位相情報３１３を有する空間領域における第４のデータセットＲ_ｎ［ｘ，ｙ］が生成される。

第４のデータセットから始めて、その位相情報３１３は、第５のデータセットの位相情報を形成し、次の反復３０３´における第１のデータセットとして適用される。その振幅情報Ｒ_ｎ［ｘ，ｙ］３１１は、対象画像からの振幅情報Ｔ［ｘ，ｙ］３６２から減算されることにより修正され、振幅情報３１５のセットが生成される。スケーリングされた振幅情報３１５（αによりスケーリング）は、対象振幅情報Ｔ［ｘ，ｙ］３６２から減算されて、次の反復において第１のデータセットとして適用される第５のデータセットの入力振幅情報η［ｘ，ｙ］３０１が生成される。これは、以下の式で数学的に表される。

ここで、
Ｆ´は逆フーリエ変換であり、
Ｆは順フーリエ変換であり、
Ｒは再生フィールドであり、
Ｔは対象画像であり、
∠は角度情報であり、
Ψは角度情報の量子化バージョンであり、
εは新たな目標マグニチュードであり、ε≧０であり、
αは利得要素〜１である。

利得要素αは、入力対象画像データのサイズおよび速度に基づいて予め定められてもよい。

前回の反復からの位相情報がない場合、アルゴリズムの初回の反復では、ランダム位相生成器を用いて、出発点としてのランダムな位相情報が供給される。図４は、ランダム位相シードの一例を示す。

一変形例では、処理ブロック３５０からの結果として得られた振幅情報は破棄されない。対象振幅情報３６２が振幅情報から減算されて、新たな振幅情報が生成される。複数の振幅情報が振幅情報３６２から減算されて、処理ブロック３５６への入力振幅情報が生成される。さらなる代替では、位相は完全にフィードバックされず、最後の２回の反復における変化に比例した部分のみがフィードバックされる。

よって、関心画像を表すフーリエ領域データが形成されてもよい。

実施形態は例としてのみの位相ホログラムに関し、本開示が振幅ホログラムにも同様に適用可能であると理解されてもよい。

発明者らは、図１に示すニアアイ装置の限界を認識した。
−図１の装置は、光が振幅変調され大半の光が減衰するので、エネルギー効率が悪い。
−現実世界の視野を拡張する画像が、空間における固定された（例えば可変ではない）位置で視認される。
−光学要素における光学収差などを補償するために追加の光学系が必要とされ得る。
−球面は、コンバイナの一部として作製するのに高価である。

発明者らは、凡庸ホログラフィック技術を用いて現実世界のシーンを拡張する画像を形成することにより、これらの問題に対処した。この画像は、「拡張画像」と称されてもよい。

図５は、本開示の一実施形態を示す。

図５は、光源５０１と、ビームスプリッタ５０５を介して空間光変調器５０７を照明するように配置されたコリメートレンズ５０３とを示す。空間光変調器５０７は、画像のホログラフィック領域表示を提供する（すなわち「表示する」）ように配置された位相変調素子（すなわち「ピクセル」）のアレイを備える。より具体的には、空間光変調器５０７に入射する光の位相が空間的に変調されて、空間的に変調された光を形成する。この空間的に変調された光は、ビームコンバイナ５０９の第１の光学インプット５２１を形成する。

ビームコンバイナ５０９は、現実世界のシーンの視野を提供する第２の光学インプット５２３も備える。さらに、ビームコンバイナ５０９は、空間的に変調された光をビームコンバイナの光学アウトプット５２５に向けるように配置されている。第２の光学インプット５２３で受光された光も、ビームコンバイナ５０９の光学アウトプット５２５に向けられる。この点に関して、ビームコンバイナが現実世界の画像を空間的に変調された光と合成すると理解されてもよい。従って、現実世界の画像が空間光変調器からの光によって拡張されると理解することができる。

ビームスプリッタ５０５は任意であり、同様に空間光変調器５０７は背後から照明されても、ビームスプリッタを必要としない他の幾何学配置で照明されてもよいことは容易に理解されてもよい。同様に、コリメートレンズ５０３は、例えば光源から発せられる光が既に平行光である場合には不要でもよい。さらに、当業者であれば、光をコリメートする他の技術も同様に用いられてもよいことを理解するだろう。

図１を参照に説明した装置とは対照的に、本開示に係る空間光変調器５０７は、入射光の振幅ではなく位相を空間的に変調する。よって、光が減衰されないので、当該装置はよりエネルギー効率がよい。

従って、入射光に位相遅延分布を与えるように配置された位相変調素子のアレイを備える空間光変調器と、空間光変調器からの空間的に変調された光を受光するように配置された第１の光学インプットおよび現実世界の視野を有する第２の光学インプットを有するビームコンバイナとを備えるニアアイ装置が提供される。

図１の装置とはさらに対照的に、空間光変調器５０７は、実像ではなく、画像に対応するホログラムを表示する。つまり、空間的に変調された光は、画像を表す位相限定ホログラフィック領域データを備える。よって、ホログラムの全ての部分が再構成の全ての部分に貢献するので、当該装置はエネルギー効率がよい。

実施形態において、ホログラムはフーリエホログラムである。つまり、ホログラフィック領域データはフーリエホログラムである。フーリエホログラムは、再構成が無限遠またはフーリエ変換を行うレンズの焦点で形成されるホログラムである。有利なことに、フーリエホログラムを用いることにより、網膜にホログラフィック再構成を形成するために視認者の眼がフーリエ変換を行ってもよい。よって、視認者とビームコンバイナとの距離は重要ではない。つまり、視認者はビームコンバイナに近づいたり離れたりしてもホログラフィック再構成を見ることができる。従って、当該装置は視認者の動きに対してより寛容であり、より高い設計自由度を提供する。つまり、実施形態において、空間的に変調された光は、ユーザが画像のホログラフィック再構成を見るようにユーザの眼が空間的に変調された光のフーリエ変換を行うように配置される。

本明細書に記載される実施形態は、例としてのみのフーリエホログラフィに関する。本開示は、ホログラムの計算時にフレネルレンズ関数が適用されるフレネルホログラフィにも同様に適用可能である。図６は、投影用の対象画像を表すフーリエ領域データを計算するためのフレネルホログラフィックアルゴリズムの一例を示す。

位相回復アルゴリズムの開始条件６０１は、それぞれのピクセルが単一性振幅ではあるが、ランダム位相シード関数により与えられるランダム位相を有することである。フレネル位相関数６０３が位相データに加算される。結果として得られる振幅および位相関数がフーリエ変換される６０５。対象画像（振幅のみ）６０９が振幅成分から減算され、制御可能利得６１１が適用される。対象画像６０９は、振幅成分に加算され、逆フーリエ変換６１５が行われる。フレネルレンズ関数６１７が減算され、位相が量子化される６１９。結果として得られる位相情報がホログラム６２３を形成する。「容認できる」品質のホログラムが得られるまで、フレネルレンズ関数６２１を再度加算し、フーリエ変換６１５およびそれに続くステップを繰り返すことにより、ループがさらに反復されてもよい。

実施形態において、ホログラムはフレネルホログラムである。つまり、ホログラフィック領域データは、フレネルホログラムである。フレネルホログラフィにおいて、ホログラフィック再構成がフーリエ経路に沿ったある所定の点に形成される。つまり、実施形態において、空間的に変調された光は、近視野における再生平面に画像のホログラフィック再構成を形成するように配置される。有利なことに、フレネルホログラフィでは、単一のホログラムから空間における複数の平面に再構成を作成することが可能である。従って、複数の画像が同時に現実世界のシーンを拡張してもよい。

実施形態において、ホログラムは、レンズデータをさらに備えてもよい。より具体的には、レンズ効果を有するホログラム領域データが、画像を表すホログラム領域データに合成、例えば加算される。この付加的なホログラムデータは、実レンズを模倣し、従って光学パワーを追加する。従って、レンズデータは空間においてどこで画像がユーザに対して現れるかを制御する。当業者であれば、必要とされるレンズ効果を有するホログラム領域データの計算方法およびそのようなデータを他のホログラム領域データに加算する方法は既知である。

よって、一実施形態において、空間的に変調された光はレンズ効果を有する位相限定ホログラフィック領域データをさらに備える。

実施形態において、ホログラムは位相限定ホログラムであり、レンズ効果は位相限定レンズにより与えられる。位相限定ホログラムは、リアルタイムで計算されてもよいし、データベースなどのレポジトリから取得されてもよい。ホログラムは、Ｇｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎ型アルゴリズムまたは適切なホログラム領域データを生成するための他のいかなるアルゴリズムを用いて計算されてもよい。当業者であれば、ホログラムは同様に振幅ホログラムでも、振幅・位相ホログラムでもよいことを理解するだろうし、従って、レンズ効果も、振幅ホログラムまたは振幅・位相ホログラムによって与えられてもよい。

実施形態において、画像を表すホログラム領域データは、システムにアイレリーフを追加するためにビームコンバイナの球面などの追加の要素が必要とされないように、レンズ効果を有するホログラム領域データと合成される。従って、システムを作製するためのコストが低減される。特に、必要な公差を有する球面を作製するのは高価である。

一実施形態において、２つのホログラフィックデータセットが単純ベクトル加算によって合成される。この点に関して、空間光変調器に表されるホログラムは、拡張用の実像を表す第１のデータとレンズ機能を有する第２のデータとを備える。とりわけ、レンズ機能は、異なるレンズ機能を単に画像を表すホログラフィックデータに追加することによって容易に変更されてもよい。従って、このアプローチにより、例えばシステムが使用中にアライメントされ直したり、ユーザが異なる距離でデータを表示しようとしたりした場合、画像が視認される位置をリアルタイムで調整することも可能になる。

一実施形態において、レンズ効果は、負のレンズ効果である。よって、現実世界のシーンを拡張する画像は、効果的にユーザから離される。つまり、画像が実際よりも遠くから生じたように見える。より具体的には、画像は、空間光変調器よりさらに遠くの空間における点から来たかのように見える。この点に関して、レンズ効果がアイレリーフを追加すると言ってもよい。従って、有利なことに、負のレンズ効果を用いることにより、ユーザには画像が現実世界のシーンの中にあるかのように見えてもよい。言い換えると、一実施形態において、空間的に変調された光は発散している。

さらなる実施形態において、さらなる光学パワーがホログラムに与えられて、他の光学要素を補償してもよい。一実施形態において、空間的に変調された光は、ニアアイ装置の他の光学要素における収差を補償するように配置された位相限定ホログラフィック領域データをさらに備える。再び、収差を補償するように配置された位相限定ホログラフィック領域データは計算的に制御されることで容易に変更され得ると理解されてもよい。

上記から、実施形態において、画像（ホログラフィック再構成）が現実世界のシーンを拡張すると理解されてもよい。実施形態において、この拡張は光学的に達成される。一実施形態において、第１の光学インプットおよび第２の光学インプットは共直線である。一実施形態において、ビームコンバイナは、第１の光学インプットで受光された光を第２の光学インプットで受光された光と合成するように配置された光学アウトプットをさらに備える。よって、現実世界シーンを画像で拡張する簡素で便利な方法が提供される。より具体的には、一実施形態において、光学アウトプットは、第１の光学インプットで受光された光を少なくとも部分的に第２の光学インプットで受光された光にオーバーレイするように配置される。

一実施形態において、ニアアイ装置は、ニアアイ装置のユーザがビームコンバイナからの光学アウトプットを受けるように配置される。ホログラフィック再構成を用いて、ユーザに追加情報を提供してもよい。また、ホログラフィック再構成を用いて、人工的なシーンを提供してもよい。一実施形態において、画像のホログラフィック再構成は、現実世界の視野を拡張する。

当該装置は光源を必要とするが、光源はニアアイ装置に外付けであってもよいし、ニアアイ装置に内蔵されていてもよいと理解してもよい。一実施形態において、ニアアイ装置は空間光変調器を照明するように配置された光源をさらに備える。

簡略化のため、入射光は平面波であってもよい。しかしながら、ホログラムは入射光に適合されて、望ましい画像を形成するために再構成する空間変調後の必要な光を形成してもよい。つまり、入射光は平面波ではなくてもよい。しかしながら、一実施形態において、光源は光の平面波で空間光変調器を照明するように配置される。

一実施形態において、ニアアイ装置は一対のゴーグルまたはメガネである。当業者であれば、ニアアイ装置が他の既知の形態を取ってもよいことを理解するだろう。画像は、映像でもよいし、時間的に変化してもよい。画像は時間的に動いてもよい。また、画像は静止画像でもよい。

従って、ニアアイ装置を用いて拡張現実を提供する方法が提供され、当該方法は、画像を表す位相限定ホログラフィック領域データを備えるホログラフィックデータを提供することと、ホログラフィックデータで光を空間的に変調して空間的に変調された光を形成することと、空間的に変調された光をビームコンバイナを用いて現実世界の視野と合成することとを備える。一実施形態において、ホログラフィックデータは、レンズ効果を有する位相限定ホログラフィック領域データをさらに備える。一実施形態において、ホログラフィック領域データは、フーリエホログラムおよびフレネルホログラムの少なくとも１つである。

光は、ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ ＳＬＭなどの空間光変調器を用いて空間的に変調されてもよい。ホログラフィックデータは、光の入射平面波がホログラフィックデータで空間的に変調されるようにＳＬＭに合わせて書かれていると理解できる。この点に関して、ＳＬＭのピクセルがホログラフィックデータを「表示する」すなわち「表す」とみなしてもよい。

当該装置は様々な情報を表示してもよいと理解できる。従って、多くの表示可能な画像に対応するホログラムは、事前に計算されレポジトリに保存されるか、リアルタイムで計算されてもよい。一実施形態において、複数の画像をそれぞれ表すホログラム領域データのレポジトリが提供される。同様に、実施形態において、異なるレンズ効果を有するホログラム領域データのレポジトリが提供される。さらなる実施形態において、種々のレンズデータのセットの光学パワーのルックアップテーブルが提供される。

フーリエホログラフィにおいて、再構成された画像の品質は、再構成の回折性の結果であるいわゆる０次問題に影響される可能性がある。このような０次光は「ノイズ」と見なすことができ、例えば鏡面反射光およびその他のＳＬＭからの不要な光を含む。

この「ノイズ」は、通常フーリエレンズの焦点に集光され、再構成された画像の中心に輝点をもたらす。従来、０次光は単に遮蔽されていたが、これは明らかに輝点を灰色点で置き換えることを意味する。

しかしながら、ホログラムは三次元情報を含むため、再構成を空間における異なる面に移動させることができる。例えば国際公開第２００７／１３１６４９号を参照されたい。これは、参照により本明細書に組み込まれる。

あるいは、角度選択フィルタを用いて、０次の平行光線のみを取り除くことも可能である。０次光を制御する他の方法を用いてもよい。

本明細書に記載される実施形態は、画像を表示することに関するが、本開示は決してこの点に限定されず、１つ以上のホログラムを同時にＳＬＭ上に表示してよい。

例えば、実施形態は「タイリング」の技術を実施し、この技術では、ＳＬＭの表面積が多数のタイルに細分され、それぞれのタイルが元のタイルの位相分布と類似または同一の位相分布に設定される。従って、各タイルの表面積は、ＳＬＭの割当てられた全面積が１つの大きな位相パターンとして用いられた場合よりも小さい。タイルにおける周波数成分の数が少なくなるほど、画像が生成された時再構成されるピクセルがより離間している。画像は０次回折次数内で生成され、１次およびそれ以降の次数は画像と重なり合わないように十分遠くに位置し、空間フィルタによって遮蔽されることが好ましい。

上述したように、（タイリングの有無にかかわらず）本方法により生成される画像は、画像ピクセルを形成するスポットを備える。用いられるタイルの数が多くなるほど、これらのスポットは小さくなる。無限正弦波のフーリエ変換を例にとると、単一の周波数が生成される。これは最適な出力である。実際には、１つのタイルのみが用いられる場合、これは正弦波の１つの周期の入力に対応し、ゼロ値が正弦波の端点から無限まで正負方向に延在する。フーリエ変換から１つの周波数を生成する代わりに、主周波数成分をその両側の一連の隣接する周波数成分で生成する。タイリングの使用により、これらの隣接する周波数成分の大きさが低減され、直接的な結果として、隣接する画像ピクセル間で発生する（建設的または破壊的な）干渉が少なくなり、それにより画像品質が向上する。

断片的なタイルを使用することも可能ではあるが、好ましくは、各タイルが完全なタイルである。

実施形態はＧｅｒｃｈｂｅｒｇ−Ｓａｘｔｏｎアルゴリズムの変形に関するが、当業者であれば、他の位相回復アルゴリズムでも本明細書に開示された改良された方法を実施できることを理解するだろう。

当業者であれば、本明細書に開示された改良された方法は、物体の三次元再構成を形成するために用いられるホログラムの計算にも同様に適用可能であることを理解するだろう。

同様に、本開示は、単色画像の投影に限定されない。

カラーの二次元ホログラフィック再構成を生成することが可能であり、主に２つの方式で達成できる。１つの方式は、「面順次カラー」（ＦＳＣ）として知られている。ＦＳＣシステムでは、３つのレーザ（赤、緑、青）が用いられ、それらのレーザが順次ＳＬＭに照射されて、映像の各フレームが生成される。カラーは、人間の視認者が３つのレーザの組み合わせから多色画像を視認するのに十分速い速度で循環する（赤、緑、青、赤、緑、青など）。従って、それぞれのホログラムは特定のカラーである。例えば、１秒当たり２５フレームの映像では、最初のフレームは、赤レーザを１秒の１／７５の間照射し、次に緑レーザを１秒の１／７５の間照射し、最後に青レーザを１秒の１／７５の間照射することで生成される。その後、次のフレームが赤レーザから生成される、といった具合である。

「空間分離カラー」（ＳＳＣ）と呼ばれる別の方式では、３つのレーザ全てが同時に照射されるが、例えばそれぞれが異なるＳＬＭを用いたり、１つのＳＬＭの異なるエリアを用いたりするなど、異なる光路を取り、その後合成されてカラー画像が形成される。

面順次カラー（ＦＳＣ）方式の利点は、ＳＬＭ全体が各カラーのために用いられることである。これは、ＳＬＭの全てのピクセルが各カラー画像用に用いられるため、生成される３つのカラー画像の品質が損なわれないことを意味する。しかしながら、ＦＳＣ方式の欠点は、それぞれのレーザが３分の１の時間しか用いられないため、生成される全体的な画像がＳＳＣ方式により生成される対応する画像と比べて３分の１程度の明るさしかないことである。この欠点は、レーザを過度に動作させること、またはより高出力なレーザを用いることにより対処可能かもしれないが、これは、より多くの電力を必要とし、コスト高となり、システムがコンパクトではなくなる。

ＳＳＣ（空間分離カラー）方式の利点は、３つの全てのレーザが同時に照射されるため、画像がより明るいことである。しかしながら、空間の制約上、１つのＳＬＭしか用いることできない場合、ＳＬＭの表面積を三等分し、実質的に３つの別々のＳＬＭとして動作させる。この欠点は、それぞれの単色画像に利用可能なＳＬＭ表面積が減少することにより、それぞれの単色画像の品質が低下することである。これに伴い、多色画像の品質も低下する。利用可能なＳＬＭ表面積が減少することは、ＳＬＭの使用可能なピクセルが少なくなることを意味し、そのため、画像の品質が低下する。画像の解像度が減少するため、画像の品質が低下する。

実施形態において、ＳＬＭは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ（ＬＣＯＳ）装置である。ＬＣＯＳ ＳＬＭは、信号ライン、ゲートラインおよびトランジスタがミラー面の下方にあるという利点を有し、これにより、高いフィルファクター（典型的には９０％を超える）および高解像度がもたらされる。

現存のＬＣＯＳ装置は、４．５μｍから１２μｍのピクセルを有する。

ＬＣＯＳ装置の構造を図７に示す。

ＬＣＯＳ装置は、単結晶シリコン基板（８０２）を用いて形成される。ＬＣＯＳ装置は、基板の上面に、間隙（８０１ａ）によって離間されて配置された正方形の平面アルミニウム電極（８０１）の二次元アレイを有する。それぞれの電極（８０１）は、基板（８０２）に埋設された回路（８０２ａ）を介してアドレス指定可能である。それぞれの電極は、対応する平面ミラーを形成する。電極アレイ上には配向層（８０３）が配置されており、配向層（８０３）上には液晶層（８０４）が配置されている。液晶層（８０４）上には第２の配向層（８０５）が配置されており、第２の配向層（８０５）上には例えばガラスからなる平面透明層（８０６）が配置されている。透明層（８０６）と第２の配向層（８０５）との間には例えばＩＴＯからなる単一の透明電極（８０７）が配置されている。

各正方形電極（８０１）は、透明電極（８０７）の上を覆っている領域および介在する液晶材料とともに、制御可能な位相変調素子（８０８）を画定し、これは通常ピクセルと称される。有効ピクセル領域すなわちフィルファクターは、光学的に活性なピクセル全体の、ピクセル間のスペース（８０１ａ）を考慮した割合である。透明電極（８０７）に対してそれぞれの電極（８０１）に印加される電圧を制御することにより、各位相変調素子の液晶材料の特性を変化させて、それにより入射光に可変の遅延を与えてもよい。この効果として、波面に位相限定変調を与え、すなわち振幅の影響は起こらない。

反射型ＬＣＯＳ空間光変調器を用いることの主な利点は、液晶層の厚さを、透過型装置が用いられた場合に必要な厚さの半分にできることである。これにより、液晶のスイッチング速度（動画像の投影のキーポイント）が大幅に改善する。また、ＬＣＯＳ装置は、他に類を見ないほど、小さな開口で位相限定素子の大きなアレイを表示することが可能である。小さな素子（典型的にはおよそ１０ミクロン以下）により実用的な回折角（数度）が得られるので、光学システムはさほど長い光路を必要としない。

ＬＣＯＳ ＳＬＭの小さな開口（数平方センチメートル）を適切に照明するのは、より大きな液晶装置の開口を照明するのよりも容易である。また、ＬＣＯＳ ＳＬＭは、大きな開口率を有し、ピクセル間にデッドスペースがほとんど存在しない（ピクセルを駆動するための回路がミラーの下に埋設されているため）。これは、再生フィールドにおける光学ノイズを削減するにあたって重要な課題である。

上述の装置は、通常１０℃から約５０℃の温度範囲内で動作し、最適な装置動作温度は約４０℃から５０℃であるが、これは使用されるＬＣ組成に依存する。

シリコンバックプレーンを用いることは、ピクセルが光学的にフラットであるという利点を有し、これは、位相変調装置にとって重要である。

実施形態は反射型ＬＣＯＳ ＳＬＭに関するが、当業者であれば、透過型ＳＬＭを含む、任意のＳＬＭが使用可能であることを理解するだろう。

本発明は、記載された実施形態に限定されず、添付の請求項の全範囲に及ぶ。

Claims (12)

1. 入射光に位相遅延分布を与えるように配置された位相変調素子のアレイを備える空間光変調器と、
   前記空間光変調器をコリメート光で照明するように配置された光源と、
   前記空間光変調器が前記入射光に前記位相遅延分布を与えるように、前記空間光変調器にデータを提供する手段であって、前記データは、画像を表す位相ホログラムデータと、レンズ効果を有する位相ホログラムデータとを含むものと、
   前記空間光変調器からの空間的に変調された光を受光するように配置された第１の光学インプットおよび現実世界の視野を有する第２の光学インプットを備えるビームコンバイナと、を含み、
   前記レンズ効果は、前記空間光変調器と前記ビームコンバイナとの間の全ての位置において空間的に変調された光を発散させる効果であるニアアイ装置。
2. 前記ホログラムデータがフーリエホログラムである、請求項１に記載のニアアイ装置。
3. 前記空間的に変調された光は、ユーザが前記画像のホログラフィック再構成を見るように前記ユーザの眼が前記空間的に変調された光のフーリエ変換を行うように配置される、請求項２に記載のニアアイ装置。
4. 前記ホログラムデータがフレネルホログラムである、請求項１に記載のニアアイ装置。
5. 前記空間的に変調された光は、近視野における再生平面に前記画像のホログラフィック再構成を形成するように配置される、請求項４に記載のニアアイ装置。
6. 前記空間的に変調された光は、ニアアイ装置の他の光学要素における収差を補償するように配置された位相ホログラムデータをさらに備える、請求項１から５のいずれかに記載のニアアイ装置。
7. 前記ビームコンバイナは、前記第１の光学インプットで受光された光を前記第２の光学インプットで受光された光と合成するように配置された光学アウトプットをさらに備える、請求項１から６のいずれかに記載のニアアイ装置。
8. 前記光学アウトプットは、前記第１の光学インプットで受光された光を少なくとも部分的に前記第２の光学インプットで受光された光にオーバーレイするように配置される、請求項７に記載のニアアイ装置。
9. ニアアイ装置のユーザが前記ビームコンバイナからの前記光学アウトプットを受けるように配置される、請求項７または８に記載のニアアイ装置。
10. 前記画像の前記ホログラフィック再構成が現実世界の前記視野を拡張する、請求項３または５に記載のニアアイ装置。
11. 前記光源は、光の平面波で前記空間光変調器を照明するように配置される、請求項１に記載のニアアイ装置。
12. ニアアイ装置が一対のゴーグルまたはメガネである、請求項１から１１のいずれかに記載のニアアイ装置。