JP5801401B2 - 透過頭部装着ディスプレイ用不透明フィルター - Google Patents

Description

[0001] 頭部装着ディスプレイは、軍事、航空、医療、ビデオ・ゲーミング、娯楽、スポーツ等を含む種々の用途において用いることができる。透過頭部装着ディスプレイは、光学エレメントが１つ以上の小さな微小ディスプレイをユーザーの視線内に追加して、拡張現実画像を供給しながら、ユーザーが彼または彼女の周りにある物理世界を観察することを可能にする。この拡張現実画像は、ユーザーが位置する環境を表す実世界の場面に関係があるのがよい。しかしながら、現実的であり、しかも最大範囲のカラーおよび輝度を表すことができる拡張現実画像を供給するには、種々の課題がある。

[0002] 光学透過頭部装着ディスプレイ・デバイスを提供する。この頭部装着ディスプレイ・デバイスは、不透明フィルター(opacity filter)を用いて、ユーザーの目に届く実世界場面から選択的に光を除去する。例えば、このフィルターは、拡張現実画像の形状に基づいて光を遮断して、この拡張現実画像が透過性になることを回避することができる。更に、視標追跡コンポーネントを用いて、拡張現実画像および不透明フィルターの不透明度増大画素の位置を調節することができる。

[0003] 一実施形態では、光学透過頭部装着ディスプレイ（ＨＭＤ）デバイスは、ユーザーがディスプレイ・デバイスを装着したときに、ユーザーの目と実世界場面との間に延びる透過レンズを含む。この透過レンズは、画素の格子となっている不透明フィルターを有する。これらの画素は、大量の光を通過させる最低不透明レベルから、光を殆どまたは全く通さない最高不透明レベルまで、その不透明度を調節するように制御することができる。また、透過性レンズは、ディスプレイ・コンポーネントも有する。更に、本デバイスは、マイクロ・ディスプレイのような、少なくとも１つの拡張現実発光体も含む。この発光体は、ディスプレイ・コンポーネントを用いて、ユーザーの目に向けて光を放出する。この光は、形状を有する拡張現実画像を表す。更に、本デバイスは、少なくとも１つの制御部を含む。この制御部は、不透明フィルターを制御して、ユーザーの目の観点から、拡張現実画像の背後にある画素の不透明度を増大させる。この不透明度を増大させた画素は、拡張現実画像の形状にしたがって規定される。

[0004] 視標追跡コンポーネントは、フレームに対するユーザーの目の位置を追跡して、ＨＭＤデバイスが載せられているフレームに動きがあるときに、不透明度増大画素および／または拡張実現画像の位置を調節できるようにする。このように、特定された画素および拡張現実画像を、これらの互いに対する位置合わせを維持しながら、フレームの移動に基づいてずらすことができる。

[0005] この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化された形式で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために使用されることを意図するのでもない。

[0006] 図面において、同様の番号が付けられた要素は互いに対応するものとする。

図１は、拡張現実機能を有する光学透過ＨＭＤデバイスの実施形態例を示す。 図２は、図１のＨＭＤデバイスのシステム図を示す。 図３Ａは、図１のＨＭＤデバイスにおいて拡張現実画像を供給するプロセスを示す。図３Ｂは、図３Ａのステップ３０６の詳細を示す。 図４Ａは、図１または図４Ｃの拡張現実画像の形状に基づく不透明フィルターの構成例を示す。 図４Ｂは、図１の実世界場面例１２０を示す。 図４Ｃは、図１の拡張現実画像例１０４を示す。 図４Ｄは、ユーザーが見る、図１の画像例１３２を示す。 図５は、図４Ａの不透明フィルターの構成を設けるための、不透明度増大領域を有する不透明フィルターを示す。 図６は、不透明フィルターを用いない場合に得られる、図１の画像例の変形を示す。 図７Ａは、ユーザーの頭部に装着したときにおける図１のディスプレイ・デバイスの実施態様例を示す。 図７Ｂは、図７ＡのＨＭＤデバイスの更なる詳細を示す。 図７Ｃは、図１のディスプレイ・デバイスがユーザーの頭部に装着されており、視標追跡コンポーネントが直接前面めがねフレーム上にある場合における、代替実施態様を示す。 図８Ａ１は、ユーザーの目がＨＭＤデバイスのフレームに対して第１の位置にあるときにおける、実世界画像と不透明フィルターの不透明度増大領域との位置合わせを示す。 図８Ａ２は、図８Ａ１の実世界場面要素８００の正面図を示す。 図８Ａ３は、図８Ａ１の不透明フィルター領域８０４の正面図を示す。 図８Ａ４は、図８Ａ１の拡張現実画像領域８０５の正面図を示す。 図８Ｂ１は、ユーザーの目がＨＭＤデバイスの第２の位置にあるときにおける、実世界画像と不透明フィルターの不透明度増大領域との位置合わせを示す。 図８Ｂ２は、図８Ｂ１の実世界場面要素８００の正面図を示す。 図８Ｂ３は、図８Ｂ１の不透明フィルター領域８０６の正面図を示す。 図８Ｂ４は、図８Ｂ１の拡張現実画像領域８０７の正面図を示す。 図９Ａ１は、ユーザーの目の視野の拡張現実表示領域の中央における、拡張現実画像と不透明フィルターの不透明度増大領域との位置合わせを示す。 図９Ａ２は、図９Ａ１の不透明フィルター領域９０２の正面図を示す。 図９Ａ３は、図９Ａ１の拡張現実画像領域９００の正面図を示す。 図９Ｂ１は、図９Ａ１の拡張現実表示領域の周辺境界における、拡張現実画像と不透明フィルターの不透明度増大領域との位置合わせを示す。 図９Ｂ２は、図９Ｂ１の不透明フィルター領域９２０の正面図を示す。 図９Ｂ３は、図９Ｂ１の拡張実現画像領域９２２の正面図を示す。 図９Ｃ１は、ユーザーの視野の周辺境界からの距離の関数として、不透明度の漸次変化を示す。図９Ｃ２は、図９Ｃ１における０とｄ１との間で溶暗する(fade)、非溶暗部分(non-faded portion)９３１ならびに連続溶暗部分(successively faded portion)９３２、９３３、および９３４を含む、不透明フィルター領域を示す。図９Ｃ３は、図９Ｃ１における０とｄ３との間で溶暗する、非溶暗部分９４１ならびに連続溶暗部分９４２、９４３、および９４４を含む不透明フィルター領域を示す。図９Ｃ４は、図９Ｃ１におおけるｄ４とｄ５との間で溶暗する、非溶暗部分９５１、および連続溶暗部分９５２、９５２、および９５３を含む不透明フィルター領域を示す。 図９Ｄ１は、不透明度増大の追加領域が視野の第２周辺領域に設けられている場合の、図９Ａ１の拡張現実表示領域の周辺境界における、拡張現実画像と不透明フィルターの不透明度増大領域との位置合わせを示す。 図９Ｄ２は、図９Ｄ１の不透明フィルター領域９２０および９２４の正面図を示す。 図９Ｄ３は、図９Ｄ１の拡張現実画像領域９００の正面図を示す。 図９Ｅ１は、拡張現実画像の第２切除部分を表すために、視野の第２の周辺領域に不透明度増大の追加領域が設けられている場合の、図９Ａ１の拡張現実表示領域の周辺境界における、拡張現実画像の第１部分と不透明フィルターの不透明度増大領域との位置合わせを示す。 図９Ｅ２は、図９Ｅ１の不透明フィルター領域９２６および９２８の正面図を示す。 図９Ｅ３は、図９Ｅ１の拡張現実画像領域９２２および９２３の正面図を示す。 図９Ｆ１は、拡張現実画像が供給されないときにおける、視野の第２周辺領域における不透明フィルターの不透明度増大領域を示す。 図９Ｆ２は、図９Ｆ１の不透明フィルター領域９６０の正面図を示す。 図９Ｆ３は、図９Ｆ１の拡張現実画像の正面図を示す。

[0042] 透過頭部装着ディスプレイ（ＭＨＤ）は、殆どの場合、ミラー、プリズム、およびホログラフ・レンズのような光学エレメントを用いて、１つまたは２つの小さなマイクロ・ディスプレイからの光をユーザーの視線(visual path)の中に追加する。これらの本質的な性質によって、これらのエレメントは光を追加することしかできず、光を除去することはできない。これが意味するのは、仮想ディスプレイは、暗い色を表示することができず（何故なら、真っ黒の場合に透明になるからである）、拡張現実画像のような仮想物体は、半透明に、即ち、透けて見えるということである。拡張現実または他の現実混在のシナリオを敢えて表すには、視界(view)から自然光を選択的に除去する機能(ability)を有し、仮想的なカラー形象(imagery)が全範囲のカラーおよび輝度を表すことができ、その形象を一層堅実で(solid)現実的にすることが望ましい。この目標を達成するために、ＨＭＤデバイスのレンズには、不透明フィルターを設けることができる。この不透明フィルターは、画素毎に光を選択的に透過させるまたは遮断するように制御することができる。拡張現実画像に基づいて、不透明フィルターの輝度および／またはカラーを駆動するために、制御アルゴリズムを用いることができる。不透明フィルターは、物理的に、光学表示コンポーネントの後ろに置くことができる。この光学表示コンポーネントは、拡張現実画像をユーザーの目に導入する。拡張現実画像の視野を越えて不透明フィルターを延長させユーザーに周辺キュー(peripheral cue)を供給することによって、追加の利点を得ることができる。更に、周辺キュー、または拡張現実画像の表現は、拡張現実画像がない場合でも、不透明フィルターによって供給することができる。

[0043] 図１は、拡張現実機能を有する光学透過ＨＭＤデバイスの実施形態例を示す。このディスプレイ・デバイスは、めがねのレンズと同様に、ユーザーの目の前に置かれる透過レンズ(see-through lens)１０８を含むことができる。通例、１対の透過レンズが、各目に１つずつ用意される。このレンズは、不透明フィルター１０６と、ビーム・スプリッター、例えば、半銀めっきミラー(half-silvered mirror)または他の光透過性ミラーのような、光学表示コンポーネント１１２とを含む。光線１１４のような実世界場面１２０からの光は、このレンズに到達し、不透明フィルター１０６によって選択的に通過させられるか、または遮断される。実世界場面からの光が不透明フィルターを通過すると、表示コンポーネントも通過する。

[0044] 不透明フィルターは、不透明フィルター制御回路１００の制御下にある。一方、拡張現実発光体１０２は、拡張現実画像１０４を表す光の２−Ｄアレイを放出する。この光は、光線１１０によって例示されている。表示コンポーネントが実際に位置するのは目から約１インチ離れたところであるが、この位置からではなく、拡張現実画像が目から数フィート離れたところから発しているように見えるように拡張現実画像を合焦し直すために、通例、追加の光学素子が用いられる。

[0045] 拡張現実画像は、表示コンポーネント１１２によって、ユーザーの目１１８に向けて、光線１１６によって例示されるように反射され、ユーザーには画像１３２が見えるようになっている。画像１３２において、木立ちのような実世界場面１２０の一部が、飛んでいるかのような拡張現実画像１０４全体と共に見ることができる。したがって、ユーザーは、この娯楽指向の例では、いるかが木々の上を飛び越えるという空想的な画像を見る。広告指向の例では、拡張現実画像は、ユーザーの机の上にあるソーダの缶となって現れることができる。多くの他の用途も可能である。一般に、ユーザーは、室内および戸外を含むあらゆる場所で、ＨＭＤデバイスを装着することができる。種々の情報を入手して、どのタイプの拡張現実画像が適しているか、そして表示コンポーネント上のどこにそれを供給すべきか判断することができる。例えば、ユーザーの位置、ユーザーが見ている方向、ならびにユーザーが室内にいるときには、床、壁、および恐らくは家具の位置を用いて、実世界場面におけるしかるべき場所のどこに拡張現実画像を置くことを決定することができる。

[0046] ユーザーが見ている方向は、動き追跡技法および慣性測定ユニットの組み合わせを用いて、ユーザーの頭部の位置を追跡することによって判断することができる。慣性測定ユニットは、拡張現実めがねを介してというようにして、ユーザーの頭部に取り付けられる。動き追跡技法は、深度検知カメラを用いて、ユーザーの３Ｄモデルを取り込む（obtain)。深度検知カメラは、同様に、ユーザーの環境の床、壁、およびその他の側面の位置を取り込むためにも用いることができる。例えば、２０１０年８月５日に公開され"Visual Target Tracking"（視覚的目標追跡）と題する米国特許出願公開２０１０年第０１９７３９９号、２０１０年８月５日に公開され"Body Scan"（身体走査）と題する米国特許出願公開２０１０年第０１９４８７２号、および２００９年４月７日に発行され"Head Pose Tracking System"（頭部姿勢追跡システム）と題する米国特許第７，５１５，１７３号を参照のこと。これらをここで引用したことにより、各々の内容が本願にも含まれるものとする。

[0047] 実世界場面の内、ユーザーの目の視点からは拡張現実画像の後ろになる部分は、不透明フィルターによって、ユーザーの目に達することが遮られるので、拡張現実画像がユーザーに明確に見える。拡張現実画像は、主要な表示を供給すると見なすことができ、一方不透明フィルターは副次的な表示を供給する。副次表示の輝度および／またはカラーは、主要表示上の作象に緊密に一致するように駆動することができ、主要表示が自然光に似せる能力を高めることができる。

[0048] 追跡カメラ１２２は、ＨＤＭデバイスが取り付けられているフレームに関するユーザーの目の位置を特定するために用いることができる。このフレームは、１つの手法では、従来のめがねフレームと同様とすることができる。例えば、フレームの例については図７Ａおよび図７Ｂを参照のこと。通例、このようなフレームは、ユーザーが動く、ユーザーの鼻の上でフレームのブリッジが滑る等によって、装着されているときに、ユーザーの頭部上で多少動く可能性がある。更なる詳細については、図８Ａ１〜図８Ｂ４を参照のこと。フレームに対するユーザーの目の位置に関するリアル・タイムの情報を提供することによって、コントローラーは不透明フィルターを制御することができ、拡張現実画像はそれに応じてその画像を調節することができる。例えば、不透明フィルターの不透明度増大画素と拡張現実画像との位置合わせ(registration)または整列(alignment)を維持しつつ、拡張現実画像が一層安定に現れるようにすることができる。１つの手法例では、追跡カメラ１２２は、ＩＲ光１２８を目１１８に向けて放出する赤外線（ＩＲ）発光体１２４と、反射したＩＲ光１３０を検知するＩＲセンサー１２６とを含む。瞳の位置は、角膜の反射を検出するというような、既知の撮像技法によって特定することができる。例えば、２００８年７月２２日にOphir et al.に発行され"Head mounted eye tracking and display system"（頭部装着視標追跡および表示システム）と題する米国特許第７，４０１，９２０号を参照のこと。このような技法は、追跡カメラに対する目の中心の位置を突き止めることができる。一般に、目の追跡には、目の画像を取り込み、コンピュータ映像技法(vision technique)を用いて眼窩内における瞳の位置を判定することを必要とする。他の視標追跡技法では、光検出器およびＬＥＤのアレイを用いることができる。追跡カメラのフレーム上における取り付け位置が分かっていれば、不透明フィルター１０６および光学素子１１２のような、フレームに対して固定されている他のいずれの位置に関しても、目の位置を判定することができる。通例、目は一緒に動くので、ユーザーの目の１つの位置を追跡すれば十分である。しかしながら、各目を別個に追跡し、各目の位置を用いて、拡張現実画像の位置を、関連のある透過レンズに対して判定することもできる。

[0049] 図示した例では、追跡カメラは、フレームの側面位置から目を撮像する。この位置は、不透明フィルターおよび光学素子１１２とは独立している。しかしながら、他の手法も可能である。例えば、追跡カメラによって用いられる光を光学素子１１２によって伝達すること、またそれ以外ではレンズの中に集光する(integrate)こともできる。

[0050] 不透明フィルターは、透過ＬＣＤパネル、エレクトロクロミック・フィルム、または不透明フィルターとして役割を果たすことができる同様のデバイスとすることができる。このような透過ＬＣＤパネルは、従来のＬＣＤから基板の種々の層、バックライトおよびディフューザーを除去することによって得ることができる。ＬＣＤパネルは、光が液晶を通過することを可能にする１つ以上の光透過性ＬＣＤチップを含むことができる。このようなチップは、例えば、ＬＣＤプロジェクターにおいて用いられている。

[0051] 不透明フィルターは、レンズ上またはレンズの内部に配することができる。また、レンズは、ガラス、プラスチック、または他の光透過性材料を含んでもよい。不透明フィルターは、画素の高密度格子を含むことができ、各画素の光透過率を、最小透過率と最大透過率との間で個々に制御可能である。０〜１００％の透過率範囲が理想的であるが、これよりも制限された範囲でも容認可能である。一例として、ＬＣＤの分解能まで、画素当たり約５０％から８０または９０％までの不透明範囲を設けるには、わずか２つの偏光フィルターを有するモノクロームＬＣＤパネルで十分である。最小の５０％において、レンズは僅かに着色した外観を有するが、これは許容可能である。１００％の透過率は、完全に透明なレンズを表す。０から１００％までの「アルファ」倍率を定義することができ、０％が最も高い透過率（最も透明である）であり、１００％が最低の透過率（最も不透明）である。値「アルファ」は、不透明フィルター制御回路によって、画素毎に設定することができる。

[0052] 実世界物体の代用にｚ−バッファリングを行った後、アルファ値のマスクを、レンダリング・パイプラインから用いることができる。拡張現実表示のために場面をレンダリングするとき、どの実世界物体がどの拡張現実物体の前にあるか注意を払う必要がある。拡張現実物体が実世界物体の前にある場合、拡張現実物体の遮蔽面積に相応して不透明度をオンにしなければならない。拡張現実物体が（仮想的に）実世界物体の後ろにある場合、実際の光のその対応する面積（１画素以上のサイズ）に相応する実世界の物体だけをユーザーが見るように、不透明度をオフにするだけでなく、その画素に対するあらゆるカラーもオフにする。遮蔽(coverage)は、画素毎であるので、拡張現実物体の一部が実世界の物体の前にある場合、拡張現実物体の一部が実世界の物体の後ろにある場合、そして拡張現実物体の一部が実世界の物体と同じ位置にある場合も扱うことができる。

[0053] 不透明フィルターとして用いるために転用された新たなディスプレイのタイプという形態で、追加の改良が行われる。低コスト、低電力、および軽量で、０％から１００％までの不透明度で動作することができるディスプレイが、この使用には最も望ましい。更に、不透明フィルターは、カラーＬＣＤによって、または有機ＬＥＤのような他のディスプレイによって、カラーでレンダリングし、拡張現実画像を供給する光学素子１１２周囲に広い視野を設けることができる。

[0054] 不透明フィルター制御回路１００は、例えば、マイクロプロセッサーとすることができる。不透明フィルター制御回路１００および拡張現実発光体１０２は、追跡カメラ１２２と通信することができる。１つの選択肢では、中央制御部（図示せず）が追跡カメラ１２２と通信し、不透明フィルター制御回路１００および拡張現実発光体１０２を監視するために用いられる。コンポーネント１００、１０２、および１２２間には、しかるべき有線またはワイヤレス通信経路を設け、ＨＭＤデバイスのフレームの中に統合することができる。

[0055] 結果的に得られたＨＭＤデバイスは、通例複雑な光学素子を必要とする、能動ステレオ３Ｄ視聴用の従来のＬＣＬＤシャッターめがねのようなデバイスと比べると、比較的簡素化されている。これらは、３Ｄ画像の幻想を生み出すために、表示画面と共に用いられるめがねである。めがねレンズの中では、液晶層が、透明から、電圧が印加されたときの不透明まで切り替わることができ、目毎に事実上１つずつ画素が供給されるようになっている。このめがねは、画面のリフレッシュ・レートと同期して、ワイヤレス信号によって制御することができる。あるいは、画面は目毎に異なる視界(perspective)を表示し、各目がそれに意図された画像のみを見るという、所望の効果が得られる。本明細書において提供するＨＭＤデバイスは、不透明フィルターの画素全てを一緒に透明または不透明になるように制御することによって、シャッタ・ガラスとして動作することができる。

[0056] 他の代替案では、ＨＭＤデバイスが受動立体視を提供することができる。ＬＣＤパネルにおいて用いられるフィルターは、偏光させられているので、偏光が９０度異なるように、右および左のレンズのＬＣＤパネルを向けることができる。これによって、透過率および不透明度が逆になるように、ＬＣＤを回転させその挙動を変化させる。電圧を印加すると透過性となり、電圧を印加しないと不透明となる。回転させないＬＣＤでは、電圧を印加すると不透明になり、電圧を印加しないと透過性になる。

[0057] ＬＣＤのような不透明フィルターは、一般に、本明細書において記載するような透過レンズには用いられなかった。何故なら、このように目に近い距離では、殆ど完全に焦点がはずれるからである。しかしながら、この結果は実際に本発明者の目的には望ましいことである。ユーザーは、焦点が合うように設計された、追加カラーを用いた通常のＨＭＤディスプレイによって、生き生きとしたカラー・グラフィクスによる拡張現実画像を見る。ＬＣＤパネルは、曖昧なブロックの境界があらゆる仮想コンテンツを包囲するように、この表示の「後ろに」配され、これを所望通りに不透明にする。自然なぼけという欠点を変換して、アンチエリアシングおよび帯域幅削減という特徴を功利的に獲得する。これらは、低解像度で焦点がはずれた画像を用いることの当然の結果である。ディジタル的にサンプリングした画像には、スムージングが効果的である。あらゆるディジタル画像にはエリアシングが生じ、サンプリングの離散的性質のために、自然なアナログおよび連続信号に対して、光の波長の周りで誤差が生ずる。スムージングが意味するのは、理想的なアナログ信号に視覚的に近づけるということである。低解像度にして失われた情報は復元されないが、結果的に生ずる誤差は、目立ちにくくなる。

[0058] カラー・ディスプレイおよび不透明フィルターに同時にレンダリングし、アナログ−オフセットの問題を補償するために空間におけるユーザーの正確な位置に合わせて較正されるように、グラフィクス・レンダリングを最適化する。視野の両端における正しい画像オフセットを計算するために、視標追跡を採用することができる。不透明フィルターまたはマスクは、更に、ＨＭＤデバイスのレンズ全体を覆うように拡大し、中央視野における拡張現実画像の表示コンポーネントを越えて広がることができる。また、不透明マスクは、カラーＬＣＤによって、または有機ＬＥＤ（ＯＬＥＤ）のような他のディスプレイによって、カラーでレンダリングすることができ、中央視野における高解像度合焦エリアの周囲に広い視野を設けることができる。

[0059] 図２は、図１のＨＭＤデバイスのシステム図を示す。このシステムは、視標追跡カメラ１２２、拡張現実発光体１０２、および不透明フィルター制御回路１００を含み、これらは互いにバス２０２または他の通信経路を通じて通信することができる。視標追跡カメラ１２２は、プロセッサー２１２、メモリー２１４、ＩＲ発光体２１６、ＩＲセンサー２１８、およびインターフェース２２０を含む。メモリー２１４は、視標追跡カメラが、本明細書に記載するように、その機能を実行することを可能にするために、プロセッサー２１２によって実行する命令を収容することができる。インターフェースは、視標追跡カメラがデーターを拡張現実発光体および不透明フィルター制御回路に伝達することを可能にする。このデーターは、ユーザーの目のフレームに関する相対的な位置を示す。不透明フィルター制御回路は、このデーターを用いて、対応するオフセットを、不透明フィルターにおいて不透明度を増大させた画素に供給する。同様に、拡張現実発光体がこのデーターを用いて、対応するオフセットを、拡張現実画像を放出するために用いられる画素に供給することができる。

[0060] 他の手法では、視標追跡カメラが視標位置データーを拡張現実発光体に伝達すれば十分であり、この場合、拡張現実発光体は、データーを不透明フィルター制御回路に供給して、不透明フィルターのどの画素が不透明度を増大させるべきかを示す。または、視標追跡カメラは視標位置データーを不透明フィルター制御回路に伝達することができ、不透明フィルター制御回路は、このデーターを拡張現実発光体に中継する。他の可能性では、不透明フィルター制御回路だけが視標位置データーを用い、拡張現実発光体は用いない。何故なら、不透明フィルターの画素の変化は、不透明フィルターが目に近いことのために、拡張現実画像における変化よりも目立ちやすいからである。

[0061] いずれの場合でも、拡張現実発光体は、拡張現実画像のシェーパー(shaper)を示すデーターを、不透明フィルター制御回路に供給することができる。形状は、周囲および包囲点(enclosed points)によって定義することができる。また、このデーターは、不透明フィルター制御回路が、通常では、拡張現実画像のサイズおよび形状と対応付けて、不透明フィルターのどの画素に、増大させた不透明度を与えるべきか判断するために用いることもできる。

[0062] 拡張現実発光体は、プロセッサー２２２、メモリー２２４、可視光を放出する発光体、およびインターフェース２２８を含む。メモリー２２４は、拡張現実発光体が、本明細書に記載するような、その機能を実行することを可能にするためにプロセッサー２２２によって実行される命令を収容することができる。発光体は、２Ｄカラー画像を、１／４平方インチというような、小さなエリアに放出するＬＣＤのようなマイクロ・ディスプレイとすることができる。インターフェースは、視標追跡カメラおよび／または不透明フィルター制御回路と通信するために用いることができる。

[0063] 不透明フィルター制御回路１００は、プロセッサー２３２、メモリー２３４、不透明フィルター・ドライバー２３６、およびインターフェース２２８を含む。メモリー２３４は、不透明フィルター制御回路が、本明細書に記載するような、その機能を実行することを可能にするためにプロセッサー２３２によって実行される命令を収容することができる。不透明フィルター・ドライバーは、行および列アドレスならびに電圧によって、各画素にアドレスすることによってというようにして、不透明フィルター１０６における画素を駆動することができる。この電圧は、最も高い光透過レベルである最低レベルから、最も不透明な、即ち、最も低い光透過レベルである最高レベルまで、所望の不透明度を示す。場合によっては、各画素のカラーを設定することもある。インターフェースは、視標追跡カメラおよび／または拡張現実発光体と通信するために用いることができる。不透明フィルター制御回路は、不透明フィルター１０６と通信して、その画素を駆動する。

[0064] プロセッサー２１２、２２２、および２３２の内１つ以上は、制御回路であると見なすことができる。更に、メモリー２１４、２２４、および２３４の内１つ以上は、有形コンピュータ読み取り可能ストレージであると見なすことができ、このストレージには、本明細書に記載するような光学透過ＨＭＤデバイスにおいて用いるための方法を実行するように、少なくとも１つのプロセッサーまたは制御回路をプログラミングするコンピュータ読み取り可能ソフトウェアが具体化されている。

[0065] 更に、本システムは、ユーザーが見ている方向、床の位置、壁、およびユーザーの環境のその他の側面を判断するため等に、先に論じた更に他のコンポーネントも含むことができる。

[0066] 図３Ａは、図１のＨＭＤデバイスにおいて拡張現実画像を供給するプロセスを示す。ステップ３００において、視標追跡コンポーネントは、目の相対的な位置に関するデーターを供給する。一般に、これは、毎秒数回実行することができる。このデーターは、目が真っ直ぐ前を見ているときというように、デフォルト位置からの目のオフセットを示すことができる。ステップ３０２において、拡張現実発光体は、拡張現実画像のサイズ、形状、および位置（ならびに、任意に、カラー）に関するデーターを、不透明フィルター制御回路に供給する。位置データーは、目の相対的な位置に関するデーターに基づくことができる。拡張現実画像は、それが用いられる用途の必要性に基づいて設定される画像である。例えば、以前の飛んでいるかの例は、娯楽の用途に供給される。ステップ３０４において、拡張現実発光体は、１つ以上の光学素子を通じてユーザーの目に到達するように、拡張現実画像を放出する。同時に、ステップ３０６において、不透明フィルター制御回路は、不透明フィルターの画素を駆動して、拡張現実画像の後ろにおいて不透明度を増大させる。判断ステップ３１０において、次の拡張現実画像がある場合、本プロセスを、ステップ３００から開始して、繰り返す。次の拡張現実画像がない場合、本プロセスはステップ３１２において終了する。

[0067] 次の拡張現実画像は、以前に供給したのと同じであるが、直前の拡張現実画像を多少異なる位置に移動させて、この拡張現実画像の動きを描写するときというように、異なる位置においてユーザーによって見られる拡張現実画像を指すことができる。また、次の拡張現実画像は、いるかから他のタイプの物体への切り替えというような、新たなタイプの画像を指すこともできる。次の拡張現実画像は、以前から表示されている物体が表示され続けつつ、新たな物体を追加することを指すこともできる。１つの手法では、拡張現実発光体は固定のフレーム・レートでビデオ画像を放出する。他の手法では、静止画像を放出し、典型的なビデオ・フレーム期間よりも長い時間期間にわたって存続させる。

[0068] ステップ３１４において、任意に、拡張現実画像の中に、視野の拡張現実画像領域の境界に近いとき等に、漸次溶暗(gradual fade)を行う。拡張現実表示領域は、ユーザーの視野において、拡張現実発光体および／または光学素子１１２の制限のために、拡張現実画像が拘束される最大角度範囲（垂直および水平方向）によって定義することができる。つまり、拡張現実画像は、拡張現実表示領域のいずれの部分にでも現れることができるが、拡張現実表示領域の外側には現れることはできない。

[0069] 一般に、不透明度の量の時間的または空間的溶暗を、不透明フィルターにおいて用いることができる。同様に、拡張現実画像の時間的または空間的溶暗も用いることができる。１つの手法では、不透明フィルターの不透明量の時間的溶暗は、拡張現実画像の時間的溶暗に対応する。他の手法では、不透明フィルターの不透明量の空間的溶暗が、拡張現実画像の空間的溶暗に対応する。前述の境界とは、拡張現実表示領域の境界とすることができる。この境界は、周辺に、例えば、水平方向または垂直方向に延びることができる。溶暗については、例えば、図９Ｃとの関連で更に論ずる。

[0070] 図３Ｂは、図３Ａのステップ３０６の詳細を示す。ステップ３２０において、不透明フィルター制御回路は、拡張現実画像の後ろに来る不透明フィルターの画素を、例えば、拡張現実画像のサイズ、形状、および位置に基づいて特定する。種々の手法が可能である。１つの手法では、ステップ３２２において、拡張現実画像の後ろに来る不透明フィルターの画素について、特定したユーザーの目の位置の視界から、不透明度を増大して与える。このように、拡張現実画像の後ろに来る画素を暗くして、実世界場面の対応部分からの光が、ユーザーの目に達しないように遮断する。これによって、拡張現実画像が現実的となり、最大範囲のカラーおよび輝度を表すことが可能になる。更に、拡張現実画像は低い輝度で供給されるので、拡張現実発光体による電力消費が低減する。不透明フィルターを用いない場合、拡張現実画像が区別できそして透明にならないようにするために、実世界場面の対応する部分よりも明るい十分高い輝度で拡張現実画像を供給しなければならない。一般に、不透明フィルターの画素を暗くする際、拡張現実画像の閉じた周囲を辿る画素を、その周囲の内部にある画素と共に暗くする。例えば、図４Ｄおよび図５を参照のこと。この周囲の外側にありこの周囲を包囲する画素も暗くなるように、多少の重複が得られることが望ましいこともあり得る。図４Ｄにおける領域４０４を参照のこと。これらの重複する画素は、輪郭(perimeter)の周りに均一な厚さを有する暗い領域を規定することができる。他の手法では、例えば、拡張現実画像の輪郭の外側にある不透明フィルターの画素の全てまたは殆どを暗くしつつ、拡張現実画像の輪郭の内部にある画素を光透過性のままにさせておくことによって、興味深い効果を得ることができる。

[0071] ステップ３２４では、視野の拡張現実表示領域の外側にある不透明フィルターの画素には、不透明度を増大して与える。一般に、ユーザーの視野とは、垂直および水平方向の観察可能な世界の角度範囲であり、いずれの所与の時点においても見られる。人は、ほぼ１８０度の前方に面する視野を有する。しかしながら、カラーを感知する能力は、視野の中央の方が高く、一方形状および動きを検知する能力は、視野の周辺の方が高い。更に、前述のように、拡張現実画像は、ユーザーの視野の部分的領域に供給されることに束縛される。実施態様例では、拡張現実画像は、目の窩と一致する約２０度の角度的広がりにわたって、視野の中央に供給される。これは、視野の拡張現実表示領域である。例えば、更なる詳細については、図９Ａ１および図９Ｂ１（α１によって定義された領域）を参照のこと。拡張現実画像は、拡張現実画像をユーザーの目まで導くために用いられる光学素子のサイズというような要因によって拘束される。

[0072] 一方、不透明フィルターは、そのレンズへの組み込みのために、前述の第１視野(first field of view)を含むだけでなく、約６０度というような、視野の中のもっと広い範囲にわたって広がることができる。更なる詳細については、図９Ａ１および図９Ｂ１（α２によって定義された領域）を参照のこと。例えば、周辺方向に第１視野の外側にある不透明フィルターの画素には、第１視野の内側にある不透明フィルターの画素について増大させた不透明度と対応して、不透明度を増大させて与えることができる。更なる詳細については、例えば、図９Ｄ１〜図９Ｄ３を参照のこと。これは、例えば、拡張現実画像の動きを強調する、例えば、周辺キューを設ける際に有用であることができる。例えば、周辺キューは、拡張現実画像の影のように現れることができる。周辺キューは、ユーザーの周辺視野(peripheral vision)の領域内にあっても、そうでなくてもよい。周辺キューは、動きの方向を強調すること、またはそれ以外ではユーザーの注意を引くことができる。

[0073] 更に、拡張現実画像が、視野の拡張現実表示領域の境界付近にあるとき、視野の外側にある不透明フィルターの対応する画素に、均一に不透明度を増大させて与えること、または空間的に徐々に不透明度を増大させて与えることができる。例えば、不透明度増大画素は、拡張現実画像の境界に隣接することができる。拡張現実画像は、画像の第１部分とすることができ、画像の第２部分を境界において切除し、これが表示されないようにする。この場合、不透明度増大画素は、画像の第２部分を表すことができ、画像の第２部分と同様のサイズおよび形状を有する。更なる詳細については、図９Ｅ１〜図９Ｅ３を参照のこと。場合によっては、不透明度増大画素は、画像の第２部分と同様のカラーを有することができる。

[0074] 拡張現実画像が境界において切除されなくても、不透明度増大画素を供給し、拡張現実画像から実世界場面への遷移を表すことができる。１つの手法では、拡張現実画像の境界に近い不透明フィルターの画素程不透明にし、拡張現実画像の境界から遠ざかる不透明フィルターの画素程光を透過させるように、不透明度増大画素を溶暗させる。

[0075] 他の選択肢では、周辺または非周辺キューを供給するためというように、拡張現実画像がない時点において、不透明フィルターの画素に、不透明度を増大させて与えることを伴う。このようなキューは、例えば、実世界場面において動きがある用途において、有用であると考えられる。または、不透明フィルターの不透明度増大画素は、視野の周辺領域において、拡張現実画像の表現を与えることができる。更なる詳細については、例えば、図９Ｆ１〜図９Ｆ３を参照のこと。

[0076] ステップ３２６では、拡張現実画像が視野の拡張現実表示領域の境界付近にあるとき、不透明度が徐々に変化する遷移、例えば、空間的溶暗を行う。拡張現実画像における急激な遷移を避けるために、拡張現実画像における空間的溶暗は、ステップ３１４において説明したように行うことができる。対応する溶暗を、不透明フィルターの画素にも行うことができる。例えば、拡張現実画像の内境界に近い部分については、拡張現実画像の内境界から離れている部分よりも、拡張現実画像が速く暗くなり、不透明フィルターの画素は透明になる(less opaque)ことができる。不透明度が徐々に高くなる遷移は、同様に、拡張現実画像が視野の拡張現実表示領域の境界付近にない場合であっても、行うことができる。

[0077] 図４Ａは、図４Ｃの拡張現実画像の形状に基づく、不透明フィルター４００の構成例を示す。不透明フィルターは、不透明度が増大した領域４０２を規定する。不透明度の増大とは、一般に、白黒方式における異なるグレー・レベルへの暗化(darkening)、またはカラー方式における異なるカラー・レベルへの暗化を含む、画素の暗化を指す。

[0078] 図４Ｂは、図１の実世界場面例１２０を示す。実世界場面１２０からの光が不透明フィルターを通過するとき、光は不透明フィルター４００によって乗算され、実世界場面の対応エリアが不透明フィルターを透過しないように不透明度増大エリアは実世界場面の対応エリアに「０」を乗算し、一方非暗化エリアは、実世界場面の対応するエリアが不透明フィルターを透過するように、実世界場面の対応エリアに「１」を乗算する。

[0079] 図４Ｃは、図１の拡張現実画像例１０４を示す。拡張現実画像１０４にはカラーおよび模様をレンダリングすることができるが、この例では示されていない。
[0080] 図４Ｄは、ユーザーが見る、図１の画像例１３２を示す。画像１３２は、画像４０２および１２０を乗算することによって形成された画像に画像１０４を追加することによって形成される。暗化領域４０４が、いるかの拡張現実画像を包囲している。

[0081] 図５は、図４Ａの不透明フィルターの構成を規定するために、不透明度増大領域を有する不透明フィルター５００を示す。小さな円は、各々、不透明フィルターの画素を表す。これらの画素から、拡張現実画像のサイズ、形状、および位置に対応するものを選択し、不透明度を増大させるように制御する。拡張現実画像の輪郭が、参照のために、重畳されている。

[0082] 図６は、不透明フィルターを用いない場合に得られる、図１の画像例の変形を示す。この画像６００では、拡張現実画像は透明に、即ち、透き通って(ghosted)現れ、実世界場面が拡張現実画像の後ろに見えるようになっている。この結果は、現実的とは言えない。

[0083] 図７Ａは、ユーザーの頭部７００に装着したときの、図１のディスプレイ・デバイスの実施態様例を示す。この例では、フレームは従来のめがねフレームと同様であり、同様のかけ心地(comfort level)で装着することができる。しかしながら、ヘルメット、ストラップまたは他の手段によってユーザーの頭部に装着するフェース・シールド(face shield)のような、他の実施態様も可能である。フレームは、フレーム前面７０２、ならびにつる７０４および７０５を含む。フレーム前面は、ユーザーの左目に合わせて透過レンズ７０１を保持し、ユーザーの右目に合わせて透過レンズ７０３を保持する。左右の向きは、ユーザーの視界からである。左側の透過レンズ７０１は、光透過不透明フィルター７２３と、左目７０６によって見るために、拡張現実画像を現実世界場面からの光と混合するビーム・スプリッターのような、光透過光学素子７２２とを含む。視標追跡コンポーネント７２６が、瞳７０７を含む左目７０６を撮像することを可能にするために、不透明度フィルターにおいて開口７２４を設けることができる。この開口は、例えば、レンズ７０１の中にある穴、または不透明レンズが設けられないレンズ７０１の領域とすることができる。不透明フィルターは、前述のように、ガラスまたはプラスチックのような、他の光透過性レンズ材料の中またはその上に設けることができる。視標追跡コンポーネント７２６によって用いられる赤外線光は、このような光透過性レンズ材料を通過することができる。

[0084] 視標追跡コンポーネント７２６は、ＩＲ光７３０を放出するＩＲ発光体７２８と、反射したＩＲ光７３２を検知するＩＲセンサー７３４とを含む。視標追跡コンポーネント７２６は、１つの可能な手法では、アーム７３６を介してフレームに取り付けることができる。

[0085] 右側透過レンズ７０１は、光透過不透明フィルター７２１と、右目７１８によって見るために、拡張現実画像を実世界場面からの光と混合するビーム・スプリッターのような、光学素子７２０とを含む。右側拡張現実発光体７１６が、アーム７１４を介してフレームに取り付けられており、左側拡張現実発光体７０８が、アーム７１０を介してフレームに取り付けられている。不透明フィルター制御回路７１２は、フレームのブリッジに取り付けることができ、左側および右側の不透明フィルターによって共有することができる。例えば、フレームの中にある導電路を通じて、しかるべき電気的接続を行うことができる。

[0086] 図７Ｂは、図７ＡのＨＭＤデバイスの更なる詳細を示す。ディスプレイ・デバイスは、前方を見ているユーザーの視界から示されているので、右側レンズ７０３および左側レンズ７０１が図示されている。右側拡張現実発光体７１６は、画素の格子のような発光部７６２と、発光部７６２を制御する回路を含むことができる部分７６０とを含む。同様に、左側拡張現実発光体７０８は、発光部７４２と、発光部７４２を制御する回路を有する部分７４０とを含む。光学素子７２０および７２２の各々は、同じ寸法を有するとよく、１つの手法では、幅ｗ１および高さｈ１を含む。右側光学素子７２０は、光が右側拡張現実発光体７１６から入射するときに通過する上面７６４と、光学素子７２０内部にある傾斜したハーフ・ミラー面７６６と、面７６８とを含む。右側拡張現実発光体７１６からの光、ならびに不透明フィルター７７０によって遮断されない実世界場面からの部分（光線７８０によって表される）からの光は、面７６８を通過し、ユーザーの右側の目に入る。同様に、左側光学素子７２２は、左側拡張現実発光体７０８からの光が入るときに通過する上面７４４と、光学素子７２２内部にある傾斜したハーフ・ミラー面７４６と、面７４８とを含む。左側拡張現実発光体７０８からの光、および不透明フィルター７５０によって遮断されない現実世界場面の部分（光線７７１によって表される）からの光は、面７４７を通過して、ユーザーの左側の目に入る。不透明フィルター７５０および７７０の各々は、同じ寸法を有するとよく、１つの手法では、幅ｗ２＞ｗ１、および高さｈ２＞ｈ１を含む。

[0087] 通例、同じ拡張現実画像が双方の目に供給されるが、立体視効果のため等に、別個の画像を各目に供給することも可能である。代替実施態様では、１つの拡張現実発光体が、しかるべき光学素子によって、双方の目に導かれる。

[0088] 図７Ｃは、図１のディスプレイ・デバイスがユーザーの頭部に装着されたときの代替実施態様であり、視標追跡コンポーネント７９０が直接前面めがねフレーム７０２上、そしてその内部にある。この実施態様では、視標追跡コンポーネントはレンズ７０１を介して投射する必要はない。視標追跡コンポーネント７９０は、ＩＲ光７９２を放出するＩＲ発光体７９１と、反射したＩＲ光７９２を検知するＩＲセンサー７９３とを含む。

[0089] 視標追跡に関して、殆どの場合、動き(motion)の間にめがねが跳ね返る(bounce around)際に、拡張現実めがねの目に対する変位を知るだけで十分である。目の回転（例えば、眼窩内部における瞳の動き）は、多くの場合さほど重要ではない。不透明領域および拡張現実画像の整列は、視標位置の関数でもあるが、実際には、ユーザーが左を見ているかのように不透明表示の左側を整列させることができ、同時に双方の規準を満たすように不透明画像を広げることによって、ユーザーが右を見ているように、不透明ディスプレイの右側を整列させることができる。これを行う場合、目の角度を無視することができる。この手法の欠点は、ユーザーが右を見るときに左側が正しくなくなり、ユーザーが左を見るときに右側が正しくなくなることであるが、ユーザーはユーザーの視野の中央に来る部分しか視覚的に測定できないので、ユーザーは気がつかない。

[0090] 図８Ａ１は、ユーザーの目がＨＤＭデバイスのフレームに対して第１の位置にあるときの、実世界画像と不透明フィルターの不透明度増大領域との位置合わせを示す。上面図が示されている。前述のように、視標追跡コンポーネントは、目のフレームに対する位置を特定するために用いることができる。この例では、フレームの目７０６およびその瞳７０７に対する水平位置を考慮する。不透明フィルター７５０、および光学素子７２２は、フレームに取り付けられ、したがって、フレームと共に動く。ここでは、目７０６は、真っ直ぐ前に向かって、見通し線８０２によって表されるように、実世界場面のエレメント８００を見ている。エレメント８００は、幅ｘｒｗを有する。不透明フィルター７５０は、不透明度が増大した領域８０４を含み、一方光学素子７２２は、対応する領域８０５を含み、この中に拡張現実画像が供給される。領域８０４および８０５は、幅ｘ３を有すると仮定する。実際には、不透明フィルター領域８０４の幅は、拡張現実画像部分８０５のそれよりも多少広い場合もある。更に、不透明フィルターの領域８０４は、不透明フィルターの左側からｘ１の距離にあり、不透明フィルターの右側からｘ２の距離にある。つまり、ｘ１＋ｘ２＋ｘ３＝ｗ２となる。拡張現実画像の部分８０５は、光学素子７２２の左側からｘ４の距離にあり、光学素子７２２の右側から距離ｘ５にある。つまり、ｘ４＋ｘ５＋ｘ３＝ｗ１となる。実世界場面のエレメント８００は、幅ｘｒｗ＞ｘ３を有し、不透明フィルターの領域８０４によって遮断され、目７０６には到達しない。

[0091] 図８Ａ２は、図８Ａ１の実世界場面要素８００の正面図(front-facing view)である。
[0092] 図８Ａ３は、図８Ａ１の不透明フィルター領域８０４の正面図である。

図８Ａ４は、図８Ａ１の拡張現実画像領域８０５の正面図である。
[0093] 図８Ｂ１は、ユーザーの目がＨＭＤデバイスのフレームに対する第２の位置にあるときにおける、実世界画像と不透明フィルターの不透明度増大領域との位置合わせを示す。上面図が示されている。この例では、フレームは、目７０６に対して左にずらされている。不透明フィルター７５０は、不透明度を増大させた領域８０６を含み、一方光学素子７２２は、拡張現実画像が供給される対応領域８０７を含む。領域８０６および８０７は、ｘ３の幅を有すると仮定する。更に、不透明フィルター領域８０６は、不透明フィルターの左側からｘ１’＞ｘ１の距離にあり、不透明フィルターの右側からｘ２’＞ｘ２の距離にある。つまり、ｘ１’＋ｘ２’＋ｘ３＝ｗ２となる。拡張現実画像部分８０７は、光学素子７２２の左側からｘ４’の距離にあり、光学素子７２２の右側からｘ５’の距離にある。つまり、ｘ４’＋ｘ５’＋ｘ３＝ｗ１となる。また、ずれのために、この例ではｘ４’＞ｘ４およびｘ５’＞ｘ５となる。

[0094] 実世界場面のエレメント８００は、幅ｘｒｗ＞ｘ３を有し、不透明フィルターの領域８０６によって遮断され、目７０６に到達しない。フレームの動きを検出することによって、ユーザーが実世界場面に対して固定の見通し線を維持しつつ水平方向および／または垂直方向にずらせることによってというようにして、不透明領域および／または拡張現実画像の位置をそれに応じて調節することができる。これによって、拡張現実画像が実世界場面の同じ位置に確実に現れることになる。不透明領域および拡張現実画像は、互いに、そして実世界場面と整列、または位置合わせされ続けている。

[0095] 実際には、不透明フィルターの不透明度増大領域が、離れて合焦する拡張現実画像よりも目に近づいて現れるので、不透明フィルターの不透明度増大領域のいずれの位置変化も、拡張現実画像の同様の位置変化と比較して、気付きやすくなる。これは、不透明フィルターの不透明度増大領域の方が、視差効果が大きいためである。したがって、視標追跡に基づいて、拡張現実画像の位置を調節せずに、不透明フィルターの不透明度増大領域の位置を調節することによって、多くの場合、容認可能な結果を得ることができる。不透明フィルターの不透明度増大領域の移動(shift)は、フレームに対する目の位置ずれと同一または同様にすることができる。拡張現実画像の移動は、不透明フィルターの不透明度増大領域の位置ずれの小さな端数にすることができる。

他の要点は、ユーザーが右を見ているとき、左側の透過レンズは拡張現実画像に焦点が合っていないので、目の追跡に基づいて、右側の不透明フィルターのみについて不透明フィルターの不透明度増大領域の位置を調節し、左側の不透明フィルターについては調節しなくても十分であると考えられることである。同様に、ユーザーが左を見ているとき、右側の透過レンズは拡張現実画像に焦点が合っていないので、目の追跡に基づいて、左側の不透明フィルターのみについて、不透明フィルターの不透明度増大領域の位置を調節し、右側の不透明フィルターについては調節しなくても十分であると考えられる。

[0096] 図８Ｂ２は、図８Ｂ１の実世界場面要素８００の他の図を示す。
[0097] 図８Ｂ３は、図８Ｂ１の不透明フィルター領域８０４の他の図を示す。
図８Ｂ４は、図８Ｂ１の拡張現実画像領域８０５の他の図を示す。

[0098] 図９Ａ１は、ユーザーの目の視野の拡張現実表示領域の中央における、拡張現実画像と、不透明フィルターの不透明度増大領域との位置合わせを示す。上面図が示されている。図９Ａ１、図９Ｂ１、図９Ｄ１、図９Ｅ１、および図９Ｆ１の倍率は、更なる詳細を示すために、不透明フィルター７５０および光学素子７２２を目から更に遠くに配置することによって、図８Ａ１および図８Ｂ１の倍率から変更されている。先に論じたように、目は、比較的広い視野を有する。不透明フィルター７５０は、約６０度というような、線９０４および９１２で境界を定められたα２の角度範囲がある視野の内部にあり、光学素子７２２は、拡張現実画像を供給し、線９０６および９１０で境界を定められた、約２０度というような、α１の角度範囲がある視野の中にある。α１の角度範囲がある視野は、拡張現実表示領域の角度範囲を表す。線９０８は、目の視界(sight)の前方の直線を表し、拡張現実画像９００および不透明度増大領域９０２の中央を通過する。更に、不透明フィルターの部分９０２は、不透明度が増大されており、光学素子９００の対応部分は、拡張現実画像を供給する。不透明フィルターの不透明度増大部分９０２は、拡張現実画像の後ろにある。この例は、拡張現実画像および不透明フィルターの不透明度増大領域が、拡張現実表示領域の中央にあり、拡張現実表示領域の境界（境界線９０６および９１０によって表されている）にあるのではないことを示す。

[0099] １つの手法では、不透明フィルターは、カラーを与える機能を有するので、中央の２０度の視野（左および右に＋／−１０度）にカラー画像が供給され、一方周辺領域（左および右に＋／−１０から３０度の間）は、不透明フィルターを用いて、増大させた不透明度およびカラーを、低い解像度で、そして焦点が合っていない状態で供給する。例えば、ユーザーが彼の頭部を横に動かすと、飛んでいるかのような拡張現実画像の位置を調節することができるので、いるかが中央の２０度視野から周辺領域に移動することができる。この場合、不透明フィルターが拡張現実画像を表す。これによって、中央の２０度視野からいるかが動くときに、このいるかが消える場合に生ずる不連続性が回避される。

[00100] この図および以下の図では、拡張現実画像および不透明度増大領域は、簡略化のために、対応する正方形または矩形の形状を有すると仮定する。
[00101] 図９Ａ２は、図９Ａ１の不透明フィルター領域９０２の正面図を示す。

図９Ａ３は、図９Ａ１の拡張現実画像領域９００の正面図を示す。
図９Ｂ１は、図９Ａ１の拡張現実表示領域の周辺境界における、拡張現実画像と不透明フィルターの不透明度増大領域との位置合わせを示す。ここでは、拡張現実画像９２２および不透明フィルターの不透明度増大領域９２０（双方とも、約ｄ２の幅を有すると仮定する）は、拡張現実表示領域（境界線９０６および９１０によって表される）の境界９０６にある。線９０７は、拡張現実画像９２２および不透明度増大領域９２０の中央を通る見通し線を表す。α３は、線９０６および９０７間の角度範囲である。

[00102] 図３Ａおよび図３Ｂと関連付けて述べたように、図９Ｂ１における場合のように、拡張現実画像が拡張現実表示領域の境界にあるとき等に、不透明度漸次遷移を行うことができる。このような遷移の更なる詳細については、以下を参照のこと。

[00103] 図９Ｂ２は、図９Ｂ１の不透明フィルター領域９２０の正面図を示す。
図９Ｂ３は、図９Ｂ１の拡張現実画像領域９２２の正面図を示す。
[00104] 図９Ｃ１は、ユーザーの目の視野の周辺境界からの距離の関数として、不透明度の漸次変化を示す。ｘ軸は、境界線９０６からの水平距離を表し、ｙ軸は不透明フィルターの対応領域の不透明度を表す。線９１５によって表される１つの選択肢では、不透明度は、境界からｄ１からｄ２の距離において最高レベルとなり、境界（ｘ＝０）における最低レベルまで徐々に低下する。図９Ｃ２を参照のこと。不透明度は、拡張現実表示領域の外側では、ｘ＜０に対して最低レベルになる。他線９１６によって表される他の選択肢では、不透明度は、境界からｘ＝０からｘ＝ｄ２までにおいて最高レベルとなり、境界から距離｜ｄ３｜において、拡張現実画像領域の外側で徐々に最低レベルまで低下する。図９Ｃ３を参照のこと。不透明度は、ｘ＜ｄ３のとき、拡張現実表示領域の外側において最低レベルになる。線９１７で表される更に他の選択肢では、不透明度は、ｘ＝ｄ４からｘ＝ｄ２まで最高レベルにあり、距離｜ｄ５｜−｜ｄ４｜において、拡張現実表示領域の外側において最低レベルまで徐々に低下する。図９Ｃ４を参照のこと。不透明度は、ｘ＜ｄ５のとき、拡張現実表示領域の外側において最低レベルとなる。

[00105] 図９Ｃ２は、溶暗しない部分９３１、ならびに連続的に溶暗する部分９３２、９３３、および９３４があり、図９Ｃ１における０およびｄ１の間で溶暗する不透明フィルター領域を示す。

[00106] 図９Ｃ３は、溶暗しない部分９４１、ならびに連続的に溶暗する部分９４２、９４３、および９４４があり、図９Ｃ１における０およびｄ３の間で溶暗する不透明フィルター領域を示す。図９Ｃ４は、溶暗しない部分９５１、ならびに連続的に溶暗する部分９５２、９５２、および９５３があり、図９Ｃ１におけるｄ４およびｄ５間で溶暗する不透明フィルター領域を示す。

[00107] 図９Ｄ１は、不透明度増大の追加領域が、視野の第２周辺領域に設けられている場合の、図９Ａ１の拡張現実表示領域の周辺境界における、拡張現実画像と不透明フィルターの不透明度増大領域との位置合わせを示す。上面図が示されている。図９Ｂ１と比較すると、図９Ｄ１では、不透明フィルター７５０の追加の不透明度増大領域９２４が付け加えられている。追加の不透明度増大領域９２４は、拡張現実表示領域の外側にあり、拡張現実画像に対する影のような、周辺キューを設けることができる。この影は、拡張現実画像９２２と同様のサイズおよび形状を有することができる。追加の不透明度増大領域９２４は、拡張現実画像９２２および／または不透明度増大領域９２０とは、水平方向に同じ高さ、および／またはこれらよりも上または下にあることができる。この例では、不透明度増大領域９２４は、不透明度増大領域９２０から、不透明フィルター７５０の透過性領域によって分離されている。

[00108] 光学素子７２２の左周辺側にある、視野の第２周辺領域は、光学素子７２２の左周辺側における線９０４および９０６の間に、（α２−α１）／２の角度範囲（例えば、１０〜３０度）を有する。対応する追加の周辺領域は、光学素子７２２の右周辺側における線９１０および９１２の間に、（α２−α１）／２の角度範囲を有する。

[00109] 図９Ｄ２は、図９Ｄ１の不透明フィルター領域９２０および９２４の正面図を示す。
[00110] 図９Ｄ３は、図９Ｄ１の拡張現実画像領域９００の正面図を示す。

[00111] 図９Ｅ１は、拡張現実画像の第２切除部分を表すために、視野の第２の周辺領域に追加の不透明度増大領域が設けられている場合の、図９Ａ１の拡張現実表示領域の周辺境界における、拡張現実画像の第１部分と不透明フィルターの不透明度増大領域との位置合わせを示す。上面図が示されている。ここでは、幅ｄ２の拡張現実画像部分９２２が、拡張現実画像の第１部分を表し、不透明フィルター７５０の不透明度増大領域９２６が拡張現実画像部分９２２の後ろにある。実際には存在しないが、幅がｄ２’の拡張現実画像部分９２３が、拡張現実画像部分９２２の位置に基づいて、拡張現実画像の第２の切除部分がある場所を表す。この場合、拡張現実画像の急激な切除を回避するために、不透明フィルターの追加の不透明度増大領域９２８（不透明度増大領域９２６の延長であることができる）が、拡張現実画像部分９２３の後ろに設けられている。追加の不透明度増大領域９２８の終端は、１段階で最低不透明度に変化することができ、または図９Ｃ１の論述に類似した手法を用いて、不透明度の漸次的変化を設けることができる。

[00112] １つの手法では、追加の不透明度増大領域９２８は、拡張現実画像部分９２３と同様のサイズ、形状、位置、および／またはカラーを有するので、実際には存在しない拡張現実画像部分９２３を本質的に表す。

[00113] 図９Ｅ２は、図９Ｅ１の不透明フィルター領域９２６および９２８の正面図を示す。
[00114] 図９Ｅ３は、図９Ｅ１の拡張現実画像領域９２２および９２３の正面図を示す。

[00115] 図９Ｆ１は、光学素子７２２によって拡張現実画像が供給されないときにおける、視野の第２周辺領域における不透明フィルター７５０の不透明度増大領域９６０を示す。上面図が示されている。１つ以上の不透明度増大領域を、右側または左側のいずれの周辺領域にも設けることができる。

[00116] 先に論じたように、不透明度増大領域９６０は、拡張現実画像の低解像度および焦点はずれバージョンを表すことができる。これは、例えば、拡張現実画像が中央の２０度視野から視野の周辺領域に移動するように、ユーザーが彼の頭部を横に動かすときに、有用となることができる。この動きは、拡張現実画像９００が中央視野にある図９Ａ１、それに続いて、拡張現実画像９２０が中央視野の境界にある図９Ｂ１、それに続いて、不透明領域９６０（拡張現実画像を表す）が視野の周辺領域にある図９Ｆ１のシーケンスによって表すことができる。ユーザーが彼の頭部を動かして開始位置に戻すと、このシーケンスを逆転することができる。

[00117] 周辺領域における不透明フィルターの不透明度増大画素は、拡張現実画像と対応する形状、および／または不透明フィルターがカラー機能(color capability)を有する場合には、対応するカラーを有することができる。不透明フィルターの不透明度増大画素の位置付けおよびタイミングは、拡張現実画像の動きに基づいて、滑らかな遷移が得られるように設定することができる。例えば、拡張現実画像が中央視野の境界に達すると、不透明フィルターをそれに応じて作動させて、周辺領域における対応する形状および動きを、拡張現実画像の表現として供給することができる。その後、拡張現実画像の表現が中央視野の境界に向かって動くと、不透明フィルターを不作動にして、拡張現実画像をそれに応じて作動させて、中央視野に対応する形状および動きを供給することができる。

[00118] 図９Ｆ２は、図９Ｆ１の不透明フィルター領域９６０の正面図を示す。
[00119] 図９Ｆ３は、図９Ｆ１の拡張現実画像の正面図を示す。
[00120] 以上から分かるように、多数の利点が得られる。例えば、比較的単純なＨＭＤ装置を提供する。更に、目、主要なカラー・ディスプレイ、および不透明フィルター間の較正は、視標追跡および心理的知覚(psycho-perceptual)技法を用いて行われる。不透明フィルターは、仮想形象を供給する主要なディスプレイがない場合でも、周辺視覚キューを供給するために用いることができる。カラー系不透明フィルターでは、周辺カラー・エリアと中央焦点エリアを継ぎ目なく配合して、全体的な体験を改善し、焦点エリア内部にある不透明度専用フィルターリング(opacity-only filtering)への遷移を改良することができる。

[00121] 本明細書における以上の技術の詳細な説明は、例示および説明の目的に限って提示されたのである。これは、網羅的であることも、開示された形態そのものに本技術を限定することも意図していない。以上の教示を考慮すれば、多数の変更や変形が可能である。以上で説明した実施形態は、本技術の原理およびその実用的用途を最良に説明することによって、当業者が本技術を種々の実施形態において最良に利用すること、および考えられる個々の使用に適した種々の変更と共に最良に利用することを可能にするように選択されたのである。本技術の範囲は、添付した特許請求の範囲によって定義されることを意図している。

Claims (11)

1. 光学透過頭部装着ディスプレイ・デバイスであって、
   ユーザーが前記ディスプレイを装着すると当該ユーザーの目と実世界場面との間に及ぶ透過レンズであって、複数の画素を有する不透明フィルターを備えており、各画素が、前記画素の不透明度を調節するように制御可能であり、ディスプレイ・コンポーネントを備えている、透過レンズと、
   前記ディスプレイ・コンポーネントを用いて前記ユーザーの目に光を放出する拡張現実発光体であって、前記光が形状を有する拡張現実画像を表す、拡張現実発光体と、
   前記ユーザーの目の視界から、前記拡張現実画像の後ろにある画素に対して、不透明度を増大させるように前記不透明フィルターを制御する少なくとも１つの制御部であって、前記不透明度を増大させた画素が、前記拡張現実画像の形状にしたがって供給される、制御部と、
   を備えている、光学透過頭部装着ディスプレイ・デバイスにおいて、
   前記拡張現実発光体が、前記ユーザーの目の視野の第１角度範囲（α１）に限定され、
   前記不透明フィルターが、前記第１角度範囲と、前記視野の更に周辺に広がる角度範囲とを含む第２角度範囲（α２）に及ぶ、光学透過頭部装着ディスプレイ・デバイス。
2. 請求項１に記載の光学透過頭部装着ディスプレイ・デバイスにおいて、
   前記透過レンズが、前記ユーザーの頭部に装着されるフレームに取り付けられ、
   前記光学透過頭部装着ディスプレイ・デバイスが、更に、前記フレームに対する前記ユーザーの目の位置を追跡する追跡コンポーネントを備えており、
   前記少なくとも１つの制御部が、前記フレームに対する前記ユーザーの目の位置に応答する、光学透過頭部装着ディスプレイ・デバイス。
3. 請求項２に記載の光学透過頭部装着ディスプレイ・デバイスにおいて、
   前記少なくとも１つの制御部が、前記拡張現実画像の後ろにある前記画素と、前記拡張現実画像との位置合わせを、前記フレームに対する前記ユーザーの目の位置に対応して維持する、光学透過頭部装着ディスプレイ・デバイス。
4. 請求項２に記載の光学透過頭部装着ディスプレイ・デバイスにおいて、
   前記少なくとも１つの拡張現実発光体が、前記拡張現実画像と、前記拡張現実画像の後ろにある前記画素との位置合わせを、前記フレームに対する前記ユーザーの目の位置に対応して維持する、光学透過頭部装着ディスプレイ・デバイス。
5. 請求項１〜４のいずれか一項に記載の光学透過頭部装着ディスプレイ・デバイスにおいて、
   前記少なくとも１つの制御部が、前記拡張現実画像の周囲に、暗化領域を設けるために、前記不透明フィルターの内前記拡張現実画像を包囲する画素に対して、不透明度を増大させる、光学透過頭部装着ディスプレイ・デバイス。
6. 請求項１〜５のいずれか一項に記載の光学透過頭部装着ディスプレイ・デバイスにおいて、
   前記少なくとも１つの制御部が、前記拡張現実画像のために周辺キューを描く(depict)ために、前記更に周辺に広がる角度範囲にある前記不透明フィルターの画素に対して、不透明度を増大させる、光学透過頭部装着ディスプレイ・デバイス。
7. 請求項１〜６のいずれか一項に記載の光学透過頭部装着ディスプレイ・デバイスにおいて、
   前記少なくとも１つの制御部が、前記拡張現実画像の表現を描くために、前記更に周辺に広がる角度範囲にある前記不透明フィルターの画素に対して、不透明度を増大させる、光学透過頭部装着ディスプレイ・デバイス。
8. 請求項１〜７のいずれか一項に記載の光学透過頭部装着ディスプレイ・デバイスにおいて、
   前記少なくとも１つの制御部が、不透明度の漸次遷移を行うように、前記不透明フィルターを制御する、光学透過頭部装着ディスプレイ・デバイス。
9. 請求項８記載の光学透過頭部装着ディスプレイ・デバイスにおいて、
   前記拡張現実画像が、前記ユーザーの視野の拡張現実表示領域に及び、前記視野の拡張現実表示領域が境界を有し、
   前記拡張現実画像の第１部分が、前記拡張現実画像の第２部分よりも、前記境界から離れており、
   前記少なくとも１つの制御部が、前記漸次遷移を行うために、前記拡張現実画像の後ろにあり前記境界から離れている画素に対するよりも、前記拡張現実画像の後ろにあり前記境界に近い画素に対して、低い不透明度を与えるように、前記不透明フィルターを制御する、光学透過頭部装着ディスプレイ・デバイス。
10. 請求項８記載の光学透過頭部装着ディスプレイ・デバイスにおいて、
    前記拡張現実画像の一部が前記境界において切除されるとき、前記少なくとも１つの制御部が、前記第１視野の前記拡張現実表示領域の外側にあり、前記境界を越えて前記拡張現実の連続性を表現する画素に対して、高い不透明度を与えるように、前記不透明フィルターを制御する、光学透過頭部装着ディスプレイ・デバイス。
11. 請求項１〜１０のいずれか一項に記載の光学透過頭部装着ディスプレイ・デバイスにおいて、
    前記制御部が、前記第１角度範囲の外側かつ前記第２角度範囲の内側である視野の周辺領域において、拡張現実画像の低解像度および焦点はずれバージョンを、前記不透明フィルターを用いて表示することを特徴とする、光学透過頭部装着ディスプレイ・デバイス。