JP7226828B2 - 強化現実ウェアラブルビジュアライゼーション - Google Patents

Description

［関連出願の相互参照］
本願は２０１８年６月１９日付提出の米国特許出願第１６／０１２７４７号明細書および２０１７年６月２０日付提出の米国特許出願第６２／５２２６７５号明細書の利益を主張し、また米国特許第９５８４７７８号明細書および米国特許出願第１５／４５８００９号明細書に関連するものであり、これらの出願の内容は全て、引用により、あらゆる目的のために全体として本願に明示的に組み込まれるものとする。

［発明の属する技術分野］
本発明は、概して、ビデオ画像およびデジタル画像およびデータを処理する装置およびネットワークであって、こうしたデータの生成、送信、切り替え、割り当て、記憶および表示を行い、さらにアレイ、例えばセンシングアレイおよび空間光変調器において非ビデオデータおよび非ピクセルデータの処理を行う装置およびネットワーク、ならびに強化現実ウェアラブルビジュアライゼーションのシステムおよび方法のためのこうしたデータの適用および使用に関しており、当該システムおよび当該方法は、設計要求に対して或る程度適切に、センサデータの特にリアルタイムでの処理、およびコンピュータが生成した仮想の画像情報の計算、現実の画像情報および合成もしくはデジタルの画像情報または記憶されているデジタルの画像情報の２Ｄもしくは３Ｄの透視ビューの統合の計算を行う能動のデバイスシステムへの要求を低減すべく、受動光学システムおよび受動光学部品を使用することができるよう、画像の捕捉、送信、割り当て、分割、編成、記憶、引渡し、ピクセル信号もしくはデータ信号の表示および投影、またはこうした情報もしくは信号の集成もしくは集合化を行う。

［発明の背景］
背景欄において検討する主題は、背景欄に言及されているからといって単なる従来技術と見なされてはならない。同様に、背景欄に言及される問題点または背景欄の主題に関連する問題点は、従来技術において先行して認識されているものと見なされてはならない。背景欄の主題は、それ自体が発明ともなりうる種々のアプローチを表現しているのみである。

本発明の実施形態は、孤立した解決手段ではなく、拡張現実（ＡＲ）および仮想現実（ＶＲ）の２つの関連分野の態様を導出してこれらを組み合わせるものであり、当該「変容現実」分野とは、本明細書では、双方の分野の従来技術の臨界的な問題点および限界を解決する統合ウェアラブルＥＲ手段を提起および提供するための強化現実（ＥＲ）をいう。

本願に組み込まれている特許参考文献には、広汎なＥＲ手段に使用可能な技術が開示されている。当該技術は、広汎な用途のための包括的かつ専門的な構成を用いて説明されている。

ＥＲには、本願に組み込まれている参考文献に開示された特徴の全範囲を必要としない１つもしくは複数の用途カテゴリが存在しうる。幾つかの用途カテゴリでは、必要でない幾つかの性能メトリックおよび特徴により、当該用途にこれらを含めることの保証となる充分な他の価値が追加されないまま、付加的な費用および複雑性が追加されてしまうことがある。

しかし、所望の特徴の獲得に対して、他の特徴の各部分の除去もしくは調整をつねに簡単に行えるわけではない。幾つかの文脈では、現実世界環境に対するイマージョンおよびキャリブレーションを可能にし、さらに従来のＡＲおよびＶＲの手段よりも優れた重要な動作特徴を含む、ウェアラブルＥＲビジュアライゼーション手段を提供することが所望されうる。

現実世界環境へのイマージョンおよびキャリブレーションを可能にし、さらに従来のＡＲおよびＶＲの手段よりも優れた重要な動作特徴を含む、ウェアラブルＥＲビジュアライゼーション手段を提供するシステムおよび方法を開示する。

発明の以下の概要は、信号処理に関する幾つかの技術的特徴の理解を可能とするために設けたものであり、本発明の完全な説明を意図していない。発明の種々の態様の完全な理解は、明細書、特許請求の範囲、図面および要約の全てを総体として捉えることによって達成可能となる。

本発明の実施形態には、統合ピクセル信号「変調器」の構成要素を個別の信号処理段に分解して、コンパクト化可能または空間的に分離可能な通信型ネットワークとすることが含まれうる。動作上最も基本的なバージョンとして、典型的には統合ピクセル変調器として実現されるピクセル論理「状態」符号化部と、これと別個の色変調段と、さらにこれらと別個の強度変調段とを含む、３段の「ピクセル信号処理」シーケンスが提案される。さらに、下位段および選択手段を含み、かつマグネトフォトニクスシステムの効率的な構成のためにより詳細にかつ特別に調整される、より詳細なピクセル信号処理システムが形成され、当該ピクセル信号処理システムは、１）バルク光、好ましくは不可視のＮＩＲを適切な（１つもしくは複数の）モードに変換し、チャネル化アレイへ放射して第２段へ供給する、効率的な照明源段、２）ピクセル論理処理符号化部、これに続く、３）選択手段としての、不可視のエネルギのフィルタリングおよびリカバリ段、４）選択手段としての、属性、例えば信号分割およびモード変更を改善もしくは変更する信号変更段、５）周波数もしくは波長の変調もしくはシフトならびに付加的な帯域幅およびピーク強度の管理部、６）選択手段としての、信号増幅部もしくは信号利得部、７）選択手段としての、所定のＭＯ型ライトバルブの切り替えを補完するアナライザ、８）選択手段としての、ピクセル信号処理および分配のための所定のワイヤレス部（段）の構成、から成る。付加的に、当該システムの、全光ネットワークの一バージョンおよび全光ネットワークへの経路を提供するＤＷＤＭ型構成が提案され、これには大きな付随費用が伴うが、これにより得られる有効性は、動作中および記録時の双方の画像情報の処理を特に動機づけし、いっそう効率化することである。最後に、新たなハイブリッドマグネトフォトニクスのデバイスおよび構造が提案され、そのほか、本開示のシステムにとってこれまで実用的でなかったデバイスおよび構造がピクセル信号処理システムの最大利用のために可能となり、これに関して、この種のシステムは、磁気光学効果と非磁気光学効果（例えば緩慢光の効果および逆磁気光学効果）とのハイブリッド化に基づく新たなデバイスおよび／または改善されたバージョンのデバイスが含まれ、全ての用途に対して殆どではないにせよ多くのＭＰＣ型デバイスを改善する、新たな基本的スイッチおよび新たなハイブリッドの２Ｄおよび３Ｄの光子結晶構造型が実現されるように最適に構成される。

本願に組み込まれている特許参考文献では、典型的には統合ピクセル信号「変調器」の部品を個別の信号処理段へ分解する新たなクラスのディスプレイシステムが提案されている。つまり、基本論理「状態」が統合ピクセル変調器において典型的に実現され、当該統合ピクセル変調器が色変調段から分離されており、当該色変調段は強度変調段から分離されている。これは、可視画像ピクセル変調の問題点に適用される通信信号処理アーキテクチャと考えることができる。典型的には、３つの信号処理段と３つの個々の装置部品および装置動作とが提案されるが、偏光特性、従来の信号から他の形態への、例えばポラリトンおよび表面プラズモンへの変換、信号の重畳（例えば他の信号データに重畳された基本ピクセルのオンオフ状態）等を含めた付加的な信号制御動作も追加可能かつ考察可能である。実質的に受動材料の後方段から成る比較的「鈍い」ディスプレイ機器を提供しているブロードバンドネットワークを横断して高度に分散されたビデオ信号処理アーキテクチャと、大規模アレイ内の個々のデバイス間で密接に関連する同種のデバイス上で個別の信号処理ステップを連携して実現するコンパクトな光子集積回路デバイスとが、きわめて重要である。

ウェアラブル強化現実ビジュアライゼーションシステムは、現実世界信号のセットを形成する現実世界プロセッサ、ヒト視覚系の可視スペクトルよりも下方の１つもしくは複数の波長を有する非現実世界強化信号のセットを形成する強化世界発生器、および現実世界信号のセットおよび非現実世界強化信号のセットからの各寄与分のセットを組み合わせて強化世界ビジュアライゼーションを形成するバックプレーンを含み、当該バックプレーンは、可視スペクトルよりも下方の寄与分のセットを可視スペクトルの１つもしくは複数の波長へアップコンバートする。

ウェアラブルデバイスにおける強化現実ビジュアライゼーションを形成する方法は、ａ）ウェアラブルデバイスの環境から現実世界信号のセットを形成するステップ、ｂ）ヒト視覚系の可視スペクトルよりも下方の１つもしくは複数の波長を有する非現実世界強化信号のセットを形成するステップ、ｃ）現実世界信号のセットおよび非現実世界強化信号のセットからの各寄与分のセットを組み合わせて強化世界ビジュアライゼーションを形成するステップ、ｄ）可視スペクトルよりも下方の寄与分のセットを可視スペクトルの１つもしくは複数の波長へアップコンバートするステップを含む。

一実施形態として、ウェアラブルＥＲビジュアライゼーションのシステム、方法およびアーキテクチャは、現実世界プロセッサ、強化世界（または仮想世界）発生器、およびプロセッサおよび発生器からの各寄与分を組み合わせてＥＲビジュアライゼーションを形成する「反ストークス型」アップコンバートバックプレーンを含むことができる。ＥＲ発生器は、ＩＲ画像の信号を定義するためにＩＲを処理し、次いでＩＲ画像を可視の（幾つかのケースでは色マッピングされる）仮想画像へアップコンバートする反ストークス型放出体の協同セットを処理するファラデー反ストークスディスプレイ（ＦＡＳＤ）アーキテクチャを実現している。現実世界放射と仮想画像とは、ヒト視覚系、例えば観察者の視覚系に提示されるＥＲ画像を作成するために合成可能である。

本明細書に記載したいかなる実施形態も、単独でまたは相互に共に任意に組み合わせて使用可能である。また、本明細書に包含される発明は、当該概要欄または要約欄には部分的にしか言及もしくは示唆されない実施形態または全く言及もしくは示唆されない実施形態を含みうる。発明の種々の実施形態は従来技術の種々の欠点によって動機づけられうるものであり、このことは本明細書の１つもしくは複数の箇所で検討もしくは示唆されうるが、発明の実施形態はこれらの欠点のそれぞれに必ずしも対処するものではない。言い換えれば、発明の種々の実施形態が、本明細書において検討されうる種々の欠点に対処可能である。幾つかの実施形態は本明細書において検討されうる欠点のうち幾つかもしくは１つのみの欠点に部分的にしか対処していないことがあり、別の幾つかの実施形態はこれらの欠点に全く対処していないことがある。

本発明の他の特徴、利益および利点は、明細書、図面および特許請求の範囲を含めた本開示を精査することにより明らかとなるであろう。

添付の各図面では個々の図を通して同一の要素または同様の機能を有する要素に同様の参照番号を付してあり、各図は本明細書に組み込まれてその一部を成す。各図はさらに、発明の詳細な説明と共に本発明を例示するものであり、本発明の基本方式を説明するために用いる。

本発明の実施形態の実現に使用可能なイメージングアーキテクチャを示す図である。 光子信号変換器を信号プロセッサとして用いる、図１のイメージングアーキテクチャの一バージョンを実現する光子信号変換器の一実施形態を示す図である。 図２の光子信号変換器の一般的な構造を示す図である。 強化現実（ＥＲ）ウェアラブルビジュアライゼーション手段を実現する図１のイメージングアーキテクチャを用いた特定の実施形態を示す図である。 図４のＥＲウェアラブルビジュアライゼーション手段において使用される反ストークス型アップコンバートバックプレーンの一実施形態を示す図である。

本発明の実施形態は、デバイスおよびシステムの設計がこれらのプロセスの最適でない動作段の妥協された機能から解放され、代わりにピクセル信号処理およびアレイ信号処理段が各段に最良に適するデバイスの最適な機能を可能とする動作段へ分解されるように、ヒト視覚系または非表示データアレイ出力機能部への捕捉、分配、編成、送信、記憶および提示のプロセスを再考するためのシステムおよび方法を提供するものであり、このことは、実際には、当該デバイスおよび当該プロセスが最も効率的に動作し、この場合にローカルとロングホールとの双方でいっそう効率的な全ての光信号処理を可能にする純効果が得られる「利用周波数」間の前後移動のために有効周波数もしくは有効波長を変調もしくはシフトさせる段を設けうる周波数で、デバイスを設計し動作させることを意味する。以下の説明は、当該分野の通常の知識を有する者が発明を形成および利用できるように提示するものであり、特許出願およびその要求の文脈において設けられる。

好ましい実施形態に対する種々の修正形態ならびに本明細書に記載した一般的な基本方式および特徴は、当該分野の技術者に容易に理解されるであろう。つまり、本発明は、図示の実施形態への限定を意図するものではなく、本明細書に記載した基本方式および特徴に一致する最も広い観点にしたがう。

［定義］
別様の定義がないかぎり、本明細書に使用している全ての語（技術用語および学術用語を含む）は、ここでの包括的な発明コンセプトが属する当該分野の通常の知識を有する者が通常理解しうるのと同じ意味を有する。また、語、例えば通常使用されている辞書に定義されている語は、関連技術および本開示の文脈における意味に一致する意味を有するものと解釈されるべきであり、本明細書に明示的に定義されていないかぎり、観念的な意味でもしくは過度に形式的な意味では解釈されないことを理解されたい。

以下の定義は、発明の幾つかの実施形態に関して記載する幾つかの態様に当てはまる。同様に、当該定義は、本明細書において拡張可能である。

本明細書に使用しているように、「または」なる語は「および／または」を含み、「および／または」なる語は、関連して列挙された１つもしくは複数の項目の任意のあらゆる組み合わせを含む。例えば「少なくとも１つの」なる表現は、要素の列挙に先行する場合、要素の列挙全体を修飾しており、列挙された個々の要素を修飾しているのではない。

本明細書に使用しているように、「１つの」、「或る」および「前記１つの」なる単数形の語は、文脈が明瞭に別様のことを言明していないかぎり、複数の指示を含む。したがって例えば、１つの対象物の指示は、文脈が明瞭に別様のことを言明していないかぎり、複数の対象物を含むことができる。

また、本明細書の説明およびこれに続く特許請求の範囲を通して使用しているように、「～に」の意味は、文脈が明瞭に別様のことを言明していないかぎり、「～内に」および「～上に」を含む。或る要素が別の要素「上に」あるという場合、当該或る要素は当該別の要素の直接上方にあってもよいし、両者間に介在要素が存在してもよい。対して、或る要素が別の要素の「直接上方に」あるという場合には、介在要素は存在しない。

本明細書に使用しているように、「セット」なる語は１つもしくは複数の対象物の集合体をいう。したがって、対象物のセットには、単一の対象物または複数の対象物が含まれうる。また、１セットの対象物として、セットの構成要素をいうこともできる。１セットの対象物は同じであっても異なっていてもよい。幾つかのケースでは、１セットの対象物は１つもしくは複数の特性を共有可能である。

本明細書に使用しているように、「隣接する」なる語は、近傍にあることまたは近接していることをいう。隣接する対象物は、相互に離間していてもよいし、実質的にもしくは直接に相互に接触していてもよい。幾つかのケースでは、隣接する対象物は相互に結合可能であり、または相互に一体となるように形成可能である。

本明細書に使用しているように、「接続する」、「接続された」および「接続している」なる語は、直接の取付けまたは連結をいう。接続された対象物は、文脈の示す通り、中間対象物またはそのセットを全く有さないかまたは実質的に有さない。

本明細書に使用しているように、「結合する」、「結合された」および「結合している」なる語は、動作上の接続または連結をいう。結合された対象物は、相互に直接に接続されていてもよいし、例えば中間対象物のセットを介して相互に間接的に接続されていてもよい。

本明細書に使用しているように、「実質的に」および「実質的な」なる語は、相当の程度または相当の範囲をいう。事象もしくは条件に関連して用いられる場合、当該語は、当該事象もしくは条件が正確に発生するケース、ならびに当該事象もしくは条件が近い近似で、例えば典型的なトレランスレベルまたは本明細書に記載した実施形態での変動を考慮した近似で発生するケースをいうことができる。

本明細書に使用しているように、「選択手段としての」および「選択手段として」なる語は、続いて記載される事象もしくは条件が発生しても発生しなくてもよいこと、また当該記載が当該事象もしくは条件の発生するケースと発生しないケースとを含むことを意味する。

本明細書に使用しているように、「機能デバイス」なる語は、エネルギ供給構造からエネルギを受け取るエネルギ消費構造を広く意味する。機能デバイスなる語は、一方向構造および二方向構造を包含する。幾つかの構成では、機能デバイスは、ディスプレイの部品もしくは要素であってよい。

本明細書に使用しているように、「ディスプレイ」なる語は、表示成分を形成する構造または方法を広く意味する。表示成分とは、表示画像基本要素前駆体から生成された画像成分信号の処理によって形成される表示画像成分の集合体である。画像基本要素前駆体は、他の文脈では、ピクセルもしくはサブピクセルと称されることもある。不都合なことに、「ピクセル」なる語は、ピクセルもしくはサブピクセルからの出力および表示画像の成分を含む、多様な意味の展開を有する。本発明の幾つかの実施形態には、これらの要素を分離し、何らかの独立した処理のための付加的な中間構造および中間要素を形成する構成が含まれるが、こうした全ての要素もしくは構造がピクセルと称されるため混乱をまねきかねないので、本明細書においては、特定の部品もしくは要素を一義的にいうために種々の語を用いている。表示画像基本要素前駆体は、中間処理システムが受信可能であってそこから表示画像基本要素のセットを形成するための画像成分信号を放出する。表示画像基本要素の集合体は、ディスプレイを通した直接の観察によってまたは投影システムによって反射されて提示される際に、意図的な観察所条件のもとで、ヒト視覚系に画像を形成する。当該文脈における信号とは、表示画像基本要素前駆体であるかまたはこれと等価である、信号発生器の出力を意味する。重要なのは、処理が所望されるかぎり、自由空間への送信がない場合にも信号が種々の信号保持伝搬チャネル内の信号として保持され、ここで、当該信号が拡大波面を形成し、他の源からの、自由空間内を同様に伝搬する他の拡大波面と結合されることである。信号は、左右像を有さず、鏡像も有さない（つまり、反転信号、上下逆信号またはフリップ信号は存在せず、一方、画像および画像部分は種々の鏡像を有する）。また、画像部分は直接の加法にはしたがわず（１つの画像部分を別の画像部分に重畳することは可能であるとしても困難であり、結果を予測できない）、画像部分の処理はきわめて困難となりうる。信号発生器として使用可能な多様な技術が存在し、種々の技術により種々の特性もしくは利益および種々の欠点を有する信号が提供される。本発明の幾つかの実施形態では、任意の特定の技術の欠点を最小化しつつ各技術の組み合わせからの利点を得ることのできるハイブリッドのアセンブリもしくはシステムが得られる。本願に組み込まれている米国特許第９５８４７７８号明細書には、こうした技術を有利に組み合わせ可能なシステムおよび方法が記載されており、ここで、表示画像基本要素前駆体なる語は、ピクセル技術のピクセル構造およびサブピクセル技術のサブピクセル構造をカバーしている。

本明細書に使用しているように、「信号」なる語は、信号発生器、例えば表示画像基本要素前駆体の出力であって、信号の生成時点の信号発生器の状態に関する情報を搬送するものである。イメージングシステムでは、各信号とは、表示画像基本要素のうち、意図された条件のもとでヒト視覚系に知覚された際に画像もしくは画像部分を形成する部分である。この意味で、信号とは、符号化されたメッセージであって、つまり、通信チャネルにおける、メッセージを符号化した表示画像基本要素前駆体の状態のシーケンスである。表示画像基本要素前駆体のセットからの同期信号の集合体により、画像のフレーム（またはフレーム部分）が定義されうる。各信号は、１つもしくは複数の他の信号の１つもしくは複数の特性に組み合わせ可能な特性（色、周波数、振幅、タイミング、ただし左右像を含まない）を有しうる。

本明細書に使用しているように、「ヒト視覚系」（ＨＶＳ）なる語は、直接の観察または投影のいずれかによる、複数の個別の表示画像基本要素から成る画像の知覚およびビジュアライゼーションに付随する生物学的かつ心理学的なプロセスをいう。こうしたＨＶＳは、伝搬される各表示画像基本要素の合成体を受容し、受容および処理した当該基本要素に基づいて画像の概念を形式化する、人間の目、視神経および人間の脳を意味する。ＨＶＳは、厳密には全ての人間にとって同じではないが、人口の大きな割合に対して一般的な類似性が存在する。

本明細書に使用しているように、「赤外放射」、「赤外の」または「ＩＲ」なる語は、可視放射より長い波長を有する電磁放射を意味する。ＩＲの範囲には約７００ｎｍ（約４３０テラヘルツもしくは約４３０ＴＨｚ）から約１０００００ｎｍ（約３００ＧＨｚ）が含まれ、これは１．２４ｍｅＶから１．７ｅＶの光子エネルギを有する。幾つかの状況では、近赤外線（７５ｎｍ～１４０ｎｍ）、短波長赤外線（１４０ｎｍ～３００ｎｍ）、中波長赤外線（約３００ｎｍ～８００ｎｍ）、長波長赤外線（約８００ｎｍ～１５００ｎｍ）および遠赤外線（約１５００ｎｍ～１０００００ｎｍ）を含む、ＩＲの特定の下位部分をいうことが所望されることもある。これに対して、可視スペクトルは、電磁スペクトルのうち人間の目またはＨＶＳに可視の部分である。当該波長範囲の電磁放射は可視光と称され、または単に光と称されることもある。典型的な人間の目は、約３９０ｎｍから７００ｎｍまでの波長に応答する。これは、周波数でいえば、約４３０ＴＨｚ～７７０ＴＨｚ近傍の帯域に相当する。

本明細書に使用しているように、「反ストークス型放出体」なる語は、第１のエネルギレベルの１つもしくは複数の光子（フォトン）またはフォノンの吸収、受容もしくは印加に応答して、反ストークスシフト効果により、より高い第２のエネルギレベルの光子もしくはフォノンを放出、送出もしくは形成する材料、アセンブリまたは構造をいう。当該反ストークス型放出体は、例えばナノ粒子合成物のアップコンバート効果によって示されるような光子アップコンバージョンプロセスを含みうる材料、アセンブリまたは構造を含みうる。本明細書に提示した幾つかの実施形態では、当該反ストークス型放出体は、赤外範囲における第１のエネルギレベルと可視範囲における第２のエネルギとを有する光子もしくはフォノンによって動作する。「反ストークス型」変換とは、ここでは、より低いエネルギもしくはより低い周波数の光子を、既知の動作機構または将来発見される何らかの動作機構によってより高いエネルギもしくはより高い周波数の光子へアップコンバートする「アップコンバージョン」なる語と等価として用いている。「反ストークス」とは、歴史的に最初であって最も良く知られた周波数変換効果が、エネルギが失われて放出光の周波数も低下する吸収プロセスもしくは放出プロセスにより、より高いエネルギもしくはより高い周波数の光子がより低いエネルギもしくはより低い周波数の光子へ変換される、ジョージ・ストークスの名に由来する「ストークスシフト」であることに基づいている。エネルギは消費されるが、当該効果は最終的に所定の用途に対する有用性を有することが実証されている。これと厳密に等価であるが反対の吸収もしくは放出のパラダイムが「反ストークスシフト」であり、「反ストークス」とは、本明細書では、より早期のより良く知られた現象に対する対称性を強調するために用いている。エネルギは典型的には入力から出力までの間に失われるが、にもかかわらず、種々の物理的機構の動作によっては純出力光子が純入力格子よりも高い周波数を有し、また種々のプロセスの効率（損失率）は、周波数微分（アップコンバージョン、反ストークス型）それ自体のためにではなく低効率であるか、またはダウンコンバージョンプロセス（ストークス型）よりも多くのエネルギを要する。

本明細書に使用しているように、「ファラデー効果」または「ファラデー回転」なる語は、特定の条件のもとで、磁界に応答して所望の量の偏光回転を生じさせるために使用可能な磁気光学（ＭＯ）現象をいう。本明細書に記載した幾つかの実施形態には、反ストークス型放出体と協働して使用可能なファラデー変調器をＩＲスペクトルへの電磁放射の切り替えの制御に使用するイメージング部品が含まれうる。

図１には、本発明の実施形態の実現に使用可能なイメージングアーキテクチャ１００が示されている。本発明の幾つかの実施形態は、人間がヒト視覚系（ＨＶＳ）によって信号生成構造の大きなセットから知覚しうる画像の形成にアーキテクチャ１００が含まれることを意図している。アーキテクチャ１００は、複数の表示画像基本要素前駆体（ＤＩＰＰ）１１０_ｉ［ｉ＝１～Ｎ（ＮはＤＩＰＰの１から１０，１００，１０００までの任意の整数であってよい）］を含む画像エンジン１０５を含む。各ＤＩＰＰ１１０_ｉは、複数の画像成分信号１１５_ｉ［ｉ＝１～Ｎ］（各ＤＩＰＰ１１０_ｉからの個々の画像成分信号１１５_ｉ）を生成するように適切に作動され、変調される。こうした画像成分信号１１５_ｉは、複数の表示画像基本要素（ＤＩＰ）１２０_ｊ［ｊ＝１～Ｍ、ＭはＮ未満の整数またはＮに等しい整数またはＮ超の整数］が形成されるように処理される。ＤＩＰ１２０_ｊの集成体もしくは集合体（例えば同じ空間および断面領域を占有している１つもしくは複数の画像成分信号１１５_ｉ）は、ＨＶＳに知覚されると、表示画像１２５（または例えばアニメーション効果もしくは動画効果のための一連の表示画像）を形成する。ＨＶＳは、画像が適切なフォーマットで、例えばディスプレイ上のアレイまたはスクリーン上もしくは壁上もしくは他の面上の投影画像として提示されると、表示画像１２５をＤＩＰ１２０_ｊから再構成する。これは、種々の色もしくはグレースケールシェーディングを有する、観察者（およびＨＶＳ）までの距離に対して充分に小さい小形状（例えばドット）のアレイからＨＶＳが画像を知覚する際のなじみ深い現象である。よって、表示画像基本要素前駆体１１０_ｉは、非合成表色系から画像成分信号を形成するデバイスに関連する場合には、通常ピクセルと称される構造に相当し、合成表色系から画像成分信号を形成するデバイスに関連する場合には、通常サブピクセルと称される構造に相当する。多くのなじみ深いシステムが、合成表色系、例えばＲＧＢの画像成分信号、各ＲＧＢ要素からの１つの画像成分信号（例えばＬＣＤセルまたはこれに類似のもの）を使用している。不都合なことに、ピクセルおよびサブピクセルなる語は、イメージングシステムにおいては、多様な概念、例えばハードウェアＬＣＤセル（サブピクセル）、セル（サブピクセル）から放出された光、およびＨＶＳに知覚される信号（典型的にはこうしたサブピクセルは混合され、観察のために意図された条件のセットのもとではユーザに知覚されないように構成されている）をいうために用いられている。アーキテクチャ１００ではこうした種々の「ピクセルまたはサブピクセル」を区別しているので、これら種々の成分要素をいうために種々の用語を採用している。

アーキテクチャ１００は、ＤＩＰＰ１１０の１つもしくは複数のサブセットの種々の技術を含む画像エンジン１０５を有するハイブリッド構造を含むことができる。つまり、ＤＩＰＰの第１のサブセットは、第１の色技術、例えば画像成分信号の第１のサブセットを形成するための合成色技術を使用可能であり、ＤＩＰＰの第２のサブセットは、第１の色技術とは異なる第２の色技術、例えば画像成分信号の第２のサブセットを形成するための異なる合成色技術または非合成色技術を使用可能である。これにより、種々の技術の組み合わせを表示画像基本要素のセットおよび表示画像１２５の形成に使用でき、これらはいずれかの単独の技術によって形成される場合に比べてより優れたものとなりうる。

アーキテクチャ１００はさらに、入力として画像成分信号１１５_ｉを受信し、出力として表示画像基本要素１２０_ｊを形成する信号処理マトリクス１３０を含む。本発明の一実施形態の特定の構成の適性および目的に応じて、マトリクス１３０の多くの可能配置が存在する（幾つかの実施形態には１次元アレイが含まれうる）。一般に、マトリクス１３０は複数の信号チャネル、例えばチャネル１３５～チャネル１６０を含む。マトリクス１３０の各チャネルに対して多様な可能配置が存在する。各チャネルは、例えば個別の光ファイバチャネルから得られる光学分離によって他のチャネルから充分に分離されており、したがって、１つのチャネルの信号が当該構成もしくは当該実施形態でのクロストーク閾値を超えて他の信号に干渉することはない。各チャネルは１つもしくは複数の入力側および１つもしくは複数の出力側を有する。各入力側は、ＤＩＰＰ１１０から画像成分信号１１５を受信する。各出力側は、表示画像基本要素１２０を形成する。各チャネルは、入力側から出力側へ純粋な信号情報を配向し、チャネル内の任意の点での当該純粋な信号情報は、原画像成分信号１１５、１つもしくは複数の処理された原画像成分信号のセットの分離、および／または１つもしくは複数の処理された原画像成分信号のセットの集成を含むことができ、各「処理」には、１つもしくは複数の信号の１つもしくは複数の集成または分離が含まれうる。

当該文脈では、集成とは、Ｓ_Ａ個［Ｓ_Ａ＞１］のチャネルからの信号（当該集成される信号自体は、原画像成分信号、処理された信号またはその組み合わせのいずれであってもよい）をＴ_Ａ個［１≦Ｔ_Ａ＜Ｓ_Ａ］のチャネルへ結合することをいい、分離とは、Ｓ_Ｄ個［Ｓ_Ｄ≧１］のチャネルからの信号（当該分離される信号自体は、原画像成分信号、処理された信号またはその組み合わせのいずれであってもよい）をＴ_Ｄ個［Ｓ_Ｄ＜Ｔ_Ｄ］のチャネルへ分割することをいう。Ｓ_Ａは、例えば集成がない初期の分離によりＮを上回ることがあり、Ｓ_Ｄは、後の集成によりＭを上回ることがある。幾つかの実施形態では、Ｓ_Ａ＝２，Ｓ_Ｄ＝１かつＴ_Ｄ＝２である。ただし、アーキテクチャ１００は、充分に強い信号を形成できるように多数の信号を集成可能であり、またこれを多数のチャネルに分離可能であって、充分な各強度が当該構成において使用される。信号の集成は、チャネルの集成（例えば接合、併合、結合またはこれらに類似のもの）または隣接するチャネルが伝搬する信号の接合、併合、結合またはこれらに類似のものを可能にする当該隣接するチャネルの他の配置に追従し、信号の分離は、チャネルの分離（例えば分割、個別化、除算またはこれらに類似のもの）または他のチャネルが伝搬する信号の分割、個別化、除算またはこれらに類似のものを可能にする当該他のチャネルの配置に追従する。幾つかの実施形態では、マトリクス１３０を通って伝搬される内容の信号状態を保持しつつ、２つ以上の信号を複数のチャネルに集成する（または１つのチャネルの１つの信号を複数のチャネルの複数の信号に分離する）、チャネルの特定の構造または要素を設けることができる。

代表としての複数のチャネルが図１に示されている。チャネル１３５は、１つの入力側および１つの出力側を有するチャネルである。チャネル１３５は、１つの原画像成分信号１１５_ｋを受信し、１つの表示画像基本要素１２０_ｋを形成する。このことは、チャネル１３５が何らの処理も実行できないということを意味しない。例えば、ここでの処理には、物理的特性の変換が含まれうる。チャネル１３５の入力側の物理的寸法は、画像形成信号１１５_ｋを形成する相応のもしくは関連のＤＩＰＰ１１０の活性領域に適合するもしくはこれを完成させるように設計されている。出力側の物理的寸法は入力側の物理的寸法に一致する必要はなく、つまり、出力側は相対的に先細となっても拡大されてもよく、または円形の外周を有する入力側が角形の外周を有する出力側へ繋がっていてもよい。他の変換には信号の再配置が含まれ、画像合成信号１１５_１を画像合成信号１１５_２の近傍で開始させることができ、チャネル１３５が形成した表示画像基本要素１２０_１を先行して「遠隔」画像成分信号１１５_ｘから形成された表示画像基本要素１２０_ｘの隣に配置することができる。これにより、挿入信号もしくは基本要素において、形成に使用される技術とは別の大きなフレキシビリティが得られる。個々のもしくは集合的な物理的変換のための手段は、マトリクス１３０の各チャネルに対する選択手段である。

チャネル１４０として、一対の入力側と（当該入力側対を集成する）１つの出力側とを有するチャネルが示されている。チャネル１４０は、２つの原画像成分信号、例えば信号１１５_３および信号１１５_４を受信し、例えば１つの表示画像基本要素１２０_２を形成する。チャネル１４０では２つの振幅の加算が可能であり、これにより基本要素１２０_２はどちらの成分信号よりも大きな振幅を有する。また、チャネル１４０では、成分信号の挿入もしくは多重化により、タイミングの改善が可能となる。各成分信号は３０Ｈｚで動作可能であるが、得られる表示画像基本要素１２０_２は例えば６０Ｈｚで動作可能である。

チャネル１４５として、１つの入力側と（当該入力側を分離する）一対の出力側とを有するチャネルが示されている。チャネル１４５は、１つの原画像成分信号、例えば信号１１５_５を受信し、一対の表示画像基本要素、すなわち基本要素１２０_３および基本要素１２０_４を形成する。チャネル１４５では、例えば、状況により振幅を除いた分離信号の多くの特性が２つの並列のチャネルに分割されたものとして、１つの信号が再構成可能となる。振幅が所望の通りでない場合にも、上記したように、振幅は集成によって増大させることができ、この場合、分離によって、図１に示した他の代表のチャネルに示されているような充分に強い信号が得られる。

チャネル１５０として、３つの入力側と１つの出力側とを有するチャネルが示されている。チャネル１５０は、任意の数の独立した入力側が、仮想的に、例えば１つの基本要素１２０_５を形成するための１つのチャネルの処理された信号へ集成可能であることを強調するために示されている。

チャネル１５５として、１つの入力側と３つの出力側とを有するチャネルが示されている。チャネル１５５は、１つのチャネル（およびその内部の信号）が、仮想的に、任意の数の独立した、ただし関連づけられた出力側および基本要素のそれぞれに分離可能であることを強調するために示されている。チャネル１５５は、他の観点で、すなわち出力側に形成される基本要素１２０の振幅の点でチャネル１４５とは異なっている。チャネル１４５では、各振幅は等振幅に分割可能である（しかし、幾つかの分離構造では、可変の振幅分割が可能である）。チャネル１５５では、基本要素１２０_６は基本要素１２０_７，１２０_８の振幅に等しくなりえない（例えば基本要素１２０_６は基本要素１２０_７，１２０_８のそれぞれの約２倍の振幅を有しうる。なぜなら全ての信号が同じノードで分離される必要はないからである）。最初の分割によって基本要素１２０_６を形成する信号の１／２が得られ、さらに、基本要素１２０_７および基本要素１２０_８のそれぞれに対して二分により１／２の信号が得られる。

チャネル１６０として、３つの入力側の集成と一対の出力側の分離との双方を含むチャネルが示されている。チャネル１６０は、１つのチャネルが信号の集成および信号の分離の双方を含みうることを強調するために示されている。したがって、チャネルは、必要もしくは所望に応じて、複数の集成領域と複数の分離領域とを有することができる。

つまり、マトリクス１３０は、集成および分離を含む処理段１７０の物理的特性および信号特性の操作に基づく信号プロセッサである。

幾つかの実施形態では、マトリクス１３０は、チャネルを定義する物理的構造の精密な編組プロセス、例えば、数千から数万のチャネルを集合的に定義した光ファイバのセットに対するジャカード編組プロセスによって形成可能である。

広くは、本発明の実施形態には、基本要素生成システム（例えばマトリクス１３０）に結合された画像生成段（例えば画像エンジン１０５）が含まれうる。画像生成段は、Ｎ個の表示画像基本要素前駆体１１０を含む。表示画像基本要素前駆体１１０_ｉのそれぞれは、対応する画像成分信号１１５_ｉを生成する。当該画像成分信号１１５_ｉは、基本要素生成システムに入力される。基本要素生成システムは、Ｍ個の入力チャネルを有する入力段１６５を含む（ＭはＮに等しくてもよいが一致する必要はなく、例えば図１では幾つかの信号がマトリクス１３０へ入力されていない）。入力チャネルの入力側は、１つの表示画像基本要素前駆体１１０_ｘから画像成分信号１１５_ｘを受信する。図１では、各入力チャネルが１つの入力側と１つの出力側とを有し、各入力チャネルが１つの原画像成分信号を入力側から出力側へ配向し、ここには入力段１６５のＭ個の入力側とＭ個の出力側とが存在する。また、基本要素生成システムは、Ｐ個の分配チャネルを有する分配段１７０を含み、各分配チャネルは１つの入力側と１つの出力側とを有する。一般的にはＭ＝Ｎであり、Ｐは構成に応じて変化しうる。幾つかの実施形態では、ＰはＮ未満であり、例えばＰ＝Ｎ／２である。当該実施形態では、分配チャネルの各入力側は入力チャネルの特定の出力側対に結合されている。幾つかの実施形態では、ＰはＮ超であり、例えばＰ＝Ｎ^＊２である。当該実施形態では、入力チャネルの各出力側は分配チャネルの特定の入力側対に結合されている。したがって、基本要素生成システムは、表示画像基本要素前駆体からの画像成分信号をスケーリングする。幾つかのケースでは複数の画像成分信号が結合されて分配チャネル内の信号とされ、他の場合には１つの画像成分信号が分割されて複数の分配チャネルに生じる。マトリクス１３０、入力段１６５および分配段１７０の多数の可能バリエーションが存在する。

図２には、図１のイメージングアーキテクチャのバージョンを実現するイメージングシステム２００の一実施形態が示されている。システム２００は、符号化信号２１０のセット２０５、例えば（ＩＲもしくはＮＩＲの周波数での）複数の画像成分信号を含み、当該セット２０５が光子信号変換器２１５へ供給され、当該光子信号変換器２１５により、デジタル画像基本要素２２５のセット２２０が、好ましくは可視周波数で、より具体的には現実世界可視イメージング周波数で、形成される。

図３には、図２の光子信号変換器２１５の一般的な構造が示されている。変換器２１５は、１つもしくは複数の入力光子信号を受信し、１つもしくは複数の出力光子信号を形成する。変換器２１５は、（１つもしくは複数の）入力光子信号の種々の特性、例えば信号論理状態（例えばオンもしくはオフ）、信号色状態（例えばＩＲから可視）および／または信号強度状態を調整する。

図４には、強化現実（ＥＲ）ウェアラブルヴィジュアライゼーション手段４００を実現する図１のイメージングアーキテクチャを用いた特定の実施形態が示されている。手段４００は単眼の構成を有しているが、他の構成として複眼の構成、例えばユーザの両目での同時使用のために調整された一対の単眼手段を有してもよい。手段４００は、幾つかの実施形態では、フロントプロジェクションを用いた強化現実（ＥＲ）光学システムとして説明可能である。ＥＲ光学系は、拡張現実および仮想現実の双方の特徴を含むことができる。

手段４００は、現実世界シーン４１５から現実世界電磁放射４１０を受信する現実世界インタフェース４０５を含む。インタフェース４０５は選択手段であり、設計目標および他の構成の詳細に基づいて放射４１０を処理する。インタフェース４１０は、存在する場合、フィルタ４２５が受信した、処理された現実世界電磁放射４２０を通過させる。

フィルタ４２５は、空間マスキングおよび周波数選択を含む複数の機能を実行する。フィルタ４２５は、放射４２０から、マスキングされた現実世界電磁放射４３０を形成する。放射４３０は、例えば序列化マトリクスとして設けられる分散反ストークス型放出体４４０のセットを含む反ストークス型バックプレーン４３５により処理される。当該放出体４４０は、電磁スペクトルの１つの領域内の電磁放射に応答する。手段４００では、当該領域は赤外スペクトルであるが、赤外スペクトル、例えば近赤外スペクトルに加えてもしくはこれに代えて、他の領域が含まれてもよい。図５には、図４に示したＥＲウェアラブルヴィジュアライゼーション手段で使用されるアップコンバートバックプレーン４３５の一実施形態が示されている。

図示したように、手段４００には、ＩＲでの使用のために調整された放出体４４０が設けられている。後述する通り、放出体４４０のセットは仮想画像を形成し、これが放射４３０に結合されて、ヒト視覚系（ＨＶＳ）のための拡張現実ビジュアライゼーション４４５を形成する。仮想画像は、ＩＲプロジェクタ４５５が赤外放射４６０を用いて放出体４４０のセット上に投影したＩＲ画像４５０に応答して形成される。ビジュアライゼーション４４５は、現実世界シーン４１５とＩＲ画像４５０との合成に応答する。

放射４１０は幾つかのＩＲ成分を含むことがしばしばある。放射４１０がいずれかの放出体４４０を活性化してしまう可能性を低減もしくは排除するために、フィルタ４２５が、放射４２０のうち動作中に放出体４４０のセット上に入射しうる部分を阻止する、マスキング領域のセットを提供している。当該構成では、放射４１０は単純に、シーン４１５と黒（放射の欠如）との交互の領域によってピクセル化される。放射４３０は、こうした、信号と（バックプレーン４３５上の放出体４４０の位置に対応する信号の欠如による）信号欠如との交互の領域を含む。

バックプレーン４３５は、多くの異なる手法で実現可能である。一実施形態では、バックプレーン４３５は放射４３０に対して透過性を有し、マスキング領域４６５が、放出体４４０間に分散されるウィンドウ４７０のセットを形成する。各ウィンドウ４７０は、放射４３０のうちマスキングされない放射部分４２０を含む部分を通過させることができる。

このように、バックプレーン４３５は、ウィンドウ４７０を通った放射４３０と、放射４６０による放出体４４０の活性化から生じる仮想画像を定義する放射とを含むビジュアライゼーション放射４７５のセットを形成する。

ハウジング４８０は、手段４００の各部品をパッケージングし、支持している。好ましくは、ハウジング４８０は、ユーザが携帯可能もしくは着用可能であって、（例えば放出体４４０が使用する可視スペクトルおよびＩＲスペクトルの一部に対して）放射を防護するパッケージを提供する。手段４００の幾つかの実施形態は、ハウジング４８０に関連するコントローラ４８５を含むことができる。コントローラ４８５は、ハウジング４８０への完全な集積、手段４００の部品への外部接続、および／またはコントローラ４８５の要素とハウジング４８０もしくは手段４００の他の要素との可変の集積を含む複数の手法において、関連づけ可能である。コントローラ４８５は、記載および提案した制御される特徴および態様ならびに制御可能な特徴および態様を手段４００の各要素が達成するための１つもしくは複数の制御信号を形成可能である。コントローラ４８５は、手段４００の制御および動作が達成されるよう、メモリから取得された命令を実現する１つもしくは複数のプロセッサを有する、プログラムを記憶した計算システムを含むことができる。

インタフェース４０５は、放射４１０の振幅変調部（例えば調光部）を含むことができ、幾つかのケースでは、当該振幅変調は、ビジュアライゼーション４４５の品質を改善するために、例えば仮想画像の平均輝度を適合させることにより、動的に行うことができる。幾つかのケースでは、インタフェース４０５は、振幅変調部に加えてもしくはこれに代えて、偏光フィルタを提供することができる。

選択手段としてのインタフェース４０５と協働するフィルタ４２５は、ＨＶＳ（ユーザ）が面している現実世界からの入射光をピクセル化する。当該ピクセル化は、バックプレーン４３５の放出体４４０のセットに対して相補的であり、これと位置整合する。

現実世界シーン４１５からのピクセル化情報は光速で更新されるが、ビジュアライゼーション４４５の品質は、仮想画像の画像品質および切替速度もしくは更新速度による影響を受ける。

この観点において、手段４００は、ファラデー反ストークス型デバイス（ＦＡＳＤ）を仮想画像エンジンとして使用している。ＦＡＳＤは、２つの部品、すなわち可視画像よりも数オーダーの規模で高速となりうる速度で不可視のＩＲ画像を形成可能なＩＲ照明装置と、ＩＲ画像の切替速度を大幅に低下させることなく不可視のＩＲ画像を可視とするアップコンバージョンを実行する放出体４４０のセットとを含む。

ＩＲ照明装置を実現する多様な手法が存在しうる。当該手法の１つは、設計選択および色構成アーキテクチャに依存してピクセル（またはサブピクセル）アレイを形成するハイブリッドマグネトフォトニクス結晶（ＭＰＣ）ピクセルアレイを提供することである。各ピクセル素子は「オン」状態および「オフ」状態を有することができ、個々の素子の当該状態は磁界およびファラデー効果を用いてきわめて高速に切り替え可能である。さらに、各状態は、符号化可能でありかつ双安定となるように磁気的にラッチ可能であり、変調器またはスイッチアレイが形成される。当該文脈においては、これは、個々の各ピクセル素子が、独立にアドレシング可能であって、所望の状態（例えばオンまたはオフ）に設定されるようきわめて高速にパルス制御可能である特性をいい、ここで、ピクセル素子は、ラッチされると、それ以降は状態が変化するまでラッチされた状態にとどめられる。

高速の切替速度を有する当該双安定構成の利益は、実質的なファイル圧縮と機能的に等価であるピクセル論理が実現可能となることである。つまり、ＩＲ照明装置は一連のＩＲ画像フレームを形成可能であり、各ＩＲ画像フレームは１フレームから次のフレームまでに変化したピクセルもしくはサブピクセルに対する更新の定義しか必要としない。よって、各フレームは、各ピクセルもしくは各サブピクセルの状態が画像フレームごとに設定される際の固有の物理的解像度よりもかなり小さい。全てのピクセルもしくはサブピクセルが連続的にアドレシングされるわけではなく、全てのピクセルもしくはサブピクセルがフレームごとにアドレシングされるわけではない。一連のフレーム（例えばフレームファイル）をこのように有効に「圧縮」することにより、他のイメージング手段に比較して手段４００の同等の解像度での速度は格段に高速となり、または同等の速度が予定される場合に手段４００の有効解像度を格段に改善することができる。種々の実施形態において、当該性能の利益を構成ごとに異なって調整可能である。

幾つかのＦＡＳＤの実施形態において実現可能な別の特徴は、付加的なミラーを有さないハードウェアもしくはソフトウェアに固有の自然勾配フォビエーションが構成されること、フォビエーションパッチにハードエッジがないこと、および例えばＧＣＩ（gaze contingent imaging）、ＳＶＩ（space variant imaging）の手段または他の固定点のトラッキング、予測、決定、処理または計算の手段において行われうるフォビエーション面積が大きくなることである。当該文脈におけるフォビエーションとは、画像の解像度またはディテール量が１つもしくは複数の「固定点」にしたがった画像の横断にわたって変化するデジタル画像処理技術をいう。固定点は、画像の最高解像度の領域を指示しており、目の網膜の中心すなわち中心窩に相当する。手段４００は、最良に利用可能なフォビエーションのソフトウェアもしくはアルゴリズムとＨＶＳ用のアイトラッキング手段とを含むことができる。

従来のフォビエーションの手段は、しばしば、ミラー速度に起因して、すなわち他の性能の問題に加えて急峻な解像度の低下を含むフォビエーションパッチでのハードエッジに起因して生じうる遅延を含む。通常の人間の視覚についていえば、これは、従来のフォビエーションシステムが、一種の非点収差に例えられる、妥協された視覚系を提供していることと等価である。

これに対して、手段４００は、遅延の低減された、拡大されたフォビエーション領域を有することができ、これにより負の非点収差の知覚が阻止される。さらなる利益は、フレームファイルにおいて捕捉可能な反射速度できわめて良好にトラッキングを行えるよう、動作中の真のＨＶＳを模倣した自然勾配の構成から得られる。こうした手段はフォビエーションの利益を提供することができ、ここにはフレームファイルの低減、レンダリング負荷の低減、眼筋が画像特性に応答しようとすることに起因する眼精疲労の低減が含まれうる。こうした眼精疲労は、従来の手段において通例でありうる焦点領域の不自然な制限によって引き起こされうるが、手段４００の幾つかの実施形態により改善可能である。

ＩＲ照明装置を実現する多様な可能手法が存在し、幾つかの構成は、およそ１のオーダーの規模で、液晶ディスプレイ（ＬＣＤ）技術を含む他の技術を用いた個々のピクセル素子の切り替えに比べて１００００００倍（またはそれ以上）高速に、またデジタルミラーデバイス（ＤＭＤ）技術に比べて１０００倍高速に、実行可能である。さらに、ＩＲ照明装置は、１マイクロメートル以下のピクセルピッチを定義可能であり、さらなる開発によってはいっそう低減することもできるピクセル論理アレイを提供するＭＰＣ変調器によってきわめて小さくスケーリング可能である。多数の実施形態が、量子化された偏光回転の共通の特徴を共有可能であり、また、ソリッドステートでありかつ相対的に温度安定であって、通常の従来のディスプレイ技術よりも格段に高速である（例えば１オーダーの規模でＬＣＤに比べて１００００００倍、ＤＭＤに比べて１０００倍高速である）。

ＩＲ照明装置と組み合わされるのは、ＩＲ画像に応答する放出体４４０と現実世界放射を通過させることのできるウィンドウ４７０とを含むバックプレーン４３５である。この場合、ＥＲビジュアライゼーション４４５を形成する放射４７５は、放射４３０、放射４６０に応答した放出体４４０からの仮想画像を定義する放射、または現実世界からの放射にアップコンバートされたＩＲ画像からの放射を挿入したこれら双方の合成を含みうる。

図示しているように、手段４００は、透過‐放出アーキテクチャを有する。つまり、ＩＲ源（例えば発光ダイオード（ＬＥＤ）または例えばレーザー）からのＩＲ放射は、偏光状態およびこれによる信号振幅を制御するために、選択的に制御可能な磁界が印加される（例えばファラデー効果）ＭＰＣを通して透過される。ファラデー効果を増幅するＭＰＣによってＩＲを反射可能なシステムも存在するが、多くの手段４００でしばしばより多くの個別のデバイスが要求もしくは所望されるため、複雑性が幾分か増大する。透過モードは、高ダイナミックレンジシステムの一部として含まれるという効率の利点を提供することができる。

幾つかの実施形態では、ＩＲが充分にパワフルであり（例えば大きな振幅を有し）、さらにコヒーレントな源、例えばレーザーである場合、ＨＶＳから当該源への直接の視線が可能となることが問題となりうる。例えば、放射４７５から放射４６０を消去もしくは低減することが目標となりうる。手段４００は、放射４６０がＨＶＳから離れるように配向されて放出体４４０へ入射するように設けられている。これにより、放射４７５は、必要な程度まで、現実世界放射４１０の（振幅制御可能な）部分と放出体４４０からの可視放射とを含み、放射４６０の成分は僅かのみ含むかもしくは全く含まない。これを簡単にいえば、（１つもしくは複数の）ＩＲ照明装置の位置と手段４００内のその配置とがＨＶＳの視線に整合しない（つまり（１つもしくは複数の）オフアクシス放射源である）ことになる。オフアクシス放射源は、ＩＲ照明装置がバックプレーン４３５およびＨＶＳに対して相対的に前方、後方またはこれら双方にあるように設けることができる。図４には、手段４００がＩＲプロジェクタ４５５およびＨＶＳの双方をバックプレーン４３５の右方に有する、「前方」モードのＩＲ照明装置を含むことが示されている。プロジェクタ４５５は、幾つかの構成では、バックプレーン４３５の左方（または後方）に配置することもできる。

幾つかのオフアクシス配置を含む幾つかの実施形態および構成では、例えばＩＲプロジェクタ４５５および／またはＨＶＳのための放射４７５を処理する合成観察光学系のセットにおける、選択手段としての補正光学系の使用から利益を得ることができる。イメージング分野での他の文脈では、当該補正光学系の一バージョン、例えば適応光学系またはキャリブレーション用の負屈折手段が公知であり、フラットなもしくは「折り返し」の内部全反射（ＴＩＲ）の光学系が形成される。より具体的には、ＴＩＲプリズム光学系を、フラットなもしくは折り返しの光学手段およびオフアクシスシステムにおいて使用することができる。ＴＩＲプリズム光学系および／または適応光学系は、マイクロプロジェクタ部と協働して、受信光学構造上で使用可能である。

ＩＲアレイを変調してＩＲ画像を形成した後、当該画像はバックプレーン４３５上に投影可能となる。ＩＲ画像は、反ストークス型プロセスまたはアップコンバージョンプロセスにより放出体４４０と相互作用し、ＩＲ画像に応答する高エネルギかつ短波長の放射を放出する。ＩＲ画像は、典型的には不可視であるが、幾つかのケースではいずれかの観察者に微かにまたはぼんやりと知覚できるものであってもよい。

ＩＲ画像は、本明細書に記載しているように、複数の手法で形成可能である。１つの手法では、ＩＲ画像は、その全体が単色であって、その種々の部分が種々の信号振幅（例えばバイナリまたは「グレースケール」）を有するモノクロームフォーマットで形成される。当該ケースでは、放出体４４０は、ＩＲ画像を可視周波数のモノクローム画像へアップコンバートする。他の実施形態および構成では、ＩＲ画像は、特定色アーキテクチャ（例えば３つの異なる「原」ＩＲ色を有する３色アーキテクチャ）を実現することができる。当該ＩＲ色は可視の３色アーキテクチャにマッピングされ、幾つかの実施形態では、３つの異なる可視色のいずれか１つ（例えば可視のＲＧＢアーキテクチャのＲ、ＧまたはＢ）が形成されるよう、種々の放出体４４０が３色のＩＲ色の異なるそれぞれに応答可能となる。他のアーキテクチャでは、３個より多い数または３個より少ない数の周波数も使用可能である。

各放出体４４０に対して多くの異なる構成が可能であり、この場合、異なるＩＲ周波数に応答する異なる放出体４４０は、異なるアップコンバージョン技術、プロセスまたはパラメータを使用可能である。アップコンバートされた可視ＩＲ画像の性能は、種々の手法で測定可能である。図４に示したアーキテクチャでは、各色の「ピクセル」が３個の個別のサブピクセル（すなわち放出体４４０）によって表現されている。各放出体４４０は、アップコンバートを行うナノ蛍光体として示されている。なお、アップコンバートを行うナノ蛍光体には多様な代替手段が存在し、これには、量子ドット、ナノチューブ、他の反ストークス型の材料、プロセスもしくは方法、または他のアップコンバートを行う材料、プロセスおよび方法が含まれうる。

バックプレーン４３５および放出体４４０のセットの性能は、サブピクセルの個別の性能に依存しうる。当該性能はまた、ＩＲ照明装置と、各「色」成分に対する特定のＩＲ周波数と、対応する各放出体４４０の技術との間で調整される相乗作用に基づく。記載したように、性能は、異なる性能メトリックによって異なる手法で測定可能であるが、これにはしばしば異なる技術の使用が要求される。

これに対して、本発明の実施形態では、各手段４００が特定のメトリック用に調整されたハイブリッド集成体を定義可能であるように構成されている。異なるメトリックにより、同一の構造もしくは実質的に同一の構造を、調整のための異なる優先度で使用することができる。例えば、ＭＰＣ変調器もしくはＭＰＣスイッチを異なるＩＲ周波数に対して異なって動作させることができ、異なるＭＰＣ技術を異なるＩＲ周波数に対して異なって作用させることができ、異なるアップコンバージョン材料に対して異なるＩＲ周波数により良好な性能を得ることができる。

これにより、アップコンバートされた各ＩＲ画像の各色要素を、異なるＩＲ周波数で、異なるＭＰＣ材料で、また異なるアップコンバージョンの材料もしくは構造もしくはプロセスで、構成することができる。殆どの基本構造が種々の構成に対して保持されるが、同一の基本アーキテクチャにおいて異なる要素、材料もしくは部品も使用される。他のケースで、最良のＩＲ画像の形成と後続の可視画像への変換とが選択される場合には、大幅に異なる構成が所望されることもある。こうしたバリエーションも、異なる手段、同一の手段における異なるＩＲ周波数、異なるＩＲ周波数に対する異なるＭＰＣ材料、および／または異なるＩＲ周波数に対する異なるアップコンバージョンの材料、プロセス、構造において可能である。手段４００が広汎な性能メトリックを満たせるようにするための多様な選択手段が存在する。

手段４００の幾つかの実施形態および構成では、現実世界のピクセル化を低減するための選択手段を設けることが所望もしくは要求されうるが、当該ピクセル化は、隣接する放出体４４０間に所定の間隔を有するように設けることのできるウィンドウ４７０と放出体４４０との分散セットを有するバックプレーン４３５で生じる。種々の選択手段には、マイクロレンズのセット（アレイ）、光学「ファンネルアレイ」、チャネル化整形部、１つもしくは複数の放出体４４０の面積成分の低減部、またはアップコンバートされた放射との合成によるビジュアライゼーション４４５の形成に利用可能な現実世界シーンの量を増大する他の構造、プロセスもしくは方法のうち１つもしくは複数の使用が含まれうる。幾つかのチャネル化整形手段は、本願に組み込まれている参考文献の１つもしくは複数に記載されている。

これらの要素は、例えば手段４００内でフィルタ４２５の前方に配置された別個の光学構造により、インタフェース４０５、フィルタ４２５および／またはバックプレーン４３５のうち１つもしくは複数の修正により、かつ／または集積された、半集積されたもしくは個別の手段におけるこうした要素の組み合わせにより、構成可能である。当該要素の機能は、ピクセル化を低減するため、ウィンドウ４７０を通した現実世界情報を視覚的にいっそう「圧縮する」ことである。

例えば、当該アレイ手段では、各アレイは、レンズおよび／またはファンネルが相互にエッジツーエッジでより近接してパッケージングされるよう、図４および図５に示した各部品よりも密にパッケージングされたアレイを含むことができる。

当該構造の機能は、チャネル内の現実世界通過ピクセルの大きな視野を捕捉し、次いで圧縮することである。図４および図５には、現実世界の明瞭な圧縮を有さない手段が示されている。したがって、各マスキング領域４６５の物理的面積寸法に当該領域の数を乗算し、バックプレーン４３５の全活性面積によって除算した量により、可視の全現実世界シーンのパーセンテージ割合として阻止メトリックが定義される。圧縮がなければ阻止メトリックはＮ％（例えば５０％）となりうるが、このことは、各放出体４４０が各ウィンドウ４７０とおよそ同じ面積を占めている図５に有意に示されている。放出体４４０に関連する面積を単純に低減することも、ピクセル化を低減する１つの手段となりうる。当該手段は、阻止メトリックが低減されるよう（例えば３０％）、放出体４４０の量または集成寸法を低減することにより達成可能である。

他の手段、例えば種々のアレイおよびチャネル化により、ウィンドウ４７０の有効断面積の増大を提供することができる。当該有効断面積により、ウィンドウ４７０の全面積寸法に対し、１よりも大きい乗数が得られる。つまり、上述の５０％の阻止メトリックの例では、ウィンドウ４７０に関連した種々の光学手段（例えば本明細書に説明している種々のアレイ）の使用により、集成されたウィンドウ４７０の見かけの面積寸法が増大し、これにより阻止メトリックが５０％未満へと低下する。つまり、より多くの現実世界放射４１０がバックプレーン４３５を通過可能となり、これにより、マスキング領域からの何らかの負の結果を低減するというマスキングおよびピクセル化の効果が有意に低減される。当該ケースの光学手段は、種々のピクセル化操作の特徴、例えば阻止メトリックを変化させることを含みうる。

幾つかの実施形態では、ウィンドウ４７０は、マスキングされない放射の通過に対して種々の画像アーティファクト（例えばエッジ効果）を生じさせることがある。種々の要素、例えば種々の光学アレイは、こうしたアーティファクトの低減または消去を含みうる、当該アーティファクトの操作を行うことができる。したがって、この場合、種々の光学系がアーティファクト操作フィーチャを含む。

手段４００の幾つかの実施形態は、こうしたアーティファクト操作フィーチャおよびピクセル化操作フィーチャの一方もしくは双方を含む光学部品を含むことができる。

本明細書に記載しているように、手段４００は、単眼フォーマットおよび複眼フォーマットを含む多様なフォーマットを含むことができる。手段４００につき、単眼フォーマット（例えば単眼の観察者から成るＨＶＳ）に関して説明した。ただし、手段４００は、例えば両目の観察者を含むＨＶＳによる種々の複眼フォーマットに関して説明することもできる。或る複眼フォーマットでは、両目に対して単一のビジュアライゼーション４４５の観察が可能である。他の複眼フォーマットでは、それぞれの目に対して一対のビジュアライゼーション４４５が可能である。これは、それぞれの目に対するビジュアライゼーションチャネルによる立体視手段またはホログラフィ手段として構成可能である。図４に示した手段４００の１つもしくは複数の部品は、各ビジュアライゼーションチャネルに対して二重化可能であり、他の二重化されない要素は、各ビジュアライゼーションチャネルに対する共通の要素上で協働する。

色に対する先進反ストークス型アップコンバージョンと組み合わされる、ＩＲすなわち最適周波数での変調に基づくシステム
フォトニクスにおけるパワフルな変調方法の大部分は、周波数依存性の材料系において動作し、とりわけ、ＩＲまたはＮＩＲで最良の性能を発揮する（その理由はインタネットが当該周波数レジームで動作しているからである）。出願人は、ＩＲ周波数で動作し、有効「反ストークス型」周波数アップコンバージョン方法において優れ、これとの組み合わせによって可視ピクセルおよび有効全色表示を実現する、例えば先進ハイブリッドマグネトフォトニクスおよびマッハツェンダーベースのスイッチのような変調方法を使用可能にする新たなタイプのディスプレイシステムがなぜ作製されないのかという疑問を提起した。

幾つかの実施形態において実現される洞察は、分散デバイスのネットワークとしてディスプレイを扱い、いかなる既存の技術によってもそれのみでは取得不可能な次世代ディスプレイの性能および特徴の問題点に通信ネットワークアーキテクチャの思想を適用し、定義上は低エネルギのＩＲである基本システム周波数での動作と必要な場合のみのアップコンバートとが行われるようにすることである。

こうした革新的なアーキテクチャおよびストラテジは、複数のタイプのディスプレイ、すなわちその第１のものであるＦＡＳＤ（「ファラデー反ストークスディスプレイ」）を含む他の革新から段階的に得られ、ＣＲＴの後継でありかつ中断されたＦＥＤ（電界放出ディスプレイ）の有望性を満たすものと考えることができる。

ＦＡＳＤはまた、他の場合であれば有効な、ニッチなタイプのディスプレイ、すなわちその優れた色域、視角および（ＯＬＥＤおよびＬＣＤに比べた）低電力で知られ、寸法を含めたあらゆる制限のないＬＰＤ（レーザー蛍光体ディスプレイ）の構造の一種の反転であると考えることもできる。

ＡＲもしくはＶＲのシステム、ナイトビジョンおよびさらに別の新たなタイプのディスプレイにおけるさらなる革新を可能にする、ＩＲ依存性の制限から長所への転換
多くのさらなる利益がこうしたシステムレベルの革新から生み出されているが、ここには、ＩＲ領域もしくはＮＩＲ領域の基本システム周波数によって不可視のＩＲもしくはＮＩＲで動作する、調整可能な周波数変調「のみ」に基づくディスプレイ、およびＩＲピクセル状態符号化フェーズと反ストークス型アップコンバージョンフェーズとの分離を導入したＡＲもしくはＶＲのシステムが含まれる。

ＣＲＴ、電界放出ディスプレイ（ＦＥＤ、カーボンナノチューブベースのＳＥＤもしくはＮＥＤを含む）およびプラズマディスプレイは、全て、可視色周波数レジームにおいて光子を形成する蛍光体の電子励起を基礎とした公知のタイプのディスプレイである。こうした各システムはその色域、コントラストおよび輝度ならびにリフレッシュレートもしくはフレームレートの点で知られている。

本ＦＡＳＤシステムに加え、当該ファミリに最近属するようになった他のものとしてレーザー蛍光体ディスプレイ（ＬＰＤ）がある。

名称に反映されている通り、ＬＰＤは、可視周波数またはローエンドＵＶ周波数の入力光子の蛍光体吸収、およびこれに次ぐ、蛍光体材料内での低エネルギの可視周波数の光子の、「ストークスシフト」として知られるより広い帯域幅および分散での放出とを基礎としている。ＬＰＤシステムは、その性質によりやむを得ないものの、高度にコリメートされたレーザー光を蛍光体スクリーンに配向するためのＤＭＤチップ、例えばＤＬＰチップの使用を要求するリアプロジェクションＴＶシステムである。

ＬＰＤシステムは、リアプロジェクションＴＶの用途に対してきわめて制限された範囲の寸法でしか実用化されておらず、加えて、ケーシングもしくはパネルの深さが当該ディスプレイをＬＣＤ、ＯＬＥＤまたはプラズマディスプレイに比べて分厚い、非実用的なものとしている。レーザーはこうしたＲＰＴＶシステムに実質的に必須であるが、チップから蛍光体スクリーンまでの距離があってさらに適用が制限されており、また、ＵＶレーザーはヒト視覚系に付加的な害を与えうるため、人間の目に不可視のＵＶを目の近傍の何らかのシステムにおいて使用することは不可能となっている。なお、ＵＶに隣接する紫色光の使用は、可視紫色レーザーの出力の広帯域分布が、狭帯域レーザーを超えて色域を拡大するための蛍光体励起の可視周波数の全セットにおいて、きわめて広い視角を可能にする蛍光体材料の放出角により、幾つかの隣接するＵＶを偶発的に含むため、可視‐可視ストークスシフトシステムの偶発的なアーティファクトにしかならない。こうしたストークスシフトパラダイムは、本質的には、帯域を拡大し、表面光子放出の角度を増大する技術である。

巨大でない実用的な大きさのＲＰＴＶ寸法の範囲に対するＬＰＤの利点は、色域、輝度、コントラストおよび電力利用率であり、市販のＬＰＤは、同等のＯＬＥＤまたはＬＣＤに比べて約７０％低い電力を使用している。

ＦＡＳＤは、ディスプレイまたはピクセルアレイの新たなシステムアーキテクチャを基礎としている。すなわち、広く「反ストークス型」光子吸収‐放出周波数シフトまたは周波数「アップコンバージョン」と称することのできる、物理学および材料科学のめざましい画期的な２つの領域を基礎として、ＦＡＳＤシステムは、現在市販されている実施形態から選択される、また現在市販されている実施形態に不可欠な複数の市販タイプが存在している、最良に利用可能であって効率的な反ストークス型アップコンバージョン方法を使用しており、これらの方法自体が種々の物理学およびめざましい物理的機構を基礎としている。現在市販されている、また市販準備されているアップコンバージョンの反ストークス型の広いクラスのうち最良のものは、ナノ蛍光体と他のナノ材料との合成物である。

基本システム状態としての低エネルギＩＲレジームの動作により、人間の目に不可視であり、自由空間とカプセル化状態との双方における目の近傍でのフロントプロジェクションおよびリアプロジェクションのＡＲもしくはＶＲを含む、複数の独特の構成が可能となるという付加的な利点が提供されるが、当該利点は、ＬＰＤの従前のナノテクノロジでも、また他の公知のディスプレイ技術およびＡＲもしくはＶＲの光学システムでも不可能である。

ＬＰＤとのさらなる相違点として、ＦＡＳＤシステムがピクセル論理（オンオフ）変調技術すなわちハイブリッドマグネトフォトニクスを使用していることが挙げられ、これは、ＩＲで最適に動作し、さらに、ピクセルピッチの下限および上限を有するために解像度および画像の物理的スケーリングの双方が制限される排他的なチップスケールのＤＭＤ手段に比べ、あらゆる点で、かつ全ての重要な性能パラメータに関して優れている。

またＦＡＳＤは、商業的には、全寸法の直視型ディスプレイパネル用のＬＥＤ照明部、ＨｙＭＰＣピクセル論理部および反ストークス型アップコンバージョン部を組み合わせ、さらに、空間分離構成もしくはシーケンシャル構成のための、例えばフロントプロジェクション用およびリアプロジェクション用の段もしくは部品を取り外した集積デバイスとして輸送される契約となっている。

ＬＥＤは、ＬＣＤを含む一般的な透過型ディスプレイに対し、多くの基準によって有効性が実証された照明源である。ＬＥＤバックプレーン照明部の低解像アドレシングは、高ダイナミックレンジシステムの主要な要素としてのドルビーによって使用されており、基本的なＬＣＤピクセルアレイと関連して動作する。

アドレシング可能なＯＬＥＤおよびミニＬＥＤにアドレシング可能なＬＥＤは、幾つかの基準で、実際のピクセルピッチの範囲および物理的総寸法の範囲の点で、ＬＣＤおよびＬＣｏＳに比べた利点が実証されている。

（１つもしくは複数の）赤外周波数の定常状態で動作する、バックプレーン照明源として使用されるＬＥＤは、完全ターンオンおよび完全ターンオフのたびに出力曲線の低効率の範囲までを通した完全な循環が要求される、アドレシング可能な可視ピクセルのＯＬＥＤまたはミニＬＥＤに比べて、効率の利点を有する。

当該ＦＡＳＤシステムは、システムが始動される際にしか、ＬＥＤ出力曲線のうち相対的に非効率な初期部分を通る過渡特性を有さない。システム内の各ピクセルは、ＬＥＤバックライトＬＣＤとは異なり、必要な場合にしかより高いエネルギもしくはより高い周波数の光子出力へ増大されない。

ＦＡＳＤは、最も効率の良い動作レジームで、すなわちより効率的にＩＲでつねにオンとなり、次いで一定のオンもしくはオフの遮断サイクルもしくは始動サイクルとなって、より高いエネルギの可視周波数の光子を直接に生成するＬＥＤを用いるレジームで、ＬＥＤを使用している。同様の微分解析はＯＬＥＤにも当てはまる。

Ｅ‐Ｉｎｋおよび他の多くの電子ペーパーディスプレイの低出力の利用特性の理由の１つは、反射型ディスプレイであるために、ピクセルが、その状態を設定するアドレシング電子回路からの初期設定パルス、例えば「オン」または「オフ」しか必要とせず、かつ当該ピクセルもしくはサブピクセルの位置でのアドレシング電子回路への連続した電力を要求することなくその位置にとどまることにある。

解像度が高くなり、かつ総面積が大きくなるにつれ、アドレシング電子回路を有する任意のシステムにとって、アドレシング電子回路の速度および電力利用率の双方に関する利益もより重要となる。

緩慢なＢ＆Ｗ電子ペーパーディスプレイ技術のようなＦＡＳＤは、「メモリ」を有するピクセルを特徴としている。すなわち、ピクセル群もしくはサブピクセル群のオンオフ設定の変更には、１５ナノ秒以下の短いパルスしか要求されない。こうした設定は、磁気メモリ素子と同様に、ピクセルアドレシング電子回路への連続した電力を要求することなく持続しうる。

こうした効率は、ＩＲ基本周波数プラス反ストークス型（選択性）アップコンバージョンと共に、ＦＡＳＤデバイスの全出力効率への大きな寄与を示している。

ＩＲプロジェクタの１つもしくは複数の要素の状態（例えばオンおよびオフ）を設定することにつき、幾つかの実施形態では、標準的な磁気光学ファラデー効果に基づいて、ハイブリッドマグネトフォトニクスでの「オン」および「オフ」（または強度の変化に応じてオン）のピクセル状態設定を符号化する「ピクセル論理デバイス」を含むライトバルブを使用可能である。

ＬＣＤと同様に、幾つかの実施形態では光を回転偏光させることができるが、出願人は、磁界と、ソリッドステートであって相対的に製造簡単な、１オーダーの規模でＬＣＤの１００００００倍（および１オーダーの規模でＤＭＤの１０００倍）高速に動作し、かつより少ないパワーを使用し、格段に頑強で、広範囲の動作温度および光出力強度にわたって色安定であるスイッチとを使用している（最も広く使用されている最良性能（バルク状）の材料クラスは鉄‐ガーネット材料であり、温度が高くなるにつれて性能が良好となる）。

ＬＣＤとは異なり、幾つかの実施形態で使用されるハイブリッドＭＰＣスイッチの一バージョンでは、手段４００は対向する偏光器を省略可能である。したがって、光学チェーンにおける損失に寄与する光学部品が１つ省略されることが、当該バージョンの利点の１つである。標準的なファラデー効果ベースのスイッチの設定では、ソリッドステート磁気光学偏光回転器は、対向する偏光フィルタ間、すなわち「偏光器」と「分析器」との間に配置され、よって、当該構成における（電力無しでの）デフォルト設定は「オフ」である。有意な反対の構成では、回転器が二重化された偏光器の間に配置され、デフォルトで「オン」の構成が得られる。

また、ＬＣＤとも、またはきわめて緩慢なＢ＆Ｗ電子ペーパーのライトバルブ技術以外の任意の他の仮想的なライトバルブとも異なって、出願人によるスイッチは双安定であり、これは、当該スイッチが、回転器に１５ｎｓ以下の短時間だけ低電力を印加した後、（２状態のバイナリシステムまたは多値もしくはアナログのシステムのいずれであっても）その状態を維持することを意味する。

「通信構造化もしくはピクセル信号処理アーキテクチャ」の一実施形態であるＦＡＳＤシステムは、最も効率の良いＩＲ照明源であるＬＥＤの使用を規定している。しかし、レーザーを要する特定の用途に対しては、ＦＡＳＤはＬＥＤと共にもしくはこれに加えてレーザーを使用可能である。

現時点で、広汎な反ストークス型アップコンバージョンの技術もしくはシステムの最良のクラスは、きわめて充分に開発され理解された、ナノ蛍光体と所定の他のナノ材料との組み合わせのカテゴリにおいて見られる（なおこれは、一般になじみ深い化学カテゴリの蛍光体ファミリの実際の材料でなく、より低いエネルギの光子からより高いエネルギの光子への反ストークス型アップコンバージョン、例えば２：１アップコンバージョンを示す材料もしくはシステムであってよい）。

したがって、可視色はナノ蛍光体合成物段での放出によって生成され、このことは、他の利益に加え、色域、輝度、コントラストおよび視角における、こうした放出システムの公知の長所に寄与する。これにより、ＦＡＳＤは、透過とこれに次ぐ放出との２つのステップを有するシステム、または「透過‐放出」システムとなる。

電圧駆動型スピン波アドレシング（マグノニクス）：幾つかの実施形態では、その構成要素である磁気光学アレイにおいて、きわめて高性能の電圧駆動型スピン波アドレシング（マグノニクス）を使用可能であり、種々の製品のための基本的かつ独特の高速アドレシングアーキテクチャが提供される。

分散アレイの無線アドレシングおよび給電：デバイスアレイおよびあらゆる種類の集合体のアドレシングのための革新的な新手段として、米国特許出願第１５／１８６４０４号明細書および米国特許出願第１５／２８２８６２号明細書では、分散アレイの無線アドレシングおよび給電のシステムが作製されており、これらの出願の内容は引用により全体としてあらゆる目的のために本願に明示的に組み込まれるものとする。当該システムでは、相互接続の導通が部分的にまたは完全に省略されるほか、他の利益に加え、アドレシングシステムがピクセルもしくはサブピクセル（またはセンサもしくは他のデバイス）のアレイの解像度にもデバイスの任意のアレイもしくは集合体の最大面積にも制限を有さない。なぜなら、駆動電子回路自体が置換されるからである。こうした革新は、ピクセル変調器のアドレシングおよび給電だけでなく、他のパラメータに加え、動作の電力利用率もしくは動作費用、製造費用、デバイス密度、重量および嵩に大きな影響を与えうる。

メモリピクセル（双安定もしくは単安定のピクセルもしくはサブピクセル）の影響：こうした「メモリピクセル」は、フレームごともしくはデューティサイクルごとのリフレッシュが要求されるのではなく、その状態が変更される際にしかアドレシングを要さないため、所与のフレームもしくはデューティサイクルにおけるアドレシングが必要となるサブピクセル位置は統計的に大幅に少なくなる。これにより、行もしくは列での負荷および抵抗が低減され、駆動電子回路が本来の切替速度に適合してより高い解像度で駆動を行うことがより簡単となる。なぜなら、各サブピクセルにつき、各フレーム中もしくは各デューティサイクル中に定常的に再アドレシングする必要がないからである。こうして、より高い解像度およびより大きなディスプレイ面積が可能となり、ＣＰＵおよびＧＰＵに要求されるフレームファイルサイズおよびデータレートが低減される。

さらに、こうした双安定システムを含む勾配フォビエーションおよびアイトラッキングのソフトウェアの利用により、全視野のうちの周辺領域もしくは非焦点領域を低解像度とすることができるため、フレームファイルサイズを低減することができ、当該領域が周辺にとどまる間、各フレームもしくは各サイクルでサブピクセル状態に対してなされる変更もより少なくなる。

従来の幾つかのフォビエーションシステムについて、幾らか付加的に複雑となる選択性の可変解像度を実現することの動機は、非フォビエーションの従来の手段を実現するためのディスプレイ速度もしくは解像速度および／またはコントローラ要素の費用が制限されていることに起因しているはずである。改善されたディスプレイ速度もしくは解像速度を有する本発明の改善された実施形態は、より限定された形態で（例えば、より広い視野、より小さいオフフォーカス解像度低下が提供されるように）フォビエーションを使用可能であり、主としてコントローラ部品の費用によって推進可能である。

複数の技術を組み合わせるストラテジを実現して任意の１つの技術もしくは１つのデバイスのケイパビリティを超えた性能レベルを達成するため、幾つかの実施形態には、併合されたチャネル内でのピクセル信号の統合と、３Ｄ構造化基板を含む３Ｄ多層デバイスもしくは３Ｄ光学構造によるピクセル信号ルーティングとを可能にする、光学系および基板システムの手段が含まれうる。なお、米国特許出願第１５／４５７９８０号明細書も含まれ、この出願の内容は引用により本願に明示的に全体としてあらゆる目的のために組み込まれるものとする。

３Ｄ構造化基板および層間光学ビアを含む３次元（３Ｄ）多段デバイスもしくは多段光学構造は、広域通信構造化ピクセル信号処理アーキテクチャを実現するための他の重要な形成ブロックを有し、また、ＦＡＳＤシステムおよび出願人のＡＲもしくはＶＲの光学手段もしくはシステム手段にとっても特段の利益を有する。

最終的に可視周波数の光子を生成するための空間的に分離された多段プロセスは、単に最終的な光子の生成が２つ以上の段もしくは位置に空間的に（かつ時間的に）分離されるのみであるため、本質的には付加的なエネルギ要求を全く意味しない、ということの認識が、システムの幾つかの実施形態の理解にとって重要である。任意の材料系または光子生成のプロセスもしくはデバイスは、任意のディスプレイシステム自体の基底状態から、可視光のエネルギレベルの光子が最終的に生成されるよう、何らかの手法によって電子のエネルギレベルを上昇させなければならない。

ピクセル信号処理アーキテクチャを含む、専用のＦＡＳＤシステムにおける幾つかの実施形態では、システム出力シーケンスの「開始時」に発生する当該エネルギ状態の「ポンピング」に代え、専らＦＡＳＤにおける（それぞれ構成部材を含む）ＬＥＤ、ＯＬＥＤまたはレーザーデバイスの材料の複合体「内」で、ＩＲにおいて最も効率の良いＩＲＬＥＤが使用され、この場合、ＩＲＬＥＤによって初期的に生成された光子が特に設計もしくは調整された反ストークス型アップコンバージョンの材料もしくはデバイスと相互作用する際に、別のエネルギポンピングレジームが発生する。また、多段での光電エネルギ状態変換が、「ローカルに」単一のデバイスで、少なくとも幾つかのケースでは「インサイチュ」で、見かけ上は単一であるが実際にはより複雑な、ＬＥＤもしくはＯＬＥＤもしくはレーザーが関与する光子エネルギレベルの上昇プロセスを発生させることに注意されたい。

臨界的にはもちろん、また任意の他のディスプレイシステムと同等のシーケンスからも、ＦＡＳＤシステムでは、ピクセル論理状態の符号化が、可視周波数のシステム出力光子を生成する中間の光子エネルギレベル拡大段において、ＩＲ周波数のシステムの設計選択を通信タイプで動作させる意図的なシステム上のアプリケーションとして、発生しうる。

これは、任意のシステムが漸進的に光子もしくは電子もしくは正孔のエネルギを引き上げるアップコンバージョンのための任意の所与の物理的機構の相対効率の問題であり、１つの段のＬＥＤと後方段のポンピングされるナノ蛍光体との組み合わせは、基本的には、全エネルギ状態の上昇が見かけ上１つのモードおよび単一のデバイス位置、例えばＬＥＤもしくはＯＬＥＤのデバイスに限定される場合に比べ、効率を低下させない。

実際には、光子エネルギレベルの上昇を個別の段に分解することにより、ＦＡＳＤシステムと同様に、各段もしくは各文脈に対して最上クラスの方法を使用することができる。

実際に、特殊化によるこうした効率の利得は、変調の各カテゴリだけでなく各周波数帯域につき各技術を最良の性能で組み合わせる種々のＦＡＳＤバージョンにおいて予測される。つまり、種々の方法が、所与の帯域の可視周波数へのアップコンバージョンのタスクが割り当てられた各サブピクセルに対する材料合成物もしくはデバイスの設計において使用されるようになる。ＦＡＳＤがシステム基本駆動周波数生成手段（最上クラスは現行のＬＥＤである）をより高い周波数へのアップコンバージョン部から要求に応じて（一般にはタスクが最適効率の反ストークス型ナノ蛍光体合成物によって最良に実行されるように）分離するのと全く同様に、全可視周波数レジームの個別部分が最適なタイプの合成物に適合するようになる。

さらに、当該効率の利得は、低エネルギレベルのＩＲ源が定常状態駆動周波数として構成され、この場合に、所与のエネルギレベル上昇（可視周波数の光子の形成）に必要なエネルギ増分のみが低部の赤から上部の紫へと変化するエネルギレベルで境界に入力されるという境界条件効果によって増幅される。

最後に、速度もまた、どのような方法がより高いエネルギレベルもしくは可視周波数レベルでの周波数変調の実行に最良に適するかについての重要な基準であり、より高速な、実際に幾つかのケースでは全固有ピクセル切替速度の当該臨界的なアップコンバージョン応答成分のためのＬＥＤもしくはＯＬＥＤよりも数オーダーの規模で高速な、広汎な方法が存在する。

１オーダーの規模でハイブリッドＭＰＣの幾つかの固有変調速度を適合させることのできる複数の反ストークス型の方法が利用可能であり、当該適合により、システムに対して、これ以外の場合には不可能な付加的な効率が提供される。

ＦＡＳＤのＡＲもしくはＶＲ超現実ウェアラブルビジュアライゼーションの例によるシステムおよびアーキテクチャの説明
「通信構造化ピクセル信号処理ネットワークアーキテクチャ」（ＴＰＰＮＡ）：これは、「通信構造化」と称され、ローカル（単一のデバイス）の形態および遠隔もしくはリモート（広域でのピクセル信号分配）の形態の双方で明示された、ピクセル信号の変調および分配のアーキテクチャである。

注意：本願に組み込まれている「通信構造化ピクセル信号処理アーキテクチャ」は、材料系もしくは周波数がＩＲもしくはＮＩＲに依存する変調技術および他の光学技術の優位性のため、赤外の基本システム状態周波数を含む。システムアーキテクチャにおけるＩＲもしくはＮＩＲでの波エネルギもしくは遠領域電磁エネルギの基本供給の付加的な利点は、ＰＩＣ論理部（ＰＩＣ：光子集積回路）およびメモリを含めた全システム内の他の光子デバイスの駆動周波数に対して有効な同じ作業周波数が供給されることにある。同じ基本システム光学周波数の供給を要求する光子集積回路の到来が予め準備されることから、近い将来の付加的なシステムの利益も得られる。

特定の実施形態を本明細書に開示したが、これらは、ピクセル変調に要求される動作および段を分解し個々に最適化することに基づいて、提案した新たな画像表示および投影の適用および観点を限定するものと解されてはならない。

上述したシステムおよび方法は、本発明の好ましい実施形態の詳細を理解する助けとして、一般的な語によって説明したものである。本明細書の説明には、多数の特定の詳細、例えば本発明の実施形態の完全な理解を提供するための構成要素および／または方法の例が設けられている。本発明の幾つかの特徴および利益はこうした方式において実現されるが、全てのケースで要求されるわけではない。しかし、関連分野の技術者であれば、発明の実施形態が、１つもしくは複数の特定の詳細がなくとも、または他の装置、システム、アセンブリ方法、構成要素、材料、部材および／またはこれらに類似のものによっても実施可能であることは認識されるであろう。なお、他のケースにおいては、本発明の実施形態の態様が不明瞭となることを回避するため、公知の構造、材料または動作は、特に詳細には図示または説明していない。

本明細書を通した「一実施形態」、「実施形態」または「特定の実施形態」なる指示は、当該実施形態に関連して説明した特定の特徴、構造または特性が本発明の少なくとも１つの実施形態に含まれるものの、全ての実施形態において必須であるわけではないことを意味する。つまり、「一実施形態では」、「実施形態では」または「特定の実施形態では」なる語句が本明細書を通して種々の箇所にそれぞれ出現していても、必ずしも同じ実施形態をいっているわけではない。また、本発明の任意の特定の実施形態の特定の特徴、構造または特性は、任意の適切な方式で、１つもしくは複数の他の実施形態と組み合わせ可能である。本明細書に説明および図示した本発明の実施形態についての他の変形形態および修正形態が本明細書の教説に照らして可能であり、これらも本発明の思想および観点の一部と解されるべきことを理解されたい。

また、図面もしくは図に示した１つもしくは複数の要素も、特定の用途にしたがって有意となるように、さらに個別化されたもしくは統合された方式で構成可能であり、または所定のケースで除外もしくは非動作とされてもよい。

付加的に、図面中もしくは図中の任意の信号矢印は、特に別様の注意がないかぎり、例示に過ぎず、限定ではないと解されたい。なお、本明細書に使用している「または」なる語は、別様の指示がないかぎり、一般的に「および／または」を意味することが意図されている。また、構成要素またはステップの組み合わせは、分離または結合の可能性の表示が不明である場合、語が認められる箇所での記載の通りと解されたい。

本明細書の説明および以下の特許請求の範囲を通して使用しているように、「１つの」、「或る」および「前記１つの」は、文脈が明瞭に別用のことを言明していないかぎり、複数の指示を含む。また、本明細書の説明および以下の特許請求の範囲を通して使用しているように、「～に」の意味には、文脈が明瞭に別様のことを言明していないかぎり、「～内に」および「～上に」を含む。

本発明の図示の実施形態の上述の説明は、要約に記載した事柄を含めて、網羅的記載または本明細書に開示した正確な形態への発明の限定を意図していない。発明の特定の実施形態および実施例を専ら例示の目的において本明細書に記載したが、種々の等価の修正形態が本発明の思想および観点において可能であり、関連分野の技術者であれば認識および理解できるであろう。示したように、こうした修正形態は、本発明に対し、本発明の図示の実施形態の上述の説明に照らして形成可能であり、本発明の思想および観点に含まれるべきものである。

したがって、本発明を特定の実施形態に関連して本明細書に説明したが、修正形態の範囲、種々の変更物および代替物が上述の開示において意図されており、幾つかのケースでは、記載した発明の思想および観点から逸脱することなく、発明の実施形態の幾つかの特徴が他の特徴の相応の使用無しに使用されうることも理解されるであろう。よって、特定の条件または材料を本発明の本質的な観点および思想に適合させるために、多数の修正形態を形成することができる。発明は、以下の特許請求の範囲に使用している特定の語および／または発明の実施にとって最良の方式と考えられる開示した特定の実施形態に限定されず、かつ添付の特許請求範囲の観点に該当する任意のあらゆる実施形態および等価物を含むことが意図されている。つまり、発明の観点は、添付の特許請求の範囲のみによって決定される。

Claims (16)

1. ウェアラブル強化現実ビジュアライゼーションシステムであって、
   現実世界信号のセットを形成する現実世界プロセッサと、
   ヒト視覚系の可視スペクトルよりも下方の１つもしくは複数の波長を有する非現実世界強化信号のセットを形成する強化世界発生器と、
   前記現実世界信号のセットおよび前記非現実世界強化信号のセットからの各寄与分のセットを組み合わせて強化世界ビジュアライゼーションを形成するバックプレーンと、
   を含み、
   前記バックプレーンは、前記可視スペクトルよりも下方の前記寄与分のセットを前記可視スペクトルの１つもしくは複数の波長へアップコンバートする、システム。
2. 前記強化世界発生器は、反ストークス反射型放出体のセットを含む、請求項１に記載のシステム。
3. 前記強化世界発生器は、反ストークス透過型放出体のセットを含む、請求項１に記載のシステム。
4. 前記ヒト視覚系の前記可視スペクトルよりも下方の前記１つもしくは複数の波長は、赤外放射波長のセットを含み、前記強化世界発生器は、赤外放射画像の信号を定義するために前記赤外放射波長のセットを処理するファラデーアップコンバートディスプレイアーキテクチャを含み、前記バックプレーンは、自身が前記現実世界信号に組み合わせる可視仮想画像を形成するために、前記赤外放射画像を前記可視スペクトルへアップコンバートするアップコンバージョン放出体の協同セットを含む、請求項１に記載のシステム。
5. 前記ヒト視覚系の前記可視スペクトルよりも下方の前記１つもしくは複数の波長は、赤外放射波長のセットを含み、前記強化世界発生器は、赤外放射画像の信号を定義するために前記赤外放射波長のセットを処理するファラデー反ストークスディスプレイアーキテクチャを含み、前記バックプレーンは、自身が前記現実世界信号に組み合わせる可視仮想画像を形成するために前記赤外放射画像を前記可視スペクトルへアップコンバートする前記反ストークス反射型放出体のセットを含む、請求項２に記載のシステム。
6. 前記ヒト視覚系の前記可視スペクトルよりも下方の前記１つもしくは複数の波長は、赤外放射波長のセットを含み、前記強化世界発生器は、赤外放射画像の信号を定義するために前記赤外放射波長のセットを処理するファラデー反ストークスディスプレイアーキテクチャを含み、前記バックプレーンは、自身が前記現実世界信号に組み合わせる可視仮想画像を形成するために前記赤外放射画像を前記可視スペクトルへアップコンバートする前記反ストークス透過型放出体のセットを含む、請求項３に記載のシステム。
7. 前記強化世界発生器は、前記非現実世界強化信号のセットの少なくとも一部を形成する双安定の表示画像基本要素前駆体のセットを含む、請求項１に記載のシステム。
8. 前記強化世界発生器は、前記非現実世界強化信号のセットの少なくとも一部を形成する双安定の表示画像基本要素前駆体のセットを含む、請求項２に記載のシステム。
9. 前記強化世界発生器は、前記非現実世界強化信号のセットの少なくとも一部を形成する双安定の表示画像基本要素前駆体のセットを含む、請求項３に記載のシステム。
10. 前記強化世界発生器は、前記非現実世界強化信号のセットの少なくとも一部を形成する双安定の表示画像基本要素前駆体のセットを含む、請求項４に記載のシステム。
11. 前記強化世界発生器は、前記非現実世界強化信号のセットの少なくとも一部を形成する双安定の表示画像基本要素前駆体のセットを含む、請求項５に記載のシステム。
12. 前記強化世界発生器は、前記非現実世界強化信号のセットの少なくとも一部を形成する双安定の表示画像基本要素前駆体のセットを含む、請求項６に記載のシステム。
13. 前記ヒト視覚系の前記可視スペクトルよりも下方の前記１つもしくは複数の波長は、赤外放射波長のセットを含み、前記強化世界発生器は、赤外放射画像の信号を定義するために前記赤外放射波長のセットを処理するファラデー反ストークスディスプレイアーキテクチャを含み、前記バックプレーンは、前記赤外放射画像に応答する分散された第１の放出体と、前記現実世界信号が通過可能な第２のウィンドウのセットとを含む、請求項１に記載のシステム。
14. ウェアラブルデバイスにおける強化現実ビジュアライゼーションを形成する方法であって、
    ａ）前記ウェアラブルデバイスの環境から現実世界信号のセットを形成するステップと、
    ｂ）ヒト視覚系の可視スペクトルよりも下方の１つもしくは複数の波長を有する非現実世界強化信号のセットを形成するステップと、
    ｃ）前記現実世界信号のセットおよび前記非現実世界強化信号のセットからの各寄与分のセットを組み合わせて強化世界ビジュアライゼーションを形成するステップと、
    ｄ）前記可視スペクトルよりも下方の前記寄与分のセットを前記可視スペクトルの１つもしくは複数の波長へアップコンバートするステップと、を含む、方法。
15. 前記現実世界信号のセットを処理するためのイメージングアーキテクチャをさらに備え、前記イメージングアーキテクチャは、入力として符号化信号のセットを受信し、出力としてデジタル画像基本要素のセットを形成する信号処理マトリクスを含む、請求項１に記載のシステム。
16. 前記前記非現実世界強化信号のセットを処理するためのイメージングアーキテクチャをさらに備え、前記イメージングアーキテクチャは、入力として符号化信号のセットを受信し、出力としてデジタル画像基本要素のセットを形成する信号処理マトリクスを含む、請求項１に記載のシステム。

Images