JP7203758B2 - 画像を形成するべく光を投影する画像投影システム及び画像投影方法 - Google Patents

Description

関連出願の相互参照
本願は、２０１７年５月１２日に出願された米国出願第６２／５０５８２７号の優先権を主張する。米国を目的として、本願は、あらゆる目的のために参照によりここに組み入れられる高輝度投影のシステムと方法との名称の、２０１７年５月１２日に出願された米国特許出願第６２／５０５８２７号の米国特許法セクション１１９による利益を主張する。

本発明は、例えば映画投影機のような、デジタル画像投影機に関する。

視聴者に現実的及び／又は魅力的な視聴体験を与えることのできる投影機が要望されている。ハイダイナミックレンジ（ＨＤＲ）画像が投影されると視聴体験が改善され得る。高い最大輝度を与えることによっても、視聴体験を改善することができる。しかしながら、現在利用可能な最新型映画投影機でさえも、インシーン（ｉｎ－ｓｃｅｎｅ）コントラストを欠き、さらに重要なことには、高いピーク輝度を欠いている。これらは双方とも、画像が現実的に見えるための重要な知覚属性である。

当該分野からの様々な研究コンセプトが商用ディスプレイ製品に取り入れられてきた一方、コンピュータディスプレイにおける実用的なイノベーションから、主に大画面投影機が開拓されてきた。現実的な画像を見せるには、議論の余地はあるにせよ、ディスプレイシステムの最も重要な視覚特性は、表示できる光レベル及び色の範囲及び数といえる。残念ながら、投影機においてこの範囲を有意に増加させることは、法外に高価となる。ピーク輝度がディスプレイの電力及び光源のコストに正比例する一方、輝度値の明るさ知覚は、ほぼ対数的だからである。

いくつかの映画館では、投影光が大画面にわたって分散される。投影機が高い光出力を有する場合であっても、大きな画面面積ゆえに、達成可能な最大輝度（全画面白色）がそれほど明るくならない。

さらなる側面及び例示的な実施形態が、添付図面に示され、及び／又は以下の説明に記載される。

添付図面により、本発明の非限定的な例の実施形態が示される。

近似的な知覚上の明るさの影響を視覚化するべく対数スケールでの標準化された映画ＳＤＲ輝度範囲（黄色）を、光操舵投影機アーキテクチャ（緑色）により達成可能なＨＤＲ輝度範囲の一例と比較する。 変動する平均輝度を有するテストパターンに対する理論上及び測定上の操舵効率を、振幅変調を使用して画像を形成する伝統的な投影システムと比較する。 １５～２５％の総合可能システム効率を有する完全光操舵アーキテクチャである。 全体的なシステム光効率を増加させてコストを低減する一方で完全光操舵投影機に匹敵する画像品質を達成するハイブリッドアーキテクチャである。この例において、操舵光路の光効率は１３．５％であり、非操舵光路の光効率は３１．５％である。 図５Ａは、光操舵投影機（緑色）及び非光操舵投影機（赤色）間の、入力信号（黒色）の可能な分離を示す直線である。図５Ｂは、光操舵投影機（緑色）及び非光操舵投影機（赤色）間の、入力信号（黒色）可能な分離を示す対数プロットである。 図６Ａ～６Ｄは、画像セットからの画像例である。 ３つの仮想投影機上で１０４個のＨＤＲ画像のそれぞれを再現するのに必要な相対パワーである。４８ｃｄ／ｍ^２（青色）及び４８０ｃｄ／ｍ^２（緑色）のピーク輝度を有する２つの光操舵投影機と、４８ｃｄ／ｍ^２（赤色）のピーク輝度を有する伝統的な光阻止映画投影機とが対比される。理想的なピーク輝度（４８ｃｄ／ｍ^２）を達成するのに必要な平均パワーは、伝統的な投影機の１３％のオーダーである。重要なのは、極めて最も明るい画像（被試験画像すべてのうち近似的に９％）以外はすべて、同じ又はそれ以下のパワーを使用しながらも４８０ｃｄ／ｍ^２のピーク輝度まで再現され得るということである。 ダークラボにおいて完成されたＲＧＢプロトタイプの写真である。 一例のプロジェクタの色度といくつかの一般的な色標準とを比較する色度図である。 ０～２πの位相変調器の典型的な相対立ち上がり時間（左側）及び立ち下り時間（右側）である。 図１１Ａは、駆動レベル２５５のうち６５でのサブフレーム位相応答である。図１１Ｂは、駆動レベル２５５のうち７５でのサブフレーム位相応答である。図１１Ｃは、駆動レベル２５５のうち１００でのサブフレーム位相応答である。 ＤＭＤタイミングのハイレベル動作原理を示す。 図１３Ａは、低速非同期光パルスを使用するＤＭＤにより動作するパルス光源の第１フレームを示す相対タイミング図である。図１３Ｂは、低速非同期光パルスを使用するＤＭＤにより動作するパルス光源の第２フレームを示す相対タイミング図である。 図１４Ａは、高速非同期光パルスを使用するＤＭＤにより動作するパルス光源の第１フレームを示す相対タイミング図である。図１４Ｂは、高速非同期光パルスを使用するＤＭＤにより動作するパルス光源の第２フレームを示す相対タイミング図である。 低速同期光パルスを使用するＤＭＤにより動作するパルス光源の相対タイミング図である。 位相ＬＣｏＳ、ＤＭＤ及びレーザパルスの組み合わせを示す相対タイミング図である。 位相ＬＣｏＳ及びＤＭＤ振幅変調器を有するプロトタイプの写真である。 レーザ光源から投影レンズまでのプロトタイプ投影機の光路内のハイレベル光ブロックを描くフローチャートである。 位相変調器によって操舵されないレーザ光コンポーネントの画面上の画像である。 フル画面白色パターンの画面上の画像である。 投影機アーキテクチャを制御するハイレベルアルゴリズムブロックを示す。 入力変換ブロックがＰＱ－ＸＹＺ入力を取得し、線形化し、光操舵投影機色空間に変換するアルゴリズムブロックを示す。 コンテンツマッピングアルゴリズムブロックを示す。 ｃｄ／ｍ^２単位の目標輝度の関数としての操舵分割及び非操舵分割のグラフである。 フォワードモデルアルゴリズムブロックを示す。 テストパターンに適用される点拡がり関数を示す。 位相パターン計算ブロックを示す。 振幅パターン生成ブロックを示す。 図２９Ａは、光操舵プロトタイプ（左）に、及びレンズからのパワーが同じ伝統的な投影機（右）に、表示されたムービーからの第１フレームを示す。図２９Ｂは、光操舵プロトタイプ（左）に、及びレンズからのパワーが同じ伝統的な投影機（右）に、表示されたムービーからの第１フレームを示す。

以下の説明全体にわたり、本発明のさらに徹底した理解を与えるべく特定の詳細が記載される。しかしながら、本発明は、そうした詳細なしに実施することもできる。他の例では、本発明を不必要に曖昧にすることを避けるべく、周知の要素は示さず、又は詳細に記載しない。したがって、本明細書及び図面は、限定的な意味ではなくむしろ例示的な意味で考えるべきである。

本発明は、デジタル投影機に適用され得るアーキテクチャ、コンポーネント及び方法に関する。この詳細な説明は、あらゆる目的のために参照によりここに組み入れられる米国特許出願公開第２０１７／００８５８４６号として公開されたＭＴＴイノベーション社が所有する米国特許出願第１５／３６８，０２１号に記載される全体的な投影機アーキテクチャの文脈で本発明の様々な側面を説明する。ここに記載される技術は、ＨＤＲ（高ダイナミックレンジ）投影システムにおけるアプリケーションにとって特に有益である。ここに記載される技術は、国際公開第２０１７／０５９５３７号、２０１６／０１５１６３号、２０１５／１８４５４９号及び２０１５０５４７９７号に記載される装置及び技法と組み合わせて使用してよい。これらのすべてはＭＴＴイノベーション社により所有され、これらのすべてはあらゆる目的のために参照によりここに組み入れられる。これらの参照文献は、本願の文脈において適用され得る光操舵の方法の例を与える。

従来の（光減衰）投影システムにおける照明パワーが、画面上の所望のピーク輝度により線形的にスケーリングされる一方、人間の視覚システム（ＨＶＳ）による当該輝度値の知覚は非線形的（対数に近い）となる。米国特許出願公開第２０１７／００８５８４６号に記載される投影機アーキテクチャは、選択された画像特徴部を、フル画面白色（ＦＳＷ）輝度レベルよりも有意に高く再現可能とするべく光操舵を使用する。図１は、シネマにおける今日の標準化されたシネマＳＤＲ輝度範囲１０Ａ（デジタルシネマイニシアチブ（ＤＣＩ）仕様を参照。ピーク輝度白色が１４ｆＬ＝４８ｃｄ／ｍ^２で定義されている）と、光操舵を使用する投影機アーキテクチャにおいて達成可能な光操舵輝度範囲１０Ｂの一例とを対数スケールで比較する。

画像統計及びパワー要件

開示の技術のいくつかの実施形態は、投影される画像コンテンツの特徴部を使用して、高輝度かつ高コントラストのＨＤＲコンテンツを再現する目標と、パワー及びコスト（光源）を最小限にすることとのトレードオフを達成することができるとの発想を利用する。いくつかの投影機アーキテクチャの光学シミュレーション及びコストモデル（ここでは光予算予測器（Ｌｉｇｈｔ Ｂｕｄｇｅｔ Ｅｓｔｉｍａｔｏｒ（ＬＢＥ））と記載する）を、様々な代表的シアターＨＤＲコンテンツの統計分析と組み合わせて使用しての実験が行われてきた。

光操舵効率

理想的な光操舵投影機において、利用可能な光はすべて、画像を形成するべく使用される。かかるアーキテクチャにおいて、画像を形成するべく必要とされるパワーは、目標画像の平均（ｍｅａｎ）輝度又はパワーに等しい。特定の実装例において、非常に小さな明るい特徴物へと光を操舵する能力は、例えば、システムの点拡がり関数（ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ（ＰＳＦ））によって制限される。図２は、ソース信号において同一の最小輝度及び最大輝度を有するが異なる平均輝度（パワー）の、光操舵投影機において再現され、及び伝統的な振幅減衰投影機において再現されたテストパターンの選択を示す。実線の曲線が、理想的な光操舵投影機において理論的に可能な最大ピーク輝度、すなわち、

を示す。

曲線１１Ａは、理論的に達成可能な輝度を、非黒色パターン面積の関数として示す。曲線１１Ｂは、初期の光操舵プロトタイプについての実際の測定データを示す。わかることだが、操舵効率は１００％ではない。非操舵光は部分的に、投影機画面の外側のエリアへと散乱される。非操舵光の一部は、当該画面上に存在して黒色レベルを上げる。破線は、画像を形成するべく振幅変調を使用する伝統的な投影システムの最大輝度を示す。

コンポーネント効率

投影システムの光路にある各コンポーネントは一般に、合計光スループットを低減させる傾向がある。例えば、特定の投影機において達成可能な光スループットの合計は、位相変調器の反射率（６５％～８０％の範囲にある場合が多い）、光路にある任意の規則的に構成された表面上に現れるピクセルグリッドからの高次回折効果による損失（４０％～５０％の損失範囲にある場合が多い）、並びに、リレーレンズ、ディフューザ、光路を折りたたむ広帯域ミラー、及び色チャネルを結合又は分割するダイクロイックミラーのような付加的な光素子の影響を受ける。

光操舵は、従来型投影機には見当たらない付加的な光コンポーネントを必要とする。かかるコンポーネントの存在により、光効率が低減し得る。プロトタイプの光操舵投影機の合計光効率が、ソース光から画面までの近似的に５％で測定された。この非効率性は部分的に、光操舵に起因するピーク輝度における大きな利得と均衡するが、特に、高い平均画像レベル（ＡＰＬ）を有する画像に対し、全体的に高コストとなる。最適化されたシステム（光源波長に対するカスタムコーティング）において、全体的な効率は、１５％～２５％もの高さとなり得るが、これは、フル画像白色テストパターンに対して光源のほぼ３５～４５％が画面に到達し得る伝統的な投影機アーキテクチャと比べると依然として低い。

狭帯域光源

新しいＨＤＲ投影機アーキテクチャにおいて、光操舵効率は、その最高ピーク輝度とともに、良好にコリメートされた狭帯域光に対して最高となる。レーザダイオードが、このアプリケーションに十分適している。ただし、レーザダイオードを使用する場合、いくつかの落とし穴が存在する。これには以下が含まれる。すなわち、
・コスト：ＬＥＤ、照明器、及びレーザ＋蛍光体システムのような他の光源の方が、現在のところ、ドル当たりの出力ルーメンの点でコスト効率が高い。
・観測者のメタメリズム：狭帯域光源から構成される同じ測定可能な色度座標が、異なる観測者によって異なるように知覚される。この効果は、狭帯域でない光に対してはあまり目立たない。
・画面スペックル：レーザ光からの小スケールの干渉パターンは、投影画面上に、擾乱を与える小さな空間強度変動を引き起こし得る。この効果は、広帯域光に対しては不可視である。

レーザ光源を使用することに係るこれらの負の効果のいくつかは、レーザ特性のいくつかを壊すこと（例えば大きな角度多様性を導入することにより）、又はレーザからの光を非レーザ系光源と組み合わせることのいずれかによって対処することができる。興味深いことに、全体的に明るいシーンの多くが、人間の視覚システムが画面の明るい部分に適応することに起因して、低い黒色レベルを必要とするわけではない。

フル光操舵アーキテクチャ

図３は、米国特許出願公開第２０１７／００８５８４６号明細書に記載されるもののような投影機のシステムアーキテクチャを高レベルで示す。フル光操舵アーキテクチャ２０において、制御ファームウェア２２が、光操舵モジュール２４及び投影機ヘッド２６を制御する。光操舵モジュールは、最終ＨＤＲ出力画像３０を生成するべく投影機ヘッド２６により画面上に投影される操舵光画像２８を生成する。制御ファームウェア２２は、例えば、画像処理ユニット及びシステム制御ユニットを含んでよい。光操舵モジュール２４は、例えば、一以上のＲＧＢレーザバンクを含んでよく、自由空間又はファイバアーキテクチャを使用して動作し得る。投影機ヘッド２６は、シネマ又は消費者投影機としてよく、とりわけ４ｋ解像度、ＨＦＲ及び３Ｄ効果を含む詳細レイヤを加えてよい。このフル光操舵アーキテクチャは、現在利用可能な光コンポーネントを使用して約１５％～２５％の合計可能システム効率を有する。

ハイブリッド光操舵アーキテクチャ

図４は、一例のハイブリッド投影機アーキテクチャ３２を高レベルで描く。投影機３２において、コストをさらに低減し、かつ、所定の画像アーチファクトを軽減するべく、狭帯域光の光操舵が、（振幅変調器を均一に照明する）広帯域の非操舵光と組み合わせられて一つのシステムとなる。このハイブリッドアーキテクチャにより、フル光操舵投影機に匹敵する画像品質を達成しながらも、増加した全体的なシステム光効率が、低減されたコストで得られる。

ハイブリッド投影機３２において、制御ファームウェア２２が、ベース減衰光源３４、光操舵モジュール２４及び投影機ヘッド２６を制御する。光操舵モジュール２４は操舵光画像２８を生成し、操舵光画像２８は、ベース減衰光源３４が生成したベース減衰光画像３６と組み合わせられる。

一例の実施形態において、その結果得られる画像は、３０％の操舵光及び７０％のベース減衰光を含み得る。一例の実施形態において、光操舵モジュール２４は効率η＝０．４を有し、投影機ヘッドは効率η＝０．４５を有する。組み合わせられた画像は、投影機ヘッド２６によって投影されて最終ＨＤＲ出力画像３０がもたらされる。この例において、操舵光路の光効率は１３．５％であり、非操舵光路の光効率は３１．５％である。

ハードウェアパラメータは、システムの操舵部分と非操舵部分との間でのソース光の割合、並びに、光源のタイプ、及び関連付けられるコスト及びスペクトル特性を含み得る。

ソフトウェアパラメータは、システムを駆動して操舵ステージと非操舵ステージとの間で光を割り当てるべく使用されるアルゴリズムの複数側面を含み得る。図５Ａ及び５Ｂは、線形入力信号を古典的な投影機光路と光操舵経路との間で分割する一例を示す。図５は、入力信号４０Ａの光操舵投影機４０Ｂと非光操舵投影機４０Ｃとの間での可能な分離の線形プロットを示す。図５Ｂは、入力信号４２Ａの光操舵投影機４２Ｂと非光操舵投影機４２Ｃとの間での、同様の可能な分離の対数プロットを示す。

知覚的に意味のある画像品質メトリックを適用して、所望の目標画像の色及び強度がどの程度忠実に再現されているかを決定することができる。

一例の実施形態において、ハイブリッド投影機を、非操舵投影機及び光操舵投影機を含む２投影機システムとしてよい。非操舵投影機は、例えば、振幅変調を使用する市販の投影機を含んでよい。光操舵投影機は、例えば、位相／振幅変調設計を有してよい。

このセクションは、（近似的な輝度範囲にマッピングされた）非シアターＨＤＲ画像データと、フル光操舵投影機の簡略システムモデルとに基づいて収集された画像統計について述べる。

シネマにおけるＨＤＲ画像の平均輝度

シアター用の視聴環境向けに色がグレード分けされている公的に利用可能な高輝度のＨＤＲビデオコンテンツはほとんど存在しない。これは部分的に、十分な能力がある大画面投影システムが、現在のところ存在しないことに起因する。本セクションにおいて、我々は、色がグレード分けされたＨＤＲ静止画像を使用して、シネマにおける現行のピーク輝度を１０倍上回るまでのＨＤＲ輝度レベルを再現するのに必要な相対的なパワーの推定を試みる。１０４個のＨＤＲ画像の分析が行われ、提案のアーキテクチャにおいてのような光操舵投影機のためのパワー要件が推定された。この理論的な演習においては、伝統的なシネマ投影機よりも低いパワーの光操舵投影機が、調査対象の４８ｃｄ／ｍ^２までの画像すべて、及び４８０ｃｄ／ｍ^２までのＨＤＲ画像のほとんどすべてを、追加のトーン圧縮を必要とせずに直接再現することができるということがわかった。表１にその結果をまとめる。

方法論

マーク・フェアチャイルドの１０４個のシーン参照ＨＤＲ画像（Mark D Fairchild. The hdr photographic survey. In Color and Imaging Conference, pages 233-238. Society for Imaging Science and Technology, 2007）が分析された。図６Ａ～６Ｄは、本考察で使用された画像セットからの画像例である。これらの画像は、ダイナミックレンジが１０００：１未満から１０^９：１超過まで異なる。ほとんどの画像は、屋外シーンである。画像データが、測定されたシーン参照ＨＤＲ（実際のシーン輝度レベル）を表し、シネマ投影機での視聴を意図しているわけではないところ、シネマに適切なレンダリングの初期推測は、シネマにおいて推定された視聴者適応レベルにＡＰＬが近似的にマッチするように画像強度をシフトさせることによって確立することができる。簡単な線形スケーリング演算子Ｓ_{ａｄａｐｔａｔｉｏｎ}が、各画像に対して手動で決定された。画像が、４８ｃｄ／ｍ^２のピーク白色輝度（Ｄ６５白色点）に設定されたキャリブレーション済み２７インチ基準モニタ（フォトリサーチ社のＰＲ－６５０スペクトロラジオメータを使用してキャリブレーションが確認されたデル社のＵ２７１３ＨＭｔ）において、暗い視聴環境で手動チューニングされた。強度を調整しながら、近似的に３～５画面高の距離から画像が視聴された。

適切な輝度スケーリング因子がひとたび決定されると、ＦＳＷの１０倍すなわち４８０ｃｄ／ｍ^２を超える輝度レベルがクリップされた。次に、提案の投影機アーキテクチャの操舵効率が、システムＰＳＦ近似（この場合、１９２０個の水平画像ピクセルのうちの実質的に８１個のピクセルにわたるある程度保守的な、大規模ガウスカーネル）を介して説明された。得られた輝度プロファイルのすべてのピクセルにわたる平均強度が、光操舵投影機のパワー要件に対する近似メトリックとしての役割を果たす。

計算ステップ

結果

図７は、光操舵投影機において、伝統的なシネマ投影機と同一のピーク輝度４８ｃｄ／ｍ^２で、及びシネマ基準システムよりも程度が１オーダー大きなピーク輝度を有する光操舵投影機と同一のピーク輝度４８０ｃｄ／ｍ^２で、各ＨＤＲ画像を再現するのに必要なパワーの推定を示す。４８ｃｄ／ｍ^２光操舵アーキテクチャにおいて、伝統的な投影機のパワーのほんの一部分（１３％）を使用して、すべての画像を再現することができる。重要なことに、ほとんどすべての画像を、伝統的な投影機以下のパワーを使用して４８０ｃｄ／ｍ^２（１０倍高いピーク輝度）までで再現することができる。

図７において、伝統的な投影機が４８ｃｄ／ｍ^２までを生成するのに必要なパワーが、伝統的な投影機の線４４Ａに示され、操舵投影機が４８ｃｄ／ｍ^２までを生成するのに必要なパワーが、低輝度操舵投影機の線４４Ｂに示され、操舵投影機が４８０ｃｄ／ｍ^２までを生成するのに必要なパワーが、低輝度操舵投影機の線４４Ｃに示される。

上述したスケーリング及びクリップの操作を使用し、さらなる芸術的な色補正をしていない場合、データセットの平均画像レベル（ＡＰＬ）は、シネマ対応の高輝度ＨＤＲコンテンツから予測され得るものよりも高く見える。一定のＨＤＲコンテンツは、有意に低いＡＰＬ（例えば近似的に３％以下）を有し得る。低いＡＰＲでＨＤＲコンテンツを投影するべく使用される光操舵投影機アーキテクチャのパワー要件は、ここに記載されるものよりもかなり低く（又は高いピーク輝度及びコントラストに）なり得る。

改善されたＲＧＢ投影機プロトタイプ

改善されたフルカラーＲＧＢ投影機プロトタイプが、表２に挙げられた特徴を組み入れる。これらの特徴は、個別に又は任意の組み合わせで適用することができる。挙げられた特徴の詳細は、限定を意図しない。挙げられた特徴はそれぞれが、様々な可能な置換可能コンポーネントのいずれかを使用して実装することができる。例えば、記載のプロトタイプにおいて振幅ＳＬＭとしてＬＣｏＳベースのＳＬＭが使用される一方、振幅変調を目的として透過型又は反射型ＳＬＭ、液晶表示パネル又はデジタルマイクロミラーデバイス（ＤＭＤ）のような他のＳＬＭも使用し得る。位相変調又は振幅変調に適した技術の例は、“Rolf R Hainich and Oliver Bimber. Displays: fundamentals & applications.CRC press, 2016; and David Armitage, Ian Underwood, and Shin-Tson Wu. Introduction to microdisplays, volume 11. John Wiley & Sons, 2006”に記載されている。これは、あらゆる目的のために参照によりここに組み入れられる。

ＲＧＢ投影機プロトタイプのアーキテクチャ

図８は、表２からの特徴を実装する完成したＲＧＢプロトタイプ投影機の写真である。頂部に取り付けられているのは、カラーキャリブレーションのための機械ビジョンカメラ及びスポット分光放射計である。

色（カラー）

赤色、緑色及び青色レーザダイオードを含む光源により、我々はフルカラー投影機を設計することができる。プロトタイプの実施形態は、４６２ｎｍ、５２０ｎｍ及び６３８ｎｍの波長の光を放出するネイティブレーザダイオードを使用する。プロトタイプの実施形態は、並列アーキテクチャを有する。ここでは、光源、位相変調器及び光コンポーネントを含む３つの単色光路が結合されて白色ビームになり、その後、振幅変調投影ヘッドへと中継される。他実施形態において、フィールドシーケンシャルシステム（例えば、赤色、緑色及び青色の光照射野が順次に表示されるシステム）を使用してよい。さらなる実施形態において、並列又は順次アーキテクチャは、これよりも多い又は少ない数の光波長を用いてよい。いくつかの実施形態において、４つ以上の波長の光が、並列して生成され、又は順次表示される。狭帯域光源に加え、いくつかの実施形態のアーキテクチャは、広帯域及び／又はフルスペクトルの光源を含んでよい。

このプロトタイプの達成可能な色度の範囲は、他の一般的なディスプレイ及びシネマの原色に対する図９の色度図に見ることができる。ｕ’及びｖ’を色度座標として使用するＣＩＥ１９７６均一色度スケール（Ｕｎｉｆｏｒｍ Ｃｈｒｏｍａｔｉｃｉｔｙ Ｓｃａｌｅ（ＵＣＳ））４６Ａが、個々の色間の知覚的に均一な関係を与える（すなわち、互いから等距離の色間の知覚される差が同程度である）。スター付きのデータポイント４６Ｂは、シネマ及び家庭のディスプレイシステムにおいて一般的なＤ６５白色点を表す。プロトタイプを使用して再現され得る提案される色度空間４６Ｂは、ＤＣＩ Ｐ３空間４６Ｃ及びＲｅｃの双方よりも有意に大きく、その双方を含む。これは、Ｒｅｃ．２０２０色空間４６Ｅをほぼ完全に含み、その面積を超える。

光パワー

プロトタイプの概念実証投影機の光パワーが、レンズ外で１０ルーメンとして測定された。光源パワーが大きな投影機を、レンズ外の輝度を増加させて操舵光の輝度を増加させるべく、用いることができる。新たなプロトタイプの目標としての１００～２００ルーメンの操舵光は、意味のある布石を表す。しかしながら、必要な光源パワーは、既存のレーザダイオードによっては容易に達成することができない。３つのレーザダイオード特性が注目される。すなわち、レーザダイオードの合計パワー、発光体の寸法、及び発光される光のダイバージェンスである。光源における多数レーザダイオードのビーム拡大、コリメーション光学、及び傾斜を、個々のコンポーネントが、一部は６自由度で調整可能となる機械的設計を使用して実装することができる。

スペックル

（ＬＥＤ又はレーザのような）狭帯域又は単色の光源に基づくディスプレイと同様に、観察者間のメタメリズムの変動及びスペックルのような望ましくない特性を管理するべく注意を払う必要がある。典型的には、観察者に対する可視スペックルコントラストを低減するための３つの尺度が存在する。すなわち、偏光をランダムにすることと、光路における光の角度ダイバーシティを増加させること、及び光源スペクトルの拡大である。本明細書の焦点ではないが、これら３つの方法のいずれか又はすべての要素を、ここに記載される投影機において適用することができる。

ＲＧＢプロトタイプにおいて利用される投影ヘッドは、直線偏光入力を必要とするＬＣｏＳ技術に基づくが、この偏光を、投影レンズの前又は後ろのいずれかに最終画像が形成された後にランダムにすることが、原則的に可能である。同様に、光操舵法がＤＭＤ系投影機ヘッドに結合される場合、偏光は、位相変調に引き続きかつＤＭＤ振幅変調の前に、投影機光路内でランダムにすることができる。ＤＭＤは、入力において直線偏光を必要としないからである。我々の光操舵システム内の光は、理想的には十分にコリメートされる。これは、高いｆナンバー（ｆ＃）の光学系へと変換され、そのような限られた角度ダイバーシティを伴う。システムの光操舵部分のために、このような高度なコリメーションを保持することは重要だが、中間画像が形成された後は、この光特性はもはや必要ではない。

その後ｆ＃が、例えば、光整形ディフューザを使用して低減され、引き続く光学機器の入力許容角度に合わせられる。これにより、ビームの高い角度ダイバーシティがもたらされて可視スペクトルが小さくなる。投影機内のディフューザを動かすことにより、光が経時的に広がる角度がランダムにされるので、可視スペックルコントラストがさらに低減される。これは、例えば、投影機内でディフューザディスクを回転させることにより、又は当該ディフューザにおいて若しくはその近くで光学要素を直線的に変位させることにより、実現することができる。

スペックルコントラストを低減する第２の有効な方法は、投影画面に対する動きの導入である。画面表面のわずかな連続変位は、投影機レンズからの光が（非平坦）画面表面から反射されるにつれて、多くの角度にわたって平均化されるという効果を有する。同様に効果的であるがシネマ設定ではあまり実用的ではないのは、観察者の動きである。

各色に対して異なる中心波長を有するレーザダイオードを含むビニングかつキャリブレーションされたレーザダイオードを使用することにより、光源の有効スペクトル帯域を広げることができるので、可視スペックルコントラストが低減される。光源を広げることにより、光の操舵後に各色チャネルに対し、わずかに拡大及び縮小された画像の重畳セットがもたらされる。これは、小さなぼかしカーネルによってモデル化できるので、必ずしも望ましくないというわけではない。

同期

位相ＳＬＭ及び振幅ＳＬＭ、並びにパルス幅変調（ＰＷＭ）調光可能レーザ光源を、理想的にはフレーム又はサブフレームレベルで同期する必要がある。プロトタイプにおける振幅変調器は、消費者投影機に由来し、我々が説明するその内蔵画像処理ブロック内でマルチフレームの望ましくないレイテンシを示す。シネマにおいて、大きな投影機光出力を取り扱うべく、及び所定基準（例えばＤＣＩ）を順守するべく、バイナリＤＭＤが、主に振幅ＳＬＭとして使用される。以下の一時的考慮事項のセクションでは、予想される一時的なアーチファクト（例えばフリッカー）を軽減することを目的とする新たな駆動スキーム（タイミング）について述べる。

ＨＤＲ投影ディスプレイにおける時間的考慮事項

プロトタイプの一部は一般消費者向けハードウェアに基づいて構築されたが、カスタマイズされた光源制御電子機器と一緒に開発キットを使用することにより、光源からのパルス（レーザ強度変調）、位相変調器に対処するべく必要なデジタルパルスコード（サブフレーム内のビットプレーン（ｂｉｔ ｐｌａｎｅ））、及び、例えば、投影機ヘッドにおけるバイナリ一次振幅変調器（ＤＭＤミラー状態）の良好な同期が許容される。我々は、同期駆動スキームに対する異なるソリューションを探究する。このセクションは、ＤＭＤ系投影機アーキテクチャに対する同期オプションを説明する。

ＬＣｏＳ系位相変調器

光操舵投影機の実装を目的として我々が選択した位相変調器は現在のところ、デジタルバックプレーンを有して入力又は出力偏光フィルタがないＬＣｏＳマイクロディスプレイを使用する。バックプレーンは、垂直方向上下にスクロールする態様で更新される。一回に一本の線又は２本の線いずれかが更新される。バックプレーンの高速パルスコードに対する液晶材料の相対的に低速の応答により、ディスプレイの近アナログ位相応答を効率的に達成することが可能となる。これは有利である。マイクロミラー系投影機ヘッドの高速バイナリ状態への同期が、真にバイナリの高速ＬＣｏＳデバイス（例えば強誘電体デバイス）と比較して問題が少ないからである。

我々のアプリケーションにとって重要なことは以下の通りである。すなわち、
・位相変調器の全体的なリフレッシュレート（リフレッシュレートは、全体的な投影機に必要なビデオフレームレートと整合する必要がある）。
・一定フレーム期間にわたる位相精度（位相変調器が、対応する駆動レベルに基づいて所与の位相値を、どの程度の信頼性で再現するのか）。
・一定フレーム内での位相安定性（全体的な位相応答（位相フリッカー）において、バックプレーンからの個々のデジタルパルスが、どの程度まで測定可能なのか、及びこれが光操舵にどのように影響するのか）。
・各ライン更新間のサブフレーム内の位相ドリフト。

キャリブレーション済みＬＣｏＳデバイスにおいて、ピクセル毎の液晶は、電界が適用され又は除去されるときに、２π又は０πそれぞれに向かってドリフトする。応答時間は、電界が適用された時刻から液晶が２π位相シフトをもたらす時刻までの時間と考えることができる。応答時間は、液晶の化学式によってチューニングすることができる。

図１０は、位相のみのマイクロディスプレイの立ち上がり特性及び立ち下がり特性の一例を示す。図１０は、０から２πの位相変調器に対する典型的な相対立ち上がり（左）及び立ち下がり（右）時間を示す。目標位相応答が０から２πであれば、中間位相遅延を達成するべく電圧を周期的に適用及び除去することができる。

周期電圧を生成する回路が、マイクロディスプレイの空間分解能と位相制御のビット精度とによって支配される周波数を有する。液晶応答時間は、更新周波数が駆動回路から与えられる場合に最も安定した画像を与えるようにチューニングされる。

現行プロトタイプにおいて使用される駆動回路は、７ｋＨｚで駆動オン／オフ電圧の状態を変えるべく動作可能なＦＰＧＡである。この場合、頂部から開始してピクセルアレイは、ラインごとに更新される。したがって、フレーム全体にわたる一つのビットプレーンの更新には、１／７，０００秒（すなわち約１４５，０００ナノ秒）かかる。

現行システムの位相安定性及び位相ドリフトのばらつきの一例は、図１１Ａ～１１Ｃにおける測定に見ることができる。ここで、液晶配向が、周期的な方形波電圧が適用されることによって半回転状態でバランスされる。

図１１Ａ、１１Ｂ及び１１Ｃは、駆動レベルが２５５のうち６５（左）、７５（真ん中）及び１００（右）でのサブフレーム位相応答を示す。我々は、小さなスケールの時間的なリップルを、位相フリッカーと称し、平均値まわりの偏差を、位相安定性と称することとする。

合計立ち上がり応答時間は８．７ミリ秒であり、合計立ち下り応答時間は現在のところ２１ミリ秒である。特定の被試験パネルのセル厚さは、当該アプリケーションに対してカスタマイズされておらず、光スペクトルのうち赤外（ＩＲ）部までの全体にわたり十分な位相遅延を与える。よって、セル厚さは、必要以上に厚い。この特定のパネルの例に対し、青色レーザダイオードにとって可能な最大の位相遅延は６ナノであり、赤色にとっては３ナノに近くなり得る。高速な応答時間は、セル厚さを低減して波長当たりの最大必要位相遅延を超えることがないようにすることによって達成することができる。さらに、レンズ効果を与える（操舵する）機能が、位相変調器の有効なリフレッシュレートを、簡単なモデルを介して説明することができ、かつ、そうであるべきである。新たなフレームが到着すると、すべてのピクセルの駆動状態が、次のリフレッシュサイクルで更新される。

高速な応答時間と高い位相安定性とは、時間制御の一つの共有次元に沿ってみると、ある程度対立する目標である。これは、ビデオフレームの持続時間内では、連続的な電界を初期に適用することにより、液晶が正しい位置に迅速に動くことが許容される（その後、電界が除去され又は時々パルスだけにされる）一方、ビデオフレーム全体にわたる位相安定性は、電界のオン状態及びオフ状態を、ビデオフレームの持続時間全体にわたって相対的に均等に広げることによって達成されるのが最善となるからである。双方の目標は、結局のところ、レンズ効果アルゴリズムにおいて説明され得るとともに、位相符号ワードを光位相応答にマッピングするべく使用されるパルス符号変調（ＰＣＭ）の基礎となるデジタル更新スキームにおいても説明され得る。

現行のプロトタイプシステムにおけるＦＰＧＡにより与えられる機能はまた、専用ＡＳＩＣにより与えられ得る。ＡＳＩＣは、高い更新レート（例えば１５ｋＨｚ）を与えることができる。図１１における位相安定性プロットでは、同じ時間内に２倍の数の山（ピーク）及び谷が見られる。

加えて、高速な応答時間（例えば２倍の改善）を可能にするべく現行の位相変調器において使用される液晶（ＬＣ）材料の複屈折特性を修正又は再定式化するオプションが存在する。

ＤＬＰ技術の特性

ＤＬＰ技術は、ピクセル毎のマイクロミラーを対角線にわたり前後にフリップさせるバイナリ変調器を利用する。各ミラーはいつでも、画面に光線を向けるオン状態か、オフ画面箇所、いわゆる光ダンプエリア、に光線を向けるオフ状態かのいずれとなり得る。ミラーは、迅速に前後にフリップすることによってグレースケールを生成する。例えば、ビデオフレームの過程にわたり、明るいピクセルをレンダリングするにはオン状態の方に多くの時間が費やされ、暗いピクセルに対してはオフ状態の方に多くの時間が費やされる。

典型的に、各ピクセルは、ビデオフレーム（通常は６０フレーム毎秒（ｆｐｓ））当たり８ビット（又はそれ以上）のグレースケール駆動値によって制御される。図１２は、こうしたグレースケールがどのようにしてミラーフリップに変換され得るのかの一例を示す。図１２は、高レベル動作原理（８ビットカラーに対する一フレームにおける概念的なビットパーティションを描くＴ１ ＤＬＰドキュメンテーションから複製）としてのＤＭＤタイミングの図である。

ビット（ｂｉｔ）が０に設定されるか１に設定されるかが、ミラーがオン位置にフリップされるかオフ位置にフリップされるかを決定する。ビット位置が、ミラーが当該状態のままである相対的な持続時間を決定する。ミラーが典型的に達成可能な秒当たりフリップの最大数は、１０ｋＨｚの直下である（図１２を参照。プロフェッショナルのアプリケーションに対しては８０ｋＨｚまでが報告されている）から、この推定に対して我々は、ミラー状態の最短期間を０．１ミリ秒すなわち１００，０００ナノ秒に設定する）。我々はこれを、図１２のダイヤグラムにおけるｂ０の期間に等しいミラーフリップ期間と称することとする。

非同期光パルス

（例えば最大レベルの５０パーセントで光を生成するべく）パルス光源が使用される場合、例えば光状態の低いパルス周波数に起因して、オフ及びオンのパルスがミラーフリップに非同期であって、オフ及びオンの期間が静止画像のフレーム毎に有意に異なる場合、フリッカリング（ちらつき）が生じる。

図１３Ａ及び１３Ｂは、低速な非同期光パルスを使用するパルス光源によるＤＭＤ動作の２つのフレームの相対タイミング図である。図１３Ａにおいて、信号が非同期であるとの事実に起因して、どのようにしてフレーム１において光が２／５の時間にオンになり、図１３Ｂのフレーム２において光が３／５の時間にオンとなるのかに注意されたい。オフ及びオンの光源期間がミラーフリップ期間に対して短い場合、静止フレーム間でのオフ期間とオン期間との差が劇的に低減されて人間の目に知覚されないはずである。

図１４Ａ及び１４Ｂは、最短可能ミラーフリップ期間よりも有意に高速に光源変調されるパルス光源によるＤＭＤ動作の２つのフレームの相対タイミング図を示す。

図１４Ａ及び１４Ｂにおいて、駆動値が１の一つの最小幅ミラーフリップのみが示されている点に注意されたい。光状態は、以下に記載されるＰＷＭクロックに類似する。さらに、この例では、光がフレーム１では２７／５４のオンであり、フレーム２では２８／５４のオンである点にも注意されたい。

同期光パルス

光源オフ期間及び光源オン期間が（図１５においてのように）ミラーフリップに同期されている場合、静止フレーム間の強度差は実質的に存在しないはずなので、光源パルス生成器は、ミラーフリップの期間で動作するだけでよく、ひいては、制御ソリューションの要件及び電磁干渉（ＥＭＩ）の考慮を劇的に低減することができる。図１５は、低速同期光パルスを使用するパルス光源によるＤＭＤ動作の一フレームに対する相対タイミング図である。

新たなフレームが到着すると、すべてのピクセルに対するミラーフリップロジックは、二重バッファリングスキームを介して（又は所望により頂部から底部までのブロックにおいて）同時に更新され得る。

レーザ制御ソリューション

我々は、高電流でレーザダイオードを直接駆動するべくｉＣ－Ｈａｕｓ ｉＣ－ＨＧデバイス（iC Haus GmbH. ic-haus homepage - product: ic-hg. http://ichaus.de/HG, 2017）を選択し、超高周波数でパルスを動作させるオプションを選択した。このデバイスは、差分ペア入力からの２００ＭＨｚまでのスイッチング能力を有する。５００ｍＷ（光パワー又はダイオード当たり６５０ｍＡ及び２：２Ｖの電力）６３８ｎｍレーザダイオードアレイの１００ＭＨｚまでの同期したスイッチングが確認された。ｉＣ－ＨＧへの一定電圧入力により、オン状態の電流制限が設定される。我々は、高速デジタルアナログ変換器（ＤＡＣ）によって一定電圧電流入力を駆動した。

ＬＣｏＳ位相変調器、バイナリＤＭＤ系ＳＬＭ、及びパルスレーザの組み合わせ

図１６は、位相ＬＣｏＳ、ＤＭＤ及びレーザパルスの組み合わせの相対タイミング図である。この図は、最短可能期間でのＤＭＤミラーフリップ、図示目的のために実際よりも少なくした光源パルス、及びＬＣｏＳ系位相変調器の予想される位相ドリフトを含む。全体的なシステム時間応答の第１推定を目的として以下の仮定が使用された。すなわち、
・最短ミラーフリップ持続時間に対し、約１００個の光状態ＰＷＭクロックパルスが存在し（図１６では明確性を目的として少なく示す）、ＬＣｏＳ位相誤差が、この例においては、０．１πと－０．１πとの間でとの間で平均１．５倍ドリフトする。
・上述のように導入された高速非同期ＰＷＭクロック駆動スキームに沿ったこれらの可視化には、（プロトタイプと比較して）２倍高速位相ＬＣｏＳ ＳＬＭ及び高速制御器チップ（ＡＳＩＣ）が使用された。

表３は、投影機内の異なる変調要素に対する典型的な更新速度及びその結果得られたパルス持続時間を示す。

位相変調における０．１πの誤差（ドリフト）は、２π超過という可能位相遅延の最大量と比較して相対的に低く、高速レーザ光源は、最高速ＤＭＤミラーフリップ数であっても影響を与えない。連続波（ＣＷ）又は常時点灯レーザドライバを含む多くの代替実装例が可能である。ここで、過剰な光は、アクティブ画像エリアから離れるように操舵される。

ＤＭＤ系実験プロトタイプ

ＬＣｏＳ系位相変調器、（ｋＨｚのオーダーの）ＰＷＭ調光レーザ光源及びＤＭＤを、非同期駆動スキームに従って組み合わせる実験プロトタイプが、実証目的で構築された、直接のタイミング測定が行われなかったが、可視時間アーチファクトは、目立つほど十分に支配的とはならなかった。位相誤差の相対的に低い振幅、及び位相フリッカーの、最大２πに対して低い振幅が、潜在的に存在する時間アーチファクトをマスキングする支援となった。

図１７は、位相ＬＣｏＳ及びＤＭＤ振幅変調器を有するプロトタイプの写真である。レーザが、ファイバを介して移送変調器に結合され（赤色、エンクロージャの左側）、その強度がＰＷＭ駆動スキームを介して調整される。

投影機の比色キャリブレーション

フルカラーシステムにおいて、比色キャリブレーションは、ＰＳＦを含むシステムを特徴付けることと精密にモデリングすることとを要求する。これらのことは、光源及び光路に依存するので、潜在的に位置に又は画像特徴部サイズにも依存し得る。

光操舵画像形成モデル

光源から画面までの動作において、コリメートされたレーザ光は、一連の光学機器により、光源から反射位相変調器へと中継される。所与の色チャネルに対する位相変調器から離れる光は、残りのチャネルからの光と組み合わせられ、ディフューザを通してフィリップス又はＲＧＢプリズムへと中継される。プリズムは、当該光を分離して、その複数のコンポーネント色にする。各コンポーネント色は、振幅変調器によって変調され、プリズム内で再結合され、主要投影レンズへと向けられる。

図１８は、レーザ光源から投影レンズまでのプロトタイプ投影機５０の光路内の高レベルの光ブロックを描く。レーザ５２Ａ、５２Ｂ及び５２Ｃがレーザ光を生成し、そのレーザ光が、位相光変調器５４Ａ、５４Ｂ及び５４Ｃそれぞれを通るように向けられる。一例の実施形態において、レーザ５２Ａ、５２Ｂ及び／又は５２Ｃは、レーザダイオードによって与えられてよい。例えば、レーザ５２Ａは４６２ｎｍの波長を生成するレーザダイオードとし、レーザ５２Ｂは５２０ｎｍの波長を生成するレーザダイオードとし、レーザ５２Ｃは６３８ｎｍの波長を生成するレーザダイオードとしてよい。

位相光変調器５４Ａ、５４Ｂ及び５４Ｃを通過した後、３つの光路からの光は、結合光学機器ブロック５６において結合された後、ディフューザ６０において拡散される。拡散された光はＲＧＢプリズム６０を通過し、ＲＧＢプリズム６０は当該光を分割して、その複数のコンポーネント波長にする。各別個の光路は、対応する空間光変調器（ＳＬＭ６２Ａ、６２Ｂ及び６２Ｃそれぞれ）に向けられる。空間光変調器による変調の後、光は、ＲＧＢプリズムにおいて再結合され、レンズ６４の中へと向けられた後に画面６６に投影される。ＲＧＢ光が結合されて白色光になることは、便宜上選択されたことであり、事前に整列されたＳＬＭを有する市販の投影ハードウェアへの適合を目的とする。別個のＲＧＢ光路を実装する十分に設計された投影機からは、良好なコントラスト性能が期待され得る。

この設計によれば、入射波面に位相変動をもたらすことができる位相変調器５４のおかげで、典型的なフル画面強度を十分に上回る局所強度を生成することができる。これにより、位相変調器５４は、ソフトウェア駆動位相パターンに応答するプログラム可能レンズとして機能することができる。位相パターンが、入力照明プロファイルから目標光プロファイルへの光の再分配を試みるように計算され、理想的には、下にある目標画像における強度の上側エンベロープを近似するように選択される。これにより、暗いエリアから、典型的な画像の特定に起因して、広い薄暗い領域を有する傾向がある明るい領域へ光が再分配され、小さな明るいハイライトにより、従来型投影機により達成され得るレベルの１０倍を超えるレベルにまで到達することができる予備光のかなりの合焦がもたらされる。

位相変調器が一定数のアーチファクトを導入するので、ディフューザが、光学設計に組み入れられてスペックルを低減するとともに、光照射野に対するローパスフィルタとして作用する。このアーチファクトは、固定されたテクスチャ、未操舵照明のコンポーネント、回折アーチファクトを含む。ディフューザは、回折アーチファクト及び固定テクスチャを除去するのに有効であるが、一般に、未操舵光を補償することはできない（図１９参照）。

図１９は、プロトタイプのレーザ光の未操舵コンポーネントを描く。未操舵コンポーネントは、位相変調器による操舵がされていないレーザ光から構成される。未操舵コンポーネントの光量は、ディフューザによるフィルタリングの後に位相変調器に入射する照明に関連する。典型的には、位相変調器に入射する光の約１０％が、未操作コンポーネントになる。

その結果、未操舵コンポーネントは、その後の画像形成に対する重要な寄与分となる。未操舵コンポーネントの測定は、すべての利用可能な光を画面外に操舵するように位相パターンを設計することによって得られる。残りが未操舵コンポーネントとなる（図１９）。

ＲＧＢプロトタイプのようなレーザダイオード系システムに対しては、未操舵コンポーネントは、位相変調器から反射された個々のダイオードビームを示す。これは、図１９において、縦縞（赤色）及び横縞（緑色、青色）として示される。配向の差は、ダイオードの異なる偏光配向に起因する。光源からのビームは、同じ方向に偏光されるので、すべての縞が、設計によって同様に配向される。ファイバ結合レーザの場合、未操舵コンポーネントは、有意にさらに均一となる。図２０は、結果的に得られたフル画面白色パターンを示す。

光学モデル

このセクションは、システムを駆動するべく使用されるアルゴリズムを記載する。全体的なアルゴリズムについての高レベルアルゴリズムブロックから始める。主要ブロックが、専門のサブセクションでさらに記載される。各矩形ブロックは一セットの動作に対応し、平行四辺形は、ブロック間で渡されるデータを示す。実線矢印がブロック間の既知の相互作用を示す一方、破線矢印はオプションの関係を示す。

高レベルアルゴリズム

図２１は、高レベルの方法７０のフロー図である。方法７０は、入力画像７２を取り入れる。入力画像７２は、線形入力７６を生成する変換ブロック７４に入力される。線形入力７６は、コンテンツマッピングアルゴリズムブロック７８による操作を受ける。ブロック７８により具体化されるコンテンツマッピングアルゴリズムは、目標光照射野８０、目標画像８２、及びパワー制御９８の入力を生成する。

目標光照射野８０は、フォワードモデルアルゴリズム８４及び位相パターン計算ブロック８８による作用を受ける。フォワードモデルアルゴリズム８４は、予測光照射野８６を生成する。予測光照射野８６は、目標光照射野８０及び目標画像８２の再計算を目標として、反復プロセスにおいてコンテンツマッピングアルゴリズム７８に入力として戻される。

最終的に、予測光照射野８６は振幅パターン生成ブロック９０に渡され、振幅パターン生成ブロック９０はさらに、目標画像８２を取り込んで、振幅パターンＬＳ９４及び振幅パターンＮＳ９６を生成する。位相パターン計算ブロック８８は、位相パターン９２を生成する。ＲＧＢプロトタイプシステムにおいて、この入力は、各チャネルの知覚量子化（ＰＱ）エンコーディングによるＣＩＥ１９３１ＸＹＺ色空間における値を含む。

入力変換ブロックにおいて、画像データコンテンツが線形化され、システムの作業色空間へと変換される。入力変換の出力は、現在のところ線形ＲＧＢレーザ原色で表現された線形画像である。

コンテンツマッピングブロックにおいて、線形画像は、光操舵投影機と非操舵投影機との間で、２つの投影機の場合は別個の振幅パターンそれぞれにより、又は統合システムの場合は共有振幅パターン（光操舵を有する一つの投影ヘッド、及び非光操舵光源）により、分割（又は分配）される。コンテンツマッピングブロックの出力は、目標光照射野画像、目標（フル）画像（投影機当たり）、及びパワー制御信号となる。パワー制御信号と目標画像とは、取られるパワー制御アプローチに応じて相互に関連する。

物理的に光を再配向するべく、目標光照射野は、位相パターン生成アルゴリズムブロックへの入力として使用される。これは、位相変調器による光再分配に影響を与えるべく必要とされる駆動パラメータを計算する。加えて、目標光照射野は、フォワードモデルアルゴリズムブロックによっても使用される。これは、光操舵画像形成モデルのフィードフォワードシミュレーションを実装する。実際には、位相変調器及びその後の光路が、任意の目標光照射野を正確に再現することができないからである。フォワードモデル手順は、目標画像と組み合わせられて、振幅パターン生成ブロックにより使用される予測光照射野画像を生成する。これにより、光操舵及び非光操舵双方のブロックに対して必要な振幅パターンが決定される。

入力変換

入力変換ブロックは主に、入力画像を、入力が表現される色空間（例えばＸＹＺ色空間におけるＰＱエンコード画像）から、レーザ原色により定義される色空間へと変換する。使用される精密な変換は、入力画像データの形態に依存する。

図２２は、入力変換ブロック７４がＰＱ－ＸＹＺ入力画像７２を取得して線形化ブロック１０２において同画像を線形化し、線形ＸＹＺ出力１０４を生成するアルゴリズムブロックを示す。その後、線形ＸＹＺ出力は、色空間変換１０６により、光操舵投影機の色空間において線形出力７６に変換される。

ＰＱエンコーディングのためのフォワード変換及び逆変換が、以下の式で与えられる。

ここで、Ｐ及びＬは、範囲［０；１］にマッピングされたＰＱ値及び線形値を表す。これらの範囲は、公称動作範囲、例えば１０ビットＰＱに対して［０，２^１０－１］、Ｌに対して［０，１００００］ｃｄ／ｍ^２まで調整される必要がある。この変換は、１Ｄルックアップテーブル（ＬＵＴ）として実装することができるが、曲線の領域すべてを解決するには、サンプリングレートに対するケアが重要となる。

色変換に対するＲＧＢ投影機の原色及び白色点（Ｄ６５）が表４に示される。

これらからのレーザ原色においてＲＧＢ画像を取得するべく、その一つがＲＧＢ投影機原色（ＭＴＴＰ３）に変換され得る。この変換は、各チャネルの輝度を保持するべく選択され、ＸＹＺ画像間に以下の関係が得られる。

ここで、［Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ］^Ｔは、結合された画像の輝度であり、［Ｙ_ｒ，Ｙ_ｇ，Ｙ_ｂ］^Ｔは、Ｙ_ｗ＝Ｙ_ｒ＋Ｙ_ｇ＋Ｙ_ｂとの制約のもとで独立して処理された各チャネルの輝度である。そして、Ｙ_ｗ＝１に対応するチャネル当たりの輝度［Ｙ_ｒ，Ｙ_ｇ，Ｙ_ｂ］^Ｔは、上述のシステムを解くことによって見出すことができる。

チャネル当たりの輝度地が、ＭＴＴＰ３からＸＹＺへの変換Ｍを定義するべく使用された。この変換は、以下のように定義することができる。

これは、各チャネルがその対応原色の輝度を格納する入力画像が、当該画像に格納された輝度で当該原色の色度にマッピングされる必要があることを意味する。この変換は、以下を使用して見出すことができる。

上述した色度及び白色点について、これがＭに対して以下の結果を与える。

同様に、ＸＹＺからＭＴＴＰ３への逆マッピングが以下のように表現できる。

コンテンツマッピング

コンテンツマッピングブロック７８が、入力として線形入力画像を取得し、光操舵投影機と非光操舵投影機との間の分割、及び必要なパワーレベルを決定する。

図２３は、コンテンツマッピングブロック７８を実装するべく適用され得る一例のアルゴリズム７８Ａの詳細を示す。アルゴリズム７８Ａはまず、線形入力７６を取得して、システムパワー予算の条件で入力画像が実現可能か否かをチェックする。これは、現在のところ、パワーヒューリスティックを使用して行われる。否（Ｎｏ）の場合、入力はトーンマッピング１１４される。トーンマッピング１１４は、例えば、簡単なスケーリングを含む。ただし、より洗練されたトーンマッピングアルゴリズムも適用してよい。結果として得られた目標画像８２（通過されるかトーンマッピングされるかのいずれか）がその後、引き続き手のステージにとっての目標光照射野となる。実現可能な入力コンテンツに対しては、線形入力画像と目標画像とは同一である。目標画像８２はその後、目標光照射野画像８０を生成するべく使用される。目標画像８２は、非操舵システムと操舵システムとの間で分割される。分割機能１１６が、目標光照射野８０、及びパワー制御９８のための情報を生成する。

操舵と非操舵との間の分割は、例えば、目標画像を指数まで引き上げて（γ＞１）光操舵画像を決定することによって達成することができる。これは、光操舵投影機データを正確に再現するわけではない。ハイライトを強調するべくそのコンテンツが破壊されるからである。正確に（かつ光効率的に）分割することは、画像形成のほとんどに対して、しきい照明レベル（例えば４８ｃｄ／ｍ^２）までは非操舵投影機を使用し、照明レベルが増加するにつれて光操舵投影機において徐々にフェージングすることによって得られる。例えば、図２４は、操舵と非操舵との分割の一例の、ｃｄ／ｍ^２単位の目標輝度の関数としてのグラフである。なお、対数・対数スケールである。

図２４の一例の実施形態において、分割機能１１６は、操舵投影機への引き継ぎが開始されるポイントである４７ｃｄ／ｍ^２までの画像形成の９０％に対し、非操舵投影機を利用しようと試みる。ペイントされた（ｐａｉｎｔｅｄ－ｏｎ）外観を有する明るい画像特徴部を回避するべく、すべてのピクセルにおいて画像の一部分に対し、操舵投影機を使用することが望ましい。分割は１Ｄであり、一関数として又はＬＵＴとして実装してよい。

フォワードモデル

図２５は、フォワードモデルアルゴリズムブロック８４を実装するべく適用され得る一例のアルゴリズム８４Ａの図示である。フォワードモデルブロック８４は、入力として目標光照射野８０を、コンテンツマッピングブロック７８から取得し、それを使用して光システムの出力を予測する。これを、予測光照射野８６と称する。

予測光照射野８６を計算することは有利となる。目標光照射野のすべてが達成可能というわけではないからである。予測光照射野８６は、正確な振幅パターンを計算するべく使用することができる。予測光照射野８６は、目標光照射野８０と比較して、実際の光照射野がどれほど目標光照射野と異なるのかを特定することができる。アルゴリズム８４Ａは、キャリブレーション済みシステムＰＳＦ１２２及び実際の光照射野（操舵）１２４、並びに未操舵コンポーネント１２６を、全体的なパワーレベルを説明するように注意しながら、出力画像に適用することを含む。

フォワードモデルは、目標光照射野８０を入力として取得し、ディフューザによるぼかし後の実際の光照射野の結果を予測するべくシステムＰＳＦ１２２を目標光照射野８０に適用する。ＲＧＢ投影機システムのＰＳＦの一例は、４×４パターンに並べて図２６に示される。赤色チャネル、緑色チャネル及び青色チャネルに対するＰＳＦが、異なるサイズ及び／又は形状を有し得る。

その結果得られた光照射野にはこの場合、未操舵コンポーネント１２６の効果が加えられる。これは、ぼかし後に加えられる。この画像の測定は、ディフューザを通過した後になって初めて達成されるからである。現行のシステムでは、固定パターンが高度の不均一となる。ファイバ結合システムにおいては、ガウス分布に近似し得る。

位相パターン計算

位相パターン生成ブロック８８は、目標光照射野を達成するのに必要な位相パターンを計算する。図２７は、位相パターン計算ブロック８８を与えるべく適用され得る一例のアルゴリズム８８Ａを示す。

振幅変調器上で画像を正確にフレーミングして高い回折次数を分離するべく、目標光照射野８０を前処理することが望ましい。これは、３つのチャネルをアラインさせるべく意図されたキャリブレーション済み歪みによるワーピング１３２を含む。例えば、次元Ｗ×Ｈの目標画像の各点［ｘ，ｙ］を、２Ｄの３次多項式によってソース画像における点［ｘ_ｍ，ｙ_ｍ］にマッピングすることができる。

ソース画像はその後、各目的ピクセルｘ，ｙに対応する［ｘ_ｍ，ｙ_ｍ］において線形サンプリングされ得る。目標座標（［ｘ_ｎ，ｙ_ｎ］座標）の正規化により、ソース画像と目標画像との分解能不整合に対してもマッピングを計算することができる。１０×１フィットパラメータベクトルβ_ｘ及びβ_ｙが、キャリブレーションから取得される。ひとたびワーピング及び再サンプリングがされると、その結果得られた画像は、（光学的構成に応じて）循環シフト１３４され、（［０．００１，１０００．０］のような）適切な範囲にクランプ１３６される。この時点で、位相計算アルゴリズム１４２が適用される。そして、最終的な位相パターンが、位相パネルの出力範囲にマッピングされる。

振幅パターン生成

振幅パターン生成ブロック９０が、目標画像及び予測光照射野を入力として使用することにより、操舵投影機及び非操舵投影機に対する振幅パターンを決定する。図２８は、振幅パターン生成ブロック９０を実装するべく与えられる一例のアルゴリズム９０Ａを示す。

アルゴリズム９０Ａはまず、非操舵照明１５２を予測光照射野８６に加える。これは、画面上で利用可能な光の合計となる。目標画像８２は、予測光照射野８６を説明するべく調整される。共通振幅パターン１６０がその後、光操舵及び非光操舵振幅変調器の双方に対して計算される。その結果得られた画像が、透過率の有効範囲（例えば［０，１］）にクランプ１５６される（又は範囲外領域におけるテクスチャを保持するべくトーンマッピングされ得る）。任意の必要なＬＵＴがその後、振幅ＳＬＭの応答を説明するべく適用１５８され、そのパターンがその後、投影ヘッドに直接送信される。操舵投影機と非操舵投影機とを空間的にアラインさせるべく、アラインメントワーピング１６２を、キャリブレーション済みピクセル対応部に基づいて使用することができる。アラインメントワーピング１６２は、位相パターン生成ブロックと同じ３次ワーピング関数を使用することができる。これにより、光操舵（ＬＳ）振幅パターン９４、及び非操舵（ＮＳ）振幅パターン９６が得られる。

結果

図２９Ａ及び２９Ｂは、シネマ投影機とプロトタイプ光操舵投影機とを並べて比較する写真を示す。双方とも、レンズ外の同じ光パワーにより、このセクションで導入されるアルゴリズムフレームワークを使用して処理されたビデオを再生する。図２９Ａ及び２９Ｂはそれぞれ、レンズ外の同じ光パワーによる光操舵プロトタイプ（左）及び伝統的投影機（右）に表示された映画からの一フレームを示す。光操舵投影機（左）は、比較投影機のコントラスト及びピーク輝度を、約２０倍だけ有意に超越している（光操舵投影機：１，０００ｃｄ／ｍ^２；右の投影機：４８ｃｄ／ｍ^２）。

用語の解釈

本明細書及び特許請求の範囲全体を通して、文脈が明らかにそうでないことを要求しない限り、
・「含む」、「備える」等は、排他的又は網羅的な意味とは対照的に、包括的な意味、すなわち「含むが、これに限られない」との意味に解釈するものとし、
・「接続され」、「結合され」又はこれらの任意の変形は、２つ以上の要素間の直接又は間接いずれかの任意の接続又は結合を意味し、当該要素間の結合又は接続は物理的、論理的、又はこれらの組み合わせとしてよく、
・「ここに」、「上に」、「下に」、及び同様の意味の言葉は、本明細書を記載するべく使用されるとき、本明細書全体に言及されるべきであって、本明細書のいずれかの特定の部分に言及されるべきではなく、
・２つ以上の項目のリストを言及する「又は」及び「若しくは」は、当該単語の以下の解釈のすべて、すなわち、当該リストの任意の項目、当該リストのすべての項目、及び当該リストの項目の任意の組み合わせをカバーし、
・単数形「一の」、「一つの」、及び「当該」、「この」、「その」はまた、任意の適切な複数形の意味も含む。

本明細書及び任意の添付の特許請求の範囲において使用される「縦」、「横」、「水平」、「上方」、「下方」、「前」、「フォワード」、「後」、「バックワード」、「内」、「外」、「垂直」、「横切る」、「左」、「右」、「前」、「後」、「頂」、「底」、「下」、「上」、「下」等のような方向を示す言葉は（存在する場合）、記載され図示される装置の特定の方向に依存する。ここに記載される主題は、様々な代替配向を仮定し得る。したがって、これらの方向の用語は、厳密に定義されてはおらず、狭く解釈するべきではない。

本発明の実施形態は、特定的に設計されたハードウェア、構成可能ハードウェア、データプロセッサ上で実行可能なソフトウェア（オプションで「ファームウェア」を含み得る）の提供によって構成されるプログラム可能データプロセッサ、又は、ここに詳細に説明される方法における一以上のステップ及び／若しくはこれらの２つ以上の組み合わせを行うべく特定的にプログラムされ、構成され、若しくは構築される専用コンピュータ若しくはデータプロセッサを使用して実装することができる。特定的に設計されたハードウェアの例は、論理回路、特定用途向け集積回路（「ＡＳＩＣ」）、大規模集積回路（「ＬＳＩ」）、超大規模集積回路（「ＶＬＳＩ」）等である。構成可能ハードウェアの例は、プログラマブルアレイロジック（「ＰＡＬ」）、プログラマブルロジックアレイ（「ＰＬＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）のような一以上のプログラム可能論理デバイスである。プログラム可能データプロセッサの例は、マイクロプロセッサ、デジタル信号プロセッサ（「ＤＳＰ」）、組込みプロセッサ、グラフィックスプロセッサ、数学コプロセッサ、汎用コンピュータ、サーバコンピュータ、クラウドコンピュータ、メインフレームコンピュータ、コンピュータワークステーション等である。例えば、投影機の制御回路における一つ以上のデータプロセッサは、プロセッサにアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、ここに記載の方法を実装することができる。

処理は集中又は分散されてよい。処理が分散される場合、ソフトウェア及び／又はデータを含む情報が集中して保持され又は分散され得る。かかる情報は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）若しくはインターネットのような通信ネットワーク、有線若しくは無線のデータリンク、電磁信号、又は他のデータ通信チャネルを経由して異なる機能ユニット間で交換され得る。

例えば、プロセス又はブロックが所与の順序で提示されるが、代替例は、異なる順序でステップを有するルーチンを行うこと又はブロックを有するシステムを用いることができ、いくつかのプロセス又はブロックは、代替又はサブコンビネーションを与えるべく削除、移動、追加、細分化、結合、及び／又は修正することができる。これらのプロセス又はブロックはそれぞれが、様々な異なる態様で実装することができる。また、プロセス又はブロックが直列的に行われるように示されることがあるが、これらのプロセス又はブロックは、その代わりに、並列して行い又は異なる時に行うこともできる。

加えて、要素が連続して実行されるように示される場合があるが、その代わりに同時に又は異なる順序で実行されてよい。したがって、以下の特許請求の範囲は、意図された範囲内にあるそのようなすべての変形例を含むと解釈されることを意図する。

ソフトウェア及び他のモジュールは、サーバ、ワークステーション、パーソナルコンピュータ、タブレットコンピュータ、画像データエンコーダ、画像データデコーダ、ビデオ投影機、オーディオビジュアル受信器、（テレビのような）ディスプレイ、デジタルシネマ投影機、メディアプレーヤ、及びここに記載される目的に適した他のデバイスに常駐してよい。

本発明はまた、プログラム製品の形態で与えられてよい。プログラム製品は、データプロセッサによって実行されると、データプロセッサに本発明の方法を実行させるコンピュータ可読命令のセットを担持する任意の非一時的媒体を含んでよい。本発明に係るプログラム製品は、多種多様な形態のいずれかとしてよい。プログラム製品は、例えば、フロッピーディスケットを含む磁気データ記憶媒体、ハードディスクドライブ、ＣＤ ＲＯＭを含む光学データ記憶媒体、ＤＶＤ、ＲＯＭを含む電子データ記憶媒体、フラッシュＲＡＭ、ＥＰＲＯＭ、有線又は事前プログラムチップ（例えばＥＥＰＲＯＭ半導体チップ）、ナノテクノロジーメモリ等のような非一時的媒体を含み得る。プログラム製品上のコンピュータ可読信号は、オプションで圧縮又は暗号化してよい。

いくつかの実施形態では、本発明はソフトウェアで実装されてよい。大幅に明確にすると、「ソフトウェア」はプロセッサ上で実行される任意の命令を含み、ファームウェア、常駐ソフトウェア、マイクロコード等を含み得るがこれらに限定されない。処理ハードウェア及びソフトウェアは双方とも、当業者に知られているように、全体的又は部分的に集中又は分散（又はこれらの組み合わせ）されてよい。例えば、ソフトウェア及び他のモジュールは、ローカルメモリを介し、ネットワークを介し、分散コンピューティングの文脈におけるブラウザ若しくは他のアプリケーションを介し、又は上述した目的に適した他の手段を介し、アクセスすることができる。

コンポーネント（例えばソフトウェアモジュール、プロセッサ、アセンブリ、光変調器、レンズ、投影機ヘッド、プリズム、デバイス、回路等）が上で参照される場合、そうでないことが示されない限り、そのコンポーネントへの参照（「手段」への参照も含む）は、そのコンポーネントの均等物として、記載のコンポーネントの機能を実行する任意のコンポーネントを含むもの（すなわち機能的に均等）と解釈されるべきである。本発明の図示された典型的な実施形態における機能を実行する開示の構造に構造的に均等とはいえないコンポーネントも含まれる。

システム、方法及び装置の特定の例が、例示目的でここに記載されてきた。これらは複数の例にすぎない。ここに与えられる技術は、上述した例のシステム以外のシステムに適用することもできる。本発明の実施内で、多くの代替、修正、追加、省略及び置換が可能である。本発明は、記載の実施形態に対する変形例を含む。その変形例は当業者にとって明らかであり、特徴、要素及び／若しくは工程を、均等な特徴、要素及び／若しくは工程に置換すること、異なる実施形態からの特徴、要素及び／若しくは工程を混合及びマッチングすること、ここに記載の実施形態からの特徴、要素及び／若しくは工程を、他の技術の特徴、要素及び／若しくは工程と組み合わせること、並びに／又は記載の実施形態からの特徴、要素及び／若しくは工程を省略し組み合わせることによって得られる変形例を含む。

様々な特徴が、「いくつかの実施形態」に存在するものとしてここに記載される。かかる特徴は必須ではなく、すべての実施形態に存在するわけではない。本発明の実施形態は、そのような特徴のゼロ、任意の一つ、又は２つ以上の任意の組み合わせを含み得る。これは、かかる特徴の所定のものが、かかる特徴の他のものと不適合となる範囲にのみ制限される。当業者にとって、かかる不適合な特徴を組み合わせる実用的な実施形態を構築することが不可能という意味である。したがって、「いくつかの実施形態」が特徴Ａを所有し、かつ、「いくつかの実施形態」が特徴Ｂを所有するとの記載は、発明者が（当該記載がそうではないことを述べない限り、又は特徴Ａと特徴Ｂとが基本的に不適合とはならない限り）特徴Ａと特徴Ｂとを組み合わせた実施形態も意図しているという明示として解釈すべきである。

したがって、以下の添付の特許請求の範囲及びその後に導入される特許請求の範囲は、合理的に推測され得るすべてのそのような修正、置換、追加、省略及びサブコンビネーションを含むと解釈されることが意図される。特許請求の範囲は、複数例に記載される好ましい実施形態によって限定されるべきではなく、全体として記載に一致する最も広い解釈が与えられるべきである。

Claims (42)

1. 画像を形成するべく光を投影するように動作可能な画像投影システムであって、
   第１変調光を画面に投影するべく動作可能であり、第１空間光変調器を含む第１投影機と、
   第２変調光を前記第１変調光に重畳させるように前記画面に投影するべく動作可能であり、光操舵モジュールを含む第２投影機と、
   表示される目標画像のための目標照明レベルを定義するピクセル値を含む画像データを処理するべく、並びに前記第１空間光変調器及び前記光操舵モジュールのための制御信号を生成するべく動作可能な制御器と
   を含み、
   前記処理は、光出力を前記第１投影機と前記第２投影機との間で分割することにより、前記第２変調光が前記画像のピクセルのそれぞれに対する前記光の一部分を含むとともに、前記第１変調光が前記画像の前記ピクセルに対する前記光の大部分を構成する態様となり、前記光の大部分に対しては前記目標照明レベルが第１しきいレベル未満となる、画像投影システム。
2. 前記制御器は、前記目標画像を定義する前記ピクセル値をパワーγまで上昇させることを含む処理によって修正された目標画像を生成し、前記第２投影機に対する制御信号を前記修正された目標画像に基づかせるべく構成され、ここで、γ＞１である、請求項１に記載の画像投影システム。
3. 前記制御器は、前記分割を、前記目標照明レベルに基づいてピクセル毎に行うべく構成される、請求項１に記載の画像投影システム。
4. 前記制御器は、前記第１しきいレベル未満の目標照明レベルを有するピクセルに対し、前記第１変調光の輝度に対する前記第２変調光の輝度の固定比を維持するべく構成される、請求項２に記載の画像投影システム。
5. 前記制御器は、前記第１しきいレベルを超過する目標照明レベルを有するピクセルに対し、前記第１変調光に対する前記第２変調光の比が前記固定比を超過するように、前記第２投影機を制御するべく構成される、請求項４に記載の画像投影システム。
6. 前記固定比は２０％未満である、請求項４又は５に記載の画像投影システム。
7. 前記第２変調光の任意のピクセルに対する前記第２投影機による最大達成可能照明レベルが、第１変調光の任意のピクセルに対する前記第１投影機による最大到達可能照明レベルよりも少なくとも１０倍大きい、請求項１から６のいずれか一項に記載の画像投影システム。
8. 前記制御器はルックアップテーブル（ＬＵＴ）を含み、
   前記制御器は、前記ＬＵＴからの出力に基づいて前記光出力を前記第１投影機と前記第２投影機との間で分割するべく構成される、請求項１から７のいずれか一項に記載の画像投影システム。
9. 前記第２投影機は第２空間光変調器を含み、
   前記制御器は、前記画像データにアラインメントワーピングを適用してワーピングされた画像データを得て、前記ワーピングされた画像データを使用して前記第２空間光変調器を駆動するように構成される、請求項１から７のいずれか一項に記載の画像投影システム。
10. 前記制御器は、前記目標画像の表示が実現可能か否かを決定するべくチェックを行うように構成され、
    前記チェックにより前記目標画像の表示が実現可能ではないと決定された場合、前記制御器は、トーンマッピングされた画像データを得るべく前記画像データにトーンマッピングを行い、前記トーンマッピングされた画像データによる処理を続けるべく構成される、請求項１から９のいずれか一項に記載の画像投影システム。
11. 前記第１投影機は広帯域光源を含む、請求項１から１０のいずれか一項に記載の画像投影システム。
12. 前記広帯域光源は、前記第１空間光変調器を均一に照明するべく配列される、請求項１１に記載の画像投影システム。
13. 前記広帯域光源は白色光源を含む、請求項１１又は１２に記載の画像投影システム。
14. 前記第２投影機は狭帯域光源を含む、請求項１から１３のいずれか一項に記載の画像投影システム。
15. 前記狭帯域光源は一以上のレーザダイオードを含む、請求項１４に記載の画像投影システム。
16. 前記狭帯域光源は、赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードを含む、請求項１５に記載の画像投影システム。
17. 前記光操舵モジュールは複数の位相変調器を含み、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光はそれぞれが、前記複数の位相変調器の第１位相変調器、第２位相変調器及び第３位相変調器により操舵される、請求項１６に記載の画像投影システム。
18. 前記制御器は、前記光操舵モジュールによって操舵されてきた光に対する予測光照射野を計算するフォワードモデルを実装し、
    前記フォワードモデルは、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光に対する別個の点拡がり関数を含む、請求項１６又は１７に記載の画像投影システム。
19. 前記フォワードモデルは反復モデルである、請求項１８に記載の画像投影システム。
20. 前記フォワードモデルは、前記光操舵モジュールからの光の操舵済みコンポーネントと、前記光操舵モジュールからの光の未操舵コンポーネントとをモデリングする、請求項１８又は１９に記載の画像投影システム。
21. 前記第１投影機と前記第２投影機とは、共通投影機ヘッドを共有する、請求項１から２０のいずれか一項に記載の画像投影システム。
22. 画像を形成するべく光を投影する画像投影方法であって、
    第１空間光変調器を含む第１投影機を使用して第１変調光を画面に投影することと、
    光操舵モジュールを含む第２投影機を使用して第２変調光を前記第１変調光に重畳させるように前記画面に投影することと、
    表示される目標画像に対して目標照明レベルを定義するピクセル値を含む画像データを処理することであって、前記処理は、光出力を前記第１投影機と前記第２投影機との間で分割することにより、前記第２変調光が前記画像のピクセルのそれぞれに対する前記光の一部分を含むとともに、前記第１変調光が前記画像の前記ピクセルに対する前記光の大部分を構成する態様となり、前記光の大部分に対しては前記目標照明レベルが第１しきいレベル未満となることと、
    前記第１空間光変調器及び前記光操舵モジュールのための制御信号を生成することと
    を含む、画像投影方法。
23. 前記目標画像を定義する前記ピクセル値をパワーγまで上昇させることを含む処理によって修正された目標画像を生成し、前記第２投影機のための制御信号を前記修正された目標画像に基づかせることをさらに含み、ここで、γ＞１である、請求項２２に記載の画像投影方法。
24. 前記分割は、前記目標照明レベルに基づいてピクセル毎に行われる、請求項２２に記載の画像投影方法。
25. 前記第１しきいレベル未満の目標照明レベルを有するピクセルに対し、前記第１変調光の輝度に対する前記第２変調光の輝度の固定比を維持することをさらに含む、請求項２３に記載の画像投影方法。
26. 前記第１しきいレベルを超過する目標照明レベルを有するピクセルに対し、前記第１変調光に対する前記第２変調光の比が前記固定比を超過するように、前記第２投影機を制御することをさらに含む、請求項２５に記載の画像投影方法。
27. 前記固定比は２０％未満である、請求項２５又は２６に記載の画像投影方法。
28. 前記第２変調光の任意のピクセルに対する前記第２投影機による最大達成可能照明レベルが、第１変調光の任意のピクセルに対する前記第１投影機による最大到達可能照明レベルよりも少なくとも１０倍大きい、請求項２２から２７のいずれか一項に記載の画像投影方法。
29. ルックアップテーブルからの出力に基づいて前記光出力を前記第１投影機と前記第２投影機との間で分割することをさらに含む、請求項２２から２８のいずれか一項に記載の画像投影方法。
30. 前記画像データにアラインメントワーピングを適用してワーピングされた画像データを得ることと、
    前記ワーピングされた画像データを使用して前記第２投影機の第２空間光変調器を駆動することと
    をさらに含む、請求項２２から２８のいずれか一項に記載の画像投影方法。
31. 前記目標画像の表示が実現可能か否かを決定するべくチェックを行い、前記チェックにより前記目標画像の表示が実現可能ではないと決定された場合、トーンマッピングされた画像データを得るべく前記画像データにトーンマッピングを行い、前記トーンマッピングされた画像データによる処理を続けることをさらに含む、請求項２２から３０のいずれか一項に記載の画像投影方法。
32. 前記第１投影機は広帯域光源を含む、請求項２２から３１のいずれか一項に記載の画像投影方法。
33. 前記第１空間光変調器を均一に照明するように前記広帯域光源を動作させることをさらに含む、請求項３２に記載の画像投影方法。
34. 前記広帯域光源は白色光源を含む、請求項３２又は３３に記載の画像投影方法。
35. 前記第２投影機は狭帯域光源を含む、請求項２２から３４のいずれか一項に記載の画像投影方法。
36. 前記狭帯域光源は一以上のレーザダイオードを含み、
    前記画像投影方法は、前記光操舵モジュールの一以上の位相変調を照明するように前記レーザダイオードを動作させることを含む、請求項３５に記載の画像投影方法。
37. 前記狭帯域光源は、赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードを含む、請求項３６に記載の画像投影方法。
38. 前記光操舵モジュールの複数の位相変調器の第１の位相変調器、第２の位相変調器及び第３の位相変調器それぞれを使用して、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光を操舵することをさらに含む、請求項３７に記載の画像投影方法。
39. 前記光操舵モジュールによって操舵されてきた光に対する予測光照射野を計算するフォワードモデルを実装することをさらに含み、
    前記フォワードモデルは、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光に対する別個の点拡がり関数を含む、請求項３７又は３８に記載の画像投影方法。
40. 前記フォワードモデルは反復モデルである、請求項３９に記載の画像投影方法。
41. 前記フォワードモデルは、前記光操舵モジュールからの光の操舵済みコンポーネントと、前記光操舵モジュールからの光の未操舵コンポーネントとをモデリングする、請求項３９又は４０に記載の画像投影方法。
42. 前記第１投影機と前記第２投影機とは、共通投影機ヘッドを共有する、請求項２２から４１のいずれか一項に記載の画像投影方法。

Images