JP7319471B2 - 投影システムおよび投影システムの駆動方法 - Google Patents

Description

関連出願への相互参照
本願は、2019年12月11日に出願された米国仮特許出願第62/946,559号、および2019年12月11日に出願された欧州特許出願第19215112.4号の優先権を主張するものであり、これらの出願は、いずれもその全体が参照により本明細書に組み込まれる。

1. 開示の分野
本願は、概して、投影〔プロジェクション〕システムおよび投影システムを駆動する方法に関する。

2. 関連技術の説明
デジタル投影システムは、典型的には、光源および光学系を利用して、画像を表面またはスクリーン上に投影する。光学系は、ミラー、レンズ、導波路、光ファイバー、ビームスプリッタ、ディフューザ、空間光変調器（spatial light modulator、SLM）等の構成要素を含む。

いくつかの投影システムは、空間振幅変調を実現するSLMに基づいている。そのようなシステムでは、光源は、画像上に再現できる最も明るいレベルを具現する光場を提供し、光は、所望のシーンレベルを生成するために減衰される（たとえば、廃棄される）。そのような構成では、投影されて画像の何らかの部分を形成するのでない光は減衰または廃棄される。あるいはまた、投影システムは、光が減衰される代わりにステアリングされるように構成されてもよい。しかしながら、光を捨てたり減衰させたりするのではなく、光をステアリングする投影システムは、受け入れ可能な画質を達成するために、一つまたは複数の副次変調器を実装することある。上記は、特に、高ダイナミックレンジ（HDR）画像が投影される場合に当てはまる。そのような場合、投影システムのコントラスト比は、光の減衰または副次変調器によって影響されることがある。このようにして、上述の投影システムは、典型的には、投影システムの光学および／または電力効率に悪影響を及ぼしうるさまざまな構成要素に頼り、投影システムの複雑さおよびコストを増大させることがある。

本開示のさまざまな側面は、位相のみの光変調を使用する投影表示のための回路、システム、および方法に関する。

本開示のある例示的側面では、画像データに応答して光を放出するように構成された光源と；前記光源から光を受け取り、前記光に空間的に変化する位相変調を加えるように構成された位相光変調器と；前記画像データのフレームについて、複数の位相構成を決定する段階であって、前記複数の位相構成のそれぞれは位相アルゴリズムの解に対応し、かつ、異なる変調パターンを用いた同じ画像を表す、段階と；前記位相光変調器に位相制御信号を提供する段階であって、前記制御信号は、前記位相光変調器に、前記フレームのある時間期間内に時分割的に前記複数の位相構成に従って光を変調させ、それにより前記投影システムに前記時間期間内に一連のサブフレームを投影させるように構成されている、段階とを実行するように構成されているコントローラとを有する、投影システムが提供される。

本開示の別の例示的側面では、投影システムを駆動する方法であって、画像データに応答して光源によって光を放出する段階と；位相光変調器によって前記光を受け取る段階と；前記位相光変調器によって、前記光に空間的に変化する位相変調を加える段階と；前記画像データのフレームについて、複数の位相構成を決定する段階であって、前記複数の位相構成のそれぞれは位相アルゴリズムの解に対応し、かつ、異なる変調パターンを用いた同じ画像を表す、段階と；前記位相光変調器に位相制御信号を提供して、前記位相光変調器に、前記フレームのある時間期間内に時分割的に前記複数の位相構成に従って光を変調させ、それにより前記時間期間内に一連のサブフレームを投影する段階とを含む、方法が提供される。

本開示の別の例示的側面では、投影装置のプロセッサによって実行されると前記投影装置に動作を実行させる命令を記憶している非一時的なコンピュータ読み取り可能媒体であって、前記動作は、画像データに応答して光源によって光を放出する段階と；位相光変調器によって前記光を受け取る段階と；前記位相光変調器によって、前記光に空間的に変化する位相変調を加える段階と；前記画像データのフレームについて、複数の位相構成を決定する段階であって、前記複数の位相構成のそれぞれは位相アルゴリズムの解に対応し、かつ、異なる変調パターンを用いた同じ画像を表す、段階と；前記位相光変調器に位相制御信号を提供して、前記位相光変調器に、前記フレームのある時間期間内に時分割的に前記複数の位相構成に従って光を変調させ、それにより前記時間期間内に一連のサブフレームを投影する段階とを含む、媒体が提供される。

このようにして、本開示のさまざまな側面は、高ダイナミックレンジおよび高解像度を有する画像の表示を提供し、少なくとも画像投影、ホログラフィー、信号処理などの技術分野における改善をもたらす。

さまざまな実施形態のこれらおよび他のより詳細かつ具体的な特徴は、添付の図面を参照しながら、以下の説明においてより完全に開示される。
本開示のさまざまな側面による例示的な投影システムのブロック図を示す。 本開示のさまざまな側面と一緒に使用するための例示的な位相変調器を示す。 本開示のさまざまな側面と一緒に使用するための別の例示的な位相変調器を示す。 本開示のさまざまな側面による例示的なプロセス・フローを示す。 5A～5Cは、それぞれ、本開示のさまざまな側面による画像フレームおよび構成を示す。 本開示のさまざまな側面による表示画像の一つを示す。 本開示のさまざまな側面による表示画像の一つを示す。 本開示のさまざまな側面による表示画像の一つを示す。 本開示のさまざまな側面による表示画像の一つを示す。 本開示のさまざまな側面による表示画像の一つを示す。 本開示のさまざまな側面による表示画像の一つを示す。 8A～8Bは、それぞれ、本開示のさまざまな側面による表示画像を示す。

本開示およびその側面は、コンピュータ実装される方法、コンピュータ・プログラム・プロダクト、コンピュータ・システムおよびネットワーク、ユーザー・インターフェース、およびアプリケーション・プログラミング・インターフェースによって制御されるハードウェアまたは回路、ならびにハードウェア実装される方法、信号処理回路、メモリ・アレイ、特定用途向け集積回路、フィールド・プログラマブル・ゲート・アレイなどを含む、さまざまな形で具現できる。前述の概要は、単に本開示のさまざまな側面の一般的な概念を与えることを意図したものであり、いかなる仕方であれ本開示の範囲を限定しない。

以下の説明では、本開示の一つまたは複数の側面の理解を提供するために、回路構成、タイミング、動作などの多くの詳細が記載される。当業者には、これらの具体的な詳細は単に例であり、本願の範囲を限定することは意図されていないことが容易に明らかになるであろう。

さらに、本開示は、主に、デジタル投影システムにおいてさまざまな回路が使用される例に焦点を当てるが、これは、単に実装の一例であることが理解されるであろう。さらに、開示されたシステムおよび方法は、光を投影する必要がある任意の装置、たとえば、映画館、消費者用および他の商用投影システム、ヘッドアップディスプレイ、バーチャルリアリティディスプレイなどに使用できることが理解されよう。

プロジェクター・システム
プロジェクター・システムでは、光学系の構成要素のようなさまざまな内部構成要素が非効率性を導入することがある。たとえば、画像が光を減衰または廃棄することによって形成される場合、廃棄または減衰された光は、もはや画像の他の部分においてより明るい詳細を達成するために利用可能ではない。画像が光のステアリングによって形成される場合、使用される可能性のある追加的な変調器は、電力消費の増大、設計の複雑さの増大、製造コストの増大などをもたらす可能性がある。

図1は、本開示のさまざまな側面による、例示的な位相のみ投影システム（phase-only projection system）100のブロック図を示す。具体的には、図1は、光のビーム102を放出するように構成された光源101と、光を拡大するように構成された第1のレンズ103と、拡大された光をコリメートするように構成された第2のレンズ104と、空間的に変化する位相変調を適用して、それによりコリメートされた光をステアリングするように構成された位相光変調器（phase light modulator、PLM）105と、第3のレンズ107と、フィルタ108と、スクリーン112上に画像を形成するように構成された第4のレンズ110と、投影システム100のさまざまな構成要素を制御するように構成されたコントローラ111とを含む投影システム100を示す。また、PLM 105の再構成面106、および再構成画像面109も示されている。再構成面106は、PLM 105から光学的に下流に位置するように示されているが、再構成面106は、仮想的な再構成面であって、よって、PLM 105から光学的に上流に位置するのでもよい。

さまざまなレンズのような、図1に示される光学系は例示的であり、限定的ではない。実際的な実装では、投影システム100は、より少ない光学コンポーネントを含んでいてもよく、あるいはミラー、レンズ、導波路、光ファイバー、ビームスプリッタ、ディフューザなどの追加的な光学コンポーネントを含んでいてもよい。スクリーン112を除いて、図1に示される構成要素はハウジング中に統合されて、投影装置を提供してもよい。そのような投影装置は、メモリ、入力／出力ポート、通信回路、電源などの追加的な構成要素を含んでいてもよい。

光源101は、たとえば、レーザー光源、LEDなどであってもよい。一般に、光源101は、コヒーレント光を発する任意の発光体である。本開示のいくつかの側面において、光源101は、それぞれが異なる波長または波長帯に対応する複数の個々の発光体を含んでいてもよい。光源101は、コントローラ111によって提供される画像信号に応答して光を放出する。画像信号は、連続して表示される複数のフレームに対応する画像データを含む。コントローラ111は、たとえば、投影システム100の中央処理装置（CPU）のような一つまたは複数のプロセッサであってもよい。画像信号は、ストリーミングまたはクラウドベースの仕方で外部源に由来してもよく、ハードディスクのような投影システム100の内部メモリに由来してもよく、投影システム100に動作上接続された取り外し可能な媒体に由来してもよく、またはそれらの組み合わせであってもよい。

フィルタ108は、投影システム100の内部構成要素によって生じる影響を緩和するために設けることができる。いくつかのシステムでは、PLM 105（詳細は後述）はカバーガラスを含み、反射を引き起こすことがあり、装置のスイッチングは一時的に、望まれないステアリング角を引き起こすことがあり、さまざまな構成要素は散乱を引き起こすことがある。これに対抗し、投影システム100のフロアレベルを低下させるために、フィルタ108は、フーリエ（「DC」）フィルタ・コンポーネントであってもよい。よって、フィルタ108は、カバーガラス反射、ストローク遷移状態等のような要素に対応するであろう、ゼロ角度に近い光からのフロアレベルを低減することによって、コントラストを増加させることができる。このDCブロック領域は、ある種の光がスクリーンに到達するのを防止するためにアルゴリズムによって能動的に使用されてもよい。本開示のいくつかの側面では、フィルタ108は、コントローラ111からの制御に応答して、アクティブ画像領域の外側に位置する光ダンプに前記光をステアリングすることによって、望まれない光がスクリーンに到達するのを防止する。

位相光変調器
図1に示されるように、コントローラ111はまた、光源101から光を受け取るPLM 105を制御する。PLM 105は、空間的に変化する位相変調を光に与え、変調された光を第3のレンズ107に向け直す。PLM 105は、PLM 105が空間的に変化する位相をもって入射光を反射する反射型であってもよく、あるいはまた、PLM 105は、PLM 105を通過する際に光にPLM 105が空間的に変化する位相を与える透過型であってもよい。本開示のいくつかの側面において、PLM 105は、液晶オンシリコン（LCOS）アーキテクチャーを有しているか、またはデジタルマイクロミラーデバイス（DMD）などのマイクロ電気機械システム（MEMS）であってもよい。

図2は、反射型LCOS PLM 200として実装され、部分断面図で示されるPLM 105の一例を示す。図2に示されるように、PLM 200は、シリコン・バックプレーン210、第1の電極層220、第2の電極層230、液晶層240、カバーガラス250、およびスペーサー260を含む。シリコン・バックプレーン210は、相補型金属酸化物半導体（CMOS）トランジスタなどのPLM 200に関連する電子回路を含む。第1の電極層220は、透明マトリクス222内に配置された反射素子221のアレイを含む。反射素子221は、アルミニウムまたは銀のような、任意の高度に光学的に反射性の材料から形成されてもよい。透明マトリクス222は、透明酸化物のような、任意の高度に光学的に透過性の材料から形成されてもよい。第2の電極層230は、インジウムスズ酸化物（ITO）の薄膜のような、任意の光学的に透明な電気伝導性材料で形成されうる。第2の電極層230は、第1の電極層220の複数の反射素子221に対応する共通電極として提供されてもよい。そのような構成では、複数の反射素子221のそれぞれは、それぞれの電場を介して第2の電極層230に結合し、それにより、PLM 200をピクセル要素のアレイに分割する。よって、複数の反射素子221の個々のもの（またはサブセット）は、シリコン・バックプレーン210内に配置された電子回路を介してアドレッシングされ、それにより、対応する反射素子221の状態を修正しうる。

液晶層240は、第1の電極層220と第2の電極層230との間に配置され、複数の液晶241を含む。液晶241は、固体と液体との間の中間の相で存在する粒子であり、言い換えると、液晶241は、位置秩序は示さないが、ある程度の方向秩序を示す。液晶241が向く傾向のある方向は「配向子（director）」と称される。液晶層240は、液晶241の複屈折性Δnに基づいて、カバーガラス250から入射する入射光を修正する。複屈折性は、配向子に平行な方向の屈折率と、配向子に垂直な方向の屈折率との差として表すことができる。このことから、最大光路差は、複屈折性に液晶層240の厚さを乗じたものとして表すことができる。この厚さはスペーサー260によって設定され、スペーサー260はPLM 200をシールし、カバーガラス250とシリコン・バックプレーン210との間の設定距離を確実にする。液晶241は、一般に、第1の電極層220と第2の電極層230との間の電界線に沿って配向する。図2に示されるように、PLM 200の中心付近の液晶241は、このように配向され、一方、PLM 200の周付近の液晶241は、電界線が存在しないので、実質的に配向されない。位相駆動信号を介して複数の反射素子221の個々のものをアドレッシングすることによって、液晶241の配向をピクセル毎に決定することができる。

図3は、DMD PLM 300として実装され、部分断面図で示されたPLM 105の別の例を示す。図3に示されるように、PLM 300は、バックプレーン310と、ピクセル要素としての複数の制御可能な反射素子を含み、各反射素子は、ヨーク321、ミラープレート322、および一対の電極330を含む。図3の断面図では、2つの電極330のみが見えるが、各反射素子は、実際には、追加の電極を含むことができる。図3には特に示されていないが、PLM 300は、スペーサー層、支持層、ミラープレート322の高さまたは配向を制御するヒンジ・コンポーネントなどをさらに含むことができる。バックプレーン310は、CMOSトランジスタ、メモリ・アレイ等のようなPLM 300に関連する電子回路を含む。

ヨーク321は、バイアス電圧がミラープレート322に印加されることを可能にするように、電気伝導性材料から形成されるか、またはそれを含むことができる。ミラープレート322は、アルミニウムまたは銀のような高反射性材料で形成することができる。電極330は、それぞれ第1の電圧および第2の電圧を受けるように構成され、個々にアドレッシング可能であってもよい。電極330上の電圧およびミラープレート322上の電圧（たとえば、バイアス電圧）の値に依存して、電位差がミラープレート322と電極330との間に存在し、それがミラープレート322に対して作用する静電気力を生成する。ヨーク321は、静電気力に応答してミラープレート322の垂直方向の動きを許容するように構成される。静電気力とヨーク322のばね状の力が等しいときに生じるミラープレート322の平衡位置が、ミラープレート322の上面から反射される光の光路長を決定する。よって、図4に示されるように、複数の制御可能な反射素子の個々のものは、いくつかの（図では3つの）離散的な高さを、よっていくつかの離散的な位相構成または位相状態を提供するように制御される。図示されるように、各位相状態は、平坦なプロファイルを有する。本開示のいくつかの側面において、電極330は、ミラープレート322に傾斜を付与するように、互いに異なる電圧を提供されてもよい。そのような傾斜は、上述のタイプの光ダンプとともに利用することができる。

PLM 300は、高いスイッチング速度が可能であってもよい。たとえば、PLM 300は、数十μsのオーダーである位相状態から切り換わる。位相制御のフルサイクルを提供するために、ミラープレート322がその最高点にある状態とミラープレート322がその最低点にある状態との間の全光路差は、入射光の波長λにほぼ等しいはずである。よって、最高点と最低点の間の高さの範囲は、λ/2にほぼ等しいはずである。

どちらの特定のアーキテクチャーがPLM 105のために使用されるかにかかわらず、それはコントローラ111によって制御され、ピクセル毎に特定の位相構成をとる。よって、PLM 105は、960×540アレイのような、それぞれのピクセル要素のアレイを利用する。アレイ中のピクセル要素の数は、PLM 105の解像度に対応してもよい。実装可能なステアリングの性質のために、光は、再構成画像面上の任意の位置にステアリングされることができ、PLM 105と同じピクセルグリッドに結び付けられない。PLM 105は高速応答時間が可能であるため、再構成画像面上に高解像度の動画像が生成されうる。PLM 105の動作は、投影システム100のデータ帯域幅、PLM 105のストローク量子化、および／またはPLM 105の応答時間によって影響されうる。最大分解能は、光源101の点広がり関数（point-spread function、PSF）および投影システム100内のさまざまな光学コンポーネントのパラメータによって決定されうる。

画像フレーム毎に単一の位相構成を有する非常に高品質の画像を作成することは困難でありうるが、本開示によるPLM 105は、高速応答時間が可能であり、よって、単一のフレームについて連続して複数の位相構成が提示されることができ、それが次いで、人間の眼によって高品質の画像に統合される。

位相構成
図4は、本開示のさまざまな側面による、位相のみの投影方法のための例示的なプロセス・フローを示す。プロセス・フローは、図1に示される投影システム100のコントローラ111など、位相のみの投影システムのコントローラで実行されうる。

401では、コントローラは画像データのフレームを受領する。フレームは、外部、内部、または取り外し可能な源から提供される画像信号の形であってもよい。画像信号は、特定の用途のフレームレートに依存するレートで一連のフレームを含む。各フレームは、特定の解像度でスクリーン上に画像を生成するための画像データを含む。本開示は、実装されうるフレームレートおよび／または解像度において特に限定されない。たとえば、フレームレートは、映画館用途では24Hzまたは48Hz、家庭用途では30Hz、60Hzまたは120Hzなどでありうる。さらに、解像度は2K（2048×1080）、4K（4096×2160）、1080p（1920×1080）、消費者4K（3840×2160）などである。

402では、コントローラは位相アルゴリズムの解を計算し、それにより位相構成を決定または生成する。位相構成は、変動するノイズプロファイルで画像レベルを近似する、回折を意識した位相アルゴリズム（diffraction-aware phase algorithm）を使用して生成されてもよい。位相アルゴリズムの各解は、異なるステアリングまたは変調パターンでの同じ画像の表現を記述する。多くの解が時間を通じて統合されると、これは、ステアリング構成のいずれか1つに露出する可能性のあるアーチファクトの視認性を低下させる。変動性は、ランダムまたは擬似ランダム・シードの形で、波長などの計算パラメータの変動によって導入することができる。

位相アルゴリズムは、変調面における複素振幅（フェーザー）場（「変調場」）と再構成面における複素振幅場（「再構成場」）との間の双方向マッピングを確立することによって機能することができる。変調面は、PLM 105のような変調器が位置する平面を指す。再構成面は、変調器の画像形成面を指し、再構成画像面109と同じであってもよい。変調場M(x,y)および再構成場R(x',y')は、次の式（1）および（2）によって表すことができる：

式（1）および（2）において、Aおよびφは、それぞれ、振幅および位相を表す。

双方向マッピングは、フレネルまたはレイリー・ゾンマーフェルト伝搬のような任意の数値波動伝搬であってもよい。このマッピングは、次の式（3s）とその逆（3b）で表すことができる:

式（3a）および（3b）において、Pは波動伝搬関数である。

次いで、位相アルゴリズムの解を計算することは、再構成場〔チルダ付きのI〕の対応する強度成分が、再構成画像面（たとえば、図1に示される再構成画像面109）において目標画像を最もよく再現するように、（たとえば、図1に示されるPLM 105の平面における）変調場φ_Mの位相成分を見出すことと同等であってもよい。再構成場の強度成分は、以下の式（4）によって与えられる：

実際上、アルゴリズム実装は、目標再構成場を入力としてとり、振幅情報のない変調場解を与えるように制約された双方向マッピングを求めて逐次反復的に解く。言い換えると、アルゴリズムは次の式（5）から、φ_Mの値を決定する：

式（5）は、次の式（6）によって表される制約条件の下で評価される：

再構成場の位相成分は先験的には知られておらず、よって、再構成されたときに同じ画像の表現を伝達する異なる位相構成（変調位相成分φ_M）を生成するためのシードとして利用されうる。図1のコントローラ111は、シード分布を用いて位相アルゴリズムを初期化するように構成されてもよい。

403では、402で計算された位相構成が表示される。すなわち、PLM（たとえば、図1に示されたPLM 105）は、PLM 105が402で計算された位相構成に従って光を変調し、それにより投影システムに、画像データおよび位相構成に対応する画像をスクリーン（たとえば、スクリーン112）上に投影させるように制御される。

404では、インデックス変数nは、最大値Nと比較される。最大値Nは、単一フレーム期間内に表示されるべき位相構成の数に対応する。n＜Nの場合、405でnがインクリメントされ、プロセスは402に戻り、そこで新しい位相アルゴリズム解が計算される。このように、図4は、各サブフレームについて該サブフレームの開始時に位相アルゴリズム解が計算される方法を示す。しかしながら、本開示のいくつかの側面では、位相構成は、所与のフレーム内のすべてのサブフレームについて一度に計算されてもよい；そのような方法では、プロセスは、n＜Nの場合、代わりに403に戻ってもよい。いずれの場合にも、404においてn＝Nであれば、nは、406で1に再初期化され、プロセスは401に戻り、画像信号中の次のフレームについて繰り返される。

図5のA～Cは、それぞれ、上述のプロセスが複数の相続く画像フレームでどのように実装されうるかを示す。図5のAは、単一の反復工程（N＝1）での上述のプロセスを示し、図5のBは、2回の反復工程（N＝2）での上述のプロセスを示し、図5のCは、N回の反復工程での上述のプロセスを示す。

図5のA～Cでは、画像データの2つのフレーム500が示されている。各フレームはTのフレーム期間をもつ。フレーム期間〔フレーム周期〕は単にフレームレートの逆数である。たとえば、24Hzのフレームレートについては、フレーム期間は約42msである。各フレーム500は、N個の位相構成510に分割され、そのそれぞれは、切り換え期間511および反復工程期間512を含む。切り換え期間511は、PLMが新しい位相状態に切り換わるのに要する時間の量に対応し、よって、Nとは独立である。フレーム500についての反復工程期間512の合計が、PLM（よって、結果として得られる画像の位相）が静的である総時間である。

単一のフレーム500について複数の位相構成510が利用される場合（図5のB～Cの場合のように）、位相構成510は、人間の眼によって統合され、フレーム期間Tに等しい持続時間を有する再構成されたフレーム520を生成する。統合動作は、事実上、諸位相構成510を通じたノイズの時間的な平滑化を提供し、よって、観察者は、再構成されたフレーム520において高品質を認識する。

図5のAでは、単一の位相構成510のみが利用され、よって、単一の切り換え期間511のみが発生する。よって、各フレーム500についての全体的な反復工程時間は、フレーム期間から切り換え期間511の継続時間を引いたものに等しい。図5のBでは、2つの位相構成510が利用され、よって、2つの切り換え期間511が生じる。よって、各フレーム500についての全体的な反復工程時間は、フレーム期間から切り換え期間511の継続時間の2倍を差し引いたものに等しい。同様に、図5Cに示される一般的な場合では、N個の切り換え期間511が発生し、各フレーム500についての全体的な反復工程時間は、フレーム期間から切り換え期間511の持続時間のN倍を引いたものに等しい。数Nが増加し、よって、より多くの位相構成510が単一の再構成フレーム520に統合されると、知覚される画像品質は向上する。これは、図6A～6Dに示されている。

図6Aは、比較的明るい部分と比較的暗い部分とを含む目標画像を示している。図6Bは、N＝1であり、単一の位相構成のみが存在する場合（たとえば、図5A）の結果である。上述のアルゴリズムは、PLMに位相ノイズを加えるので、結果として得られる画像は、スペックルがある（speckled）またはスタティックがある（staticky）ように見える。図6Cは、N＝7であり、よって、7つの位相構成が単一の再構成フレームに統合される場合の結果を示す。図6Aの目標画像と比較して、何らかのスペックル（speckle）またはスタティック（static）が依然として明白であるが、結果として得られた画像品質は、図6Bの単一構成画像と比較して、大幅に改善されている。図6Dは、N＝60であり、よって、60の位相構成が単一の再構成フレームに統合される場合の結果を示す。

図6A～6Dに示される知覚される画質に加えて、複数の相続く位相構成の使用は、投影システム内のダスト効果に対するレジリエンスを提供することもできる。すなわち、コヒーレント光源は、高度に組織化された（そしてしばしばコリメートされた）光を生成し、そのため光路のほとんどあらゆるところにあるダストおよび結果として生じる回折効果が、最終的な画像において見えてしまう。逐次的な位相変調解の使用の結果として、変調器から光学的に下流に、非常に多様な動的な光の場が生じ、画像を再生する際に角度ダイバーシチが導入される。各位相サブフレームは、前のサブフレームとは異なる解を有するため、イメージング面における粒子以外のシステム内の物理的粒子の視認性が低下しうる。

知覚される画像品質はNの増加に伴って増加するが、結果として得られる画像のコントラストは、切り換え期間の結果として減少しうる。言い換えれば、より多くの位相構成が実装されると、PLMの位相が静的であるフレーム期間の割合は減少する。よって、Nの値を設定する際には、画像品質が画像コントラストに対してバランスされる。切り換え速度のようなPLMの特定のパラメータに依存して、位相は、図6Dの60位相統合では、フレーム期間の～97%にわたって静的であってもよい。よって、本開示のさまざまな側面において、Nは、好ましくは60に設定される。

知覚される画像品質は、図7A～7Bに示されるように、初期化フェーズに対して課される制約条件にも依存しうる。すなわち、アルゴリズム自体は初期化フェーズに対して多くの制約条件を課さないが、いくつかの制約条件があれば、再構成されるフレームの知覚される画像品質を改善しうる。図7A～7Bの両方において、N＝10である。しかしながら、図7Aでは、初期化位相は、一様分布をランダムにサンプリングすることによって生成された。図7Bでは、初期化位相は、最適化された分布によって生成された。図7Bのために使用された特定の分布は、ゲルシュベルク・サクストン（Gerchberg-Saxton）アルゴリズム（これは逐次反復的アルゴリズムである）をランダム位相パターンに適用し、結果として得られる最適化されたランダム位相を初期化位相として使用することによって生成された。実際上は、初期化フェーズはこれらの2つのオプションに制約されない。たとえば、初期化位相は、平坦な場を使用して、またはガウス分布またはホワイトノイズ分布のような分布をランダムにサンプリングすることによって生成されてもよい。

フレームが逐次的に処理されるいくつかの用途では、1つのフレームからの再構成場φ_Rは、後続のフレームを初期化するために使用されうる。たとえば、フレーム毎にN個の構成が計算される場合、与えられたフレームは、前のフレームからの再構成場φ_Rの成分の一部または全部を使用して初期化されうる。そのような例では、第1のフレームF₁では、アルゴリズムは、異なるランダム位相シードでそれぞれ初期化されたN個のサブフレーム変調場構成を計算することができ、次のフレームF2では、アルゴリズムは、N個のサブフレーム変調場構成φ_Mを計算してもよく；次のフレームF₂では、アルゴリズムは、フレームF₁からのサブフレーム再構成場φ_R（または、サブフレーム再構成場φ_Rの変形）を使用してそれぞれ初期化されたN個のサブフレーム変調場構成φ_Mを計算してもよく；次いでフレームF₃では、アルゴリズムは、フレームF₂からのサブフレーム再構成場φ_R（または、サブフレーム再構成場φ_Rの変形）を使用してそれぞれ初期化されたN個のサブフレーム変調場構成φ_Mを計算してもよい、などとなる。

いくつかの例では、アルゴリズムは、新しい位相シードを生成するか、または前のフレームからの再構成場φ_Rを使用する（たとえば、シード分布を前のフレームに基づかせる）か、を動的に決定することができる（たとえば、図1のコントローラ111が、位相アルゴリズムに基づいて動的に決定することができる）。この決定は、現在のフレームと前のフレームとの間の差、動き検出などを含むがそれらに限定されない、一つまたは複数の要因に基づくことができる。新しい位相シードを生成するか、またはシード分布を前のフレームに基かせるかを動的に決定することにより、アルゴリズムは、各フレームについて、新しいシードを使用するか、または前のフレームからのシードを再使用するかを動的に決定することができる。いくつかのフレームについてシード分布を再利用できることにより、アルゴリズムは、すべてのフレームについて新しいシード分布を生成する必要がないので、より効率的である。

アーチファクト補償
使用される位相構成の数が比較的大きい場合（たとえば、N～100）、アーチファクト（本明細書では「強度ロールオフ（intensity roll-off）」アーチファクトと呼ばれる）が、再構成画像の一部に現れることがある。強度ロールオフ・アーチファクトは、初期化フェーズを生成するいくつかの方法では、他の方法よりも目に見えることがある。たとえば、一様分布をサンプリングすることによって生成される初期化位相は、最適化された分布によって生成される初期化位相よりも、より大きな度合いの強度ロールオフを示すことがある。強度ロールオフ・アーチファクトの可能性または発生に対処するために、アルゴリズムは、ロールオフ補償マップCを入力として受け入れるように修正されてもよい。上記の式（5）に鑑み、修正アルゴリズムは、次の式（7）に従って表すことができる：

換言すれば、アルゴリズムによって達成されるべき目標画像は、強度ロールオフを考慮するために乗法的マップCによって補償されたIである。

マップCの計算を例示するために、以下の説明は、最適化された位相初期化によってシードされた多数の位相構成が統合された、平坦な白色プロファイルを有するシミュレートされた画像に基づいて提供される。そのような場合、たとえば二次元ガウス関数を統合された画像に当てはめることにより、統合された平坦な白色画像

から輝度ロールオフ情報を抽出することができる。これは、次の式（8）および（9）によって表すことができる：

次いで、補償マップCは、一例として次の式（10）を用いて、

から導出されうる：

式（10）において、

は配列

の最小値を返す関数である。補償マップCの計算は、一度（たとえば、映画館プロジェクター較正手順の間に）実行されて記憶されてもよく、それがその後、ビデオ・シーケンス内の異なる入力フレームに適用されうる。

あるいはまた、補償マップCを使用する代わりに、目標画像をスケーリングすることによって強度ロールオフ補償が実行されてもよい。そのような場合には、アルゴリズムは、次式（11）で表されるように画像スケーリング変換Sを適用するように修正されてもよい。

スケーリング変換Sは、画像Iの有効解像度を低減し、結果をゼロでパディングし、よって、もとの画像Iと同じ解像度を有する。

超解像（Super-Resolution）
上述のように、画像データは、特定の画像解像度でのスクリーン上の画像に対応する。さらに上述したように、PLMは、ピクセル要素のアレイを含み、よって、特定のPLM分解能を有する。より高い画像解像度は、一般に、より詳細な（またはより高い精細度の）画像に対応する。しかしながら、より高いPLM分解能は、コストが高いことがあり、切り換え時間が長いことがあり、および／または製造上または他のロジスティック上の困難を呈することがある。よって、画像解像度より低いPLM分解能を有するPLMを使用することが望ましい場合がある。これ可能なのは、PLMの性質により、固定ピクセルグリッド上の位置だけでなく、再構成画像面上のほとんど任意の位置に光をステアリングすることができるためである。このステアリングは、PLMの高速応答時間と相まって、再構成画像面上に超解像画像、すなわちPLM分解能よりも解像度の高い画像を生成することを可能にする。一般に、高品質画像を生成する場合、所望の画像解像度は、統合される位相構成の数に比例する。なぜなら、1つの解によって生成される情報内容の大きさ（magnitude）は固定されているからである。

一例として、ピクセル要素の960×540のアレイ（よって、960×540のPLM分解能）を有するPLMを使用して、1080p画像（1920×1080の画像解像度）を生成することができる。そのような場合、目標画像は、目標画像の4つの位相を含む4つのより小さな画像に分解され、いくつかの画像位相解がPLM分解能で計算される。この例では、超解像処理は、画像解像度が各方向のPLM分解能の2倍であるため、4つの位相を使用する。次いで、画像位相解（image phase solution）と組み合わせたときに、再構成されたデータが所望の再構成に関して正しい位置にあるように、再構成された画像をグローバルにシフトする傾斜位相解（tilt phase solution）が計算される。傾斜位相解を計算するための傾斜関数の一例は、次の式（12）によって与えられる：

式（12）において、W(x,y)は、所与の波長について位相に変換され、画像位相解と組み合わされなければならない傾斜波面スカラー場であり、ベクトルP〔→付きのP〕は再構成画像面に沿った所望される解パニング・ベクトル（solution-panning vector）であり、ベクトルx〔→付きのx〕は変調器平面上の位置であり、fは作業距離である。

式（12）は、傾斜位相解を計算するために使用されうる唯一の傾斜関数ではない。本開示のいくつかの側面において、再構成面上の標的とされるスポットが、任意の所与の時点において一様な間隔ではないよう、傾斜関数は区分的線形関数またはなめらかな関数でありえる。これは、利用可能なPLM分解能の、再構成された画像にわたる空間的な分布を生じさせる可能性がある。

図8A～図8Bは、画像解像度よりも小さいPLM分解能を有するシステムに適用される超解像処理の効果を示している。図8A～8Bでは、PLM分解能は960×540である。図8Aは、再構成された画像のうち、超解像処理が適用されていない部分を示し、図8Bは、再構成された画像の同じ部分に、4位相超解像処理が適用されたものを示す。図8Aでは、超解像処理が適用されないため、画像解像度はPLM分解能と同等の960×540である。しかしながら、図8Bでは、画像解像度は1920×1080に増加されている。図8A～図8Bの比較からわかるように、超解像処理は、改善された画像品質をもたらす。

効果
本明細書に記載される投影システムおよび方法のビームステアリングの性質により、500,000:1以上のオーダーの非常に高い静的コントラストを達成することが可能である。多段変調器システムと比較して、本明細書に記載のシステムは、同じ量の入力光パワーを使用して、より明るいオブジェクトを生成することができる。これは、本明細書に記載される投影システムおよび方法が、第2の変調器を利用せず、よって、それに付随する効率ペナルティを経験しないからであり、また、本明細書に記載される投影システムおよび方法は、より小さな投影されるPSFを有し、そのため、より小さく、より明るいオブジェクトが生成できるからである。

本明細書に記載される投影システムおよび方法は、高い全体的な全体的なダイナミックレンジを生成できるので、上昇したフロアレベルがあればそれに対処し、よって、具体的な光学コンポーネントの選択において、より高い柔軟性を提供するように、グローバルな振幅変調が実装されうる。さらに、画像再生は、システム解像度の影響を受けないステアリングによって実現されるため、残留ノイズは、観察者によって「有機的（organic）」またはフィルム粒子に類似したものとして認識される可能性がある。

本開示によるシステム、方法、および装置は、以下の構成のいずれか一つまたは複数をとることができる。
（１）画像データに応答して光を放出するように構成された光源と；
前記光源から光を受け取り、前記光に空間的に変化する位相変調を加えるように構成された位相光変調器と；
コントローラとを有する投影システムであって、前記コントローラは：
前記画像データのフレームについて、複数の位相構成を決定する段階であって、前記複数の位相構成のそれぞれは位相アルゴリズムの解に対応し、かつ、異なる変調パターンを用いて同じ画像を表す、段階と；
前記位相光変調器に位相制御信号を提供する段階であって、前記位相制御信号は、前記位相光変調器に、前記フレームのある時間期間内に時分割的に前記複数の位相構成に従って光を変調させ、それにより当該投影システムに前記時間期間内に一連のサブフレームを投影させるように構成されている、段階とを実行するように構成されている、
投影システム。
（２）前記複数の位相構成は、60位相構成である、（１）に記載の投影システム。
（３）前記位相アルゴリズムは、ランダムまたは擬似ランダム・シードで初期化される、（１）または（２）に記載の投影システム。
（４）前記位相アルゴリズムは、前記位相光変調器が配置される変調面における場と、前記位相光変調器によって画像が形成される再構成面における場との間の双方向マッピングを確立するように構成されている、（１）ないし（３）のうちいずれか一項に記載の投影システム。
（５）前記画像データは、画像解像度を有し、前記位相光変調器は、前記位相光変調器におけるピクセル要素の数に対応する変調分解能を有し、前記変調分解能は、前記画像解像度よりも低い、（１）ないし（４）のうちいずれか一項に記載の投影システム。
（６）前記画像解像度は、前記変調器分解能の4倍である、（５）に記載の投影システム。
（７）前記位相アルゴリズムは、前記画像データの目標強度を修正するための補償マップまたは前記画像データの有効解像度を修正するためのスケーリング変換に基づく、（１）ないし（６）のうちいずれか一項に記載の投影システム。
（８）前記位相光変調器は、アレイ内に配置された複数のピクセル要素と、前記位相制御信号に応答して前記複数のピクセル要素のそれぞれの状態を修正するように構成された回路とを有する、（１）ないし（７）のうちいずれか一項に記載の投影システム。
（９）前記位相光変調器は、デジタルマイクロミラーデバイスである、（１）ないし（８）のうちいずれか一項に記載の投影システム。
（１０）前記位相光変調器は、液晶オン半導体デバイスである、（１）ないし（８）のうちいずれか一項に記載の投影システム。
（１１）投影システムを駆動する方法であって：
画像データに応答して光源によって光を放出する段階と；
位相光変調器によって前記光を受け取る段階と；
前記位相光変調器によって前記光に空間的に変化する位相変調を加える段階と；
前記画像データのフレームについて、複数の位相構成を決定する段階であって、前記複数の位相構成のそれぞれは位相アルゴリズムの解に対応し、かつ、異なる変調パターンを用いて同じ画像を表す、段階と；
前記位相光変調器に位相制御信号を提供し、それにより、前記位相光変調器に、前記フレームのある時間期間内に時分割的に前記複数の位相構成に従って光を変調させ、それにより前記時間期間内に一連のサブフレームを投影する段階とを含む、
方法。
（１２）前記位相アルゴリズムによって、前記位相光変調器が配置される変調面における場と、前記位相光変調器によって画像が形成される再構成面における場との間の双方向マッピングを確立する段階をさらに含む、（１１）に記載の方法。
（１３）前記双方向マッピングは、レイリー・ゾンマーフェルト伝搬である、（１２）に記載の方法。
（１４）前記位相アルゴリズムは、前記再構成面における場の目標に基づいて、振幅情報のない変調面における前記場についての解を生成するために、前記双方向マッピングを逐次反復的に生成する、（１２）または（１３）に記載の方法。
（１５）前記位相アルゴリズムをシード分布で初期化する段階をさらに含む、（１１）ないし（１４）のうちいずれか一項に記載の方法。
（１６）前記シード分布は、一様分布である、（１５）に記載の方法。
（１７）前記シード分布は、ランダム位相パターンに逐次反復アルゴリズムを適用することによって生成される、（１５）に記載の方法。
（１８）前記フレームについての前記シード分布は、前のフレームからの再構成場に基づいている、（１５に記載の方法。
（１９）前記フレームについて、前記シード分布を新たに生成するか、または前記シード分布を先行フレームに基づかせるかを動的に決定する段階をさらに含む、（１５）ないし（１８）のうちいずれか一項に記載の方法。
（２０）投影装置のプロセッサによって実行されると、該投影装置に（１１）ないし（１９）のうちいずれか一項に記載の方法を含む動作を実行させる命令を記憶している非一時的なコンピュータ読み取り可能

本明細書に記載されたプロセス、システム、方法、ヒューリスティック等に関して、かかるプロセス等のステップは、ある順序付けられたシーケンスに従って生起するように記載されているが、かかるプロセスは、本明細書に記載された順序以外の順序で実行される記載されたステップを用いて実施されることができることが理解されるべきである。さらに、ある種のステップが同時に実行されることができること、他のステップが追加されることができること、または本明細書に記載のあるステップを省略することができることを理解すべきである。換言すれば、本明細書におけるプロセスの説明は、ある種の実施形態を説明する目的で提供されるものであり、決して請求項を限定するように解釈されるべきではない。

よって、上述の説明は、制約するものではなく、例解することが意図されていることが理解されるべきである。提供される例以外の多くの実施形態および応用は、上記の説明を読むことによって明白になるであろう。範囲は、上記の説明を参照してではなく、添付の特許請求の範囲を参照して、そのような特許請求の範囲が資格を有する均等物の全範囲とともに決定されるべきである。本明細書中で議論される技術において将来の発達が起こり、開示されるシステムおよび方法がそのような将来の実施形態に組み込まれることが予期され、意図される。要するに、本願は修正および変更が可能であることが理解されるべきである。

特許請求の範囲で使用されるすべての用語は、本明細書に記載される技術に精通している者によって理解される、その最も広い合理的な解釈およびその通常の意味を与えられることが意図されている。ただし、そうでないことが本明細書で明示される場合はこの限りではない。特に、「a」、「the」、「said」等の単数冠詞の使用は、請求項がそうでない明示的限定を記載していない限り、指示された要素の一つまたは複数を記載しているように読まれるべきである。

本開示の要約は、読者が技術的開示の性質を迅速に確認できるように提供される。要約書は、請求項の範囲または意味を解釈または限定するために使用されないという理解で提出される。さらに、前述の詳細な説明では、開示の流れをよくする目的で、さまざまな特徴が、さまざまな実施形態において一緒にグループ化されていることがわかる。この開示方法は、請求項に記載された実施形態が、各請求項に明示的に記載されているよりも多くの特徴を組み込むという意図を反映するものとして解釈されるべきではない。むしろ、請求項が反映するように、発明的な主題は、単一の開示される実施形態のすべての特徴より少ないものにある。よって、以下の請求項は、ここに詳細な説明に組み込まれ、各請求項は、別個に請求される主題事項として自立する。

Claims (17)

1. 画像データに応答して光を放出するように構成された光源と；
   前記光源から光を受け取り、前記光に空間的に変化する位相変調を加えるように構成された位相光変調器と；
   コントローラとを有する投影システムであって、前記コントローラは：
   前記画像データのフレームについて、複数の位相構成を決定する段階であって、前記複数の位相構成のそれぞれは位相アルゴリズムの反復工程の解に対応し、かつ、異なる変調パターンを用いて同じ画像を表し、前記位相アルゴリズムは、前記位相光変調器が配置される変調面における場と、前記位相光変調器によって画像が形成される再構成面における場との間の双方向マッピングを確立するように構成されている、段階と；
   前記位相光変調器に位相制御信号を提供する段階であって、前記位相制御信号は、前記位相光変調器に、前記フレームのある時間期間内に時分割的に前記複数の位相構成に従って光を変調させ、それにより当該投影システムに前記時間期間内に一連のサブフレームを投影させるように構成されている、段階とを実行するように構成されており、前記位相アルゴリズムは、前記画像データの目標強度を修正するための、強度ロールオフを考慮に入れるための補償マップまたは前記画像データの有効解像度を低減し、結果をゼロでパディングしてもとの画像と同じ解像度を有するようにするためのスケーリング変換に基づき、前記画像データの前記目標強度は前記再構成面において達成されるべき強度である、
   投影システム。
2. 前記複数の位相構成は、60位相構成である、請求項１に記載の投影システム。
3. 前記位相アルゴリズムは、ランダムまたは擬似ランダム・シードで初期化される、請求項１または２に記載の投影システム。
4. 前記画像データは、画像解像度を有し、前記位相光変調器は、前記位相光変調器におけるピクセル要素の数に対応する変調分解能を有し、前記変調分解能は、前記画像解像度よりも低い、請求項１ないし３のうちいずれか一項に記載の投影システム。
5. 前記画像解像度は、前記変調器分解能の4倍である、請求項４に記載の投影システム。
6. 前記位相光変調器は、アレイ内に配置された複数のピクセル要素と、前記位相制御信号に応答して前記複数のピクセル要素のそれぞれの位相状態を修正するように構成された回路とを有する、請求項１ないし５のうちいずれか一項に記載の投影システム。
7. 前記位相光変調器は、デジタルマイクロミラーデバイスまたは液晶オン半導体デバイスである、請求項１ないし６のうちいずれか一項に記載の投影システム。
8. 前記コントローラは、前記位相アルゴリズムをシード分布で初期化するように構成されている、請求項１ないし７のうちいずれか一項に記載の投影システム。
9. 前記コントローラは、前記フレームについての前記シード分布を、前のフレームからの再構成場に基づいて決定するように構成されている、請求項８に記載の投影システム。
10. 前記コントローラは、前記フレームについて、前記シード分布を新たに生成するか、前記シード分布を前のフレームに基づかせるかを動的に決定するように構成されている、請求項８または９に記載の投影システム。
11. 投影システムを駆動する方法であって：
    画像データに応答して光源によって光を放出する段階と；
    位相光変調器によって前記光を受け取る段階と；
    前記位相光変調器によって前記光に空間的に変化する位相変調を加える段階と；
    前記画像データのフレームについて、複数の位相構成を決定する段階であって、前記複数の位相構成のそれぞれは位相アルゴリズムの反復工程の解に対応し、かつ、異なる変調パターンを用いて同じ画像を表し、前記位相アルゴリズムは、前記位相光変調器が配置される変調面における場と、前記位相光変調器によって画像が形成される再構成面における場との間の双方向マッピングを確立するように構成されている、段階と；
    前記位相光変調器に位相制御信号を提供し、それにより、前記位相光変調器に、前記フレームのある時間期間内に時分割的に前記複数の位相構成に従って光を変調させ、それにより前記時間期間内に一連のサブフレームを投影する段階であって、前記位相アルゴリズムは、前記画像データの目標強度を修正するための、強度ロールオフを考慮に入れるための補償マップまたは前記画像データの有効解像度を低減し、結果をゼロでパディングしてもとの画像と同じ解像度を有するようにするためのスケーリング変換に基づき、前記画像データの前記目標強度は前記再構成面において達成されるべき強度である、段階とを含む、
    方法。
12. 前記双方向マッピングは、レイリー・ゾンマーフェルト伝搬である、請求項１１に記載の方法。
13. 前記位相アルゴリズムは、前記再構成面における場の目標に基づいて、振幅情報のない変調面における前記場についての解を生成するために、前記双方向マッピングを逐次反復的に生成する、請求項１１または１２に記載の方法。
14. 前記位相アルゴリズムをシード分布で初期化する段階をさらに含む、請求項１１ないし１３のうちいずれか一項に記載の方法。
15. 前記シード分布は、一様分布である、および／または前記シード分布は、ランダム位相パターンにゲルシュベルク・サクストン・アルゴリズムを適用することによって生成される、および／または前記フレームについての前記シード分布は、前のフレームからの再構成場に基づいている、請求項１４に記載の方法。
16. 前記フレームについて、前記シード分布を新たに生成するか、または前記シード分布を先行フレームに基づかせるかを動的に決定する段階をさらに含む、請求項１４または１５に記載の方法。
17. 投影装置のプロセッサによって実行されると、該投影装置に請求項１１ないし１６のうちいずれか一項に記載の方法を含む動作を実行させる命令を記憶している非一時的なコンピュータ読み取り可能媒体。
    

Images