JP2024512054A

JP2024512054A - フィールドマッピングを備えた投影システム及び投影システムの駆動方法

Info

Publication number: JP2024512054A
Application number: JP2023558639A
Authority: JP
Inventors: ピレス―アリファーノ，アンジェロ; ル，バーべンチョン，クレメント，ラック，キャロル; ペルティエラ，ファン，パブロ
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション; ドルビー・インターナショナル・アーベー
Priority date: 2021-03-25
Filing date: 2022-03-24
Publication date: 2024-03-18
Also published as: WO2022204446A1; KR20230160243A; EP4315843A1; US20240163408A1; BR112023018225A2

Abstract

投影システムは、画像データに応答して光を放射するように構成された光源と、光源からの光を受け取り、光に空間的に変化する位相変調を適用し、それによって光をステアリングし、投影光を生成するように構成された位相光変調器;と、光源を制御し、位相光変調器と、コントローラとを含む。コントローラは、光源を制御し、位相光変調器を制御し、画像データのフレーム内の複数のサブフレームの各々に対して反復的に、再構成フィールドを決定し、再構成フィールドを変調フィールドにマッピングし、変調フィールドの振幅をスケーリングし、変調フィールドを後続のイテレーション再構成フィールドにマッピングし、変調フィールドに基づいた位相制御信号を位相光変調器に提供するように構成される。

Description

［関連出願］
本願は、米国仮特許出願番号第６３/１６５,８４６号、２０２１年３月２５日出願、及び欧州出願番号第２１１６４８０９.２号、２０２１年３月２５日出願の優先権を主張する。両出願は、参照によりその全体がここに組み込まれる。

［関連分野］
本願は、概して、投影システム及び投影システムの駆動方法に関するものである。

デジタル投影システムは、通常、光源と光学系を使用して、画面又はスクリーンに画像を投影する。光学系は、ミラー、レンズ、導波路、光ファイバ、ビームスプリッタ、拡散器、空間光変調器（spatial light modulator （SLM））などの構成要素を含む。幾つかの投影システムは、空間振幅変調を実装するSLMに基づいている。そのようなシステムでは、光源は、画像上で再生できる最も明るいレベルを具現化する光フィールドを提供し、所望のシーンレベルを作成するために光が減衰される（例えば、廃棄される）。そのような構成では、画像の任意の部分を形成するために投影されていない光は、減衰又は破棄される。或いは、光が減衰ではなくステアリングされるように投影システムを構成することもできる。このようなシステムは、複素位相信号を生成し、位相光変調器（phase light modulator （PLM））などの変調器に信号を提供することによって動作することができる。

本開示の様々な態様は、目標画像の精細かつ正確な再生を生成するための位相光変調を用いた投影ディスプレイのための回路、システム及び方法に関する。

本開示の例示的な態様の１つにおいて、投影システムであって、画像データに応答して光を放射するように構成された光源と、光源からの光を受け取り、光に空間的に変化する位相変調を適用し、それによって光をステアリングし、投影光を生成するように構成された位相光変調器;と、光源を制御し、位相光変調器と、コントローラとを含む。コントローラは、光源を制御し、位相光変調器を制御し、画像データのフレーム内の複数のサブフレームの各々に対して反復的に、再構成フィールドを決定し、再構成フィールドを変調フィールドにマッピングし、変調フィールドの振幅をスケーリングし、変調フィールドを後続のイテレーション再構成フィールドにマッピングし、変調フィールドに基づいた位相制御信号を位相光変調器に提供するように構成される、投影システムが提供される。

本開示の別の例示的態様において、投影システムを駆動する方法であって、画像データに応答して光源によって光を放射するステップと、位相光変調器によって光を受信する;位相光変調器によって光に空間的に変化する位相変調を適用するステップであって、それによって光を操縦し、投影光を生成する、ステップと、画像データのフレーム内の複数のサブフレームの各々について、光源及び位相光変調器を制御するように構成されたコントローラを用いて、再構成フィールドを決定し、再構成フィールドを変調フィールドにマッピングし、変調フィールドの振幅をスケーリングし、変調フィールドを後続のイテレーション再構成フィールドにマッピングし、変調フィールドに基づく位相制御信号を位相光変調器に供給することを繰り返し行うステップと、を含む方法が提供される。

種々の実施形態のこれらの及び他のより詳細な及び特定の特徴は、以下の説明において更に完全に開示され、添付の図面を参照する。

本開示の種々の態様による例示的な投影システムのブロック図を示す。

本開示の種々の態様による例示的な位相変調器を示す。

本開示の種々の態様による別の例示的な位相変調器を示す。

本開示の種々の態様による例示的な波形伝播ループを示す。

本開示の種々の態様による正則化を伴う例示的な波形伝播ループを示す。

本開示の種々の態様による例示的な画像フレームを示す。本開示の種々の態様による例示的な画像フレームを示す。本開示の種々の態様による例示的な画像フレームを示す。本開示の種々の態様による例示的な画像フレームを示す。本開示の種々の態様による例示的な画像フレームを示す。

本開示の種々の態様による例示的な強度収束グラフを示す。

本開示の種々の態様による別の例示的な強度収束グラフを示す。

本開示の種々の態様によるビームステアリングダンプによる例示的な波形伝播ループを示す。

本開示の種々の態様による例示的な画像フレームを示す。本開示の種々の態様による例示的な画像フレームを示す。本開示の種々の態様による例示的な画像フレームを示す。

本開示の種々の態様による例示的な外側ループフィードバック処理を示す。

本開示の種々の態様による例示的な画像フレームを示す。本開示の種々の態様による例示的な画像フレームを示す。本開示の種々の態様による例示的な画像フレームを示す。本開示の種々の態様による例示的な画像フレームを示す。

本開示の種々の態様による例示的な断面のグラフを示す。本開示の種々の態様による例示的な断面のグラフを示す。

本開示の種々の態様による例示的なノイズ比収束グラフを示す。

本開示の種々の態様による例示的な画像フレームを示す。本開示の種々の態様による例示的な画像フレームを示す。

本開示の種々の態様による例示的な位相の入力対出力のグラフを示す。

本開示の種々の態様による例示的な位相分布のグラフを示す。本開示の種々の態様による例示的な位相分布のグラフを示す。

本開示及びその態様は、種々の形式で具現化でき、コンピュータにより実施される方法により制御されるハードウェア又は回路、コンピュータプログラムプロダクト、コンピュータシステム及びネットワーク、ユーザインタフェース、及びアプリケーションプログラミングインタフェース、並びに、ハードウェアにより実施される方法、信号処理回路、メモリアレイ、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、等を含む。以上の概要は、単に本開示の種々の態様の全体的思想を与えることを意図し、本開示の範囲をいかようにも制限しない。

以下の説明では、本開示の１つ以上の態様の理解を提供するために、回路構成、タイミング、動作、等のような多数の詳細事項が説明される。これらの特定の詳細事項は単なる例であり、本願の範囲を限定することを意図しないことが当業者に直ちに理解されるだろう。

更に、本開示は主に、種々の回路がデジタル投影システムにおいて使用される例に焦点を当てるが、これは実装の単なる一例であることが理解されるだろう。開示されたシステム及び方法は光を投影する又は表示する必要があるいかなる装置においても使用することができることが更に理解されるであろう。例えば、映画、消費者及びその他の商用投影システム、ヘッドアップディスプレイ、仮想現実ディスプレイなどである。

投影システム

PLMに基づく比較投影システムでは、複素位相信号の生成が課題となっている。例えば、比較アルゴリズムは、目標画像に類似しているように見えるが、予測不可能な位置で光の過不足を有する画像を生成するか、又は再生の品質を損なう他のアーチファクトを有するかもしれない。比較投影システムが二重変調システムである場合、アルゴリズムによって対処されない限り、光の不足は、拡散照射を増加することによってのみ克服できる。これは、コスト及び／又は効率を考慮すると法外になる場合がある。本開示は、単一（すなわち、位相のみ）又は複数の変調段階を含む位相変調画像投影システムを提供し、目標画像の正確な再構成を作成し、複数の変調段階の場合、下流変調器による補償に適切な再生を作成することができるアルゴリズムのような特徴を実装する。

図１は、本開示の種々の態様による例示的な投影システム１００のブロック図を示す。特に、図１は、投影システム１００を示し、投影システム１００は、
第１光１０２を放射するように構成された光源１０１と、
第１光１０２を受信し、第１光１０２をリダイレクトするか又は第１光を変更して第２光１０４を生成するように構成された照射光学系１０３と、
第２光１０４に空間的に変化する位相変調を適用し、それによって第２光１０４をステアリングし、第３光１０６を生成するように構成されたPLM１０５と、
第３光１０６を受信し、第３光１０６をリダイレクトするか又は変更し、それによって第４光１０８を生成するように構成された第１投影光学系１０７と、
第４光１０８をフィルタリングし、それによって第５光１１０を生成するように構成されたフィルタ１０９と、
第５光１１０を受信し、第５光１１０を第６光１１２としてスクリーン１１３に投影するように構成された第２投影光学系１１１と、を含む。

投影システム１００は、光源１０１及び／又はPLM１０５のような投影システム１００の様々なコンポーネントを制御するように構成されたコントローラ１１４をさらに含む。幾つかの実施形態では、コントローラ１１４は、追加又は代替として、照射光学系１０３、第１投影光学系１０７及び/又は第２投影光学系１１１を含むがこれらに限定されない投影システム１００の他のコンポーネントを制御することができる。コントローラ１１４は、投影システム１００の中央処理装置（CPU）のような１つ以上のプロセッサであってもよい。照射光学系１０３、第１投影光学系１０７、及び第２投影光学系１１１は、各々、ミラー、レンズ、導波路、光ファイバ、ビームスプリッタ、拡散器等のような１つ以上の光学コンポーネントを含んでもよい。さらに、図１は、肯定的に存在する単一の変調器を示しているが、投影システム１００は、PLM１０５に加えて他の変調器を有してもよい。例えば、第１投影光学系１０７は、図１に点線で示した振幅ベースのSLM又は他の二次変調器１０５’を含み得る。存在する場合、SLM１０５’は、第５光１１０を変調するように第２投影光学系１１１から光学的に上流に位置し、コントローラ１１４によって制御され得る。例えば、コントローラ１１４は、制御信号をSLM１０５’に供給して、SLM１０５’の個々の変調要素を制御することができる。この制御信号は、位相構成に基づいて少なくとも部分的に計算され得る。スクリーン１１３を除き、図１に示されるコンポーネントは、投影装置を提供するためにハウジングに統合され得る。このような投影装置は、メモリ、入出力ポート、通信回路、電源などの追加のコンポーネントを含み得る。

光源１０１は、例えば、レーザ光源などであってよい。一般に、光源１０１は、例えばコヒーレントな光を放射する任意の発光体である。本開示の幾つかの態様において、光源１０１は、各々が異なる波長又は波長帯域に対応する複数の個々の発光体を含むことができる。光源１０１は、コントローラ１１４によって提供される画像信号に応答して光を放射する。画像信号は、順次表示される複数のフレームに対応する画像データを含む。画像信号は、ストリーミング又はクラウドベースの方法で外部ソースから発生してもよく、ハードディスクのような投影システム１００の内部メモリから発生してもよく、投影システム１００に動作可能に接続されたリムーバブルメディアから発生してもよく、又はそれらの組み合わせから発生してもよい。

フィルタ１０９は、投影システム１００の内部コンポーネントによって引き起こされる影響を緩和するために提供されてもよい。幾つかのシステムでは、PLM１０５（以下により詳細に説明される）はカバーガラスを含み、反射を引き起こし、装置の切り換えは一時的に望ましくないステアリング角度を引き起こし、様々なコンポーネントは散乱を引き起こし得る。これに対し、投影システム１００のフロアレベルを低下させるために、フィルタ１０９は、第４光１０８の一部をブロックするように構成されたフーリエ（「DC」）フィルタコンポーネントであり得る。したがって、フィルタ１０９は、カバーガラス反射、ストローク遷移状態などの要素に対応するゼロ角度付近の光からフロアレベルを減少させることによってコントラストを増加させることができる。このDCブロック領域は、特定の光がスクリーンに到達するのを防ぐために、アルゴリズムによって積極的に使用され得る。本開示の幾つかの態様において、フィルタ１０９は、コントローラ１１４からの制御に応答して、活性画像領域の外に位置する光ダンプに前記光をステアリングすることによって、望ましくない光がスクリーンに到達するのを防ぐ。

位相光変調器

図１に示すように、コントローラ１１４は、光源１０１から光を受信するPLM１０５も制御する。PLM１０５は、光に空間的に変化する位相変調を行い、変調された光を第２投影光学系１１１にリダイレクトする。PLM１０５は、PLM１０５が空間的に変化する位相で入射光を反射する反射型であってもよい。あるいは、PLM１０５は、光がPLM１０５を通過する際に、PLM１０５が光に空間的に変化する位相を行う透過型であってもよい。本開示の幾つかの態様において、PLM１０５は、シリコン上の液晶（liquid-crystal-on-silicon （LCOS））アーキテクチャを有する。本開示の他の態様において、PLM１０５は、デジタルマイクロミラー装置（digital micromirror device （DMD））のようなマイクロ電気機械システム（micro-electromechanical system （MEMS））アーキテクチャを有する。

図２は、反射LCOS PLM２００として実装され、部分断面図に示されるPLM１０５の一例を示す。図２に示されるように、PLM２００は、シリコンバックプレイン２１０、第１電極層２２０、第２電極層２３０、液晶層２４０、カバーガラス２５０、及びスペーサ２６０を含む。シリコンバックプレイン２１０は、相補型金属酸化物半導体（CMOS）トランジスタなどのPLM２００に関連する電子回路を含む。第１電極層２２０は、透明マトリクス２２２内に配置された反射素子２２１のアレイを含む。反射素子２２１は、アルミニウム又は銀のような任意の高度に光学的に反射する材料で形成することができる。透明マトリクス２２２は、透明酸化物のような任意の高度に光学的に透明な材料で形成することができる。第２電極層２３０は、酸化インジウムスズ（indium tin oxide （ITO））の薄膜のような任意の光学的に透明な導電性材料で形成することができる。第２電極層２３０は、第１電極層２２０の複数の反射素子２２１に対応する共通電極として設けることができる。このような構成では、複数の反射素子２２１の各々は、各々の電界を介して第２電極層２３０に結合し、PLM２００を任意の画素アレイに分割する。したがって、複数の反射素子２２１の個々のもの（又はサブセット）は、シリコンバックプレイン２１０に配置された電子回路を介してアドレス指定され、それによって対応する反射素子２２１の状態を変更することができる。

液晶層２４０は、第１電極層２２０と第２電極層２３０との間に配置され、複数の液晶２４１を含む。液晶２４１は、固体と液体との中間相に存在する粒子である。すなわち、液晶２４１は方向性の程度を示すが、位置性の程度は示さない。液晶２４１が指し示す方向を「配向ベクトル（director）」と呼ぶ。液晶層２４０は、液晶２４１の複屈折Δnに基づいて、カバーガラス２５０から入射する入射光を変更するが、これは、配向ベクトルに平行な方向の屈折率と、配向ベクトルに垂直な方向の屈折率との差として表すことができる。このことから、最大光路差は、複屈折率に液晶層２４０の厚さを乗じたものとして表すことができる。この厚さは、PLM２００を密封しカバーガラス２５０とシリコンバックプレイン２１０との間の設定距離を確保するスペーサ２６０によって設定される。液晶２４１は、一般に、第１電極層２２０と第２電極層２３０との間の電界線に沿って配向する。図２に示すように、PLM２００の中央付近の液晶２４１はこのように配向しているが、PLM２００の周辺付近の液晶２４１は、電界線がない場合には実質的に配向していない。位相駆動信号を介して複数の反射素子２２１の個々のものをアドレス指定することにより、液晶２４１の配向をピクセル単位で決定することができる。

図３は、DMD PLM３００として実装され、部分断面図に示されるPLM１０５の別の例を示す。図３に示されるように、PLM３００は、バックプレイン３１０及び複数の制御可能な反射素子を画素として含み、各々がヨーク３２１、ミラープレート３２２及び電極対３３０を含む。図３の断面図では、２つの電極３３０のみが見えるが、実際には、各反射要素は、追加の電極を含むことができる。図３には特に示されていないが、PLM３００は、さらに、スペーサ層、支持層、ミラープレート３０２の高さ又は方向を制御するヒンジコンポーネントなどを含むことができる。バックプレイン３１０は、CMOSトランジスタ、メモリアレイなどのPLM３００に関連する電子回路を含む。

ヨーク３２１は、ミラープレート３２２にバイアス電圧を印加できるように、導電性材料から形成されるか、又は導電性材料を含むことができる。ミラープレート３２２は、アルミニウム又は銀のような任意の高度に反射する材料で形成することができる。電極３３０は、各々第１電圧及び第２電圧を受けるように構成され、個別にアドレス指定可能である。電極３３０上の電圧及びミラープレート３２２上の電圧（例えば、バイアス電圧）の値に依存して、ミラープレート３２２と電極３３０との間に電位差が存在し、これにより、ミラープレート３２２上で作用する静電気力が生じる。ヨーク３２１は、静電気力に応答してミラープレート３２２の垂直移動を可能にするように構成される。静電気力とヨーク３２２のバネ状の力が等しいときに生じるミラープレート３２２の平衡位置は、ミラープレート３２２の上面から反射される光の光路長を決定する。したがって、複数の制御可能な反射要素の個々のものは、複数の（図示のように３つの）離散的な高さ、したがって、複数の離散的な位相配置又は位相状態を提供するように制御される。図示されるように、各位相状態は、平坦なプロファイルを有する。本開示の幾つかの態様において、電極３３０は、ミラープレート３２２に傾斜を与えるように、互いに異なる電圧を与えてもよい。このような傾斜は、上述したタイプの光ダンプで利用することができる。

PLM３００は、例えば、PLM３００が数十μsのオーダで１つの位相状態から切り替わるように、高いスイッチング速度を有することができる。位相制御の全サイクルを提供するためには、ミラープレート３２２が最高点にある状態とミラープレート３２２が最低点にある状態との間の全光路差は、入射光の波長λとほぼ等しくなければならない。したがって、最高点と最低点との間の高さ範囲は、λ/２とほぼ等しくなければならない。

PLMにどの特定のアーキテクチャが使用されるかにかかわらず、PLM１０５は、ピクセル単位で特定の位相構成を取るようにコントローラ１１４によって制御される。したがって、PLM１０５は、９６０×５４０アレイのような、各々の画素のアレイを利用する。アレイ内の画素の数は、PLM１０５の解像度に対応することができる。PLM１０５の機能のビームステアリングのために、光は、再構成画像平面上の任意の位置にステアリングすることができる。再構成画像平面は、PLM１０５と同じピクセルグリッドに制限されない。再構成画像平面は、PLM１０５と第１投影光学系１０７との間の任意の場所に配置することができる。例えば、二重変調構成では、再構成画像は、第１投影光学系１０７を介して二次変調器１０５’上に画像化される。PLM１０５は高速応答時間が可能であるため、再構成画像平面上に高解像度動画像を生成することができる。PLM１０５の動作は、投影システム１００のデータ帯域幅、PLM１０５のストローク量子化、及び／又はPLM１０５の応答時間の影響を受ける可能性がある。最大解像度は、光源１０１の点拡散関数（point-spread function （PSF））及び投影システム１００内の様々な光学コンポーネントのパラメータによって決定することができる。本開示に従ったPLM１０５は高速応答時間が可能であるため、単一フレームに対して複数の位相構成を連続して提示することができ、次いで、人間の目によって高品質画像に統合される。

位相構成及び波形伝播ループ

PLM１０５の高速応答時間は、目標光フィールド（例えば、目標画像）を再構成するためのPLM位相構成を推定するために反復的な前後波形伝播ループ（back-and-forth wave-propagation loop）を使用する方法によって利用され得る。反復的な前後波形伝播ループは、例えば、共同所有の米国特許出願第１６/６５０,５４５号に記載されているループに基づいてもよく、該出願の全内容は、参照により本明細書に組み込まれる。参照例では、ランダム又は準ランダム位相が、反復的波形伝播ループの初期化シードとして使用される。これにより、各サブフレーム内の同じ目標画像に対して、波形伝播ループは、目標画像の近似を再構成する異なる位相構成を生成する。少なくとも部分的には、PLM１０５の高速応答時間のために、これらの再構成画像（サブフレーム）を迅速に連続して提示することは、（例えば、PLM１０５がある位相構成から次の位相構成に遷移する場合に）アーチファクトを軽減することができる時間的に統合された画像につながる可能性がある。このような方法は、再構成品質とステアリング効率の間の特定のバランスのために選択された低域通過又は帯域通過角度フィルタ（例えば、アルゴリズムフィルタ）を使用することができる。このような方法の幾つかの実装では、再構成画像特徴から相当な量の光が失われることがある。特定のアプリケーション（例えば、画像化）及び／又は特定の装置アーキテクチャ（例えば、二重変調）では、この光の欠落は有効性の低下につながる可能性がある。例えば、デュアル変調の場合、一次変調器は光フィールドを減衰させることができるだけで、エネルギを追加することはできない。これが照射パワーを増加させることによって相殺された場合、ビームステアリング変調ステージの効率が低下し、及び／又は照射コンポーネントのコストが増加する可能性がある。これらの効果は、照射パワーの増加ではなく、特定の波形伝播ループを提供することによって回避できる。

波形伝播ループは、変調平面E：
のフェーザ（phasor）フィールド（「変調フィールド」としても知られる）と、再構成平面：
のフェーザフィールド（「再構成フィールド」としても知られる）との間の双方向マッピングを確立するために動作し、Aは振幅成分を表し、∠φは位相成分を表す。変数xとyは、ピクセル座標を表す。この双方向マッピングは、Fresnel法又はRayleigh-Sommerfeld法を含むがこれらに限定されない任意の数値波形伝播であってもよい。このマッピングは以下により示す頃ができ：
その各々の逆は以下により示され：
ここで、Pは波形伝播関数である。この例では、変調平面は位相を変調することしかできないPLM１０５の平面を指し、再構成平面は再構成画像が形成される平面を指し、これはPLM１０５と第１投影光学系１０７の間の任意の場所、すなわち光学的にPLM１０５の下流に位置することができる。再構成平面（又はフィールド）はプロジェクタ（プロジェクタシステム）内に位置する。再構成平面（又はフィールド）：
は、変調平面（又はフィールド）：
に対する近フィールドの光学的距離に位置する。これとは対照的に、従来のGerchberg-Saxtonアルゴリズムでは、マッピングは２つの複素平面間ではなく、むしろフーリエ変換の同じ定義に対して、複素平面と無限大、すなわち遠フィールド間で行われる。変調平面と再構成平面の間のマッピングは、複素平面と無限大の間のマッピングと比較して、再構成平面の正しい位置に導かれるエネルギ量の点でより効率的である。近フィールドと遠フィールドの光学距離の定義は、PLMの種類、設計上の制約など、特定の実装に依存する。例えば、映画館のプロジェクタでは、近フィールドの光学距離は数センチメートル又は数十センチメートルのオーダであり、遠フィールドの光学距離は数メートルのオーダである。従来のGerchberg-Saxtonアルゴリズムでは、マッピングはフーリエ変換を介して実行されるため、近フィールドでのマッピングは不正確である。本開示の例では、変調フィールドを再構成フィールドにマッピングする波形伝播関数Pはフーリエ変換ではない。二重変調構成では、再構成画像は、第１投影光学系１０７を介して二次変調器１０５’上に画像化される。単一変調構成では、再構成画像は、第１投影光学系１０７と第２投影光学系１１１を通じて、スクリーンに直接画像化される。

次に、次式（１）に従って再構成フィールドを逆伝播することによって、変調フィールドを計算することができる。

式（１）において、以下の通りである：
その後、変調フィールドは、位相ストローク量子化のような物理的プロセス又はPLM特性を考慮するための追加処理を行われる場合がある。対応する再構成フィールドを得るために変調フィールドを順方向伝播する前に、その振幅成分をドロップすることができ、すなわち、１に設定することができ、次の式（２）をもたらす：

式（２）において、以下の通りである：
このイテレーションでは、通常、再構成フィールドの振幅成分が目標フィールドに置き換えられ、サイクルが再び繰り返される。つまり、次の式（３）に従って、結果として生じるフィールドが逆伝播され、対応する変調フィールドが生成される。

式（３）からの対応する変調フィールドには、前述の処理と同様の追加処理が行われ、振幅成分が削除され、以下同様である。この反復処理が繰り返され、波形伝播ループが形成される。このループは、図４に示すように要約することができる。処理フローを実行するために、投影システム１００は、非一時的コンピュータ可読媒体（例えば、ハードディスク、リムーバブル記憶媒体、RAMなど）に記憶された命令を提供され、この命令がコントローラ１１４によって実行されると、投影システム１００に図４の動作を実行させる。

動作４０１において、振幅、位相、及びインデックス変数n（これは、例えば、現在のイテレーションを示すことができる）は、画像データのフレームに対して初期化される。例えば、振幅：
は、以下のように初期化され：
位相：
は何らかの初期値（例えば、期待される位相に近い値、ランダム又は擬似ランダムシードなど）に初期化され、インデックスnは０に設定される。その後、幾つかの操作を含む反復波形伝播ループが実行される。動作４０２で、再構成フィールド：
は、以下に設定される：
次に、動作４０３で、再構成フィールドは式（１）を使用して変調フィールドにマッピングされる。ここで式（１）の添字０は、ループ内の第１イテレーションで０であるインデックスnに対応することに注意する。動作４０４では、変調フィールドの振幅成分が所定の値に設定される。例えば、変調フィールドの振幅成分を１に設定することができる。動作４０５で、結果として生じるフィールドは、式（２）を使用して次のイテレーションの再構成フィールドにマッピングされる。式（２）では、左の添字０と右の添字１は、ループ内の第１イテレーションでは０であり、ループ内の次のイテレーションでは１であるインデックスnを示す。ループは、n=０．．．Nについて繰り返され、Nはイテレーションの数である。幾つかの例では、Nは予め決定されてよい。しかしながら、他の例では、イテレーションの数は動的に決定されてよい。すなわち、反復ループは自動的に終了される場合がある（例えば、再構成フィールドが目標品質を達成又は超過した場合）。したがって、動作４０６で、インデックスnは値Nと比較される。n<Nの場合、インデックスnは動作４０７でインクリメントされ、ループは動作４０２で再び開始される。n=Nの場合、変調フィールドの位相成分は（上述のように）、空間的に変化する位相変調を第２光１０４に適用するようにPLM上に表示される。次に、この方法は、処理中の現在のサブフレームが所定のフレーム内の最後のサブフレームであるかどうかに応じて、動作４０８を介して次のフレームに進み、動作４０１で新しいフレーム又はサブフレームについて再び開始する。

反復正則化

上記の波形伝播ループは、収束を高速化し、及び／又は再構成フィールドの最終的な品質を増加させるために変更され得る。これらの効果は、現在のイテレーションからの再構成誤差ε（x’、y’）のフィードバックにより、後続のイテレーションの目標振幅を調整する正則化係数を実装することによって実現できる。正則化は、計算量のごくわずかな増加（例えば、正則化係数のオーバヘッドに対応する）のコストで、再構成画像の品質を改善することができる。所与のサブフレームnの再構成誤差は、次の式（４）によって与えられる：

利得関数γ（ε（x’、y’））は、２つの例として、次の式（５a）又は（５b）を使用して定義することもできる：

式（５a）及び（５b）では、βは利得係数である。式（５b）では、ぼかしフィルタG（例えば、ガウシアンフィルタ）が適用される。その後、次の式（６a）又は式（６b）に従って、後続のサブフレームn+１に対して正則化動作を実行することができる。

ここで、式（６a）を用いた正則化を「第１正則化」方法といい、式（６b）を用いた正則化を「第２正則化」方法という。

正則化を実現するために、図４に示す方法を変更してもよい。図５は正則化を含む一例の方法を示す。処理フローを実行するために、投影システム１００は、非一時的コンピュータ可読媒体（例えば、ハードディスク、リムーバブル記憶媒体、RAMなど）に記憶された命令を提供され、この命令がコントローラ１１４によって実行されると、投影システム１００に図５の動作を実行させる。

動作５０１において、振幅、位相、及びインデックス変数n（これは、例えば、イテレーションを示すことができる）は、画像データのフレームに対して初期化される。例えば、振幅：
は、以下のように初期化され：
位相：
は何らかの初期値（例えば、期待される位相に近い値、ランダム又は擬似ランダムシードなど）に初期化され、インデックスnは０に設定される。その後、幾つかの操作を含む反復波形伝播ループが実行される。動作５０２で、再構成フィールド：
は、以下に設定される：
次に、動作５０３で、再構成フィールドは式（１）を使用して変調フィールドにマッピングされる。動作５０４では、変調フィールドの振幅成分が所定の値に設定される。例えば、変調フィールドの振幅成分は１に設定される。動作５０５で、結果として生じるフィールドは、式（２）を使用して次のイテレーションの再構成フィールドにマッピングされる。動作５０６で、正則化係数は、例えば、第１正則化方法の式（６a）又は第２正則化方法の式（６b）を使用して適用される。ループは、n=０．．．Nについて繰り返され、Nはイテレーションの数である。したがって、動作５０７で、インデックスnは値Nと比較される。n<Nの場合、インデックスnは動作５０８でインクリメントされ、ループは動作５０２で再び開始される。n=Nの場合（上述のようにNが予め決められているか又は動的に決定されるかに拘わらず）、変調フィールドの位相成分は（上述のように）、空間的に変化する位相変調を第２光１０４に適用するようにPLM上に表示される。次に、この方法は、処理中の現在のサブフレームが所定のフレーム内の最後のサブフレームであるかどうかに応じて、動作５０９を介して次のフレームに進み、動作５０１で新しいフレーム又はサブフレームについて再び開始する。

収束速度及び画質に対する波形伝播ループ及び正則化の効果を、図６A～図６E、図７A～図７E、図８及び図９に示す。図６A～図６Eは各々ランプ画像の画像フレームを示し、図７A～図７Eは各々ビデオ静止画の画像フレームを示し、図８はランプ画像の収束グラフを示し、図９はビデオ静止画の収束グラフを示す。

図６A及び図７Aは目標画像を示す。図６Aの目標画像では、左列のピクセルから右列のピクセルに向かって滑らかに輝度が増加するランプ画像が示されている。ランプ画像は、上の行のピクセルから下の行のピクセルへと変化しないように、垂直方向に均一である。図７Aの目標画像では、ビデオ静止画は暗い領域とより小さい明るい領域（図示した画像内の炎）を含んでいる。

図６B及び図７Bは正則化されていない再構成画像を示し、図６C及び図７Cは各々図６Aと図６Bの間の及び図７Aと図７Bの間の違いを示す差分マップである。図６D及び図７Dは、第２正則化方法及び利得係数β１．４による再構成画像を示し、図６E及び図７Eは、各々図６Aと図６Dの間の及び図７Aと図７Dの間の違いを示す差分マップである。図６C、図６E、図７C、図７Eの差分マップでは、より暗い領域（例えば、図６Cの右側）は不足しているエネルギを示し、より明るい領域（例えば、図６Cの中央付近）は過剰なエネルギを示す。図６A～図７Eでは、PLMの比較的低い解像度と回折を意識した位相検索アルゴリズムの使用と組み合わせた波形伝播のコヒーレントな性質のために再構成画像が斑点を示すので、目標画像と再構成画像は視覚的な比較を容易にするためにぼやけている。

図６C及び図７Cは、各々図６A及び図７Aの明るい領域に対応する領域と、各々図６A及び図７Aの幾つかの暗い領域に対応する領域を示す。これは、正則化動作がない場合、波形伝播ループは、明るい目標画像領域のためのエネルギ不足及び暗い目標画像領域のためのエネルギ過剰をもたらす可能性があることを示す。言い換えれば、正則化動作がない場合、再構成画像のダイナミックレンジは鈍くなるか平坦化される可能性がある。比較すると、図６E及び図７Eはより均一である。これは、正則化操作が、再構成画像における目標画像のより忠実な再生をもたらすことを示す。

変換品質（図８～９のy軸で表され、dB単位）を評価するために、ピーク信号対雑音比（peak signal-to-noise ratio （PSNR））メトリックを用いて、波形伝播ループの各イテレーション（図８～９でx軸として表される）において、再構成画像を目標画像と比較する。これらの図では、再構成画像のスペックルの性質のために、目標画像と再構成画像の両方がぼやけており、類似度メトリックとしてPSNRの使用を可能にしている。

図８では、ランプ画像が、正則化が行われない第１ループ方法８０１、利得係数βが１.０で第１正則化が行われる第２ループ方法８０２、利得係数βが１.０で第２正則化が行われる第３ループ方法８０３、及び利得係数βが１.４で第２正則化が行われる第４ループ方法８０４について比較されている。各方法において、再構成品質は一般に各イテレーションに伴って増加する。第１正則化方法（第２ループ方法８０２）は正則化なし（第１ループ方法８０１）よりも高品質を提供し、第２正則化方法（第３ループ方法８０３又は第４ループ方法８０４）は第１正則化方法よりも高品質を提供することが分かる。また、第２正則化方法を用いる場合、利得係数β＝１.４は利得係数β＝１.０よりも高品質を提供することが分かる。

図９では、ビデオが、正則化が行われない第１ループ方法９０１、利得係数βが１.０で第１正則化が行われる第２ループ方法９０２、利得係数βが１.０で第２正則化が行われる第３ループ方法９０３、及び利得係数βが１.４で第２正則化が行われる第４ループ方法９０４について比較されている。各方法において、再構成品質は各イテレーションに伴って一般的に増加するが、第４ループ方法９０４はより少ないイテレーション数で最高品質を提供することができる。第４ループ方法９０４を使用する幾つかの実装では、イテレーション数は、例えば５から１０の間であり得る。第１正則化方法（第２ループ方法９０２）は正則化なし（第１ループ方法９０１）よりも高品質を提供し、第２正則化方法（第３ループ方法９０３又は第４ループ方法９０４）は第１正則化方法よりも高品質を提供することが分かる。また、第２正則化方法を用いる場合、利得係数β＝１.４は利得係数β＝１.０よりも高品質を提供することが分かる。第４ループ方法９０４における一定回数のイテレーションの後の品質の明白な低下に対処するために、反復ループは、最大品質が達成されると終了するように構成されてもよい。さらに、利得関数γ及び／又は利得係数βは、特定の用途に合わせて微調整されてもよい。二重変調構成では、正則化（例えば、図７Eの小さな明るい部分）によって引き起こされるオーバーシュートのいかなるインスタンスも、一次変調器によって減衰されてもよい。

反復正則化を伴う波形伝播ループは、再構成された光フィールドにおける相対強度を再現する位相構成を生成する。幾つかの実装では、これは、再構成光フィールドを構成するために照射の完全性が一次変調器へとステアリングされ、過剰な光を減光する負荷が一次変調器にかかるという仮定の下で生成される。特定の用途（例えば、高ダイナミックレンジ画像投影用）では、一次比の制限されたコントラスト比を満たすために光フィールドが減光される。この減光は、フィルタを提供することによって、照射を全体的に減光することによって、又はビームステアリングダンプを使用することによって、達成することができる。

ビームステアリングダンプ

ビームステアリングダンプは、波形伝播ループの一部として実装することができる。このような実装では、ビームステアリングダンプは、再構成画像内の絶対強度レベルを達成しながら、波形伝播ループが、任意の過剰エネルギをダンプ領域に導く位相構成に収束することを可能にする。さらに、ビームステアリングダンプ領域は、値が制約されず自由に変動する浮動領域として動作する。したがって、浮動領域は波形伝播ループ内の制約を緩和し、解への収束を可能にする。図１０は、ビームステアリングダンプ領域を有する例示的な波形伝播ループを示す。

図１０に示すループ内の各画像は、その位相成分とその振幅成分に分割される。例えば、ループは、以下の目標画像で開始される：
これは、以下で表すことができる初期再構成位相フィールド１０１０：
及び、以下で表すことができる初期再構成振幅フィールド１０２０：
を含む。以下の位相１０１０：
（例えば、期待される位相に近い値、ランダム又は擬似ランダムシードなど）に初期化され、インデックスnは０に設定される。以下の振幅１０２０：
は、アクティブ領域１０２１内で以下のように初期化され：
ダンプ領域１０２２でパディングされる。幾つかの実装では、ダンプ領域１０２２内の仮想ピクセル（すなわち、画像データに必ずしも対応しない画素）の特定の値は、ループの収束に大きな影響を与えず、したがって、０、別の経験定数値、（例えば、照射APL及び目標画像APLから）計算された値、ランダム値、又はそれらの組み合わせのような所定の値に設定することができる。

逆伝播後、結果として得られる変調フィールド：
は、以下のように表される位相成分１０３０：
及び以下のように表される振幅成分１０４０：
を含む。変調フィールドの位相成分１０３０及び振幅成分１０４０の両方は、アドレス可能領域（各々１０３１と１０４１）及びアドレス不可能領域（各々１０３２と１０４２）を含む。アドレス不可能領域１０３２と１０４２は、PLM１０５の変調領域の外側にあるので、０に設定してもよい。ループのこの時点で、アドレス可能領域１０４１（変調フィールドの振幅成分１０４０）の値は、照射フラットレベル強度（ニト単位）：
（すなわち、単一の値又は２Dマップであってもよく、定数として扱われてもよい照射強度の平方根）に設定してもよい。領域をこれらの値に設定すると、変調フィールドの振幅値と再構成フィールドの振幅値との間に関係が生じる。これにより、アクティブ領域１０２１内の値が目標絶対レベルを近似し、ダンプ領域１０２２内の値が（例えば）目標画像が光源から供給されるものよりも少ないエネルギを使用するために、過剰なエネルギを含む再構成フィールドにループが自動的に収束することが可能になる。

n=Nのイテレーションでは、変調フィールドの位相成分１０３０のアドレス可能領域１０３１がPLM１０５の中間位相成分１０５０（例えば、位相構成１０５０）として出力される。その他の場合、順方向伝播の後、ループは以下の再構成フィールドを生成し：
これは、以下のように表される中間位相成分１０５０：
及び以下のように表される中間振幅成分１０６０：
を含む。その後、中間振幅成分１０６０のアクティブ領域１０６１は正則化１０７０を受けることができ、一方、中間振幅成分１０６０のダンプ領域１０６２はそのままにしておくことができる。正則化１０７０は、第１正則化方法（すなわち、式（６a）を用いる）又は第２正則化方法（すなわち、式（６b）を用いる）を使用することができる。次いで、中間位相成分１０５０及び（正則化後の）アクティブ領域１０６１とダンプ領域１０６２とを含む中間振幅成分１０６０が、ループを通じて次のイテレーションのために、各々の順序で、初期再構成位相フィールド１０１０及びアクティブ領域１０２１とダンプ領域１０２２とを含む初期再構成振幅フィールド１０２０として使用される。順方向伝播及び正則化の間、様々なダンプ領域内の値は未処理であり、したがって、そのままにしておくことができる。

図１０は、対応する画像領域（例えば、画像領域１０２１を完全に囲むダンプ領域１０２２）を完全に囲むように種々のダンプ領域を示しているが、本開示はそのように限定されない。幾つかの実装では、ダンプ領域は、対応する画像（例えば、初期再構成振幅フィールド１０２０）が正方形になるように、画像領域の上下にストライプとしてのみ存在することができる。この構成は、計算効率を向上させることができる。例えば、映画の画像はアスペクト比が１:１ではないが、特定の動作（例えば、高速フーリエ変換又はFFT）は正方行列で最も効率的に動作する。したがって、矩形の画像領域を上下の目標領域でパディングすることにより、結果として得られる画像はアスペクト比が１:１になる。さらに、図１０は、ダンプ領域を対応する画像領域の外部領域（すなわち、画像外領域）として示しているが、図１０の動作は、光DC又はフーリエフィルタを用いて実施することもできる。これらの動作は、低速及び高速応答時間を有するビームステアリング装置（例えば、PLM１０５）を用いた単段及び多段変調画像投影システムの両方で実施することができる。比較的低速のPLM１０５（例えば、LCOS型デバイス）の場合、図１０の動作は、PLM１０５のフレームレートに応じて、ビデオフレームごとに１つ又は少数の高品質位相構成の計算を可能にする。比較的高速のPLM１０５（すなわち、MEMS型デバイス）の場合、図１０の動作は、ビデオフレームごとに単一の高品質位相構成の計算を可能にし、フレーム内の残りのサブフレームの位相構成は、少なくとも各ビデオフレームについて対応するサブフレーム位相構成が互いに斑点状に変化するため、既に計算された位相構成から生成され得る。これは、ビデオフレーム画像を達成するために異なるサブフレームソリューションの統合を利用する方法と比較して、高い計算効率を提供し得る。

図１１A～図１１C、図１２A～図１２C及び図１３A～図１３Cは、各々、二重変調ビームステアリングシステム及び図１０のループにおける画面上再構成（すなわち、比較的遅いビームステアリング装置を用いて生成された単一フレーム）のシミュレーションを示す。シミュレーションの目的のために、レーザ照射は２７ニト（nit）のフラットレベルを有するものとして扱われる。図１１A～図１１C及び図１２A～図１２Cは各々ビデオ静止画のシミュレーションを示し、図１３A～図１３Cは各々ランプ画像（例えば、図６A～図６Eに関して上述したランプ画像）のシミュレーションを示す。

図１１Aは、暗い領域と明るい領域（図示した画像では炎）を含むビデオ静止画の目標画像を示す。図１１Bは正則化されていないシミュレートされたスクリーン画像を示し、図１１Cは正則化されたシミュレートされた画像を示す。特に、図１１Cのシミュレーションは、第２正則化方法と、光ダンプによる利得係数β＝１.４を用いて生成された。各々異なる輝度レベルを有する３つの画像部分を解析した。図１１Aの目標画像の平均画像レベル（average picture level （APL））は、明るい部分で１７.５ニト、中間レベルの部分で１２.９ニト、暗い部分で５.９ニトである。図１１Bのシミュレートされた画像のAPLは、明るい部分で１７.２ニト、中間レベルの部分で１２.７ニト、暗い部分で５.８ニトである。これに対し、図１１Cのシミュレートされた画像のAPLは、明るい部分で１７.５ニト、中間レベルの部分で１２．９ニト、暗い部分で５．９ニトである。このように、光ダンプと正則化を用いることにより、図１１Cのシミュレートされた画像は、図１１Bのシミュレートされた画像と比較して、目標画像をより厳密に近似する。

図１２Aは、暗い領域と明るい領域（図示した画像では火花又は明るい窓）を含むビデオ静止画の目標画像を示す。図１２Bは正則化されていないシミュレートされたスクリーン画像を示し、図１２Cは正則化されたシミュレートされた画像を示す。特に、図１２Cのシミュレーションは、第２正則化方法と、光ダンプによる利得係数β＝１.４を用いて生成された。各々異なる輝度レベルを有する３つの画像部分を解析した。図１２Aの目標画像のAPLは、明るい部分で１２.８ニト、中間レベルの部分で１１.８ニト、暗い部分で８.７ニトである。図１２Bのシミュレートされた画像のAPLは、明るい部分で１２.２ニト、中間レベルの部分で１０.８ニト、暗い部分で８.６ニトである。これに対し、図１２Cのシミュレートされた画像のAPLは、明るい部分で１２.７ニト、中間レベルの部分で１１．１ニト、暗い部分で８．７ニトである。このように、光ダンプと正則化を用いることにより、図１２Cのシミュレートされた画像は、図１２Bのシミュレートされた画像と比較して、目標画像をより厳密に近似する。

図１３Aは、左から右に輝度が増加するランプ画像の目標画像を示す。図１３Bは正則化されていないシミュレートされたスクリーン画像を示し、図１３Cは正則化されたシミュレートされた画像を示す。特に、図１３Cのシミュレーションは、第２正則化方法と、利得係数β＝１.４を用いて生成された。各々同じ（高）輝度レベルを有する３つの画像部分が解析された。図１３Aの目標画像のAPLは３つの部分すべてで１８.９ニトである。図１３Bのシミュレートされた画像のAPLは、該３つの部分のうちの２つの部分で１７.８ニト、他の部分で１７.５ニトである。これに対し、図１３Cのシミュレートされた画像のAPLは、２つの部分で１８.８ニト、他の部分で１８．７ニトである。このように、光ダンプと正則化を用いることにより、図１３Cのシミュレートされた画像は、図１３Bのシミュレートされた画像と比較して、目標画像をより厳密に近似する。

ダンプ領域に大量の光をダンプすると、幾つかの実装では、画像領域に光がにじみ、画像を事実上劣化させる可能性がある。一次変調器は、ビームステアリングされた光フィールドの有効コントラスト比を増加させるように機能するが、一次変調器はまた、幾つかの光ダンプ機能を提供する。したがって、波形伝播ループは、ダンプ領域と一次変調器の両方を使用することによって過剰な光をダンプする解に自動的に収束するように調整することができる。このような調整は、正則化表現を変更して、波形伝播ループが一次変調器の能力（すなわち、そのコントラスト比）を認識するようにして、それによって、ダンプ領域と一次変調器とを交換可能に使用する、より正確な位相構成を生成することを可能にして、より良い画面上の画像絶対レベルをもたらす。

コントラスト認識関数は、次の式（７）を使用して定義することができる：

式（７）では、cは一次変調器のコントラスト比を表し、関数clip（X、A、B）は、Xの値を区間[A、B]内にクリップするクリッピング関数を表す。結果として、所与のサブフレームnの再構成誤差は、次の式（８）によって与えられる：

式（８）は、式（４）の代わりに式（５b）の利得関数の誤差に使用することができる。これにより、（６b）の正則化動作が一次変調器のコントラスト比を意識するようになり、上記の利点が得られる。

グローバルフィードバック

幾つかのオープンループ統合方式は、位相アルゴリズムに、すべてのサブフレームに対して同じ入力画像を供給し、ノイズの少ない画像（例えば、より高いSNR）に統合するために個々の解のランダム性を使用する。幾つかの例では、最大１００個（又はそれ以上）の個々の解を、各々がフレーム内の対応するサブフレームに対して生成することができる。例えば、回折を意識したアルゴリズムが使用されたとしても、各サブフレームはフレームの端に向かってロールオフを示す傾向があり、ランダム性を示すことがある。したがって、結果として得られる統合された光フィールドはロールオフを示し、ぼやけの増加とコントラストの低下を伴う画像を示すことがある。これらの影響は、前述の個々の解のレベルの問題（例えば、オーバーシュートとアンダーシュート）に加えて発生する。

実際には、特に初期状態としてランダムな位相分布を使用する場合、回折を意識した位相アルゴリズムの正確な結果を予測することは困難又は不可能である可能性がある。しかし、同じ画像に対する多くの解を統合することは、位相アルゴリズム自体に関する情報を提供する可能性がある。そのため、以前の統合の結果を使用して、その後の統合の欠陥を修正し、それによってより正確な目標画像を達成することができる可能性がある。これは、各サブフレームの位相アルゴリズムに入力された強度に作用するフィードバックループを使用して達成することができる。１つの例では、フィードバックループは、「外部ループフィードバック（outer-loop feedback）」又はOLFBと呼ばれる、位相アルゴリズム自体の外部にあり独立に適用される。OLFBは、波形伝播又は反復正則化などの他の反復法に加えて使用することも、単独で使用することもできる。

式（９）において、c_１及びc_２は条件関数である。次に、動作１４０３において、誤差信号は入力強度と結合され、位相アルゴリズムのための新しい目標T’を生成する。これは、次式（１０）により表すことができる：

式（１０）では、gは条件関数である。条件関数c_１及びc_２は、両方が同じ総エネルギを持つように、各々の引数Tとi_LFSをスケーリングする。条件関数gは、補正を増幅して収束を高速化するために、誤差に利得を適用する。誤差信号E及び目標強度T’は、前のイテレーション又は複数の前のイテレーションの結果を使用して、各サブフレームn=１．．．Nに対して更新され、Nはフレーム内のサブフレーム又は統合の数である。したがって、動作１４０４で、インデックスnは値Nと比較される。n<Nの場合、インデックスnは動作１４０５でインクリメントされ、ループは動作１４０２で再び開始される。n=Nの場合、方法は動作１４０６を通じて次のフレームに進み、動作１４０１で新しいフレームについて再び開始される。イテレーション回数の合計Nは、画質と計算要件のバランスをとるために選択されてもよい。一部の実施形態では、N≧６である。一例では、N=６である。

オープンループ法と比較したOLFBの効果を図１５A～図１５D、図１６A～図１６C、図１７A～図１７B及び図１８に示す。図１５A～図１５Dは各々、ビデオ静止画の画像フレームを示す。図１６A～図１６C、図１７A～図１７B及び図１８は各々、ランプ画像（例えば、図６A～図６E及び／又は図１３A～図１４Cに関して上述したランプ画像）の画像フレーム及びグラフィック解析を示す。図は、PSFを適用せずに示されている。

図１５Aは、暗い領域と小さい明るい領域（図示した画像では炎）を含む目標画像フレームを示す。図１５Bは、N=１００個の解を統合する回折認識アルゴリズムを用いたオープンループ法によって生成された統合画像を示す。図１５Bと図１５Aを比較することによって、オープンループ法は、フレームの端に向かってロールオフを示し、ぼやけた、より低いコントラストを有する統合画像を生成することがわかる。

図１５Cは、N=１００個の解を統合する、上述のOLFB法によって生成された統合画像を示す。図１５Cと図１５Bを比較することにより、OLFB法は、特にコーナー及びエッジにおいて、図１５Aの目標画像をより正確に近似する、より高品質の統合画像を生成することがわかる。必ずしも１つの要因だけによって引き起こされるわけではないが、この理由の１つは、後のサブフレームが前のサブフレームの誤差を考慮しているため、これらの誤差を打ち消すために特に生成されるためである。例えば、図１５Dは、最終的な統合（n=１００）の目標画像を示している。図１５Dと図１５Bを比較することによって、後のイテレーションにおけるOLFB法は、オープンループ法が光不足である領域のすべてを増幅することが分かる。

図１６Aは、左から右に輝度が増加するランプ画像の目標画像を示す。図１６Bは、N=１００個の解を統合する回折認識アルゴリズムを用いたオープンループ法によって生成された統合画像を示す。図１６Bと図１６Aを比較することによって、オープンループ法は、フレームの端に向かってロールオフを示し、ノイズの多い、より低いコントラストを有する統合画像を生成することがわかる。図１６Cは、N=１００個の解を統合する、上述のOLFB法によって生成された統合画像を示す。図１６Cと図１６Bを比較することにより、OLFB法は、特にコーナー及びエッジにおいて、図１６Aの目標画像をより正確に近似し、より少ないノイズを示す、より高品質の統合画像を生成することがわかる。

図１６A、図１６B及び図１６Cの違いは、図１７A～図１７Bでより詳細に示されている。図１７Aは、画像のほぼ中央の１列のピクセルについて、x軸上の図１６A～図１６Cのランプ波形の水平ピクセル位置に対する、y軸上のニト単位の輝度レベルを対数スケールで示している。図１６Aの目標画像は曲線１７０１aとして示され、図１６BのオープンループのN=１００の統合画像は曲線１７０２aとして示され、図１６CのOLFBのN=１００の統合画像は曲線１７０３aとして示されている。図１７Bは、画像の上端近くの１列のピクセルについて同じ情報を示す。図１６Aの目標画像は曲線１７０１bとして示され、図１６BのオープンループのN=１００の統合画像は曲線１７０２bとして示され、図１６CのOLFBのN=１００の統合画像は曲線１７０３bとして示されている。曲線１７０３a及び１７０３bは、各々、曲線１７０２a及び１７０２bよりもはるかに目標曲線１７０１a及び１７０１bを厳密に近似している。さらに、（例えば、ランプ画像の左側付近の暗いピクセルの場合の）任意の不一致は、OLFBでは画像全体で一貫しているが、オープンループ法はランプ画像の最上段と中段の間で異なる程度の不一致を有する。

さらに、OLFBはオープンループ法と比較してよりクリーンでより正確な画像を生成する。これは、曲線１７０２a及び１７０２bと比較して、曲線１７０３a及び１７０３bのノイズ量が少ないことからわかる。これはまた、図１８により詳細に示されており、OLFB法がオープンループ法よりも急速に実質的にノイズのない解に収束することも示している。特に、図１８は、y軸上のdB単位のPSNRと、x軸上の統合の数Nを示している。オープンループ法を曲線１８０１で示し、OLFB法を曲線１８０２で示す。

曲線１８０２は曲線１８０１よりも速く増加し、最大値ははるかに大きい。例えば、x=６における曲線１８０２のy値は、x=１００における曲線１８０１のy値よりも大きくなる。これは、６つの統合のみを持つOLFB法のPSNRが、１００個の統合を持つオープンループ法のPSNRよりも高いことを示す。図１８には示されないが、約１５個の統合におけるOLFB法のノイズレベルは、１００個の統合におけるオープンループ法のノイズレベルとほぼ同じである。言い換えれば、OLFBは計算量の低減も提供する。これは、位相のみの投影システムだけでなく、高速位相変調器を使用するマルチ変調システムの両方に当てはまる。位相変調器と下流変調器の間にPSFを（例えば、ぼかしのために）使用するシステムでは、OLFBは、サブフレームの目標を更新するときにPSFを説明し、反復デコンボリューションの形式を実現できる。正味の効果は、システムの明るさの制限の下で、より明るいオブジェクトと減少したハローを持つ統合された光フィールドである。

OLFB光ダンプ

上述したように、PLMは（光を破棄するのではなく）光を方向転換することしかできないので、再構成された画像で絶対強度を達成するには、PLM以外の方法で過剰なエネルギをダンプする必要があるかもしれない。一例では、フーリエ（DC）フィルタが光路（例えば、フィルタ１０９と同様に、又はフィルタと一緒に）に存在する場合、PLMの後のすべての変調されていない光（すなわち、直進する光）は廃棄される。その後、画像の作成に使用される変調器の領域（「アクティブ領域」と呼ばれる）を制限することによって、再構成平面に到達する光の量を制御することが可能である。変調器の非アクティブ領域の光は、その後、フーリエフィルタ内で破棄される。追加又は代替として、過剰なエネルギを含む再構成画像の周囲にビームステアリングダンプ領域を作成することが可能である。

ビームステアリングダンプ領域は、OLFB法を使用して実装することができる。これは、上述の反復正則化処理におけるダンプ領域の実装の代わりに実行することができる。OLFB法は、回折効率が事前に知られていないが、第１サブフレームを解いた後に（画像とダンプについて一緒に、又は個別に）計算され、その後の各統合で更新される可能性があるため、ダンプを容易にする。回折効率は、目標が各サブフレームで更新されるにもかかわらず、一般に、すべての統合で一定のままである。したがって、前の統合の回折効率を使用して画像部分をスケーリングすると、正確な結果が得られる。この実装では、位相アルゴリズム自体はダンピング方式を実装せず、代わりに単に正規化された正方形目標を解決する。

１つの例では、ダンプ領域は、再構成画像の上下に同じ強度の２つのバンドとして実装され、全体的な再構成ウィンドウを正方形にし、したがってステアリング要件を保持する（すなわち、最大ステアリング角は変化しない）。さらに、正方形の再構成ウィンドウを提供することは、回折をシミュレートするために使用される２次元FFTの計算オーバヘッドを削減する。ダンプ領域と画像領域のエッジとの間にギャップを確保することができ、それによって、PSFが使用されるときにダンプ内の光が画像部分ににじみ出るのを防ぐことができる（例えば、マルチ変調システムの場合）。このような実施形態では、画像エネルギは、最初に幾つかの推定回折効率によってスケールアップされ、その後、実際に計算された効率値によって更新されてもよい。

図１９A～１９Bは、正方形ウィンドウを生成するためのダンプ領域の効果を示す。図１９Aは、目標画像フレームを示し、図１９Bは、OLFBを用いた結果の統合された光フィールドを示す。図１９Aでは、ストライプ状の光ダンプ領域がウィンドウの上部及び下部に配置され、画像領域とダンプ領域との間にストライプ状の黒いギャップ領域がある。その結果、光漏れ又はにじみ（bleeding）の影響は、主に又は完全に図１９Bの統合画像の対応するギャップ領域に限定され、画像領域自体は主に又は完全に影響を受けない。幾つかの実装では、図１９Aに見られるように、位相アルゴリズムで大きな黒いギャップ領域を実装するために計算量が増加する可能性がある。そのような状況では、ダンプ領域及びギャップ領域は、再構成ウィンドウの上端及び下端に近づくにつれて輝度が増加する、画像領域の上下の非線形ランプ領域に置き換えられる可能性がある。

フレア

目標画像に小さく非常に明るい特徴が含まれている場合、回折を意識した位相アルゴリズムは、エネルギの大部分が水平方向と垂直方向の両方に広がる、オブジェクトの周りにフレアとして現れるアーチファクトを画面上に導入することがある。そのようなフレアとそれに関する上記のアルゴリズムの効果は、図２０A～２０Cに示されている。

図２０Aは、高輝度の円が画像フレームの中央に位置し、黒で囲まれている目標画像を示している。図２０Bは、N=１００のOLFB法と回折認識位相検索アルゴリズムを適用した、図２０Aに対応する再構成画像を示している。図２０Bから分かるように、円の周りにハローが存在し、残留輝度の垂直ストライプが円を通って存在する。説明の目的のために、図２０A～２０Bは、高いガンマ値を使用して、ハローとストライプ（「フレア」）アーチファクトの可視性を増加させることに留意されたい。さらに、この例では、目標画像は、光のすべてを利用していない。すべての光を利用した場合、アーチファクトの可視性は大きくなる。

特定の数学理論に限定されることなく、フレア効果は、円形のレンズのような形状を持つ伝播作動因子が変調器の端に達し、長方形にクリップされるときに発生すると考えられている。オブジェクトが明るいほど、オブジェクトに割り当てられる変調器の面積が大きくなる。つまり、「レンズ」が大きくなる。これは、レンズのようなアルゴリズムだけでなく、回折を意識したアルゴリズムにも当てはまる。明るいオブジェクトの「レンズ」が投影システムの開口部に当たると、その伝播関数は長方形の開口部の対応する部分により乗算される。したがって、再構成されたオブジェクトである、レンズによって生成された結果の光フィールドは、２次元のsinc関数である長方形の開口部のフーリエ変換により畳み込まれる。したがって、フレアは主に水平軸と垂直軸で明らかになる。

フレアの存在に対処するために、アクティブ領域を変調器において定義することができる。アクティブ領域は、フーリエ変換が強い垂直又は水平フレアを生成しない幾何学的形状を持っている。例えば、アクティブ領域は円又は楕円である。アクティブ領域は、画像、実装によってはダンプ領域の一部の作成に使用される。変調器の残りの領域（「非アクティブ領域」）は、光をダンプに導くためだけに使用される。これを達成するために、この方法は最初に、変調器全体又は非アクティブ領域のみを使用してダンプのみを解決する。これは事前に行うことができる（例えば、システムの初期化の一部として）。回折認識アルゴリズムは、変調器のアクティブ領域のみを使用するように変更される。非アクティブ領域は、処理全体にわたってダンプ解で構成されたままである。この効果は、目的の幾何学的形状を持つ変調器をシミュレートすることである。

形状は、その領域が画像に十分なエネルギを向けるのに十分な大きさになるように選択される。アスペクト比が１６:９（すなわち、高さよりも幅が大きい）の位相変調器では、最大の内接円が領域の約４０％を占める。したがって、円形のアクティブ領域は、エネルギが利用可能なエネルギの４０％未満である目標画像に適している。必要なエネルギがより大きい場合は、代わりに楕円領域を選択してもよい。最大の内接楕円は領域の約７８％を占め、したがって、楕円アクティブ領域は、エネルギが利用可能なエネルギの最大７８％の目標画像を収容することができる。

図２０Cは、アクティブ領域が最大の内接円として選択され、したがって、拡散エネルギの最大４０％を処理することができる方法の効果を示す。図２０Cから分かるように、結果として得られる光フィールドは、図２０Cと比較して、垂直及び水平フレアを著しく減少させる。

他の実施形態では、ビームステアリングされた光フィールドのフーリエ面に位置する光学フィルタを使用することによって、フレアに対処することができる。この光学フィルタは、十字線に似ていて、厳密に垂直又は水平であるすべてのステアリング周波数をブロックすることができる。これは、目標エネルギを構成する周波数をブロックすることができると共に、フレア効果に対応する周波数をブロックする。位相構成は、目標画像を達成するために厳密に水平及び垂直周波数を使用しないように生成され、それによって目標エネルギ周波数のブロックを回避することができる。一例では、これは、位相構成を生成する波形伝播ループ内の角度スペクトルフィルタを使用して実装される。

位相ストローク量子化

上述のように、PLM１０５の動作は、PLM１０５の位相ストローク量子化を含む要因によって影響を受ける可能性がある。幾つかのPLMアーキテクチャ（例えば、MEMS技術に基づくもの）は、比較的少ない数の位相ストロークを提供する。nビットPLMデバイスの場合、コードワードの数は２ⁿである。さらに、位相値をPLM位相構成のコードワードに変換する位相ストローク量子化は、不均一である可能性がある。図２１は、例示的な３ビットPLMデバイスにおけるこの不均一な位相ストローク量子化を示す。

図２１は、x軸に沿って位相入力を、y軸に沿って位相出力を示す。線２１０１は線形符号化に対応し、線２１０２は変調器ルックアップテーブルの値に対応する。線２１０１と線２１０２が交差する点はコードワードに対応する。図２１から分かるように、３ビットPLMデバイスは８つのコードワードを有する。変調器の最大ストロークは最大コードワード（すなわち、最大位相入力値に対応するコードワード）に対応する。PLM１０５のための位相構成を生成するアルゴリズムが位相ストローク量子化を認識しない実装では、PLM１０５によって再構成されたときの位相構成は、画像特徴における相当量のエネルギ不足のようなアーチファクトを含む光フィールド画像を生成するかもしれない。

図２２A～図２２Cは各々、ビデオ静止画のための画像フレームを示し、これらの効果を示す。図２２Aは、暗い背景の明るい領域（図示された画像では顔とライター）を含む目標画像フレームを示す。図２２Bは、PLMストローク量子化が光フィールドでシミュレートされるが、PLMを駆動する位相構成を生成するアルゴリズムがストローク量子化処理を認識しない二重変調投影システムにおける例示的な出力画像を示す。図２２Cは、図２２Aと図２２Bの違いを示す差分マップである。図２２Cの差分マップでは、より暗い領域（例えば、図６Cの右側）は不足しているエネルギを示し、より明るい領域（例えば、幾つかのオブジェクトのエッジ）は過剰なエネルギを示す。上述したように、過剰エネルギは投影システムの一次変調器によって補償され得るが、エネルギ不足は補償されない。

波形伝播ループは、変調フィールドの位相成分をそのような量子化処理にかけることによってPLM位相ストローク量子化に対応することができる。種々の実装において、変調フィールドの位相量子化は、波形伝播ループのイテレーションの一部又は全部で実行され得る。図２３A～２３Bは、最後から２番目のイテレーション（N-１、Nはイテレーションの合計回数である）における変調フィールド出力の位相分布（図２３Aの線２３０１、及び図２３Bの線２３０２）を示す。図２３Aでは、変調フィールドはどのイテレーションにおいても量子化処理の対象とならないが、図２３Bでは、量子化処理はそれ以前のすべてのイテレーションで実行される。線２３０３はPLM量子化ステップを示し、参照のために図２３Aと図２３Bの両方に重ねて表示される。

図２３Bから分かるように、波形伝播ループ内の変調フィールドに対するPLM位相量子化を実行することにより、結果として得られる位相構成は、特定のPLMの位相コードワード仕様により正確に対応する位相分布をもたらす。特定の用途に応じて、これは、量子化処理を認識しないアルゴリズムから生成される位相構成と同じアーチファクト（例えば、図２２Cに見られるエネルギ不足）を示さない、より高い位相構成効率及び／又は再構成をもたらす可能性がある。これは、オープンループ又は外部フィードバック（OLFB）サブフレーム統合構成のいずれかにおいて、上述の反復正則化技術を使用して実装できる。

図２４A～図２４Cは、各々ビデオ静止画のフレームを示し、量子化処理を認識するアルゴリズムの結果を示す。図２４Aは、暗い背景の明るい領域（図示された画像では顔とライター）を含む目標画像フレームを示す。この画像は、図２２Aの目標画像に対応する。図２４Bは、PLMストローク量子化が光フィールドでシミュレートされ、PLMを駆動する位相構成を生成するアルゴリズムがストローク量子化処理を認識する二重変調投影システムにおける例示的な出力画像を示す。図２４Cは、図２４Aと図２４Bの違いを示す差分マップである。図２４Cの差分マップにおいて、（例えば、幾つかのオブジェクトエッジにおける）より明るい領域は過剰エネルギを示す。上述したように、過剰エネルギは投影システムの一次変調器によって補償され得る。図２４Cと図２２Cを比較することによって、画像特徴においてもはや実質的なエネルギ不足がないことが分かる。例えば、システムPSFに起因する過剰なエネルギを示す部分は、一次変調器によって補償され、したがって実質的にノイズのないスクリーン画像をもたらすことができる。

効果

本開示に従ったシステム、方法及び装置は、以下の構成のうちの１つ以上を取り入れることができる。

（１）投影システムであって、画像データに応答して光を放射するように構成された光源と、光源からの光を受け取り、光に空間的に変化する位相変調を適用し、それによって光をステアリングし、投影光を生成するように構成された位相光変調器;と、光源を制御し、位相光変調器と、コントローラとを含む。コントローラは、光源を制御し、位相光変調器を制御し、画像データのフレーム内の複数のサブフレームの各々に対して反復的に、再構成フィールドを決定し、再構成フィールドを変調フィールドにマッピングし、変調フィールドの振幅をスケーリングし、変調フィールドを後続のイテレーション再構成フィールドにマッピングし、変調フィールドに基づいた位相制御信号を位相光変調器に提供するように構成される、投影システム。

（２）前記変調フィールドは、光の位相を変調する位相光変調器の平面であり、前記再構成フィールドは、再構成画像が形成される平面である、（１）に記載の投影システム。

（３）前記コントローラは、前記画像データのフレーム内の複数のサブフレームの各々について、反復的に、前記再構成フィールドに正則化係数を適用するように構成され、前記正則化係数は、現在のイテレーションの再構成誤差に基づく利得を使用して、前記後続のイテレーション再構成フィールドの目標振幅を調整する、（１）～（２）のいずれか一項に記載の投影システム。

（４）前記変調フィールドの振幅をスケーリングすることは、前記変調フィールドの振幅成分を１に設定することを含む、（１）～（３）のいずれか一項に記載の投影システム。

（５）前記コントローラは、前記再構成フィールドを前記変調フィールドにマッピングする前に、前記再構成フィールドをダンプ領域でパディングするように構成される、（１）～（４）のいずれか一項に記載の投影システム。

（６）前記コントローラは、第１イテレーションを除くサブフレーム内の複数のイテレーションの各々に対して反復的に、現在のイテレーションの統合された光フィールドシミュレーションを目標画像と比較することによって誤差信号を生成するように構成される、（１）～（５）のいずれか一項に記載の投影システム。

（７）前記投影光を受け取り変調するよう構成された二次変調器を更に含み、前記位相光変調器は、アレイに配置された複数の画素と、前記位相制御信号に応答して前記複数の画素の各々の状態を変更するように構成された回路とを含む、（１）～（６）のいずれか一項に記載の投影システム。

（８）投影システムを駆動する方法であって、画像データに応答して光源によって光を放射するステップと、位相光変調器によって光を受信する;位相光変調器によって光に空間的に変化する位相変調を適用するステップであって、それによって光を操縦し、投影光を生成する、ステップと、画像データのフレーム内の複数のサブフレームの各々について、光源及び位相光変調器を制御するように構成されたコントローラを用いて、再構成フィールドを決定し、再構成フィールドを変調フィールドにマッピングし、変調フィールドの振幅をスケーリングし、変調フィールドを後続のイテレーション再構成フィールドにマッピングし、変調フィールドに基づく位相制御信号を位相光変調器に供給することを繰り返し行うステップと、を含む方法。

（９）前記変調フィールドは、光の位相を変調する位相光変調器の平面であり、前記再構成フィールドは、再構成画像が形成される平面である、（８）に記載の方法。

（１０）前記画像データのフレーム内の複数のサブフレームの各々について、反復的に、前記再構成フィールドに正則化係数を適用するステップを更に含み、前記正則化係数は、現在のイテレーションの再構成誤差に基づく利得を使用して、前記後続のイテレーション再構成フィールドの目標振幅を調整する、（８）～（９）のいずれか一項に記載の方法。

（１１）前記変調フィールドの振幅をスケーリングするステップは、前記変調フィールドの振幅成分を１に設定するステップ）、を更に含む（８）～（１０）のいずれか一項に記載の方法。

（１２）前記再構成フィールドを前記変調フィールドにマッピングする前に、前記再構成フィールドをダンプ領域でパディングするステップ、を更に含む（８）～（１１）のいずれか一項に記載の方法。

（１３）第１イテレーションを除くサブフレーム内の複数のイテレーションの各々に対して反復的に、現在のイテレーションの統合された光フィールドシミュレーションを目標画像と比較することによって誤差信号を生成するステップ、を更に含む（８）～（１２）のいずれか一項に記載の方法。

（１４）二次変調器により、前記投影光を受け取り変調するステップを更に含み、前記位相光変調器は、アレイに配置された複数の画素と、前記位相制御信号に応答して前記複数の画素の各々の状態を変更するように構成された回路とを含む、（８）～（１３）のいずれか一項に記載の方法。

（１５）命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、投影装置のプロセッサにより実行されると、前記投影装置に（８）～（１４）のいずれか一項に記載の方法を含む動作を実行させる、非一時的コンピュータ可読媒体。

処理、システム、方法、ヒューリスティック、等に関して本願明細書に説明されたが、理解されるべきことに、このような処理等のステップは、特定の順序付きシーケンスに従い生じるとして説明されたが、このような処理は、本願明細書に記載された順序と異なる順序で実行される記載されたステップと共に実施され得る。特定のステップは同時に実行され得ること、他のステップが追加され得ること、又は本願明細書に記載された特定のステップが省略され得ることが、更に理解されるべきである。言い換えると、本願明細書における処理の説明は、特定の実施形態を説明する目的で提供され、請求項を限定するものとして考えられるべきではない。

従って、上記の説明は、説明を意図しており、限定的ではないことが理解されるべきである。上記の説明を読むと、提供された例以外の多くの実施例と適用が明らかになる。範囲は、上述の説明を参照せずに、しかし代わりに添付の請求の範囲を参照して、権利の与えられた該請求の範囲の均等な全範囲とともに、決定されるべきである。ここで議論されている技術に将来の発展が起こり、開示されたシステムと方法がそのような将来の実施形態に組み込まれることが予想され、意図されている。要約すると、本願は変更や変更が可能であることを理解すべきである。

特許請求の範囲で使用されているすべての用語は、ここに記載されている技術に精通している者に理解されるように、それらの最も広範で合理的な構成と通常の意味を与えることを意図している。特に、「a」、「the」、「said」などの単数冠詞の使用は、請求項が明示的に反対の制限を述べていない限り、示された要素の１つ以上を述べるために読むべきである。

本開示の要約は、読者が技術的開示の特性を素早く評価することを可能にするために提供される。それは、請求項の範囲又は意味を解釈し又は限定するために使用されるものではないことが理解される。更に、前述の詳細な説明では、本開示を合理化する目的で、種々の特徴が種々の実施形態に一緒にグループ化されることが分かる。本開示のこの方法は、請求される実施形態が各請求項に明示的に記載されたものより多くの特徴を組み込むという意図を反映するものと解釈されるべきではない。むしろ、以下の請求項が反映するように、本発明の主題は、単一の開示された実施形態の全部よりも少ない特徴にある。従って、以下の請求の範囲は、ここで詳細な説明に組み込まれ、各請求項は別個に請求される主題としてそれ自体独立である。

本発明の種々の態様は、以下に列挙する例示的な実施形態（enumerated example embodiment：EEE）から明らかであり得る。

（EEE１）投影システムであって、画像データに応答して光を放射するように構成された光源と、光源からの光を受け取り、光に空間的に変化する位相変調を適用し、それによって光をステアリングし、投影光を生成するように構成された位相光変調器;と、光源を制御し、位相光変調器と、コントローラとを含む。コントローラは、光源を制御し、位相光変調器を制御し、画像データのフレーム内の複数のサブフレームの各々に対して反復的に、再構成フィールドを決定し、再構成フィールドを変調フィールドにマッピングし、変調フィールドの振幅をスケーリングし、変調フィールドを後続のイテレーション再構成フィールドにマッピングし、変調フィールドに基づいた位相制御信号を位相光変調器に提供するように構成される、投影システム。

（EEE２）前記コントローラは、前記画像データのフレーム内の複数のサブフレームの各々について、反復的に、前記後続のイテレーション再構成フィールドに正則化係数を適用するように構成される、EEE１～２のいずれか一項に記載の投影システム。

（EEE３）前記正則化係数は、現在のイテレーションの再構成誤差に基づく利得を用いて、前記後続のイテレーション再構成フィールドの目標振幅を調整する、EEE２に記載の投影システム。

（EEE４）前記利得は、ぼかしフィルタを含む、EEE３に記載の投影システム。

（EEE５）前記コントローラは、前記再構成フィールドを前記変調フィールドにマッピングする前に、前記再構成フィールドをダンプ領域でパディングするように構成される、EEE１～４のいずれか一項に記載の投影システム。

（EEE６）前記コントローラは、前記ダンプ領域における仮想画素値を所定の値に設定するように構成される、EEE５に記載の投影システム。

（EEE７）前記コントローラは、第１イテレーションを除くサブフレーム内の複数のイテレーションの各々に対して反復的に、現在のイテレーションの統合された光フィールドシミュレーションを目標画像と比較することによって誤差信号を生成するように構成される、EEE１～６のいずれか一項に記載の投影システム。

（EEE８）前記コントローラは、前記第１イテレーションを除く複数のイテレーションの各々に対して反復的に、現在の目標強度及び前記誤差信号に基づいて、更新された目標強度を生成するように構成される、EEE７に記載の投影システム。

（EEE９）前記投影光を受信して変調するように構成された二次変調器をさらに含む、EEE１～８のいずれか一項に記載の投影システム。

（EEE１０）前記位相光変調器は、アレイに配置された複数の画素と、前記位相制御信号に応答して前記複数の画素の各々の状態を変更するように構成された回路とを含む、EEE９に記載の投影システム。

（EEE１１）投影システムを駆動する方法であって、画像データに応答して光源によって光を放射するステップと、位相光変調器によって光を受信する;位相光変調器によって光に空間的に変化する位相変調を適用するステップであって、それによって光を操縦し、投影光を生成する、ステップと、画像データのフレーム内の複数のサブフレームの各々について、光源及び位相光変調器を制御するように構成されたコントローラを用いて、再構成フィールドを決定し、再構成フィールドを変調フィールドにマッピングし、変調フィールドの振幅をスケーリングし、変調フィールドを後続のイテレーション再構成フィールドにマッピングし、変調フィールドに基づく位相制御信号を位相光変調器に供給することを繰り返し行うステップと、を含む方法。

（EEE１２）前記画像データのフレーム内の複数のサブフレームの各々について、反復的に、前記再構成フィールドに正則化係数を適用するステップ、を更に含むEEE１１に記載の方法。

（EEE１３）前記正則化係数は、現在のイテレーションの再構成誤差に基づく利得を用いて、前記後続のイテレーション再構成フィールドの目標振幅を調整する、EEE１２に記載の方法。

（EEE１４）前記利得は、ぼかしフィルタを含む、EEE１３に記載の方法。

（EEE１５）前記再構成フィールドを前記変調フィールドにマッピングする前に、前記再構成フィールドをダンプ領域でパディングするステップ、を更に含むEEE１１～１４のいずれか一項に記載の方法。

（EEE１６）前記ダンプ領域における仮想画素値を所定の値に設定するステップ、を更に含むEEE１５に記載の方法。

（EEE１７）第１イテレーションを除くサブフレーム内の複数のイテレーションの各々に対して反復的に、現在のイテレーションの統合された光フィールドシミュレーションを目標画像と比較することによって誤差信号を生成するステップ、を更に含むEEE１１～１６のいずれか一項に記載の方法。

（EEE１８）前記第１イテレーションを除く複数のイテレーションの各々に対して反復的に、現在の目標強度及び前記誤差信号に基づいて、更新された目標強度を生成するステップ、を更に含むEEE１７に記載の方法。

（EEE１９）二次変調器により、前記投影光を受け取り変調するステップ、を更に含むEEE１１のいずれか一項に記載の方法。

（EEE２０）命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、投影装置のプロセッサにより実行されると、前記投影装置にEEE１１～１９のいずれかに記載の方法を含む動作を実行させる、非一時的コンピュータ可読媒体。

Claims

投影システムであって、
画像データに応答して光を放射するように構成された光源と、
前記光源からの光を受け取り、前記光に空間的に変化する位相変調を適用し、それによって投影光を生成し、再構成フィールド上で前記光をステアリングするように構成された位相光変調器であって、前記再構成フィールドは、再構成画像が形成される複素平面である、位相光変調器と、
コントローラと、
を含み、
前記コントローラは、
前記光源を制御し、
前記位相光変調器を制御し、
前記再構成フィールドを初期値に初期化し、
前記画像データのフレーム内の複数のサブフレームの各々について反復的に、
前記再構成フィールドを第１イテレーションのための初期値に設定するか、又は前記再構成フィールドを後続のイテレーションのための後続のイテレーション再構成フィールド値に設定し、
前記再構成フィールドを変調フィールドにマッピングし、前記変調フィールドは前記光の位相を変調する前記位相光変調器の複素平面であり、
前記変調フィールドの振幅を所定の値に設定し、
前記所定の値に設定した振幅を有する前記変調フィールドを、後続のイテレーション再構成フィールドにマッピングする、
ように構成され、
前記コントローラは、前記位相光変調器に最後のイテレーションでマッピングされた前記変調フィールドに基づく位相制御信号を提供するようにさらに構成される、投影システム。
前記コントローラは、後続のイテレーション再構成フィールドが目標画質に到達するまで、反復的に、
前記再構成フィールドを初期値に設定し、
前記再構成フィールドを前記変調フィールドにマッピングし、
前記変調フィールドの振幅を所定値に設定し、
前記所定値に設定された振幅を有する前記変調フィールドを前記後続のイテレーション再構成フィールドにマッピングする、
ように構成される、請求項１に記載の投影システム。
前記コントローラは、前記画像データのフレーム内の複数のサブフレームの各々について、反復的に、前記後続のイテレーション再構成フィールドに正則化係数を適用するように構成される、請求項１～２のいずれか一項に記載の投影システム。
前記正則化係数は、現在のイテレーションの再構成誤差に基づく利得関数を用いて、前記後続のイテレーション再構成フィールドの目標振幅を調整する、請求項３に記載の投影システム。
前記利得関数は、ぼかしフィルタを含む、請求項４に記載の投影システム。
前記コントローラは、前記変調フィールドの振幅成分を１に設定するように構成される、請求項１～５のいずれか一項に記載の投影システム。
前記コントローラは、前記再構成フィールドを前記変調フィールドにマッピングする前に、前記再構成フィールドをダンプ領域でパディングするように構成される、請求項１～６のいずれか一項に記載の投影システム。
前記コントローラは、前記ダンプ領域における仮想画素値を所定の値に設定するように構成される、請求項７に記載の投影システム。
前記コントローラは、第１イテレーションを除くサブフレーム内の複数のイテレーションの各々に対して反復的に、現在のイテレーションの統合された光フィールドシミュレーションを目標画像と比較することによって誤差信号を生成するように構成される、請求項１～８のいずれか一項に記載の投影システム。
前記コントローラは、前記第１イテレーションを除く複数のイテレーションの各々に対して反復的に、現在の目標強度及び前記誤差信号に基づいて、更新された目標強度を生成するように構成される、請求項９に記載の投影システム。
前記投影光を受信して変調するように構成された二次変調器をさらに含む、請求項１～１０のいずれか一項に記載の投影システム。
前記位相光変調器は、アレイに配置された複数の画素と、前記位相制御信号に応答して前記複数の画素の各々の状態を変更するように構成された回路とを含む、請求項１１に記載の投影システム。
投影システムを駆動する方法であって、
光源により、画像データに応答して光を放射するステップと、
位相光変調器により、前記光を受け取るステップと、
前記位相光変調器により、前記光に空間的に変化する位相変調を適用するステップであって、それによって投影光を生成し、再構成フィールド上で前記光をステアリングし、前記再構成フィールドは、再構成画像が形成される複素平面である、ステップと、
前記再構成フィールドを初期値に初期化するステップと、
前記光源と前記位相光変調器とを制御するよう構成されたコントローラにより、前記画像データのフレーム内の複数のサブフレームの各々について反復的に、
前記再構成フィールドを第１イテレーションのための初期値に設定するか、又は前記再構成フィールドを後続のイテレーションのための後続のイテレーション再構成フィールド値に設定するステップと、
前記再構成フィールドを変調フィールドにマッピングするステップであって、前記変調フィールドは前記光の位相を変調する前記位相光変調器の複素平面である、ステップと、
前記変調フィールドの振幅を所定の値に設定するステップと、
前記所定の値に設定した振幅を有する前記変調フィールドを、後続のイテレーション再構成フィールドにマッピングするステップと、
前記位相光変調器に最後のイテレーションでマッピングされた前記変調フィールドに基づく位相制御信号を提供するステップと、
を含む方法。
前記再構成フィールドを初期値に設定するステップと、前記再構成フィールドを前記変調フィールドにマッピングするステップと、前記変調フィールドの振幅を所定値に設定するステップと、前記所定値に設定された振幅を有する前記変調フィールドを前記後続のイテレーション再構成フィールドにマッピングするステップとは、前記後続のイテレーション再構成フィールドが目標画質に到達するまで、反復的に実行される、請求項１３に記載の方法。
前記画像データのフレーム内の複数のサブフレームの各々について、反復的に、前記再構成フィールドに正則化係数を適用するステップ、を更に含む請求項１３～１４のいずれか一項に記載の方法。
前記正則化係数は、現在のイテレーションの再構成誤差に基づく利得を用いて、前記後続のイテレーション再構成フィールドの目標振幅を調整する、請求項１５に記載の方法。
前記利得は、ぼかしフィルタを含む、請求項１６に記載の方法。
前記変調フィールドの振幅成分をスケーリングするステップは、前記変調フィールドの振幅成分を１に設定するステップを含む、請求項１３～１７のいずれか一項に記載の方法。
前記再構成フィールドを前記変調フィールドにマッピングする前に、前記再構成フィールドをダンプ領域でパディングするステップ、を更に含む請求項１３～１８のいずれか一項に記載の方法。
前記ダンプ領域における仮想画素値を所定の値に設定するステップ、を更に含む請求項１９に記載の方法。
第１イテレーションを除くサブフレーム内の複数のイテレーションの各々に対して反復的に、現在のイテレーションの統合された光フィールドシミュレーションを目標画像と比較することによって誤差信号を生成するステップ、を更に含む請求項１３～２０のいずれか一項に記載の方法。
前記第１イテレーションを除く複数のイテレーションの各々に対して反復的に、現在の目標強度及び前記誤差信号に基づいて、更新された目標強度を生成するステップ、を更に含む請求項２１に記載の方法。
二次変調器により、前記投影光を受け取り変調するステップ、を更に含む請求項１３～２２のいずれか一項に記載の方法。
前記位相光変調器は、アレイに配置された複数の画素と、前記位相制御信号に応答して前記複数の画素の各々の状態を変更するように構成された回路とを含む、請求項２３に記載の方法。
命令を格納している非一時的コンピュータ可読媒体であって、前記命令は、投影装置のプロセッサにより実行されると、前記投影装置に請求項１３～２４のいずれかに記載の方法を含む動作を実行させる、非一時的コンピュータ可読媒体。