JP5860843B2 - 電子投影システムおよび方法 - Google Patents

Description

関連出願のデータ
本出願は、２００５年４月２６日に提出された米国仮出願６０／６７４，９８１号の優先権を主張するものである。この米国特許仮出願の全体は本願明細書に組み込まれる。

技術分野
本発明は、概して投影ディスプレイの分野に関し、特に、２台またはそれ以上のプロジェクタを備えた電子投影システムの分野に関する。プロジェクタからの出力を組み合わせて複合映像が形成される。

背景技術
映画配給会社および映画館経営者にとっては、複合型映画館での上映と競合相手である複合型映画館での上映に差をつけ、また、自宅での体験と映画館での体験にも差をつける必要性が増している。１つのアプローチでは、観客が他のどこで体験できるよりも大型で、明瞭で、明るい映像を提供する。

長年にわたり、映画ベースのプロジェクタの性能の向上が試みられてきた。例えば、複数のプロジェクタを共に傾斜させたり（例えば、１９５０年代のシネラマ）、大型の７０ｍｍ、５パーフォレーション（送り穴）フィルム形式（例えば、トッドＡＯ（Ｔｏｄｄ ＡＯ）やシネマスコープ（Ｃｉｎｅｍａｓｃｏｐｅ））が使用されてきた。出願人であるアイマックス（ＩＭＡＸ）社は、回転ループ式フィルム移送機構により可能となった、７０ｍｍ、１５パーフォレーションのフィルム形式を用いる、より高性能の映画システム開発に成功した。

フィルムベースプロジェクタの性能に差をつける別のアプローチでは、３次元動画の描写を行う。このアプローチは、本出願人を含む様々な企業によって商業化されてきた。一般に、３次元描写では、フィルム片に記録されている画像を表示するために、片目に１本ずつの合計２本のフィルム片を、２台のプロジェクタで別々に表示する必要がある。場合によっては、こうしたシステムを標準的な２次元動画を示すように変換することが望ましく、２台のプロジェクタを使用するシステムではこうすることが確実であり、１台のプロジェクタの使用中にはもう１台がオフにされる。以降で開示する本発明には、第２プロジェクタを、遊び状態で置いておくのではなく、２次元動作にて使用することで性能を向上させるという利益がある。

映画産業に見られる最近の傾向では、映画配信のコスト節約、ライブイベントのリアルタイムな描写を含む様々な理由から、これまでの標準的なフィルムベースの投影に取って代わり、最新技術の電子プロジェクタによる投影を採用している。最新の電子プロジェクタの欠点は、解像度と光出力が制限されてしまい、大型の臨場感のある画面に必要な数値が得難いことである。これは主に、製造業界の経済状態や、単に現在、標準の３５ｍｍ型のフィルムベースの投影との競合を提案するために電子プロジェクタが強調されているだけということに起因する。電子プロジェクタの解像度および光出力に対処する１つのアプローチに、別々の複数のプロジェクタの出力をタイリングまたは組み合わせることで、表示画面の表面上に１つの大型合成映像を形成するというものがある。別々の電子プロジェクタの映像をタイリングまたはステッチングする様々な方法を説明した、以下を含む多数の特許が認可されている。

米国特許第５，９５６，０００号は、Ｎ個のプロジェクタを組み合わせて合成映像を形成する方法を開示している。この方法では、複数の副映像をオーバラップさせる。オーバラップした範囲は明度が増加するので、このオーバラップ範囲を変調し、増加した明度を補正する。さらに、この複数の副映像の不整列が修正される。

米国特許第６，１１５，０２２号は、スムージングファクタの３次元アレイを使用する。スムージングファクタの３次元アレイは、オーバラップした映像の合わせ目を融合するために、また他の合成映像アーティファクトに対して適用される。

米国特許第６，４５６，３３９号は、カメラ対画面マッピングをカメラ対プロジェクタマッピングと組み合わせることで、プロジェクタ対画面マップを生成する方法を開示している。プロジェクタ対画面マップは画素修正関数を生成するために使用される。画素修正関数は、不整列を修正するべく映像を歪める（warp）ため、また、画面上の映像がオーバラップしている領域内の輝度およびカラーアーチファクトを修正するために使用される。

米国特許第６，２２２，５９３号は、映像をタイリングして高解像度な表示を達成する複数のプロジェクタシステムについて説明している。カメラからの映像を記録し、パラメータを計算することで、各プロジェクタの出力を分析的表現を介して歪めることができるようにする。

米国特許第６，５６８，８１６号、同第６，７６０，０７５号は、複数の投影ヘッドに光を供給する１つの光源を設けた投影システムについて説明している。投影ヘッドは複数の副映像を出力し、これらの副映像がオーバラップして合成映像を形成する。単一の光源により、副映像同士の比色分析における整合の問題を排除することができる。

米国特許第６，５７０，６２３号は、投影レンズと表示画面の間に配置した融合フレームを使用して、オーバラップ領域内の映像の明度を制御する。この特許はさらに、オーバラップした映像の融合を微調整するために、カメラベースの反復アルゴリズムを用いる適応技術の使用を開示している。

米国特許第６，７７１，２７２号は、投影前に画素値を大まかに測定することで、合わせ目オーバラップ領域の明度といった表示不均一性を修正するために使用される、画素計算ユニットとサンプルバッファを備えたグラフィックシステムを開示している。

米国特許第６，７３３，１３８号は、各プロジェクタから位置合わせ映像を投影して接合されたモザイク映像を形成することにより、複数のプロジェクタからモザイク映像を形成するシステムを説明している。次に、この位置合わせ映像を使用して、投影マトリックスを生成し、これを使用して個々のソース映像を歪め、統合型の合成映像を達成する。合わせ目を最小限に目立たなくするために、各プロジェクタからの明度はオーバラップ領域内で測定される。

米国特許第６，８０４，４０６号は、表示部対画面、画面対カメラの空間変換機能、並びに、投影前の映像セグメントを事前に歪める空間輝度伝送関数を使用した合成映像表示方法を説明している。空間輝度関数の反転を使用して、タイリングした合成映像内で色を融合する。

米国特許第６，８１４，４４８号は、テスト映像と、表示画面の表面全体にかけて均一なレベルの輝度およびオーバラップ領域を提供するために使用される修整データを決定するための感知手段とを使用する合成画像表示システムを開示している。

こうしたタイリング技術は全て、光学および電子的な映像修正の様々な組み合わせを使用して、オーバラップ領域と非オーバラップ領域との見分けが付かないようにするためのものである。電子的な画像修正は、使用可能な映像ビットのいくつかを用いて明度と色の不均一性の修正を行うため、映像の表示を可能にするビット数が犠牲になる。プロジェクタ間での明度および色の不整合、画素の空間的不整列を修正するために、画面上の映像を測定して必要な修正を決定する較正技術を採用する必要がある。

タイリングを達成する従来の方法では、システム内の各プロジェクタから映像を歪める必要がある。各プロジェクタは１組の歪みを各々設けており、オーバラップ領域付近または内部でのアーティファクトの発生を防止するためにはこれを排除しなければならない。全てのひずみを除去するには、絶対画面座標上へのマッピングが必要であり、これは分析的表現を介して行われる。

２台のプロジェクタ間で明度と色を等化する工程において、各カラーチャネルからの出力を調整する必要がある。この調整は減算方式であるため、組み合わせたシステムの光出力の低下をまねく。タイリングを用いたこのような表示は、主に、照明の老朽化に伴って明度の低下または色の変化が生じるために、頻繁な再較正が必要である。

同様に、上に挙げた特許では、３次元立体動画映像を投影する固有の必要性について検討していない。殆どの３次元投影は、投影する映像データのための、別個および符号化された２本のチャネルを必要とする。これらのチャネルは片目（左目と右目）の視点ごとに１本割り当てられる。タイリングしたシステムでは、システムを改造せずに左右別々の目の映像を得る唯一の方法は、左右の目の映像を同時に多重化するものである。そのため、各フレームの表示期間が、左目映像の表示を扱う第１部分と、右目映像の表示を扱う第２部分とに半分割される。一実施形態では、このアプローチが可能である一方で、観客が高価な切替式アイシャッタ眼鏡を装用する必要がある。切替式アイシャッタ眼鏡の必要性は高速作動偏光変換要素を使用することで排除できる。この高速作動偏光変換要素は、左右各々の目について映像の偏光の切り替えを行うため、観客は受動的な偏光眼鏡を装用することができる。これについては、例えば米国特許第４，２８１，３４１号を参照できる。切替式アイシャッタ眼鏡を使用するか高速作動偏光装置を採用するかにかかわらず、左目映像と右目映像を時間多重化することにより明度が犠牲となる。同様に、これらの方法は、電子プロジェクタに、より高速なフレーム速度でコンテンツ表示を行わせることを要求し、その結果、投影された映像のビット深度が浅くなってしまう。

また、タイリングした投影システムにおいて３次元投影を行う別のアプローチもある。この場合には、映像を画面上に配置するために多少の改造が必要となる。２台のプロジェクタシステムを使用する場合、２台のプロジェクタからの出力を完全にオーバラップさせる必要がある。次に、受動的な３次元技術（偏光装置またはカラーフィルタ）を使用して、左目映像と右目映像を分離させてもよい。しかし、２次元動画スクリーニングと３次元動画スクリーニングの間の短い時間内で、映像を２次元動作のためにタイリングし、３次元動作のためにオーバラップさせる必要があるシステムの改造は複雑で極めて高額な費用がかかる。

３次元、２次元描写に使用するための２台またはそれ以上のプロジェクタの出力を組み合わせる好ましいアプローチでは、２つの映像を完全にオーバラップさせる。映像を完全に重ね合わせた場合には、２台のプロジェクタ間での明度と色の違いが、人間の目で容易に検出できる局所的な断絶部として写らなくなる。そのため、完全に重ね合わせた映像は、必要な均一化を得るためにタイリングした表示において生じる映像のビット深度と明度の損失を蒙らずに済み、また、オーバラップした領域としていない領域の差を目立たなくするために較正を行う必要がない。完全にオーバラップさせたシステムでは、異なるプロジェクタから投影された画素の不整列の原因となる空間歪みの測定を行う場合にのみ較正が必要である。映像を重ね合わせるタイプの投影システムは、システムの使用に伴い生じる映像の明度および色の変化に対して鈍感であるため、より頑丈である。

以下の特許は、映像データを電子的に歪めることで達成された、完全オーバラップ型のコンポーネントプロジェクタの様々な実施形態について説明している。米国特許第６，４５６，３３９号。この特許の一実施形態では、小画素フィルファクタを有する２台のプロジェクタの映像を完全にオーバラップさせて超解像度表示を製造する。米国特許第６，２２２，５９３号は、２次元の光レベルを増加するため、あるいは３次元用途に使用するために、装備された歪みシステムを使用して２つの映像を重ね合わせることが可能な一実施形態を説明している。

米国特許出願第２００４／０２３９８８５号は、抽出したプロジェクタ対応マップを対象表面に使用する超解像度合成方法を開示している。全ての合成映像が対象表面へ歪められ、次に、空間周波数ドメイン内で作用しているアルゴリズムが映像品質を最適化する。この最適化工程は表示されている映像に依存し、また、反復的であるためにリアルタイムでの動画投影には適当でない。

以下の特許は、映像を電子的に歪めることなく、コンポーネント映像同士を半画素分のずれを設けて重ね合わせることで、表示の解像度を向上させる方法について説明している。このずれは、直交する２つの成分のベクトル置換として定義することができる。

米国特許第５，４９０，００９号は、２台またはそれ以上のずれ空間光変調器の出力を同時に組み合わせることで、表示装置の水平および／または垂直解像度を高める方法を開示している。

米国特許第６，２２２，５９３号は、主にタイリング方法に焦点を合せているが、映像を重ね合わせることで、光レベルを増加させ、このシステムを３次元描写に使用できるようにする可能性についても述べている。

米国特許第６，２３１，１８９号は、別々のコンポーネント映像を、１個の投影レンズを介して投影する前に組み合わせる、２次元、３次元描写が可能なデュアル式の偏光光学投影システムを開示している。この結果得られる映像は投影画面上で完全にオーバラップするため、これを、表示の明度を増加せるため、一方の映像の固定されたずれを他方の映像の１画素未満のずれに課すことで表示の解像度を高めるため、コンポーネント映像の直交偏光を使用して立体映像を投影することで左目映像と右目映像を区別するために使用できる。

これ以外の特許、例えば米国特許第６，２３１，１８９号、同第５，４９０，００９号は、プロジェクタ同士を、固定された副画素のずれを設けて重ね合わせることで、より高い明度と解像度を達成する方法を開示している。湾曲した画面上への投影時に固定されたずれを達成するために、米国特許第６，２３１，１８９号で開示されているように、映像を１個の投影レンズを介して組み合わせる必要がある。しかし、これにより既製のプロジェクタを使用できなくなる。さらに、画素同士を固定の画素ずれを持たせて機械的に位置合わせすることと、繰り返しの使用にわたってこのずれを維持することが非常に困難になる。特に、大型画面の照明となる場合、システム内を移動する光の量によって熱循環が生じ、これにより画素位置決めがさらに困難になる。

複数のプロジェクタを組み合わせることで明度を増強し、解像度を高める場合に必要である、固定の副画素の位置合わせを維持する際の困難を克服するために、例えば米国特許出願第２００４／０２３９８８５号、米国特許第６，４５６，３３９号、同第６，８１４，４４８号、同第６，５７０，６２３号のような特定の特許または特許出願公開が、映像歪め方法を開示している。こうした歪め方法では、較正方法を使用して異なるプロジェクタ間の空間的不整列を測定する。また、このような較正方法では、映像データを歪めて幾何学的歪みを修正するために、プロジェクタ間の対応マップと、画面座標システムとを計算する。この歪みは、プロジェクタ間の光学または投影点の差から生じる。開示した較正方法は、絶対画面位置を計算できることを前提として機能する。絶対画面位置は、画面に対する直角入射から大きく逸脱した投影点によって生じた歪みを修正するために、あるいは目的の用途が歪みに敏感である場合に必要となる。カメラで撮影した映像を絶対画面位置に変換するために、カメラの歪みと、カメラと画面の関係とを知り得る必要がある。これらのシステムでは、両方の画像を絶対画面座標に歪める。複数のカメラを使用する場合には、映像を正確に歪めて画素の位置合わせを達成するために、画面に対するカメラの較正は非常に精密でなければならない。従来技術において開示されているとおり、このためには、画面表面にかけて対象物を物理的にテストする必要がある。大型映画投影システムでは、この較正方法は実用的でない。

上述の特許は、動画映画投影システムが、競合する表示技術に対抗して成功するように実現されなければならない必要性を検討していない。特に、映像を重ね合わせるために絶対画面座標を決定する必要があるシステムは、不必要に複雑であり、映画館環境で実現するには非実用的である。こうしたシステムでは、映画館環境ではプロジェクタからの映像の歪みは比較的低く、本質的に変更なく画面上に投影されるという事実を利用していない。これは、投影システムの光軸が、典型的な映画館環境における画面に対してほぼ直角入射する事実から生じる。さらに、臨場感ある映画を体験するには、一度に全体を見ることが不可能な大視野が必要である。この状況で、歪みは観客の凝視するほど徐々に生じるが、認識できるほど大きなものではない。

映画プロジェクタが２次元描写と３次元描写の両方を示す必要がある場合や、２次元形式と３次元形式が混合した描写の場合には、既存の技術では容易に満たすことができない要求がある。いくつかのケースでは、慣習的な投影システムを設計する必要がある。別のケースでは、高価なシャッタ眼鏡の使用に頼らなければ、時間多重化を使用して左目映像と右目映像を区別する３次元方法の光の損失を招くことになる。

既存の技術は、２次元描写と３次元描写の異なる必要性と、臨場感を体験するのに必要な表示特性とを利用していない。２次元投影の場合の至適明度と、３次元投影の場合の至適明度は異なる。３次元投影では、明度と、左目と右目が感知するクロストークとの間にはトレードオフが存在する。クロストークは、右目映像が左目へ漏れた場合、また、左目映像が右目へ漏れた場合に生じる。このゴースティングアーティファクトは、画面の明度を増加させると一層明らかとなる。そのため、３次元投影に最適な明度は２次元投影に必要な明度よりも一般的に低くなってしまう。

有効なシステムは、２つの描写モードの増強に加えて、これらモードでの高品質の描写と、コスト効果が高いことと、設置と較正が容易であることと、１つのモードから別のモードへ迅速に変換できることと、維持が容易であることを提供できる必要がある。

上述した要求を満たすためには、コンポーネントプロジェクタの物理的な配列、較正、マッピングを固有かつ至適な組み合わせが必要である。この要素の組み合わせは本特許の課題であり、以降でより詳細に説明される。

発明の概要
本発明の実施形態は、映像を基準（マスタ）プロジェクタに対応して副画素の精度にまで歪め（warp）、複数のプロジェクタからの出力を組み合わせることにより、映像忠実度の向上が可能な電子投影システムを提供する。本発明の実施形態は、複数のプロジェクタがマスタ・スレーブ関係にて構成されている方法およびシステムを含む。スレーブプロジェクタ（１台または複数）の映像をマスタプロジェクタに対応して副画素の精度にまで歪めることで、より高い光量と向上した映像忠実度とが得られる。さらに、これら同一のプロジェクタを使用して、立体（３次元）動画または増強された２次元動作のいずれかを表示することで区別が得られる。

本発明の一実施形態では、スレーブプロジェクタの映像をマスタプロジェクタにホモグラフィックにマッピングする。これは、やはり画面にホモグラフィックにマッピングされたカメラの手段により、全てのプロジェクタを絶対画面座標にホモグラフィックにマッピングする従来の投影システムとは明らかに異なる。これらの従来型システムと異なり、本発明の一実施形態は、マスタプロジェクタの全ての歪みを排除しようと試みるのではなく、全てのスレーブプロジェクタをマスタプロジェクタの映像と対応するようにマッピングする。本発明で開示する相対歪めによって、映像を副画素の精度にまで重ね合わせるために必要なシステムを大幅に単純化させる。

本発明の一実施形態では、経験的なデータを使用して、この副画素の精度までの重ね合わせを達成している。従来の投影システムは総体的に、システム内の全ての収差を、絶対画面座標へマッピングすることにより除去することに焦点を合せている。このマッピングを達成するには、こういったシステムが分析的表現を使用して、投影された全ての映像内の歪みを修正および除去する。これに対し、本発明の一実施形態では、経験的に抽出された画素対応マップを使用して、歪め手段として機能させている。この方法の利点は、より高次のひずみが生じ、分析的モデリングが困難な領域においても、副画素の精度までの重ね合わせを達成できることである。このような歪みの一例に、水平方向に湾曲したフレームに搭載されたビニル製画面の変形がある。全てのしわを除去するためには、ビニルをフレームにかけて伸張させる必要がある。この伸張によって画面が円柱形状から逸脱してしまう。さらに、時間が経過するにつれ画面が緩和することによっても形状が変化する。重ね合わせを達成するために経験的な方法を用いることで、副画素の位置合わせを達成する能力を、より高次の歪みをモデリングする能力から独立する。

簡潔には、本発明の１つの態様によれば、２台の電子プロジェクタを最適に使用して、３次元立体モードと２次元投影動作モードの両方を提供する投影システムおよび方法を説明している。これら動作モード間の切り替えは、描写と描写の間および描写中に行うことができる。２台のプロジェクタは、映像フィールドがほぼまたは完全にオーバラップするように物理的に設定する。画面上に投影されたテストパターンをカメラで測定する。このカメラの映像を使用して、１台のプロジェクタの投影された画素位置を、別のプロジェクタの投影された画素位置に対応して副画素の精度でマッピングする画素対応マップを計算する。

２次元動作モードの第１実施形態では、１台のプロジェクタがマスタとして選択され、歪みのないソース映像を投影する。これは、動画描写を投影する上で重要な計算結果を保存しておくために有利である。同様に、マスタ映像の歪みを必要としないシステム内の映像品質の利点もある。歪めには補間が必要であり、また、映像内にアーティファクトを導入する可能性もあり、これにより、歪んでいない映像よりも映像忠実度が低下してしまう。第２プロジェクタ（スレーブ）は、画素対応マップを使用してソース映像を選択的にサンプリングすることで、マスタプロジェクタからの映像と対応するように歪められた映像を投影する。この結果得られた合成映像は、映像アーティファクトが低減されたことで、明度が２倍になり、映像忠実度の向上を呈した。これについて以降で説明する。

２次元動作モードの第２実施形態では、投影照明のパワーを低減して、このランプの寿命を延ばす一方で、映像の明度を単一のプロジェクタからの映像の明度と同等またはこれよりも高く維持することができる。

２次元動作モードの第３実施形態では、映像の総オーバラップは、一方では速度が遅すぎると考えられる投影技術を使用してより高いフレーム速度を提供する手段である。

２次元動作モードの第４実施形態では、マスタプロジェクタはプレディストーションされた映像を投影することで、画面上に得られる映像が一次歪みをなくしている。一次影響の例には、キーストーン歪み、バレルレンズまたはピンクッションレンズの歪みが挙げられる。他の２次元実施形態に関しては、マスタプロジェクタ映像と対応するように、スレーブプロジェクタ（１台または複数）を副画素の解像度にまで歪んでいる。

３次元動作モードでは、２番目の目の立体の対を歪めて１番目の目と合うようにすることで、高精度光学系により左右の目の映像サイズを対応させる必要性を排除している。映像サイズを対応させない場合、歪みが生じて立体効果が低下し、目の疲労を招きかねない。

３次元立体動作モードの第２実施形態では、各立体プロジェクタが、３本の別々のカラーチャネルを組み合わせて１本の統合光ビームを形成する。このうち２本は１つの偏光方位を有し、３本目はこれらと直交する偏光方位を有する。これは、カラーチャネルを偏光感応性のｘ‐Ｃｕｂｅを介して組み合わせる液晶ベースの変調器システムに一般的な出力偏光構成である。適切な光学系手段を用いて、２台のプロジェクタ内の全てのチャネルの偏光状態が相互に直交するようにする。こうすることで、第２プロジェクタ内の１本のカラーチャネルが、第１プロジェクタ内の２本の補助カラーチャネルと同一の偏光を有するようになる。２台のプロジェクタからのこれ以外の３本のカラーチャネルは、最初の３本と直交する同一の偏光状態を有する。同一の偏光を有するカラーチャネルを組み合わせて、立体映像を片目に１つずつ形成する。各々の眼の映像は、１台目のプロジェクタからの２本のカラーチャネルと、２台目のプロジェクタからの３本目のカラーチャネルとによる合成映像であるため、画素対応マップを使用してコンポーネントのうちの１つを歪めて、カラーチャネルが全体的に正確に位置合わせされるようにする必要がある。この色依存的な歪め技術によって、光損失と色の変化を招く恐れのある偏光装置または偏光変換要素を追加する必要がなくなる。

本発明の一実施形態による投影システムの全体的なコンポーネントを示す略図である。 本発明の一実施形態による２次元モード動作での映像データの動作の流れを示す略図である。 本発明の一実施形態による３次元動作モードでの映像データの動作の流れを示す略図である。 本発明の一実施形態により、高解像度ソースを使用して２次元映像を投影する場合の映像データの動作の流れを示す略図である。 本発明の一実施形態により、高解像度ソースを使用して３次元映像を投影する場合の動作の流れを示す略図である。 本発明の一実施形態により、カラーチャネルが各々異なる偏光を有する別の３次元モードでの映像データの動作の流れを示す略図である。 本発明の一実施形態により、カラーチャネルの各々が異なる偏光を有し、スレーブプロジェクタの全ての色が歪められる別の３次元モードでの映像データの動作の流れを示す略図である。 本発明の一実施形態により、一方の映像を他方の映像と整列させるべく歪めるために画素対応マップを生成する際に実行されるステップを示すフローチャートである。 本発明の一実施形態により較正に使用されるテストパターンの一例である。 本発明の一実施形態による、一方の投影された映像と他方の投影された映像との間の相対的および変化するずれを示す略図である。 本発明の一実施形態による、画素ずれマップを使用して一方の映像を他方の映像に対応して歪めるために使用する、１つの実行可能なサンプリング関数の例示的な形状を示す。 本発明の一実施形態による、画面位置の関数としての例示的な微細な画素ずれマップを示す。 本発明の一実施形態による、周波数の異なる正弦入力信号のための、単一プロジェクタと重ね合わせたプロジェクタの多少ずれた出力を示す例示的なプロットを示している。 本発明の一実施形態による、１００％フィルファクタを設けた、単一プロジェクタと重ね合わせたプロジェクタのＭＴＦの例示的な比較を示す。 本発明の一実施形態による、異なるずれで重ね合わせた映像の空間周波数の関数としての例示的なアーティファクトを示す。 本発明の一実施形態による、全ての画素ずれにかけて平均化された、重ね合わせたプロジェクタからのアーティファクトと、単一プロジェクタからの例示的なアーティファクトとの比較を示す。 本発明の一実施形態による、高速フレーム速度モードを使用した場合の、映像データの例示的な動作の流れを示す。 本発明の一実施形態による、高速フレーム速度モードのための例示的なタイミング線図を示す。 本発明の一実施形態による、明度が増加した場合の、高速フレーム速度モードのための例示的なタイミング線図を示す。 本発明の一実施形態による、動作アーティファクトを低減するためのシャッタを設けた動作における、高速フレーム速度モードのための例示的なタイミング線図を示す。 本発明の一実施形態による、アーティファクトを低減するために２個のシャッタを設けた動作のための例示的なタイミング線図を示す。

本発明のこれらおよびその他の特徴、態様、利点は、添付の図面を参照しながら以下の詳細な説明を読解することでより理解できる。

詳細な説明
図１を参照すると、別々の２台の電子動画プロジェクタ（３、４）で構成された変換型投影システム（１）を示す。投影システムのこれ以外の実施形態は、２台よりも多い電子動画プロジェクタを設けていてよい。プロジェクタは特定の電子技術に限定されるものではなく、事実、ＤＭＤ（可変鏡装置）技術、ＬＣ（液晶）反射またはＬＣ透過技術、あるいは、これ以外の既存もしくは先進の電子投影技術に基づくものであってよい。図１では、２台のプロジェクタ（３、４）は好ましい実施形態である上下に重ねた状態で示されているが、しかし、相互にこれ以外の位置に配置することも可能である。２台のプロジェクタはどのような物理位置に配置された場合でも、映像を実質的に重なり合う、またはオーバラップするように投影画面（２）上に投影する。

他の実施形態では、２台よりも多いプロジェクタを使用できる。例えば、２台よりも多いプロジェクタを重ね合わせて１つの範囲に投影させる。あるいは、別の実施形態は、タイリングと重ね合わせの両方を含んでおり、少なくとも２台のプロジェクタで画面上の任意の点を照射する。

ワーピングユニット（図２、図２１）内でワーピングアルゴリズムによって使用される画素対応マップ（図２、図２１）を計算するべく、両方のプロジェクタ（３、４）が画面（２）上に投影したテスト映像を記憶できるように、アラインメントカメラ（５）を位置決めする。２つのプロジェクタ（３、４）が物理的に位置決めされ、対応マップ（図２、図２１）が計算されたら、プロジェクタに送信する電子データを変更するだけで、投影システム（１）を２次元投影モードから３次元投影モードに迅速かつ容易に切り替えることができる。上述したように、システムの老朽化に伴って色および明度に変化が生じても、２次元描写の映像品質には何らの一次効果も及ばない。３次元描写では、プロジェクタの明度を整合させて高品質の描写を確保する必要がある。

図１に示すような実施形態は、１台のカメラを使用して較正を行う。しかし、他の実施形態では、これと同じ機能を複数のカメラを使用して実行することができる。

この好ましい実施形態の再較正は、画面（２）に対するプロジェクタ（３、４）の相対位置が変化した場合にのみ必要である。この相対位置の変化は、プロジェクタが物理的に移動した、あるいは画面位置が変化したことによって起こる可能性がある。映像上での映像位置の変化は、光路または変調器の位置を変更することで生じる。描写の臨場感は、画面を観客に向けて湾曲または傾斜させることで拡大する。通常、画面はビニル製であり、画面の外周部に位置したフレーム上に伸張されている。時間の経過と共にビニルが伸張して垂れ下がると、画面の位置が変化する。

図２、図３は、各プロジェクタが２次元および３次元立体動作モードにて投影を行うための、記憶装置からの映像データの流れを概略的に示している。図２に示す２次元モードでは、シングルソース映像バッファ（１０）は、画面上に投影されて劇場内の観客が観る１つの映像のソース映像データを含んでいる。ソース映像データバッファ（１０）は、一般的には２４フレーム／秒の適切な表示速度で、図示にはない外部画像記憶ユニットからの新たな映像により連続的にリフレッシュされる。ソース映像データバッファ（１０）からの映像データは、マスタプロジェクタ映像データバッファ（１１）と、映像ワーピングユニット（２０）とに同時かつ平行して転送される。ワーピングユニット（２０）は、ソース映像データを、較正工程で生成された（以降の説明および図８で示しているように）画素対応マップ（２１）に従って歪める。ワーピングユニット（２０）でワーピングしたソース映像は、スレーブプロジェクタ画像バッファ（１２）へ転送される。次に、バッファ（１１、１２）内の映像データがプロジェクタ（３、４）へ同時に転送され、画面上に投影される。映像はほぼまたは完全にオーバラップする。スレーブプロジェクタ映像は、マスタプロジェクタ画像と対応するように副画素の精度にて歪められる。画面上の複合映像には目立った欠点はなく、１台のみのプロジェクタを使用した場合と比較して画像品質が向上する。特に、重ね合わせた映像の映像アーティファクトを低減することにより、複合映像が優れた明度を呈し、映像忠実度が向上する。画面上で増加した明度が、所望の描写品質の達成に必要な値を超えた場合には、投影ランプのパワーを低減してその寿命を延ばし、運転費用を低減することができる。

図３は、３次元立体動作モードでの映像データの流れを示す。このモードでは、各プロジェクタが一意な映像データソース、左目映像に対応した１組の映像、右目に対応した別の１組の映像を設けている。ソース映像バッファ（１３）が左目映像データをマスタプロジェクタ映像バッファ（１１）へ転送する。左目映像データがこのマスタプロジェクタ映像バッファ（１１）に一時的に記憶され、マスタプロジェクタ（３）への転送を保留される。別個のソース映像バッファ（１４）が右目映像データを、ワーピングユニット（２０）を介して第２映像バッファ（１２）へ転送する。右目映像データは、これとバッファ（１１）内のマスタ映像とがプロジェクタ４、３へ各々転送されるまで第２映像バッファ（１２）に一時的に記憶された後、画面上に投影されて１つの３次元映像を形成する。１つの映像上で歪めることが完了し、高精度の光学系によって左目映像サイズと右目映像サイズを対応させる必要がなくなる。プロジェクタ３、４からの出力を、観客の左目には左目映像のみが、右目には右目映像のみが見えるように符号化する（図示せず）。一般的な符号化技術には偏光、時間多重化、色が含まれるが、これに限定されることはない。

図４は本発明の２次元モードの第２実施形態を示しており、ここではソース映像データが、２個のプロジェクタのうちのいずれが投影できるものよりも高い解像度（１７）で提供される。このデータを、マスタプロジェクタ（３）で使用できるように、プロジェクタの所望の表示解像度に適合するべくサイズ変更する。次に、画素対応マップ（２１）を、高解像度のソースに適合するようにスケール変更（１８）する。ワーピングエンジン（２０）がこの高解像度の画素対応マップを使用して、ソース映像データをスレーブプロジェクタ用にサンプリングする。ワーピングエンジン（２０）の出力を、プロジェクタが投影できる解像度に適合する。投影された映像データを高解像度のソースデータからサイズ変更したことで映像品質が向上するため、画面上に投影される複合画像の忠実度が高くなる。図５は、この実施形態の３次元モードを示す。

図６は、本発明によるシステムの３次元動作モードの第２実施形態を示しており、この実施形態は、直交偏光により３個の別々のカラーチャネル（通常、赤、緑、青）を１本の複合ビームに組み合わせて投影するために、電子プロジェクタと共に使用される。このタイプのプロジェクタでは、出力された光は、他の２本と直交するように偏光された１本のカラーチャネルを設けている。第１実施形態の３次元モードをこのタイプのプロジェクタに用いた場合には、次の方法で映像をスクランブル処理することができる。観客の左目に右目映像からの１色が見え、一方、左目に右目映像からの１色が見えるようにする。このスクランブル処理によって立体効果が破壊される。

この第２実施形態では、プロジェクタ４の光路内、このケースではプロジェクタと画面との間に偏光変換器（２２）を位置決めする。この変換器（２２）は、プロジェクタ（４）の全てのコンポーネントカラーチャネルの偏光を、プロジェクタ（３）からの各コンポーネントカラーに対する直交偏光状態に変更する。当業者は、変換器（２２）が１/２波板であることを認識するであろう。あるいは、高速軸を各プロジェクタの前または内部に配置することで適切に方位付けした１/４波板でも同じ結果が得られる。さらに、プロジェクタ自体を、偏光直交する光を放出するように設計してもよい。

例えば、一般原理を損うことなく、緑のチャネルが赤と青のチャネルに対して直交偏光されていると仮定する。図６では、左右両目の映像データソースバッファ（１３、１４）の緑のカラーチャネルがワーピングユニット２０へ転送される。ソースバッファ（１３）から赤および青の映像データが、左目映像データとしてプロジェクタバッファ（１１）へ、また、右目映像データとしてバッファ（１４）とバッファ（１２）の間へ直接転送される。画素対応マップ（２１）を使用して右目緑映像データを歪めると、プロジェクタ（３）で投影されたこの右目緑映像データが、プロジェクタ（４）で投影された赤のチャネルおよび青のチャネルの各々と空間的に整列する。次に、画素対応マップ（２１）を使用して左目緑映像データを歪めると、プロジェクタ（４）投影されたこの左目緑映像が、プロジェクタ（３）で投影された赤のチャネルおよび青のチャネルと空間的に整列する。ワーピング後、緑のチャネルの映像データがプロジェクタ映像バッファ（１１、１２）へ転送され、次に、プロジェクタ（３、４）へ同時に転送される前に、反対側の目の映像データの赤のチャネルおよび緑のチャネルと組み合わせられる。画面（２）上で映像を組み合わせると、全ての右目映像カラーチャネルの偏光が同一となり、全ての左目映像カラーチャネルの偏光が右目映像に対して直交する。

本発明のこの第２実施形態の顕著な利益は、マスタプロジェクタ（３）からの光を１つの偏光状態に変換し、スレーブプロジェクタ（４）からの光をプロジェクタ（３）と直交する１つの偏光状態に変換する必要性が排除されることである。この偏光の変換は偏光装置またはフィルタを追加することで達成される。偏光装置は、出力された光の偏光状態に対して偏光軸が４５°の角度を成している必要があるため、明度を最低約５０％低減させる悪影響を有する。フィルタを追加して、１本のカラーチャネルの偏光を回転させる一方で、他のチャネルには比較的この影響が及ばないようにしてもよい。このケースでは、望まない光を偏光装置によって排除して、左目映像と右目映像の間のクロストークを低減させる必要がある場合がある。このクリーンアップ偏光装置を間に追加することで、明度が約１５％減少し、また、ホワイトポイントの精密度を確保し、画面全体の色の均一性を維持するために明度がさらに減少してしまうという悪影響がある。２次元動作モードでは、この第２実施形態は図２に示した第１実施形態と類似の方法で動作する。観客は偏光感知眼鏡を装用しないので、特別な配列によりカラーチャネルの異なる偏光を生じさせる必要がない。

図６に示す実施形態は、全ての画像情報をスレーブプロジェクタへ歪めないため、マスタプロジェクタレンズに対するスレーブプロジェクタレンズ内の収差を修正することができない。図７は、本発明の第２実施形態の別バージョンを示す。このケースにおける違いは、マスタプロジェクタからの１本のチャネルに加えて、スレーブプロジェクタからの全てのカラーチャネルも歪められることで、投影に高精密度の光学系を使用する必要がなくなる点である。一方の目の映像の全色を、他方の目に対応して歪めることができる能力により、画面上の２つの映像の間にずれが導入され、３次元描写の性能が向上する。当業者は、本発明の範囲内に網羅されるこの第２実施形態の他のバージョンを理解するであろう。

本発明の様々な実施形態では類似した構成要素を使用する。単純にソース映像を変更することで、３次元実施形態と２次元実施形態の切り替えが可能である。３次元モードから２次元モードに切り替えるためには、両方のソースバッファにてソース映像を複製するか、あるいは図２に示すように、一方のソースバッファをオフにして、１つの画像を全てのプロジェクタに送信する。３次元モードに切り替える場合は、逆の工程を行うことになる。

本発明の実施形態でも、図２〜図７に示すように、一次歪みを低減または排除するために映像をプレディストーションするマスタプロジェクタを含んでいる点に留意することが重要である。このプレディストーションは、ソースコンテンツを事前処理によって達成するか、あるいは、マスタプロジェクタの電子データ経路内で発生するリアルタイム修正であってよい。一実施形態では、マスタプロジェクタの映像の一次修正を、歪みの分析記載によって達成している。次に、先述した方法と同一の方法でスレーブプロジェクタ映像を歪めさせ、マスタプロジェクタ映像による副画素の位置合わせを達成する。

ここで開示している実施形態のいずれかにおいては、システムのウォームアップ時に、スレーブプロジェクタとマスタプロジェクタの間の精密な画素の位置合わせを達成するために、歪み量を幾分変更させる必要がある。光がシステム内の光学要素を伝播する際の光の吸収によって、スレーブプロジェクタおよびマスタプロジェクタの相対的な画素配置が若干変化する。これらの変化は測定可能であり、繰り返し可能であることがわかっている。

画面上への光の描写全般にわたって精密な位置合わせを確保するべく投影システムを実行する際に、画素対応マップを先行の測定結果に基づいて更新することにより、光を画面上に描写する前に、システムが熱平衡に達するまで待つ必要を排除することができる。

熱効果が完全に予測できない場合には、画素整列をダイナミックに変更させることで、システムによる２次元描写と３次元描写の表示中に、画素対応マップの更新によって補正可能な誤差を生じさせることができる。マップの更新は、観客が容易に検出できない方法で描写映像に挿入するように適合されたテストパターンを測定して行う。この方法には、較正ポイントを画面の縁付近に配置する方法や、複数のポイントをコンテンツ内に融合する方法が含まれる。較正情報をコンテンツ内に組み込む 手段は様々あるが、その多くにおいて、較正信号の抽出に複数のフレームの処理を要する。この較正上方は、描写前の較正において使用されるドットの全アレイに限定されるものではなく、描写の進行と共に画面全体にかけて生じる画素位置の若干の変化を修正できるようにするためのサブセットであってもよい。

ここで開示した実施形態のいくつかでは、図１に示した較正カメラ（５）を使用して、投影された映像の、色と輝度を含む別の態様を較正することができる。カメラを適切なテストパターンにて使用し、画面上に投影した映像の色における絶対色と空間変化を測定することができる。ワーピングユニットはさらなるアルゴリズムを設けていてよく、このアルゴリズムは、測定したカラーマップを、任意または全てのスレーブおよびマスタプロジェクタの平均色を修正するため、任意または全てのスレーブおよびマスタプロジェクタを空間変化させるため、スレーブプロジェクタの色をマスタプロジェクタの色に適合させるために使用される。同様に、このカメラを、画面上の画像の絶対輝度、輝度の空間変化、プロジェクタ同士の輝度の差を測定するためにも使用できる。ワーピングユニットがこの測定された輝度マップを使用することで、映像データを電子的に調整して、任意または全てのスレーブおよびマスタプロジェクタにおける投影された映像の平均輝度を変更させたり、任意または全てのスレーブおよびマスタプロジェクタの輝度分布を調整したり、マスタおよびスレーブプロジェクタの輝度と対応させることができる。

図８は、本発明の様々な実施形態において、ワーピングエンジン（２０）が映像のワーピングを行うために、画素対応マップ（２１）を較正するべく実行されるステップを示すフローチャートである。この手順は、スレーブプロジェクタ（４）からの映像における画素の、マスタプロジェクタ（３）からの対応画素に対する位置を測定する。対応画素は、プロジェクタ映像バッファ（１１、１２）内で同一の指数座標を有する。ステップ３０にはドット（６０）の格子のテストパターンの生成（図９）が関与しており、直径内の数個ずつの画素はガウス輝度分布を呈する。較正を、白色ドットを含んだテストパターンを用いて１回実行するか、あるいは、プロジェクタの各カラーチャネル毎にこれを実行することができる。このケースでは、各カラーチャネルに１組ずつ、合計３組のテストパターンを生成する。各色毎に較正を繰り返すことで、本発明は、大型画面を照明する高い流束レベルの下でシステムが加熱する際に生じる、あるいは、時間の経過と共に繰り返し使用されることでシステムが熱循環する際に生じる可能性のある、カラーチャネル間での集束の欠如を克服する。プロジェクタ間での集束（投影された映像におけるカラーチャネルの整列）の差によって、各色が同じ色であると仮定した場合に画素対応マップに誤差が生じる。各色について較正を繰り返すことでこれらの誤差を排除できる。

ステップ３２では、プロジェクタからの周辺光のみを測定できるようにするために、両方のプロジェクタがオフ状態にある状態で、アラインメントカメラ（５）が画面２の映像を撮影する。ステップ３４、３６では、プロジェクタ（３）、プロジェクタ（４）が各々テストパターン（図９）を表示している画面（２）の映像を撮影する。ステップ３８では、周辺光の影響を排除するために、ステップ３４、ステップ３６で記録した映像から周辺光の映像をなくしている。ステップ４０では、各プロジェクタが投影したテストパターン内の各ドットの図心座標が、カメラ映像内で計算される。テストパターンドット（６０）は、カメラ映像内の複数の画素をカバーする。その結果、様々な方法を用いてドット図心座標を副画素の精度で計算できるようになる。単純な方法では、画素の輝度によって計量されたドットの映像内における各画素の座標の合計を計算する。当業者は、これ以外にも、副画素の精度で図心を計算する方法、例えばドットテストパターンの生成で使用した関数にカメラ画素輝度値（このケースではガウス）を適合させる方法があることを認識するであろう。また当業者は、さらにこれ以外のドットパターンを使用して副画素の精度を達成できることも認識するであろう。

ステップ４２では、１つのプロジェクタカメラ映像からのドットの図心が、別のプロジェクタのカメラ映像からのドットの図心と一致する。ステップ４４では、カメラ画素におけるこれらの図心間のずれを、スレーブプロジェクタのドット図心からマスタプロジェクタのドット図心の座標を取り去ることで計算する。カメラ画素スケールとプロジェクタ画素スケールの間の変換は、測定したドット間におけるカメラ画素数を、テストパターン上のドット間におけるプロジェクタ画素数と比較することで計算可能である。ステップ４６では、このスケールを用いて、ずれをプロジェクタ画素に変換する。ステップ４８において、テストパターンドットの各対について生成されたずれ同士の間を補間することで各プロジェクタ画素についてずれを計算することで、画素対応マップ２０が完了する。必要に応じて、各カラーチャネルについてステップ３４〜ステップ４８を繰り返す。

３次元描写で使用される画面は顕著な利得を有する。これは即ち、画面がランベルトでないことを意味する。高い利得によってこの画面全体にかけて生じる明度の変化により、輝度感知のダイナミックレンジが制限されたアラインメントカメラ（図１、図５）に大きな問題が生じる可能性がある。同様に、各ドットの図心の場所がスクリーンゲインによって影響を受け、これにより、スクリーンゲインの増加方向にある画素対応マップに若干の誤差が生じる可能性もある。これら両方の問題を克服するために、テストパターンの照明を調整することでスクリーンゲインにおける変化を補正し、カメラが見る画面の輝度を均一にする。これにより、カメラによって撮影される映像のダイナミックレンジが縮小するので、単一露光のカメラで画面全体を映像化することが可能になる。さらに、画面輝度の変化によって生じた画素対応マップにおけるシステム上の誤差が除去される。あるいは、画面にかけて利得がどの様に変化するかを知ることで、画素図心の計算における利得の変化を明らかにすることにより、この誤差を固定することもできる。

次に図１０を参照すると、マスタプロジェクタが投影した画素のアレイを格子５０で概略的に示している。また、第２スレーブプロジェクタが投影したオーバラップする第２画素のアレイを格子５１で示している。第２画素のアレイは、画素アレイ５０から水平および垂直方向にずれた状態で示されている。この可変性は、別々の２個のプロジェクタから投影されたオーバラッピング画像では典型的なものである。アレイの水平縁および垂直縁に英数字指数値を示すことで、本発明に従った画素のアレイ（５１）のワーピングの説明を補足している。スレーブプロジェクタから投影された画素には、素記号（’）を付して識別している。

映像ワーピングの工程を例示するために、次に、オーバラップしているスレーブプロジェクタ映像（５１）の１つの画素Ｄ４’の映像データ値について説明する。画素Ｄ４’は、マスタプロジェクタ画素Ｄ４に対して、水平またはｘ方向へ約−０．１画素、垂直方向またはｙ方向へ約−０．１画素の幅だけずらして示されている。実際、これらの相対的なずれの値は、先述した較正工程によって導き出され、画素対応マップ（２０）に記憶される。このずれ値と以降で説明するサンプリング関数とが、映像のワーピングや変換を行うべく共に機能することで、この映像が、マスタプロジェクタから投影された映像とより精密に対応するようになる。換言すれば、各画素についてのスレーブプロジェクタの映像データが、２つの映像のオーバラップ部分における物理的な不一致点を補正するべく電子的にシフトされる。

図１１にサンプリング関数を示す。好ましい実施形態では、ワーピング関数はランチョスウィンドウ関数であるが、これ以外のタイプのサンプリング関数を有効に使用してもよい。例示的な目的で、図１１に示したサンプリング関数４９を一次元としてワーピングする。

サンプリング関数上の点Ｄ２、Ｄ３、Ｄ４、Ｄ５は、ワーピングユニット（２０）により算出した、ソース映像データ（１０）内の各画素の、ワーピングされた画素Ｄ４’への相対寄与度を意味している。図１１中の座標システムは、Ｄ４’を起点とした、スレーブプロジェクタの画素位置を示している。また、図１１中のＤ４の位置は、図１０に示したとおりの水平方向への−０．１画素のずれを示していることに留意すること。Ｄ４’の最終的な映像データを計算するには、垂直またはｙ方向におけるサンプリング関数（４９）の別のパスが必要である。

プロジェクタ間でのずれは、多数の異なるタイプの歪み（光学系の変化、投影点の違い）から生じるため、画素間の相対的なずれは画面全体にかけて様々に異なる。図１２は、相互に大まかに整列している２個のプロジェクタからフラット画面上に投影した画素間における、画素の水平方向への微細なずれを示している。この微細なずれの範囲は、白色範囲内に示した１/２画素から黒色範囲内に示した０画素までである。この映像は、算出したプロジェクタ間のずれをとり、整数画素のずれを減算して作成された。この例から、映像の増強は画面にかけて一定でないことが明白である。２個のプロジェクタをより注意深く整列させ、投影レンズ同士の整合をより精密に行えば、画面にかけての変化を減少させることができる。しかし、画面が平坦でなく湾曲している場合には、たとえプロジェクタを完全に整列し、投影レンズを完全に整合させたとしても、２台のプロジェクタの明確な投影点のために画面全体のずれを均一にすることは不可能である。

次に、相互にずれている２つの投影映像を重ね合わせた場合の、映像忠実度の増加についてより詳細に説明する。図１３は、投影システムで投影し、サンプリングされた画素によって正弦信号映像が表示される様子を一次元的に示している。各サブプロットにおいて、水平軸は画素位置を示し、垂直軸は相対画素輝度を示す。サブプロットの最上列、中間列、最下列は、各々１０画素、２画素、１．４３画素の波長における正弦入力信号へのサンプリングされた反応を示している。サブプロットの左側、中央、右側の列は、１台のプロジェクタの出力と、第１プロジェクタから１/２画素ずれた第２プロジェクタと、２台のプロジェクタからの重なり合った出力とを示している。後者のケースでは、結果を２で割り、同一スケール上に維持している。説明の目的で、プロット中に破線で示した正弦信号の振幅は均一であるとする。各画素における信号振幅は、正弦波信号の度数を各プロット内の実線円（８０）で示したとおりに画素の中心で取ることにより得られる。実線は、投影システムの輝度出力を示す。これらの実線は、各画素のフィルファクタが１００％である、即ち画素間に間隙がないと仮定されていることを示している。

図１３の最上列は、サンプリング周波数のナイキスト制限未満の信号周波数の場合、正弦入力信号は各プロジェクタからの多少ずれた出力によって上手く記載されることを示している。最も右側に示す重なり合った投影システムは、入力された正弦信号を、２つの各々のプロジェクタのいずれよりも正確に追っているように見える。

中間列は、ナイキスト制限時の結果を示す。ここでは、プロジェクタ出力は、サンプリングされた画素に対する正弦信号の位相に大いに依存している。左側のプロットは、画素を正弦信号と完全に対応してサンプリングされた際の最大振幅出力を示し、一方、中間のプロットは、画素を正弦信号から９０°の角度でずらしてサンプリングした際に、出力に変化がなかったことを示している。ここでも、右側のプロットは、２台のプロジェクタを重ね合わせた場合の反応を示している。

最下列は、正弦信号の周波数がナイキスト制限を越えた場合の結果を示す。ここでは、左側と中央のプロットで示している、単一のプロジェクタシステムにおける十分なサンプリングの欠如が、オリジナル正弦信号の低品質な表示を生じさせることが明白である。しかし、右側のプロットに示すようにこれらのプロジェクタの出力を重ね合わせることで、サンプリング量が増加し、より低振幅においてもはるかに優れたオリジナル正弦信号の表示作業を実行できる出力が生産される。

図１４は、単一プロジェクタ（９０）の変調伝達関数（ＭＴＦ）と、１/２画素のずれ（９１）を設けて重ね合わせた２台のプロジェクタから成る投影システムを比較している。同図のグラフは、繰り返し画素の単位で表された０〜０．９の空間周波数で変化する正弦変調に対するシステムの反応を示す。これに続き、同図中の０．５の周波数によってナイキスト制限（９２）が提供される。入力正弦と同じ周波数において、図１３で例示した多少ずれた出力信号と最良に適合する正弦を決定することにより、ＭＴＦ曲線を計算する。プロジェクタ画素に対する入力正弦信号の全ての位相にわたって、各周波数における最良適合の平均を算出した。これにより、図１４で報告された最良適合の平均と、その不確実性とを決定することが可能になった。

図１４はさらに、単一投影システム（９０）と、２つの映像を重ね合わせる投影システム（９１）の両方のＭＴＦが、ナイキスト制限（９２）付近を除いてほぼ同じであることを示している。図１３の説明で述べたように、ナイキスト制限において、単一プロジェクタシステムの出力は、画素に対する正弦信号の位相に強く依存する。その結果生じた振幅の不確実性を、図１４中のナイキスト制限付近に配置したエラーバー（９３）で示している。このエラーバー（９３）は入力周波数振幅よりも大きな振幅にまで延びていることに驚かれるかもしれない。これは、図１３の中央左側のプロットを見直すことで説明できる。プロジェクタからの適合と出力の間の余りを最小化する最良適合の正弦信号は、入力信号よりも振幅が大きな制限信号である。

ナイキスト周波数から離れるにしたがい、振幅の不確実性が、プロット上で、単一プロジェクタの場合にｆ＝０．８にある短いエラーバー（９４）によって示すとおりに低下する。重ね合わせた２台のプロジェクタを設けたシステムに適合する振幅不確実性は、ナイキスト制限における、またはその付近の周波数を含む周波数範囲全体にかけて、平均でこのエラーバー（９４）よりも小さい範囲内にある。

図１４は、２台のプロジェクタを１００の画素フィルファクタで重ね合わせたことによるＭＴＦの改善を何ら示していないが、重ね合わせの利益を理解するためには映像アーティファクトを考慮する必要がある。映像アーティファクトは、投影システムからの多少ずれた出力を正弦関数によってどれだけ上手く適合しているかを決定することで定量化できる。この適合性の高さは、多少ずれた出力と正弦適合との間の変異度により決定される。図１５は、図１４に示した適合正弦の位相平均振幅で割った、平均変異度の平方根のプロットを示す。グラフ中の各ラインには、一方のプロジェクタの他方に対する微細な画素のずれの程度を付している。プロジェクタ間に画素のずれがない状態で重ね合わせたシステムにとっての最大量の映像アーティファクトを示す（符号０．０）。これは、単一プロジェクタからの映像アーティファクトの量と等しい。プロジェクタ間を１/２画素ずらして重ね合わせたシステムでの最少量の映像アーティファクトを示す（符号０．５）。ｆ＝１の付近において、このシステムの映像アーティファクトは画素にずれのない映像アーティファクトの約１/１０である。ナイキスト制限、およびこれ未満の周波数において（符号１００）、映像アーティファクトは画素にずれのない映像アーティファクトの約１/２である。グラフ上のこれ以外のラインは、０．４、０．３、０．１画素ずれた映像アーティファクトは、画素にずれのない映像アーティファクトよりも小さい。

図１２中に示したように、画面にかけて重ね合わせが変化すると仮定すると、全ての使用可能な画素のずれの改善を平均化することで平均的なパフォーマンスが得られると主張することは妥当である。図１６は、この平均的なパフォーマンスと、単一プロジェクタのパフォーマンスとの比較を示す。ここでは、映像アーティファクトは、画素にずれのない投影システムからの映像アーティファクトよりも２７〜４２％少ない。

上述したようにスレーブ映像をワーピングし、これをマスタ映像と重ね合わせると、映像アーティファクトが低減されることによって映像の忠実度が向上する。この向上は、一方のプロジェクタの画素をもう一方のプロジェクタからの画素からずらし、適切な画素値を充填するべく映像を歪められた結果生じた。この向上は、いずれが１/２画素の場合に最大となり、図１５に示すように０画素の場合に最小となる。

上述の説明は、画素のフィルファクタが１００％である場合のシステムについてのものである。米国特許第６，４５６，３３９号に開示されているように画素のフィルファクタがこれよりも低い場合には、解像度を向上させる機構は、先に考慮した画像忠実度を向上させることによって明確となる。複数のプロジェクタを重ね合わせて位置決めする場合には、１台のプロジェクタの画素が別のプロジェクタの画素間の間隙内に光を射出すると、解像度に正の増加が生じる。１台のプロジェクタの画素が別のプロジェクタの画素間の半分にまで位置している状態で２台のプロジェクタを重ね合わせた特定のケースでは、ナイキスト制限とシステムの解像度が２倍になることが容易にわかる。ここで開示している本発明は、ずれがどの様なものであるかに関係なく画素からの光出力がオーバラップし、高いフィルファクタを有するシステムで生じる、感知した解像度または映像忠実度のさらに微細な増加を扱っている。この変換は、画素のサイズが画素間の距離の５０％よりも大きい場合に、２５％よりも高いフィルファクタにて生じる。

投影された映像を相互に正確にオーバラップさせられる場合にさらなる利益が可能となる。２個またはそれ以上の反応投影システム（ＬＣＤプロジェクタなど）からフレーム速度の高い映像を投影することで、より反応の遅い投影システムに対応したアーティファクト劣化のないフレーム速度の高い描写を得ることができる。これは、全体的な映像の明度を維持または改善しながら達成することができる。

この柔軟な投影システムを用いれば、本発明によるこれ以外の多数の実施形態が可能である。図１７は、フレーム速度のより低い２台のプロジェクタに加えて、各プロジェクタからの光を交互に遮断する機械または電子シャッタ（２６、２７）を使用して高いフレーム速度表示を達成する、本発明の一実施形態を示している。この実施形態では、シャッタはプロジェクタと画面の間に配置されているが、プロジェクタ内の別の位置に配置してもよい。この実施形態では、高いフレーム速度（この例では２倍）の投影が分割され、図１８に示す投影フレームシーケンスによって示しているように、マスタプロジェクタ（３）が偶数のフレームを表示し、第２プロジェクタ（４）が奇数のフレームを投影する。偶数のフレームは奇数のフレームとは違う時間に投影され、奇数フレームプロジェクタの映像が遮断されている間に偶数フレームが投影される。この実施形態では、奇数フレームを、表示前に偶数フレームに対応して歪める。この歪みは、上述のように画素対応マップを生成し、これを奇数映像フレームを歪めることに使用することで達成される。

この実施形態では、ちらつきを防止するために、投影された映像間のプロジェクタの明度と色バランスが正確に整合することが必要である。カメラを使用して、輝度空間プロフィール情報（大きさおよび空間組成）をフィードバックする技術が既に周知である。このフィードバックされた情報は、電子プロジェクタへの信号を、映像輝度プロフィールを成形するよう部分修正するために使用される。この場合には、スレーブプロジェクタ（および／またはマスタプロジェクタ）の輝度プロフィールを、両方のプロジェクタの輝度プロフィールが一致するように成形することができる。Ｆｉｅｌｄｉｎｇへの米国特許第５，３８６，２５３号で概説されているように、この輝度成形情報を記憶し、プロジェクタへの映像データを部分変更するために使用することが可能である。より高いフレーム速度を達成するためにフレーム速度の低い２台のプロジェクタを使用することのトレードオフは、画面映像の明度を低減することである。これは、常に１台のプロジェクタの光のみが画面上に投影されるためである。これを補正するために、図１９に示すように、より高いフレーム速度の効果を著しく劣化させずに、投影された画像のフレームレート（５３）を増加することで、なんらかの画面明度を回復することが可能である。このフレームレートの増加によって生じるちらつき（５４）はプロジェクタのフレーム速度の２倍となる。好ましい実施形態では４８Ｈｚとなるが、これは人間の目で容易に検出できる値ではない。

図２０は、マルチプロジェクタシステム内の動作アーティファクトを低減するように設計された投影システムの別の実施形態を示す。光出力がフレーム時間全体にかけて持続する電子プロジェクタでは、モーションブラーが生じる（例えば、Ｋｕｒｉｔａ、ＳＩＤ ＤＩＧＥＳＴ ２００１、９８６に記載されているとおり）。プロジェクタに断続的な光の出力を強制することで、動作アーティファクトが低下する。図２０は、露光６５と空白間隔６６に分割されるフレーム期間６７を示す。空白感覚は２つの利益を提供する。第１は、プロジェクタに断続的な光の出力を強制することで、動作アーティファクトを低減することである。第２は、プロジェクタの反応時間によってアーティファクトを排除することである。

図２０のグラフ８２は、動作する物体を、一連の映像フレームにわたって連続的に観察した際に明らかとなるモーションブラーの範囲を特徴付けている。この曲線を簡単に説明する上で、感知される映像位置の誤差は、実際の動作物体と画面上に示された動作物体との間の位置の誤差量である。感知された画像位置の誤差は、画面が最初に動作物体の位置を表示した瞬間から、次の映像フレームが更新されたこの動作物体の位置を表示するまで増加し続ける。動作物体の曲線８７における位置の誤差の大きさは、画面上でこの動作物体をイメージブラーとして見ている観察者にとって明白となる。映像フレームの期間６７が長いほど、画面の観客にとって、表示された動作中の物体のブラーが大きく写る。ＬＣタイプのように反応が遅い映像プロジェクタのケースでは、映像画素は、これの値を次のフレームへ移行させるために時間を制限している。網状線で示した範囲８８は、この移行期間中に画素値が有するであろう誤差範囲を示している。

図２０に示した時間は、投影された画面映像フレーム６７の一部６６を、次のフレーム以前に遮断するシャッタを示している。この動作は、イメージブラーを引き起こす誤差量を除去することによって作成される。この状況では、この除去は範囲８９と等しい。モーションブラー除去の利点が得られるが、しかしこれにより明度が低下する。

画素移行時間の一部または全体において投影された映像の一部を遮断するために、遮断間隔６６をシフトすることもできる。動作アーティファクトの除去という利点が得られるが、しかしこれにより明度が低下する。

動作アーティファクトを除去するために映像の明度が低下するが、この映像の明度の損失は、画面上で映像を重ね合わせるために複数のプロジェクタを使用することで得られる明度によってある程度補正することができる。

シャッタ遮断期間を調整したり、シャッタブロック期間をシフトしたり、あるいはこれらを組み合わせれば、動作アーティファクトと映像明度を有する動作アーティファクトの間に最適なトレードオフを見つけることにより、動作の多いシーンで、全体感知可能な描写の向上を得られるようになる。

図２１は、プロジェクタのフレーム速度が、断続的な光の投影により人間の目で知覚できるちらつきを生じさせるほどに十分遅い別の実施形態を示す。このケースでは、露光が２つの期間６８、６９に分割され、同様に、空白期間も７０、７１に分割される。このシナリオでは、シャッタ遮断期間を調整したり、またはシャッタ遮断期間をシフトしたり、あるいはこれら両方を組み合わせれば、動作アーティファクト低下と映像明度の間に最適なトレードオフを見つけることにより、動作の多いシーンが、全体感知可能な描写の向上を得られるようになる。

２次元映像を３次元投影用として立体映像の対に変換した状況では、コストを抑え、実行回数を低減するために、より低い解像度の人工の目が設けられる。この状況では、より解像度の高い映像がワーピングエンジンを介してスレーブプロジェクタ（４）へ送信されることで、スレーブプロジェクタによる映像品質が最大限に向上される。

立体映像の対を取得する状況では、適切な映像増強アルゴリズムを用いて、ステレオ写真対における１つの映像を使用することで、他の映像の解像度を電気的に増強することができる。この状況では、増強された映像がプロジェクタへ送信される。このプロジェクタは、歪められた映像（４）を使用して、第２プロジェクタによる映像品質の増強を確実に最大化する。

２次元の画像にデジタル的な増強を適用して、解像度を向上させることができる。この解像度の高い映像を図４に示した実施形態に使用し、映像品質を向上させることが可能である。

先述したように、歪みには、映像品質に若干の劣化を生じさせる補間が必要である。この出願の別の実施形態では、歪んだ映像にデジタル増強アルゴリズムを適用することで映像忠実度が回復する。

先述の本発明の実施形態の説明は、例示および説明を行うことだけを目的として描写されたものであり、本発明を開示された明確な形式に限定あるいは制限することを意図したものではない。上述した示唆を考慮した多くの変更および応用が可能である。上述した実施形態は、当業者が、本発明および様々な実施形態を、自分で考案した特定の使用に合う多様な変更を加えて利用できるようにするために、本発明の原理およびこれらの実用的な用途を説明するべく選択され、記載されたものである。

Claims (32)

1. 第１プロジェクタと少なくとも１つの第２プロジェクタとを含む投影システムで合成映像を生成する方法であって、
   前記第２プロジェクタからの少なくとも１つの第２映像内の画素と、これに対応する前記第１プロジェクタからの第１映像内の画素との間のずれを決定することにより、画素の対応マップを生成し、前記対応マップは副画素の精度で生成されるステップと、
   ソース映像を受信するステップと、
   前記対応マップに少なくとも部分的に基づいて前記ソース映像を歪めることで、歪められた映像を生成するステップと、
   前記第１プロジェクタで前記ソース映像を表示し、前記第２プロジェクタで前記歪められた映像を表示して、合成映像を作成するステップと、
   前記第１プロジェクタ及び前記第２プロジェクタからの画素間の微細なずれが０．５画素から０画素までの範囲にあって、前記微細なずれが前記画面にわたり一定ではないように、第１の投影された画素及び第２の投影された画素の投影された映像領域にわたる前記第２プロジェクタの画素間の間隙内に前記第１プロジェクタによって光を放出し、映像の増強は前記生成された合成映像において前記画面にわたり均一にされるステップと、
   を含む方法。
2. 前記画素の対応マップを生成するステップは前記対応マップを測定データから生成するステップを含む、請求項１に記載の方法。
3. 前記第１映像と前記第２映像は同一のテストパターンである、請求項１に記載の方法。
4. 前記ソース映像は前記歪められた映像に重ね合わされて、前記合成映像が作成される、請求項１に記載の方法。
5. 前記ソース映像と前記歪められた映像は２次元描写または３次元描写の一部である、請求項１に記載の方法。
6. 前記対応マップは、前記第１プロジェクタでテストパターンを投影し、前記第２プロジェクタで前記テストパターンを投影し、前記第１プロジェクタからの前記テストパターン内における第１画素に対応した、前記第２プロジェクタからの前記テストパターン内における第２画素の位置を測定する、請求項１に記載の方法。
7. 前記テストパターンは、少なくとも１つの画素、均一な輝度分布を有する複数の画素ドット、不均一な輝度分布を有する複数の画素ドット、またはガウス分布プロフィールを有する複数の画素ドットを含むドットのアレイの少なくとも１つを含み、
   前記テストパターンを調整してスクリーンゲインを補償するステップと、
   別個のテストパターンを生成し、各色について別個の対応マップを計算するステップと、または、
   前記テストパターンを生成し、各色について別個の対応マップを計算するステップと、
   の少なくとも１つのステップをさらに含む、請求項６に記載の方法。
8. 表示前に、前記ソース映像をキーストーン歪みまたはレンズ歪みを除去するべくプレディストーションすることをさらに含む、請求項１に記載の方法。
9. 前記第１プロジェクタと前記第２プロジェクタの各々は複数のカラーチャネルを含み、前記第１プロジェクタと前記第２プロジェクタの各々は、複数のカラーチャネルの各々について異なった偏光状態で光を出力する投影レンズを含み、前記歪めることは、前記第１プロジェクタおよび前記第２プロジェクタの各々からの少なくとも１本のカラーチャネルに対して実行される、請求項１に記載の方法。
10. 前記３次元描写は、観客が装用している眼鏡によって立体映像を分離できるように符号化されている、請求項５に記載の方法。
11. 前記ソース映像は、前記第１プロジェクタおよび前記第２プロジェクタの表示解像度よりも高い解像度である、請求項５に記載の方法。
12. 前記ソース映像は、３次元立体の高解像度映像と低解像度映像の対を含み、前記高解像度映像は歪められる、請求項１１に記載の方法。
13. 空白間隔を確立するために、前記第１プロジェクタと前記第２プロジェクタを閉鎖するステップをさらに含む、請求項１に記載の方法。
14. 前記空白間隔の時間を調整するステップと、
    前記ソース映像と前記歪められた映像の表示中に前記空白間隔の時間を調整するステップと、
    前記空白間隔を前記ソース映像と前記歪められた映像の表示と同期させるステップと、または、
    前記空白間隔の開始時間を調整するステップと、
    の少なくとも１つのステップをさらに含む請求項１３に記載の方法。
15. 合成映像を生成することができる投影システムであって、
    第１プロジェクタと、
    少なくとも１つの第２プロジェクタと、
    前記第１プロジェクタが生成した少なくとも第１映像と、前記第２プロジェクタが生成した少なくとも第２映像とを記録でき、前記第２映像からの画素とこれに対応する前記第１映像からの画素との間のずれを決定することで、映像について画素の対応マップを生成し、前記対応マップは副画素の精度で生成されるために使用されるアラインメントカメラと、
    ソース映像を供給できるソース映像バッファと、
    歪められた映像を製造するために、前記ソース映像を、前記対応マップに少なくとも部分的に基づいて歪めることができるワーピングユニットとを含み、
    第１プロジェクタは、前記第１プロジェクタ及び前記第２プロジェクタからの画素間の微細なずれが０．５画素から０画素までの範囲にあって、前記微細なずれが前記画面にわたり一定ではないように、第１の投影された画素及び第２の投影された画素の投影された映像領域にわたる前記第２プロジェクタの画素間の間隙内に画素光を放出し、映像の増強は前記生成された合成映像において前記画面にわたり均一にされるようにさらに構成された、投影システム。
16. 前記投影システムは、２次元描写と３次元描写の表示が可能である、請求項１５に記載の投影システム。
17. 前記対応マップは測定データを用いた方法によって生成される、請求項１５に記載の投影システム。
18. 前記第１映像と前記第２映像は同一のテストパターンである、請求項１５に記載の投影システム。
19. 前記ソース映像は前記歪められた映像上に重ね合わされて、前記合成映像が作成される、請求項１５に記載の投影システム。
20. 前記第１プロジェクタのための第１シャッタと、前記第２プロジェクタのための第２シャッタとをさらに含み、前記シャッタの各々は、フレーム間に空間間隔を挿入して、動作アーティファクトを低減することができる、請求項１５に記載の投影システム。
21. 前記歪められた映像の映像画素が前記ソース映像の対応する映像画素についてずれた一画素の微細部分は、前記映像画素間で変化する、請求項１記載の方法。
22. 前記歪められた映像の映像画素は、前記ソース映像の対応する映像画素について整数構成要素のずれが除かれた、請求項１記載の方法。
23. 少なくとも前記第２プロジェクタからの第２映像内の画素と、これに対応する前記第１プロジェクタからの第１映像内の画素との間のずれを決定することにより、映像についての画素の対応マップを生成するステップは、副画素の精度でずれを決定するステップを含み、
    前記歪められた映像の映像画素の少なくともいくつかは、前記ソース映像の対応する映像画素の少なくともいくつかについて半画素だけずれている、請求項２２記載の方法。
24. 前記歪められた映像画素が前記ソース映像の対応する映像画素についてずれるように構成された前記一画素の微細部分は、前記映像画素間で変化するように適応された、請求項１５記載の投影システム。
25. 前記歪められた映像の映像画素は、前記ソース映像の対応する映像画素について整数構成要素のずれが除かれるように構成された、請求項１５記載の投影システム。
26. 前記投影システムは、副画素の精度でずれを決定することによって、少なくとも前記第２プロジェクタからの第２映像内の画素と、これに対応する前記第１プロジェクタからの第１映像内の画素との間のずれを決定するように構成され、
    前記歪められた映像の映像画素の少なくともいくつかは、前記ソース映像の対応する映像画素の少なくともいくつかについて半画素だけずれるように構成された、請求項２５記載の投影システム。
27. 前記対応マップを生成するステップは、前記第１プロジェクタによって、及び、前記第２プロジェクタによって、投影されたテストパターンの対応する図心間のずれを用いることを含む、請求項１記載の方法。
28. 前記テストパターンはドットのアレイを含む、請求項２７記載の方法。
29. 前記ドットは１画素より多い、請求項２８記載の方法。
30. 第１プロジェクタ画素スケール及び第２プロジェクタ画素スケールとは異なるカメラ画素スケールを用いて前記対応する図心間のずれを決定するステップをさらに含む、請求項２７記載の方法。
31. 前記テストパターン部分のカメラ映像における複数の画素をカバーするテストパターン部分を用いて前記対応する図心間のずれを決定するステップをさらに含む、請求項２７記載の方法。
32. 画面の利得を補償するように調整されたテストパターンの照明を用いて前記対応マップを生成するステップをさらに含む、請求項１記載の方法。

Images