JP6198605B2 - 手動及び半自動技術を用いたディスプレイシステムを較正するためのシステム及び方法 - Google Patents

Description

本発明はディスプレイに関し、限定するものではないが、マルチ投影ディスプレイシステムに焦点を当てたものである。より詳細には、本発明はこのようなディスプレイ及びディスプレイシステムの較正に関する。

人々は周囲に存在する像を見ることを好む。サイズ、輝度、解像度、明度比、３Ｄ及びその他多くの特徴が、観察者の注意を引く。ディスプレイシステムを作製する際の目標は、見るものにとって可能な限り最高の経験をもたらすことである。最高の経験をもたらす、とは、ディスプレイの品質を最適化することをしばしば意味する。品質因子は、これらに限定するものではないが、幾何学的精度、色精度、コントラスト、解像度、及び煩わしいアーティファクトからの解放、並びに一般に良好とされる画像の性質に寄与するその他の性能的特性を含む。これらの因子には、表示されるデジタル画像が、元々のデジタル画像又は自然界で見られる画像を正確に表現することができるようにすることも含んでよい。ユーザにとって可能な限り最高の経験及びまたは可能な限り最高のディスプレイ品質を実現するために、画像情報の補正測定を適用してディスプレイシステムの動作ポイントをチューニングすることにより、ディスプレイが生成する画像の特定の不正確さを、補正することが望ましい。

ディスプレイシステムは１つ以上のディスプレイユニットからなる。ディスプレイユニットは、フラットパネルディスプレイ、プロジェクタ、発光型ディスプレイ、ｅ-インクディスプレイ等を含むがこれらに限定されない様々なタイプのものであってよい。これらは平坦であっても、カーブしていてもよい。このようなディスプレイの例は、共通の譲受人名義である「光学フィードバックを用いたディスプレイ調整及び画像処理によって改善されたディスプレイ品質を提供するためのシステム又は方法」という名称の特許文献１（米国仮特許出願第６０／８９５０７０号の優先権を主張する）、及び「マッピング機能のインジェクションのためのシステム及び方法」という名称の米国特許出願第１２／０４９２６７号に挙げられており、これら特許文献の開示は、有用な背景技術情報として参照により本明細書に含まれるものとする。これらのタイプのディスプレイユニットはそれぞれ、異なるアーティファクトに影響を受け得る。

例えばフラットパネルタイプのディスプレイは、パネル内の色及び彩度の光沢、並びにパネルにわたる色及び彩度の差の影響を受けることがある。これらはまた、異なる入出力カーブの影響を受けることもある。例えば、２つ以上の別個のディスプレイは、極めて類似した低彩度のグレーレベルを表示するが、高彩度のグレーレベルはパネル毎に大きく異なり得る。パネルのベゼルによるかみ合わせ、複数のパネルの不整列、パネル内における珍しいディスプレイ形状の要求、円筒形等の形状でのパネルの整列等により、面倒な幾何学的な問題が発生することもある。

投影ベースのディスプレイは、プロジェクタの光学部品が完璧なものではないことによってしばしば起こる、場合によっては色別チャネル上の幾何学的歪みの影響を受ける。これらはまた、プロジェクタ内における及びプロジェクタにわたる彩度のばらつき、色光沢、プロジェクタにわたる色のミスマッチ、黒レベルの変化、異なる入出力カーブ等の影響も受ける。

３Ｄ画像のディスプレイでは、右目と左目にそれぞれ異なる画像を提示する場合がある。これを実現するための方法には、各目に送達される画像を交替させるための時間を利用すること、特定の画像をどちらの目が受容するかを選択するために極性化又は波長等の光の特性を用いること、目の空間的配置に基づいて各目に異なる画像を送達するよう試みるために光学部品を用いること等を含むことができる。標準画像と同様、３Ｄ画像にも、幾何学的アーティファクト、色及び彩度アーティファクト、並びに、各目を標的とする画像に関する潜在的に異なるアーティファクトが存在し得る。

システムに対して行われる補正は、画像を表示するためのチェインの多くの段階において行うことができる。補正の一例は、上に援用した「マッピング機能のインジェクションのためのシステム及び方法」に詳細に説明されているような、デジタル信号の生成時に行うことができるものである。１つの特定の例は、上に援用した「光学フィードバックを用いたディスプレイ調整及び画像処理によって改善されたディスプレイ品質を提供するためのシステム又は方法」という名称の米国特許出願に詳細に記載されているような、ＯＭＴＥパラメータ等、プロジェクタ又は中間ワーピングボックスに関連して説明され、示されている。

ここで通常考えられる補正のタイプには、スクリーン上で像を歪曲させることを含む。プロジェクタを使用する場合、複数のプロジェクタによって重複した領域の総彩度がディスプレイの残りの領域の彩度と同程度になるように、１つの補正はプロジェクタにわたる画像の混合を必然的に伴う。ディスプレイユニットにわたる、及びディスプレイユニット内での色及び彩度の変化の補正を両方行うことも考えられる。この議論は幾何学的変化に焦点を当てている。多くのタイプの像をシーン上で見ることができる。コンテンツは事実上、スクリーン上で混合及び歪曲され得る長方形の画像であることが多い。コンテンツは、３次元シーンの多数の視野からなる場合があり、ここでは、潜在的に各ディスプレイユニットに３次元シーンの異なる視野が付与され得、各ディスプレイユニットはこれら視野を引き延ばしたり歪曲させたりし、これにより、ディスプレイシステムがシステム全体の１つの極めて大きな視野を示しているように見えるようにする。この場合、ＯｐｅｎＧＬ又はＤｉｒｅｃｔＸ等の３次元レンダリングエンジンを用いてコンテンツをレンダリングすることがある。

手動幾何学的較正は、ディスプレイユニット上に示される像の幾何学的補正（歪曲）をユーザに特定させるプロセスである。手動幾何学的較正について、従来技術では一般に相当な精度を必要とし、これを実現するのは面倒である場合がある。

従来の実装におけるプロジェクタの手動較正のための最も一般的な方法は、フラットスクリーン上での完璧な整列によって行われる。例えば１×Ｎ個のプロジェクタのアレイの場合、投影された画像が相対的な垂直方向ずれ及び公知の水平方向ずれを有さないよう、これらのプロジェクタを設置する。この場合、スクリーンへの入力された像のマッピングは典型的には極めて簡単なものである。水平方向の設定については、画像の左側部分は左側プロジェクタへと進み、次のプロジェクタは同じピクセルの一部（重複領域用）を映し、次にすぐ右側のピクセルを映す。従って、スクリーンへの入力された像のマッピングは、同一性を保持した歪曲であり、像の一部が各プロジェクタに分配される。この場合、精度及び冗長さについて２つの問題が生じる。まず、プロジェクタを整列させる必要があり、これは困難なプロセスである。第２に、プロジェクタからスクリーンへの変換機能は、スケールマッピングに極めて近くなければならない。マッピングにおいてこのような精度を実現するためには、高価な光学部品を有するプロジェクタが必要となることがある。

プロジェクタが正確に整列されていない場合、又はマッピングが完璧な倍率で行われない場合、手動較正の第２の方法は、有意な数のポイントを、各プロジェクタに適用すべき補正を示すために移動させることを伴う。これらのポイントは、マウスなどのポインタデバイスを用いて選択する場合がある。２つの標準的な例として、Ｗａｔｃｈｏｕｔ（商標、スウェーデン、リンシェーピングのＤａｔｏｔｏｎ社から入手可能）、ｅＷａｒｐＤｅｓｉｇｎｅｒ（商標、カナダ、オンタリオ州、リッチモンドヒルのＦｌｅｘｉｂｌｅ Ｐｉｃｔｕｒｅ Ｓｙｓｔｅｍｓ社から入手可能）等のアプリケーションの使用が挙げられる。これらのアプリケーションの例それぞれにおいて、ユーザはプロジェクタにわたって均一に離間したポイントのグリッドを有する。これらを移動させて、プロジェクタに送信される画像が実際にプロジェクタ上に映るべき場所を示す、即ち、ポイントは、スクリーン上に投射されることになる入力された画像に対する歪曲を示す。大抵、７×９ポイント単位等のグリッド（ｅＷａｒｐＤｅｓｉｇｎｅｒで使用されることが多い）、プロジェクタあたり６３ポイントを移動させなければならず、一般には正確に移動させなければならない。この作業は冗長である。大抵、これを正確に達成するために、ユーザがプロジェクタ上のポイントをスクリーンの正しい位置に移動させることができるようにスクリーンを事前に測定して、小さなドットをスクリーン上に配置し、これにより、画像はスクリーンに正確にマッピングされる。特に、最終的な像が表示される際に小さな不整列がシャドーイング効果として検知されるようになり得る重複領域において、正確さが必要とされることが多い。全体として、正確さの欠如により、ディスプレイシステムにわたって移動する画像が、移動に従って収縮及び膨張したり、又は上下に振動したりする等のアーティファクトが発生し得る。

手動較正の別の例は、３Ｄ Ｐｅｒｃｅｐｔｉｏｎ（ノルウェー）製のアプリケーションである。ｃｏｍｐａｃｔＵＴＭワーピングボックスと共に出荷されるこのソフトウェアでは、ユーザは各プロジェクタが３Ｄ空間のどこにあるかのモデル、各プロジェクタがどのように画像を投影するかのモデル、及びスクリーンのモデルを入手することができる。システムのための歪曲の初期推定のおかげで、動作開始時には極めて有益なものとなり得るが、プロジェクタ間の良好な整列を実現するためにモデルを改良するためには、各プロジェクタ上の多くのポイントを再び別個に移動させて、１つのプロジェクタから別のプロジェクタに適合するように歪曲を改変する必要がある。

歪曲を改変及びアップデートするためのこれらの種類の手動方法は典型的には、スクリーンの形状、即ち、例えば径方向歪みを有する４×３投影マトリクス等のプロジェクタ等にディスプレイユニットをモデル化できるという事実を使用しない。また、これらの方法は、プロジェクタ間の制約を形成するアルゴリズムを使用しない。これらの方法は事実上、３Ｄシーン及び幾何学的特性が光学的原理に支配される対象を効果的にモデル化するために生成されるマシンビジョンにおいて使用されるような数学的ツールを使用しない。更に、これらの方法は典型的には、各プロジェクタを独立してスクリーンに対して歪曲させようとする。これらの方法は、重複領域で選択されたポイントを使用して共通の座標系にプロジェクタをマッピングして、共通の座標系を設定してこれをスクリーンに対して歪曲させようとはしない。本特許の目標は、上述の情報を用いて、システムの幾何学的手動較正に通常必要とされる冗長性及び精度を低減することである。

米国公開特許出願第２００８／０２４６７８１Ａ１号

本発明は、手動整列プロセスの冗長性及び精度を低減することにより、先行技術の欠点を克服する。ユーザはプロジェクタ間の対応及び／又は単一のプロジェクタの構成要素間の対応を選択して、プロジェクタシステムにわたる共通の座標系を形成することができるようにする。ディスプレイシステムのモデル及びプロジェクタを使用して、ユーザはこの共通の座標系をディスプレイ全体に迅速にマッピングすることができる。このプロセスでは、例示的実施形態は、スクリーン上のポイントを正確に測定する必要を回避しており、ユーザは一般に、較正プロセスにおいて極めて少数のポイントを移動させるだけでよい。

あるいは、本発明の目標は、マシンビジョンスタイルのアルゴリズムを手動較正技術に導入して、この技術をより高速かつ簡単にし、また冗長でないものとすることである。これにより、システム及び方法は、ディスプレイシステムのモデルを手動整列プロセスに導入することにより、先行技術の冗長性を克服する。ユーザは、各プロジェクタ上で比較的少数のポイントを選択することができ、スクリーンにおいて正確に測定されたポイントを選択する必要がなくなる。その代わり、システム及び方法は、プロジェクタ間の対応を決定し、これにより、プロジェクタを共通の（ワールド）座標系にマッピングすることができ、そしてユーザは共通の座標系をスクリーンに対して迅速に歪曲させることができる。

以下の本発明の説明は、添付の図面を参照する。

図１は、本発明の一般化した実施形態による、手動較正を含む例示的なディスプレイシステムのブロック図である。 図２は、手動幾何学的較正を行うステップを示すフローチャートである。 図３は、１つのプロジェクタから別のプロジェクタへのマッピングを見出すステップを示すフローチャートである。 図４は、円筒形スクリーンを用いた、手動較正を含む例示的なディスプレイシステムのブロック図である。 図５は、サブピクセル整列精度を達成するために、スクリーン上に表示される特徴の断面の例を示す図である。 図６は、プロジェクタのモデルが事前に既知である場合の、手動較正を行うステップを示すフローチャートである。 図７は、ある実施形態によるプロジェクタにおける、色間の歪みを測定するための、手動較正を含む例示的なディスプレイシステムのブロック図である。 図８は、手動較正を行う手順のステップを示すフローチャートであり、ここでは、プロジェクタから共通の座標系へのマッピング及び座標系からスクリーンへのマッピングが同時にアップデートされる。

Ｉ．例示的実施形態
図１は、２つのプロジェクタからフラットスクリーン領域１００に投影された２つの画像の輪郭１０１及び１０３を示す。この輪郭は長方形である必要はなく、例えばこの図では台形として描かれている。更なる例において、様々な幾何学的形状について熟考する。重複領域１０５では、両プロジェクタがスクリーン１００上で重なる。この領域１０５では２つのプロジェクタそれぞれについて配置を選択する。ユーザはこれを、例えばマウスを用いて、重複位置において各プロジェクタをクリックすることで達成することができる。各「Ｘ」はユーザ又はプロジェクタ１０１上の別の機構によって選択された位置を示し、各「Ｏ」はプロジェクタ１０３上の選択された位置を示す。重複領域１０５に、４つのＸ-Ｏ対応組：Ｘ（１２７）とＯ（１２９）、Ｘ（１３１）とＯ（１３３）、Ｘ（１１９）とＯ（１２１）、及びＸ（１２３）とＯ（１２５）が示されている。これらの対応組を用いて、１つのプロジェクタから別のプロジェクタへのマッピングを形成することができる。プロジェクタ間のホモグラフィを形成するには４つの組で十分である。ホモグラフィは、１つのプロジェクタから別のプロジェクタへのマッピングを合理的に正確に示すため、フラットスクリーンに対するプロジェクタ間のマッピングにとって良い選択である。マッピングのための他の配置及び実装も可能であり、これにはバイリニアマッピングに基づくマッピング、放射基底関数、二次曲面、スプライン、三角形メッシュ等が含まれる。マッピングは一般に、ある程度の固有の平滑性を含むべきであり、また、プロジェクタの入力画像から投影される画像に対して典型的に期待されるような平滑なマッピングを示すために、ある程度の制約を受けるべきである。バイリニア等のいくつかのマッピングは、４つの対応を必要としないが、他のタイプのマッピングは、２つの幾何学形状を互いに十分にマッピングするために更に多くの対応を必要とする場合がある。選択したポイントはいずれの特定の測定位置にある必要はない。寧ろ、選択したポイントは、重複領域のほぼあらゆる場所に配置することができ、これは即ち、対応ポイントを任意の位置、つまりスクリーン上の特定のスポットにある必要がない位置に配置するということである。対応に関する唯一の制約は典型的には、これら自体のマッピングの制約である。例えば、４つの対応は、ホモグラフィの場合に共線上であってはならない。

プロジェクタ間のマッピングを見出すと、共通の（ワールド）座標系を画定することができ、ユーザは画像を、この座標系に、及び２つのプロジェクタにわたって、スクリーン上へとマッピングすることができる。

マッピングを確立すると、ユーザ（又は別の機構）はスクリーンの角のポイント１１１、１１３、１１５及び１１７を選択して、共通の座標系からスクリーンへのホモグラフィを形成することができる。理想的な実装では、スクリーン上の画像はリアルタイムにアップデートされ、これによりユーザは、ポイントを選択するにつれて移動する画像を見ることができる。

本システムが全体のグループ内に３つ以上のプロジェクタを含む場合、図１に示した上述のプロセスを全体のグループ内の各プロジェクタの組に対して実行することができる。限定するものではないが、例えば従来の最小二乗法によるアプローチを用いて、組に対して行うマッピング間のいずれの不一致を固定することができる。つまり、各対応組について二乗した誤差の合計を最小化するマッピングの設定を行うことができる。３つ以上のプロジェクタが同一の重複領域を有している場合、３つ以上のプロジェクタにわたって同一の対応を用いると有益であり得るが、これは一般に必要要件ではない。彩度を調整するために、マルチプロジェクタシステムにエッジ混合を使用することが多く、このような混合のパラメータは、ここで行うマッピングを用いて公知の方法で算出することができることに留意されたい。

図２は、複数のプロジェクタを有するシステムの手動幾何学的較正を行うための一般的なステップを含む手順を示す。第１のステップ２１０では、対応を利用して、１つのプロジェクタから別のプロジェクタへのマッピングを見出す。これにより、複数のプロジェクタ間で単一の座標系を形成することができる。第２のステップ２２０では、ユーザ又は別の機構により、単一の座標系からスクリーンへのマッピングを見出す。最後のステップ２３０では、ユーザ又は別の機構は任意でシステムを改善する。

図３は、プロジェクタ間のマッピングを完璧なものとするためのプロセスを示す。まず、ステップ３１０において、ユーザ又は別の機構が対応を選択する。続いて、ユーザ又は別の機構はプロジェクタの組の間のマッピングを形成し（ステップ３２０）、少なくとも組の重複領域に画像を映す（ステップ３３０）。プロジェクタの組の重複した画像を観察することにより、ユーザ又は別の機構は、マッピングが許容可能なものであるか、又は更に改善すべきものであるかを決定することができる（決定ステップ３４０）。必要に応じて、ユーザ又は機構は、既存の対応の精度を更に上げるためにこれらを改善するか、又は追加の対応を選択することができる（ステップ３６０）。この場合の改善とは、以下に説明するように、入力像の一部を映し出すスクリーン上の正確な位置を微調整することを含み得る。すると、例えばマッピングに更なるパラメータを追加することにより、３２０におけるマッピングの複雑さは増大し得る。代替として、より良好な適合を得るためにマッピングをアップデートすることができる。更なる代替として、マッピング後の対応間の不一致を、変位フィールドとして画定することができ、この変位フィールドを、スプライン又はその他の変位フィールドの表示を用いて補正することができる。ユーザ又は他の機構は、対応の追加及び／又は改変プロセスを動作完了まで繰り返すことができる（ステップ３５０）。

特に、マッピングが形成されると、様々な実施形態において追加のステップを実行することができる。第１のプロジェクタ上で位置を選択し、これを移動させて第２のプロジェクタ上の位置に適合させる。即ち、マッピングが形成されると、ユーザ又は他の機構は第１のプロジェクタにおいて位置を明示的に選択することができるが、第２のプロジェクタにおいては位置の選択はこれに追従するものとなる。

図４では、図１のプロセスを例示的な円筒形スクリーン４００を用いて実行する。２つのプロジェクタから投影される画像の輪郭４０１及び４０３を示す。重複領域４０５が存在し、ここで、Ｘ-Ｏ対応組：Ｘ（４１９）とＯ（４２１）、Ｘ（４２３）とＯ（４２５）、Ｘ（４２７）とＯ（４２９）、及びＸ（４３１）とＯ（４３３）が、上述のフラットスクリーンの例と実質的に同一の様式で選択されている。２つのプロジェクタ４０１、４０３は、ホモグラフィを用いて共通の座標系にマッピングすることができ、上に概説した様式で、システム全体にわたって単一の画像を映すことができる。本例ではスクリーンがカーブしているため、重複領域において許容可能な整列を形成するためには４つのポイントでは十分でなく、この場合、図３を用いて説明するように、より多くの対応を選択して、より正確なマッピングの表示を行うために、より複雑な変位の表示に対するホモグラフィを改善することができる。共通の座標系を形成すると、単一の画像をシステム全体にわたって表示することができる。大抵の場合、スクリーン上の所望の充填領域を画定するように、角のポイント４１１、４１３、４１５及び４１７を簡単な様式で選択することができる。更に、ユーザ又は別の機構は、エッジ、典型的にはスクリーンの上側エッジ及び下側エッジに沿ってポイントを選択することができ、充填領域を記述するためにこれに対してカーブを適合及び操作することができる。これらは投影された画像のポイント４３５及び４３７である。これらのポイントは、カーブにわたって均一に離間して選択する必要は無く、従って、これらの位置が正確にわからなくてもよい。十分な数のポイントを選択して、画像の上部及び下部のカーブを正確に表示する。

プロジェクタは、光学特性を有する対象として扱うことができる。例えば、これらの特性としては：焦点距離、位置、配向、投影される画像の中心からの光軸の変位を挙げることができる。角のポイントの、これらがプロジェクタに投射されたポイントからの距離の最小二乗誤差と、
パラメータの現在の設定に応じて選択された、円筒形のエッジからプロジェクタに投射されたエッジのカーブ上のポイントの距離の二乗と、対応において交差するようになっている２つのプロジェクタからの光線の間の距離の二乗と、を最小化しつつ、これらのパラメータを最適化するために、最小化を選択する。
最小化が収束すると、画像の水平方向が円筒の幅に沿って均一に広がり、画像の垂直方向が円筒の幅に沿って均一に広がるように、画像をスクリーン上に投影することができる。

図５は、基準点の例であり、この基準点は、スクリーン上の対応位置をサブピクセルレベルの精度で決定するために有用なツールである。図示した基準点５０１は、２次元（即ち、画像平面内の直交するｘ-ｙ軸）におけるガウス関数である。このような関数を各プロジェクタに表示して互いに向かって移動させ、整列させることができる。このようにして、各ガウス分布の中心が対応を形成することができる。カーブ５０３はガウス関数の彩度断面を示す。このような不鮮明な又はアンチエイリアスな基準点は、人間の目が領域全体を平均化することに長けているという点で有用である。彩度の低下を有する２つの基準点を、組になったプロジェクタの重複領域に配置することにより、ユーザはこれらの基準点を１．５ピクセル以下だけ移動させることができ、目は重複の一致における差を観察及び検知することができ、この不一致を補償するために基準点を移動させることができる。代替実施形態では、重複の一致の決定の実行のために、目の代わりに、このような機能を有する様々なマシンビジョン用ツールを使用することができることは明らかである。

図６は、モデルの強力な推定が事前に可能であるような特別な場合に関係するプロセスの実施形態を示す。このような場合は、ディスプレイシステムがモデリングされ、プロジェクタのパラメータが既知であることにより起こり得る。また、自動較正システムがパラメータを推定し、システムのディスプレイがこれらのパラメータから外れていることによっても起こり得る。例えば、いくつかの場合では、プロジェクタの位置及び配向並びに焦点距離、径方向歪み及びレンズシフトは、ある程度の許容誤差内であることが既知である。別の場合では、ユーザは、プロジェクタとスクリーンとの間の適切なマッピングを見出すようにこれらの情報全てを使用することができる。しかしながら、典型的な状況においては、許容誤差が有力であるために、結果として整列が不完全なものとなり得る。

上述のように、ユーザ又は他の機構は重複するプロジェクタの組の間の対応を選択することができる（ステップ６１０）。この情報を用いてモデルをアップデートすることができ（ステップ６２０）、これに付随して、１つのプロジェクタから他のプロジェクタへのマッピングが形成される。例示的実施形態では、プロセスは、プロジェクタからの光線が対応を通過する距離の誤差の二乗の合計の非線形最小化を含み、その一方で、プロジェクタのモデルのパラメータを公知の許容誤差内に変更することができる。各モデルをアップデートすると、ユーザ又は他の機構はシステムにわたって像を表示することができ（ステップ６３０）、続いて、画像がシステムにわたって視覚的に良好に整列されているかどうかを決定することができる（決定ステップ６４０）。画像が良好に整列されていない場合、ユーザ又は他の機構はプロジェクタ間の追加の対応を選択することができ、これにより、各モデルをアップデートする（ステップ６６０、及び２度目のステップ６２０）。関連するステップ６２０、６３０、６４０及び６６０は、動作完了まで繰り返すことができる（ステップ６５０）。上述のように、ユーザ又は他の機構は、プロジェクタ間のマッピングを変位フィールドとして画定して、変位フィールドをスクリーンに投影するプロジェクタのモデルに加えることにより、いずれの不一致を補正することを決定することを選択することができる。

図６で説明した最小化に関しては、公知の３次元（３Ｄ）座標を有するスクリーン上で選択された、スクリーンの角又はスクリーンの断面間の視認可能な交差点等の基準点を、最小化のために使用することが望ましい。３Ｄにおけるこれらの制約により、手順全体のスピードを向上させることができ、また、更なる安定性をもたらすことができる。

図７は、フラットスクリーン上の単一のプロジェクタの実施例を示す。例として、プロジェクタは２つの色を有し、これらはスクリーン７００に投影され、それぞれ領域７０１及び７０３を充填する。これは横方向色歪みの例であり、ここではプロジェクタの色は、想定されるようには重複しないようになっている。この場合では、色チャネル間のマッピングを形成するために、ポイントを各色について選択することができる。この場合、「Ｘ」と「Ｏ」の対応の４つの組：７１９と７２１、７２３と７２５、７３１と７３３、７２７と７２９が選択される。色間で共通の座標系へのマッピングが形成されると、この共通の座標系をスクリーンへマッピングすることができる。この場合、「Ｘ」で表す点７１１、７１３、７１５及び７１７を選択する。よって、対応が同一のプロジェクタで異なる色チャネルについて選択されることのみを除いて、手順は「図１」のものと事実上同一である。

図８は、プロジェクタから共通の座標系へのマッピングをアップデートするために追加の情報を用いる実施形態を示す。初めのいくつかのステップは図４のものと全く同じである。ステップ８１０では、共通の座標系へのマッピングを上述のように形成する。ステップ８２０では、境界、既知の基準点、エッジ及び／又は角に関する追加の情報を収集する。（図４では、このような情報はスクリーンの境界及び角のポイントに関して収集した。）ステップ８３０では、情報を組み合わせて、図４に示したように、共通の座標系からスクリーンへのマッピングを形成するために使用する。ステップ８４０では、共通の座標系へのマッピング及び共通の座標系からスクリーンへのマッピングの両方を、同時にアップデートする。例示的実施形態では、これを、プロジェクタを光学的対象としてモデリングすることにより、上述のように達成する。この場合、プロジェクタから共通の座標系へのマッピングを、プロジェクタの投影マトリクスの推定により改善してよい。また、このように変更した共通の座標系へのマッピングは、共通の座標系からスクリーンへのマッピングにも影響を与え得る。結果として例えば、図４に説明した、プロジェクタの光学特性の最小化を用いて、共通の座標系へのマッピング及び共通の座標系からスクリーンへのマッピングの両方を同時に変化させることができる。

ＩＩ．代替及び追加の実施形態及び実施例
以下は、発明的概念の教示を用いることのできる実装の特定の例である。

背景及び更なる説明のために、図１を参照して、各プロジェクタが赤、緑及び青の原色で動作するものとする。即ち、プロジェクタは、赤、緑、青のピクセルを互いの上に投影することによって画像を形成する。この場合、各プロジェクタは３つのプロジェクタとして扱うことができる。単一のプロジェクタ内の色チャネル間のマッピングは、ピンクッション又はバレル状の歪曲に基づくものとすることができる。各色についてポイントを選択することにより、ユーザ又は他の機構は、既知の歪み関数のパラメータを決定することができ、そして図７に示すように、各色を別々に、共通の座標系へと移動させることができる。このような手順は、本例においては、２つのプロジェクタの代わりに実質的に６つのプロジェクタを用いるものとしてシステムを扱うこと、及び、プロジェクタ間マッピングをプロジェクタ内マッピングとは異なる形でモデリングすることを除いて、既に述べたような様式で続行することができる。

別の例は、多数のバッファを表示しようとするプロジェクタの場合である。これは、各目に異なる画像を送るようになっている３Ｄ画像であってよい。各バッファは、異なる人物が対象を見る際の癖又は要求に合わせることができる。プロジェクタが各目に対して極性化、わずかな色シフト、又は時分割多重化等を使用している場合、各バッファに別個の色を記憶させることができると考えられる。色シフト若しくは極性化を選択するための眼鏡の助け無しに、又はバッファの時間調整無しに、ユーザは本例において両バッファが生成する画像を図７に示すように見ることができる。システムは、上の説明に従ってさながら３色システムとして動作するような２色システムとして事実上扱うことができる。

例示的実施例では、４つのプロジェクタを設置して、フラットスクリーンを２×２パターンで充填し、各プロジェクタは異なるコンピュータで駆動され、コンピュータはイーサネットケーブルを介したＴＣＰ／ＩＰ又は別の許容された通信リンク及び／若しくはプロトコルで通信する。グループ内の各プロジェクタは異なる単色を表示し、ユーザ又は他の機構に各プロジェクタ間の重複領域を明確に示す。ユーザ又は他の機構はプロジェクタの組の重複領域内の、両プロジェクタ間の対応を形成するポイントを選択する。この選択は特に、マウス又は同様のポインタデバイスを用いて達成することができる。そして、ユーザ又は他の機構は両プロジェクタにおいて、２つのプロジェクタの間の対応を形成するポイントを選択する。コンピュータプログラム／ソフトウェアアプリケーションは、十字線等の同一の画像を各プロジェクタにおいて異なる色で表示することによって、各プロジェクタにおける対応を表示することができる。例示的実施形態では、十字線を多数のピクセルにわたってアンチエイリアシングすることができ、これにより、ユーザがサブピクセルの整列内に十字線を配置しやすいようにする、彩度の低下を生成する。

これら重複するポイントを用いると、例示的ソフトウェアプロセス及び／又はアルゴリズムは、ホモグラフィを用いて４つのプロジェクタ全てにわたる共通の座標系を形成することができる。より多くのポイントを選択すると、プロジェクタ間のモデルは過剰な制約を受ける。即ち、マッピングは特定の数のパラメータを有し、ポイントが多すぎると、マッピングを正しく用いることができず、重複するポイント間の完璧な適合を実現できなくなり、ここでマッピングの第２の段階が必要とされ得る。薄板スプライン又は変位フィールドのその他の表現を用いて、プロジェクタの各組の間に生成される共通の座標系において、重複を示す重複領域内での配置が実際に重複するように、マッピング機能に対して補正を行うことができる。共通の座標系が確立されると、プロジェクタシステム全体にわたるポイントのグリッド等のパターンを表示することができる。各プロジェクタ上のポイントは実質的に完璧には重複せず、従って誤差を示し、これは、このようなポイントが実際に実質的に完璧に重複していれば存在しないものであることに留意することによって、ユーザ又は他の機構は、単一の座標系へのマッピングにおける誤差を観察することができる。そして、ユーザ又は他の機構は任意に、プロジェクタ間のマッピングの改善を助けるために、又は、各プロジェクタのグリッド上の既存のポイントを個別に移動させてマッピングを改善するために、より多くのポイントを選択することができる。

これに満足したら、ユーザ又は他の機構はプロジェクタのシステム全体を１つの大きな座標系として扱うことができ、また、プロジェクタの結合領域周辺のポイントを移動させることができ、ポイントの移動はポイントの下側の全てのプロジェクタに影響を及ぼす。例として、ポイントの下側では画像はスクリーンに対してリアルタイムに歪曲して表示することができる。これにより、ユーザ又は他の機構は、入力された画像をスクリーン上にどのようにマッピングするかを決定することができる。様々な画像が使用可能であることに留意されたい。矩形のグリッドは、全ての矩形を均一のサイズに見えるようにするために有用である。更に、直線のグリッドは、直線を平行及び垂直に見えるようにするために有用である。可能であれば、ユーザ又は他の機構はシステムに対する変更の効果をリアルタイムに表示できる。これを実行するための技術の１つは、ＯｐｅｎＧＬ又はＤｉｒｅｃｔＸを用いて歪曲を表示し、処理デバイス（コンピュータ等）に従来のグラフィックカードを使用して歪曲を迅速にアップデートし、その結果を表示することである。

ここに示した例示的概念を用いる実装形態の別の例は、複数のプロジェクタを、直径、高さ及び角度が概ね既知である円筒形スクリーン上に設けることであり、ここでスクリーンのエッジは視認可能であり、スクリーン上の継ぎ目は図４に示すような既知の位置に視認可能である。この場合、上述のようにして重複領域内でポイントを選択する。スクリーンの角のポイントも選択することができ、このポイントは、スクリーン上の視認可能な基準点、例えばスクリーンの継ぎ目のエッジ等が存在するポイントである。これらのポイントを選択することにより、プロジェクタの２Ｄ配置への３Ｄ対応（スクリーンの配置）が事実上生成される。プロジェクタへの入力からスクリーンへのマッピングを、プロジェクタのピンホールモデル又は同様のモデルを用いてモデリングすることができる。ある方法では、各プロジェクタについて６つのポイントを選択することにより、各プロジェクタに関してスクリーンへの投影マトリクスを形成することができる。そして、モデルを改善するための重複するポイントを選択するか、又は各プロジェクタを互いの上に正しくマッピングするためにモデルの上に補正を追加する。代替として、追加の情報を用いて、投影レンズの径方向歪みの補正を導入する等、モデルの複雑性を増大させることができる。

例示的な実装形態によると、６つ未満のポイントを用いる場合、解決すべき問題は、マシンビジョンシステムで使用する調整プロセス／アルゴリズムを１つにまとめることと同じである。これらのプロセス／アルゴリズムには、プロジェクタのパラメータを決定することができるようにするための最小化があり、ここでこれらのパラメータは、位置、配向、焦点距離、投影の中心等を含むことができる。目標は、共通してプロジェクタへと戻るようにプロジェクタ上で選択されるポイントの再投影の誤差の二乗と、スクリーン上で選択されるポイントの誤差の二乗とを最小化することである。スクリーンの寸法がおおよそしか分かっていない場合、これらのパラメータを最小化に含めることができ、良好な結果を達成することができる。図４に示すように、スクリーンのエッジにカーブを適切にマッピングするステップを、このタイプの最小化に追加することができる。

更に、これらのタイプの最小化を行う際、その結果を用いて１つのプロジェクタから別のプロジェクタへのマッピングを形成することができる。即ち、スクリーンに関する情報及び投影のパラメータを用いて、プロジェクタの互いに対するマッピングと、共通の座標系からスクリーンへの投影とを同時に形成することができる。このようにして、スクリーンの幾何学的形状を用いて、プロジェクタから共通の座標系へのマッピングの形成を助けることができる。この概念は図８のステップ８４０において検討された。

複数のスクリーンタイプで有用な手順は、消失点についてのものである。ユーザ又は他の機構はスクリーン上部のポイントから垂直に下側に、ポイントを容易に選択することができる場合がある。角のポイントを追加することで、プロジェクタによって投影される長方形を示す。この長方形は、プロジェクタとスクリーンとの間の角度を消失点の技術を用いて推定するのに十分なものであり得る。このタイプの技術は、非線形最小化を開始するために有用である。このタイプの技術はまた、プロジェクタのいくつかのパラメータ（例えば内部パラメータ）が既知である状況において適用可能である。これらの内部パラメータには、プロジェクタの配置における焦点を含むことができる。よって、この技術を、既知のパラメータによってもたらされる追加の情報と関連して使用することができる。

別の例では、図４において、スクリーンが円筒形ではないが恐らく押出成型されたスクリーンであり、即ち、この場合のスクリーンは同様に垂直となっているものとする。このような条件でもなお、良好な結果を達成することができる。プロジェクタの上部及び下部境界において十分な数のポイントを選択すると、これらのポイントを用いて組立てた通りに境界をプロジェクタまで追跡することができる。そして、上側エッジ及び下側エッジが平行なカーブとならなければならないという制約を条件としてスクリーンの形状を最小化することにより、プロジェクタの投影パラメータを決定することができる。Ａｄｉｔｉ Ｍａｊｕｎｄａｒ社等から発売されているもの等を含む、マサチューセッツ州ケンブリッジのＳｃａｌａｂｌｅ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ社から発売されている製品であるＳｃａｌａｂｌｅＤｅｓｋｔｏｐで使用されるここで使用可能なアルゴリズムを提示するカメラ／プロジェクタフィードバックシステムを用いて、押出成型スクリーンを扱うための複数の方法が存在する。

各スクリーンタイプについて、画像をスクリーンにどのようにマッピングするべきかを算出するための多くの例示的手順が存在する。円筒形スクリーンでは、画像は典型的には円筒の周囲に巻き付けられ、これにより、ピクセルは円筒形に沿って所定の等しい角度をとり、ピクセルは円筒の軸に対して垂直な方向に沿って均一に分布する。重複領域からの情報又はプロジェクタの位置からの情報を用いて、システムの実際の解像度、及びスクリーン上で画像を最適に見ることができる解像度を推定することができる。この推定を達成するための簡単な技術は、重複領域において失われるピクセルの数を算出することであり得る。画像を表示するための代替技術は、切頭体をベースとするレンダリングした風景を使用することができる。この例示的実施例では、視点を円筒の中心に設定することができ、プロジェクタの角度的充填に応じて適切な切頭体を各プロジェクタについて選択する。代替実施例では、ユーザ又は別の機構は、円筒の中心と異なる位置へと視点を移動させることができる。

ある実施例では、スクリーンは例えば左右６０°、上下３０°にわたって延在する球形スクリーンの一部を画定することができる。このタイプのスクリーンのマッピングは、複数のプロジェクタに制約を与えるポイントを選択し、スクリーンのエッジにポイントを選択してカーブを形成することにより、上述の円筒形スクリーンにおける方法とほぼ同様にして行うことができる。そして、これらのカーブを用いて、プロジェクタ間の制約を尊重しつつ、プロジェクタの光学特性をこれらカーブに最もよく適合するよう最小化を繰り返し生成することができる。

更なる実施例では、スクリーンは角を含むことができるか、又は硬質エッジを含むことができる。これは、部屋の角に投影する場合、又は接合部に集中する複数のフラットスクリーンからなる全体スクリーンシステムに投影する場合であり得る。これは、ユーザが追加のマウスを用いてスクリーンのエッジ又は角をクリックし、マッピングの方向が鋭く変化することを期待する場所を指示することができるような、その他のスクリーンの場合と実質的に同様である。フラットスクリーンの場合と同様、ホモグラフィを各壁に対して確立することができ、角のポイントを選択して全体のマッピングを形成することができる。

更に別の実施例では、恐らく滑らかに変化するであろうこと意外は何もわかっていないスクリーンが提供される。この場合でも、全てのプロジェクタの間でマッピングを形成して単一の座標系を生成することができる。事前情報が何も分かっていないため、少数のポイントを共通の座標系の中で移動させて、画像が配置されるべき場所を指示する。この手順は、角のポイントが配置されるべき場所（例えば２×２システム）を選択して、次にポイントの数を繰り返し倍加することによって開始することができる。各繰り返しにおいて、新しいポイントは、前の繰り返しからのスプラインベースの内挿（又は別の内挿法）を用いて決定することができる。変更すべきポイントだけを実際に移動させる。想定する滑らかさの制約により、各繰り返しによって、マッピングはユーザが求める精度レベルに近づくことが予想される。スクリーンに関して何の情報も利用可能でなく、かつ有意な数のポイントを移動させることが可能である、このような場合でさえ、この手順はなお、従来のアプローチに比べて相当な時間を節約するものであることに留意されたい。従来技術においては、ユーザはポイントを各単一のプロジェクタについて独立して移動させる必要がある。これと対照的に、上述の新規の点順によると、ユーザ又は他の機構は、ポイントをシステム全体について移動させるだけでよく、個別のプロジェクタについてこれを行う必要はない。

１つの目標は、プロジェクタ間の対応をサブピクセルレベルで決定することである。よって、スクリーン上でポイントが動き回る場合、ポイントは典型的には単一のピクセルレベルで移動し、従って、プロジェクタ間の対応はサブピクセルレベルでは確立されない。しかしながら、領域全体を平均化することにおいて、目は極めて感受性が高く、このような平均かを用いてサブピクセルレベルの適合を実現することができる。例えば、プロジェクタ上のポイントを選択する代わりに、多くのピクセルにわたる彩度低下を伴う関数、例えばガウス関数を、スクリーン中で移動させることができる。目は、関数の彩度ピーク及び劣化したエッジの滑らかなエッジを内挿することができる。このようにして、ユーザはピークのサブピクセル量を移動させ、１つのプロジェクタから別のプロジェクタへピーク及びエッジを適合させ、従ってサブピクセル精度での対応を決定することができる。同様のアプローチは、アンチアライアシングした十字線を多数のピクセルにわたって使用することにより、又は彩度勾配を有する他の画像を使用することにより達成することができる。サブピクセルレベルの対応を決定する自動化技術を使用することもできる。

ここで説明したシステム及び方法は、幅広い幾何学形状の単一のスクリーンに画像を投影する複数のプロジェクタのマッピングのための、極めて実際的な技術をもたらすことは明らかであろう。本システム及び方法は同様に、様々な特定用途に応用可能である。このような用途には、（ａ）プロジェクタ値の設定、（ｂ）ワーピングボックス値の設定、（ｃ）ＥａｓｙＢｌｅｎｄ（商標）ＳＤＫ値の設定、（ｄ）ＯＭＴＥパラメータの設定、Ｎｖｉｄｉａ（グラフィックカード及びエンジン）色曲線パラメータの設定、（ｅ）ＤＯＰＰスクリーンの所望の解像度の設定、（ｆ）１つにまとまっているスクリーン上のベゼルを考慮すること、（ｇ）複数のプロジェクタ、単一プロジェクタ、フラットパネルディスプレイ（例えばγ曲線及び空間彩度の補正）、ホワイトボード／スマートボード、タッチスクリーン及び／又はフライトシミュレータの展開における幅広い使用、が含まれるがこれらに限定されない。

本発明の例示的実施形態の詳細な説明は以上である。本発明の精神及び範囲から逸脱しない限りにおいて、様々な改変及び追加を行うことが可能である。上述した様々な実施形態それぞれを、他の説明した実施形態と組み合わせて、複数の特徴を備えるようにしてよい。更に、以上では、本発明の装置及び方法の別個の実施形態を多数説明したが、ここでの説明は、本発明の原理の応用の単なる例示に過ぎない。例えば、上述したもの以外の追加の補正ステップを使用することができる。これらのステップは特に、使用するディスプレイデバイス及びディスプレイ表面のタイプに基づくものであってよい。更に、人間であるユーザが手順のステップを実行したが、適切な自動化デバイス又は機構、例えば、スクリーンの画像を取得し、従来のプログラムされたビジョンシステムのプロセスをこの画像に対して実行する、マシンビジョンシステムを、人間であるユーザと相互に交換可能なものとして使用することができる、ということも当然考えられる。従って、用語「手動」は、その全体又は少なくとも一部が自動化の補助を受けて実行されもするようなステップを含むものとして幅広く解釈すべきである。同様に、ここで提示した技術を、２つ以上のプロジェクタのシステムの一部であり得る単一のプロジェクタ、又は投影システム内の単一のユニットの較正のために応用することができる、ということも当然考えられる。単一のプロジェクタの較正／整列を実行するにあたり、用語「プロジェクタ」は、単一のプロジェクタ画像の別個の「構成要素」を含むものとして幅広く解釈すべきである。更に、ここで説明した手順及び関数のいずれを、ハードウェア、プログラム実行指示からなるコンピュータ可読媒体を備えるソフトウェア、又はハードウェアとソフトウェアの組み合わせで実装することができる。従って、本説明は単なる例として理解されることを意図したものであり、本発明の範囲を限定することを意図したものではない。

Claims (11)

1. 第１のプロジェクタを介して第1の投影された画像をスクリーンに表示し；
   第２のプロジェクタを介して第２の投影された画像を前記スクリーンに表示し、それによって、第１の投影された画像及び第２の投影された画像がスクリーン上で重複する重複領域を定義し；
   第１のプロジェクタに対応する第１の複数の選択位置を選択し、スクリーン上の重複領域に第１の投影された画像とともに選択された第１の複数の選択位置を表示し、ここで、第１の複数の選択位置は４又はそれ未満の選択位置を含み、
   第２のプロジェクタに対応する第２の選択位置を選択し、スクリーン上の重複領域に第２の投影された画像とともに選択された第２の複数の選択位置を表示し、それによってスクリーン上に表示された第１の複数の選択位置のそれぞれがスクリーン上に表示された第２の複数の選択位置の対応する一つと重複及び対応させるようにし、ここで、第２の複数の選択位置は４又はそれ未満の選択位置を含み、；
   スクリーン上に表示され選択された第１の４又はそれ未満の複数の選択位置及びスクリーン上に表示され重複させられ選択された第２の４又はそれ未満の複数の選択位置を用いて、第１のプロジェクタから第２のプロジェクタへの第１のマッピングを決定し、それによって、第１のプロジェクタ及び第２のプロジェクタの中での共通の座標系を定義し；
   スクリーン上の点に対応する第３の複数の選択位置であって、第３の複数の選択位置のうちの少なくとも一つはスクリーンの角に対応し重複領域の外側にある、第３の複数の選択位置を選択し；
   選択された第３の複数の選択位置を用いて、共通座標系からスクリーンへの第２のマッピングを決定し；
   第１のプロジェクタ及び第２のプロジェクタを介して、第１のマッピング及び第２のマッピングに基づいて画像をスクリーン上に表示する；
   ことを含む、１つ以上のプロジェクタを較正するための方法。
2. 第１の複数の選択位置及び第２の複数の選択位置は重複領域内の任意の位置にある請求項１記載の方法。
3. スクリーンの少なくとも一部分がフラットスクリーン、円筒状スクリーン及び押出成型されたスクリーンからなる群から選ばれる請求項１記載の方法。
4. 第３の複数の選択位置の少なくとも１つは、境界ポイント；カーブ；角；及びエッジ；の少なくとも１つを含む、請求項１記載の方法。
5. 画像を表示するステップは、さらに、第１のマッピング及び第２のマッピングの少なくとも１つへのアップデートに基づいて、表示される画像をリアルタイムでアップデートすることを含む請求項１記載の方法。
6. 第２のマッピングの決定はスクリーンの幾何学形状の少なくとも一部分に基づいて行われる請求項３記載の方法。
7. 第１のマッピングの決定と第２のマッピングの決定とは同時に行われる請求項１記載の方法。
8. 第１及び第２の複数の選択位置を決定することが、重複領域内に異なる色で第１及び第２の複数の選択位置をそれぞれ表示することを含み、これにより、第１及び第２の複数の選択位置の整列の識別を可能にする、請求項１記載の方法。
9. 第１のマッピングを決定することは第１のマッピングを推定すること、並びに、第１及び第２の複数の選択位置に基づいて第１のマッピングの推定を改善すること、を含む請求項１記載の方法。
10. 第１の複数の選択位置及び第２の複数の選択位置が重複領域内にある請求項１記載の方法。
11. 第１の投影された画像をスクリーンに表示するための第１のプロジェクタ；
    第２の投影された画像をスクリーンに表示するための第２のプロジェクタであって、第１の投影された画像及び第２の投影された画像がスクリーン上で重複する重複領域が定義される、前記第２のプロジェクタ；及び
    下記の如く構成されたプロセッサ；を備え、
    前記プロセッサは：
    第１のプロジェクタに対応する第１の複数の選択位置を選択し、スクリーン上の重複領域に第１の投影された画像とともに選択された第１の複数の選択位置を表示し、ここで、第１の複数の選択位置は４又はそれ未満の選択位置を含み、
    第２のプロジェクタに対応する第２の選択位置を選択し、スクリーン上の重複領域に第２の投影された画像とともに選択された第２の複数の選択位置を表示し、それによってスクリーン上に表示された第１の複数の選択位置のそれぞれがスクリーン上に表示された第２の複数の選択位置の対応する一つと重複及び対応させるようにし、ここで、第２の複数の選択位置は４又はそれ未満の選択位置を含み、
    スクリーン上に表示され選択された第１の４又はそれ未満の複数の選択位置及びスクリーン上に表示され重複させられ選択された第２の４又はそれ未満の複数の選択位置を用いて、第１のプロジェクタから第２のプロジェクタへの第１のマッピングを決定し、それによって、第１のプロジェクタ及び第２のプロジェクタの中での共通の座標系を定義し、
    スクリーン上の点に対応する第３の複数の選択位置であって、第３の複数の選択位置のうちの少なくとも一つはスクリーンの角に対応し重複領域の外側にある、第３の複数の選択位置を選択し、かつ
    選択された第３の複数の選択位置を用いて、共通座標系からスクリーンへの第２のマッピングを決定する、
    ように構成され、
    第１のマッピング及び第２のマッピングに基づいて画像がスクリーン上に表示されるよう構成されてなる、
    １つ以上のプロジェクタを較正するためのシステム。

Images