JP6147262B2 - デュアル投影システムの画像位置合わせの不可視性または低い知覚可能性 - Google Patents

Description

関連出願の相互参照
本出願は、２０１１年１０月２０日に出願された米国特許仮出願第６１／５４９５８０号「Ｆａｓｔ Ａｌｉｇｎｍｅｎｔ ｏｆ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｐｒｏｊｅｃｔｉｏｎ（立体視的投影の高速位置合わせ）」の優先権を主張する。上記仮出願の全体は、参照によって本明細書に組み込まれる。

本発明は、一般的には画像投影システムに関し、より詳しくは（ただし、必ずしも排他的であるとは限らないが）、目に見えないか、または知覚されにくい画像位置合わせを有する画像を投影するためのデュアル投影システムに関する。

大スクリーンのための２台のプロジェクタによる投影および立体視的投影の使用が増加しつつある。場合によっては、２台のプロジェクタを使用する従来の方法の代わりに、左眼用画像および右眼用画像を観客の左眼および右眼にそれぞれ供給することができる単一のプロジェクタを用いて、立体視的効果を達成することができる。２台のプロジェクタの困難な位置合わせをなくしたいという要求によって、単一プロジェクタソリューションに対する市場の需要が生じる。しかし、より大きなスクリーンについては、分解能および明るさに関する要求は、４Ｋと同程度の高い分解能および１００．０００ルーメン近くに及ぶことがあり得る。２次元（２Ｄ）表示のための大スクリーンは、２台のプロジェクタが画像照度の許容レベルに達していることを要求することがあり得る。単一プロジェクタ技術は、このような要求に応えるところまで容易に拡大することができないし、また、より大規模なスクリーンは、世界中に何十万とある投影スクリーンのうちの１％未満にすぎない。そのため、予測可能な将来に、市場がこのような単一プロジェクタソリューションに必要とされる開発に大規模な投資を行うことは可能ではない。

それゆえ、４Ｋの分解能と１００，０００ルーメンへ向かう明るさとを要求する大スクリーンは、まだデュアル・プロジェクタ・ソリューションを必要とする可能性がある。大スクリーン投影では、２台のプロジェクタの位置合わせは、困難であり得るが、しかし重要であり得る。プロジェクタを機械的に調整する従来の方法は、機械式位置決めシステムの限られた許容誤差および光学機器の許容誤差のために、大スクリーンにとって満足のいくようなものとはなり得ず、それはプロジェクタの完全な位置合わせを不可能にするおそれがある。ワーピングシステムをプロジェクタのうちの１台に含めることができるので、例えば基準グリッドを用いて、画像が位置合わせされるまで、技能者が幾何補正を電子的に調整することができる。この手動による位置合わせは、煩わしく時間がかかる作業である。いくつかのシステムは自動位置合わせシステムを組み込み、フィードバックカメラを用いた反復処理を行って、システムが自動位置合わせを実行することができる。

２台のプロジェクタシステムは、例えば表示期間内のような相対的に短い時間において発生して画像のずれを引き起こすことがある熱的変化の結果として、２つの投影画像間の画像位置合わせにおける空間変化を体験することができる。例えば、レーザー投影システムは、光学性能の相対的に速い変化を体験して、画像のグローバルな水平、垂直、または回転のずれを引き起こす可能性がある。したがって、表示期間中に観客に見えないように、表示された画像を自動的に再位置合わせする手段を有することは、有益である。

図１は、従来技術の構成を示す。実線の矢付き線は、画像信号経路である。第１のプロジェクタ１および第２のプロジェクタ２を含むプロジェクタペアは、第１の画像生成器４によって供給される左眼用画像および第２の画像生成器５によって供給される右眼用画像などの画像ペアを投影面３上に投影している。ワーピングシステム６は、左眼用画像を幾何学的に修正することができるので、それは右眼用画像と位置合わせするように投影される。ワーピングシステム６は、例えば、動画を表示する期間に、リアルタイムで幾何学的補正をすることができてもよい。カメラ７は、投影面３に投影される画像を記録し、受信したカメラデータを処理することができる較正システム８に、記録された画像データを送ることができて、較正システム８は、幾何学的補正データをワーピングシステム６に送り、数秒あるいは数分にわたる位置合わせ処理を実行する反復性閉ループ・フィードバック・システムの位置合わせに適した較正画像シーケンスを出力する。スイッチ９は、コンテンツ表示のための画像生成器と自動位置合わせのための較正回路の出力との間でプロジェクタを切り換えることができる。この構成は手動による位置合わせを上回る利点であるが、しかし、一度に長時間にわたって動作する大スクリーン装置では、機械部品および光学部品における熱およびそれ以外によって引き起こされた運動のために、動作中に再位置合わせを数回実行する必要があり得るし、観客席がほとんど観客で満席となる場合には、観客に気付かれ気が散る再位置合わせを実行しなければならないことは最適とはいえない。投影システムが画像コンテンツを表示する間に再位置合わせが行われる場合には、観客に見えない方法で位置合わせをすることが望ましい。

システムおよび方法は、上述した障害を克服し、知覚されにくい、または見えない自動位置合わせを提供することが望ましい。それは、いくつかの状況において、１秒の何分の１かの間、較正画像シーケンス表示することができ、それゆえ、実用上しばしば気付かれず、さらにプロジェクタの切り換えおよび閉ループ・フィードバック回路が不要になる。

いくつかの態様は、位置合わせパターンを用いて、画像シーケンスを空間的に位置合わせするためのシステムおよび方法に関する。

一態様では、位置合わせパターンがアクセスされる。位置合わせパターンは、少なくとも１つの位置合わせ特徴を有する。第１のデジタル画像シーケンスのフレームの画像コンテンツの一部分は、少なくとも１つの位置合わせ特徴を用いて、投影システムによって変更される。第１のデジタル画像シーケンスおよび第２のデジタル画像シーケンスは、第１のデジタル画像シーケンスおよび第２のデジタル画像シーケンスが表示される場合に、投影システムによって変更された部分に基づいて、空間的に位置合わせされる。

少なくとも１つの特徴は、少なくとも１つのカラーチャネルである少なくとも１つの位置合わせ特徴を用いて変更された部分を含む。

少なくとも１つの特徴は、上記部分とは異なる第１のデジタル画像シーケンスの後続フレームの画像コンテンツの第２の部分を、投影システムによって変更することを含む。投影システムによって変更された画像コンテンツの部分を有するフレームおよび投影システムによって変更された画像コンテンツの第２の部分を有する後続フレームは、位置合わせパターンの全てを含む。

少なくとも１つの特徴は、少なくとも１つの位置合わせ特徴を有するフレームの部分を変換することを含む。上記部分は、表示される複数のフレームに分配される。上記部分は、ランダムな空間的シーケンスを有する。

少なくとも１つの特徴は、上記部分の少なくとも一部を少なくとも１つの位置合わせ特徴に置き換えることによって、第１のデジタル画像シーケンスのフレームの画像コンテンツの部分を変更することを含む。上記部分は、少なくとも１つの位置合わせ特徴の周囲に黒色画像画素を有する。

少なくとも１つの特徴は、少なくとも１つの位置合わせ特徴と置き換えられる部分の少なくとも一部に実質的に対応する平均照度レベルを有する、上記部分の範囲内の少なくとも１つの位置合わせ特徴を含む。

少なくとも１つの特徴は、少なくとも１つの位置合わせ特徴と置き換えられる部分の少なくとも一部に対応する平均カラーバランスを有する、上記部分の範囲内の少なくとも１つの位置合わせ特徴を含む。

少なくとも１つの特徴は、ガウス照度プロファイルを有する、少なくとも１つの位置合わせ特徴を含む。

少なくとも１つの特徴は、取り込まれた第２の画像シーケンスフレームとして、位置合わせパターンを含む位置合わせ画像データを用いて変更され、表示された第２のデジタル画像シーケンスフレームを、取り込むことを含む。位置合わせ画像データを用いて変更され、表示された第１のデジタル画像シーケンスは、取り込まれた第１の画像シーケンスフレームとして取り込まれる。一組の変換ベクトルは、取り込まれた第２の画像シーケンスフレームと取り込まれた第１の画像シーケンスフレームとの位置合わせ画像データ間の空間的差異に基づいて、決定される。第１のデジタル画像シーケンスの表示された第１の画像および第２のデジタル画像シーケンスの表示された第２の画像は、一組の変換ベクトルを用いて空間的に位置合わせされる。

少なくとも１つの特徴は、少なくとも１つのカラーチャネルの画像フレーム全体である上記部分を含む。

少なくとも１つの特徴は、上記部分の少なくとも一部を少なくとも１つの位置合わせ特徴に置き換えることによって、第１のデジタル画像シーケンスのフレームの画像コンテンツの上記部分を変更することを含む。少なくとも１つの位置合わせ特徴は、少なくとも１つのカラーチャネルの高周波成分を有する。上記部分は、少なくとも１つの位置合わせ特徴の周囲に画像コンテンツ画素を有する。画像コンテンツ画素は、少なくとも１つのカラーチャネルの低周波画像コンテンツである。

別の態様では、位置合わせデータを用いて変更された画像コンテンツを有する表示された第１の画像シーケンス・コンテンツ・フレームは、取り込まれた第１の画像シーケンスフレームとして取り込まれる。位置合わせデータを用いて変更された画像コンテンツを有する表示された第２の画像シーケンスフレームは、取り込まれた第２の画像シーケンスフレームとして取り込まれる。一組の変換ベクトルは、取り込まれた第２の画像シーケンスフレームと取り込まれた第１の画像シーケンスフレームとの位置合わせデータ間の空間的差異に基づいて、決定される。第１の画像シーケンスの表示された第１の画像および第２の画像シーケンスの表示された第２の画像は、一組の変換ベクトルを用いて空間的に位置合わせされる。

少なくとも１つの特徴は、変更された第１の画像シーケンスフレームおよび変更された第２の画像シーケンスフレームを生成するために、第１の画像シーケンスの、および第２の画像シーケンスの少なくとも１つのフレームの画像コンテンツを、位置合わせデータを用いて変更することを含む。変更された第２の画像シーケンスフレームは、ワープされた第２の画像シーケンスフレームを生成するために、格納された変換データを用いてワープされる。ワープされた第２の画像シーケンスフレームは、表示された第２の画像シーケンスフレームとして表示され、変更された第１の画像シーケンスフレームは、表示された第１の画像シーケンスフレームとして表示される。格納された変換データは、更新された変換データを生成するために、一組の変換ベクトルを用いて更新される。第１の画像シーケンスの表示された第１の画像および第２の画像シーケンスの表示された第２の画像を空間的に位置合わせすることは、更新された変換データを用いることを含む。

少なくとも１つの特徴は、少なくとも１つの位置合わせ特徴を有する位置合わせパターンを含む位置合わせデータにアクセスすることによって、第１の画像シーケンスの、および第２の画像シーケンスの少なくとも１つのフレームを、位置合わせデータを用いて変更することと、少なくとも１つの位置合わせ特徴を用いて、投影システムによって第１の画像シーケンスのフレームの画像コンテンツの一部分を変更することと、を含む。第１の画像シーケンスおよび第２の画像シーケンスは、デジタル画像データをそれぞれ含む。第１の画像シーケンスおよび第２の画像シーケンスは、第１の画像シーケンスおよび第２の画像シーケンスを表示する場合に、投影システムによって変更された部分に基づいて、空間的に位置合わせされる。

少なくとも１つの特徴は、位置合わせパターンを含む位置合わせデータにアクセスすることによって、第１の画像シーケンスの、および第２の画像シーケンスの少なくとも１つのフレームを、位置合わせデータを用いて変更することと、位置合わせパターンを用いて、第１の画像シーケンスのフレームの画像コンテンツの第１の部分を変更することと、位置合わせパターンを用いて、第１の部分とは異なる第１の画像シーケンスの後続フレームの画像コンテンツの第２の部分を変更することと、を含む。位置合わせパターンを用いて変更された第１の部分を有するフレーム、および位置合わせパターンを用いて変更された第２の部分を有する後続フレームは、位置合わせパターンの全てを含む。

少なくとも１つの特徴は、第１の画像シーケンスおよび第２の画像シーケンスの各々の少なくとも１つのフレームの画像データ上に、画像データ上に位置合わせデータの透かしを入れるための空間的符号化または画像データ上に位置合わせデータの透かしを入れるための時間領域符号化のうちの１つによって、位置合わせデータの透かしを入れることに基づいて、第１の画像シーケンスの、および第２の画像シーケンスの少なくとも１つのフレームを変更することを含む。位置合わせデータは、透かしが入ったフレームを含む、取り込まれた第２の画像シーケンスフレームまたは取り込まれた第１の画像シーケンスフレームの少なくとも一方から抽出される。

少なくとも１つの特徴は、位置合わせデータと位置合わせデータを用いた変更を含む取り込まれた第２の画像シーケンスフレームとの差異に基づいて、第１の組の変換ベクトルを決定することを含む。第２の組の変換ベクトルは、位置合わせデータと位置合わせデータを用いた変更を含む取り込まれた第１の画像シーケンスフレームとの差異に基づいて、決定される。第１の画像シーケンスの表示された第１の画像および第２の画像シーケンスの表示された第２の画像は、第１の組の変換ベクトルおよび第２の組の変換ベクトルを用いて空間的に位置合わせされる。

少なくとも１つの特徴は、取り込まれた第１の画像シーケンスフレームおよび取り込まれた第２の画像シーケンスフレームの位置合わせ特徴の重心を、低解像度イメージセンサを用いて決定することを含む。

別の態様では、デュアルディスプレイ投影システムが提供される。デュアルディスプレイ投影システムは、メモリユニットおよびプロセッサデバイスを有するサーバを含む。メモリユニットは、第１の画像シーケンス、第２の画像シーケンス、および少なくとも１つの位置合わせ特徴を有する位置合わせパターンである位置合わせデータを格納することができる。プロセッサデバイスは、少なくとも１つの位置合わせ特徴を用いることによって、第１の画像シーケンスのフレームの画像コンテンツの一部分を変更することができる。プロセッサデバイスは、第１の画像シーケンスおよび第２の画像シーケンスを表示する場合に、変更された部分に基づいて、第１の画像シーケンスおよび第２の画像シーケンスを空間的に位置合わせすることができる。

少なくとも１つの特徴は、変更された第２の画像フレームを作成するために、位置合わせパターンを含む位置合わせデータを用いて、第２の画像シーケンスの第２のフレームの画像コンテンツを変更し、ワープされた第２の画像フレームを生成するために、格納された変換データを用いて、変更された第２の画像フレームをワープするように構成されるプロセッサデバイスを含む。システムは、第１の表示デバイス、第２の表示デバイス、イメージセンサ、および較正回路を含む。第１の表示デバイスは、ワープされた第２の画像フレームを表示することができる。第２の表示デバイスは、第１の画像シーケンスの変更されたフレームを表示することができる。イメージセンサは、取り込まれた第２の画像フレームおよび取り込まれた第１の画像フレームとして、表示されたワープされた第２の画像フレームおよび表示された変更されたフレームを取り込むことができる。較正回路は、取り込まれた第２の画像フレームと取り込まれた第１の画像フレームとの位置合わせ画像データ間の空間的差異に基づいて、一組の変換ベクトルを決定することができる。プロセッサデバイスは、更新された変換データを生成するために、一組の変換ベクトルを用いて、格納された変換データを更新し、第１の画像シーケンスの表示された第１の画像および前記第２の画像シーケンスの表示された第２の画像を、更新された変換データを用いて空間的に位置合わせするように構成される。

少なくとも１つの特徴は、表示されたワープされた第２の画像コンテンツフレームおよび表示された変更されたフレームを取り込むために同期するように構成されるイメージセンサを含む。

少なくとも１つの特徴は、カメラであるイメージセンサを含む。

少なくとも１つの特徴は、立体画像シーケンスである第１の画像シーケンスおよび第２の画像シーケンスを含む。

これらの例示的な態様および特徴は、本発明を限定または定義するためではなく、本開示において開示される発明の概念の理解を助けるための実施例を提供するために記述される。本発明の他の態様、利点および特徴は、本開示全体のレビューの後に明らかになろう。

投影システムの従来技術の構成を示す。 本発明の一態様による投影システムの構成を示す。 本発明の一態様に係る投影システムの較正回路の動作のフローチャートを示す。 本発明の一態様に係る位置合わせ画像要素の一例を示す。 本発明の一態様に係る位置合わせのためのパターンの一例を示す。 本発明の一態様に係る感知画像の一例を示す。 本発明の一態様に係る制御点画像の拡大したセグメントを示す。 本発明の一態様に係る、変換ベクトルが格納され得るテキストファイルの抜粋の一例を示す。 本発明の一態様に係る、ワーピング変換ベクトルへの変更を決定するために使用可能な位置合わせパターンを示す。 本発明の第２の態様に係る、ワーピング変換ベクトルへの変更を決定するために使用可能な位置合わせパターンを示す。 本発明の一態様に係る、空間的に位置合わせする画像シーケンスのフローチャートを示す。 本発明の一態様に係る、変換ベクトルを用いて空間的に位置合わせする画像シーケンスのフローチャートを示す。

図２は、投影システムの一態様を示し、実線の矢付き線は画像信号経路である。第１のプロジェクタ１は、例えば右眼用表示画像などの第１の画像シーケンスを投影面３上に投影することができ、第２のプロジェクタ２は、例えば左眼用表示画像などの第２の画像シーケンスを投影面３上に投影することができる。二次元の（２Ｄ）システムにおいて、第１および第２の画像は、より明るい画像またはより大きな画像のために完全に、または、部分的に重畳することができる。完全に、または、部分的に重畳された画像を用いるデュアルプロジェクタ２Ｄ表示では、画像シーケンスは、第１および第２のプロジェクタのための第１および第２の画像シーケンスを作成するために用いることができる。３次元（３Ｄ）システムでは、３Ｄ画像シーケンスは、立体視画像シーケンスのための、右眼用画像シーケンスのための第１の画像シーケンスおよび左眼用画像シーケンスのための第２の画像シーケンスであってもよい。以下の説明では、第１の画像シーケンスは右眼用画像に関し、第２の画像シーケンスは左眼用画像に関するが、しかし、記載されたシステムおよび処理はデュアルプロジェクタ２Ｄ表示システムに用いることができる。

左の画像生成器４は、左眼用遠近画像のデジタル表現を出力することができ、右の画像生成器５は右眼用遠近画像のデジタル表現を出力することができる。左の画像生成器４および右の画像生成器５は、同期メディアサーバまたはデジタル映画サーバであってもよく、あるいは、それらは統合された立体視メディアサーバまたは映画サーバの一部であってもよい。右の画像生成器５の出力は、第１のプロジェクタ１の入力に接続され得る。左の画像生成器４の出力は、ワーピングシステム６に接続され得る。ワーピングシステムはプロセッサを有することができ、あるいは、時にはワーピングプロセッサまたはワーピング回路と呼ばれ、格納された幾何学的変換データに基づいて、デジタル画像の幾何学的形状を変更することができ、また、ワーピングシステム６に入力されている一組の変換ベクトルに基づいて格納された幾何学的変換データを変更することができる。ワーピングプロセッサに格納された変換データは、第２のプロジェクタ２の入力に接続され得るワーピング回路６の出力であってもよい。ワーピングシステム６は、ＥｙｅＶｉｓ社のＯｐｅｎＷａｒｐ２システムまたはＢａｒｃｏ社のプロジェクタに埋め込まれたＷａｒｐ（商標）システムであってもよい。

一実装例では、右の画像生成器５または右のサーバは、参照右画像をメモリに格納することができる。左の画像生成器４または左のサーバは、参照左画像をメモリに格納することができる。サーバは、参照位置合わせ画像「Ｒ」を格納することができ、それは位置合わせ特徴を有する位置合わせパターンを含む位置合わせデータを有してもよい。サーバは、参照位置合わせ画像Ｒから参照右画像および参照左画像を算出するためのプロセッサを有してもよい。参照右画像は、参照位置合わせ画像Ｒの第２のカラーチャネルの全ての画素を黒色に設定し、Ｒの第３のカラーチャネルに位置合わせデータを設けることにより参照位置合わせ画像Ｒを変更することによって算出することができる。位置合わせデータは、単色の位置合わせ画像Ａであってもよい。参照左画像は、参照位置合わせ画像Ｒの第３のカラーチャネルの全ての画素を黒色に設定し、第２のカラーチャネルに位置合わせデータを設けることにより参照位置合わせ画像Ｒを変更することによって算出することができる。参照画像Ｒは、第２のカラーチャネルに、第３のカラーチャネルと同一の画像であってもよい単色の位置合わせ画像「Ａ」を含むことができる。参照位置合わせ画像Ｒは、少なくとも１つの容易に認識可能な形状、例えばテキストまたは幾何学的なシンボルを第１のカラーチャネルに含むトリガシンボルをさらに含むことができる。左の画像生成器４および右の画像生成器５は、表示中の所定の時刻に所定の期間において、例えば動画の開始直前の１／２４秒の期間において、参照左画像および参照右画像を出力することが可能であってもよい。あるいは、または、さらに、サーバは、操作者または自動システムからのトリガ信号を受信した場合に、参照左画像および参照右画像を出力することが可能であってもよい。

カメラ７は、投影面３上へ投影された画像を感知し、感知画像「Ｓ」を定期的に、例えば毎秒３０回、較正回路８に出力することができるカラーカメラであってもよい。あるいは、カメラ７は、それが操作者、自動システムまたは較正回路８からトリガ信号を受信した場合に、Ｓを感知し出力してもよい。他の態様では、トリガシンボルが投影スクリーン３上に検出された場合に、カメラ７にトリガ信号を送ることができるパターン認識動作を行うように、ビデオカメラまたはウェブカメラを構成することができる。カメラ７は、高解像度ビデオカメラ、例えばマシンビジョンＨＤカメラ、またはＲｅｄ Ｏｎｅなどの超高解像度ビデオカメラであってもよく、あるいは、外部トリガ機能を有する静止画像カメラ、例えばキヤノンＥＯＳ５５０であってもよく、それは、画像を連続的に記録して、トリガがかかる前に記録された画像を出力することができる「プリシュート」機能を有することができる。これによって、トリガシンボルが表示されてからカメラ７がトリガされるまでの経過時間を許容することができる。

上述した一実装例では、左または右の参照画像の１つのカラーチャネルの１フレームの全体は、１台のプロジェクタのための全ての参照位置合わせデータを有することができ、別のチャネルのカラーフレームの全体は、第２のプロジェクタのための全ての位置合わせデータを有することができる。速い位置合わせのために、カメラが位置合わせデータを有する画像フレームを感知し取り込む１フレーム期間に、位置合わせデータを有するカラーフレームの各々を表示することができる。

別の実装例では、１フレーム全体としての表示シーケンス内に全ての位置合わせデータを挿入する代わりに、左および右のサーバは、例えば黒色画素で縁取りされた位置合わせ特徴などの、位置合わせデータの一部だけが、各プロジェクタに関係する各画像シーケンスの１フレーム期間の表示画像の対応する部分を置き換えるように、表示画像を変更することができる。１つのカラーチャネルのための画像表示のフレームを変更することは、画像表示データが赤緑青（ＲＧＢ）フォーマットであれば、実行することができる。しかし、同じ位置合わせ特徴について１つのフレームに関する全てのカラーチャネルを変更することが可能であってもよい。位置合わせデータの異なる部分について同じ方法で後続フレームを変更することによって、異なる位置合わせ特徴について、位置合わせ特徴を有する位置合わせデータの全ての部分は、ある時間の後、各プロジェクタについて表示され、カメラによって感知され取り込まれることができる。位置合わせデータをより小さい部分に分けて、黒色画素領域に囲まれた位置合わせ特徴が存在する部分のみを表示することによって、位置合わせデータが表示コンテンツに与える可能性がある影響を最小化することができる。表示されている位置合わせデータの各部分に黒色画素を設けることによって、表示画像データから位置合わせデータをより容易に検出し分離することが可能になり得る。

観客から気付かれることによる、表示画像中の位置合わせデータの影響をさらに最小化するために、表示データに挿入される位置合わせデータの平均輝度は、位置合わせデータと置き換えられている画像表示の部分と同様の平均画像輝度を有することができる。影響を最小化する別の方法は、位置合わせデータを、それが置き換える表示画像の部分と同じ平均色にすることである。位置合わせデータのフレームをより短い期間で表示するように、より高いフレームレートを用いることによって、その影響をさらに低減することができ、それは視聴者による位置合わせデータの可視性をさらに低減することができる。フレームレートが十分に高い場合には、１フレームが表示される時間の長さを人間が視覚的に知覚できる時間より短くすることができる。位置合わせデータの影響を減らす別の方法は、観客が認識可能かもしれない反復する一時的パターンのいかなるタイプをも有しないように、位置合わせ画像の異なる特徴をランダムに表示することである。知覚可能性をさらに最小化または除去するための空間的位置合わせの特定のタイプを容易にするために、位置合わせデータを詳細に最小化し、サイズを小さくすることができる。例えば、グローバルな垂直または水平方向のずれについては、第１および第２の画像シーケンスに対して１つの位置合わせドットを用いることができる。回転の位置合わせのためには、少なくとも２つの位置合わせドットを用いることができる。位置合わせドットは、画像の外側の端に向かって配置することができる。

表示画像フレームが表示画像コンテンツデータでないデータを含むように変更される場合には、画像フレームを透かしの入った画像フレームと呼ぶことができる。透かしの入ったフレームは、観客には見えない符号化情報を有することができる。しかし、透かしに入れることは、符号化情報が低い知覚可能性を持つように実現することもできる。すなわち、いくつかの視覚的に鋭い観客は画像フレームに透かしが入っていることに気付くことができるが、他の観客は画像フレームに透かしが入っていることに気付くことができないようにすることもできる。観客が透かしの入ったフレームを見ることができない場合には、透かしの入ったフレームは目に見えない透かしの入ったフレームであり得る。観客が透かしの入ったフレームを見ることができる場合には、透かしの入ったフレームは目に見える透かしの入ったフレームであり得る。

別の実装例では、画像データの画素値をわずかに変更することによって、位置合わせデータまたは位置合わせデータの特徴を表示画像データに符号化することができる。例えば、画像の画素値は、位置合わせデータに基づいてわずかにより明るくし、またはわずかにより暗くすることができる。この方法によって、より見えにくく、おそらく全ての観客は見ることができない透かしの入ったフレームになる。このタイプの符号化では、位置合わせデータを容易に抽出できるようにするための黒色画素を位置合わせデータの周囲に設けることができない。わずかに変更された画像画素からの位置合わせデータの抽出は、より困難になるおそれがある。画像シーケンス内の変更された参照画像フレームを生成するために、位置合わせデータの画像データへの符号化は、サーバ内のプロセッサによって実行することができる。表示された透かしの入った画像は、カメラ７などのイメージセンサによって見ることができる。カメラは透かしの入った画像を取り込むようにトリガされ、較正回路８は位置合わせデータを有する透かしの入った画像を格納することができる。較正回路８は、透かしの入った画像から位置合わせデータを抽出する付加的な処理を実行することができる。透かしの入った画像から位置合わせデータを抽出する処理は、透かしを用いて変更される前のフレームの元の画像を使用することができる。この状況では、抽出を実行するプロセッサは、元の画像を受信し、透かしが入る前に受信された元の画像に対応する透かしの入った画像との差異を比較することができる。この差異は、位置合わせデータを含むことができる。用いられた透かしは、空間的位置合わせ情報を伝達することができる。例えば、空間的符号化方法または時間領域符号化方法を用いる透かしは、透かしによる位置合わせデータを伝達することができる。画像コンテンツの周波数領域を変更する方法による透かしは、空間的位置合わせ情報を符号化するためには適さない可能性があり、空間的画像位置合わせデータを伝達するために用いることができない場合がある。

いくつかの態様では、トリガ信号は１つのカラーチャネル上の特定の画像／シンボルであってもよく、あるいは、トリガ信号は位置合わせデータまたは透かしの入った画像の一部分であってもよい。例えば、位置合わせデータは、特定の空間プロファイルおよび／または光分布プロファイルを有してもよい。

図２の投影システムの較正回路８は、プロセッサおよびメモリユニットを有することができる。メモリは、参照位置合わせ画像Ｒのコピーを記憶することができる。感知画像Ｓ中のトリガシンボルの存在を較正回路８が検出すると、較正が開始されて、較正回路プロセッサがＳを参照位置合わせ画像Ｒと比較し、一組の投影位置合わせ変換ベクトルＶｐを算出し、Ｖｐをワーピングシステム６に送り、そして、一組の有効な位置合わせ変換ベクトルが存在するという信号を送ることができて、格納された幾何学的変換データを更新するようにワーピングシステム６を起動することができる。あるいは、較正は操作者または自動システムからのトリガ信号によって開始されてもよく、トリガシンボルは省略されてもよい。

位置合わせ方法は、第１の投影画像の第２のカラーチャネルは全ての位置合わせデータを有し、第２のプロジェクタの第３のカラーチャネルは全ての位置合わせデータを有し、第１のカラーチャネルはトリガ画像を有する、フレーム全体に基づいてもよい。本方法は、２つの表示された画像シーケンスの間で位置合わせを達成するために、位置合わせ特徴が多くの画像表示フレームに分配される位置合わせデータに適用することができる。

図３は、位置合わせデータが各画像シーケンスの１フレームの１つのカラーチャネルに符号化される場合の、較正回路８の動作の一例のフローチャートを示す。較正回路は、カメラ７から感知画像Ｓを受信すると、トリガシンボルが感知された画像Ｓに存在するかどうかを調べることができる。トリガシンボルが存在する感知画像Ｓが受信されると、較正回路は、特徴マッチング動作のために、Ｓの第２のカラーチャネルのコンテンツをソース入力画像（Ｉｓ）の全てのカラーチャネルへコピーすることができ、そして特徴マッチング動作のために、参照位置合わせ画像Ｒの第２のカラーチャネルをターゲット入力画像（Ｉｔ）の全てのカラーチャネルにコピーすることができる。Ｉｔは位置合わせ画像Ａを含むことができ、第２のプロジェクタ２によって投影され、カメラ７によって感知された後に、Ｉｓは位置合わせ画像Ａを含むことができる。特徴マッチング動作は、ＩｓおよびＩｔを入力として実行されることができ、一組のベクトルＶがＩｓの位置合わせ特徴をＩｔの対応する位置合わせ特徴を用いる位置合わせに導入する変換を記述するように、一組のベクトルＶが算出されることができる。Ｖは、第１の組の変換ベクトルＶ１にコピーされることができる。特徴マッチングは、例えばスケール不変特徴変換アルゴリズムにより、または、このテキストの以下に示す動作によって実行されることができる。次のステップでは、第１の組の変換ベクトルＶ１を用いてＳをワープすることによって、Ｓの登録されたバージョン（Ｓｒ）を、ワーピングプロセッサにより算出することができ、その結果、Ｓの第２のカラーチャネルの位置合わせ特徴は、参照位置合わせ画像Ｒの位置合わせ特徴の第２のカラーチャネルの特徴と共に登録される。較正回路に関する次のステップは、参照位置合わせ画像Ｒの第３のカラーチャネルをＩｓの全てのカラーチャネルにコピーし、Ｓｒの第３のカラーチャネルをＩｔの全てのカラーチャネルにコピーし、一組のベクトルＶを更新して、再び特徴マッチング動作を実行することを含むことができる。Ｖは、第２の組の変換ベクトルＶ２にコピーされることができる。Ｖ２は、Ｒの第３のカラーチャネルの特徴を、Ｓｒの第３のカラーチャネルの特徴を伴って登録することができる変換を表現することができ、そして、参照左画像の投影をもたらすことができる参照左画像の、参照右画像の投影との位置合わせへの変換を表現することができる。Ｖ２はＶｐへコピーされることができ、それからＶｐは再スケールされることができる。そうして、ソース点およびターゲット点は画像を参照し、（Ｘ，Ｙ）＝（０，０）は右下コーナーを示し、（Ｘ，Ｙ）＝（１，１）は左上コーナーを示す。すなわち、Ｖｐの要素の全てのＸ座標はＲの幅によって分割され、要素の全てのＹ座標はＲの高さによって分割される。再スケーリングは、結果として参照位置合わせ画像Ｒから独立している一組の投影変換ベクトルＶｐを生成することができ、Ｖｐは市販のワーピングシステムと互換性を持つ。さらに、ワーピング回路６が入力としてベクトルの規則的なパターンを必要とする場合には、付加的な要素はＶｐの他の要素間の補間によってＶｐに追加されることができる。それから、Ｖｐはワーピング回路６に出力されることができ、較正回路８は有効な一組の変換ベクトルが存在することをワーピング回路６に信号で伝えることができる。

黒色画素で縁取りされた位置合わせ画像Ａの一部が表示画像の対応する部分を置き換える一実装例では、参照位置合わせ画像Ａの対応する部分との特徴マッチング動作において、位置合わせデータが識別され、抽出され、使われることができる。位置合わせ画像の全ての部分が感知され取り込まれた場合には、位置合わせ画像の取り込まれた部分と参照位置合わせ画像Ａの対応する部分との完全な特徴マッチング動作は、較正回路において実行されることができる。

位置合わせ画像Ａは、グリッドまたはパターンを含むことができる。一態様では、位置合わせ画像は、特徴検出およびマッチングのために最適化された少なくとも１つのパターン要素Ｅに配列されるいくつかのドットを有するパターンＰを含み、パターンＰのために最適化されたアルゴリズムによって、特徴検出およびマッチングを実行することができる。位置合わせ画像Ａの第１のカラーチャネルは、トリガシンボルを含んでもよい。第２のカラーチャネルは、パターンＰを含んでもよい。第３のカラーチャネルのコンテンツは、第２のカラーチャネルのコンテンツと同一であってもよい。

図４は、単純で正確で速い特徴検出および回転、スケーリング、歪み、ノイズおよび閉塞に対してロバストなマッチングを可能にする画像要素Ｅの一例を示す。多くのドットが、水平および垂直に等間隔に置かれた１０×１０のドットのパターンに配列される。ドットは小さくてもよく、あるいは大きくてもよい。そして、大小のドットの分布はＰの範囲内における要素Ｅの位置によって変化するが、しかし、ドットの位置は変化しない。Ｐの全ての要素において、中心のドット、すなわちアンカドット１０は大きくて、要素の他のいかなるドットよりも大きいドットである隣接したより多くのドットを有する。アンカドット１０は、要素において第１の点を識別するために用いられることができる。方向ドット１１は、パターンＰ対する要素の方向を識別するために用いられることができる。上方ドット１２、右方ドット１３、下方ドット１４および左方ドット１５は、要素Ｅの残りのドットを検索するためのベクトルを算出するために用いられることができる。ドットの第１の組１６は要素列番号により要素Ｅにラベルを付けるために用いられることができる。そして、ドットの第２の組１７は要素行番号により要素Ｅにラベルを付けるために用いられることができる。ドットの第１の組１６およびドットの第２の組１７は、小さいドットが０を表現し、大きいドットが１を表現する２進数を各々表現することができる。ドットの第１の組１６の要素およびドットの第２の組１７の要素は、隣接して位置しない。この構成により、アンカドット１０だけが、要素Ｅのいかなるインスタンスにおける他のいかなるドットよりも、より多くの隣接した大きいドットを有することを確実にすることができる。ドット列番号は、パターンＰにおけるドットの列を示し、要素列番号に１０を乗ずることによって、アンカドット１０について算出されることができる。ドット行番号は、パターンＰにおけるドットの行を示し、要素行番号に１０を乗ずることによって、アンカドット１０について算出されることができる。ドット列番号およびドット行番号は、要素Ｅのインスタンスのアンカドット１０に対するドットの列位置および行位置を要素列番号および要素行番号にそれぞれ加えることによって、要素Ｅのインスタンスの残りのドットについて算出されることができる。

図５は、１０列および５行に配置された５０の要素を含むパターンＰの一例を示す。列はゼロから最終列まで番号が付され、この例では最終列は９である。行はゼロから最終行まで番号が付され、この例では最終行は４である。要素Ｅの各インスタンスＰは、ドットの第１の組の大小のドットの分布によって符号化された２進数による要素列番号と、ドットの第１の組の大小のドットの分布によって符号化された２進数によって符号化された要素行番号とによって、ラベルを付けられる。一実施例では、図５の列１および行０の要素Ｅは、要素Ｅの中心の大きいドット５６と関連する図４の大きいドットの組１６の１つの大きいドット５４を有し、この大きいドット５４は列番号を表現し、この場合には１を表現する。この要素Ｅは行０にあるので、中心の大きいドット５６と関連する図４の大きいドットの組１７の大きいドットはなく、行番号０を示す。図５の各要素Ｅの列および行は、要素の列を識別するために図４のドットの組１６を用いて、また要素の行を識別するために図４のドットの組１７を用いて、一意的に識別されることができる。

図６は、感知画像Ｓの一例を示す。図の３つの画像は、感知画像の第１、第２および第３のカラーチャネルをそれぞれ示す。第１のカラーチャネルは、参照位置合わせ画像Ｒの第１のチャネルから生じ、第２のプロジェクタ２によって投影されるトリガシンボルを含み、第２のチャネルは、参照位置合わせ画像Ｒの第２のチャネルから生じ、第２のプロジェクタ２によって投影されるパターンＰを含み、そして、第３のチャネルは、参照位置合わせ画像Ｒの第３のチャネルから生じ、第１のプロジェクタ１によって投影されるパターンＰを含む。

特徴マッチング動作は、入力画像（Ｉ）にＩｓをコピーすることと、Ｉの制御点位置のテーブルＣＰおよびエントリが有効な制御点位置を保持しているかどうかを示すエントリごとのブーリアン有効フラグを算出する特徴抽出動作を実行することと、ソース制御点位置のテーブルＳＣＰにＣＰをコピーすることと、ＩｔをＩにコピーすることと、再び特徴抽出動作を実行することと、Ｉの制御点位置のテーブルＣＰおよび有効フラグを更新することと、そしてターゲット制御点位置のテーブルＴＣＰにＣＰをコピーすることと、を含むことができる。マッチングした特徴はパターンＰのドットであってもよく、特徴マッチング動作は、算出されたドット列番号およびドット行番号に従ってエントリをテーブルＣＰに配置してもよい。ＳＣＰのエントリおよびＴＣＰの対応するエントリにより繰り返すことによって、一組の変換ベクトルＶを算出することができる。そして、ＳＣＰのエントリの有効フラグが真であり、かつ、ＴＣＰのエントリの有効フラグが真である場合には、ＳＣＰの現在のエントリに格納された位置からＴＣＰの対応するエントリに格納された位置までのベクトルを算出することによって、一組の変換ベクトルＶを算出することができる。いくつかの態様に係る特徴マッチング動作は、以下の１６のステップを含むことができる。

ステップ１：制御点画像Ｃの全ての画素値を初期値の黒色に設定する。

ステップ２：例えば、２５％のグレーとすることができる閾値Ｔによる閾値処理によって、Ｉのカラーチャネルからバイナリマスクを作成する。あるいは、他のセグメンテーション方法、例えば領域拡張、Ｋ平均セグメンテーションまたはヒストグラムに基づくセグメンテーションなどを用いることができる。正規化、平均もしくはメジアンフィルタリング、または他のタイプのフィルタリングが、セグメンテーションに含まれてもよい。正規化は、黒色点画像と白点画像との対応する画素の値の間で画素値をスケーリングすることを含んでもよく、この場合には、黒色点画像はＩの侵食されたバージョンとして算出され、白点画像はＩの拡張されたバージョンとして算出される。

ステップ３：Ｉのカラーチャネルを用いてバイナリマスクを乗算し、その結果をグレースケール画像に入れる。

ステップ４：グレースケール画像の画素によって繰り返す。全ての画素について、現在の画素をシード点として領域拡張を実行し、一組の画素を識別する。領域拡張は、ムーア近傍の全ての接続された黒色でない画素について再帰的に繰り返すことによって、実行されることができる。それから、画素の組は、高い確率で、１つのドットおよび１つのドットのみを含むことができる。ドット（Ｘｃ，Ｙｃ）の中心は、画素の組の重心として、画素の１／２５６の精度で算出されることができる。すなわち、Ｘｃは画素の組の全ての画素のＸ位置の重み付け平均であり、Ｙｃは画素の組の全ての画素のＹ位置の重み付け平均であり、ここで重みは対応する画素の画素値である。ドットの直径Ｄは、Ｄ＝２＊ｓｑｒｔ（Ａ／Ｐｉ）として、１つの画素の精度で算出されることができる。ここで、Ａは画素の組の画素の総数である。（Ｘｃ，Ｙｃ）に対する最近接（Ｘｎ，Ｙｎ）は、ＸｃおよびＹｃを切り捨てることによって見出されることができる。最近接（Ｘｎ，Ｙｎ）に対応するＣの画素は、色値（Ｐｒ，Ｐｇ，Ｐｂ）に設定されることができる。ここで、Ｐｇ＝１２８＋Ｄであり、Ｐｒは、水平方向の１／２５６のサブピクセル・オフセット、Ｐｒ＝（Ｘｃ―Ｘｎ）＊２５６として算出され、Ｐｂは、垂直方向の１／２５６のサブピクセル・オフセット、Ｐｂ＝（Ｙｃ―Ｙｎ）＊２５５として算出される。それから、画素の組の全ての画素を黒色に設定することができて、グレースケール画像の画素による繰返しが継続することができる。

ステップ５：制御点画像Ｃは、入力画像がより明るい色値に設定されたドット中心を有し、その色値がサブピクセルを用いてドット直径およびドット中心に関する情報を与える位置の画素を有する黒色背景を含む。図７は、示されたアンカドットに対するドット列およびドット行位置を有する制御点画像Ｃの一例の拡大したセグメントの単色バージョンを示す。画素の緑のチャネルは、ドットの直径に１２８を加えた値を有する。画素の赤および青のチャネルは、画素の位置に対して、Ｘ方向およびＹ方向のサブピクセル・オフセットを保持する。Ｃ画像の画素による反復を実行することができる。現在の画素の色が黒色である場合には、ドットがこの位置において識別されなかったことを意味しており、ステップ５が繰り返される。非黒色画素が見出された場合には、動作はステップ６に進む。

ステップ６：現在の画素からのチェビシェフ距離によって分類される１２の最近接の非黒色画素の位置を含む近接リストを作成する。最も近い画素は、最も小さいチェビシェフ距離を有する画素であってもよい。現在の画素からのチェビシェフ距離を増加させながら、現在の画素を取り囲む画素について繰り返すことによって、このステップを実行することができる。

ステップ７：近接リスト中の、緑のチャネルの画素値によって分類される画素の緑のチャネルの画素値を含む緑値リストを作成することによって、ドット識別器閾値Ｔを算出する。以前のエントリからの値の増加が最大である場合に、緑値リストのエントリが識別され、Ｔは、識別されたエントリの値と以前のエントリの値との平均に設定される。Ｉが極端に歪められていない場合には、近接リストが大小両方のドットに対応する画素位置を含むことができるので、そして、ドットの直径Ｄが緑のチャネルに符号化されるので、近接リストのエントリに対応するドットが大きいか小さいかを決定するために、算出されたＴを用いることができる。

ステップ８：現在の画素に対応するドットの７つの最近接ドットが全て大きいドットであるかどうか調べることにより、現在の画素に対応するドットがアンカドットであるかどうか決定する。近接リスト中の最初の７つのエントリに対応する画素が全てＴより大きい緑のチャネル値を有するかどうか調べることによって、これを実行することができる。Ｉが極端に歪められていない場合には、アンカドットについてのみ、これは真であり得る。現在の画素に対応するドットがアンカドットである場合には、ステップ９に進む。さもなければ、ステップ５に進み、Ｃの画素による繰返しにおいて次の画素の処理を続ける。

ステップ９：アンカドットの位置、すなわち現在の画素に対応するドットの入力画像の位置を算出する。その位置は、ドット位置（Ｘ，Ｙ）の２次元テーブルＤＴのエントリＤＴ（０，０）に格納されることができる。ここで、ＸおよびＹは画素幅の少なくとも１／２５６の精度で有効フラグと共に格納され、有効フラグはＸおよびＹが有効な値を保持しているかどうかを示すブール演算子であり、ＤＴは指標Ｘｄｔ，Ｙｄｔを有し、−４＜Ｘｄｔ＜５および―５＜Ｙｄｔ＜４である。現在の画素に対応するドットの入力画像の位置は、以下のように格納されることができる。Ｘは、入力画像の現在の画素の水平位置に、２５６で割った現在の画素の赤のカラーチャネルの値を加えて設定され、Ｙは、入力画像の現在の画素の垂直位置に、２５６で割った現在の画素の青のカラーチャネルの値を加えて設定され、ステップ４を参照して、サブピクセル位置情報は赤および青のチャネルに格納され、ＤＴ（０，０）の有効フラグは真に設定される。ＤＴの他の全てのエントリの有効フラグは、偽に初期化される。

ステップ１０：上方ドット１２の位置を算出して、それをＤＴ（０，１）に格納する。図３に示すように、上方ドット１２は、アンカドットに対する唯一の近接するドットとなり得、アンカドットから近接するドットに向かう方向で、アンカドットから近接するドットまでの距離の２倍の位置にあるドットもまた大きいドットである、というのは真である。アンカドットと同じＩの要素に位置する上方ドットを識別するために、この特性を用いることができる。近接リストの最初の８つのエントリによって繰り返すことによって、Ｉにおける位置Ｐｕを算出する近接リストの各エントリについて、これを実行することができる。各エントリは、アンカドットＤＴ（０，０）の位置から近接リストの現在のエントリに格納された位置に向かう方向で、アンカドットＤＴ（０，０）の位置から近接リストの現在のエントリに格納された位置までの距離の２倍の位置にある。検索半径ｒの範囲内でＰｕに最も近い非黒色画素をＩにおいて検索する。検索半径ｒは、ＤＴ（０，０）からＰｕまでの距離の２５％であってもよい。最も近い非黒色画素が大きいドットに対応することは、最も近い画素の緑のチャネル値がＴより大きいかどうか調べることによって決定することができるが、最も近い黒色でない画素が大きいドットに対応する場合には、近接リストの現在のエントリの位置にある画素は、上方ドット１２に対応し、近接リストの現在のエントリの位置にある画素に対応するドットの位置を、ステップ９で位置を格納したのと同じ方法でＤＴ（０，１）に格納する。値がＤＴ（０，１）に成功して格納された場合には、ステップ１１に進む。さもなければ、ステップ５に進み、Ｃの画素による繰返しにおいて次の画素の処理を続ける。

ステップ１１：左方ドットの位置を算出し、それをＤＴ（１，０）に格納する。これは、以下のように実行することができる。第１のベクトルＶｕを、ＤＴ（０，０）に格納された位置からＤＴ（０，１）に格納された位置までを示すベクトルとして算出し、第２のベクトルＶｕ’を、Ｖを時計回りに９０度回転したものとして算出する。位置ＰＩを、ＤＴ（０，０）＋Ｖｕ’として算出する。検索半径ｒの範囲内で位置ＰＩに最も近い非黒色画素の検索をＩにおいて実行し、最も近い非黒色画素に対応するドットの位置を、ステップ９で位置を格納したのと同じ方法でＤＴ（１，０）に格納する。Ｉがそれほど歪んでいなければ、ＤＴ（１，０）は左方ドットの位置を保持するが、下方ドットまたは上方ドットは左方ドットよりＰＩに近くなっている。歪みに対するロバスト性を強化するために、左方ドットが実際に見出されたかどうかを調べることができる。これは、以下のように実行することができる。最初に、ＤＴ（１，０）＋Ｖｕとして算出される位置に最も近い非黒色画素がＴより小さい緑のチャネル値を有するかどうかをチェックする。もしその通りであれば、対応するドットは小さいドットであり、実際にＤＴ（１，０）に割り当てられた位置は、左方ドットの上方向の隣接するドットの位置であったことを意味し、ＤＴ（１，０）は、次のように再計算されることができる。位置ＤＴ（１，０）−Ｖｕに最も近い非黒色画素に対応するドットの位置を、ステップ９で位置を格納したのと同じ方法でＤＴ（１，０）に再び格納する。それから、ＤＴ（１，０）−Ｖｕとして算出される位置に最も近い非黒色画素がＴより小さい緑のチャネル値を有するかどうかをチェックすることができる。もしその通りであれば、対応するドットは小さいドットであり、実際にＤＴ（１，０）に割り当てられた位置は、左方ドットの下方向の隣接するドットの位置であったことを意味し、ＤＴ（１，０）は、次のように再計算されることができる。位置ＤＴ（１，０）＋Ｖｕに最も近い黒色でない画素に対応するドットの位置を、ステップ９で位置を格納したのと同じ方法でＤＴ（１，０）に再び格納する。値がＤＴ（１，０）に成功して格納された場合には、ステップ１２に進む。さもなければ、ステップ５に進み、Ｃの画素による繰返しにおいて次の画素の処理を続ける。

ステップ１２：下方ドットおよび右方ドットの位置を算出し、格納する。下方ドットの位置は、ＤＴ（０，０）−Ｖｕとして算出されることができ、ステップ９で位置を格納したのと同じ方法でＤＴ（０，−１）に格納されることができる。右方ドットの位置は、ＤＴ（０，０）−Ｖｕ’として算出されることができ、ステップ９で位置を格納したのと同じ方法でＤＴ（−１，０）に格納されることができる。

ステップ１３：要素の残りのドットの位置を算出し、格納する。アンカドット、上方ドット、下方ドット、左方ドットおよび右方ドットの位置が全て算出されたので、要素の新しい検索位置を算出し、非黒色画素を検索し、それらの位置をＤＴに格納するために、これらのドットの位置を用いることができる。例えば、ＤＴ（２，０）に対応するドットの位置は、検索半径ｒの範囲内において、ＤＴ（１，０）＋Ｖとして算出される位置に最も近接する非黒色画素を見出すことを含む計算によって見出されることができる。ここで、ＶはＤＴ（０，０）に格納された位置からＤＴ（１，０）に格納された位置までを示すベクトルである。ＤＴ（２，０）において見出されたドット位置が成功して格納されたことは、有効フラグが「真」に設定されているかどうか調べることによって確認することができるが、そのドット位置が成功して格納された場合には、検索半径ｒの範囲内でＤＴ（２，０）＋Ｖ´として算出される位置に最も近い非黒色の隣接する画素を見出すことを含む類似の計算によって、ＤＴ（３，０）を見出すことができる。ここで、Ｖ´はＤＴ（１，０）からＤＴ（２，０）まで、およびその他を示すベクトルであり、要素のドットの多くの位置がＤＴに格納されるまで、アンカドットから上下方向および左右の方向に表を作成する。

ステップ１４：要素Ｅのインスタンスの要素列位置および要素行位置を算出する。最初に、図３の符号１６で示すドットの組および符号１７で示すドットの組に対応するＤＴの全てのエントリ、すなわちＤＴ（−２，４）、ＤＴ（−４，４）、ＤＴ（−４，２）、ＤＴ（−４，−２）、ＤＴ（−４，−４）、ＤＴ（−２，−４）、ＤＴ（２，４）、ＤＴ（４，４）、ＤＴ（４，２）、ＤＴ（４，−２）、ＤＴ（４，−４）、ＤＴ（２，−４））が「真」に設定された有効フラグを有するかどうかをチェックする。これが真である場合には、要素列番号は３２＊ＤＴ（−２，４）＋１６＊ＤＴ（−４，−４）＋８＊ＤＴ（−４，２）＋４＊ＤＴ（−４，−２）＋２＊ＤＴ（−４，−４）＋ＤＴ（−２，−４）で算出することができる。そして、要素行番号は、３２＊ＤＴ（２，４）＋１６＊ＤＴ（４，４）＋８＊ＤＴ（４，２）＋４＊ＤＴ（４，−２）＋２＊ＤＴ（４，−４）＋ＤＴ（２，−４）で算出することができる。さもなければ、ＤＴの全てのエントリの有効フラグを「偽」に設定し、ステップ５に進み、Ｃの画素による繰返しにおいて次の画素の処理を続ける。

ステップ１５：ＤＴに格納された位置および有効フラグをテーブルＣＰにコピーする。反復はｉ，ｊの全ての組合せについて実行されることができる。ここで、１≦ｉ≦１０および１≦ｊ≦１０であり、ＤＴ（ｉ−５，ｊ−６）に格納された情報は、位置および有効フラグを含み、ＣＰ（ｉ，ｊ）にコピーされる。

ステップ１６：Ｃの画素による繰返しが終了しない場合には、ステップ５に進み、Ｃの画素による繰返しを続ける。さもなければ、Ｉの解析が終了し、ここで、システムが入力画像Ｉから集めることができた全てのドット位置情報がテーブルＣＰに格納されている。

制御点をいくつかの態様において実現することができる制御点画像Ｃに一時的に格納することの１つの利点は、Ｃが、画像解析ソフトウェアを用いる検査が利用可能にすることができて、システムのインストール、サービスおよびデバッグの際の有益なツールであり得るということである。

一組の投影変換ベクトルＶｐは、例えばネットワークドライブ上の共有ファイルとして、または、ＲＳ２３２接続によってワーピング回路６へ転送され得るテキストファイルとして格納されることができる。そのテキストファイルは、浮動小数点数として表現される４つの値として、テキストファイルの１行当たり１つのベクトルを格納することができる。すなわち、ソースＸ、ソースＹ、ターゲットＸ、ターゲットＹである。図８は、テキストファイルの抜粋の一例を示す。例えば、図８は、一組の投影変換ベクトルＶｐの抜粋した出力フォーマットの一例を示す。ここで、Ｖｐは、テキストファイルの各行に４つの値、ソースＸ、ソースＹ、ターゲットＸ、ターゲットＹを配置した浮動小数点数としてフォーマットされる。

上述した位置合わせを実行する処理は、参照位置合わせ画像Ｒと関連する、第１および第２の投影された位置合わせ画像間の変換ベクトルを決定することを含む。代替の方法では、第１および第２の投影画像間の変換ベクトルが、取り込んだ投影された第１および第２の位置合わせ画像の位置合わせデータ特徴の位置の差異に基づいて決定されるように、位置合わせ処理を変更することができる。参照位置合わせ画像を用いる代わりに、第１および第２の投影された位置合わせ画像間の相対的な基準により、位置合わせを実行することができて、参照位置合わせ画像Ｒとの比較を含む処理と同じ結果を達成することができる。

図２のように構成されるシステムは、ショーを提供する日の前に較正することができ、その較正は第１および第２の画像シーケンス間のローカルおよびグローバルな位置合わせに関係する。その日の間、発生するいかなる位置ずれもグローバルな位置合わせ調整を含むことができ、その調整は相対的に小さくてもよい。図９および図１０に示す簡略化した位置合わせパターンは、表示画像の位置合わせを保持するワーピング変換ベクトルに対する変更を決定するために、用いることができる。図９では、単純な垂直および水平位置合わせ処理のための、第１および第２の画像シーケンスにおいて用いることができる黒色境界線を有する１つの位置合わせドット９０１がある。図１０では、単純な回転位置合わせ処理のための、第１および第２の画像シーケンスにおいて用いることができる黒色境界線を有する２つの位置合わせドット９０３がある。これらのドットは、較正回路が各ドットの重心の位置をサブピクセル精度で決定することができる１つの方法としてガウス照度分布を有するように構成することができる。第１および第２の投影画像の各位置合わせドットの重心位置を用いて、参照位置合わせ画像の対応する重心ドットの位置に対する差異を算出することができ、また、第１および第２の画像をサブピクセル精度で位置合わせに導入する変換ベクトルを決定することができる。このシステムによれば、表示された変更済画像シーケンスを取り込むために、より低分解能カメラを用いることができる。図９および図１０の位置合わせパターンから、２つの表示された画像間の垂直、水平および回転ずれを決定することが可能であり得る。

別の態様では、画像シーケンスの画像フレームを変更することは、フレームまたはフレームの一部分の青のチャネル画像コンテンツをぼやけるように、例えば画像幅のガウスぼけがｒ＝０．１％となるように変更することを含む。青のチャネル画像コンテンツまたは青のチャネル画像コンテンツの一部分は、高周波成分を有する位置合わせ特徴を用いて変更することもできる。表示された画像は、図２のカメラ７が青のチャネル情報のみを取り込むように構成された、変更された青のチャネル画像フレームに基づくことができる。取り込まれた画像が較正回路８によって高周波フィルタ処理されると、位置合わせ特徴を決定することができる。決定された位置合わせ特徴は、画像再位置合わせのためのワーピングプロセッサ６により用いられ得る変換ベクトルを決定するために、較正回路８によって用いられ得る。

図１１は、一態様による、位置合わせ画像特徴を用いて表示画像シーケンスを変更するための処理を表す。図１１の処理は、図２に示すシステムなどの投影システムを用いて実現されることができる。

ブロック１１０２では、位置合わせデータがアクセスされる。いくつかの態様では、位置合わせデータは、サーバのメモリユニットに受信され、格納されてもよい。例えば、システムは、データ転送メカニズムによってユーザーから位置合わせデータを受信することができる。データ転送メカニズムとしては、例えばネットワーク、またはメモリスティック、デジタルビデオデバイス（ＤＶＤ）もしくはパーソナルコンピュータ（ＰＣ）などの携帯型記憶装置などがある。他の態様では、投影システムが位置合わせデータを生成することができる。位置合わせデータは、表示コンテンツを有する２つの表示画像シーケンスの位置合わせを行うため、またはそれを改善するために使用可能な１つまたは複数の特徴を有する位置合わせパターンを含むことができる。例えば、位置合わせデータは、図４〜図６および図９、図１０に示す画像表示コンテンツから独立している情報であり得る。位置合わせデータは、例えば図４、図９および図１０に示すような、２つの画像シーケンス間のグローバルな位置ずれを修正できることに限定される１つまたは複数の特徴を提供することができる。位置合わせデータは、２つの画像シーケンスの１つまたは複数の空間領域内で２つの画像シーケンス間の位置合わせの補正のために用いることができる１つまたは複数の特徴を提供することもできる。位置合わせデータは１色、例えば白黒であってもよい。他の態様では、位置合わせデータは２つ以上の色である。

ブロック１１０４では、画像シーケンスは、投影システムの中のプロセッサによって位置合わせデータを用いて変更される。プロセッサは、サーバまたは生成器、例えば図２の左または右の生成器（４および５）に設けられ得る。例えば表示画像シーケンスなどの画像シーケンスは、表示コンテンツを位置合わせ画像の１つまたは複数の特徴に置き換えることによって、位置合わせデータを用いて変更されることができる。１つまたは複数の画像シーケンスは、位置合わせ画像の特徴を用いて変更されることができる。例えば、第１の画像シーケンスのカラーチャネルのフレームまたはフレームの一部分の画像コンテンツは、位置合わせデータからの特徴を用いて変更されることができる。そして、別のカラーチャネルの第２の画像シーケンスのフレームまたはフレームの一部分の画像コンテンツは、同じ特徴を用いて変更されることができる。第１および第２の画像シーケンスの変更されたフレームは、一時的に対応して表示されてもよく、変更されたフレームは交互に表示されてもよく、あるいは、第１の画像シーケンスの変更されたフレームが順次表示された後に続いて、第２の画像シーケンスの変更されたフレームが順次表示されてもよい。

１つまたは複数の位置合わせ特徴は、画像シーケンスの各順次フレームが１つまたは複数の位置合わせ特徴の一部分を用いて変更されるように、いくつかの部分に分割されることができる。変更された部分は、フレームごとに異なってもよい。例えば、１つまたは複数の位置合わせ画像特徴の全てが、変更済画像シーケンスの少なくとも２つ以上のフレームで現れるように、１つまたは複数の位置合わせ特徴を画像シーケンスの少なくとも２つ以上のフレームの間で分割されることができる。画像シーケンスの画像フレームが、１つまたは複数の位置合わせ特徴に置換される元の画像コンテンツの平均輝度および／またはカラーバランスと、追加された１つまたは複数の位置合わせ特徴の平均輝度および／またはカラーバランスとが一致するように１つまたは複数の位置合わせ特徴を含むように変更されたように、画像シーケンスを変更することができる。引き続いて画像コンテンツからの位置合わせ特徴を決定するのを容易にするために、各位置合わせ特徴が黒色画素または少なくとも１色の画素のぼやけた部分によって取り囲まれるように、画像シーケンスを変更することができる。変更済画像が表示された後に、位置合わせ特徴を画像コンテンツから決定することができるように、位置合わせ特徴を用いて画像フレームを変更することを実行することができる。そして、位置合わせ特徴を画像の位置合わせのために用いることができる。画像フレームを変更することは、透かしの入った特徴を用いて変更され表示された画像シーケンスから位置合わせ特徴が決定され得るように、位置合わせ画像の特徴を用いて画像シーケンスの少なくとも１つのフレームに透かしに入れることを含むこともできる。プロセッサは、以上開示された変更の任意の組合せを用いて画像シーケンスを変更することもできる。

ブロック１１０６では、画像の位置合わせ処理を実行するために、画像シーケンスの変更されたフレームが投影システムにより用いられる。位置合わせ処理は、図２のシステムなどの投影システムの中で、プロセッサによって実行されることができる。変更済画像シーケンスが表示された後で、１つまたは複数の位置合わせ特徴を決定することができる。そして、画像シーケンスを位置合わせする位置合わせ処理において、決定された位置合わせ特徴を用いることができる。図３で説明した処理は、画像の位置合わせのための画像ワーピング処理において使用される変換ベクトルを決定するために、表示された変更済画像シーケンスから１つまたは複数の位置合わせ特徴を決定するための処理の一例である。特徴マッチングは位置合わせ特徴を決定する１つの方法であるが、しかし、フィルタ処理などの他の方法を画像シーケンスの位置合わせ特徴を決定するために用いることができる。図１１の処理の１つの可能性のある利点は、画像シーケンスが、位置合わせ画像を用いて、変更済画像シーケンスの中の位置合わせ特徴の可視性が観客によって知覚されるレベル未満となるように変更される方法によって、変更済画像シーケンスから位置合わせ特徴を抽出する効果および効率が改善されるように、画像シーケンスが変更されるという点である。

図１２は、別の態様に係る、変更済画像シーケンスを用いた画像シーケンスを位置合わせする処理を示す。図２に示すシステムなどの投影システムによって、処理を実行することができる。

ブロック１２０２では、位置合わせ特徴を含む変更済画像シーケンスを取り込む。画像シーケンスは、位置合わせ特徴を含むいかなる好適な処理によっても変更されることができる。１つの処理の一例を、図１１のブロック１１０４に示す。変更済画像シーケンスは、カメラデバイスまたは他のタイプの画像センシングデバイスによって取り込まれることができる。取り込まれた変更済画像シーケンスは、位置合わせ特徴によって変更された１つまたは複数の画像フレームを含むことができる。この処理は、位置合わせ特徴を用いて変更された画像シーケンスに関して記述しているが、２つ以上の位置合わせ特徴を用いてもよい。変更済画像フレームを取り込むタイミングは、例えば外部のトリガ信号などの取り込みデバイスに対するトリガ信号を用いて、または、変更済画像シーケンスに含まれるトリガ画像によって実行されることができる。取り込みデバイスは取り込んだ画像フレームを格納するためのメモリユニットを含むことができ、あるいは、取り込みデバイスは取り込みデバイスの外部にあるメモリユニットに取り込んだ画像フレームを送ることができる。

ブロック１２０４では、取り込まれた変更済画像シーケンスに基づいて、一組の変換ベクトルを決定する。いくつかの態様では、取り込まれた変更済画像シーケンスの位置合わせ特徴に基づいて、一組の変換ベクトルを決定する。例えば、図２の較正回路８またはプロセッサは、一組の変換ベクトルを決定するために、位置合わせ特徴の空間的差異を決定することができる。先に述べたように、較正回路は特徴マッチングによって、変更済画像フレームから位置合わせ特徴を決定することができる。特徴マッチングの他の方法は、感知されたパターンの異方性を高速に検出するためのフーリエ方法、相互情報量方法および緩和法を含んで用いることができる。画像シーケンスの変更によって、変更済画像シーケンスの位置合わせ特徴を決定するために用いる他のフィルタ処理方法が可能になり得る。例えば、位置合わせデータが変更済画像シーケンスのフレームの青チャネルである場合には、青色フィルタを用いることができる。

ブロック１２０６では、画像シーケンスを位置合わせするために、一組の変換ベクトルを用いる。画像シーケンスが表示される前に、投影システムのプロセッサは一組の変換ベクトルを用いて画像シーケンスを空間的にシフトすることができる。例えば、図２のワーピングプロセッサ６は、較正回路８によって受信された有効な変換ベクトルに基づいて、第２の画像シーケンスを空間的にシフトすることができる。変換ベクトルは、取り込まれた位置合わせ特徴と参照位置合わせ特徴との間の空間的差異、または位置合わせ特徴を有する表示された第１および第２の変更済画像シーケンスから取り込まれた位置合わせ特徴間の空間的差異に基づくことができる。

様々な態様による位置合わせ方法は、デュアル３Ｄ投影システム、および画像輝度を改善するために２つ以上の画像がスタックまたは重畳される、もしくはより広い領域をカバーするために２つ以上の投影システムが共に画像をタイル表示する場合のデュアル２Ｄ表示に適用することができる。

特定の態様およびその実施例に関して本発明の主題を詳細に説明したが、当業者は、上記の記述を理解すれば、このような態様および実施例の変更例、変形例および均等例を容易に生成することができる。したがって、本開示は限定ではなく例示のために提示されたものであって、当業者にとって直ちに明らかであるように、本発明の主題に対するこのような変更例、変形例および／または追加が包まれることを妨げるものではないことを理解すべきである。例えば、特定の態様および特徴は、電子回路および例示的構成について記述された説明のためのものであるが、しかし、これらの回路はコンピュータプログラムにおける機能の形式で実現することができる。そして、本発明の範囲はこれらの例示的構成に限定されるとみなされるべきではなく、変形例および代替的構成を含むべきである。

Claims (20)

1. 少なくとも１つの位置合わせ特徴を有する位置合わせパターンにアクセスするステップと、
   前記少なくとも１つの位置合わせ特徴を用いて、投影システムによって第１のデジタル画像シーケンスのフレームの画像コンテンツの一部分を変更するステップと、
   前記部分とは異なる前記第１のデジタル画像シーケンスの後続フレームの画像コンテンツの第２の部分を、前記投影システムによって変更し、前記投影システムによって変更された画像コンテンツの前記部分を有する前記フレームおよび前記投影システムによって変更された画像コンテンツの前記第２の部分を有する前記後続フレームは、前記位置合わせパターンの全てを含むステップと、
   前記第１のデジタル画像シーケンスおよび第２のデジタル画像シーケンスを表示する場合に、前記投影システムによって変更された前記部分に基づいて、前記第１のデジタル画像シーケンスおよび前記第２のデジタル画像シーケンスを空間的に位置合わせするステップと、
   前記少なくとも１つの位置合わせ特徴を有する前記フレームの部分を変換し、前記部分は、表示される複数のフレームに分配され、前記部分は、ランダムな空間的シーケンスを有するステップと、を含む方法。
2. 前記少なくとも１つの位置合わせ特徴を用いて変更された前記部分は、少なくとも１つのカラーチャネルである、請求項１に記載の方法。
3. 前記少なくとも１つの位置合わせ特徴を用いて、前記投影システムによって前記第１のデジタル画像シーケンスの前記フレームの前記画像コンテンツの前記部分を変更するステップは、
   前記部分の少なくとも一部を前記少なくとも１つの位置合わせ特徴に置き換えるステップを含み、前記部分は、前記少なくとも１つの位置合わせ特徴の周囲に黒色画像画素を有する、請求項１に記載の方法。
4. 前記部分の範囲内の前記少なくとも１つの位置合わせ特徴は、前記少なくとも１つの位置合わせ特徴と置き換えられる前記部分の前記少なくとも一部に実質的に対応する平均照度レベルを有する、請求項３に記載の方法。
5. 前記部分の範囲内の前記少なくとも１つの位置合わせ特徴は、前記少なくとも１つの位置合わせ特徴と置き換えられる前記部分の前記少なくとも一部に対応する平均カラーバランスを有する、請求項３に記載の方法。
6. 前記少なくとも１つの位置合わせ特徴は、ガウス照度プロファイルを有する、請求項３に記載の方法。
7. 前記部分は、少なくとも１つのカラーチャネルの画像フレーム全体である、請求項１から６のいずれか一項に記載の方法。
8. 前記少なくとも１つの位置合わせ特徴を用いて、前記投影システムによって前記第１のデジタル画像シーケンスの前記フレームの画像コンテンツの前記部分を変更するステップは、
   前記部分の少なくとも一部を前記少なくとも１つの位置合わせ特徴に置き換えるステップを含み、前記少なくとも１つの位置合わせ特徴は、少なくとも１つのカラーチャネルの高周波成分を有し、前記部分は、前記少なくとも１つの位置合わせ特徴の周囲に画像コンテンツ画素を有し、前記画像コンテンツ画素は、前記少なくとも１つのカラーチャネルの低周波画像コンテンツである、請求項１から７のいずれか一項に記載の方法。
9. 取り込まれた第２の画像シーケンスフレームとして、前記位置合わせパターンを含む位置合わせ画像データを用いて変更され、表示された第２のデジタル画像シーケンスフレームを取り込むステップと、
   取り込まれた第１の画像シーケンスフレームとして、前記位置合わせ画像データを用いて変更され、表示された第１のデジタル画像シーケンスを取り込むステップと、
   前記取り込まれた第２の画像シーケンスフレームと前記取り込まれた第１の画像シーケンスフレームとの前記位置合わせ画像データ間の空間的差異に基づいて、一組の変換ベクトルを決定するステップと、
   前記第１のデジタル画像シーケンスの表示された第１の画像および前記第２のデジタル画像シーケンスの表示された第２の画像を、前記一組の変換ベクトルを用いて空間的に位置合わせするステップと、をさらに含む、請求項１から８のいずれか一項に記載の方法。
10. 変更された第１の画像シーケンスフレームおよび変更された第２の画像シーケンスフレームを生成するために、前記第１の画像シーケンスの、および前記第２の画像シーケンスの少なくとも１つのフレームの画像コンテンツを、前記位置合わせデータを用いて変更するステップと、
    ワープされた第２の画像シーケンスフレームを生成するために、格納された変換データを用いて、前記変更された第２の画像シーケンスフレームをワープするステップと、
    前記表示された第２の画像シーケンスフレームとして、前記ワープされた第２の画像シーケンスフレームを表示し、前記表示された第１の画像シーケンスフレームとして、前記変更された第１の画像シーケンスフレームを表示するステップと、
    更新された変換データを生成するために、前記一組の変換ベクトルを用いて、前記格納された変換データを更新するステップと、をさらに含み、
    前記第１の画像シーケンスの前記表示された第１の画像および前記第２の画像シーケンスの前記表示された第２の画像を、前記一組の変換ベクトルを用いて空間的に位置合わせするステップは、前記更新された変換データを用いることを含む、請求項９に記載の方法。
11. 前記変更された第１の画像シーケンスフレームおよび前記変更された第２の画像シーケンスフレームを生成するために、前記第１の画像シーケンスの、および前記第２の画像シーケンスの前記少なくとも１つのフレームを、前記位置合わせデータを用いて変更するステップは、
    少なくとも１つの位置合わせ特徴を有する位置合わせパターンを含む前記位置合わせデータにアクセスするステップと、
    前記少なくとも１つの位置合わせ特徴を用いて、投影システムによって前記第１の画像シーケンスのフレームの画像コンテンツの一部分を変更するステップと、を含み、前記第１の画像シーケンスおよび前記第２の画像シーケンスは、デジタル画像データをそれぞれ含み、
    前記第１の画像シーケンスの前記表示された第１の画像および前記第２の画像シーケンスの前記表示された第２の画像を、前記一組の変換ベクトルを用いて空間的に位置合わせするステップは、前記第１の画像シーケンスおよび前記第２の画像シーケンスを表示する場合に、前記投影システムによって変更された前記部分に基づいて、前記第１の画像シーケンスおよび前記第２の画像シーケンスを空間的に位置合わせするステップを含む、請求項９に記載の方法。
12. 前記変更された第１の画像シーケンスフレームおよび前記変更された第２の画像シーケンスフレームを生成するために、前記第１の画像シーケンスの、および前記第２の画像シーケンスの前記少なくとも１つのフレームの前記画像コンテンツを、前記位置合わせデータを用いて変更するステップは、
    位置合わせパターンを含む前記位置合わせデータにアクセスするステップと、
    前記位置合わせパターンを用いて、前記第１の画像シーケンスのフレームの画像コンテンツの第１の部分を変更するステップと、
    前記位置合わせパターンを用いて、前記第１の部分とは異なる前記第１の画像シーケンスの後続フレームの画像コンテンツの第２の部分を変更するステップと、を含み、
    前記位置合わせパターンを用いて変更された前記第１の部分を有する前記フレーム、および前記位置合わせパターンを用いて変更された前記第２の部分を有する前記後続フレームは、前記位置合わせパターンの全てを含む、請求項１１に記載の方法。
13. 前記変更された第１の画像シーケンスフレームおよび前記変更された第２の画像シーケンスフレームを生成するために、前記第１の画像シーケンスの、および前記第２の画像シーケンスの前記少なくとも１つのフレームの前記画像コンテンツを、前記位置合わせデータを用いて変更するステップは、
    前記第１の画像シーケンスおよび前記第２の画像シーケンスの各々の前記少なくとも１つのフレームの画像データ上に、前記位置合わせデータの透かしを入れるステップに基づいて、前記第１の画像シーケンスの、および前記第２の画像シーケンスの前記少なくとも１つのフレームを変更するステップを含み、前記透かしを入れるステップは、
    前記画像データ上に前記位置合わせデータの透かしを入れるための空間的符号化、または
    前記画像データ上に前記位置合わせデータの透かしを入れるための時間領域符号化のうちの１つによる透かしを入れるステップであって、
    前記方法は、
    透かしが入ったフレームを含む、前記取り込まれた第２の画像シーケンスフレームまたは前記取り込まれた第１の画像シーケンスフレームの少なくとも一方から、前記位置合わせデータを抽出するステップをさらに含む、請求項１０から１２のいずれか一項に記載の方法。
14. 前記取り込まれた第２の画像シーケンスフレームと前記取り込まれた第１の画像シーケンスフレームとの前記位置合わせデータ間の前記空間的差異に基づいて、前記一組の変換ベクトルを決定するステップは、
    前記位置合わせデータと前記位置合わせデータを用いた変更を含む前記取り込まれた第２の画像シーケンスフレームとの差異に基づいて、第１の組の変換ベクトルを決定するステップと、
    前記位置合わせデータと前記位置合わせデータを用いた変更を含む前記取り込まれた第１の画像シーケンスフレームとの差異に基づいて、第２の組の変換ベクトルを決定するステップと、を含み、
    前記第１の画像シーケンスの前記表示された第１の画像および前記第２の画像シーケンスの前記表示された第２の画像を、前記一組の変換ベクトルを用いて空間的に位置合わせするステップは、前記第１の画像シーケンスの前記表示された第１の画像および前記第２の画像シーケンスの前記表示された第２の画像を、前記第１の組の変換ベクトルおよび前記第２の組の変換ベクトルを用いて空間的に位置合わせするステップを含む、請求項９から１３のいずれか一項に記載の方法。
15. 前記取り込まれた第１の画像シーケンスフレームおよび前記取り込まれた第２の画像シーケンスフレームの位置合わせ特徴の重心を、低解像度イメージセンサを用いて決定するステップをさらに含む、請求項９から１４のいずれか一項に記載の方法。
16. デュアルディスプレイ投影システムは、
    サーバを備え、前記サーバは、
    第１の画像シーケンス、第２の画像シーケンス、および少なくとも１つの位置合わせ特徴を有する位置合わせパターンである位置合わせデータを格納するためのメモリユニットと、
    請求項１から１５のいずれか一項に規定された方法によって、第１の画像シーケンスのフレームの画像コンテンツの一部分を変更するための、および、前記第１の画像シーケンスおよび前記第２の画像シーケンスを表示する場合に、前記変更された部分に基づいて、前記第１の画像シーケンスおよび第２の画像シーケンスを空間的に位置合わせするためのプロセッサデバイスと、を備えるデュアルディスプレイ投影システム。
17. 前記プロセッサデバイスは、
    変更された第２の画像フレームを作成するために、前記位置合わせパターンを含む前記位置合わせデータを用いて、前記第２の画像シーケンスの第２のフレームの画像コンテンツを変更し、
    ワープされた第２の画像フレームを生成するために、格納された変換データを用いて、前記変更された第２の画像フレームをワープするように構成され、
    前記デュアルディスプレイ投影システムは、
    前記ワープされた第２の画像フレームを表示するための第１の表示デバイスと、
    前記第１の画像シーケンスの前記変更されたフレームを表示するための第２の表示デバイスと、
    取り込まれた第２の画像フレームおよび取り込まれた第１の画像フレームとして、前記表示されたワープされた第２の画像フレームおよび前記表示された変更されたフレームを取り込むためのイメージセンサと、
    前記取り込まれた第２の画像フレームと前記取り込まれた第１の画像フレームとの前記位置合わせデータ間の空間的差異に基づいて、一組の変換ベクトルを決定するための較正回路と、をさらに含み、
    前記プロセッサデバイスは、更新された変換データを生成するために、前記一組の変換ベクトルを用いて、前記格納された変換データを更新し、前記第１の画像シーケンスの表示された第１の画像および前記第２の画像シーケンスの表示された第２の画像を、前記更新された変換データを用いて空間的に位置合わせするように構成される、請求項１６に記載のデュアルディスプレイ投影システム。
18. 前記イメージセンサは、前記表示されたワープされた第２の画像コンテンツフレームおよび前記表示された変更されたフレームを取り込むために同期するように構成される、請求項１７に記載のデュアルディスプレイ投影システム。
19. 前記イメージセンサは、カメラである、請求項１８に記載のデュアルディスプレイ投影システム。
20. 前記第１の画像シーケンスおよび前記第２の画像シーケンスは、立体画像シーケンスである、請求項１９に記載のデュアルディスプレイ投影システム。

Images