JPWO2010116837A1 - マルチプロジェクションディスプレイシステム及び画面形成方法 - Google Patents

Abstract

マルチプロジェクションディスプレイシステムに、各二次元走査型プロジェクタからスクリーンに投射された投射画像の頂点を含む所定の頂点領域を撮影する複数のカメラと、各カメラを投射画像の１フレームの表示開始行を含む所定期間または表示最終行を含む所定期間でスクリーンを撮影するように制御する撮影タイミング制御部と、各カメラが撮影した複数の撮影画像データから投射画像毎の各頂点を検出し、該頂点の位置を示す画像端データを出力する頂点位置検出部とを備える。プロジェクタ制御部は、投射画像の頂点が予め設定された基準位置からずれているとき、該頂点が基準位置と一致するように二次元走査型プロジェクタの走査範囲を調整する。

Description

本発明は複数のプロジェクタからスクリーンに画像を投射して一つの画面を形成するマルチプロジェクションディスプレイシステム及びその画面形成方法に関する。

大型のプロジェクションディスプレイとして、複数のプロジェクタからスクリーン上に画像を投射し、各投射画像をつなぎ合わせて一つの画面を形成するマルチプロジェクションディスプレイシステムが知られている。

このようなマルチプロジェクションディスプレイシステムでは、複数のプロジェクタから投射される各画像のスクリーン上における位置の精度が投射画像全体の品質に大きな影響を与える。

例えば、各投射画像の位置がずれていると、スクリーンに投射された画像間に不連続な継ぎ目が生じたり、隣接する画像の端部が重畳したりする等、表示品質が大幅に劣化してしまう。

このような問題に対処するため、例えば特許文献１では、隣接する画像と重なり合う領域を有するテスト画像を生成すると共に、隣接するプロジェクタから同時にテスト画像を投射しないようにして、互いに干渉しない複数の画像を投射し、これら投射された複数のテスト画像を計測カメラで撮影・解析することで、各プロジェクタの投射画像の位置を検出する方法が記載されている。

また、特許文献２には、２つのプロジェクタが適切な位置関係でテスト画像を投射しているときに、それらの重畳する領域で所定の特徴パターンが出現するようなテスト画像を生成し、スクリーン上のテスト画像をカメラで撮影して得られる撮影画像データに基づいて上記特徴パターンに関連付けた評価値を算出し、該評価値に基づいて各プロジェクタの投射画像の位置を調整することが記載されている。

しかしながら上述した背景技術のマルチプロジェクションディスプレイシステムでは、テスト画像を用いて各プロジェクタからスクリーン上に投射された画像の位置を調整するため、各プロジェクタによる投射画像の位置をリアルタイムに調整することができないという課題がある。

例えば、各プロジェクタによる投射画像の幅や位置が温度等に応じて変動する場合、テスト画像を用いた投射画像の調整を頻繁に実施しなければならないため、画像表示装置としての利便性が低下してしまう。

特開２００３−３１５９１４号公報 特開２００７−１６６４６６号公報

そこで本発明は、画像位置を調整するためのテスト画像が不要であり、各走査型プロジェクタによる投射画像の位置をリアルタイムに調整することができるマルチプロジェクションディスプレイシステム及びその画面形成方法を提供することを目的とする。

上記目的を達成するため本発明のマルチプロジェクションディスプレイシステムは、複数の二次元走査型プロジェクタからスクリーンに四角形状の画像を投射し、投射された複数の投射画像をスクリーン上でつなぎ合わせることで一つの画面を形成するマルチプロジェクションディスプレイシステムであって、
前記各投射画像の頂点を含む所定の頂点領域を撮影する位置にそれぞれ設置され、当該頂点領域を撮影する複数のカメラと、
前記複数のカメラを前記投射画像の１フレームの表示開始行を含む所定期間または表示最終行を含む所定期間で前記スクリーンを撮影するように制御する撮影タイミング制御部と、
前記複数のカメラが撮影した複数の撮影画像データから前記投射画像毎の各頂点を検出し、該頂点の位置を示す画像端データを出力する頂点位置検出部と、
前記投射画像の頂点が予め設定された基準位置からずれているとき、該頂点が前記基準位置と一致するように二次元走査型プロジェクタの走査範囲を調整するプロジェクタ制御部と、
を有する。

一方、本発明の画面形成方法は、複数の二次元走査型プロジェクタからスクリーンに四角形状の画像を投射し、投射された複数の投射画像をスクリーン上でつなぎ合わせることで一つの画面を形成するマルチプロジェクションディスプレイシステムの画面形成方法であって、
複数のカメラが、
前記投射画像の１フレームの表示開始行を含む所定期間または表示最終行を含む所定期間にて、前記各投射画像の頂点を含む所定の頂点領域を撮影し、
制御部が、
前記複数のカメラで撮影された複数の撮影画像データから前記投射画像毎の各頂点を検出し、
前記投射画像の頂点が予め設定された基準位置からずれているとき、該頂点が前記基準位置と一致するように前記二次元走査型プロジェクタの走査範囲を調整する方法である。

図１は、本発明のマルチプロジェクションディスプレイシステムの全体像を示す模式図である。 図２は、第１の実施の形態のマルチプロジェクションディスプレイシステムの一構成例を示すブロック図である。 図３は、図３は本発明のマルチプロジェクションディスプレイシステムの処理手順を示すフローチャートである。 図４は、図１に示したマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。 図５は、第２の実施の形態のマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。 図６は、第３の実施の形態のマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。 図７は、第４の実施の形態のマルチプロジェクションディスプレイシステムの一構成例を示すブロック図である。 図８は、第４の実施の形態のマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。 図９は、第５の実施の形態のマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。 図１０は、第６の実施の形態のマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。

次に本発明について図面を用いて説明する。

以下では、背面投射型のプロジェクタとして、スクリーンに投射するＲ（赤），Ｇ（緑），Ｂ（青）の三色のレーザ光を水平方向及び垂直方向にそれぞれ走査することで四角形状の画像を形成するレーザプロジェクタを複数台備える構成を例にして本発明のマルチプロジェクションディスプレイシステムについて説明する。本発明は、例えばＬＥＤやその他の光源を用いてスクリーン上に画像を形成する二次元走査型のプロジェクタ（以下、単に走査型プロジェクタと称す）を用いる構成であれば適用可能であり、その光源の種類をレーザ光に限定するものではない。また、本発明はスクリーンの背面から画像を投射する背面投射型のプロジェクタに限らず、スクリーンの前面から画像を投射する前面投射型のプロジェクタにも適用可能である。なお、レーザプロジェクタの構成については、例えば特開２００５−１８０４０号公報等に記載されている。

また、以下の各実施の形態では、４台の走査型プロジェクタから画像を背面投射することでスクリーン上に一つの画面を形成する例を示しているが、画面の構成に用いるプロジェクタ数は４台に限定されるものではなく、２台以上であれば何台でもよい。
（第１の実施の形態）
図１は本発明のマルチプロジェクションディスプレイシステムの全体像を示す模式図であり、図２は第１の実施の形態のマルチプロジェクションディスプレイシステムの一構成例を示すブロック図である。

図１に示すように、第１の実施の形態のマルチプロジェクションディスプレイでは、例えば４台の走査型プロジェクタＰ１〜Ｐ４からスクリーン１０に四角形状の画像を背面投射することで一つの画像を形成する装置である。

スクリーン１０の背面側には、各走査型プロジェクタＰ１〜Ｐ４で投射された画像の位置を検出するために複数台のカメラが設置されている。カメラは、四角形状の投射画像の頂点を含む所定領域を撮影する位置に、それぞれ設置されている。図１では４分割された各画像の頂点近傍を撮影するために９台のカメラＣ１〜Ｃ９を備えた例を示している。なお、図１ではカメラで撮影可能な領域（撮影領域）を正方形状の点線で囲む範囲で示している。後述する図４〜図６並びに図８〜図１０においても画面上に記載された正方形状の点線で囲む範囲は、それぞれカメラの撮影領域を示している。

図２に示すように第１の実施の形態のマルチプロジェクションディスプレイシステムは、複数（図２では４台）の走査型プロジェクタＰ１〜Ｐ４と、走査型プロジェクタＰ１〜Ｐ４の動作を制御するマルチプロジェクタ制御部２と、走査型プロジェクタＰ１〜Ｐ４で投射された画像の頂点近傍を撮影するカメラＣ１〜Ｃ９と、各カメラＣ１〜Ｃ９で撮影された撮影画像データを処理する画像処理回路４とを備えている。

走査型プロジェクタＰ１〜Ｐ４は、図示しないレーザ光源と、走査位置に対応する映像信号にしたがって光源から出射されたレーザ光の強度を変調する変調器１１と、変調器１１から出射されたレーザ光を水平方向に走査するための水平走査ミラー１２と、変調器１１から出射されたレーザ光を垂直方向に走査するための垂直走査ミラー１３と、水平走査ミラー１２及び垂直走査ミラー１３を動作させるための駆動信号を生成すると共に外部から供給される映像信号に基づいて変調器１１にレーザ光の強度を変調させるための変調信号を生成するプロジェクタ制御回路１４とを備えている。

マルチプロジェクタ制御部２は、外部からスクリーン１０に投射する映像信号が供給されると、各走査型プロジェクタＰ１〜Ｐ４に表示すべき画像に対応する映像信号を４分割して生成し、各走査型プロジェクタＰ１〜Ｐ４に生成した映像信号を供給すると共に走査タイミングを示すフレーム同期信号を送信する。なお、マルチプロジェクタ制御部２は、走査型プロジェクタＰ１〜Ｐ４に対応する４つの映像信号が供給される構成でもよい。その場合、マルチプロジェクタ制御部２は、前述の映像信号を分割生成する必要はない。

また、マルチプロジェクタ制御部２は、各カメラＣ１〜Ｃ９に撮影タイミングを指示するための撮影タイミング信号を送信する。すなわち、マルチプロジェクタ制御部２は、各走査型プロジェクタＰ１〜Ｐ４による投射画像の１フレームの表示開始行を含む所定期間または表示最終行を含む所定期間で各カメラＣ１〜Ｃ９がスクリーン１０を撮影するように制御する撮影タイミング制御部としても動作する。

各プロジェクタ制御回路１４は、マルチプロジェクタ制御部２から受信したフレーム同期信号に基づいて水平走査ミラー１２及び垂直走査ミラー１３に駆動信号を供給すると共に、マルチプロジェクタ制御部２から受信した映像信号を基にして生成した変調信号を変調器１１に供給する。

画像処理回路４は、各カメラＣ１〜Ｃ９が撮影することで得られる撮影画像データから走査型プロジェクタＰ１〜Ｐ４毎の投射画像の各頂点を検出し、それらの頂点の位置を示す画像端データをマルチプロジェクタ制御部２へ出力する。すなわち、画像処理回路４は、カメラＣ１〜Ｃ９で撮影した複数の撮影画像データから投射画像毎の各頂点を検出し、該頂点の位置を示す画像端データを出力する頂点位置検出部としても動作する。

マルチプロジェクタ制御部２は、画像処理回路４から受け取った画像端データを対応する走査型プロジェクタＰ１〜Ｐ４の各プロジェクタ制御回路１４へ供給する。

各プロジェクタ制御回路１４は、画像端データから投射画像の頂点が予め設定された基準位置からずれているか否かを判定し、水平走査ミラー１２または垂直走査ミラー１３による走査範囲の調整要否を判断する。調整が必要な場合は、調整対象の水平走査ミラー１２または垂直走査ミラー１３へ供給する駆動信号により投射画像の位置並びに水平方向または垂直方向の幅を調整する。

投射画像の水平方向の走査範囲は、水平走査ミラー１２へ供給する駆動信号の電圧（振幅値）で制御することが可能であり、投射画像の垂直方向の走査範囲は、垂直走査ミラー１３へ供給する駆動信号の電圧（振幅値）で制御することが可能である。

例えば、水平走査ミラー１２へ供給する駆動信号の振幅値を大きくすれば水平方向の走査範囲が広がり、振幅値を小さくすれば水平方向の走査範囲が狭くなる。垂直走査ミラー４６についても同様の制御が可能である。なお、走査範囲の調整要否の判定や走査ミラーの駆動信号の調整処理は、マルチプロジェクタ制御部２で実行してもよい。本願の特許請求の範囲では、このような走査範囲の調整要否の判定や走査ミラーの駆動信号の調整処理を実行する構成を「プロジェクタ制御部」と称している。

本実施形態のマルチプロジェクションディスプレイシステムが備えるマルチプロジェクタ制御部２及び画像処理回路４並びに各走査型プロジェクタＰ１〜Ｐ４が備えるプロジェクタ制御回路１４は、例えばプログラムにしたがって処理を実行するＣＰＵ、所定の演算処理を実行するＤＳＰ、Ａ／Ｄ変換器、Ｄ／Ａ変換器、メモリ及び各種論理演算回路等を含むコンピュータによって実現できる。

図３は本発明のマルチプロジェクションディスプレイシステムの処理手順を示すフローチャートである。

図３に示しように、本実施形態のマルチプロジェクションディスプレイシステムでは、まずカメラＣ１〜Ｃ９により、各投射画像の１フレームの表示開始行を含む所定期間または表示最終行を含む所定期間にて各投射画像の頂点を含む所定の頂点領域を撮影する（ステップＳ１）。

次に、各カメラＣ１〜Ｃ９の撮影画像データから画像処理回路４によって走査型プロジェクタＰ１〜Ｐ４毎の投射画像の各頂点を検出し、それらの頂点の位置を示す画像端データをマルチプロジェクタ制御部２へ出力する（ステップＳ２）。

マルチプロジェクタ制御部２は、画像処理回路４から受け取った画像端データを対応する走査型プロジェクタＰ１〜Ｐ４の各プロジェクタ制御回路１４へ供給する（ステップＳ３）。

各プロジェクタ制御回路１４は、画像端データから投射画像の頂点が予め設定された基準位置からずれているか否かを判定し（ステップＳ４）、ずれている場合は頂点が基準位置と一致するように走査型プロジェクタＰ１〜Ｐ４の走査範囲を調整する（ステップＳ５）。一方、投射画像の頂点が予め設定された基準位置からずれていない場合は、ステップＳ１の処理に戻ってステップＳ１〜Ｓ５の処理を繰り返す。

図４は図１に示したマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。

図４に示すように、第１の実施の形態のマルチプロジェクションディスプレイでは、各走査型プロジェクタＰ１〜Ｐ４が備えるプロジェクタ制御回路１４により、４分割された画面のうち、左側２画面を構成する走査型プロジェクタＰ１及びＰ３と右側２画面を構成する走査型プロジェクタＰ２及びＰ４とで垂直方向の走査方向が異なるようにする。すなわち、一つの画面を形成する複数の画像のうち、水平方向に隣接する画像を、垂直方向に異なる方向へ走査することで形成する。例えば、左側２画面を構成する走査型プロジェクタＰ１及びＰ３では上から下へ向かう方向に走査することで画面を形成し、右側２画面を構成する走査型プロジェクタＰ２及びＰ４では下から上へ向かう方向に走査することで画面を形成する。なお、図４の点線で示す領域Ｆ１〜Ｆ９は、カメラＣ１〜Ｃ９に対応する撮影領域をそれぞれ示している。後述する図５、図６、図９及び図１０の点線で示す領域Ｆ１〜Ｆ９も同様である。

カメラＣ１〜Ｃ９は、走査型プロジェクタによる画像の１フレームの表示期間のうち、該画像の表示開始行を含む所定期間（図４に示す撮影期間１）または表示最終行を含む所定期間（図４に示す撮影期間２）で撮影を行う。図４の（ａ）は撮影期間１でカメラＣ１〜Ｃ９が撮影する画像例を示し、図４の（ｂ）は撮影期間２でカメラＣ１〜Ｃ９が撮影する画像例を示している。カメラＣ１〜Ｃ９は、撮影が終了すると、撮影画像データを画像処理回路４へ転送する。

画像処理回路４は、カメラＣ１〜Ｃ９から撮影画像データを取得すると、後述するように各投射画像のエッジ（端辺）を判定し、それぞれの頂点を検出する。

ここで、上述したように左側２画面を構成する走査型プロジェクタでは上から下へ向かう方向へ走査し、右側２画面を構成する走査型プロジェクタは下から上へ向かう方向へ走査しているため、各カメラＣ１〜Ｃ９は、それぞれの撮影期間にて垂直方向及び水平方向で隣り合う画像の両方を同時に撮影することがない。

したがって、各カメラＣ１〜Ｃ９で撮影した撮影画像には、投射画像の端部とその周辺の投射画像が何も表示されていない領域とが含まれている。そのため、撮影画像から投射画像のエッジ（端辺）を判別することが可能であり、投射画像の端辺が重なる頂点を検出できる。投射画像のエッジは、例えばカメラＣ１〜Ｃ９が撮影することで得られた撮影画像データに周知のラプラシアンフィルタ処理を施すことで検出できる。

投射画像の頂点を検出した結果、該投射画像の頂点が予め設定された基準位置からずれているときは、該頂点が基準位置と一致するように各走査型プロジェクタＰ１〜Ｐ４による投射画像の走査範囲を調整する。

投射画像の頂点の基準位置は、カメラＣ１〜Ｃ９とスクリーンの位置及び距離の関係が一定であれば、カメラＣ１〜Ｃ９で撮影した画像内の任意の位置に設定すればよい。例えば、カメラＣ１〜Ｃ９で撮影した画像の中心を基準位置とした場合、検出した投射画像の頂点が該画像中心に一致するように、水平走査ミラー１２及び垂直走査ミラー１３を制御すればよい。カメラＣ１〜Ｃ９とスクリーンの位置及び距離の関係を精度よく維持するのが困難である場合は、例えばスクリーン上に、各投射画像の頂点の基準位置を示すマーカーを付与し、検出した投射画像の頂点が該マーカーの位置と一致するように制御すればよい。

本実施形態のマルチプロジェクションディスプレイシステムによれば、各投射画像の頂点をそれぞれ検出してスクリーン上に投射する画像の位置を調整するため、画像位置を調整するためのテスト画像が不要である。また、各走査型プロジェクタＰ１〜Ｐ４による投射画像の位置をリアルタイムに調整することができるため、環境変化による投射画像の位置ずれが生じる毎に画像の投射を中断して各走査型プロジェクタの調整を個別に行う必要が無くなる。したがって、画像表示装置としての利便性が向上する。
（第２の実施の形態）
第１の実施の形態のマルチプロジェクションディスプレイシステムでは、４分割された画面のうち、左側２画面を構成する走査型プロジェクタＰ１及びＰ３と右側２画面を構成する走査型プロジェクタＰ２及びＰ４とで、垂直方向の走査方向が異なる例を示した。

第２の実施の形態のマルチプロジェクションディスプレイシステムは、４分割された画面のうち、左側２画面を構成する走査型プロジェクタＰ１及びＰ３と右側２画面を構成する走査型プロジェクタＰ２及びＰ４とで、垂直方向に対しそれぞれ同一の方向へ走査することで画像を形成する。すなわち、水平方向に隣接する画像を、垂直方向に同一の方向に走査することで形成する。その他のマルチプロジェクションディスプレイシステムの構成及び処理は第１の実施の形態と同様であるため、その説明は省略する。

図５は第２の実施の形態のマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。

図５に示すように、第２の実施の形態では、左側２画面を構成する走査型プロジェクタＰ１及びＰ３と右側２画面を構成する走査型プロジェクタＰ２及びＰ４とで、垂直方向に対しそれぞれ同一の方向へ走査すると共に、カメラＣ１〜Ｃ９によって垂直方向及び水平方向で隣り合う画像の両方が同時に撮影されないように、各画像の表示タイミングを左側２画面と右側２画面とでずらすようにする。例えば、走査型プロジェクタＰ１及びＰ３の１フレーム内の走査終了時に、走査型プロジェクタＰ２及びＰ４の１フレーム内の走査開始時の情報（開始側の頂点）が撮影できる間隔で表示タイミングをずらす。この間隔は、撮影するカメラのシャッタースピード（撮影時間）に応じて設定される。図５の（ａ）は撮影期間１でカメラＣ１〜Ｃ９が撮影する画像例を示し、図５の（ｂ）は撮影期間２でカメラＣ１〜Ｃ９が撮影する画像例を示している。

本実施形態のように、左側２画面と右側２画面とで走査方向を同一にしても、表示タイミングをずらすことで第１の実施の形態と同様に各投射画像の画像端を検出することが可能である。したがって、第１の実施の形態と同様に、画像位置を調整するためのテスト画像が不要であり、各走査型プロジェクタによる投射画像の位置をリアルタイムに調整することができる。
（第３の実施の形態）
一般に、スクリーン上の画像は照明光や自然光等の外光によってコントラストが低下するため、画像端にコントラストが大きな画像が表示されていない場合に投射画像の頂点を正確に検出できなくなるおそれがある。第３の実施の形態のマルチプロジェクションディスプレイシステムではこのような外光の影響を除去するための手法を提案する。

図６は第３の実施の形態のマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。

図６に示すように、第３の実施の形態のマルチプロジェクションディスプレイシステムでは、各カメラＣ１〜Ｃ９により、１フレーム内の画像の表示開始行を含む所定期間（図６に示す撮影期間１）または表示最終行を含む所定期間（図６に示す撮影期間２）で撮影すると共に、カメラＣ１〜Ｃ９の撮影領域内に何も表示されていない期間（図６に示す撮影期間３）でもスクリーンを撮影する。図６の（ａ）は撮影期間１でＣ１〜Ｃ９が撮影する画像例を示し、図６の（ｂ）は撮影期間３でカメラＣ１〜Ｃ９が撮影する画像例を示し、図６の（ｃ）は撮影期間２でカメラＣ１〜Ｃ９が撮影する画像例を示している。各カメラＣ１〜Ｃ９の撮影タイミングは、マルチプロジェクタ制御部２から出力される撮影タイミング信号で制御される。

画像処理回路４は、表示開始行を含む所定期間または表示最終行を含む所定期間で撮影することで得られる撮影画像データと、撮影領域内に何も表示されていない期間で撮影することで得られる撮影画像データとの差を算出し、外光の影響を除去した該差の撮影画像データを取得する。外光の影響が除去されるのは、撮影領域内に何も表示されていない期間で撮影することで得られる撮影画像データが、外光の影響のみを示す画像データだからである。この撮影画像データの撮影タイミングは、表示開始行を含む所定期間と表示最終行を含む所定期間との中間の所定期間となる。その他の構成及び処理は上述した第１の実施の形態または第２の実施の形態と同様であるため、その説明は省略する。

第３の実施の形態のマルチプロジェクションディスプレイシステムによれば、第１の実施の形態と同様の効果に加えて、外光の影響によりスクリーンに投射された画像のコントラストが低下している場合でも各投射画像の頂点をより正確に検出できる。
（第４の実施の形態）
プロジェクタからスクリーンに投射される画像では、画像端辺の中央部が画像中心から膨らむ歪（樽型歪）や画像端辺の中央部が画像中心へ向かって収縮する歪（糸巻き型歪）が発生することがある。そのような場合、投射画像の頂点が基準位置に対してずれていなくても画像端辺の中央部付近で位置ずれが発生してしまう。

第４の実施の形態では、投射画像で発生する樽型歪や糸巻き型歪を補正しつつ各投射画像の頂点の位置を調整するための手法を提案する。

図７は第４の実施の形態のマルチプロジェクションディスプレイシステムの一構成例を示すブロック図である。

図４に示すように第４の実施の形態のマルチプロジェクションディスプレイシステムは、４分割された各画像の頂点近傍を撮影するための９台のカメラＣ１〜Ｃ９及び各画像端辺の中央部近傍を撮影するための１２台のカメラＣ１０〜Ｃ２１を備えた構成である。その他の構成は図２に示した第１の実施の形態のマルチプロジェクションディスプレイシステムと同様であるため、その説明は省略する。

図８は第４の実施の形態のマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。

第４の実施の形態のマルチプロジェクションディスプレイシステムでは、スクリーンの背面側に、各投射画像の頂点近傍及び各画像端辺の中央部近傍を撮影するためのカメラＣ１〜Ｃ２１を備える。図８では、４分割された各画像の頂点近傍を撮影するための９台のカメラＣ１〜Ｃ９、並びに各画像端辺の中央部近傍を撮影するための１２台のカメラＣ１０〜Ｃ２１に対応するそれぞれの撮影領域をＦ１〜Ｆ２１（点線で示す領域）で示している。

第４の実施の形態では、カメラＣ１〜Ｃ２１により、各投射画像の頂点近傍及び各画像端辺の中央部近傍をそれぞれ撮影する。図８の（ａ）は撮影期間１でカメラＣ１〜Ｃ２１が撮影する画像例を示し、図８の（ｂ）は撮影期間３でカメラＣ１〜Ｃ２１が撮影する画像例を示し、図８の（ｃ）は撮影期間２でカメラＣ１〜Ｃ２１が撮影する画像例を示している。

本実施形態の画像処理装置４は、カメラＣ１〜Ｃ９で撮影された各投射画像の頂点近傍の撮影画像データに基づいて各投射画像の頂点を示す頂点データをマルチプロジェクタ制御部２へ出力し、カメラＣ１０〜Ｃ２１で撮影された中央部近傍の撮影画像データに基づいて各投射画像の端辺を示す画像端データをマルチプロジェクタ制御部２へ出力する。マルチプロジェクタ制御部２は、画像処理装置４から受け取った画像端データを対応する走査型プロジェクタのプロジェクタ制御回路１４へ供給する。

プロジェクタ制御回路１４は、画像端データを基に各投射画像の歪を検知し、映像信号に対して該歪を補正するための歪補正変換処理を行う。歪補正変換処理では投射画像の端辺が水平または垂直である長方形に近づくように補正する。具体的には、頂点位置を結ぶ直線を基準として、端辺が外側に膨らんでいる場合は、当該端辺の中央部付近に向かって段階的に走査ミラーの振幅を小さくし、内側に縮まっている場合は、当該端辺中央部付近に向かって段階的に走査ミラーの振幅を大きくすることで歪を補正する。なお、歪補正は、該歪の種類に応じた周知の補正方法を利用すればよく、本実施形態はその補正方法を限定するものではない。

プロジェクタ制御回路１４は、歪補正変換後の映像信号に基づいて変調信号を作成し、変調器１１に該変調信号を供給する。また、歪補正後の投射画像の頂点が基準位置からずれているときは、水平走査ミラー１２及び垂直走査ミラー１３へ供給する駆動信号を調整して投射画像の頂点を基準位置に一致させる。その他の構成及び処理は上述した第１の実施の形態または第２の実施の形態と同様であるため、その説明は省略する。

第４の実施の形態のマルチプロジェクションディスプレイによれば、第１の実施の形態と同様に、各走査型プロジェクタＰ１〜Ｐ４による投射画像の位置をリアルタイムに調整できると共に投射画像の歪も補正できる。
（第５の実施の形態）
図９は第５の実施の形態のマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。

第１の実施の形態や第２の実施の形態で示した走査型プロジェクタＰ１〜Ｐ４は、変調器１１からスクリーン上に投射する光を画面左端（または右端）から画面右端（または左端）まで水平方向に走査し、その軌跡（走査線）を垂直方向に順次移動させていくことで投射画像を形成する構成である。しかしながら走査型プロジェクタには、その物理的な制約により、変調器１１からスクリーン上に投射する光を画面下端（または上端）から画面上端（または下端）まで垂直方向に走査し、その軌跡（走査線）を水平方向に順次移動させていくことで投射画像を形成する構成もある。

そのような構成では、図９に示すように、４分割された画面のうち、上側２画面を構成する走査型プロジェクタＰ１及びＰ２と下側２画面を構成する走査型プロジェクタＰ３及びＰ４とで水平方向の走査方向が異なるようにする。例えば、上側２画面を構成する走査型プロジェクタＰ１及びＰ２では左から右へ向かう方向に走査することで画面を形成し、下側２画面を構成する走査型プロジェクタＰ３及びＰ４では左から右へ向かう方向に走査することで画面を形成する。

カメラＣ１〜Ｃ９は、スクリーンに投射された画像の１フレームの表示期間のうち、該画像の表示開始列を含む所定期間と表示最終列を含む所定期間とでそれぞれ撮影を行う。このようにすることで、カメラＣ１〜Ｃ９は、それぞれの撮影期間にて垂直方向及び水平方向で隣り合う画像の両方を同時に撮影することがない。

なお、カメラＣ１〜Ｃ９が垂直方向及び水平方向で隣り合う画像の両方を同時に撮影しないように、各画像の表示タイミングを上側２画面と下側２画面とで異なるようにすれば、上側２画面を構成する走査型プロジェクタＰ１及びＰ２と下側２画面を構成する走査型プロジェクタＰ３及びＰ４とで水平方向の走査方向を同一にしてもよい。

本実施形態のように、上側２画面を構成する走査型プロジェクタＰ１及びＰ２と下側２画面を構成する走査型プロジェクタＰ３及びＰ４とで水平方向の走査方向を異なるようにする、あるいは上側２画面と下側２画面とで各画像の表示タイミングが異なるようにしても、第１の実施の形態あるいは第２の実施の形態と同様に、各投射画像の頂点をそれぞれ検出できるため、スクリーン上に投射する画像の位置を調整することが可能であり、各走査型プロジェクタＰ１〜Ｐ４による投射画像の位置をリアルタイムに調整することができる。
（第６の実施の形態）
複数のプロジェクタからスクリーンに画像を投射して一つの画面を構成するマルチプロジェクションディスプレイでは、各プロジェクタから投射される各画像の色ずれを合わせることも投射画像の品質劣化を抑制するために重要になる。

第６の実施の形態では、複数の走査型プロジェクタから投射される画像の色ずれを補正する手法を提案する。

図１０は第６の実施の形態のマルチプロジェクションディスプレイシステムの１フレームの表示期間における処理の一例を示す模式図である。

図１０に示すように、第６の実施の形態のマルチプロジェクションディスプレイシステムでは、第３の実施の形態と同様に、各カメラＣ１〜Ｃ９により、１フレーム内の画像の表示開始行を含む所定期間（図１０に示す撮影期間１）または表示最終行を含む所定期間（図１０に示す撮影期間２）でスクリーンを撮影すると共に、カメラＣ１〜Ｃ９の撮影領域内に何も表示されていない期間（図１０に示す撮影期間３）でもスクリーンを撮影する。図１０の（ａ）は撮影期間１でカメラＣ１〜Ｃ９が撮影する画像例を示し、図１０の（ｂ）は撮影期間３でカメラＣ１〜Ｃ９が撮影する画像例を示し、図１０の（ｃ）は撮影期間２でカメラＣ１〜Ｃ９が撮影する画像例を示している。

本実施形態のマルチプロジェクタ制御部２は、画像処理回路４から供給された撮影画像データと外部から入力される映像信号とを比較し、隣接するプロジェクタ間でＲ、Ｇ、Ｂの色毎に明るさの違いがあるか否かを判断する。このとき、マルチプロジェクタ制御部２は、上述した第３の実施の形態で示した処理を用いて、外光の影響を除去しつつ隣接する投射画像間で色毎の明るさに違いがあるか否かを判断することが望ましい。

Ｒ、Ｇ、Ｂのいずれかに明るさの違いがあるために調整が必要と判断した場合、マルチプロジェクタ制御部２は、調整対象の走査型プロジェクタが備えるプロジェクタ制御回路１４に、調整対象のレーザ光源の光量を調整するための色調整データを送信する。

プロジェクタ制御回路１４は、マルチプロジェクタ制御部２から受け取った色調整データに基づき、調整対象のレーザ光源へ供給する電流を制御することで該レーザ光源の光量を調整する。なお、Ｒ、Ｇ、Ｂの各色の明るさの調整は、変調器１１へ供給する変調信号の振幅値でも調整することが可能である。

第６の実施の形態のマルチプロジェクションディスプレイによれば、第１の実施の形態と同様にスクリーンに投射されている複数の画像の位置をリアルタイムに調整できると共に、各画像の色ずれも調整できる。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細は本願発明のスコープ内で当業者が理解し得る様々な変更が可能である。

この出願は、２００９年３月３０日に出願された特願２００９−０８２２１６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (16)

1. 複数の二次元走査型プロジェクタからスクリーンに四角形状の画像を投射し、投射された複数の投射画像をスクリーン上でつなぎ合わせることで一つの画面を形成するマルチプロジェクションディスプレイシステムであって、
   前記各投射画像の頂点を含む所定の頂点領域を撮影する位置にそれぞれ設置され、当該頂点領域を撮影する複数のカメラと、
   前記複数のカメラを前記投射画像の１フレームの表示開始行を含む所定期間または表示最終行を含む所定期間で前記スクリーンを撮影するように制御する撮影タイミング制御部と、
   前記複数のカメラが撮影した複数の撮影画像データから前記投射画像毎の各頂点を検出し、該頂点の位置を示す画像端データを出力する頂点位置検出部と、
   前記投射画像の頂点が予め設定された基準位置からずれているとき、該頂点が前記基準位置と一致するように二次元走査型プロジェクタの走査範囲を調整するプロジェクタ制御部と、
   を有するマルチプロジェクションディスプレイシステム。
2. 前記プロジェクタ制御部は、
   前記一つの画面を形成する複数の投射画像のうち、水平方向に隣接する投射画像を、垂直方向に互いに異なる方向に走査することで形成する請求項１記載のマルチプロジェクションディスプレイシステム。
3. 前記プロジェクタ制御部は、
   前記一つの画面を形成する複数の投射画像のうち、水平方向に隣接する投射画像を、垂直方向に同一の方向に互いに異なるタイミングで走査することで形成し、
   前記タイミングは、前記カメラによる所定の撮影期間にて垂直方向及び水平方向で隣り合う投射画像の両方を同時に撮影しないように設定されている請求項１記載のマルチプロジェクションディスプレイシステム。
4. 前記プロジェクタ制御部は、
   前記一つの画面を形成する複数の投射画像のうち、垂直方向に隣接する投射画像を、水平方向に異なる方向に走査することで形成する請求項１記載のマルチプロジェクションディスプレイシステム。
5. 前記プロジェクタ制御部は、
   前記一つの画面を形成する複数の投射画像のうち、垂直方向に隣接する投射画像を、水平方向に同一の方向に走査することで形成し、かつ前記カメラが撮影期間にて垂直方向及び水平方向で隣り合う投射画像の両方を同時に撮影しないように異なるタイミングで表示させる請求項１記載のマルチプロジェクションディスプレイシステム。
6. 前記カメラは、
   前記投射画像の１フレームの表示開始行を含む所定期間または表示最終行を含む所定期間で前記スクリーンを撮影すると共に、該カメラの撮影領域内に何も表示されていない期間で前記スクリーンを撮影し、
   前記画像処理回路は、
   前記カメラが前記表示開始行を含む所定期間または前記表示最終行を含む所定期間で撮影することで得られる撮影画像データと、前記撮影領域内に何も表示されていない期間で撮影することで得られる撮影画像データとの差を算出し、該差の撮影画像データから前記走査型プロジェクタ毎の投射画像の各頂点を検出する請求項１から５のいずれか１項記載のマルチプロジェクションディスプレイシステム。
7. 前記投射画像の画像端辺の中央部を含む所定領域を撮影する位置にそれぞれ設置された複数のカメラをさらに有し、
   前記プロジェクタ制御部は、
   前記カメラが前記投射画像の画像端辺の中央部を含む所定の端辺領域を撮影することで得られる撮影画像データから前記二次元走査型プロジェクタ毎の投射画像の歪を検出し、該投射画像の歪を補正する請求項１から６のいずれか１項記載のマルチプロジェクションディスプレイシステム。
8. 前記カメラが撮影することで得られる撮影画像データにより、隣接する前記二次元走査型プロジェクタの投射画像間でＲＧＢの色毎に明るさの違いがあるか否かを判定し、前記明るさに違いがある調整対象の色毎の光量を調整するための色調整データを出力するマルチプロジェクタ制御部を有し、
   前記プロジェクタ制御部は、
   前記色調整データに基づき前記調整対象の色毎の光量を調整する請求項１から７のいずれか１項記載のマルチプロジェクションディスプレイシステム。
9. 複数の二次元走査型プロジェクタからスクリーンに四角形状の画像を投射し、投射された複数の投射画像をスクリーン上でつなぎ合わせることで一つの画面を形成するマルチプロジェクションディスプレイシステムの画面形成方法であって、
   複数のカメラが、
   前記投射画像の１フレームの表示開始行を含む所定期間または表示最終行を含む所定期間にて、前記各投射画像の頂点を含む所定の頂点領域を撮影し、
   制御部が、
   前記複数のカメラで撮影された複数の撮影画像データから前記投射画像毎の各頂点を検出し、
   前記投射画像の頂点が予め設定された基準位置からずれているとき、該頂点が前記基準位置と一致するように前記二次元走査型プロジェクタの走査範囲を調整する画面形成方法。
10. 前記制御部が、
    前記一つの画面を形成する複数の投射画像のうち、水平方向に隣接する投射画像を、垂直方向に互いに異なる方向に走査することで形成する請求項９記載の画面形成方法。
11. 前記制御部が、
    前記一つの画面を形成する複数の投射画像のうち、水平方向に隣接する投射画像を、垂直方向に同一の方向に互いに異なるタイミングで走査することで形成し、
    前記タイミングは、前記カメラによる所定の撮影期間にて垂直方向及び水平方向で隣り合う投射画像の両方を同時に撮影しないように設定されている請求項９記載の画面形成方法。
12. 前記制御部が、
    前記一つの画面を形成する複数の投射画像のうち、垂直方向に隣接する投射画像を、水平方向に異なる方向に走査することで形成する請求項９記載の画面形成方法。
13. 前記制御部が、
    前記一つの画面を形成する複数の投射画像のうち、垂直方向に隣接する投射画像を、水平方向に同一の方向に走査することで形成し、かつ前記カメラが撮影期間にて垂直方向及び水平方向で隣り合う投射画像の両方を同時に撮影しないように異なるタイミングで表示させる請求項９記載の画面形成方法。
14. 前記カメラが、
    前記投射画像の１フレームの表示開始行を含む所定期間または表示最終行を含む所定期間で前記スクリーンを撮影すると共に、該カメラの撮影領域内に何も表示されていない期間で前記スクリーンを撮影し、
    前記制御部が、
    前記カメラが前記表示開始行を含む所定期間または前記表示最終行を含む所定期間で撮影することで得られる撮影画像データと、前記撮影領域内に何も表示されていない期間で撮影することで得られる撮影画像データとの差を算出し、該差の撮影画像データから前記走査型プロジェクタ毎の投射画像の各頂点を検出する請求項９から１３のいずれか１項記載の画面形成方法。
15. 前記複数のカメラが、
    前記投射画像の画像端辺の中央部を含む所定領域を撮影し、
    前記制御部が、
    前記カメラが前記投射画像の画像端辺の中央部を含む所定の端辺領域を撮影することで得られる撮影画像データから前記二次元走査型プロジェクタ毎の投射画像の歪を検出し、該投射画像の歪を補正する請求項９から１３のいずれか１項記載の画面形成方法。
16. 前記制御部が、
    前記カメラが撮影することで得られる撮影画像データにより、隣接する前記二次元走査型プロジェクタの投射画像間でＲＧＢの色毎に明るさの違いがあるか否かを判定し、前記明るさに違いがある調整対象の色毎の光量を調整するための色調整データを生成し、
    前記色調整データに基づき前記調整対象の色毎の光量を調整する請求項９から１３のいずれか１項記載の画面形成方法。

Images