JPWO2006025191A1 - マルチプロジェクションシステムにおける幾何補正方法 - Google Patents

Abstract

【課題】複雑な形状のスクリーンや、複雑な配置のプロジェクタで構成されたマルチプロジェクションシステムにおいても、短時間で簡単かつ正確に幾何補正でき、メンテナンスの効率を大幅に向上できる幾何補正方法を提供する。【解決手段】各プロジェクタから複数個の特徴点からなるテストパターン画像を投射し、そのテストパターン画像を撮像してモニタ上に提示し、その提示されたテストパターン撮像画像を参照しながら特徴点の概略位置を指定して入力し、その概略位置情報に基づいてテストパターン画像中の各特徴点の正確な位置を検出して、その検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係とに基づいて各プロジェクタによる画像の位置合わせを行う画像補正データを算出する。

Description

本発明は、複数台のプロジェクタを用いてスクリーン上に画像を重ねて投射するマルチプロジェクションシステムにおいて、各プロジェクタ間の位置ずれや歪みをカメラにより検出して自動的に補正するマルチプロジェクションシステムにおける幾何補正方法に関するものである。

近年、博物館や展示会等におけるショールーム用ディスプレイ、シアター、或いは車や建築物、都市景観等のシミュレーションに用いるＶＲシステム等においては、大画面・高精細のディスプレイを構築するために、複数台のプロジェクタによりスクリーン上に画像を貼り合わせて表示するマルチプロジェクションシステムが広く適用されている。

このようなマルチプロジェクションシステムにおいては、個々のプロジェクタによる画像の位置ずれや色ずれを調整してスクリーン上にきれいに貼り合わせることが重要であり、その方法として、従来、プロジェクタの投射位置を算出して、各プロジェクタから投射された複数の映像をスクリーン上で一枚の映像にするための画像補正データを算出する方法が提案されている（例えば、特許文献１参照）。

特許文献１に開示の従来の画像補正データ算出方法では、プロジェクタからスクリーン上にテストパターン画像を表示し、そのテストパターン画像をデジタルカメラで撮像して、撮像した画像からプロジェクタの投射位置を算出している。すなわち、テストパターン撮像画像中の複数の特徴点をパターンマッチング等の手法を採用して検出し、その検出した特徴点の位置に基づいて投射位置のパラメータを算出して、プロジェクタの投射位置を補正させるための画像補正データを算出している。

しかし、かかる画像補正データ算出方法にあっては、スクリーン形状が複雑であったり、また、プロジェクタの配置が複雑で投射画像の向きが著しく回転していたりすると、撮像画像において検出された各特徴点が、元のテストパターン画像において複数ある特徴点のうちの一体どの特徴点に対応するか見分けがつかなくなってしまうことがある。

このような問題を回避する方法として、各特徴点を一つずつ表示して撮像することで、特徴点一個ごとを正確に検出したり、プロジェクタやカメラの配置およびスクリーン形状に応じて予め特徴点毎に大まかな検出範囲を設定しておき、各々の検出範囲に従って各特徴点を順番に対応つけて検出したりする方法が提案されている（例えば、特許文献２参照公報参照）。
特開平９−３２６９８１号公報 特開２００３−２１９３２４号公報

しかしながら、特許文献２に開示の方法では、スクリーン形状が複雑となって特徴点数が極端に多くなると、特徴点を一点毎に単独で投射して撮像する場合には、撮像時間が膨大になり、また、検出範囲を予め設定する場合には、カメラの配置が予め設定された位置から少しでもずれると、再び検出範囲を設定し直さなければならなくなって、再設定にかかる時間が膨大になり、メンテナンスの効率が低下するといった問題を抱えている。

したがって、かかる事情に鑑みてなされた本発明の目的は、複雑な形状のスクリーンや、複雑に配置されたプロジェクタで構成されたマルチプロジェクションシステムにおいても、短時間で簡単かつ正確に幾何補正でき、メンテナンスの効率を大幅に向上できるマルチプロジェクションシステムにおける幾何補正方法を提供することにある。

上記目的を達成する請求項１に係るマルチプロジェクションシステムにおける幾何補正方法の発明は、複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
上記各プロジェクタから複数個の特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
上記投射ステップで上記スクリーン上に投射されたテストパターン画像を撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
上記取込ステップで取り込まれたテストパターン撮像画像をモニタ上に提示する提示ステップと、
上記提示ステップで提示されたテストパターン撮像画像を参照しながらテストパターン撮像画像中の特徴点の概略位置を指定して入力する入力ステップと、
上記入力ステップで入力された概略位置情報に基づいてテストパターン画像中の各特徴点の正確な位置を検出する検出ステップと、
上記検出ステップで検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
を含むことを特徴とするものである。

請求項２に係る発明は、請求項１に記載のマルチプロジェクションシステムにおける幾何補正方法において、上記入力ステップは、テストパターン撮像画像中の特徴点の概略位置として、テストパターン撮像画像中における特徴点の数よりも少ない数の位置を予め設定された所定の順番で指定して入力し、
上記検出ステップは、上記入力ステップで入力された概略位置に基づいて補間演算によりテストパターン画像中の全ての特徴点における概略位置を推定し、その推定した特徴点の概略位置からテストパターン画像中の各特徴点の正確な位置を検出することを特徴とするものである。

請求項３に係る発明は、請求項２に記載のマルチプロジェクションシステムにおける幾何補正方法において、上記入力ステップにおけるテストパターン撮像画像中の特徴点の概略位置は、テストパターン撮像画像中の最外郭に位置する複数個の特徴点の位置であることを特徴とするものである。

請求項４に係る発明は、請求項２に記載のマルチプロジェクションシステムにおける幾何補正方法において、上記入力ステップにおけるテストパターン撮像画像中の特徴点の概略位置は、テストパターン撮像画像中における最外郭４隅に位置する４つの特徴点の位置であることを特徴とするものである。

請求項５に係る発明は、請求項１〜４のいずれか一項に記載のマルチプロジェクションシステムにおける幾何補正方法において、上記テストパターン画像は、複数の特徴点とともに、上記入力ステップで指定する特徴点を識別する目印が付加されているものであることを特徴とするものである。

請求項６に係る発明は、請求項１〜４のいずれか一項に記載のマルチプロジェクションシステムにおける幾何補正方法において、上記テストパターン画像は、複数の特徴点とともに、上記入力ステップで指定する特徴点の順番を識別する目印が付加されているものであることを特徴とするものである。

請求項７に係る発明は、請求項１〜６のいずれか一項に記載のマルチプロジェクションシステムにおける幾何補正方法において、上記取込ステップの後に、上記各プロジェクタによる画像の境界部分における投射輝度を低減する遮光ステップを含むことを特徴とするものである。

さらに、請求項８に係るマルチプロジェクションシステムにおける幾何補正方法の発明は、複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
上記各プロジェクタから複数個の特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
上記投射ステップで上記スクリーン上に投射されたテストパターン画像を撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
上記各プロジェクタから、テストパターン画像における特徴点の数よりも少ない数の代表的な特徴点のうちの異なる一つの特徴点からなる複数枚の単一特徴点画像を上記スクリーン上に順次投射させる複数回投射ステップと、
上記複数回投射ステップで上記スクリーン上に順次投射された複数枚の単一特徴点画像を撮像して単一特徴点撮像画像として取り込む複数回取込ステップと、
上記複数回取込ステップで得られた複数枚の単一特徴点撮像画像から各々の特徴点の正確な位置を検出するプレ検出ステップと、
上記プレ検出ステップで検出された複数枚の単一特徴点撮像画像における各特徴点の位置に基づいてテストパターン撮像画像中の各特徴点の正確な位置を検出する検出ステップと、
上記検出ステップで検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
を含むことを特徴とするものである。

請求項９に係る発明は、請求項８に記載のマルチプロジェクションシステムにおける幾何補正方法において、上記検出ステップは、上記プレ検出ステップで検出された複数枚の単一特徴点撮像画像における各特徴点の位置に基づいて多項式近似演算によりテストパターン撮像画像中の特徴点の概略位置を推定し、その推定された概略位置に基づいてテストパターン撮像画像中の特徴点の正確な位置を検出することを特徴とするものである。

請求項１０に係る発明は、請求項８または９に記載のマルチプロジェクションシステムにおける幾何補正方法において、上記複数回取り込みステップの後および上記取込ステップの後に、上記各プロジェクタによる画像の境界部分における投射輝度を低減する遮光ステップを含むことを特徴とするものである。

請求項１１に係る発明は、請求項１〜１０のいずれか一項に記載のマルチプロジェクションシステムにおける幾何補正方法において、さらに、
上記スクリーンの全体画像を上記撮像手段により撮像してスクリーン撮像画像として取得するスクリーン画像取得ステップと、
上記スクリーン画像取込ステップで取得したスクリーン撮像画像をモニタ上に提示するスクリーン画像提示ステップと、
上記スクリーン画像提示ステップで提示されたスクリーン撮像画像を参照しながらコンテンツ画像の表示範囲位置を指定して入力するコンテンツ座標入力ステップと、
上記コンテンツ座標入力ステップで入力されたスクリーン撮像画像中のコンテンツ表示範囲位置に基づいてコンテンツ画像とスクリーン撮像画像との座標位置関係を算出する算出ステップとを含み、
上記演算ステップは、上記検出ステップで検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係と、上記算出ステップで算出されたコンテンツ画像とスクリーン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出することを特徴とするものである。

請求項１２に係る発明は、請求項１１に記載のマルチプロジェクションシステムにおける幾何補正方法において、上記スクリーン画像提示ステップは、上記スクリーン画像取込ステップで取得した上記スクリーン撮像画像を上記撮像手段のレンズ特性に応じて歪補正して上記モニタ上に提示することを特徴とするものである。

本発明によれば、マルチプロジェクションシステムの位置合わせにおける初期設定である特徴点の検出範囲の設定を、ユーザによるある程度手軽な操作で、或いは自動で設定することが可能となり、これにより複雑な形状のスクリーンを用いる場合でも、またプロジェクタの投影像や撮像手段の撮像画像が著しく傾いたり回転していたりしても、特徴点の順番を間違えることなく、簡単かつ短時間で正確に幾何補正することができ、マルチプロジェクションシステムにおけるメンテナンスの効率を大幅に向上することが可能となる。

本発明の第１実施の形態に係る幾何補正方法を実施するマルチプロジェクションシステムの全体構成を示す図である。 第１実施の形態においてプロジェクタに入力するテストパターン画像とデジタルカメラにより撮像されたテストパターン撮像画像との一例を示す図である。 第１実施の形態における幾何補正手段の構成を示すブロック図である。 図３に示す幾何補正データ算出手段の構成を示すブロック図である。 第１実施の形態の幾何補正方法による処理手順を示すフローチャートである。 図５のステップＳ２における検出範囲の設定処理の詳細を説明するための図である。 図５のステップＳ７におけるコンテンツ表示範囲の設定処理の詳細を説明するための図である。 第１実施の形態の変形例で、円筒型スクリーンを用いる場合においてコンテンツ表示領域を設定するために円筒型スクリーンの撮像画像を矩形に変換表示する場合の説明図である。 同じく、第１実施の形態の変形例で、ドーム型スクリーンを用いる場合においてコンテンツ表示領域を設定するためにドーム型スクリーンの撮像画像を矩形に変換表示する場合の説明図である。 同じく、第１実施の形態の変形例で、コンテンツ表示範囲の他の設定例を説明するための図である。 本発明の第２実施の形態におけるプロジェクタに入力するテストパターン画像とデジタルカメラにより撮像されたテストパターン撮像画像との一例を示す図である。 本発明の第３実施の形態における幾何補正手段の構成を示すブロック図である。 本発明の第４実施の形態を説明するための図である。 第４実施の形態における幾何補正手段の構成を示すブロック図である。 図１４に示すテストパターン画像情報入力部において入力する際に使用するダイアログボックスの一例を示す図である。 同じく、他の例を示す図である。 第４実施の形態の幾何補正方法による処理手順を示すフローチャートである。 第４実施の形態の変形例を説明するための図である。 本発明の第５実施の形態を説明するための図である。 第５実施の形態における幾何補正手段の構成を示すブロック図である。 第５実施の形態の幾何補正方法による処理手順を示すフローチャートである。 本発明の第６実施の形態におけるプロジェクタに入力するテストパターン画像と単一特徴点画像との一例を示す図である。 第６実施の形態における幾何補正手段の構成を示すブロック図である。 図２３に示す検出範囲設定手段の構成を示すブロック図である。 本発明の第６実施の形態における幾何補正方法の全体処理手順を示す図である。 本発明の第７実施の形態を説明するための図である。 本発明の他の変形例を説明するための図である。 同じく、本発明の更に他の変形例を説明するための図である。

以下、図面を参照して本発明の実施の形態について説明する。

（第１実施の形態）
図１〜図７は、本発明の第１実施の形態を示すものである。

本実施の形態に係るマルチプロジェクションシステムは、図１に全体構成を示すように、複数のプロジェクタ（ここでは、プロジェクタ１Ａおよびプロジェクタ１Ｂ）、ドーム状のスクリーン２、デジタルカメラ３、パーソナルコンピュータ（ＰＣ）４、モニタ５、画像分割／幾何補正装置６を有しており、プロジェクタ１Ａおよびプロジェクタ１Ｂによりスクリーン２へ画像の投射を行い、投射される画像を貼り合わせてスクリーン２上に一枚の大きな画像を表示するものである。

このようなマルチプロジェクションシステムにおいて、プロジェクタ１Ａおよびプロジェクタ１Ｂから単に画像を投射しただけでは、投射された各々の画像は、個々のプロジェクタの色特性や投射位置のずれ、スクリーン２に対する投影像の歪みにより、きれいに貼り合わされない。

そこで本実施の形態では、まず、プロジェクタ１Ａおよびプロジェクタ１Ｂに、ＰＣ４から送信されたテストパターン画像信号を入力（画像分割／幾何補正は行わない）して、スクリーン２上に投射されたテストパターン画像をデジタルカメラ３により撮像してテストパターン撮像画像を取得する。この際、スクリーン２に投射するテストパターン画像としては、図２（ａ）に示すように、画面上に規則的に特徴点（マーカ）が並んだ画像とする。

デジタルカメラ３により取得されたテストパターン撮像画像は、ＰＣ４に送られ、各プロジェクタの位置合わせを行う幾何補正データを算出するために使用される。この際、テストパターン撮像画像は、ＰＣ４に付随したモニタ５により画像表示されて、制御者７に提示される。

次に、制御者７は、提示された画像を参照しながら、ＰＣ４によりテストパターン画像中の特徴点の概略位置を指定する。特徴点の概略位置が指定されると、ＰＣ４において、まず、指定された概略位置に基づいて、図２（ｂ）に示すような各特徴点の検出範囲が設定され、その設定された検出範囲に基づいて正確な特徴点位置が検出される。その後、検出された特徴点位置に基づいて各プロジェクタの位置合わせを行うための幾何補正データが算出され、その算出された幾何補正データが画像分割／幾何補正装置６に送られる。

また、画像分割／幾何補正装置６では、別途ＰＣ４より送信されたコンテンツ画像の分割および幾何補正を上記幾何補正データに基づいて実行して、プロジェクタ１Ａおよびプロジェクタ１Ｂへ出力する。これにより、スクリーン２上には、複数台（ここでは、２台）のプロジェクタ１Ａ，１Ｂにより、つなぎ目のないきれいに貼りあわされた一枚のコンテンツ画像を表示することができる。

次に、図３を参照して、本実施の形態に係る幾何補正手段の構成について説明する。

本実施の形態における幾何補正手段は、テストパターン画像作成手段１１、画像投射手段１２、画像撮像手段１３、画像提示手段１４、特徴点位置情報入力手段１５、検出範囲設定手段１６、幾何補正データ算出手段１７、画像分割／幾何補正手段１８、コンテンツ表示範囲情報入力手段１９、コンテンツ表示範囲設定手段２０により構成される。

ここで、テストパターン画像作成手段１１、特徴点位置情報入力手段１５、検出範囲設定手段１６、コンテンツ表示範囲情報入力手段１９およびコンテンツ表示範囲設定手段２０はＰＣ４で構成され、画像投射手段１２はプロジェクタ１Ａおよびプロジェクタ１Ｂで構成され、画像撮像手段１３はデジタルカメラ３で構成され、画像提示手段１４はモニタ５で構成され、幾何補正データ算出手段１７および画像分割／幾何補正手段１８は画像分割／幾何補正装置６で構成される。

テストパターン画像作成手段１１は、図２（ａ）に示したような複数の特徴点からなるテストパターン画像を作成し、画像投射手段１２は、テストパターン画像作成手段１１により作成されたテストパターン画像を入力してスクリーン２に投射する。なお、画像投射手段１２は、後述する一連の幾何補正のための演算を行った後は、画像分割／幾何補正装置６より出力された分割および幾何補正処理されたコンテンツ画像を入力して、スクリーン２への投射を行う。

画像撮像手段１３は、画像投射手段１２によりスクリーン２上に投射されたテストパターン画像を撮像し、画像提示手段１４は、画像撮像手段１３により撮像されたテストパターン撮像画像を表示して制御者７へテストパターン撮像画像の提示を行う。

特徴点位置情報入力手段１５は、制御者７により画像提示手段１４に提示されたテストパターン撮像画像を参照しながら指定されたテストパターン撮像画像中の特徴点の概略位置を入力し、検出範囲設定手段１６は、特徴点位置情報入力手段１５から入力された概略位置に基づいてテストパターン撮像画像中の各特徴点の検出範囲を設定する。

コンテンツ表示範囲情報入力手段１９は、制御者７により画像提示手段１４に別途提示されたスクリーン２全体の撮像画像を参照しながら指定されるコンテンツの表示範囲に関する情報を入力し、コンテンツ表示範囲設定手段２０は、コンテンツ表示範囲情報入力手段１９からのコンテンツの表示範囲に関する情報を入力して、撮像画像に対するコンテンツ表示範囲を設定し、その設定したコンテンツ表示範囲情報を幾何補正データ算出手段１７へ出力する。

幾何補正データ算出手段１７は、画像撮像手段１３により撮像されたテストパターン撮像画像および検出範囲設定手段１６により設定されたテストパターン撮像画像の各特徴点の検出範囲に基づいて、テストパターン撮像画像における各特徴点の正確な位置を検出すると共に、検出された各特徴点の正確な位置およびコンテンツ表示範囲設定手段２０により設定されたコンテンツ表示範囲情報に基づいて幾何補正データを算出して、画像分割／幾何補正手段１８へ送信する。

画像分割／幾何補正手段１８は、幾何補正データ算出手段１７により入力された幾何補正データに基づいて、外部より入力されたコンテンツ画像の分割および幾何補正処理を行い、画像投射手段１２へ出力する。

以上のようにして、外部から入力されたコンテンツ画像は、各プロジェクタの表示範囲に対応して正確な画像分割および幾何補正が行われ、スクリーン２上にきれいに貼り合わせされて一枚の画像として表示されることになる。

次に、図４を参照しながら前述した幾何補正データ算出手段１７の詳細ブロック構成について説明する。

幾何補正データ算出手段１７は、画像撮像手段１３により撮像されたテストパターン撮像画像を入力して記憶するテストパターン撮像画像記憶部２１と、検出範囲設定手段１６により設定されたテストパターン撮像画像の各特徴点の検出範囲を入力して記憶するテストパターン特徴点検出範囲記憶部２２と、特徴点位置検出部２３と、プロジェクタ画像−撮像画像座標変換データ作成部２４と、コンテンツ画像−プロジェクタ画像座標変換データ作成部２５と、コンテンツ画像−撮像画像座標変換データ作成部２６と、コンテンツ表示範囲設定手段２０により設定されたコンテンツ表示範囲情報を入力して記憶するコンテンツ画像表示範囲記憶部２７とを有している。

特徴点位置検出部２３は、テストパターン撮像画像記憶部２１に記憶されたテストパターン撮像画像中から、テストパターン特徴点検出範囲記憶部２２に記憶された各特徴点の検出範囲に基づいて各特徴点の正確な位置を検出する。その具体的な検出方法については、上記の特許文献２に開示されているように、各々の特徴点の正確な中心位置（重心位置）を、対応する検出範囲内での画像の最大相関値として検出する方法が適用可能である。

プロジェクタ画像−撮像画像座標変換データ作成部２４は、特徴点位置検出部２３により検出されたテストパターン撮像画像中の各特徴点の位置と、予め与えられた元の（プロジェクタに入力する前の）テストパターン画像の特徴点の位置情報とに基づいて、プロジェクタ画像の座標およびデジタルカメラ３によるテストパターン撮像画像の座標間の座標変換データを作成する。ここで、座標変換データは、プロジェクタ画像の画素毎に、対応するプロジェクタ撮像画像の座標を埋め込んだルックアップテーブル（ＬＵＴ）として作成してもよいし、両者の座標変換式を２次元高次多項式として作成してもよい。なお、ＬＵＴとして作成する場合には、特徴点が設けられた画素位置以外の座標については、隣接する複数の各特徴点の座標位置関係に基づいて線形補間または多項式補間、スプライン補間等で導出すればよい。また、２次元高次多項式として作成する場合には、複数個の特徴点位置における座標関係から、最小二乗法もしくはニュートン法、最急降下法等を用いて多項式近似を行うとよい。

コンテンツ画像−撮像画像座標変換データ作成部２６は、コンテンツ画像表示範囲記憶部２７に記憶されたコンテンツ表示範囲情報に基づいて、コンテンツ画像の座標とスクリーン全体の撮像画像の座標間の座標変換データを作成する。この際、コンテンツ表示範囲情報として、例えば後述するような撮像画像上におけるコンテンツ表示範囲の４角の座標情報が適用される場合には、コンテンツ画像−撮像画像座標変換データ作成部２６では上記４角の座標対応関係に基づいて、４角内部の補間演算もしくは多項式近似により全てのコンテンツ画像の座標に対するスクリーン撮像画像の座標の変換テーブルもしくは変換式が与えられることになる。

最後に、コンテンツ画像−プロジェクタ画像座標変換データ作成部２５は、以上のように作成されたプロジェクタ画像−撮像画像座標変換データおよびコンテンツ画像−撮像画像座標変換データを用いて、コンテンツ画像からプロジェクタ画像への座標変換テーブルもしくは座標変換式を作成し、それを幾何補正データとして画像分割／幾何補正手段１８へ出力する。

図５は、以上説明した本実施の形態に係る幾何補正方法の処理手順を示すフローチャートで、ステップＳ１〜ステップＳ１０からなるが、その概要は上記の説明と重複するので、ここではステップＳ２の検出範囲の設定処理およびステップＳ７のコンテンツ表示範囲の設定処理について詳細に説明し、その他の処理については説明を省略する。

先ず、図６（ａ）および図６（ｂ）を参照して、図５のステップＳ２における検出範囲の設定処理の詳細について説明する。

ここでは、まず、画像撮像手段１３（デジタルカメラ３）で撮像されたテストパターン撮像画像を画像提示手段１４（ＰＣ４上のモニタ５）に表示する（ステップＳ１１）。次に、制御者７が画像提示手段１４に表示されたテストパターン撮像画像中において、図６（ｂ）に示されるような特徴点の４角の位置を、ＰＣ４のウィンドウ上でマウス等により指定する（ステップＳ１２）。この際、４角の位置の指定順番は、例えば左上−右上−右下−左下のように、予め決められた順番で指定を行う。

４角全ての指定が終わったら、指定された４角の位置に基づいてテストパターン撮像画像中の全ての特徴点に対する検出範囲を設定し、画像提示手段１４（モニタ５）に表示する（ステップＳ１３）。この際、４角以外の特徴点に関しては、４角の指定位置と特徴点のＸ方向およびＹ方向の数に基づいて等間隔に若しくは４角の位置から求まる射影変換係数により線形補間して配置して設定すればよい。

最後に、必要に応じて、例えば検出範囲が特徴点から外れてしまっている場合には、表示された検出範囲を制御者７によりマウス等でドラッグして位置の微調整を行い（ステップＳ１４）、全ての検出範囲の調整後、検出範囲位置を設定して処理を終了する。

なお、図６（ａ）に示した検出範囲の設定処理では、特徴点の４角を指定してその内部の検出範囲を等間隔に設定しているが、これに限らず、例えば特徴点４角だけでなくその中間点も含めた４点以上の外郭の点を指定してもよいし、極端に言えば特徴点全ての位置（概略位置）を指定してもよい。指定する点の数が多いほど、制御者７の最初の指定作業が困難になるが、その分、その後の検出範囲を等間隔に設定したときに特徴点からはずれる可能性が低くなり、微調整が不要になる可能性がある。また、４点以上の指定を行った場合には、検出範囲の設定を等間隔でなく、多項式近似または多項式補間により中間の検出範囲の位置を算出して設定すれば、スクリーン２が曲面の場合など、撮像された特徴点の位置がある程度歪んでいても精度よく検出範囲を設定できる可能性がある。

次に、図７（ａ）および図７（ｂ）を参照して、図５のステップＳ７におけるコンテンツ表示範囲の設定処理の詳細について説明する。

ここでは、まず、画像撮像手段１３（デジタルカメラ３）により撮像されたスクリーン全体の画像を画像提示手段１４（ＰＣ４上のモニタ５）に表示する。この際、画像撮像手段１３（デジタルカメラ３）により撮像される画像には、カメラレンズによる画像歪みが発生するため、ここでは予め設定されたレンズ歪み補正係数により撮像画像の歪補正を行った上でモニタ５に表示する（ステップＳ２１）。

次に、制御者７がモニタ表示された歪補正済みのスクリーン撮像画像中において、図７（ｂ）に示したように、所望のコンテンツ画像表示範囲を矩形４角の点としてマウス等により指定する（ステップＳ２２）。その後、指定された４角の点によりコンテンツ表示範囲を矩形表示しながら、必要に応じて、制御者７により４角の点の微調整をマウス等のドラッグ操作により行う（ステップＳ２３）。微調整が終わったら、撮像画像中の４角の座標位置をコンテンツ表示範囲情報として設定して処理を終了する。

なお、ステップＳ２１で用いる歪み補正係数は、例えば画像中心からの距離の３乗に比例した係数を用いてもよいし、より精度を高めるために、高次多項式による複数の係数を用いてもよい。また、図７（ｂ）に示されるように、モニタ表示中のスクリーン撮像画像を見ながら、スクリーン２の画像の歪みがなくなるまで制御者７が繰り返し手入力により歪み補正係数を入力して設定してもよい。このような歪補正を正確に行わないと、撮像画像中でコンテンツ表示範囲を矩形で選択しても、実際のスクリーン２上では矩形に表示されなくなってしまうため、できるだけ正確な歪み補正を行うことが望ましい。

また、円筒型スクリーンやドームスクリーンを用いた場合には、観察者がデジタルカメラ３の位置から見て矩形に見えるように画像を表示するだけでなく、観察者（デジタルカメラ）の位置とは関係なく例えばスクリーン面内において所定の位置に矩形の画像が貼り付けられたように表示したい場合がある。

この場合、円筒型スクリーンにおいては、例えば図８に示すように、撮像画像中で歪んで撮像されている円筒型スクリーンを矩形型にするような円筒変換を撮像画像に対して施し、円筒変換を行った撮像画像中でコンテンツ表示領域を矩形で設定する。

さらに、特徴点を撮像した画像についても上記と同様に円筒変換を行い、プロジェクタ画像−撮像画像間および撮像画像−コンテンツ画像間の座標関係から幾何補正データを求めれば、実際に円筒型スクリーン面上に矩形の画像が貼り付けられたように表示することができる。

このとき、元の撮像画像の座標を（ｘ，ｙ）、円筒変換後の撮像画像の座標を（ｕ，ｖ）とすれば、両者の関係（円筒変換の関係）は、以下の（１）式のように表される。

ここで、（ｘ_ｃ，ｙ_ｃ）および（ｕ_ｃ，ｖ_ｃ）は、各々元の撮像画像および円筒変換後の撮像画像の中心座標、また、Ｋ_ｘ，Ｋ_ｙは撮像画像の画角に関するパラメータ、さらに、ａはカメラの位置および円筒型スクリーンの形状（半径）により定まる円筒変換係数である。

上記の円筒変換係数ａは、予めカメラの配置および円筒型スクリーンの形状が分かっていれば所定の値で与えればよいが、例えば図８に示すように、ＰＣ４上で任意に設定するようにしておけば、正確なカメラの配置および円筒型スクリーンの形状が事前に分からなくても、ユーザはライブ表示された円筒変換後の撮像画像を見ながらスクリーンが矩形で表示されるように調整し、最適な円筒変換係数のパラメータを設定することが可能であり、非常に汎用性の高いマルチプロジェクションシステムを構築できる。勿論、ユーザがＰＣ４上で設定可能なパラメータは、円筒変換係数ａだけでなく、例えばＫ_ｘ，Ｋ_ｙのような他のパラメータを設定できるようにしてもよい。

また、図９に示すように、ドームスクリーンを用いた場合にも、撮像画像に対して座標変換を施すことにより、曲面に歪んだスクリーン面を矩形に補正することが可能である。この場合には、撮像画像に対して上記の円筒変換の代わりに極座標変換を施すことになるが、このときの極座標変換は以下の（２）式のように表される。

ここで、ｂのパラメータは、カメラの配置およびドームスクリーンの形状（半径）により定まる極座標変換係数である。この極座標変換係数ｂは、図９に示すように、ＰＣ４上で任意に設定するようにしておけば、正確なカメラの配置およびドームスクリーンの形状が事前に分からなくても、ユーザはライブ表示された極座標変換後の撮像画像を見ながらスクリーンが矩形になるように調整し、最適なパラメータを設定することが可能である。これにより幾何補正データを求めれば、観察位置とは関係なく実際にドームスクリーン面上に矩形の画像が貼り付けられたように表示することができる。

また、コンテンツ表示範囲を矩形で設定するのではなく、多角形若しくは曲線により囲まれる領域として設定してもよい。この場合には、図１０に示すように、多角形の頂点若しくは曲線の制御点をマウスにより指定、移動できるようにし、これに応じてコンテンツ表示範囲を多角形若しくは曲線により表示しながら、ユーザが任意にコンテンツ範囲を設定できるようにする。このように設定された多角形若しくは曲線で囲まれたコンテンツ範囲により、その内部のコンテンツ画像−撮像画像間の座標変換を多角形若しくは曲線の内挿式等を用いて求めることにより、設定された多角形若しくは曲線により囲まれる領域に合わせてコンテンツ画像を表示することが可能となる。

以上説明した本実施の形態によれば、制御者７によりモニタ５を見ながら簡便に幾何補正のための特徴点の検出範囲を設定することが可能となり、マルチプロジェクションシステムにおいてスクリーン２、プロジェクタ１Ａ，１Ｂおよびデジタルカメラ３の配置が頻繁に変わっても、短時間で正確かつ確実にプロジェクタ１Ａ，１Ｂによる表示画像の位置合わせを行うことができる。また、スクリーン全体に対してコンテンツをどの範囲で表示するかということも、モニタ５を見ながら制御者７により自由に、しかも簡便に設定することが可能となるので、マルチプロジェクションシステムにおけるメンテナンス効率を向上することができる。

（第２実施の形態）
図１１（ａ）〜（ｄ）は、本発明の第２実施の形態を説明するための図である。

本実施の形態は、第１実施の形態において、テストパターン画像作成部において作成するテストパターン画像を、図２（ａ）に示したような画像に代えて、図１１（ａ）に示すような特徴点の周辺に目印（番号）を付加した画像としたもので、その他の構成および動作は、第１実施の形態と同様であるので説明を省略する。

このように、テストパターン画像として特徴点の周辺に目印（番号）を付加した画像を用いれば、例えば個々のプロジェクタの投射画像が著しく回転していたり、ミラー等の折り返しにより反転していたりしても、図１１（ｂ）に示されるように、テストパターン撮像画像中で指定する点に番号が見印として付加されているので、各々対応した順序で選択することができ、失敗なく位置合わせを行うことができる。また、制御者７による特徴点の概略位置指定において、４角以上の点（例えば外郭６点）の指定を行う場合には、図１１（ｃ）に示されるように、６点の近傍に番号を付加することで、図１１（ｄ）に示されるようにテストパターン撮像画像中での６点の指定（特に４角以外の中間２点）を間違いなく容易に指定することができる。また、番号だけでなく、特徴点の形状を上記６点のみ他の特徴点とは異なる形状で表示してもよいし、また、輝度や色を変えて表示してもよい。

以上のように、本実施の形態によれば、テストパターン画像に特徴点とともに目印を番号等で示すことで、図６に示した特徴点検出範囲の設定処理において、制御者７による特徴点の概略位置指定のミスを減らすことができ、メンテナンスの効率向上が図れる。

（第３実施の形態）
図１２は、本発明の第３実施の形態に係る幾何補正手段の構成を示すブロック図である。

本実施の形態は、第１実施の形態に示した幾何補正手段の構成（図３参照）に加え、ネットワーク制御手段２８ａおよびネットワーク制御手段２８ｂを設けたものである。すなわち、ネットワーク制御手段２８ａは、遠隔地にあるネットワーク制御手段２８ｂとネットワーク２９を介して接続されて、画像撮像手段１３により撮像されたテストパターン撮像画像およびスクリーン撮像画像を、ネットワーク２９を介してネットワーク制御手段２８ｂへ送信すると共に、ネットワーク制御手段２８ｂからネットワーク２９を介して送信された特徴点の概略位置情報およびコンテンツ表示範囲情報を受信して、それぞれ検出範囲設定手段１６およびコンテンツ表示範囲設定手段２０へ出力する。

一方、ネットワーク制御手段２８ｂは、ネットワーク制御手段２８ａによりネットワーク２９を介して送信されたテストパターン撮像画像およびスクリーン撮像画像を受信して、画像提示手段１４へ出力すると共に、制御者７により特徴点位置情報入力手段１５で入力された特徴点の概略位置情報および制御者７によりコンテンツ表示範囲情報入力手段１９で入力されたコンテンツ表示範囲情報を、ネットワーク２９を介してネットワーク制御手段２８ａへ送信する。なお、本実施の形態の場合には、制御者７が居る遠隔地側と、マルチプロジェクションシステムの設置側とにそれぞれＰＣを設けて、遠隔地側のＰＣにより、特徴点位置情報入力手段１５およびコンテンツ表示範囲情報入力手段１９を構成し、設置側のＰＣにより、テストパターン画像作成手段１１、検出範囲設定手段１６およびコンテンツ表示範囲設定手段２０を構成する。

これにより、本実施の形態によれば、制御者７が遠隔地に居てもネットワーク２９を介してシステムのメンテナンスを実行することができる。

（第４実施の形態）
図１３〜図１７は、本発明の第４実施の形態を示すものである。

本実施の形態は、図１３に示すように、プロジェクタ１Ｂから投射された画像の一部がスクリーン２からはみ出してしまっている場合に、テストパターン画像を投射した際の特徴点もスクリーン２により“けられ”が生じて一部表示できなくなってしまうことを避けるため、テストパターン画像における特徴点の表示範囲を、制御者７によりある程度調整可能とするものである。

このため、本実施の形態に係る幾何補正手段においては、図１４に示すように、図３に示した第１実施の形態の幾何補正手段の構成に、テストパターン画像情報入力手段３１を新たに付加する。このテストパターン画像情報入力手段３１は、制御者７により画像提示手段１４に表示された調整前のテストパターン撮像画像を参照しながら特徴点の表示範囲等のパラメータを設定して入力し、そのパラメータをテストパターン画像作成手段１１および幾何補正データ算出手段１７へ出力するものである。

また、テストパターン画像作成手段１１では、テストパターン画像情報入力手段３１により設定されたテストパターン画像に関するパラメータに基づいてテストパターンを作成して画像投射手段１２へ出力する。さらに、幾何補正データ算出手段１７では、テストパターン画像情報入力手段３１により設定されたテストパターン画像に関するパラメータのうち、設定された各特徴点の位置に関する情報を入力して、プロジェクタ画像−撮像画像間の座標関係導出の際に使用する。

その他、画像投射手段１２、画像撮像手段１３、画像提示手段１４、特徴点位置情報入力手段１５、検出範囲設定手段１６、画像分割／幾何補正手段１８、コンテンツ表示範囲情報入力手段１９およびコンテンツ表示範囲設定手段２０は、それぞれ第１実施の形態の機能と同様である。

ここで、テストパターン画像情報入力手段３１で入力するテストパターン画像に関するパラメータは、例えば図１５もしくは図１６に示すようなダイアログにより制御者７がモニタ５を見ながら設定する。すなわち、図１５の場合には、まず、テストパターン画像における特徴点の表示範囲として、右上端、左上端、右下端および左下端の各特徴点の座標位置（ピクセル）を数値で入力し、さらに水平方向（Ｘ方向）および垂直方向（Ｙ方向）の特徴点の数を入力する。また、特徴点の形状についても、幾つか選べるようになっている。

一方、図１６の場合には、テストパターン画像における特徴点の表示範囲として、座標値でなくマウスで外枠の形状をドラッグしながら調整する。

以上のように設定した結果に基づいて、後段のテストパターン画像作成手段１１でテストパターン画像を作成して画像投射手段１２により投射し、そのテストパターン画像を画像撮像手段１３で撮像して、撮像されたテストパターン撮像画像を画像提示手段１４でモニタ表示し、その表示画像から特徴点がスクリーン２等によりけられていないかどうかを確認する。

制御者７は、以上の手順により特徴点が全て撮像画像中に収まっているかどうかを確認して、収まるまで再設定を繰り返し、特徴点が全て撮像画像中に収まっていたら、そのテストパターン画像を用いて画像投射および撮像を行って、上記実施の形態と同様に、検出範囲を設定して幾何補正データの算出処理を実行する。

図１７は、以上説明した本実施の形態に係る幾何補正方法の概略手順を示すフローチャートで、ステップＳ３１〜ステップＳ３９からなるが、その概要は上記の説明と重複するので、ここでは説明を省略する。

本実施の形態によれば、テストパターン画像における特徴点の表示範囲を制御者７がモニタ５で確認しながら設定できるので、画像の一部がスクリーン２からはみ出してしまっている等の場合においても、ミスなくプロジェクタ１Ａ，１Ｂによる表示画像の位置合わせが可能となる。

なお、本実施の形態では、テストパターンがスクリーン２からはみ出さないように設定可能としているが、仮にテストパターンがスクリーン２からはみ出した場合でも、例えば図１８に示すように、はみ出した特徴点に対応する検出範囲を削除する機能を付加してもよい。この場合には、後の幾何演算時（具体的には、撮像画像−プロジェクタ画像間の座標変換データの作成時）において、削除された検出範囲に対応する特徴点の情報は用いず、残った検出範囲に対応する特徴点の情報のみを用いて演算すればよい。このようにすることで、テストパターン設定において、仮にテストパターンがスクリーン２からはみ出した場合でも、エラーなくスクリーン面上での貼り合わせが可能となる。

（第５実施の形態）
図１９〜図２１は、本発明の第５実施の形態を示すものである。

本実施の形態では、第１実施の形態において、図１９（ａ）に示すように、プロジェクタ１のレンズ３５から出射された光の一部を遮光する遮光板３６を、プロジェクタ１の前面に挿入したものである。なお、ここでは、第１実施の形態のプロジェクタ１Ａ，１Ｂ等、マルチプロジェクションシステムを構成する各プロジェクタを総称してプロジェクタ１として示している。

このような遮光板３６を挿入することにより、図１９（ｂ）にスクリーン２への投射イメージを、図１９（ｃ）に画像空間の投射輝度をそれぞれ示すように、各プロジェクタ１からスクリーン２へ投射された画像の境界の輝度を滑らかに落とすことができ、これにより複数のプロジェクタ同士の画像重なり部分の輝度の浮きを軽減することができるので、貼り合わせ後の画質向上を図ることができる。

しかしながら、遮光板３６が挿入された状態でテストパターン画像を各プロジェクタ１より投射すると、画像の境界に近い特徴点が遮光板によりけられてしまい、撮像および位置検出ができなくなってしまう可能性がある。

そこで、本実施の形態では、図１９（ｄ）に示すように、遮光板３６を開閉機構部３７により開閉式にして、テストパターン画像投射および撮像時は遮光板３６を開放にし、テストパターン画像撮像後に再び遮光板３６を挿入するようにする。これにより、各プロジェクタ１の位置合わせは遮光部においても精度よく行うことができ、さらに先に述べたように貼り合わせ後は、画像重なり部分の輝度の浮きを軽減することができるので、画質向上を図ることができる。

図２０は、本実施の形態に係る幾何補正手段の構成を示すものである。本実施の形態では、第１実施の形態における幾何補正手段の構成（図３参照）に、さらに遮光制御手段３８および遮光手段３９を備えている。遮光手段３９は、上述した開閉式の遮光板３６である。また、遮光制御手段３８は、制御者７による入力操作によって、テストパターン画像投射および撮像時に遮光板３６を開放にするような制御信号を遮光手段３９に出力すると共に、テストパターン撮像後は、遮光板３６を挿入するような制御信号を遮光手段３９へ出力する。その他、テストパターン画像作成手段１１、画像投射手段１２、画像撮像手段１３、画像提示手段１４、特徴点位置情報入力手段１５、検出範囲設定手段１６、幾何補正データ算出手段１７、画像分割／幾何補正手段１８、コンテンツ表示範囲情報入力手段１９、コンテンツ表示範囲設定手段２０は、前述した第１実施の形態と同様であるので、ここでは説明を省略する。

図２１は、本実施の形態による幾何補正方法の処理手順を示すフローチャートである。ここでは、まず、遮光板３６を挿入して（ステップＳ４１）、プロジェクタ投射画像の重なり部がなだらかにつながるように、遮光板３６の位置の調整を行う（ステップＳ４２）。位置を調整した後は、一旦、遮光板３６を開放にする（ステップＳ４３）。

以下、コンテンツ表示範囲設定のステップＳ４４から幾何補正データを送信するステップＳ５２までは、図５に示した第１実施の形態における処理ステップＳ１〜Ｓ１０と同様の処理を実行し、ステップＳ５２の幾何補正データ送信後、最後に、再び遮光板３６を挿入することにより（ステップＳ５３）、各プロジェクタ１の位置合わせおよび輝度のつなぎ合わせが全て終了する。なお、図２１におけるステップＳ４１、ステップＳ４３およびステップＳ５３での遮光板３６の駆動は、自動で行うようにしても良いし、手動で行うようにしても良い。

本実施の形態によれば、画像重なり部分の輝度の浮きを軽減するために遮光板３６を挿入する場合でも、複数のプロジェクタの位置合わせを精度よく行うことが可能となる。

（第６実施の形態）
図２２〜図２５は、本発明の第６実施の形態を示すものである。

本実施の形態は、各プロジェクタにより、図２２（ａ）に示すようなテストパターン画像とともに、図２２（ｂ）に示すようなテストパターン画像中の特徴点１点のみを表示するような単一特徴点画像を複数枚順次投射して、各々撮像するものである。ここで、単一特徴点画像は、テストパターン画像中の全ての特徴点に対して作成するのではなく、幾つかの代表的な特徴点に対してのみ単一特徴点画像を作成する。すなわち、図２２（ａ）の細かく配置されたテストパターン画像における特徴点数をＫ、図２２（ｂ）に示す単一特徴点画像の枚数をＪとするとき、Ｊ＜Ｋとする。これにより、各単一特徴点画像を投射して撮像した画像からは、各々特徴点一点を検出すればよく、制御者７による検出範囲の設定を行うことなく自動的に検出することができる。

全ての単一特徴点について自動検出を行った後は、これら代表的な特徴点の位置より、前述した第１実施の形態のように線形補間もしくは多項式補間を行ってプロジェクタ画像−撮像画像間の座標変換式を近似的に導出し、その座標変換式を用いて図２２（ａ）のテストパターン撮像画像における全ての特徴点の概略位置（検出範囲）を自動的に設定する。これにより、制御者７による検出範囲の設定を全く行うことなく、自動的に細かい特徴点で構成されたテストパターン画像の検出範囲を設定することが可能となる。

なお、各特徴点を単独で撮像して自動的に幾何補正を行う方法は、既に上記の特許文献２にも開示されているが、上記特許文献２に開示の方法では、テストパターン画像中の全ての特徴点について各々単独で撮像するため、特徴点が多数ある場合には撮像時間が非常にかかることになる。これに対し、本実施の形態では、代表的な特徴点のみ単独で撮影し、細かく配置された多数の特徴点については別途テストパターン画像として一度に撮像する２段階方式としているので、その分、撮像時間を上記方法に比べきわめて短くすることができる。

図２３は、本実施の形態に係る幾何補正手段の構成を示すものである。本実施の形態における幾何補正手段は、前述した第１実施の形態の構成（図３参照）に対して、主にテストパターン画像作成手段１１および検出範囲設定手段１６の構成が異なるものである。

すなわち、テストパターン画像作成手段１１は、図２２（ａ）に示したような第１実施の形態と同様のテストパターン画像を作成するテストパターン画像作成部４１と、図２２（ｂ）に示したような単一特徴点画像（複数枚）を作成する単一特徴点画像作成部４２とで構成される。このテストパターン画像作成手段１１で作成されたテストパターン画像および複数枚の単一特徴点画像は、画像投射手段１２に順次入力されてスクリーン２上に投射され、画像撮像手段１３により順次撮像される。

画像撮像手段１３で撮像されたテストパターン撮像画像は、幾何補正データ算出手段１７へ入力される。一方、画像撮像手段１３で撮像された各単一特徴点撮像画像は、検出範囲設定手段１６へ入力される。なお、本実施の形態においては、画像提示手段１４にはコンテンツ表示範囲設定に用いるスクリーン撮像画像のみが入力され、テストパターン撮像画像および単一特徴点画像は入力されない。

検出範囲設定手段１６は、画像撮像手段１３から入力された各単一特徴点撮像画像に基づいて、後述する方法により、テストパターン撮像画像の各特徴点の概略位置（検出範囲）を算出して幾何補正データ算出手段１７へ出力する。その他の幾何補正データ算出手段１７、コンテンツ表示範囲情報入力手段１９、コンテンツ表示範囲設定手段２０、画像分割／幾何補正手段１８については、第１実施の形態と同等であるので説明を省略する。

検出範囲設定手段１６は、図２４に示すように、単一特徴点撮像画像列記憶部４５、特徴点位置検出部４６、プロジェクタ画像−撮像画像座標変換式算出部４７およびテストパターン検出範囲設定部４８を有している。単一特徴点撮像画像列記憶部４５は、画像撮像手段１３により撮像された複数枚の単一特徴点撮像画像を記憶する。特徴点検出部４６は、単一特徴点撮像画像列記憶部４５に記憶された各単一特徴点撮像画像から特徴点の正確な位置を検出する。なお、この際の特徴点の位置検出方法は、検出範囲を画像全体に設定して、これまでと同様に一つの特徴点を検出すればよい。

プロジェクタ画像−撮像画像座標変換式算出部４７は、特徴点検出部４６により検出された各単一特徴点撮像画像の特徴点の位置情報と、予め与えられた元の（プロジェクタに入力する前の）単一特徴点画像の特徴点の位置情報とに基づいて、プロジェクタ画像の座標およびデジタルカメラ３による撮像画像の座標間の座標変換式を近似式として算出する。この際の近似式導出方法は、検出された各単一特徴点のプロジェクタ画像−撮像画像間の位置関係よりその他の画素位置については線形補間および多項式補間等を用いて導出すればよい。

テストパターン検出範囲設定部４８は、プロジェクタ画像−撮像画像座標変換式算出部４７において算出されたプロジェクタ画像−撮像画像間の座標変換式、および予め与えられた元の（プロジェクタに入力する前の）テストパターン画像の特徴点の位置情報とに基づいて、テストパターン撮像画像における各特徴点の概略位置（検出範囲位置）を算出して、後段の幾何補正データ算出手段１７に出力する。

図２５は、以上説明した本実施の形態に係る幾何補正方法の概略手順を示すフローチャートで、ステップＳ６１〜ステップＳ６９からなるが、その概要は上記の説明と重複するので、ここでは説明を省略する。

本実施の形態によれば、制御者７による検出範囲の設定を全く行うことなく、自動的に細かい特徴点で構成されたテストパターン画像の検出範囲を設定することができ、短時間で幾何補正データを得ることが可能となる。

（第７実施の形態）
図２６は、本発明の第７実施の形態を示すものである。

本実施の形態は、第６実施の形態において、テストパターン画像のほかに表示する単一特徴点画像に代えて、図２６に示すようなテストパターン画像中の外枠に配置されている特徴点のみ表示された一枚の外郭特徴点画像を各プロジェクタ１により投射して画像撮像手段により撮像するようにしたもので、その他の構成および動作は第６実施の形態と同様である。

本実施の形態は、特に、スクリーン２が曲面でなく平面状で、複数のプロジェクタ１が整列して並んで配置され（図２６では、１台のプロジェクタ１のみを示している）、投射画像が回転または反転していない場合に有効に適用することができる。すなわち、このようなマルチプロジェクションシステムの場合は、特徴点の配置および順番もある程度規則的に並ぶことになるので、第６実施の形態のように一点ずつ特徴点を投射しなくても、ある程度複数点投射すれば、自動的に各々の特徴点を順番に検出することが可能である。

このように、複数のプロジェクタ１の配置がある程度単純な場合には、代表的な複数点を同時に投射・撮像し、さらに細かいテストパターン画像を撮像することで、各プロジェクタ１について２回の撮像のみで、自動的にテストパターン画像の検出範囲を設定でき、正確な幾何補正が実現できる。また、この場合において、投射画像の重なり部に、第５実施の形態に示したように遮光板を設けた場合には、遮光板の影響で暗くなってしまう外郭特徴点画像の撮像と、遮光板の影響を受けない内部の特徴点（テストパターン画像の特徴点）についての撮像とを分離できるので、遮光板による特徴点の輝度の差を気にすることなく位置検出を行うことが可能となり、遮光板を挿入したままでも検出ミスをなくすことができる。

本実施の形態によれば、スクリーン２に著しい曲面がない場合や、複数のプロジェクタ１がある程度整列して配置されている場合において、投射画像の重なり部に遮光板が配置されている場合においても、遮光板を開閉することなく挿入したままの状態で、良好な位置合わせを行うことができる。

本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、スクリーン２はドーム状のものや、平面フロント投射型のものに限らず、例えば図２７に示すようなアーチ型スクリーン２や、図２８に示すような平面リア型スクリーン２を用いた場合でも同様に適用可能である。なお、図２７および図２８は、３つのプロジェクタ１Ａ，１Ｂ，１Ｃを用いる場合を示している。

Claims (12)

1. 複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
   上記各プロジェクタから複数個の特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
   上記投射ステップで上記スクリーン上に投射されたテストパターン画像を撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
   上記取込ステップで取り込まれたテストパターン撮像画像をモニタ上に提示する提示ステップと、
   上記提示ステップで提示されたテストパターン撮像画像を参照しながらテストパターン撮像画像中の特徴点の概略位置を指定して入力する入力ステップと、
   上記入力ステップで入力された概略位置情報に基づいてテストパターン画像中の各特徴点の正確な位置を検出する検出ステップと、
   上記検出ステップで検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
   を含むことを特徴とするマルチプロジェクションシステムにおける幾何補正方法。
2. 上記入力ステップは、テストパターン撮像画像中の特徴点の概略位置として、テストパターン撮像画像中における特徴点の数よりも少ない数の位置を予め設定された所定の順番で指定して入力し、
   上記検出ステップは、上記入力ステップで入力された概略位置に基づいて補間演算によりテストパターン画像中の全ての特徴点における概略位置を推定し、その推定した特徴点の概略位置からテストパターン画像中の各特徴点の正確な位置を検出することを特徴とする請求項１に記載のマルチプロジェクションシステムにおける幾何補正方法。
3. 上記入力ステップにおけるテストパターン撮像画像中の特徴点の概略位置は、テストパターン撮像画像中の最外郭に位置する複数個の特徴点の位置であることを特徴とする請求項２に記載のマルチプロジェクションシステムにおける幾何補正方法。
4. 上記入力ステップにおけるテストパターン撮像画像中の特徴点の概略位置は、テストパターン撮像画像中における最外郭４隅に位置する４つの特徴点の位置であることを特徴とする請求項２に記載のマルチプロジェクションシステムにおける幾何補正方法。
5. 上記テストパターン画像は、複数の特徴点とともに、上記入力ステップで指定する特徴点を識別する目印が付加されているものであることを特徴とする請求項１〜４のいずれか一項に記載のマルチプロジェクションシステムにおける幾何補正方法。
6. 上記テストパターン画像は、複数の特徴点とともに、上記入力ステップで指定する特徴点の順番を識別する目印が付加されているものであることを特徴とする請求項１〜４のいずれか一項に記載のマルチプロジェクションシステムにおける幾何補正方法。
7. 上記取込ステップの後に、上記各プロジェクタによる画像の境界部分における投射輝度を低減する遮光ステップを含むことを特徴とする請求項１〜６のいずれか一項に記載のマルチプロジェクションシステムにおける幾何補正方法。
8. 複数台のプロジェクタから投射される画像を貼り合せてスクリーン上に一枚のコンテンツ画像を表示するマルチプロジェクションシステムにおいて、上記各プロジェクタの画像の位置合わせを行うための幾何補正データを算出するにあたり、
   上記各プロジェクタから複数個の特徴点からなるテストパターン画像を上記スクリーン上に投射させる投射ステップと、
   上記投射ステップで上記スクリーン上に投射されたテストパターン画像を撮像手段により撮像してテストパターン撮像画像として取り込む取込ステップと、
   上記各プロジェクタから、テストパターン画像における特徴点の数よりも少ない数の代表的な特徴点のうちの異なる一つの特徴点からなる複数枚の単一特徴点画像を上記スクリーン上に順次投射させる複数回投射ステップと、
   上記複数回投射ステップで上記スクリーン上に順次投射された複数枚の単一特徴点画像を撮像して単一特徴点撮像画像として取り込む複数回取込ステップと、
   上記複数回取込ステップで得られた複数枚の単一特徴点撮像画像から各々の特徴点の正確な位置を検出するプレ検出ステップと、
   上記プレ検出ステップで検出された複数枚の単一特徴点撮像画像における各特徴点の位置に基づいてテストパターン撮像画像中の各特徴点の正確な位置を検出する検出ステップと、
   上記検出ステップで検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出する演算ステップと、
   を含むことを特徴とするマルチプロジェクションシステムにおける幾何補正方法。
9. 上記検出ステップは、上記プレ検出ステップで検出された複数枚の単一特徴点撮像画像における各特徴点の位置に基づいて多項式近似演算によりテストパターン撮像画像中の特徴点の概略位置を推定し、その推定された概略位置に基づいてテストパターン撮像画像中の特徴点の正確な位置を検出することを特徴とする請求項８に記載のマルチプロジェクションシステムにおける幾何補正方法。
10. 上記複数回取り込みステップの後および上記取込ステップの後に、上記各プロジェクタによる画像の境界部分における投射輝度を低減する遮光ステップを含むことを特徴とする請求項８または９に記載のマルチプロジェクションシステムにおける幾何補正方法。
11. 請求項１〜１０のいずれか一項に記載のマルチプロジェクションシステムにおける幾何補正方法において、さらに、
    上記スクリーンの全体画像を上記撮像手段により撮像してスクリーン撮像画像として取得するスクリーン画像取得ステップと、
    上記スクリーン画像取込ステップで取得したスクリーン撮像画像をモニタ上に提示するスクリーン画像提示ステップと、
    上記スクリーン画像提示ステップで提示されたスクリーン撮像画像を参照しながらコンテンツ画像の表示範囲位置を指定して入力するコンテンツ座標入力ステップと、
    上記コンテンツ座標入力ステップで入力されたスクリーン撮像画像中のコンテンツ表示範囲位置に基づいてコンテンツ画像とスクリーン撮像画像との座標位置関係を算出する算出ステップとを含み、
    上記演算ステップは、上記検出ステップで検出されたテストパターン撮像画像中の特徴点の位置と、予め与えられているテストパターン画像中の特徴点の座標情報と、別途定められたコンテンツ画像とテストパターン撮像画像との座標位置関係と、上記算出ステップで算出されたコンテンツ画像とスクリーン撮像画像との座標位置関係とに基づいて、上記各プロジェクタによる画像の位置合わせを行う画像補正データを算出することを特徴とするマルチプロジェクションシステムにおける幾何補正方法。
12. 上記スクリーン画像提示ステップは、上記スクリーン画像取込ステップで取得した上記スクリーン撮像画像を上記撮像手段のレンズ特性に応じて歪補正して上記モニタ上に提示することを特徴とする請求項１１に記載のマルチプロジェクションシステムにおける幾何補正方法。
    
    
    

Images