JP6554873B2 - 投影システム、画像処理装置、校正方法およびプログラム - Google Patents

Description

本発明は、投影システム、画像処理装置、校正方法およびプログラムに関する。

近年、複数のプロジェクタからの投影像を互いに重複領域を持たせながら並べて、単一の高解像度な画像をスクリーン上に投影するマルチ・プロジェクション技術が注目を集めている。

上述したマルチ・プロジェクション技術に関しては、例えば、特許第３９０８２５５号（特許文献１）が知られている。特許文献１の画像投影システムでは、校正の際に、予め座標位置が既知である４つ以上の特徴点を有する基準画像を各プロジェクタからスクリーンに投影する。ここで、基準画像は、例えば一定間隔に輝点や十字を並べた格子模様等既知の画像である。そして、デジタルカメラにより撮像した基準画像中の上記特徴点の位置を検出し、その検出された各プロジェクタの４つ以上の特徴点の位置に基づき、各プロジェクタ毎の投影画像を変形し、かつ重複領域を検出してブレンディング処理を施す。この変形およびブレンディング処理された画像を複数のプロジェクタから互いに重複領域を持たせつつスクリーン上に並べて投影することによって、１つの高解像度な画像を投影することができる。

上記従来技術の投影システムでは、壁のような広いスクリーンの中に特に投影像の位置は気にせず投影できる状況が想定されている。一方で、展示イベント、広告などで、足つきホワイトボードのように壁から離れた平面スクリーンの中に投影像をぴったり収めたい場合や、壁から離れていなくても、大理石など模様のある壁に貼った専用のスクリーンの被投影領域中に投影像をぴったり収めたいという要望がある。

しかしながら、上記従来技術では、被投影領域中に連結投影像を収めるようにユーザが目視しながら制御コンピュータを操作して合わせこむ手動調整が必要であった。このため、スクリーンのある場所と、制御用のコンピュータのある場所とが遠隔しているような場合、目視できないためＷｅｂカメラなど解像度が不充分な映像をモニタしながら１人で調整するか、複数人で連絡を取りながら連携して行う必要があり、利便性の観点から充分なものではなかった。また、常設サイネージとして使われる場合には、一旦設置調整した後でも、経時で振動などによるプロジェクタの位置ずれは不可避であり、わずかなずれが大きな画質の劣化を引き起こす。このため、再調整を簡便に行うことができる技術の開発も求められていた。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、複数の投影手段により全体として画像を投影する際に、投影した校正用画像を撮像した撮像画像に基づいて被投影領域を検出し、全体としての投影像が被投影領域に収まるよう校正することができる、投影システムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する、複数の投影手段により全体としての画像を投影するための投影システムを提供する。本投影システムは、複数の投影手段のうちの被投影領域の隅の領域を担当する投影手段に対し、上記被投影領域の隅への位置合わせの目安となる位置合わせマーカを含む校正用画像を出力する出力手段と、被投影領域および投影された校正用画像が撮像された校正用撮像画像に基づき、上記被投影領域を特徴付ける基準点を検出する検出手段と、上記被投影領域の基準点によって上記複数の投影手段が全体としての画像を投影する投影目標領域を画定し、上記複数の投影手段に対する補正係数を計算する補正係数計算手段とを含む。

上記構成により、複数の投影手段により全体として画像を投影する際に、投影した校正用画像を撮像した撮像画像に基づいて被投影領域を検出し、全体としての投影像が被投影領域に収まるよう校正することができる。

本実施形態による投影システムの全体構成を示す概略図。 本実施形態による投影システムにおけるスクリーン、画像処理装置、プロジェクタおよびカメラの設置例を示す図。 本実施形態による投影システムの機能ブロック図。 本実施形態において、投影像を横一列に並べた３台のプロジェクタに対して生成される３つの校正用画像を例示する図。 本実施形態による校正処理の全体的な処理の流れを示すフローチャート。 本実施形態による画像処理装置が複数のプロジェクタから投影させる校正用投影シーンを例示する図。 本実施形態において撮像画像の座標系上で抽出される各プロジェクタの校正点の組および四隅マーカの検出点を示す図。 本実施形態における被投影領域検出部が実行する被投影領域の基準点検出アルゴリズムを説明する図。 本実施形態による補正係数算出部が実行する幾何補正係数の計算処理を示すフローチャート。 校正点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図。 撮像画像の座標系上における３つのプロジェクタの投影可能領域、投影目標領域およびコンテンツ画像のマッピングを説明する図。 プロジェクタ・メモリ上の各座標と、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置との対応付けを説明する図。 プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図。 （Ａ）幾何補正係数および（Ｂ）ブレンディング係数のデータ構造を例示する図。 本実施形態による補正処理部が実行する、補正係数に基づく補正処理を説明する図。 本実施形態による初回校正後の再校正処理の全体的な処理の流れを示すフローチャート。 本実施形態による再校正処理において校正エラーが発生する具体例を示す図。 他の実施形態において複数のプロジェクタから投影させる校正用投影シーンを例示する図。 本実施形態による汎用コンピュータ装置のハードウェア構成を示す図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、投影システムの一例として、投影手段である複数のプロジェクタ１５０と、撮像手段である１つのカメラ１６０と、全体制御を行う画像処理装置１１０とを含む投影システム１００を用いて説明する。

（全体構成）
図１は、本実施形態による投影システム１００の全体構成を示す概略図である。図１に示す投影システム１００は、システムの全体制御を行う画像処理装置１１０と、複数のプロジェクタ１５０と、カメラ１６０と、入力装置１７０とを含み構成される。なお、投影システム１００は、特に限定されるものではないが、説明する実施形態では、３台のプロジェクタ１５０ａ〜１５０ｃの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆるマルチ・プロジェクションに対応した構成とされている。

画像処理装置１１０は、典型的には、パーソナル・コンピュータ、ワークステーションなどの汎用コンピュータとして構成される。なお、画像処理装置１１０は、汎用コンピュータに限定されるものではなく、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１５０に組み込まれてもよいし、タブレット・コンピュータのようなデバイスに組み込まれてもよい。

プロジェクタ１５０は、それぞれ、液晶方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などを採用する投影装置である。カメラ１６０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサと、イメージセンサの受光領域上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１６０は、ＷＥＢ（World Wide Web）カメラ、デジタル・スチル・カメラ、デジタル・ビデオ・カメラなどの専用デバイスとして構成されてよく、好ましい実施形態では、天吊りなどの形で常設される。しかしながら、これに限定されるものではなく、カメラ１６０は、スマートフォン端末やタブレット端末などのデバイスに組み込まれて構成されてもよく、設置の都度三脚で固定する態様としてもよいし、設置位置を移動して分割撮像を行ってもよい。

入力装置１７０は、マウス、キーボード、タッチパネル、操作パネルなどの入力装置であり、ユーザからの指示を受け付けることができる。入力装置１７０は、校正のための画像を生成する条件を入力する際や校正の結果や途中結果における微調整の際に利用することができる。なお、入力装置１７０は、画像処理装置１１０、プロジェクタ１５０またはカメラ１６０に接続されたデバイスとして構成されてもよく、あるいは、これらの装置に組み込まれたデバイスとして構成されてもよい。

本投影システム１００においては、被投影領域を提供する投影体であるスクリーン１０２が設置されている。スクリーン１０２は、説明する実施形態では、ホワイトマットやグレイマットのプロジェクタ・スクリーンなど、壁などの背景との境界を明示する形で用いられている。プロジェクタ１５０は、それぞれ、投影中心の位置をずらしながらスクリーン１０２上に投影するように設置されている。画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｃに投影させる複数の投影画像を生成し、対応するプロジェクタ１５０各々に投影画像各々を出力する。プロジェクタ１５０は、それぞれ、画像処理装置１１０から入力される投影画像をスクリーン１０２上に投影する。スクリーン１０２上には、図１に示すように、複数のプロジェクタ１５０ａ〜１５０ｃ各々からの複数の投影像１０４ａ〜１０４ｃが投影されている。この複数の投影像１０４ａ〜１０４ｃは、投影面上で重なり合わせられて、スクリーン１０２に収められた単一の投影像１０６に合成される。

投影システム１００では、投影モード前に、通常、校正処理が行われる。図１に示すカメラ１６０は、この校正処理の際に用いられる。画像処理装置１１０は、校正モード中、複数のプロジェクタ１５０それぞれに校正用の画像（以下、校正用画像と参照する。）を出力し、スクリーン１０２上に投影像（以下、校正用画像を投影したものを校正用投影像と参照する。）を投影させる。そして、プロジェクタ１５０により投影されたスクリーン１０２上の校正用投影像が画角内に収まるように、カメラ１６０の視点および視野が設定され、校正用の撮像が行われることになる。画像処理装置１１０は、撮像された１以上の撮像画像（以下、校正用投影像が写り込んだ撮像画像を校正用撮像画像と参照する。）を用いて、校正処理を行い、校正完了後、校正結果に基づいてコンテンツ画像を補正しながら投影を行う。

図２は、本実施形態による投影システム１００におけるスクリーン１０２、画像処理装置１１０、プロジェクタ１５０およびカメラ１６０の設置例を示す。図２（Ａ）は、カメラ１６０を天吊りで常設した場合の設置例を示し、図２（Ｂ）は、カメラ１６０を三脚固定で一時的に設置した場合の設置例を示す。

上述した校正モード中、通常、スクリーン１０２中に連結された投影像が収まるようにユーザが目視で合わせ込む手動調整が行われる。図２（Ａ）および図２（Ｂ）に示すように、スクリーン１０２が設置された場所と、ユーザが操作する画像処理装置１１０が設置された場所とが遠隔している場合、一人では、スクリーン１０２への投影状態を目視しながら画像処理装置１１０を操作することができない。このため、これまで、Ｗｅｂカメラなど解像度が不充分な映像をモニタしながら調整するしかなかった。あるいは、複数人で連絡を取りながら連携して行うしかなかった。

そこで、説明する実施形態では、投影システム１００は、スクリーン１０２の被投影領域を特徴付ける基準点（四辺形のスクリーンの場合は四隅のコーナー）を自動で検出する機能を備える。すなわち、投影システム１００は、スクリーン１０２の投影領域の隅の領域を担当するプロジェクタ（図１および図２の例では１５０ａ，１５０ｃ）に対し、スクリーン１０２の隅への位置合わせの目安となる四隅マーカを含む校正用画像を出力する。そして、投影システム１００は、カメラ１６０によりスクリーン１０２および投影された校正用画像を撮像した校正用撮像画像に基づき、スクリーン１０２の投影領域を特徴付ける基準点を検出する。投影システム１００は、被投影領域の基準点によって複数のプロジェクタ（図１および図２の例では１５０ａ〜１５０ｃ）が全体としての画像を投影する投影目標領域を画定し、複数のプロジェクタ１５０ａ〜１５０ｃに対する補正係数を計算する。

上記構成により、プロジェクタ１５０およびカメラ１６０の物理的な設置時の校正作業の自動化を図る。複数のプロジェクタ１５０を用いて全体として画像を投影する際に、校正用撮像画像に基づいて被投影領域を検出し、簡便に、全体としての投影像が被投影領域に収まるよう校正することができる。以下、図３を参照しながら、校正処理および校正後の投影処理に関連する機能構成について説明する。

（機能構成）
図３は、本実施形態による投影システム１００の機能ブロック図である。画像処理装置１１０は、コンテンツ格納部１１２を含み、さらに、プロジェクタ毎に、補正処理部１１４ａ〜１１４ｃと、投影画像出力部１１６ａ〜１１６ｃと、切替部１２４ａ〜１２４ｃとを含む。画像処理装置１１０は、さらに、校正用シーン生成部１２０と、校正用画像格納部１２２と、校正用撮像画像入力部１２６と、特徴点抽出処理部１２８と、被投影領域検出部１３０と、補正係数算出部１３２とを含み構成される。

コンテンツ格納部１１２は、単一の投影像１０６として投影する信号源のコンテンツ画像を格納する。コンテンツ格納部１１２は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。

なお、投影対象となるコンテンツ画像は、特に限定されるものではなく、静止画像ファイルとして与えられてもよいし、プレゼンテーションなどのアプリケーションやオペレーティング・システムの実行により生成される表示画面として与えられてもよいし、動画ファイル中の任意のタイミングのフレームとして与えられてもよい。以下、説明の便宜上、静止画像としてコンテンツ画像が与えられた場合を一例に説明する。

補正処理部１１４ａ〜１１４ｃは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｃに対応して設けられている。補正処理部１１４は、それぞれ、コンテンツ格納部１１２からコンテンツ画像を読み出し、補正処理を施し、対応するプロジェクタ用の投影画像を生成する。

投影画像出力部１１６ａ〜１１６ｃは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｃに対応して設けられている。投影画像出力部１１６は、それぞれ、対応するプロジェクタ１５０に接続されるディスプレイ出力インタフェースを含み構成され、接続されるプロジェクタ１５０に対し、切替部１２４で選択された入力画像を映像出力する。

切替部１２４ａ〜１２４ｃは、当該システム１００の動作モードに応じて、画像信号のフローを切り替える。切替部１２４は、コンテンツ画像を投影する投影モード中は、補正処理部１１４の出力に入力側を切り替え、校正モード中は、校正用画像格納部１２２の出力に入力側を切り替える。

校正用画像格納部１２２は、校正モード中に各プロジェクタ１５０から投影させるための校正用画像を格納する。校正用画像格納部１２２は、ＲＡＭ、ＨＤＤ、ＳＳＤ、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。

本実施形態による校正処理では、複数回に分けて、校正のための撮像が行われる。画像処理装置１１０は、校正用画像格納部１２２から各校正用画像を読み出して、複数のプロジェクタ１５０ａ〜１５０ｃ各々から適時に出力させる。このとき、画像処理装置１１０は、複数のプロジェクタ１５０の投影像の位置関係を把握しており、全体として過不足なくすべてのプロジェクタ１５０の校正結果が得られるように、校正用画像を校正処理の各段階に応じて選択して投影する。各校正処理の段階における各プロジェクタが画像を投影して構成されるシーンを、以下、校正用投影シーンと参照する。

上述した各校正用投影シーンを構成する校正用画像は、校正用シーン生成部１２０により、典型的には静止画像として生成される。校正用シーン生成部１２０は、ユーザからプロジェクタ１５０の設置条件やスクリーン１０２の形状特性の入力に基づいて、各プロジェクタ１５０の最適化された校正用画像を生成する。

図４（Ａ）〜（Ｃ）は、本実施形態において、投影像を横一列に並べた３台のプロジェクタ１５０ａ〜１５０ｃに対して生成される３つの校正用画像を例示する図である。図４に示す校正用画像は、プロジェクタ１５０の数、スクリーンのアスペクト比、プロジェクタのアスペクト比に基づいて、隣接プロジェクタ間で投影像の所定幅の重複領域を少なくとも確保するという条件下で生成される。

図４に示すように、校正用画像２００は、投影像の歪みを検出するための校正点を規定する校正パターンの配列を含み構成される。校正パターンの配列は、プロジェクタ・メモリ上の座標を規定するものであり、任意の図形要素が所定の規則で配置されてなす模様として構成される。スクリーン１０２上に投影された校正パターンの配列がカメラ１６０により撮像され、その校正点の組が抽出され、座標が検出されることにより、各プロジェクタにおける投影像の台形歪みや局所的な歪みが検出される。

また、特定の実施形態では、スクリーン１０２の外側の領域を担当するプロジェクタ１５０に対する校正用画像においては、校正パターンの配列が、隣接するプロジェクタ１５０ａ〜１５０ｃとの間で重複を有しながら、スクリーン１０２内に収めて投影できるよう、校正パターンの配列の外側に余白部が設けられる。

スクリーン１０２の隅の領域を担当する左右端のプロジェクタ１５０ａ，１５０ｃに対し生成される校正用画像には、さらに、校正パターンの配列の外側の領域に四隅マーカが設けられる。四隅マーカは、スクリーン１０２の四隅に位置合わせする目安となるものであり、ユーザは、投影される四隅マーカがスクリーン１０２内に収まるように、複数のプロジェクタ１５０の投影角度、ズームを調整すればよい。

四隅マーカは、本実施形態における被投影領域の隅への位置合わせの目安となる位置合わせマーカを構成する。校正モード中、スクリーン１０２の隅の領域を担当するプロジェクタ１５０ａ，１５０ｃに対し、生成された四隅マーカを含む校正用画像を出力する投影画像出力部１１６ａ，１１６ｃが、本実施形態における出力手段を構成する。

なお、図４を参照しながら具体的なパターンについて説明したが、校正パターンおよび四隅マーカの具体的な実施態様は、特に限定されるものではない。校正パターンおよび四隅マーカの形状は、任意の図形要素としてよい。

再び図３を参照すると、カメラ１６０は、投影された校正用投影像が画角に収まるように固定されており、校正用投影シーン毎に、投影された校正用投影像の撮像を行う。カメラ１６０で撮像された校正用撮像画像は、それぞれ、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ（Universal Serial Bus）などの無線接続、または有線ＵＳＢや有線ＬＡＮなどの有線接続を介して、画像処理装置１１０へ送信される。あるいは、撮像された画像は、ＳＤカード（登録商標）やコンパクトフラッシュ（登録商標）などのリムーバブル・メディアを介して、画像処理装置１１０で読み取られる。校正用撮像画像入力部１２６は、カメラ１６０からの各撮像画像の入力を受ける。校正用撮像画像入力部１２６に入力された校正用撮像画像は、特徴点抽出処理部１２８および被投影領域検出部１３０に渡される。

特徴点抽出処理部１２８は、上述した１以上の校正用撮像画像各々から校正パターンの配列の校正点および四隅マーカの検出点を抽出する。特徴点抽出処理部１２８により抽出された校正点の座標情報は、補正係数算出部１３２に渡される。特徴点抽出処理部１２８により抽出された四隅マーカの検出点の座標情報は、被投影領域検出部１３０に渡される。

被投影領域検出部１３０は、渡された四隅マーカの検出点および校正用撮像画像に基づき、スクリーン１０２の被投影領域を特徴付ける基準点を検出する。基準点は、四隅マーカの検出位置を起点とした範囲で、撮像された校正用撮像画像中のスクリーン１０２と背景（例えば壁など）との境界を検出することによって検出される。被投影領域検出部１３０は、本実施形態における検出手段を構成する。

また、被投影領域検出部１３０は、四隅のうちの少なくとも１つが検出できなかった場合は、不足する未検出の基準点については、四隅マーカの検出位置を基準点として用いることができる。その場合、入力装置１７０は、基準点の座標を移動させる移動指示を受け付ける移動指示受領手段を提供してもよい。例えば、画像処理装置１１０のディスプレイ上に撮像中の校正用撮像画像を表示し、その画像上で、現在の基準点の位置を表示し、ユーザからのマウスやカーソル移動などにより座標点を指し示す操作を受けることによって、基準点の座標を決定することができる。同様に、検出結果にユーザが不満を有する場合などにも、基準点の座標を移動させる移動指示を受け付ける移動指示受領手段を提供してもよい。

補正係数算出部１３２は、渡された校正点に基づき、上記複数のプロジェクタ１５０ａ〜１５０ｃに対する補正係数を計算する。より具体的には、補正係数算出部１３２は、受け取った基準点によって複数のプロジェクタ１５０ａ〜１５０ｃが全体としての画像を投影する投影目標領域を画定する。そして、補正係数算出部１３２は、画定された投影目標領域および各プロジェクタ１５０毎の校正点の組に基づいて、複数のプロジェクタ１５０に対する補正係数を計算する。

補正係数としては、幾何補正係数および投影像のブレンディングの補正係数が算出され、補正処理部１１４ａ〜１１４ｃに設定される。幾何補正係数は、位置合わせ、スケール合わせ、歪み補正などの幾何学的な補正を織り込んだ補正係数である。これに対して、ブレンディング係数は、重複領域の重ね合わせの際の色および輝度調整を行うための補正係数である。

補正処理部１１４は、それぞれ、計算された各種補正係数に基づき、全体として投影すべきコンテンツ画像から、プロジェクタ毎に出力すべき投影画像を生成する。コンテンツ画像を投影する投影モード中、切替部１２４は、補正処理部１１４の出力に入力側を切り替え、これに伴い、投影画像出力部１１６は、それぞれ、対応する補正処理部１１４の処理結果として与えられる投影画像を映像出力する。

また、好適な実施形態では、画像処理装置１１０は、さらに、再校正制御部１３４と、基準点記憶部１３６と、メンテナンス通知部１３８とを含み構成される。

再校正制御部１３４は、イベントに応答して再校正処理の実行を制御する。再校正処理は、上述した校正用画像の投影と、スクリーン１０２および投影された校正用画像の撮像と、各プロジェクタ１５０の校正点の抽出と、スクリーン１０２の被投影領域を特徴付ける基準点の検出と、複数のプロジェクタ１５０ａ〜１５０ｃに対する補正係数の計算との再実行を含む。再校正処理を開始させる契機となるイベントとしては、例えば、画像処理装置１１０、プロジェクタ１５０またはカメラ１６０に対するユーザからの再校正を開始することを明示的に指示する操作を検出したことのイベント、予定されたスケジュールが到来したことのイベント、事前定義された他のイベントを挙げることができる。予定されたスケジュールとしては、１日毎、１週間毎、１か月毎、毎月１日、所定のメンテナンス日といった任意の事前定義されたタイミングを挙げることができる。事前定義される他のイベントとしては、例えば、システムが起動または再起動したというイベント、加速度センサなどを搭載する場合に加速度センサが一定以上の動きを検知したというイベントを挙げることができ、これらのイベントの発生に応答して、再校正処理の実行することができる。再校正制御部１３４は、本実施形態における制御手段を構成する。

基準点記憶部１３６は、上述した補正係数を計算した際に投影目標領域を画定した基準点の座標を記憶する。基準点記憶部１３６に記憶された基準点の座標は、再校正において基準点の検出に失敗した場合に、代替の座標値として利用される。被投影領域検出部１３０は、再校正において、不足する基準点については、基準点記憶部１３６に記憶された基準点を再校正の際の基準点として用いる。補正係数算出部１３２は、再校正において、再度求められた基準点を受けとり、特徴点抽出処理部１２８から再度抽出された校正点を受けとり、投影目標領域を再度画定し、これに基づいて、複数のプロジェクタ１５０に対する補正係数を再計算する。

メンテナンス通知部１３８は、管理者やメンテナンス担当者などの事前設定された連絡先アドレスを登録しており、上述した再校正の際にエラーが発生した場合に、登録された連絡先アドレスに宛てて、メンテナンスを要請する通知を送信する。メンテナンス通知部１３８は、好ましくは、メンテナンスを要請する通知に加えて、エラーを発生させた状況を表す種々の情報や画像を送信することができる。通知は、特に限定されるものではないが、例えば電子メール送信や、ＳＭＳ（Short Message Service）メッセージやインスタント・メッセージとして送信される。メンテナンス通知部１３８は、本実施形態における登録手段および送信手段を構成する。

なお、図２に示す実施形態では、各機能部１１２〜１３８が単一の画像処理装置１１０上で実現されるものとして説明したが、投影システム１００の実施形態は、図２に示すものに限定されるものではない。他の実施形態では、台数の増加に伴う画像処理装置に集中する負荷を軽減するため、補正処理部１１４ａ〜１１４ｃ各々をプロジェクタ１５０ａ〜１５０ｃ各々上で実現してもよい。さらに他の実施形態では、各機能部１１２〜１３８を複数の画像処理装置上に分散実装してもよいし、すべての機能部１１２〜１３８をいずれかのプロジェクタ１５０上で実装してもよいし、画像処理装置１１０の機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。さらに、他の実施形態では、上述した特徴点抽出処理部１２８、被投影領域検出部１３０および補正係数算出部１３２などの機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。

（全体処理フロー）
以下、本実施形態による校正処理について、図５に示すフローチャートを参照しながら、全体的な流れを説明する。図５は、本実施形態による校正処理の全体的な処理の流れを示すフローチャートである。なお、図５に示す処理フローは、プロジェクタ１５０の初回設置時、あるいは、配置変更した際に実行されるものである。図５に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。

ステップＳ１０１では、画像処理装置１１０は、ユーザから入力された条件（プロジェクタ１５０の設置条件やスクリーン１０２の形状特性を含む。）に基づいて、各校正用画像を生成し、校正用投影シーンを生成する。なお、ユーザから入力される条件は、本実施形態ではスクリーン１０２の被投影領域と背景との境界が明示される態様での校正を想定しているので、境界が明示されない場合に別の処理フローを行えるように、境界が明示される態様であるか否かの指定を含むことができる。ステップＳ１０２では、画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｃを用いて、生成された各校正用投影シーンを順番に投影し、カメラ１６０により各校正用投影シーンに対応して撮像された各校正用撮像画像を取得する。

図６は、本実施形態による画像処理装置１１０が複数のプロジェクタ１５０ａ〜１５０ｃから投影させる校正用投影シーンを例示する図である。図６には、図４（Ａ）〜図４（Ｃ）に示した３つの校正用画像を各プロジェクタから順次投影する３つの校正用投影シーンが示されている。

図６に示す例における撮像１回目の第１校正用投影シーンでは、画像処理装置１１０は、まず、第１プロジェクタ１５０ａから図４（Ａ）に示す第１校正用画像を投影させ、第２プロジェクタ１５０ｂおよび第３プロジェクタ１５０ｃからは何も投影しない。撮像２回目の第２シーンおよび撮像３回目の第３シーンは、同様に、プロジェクタ１５０ｂ，１５０ｃから、順次、図４（Ｂ）および（Ｃ）に示す校正用画像が投影される。あるプロジェクタが校正用画像を投影している間、他のプロジェクタからは何も投影されない。

カメラ１６０は、連結するすべてのプロジェクタ１５０ａ〜１５０ｃの投影像２１２，２１４，２１６全体が画角内に収まるようにして、上述した各段階での複数回の撮影を行う。カメラ１６０からの校正用投影シーン各々に対応した校正用撮像画像各々は、一括で、または順次に、画像処理装置１１０に取得され、ステップＳ１０３へ処理が進められる。あるいは、カメラ１６０から画像処理装置１１０へ撮像画像がストリーム配信され、画像処理装置１１０は、上述した各段階のタイミングに対応する各フレームの画像を取得する。

ステップＳ１０３では、画像処理装置１１０は、取得された１以上の校正用撮像画像各々から特徴点を抽出する特徴点抽出処理を実行する。特徴点抽出処理では、各プロジェクタ１５０の校正点の組および四隅マーカの検出点の座標位置が、撮像画像の座標系において抽出される。

特徴点抽出処理では、画像処理装置１１０は、まず、各々の撮像画像におけるプロジェクタ１５０各々の投影像の校正パターン（円形状）を検出し、撮像画像の座標系におけるその重心座標を、校正点の座標（例えば小数点精度）として抽出する。円形状の重心座標は、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって、計算することができる。また、四隅マーカも同様であり、複数の撮像画像から、各々の撮像画像の座標系における四隅マーカの重心座標が検出され、その重心座標がマーカの検出点の座標として抽出される。

図７は、本実施形態において撮像画像の座標系上で抽出される各プロジェクタの校正点の組および四隅マーカの検出点を示す図である。図７には、撮像画像の座標系３００上において検出された３つのプロジェクタの校正点（白丸、黒丸，中抜きの丸）および四隅マーカの検出点（黒の四角）が表されている。図７に示す撮像画像の座標系３００上のグレイの領域３１０は、撮像画像の座標系上でのスクリーン１０２に対応する領域を示しており、この領域３１０にぴったりとコンテンツ画像を投影することが目標となる。なお、説明する実施形態では、カメラ１６０を固定して撮像しているため、得られる校正点座標および四隅マーカの検出点座標は、単一の座標系で表される。

ステップＳ１０４では、被投影領域検出部１３０は、上記算出された四隅マーカ検出点座標を起点として、スクリーン１０２の被投影領域を特徴付ける四隅各々の基準点の位置座標を、１以上の校正用撮像画像から検出する。

図８は、本実施形態における被投影領域検出部が実行する被投影領域の基準点検出アルゴリズムを説明する図である。図８には、本実施形態において、左上の隅の四隅マーカが写り込んだ校正用撮像画像におけるスクリーン１０２の被投影領域の左上を拡大した図が示されている。なお、図８には、スクリーン１０２の四隅のうちの１隅のみ示しているが、上下左右の方向を９０度、１８０度、２７０度回転すれば他の３つの隅についても同様である。また、検出に用いるための校正用撮像画像は、左上および左下の２隅については、図６の撮像１回目のものを用いることができ、右上および右下の２隅については、図６の撮像３回目のものを用いることができる。

ここで、抽出された四隅マーカの中心位置を点Ｏ（ｘ０，ｙ０）とし、サイズ目安（例えば四隅マーカーの外接矩形の１辺）をＬ（ピクセル）とする。そして、点Ｏから右方向にｄ画素だけ離れた点をＰ１（ｘ０＋ｄ，ｙ０)とし、（ｄ＋ａ）画素だけ離れた点をＰ２（ｘ０＋ｄ＋ａ，ｙ０)とし、以下同様に、（ｄ＋ａ（ｎ−１）)画素だけ離れた点をＰｎ（ｘ０＋ｄ＋ａ（ｎ−１），ｙ０)とする。ｄは、点Ｐ１が四隅マーカの占める領域外になるように選択され、例えばｄ＝Ｌ×２とすることができる。ａは、例えば１とすることができる。ｎは、後述する直線推定を行うために充分な数とし、例えば、ｎ＝Ｌ×３とすることができる。

そして、各Ｐｉ（ｉ＝１〜ｎ）に対し、校正用撮像画像において、Ｐｉの１画素上、２画素上、…、ｍ画素上へと、順次走査する。ｍは、四隅マーカがスクリーン上辺からどの程度内側に投影される可能性があるのかを考慮して、走査する範囲内にスクリーン上辺が含まれるように決定する。例えばｍ＝Ｌ×５とすることができる。走査中、注目画素（ｘ，ｙ）に対してエッジ検出フィルタ処理を行う。そのようなエッジ検出フィルタとしては、例えばＳｏｂｅｌフィルタを挙げることができる。Ｓｏｂｅｌフィルタは、空間１次微分を計算して、輪郭を検出するためのフィルタである。垂直方向のエッジを検出する場合は、注目画素（ｘ，ｙ）における画素値（輝度レベル）をＶ（ｘ，ｙ）として、下記式で表される垂直勾配Ｆを算出する。

算出された垂直勾配Ｆの大きさが、所定の閾値Ｔｈ以上かつ走査方向に関して極大値となったところで走査を打ち切り、当該点をスクリーン上辺画素Ｑｉとする。背景が白で、スクリーンがグレイマットであり、黒から白への変化に限定する場合は、Ｆ≧Ｔｈを打ち切り条件とすることができる。背景が黒で、スクリーンがホワイトまたはグレイマットである場合など、白から黒への変化を条件に含める場合は、｜Ｆ｜≧Ｔｈを打ち切り条件とすることができる。なお、計算の簡単のため、校正用撮像画像は、グレイスケールなどに事前に変換することもできる。

以上で、水平方向の各点Ｐ１〜Ｐｎに対して、スクリーン上辺を検出した画素の列Ｑ１〜Ｑｎが得られる。これらＱ１〜Ｑ２に対して最小２乗法を用いて直線推定を行い、スクリーン上辺を近似する直線の式、ｙ＝ａ１×ｘ＋ｂ１を計算する。

さらに、点Ｏから下方向にｄ画素、（ｄ＋ａ）画素、…（ｄ＋ａ（ｎ−１）)画素離れた点をＲ１、Ｒ２…Ｒｎとし、各Ｒｉの１画素左、２画素左…ｍ画素左へと走査し、Ｓｏｂｅｌフィルタの水平勾配Ｇを算出する。水平勾配Ｇは、下記式を用いて算出することができる。

算出された水平勾配Ｇの大きさが、所定の閾値Ｔｈ以上かつ走査方向に関して極大値となったところで走査を打ち切り、当該点をスクリーン左辺画素Ｓｉとする。以上で、垂直方向のＲ１〜Ｒｎに対して、スクリーン左辺画素の列Ｓ１〜Ｓｎが得られる。これらＳ１〜Ｓ２に対して最小２乗法を用いて直線推定を行い、スクリーン左辺を近似する直線の式、ｘ＝ａ２×ｙ＋ｂ２を得る。この直線は、垂直もしくは垂直に近いと考えられるため、ｘ＝ｆ（ｙ）形式で表す方が好ましい。

そして、上記得られた２つの近似直線ｙ＝ａ１×ｘ＋ｂ１とｘ＝ａ２×ｙ＋ｂ２との交点をスクリーン１０２の左上隅の基準点Ｔ_LＴとして算出する。交点Ｔ_ＬＴの座標は、下記式で表される。

なお、説明する実施形態では、スクリーン１０２の内側の四隅の付近に四隅マーカそれぞれの投影像がくるようにプロジェクタ１５０を配置し、スクリーン１０２および四隅マーカ全体がカメラ１６０の画角内に入るように天吊りまたは三脚によりカメラ１６０を固定するものとして説明した。しかしながら、初回設定時については、カメラ１６０は、手持ちカメラとし、各四隅について、スクリーン１０２の所定の隅と四隅マーカとが同時に写り込むようにして分割撮像を行ってもよい。なお、その場合でも、画像段階でのパノラマ合成は不要である。

再び図５を参照すると、ステップＳ１０５では、被投影領域検出部１３０は、スクリーン１０２の被投影領域を特徴付ける四隅すべての基準点が成功裏に検出されたか否かを判定する。ステップＳ１０５で、四隅の少なくとも１つの検出に失敗した判定される場合（ＮＯ）は、ステップＳ１０６へ処理が進められる。ステップＳ１０６では、被投影領域検出部１３０は、不足する未検出の基準点について、四隅マーカの検出位置を基準点の初期値として用いて、必要に応じて、ユーザによる位置調整を受ける。その際に、ユーザは、入力装置１７０を介して、校正用撮像画像上で、マウスやカーソル移動などにより座標点を指し示し、これによって、基準点の座標を指定することができる。

一方、ステップＳ１０５で、四隅すべてが成功裏に検出されたと判定される場合（ＹＥＳ）は、ステップＳ１０７へ処理が直接進められる。ステップＳ１０７では、詳細を後述するが、上記算出された校正点座標および上述した被投影領域の基準点に基づいて、各プロジェクタの幾何補正係数を計算する。ステップＳ１０８では、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。ステップＳ１０９では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ１０７およびステップＳ１０８で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。

ステップＳ１１０では、画像処理装置１１０は、投影すべきコンテンツ画像を読み出し、ステップＳ１１１では、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。ステップＳ１１２では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させ、ステップＳ１１３で、通常の投影モードに移行する。これにより、全体としてコンテンツ画像がスクリーン１０２内に投影されるようになる。以降、必要に応じて、コンテンツ画像をスクリーン１０２内に投影しながら、手動により四隅の微調整が行われてもよい。

（幾何補正係数の計算）
以下、図９〜図１２および図１４（Ａ）を参照しながら、各プロジェクタの幾何補正係数の計算処理の詳細について説明する。図９は、本実施形態による補正係数算出部１３２が実行する幾何補正係数の計算処理を示すフローチャートである。図９に示す処理は、図５に示したステップＳ１０７で呼び出されて、ステップＳ２００から開始される。

ステップＳ２０１では、補正係数算出部１３２は、プロジェクタ１５０各々について、撮像画像の座標系上の校正点座標各々を線形に外挿し、各プロジェクタ１５０の投影可能領域の外周座標を計算する。

図１０は、校正点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図である。図１０（Ａ）は、プロジェクタ・メモリ上の左上隅の４つの校正点を示し、図１０（Ｂ）は、撮像画像の座標系上の対応する４つの校正点を示す。図１０（Ａ）に示すように、プロジェクタ・メモリ上の外周座標（各プロジェクタの投影像の四隅および四辺上の校正点）は、外周部に位置する４つの校正点（例えばＰ００_Ｐ〜Ｐ１１_Ｐ）の四辺形パッチを外挿する位置（校正点間距離の例えば１．５倍の距離の位置）に定められる。

撮像画像座標系における各プロジェクタの投影可能領域に対応する外周画素の座標（四隅および四辺上の校正点）は、図１０（Ｂ）に示すように、外周部に位置する各４つの校正点座標から線形に外挿することによって計算することができる。同様に、外周座標（四隅および四辺上の校正点）以外のプロジェクタ・メモリ上の任意の座標点に対応する座標系上の点も、近傍の４点の校正点座標を線形に内挿または外挿して求めることができる。

画像全体では非線形な幾何歪みが生じ得るが、ここでは、その一部である２×２の校正点で構成される四辺形パッチ内の範囲および外周に向かって所定量外挿した範囲では、線形な幾何歪みだと見なせることを前提としている。上記四辺形パッチのサイズが充分に小さいとみなせるためである。

上述した線形的な外挿をプロジェクタ毎に行うことにより、３つのプロジェクタ１５０ａ〜１５０ｃの投影可能領域（つまり全面白画像を投影して映る範囲である。）が撮像画像の座標系上で検出される。図１１には、撮像画像の座標系３００上において検出された３つのプロジェクタの投影可能領域３０４ａ〜３０４ｃが表されている。第１プロジェクタ１５０ａの投影可能領域３０４ａは、実線の白線で示され、第２プロジェクタ１５０ｂの投影可能領域３０４ｂは、破線の白線で示され、第３プロジェクタ１５０ｃの投影可能領域３０４ｃは、２点鎖線の白線で示されている。３つのプロジェクタの投影可能領域の論理和の領域は、これから投影像をぴったり入れたいスクリーン１０２の領域３１０を余すところ無く充足していなければならない。

また、図１１には、撮像画像の座標系上の四隅の基準点（Ｔ_ＬＴ，Ｔ_ＬＢ，Ｔ_ＲＴ，Ｔ_ＲＢ）およびそのコーナーを画定する各二辺を近似する直線が示されている。そして、説明する実施形態では、図１１に示す検出された基準点で確定される四辺形の投影目標領域（撮像画像上では必ずしも矩形ではない。）３１０にコンテンツ画像を投影することが目標となる。

再び図９を参照すると、ステップＳ２０２では、図１１のスクリーン１０２の四隅の基準点座標による投影目標領域３１０へ矩形のコンテンツ画像をマップするため射影変換を求める。ここで、投影目標領域３１０からコンテンツ画像への射影変換をＨ_１とする。補正係数算出部１３２は、投影目標領域３１０を画定する基準点座標（Ｔ_ＬＴ，Ｔ_ＬＢ，Ｔ_ＲＴ，Ｔ_ＲＢ）と、コンテンツ画像の四隅の座標とに基づいて、投影目標領域３１０からコンテンツ画像への射影変換Ｈ_１の係数を計算する。

射影変換Ｈ_１の変換式は、下記の上段式で表され、上段式の分母を払って整理すると、下段式で表す一次多項式に展開することができる。

上記式中、ｘ，ｙは、変換前の撮像画像の座標系上の座標を表し、ｕ，ｖは、変換後のコンテンツ画像座標系上の座標を表し、ａ〜ｈの８つの係数は、射影変換係数を表す。上記式において、未知パラメータである８つの射影変換係数を算出するためには、最低でも８個の連立方程式を要するが、基準点およびコンテンツ画像の四隅の座標点の対応関係から、８個の変換式を生成することができる。この対応関係から生成された８つの連立方程式を解くことにより、射影変換係数ａ〜ｈを求めることができる。

再び図９を参照すると、ステップＳ２０３〜ステップＳ２０７のループでは、プロジェクタ毎に、ステップＳ２０４〜ステップＳ２０６で示す各処理が実行され、複数のプロジェクタ各々の幾何補正係数が求められる。

ステップＳ２０４では、補正係数算出部１３２は、上記求められた射影変換Ｈ_１により、撮像画像の座標系上の校正点座標を、コンテンツ画像の座標系に変換する。以下、投影目標領域３１０に貼り付けられた撮像画像の座標系上でのコンテンツ画像を「投影コンテンツ画像」と参照し、その元となるオリジナルのコンテンツ画像を「等倍コンテンツ画像」と参照する。

ステップＳ２０５では、補正係数算出部１３２は、プロジェクタ・メモリ上の校正点座標を、撮像画像の座標系を経由して、等倍コンテンツ画像の座標系の画素位置に対応付ける。ステップＳ２０６では、補正係数算出部１３２は、プロジェクタ・メモリ上の各整数画素座標を、撮像画像の座標系を経由して、等倍コンテンツ画像の座標系の画素位置へ線形補間により対応付ける。

ステップＳ２０４〜ステップＳ２０６で示す各処理で計算される幾何補正係数は、図１２に示すように、プロジェクタ・メモリ３３０上の各座標を、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置に対応付けるものである。

図１２に示すプロジェクタ・メモリ３３０ａの１つの校正点Ｐ４１_Ｐを代表して説明すると、プロジェクタ・メモリ３３０上の校正点Ｐ４１_Ｐに対しては、撮像画像の座標系３００上の対応点Ｐ４１_Ｃ（Ｘ_Ｐ４１Ｃ，Ｙ_Ｐ４１Ｃ）が抽出されている。そして、四辺形の投影目標領域３１０がコンテンツ画像にマップされるため、図１２に示すように、座標系３００上の座標位置Ｐ４１_Ｃに対しては、さらに、等倍コンテンツ画像上での対応する画素位置Ｐ４１_ｍ（Ｘ_Ｐ４１ｍ，Ｙ_Ｐ４１ｍ）が定まる。

具体的には、図１２中の撮像画像の座標系上でのマップした投影コンテンツ画像の左上の原点の座標を（Ｘ_０，Ｙ_０）とすると、撮像画像の座標系上でこの校正点に映し出すべき、等倍コンテンツ画像上での対応する画素位置Ｐ４１_ｍ（Ｘ_Ｐ４１ｍ，Ｙ_Ｐ４１ｍ）は、撮像画像の座標系３００上の点Ｐ４１_Ｃの座標（Ｘ_Ｐ４１Ｃ，Ｙ_Ｐ４１Ｃ）から、以下式で計算することができる。

プロジェクタ・メモリ上の校正点Ｐ４１_Ｐ以外のすべての校正点Ｐｉｊ_Ｐについても同様に、等倍コンテンツ画像上での対応する画素位置が計算される。プロジェクタ・メモリ上の校正点以外の任意の座標については、図１０を参照して説明した同様の方法により、近傍の２×２校正点のコンテンツ画像上での対応する画素位置を線形に補間（内挿または周辺部では外挿）することによって、等倍コンテンツ画像上での対応する画素位置を計算することができる。これにより、プロジェクタ・メモリ３３０ａ上の所定領域３３２ａの画素に対し、コンテンツ画像における第１プロジェクタ１５０ａが担当する領域の画素位置が対応付けられる。

図１４（Ａ）は、ステップＳ２０４〜ステップＳ２０６の処理で計算される１つのプロジェクタの幾何補正係数のデータ構造を例示する。図１４（Ａ）に示すように、こうして求めたプロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置が、幾何補正係数となる。

ステップＳ２０３〜ステップＳ２０７のループですべてのプロジェクタについてプロジェクタ・メモリ上の整数画素座標と等倍コンテンツ画像の座標系との対応付けが完了すると、ステップＳ２０８に進められる。ステップＳ２０８では、本処理を終了し、図５に示した呼び出し元へ処理が戻される。

（ブレンディング係数の計算）
以下、図１３および図１４を参照しながら、各プロジェクタ１５０のブレンディング係数の計算処理の詳細について説明する。図１３は、プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図である。ブレンディング係数の計算処理では、注目するプロジェクタ毎に処理が実行され、複数のプロジェクタ１５０ａ〜１５０ｃ各々のブレンディング係数が求められる。

まず、補正係数算出部１３２は、撮像画像の座標系３００において、注目プロジェクタと、注目プロジェクタに隣接するプロジェクタとの投影可能領域の外周座標に基づき、これらの重複領域を検出する。図１３に示すように、撮像画像の座標系３００での投影目標領域３１０の最上辺から、左原点（○）から右方向へ探索し、順次下へ探索を進めることにより、まず、第１プロジェクタ１５０ａと第２プロジェクタ１５０ｂとの重複領域の開始点（●）および終了点（◎）が検出される。

図１３の下段のグラフで第１プロジェクタについて示すように、原点（○）から、重複領域の開始点(●)までの範囲の画素に対しては、ブレンディング係数が最大１に決定される。一方、重複領域の開始点(●)から終了点（◎）までの範囲の画素に対しては、開始点（●)からの水平距離に応じて、実際の明るさが線形に１．０から０へ徐々に落ちていくように、プロジェクタの入出力特性の逆補正をかけたブレンディング係数を算出する。

補正係数算出部１３２は、プロジェクタ・メモリ上の整数画素座標各々に対し、図１４（Ａ）に示すデータ構造によって対応付けられる撮像画像の座標系の座標（小数点）の最近傍の整数画素に割り当てられたブレンディング係数を対応付ける。

上述した処理により、複数のプロジェクタ１５０ａ〜１５０ｃの各々に対して、図１４（Ｂ）に示すように、プロジェクタ・メモリの全画素分のブレンディング係数が得られることになる。なお、第２プロジェクタ１５０ｂが処理対象となる場合は、左右のプロジェクタ１５０ａ，１５０ｃを合わせて、２つの重複領域についてブレンディング補正の計算が行われることとなる。

（補正処理）
以下、図１４および図１５を参照しながら、上記補正係数に基づく補正処理の詳細について説明する。上述した補正係数算出部１３２で算出された各プロジェクタの幾何補正係数およびブレンディング係数は、図５に示したステップＳ１０８で、各補正処理部１１４に設定される。

まず、補正処理部１１４は、プロジェクタ・メモリの全画素と、等倍コンテンツ画像上での対応する画素位置との対応付けデータを準備する。上述した補正係数算出部１３２での処理により、図１４（Ａ）に示すようなプロジェクタ・メモリの全画素に対する画素位置が求められているので、補正処理部１１４は、この対応付けデータをそのまま読み出す。

補正処理部１１４は、プロジェクタ・メモリの画素毎の参照すべき等倍コンテンツ画像上の画素位置（小数点数）に基づき、投影すべき等倍コンテンツ画像から、バイリニア、バイキュービックなどの画素補間方法によって中間画像を生成する。この中間画像は、幾何補正係数により、コンテンツ画像を検出した幾何歪みの逆に変形した画像である。補正処理部１１４は、さらに、生成された中間画像のＲ，Ｇ，Ｂ各色の画素値に対し、図１４（Ｂ）の対応付けデータにより対応付けられるブレンディング係数を乗じ、最終的な投影画像を生成する。

図１５は、上記補正係数に基づく補正処理を説明する図である。図１５には、３台のプロジェクタ１５０ａ〜１５０ｃについて、補正処理部１１４ａ〜１１４ｃによりコンテンツ画像から最終的に得られた投影画像３５０ａ〜３５０ｃが示されている。図１５に示すように、投影モード中、これらの投影画像３５０ａ〜３５０ｃが、プロジェクタ１５０ａ〜１５０ｃ各々から投影される。投影画像３５０ａ〜３５０ｃの投影像は、スクリーン１０２内で好適に重なり合わせられて、スクリーン１０２の外縁に丁度収まるように単一の投影像３５４に合成される。

（初回校正後の再校正処理およびメンテナンス通知）
図５に示した処理フローは、プロジェクタ１５０の初回設置時、または、配置変更した際に実行されるものであった。以下、図１６および図１７を参照しながら、初回校正後または配置変更後の再校正処理フローについて説明する。

上述した投影システム１００が常設サイネージで使われる場合、一旦設置調整した後でも、経時で振動などによるプロジェクタ１５０の位置ずれが不可避となる。その結果、投影像の連結部分でずれが生じて、著しく映像品質を低下させたままの状態が続いてしまうということが起こる可能性がある。このため、従来技術では、管理者が定期的に現場に出向いてズレをチェックし、ズレが認められた場合には、その度、メンテナンスの技能を有するサービスマンやメンテナンス担当者が呼び出され、再度、カメラや三脚を設置して再校正作業を行う必要があった。

そこで、説明する実施形態では、初回校正後のメンテナンスにおいて、振動など起因した複数プロジェクタ１５０間の微小な位置ずれにより生ずる連結投影像の結合部における微小なずれを簡便に調整するための再校正機能を提供する。連結投影像の結合部のずれが数画素程度の微小なずれであっても、重複部分で文字が２重になるなど画質を著しく劣化させてしまう可能性がある。特に短焦点プロジェクタを用いる場合には顕著となる。

図１６に示す処理は、イベントに応答して、再校正制御部１３４により、ステップＳ３００から開始される。なお、再校正処理は、図２（Ａ）に示すようにカメラ１６０が天吊りなど常設固定の設置例を想定し、またスクリーン１０２のように背景との境界が明示される態様での校正を想定している。

ステップＳ３０１では、画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｃを用いて、前回と同様に各校正用投影シーンの投影およびカメラ１６０による校正用撮像画像の取得を行う。ステップＳ３０２では、画像処理装置１１０は、特徴点抽出処理を実行する。ステップＳ３０３では、被投影領域検出部１３０は、抽出された四隅マーカ検出点座標を起点として、スクリーン１０２の四隅を特徴付ける基準点の位置座標を校正用撮像画像から検出する。つまり、再校正においては、初回校正時と同様の基準点検出アルゴリズムが実行される。ステップＳ３０４では、被投影領域検出部１３０は、スクリーン１０２の四隅すべての基準点が成功裏に検出されたか否かを判定する。ステップＳ３０４で、少なくとも１つの検出に失敗した判定される場合（ＮＯ）は、ステップＳ３０５へ処理が進められる。

ステップＳ３０５では、被投影領域検出部１３０は、不足する未検出の基準点については、基準点記憶部１３６に記憶される前回校正時（初回校正時、または初回後に再校正された場合は最新の再校正時）の自動検出されたまたは手動調整された基準点を利用する。

前回の校正時の基準点の座標を用いる場合、カメラ１６０が同時にズレてしまっていると、その分のずれが発生する。しかしながら、特に短焦点プロジェクタの場合は、スクリーン１０２に近い位置から非常に広角に投影するため位置ズレに非常に敏感なのに対し、離れた位置から撮像する比較的軽量のカメラ１６０に生じるズレは、比較的に微小と考えられる。つまり、カメラ位置ズレによる撮像ズレが生じにくく、撮像画像の座標系が概ね一致するとして、前回の基準点の座標位置を、再校正における撮像画像の座標系上でそのまま取り扱っても、四隅マーカの検出点の座標を用いる場合より正解に近いと考えられる。またこの場合、再校正後に手動微調整が必要であったとしても、微調整の手間も少なくて済むと考えられる。

一方、ステップＳ３０４で、四隅すべてが成功裏に検出されたと判定される場合（ＹＥＳ）は、ステップＳ３０６へ直接処理が進められる。ステップＳ３０６では、図９に示した幾何補正係数の計算を実行する。ステップＳ３０７では、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。

ステップＳ３０８では、再校正制御部１３４は、再校正処理において、校正エラーが発生したか否かを判定する。ステップＳ３０８で、校正エラーが発生せず成功裏に再校正ができたと判定された場合（ＮＯ）は、ステップＳ３０９へ処理が分岐される。以降、ステップＳ３０９〜ステップＳ３１２の処理は、図５に示したステップＳ１０９〜ステップＳ１１２の処理と同様であり、ステップＳ３１３で、通常の投影モードに移行する。

一方、ステップＳ３０８で、校正エラーが発生したと判定された場合（ＹＥＳ）は、ステップＳ３１４へ処理が分岐される。例えば、複数の投影像間に再校正処理の適用が不能な程度の大きなずれが発生したり、プロジェクタ１５０およびカメラ１６０になんらかの不具合や外乱が発生し、正常な投影や撮像ができなくなった場合に校正エラーが発生する。

図１７は、本実施形態による再校正処理において校正エラーが発生する具体例を示す図である。図１７（Ａ）に示す具体例は、投影可能領域３０４ａが被投影領域（目標投影領域）３１０を満足できなくなった場合（Ｅ１）を示している。上述した幾何補正処理において、投影可能領域３０４ａが計算されるので、検出された基準点が画定する被投影領域３１０と比較することによって、かかるエラーを検出することが可能である。図１７（Ｂ）に示す具体例は、四隅マーカや校正パターンが被投影領域３１０からはみ出して認識できなくなったり、充分な精度が得られなかったりする場合（Ｅ２）の具体例を示す。

上述したような場合、校正パターンが認識できずに校正エラーとなるか、校正パターンが仮に認識できたとしても、目標投影領域に投影する補正係数算出において、投影可能領域外に投影目標領域がはみ出してしまうため、補正係数算出エラーとなる。図１７（Ａ）および図１７（Ｂ）に示す例では、メンテナンス担当者が現地に行って、物理的にプロジェクタ１５０の位置を修正したり、光学的に投影像の位置を修正する必要がある。

その他、ランプ切れや温度上昇によるエラーによる停止などプロジェクタ１５０に致命的な不具合が生じた場合や、故障や撮像系へのノイズなどの外乱などカメラ１６０に致命的な不具合が生じた場合にも、校正エラーが発生する可能性がある。いずれにしても人的なメンテナンスが必要な可能性が高い。

そこで、ステップＳ３１４では、メンテナンス通知部１３８は、事前設定された連絡先アドレスに宛てて、人的なメンテナンスを要請する通知を送信し、ステップＳ３１５で、エラーモードに移行する。

上記メンテナンス要請通知では、大きなずれが発生したことを理由とするのか、プロジェクタ１５０やカメラ１６０自体に不具合が生じたことを理由とするのかを担当者が把握できるように、以下のような情報を添付して通知することができる。

特定の実施形態においては、（１）エラーを発生させた再校正前の投影状態が撮像された撮像画像、（２）再校正の際に撮像された校正用撮像画像、（３）校正用撮像画像からのパターン認識の途中結果（校正点や四隅マーカの検出点や求められた基準点の座標など）、および（４）再実行の後の投影状態（つまり、エラー状態、不完全な校正状態、補正無しの状態）で撮像した撮像画像の少なくとも１つを送信することができる。

上述した情報をメンテナンス通知に添付することにより、通知を受けたメンテナンス担当者は、メンテナンスに向かう前に、ランプ切れや、外部からの光入射などカメラ撮像画像への外乱といった位置ズレではない理由に起因するエラーであるか、位置ズレに起因するエラーであるかといった現場の状況を把握することができるようになる。そして、状況に応じてプロジェクタ１５０の物理的な位置または光学的な手段（レンズシフト機能）などにより再校正可能な投影状態に戻しに現場に来るよう担当者を促すことができる。

一例としては、図６に示したような校正用画像を白地に黒のパターンとなるよう反転した画像を、全プロジェクタ１５０ａ〜１５０ｃから再校正前の状態で投影した場合の投影像を撮像した撮像画像を送信することができる。これにより、各プロジェクタ１５０の投影可能範囲と、校正パターンと、スクリーンとの相対的な位置関係や各プロジェクタ１５０の動作状態（例えば正常であるかランプ切れかなど）とを担当者が把握できるようになる。

上述した再校正処理は、ユーザが再校正を指示するのみで自動で行うことができるため、その場にいる校正作業に通じていない一般のユーザであっても、簡単に再校正して補正することが可能である。その際には、カメラ１６０を三脚にセットしたり、手持ちカメラで撮像し直したり、またスクリーンへの投影状態を手動で微調整する手間がない。また、上述した再校正処理は、所定の期間毎など定期的に開始させることができるので、微小なずれを定期的に再補正することができる。常時ないし定期的に人間が監視しなくても、自動で微小なずれを補正することが可能となる。

また、再校正処理時に校正エラーとなった場合に、人的なメンテナンスが必要な事態が発生した可能性が高いことを管理者やメンテナンス担当者に通知することができる。またこの際、再校正できなかった原因が、プロジェクタが大きく位置ずれしたのか、その他の不具合（ランプが切れる、撮像カメラの故障、撮像時に外光などのノイズが加わったなどなど）なのかといった状況を管理者や担当者に事前に把握させることができる。

（校正用投影シーンの投影および撮像方法の変形例）
上述までの実施形態では、連結するすべてのプロジェクタ１５０ａ〜１５０ｃの投影像２１２，２１４，２１６全体が画角内に収まるようにカメラ１６０を固定して複数回の撮影を行うものとした。しかしながら、初回校正時に関しては、すべてのプロジェクタのうちの一部の投影像のみが画角内に収まるようにカメラ１６０を構えて撮像し、撮像範囲をずらしながら、複数回に分けて分割撮像を行う態様を妨げるものではない。

例えば、図１８に示すように、他の実施形態では、校正用画像内に投影像の四隅を示す位置合わせマーカを設けて、隣接する２つのプロジェクタの校正用投影像２３０，２３２のみを画角内に収まるようにして撮影し、カメラを移動させながら、複数回に分けて校正用撮像画像を取得してもよい。この場合に、左右端のプロジェクタの校正用画像に設けた位置合わせマーカを上記四隅マーカとして兼用してもよい。この場合、左上および左下の２隅については、撮像１回目の校正用撮像画像を、右上および右下の２隅については、撮像３回目の校正用撮像画像を用いることができる。

この場合、複数の校正用撮像画像間で共通して写り込んでいる位置合わせマーカの検出位置を用いて、射影変換により、これらの校正用撮像画像から抽出される特徴点を統合された座標系に統合することができる。特徴点抽出処理部１２８は、位置合わせマーカの座標位置の対応関係から射影変換の係数を求め、複数の校正用撮像画像の座標系間を射影変換することにより、統合された統合座標系上の校正点の座標を算出することができる。

（ハードウェア構成）
以下、図１９を参照しながら、上述までの実施形態における画像処理装置１１０のハードウェア構成について説明する。画像処理装置１１０は、典型的には、汎用コンピュータ装置として構成される。図１９は、本実施形態による汎用コンピュータ装置のハードウェア構成を示す図である。

図１９に示す汎用コンピュータ装置１１０は、ＣＰＵ１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、サウスブリッジ１６とを含む。サウスブリッジ１６は、上記ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担う。

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、映像出力インタフェースを介してディスプレイ５０や上記プロジェクタ１５０に接続される。

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ１３９４、ＵＳＢポート２８、補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、ＨＤＤやＳＳＤなどであり、コンピュータ装置を制御するためのＯＳ、上記機能部を実現するためのプログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、汎用コンピュータ装置１１０を有線および無線でネットワークに接続させるインタフェース機器であり、上記メンテナンス要請通知を送信するために用いられる。

ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力装置１７０が接続されてもよく、上述した基準点の移動指示を含む操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による汎用コンピュータ装置１１０は、補助記憶装置３０からプログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。なお、プロジェクタ１５０およびカメラ１６０については、特に説明を行わないが、同様に、ＣＰＵおよびＲＡＭ等などのハードウェアや、特定の用途に応じたハードウェアを備えている。

以上説明したように、本発明の実施形態によれば、複数の投影手段により全体として画像を投影する際に、投影した校正用画像を撮像した撮像画像に基づいて被投影領域を検出し、全体としての投影像が被投影領域に収まるよう校正することができる。

なお、上述までの説明では、３台のプロジェクタ１５０ａ〜１５０ｃの投影像を横一列に並べて全体としての画像を投影する実施形態について説明してきた。しかしながら、本実施形態による校正処理および再校正処理が適用できるマルチ・プロジェクションの態様は、これに限定されるものではなく、プロジェクタ１５０の台数は、３に限定されず、任意の台数とすることができる。また、投影様式も、横一列に限らず、縦一列に並べる態様でもよいし、２列以上の配列へ一般化することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…投影システム、１０２…スクリーン、１０４…投影像、１０６…単一の投影像、１１０…画像処理装置、１１２…コンテンツ格納部、１１４…補正処理部、１１６…投影画像出力部、１２４…切替部、１２０…校正用シーン生成部、１２２…校正用画像格納部、１２４…切替部、１２６…校正用撮像画像入力部、１２８…特徴点抽出処理部、１３０…被投影領域検出部、１３２…補正係数算出部、１３４…再校正制御部、１３６…基準点記憶部、１３８…メンテナンス通知部、１５０…プロジェクタ、１６０…カメラ、１７０…入力装置、２００…校正用画像、２１２…投影像、２３０…投影像、２３２…投影像、３００…座標系、３０４…投影可能領域、３１０…投影目標領域、３３０…プロジェクタ・メモリ、３５０…投影画像、３５４…単一の投影像、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス

特許第３９０８２５５号

Claims (10)

1. 複数の投影手段により全体としての画像を投影するための投影システムであって、
   前記複数の投影手段のうちの被投影領域の隅の領域を担当する投影手段に対し、前記被投影領域の隅への位置合わせの目安となる位置合わせマーカを含む校正用画像を出力する出力手段と、
   前記被投影領域および投影された前記校正用画像が撮像された校正用撮像画像に基づき、前記被投影領域を特徴付ける基準点を検出する検出手段と、
   前記被投影領域の基準点によって前記複数の投影手段が前記全体としての画像を投影する投影目標領域を画定し、前記複数の投影手段に対する補正係数を計算する補正係数計算手段と
   を含み、前記検出手段は、前記位置合わせマーカの検出位置を起点とした範囲で、投影された校正用画像中の前記被投影領域と背景との境界を検出することによって、前記基準点を検出する、投影システム。
2. 複数の投影手段により全体としての画像を投影するための投影システムであって、
   前記複数の投影手段のうちの被投影領域の隅の領域を担当する投影手段に対し、前記被投影領域の隅への位置合わせの目安となる位置合わせマーカを含む校正用画像を出力する出力手段と、
   前記被投影領域および投影された前記校正用画像が撮像された校正用撮像画像に基づき、前記被投影領域を特徴付ける基準点を検出する検出手段と、
   前記被投影領域の基準点によって前記複数の投影手段が前記全体としての画像を投影する投影目標領域を画定し、前記複数の投影手段に対する補正係数を計算する補正係数計算手段と
   を含み、前記検出手段は、前記被投影領域の不足する基準点については、前記位置合わせマーカの検出位置を基準点の初期値として用い、前記投影システムは、前記基準点を移動させる移動指示を受け付ける移動指示受領手段をさらに含む、投影システム。
3. イベントに応答して、前記校正用画像の投影、前記被投影領域および投影された校正用画像の撮像、前記被投影領域を特徴付ける基準点の検出および前記複数の投影手段に対する補正係数の計算の再実行を制御する制御手段をさらに含む、請求項１または２に記載の投影システム。
4. 複数の投影手段により全体としての画像を投影するための投影システムであって、
   前記複数の投影手段のうちの被投影領域の隅の領域を担当する投影手段に対し、前記被投影領域の隅への位置合わせの目安となる位置合わせマーカを含む校正用画像を出力する出力手段と、
   前記被投影領域および投影された前記校正用画像が撮像された校正用撮像画像に基づき、前記被投影領域を特徴付ける基準点を検出する検出手段と、
   前記被投影領域の基準点によって前記複数の投影手段が前記全体としての画像を投影する投影目標領域を画定し、前記複数の投影手段に対する補正係数を計算する補正係数計算手段と、
   イベントに応答して、前記校正用画像の投影、前記被投影領域および投影された校正用画像の撮像、前記被投影領域を特徴付ける基準点の検出および前記複数の投影手段に対する補正係数の計算の再実行を制御する制御手段と、
   補正係数を計算する際に投影目標領域を画定した基準点を記憶する記憶手段と
   を含み、
   前記検出手段は、前記再実行の際に前記被投影領域の不足する基準点については、前記記憶手段に記憶された基準点を、前記再実行の際の基準点として用いる、投影システム。
5. 事前設定された連絡先アドレスを登録する登録手段と、
   前記再実行の際にエラーが発生した場合に、前記登録手段に登録された連絡先アドレスに宛てて、メンテナンスを要請する通知を送信する送信手段と
   をさらに含む、請求項４に記載の投影システム。
6. 複数の投影手段により全体としての画像を投影するための投影システムであって、
   前記複数の投影手段のうちの被投影領域の隅の領域を担当する投影手段に対し、前記被投影領域の隅への位置合わせの目安となる位置合わせマーカを含む校正用画像を出力する出力手段と、
   前記被投影領域および投影された前記校正用画像が撮像された校正用撮像画像に基づき、前記被投影領域を特徴付ける基準点を検出する検出手段と、
   前記被投影領域の基準点によって前記複数の投影手段が前記全体としての画像を投影する投影目標領域を画定し、前記複数の投影手段に対する補正係数を計算する補正係数計算手段と、
   イベントに応答して、前記校正用画像の投影、前記被投影領域および投影された校正用画像の撮像、前記被投影領域を特徴付ける基準点の検出および前記複数の投影手段に対する補正係数の計算の再実行を制御する制御手段と、
   事前設定された連絡先アドレスを登録する登録手段と、
   前記再実行の際にエラーが発生した場合に、前記登録手段に登録された連絡先アドレスに宛てて、メンテナンスを要請する通知を送信する送信手段と
   を含む、投影システム。
7. 前記送信手段は、前記メンテナンスを要請する通知に加えて、エラーを発生させた再実行の前の前記投影手段の投影状態を撮像した撮像画像、エラーを発生させた再実行の際の校正用撮像画像、校正用撮像画像からのパターン認識の途中結果、およびエラーを発生させた再実行の後の前記投影手段の投影状態を撮像した撮像画像の少なくとも１つを送信する、請求項５または６に記載の投影システム。
8. 複数の投影手段と通信し、前記複数の投影手段により全体としての画像を投影するための画像処理装置であって、
   前記複数の投影手段のうちの被投影領域の隅の領域を担当する投影手段に対し、前記被投影領域の隅への位置合わせの目安となる位置合わせマーカを含む校正用画像を出力する出力手段と、
   前記被投影領域および投影された校正用画像が撮像された校正用撮像画像に基づき、前記被投影領域を特徴付ける基準点を検出する検出手段であって、
   前記位置合わせマーカの検出位置を起点とした範囲で、投影された校正用画像中の前記被投影領域と背景との境界を検出することによって、前記基準点を検出する、検出手段と、
   前記被投影領域の基準点によって、前記複数の投影手段が前記全体としての画像を投影する投影目標領域を画定し、前記複数の投影手段に対する補正係数を計算する補正係数計算手段と
   を含む、画像処理装置。
9. 複数の投影手段により全体としての画像を投影するためにコンピュータが実行する校正方法であって、コンピュータが、
   前記複数の投影手段のうちの被投影領域の隅の領域を担当する投影手段から、前記被投影領域の隅への位置合わせの目安となる位置合わせマーカを含む校正用画像を投影させるステップと、
   前記被投影領域および投影された校正用画像が撮像された校正用撮像画像の入力を受けるステップと、
   入力された前記校正用撮像画像に基づき、前記被投影領域を特徴付ける基準点を検出するステップであって、前記位置合わせマーカの検出位置を起点とした範囲で、投影された校正用画像中の前記被投影領域と背景との境界を検出することによって、前記基準点を検出する、ステップと、
   前記被投影領域の基準点によって、前記複数の投影手段が前記全体としての画像を投影する投影目標領域を画定し、前記複数の投影手段に対する補正係数を計算するステップと
   を含む、校正方法。
10. コンピュータを、請求項８に記載の画像処理装置の各手段として機能させるためのプログラム。