JP7015981B2 - 投写画像調整システム及び投写画像調整方法 - Google Patents

Description

本開示は、複数の投写型表示装置から構成される表示領域に関し、複数の撮像装置を用いて、所望の形状あるいは特性に調整するための投写画像調整システム、及び同方法に関する。

特許文献１は、複数の画像投影装置により投影される部分画像を１つのスクリーン上でつなぎ合わせて１つの画像を表示する画像投影システムと、複数の画像投影装置により投影される部分画像同士の重なり部が滑らかに繋がるように、各部分画像を幾何補正する画像幾何補正装置を開示する。画像幾何補正装置が複数の画像撮影装置により撮影された画像の座標系を統一し、統一後の座標系上での画像投影範囲を基準にして、複数の画像投影装置により投影される画像を幾何補正する。これにより、予め決められた位置に厳密に画像撮影装置を配置することなく、投影画像を幾何補正することができる。

国際公開第２００６／０３０５０１号

しかし、画像撮影装置と画像投影装置との関係を設定するにあたり、どの画像撮影装置がどの画像投影装置の投写画像を撮影範囲に含んでいるのか、ユーザーが常に把握していなければならず手間がかかる。

本開示は、複数の投写型表示装置を用いて表示される１つの画像に対し、複数の撮像装置を用いて、所望の形状あるいは特性に調整するシステムであって、選択した撮像装置が指定する投写型表示装置の投写範囲を含んでいるか簡単に確認することができ、また、含まない場合、撮像装置の位置調整、選択変更、あるいは投写型表示装置の投写範囲の変更といった操作が容易となる投写画像調整システムを提供する。

本開示の投写画像調整システムは、投写面に投写画像を投写する複数の投写型表示装置と、投写面に表示される投写画像を撮像する第１撮像装置および第２撮像装置と、複数の投写型表示装置、第１撮像装置および第２撮像装置を制御する制御装置と、を備える。制御装置は、撮像装置選択部と、撮影範囲設定部と、パターン投写部と、撮影画像表示部と、を備える。撮像装置選択部は、第１撮像装置または第２撮像装置を選択する。撮影範囲設定部は、複数の投写型表示装置のうち少なくとも１つの投写型表示装置を共通で含むように、第１撮像装置が撮影を担当する投写型表示装置の第１担当範囲および第２撮像装置が撮影を担当する投写型表示装置の第２担当範囲を設定する。パターン投写部は、撮像装置選択部の選択に基づき、第１担当範囲または第２担当に対応する投写型表示装置に第一の書式パターンを投写させる。撮影画像表示部は、撮像装置選択部の選択に基づき、第１撮像装置が撮影する撮影画像または第２撮像装置が撮影する撮影画像を表示する。

本開示における投写画像調整システムは、選択した撮像装置が、指定する投写型表示装置の投写範囲を含んでいるか、簡単に確認することができる。また、含まない場合、撮像装置の位置調整、選択変更、あるいは投写型表示装置の投写範囲の変更といった操作が容易になる。

プロジェクターをネットワークに接続した際の状態を示す模式図 プロジェクターの機能ブロック図 カメラの機能ブロック図 調整用ＰＣの機能ブロック図 スクリーンへ投写画像を合わせ込む動作を説明するためのフローチャート カメラ座標を検出するためのテストパターンを示す図 プロジェクターの投写領域調整後のネットワーク接続図 プロジェクターの接続を行うアプリケーション画面を示す図 接続時点のプロジェクターの配置情報を格納するデータ構造図 プロジェクターの配置設定を行うアプリケーション画面を示す図 プロジェクターの配置設定を行うアプリケーション画面（設定前）を示す図 プロジェクターの配置設定時のプロジェクター投写例を示す図 プロジェクターの配置設定を行うアプリケーション画面（設定後）を示す図 プロジェクターの配置情報を格納するデータ構造図（設定後）を示す図 カメラの接続を行うアプリケーション画面を示す図 カメラの配置設定時のプロジェクター投写例を示す図 カメラの配置設定を行うアプリケーション画面を示す図 カメラの配置設定を行うアプリケーション画面を示す図 カメラの配置設定を行うアプリケーション画面を示す図 カメラの配置情報を格納するデータ構造図を示す図 カメラの露光、ホワイトバランス、フォーカスを調整するためのアプリケーション画面を示す図 投写領域およびオーバーラップ幅の設定を行うアプリケーション画面を示す図 投写領域設定時のプロジェクター投写例を示す図 自動実行フェーズにおける進捗状況を表示するアプリケーション画面を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するものであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態）
以下、図１～２４を用いて、実施の形態を説明する。

［１－１．ネットワーク接続構成、及び配置構成］
図１は、実施の形態にかかるプロジェクター（投写型表示装置）１０１～１０５、カメラ（撮像装置）２０１～２０２、および調整用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）３００をネットワークに接続した際の状態を示す模式図である。複数のプロジェクター１０１～１０５は、スクリーン（投写面）４００の前方に位置してスクリーン４００に画像を投写するように配置され、ＬＡＮ（Ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）ケーブル、ネットワークハブ５００、無線アクセスポイント６００を介して調整用ＰＣ３００と接続される。複数のカメラ２０１、２０２は、スクリーン４００の前方に位置してスクリーン４００を含む所定の領域を撮影するように配置され、有線又は無線により調整用ＰＣ３００と接続される。投写画像調整システム１０は、プロジェクター１０１～１０５、カメラ２０１～２０２、および調整用ＰＣ３００がネットワークに接続されて構成される。

例えば、図１に示すように、プロジェクター１０１～１０５を横方向に配置し、領域を分割して、スクリーンに表示する表示画像を構成する投写画像を投写することで、スクリーン４００が極端に横長のような場合にも画像を表示させることが可能となる。一般に、そのような画像の投写を行う場合、隣り合うプロジェクターの投写領域の一部が重なり合うように画像を投写し、重なった領域における画像の輝度を徐々にクロスフェードして繋ぎ目を分からなくする「エッジブレンディング」と呼ばれる手法が使われる。さらに、図示しないが、同じ投写領域に複数台のプロジェクターを重畳投写してより明るい画像を表示する「スタック投写」と呼ばれる手法も使われることがある。

図２は、実施の形態で使用されるプロジェクター１０１の機能ブロック図である。プロジェクター１０２～１０５の構成も同様であるので、プロジェクター１０１についてのみ説明する。プロジェクター１０１は、画像を生成する画像生成部１０１０と、画像を投写面に投写する投写部１０１６を含んで構成されている。画像生成部１０１０は、無線通信用のアクセスポイント機能を有する無線通信部１０１１と、ＬＡＮケーブルが接続され有線通信を行う有線通信部１０１２と、記憶部１０１３と、画像処理部１０１４と、制御部１０１５を含んで構成されている。記憶部１０１３は、後述する投写パターン等の画像情報、投写型表示装置自身のＳＳＩＤを示す識別データ等を記憶している。

図３は、カメラ２０１の機能ブロック図である。カメラ２０２の機能ブロックも同様であるので、カメラ２０１のみについて説明する。カメラ２０１は、制御部２０１０、画像処理部２０１１、表示ドライバ２０１２、モニタ２０１３、キー入力部である操作部２０１４、無線ＬＡＮ回路である無線通信部２０１５、ＵＳＢインターフェース回路であるＵＳＢ通信部２０１６、コンデンサ２０１７、バッテリ２０１８、ストロボ２０１９、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）ドライバ－２０２０、ＣＣＤ２０２１およびメモリ２０２２を有している。また、記録媒体であるメモリカード２０２３が図示しないカードスロットに装填されている。

制御部２０１０は、様々な処理や制御を実行するための回路であり、マイコン等を用いて構成される。画像処理部２０１１は、撮影画像データの圧縮／伸張を行う回路である。表示ドライバ２０１２は、モニタ２０１３に表示する画像をコントロールする駆動回路である。操作部２０１４は、カメラ２０１に設けられたボタン、スイッチ、ダイヤル等の操作を検出する回路である。

無線通信部２０１５は、無線で外部機器と通信するための通信回路である。ＵＳＢ通信部２０１６は、ＵＳＢケーブルで外部機器と通信するための通信回路である。コンデンサ２０１７は、バッテリ２０１８からの電力を受けて充電し、ストロボ２０１９の発光に使用する。バッテリ２０１８は、撮像装置を動作させるために必要な電力を供給するリチウムイオン充電池等の電源である。

ストロボ２０１９は、被写体に補助光を照射することにより暗い環境でも撮影を可能にする。ＣＣＤドライバ２０２０は、ＣＣＤ２０２１を駆動するための回路である。ＣＣＤ２０２１は、撮影レンズを介した被写体像を撮像するための撮像素子である。ＣＣＤ２０２１によって被写体像が撮像されると、ＣＣＤ２０２１からＣＣＤドライバ２０２０へ撮像信号が出力される。この撮像信号は、ＣＣＤドライバ２０２０において撮像画像データに変換された後、制御部２０１０へ出力される。

メモリ２０２２は、不揮発性の半導体メモリであり、制御部が実行する制御に用いるためのプログラムやデータ等を記憶している。メモリカード２０２３は、制御部の制御により、撮像装置によって取得された撮影画像情報など各種の情報が記録される。

図４は、実施の形態における調整用ＰＣ３００の機能ブロック図である。調整用ＰＣ３００は、無線通信部３０１と、有線通信部３０２、画像データ等を記憶する記憶部３０３と、ユーザーによる選択指示等を受け付けるユーザインターフェースであるＵＩ部３０４と、制御部３０５と、画像データ等に基づいて画像を生成する画像処理部３０６と、画像を表示する表示部３０７を含んで構成されている。なお、調整用ＰＣ３００のハードウェアは、一般的なものであり、例えば、無線通信部３０１は無線ＬＡＮユニット等、記憶部３０３はハードディスクやＲＡＭ等、ＵＩ部３０４は、キーボード、マウス等、制御部３０５はＣＰＵ等、表示部３０７は液晶ディスプレイ等、ＵＳＢ通信部３０８はＵＳＢポート等によって構成される。ここで、調整用ＰＣ３００は、制御装置の一例である。

複数のカメラ２０１、２０２は、ＵＳＢ通信部２０１６を介して調整用ＰＣ３００と接続される。カメラ２０１、２０２は調整用ＰＣ３００からの指示により、スクリーン４００を部分的に含むエリアを撮影し、その画像データを調整用ＰＣ３００へ送信する。カメラ２０１、２０２と調整用ＰＣ３００とは、無線通信部２０１５、無線通信部３０１によって、ＷｉＦｉなどの無線通信により接続されても良い。

調整用ＰＣ３００は、プロジェクター１０１～１０５およびカメラ２０１、２０２に対しコマンドを発行して制御を行う。また、後述するように、調整用ＰＣ３００はプロジェクター１０１～１０５から投写される画像をスクリーン４００に合わせ込むために、制御部１０１５によって投写状態の取得、補正データの算出、補正データの送信を行う。

［１－２．動作］
以上のように構成された投写画像調整システム１０において、その動作を以下に説明する。

図５は、調整用ＰＣ３００による、スクリーン４００の領域内に投写画像を収まるようにプロジェクター１０１～１０５を調整するための動作（以下「投写領域自動調整動作」と称す）を示すフローチャートである。投写領域自動調整動作は、調整用ＰＣ３００が特定のアプリケーションプログラムを実行することで実現され、設定フェーズ（Ｓ１００～Ｓ５００）と自動実行フェーズ（Ｓ６００～Ｓ１０００）とから成る。

投写領域自動調整動作が開始されると、最初に、調整用ＰＣ３００は、プロジェクター１０１～１０５とのネットワーク接続を確立し、各プロジェクターを仮ＩＤ（例えば接続順に１から番号を割り当てる）で識別可能にする（Ｓ１００）。次にスクリーン４００に画像を表示するプロジェクターの横方向台数、縦方向台数、およびスタック台数の指定を行い、ステップＳ１００で識別したプロジェクターが、実際の配置でスクリーン４００の領域のうち、どの部分を投写するプロジェクターであるのか、配置位置の関係の紐付けを行い、その位置関係に従ってプロジェクターＩＤを付す（Ｓ２００）。

次に調整に使用するカメラ２０１、２０２を調整用ＰＣ３００に接続し、各カメラをＩＤ（例えば接続順に１から番号を割り当てる）で識別可能にする（Ｓ３００）。続いて、接続された複数台のカメラに対し、各カメラがどのプロジェクターの投写領域を撮影するのかを指定する（Ｓ４００）。特に隣り合うカメラでは、少なくとも一つのプロジェクターの投写画像を両方のカメラで撮影できるように配置し、指定する。

次に、プロジェクター１０１～１０５が画像を投写するスクリーン４００の領域と、隣り合うプロジェクター間で重ね合わせて投写する領域の幅であるオーバーラップ幅を設定する（Ｓ５００）。スクリーン４００の領域の設定は、具体的にはスクリーン４００の縁に等間隔にカーソルを設置し、そのカーソルの表示されたプロジェクターＩＤと座標を記録する。

ここまでの設定が全て終わり、実行を指示すると、自動実行フェーズに移行する。

プロジェクターの投写位置とカメラの画素位置との関係を求めるため、図６に示すような複数の特徴点を持つテストパターンを各プロジェクターから投写し、カメラで撮影する（Ｓ６００）。ステップＳ４００で設定した各カメラが担当するプロジェクターの投写領域を基に、全ての組み合わせで投写されたテストパターンを撮影する。図６のようなテストパターンは、例えば、予め調整用ＰＣ３００の記憶部３０３に格納しておき、これを各プロジェクターに伝送して、投写することができる。

次に、撮影した画像からテストパターンに含まれる複数の特徴点のカメラ座標を検出し、その特徴点のプロジェクター座標とカメラ座標の対応関係から、プロジェクター座標系をカメラ座標系に変換する座標変換テーブルを求める（Ｓ７００）。次に、隣り合うカメラについて、双方のカメラで撮影された同じプロジェクターの投写画像の同じ特徴点に対応する、それぞれのカメラ座標の関係から、カメラ間の座標変換式を算出する（Ｓ８００）。カメラ間の座標変換式の算出は例えば、特許文献１の段落［００２５］～［００２７］に示されるように、同じプロジェクターの投写画像の同じ特徴点から求められたそれぞれのカメラ座標の対応関係を４組以上用いて、平面射影変換行列Ｈ（Ｈｏｍｏｇｒａｐｈｙ）を求める方法がある。

次に、調整用ＰＣ３００は、各プロジェクターの座標系として記録されている値から、ステップＳ７００で求めた座標変換テーブル、およびステップＳ８００で求めたカメラ間の座標変換式を用いて、座標系の統一を行う。そして、ステップＳ５００で設定したスクリーン４００の投写領域の位置情報と、プロジェクターの位置情報から、各プロジェクターの投写画像をスクリーン４００の投写領域へ合わせ込むための幾何補正データを算出する（Ｓ９００）。

最後に、調整用ＰＣ３００は、算出された幾何補正データおよびオーバーラップ幅をそれぞれのプロジェクターへ転送する（Ｓ１０００）。これにより、図７に示すように、調整前では、各プロジェクターの投写画像がスクリーンからはみ出ていたのを（調整前の投写画像を一点鎖線で示す）、スクリーン４００へフィットさせることができ、かつ繋ぎ目の滑らかな画像が得られる。

以上説明したフローチャートのうち、設定フェーズ（Ｓ１００～Ｓ５００）の詳細動作を以下に説明する。

図８は、調整用ＰＣ３００とプロジェクター１０１～１０５とのネットワーク接続を確立し、各プロジェクターを仮ＩＤで識別可能にするステップＳ１００のアプリケーション画面１０００であり、このアプリケーション画面は調整用ＰＣ３００の表示部３０７に表示される。Ｓｅａｒｃｈ Ｐｒｏｊｅｃｔｏｒボタン１００２が押されると、調整用ＰＣ３００はネットワーク上に存在するプロジェクター１０１～１０５を検索し、右のリスト１００１に一覧表示する。また、Ａｄｄ Ｐｒｏｊｅｃｔｏｒボタン１００３が押されると、図示しない入力画面が表示され、追加したいプロジェクターのＩＰアドレスやプロジェクター名の入力が促される。それら入力されると、調整用ＰＣ３００は、通信により存在を確認し、確認ができればリスト１００１に追加表示する。これらの処理により、リスト１００１にはネットワーク上で接続が確認できたプロジェクターのプロジェクター名、ＩＰアドレス、モデル名が表示される。

次に、ユーザーはリストの中から調整したいプロジェクターにチェックを付す。リスト下部にあるＳｅｌｅｃｔ Ａｌｌボタン１００４が押されると、リスト上にある全てのプロジェクターにチェックが付けられる。また、Ｃｌｅａｒ Ａｌｌボタン１００５が押されると、全てのプロジェクターのチェックが外される。調整したいプロジェクターにチェックを付けた状態でＮｅｘｔボタン１００６が押されると次のステップに進む。

このとき、選択された各プロジェクターには仮ＩＤが付される。リスト１００１の上からチェックが付けられたプロジェクターに対し、図９に示すように、仮ＩＤ（Ｔｅｍｐｏｒａｒｙ ＩＤ）として、順に１、２、…と番号が割り当てられる。この時点で図９のようなデータがアプリケーションの内部情報として調整用ＰＣ３００の記憶部３０３に記憶される。

図１０及び図１１は、ステップＳ１００で選択されたプロジェクターの配置関係を設定するステップＳ２００のアプリケーション画面である。まず、図１０の画面にて、スクリーン４００に対し、選択されたプロジェクターがどのような配置であるかを設定する。例えば、図１の模式図のように、プロジェクター５台を横並びに配置してスクリーン４００に一つの映像を形成する場合には、ユーザーは、Ｈｅｉｇｈｔの項目１１０３に「１」、Ｗｉｄｔｈの項目１１０４に「５」、Ｓｔａｃｋの項目１１０５に「１」をそれぞれ入力し、Ｎｅｘｔボタン１１０６を押す。表示部３０７のボックス１１０１には、このようにして設定されたプロジェクターの配置が、水平方向に５つ並んだプロジェクターのアイコンＩで示されている。

別例として、スクリーン４００を縦２面×横３面に分割し、各面には２台のプロジェクターを重畳投写して明るさを得るような構成とする場合には、ユーザーは、Ｈｅｉｇｈｔの項目１１０３に「２」、Ｗｉｄｔｈの項目１１０４に「３」、Ｓｔａｃｋの項目１１０５に「２」をそれぞれ入力する。この例ではプロジェクターが計１２台必要であるため、予めステップＳ１００にてプロジェクターを１２台接続し、選択しておく。

図１０のＲｅｓｔｏｒｅボタン１１０２により、以前に調整を行った場合に、その設定情報が読み出される。Ｎｅｘｔボタン１１０６が押されたタイミングで、調整用ＰＣ３００は、設定に必要なプロジェクターの台数Ｎ（Ｎ＝Ｈｅｉｇｈｔ×Ｗｉｄｔｈ×Ｓｔａｃｋ）と、ステップＳ１００にて選択されたプロジェクターの台数とを比較し、同数でなければ、エラーメッセージ（図示しない）を表示して再調整を促す。

次に図１１のアプリケーション画面１２００にて、プロジェクターの並びを設定する。この画面が表示されるタイミングで、各プロジェクターは自分に割り当てられた仮ＩＤの数字をスクリーン４００へ投写する（図１２）。本実施の形態では、プロジェクター１０１は仮ＩＤ＝３が割り当てられたプロジェクター（ＩＰアドレス＝１９２．１６８．０．３、プロジェクター名＝Ｎａｍｅ０８２４）、プロジェクター１０２は仮ＩＤ＝１が割り当てられたプロジェクター（ＩＰアドレス＝１９２．１６８．０．１、プロジェクター名＝Ｎａｍｅ４４７０）、プロジェクター１０３は仮ＩＤ＝４が割り当てられたプロジェクター（ＩＰアドレス＝１９２．１６８．０．４、プロジェクター名＝Ｎａｍｅ０１１６）、プロジェクター１０４は仮ＩＤ＝２が割り当てられたプロジェクター（ＩＰアドレス＝１９２．１６８．０．２、プロジェクター名＝Ｎａｍｅ１１１６）、プロジェクター１０５は仮ＩＤ＝５が割り当てられたプロジェクター（ＩＰアドレス＝１９２．１６８．０．５、プロジェクター名＝Ｎａｍｅ１３３７）である。

図１１のアプリケーション画面１２００の左側のボックス１２０１は、各プロジェクターの配置を設定するための領域である。まず、調整用ＰＣ３００は、各プロジェクターから投写される仮ＩＤの数字のうち、仮ＩＤ＝１のみ他の仮ＩＤとは異なる書式で投写させ、ユーザーが指示すべきプロジェクターがどれであるかを判別しやすくする。異なる書式として、例えば、仮ＩＤ＝１のみ赤色の数字を投写し、それ以外は白色の数字を投写する。異なる書式の別の例としては、ユーザーが指示すべきプロジェクターのみ仮ＩＤを投写し、それ以外は全白パターンを投写するようにしても良い。同じ場所に複数のプロジェクターで重畳投写する場合では、数字が重なることがなくなり、より識別しやすくなる。

ユーザーはスクリーン４００で他の仮ＩＤと異なる書式で投写されている仮ＩＤ＝１の投写位置を確認する。図１２に示すように、仮ＩＤ＝１はスクリーン４００の左から２番目の投写位置に投写されているので、ユーザーは、アプリケーション画面１２００の左のボックス１２０１内の対応するセル（左から２番目）を選択（クリック）する。すると、そのセルに仮ＩＤ＝１の番号がセットされ、仮ＩＤ＝１のプロジェクター１０２の位置がセットされる。図１１のボックス１２０１の各セルには、アンダーバーＵが表示されており、このアンダーバーＵの位置にセットされた仮ＩＤが表示される。

仮ＩＤ＝１のセットが完了すると、続いて、調整用ＰＣ３００は仮ＩＤ＝２のプロジェクター１０４にのみ他のプロジェクターと異なる書式で仮ＩＤ＝２を投写させる。ユーザーが、同様にして、ボックス１２０１内の対応する左から４番目のセルを選択すると、そのセルに仮ＩＤ＝２が表示され、プロジェクター１０４の位置がセットされる。以下同様の手順で残りのプロジェクターの位置がセットされる。図１３は全てのプロジェクターの位置がセットし終わった状態のアプリケーション画面１２００を示している。

全てのプロジェクターの位置がセットされ、Ｎｅｘｔボタン１２０２が押されてプロジェクターの配置が確定すると、各プロジェクターに対し、プロジェクターの位置を行（Ｒｏｗ）と列（Ｃｏｌｕｍｎ）と層（Ｌａｙｅｒ）の数字の組み合わせで表現する配置情報が付される。この配置情報が、図５のステップＳ２００において付されるプロジェクターＩＤである。本実施の形態の例では、左端のプロジェクター１０１には（行，列，層）＝（１，１，１）、右端のプロジェクター１０５には（行，列，層）＝（１，５，１）が割り当てられる。ここで、「層」には重畳投写の場合に同じ位置（行，列）へ投写される複数プロジェクターを識別するために、図１３のアプリケーション画面１２００の左のボックス１２０１で同じ対応するセル位置に設定された順に１、２、・・・と番号が割り当てられる。この時点で図１４のようなデータがアプリケーションの内部情報として記憶部３０３に記憶される。

図１５は、調整に使用するカメラ２０１、２０２を調整用ＰＣ３００に接続し、各カメラをＩＤで識別可能にするステップＳ３００のアプリケーション画面１３００である。Ｓｅａｒｃｈ Ｃａｍｅｒａボタン１３０１を押すと、調整用ＰＣ３００はＵＳＢポートなどに接続されたカメラを検索し、右のリスト１３０２にカメラのＩＤ、モデル名を一覧表示する。カメラのＩＤは、検索で見つかったカメラを識別するために、Ｃａｍｅｒａ１から順に自動で付されたものである。

次に、ユーザーはリスト１３０２の中から調整に使用したいカメラにチェックを付す。リスト下部にあるＳｅｌｅｃｔ Ａｌｌボタン１３０３を押すと、リスト上にある全てのカメラにチェックが付けられる。また、Ｃｌｅａｒ Ａｌｌボタン１３０４を押すと、全てのカメラのチェックが外される。調整に使用したいカメラにチェックを付けた状態でＮｅｘｔボタン１３０５を押すと次のステップに進む。

図１７～図１９は、接続された複数台のカメラに対し、各カメラがどのプロジェクターの投写領域を撮影するのかを指定するステップＳ４００のアプリケーション画面１４００である。本実施の形態における実際のカメラ配置は、図１６に示すように、左側のカメラ２０１にＩＤ＝Ｃａｍｅｒａ２が付され、右側のカメラ２０２にＩＤ＝Ｃａｍｅｒａ１が付されているとする。また、左側のカメラ２０１はプロジェクター１０１～１０３が投写する範囲を撮影するよう配置され、右側のカメラ２０２はプロジェクター１０３～１０５が投写する範囲を撮影するよう配置されているものとする。

図１７に示すアプリケーション画面１４００に切り替わる際に初期状態が決定される。カメラの配置タイプ１４０３はプロジェクターの縦方向台数と横方向台数の大小関係により決定される。本実施の形態では、プロジェクターの配置が縦１台×横５台であることから、配置タイプ１４０３は「Ｈｏｒｉｚｏｎｔａｌ」に設定され、画面にその情報がラジオボタンで表示される。

次に、プロジェクターに対する各カメラの担当範囲の初期値が決定される。決定ルールとして、カメラのＩＤが付された順に、カメラの配置タイプが「Ｈｏｒｉｚｏｎｔａｌ」の場合は左側から右側へ、カメラの配置タイプが「Ｖｅｒｔｉｃａｌ」の場合は、上側から下側へ、担当範囲が設定される。また、各カメラが担当するプロジェクターの台数が均等となるように、かつ、隣接するカメラ同士が少なくとも一つのプロジェクターを共通に含むように、担当範囲が設定される。プロジェクターの台数が均等になるようにとは、２台のカメラを使用する場合は、初期値として、それぞれが同数もしくはそれに近い数のプロジェクターをカバーするように担当範囲が決められるということであり、そのようにすることが望ましい。また、隣同士のカメラが少なくとも一つのプロジェクターを共通に含むとは、本実施の形態では、プロジェクター１０３を２台のカメラのいずれもが担当範囲としてカバーすることを意味する。

上記決定ルールにより、本実施の形態では、１つのプロジェクター、すなわち列番号３のプロジェクター１０３がカメラ２０１（Ｃａｍｅｒａ２）とカメラ２０２（Ｃａｍｅｒａ１）の両方の担当範囲に属するように、担当範囲が決定される。そして、カメラ２０２（Ｃａｍｅｒａ１）が列番号１～３のプロジェクター１０１～１０３を担当し、カメラ２０１（Ｃａｍｅｒａ２）が列番号３～５のプロジェクター１０３～１０５を担当するように、担当範囲の初期値が決定される。しかし、実際の配置では、図１６に示すように、カメラ２０２（Ｃａｍｅｒａ１）がプロジェクター１０３～１０５の投写画像を撮影するように右側に、カメラ２０１（Ｃａｍｅｒａ２）がプロジェクター１０１～１０３の投写画像を撮影するように左側に、配置されているので、ユーザーはアプリケーション画面１４００を操作して正しい担当範囲に設定しなければならない。

図１７のアプリケーション画面１４００の左側にはプロジェクターの配置情報１４０１が表示される。プロジェクターの配置が縦１台×横５台の場合は、左から順に１～５の列番号が付される。プロジェクター配置情報１４０１の右横には、調整に使用するカメラ台数分のラジオボタン１４０４とカメラのＩＤを示すリストボックス１４０５が表示される。上から順に、左から右（カメラの配置タイプが「Ｖｅｒｔｉｃａｌ」の場合は上から下）の担当範囲に対応する。初期状態では一番上のラジオボタン１４０４がＯＮになっており、対応するカメラの担当範囲は列番号１～３であることを示すため、プロジェクター配置情報１４０１の列番号１～３が枠Ｆで囲まれている。

同時に、図１６に示すように、実際のプロジェクターにおいて、各プロジェクターに割り当てられた列番号が、図１７のアプリケーション画面に変わったタイミングで、投写される。カメラ配置タイプが「Ｖｅｒｔｉｃａｌ」の場合は、各プロジェクターに割り当てられた行番号を投写する。また、スタック投写の場合には、層が「１」であるプロジェクターのみが番号を投写することで、同じ位置に番号が複数投写されず見やすくすることが可能である。

さらに、調整用ＰＣ３００からの指令により、各プロジェクターは、図１７のプロジェクター配置情報１４０１で枠Ｆに囲まれているプロジェクター群と、それ以外の群とで、書式を変えて列番号の投写画像を投写する。図１６の例では、白地の投写画像を投写するプロジェクター１０１～１０３と薄グレーの地の投写画像を投写するプロジェクター１０４及び１０５とに分かれている。ここで、白地の投写画像は第一の書式パターンの一例であり、薄グレーの地の投写画像は第二の書式パターンの一例である。第一の書式パターンおよび第二の書式パターンの投写は、調整用ＰＣ３００の制御部３０５に属するパターン投写部の指示により行われる。

図１７に戻り、プロジェクター配置情報１４０１の担当範囲を示す枠Ｆは、その範囲を変更することが可能である。本実施の形態では一番上のラジオボタン１４０４に設定され左側の投写画像を撮影するカメラの担当範囲の初期値は列番号１～３であり、列番号１～３が枠Ｆで囲まれ、さらに列番号３の部分の背景色が他と異なっている。この背景色が異なる列番号の位置を変更することにより、担当範囲を変更することが可能である。例えば、障害物などがあり、左側を撮影するカメラの担当範囲が列番号１～２、右側を撮影するカメラの担当範囲が列番号２～５となるように、カメラを配置した場合、担当範囲の初期値を列番号１～３から列番号１～２に変更する必要がある。具体的には、プロジェクター配置情報１４０１の列番号２のエリアをクリックすることで、枠Ｆが囲む範囲が列番号１～２に変更され、列番号２の背景色が他と異なる色になる。

また、ユーザーは、ラジオボタン１４０４に設定されるカメラを変更することが可能である。図１７に示すように、ラジオボタン１４０４の右にはリストボックス１４０５が表示され、その右にはＴｅｓｔ Ｓｈｏｔボタン１４０６が表示されている。選択されているラジオボタン１４０４に対応する上側のＴｅｓｔ Ｓｈｏｔボタン１４０６が押されると、初期値で設定された「Ｃａｍｅｒａ１」に対応するカメラに撮影指示がなされ、その撮影データが下の確認画面１４０７へ表示される。本例では、「Ｃａｍｅｒａ１」は右側に配置されているカメラ２０２に対応するので、列番号３～５に対応するプロジェクターの投写画像を撮影した結果が表示される。ここで、ユーザーは、プロジェクター配置情報１４０１において枠Ｆで囲まれた列番号１～３と確認画面１４０７に表示された撮影画像とを比較することにより、初期値で設定されたカメラが実際のカメラの配置と合っているか否かを確認することができる。本実施の形態では、図１７に示すように、確認画面１４０７に表示される撮影画像は列番号３～５であり、枠Ｆで囲まれた列番号１～３とは違っているので、選択されている一番上のラジオボタン１４０４に対応するカメラを変更する必要がある。

設定されているカメラを変更するには、ユーザーは、「Ｃａｍｅｒａ１」と表示されているリストボックス１４０５を押し、表示されるプルダウンメニューから「Ｃａｍｅｒａ２」を選択する。すると、「Ｃａｍｅｒａ１」と「Ｃａｍｅｒａ２」のそれぞれに対応するカメラの配置情報が入れ替わる。この状態で、ユーザーがもう一度上側のＴｅｓｔ Ｓｈｏｔボタン１４０６を押すと、図１８に示すように、「Ｃａｍｅｒａ２」に対応するカメラ２０１で撮影した撮影データが下の確認画面１４０７へ表示される。カメラ２０１は、図１６に示すように、プロジェクター１０１～１０３がスクリーン４００に投写している列番号１～３を撮影しているので、図１８に示すように、確認画面１４０７には列番号１～３の撮影画像が表示される。ユーザーは、プロジェクター配置情報１４０１において枠Ｆで囲まれた列番号１～３と確認画面１４０７に表示された列番号１～３とが合っているころを確認することができる。

さらに図１９は、下側のラジオボタン１４０４をＯＮにし、下側のＴｅｓｔ Ｓｈｏｔボタン１４０６を押したときの状態を示す。下側のラジオボタンがＯＮとなったタイミングで、対応するカメラ、すなわち右側のカメラの担当範囲は列番号３～５であることを示すため、プロジェクター配置情報１４０１の列番号３～５が枠Ｆで囲まれる。また同時に、調整用ＰＣ３００は、各プロジェクターに列番号の書式を変更して投写させる。具体的には、選択されたカメラの担当範囲である列番号３～５に対応するプロジェクター１０３～１０５は白地の投写画像（第一の書式パターン）を投写し、それ以外のプロジェクター１０１、１０２は薄グレーの地の投写画像（第二の書式パターン）を投写する。そして、下側のＴｅｓｔ Ｓｈｏｔボタン１４０６を押すと、下側のリストボックス１４０５に表示された「Ｃａｍｅｒａ１」に対応するカメラ２０２へ撮影指示がなされ、撮影データが下の確認画面１４０７へ表示される。ユーザーは、プロジェクター配置情報１４０１において枠Ｆで囲まれた列番号３～５と確認画面１４０７に表示された列番号３～５とが合っていることを確認することができる。

Ｒｅｓｔｏｒｅボタン１４０２は、以前に調整を行った場合に、その設定情報を読み出すボタンである。全てのカメラの担当範囲が確認できたら、ユーザーはＮｅｘｔボタン１４０８を押して対応関係を確定する。アプリケーションには図２０に示すようなデータが内部情報として記憶部３０３に記憶される。すなわち、カメラ（ＩＤ＝Ｃａｍｅｒａ２）の担当範囲は列番号１～３（Ｓｔａｒｔ Ｉｎｄｅｘ＝１，Ｅｎｄ Ｉｎｄｅｘ＝３）、カメラ（ＩＤ＝Ｃａｍｅｒａ１）の担当範囲は列番号３～５（Ｓｔａｒｔ Ｉｎｄｅｘ＝３，Ｅｎｄ Ｉｎｄｅｘ＝５）であることが記憶される。ここで、ラジオボタン１４０４、及びリストボックス１４０５は、撮像装置選択部の一例である。プロジェクター配置情報１４０１は、撮影範囲設定部の一例である。また、確認画面１４０７は、撮影画像表示部の一例である。

図２１は、カメラの露出、ホワイトバランス、フォーカスを調整するためのアプリケーション画面１５００である。Ａｕｔｏ Ｓｅｔｕｐボタン１５０１を押されると接続された全てのカメラに対して、自動調整が行われる。具体的には、プロジェクターから全白パターンが投写され、その状態をカメラで撮影しても露出オーバーとならないように、露光時間、ＩＳＯ値、絞りなどのパラメータが調整される。次に投写された全白パターンを基準としてホワイトバランスの調整が行われ、最後にクロスハッチなどのフォーカスを合わせやすいパターンを投写して、フォーカスの調整が行われる。

カメラのパラメータ確認エリア１５０２には、自動調整された結果が表示される。Ｍａｎｕａｌ ＳｅｔｕｐのチェックボックスをＯＮにすることで、手動で所望のパラメータに設定することも可能である。調整が完了したらＮｅｘｔボタン１５０３を押して次のステップへ進む。

図２２は、画像を投写するスクリーン４００の領域と、隣接するプロジェクター間のエッジブレンディング幅を設定するステップＳ５００のアプリケーション画面１６００である。このアプリケーション画面を表示するタイミングで、各プロジェクターは、スクリーンの領域を指示するためのカーソルを表示する画像を投写する（図２３）。

スクリーンの領域を指示するカーソルの数は、「Ｃｒｏｓｓ Ｃｕｒｓｏｒｓ Ｈ：」の数字入力ボックス１６０１、および「Ｃｒｏｓｓ Ｃｕｒｓｏｒｓ Ｖ：」の数字入力ボックス１６０２にて、水平方向および垂直方向それぞれを指定される。本実施の形態では、水平方向に配置された５台のプロジェクター１０１～１０５によりスクリーン４００が投写されるため、水平方向は６個、垂直方向は２個のカーソルを用いて、スクリーンを特定するものとする。ユーザーは、カーソル選択エリア１６０３において、移動させたいカーソルを選択し、マウスの操作やキーボードの操作によりカーソルの位置を移動させる。すると、連動して、図２３に示すプロジェクターからスクリーン４００に投写されたカーソルが移動するので、実際のスクリーン４００を等間隔で囲むように、各カーソルの位置を調整することができる。

図２２に戻り、次にプロジェクター間のエッジブレンディング幅を指定する。「Ｈｏｒｉｚｏｎｔａｌ」の数字入力ボックス１６０４には、プロジェクターを水平方向へ並べて配置した際の投写領域の左右の重なり部分に対し、ピクセル単位でエッジブレンディングを行う幅を入力する。同様に、「Ｖｅｒｔｉｃａｌ」の数字入力ボックス１６０５には、プロジェクターを垂直方向へ並べて配置した際の投写領域の上下の重なり部分に対し、ピクセル単位でエッジブレンディングを行う幅を入力する。各数字入力ボックスの右隣にあるスライダーバーを用いて、数値を変更することも可能である。また、各数字入力ボックスの上にあるＡｕｔｏチェックボックスをＯＮにすることで、アプリケーションが最適な幅を自動計算するように設定することも可能である。

Ｒｅｓｔｏｒｅボタン１６０７は、以前に調整を行った場合に、そのカーソル数、カーソル位置、エッジブレンディング幅の情報を読み出す。また、Ｒｅｓｅｔボタン１６０８は、カーソル位置、エッジブレンディング幅の各値を初期値に戻す。設定が全て完了したら、Ｓｔａｒｔボタン１６０６を押し、自動実行フェーズ（Ｓ６００～Ｓ１０００）に移行する。自動実行中は、図２４に示すようなプログレスバー１７０１を含むアプリケーション画面１７００を表示し、自動実行の進捗状況を都度ユーザーへ通知する。Ａｂｏｒｔボタン１７０２が押されると、処理が途中で中止する。

［１－３．効果等］
以上のように、本実施の形態において、投写画像調整システムは、複数のプロジェクター１０１～１０５と複数のカメラ２０１、２０２と調整用ＰＣ３００とスクリーン４００と、を備える。複数のカメラ２０１、２０２はそれぞれ担当するプロジェクターが投写するパターン画像を撮像する。調整用ＰＣ３００は複数のカメラのうち一つを選択し、その担当プロジェクターの投写範囲を設定すると、投写範囲に設定したプロジェクターに第一の書式パターンが投写され、投写範囲に設定しないプロジェクターに第二の書式パターンが投写される。そして、調整用ＰＣ３００は選択したカメラで撮像された画像データを表示する。

これにより、ユーザーは、選択したカメラの担当範囲が指定するプロジェクターの投写範囲を含んでいるか簡単に確認することができ、また、含まない場合、カメラの位置調整、選択変更、あるいはプロジェクターの投写範囲の変更といった操作を容易に行うことできる。

（他の実施の形態）
上記実施の形態では、図１６に示すように、白地の投写画像を第一の書式パターンとし、薄グレーの地の投写画像を第二の書式パターンとして、２種の書式パターンを使用した。これに代えて、白地の投写画像のみを１つの書式パターンとしてスクリーンに投写し、スクリーンの他の領域には投写画像を投写しない非投写領域になるようにしても良い。その場合、カメラ２０１は列番号１～３の投写画像を撮影し、カメラ２０２は列番号３の投写画像とスクリーンの非投写領域を撮影することになる。これによっても、どのカメラがどの投写領域を担当して撮影するようになっているかが分かる。

上記実施の形態では、図１に示すように、５台のプロジェクターの投写画像を２台のカメラで撮影する投写画像調整システムについて説明した。プロジェクターおよびカメラの台数はこれに限られない。例えば、横方向に一列に並べられた７台のプロジェクターの投写画像を３台のカメラで撮影するように、投写画像調整システムを構成してもよい。この場合、カメラの担当範囲は、列番号１～３、列番号３～５および列番号５～７の３つのプロジェクター群に分けることができる。図１７に示すラジオボタン１４０４、リストボックス１４０５、Ｔｅｓｔ Ｓｈｏｔボタン１４０６は、３段に表示される。上段のカメラを設定する場合は、プロジェクター配置情報１４０１に表示される列番号１～３が枠Ｆに囲まれ、列番号１～３に対応するプロジェクターが第一の書式パターンをスクリーンに投写する。同様に、中段のカメラを設定する場合は、列番号３～５が枠Ｆに囲まれ、それに対応するプロジェクターが第一の書式パターンをスクリーンに投写し、下段のカメラを設定する場合は、列番号５～７が枠Ｆに囲まれ、それに対応するプロジェクターが第一の書式パターンをスクリーンに投写する。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、投写型表示装置を使用した画像表示に適用可能である。

１０ 投写画像調整システム
１０１～１０５ プロジェクター
２０１，２０２ カメラ
３００ 調整用ＰＣ
４００ スクリーン
５００ ネットワークハブ
６００ 無線アクセスポイント

Claims (4)

1. 投写面に投写画像を投写する複数の投写型表示装置と、前記投写面に表示される前記投写画像を撮影する第１撮像装置および第２撮像装置と、前記複数の投写型表示装置、前記第１撮像装置および前記第２撮像装置を制御する制御装置と、を備えた投写画像調整システムであって、
   前記制御装置は、
   前記第１撮像装置または前記第２撮像装置の選択を行う撮像装置選択部と、
   前記複数の投写型表示装置のうち少なくとも１つの投写型表示装置を共通で含むように、前記第１撮像装置が撮影を担当する投写型表示装置の第１担当範囲および前記第２撮像装置が撮影を担当する投写型表示装置の第２担当範囲を設定する撮影範囲設定部と、
   前記撮像装置選択部の前記選択に基づき、前記第１担当範囲または前記第２担当範囲に対応する前記投写型表示装置に限定して投写型表示装置の配置位置を示す番号を含む第一の書式パターンを投写させるパターン投写部と、
   前記撮像装置選択部の前記選択に基づき、前記パターン投写部が前記第１担当範囲または前記第２担当範囲に対応する前記投写型表示装置に投写型表示装置の配置位置を示す番号を含む第一の書式パターンを投写させた状態を前記第１撮像装置が撮影する撮影画像または前記第２撮像装置が撮影する撮影画像を表示する撮影画像表示部と、
   を備える、投写画像調整システム。
2. 前記パターン投写部は、前記第一の書式パターンを投写する前記投写型表示装置に隣接する少なくとも１つの投写型表示装置に、前記第一の書式パターンとは異なる第二の書式パターンを投写させる、
   請求項１に記載の投写画像調整システム。
3. 複数の投写型表示装置が投写面に投写画像を投写し、前記投写面に表示される前記投写画像を第１撮像装置および第２撮像装置により撮影し、撮影した画像に基づいて前記投写面に表示する前記投写画像の調整を行う投写画像調整方法であって、
   前記第１撮像装置または前記第２撮像装置の選択を行う撮像装置選択ステップと、
   前記複数の投写型表示装置のうち少なくとも１つの投写型表示装置を共通で含むように、前記第１撮像装置が撮影を担当する投写型表示装置の第１担当範囲および前記第２撮像装置が撮影を担当する投写型表示装置の第２担当範囲を設定する担当範囲設定ステップと、
   前記撮像装置選択ステップの前記選択に基づき、前記第１担当範囲または前記第２担当範囲に対応する前記投写型表示装置に限定して投写型表示装置の配置位置を示す番号を含む第一の書式パターンを投写させるパターン投写ステップと、
   前記撮像装置選択ステップの前記選択に基づき、前記パターン投写ステップにおいて前記第１担当範囲または前記第２担当範囲に対応する前記投写型表示装置に投写型表示装置の配置位置を示す番号を含む第一の書式パターンを投写させた状態を前記第１撮像装置が撮影する撮影画像または第２撮像装置が撮影する撮影画像を表示する撮影画像表示ステップと、
   を含む、投写画像調整方法。
4. 前記パターン投写ステップでは、前記第一の書式パターンを投写する前記投写型表示装置に隣接する少なくとも１つの投写型表示装置に、前記第一の書式パターンとは異なる第二の書式パターンを投写させる、
   請求項３に記載の投写画像調整方法。

Images