JP7217422B2 - 投影制御装置、投影制御方法および投影制御システム - Google Patents

Description

本開示は、被投影物への画像の投影を制御する投影制御装置、投影制御方法および投影制御システムに関する。

特許文献１では、電子カメラによって撮像された被投影物の像を含む画像を入力し、その入力された画像を電子カメラの座標系から表示画面の座標系に座標変換し、座標変換された画像のうち被投影物の像の閉領域を抽出するプロジェクションマッピング装置の画像処理装置が開示されている。この画像処理装置は、抽出された閉領域にオブジェクトをマッピングし、マッピングされたオブジェクトを含む画面の映像信号を生成する。特許文献１によれば、画像処理装置は、被投影物が形状変化や移動等をしても、被投影物の表面にテクスチャをマッピングできる。

特開２０１３－１９２１８９号公報

しかしながら、特許文献１の構成では、被投影物の形状変化あるいは移動等のイベントが生じている間は被投影物の像の閉領域（言い換えると、被投影物の輪郭）の特定を継続する必要があり、被投影物の像の閉領域の抽出に画像処理装置に対して相応の処理負荷がかかってしまう。このため、例えば、被投影物がダンサーのように速い動きを行う人物である場合、そのダンサーの速い動きに追従して被投影物の像の輪郭を特定する処理が困難となり、追従性が劣化し得るという課題があった。

また、例えば、ダンサー等の人物を被投影物とした場合に、演出家等のユーザとしては、被投影物であるダンサーの位置に対してどの位置にコンテンツ画像を投影するかを簡単に指定できれば、ユーザへの利便性の向上が期待される。しかし、特許文献１の構成では、上述したユーザへの利便性の向上を図ることが容易ではない。

本開示は、上述した従来の事情に鑑みて案出され、被投影物の周囲にいる対象物の動きに追従したコンテンツ画像の的確かつ簡易な投影位置の指定に基づく投影の制御を実現し、ユーザの利便性の向上を適応的に支援する投影制御装置、投影制御方法および投影制御システムを提供することを目的とする。

本開示は、被投影物の周囲に位置する対象物を撮像する撮像装置との間で通信可能に接続される通信部と、前記被投影物へ投影するコンテンツ画像に関するパラメータの指定と前記対象物を含む前記被投影物の画像とに基づいて、前記コンテンツ画像の投影位置を導出する導出部と、導出された前記投影位置に前記コンテンツ画像を配置した投影画像を生成する投影画像生成部と、生成された前記投影画像の投影指示を、前記通信部を介して投影装置に送信する制御部と、を備え、前記投影位置に関するパラメータは、角度あるいは方向と画素数（ｎ：２以上の整数）とを含み、前記導出部は、前記被投影物の画像の前記角度あるいは方向に対応した始端から前記画像の終端まで走査を行い、前記走査中に前記対象物の画像内の第ｎ番目の画素の検出位置を基にして、前記投影位置を導出する、投影制御装置を提供する。

また、本開示は、投影制御装置における投影制御方法であって、被投影物の周囲に位置する対象物を撮像する撮像装置との間で通信可能に接続するステップと、前記被投影物へ投影するコンテンツ画像に関するパラメータの指定と前記対象物を含む前記被投影物の画像とに基づいて、前記コンテンツ画像の投影位置を導出するステップと、導出された前記投影位置に前記コンテンツ画像を配置した投影画像を生成するステップと、生成された前記投影画像の投影指示を投影装置に送信するステップと、を有し、前記投影位置に関するパラメータは、角度あるいは方向と画素数（ｎ：２以上の整数）とを含み、前記導出において、前記被投影物の画像の前記角度あるいは方向に対応した始端から前記画像の終端まで走査を行い、前記走査中に前記対象物の画像内の第ｎ番目の画素の検出位置を基にして、前記投影位置を導出する、投影制御方法を提供する。

また、本開示は、被投影物の周囲に位置する対象物を撮像する撮像装置と、投影制御装置とが通信可能に接続された投影制御システムであって、前記投影制御装置は、前記被投影物へ投影するコンテンツ画像に関するパラメータの指定と前記対象物を含む前記被投影物の画像とに基づいて、前記コンテンツ画像の投影位置を導出する導出部と、導出された前記投影位置に前記コンテンツ画像を配置した投影画像を生成する投影画像生成部と、生成された前記投影画像の投影指示を投影装置に送信する制御部と、を備え、前記投影位置に関するパラメータは、角度あるいは方向と画素数（ｎ：２以上の整数）とを含み、前記導出部は、前記被投影物の画像の前記角度あるいは方向に対応した始端から前記画像の終端まで走査を行い、前記走査中に前記対象物の画像内の第ｎ番目の画素の検出位置を基にして、前記投影位置を導出する、投影制御システムを提供する。

本開示によれば、被投影物の周囲にいる対象物の動きに追従したコンテンツ画像の的確かつ簡易な投影位置の指定に基づく投影の制御を実現でき、ユーザの利便性の向上を適応的に支援できる。

実施の形態１に係る投影制御システムの設置例を示す図 実施の形態１に係る投影制御システムのシステム構成例を詳細に示すブロック図 ＩＲカメラの赤外撮像画像内の位置を示す座標（Ｘｃ，Ｙｃ）とプロジェクタにより投影される投影画像内の位置を示す座標（Ｘｐ，Ｙｐ）との間の座標変換のためのキャリブレーション例を示す説明図 スキャンの開始位置に対応する検出方向の説明図 ０度（上）からのスキャン例を示す説明図 ９０度（右）からのスキャン例を示す説明図 ３１５度（左上）からのスキャン例を示す説明図 スキャン中に検出される先端位置の説明図 角度による指定画面例を示す図 方向による指定画面例を示す図 画像による指定画面例を示す図 部位による指定画面例を示す図 タイムラインによる投影位置例とユーザ指定画面例とを対応付けて示す図 投影位置の計算対象領域の指定画面例を示す図 投影位置の計算対象領域の指定画面例を示す図 実施の形態１に係る投影制御装置の動作手順例を時系列に示すフローチャート

以下、添付図面を適宜参照しながら、本開示に係る投影制御装置、投影制御方法および投影制御システムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

以下、実施の形態に係る投影制御システムは、例えば、店舗に敷設されたスクリーン（被投影物の一例）にいる人物（対象物の一例）の形状を、可視カメラ（撮像装置の一例）あるいはＩＲ（Infrared Ray）カメラ（撮像装置の一例）による撮像画像に基づいて認識する。投影制御システムは、その認識された人物の形状とユーザ（例えば、投影制御システム１００の管理者あるいは運営者）により指定されたパラメータ（後述参照）とに基づいて、予め記録されるコンテンツ画像を投影位置に配置した投影画像を生成し、その生成された投影画像をプロジェクタからスクリーンに向けて投影する。投影制御システムは、店舗内（言い換えると、屋内）に設置されてもよいし、店舗外（言い換えると、屋外）に設置されてもよい。

（投影制御システムの構成）
図１は、実施の形態１に係る投影制御システム１００の設置例を示す図である。投影制御システム１００は、プロジェクタ１０と、ＩＲ照明２０と、スクリーン３０と、ＩＲカメラ４０と、可視カメラ４０Ｃと、投影制御装置５０とを少なくとも含む構成である。投影制御装置５０には、入力装置ＩＰおよび表示装置ＤＰが、それぞれデータもしくは情報の入出力が可能に接続される。なお、プロジェクタ１０と、ＩＲ照明２０と、スクリーン３０と、ＩＲカメラ４０と、可視カメラ４０Ｃと、投影制御装置５０と、入力装置ＩＰと、表示装置ＤＰとのうち一部あるいは全部は、一体の装置内に構成されてもよい。また、例えば入力装置ＩＰ、表示装置ＤＰ、コンテンツ格納データベース５３、記録装置５４はそれぞれ、投影制御装置５０とネットワークを介して接続された別体として構成されてもよい。さらに、投影制御装置５０は、入力装置ＩＰおよび表示装置ＤＰを含む構成としてもよい。

プロジェクタ１０（投影装置の一例）は、例えば円筒状の筐体を有し、投影制御装置５０との間でデータもしくは情報の送受信が可能に接続される。プロジェクタ１０は、スクリーン３０に対向して配置される。プロジェクタ１０は、投影制御装置５０から送られた投影指示に含まれる投影画像を受信すると、その投影指示に基づき、その投影指示により指定された投影画像をスクリーン３０に投影するための投影光（例えば可視光）を生成してスクリーン３０に向けて投影する。これにより、プロジェクタ１０は、投影制御装置５０により指定された投影画像（後述参照）をスクリーン３０に投影可能となる。プロジェクタ１０の詳細については、図２を参照して説明する。

ＩＲ照明２０（光源装置の一例）は、複数の照明素子（例えば、ＩＲ光（近赤外光）を発光するＬＥＤ（Light Emission Diode）素子）とそれぞれの照明素子における発光の有無を制御するための制御基板（図示略）とが内蔵された筐体を有し、プロジェクタ１０の筐体とは別体である。ＩＲ照明２０は、投影制御装置５０との間でデータもしくは情報の送受信が可能に接続されてもよいし、投影制御装置５０との間でデータもしくは情報の送受信が通信可能に接続されなくてもよい。ＩＲ照明２０は、プロジェクタ１０と同様に、スクリーン３０に対向するように配置されてもよいし、スクリーン３０を挟んで反対側に配置されてもよい。ＩＲ照明２０は、例えば、投影制御システム１００の管理者の手動操作、または投影制御装置５０からの制御指示に基づき、電源オン状態となり、上述した投影光とは波長帯域の異なるＩＲ光をスクリーン３０に向けて照射する。

なお、ＩＲ照明２０は、例えば、プロジェクタ１０の円筒形状の筐体の半径方向の周囲に沿って一体的に取り付けられた円筒形状の筐体を有してもよい。この場合には、この円筒形状の筐体内に、複数の照明素子（例えば、ＩＲ光を発光するＬＥＤ素子）と制御基板（上述参照）とが内蔵される。つまり、複数の照明素子（例えば、ＩＲ光を発光するＬＥＤ素子）は、プロジェクタ１０の円筒形状の筐体の半径方向の周囲に沿って円環状に並べて配置される。

投影制御システム１００では、ＩＲ照明２０から照射されるＩＲ光は、プロジェクタ１０から投影される投影光（可視光）とは波長帯域が異なり、ＩＲカメラ４０は可視光でなくＩＲ光を受光して撮像する。これは、投影制御装置５０が、ＩＲカメラ４０が撮像した赤外撮像画像に基づいて、ＩＲカメラ４０の画角内に含まれるように配置されたスクリーン３０の周囲（例えば手前）に存在する対象物ＨＭ１（例えば、人物）の位置を誤認識すること無く高精度に検出するためである。

スクリーン３０（被投影物の一例）は、例えばスクリーン３０の表側にＩＲ照明２０が設置される場合、ＩＲ照明２０から照射された赤外光を反射あるいは吸収が可能な材料を用いて形成され、固定的に設置される。なお、スクリーン３０は、例えばスクリーン３０の裏側にＩＲ照明２０が設置される場合、ＩＲ照明２０から照射された赤外光を透過が可能な材料を用いて形成され、固定的に設置されてもよい。スクリーン３０の表側および裏側は、図１に従う。スクリーン３０により反射されたＩＲ光あるいはスクリーン３０を透過したＩＲ光は、ＩＲカメラ４０に受光される。

ＩＲカメラ４０（撮像装置の一例）は、投影制御装置５０との間でデータもしくは情報の送受信が可能に接続される。ＩＲカメラ４０は、スクリーン３０の全体（全域）をすっぽり画角内に含むように対向して配置される。ＩＲカメラ４０は、ＩＲ照明２０からＩＲ光が照射された際にＩＲカメラ４０に入射するＩＲ光を受光し、その受光されたＩＲ光に基づいて撮像することで、赤外撮像画像（以下、「ＩＲ画像」ともいう）を生成する。ＩＲカメラ４０は、生成されたＩＲ画像を投影制御装置５０に送る。ＩＲカメラ４０の詳細については、図２を参照して説明する。

なお、図１に示すように、プロジェクタ１０とＩＲカメラ４０、またはＩＲ照明２０とＩＲカメラ４０は、互いに同軸上に存在するように配置されなくてよい。

可視カメラ４０Ｃ（撮像装置の一例）は、投影制御装置５０との間でデータもしくは情報の送受信が可能に接続される。可視カメラ４０Ｃは、スクリーン３０の全体（全域）をすっぽり画角内に含むように対向して配置される。可視カメラ４０Ｃは、スクリーン３０を透過した可視光を含む環境光を受光し、その受光された環境光に基づいて撮像することで、可視撮像画像（つまり、赤（Ｒ），緑（Ｇ），青（Ｂ）のそれぞれの色味成分に基づくカラー画像）を生成する。可視カメラ４０Ｃは、生成された可視撮像画像を投影制御装置５０に送る。可視カメラ４０Ｃの詳細については、図２を参照して説明する。

なお、図１に示すように、可視カメラ４０Ｃは、スクリーン３０に対して、ＩＲカメラ４０と同じ側に配置される。可視カメラ４０Ｃは、例えば、プロジェクタ１０の周囲に配置される。これにより、可視カメラ４０Ｃは、スクリーン３０の周囲にいる人物等の対象物ＨＭ１の形状を視覚的かつ具体的に特定可能な可視撮像画像を撮像可能となる。

対象物ＨＭ１（例えば、人物）は、スクリーン３０のＩＲカメラ４０側に設けられた対象物領域ＡＲＦ１内に位置するのであれば、図１に示す位置そのものに限定されない。つまり、対象物ＨＭ１は、対象物領域ＡＲＦ１内のいずれの場所に位置してよい。対象物領域ＡＲＦ１は、スクリーン３０と同様に、ＩＲ照明２０とＩＲカメラ４０との間に位置する人物が存在するエリアである。また、対象物領域ＡＲＦ１は、対象物ＨＭ１（例えば、人物）から見て、例えば、床に枠線等が描画されていること等によって具体的に可視化されている方が好ましい。これにより、人物等の対象物ＨＭ１が対象物領域ＡＲＦ１外へ移動することを抑制可能となる。但し、対象物領域ＡＲＦ１の可視化は必須でなくてもよい。また、対象物領域ＡＲＦ１は、例えば、プロジェクタ１０、別のプロジェクタ（図示略）、看板、またはシステム管理者等によって、「スクリーンの前に立ってください」という示唆によって、人物等の対象物ＨＭ１に指示されてもよい。

投影制御装置５０は、例えば、ＰＣ（Personal Computer）もしくはタブレット端末等の有線もしくは無線の通信が可能な情報処理装置であり、少なくともプロジェクタ１０、ＩＲカメラ４０、入力装置ＩＰ、表示装置ＤＰとの間でデータもしくは情報の送受信が可能に接続される。投影制御装置５０は、ＩＲカメラ４０により撮像された赤外撮像画像に基づいて、スクリーン３０の周囲（例えば手前）に位置する人物等の対象物ＨＭ１の有無、その人物等の対象物ＨＭ１のスクリーン３０に対する位置を示す形状を認識する。

また、投影制御装置５０は、スクリーン３０に投影される対象となるコンテンツ画像を保持しており、このコンテンツ画像を投影するための投影位置をユーザに指定させるための指定画面（例えば、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ参照）を表示装置ＤＰに表示する。投影制御装置５０は、その指定画面に指定されたパラメータ（後述参照）に基づいて、コンテンツ画像の投影位置を計算して導出し、その投影位置にコンテンツ画像を配置した投影画像を生成してプロジェクタ１０に送る。投影制御装置５０の詳細については、図２を参照して説明する。

入力装置ＩＰは、例えば、キーボードあるいはマウス等の、投影制御システム１００のユーザ（例えば、投影制御システム１００の管理者もしくは運営者）の操作を受け付け可能なデバイスであり、ユーザの操作に応じた信号を投影制御装置５０に送出するユーザインターフェースである。

表示装置ＤＰは、例えば、ＬＣＤ（Liquid Crystal Display）もしくは有機ＥＬ（Electroluminescence）ディスプレイを用いて構成され、投影制御装置５０から送出されたデータもしくは情報の表示指示を取得し、その取得された表示指示に含まれるデータもしくは情報の表示を行う。なお、表示装置ＤＰは、ユーザの操作を受け付けて検出可能なタッチパネルとして構成されてもよい。なお、実施の形態１に係る投影制御システム１００において、入力装置ＩＰや表示装置ＤＰは省略されてもよい。

図２は、実施の形態１に係る投影制御システム１００のシステム構成例を詳細に示すブロック図である。

プロジェクタ１０は、通信インターフェース１１と、制御部１２と、投影部１３と、メモリ１４とを含む構成である。図２のプロジェクタ１０の構成において、通信インターフェースを便宜的に「通信Ｉ／Ｆ」と記載している。

通信インターフェース１１は、投影制御装置５０との間のデータもしくは情報の送受信（通信）が可能な通信回路により構成され、投影制御装置５０から送られる投影画像を含む投影指示を受信すると、その投影指示を制御部１２に送る。

制御部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）もしくはＦＰＧＡ（Field Programmable Gate Array）を用いて構成されたプロセッサＰＲＣ１である。制御部１２は、プロジェクタ１０の全体的な動作を司るコントローラとして機能し、プロジェクタ１０の各部の動作を統括するための制御処理、プロジェクタ１０の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。制御部１２は、メモリ１４に記憶されたプログラムおよびデータに従って動作する。制御部１２は、動作時にメモリ１４を使用し、制御部１２が生成または取得したデータもしくは情報をメモリ１４に一時的に保存する。

投影部１３は、制御部１２により投影の制御を受け、投影制御装置５０により生成された投影画像に対応する投影光（可視光）を出射してスクリーン３０に投影する。具体的には、投影部１３は、制御部１２から送られた投影画像に基づいて、その投影画像をスクリーン３０に投影するための投影光を出射する。投影部は、例えば、光源、ミラー、レンズ等により構成される。

メモリ１４は、例えばＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）とを用いて構成され、プロジェクタ１０の動作の実行に必要なプログラムおよびデータ、さらには、動作中に生成されたデータもしくは情報を一時的に保持する。ＲＡＭは、例えば、プロジェクタ１０の動作時に使用されるワークメモリである。ＲＯＭは、例えば、プロジェクタ１０を制御するためのプログラムおよびデータを予め記憶して保持する。

ＩＲカメラ４０は、ＩＲ撮像部４１と、制御部４２と、通信インターフェース４３と、メモリ４４とを含む構成である。図２のＩＲカメラ４０の構成においても、同様に通信インターフェースを便宜的に「通信Ｉ／Ｆ」と記載している。

ＩＲ撮像部４１は、ＩＲ照明２０から照射されたＩＲ光がスクリーン３０を透過あるいは反射して入射した光を受光可能なレンズ（図示略）と、その入射光に基づく赤外撮像画像を撮像可能なイメージセンサ（図示略）とを含む構成である。ＩＲ撮像部４１の出力は制御部４２に送られる。

制御部４２は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成されたプロセッサＰＲＣ２である。制御部４２は、ＩＲカメラ４０の全体的な動作を司るコントローラとして機能し、ＩＲカメラ４０の各部の動作を統括するための制御処理、ＩＲカメラ４０の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。制御部４２は、メモリ４４に記憶されたプログラムおよびデータに従って動作する。制御部４２は、動作時にメモリ４４を使用し、制御部４２が生成または取得したデータもしくは情報をメモリ４４に一時的に保存する。制御部４２は、例えばＩＲ撮像部４１のイメージセンサの出力に基づいて所定の画像処理を施すことで、赤外撮像画像のデータを生成する。

通信インターフェース４３は、投影制御装置５０との間のデータもしくは情報の送受信（通信）が可能な通信回路により構成され、制御部４２により生成された赤外撮像画像を取得すると、その取得された赤外撮像画像を投影制御装置５０に送信する。

メモリ４４は、例えば、ＲＡＭとＲＯＭとを用いて構成され、ＩＲカメラ４０の動作の実行に必要なプログラムおよびデータ、さらには、動作中に生成されたデータもしくは情報を一時的に保持する。ＲＡＭは、例えば、ＩＲカメラ４０の動作時に使用されるワークメモリである。ＲＯＭは、例えば、ＩＲカメラ４０を制御するためのプログラムおよびデータを予め記憶して保持する。

可視カメラ４０Ｃは、可視撮像部４１Ｃと、制御部４２Ｃと、通信インターフェース４３Ｃと、メモリ４４Ｃとを含む構成である。図２の可視カメラ４０Ｃの構成においても、同様に通信インターフェースを便宜的に「通信Ｉ／Ｆ」と記載している。

可視撮像部４１Ｃは、スクリーン３０を透過した可視光等の環境光を受光可能なレンズ（図示略）と、その環境光に基づく可視撮像画像を撮像可能なイメージセンサ（図示略）とを含む構成である。可視撮像部４１Ｃの出力は制御部４２Ｃに送られる。

制御部４２Ｃは、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成されたプロセッサＰＲＣ３である。制御部４２Ｃは、可視カメラ４０Ｃの全体的な動作を司るコントローラとして機能し、可視カメラ４０Ｃの各部の動作を全体的に統括するための制御処理、可視カメラ４０Ｃの各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。制御部４２Ｃは、メモリ４４Ｃに記憶されたプログラムおよびデータに従って動作する。制御部４２Ｃは、動作時にメモリ４４Ｃを使用し、制御部４２Ｃが生成または取得したデータもしくは情報をメモリ４４Ｃに一時的に保存する。制御部４２Ｃは、例えば、可視撮像部４１Ｃのイメージセンサの出力に基づいて所定の画像処理を施すことで、可視撮像画像のデータを生成する。

通信インターフェース４３Ｃは、投影制御装置５０Ｃとの間のデータもしくは情報の送受信（通信）が可能な通信回路により構成され、制御部４２Ｃにより生成された可視撮像画像を取得すると、その取得された可視撮像画像を投影制御装置５０Ｃに送信する。

メモリ４４Ｃは、例えば、ＲＡＭとＲＯＭとを用いて構成され、可視カメラ４０Ｃの動作の実行に必要なプログラムおよびデータ、さらには、動作中に生成されたデータもしくは情報を一時的に保持する。ＲＡＭは、例えば、可視カメラ４０Ｃの動作時に使用されるワークメモリである。ＲＯＭは、例えば、可視カメラ４０Ｃを制御するためのプログラムおよびデータを予め記憶して保持する。

投影制御装置５０は、入出力インターフェース５１と、メモリ５２と、コンテンツ格納データベース（ＤＢ：Database）５３と、記録装置５４と、プロセッサ５５とを含む構成である。入出力インターフェース５１と、メモリ５２と、コンテンツ格納データベース５３と、記録装置５４と、プロセッサ５５とは、それぞれ内部バスＢＳ１を介して、データもしくは情報の入出力が可能に接続される。

入出力インターフェース５１は、プロジェクタ１０、ＩＲカメラ４０、入力装置ＩＰおよび表示装置ＤＰのそれぞれとの間で有線あるいは無線のデータもしくは情報の送受信が可能な入出力回路により構成される。なお、図２では図示が省略されているが、入出力インターフェース５１はＩＲ照明２０との間で有線あるいは無線のデータもしくは情報の送受信が可能に接続されてよい。

メモリ５２は、例えば、ＲＡＭとＲＯＭとを用いて構成され、投影制御装置５０の動作の実行に必要なプログラムおよびデータ、さらには、動作中に生成されたデータもしくは情報を一時的に保持する。ＲＡＭは、例えば、投影制御装置５０の動作時に使用されるワークメモリである。ＲＯＭは、例えば、投影制御装置５０を制御するためのプログラムおよびデータを予め記憶して保持する。具体的には、ＲＯＭは、プロセッサ５５に、キャリブレーション部５５１、シルエット画像生成部５５２、投影位置計算部５５３および投影画像生成部５５４のそれぞれを機能的に実現可能とさせるためのプログラムおよびデータを保持する。これらの各部を機能的に実現させるためのプログラムおよびデータは、例えば、ＤＬＬ（Dynamic Link Library）として、実行時にプロセッサ５５により読み出されて動的に実行される。これにより、プロセッサ５５は、キャリブレーション部５５１、シルエット画像生成部５５２、投影位置計算部５５３および投影画像生成部５５４のそれぞれを機能的に実現可能となる。

また、メモリ５２は、例えばＩＲカメラ４０により生成される赤外撮像画像の解像度（具体的には、縦方向の画素数（ピクセル）、横方向の画素数（ピクセル））の情報と、プロジェクタ１０により投影されるスクリーン３０の大きさ（面積）の情報とを保持している。

コンテンツ格納データベース５３（コンテンツ保持部の一例）は、例えば、ＨＤＤ（Hard Disk Drive）もしくはＳＳＤ（Solid State Drive）を用いて構成され、プロジェクタ１０により投影される投影画像に配置されるためのコンテンツ画像のデータを記憶保持している。

記録装置５４は、例えば、ＨＤＤもしくはＳＳＤを用いて構成され、投影制御装置５０が入力装置ＩＰ、ＩＲカメラ４０あるいは可視カメラ４０Ｃから送られたデータもしくは情報を記録したり、プロジェクタ１０により投影させるための投影画像のデータ（具体的には、プロセッサ５５により生成される投影画像のデータ）を記録したりする。

プロセッサ５５は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成される。プロセッサ５５は、投影制御装置５０の全体的な動作を司るコントローラとして機能し、投影制御装置５０の各部の動作を統括するための制御処理、投影制御装置５０の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。プロセッサ５５は、メモリ５２に記憶されたプログラムおよびデータに従って動作する。プロセッサ５５は、動作時にメモリ５２を使用し、プロセッサ５５が生成または取得したデータもしくは情報をメモリ５２に一時的に保存する。

プロセッサ５５は、例えば、キャリブレーション部５５１と、シルエット画像生成部５５２と、投影位置計算部５５３と、投影画像生成部５５４とを少なくとも含む構成である。上述したように、キャリブレーション部５５１、シルエット画像生成部５５２、投影位置計算部５５３および投影画像生成部５５４のそれぞれは、例えば、プロセッサ５５がメモリ５２に予め記憶されたプログラムおよびデータを読み込んで実行することで、機能的に実現可能となる。

キャリブレーション部５５１は、ＩＲカメラ４０により生成される赤外撮像画像内の位置（具体的には、座標）とプロジェクタ１０により投影される投影画像内の位置（具体的には、座標）との対応関係を定める変換処理の関係式（例えば、射影変換行列）を求める処理（つまり、キャリブレーション）を行う。具体的には、キャリブレーション部５５１は、赤外撮像画像内で投影画像の四隅がどこに位置するかを、ユーザの入力装置ＩＰを用いた指定または所定の画像処理（例えば、エッジ検出処理）によって検出し、例えば上述した射影変換行列を求める（図３参照）。なお、キャリブレーション部５５１は、可視カメラ４０Ｃにより生成される可視撮像画像内の位置（具体的には、座標）とプロジェクタ１０により投影される投影画像内の位置（具体的には、座標）との対応関係を定める変換処理の関係式（例えば、射影変換行列）を求める処理（つまり、キャリブレーション）を行ってもよい。具体的には、キャリブレーション部５５１は、可視撮像画像内で投影画像の四隅がどこに位置するかを、ユーザの入力装置ＩＰを用いた指定または所定の画像処理（例えば、エッジ検出処理）によって検出し、例えば上述した射影変換行列を求める。

図３は、ＩＲカメラ４０の赤外撮像画像ＩＲＧ内の位置を示す座標（Ｘｃ，Ｙｃ）とプロジェクタ１０により投影される投影画像ＰＪＲ内の位置を示す座標（Ｘｐ，Ｙｐ）との間の変換のためのキャリブレーション例を示す説明図である。赤外撮像画像ＩＲＧ中の端点ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４のそれぞれは、例えば、赤外撮像画像ＩＲＧおよび投影画像ＰＪＲが対比的に表示装置ＤＰに表示された状態で（図３参照）、ユーザの入力装置ＩＰを用いた指定により選択された、投影画像ＰＪＲの四隅の端点ＣＲ１，ＣＲ２，ＣＲ３，ＣＲ４にそれぞれ対応する。

なお、上述したように、キャリブレーション部５５１は、赤外撮像画像ＩＲＧを画像処理（例えば、エッジ検出処理もしくは直線検出処理）を実行することで、ユーザの入力装置ＩＰを用いた指定が無く、赤外撮像画像ＩＲＧ中の端点ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４を自動的に検出してもよい。この場合、画像処理により検出された端点ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４がそれぞれ投影画像ＰＪＲの四隅の端点ＣＲ１，ＣＲ２，ＣＲ３，ＣＲ４に対応するものとして、キャリブレーション部５５１により選択される。

キャリブレーション部５５１は、赤外撮像画像ＩＲＧ中の端点ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４の各座標と投影画像ＰＪＲの四隅の端点ＣＲ１，ＣＲ２，ＣＲ３，ＣＲ４の各座標とに基づき、赤外撮像画像ＩＲＧ中の座標（Ｘｃ，Ｙｃ）を投影画像ＰＪＲ中の座標（Ｘｐ，Ｙｐ）に変換するための射影変換行列を算出して求める。キャリブレーション部５５１は、求められた射影変換行列のデータもしくは情報をキャリブレーション結果としてメモリ５２に保存する。これにより、投影制御装置５０は、キャリブレーション結果を用いることで、赤外撮像画像ＩＲＧ中の任意の座標（Ｘｃ，Ｙｃ）を、投影画像ＰＪＲ中の対応する座標（Ｘｐ，Ｙｐ）に正確に変換して求めることができる。

なお、図１に示す投影制御システム１００において、プロジェクタ１０により投影される投影画像の解像度（言い換えると、大きさまたは面積）、ＩＲカメラ４０の位置が変更されない限り、キャリブレーション部５５１におけるキャリブレーションの処理は少なくとも一度実行すればよい。言い換えると、プロジェクタ１０により投影される投影画像の解像度、またはＩＲカメラ４０の位置が変更される度に、キャリブレーション部５５１におけるキャリブレーションの処理が少なくとも一度実行される。

また、キャリブレーション部５５１におけるキャリブレーションの方法は、上述した方法に限定されない。例えば、キャリブレーション部５５１は、公知のストラクチャードライト法を用いたキャリブレーションを実行することで、画素単位で赤外撮像画像ＩＲＧ内の座標を投影画像ＰＪＲ内の対応する座標に変換することも可能である。

シルエット画像生成部５５２（対象物画像生成部の一例）は、可視カメラ４０Ｃにより撮像された可視撮像画像に基づいて、その可視撮像画像の背景物を除去することで、人物等の対象物ＨＭ１の形状を特定可能なシルエット画像（対象物画像の一例）を生成する。例えば、白色のスクリーン３０に対して人物等の対象物ＨＭ１が黒色のタイツを着用する場合、黒色のスクリーン３０に対して人物等の対象物ＨＭ１が白色のタイツを着用する場合、あるいは、ＣＧ（Computer Graphics）で使用されるグリーンバックあるいはブルーバックが使用される場合には、シルエット画像生成部５５２は、背景物をより的確に除去したシルエット画像を生成可能である。

また、シルエット画像生成部５５２（対象物画像生成部の一例）は、ＩＲカメラ４０により撮像された赤外撮像画像に基づいて、人物等の対象物ＨＭ１の形状を特定可能なシルエット画像（対象物画像の一例）を生成する。例えば、ＩＲ照明２０が使用され、かつ赤外線（ＩＲ光）を吸収可能な素材を有するスクリーン３０に赤外線（ＩＲ光）を反射可能なマーカが使用される場合、あるいは、ＩＲ照明２０が使用され、かつ赤外線（ＩＲ光）を反射可能な素材を有するスクリーン３０に赤外線（ＩＲ光）を吸収可能なマーカが使用される場合、シルエット画像生成部５５２は、背景物をより的確に除去したシルエット画像を生成可能である。

なお、シルエット画像生成部５５２は、上述した可視カメラ４０ＣあるいはＩＲカメラ４０の撮像画像とｋｉｎｅｃｔ（登録商標）等の距離センサとを用いて、スクリーン３０より手前の距離の領域を対象物ＨＭ１がいるシルエットとして認識し、その認識結果を用いてシルエット画像を生成してもよい。

投影位置計算部５５３（導出部の一例）は、指定画面（図５Ａ，図５Ｂ，図５Ｃ，図５Ｄ参照）へのユーザ操作により指定されるパラメータ（投影位置に関するパラメータの一例）の指定と対象物ＨＭ１を含むスクリーン３０の画像とに基づいて、スクリーン３０に投影される投影画像中のコンテンツ画像の投影位置を導出する。パラメータは、例えば、角度および画素数（ｎ：１以上の整数）である。但し、ノイズの影響を効果的に排除するためには、ｎは２以上の整数であることが好ましい。ここで、対象物ＨＭ１を含むスクリーン３０の画像は、シルエット画像生成部５５２により生成されたシルエット画像である。このシルエット画像は、具体的には、上述したように、ＩＲカメラ４０により撮像された赤外撮像画像あるいは可視カメラ４０Ｃにより撮像された可視撮像画像に基づいて生成され、または、ｋｉｎｅｃｔ（登録商標）等の距離センサを用いて生成される。

具体的には、投影位置計算部５５３は、シルエット画像生成部５５２により生成されたシルエット画像を用いて、ユーザ操作により指定されたパラメータを満たす検出位置を先端位置（つまり、投影位置）として導出する。

ここで、パラメータを満たす検出位置について、図４Ａ、図４Ｂ、図４Ｃ、図４Ｄおよび図４Ｅを参照して説明する。ここでは、説明を分かり易くするために、シルエット画像生成部５５２により生成されたシルエット画像ＦＲ１，ＦＲ２，ＦＲ３は、例えば、対象物ＨＭ１が黒色であって、その他の背景が白色の赤外撮像画像とする（図４Ｂ～図４Ｅ参照）。

図４Ａは、スキャンの開始位置に対応する検出方向の説明図である。図４Ｂは、０度（上）からのスキャン例を示す説明図である。図４Ｃは、９０度（右）からのスキャン例を示す説明図である。図４Ｄは、３１５度（左上）からのスキャン例を示す説明図である。図４Ｅは、スキャン中に検出される先端位置の説明図である。

投影位置計算部５５３は、投影位置を導出するために、シルエット画像生成部５５２により生成されたシルエット画像を、ユーザ操作により指定される角度の分だけ、画像処理の一例として、反時計周りに回転処理する。投影位置計算部５５３は、反時計周りの回転処理の後、回転処理されたシルエット画像における始端（例えば、左上の端点）から水平方向に順に、スキャン（走査）しながら画素値を読み出す。投影位置計算部５５３は、スキャン中に、対象物ＨＭ１の画像内の指定された画素数（ｎ）と一致する第ｎ番目の画素の検出位置を先端位置として導出する。

図４Ａでは、シルエット画像ＦＲ０に対し、ユーザ操作により指定された角度に対応して投影位置計算部５５３により回転される角度が例示的に挙げられている。ここでは、ユーザ操作により指定される角度、あるいは角度に対応する方向として、「０度」あるいは「上」、「４５度」あるいは「右上」、「９０度」あるいは「右」、「１８０度」あるいは「下」、「２７０度」あるいは「左」、「３１５度」あるいは「左上」が挙げられている。なお、メモリ５２には、ユーザ操作により指定される方向（例えば、「右上」，「下」）に対応する角度（例えば、「４５度」，「１８０度」）の情報が予め登録されている。

例えば、ユーザ操作により角度「０」あるいは方向「上」が指定されると、投影位置計算部５５３は、シルエット画像ＦＲ１を０度反時計周りに回転処理し、その後、回転処理後のシルエット画像ＦＲ１の始端（例えば、左上の端点）から水平方向に順にスキャンしながら画素値を読み出す。投影位置計算部５５３は、スキャン中に、シルエットＳＬ１（対象物ＨＭ１の一例）の画像内のユーザ操作により指定された画素数（ｎ）と一致する第ｎ番目の画素の検出位置ＴＩＰ１を、先端位置（つまり、投影位置）として導出する（図４Ｂ参照）。

例えば、ユーザ操作により角度「９０」あるいは方向「右」が指定されると、投影位置計算部５５３は、シルエット画像ＦＲ２を９０度反時計周りに回転処理し、その後、回転処理後のシルエット画像ＦＲ２の始端（例えば、左上の端点）から水平方向に順にスキャンしながら画素値を読み出す。投影位置計算部５５３は、スキャン中に、シルエットＳＬ２（対象物ＨＭ１の一例）の画像内のユーザ操作により指定された画素数（ｎ）と一致する第ｎ番目の画素の検出位置ＴＩＰ２を、先端位置（つまり、投影位置）として導出する（図４Ｃ参照）。

例えば、ユーザ操作により角度「３１５」あるいは方向「左上」が指定されると、投影位置計算部５５３は、シルエット画像ＦＲ３を３１５度反時計周りに回転処理し、その後、回転処理後のシルエット画像ＦＲ３の始端（例えば、左上の端点）から水平方向に順にスキャンしながら画素値を読み出す。投影位置計算部５５３は、スキャン中に、シルエットＳＬ３（対象物ＨＭ１の一例）の画像内のユーザ操作により指定された画素数（ｎ）と一致する第ｎ番目の画素の検出位置ＴＩＰ３を、先端位置（つまり、投影位置）として導出する（図４Ｄ参照）。

図４Ｅに示されるように、投影位置計算部５５３は、シルエット画像ＦＲ１の一部（例えば、シルエットＳＬ１の頭部付近を拡大した部分的シルエット画像ＰＦＲ１）において、図４Ｂに示す要領でスキャンしている最中に、ユーザ操作により指定された画素数（例えば、６画素）と一致する第６番目の画素の検出位置ＴＩＰ１を、先端位置（つまり、投影位置）として導出する。

ここで、ユーザ操作によりパラメータが指定されるための指定画面について、図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄを参照して説明する。図５Ａは、角度による指定画面例を示す図である。図５Ｂは、方向による指定画面例を示す図である。図５Ｃは、画像による指定画面例を示す図である。図５Ｄは、部位による指定画面例を示す図である。

図５Ａに示す指定画面ＵＩＦ１は、例えば、プロセッサ５５により表示装置ＤＰに表示され、パラメータの一例としての開始タイミングおよび終了タイミングの項目と検出方向の項目と投影位置の項目とコンテンツの項目との各指定欄を有する。

開始タイミングおよび終了タイミングの項目には、プロジェクタ１０によりコンテンツ画像が投影される投影時間の開始タイミングおよび終了タイミングが指定される。検出方向の項目には、例えば、上述した角度と画素数とが指定される。投影位置の項目には、例えば、投影位置計算部５５３により導出された投影位置からオフセットを与えて表示させるためのオフセット量を定義する指標（例えば、方向および距離）が指定される。距離の単位は、ｃｍ（センチメートル）の他に、ｍｍ（ミリメートル）あるいはピクセルでもよい。コンテンツの項目には、コンテンツ画像の名称が指定される。これにより、投影制御装置５０のプロセッサ５５は、指定された名称に対応するコンテンツ画像ＢＢ１を、その指定画面ＵＩＦ１にプレビュー表示できる。

図５Ｂに示す指定画面ＵＩＦ２は、例えば、プロセッサ５５により表示装置ＤＰに表示され、パラメータの一例としての開始タイミングおよび終了タイミングの項目と検出方向の項目と投影位置の項目とコンテンツの項目との各指定欄を有する。指定画面ＵＩＦ２と指定画面ＵＩＦ１との違いは、検出方向の項目であり、その他の項目は同一であるため、ここでは同一の内容の説明は省略して異なる内容を説明する。

検出方向の項目には、例えば、上述した角度に対応した方向と画素数とが指定される。

図５Ｃに示す指定画面ＵＩＦ３は、例えば、プロセッサ５５により表示装置ＤＰに表示され、パラメータの一例としての検出方向の項目と投影位置の項目との各指定欄を有する。検出方向の項目には、例えば、画像形式の選択可能な指定画面ＧＺ１から選択（指定）された角度あるいは角度に対応した方向と、画素数とが指定される。投影位置の項目には、例えば、上述したオフセット量の定義項目である方向および距離の各項目が指定される。これにより、投影制御装置５０のプロセッサ５５は、指定されたオフセット量に応じて、コンテンツ画像（例えば、コンテンツ画像ＢＢ１）の投影位置を判明可能なプレビュー画面ＧＺ２を、その指定画面ＵＩＦ２にプレビュー表示できる。

図５Ｄに示す指定画面ＵＩＦ４は、例えば、プロセッサ５５により表示装置ＤＰに表示され、パラメータの一例としての検出部位の項目と投影位置の項目との各指定欄を有する。検出部位の項目には、例えば、人物等のシルエットの部位（例えば、頭）と、画素数とが指定される。投影位置の項目には、例えば、投影位置計算部５５３により導出された投影位置からオフセットを与えて表示させるためのオフセット量を定義する指標（例えば、方向および距離）が指定される。これにより、ユーザは、方向あるいは角度を指定しなくても、シルエットに対してコンテンツ画像を投影させる特徴的な部位を単に指定するだけで、その指定された部位の近傍にコンテンツ画像が配置された投影画像を視認できる。なお、メモリ５２には、ユーザ操作により指定される部位（例えば、「頭」，「右手」）に対応する角度（例えば、「０度」，「２７０度」）の情報が予め登録されている。

投影画像生成部５５４は、ＩＲカメラ４０あるいは可視カメラ４０Ｃにより撮像された対象物ＨＭ１を含むスクリーン３０の画像と投影位置計算部５５３により導出された投影位置とに基づいて、プロジェクタ１０からスクリーン３０に投影させるための投影画像を生成する。

具体的には、投影画像生成部５５４は、シルエット画像生成部５５２により生成されたシルエット画像を取得する。投影画像生成部５５４は、そのシルエット画像（言い換えると、スクリーン３０に対する対象物ＨＭ１の形状）とメモリ５２に保持されるキャリブレーション結果と投影位置計算部５５３の導出結果とを用いて、シルエット画像内の対象物ＨＭ１の範囲を示す位置に対応して導出された投影位置またはその投影位置からオフセット量に応じた距離離れた位置に、コンテンツ格納データベース５３から読み出したコンテンツ画像を配置した投影画像を生成する。プロセッサ５５は、その生成された投影画像を含む投影指示を生成し、その生成された投影指示を、入出力インターフェース５１を介してプロジェクタ１０に送る。なお、投影画像に配置されるコンテンツ画像は、予めユーザの操作により選択されてもよいし、投影位置計算部５５３により導出された投影位置に応じて、複数のコンテンツ画像の中から選択されてもよい。

図６は、タイムライン指定による投影位置例とユーザ指定画面例とを対応付けて示す図である。図６の横軸は時間を示す。実施の形態１では、投影制御装置５０は、ユーザ操作によるタイムラインの指定により、プロジェクタ１０から投影される投影画像におけるコンテンツ画像の投影位置を時系列的に変更できる。

図６に示されるように、例えば、時刻ｔ０から時刻ｔ１までの間、ユーザ操作によって指定画面ＵＩＦ１１に指定されたパラメータ（例えば、投影時間、検出方向、投影位置、コンテンツの各指定欄、図４Ｂ参照）により、方向「左上」が指定されているので、投影制御装置５０は、シルエット画像ＦＲ１１のシルエットＳＬ１１の右手部分に相当する位置から指定されたオフセット量に応じた位置を投影位置として導出する。そして、投影制御装置５０は、その導出された投影位置にコンテンツ画像ＢＢ１を配置した投影画像を、時刻ｔ０～ｔ１の間、投影する。

同様に、例えば、時刻ｔ１から時刻ｔ２までの間、ユーザ操作によって指定画面ＵＩＦ１２に指定されたパラメータ（例えば、投影時間、検出方向、投影位置、コンテンツの各指定欄、図４Ｂ参照）により、方向「上」が指定されているので、投影制御装置５０は、シルエット画像ＦＲ１２のシルエットＳＬ１２の頭部分に相当する位置から指定されたオフセット量に応じた位置を投影位置として導出する。そして、投影制御装置５０は、その導出された投影位置にコンテンツ画像ＢＢ１を配置した投影画像を、時刻ｔ１～ｔ２の間、投影する。

同様に、例えば、時刻ｔ２から時刻ｔ３までの間、ユーザ操作によって指定画面ＵＩＦ１３に指定されたパラメータ（例えば、投影時間、検出方向、投影位置、コンテンツの各指定欄、図４Ｂ参照）により、方向「右上」が指定されているので、投影制御装置５０は、シルエット画像ＦＲ１３のシルエットＳＬ１３の左手部分に相当する位置から指定されたオフセット量に応じた位置を投影位置として導出する。そして、投影制御装置５０は、その導出された投影位置にコンテンツ画像ＢＢ２を配置した投影画像を、時刻ｔ２～ｔ３の間、投影する。

図７Ａおよび図７Ｂは、投影位置の計算対象領域の指定画面例を示す図である。シルエット画像生成部５５２により生成されたシルエット画像ＦＲ１には、ＩＲカメラ４０あるいは可視カメラ４０Ｃによる撮像時の状況に応じて、ノイズ信号ＮＺ１が重畳されることが起こり得る。このノイズ信号ＮＺ１は、シルエット画像ＦＲ１内のシルエットと誤認識されてしまいかねない。

そこで、投影制御装置５０のプロセッサ５５は、図７Ａに示すように、領域指定画面ＵＩＦ５を表示装置ＤＰに表示することで、ユーザ操作により、投影位置の計算（導出の一例）の対象となる領域を指定するよう促す。例えば、領域指定画面ＵＩＦ５では、描画ツールＰＣＬ１を用いたユーザ操作により、ノイズ信号ＮＺ１を除外するように、投影位置の計算の対象となる略楕円形状の領域が指定される。投影制御装置５０は、この指定された領域内で、図４Ａ～図４Ｅを参照して説明した方法によって、投影位置を計算（導出）する。

また、投影制御装置５０のプロセッサは、図７Ｂに示すように、マスク領域画像指定画面ＵＩＦ６を表示装置ＤＰに表示することで、ユーザ操作により、投影位置の計算（導出の一例）の対象となる領域を指定するよう促してもよい。例えば、マスク領域画像指定画面ＵＩＦ６では、ノイズ信号ＮＺ１を除外するように、ユーザ操作により略楕円形状のマスク領域画像ＭＳＫ１が指定される。投影制御装置５０は、この指定されたマスク領域画像ＭＳＫ１内で、図４Ａ～図４Ｅを参照して説明した方法によって、投影位置を計算（導出）する。

（投影制御システムの作用）
次に、実施の形態１に係る投影制御装置５０の動作手順について、図８を参照して説明する。図８は、実施の形態１に係る投影制御装置の動作手順例を時系列に示すフローチャートである。

図８において、投影制御装置５０のプロセッサ５５において、キャリブレーションの処理が既に実行されているかどうかが判別される（Ｓｔ１）。ステップＳ１の処理は、例えばプロセッサ５５が、キャリブレーション部５５１におけるキャリブレーション結果がメモリ５２に保持されているかどうかによって実行可能である。キャリブレーションの処理が既に実行されていると判別された場合には（Ｓｔ１、ＹＥＳ）、投影制御装置５０の処理はステップＳｔ３に進む。一方、キャリブレーションの処理が一度も実行されていないと判別された場合には（Ｓｔ１、ＮＯ）、キャリブレーション部５５１においてキャリブレーションの処理が実行される（Ｓｔ２）。

キャリブレーションの処理が既に実行されていると判別された場合（Ｓｔ１、ＮＯ）、またはステップＳｔ２の処理の後、プロセッサ５５は、投影位置に関するパラメータをユーザ操作により指定させるために、指定画面（例えば、図５Ａ、図５Ｂ、図５Ｃあるいは図５Ｄ参照）を表示装置ＤＰに表示する。ユーザ操作により、指定画面に、投影位置に関するパラメータ（上述参照）が入力されて指定される（Ｓｔ３）。ユーザ操作による投影位置に関するパラメータの指定が終了されるまで（Ｓｔ４、ＮＯ）、ステップＳｔ３の処理が継続される。

ユーザ操作による指定が終了すると（Ｓｔ４、ＹＥＳ）、プロセッサ５５は、領域指定画面ＵＩＦ５あるいはマスク領域画像指定画面ＵＩＦ６を表示装置ＤＰに表示することで、ユーザ操作により、投影位置の計算（導出の一例）の対象となる領域を指定するよう促す（Ｓｔ５）。プロセッサ５５は、ユーザ操作により指定された領域を、投影位置の計算（導出）の対象となる領域としてメモリ５２に一時的に保持する。なお、ユーザ操作により領域が指定されない場合には、ステップＳｔ５の処理は省略されてもよい。

プロセッサ５５は、時刻ｔ＝ｔｘ（つまり、図５Ａあるいは図５Ｂの指定画面において指定された投影時間）に一致した場合には（Ｓｔ６、ＹＥＳ）、メモリ５２に一時的に保持された投影位置に関するパラメータを読み出す（Ｓｔ７）。

プロセッサ５５は、ステップＳｔ７の後、または時刻ｔ＝ｔｘに一致していない場合には（Ｓｔ６、ＮＯ）、ＩＲカメラ４０あるいは可視カメラ４０Ｃにより撮像された画像を取得する（Ｓｔ８）。プロセッサ５５のシルエット画像生成部５５２は、ステップＳｔ８において取得された画像を用いて、人物等の対象物ＨＭ１の形状を特定可能なシルエット画像を生成する（Ｓｔ９）。

プロセッサ５５の投影位置計算部５５３は、ステップＳｔ９において生成されたシルエット画像とステップＳｔ３において指定された投影位置に関するパラメータとを用いて、スクリーン３０に投影される投影画像中のコンテンツ画像の投影位置を導出する（Ｓｔ１０）。

プロセッサ５５の投影画像生成部５５４は、ステップＳｔ１０において導出された投影位置の情報を用いて、シルエット画像とメモリ５２に保持されるキャリブレーション結果と投影位置計算部５５３の導出結果とを用いて、シルエット画像内の対象物ＨＭ１の範囲を示す位置に対応して導出された投影位置またはその投影位置からオフセット量に応じた距離離れた位置に、コンテンツ格納データベース５３から読み出したコンテンツ画像を配置した投影画像を生成する（Ｓｔ１１）。

プロセッサ５５は、ステップＳｔ１１において生成された投影画像を含む投影指示を生成し、その生成された投影指示を、入出力インターフェース５１を介してプロジェクタ１０に送る（Ｓｔ１２）。これにより、プロジェクタ１０は、投影制御装置５０から送られた投影画像をスクリーン３０に投影するための投影光（可視光）を、スクリーン３０に向けて投影可能となる。

ステップＳｔ１２の後、例えばユーザ操作により投影を終了するための指示が入力等された場合には（Ｓｔ１３、ＹＥＳ）、投影制御装置５０の処理は終了する。一方、投影を終了するための指示が入力されない限り（Ｓｔ１３、ＮＯ）、投影制御装置５０の処理はステップＳｔ６に戻り、ユーザ操作により投影を終了するための指示が入力等されるまで、ステップＳｔ６～Ｓｔ１３の処理が繰り返される。

（投影制御システムの効果）
以上により、実施の形態１に係る投影制御装置５０あるいは投影制御システム１００では、入出力インターフェース５１（通信部の一例）は、スクリーン３０（被投影物の一例）の周囲に位置する人物等の対象物ＨＭ１を撮像するＩＲカメラ４０（撮像装置の一例）あるいは可視カメラ４０Ｃ（撮像装置の一例）との間で通信可能に接続される。投影位置計算部５５３（導出部の一例）は、スクリーン３０へ投影するコンテンツ画像に関するパラメータの指定と対象物ＨＭ１を含むスクリーン３０の画像とに基づいて、コンテンツ画像の投影位置を導出する。投影画像生成部５５４は、導出された投影位置に配置されたコンテンツ画像を含む投影画像を生成する。プロセッサ５５（制御部の一例）は、生成された投影画像の投影指示を、入出力インターフェース５１を介してプロジェクタ１０（投影装置の一例）に送信する。

これにより、投影制御装置５０あるいは投影制御システム１００は、スクリーン３０の周囲にいる人物等の対象物ＨＭ１の動きに追従したコンテンツ画像の的確かつ簡易な投影位置の指定に基づく投影の制御を実現できる。従って、投影制御装置５０あるいは投影制御システム１００によれば、ユーザの利便性の向上を適応的に支援できる。

また、投影制御装置５０あるいは投影制御システム１００では、シルエット画像生成部５５２（対象物画像生成部の一例）は、スクリーン３０の画像に基づいて、人物等の対象物ＨＭ１の形状を特定可能な対象物画像を生成する。投影位置計算部５５３は、生成されたシルエット画像（対象物画像の一例）を用いて投影位置を導出する。これにより、投影制御装置５０あるいは投影制御システム１００は、スクリーン３０を被写体とした撮像画像中における対象物ＨＭ１の形状をシルエットとして明確に特定した画像を取得できるので、ユーザ操作により指定されたパラメータに従う適切な投影位置を計算できる。

また、投影制御装置５０あるいは投影制御システム１００では、プロセッサ５５は、投影位置に関するパラメータの指定画面（例えば、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ参照）を表示装置ＤＰに表示し、その指定画面に対するユーザ操作に応じて、投影位置に関するパラメータの指定を受け付ける。これにより、投影制御装置５０あるいは投影制御システム１００は、コンテンツ画像を投影画像中に配置するための投影位置を、簡易なユーザ操作によって指定されたパラメータを用いて導出できる。

また、投影制御装置５０あるいは投影制御システム１００では、投影位置計算部５５３は、コンテンツ画像に関するパラメータの指定に応じて、投影位置の導出方法を変更する。これにより、投影制御装置５０あるいは投影制御システム１００は、コンテンツ画像が投影される投影画像内の位置を導出する際に、パラメータの内容（例えば角度あるいは方向）に応じて、シルエット画像内のスキャン開始位置を変更等することで、迅速かつ適切に投影位置を計算することができる。

また、投影制御装置５０あるいは投影制御システム１００では、投影位置に関するパラメータは、角度あるいは方向と画素数（ｎ：２以上の整数）とを含む。投影位置計算部５５３は、スクリーン３０の画像の角度あるいは方向に対応した始端からその画像の終端まで走査（スキャン）を行い、走査（スキャン）中に対象物ＨＭ１の画像内の画素数と一致する（つまり、第ｎ番目の）画素の検出位置を基にして、投影位置を導出する。例えば、投影位置計算部５５３は、第ｎ番目の検出位置と同じ位置、その周囲の位置等を投影位置として導出してよい。これにより、投影制御装置５０あるいは投影制御システム１００は、シルエット画像に現れ得るノイズ信号の影響を排除して、ユーザ操作により指定された角度あるいは方向と画素数とを用いて、コンテンツ画像を配置するための投影位置を高精度に導出できる。

また、投影制御装置５０あるいは投影制御システム１００では、コンテンツ画像に関するパラメータは、コンテンツ画像が投影されるための投影期間をさらに含む。投影制御装置５０のプロセッサ５５は、投影期間における投影画像の投影指示を、入出力インターフェース５１を介してプロジェクタ１０に送信する。これにより、投影制御装置５０あるいは投影制御システム１００は、コンテンツ画像の投影可能な時間を細かく指定できるので、ユーザのコンテンツ画像の投影の演出を支援できる。

また、投影制御装置５０あるいは投影制御システム１００では、メモリ５２あるいは記録装置５４は、複数の異なる投影期間ごとに対応して指定されたコンテンツ画像に関するパラメータのそれぞれに基づいて導出された前記投影位置の情報（図６参照）を保持する。投影制御装置５０のプロセッサ５５は、複数の異なる投影期間ごとに対応して導出された投影位置のそれぞれを用いて生成された、それぞれの投影画像の投影指示を、入出力インターフェース５１を介してプロジェクタ１０に送信する。これにより、投影制御装置５０あるいは投影制御システム１００は、異なる投影時間ごとに同一または異なる投影位置に投影されるコンテンツ画像の切り替えを様々に指定でき、ユーザのコンテンツ画像の投影の高度な演出を支援できる。

また、投影制御装置５０あるいは投影制御システム１００では、コンテンツ画像に関するパラメータは、方向およびオフセット値をさらに含む。投影画像生成部５５４は、対象物ＨＭ１を含むスクリーン３０の画像（上述参照）から基準位置を検出し、その基準位置から、その方向にオフセット値ほど離れた位置を投影位置として導出する。基準位置は、例えば、投影位置計算部５５３がスクリーン３０の画像の角度あるいは方向に対応した始端からその画像の終端まで走査（スキャン）を行い、走査（スキャン）中に対象物ＨＭ１の画像内の画素数と一致する画素の検出位置である。これにより、ユーザは、指定されたパラメータに応じて導出されたコンテンツ画像の投影位置を細かく調整でき、ユーザの利便性を向上できる。

また、投影制御装置５０あるいは投影制御システム１００では、プロセッサ５５は、投影位置の導出対象領域の指定画面を表示装置ＤＰに表示し、その指定画面に対するユーザ操作に応じて、導出対象領域を設定する。投影位置計算部５５３は、設定された導出対象領域内から投影位置を導出する。これにより、投影制御装置５０あるいは投影制御システム１００によれば、シルエット画像に現れ得るノイズ信号の影響を排除して、コンテンツ画像の投影位置をより的確に導出できる。

また、投影制御装置５０あるいは投影制御システム１００では、プロセッサ５５は、投影位置の導出対象領域を示す導出対象領域画像を取得する。投影位置計算部５５３は、取得された導出対象領域画像により示される導出対象領域内から投影位置を導出する。これにより、投影制御装置５０あるいは投影制御システム１００によれば、シルエット画像に現れ得るノイズ信号の影響を排除して、コンテンツ画像の投影位置をより的確に導出できる。

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、被投影物の周囲にいる対象物の動きに追従したコンテンツ画像の的確かつ簡易な投影位置の指定に基づく投影の制御を実現し、ユーザの利便性の向上を適応的に支援する投影制御装置、投影制御方法および投影制御システムとして有用である。

１０ プロジェクタ
１１、４３、４３Ｃ 通信インターフェース
１２、４２、４２Ｃ 制御部
１３ 投影部
１４、４４、４４Ｃ、５２ メモリ
２０ ＩＲ照明
３０ スクリーン
４０ ＩＲカメラ
４０Ｃ 可視カメラ
４１ ＩＲ撮像部
４１Ｃ 可視撮像部
５０ 投影制御装置
５１ 入出力インターフェース
５３ コンテンツ格納データベース
５４ 記録装置
５５、ＰＲＣ１、ＰＲＣ２、ＰＲＣ３ プロセッサ
１００ 投影制御システム
５５１ キャリブレーション部
５５２ シルエット画像生成部
５５３ 投影位置計算部
５５４ 投影画像生成部
ＤＰ 表示装置
ＩＰ 入力装置

Claims (11)

1. 被投影物の周囲に位置する対象物を撮像する撮像装置との間で通信可能に接続される通信部と、
   前記被投影物へ投影するコンテンツ画像に関するパラメータの指定と前記対象物を含む前記被投影物の画像とに基づいて、前記コンテンツ画像の投影位置を導出する導出部と、
   導出された前記投影位置に前記コンテンツ画像を配置した投影画像を生成する投影画像生成部と、
   生成された前記投影画像の投影指示を、前記通信部を介して投影装置に送信する制御部と、を備え、
   前記投影位置に関するパラメータは、角度あるいは方向と画素数（ｎ：２以上の整数）とを含み、
   前記導出部は、前記被投影物の画像の前記角度あるいは方向に対応した始端から前記画像の終端まで走査を行い、前記走査中に前記対象物の画像内の第ｎ番目の画素の検出位置を基にして、前記投影位置を導出する、
   投影制御装置。
2. 前記被投影物の画像に基づいて、前記対象物の形状を特定可能な対象物画像を生成する対象物画像生成部、をさらに備え、
   前記導出部は、生成された前記対象物画像を用いて前記投影位置を導出する、
   請求項１に記載の投影制御装置。
3. 前記制御部は、前記投影位置に関するパラメータの指定画面を表示装置に表示し、前記指定画面に対するユーザ操作に応じて、前記投影位置に関するパラメータの指定を受け付ける、
   請求項１に記載の投影制御装置。
4. 前記導出部は、前記コンテンツ画像に関するパラメータの指定に応じて、前記投影位置
   の導出方法を変更する、
   請求項１に記載の投影制御装置。
5. 前記コンテンツ画像に関するパラメータは、前記コンテンツ画像が投影されるための投影期間をさらに含み、
   前記制御部は、前記投影期間における前記投影画像の投影指示を、前記通信部を介して前記投影装置に送信する、
   請求項１に記載の投影制御装置。
6. 複数の異なる前記投影期間ごとに対応して指定された前記コンテンツ画像に関するパラメータのそれぞれに基づいて導出された前記投影位置の情報を保持するメモリ、をさらに備え、
   前記制御部は、複数の異なる前記投影期間ごとに対応して導出された前記投影位置のそれぞれを用いて生成された、それぞれの前記投影画像の投影指示を、前記通信部を介して前記投影装置に送信する、
   請求項５に記載の投影制御装置。
7. 前記コンテンツ画像に関するパラメータは、方向およびオフセット値をさらに含み、
   前記導出部は、前記対象物を含む前記被投影物の画像から基準位置を検出し、前記基準位置から前記方向に前記オフセット値ほど離れた位置を前記投影位置として導出する、
   請求項１に記載の投影制御装置。
8. 前記制御部は、前記投影位置の導出対象領域の指定画面を表示装置に表示し、前記指定画面に対するユーザ操作に応じて、前記導出対象領域を設定し、
   前記導出部は、設定された前記導出対象領域内から前記投影位置を導出する、
   請求項１に記載の投影制御装置。
9. 前記制御部は、前記投影位置の導出対象領域を示す導出対象領域画像を取得し、
   前記導出部は、取得された前記導出対象領域画像により示される前記導出対象領域内から前記投影位置を導出する、
   請求項１に記載の投影制御装置。
10. 投影制御装置における投影制御方法であって、
    被投影物の周囲に位置する対象物を撮像する撮像装置との間で通信可能に接続するステップと、
    前記被投影物へ投影するコンテンツ画像に関するパラメータの指定と前記対象物を含む前記被投影物の画像とに基づいて、前記コンテンツ画像の投影位置を導出するステップと、
    導出された前記投影位置に前記コンテンツ画像を配置した投影画像を生成するステップと、
    生成された前記投影画像の投影指示を投影装置に送信するステップと、を有し、
    前記投影位置に関するパラメータは、角度あるいは方向と画素数（ｎ：２以上の整数）とを含み、
    前記導出において、前記被投影物の画像の前記角度あるいは方向に対応した始端から前記画像の終端まで走査を行い、前記走査中に前記対象物の画像内の第ｎ番目の画素の検出位置を基にして、前記投影位置を導出する、
    投影制御方法。
11. 被投影物の周囲に位置する対象物を撮像する撮像装置と、投影制御装置とが通信可能に接続された投影制御システムであって、
    前記投影制御装置は、
    前記被投影物へ投影するコンテンツ画像に関するパラメータの指定と前記対象物を含む前記被投影物の画像とに基づいて、前記コンテンツ画像の投影位置を導出する導出部と、
    導出された前記投影位置に前記コンテンツ画像を配置した投影画像を生成する投影画像生成部と、
    生成された前記投影画像の投影指示を投影装置に送信する制御部と、を備え、
    前記投影位置に関するパラメータは、角度あるいは方向と画素数（ｎ：２以上の整数）とを含み、
    前記導出部は、前記被投影物の画像の前記角度あるいは方向に対応した始端から前記画像の終端まで走査を行い、前記走査中に前記対象物の画像内の第ｎ番目の画素の検出位置を基にして、前記投影位置を導出する、
    投影制御システム。

Images