JP7054774B2 - 投影制御システム及び投影制御方法 - Google Patents

Description

本開示は、被投影物への画像の投影を制御する投影制御システム及び投影制御方法に関する。

特許文献１では、人物の位置を検出し、その検出された位置に応じて投影方向を決定することで、人物の位置に拘わらず、人物が見易い投影領域に投影画像を表示させる投影装置が開示されている。この特許文献１では、人物の位置は、例えば複数のカメラの撮像結果に基づいて検出される。

特開２０１６－４２１５号公報

しかしながら、特許文献１の構成では、人物の位置を検出するためのカメラは可視光カメラであり、投影装置により投影される画像コンテンツ（例えば、人物の顔のコンテンツ）によっては、カメラは、その投影された画像コンテンツを人物と誤認識してしまう可能性があった。

このため、投影装置は、検出対象である人物ではなく、カメラにより人物と誤認識されてしまった画像コンテンツの周囲に、同一又は他の画像コンテンツを投影してしまい、投影装置が実際の人物に対して的確な画像コンテンツを投影することができないという課題があった。例えば、検出対象である実際の人物の動きに追従して画像コンテンツを的確に投影することができない。

本開示は、上述した従来の事情に鑑みて案出され、撮像画角内の検出対象物の位置を高精度に検出し、検出対象物の動きに追従したコンテンツの的確な投影を適応的に支援する投影制御システム及び投影制御方法を提供することを目的とする。

本開示は、赤外光を照射する光源装置と、照射された前記赤外光が被投影物を透過した光を受光し、前記被投影物を画角として含む赤外撮像画像を撮像する撮像装置と、撮像された前記赤外撮像画像に基づいて、前記被投影物の前記撮像装置側にいる対象物の形状を認識し、その認識された前記対象物の形状に応じた投影画像を生成し、生成された前記投影画像を前記被投影物に投影する投影装置に出力する投影制御装置と、を備え、前記赤外光は、前記被投影物を挟んで前記撮像装置の反対側から照射される、投影制御システムを提供する。

また、本開示は、投影制御システムにおける投影制御方法であって、光源装置により赤外光を照射し、照射された前記赤外光が被投影物を透過した光を受光し、前記被投影物を画角として含む赤外撮像画像を撮像装置により撮像し、撮像された前記赤外撮像画像に基づいて、前記被投影物の前記撮像装置側にいる対象物の形状を認識し、前記認識された前記対象物の形状に応じた投影画像を生成し、生成された前記投影画像を前記被投影物に投影する投影装置に出力し、前記赤外光は、前記被投影物を挟んで前記撮像装置の反対側から照射される、投影制御方法を提供する。

本開示によれば、撮像画角内の検出対象物の位置を高精度に検出でき、検出対象物の動きに追従したコンテンツの的確な投影を適応的に支援できる。

実施の形態１に係る投影制御システムの設置例を示す図 実施の形態１に係る投影制御システムのシステム構成例を詳細に示すブロック図 赤外線カメラの赤外撮像画像の位置を示す座標（Ｘｃ，Ｙｃ）とプロジェクタにより投影される投影画像の位置を示す座標（Ｘｐ，Ｙｐ）との間の変換のためのキャリブレーションの一例を示す説明図 赤外線カメラにより撮像される赤外撮像画像の一例を示す説明図 表示装置に表示されるオフセット調整画面に対するユーザ操作の一例を示す図 図５に示すユーザ操作により画像コンテンツの投影位置が左側にシフトした例を示す図 実施の形態１に係る投影制御処理の動作手順の一例を説明するフローチャート 実施の形態１の第１の変形例に係る投影制御システムの設置例を示す図 実施の形態１の第１の変形例に係る赤外線カメラにより撮像される赤外撮像画像の一例を示す説明図 実施の形態２に係る投影制御システムの設置例を示す図 実施の形態２に係る投影画像の一例を示す図 実施の形態３に係る投影制御システムの設置例を示す図 実施の形態３に係る投影制御システムのシステム構成例を詳細に示すブロック図 赤外線カメラの赤外撮像画像の位置を示す座標（Ｘｃｉ，Ｙｃｉ）とプロジェクタにより投影される投影画像の位置を示す座標（Ｘｐ，Ｙｐ）と可視光カメラの可視光撮像画像の位置を示す座標（Ｘｃｖ，Ｙｃｖ）との間の変換のためのキャリブレーションの一例を示す説明図 実施の形態３に係る投影画像の一例を示す図 実施の形態３に係る投影制御処理の動作手順の一例を説明するフローチャート 実施の形態１の第２の変形例に係る投影制御システムの設置例を示す図 実施の形態１の第２の変形例に係る投影制御システムのシステム構成例を詳細に示すブロック図 実施の形態１の第３の変形例に係る投影制御システムの設置例を示す図

以下、添付図面を適宜参照しながら、本開示に係る投影制御システム及び投影制御方法を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

以下、本開示に係る投影制御システムは、例えば店舗に敷設されたスクリーン（被投影物の一例）にいる人物（対象物の一例）の形状を、赤外線カメラ（撮像装置の一例）による赤外撮像画像に基づいて認識し、その認識された人物の形状に合わせて、画像コンテンツを重畳した投影画像をプロジェクタからスクリーンに向けて投影する。投影制御システムは、店舗内（言い換えると、屋内）に設置されてもよいし、店舗外（言い換えると、屋外）に設置されてもよい。

（実施の形態１）
図１は、実施の形態１に係る投影制御システム１００の設置例を示す図である。投影制御システム１００は、プロジェクタ１０（図２参照）と、赤外線照明２０と、スクリーン３０と、赤外線カメラ４０（図２参照）と、投影制御装置５０（図２参照）とを少なくとも含む構成である。投影制御装置５０には、入力装置ＩＰ及び表示装置ＤＰのそれぞれがデータもしくは情報の入出力が可能に接続される。

投影装置の一例としてのプロジェクタ１０は、例えば円筒形状の筐体を有し、投影制御装置５０との間でデータもしくは情報の送受信が可能に接続される。プロジェクタ１０は、スクリーン３０に対向するように配置される。プロジェクタ１０は、投影制御装置５０から送出された投影指示を含む投影画像のデータを受信して取得すると、その投影指示に基づき、その投影指示により指定された投影画像をスクリーン３０に投影するための投影光（例えば可視光）を生成してスクリーン３０に向けて投影する。これにより、プロジェクタ１０は、投影制御装置５０により指定された投影画像（後述参照）をスクリーン３０に投影可能となる。プロジェクタ１０の詳細については、図２を参照して説明する。

光源装置の一例としての赤外線照明２０は、複数の照明素子（図示略、例えば、赤外光を発光するＬＥＤ（Light Emission Diode）素子）とそれぞれの照明素子における発光の有無を制御するための制御基板（図示略）とが内蔵された筐体を有し、プロジェクタ１０の筐体とは別体である。赤外線照明２０は、投影制御装置５０との間でデータもしくは情報の送受信が可能に接続されてもよいし、投影制御装置５０との間でデータもしくは情報の送受信が通信可能に接続されなくてもよい。赤外線照明２０は、プロジェクタ１０と同様に、スクリーン３０に対向するように配置される。赤外線照明２０は、例えば投影制御システム１００の管理者の手動操作、又は投影制御装置５０からの制御指示に基づき、電源オン状態となり、上述した投影光とは波長帯域の異なる赤外光をスクリーン３０に向けて照射する。

なお、赤外線照明２０は、例えばプロジェクタ１０の円筒形状の筐体の半径方向の周囲に沿って一体的に取り付けられた円筒形状の筐体を有してもよい。この場合には、この円筒形状の筐体内に、複数の照明素子（例えば赤外光を発光するＬＥＤ素子）と制御基板（上述参照）とが内蔵される。つまり、複数の照明素子（例えば赤外光を発光するＬＥＤ素子）は、プロジェクタ１０の円筒形状の筐体の半径方向の周囲に沿って円環状に並べて配置される。

実施の形態１に係る投影制御システム１００では、赤外線照明２０から照射される赤外光は、プロジェクタ１０から投影される投影光（可視光）とは波長帯域が異なり、赤外線カメラ４０は可視光でなく赤外光を受光して撮像するものである。これは、投影制御装置５０が、赤外線カメラ４０が撮像した赤外撮像画像に基づいて、赤外線カメラ４０の画角内に含まれるように配置されたスクリーン３０の周囲（例えば手前）に存在する人物ＨＭの位置を誤認識すること無く高精度に検出するためである。

被投影物の一例としてのスクリーン３０は、赤外線照明２０から照射された赤外光を透過可能な材料を用いて形成され、固定的に設置される。スクリーン３０の表側や裏側は、図１に従うとする。スクリーン３０を透過した赤外光は、赤外線カメラ４０により受光される。スクリーン３０は、例えばいずれも赤外光を透過可能な透明モードとスクリーンモードとが交互に切り換え可能な透明スクリーン（例えば、下記参考非特許文献１参照）でもよいし、赤外光を透過可能なフィルムがガラスの背面に貼り付けられた背面投影スクリーン（例えば、下記参考非特許文献２参照）でもよい。

参考非特許文献１

パナソニック株式会社、透明スクリーン、［online］、［平成２９年１２月２７日検索］、インターネット＜URL：https://panasonic.biz/cns/invc/screen/technology.html＞

参考非特許文献２

シアターハウス、リア透過タイプ フィルム・スクリーンタイプ、［online］、［平成２９年１２月２７日検索］、インターネット＜http://theaterhouse.co.jp/p_rear/item_top.html＞

撮像装置の一例としての赤外線カメラ４０は、投影制御装置５０との間でデータもしくは情報の送受信が可能に接続される。赤外線カメラ４０は、スクリーン３０の全体（全域）をすっぽり画角内に含むように対向して配置される。赤外線カメラ４０は、赤外線照明２０から照射されてスクリーン３０を透過した赤外光を含む光を受光し、その受光された光に基づいて撮像することで、赤外撮像画像を生成する。赤外線カメラ４０は、生成された赤外撮像画像のデータを投影制御装置５０に送出する。赤外線カメラ４０の詳細については、図２を参照して説明する。

なお、図１に示すように、プロジェクタ１０と赤外線カメラ４０、又は赤外線照明２０と赤外線カメラ４０とはスクリーン３０を挟んで反対側に対向して配置されていれば良く、互いに同軸上に存在するように配置されなくてもよい。例えば、赤外線照明２０と赤外線カメラ４０とがスクリーン３０を挟んで反対側に対向して配置されることで、赤外線カメラ４０は、スクリーン３０を透過した赤外透過光の受光に基づいて、スクリーン３０の表面側にいる人物ＨＭ１の形状を特定可能な赤外撮像画像を撮像可能となる。

また、対象物の一例としての人物ＨＭ１は、スクリーン３０の赤外線カメラ４０側に設けられた対象物領域ＡＲＦ１内に位置するのであれば、図１に示す位置そのものに限定されない。つまり、人物ＨＭ１は、対象物領域ＡＲＦ１内のいずれの場所に位置してよい。対象物領域ＡＲＦ１は、スクリーン３０と同様に、赤外線照明２０と赤外線カメラ４０との間に位置する人物ＨＭ１が存在するエリアである。また、対象物領域は、スクリーン３０の前方（図１、図１０、図１２、図１７参照）又は後方（図８参照）のいずれかに位置すればよく、両側に位置してもよい。また、対象物領域ＡＲＦ１は、人物ＨＭ１から見て、例えば床に枠線等が描画されていること等によって具体的に可視化されている方が好ましい。これにより、人物ＨＭ１が対象物領域ＡＲＦ１外へ移動することを抑制可能となる。但し、対象物領域ＡＲＦ１の可視化は必須でなくてもよい。また、対象物領域ＡＲＦ１は、例えばプロジェクタ１０、別のプロジェクタ（図示略）、看板、又はシステム管理者等によって、「スクリーンの前に立ってください」という示唆によって、人物ＨＭ１に指示されてもよい。

投影制御装置５０は、例えばＰＣ（Personal Computer）もしくはタブレット端末等の有線もしくは無線の通信が可能な情報処理装置であり、少なくともプロジェクタ１０、赤外線カメラ４０、入力装置ＩＰ、表示装置ＤＰとの間でデータもしくは情報の送受信が可能に接続される。投影制御装置５０は、赤外線カメラ４０により撮像された赤外撮像画像（言い換えると、スクリーン３０を透過した赤外光の撮像に基づいて生成された撮像画像）に基づいて、スクリーン３０の周囲（例えば手前）に人物ＨＭ１（対象者の一例）の有無やその人物ＨＭ１のスクリーン３０に対する位置を示す形状を認識する。投影制御装置５０は、その認識された人物ＨＭ１の形状に応じた投影画像を生成し、その生成された投影画像をスクリーン３０に投影するプロジェクタ１０に出力する。投影制御装置５０の詳細については、図２を参照して説明する。

入力装置ＩＰは、例えばキーボードやマウス等の、投影制御システム１００のユーザ（例えば管理者）の操作を受け付け可能なデバイスであり、ユーザの操作に応じた信号を投影制御装置５０に送出するユーザインターフェースである。

表示装置ＤＰは、例えばＬＣＤ（Liquid Crystal Display）もしくは有機ＥＬ（Electroluminescence）を用いて構成され、投影制御装置５０から送出されたデータもしくは情報の表示指示を取得し、その取得された表示指示に含まれるデータもしくは情報の表示を行う。なお、表示装置ＤＰは、ユーザの操作を受け付けて検出可能なタッチパネルとして構成されてもよい。なお、実施の形態１に係る投影制御システム１００において、入力装置ＩＰや表示装置ＤＰは省略されてもよい。

図２は、実施の形態１に係る投影制御システム１００のシステム構成例を詳細に示すブロック図である。

プロジェクタ１０は、通信インターフェース１１と、制御部１２と、投影部１３と、メモリ１４とを含む構成である。図２のプロジェクタ１０の構成において、通信インターフェースを便宜的に「通信Ｉ／Ｆ」と記載している。

通信インターフェース１１は、投影制御装置５０との間のデータもしくは情報の送受信（通信）に関する通信インターフェースとしての役割を有し、投影制御装置５０から送出される投影画像のデータを含む投影指示を受信して取得すると、その取得された投影指示を制御部１２に渡す。

制御部１２は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）もしくはＦＰＧＡ（Field Programmable Gate Array）を用いて構成されたプロセッサＰＲＣ１である。制御部１２は、プロジェクタ１０の動作を司るコントローラとして機能し、プロジェクタ１０の各部の動作を全体的に統括するための制御処理、プロジェクタ１０の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。制御部１２は、メモリ１４に記憶されたプログラム及びデータに従って動作する。制御部１２は、動作時にメモリ１４を使用し、制御部１２が生成又は取得したデータ又は情報をメモリ１４に一時的に保存してもよい。

投影部１３は、制御部１２により投影の制御を受け、所定の投影光を出射してスクリーン３０に投影する。具体的には、投影部１３は、制御部１２から渡された投影画像のデータに基づいて、その投影画像をスクリーン３０に投影するための投影光を出射する。投影部は例えば、光源、レンズなどによって構成される。

メモリ１４は、例えばＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）とを用いて構成され、プロジェクタ１０の動作の実行に必要なプログラムやデータ、更には、動作中に生成されたデータ又は情報を一時的に保持する。ＲＡＭは、例えばプロジェクタ１０の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロジェクタ１０を制御するためのプログラム及びデータを予め記憶して保持する。

赤外線カメラ４０は、赤外撮像部４１と、制御部４２と、通信インターフェース４３と、メモリ４４とを含む構成である。図２の赤外線カメラ４０の構成においても、同様に通信インターフェースを便宜的に「通信Ｉ／Ｆ」と記載している。

赤外撮像部４１は、赤外線照明２０から照射された赤外光がスクリーン３０を透過した光（赤外透過光）を受光可能な赤外光レンズ（図示略）と、その光（赤外透過光）に基づく赤外撮像画像を撮像可能なイメージセンサ（図示略）とを含む構成である。赤外撮像部４１の出力は制御部４２に送出される。

制御部４２は、例えばＣＰＵ、ＭＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成されたプロセッサＰＲＣ２である。制御部４２は、赤外線カメラ４０の動作を司るコントローラとして機能し、赤外線カメラ４０の各部の動作を全体的に統括するための制御処理、赤外線カメラ４０の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。制御部４２は、メモリ４４に記憶されたプログラム及びデータに従って動作する。制御部４２は、動作時にメモリ４４を使用し、制御部４２が生成又は取得したデータ又は情報をメモリ４４に一時的に保存してもよい。制御部４２は、例えば赤外撮像部４１のイメージセンサの出力に基づいて所定の画像処理を施すことで、赤外撮像画像のデータを生成する。

通信インターフェース４３は、投影制御装置５０との間のデータもしくは情報の送受信（通信）に関する通信インターフェースとしての役割を有し、制御部４２により生成された赤外撮像画像のデータを取得すると、その取得された赤外撮像画像のデータを投影制御装置５０に送信する。

メモリ４４は、例えばＲＡＭとＲＯＭとを用いて構成され、赤外線カメラ４０の動作の実行に必要なプログラムやデータ、更には、動作中に生成されたデータ又は情報を一時的に保持する。ＲＡＭは、例えば赤外線カメラ４０の動作時に使用されるワークメモリである。ＲＯＭは、例えば赤外線カメラ４０を制御するためのプログラム及びデータを予め記憶して保持する。

投影制御装置５０は、入出力インターフェース５１と、メモリ５２と、コンテンツ格納データベース（ＤＢ：Database）５３と、記録装置５４と、プロセッサ５５とを含む構成である。入出力インターフェース５１と、メモリ５２と、コンテンツ格納データベース５３と、記録装置５４と、プロセッサ５５とは、互いに内部バスＢＳ１を介して、データもしくは情報の入出力が可能に接続される。

入出力インターフェース５１は、プロジェクタ１０、赤外線カメラ４０、入力装置ＩＰ及び表示装置ＤＰのそれぞれとの間で有線もしくは無線のデータもしくは情報の送受信が可能に接続される。なお、図２では図示が省略されているが、入出力インターフェース５１は赤外線照明２０との間で有線もしくは無線のデータもしくは情報の送受信が可能に接続されてもよい。

メモリ５２は、例えばＲＡＭとＲＯＭとを用いて構成され、投影制御装置５０の動作の実行に必要なプログラムやデータ、更には、動作中に生成されたデータ又は情報を一時的に保持する。ＲＡＭは、例えば投影制御装置５０の動作時に使用されるワークメモリである。ＲＯＭは、例えば投影制御装置５０を制御するためのプログラム及びデータを予め記憶して保持する。メモリ５２は、例えば赤外線カメラ４０により生成される赤外撮像画像の解像度（具体的には、縦方向のピクセル、横方向のピクセル）の情報と、プロジェクタ１０により投影されるスクリーン３０の大きさ（面積）の情報とを保持している。

コンテンツ保持部の一例としてのコンテンツ格納データベース５３は、例えばＨＤＤ（Hard Disk Drive）もしくはＳＳＤ（Solid State Drive）を用いて構成され、プロジェクタ１０により投影される投影画像に重畳されるための画像コンテンツのデータを記憶保持している。

記録装置５４は、例えばＨＤＤもしくはＳＳＤを用いて構成され、投影制御装置５０が入力装置ＩＰや赤外線カメラ４０から送られて取得したデータもしくは情報を記録したり、プロジェクタ１０により投影させるための投影画像のデータ（具体的には、プロセッサ５５により生成される投影画像のデータ）を記録したりする。

プロセッサ５５は、例えばＣＰＵ、ＭＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成される。プロセッサ５５は、投影制御装置５０の動作を司るコントローラとして機能し、投影制御装置５０の各部の動作を全体的に統括するための制御処理、投影制御装置５０の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。プロセッサ５５は、メモリ５２に記憶されたプログラム及びデータに従って動作する。プロセッサ５５は、動作時にメモリ５２を使用し、プロセッサ５５が生成又は取得したデータ又は情報をメモリ５２に一時的に保存してもよい。

プロセッサ５５は、例えばキャリブレーション部５５１と、物体検出部５５２と、投影画像生成部５５３とを少なくとも含む構成である。キャリブレーション部５５１、物体検出部５５２及び投影画像生成部５５３のそれぞれは、例えばプロセッサ５５がメモリ５２に予め記憶されたプログラム及びデータを読み込んで実行することで、機能的に実現可能となる。

キャリブレーション部５５１は、赤外線カメラ４０により生成される赤外撮像画像内の位置（具体的には、座標）とプロジェクタ１０により投影される投影画像内の位置（具体的には、座標）との変換処理の関係式（例えば、射影変換行列）を求める処理（つまり、キャリブレーション）を行う。具体的には、キャリブレーション部５５１は、赤外撮像画像内で投影画像の四隅がどこに位置するかを、ユーザの入力装置ＩＰを用いた指定又は所定の画像処理（例えば、エッジ検出処理）によって検出し、例えば上述した射影変換行列を求める（図３参照）。

図３は、赤外線カメラ４０の赤外撮像画像ＩＲＧの位置を示す座標（Ｘｃ，Ｙｃ）とプロジェクタ１０により投影される投影画像ＰＪＲの位置を示す座標（Ｘｐ，Ｙｐ）との間の変換のためのキャリブレーションの一例を示す説明図である。赤外撮像画像ＩＲＧ中の端点ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４のそれぞれは、例えば赤外撮像画像ＩＲＧ及び投影画像ＰＪＲが対比的に表示装置ＤＰに表示された状態で（図３参照）、ユーザの入力装置ＩＰを用いた指定により選択された、投影画像ＰＪＲの四隅の端点ＣＲ１，ＣＲ２，ＣＲ３，ＣＲ４にそれぞれ対応する。

なお上述したように、キャリブレーション部５５１は、赤外撮像画像ＩＲＧを画像処理（例えば、エッジ検出処理もしくは直線検出処理）を実行することで、ユーザの入力装置ＩＰを用いた指定無く、赤外撮像画像ＩＲＧ中の端点ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４を自動的に検出してもよい。この場合、画像処理により検出された端点ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４がそれぞれ投影画像ＰＪＲの四隅の端点ＣＲ１，ＣＲ２，ＣＲ３，ＣＲ４に対応するものとして、キャリブレーション部５５１により選択される。

キャリブレーション部５５１は、赤外撮像画像ＩＲＧ中の端点ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４の各座標と投影画像ＰＪＲの四隅の端点ＣＲ１，ＣＲ２，ＣＲ３，ＣＲ４の各座標とに基づき、赤外撮像画像ＩＲＧ中の座標（Ｘｃ，Ｙｃ）を投影画像ＰＪＲ中の座標（Ｘｐ，Ｙｐ）に変換するための射影変換行列を算出して求める。キャリブレーション部５５１は、求められた射影変換行列のデータもしくは情報をキャリブレーション結果としてメモリ５２に保存する。これにより、投影制御装置５０は、キャリブレーション結果を用いることで、赤外撮像画像ＩＲＧ中の任意の座標（Ｘｃ，Ｙｃ）を、投影画像ＰＪＲ中の対応する座標（Ｘｐ，Ｙｐ）に正確に変換できる。

なお、図１に示す投影制御システム１００において、プロジェクタ１０により投影される投影画像の解像度（言い換えると、大きさ又は面積）や、赤外線カメラ４０の位置が変更されない限りは、キャリブレーション部５５１におけるキャリブレーションの処理は少なくとも一度実行すればよい。言い換えると、プロジェクタ１０により投影される投影画像の解像度、又は赤外線カメラ４０の位置が変更される度に、キャリブレーション部５５１におけるキャリブレーションの処理が少なくとも一度実行される。

また、キャリブレーション部５５１におけるキャリブレーションの方法は、上述した方法に限定されない。例えば、キャリブレーション部５５１は、公知のストラクチャードライト法を用いたキャリブレーションを実行することで、画素単位で赤外撮像画像ＩＲＧ内の座標を投影画像ＰＪＲ内の対応する座標に変換することも可能である。

物体検出部５５２は、赤外線カメラ４０により生成された赤外撮像画像のデータを、入出力インターフェース５１を介して取得する。物体検出部５５２は、その取得された赤外撮像画像のデータに基づいて、スクリーン３０の周囲（例えば手前）にいる人物ＨＭ１の形状を認識（検出）する（図４参照）。物体検出部５５２は、その認識（検出）された人物ＨＭ１の形状（言い換えると、人物ＨＭ１のシルエット）の認識結果を投影画像生成部５５３に渡す。

図４は、赤外線カメラ４０により撮像される赤外撮像画像ＩＲＧ０，ＩＲＧ１の一例を示す説明図である。実施の形態１では、赤外線カメラ４０はスクリーン３０の表側に配置され、赤外線照明２０はスクリーン３０の裏側に配置される。つまり、赤外線照明２０と赤外線カメラ４０とがスクリーン３０を挟んで反対側に対向して配置される。また、赤外線照明２０から照射された赤外光はスクリーン３０を透過する。

このため、図４の紙面左側に示すように、スクリーン３０の表側に人物ＨＭ１等の対象物が存在しない（言い換えると、赤外光を反射する物体が存在しない）場合には、赤外線照明２０から照射された赤外光がスクリーン３０において反射無く透過して赤外線カメラ４０において受光される。従って、赤外線カメラ４０により撮像される赤外撮像画像ＩＲＧ０は、真っ白の領域ＷＨＲ１のみから構成される画像となる。

一方、図４の紙面右側に示すように、スクリーン３０の表側に人物ＨＭ１等の対象物が存在する（言い換えると、赤外光を反射する物体が存在する）場合には、赤外線照明２０から照射された赤外光が人物ＨＭ１のいる位置では人物ＨＭ１で反射し、人物ＨＭ１のいない位置ではスクリーン３０を透過して赤外線カメラ４０において受光される。従って、赤外線カメラ４０により撮像される赤外撮像画像ＩＲＧ１は、人物ＨＭ１のいる位置からは赤外光が赤外線カメラ４０に受光されないために、人物ＨＭ１のシルエットが形成された領域ＨＭ１ＳＬと人物ＨＭ１のいない真っ白の領域ＷＨＲ１との両方が存在する画像となる。なお、図４では、図４を分かり易くするために、領域ＨＭ１ＳＬの人物ＨＭ１の輪郭内は白く示されているが、実際の赤外撮像画像のデータにおける領域ＨＭ１ＳＬ内は黒くなっている。

従って、物体検出部５５２は、赤外線カメラ４０により撮像された赤外撮像画像のデータに基づいて、スクリーン３０のどこに人物ＨＭ１（対象物の一例）が存在しているかを具体的かつ高精度に認識して特定することができる。

投影画像生成部５５３は、物体検出部５５２により認識された人物ＨＭ１の形状の認識結果を取得する。投影画像生成部５５３は、その取得された認識結果とメモリ５２に保持されるキャリブレーション結果とを用いて、赤外撮像画像内の人物ＨＭ１の範囲を示す位置（座標）のそれぞれに対応する投影画像内の位置（座標）又はその位置（座標）から所定の距離離れた位置（座標）に、コンテンツ格納データベース５３から読み出した画像コンテンツを重畳した投影画像を生成する。投影画像生成部５５３は、その生成された投影画像のデータを含む投影指示を生成し、その生成された投影指示を、入出力インターフェース５１を介してプロジェクタ１０に送出する。

図５は、表示装置ＤＰに表示されるオフセット調整画面ＷＤ１に対するユーザ操作の一例を示す図である。図６は、図５に示すユーザ操作により画像コンテンツＲＢ１の投影位置が左側にシフトした例を示す図である。図５に示すオフセット調整画面ＷＤ１は、例えばユーザの入力装置ＩＰを用いた操作により、投影画像生成部５５３により生成されて表示装置ＤＰに表示される。投影画像生成部５５３は、投影画像の背景部分となる背景投影画像ＰＪＧＭ１に対し、例えば人物ＨＭ１の左手上部に青色のボールの画像コンテンツＢＢ１、人物ＨＭ１の右手上部に赤色のボールの画像コンテンツＲＢ１をそれぞれ重畳する設定を保持している。図６では、図６を分かり易くするために、背景投影画像ＰＪＧＭ１のうち人物ＨＭ１の周囲の矩形部分内は背景投影画像ＰＪＧＭ１が無いように白く示されている。但し、投影画像生成部５５３は、上述した矩形部分内も全て背景投影画像となるようにスクリーン３０の全域にかかる背景投影画像ＰＪＧＭ１を生成してよいし、図６に示すように人物ＨＭ１の周囲の矩形部分内を除いた背景投影画像ＰＪＧＭ１を生成してもよい。なお、投影画像生成部５５３は、その保持された設定を用いた投影画像ＰＪＲ１をプレビューとして表示装置ＤＰに表示してもよい。これにより、ユーザは、オフセット調整画面ＷＤ１を用いた調整前の画像コンテンツの重畳位置を視覚的かつ直感的に確認できる。

ここで、オフセット調整画面ＷＤ１において、例えばユーザの入力装置ＩＰを用いた操作により、赤色のボールの画像コンテンツＲＢ１の重畳位置を調整するために画像コンテンツＲＢ１が選択され、かつ、オフセット調整画面ＷＤ１の調整バーＣＳＲｘが左側にシフトされる。この操作に応じて、図６に示すように、投影画像生成部５５３は、赤色のボールの画像コンテンツＲＢ２を人物ＨＭ１の右手上部から、調整バーＣＳＲｘの移動操作量（例えば、４５２－２３４＝２１８ピクセル）に応じた位置にシフトして重畳する設定に更新する。これにより、投影画像生成部５５３は、その更新された設定を用いた投影画像ＰＪＲ２を生成できる。なお、投影画像生成部５５３は、その投影画像ＰＪＲ２をプレビューとして表示装置ＤＰに表示してもよい。これにより、ユーザは、オフセット調整画面ＷＤ１を用いた調整後の画像コンテンツ（例えば画像コンテンツＲＢ２）の重畳位置を視覚的かつ直感的に確認できる。

なお、図５では画像コンテンツの重畳位置を水平方向に調整して指定するための調整バーＣＳＲｘの移動の例を説明したが、画像コンテンツの重畳位置を垂直方向に調整して指定するための調整バーの移動があってもよい。

次に、実施の形態１に係る投影制御システム１００の動作手順を、図７を参照して説明する。図７は、実施の形態１に係る投影制御処理の動作手順の一例を説明するフローチャートである。図７に示すそれぞれの処理は、例えば投影制御装置５０において実行される。

図７において、投影制御装置５０のプロセッサ５５において、キャリブレーションの処理が既に実行されているかどうかが判別される（Ｓ１）。ステップＳ１の処理は、例えばプロセッサ５５が、キャリブレーション部５５１におけるキャリブレーション結果がメモリ５２に保持されているかどうかによって実行可能である。キャリブレーションの処理が既に実行されていると判別された場合には（Ｓ１、ＹＥＳ）、投影制御装置５０の処理はステップＳ３に進む。一方、キャリブレーションの処理が一度も実行されていないと判別された場合には（Ｓ１、ＮＯ）、キャリブレーション部５５１においてキャリブレーションの処理が実行される（Ｓ２）。

キャリブレーションの処理が既に実行されていると判別された場合（Ｓ１、ＮＯ）、又はステップＳ２の処理の後、プロセッサ５５の物体検出部５５２は、赤外線カメラ４０により撮像された赤外撮像画像のデータを取得し、その取得された赤外撮像画像に基づいて、対象物（例えば、人物ＨＭ１等の物体）の有無を検出する（Ｓ３）。ステップＳ３の処理では、物体検出部５５２は、例えば赤外撮像画像のデータに基づいて、スクリーン３０の周囲（例えば手前）にいる人物ＨＭ１の形状を認識（検出）できた場合には、その人物ＨＭ１の存在を検出することができる。

物体検出部５５２が人物ＨＭ１の形状を検出できない場合には（Ｓ４、ＮＯ）、投影制御装置５０の処理はステップＳ３に戻り、物体検出部５５２が人物ＨＭ１の形状を検出するまで、ステップＳ３，Ｓ４の処理が繰り返される。

一方、物体検出部５５２が人物ＨＭ１の形状を検出できた場合には（Ｓ４、ＹＥＳ）、投影画像生成部５５３は、物体検出部５５２により検出された赤外撮像画像内の人物ＨＭ１の位置（つまり、検出位置）に応じて、プロジェクタ１０により投影される投影画像に重畳される画像コンテンツの投影位置並びにサイズ（つまり、大きさ）を決定する（Ｓ５）。投影位置は、例えば図６に示す画像コンテンツＲＢ１，ＲＢ２，ＢＢ１の位置を示す。サイズは、例えば図６に示す画像コンテンツＲＢ１，ＲＢ２，ＢＢ１の大きさを示す。

投影画像生成部５５３は、投影画像の背景部分となる背景投影画像に、ステップＳ５において決定された投影位置並びにサイズの情報を用いて生成した画像コンテンツを重畳した投影画像を生成する（Ｓ６）。投影画像生成部５５３は、その生成された投影画像のデータを含む投影指示を生成し、その生成された投影指示を、入出力インターフェース５１を介してプロジェクタ１０に送出する（Ｓ７）。

ステップＳ７の後、投影が終了するための条件が満たされた場合（Ｓ８、ＹＥＳ）、図７に示す投影制御装置５０の処理は終了する。投影が終了するための条件とは、例えばユーザが投影制御装置５０において予めインストールされた専用のアプリケーションの終了操作をした場合や、投影制御装置５０の電源をオフする操作をした場合が該当する。

一方、投影が終了するための条件が満たされない場合（Ｓ８、ＮＯ）、投影制御装置５０の処理はステップＳ３に戻る。つまり、スクリーン３０の周囲（例えば手前）にいる人物ＨＭ１が移動した場合には、投影制御装置５０は、ステップＳ３において再びその移動後の人物ＨＭ１のスクリーン３０のどの位置にいるかを示す赤外撮像画像を赤外線カメラ４０から取得し、投影が終了するための条件が満たされるまでステップＳ４以降の処理を繰り返して継続する。

以上により、実施の形態１に係る投影制御システム１００では、赤外線照明２０は、赤外光を照射する。赤外線カメラ４０は、照射された赤外光がスクリーン３０を透過した光（赤外透過光）を受光し、スクリーン３０全体を画角内に含む赤外撮像画像を撮像する。投影制御装置５０は、赤外線カメラ４０により撮像された赤外撮像画像に基づいて、スクリーン３０の周囲（例えば、前方又は後方）にいる人物ＨＭ１の形状を認識し、その認識された人物ＨＭ１の形状に応じた投影画像を生成し、生成された投影画像をスクリーン３０に投影するプロジェクタ１０に出力する。また、赤外線照明２０は、スクリーン３０を挟んで赤外線カメラ４０の反対側に配置される。

これにより、投影制御システム１００では、スクリーン３０を挟んで赤外線カメラ４０と反対側に配置された赤外線照明２０からの赤外光はスクリーン３０を透過する。その透過した赤外透過光は赤外線カメラ４０において受光される。従って、投影制御装置５０は、赤外線カメラ４０の撮像可能な画角内に存在する検出対象物（例えば人物ＨＭ１）の位置を高精度に検出することができる。更に、投影制御装置５０は、スクリーン３０の手前側（例えば赤外線カメラ４０側）にいる人物ＨＭ１の形状を具体的かつ高精度に認識できるので、例えば検出対象物（例えば人物ＨＭ１）に動きが生じた場合でも、その動きに追従して画像コンテンツを的確な位置に重畳した投影画像の投影を適応的に支援することができる。

また、投影制御装置５０は、画像コンテンツを保持するコンテンツ格納データベース５３を備え、認識された人物ＨＭ１の形状の付近に画像コンテンツを重畳した画像を投影画像として生成する。これにより、投影制御装置５０は、スクリーン３０の近くにいる人物ＨＭ１の位置に合わせて予め保持された画像コンテンツを重畳させてプロジェクタ１０から投影させることができ、例えばエンターテインメント性を向上した画像の投影を的確に制御できる。

また、投影制御装置５０は、画像コンテンツを保持するコンテンツ格納データベース５３を備え、認識された人物ＨＭ１から所定距離の位置に画像コンテンツを重畳した画像を投影画像として生成する。これにより、投影制御装置５０は、スクリーン３０の近くにいる人物ＨＭ１の位置から所定距離離れた位置に予め保持された画像コンテンツを重畳させてプロジェクタ１０から投影させることができ、例えばエンターテインメント性を向上した画像の投影を的確に制御できる。

また、所定距離は、ユーザ（例えば、システム管理者）の入力（例えば、入力操作）に応じて変更される。これにより、投影制御装置５０は、人物ＨＭ１のいる位置に合わせて任意の位置に画像コンテンツを重畳でき、画像コンテンツの投影時の利便性を向上できる。

また、投影制御システム１００において、人物ＨＭ１が位置する対象物領域ＡＲＦ１は、スクリーンの周囲であって、赤外線カメラ４０側に位置する。これにより、赤外線カメラ４０は、人物ＨＭ１が赤外線カメラ４０を向く正面視の形状を特定可能な赤外撮像画像を撮像可能となる。また、投影制御装置５０は、特定された人物ＨＭ１の形状をそのまま用いて、例えば人物ＨＭ１の動きに合わせた画像コンテンツを重畳した投影画像を簡易に生成できる。

なお、図示は省略するが、本明細書にて開示した各実施の形態において、赤外線カメラ４０は、赤外線照明２０から照射された赤外光を受光する撮像部の一例としての赤外撮像部４１を有し、この赤外撮像部４１の前面に可視光をカットするフィルタ（例えば、可視光カットフィルタ）を更に配置してよい。前面の配置とは、例えば赤外撮像部４１を構成するイメージセンサの前面に可視光カットフィルタが配置されることを指す。またフィルタの代わりに、赤外撮像部４１を構成するレンズとして、可視光をカットする可視光カットレンズが使用されてもよい。赤外線カメラ４０は、可視光の波長領域において分光感度を有する場合があり、この場合には、赤外線カメラ４０において赤外光のみならず可視光も受光されてしまい、赤外撮像画像の感度が劣化する場合が想定される。

しかし、可視光カットレンズもしくは可視光カットフィルタが配置されることで、赤外線カメラ４０は、可視光を的確に排除して受光できた赤外光に基づいて赤外撮像画像を生成でき、高精度な赤外撮像画像を投影制御装置５０に出力できる。言い換えると、投影制御装置５０は、赤外線カメラ４０からの赤外撮像画像に基づいて、スクリーン３０の周囲にいる人物ＨＭ１の形状を高精度に認識可能となる。

（実施の形態１の第１の変形例）
実施の形態１の第１の変形例では、例えば実施の形態１に係る投影制御システム１００において、対象物の一例としての人物ＨＭ１がスクリーン３０の周囲のプロジェクタ１０側に位置する例を説明する（図８参照）。図８は、実施の形態１の第１の変形例に係る投影制御システムの設置例を示す図である。図９は、実施の形態１の第１の変形例に係る赤外線カメラ４０により撮像される赤外撮像画像ＩＲＧ２の一例を示す説明図である。実施の形態１の第１の変形例では、実施の形態１と異なるのは、対象物の一例としての人物ＨＭ１がスクリーン３０の周囲の赤外線カメラ４０側と反対側に位置する点である。この点以外は、実施の形態１と同一であるため、異なる内容について説明する。

図８に示すように、人物ＨＭ１はスクリーン３０の周囲のプロジェクタ１０側に位置する。通常、人物ＨＭ１はスクリーン３０に背を向けて立つことが多いので、実施の形態１の第１の変形例では、赤外線カメラ４０により撮像される赤外撮像画像ＩＲＧ２では、図９に示すように、人物ＨＭ１の背中が正面方向に映る。

具体的には、赤外撮像画像ＩＲＧ２は、赤外撮像画像ＩＲＧ１と同様に人物ＨＭ１のいる位置からは赤外光が赤外線カメラ４０に受光されないために、人物ＨＭ１のシルエットが形成された領域ＨＭ１ＳＬａと人物ＨＭ１のいない真っ白の領域ＷＨＲ１との両方が存在する画像となる。領域ＨＭ１ＳＬａは、赤外撮像画像ＩＲＧ１内の人物ＨＭ１のシルエットが形成された領域ＨＭ１ＳＬとは人物ＨＭ１の前後方向（正面背面の方向）で逆となる。言い換えると、赤外撮像画像ＩＲＧ２では、図４に示す赤外撮像画像ＩＲＧ１と比べると、人物ＨＭ１の正面方向が逆となる。なお、赤外撮像画像ＩＲＧ１，ＩＲＧ２ではともに人物ＨＭ１の形状しか判別できないが、赤外撮像画像ＩＲＧ１，ＩＲＧ２は人物ＨＭ１がともにスクリーン３０に背を向けた状態で撮像されている点で共通している。なお、図９では、図９を分かり易くするために、領域ＨＭ１ＳＬａの人物ＨＭ１の輪郭内は白く示されているが、実際の赤外撮像画像のデータにおける領域ＨＭ１ＳＬａ内は黒くなっている。

従って、実施の形態１の第１の変形例でも、投影制御装置５０は、赤外撮像画像ＩＲＧ２内の人物ＨＭ１の形状を実施の形態１と同様に認識でき、その認識された人物ＨＭ１の形状に応じた投影画像を生成し、生成された投影画像をスクリーン３０に投影するプロジェクタ１０に出力する。例えば、投影制御装置５０は、人物ＨＭ１の形状に応じた画像コンテンツを、実施の形態１における重畳位置（座標）とは左右方向に反転した位置（座標）に重畳することで、投影画像を生成できる。

従って、実施の形態１の第１の変形例でも、実施の形態１と同様に、投影制御装置５０は、スクリーン３０の手前側（例えばスクリーン３０を挟んで赤外線カメラ４０側と反対側のプロジェクタ１０側）に位置する対象物領域ＡＲＢ１内にいる人物ＨＭ１の形状を具体的かつ高精度に認識できるので、例えば検出対象物（例えば人物ＨＭ１）に動きが生じた場合でも、その動きに追従して画像コンテンツを的確な位置に重畳した投影画像の投影を適応的に支援することができる。

なお、図示は省略するが、本明細書にて開示した各実施の形態において、赤外線照明２０は、自装置（つまり、赤外線照明２０）の前面に、赤外光の照射範囲を広げるための拡散シートを更に配置してよい。例えば赤外線照明２０がＬＥＤ（Light Emitting Diode）等の指向性の強い発光素子により構成される場合には、上述した拡散シートの配置は一層有効となる。これにより、赤外線照明２０から照射される赤外光が、拡散シートが配置されない場合に比べて、より拡散させることが可能となる。

なお、図示は省略するが、本明細書にて開示した各実施の形態において、赤外線照明２０が配置される位置は、スクリーン３０を挟んで赤外線カメラ４０と反対側に配置され、かつ、その赤外線照明２０から照射される赤外光がスクリーン３０を透過するのであれば、特に限定されない。また、赤外線照明２０の配置数も１つでなく複数でもよい。例えば、複数の赤外線照明２０が、少なくとも１台のプロジェクタ１０の左右両側に配置されてよい。特に、赤外線照明２０が複数配置されることで、投影制御装置５０は、スクリーン３０の周囲にいる人物ＨＭ１（対象物の一例）の形状をより高精度に検出可能となる。

なお、図示は省略するが、本明細書にて開示した各実施の形態において、プロジェクタ１０が配置される位置は、そのプロジェクタ１０からの投影画像がスクリーン３０の全域にわたって投影されるのであれば、特に限定されない。また、プロジェクタ１０の配置数も１つでなく複数でもよい（後述する実施の形態２参照）。例えば、複数のプロジェクタ１０が、少なくとも１台の赤外線照明２０の左右両側に配置されてよい。また、複数のプロジェクタ１０が、少なくとも１台の赤外線照明２０の鉛直方向の上下両側、又は鉛直方向の上下両側でかつ前後方向にずれて配置されてよい。特に、プロジェクタ１０が複数配置されることで、投影制御装置５０は、例えばスクリーン３０が広大である場合に、それぞれ異なるプロジェクタ１０から同一又は異なる投影画像を生成して投影させることで、広大なスクリーン３０に対してエンターテインメント性を向上した画像の投影の実行を管理できる。但し、プロジェクタ１０が複数配置される場合には、上述した実施の形態１におけるキャリブレーションの処理がそれぞれのプロジェクタ１０と赤外線カメラ４０との間で実行されることが必要となる。

なお、図示は省略するが、本明細書にて開示した各実施の形態において、赤外線カメラ４０が配置される位置は、スクリーン３０を挟んで赤外線照明２０と反対側に配置され、かつ、その赤外線カメラ４０がスクリーン３０を透過してきた赤外光を受光できるのであれば、特に限定されない。また、赤外線カメラ４０の配置数も１つでなく複数でもよい。例えば、複数の赤外線カメラ４０が、スクリーン３０を挟んで赤外線照明２０と反対側に左右両側にそれぞれ配置されてよい。また、複数の赤外線カメラ４０が、スクリーン３０を挟んで赤外線照明２０と反対側に鉛直方向の上限両側にそれぞれ配置されてよい。また、複数の赤外線カメラ４０が、スクリーン３０を挟んで複数のプロジェクタ１０や赤外線照明２０と反対側に鉛直方向の上限両側にそれぞれ配置されてもよい。特に、赤外線カメラ４０が複数配置されることで、投影制御装置５０は、例えばスクリーン３０が広大である場合に、それぞれ異なる赤外線カメラ４０からの異なる赤外撮像画像に基づいて、スクリーン３０の周囲の少なくとも１人の人物の形状を高精度に認識でき、広大なスクリーン３０に対してエンターテインメント性を向上した画像の投影の実行を管理できる。但し、赤外線カメラ４０が複数配置される場合には、上述した実施の形態１におけるキャリブレーションの処理がそれぞれのプロジェクタ１０とそれぞれの赤外線カメラ４０との間で実行されることが必要となる。

（実施の形態２）
実施の形態２では、例えば実施の形態１に係る投影制御システム１００において、プロジェクタが複数配置される例を説明する（図１０参照）。図１０は、実施の形態２に係る投影制御システム１００Ｂの設置例を示す図である。投影制御システム１００Ｂは、プロジェクタ１０，１０Ｂと、赤外線照明２０と、スクリーン３０と、赤外線カメラ４０（図２参照）と、投影制御装置５０とを少なくとも含む構成である。図１０の構成において、図１の構成と同一のものには同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。

第２の投影装置の一例としてのプロジェクタ１０Ｂは、例えば円筒形状の筐体を有し、投影制御装置５０との間でデータもしくは情報の送受信が可能に接続される。プロジェクタ１０Ｂは、スクリーン３０に対向し、かつ人物ＨＭ１側に配置される。プロジェクタ１０Ｂは、投影制御装置５０から送出された投影指示を含む投影画像のデータを受信して取得すると、その投影指示に基づき、その投影指示により指定された投影画像をスクリーン３０の前に位置する人物ＨＭ１に投影するための投影光（例えば可視光）を生成して人物ＨＭ１に向けて投影する。これにより、プロジェクタ１０Ｂは、投影制御装置５０により指定された投影画像（図１１参照）を、スクリーン３０全域にでは無く、プロジェクタ１０Ｂの前に位置している人物ＨＭ１に限定的に投影可能となる。プロジェクタ１０Ｂの内部構成はプロジェクタ１０の内部構成と同一であるため、説明は省略する。なお、プロジェクタ１０Ｂは、投影光を人物ＨＭ１以外の対象に向けて投影してよい。また、上述したように、プロジェクタ１０以外にプロジェクタ１０Ｂが配置されるため、上述した実施の形態１におけるキャリブレーションの処理がプロジェクタ１０Ｂと赤外線カメラ４０との間で実行されることが必要となる。

図１１は、実施の形態２に係る投影画像ＰＪＲ２の一例を示す図である。図１１において、図６の投影画像ＰＪＲ１，ＰＪＲ２と同一の要素には同一の符号を付与して説明を簡略化又は省略し、異なる要素について説明する。図１１に示すように、投影制御装置５０は、背景部分となる背景投影画像ＰＪＧＭ１に対し、例えば人物ＨＭ１の左手上部に青色のボールの画像コンテンツＢＢ１、人物ＨＭ１の右手上部に赤色のボールの画像コンテンツＲＢ１をそれぞれ重畳した投影画像ＰＪＲ２を生成する。図１１では、図１１を分かり易くするために、背景投影画像ＰＪＧＭ１のうち人物ＨＭ１の周囲の矩形部分内は背景投影画像ＰＪＧＭ１が無いように白く示されている。但し、投影画像生成部５５３は、上述した矩形部分内も全て背景投影画像となるようにスクリーン３０の全域にかかる背景投影画像ＰＪＧＭ１を生成してよいし、図１１に示すように人物ＨＭ１の周囲の矩形部分内を除いた背景投影画像ＰＪＧＭ１を生成してもよい。プロジェクタ１０は、投影制御装置５０により生成された投影画像ＰＪＲ２をスクリーン３０全域に投影する。また、投影制御装置５０は、スクリーン３０全域にでは無く人物ＨＭ１に限って投影するための投影画像（例えば、画像コンテンツＨＴ１）を生成し、この生成された投影画像を含む投影指示をプロジェクタ１０Ｂに出力する。例えば、投影制御装置５０は、実施の形態１と同様に、赤外線カメラ４０からの赤外撮像画像に基づいて人物ＨＭ１の形状を認識でき、人物ＨＭ１の概略的な位置を把握できる。このため、投影制御装置５０は、その認識された人物ＨＭ１の概略的な位置（例えば、人物ＨＭ１のシルエットの中心位置）に絞って投影させるための投影画像（例えば、画像コンテンツＨＴ１）を生成できる。プロジェクタ１０Ｂは、投影制御装置５０からの投影指示により指定された投影画像（例えば、画像コンテンツＨＴ１）を人物ＨＭ１に向けて投影する。

なお、実施の形態２では、投影制御装置５０は、実施の形態１と同様な投影制御処理（図７参照）を実行しており、それぞれのプロジェクタ１０，１０Ｂに投影させるための異なる投影画像を生成し、生成された異なる投影画像をそれぞれのプロジェクタ１０，１０Ｂに投影させる。このため、実施の形態２の投影制御装置５０の動作は、プロジェクタの配置数が異なるが、実施の形態１と同様であるため、詳細な説明は省略する。

以上により、実施の形態２に係る投影制御システム１００Ｂでは、実施の形態１に係る投影制御システム１００の構成に加え、投影装置は、第１の投影装置の一例としてのプロジェクタ１０と、第２の投影装置の一例としてのプロジェクタ１０Ｂとを含む。投影制御装置５０は、プロジェクタ１０に投影させるための投影画像（例えば、図１１に示す投影画像ＰＪＲ２）を生成してプロジェクタ１０に投影させる。また、投影制御装置５０は、赤外線カメラ４０からの赤外撮像画像に基づいて認識された人物ＨＭ１の形状の内部に他の画像コンテンツ（例えば、画像コンテンツＨＴ１）を生成してプロジェクタ１０Ｂに投影させる。

これにより、実施の形態２に係る投影制御システム１００Ｂは、実施の形態１に係る投影制御システム１００の効果を有するとともに、プロジェクタ１０からはスクリーン３０全域に投影可能な投影画像の投影を実行でき、プロジェクタ１０Ｂからはスクリーン３０の周囲にいる人物ＨＭ１に絞った投影画像の投影を実行できる。従って、投影制御装置５０は、人物ＨＭ１の概略的な位置を把握できるため、認識された人物ＨＭ１の概略的な位置（例えば、人物ＨＭ１のシルエットの中心位置）に絞って、プロジェクタ１０により投影される投影画像よりも小さい局所的な投影画像を追加して投影でき、投影画像の多様性を向上できる。

（実施の形態３）
実施の形態３では、例えば実施の形態２に係る投影制御システム１００Ｂにおいて、可視光を撮像するための可視光カメラ４０Ｃが更に配置される例を説明する（図１２参照）。図１２は、実施の形態３に係る投影制御システム１００Ｃの設置例を示す図である。投影制御システム１００Ｃは、プロジェクタ１０，１０Ｂと、赤外線照明２０と、スクリーン３０と、赤外線カメラ４０と、可視光カメラ４０Ｃと、投影制御装置５０Ｃとを少なくとも含む構成である。図１２の構成において、図１０の構成と同一のものには同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。

第２の撮像装置の一例としての可視光カメラ４０Ｃは、投影制御装置５０Ｃとの間でデータもしくは情報の送受信が可能に接続される。可視光カメラ４０Ｃは、スクリーン３０の全体（全域）をすっぽり画角内に含むように対向して配置される。可視光カメラ４０Ｃは、スクリーン３０を透過した可視光を含む光を受光し、その受光された光に基づいて撮像することで、可視光撮像画像を生成する。可視光カメラ４０Ｃは、生成された可視光撮像画像のデータを投影制御装置５０Ｃに送出する。可視光カメラ４０Ｃの詳細については、図１３を参照して説明する。

なお、図１２に示すように、可視光カメラ４０Ｃは、スクリーン３０を挟んで赤外線カメラ４０と反対側に配置されず、赤外線カメラ４０と同じ側に配置される。可視光カメラ４０Ｃは、例えばプロジェクタ１０Ｂの周囲に配置される。これにより、可視光カメラ４０Ｃは、スクリーン３０の周囲にいる人物ＨＭ１の形状を視覚的かつ具体的に特定可能な可視光撮像画像を撮像可能となる。

投影制御装置５０Ｃは、例えばＰＣもしくはタブレット端末等の有線もしくは無線の通信が可能な情報処理装置であり、少なくともプロジェクタ１０，１０Ｂ、赤外線カメラ４０、可視光カメラ４０Ｃ、入力装置ＩＰ、表示装置ＤＰとの間でデータもしくは情報の送受信が可能に接続される。投影制御装置５０Ｃは、赤外線カメラ４０により撮像された赤外撮像画像（言い換えると、スクリーン３０を透過した赤外光の撮像に基づいて生成された撮像画像）に基づいて、スクリーン３０の周囲（例えば手前）に人物ＨＭ１（対象者の一例）の有無やその人物ＨＭ１のスクリーン３０に対する位置を示す形状を認識する。投影制御装置５０Ｃは、その認識された人物ＨＭ１の形状に応じた投影画像を生成し、その生成された投影画像をスクリーン３０に投影するプロジェクタ１０に出力する。また、投影制御装置５０Ｃは、可視光カメラ４０Ｃにより撮像された可視光撮像画像に基づいて、スクリーン３０の周囲（例えば手前）にいる人物ＨＭ１の形状を視覚的かつ具体的に認識する。投影制御装置５０Ｃは、その認識された人物ＨＭ１の具体的な形状に応じた投影画像を生成し、その生成された投影画像をスクリーン３０に投影するプロジェクタ１０Ｂに出力する。投影制御装置５０Ｃの詳細については、図１３を参照して説明する。

図１３は、実施の形態３に係る投影制御システム１００Ｃのシステム構成例を詳細に示すブロック図である。図１３の構成において、図２の構成と同一のものには同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。

可視光カメラ４０Ｃは、可視撮像部４１Ｃと、制御部４２Ｃと、通信インターフェース４３Ｃと、メモリ４４Ｃとを含む構成である。図１３の可視光カメラ４０Ｃの構成においても、同様に通信インターフェースを便宜的に「通信Ｉ／Ｆ」と記載している。

可視撮像部４１Ｃは、スクリーン３０を透過した可視光や周囲からの可視光を含む光を受光可能な可視光レンズ（図示略）と、その光に基づく可視光撮像画像を撮像可能なイメージセンサ（図示略）とを含む構成である。可視撮像部４１Ｃの出力は制御部４２Ｃに送出される。

制御部４２Ｃは、例えばＣＰＵ、ＭＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成されたプロセッサＰＲＣ３である。制御部４２Ｃは、可視光カメラ４０Ｃの動作を司るコントローラとして機能し、可視光カメラ４０Ｃの各部の動作を全体的に統括するための制御処理、可視光カメラ４０Ｃの各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。制御部４２Ｃは、メモリ４４Ｃに記憶されたプログラム及びデータに従って動作する。制御部４２Ｃは、動作時にメモリ４４Ｃを使用し、制御部４２Ｃが生成又は取得したデータ又は情報をメモリ４４Ｃに一時的に保存してもよい。制御部４２Ｃは、例えば可視撮像部４１Ｃのイメージセンサの出力に基づいて所定の画像処理を施すことで、可視光撮像画像のデータを生成する。

通信インターフェース４３Ｃは、投影制御装置５０Ｃとの間のデータもしくは情報の送受信（通信）に関する通信インターフェースとしての役割を有し、制御部４２Ｃにより生成された可視光撮像画像のデータを取得すると、その取得された可視光撮像画像のデータを投影制御装置５０Ｃに送信する。

メモリ４４Ｃは、例えばＲＡＭとＲＯＭとを用いて構成され、可視光カメラ４０Ｃの動作の実行に必要なプログラムやデータ、更には、動作中に生成されたデータ又は情報を一時的に保持する。ＲＡＭは、例えば可視光カメラ４０Ｃの動作時に使用されるワークメモリである。ＲＯＭは、例えば可視光カメラ４０Ｃを制御するためのプログラム及びデータを予め記憶して保持する。

投影制御装置５０Ｃは、入出力インターフェース５１と、メモリ５２Ｃと、コンテンツ格納データベース５３と、記録装置５４と、プロセッサ５５Ｃとを含む構成である。入出力インターフェース５１と、メモリ５２Ｃと、コンテンツ格納データベース５３と、記録装置５４と、プロセッサ５５Ｃとは、互いに内部バスＢＳ１を介して、データもしくは情報の入出力が可能に接続される。

メモリ５２Ｃは、例えばＲＡＭとＲＯＭとを用いて構成され、投影制御装置５０Ｃの動作の実行に必要なプログラムやデータ、更には、動作中に生成されたデータ又は情報を一時的に保持する。ＲＡＭは、例えば投影制御装置５０Ｃの動作時に使用されるワークメモリである。ＲＯＭは、例えば投影制御装置５０Ｃを制御するためのプログラム及びデータを予め記憶して保持する。メモリ５２Ｃは、例えば赤外線カメラ４０により生成される赤外撮像画像の解像度（具体的には、縦方向のピクセル、横方向のピクセル）の情報と、プロジェクタ１０により投影されるスクリーン３０の大きさ（面積）の情報と、可視光カメラ４０Ｃにより生成される可視光撮像画像の解像度（具体的には、縦方向のピクセル、横方向のピクセル）の情報とを保持している。

プロセッサ５５Ｃは、例えばキャリブレーション部５５１Ｃと、物体検出部５５２と、投影画像生成部５５３と、パーツ検出部５５４とを少なくとも含む構成である。キャリブレーション部５５１Ｃ、物体検出部５５２、投影画像生成部５５３及びパーツ検出部５５４のそれぞれは、例えばプロセッサ５５Ｃがメモリ５２Ｃに予め記憶されたプログラム及びデータを読み込んで実行することで、機能的に実現可能となる。

キャリブレーション部５５１Ｃは、赤外線カメラ４０により生成される赤外撮像画像内の位置（具体的には、座標）とプロジェクタ１０，１０Ｂにより投影されるそれぞれの投影画像内の位置（具体的には、座標）と可視光カメラ４０Ｃにより生成される可視光撮像画像内の位置（具体的には、座標）との変換処理の関係式（例えば、射影変換行列）を求める処理（つまり、キャリブレーション）を行う。具体的には、キャリブレーション部５５１Ｃは、赤外撮像画像内で投影画像の四隅がどこに位置するかを、ユーザの入力装置ＩＰを用いた指定又は所定の画像処理（例えば、エッジ検出処理）によって検出する。また、キャリブレーション部５５１Ｃは、可視光撮像画像内で投影画像の四隅がどこに位置するかを、所定の画像処理（例えば、エッジ検出処理）によって検出する。キャリブレーション部５５１Ｃは、これらの検出結果を用いて、例えば上述した射影変換行列を求める（図１４参照）。

図１４は、赤外線カメラ４０の赤外撮像画像の位置を示す座標（Ｘｃｉ，Ｙｃｉ）とプロジェクタ１０により投影される投影画像の位置を示す座標（Ｘｐ，Ｙｐ）と可視光カメラ４０Ｃの可視光撮像画像の位置を示す座標（Ｘｃｖ，Ｙｃｖ）との間の変換のためのキャリブレーションの一例を示す説明図である。なお、図１４では、説明を簡単にするために、プロジェクタ１０が例示されているが、プロジェクタ１０Ｂについても同様なキャリブレーションが実行される。図１４の説明において、図３の説明と同一の要素には同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。

赤外撮像画像ＩＲＧ中の端点ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４のそれぞれは、例えば赤外撮像画像ＩＲＧ及び投影画像ＰＪＲが対比的に表示装置ＤＰに表示された状態で（図１４参照）、ユーザの入力装置ＩＰを用いた指定により選択された、投影画像ＰＪＲの四隅の端点ＣＲ１，ＣＲ２，ＣＲ３，ＣＲ４にそれぞれ対応する。

また、可視光撮像画像ＶＳＧ中の端点ＥＧ１Ｃ，ＥＧ２Ｃ，ＥＧ３Ｃ，ＥＧ４Ｃのそれぞれは、例えばキャリブレーション部５５１Ｃの行う画像処理（例えば、エッジ検出処理）により検出され、投影画像ＰＪＲの四隅の端点ＣＲ１，ＣＲ２，ＣＲ３，ＣＲ４にそれぞれ対応する。なお、可視光撮像画像ＶＳＧ中の端点ＥＧ１Ｃ，ＥＧ２Ｃ，ＥＧ３Ｃ，ＥＧ４Ｃのそれぞれは、可視光撮像画像ＶＳＧ及び投影画像ＰＪＲが対比的に表示装置ＤＰに表示された状態で（図１４参照）、ユーザの入力装置ＩＰを用いた指定により、キャリブレーション部５５１Ｃにより選択されてもよい。

キャリブレーション部５５１Ｃは、赤外撮像画像ＩＲＧ中の端点ＥＧ１，ＥＧ２，ＥＧ３，ＥＧ４の各座標と投影画像ＰＪＲの四隅の端点ＣＲ１，ＣＲ２，ＣＲ３，ＣＲ４の各座標とに基づき、赤外撮像画像ＩＲＧ中の座標（Ｘｃｉ，Ｙｃｉ）を投影画像ＰＪＲ中の座標（Ｘｐ，Ｙｐ）に変換するための射影変換行列（第１の射影変換行列）を算出して求める。また、キャリブレーション部５５１Ｃは、投影画像ＰＪＲの四隅の端点ＣＲ１，ＣＲ２，ＣＲ３，ＣＲ４の各座標と可視光撮像画像ＶＳＧ中の端点ＥＧ１Ｃ，ＥＧ２Ｃ，ＥＧ３Ｃ，ＥＧ４Ｃの各座標とに基づき、可視光撮像画像ＶＳＧ中の座標（Ｘｃｖ，Ｙｃｖ）を投影画像ＰＪＲ中の座標（Ｘｐ，Ｙｐ）に変換するための射影変換行列（第２の射影変換行列）を算出して求める。キャリブレーション部５５１Ｃは、上述した第１の射影変換行列と第２の射影変換行列とを用いることで、赤外撮像画像ＩＲＧ中の座標（Ｘｃｉ，Ｙｃｉ）を可視光撮像画像ＶＳＧ中の座標（Ｘｃｖ，Ｙｃｖ）に変換するための射影変換行列（第３の射影変換行列）を算出して求める。キャリブレーション部５５１Ｃは、求められた射影変換行列（つまり、第１～第３の射影変換行列のそれぞれ）のデータもしくは情報をキャリブレーション結果としてメモリ５２Ｃに保存する。

なお、図１２に示す投影制御システム１００Ｃにおいて、プロジェクタ１０，１０Ｂにより投影されるそれぞれの投影画像の解像度（言い換えると、大きさ又は面積）や、赤外線カメラ４０，可視光カメラ４０Ｃのそれぞれの位置が変更されない限りは、キャリブレーション部５５１Ｃにおけるキャリブレーションの処理は少なくとも一度実行すればよい。言い換えると、プロジェクタ１０，１０Ｂにより投影されるそれぞれの投影画像の解像度、又は赤外線カメラ４０もしくは可視光カメラ４０Ｃのそれぞれの位置が変更される度に、キャリブレーション部５５１Ｃにおけるキャリブレーションの処理が少なくとも一度実行される。

また、キャリブレーション部５５１Ｃにおけるキャリブレーションの方法は、上述した方法に限定されない。例えば、キャリブレーション部５５１Ｃは、公知のストラクチャードライト法を用いたキャリブレーションを実行することで、画素単位で赤外撮像画像ＩＲＧ内の座標を投影画像ＰＪＲ内の対応する座標に変換することも可能である。同様に、キャリブレーション部５５１Ｃは、画素単位で可視光撮像画像ＶＳＧ内の座標を投影画像ＰＪＲ内の対応する座標に変換することも可能であり、画素単位で赤外撮像画像ＩＲＧ内の座標を可視光撮像画像ＶＳＧ内の対応する座標に変換することも可能である。

パーツ検出部５５４は、物体検出部５５２により検出された人物ＨＭ１（対象物の一例）の形状と、可視光カメラ４０Ｃにより生成された可視光撮像画像のデータとを用いて、物体検出部５５２により検出された人物ＨＭ１の形状内で、人物ＨＭ１のパーツ（例えば、身体の部位）を検出する。パーツ検出部５５４は、人物ＨＭ１のパーツ（部位）として、例えば人物ＨＭ１の顔、目、口、鼻、眉、額、手、足、肘、膝、踵、踝、頬等の細かい部位を検出可能である。なお、これらの各部位はあくまで例示であって、検出されるパーツはこれらに限定されない。パーツ検出部５５４は、その検出された人物ＨＭ１のパーツの検出結果を投影画像生成部５５３に渡す。

投影画像生成部５５３は、パーツ検出部５５４から渡された検出結果とメモリ５２Ｃに保持されるキャリブレーション結果とを用いて、赤外撮像画像内の人物ＨＭ１の形状内のパーツを示す位置（座標）のそれぞれに対応する投影画像内の位置（座標）又はその位置（座標）から所定の距離離れた位置（座標）に、コンテンツ格納データベース５３から読み出した画像コンテンツを重畳した投影画像を生成する。投影画像生成部５５３は、その生成された投影画像のデータを含む投影指示を生成し、その生成された投影指示を、入出力インターフェース５１を介してプロジェクタ１０Ｂに送出する。

図１５は、実施の形態３に係る投影画像ＰＪＲ２の一例を示す図である。図１５において、図６の投影画像ＰＪＲ１，ＰＪＲ２と同一の要素には同一の符号を付与して説明を簡略化又は省略し、異なる要素について説明する。図１５に示すように、投影制御装置５０Ｃは、背景部分となる背景投影画像ＰＪＧＭ１に対し、例えば人物ＨＭ１の左手上部に青色のボールの画像コンテンツＢＢ１、人物ＨＭ１の右手上部に赤色のボールの画像コンテンツＲＢ１をそれぞれ重畳した投影画像ＰＪＲ２を生成する。図１５では、図１５を分かり易くするために、背景投影画像ＰＪＧＭ１のうち人物ＨＭ１の周囲の矩形部分内は背景投影画像ＰＪＧＭ１が無いように白く示されている。但し、投影画像生成部５５３は、上述した矩形部分内も全て背景投影画像となるようにスクリーン３０の全域にかかる背景投影画像ＰＪＧＭ１を生成してよいし、図１５に示すように人物ＨＭ１の周囲の矩形部分内を除いた背景投影画像ＰＪＧＭ１を生成してもよい。プロジェクタ１０は、投影制御装置５０により生成された投影画像ＰＪＲ２をスクリーン３０全域に投影する。また、投影制御装置５０Ｃは、パーツ検出部５５４により検出されたパーツ（例えば、人物ＨＭ１の頬）に絞って投影するための投影画像（例えば、画像コンテンツＣＫ１）を生成し、この生成された投影画像を含む投影指示をプロジェクタ１０Ｂに出力する。例えば、投影制御装置５０Ｃは、実施の形態１と同様に、赤外線カメラ４０からの赤外撮像画像に基づいて人物ＨＭ１の形状を認識でき、更に、可視光カメラ４０Ｃからの可視光撮像画像に基づいて人物ＨＭ１のパーツの正確な位置を把握できる。このため、投影制御装置５０Ｃは、その認識された人物ＨＭ１の正確な位置（例えば、人物ＨＭ１の頬の位置）に絞って投影させるための投影画像（例えば、画像コンテンツＣＫ１）を生成できる。プロジェクタ１０Ｂは、投影制御装置５０Ｃからの投影指示により指定された投影画像（例えば、画像コンテンツＣＫ１）を人物ＨＭ１の頬に向けて投影する。

次に、実施の形態３に係る投影制御システム１００Ｃの動作手順を、図１６を参照して説明する。図１６は、実施の形態３に係る投影制御処理の動作手順の一例を説明するフローチャートである。図１６に示すそれぞれの処理は、例えば投影制御装置５０Ｃにおいて実行される。また、図１６の説明では、図７の説明と同一の処理については同一のステップ番号を付与して説明を簡略化又は省略し、異なる内容について説明する。

また、図１６の投影制御処理では、可視光カメラ４０Ｃにより撮像された可視光撮像画像を用いて投影制御装置５０Ｃによって人物ＨＭ１の形状内のパーツが検出され、そのパーツに画像コンテンツ（例えば、画像コンテンツＣＫ１）がプロジェクタ１０Ｂにより投影される例を図示している。また、実施の形態３に係る投影制御装置５０Ｃは、図１６に示す投影制御処理とは別に、並行して図７に示す投影制御処理（実施の形態１参照）と同一の処理を実行してよい。

また、図１６のステップＳ２におけるキャリブレーションの処理は、本実施の形態に係るキャリブレーションの処理（図１４参照）であり、具体的には、赤外撮像画像中の位置（座標）を可視光撮像画像中の位置（座標）に変換するための関係式を求める処理である。

図１６において、物体検出部５５２が人物ＨＭ１の形状を検出できた場合には（Ｓ４、ＹＥＳ）、パーツ検出部５５４は、物体検出部５５２により検出された人物ＨＭ１の形状と、可視光カメラ４０Ｃにより生成された可視光撮像画像のデータとを用いて、物体検出部５５２により検出された人物ＨＭ１の形状内で、人物ＨＭ１のパーツを検出する（Ｓ９）。パーツ検出部５５４は、その検出された人物ＨＭ１のパーツの検出結果を投影画像生成部５５３に渡す。投影画像生成部５５３は、パーツ検出部５５４により検出されたパーツの人物ＨＭ１の形状内の位置（つまり、検出位置）に応じて、プロジェクタ１０Ｂにより投影される画像コンテンツの投影位置を決定する（Ｓ５Ｃ）。投影位置は、例えば図１５に示す画像コンテンツＣＫ１の位置（座標）を示す。図１６のステップＳ５Ｃ以降の処理は、図７のステップＳ５以降の処理と同一であるため、説明を省略する。

以上により、実施の形態３に係る投影制御システム１００Ｃは、実施の形態２に係る投影制御システム１００Ｂの構成に加え、第２の撮像装置の一例としての可視光カメラ４０Ｃを更に含む。可視光カメラ４０Ｃは、スクリーン３０を画角として含む可視光撮像画像を撮像する。投影制御装置５０Ｃは、可視光撮像画像に基づいて、赤外撮像画像に基づいて認識された人物ＨＭ１の形状の内部のパーツ（部位）を認識し、その認識されたパーツ（部位）に応じた画像コンテンツ（例えば、画像コンテンツＣＫ１）を生成する。投影制御装置５０Ｃは、その生成された画像コンテンツ（例えば、画像コンテンツＣＫ１）を、第２の投影装置の一例としてのプロジェクタ１０Ｂに投影させる。

これにより、実施の形態３に係る投影制御システム１００Ｃは、実施の形態２に係る投影制御システム１００Ｂの効果を有するとともに、プロジェクタ１０からはスクリーン３０全域に投影可能な投影画像の投影を実行でき、プロジェクタ１０Ｂからはスクリーン３０の周囲にいる人物ＨＭ１の部位に正確に絞った投影画像の投影を実行できる。従って、投影制御装置５０Ｃは、人物ＨＭ１の正確な部位を把握でき、認識された人物ＨＭ１の正確な部位（例えば、人物ＨＭ１の顔の頬）に絞って、プロジェクタ１０により投影される投影画像よりも小さい局所的な投影画像を追加して投影でき、きめ細かい投影画像の投影を可能とする等、投影画像によるエンターテインメント性の多様性を向上できる。

（実施の形態１の第２の変形例）
実施の形態１の第２の変形例では、例えば実施の形態１に係る投影制御システム１００において、赤外線照明２０の電源のオン又はオフの制御と、透明スクリーン３０Ｄのモードの切り替えとを更に行う例を説明する（図１７参照）。図１７は、実施の形態１の第２の変形例に係る投影制御システム１００Ｄの設置例を示す図である。図１８は、実施の形態１の第２の変形例に係る投影制御システム１００Ｄのシステム構成例を詳細に示すブロック図である。投影制御システム１００Ｄは、プロジェクタ１０と、赤外線照明２０と、透明スクリーン３０Ｄと、赤外線カメラ４０と、投影制御装置５０と、照明制御装置６０と、スクリーン制御装置７０とを少なくとも含む構成である。図１７の構成において、図１の構成と同一のものには同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。

被投影物の一例としての透明スクリーン３０Ｄは、スクリーン制御装置７０による制御の下で、スクリーンに関するモードを透明モード又はスクリーンモードに切り替え可能なスクリーンであり、固定的に設置される。透明スクリーン３０Ｄの表側や裏側は、図１７に従うとする。透明スクリーン３０Ｄの具体的な構成は、例えば上述した参考非特許文献１において開示されているので、ここでは詳細な説明は省略する。透明スクリーン３０Ｄは、スクリーンモード時でも透明モード時でも赤外線照明２０から照射された赤外光を透過可能である。透明スクリーン３０Ｄを透過した赤外光は、赤外線カメラ４０により受光される。

第１の制御部の一例としての照明制御装置６０は、投影制御装置５０からの照明制御信号に従って、赤外線照明２０の電源のオン又はオフを切り替えることで、赤外線照明２０の電源を制御する。

第２の制御部の一例としてのスクリーン制御装置７０は、投影制御装置５０からのスクリーン制御信号に従って、透明スクリーン３０Ｄのモードを透明モード又はスクリーンモードのいずれかに切り替えることで、透明スクリーン３０Ｄのモードを制御する。

以上により、実施の形態１の第２の変形例では、投影制御装置５０は、透明スクリーン３０Ｄをスクリーンモードに切り替える場合には、赤外線照明２０の電源をオンに制御して、赤外線照明２０から赤外光を照射させる。つまり、投影制御装置５０は、透明スクリーン３０Ｄをスクリーンモードに切り替えるためのスクリーン制御信号を生成してスクリーン制御装置７０に送出するとともに、赤外線照明２０の電源をオンするための照明制御信号を生成して照明制御装置６０に送出する。これにより、照明制御装置６０は、赤外線照明２０の電源をオンにして赤外光の照射を実行させ、スクリーン制御装置７０は、透明スクリーン３０Ｄをスクリーンモードに切り替えでき、透明スクリーン３０Ｄにおいて赤外光を透過させることができる。

また、実施の形態１の第２の変形例では、投影制御装置５０は、透明スクリーン３０Ｄを透明モードに切り替える場合には、赤外線照明２０の電源をオフに制御して、赤外線照明２０から赤外光を照射させない。つまり、投影制御装置５０は、透明スクリーン３０Ｄを透明モードに切り替えるためのスクリーン制御信号を生成してスクリーン制御装置７０に送出するとともに、赤外線照明２０の電源をオフするための照明制御信号を生成して照明制御装置６０に送出する。これにより、スクリーン制御装置７０は、透明スクリーン３０Ｄを透明モードに切り替え、照明制御装置６０は、例えば投影制御装置５０における各種の処理（例えば、人物ＨＭ１の認識や投影制御処理）が必要無い場合に、赤外線照明２０の電源をオフにして赤外光の照射を中止でき、不要な赤外光の照射を抑制できる。

（実施の形態１の第３の変形例）
実施の形態１の第３の変形例では、例えば実施の形態１に係る投影制御システム１００において、投影制御装置５０がネットワークＮＷを介して接続された外部サーバに接続される例を説明する（図１９参照）。図１９は、実施の形態１の第３の変形例に係る投影制御システム１００の設置例を示す図である。投影制御システム１００は、プロジェクタ１０と、赤外線照明２０と、スクリーン３０と、赤外線カメラ４０と、投影制御装置５０と、複数のコンテンツ格納装置ＣＬＤ１，…，ＣＬＤｋとを少なくとも含む構成である。ｋは２以上の整数である。図１９の構成において、図１の構成と同一のものには同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。

外部サーバの一例としてのコンテンツ格納装置ＣＬＤ１～ＣＬＤｋのそれぞれは、例えばＨＤＤもしくはＳＳＤを用いて構成され、プロジェクタ１０により投影される投影画像に重畳されるための画像コンテンツのデータを記憶保持している。コンテンツ格納装置ＣＬＤ１～ＣＬＤｋのそれぞれは、ネットワークＮＷを介して、投影制御装置５０との間でデータもしくは情報の送受信が可能に接続される。ネットワークＮＷは、有線ネットワーク（例えばＬＡＮ（Local Area Network））でもよいし、無線ネットワーク（例えば無線ＬＡＮ）でもよい。

投影制御装置５０は、例えば定期的に、コンテンツ格納装置ＣＬＤ１～ＣＬＤｋのそれぞれにアクセスして、コンテンツ格納装置ＣＬＤ１～ＣＬＤｋのそれぞれにおいて記憶保持されている画像コンテンツのデータを取得し、自装置（つまり、投影制御装置５０）内のコンテンツ格納データベース５３内の画像コンテンツのデータを更新する。

以上により、実施の形態１の第３の変形例では、投影制御装置５０は、投影画像の生成時に重畳される画像コンテンツを記憶保持するコンテンツ格納装置ＣＬＤ１～ＣＬＤｋのそれぞれと接続され、コンテンツ格納装置ＣＬＤ１～ＣＬＤｋのそれぞれから画像コンテンツを取得し、コンテンツ格納装置ＣＬＤ１～ＣＬＤｋのそれぞれに記憶保持される画像コンテンツを更新する。これにより、投影制御装置５０は、例えば定期的に、自装置（つまり、投影制御装置５０）内のコンテンツ格納データベース５３内の画像コンテンツのデータを更新することで、自装置内で記憶保持していない画像コンテンツを取得でき、多様な画像コンテンツを蓄積できる。

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、撮像画角内の検出対象物の位置を高精度に検出し、検出対象物の動きに追従したコンテンツの的確な投影を適応的に支援する投影制御システム及び投影制御方法として有用である。

１０、１０Ｂ プロジェクタ
１１、４３、４３Ｃ 通信インターフェース
１２、４２、４２Ｃ 制御部
１３ 投影部
１４、４４、４４Ｃ、５２、５２Ｃ メモリ
２０ 赤外線照明
３０ スクリーン
４０ 赤外線カメラ
４０Ｃ 可視光カメラ
４１ 赤外撮像部
４１Ｃ 可視撮像部
５０、５０Ｃ 投影制御装置
５１ 入出力インターフェース
５３ コンテンツ格納データベース
５４ 記録装置
５５、５５Ｃ、ＰＲＣ１、ＰＲＣ２ プロセッサ
５５１、５５１Ｃ キャリブレーション部
５５２ 物体検出部
５５３ 投影画像生成部
５５４ パーツ検出部
ＤＰ 表示装置
ＩＰ 入力装置

Claims (15)

1. 赤外光を照射する光源装置と、
   照射された前記赤外光が被投影物を透過した光を受光し、前記被投影物を画角として含む赤外撮像画像を撮像する撮像装置と、
   撮像された前記赤外撮像画像に基づいて、前記被投影物の前記撮像装置側にいる対象物の形状を認識し、その認識された前記対象物の形状に応じた投影画像を生成し、生成された前記投影画像を前記被投影物に投影する投影装置に出力する投影制御装置と、を備え、
   前記赤外光は、
   前記被投影物を挟んで前記撮像装置の反対側から照射される、
   投影制御システム。
2. 前記光源装置は、前記被投影物を挟んで前記撮像装置の反対側に配置される、
   請求項１に記載の投影制御システム。
3. 前記投影制御装置は、
   画像コンテンツを保持するコンテンツ保持部を備え、前記認識された対象物の形状の付近に前記画像コンテンツを重畳した画像を前記投影画像として生成する、
   請求項１に記載の投影制御システム。
4. 前記投影制御装置は、
   画像コンテンツを保持するコンテンツ保持部を備え、前記認識された対象物から所定距離の位置に前記画像コンテンツを重畳した画像を前記投影画像として生成する、
   請求項１に記載の投影制御システム。
5. 前記所定距離は、ユーザの入力に応じて変更される、
   請求項４に記載の投影制御システム。
6. 前記投影画像は、
   前記被投影物を挟んで前記対象物の反対側から投影される、
   請求項１に記載の投影制御システム。
7. 前記撮像装置は、
   前記赤外光を受光する撮像部を有し、前記撮像部の前面に可視光をカットするフィルタ又はレンズを配置する、
   請求項１に記載の投影制御システム。
8. 前記投影制御装置は、
   前記投影画像の生成時に重畳される画像コンテンツを記憶する外部サーバと接続され、
   前記外部サーバから前記画像コンテンツを取得して前記コンテンツ保持部に保持される画像コンテンツを更新する、
   請求項３に記載の投影制御システム。
9. 前記光源装置は、
   自装置の前面に、前記赤外光の照射範囲を広げる拡散シートを配置する、
   請求項１に記載の投影制御システム。
10. 赤外光を照射する光源装置と、
    照射された前記赤外光が被投影物を透過した光を受光し、前記被投影物を画角として含む赤外撮像画像を撮像する撮像装置と、
    撮像された前記赤外撮像画像に基づいて、前記被投影物の周囲にいる対象物の形状を認識し、その認識された前記対象物の形状に応じた投影画像を生成し、生成された前記投影画像を前記被投影物に投影する投影装置に出力する投影制御装置と、
    少なくとも第１の投影装置と第２の投影装置と、を備え、
    前記赤外光は、
    前記被投影物を挟んで前記撮像装置の反対側から照射され、
    前記投影制御装置は、
    生成された前記投影画像を前記第１の投影装置に投影させ、
    認識された前記対象物の形状の内部に他の画像コンテンツを前記第２の投影装置に投影させる、
    投影制御システム。
11. 赤外光を照射する光源装置と、
    照射された前記赤外光が被投影物を透過した光を受光し、前記被投影物を画角として含む赤外撮像画像を撮像する撮像装置と、
    撮像された前記赤外撮像画像に基づいて、前記被投影物の周囲にいる対象物の形状を認識し、その認識された前記対象物の形状に応じた投影画像を生成し、生成された前記投影画像を前記被投影物に投影する投影装置に出力する投影制御装置と、
    少なくとも第１の投影装置と第２の投影装置と、
    前記被投影物を画角として含む可視光撮像画像を撮像する第２の撮像装置と、を備え、
    前記赤外光は、
    前記被投影物を挟んで前記撮像装置の反対側から照射され、
    前記投影制御装置は、
    前記可視光撮像画像に基づいて、前記赤外撮像画像に基づいて認識された前記対象物の形状の内部の部位を認識し、その認識された前記部位に応じた画像コンテンツを生成し、生成された前記画像コンテンツを前記第２の投影装置に投影させる、
    投影制御システム。
12. 赤外光を照射する光源装置と、
    照射された前記赤外光が被投影物を透過した光を受光し、前記被投影物を画角として含む赤外撮像画像を撮像する撮像装置と、
    撮像された前記赤外撮像画像に基づいて、前記被投影物の周囲にいる対象物の形状を認識し、その認識された前記対象物の形状に応じた投影画像を生成し、生成された前記投影画像を前記被投影物に投影する投影装置に出力する投影制御装置と、
    前記光源装置における前記赤外光の照射のオン又はオフを制御する第１の制御部と、
    前記被投影物の透明モード又はスクリーンモードを切り替える第２の制御部と、を備え、
    前記赤外光は、
    前記被投影物を挟んで前記撮像装置の反対側から照射され、
    前記投影制御装置は、
    前記被投影物を前記スクリーンモードに切り替える場合には、前記光源装置に前記赤外光を照射させる、
    投影制御システム。
13. 赤外光を照射する光源装置と、
    照射された前記赤外光が被投影物を透過した光を受光し、前記被投影物を画角として含む赤外撮像画像を撮像する撮像装置と、
    撮像された前記赤外撮像画像に基づいて、前記被投影物の周囲にいる対象物の形状を認識し、その認識された前記対象物の形状に応じた投影画像を生成し、生成された前記投影画像を前記被投影物に投影する投影装置に出力する投影制御装置と、
    前記光源装置における前記赤外光の照射のオン又はオフを制御する第１の制御部と、
    前記被投影物の透明モード又はスクリーンモードを切り替える第２の制御部と、を備え、
    前記赤外光は、
    前記被投影物を挟んで前記撮像装置の反対側から照射され、
    前記投影制御装置は、
    前記被投影物を前記透明モードに切り替える場合には、前記光源装置に前記赤外光を照射させない、
    投影制御システム。
14. 赤外光を照射する光源装置と、
    照射された前記赤外光が被投影物を透過した光を受光し、前記被投影物を画角として含む赤外撮像画像を撮像する撮像装置と、
    撮像された前記赤外撮像画像に基づいて、前記被投影物の周囲にいる対象物の形状を認識し、その認識された前記対象物の形状に応じた投影画像を生成し、生成された前記投影画像を前記被投影物に投影する投影装置に出力する投影制御装置と、
    画像コンテンツを保持するコンテンツ保持部と、を備え、
    前記赤外光は、
    前記被投影物を挟んで前記撮像装置の反対側から照射され、
    前記投影制御装置は、
    前記認識された対象物からユーザの入力に応じて変更される所定距離の位置に前記画像コンテンツを重畳した画像を前記投影画像として生成する、
    投影制御システム。
15. 投影制御システムにおける投影制御方法であって、
    光源装置により赤外光を照射し、
    照射された前記赤外光が被投影物を透過した光を受光し、前記被投影物を画角として含む赤外撮像画像を撮像装置により撮像し、
    撮像された前記赤外撮像画像に基づいて、前記被投影物の前記撮像装置側にいる対象物の形状を認識し、
    前記認識された前記対象物の形状に応じた投影画像を生成し、生成された前記投影画像を前記被投影物に投影する投影装置に出力し、
    前記赤外光は、
    前記被投影物を挟んで前記撮像装置の反対側から照射される、
    投影制御方法。

Images