JP6354620B2 - 制御装置、プログラム、及び投影システム - Google Patents

Description

本発明は、複数方向にある投影面に映像を投影する投影システムの技術分野に関する。

従来、例えば特許文献１に開示されるように、投射型映像表示装置と、スクリーンと対向する位置にセンサーを設け、投射型映像表示装置とスクリーンの間に、入り込んだ人物の位置のスクリーン面上に対応する領域を判断して、入り込んだ人物の位置に応じたスクリーン面の明るさを変更する技術が知られている。この技術によれば、強い光が人物の眼中に入ることを防ぐことができる。

特開２００４−３４８０７８号公報

上述した従来の技術では、人物の位置を検出するためのセンサーにより、人物の有無を示す反応を判断することで、人物の位置を判断している。しかしながら、人物の有無による判断のみでは、人物の視覚に投影光が影響するか否かを正確に判断できない。例えば、複数のプロジェクターを使用する場合、プロジェクターの投影方向に対する人物の向きによっては、人物に投影光が当たっても、人物の視覚に影響しない場合がある。このような場合に、人物の有無による判断で、プロジェクターからの投影光を抑制すると、不要な領域まで、投影光を抑えることとなり、人物の視覚への影響を抑える以上に、投影画像に不要な制限がかかる。

本発明は、以上の点に鑑みてなされたものであり、複数のプロジェクター等の投影装置からの投影光を人物の視界に応じて制限することが可能な制御装置、プログラム、及び投影システムを提供する。

上記課題を解決するために、請求項１に記載の発明は、配置された複数の異なる位置からそれぞれの方向にある投影面に画像を投影する複数の投影装置と、少なくとも１台の位置検出装置とを備える投映システムに用いられる制御装置であって、前記位置検出装置の検出結果から、前記複数の投影装置から投影面までの範囲の３次元空間にいる人物の複数の部位の位置を含む部位情報を取得する取得手段と、前記取得手段により取得された部位情報に基づいて、前記人物の頭部の３次元モデルを生成する生成手段と、前記取得手段により取得された部位情報から、前記人物の視線方向を特定する特定手段と、前記生成手段により生成された頭部の３次元モデルの表面に、前記特定手段により特定された視線方向の領域を含む投影制限領域を設定する設定手段と、前記設定手段により設定された前記３次元モデルの前記投影制限領域を、前記複数の投影装置それぞれの位置を基準として、前記複数の投影装置それぞれが画像を投影する２次元平面ごとに投影変換する変換手段と、前記変換手段により前記投影制限領域が投影変換された前記２次元平面に投影する前記投影装置により投影される画像の投影条件を決定する決定手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の制御装置において、前記設定手段は、前記視線方向を基準とする前記人物の視界の範囲を、前記３次元モデルの表面に投影制限領域として設定することを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の制御装置において、前記取得手段は、前記人物の頭部の位置と、前記人物の右肩部の位置と、前記人物の左肩部の位置とを含む前記部位情報を取得するものであり、前記部位情報の中で、前記人物の頭部に対応する前記部位情報と、前記人物の右肩部に対応する前記部位情報と、前記人物の左肩部に対応する前記部位情報とに基づいて、法線ベクトルを算出する算出手段を更に備え、前記特定手段は、前記算出手段により算出された法線ベクトルの方向を前記視線方向として特定することを特徴とする。

請求項４に記載の発明は、請求項１または２に記載の制御装置において、前記部位情報は、前記部位の回転角であって、前記部位に連結される他の部位を基準とする回転角を含み、前記部位情報のそれぞれに含まれる前記回転角に基づいて、前記頭部の回転角を算出する算出手段を更に備え、前記特定手段は、前記算出手段により算出された回転角から前記視線方向を特定することを特徴とする。

請求項５に記載の発明は、配置された複数の異なる位置からそれぞれの方向にある投影面に画像を投影する複数の投影装置と、少なくとも１台の位置検出装置とを備える投映システムに用いられる制御装置に用いられるコンピュータに実行させるプログラムであって、前記位置検出装置の検出結果から、前記複数の投影装置から投影面までの範囲の３次元空間にいる人物の複数の部位の位置を含む部位情報を取得する取得ステップと、前記取得ステップにより取得された部位情報に基づいて、前記人物の頭部の３次元モデルを生成する生成ステップと、前記取得ステップにより取得された部位情報から、前記人物の視線方向を特定する特定ステップと、前記生成ステップにより生成された頭部の３次元モデルの表面に、前記特定ステップにより特定された視線方向の領域を含む投影制限領域を設定する設定ステップと、前記設定ステップにより設定された前記３次元モデルの前記投影制限領域を、前記複数の投影装置それぞれの位置を基準として、前記複数の投影装置それぞれが画像を投影する２次元平面ごとに投影変換する変換ステップと、前記変換ステップにより前記投影制限領域が投影変換された前記２次元平面に投影する前記投影装置により投影される画像の投影条件を決定する決定ステップと、をコンピュータに実行させることを特徴とする。

請求項６に記載の発明は、配置された複数の異なる位置からそれぞれの方向にある投影面に画像を投影する複数の投影装置と、少なくとも１台の位置検出装置とを備える投映システムであって、前記投映システムが備える制御装置は、前記位置検出装置の検出結果から、前記複数の投影装置から投影面までの範囲の３次元空間にいる人物の複数の部位の位置を含む部位情報を取得する取得手段と、前記取得手段により取得された部位情報から、前記人物の頭部の３次元モデルを生成する生成手段と、前記取得手段により取得された部位情報に基づいて、前記人物の視線方向を特定する特定手段と、前記生成手段により生成された頭部の３次元モデルの表面に、前記特定手段により特定された視線方向の領域を含む投影制限領域を設定する設定手段と、前記設定手段により設定された前記３次元モデルの前記投影制限領域を、前記複数の投影装置それぞれの位置を基準として、前記複数の投影装置それぞれが画像を投影する２次元平面ごとに投影変換する変換手段と、前記変換手段により前記投影制限領域が投影変換された前記２次元平面に投影する前記投影装置により投影される画像の投影条件を決定する決定手段と、を備えることを特徴とする。

請求項１、５、６に記載の発明によれば、複数の投影装置からの投影光を人物の視線方向に応じて制限することができる。

請求項２に記載の発明によれば、複数の投影装置からの投影光を人物の視界に応じて制限することができる。

請求項３に記載の発明によれば、頭部の位置、左肩部の位置、及び右肩部の位置から、迅速に視線方向を特定ことができる。

請求項４に記載の発明によれば、より精度の高い視線方向を特定することができる。

本実施形態の投影システムＳの概要構成例を示す図である。 （Ａ）は、投影システムＳが利用される部屋の上方から見た部屋内に配置された装置の位置関係の一例を表す図であり、（Ｂ）は、投影システムＳが利用される部屋の矢印Ｄが示す側方から見た部屋内に配置された装置の位置関係の一例を表す図である。 （Ａ）は、人物の骨格を形成する複数の部位の一例を示す図であり、（Ｂ）は、頭部の位置ａ、左肩部の位置ｂ、及び右肩部の位置ｃにより決まる法線ベクトルの一例を示す図である。 本実施形態の再生制御装置６の投影制御処理の一例を示すフローチャートである。 （Ａ）は、部屋内にいる人物の視界の一例を示す図であり、（Ｂ）は、人物の頭部の３次元モデルを頭頂部方向から見た図であり、（Ｃ）は、人物の頭部の３次元モデルを顔の側面方向から見た図である。 ３次元座標系における投影制限領域がプロジェクター５a〜５dの２次元平面に射影される様子の一例を示す概念図である。 本実施形態の投影制御処理の効果の一つを説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。

［１．投影システムの構成及び動作概要］
始めに、図１等を参照して、本実施形態の投影システムＳの構成及び動作概要について説明する。投影システムＳは、図１に示すように、表示・操作デバイス１、楽曲再生装置２、カメラ３、映像再生装置４a〜４e、プロジェクター５a〜５e、及び再生制御装置６等を備えて構成される。ここで、プロジェクター５a〜５eは、投影装置の一例である。再生制御装置６は、制御装置の一例である。投影システムＳは、例えばカラオケ店舗等のアミューズメント施設における部屋で利用される。表示・操作デバイス１、楽曲再生装置２、及びカメラ３は、それぞれ、有線または無線を介して再生制御装置６と接続される。映像再生装置４a〜４e、及びプロジェクター５a〜５eは、それぞれ、有線ＬＡＮ（Local Area Network）または無線ＬＡＮ、及びハブ等を介して再生制御装置６と接続される。さらに、プロジェクター５a〜５eは、それぞれ、有線または無線を介して映像再生装置４a〜４eと接続される。

図２（Ａ）に示すように、プロジェクター５a〜５dは、それぞれ、壁面ａ〜ｄのうちいずれか２つの壁面に映像を投影するように配置されている。つまり、プロジェクター５a〜５dは、それぞれ異なる位置に配置された複数の位置から、それぞれの投影方向へ向けて、それぞれの投影角θa〜θdに収まる投影範囲の投影面に映像を投影する。このとき、プロジェクター５a〜５ｄは、それぞれ２つの壁面を含む投影面に映像を投影する。図２（Ａ）の例では、人物の前後左右の４つの壁面ａ〜ｄが投影面である。プロジェクター５ｃが、矩形の部屋の壁面ｃと壁面ｂとの角に配置されるとき、部屋の対角を含む壁面ａの一部領域と壁面ｄの一部領域とに映像が投影される。プロジェクター５ｄが、矩形の部屋の壁面ｃと壁面ｄとの角に配置されるとき、部屋の対角を含む壁面ａの一部領域と壁面ｂの一部領域とに映像が投影される。プロジェクター５ａ〜５ｄは、互いの投影領域の一部を重ならせて、それぞれいずれか２つの壁面に映像を投影する。なお、図２（Ａ）の例では、複数のプロジェクター５a〜５d間で、映像が投影される投影面の一部が重複している。この結果、プロジェクター５ａ〜５ｄにより、矩形の部屋の側壁面の全周に映像を投影させることができる。しかし、映像が投影される投影面が、複数のプロジェクター５a〜５d間で重複しないように、投影方向または投影角θa〜θdが設定されてもよい。また、プロジェクター５ａ〜５ｄは、それぞれ特定の１つの投影面に映像を投影するものであってもよい。また、投影面は、部屋の天井面及び床面にあってもよい。

また、図２（Ａ）に示すように、プロジェクター５eは、壁面ｄに設置されたスクリーンＳｃに映像を投影するように配置（例えば、図２（Ｂ）に示すように、天井に配置）されている。つまり、プロジェクター５eは、配置された位置から、投影角θeに収まる範囲の方向にあるスクリーンＳｃ上の投影面に映像を投影する。図２の例では、スクリーンＳｃ上の投影面には、プロジェクター５b,５cからの映像も投影される。しかし、プロジェクター５b,５cから投影する映像には、プロジェクター５eから投影する映像に悪い影響を及ぼさない映像が設定される。悪い影響とは、例えば、プロジェクター５b,５cが、黒色などの透明度が低い映像を大きい領域面積に投影することにより、プロジェクター５eから投影されるスクリーンＳｃ上の投影映像を塗りつぶしてしまうことを指す。図２の例では、人物はスクリーンＳｃがある方向（図２（Ａ）に示す視線方向）を向いており、スクリーンＳｃに投影された映像を見ている。カメラ３は、図２（Ａ），（Ｂ）に示すように、壁面ｄに設置されており、カメラ３の画角θに収まる範囲を撮像する。例えば、カメラ３により撮像された映像が、プロジェクター５eによりスクリーンＳｃに投影される。楽曲再生装置２により楽曲が再生中である場合、その楽曲の歌詞テロップがカメラ３により撮像された映像に重畳されて、プロジェクター５eによりスクリーンＳｃに投影される。これにより、図２の例では、スクリーンＳｃを見る人物が、カメラ３が設置された壁ｄに対してその正面からカメラ３により撮像される。

なお、図２の例では、５つの映像再生装置４a〜４e、及び５つのプロジェクター５a〜５eを示しているが、映像再生装置とプロジェクターは、それぞれ、１つ以上４つ以下、或いは６つ以上であってもよい。また、図１の例では、映像再生装置とプロジェクターとは１対１で対応しているが、１対Ｎ（Ｎは２以上の自然数）で対応してもよい。例えば、１つの映像再生装置に複数のプロジェクターが接続されてもよい。映像再生装置が１つである場合、映像再生装置が映像再生手段（ハードウェアまたはソフトウェアにより構成される）として再生制御装置６内に組み込まれていてもよい。

表示・操作デバイス１には、例えば、表示画面を備えるタッチパネルディスプレイが用いられる。表示・操作デバイス１は、例えば、楽曲再生装置２のリモコンであってもよい。なお、表示・操作デバイス１は、楽曲再生装置２または再生制御装置６に組み込まれていてもよい。この場合、例えば、表示・操作デバイス１は、楽曲再生装置２または再生制御装置６と一体に形成された表示ディスプレイである。表示・操作デバイス１は、プロジェクター５a〜５dで投影する映像の選択候補となる映像のタイトル等や、楽曲再生装置２で再生する楽曲の選択候補となる楽曲のタイトル等を表示画面に表示する。表示・操作デバイス１は、ユーザによる選択操作に応じて映像の選択または楽曲の選択を行う。表示・操作デバイス１は、例えば、選択された映像を識別する映像ＩＤを再生制御装置６へ送信する。また、表示・操作デバイス１は、例えば、選択された楽曲を識別する楽曲ＩＤを再生制御装置６へ送信する。再生制御装置６へ送信された楽曲ＩＤは、例えば、再生制御装置６から楽曲再生装置２へ送信される。なお、表示・操作デバイス１は、例えば、選択された楽曲を識別する楽曲ＩＤを楽曲再生装置２へ送信してもよい。

楽曲再生装置２は、楽曲を再生する装置である。楽曲再生装置２は、複数の楽曲ファイルを記憶部に記憶する。楽曲ファイルは、カラオケ曲等の楽曲の楽曲データを格納する。各楽曲ファイルには、例えば、楽曲を識別する楽曲ＩＤが対応付けられる。楽曲再生装置２は、表示・操作デバイス１または再生制御装置６から送信された楽曲ＩＤを受信すると、受信した楽曲ＩＤが示す楽曲データを再生し、その楽曲信号をスピーカ（図示せず）へ出力する。なお、楽曲再生装置２がカラオケコマンダである場合、楽曲再生装置２には、上記楽曲信号と、マイク（図示せず）により集音されたユーザ（例えば、図２に示す人物）の歌唱音声信号とをミキシングしてスピーカ（図示せず）へ出力するミキシングアンプが備えられる。

カメラ３には、例えば、ＲＧＢカメラ及び深度カメラが用いられる。深度カメラは、位置検出装置の一例である。深度カメラは、例えば赤外線レーザなどによる深度センサーである。深度カメラにより、部屋内における撮像範囲の各位置までの深度を含む位置情報を示すデプス画像が取得される。図２の例の場合、この位置情報には、プロジェクター５a〜５dから投影面までの範囲の３次元空間にいる人物の複数の部位の位置を示す部位情報を含む。人物の複数の部位の位置を示す部位情報は、例えば、部位ごとに、位置座標が対応付けられた情報であり、デプス画像に示される撮像範囲の各位置までの深度から特定することが可能である。具体的には、深度カメラにより取得された撮像範囲の各位置までの深度を、人物の各部位の位置を判断するための人物位置パターンデータと比較することにより、人物の各部位およびその位置が特定される。デプス画像の深度と比較される人物位置パターンデータは、例えば、予め所定のデータベース等に記憶された多数の種類の人物位置パターンから、デプス画像の各位置の深度に応じた所定のパターンデータが読み出して用いられる。なお、各位置までの深度から、求められる人間の複数の部位の位置は、再生制御装置６により特定されてもよい。図３（Ａ）の例では、人物の骨格を形成する部位として、頭部ａ、左肩部ｂ、右肩部ｃ、左肘部ｄ、右肘部ｅ、左手部ｆ、右手部ｇ、首部ｈ、胴部ｉ、腰部ｊ、左尻部ｋ、右尻部ｌ、左膝部ｍ、右膝部ｎ、左足部ｏ、及び右足部ｐを示している。このような部位情報には、図３（Ａ）に示すように、部位の回転角Θが含まれる場合もある。部位の回転角Θとは、その部位に連結される他の部位を基準とする回転角である。もしくは、その部位と間接的に連結される特定の部位の位置を基準とした回転角であってもよい。例えば、頭部ａの回転角Θは、頭部ａに連結される首部ｈを基準とする回転角である。首部ｈの回転角Θは、首部ｈに連結される胴部ｉを基準とする回転角である。すなわち、頭部ａの回転角Θは、胴部ｉを基準とする回転角とすることもできる。回転角Θを含む部位情報は（Ｘ，Ｙ，Ｚ，Θ）というように表される。なお、上記位置情報には、図３（Ａ）に示す骨格を形成する部位の他にも部位の位置を示す部位情報が含まれてもよい。例えば、図３（Ａ）に示す頭部ａの位置は、人物の頭を球体としたときの中心（３次元座標）を示すが、人物の頭の表面上にある複数の部位それぞれの位置を示す部位情報が含まれてもよい。カメラ３は、カメラ３の画角θに収まる撮像範囲を例えば連続的に撮像し、その撮像結果を再生制御装置６へ送信する。この撮像結果には、ＲＧＢ画像及びデプス画像が含まれる。

映像再生装置４a〜４eは、映像を再生する装置である。映像には、静止画像と動画像とがある。動画像は、例えば複数の静止画の画像フレームを時系列で切り替えて表示する。映像再生装置４a〜４eは、それぞれ、例えば再生制御装置６から指示された映像データを再生する。映像再生装置４a〜４eは、それぞれ、再生制御装置６から指示された映像データを再生し、その映像信号をプロジェクター５a〜５eへ出力する。再生する映像データは、映像再生装置４a〜４eそれぞれの図示しない記憶部に記憶される。映像再生装置４a〜４dは、例えば、後述する再生制御装置６の記憶部６２に記憶される投影対象のオリジナル映像から、対応するプロジェクター５a〜５d毎にそれぞれの投影範囲の領域を切り出すことにより、プロジェクター５a〜５dそれぞれに対応する映像再生装置４a〜４ｄが再生する映像データを生成し、記憶部に記憶する。あるいは、映像再生装置４a〜４eが、再生する映像データを再生制御装置６の記憶部から取得してもよい。映像データを再生するとき、映像再生装置４a〜４dは、カメラ３により撮像された人物の視界の範囲を、後述する再生制御装置６からマスクデータとして取得する。映像再生装置４a〜４dは、映像データに、取得したマスクデータを合成した映像を再生する。プロジェクター５a〜５eは、それぞれ、映像再生装置４a〜４eにより再生出力された映像信号に応じた光を発光部から発することにより映像を出力する。これにより、プロジェクター５a〜５eは、それぞれの投影角θa〜θeに収まる範囲の方向にある投影面に映像を投影する。また、プロジェクター５a〜５eは、それぞれ、再生制御装置６からの制御信号に応じて、例えば、電源をオン又はオフを行ったり、投影方向や投影角θa〜θeを変更する。

再生制御装置６は、楽曲の再生制御、及び映像の投影制御等を行う装置である。再生制御装置６は、図１に示すように、ＩＦ６１a〜６１d、記憶部６２、及び制御部６３を備える。ＩＦ６１a〜６１d、記憶部６２、及び制御部６３は、バス６４に接続されている。ＩＦ６１aは、楽曲再生装置２と再生制御装置６との間のインターフェースである。ＩＦ６１bは、表示・操作デバイス１と再生制御装置６との間のインターフェースである。ＩＦ６１cは、カメラ３と再生制御装置６との間のインターフェースである。ＩＦ６１dは、ＬＡＮとのインターフェースである。

記憶部６２は、例えばハードディスクドライブにより構成される。記憶部６２には、ＯＳ（Operating System）、及び本発明のプログラム等が記憶される。本発明のプログラムは、後述する制御処理をＣＰＵに実行させるプログラムである。また、記憶部６２には、プロジェクター５a〜５dにより投影される映像の元データとなるオリジナル映像の映像ファイルを記憶する。オリジナル映像の例として、アーティストのプロモーション映像、企業または商品の広告映像などが挙げられる。制御部６３は、コンピュータとしてのＣＰＵ（Center Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部６３は、本発明の取得手段、生成手段、特定手段、設定手段、変換手段、決定手段、及び算出手段の一例である。制御部６３は、本発明のプログラムに従って投影制御処理を実行する。

［２．再生制御装置６の投影制御処理］
次に、図４等を参照して、本実施形態の再生制御装置６の投影制御処理について説明する。例えば部屋に入った利用者（人物）が表示・操作デバイス１を操作して所望の映像（オリジナル映像）を選択すると、選択された映像の映像ＩＤが再生制御装置６へ送信される。再生制御装置６は、表示・操作デバイス１から映像ＩＤを受信すると、受信した映像ＩＤに対応する映像の映像ファイルを、再生させるデータとして映像再生装置4a〜4eに指示し、図４に示す投影制御処理を開始する。このように、利用者により選択された映像が投影対象となる。なお、投影対象となる映像は、デフォルト設定されたものであってもよい。この場合、再生制御装置６は、例えば部屋に入った利用者が表示・操作デバイス１を操作することで表示・操作デバイス１から出力された操作信号を受信すると、図４に示す投影制御処理を開始する。

図４に示す投影制御処理が開始されると、制御部６３は、カメラ３により撮像された撮像結果を所定時間間隔でカメラ３から受信し、受信された撮像結果（デプス画像）から、人物の部位情報を取得する（ステップＳ１）。具体的には、カメラ３から、人物の複数の部位について、部位ごとに、部位と対応付けられた位置座標が、部位情報として取得される。あるいは、ステップＳ１において、制御部６３は、カメラ３から撮像結果（デプス画像）を受信し、撮像結果（デプス情報)から、前述した人物位置パターンデータと比較されることにより、人物の複数の部位について、部位ごとに位置座標が特定される。部位情報として、例えば、図３（Ａ）に示す人物の骨格である、頭部ａ、左肩部ｂ、右肩部ｃ、左肘部ｄ、右肘部ｅ、左手部ｆ、右手部ｇ、首部ｈ、胴部ｉ、腰部ｊ、左尻部ｋ、右尻部ｌ、左膝部ｍ、右膝部ｎ、左足部ｏ、及び右足部ｐのそれぞれについて、各部位と対応付けて位置座標が決定される。なお、部位情報は、複数の部位のうちの一部の部位が推定値であってもよい。また、部位情報は、複数の部位のうち、頭部または右肩部及び左肩部を含む一部の部位についてのみ取得されてもよい。次いで、制御部６３は、ステップＳ１で取得した部位情報から、人物の頭部に対応する部位情報を取得する（ステップＳ２）。次いで、制御部６３は、ステップＳ２で取得された部位情報から、人物の頭部の３次元モデルを生成する（ステップＳ３）。例えば、制御部６３は、頭部の位置（頭部の３次元座標）を中心とする予定サイズの球体（または楕円体）を、人物の頭部の３次元モデルとして生成する。この３次元モデルは、例えば、人物の頭の表面上にある複数の部位それぞれの座標の集合により構成される。なお、制御部６３は、ステップＳ１で取得した部位情報から、人物の頭の表面上にある複数の部位それぞれの位置を示す部位情報を取得し、取得した各部位情報が示す位置（３次元座標）から人物の頭部の３次元モデルを生成してもよい。このとき、制御部６３は、人物の頭の表面上の各部位情報を時系列で連続して、時系列で取得した各部位情報に基づいて３次元モデルを生成してもよい。また、このとき、制御部６３は、カメラ３により時系列で複数撮像した画像を解析することで、各部位情報の時系列の動きの遷移から人物の正面を判断してもよい。

次いで、制御部６３は、ステップＳ１で取得された部位情報から、人物の顔の法線ベクトルを取得できるか否かを判定する（ステップＳ４）。例えば、ステップＳ１で取得された部位情報に、人物の骨格を形成する所定数以上の部位の部位情報が含まれるとき、人物の顔の法線ベクトルを取得できると判定される。例えば、人物の顔の法線ベクトルは、頭部の回転角Θから算出することができる。ここで、頭部の回転角Θは、頭部に連結される首部の回転角Θを基準として算出される。首部の回転角Θは、胴部ｉの回転角Θを基準とする回転角である。つまり、頭部の回転角Θは、他の部位の回転角Θに基づいて所定の演算により算出される。このため、より多くの部位（例えば、左足部及び右足部から頭部まで）の部位情報が得られれば、それだけ精度の高い回転角Θを得ることができ、その結果、人物の顔の法線ベクトルの精度も向上する。あるいは、ステップＳ４において、カメラ３から受信された撮像結果（デプス画像）の深度と、ステップＳ２において取得された頭部の部位情報とにより、頭部の顔面に相当する位置の深度から、例えば鼻等の顔の所定の部位の位置が特定可能であるとき、人物の顔の法線ベクトルを取得できると判定されてもよい。従って、ステップＳ１で取得された部位情報から、人物の顔の法線ベクトルを取得できると判定された場合（ステップＳ４：ＹＥＳ）、ステップＳ５に進む。一方、人物の顔の法線ベクトルを取得できないと判定された場合（ステップＳ４：ＮＯ）、ステップＳ７に進む。

ステップＳ５では、制御部６３は、人物の骨格を形成する各部位の部位情報のそれぞれに含まれる回転角Θに基づいて、人物の頭部の回転角Θを算出する。次いで、制御部６３は、算出した回転角Θから人物の顔の法線ベクトルを算出する。あるいは、ステップＳ４において、顔の所定の部位の位置が特定可能であると判断される場合は、ステップＳ５において、顔の所定の部位から顔面に対して前方に向かう方向が、人物の顔の法線ベクトルと決定される。そして、制御部６３は、算出した法線ベクトルが示す方向を人物の視線方向として特定し（ステップＳ６）、ステップＳ９へ進む。この構成により、より精度の高い視線方向（法線ベクトル）を特定することができる。

ステップＳ７では、制御部６３は、ステップＳ１で取得された部位情報から、人物の右肩部に対応する部位情報と、人物の左肩部に対応する部位情報とを取得する。次いで、制御部６３は、ステップＳ２で取得した、頭部に対応する部位情報と、ステップＳ７で取得した、右肩部に対応する部位情報及び左肩部に対応する部位情報とに基づいて、法線ベクトルを算出する。

制御部６３は、例えば、図３（Ａ），（Ｂ）に示すように、頭部の位置ａと左肩部の位置ｂとの間のベクトルａｂと、頭部の位置ａと右肩部の位置ｃとの間のベクトルａｃとの外積（ベクトルａｂ×ベクトルａｃ）を求めることで法線ベクトルを算出する。そして、制御部６３は、算出した法線ベクトルが示す方向を人物の視線方向として特定し（ステップＳ８）、ステップＳ９へ進む。この構成により、頭部の位置ａ、左肩部の位置ｂ、及び右肩部の位置ｃから、迅速に視線方向（法線ベクトル）を特定することができる。

ステップＳ９では、制御部６３は、ステップＳ６またはステップＳ８で特定された視線方向に基づいて、ステップＳ３で生成された、人物の頭部の３次元モデルの表面に投影制限領域を設定する（つまり、３次元モデルの表面に、上記視線方向の領域を含む投影制限領域を設定する）。この投影制限領域は、プロジェクター５a〜５eからの投影を制限（例えば禁止）するべき領域である。制御部６３は、例えば、人物の視線方向を基準とする人物の視界の範囲を、人物の頭部の３次元モデルの表面に投影制限領域として設定する。制御部６３は、頭部の３次元モデルの投影制限領域内の座標に１を設定し、それ以外の座標を０に設定する。或いは制御部６３は、頭部の３次元モデルの投影制限領域内の座標に黒色を設定し、それ以外の座標に白色を設定する。

図５（Ａ）の例では、人物の視線方向を基準とする横視野角により決まる視界を示している。しかし、人物の視界は、人物の視線方向を基準とする横視野角（左右視野角）と縦視野角（上下視野角）とにより決まるものである。横視野角は、例えば１９０度〜２１０度の範囲内で予め設定され、縦視野角は、例えば１２０〜１３０度の範囲内で予め設定される。制御部６３は、このような横視野角と縦視野角とから人物の視界の範囲を求め、これを、人物の頭部の３次元モデルの表面に投影制限領域として設定する。図５（Ｂ）及び（Ｃ）は、人物の頭部の３次元モデルの表面に設定された投影制限領域ＬＡ０の一例を示す図である。図５（Ｂ）は、人物の頭部の３次元モデルを頭頂部方向から見た図であり、図５（Ｃ）は、人物の頭部の３次元モデルを顔の側面方向から見た図である。図５（Ｂ）及び（Ｃ）の例では、投影制限領域ＬＡ０は、横視野角と縦視野角により決まる範囲に、首部の回転角の可動範囲が加算されて設定される。具体的には、横視野角（左右視野角）として、人物の視線方向の基準から、首部が左方向および右方向に回転する可動範囲にあるときに視野となる角度が定められる。縦視野角（上下視野角）として、人物の視線方向の基準から、首部が上方向および下方向に移動する可動範囲にあるときに視野となる角度が定められる。

次いで、制御部６３は、ステップＳ９で設定された３次元モデルの投影制限領域を、複数のプロジェクター５a〜５dそれぞれの位置を基準として、プロジェクター５a〜５dそれぞれが映像を投影する２次元平面ごとに投影変換する処理を行う（ステップＳ１０）。人物の頭部の３次元モデルは、カメラ３を基準とする３次元座標系で表されるものである。このため、制御部６３は、３次元座標系における投影制限領域を、それぞれのプロジェクター５a〜５dの２次元平面座標系に投影変換する。例えば、制御部６３は、射影変換するための行列を用いて、３次元座標系における投影制限領域の座標を、プロジェクター５a〜５dの２次元平面における投影制限領域の座標に変換する。

例えば、図６に示すプロジェクター５aの２次元平面に投影変換された投影制限領域ＬＡ１は、プロジェクター５aの位置（例えば、２次元平面上の原点）から人物の頭部の３次元モデルを見た投影制限領域ＬＡ０である。また、例えば、図６に示すプロジェクター５bの２次元平面に投影変換された投影制限領域ＬＡ２は、プロジェクター５bの位置から人物の頭部の３次元モデルを見た投影制限領域ＬＡ０である。また、例えば、図６に示すプロジェクター５dの２次元平面に投影変換された投影制限領域ＬＡ３は、プロジェクター５dの位置から人物の頭部の３次元モデルを見た投影制限領域ＬＡ０である。なお、プロジェクター５cの位置から人物の頭部の３次元モデルを見たとき、投影制限領域ＬＡ０は人物頭部の後ろ側の領域で隠れることになるので、プロジェクター５cの２次元平面には投影制限領域が投影されない。なお、プロジェクター５a〜５dそれぞれの２次元平面の範囲は、例えば、プロジェクター５a〜５dそれぞれの投影角θa〜θdに収まる範囲（投影範囲）と等しい。また、プロジェクター５a〜５dの２次元平面は、共通の座標系上にあってもよい。この場合、２次元平面の位置を原点とし、この２次元平面上でプロジェクター５a〜５dそれぞれの位置が定義される。

ステップＳ１１では、制御部６３は、プロジェクター５a〜５dにより投影される映像の投影条件を決定し、決定した投影条件に応じたマスクデータ生成処理を実行する。マスクデータ生成処理は、例えば、制御部６３が、映像の投影条件として、映像へ合成するマスクデータを決定する処理である。この場合の処理では、制御部６３は、例えば、２次元平面に投影変換された投影制限領域に対応するマスクデータを、投影制限領域が投影変換された２次元平面毎に生成する。各２次元平面は、映像再生装置４a〜４ｄにより映像データが再生されるプロジェクター５ａ〜５ｄが投影する投影面それぞれと対応する。すなわち、このマスクデータの２次元平面における座標は、例えば、投影制限領域の座標と一致する。マスクデータ生成処理では、マスクデータとして、映像再生装置４a〜４dごとに、再生する映像データが投影変換される投影制限領域に対応する２次元平面における座標の透明度を示すアルファ値を、不透明を示す１と決定する処理が行われる。このとき、さらに、投影制限領域に対応する領域以外の座標のアルファ値を０と決定する処理が行われてもよい。あるいは、マスクデータ生成処理は、マスクデータとして、投影変換される投影制限領域に対応する２次元平面における座標の表現色を黒色に設定する処理である。次に、制御部６３は、生成したマスクデータを、各２次元平面に投影する映像再生装置４a〜４ｄそれぞれへ送信する。つまり、制御部６３は、生成した映像に、生成したマスクデータを合成させるために、生成したマスクデータを映像再生装置４a〜４ｄのそれぞれへ送信する（ステップＳ１２）。これにより、映像再生装置４ａ〜４ｄでは、映像データにマスクデータが合成された映像が投影される映像として生成される。映像データにマスクデータを合成するとは、具体的には、映像データに対し、マスクデータに投影制限領域に対応して定められた座標におけるアルファ値に０が設定される。また、例えば、映像データにおいてマスクデータに示す投影制限領域内の表現色を黒色で塗ったり、或いはマスクデータに定められたアルファ値に基づき、映像データの投影制限領域に対応する座標の表現色に半透明にされた黒色のマスクを重畳する処理が行われる。

なお、ステップＳ１１において、制御部６３は、映像の投影条件として、プロジェクターの投影角または投影方向の変更を決定してもよい。この場合の処理では、制御部６３は、例えば、投影制限領域を含む２次元平面に対応するプロジェクターへ、投影角または投影方向を所定角度変更させる制御指令を送信する。この投影制限領域が投影範囲から外れる角度である。この制御指令を受信したプロジェクターは、投影角または投影方向を所定角度変更する。或いは、制御部６３は、映像の投影条件として、プロジェクターから発光する光の照度低下を決定してもよい。この場合の処理では、制御部６３は、例えば、投影制限領域を含む２次元平面に対応するプロジェクターへ、照度を低下させる制御指令を送信する。この制御指令を受信したプロジェクターは、発光部から発する光の照度（明るさ）を低下する。或いは、制御部６３は、映像の投影条件として、投影対象のオリジナル映像の変更を決定してもよい。この場合の処理では、制御部６３は、例えば、投影制限領域を含む２次元平面に対応するプロジェクターに投影させる映像として黒画像を生成する。なお、投影制限領域が含まれない２次元平面に対応するプロジェクターに投影させる映像は、上記と同様、投影対象のオリジナル映像から生成される。

図７（Ａ）に示すように、プロジェクター５eから映像を投影していないとき、例えばプロジェクター５cからの投影光によりスクリーンＳｃには人物の影ができている。一方、図７（Ｂ）に示すように、プロジェクター５eから映像を投影しているとき、例えばプロジェクター５cからの投影光による影は、プロジェクター５eからの映像により消されることになる。ところで、図７（Ｃ）に示す従来例のように、平面的な頭部輪郭だけを考慮して黒色の画像を合成するマスク処理を行う場合、頭部輪郭より少し広い範囲にマスク処理を行うことが望ましい。しかし、この場合、頭部輪郭外のマスク処理がされた領域の映像は、上記影とは異なり、黒色の映像であるため、プロジェクター５eからの映像により消すことができず、プロジェクター５eの輝度及び解像度による不自然な像を形成しまうため、スクリーンＳｃを見ている人物に対して違和感を与えてしまう。特に、遠距離から投影した場合、頭部輪郭外のマスク処理がされた部分は、図７（Ｃ）の「拡大」で示すように、解像度の関係により頭部輪郭の周りにドットが視認できてしまう。一方、図７（Ｄ）に示す本実施例のように、人物の頭部の３次元モデルに視界の範囲を考慮して投影制限領域を設定し２次元平面への投影変換を経てマスク処理を行う構成の場合、マスク処理がされる範囲を限定的にすることができる。このため、マスク処理がされた映像が例えばスクリーンＳｃには投影されないので、スクリーンＳｃを見ている人物に対して違和感を与えないようにすることができる。特に、人物の正面にあるスクリーンＳｃに投影されている映像は最も視界（知覚認知が高い）に入るが、本実施例によれば、不自然な像が投影されることを防ぐことができる。

以上説明したように、再生制御装置６は、３次元空間にいる人物の複数の部位の位置を含む部位情報を取得し、取得した部位情報に基づいて人物の頭部の３次元モデルを生成し、取得した部位情報に基づいて人物の視線方向を特定し、特定した視線方向に基づいて頭部の３次元モデルの表面に投影制限領域を設定する。そして、再生制御装置６は、３次元モデルの投影制限領域を、複数のプロジェクター５a〜５dそれぞれが映像を投影する２次元平面ごとに投影変換し、投影制限領域が投影変換された２次元平面に投影するプロジェクター５a〜５dにより投影される映像の投影条件を決定する。このため、本実施形態によれば、複数のプロジェクター５a〜５dからの投影光を人物の視界に応じて制限することができる。例えば、人物の視界に入る範囲の投影光を適切に制限することで眩しさを低減することができる。一方、プロジェクターからの投影光が人物に当たっても人物の視覚に影響しない範囲（投影光を制限する必要のない範囲）まで投影光が制限されることを防ぐことで、人物に対して違和感を与えないようにすることができる。

１ 表示・操作デバイス
２ 楽曲再生装置
３ カメラ
４a〜４e 映像再生装置
５a〜５e プロジェクター
６ 再生制御装置
Ｓ 投影システム

Claims (6)

1. 配置された複数の異なる位置からそれぞれの方向にある投影面に画像を投影する複数の投影装置と、少なくとも１台の位置検出装置とを備える投映システムに用いられる制御装置であって、
   前記位置検出装置の検出結果から、前記複数の投影装置から投影面までの範囲の３次元空間にいる人物の複数の部位の位置を含む部位情報を取得する取得手段と、
   前記取得手段により取得された部位情報に基づいて、前記人物の頭部の３次元モデルを生成する生成手段と、
   前記取得手段により取得された部位情報から、前記人物の視線方向を特定する特定手段と、
   前記生成手段により生成された頭部の３次元モデルの表面に、前記特定手段により特定された視線方向の領域を含む投影制限領域を設定する設定手段と、
   前記設定手段により設定された前記３次元モデルの前記投影制限領域を、前記複数の投影装置それぞれの位置を基準として、前記複数の投影装置それぞれが画像を投影する２次元平面ごとに投影変換する変換手段と、
   前記変換手段により前記投影制限領域が投影変換された前記２次元平面に投影する前記投影装置により投影される画像の投影条件を決定する決定手段と、
   を備えることを特徴とする制御装置。
2. 前記設定手段は、前記視線方向を基準とする前記人物の視界の範囲を、前記３次元モデルの表面に投影制限領域として設定することを特徴とする請求項１に記載の制御装置。
3. 前記取得手段は、前記人物の頭部の位置と、前記人物の右肩部の位置と、前記人物の左肩部の位置とを含む前記部位情報を取得するものであり、
   前記部位情報の中で、前記人物の頭部に対応する前記部位情報と、前記人物の右肩部に対応する前記部位情報と、前記人物の左肩部に対応する前記部位情報とに基づいて、法線ベクトルを算出する算出手段を更に備え、
   前記特定手段は、前記算出手段により算出された法線ベクトルの方向を前記視線方向として特定することを特徴とする請求項１または２に記載の制御装置。
4. 前記部位情報は、前記部位の回転角であって、前記部位に連結される他の部位を基準とする回転角を含み、
   前記部位情報のそれぞれに含まれる前記回転角に基づいて、前記頭部の回転角を算出する算出手段を更に備え、
   前記特定手段は、前記算出手段により算出された回転角から前記視線方向を特定することを特徴とする請求項１または２に記載の制御装置。
5. 配置された複数の異なる位置からそれぞれの方向にある投影面に画像を投影する複数の投影装置と、少なくとも１台の位置検出装置とを備える投映システムに用いられる制御装置に用いられるコンピュータに実行させるプログラムであって、
   前記位置検出装置の検出結果から、前記複数の投影装置から投影面までの範囲の３次元空間にいる人物の複数の部位の位置を含む部位情報を取得する取得ステップと、
   前記取得ステップにより取得された部位情報に基づいて、前記人物の頭部の３次元モデルを生成する生成ステップと、
   前記取得ステップにより取得された部位情報から、前記人物の視線方向を特定する特定ステップと、
   前記生成ステップにより生成された頭部の３次元モデルの表面に、前記特定ステップにより特定された視線方向の領域を含む投影制限領域を設定する設定ステップと、
   前記設定ステップにより設定された前記３次元モデルの前記投影制限領域を、前記複数の投影装置それぞれの位置を基準として、前記複数の投影装置それぞれが画像を投影する２次元平面ごとに投影変換する変換ステップと、
   前記変換ステップにより前記投影制限領域が投影変換された前記２次元平面に投影する前記投影装置により投影される画像の投影条件を決定する決定ステップと、
   をコンピュータに実行させることを特徴とするプログラム。
6. 配置された複数の異なる位置からそれぞれの方向にある投影面に画像を投影する複数の投影装置と、少なくとも１台の位置検出装置とを備える投映システムであって、
   前記投映システムが備える制御装置は、
   前記位置検出装置の検出結果から、前記複数の投影装置から投影面までの範囲の３次元空間にいる人物の複数の部位の位置を含む部位情報を取得する取得手段と、
   前記取得手段により取得された部位情報に基づいて、前記人物の頭部の３次元モデルを生成する生成手段と、
   前記取得手段により取得された部位情報から、前記人物の視線方向を特定する特定手段と、
   前記生成手段により生成された頭部の３次元モデルの表面に、前記特定手段により特定された視線方向の領域を含む投影制限領域を設定する設定手段と、
   前記設定手段により設定された前記３次元モデルの前記投影制限領域を、前記複数の投影装置それぞれの位置を基準として、前記複数の投影装置それぞれが画像を投影する２次元平面ごとに投影変換する変換手段と、
   前記変換手段により前記投影制限領域が投影変換された前記２次元平面に投影する前記投影装置により投影される画像の投影条件を決定する決定手段と、
   を備えることを特徴とする投影システム。