JP6398938B2 - 投影制御装置、及びプログラム - Google Patents

Description

本発明は、投影面に映像を投影する投影システムの技術分野に関する。

従来、人物の頭上に方向センサーとプロジェクターとを備えたヘルメットが装着され、方向センサーによりその人物の頭の向きを検出して、プロジェクターによりその方向にある周囲の映像を投射する技術が知られている（例えば、特許文献１）。

特開平６−１６７６８７号公報

ところで、プロジェクターにより投影面に投影される映像に対し、別の画像として、人物の視線方向の位置に文字を投影したい場合、特許文献１に開示されたように、視聴者である人物がプロジェクターを装着すると、位置や姿勢などの人物の状態に関係なく、人物の頭部の動きに合わせて文字が投影されてしまい、人物が視る文字の視認性が悪い。

本発明は、以上の点に鑑みてなされたものであり、視聴者がプロジェクターを装着することなく、投影される映像に対し、人物の位置及び姿勢に応じた視線方向の位置に文字等の表示オブジェクトを表示させることが可能な投影制御装置、及びプログラムを提供する。

上記課題を解決するために、請求項１に記載の発明は、所定の３次元空間にいる人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を特定する特定手段と、前記特定手段により特定された人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第１の表示オブジェクトの位置及びサイズを決定する決定手段と、前記決定手段により決定された位置及びサイズで、前記第１の表示オブジェクトを前記投影装置により投影される映像上に合成する合成手段と、前記第１の表示オブジェクトが合成された映像を前記投影面に投影させる投影制御手段と、を備え、前記第１の表示オブジェクトが合成された映像が投影された後、前記特定手段は、前記人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を新たに特定し、前記決定手段は、前記特定手段により新たに特定された人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、前記投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第２の表示オブジェクトの位置及びサイズを新たに決定し、前記合成手段は、前記第１の表示オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量が閾値以上である場合、または前記人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上である場合、前記決定手段により新たに決定された位置及びサイズで、前記第２の表示オブジェクトを、前記第１の表示オブジェクトが合成された前記映像上に合成し、前記投影制御手段は、前記第１の表示オブジェクトと前記第２の表示オブジェクトとが合成された映像を前記投影面に投影させることを特徴とする。

請求項２に記載の発明は、所定の３次元空間にいる人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を所定時間間隔で特定する特定手段と、前記特定手段により人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第１の表示オブジェクトの位置及びサイズを所定時間間隔で複数回決定する決定手段と、前記決定手段により決定された複数回分の位置及びサイズに対応する値の平均値にしたがって、前記第１の表示オブジェクトを前記投影装置により投影される映像上に合成する合成手段と、前記第１の表示オブジェクトが合成された映像を前記投影面に投影させる投影制御手段と、を備え、前記第１の表示オブジェクトが合成された映像が投影された後、前記特定手段は、前記人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を新たに特定し、前記合成手段は、前記第１の表示オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量が閾値以上である場合、または前記人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上である場合、前記決定手段により決定された最新の位置及びサイズで、前記第１の表示オブジェクトとは異なる第２の表示オブジェクトを、前記第１の表示オブジェクトが合成された前記映像上に合成し、前記投影制御手段は、前記第１の表示オブジェクトと前記第２の表示オブジェクトとが合成された映像を前記投影面に投影させることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の投影制御装置において、前記第１の表示オブジェクトと前記第２の表示オブジェクトとが合成された映像が投影されてから所定時間後に、前記第１の表示オブジェクトを前記映像から削除する削除手段を更に備え、前記投影制御手段は、前記第１の表示オブジェクトが削除され、且つ、前記第２の表示オブジェクトが合成された映像を前記投影面に投影させることを特徴とする。

請求項４に記載の発明は、請求項１または２に記載の投影制御装置において、前記第１の表示オブジェクトには、前記映像に合成されてから削除されるまでの投影継続時間が対応付けられ、前記第１の表示オブジェクトが合成された映像が投影されてから前記投影継続時間後に、前記第１の表示オブジェクトを前記映像から削除する削除手段と、前記第１の表示オブジェクトが合成された映像が投影された後、前記第１の表示オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量または前記３次元空間にいる前記人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が、所定時間以上継続して閾値未満である場合、前記第１の表示オブジェクトに対応付けられている前記投影継続時間を延長する延長手段と、を備えることを特徴とする。

請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の投影制御装置において、前記第１の表示オブジェクトには、前記投影面への投影タイミングが対応付けられており、前記合成手段は、前記投影タイミングが到来したときに、前記第１の表示オブジェクトを前記映像上に合成し、前記投影制御手段は、前記投影タイミングで前記第１の表示オブジェクトが合成された映像を前記投影面に投影させることを特徴とする。

請求項６に記載の発明は、所定の３次元空間にいる人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を特定する特定ステップと、前記特定ステップにおいて特定された人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第１の表示オブジェクトの位置及びサイズを決定する決定ステップと、前記決定ステップにおいて決定された位置及びサイズで、前記第１の表示オブジェクトを前記投影装置により投影される映像上に合成する合成ステップと、前記第１の表示オブジェクトが合成された映像を前記投影面に投影させる投影制御ステップと、をコンピュータに実行させるプログラムであって、前記第１の表示オブジェクトが合成された映像が投影された後、前記特定ステップにおいては、前記人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を新たに特定し、前記決定ステップにおいては、前記特定ステップにおいて新たに特定された人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、前記投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第２の表示オブジェクトの位置及びサイズを新たに決定し、前記合成ステップにおいては、前記第１の表示オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量が閾値以上である場合、または前記人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上である場合、前記決定ステップにおいて新たに決定された位置及びサイズで、前記第２の表示オブジェクトを、前記第１の表示オブジェクトが合成された前記映像上に合成し、前記投影制御ステップにおいては、前記第１の表示オブジェクトと前記第２の表示オブジェクトとが合成された映像を前記投影面に投影させることを特徴とする。請求項７に記載の発明は、所定の３次元空間にいる人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を所定時間間隔で特定する特定ステップと、前記特定ステップにおいて特定された人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第１の表示オブジェクトの位置及びサイズを所定時間間隔で複数回決定する決定ステップと、前記決定ステップにおいて決定された複数回分の位置及びサイズに対応する値の平均値にしたがって、前記第１の表示オブジェクトを前記投影装置により投影される映像上に合成する合成ステップと、前記第１の表示オブジェクトが合成された映像を前記投影面に投影させる投影制御ステップと、をコンピュータに実行させるプログラムであって、前記第１の表示オブジェクトが合成された映像が投影された後、前記特定ステップにおいては、前記人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を新たに特定し、前記合成ステップにおいては、前記第１の表示オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量が閾値以上である場合、または前記人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上である場合、前記決定ステップにおいて決定された最新の位置及びサイズで、前記第１の表示オブジェクトとは異なる第２の表示オブジェクトを、前記第１の表示オブジェクトが合成された前記映像上に合成し、前記投影制御ステップにおいては、前記第１の表示オブジェクトと前記第２の表示オブジェクトとが合成された映像を前記投影面に投影させることを特徴とする。

請求項１、６に記載の発明によれば、投影される映像において人物の視線方向の位置に表示オブジェクトを、視認性を保って的確に投影させることができ、人物の視野範囲が短時間で大きく変化した場合であっても、変化した後の視野範囲に迅速に対応でき、変化した後の視野範囲における表示オブジェクトの視認性を向上させることができる。

請求項２、７に記載の発明によれば、投影される映像において人物の視線方向の位置に表示オブジェクトを、視認性を保って的確に投影させることができ、表示オブジェクトの移動平均を用いた場合において、人物の視野範囲が短時間で大きく変化した場合であっても、変化した後の視野範囲に迅速に対応でき、変化した後の視野範囲における表示オブジェクトの視認性を向上させることができる。

請求項３に記載の発明によれば、人物の視野範囲が短時間で大きく変化した後、さらに変化した場合であっても、人物により視認される必要性が低い視野範囲における表示オブジェクトを迅速に削除することができる。

請求項４に記載の発明によれば、人物の視線が留まる時間が長い視野範囲ほど表示オブジェクトの視認性を、より向上することができる。

請求項５に記載の発明によれば、表示オブジェクトに対応付けられた投影タイミングで効果的に、この表示オブジェクトが合成された映像を投影面に投影させることができる。

（Ａ）は、本実施形態の投影システムＳの概要構成例を示す図である。（Ｂ）は、投影システムＳが利用される部屋の上方から見た部屋内に配置された装置の位置関係の一例を表す図である。 人物の視野、視野角、及び視野範囲を示す概念図である。 仮想的な３次元空間の投影面において人物の視野範囲の例を示す概念図である。 （Ａ）は、仮想的な３次元空間の投影面に投影された映像に１つの歌詞オブジェクトが合成された例を示す概念図である。（Ｂ）は、仮想的な３次元空間の投影面に投影された映像と歌詞オブジェクトを、プロジェクター５a〜５cそれぞれの位置を基準とする２次元平面座標系に投影変換した例を示す概念図である。 実施例１において、制御部５３により実行される投影制御処理の一例を示すフローチャートである。 実施例２において、制御部５３により実行される投影制御処理の一例を示すフローチャートである。 （Ａ）は、仮想的な３次元空間の投影面に投影された映像に２つの歌詞オブジェクトが合成された例を示す概念図である。（Ｂ）は、仮想的な３次元空間の投影面に投影された映像に合成された２つの歌詞オブジェクトのうち、１つの歌詞オブジェクトが削除されたときの例を示す概念図である。

以下、本発明の実施形態を図面に基づいて説明する。

［１．投影システムの構成及び動作概要］
はじめに、図１等を参照して、本実施形態の投影システムＳの構成及び動作概要について説明する。投影システムＳは、図１（Ａ）に示すように、表示・操作デバイス１、楽曲再生装置２、カメラ３、映像再生装置４a〜４c、プロジェクター５a〜５c、及び再生制御装置６等を備えて構成される。ここで、プロジェクター５a〜５cは、投影装置の一例である。再生制御装置６は、投影制御装置の一例である。投影システムＳは、例えばカラオケ店舗等のアミューズメント施設における部屋で利用される。表示・操作デバイス１、楽曲再生装置２、及びカメラ３は、それぞれ、有線または無線を介して再生制御装置６と接続される。映像再生装置４a〜４cは、それぞれ、有線ＬＡＮ（Local AreaNetwork）または無線ＬＡＮ、及びハブ等を介して再生制御装置６と接続される。プロジェクター５a〜５cは、それぞれ、有線または無線を介して映像再生装置４a〜４cと接続される。また、楽曲再生装置１と再生制御装置６の少なくとも何れか一方には、有線または無線を介してマイクＭ、及びスピーカＳＰが接続される。

表示・操作デバイス１は、ユーザから操作指示を受け付け、その操作指示を示す指示信号を再生制御装置６へ出力する機器である。表示・操作デバイス１には、例えば、表示画面を備えるタッチパネルディスプレイが用いられる。表示・操作デバイス１は、例えば、楽曲再生装置２のリモコンであってもよい。表示・操作デバイス１は、楽曲再生装置２で再生する楽曲の選択候補となる楽曲のタイトル等や、プロジェクター５a〜５cで投影する映像の選択候補となる映像のタイトル等を表示画面に表示する。映像には、静止画像と動画像とがある。動画像は、例えば複数の静止画像の画像フレームが時系列で切り替えられることで表示される。映像の例として、風景映像、アーティストのプロモーション映像、企業または商品の広告映像などが挙げられる。表示・操作デバイス１は、ユーザからの操作指示に応じて選択された楽曲の楽曲ＩＤ（識別情報）及び再生指示を再生制御装置６へ送信する。再生制御装置６へ送信された楽曲ＩＤ及び再生指示は、例えば、再生制御装置６から楽曲再生装置２へ送信される。こうして、再生指示された楽曲が楽曲再生装置２により再生される。なお、表示・操作デバイス１は、例えば、選択された楽曲の楽曲ＩＤを楽曲再生装置２へ送信してもよい。

また、表示・操作デバイス１は、ユーザからの操作指示に応じて選択された映像の映像ＩＤ（識別情報）及び投影指示を再生制御装置６へ送信する。再生制御装置６へ送信された映像ＩＤが示す映像データ及び投影指示は、再生制御装置６から映像再生装置４a〜４cへ送信される。こうして、投影指示された映像が映像再生装置４a〜４cにより再生され、プロジェクター５a〜５cにより投影面に投影される。なお、再生制御装置６へ送信された楽曲ＩＤが示す楽曲に対応する映像データ及び投影指示が、再生制御装置６から映像再生装置４a〜４cへ送信されてもよい。また、楽曲再生装置２により楽曲が再生中である場合、その楽曲の歌詞オブジェクト（表示オブジェクトの一例）が再生制御装置６により映像に合成される。これにより、歌詞オブジェクトが合成された映像が映像再生装置４a〜４cにより再生され、プロジェクター５a〜５cにより投影面に投影される。歌詞オブジェクトは、例えば楽曲の歌詞を表示する歌詞テロップの画像である。

楽曲再生装置２は、カラオケ等の楽曲を再生する装置である。楽曲再生装置２は、複数の楽曲ファイルを記憶部に記憶する。楽曲ファイルは、楽曲の楽曲データを格納する。各楽曲ファイルには、例えば、楽曲の楽曲ＩＤが対応付けられる。楽曲再生装置２は、表示・操作デバイス１または再生制御装置６から送信された楽曲ＩＤ及び再生指示を受信すると、再生指示された楽曲を再生し、そのオーディオ信号をスピーカＳＰへ出力する。ユーザは、楽曲再生装置２による楽曲の再生中に、投影面に投影された歌詞オブジェクトを見ながら、マイクＭを持って歌唱することができる。この場合、楽曲再生装置２は、楽曲のオーディオ信号と、マイクＭにより集音されたユーザの歌唱音声信号とをミキシングしてスピーカＳＰへ出力する。

カメラ３には、例えば、ＲＧＢカメラ及び深度カメラが用いられる。カメラ３は、ＲＧＢカメラにより、その画角に収まる撮像範囲を連続的に撮像することでＲＧＢ画像を連続的に取得する。深度カメラは、赤外線レーザなどによる深度センサーである。カメラ３は、深度カメラにより、その画角に収まる撮像範囲を連続的に撮像することでデプス画像を連続的に取得する。デプス画像は、カメラ３の撮像範囲内の３次元空間における投影面上の各位置の３次元位置座標（Ｘ，Ｙ，Ｚ）を示す。例えば、図１（Ｂ）の場合、カメラ３の撮像範囲内の３次元空間には人物（例えば、歌詞オブジェクトを見ながら歌唱するユーザ）が存在するので、デプス画像は、カメラ３の撮像範囲内の３次元空間にいる人物の表面上の各位置の３次元位置座標、及び人物の背景にある壁面ａ〜ｃ上の各位置の３次元位置座標を示す。また、図１（Ｂ）の例の場合、カメラ３は、取得したデプス画像から人物を検出（認識）し、検出した人物の輪郭や骨格を形成する各部位の位置を示す部位情報を取得する。カメラ３は、上記取得したＲＧＢ画像、上記取得したデプス画像、及び上記検出した人物の部位情報を連続的に再生制御装置６へ送信する。なお、再生制御装置６が、デプス画像から人物を検出し、検出した人物の部位情報を取得してもよい。

人物の部位情報は、例えば、人物の輪郭や骨格を形成する部位毎に、３次元位置座標（Ｘ，Ｙ，Ｚ）が対応付けられた情報であり、デプス画像に示される各位置までの深度から特定することが可能である。具体的には、深度カメラにより取得された各位置までの深度を、人物の輪郭や骨格を形成する各部位の位置を判断するための人物位置パターンデータと比較することにより、人物の輪郭や骨格を形成する各部位が特定される。人物位置パターンデータは、例えば、予め所定のデータベース等に記憶された多数の種類の人物位置パターンから、デプス画像に示される各位置の深度に応じた所定のパターンデータを読み出して用いられる。人物の輪郭や骨格を形成する各部位の例として、頭部、左肩部、右肩部、左肘部、右肘部、左手部、右手部、首部、胴部、腰部、左尻部、右尻部、左膝部、右膝部、左足部、及び右足部等が挙げられる。このような部位情報には、部位の回転角Θが含まれる。部位の回転角Θとは、その部位に連結される他の部位を基準とする回転角Θである。もしくは、部位の回転角Θとは、その部位と間接的に連結される特定の部位の位置を基準とした回転角Θであってもよい。例えば、頭部の回転角Θは、頭部に連結される首部を基準とする回転角Θである。首部の回転角Θは、首部に連結される胴部を基準とする回転角Θである。回転角Θを含む部位情報は（Ｘ，Ｙ，Ｚ，Θ）というように表される。なお、人物の頭部の部位情報は、人物の頭を球体としたときの中心座標を示してもよいし、人物の頭の表面上にある複数の部位それぞれの位置座標を示してもよい。

映像再生装置４a〜４cは、投影対象の映像を再生する装置である。映像再生装置４a〜４cは、それぞれ、再生制御装置６から送信された映像データ及び投影指示を受信すると、投影指示された映像を再生し、その画像信号をプロジェクター５a〜５cへ出力する。プロジェクター５a〜５cは、映像再生装置４a〜４cにより再生出力された画像信号に応じた投影光を発光部から発することにより映像を出力する。これにより、プロジェクター５a〜５cは、その投影角に収まる投影範囲の投影面に映像を投影する。図１（Ｂ）の例では、プロジェクター５aは、壁面ｂの一部及び壁面ｃの一部に映像を投影するように配置されている。プロジェクター５bは、壁面ａの一部、壁面ｂ、及び壁面ｃの一部に映像を投影するように配置されている。プロジェクター５cは、壁面ａの一部、及び壁面ｂの一部に映像を投影するように配置されている。このため、図１（Ｂ）の例では、人物及び壁面ａ〜ｃが投影面である。

また、図１（Ｂ）の例では、プロジェクター５a〜５c間で、映像が投影される投影面の一部が重複している。そのため、プロジェクター５a〜５cそれぞれから投影される映像の一部は重複している。しかし、映像が投影される投影面が、プロジェクター５a〜５c間で重複しないように、投影方向または投影角が設定されてもよい。また、プロジェクター５a〜５cは、それぞれ特定の１つの壁面に映像を投影するものであってもよい。また、投影面は、部屋の天井面及び床面にあってもよい。なお、図１（Ｂ）の例では、３つの映像再生装置４a〜４c、及び３つのプロジェクター５a〜５cを示しているが、映像再生装置とプロジェクターは、それぞれ、いくつであってもよい。また、図１（Ｂ）の例では、映像再生装置とプロジェクターとは１対１で対応しているが、１対Ｎ（Ｎは２以上の自然数）で対応してもよい。例えば、１つの映像再生装置に複数のプロジェクターが接続されてもよい。映像再生装置が１つである場合、映像再生装置が映像再生手段（ハードウェアまたはソフトウェアにより構成される）として再生制御装置６内に組み込まれていてもよい。また、カメラ３は、それぞれのプロジェクターと対応させて１対１で設けられてもよい。

再生制御装置６は、楽曲の再生制御、及び映像の投影制御等を行う装置である。再生制御装置６は、図１（Ａ）に示すように、ＩＦ６１a〜６１d、記憶部６２、及び制御部６３を備える。ＩＦ６１a〜６１d、記憶部６２、及び制御部６３は、バス６４に接続されている。ＩＦ６１aは、楽曲再生装置２と再生制御装置６との間のインターフェースである。ＩＦ６１bは、表示・操作デバイス１と再生制御装置６との間のインターフェースである。ＩＦ６１cは、カメラ３と再生制御装置６との間のインターフェースである。ＩＦ６１dは、ＬＡＮとのインターフェースである。記憶部６２は、例えばハードディスクドライブにより構成される。記憶部６２には、ＯＳ（Operating System）、及び本発明のプログラム等が記憶される。本発明のプログラムは、後述する投影制御処理をＣＰＵに実行させるプログラムである。投影制御処理は、プロジェクションマッピング処理ともいう。記憶部６２には、プロジェクター５a〜５cにより投影される映像の元データとなるオリジナル映像データを格納する映像ファイルを記憶する。

また、記憶部６２は、歌詞オブジェクトデータを楽曲ＩＤに対応付けて楽曲毎に記憶する。歌詞オブジェクトデータには、例えば、楽曲の歌詞を示す歌詞データ（テキストデータ）、及び歌詞オブジェクトの表示タイミング（投影タイミングの一例）を示す表示タイミングデータなどが含まれる。１つの楽曲の歌詞は複数のフレーズから構成されるため、歌詞オブジェクトデータはフレーズ毎に記憶される。１つのフレーズは、複数の文字列から構成される。なお、歌詞データは、楽曲の歌詞を表示する歌詞オブジェクトの画像データであってもよい。表示タイミングデータが示す表示タイミングは、例えば、楽曲の再生開始時点からの経過時間で表される。また、歌詞オブジェクトデータには、歌詞の歌唱位置を歌詞の文の表示色の変化により示す色変えタイミングを含んでもよい。

制御部６３は、コンピュータとしてのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部６３は、本発明の特定手段、決定手段、合成手段、削除手段、延長手段、及び投影制御手段の一例である。制御部６３は、本発明のプログラムに従って投影制御処理を実行する。具体的には。制御部６３は、所定の３次元空間にいる人物の頭の位置、姿勢、及び有効視野角を特定する。ここで、所定の３次元空間は、制御部６３により認識される仮想的な３次元空間であり、カメラ３から取得されたデプス画像が示す３次元位置座標から特定される。換言すると、この３次元空間は、人物が投影された映像を観察可能な範囲の３次元空間である。人物の頭の位置は、カメラ３から取得された「人物の頭の部位情報」が示す３次元位置座標により特定される。人物の有効視野角は、例えば予め記憶部６２に記憶された一般的な有効視野角から特定される。

人物の頭の姿勢は、例えば、人物の視線方向と、人物の視線方向に延びる軸を中心軸としたときに中心軸周りに頭が回転したときの回転角ψとにより特定される。この回転角ψは、人物が首を傾げたときを考慮したものである。これは、人物の視線方向が同じでも、回転角ψが異なると、後述する視野角が変化し視野範囲が変わるからである。ただし、人物の視線方向が同じで回転角ψが変化する場合の視野範囲の変化は少ないので、回転角ψを考慮しなくてもよい。この場合、人物の頭の姿勢は、例えば、人物の視線方向のみにより特定される。人物の視線方向は、人物の目の位置から垂直（例えば、顔の表面から垂直）に延びる法線ベクトルとすることができる。この法線ベクトルは、例えば、頭部の回転角Θから算出される。ここで、頭部の回転角Θは、頭部に連結される首部の回転角Θを基準として算出される。首部の回転角Θは、胴部ｉの回転角Θを基準とする回転角である。つまり、頭部の回転角Θは、他の部位の回転角Θに基づいて所定の演算により算出される。このため、より多くの部位（例えば、左足部及び右足部から頭部まで）の部位情報が得られれば、それだけ精度の高い回転角Θを得ることができ、その結果、上記法線ベクトルの精度も向上する。また、人物の目の位置は、人物の頭部から推定することができる。或いは、人物の頭部の部位情報が、人物の頭の表面上にある複数の部位それぞれの３次元位置座標を示し、例えば鼻等の顔の特定の部位の位置が特定可能であるとき、人物の目の位置は、鼻等の顔の特定の部位から推定することができる。また、この場合、上述した回転角ψも推定することができる。或いは、人物の目の位置は、カメラ３から取得されたＲＧＢ画像から人物の顔を検出することで推定することもできる。人物の顔の検出には、例えば、Viola-Jonesの検出アルゴリズム、または顔のパーツ（目，鼻，口）検出や肌色検出等のアルゴリズムが用いられる。或いは、人物の目の位置は、マイクＭ等の人物の所持物の位置から推定してもよい。なお、頭部、左肩部、及び右肩部の部位情報を用いて、頭部の位置と左肩部の位置との間のベクトルと、頭部の位置と右肩部の位置との間のベクトルとの外積を求めることで法線ベクトルを算出してもよい。

次に、制御部６３は、上記特定した人物の頭の位置、人物の姿勢、及び有効視野角から人物の視野範囲を特定する。ここで、人物の視野は、水平視野と鉛直視野から定まる。水平視野と鉛直視野には、それぞれ、図２（Ａ），（Ｂ）に示すように、人物の視線方向を基準として、安定注視野角により決まる安定注視野と、有効視野角により決まる有効視野と、弁別視野角により決まる弁別視野とがある。なお、有効視野角は、一般に、水平視野で例えば３０度、鉛直視野で例えば２０度が望ましいとされている。人物の視野は、人物の頭の姿勢によって変わる。例えば、図２（Ｃ）に示すように人物が上方を見上げたとき、図２（Ｄ）に示すように人物が下方を見下げたとき、人物が水平方向に左または右を向いたとき、さらには、人物が首を傾げたときに変わる。そして、投影面に投影される視野範囲は、図２（Ｆ）に示すように、人物の水平視野及び鉛直視野に収まる範囲となる。本実施形態では、制御部６３は、人物の頭の部位情報に基づき仮想的な３次元空間に配置された人物の頭の位置から投影面までの距離と、この人物の姿勢及び有効視野角とから、仮想的な３次元空間における投影面上の人物の視野範囲を特定する。このような人物の視野範囲は、仮想的な３次元空間に配置された人物の頭の位置から投影面までの距離が長いほど広くなる。図３（Ａ）の例では、人物の頭の位置Ｐ１は、人物の頭の位置Ｐ２よりも投影面までの距離が長い。そのため、位置Ｐ１に対応する投影範囲Ｈ１は、位置Ｐ２に対応する投影範囲Ｈ２より広くなっている。また、人物の視野範囲は、人物の視線方向の変化に応じて変化する。図３（Ｂ）の例では、人物の位置Ｐ１からの視線方向が人物の位置Ｐ３からの視線方向に変化している。このため、位置Ｐ１に対応する投影範囲Ｈ１は、位置Ｐ３に対応する投影範囲Ｈ３に移動している。

次に、制御部６３は、上記特定した人物の視野範囲内で、プロジェクター５a〜５cから映像が投影される投影面の少なくとも一部の領域に配置される歌詞オブジェクトの位置、姿勢及びサイズ（スケール）を決定する。ここで、プロジェクター５a〜５cから映像が投影される投影面は、仮想的な３次元空間における投影面として制御部６３により認識されている。歌詞オブジェクトの位置は、例えば、上述したように投影面上で特定された視野範囲の中心の３次元位置座標として決定される。歌詞オブジェクトの姿勢は、例えば歌詞オブジェクトの面（つまり、歌詞オブジェクトが配置される投影面）から垂直に延びる法線ベクトルとして決定される。なお、歌詞オブジェクトの姿勢は、必ずしも決定されなくてもよい。つまり、歌詞オブジェクトの位置及びサイズだけが決定されるように構成してもよい。歌詞オブジェクトのサイズは、歌詞オブジェクトの形状により異なる。歌詞オブジェクトの形状は特に限定されるものではないが、例えば矩形、円形、楕円形等に予め設定される。例えば、歌詞オブジェクトの形状が矩形である場合、歌詞オブジェクトが視野範囲内に収まるように、歌詞オブジェクトの幅及び高さがサイズとして決定される。また、例えば、歌詞オブジェクトの形状が円形である場合、歌詞オブジェクトが視野範囲内に収まるように、歌詞オブジェクトの半径がサイズとして決定される。なお、歌詞オブジェクトが視野範囲内に収まるようにとは、歌詞オブジェクトの全ての領域が視野範囲内に完全に収まらなくともよく、歌詞オブジェクトに表示される歌詞が視野範囲内に収まればよい。

次に、制御部６３は、上記決定した位置、姿勢及びサイズにしたがって、歌詞オブジェクトをプロジェクター５a〜５cにより投影される映像上に合成する。ここで、プロジェクター５a〜５cにより投影される映像は、投影指示された映像である。例えば、制御部６３は、図４（Ａ）に示すように、映像Ｖを仮想的な３次元空間における投影面に仮想的に投影し、投影された映像Ｖ上に、上記決定した位置、姿勢及びサイズの歌詞オブジェクトＯＢ１を配置（例えば重畳）することで映像Ｖ上に歌詞オブジェクトを合成する。この合成において、歌詞オブジェクトを映像Ｖに合わせて変形するように構成してもよい。

次に、制御部６３は、歌詞オブジェクトＯＢ１が合成された映像Ｖの映像データ及び投影指示を映像再生装置４a〜４cへ送信することで、このような映像Ｖをプロジェクター５a〜５cにより実際の投影面に投影させる。これにより、投影される映像において人物の視線方向の位置に歌詞オブジェクトを、視認性を保って的確に投影（表示）させることができる。なお、本実施形態では、映像Ｖは３つのプロジェクター５a〜５cにより投影される。このため、制御部６３は、歌詞オブジェクトＯＢ１が合成された映像Ｖから、プロジェクター５a〜５cそれぞれにより投影される３つの映像を生成する。また、歌詞オブジェクトＯＢ１が合成された映像Ｖは、３次元座標系で表される３次元データである。このため、制御部６３は、図４（Ｂ）に示すように、プロジェクター５a〜５cそれぞれに対応する３つの映像（３次元データ）を、プロジェクター５a〜５cそれぞれの位置（つまり、３次元空間における位置）を基準とする２次元平面座標系に投影変換してから、それぞれの映像の映像データを映像再生装置４a〜４cそれぞれへ送信することになる。例えば、制御部２３は、例えば射影変換するための行列を用いて、３次元座標系における映像の座標を、プロジェクター５a〜５cの２次元平面座標系の座標に投影変換する。

ところで、人物の視野範囲は、人物の頭の位置または人物の姿勢の変化に応じて変化する。このため、制御部６３は、所定時間間隔で特定した人物の頭の位置、人物の姿勢、及び有効視野角から、人物の視野範囲を所定時間間隔で特定するとよい。この場合、制御部６３は、人物の視野範囲を特定する度に、新たに特定した人物の視野範囲内で上記歌詞オブジェクトの位置、姿勢及びサイズを新たに決定する。そして、制御部６３は、既に合成されている歌詞オブジェクトＯＢ１に代えて、新たに決定した位置、姿勢及びサイズで歌詞オブジェクトを映像Ｖ上に合成することになる。これにより、人物の視野範囲の変化に応じて、プロジェクター５a〜５cにより投影される歌詞オブジェクトの投影位置は変化する。つまり、歌詞オブジェクトは、投影面に投影された映像上で移動することになる。しかし、人物によっては、常に頭を動かしている場合があり、この場合、人物の視野範囲の変化に応じて、投影される歌詞オブジェクトの投影位置が変化、つまり、歌詞オブジェクトが移動すると、その人物は却って歌詞を見難くなる。このため、人物の少しの動きが歌詞オブジェクトに反映されないように、歌詞オブジェクトの移動平均を用いるとよい。この場合、後述するように、制御部６３は、所定時間間隔で決定された複数回分の歌詞オブジェクトの位置、姿勢及びサイズに対応する値の平均値にしたがって歌詞オブジェクトを映像Ｖ上に配置することになる。これにより、歌詞オブジェクトの移動平均を用いることで歌詞の視認性を向上することができる。

［２．再生制御装置６の投影制御処理］
次に、本実施形態の再生制御装置６の投影制御処理について、実施例１と実施例２とに分けて説明する。なお、以下の説明では、投影制御処理の開始前または開始後に、再生制御装置６は、ユーザからの操作指示に応じて選択された楽曲の楽曲ＩＤ及び再生指示を表示・操作デバイス１から受信し、受信した楽曲ＩＤ及び再生指示を楽曲再生装置２へ送信することで、再生指示された楽曲が楽曲再生装置２により再生されるものとする。

（実施例１）
先ず、図５等を参照して、実施例１の投影制御処理について説明する。再生制御装置６の制御部６３は、例えば部屋に入ったユーザからの選択指示に応じて選択された映像Ｖの映像ＩＤ及び投影指示を、表示・操作デバイス１から受信した場合、図５に示す投影制御処理を開始する。このように、ユーザにより選択された映像が投影対象となる。或いは、投影対象となる映像Ｖは、再生指示された楽曲に対応する映像であってもよい。

図５に示す投影制御処理が開始されると、歌詞オブジェクトの位置、姿勢及びサイズを保持するためのキューがＲＡＭの所定領域に生成される。ここで、キューとは、先入れ先出し（First In First Out）方式で、Ｎ（Ｎは２以上の自然数）個のデータを保持するデータ構造（換言すると、テーブル）を意味する。本実施形態の場合、歌詞オブジェクトの位置、姿勢及びサイズの組が１つのデータとしてキューに保持される。

次いで、制御部６３は、カメラ３の撮像範囲内の３次元空間におけるデプス画像をカメラ３から取得し、取得したデプス画像に基づく仮想的な３次元空間における投影面に、投影対象となる映像Ｖを投影する（ステップＳ１）。次いで、制御部６３は、投影制御処理を終了するか否かを判定する（ステップＳ２）。例えば、制御部６３は、表示・操作デバイス１から終了指示を受信した場合、投影制御処理を終了すると判定し（ステップＳ２：ＹＥＳ）、図５に示す投影制御処理を終了する。一方、制御部３１は、投影制御処理を終了しないと判定した場合（ステップＳ２：ＮＯ）、ステップＳ３へ進む。

ステップＳ３では、制御部６３は、カメラ３の撮像範囲内の３次元空間における人物の部位情報等を取得する。次いで、制御部６３は、ステップＳ３で取得した人物の部位情報等から、上述したように、人物の頭の位置及び姿勢を取得する（ステップＳ４）。次いで、制御部６３は、ステップＳ４で取得した人物の頭の位置及び姿勢を、上記仮想的な３次元空間上の値に変換することで仮想的な３次元空間における人物の頭（例えば、目）の位置及び姿勢を特定し、且つ上述した有効視野角を特定する（ステップＳ５）。そして、制御部６３は、人物の頭の位置及び姿勢と、有効視野角とから、視野範囲を特定する。

次いで、制御部６３は、現在時刻において表示させる歌詞があるか否かを判定する（ステップＳ６）。例えば、制御部６３は、楽曲再生装置２により楽曲が再生中であるかを判定し、再生中である場合、再生中の楽曲の歌詞に対応する歌詞オブジェクトデータを記憶部６２から取得する。制御部６３は、取得した歌詞オブジェクトデータの表示タイミングデータを参照し、現在時刻が、表示タイミングデータが示す表示タイミングである場合、現在時刻において表示させる歌詞があると判定し（ステップＳ６：ＹＥＳ）、ステップＳ７へ進む。つまり、制御部６３は、取得した歌詞オブジェクトデータの歌詞データが示す歌詞を表示する歌詞オブジェクトＯＢ１に対応付けられる表示タイミングが到来したときに、以降の処理で、歌詞オブジェクトＯＢ１を映像Ｖ上に合成し、歌詞オブジェクトＯＢ１が合成された映像Ｖを投影面に投影させることになる。これにより、歌詞オブジェクトＯＢ１に対応付けられた表示タイミングで効果的に、この歌詞オブジェクトＯＢ１が合成された映像Ｖを投影面に投影させることができる。一方、制御部６３は、現在時刻において表示させる歌詞がないと判定した場合（ステップＳ６：ＮＯ）、ステップＳ１３へ進む。

ステップＳ７では、制御部６３は、ステップＳ５で特定した人物の頭（例えば、目）の位置、人物の姿勢、及び有効視野角から特定される人物の視野範囲内で、仮想的な３次元空間における投影面に配置される歌詞オブジェクトの位置、姿勢及びサイズ（スケール）を決定する。つまり、人物の頭（例えば、目）の位置、人物の姿勢、及び有効視野角より、それに最も相応しい歌詞オブジェクトの位置、姿勢及びサイズが仮想的な３次元空間上で決定される。次いで、制御部６３は、ステップＳ７で決定した位置、姿勢及びサイズの組を１つのデータとしてキューに追加する（ステップＳ８）。

次いで、制御部６３は、キューに保持されたデータの数がＮより大きいか否かを判定する（ステップＳ９）。制御部６３は、キューに保持されたデータの数がＮより大きいと判定した場合（ステップＳ９：ＹＥＳ）、キューから最も古いデータを削除し（ステップＳ１０）、ステップＳ１１へ進む。一方、制御部６３は、キューに保持されたデータの数がＮより大きくないと判定した場合（ステップＳ９：ＮＯ）、ステップＳ１１へ進む。

ステップＳ１１では、制御部６３は、キューに保持されたデータの平均値を、現在の歌詞オブジェクトの位置、姿勢及びサイズとして決定する。キューに保持されたデータの平均値とは、キュー内の位置、姿勢及びサイズそれぞれに対応する値の平均値である。つまり、歌詞オブジェクトの移動平均が算出される。次いで、制御部６３は、ステップＳ１１で決定した位置、姿勢及びサイズで上記取得した歌詞オブジェクトデータの歌詞データが示す歌詞を表示する歌詞オブジェクトＯＢ１（例えば画像）を生成し、図４（Ａ）に示すように、仮想的な３次元空間における投影面に投影された映像Ｖ上に、生成した歌詞オブジェクトＯＢ１を合成し（ステップＳ１２）、ステップＳ１６へ進む。

一方、ステップＳ１３では、制御部６３は、仮想的な３次元空間における投影面に投影された映像Ｖ上に配置された歌詞オブジェクトＯＢ１があるか否かを判定する。制御部６３は、映像Ｖ上に配置された歌詞オブジェクトＯＢ１があると判定した場合（ステップＳ１３：ＹＥＳ）、映像Ｖ上に配置された歌詞オブジェクトＯＢ１を仮想的な３次元空間上から削除し（ステップＳ１４）、ステップＳ１５へ進む。一方、制御部６３は、映像Ｖ上に配置された歌詞オブジェクトＯＢ１がないと判定した場合（ステップＳ１３：ＮＯ）、ステップＳ１５へ進む。ステップＳ１５では、制御部６３は、キューに保持されている全データを削除することでキューを空にし、ステップＳ１６へ進む。

ステップＳ１６では、制御部６３は、仮想的な３次元空間に投影された映像Ｖをプロジェクター５a〜５cそれぞれの位置を基準とする２次元平面座標系に投影変換し、それぞれの映像の映像データを映像再生装置４a〜４cそれぞれへ送信し、ステップＳ２に戻る。なお、ステップＳ１２で歌詞オブジェクトＯＢ１が映像Ｖに合成されている場合、歌詞オブジェクトＯＢ１が合成された映像Ｖがプロジェクター５a〜５cにより投影面に投影されることになる。

実施例１によれば、制御部６３は、人物の頭の位置、姿勢、及び有効視野角を所定時間間隔（つまり、ステップＳ２〜Ｓ１６のループ周期に基づく時間間隔）で特定し、特定した人物の頭の位置、姿勢、及び有効視野角から特定される人物の視野範囲内で、歌詞オブジェクトＯＢ１の位置、姿勢及びサイズを所定時間間隔で決定（上記ステップＳ７で決定）する。そして、制御部６３は、決定した複数回分の位置、姿勢及びサイズに対応する値の平均値にしたがって、歌詞オブジェクトＯＢ１を映像Ｖ上に合成し、歌詞オブジェクトＯＢ１が合成された映像Ｖをプロジェクター５a〜５cにより投影面に投影させる。このように、歌詞オブジェクトＯＢ１の移動平均を用いることで歌詞の視認性を向上することができる。

（実施例２）
次に、図６等を参照して、実施例２の投影制御処理について説明する。実施例１では、歌詞オブジェクトの移動平均を用いることで歌詞の視認性を向上することができる。しかし、実施例１の投影制御処理では、人物の視野範囲が短時間（例えば、１秒以内）で大きく変化した場合、歌詞オブジェクトは急な動きに追従できず、歌詞オブジェクトの動きが緩慢になってしまう。一方、人物の視野範囲が短時間で大きく変化した場合に、直ぐに歌詞オブジェクトの表示位置を切り換えてしまうと、人物が視線を一瞬動かしただけでも、歌詞オブジェクトの表示と非表示が行われるため、却って歌詞の視認性が低下してしまう可能性がある。

このような点を改善するため、実施例２では、歌詞オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量が閾値以上である場合、または人物の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上である場合、新たな歌詞オブジェクトが生成され、生成された新たな歌詞オブジェクトが既に生成されている歌詞オブジェクトと共に映像上に合成される。つまり、実施例２では、実施例１で説明したキューを複数個生成可能とし、キューの数だけ歌詞オブジェクトが生成及び投影されるようになっている。また、生成された各歌詞オブジェクトには、映像に合成されてから削除されるまでの投影継続時間である寿命パラメータが対応付けられる。なお、以下に説明する投影制御処理では、歌詞オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量を例にとって説明する。

図６に示す投影制御処理は、実施例１と同様、表示・操作デバイス１から映像Ｖの映像ＩＤ及び投影指示が受信された場合に開始される。図６に示す投影制御処理が開始されると、制御部６３は、仮想的な３次元空間における投影面に、投影対象となる映像Ｖを投影する（ステップＳ２１）。次いで、制御部６３は、投影制御処理を終了するか否かを判定し（ステップＳ２２）、投影制御処理を終了しないと判定した場合（ステップＳ２２：ＮＯ）、ステップＳ２３へ進む。

ステップＳ２３では、制御部６３は、カメラ３の撮像範囲内の３次元空間における人物の部位情報等を取得する。次いで、制御部６３は、ステップＳ２３で取得した人物の部位情報等から、人物の頭の位置及び姿勢を取得する（ステップＳ２４）。次いで、制御部６３は、ステップＳ２４で取得した人物の頭の位置及び姿勢を、上記仮想的な３次元空間上の値に変換することで仮想的な３次元空間における人物の頭の位置及び姿勢を特定し、且つ上述した有効視野角を特定する（ステップＳ２５）。そして、制御部６３は、人物の頭の位置及び姿勢と、有効視野角とから、視野範囲を特定する。

次いで、制御部６３は、前回の処理で映像Ｖ上に配置された歌詞オブジェクトがあるか否かを判定する（ステップＳ２６）。制御部６３は、前回の処理で映像Ｖ上に配置された歌詞オブジェクトがあると判定した場合（ステップＳ２６：ＹＥＳ）、ステップＳ２７へ進む。一方、制御部６３は、前回の処理で映像Ｖ上に配置された歌詞オブジェクトがないと判定した場合（ステップＳ２６：ＮＯ）、ステップＳ２８へ進む。ステップＳ２７では、制御部６３は、前回の処理で映像Ｖ上に配置された全ての歌詞オブジェクトを仮想的な３次元空間上から削除し、ステップＳ２８へ進む。

ステップＳ２８では、制御部６３は、現在時刻において表示させる歌詞があるか否かを判定する。制御部６３は、現在時刻において表示させる歌詞があると判定した場合（ステップＳ２８：ＹＥＳ）、ステップＳ２９へ進む。一方、制御部６３は、現在時刻において表示させる歌詞がないと判定した場合（ステップＳ２８：ＮＯ）、ステップＳ４７へ進む。

ステップＳ２９では、制御部６３は、ステップＳ２５で特定した人物の頭（例えば、目）の位置、人物の姿勢、及び有効視野角から特定される人物の視野範囲内で、仮想的な３次元空間における投影面に配置される歌詞オブジェクトの位置、姿勢及びサイズ（スケール）を決定する。歌詞オブジェクトの位置は、例えば、人物の頭の座標から決定される。歌詞オブジェクトの姿勢は、例えば、人物の姿勢から決定される。歌詞オブジェクトのサイズ（スケール）は、例えば、人物の有効視野角から決定される。これらは、予め、人物の頭の位置、人物の姿勢、及び有効視野角に応じて歌詞オブジェクトの位置、姿勢及びサイズ（スケール）が定められたテーブルにより定められてもよい。

次いで、制御部６３は、キューが１つ以上あるか否かを判定する（ステップＳ３０）。制御部６３は、キューが１つ以上あると判定した場合（ステップＳ３０：ＹＥＳ）、ステップＳ３１へ進む。一方、制御部６３は、キューがないと判定した場合（ステップＳ３０：ＮＯ）、ステップＳ３４へ進む。

ステップＳ３１では、制御部６３は、キューに保持されているデータの平均値をキュー毎に算出し、ステップＳ３２へ進む。キューに保持されているデータの平均値とは、キュー内の位置、姿勢及びサイズそれぞれに対応する値の平均値である。なお、キューに保持されているデータの平均値は、キュー内の位置、姿勢、及びサイズの少なくとも何れか一つに対応する値との平均値であってもよい。

ステップＳ３２では、制御部６３は、ステップＳ２９で決定した位置、姿勢及びサイズの少なくとも何れか一つに対応する値と、ステップＳ３１で算出した平均値との誤差をキュー毎に算出する。この誤差は、歌詞オブジェクトの位置、姿勢及びサイズが前回の処理から変化した変化量である。例えば、制御部６３は、位置に対応する値の差の２乗と、姿勢に対応する値の差の２乗と、サイズに対応する値の差の２乗との総和の平方根を上記誤差として算出するとよい。

次いで、制御部６３は、ステップＳ３２で算出した誤差が閾値未満（閾値以下としてもよい）のキューがあるか否かを判定する（ステップＳ３３）。制御部６３は、誤差が閾値未満のキューがないと判定した場合（ステップＳ３３：ＮＯ）、ステップＳ３４へ進む。つまり、誤差が閾値以上のキューがある場合、ステップＳ３４へ進む。ここで、誤差が閾値以上とは、歌詞オブジェクトの位置、姿勢及びサイズの少なくとも何れか一つに対応する値の前回処理からの変化量が閾値以上であることを意味する。換言すると、誤差が閾値以上とは、人物の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上であることを意味する。このような場合、例えば、図７（Ａ）に示すように、既に映像Ｖ上に配置されている歌詞オブジェクトＯＢ１（第１の表示オブジェクトの一例）に加えて、新たな歌詞オブジェクトＯＢ２（第２の表示オブジェクトの一例）がステップＳ３４以降の処理で生成され、生成された新たな歌詞オブジェクトＯＢ２が既に生成されている歌詞オブジェクトＯＢ１と共に映像Ｖ上に合成されることになる。これにより、人物の視野範囲が短時間で大きく変化した場合であっても、変化した後の視野範囲に迅速に対応でき、変化した後の視野範囲における歌詞の視認性を向上させることができる。一方、制御部６３は、誤差が閾値以下のキューがあると判定した場合（ステップＳ３３：ＹＥＳ）、ステップＳ３６へ進む。

ステップＳ３４では、制御部６３は、新たなキューを生成し、生成したキューの寿命パラメータに現在時刻に基づく初期値（例えば、現在時刻から数秒後の時刻）を設定する。ここで、生成されるキューは、１つ目のキュー、または２つ目以降のキューである。次いで、制御部６３は、ステップＳ３４で生成したキューを、今回処理対象のキューに設定し（ステップＳ３５）、ステップＳ３９へ進む。

一方、ステップＳ３６では、制御部６３は、ステップＳ３２で算出した誤差が閾値未満（閾値以下としてもよい）のキューが複数あるか否かを判定する。制御部６３は、誤差が閾値未満のキューが複数ない（つまり、１つだけある）と判定した場合（ステップＳ３６：ＮＯ）、ステップＳ３７へ進む。一方、制御部６３は、誤差が閾値未満のキューが複数あると判定した場合（ステップＳ３６：ＹＥＳ）、ステップＳ３８へ進む。

ステップＳ３７では、制御部６３は、誤差が閾値未満のキューを、今回処理対象のキューに設定し、ステップＳ３９へ進む。ステップＳ３８では、制御部６３は、誤差が閾値未満の複数のキューのうち誤差が最も小さいキューを、今回処理対象のキューに設定し、誤差が最も小さいキュー以外のキューを削除し、ステップＳ３９へ進む。

ステップＳ３９では、制御部６３は、ステップＳ２９で決定した位置、姿勢及びサイズの組を１つのデータとして、今回処理対象のキューに追加する。次いで、制御部６３は、今回処理対象のキューに保持されたデータの数がＮより大きいか否かを判定する（ステップＳ４０）。制御部６３は、今回処理対象のキューに保持されたデータの数がＮより大きいと判定した場合（ステップＳ４０：ＹＥＳ）、今回処理対象のキューから最も古いデータを削除し（ステップＳ４１）、ステップＳ４２へ進む。一方、制御部６３は、今回処理対象のキューに保持されたデータの数がＮより大きくないと判定した場合（ステップＳ４０：ＮＯ）、ステップＳ４２へ進む。

ステップＳ４２では、制御部６３は、今回処理対象のキューの寿命パラメータを一定時間延長する。ここで、今回処理対象のキューの寿命パラメータとは、今回処理対象のキュー内のデータにしたがって生成される歌詞オブジェクトに対応付けられている寿命パラメータである。なお、寿命パラメータが延長される対象となるキューは、ステップＳ３３で判定された誤差が所定時間以上継続して閾値未満であるキューに限るように構成することが望ましい。これにより、人物の視線が留まる時間が長い視野範囲ほど、この視野範囲における歌詞オブジェクトを長く表示させることができるので、歌詞の視認性を、より向上することができる。換言すると、人物の視線が留まる時間が短い視野範囲ほど、後述するステップＳ４４の処理で、この視野範囲における歌詞オブジェクトを迅速に削除することができる。また、一定時間は、例えば図６に示す処理においてステップＳ２２〜ステップＳ４８の１回の処理時間に応じて設定される。例えば、１回の処理時間が０．０２秒である場合、上記一定時間は、０．０２秒程度に設定される。

次いで、制御部６３は、今回処理対象のキュー以外で、寿命パラメータが示す時刻が到来したキューがあるか否かを判定する（ステップＳ４３）。制御部６３は、寿命パラメータが示す時刻が到来したキューがあると判定した場合（ステップＳ４３：ＹＥＳ）、寿命パラメータが示す時刻が到来したキューを削除し（ステップＳ４４）、ステップＳ４５へ進む。つまり、制御部６３は、例えば、図７（Ａ）に示すように、歌詞オブジェクトＯＢ１と歌詞オブジェクトＯＢ２とが合成された映像Ｖが投影されてから所定時間後に、図７（Ｂ）に示すように、歌詞オブジェクトＯＢ１を映像から削除する。これにより、人物の視野範囲が短時間で大きく変化した後、さらに変化した場合であっても、人物により視認される必要性が低い視野範囲における歌詞オブジェクトを迅速に削除することができる。また、人物の視野範囲が頻繁に変化することで歌詞オブジェクトの数が増えても、寿命パラメータによって時間経過に従い適切に減らすことができる。一方、制御部６３は、寿命パラメータが示す時刻が到来したキューがないと判定した場合（ステップＳ４３：ＮＯ）、ステップＳ４５へ進む。

ステップＳ４５では、制御部６３は、キューに保持されたデータの平均値を、現在の歌詞オブジェクトの位置、姿勢及びサイズとしてキュー毎に決定する。つまり、この時点で存在している全てのキューそれぞれについて、現在の歌詞オブジェクトの位置、姿勢及びサイズが決定される。次いで、制御部６３は、ステップＳ４５で決定した位置、姿勢及びサイズで歌詞オブジェクトをキュー毎に生成（つまり、キューの数だけ生成）し、仮想的な３次元空間における投影面に投影された映像Ｖ上に、生成した歌詞オブジェクトを合成し（ステップＳ４６）、ステップＳ４８へ進む。

一方、ステップＳ４７では、制御部６３は、全てのキュー、及びこれに対応する歌詞オブジェクトを削除し、ステップＳ４８へ進む。ステップＳ４８では、制御部６３は、仮想的な３次元空間に投影された映像Ｖをプロジェクター５a〜５cそれぞれの位置を基準とする２次元平面座標系に投影変換し、それぞれの映像の映像データを映像再生装置４a〜４cそれぞれへ送信し、ステップＳ２２に戻る。なお、ステップＳ４６で歌詞オブジェクトが映像Ｖに合成されている場合、歌詞オブジェクトが合成された映像Ｖがプロジェクター５a〜５cにより投影面に投影されることになる。

実施例２によれば、歌詞オブジェクトＯＢ１の位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量が閾値以上である場合、または人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上である場合、制御部６３は、上記ステップＳ２９で決定された最新の位置及びサイズで、歌詞オブジェクトＯＢ１とは異なる歌詞オブジェクトＯＢ２を、歌詞オブジェクトＯＢ１が合成された映像Ｖ上に合成し、歌詞オブジェクトＯＢ１と歌詞オブジェクトＯＢ２とが合成された映像Ｖをプロジェクター５a〜５cにより投影面に投影面に投影させる。このため、歌詞オブジェクトの移動平均を用いた場合において、人物の視野範囲が短時間で大きく変化した場合であっても、変化した後の視野範囲に迅速に対応でき、変化した後の視野範囲における歌詞オブジェクトの視認性を向上させることができる。

なお、実施例２においては、ステップＳ２５において、人物の頭の位置、姿勢及び有効視野角が特定された後、ステップＳ２９において、歌詞オブジェクトの位置、姿勢及びサイズが決定された後、キューに保存されているデータから誤差が閾値未満のキューがあるか否かを判断し、新たなキューを生成する処理を行われていた。しかしながら、人物の頭の位置、姿勢及び有効視野角が特定された後、ステップＳ２９において、歌詞オブジェクトの位置、姿勢及びサイズを決定せずに、キューに保存されているデータから、新たなキューを生成するか否かを判断し、判断結果に応じて新たなキューを生成する処理が行われてもよい。

以上説明したように、上記実施形態によれば、再生制御装置６は、所定の３次元空間にいる人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を特定し、特定した人物の頭の位置、人物の姿勢、及び有効視野角から人物の視野範囲内で、映像が投影される投影面の少なくとも一部の領域に配置される歌詞オブジェクトの位置、姿勢及びサイズを決定する。そして、再生制御装置６は、決定した位置、姿勢及びサイズで、歌詞オブジェクトをプロジェクター５a〜５cにより投影される映像上に合成し、歌詞オブジェクトが合成された映像を投影面に投影させるように構成したので、視聴者である人物がプロジェクターを装着することなく、投影される映像に対し、人物の位置及び姿勢に応じた視線方向の位置に歌詞オブジェクトを、視認性を保って的確に表示させることができる。また、本実施形態では、視聴者がプロジェクターを装着する必要がないので、例えば、視聴者の頭部の動きによるブレで文字等が見難くなることを防ぐことができる。

なお、上記実施形態においては、表示オブジェクトとして歌詞オブジェクトを例にとって説明したが、歌詞オブジェクト以外の、例えばメッセージやコメント等の表示物に対して適用することができる。

１ 表示・操作デバイス
２ 楽曲再生装置
３ カメラ
４a〜４e 映像再生装置
５a〜５e プロジェクター
６ 再生制御装置
Ｓ 投影システム

Claims (7)

1. 所定の３次元空間にいる人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を特定する特定手段と、
   前記特定手段により人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第１の表示オブジェクトの位置及びサイズを決定する決定手段と、
   前記決定手段により決定された位置及びサイズで、前記第１の表示オブジェクトを前記投影装置により投影される映像上に合成する合成手段と、
   前記第１の表示オブジェクトが合成された映像を前記投影面に投影させる投影制御手段と、
   を備え、
   前記第１の表示オブジェクトが合成された映像が投影された後、前記特定手段は、前記人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を新たに特定し、
   前記決定手段は、前記特定手段により新たに特定された人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、前記投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第２の表示オブジェクトの位置及びサイズを新たに決定し、
   前記合成手段は、前記第１の表示オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量が閾値以上である場合、または前記人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上である場合、前記決定手段により新たに決定された位置及びサイズで、前記第２の表示オブジェクトを、前記第１の表示オブジェクトが合成された前記映像上に合成し、
   前記投影制御手段は、前記第１の表示オブジェクトと前記第２の表示オブジェクトとが合成された映像を前記投影面に投影させることを特徴とする投影制御装置。
2. 所定の３次元空間にいる人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を所定時間間隔で特定する特定手段と、
   前記特定手段により人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第１の表示オブジェクトの位置及びサイズを所定時間間隔で複数回決定する決定手段と、
   前記決定手段により決定された複数回分の位置及びサイズに対応する値の平均値にしたがって、前記第１の表示オブジェクトを前記投影装置により投影される映像上に合成する合成手段と、
   前記第１の表示オブジェクトが合成された映像を前記投影面に投影させる投影制御手段と、
   を備え、
   前記第１の表示オブジェクトが合成された映像が投影された後、前記特定手段は、前記人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を新たに特定し、
   前記合成手段は、前記第１の表示オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量が閾値以上である場合、または前記人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上である場合、前記決定手段により決定された最新の位置及びサイズで、前記第１の表示オブジェクトとは異なる第２の表示オブジェクトを、前記第１の表示オブジェクトが合成された前記映像上に合成し、
   前記投影制御手段は、前記第１の表示オブジェクトと前記第２の表示オブジェクトとが合成された映像を前記投影面に投影させることを特徴とする投影制御装置。
3. 前記第１の表示オブジェクトと前記第２の表示オブジェクトとが合成された映像が投影されてから所定時間後に、前記第１の表示オブジェクトを前記映像から削除する削除手段を更に備え、
   前記投影制御手段は、前記第１の表示オブジェクトが削除され、且つ、前記第２の表示オブジェクトが合成された映像を前記投影面に投影させることを特徴とする請求項１または２に記載の投影制御装置。
4. 前記第１の表示オブジェクトには、前記映像に合成されてから削除されるまでの投影継続時間が対応付けられ、
   前記第１の表示オブジェクトが合成された映像が投影されてから前記投影継続時間後に、前記第１の表示オブジェクトを前記映像から削除する削除手段と、
   前記第１の表示オブジェクトが合成された映像が投影された後、前記第１の表示オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量または前記３次元空間にいる前記人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が、所定時間以上継続して閾値未満である場合、前記第１の表示オブジェクトに対応付けられている前記投影継続時間を延長する延長手段と、
   を備えることを特徴とする請求項１または２に記載の投影制御装置。
5. 前記第１の表示オブジェクトには、前記投影面への投影タイミングが対応付けられており、
   前記合成手段は、前記投影タイミングが到来したときに、前記第１の表示オブジェクトを前記映像上に合成し、
   前記投影制御手段は、前記投影タイミングで前記第１の表示オブジェクトが合成された映像を前記投影面に投影させることを特徴とする請求項１乃至４の何れか一項に記載の投影制御装置。
6. 所定の３次元空間にいる人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を特定する特定ステップと、
   前記特定ステップにおいて特定された人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第１の表示オブジェクトの位置及びサイズを決定する決定ステップと、
   前記決定ステップにおいて決定された位置及びサイズで、前記第１の表示オブジェクトを前記投影装置により投影される映像上に合成する合成ステップと、
   前記第１の表示オブジェクトが合成された映像を前記投影面に投影させる投影制御ステップと、
   をコンピュータに実行させるプログラムであって、
   前記第１の表示オブジェクトが合成された映像が投影された後、前記特定ステップにおいては、前記人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を新たに特定し、
   前記決定ステップにおいては、前記特定ステップにおいて新たに特定された人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、前記投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第２の表示オブジェクトの位置及びサイズを新たに決定し、
   前記合成ステップにおいては、前記第１の表示オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量が閾値以上である場合、または前記人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上である場合、前記決定ステップにおいて新たに決定された位置及びサイズで、前記第２の表示オブジェクトを、前記第１の表示オブジェクトが合成された前記映像上に合成し、
   前記投影制御ステップにおいては、前記第１の表示オブジェクトと前記第２の表示オブジェクトとが合成された映像を前記投影面に投影させることを特徴とするプログラム。
7. 所定の３次元空間にいる人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を所定時間間隔で特定する特定ステップと、
   前記特定ステップにおいて特定された人物の頭の位置、姿勢、及び有効視野角から特定される前記人物の視野範囲内で、投影装置から映像が投影される投影面の少なくとも一部の領域に配置される第１の表示オブジェクトの位置及びサイズを所定時間間隔で複数回決定する決定ステップと、
   前記決定ステップにおいて決定された複数回分の位置及びサイズに対応する値の平均値にしたがって、前記第１の表示オブジェクトを前記投影装置により投影される映像上に合成する合成ステップと、
   前記第１の表示オブジェクトが合成された映像を前記投影面に投影させる投影制御ステップと、
   をコンピュータに実行させるプログラムであって、
   前記第１の表示オブジェクトが合成された映像が投影された後、前記特定ステップにおいては、前記人物の頭の位置、姿勢、及び有効視野角から前記人物の視野範囲を新たに特定し、
   前記合成ステップにおいては、前記第１の表示オブジェクトの位置、姿勢、及びサイズの少なくとも何れか一つに対応する値の変化量が閾値以上である場合、または前記人物の頭の位置と姿勢の少なくとも何れか一方に対応する値の変化量が閾値以上である場合、前記決定ステップにおいて決定された最新の位置及びサイズで、前記第１の表示オブジェクトとは異なる第２の表示オブジェクトを、前記第１の表示オブジェクトが合成された前記映像上に合成し、
   前記投影制御ステップにおいては、前記第１の表示オブジェクトと前記第２の表示オブジェクトとが合成された映像を前記投影面に投影させることを特徴とするプログラム。