JP6269445B2 - 制御装置、プログラム、及び再生システム - Google Patents

Description

本発明は、楽曲を再生する再生システム等の技術分野に関する。

従来、例えば特許文献１に開示されるように、複数の監視カメラの各々で撮影された画像を解析して追跡対象の人物の位置を認識し、認識された位置を時系列に示す追跡データを記憶装置に記録する人物追跡システムが知られている。この人物追跡システムでは、処理装置が、追跡対象となる人物の特徴を示す特徴データを予め記録しておき、この基準となる特徴データと、複数の監視カメラのいずれかで撮影された画像に写された人物の特徴を示す特徴データと照合し、照合結果に基づいて上記画像に写された人物が追跡対象の人物である確度を計算する。そして、処理装置は、画像に写された人物に、計算した確度が所定の数値範囲の上限値より高い人物が含まれる場合、この人物が追跡対象の人物であると判断するように構成されている。

特開２００９−９８７７４号公報

特許文献１に記載された技術のように追跡対象の人物を判断する方法を用いて、追跡対象の人物の動作の変化を追跡することが可能である。追跡対象の人物の動作の変化を追跡する追跡方法として、追跡対象と判断された人物の特徴データを示す位置情報を、深度カメラ等の位置検出装置により時系列で検出し、検出された複数の位置情報を比較して追跡対象の人物を追跡する方法がある。この方法では、追跡対象の位置によっては、位置検出装置が、追跡対象の特徴データを位置情報として検出せず、追跡対象を正しく追跡できないことがある。例えば、追跡対象の動いた位置の近くに障害物があり、追跡対象と障害物との特徴量が類似する場合、位置検出装置により、障害物の位置情報が検出され、障害物の特徴量が追跡対象の特徴量であると推定されて、追跡対象の人物の代わりに、障害物が追跡対象であると誤認識されることがある。追跡対象が一旦誤認識されると、時系列で検出された複数の位置情報に、障害物の特徴量が含まれてしまう。そのため、追跡対象を追跡するための比較に必要な複数の位置情報に、誤認識された障害物の特徴量が、その後も正しい追跡対象であると推定された状態で維持されてしまう。その結果、追跡対象を正しく追跡できないという問題がある。

本発明は、以上の点に鑑みてなされたものであり、位置検出装置により時系列で検出された複数の位置情報を用いて行われる追跡の精度を向上させることが可能な制御装置、プログラム、及び再生システムを提供する。

上記課題を解決するために、請求項１に記載の発明は、追跡対象の位置情報を検出する位置検出装置から、所定の間隔ごとに前記位置情報を取得する取得手段と、前記取得手段により取得された位置情報を記憶する記憶手段と、前記記憶手段に記憶された位置情報と、前記記憶された位置情報の後に前記取得手段により取得された位置情報とを含む複数の前記位置情報を用いて前記追跡対象を追跡する追跡手段と、楽曲再生装置により再生される第１の楽曲の再生終了と、前記第１の楽曲の次に再生される第２の楽曲の再生開始とを検知する検知手段と、前記検知手段により前記再生終了が検知されてから前記検知手段により前記再生開始が検知されるまでの間、または、前記検知手段により前記再生開始が検知されてから所定時間内に、前記記憶手段に記憶された前記位置情報を削除する削除手段と、前記削除手段により前記位置情報が削除される場合、前記位置検出装置を再起動する指令を前記位置検出装置へ出力する出力手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の制御装置において、前記第１の楽曲の再生中に、前記第１の楽曲に対する所定の操作指示を検知する操作検知手段を更に備え、前記削除手段は、前記操作検知手段により前記操作指示が検知されたとき、前記記憶手段に記憶された前記位置情報を削除することを特徴とする。

請求項３に記載の発明は、追跡対象の位置情報を検出する位置検出装置から、所定の間隔ごとに前記位置情報を取得する取得手段と、前記取得手段により取得された位置情報を記憶する記憶手段と、前記記憶手段に記憶された位置情報と、前記記憶された位置情報の後に前記取得手段により取得された位置情報とを含む複数の前記位置情報を用いて前記追跡対象を追跡する追跡手段と、楽曲再生装置により再生される楽曲の再生中に、前記楽曲に対する所定の操作指示を検知する操作検知手段と、前記操作検知手段により前記操作指示が検知されたとき、前記記憶手段に記憶された前記位置情報を削除する削除手段と、前記削除手段により前記位置情報が削除される場合、前記位置検出装置を再起動する指令を前記位置検出装置へ出力する出力手段と、を備えることを特徴とする。

請求項４に記載の発明は、追跡対象の位置情報を検出する位置検出装置から、所定の間隔ごとに取得される前記位置情報を記憶する記憶手段を備えるコンピュータに実行させるプログラムであって、前記記憶手段に記憶された位置情報と、前記記憶された位置情報の後に取得された位置情報とを含む複数の前記位置情報を用いて前記追跡対象を追跡する追跡ステップと、楽曲再生装置により再生される第１の楽曲の再生終了と、前記第１の楽曲の次に再生される第２の楽曲の再生開始とを検知する検知ステップと、前記検知ステップにより前記再生終了が検知されてから前記検知ステップにより前記再生開始が検知されるまでの間、または、前記検知ステップにより前記再生開始が検知されてから所定時間内に、前記記憶手段に記憶された前記位置情報を削除する削除ステップと、前記削除ステップにより前記位置情報が削除される場合、前記位置検出装置を再起動する指令を前記位置検出装置へ出力する出力ステップと、をコンピュータに実行させることを特徴とする。

請求項５に記載の発明は、追跡対象の位置情報を検出する位置検出装置から、所定の間隔ごとに取得される前記位置情報を記憶する記憶手段を備えるコンピュータに実行させるプログラムであって、前記記憶手段に記憶された位置情報と、前記記憶された位置情報の後に取得された位置情報とを含む複数の前記位置情報を用いて前記追跡対象を追跡する追跡ステップと、楽曲再生装置により再生される楽曲の再生中に、前記楽曲に対する所定の操作指示を検知する操作検知ステップと、前記操作検知ステップにより前記操作指示が検知されたとき、前記記憶手段に記憶された前記位置情報を削除する削除ステップと、前記削除ステップにより前記位置情報が削除される場合、前記位置検出装置を再起動する指令を前記位置検出装置へ出力する出力ステップと、をコンピュータに実行させることを特徴とする。

請求項６に記載の発明は、楽曲を再生する楽曲再生装置と、追跡対象の位置情報を検出する位置検出装置と、前記追跡対象を追跡する制御装置と、を備える再生システムであって、前記制御装置は、前記位置検出装置から、所定の間隔ごとに前記位置情報を取得する取得手段と、前記取得手段により取得された位置情報を記憶する記憶手段と、前記記憶手段に記憶された位置情報と、前記記憶された位置情報の後に前記取得手段により取得された位置情報とを含む複数の前記位置情報を用いて前記追跡対象を追跡する追跡手段と、前記楽曲再生装置により再生される第１の楽曲の再生終了と、前記第１の楽曲の次に再生される第２の楽曲の再生開始とを検知する検知手段と、前記検知手段により前記再生終了が検知されてから前記検知手段により前記再生開始が検知されるまでの間、または、前記検知手段により前記再生開始が検知されてから所定時間内に、前記記憶手段に記憶された前記位置情報を削除する削除手段と、前記削除手段により前記位置情報が削除される場合、前記位置検出装置を再起動する指令を前記位置検出装置へ出力する出力手段と、を備えることを特徴とする。

請求項１、３〜６に記載の発明によれば、記憶手段に記憶された位置情報を削除するとともに、位置検出装置を再起動する指令を位置検出装置へ出力するので、位置検出装置により時系列で検出された複数の位置情報を用いて行われる追跡の精度を、より一層向上させることができる。

請求項２に記載の発明によれば、楽曲に対する所定の操作指示が検知されたときに、記憶手段に記憶された位置情報を削除するので、位置検出装置により時系列で検出された複数の位置情報を用いて行われる追跡の精度を向上させることができる。

本実施形態の再生システムＳの概要構成例を示す図である。 再生制御装置６の制御部６３により実行される制御処理の一例を示す図である。 デプス画像のフレームにおいて追跡対象が誤認識される様子の一例を示す概念図である。

以下、本発明の実施形態を図面に基づいて説明する。

［１．再生システムの構成及び動作概要］
始めに、図１を参照して、本発明の実施形態の再生システムＳの構成及び動作概要について説明する。図１は、本実施形態の再生システムＳの概要構成例を示す図である。再生システムＳは、図１に示すように、表示・操作デバイス１、楽曲再生装置２、位置検出デバイス３、映像再生装置４、プロジェクター５、及び再生制御装置６等を備えて構成される。再生制御装置６は、本発明の制御装置の一例である。再生システムＳは、例えばカラオケ店舗等のアミューズメント施設における部屋で利用される。表示・操作デバイス１には、表示画面を備えるタッチパネルディスプレイが用いられる。表示・操作デバイス１は、ユーザから、楽曲に関する所定の操作指示を受け付ける装置である。表示・操作デバイス１は、受け付けた操作指示に応じた情報を、楽曲再生装置２と再生制御装置６の少なくとも何れか一方へ送信する。表示・操作デバイス１は、例えば、楽曲再生装置２のリモコンであってもよい。楽曲再生装置２は、楽曲を再生する装置である。楽曲再生装置２の例として、例えばカラオケ店舗の部屋に設置されたカラオケコマンダが挙げられる。位置検出デバイス３は、部屋内で人物等の追跡対象の位置情報を検出する装置である。位置検出デバイス３は、位置検出装置の一例である。表示・操作デバイス１、楽曲再生装置２、及び位置検出デバイス３は、それぞれ、有線または無線を介して再生制御装置６と接続されている。表示・操作デバイス１は、楽曲再生装置２または再生制御装置６に組み込まれていてもよい。この場合、例えば、表示・操作デバイス１は、楽曲再生装置２または再生制御装置６と一体に形成された表示ディスプレイである。映像再生装置４は、有線ＬＡＮ（Local Area Network）または無線ＬＡＮ、及びハブ（HUB）等を介して再生制御装置６と接続されている。映像再生装置４は、再生制御装置６から受信する映像再生コマンドに従って、プロジェクター５に映像を投影させる装置である。プロジェクター５は、有線または無線を介して映像再生装置４と接続されている。プロジェクター５は、例えばカラオケ店舗の１部屋の壁面に映像を投影するように配置される。なお、図１の例では、１つの映像再生装置４及び１つのプロジェクター５を示しているが、映像再生装置４とプロジェクター５は、複数であってもよい。プロジェクター５が複数である場合、例えばカラオケ店舗の１部屋内に、各プロジェクター５それぞれが部屋の壁面の所定領域ごとを投影するように配置される。映像再生装置５が再生制御装置６内に組み込まれていてもよい。

表示・操作デバイス１は、プロジェクターで投影する映像の選択候補となる映像を示す映像情報、及び楽曲再生装置２で再生する楽曲の選択候補となる楽曲を示す楽曲情報を表示画面に表示する。選択候補として表示される映像情報には、例えば映像ＩＤ、映像名、及び映像中の１画像フレーム等が含まれる。選択候補として表示される楽曲情報には、例えば楽曲ＩＤ、楽曲名、アーティスト名、及び演奏時間等が含まれる。楽曲ＩＤは、例えば、曲番号から構成される。演奏時間とは、楽曲の再生開始から再生終了までの再生時間である。表示・操作デバイス１の表示画面には、１画面に複数の映像情報または複数の楽曲情報が同時に表示されてもよい。選択候補となる映像を示す映像情報、及び選択候補となる楽曲を示す楽曲情報は、例えば、再生制御装置６から送信され、表示・操作デバイス１の記憶部に記憶される。表示・操作デバイス１は、映像または楽曲を選択する操作指示に応じて、映像の選択または楽曲の選択を行う。表示・操作デバイス１は、選択された映像を示す映像情報を再生制御装置６へ送信する。再生制御装置６へ送信された映像情報は、再生制御装置６から映像再生装置４へ送信される。表示・操作デバイス１は、選択された楽曲を示す楽曲情報を再生制御装置６へ送信する。再生制御装置６へ送信された楽曲情報は、再生制御装置６から楽曲再生装置２へ送信される。再生制御装置６は、楽曲再生装置２からの楽曲情報の取得要求に応じて、表示・操作デバイス１から送信された楽曲情報を、楽曲再生装置２へ送信してもよい。もしくは、表示・操作デバイス１は、選択された楽曲を示す楽曲情報を、楽曲再生装置２へ送信し、楽曲再生装置２が、表示・操作デバイス１から受信した楽曲情報を、再生制御装置６へ送信してもよい。この場合は、楽曲再生装置２は、再生制御装置６からの楽曲情報の取得要求に応じて、再生制御装置６へ楽曲情報を送信してもよい。

また、表示・操作デバイス１は、例えば再生中の楽曲に対する設定を変更する操作指示に応じて、設定変更指示を示す指示情報を再生制御装置６へ送信する。楽曲に対する設定の例として、キーの設定、再生スピードの設定、音量の設定等が挙げられる。また、表示・操作デバイス１は、例えば再生中の楽曲を特殊再生する操作指示に応じて、特殊再生指示を示す指示情報を再生制御装置６へ送信する。特殊再生の例として、早送り再生、巻戻し再生、スキップ再生等が挙げられる。また、表示・操作デバイス１は、例えば再生中の楽曲を再生停止する操作指示に応じて、再生停止指示を示す指示情報を再生制御装置６へ送信する。再生停止の例として、一時停止、演奏停止（つまり、再生のキャンセル）が挙げられる。上述した操作指示は、楽曲に対する所定の操作指示の一例である。その他にも、表示・操作デバイス１は、楽曲の歌い直し、歌詞表示等の様々な操作指示を受け付け、その操作指示に応じた情報を再生制御装置６へ送信することができる。再生制御装置６へ送信された指示情報は、再生制御装置６から楽曲再生装置２へ送信される。なお、表示・操作デバイス１は、上記指示情報を楽曲再生装置２へ送信し、楽曲再生装置２が、表示・操作デバイス１から受信した指示情報を再生制御装置６へ送信してもよい。

楽曲再生装置２は、複数の楽曲ファイルを記憶部に記憶する。楽曲ファイルは、カラオケ曲等の楽曲を構成する楽曲データを格納する。各楽曲ファイルには、例えば、楽曲ＩＤが対応付けられる。各楽曲ファイルの楽曲ファイル名に楽曲ＩＤが含まれてもよい。楽曲再生装置２は、表示・操作デバイス１または再生制御装置６から送信された楽曲情報を受信する。楽曲再生装置２は、例えば、楽曲情報の受信順に、楽曲情報が含む楽曲ＩＤが示す楽曲を再生し、その楽曲信号をスピーカ（図示せず）へ出力する。また、楽曲再生装置２は、楽曲を再生開始する直前（例えば、数秒前）、或いは楽曲を再生開始した直後（例えば、数秒後）に、楽曲の再生開始を示す情報を再生制御装置６へ送信する。更に、楽曲再生装置２は、楽曲を再生終了したときに、楽曲の再生終了を示す情報を再生制御装置６へ送信する。なお、楽曲再生装置２がカラオケコマンダである場合、楽曲再生装置２には、上記楽曲信号と、マイクにより集音されたユーザの歌唱音声信号とをミキシングしてスピーカへ出力するミキシングアンプが備えられる。また、楽曲再生装置２は、表示・操作デバイス１または再生制御装置６から送信された指示情報を受信する。楽曲再生装置２は、受信した指示情報が示す指示に従ってキー等の設定変更、特殊再生、または一時停止等を行う。なお、楽曲再生装置２は、ユーザから、上述した所定の操作指示を受け付ける操作ボタンを備えてもよい。この場合、楽曲再生装置２は、ユーザから操作ボタンを介して操作指示があった場合、操作指示に従ってキー等の設定変更、特殊再生、または一時停止等を行う。

位置検出デバイス３は、例えば、バッファ、及び、赤外線レーザなどによる深度センサー（深度カメラ）等を備える。位置検出デバイス３は、深度センサーにより、再生空間における追跡対象及び追跡対象の背景における各点までの深度を示すデプス画像を、複数回にわたり時系列で取得してバッファに記憶する。デプス画像には、追跡対象の位置情報が含まれる。位置情報は、デプス画像のフレームにおける追跡対象の位置（x,y座標）及び深度等の特徴量を示す。追跡対象の深度とは、深度センサーから追跡対象を形成する領域における各点までの距離である。位置検出デバイス３は、バッファに記憶されたデプス画像を所定の間隔ごとに再生制御装置６へ送信する。

映像再生装置４は、複数の映像ファイルを記憶部に記憶する。映像ファイルは、例えば、部屋の壁面に投影させる映像を構成する映像データを格納する。この映像の例として、宇宙空間を表す映像、棚等が設置された部屋を表す映像、または人が歌唱するステージを表す映像などが挙げられる。これらの映像は、例えば、静止画像や、映像変化が少ない動画像である。このような映像には、例えば、楽曲の歌詞テロップが重畳して表示されてもよい。各映像ファイルには、例えば、映像ＩＤが対応付けられる。各映像ファイルの映像ファイル名に映像ＩＤが含まれてもよい。映像再生装置４は、再生制御装置６から送信された映像再生コマンドを受信する。映像再生コマンドには、再生させる映像の映像ＩＤが含まれる。映像再生装置４は受信した映像再生コマンドに含まれる映像ＩＤに対応する映像データを再生し、その映像信号をプロジェクター５へ出力する。プロジェクター５は、映像再生装置４から受信した映像信号に従って映像を例えば部屋の壁面に投影する。

また、映像再生装置４は、複数の効果映像ファイルを記憶部に記憶する。効果映像ファイルは、例えば、特定の映像に対して映像変化がある効果映像を再生させるプログラムを格納する。特定の映像は、複数の映像の中から、例えば管理者により指定された映像である。例えば、効果映像は、特定の映像に対して映像効果を与えることができる。効果映像ファイルは、上記効果映像を構成する映像データを格納する場合もある。各効果映像ファイルには、例えば、効果映像ＩＤが対応付けられる。各効果映像ファイルの効果映像ファイル名に効果映像ＩＤが含まれてもよい。映像再生装置４は、再生制御装置６から送信された効果映像再生コマンドを受信する。効果映像再生コマンドは、位置検出デバイス３から取得した追跡対象の位置及び深度等の特徴量に基づいて、追跡対象の所定の動きが検知されたとき、再生制御装置６から送信される。効果映像再生コマンドは、例えば、再生させる効果映像の効果映像ＩＤが含まれる。映像再生装置４は、効果映像再生コマンドを受信すると、受信した効果映像再生コマンドに含まれる効果映像ＩＤに対応する効果映像を再生し、その効果映像信号をプロジェクター５へ出力する。プロジェクター５は、映像再生装置４から受信した効果映像信号に従って効果映像を部屋の壁面に投影する。これにより、壁面に投影された特定の映像に対して、上述したように映像効果が与えられる。そのため、インタラクティブな演出を実現することができる。なお、映像再生装置４は、壁面に投影された特定の映像に対して映像効果を与える場合のほか、再生制御装置６からの効果映像再生コマンドに従って、特定の映像の再生に代えて、効果映像を再生させる場合もある。

再生制御装置６は、映像及び楽曲の再生を制御する。再生制御装置６は、図１に示すように、ＩＦ６１ａ〜６１ｄ、記憶部６２、及び制御部６３を備える。ＩＦ６１ａ〜６１ｄ、記憶部６２、及び制御部６３は、バス６４に接続されている。ＩＦ６１ａは、楽曲再生装置２と再生制御装置６との間のインターフェースである。ＩＦ６１ｂは、表示・操作デバイス１と再生制御装置６との間のインターフェースである。ＩＦ６１ｃは、位置検出デバイス３と再生制御装置６との間のインターフェースである。ＩＦ６１ｄは、映像再生装置４と再生制御装置６との間のインターフェースである。

記憶部６２は、例えばハードディスクドライブにより構成される。記憶部６２は、本発明の記憶手段の一例である。記憶部６２には、ＯＳ（Operating System）、及び本発明のプログラム等が記憶される。本発明のプログラムは、後述する制御処理をＣＰＵに実行させるプログラムである。また、記憶部６２には、プロジェクター５で投影する映像の選択候補となる映像を示す映像情報、及び楽曲再生装置２により再生される選択候補となる楽曲を示す楽曲情報が記憶される。

制御部６３は、コンピュータとしてのＣＰＵ（Center Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部６３は、本発明の取得手段、追跡手段、検知手段、操作検知手段、削除手段、及び出力手段の一例である。制御部６３は、本発明のプログラムに従って制御処理を実行する。制御処理において、制御部６３は、楽曲再生装置２により再生される楽曲の再生開始及び再生終了を検知する。例えば、制御部６３は、楽曲の再生開始を示す情報をＩＦ６１ａを介して楽曲再生装置２から受信することにより、楽曲の再生開始を検知する。また、制御部６３は、楽曲の再生終了を示す情報をＩＦ６１ａを介して楽曲再生装置２から受信することにより、楽曲の再生終了を検知する。また、制御部６３は、再生中の楽曲に対する所定の操作指示を検知する。例えば、制御部６３は、上述した指示情報をＩＦ６１ａを介して楽曲再生装置２から受信するか、或いはＩＦ６１ｂを介して表示・操作デバイス１から受信することにより、再生中の楽曲に対する所定の操作指示を検知する。

また、制御部６３は、位置検出デバイス３が時系列で取得したデプス画像を、位置検出デバイス３からＩＦ６１ｃを介して所定の間隔ごとに取得する。制御部６３は、取得したデプス画像から追跡対象の位置情報を取得し、取得した位置情報を記憶部６２の位置情報記憶領域に記憶する。制御部６３は、記憶部６２の位置情報記憶領域に記憶された位置情報と、記憶された位置情報の後に取得されたデプス画像から取得した位置情報とを含む複数の位置情報を用いて追跡対象を追跡する処理（以下、「追跡処理」という）を行う。このような追跡処理において、制御部６３は、記憶部６２の位置情報記憶領域に記憶された位置情報を、この位置情報の後に取得されたデプス画像から取得した位置情報により更新する。位置情報の更新は、追跡処理が終了するまで繰り返し行われる。

しかしながら、このように、位置検出デバイス３が時系列で取得した複数の位置情報を用いて追跡処理を行う場合、制御部６３は、位置検出デバイス３の取得によるデプス画像から取得される位置情報から、追跡対象を誤認識することがある。制御部６３が、誤認識した位置情報を含む複数の位置情報を用いて行う追跡処理では、追跡対象が正しく追跡できない。

ここで、図３を用いて、追跡対象が誤認識される事象について説明する。図３は、デプス画像のフレームにおいて追跡対象が誤認識される様子の一例を示す概念図である。図３（Ａ）に示すＮフレームには、追跡対象である人物、及び障害物が表れている。制御部６３は、追跡処理において、Ｎフレームにおいて右腕の特徴量及び左腕の特徴量を持つ人物（追跡対象）を認識すると共に、エッジの特徴量を持つ障害物を認識しているものとする。左腕の特徴量とエッジの特徴量とが類似する（特に、深度が近い）場合、制御部６３は、例えば次のＮ＋１フレームにおいて、図３（Ｂ）に示すように、エッジの特徴量を、人物の左腕の特徴量として検出してしまうことがある。この後、図３（Ｂ）に示す人物が移動し障害物の裏に隠れた場合、制御部６３は、例えば次のＮ＋２フレームにおいて、図３（Ｃ）に示すように、幅が圧縮された人物を追跡対象として誤認識する可能性がある。このように幅が圧縮された人物を追跡対象として一旦誤認識されると、誤認識された追跡対象の位置情報に基づいて追跡が行われるので、追跡対象を正しく追跡できなくなる。

図３の例のように、追跡対象が誤認識される状況の例として、例えば再生中の楽曲を歌唱している人物（追跡対象）が、表示・操作デバイス１を手に取り所定の操作指示を行う状況や、表示・操作デバイス１または楽曲再生装置２の設置位置まで移動して所定の操作指示を行う状況が挙げられる。或いは、追跡対象が誤認識される状況の例として、例えば再生中の楽曲をステージで歌唱している人物（追跡対象）がその楽曲の再生終了により例えば席まで移動する状況が挙げられる。

そのため、本実施形態では、制御部６３は、楽曲の再生中に追跡処理が行われている場合において、再生中の楽曲に対する所定の操作指示を検知したとき、記憶部６２の位置情報記憶領域に記憶された位置情報を削除し、追跡処理を継続する。また、制御部６３は、楽曲（第１の楽曲）の再生中に追跡処理が行われている場合において、この楽曲の再生終了を検知してから、再生終了した楽曲の次に再生される楽曲（第２の楽曲）の再生開始を検知するまでの間に、記憶部６２の位置情報記憶領域に記憶された位置情報を削除し、追跡処理を継続する。或いは、制御部６３は、楽曲（第１の楽曲）の再生中に追跡処理が行われている場合において、再生終了した楽曲の次に再生される楽曲（第２の楽曲）の再生開始を検知してから所定時間内（例えば数秒以内）に、記憶部６２の位置情報記憶領域に記憶された位置情報を削除し、追跡処理を継続する。

［２．再生システムＳの動作］
次に、図２を参照して、本実施形態の再生システムＳで実施される動作内容について説明する。図２は、再生制御装置６の制御部６３により実行される制御処理の一例を示す図である。図２に示す処理は、例えばユーザによる処理開始指示に応じて、表示・操作デバイス１から処理開始指示を示す指示情報が受信された場合に開始される。なお、図２に示す処理の開始前または開始直後に、再生制御装置６の制御部６３は、映像再生コマンドを映像再生装置４へ送信する。映像再生装置４は、再生制御装置６から受信した映像再生コマンドに従って映像データを再生し、その映像信号をプロジェクター５へ出力する。プロジェクター５は、映像再生装置４から受信した映像信号に従って映像を例えば部屋の壁面に投影する。

図２に示すステップＳ１では、制御部６３は、制御処理を終了するか否かを判定する。例えば表示・操作デバイス１から処理終了指示を示す指示情報が受信された場合、制御部６３は、制御処理を終了すると判定した場合（ステップＳ１：ＹＥＳ）、図２に示す処理を終了する。一方、制御部６３は、制御処理を終了しないと判定した場合（ステップＳ１：ＮＯ）、ステップＳ２へ進む。

ステップＳ２では、制御部６３は、楽曲の再生開始を検知したか否かを判定する。例えば、制御部６３は、楽曲再生装置２から楽曲の再生開始を示す情報が受信された場合、楽曲の再生開始を検知したと判定し（ステップＳ２：ＹＥＳ）、ステップＳ３へ進む。一方、制御部６３は、楽曲の再生開始を検知していないと判定した場合（ステップＳ２：ＮＯ）、ステップＳ１に戻る。

ステップＳ３では、制御部６３は、記憶部６２の位置情報記憶領域を初期化する。初期化では、例えば、位置情報記憶領域に“０”が書き込まれる。次いで、制御部６３は、位置検出デバイス３を起動する起動指令をＩＦ６１ｃを介して位置検出デバイス３へ出力する（ステップＳ４）。これにより、制御部６３は、位置検出デバイス３をリセットする。位置検出デバイス３は、再生制御装置６からの起動指令に応じて起動し、バッファを初期化してからデプス画像の取得を開始する。位置検出デバイス３は、取得したデプス画像をバッファに記憶し、バッファに記憶されたデプス画像を所定の間隔ごとに再生制御装置６へ送信する。これにより、制御部６３は、位置検出デバイス３から送信されたデプス画像を受信し、受信したデプス画像を例えばＲＡＭ内に設けられた一時記憶領域に記憶する（ステップＳ５）。

次いで、制御部６３は、ステップＳ５で一時記憶領域に記憶されたデプス画像から、追跡対象を特定するための基準特徴量に基づいて追跡対象を認識する（ステップＳ６）。ここで、基準特徴量は、例えば、人物の肩や腕などのパーツ上の各点の相対的な位置関係を示す。例えば、制御部６３は、デプス画像のＮ（Ｎは自然数）フレームにおいて基準特徴量との差が閾値以下である特徴量を持つ領域を追跡対象として、推定で認識する。次いで、制御部６３は、ステップＳ６で認識した追跡対象の位置情報を上記デプス画像から取得する（ステップＳ７）。この位置情報は、デプス画像のＮフレームにおける追跡対象の位置（x,y座標）及び深度等の特徴量を示す。次いで、制御部６３は、ステップＳ７で取得した位置情報を、記憶部６２の位置情報記憶領域に記憶する（ステップＳ８）。

次いで、制御部６３は、上記位置情報記憶領域に記憶されたデプス画像の後に、位置検出デバイス３から送信されたデプス画像を受信し、受信したデプス画像を例えばＲＡＭ内に設けられた一時記憶領域に記憶する（ステップＳ９）。次いで、制御部６３は、ステップＳ９で一時記憶領域に記憶されたデプス画像から、記憶部６２の位置情報記憶領域に記憶された位置情報が示す特徴量に基づいて追跡対象を認識する（ステップＳ１０）。例えば、制御部６３は、デプス画像のＮ＋１フレームにおいて、上記位置情報記憶領域に記憶された位置情報が示す特徴量との差が閾値以下である特徴量を持つ領域を追跡対象として認識する。次いで、ステップＳ１０で認識した追跡対象の位置情報を上記デプス画像から取得する（ステップＳ１１）。これにより、追跡対象が追跡される。

次いで、制御部６３は、記憶部６２の位置情報記憶領域に記憶されている位置情報と、ステップＳ１１で取得した位置情報とを比較して、これらの位置情報間の差（変化量）が閾値以上であるか否かを判定する（ステップＳ１２）。例えば、追跡対象である人物が、例えば両手を突き出す、グーにした手を高く上げるなどのジェスチャーを行うことにより位置情報間の差が閾値以上になる。制御部６３は、位置情報間の差が閾値以上であると判定した場合（ステップＳ１２：ＹＥＳ）、ステップＳ１３へ進む。一方、制御部６３は、位置情報間の差が閾値以上でないと判定した場合（ステップＳ１２：ＮＯ）、ステップＳ１４へ進む。

ステップＳ１３では、制御部６３は、効果映像再生コマンドを映像再生装置４へ送信し、ステップＳ１４へ進む。この効果映像再生コマンドには、例えば、映像再生装置４により現在再生中の映像に対応する効果映像の効果映像ＩＤが含まれる。映像再生装置４は、再生制御装置６から受信した効果映像再生コマンドに従って効果映像データを再生し、その効果映像信号をプロジェクター５へ出力する。プロジェクター５は、映像再生装置４から受信した効果映像信号に従って効果映像を例えば部屋の壁面に投影する。

ステップＳ１４では、制御部６３は、ステップＳ１１で取得した位置情報により、既に位置情報記憶領域に記憶されている位置情報を更新し、ステップＳ１５へ進む。例えば、既に位置情報記憶領域に記憶されている位置情報が、ステップＳ１１で取得された位置情報により上書き削除される。なお、位置情報記憶領域に記憶される位置情報は、例えば時系列で取得された複数の位置情報が示す特徴量の平均値等であってもよい。この場合、ステップＳ１４において、制御部６３は、既に位置情報記憶領域に記憶されている位置情報とステップＳ１１で取得した位置情報を用いて算出した例えば平均値により、既に位置情報記憶領域に記憶されている位置情報を更新する。

ステップＳ１５では、制御部６３は、再生中の楽曲に対する所定の操作指示を検知したか否かを判定する。所定の操作指示には、上述したように、例えば、再生中の楽曲に対するキーの設定を変更する操作指示、再生中の楽曲を特殊再生する操作指示、再生中の楽曲を一時停止する操作指示等がある。例えば、制御部６３は、表示・操作デバイス１または楽曲再生装置２から上記操作指示を示す指示情報が受信された場合、再生中の楽曲に対する所定の操作指示を検知したと判定し（ステップＳ１５：ＹＥＳ）、ステップＳ３に戻る。ステップＳ３に戻ると、制御部６３は、記憶部６２の位置情報記憶領域を初期化する。つまり、制御部６３は、位置情報記憶領域に記憶されている位置情報を削除する。次いで、制御部６３は、位置検出デバイス３を再起動する起動指令をＩＦ６１ｃを介して位置検出デバイス３へ出力する（ステップＳ４）。これにより、位置検出デバイス３は、バッファを初期化することで取得済のデプス画像を削除してから、デプス画像の取得を再開する。一方、ステップＳ１５において、制御部６３は、再生中の楽曲に対する所定の操作指示を検知していないと判定した場合（ステップＳ１５：ＮＯ）、ステップＳ１６へ進む。

ステップＳ１６では、制御部６３は、楽曲の再生終了を検知したか否かを判定する。例えば、制御部６３は、楽曲再生装置２から楽曲の再生終了を示す情報が受信された場合、楽曲の再生終了を検知したと判定し（ステップＳ１６：ＹＥＳ）、ステップＳ２に戻る。ステップＳ２に戻ると、制御部６３は、再生終了した楽曲の次の楽曲の再生開始を検知したか否かを判定する。制御部６３は、次の楽曲の再生開始を検知したと判定した場合（ステップＳ２：ＹＥＳ）、ステップＳ３へ進み、記憶部６２の位置情報記憶領域を初期化する。次いで、制御部６３は、位置検出デバイス３を再起動する起動指令をＩＦ６１ｃを介して位置検出デバイス３へ出力する（ステップＳ４）。一方、ステップＳ１６において、制御部６３は、楽曲の再生終了を検知していないと判定した場合（ステップＳ１６：ＮＯ）、ステップＳ９に戻り、追跡処理を継続する。

本実施形態によれば、上述したように楽曲を歌唱している人物（追跡対象）が移動し、制御部６３が、人物（追跡対象）を誤認識する状況になる恐れがある場合であっても、追跡処理において、所定の操作指示が検知されたとき、または、ある楽曲の再生終了後に次の楽曲の再生開始が検知されるまでの間、または、次の楽曲の再生開始が検知されてから所定時間内に、記憶部６２の位置情報記憶領域に記憶されている追跡対象の位置情報を削除するので、誤認識された追跡対象の位置情報に基づいて追跡が行われることを防ぐことができる。そのため、位置検出デバイス３により時系列で検出された複数の位置情報を用いて行われる追跡の精度を向上させることができる。また、本実施形態によれば、追跡処理において、所定の操作指示が検知されたとき、または、ある楽曲の再生終了後に次の楽曲の再生開始が検知されるまでの間、または、次の楽曲の再生開始が検知されてから所定時間内に、位置検出デバイス３を再起動する起動指令を出力して位置検出デバイス３を一旦リセットすることができるので、位置検出デバイス３により時系列で検出された複数の位置情報を用いて行われる追跡の精度を、より一層向上させることができる。

１ 表示・操作デバイス
２ 楽曲再生装置
３ 位置検出デバイス
４ 映像再生装置
５ プロジェクター
６ 再生制御装置

Claims (6)

1. 追跡対象の位置情報を検出する位置検出装置から、所定の間隔ごとに前記位置情報を取得する取得手段と、
   前記取得手段により取得された位置情報を記憶する記憶手段と、
   前記記憶手段に記憶された位置情報と、前記記憶された位置情報の後に前記取得手段により取得された位置情報とを含む複数の前記位置情報を用いて前記追跡対象を追跡する追跡手段と、
   楽曲再生装置により再生される第１の楽曲の再生終了と、前記第１の楽曲の次に再生される第２の楽曲の再生開始とを検知する検知手段と、
   前記検知手段により前記再生終了が検知されてから前記検知手段により前記再生開始が検知されるまでの間、または、前記検知手段により前記再生開始が検知されてから所定時間内に、前記記憶手段に記憶された前記位置情報を削除する削除手段と、
   前記削除手段により前記位置情報が削除される場合、前記位置検出装置を再起動する指令を前記位置検出装置へ出力する出力手段と、
   を備えることを特徴とする制御装置。
2. 前記第１の楽曲の再生中に、前記第１の楽曲に対する所定の操作指示を検知する操作検知手段を更に備え、
   前記削除手段は、前記操作検知手段により前記操作指示が検知されたとき、前記記憶手段に記憶された前記位置情報を削除することを特徴とする請求項１に記載の制御装置。
3. 追跡対象の位置情報を検出する位置検出装置から、所定の間隔ごとに前記位置情報を取得する取得手段と、
   前記取得手段により取得された位置情報を記憶する記憶手段と、
   前記記憶手段に記憶された位置情報と、前記記憶された位置情報の後に前記取得手段により取得された位置情報とを含む複数の前記位置情報を用いて前記追跡対象を追跡する追跡手段と、
   楽曲再生装置により再生される楽曲の再生中に、前記楽曲に対する所定の操作指示を検知する操作検知手段と、
   前記操作検知手段により前記操作指示が検知されたとき、前記記憶手段に記憶された前記位置情報を削除する削除手段と、
   前記削除手段により前記位置情報が削除される場合、前記位置検出装置を再起動する指令を前記位置検出装置へ出力する出力手段と、
   を備えることを特徴とする制御装置。
4. 追跡対象の位置情報を検出する位置検出装置から、所定の間隔ごとに取得される前記位置情報を記憶する記憶手段を備えるコンピュータに実行させるプログラムであって、
   前記記憶手段に記憶された位置情報と、前記記憶された位置情報の後に取得された位置情報とを含む複数の前記位置情報を用いて前記追跡対象を追跡する追跡ステップと、
   楽曲再生装置により再生される第１の楽曲の再生終了と、前記第１の楽曲の次に再生される第２の楽曲の再生開始とを検知する検知ステップと、
   前記検知ステップにより前記再生終了が検知されてから前記検知ステップにより前記再生開始が検知されるまでの間、または、前記検知ステップにより前記再生開始が検知されてから所定時間内に、前記記憶手段に記憶された前記位置情報を削除する削除ステップと、
   前記削除ステップにより前記位置情報が削除される場合、前記位置検出装置を再起動する指令を前記位置検出装置へ出力する出力ステップと、
   をコンピュータに実行させることを特徴とするプログラム。
5. 追跡対象の位置情報を検出する位置検出装置から、所定の間隔ごとに取得される前記位置情報を記憶する記憶手段を備えるコンピュータに実行させるプログラムであって、
   前記記憶手段に記憶された位置情報と、前記記憶された位置情報の後に取得された位置情報とを含む複数の前記位置情報を用いて前記追跡対象を追跡する追跡ステップと、
   楽曲再生装置により再生される楽曲の再生中に、前記楽曲に対する所定の操作指示を検知する操作検知ステップと、
   前記操作検知ステップにより前記操作指示が検知されたとき、前記記憶手段に記憶された前記位置情報を削除する削除ステップと、
   前記削除ステップにより前記位置情報が削除される場合、前記位置検出装置を再起動する指令を前記位置検出装置へ出力する出力ステップと、
   をコンピュータに実行させることを特徴とするプログラム。
6. 楽曲を再生する楽曲再生装置と、追跡対象の位置情報を検出する位置検出装置と、前記追跡対象を追跡する制御装置と、を備える再生システムであって、
   前記制御装置は、
   前記位置検出装置から、所定の間隔ごとに前記位置情報を取得する取得手段と、
   前記取得手段により取得された位置情報を記憶する記憶手段と、
   前記記憶手段に記憶された位置情報と、前記記憶された位置情報の後に前記取得手段により取得された位置情報とを含む複数の前記位置情報を用いて前記追跡対象を追跡する追跡手段と、
   前記楽曲再生装置により再生される第１の楽曲の再生終了と、前記第１の楽曲の次に再生される第２の楽曲の再生開始とを検知する検知手段と、
   前記検知手段により前記再生終了が検知されてから前記検知手段により前記再生開始が検知されるまでの間、または、前記検知手段により前記再生開始が検知されてから所定時間内に、前記記憶手段に記憶された前記位置情報を削除する削除手段と、
   前記削除手段により前記位置情報が削除される場合、前記位置検出装置を再起動する指令を前記位置検出装置へ出力する出力手段と、
   を備えることを特徴とする再生システム。

Images