JP5772124B2 - カラオケ装置 - Google Patents

Description

本発明は、カラオケ伴奏の際に映像を表示する技術に関する。

近年、カラオケ伴奏のみならず、利用者をより楽しませるための種々の機能を備えたカラオケ装置が普及している。例えば、特許文献１には、カラオケ機器において、歌唱者を撮影し、用意された背景用画像と合成して表示や録画を行う装置が開示されている。また、特許文献２には、曲の予約時に、予約端末に装着されたカメラで予約者の顔写真を取得し、録画用カメラに映っている人間の画像と相関をとることで歌唱者を識別し、歌唱者を追跡する録画機能を備えた装置が開示されている。

特開２０１０−２７３２号公報 特開２０１０−２５６６４２号公報

ところで、カラオケにおいて歌唱者を撮影して録画するだけでは、利用を重ねるにつれて飽きが生じてしまう場合があった。利用を重ねても利用者がその都度楽しむことができるサービスが提供できれば好適である。
本発明は上述した背景の下になされたものであり、利用者を撮影するカラオケ装置において、利用を重ねても利用者がその都度楽しむことのできる技術を提供することを目的とする。

上述した課題を解決するため、本発明は、楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、前記加工手段は、前記再生手段によって再生される楽曲データのテンポを特定し、特定したテンポに応じたタイミングで、加工する衣装データを切り替えることを特徴とするカラオケ装置を提供する。

上述した課題を解決するため、本発明は、楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、前記楽曲データは、前記楽曲の特定の区間を示す区間データを含み、前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、前記加工手段は、前記再生手段によって再生される楽曲データに含まれる区間データを参照し、当該区間データの示す区間とそれ以外の区間とで、加工する衣装データを切り替えることを特徴とするカラオケ装置を提供する。

上述した課題を解決するため、本発明は、楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、前記加工手段は、歌唱者の歌唱音声を収音する収音手段から出力される音声信号の出力ゲインに応じて、加工する衣装データを切り替えることを特徴とするカラオケ装置を提供する。

上述した課題を解決するため、本発明は、楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、前記加工手段は、前記衣装画像を切り替える旨を示す信号が前記操作手段から出力された場合に、当該信号に従って、加工する衣装データを切り替えるとともに、当該衣装データの切替タイミングを示すシーケンスデータを生成して出力することを特徴とするカラオケ装置を提供する。

本発明によれば、利用者を撮影するカラオケ装置において、利用者がそのカラオケ装置を何度も利用する場合であってもその都度楽しむことができる。

カラオケ装置のハードウェア構成の一例を示すブロック図である。 衣装データの内容の一例を示す図である。 対応関係記憶部の記憶内容の一例を示す図である。 カラオケ装置の機能的構成の一例を示すブロック図である。 ディスプレイに表示される画面の一例を示す図である。 ディスプレイに表示される画面の一例を示す図である。 カラオケ装置のＣＰＵが実行する衣装の着替処理の流れを示すフローチャートである。

＜カラオケ装置の構成＞
図１は、この発明の一実施形態であるカラオケ装置１のハードウェア構成の一例を示すブロック図である。図において、ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２に記憶されているコンピュータプログラムを読み出してＲＡＭ（Random Access Memory）１３にロードし、これを実行することにより、カラオケ装置１の各部を制御する。記憶装置１４は、ハードディスクや光ディスク等の大容量の記憶手段である。通信部１５は、通信回線で結ばれた他の装置（例えば、カラオケ装置の管理室のサーバ２、等）との間でデータの授受を行うインタフェースである。

表示回路１６は、液晶ディスプレイ等のディスプレイ２２に画像を表示するための回路である。ＵＩ部１７は、操作された内容に応じた操作信号を出力する操作入力装置である。ＵＩ部１７は、装置本体付属の操作子（図示略）や、タッチスクリーン等の操作子を含んでいる。利用者はＵＩ部１７を用いて楽曲の選択等の各種の操作を行うことができる。

歌唱マイク１８は、歌唱者の歌唱音声を収音する収音機器である。歌唱マイク１８は、歌唱音声の時間軸上における波形を表すアナログの電気信号を出力する。音声処理部１９は、歌唱マイク１８から出力される電気信号をデジタル信号に変換する。また、音声処理部１９は、ＣＰＵ１１の制御の下、歌唱マイク１８から出力される音声のデジタル信号とカラオケに必要な伴奏等のデジタル音声信号を合成する機能を有し、デジタル信号をアナログ信号に変換して増幅器（図示略）を介してスピーカ２０に出力する。スピーカ２０は、供給される音声信号に応じた強度で放音する放音手段である。映像取得部２１は、撮影し、撮影した映像を表す映像信号を出力するとともに、画像処理によるモーションキャプチャに必要な付加データを取得する撮影手段である。構成や付加データの内容はモーションキャプチャの手法によって異なるが、例としてはカメラ２台構成によるステレオ画像の取得や、距離画像センサによる被写体の深度（センサと被写体との距離）の取得といった機能を有する。ディスプレイ２２は、入力された映像信号の表す映像を表示する。

記憶装置１４には、カラオケデータ記憶部１４１と、コンテンツ記憶部１４２と、対応関係記憶部１４３とが設けられている。カラオケデータ記憶部１４１には、歌詞テロップとして表示される楽曲の歌詞を表す歌詞データや、楽曲の伴奏音を表す伴奏音データが複数記憶されている。楽曲のそれぞれには、楽曲を識別する楽曲ＩＤが付与されるとともに、楽曲のジャンルを示すジャンルＩＤが付与されている。

コンテンツ記憶部１４２には、ＣＰＵ１１が着せ替え処理を行う際に用いられる衣装画像を表す衣装データが複数記憶されている。図２は、衣装データの内容の一例を示す図である。図示のように、衣装データは、「衣装ＩＤ」と、「部位ａ」、「部位ｂ」、…といった複数の部位のそれぞれの衣装画像を表すデータとで構成されている。「衣装ＩＤ」は、衣装画像を識別する識別子である。複数の部位は、例えば、「右足」、「左足」、「右手」、「左手」、「髪型」、…といったものであり、衣装データは、身体を構成する複数の部位のデータが組み合わされて構成されている。衣装データは、例えば、一般的な服装を表すものであってもよく、また、着ぐるみの画像を表すものであってもよく、人の形状をしたものを表すデータであればどのようなものであってもよい。また、衣装データは、例えば、映画やアニメのキャラクタやロボットの容姿を表すデータであってもよい。カラオケ装置１は、通信部１５を介してサーバ２と通信を行ってサーバ２から衣装データをダウンロードする。

対応関係記憶部１４３には、楽曲と衣装画像との対応関係が記憶されている。図３は、対応関係記憶部１４３の記憶内容の一例を示す図である。図示のように、対応関係記憶部１４３には、「ジャンルＩＤ」と「衣装ＩＤ」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「ジャンルＩＤ」の項目には、楽曲のジャンルを示す識別子が記憶される。「衣装ＩＤ」の項目には、衣装を識別する識別子が記憶される。カラオケ装置１のＣＰＵ１１は、後述する衣装の着せ替え処理を行う際に、この対応関係記憶部１４３の記憶内容を参照して、再生する楽曲に対応する衣装データを選択する。

次に、カラオケ装置１の機能的構成について、図４を参照しつつ説明する。図４は、カラオケ装置１の機能的構成の一例を示すブロック図である。図において、モーションデータ抽出部１１１、衣装描画部１１２及び映像合成部１１３は、カラオケ装置１のＣＰＵ１１がＲＯＭ１２又は記憶装置１４に記憶されたコンピュータプログラムを読み出して実行することによって実現される。なお、図４においては、図面が煩雑になるのを防ぐため、衣装の着せ替え処理に係る構成について主に図示することとし、表示回路１６はその図示を省略している。

図において、モーションデータ抽出部１１１は、映像取得部２１によって撮影された映像及び取得された付加データを用いて、既知のモーションキャプチャ技術（例えば、特開２００７−３３３６９０号公報参照）を用いて、リアルタイムに歌唱者の身体部位毎の動きを検出し、検出した動きを示すデータ（以下「モーションデータ」）を生成する。具体的には、例えば、モーションデータ抽出部１１１は、視差画像を用いた逆射影を利用して３次元モデルを算出し、確率モデルによる予測を使用してトラッキングを行う。モーションキャプチャ処理の他の態様としては、例えば、モーションデータ抽出部１１１が、大規模な機械学習によるパターン識別を行って歌唱者の動作のトラッキングを行う（例えば、「A Video Motion Capture System for Interactive Games」, MVA2007 IAPR Conference on Machine Vision Applications, May 16-18, 2007, Tokyo, JAPAN参照）ようにしてもよい。なお、モーションキャプチャ処理の態様は上述したものに限らず、他の態様であってもよく、撮影される歌唱者の動きを検出するものであればよい。

衣装描画部１１２は、モーションデータ抽出部１１１が生成したモーションデータをもとに、選択された衣装画像から、歌唱者の動きにリアルタイムに追従する衣装画像を生成する。すなわち、衣装描画部１１２は、歌唱者によって選択された衣装データを、その衣装データの表す衣装画像がモーションデータ抽出部１１１によって検出された動きに追従するように加工する。

映像合成部１１３は、衣装描画部１１２から出力された衣装データの表す衣装画像を、映像取得部２１により撮影された映像に対してその衣装画像が映像中の歌唱者に重なるように合成し、表示回路１６を介してディスプレイ２２へ出力する。図５，図６は、ディスプレイ２２に表示される画面の一例を示す図である。図５は衣装着せ替え処理が施される前にディスプレイ２２に表示される画面の一例を示す図であり、図６は、衣装着せ替え処理が施された後にディスプレイ２２に表示される画面の一例を示す図である。衣装着せ替え処理が施されることによって、図６に示すように、ディスプレイ２２には、映像取得部２１によって撮影された歌唱者の映像Ａ１と衣装描画部１１２によって生成された衣装画像Ａ２とが重なるように合成されて表示される。このとき、映像合成部１１３は歌詞テロップＡ３も併せて合成表示する。

次に、カラオケ装置１のＣＰＵ１１が実行する衣装の着替処理の流れについてフローチャートを参照しつつ説明する。まず、歌唱者は、ＵＩ部１７を操作して歌唱する楽曲を選択する。ＵＩ部１７は歌唱者の操作内容に応じた信号を出力し、ＣＰＵ１１は、ＵＩ部１７から出力される信号に対応する楽曲を特定し、特定した楽曲のジャンルＩＤを参照して、この楽曲に対応する衣装データを、対応関係記憶部１４３に記憶された対応関係に従って選択する。このとき、ＣＰＵ１１が選択する衣装データの数は、複数であってもよく、また、１であってもよい。

ＣＰＵ１１は、選択した衣装データの表す衣装画像をディスプレイ２２に表示する。ここで、ＣＰＵ１１によって選択された衣装画像が複数ある場合は、歌唱者は、ＵＩ部１７を用いて、ディスプレイ２２に表示された衣装画像から、所望する衣装画像を選択することができる。ＵＩ部１７は操作された内容に応じた信号を出力し、ＣＰＵ１１は、ＵＩ部１７から出力される信号に従って、着せ替え処理に用いる衣装画像を決定する。

図７は、ＣＰＵ１１が実行する着せ替え処理の流れを示すフローチャートである。ＣＰＵ１１は、撮影が開始されるまで待機し（ステップＳ１；ＮＯ）、歌唱者によって撮影機能の開始が選択されると（ステップＳ１；ＹＥＳ）、歌唱者の撮影を開始する（ステップＳ２）。撮影が開始されることにより、映像取得部２１によって撮影された映像は、ディスプレイ２２に表示される。

このとき、歌唱者は、ＵＩ部１７を用いて、着せ替え機能のＯＮ／ＯＦＦを選択することができる。ＣＰＵ１１は、歌唱者によって着せ替え機能ＯＮが選択されたかを判定する（ステップＳ３）。着せ替え機能ＯＮが選択されたと判定された場合は（ステップＳ３；ＹＥＳ）、ＣＰＵ１１は、モーションデータの取得を試行する（ステップＳ４）。モーションデータの取得に失敗した場合は（ステップＳ５；ＮＯ）、ＣＰＵ１１は、ステップＳ６，Ｓ７の処理をスキップする。すなわち、モーションデータの取得に失敗した場合は、衣装画像の合成処理を行わずに、映像取得部２１によって撮影された映像をそのままディスプレイ２２に表示する。一方、モーションデータの取得に成功した場合は（ステップＳ５；ＹＥＳ）、ＣＰＵ１１は、ステップＳ６，Ｓ７の処理に進み、衣装の描画を行う。すなわち、ＣＰＵ１１は、取得されたモーションデータをもとに、衣装画像を生成（描画）し（ステップＳ６）、生成した衣装画像と映像取得部２１によって撮影された映像とを合成し（ステップＳ７）、ディスプレイ２２へ出力する（ステップＳ８）。

ＣＰＵ１１は、歌唱者によって撮影の終了が選択されたかを判定し（ステップＳ９）、撮影の終了が選択されていない場合には（ステップＳ９；ＮＯ）、ステップＳ３の処理に戻って、衣装の着替処理を続行する。一方、歌唱者によって撮影の終了が選択されたと判定された場合には（ステップＳ９；ＹＥＳ）、ＣＰＵ１１は、撮影を終了し、ステップＳ１の処理に戻って、撮影の開始が選択されるまで待機する。以上の処理が実行されることによって、歌唱者の衣装着せ替え機能が実現される。

また、ＣＰＵ１１は、ＵＩ部１７から出力される信号に基づいて、選択された楽曲に対応する伴奏音データをカラオケデータ記憶部１４１から読み出し、カラオケ伴奏を再生する。これによりカラオケ伴奏が開始される。また、ＣＰＵ１１は、歌唱者によって選択された楽曲に対応する歌詞テロップデータをカラオケデータ記憶部１４１から読み出し、読み出した歌詞テロップデータの示す歌詞テロップと、映像取得部２１によって撮影された映像と、衣装画像とを合成し、ディスプレイ２２に表示する。

歌唱者は、ディスプレイ２２に表示される歌詞テロップを参照しつつ、再生されるカラオケ伴奏にあわせて歌唱を行う。利用者が歌唱を開始すると、歌唱者の歌唱音声が歌唱マイク１８によって収音され、音声信号として音声処理部１９へ供給される。音声処理部１９は、入力される音声信号をスピーカ２０に供給し、伴奏音とともにスピーカ２０から音として出力する。

このとき、ディスプレイ２２には、歌唱者の歌唱映像に衣装画像が合成された映像が表示される。歌唱者は、この映像を見ながら歌唱することでカラオケ歌唱を楽しむことができる。このとき、楽曲毎に異なる衣装画像が選択されて表示されるから、カラオケ装置を何度も利用する場合であっても、利用者はその都度映像を楽しむことができる。また、この実施形態では、膨大な数の衣装データの中から、楽曲での絞り込みを行うことによって、衣装を選びやすくすることができる。

以上説明したように本実施形態によれば、歌唱者が歌唱している最中に、歌唱者の衣装をリアルタイムで変更することができる。これにより、歌唱映像をより娯楽性の高いものとすることができる。

＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態において、ＣＰＵ１１が、歌唱者の歌唱映像と衣装画像とを合成した映像を録画して保存するようにしてもよい。カラオケ装置１の利用者は、保存されたファイルを後で再生することによって、録画された歌唱映像を楽しむことができる。このとき、再生される歌唱映像には、歌唱者の動きに追従して衣装画像が合成されているから、これにより、歌唱映像をより娯楽性の高いものとすることができる。

（２）上述の実施形態において、歌唱者が、身体の部位毎に衣装画像の着せ替えのＯＮ／ＯＦＦを切り替えるようにしてもよい。この場合は、歌唱者が、身体の各部位のそれぞれについての着せ替えのＯＮ／ＯＦＦを選択する操作をＵＩ部１７を用いて行い、ＣＰＵ１１が、ＵＩ部１７から出力される信号に応じて、部位毎の衣装画像の合成を行う。この場合、例えば、上半身についてのみ衣装画像を合成する、といったように、歌唱者が自身の所望する部位についての衣装の着せ替えを行うことができる。

（３）上述の実施形態において、ＣＰＵ１１が、カラオケ伴奏のテンポに応じたタイミングで衣装画像を切り替えるようにしてもよい。この場合は、伴奏データがテンポを示すデータを含む構成とし、ＣＰＵ１１は、対応関係記憶部１４３に記憶された対応関係に従って、楽曲に対応する衣装データをコンテンツ記憶部１４２から複数選択する。また、ＣＰＵ１１は、伴奏データに含まれるデータを参照してその楽曲の伴奏データのテンポを特定し、特定したテンポに応じて、所定単位時間毎（例えば、１小節毎、４小節毎、１拍毎、等）に、加工する衣装データを切り替える。この態様によれば、楽曲の進行に沿った自然なアニメーションを行わせることができ、歌唱映像をより娯楽性の高いものにすることができる。

（４）また、上述の態様において、伴奏データが楽曲の特定の区間（例えば、サビの区間）を示す区間データを含む構成とし、カラオケ装置１のＣＰＵ１１が、区間データを参照し、区間データの示す区間とそれ以外の区間とで用いる衣装データを切り替えるようにしてもよい。この場合、ＣＰＵ１１は、対応関係記憶部１４３に記憶された対応関係に従って、楽曲に対応する衣装データをコンテンツ記憶部１４２から複数選択する。ＣＰＵ１１は、楽曲の再生中において、区間データの示す区間とそれ以外の区間とで用いる衣装データを切り替える。この態様によれば、サビの部分で衣装画像が切り替わるから、歌唱映像をより娯楽性の高いものにすることができる。

（５）上述の実施形態において、カラオケ装置１のＣＰＵ１１が、歌唱マイク１８によって収音される歌唱音声の出力ゲインに応じて衣装画像を変更するようにしてもよい。この場合、ＣＰＵ１１は、対応関係記憶部１４３に記憶された対応関係に従って、楽曲に対応する衣装データをコンテンツ記憶部１４２から複数選択する。ＣＰＵ１１は、楽曲の再生中において、出力ゲインに応じて衣装データを切り替える。具体的には、例えば、衣装データに優先度を示すデータを予め付与しておき、出力ゲインが大きいほど優先度の高い衣装データを用いる（例えば、出力ゲインが大きいほど華やかな衣装画像を用いる）ようにしてもよい。

（６）上述の実施形態では、カラオケ伴奏の再生を開始する前に、歌唱者が衣装を選択するようにしたが、これに限らず、カラオケ伴奏の再生中に衣装の選択や変更を行うようにしてもよい。この場合は、歌唱者は、ＵＩ部１７を用いて、衣装画像を変更するための操作を行う。ＣＰＵ１１は、衣装画像を変更する旨を示す信号がＵＩ部１７から出力された場合に、その信号に従って衣装画像を切り替える。

この場合に、ＣＰＵ１１が、衣装画像の変更のタイミングを示すシーケンスデータを生成して出力してもよい。更に、ＣＰＵ１１が、生成したシーケンスデータを、映像取得部２１によって撮影された映像を表す映像データに付与して記憶してもよい。この場合は、ＣＰＵ１１が、映像データを再生する際に、映像データに付与されたシーケンスデータに従って衣装画像の表示や切替を行う。カラオケ装置１の利用者は、保存されたファイルを後で再生することによって、録画された歌唱映像を楽しむことができる。

（７）上述の実施形態では、ＣＰＵ１１が、映像取得部２１によって撮影された映像及び取得された付加データを用いて歌唱者の動きを検出したが、歌唱者の動きを検出する態様はこれに限らず、例えば、歌唱者の身体に磁気センサやマーカーを装着し、これらを検出することによって動作を検出するモーションキャプチャ技術を用いるようにしてもよい。要は、歌唱者の動作を検出するものであればどのようなものであってもよい。

（８）本発明に係るカラオケ装置は、カラオケ伴奏を再生する専用の装置に限らず、例えばパーソナルコンピュータ等の汎用コンピュータであってもよい。カラオケ装置が汎用コンピュータである場合には、ビデオカードが表示回路１６に相当し、キーボードやマウスがＵＩ部１７に相当する。

（９）上述の実施形態では、図４に示すモーションデータ抽出部１１１、衣装描画部１１２及び映像合成部１１３は、ＣＰＵ１１がＲＯＭ１２又は記憶装置１４に記憶されたコンピュータプログラムを読み出して実行することによってソフトウェアとして実現される構成としたが、これに限らず、モーションデータ抽出部１１１や衣装描画部１１２、映像合成部１１３がハードウェアとして構成されていてもよい。

また、上述の実施形態では、ＵＩ部１７、歌唱マイク１８、スピーカ２０、映像取得部２１及びディスプレイ２２がカラオケ装置１に外付けされる構成について説明したが、これに限らず、スピーカやマイク等がカラオケ装置１に内蔵される構成であってもよい。

（１０）上述の実施形態では、対応関係記憶部１４３に「ジャンルＩＤ」と「衣装ＩＤ」とを対応付けて記憶するようにしたが、対応関係記憶部１４３の記憶内容はこれに限定されるものではなく、楽曲と衣装画像との対応関係が示されるものであればどのようなものであってもよい。例えば、「楽曲ＩＤ」と「衣装ＩＤ」とが対応付けて記憶されていてもよい。また、楽曲と衣装画像とは、１対１で対応付けられていてもよく、また、複数対複数で対応付けられていてもよい。

（１１）上述の実施形態において、利用者が複数いる場合に、ＣＰＵ１１が画像解析やマイク入力数の判定を行うことによって歌唱人数を把握するようにしてもよい。この場合は、ＣＰＵ１１が画像解析やマイク入力数の判定を行って歌唱者の人数を特定し、特定した人数に対応する数の衣装画像を表示する。

また、ＣＰＵ１１が、歌唱マイク１８によって収音された音声を解析し、歌唱者の性別を判定するようにしてもよい。この場合は、衣装データに性別を示す識別子を予め付与しておき、ＣＰＵ１１が、歌唱者の性別の判定結果に応じて、歌唱者の性別に対応する衣装データを選択するようにすればよい。

（１２）上述の実施形態では、楽曲を示す楽曲データとしてカラオケ伴奏を表す伴奏音データを用いたが、楽曲データは伴奏音データに限らず、例えば、楽曲の旋律を示すガイドメロディデータであってもよい。

（１３）上述の実施形態において、ＣＰＵ１１が、楽曲のガイドメロディの音程に応じて衣装画像を変更するようにしてもよい。具体的には、例えば、ＣＰＵ１１が、音高が予め定められた閾値以上であるか否かで、用いる衣装画像を切り替えるようにしてもよい。また、上述の実施形態において、ＣＰＵ１１が、楽曲の歌詞の内容に応じて衣装画像を変更するようにしてもよい。具体的には、例えば、ＣＰＵ１１が、歌詞テロップデータの表す歌詞を解析し、特定の単語（例えば、「星」、「ハート」）が検索された場合に、その単語の再生タイミングにおいて、衣装画像を切り替えるようにしてもよい。

（１４）上述の実施形態におけるカラオケ装置１のＣＰＵ１１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。

１…カラオケ装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶装置、１５…通信部、１７…ＵＩ部、１８…歌唱マイク、１９…音声処理部、２０…スピーカ、２１…映像取得部、２２…ディスプレイ、１１１…モーションデータ抽出部、１１２…衣装描画部、１１３…映像合成部、１４１…カラオケデータ記憶部、１４２…コンテンツ記憶部、１４３…対応関係記憶部

Claims (4)

1. 楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、
   衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、
   前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、
   利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、
   前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、
   被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、
   前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、
   前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、
   前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、
   前記加工手段は、前記再生手段によって再生される楽曲データのテンポを特定し、特定したテンポに応じたタイミングで、加工する衣装データを切り替える
   ことを特徴とするカラオケ装置。
2. 楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、
   衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、
   前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、
   利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、
   前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、
   被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、
   前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、
   前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、
   前記楽曲データは、前記楽曲の特定の区間を示す区間データを含み、
   前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、
   前記加工手段は、前記再生手段によって再生される楽曲データに含まれる区間データを参照し、当該区間データの示す区間とそれ以外の区間とで、加工する衣装データを切り替える
   ことを特徴とするカラオケ装置。
3. 楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、
   衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、
   前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、
   利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、
   前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、
   被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、
   前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、
   前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、
   前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、
   前記加工手段は、歌唱者の歌唱音声を収音する収音手段から出力される音声信号の出力ゲインに応じて、加工する衣装データを切り替える
   ことを特徴とするカラオケ装置。
4. 楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、
   衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、
   前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、
   利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、
   前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、
   被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、
   前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、
   前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、
   前記加工手段は、前記衣装画像を切り替える旨を示す信号が前記操作手段から出力された場合に、当該信号に従って、加工する衣装データを切り替えるとともに、当該衣装データの切替タイミングを示すシーケンスデータを生成して出力する
   ことを特徴とするカラオケ装置。

Images