JP5772124B2 - カラオケ装置 - Google Patents

カラオケ装置 Download PDF

Info

Publication number
JP5772124B2
JP5772124B2 JP2011065449A JP2011065449A JP5772124B2 JP 5772124 B2 JP5772124 B2 JP 5772124B2 JP 2011065449 A JP2011065449 A JP 2011065449A JP 2011065449 A JP2011065449 A JP 2011065449A JP 5772124 B2 JP5772124 B2 JP 5772124B2
Authority
JP
Japan
Prior art keywords
costume
data
music
storage means
correspondence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011065449A
Other languages
English (en)
Other versions
JP2012203071A (ja
Inventor
洋二 青木
洋二 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2011065449A priority Critical patent/JP5772124B2/ja
Publication of JP2012203071A publication Critical patent/JP2012203071A/ja
Application granted granted Critical
Publication of JP5772124B2 publication Critical patent/JP5772124B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、カラオケ伴奏の際に映像を表示する技術に関する。
近年、カラオケ伴奏のみならず、利用者をより楽しませるための種々の機能を備えたカラオケ装置が普及している。例えば、特許文献1には、カラオケ機器において、歌唱者を撮影し、用意された背景用画像と合成して表示や録画を行う装置が開示されている。また、特許文献2には、曲の予約時に、予約端末に装着されたカメラで予約者の顔写真を取得し、録画用カメラに映っている人間の画像と相関をとることで歌唱者を識別し、歌唱者を追跡する録画機能を備えた装置が開示されている。
特開2010−2732号公報 特開2010−256642号公報
ところで、カラオケにおいて歌唱者を撮影して録画するだけでは、利用を重ねるにつれて飽きが生じてしまう場合があった。利用を重ねても利用者がその都度楽しむことができるサービスが提供できれば好適である。
本発明は上述した背景の下になされたものであり、利用者を撮影するカラオケ装置において、利用を重ねても利用者がその都度楽しむことのできる技術を提供することを目的とする。
上述した課題を解決するため、本発明は、楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、前記加工手段は、前記再生手段によって再生される楽曲データのテンポを特定し、特定したテンポに応じたタイミングで、加工する衣装データを切り替えることを特徴とするカラオケ装置を提供する。
上述した課題を解決するため、本発明は、楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、前記楽曲データは、前記楽曲の特定の区間を示す区間データを含み、前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、前記加工手段は、前記再生手段によって再生される楽曲データに含まれる区間データを参照し、当該区間データの示す区間とそれ以外の区間とで、加工する衣装データを切り替えることを特徴とするカラオケ装置を提供する。
上述した課題を解決するため、本発明は、楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、前記加工手段は、歌唱者の歌唱音声を収音する収音手段から出力される音声信号の出力ゲインに応じて、加工する衣装データを切り替えることを特徴とするカラオケ装置を提供する。
上述した課題を解決するため、本発明は、楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、前記加工手段は、前記衣装画像を切り替える旨を示す信号が前記操作手段から出力された場合に、当該信号に従って、加工する衣装データを切り替えるとともに、当該衣装データの切替タイミングを示すシーケンスデータを生成して出力することを特徴とするカラオケ装置を提供する。
本発明によれば、利用者を撮影するカラオケ装置において、利用者がそのカラオケ装置を何度も利用する場合であってもその都度楽しむことができる。
カラオケ装置のハードウェア構成の一例を示すブロック図である。 衣装データの内容の一例を示す図である。 対応関係記憶部の記憶内容の一例を示す図である。 カラオケ装置の機能的構成の一例を示すブロック図である。 ディスプレイに表示される画面の一例を示す図である。 ディスプレイに表示される画面の一例を示す図である。 カラオケ装置のCPUが実行する衣装の着替処理の流れを示すフローチャートである。
<カラオケ装置の構成>
図1は、この発明の一実施形態であるカラオケ装置1のハードウェア構成の一例を示すブロック図である。図において、CPU(Central Processing Unit)11は、ROM(Read Only Memory)12に記憶されているコンピュータプログラムを読み出してRAM(Random Access Memory)13にロードし、これを実行することにより、カラオケ装置1の各部を制御する。記憶装置14は、ハードディスクや光ディスク等の大容量の記憶手段である。通信部15は、通信回線で結ばれた他の装置(例えば、カラオケ装置の管理室のサーバ2、等)との間でデータの授受を行うインタフェースである。
表示回路16は、液晶ディスプレイ等のディスプレイ22に画像を表示するための回路である。UI部17は、操作された内容に応じた操作信号を出力する操作入力装置である。UI部17は、装置本体付属の操作子(図示略)や、タッチスクリーン等の操作子を含んでいる。利用者はUI部17を用いて楽曲の選択等の各種の操作を行うことができる。
歌唱マイク18は、歌唱者の歌唱音声を収音する収音機器である。歌唱マイク18は、歌唱音声の時間軸上における波形を表すアナログの電気信号を出力する。音声処理部19は、歌唱マイク18から出力される電気信号をデジタル信号に変換する。また、音声処理部19は、CPU11の制御の下、歌唱マイク18から出力される音声のデジタル信号とカラオケに必要な伴奏等のデジタル音声信号を合成する機能を有し、デジタル信号をアナログ信号に変換して増幅器(図示略)を介してスピーカ20に出力する。スピーカ20は、供給される音声信号に応じた強度で放音する放音手段である。映像取得部21は、撮影し、撮影した映像を表す映像信号を出力するとともに、画像処理によるモーションキャプチャに必要な付加データを取得する撮影手段である。構成や付加データの内容はモーションキャプチャの手法によって異なるが、例としてはカメラ2台構成によるステレオ画像の取得や、距離画像センサによる被写体の深度(センサと被写体との距離)の取得といった機能を有する。ディスプレイ22は、入力された映像信号の表す映像を表示する。
記憶装置14には、カラオケデータ記憶部141と、コンテンツ記憶部142と、対応関係記憶部143とが設けられている。カラオケデータ記憶部141には、歌詞テロップとして表示される楽曲の歌詞を表す歌詞データや、楽曲の伴奏音を表す伴奏音データが複数記憶されている。楽曲のそれぞれには、楽曲を識別する楽曲IDが付与されるとともに、楽曲のジャンルを示すジャンルIDが付与されている。
コンテンツ記憶部142には、CPU11が着せ替え処理を行う際に用いられる衣装画像を表す衣装データが複数記憶されている。図2は、衣装データの内容の一例を示す図である。図示のように、衣装データは、「衣装ID」と、「部位a」、「部位b」、…といった複数の部位のそれぞれの衣装画像を表すデータとで構成されている。「衣装ID」は、衣装画像を識別する識別子である。複数の部位は、例えば、「右足」、「左足」、「右手」、「左手」、「髪型」、…といったものであり、衣装データは、身体を構成する複数の部位のデータが組み合わされて構成されている。衣装データは、例えば、一般的な服装を表すものであってもよく、また、着ぐるみの画像を表すものであってもよく、人の形状をしたものを表すデータであればどのようなものであってもよい。また、衣装データは、例えば、映画やアニメのキャラクタやロボットの容姿を表すデータであってもよい。カラオケ装置1は、通信部15を介してサーバ2と通信を行ってサーバ2から衣装データをダウンロードする。
対応関係記憶部143には、楽曲と衣装画像との対応関係が記憶されている。図3は、対応関係記憶部143の記憶内容の一例を示す図である。図示のように、対応関係記憶部143には、「ジャンルID」と「衣装ID」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「ジャンルID」の項目には、楽曲のジャンルを示す識別子が記憶される。「衣装ID」の項目には、衣装を識別する識別子が記憶される。カラオケ装置1のCPU11は、後述する衣装の着せ替え処理を行う際に、この対応関係記憶部143の記憶内容を参照して、再生する楽曲に対応する衣装データを選択する。
次に、カラオケ装置1の機能的構成について、図4を参照しつつ説明する。図4は、カラオケ装置1の機能的構成の一例を示すブロック図である。図において、モーションデータ抽出部111、衣装描画部112及び映像合成部113は、カラオケ装置1のCPU11がROM12又は記憶装置14に記憶されたコンピュータプログラムを読み出して実行することによって実現される。なお、図4においては、図面が煩雑になるのを防ぐため、衣装の着せ替え処理に係る構成について主に図示することとし、表示回路16はその図示を省略している。
図において、モーションデータ抽出部111は、映像取得部21によって撮影された映像及び取得された付加データを用いて、既知のモーションキャプチャ技術(例えば、特開2007−333690号公報参照)を用いて、リアルタイムに歌唱者の身体部位毎の動きを検出し、検出した動きを示すデータ(以下「モーションデータ」)を生成する。具体的には、例えば、モーションデータ抽出部111は、視差画像を用いた逆射影を利用して3次元モデルを算出し、確率モデルによる予測を使用してトラッキングを行う。モーションキャプチャ処理の他の態様としては、例えば、モーションデータ抽出部111が、大規模な機械学習によるパターン識別を行って歌唱者の動作のトラッキングを行う(例えば、「A Video Motion Capture System for Interactive Games」, MVA2007 IAPR Conference on Machine Vision Applications, May 16-18, 2007, Tokyo, JAPAN参照)ようにしてもよい。なお、モーションキャプチャ処理の態様は上述したものに限らず、他の態様であってもよく、撮影される歌唱者の動きを検出するものであればよい。
衣装描画部112は、モーションデータ抽出部111が生成したモーションデータをもとに、選択された衣装画像から、歌唱者の動きにリアルタイムに追従する衣装画像を生成する。すなわち、衣装描画部112は、歌唱者によって選択された衣装データを、その衣装データの表す衣装画像がモーションデータ抽出部111によって検出された動きに追従するように加工する。
映像合成部113は、衣装描画部112から出力された衣装データの表す衣装画像を、映像取得部21により撮影された映像に対してその衣装画像が映像中の歌唱者に重なるように合成し、表示回路16を介してディスプレイ22へ出力する。図5,図6は、ディスプレイ22に表示される画面の一例を示す図である。図5は衣装着せ替え処理が施される前にディスプレイ22に表示される画面の一例を示す図であり、図6は、衣装着せ替え処理が施された後にディスプレイ22に表示される画面の一例を示す図である。衣装着せ替え処理が施されることによって、図6に示すように、ディスプレイ22には、映像取得部21によって撮影された歌唱者の映像A1と衣装描画部112によって生成された衣装画像A2とが重なるように合成されて表示される。このとき、映像合成部113は歌詞テロップA3も併せて合成表示する。
次に、カラオケ装置1のCPU11が実行する衣装の着替処理の流れについてフローチャートを参照しつつ説明する。まず、歌唱者は、UI部17を操作して歌唱する楽曲を選択する。UI部17は歌唱者の操作内容に応じた信号を出力し、CPU11は、UI部17から出力される信号に対応する楽曲を特定し、特定した楽曲のジャンルIDを参照して、この楽曲に対応する衣装データを、対応関係記憶部143に記憶された対応関係に従って選択する。このとき、CPU11が選択する衣装データの数は、複数であってもよく、また、1であってもよい。
CPU11は、選択した衣装データの表す衣装画像をディスプレイ22に表示する。ここで、CPU11によって選択された衣装画像が複数ある場合は、歌唱者は、UI部17を用いて、ディスプレイ22に表示された衣装画像から、所望する衣装画像を選択することができる。UI部17は操作された内容に応じた信号を出力し、CPU11は、UI部17から出力される信号に従って、着せ替え処理に用いる衣装画像を決定する。
図7は、CPU11が実行する着せ替え処理の流れを示すフローチャートである。CPU11は、撮影が開始されるまで待機し(ステップS1;NO)、歌唱者によって撮影機能の開始が選択されると(ステップS1;YES)、歌唱者の撮影を開始する(ステップS2)。撮影が開始されることにより、映像取得部21によって撮影された映像は、ディスプレイ22に表示される。
このとき、歌唱者は、UI部17を用いて、着せ替え機能のON/OFFを選択することができる。CPU11は、歌唱者によって着せ替え機能ONが選択されたかを判定する(ステップS3)。着せ替え機能ONが選択されたと判定された場合は(ステップS3;YES)、CPU11は、モーションデータの取得を試行する(ステップS4)。モーションデータの取得に失敗した場合は(ステップS5;NO)、CPU11は、ステップS6,S7の処理をスキップする。すなわち、モーションデータの取得に失敗した場合は、衣装画像の合成処理を行わずに、映像取得部21によって撮影された映像をそのままディスプレイ22に表示する。一方、モーションデータの取得に成功した場合は(ステップS5;YES)、CPU11は、ステップS6,S7の処理に進み、衣装の描画を行う。すなわち、CPU11は、取得されたモーションデータをもとに、衣装画像を生成(描画)し(ステップS6)、生成した衣装画像と映像取得部21によって撮影された映像とを合成し(ステップS7)、ディスプレイ22へ出力する(ステップS8)。
CPU11は、歌唱者によって撮影の終了が選択されたかを判定し(ステップS9)、撮影の終了が選択されていない場合には(ステップS9;NO)、ステップS3の処理に戻って、衣装の着替処理を続行する。一方、歌唱者によって撮影の終了が選択されたと判定された場合には(ステップS9;YES)、CPU11は、撮影を終了し、ステップS1の処理に戻って、撮影の開始が選択されるまで待機する。以上の処理が実行されることによって、歌唱者の衣装着せ替え機能が実現される。
また、CPU11は、UI部17から出力される信号に基づいて、選択された楽曲に対応する伴奏音データをカラオケデータ記憶部141から読み出し、カラオケ伴奏を再生する。これによりカラオケ伴奏が開始される。また、CPU11は、歌唱者によって選択された楽曲に対応する歌詞テロップデータをカラオケデータ記憶部141から読み出し、読み出した歌詞テロップデータの示す歌詞テロップと、映像取得部21によって撮影された映像と、衣装画像とを合成し、ディスプレイ22に表示する。
歌唱者は、ディスプレイ22に表示される歌詞テロップを参照しつつ、再生されるカラオケ伴奏にあわせて歌唱を行う。利用者が歌唱を開始すると、歌唱者の歌唱音声が歌唱マイク18によって収音され、音声信号として音声処理部19へ供給される。音声処理部19は、入力される音声信号をスピーカ20に供給し、伴奏音とともにスピーカ20から音として出力する。
このとき、ディスプレイ22には、歌唱者の歌唱映像に衣装画像が合成された映像が表示される。歌唱者は、この映像を見ながら歌唱することでカラオケ歌唱を楽しむことができる。このとき、楽曲毎に異なる衣装画像が選択されて表示されるから、カラオケ装置を何度も利用する場合であっても、利用者はその都度映像を楽しむことができる。また、この実施形態では、膨大な数の衣装データの中から、楽曲での絞り込みを行うことによって、衣装を選びやすくすることができる。
以上説明したように本実施形態によれば、歌唱者が歌唱している最中に、歌唱者の衣装をリアルタイムで変更することができる。これにより、歌唱映像をより娯楽性の高いものとすることができる。
<変形例>
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
(1)上述の実施形態において、CPU11が、歌唱者の歌唱映像と衣装画像とを合成した映像を録画して保存するようにしてもよい。カラオケ装置1の利用者は、保存されたファイルを後で再生することによって、録画された歌唱映像を楽しむことができる。このとき、再生される歌唱映像には、歌唱者の動きに追従して衣装画像が合成されているから、これにより、歌唱映像をより娯楽性の高いものとすることができる。
(2)上述の実施形態において、歌唱者が、身体の部位毎に衣装画像の着せ替えのON/OFFを切り替えるようにしてもよい。この場合は、歌唱者が、身体の各部位のそれぞれについての着せ替えのON/OFFを選択する操作をUI部17を用いて行い、CPU11が、UI部17から出力される信号に応じて、部位毎の衣装画像の合成を行う。この場合、例えば、上半身についてのみ衣装画像を合成する、といったように、歌唱者が自身の所望する部位についての衣装の着せ替えを行うことができる。
(3)上述の実施形態において、CPU11が、カラオケ伴奏のテンポに応じたタイミングで衣装画像を切り替えるようにしてもよい。この場合は、伴奏データがテンポを示すデータを含む構成とし、CPU11は、対応関係記憶部143に記憶された対応関係に従って、楽曲に対応する衣装データをコンテンツ記憶部142から複数選択する。また、CPU11は、伴奏データに含まれるデータを参照してその楽曲の伴奏データのテンポを特定し、特定したテンポに応じて、所定単位時間毎(例えば、1小節毎、4小節毎、1拍毎、等)に、加工する衣装データを切り替える。この態様によれば、楽曲の進行に沿った自然なアニメーションを行わせることができ、歌唱映像をより娯楽性の高いものにすることができる。
(4)また、上述の態様において、伴奏データが楽曲の特定の区間(例えば、サビの区間)を示す区間データを含む構成とし、カラオケ装置1のCPU11が、区間データを参照し、区間データの示す区間とそれ以外の区間とで用いる衣装データを切り替えるようにしてもよい。この場合、CPU11は、対応関係記憶部143に記憶された対応関係に従って、楽曲に対応する衣装データをコンテンツ記憶部142から複数選択する。CPU11は、楽曲の再生中において、区間データの示す区間とそれ以外の区間とで用いる衣装データを切り替える。この態様によれば、サビの部分で衣装画像が切り替わるから、歌唱映像をより娯楽性の高いものにすることができる。
(5)上述の実施形態において、カラオケ装置1のCPU11が、歌唱マイク18によって収音される歌唱音声の出力ゲインに応じて衣装画像を変更するようにしてもよい。この場合、CPU11は、対応関係記憶部143に記憶された対応関係に従って、楽曲に対応する衣装データをコンテンツ記憶部142から複数選択する。CPU11は、楽曲の再生中において、出力ゲインに応じて衣装データを切り替える。具体的には、例えば、衣装データに優先度を示すデータを予め付与しておき、出力ゲインが大きいほど優先度の高い衣装データを用いる(例えば、出力ゲインが大きいほど華やかな衣装画像を用いる)ようにしてもよい。
(6)上述の実施形態では、カラオケ伴奏の再生を開始する前に、歌唱者が衣装を選択するようにしたが、これに限らず、カラオケ伴奏の再生中に衣装の選択や変更を行うようにしてもよい。この場合は、歌唱者は、UI部17を用いて、衣装画像を変更するための操作を行う。CPU11は、衣装画像を変更する旨を示す信号がUI部17から出力された場合に、その信号に従って衣装画像を切り替える。
この場合に、CPU11が、衣装画像の変更のタイミングを示すシーケンスデータを生成して出力してもよい。更に、CPU11が、生成したシーケンスデータを、映像取得部21によって撮影された映像を表す映像データに付与して記憶してもよい。この場合は、CPU11が、映像データを再生する際に、映像データに付与されたシーケンスデータに従って衣装画像の表示や切替を行う。カラオケ装置1の利用者は、保存されたファイルを後で再生することによって、録画された歌唱映像を楽しむことができる。
(7)上述の実施形態では、CPU11が、映像取得部21によって撮影された映像及び取得された付加データを用いて歌唱者の動きを検出したが、歌唱者の動きを検出する態様はこれに限らず、例えば、歌唱者の身体に磁気センサやマーカーを装着し、これらを検出することによって動作を検出するモーションキャプチャ技術を用いるようにしてもよい。要は、歌唱者の動作を検出するものであればどのようなものであってもよい。
(8)本発明に係るカラオケ装置は、カラオケ伴奏を再生する専用の装置に限らず、例えばパーソナルコンピュータ等の汎用コンピュータであってもよい。カラオケ装置が汎用コンピュータである場合には、ビデオカードが表示回路16に相当し、キーボードやマウスがUI部17に相当する。
(9)上述の実施形態では、図4に示すモーションデータ抽出部111、衣装描画部112及び映像合成部113は、CPU11がROM12又は記憶装置14に記憶されたコンピュータプログラムを読み出して実行することによってソフトウェアとして実現される構成としたが、これに限らず、モーションデータ抽出部111や衣装描画部112、映像合成部113がハードウェアとして構成されていてもよい。
また、上述の実施形態では、UI部17、歌唱マイク18、スピーカ20、映像取得部21及びディスプレイ22がカラオケ装置1に外付けされる構成について説明したが、これに限らず、スピーカやマイク等がカラオケ装置1に内蔵される構成であってもよい。
(10)上述の実施形態では、対応関係記憶部143に「ジャンルID」と「衣装ID」とを対応付けて記憶するようにしたが、対応関係記憶部143の記憶内容はこれに限定されるものではなく、楽曲と衣装画像との対応関係が示されるものであればどのようなものであってもよい。例えば、「楽曲ID」と「衣装ID」とが対応付けて記憶されていてもよい。また、楽曲と衣装画像とは、1対1で対応付けられていてもよく、また、複数対複数で対応付けられていてもよい。
(11)上述の実施形態において、利用者が複数いる場合に、CPU11が画像解析やマイク入力数の判定を行うことによって歌唱人数を把握するようにしてもよい。この場合は、CPU11が画像解析やマイク入力数の判定を行って歌唱者の人数を特定し、特定した人数に対応する数の衣装画像を表示する。
また、CPU11が、歌唱マイク18によって収音された音声を解析し、歌唱者の性別を判定するようにしてもよい。この場合は、衣装データに性別を示す識別子を予め付与しておき、CPU11が、歌唱者の性別の判定結果に応じて、歌唱者の性別に対応する衣装データを選択するようにすればよい。
(12)上述の実施形態では、楽曲を示す楽曲データとしてカラオケ伴奏を表す伴奏音データを用いたが、楽曲データは伴奏音データに限らず、例えば、楽曲の旋律を示すガイドメロディデータであってもよい。
(13)上述の実施形態において、CPU11が、楽曲のガイドメロディの音程に応じて衣装画像を変更するようにしてもよい。具体的には、例えば、CPU11が、音高が予め定められた閾値以上であるか否かで、用いる衣装画像を切り替えるようにしてもよい。また、上述の実施形態において、CPU11が、楽曲の歌詞の内容に応じて衣装画像を変更するようにしてもよい。具体的には、例えば、CPU11が、歌詞テロップデータの表す歌詞を解析し、特定の単語(例えば、「星」、「ハート」)が検索された場合に、その単語の再生タイミングにおいて、衣装画像を切り替えるようにしてもよい。
(14)上述の実施形態におけるカラオケ装置1のCPU11によって実行されるプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置1にダウンロードさせることも可能である。
1…カラオケ装置、11…CPU、12…ROM、13…RAM、14…記憶装置、15…通信部、17…UI部、18…歌唱マイク、19…音声処理部、20…スピーカ、21…映像取得部、22…ディスプレイ、111…モーションデータ抽出部、112…衣装描画部、113…映像合成部、141…カラオケデータ記憶部、142…コンテンツ記憶部、143…対応関係記憶部

Claims (4)

  1. 楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、
    衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、
    前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、
    利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、
    前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、
    被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、
    前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、
    前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、
    前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、
    前記加工手段は、前記再生手段によって再生される楽曲データのテンポを特定し、特定したテンポに応じたタイミングで、加工する衣装データを切り替える
    ことを特徴とするカラオケ装置。
  2. 楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、
    衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、
    前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、
    利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、
    前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、
    被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、
    前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、
    前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、
    前記楽曲データは、前記楽曲の特定の区間を示す区間データを含み、
    前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、
    前記加工手段は、前記再生手段によって再生される楽曲データに含まれる区間データを参照し、当該区間データの示す区間とそれ以外の区間とで、加工する衣装データを切り替える
    ことを特徴とするカラオケ装置。
  3. 楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、
    衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、
    前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、
    利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、
    前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、
    被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、
    前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、
    前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、
    前記選択手段は、前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から複数選択し、
    前記加工手段は、歌唱者の歌唱音声を収音する収音手段から出力される音声信号の出力ゲインに応じて、加工する衣装データを切り替える
    ことを特徴とするカラオケ装置。
  4. 楽曲を表す楽曲データを複数記憶する楽曲データ記憶手段と、
    衣装画像を表す衣装データを複数記憶する衣装データ記憶手段と、
    前記楽曲と前記衣装画像との対応関係を記憶する対応関係記憶手段と、
    利用者によって操作される操作手段から出力される信号に対応する楽曲データを、前記楽曲データ記憶手段から読み出して再生する再生手段と、
    前記対応関係記憶手段に記憶された対応関係に従って、前記再生手段によって再生される楽曲データに対応する衣装データを、前記衣装データ記憶手段から選択する選択手段と、
    被写体を撮影するとともに当該被写体の深度を検出する撮影手段によって検出された深度に従って歌唱者の動きを検出する検出手段と、
    前記選択手段によって選択された衣装データを、当該衣装データの表す衣装画像が前記検出手段によって検出された動きに追従するように加工する加工手段と、
    前記加工手段によって加工された衣装データの表す衣装画像を、前記撮影手段によって撮影された映像に対して当該衣装画像が前記歌唱者に重なるように合成して表示手段へ出力する表示制御手段とを備え、
    前記加工手段は、前記衣装画像を切り替える旨を示す信号が前記操作手段から出力された場合に、当該信号に従って、加工する衣装データを切り替えるとともに、当該衣装データの切替タイミングを示すシーケンスデータを生成して出力する
    ことを特徴とするカラオケ装置。
JP2011065449A 2011-03-24 2011-03-24 カラオケ装置 Expired - Fee Related JP5772124B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011065449A JP5772124B2 (ja) 2011-03-24 2011-03-24 カラオケ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011065449A JP5772124B2 (ja) 2011-03-24 2011-03-24 カラオケ装置

Publications (2)

Publication Number Publication Date
JP2012203071A JP2012203071A (ja) 2012-10-22
JP5772124B2 true JP5772124B2 (ja) 2015-09-02

Family

ID=47184179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011065449A Expired - Fee Related JP5772124B2 (ja) 2011-03-24 2011-03-24 カラオケ装置

Country Status (1)

Country Link
JP (1) JP5772124B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015008756A1 (ja) * 2013-07-19 2017-03-02 株式会社ニコン 投影装置、制御装置、制御プログラム、および投影制御方法
JP6365147B2 (ja) * 2014-09-05 2018-08-01 ブラザー工業株式会社 再生制御装置、プログラム、及び再生システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772877A (ja) * 1991-06-12 1995-03-17 Eiko Shioda カラオケ装置
JP3588883B2 (ja) * 1995-12-08 2004-11-17 ヤマハ株式会社 カラオケ装置
JPH09247532A (ja) * 1996-03-01 1997-09-19 Aba Internatl:Kk 画像合成方法および装置
JP2000035791A (ja) * 1998-07-21 2000-02-02 Yamaha Corp カラオケ装置
JP4171687B2 (ja) * 2003-09-17 2008-10-22 株式会社エクシング 音楽再生装置

Also Published As

Publication number Publication date
JP2012203071A (ja) 2012-10-22

Similar Documents

Publication Publication Date Title
CN105405436B (zh) 评分装置以及评分方法
JP7366611B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4755672B2 (ja) コンテンツ編集装置、方法及びプログラム
JP2016111386A (ja) 映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体
JP2013171070A (ja) 楽曲情報処理装置及び楽曲情報処理方法
JP2010066789A (ja) アバター編集サーバ及びアバター編集プログラム
JP2020017870A (ja) 情報処理装置、動画配信方法及び動画配信プログラム
JP2017093803A (ja) 評価プログラム、評価方法及び評価装置
JP2012198380A (ja) 表示制御装置
JP5772124B2 (ja) カラオケ装置
KR20180080642A (ko) 음원과 동기화되는 동영상을 편집하는 방법
KR101295862B1 (ko) 증강 현실 영상을 제공하는 노래방 장치 및 그 방법
JP2023169373A (ja) 情報処理装置、動画合成方法及び動画合成プログラム
JP5498341B2 (ja) カラオケシステム
JP2012194241A (ja) 評価装置
JP5928279B2 (ja) 運動支援装置及びプログラム
JP6313003B2 (ja) カラオケ装置、画像出力方法、およびプログラム
JP5310682B2 (ja) カラオケ装置
WO2021085105A1 (ja) 情報処理装置、提案装置、情報処理方法および提案方法
JP6287921B2 (ja) 情報処理装置及びプログラム
JP2014123085A (ja) カラオケにおいて歌唱に合わせて視聴者が行う身体動作等をより有効に演出し提供する装置、方法、およびプログラム
JP2012137560A (ja) カラオケ装置、カラオケ装置の制御方法及び制御プログラム
JP2020095634A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7330634B2 (ja) 携帯端末、プログラム
JP6121139B2 (ja) カラオケ歌唱映像の歌唱音声選択システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150615

LAPS Cancellation because of no payment of annual fees