図1~図5を参照して、実施形態に係るカラオケ装置について説明する。
==カラオケシステム==
図1に示すように、本実施形態に係るカラオケシステム1は、再生装置P、カラオケ装置K、及びサーバ装置Sを備える。サーバ装置S及びカラオケ装置Kは、ネットワークNを介して通信可能に接続されている。ネットワークNは、たとえば公衆電話回線網やインターネット回線等の伝送路である。カラオケ装置K及び再生装置Pは、カラオケ店舗のカラオケルームに設置されている。カラオケ装置Kと再生装置Pは、たとえばHDMIケーブルを利用して、デジタル信号の通信が可能な状態で接続されている。
再生装置Pは、メディアに収録された映像作品のデータを再生し、映像信号及び音声信号を出力する。再生装置Pは、市販のDVD/BDプレーヤを用いることができる。メディアは、映像作品を収録可能なDVDやBDである。映像作品のデータは、映像データ及び音声データにより構成されている。
映像データは、カラオケ装置Kで表示される映像に対応するデータである。映像データは、複数の静止画像データから構成される。映像データは、たとえばHDMIの規格に適合したデジタルの映像信号としてカラオケ装置Kに出力される。音声データは、カラオケ装置Kから放音される音声に対応するデータである。音声には、会話の音声、音楽の音声、効果音(機械音、自然音等)等が含まれる。また、音楽の音声には、オープニング曲や挿入歌のように歌唱音声を含む音声と、インストゥルメンタルやジングルのような歌唱音声を含まない音声が含まれる。音声データは、たとえばHDMIの規格に適合したデジタルの音声信号としてカラオケ装置Kに出力される。
図2は、映像作品Mのデータを模式的に示した図である。映像作品Mは、再生時間が25分間の作品である。映像作品Mは、映像データV、及び複数の音楽の音声データ(以下、「音声データ」)S01~S10より構成されている。また、図2においては、会話の音声など音楽以外の音声データは省略している。音声データには、開始時刻及び終了時刻が付されている。開始時刻は、音声データの再生を開始する時刻であり、終了時刻は音声データの再生を終了する時刻である。たとえば、音声データS01は、映像データの再生と同時(開始時刻:00:00:00)に再生が開始される歌詞付きのオープニング曲(すなわち、歌唱音声を含む音声)に対応するデータである。一方、音声データS02は、オープニング曲の後(開始時刻:01:40:00)に再生が開始されるインストゥルメンタル(すなわち、歌唱音声を含まない音声)に対応するデータである。
カラオケ装置Kは、カラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。
サーバ装置Sは、カラオケ装置Kに対し楽曲の配信等を行う装置である。本実施形態において、サーバ装置Sは、カラオケ装置Kから受信した音楽の音声信号に対応する演奏データに基づいて楽曲を特定し、特定した楽曲の楽曲識別情報をカラオケ装置Kに送信する。演奏データに基づく楽曲の特定は、公知の技術(たとえば、サウンドハンド社が提供するアプリケーション「SoundHound」)を用いることができる。
なお、サーバ装置Sの代わりに、カラオケシステム1とは別の楽曲検索専用のサーバ装置を利用してもよい。或いは、カラオケ装置Kがサーバ装置Sと同様の機能を有していてもよい。
==カラオケ装置==
図3に示すように、カラオケ装置Kは、カラオケ本体10、スピーカ20、表示装置30、マイク40、及びリモコン装置50を備える。
スピーカ20は各種音声を放音するための構成である。表示装置30はカラオケ本体10からの信号に基づいて映像や画像を画面に表示するための構成である。表示装置30は、「表示手段」の一例である。マイク40は利用者の歌唱音声をアナログの信号に変換してカラオケ本体10に入力するための構成である。リモコン装置50は、カラオケ本体10に対する各種操作をおこなうための装置である。利用者は、リモコン装置50を用いてカラオケ歌唱を希望する楽曲の選曲等を行うことができる。リモコン装置50の表示画面には各種操作の指示入力を行うためのアイコン等が表示される。
カラオケ本体10は、楽曲のカラオケ演奏制御、歌詞や背景映像等の表示制御、マイク40を通じて入力された信号の処理といった、カラオケ歌唱に関する各種の制御を行う。図3に示すように、カラオケ本体10は、制御部11、通信部12、記憶部13、音響処理部14、表示処理部15及び操作部16を備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
制御部11は、CPU11aおよびメモリ11bを備える。CPU11aは、メモリ11bに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリ11bは、CPU11aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。
通信部12は、ルーター(図示なし)を介してカラオケ本体10を通信回線に接続するためのインターフェースを提供する。また、本実施形態に係る通信部12は、カラオケ装置KとHDMI接続された再生装置Pが出力するデジタルの映像信号及び音声信号を取得する。記憶部13は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶部13は「記憶手段」の一例である。
音響処理部14は、制御部11の制御に基づき、楽曲のカラオケ演奏に関する制御、及びマイク40を通じて入力された歌唱音声に基づく信号の処理を行う。表示処理部15は、制御部11の制御に基づき、表示装置30やリモコン装置50における各種表示に関する処理を行う。たとえば、表示処理部15は、楽曲のカラオケ演奏時における背景映像に歌詞テロップや各種アイコンが重ねられた映像を表示装置30に表示させる制御を行う。或いは、表示処理部15は、リモコン装置50の表示画面に操作入力用の各種アイコンを表示させる。操作部16は、パネルスイッチおよびリモコン受信回路などからなり、利用者によるカラオケ装置1のパネルスイッチあるいはリモコン装置50の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部11に対して出力する。制御部11は、操作部16からの操作信号を検出し、対応する処理を実行する。
図4に示すように、本実施形態において、カラオケ本体10は、データ記憶部100、抽出部200、取得部300、予約部400、記憶処理部500、音響制御部600、映像再生部700、及び表示制御部800を備える。データ記憶部100は、記憶部13の記憶領域の一部である。抽出部200、取得部300、予約部400、記憶処理部500、音響制御部600、映像再生部700、及び表示制御部800は、CPU11aがメモリ11bに記憶されるプログラムを実行することにより実現される。
[データ記憶部]
データ記憶部100は、楽曲のカラオケ演奏を行うための楽曲データと、楽曲識別情報とを紐付けて記憶する。
楽曲データは、伴奏データ、リファレンスデータ等を含む。伴奏データは、カラオケ演奏音の元となるデータである。リファレンスデータは、利用者によるカラオケ歌唱を採点するためのデータであり、採点時の基準として用いられるデータである。楽曲識別情報は、たとえば楽曲IDのような、楽曲毎に設定された固有の情報である。なお、以下の説明において、映像作品M中で流れるオープニング楽曲や挿入歌のような歌詞付きの楽曲については、対応する楽曲データがカラオケ装置Kに記憶されているとする。
また、データ記憶部100は、楽曲のカラオケ演奏に合わせて歌詞テロップを表示装置30等に表示させるための歌詞テロップデータ等を記憶する。
[抽出部]
抽出部200は、再生装置Pから出力された音声信号から、音楽の音声信号に対応する演奏データを抽出し、且つ再生装置Pから出力された映像信号から、当該音楽の音声信号に対応する音楽映像データを抽出する。
具体的に、抽出部200は、再生装置Pから出力された音声信号のうち、音楽の音声信号を特定し、演奏データとして抽出する。
音楽の音声信号は、会話音声の音声信号や効果音の音声信号にはない特徴を有する。具体的に、音楽の音声信号は、周波数軸上では調波構造(倍音構造)を有し、時間軸上では周期性(ビート、リズム等)を有する。
抽出部200は、このような調波構造や周期性を検出することで、様々な音声が含まれる音声信号の中から、音楽の音声信号を特定し、演奏データとして抽出する。このような、音楽の音声信号の特定については、公知の技術を利用することができる。
たとえば、利用者Uが、カラオケ装置K及び再生装置Pを利用して映像作品Mの鑑賞を行うとする。利用者Uは、映像作品Mのメディアを再生装置Pにセットし、再生開始を指示する。再生装置Pは、映像作品Mのデータを再生し、映像信号及び音声信号をカラオケ装置Kに出力する。
抽出部200は、入力された音声信号を解析し、演奏データの抽出を行う。図2に示すように、映像作品Mが再生される時刻「00:00:00」から時刻「01:30:00」までの間に抽出される音楽の音声信号は、音声データS01に対応する信号である。よって、抽出部200は、音声データS01に対応する信号を演奏データC01として抽出する。抽出部200は、抽出した演奏データC01を取得部300に出力する。また、映像作品Mが再生される時刻「01:40:00」から時刻「01:55:00」までの間に抽出される音楽の音声信号は、音声データS02に対応する信号である。よって、抽出部200は、音声データS02に対応する信号を演奏データC02として抽出する。抽出部200は、抽出した演奏データC02を取得部300に出力する。同様の処理により、抽出部200は、音声データS03~音声データS10に対応する信号を、それぞれ演奏データC03~演奏データC10として抽出する。
一方、抽出部200は、再生装置Pから出力された映像信号から、音楽の音声信号に対応する映像データを特定し、音楽映像データとして抽出する。
たとえば、抽出部200は、音声データS01に対応する信号を演奏データC01として抽出したとする。この場合、抽出部200は、音声データS01に対応する映像データ(すなわち、映像作品Mが再生される時刻「00:00:00」から時刻「01:30:00」までの間の映像データ)を特定し、音楽映像データMV01として抽出する。抽出部200は、抽出した音楽映像データMV01を記憶処理部400に出力する。また、抽出部200は、音声データS02に対応する信号を演奏データC02として抽出したとする。この場合、抽出部200は、音声データS02に対応する映像データ(すなわち、映像作品Mが再生される時刻「01:40:00」から時刻「01:55:00」までの間の映像データ)を特定し、音楽映像データMV02として抽出する。抽出部200は、抽出した音楽映像データMV02を記憶処理部400に出力する。同様の処理により、抽出部200は、音声データS03~音声データS10に対応する映像データを特定し、それぞれ音楽映像データMV03~音楽映像データMV10として抽出する。すなわち、抽出された音楽映像データMV01~音楽映像データMV10は、抽出された演奏データC01~演奏データC10と一対一の関係にある。
[取得部]
取得部300は、抽出した演奏データに基づいて、演奏データに対応する楽曲の楽曲識別情報を取得する。
具体的に、取得部300は、抽出部200が抽出した演奏データをサーバ装置Sに送信する。上述の通り、サーバ装置Sは、受信した音楽の音声信号に対応する演奏データに基づいて楽曲を特定し、特定した楽曲の楽曲識別情報をカラオケ装置Kに送信する。
たとえば、抽出部200から演奏データC01が出力されたとする。取得部300は、演奏データC01をサーバ装置Sに送信する。サーバ装置Sは、演奏データC01に基づいて楽曲X01を特定し、楽曲X01の楽曲ID「ID***01」をカラオケ装置Kに送信する。取得部300は、演奏データC01に対応する楽曲X01の楽曲IDとして「ID***01」を取得する。また、抽出部200から演奏データC02が出力されたとする。取得部300は、演奏データC02をサーバ装置Sに送信する。サーバ装置Sは、演奏データC02に基づいて楽曲X02を特定し、楽曲X02の楽曲ID「ID***02」をカラオケ装置Kに送信する。取得部300は、演奏データC02に対応する楽曲X02の楽曲IDとして「ID***02」を取得する。同様の処理により、取得部300は、演奏データC03~演奏データC10に対応する楽曲X03~楽曲X10の楽曲IDとして、それぞれ「ID***03」~「ID***10」を取得する。
[予約部]
予約部400は、カラオケ演奏を行う楽曲を予約する。たとえば、利用者がリモコン装置50を介してある楽曲を選曲したとする。この場合、予約部400は、選曲された楽曲の楽曲IDを予約待ち行列に登録することで楽曲の予約を行う。
また、本実施形態に係る予約部400は、取得した楽曲識別情報に基づいて、カラオケ演奏を行う楽曲を予約する。
たとえば、取得部300から楽曲ID「ID***01」が出力されたとする。この場合、予約部400は、楽曲ID「ID***01」に紐付けられた楽曲データがデータ記憶部100に記憶されているかどうかを確認する。ここで、楽曲ID「ID***01」に対応する楽曲X01は、歌詞付きの楽曲である。よって、データ記憶部100には、楽曲IDに紐付けられた楽曲データが記憶されている。この場合、予約部400は、楽曲ID「ID***01」を予約待ち行列に登録する。
一方、取得部300から楽曲ID「ID***02」が出力されたとする。この場合、予約部400は、楽曲ID「ID***02」に紐付けられた楽曲データがデータ記憶部100に記憶されているかどうかを確認する。ここで、楽曲ID「ID***02」に対応する楽曲X02は、歌詞付きの楽曲ではない。よって、データ記憶部100には、楽曲IDに紐付けられた楽曲データが記憶されていない。すなわち、楽曲ID「ID***02」に対応する楽曲X02は、カラオケ装置Kでカラオケ演奏ができない楽曲である。この場合、予約部400は、楽曲ID「ID***02」を予約待ち行列に登録しない。同様の処理により、予約部400は、楽曲ID「ID***04」、「ID***09」、及び「ID***10」について予約待ち行列に登録する。一方、予約部400は、楽曲ID「ID***03」、「ID***05」、「ID***06」、「ID***07」、及び「ID***08」については予約待ち行列に登録しない。
[記憶処理部]
記憶処理部500は、抽出した音楽映像データを、対応する楽曲識別情報と紐付けて記憶手段に記憶させる。「対応する楽曲識別情報」は、抽出した音楽映像データと一対一の関係にある演奏データに対応する楽曲の楽曲識別情報である。
たとえば、取得部300が、抽出された演奏データC01に対応する楽曲X01の楽曲IDとして「ID***01」を取得し、予約部400が、楽曲ID「ID***01」を予約待ち行列に登録したとする。また、抽出した音楽映像データMV01は、演奏データC01に対応しているとする。
この場合、記憶処理部500は、音楽映像データMV01を、演奏データC01に対応する楽曲X01の楽曲ID「ID***01」と紐付けて記憶部13に一時的に記憶させる。
同様に、予約部400が、楽曲ID「ID***04」、「ID***09」、及び「ID***10」について予約待ち行列に登録した場合、記憶処理部500は、音楽映像データMV4を楽曲ID「ID***04」と紐付け、音楽映像データMV09を楽曲ID「ID***09」と紐付け、音楽映像データMV10を楽曲ID「ID***10」と紐付けて記憶部13に一時的に記憶させる。
なお、予約部400が楽曲IDを予約待ち行列に登録しなかった場合、記憶処理部500は、音楽映像データを、対応する楽曲IDと紐付けて記憶部13に一時的に記憶させる必要は無い。たとえば、予約部400が、楽曲ID「ID***02」、「ID***03」、「ID***05」、「ID***06」、「ID***07」、及び「ID***08」について予約待ち行列に登録しなかった場合、記憶処理部500は、音楽映像データMV02(対応する楽曲ID「ID***02」)、音楽映像データMV03(対応する楽曲ID「ID***03」)、音楽映像データMV05(対応する楽曲ID「ID***05」)、音楽映像データMV06(対応する楽曲ID「ID***06」)、音楽映像データMV07(対応する楽曲ID「ID***07」)、及び音楽映像データMV08(対応する楽曲ID「ID***08」)については、記憶部13に記憶させなくともよい。
また、記憶処理部500は、記憶部13に記憶した音楽映像データを所定のタイミングで消去することが好ましい。たとえば、記憶処理部500は、予約された楽曲のカラオケ演奏が終了した場合、当該楽曲の楽曲IDに紐付けられている音楽映像データを消去する。
[音響制御部]
音響制御部600は、カラオケ装置Kからの放音に関する各種制御を行う。たとえば、再生装置Pから音声信号の入力を受けた場合、音響制御部600は、音響処理部14を制御し、スピーカ20から映像作品の音声を放音させる。
また、音響制御部600は、予約した楽曲の楽曲データに基づいてカラオケ演奏を行う。具体的には、音響制御部600は、予約待ち行列に登録されている楽曲IDが紐付けられている楽曲データをデータ記憶部100から読み出し、音響処理部14を制御することで、スピーカ20からカラオケ演奏音を放音させる。
上記例において、映像作品Mの再生が終了した時点で、予約待ち行列には楽曲ID「ID***01」、「ID***04」、「ID***09」、及び「ID***10」が登録されている。
映像作品Mを鑑賞し終えた利用者は、映像作品M中で流れた楽曲のカラオケ歌唱を希望する場合、リモコン装置50を介して、カラオケ演奏の開始を指示する。
音響制御部600は、予約待ち行列に登録されている順に、まず楽曲ID「ID***01」に紐付けられている楽曲X01の楽曲データをデータ記憶部100から読み出し、音響処理部14を制御して、スピーカ20からカラオケ演奏音を放音させる。
[映像再生部]
映像再生部700は、カラオケ演奏を行う楽曲の楽曲識別情報に紐付けられた音楽映像データを、記憶手段から読み出して再生し、音楽映像信号を出力する。
たとえば、音響制御部600が、楽曲ID「ID***01」に紐付けられている楽曲X01の楽曲データをデータ記憶部100から読み出し、音響処理部14を制御して、スピーカ20からカラオケ演奏音を放音させるとする。
この場合、映像再生部700は、楽曲ID「ID***01」に紐付けられた音楽映像データMV01を記憶部13から読み出して再生し、音楽映像信号を表示制御部800に出力する。
ここで、本実施形態において、映像再生部700が出力する音楽映像信号は、所定数の静止画像に対応する信号である。所定数は予め設定されている値である。所定数は、一の映像作品における全ての楽曲で共通の値が設定されていてもよいし、一の映像作品における楽曲の長さに応じて楽曲毎に異なる値が設定されていてもよい。また、所定数は、全ての映像作品において共通の値が設定されていてもよいし、映像作品毎に異なる値が設定されていてもよい。
たとえば、所定数が「6個」であるとする。この場合、映像再生部700は、音楽映像データMV01を記憶部13から読み出して再生し、6個の静止画像に対応する音楽映像信号を表示制御部800に出力する。
より具体的に、映像再生部700は、カラオケ演奏を行う楽曲の演奏時間と、当該楽曲の楽曲識別情報に紐付けられた音楽映像データの再生時間とに基づいて、所定数の静止画像に対応する信号を出力することができる。
たとえば、所定数が「6個」であるとする。また図2から明らかなように、映像作品Mにおける楽曲X01の演奏時間は、1分30秒(開始時刻「00:00:00」、終了時刻「01:30:00」)である。すなわち、音楽映像データMV01の再生時間は1分30秒である。一方、データ記憶部100が記憶している楽曲X01の演奏時間は6分であるとする。同じ楽曲X01であっても、データ記憶部100が記憶している楽曲X01の演奏時間の方が映像作品Mにおける楽曲X01の演奏時間より長いのは、一般的にカラオケ装置に記憶されている楽曲データが楽曲のオリジナル・バージョンに対応するのに対して、映像作品で楽曲が使われる場合には、その一部のみが使われたり、予め映像作品のオープニングやエンディングのためにアレンジされたTVサイズが使われたりするためである。
この場合、映像再生部700は、楽曲X01のカラオケ演奏の演奏時間「6分」の間に、6個の静止画像に対応する音楽映像信号を出力する。
具体的に、映像再生部700は、楽曲X01のカラオケ演奏の開始時点において、音楽映像データMV01の再生開始時点の静止画像SI01に対応する音楽映像信号を出力する。次に、映像再生部700は、楽曲X01のカラオケ演奏開始から1分の時点において、音楽映像データMV01の再生開始から15秒の時点の静止画像SI02に対応する音楽映像信号を出力する。同様に、映像再生部700は、楽曲X01のカラオケ演奏開始から2分の時点において、音楽映像データMV01の再生開始から30秒の時点の静止画像SI03に対応する音楽映像信号を出力し、楽曲X01のカラオケ演奏開始から3分の時点において、音楽映像データMV01の再生開始から45秒の時点の静止画像SI04に対応する音楽映像信号を出力し、楽曲X01のカラオケ演奏開始から4分の時点において、音楽映像データMV01の再生開始から60秒の時点の静止画像SI05に対応する音楽映像信号を出力する。最後に、映像再生部700は、楽曲X01のカラオケ演奏開始から5分の時点において、音楽映像データMV01の再生開始から75秒の時点の静止画像SI06に対応する音楽映像信号を出力する。なお、静止画像SI01~静止画像SI06は、それぞれ1個目~6個目の静止画像に相当する。また、6個の静止画像に対応する音楽映像信号は、等間隔(楽曲X01のカラオケ演奏開始から1分おき)に出力されている。
[表示制御部]
表示制御部800は、カラオケ装置Kにおける表示に関する各種制御を行う。たとえば、再生装置Pから映像信号の入力を受けた場合、表示制御部800は、表示処理部15を制御し、表示装置30に映像作品の映像を表示させる。
また、表示制御部800は、映像再生部700が出力した音楽映像信号に基づく映像を表示装置30に表示させる。
上述の通り、映像再生部700から6個の静止画像に対応する音楽映像信号が順次、出力されるとする。この場合、表示制御部800は、表示処理部15を制御し、楽曲X01のカラオケ演奏の背景映像として、映像再生部700から順次出力された6個の静止画像に対応する信号に基づく映像を表示装置30に表示させる。
具体的に、表示制御部800は、楽曲X01のカラオケ演奏の開始に合わせて、静止画像SI01に対応する信号に基づく映像m1を表示装置30に表示させる。表示制御部800は、楽曲X01のカラオケ演奏開始から1分の時点において、映像m1から静止画像SI02に対応する信号に基づく映像m2に切り替えて表示装置30に表示させる。同様に、表示制御部800は、楽曲X01のカラオケ演奏開始から2分の時点において、映像m2から静止画像SI03に対応する信号に基づく映像m3に切り替え、楽曲X01のカラオケ演奏開始から3分の時点において、映像m3から静止画像SI04に対応する信号に基づく映像m4に切り替え、楽曲X01のカラオケ演奏開始から4分の時点において、映像m4から静止画像SI05に対応する信号に基づく映像m5に切り替えて表示装置30に表示させる。最後に、表示制御部800は、楽曲X01のカラオケ演奏開始から5分の時点において、映像m5から静止画像SI06に対応する信号に基づく映像m6に切り替えて表示装置30に表示させる。なお、映像m1~映像m6が表示される時間は等しく(1分間)となっている。
==カラオケ装置における処理について==
次に、図5を参照して本実施形態に係るカラオケ装置Kにおける処理の具体例について述べる。図5は、カラオケ装置Kにおける処理例を示すフローチャートである。この例では、データ記憶部100が、楽曲データと、楽曲IDとを紐付けて記憶しているとする。
再生装置Pは、メディアに収録された映像作品のデータを再生し、映像信号及び音声信号を出力する(映像作品の再生開始。ステップ10)。カラオケ装置Kは、映像信号及び音声信号の入力を受ける(映像信号及び音声信号の入力。ステップ11)。
抽出部200は、再生装置Pから出力された音声信号から、音楽の音声信号に対応する演奏データを抽出する(演奏データの抽出。ステップ12)。
また、抽出部200は、再生装置Pから出力された映像信号から、音楽の音声信号に対応する音楽映像データを抽出する(音楽映像データの抽出。ステップ13)。
取得部300は、ステップ12で抽出した演奏データをサーバ装置Sに送信する。サーバ装置Sは、受信した演奏データに基づいて楽曲を特定し、楽曲の楽曲IDをカラオケ装置Kに送信する。取得部300は、演奏データに対応する楽曲の楽曲IDを取得する(楽曲IDの取得。ステップ14)。
予約部400は、ステップ14で取得した楽曲IDに紐付けられた楽曲データがデータ記憶部100に記憶されているかどうかを確認する。ステップ14で取得した楽曲IDに紐付けられた楽曲データがデータ記憶部100に記憶されている場合(ステップ15でYの場合)、予約部400は、当該楽曲IDを予約待ち行列に登録することで、カラオケ演奏を行う楽曲を予約する(楽曲の予約。ステップ16)。
予約部400が楽曲の予約を行った場合、記憶処理部500は、ステップ13で抽出した音楽映像データを、ステップ16で予約した楽曲の楽曲IDと紐付けて記憶部13に記憶させる(音楽映像データの記憶。ステップ17)。
カラオケ装置Kは、再生装置Pから映像信号及び音声信号の出力が途絶えるまで、すなわち映像作品のデータの再生が終了するまで(ステップ18でYの場合)、ステップ11からステップ17の処理を繰り返す。
その後、利用者がカラオケ歌唱を希望した場合、音響制御部600は、ステップ16で予約した楽曲の楽曲データに基づいてカラオケ演奏を行う(予約した楽曲のカラオケ演奏。ステップ19)。
映像再生部700は、カラオケ演奏を行う楽曲の楽曲識別情報に紐付けられた音楽映像データを、記憶部13から読み出して再生し、音楽映像信号を出力する(音楽映像信号の出力。ステップ20)。
表示制御部800は、ステップ20で映像再生部700が出力した音楽映像信号に基づく映像を表示装置30に表示させる(音楽映像信号に基づく映像の表示。ステップ21)。
以上から明らかなように、本実施形態に係るカラオケ装置Kは、メディアに収録された映像作品のデータを再生し、映像信号及び音声信号を出力する再生装置Pと接続されている。カラオケ装置Kは、楽曲のカラオケ演奏を行うための楽曲データと、楽曲を識別するための楽曲識別情報とを紐付けて記憶するデータ記憶部100と、再生装置Pから出力された音声信号から、音楽の音声信号に対応する演奏データを抽出し、且つ再生装置Pから出力された映像信号から、当該音楽の音声信号に対応する音楽映像データを抽出する抽出部200と、抽出した演奏データに基づいて、演奏データに対応する楽曲の楽曲識別情報を取得する取得部300と、取得した楽曲識別情報に基づいて、カラオケ演奏を行う楽曲を予約する予約部400と、抽出した音楽映像データを、対応する楽曲識別情報と紐付けて記憶部13に記憶させる記憶処理部500と、音声信号に基づいてスピーカ20から音声を放音させる音響制御部600であって、予約した楽曲の楽曲データに基づいてカラオケ演奏を行う音響制御部600と、カラオケ演奏を行う楽曲の楽曲識別情報に紐付けられた音楽映像データを、記憶部13から読み出して再生し、音楽映像信号を出力する映像再生部700と、映像信号に基づいて表示装置30に映像を表示させる表示制御部800であって、映像再生部700が出力した音楽映像信号に基づく映像を表示装置30に表示させる表示制御部800と、を有する。
このようなカラオケ装置Kによれば、映像作品中に流れた楽曲が自動的に予約される。よって、利用者が映像作品を鑑賞した後、映像作品中に流れた楽曲をカラオケ歌唱したいと考えた場合、カラオケ装置Kは、当該楽曲のカラオケ演奏を行うことができる。従って、利用者は、楽曲の検索や予約を行わなくとも、気軽にカラオケ歌唱を楽しむことができる。また、このようなカラオケ装置Kによれば、カラオケ演奏される楽曲が流れていた映像作品中のある場面の映像をカラオケ歌唱の背景映像として表示することができる。すなわち、本実施形態に係るカラオケ装置Kによれば、利用者は、映像作品で流れていた楽曲のカラオケ歌唱を容易に行うことができ、且つ当該楽曲が流れていた映像作品中のある場面を背景映像として楽しむことができる。
また、本実施形態に係るカラオケ装置Kにおいて、映像再生部700が出力する音楽映像信号は、所定数の静止画像に対応する信号であり、表示制御部800は、所定数の静止画像に対応する信号に基づく映像を表示装置30に表示させることができる。このようなカラオケ装置Kによれば、映像作品中のある場面の静止画像を背景映像として表示させることができる。
また、本実施形態に係るカラオケ装置Kにおいて、映像再生部700は、カラオケ演奏を行う楽曲の演奏時間と、当該楽曲の楽曲識別情報に紐付けられた音楽映像データの再生時間とに基づいて、所定数の静止画像に対応する信号を音楽映像信号として出力することができる。このようなカラオケ装置Kによれば、カラオケ演奏を行う楽曲の演奏時間に合わせて、それぞれの静止画像を背景映像として表示させる時間を調整することができる。
<変形例1>
映像再生部700は、上記実施形態とは別の処理により、所定数の静止画像に対応する信号を音楽映像信号として出力することができる。具体的に、映像再生部700は、カラオケ演奏を行う楽曲の演奏区間情報と、当該楽曲の楽曲識別情報に紐付けられた音楽映像データの再生時間とに基づいて、所定数の静止画像に対応する信号を音楽映像信号として出力することができる。
この場合、データ記憶部100は、楽曲の演奏区間情報を当該楽曲の楽曲データに紐付けて記憶する。演奏区間情報は、楽曲毎の演奏区間を示す情報である。演奏区間は、前奏、1番のAメロ、2番のサビ等、カラオケ演奏が行われる区間である。各演奏区間のカラオケ演奏は、所定の演奏時間で実行される。
また本変形例において、所定数は、楽曲データに紐付けられた演奏区間情報に含まれる演奏区間の数である。たとえば、楽曲X01の楽曲データに紐付けられている演奏区間情報が、前奏P0、1番のAメロ及びBメロP1、1番のサビP2、2番のAメロ及びBメロP3、2番のサビP4、間奏P5、3番のAメロ及びBメロP6、3番のサビP7、後奏P8を含むとする。この場合、所定数は9個となる。
ここで、実施形態で述べた通り、映像作品Mにおける楽曲X01の演奏時間が1分30秒である(すなわち、音楽映像データMV01の再生時間は1分30秒である)とする。
この場合、映像再生部700は、楽曲X01の演奏区間情報と、音楽映像データMV01の再生時間とに基づいて、楽曲X01のカラオケ演奏の演奏区間が変わる毎に、9個の静止画像に対応する音楽映像信号を切り替えて出力する。すなわち、9個の静止画像に対応する音楽映像信号は、演奏区間毎に出力されている。
具体的に、映像再生部700は、楽曲X01のカラオケ演奏の開始時点(前奏P0開始時点)において、音楽映像データMV01の再生開始時点の静止画像SI01に対応する音楽映像信号を出力する。次に、映像再生部700は、楽曲X01の1番のAメロ及びBメロP1開始時点において、音楽映像データMV01の再生開始から10秒の時点の静止画像SI02に対応する音楽映像信号を出力する。同様に、映像再生部700は、楽曲X01の1番のサビP2開始時点において、音楽映像データMV01の再生開始から20秒の時点の静止画像SI03に対応する音楽映像信号を出力し、楽曲X01の2番のAメロ及びBメロP3開始時点において、音楽映像データMV01の再生開始から30秒の時点の静止画像SI04に対応する音楽映像信号を出力し、楽曲X01の2番のサビP4開始時点において、音楽映像データMV01の再生開始から40秒の時点の静止画像SI05に対応する音楽映像信号を出力し、楽曲X01の間奏P5開始時点において、音楽映像データMV01の再生開始から50秒の時点の静止画像SI06に対応する音楽映像信号を出力し、楽曲X01の3番のAメロ及びBメロP6開始時点において、音楽映像データMV01の再生開始から60秒の時点の静止画像SI07に対応する音楽映像信号を出力し、楽曲X01の3番のサビP7開始時点において、音楽映像データMV01の再生開始から70秒の時点の静止画像SI08に対応する音楽映像信号を出力する。最後に、映像再生部700は、楽曲X01の後奏P8開始時点において、音楽映像データMV01の再生開始から80秒の時点の静止画像SI09に対応する音楽映像信号を出力する。なお、静止画像SI01~静止画像SI09は、それぞれ1個目~9個目の静止画像に相当する。
表示制御部800は、表示処理部15を制御し、楽曲X01のカラオケ演奏の背景映像として、映像再生部700から順次出力された9個の静止画像に対応する信号に基づく映像を表示装置30に表示させる。この場合、1個の静止画像が表示される時間は、演奏区間の長さに対応している。たとえば、前奏が30秒であり、1番のAメロ及びBメロが1分の場合、静止画像SI01に対応する信号に基づく映像は30秒間表示され、静止画像SI02に対応する信号に基づく映像は1分間表示される。
このように、本変形例に係るカラオケ装置Kにおいて、データ記憶部100は、楽曲の演奏区間情報を当該楽曲の楽曲データに紐付けて記憶する。映像再生部700は、カラオケ演奏を行う楽曲の演奏区間情報と、当該楽曲の楽曲識別情報に紐付けられた音楽映像データの再生時間とに基づいて、所定数の静止画像に対応する信号を音楽映像信号として出力する。このようなカラオケ装置Kによれば、演奏区間毎に異なる静止画像を表示させることにより、カラオケ演奏音と背景映像の表示とを、より強く関連付けることができる。
<変形例2>
上記実施形態では、映像再生部700から出力される音楽映像信号が、静止画像に対応する信号である例について述べた。一方、出力される音楽映像信号を動画像に対応する信号とすることも可能である。
この場合、映像再生部700は、動画像に対応する信号を音楽映像信号として出力する。
具体的に、映像再生部700は、楽曲のカラオケ演奏の開始に伴って、当該楽曲の楽曲IDに紐付けられている音楽映像データを記憶部13から読み出して再生し、動画像を生成する。映像再生部700は、生成した動画像に対応する信号を音楽映像信号として表示制御部800に出力する。表示制御部800は、動画像に対応する信号に基づく映像を表示装置30に表示させる。
また、カラオケ演奏を行う楽曲の演奏時間よりも当該楽曲の楽曲識別情報に紐付けられた音楽映像データを再生して生成した動画像の再生時間が短い場合、映像再生部700は、動画像に対応する信号を繰り返し出力する。
たとえば、実施形態で述べた通り、音楽映像データMV01の再生時間が1分30秒である一方、楽曲X01の演奏時間が6分であるとする。
このような場合、音楽映像データMV01を再生して生成した動画像の再生時間は、楽曲X01の演奏時間よりも短くなる。よって、楽曲X01のカラオケ演奏の途中で、動画像に対応する信号に基づく映像の表示が終了してしまうこととなる。
そこでこのような場合、映像再生部700は、動画像に対応する信号を繰り返し出力する。
具体的に、映像再生部700は、楽曲X01のカラオケ演奏開始に合わせて音楽映像データMV01の再生を開始して動画像MI01を生成し、動画像MI01に対応する信号を音楽映像信号として出力する。楽曲X01のカラオケ演奏開始から1分30秒が経過した場合、音楽映像データMV01の再生が終了する。よって、映像再生部700は、改めて音楽映像データMV01の再生を行って動画像MI02を生成し、動画像MI02に対応する信号を音楽映像信号として出力する。同様に、映像再生部700は、楽曲X01のカラオケ演奏開始から3分後に改めて音楽映像データMV01の再生を行って動画像MI03を生成し、動画像MI03に対応する信号を音楽映像信号として出力し、楽曲X01のカラオケ演奏開始から4分30秒後に改めて音楽映像データMV01の再生を行って動画像MI04を生成し、動画像MI04に対応する信号を音楽映像信号として出力する。
この場合、表示制御部800は、楽曲X01のカラオケ演奏中に、同じ動画像(動画像MI01~動画像MI04)を4回、表示装置30に表示させる。
このように、本変形例に係るカラオケ装置Kにおいて、映像再生部700は、動画像に対応する信号を音楽映像信号として出力する。また、カラオケ演奏を行う楽曲の演奏時間よりも当該楽曲の楽曲識別情報に紐付けられた音楽映像データを再生して生成した動画像の再生時間が短い場合、映像再生部700は、動画像に対応する信号を繰り返し出力する。このようなカラオケ装置Kによれば、音楽映像信号に基づく映像を動画像として表示させることができる。なお、音楽映像データの再生中にカラオケ演奏が終了した場合には、音楽映像データの再生を中止することが望ましい。
<変形例3>
表示装置30に表示される映像に対し、歌詞テロップを重畳して表示させてもよい。
この場合、音響制御部600は、楽曲データに基づくカラオケ演奏に合わせて、当該カラオケ演奏に対応する歌詞テロップデータをデータ記憶部100から読み出して表示制御部800に出力する。
表示制御部800は、映像再生部700から出力された音楽映像信号と、音響制御部600から出力された歌詞テロップデータとに基づいて、歌詞テロップが重畳された映像を表示手段に表示させる。
具体的に、ある楽曲のカラオケ演奏の開始の指示があった場合、音響制御部600は、ある楽曲の楽曲IDに紐付けられている楽曲データをデータ記憶部100から読み出し、音響処理部14を制御して、スピーカ20からカラオケ演奏音を放音させる。また、音響制御部600は、当該ある楽曲の楽曲IDに紐付けられた歌詞テロップデータをデータ記憶部100から読み出して、楽曲のカラオケ演奏音信号に同期した歌詞テロップ信号を表示制御部800に出力する。
表示制御部800は、映像再生部700から出力された音楽映像信号に基づく映像、及び音響制御部600が出力する歌詞テロップ信号に基づいて、歌詞テロップが重畳された映像を表示装置30に表示させる。
<その他>
上記実施形態において、取得部300は、演奏データと併せて映像作品を識別するための作品識別情報を併せてサーバ装置Sに送信してもよい。作品識別情報は、たとえば、映像作品のタイトルや作品番号である。作品識別情報は、たとえば再生装置Pから出力される映像信号に含めることができる。
サーバ装置Sは、楽曲を特定する際、演奏データと併せて作品識別情報を利用することにより、楽曲を特定する精度や速度を高めることができる。なお、この場合、サーバ装置Sは、楽曲IDと併せて映像作品のタイトル等の情報を記憶している。
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。