以下、本発明の実施形態について説明する。図1に示す通信カラオケシステムは、ホスト装置1とカラオケ装置2とを有しており、これらの装置が伝送路4を介して通信可能に接続されている。カラオケ装置2は、例えばカラオケ店KBの各カラオケルームRM(拠点)に設置されている。そして、伝送路4を通じたデュエット歌唱(以下、通信デュエットという)を行う場合、一対のカラオケ装置2,2が伝送路4を介して相互に接続される。以下、各装置について説明する。
ホスト装置1は、サーバーとして機能し、顧客情報などの各種情報を蓄積して管理する。図2に示すように、ホスト装置1は、ホスト側制御部11と、ホスト側通信部12と、ホスト側記憶部13とを有している。ホスト側制御部11は、ホスト装置1における制御の中心となる部分であり、CPU11aやメモリ11bを有している。CPU11aは、メモリ11bに記憶された動作プログラムに従って各種の制御を実行する。メモリ11bは、CPU11aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。ホスト側通信部12は、ホスト装置1を伝送路4に接続するためのインタフェースを提供する。
ホスト側記憶部13は、大容量の情報を記憶する記憶装置であり、ハードディスクドライブ等によって構成されている。ホスト側記憶部13の一部領域は、顧客情報記憶領域、歌唱録音データ記憶領域、映像録画データ記憶領域、閲覧用動画データ記憶領域として用いられている。
顧客情報記憶領域は、利用者(歌唱者)の属性情報や履歴情報が記憶される領域である。属性情報としては、例えば図3(a)に示すように、利用者ID、住所、電話番号、年齢、性別、職業、及び平均点が記憶されている。これらの中で、利用者IDは、利用者を識別するための情報であり、個々の利用者に対して付与される。平均点は、その利用者が歌唱した楽曲の採点値の平均である。また、履歴情報としては、例えば図3(b)や図3(c)に示すように、楽曲ID、利用店舗、歌唱日時、及び採点値が記憶されている。これらの中で、楽曲IDは、過去に歌唱したカラオケ楽曲を識別するための情報である。採点値は、当該カラオケ楽曲を歌唱した際にカラオケ装置2の採点処理で付与された点数であり、歌唱の巧拙を示す指標である。
図2に示す歌唱録音データ記憶領域は、カラオケ歌唱時のマイク入力音を記録した音声のデータ(以下歌唱録音データという)が記憶される領域であり、映像録画データ記憶領域は、カラオケ歌唱時の室内を撮影した映像のデータ(以下映像録画データという)が記憶される領域である。歌唱録音データ及び映像録画データは、カラオケルームRMで過去に行われたカラオケ歌唱を録音及び録画したデータであり、利用者の要求に応じてカラオケ装置2からアップロードされる。
歌唱録音データ及び映像録画データの組(すなわち歌唱動画データ)は、利用者ID、楽曲ID、及び履歴情報と対応付けられた状態で記憶されている。すなわち、ホスト側記憶部13は、カラオケ楽曲の歌唱に伴って取得された歌唱動画データを、歌唱者を示す利用者ID、カラオケ楽曲を示す楽曲ID、及び履歴情報に対応付けた状態で蓄積して記憶する。
この歌唱動画データは、例えばオフラインでのデュエット歌唱(以下コラボレーション歌唱という)をする際に利用されるものである。コラボレーション歌唱では、利用者によって選択された歌唱動画データがカラオケ装置2にダウンロードされ、カラオケ演奏音信号と共に再生される。この再生により、カラオケルームRMでは、歌唱動画データに基づく音声、及びカラオケ演奏音信号に基づくカラオケ演奏音が出力され、歌唱動画データに基づく映像が表示される。そして、歌唱動画データに基づく音声及びカラオケ演奏音にあわせて歌唱することで、利用者は、歌唱動画データの歌唱者とデュエットを行っている雰囲気を味わうことができる。
本実施形態の通信カラオケシステムでは、この歌唱動画データをコラボレーション歌唱のみならず、通信デュエット時にも使用する。詳細は後述するが、相手とのデュエット歌唱が困難と判断した場合に、デュエット相手の音声及び映像に代えて歌唱動画データに基づく音声及び映像が出力及び表示されるように構成されている。
閲覧用動画データ記憶領域には、コラボレーション歌唱を希望する利用者に、ダウンロード対象の歌唱動画データを選択させるための閲覧用動画データが記憶される。この閲覧用動画データは、歌唱動画データを紹介するためのものであり、歌唱動画データよりも十分に小さなファイルサイズで作成されている。この閲覧用動画データは、カラオケ装置2からの歌唱動画データのアップロードに伴い、この歌唱動画データを用いてホスト側制御部11が生成する。そして、パーソナルコンピュータやスマートフォン等のユーザー端末(図示せず)によって閲覧される。
次に、カラオケ装置2について説明する。カラオケ装置2は、カラオケ演奏等を行うものであり、例えば図4に示すように、カラオケ本体21と、スピーカ22と、モニタ23と、歌唱マイク24と、マイク付カメラ25と、リモコン装置26と、第1通信端末27と、第2通信端末28と、パワーアンプ29とを有している。
カラオケ本体21は、選択されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、歌唱マイク24で生成されたマイク信号の処理といった、カラオケ歌唱に関する各種の制御を行う部分である。このカラオケ本体21については、後で詳しく説明する。
スピーカ22は、パワーアンプ29及び第1通信端末27を介してカラオケ本体21に接続されており、パワーアンプ29で増幅された放音信号に基づいて放音する。例えば、個々のカラオケルームRMで行われる通常のカラオケ歌唱では、歌唱マイク24で生成されたマイク信号をカラオケ本体21で調整した音声信号と、カラオケ演奏を行うためカラオケ本体21で生成されたカラオケ演奏音信号とが、第1通信端末27を通じてパワーアンプ29に入力される。このため、スピーカ22からは、歌唱者の音声とカラオケ演奏音とが出力(放音)される。なお、このような通常のカラオケ歌唱では、音声信号及びカラオケ演奏音信号を、第1通信端末27を経ずに直接パワーアンプ29に入力してもよい。
また、2つのカラオケルームRM(拠点)同士を伝送路4で通信可能に接続して行われる通信デュエットでは、後述するように、利用中のカラオケルームRMの歌唱マイク24で生成されたマイク信号をカラオケ本体21で調整した自室側音声信号と、相手側カラオケルームRMの歌唱マイク24で生成されたマイク信号をカラオケ本体21で調整した相手側音声信号と、カラオケ演奏音信号とが、第1通信端末27を介してパワーアンプ29に入力される。このため、スピーカ22からは、各歌唱者の音声(自室側音声,相手側音声)とカラオケ演奏音が出力される。
そして、カラオケ本体21、第1通信端末27、パワーアンプ29、およびスピーカ22の組は、伝送路4を経て受信された相手側カラオケルームRMの音声信号を利用中のカラオケルームRMで再生し、相手側音声として出力させる歌唱再生手段に相当する。
モニタ23は、カラオケ本体21に接続されており、カラオケ本体21からの映像信号に基づいて映像を画面に表示する。例えば、歌唱対象のカラオケ楽曲における歌詞や背景映像を表示させる。また、通信デュエットでは、自室側映像と相手側映像を、歌詞テロップとともに表示させる。歌唱マイク24もカラオケ本体21に接続されており、歌唱者の音声等をマイク信号に変換してカラオケ本体21に入力させる。
マイク付カメラ25は、自室内を撮影することで映像信号を生成する。生成された映像信号は第2通信端末28に入力され、カラオケ本体21に出力されたり、伝送路4(第2専用伝送路4C)を介して相手側へ送信されたりする。なお、この通信カラオケシステムでは、マイク付カメラ25が備えるマイクは無効化されており、映像信号のみが取り扱いの対象になっている。
リモコン装置26は、カラオケ本体21との間で情報を送受信するための双方向通信可能な短距離無線通信部を備えており、カラオケ楽曲の予約時などに利用者によって操作される。通常のカラオケ歌唱や通信デュエットにおけるカラオケ楽曲の予約時において、リモコン装置26からは、演奏対象の楽曲を識別するための楽曲IDを含んだ操作信号が送信される。この操作信号はカラオケ本体21に受信される。そして、カラオケ本体21は、利用者が選曲したカラオケ楽曲を待ち行列で管理する。
このように、リモコン装置26は、通信デュエットでカラオケ演奏される楽曲を、カラオケルームRM(各拠点)で指定する指定手段に相当する。
また、このリモコン装置26は、通信デュエットにおける開始信号を送信する開始信号送信手段としても機能する。詳細は後述するが、この通信カラオケシステムでは、通信デュエットを行うに際し、一方のカラオケルームRMが親側となり、他方のカラオケルームRMが子側となる。そして、一方のカラオケルームRMに設置されたカラオケ装置2が親機として機能し、他方のカラオケルームRMに設置されたカラオケ装置2が子機として機能する。
そして、親側のカラオケ装置2が有するリモコン装置26からの開始信号が、親側のカラオケ本体21と子側のカラオケ本体21のそれぞれに送信される。この場合において、親側のカラオケ本体21に対しては開始信号が直接入力され、子側のカラオケ本体21に対しては開始信号が近隣のルーター装置RT及び伝送路4(汎用伝送路4A)を介して送信される。
加えて、このリモコン装置26は、通信デュエットにおいて出力される音声及び表示される映像を切り換えるための切換信号を送信する切換信号送信手段としても機能する。前述したように、この通信カラオケシステムでは、通信デュエットの継続が難しい場合には、デュエット相手(相手側歌唱者)の音声や映像に代えて、予めダウンロードされた歌唱動画データの再生により、歌唱動画データに基づく音声及び映像を出力及び表示させることができる。リモコン装置26は、これらの音声及び映像を出力及び表示させる際に利用者によって操作され、切換信号を送信する。この切換信号は、利用側のカラオケ本体21に対しては直接入力され、ホスト装置1に対しては近隣のルーター装置RT及び汎用伝送路4Aを介して送信される。
第1通信端末27は、カラオケ本体21とパワーアンプ29との間に介在し、音に関する各種信号を取り扱う。例えば、通常のカラオケ歌唱において、第1通信端末27は、カラオケ本体21から直接入力される音声信号及びカラオケ演奏音信号の入力バランスを調整し、パワーアンプ29へ出力する。また、通信デュエット歌唱において、第1通信端末27は、伝送路4を通じて入力された相手側音声信号と、自室側でのカラオケ歌唱で生成された自室側音声信号及びカラオケ演奏音信号との入力バランスを調整し、パワーアンプ29へ出力する。
第2通信端末28は、カラオケ本体21とマイク付カメラ25との間に介在し、映像に関する各種信号を取り扱うものであり、例えばセットトップボックスによって構成される。例えば、通信デュエット歌唱において、第2通信端末28は、マイク付カメラ25で生成された自室側映像信号、及び、伝送路4を通じて入力された相手側映像信号を合成し、カラオケ本体21に出力する。カラオケ本体21は、第2通信端末28から入力された合成後の映像信号をモニタ23に出力する。これにより、モニタ23には、自室側映像と相手側映像とが表示される。
そして、カラオケ本体21、第2通信端末28、およびモニタ23の組は、伝送路4を経て受信された相手側カラオケルームRMの映像信号(相手側拠点における撮影で生成された映像信号)を、利用中のカラオケルームRMで再生し、相手側映像として表示させる映像再生手段に相当する。
また、第2通信端末28は、自室の歌唱者が通信デュエットの相手とデュエットを継続することが難しいと判断した際に、カラオケ本体21からの制御信号に基づいて相手側の映像信号との合成を停止し、自室側の映像信号のみをカラオケ本体21に出力する。
これらの第1通信端末27及び第2通信端末28は、通信デュエットが行われる際に、相手側の第1通信端末27及び第2通信端末28と伝送路4を介して通信可能に接続される。また、カラオケ本体21も、相手側のカラオケ本体21と伝送路4を介して通信可能に接続される。さらに、カラオケ本体21は、通信デュエットが行われていない期間において、ホスト装置1と伝送路4を介して通信可能に接続される。
このため、カラオケ本体21、第1通信端末27、及び第2通信端末28は、何れもルーター装置RTに接続されている。このルーター装置RTにより、カラオケ本体21は汎用伝送路4Aに接続され、第1通信端末27は第1専用伝送路4Bに接続され、第2通信端末28は第2専用伝送路4Cに接続される。
ここで、汎用伝送路4Aは、例えばインターネット回線や無線LAN等の汎用性を有する伝送路である。また、第1専用伝送路4B及び第2専用伝送路4Cは、規定の通信速度が得られるように品質管理された専用回線である。本実施形態では、第2専用伝送路4Cとしてテレビ電話用の伝送路を用いている。このため、複数の第2通信端末28のそれぞれには電話番号が割り当てられており、通話状態にすることで一対の第2通信端末28,28が、ルーター装置RT及び第2専用伝送路4Cを介して通信可能に接続される。第1専用伝送路4Bは、次世代型のネットワークなど、第2専用伝送路4Cよりも高品質な通信が可能な専用の伝送路である。各第1通信端末27にも電話番号が割り当てられており、通話状態にすることで一対の第1通信端末27,27が、ルーター装置RT及び第1専用伝送路4Bを介して通信可能に接続される。
汎用伝送路4Aは、通信デュエットの開始信号を他のカラオケ本体21に送信する際に使用される。また、汎用伝送路4Aは、カラオケ歌唱で生成された歌唱動画データをホスト装置1へ送信する際、或いは、ホスト装置1からの歌唱動画データをカラオケ本体21にダウンロードする際にも使用される。そして、第1専用伝送路4Bは、通信デュエット歌唱を行うに際し、カラオケ本体21からの音声信号を送受信するために用いられる。また、第2専用伝送路4Cは、通信デュエット歌唱を行うに際し、マイク付カメラ25で生成された映像信号を送受信するために用いられる。
次に、カラオケ本体21について詳細に説明する。図5に示すように、カラオケ本体21は、本体側制御部31と、本体側通信部32と、本体側記憶部33と、音源部34と、音響処理部35と、表示処理部36と、映像入力部37と、操作部38とを有している。そして、これらの各部がバスBSを介して通信可能な状態に接続されている。
本体側制御部31は、カラオケ本体21における制御の中心となる部分であり、CPU31aやメモリ31bを有している。CPU31aは、メモリ31bに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作部38からの操作を受け付ける操作入力処理やシーケンサとして動作するシーケンサ処理を行う。メモリ31bは、CPU31aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。
本体側通信部32は、ルーター装置RTを介してカラオケ本体21を汎用伝送路4Aに接続するためのインタフェースを提供する。このため、本体側通信部32は、ルーター装置RTとの間で情報の送受信を行う。そして、本体側通信部32は、本体側制御部31によって動作が制御される。
本体側記憶部33は、各種のデータを記憶する大容量の記憶装置であり、例えばハードディスクドライブによって構成されている。この本体側記憶部33には、例えば、楽曲データ記憶領域、背景映像データ記憶領域、歌唱録音データ記憶領域、及び映像録画データ記憶領域が設けられる。
楽曲データ記憶領域には、リモコン装置26で選択されたカラオケ楽曲を演奏するための楽曲データが記憶され、背景映像データ記憶領域には、モニタ23に背景映像を表示させるための背景映像データが記憶される。
楽曲データには、MIDIデータと歌詞データとが含まれる。MIDIデータは、電子楽器による音楽の演奏情報(演奏データ)であり、時系列のノート情報によって構成される。ノート情報は、例えば発音や消音のタイミング、キーの押圧力、音量や音質、再生テンポ(ピッチ)などを制御する各種の命令によって構成される。歌詞データは、カラオケ楽曲における歌詞テロップをモニタ23で表示させるためのデータである。ここで、歌詞テロップの表示期間、詳しくは歌い出しから終わりまでの歌詞テロップの色換え期間は、歌唱者による歌唱が行われる歌唱対象期間に相当する。なお、これらのMIDIデータと歌詞データは、カラオケ装置2で演奏可能なカラオケ楽曲のそれぞれについて、楽曲IDに対応付けられた状態で記憶されている。
歌唱録音データ記憶領域には、カラオケ歌唱時に録音された歌唱録音データが記憶され、映像録画データ記憶領域には、カラオケ歌唱時に撮影された映像録画データが記憶される。そして、歌唱録音データや映像録画データは、利用者の要求に応じてカラオケ装置2からホスト装置1へアップロードされる。また、通信デュエット時において、歌唱録音データ記憶領域及び映像録画データ記憶領域には、ホスト装置1によって選択され、ダウンロードされた歌唱動画データ(歌唱録音データと映像録画データの組)が記憶される。
ダウンロードされた歌唱動画データは、自室の歌唱者が、通信デュエットの相手とデュエットを継続することが難しいと判断した際に使用される。このため、本体側記憶部33は、歌唱録音データや映像録画データを記憶するための記憶手段に相当する。なお、記憶された各データの使用については後述する。
音源部34は、MIDIデータに基づいてカラオケ演奏音信号を生成する部分であり、CPU34aと、メモリ34bと、波形メモリ34cとを有している。CPU34aは、メモリ34bに記憶された動作プログラムに従って各種の制御を実行する。メモリ34bは、CPU34aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。波形メモリ34cは、対象楽器が奏でた様々な音の波形データを読み出し可能に記憶する記憶素子である。この音源部34は、本体側制御部31がシーケンサ処理を行うと、MIDIデータに応じて波形データを加工し、加工後の楽音信号を音響処理部35に出力する。
音響処理部35は、カラオケ演奏音信号の処理、及び、自室側の歌唱マイク24で生成されたマイク信号の処理を行う部分である。例えば、カラオケ楽曲の演奏制御において、音響処理部35は、音源部34から出力された楽音信号をアナログ変換し、カラオケ演奏音信号として第1通信端末27へ出力する。また、自室側の歌唱マイク24からのマイク信号が入力されると、適宜調整を施して音声信号を生成する。そして、この音声信号を第1通信端末27へ出力したり、デジタルデータに変換して本体側記憶部33に記憶させたりする。
表示処理部36は、カラオケ演奏時における背景映像の表示等の制御を行う。通常のカラオケ演奏時において、表示処理部36には背景映像データが入力されており、この背景映像データのデコードが行われる。そして、表示処理部36は、デコードで生成された背景映像の映像信号に歌詞テロップを合成し、合成後の映像信号をモニタ23に出力する。その際、表示処理部36は、本体側制御部31でのシーケンサ処理で出力される歌詞データに基づき、歌詞テロップを合成する。また、シーケンサ処理で出力される色換え命令に従って、歌詞テロップの表示色を変更する。その結果、モニタ23には、背景映像に歌詞テロップが重ねられた映像が表示され、かつ、カラオケ楽曲の進行にあわせて歌詞テロップの表示色が変更される。
映像入力部37は、第2通信端末28からの映像信号を取り込む部分であり、例えばインタフェース回路によって構成されている。通信デュエット時において、第2通信端末28からは、自室側映像と相手側映像とが合成された合成映像の映像信号が出力される。そして、映像入力部37は、合成映像の映像信号を表示処理部36に出力する。これにより表示処理部36は、合成後の映像信号をモニタ23に出力し、モニタ23は合成後の映像を表示する。
なお、映像入力部37は、自室の歌唱者が通信デュエットの相手とデュエットを継続することが難しいと判断した際にカラオケ本体21で受信される切換信号に基づき、映像録画データ記憶領域の映像録画データの再生で得られた映像信号を取り込み、第2通信端末28から出力された自室側の映像信号と合成する。そして、合成映像の映像信号を表示処理部36に出力する。その結果、映像録画データに基づく映像と自室側映像の合成映像がモニタ23に表示される。
操作部38は、パネルスイッチやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置26の操作に応じた操作信号を本体側制御部31に対して出力する。本体側制御部31は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置26は、操作を選択するための種々のキースイッチ(図示せず)を備えている。そして、リモコン装置26を通じた操作により、通常のカラオケ歌唱や通信デュエットを選択して実行できる。
次に、上記構成を有する通信カラオケシステムの動作について説明する。このカラオケシステムは、通信デュエットの処理に特徴を有している。このため、通信デュエットの動作を中心に説明を行う。
図6は、ホスト装置1やカラオケ装置2が伝送路4を介して接続された状態を説明するブロック図である。通信デュエットの実行時には、一方のカラオケ装置2Aが親側となり、他方のカラオケ装置2Bが子側となる。便宜上、以下の説明では、親側のカラオケ装置を親側カラオケ装置2Aといい、子側のカラオケ装置を子側カラオケ装置2Bという。そして、親側カラオケ装置2Aが備える各部を「親側」の語を付して示し、子側カラオケ装置2Bが備える各部を「子側」の語を付して示すこととする。
図6において、親側カラオケ装置2Aは親側カラオケルームRM(親)に設置され、子側カラオケ装置2Bは子側カラオケルームRM(子)に設置されている。ここで、親側カラオケルームRM(親)と子側カラオケルームRM(子)のうち、通信デュエットの継続が困難と判断した歌唱者の利用する方が第1拠点に相当し、相手側歌唱者の利用する方が第2拠点に相当する。
便宜上、以下の説明では、親側カラオケルームRM(親)が第1拠点であり、子側カラオケルームRM(子)が第2拠点であるとする。従って、親側カラオケ装置2Aが第1拠点の第1カラオケ装置に相当し、子側カラオケ装置2Bが第2拠点の第2カラオケ装置に相当する。なお、子側カラオケルームRM(子)の歌唱者が通信デュエットの継続が困難と判断した場合、子側カラオケルームRM(子)が第1拠点、親側カラオケルームRM(親)が第2拠点となる。
図7は、通信デュエット実行時における各種信号の流れを説明する図である。同図に示すように、通信デュエットを行うに際し、各マイク付カメラ25A,25Bで撮影された映像信号が第2専用伝送路4Cを介して交換される。これにより、各室の映像信号が各第2通信端末28A,28Bで合成され、各カラオケ本体21A,21Bに出力される。その結果、親側モニタ23Aと子側モニタ23Bのそれぞれで、親側映像と子側映像とが合成された合成映像が表示される。また、親側カラオケルームRM(親)と子側カラオケルームRM(子)の音声信号が第1専用伝送路4Bを介して交換される。これにより、親側歌唱マイク24Aで集音された親側音声が子側スピーカ22Bから出力され、子側歌唱マイク24Bで集音された子側音声が親側スピーカ22Aから出力される。
このカラオケシステムでは、歌唱レベルの隔たり等によって、通信デュエットの継続が難しいと判断された場合、リモコン装置26Aを通じた歌唱者の指示により、相手歌唱者の歌唱信号に基づく相手側音声に代えて歌唱録音データに基づく音声が出力されるように、カラオケ本体21A等(歌唱再生手段)が制御される。
例えば、図8(a)に示す例では、親側カラオケルームRM(親)と子側カラオケルームRM(子)の間で通信デュエットが行われている。この場合、親側カラオケルームRM(親)では、親側マイク24Aで集音された親側音声と子側マイク24Bで集音された子側音声とカラオケ演奏音の混合音が、親側スピーカ22Aから出力される。また、親側モニタ23Aには、子側映像XBと親側映像XAとが合成された合成映像が表示される。一方、子側カラオケルームRM(子)では、子側音声と親側音声とカラオケ演奏音の混合音が子側スピーカ22Bから出力される。また、子側モニタ23Bには、親側映像XAと子側映像XBとが合成された合成映像が表示される。
ここで、親側カラオケルームRM(親)の歌唱者が、相手とデュエットを継続することが困難と判断した場合、親側歌唱者が親側リモコン装置26Aを操作し、出力及び表示されている子側音声及び子側映像の切り換えを指示する。
これにより、図8(b)に示すように、親側カラオケルームRM(親)では、ホスト装置1からダウンロードした歌唱動画データに基づく音声と、親側音声及びカラオケ演奏音との混合音が、親側スピーカ22Aから出力される。また、親側モニタ23Aには、歌唱動画データに基づく映像XCと親側映像XAとが合成された合成映像が表示される。その結果、親側カラオケルームRM(親)の歌唱者は、歌唱動画データに基づく音声及び映像とデュエット歌唱を行うことができる。一方、子側カラオケルームRMでは、子側音声と親側音声とカラオケ演奏音の混合音が子側スピーカ22Bから出力され、親側映像XAと子側映像XBの合成映像が子側モニタ23Bに表示される。すなわち、それまでと変わらずデュエット歌唱が継続される。
以下、上記の制御を図9のフローチャートを参照して詳細に説明する。このフローチャートは、通信デュエットを行う各カラオケ装置2A,2Bやホスト装置1の動作を説明するものである。
通信デュエットを行うに際し、各カラオケ装置2A,2Bの利用者(歌唱者)は、事前操作を行う(S1)。この事前操作では、それぞれ親側リモコン装置26A及び子側リモコン装置26B(図6を参照)を操作し、各カラオケ装置2A,2Bを通信デュエットモードに設定する。この事前操作により、親側第2通信端末28Aと子側第2通信端末28Bとの間で親側映像信号と子側映像信号が相互に送受信されるとともに、親側第1通信端末27Aと子側第1通信端末27Bとの間で親側音声信号と子側音声信号が相互に送受信される。また、デュエット歌唱されるカラオケ楽曲が選択され、演奏の準備も開始される。そして、選択されたカラオケ楽曲の楽曲ID、及び各カラオケ装置2A,2Bの利用者の利用者IDがホスト装置1へ送信される。
次に、ホスト装置1は、各カラオケ装置2A,2Bにダウンロードさせる歌唱動画データを決定する(S2)。歌唱動画データの決定は、各カラオケ装置2A,2Bから受信した楽曲ID、及び利用者IDに基づいて行われる。例えば、楽曲IDに基づいて同じカラオケ楽曲の歌唱動画データが抽出される。そして、利用者IDに基づいて各歌唱者について採点の平均値が取得され、平均値と同等かそれ以上の採点値が付与された歌唱動画データが選択される。さらに、選択された歌唱動画データの中から、性別や年齢の条件を加味してダウンロード対象となる1つの歌唱動画データが決定される。例えば、同年代若しくは若年の異性による歌唱動画データが選択され、ダウンロード対象として決定される。なお、この処理は各利用者について行われる。
次にホスト装置1は、決定された歌唱動画データの各カラオケ装置2A,2Bへのダウンロードを開始する(S3)。すなわち、図10の左右中央の下部に矢印で示すように、ホスト装置1から親側カラオケ装置2Aへは、親側歌唱者の歌唱レベル等に応じて決定された歌唱動画データの送信が開始される。同様に、ホスト装置1から子側カラオケ装置2Bへも、子側歌唱者の歌唱レベル等に応じて決定された歌唱動画データの送信が開始される。
歌唱動画データのダウンロードが開始されたならば、各カラオケ装置2A,2Bは開始信号の受信を待つ(S4)。開始信号を受信したならば、歌唱動画データのダウンロードが完了したか否かを判断し、ダウンロードが完了するまで待機する(S5)。
各歌唱動画データのダウンロード完了を条件に、各カラオケ装置2A,2Bはカラオケ楽曲の演奏を開始する(S6)。ここでは、本体側制御部31によるシーケンス制御により、本体側記憶部33に記憶された楽曲データの読み出しが開始され、音響処理部35や表示処理部36に入力される。これにより、各カラオケ装置2A,2Bでカラオケ演奏や歌詞表示が開始される。あわせて、カラオケ演奏の開始と同時にバックグラウンドで歌唱動画データの同期再生を開始する。このとき制御部31は歌唱動画データを再生する一方で、歌唱動画の音声がスピーカから出力されたり映像がモニタに表示されたりしないように、音響処理部や表示処理部を制御する。
各カラオケ装置2A,2Bでは、モード判定が行われる(S7)。ここでは、相手側との通信デュエットが行われているデュエットモードであるのか、歌唱動画データに基づく音声及び映像とデュエットが行われている動画モードであるかが判定される。そして、デュエットモードと判断された場合には、歌唱者による切換操作の有無が判定される(S8)。例えば図10に示すように、親側カラオケルームRM(親)の歌唱者が親側リモコン装置26Aを操作し、切換信号が出力された場合、親側カラオケ本体21Aは切換操作有と判断する。なお、この切換信号はホスト装置1にも送信され、その利用者によって切換操作がなされた旨を、ホスト側記憶部13の顧客情報記憶領域に記憶する。
切換操作有の場合には動画モードが設定され、切換信号を受信した親側カラオケ本体21Aは、子側音声信号や子側映像信号に基づく子側音声や子側映像に代えて、ホスト装置1からダウンロードした歌唱動画データ(歌唱録音データ,映像録画データ)に基づく音声及び映像に切り換える(S9)。この場合、本体側制御部31は、再生制御手段として機能し、第1通信端末27、第2通信端末28、音響処理部35、及び表示処理部36等を制御する。
これにより、親側カラオケルームRM(親)では、子側音声に代えて歌唱録音データに基づく音声が出力されるとともに、子側映像に代えて映像録画データに基づく映像が表示される。その結果、歌唱動画データに基づく音声及び映像によるデュエット歌唱が行われる。一方、子側カラオケルームRM(子)では、親側音声信号や親側映像信号に基づく親側音声及び親側映像との通信デュエットが継続して行われる。
歌唱動画データに基づく音声及び映像に切り換えた後、前述のステップS7で動画モードと判定された後、及び前述のステップS8で切換操作無と判定された後においては、カラオケ楽曲の演奏が終了したか否かが判定される(S10)。そして、終了していないと判定された場合には、ステップS7に移行し、モード判定処理からの処理を繰り返し行う。一方、演奏終了と判定された場合には、一連の処理を終了する。
以上説明したように、本実施形態の通信カラオケシステムでは、第1拠点である親側カラオケルームRM(親)の歌唱者による指示に応じ、第2拠点である子側カラオケルームRM(子)の歌唱者による子側音声及び子側映像に代えて、歌唱動画データに基づく音声及び映像が親側カラオケルームRM(親)で出力及び表示される。一方、子側カラオケルームRM(子)では、親側カラオケルームRM(親)の歌唱者による親側音声及び親側映像が継続して出力及び表示される。
これにより、子側カラオケルームRM(子)の歌唱者とのデュエット歌唱が継続困難な状況であっても、親側カラオケルームRM(親)の歌唱者は、歌唱動画データに基づく音声及び映像とデュエットを行えるので、ストレスを感じることなく歌唱を継続できる。一方、子側カラオケルームRM(子)の歌唱者は、親側カラオケルームRM(親)の歌唱者とのデュエット歌唱が継続されるので、不快な気持ちにならない。その結果、相手に不快感を与えることなく、かつ、歌唱者本人にストレスを与えることなく、デュエット歌唱を継続させることができる。
また、ホスト装置1は複数の歌唱動画データを記憶しており、カラオケ本体21の本体側記憶部33は、カラオケ演奏する楽曲が指定されたことを条件にホスト装置1から取得された、歌唱動画データを記憶する。このため、本体側記憶部33に記憶させる歌唱動画データの容量を必要最小限にすることができる。また、本体側記憶部33に記憶させているので、歌唱動画データの再生に際して伝送路4の通信状態の影響を受け難くすることができる。
さらに、ホスト装置1は複数の歌唱者の採点履歴を記憶しており、各カラオケルームRM(親),RM(子)の歌唱者の採点履歴と歌唱動画データの歌唱者の採点履歴とに基づいて歌唱動画データを選択している。そして、選択された歌唱動画データがカラオケ本体21の本体側記憶部33に記憶されるので、適切な歌唱レベルの歌唱動画データを用いることができる。
ところで、前述の第1実施形態では、一方のカラオケルームRMの歌唱者によるリモコン装置26の操作により、ホスト装置1からダウンロードした歌唱動画データに基づく音声及び映像を出力するように構成していたが、この構成に限定されるものではない。例えば、各カラオケルームRM(親),RM(子)で行われているカラオケ歌唱の巧拙を各カラオケ本体21A,21B(第1採点手段,第2採点手段)で採点し、各カラオケ本体21A,21Bでの採点値が所定の関係を満たしたことを条件に、ホスト装置1からダウンロードした歌唱動画データに基づく音声及び映像を出力してもよい。
図11は、このように構成した第2実施形態の動作例を説明する概念図である。この動作例では、時刻t0から歌唱が開始され、時刻t1に1回目の区間採点が行われる。その後、時刻t2に2回目の区間採点が行われ、時刻t3に3回目の区間採点が行われる。そして、3回目の区間採点で採点値の差が閾値以上になったことから、採点値の高い親側カラオケルームRM(親)では、子側歌唱者の子側音声及び子側映像に代えて、ホスト装置1からダウンロードした歌唱動画データ(歌唱録音データ,映像録画データ)に基づく音声及び映像が出力及び表示される。一方、採点値の低い子側カラオケルームRM(子)では、親側歌唱者の親側音声及び親側映像が継続して出力及び表示される。
図12は、第2実施形態の制御を説明するフローチャートである。図9のフローチャートとの比較から明らかなように、第2実施形態では、図9のステップS6の処理に代えてステップS11の処理を行い、ステップS8の処理に代えてステップS12の処理を行い、ステップS9の処理に代えてステップS13の処理を行っている点が相違している。
以下、これらの相違点を中心に第2実施形態の制御を説明する。なお、他の処理については、第1実施形態と同じであるため、説明は省略する。
各歌唱動画データのダウンロード完了を条件に(S5でY)、カラオケ楽曲の演奏と採点とが開始される(S11)。例えば、本体側制御部31によるシーケンス制御により、本体側記憶部33に記憶された楽曲データの読み出しが開始され、音響処理部35や表示処理部36に入力される。これにより、各カラオケ装置2A,2Bでカラオケ演奏や歌詞表示が開始される。そして、親側カラオケ本体21Aと子側カラオケ本体21Bのそれぞれで、親側歌唱者の歌唱の巧拙、及び、子側歌唱者の歌唱の巧拙について採点が開始される。
モード判定(S7)でデュエットモードと判断された場合、区間採点タイミングか否かが判定される(S12)。ここで、区間採点タイミングと判定された場合、親側歌唱者の採点値と子側歌唱者の採点値の差が算出され、点数差が閾値以上であるかが判定される(S13)。例えば、区間採点タイミングを契機に、親側カラオケ本体21Aは、その時点の区間採点値(累積値)を子側カラオケ本体21Bへ送信し、子側カラオケ本体21Bは、その時点の区間採点値(累積値)を親側カラオケ本体21Aへ送信する。そして、各カラオケ本体21A,21Bは、利用者の区間採点値から相手側の区間採点値を減算し、点数差が閾値以上であるか否かを判定する。
そして、点数差が閾値以上の場合、所定の関係を満たすとして、本体側制御部31(再生制御手段)は、相手側音声信号に基づく相手側音声及び相手側映像信号に基づく相手側映像に代えて、ホスト装置1からダウンロードした歌唱動画データ(歌唱録音データ,映像録画データ)に基づく音声及び映像が、何れかのカラオケ装置2A,2Bで出力及び表示されるように、第1通信端末27、第2通信端末28、音響処理部35、及び表示処理部36等を制御する(S9)。
このような制御を行う第2実施形態でも、第1実施形態と同様の作用効果を奏する。さらに、第2実施形態では、音声及び映像の切り換えがそれぞれの区間採点値に基づいて行われるため、切換操作等を相手側の歌唱者に見られずに済む。この点でも相手側の歌唱者は不快な気持ちにならない。
以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。例えば、次のように構成してもよい。
前述の各実施形態では、歌唱音声と映像の両方を切り換える場合について説明したが、図13に示すように、音声のみを切り換えるように構成してもよい。この場合、映像については相手側映像信号に基づく相手側映像がそのまま継続して表示され、音声のみがダウンロードされた歌唱録音データに基づく音声に切り換えられる。図13の実施形態でも、前述の実施形態と同様の作用効果を奏する。さらに図示しないが、映像を任意のタイミングで切り替えるように構成してもよい。この場合、音声については相手側音声信号に基づく相手側音声がそのまま継続して表示され、映像のみがダウンロードされた歌唱動画データに基づく映像に切り換えられる。この実施形態でも、前述の実施形態と同様の作用効果を奏する。
また、図14に示すように、歌唱対象期間の終了を契機に、歌唱動画データに基づく音声及び映像に代えて、相手側音声信号に基づく相手側音声及び相手側音声信号に基づく相手側音声が出力及び表示されるように構成してもよい。すなわち、切り換え前の状態に戻すように構成してもよい。
図14の例では、時刻t11のイントロ終了から時刻t13のエンディング開始までが歌唱対象期間に相当する。本体側制御部31(再生制御手段)は、例えば歌詞テロップの色換え位置の情報に基づいて歌唱対象期間を認識する。そして、歌唱対象期間の経過を契機に、本体側制御部31は、歌唱動画データに基づく音声に代えて、相手側音声信号に基づく相手側音声が出力されるように、第1通信端末27や音響処理部35等を制御する。
また、本体側制御部31は、歌唱動画データに基づく映像に代えて、相手側映像信号に基づく相手側映像が表示されるように、第2通信端末28や表示処理部36等を制御する。図14の例では、時刻t13よりも前の時刻t12から時刻t13よりも後の時刻t14までを映像復帰期間と定め、この映像復帰期間に亘って相手側映像の切り換えを行っている。例えば、モニタ23での表示面積に関し、ワイプによって相手側映像信号に基づく相手側映像を次第に大きくし、歌唱動画データに基づく相手側映像を次第に小さくする。
図14の実施形態でも前述の実施形態と同様の作用効果を奏する。さらに、この実施形態において相手側歌唱者は、カラオケ歌唱の途中で歌唱動画データに基づく音声及び映像が出力及び表示されたことに気付き難い。この点でも、相手側歌唱者は不快な気持ちにならない。
前述の各実施形態では、各カラオケ装置2A,2Bの音源を用いて各カラオケルームRM(親),RM(子)で通信デュエットを行う場合について例示したが、この構成に限定されるものではない。例えば、親側カラオケ装置2Aから子側カラオケ装置2Bに対しては、カラオケ演奏音と親側音声の混合信号と親側映像信号とを送信し、子側カラオケ装置2Bから親側カラオケ装置2Aに対しては、子側音声信号と子側映像信号とを送信する通信カラオケシステムにも適用できる。この場合、子側音声信号及び子側映像信号に基づく子側音声や子側映像に代えて、歌唱動画データに基づく音声や映像が親側カラオケルームRM(親)で出力及び表示される。
また、前述の各実施形態では、ダウンロードされた歌唱動画データをカラオケ演奏の開始タイミングにあわせてバックグラウンドで同期再生させ、切り換えタイミングで相手側音声の出力と相手側映像の表示を行う構成であったが、この構成に限定されるものではない。切り換えタイミングにあわせて、歌唱動画データを途中から再生させる構成であってもよい。
さらに、前述の各実施形態では、予め各カラオケ本体21A,21Bに歌唱動画データを記憶させておき、切換条件が成立した場合に、歌唱動画データに基づく音声及び映像を出力及び表示させるものを例示したが、この構成に限定されるものではない。例えば、切換条件が成立した場合、汎用伝送路4Aを用いてホスト装置1(サーバー)から切換用の歌唱動画(切換タイミング以降の歌唱動画)を、対象のカラオケ本体21A,21Bへストリーミング配信するように構成してもよい。