JP6170692B2 - 通信障害時にデュエット歌唱を継続可能な通信カラオケシステム - Google Patents

Description

本発明は、通信回線を介して通信可能に接続された複数台のカラオケ装置を有し、デュエット歌唱を行うように構成された通信カラオケシステムに関する。

通信回線を介して通信可能に接続された複数台のカラオケ装置を利用し、デュエット歌唱を行うように構成された通信カラオケシステムが知られている。例えば、特許文献１には、情報管理サーバーを通信回線（通信網）に接続するとともに、この通信回線に利用者の音楽演奏通信装置や携帯電話等も接続することで、遠隔地且つ多拠点でのデュエットや合唱カラオケを実現するシステムが開示されている。

通信回線を用いて映像や音声を送受信する場合、通信の遅延や障害が問題となる。このような問題に対して、特許文献１のシステムでは、過度な遅延を抑制すべく音響信号を他の信号等に優先させて通信回線に配信している。

また、特許文献２には、動画コンテンツの再生中に通信回線（ネットワーク）が切断された場合、自動的に代替の動画コンテンツを再生する技術が開示されている。この技術は、ネットワークの切断時までにバッファリングされた動画コンテンツが再生されることから、リアルタイムのデュエット歌唱を行う通信カラオケシステムに適用することは困難である。

また、特許文献３には、複数曲のボーカル音を記憶させておき、歌唱者の音声が途絶えたときに自動的にボーカル付き演奏に切り替える技術が開示されている。この技術は、楽曲を完全にマスターしていない歌唱者を対象にした技術であることから、デュエット歌唱を行う通信カラオケシステムについて何ら考慮されていない。

特開２００５−７７４８５号公報 特開２００６−２７９５４４号公報 特開平４−２９８７９３号公報

前述のように、デュエット歌唱を行う通信カラオケシステムに関し、通信回線の障害に対する有効な対策は、いまだ提案されていない。本発明は、このような事情に鑑みてなされたものであり、その目的は、通信回線に障害が発生してもデュエット歌唱を継続的に行えるようにすることにある。

前述の目的を達成するため、本発明は、複数のカラオケ装置を通信回線で相互に接続し、送信側カラオケ装置での歌唱に基づく歌唱音声データを前記通信回線を通じて送信し、再生側カラオケ装置で再生することで、或る楽曲のデュエット歌唱を行わせる通信カラオケシステムであって、前記再生側カラオケ装置は、前記或る楽曲のボーカルデータが記憶されたボーカルデータ記憶手段と、前記通信回線における通信障害の有無を判定する障害判定手段と、通信障害有りと判定された場合に、前記歌唱音声データに代えて前記ボーカルデータを再生させる再生制御手段を有することを特徴とする。

本発明によれば、通信障害有りと判定された場合に、再生制御手段により、ボーカルデータ記憶手段に記憶されたボーカルデータが読み出され、送信側カラオケ装置からの歌唱音声データに代えて再生されるので、歌唱音声データを受信できなくてもデュエット歌唱を継続的に行うことができる。

前述の通信カラオケシステムにおいて、前記再生側カラオケ装置は、前記通信回線を通じて受信した前記歌唱音声データに基づき、当該歌唱音声データに対応する歌唱パートを判定する歌唱パート判定手段を有し、前記ボーカルデータ記憶手段には、前記ボーカルデータが歌唱パート毎に記憶され、前記再生制御手段は、通信障害有りと判定された場合に、前記歌唱音声データに代えて、前記歌唱パート判定手段で判定された歌唱パートの前記ボーカルデータを再生させることが好ましい。この通信カラオケシステムでは、相手方パートのボーカルデータが再生されるので、パート毎のデュエット歌唱を継続的に行うことができる。

前述の通信カラオケシステムにおいて、前記再生側カラオケ装置は、前記障害判定手段によって通信障害有りと判定された後、前記歌唱音声データの再生音量に基づき、通信障害が復旧されたことを判定する復旧判定手段を有し、前記再生制御手段は、通信障害から復旧したと判定された場合に、前記ボーカルデータに代えて前記歌唱音声データを再生させることが好ましい。この通信カラオケシステムでは、通信障害が復旧された場合に、送信側カラオケ装置の歌唱者と再度デュエット歌唱を行うことができる。

前述の通信カラオケシステムにおいて、前記復旧判定手段は、前記歌唱音声データの再生音量が予め設定された閾値よりも規定時間に亘って大きくなったことを条件に、通信障害から復旧されたと判定することが好ましい。この通信カラオケシステムでは、通信が安定した状態で、送信側カラオケ装置の歌唱者と再度デュエット歌唱を行うことができる。

前述の通信カラオケシステムにおいて、前記障害判定手段は、前記歌唱音声データの再生音量が予め設定された閾値よりも小さくなったことを条件に、前記通信回線を通じて前記送信側カラオケ装置に確認要求を送信し、前記送信側カラオケ装置からの応答を規定時間内に受信できなかった場合に、通信障害有りと判定することが好ましい。この通信カラオケシステムでは、通信障害の有無を確実に判定することができる。

本発明の通信カラオケシステムによれば、通信回線に障害が発生してもデュエット歌唱を継続的に行うことができる。

通信カラオケシステムの概略構成を説明する概念図である。 ホスト装置の構成を説明するブロック図である。 カラオケ装置の構成を説明するブロック図である。 カラオケ本体の構成を説明するブロック図である。 音響処理部の構成を説明するブロック図である。 デュエットを行う一対のカラオケ装置が通信回線を介して接続された状態を説明するブロック図である。 通信デュエット時における各カラオケルームの様子を説明する図である。 障害発生時の処理の概略を説明する図である。 再生側カラオケ装置の処理を説明するフローチャートである。 判定音量を説明する図である。

以下、本発明の実施形態について説明する。図１に示す通信カラオケシステムは、ホスト装置１とカラオケ装置２とユーザー端末３とを有している。そして、これらが通信回線４を介して通信可能に接続されている。カラオケ装置２は、例えばカラオケ店ＫＢの各カラオケルームＲＭに設置されている。そして、通信回線４を通じたデュエット歌唱（以下、通信デュエットという）を行う場合、一対のカラオケ装置２，２が通信回線４を介して相互に接続される。以下、通信カラオケシステムを構成する各装置について説明する。

まず、ホスト装置１について説明する。ホスト装置１は、サーバーとして機能し、顧客情報などの各種情報を蓄積して管理する。図２に示すように、ホスト装置１は、ホスト側制御部１１と、ホスト側通信部１２と、ホスト側記憶部１３とを有している。ホスト側制御部１１は、ホスト装置１における制御の中心となる部分であり、ＣＰＵ１１ａやメモリ１１ｂを有している。ＣＰＵ１１ａは、メモリ１１ｂに記憶された動作プログラムに従って各種の制御を実行する。メモリ１１ｂは、ＣＰＵ１１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。ホスト側通信部１２は、ホスト装置１を通信回線４に接続するためのインタフェースを提供する。

ホスト側記憶部１３は、大容量の情報を記憶する記憶装置であり、ハードディスクドライブ等によって構成されている。ホスト側記憶部１３の一部領域は、利用者（歌唱者）の個人情報や履歴データが記憶される顧客情報記憶領域として用いられている。この顧客情報記憶領域には、個人情報、来店履歴、歌唱履歴等を示すデータが利用者ＩＤに対応付けられた状態で記憶される。

次に、カラオケ装置２について説明する。カラオケ装置２は、カラオケ演奏や歌唱採点を行うものであり、例えば図３に示すように、カラオケ本体２１と、スピーカ２２と、モニタ２３と、マイク２４と、ビデオカメラ２５と、リモコン装置２６と、映像用通信端末２７と、音声用通信端末２８とを有している。

カラオケ本体２１は、選択されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、マイク２４を通じて入力された歌唱音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う部分である。このカラオケ本体２１については、後で詳しく説明する。

スピーカ２２は、カラオケ本体２１に接続されており、カラオケ本体２１からの放音信号に基づいて放音する。モニタ２３もカラオケ本体２１に接続されており、カラオケ本体２１からの映像信号に基づいて映像を画面に表示する。マイク２４もカラオケ本体２１に接続されており、歌唱者の音声をアナログの歌唱音声信号に変換してカラオケ本体２１に入力させる。ビデオカメラ２５もカラオケ本体２１に接続されており、撮影された映像（例えば歌唱中の映像）を歌唱映像データとしてカラオケ本体２１に入力させる。

リモコン装置２６は、カラオケ本体２１との間で情報を送受信するための双方向通信可能な短距離無線通信部を備えており、カラオケ楽曲の予約時などに操作される。カラオケ楽曲の予約時において、リモコン装置２６からは、演奏対象の楽曲を識別するための楽曲ＩＤを含んだ操作信号が送信される。登録された利用者がリモコン装置２６を通じてログインした場合、その利用者の利用者ＩＤがホスト装置１に送信される。この利用者ＩＤに基づき、ホスト装置１は、歌唱を行う利用者（歌唱者）をカラオケ装置２に対応付けた状態で認識できる。

また、本実施形態のリモコン装置２６は、通信デュエットにおける開始信号を送信する開始信号送信手段としても機能する。詳細は後述するが、この通信カラオケシステムでは、通信デュエットの実行時において、或るカラオケ装置２が親機として機能し、他のカラオケ装置２が子機として機能する。そして、親側のカラオケ装置２が有するリモコン装置２６からの開始信号が、親側のカラオケ本体２１と子側のカラオケ本体２１のそれぞれに送信される。この場合において、親側のカラオケ本体２１に対しては開始信号が直接入力され、子側のカラオケ本体２１に対しては開始信号が近隣のアクセスポイント（図示せず）及び通信回線４（汎用通信回線４Ａ）を介して送信される。

映像用通信端末２７及び音声用通信端末２８は、通信デュエットが行われる際に、相手側のカラオケ装置２と通信回線４を介して接続される部分であり、ビデオカメラ２５で撮影された歌唱映像データ、及び、マイク２４等を通じて取得された歌唱音声データが送受信される。具体的には、映像用通信端末２７は、映像用通信回線４Ｂを介して歌唱映像データを、相手側のカラオケ装置２が有する映像用通信端末２７と送受信する。同様に、音声用通信端末２８は、音声用通信回線４Ｃを介して歌唱音声データを、相手側のカラオケ装置２が有する音声用通信端末２８と送受信する。これらの映像用通信回線４Ｂ及び音声用通信回線４Ｃでは、接続先となるカラオケ装置２を電話番号やＩＰアドレスなどによって選択できる。

映像用通信端末２７で受信された相手側のカラオケ装置２からの歌唱映像データは、カラオケ本体２１に入力される。同様に、音声用通信端末２８で受信された相手側のカラオケ装置２からの歌唱音声データもまた、カラオケ本体２１に入力される。なお、カラオケ本体２１は、汎用通信回線４Ａを介して相手側のカラオケ本体２１やホスト装置１と通信可能に接続されている。そして、通信デュエット時の歌唱映像データ及び歌唱音声データを除く各種のデータや情報は、汎用通信回線４Ａを介して送受信される。このように、本実施形態の通信カラオケシステムでは、通信デュエット時の歌唱映像データ及び歌唱音声データが、専用の映像用通信回線４Ｂ及び音声用通信回線４Ｃを介して送受信されている。

次に、カラオケ本体２１について詳細に説明する。図４に示すように、カラオケ本体２１は、本体側制御部３１と、本体側通信部３２と、本体側記憶部３３と、音響処理部３４と、表示処理部３５と、映像入力部３６と、操作部３７とを有している。そして、これらの各部がバスＢＳを介して通信可能な状態に接続されている。

本体側制御部３１は、カラオケ本体２１における制御の中心となる部分であり、ＣＰＵ３１ａやメモリ３１ｂを有している。ＣＰＵ３１ａは、メモリ３１ｂに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作部３７からの操作を受け付ける操作入力処理やシーケンサとして動作するシーケンサ処理を行う。メモリ３１ｂは、ＣＰＵ３１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。本体側通信部３２は、カラオケ本体２１を通信回線４（汎用通信回線４Ａ）に接続するためのインタフェースを提供する。この本体側通信部３２は、本体側制御部３１によって動作が制御される。

本体側記憶部３３は、各種のデータを記憶する大容量の記憶装置であり、例えばハードディスクドライブによって構成されている。この本体側記憶部３３には、例えば、楽曲データ記憶領域や背景映像データ記憶領域が設けられる。楽曲データ記憶領域には、リモコン装置２６で選択されたカラオケ楽曲を演奏するための楽曲データが記憶され、背景映像データ記憶領域には、モニタ２３に背景映像を表示させるための背景映像データが記憶される。

ここで、楽曲データについて説明する。楽曲データは、ヘッダ、伴奏音トラック、歌詞トラック、及び、ボーカル音トラックを含んで構成されている。

ヘッダは、曲名、曲番号、及び、演奏時間などの情報である。伴奏音トラックは、演奏の具体的な処理を示す演奏イベントデータ及び演奏イベントデータの実行タイミングを示すデュレーションデータを含んだシーケンスデータで構成されている。歌詞トラックは、歌詞表示などの具体的な処理を示す歌詞表示データ及び歌詞表示データの実行タイミングを示す時間情報データを含んだシーケンスデータで構成されている。

ボーカル音トラックは、プロ歌手やハイアマチュアの歌唱者が歌唱したガイドボーカル音声をデータ化したものであり、ボーカルデータに相当する。音響処理部３４は、ボーカル音トラックに基づいてガイドボーカル音声を再生する。このボーカル音トラックは、ガイドメロディ対応の各カラオケ楽曲に対して予め作成され、楽曲データ記憶領域に記憶されている。そして、本実施形態では、主旋律のボーカル音トラックに加え、パート毎のボーカル音トラックも記憶されている。例えば、男性パート、女性パート、高音パート、及び、低音パートのボーカル音トラックが記憶されている。そして、このようなボーカル音トラックを記憶する本体側記憶部３３は、ボーカルデータ記憶手段に相当する。

そして、アシストモードが選択されると、マイク２４を通じて入力される歌唱音量が閾値未満であることを条件に、主旋律や相手側パートのボーカル音トラックが読み出されて再生される。また、通信デュエットの実行時には通信障害の発生判定を条件に、相手側歌唱者が歌唱しているパートのボーカル音トラックが読み出されて再生される。

音響処理部３４は、カラオケ楽曲に対する演奏の制御、マイク２４を通じて入力された歌唱音声信号の処理、及び、音声用通信端末２８を通じて入力された歌唱音声データの処理を行う部分である。図５に示すように、音響処理部３４は、音声再生部４１、音声レベル調整部４２、音源装置４３、ミキサ４４、及び、アンプ４５を有している。

音声再生部４１は、ボーカル音トラックに基づいてボーカル音信号を生成する部分である。音声レベル調整部４２は、歌唱者の歌唱音声、デュエット相手の歌唱音声、及び、ガイドボーカル音声のそれぞれについて、音量を調整する部分である。音声レベル調整部４２には、音声再生部４１からのボーカル音信号と、マイク２４からの歌唱音声信号と、音声用通信端末２８からの歌唱音声データとが入力される。そして、音声レベル調整部４２からは、ボーカル音信号、歌唱音声信号、及び、歌唱音声データのアナログ変換で得られた相手側歌唱音声信号が、音量を調整された状態で出力される。

音源装置４３は、例えばＭＩＤＩ音源などであり、伴奏音トラックに基づいて楽音信号を生成する。ミキサ４４は、音源装置４３及び音声レベル調整部４２から出力される各種信号を適当な比率でミキシングしてアンプ４５に出力する。本実施形態では、ボーカル音信号、歌唱音声信号、相手側歌唱音声信号、及び、楽音信号が適宜ミキサ４４へ入力される。アンプ４５は、ミキサ４４からのミキシング信号を増幅し、放音信号としてスピーカ２２へ出力する。これにより、スピーカ２２からは放音信号に基づくカラオケ演奏音や歌唱音声が放音される。

図４に示す表示処理部３５は、カラオケ演奏時における背景映像の表示等の制御を行う。カラオケ演奏時において、表示処理部３５には背景映像データが入力されており、この背景映像データのデコードが行われる。そして、表示処理部３５は、デコードで生成された背景映像の映像信号に歌詞テロップを合成し、合成後の映像信号をモニタ２３に出力する。その結果、モニタ２３には、背景映像に歌詞テロップが重ねられた映像が表示される。

また、表示処理部３５は、通信デュエットが行われている際、映像用通信端末２７を介して受信した相手側の歌唱映像データをモニタ２３に表示させる。このとき、モニタ２３の所定位置には、ビデオカメラ２５から直接入力された映像データに基づく映像、すなわち歌唱者の歌唱映像が上書き（スーパーインポーズ）される。

映像入力部３６は、ビデオカメラ２５からの歌唱映像データの取り込み処理を行う部分であり、いわゆるビデオカードで構成されている。この映像入力部３６は、例えば、ビデオカメラ２５及び映像用通信端末２７と接続するための外部インタフェースと、バスＢＳを通じて本体側制御部３１等と接続するための内部インタフェースと、フレームバッファとしてのビデオメモリを有している（何れも図示せず）。

操作部３７は、パネルスイッチやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置２６の操作に応じた操作信号を本体側制御部３１に対して出力する。本体側制御部３１は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置２６は、操作を選択するための種々のキースイッチ（図示せず）を備えている。そして、リモコン装置２６を通じた操作により、アシストモードや通信デュエットの実行を選択できる。

次に、上記構成を有する通信カラオケシステムの動作について説明する。このカラオケシステムは、通信デュエットの処理に特徴を有している。このため、通信デュエットの動作を中心に説明を行う。

図６は、通信デュエットを行う一対のカラオケ装置２Ａ，２Ｂが通信回線４（４Ａ〜４Ｃ）を介して接続された状態を説明するブロック図である。通信デュエットの実行時には、一方のカラオケ装置２Ａが親側となり、他方のカラオケ装置２Ｂが子側となる。便宜上、以下の説明では、親側のカラオケ装置２を親側カラオケ装置２Ａといい、子側のカラオケ装置２を子側カラオケ装置２Ｂという。そして、親側カラオケ装置２Ａが備える各部を「親側」の語を付して示し、子側カラオケ装置２Ｂが備える各部を「子側」の語を付して示すこととする。

親側リモコン装置２６Ａや子側リモコン装置２６Ｂの操作によって通信デュエットが選択されると、親側映像用通信端末２７Ａと子側映像用通信端末２７Ｂとが映像用通信回線４Ｂを介して通信可能に接続され、親側音声用通信端末２８Ａと子側音声用通信端末２８Ｂとが音声用通信回線４Ｃを介して通信可能に接続される。これにより、親側ビデオカメラ２５Ａで撮影された映像が子側モニタ２３Ｂで視認可能となり、親側マイク２４Ａで集音された音声が子側スピーカ２２Ｂから放音されるようになる。同様に、子側ビデオカメラ２５Ｂで撮影された映像が親側モニタ２３Ａで視認可能となり、子側マイク２４Ｂで集音された音声が親側スピーカ２２Ａから放音されるようになる。

すなわち、送信側のカラオケ装置２で取得された歌唱映像データ及び歌唱音声データが通信回線４を通じて送信される。そして、再生側のカラオケ装置２が歌唱映像データ及び歌唱音声データを受信し、これらのデータを再生する。なお、親側カラオケ本体２１Ａと子側カラオケ本体２１Ｂとは汎用通信回線４Ａを介して常時通信可能に接続されているので、必要な情報は、汎用通信回線４Ａを介して送受信することができる。

また、通信デュエットが選択されると、親側カラオケ本体２１Ａの本体側制御部３１と子側カラオケ本体２１Ｂの本体側制御部３１のそれぞれに、通信デュエットの対象となるカラオケ楽曲の楽曲ＩＤが記憶され、演奏可能な状態で待機される。その後、各ビデオカメラ２５Ａ，２５Ｂの角度や各マイク２４Ａ，２４Ｂの入力感度等が調整され、通信デュエットが行える状態になったならば、親側リモコン装置２６Ａにより、通信デュエットの開始が指示される。

これにより、親側リモコン装置２６Ａから開始信号が送信され、親側カラオケ本体２１Ａと子側カラオケ本体２１Ｂに受信される。本実施形態における開始信号は、親側カラオケ本体２１Ａに対しては直接送信され、子側カラオケ本体２１Ｂに対しては、アクセスポイント及び汎用通信回線４Ａを通じて送信される。そして、開始信号が各カラオケ本体２１Ａ，２１Ｂで受信されると通信デュエットが開始される。すなわち、親側カラオケ本体２１Ａと子側カラオケ本体２１Ｂのそれぞれでカラオケ伴奏が開始される。各歌唱者は、カラオケ伴奏にあわせて歌唱を行うことで、デュエット歌唱を行うことができる。

図７は、通信デュエットの様子を説明する図である。同図に示すように、親側カラオケルームＲＭ（親）では、親側モニタ２３Ａに子側歌唱映像ＸＢと親側歌唱映像ＸＡが表示されている。同様に、子側カラオケルームＲＭ（子）では、子側モニタ２３Ｂに親側歌唱映像ＸＡと子側歌唱映像ＸＢが表示されている。また、親側カラオケルームＲＭ（親）及び子側カラオケルームＲＭ（子）では、親側歌唱音声と子側歌唱音声とが合成された合成音声が親側スピーカ２２Ａ及び子側スピーカ２２Ｂから放音される。このように、通信回線４で接続された一対のカラオケ装置２Ａ，２Ｂで歌唱映像と歌唱音声が共有されることにより、通信デュエットが実現される。

この通信カラオケシステムでは、アシストモードや通信デュエットの実行時に、ボーカル音トラックが用いられる。例えば、アシストモードの実行時には、マイク２４からの歌唱音量が測定され、歌唱音量が閾値未満であることを条件にガイドボーカル音声がフェードインされる。一方、歌唱音量が閾値以上になったことを条件にガイドボーカル音声がフェードアウトされる。

また、通信デュエットの実行時には、デュエット相手の歌唱音量等に基づいて通信障害の有無が判定され、通信障害有りと判定された場合にガイドボーカル音声がフェードインされる。また、デュエット相手の歌唱音量が規定時間に亘って閾値以上である場合に、ガイドボーカル音声がフェードアウトされる。

便宜上、以下の説明では、通信デュエットの実行時において、相手側歌唱者の歌唱音声が再生されている状態をデュエットモードといい、相手側歌唱者の歌唱音声に代えてガイドボーカル音声が再生されている状態をガイドボーカルモードという。

例えば、図８に示す例では、時刻ｔ０でデュエット歌唱が開始されている。なお、歌唱開始時点ではデュエットモードに設定されている。そして、時刻ｔ１で相手側の歌唱音声の音量が閾値未満まで低下し、時刻ｔ２で通信障害有りと判定されたことを契機に、ガイドボーカルモードに移行する。これにより、ガイドボーカル音声の再生が、曲の途中からタイミングをあわせて行われる。その後、時刻ｔ３で相手側の歌唱音声の音量が閾値以上に復帰し、それが時刻ｔ４まで継続していることから通信が安定状態と判断される。これに伴い、デュエットモードに復帰される。すなわち、時刻ｔ４でガイドボーカル音声の再生が停止されると共に、相手側歌唱音声の再生が開始される。その後、時刻ｔ５までデュエット歌唱が行われている。

このような制御を行うことで、通信障害によって歌唱音声データを受信できなくても、その期間に亘ってガイドボーカル音声が放音され、デュエット歌唱を継続させることができる。そして、歌唱者は、デュエット歌唱が中断されないので、気分よく歌唱を行うことができる。

以下、上記の制御を図９のフローチャートを参照して詳細に説明する。このフローチャートは、デュエット歌唱を行う各カラオケ装置２Ａ，２Ｂの再生側動作を説明するものである。言い換えれば、再生側のカラオケ装置２の動作を説明するものである。

通信デュエットを行うに際し、親側カラオケ装置２Ａの利用者及び子側カラオケ装置２Ｂの利用者（歌唱者）は、事前操作を行う（Ｓ１）。この事前操作では、それぞれ親側リモコン装置２６Ａ及び子側リモコン装置２６Ｂを操作し、各カラオケ装置２Ａ，２Ｂを通信デュエットモードに設定する。この事前操作により、親側映像用通信端末２７Ａと子側映像用通信端末２７Ｂとの間で歌唱映像データが相互に送受信されるとともに、親側音声用通信端末２８Ａと子側音声用通信端末２８Ｂとの間で歌唱音声データが相互に送受信される。また、デュエット歌唱されるカラオケ楽曲が選択され、演奏（シーケンス制御）の準備がなされる。

事前操作が終了したならば、開始信号の受信を待つ（Ｓ２）。ここで、再生側のカラオケ装置２が親側カラオケ装置２Ａである場合には、親側リモコン装置２６Ａからの開始信号を直接受信する。一方、再生側のカラオケ装置２が子側カラオケ装置２Ｂである場合には、アクセスポイント及び汎用通信回線４Ａを通じて送信されてきた開始信号を受信する。

開始信号の受信に伴い、カラオケ楽曲の演奏が開始される（Ｓ３）。ここでは、本体側制御部３１によるシーケンス制御により、本体側記憶部３３に記憶された楽曲データ（伴奏音トラックや歌詞トラック）の読み出しが開始され、音響処理部３４や表示処理部３５に入力される。これにより、各カラオケ装置２Ａ，２Ｂでカラオケ伴奏や歌詞表示が開始される。

次に、本体側制御部３１は相手側歌唱音声取得手段として機能し、相手側歌唱者の歌唱音声を取得する（Ｓ４）。例えば、音響処理部３４での変換で得られた相手側歌唱音声信号を測定用にサンプリングする。次に、本体側制御部３１は歌唱パート判定手段として機能し、相手側歌唱者が歌唱しているパートを判定する（Ｓ５）。例えば、サンプリングした相手側歌唱音声信号をボーカル音トラック（ボーカル音信号）と比較することで、相手側歌唱者が歌唱しているパートを判定する。

パートを判定したならば、本体側制御部３１はモード判定手段として機能し、デュエット歌唱のモードを判定する（Ｓ６）。ここでは、デュエットモードとガイドボーカルモードの何れが行われているかを判定する。例えば、本体側制御部３１は、音声レベル調整部４２の動作状況に基づき、相手側歌唱音声信号が出力されている場合にはデュエットモードと判定し、ボーカル音信号が出力されている場合にはガイドボーカルモードと判定する。なお、モードの判定に関しては、この方法に限らず他の方法を用いてもよい。

ステップＳ６のモード判定処理でデュエットモードと判定された場合、本体側制御部３１は音量判定手段として機能し、相手側歌唱音声の音量を判定する（Ｓ７）。例えば、図１０に示すように、ガイドボーカル音声の音量ＶＬに基づいて設定された障害判定用の第１閾値ＴＨ１と相手側歌唱音声の音量（歌唱音声データの再生音量）とを比較し、相手側歌唱音声の音量が第１閾値ＴＨ１以上であるか否かを判定する。そして、第１閾値ＴＨ１以上である場合には、通信障害は生じていないとして、ステップＳ１３に移行する。一方、第１閾値ＴＨ１未満である場合には、通信障害が生じている可能性があるとして、ステップＳ８の通信障害判定処理に移行する。

なお、第１閾値ＴＨ１は、通信障害の有無を判定する際に用いられることから、ガイドボーカル音声の音量ＶＬに比べて十分に低い値が設定される。例えば、音量ＶＬの２０〜３０％程度に設定される。この第１閾値ＴＨ１は、音量ＶＬに基づく数値に限られず、一定値に定めてもよい。

通信障害有無の判定処理（Ｓ８）において、本体側制御部３１は障害判定手段として機能し、通信障害の有無を判定する。本実施形態では、各音声用通信端末２８Ａ，２８Ｂから音声用通信回線４Ｃを通じて確認要求（ｐｉｎｇ等）を送信している。その後、相手側のカラオケ装置２からの応答を規定時間内に受信できた場合に通信障害無しと判定し、受信できなかった場合に通信障害有りと判定する。この場合における規定時間は任意に設定することができるが、例えば０．５〜１．０秒に設定される。この程度の時間であれば、デュエット歌唱に大きな支障は来さないと考えられるためである。そして、通信障害無しと判定された場合にはステップＳ１３に移行する。また、通信障害有りと判定された場合には、デュエットモードからガイドボーカルモードへと切り替えられる。すなわち、ガイドボーカルを放音させる第１モード切替処理（Ｓ１０）に移行する。

第１モード切替処理（Ｓ１０）において、本体側制御部３１は再生制御手段として機能し、相手側歌唱音声に代えてガイドボーカル音声を放音させる。ここでは、本体側制御部３１が音声レベル調整部４２を制御し、歌唱音声データに代えてボーカル音トラック（ボーカルデータ）を再生させる。ここで、本体側制御部３１は、ステップＳ５の判定結果に基づき、相手側歌唱者のパートに対応するボーカル音トラックを再生させる。すなわち、シーケンス制御において、ボーカル音トラックを音声再生部４１に入力すると共に、音声レベル調整部４２に対して音量調整の指令を出力する。この第１モード切替処理を行うことで、対応するパートのガイドボーカル音声がフェードインされると共に、相手側の歌唱音声がフェードアウトされる。この第１モード切替処理を行ったならば、ステップＳ１３に移行する。

また、前述したステップＳ６のモード判定処理でガイドボーカルモードと判定された場合、本体側制御部３１は復旧判定手段として機能し、相手側歌唱音声の音量が規定時間に亘って判定音量以上であるかを判定する（Ｓ１１）。例えば、図１０に示すように、ガイドボーカル音声の音量ＶＬに基づいて設定された復旧判定用の第２閾値ＴＨ２と相手側歌唱音声の音量とを比較し、相手側歌唱音声の音量が第２閾値ＴＨ２以上であるか否かを判定する。

そして、第２閾値ＴＨ２以上であって、この状態が５秒程度継続した場合には、通信障害は復旧したとして、ガイドボーカルモードからデュエットモードへと切り替えられる。すなわち、相手側歌唱音声を放音させる第２モード切替処理（Ｓ１２）に移行する。一方、第２閾値ＴＨ２未満である場合、或いは、第２閾値ＴＨ２以上の期間が規定時間に達していない場合には、まだ通信障害から復旧されていないとして、ステップＳ１３に移行する。

なお、第２閾値ＴＨ２は、通信障害からの復旧を判定する際に用いられることから、ガイドボーカル音声の音量ＶＬに比較的近い値が設定される。例えば、音量ＶＬの６０〜８０％程度に設定される。この第２閾値ＴＨ２もまた、音量ＶＬに基づく数値に限られず、一定値に定めてもよい。

第２モード切替処理（Ｓ１２）においても、本体側制御部３１は再生制御手段として機能し、ガイドボーカル音声に代えて相手側歌唱音声を放音させる。ここでは、本体側制御部３１が音声レベル調整部４２を制御し、ボーカル音トラックに代えて歌唱音声データを再生させる。すなわち、音声レベル調整部４２に対して音量調整の指令を出力し、その後、ボーカル音トラックの音声再生部４１への入力を停止する。この第２モード切替処理を行うことで、相手側の歌唱音声がフェードインされると共に、ガイドボーカル音声がフェードアウトされる。この第２モード切替処理を行ったならば、ステップＳ１３に移行する。

ステップＳ１３では、カラオケ楽曲が終了したか否かが判断される。例えば、本体側制御部３１は、再生中のカラオケ楽曲に対するシーケンス制御が最後まで行われたか否かを判断する。そして、演奏途中である場合には、前述のステップＳ４に移行し、相手側歌唱音声の取得処理から順に、前述の処理を繰り返し行う。一方、演奏が終了したならば、一連の処理を終了する。

以上の処理を行う本実施形態の通信カラオケシステムによれば、各カラオケ装置２は、或る楽曲のボーカル音トラック（ボーカルデータ）が記憶された本体側記憶部３３（ボーカルデータ記憶手段）と、通信回線４における通信障害の有無を判定すると共に、通信障害有りと判定された場合に相手側の歌唱音声データに代えてボーカル音トラックを再生させる本体側制御部３１（障害判定手段，再生制御手段）を有しているので、送信側のカラオケ装置２からの歌唱音声データを受信できなくてもデュエット歌唱を継続的に行わせることができる。

また、本体側記憶部３３には歌唱パート毎のボーカル音トラックが記憶され、本体側制御部３１（歌唱パート判定手段，再生制御手段）は、音声用通信回線４Ｃを通じて受信した相手側の歌唱音声データに基づき、この歌唱音声データに対応する歌唱パートを判定し、通信障害有りと判定した場合に、判定した歌唱パートのボーカル音トラックを再生させるので、パート毎のデュエット歌唱を継続的に行わせることができる。

また、本体側制御部３１（障害判定手段）は、相手側からの歌唱音声データの再生音量が予め設定された第１閾値ＴＨ１よりも小さくなったことを条件に、音声用通信回線４Ｃを通じて相手側のカラオケ装置２に確認要求を送信し、このカラオケ装置２からの応答を規定時間内に受信できなかった場合に、通信障害有りと判定しているので、通信障害の有無を確実に判定することができる。

また、本体側制御部３１（復旧判定手段）は、通信障害有りと判定された後、相手側からの歌唱音声データの再生音量に基づき、この再生音量が予め設定された第２閾値ＴＨ２よりも規定時間に亘って大きくなったことを条件に、通信障害から復旧されたと判定しているので、通信が安定した状態で、相手側のカラオケ装置２の歌唱者と再度デュエット歌唱を行うことができる。

以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。例えば、次のように構成してもよい。

まず、ボーカル音トラック（ボーカルデータ）に関し、各カラオケ装置２の本体側記憶部３３に予め記憶されている場合について説明したが、通信デュエットの準備を行っている事前操作期間（Ｓ１）にホスト装置１（サーバー）からダウンロードするように構成してもよい。

また、このボーカル音トラックは、記憶データ量を削減する観点からアシストモードで使用されるものと共通であったが、通信デュエット専用のトラックを用意してもよい。

また、ステップＳ５のパート判定処理に関し、前述の実施形態では、通信デュエットの期間中に亘って逐次判定を行うように構成されていたが、この構成に限られない。例えば、演奏開始時に判定し、その後は判定を行わないようにしてもよいし、事前操作期間（Ｓ１）に歌唱パートを決めてしまってもよい。

また、通信回線４に関し、前述の実施形態では、映像用通信回線４Ｂと音声用通信回線４Ｃとを専用回線で構成したものを例示したが、これらを汎用回線で構成してもよいし、歌唱映像データ及び歌唱音声データを送受信する通信回線を専用回線で構成してもよい。

１…ホスト装置，２…カラオケ装置，２Ａ…親側カラオケ装置，２Ｂ…子側カラオケ装置，３…ユーザー端末，４…通信回線，４Ａ…汎用通信回線，４Ｂ…映像用通信回線，４Ｃ…音声用通信回線，１１…ホスト側制御部，１１ａ…ＣＰＵ，１１ｂ…メモリ，１２…ホスト側通信部，１３…ホスト側記憶部，２１…カラオケ本体，２１Ａ…親側カラオケ本体，２１Ｂ…子側カラオケ本体，２２…スピーカ，２２Ａ…親側スピーカ，２２Ｂ…子側スピーカ，２３…モニタ，２３Ａ…親側モニタ，２３Ｂ…子側モニタ，２４…マイク，２４Ａ…親側マイク，２４Ｂ…子側マイク，２５…ビデオカメラ，２５Ａ…親側ビデオカメラ，２５Ｂ…子側ビデオカメラ，２６…リモコン装置，２６Ａ…親側リモコン装置，２６Ｂ…子側リモコン装置，２７…映像用通信端末，２７Ａ…親側映像用通信端末，２７Ｂ…子側映像用通信端末，２８…音声用通信端末，２８Ａ…親側音声用通信端末，２８Ｂ…子側音声用通信端末，３１…本体側制御部，３１ａ…ＣＰＵ，３１ｂ…メモリ，３２…本体側通信部，３３…本体側記憶部，３４…音響処理部，３５…表示処理部，３６…映像入力部，３７…操作部，４１…音声再生部，４２…音声レベル調整部，４３…音源装置，４４…ミキサ，４５…アンプ，ＫＢ…カラオケ店，ＲＭ…カラオケルーム，ＸＡ…親側歌唱映像，ＸＢ…子側歌唱映像，ＢＳ…バス

Claims (4)

1. 複数のカラオケ装置を通信回線で相互に接続し、送信側カラオケ装置での歌唱に基づく歌唱音声データを前記通信回線を通じて送信し、再生側カラオケ装置で再生することで、或る楽曲のデュエット歌唱を行わせる通信カラオケシステムであって、
   前記再生側カラオケ装置は、
   前記或る楽曲のボーカルデータが記憶されたボーカルデータ記憶手段と、
   前記通信回線における通信障害の有無を判定する障害判定手段と、
   通信障害有りと判定された場合に、前記歌唱音声データに代えて前記ボーカルデータを再生させる再生制御手段と、
   前記通信回線を通じて受信した前記歌唱音声データに基づき、当該歌唱音声データに対応する歌唱パートを判定する歌唱パート判定手段と、
   を有し、
   前記ボーカルデータ記憶手段には、前記ボーカルデータが歌唱パート毎に記憶され、
   前記再生制御手段は、通信障害有りと判定された場合に、前記歌唱音声データに代えて、前記歌唱パート判定手段で判定された歌唱パートに対応する前記ボーカルデータを再生させることを特徴とする通信カラオケシステム。
2. 前記再生側カラオケ装置は、前記障害判定手段によって通信障害有りと判定された後、前記歌唱音声データの再生音量に基づき、通信障害が復旧されたことを判定する復旧判定手段を有し、
   前記再生制御手段は、通信障害から復旧したと判定された場合に、前記ボーカルデータに代えて前記歌唱音声データを再生させることを特徴とする請求項１に記載の通信カラオケシステム。
3. 前記復旧判定手段は、前記歌唱音声データの再生音量が予め設定された閾値よりも規定時間に亘って大きくなったことを条件に、通信障害から復旧されたと判定することを特徴とする請求項２に記載の通信カラオケシステム。
4. 前記障害判定手段は、
   前記歌唱音声データの再生音量が予め設定された閾値よりも小さくなったことを条件に、前記通信回線を通じて前記送信側カラオケ装置に確認要求を送信し、前記送信側カラオケ装置からの応答を規定時間内に受信できなかった場合に、通信障害有りと判定することを特徴とする請求項１から３の何れか１項に記載の通信カラオケシステム。
   

Images