JP6457326B2 - 歌唱音声の伝送遅延に対応したカラオケシステム - Google Patents

Description

本発明は歌唱音声の伝送遅延に対応したカラオケシステムに関するものであり、詳しくは、異なる場所（例えば、異なるカラオケ店）に設置された複数のカラオケ演奏装置を用いて、同一のカラオケ楽曲を同時に歌唱する際に、伝送路を介して送信されてくる歌唱相手の歌唱音声の伝送遅延に対応して、カラオケ演奏音の放音タイミングと歌唱相手の歌唱音声の放音タイミングとのずれによる歌唱者の違和感を解消することが可能なカラオケ演奏装置に関するものである。

現在普及しているカラオケ演奏装置では、異なる場所（例えば、異なるカラオケ店）に設置された複数のカラオケ演奏装置を用いて、同一のカラオケ楽曲を同時に歌唱する機能（例えば、遠隔デュエット機能）を有しているものがある。このようなカラオケ演奏装置では、電気通信回線等の伝送路を介して歌唱相手の歌唱音声が送信されてくるため、伝送路におけるトラフィック等の影響により歌唱相手の歌唱音声が遅延して到達することが想定される。

そこで、このような遠隔歌唱における不都合を解消するための技術が種々提案されている（例えば、特許文献１、特許文献２参照）。特許文献１に記載された技術は、通信デュエットが行われる前に、伝送路の通信状態が通信デュエットに適しているか否かを確認することが可能なカラオケシステムに関するものである。このカラオケシステムは、ホスト装置（サーバ）と伝送路を介して接続された多数のカラオケ演奏装置の中から複数を選択し、通信デュエットを行わせることが可能なシステムにおいて、ホスト装置の機能手段である使用状態判別手段、通信テスト実行手段、通信状態判定手段により、カラオケ演奏装置が使用されているか否かを判別する。そして、使用されていないと判別された非使用カラオケ演奏装置とホスト装置との間で、伝送路に対する通信テストを実行し、通信テストの結果に基づき、伝送路の通信状態が通信デュエットに適しているか否かを判定するようになっている。

また、特許文献２に記載された技術は、相手の音声の遅延を気にせずに楽曲のデュエットを行うための遠隔デュエットシステムに関するものである。この遠隔デュエットシステムは、楽曲を歌唱者Ａ（例えば、男性）のみが歌う部分（Ａ）、歌唱者Ｂ（例えば、女性）のみが歌う部分（Ｂ）、歌唱者Ａと歌唱者Ｂが一緒に歌う部分（Ｄ）、誰も歌わない部分（Ｍ）の各部分に分類する。そして、各カラオケ演奏装置において、部分（Ａ）および部分（Ｂ）の再生タイミングを、その楽曲の担当パートに応じて調整する。その後、担当パートが歌唱者Ａの担当パートであれば、部分（Ａ）の再生タイミングをＬ（ネットワーク遅延時間）／２だけ速め、部分（Ｂ）の再生タイミングをＬ／２だけ遅くする。担当パートが歌唱者Ｂの担当パートであれば、部分（Ｂ）の再生タイミングをＬ／２だけ速め、部分（Ａ）の再生タイミングをＬ／２だけ遅くするようになっている。

特開２０１５−２２１７６号公報 特開２０１０−９１７９４号公報

しかしながら、特許文献１に記載された技術は、遠隔デュエットに適しているカラオケ演奏装置を事前に判定するものであり、各カラオケ演奏装置を利用する利用者には、いずれのカラオケ演奏装置との間であれば遠隔デュエットを行うことができるかを事前に報知していない。したがって、実際に遠隔デュエットを行おうとした場合に、遠隔デュエットに適していないカラオケ演奏装置の組み合わせであるとして遠隔デュエットを行うことができない場合がある。

また、特許文献２に記載された技術は、異なる場所（例えば、異なるカラオケ店）に設置された複数のカラオケ演奏装置を用いて、同一のカラオケ楽曲を同時に歌唱する際に、各カラオケ楽曲を予めパート分けし記憶しておく必要がある。このため、近年、生音や本人映像対応のように、デュエット曲に関しても様々なバージョンの楽曲を収録しているカラオケシステムでは、遠隔デュエットのためだけにパート分けを行うことや、パート毎に遅延時間を判断して、各カラオケ演奏装置の再生タイミングを調整することは非現実的である。すなわち、このような事前作業は、カラオケ楽曲の楽曲データを作成する際に多大な労力を要するものであり、さらに、再生タイミングの調整によるカラオケシステムへの負荷も大きいという問題がある。

本発明は、上述した事情に鑑み提案されたもので、異なる場所に設置された複数のカラオケ演奏装置を用いて、同一のカラオケ楽曲を同時に歌唱する際に、伝送路を介して伝送されてくる歌唱相手の歌唱音声の伝送遅延に対応して、カラオケ演奏音の放音タイミングと歌唱相手の歌唱音声の放音タイミングとのずれによる歌唱者の違和感を解消することが可能なカラオケシステムを提供することを目的とする。

本発明の歌唱音声の伝送遅延に対応したカラオケシステムは、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明の歌唱音声の伝送遅延に対応したカラオケシステムは、それぞれ異なる場所に設置された複数のカラオケ演奏装置を利用して、複数の利用者が同一のカラオケ楽曲を同時に歌唱する遠隔歌唱において、伝送路を介して受信する歌唱相手の歌唱音声の遅延を解消して、複数の利用者の歌唱音声が同時にスピーカから放音されるようにしたカラオケシステムであって、遅延時間計測手段と、代理再生音声生成手段と、遅延歌唱音声補充手段とを備えたことを特徴とするものである。

遅延時間計測手段は、遠隔歌唱を行う歌唱相手のカラオケ演奏装置との間における受信歌唱音声の伝送遅延時間を計測するための手段である。代理再生音声生成手段は、受信歌唱音声の伝送遅延時間に対応して、スピーカから放音する代理再生音声を生成するための手段である。遅延歌唱音声補充手段は、カラオケ楽曲のリファレンスデータに基づく歌唱音声の放音開始タイミングから、遅延時間計測手段で計測された伝送遅延時間が経過するまでの間は、代理再生音声生成手段で生成した代理再生音声を出力し、遅延時間計測手段で計測された伝送遅延時間が経過してから、リファレンスデータに基づく歌唱音声の出力終了タイミングまでの間は、代理再生音声生成手段で生成した代理再生音声及び受信歌唱音声を用いた調整歌唱音声を出力するための手段である。

上述した構成からなる歌唱音声の伝送遅延に対応したカラオケシステムにおいて、代理再生音声は、歌唱相手の属性情報に対応した合成音声とすることが可能であり、また、歌唱相手が過去に同一のカラオケ楽曲を歌唱した際に記憶した当該歌唱相手の歌唱音声とすることが可能である。

本発明の歌唱音声の伝送遅延に対応したカラオケシステムによれば、それぞれ異なる場所に設置された複数のカラオケ演奏装置を利用して、複数の利用者が同一のカラオケ楽曲を同時に歌唱する遠隔歌唱（例えば、遠隔デュエット）を行う際に、伝送路の状況により歌唱相手の歌唱音声に遅延が生じた場合であっても、計測された伝送遅延時間が経過するまでの間は、ガイドボーカルや、歌唱相手が過去に歌唱した歌唱音声等を代理再生音声として出力することができる。

したがって、利用者は、遠隔デュエットにおいても、同一のカラオケ演奏装置を用いて行う遅延が発生しない通常の歌唱（例えば、デュエット）と同様に、歌唱相手の歌唱音声やカラオケ演奏音、歌詞テロップの色替えタイミングに合わせて違和感なく歌唱を行うことができる。

また、代理再生音声として、歌唱相手の属性情報に対応した合成音声や、歌唱相手が過去に同一のカラオケ楽曲を歌唱した際に記憶した歌唱相手の歌唱音声を用いることにより、より一層、違和感なく代理再生音声を放音することができる。

本発明の実施形態に係る歌唱音声の伝送遅延に対応したカラオケシステムの概略構成を示すブロック図。 伝送遅延時間における代理再生音声の放音を説明するための説明図。

以下、図面を参照して、本発明の歌唱音声の伝送遅延に対応したカラオケシステム（以下、カラオケシステムと略記する）の実施形態について説明する。図１及び図２は本発明の実施形態に係るカラオケシステムを説明するもので、図１はカラオケシステムの概略構成を示すブロック図、図２は伝送遅延時間における代理再生音声の放音を説明するための説明図である。

＜カラオケシステムの概要＞
図１に示すように、本発明の実施形態に係る歌唱音声の伝送遅延に対応したカラオケシステム１００は、それぞれ異なる場所に設置された複数のカラオケ演奏装置１０を利用して、複数の利用者が同一のカラオケ楽曲を同時に歌唱する遠隔歌唱（例えば、遠隔デュエット）において、伝送路（以下、データ通信回線８０という）を介して受信する歌唱相手の歌唱音声が遅延を伴って放音されるカラオケ演奏装置１０に適用するシステムであり、サーバ９０、カラオケ演奏装置１０及びこれに付帯するマイクロホン３０、スピーカ４０を主要な構成要素とする。図１に示す例では、データ通信回線８０を介して接続された２台のカラオケ演奏装置１０の間で遠隔歌唱を行う遠隔デュエットについて説明を行うが、本発明はデータ通信回線８０を介して接続された３台以上のカラオケ演奏装置１０の間で遠隔歌唱を行う場合にも適用することができる。

なお、カラオケ演奏装置１０を、専用ソフトウェアがインストールされたパーソナル・コンピュータやゲーム機器により構成したり、カラオケリモコン装置２０を、専用アプリケーションがインストールされた携帯情報端末により構成したりすることもできる。パーソナル・コンピュータやゲーム機器は、無線通信回線やインターネット回線等のデータ通信回線８０を介して、相互に歌唱音声を送受信することができるため、カラオケ演奏装置１０と同様に、データ通信回線８０の状況により、歌唱相手の歌唱音声の放音タイミングが、利用者が違和感を覚えない許容時間を超えて遅延する場合がある。

以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

＜サーバ＞
サーバ９０は、複数のカラオケ演奏装置１０と通信を行うことにより、種々の制御信号及びデータを送受信して、カラオケ演奏装置１０を総合的に管理するための装置である。また、図示しないが、サーバ９０は、データ通信回線８０や通信基地局を介して、利用者が所持する携帯情報端末、パーソナル・コンピュータ、ゲーム機器とデータ通信を行うことができるように構成してもよい。

サーバ９０は、基本的機能手段として、図１に示すように、ＣＰＵ等を含むサーバ制御手段９１、サーバ通信制御手段９２、サーバ９０で管理する各種のデータを記憶するサーバ記憶手段９３を備えている。

＜サーバ制御手段＞
サーバ制御手段９１は、サーバ９０を総合的に制御するための電子機器であり、図示しないが、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

＜サーバ通信制御手段＞
サーバ通信制御手段９２は、カラオケ演奏装置１０や携帯情報端末との間で、また、遠隔デュエット時には、各カラオケ演奏装置１０との間で、データ及び信号の送受信を制御するための電子機器及びプログラムからなる。なお、このサーバ通信制御手段９２にて、代理再生音声を生成するために用いる利用者の属性情報や、歌唱相手が過去に歌唱した歌唱音声が各カラオケ演奏装置１０に送信される。

＜サーバ記憶手段＞
サーバ記憶手段９３は、サーバ９０で管理する各種のデータを記憶するための装置であり、本実施形態では、データ通信回線８０を介して接続された各カラオケ演奏装置１０のＩＰアドレスや、利用者の属性情報、過去に歌唱を行った際の歌唱音声が記憶されている。なお、各カラオケ演奏装置１０のＩＰアドレスは、当該カラオケ演奏装置１０を開局した際に記憶され、利用者の属性情報に関しては、利用者ＩＤを取得した際に記憶され、過去に歌唱を行った歌唱音声は、利用者がカラオケ楽曲を歌唱終了後に、利用者ＩＤ、楽曲ＩＤと紐付けして記憶される。

＜カラオケ演奏装置及び付帯機器＞
本発明の実施形態に係るカラオケシステム１００を適用するカラオケ演奏装置１０には、図１に示すように、カラオケリモコン装置２０、マイクロホン３０、スピーカ４０、表示装置５０、ミキシングアンプ６０が付帯している。また、カラオケ演奏装置１０と、サーバ９０及びカラオケリモコン装置２０は、ルータ７０及びＬＡＮ回線やインターネット回線等のデータ通信回線８０を介してネットワーク接続されている。

＜カラオケリモコン装置＞
カラオケリモコン装置２０は、ユーザインタフェース機能を備えており、ルータ７０及びデータ通信回線８０（ＬＡＮ回線）を介して、カラオケ演奏装置１０との間でデータの送受信を行うようになっている。このカラオケリモコン装置２０は、楽曲検索手段２０ａとして機能するプログラム、楽曲索引データベース２０ｂ、種々のデータを記憶するデータ記憶部２０ｃ、データの入出力を行うための入出力表示部２０ｄを備えている。

このカラオケリモコン装置２０に付帯するスイッチ類や、入出力表示部２０ｄに表示される各種のアイコン等を操作することにより、選曲操作、音量調整、テンポ調整、キー調整、選曲予約履歴の参照等の処理が行われる。また、利用者の属性情報や、過去に歌唱した歌唱音声とを紐付けし管理する利用者ＩＤの取得に関しては、カラオケリモコン装置２０の入力表示部２０ｄを用いて取得し、あるいは利用者の携帯情報端末（図示せず）を用いて取得することも可能であり、携帯情報端末を用いる場合には、携帯情報端末の端末ＩＤに紐付けされた利用者ＩＤを取得してもよい。

＜マイクロホン／スピーカ＞
マイクロホン３０は、歌唱音声の入力を行うための装置である。マイクロホン３０から入力された歌唱音声信号は、カラオケ演奏装置１０にて、代理再生音声の生成、遅延歌唱音声の補充が行われた歌唱相手の歌唱音声信号とともに、ミキシングアンプ６０に入力され、音楽再生制御手段１１０から送出されるカラオケ演奏信号とミキシングされるとともに増幅され、スピーカ４０へ出力される。また、マイクロホン３０からの音声入力信号は、歌唱音声入力部１１１を介してカラオケ演奏装置１０に入力され、歌唱相手のカラオケ演奏装置１０へ送信されるとともに、歌唱採点値の算出や歌唱音声の録音に使用することができる。

＜表示装置＞
表示装置５０は、カラオケ楽曲に関連した背景映像や歌詞テロップ、歌唱相手のカラオケ演奏装置１０に接続されたカメラ（図示せず）にて撮影された、歌唱相手の映像等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。

＜カラオケ演奏装置＞
カラオケ演奏装置１０は、中央制御手段１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、通信制御手段１０５、予約楽曲管理手段１０６、遅延時間計測手段１０７、代理再生音声生成手段１０８、遅延歌唱音声補充手段１０９、音楽再生制御手段１１０、歌唱音声入力部１１１、映像再生制御手段１１２を備えている。

＜中央制御手段＞
中央制御手段１０１は、カラオケ演奏装置１０を総合的に制御するための電子機器であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ１０２等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ１０２は、カラオケ演奏装置１０を構成する各機器を制御するためのプログラムデータや数値データを記憶するための電子機器である。また、ＲＡＭ１０３は、プログラムや各種データを一時的に記憶する一時記憶領域として機能する電子機器である。本実施形態では、ＲＡＭ１０３に、予約楽曲管理テーブル１０３ａが一時的に記憶される。

＜ＨＤＤ＞
ＨＤＤ１０４は、大容量記憶装置として機能するもので、楽曲データベース１０４ａ、背景映像データベース１０４ｂが格納されている。なお、ＨＤＤ１０４に替えて、あるいはＨＤＤ１０４と共に、データを書き替え可能なＤＶＤ等の大容量記憶手段を用いてもよい。

＜楽曲データベース／背景映像データベース＞
楽曲データベース１０４ａは、演奏制御データ（ＭＩＤＩ規格のデータ）及び歌詞描出データが同期されて構成される楽曲データについて、楽曲ＩＤと対応付けしてそれぞれ構成されたデータベースである。演奏制御データは、各楽曲の演奏を制御するためのデジタルデータであり、歌詞描出データは演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータ、ガイドボーカルデータ（詳細は後述する）、演奏楽曲の主旋律等からなり歌唱採点の基準となるリファレンスデータを含んでいる。背景映像データベース１０４ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた背景映像ファイルとして所定数格納したデータベースである。

＜通信制御手段＞
通信制御手段１０５は、カラオケリモコン装置２０、サーバ９０、他のカラオケ演奏装置１０との間で、データ及び信号の送受信を制御するための電子機器及びプログラムからなる。この通信制御手段１０５の機能により、カラオケリモコン装置２０、サーバ９０、他のカラオケ演奏装置１０との間で送受信するデータ及び信号の同期や誤り制御等を行い、遠隔デュエット時には、歌唱相手のカラオケ演奏装置１０との間で歌唱音声の送受信を行う。なお、遠隔デュエットに関しては、別途、歌唱音声の送受信専用に通信制御手段を設けてもよい。

＜予約楽曲管理手段／予約楽曲管理テーブル＞
予約楽曲管理手段１０６は、任意の利用者がカラオケ楽曲の予約を行う際に、カラオケリモコン装置２０を用いて決定された予約楽曲の情報がカラオケ演奏装置１０に送信された後に、カラオケ演奏装置１０において、当該利用者の利用者ＩＤと予約楽曲の楽曲ＩＤとを対応付けして、予約楽曲管理テーブル１０３ａにて管理するためのプログラムからなる。すなわち、予約楽曲管理手段１０６は予約楽曲管理テーブル１０３ａを作成し、この予約楽曲管理テーブル１０３ａをＲＡＭ１０３に記憶して管理する。予約楽曲管理テーブル１０３ａは、利用者により楽曲検索手段２０ａの機能を用いて選曲された楽曲の楽曲ＩＤ及び利用者ＩＤを関連付けて、演奏順に並べたデータテーブルである。

＜遅延時間計測手段＞
遅延時間計測手段１０７は、遠隔歌唱を行う歌唱相手のカラオケ演奏装置１０との間における受信歌唱音声の伝送遅延時間を計測するための電子機器及びプログラムからなる。例えば、遠隔デュエットを行う場合には、歌唱相手確定後に歌唱相手が利用しているカラオケ演奏装置１０のＩＰアドレスをサーバ９０から取得する。そして、自ら利用するカラオケ演奏装置１０と、歌唱相手が利用するカラオケ演奏装置１０との間における伝送遅延時間を測定する。具体的には、ＴＣＰ／ＩＰネットワークにおいて、ｐｉｎｇコマンドのｅｃｈｏ機能を用いてパケットを送受信し、その平均応答時間を測定することにより、遠隔デュエットに使用するカラオケ演奏装置１０の間における伝送遅延時間を計測することができる。なお、本実施形態では、図２に示すように、歌唱相手のカラオケ演奏装置１０との伝送遅延時間は約８０ｍｓｅｃであり、歌唱相手の歌唱音声に関しても約８０ｍｓｅｃ遅延して、カラオケ演奏装置１０に伝送されてくる。

伝送遅延時間を計測するタイミングは、データ通信回線８０の状況等に応じて適宜間隔とするが、例えば、選曲予約情報を送信する毎に計測を行ったり、カラオケ楽曲の演奏開始から適宜間隔毎に行ったりすればよい。

本来の歌唱音声の発声タイミング（遅延がない場合におけるスピーカ４０からの放音タイミング）は、リファレンスデータに基づいて検知することができ、そのタイミングとは、図２に例示した「き」など、歌詞を構成する各音節の発音の開始タイミングや、音節の発音の途中でピッチを変えたタイミングなどである。

＜代理再生音声生成手段＞
代理再生音声生成手段１０８は、歌唱音声の伝送遅延に対応して、スピーカ４０から放音する代理再生音声を生成するための電子機器及びプログラムからなる。すなわち、代理再生音声生成手段１０８では、データ通信回線８０を介して送信されてきた歌唱相手の歌唱音声に伝送遅延が生じ、この遅延時間が、例えば、歌唱者が遅延に違和感を持つ４０ｍｓｅｃ程度から、代理再生音声が不自然に聴こえない上限である１２０ｍｓｅｃ程度である場合を想定して、当該遅延時間における無音状態を補充して放音するための代理再生音声を生成する。

代理再生音声は、例えば、カラオケ楽曲に対して用意されているガイドボーカルを用いることができる。ガイドボーカルとは、模範歌唱音声のことであり、歌唱者が得意でないカラオケ楽曲を歌唱する際や歌唱練習を行う際等に、カラオケ歌唱の補助として出力する補助歌唱音声のことである。本実施形態では、カラオケ楽曲のリファレンスデータに基づいてガイドボーカルの歌唱音声を選択して、その放音タイミングを決定する。

また、代理再生音声として、カラオケ歌唱を行う歌唱相手の属性情報に対応した合成音声を用いることができる。すなわち、歌唱相手の利用者がシステムログインすると、当該歌唱相手の利用者の属性情報である、男女の区別、年齢等のデータを取得することができ、当該取得した歌唱相手の属性情報を、カラオケ演奏装置１０の通信制御手段１０５で受信した後、受信した属性情報に基づいて、歌唱相手が実際に歌唱する歌唱音声に近似した代理再生音声を生成することにより、歌唱相手本人の歌唱音声と代理再生音声とを繋ぎ合わせた場合に、音質の違いによる違和感をなくすことができる。

また、代理再生音声として、遠隔デュエットを行う歌唱相手が過去に同一のカラオケ楽曲を歌唱した際に記憶した歌唱音声を用いることができる。すなわち、歌唱相手がシステムログインすると、当該歌唱相手が過去に同一のカラオケ楽曲を歌唱した際に記憶した歌唱音声がサーバ９０に記憶されている場合には、当該記憶した歌唱音声を代理再生音声とする。この場合には、代理再生音声が歌唱相手である歌唱者本人の歌唱音声であるため、代理再生音声を放音したとしても何ら違和感を生じることはない。

なお、サーバ９０に記憶されている歌唱相手の属性情報や、過去に記憶した歌唱音声を代理再生音声とする場合には、属性情報のデータや歌唱音声のダウンロードにおける伝送遅延時間を考慮して、遠隔デュエットを行う歌唱相手が確定した時や、歌唱相手と遠隔デュエットを行うカラオケ楽曲が確定したタイミングなどを用いて、これらのデータを予めダウンロードしてカラオケ演奏装置１０に記憶しておくことが好ましい。

＜遅延歌唱音声補充手段＞
遅延歌唱音声補充手段１０９は、カラオケ楽曲のリファレンスデータに基づく歌唱音声の放音開始タイミングから、遅延時間計測手段１０７で計測された伝送遅延時間が経過するまでの間は、代理再生音声を出力し、遅延時間計測手段１０７で計測された伝送遅延時間が経過してからリファレンスデータに基づく歌唱音声の出力終了タイミングまでの間は、代理再生音声生成手段１０８で生成した代理再生音声及び受信歌唱音声を用いた調整歌唱音声を出力するための電子機器及びプログラムからなる。

＜代理再生音声の放音＞
本来の歌唱相手の歌唱音声の放音開始タイミング（伝送遅延がない場合におけるスピーカ４０からの放音開始タイミング）と、歌唱相手の歌唱音声の出力終了タイミング（伝送遅延がない場合におけるスピーカ４０からの放音終了タイミング）は、当該カラオケ楽曲のリファレンスデータに基づいて決定することができる。

上述したように、本来の歌唱相手の歌唱音声の放音開始タイミング（伝送遅延がない場合におけるスピーカ４０からの放音開始タイミング）と、実際に遠隔歌唱の歌唱相手から送信されてきた歌唱音声の放音タイミングとの間には遅延時間がある。したがって、何ら対策を施さないと、カラオケ演奏音の放音タイミングと、自らの歌唱音声及び歌唱相手の歌唱音声の放音タイミングとにずれが生じて、歌唱者は違和感を覚えることになる。したがって、本発明では、歌唱相手の歌唱音声の伝送遅延に対応して代理再生音声（例えば、図２（ａ））に示すようなガイドボーカル）を発生させることにより、歌唱者の違和感を解消している。

すなわち、図２（ｂ）に示すように、「キ（ＫＩ）」とうい歌唱音声（音節）の場合には、本来の歌唱相手の歌唱音声の放音開始タイミング（伝送遅延がない場合におけるスピーカ４０からの放音開始タイミング）から、実際に遠隔デュエットの歌唱相手から送信されてきた「キ（ＫＩ）」の歌唱音声の放音タイミングとの間にずれが生じているため、何ら対策を行わないと、この間（図２に示す例では約８０ｍｓｅｃ）は無音状態となってしまう。そこで、図２（ｃ）に示すように、当該ずれが生じている伝送遅延区間では、代理再生音声を出力して無音状態を解消する。

そして、実際に遠隔デュエットの歌唱相手から送信されてきた歌唱音声がスピーカ４０から放音されるタイミングが到来すると、代理再生音声と歌唱相手の歌唱者本人の歌唱音声とを合成（クロスフェード）して、代理再生音声から歌唱相手の歌唱者本人の歌唱者音声へ繋げる。

その後、リファレンスデータに基づく歌唱音声の出力終了タイミング（伝送遅延がない場合におけるスピーカ４０からの放音終了タイミング）で、歌唱相手の歌唱音声の振幅を急速に減衰させ、違和感なく当該歌唱相手の歌唱音声における音節の放音を終了させる。ここで、「キ（ＫＩ）」の歌唱音声のように、音節が子音プラス母音（例えば、「Ｋ」プラス「Ｉ」）で構成される場合、受信した歌唱相手の歌唱音声において、音節の最初から放音すると、代理再生音声の「ＫＩ」に続いて受信した歌唱相手の歌唱音声の「ＫＩ」が放音されることになり、「ＫＩＫＩ」と放音されるので不自然に聴こえる。したがって、代理再生音声の「ＫＩ」に続く歌唱相手の歌唱音声の音節は、子音を除外して母音のみとし「ＫＩＩ」と放音することにより、自然に聴こえるようにする。

歌唱相手のカラオケ演奏装置１０においても、同様の処理を行うことにより、遠隔歌唱を行う利用者は、同一のカラオケ演奏装置１０を用いて行う遅延が発生しない通常の歌唱（例えば、デュエット）と同様に、歌唱相手の歌唱音声やカラオケ演奏音、歌詞テロップの色替えタイミングに合わせて違和感なく歌唱を行うことができる。

＜音楽再生制御手段＞
音楽再生制御手段１１０は、楽曲ＩＤに対応する楽曲データから抽出された演奏制御データに基づいて、音源（シンセサイザ）を駆動しカラオケ演奏信号を構成する楽音信号を生成するとともにアナログ変換してミキシングアンプ６０に出力するための電子機器である。また、ミキシングアンプ６０は、マイクロホン３０から入力される歌唱音声信号と、遅延歌唱音声補充手段１０９から入力される遅延対策処理が行われた歌唱相手の歌唱音声信号と、音楽再生制御手段１１０から送出されるカラオケ演奏信号とをミキシングすると共に、アンプ機能により増幅してスピーカ４０より出力するための装置である。

＜映像再生制御手段＞
映像再生制御手段１１２は、カラオケ楽曲の演奏中に、背景映像データベース１０４ｂから抽出した背景映像データと、楽曲データに含まれる歌詞描出データに基づいて作成される歌詞文字とを、当該カラオケ楽曲の楽曲データに同期させるとともに、遠隔デュエット時には、歌唱相手のカメラで撮影された歌唱動画等を表示装置５０に出力するための電子機器である。

１００ カラオケシステム
１０ カラオケ演奏装置
２０ カラオケリモコン装置
２０ａ 楽曲検索手段
２０ｂ 楽曲索引データベース
２０ｃ データ記憶部
２０ｄ 入出力表示部
３０ マイクロホン
４０ スピーカ
５０ 表示装置
６０ ミキシングアンプ
７０ ルータ
８０ データ通信回線
９０ サーバ
９１ サーバ制御手段
９２ サーバ通信制御手段
９３ サーバ記憶手段
１０１ 中央制御手段
１０２ ＲＯＭ
１０３ ＲＡＭ
１０３ａ 予約楽曲管理テーブル
１０４ ＨＤＤ
１０４ａ 楽曲データベース
１０４ｂ 背景映像データベース
１０５ 通信制御手段
１０６ 予約楽曲管理手段
１０７ 遅延時間計測手段
１０８ 代理再生音声生成手段
１０９ 遅延歌唱音声補充手段
１１０ 音楽再生制御手段
１１１ 歌唱音声入力部
１１２ 映像再生制御手段

Claims (3)

1. それぞれ異なる場所に設置された複数のカラオケ演奏装置を利用して、複数の利用者が同一のカラオケ楽曲を同時に歌唱する遠隔歌唱において、伝送路を介して受信する歌唱相手の歌唱音声の遅延を解消して、前記複数の利用者の歌唱音声が同時にスピーカから放音されるようにしたカラオケシステムであって、
   前記遠隔歌唱を行う歌唱相手のカラオケ演奏装置との間における受信歌唱音声の伝送遅延時間を計測する遅延時間計測手段と、
   前記受信歌唱音声の伝送遅延時間に対応して、スピーカから放音する代理再生音声を生成する代理再生音声生成手段と、
   前記カラオケ楽曲のリファレンスデータに基づく歌唱音声の放音開始タイミングから前記計測された伝送遅延時間が経過するまでの間は、前記代理再生音声を出力し、前記伝送遅延時間が経過してから前記リファレンスデータに基づく歌唱音声の出力終了タイミングまでの間は、前記代理再生音声及び前記受信歌唱音声を用いた調整歌唱音声を出力する遅延歌唱音声補充手段と、
   を備えたことを特徴とする歌唱音声の伝送遅延に対応したカラオケシステム。
2. 前記代理再生音声は、前記歌唱相手の属性情報に対応した合成音声であることを特徴とする請求項１に記載の歌唱音声の伝送遅延に対応したカラオケシステム。
3. 前記代理再生音声は、前記歌唱相手が過去に同一のカラオケ楽曲を歌唱した際に記憶した前記歌唱相手の歌唱音声であることを特徴とする請求項１に記載の歌唱音声の伝送遅延に対応したカラオケシステム。

Images