JP5427505B2 - 歌声の特徴に基づいて顧客別の歌唱履歴を自動的に作成する通信カラオケシステム - Google Patents

Description

この発明は、複数のカラオケ装置が通信網を介してデータベースサーバーに接続される通信カラオケシステムに関し、とくに、歌声の特徴に基づいて顧客別の歌唱履歴を自動的に作成する通信カラオケシステムに関する。

通信カラオケシステムでは、広域に分散設置されている多数のカラオケ装置の利用に関する情報を、通信網を介してデータベースサーバーに集合および集約させることができる。このデータベースサーバーの情報を利用することにより、たとえば以下に列挙する事例のように、その通信網を介して接続されているカラオケ装置の設置店舗や利用客に対して種々のサービス提供が可能になる。さらに、そのデータベースサーバーに集約された情報を活用する新サービスの創設も可能となる。

以下に列挙する事例は、カラオケ装置の顧客別利用情報を集約・管理するデータベースサーバーを備えた通信カラオケシステムの従来技術である。

《特許３６２９４５０号（特許文献１）》
顧客別の演奏履歴（選曲履歴あるいは歌唱履歴）を集約した顧客データベースをデータベースサーバーに備えることにより、カラオケ装置を接客に利用する店舗において、入店者の数が多くても、それぞれの客の嗜好や希望に対し素早くカラオケ装置を操作してサービスの質を向上させるとともに、客を自然にカラオケに誘導してカラオケ装置の稼働率を向上させる。

《特許３９４６６６２号（特許文献２）》
カラオケ装置において利用者ごとの愛好曲リストを作成して利用するパーソナルカラオケ曲目帳システムに関し、ある常連客Ａがカラオケを楽しんでいる際に他の客が歌った曲を、この常連客Ａが聴いていたであろう曲目リスト（聴かされた曲目リスト）として自動的に集計しておき、客Ａが何度も聴かされた曲を客Ａのパーソナル情報画面で紹介して愛好曲リストへの登録を促す。

《特許３９４６６６９号（特許文献３）》
顧客ＩＤに対応付けた顧客別レコードを集約したデータベースを備え、カラオケ演奏端末から受信した顧客別レコード更新情報に基づいて該当の顧客別レコードを更新するとともに、顧客ＩＤを指定した顧客別レコード要求をカラオケ演奏端末から受信した際に該当の顧客別レコードを当該カラオケ演奏端末に送信する。顧客別レコードは、顧客に関する基本登録情報と、顧客の選曲履歴情報を含む。カラオケボックス（店員のいない個室）などでカラオケ歌唱を楽しむ顧客に対して、顔なじみの店員が常連客に接するような感じの接客サービス機能を実現する。

また、以下に例示するように、顧客（利用者個人）を特定する識別データとして、利用者の入力音声から声特徴データ（声紋データ）を抽出し、この声特徴データによって顧客別利用情報を検索するようにした通信カラオケシステムが開発されている。

《特開平９−１４６５６３号公報（特許文献４）》
声紋データをキーとして利用者の個人情報をデータベースで管理し、サービスを利用しようとする利用者の声紋データを抽出し、この声紋データにより利用者の個人情報を検索する。これによれば、利用者にいちいち個人ＩＤを入力させたりＩＤカードをセットさせたりしなくて済む上、パーソナルリモコンなどの機器も必要ない。

特許３６２９４５０号公報 特許３９４６６６２号公報 特許３９４６６６９号公報 特開平９−１４６５６３号公報

通信カラオケシステムでは、広域に分散設置されている多数のカラオケ装置の顧客別利用情報をデータベースサーバーに集合および集約させることにより、カラオケの設置店舗や利用客に対して種々のサービス提供が可能になり、さらには、そのデータベースサーバーに集約された情報を活用する新サービスの創設も期待されるが、そのためには、多数のカラオケ装置のいずれかでカラオケ利用のイベントが発生する度に、その利用に関する情報すなわち顧客が選曲して歌唱したカラオケ楽曲のＩＤ（楽曲ＩＤ）とその歌唱日時を、その顧客を特定するＩＤ（顧客ＩＤ）と共にデータベーサーバーへ送信させる必要がある。データベースサーバーは、カラオケ装置から送信されてくる楽曲ＩＤ・歌唱日時を顧客ＩＤに対応付けて集約・管理する。

このような顧客別の利用情報管理によって、種々のサービス提供が可能になるのであるが、そのためには、カラオケ利用のイベントごとに、そのイベント発生の主である顧客のＩＤを取得して、そのイベントの内訳である楽曲ＩＤ・歌唱日時に対応付ける処理が必要となる。しかし、この対応付け処理を行わせるためには、顧客に対し、顧客がカラオケ楽曲を一回歌唱する度に、自身の顧客ＩＤあるいは自身を特定するための某かの識別情報を入力する手間を求めなければならない。

この識別情報の入力手間を省略または簡略化させる手段としては、利用者の入力音声から声紋データ等の声特徴データを抽出し、この抽出した声特徴データを、その利用者のカラオケ利用情報を検索するためのキーデータとすることが考えられる。つまり、声特徴データを顧客ＩＤの代用とすることで顧客ＩＤの入力手間を省略または簡略化させるのであるが、声特徴データをキーデータとする情報検索は、単純な文字コード列で記述可能な顧客ＩＤをキーデータとする情報検索に比べて、処理負担が極端に大きくなる。

たとえば顧客別の歌唱履歴をその顧客の声特徴データから検索できるようにするためには、顧客の歌唱履歴をその顧客の声特徴データに対応付けてデータベースに記録し、記録した歌唱履歴を顧客の求めに応じて提示する場合は、その顧客の声特徴データをキーデータにしてその顧客の歌唱履歴をデータベースから検索することになる。

しかし、通信カラオケシステムにおいて扱う利用者数は数百万人もの規模になる場合があり、顧客の歌唱履歴をデータベースから検索する処理要求も、その利用者数に応じた頻度で発生する。この場合、顧客の歌唱履歴をその顧客の声特徴データに対応付けてデータベースに記録させると、その記録データ（歌唱履歴）の検索も声特徴データで行うことになるため、データベース検索の処理負担は非常に大きなものとなる。

このため、顧客ＩＤの入力手間は簡略化されるものの、システムの処理負担が大幅に増大し、とくに、データベースに記録したデータを活用してのサービスの提供が円滑に行えなくなるという問題が生じる。

この発明は以上のような技術背景を鑑みたものであって、その目的は、複数のカラオケ装置が通信網を介してデータベースサーバーに接続される通信カラオケシステムにおいて、顧客がカラオケ楽曲を歌唱する際は、その顧客が歌唱の度に顧客ＩＤを入力する面倒を行わなくても、その顧客の歌声の特徴に基づいて、データベースに記録されているその顧客の歌唱履歴を自動的に更新させることができる一方、そのデータベースの記録データを活用するサービスを提供する際には、そのデータベースに記録された歌唱履歴の検索を少ない処理負担で高速に行うことを可能にし、これにより、上記サービスの提供を円滑に行わせることができるようにした通信カラオケシステムを提供することにある。

この発明に係るカラオケ装置は、つぎの事項（１）〜（13）により特定されるものである。
（１）複数のカラオケ装置が通信網を介してデータベースサーバーに接続される通信カラオケシステムであること
（２）データベースサーバーは、声特徴データベースと、顧客データベースを備えること
（３）声特徴データベースは、声特徴データを顧客ＩＤに対応付けて集約すること
（４）顧客データベースは、顧客ＩＤと、歌唱履歴の対応付けを含むこと
（５）歌唱履歴は、楽曲ＩＤと、歌唱日時の対応付けを記述していること
（６）データベースサーバーは、カラオケ装置から楽曲ＩＤ・歌唱日時・声特徴データの情報セットを受信し、顧客特定処理と、履歴更新処理を行うこと
（７）顧客特定処理は、受信した声特徴データに最も近似する声特徴データを声特徴データベースから検索し、該当する顧客ＩＤを抽出すること
（８）履歴更新処理は、顧客特定処理で抽出した顧客ＩＤに基づいて、顧客データベースにおける該当の歌唱履歴に、受信した楽曲ＩＤと歌唱日時の記録を追記すること
（９）カラオケ装置は、カラオケ演奏に伴って声特徴分析処理と履歴作成処理を行うこと
（10）声特徴分析処理は、マイクロホンからの歌声信号を分析して声特徴データを生成すること、
（11）履歴作成処理は、演奏曲の楽曲ＩＤと、演奏日時と、生成された声特徴データを対応付けして記録すること
（12）声特徴分析処理は、歌唱中の歌声を分析するプロセスにおいて、直近の所定期間に歌われた複数曲について生成して記録されている声特徴データを参照し、分析中の歌声の特徴がそれら複数の声特徴データの中の１つと同一と見なせると判定した際、分析中の歌声の特徴データとして当該記録済みの声特徴データを採用すること
（13）カラオケ装置は、データベースサーバーと通信し、記録されている楽曲ＩＤ・演奏日時・声特徴データの情報セットを送信すること

複数のカラオケ装置が通信網を介してデータベースサーバーに接続される通信カラオケシステムにおいて、顧客がカラオケ楽曲を歌唱する際は、その顧客が歌唱の度に顧客ＩＤを入力する面倒を行わなくても、その顧客の歌声の特徴に基づいて、データベースに記録されているその顧客の歌唱履歴を自動的に更新させることができる一方、そのデータベースの記録データを活用するサービスを提供する際には、そのデータベースに記録された歌唱履歴の検索を少ない処理負担で高速に行うことを可能にし、これにより、上記サービスの提供を円滑に行わせることができる。

本発明の通信カラオケシステムの概略構成を示すブロック図である。 本発明システムで使用されるカラオケ装置の概略構成を示すブロック図である。 本発明システムにおける歌声分析処理の一実施例を示すフローチャートである。

＝＝＝通信カラオケシステムの構成＝＝＝
この発明の一実施形態をなす通信カラオケシステムの概略構成を図１に示す。
同図に示すように、この発明の通信カラオケシステムは、まず、複数のカラオケ装置１００が通信網を介してデータベースサーバー２００に接続されている。データベースサーバー２００は、声特徴データベース２１０と、顧客データベース２２０を備えている。

声特徴データベース２１０は、声特徴データを顧客ＩＤに対応付けて集約・管理する。顧客データベース２２０は、顧客ＩＤと歌唱履歴の対応付けを含むデータを集約・管理する。歌唱履歴には楽曲ＩＤと歌唱日時の対応付けが記述されている。

このデータベースサーバー２００は、広域に分散設置されている多数のカラオケ装置１００から楽曲ＩＤ・歌唱日時・声特徴データの情報セットを受信し、顧客特定処理と、履歴更新処理を行う。

顧客特定処理は、受信した声特徴データに最も近似する声特徴データを声特徴データベース２１０から検索し、該当する顧客ＩＤを抽出する。履歴更新処理は、顧客特定処理で抽出した顧客ＩＤに基づいて、顧客データベース２２０における該当の歌唱履歴に、受信した楽曲ＩＤと歌唱日時の記録を追記する。

カラオケ装置は、カラオケ演奏に伴って声特徴分析処理と履歴作成処理を行って、楽曲ＩＤ・歌唱日時・声特徴データの情報セットを作成し、データベースサーバー２００へ送信する。

＝＝＝カラオケ装置の構成＝＝＝
この発明のシステムで使用されるカラオケ装置のハードウェア主体の概略構成を図２に示す。
このカラオケ装置は、周知のパソコン相当のコンピュータ応用機器であって、その中核をなす中央処理装置１１は、ＣＰＵ・ＲＡＭ・ＲＯＭを含むコンピュータ本体を形成する。

この中央処理装置１１の制御管理下に、大容量の外部記憶としてのハードディスク装置１２、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの光ディスク再生装置１３、光通信回線などの公衆通信回線を介してカラオケホスト装置やデータベースサーバーなどと通信する通信制御装置１４、利用者からの入力と利用者に向けての応答をやりとりする利用者インターフェイス装置１５、ＭＩＤＩ形式の音楽演奏データに基づいて伴奏音楽の音響信号を生成する音楽生成装置１６、伴奏音楽やマイクロホン１７１からの音響信号等を増幅してスピーカ１７２から発音させる音響装置１７、ＬＣＤやＰＤＰなどを用いたディスプレイ（表示装置）１８、このディスプレイ１８に表示すべき映像データを処理する映像処理装置１９が設置されている。

さらに詳細に説明すると、ハードディスク装置１２には、多数のカラオケ楽曲について、ＭＩＤＩデータを主体とした伴奏音楽データと、歌詞字幕の生成起源となる歌詞文字データなどを含むカラオケデータが蓄積されている。また、所定形式の長時間分の動画データと、動画データの処理シーケンス（処理すべき動画データの格納場所と処理順番など）を規定した台本データや、演奏可能なカラオケ楽曲について、曲名やアーティスト名、発表年、歌詞の歌い出し部分などの目次情報も格納されている。

音楽生成装置１６は、カラオケデータ中の伴奏音楽データによって伴奏音楽を生成する。歌詞文字データについては、伴奏音楽に同期して歌唱すべき箇所が色変わりする歌詞字幕画像を順次生成してビデオＲＡＭにビットマップ展開していく。また、台本データに基づいて所定の動画データを所定の順番で映像処理装置１９に順次転送して歌詞字幕の背景動画を復号させる。

音響装置１７は、音楽生成装置１６で生成された伴奏音楽と、マイクロホン１７１に入力された歌声音声とを混合・増幅してスピーカ１７２から音響出力させる。映像処理装置１９は、復号した動画映像に歌詞字幕をスーパーインポーズ処理してディスプレイ１８に表示出力する。歌詞字幕は、伴奏音楽の進行に同期した時系列の歌詞文字データから順次作成される。

利用者インターフェイス装置１５は、カラオケ装置本体の操作パネル１５１やカラオケリモコン装置１５２を含む。そのカラオケリモコン装置１５２との間で操作情報をやりとりするため、双方向通信が可能な短距離無線通信手段（ＩｒＤＡトランシーバ・赤外線ＬＥＤ・赤外線受光素子）を備えている。

中央処理装置１１は、各楽曲のカラオケデータ、台本データ、および目次情報などを楽曲ＩＤによって識別し、これをカラオケデータベースとして管理する。この中央処理装置１１は、利用者インターフェイス装置１５から予約コマンド（リクエスト）を受信する。予約コマンドは楽曲ＩＤ（楽曲識別符号）を含む。この予約コマンドを受信すると、そのコマンドに含まれている楽曲ＩＤを受け取った順に処理予約の待ち行列の末尾に登録する。そして待ち行列の先頭から楽曲ＩＤを順次取り出す。待ち行列から楽曲ＩＤが取り出された場合は、カラオケデータベースから該当する楽曲用のカラオケデータを取り出して演奏処理に供する。

＝＝＝上記ハードウェアにより構成されたこの発明の特徴的な機能＝＝＝
上記カラオケ装置１００には、上述した基本的機能に加えて、カラオケ演奏に伴って声特徴分析処理と履歴作成処理を行う機能が構成されている。

声特徴分析処理は、マイクロホン１７１からの歌声信号を分析して声特徴データを生成する。履歴作成処理は、演奏曲の楽曲ＩＤと、演奏日時と、生成された声特徴データを対応付けして記録する。この記録データすなわち楽曲ＩＤ・演奏日時・声特徴データの情報セットを、通信網を介してデータサーバー２００へ送信する。

＝＝＝この発明による通信カラオケシステムの動作＝＝＝
カラオケ装置１００側では、あらかじめ顧客ＩＤを登録してある利用者が任意に選曲したカラオケ楽曲を伴奏演奏に合わせて歌唱すると、この歌唱によって発せられる音声の特徴が分析処理される。

この分析処理によって生成された声特徴データは、演奏曲の楽曲ＩＤと演奏日時に対応付けされて記録される。この記録データすなわち楽曲ＩＤ・演奏日時・声特徴データの情報セットが、通信網を介してデータサーバー２００へ送信される。

データベースサーバー２００側では、カラオケ装置１００から楽曲ＩＤ・演奏日時・声特徴データの情報セットを受信すると、顧客特定処理と、履歴更新処理を行う。

顧客特定処理は、受信した声特徴データに最も近似する声特徴データを声特徴データベース２１０から検索し、該当する顧客ＩＤを抽出する。履歴更新処理は、顧客特定処理で抽出した顧客ＩＤに基づいて、顧客データベース２２０における該当の歌唱履歴に、受信した楽曲ＩＤと歌唱日時の記録を追記する。つまり、顧客特定処理で抽出した顧客ＩＤに対応付けされて記録されている楽曲ＩＤと歌唱日時の記録を更新する。

上記処理により、顧客が歌唱する際は、その顧客が歌唱の度に顧客ＩＤを入力する面倒を行わなくても、その顧客の歌声の特徴に基づいて、顧客データベース２２０に記録されているその顧客の歌唱履歴を自動的に更新させることができる。

一方、顧客データベース２２０の記録データを活用するサービスを提供する際は、その顧客データベース２２０の記録が、声特徴データではなく、顧客ＩＤに基づいて行われていることにより、そのデータベース２２０に記録された歌唱履歴の検索を少ない処理負担で高速で行わせることができる。これにより、上記サービスの提供を円滑に行わせることができる。

＝＝＝声特徴分析処理の好ましい実施形態＝＝＝
カラオケ装置１００側で行う声特徴分析処理は歌唱音声を分析の対象とするが、データベースサーバー２００における顧客特定処理で特定の顧客を識別するのに十分な声特徴データは、音声源である歌唱がある程度進行してからでないと生成できない。

一方、グループ利用されることが多いカラオケ装置１００では、グループ内のメンバーがそれぞれに選曲と歌唱を繰り返す。つまり、同一のカラオケ装置を同一の時間帯に使用するのは、その時間帯にカラオケ装置を利用しているグループのメンバーだけとなる。

この場合、その利用グループのメンバーはそれぞれ複数のカラオケ楽曲を歌唱することになるが、その歌唱の度に上記声特徴データを生成することは、カラオケ装置１００の情報処理能力を確保する上で問題にならないとも限らない。

通信カラオケシステムにおいて扱う利用者数は数百万人の規模になる場合があるが、このような膨大な数の利用者の中から特定の利用者を識別させるのに十分な声特徴データを生成するには、それなりの情報処理負担をともなう。この処理負担を軽減するため、この発明では、図３にフローチャート化して示すように、歌声の分析処理を２通り（Ｓ１，Ｓ２〜Ｓ５の処理ルートとＳ１，Ｓ２，Ｓ６，Ｓ７の処理ルート）に分けて行う。

すなわち、直近の所定期間に歌われた複数曲について生成した声特徴データを一時的に記録させておく。直近の所定期間とは、カラオケ装置が同じグループで専有使用されている時間を目安に設定するが、たとえば直近の半日（デイタイムとナイトタイム）あるいは１日という時間単位であってもよい。

図３において、歌唱中の歌声を分析する際は、直近の所定期間に歌われた複数曲について生成され記録されている声特徴データを参照する。分析中の歌声の声特徴と同じとみなせる声特徴の声特徴データが、直近の所定期間に生成され記録された声特徴データ集合の中にあるか否かを照合する（Ｓ１）。

ここで、同じとみなせる声特徴データが記録済み声特徴データ集合の中になかった場合は、歌声の分析処理を継続し、声特徴データを生成する（Ｓ２〜Ｓ５）。

一方、同じとみなせる声特徴データが記録済み声特徴データ集合の中にあった場合は、歌声の分析処理を中止し、記録済み声特徴データ集合中の同じとみなせる声特徴データを、分析対象の歌声についての声特徴データとする（Ｓ２，Ｓ６，Ｓ７）。

この声特徴分析処理において注目すべきことは、直近の所定期間に歌われた複数曲について生成され記録されている声特徴データの数は、その所定時間に同じカラオケ装置を利用した人数分に相当し、通信カラオケシステムが扱うかも知れない数百万規模の声特徴データ数に比べると、比較にならないほど少数であるということである。

したがって、分析を開始した声特徴データが記録済み声特徴データ集合の中に有るか否かの照合は、データベースサーバー２００にて同様の照合を行う場合に比べて、圧倒的に少ない処理量で的確に行わせることができる。

これにより、カラオケ装置１００における声特徴分析処理の負担を軽減させ、カラオケ装置１００の情報処理能力を高く確保させることができる。

１１ 中央処理装置
１２ ハードディスク装置
１３ 光ディスク再生装置
１４ 通信制御装置
１５ 利用者インターフェイス装置
１５１ 操作パネル
１５２ カラオケリモコン装置
１６ 音楽生成装置
１７１ マイクロホン
１７２ スピーカ
１７ 音響装置
１８ ディスプレイ（表示装置）
１９ 映像処理装置
１００ カラオケ装置
２００ データベースサーバー
２１０ 声特徴データベース
２２０ 顧客データベース

Claims (1)

1. 複数のカラオケ装置が通信網を介してデータベースサーバーに接続される通信カラオケシステムであって、
   データベースサーバーは、声特徴データベースと、顧客データベースを備え、
   声特徴データベースは、声特徴データを顧客ＩＤに対応付けて集約し、
   顧客データベースは、顧客ＩＤと、歌唱履歴の対応付けを含み、
   歌唱履歴は、楽曲ＩＤと、歌唱日時の対応付けを記述し、
   データベースサーバーは、カラオケ装置から楽曲ＩＤ・歌唱日時・声特徴データの情報セットを受信し、顧客特定処理と、履歴更新処理を行い、
   顧客特定処理は、受信した声特徴データに最も近似する声特徴データを声特徴データベースから検索し、該当する顧客ＩＤを抽出し、
   履歴更新処理は、顧客特定処理で抽出した顧客ＩＤに基づいて、顧客データベースにおける該当の歌唱履歴に、受信した楽曲ＩＤと歌唱日時の記録を追記し、
   カラオケ装置は、カラオケ演奏に伴って声特徴分析処理と履歴作成処理を行い、
   声特徴分析処理は、マイクロホンからの歌声信号を分析して声特徴データを生成し、
   履歴作成処理は、演奏曲の楽曲ＩＤと、演奏日時と、生成された声特徴データを対応付けして記録し、
   声特徴分析処理は、歌唱中の歌声を分析するプロセスにおいて、直近の所定期間に歌われた複数曲について生成して記録されている声特徴データを参照し、分析中の歌声の特徴がそれら複数の声特徴データの中の１つと同一と見なせると判定した際、分析中の歌声の特徴データとして当該記録済みの声特徴データを採用し、
   カラオケ装置は、データベースサーバーと通信し、記録されている楽曲ＩＤ・演奏日時・声特徴データの情報セットを送信する
   通信カラオケシステム。

Images