JP3602085B2

JP3602085B2 - 旋律検索の分散処理に特徴を有するカラオケ集合システム

Info

Publication number: JP3602085B2
Application number: JP2001304096A
Authority: JP
Inventors: 明峰永田
Original assignee: Daiichikosho Co Ltd
Current assignee: Daiichikosho Co Ltd
Priority date: 2001-09-28
Filing date: 2001-09-28
Publication date: 2004-12-15
Anticipated expiration: 2021-09-28
Also published as: JP2003108165A

Description

【０００１】
【発明が属する技術分野】
この発明は、多数の客室があるカラオケ店舗に装備されるカラオケ集合システムに関し、特に、ハミングやスキャットなどで音声入力された旋律に基づいて楽曲を検索する処理を店舗内のコンピュータを有効に活用して実行する方式に関する。
【０００２】
【発明の背景】
たとえば特開平２０００−１７２６９３号公報に詳しく解説されているように、音声入力された旋律に基づいて楽曲を検索するつぎのようなシステムが最近開発された。このシステムでは、多数の楽曲の旋律データをデータベース化しておき、利用者がマイクロホンに向けて発声したハミングやスキャットの音声信号をコンピュータで解析し、その音声信号の音楽的時系列変化から旋律を抽出し、その旋律を手掛かりとしてデータベースを検索し、類似した旋律を含んだ楽曲を見つけだす。この旋律検索システムをカラオケ装置と組み合せると、特徴のある旋律を覚えているけれども曲名の分からない楽曲を音声入力でリクエストできるようになる。
【０００３】
通信カラオケシステムでは、現状でも２万曲もの楽曲を演奏することができる。このような膨大な曲数の旋律データベースを備えて音声入力による旋律検索を高精度かつ高速に実現するコンピュータシステムはかなり高度なシステムであり、ハードウェアおよびソフトウェアの両面で高価格になる。そのため、この種の旋律検索システムを１台１台のカラオケ装置に付設することは難しく、高度なコンピュータシステムを多数の端末機器で共用するクライアントサーバーシステムが適していると言える。
【０００４】
ハミングやスキャットの音声入力を分析し、その音楽的時系列変化を抽出して旋律片データを作成し、それを手掛かりとして膨大なデータ量の旋律データベースを検索するという処理は非常に複雑であるため、クライアントサーバーシステムを採用しても、一般的なデータベース検索システムと同様な負荷分散の設計手法では、サーバーに負荷が集中してしまい、多数のクライアントからの検索要求に高速に応答できなくなる。
【０００５】
【発明の開示】
本発明者らは一般的なカラオケ店舗を対象としてつぎのようなカラオケ集合システムを開発した。
数十の客室のそれぞれには１台のカラオケ演奏装置および１台の客室多用途コンピュータからなる客室システムが設置されており、店舗に１台または数台設置された管理コンピュータとこれらがＬＡＮにより接続されてコンピュータ集合システムを構成している。
【０００６】
また、各カラオケ演奏装置は公衆電話回線を介して日本全国に数台設置されたカラオケホスト装置と接続されており、カラオケホスト装置から定期的に配信される新曲のカラオケデータをハードディスク装置に保存してカラオケ楽曲データベースとして管理する手段を備えている。
【０００７】
管理コンピュータは、外部ネットワークに接続しておりプロキシーサーバーとしての機能と、前記ＬＡＮ接続された各カラオケ演奏装置や各客室多用途コンピュータと外部ネットワーク上の他サーバーとの間のＴＣＰ／ＩＰ通信を中継する機能を備えている。
【０００８】
現在も、このようなカラオケ集合システムを用いた実用的なアプリケーションやサービスを研究開発中である。たとえば、外部ネットワーク上で運営されている楽曲検索サイトを利用した選曲予約システムや、客室多用途コンピュータに接続されたカラオケ録音装置や、外部ネットワーク上で運営されている検索サーバーを用いて旋律検索を行うシステムなどがある。
【０００９】
この発明に係るカラオケ集合システムは、旋律検索の分散処理に特徴を有するものであって、つぎの事項（１）〜（８）により特定されるものである。
（１）管理コンピュータと、それに通信回線を介して接続される多数の客室システムを備えるカラオケ集合システムであること
（２）客室システムは、音声入力手段と、旋律データベースと、制御手段とを備えること
（３）旋律データベースは、多数のカラオケ楽曲の主旋律データを楽曲ＩＤに対応付けして記憶すること
（４）制御手段は、クエリー処理と、状況報告処理と、検索処理とを可能とすること
（５）クエリー処理は、音声入力手段より入力された音声信号の音楽的時系列変化に基づく旋律片データを管理コンピュータに送信し、管理コンピュータから受信した検索レポートに基づいて曲名を表示させること
（６）状況報告処理は、空きメモリ容量を管理コンピュータに適宜な通信の機会に送信すること
（７）検索処理は、管理コンピュータから旋律片データと検索範囲を受信した際、当該旋律片データを旋律片データベースの当該検索範囲において検索し、検索結果を管理コンピュータに送信すること
（８）管理コンピュータは、各客室システムの空メモリ容量を記憶管理するとともに、客室システムから旋律片データを受信した際、各客室システムの空きメモリ容量に基づいて分担設定した各客室システムの検索範囲と受信した旋律片データを各客室システムに送信し、受信した検索結果を統合して検索レポートを作成し、当該旋律片データを送信した客室システムに送信すること
【００１３】
【発明の実施の形態】
＝＝＝システム構成例＝＝＝
本発明を適用したシステム構成例を図１に示している。カラオケ店舗に多数ある客室のそれぞれに設置された客室システム（カラオケ演奏装置１および客室多用途コンピュータ２）と、これらを統括するために設置された１台の管理コンピュータ３とを備え、これらがＬＡＮ８により接続されてコンピュータ集合システムが構成されている。ＬＡＮ８は、たとえば１０ＢＡＳＥ−Ｔによるイーサネットを用いており、ＬＡＮ接続された各カラオケ演奏装置と各客室多用途コンピュータ２と管理コンピュータ間ではＴＣＰ／ＩＰやその他のプロトコルにしたがった相互通信を行えるようになっている。
【００１４】
また、同じ客室内に設置された１台のカラオケ演奏装置１と１台の客室多用途コンピュータ２とは、それぞれのコンピュータがＲＳ−２３２Ｃケーブルで接続されてデータ通信可能であるとともに、オーディオ信号ケーブルでも接続されており、カラオケ演奏装置１から出力される伴奏音楽と歌唱者の音声のオーディオ信号を客室多用途コンピュータ２の録音入力インタフェースに導入できるように構成されている。
【００１５】
各カラオケ演奏装置１は、直接または宅内交換機を介して公衆電話回線４に接続され、公衆電話回線４に接続されている外部のカラオケホスト装置５と通信するホスト間通信制御手段と、このホスト間通信制御手段によりカラオケホスト装置５から取得したカラオケ楽曲データを記憶装置に保存してカラオケ楽曲データベースとして管理する情報処理手段と、リクエスト曲を受け付けて待ち行列として管理するユーザインタフェースと、待ち行列に従ってリクエスト曲のカラオケ楽曲データをカラオケ楽曲データベースから取り出して伴奏音楽と歌詞字幕とを同期して音響映像出力する演奏制御手段とを備えている。
【００１６】
管理コンピュータ３はインターネットなどの外部ネットワーク６に接続していてプロキシーサーバーとして機能し、前記ＬＡＮ接続された各カラオケ演奏装置１および各客室多用途コンピュータ２と外部ネットワーク上で運用されている外部サーバー７との間のＴＣＰ／ＩＰ通信を中継する。
【００１７】
各客室多用途コンピュータ２は、タッチパネル付きディスプレイを用いた対話型ＧＵＩと、電話機の送受話器のような形態の音声入出力手段と、客室多用途コンピュータ２において利用可能なコンテンツを対話型ＧＵＩにより利用者に提示する手段と、利用者が選択したコンテンツを提供する外部サーバー７に管理コンピュータを介してアクセスする手段を備える。客室多用途コンピュータ２にて利用した有料コンテンツの課金情報などを管理コンピュータ３が記録して管理者に適時に提示する。
【００１８】
各客室多用途コンピュータ２はまた、ＭＩＤＩなどの電子楽譜形式でデータ表現された多数の楽曲の歌唱パートの旋律データを楽曲ＩＤをキーとして集約した旋律データベースと、検索対象となるカラオケ楽曲に関する各種の情報（曲名・作曲者・作詞者・ジャンル・使用された映画やテレビドラマやＣＭの名前・カラオケ演奏装置１に対する選曲番号など）を楽曲ＩＤをキーとして集約した楽曲索引データベースを備えている。
【００１９】
＝＝＝客室多用途コンピュータ２における検索クエリー発行＝＝＝
利用者は、客室多用途コンピュータ２の対話型ＧＵＩによる操作ガイドに従って前記ハンドセットを用いてハミングやスキャットで旋律を発声して入力する。客室多用途コンピュータ２は、入力された音声信号をＤＳＰに取り込んでディジタルデータ化し、メモリに一時記憶するとともに、その音楽的時系列変化を抽出して電子楽譜形式でデータ表現した旋律片データを生成し、これを含んだ検索クエリーを管理コンピュータ３に送達する。
【００２０】
客室多用途コンピュータ２において実行される音声入力受付プロセスの処理手順を図２のフローチャートに示している。旋律検索メニューが選択されると、対話型ＧＵＩの画面にテンポを指定する映像が表示される。例えばメトロノーム映像が表示され、前記ハンドセットのスピーカから電子メトロノーム音が映像と同期して発生している。対話型ＧＵＩのメトロノームの画面にはそのテンポを可変にするための操作ガイドも表示されており、利用者が画面にタッチ入力することでメトロノームのテンポを任意に変えることができる（図２のステップ１００、１０１、１０８）。
【００２１】
利用者がメトロノームのテンポを適当に合わせてから、電子メトロノーム音に合わせて、検索したい楽曲の旋律をハミングやスキャットで発声して前記ハンドセットのマイクロホンに入力する。客室多用途コンピュータ２でこれを認知し、メトロノームのテンポで１６拍分だけ、入力音声をディジタル録音しながら分析処理を開始する。同時に録音の進行にともなって、利用者に録音がどこまで進んでいるのかを示すためのバーグラフ画像などを対話型ＧＵＩの画面に表示する。利用者は、旋律発声が間違ったと思ったら、やり直しコマンドを入力してプロセス先頭に戻る（ステップ１０２〜１０４）。
【００２２】
客室多用途コンピュータ２は、１６拍分の音声信号を分析してその音楽的時系列変化を抽出し、電子楽譜形式で表現された旋律片データを生成する処理において、リズム音痴判定とピッチ音痴判定を行う（ステップ１０５、１０６）。
【００２３】
リズム音痴判定処理では、音声入力受付プロセスにおいて前記メトロノームにより刻んだタイミングを基準として前記音声信号を解析し、その音声信号の音楽的時系列変化の区切りと前記メトロノーム・タイミングとの同期度合いを算出し、同期度合いが基準を満たしているか否かを判定する。もちろん、ある程度までのタイミング差は許容するが、１音符相当の発声タイミングごとのずれや、ずれの合計値が基準を上回るとリズム音痴と判定し、前記対話型ＧＵＩにより利用者に音声入力のやり直しを指示する（ステップ１０９）。
【００２４】
ピッチ音痴判定処理では、音声入力受付プロセスで利用者から取得した音声信号の音高（ピッチ）変化が音楽的な音階に適合しているかどうかを所定の基準で判定する。周知のように、楽譜で表現される音楽の音高は所定の規則性をもった離散値である。そのような音階のもつ離散値に正規化できない大きく外れた音高が入力音声に含まれている場合、これをピッチ音痴と判定し、前記対話型ＧＵＩにより利用者に音声入力のやり直しを指示する（ステップ１１０）。
【００２５】
リズム音痴ともピッチ音痴とも判定されなかった場合は処理を先に進め、利用者からの検索コマンドの入力を待って、音声信号の音楽的時系列変化に基づいて生成した旋律片データを含む検索クエリーを管理コンピュータ３に送達することになる（ステップ１０７、１１２）。なお、利用者は検索コマンドを入力せずに音声入力のやり直しを選択することもできる（ステップ１０７、１１２）。
【００２６】
＝＝＝検索処理の分担＝＝＝
管理コンピュータ３は、適宜な通信の機会に各客室多用途コンピュータ２から空きメモリ容量について報告を受け管理している。
管理コンピュータ３では、ある客室多用途コンピュータ２（２Ａとする）から検索クエリーを受け取ると、配下の客室多用途コンピュータ２の空きメモリ容量に応じて、検索範囲を分割して客室多用途コンピュータ２に分担させる。管理コンピュータ３で実行される検索制御プロセスの処理手順を図３のフローチャートに示した。
たとえば、この管理コンピュータ３の配下に客室多用途コンピュータ２Ａ、２Ｂ、２Ｃが接続され、それぞれの空きメモリ容量が大、中、小であり、また検索すべき全範囲が楽曲ＩＤの１〜２００００である場合に、検索範囲を楽曲ＩＤの１〜１００００（範囲ａ）、１０００１〜１６０００（範囲ｂ）、１６００１〜２００００（範囲ｃ）の３つに分割する（図３のステップ２０２）。そして、この範囲情報ａ、ｂ、ｃを客室多用途コンピュータ２Ａ、２Ｂ、２Ｃのそれぞれに転送する検索クエリーに付加する。すなわち、客室多用途コンピュータ２Ａには検索範囲指定情報としてａを付加した検索クエリーが送達され、客室多用途コンピュータ２Ｂには検索範囲指定情報としてｂを付加した検索クエリーが送達され、客室多用途コンピュータ２Ｃには検索範囲指定情報としてｃを付加した検索クエリーが送達される（ステップ２０３）。
【００２７】
このようにして検索範囲指定情報つき検索クエリーを受け取った客室多用途コンピュータ２は、前記の旋律片データを手掛かりとして指定された検索範囲について前記旋律データベースを検索し、その旋律片データとの類似度の高い旋律パターンを含んだ楽曲を類似度順にリストアップし、それらの楽曲ＩＤのリストと各々の楽曲との類似度合い（たとえば算出した類似度の点数）を含んだ範囲限定検索レポートを作成して管理コンピュータ３に返送する。すなわち、たとえば客室多用途コンピュータ２Ａは、旋律データベースを範囲ａに限って検索し、範囲ａにおいて旋律片データと類似度の高い楽曲とその類似度合いとをリストアップしたレポートを作成して返送する。同様に客室多用途コンピュータ２Ｂは旋律データベースを範囲ｂに限って検索してそのレポートを返送し、客室多用途コンピュータ２Ｃは旋律データベースを範囲ｃに限って検索してそのレポートを返送する。
【００２８】
＝＝＝検索レポート作成処理＝＝＝
管理コンピュータ３は、検索範囲指定情報つき検索クエリーを送達して検索処理を分担させたすべての客室多用途コンピュータ２から範囲限定検索レポートを受け取る（ステップ２０５）と、これらを統合して１つの検索レポートにまとめる処理を行う（ステップ２０６）。
たとえば、客室多用途コンピュータ２Ａから受け取った範囲ａ限定のレポートには、（楽曲，類似度点数）＝（Ｘ_１，Ｙ_１）、（Ｘ_２，Ｙ_２）が含まれているとする。同様に、客室多用途コンピュータ２Ｂから受け取った範囲ｂ限定のレポートには、（楽曲，類似度点数）＝（Ｘ_３，Ｙ_３）、（Ｘ_４，Ｙ_４）が含まれているとする。また客室多用途コンピュータ２Ｃから受け取った範囲ｃ限定のレポートには、（楽曲，類似度点数）＝（Ｘ_５，Ｙ_５）、（Ｘ_６，Ｙ_６）が含まれているとする。管理コンピュータ３でこれらを統合すると、範囲ａ、ｂ、ｃについて（すなわち検索すべき全範囲）の検索結果が得られる。この類似度の点数が高い順にＹ_１＞Ｙ_２＞Ｙ_５＞Ｙ_３＞Ｙ_４＞Ｙ_６であったとすると、検索レポートには、（楽曲，類似度点数）＝（Ｘ_１，Ｙ_１）、（Ｘ_２，Ｙ_２）、（Ｘ_５，Ｙ_５）、（Ｘ_３，Ｙ_３）、（Ｘ_４，Ｙ_４）、（Ｘ_６，Ｙ_６）をこの順に含める。このとき、さらに各楽曲の類似度順に上位の数曲（例えばＸ_１、Ｘ_２、Ｘ_５の３曲）を選択して、検索レポートに含めるようにしてもよい。
【００２９】
このようにして各客室多用途コンピュータ２から受け取ったレポートを１つに統合した検索レポートを、管理コンピュータ３は検索クエリー発行元の客室多用途コンピュータ２（この例では２Ａ）に返送する（ステップ２０７）。
検索クエリー発行元の客室多用途コンピュータ２Ａは、検索レポートを受け取ると、レポートに報告された楽曲ＩＤのリストに基づいて前記楽曲索引データベースから必要な情報（曲名・作曲者・作詞者・選曲番号など）を取り出し、対話型ＧＵＩの画面に適宜なレイアウトで該当楽曲のリストを表示する。この検索結果報告画面では検索レポートで報告された各楽曲の類似度順に列記する。
【００３０】
利用者は検索結果報告画面に列記された曲名中に意図した楽曲を見つけたら、その曲名にカーソルを合わせて予約コマンドを入力すると、客室多用途コンピュータ２Ａから同室のカラオケ演奏装置１にその楽曲の選曲番号と予約コマンドがＬＡＮ８を介して伝送され、演奏予約がなされる。
【００３１】
＝＝＝他の実施形態＝＝＝
前記の例では、管理コンピュータ３は客室多用途コンピュータ２に実行させる検索処理を統括制御するだけであるが、管理コンピュータ３自身でも検索処理を実行するようにしてもよい。この場合には、管理コンピュータ３も旋律データベースおよび楽曲索引データベースを保有し、管理コンピュータ３自身の空きメモリ容量と各客室多用途コンピュータの空きメモリ容量にしたがって、旋律データベースの検索範囲が指定される。
【００３２】
また、前記の例では各客室多用途コンピュータ２が保有する旋律データベースの内容はすべて同一であることを前提としているが、各旋律データベースにはそれぞれ範囲の異なる旋律データを格納するようにしてもよい。たとえば楽曲ＩＤによって旋律データを分類し、それぞれ異なる客室多用途コンピュータ２の保有する旋律データベースに格納する。すなわち、楽曲ＩＤ＝１〜１００００（範囲ａ）についての旋律データを客室多用途コンピュータ２Ａの旋律データベースに格納し、楽曲ＩＤ＝１０００１〜１６０００（範囲ｂ）についての旋律データを客室多用途コンピュータ２Ｂの旋律データベースに格納し、楽曲ＩＤ＝１６００１〜２００００（範囲ｃ）についての旋律データを客室多用途コンピュータ２Ｃの旋律データベースに格納する。この場合には、管理コンピュータ３が検索クエリーに検索範囲指定情報を付加する必要はなく、発行元の客室多用途コンピュータ２Ａから受け取った検索クエリーを各客室多用途コンピュータ２Ａ〜２Ｃに中継転送するだけでよい。こうすると、客室多用途コンピュータ２Ａは範囲ａの旋律データについて検索したことになる。同様に、客室多用途コンピュータ２Ｂは範囲ｂの旋律データについて検索したことになり、客室多用途コンピュータ２Ｃは範囲ｃの旋律データについて検索したことになる。このようにしてすべての楽曲ＩＤに対応する旋律データを各客室多用途コンピュータ２の旋律データベースで分担して格納することにより、各客室多用途コンピュータ２は自身が保有する旋律データベースの全範囲を検索するだけで、検索処理の分担を受け持ったことになる。
【００３３】
なお、前記の例では、電子メトロノームのテンポに合わせて歌わせ、なおかつリズム音痴と判定された場合はやり直しをさせたり、旋律を抽出しやすいハミングやスキャットで歌わせたりするなど、利用者側にも負荷分散のための分担をさせている。しかしながら、客室システムの数を十分に増やすことで、総合的な検索処理能力を増大させ、利用者には自由なテンポで、なおかつ歌詞を付けて歌った場合でも十分な検索能力を発揮できるようにすることができる。
【００３４】
【発明の効果】
この発明によれば、既存のカラオケ店舗の通信ネットワークを駆使して店舗内のコンピュータを有効に活用して、高精度の旋律検索処理を低コストに実行することができる。しかも、利用者の入力音声を解析してから検索クエリーを作成するため、高精度の旋律検索を高速に行う効果が期待できる。
【図面の簡単な説明】
【図１】多数の客室があるカラオケ店舗に装備されるカラオケ集合システムに本発明を適用したシステム構成例を示す図である。
【図２】本発明の一実施例に係る客室多用途コンピュータが実行する音声入力受付プロセスの制御手順を示すフローチャートである。
【図３】本発明の一実施例に係る管理コンピュータが実行する検索制御プロセスの制御手順を示すフローチャートである。
【符号の説明】
１カラオケ演奏装置
２客室多用途コンピュータ
３管理コンピュータ
４公衆電話回線
５カラオケホスト装置
６外部ネットワーク
７外部のサーバー
８店舗内のＬＡＮ

Claims

管理コンピュータと、それに通信回線を介して接続される多数の客室システムを備えるカラオケ集合システムであって、
客室システムは、音声入力手段と、旋律データベースと、制御手段とを備え、
旋律データベースは、多数のカラオケ楽曲の主旋律データを楽曲ＩＤに対応付けして記憶し、
制御手段は、クエリー処理と、状況報告処理と、検索処理とを可能とし、
クエリー処理は、音声入力手段より入力された音声信号の音楽的時系列変化に基づく旋律片データを管理コンピュータに送信し、管理コンピュータから受信した検索レポートに基づいて曲名を表示させ、
状況報告処理は、空きメモリ容量を管理コンピュータに適宜な通信の機会に送信し、
検索処理は、管理コンピュータから旋律片データと検索範囲を受信した際、当該旋律片データを旋律片データベースの当該検索範囲において検索し、検索結果を管理コンピュータに送信し、
管理コンピュータは、各客室システムの空メモリ容量を記憶管理するとともに、客室システムから旋律片データを受信した際、各客室システムの空きメモリ容量に基づいて分担設定した各客室システムの検索範囲と受信した旋律片データを各客室システムに送信し、受信した検索結果を統合して検索レポートを作成し、当該旋律片データを送信した客室システムに送信する
カラオケ集合システム。