JP4506004B2 - 音楽認識装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、対象となる音楽（オーディオ信号）の楽曲名等を特定したり、既知の音楽との異同を判定する音楽認識装置に関し、認識対象となる音楽の供給（サーバ）側で特別の処理を施すことなく、装置側のデータ処理のみで認識を可能とする音楽認識装置に関する。
【０００２】
【従来の技術】
現状で実現可能な音楽認識装置として提案されているものに、電子透かし（コンテンツに密かに情報を埋め込む方法で、ここでは音楽データがコンテンツである）という技術を利用した装置がある。この装置は、認識対象となる音楽を放送波により送出し、受信側でその曲名を認識するという場合を想定すると、放送局側で、送出を予定している楽曲のＰＣＭデータに事前に電子透かしにより曲名等の楽曲情報が挿入され、その放送波を受信する側で、電子透かしにより挿入された情報を検出し、曲名を特定することを可能にする。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記した電子透かしを利用する方法では、音楽を送出する側が曲名等を含む楽曲情報の埋め込みをしないことには、受信側は楽曲の特定を行う術が無く、送出側に電子透かしのために楽曲情報を挿入する装置を装備する必要があり、複数の送出元がある場合にも、それぞれに装置を用意し、運用しなければならない。さらに、生放送など、即時性を求める番組でこの方法を用いる場合には、電子透かしのために楽曲情報を挿入しながら送出することになるので、このような状況での使用は、現在の技術水準では遅延を起こす原因となることから、実用性に乏しい方法であるということになる。また、コスト面でも、送信側のみならず、受信側でも、電子透かしにより挿入された情報を検出する装置を装備する必要があり、送受信両側で新たに装置を導入し、運用するということになり、コストアップの要因となる。本発明は、音楽認識装置における従来技術の上記した問題点に鑑みてなされたもので、その目的は、認識対象の供給側（音楽を供給するメディア側）で特別の処理を施すことなく、つまり、メディアサーバ側の負担がなく、しかも供給に即時性が要求される場合に、遅延を招くことがないように、供給された音楽を受け取るクライアント側の処理のみで音楽の認識を可能とする音楽認識装置を提供することにある。
【０００４】
【課題を解決するための手段】
上記課題を解決し、本発明の目的を達成するため、本発明の音楽認識装置は、認識対象のオーディオ信号を認識処理のためにデータ・サンプリングするデータ・サンプリング手段と、音楽をデータ化して蓄積した音楽データベースと、データ・サンプリングした認識対象のデータを、音楽データベースに蓄積された音楽データと比較し、その一致度を検出する一致度検出手段と、一致度検出手段により検出した一致度に基づいて、前記認識対象が認識できたか否かを判定する判定手段と、を備えている。そして、一致度検出手段は、認識対象データの検出範囲を設定する際に、認識対象データの振幅変化が大きい部分の振幅波形における単位時間当たりのピーク数に基づいて検出範囲を設定することを特徴としている。
【００１３】
【発明の実施の形態】
本発明に係わる音楽認識装置を添付する図面とともに示す以下の実施例に基づき説明する。なお、以下に示す実施例では、放送波を受信し得た楽曲を認識対象とする例を示すが、他のメディアから提供される楽曲であっても同様に実施し得る。また、ここでは、認識対象を楽曲としているが、認識対象には人間が音楽として認識し得る全てのオーディオ信号を含む。
本発明に係わる音楽認識装置では、音楽認識のための基本的な処理として、認識対象のオーディオ信号をデータ化し、認識対象のデータを楽曲データベースに蓄積された音楽データと比較し、その一致度を検出するという処理をおこなう。このために、認識対象のオーディオ信号を受け取り、音楽認識の処理を実行する前に、楽曲データベースを構築しておかなければならない。
【００１４】
音楽認識の処理に用いるために構築される楽曲データベースは、そのデータを基本的には楽曲の音源をもとに生成されるＰＣＭデータの形式で蓄積する。そのために、楽曲の音源からＰＣＭデータを生成するか、或いは音源が、ＣＤ（Compact Disc）のようにＰＣＭデータを担持したメディアの形をとっている場合には、音源からデータの抽出を行い、データベースに蓄積する。
楽曲データベースに蓄積するＰＣＭデータを生成する場合に、再生時に振幅波形が楽曲の特徴を失わない程度のサンプリング間隔をとって音源からの信号をデータ化する。ＣＤを音源とする場合には、ディスクに書き込まれているＰＣＭデータを上記と同様のサンプリング間隔で取り込む。また、いずれの方法でＰＣＭデータを蓄積するにしても、設定する認識精度に応じた粗さでデータサンプリングを行い、データベースに取り込むようにすれば、データベースの規模を無駄に大きくすることを避けることができる。
【００１５】
また、データベースに蓄積されるデータとしては、楽曲のＰＣＭデータ以外に、振幅波形のピークの出現率及び平均レベル値をデータベースに登録する。ピークの出現率は、単位時間当たりのＰＣＭデータに表れるピーク数である。ピークが集中する部分は、楽曲の特徴が表れる部分と考えて良いから、楽曲を認識するためにこの部分を利用することにより、処理効率の向上を図ることが可能になる。
さらに、特に各楽曲のサビ部分（聞き手に曲を強く印象付け、曲の特徴が表れる部分）については、サビ部分の時間（継続時間）データ、ピーク出現率及び平均レベルをデータベースに登録する。サビ部分の利用の仕方としては、楽曲を認識する際に、先ず、サビ部分のデータを参照し、認識処理を行うようにすることにより、処理の効率を向上させることが可能になる。なお、サビ部分を検べてその部分のデータを登録する時に、音源からの楽曲を人間の耳で検聴して、その判断でサビ部分の範囲を指定する方法を採るようにすると、認識精度を上げることが可能になる。
【００１６】
図１は、本実施例に係わる音楽認識装置の概略構成を示すブロック図である。
図１に示す例は、放送波をメディアとして送られてきた信号を受信し、得たオーディオ信号を認識対象として、楽曲の認識処理を行い、認識結果を出力する装置である。この装置は、図１に示すように、認識対象のオーディオデータと上述のように予め参照データの蓄積をしておいた楽曲データベース（以下「ＤＢ」と記す）１７の楽曲データとを対比することにより対象の認識処理を行う比較・判定処理部１５を備える。また、認識対象のオーディオデータを比較・判定処理部１５に入力する入力処理段として、受信した放送波をオーディオ信号として出力する受信部１１、受信部１１からのアナログのオーディオ信号をサンプリングし、サンプリング値をデジタル化してＰＣＭデータとして出力するＡ／Ｄ変換部１２と、Ａ／Ｄ変換部１２からのデジタル出力をレンジ調整しフルビット化するノーマライズ処理部１４を備える。
【００１７】
また、認識結果を出力するために出力部１６を備えるが、出力をどのように利用するかによって利用に適した出力方法を用意する。例えば、単に曲名を表示するだけで良ければ、認識結果を利用者に画面或いは音声等により報知するための手段であれば良い。他方、認識結果を他のシステムに利用できる、例えば、音楽を提供するサーバ（音楽の放送、音楽データの配信サービス或いは記録媒体によるサービスを行う事業者）からのサービスを受けるためのシステムが装備され、そのシステムが利用できる場合、認識したデータを利用システムにインプットするインターフェース部としても良い。また、メモリ１３を備え、Ａ／Ｄ変換部１２、ノーマライズ処理部１４及び比較・判定処理部１５で行う処理のために、その間に認識対象の放送波データを一時的に保持しておくようにする。ここではＡ／Ｄ変換部１２、ノーマライズ処理部１４及び比較・判定処理部１５に共通するメモリとして設けているが、必ずしも共通化する必要はない。
【００１８】
次に、上記した構成の音楽認識装置を動作させて行われる認識処理の手順について述べる。
図２は、本実施例の音楽認識処理の手順を示すフロー図である。
図２のフローに従い、処理手順を説明すると、本例では放送波をメディアとする音楽を対象としているから、先ず、受信部１１により放送波を受信し、通常行われる受信処理によりオーディオ信号を受信部１１より出力する（ステップＳ２１）。
この出力信号は、アナログのオーディオ信号であり、この信号をＡ／Ｄ変換部１２でデジタルＰＣＭデータに変換する（ステップＳ２２）。この変換処理は、先ず入力アナログ信号をサンプリングし、サンプリングした信号の振幅値をＰＣＭデータに変換する。サンプリングの間隔は、サンプリング後のデータにより表される振幅パターンが楽曲の特徴を失わない程度の間隔であることが必要な条件である。なお、後段の比較処理（後述のステップＳ２６）で参照する楽曲ＤＢ１７のデータとの整合性を考慮すると、楽曲ＤＢ１７で採用したサンプリング間隔を用いれば、より合理的なシステムとなる。
この手順では、Ａ／Ｄ変換部１２で変換後のＰＣＭデータをメモリ１３に放送波ファイルとして一時的に蓄積する（ステップＳ２３）。次いで、蓄積した放送波ＰＣＭファイルをメモリ１３から取り出して、ノーマライズ処理部１４でレンジ調整してフルビット化、即ちノーマライズ処理を行う（ステップＳ２４）。これは、楽曲ＤＢ１７のデータとの整合を図るために行うもので、楽曲ＤＢ１７の音源にＣＤを用いた場合に、フルビットで記録されたＣＤの音量に調整する必要性があり、この処理を行う。
【００１９】
次に、ノーマライズ処理された放送波ＰＣＭデータを比較・判定処理部１５において楽曲ＤＢ１７の楽曲データと比較してその一致度を検出し、検出した一致度に基づいて対象が認識できたか否かを判定する処理を行う。
そのステップとして、先ず比較位置を決定する（ステップＳ２５）。即ち、認識対象である放送波ＰＣＭデータは、楽曲全体を放送するとは限らないし、また、認識対象のデータの中に楽曲の特徴とならないデータ部分が冗長にあっても処理の効率を低下させるだけであるから、有効データとして実際に比較に用いるデータ部分を探し出す処理を行う。この処理は、振幅のピーク出現率の高い部分、つまりピークが集中し、楽曲の特徴が表れる部分を探し出し、その位置を楽曲ＤＢ１７とデータの比較を行う比較部分として決める。
その後に、決定した比較部分のデータと楽曲ＤＢ１７に蓄積された楽曲データを比較して一致度を検出する（ステップＳ２６）。一致度は、比較部分を波形として捉え、波形の各サンプルポイントにおける両者のＰＣＭデータ値（振幅値）を１対１比較し、それらの間の差値或いは比率として数値化し、各ポイントの比較値をサマライズすることにより表現することができる。
次いで、求めた一致度を評価し、認識可能な楽曲候補として採用するか否かを判定する（ステップＳ２７）。一致度の評価は、差値或いは比率をサマライズして表現した値が、判定基準として定めた範囲内の値であるか否かにより行う。
【００２０】
上記で放送波ＰＣＭデータを楽曲ＤＢ１７の参照データと比較する場合に、楽曲ＤＢ１７の参照範囲を絞り込むことにより効率の良い処理が可能となる。絞り込みの方法は、楽曲ＤＢ１７にＰＣＭデータ以外のデータとして登録したピーク出現率及び平均レベルを利用することができる。絞り込みをするとき、サビ部分については、時間（継続時間）データ、ピーク出現率及び平均レベルをデータベースに登録しているので、決定した放送波データの比較部分における、時間データ、ピーク出現率及び平均レベルをデータとして求めてから、楽曲ＤＢ１７に登録しておいた全曲を通して検索する前に、先ず登録しておいたサビ部分を優先させて、放送波データとの比較により、近いデータを示す範囲に絞り込んで、ＰＣＭデータの比較処理として上記した振幅波形の一致度による判定を行う。その結果、認識できない場合に、サビ部分以外について、ピーク出現率及び平均レベルによるデータの範囲の絞り込みをかけるという手順により行うと、効率の良い検索ができる。
このようにしてステップＳ２６，Ｓ２７において認識処理を行い、データ一致度が、判定基準として定めた範囲内である楽曲が認識候補として検索され、その結果がリストアップされる（ステップＳ２８）。リストアップされた楽曲が１曲である場合には、その楽曲を認識結果として決定し、出力部１６で出力処理を行う（ステップＳ２９）。
【００２１】
認識処理の結果として、複数の楽曲が認識候補としてリストアップされた場合、さらにＰＣＭデータの再比較処理を、以前に行ったとは違う観点で行う（ステップＳ３０）。再比較処理を行い、その結果として、楽曲を１曲に絞り込むことができたとき、その楽曲を認識結果として決定し、出力部１６で出力処理を行う（ステップＳ２９）。
再比較処理で用いる方法は、先に行ったとは異なる観点での比較を行う。そのために、放送波ＰＣＭデータに対する楽曲ＤＢ１７の参照データを比較する場合に、比較部分として決定した波形部分におけるそれぞれのピークポイント及びボトムポイントで両比較データ（振幅値）の比率を求め、各ポイントで求めた比率の変動の大きさにより絞り込みをかける。
図３は、この比較法を説明するための図である。図３には、比較部分として決定したＰＣＭデータ（Ａ）、（Ｂ）が示されている。同図に示すように、比較する楽曲のＰＣＭデータ（Ａ）、（Ｂ）について、ＰＣＭデータ化されている振幅データの中のピーク及びボトムポイントのデータを取り出し、それぞれのピークポイント及びボトムポイント同士の振幅データ（Ａ）、（Ｂ）の比率を算出し、各ポイントにおける比率の変動をみる。同一の楽曲であるのにレンジ調整値の違いにより両者の振幅値に差が生じている場合には、各ポイントにおける比率は一定になるはずである。このような観点から、かかる比率の変動が最も小さい楽曲を一番近い楽曲と判断し、一曲に絞ったこの曲を認識結果として出力する。
【００２２】
また、再比較処理に用いることが可能な他の比較法の例を示す。
この例は、放送波ＰＣＭデータと楽曲ＤＢ１７の参照データを比較する場合に、それぞれの楽曲の波形を画像として対比可能な形式で表示し、表示された画像を比較することにより、波形の一致、不一致を判断できるようにするものである。
図４に、対比可能な形式で表示された画像の１例を示す。図４に示すように、放送波、楽曲ＤＢ両方の楽曲の波形を画像化して、波形間の相違を認識することができるように表示する。このために表示手段は、保持されているそれぞれのＰＣＭ振幅データから楽曲の波形を表示するための信号を生成するときに、同一の画面上で重ね合わせ、一致部分と相違部分が識別できるような表示形式を採るようにする。このような表示形式を用いることにより、人間の判断により波形の一致度をより精緻に調べることができるようにして、再比較処理における認識精度を上げることを可能にする。
【００２３】
次に、上記した音楽認識装置を音楽のサービスを受けるクライアント側に備え、クライアント側で認識結果として得た音楽情報をもとにして、クライアントから音楽を提供するメディアのサーバにネットワークを介して音楽のサービスを要求する情報の送信を可能とした音楽サービスシステムに係わる実施例を示す。
この音楽サービスシステムが意図する点の一つは、上述したと同様に、サーバ側でメディアに特別の処理を施すことなく、受取る側の処理のみで音楽認識を可能とし、サーバ側の負担を軽減することにある。また、もう一つの点は、サービス形態の異なるサーバ同士の連携を図り易くし、それぞれのサービス業務を拡大することを可能にするシステムを上記した音楽認識装置を利用して構築することにある。
【００２４】
これらの意図を実現する音楽サービスシステムの例を図５に示す。
図５を参照して本実施例のシステムを説明すると、先ずシステムの一つは、通信メディアを介して音楽を提供する第１のサーバとしての放送局２０、及び音楽を提供する第２のサーバとして、記録媒体を提供する、例えばレコード販売業者４０、という異なるサービス形態の両方のサーバと、本発明に係わる音楽認識装置を備えたクライアントとしてのユーザ３０とをインターネットを介して接続することにより構築される。なお、ユーザ３０は、第１のサーバ（放送局２０）からブロードキャストされる音楽の受信部、再生部とともに、本発明に係わる音楽認識装置を備える。
このシステムは、上述の音楽認識装置に関する説明に示したように、ユーザ３０が備えた音楽認識装置によって、放送局２０からサービスされている音楽の曲名をユーザが知りたいといった場合に、音楽認識装置を動作させて、曲名を知ること、或いは曲の途中から聞き始めたユーザが最初からフルに聞きたい、或いはもう一度リクエストしたいというユーザの要求に応えて、その旨のメッセージを放送局２０に送信し、通信メディアによるサービスを受けることを可能にする。
【００２５】
ただ、それだけではなく、曲を聞いたユーザがその曲を記録媒体の形式、例えばＣＤ、で所有したいので、その購入を希望するユーザの要求に応えて、その旨のメッセージをレコード販売業者４０に送信し、記録媒体によるサービスを受けることを可能にするものである。ユーザ３０には、こうしたサービスを受けるために必要な装備を設けておき、ユーザ操作によりこの装備を起動させる。起動時の動作としては、ユーザは再生中の放送波の音楽に対する指示操作を行う。指示した音楽を認識装置は、認識結果として曲名等を特定した後、認識した曲名等のデータを利用システムにインプットする。利用システムは、インプットされた曲名等のデータの購入を希望するという旨のメッセージに付けてインターネットを介して送信する、という一連の情報の処理操作を必要とし、これらはＰＣ（パーソナルコンピュータ）上で既存の技術を応用することにより実施し得る。このように、本例の音楽サービスシステムにより、ユーザは、放送された曲の曲名が分からなくても、リクエストの操作を行うことにより、放送によるサービス或いはレコード販売業者からＣＤ等によるサービスを受けることができる。
【００２６】
もう一つの拡張したシステムは、上記したシステムにさらに、記録媒体により音楽を提供する第２のサーバ（レコード販売業者４０）に、第１のサーバである放送局２０からブロードキャストされる音楽の受信部とともに、本発明に係わる音楽認識装置を備え、第２のサーバと第１のサーバとをインターネットを介して接続することにより構築される。
このような要素を加えて構築されたこのシステムによると、レコード販売業者４０は、放送局２０に対して放送波により提供される音楽のリクエストをインターネットを通じて行うことができる。放送局２０から見ると、レコード販売業者４０もクライアントの一人としてユーザ３０と同様の振る舞いをすることになるが、レコード販売業者４０が放送局２０に曲をリクエストをする意図は、販売したいＣＤの曲を購入者（ユーザ３０）に宣伝するためであり、その目的が相違する。
システムをこのように利用する場合に、レコード販売業者４０は、宣伝した曲を放送波のサービスにより聴いたユーザ３０が、希望する場合にその曲のＣＤを購入することができるように、ユーザ３０にそのための装備をセットする必要がある。それは、その曲をユーザが認識し、認識した曲のＣＤの購入要求を送信するために必要なもの、即ち音楽認識装置の楽曲ＤＢとインターネットによる購入要求のメッセージを送信するための装備である。これらの装備は、レコード販売業者４０が対象とするクライアントの範囲に配ることによりシステムを構成することができる。
こうしたシステムの構成により、レコード販売業者４０が個々にクライアントに対してサービスを提供するという方法によれば、放送局２０という異なるサービス形態をとるサーバを利用した販売システムを構築することができる。
【００２７】
このように、異なるサービス形態をとるサーバである放送局とレコード販売業者の連携を可能にする場合に、従来のサービスシステムでは、放送した音楽に電子透かしを用いて放送局側でレコード販売業者によるサービスにとって必要な情報を埋め込むという方法をとることが想定できる。しかしながら、この方法では、放送によるサーバが不特定多数のユーザに放送サービスを行う形態をとるといったことから、連携をとるサーバ間でデータの不整合を起こさないように、各サービスを統合した共通のデータベースを構築し、運用を図るという困難な事業が必要になる。特に、共通のデータベースの構築には、誰が費用を負担して作るかという問題が発生し、実行を難しくする。
本発明に係わる音楽サービスシステムによると、個々のサーバが必要なデータベースを構築し、運用することが可能になるので、個々のサーバのシステムの利用が促進されるとともに、放送局が他のサービス形態のサーバが用いるデータベースの運用に関与しなくても済むので、放送局としても格別の負担を負うことがなく、他のサービス形態のサーバとの連携が可能になり、業務の拡大を図ることが可能になる。
ところで、図５に例示したシステムにおいて、レコード販売業者４０が宣伝目的で放送局を利用する場合に限ると、レコード販売業者４０側に音楽認識装置を備える必要はないが、同図に示すように、レコード販売業者４０にも音楽認識装置を備えるようにしている。これは、音楽認識装置により放送波を通して提供されている曲をチェックする（自分がリクエストした曲を含め）ことができ、自分がリクエストした曲に対するユーザ３０の反応を知ったり、放送局２０から流れる曲の統計をとり、現在どの曲が多く聞かれ、人気があるか等を調査し、その結果を販売方法に反映させるといった目的で利用することを可能にするためである。
【００２８】
【発明の効果】
上記で説明したように、本発明の音楽認識装置によると、認識対象のオーディオ信号からデータ・サンプリングした認識対象のデータ中の振幅の変化が大きい範囲を認識対象の比較データ部分として設定して、音楽データベースに蓄積された音楽データと比較し、その一致度により、対象が認識できたか否かを判定するようにしたことにより、認識対象を供給する側（音楽を供給するメディア側）で、認識用の情報を挿入する等の特別の処理を施すことなく、認識装置側のデータ処理のみで認識対象の音楽認識を容易に行うことを可能にする。つまり、音楽を供給するメディア側に処理手段の装備が必要な方式による処理負担、例えば、メディアが放送波である場合に、現在放送されている楽曲が何であるかを放送局側が発表したり、或いは放送される楽曲に事前に電子透かしを挿入する等の負担をなくし、音楽データベースに蓄積されている楽曲であれば、メディアから供給される音楽を受ける側で再生時に曲の特定を容易に行うことを可能にする。
【図面の簡単な説明】
【図１】 本発明の実施例に係わる音楽認識装置の概略構成を示すブロック図である。
【図２】 本発明の実施例に係わる音楽認識処理の手順を示すフロー図である。
【図３】 図２のフローにおける再比較処理で用いる比較法を説明するための図である。
【図４】 対比可能な形式で画像表示された楽曲の波形の１例を示す。
【図５】 音楽認識装置を利用した本発明に係わる音楽サービスシステムの実施例を示す。
【符号の説明】
１１…受信部、 １２…Ａ／Ｄ変換部、
１３…メモリ、 １４…ノーマライズ処理部、
１５…比較・判定処理部、 １６…出力部、
１７…楽曲データベース（ＤＢ）、 ２０…出力部、
３０…ユーザ、 ４０…レコード販売業者。

Claims (5)

1. 認識対象のオーディオ信号を認識処理のためにデータ・サンプリングするデータ・サンプリング手段と、
   音楽をデータ化して蓄積した音楽データベースと、
   前記データ・サンプリングした前記認識対象のデータを、前記音楽データベースに蓄積された音楽データと比較し、その一致度を検出する一致度検出手段と、
   前記一致度検出手段により検出した一致度に基づいて、前記認識対象が認識できたか否かを判定する判定手段と、を備え、
   前記一致度検出手段は、
   前記認識対象データの検出範囲を設定する際に、前記認識対象データの振幅変化が大きい部分の、単位時間当たりのピーク数に相当する振幅波形のピーク出現率に基づいて前記検出範囲を設定することを特徴とする音楽認識装置。
2. 前記一致度検出手段において比較される前記認識対象データと前記音楽データベースに蓄積された音楽データは、前記各データの振幅波形の前記ピーク出現率である、請求項１に記載の音楽認識装置。
3. 前記一致度検出手段において比較される前記認識対象データと前記音楽データベースに蓄積された音楽データは、前記各データの振幅波形の平均レベルである、請求項１に記載の音楽認識装置。
4. 前記一致度検出手段において比較される前記認識対象データと前記音楽データベースに蓄積された音楽データは、前記各データの振幅波形におけるピーク及びボトムの振幅値の比率である、請求項１に記載の音楽認識装置。
5. 前記一致度検出手段は、比較されるデータの波形を画像データに変換し、得られた画像データをもとに波形の対比が可能な形式による画像表示を行う手段を備えたことを特徴とする請求項１〜４のいずれかに記載の音楽認識装置。

Images