JP3764033B2

JP3764033B2 - 楽曲検索装置および方法

Info

Publication number: JP3764033B2
Application number: JP2000208945A
Authority: JP
Inventors: 拓一西村; 博樹橋口; 隆一岡
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-07-10
Filing date: 2000-07-10
Publication date: 2006-04-05
Anticipated expiration: 2020-07-10
Also published as: JP2002024232A

Description

【０００１】
【発明の属する技術分野】
本発明は、クエリーの音声の特徴と類似した特徴を有する楽曲を、音楽データベースの中から検索する楽曲検索装置および方法に関する。
【０００２】
【従来の技術】
連続ＤＰ（たとえば、岡隆一、“連続ＤＰを用いた連続音声認識”，音響学会音声研資料，Ｓ７８−２０，ｐｐ，１４５−１５２（１９７８−０６））は、ジェスチャ認識や音声認識に用いられてきた基本的なパターンマッチ処理法の一つである。音声の要求に基づいて楽曲を検索する技術として、特願平１１−１２０１９８号に示される装置がある。この提案では、入力音声の示す音階と楽曲の音階との差分をマッチングすることにより楽曲を検索している。
【０００３】
また、“ハミング歌唱を手掛りとするメロディイ検索”，蔭山，高島，信学論（Ｄ−II，ｖｏｌ．Ｊ７７−Ｄ−II，ｎｏ．８，ｐｐ．１５４３−１５５１，１９９４），“ＷＷＷ上での歌声による曲検索システム”，園田，後藤，村岡，信学論（Ｄ−II，ｖｏｌ．Ｊ８２−Ｄ−II，ｎｏ．４，ｐｐ．７２１−７３１，１９９９）では、音高と音長に対して連続ＤＰの適用による楽曲検索を行っている。
【０００４】
連続ＤＰを以下に説明しておく。
【０００５】
クエリーであるＴフレームの時系列データを、Ｎ次元特徴ベクトル（ｚ（τ，１），…，ｚ（τ，Ｎ））の系列として
【０００６】
【数１】

【０００７】
と表し、同様にデータベースに登録された１つの楽曲の特徴ベクトル系列を
【０００８】
【数２】

【０００９】
と表す。また、（ｚ（τ，１），…，ｚ（τ，Ｎ））と（ｕ（ｔ，１），…，ｕ（ｔ，Ｎ））のとの局所距離をｄ（ｔ，τ）と表記する。局所距離の計算式の一例を以下に示す。
【００１０】
【数３】

【００１１】
ここで、データベース、クエリーの時間軸をそれぞれｔ，τと区別している。さらに、点（ｔ，τ）を終点としたクエリーとデータベース上の楽曲との間の特徴ベクトルに関する累積距離をＳ（ｔ，τ）と表す。連続ＤＰではＳ（ｔ，τ）を以下のような漸化式で更新する。初期条件（ｔ＝０）；
【００１２】
【数４】

【００１３】
【外１】

【００１４】
【数５】

【００１５】
【数６】

【００１６】
【数７】

【００１７】
この漸化式では、図１に示す３個の局所パスのうちで累積距離が最小となる値が選択されている。このため、クエリー全体との累積距離Ｓ（ｔ，Ｔ）は、データベースの時間方向の伸縮が１／２〜２倍であるとしたときの最小の累積距離となっている。連続ＤＰの出力Ａ（ｔ）、すなわち、クエリーとデータベース上の１つの楽曲の特徴ベクトルの累積距離は、重みの和３Ｔで正規化して
【００１８】
【数８】

【００１９】
と表される。このような計算をデータベース上の全ての楽曲の特徴ベクトルについて行い、最小の累積距離をまた、検索時にメモリに記憶しておくデータは、
【００２０】
【外２】

【００２１】
についてＳ（ｔ，τ），Ｓ（ｔ，２，τ），Ｓ（ｔ−２，τ），ｄ（ｔ，τ），ｄ（ｔ−１，τ）だけでよいので、楽曲検索装置はデータベースのフレーム数に依存せず、わずか５Ｔのメモリ量で検索が可能である。
【００２２】
【発明が解決しようとする課題】
従来の楽曲検索方法では、楽曲データベース登録される楽曲の特徴およびクエリーとして使用される楽曲の一部の特徴は共に音階の相対変化、具体的には、たとえば、最初の音階から２音階上がり次に１音階下がるというような相対変化としていた。このため、従来では楽曲の波形から直接的に得られるの絶対音階を示す楽曲データからさらに処理を行い、相対音階を求める処理を別に用意しなければならならない。この付加的な処理は一般の楽曲について良好に行なわれる保証はない不具合があった。
【００２３】
そこで、本発明の目的は、楽曲に関するユーザの操作および検索処理を簡素化することができる楽曲検索装置および方法を提供することにある。
【００２４】
【課題を解決するための手段】
本願発明は、楽曲データベースの特徴は絶対音階の時間的変化とし、絶対音階の時間的変化とクエリーの時間的な相対変化とを比較して、楽曲の検索を行なう。このような着想に基づき、上記目的を達成するために、請求項１の発明は、予め楽曲データベースに登録された楽曲の第１の特徴と、クエリーとして使用される楽曲の一部の第２の特徴とを比較し、第２の特徴と最も類似する楽曲の範囲を検索する楽曲検索装置において、前記第１の特徴を時間軸方向に沿った楽曲の音階の絶対音階群のパワー系列で表し、前記第２の特徴を時間軸方向に沿った楽曲の相対音階で表し、
前記第２の特徴を入力する入力手段と、前記第１の特徴と前記入力手段から入力された前記第２の特徴とを連続ＤＰの手法により比較して第２の特徴に類似する楽曲の範囲を検索する楽曲検索手段とを具え、
所定時間の間隔を有する２つの音階の差分値を時間軸上の異なる時刻について複数組取得し、当該取得した複数組の差分値を並べた系列で前記第２の特徴を表すことを特徴とする。
【００２５】
請求項２の発明は、請求項１に記載の楽曲検索装置において、前記入力手段は音声を入力し、入力した音声を分析して前記第２の特徴を取得することを特徴とする。
【００２６】
請求項３の発明は、請求項１に記載の楽曲検索装置において、前記データベースには複数の楽曲に関する第１の特徴が登録されており、前記複数の楽曲の第１の特徴と前記第２の特徴を比較することを特徴とする。
【００２７】
請求項４の発明は、請求項１に記載の楽曲検索装置において、前記楽曲検索手段により範囲が検索された楽曲を第１の特徴に基づき再生出力する再生出力手段をさらに具えたことを特徴とする。
【００２９】
請求項５の発明は、予め楽曲データベースに登録された楽曲の第１の特徴と、クエリーとして使用される楽曲の一部の第２の特徴とを比較し、第２の特徴と最も類似する楽曲の範囲を検索する楽曲検索方法において、
前記第１の特徴を時間軸方向に沿った楽曲の音階の絶対音階群のパワー系列で表し、
前記第２の特徴を時間軸方向に沿った楽曲の相対音階で表し、
前記第２の特徴を楽曲検索装置に入力する入力し、
前記楽曲検索装置では、前記第１の特徴と前記入力手段から入力された前記第２の特徴とを連続ＤＰの手法により比較して第２の特徴に類似する楽曲の範囲を検索し、
所定時間の間隔を有する２つの音階の差分値を時間軸上の異なる時刻について複数組取得し、当該取得した複数組の差分値を並べた系列で前記第２の特徴を表すことを特徴とする。
【００３０】
請求項６の発明は、請求項５に記載の楽曲検索方法において、前記楽曲検索装置に音声を入力し、当該入力した音声を前記楽曲検索装置により音響分析して前記第２の特徴を取得することを特徴とする。
【００３１】
請求項７の発明は、請求項５に記載の楽曲検索方法において、前記データベースには複数の楽曲に関する第１の特徴が登録されており、前記楽曲検索装置は前記複数の楽曲の第１の特徴と前記第２の特徴を比較することを特徴とする。
【００３２】
請求項８の発明は、請求項５に記載の楽曲検索方法において、前記楽曲検索装置は範囲が検索された楽曲を第１の特徴に基づき再生出力することを特徴とする。
【００３４】
【発明の実施形態】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００３５】
最初に本発明を適用した楽曲検索法の原理について説明する。
【００３６】
クエリーおよびデータベースに登録され、クエリーの比較（距離計算）の対象とされる楽曲の特徴パターンが、従来では主旋律の変化パターン、すなわち、スカラー量の時系列（相対的な音階の変化）で表すのに対し、本実施形態ではデータベースに登録される特徴パターンが、横軸が時間軸、縦軸が音階軸により定まるパワースペクトルの周波数（絶対音階）軸を有する時空間パターンを使用する点が新規特徴である。換言すれば、本実施形態では時空間パターン上にいくつも存在している絶対音階の変化パターンの中から、クエリー（検索の対象の楽曲の一部）の音階変化系列に一致する部分を見出すことに新規特徴がある。このような処理を実行するために本実施形態でも上述の連続ＤＰの手法を使用する。ただし、従来では２次元的な累積距離の計算を行なうのに対し、本実施形態では３次元に拡張した累積距離の計算を行なう。この３次元の連続ＤＰを最初に説明する。
【００３７】
音階の総数をＮとし、クエリーである音声区間長をＴ、フレームの音階差分データを｛ｑ（τ）｜τ＝１，…，Ｔ｝とする。ここで、音階差分データは、入力音声の主たる音階が抽出された後、その時間差分によって定まるものである。時間差分とは、所定時間の間隔を有する２つの音階の差分値であり、該差分値を時間軸上の異なる時刻についての差分値を複数組取得し、当該取得した複数組の差分値を並べた系列で楽曲の音階の変化量を表す。
【００３８】
したがって、
【００３９】
【外３】

【００４０】
としてよい。一方、予め登録される複数組の楽曲の特徴ベクトルの集合（以下、単にデータベースと称することもある）についての分析特徴である、ベクトルの時系列パターンを
【００４１】
【数９】

【００４２】
とする。ここで、データベース、クエリーの時間軸をそれぞれｔ，τと区別する。
【００４３】
参照の区間時系列データを区間の始終端に依存しない対象の時系列データ中に、最も類似した区間を見出すために本実施形態では連続ＤＰを使用する。ただし、ｂ（ｔ，ｘ）はｔフレーム、音階ｘのパワーを表す。参照データ（クエリーの特徴）をスカラー変化量の時系列パターンとして捉え、検索データ（楽曲の特徴）を時空間パターンとするように連続ＤＰを拡張する。このような連続ＤＰの手法を本願明細書では、Ｍｏｄｅｌｄｒｉｖｅｎｐａｔｈ連続ＤＰ（ｍｐ−連続ＤＰ）と呼ぶことにする。
【００４４】
ｍｐ−連続ＤＰにおいて、累積すべき局所距離を定めるが、ここでは局所累積距離を、データベースの時刻ｔ、および音階ｘに対してｄ（ｘ，ｔ）と表記する。局所距離の計算式の一例を以下に示す。
【００４５】
局所距離ｄ（ｘ，ｔ）には、時刻ｔでのｘに対する最大パワーＭ（ｔ）＝ｍａｘｂ（ｔ，ｘ）で正規化される量
【００４６】
【数１０】

【００４７】
などを使用することができる。
【００４８】
さらに、点（ｘ，τ，ｔ）を終点としたクエリーとデータベースとの累積距離をＳ（ｘ，τ，ｔ）で表す。ｍｐ−連続ＤＰではＳ（ｘ，τ，ｔ）を以下のような漸化式で更新する。
【００４９】
【数１１】
Ｓ(x,1,t) ＝ 3d(x,t) (11)
【００５０】
【数１２】

【００５１】
境界条件は以下で与えられる。
【００５２】
【数１３】

【００５３】
この漸化式では、連続ＤＰ同様、クエリー全体との累積距離Ｓ（ｘ，τ，ｔ）は、データベースの時間方向の伸縮が１／２〜２倍であるとしたときの最小の累積距離となっている。
【００５４】
ｍｐ−連続ＤＰの出力Ａ（ｔ，ｘ）は、重みの和３Ｔで正規化して
【００５５】
【数１４】

【００５６】
と定める。
【００５７】
このとき、検出結果はデータベースの時刻t^*と音階ｘ^*であり、以下の式で求められる。
【００５８】
【数１５】

【００５９】
ここで、ａｒｇは、Ｓ（ｘ，τ，ｔ）の引数（ｔ，ｘ）を返す関数である。
【００６０】
このような距離計算を１つの登録の楽曲について行なうと、距離計算結果の最小値を持つ部分が、１つの楽曲の中のクエリーと最も類似する部分となる。また、全ての楽曲について同様の距離計算を行ない、それぞれ得られる最小値の中の最もも小さい値を持つ楽曲部分が最終的な計算結果となる。
【００６１】
このような楽曲検索方法を適用して楽曲検索を行なうための楽曲検索装置の機能構成を図１に示す。
【００６２】
図１において、１０００はクエリーとして使用する楽曲の一部分から特徴パターンを取得するクエリー取得部である。クエリー取得部では、マイクなどの音響装置から得られる音声信号に対して、ＦＦＴなどの通常のスペクトル分析を行い、基本周波数、それに対応する音階を得た後、クエリーとなる音階差分の系列を生成する。音階差分の系列は所定時間の間隔を有する２つの音階の差分値を異なる時刻について複数組取得したものである。
【００６３】
１０１０は複数組の楽曲の各々の特徴パターンを記憶し、データベースの形態で記憶した楽曲データベース構築部である。データベース構築部では、コンパクトディスク（ＣＤ）などの楽曲から、スペクトル分析を行い、各音階に対するパワースペクトルを得た後、それらを時空間パターンとしてハードディスクなどの記録媒体に保存しておく。もちろん、楽曲の入力を繰り返すことでデータベースを拡大することができる。
【００６４】
１０２０は楽曲データベース上の特徴パターンとクエリーの特徴パターンとの間との間の距離計算を行なってクエリーに最も類似する楽曲部分を検索するパターン検索処理部である。距離計算には上述のｍｐ−連続ＤＰが使用される。
【００６５】
クエリー入力である音声（歌、ハミング）の特徴パターンは音階差分データとして表され、楽曲データベース構築部１０１０に登録された楽曲の特徴パターン、すなわち、時空間パターンで表される。
【００６６】
１０３０はパターン検索処理部１０２０の検索結果から、クエリーに最も類似する部分を有する楽曲を楽曲データベース構築部１０１０から検出し、検出した楽曲の先頭部分から演奏を行なう楽曲演奏部である。
【００６７】
パターン検索処理部１０２０は、音階差分の系列と時空間パターンを基に、上述のｍｐ−連続ＤＰの計算手順にしたがって、累積距離Ｓ（ｘ，τ，ｔ）、Ｓ（ｘ，Ｔ，ｔ）を計算し、時空間パターンの中から音階差分の系列と最も類似した部分の終端（ｔ^*，ｘ^*）を見つけ出す処理を行う。このとき、出力時刻ｔ^*からクエリーの長さＴだけ時間を遡れば、入力音声に適合した楽曲部分の頭出しが可能となる。この頭だし処理（楽曲およびその先頭部分の検出）を検索楽曲演奏部１０３０で行い、演奏（出力する）する。
【００６８】
このような機能構成を実際に実現するための楽曲検索装置の一例を図２を参照して次に説明する。図２は楽曲検索装置のシステム構成を示す。楽曲検索装置として市販のパーソナルコンピュータやワークステーションを使用できるので、説明は簡単に留める。
【００６９】
図２において、ＣＰＵ１０はシステムメモリ５０にローディングされた楽曲検索プログラム（後述）を実行して、本発明に係る楽曲検索処理を実行する。ハードディスク（ＨＤ）２０は上記楽曲検索プログラムおよびパターン検索処理で使用するパターンデータベース、本実施形態では検索の対象となる複数組の楽曲の時空間パターンを蓄積（記憶）したデータベースを保存している。
【００７０】
Ｉ／Ｏ８０は、検索結果の始端時刻に一致するデータベース上の特徴パターンのアドレス位置を検出し、その位置を開始位置として１つの楽曲全体の特徴パターンをハードディスク２０のデータベースから読み出してスピーカ３０に出力する。スピーカ３０は出力された特徴パターンを音響信号に変換して再生出力する。
【００７１】
入力インターフェース（Ｉ／Ｏ）４０はマイク７０から、検索対象（クエリー）の音声を入力する。システムメモリ５０はＣＰＵ１０が実行する楽曲検索プログラム、ＣＰＵ１０に対する入出力データを一時記憶する。入力装置６０はマウスなどのポインティングデバイス（以下、マスク）を有しＣＰＵ１０に対する動作指示や情報入力を行う。
【００７２】
図３および図４は上記楽曲検索プログラムの内容を示す。図３はメイン処理手順を示し、図４は図３内の局所距離および累積距離の計算処理の詳細を示す。図３，図４を参照して楽曲検索処理を説明する。
【００７３】
入力装置６０からの指示に応じてＣＰＵ１０はＨＤ２０から図３の検索プログラムをシステムメモリ５０はローディングし、実行を開始する。
【００７４】
図３において、ユーザは、入力装置６０からクエリー、この場合、マイク７０から検索対象となるクエリーの音声の入力を指示する。この指示に応じて、ＣＰＵ１０はマイクから入出力インターフェース４０を介して音声を入力し、図１のクエリー取得部１０００としての処理を行って音声信号から取得した特徴パターンをシステムメモリ５０に書き込む。
【００７５】
また、ＣＰＵ１０は楽曲検索処理で使用するデータの初期設定を行う（ステップＳ１０）。これにより（１１）式で説明した初期条件、（１３）式で説明した境界条件が設定される。次にＣＰＵ１０はハードディスク２０上の（楽曲）データベースを検索すべく、データベース内の最初のフレーム番号としてｔ＝０を初期設定し、最適パスの始端位置（ｔ₀，ｘ₀）＝（０，０）を設定する。
【００７６】
次に、ＣＰＵ１０は、クエリーとして入力した複数枚（τ）の音階差分とデータベースの時空間パターンの局所距離および累積距離を（１２）式に従って計算する（ステップＳ３０）。局所距離計算および累積距離計算については後で図４により詳細に説明する。
【００７７】
さらに、ＣＰＵ１０は計算された累積距離について、所定期間内の累積距離の極大値検出処理を行い、その極大値を持つ最適パスの始端位置および終端位置を検索結果、換言すれば、クエリーに類似する楽曲の範囲（１つの楽曲の中の類似する一部分）を検索結果としてシステムメモリ５０に出力する（記憶する）（ステップＳ４０）。
【００７８】
この後、ステップＳ５０で変数ｔがデータベースの最終フレーム番号に到達するまで、変数ｔの値をインクリメント（１づつ更新すること）して（ステップＳ６０）、局所距離計算および累積距離計算等を繰り返すと、
これにより１つの楽曲の中のクエリーに最も類似する範囲が検出される。これをデータベース上の複数の楽曲（特徴パターンの形態）について上記処理を実行し、累積距離が最も小さいものが検索結果となる。最終的に、データベース上の楽曲の中で最も類似する個所が検出され、その個所を含む楽曲の始端部も検出される。このときのＣＰＵ１１が図１のパターン検索処理部１０２０および楽曲演奏部１０３０の楽曲先端部検出部として機能する。
【００７９】
図３のステップＳ３０の局所距離計算および累積距離計算の詳細を図４に示す。図４において、データベース上のｔの時空間パターンとクエリーの１番目の音階差分との間の局所距離を計算すべくクエリー側のフレーム番号τが０に初期設定（ステップＳ１００）され、さらに１にインクリメントされる（Ｓ１１０）。
【００８０】
次にｔ，τ，ｘに対して、局所距離ｄ（ｘ，ｔ）およびＳ（ｘ，τ，ｔ）の計算が上述の数式により行われる。音階ｘは総音階数Ｎに達する（Ｓ１７０）まで、インクリメントされる（Ｓ１２０）が、到達後は、τのインクリメント（Ｓ１１０）とともに再度、音階番号１（ｘ＝１）に初期化（Ｓ１１５に続きＳ１２０）される。引続き、τのインクリメントがデータベースの末端Ｗに達するまで続けられるが、このｘ，τのインクリメントの最中は、常に、現時点での累積距離Ｓ（ｘ，τ，ｔ）と、それまでの累積距離の最大値ＳＭＡＸの比較が行われることによって、順次ＳＭＡＸも単調非減少に更新されていく。
【００８１】
累積距離計算のすべての手順は、τ＝Ｔ、ｘ＝Ｎになったとき、そのときのＳＭＡＸの値と音階ｘを返り値として出力し、終了する。図４の処理が終了すると、図３のステップＳ４０に戻る。ここで、τの値がクエリーの最後尾の値Ｔに、ｘの値が総音階数Ｎに到達した時が、現在のｔにおける最適パスの終端位置となっている。このｔの値の累積距離に帯同されている最適パスの始端位置および累積距離の値からなるデータセット（３つのデータを１組とするデータ）がシステムメモリ５０に一時記憶する。
【００８２】
本実施形態では、累積計算Ｓ（ｘ，τ，ｔ）を計算する際、複数のデータセット全てをシステムメモリ５０に記憶すると多量のメモリ領域が必要となるので、ｔ番目（今回）のデータセットとｔ−１番目のデータ（前回）だけを記憶するメモリ領域だけを用意し、ｔの値が更新されるごとに今回得られたデータセットを前回の記憶領域に移す。このため、これまで記憶されていたデータセットは新たなデータセットにより上書き記憶により消去される。
【００８３】
図３のステップＳ４０の極大値検出処理では、上述の累積距離計算により、τの値がクエリーの最後尾の位置まで到達すると、最適パスの始端位置、終端位置および累積距離のデータセットが得られる。図３の繰り返し計算でｔの値がインクリメントされ、これまでに得られた仮の極大値と、今回得られた累積距離の値の大小関係が判定され、今回得られた累積距離が仮の極大値よりも大きい場合には、仮の極大値が今回の累積値で更新される。
【００８４】
【実施例】
具体的な計算事例を図５を参照して説明する。人が歌った音律から図ａのクエリー取得処理後の、クエリー列を（ｑ（１），ｑ（２），ｑ（３），ｑ（４））＝（２，１，−１，０）とする。例えばレ（＋２）ミ（＋１）ファ（−１）ミ（＋０）ミの音律で人が歌った場合などがこれに当る。ＣＤなどの楽曲から、図１のデータベース構築部１０１０を通じて得られた時系列パターンに対する局所距離を図５で５×１０の行列として表現している。行列の行インデックスは音階（ここでは、ｘ₁，…，ｘ₅の５音階）を表し、列インデックスｔ₁，…，ｔ₁₀はデータベース内の時刻あるいはフレーム番号を表している。さらに、各要素は局所距離に対応し、例えば、ｘ₃行ｔ₆列目の要素１は、ｄ（ｘ₃，ｔ₆）＝１を表している。
【００８５】
累積距離計算（１１）式、（１２）式によれば、ｔ＝ｔ₁のとき、
【００８６】
【数１６】
Ｓ(x₁ ,1 ,t₁ )＝Ｓ(x₂ ,1 ,t₁ )＝…＝Ｓ(x₁₀ ,1 ,t₁ )＝３×0.５ (16)
である。（１５）式の値を得るために上の累積距離の最大値をとる必要があるが、この場合全て同じ値（１．５）なので、音階の最初値ｘ₁をとる。楽曲検索では、時間ｔが重要なので、音階の最初値をとっても問題はない。また、ｍｐ−連続ＤＰの出力（１４）式の値は、以下で与えられる。
【００８７】
【数１７】
Ａ(x₁ ,1 ,t₁ )＝Ａ(x₂ ,1 ,t₁ )＝…＝Ａ(x₁₀ ,1 ,t₁ )＝1.5/(3T)＝0.125 (17)
ｔ₁，…，ｔ₁₀においても累積距離計算（１１）式、（１２）式に基づいて計算し、ｍｐ−連続ＤＰの出力を求めると、ｔ₇のとき、累積距離の最大値は、Ｓ（ｘ₃，４，ｔ₇）＝１２をとり、ｔ₇が所望の楽曲の末端となる。したがって、始端は４時点戻ったｔ₃であり、図５の矢印で記されているときの階差は、クエリーと一致していることが分かる。したがって、これらの矢印で決まる道順が、所望の楽曲の始端から末端までとなっている。
【００８８】
上述の実施形態の他に次の形態を実施できる。
１）上述の実施形態では、楽曲の特徴パターンをデータベースの形態で登録しているが、楽曲の音響信号を登録して、検索ごとに音響信号から楽曲の特徴パターンを抽出してもよい。
２）クエリーとして使用する楽曲の特徴パターンそのものを楽曲検索装置に入力してもよい。
３）上述の実施形態では音声を含む楽曲の演奏をマイクで入力で入力し、フーリエ解析し、その中の音声特徴を示すパワースペクトラム成分を取り出し、その成分を時間的にならべることで、楽曲データベースに登録する楽曲の絶対的音階（本発明の第１の特徴）を作成する。これにより演奏などの雑音成分が取り除かれるという効果をも奏する。雑音のない絶対音階を得られる場合には、絶対音階を他の形態で表してもよい。
【００８９】
【発明の効果】
以上、説明したように、本発明では、人が歌った音声などの楽曲の絶対音階の時間変化を特徴としているので、従来のように別途楽曲の絶対音階のデータから相対音階の特徴を取り出してデータベースに登録する必要がない。このため、楽曲データベースへの登録が簡素化され、検索も絶対音階と相対音階の双方を取り扱わなくてもよいので、簡素化される。
【００９０】
さらには、クエリーとして与える楽曲の一部分が１つ楽曲のどの範囲にあるかを検索したり、楽曲の一部分から楽曲を楽曲データベースの中から探したり多様な用途に本発明を適用することができる。
【図面の簡単な説明】
【図１】本発明実施形態の機能構成を示すブロック図である。
【図２】本発明実施形態のシステム構成を示すブロック図である。
【図３】本発明実施形態の検出処理手順を示すフローチャートである。
【図４】本発明実施形態の局所距離および累積距離の計算処理の詳細を示すフローチャートである。
【図５】本発明実施例を説明するための説明図である。
【符号の説明】
１０ＣＰＵ
２０ＨＤ
３０スピーカ
４０Ｉ／Ｏ
５０システムメモリ
６０入力装置
７０マイク
８０Ｉ／Ｏ

Claims

予め楽曲データベースに登録された楽曲の第１の特徴と、クエリーとして使用される楽曲の一部の第２の特徴とを比較し、第２の特徴と最も類似する楽曲の範囲を検索する楽曲検索装置において、
前記第１の特徴を時間軸方向に沿った楽曲の音階の絶対音階群のパワー系列で表し、
前記第２の特徴を時間軸方向に沿った楽曲の相対音階で表し、
前記第２の特徴を入力する入力手段と、
前記第１の特徴と前記入力手段から入力された前記第２の特徴とを連続ＤＰの手法により比較して第２の特徴に類似する楽曲の範囲を検索する楽曲検索手段と
を具え、
所定時間の間隔を有する２つの音階の差分値を時間軸上の異なる時刻について複数組取得し、当該取得した複数組の差分値を並べた系列で前記第２の特徴を表すことを特徴とする楽曲検索装置。
請求項１に記載の楽曲検索装置において、前記入力手段は音声を入力し、入力した音声を音響分析して前記第２の特徴を取得することを特徴とする楽曲検索装置。
請求項１に記載の楽曲検索装置において、前記データベースには複数の楽曲に関する第１の特徴が登録されており、前記複数の楽曲の第１の特徴と前記第２の特徴を比較することを特徴とする楽曲検索装置。
請求項１に記載の楽曲検索装置において、前記楽曲検索手段により範囲が検索された楽曲を第１の特徴に基づき再生出力する再生出力手段をさらに具えたことを特徴とする楽曲検索装置。
予め楽曲データベースに登録された楽曲の第１の特徴と、クエリーとして使用される楽曲の一部の第２の特徴とを比較し、第２の特徴と最も類似する楽曲の範囲を検索する楽曲検索方法において、
前記第１の特徴を時間軸方向に沿った楽曲の音階の絶対音階群のパワー系列で表し、
前記第２の特徴を時間軸方向に沿った楽曲の相対音階で表し、
前記第２の特徴を楽曲検索装置に入力する入力し、
前記楽曲検索装置では、前記第１の特徴と前記入力手段から入力された前記第２の特徴とを連続ＤＰの手法により比較して第２の特徴に類似する楽曲の範囲を検索し、
所定時間の間隔を有する２つの音階の差分値を時間軸上の異なる時刻について複数組取得し、当該取得した複数組の差分値を並べた系列で前記第２の特徴を表すことを特徴とする楽曲検索方法。
請求項５に記載の楽曲検索方法において、前記楽曲検索装置に音声を入力し、当該入力した音声を前記楽曲検索装置により音響分析して前記第２の特徴を取得することを特徴とする楽曲検索方法。
請求項５に記載の楽曲検索方法において、前記データベースには複数の楽曲に関する第１の特徴が登録されており、前記楽曲検索装置は前記複数の楽曲の第１の特徴と前記第２の特徴を比較することを特徴とする楽曲検索方法。
請求項５に記載の楽曲検索方法において、前記楽曲検索装置は範囲が検索された楽曲を第１の特徴に基づき再生出力することを特徴とする楽曲検索方法。