JP4622199B2 - 楽曲検索装置及び楽曲検索方法 - Google Patents
楽曲検索装置及び楽曲検索方法 Download PDFInfo
- Publication number
- JP4622199B2 JP4622199B2 JP2001289792A JP2001289792A JP4622199B2 JP 4622199 B2 JP4622199 B2 JP 4622199B2 JP 2001289792 A JP2001289792 A JP 2001289792A JP 2001289792 A JP2001289792 A JP 2001289792A JP 4622199 B2 JP4622199 B2 JP 4622199B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- musical
- song
- coordinate value
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、指定された参照曲に類似する印象を有する楽曲を複数の楽曲の中から検索、抽出する楽曲検索装置及び楽曲検索方法に係り、特に、ＣＤ（Compact Disk）等の一般的な楽音データの中から楽曲を検索することを可能にする技術に関する。
【０００２】
【従来の技術】
従来より、例えばカラオケ装置等のように、入力された曲名や歌手名等の検索キーワードに基づいて条件に合った楽曲を検索する楽曲検索装置が知られているが、このような楽曲検索装置では、例えば「この曲に似た感じの曲」といった、指定した曲（「参照曲」という）に類似する印象の楽曲を検索することはできない。
【０００３】
このような背景から、例えば特開平２−５４３００号公報には、メロディを利用して楽曲を検索する楽曲検索装置が開示されている。また、例えば特開平６−２９０５７４号公報には、楽曲の音楽的特徴から検索のためのインデックスを作成し、このインデックスを利用して楽曲を検索する楽曲検索装置が開示されている。
【０００４】
一方、最近では、正準相関分析によって楽曲の印象を示す感性語及び音楽的特徴から検索空間を作成し、この検索空間上で類似曲を検索する楽曲検索装置が開示されている（例えば、辻ら，「曲の局所パターン特徴量を用いた類似曲検索・感性語による検索」，電子情報通信学会技術報告，ＳＰ−１２４）。この楽曲検索装置は、ＭＩＤＩ（Music Instruments Digital Interface）データ中の楽曲の旋律情報を利用し、旋律情報と感性語を正準相関分析にかけることにより類似曲検索を行っている。
【０００５】
【発明が解決しようとする課題】
しかしながら、特開平２−５４３００号公報に開示されているようなメロディを利用した楽曲検索装置は、例えば「以前耳にした曲を検索したい」、「このメロディに似たメロディを持つ曲を検索したい」といった検索に対しては有効的であるが、ユーザが指定した参照曲と似た印象を持つ楽曲を検索することには対応できない。
【０００６】
また、特開平６−２９０５７４号公報に開示されているような楽曲検索装置では、楽曲の印象を指定して耳にしたことのない楽曲を検索することは可能であるものの、音楽的特徴とインデックスとして用いられる楽曲の印象との間に相関関係が無いために、音楽的特徴と楽曲の印象との対応付けが難しい。
【０００７】
さらに、音楽的特徴として旋律情報を使用し、旋律情報と感性情報とを結び付けるような楽曲検索装置は、楽曲の印象による検索を行う場合には有効的であるものの、ＣＤ等に記録されている楽曲のように、ＭＩＤＩデータではない音楽データからは音楽的特徴としての旋律情報を抽出することはできないために、ＭＩＤＩデータ以外の音楽データを検索の対象とすることができない。
【０００８】
本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、ＣＤ等の一般的な楽音データの中からユーザの指定する参照曲に類似する印象を有する楽曲を検索することが可能な楽曲検索装置及び楽曲検索方法を提供することにある。
【０００９】
【課題を解決するための手段】
以上の課題を解決すべく、本発明に係る楽曲検索装置の特徴は、
楽曲の音響信号である楽音データを複数の楽曲分格納する楽音データ格納手段と、
前記楽音データ格納手段に格納された楽曲の楽音データに対して、その楽音データの先頭からの時間的位置が異なる複数の解析区間を設定し、前記解析区間毎に所定の特徴量を算出し、前記複数の解析区間の特徴量を異なるベクトル次元に対応させたベクトルをその楽曲の特徴ベクトルとして作成する音楽的特徴抽出手段と、
特徴ベクトルと、所定の感性語に対する楽曲の適合度合いを示す感性ベクトルとを用いて算出された重み係数であり、特徴ベクトルを検索空間における座標値に変換するための前記重み係数を用いて、前記楽音データ格納手段に格納されている楽曲の前記座標値を算出する座標値算出手段と、
前記楽音データ格納手段に格納されている前記楽曲の中から検索する楽曲の参照曲となる楽曲を選択する参照曲選択手段と、
前記座標値算出手段で算出された前記参照曲の座標値である基準座標値と、前記座標値算出手段で算出された前記参照曲以外の他の楽曲の各座標値とを各々比較し、前記他の楽曲の内から前記基準座標値と近い座標値を有する楽曲を選択する検索手段と、
を備えることである。
【００１０】
また、本発明に係る楽曲検索方法の特徴は、
複数の楽曲を検索対象として楽曲の検索を行う楽曲検索装置で実行される楽曲検索方法であって、
楽曲の音響信号である楽音データを複数の楽曲分格納する楽音データ格納手段に格納された楽曲の楽音データに対して、その楽音データの先頭からの時間的位置が異なる複数の解析区間を設定し、前記解析区間毎に所定の特徴量を算出し、前記複数の解析区間の特徴量を異なるベクトル次元に対応させたベクトルをその楽曲の特徴ベクトルとして作成する音楽的特徴抽出ステップと、
特徴ベクトルと、所定の感性語に対する楽曲の適合度合いを示す感性ベクトルとを用いて算出された重み係数であり、特徴ベクトルを検索空間における座標値に変換するための前記重み係数を用いて、前記楽音データ格納手段に格納されている楽曲の前記座標値を算出する座標値算出ステップと、
前記楽音データ格納手段に格納されている前記楽曲の中から検索する楽曲の参照曲となる楽曲を選択する参照曲選択ステップと、
前記座標値算出ステップで算出された前記参照曲の座標値である基準座標値と、前記座標値算出ステップで算出された前記参照曲以外の他の楽曲の各座標値とを各々比較し、前記他の楽曲の内から前記基準座標値と近い座標値を有する楽曲を選択する検索ステップと、
を備えることである。
【００１１】
すなわち、本発明に係る楽曲検索装置及び楽曲検索方法の特徴においては、楽曲の音楽的特徴を示す特徴ベクトルと、所定の感性語に対する楽曲の適合度合いを示す感性ベクトルとを用いて検索空間における各楽曲の座標値を算出し、この検索空間上における参照曲の位置に近い位置にある楽曲を類似する楽曲として抽出するので、ＣＤ等の一般的な楽音データの中からユーザの指定する参照曲に類似する印象を有する楽曲を検索することができる。
【００１２】
また、本発明に係る楽曲検索装置及び楽曲検索方法において、楽音データをフレーム単位で時間周波数解析してフレーム毎のスペクトルデータを算出し、フレームのスペクトルデータと他のフレームのスペクトルデータとの、周波数成分毎の差分値を加算した第１の加算値をフレーム毎に算出する。次に、隣接する所定数のフレームにおいて第１の加算値が最大となるフレームをビート位置として判定する。そして、複数の解析区間毎のビート位置の個数と、そのビート位置における前記第１の加算値を前記複数の解析区間毎に加算した第２の加算値との少なくとも一方を用いて、特徴ベクトルを作成するようにした。この場合には、ＣＤ等の楽曲のようなＭＩＤＩデータではない楽音データからでも特徴ベクトルを容易に作成することができる。
【００１３】
尚、検索空間は、感性ベクトルと特徴ベクトルとを正準相関分析することにより、もしくは感性ベクトルと特徴ベクトルとを重回帰分析することにより作成するようにしてもよい。
【００１４】
【発明の実施の形態】
以下、図１〜図１０を参照して、本発明を適用した実施の形態である楽曲検索装置の構成及び動作について詳しく説明する。
【００１５】
［楽曲検索装置の構成］
図１は、本発明の実施の形態となる楽曲検索装置の全体構成を示すブロック図である。
【００１６】
この実施の形態における楽曲検索装置は、図１に示すように、楽音データ格納手段１０１、書誌データ格納手段１０２、音楽的特徴抽出手段１０３、感性ベクトル格納手段１０４、検索空間作成手段１０５、参照曲選択入力手段１０６、検索手段１０７、検索結果出力手段１０８、及び楽曲データ追加手段１０９を備える。
【００１７】
楽音データ格納手段１０１は楽音データを格納し、書誌データ格納手段１０２は楽音データのタイトルや作曲者等の書誌データ（書誌的項目）を格納する。尚、楽音データは、デジタル形式若しくはアナログ形式の音響信号であり、書誌データと合わせてテープ、ハードディスク等の読み出し可能な記憶媒体に格納される。
【００１８】
音楽的特徴抽出手段１０３は、楽音データ格納手段１０１に格納されている楽音データのうち、事前に学習曲として選んだ楽曲データについて周波数解析することにより得られるスペクトルデータから音楽的特徴を抽出し、抽出した音楽的特徴を特徴ベクトルＶｆ として格納する。
【００１９】
感性ベクトル格納手段１０４は、楽曲を聞いたユーザが楽曲に対して持った印象を感性語により評価した感性語データに基づいて感性ベクトルＶｓ を作成し、作成した感性ベクトルＶｓ を楽音データ毎に格納する。
【００２０】
ここで、感性語とは、例えば「楽しい」，「暗い」等の楽曲の印象を表す言葉であり、感性語データとは、楽曲の評価者が楽曲に対して持った印象を感性語毎に数段階に分けて付与した値を示す。
【００２１】
尚、この実施の形態においては、感性語として「美しい」，「暗い」，「落ち着く」の３つの言葉を用意し、各感性語について「１」〜「５」の５段階評価を行った。そして、例えば、評価者が楽曲を聞いた時に、「楽しい」，「暗い」，「落ち着く」についてそれぞれ、「４」，「１」，「３」の評価を行った場合には、感性ベクトルＶｓ は以下の式（１）により表現される。
【００２２】
【数１】
事前に学習曲として選んだ楽曲データについて、予めこのような評価を行って感性ベクトルを作成し、感性ベクトル格納手段１０４に格納しておく。
【００２３】
検索空間作成手段１０５は、音楽的特徴抽出手段１０３内に格納された特徴ベクトルＶｆ と感性ベクトル格納手段１０４内に格納された感性ベクトルＶｓ とを正準相関分析もしくは重回帰分析にかけることにより検索空間を作成する。また、その後、新たに追加される楽曲については、正準相関分析もしくは重回帰分析によって求められた重み係数を用いて検索空間上に配置する。
【００２４】
参照曲選択入力手段１０６は、ユーザの操作に従って、検索のための手掛かりとなる参照曲を楽音データ格納手段１０１に格納されている楽音データの中から選択する。
【００２５】
検索手段１０７は、参照曲選択入力手段１０６により選択された楽曲における検索空間上の位置と他の楽曲における検索空間上の位置との間の距離を求め、選択された楽曲に近い位置にある楽曲を抽出する。
【００２６】
検索結果出力手段１０８は、検索手段１０７が抽出した楽曲を検索結果として表示出力し、また、抽出された楽曲の楽音データを出力する。
【００２７】
楽曲データ追加手段１０９は、検索の対象となる楽曲の楽音データや書誌データを新たに追加する。
【００２８】
［楽曲検索装置の動作］
上記楽曲検索装置は、大きく分けて、音楽的特徴抽出処理、検索空間作成処理、及び検索処理により実行される。そこで、以下では、これらの各処理について順に詳しく説明する。
【００２９】
〔音楽的特徴抽出処理〕
始めに、図２に示すブロック図と図３に示すフローチャートを参照して、音楽的特徴を抽出する処理の流れについて説明する。
【００３０】
音楽的特徴抽出手段１０３は、図２に示すように、時間周波数変換手段２０１、遅延手段２０２、差分データ演算手段２０３、テンポ情報作成手段２０４、ビート情報作成手段２０５、特徴ベクトル作成手段２０６を備える。
【００３１】
図３に示すフローチャートは、楽音データが時間周波数変換手段２０１に入力されることで開始となり、この音楽的特徴抽出処理はステップＳ１の処理に移行する。
【００３２】
時間周波数変換手段２０１は、ＦＦＴ（Fast Fourier Transform；高速フーリエ変換）等の手段を用いて一定区間毎の楽音データを周波数領域のスペクトルパワーに変換する（ステップＳ１）。周波数スペクトルパワーに変換された楽曲データは、差分データ演算手段２０３に入力されると共に、 遅延手段２０２にて遅延される。
【００３３】
遅延手段２０２は、時間周波数変換手段２０１により周波数スペクトルパワーに変換された楽音データを、所定のフレーム数だけ遅延させる（ステップＳ２）。尚、ここでいう「フレーム」とは時間周波数変換を行う単位のことを意味する。
【００３４】
差分データ演算手段２０３は、遅延手段２０２が遅延されたフレーム数分だけ間隔を空けた２つのフレームのスペクトルパワーの差分値を演算する（ステップＳ３）。ここで、遅延フレーム数が１フレームである場合、差分データ演算手段２０３は、隣り合う２つのフレーム間でスペクトルパワーの差分を演算し、フレームｆのｉ番目の差分値ｄ(i,f)は以下の式（２）により表現される。
【００３５】
【数２】
ここで、spec(i ,f)はフレームｆ のｉ番目のスペクトルパワーである。
【００３６】
テンポ情報作成手段２０４は、差分データ演算手段２０３が出力する 差分データを用いてテンポ情報を作成する（ステップＳ４）。
【００３７】
〈テンポ情報作成処理〉
ここで、上記ステップＳ４におけるテンポ情報作成手段２０４によるテンポ情報作成処理を、図４に示すフローチャートを参照して詳しく説明する。
【００３８】
ステップＳ４１において、テンポ情報作成手段２０４は、入力した差分データがテンポ情報を作成するために使用する帯域であるか否かを判別する。判別の結果、テンポ情報を作成するために使用する帯域である場合にはステップＳ４２の処理へと移行し、テンポ情報を作成するために使用する帯域でない場合にはステップＳ４４の処理へと移行する。
【００３９】
ステップＳ４２において、テンポ情報作成手段２０４は、差分値ｄ(i,f)が閾値Ｔｈ以上（ここで、閾値Ｔｈ＞０とする）であるか否かを判別する。判別の結果、閾値Ｔｈ以上である場合にはステップＳ４３の処理へと移行し、閾値Ｔｈ以下である場合にはステップＳ４４の処理へと移行する。
【００４０】
ステップＳ４３において、テンポ情報作成手段２０４は、スコアS(f)に差分値ｄ(i,f)を加算し、ステップＳ４４の処理へと移行する。
【００４１】
ここで、閾値Ｔｈは正の値であるので、このステップＳ４３の処理により、フレームｆ よりも時間的に後に位置するフレームｆ ＋ｎにおいて、特定の周波数帯域のスペクトルパワーが大きく増加している場合のみ、スコアＳ(f)に差分値が加算されることになる。
【００４２】
ステップＳ４４の処理において、テンポ情報作成手段２０４は、フレーム内の全ての差分値に対して上記の処理を完了したか否かを判別する。判別の結果、完了した場合にはステップＳ４５の処理へと移行し、完了していない場合には再びステップＳ４１の処理に戻り、上記ステップＳ４１〜ステップＳ４４の処理を繰り返す。
【００４３】
ステップＳ４５において、テンポ情報作成手段２０４は、特定区間内の全てのフレームについて上記の処理を完了したか否かを判別する。判別の結果、完了した場合にはステップＳ４６の処理へと移行し、完了していない場合にはステップＳ４１の処理に戻る。
【００４４】
ここで、本明細書中における「特定区間」とは、予め決めた位置における一定時間長のフレームを意味する。具体的には、この実施の形態では、楽曲データを時間長において３等分した各データの先頭から３０秒の区間とする。従って、一つの楽曲データについては、３つのテンポ情報と３つのビート情報が作成されることとなる。
【００４５】
ステップＳ４６において、テンポ情報作成手段２０４は、フレームｆ のスコアＳ(f)が隣接するＮフレームのスコアの中で最大の値であるか否かを判別する。判別の結果、最大の値である場合にはステップＳ４７に移行し、テンポ情報作成手段２０４は、そのフレームｆ がビート位置にあると判断し、ビートフラグＢ(f)の値を１に設定すると共にカウンタbeatの値を１増数し、ステップＳ４９に移行する。
【００４６】
一方、フレームｆ のスコアＳ(f)が隣接するＮフレームのスコアの中で最大の値でない場合には、ステップＳ４８において、テンポ情報作成手段２０４は、ビートフラグＢ(f)の値を０に設定し、ステップＳ４９に移行する。
【００４７】
ステップＳ４９において、テンポ情報作成手段２０４は、特定区間内の全てのフレームについて上記の処理を完了したか否かを判別する。判別の結果、完了した場合には一連のテンポ情報作成処理は終了し、音楽的特徴抽出処理のステップＳ５の処理に移行する。一方、完了していない場合には、再びステップＳ４６の処理に戻り、ステップＳ４６〜ステップＳ４９の各処理を繰り返す。
【００４８】
再び、図３のフローチャートに戻り、検索空間作成処理のステップＳ５以後の処理について説明する。
【００４９】
ビート情報作成手段２０５は、差分データ演算手段２０３が出力する 差分データを用いてビート情報を作成する（ステップＳ５）。
【００５０】
〈ビート情報作成処理〉
ここで、上記ステップＳ５におけるビート情報作成手段２０５によるビート情報作成処理を、図５に示すフローチャートを参照して詳しく説明する。
【００５１】
ステップＳ５１において、ビート情報作成手段２０５は、ビートフラグＢ(f)が１であるか否かを判別することにより、そのフレームがビート位置にあるか否かを判別する。判別の結果、ビート位置にある場合にはステップＳ５２の処理へと移行し、ビート位置にない場合にはステップＳ５５の処理へと移行する。
【００５２】
ステップＳ５２において、ビート情報作成手段２０５は、差分値ｄ(i,f)が閾値Ｔｈ以上であるか否かを判別する。判別の結果、閾値Ｔｈ以上である場合にはステップＳ５３の処理へと移行し、閾値Ｔｈ以下である場合にはステップＳ５４の処理へと移行する。
【００５３】
ステップＳ５３において、ビート情報作成手段２０５は、レベルＬにその差分値ｄ(i,f)を加算する。
【００５４】
ここで、前述のように閾値Ｔｈは正の値であるので、ステップＳ５３の処理にて、ビート位置にあると判定されたフレームｆにおいて、時間的に後ろに位置するフレームｆ＋ｎでスペクトルパワーが増加している場合のみ、レベルＬに差分値が加算されることになる。
【００５５】
ステップＳ５４において、ビート情報作成手段２０５は、フレーム内の全ての差分値に対して上記の処理を完了したか否かを判別する。判別の結果、完了した場合にはステップＳ５５の処理へと移行し、完了していない場合にはこのビート情報作成処理は再度ステップＳ５２の処理に戻り、フレーム内の全ての差分値に対して上記の処理を完了するまでステップＳ５２〜ステップＳ５４の処理を繰り返す。
【００５６】
ステップＳ５５において、ビート情報作成手段２０５は、特定区間内の全てのフレームについて上記の処理を完了したか否かを判別する。判別の結果、完了した場合にはステップＳ５６の処理へと移行し、完了していない場合にはステップＳ５１の処理に戻り、特定区間内の全てのフレームについて上記の処理を完了するまでステップＳ５１〜ステップＳ５５の各処理を繰り返す。
【００５７】
ステップＳ５６において、ビート情報作成手段２０５は、レベルＬをカウンタbeatの値で割ることにより１ビート位置当たりの平均レベルを算出し、算出した値をビート情報levelに設定する。これにより、一連のビート情報作成処理は終了し、図３のステップＳ６の処理に移行する。
【００５８】
再び図３のフローチャートに戻り、特徴ベクトル作成手段２０６は、作成されたテンポ情報とビート情報とを用いて特徴ベクトルＶｆ を作成する（ステップＳ６）。
【００５９】
ここで、具体的には、テンポ情報作成手段２０４（ステップＳ４の処理）により作成された３つのテンポ情報を［beat0,beat1,beat2］とし、ビート情報作成手段２０５（ステップＳ５の処理）により作成された３つのビート情報を［level0,level1,level2］とすると、特徴ベクトルＶｆ は、以下の式（３）により表される。
【００６０】
【数３】
〔検索空間作成処理〕
検索空間作成手段１０５は、作成された特徴ベクトルＶｆ と感性ベクトル格納手段１０４内に格納されている感性ベクトルＶｓ とを「正準相関分析」にかけることにより、各楽曲の正準変量が示された図６に例示するような検索空間を作成する（ステップＳ７）。
【００６１】
ここで、上記検索空間は、図７に示すように、各楽曲の検索空間上での座標値で表現することも可能である。
【００６２】
本明細書中でいう「正準相関分析」とは、２組の変数群［x1 ,x2 ,....,xp ］及び［y1 ,y2 ,....,yq ］による合成変数［u=a1 x1 +a2 x2 +....+ap xp ］及び［v=b1 y1 +b2 y2 +....+bq yq ］の相関係数が最大となるように、重み係数［a1 ,a2 ,....,ap ］及び［b1 ,b2 ,....,bq ］を定める方式を意味する。
【００６３】
ここで、検索のための楽曲を新規に追加する場合には、先ず楽曲データ追加手段１０９にてその楽曲の楽音データと書誌データを追加し、次に、前述の方法によりその楽曲の楽音データから特徴ベクトルを抽出する。そして、抽出した特徴ベクトルと、既に求められている上記重み係数を用いて、図６に例示するような検索空間上にその楽曲を配置すれば良い。
【００６４】
〔検索処理〕
次に、図８に示すフローチャートを参照して、上記の処理により作成された検索空間を利用して楽曲検索を行う際の処理の流れについて説明する。
【００６５】
この図８に示すフローチャートは、ユーザが参照曲選択入力手段１０６を介して手がかりとする参照曲を入力することで開始となり、ステップＳ１１の処理に移行する。
【００６６】
尚、参照曲選択入力手段１０６は様々な形態が想定されるが、例えば図９（ａ）に示すような入力ウィンドウ３００として構成し、ユーザに楽曲名３０１を直接入力させるようにしても良いし、あるいは、例えば図９（ｂ）に示すような入力ウィンドウ４００として構成し、楽曲名や歌手名を５０音別に指定する形態４０１として、ユーザに楽曲名を選択入力させるようにしても良い。
【００６７】
検索手段１０７は、検索空間上にある楽曲の位置と、指定された参照曲の位置との間の距離ｄを算出することにより、検索空間上での参照曲の位置に近い位置にある楽曲を算出する（ステップＳ１１）。
【００６８】
ここで、楽曲Ａ及び楽曲Ｂの検索空間上での座標をそれぞれ、［A(xa,ya),B(xb,yb)］とすると、２つの楽曲間の距離ｄは次式（４）により表現される。
【００６９】
【数４】
そして、検索結果出力手段１０８は、検索空間上での参照曲の位置に近い位置にある楽曲の書誌データ及び楽曲データを検索結果として出力する（ステップＳ１２）。
【００７０】
［その他の実施の形態］
次に、 検索空間作成手段１０５による検索空間作成処理（ステップＳ７）において、特徴ベクトルＶｆ と感性ベクトルＶｓ とを「重回帰分析」にかけることにより検索空間を作成する例を説明する。
【００７１】
重回帰分析とは、目的変数［y1 ,y2 ,y3 ,....］と、それに影響すると考えられる２つ以上の説明変数［x1 ,x2 ,x3 ,....］との間の関係式（次式（５）及び（６））を求め、係数［a1 ,b1 ,c1 ,....,a2 ,b2 ,c2 ,....］を決定するものである。
【００７２】
【数５】
ここで、感性ベクトル格納手段１０４に格納された感性ベクトルの各要素を目的変数［y1 ,y2 ,y3 ,....］とし、特徴ベクトル作成手段２０６により作成される特徴ベクトルＶｆ を説明変数［x1 ,x2 ,x3 ,....］に当てはめ、それぞれの楽曲の間で相関が最大になるように、係数［a1 ,b1 ,c1 ,....,a2 ,b2 ,c2 ,....］を求める。これにより、各楽曲毎に目的変数［y1 ,y2 ,y3 ,....］の値が求まり、従って感性ベクトルと同じ次元数の感性空間上に各楽曲を配置することができる。
【００７３】
検索を行う際には、検索手段１０７において検索空間上での楽曲間の距離ｄを演算し、近い位置にある楽曲を求める。楽曲Ａ及び楽曲Ｂの検索空間上での座標をそれぞれ、［A(y1a ,y2a ,y3a ,....),B(y1b ,y2b ,y3b ,....)］とすると、２つの楽曲間の距離ｄは次式（７）により表現される。
【００７４】
【数６】
また、検索のための楽曲を新規に追加する場合には、抽出した特徴ベクトルと、既に求められている係数［a1 ,b1 ,c1 ,....,a2 ,b2 ,c2 ,....］を用いて、目的変数［y1 ,y2 ,y3 ,....］の値を求め、検索空間上にその楽曲を配置すれば良い。
【００７５】
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。この実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論である。
【００７６】
【発明の効果】
本発明によれば、楽曲の音楽的特徴を示す特徴ベクトルと、所定の感性語に対する楽曲の適合度合いを示す感性ベクトルとを用いて検索空間における各楽曲の座標値を算出し、この検索空間上における参照曲の位置に近い位置にある楽曲を類似する楽曲として抽出するので、ＣＤ等の一般的な楽音データの中からユーザの指定する参照曲に類似する印象を有する楽曲を検索することができる。また、一旦検索空間が作成された後に、新たに追加される楽曲については、特徴ベクトルのみを求め、作成済みの検索空間に配置するようにしてもよく、その場合は、少ない労力で楽曲の追加を行うことを可能とする。
【００７７】
また、楽音データをフレーム単位で時間周波数解析してフレーム毎のスペクトルデータを算出し、フレームのスペクトルデータと他のフレームのスペクトルデータとの、周波数成分毎の差分値を加算した第１の加算値をフレーム毎に算出する。次に、隣接する所定数のフレームにおいて第１の加算値が最大となるフレームをビート位置として判定する。そして、複数の解析区間毎のビート位置の個数と、そのビート位置における前記第１の加算値を前記複数の解析区間毎に加算した第２の加算値との少なくとも一方を用いて、特徴ベクトルを作成するようにした。この場合には、ＣＤ等の楽曲のようなＭＩＤＩデータではない楽音データであっても楽曲の特徴ベクトルを容易に作成することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である楽曲検索装置の全体構成を示すブロック図である。
【図２】図１に示す 楽曲検索装置における音楽的特徴抽出手段の構成を示すブロック図である。
【図３】図１に示す 楽曲検索装置における検索空間作成処理を示すフローチャート図である。
【図４】図３に示すテンポ情報作成処理を示すフローチャート図である。
【図５】図３に示すビート情報作成処理を示すフローチャート図である。
【図６】図１に示す 楽曲検索装置における検索空間を示す模式図である。
【図７】図１に示す 楽曲検索装置における検索空間を示す他の例である。
【図８】図１に示す 楽曲検索装置における検索処理を示すフローチャートである。
【図９】図１に示す 楽曲検索装置における参照曲選択入力手段の構成を示す模式図である。
【符号の説明】
１０１…楽音データ格納手段、
１０２…書誌データ格納手段、
１０３…音楽的特徴抽出手段、
１０４…感性ベクトル格納手段、
１０５…検索空間作成手段、
１０６…参照曲入力手段、
１０７…検索手段、
１０８…検索結果出力手段、
１０９…楽曲データ追加手段、
２０１…時間周波数変換手段、
２０２…遅延手段、
２０３…差分データ演算手段、
２０４…テンポ情報作成手段、
２０５…ビート情報作成手段、
２０６…特徴ベクトル作成手段
【発明の属する技術分野】
本発明は、指定された参照曲に類似する印象を有する楽曲を複数の楽曲の中から検索、抽出する楽曲検索装置及び楽曲検索方法に係り、特に、ＣＤ（Compact Disk）等の一般的な楽音データの中から楽曲を検索することを可能にする技術に関する。
【０００２】
【従来の技術】
従来より、例えばカラオケ装置等のように、入力された曲名や歌手名等の検索キーワードに基づいて条件に合った楽曲を検索する楽曲検索装置が知られているが、このような楽曲検索装置では、例えば「この曲に似た感じの曲」といった、指定した曲（「参照曲」という）に類似する印象の楽曲を検索することはできない。
【０００３】
このような背景から、例えば特開平２−５４３００号公報には、メロディを利用して楽曲を検索する楽曲検索装置が開示されている。また、例えば特開平６−２９０５７４号公報には、楽曲の音楽的特徴から検索のためのインデックスを作成し、このインデックスを利用して楽曲を検索する楽曲検索装置が開示されている。
【０００４】
一方、最近では、正準相関分析によって楽曲の印象を示す感性語及び音楽的特徴から検索空間を作成し、この検索空間上で類似曲を検索する楽曲検索装置が開示されている（例えば、辻ら，「曲の局所パターン特徴量を用いた類似曲検索・感性語による検索」，電子情報通信学会技術報告，ＳＰ−１２４）。この楽曲検索装置は、ＭＩＤＩ（Music Instruments Digital Interface）データ中の楽曲の旋律情報を利用し、旋律情報と感性語を正準相関分析にかけることにより類似曲検索を行っている。
【０００５】
【発明が解決しようとする課題】
しかしながら、特開平２−５４３００号公報に開示されているようなメロディを利用した楽曲検索装置は、例えば「以前耳にした曲を検索したい」、「このメロディに似たメロディを持つ曲を検索したい」といった検索に対しては有効的であるが、ユーザが指定した参照曲と似た印象を持つ楽曲を検索することには対応できない。
【０００６】
また、特開平６−２９０５７４号公報に開示されているような楽曲検索装置では、楽曲の印象を指定して耳にしたことのない楽曲を検索することは可能であるものの、音楽的特徴とインデックスとして用いられる楽曲の印象との間に相関関係が無いために、音楽的特徴と楽曲の印象との対応付けが難しい。
【０００７】
さらに、音楽的特徴として旋律情報を使用し、旋律情報と感性情報とを結び付けるような楽曲検索装置は、楽曲の印象による検索を行う場合には有効的であるものの、ＣＤ等に記録されている楽曲のように、ＭＩＤＩデータではない音楽データからは音楽的特徴としての旋律情報を抽出することはできないために、ＭＩＤＩデータ以外の音楽データを検索の対象とすることができない。
【０００８】
本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、ＣＤ等の一般的な楽音データの中からユーザの指定する参照曲に類似する印象を有する楽曲を検索することが可能な楽曲検索装置及び楽曲検索方法を提供することにある。
【０００９】
【課題を解決するための手段】
以上の課題を解決すべく、本発明に係る楽曲検索装置の特徴は、
楽曲の音響信号である楽音データを複数の楽曲分格納する楽音データ格納手段と、
前記楽音データ格納手段に格納された楽曲の楽音データに対して、その楽音データの先頭からの時間的位置が異なる複数の解析区間を設定し、前記解析区間毎に所定の特徴量を算出し、前記複数の解析区間の特徴量を異なるベクトル次元に対応させたベクトルをその楽曲の特徴ベクトルとして作成する音楽的特徴抽出手段と、
特徴ベクトルと、所定の感性語に対する楽曲の適合度合いを示す感性ベクトルとを用いて算出された重み係数であり、特徴ベクトルを検索空間における座標値に変換するための前記重み係数を用いて、前記楽音データ格納手段に格納されている楽曲の前記座標値を算出する座標値算出手段と、
前記楽音データ格納手段に格納されている前記楽曲の中から検索する楽曲の参照曲となる楽曲を選択する参照曲選択手段と、
前記座標値算出手段で算出された前記参照曲の座標値である基準座標値と、前記座標値算出手段で算出された前記参照曲以外の他の楽曲の各座標値とを各々比較し、前記他の楽曲の内から前記基準座標値と近い座標値を有する楽曲を選択する検索手段と、
を備えることである。
【００１０】
また、本発明に係る楽曲検索方法の特徴は、
複数の楽曲を検索対象として楽曲の検索を行う楽曲検索装置で実行される楽曲検索方法であって、
楽曲の音響信号である楽音データを複数の楽曲分格納する楽音データ格納手段に格納された楽曲の楽音データに対して、その楽音データの先頭からの時間的位置が異なる複数の解析区間を設定し、前記解析区間毎に所定の特徴量を算出し、前記複数の解析区間の特徴量を異なるベクトル次元に対応させたベクトルをその楽曲の特徴ベクトルとして作成する音楽的特徴抽出ステップと、
特徴ベクトルと、所定の感性語に対する楽曲の適合度合いを示す感性ベクトルとを用いて算出された重み係数であり、特徴ベクトルを検索空間における座標値に変換するための前記重み係数を用いて、前記楽音データ格納手段に格納されている楽曲の前記座標値を算出する座標値算出ステップと、
前記楽音データ格納手段に格納されている前記楽曲の中から検索する楽曲の参照曲となる楽曲を選択する参照曲選択ステップと、
前記座標値算出ステップで算出された前記参照曲の座標値である基準座標値と、前記座標値算出ステップで算出された前記参照曲以外の他の楽曲の各座標値とを各々比較し、前記他の楽曲の内から前記基準座標値と近い座標値を有する楽曲を選択する検索ステップと、
を備えることである。
【００１１】
すなわち、本発明に係る楽曲検索装置及び楽曲検索方法の特徴においては、楽曲の音楽的特徴を示す特徴ベクトルと、所定の感性語に対する楽曲の適合度合いを示す感性ベクトルとを用いて検索空間における各楽曲の座標値を算出し、この検索空間上における参照曲の位置に近い位置にある楽曲を類似する楽曲として抽出するので、ＣＤ等の一般的な楽音データの中からユーザの指定する参照曲に類似する印象を有する楽曲を検索することができる。
【００１２】
また、本発明に係る楽曲検索装置及び楽曲検索方法において、楽音データをフレーム単位で時間周波数解析してフレーム毎のスペクトルデータを算出し、フレームのスペクトルデータと他のフレームのスペクトルデータとの、周波数成分毎の差分値を加算した第１の加算値をフレーム毎に算出する。次に、隣接する所定数のフレームにおいて第１の加算値が最大となるフレームをビート位置として判定する。そして、複数の解析区間毎のビート位置の個数と、そのビート位置における前記第１の加算値を前記複数の解析区間毎に加算した第２の加算値との少なくとも一方を用いて、特徴ベクトルを作成するようにした。この場合には、ＣＤ等の楽曲のようなＭＩＤＩデータではない楽音データからでも特徴ベクトルを容易に作成することができる。
【００１３】
尚、検索空間は、感性ベクトルと特徴ベクトルとを正準相関分析することにより、もしくは感性ベクトルと特徴ベクトルとを重回帰分析することにより作成するようにしてもよい。
【００１４】
【発明の実施の形態】
以下、図１〜図１０を参照して、本発明を適用した実施の形態である楽曲検索装置の構成及び動作について詳しく説明する。
【００１５】
［楽曲検索装置の構成］
図１は、本発明の実施の形態となる楽曲検索装置の全体構成を示すブロック図である。
【００１６】
この実施の形態における楽曲検索装置は、図１に示すように、楽音データ格納手段１０１、書誌データ格納手段１０２、音楽的特徴抽出手段１０３、感性ベクトル格納手段１０４、検索空間作成手段１０５、参照曲選択入力手段１０６、検索手段１０７、検索結果出力手段１０８、及び楽曲データ追加手段１０９を備える。
【００１７】
楽音データ格納手段１０１は楽音データを格納し、書誌データ格納手段１０２は楽音データのタイトルや作曲者等の書誌データ（書誌的項目）を格納する。尚、楽音データは、デジタル形式若しくはアナログ形式の音響信号であり、書誌データと合わせてテープ、ハードディスク等の読み出し可能な記憶媒体に格納される。
【００１８】
音楽的特徴抽出手段１０３は、楽音データ格納手段１０１に格納されている楽音データのうち、事前に学習曲として選んだ楽曲データについて周波数解析することにより得られるスペクトルデータから音楽的特徴を抽出し、抽出した音楽的特徴を特徴ベクトルＶｆ として格納する。
【００１９】
感性ベクトル格納手段１０４は、楽曲を聞いたユーザが楽曲に対して持った印象を感性語により評価した感性語データに基づいて感性ベクトルＶｓ を作成し、作成した感性ベクトルＶｓ を楽音データ毎に格納する。
【００２０】
ここで、感性語とは、例えば「楽しい」，「暗い」等の楽曲の印象を表す言葉であり、感性語データとは、楽曲の評価者が楽曲に対して持った印象を感性語毎に数段階に分けて付与した値を示す。
【００２１】
尚、この実施の形態においては、感性語として「美しい」，「暗い」，「落ち着く」の３つの言葉を用意し、各感性語について「１」〜「５」の５段階評価を行った。そして、例えば、評価者が楽曲を聞いた時に、「楽しい」，「暗い」，「落ち着く」についてそれぞれ、「４」，「１」，「３」の評価を行った場合には、感性ベクトルＶｓ は以下の式（１）により表現される。
【００２２】
【数１】
【００２３】
検索空間作成手段１０５は、音楽的特徴抽出手段１０３内に格納された特徴ベクトルＶｆ と感性ベクトル格納手段１０４内に格納された感性ベクトルＶｓ とを正準相関分析もしくは重回帰分析にかけることにより検索空間を作成する。また、その後、新たに追加される楽曲については、正準相関分析もしくは重回帰分析によって求められた重み係数を用いて検索空間上に配置する。
【００２４】
参照曲選択入力手段１０６は、ユーザの操作に従って、検索のための手掛かりとなる参照曲を楽音データ格納手段１０１に格納されている楽音データの中から選択する。
【００２５】
検索手段１０７は、参照曲選択入力手段１０６により選択された楽曲における検索空間上の位置と他の楽曲における検索空間上の位置との間の距離を求め、選択された楽曲に近い位置にある楽曲を抽出する。
【００２６】
検索結果出力手段１０８は、検索手段１０７が抽出した楽曲を検索結果として表示出力し、また、抽出された楽曲の楽音データを出力する。
【００２７】
楽曲データ追加手段１０９は、検索の対象となる楽曲の楽音データや書誌データを新たに追加する。
【００２８】
［楽曲検索装置の動作］
上記楽曲検索装置は、大きく分けて、音楽的特徴抽出処理、検索空間作成処理、及び検索処理により実行される。そこで、以下では、これらの各処理について順に詳しく説明する。
【００２９】
〔音楽的特徴抽出処理〕
始めに、図２に示すブロック図と図３に示すフローチャートを参照して、音楽的特徴を抽出する処理の流れについて説明する。
【００３０】
音楽的特徴抽出手段１０３は、図２に示すように、時間周波数変換手段２０１、遅延手段２０２、差分データ演算手段２０３、テンポ情報作成手段２０４、ビート情報作成手段２０５、特徴ベクトル作成手段２０６を備える。
【００３１】
図３に示すフローチャートは、楽音データが時間周波数変換手段２０１に入力されることで開始となり、この音楽的特徴抽出処理はステップＳ１の処理に移行する。
【００３２】
時間周波数変換手段２０１は、ＦＦＴ（Fast Fourier Transform；高速フーリエ変換）等の手段を用いて一定区間毎の楽音データを周波数領域のスペクトルパワーに変換する（ステップＳ１）。周波数スペクトルパワーに変換された楽曲データは、差分データ演算手段２０３に入力されると共に、 遅延手段２０２にて遅延される。
【００３３】
遅延手段２０２は、時間周波数変換手段２０１により周波数スペクトルパワーに変換された楽音データを、所定のフレーム数だけ遅延させる（ステップＳ２）。尚、ここでいう「フレーム」とは時間周波数変換を行う単位のことを意味する。
【００３４】
差分データ演算手段２０３は、遅延手段２０２が遅延されたフレーム数分だけ間隔を空けた２つのフレームのスペクトルパワーの差分値を演算する（ステップＳ３）。ここで、遅延フレーム数が１フレームである場合、差分データ演算手段２０３は、隣り合う２つのフレーム間でスペクトルパワーの差分を演算し、フレームｆのｉ番目の差分値ｄ(i,f)は以下の式（２）により表現される。
【００３５】
【数２】
【００３６】
テンポ情報作成手段２０４は、差分データ演算手段２０３が出力する 差分データを用いてテンポ情報を作成する（ステップＳ４）。
【００３７】
〈テンポ情報作成処理〉
ここで、上記ステップＳ４におけるテンポ情報作成手段２０４によるテンポ情報作成処理を、図４に示すフローチャートを参照して詳しく説明する。
【００３８】
ステップＳ４１において、テンポ情報作成手段２０４は、入力した差分データがテンポ情報を作成するために使用する帯域であるか否かを判別する。判別の結果、テンポ情報を作成するために使用する帯域である場合にはステップＳ４２の処理へと移行し、テンポ情報を作成するために使用する帯域でない場合にはステップＳ４４の処理へと移行する。
【００３９】
ステップＳ４２において、テンポ情報作成手段２０４は、差分値ｄ(i,f)が閾値Ｔｈ以上（ここで、閾値Ｔｈ＞０とする）であるか否かを判別する。判別の結果、閾値Ｔｈ以上である場合にはステップＳ４３の処理へと移行し、閾値Ｔｈ以下である場合にはステップＳ４４の処理へと移行する。
【００４０】
ステップＳ４３において、テンポ情報作成手段２０４は、スコアS(f)に差分値ｄ(i,f)を加算し、ステップＳ４４の処理へと移行する。
【００４１】
ここで、閾値Ｔｈは正の値であるので、このステップＳ４３の処理により、フレームｆ よりも時間的に後に位置するフレームｆ ＋ｎにおいて、特定の周波数帯域のスペクトルパワーが大きく増加している場合のみ、スコアＳ(f)に差分値が加算されることになる。
【００４２】
ステップＳ４４の処理において、テンポ情報作成手段２０４は、フレーム内の全ての差分値に対して上記の処理を完了したか否かを判別する。判別の結果、完了した場合にはステップＳ４５の処理へと移行し、完了していない場合には再びステップＳ４１の処理に戻り、上記ステップＳ４１〜ステップＳ４４の処理を繰り返す。
【００４３】
ステップＳ４５において、テンポ情報作成手段２０４は、特定区間内の全てのフレームについて上記の処理を完了したか否かを判別する。判別の結果、完了した場合にはステップＳ４６の処理へと移行し、完了していない場合にはステップＳ４１の処理に戻る。
【００４４】
ここで、本明細書中における「特定区間」とは、予め決めた位置における一定時間長のフレームを意味する。具体的には、この実施の形態では、楽曲データを時間長において３等分した各データの先頭から３０秒の区間とする。従って、一つの楽曲データについては、３つのテンポ情報と３つのビート情報が作成されることとなる。
【００４５】
ステップＳ４６において、テンポ情報作成手段２０４は、フレームｆ のスコアＳ(f)が隣接するＮフレームのスコアの中で最大の値であるか否かを判別する。判別の結果、最大の値である場合にはステップＳ４７に移行し、テンポ情報作成手段２０４は、そのフレームｆ がビート位置にあると判断し、ビートフラグＢ(f)の値を１に設定すると共にカウンタbeatの値を１増数し、ステップＳ４９に移行する。
【００４６】
一方、フレームｆ のスコアＳ(f)が隣接するＮフレームのスコアの中で最大の値でない場合には、ステップＳ４８において、テンポ情報作成手段２０４は、ビートフラグＢ(f)の値を０に設定し、ステップＳ４９に移行する。
【００４７】
ステップＳ４９において、テンポ情報作成手段２０４は、特定区間内の全てのフレームについて上記の処理を完了したか否かを判別する。判別の結果、完了した場合には一連のテンポ情報作成処理は終了し、音楽的特徴抽出処理のステップＳ５の処理に移行する。一方、完了していない場合には、再びステップＳ４６の処理に戻り、ステップＳ４６〜ステップＳ４９の各処理を繰り返す。
【００４８】
再び、図３のフローチャートに戻り、検索空間作成処理のステップＳ５以後の処理について説明する。
【００４９】
ビート情報作成手段２０５は、差分データ演算手段２０３が出力する 差分データを用いてビート情報を作成する（ステップＳ５）。
【００５０】
〈ビート情報作成処理〉
ここで、上記ステップＳ５におけるビート情報作成手段２０５によるビート情報作成処理を、図５に示すフローチャートを参照して詳しく説明する。
【００５１】
ステップＳ５１において、ビート情報作成手段２０５は、ビートフラグＢ(f)が１であるか否かを判別することにより、そのフレームがビート位置にあるか否かを判別する。判別の結果、ビート位置にある場合にはステップＳ５２の処理へと移行し、ビート位置にない場合にはステップＳ５５の処理へと移行する。
【００５２】
ステップＳ５２において、ビート情報作成手段２０５は、差分値ｄ(i,f)が閾値Ｔｈ以上であるか否かを判別する。判別の結果、閾値Ｔｈ以上である場合にはステップＳ５３の処理へと移行し、閾値Ｔｈ以下である場合にはステップＳ５４の処理へと移行する。
【００５３】
ステップＳ５３において、ビート情報作成手段２０５は、レベルＬにその差分値ｄ(i,f)を加算する。
【００５４】
ここで、前述のように閾値Ｔｈは正の値であるので、ステップＳ５３の処理にて、ビート位置にあると判定されたフレームｆにおいて、時間的に後ろに位置するフレームｆ＋ｎでスペクトルパワーが増加している場合のみ、レベルＬに差分値が加算されることになる。
【００５５】
ステップＳ５４において、ビート情報作成手段２０５は、フレーム内の全ての差分値に対して上記の処理を完了したか否かを判別する。判別の結果、完了した場合にはステップＳ５５の処理へと移行し、完了していない場合にはこのビート情報作成処理は再度ステップＳ５２の処理に戻り、フレーム内の全ての差分値に対して上記の処理を完了するまでステップＳ５２〜ステップＳ５４の処理を繰り返す。
【００５６】
ステップＳ５５において、ビート情報作成手段２０５は、特定区間内の全てのフレームについて上記の処理を完了したか否かを判別する。判別の結果、完了した場合にはステップＳ５６の処理へと移行し、完了していない場合にはステップＳ５１の処理に戻り、特定区間内の全てのフレームについて上記の処理を完了するまでステップＳ５１〜ステップＳ５５の各処理を繰り返す。
【００５７】
ステップＳ５６において、ビート情報作成手段２０５は、レベルＬをカウンタbeatの値で割ることにより１ビート位置当たりの平均レベルを算出し、算出した値をビート情報levelに設定する。これにより、一連のビート情報作成処理は終了し、図３のステップＳ６の処理に移行する。
【００５８】
再び図３のフローチャートに戻り、特徴ベクトル作成手段２０６は、作成されたテンポ情報とビート情報とを用いて特徴ベクトルＶｆ を作成する（ステップＳ６）。
【００５９】
ここで、具体的には、テンポ情報作成手段２０４（ステップＳ４の処理）により作成された３つのテンポ情報を［beat0,beat1,beat2］とし、ビート情報作成手段２０５（ステップＳ５の処理）により作成された３つのビート情報を［level0,level1,level2］とすると、特徴ベクトルＶｆ は、以下の式（３）により表される。
【００６０】
【数３】
検索空間作成手段１０５は、作成された特徴ベクトルＶｆ と感性ベクトル格納手段１０４内に格納されている感性ベクトルＶｓ とを「正準相関分析」にかけることにより、各楽曲の正準変量が示された図６に例示するような検索空間を作成する（ステップＳ７）。
【００６１】
ここで、上記検索空間は、図７に示すように、各楽曲の検索空間上での座標値で表現することも可能である。
【００６２】
本明細書中でいう「正準相関分析」とは、２組の変数群［x1 ,x2 ,....,xp ］及び［y1 ,y2 ,....,yq ］による合成変数［u=a1 x1 +a2 x2 +....+ap xp ］及び［v=b1 y1 +b2 y2 +....+bq yq ］の相関係数が最大となるように、重み係数［a1 ,a2 ,....,ap ］及び［b1 ,b2 ,....,bq ］を定める方式を意味する。
【００６３】
ここで、検索のための楽曲を新規に追加する場合には、先ず楽曲データ追加手段１０９にてその楽曲の楽音データと書誌データを追加し、次に、前述の方法によりその楽曲の楽音データから特徴ベクトルを抽出する。そして、抽出した特徴ベクトルと、既に求められている上記重み係数を用いて、図６に例示するような検索空間上にその楽曲を配置すれば良い。
【００６４】
〔検索処理〕
次に、図８に示すフローチャートを参照して、上記の処理により作成された検索空間を利用して楽曲検索を行う際の処理の流れについて説明する。
【００６５】
この図８に示すフローチャートは、ユーザが参照曲選択入力手段１０６を介して手がかりとする参照曲を入力することで開始となり、ステップＳ１１の処理に移行する。
【００６６】
尚、参照曲選択入力手段１０６は様々な形態が想定されるが、例えば図９（ａ）に示すような入力ウィンドウ３００として構成し、ユーザに楽曲名３０１を直接入力させるようにしても良いし、あるいは、例えば図９（ｂ）に示すような入力ウィンドウ４００として構成し、楽曲名や歌手名を５０音別に指定する形態４０１として、ユーザに楽曲名を選択入力させるようにしても良い。
【００６７】
検索手段１０７は、検索空間上にある楽曲の位置と、指定された参照曲の位置との間の距離ｄを算出することにより、検索空間上での参照曲の位置に近い位置にある楽曲を算出する（ステップＳ１１）。
【００６８】
ここで、楽曲Ａ及び楽曲Ｂの検索空間上での座標をそれぞれ、［A(xa,ya),B(xb,yb)］とすると、２つの楽曲間の距離ｄは次式（４）により表現される。
【００６９】
【数４】
【００７０】
［その他の実施の形態］
次に、 検索空間作成手段１０５による検索空間作成処理（ステップＳ７）において、特徴ベクトルＶｆ と感性ベクトルＶｓ とを「重回帰分析」にかけることにより検索空間を作成する例を説明する。
【００７１】
重回帰分析とは、目的変数［y1 ,y2 ,y3 ,....］と、それに影響すると考えられる２つ以上の説明変数［x1 ,x2 ,x3 ,....］との間の関係式（次式（５）及び（６））を求め、係数［a1 ,b1 ,c1 ,....,a2 ,b2 ,c2 ,....］を決定するものである。
【００７２】
【数５】
【００７３】
検索を行う際には、検索手段１０７において検索空間上での楽曲間の距離ｄを演算し、近い位置にある楽曲を求める。楽曲Ａ及び楽曲Ｂの検索空間上での座標をそれぞれ、［A(y1a ,y2a ,y3a ,....),B(y1b ,y2b ,y3b ,....)］とすると、２つの楽曲間の距離ｄは次式（７）により表現される。
【００７４】
【数６】
【００７５】
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。この実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論である。
【００７６】
【発明の効果】
本発明によれば、楽曲の音楽的特徴を示す特徴ベクトルと、所定の感性語に対する楽曲の適合度合いを示す感性ベクトルとを用いて検索空間における各楽曲の座標値を算出し、この検索空間上における参照曲の位置に近い位置にある楽曲を類似する楽曲として抽出するので、ＣＤ等の一般的な楽音データの中からユーザの指定する参照曲に類似する印象を有する楽曲を検索することができる。また、一旦検索空間が作成された後に、新たに追加される楽曲については、特徴ベクトルのみを求め、作成済みの検索空間に配置するようにしてもよく、その場合は、少ない労力で楽曲の追加を行うことを可能とする。
【００７７】
また、楽音データをフレーム単位で時間周波数解析してフレーム毎のスペクトルデータを算出し、フレームのスペクトルデータと他のフレームのスペクトルデータとの、周波数成分毎の差分値を加算した第１の加算値をフレーム毎に算出する。次に、隣接する所定数のフレームにおいて第１の加算値が最大となるフレームをビート位置として判定する。そして、複数の解析区間毎のビート位置の個数と、そのビート位置における前記第１の加算値を前記複数の解析区間毎に加算した第２の加算値との少なくとも一方を用いて、特徴ベクトルを作成するようにした。この場合には、ＣＤ等の楽曲のようなＭＩＤＩデータではない楽音データであっても楽曲の特徴ベクトルを容易に作成することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である楽曲検索装置の全体構成を示すブロック図である。
【図２】図１に示す 楽曲検索装置における音楽的特徴抽出手段の構成を示すブロック図である。
【図３】図１に示す 楽曲検索装置における検索空間作成処理を示すフローチャート図である。
【図４】図３に示すテンポ情報作成処理を示すフローチャート図である。
【図５】図３に示すビート情報作成処理を示すフローチャート図である。
【図６】図１に示す 楽曲検索装置における検索空間を示す模式図である。
【図７】図１に示す 楽曲検索装置における検索空間を示す他の例である。
【図８】図１に示す 楽曲検索装置における検索処理を示すフローチャートである。
【図９】図１に示す 楽曲検索装置における参照曲選択入力手段の構成を示す模式図である。
【符号の説明】
１０１…楽音データ格納手段、
１０２…書誌データ格納手段、
１０３…音楽的特徴抽出手段、
１０４…感性ベクトル格納手段、
１０５…検索空間作成手段、
１０６…参照曲入力手段、
１０７…検索手段、
１０８…検索結果出力手段、
１０９…楽曲データ追加手段、
２０１…時間周波数変換手段、
２０２…遅延手段、
２０３…差分データ演算手段、
２０４…テンポ情報作成手段、
２０５…ビート情報作成手段、
２０６…特徴ベクトル作成手段
Claims (10)
- 楽曲の音響信号である楽音データを複数の楽曲分格納する楽音データ格納手段と、
前記楽音データ格納手段に格納された楽曲の楽音データに対して、その楽音データの先頭からの時間的位置が異なる複数の解析区間を設定し、前記解析区間毎に所定の特徴量を算出し、前記複数の解析区間の特徴量を異なるベクトル次元に対応させたベクトルをその楽曲の特徴ベクトルとして作成する音楽的特徴抽出手段と、
特徴ベクトルと、所定の感性語に対する楽曲の適合度合いを示す感性ベクトルとを用いて算出された重み係数であり、特徴ベクトルを検索空間における座標値に変換するための前記重み係数を用いて、前記楽音データ格納手段に格納されている楽曲の前記座標値を算出する座標値算出手段と、
前記楽音データ格納手段に格納されている前記楽曲の中から検索する楽曲の参照曲となる楽曲を選択する参照曲選択手段と、
前記座標値算出手段で算出された前記参照曲の座標値である基準座標値と、前記座標値算出手段で算出された前記参照曲以外の他の楽曲の各座標値とを各々比較し、前記他の楽曲の内から前記基準座標値と近い座標値を有する楽曲を選択する検索手段と、
を備えることを特徴とする楽曲検索装置。 - 前記音楽的特徴抽出手段は、
前記設定した複数の解析区間毎に、前記楽音データ格納手段に格納された前記楽音データをフレーム単位で時間周波数解析してフレーム毎のスペクトルデータを算出し、フレームのスペクトルデータと他のフレームのスペクトルデータとの、周波数成分毎の差分値を加算した第１の加算値をフレーム毎に算出して、隣接する所定数のフレームにおいて前記第１の加算値が最大となるフレームをビート位置として判定すると共に、前記複数の解析区間毎の前記ビート位置の個数と、前記ビート位置における前記第１の加算値を前記複数の解析区間毎に加算した第２の加算値との少なくとも一方を用いて、前記特徴ベクトルを作成する、
ことを特徴とする請求項１に記載の楽曲検索装置。 - 前記音楽的特徴抽出手段は、
１つの楽曲を所定数の小区間に分割し、それぞれの小区間に対して所定時間の前記解析区間を設定する、
ことを特徴とする請求項１または請求項２に記載の楽曲検索装置。 - 前記座標値算出手段は、
前記音楽的特徴抽出手段で作成された特徴ベクトルと、所定の感性語に対する前記楽曲の適合度合いを示す感性ベクトルとを正準相関分析して前記重み係数を算出する、
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の楽曲検索装置。 - 前記座標値算出手段は、
前記音楽的特徴抽出手段で作成された特徴ベクトルと、所定の感性語に対する前記楽曲の適合度合いを示す感性ベクトルとを重回帰分析して前記重み係数を算出する、
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の楽曲検索装置。 - 複数の楽曲を検索対象として楽曲の検索を行う楽曲検索装置で実行される楽曲検索方法であって、
楽曲の音響信号である楽音データを複数の楽曲分格納する楽音データ格納手段に格納された楽曲の楽音データに対して、その楽音データの先頭からの時間的位置が異なる複数の解析区間を設定し、前記解析区間毎に所定の特徴量を算出し、前記複数の解析区間の特徴量を異なるベクトル次元に対応させたベクトルをその楽曲の特徴ベクトルとして作成する音楽的特徴抽出ステップと、
特徴ベクトルと、所定の感性語に対する楽曲の適合度合いを示す感性ベクトルとを用いて算出された重み係数であり、特徴ベクトルを検索空間における座標値に変換するための前記重み係数を用いて、前記楽音データ格納手段に格納されている楽曲の前記座標値を算出する座標値算出ステップと、
前記楽音データ格納手段に格納されている前記楽曲の中から検索する楽曲の参照曲となる楽曲を選択する参照曲選択ステップと、
前記座標値算出ステップで算出された前記参照曲の座標値である基準座標値と、前記座標値算出ステップで算出された前記参照曲以外の他の楽曲の各座標値とを各々比較し、前記他の楽曲の内から前記基準座標値と近い座標値を有する楽曲を選択する検索ステップと、
を備えることを特徴とする楽曲検索方法。 - 前記音楽的特徴抽出ステップは、
前記設定した複数の解析区間毎に、前記楽音データ格納手段に格納された前記楽音データをフレーム単位で時間周波数解析してフレーム毎のスペクトルデータを算出し、フレームのスペクトルデータと他のフレームのスペクトルデータとの、周波数成分毎の差分値を加算した第１の加算値をフレーム毎に算出して、隣接する所定数のフレームにおいて前記第１の加算値が最大となるフレームをビート位置として判定すると共に、前記複数の解析区間毎の前記ビート位置の個数と、前記ビート位置における前記第１の加算値を前記複数の解析区間毎に加算した第２の加算値との少なくとも一方を用いて、前記特徴ベクトルを作成する、
ことを特徴とする請求項６に記載の楽曲検索方法。 - 前記音楽的特徴抽出ステップは、
１つの楽曲を所定数の小区間に分割し、それぞれの小区間に対して所定時間の前記解析区間を設定する、
ことを特徴とする請求項６または請求項７に記載の楽曲検索方法。 - 前記座標値算出ステップは、
前記音楽的特徴抽出ステップで作成された特徴ベクトルと、所定の感性語に対する前記楽曲の適合度合いを示す感性ベクトルとを正準相関分析して前記重み係数を算出する、
ことを特徴とする請求項６〜請求項８のいずれか１項に記載の楽曲検索方法。 - 前記座標値算出ステップは、
前記音楽的特徴抽出ステップで作成された特徴ベクトルと、所定の感性語に対する前記楽曲の適合度合いを示す感性ベクトルとを重回帰分析して前記重み係数を算出する、
ことを特徴とする請求項６〜請求項８のいずれか１項に記載の楽曲検索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001289792A JP4622199B2 (ja) | 2001-09-21 | 2001-09-21 | 楽曲検索装置及び楽曲検索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001289792A JP4622199B2 (ja) | 2001-09-21 | 2001-09-21 | 楽曲検索装置及び楽曲検索方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003099462A JP2003099462A (ja) | 2003-04-04 |
| JP2003099462A5 JP2003099462A5 (ja) | 2009-06-25 |
| JP4622199B2 true JP4622199B2 (ja) | 2011-02-02 |
Family
ID=19112233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001289792A Expired - Lifetime JP4622199B2 (ja) | 2001-09-21 | 2001-09-21 | 楽曲検索装置及び楽曲検索方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4622199B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007304119A (ja) * | 2004-03-03 | 2007-11-22 | Pioneer Electronic Corp | 楽曲同一性判別装置及び方法等 |
| JP3871690B2 (ja) * | 2004-09-30 | 2007-01-24 | 松下電器産業株式会社 | 音楽コンテンツ再生装置 |
| JP2008145448A (ja) * | 2005-03-31 | 2008-06-26 | Pioneer Electronic Corp | 情報類似性判別装置及び情報類似性判別方法等 |
| JP4940588B2 (ja) * | 2005-07-27 | 2012-05-30 | ソニー株式会社 | ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法 |
| JP5082257B2 (ja) * | 2006-02-27 | 2012-11-28 | 大日本印刷株式会社 | 音響信号検索装置 |
| JP5259111B2 (ja) * | 2007-03-27 | 2013-08-07 | ヤマハ株式会社 | 音楽再生制御装置 |
| JP2008251109A (ja) * | 2007-03-30 | 2008-10-16 | Clarion Co Ltd | 楽曲再生制御装置および楽曲再生方法 |
| JP4933330B2 (ja) * | 2007-03-30 | 2012-05-16 | クラリオン株式会社 | 楽曲再生制御装置および再生リスト作成方法 |
| JP4916945B2 (ja) * | 2007-04-19 | 2012-04-18 | 株式会社タイトー | 楽曲情報付与サーバ、端末、及び楽曲情報付与システム |
| JP4982860B2 (ja) * | 2007-07-31 | 2012-07-25 | 学校法人 中央大学 | 音響処理のための情報処理装置、音響処理方法、プログラム、および音響検索システム |
| JP4983506B2 (ja) * | 2007-09-25 | 2012-07-25 | ヤマハ株式会社 | 楽曲加工装置およびプログラム |
| JP5098896B2 (ja) * | 2008-08-28 | 2012-12-12 | ソニー株式会社 | 再生装置および再生方法 |
| JP2010086273A (ja) | 2008-09-30 | 2010-04-15 | Kddi Corp | 楽曲検索装置、楽曲検索方法、および楽曲検索プログラム |
| JP2016057571A (ja) * | 2014-09-12 | 2016-04-21 | ヤマハ株式会社 | 音響解析装置 |
| JP2016057570A (ja) * | 2014-09-12 | 2016-04-21 | ヤマハ株式会社 | 音響解析装置 |
| JP7135607B2 (ja) * | 2018-09-03 | 2022-09-13 | 日本電信電話株式会社 | 情報処理装置、情報処理方法及びプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06290574A (ja) * | 1993-03-31 | 1994-10-18 | Victor Co Of Japan Ltd | 楽曲検索装置 |
| JPH10134549A (ja) * | 1996-10-30 | 1998-05-22 | Nippon Columbia Co Ltd | 楽曲検索装置 |
-
2001
- 2001-09-21 JP JP2001289792A patent/JP4622199B2/ja not_active Expired - Lifetime
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06290574A (ja) * | 1993-03-31 | 1994-10-18 | Victor Co Of Japan Ltd | 楽曲検索装置 |
| JPH10134549A (ja) * | 1996-10-30 | 1998-05-22 | Nippon Columbia Co Ltd | 楽曲検索装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003099462A (ja) | 2003-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4622199B2 (ja) | 楽曲検索装置及び楽曲検索方法 | |
| JP4465626B2 (ja) | 情報処理装置および方法、並びにプログラム | |
| JP3433818B2 (ja) | 楽曲検索装置 | |
| CN106095925B (zh) | 一种基于声乐特征的个性化歌曲推荐方法 | |
| US7812241B2 (en) | Methods and systems for identifying similar songs | |
| Bosch et al. | Evaluation and combination of pitch estimation methods for melody extraction in symphonic classical music | |
| JP4344499B2 (ja) | 音楽データベースの検索 | |
| US8492637B2 (en) | Information processing apparatus, musical composition section extracting method, and program | |
| JP5565374B2 (ja) | オーディオ作品のセグメンテーションを変更するための装置 | |
| US7373209B2 (en) | Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus, and methods and programs for implementing the same | |
| JP5593608B2 (ja) | 情報処理装置、メロディーライン抽出方法、ベースライン抽出方法、及びプログラム | |
| US20050086052A1 (en) | Humming transcription system and methodology | |
| CN109979488B (zh) | 基于重音分析的人声转乐谱系统 | |
| WO2001031513A2 (en) | Music search by melody input | |
| JP5127982B2 (ja) | 音楽検索装置 | |
| JP2007520727A (ja) | 楽曲のようなサウンドシーケンスを処理する方法 | |
| JPH10307580A (ja) | 音楽検索方法および装置 | |
| JPH10319948A (ja) | 音楽演奏に含まれる楽器音の音源種類判別方法 | |
| JP6296221B2 (ja) | 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム | |
| JP4722738B2 (ja) | 楽曲分析方法及び楽曲分析装置 | |
| CN110867174A (zh) | 自动混音装置 | |
| Nagavi et al. | An extensive analysis of query by singing/humming system through query proportion | |
| JP4607660B2 (ja) | 楽曲検索装置および楽曲検索方法 | |
| JP3934556B2 (ja) | 信号識別子の抽出方法及びその装置、信号識別子からデータベースを作成する方法及びその装置、及び、検索時間領域信号を参照する方法及びその装置 | |
| JP7375302B2 (ja) | 音響解析方法、音響解析装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090507 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101018 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4622199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |