JP4027051B2 - 楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体 - Google Patents
楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体 Download PDFInfo
- Publication number
- JP4027051B2 JP4027051B2 JP2001082150A JP2001082150A JP4027051B2 JP 4027051 B2 JP4027051 B2 JP 4027051B2 JP 2001082150 A JP2001082150 A JP 2001082150A JP 2001082150 A JP2001082150 A JP 2001082150A JP 4027051 B2 JP4027051 B2 JP 4027051B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- value
- calculated
- frequency
- acoustic signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Auxiliary Devices For Music (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、楽曲に関する書誌情報や楽曲に対する主観的な印象に基づいて、利用者の希望する楽曲を検索して提示する楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体に関するものである。
【０００２】
【従来の技術】
ハードディスクや連装機能付きＣＤプレーヤ等、大量の音楽が格納されている楽曲データベースから特定の楽曲を検索する場合、一般的には楽曲の曲名や歌手名、作詞・作曲者名等をキーワードとして検索を行う場合が多い。
【０００３】
従来の一般的な楽曲検索装置を、図８を用いて説明する。図８において、８１は選曲条件入力手段で、検索対象の曲名等、選曲の条件を入力する。８２は楽曲データベースで、楽曲のオーディオ信号と共に、各楽曲の曲名や歌手名、作詞・作曲者名等の書誌情報が記録され、参照可能となっている。８３は書誌情報検索手段で、選曲条件入力手段８１で入力された曲名等の条件を検索キーとして楽曲データベースを参照し、検索キーと一致又は類似する書誌情報をもった楽曲を出力する。８４は再生曲選択手段で、書誌情報検索手段８３の検索結果から利用者が再生を希望する楽曲を選択する。そして８５は楽曲再生手段で、再生曲選択手段８４で選択された楽曲を聴取可能なように再生する。
【０００４】
従来の楽曲検索装置の動作を例を挙げて説明する。今、利用者が「クリスマス」に関する楽曲を検索し、聴取したいとする。この場合は、利用者が選曲条件入力手段８１で曲名の項目に「クリスマス」と入力し、曲名に「クリスマス」という文字列が含まれる楽曲を検索するのが一般的である。書誌情報検索手段８３では、楽曲データベース８２を参照し、曲名「クリスマス」を検索キーとして書誌情報に「クリスマス」という文字列が含まれている楽曲を検索し、その結果を出力する。検索の結果、「クリスマスキャロル」、「クリスマスイブ」、「戦場のメリークリスマス」の３曲が出力されたとすると、再生曲選択手段８４でこれら３曲のその他の書誌情報（歌手名、作詞・作曲者名等）を参考に利用者が再生する曲を選択し、希望の曲があれば楽曲再生手段８５で再生し、聴取することができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記のような楽曲の曲名、歌手名等の書誌情報は楽曲の客観的・外観的な観点からの情報であり、楽曲そのものが聴取者に対してもたらす主観的印象を推測するのは困難である。そのため、「躍動感がある楽曲を検索したい」などという主観的な印象に基づく楽曲の検索は、従来の楽曲検索装置では困難であるという課題があった。
【０００６】
一方、上記主観的な印象に基づく楽曲検索を実現するために、上記楽曲データベース８２に予め楽曲の主観的な印象をインデックス化して登録しておき、このインデックス情報に基づいて所望の楽曲を検索する方法が考えられる。しかしこの場合、上記インデックス情報の登録作業は人（主に装置の作成者又は利用者）が各楽曲を聞いてその印象を判断する必要があり、登録する楽曲数が多い場合はその作業にかかる負担も大きくなるという課題があった。
【０００７】
そこで本発明の目的は、楽曲に対する主観的な印象に基づいて利用者の希望する楽曲を検索可能にするために、楽曲を登録する楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
この課題を解決するために、本発明の楽曲登録装置は、楽曲の音響信号を登録する楽曲登録装置であって、楽曲の音響信号を入力する音響信号入力部と、前記音響信号入力部に入力された音響信号から周波数帯域毎の立ち上がり成分を検出し、前記立ち上がり成分により、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、及び拍強度比率のうち、何れか複数を特徴量として抽出する特徴量抽出部と、抽出された前記複数の特徴量を用いて、楽曲の聴感上の心理量である相異なる複数の印象因子を夫々数量化した複数の印象値を算出する印象値算出部と、前記音響信号入力部に入力された音響信号と前記複数の特徴量と前記複数の印象値とを楽曲データベースに登録する手段と、を有することを特徴とするものである。
【０００９】
ここで前記印象値算出部は、複数の楽曲の特徴量から多変量解析等により算出される係数に基づいて、楽曲の印象値を算出するようにしてもよい。
【００１０】
ここで前記特徴量抽出部は、前記立ち上がり成分の有無を検出し、その有無を時間フレーム毎に合算し、更にその合算結果を当該音響信号の全フレームに渡り平均化することにより、立ち上がり頻度を算出することにより、前記平均発音数を算出するようにしてもよい。
【００１１】
ここで前記特徴量抽出部は、更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、前記立ち上がり成分の自己相関関数を算出し、得られた自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、帯域毎に出力信号から直流成分を検出し、周波数帯域毎の出力信号から最もパワーの大きい帯域の信号をピーク値として検出し、前記直流成分の出力信号のパワーを、前記ピーク値の出力信号のパワーで除算することにより、前記発音非周期性を算出するようにしてもよい。
【００１２】
ここで前記特徴量抽出部は、更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベルを第１のピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分算出部の出力信号と前記周期構造算出部の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、前記周波数帯域毎の出力信号から最もパワーの大きい帯域の信号を第２のピーク値として検出し、前記当該楽曲の拍周期と前記第２のピーク値との比率を算出することにより、前記拍周期比率を算出するようにしてもよい。
【００１３】
ここで前記特徴量抽出部は、更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベル値をピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、当該楽曲の拍周期から、その拍周期の整数分の１に相当する周波数を算出し、前記自己相関関数の周波数分析から、前記周波数算出により出力した周波数近傍で極大値を示す値を参照してその値を出力することにより、前記拍強度を算出するようにしてもよい。
【００１４】
ここで前記特徴量抽出部は、更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベルをピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析して周波数帯域毎の信号を出力し、前記当該楽曲の拍周期から、その拍周期の整数分の１に相当する第１の周波数を算出し、前記自己相関関数の周波数分析から、前記第１の周波数近傍で極大値を示す値を参照してその値を第１の値として出力し、当該楽曲の拍周期から、その拍周期の４分の１に相当する第２の周波数を算出し、前記自己相関関数の周波数分析から、前記第２の周波数近傍で極大値を示す値を参照してその値を第２の値として出力し、前記第１の値と前記第２の値との比率を算出することにより、前記拍強度比率を算出するようにしてもよい。
【００１５】
ここで前記特徴量抽出部の周期構造算出は、算出されたピークを、そのレベル値に基づいて並べ替え、並べ替えられた各ピークを、そのレベル値が近似するグループに分割し、グループ化されたレベル群から、階層数を含む当該楽曲の周期構造に関するパラメータを算出するようにしてもよい。
【００１６】
ここで前記特徴量抽出部の周期構造算出は、算出されたピークのレベル値に対してヒストグラムを生成し、前記ヒストグラムから、階層数を含む当該楽曲の周期構造に関するパラメータを算出するようにしてもよい。
【００１７】
この課題を解決するために、本発明の楽曲登録方法は、楽曲の音響信号を登録する楽曲登録方法であって、楽曲の音響信号を入力する音響信号入力工程と、前記音響信号入力部に入力された音響信号から周波数帯域毎の立ち上がり成分を検出し、前記立ち上がり成分により、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、及び拍強度比率のうち、何れかを特徴量として抽出する特徴量抽出工程と、抽出された前記複数の特徴量を用いて楽曲の聴感上の心理量である相異なる複数の印象値を夫々数量化した複数の印象値を算出する印象値算出工程と、前記音響信号入力部に入力された音響信号と前記特徴量と前記複数の楽曲データベースに登録する工程と、を含むものである。
【００１８】
この課題を解決するために、本発明のコンピュータプログラムは、コンピュータによって読み取られ実行されるコンピュータプログラムであって、コンピュータに、楽曲の音響信号を入力する音響信号入力ステップと、前記音響信号入力部に入力された音響信号から周波数帯域毎の立ち上がり成分を検出し、前記立ち上がり成分により、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、及び拍強度比率のうち、何れかを特徴量として抽出する特徴量抽出ステップと、抽出された前記複数の特徴量を用いて楽曲の聴感上の心理量である相異なる複数の印象値を夫々数量化した複数の印象値を算出する印象値算出ステップと、前記音響信号入力部に入力された音響信号と前記特徴量と前記複数の楽曲データベースに登録するステップと、を含み、各ステップを実行させるためのものである。
【００１９】
この課題を解決するために、本発明の記録媒体は、コンピュータプログラムを記録したコンピュータ読み取り可能なものである。
【００２２】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。図１は本発明の実施の形態１における楽曲検索装置の全体構成を示すブロック図である。図１において、１１は楽曲データベース、１２は音響信号入力手段、１３は特徴量抽出手段、１４は印象値算出手段、１５は書誌情報入力手段、１６は検索要件入力手段、１７は予測印象値算出手段、１８は印象値検索手段、１９は選曲手段、１１０は楽曲再生手段を表している。
【００２３】
以上のように構成された楽曲検索装置の動作について、図１を用いて説明する。本装置は大きく分けて、検索対象となる楽曲の音響信号及びその付随情報を楽曲データベース１１に登録する楽曲登録部１１１、及び利用者の検索要件に応じて楽曲データベースから所望の楽曲を検索する楽曲検索部１１２及び楽曲データベース１１より構成される。
【００２４】
まず楽曲登録部１１１について概説する。楽曲データベース１１は、利用者が再生可能な複数の楽曲について、楽曲毎にその音響信号及び付随情報を記録し、参照可能としたものである。最初に、音響信号入力手段１２は、登録対象として入力された音響信号（ＣＤ等のメディアに記録された音響信号や放送等で配信される音響信号等）を楽曲データベース１１へ登録すると共に、付随情報生成のため後段の特徴量抽出手段１３に出力する。入力される音響信号がアナログ信号の場合は、音響信号入力手段１２によりディジタル化した後、後段に出力される。
【００２５】
次に、特徴量抽出手段１３は、入力された音響信号から、その音響信号の物理的特徴を表すいくつかの特徴量を抽出し楽曲データベースに登録する。そして、印象値算出手段１４は特徴量抽出手段１３が抽出した楽曲の物理的特徴量を、楽曲の主観的な印象を数量化した印象値に変換し、楽曲データベースに登録する。一方、登録対象として入力された音響信号に関する書誌情報（曲名、歌手名等）は書誌情報入力手段１５により別途楽曲データベースに登録される。
【００２６】
次に楽曲検索部１１２について概説する。最初に、利用者は検索要件入力手段１６に、検索したい楽曲に対する要件を入力する。次に予測印象値算出手段１７は入力された検索要件のうち主観的な印象に関する部分から、検索対象として予想される楽曲の印象値（楽曲の主観的な印象を表す数量）を算出する。そして印象値検索手段１８は入力された検索要件と予測印象値算出手段１７で算出された予想印象値を検索キーとして、楽曲データベース１１に登録されている各楽曲の付随情報部分を参照し、検索キーに類似する付随情報をもっている複数の楽曲を候補曲として出力する。その後、選曲手段１９は、利用者の選択操作や予め定めた選曲手順等により楽曲の選択を行い、楽曲再生手段１１０は最終的に選択された楽曲を検索結果として再生する。
【００２７】
では、以下各手段の詳細について、図面を参照しながら説明する。図２は本実施の形態における特徴量抽出抽出手段の概略を示すブロック図である。また（表１）は本発明の実施の形態における特徴量及びその概略を表したものである。
【００２８】
【表１】
【００２９】
図２の特徴量抽出手段は、入力された音響信号から、（表１）に記載された８つの物理的特徴量を抽出する。（表１）の各特徴量の抽出動作を図２を使って説明する。以下、処理フレーム時刻をｔ，帯域分割した周波数帯域番号をｆとし、音響信号はディジタル化された後、一定時間長のフレーム単位で処理されるものとする。
【００３０】
（１）スペクトル変化度（ＳＦ）
まずステップ２１において入力された音響信号を処理フレーム毎にフーリエ変換し、各帯域のパワーを求めることによりパワースペクトルＳ（ｔ）を算出する。次にステップ２２において（数１）よりフレーム間のパワースペクトル変化量ΔＳ（ｔ）を算出する。
【００３１】
【数１】
【００３２】
そしてステップ２３において全フレーム時刻にわたりΔＳ（ｔ）を平均化し、スペクトル変化度ＳＦＬＸを算出する（数２）。
【００３３】
【数２】
【００３４】
（２）平均発音数（ＡＲ）
まず、ステップ２１で算出されたパワースペクトルＳ（ｔ）の各帯域のパワーｐ（ｔ，ｆ）を利用して、各帯域の信号成分の立ち上がり度合いｄ（ｔ，ｆ）及びｄ（ｔ，ｆ）をフレーム時刻ｔにおいて周波数方向に加算した立ち上がり成分Ｄ（ｔ）を算出する。ｄ（ｔ，ｆ）及びＤ（ｔ）は、各帯域ｆのパワーｐ（ｔ，ｆ）を利用して（数３）から（数７）により算出する。
【００３５】
【数３】
【００３６】
【数４】
【００３７】
【数５】
【００３８】
【数６】
【００３９】
【数７】
【００４０】
立ち上がり度合いｄ（ｔ，ｆ）及び立ち上がり成分Ｄ（ｔ）の抽出方法については、例えば文献（後藤・村岡：“音楽音響信号に対するビートトラッキングシステム”，情報処理学会研究報告，Vol.94, No.71, pp.49-56, 1994）に詳細が記載されている。そしてステップ２５において立ち上がり度合いｄ（ｔ，ｆ）の全フレームにわたる出現頻度を（数８）により算出し、平均発音数とする。
【００４１】
【数８】
【００４２】
（３）発音非周期性（ＮＺ）
まずステップ２６において（数９）によりＤ（ｔ）の自己相関関数Ａ（ｍ）（ｍは遅延フレーム）を算出し、立ち上がり成分の周期性を求める。次にステップ２７においてＡ（ｍ）をフーリエ変換し、各帯域のパワーを求めることによりＡ（ｍ）のパワースペクトルＡｓｐｅｃ（Ｋ）（Ｋは周波数）を算出する。そしてステップ２８においてＡｓｐｅｃ（Ｋ）の直流成分値（即ちＡｓｐｅｃ（０））を、ステップ２９においてＡｓｐｅｃ（Ｋ）のピーク値（Ａｓｐｅｃ（Ｋｐｅａｋ）とする）をそれぞれ検出し、ステップ２１０においてＡｓｐｅｃ（０）とＡｓｐｅｃ（Ｋｐｅａｋ）の比率を算出することにより、発音非周期性を算出する（数１０）。
【００４３】
【数９】
【００４４】
【数１０】
【００４５】
（４）拍周期（ＴＴ）
拍周期ＴＴは、楽曲の拍の間隔、即ち当前記楽曲の４分音符の時間長であり、立ち上がり成分Ｄ（ｔ）の自己相関関数Ａ（ｍ）を用いて検出する。まずステップ２１１でＡ（ｍ）のピーク部分、即ち信号の立ち上がり成分の周期が最も強く表れている時間長ｐｋ（ｉ）を算出する。次にステップ２１２によりｐｋ（ｉ）より拍周期候補Ｔ１，Ｔ２を算出し、ステップ２１３で楽曲の周期構造を算出し、ステップ２１４において立ち上がり頻度ＡＲ、及び前記周期性構造を参照することにより、Ｔ１，Ｔ２のうち真の拍周期と考えられる方を楽曲の拍周期として出力する。拍周期の算出方法については、例えば文献（田川・三崎：“音楽信号からのテンポ検出法に関する一検討”，日本音響学会講演論文集，pp.529-530, 2000）に詳細が記載されている。
【００４６】
（５）拍周期比率（ＢＲ）
拍周期と、優勢な発音周期との関係より、拍周期比率を求める。まずステップ２１５において、上記Ａｓｐｅｃ（Ｋｐｅａｋ）に対応する時間周期Ｔｋｐｅａｋを算出した後、（数１１）により拍周期ＴＴとＴｋｐｅａｋとの比率ＢＲを算出する。
【００４７】
【数１１】
【００４８】
（６）拍強度１（ＢＩ１）
拍周期の概ね半分の周期で出現する、立ち上がり成分のパワーを算出する。まずステップ２１６において拍周期の半分に相当する周波数ｆ１をＴＴより算出する。そしてステップ２１７においてｆ１近傍で極大値をもつＡｓｐｅｃ（Ｋ）の値を参照し、その値をＢＩ１とする。
【００４９】
（７）拍強度２（ＢＩ２）
拍周期の概ね１／４の周期で出現する、立ち上がり成分のパワーを算出する。まずステップ２１８において拍周期の半分に相当する周波数ｆ２をＴＴより算出する。そしてステップ２１９においてｆ２近傍で極大値をもつＡｓｐｅｃ（Ｋ）の値を参照し、その値をＢＩ２とする。
【００５０】
（８）拍強度比（ＩＲ）
ステップ２２０において、拍強度１ＢＩ１と拍強度２ＢＩ２の比率ＩＲを（数１２）により算出する。
【００５１】
【数１２】
【００５２】
以上の各特徴量は、楽曲の音響的特徴を表した数量であり、楽曲が聴取者に与える主観的な印象と関連が高いと考えられる。例えば、拍周期は楽曲のテンポ、即ち速さを表現する数量であり、一般的に速い楽曲は「忙しく」、遅い曲は「ゆったり」感じられるなどは、我々が日常音楽を聞く上で体験することである。そこで、これらの特徴量を主観的な印象と関連付けるための数量として用いる。
【００５３】
図１の特徴量抽出手段１３により求まった（表１）の特徴量は、印象値算出手段１４において、（数１３）により印象値、即ち楽曲の主観的な印象を表現する数量に変換される。
【００５４】
【数１３】
【００５５】
（数１３）において、Ｉｉは印象因子ｉに対する印象値、Ｐｊは特徴量ｊの値、Ｗｉｊは特徴量ｊと印象因子ｉとの関係を表す重み係数、Ｎｐは特徴量の種類数である。本実施の形態では（表１）に示されているようにＮｐ＝７であり、Ｐｊはそれぞれ各特徴量に対応する。また、印象値Ｉｉは楽曲の主観的な印象を表す数量であり、特定の形容詞語で表現されるような印象の度合い（Ｅｊとする）を集約した数量として用いる。例えば、楽曲の印象を「激しさ（Ｅ１）」、「のりのよさ（Ｅ２）」、「爽やかさ（Ｅ３）」、「素朴さ（Ｅ４）」、「ソフトさ（Ｅ５）」の５つの観点の度合いで表現すると、ＩｉはＥｊから（数１４）で求める。
【００５６】
【数１４】
【００５７】
（数１４）でＹｉｊはＥｊとＩｊとの関係を表す重み係数である。Ｙｉｊ及び印象因子数Ｎｉの導出は、サンプルとして選定した複数の楽曲に対するＥｊの値を予めＳＤ（semantic differencial）法等による官能評価実験で求めておき、その結果に対し、主成分分析等の因子分析を施すことにより求めておく。また、Ｗｉｊの導出は、上記官能評価及び因子分析によりＹｉｊを導出し各楽曲の印象値Ｉｉを（数１４）で求めた後、その対応する各楽曲について算出した特徴量Ｐｊとの関係を線形重回帰分析等の手法により算出する。なお、上記特徴量Ｐｊと印象値Ｉｉの導出は、線形重回帰分析にかえてニューラルネットワーク等の非線形なシステムにより導出しても良い。
【００５８】
楽曲データベース１１は、各楽曲の音響信号及びその付随情報より構成されるレコードの集合体である。本実施の形態における楽曲データベース１１のレコード構成例を図３に示す。レコードは、レコードを一意に参照するための曲ＩＤ、書誌情報入力手段１５により入力された曲名や歌手名などの楽曲に関する書誌情報、特徴量抽出手段１３により抽出された特徴量、特徴量から印象値変換手段により抽出された印象値、及び音響信号入力手段１２で入力された楽曲の音響信号より構成される。
【００５９】
検索要件入力手段１６は、利用者が検索を希望する楽曲に対する要件を入力する。入力される検索要件の例を図４に示す。検索要件はアーティスト名などの文字列や「激しさ」の度合いなどを表す数値、及び「陽気に踊りたい」など予め定めた条件の有無および検索方法などを入力する。各検索要件は、キーボードや各種スイッチ、スライダーやボリューム等の手段により利用者により入力される。
【００６０】
予測印象値算出手段１７は、検索要件入力手段１６で入力された検索要件のうち、主観的な印象に関する要件（主観的要件）から、検索対象として予想される楽曲の印象値ＰＩｊ（予測印象値）を算出する。予測印象値ＰＩｊは前記重み係数Ｙｉｊを用いて数１５より算出される。
【００６１】
【数１５】
【００６２】
ＩＥｊは例えば「激しさ」の度合い等、主観的要件を構成する数値であり、ＩＥｊの種類は重み係数Ｙｉｊの導出過程で用いられた楽曲に対する印象の度合いの種類と対応する。
【００６３】
また、「陽気に踊りたい」など複数の主観的要因が絡む要件については、予めその要件を表現するＩＥｊの値をプリセットしておき、当前記要件が選択された場合はそのプリセット値から（数１５）より予測印象値ＰＩｊを算出する。例えば、主観的な度合いを最大１．０、最小−１．０の間の数量で表現した場合、「陽気に踊りたい」という要件は、「のりのよさ及び爽快さの度合いが大きい」と類推できるので、激しさＩＥ１＝０．５、のりのよさＩＥ２＝１．０、爽やかさＩＥ３＝１．０、素朴さＩＥ４＝０．０、ソフトさＩＥ５＝０．０などという値でプリセットしておき、このＩＥｊより対応する予測印象値ＰＩｊを算出することができる。
【００６４】
印象値検索手段１８は、楽曲データベース１１を参照し、書誌的要件と予測印象値ＰＩｊを検索キーとして、検索キーに類似するレコードを抽出する。書誌的要件に対しては、楽曲データベースに格納されている各レコードの書誌情報部分を参照し、入力された要件とのマッチングを計る（入力された文字列が含まれているかなど）ことにより、類似するレコードを抽出する。一方、予測印象値ＰＩｊに対しては、楽曲データベースに格納されている各レコードの印象値との類似性を数量化して検索する。印象値の類似性を模式的に説明した図を図５に示す。各レコードに記録されている各楽曲の印象値Ｉｉは印象因子数Ｎｉ個の数値組で構成されるベクトルとして空間上で表現することができ、この空間を印象空間と呼ぶことにする。図５は印象値の印象因子数Ｎｉ＝２の場合の例であり、各楽曲の印象値Ｉｉは４２のように２次元の印象空間上の点で表現される。同様に予測印象値ＰＩｊも印象空間上に布置することができ、ある主観的要件に対して例として４３の位置に布置されたとする。すると、予測印象値ＰＩｊと楽曲の印象値Ｉｉの類似性は印象空間上のユークリッド距離の大小として表現することができ、（数１６）により距離Ｌを算出し数量化できる。
【００６５】
【数１６】
【００６６】
距離Ｌを検索対象の全ての楽曲に対して算出すると、Ｌが小さい楽曲ほど予測印象値と類似している、即ち希望する楽曲の主観的な印象と類似するとみなすことができるので、距離Ｌが小さい楽曲から順次候補曲とする。検索結果として出力する候補曲は、予め定めた個数の候補曲を検索結果として出力する。なお、４４のように予測印象値を中心とした類似性判別境界を設定し、境界内の楽曲を検索結果として出力しても良い。この場合は、類似性の判別範囲を予め定めておくことにより、類似度がある程度以上の楽曲は候補曲としないという限定を加えることができる。
【００６７】
また、書誌的要件による検索と主観的要件による検索はそれぞれ独立して行っても、組み合わせて行ってもよく、検索方法は利用者が検索要件入力手段で指定するものとする。
【００６８】
また、検索要件入力手段１６で入力された曲名等の書誌情報からまず前記当する楽曲を検索し、さらにその楽曲の印象値を予測印象値として楽曲を検索することにより、書誌情報に基づいて、主観的に類似する楽曲を検索することができる。例えば、利用者が曲名に「夜空ノムコウ」と入力し、この曲名をキーにまず楽曲データベース１１を検索する。そして前記当する楽曲が見つかった後、さらに「夜空ノムコウ」の印象値を予測印象値として楽曲データベース１１を検索することにより、当前記楽曲の主観的印象に基づいて検索を行い、それに類似した印象をもつ楽曲を検索することが可能となる。この例では、「「夜空ノムコウ」に類似する印象をもつ楽曲」が検索結果として出力される。
【００６９】
また、検索要件入力手段１６が、音響信号入力手段１２、特徴量抽出手段１３、及び印象値算出手段１４を備えると、入力された音響信号から特徴量を算出し、その特徴量を予測印象値として楽曲データベースを参照することにより、入力された楽曲の音響信号に類似した印象をもつ楽曲を検索することができる。
【００７０】
印象値検索手段１８によって抽出された候補曲は、選曲手段１９によってさらに絞り込むことができる。選曲手段１９では抽出された候補曲に関する付随情報（曲名、アーティスト名等）を楽曲データベースより抽出して利用者に提示し、再生する楽曲の選択を促す。選択に際しては楽曲再生手段１１０により楽曲の一部または全部を視聴しても良い。
【００７１】
また、主観的要件により検索がなされた場合は、印象値検索手段１８で算出した距離Ｌに基づき、利用者が指定した主観的要件と抽出された各候補曲との類似度を算出し、その類似度を利用者に提示しても良い。なお、検索結果の選択は、「第一候補曲を選択結果とする」など予め定めた方法により利用者の指示を介さず自動的に行われても良い。利用者に対する情報の提示はモニターやＬＣＤなどの表示手段により行われ、選択の入力はキーボードやスイッチなどの入力手段によりなされる。
【００７２】
選曲手段により選択された楽曲は、楽曲再生手段１１０により利用者が聴取可能な形で提示される。もちろん、楽曲を再生せず、曲名等の書誌情報を検索結果として利用者に提示しても良い。
【００７３】
（実施の形態２）
以下、本発明の実施の形態２について、図面を参照しながら説明する。図６は本発明の実施の形態２における楽曲登録装置の全体構成を示すブロック図である。図６において、６１は楽曲データベース、６２は音響信号入力手段、６３は特徴量抽出手段、６４は印象値算出手段、６５は書誌情報入力手段を表している。本装置は実施の形態１における、楽曲登録部１１１を独立して装置化したものである。従って、図６の各手段の動作は、実施の形態１記載の各手段と同様である。
【００７４】
本実施の形態の楽曲登録装置は、検索データとして楽曲データベースに登録する楽曲及びその付随情報を入力された音響信号より抽出し、楽曲データベース６１に格納する。本装置によりデータベース６１に格納されるデータは、音響信号、特徴量、印象値、書誌情報等であり、本データを楽曲データベースに格納することにより、実施の形態１記載の楽曲検索装置に必要なデータベースを個別に作成することができる。
【００７５】
なお、楽曲データベース６１はハードディスク等の記録媒体やＣＤＲＯＭ等のリムーバブル媒体の形態をとり、本装置により楽曲データを登録後、楽曲検索装置に組み込み検索に利用することができる。
【００７６】
また、楽曲データベース６１とその他の手段とはインターネット等のネットワークを介して接続されている場合があり、この場合は、本装置により登録データを作成後、ネットワークを介してデータベースに格納することにより、ネットワークに接続された１または複数の楽曲検索装置に対して、検索に必要なデータを供給することができる。
【００７７】
（実施の形態３）
本実施の形態は、上記実施の形態１及び実施の形態２をコンピュータプログラムとして実施した形態である。以下、本発明の実施の形態３について、図面を参照しながら説明する。図７は本発明の実施の形態３におけるプログラムの全体構成を示すブロック図である。図７において、７１は楽曲登録プログラム、７２は楽曲検索プログラム、７３は楽曲データベースであり、その他の手段の名称及び機能は実施の形態１に記載の各手段と同様である。
【００７８】
楽曲登録プログラム７１及び楽曲検索プログラム７２は、パーソナルコンピュータやマイクロコンピュータ等の各種コンピュータ用のプログラムとして記述され、コンピュータの記録領域（メモリ、ハードディスク、フロッピーディスク等）に格納されている。また楽曲データベース７３は実施の形態１や実施の形態２に記載のように、ハードディスクやＣＤＲＯＭ等のコンピュータの記録媒体に記録されているデータの集合体である。
【００７９】
楽曲登録プログラム７１は、検索データとして楽曲データベースに登録する楽曲及びその付随情報をコンピュータに入力された音響信号より抽出し、楽曲データベース７３に格納する。本プログラムにより楽曲データベース７３に格納されるデータは、音響信号、特徴量、印象値、書誌情報等であり、本データを楽曲データベース７３に格納することにより、楽曲検索プログラム７２に必要なデータベースを作成することができる。
【００８０】
一方、楽曲検索プログラム７２は、まず利用者の検索要件を入力し、その検索要件のうち主観的な印象に関する部分から、検索対象として予想される楽曲の印象値（予測印象値）を算出する。そして入力された検索要件と前記予測印象値を検索キーとして、楽曲データベース７３に登録されている各楽曲の付随情報部分を参照し、検索キーに類似する付随情報をもっている複数の楽曲を候補曲として出力する。その後、利用者の選択操作を記号化した選択パラメータや予め定めた選曲手順等により楽曲の選択を行い、最終的に選択された楽曲を検索結果として出力する。
【００８１】
以上のプログラムにより、利用者が入力した検索要件に応じて、所望の楽曲を提供することが可能となる。なお、楽曲登録プログラム７１及び楽曲検索プログラム７２はＣＤＲＯＭ９１（図９）等のリムーバブルメディアやコンピュータネットワーク等を介してコンピュータの記録領域に格納されても良い。また、楽曲登録プログラム７１と楽曲検索プログラム７２はそれぞれ別のコンピュータ上で動作し、両コンピュータで共有された記録領域に格納された楽曲データベース７３にアクセスしても良い。もちろん、楽曲データベース７３をフロッピーディスクやＣＤＲＯＭ等のリムーバブルメディアに記録し、楽曲登録プログラム７１でデータベース７３を作成後、別のコンピュータで動作する楽曲検索プログラム７２で利用しても良い。
【００８２】
【発明の効果】
本願の請求項１〜１２に記載の楽曲登録装置、楽曲登録方法によれば、楽曲の音響信号を入力し、前記音響信号から、予め定めた特徴量を抽出し、前記特徴量から、その楽曲の印象を数量化した印象値を算出することにより、楽曲データベースに、前記音響信号及び前記印象値を登録することが可能となる。
【００８３】
また、楽曲の音響信号に含まれる発音周期及び発音強度に関する数量を特徴量として算出することにより、楽曲の印象値を算出するのに必要な特徴量を楽曲の音響信号より算出することが可能となる。
【００８４】
楽曲の音響信号のスペクトル変化度合い、発音頻度、発音周期性の度合い、拍周期、拍周期比率、拍強度、拍強度比率などの数量を特徴量として算出することにより、楽曲の印象値を算出するのに必要な特徴量を楽曲の音響信号より算出することが可能となる。
【００８５】
楽曲の音響信号を複数の帯域に分割して各帯域の立ち上がり成分を検出し、前記各帯域の立ち上がり成分を用いて算出することにより、楽曲の印象値を算出するのに必要な特徴量を楽曲の音響信号より算出することが可能となる。
【００８６】
また本願の請求項１３，１４記載の発明は、楽曲の音響信号を入力し、前記音響信号から、予め定めた特徴量を抽出し、前記特徴量から、その楽曲の印象を数量化した印象値を算出するように機能させるプログラムを記録媒体に記録することにより、記録媒体に記録されたコンピュータプログラムにより、楽曲データベースに、前記音響信号及び前記印象値を登録することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１の楽曲検索装置の概略構成を表すブロック図
【図２】 本発明の実施の形態１の特徴量抽出の概略構成を表すブロック図
【図３】 本発明の実施の形態１の楽曲データベースを構成するレコードの例を表す図
【図４】 本発明の実施の形態１の入力要件の例を表す図
【図５】 印象空間の模式的説明を表す図
【図６】 本発明の実施の形態２の楽曲登録装置の概略構成を表すブロック図
【図７】 本発明の実施の形態３の楽曲検索プログラムの概略構成を表すブロック図
【図８】 従来の楽曲検索装置の概略構成を表すブロック図
【図９】 本発明の実施の形態３のＣＤＲＯＭを示す図
【符号の説明】
１１，６１，７３，８２ 楽曲データベース
１２，６２ 音響信号入力手段
１３，６３ 特徴量抽出手段
１４，６４ 印象値算出手段
１５，６５ 書誌情報入力手段
１６ 検索要件入力手段
１７ 予測印象値算出手段
１８ 印象値検索手段
１９ 選曲手段
３１ 楽曲レコード
３２ 書誌情報
３３ 特徴量
３４ 印象値
７１ 楽曲登録プログラム
７２ 楽曲検索プログラム
８１ 選曲条件入力手段
８３ 書誌情報検索手段
８４ 再生曲選択手段
８５，１１０ 楽曲再生手段
９１ ＣＤＲＯＭ
１１１ 楽曲登録部
１１２ 楽曲検索部
【発明の属する技術分野】
本発明は、楽曲に関する書誌情報や楽曲に対する主観的な印象に基づいて、利用者の希望する楽曲を検索して提示する楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体に関するものである。
【０００２】
【従来の技術】
ハードディスクや連装機能付きＣＤプレーヤ等、大量の音楽が格納されている楽曲データベースから特定の楽曲を検索する場合、一般的には楽曲の曲名や歌手名、作詞・作曲者名等をキーワードとして検索を行う場合が多い。
【０００３】
従来の一般的な楽曲検索装置を、図８を用いて説明する。図８において、８１は選曲条件入力手段で、検索対象の曲名等、選曲の条件を入力する。８２は楽曲データベースで、楽曲のオーディオ信号と共に、各楽曲の曲名や歌手名、作詞・作曲者名等の書誌情報が記録され、参照可能となっている。８３は書誌情報検索手段で、選曲条件入力手段８１で入力された曲名等の条件を検索キーとして楽曲データベースを参照し、検索キーと一致又は類似する書誌情報をもった楽曲を出力する。８４は再生曲選択手段で、書誌情報検索手段８３の検索結果から利用者が再生を希望する楽曲を選択する。そして８５は楽曲再生手段で、再生曲選択手段８４で選択された楽曲を聴取可能なように再生する。
【０００４】
従来の楽曲検索装置の動作を例を挙げて説明する。今、利用者が「クリスマス」に関する楽曲を検索し、聴取したいとする。この場合は、利用者が選曲条件入力手段８１で曲名の項目に「クリスマス」と入力し、曲名に「クリスマス」という文字列が含まれる楽曲を検索するのが一般的である。書誌情報検索手段８３では、楽曲データベース８２を参照し、曲名「クリスマス」を検索キーとして書誌情報に「クリスマス」という文字列が含まれている楽曲を検索し、その結果を出力する。検索の結果、「クリスマスキャロル」、「クリスマスイブ」、「戦場のメリークリスマス」の３曲が出力されたとすると、再生曲選択手段８４でこれら３曲のその他の書誌情報（歌手名、作詞・作曲者名等）を参考に利用者が再生する曲を選択し、希望の曲があれば楽曲再生手段８５で再生し、聴取することができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記のような楽曲の曲名、歌手名等の書誌情報は楽曲の客観的・外観的な観点からの情報であり、楽曲そのものが聴取者に対してもたらす主観的印象を推測するのは困難である。そのため、「躍動感がある楽曲を検索したい」などという主観的な印象に基づく楽曲の検索は、従来の楽曲検索装置では困難であるという課題があった。
【０００６】
一方、上記主観的な印象に基づく楽曲検索を実現するために、上記楽曲データベース８２に予め楽曲の主観的な印象をインデックス化して登録しておき、このインデックス情報に基づいて所望の楽曲を検索する方法が考えられる。しかしこの場合、上記インデックス情報の登録作業は人（主に装置の作成者又は利用者）が各楽曲を聞いてその印象を判断する必要があり、登録する楽曲数が多い場合はその作業にかかる負担も大きくなるという課題があった。
【０００７】
そこで本発明の目的は、楽曲に対する主観的な印象に基づいて利用者の希望する楽曲を検索可能にするために、楽曲を登録する楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
この課題を解決するために、本発明の楽曲登録装置は、楽曲の音響信号を登録する楽曲登録装置であって、楽曲の音響信号を入力する音響信号入力部と、前記音響信号入力部に入力された音響信号から周波数帯域毎の立ち上がり成分を検出し、前記立ち上がり成分により、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、及び拍強度比率のうち、何れか複数を特徴量として抽出する特徴量抽出部と、抽出された前記複数の特徴量を用いて、楽曲の聴感上の心理量である相異なる複数の印象因子を夫々数量化した複数の印象値を算出する印象値算出部と、前記音響信号入力部に入力された音響信号と前記複数の特徴量と前記複数の印象値とを楽曲データベースに登録する手段と、を有することを特徴とするものである。
【０００９】
ここで前記印象値算出部は、複数の楽曲の特徴量から多変量解析等により算出される係数に基づいて、楽曲の印象値を算出するようにしてもよい。
【００１０】
ここで前記特徴量抽出部は、前記立ち上がり成分の有無を検出し、その有無を時間フレーム毎に合算し、更にその合算結果を当該音響信号の全フレームに渡り平均化することにより、立ち上がり頻度を算出することにより、前記平均発音数を算出するようにしてもよい。
【００１１】
ここで前記特徴量抽出部は、更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、前記立ち上がり成分の自己相関関数を算出し、得られた自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、帯域毎に出力信号から直流成分を検出し、周波数帯域毎の出力信号から最もパワーの大きい帯域の信号をピーク値として検出し、前記直流成分の出力信号のパワーを、前記ピーク値の出力信号のパワーで除算することにより、前記発音非周期性を算出するようにしてもよい。
【００１２】
ここで前記特徴量抽出部は、更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベルを第１のピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分算出部の出力信号と前記周期構造算出部の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、前記周波数帯域毎の出力信号から最もパワーの大きい帯域の信号を第２のピーク値として検出し、前記当該楽曲の拍周期と前記第２のピーク値との比率を算出することにより、前記拍周期比率を算出するようにしてもよい。
【００１３】
ここで前記特徴量抽出部は、更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベル値をピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、当該楽曲の拍周期から、その拍周期の整数分の１に相当する周波数を算出し、前記自己相関関数の周波数分析から、前記周波数算出により出力した周波数近傍で極大値を示す値を参照してその値を出力することにより、前記拍強度を算出するようにしてもよい。
【００１４】
ここで前記特徴量抽出部は、更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベルをピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析して周波数帯域毎の信号を出力し、前記当該楽曲の拍周期から、その拍周期の整数分の１に相当する第１の周波数を算出し、前記自己相関関数の周波数分析から、前記第１の周波数近傍で極大値を示す値を参照してその値を第１の値として出力し、当該楽曲の拍周期から、その拍周期の４分の１に相当する第２の周波数を算出し、前記自己相関関数の周波数分析から、前記第２の周波数近傍で極大値を示す値を参照してその値を第２の値として出力し、前記第１の値と前記第２の値との比率を算出することにより、前記拍強度比率を算出するようにしてもよい。
【００１５】
ここで前記特徴量抽出部の周期構造算出は、算出されたピークを、そのレベル値に基づいて並べ替え、並べ替えられた各ピークを、そのレベル値が近似するグループに分割し、グループ化されたレベル群から、階層数を含む当該楽曲の周期構造に関するパラメータを算出するようにしてもよい。
【００１６】
ここで前記特徴量抽出部の周期構造算出は、算出されたピークのレベル値に対してヒストグラムを生成し、前記ヒストグラムから、階層数を含む当該楽曲の周期構造に関するパラメータを算出するようにしてもよい。
【００１７】
この課題を解決するために、本発明の楽曲登録方法は、楽曲の音響信号を登録する楽曲登録方法であって、楽曲の音響信号を入力する音響信号入力工程と、前記音響信号入力部に入力された音響信号から周波数帯域毎の立ち上がり成分を検出し、前記立ち上がり成分により、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、及び拍強度比率のうち、何れかを特徴量として抽出する特徴量抽出工程と、抽出された前記複数の特徴量を用いて楽曲の聴感上の心理量である相異なる複数の印象値を夫々数量化した複数の印象値を算出する印象値算出工程と、前記音響信号入力部に入力された音響信号と前記特徴量と前記複数の楽曲データベースに登録する工程と、を含むものである。
【００１８】
この課題を解決するために、本発明のコンピュータプログラムは、コンピュータによって読み取られ実行されるコンピュータプログラムであって、コンピュータに、楽曲の音響信号を入力する音響信号入力ステップと、前記音響信号入力部に入力された音響信号から周波数帯域毎の立ち上がり成分を検出し、前記立ち上がり成分により、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、及び拍強度比率のうち、何れかを特徴量として抽出する特徴量抽出ステップと、抽出された前記複数の特徴量を用いて楽曲の聴感上の心理量である相異なる複数の印象値を夫々数量化した複数の印象値を算出する印象値算出ステップと、前記音響信号入力部に入力された音響信号と前記特徴量と前記複数の楽曲データベースに登録するステップと、を含み、各ステップを実行させるためのものである。
【００１９】
この課題を解決するために、本発明の記録媒体は、コンピュータプログラムを記録したコンピュータ読み取り可能なものである。
【００２２】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。図１は本発明の実施の形態１における楽曲検索装置の全体構成を示すブロック図である。図１において、１１は楽曲データベース、１２は音響信号入力手段、１３は特徴量抽出手段、１４は印象値算出手段、１５は書誌情報入力手段、１６は検索要件入力手段、１７は予測印象値算出手段、１８は印象値検索手段、１９は選曲手段、１１０は楽曲再生手段を表している。
【００２３】
以上のように構成された楽曲検索装置の動作について、図１を用いて説明する。本装置は大きく分けて、検索対象となる楽曲の音響信号及びその付随情報を楽曲データベース１１に登録する楽曲登録部１１１、及び利用者の検索要件に応じて楽曲データベースから所望の楽曲を検索する楽曲検索部１１２及び楽曲データベース１１より構成される。
【００２４】
まず楽曲登録部１１１について概説する。楽曲データベース１１は、利用者が再生可能な複数の楽曲について、楽曲毎にその音響信号及び付随情報を記録し、参照可能としたものである。最初に、音響信号入力手段１２は、登録対象として入力された音響信号（ＣＤ等のメディアに記録された音響信号や放送等で配信される音響信号等）を楽曲データベース１１へ登録すると共に、付随情報生成のため後段の特徴量抽出手段１３に出力する。入力される音響信号がアナログ信号の場合は、音響信号入力手段１２によりディジタル化した後、後段に出力される。
【００２５】
次に、特徴量抽出手段１３は、入力された音響信号から、その音響信号の物理的特徴を表すいくつかの特徴量を抽出し楽曲データベースに登録する。そして、印象値算出手段１４は特徴量抽出手段１３が抽出した楽曲の物理的特徴量を、楽曲の主観的な印象を数量化した印象値に変換し、楽曲データベースに登録する。一方、登録対象として入力された音響信号に関する書誌情報（曲名、歌手名等）は書誌情報入力手段１５により別途楽曲データベースに登録される。
【００２６】
次に楽曲検索部１１２について概説する。最初に、利用者は検索要件入力手段１６に、検索したい楽曲に対する要件を入力する。次に予測印象値算出手段１７は入力された検索要件のうち主観的な印象に関する部分から、検索対象として予想される楽曲の印象値（楽曲の主観的な印象を表す数量）を算出する。そして印象値検索手段１８は入力された検索要件と予測印象値算出手段１７で算出された予想印象値を検索キーとして、楽曲データベース１１に登録されている各楽曲の付随情報部分を参照し、検索キーに類似する付随情報をもっている複数の楽曲を候補曲として出力する。その後、選曲手段１９は、利用者の選択操作や予め定めた選曲手順等により楽曲の選択を行い、楽曲再生手段１１０は最終的に選択された楽曲を検索結果として再生する。
【００２７】
では、以下各手段の詳細について、図面を参照しながら説明する。図２は本実施の形態における特徴量抽出抽出手段の概略を示すブロック図である。また（表１）は本発明の実施の形態における特徴量及びその概略を表したものである。
【００２８】
【表１】
図２の特徴量抽出手段は、入力された音響信号から、（表１）に記載された８つの物理的特徴量を抽出する。（表１）の各特徴量の抽出動作を図２を使って説明する。以下、処理フレーム時刻をｔ，帯域分割した周波数帯域番号をｆとし、音響信号はディジタル化された後、一定時間長のフレーム単位で処理されるものとする。
【００３０】
（１）スペクトル変化度（ＳＦ）
まずステップ２１において入力された音響信号を処理フレーム毎にフーリエ変換し、各帯域のパワーを求めることによりパワースペクトルＳ（ｔ）を算出する。次にステップ２２において（数１）よりフレーム間のパワースペクトル変化量ΔＳ（ｔ）を算出する。
【００３１】
【数１】
そしてステップ２３において全フレーム時刻にわたりΔＳ（ｔ）を平均化し、スペクトル変化度ＳＦＬＸを算出する（数２）。
【００３３】
【数２】
（２）平均発音数（ＡＲ）
まず、ステップ２１で算出されたパワースペクトルＳ（ｔ）の各帯域のパワーｐ（ｔ，ｆ）を利用して、各帯域の信号成分の立ち上がり度合いｄ（ｔ，ｆ）及びｄ（ｔ，ｆ）をフレーム時刻ｔにおいて周波数方向に加算した立ち上がり成分Ｄ（ｔ）を算出する。ｄ（ｔ，ｆ）及びＤ（ｔ）は、各帯域ｆのパワーｐ（ｔ，ｆ）を利用して（数３）から（数７）により算出する。
【００３５】
【数３】
【数４】
【数５】
【数６】
【数７】
立ち上がり度合いｄ（ｔ，ｆ）及び立ち上がり成分Ｄ（ｔ）の抽出方法については、例えば文献（後藤・村岡：“音楽音響信号に対するビートトラッキングシステム”，情報処理学会研究報告，Vol.94, No.71, pp.49-56, 1994）に詳細が記載されている。そしてステップ２５において立ち上がり度合いｄ（ｔ，ｆ）の全フレームにわたる出現頻度を（数８）により算出し、平均発音数とする。
【００４１】
【数８】
（３）発音非周期性（ＮＺ）
まずステップ２６において（数９）によりＤ（ｔ）の自己相関関数Ａ（ｍ）（ｍは遅延フレーム）を算出し、立ち上がり成分の周期性を求める。次にステップ２７においてＡ（ｍ）をフーリエ変換し、各帯域のパワーを求めることによりＡ（ｍ）のパワースペクトルＡｓｐｅｃ（Ｋ）（Ｋは周波数）を算出する。そしてステップ２８においてＡｓｐｅｃ（Ｋ）の直流成分値（即ちＡｓｐｅｃ（０））を、ステップ２９においてＡｓｐｅｃ（Ｋ）のピーク値（Ａｓｐｅｃ（Ｋｐｅａｋ）とする）をそれぞれ検出し、ステップ２１０においてＡｓｐｅｃ（０）とＡｓｐｅｃ（Ｋｐｅａｋ）の比率を算出することにより、発音非周期性を算出する（数１０）。
【００４３】
【数９】
【数１０】
（４）拍周期（ＴＴ）
拍周期ＴＴは、楽曲の拍の間隔、即ち当前記楽曲の４分音符の時間長であり、立ち上がり成分Ｄ（ｔ）の自己相関関数Ａ（ｍ）を用いて検出する。まずステップ２１１でＡ（ｍ）のピーク部分、即ち信号の立ち上がり成分の周期が最も強く表れている時間長ｐｋ（ｉ）を算出する。次にステップ２１２によりｐｋ（ｉ）より拍周期候補Ｔ１，Ｔ２を算出し、ステップ２１３で楽曲の周期構造を算出し、ステップ２１４において立ち上がり頻度ＡＲ、及び前記周期性構造を参照することにより、Ｔ１，Ｔ２のうち真の拍周期と考えられる方を楽曲の拍周期として出力する。拍周期の算出方法については、例えば文献（田川・三崎：“音楽信号からのテンポ検出法に関する一検討”，日本音響学会講演論文集，pp.529-530, 2000）に詳細が記載されている。
【００４６】
（５）拍周期比率（ＢＲ）
拍周期と、優勢な発音周期との関係より、拍周期比率を求める。まずステップ２１５において、上記Ａｓｐｅｃ（Ｋｐｅａｋ）に対応する時間周期Ｔｋｐｅａｋを算出した後、（数１１）により拍周期ＴＴとＴｋｐｅａｋとの比率ＢＲを算出する。
【００４７】
【数１１】
（６）拍強度１（ＢＩ１）
拍周期の概ね半分の周期で出現する、立ち上がり成分のパワーを算出する。まずステップ２１６において拍周期の半分に相当する周波数ｆ１をＴＴより算出する。そしてステップ２１７においてｆ１近傍で極大値をもつＡｓｐｅｃ（Ｋ）の値を参照し、その値をＢＩ１とする。
【００４９】
（７）拍強度２（ＢＩ２）
拍周期の概ね１／４の周期で出現する、立ち上がり成分のパワーを算出する。まずステップ２１８において拍周期の半分に相当する周波数ｆ２をＴＴより算出する。そしてステップ２１９においてｆ２近傍で極大値をもつＡｓｐｅｃ（Ｋ）の値を参照し、その値をＢＩ２とする。
【００５０】
（８）拍強度比（ＩＲ）
ステップ２２０において、拍強度１ＢＩ１と拍強度２ＢＩ２の比率ＩＲを（数１２）により算出する。
【００５１】
【数１２】
以上の各特徴量は、楽曲の音響的特徴を表した数量であり、楽曲が聴取者に与える主観的な印象と関連が高いと考えられる。例えば、拍周期は楽曲のテンポ、即ち速さを表現する数量であり、一般的に速い楽曲は「忙しく」、遅い曲は「ゆったり」感じられるなどは、我々が日常音楽を聞く上で体験することである。そこで、これらの特徴量を主観的な印象と関連付けるための数量として用いる。
【００５３】
図１の特徴量抽出手段１３により求まった（表１）の特徴量は、印象値算出手段１４において、（数１３）により印象値、即ち楽曲の主観的な印象を表現する数量に変換される。
【００５４】
【数１３】
（数１３）において、Ｉｉは印象因子ｉに対する印象値、Ｐｊは特徴量ｊの値、Ｗｉｊは特徴量ｊと印象因子ｉとの関係を表す重み係数、Ｎｐは特徴量の種類数である。本実施の形態では（表１）に示されているようにＮｐ＝７であり、Ｐｊはそれぞれ各特徴量に対応する。また、印象値Ｉｉは楽曲の主観的な印象を表す数量であり、特定の形容詞語で表現されるような印象の度合い（Ｅｊとする）を集約した数量として用いる。例えば、楽曲の印象を「激しさ（Ｅ１）」、「のりのよさ（Ｅ２）」、「爽やかさ（Ｅ３）」、「素朴さ（Ｅ４）」、「ソフトさ（Ｅ５）」の５つの観点の度合いで表現すると、ＩｉはＥｊから（数１４）で求める。
【００５６】
【数１４】
（数１４）でＹｉｊはＥｊとＩｊとの関係を表す重み係数である。Ｙｉｊ及び印象因子数Ｎｉの導出は、サンプルとして選定した複数の楽曲に対するＥｊの値を予めＳＤ（semantic differencial）法等による官能評価実験で求めておき、その結果に対し、主成分分析等の因子分析を施すことにより求めておく。また、Ｗｉｊの導出は、上記官能評価及び因子分析によりＹｉｊを導出し各楽曲の印象値Ｉｉを（数１４）で求めた後、その対応する各楽曲について算出した特徴量Ｐｊとの関係を線形重回帰分析等の手法により算出する。なお、上記特徴量Ｐｊと印象値Ｉｉの導出は、線形重回帰分析にかえてニューラルネットワーク等の非線形なシステムにより導出しても良い。
【００５８】
楽曲データベース１１は、各楽曲の音響信号及びその付随情報より構成されるレコードの集合体である。本実施の形態における楽曲データベース１１のレコード構成例を図３に示す。レコードは、レコードを一意に参照するための曲ＩＤ、書誌情報入力手段１５により入力された曲名や歌手名などの楽曲に関する書誌情報、特徴量抽出手段１３により抽出された特徴量、特徴量から印象値変換手段により抽出された印象値、及び音響信号入力手段１２で入力された楽曲の音響信号より構成される。
【００５９】
検索要件入力手段１６は、利用者が検索を希望する楽曲に対する要件を入力する。入力される検索要件の例を図４に示す。検索要件はアーティスト名などの文字列や「激しさ」の度合いなどを表す数値、及び「陽気に踊りたい」など予め定めた条件の有無および検索方法などを入力する。各検索要件は、キーボードや各種スイッチ、スライダーやボリューム等の手段により利用者により入力される。
【００６０】
予測印象値算出手段１７は、検索要件入力手段１６で入力された検索要件のうち、主観的な印象に関する要件（主観的要件）から、検索対象として予想される楽曲の印象値ＰＩｊ（予測印象値）を算出する。予測印象値ＰＩｊは前記重み係数Ｙｉｊを用いて数１５より算出される。
【００６１】
【数１５】
ＩＥｊは例えば「激しさ」の度合い等、主観的要件を構成する数値であり、ＩＥｊの種類は重み係数Ｙｉｊの導出過程で用いられた楽曲に対する印象の度合いの種類と対応する。
【００６３】
また、「陽気に踊りたい」など複数の主観的要因が絡む要件については、予めその要件を表現するＩＥｊの値をプリセットしておき、当前記要件が選択された場合はそのプリセット値から（数１５）より予測印象値ＰＩｊを算出する。例えば、主観的な度合いを最大１．０、最小−１．０の間の数量で表現した場合、「陽気に踊りたい」という要件は、「のりのよさ及び爽快さの度合いが大きい」と類推できるので、激しさＩＥ１＝０．５、のりのよさＩＥ２＝１．０、爽やかさＩＥ３＝１．０、素朴さＩＥ４＝０．０、ソフトさＩＥ５＝０．０などという値でプリセットしておき、このＩＥｊより対応する予測印象値ＰＩｊを算出することができる。
【００６４】
印象値検索手段１８は、楽曲データベース１１を参照し、書誌的要件と予測印象値ＰＩｊを検索キーとして、検索キーに類似するレコードを抽出する。書誌的要件に対しては、楽曲データベースに格納されている各レコードの書誌情報部分を参照し、入力された要件とのマッチングを計る（入力された文字列が含まれているかなど）ことにより、類似するレコードを抽出する。一方、予測印象値ＰＩｊに対しては、楽曲データベースに格納されている各レコードの印象値との類似性を数量化して検索する。印象値の類似性を模式的に説明した図を図５に示す。各レコードに記録されている各楽曲の印象値Ｉｉは印象因子数Ｎｉ個の数値組で構成されるベクトルとして空間上で表現することができ、この空間を印象空間と呼ぶことにする。図５は印象値の印象因子数Ｎｉ＝２の場合の例であり、各楽曲の印象値Ｉｉは４２のように２次元の印象空間上の点で表現される。同様に予測印象値ＰＩｊも印象空間上に布置することができ、ある主観的要件に対して例として４３の位置に布置されたとする。すると、予測印象値ＰＩｊと楽曲の印象値Ｉｉの類似性は印象空間上のユークリッド距離の大小として表現することができ、（数１６）により距離Ｌを算出し数量化できる。
【００６５】
【数１６】
距離Ｌを検索対象の全ての楽曲に対して算出すると、Ｌが小さい楽曲ほど予測印象値と類似している、即ち希望する楽曲の主観的な印象と類似するとみなすことができるので、距離Ｌが小さい楽曲から順次候補曲とする。検索結果として出力する候補曲は、予め定めた個数の候補曲を検索結果として出力する。なお、４４のように予測印象値を中心とした類似性判別境界を設定し、境界内の楽曲を検索結果として出力しても良い。この場合は、類似性の判別範囲を予め定めておくことにより、類似度がある程度以上の楽曲は候補曲としないという限定を加えることができる。
【００６７】
また、書誌的要件による検索と主観的要件による検索はそれぞれ独立して行っても、組み合わせて行ってもよく、検索方法は利用者が検索要件入力手段で指定するものとする。
【００６８】
また、検索要件入力手段１６で入力された曲名等の書誌情報からまず前記当する楽曲を検索し、さらにその楽曲の印象値を予測印象値として楽曲を検索することにより、書誌情報に基づいて、主観的に類似する楽曲を検索することができる。例えば、利用者が曲名に「夜空ノムコウ」と入力し、この曲名をキーにまず楽曲データベース１１を検索する。そして前記当する楽曲が見つかった後、さらに「夜空ノムコウ」の印象値を予測印象値として楽曲データベース１１を検索することにより、当前記楽曲の主観的印象に基づいて検索を行い、それに類似した印象をもつ楽曲を検索することが可能となる。この例では、「「夜空ノムコウ」に類似する印象をもつ楽曲」が検索結果として出力される。
【００６９】
また、検索要件入力手段１６が、音響信号入力手段１２、特徴量抽出手段１３、及び印象値算出手段１４を備えると、入力された音響信号から特徴量を算出し、その特徴量を予測印象値として楽曲データベースを参照することにより、入力された楽曲の音響信号に類似した印象をもつ楽曲を検索することができる。
【００７０】
印象値検索手段１８によって抽出された候補曲は、選曲手段１９によってさらに絞り込むことができる。選曲手段１９では抽出された候補曲に関する付随情報（曲名、アーティスト名等）を楽曲データベースより抽出して利用者に提示し、再生する楽曲の選択を促す。選択に際しては楽曲再生手段１１０により楽曲の一部または全部を視聴しても良い。
【００７１】
また、主観的要件により検索がなされた場合は、印象値検索手段１８で算出した距離Ｌに基づき、利用者が指定した主観的要件と抽出された各候補曲との類似度を算出し、その類似度を利用者に提示しても良い。なお、検索結果の選択は、「第一候補曲を選択結果とする」など予め定めた方法により利用者の指示を介さず自動的に行われても良い。利用者に対する情報の提示はモニターやＬＣＤなどの表示手段により行われ、選択の入力はキーボードやスイッチなどの入力手段によりなされる。
【００７２】
選曲手段により選択された楽曲は、楽曲再生手段１１０により利用者が聴取可能な形で提示される。もちろん、楽曲を再生せず、曲名等の書誌情報を検索結果として利用者に提示しても良い。
【００７３】
（実施の形態２）
以下、本発明の実施の形態２について、図面を参照しながら説明する。図６は本発明の実施の形態２における楽曲登録装置の全体構成を示すブロック図である。図６において、６１は楽曲データベース、６２は音響信号入力手段、６３は特徴量抽出手段、６４は印象値算出手段、６５は書誌情報入力手段を表している。本装置は実施の形態１における、楽曲登録部１１１を独立して装置化したものである。従って、図６の各手段の動作は、実施の形態１記載の各手段と同様である。
【００７４】
本実施の形態の楽曲登録装置は、検索データとして楽曲データベースに登録する楽曲及びその付随情報を入力された音響信号より抽出し、楽曲データベース６１に格納する。本装置によりデータベース６１に格納されるデータは、音響信号、特徴量、印象値、書誌情報等であり、本データを楽曲データベースに格納することにより、実施の形態１記載の楽曲検索装置に必要なデータベースを個別に作成することができる。
【００７５】
なお、楽曲データベース６１はハードディスク等の記録媒体やＣＤＲＯＭ等のリムーバブル媒体の形態をとり、本装置により楽曲データを登録後、楽曲検索装置に組み込み検索に利用することができる。
【００７６】
また、楽曲データベース６１とその他の手段とはインターネット等のネットワークを介して接続されている場合があり、この場合は、本装置により登録データを作成後、ネットワークを介してデータベースに格納することにより、ネットワークに接続された１または複数の楽曲検索装置に対して、検索に必要なデータを供給することができる。
【００７７】
（実施の形態３）
本実施の形態は、上記実施の形態１及び実施の形態２をコンピュータプログラムとして実施した形態である。以下、本発明の実施の形態３について、図面を参照しながら説明する。図７は本発明の実施の形態３におけるプログラムの全体構成を示すブロック図である。図７において、７１は楽曲登録プログラム、７２は楽曲検索プログラム、７３は楽曲データベースであり、その他の手段の名称及び機能は実施の形態１に記載の各手段と同様である。
【００７８】
楽曲登録プログラム７１及び楽曲検索プログラム７２は、パーソナルコンピュータやマイクロコンピュータ等の各種コンピュータ用のプログラムとして記述され、コンピュータの記録領域（メモリ、ハードディスク、フロッピーディスク等）に格納されている。また楽曲データベース７３は実施の形態１や実施の形態２に記載のように、ハードディスクやＣＤＲＯＭ等のコンピュータの記録媒体に記録されているデータの集合体である。
【００７９】
楽曲登録プログラム７１は、検索データとして楽曲データベースに登録する楽曲及びその付随情報をコンピュータに入力された音響信号より抽出し、楽曲データベース７３に格納する。本プログラムにより楽曲データベース７３に格納されるデータは、音響信号、特徴量、印象値、書誌情報等であり、本データを楽曲データベース７３に格納することにより、楽曲検索プログラム７２に必要なデータベースを作成することができる。
【００８０】
一方、楽曲検索プログラム７２は、まず利用者の検索要件を入力し、その検索要件のうち主観的な印象に関する部分から、検索対象として予想される楽曲の印象値（予測印象値）を算出する。そして入力された検索要件と前記予測印象値を検索キーとして、楽曲データベース７３に登録されている各楽曲の付随情報部分を参照し、検索キーに類似する付随情報をもっている複数の楽曲を候補曲として出力する。その後、利用者の選択操作を記号化した選択パラメータや予め定めた選曲手順等により楽曲の選択を行い、最終的に選択された楽曲を検索結果として出力する。
【００８１】
以上のプログラムにより、利用者が入力した検索要件に応じて、所望の楽曲を提供することが可能となる。なお、楽曲登録プログラム７１及び楽曲検索プログラム７２はＣＤＲＯＭ９１（図９）等のリムーバブルメディアやコンピュータネットワーク等を介してコンピュータの記録領域に格納されても良い。また、楽曲登録プログラム７１と楽曲検索プログラム７２はそれぞれ別のコンピュータ上で動作し、両コンピュータで共有された記録領域に格納された楽曲データベース７３にアクセスしても良い。もちろん、楽曲データベース７３をフロッピーディスクやＣＤＲＯＭ等のリムーバブルメディアに記録し、楽曲登録プログラム７１でデータベース７３を作成後、別のコンピュータで動作する楽曲検索プログラム７２で利用しても良い。
【００８２】
【発明の効果】
本願の請求項１〜１２に記載の楽曲登録装置、楽曲登録方法によれば、楽曲の音響信号を入力し、前記音響信号から、予め定めた特徴量を抽出し、前記特徴量から、その楽曲の印象を数量化した印象値を算出することにより、楽曲データベースに、前記音響信号及び前記印象値を登録することが可能となる。
【００８３】
また、楽曲の音響信号に含まれる発音周期及び発音強度に関する数量を特徴量として算出することにより、楽曲の印象値を算出するのに必要な特徴量を楽曲の音響信号より算出することが可能となる。
【００８４】
楽曲の音響信号のスペクトル変化度合い、発音頻度、発音周期性の度合い、拍周期、拍周期比率、拍強度、拍強度比率などの数量を特徴量として算出することにより、楽曲の印象値を算出するのに必要な特徴量を楽曲の音響信号より算出することが可能となる。
【００８５】
楽曲の音響信号を複数の帯域に分割して各帯域の立ち上がり成分を検出し、前記各帯域の立ち上がり成分を用いて算出することにより、楽曲の印象値を算出するのに必要な特徴量を楽曲の音響信号より算出することが可能となる。
【００８６】
また本願の請求項１３，１４記載の発明は、楽曲の音響信号を入力し、前記音響信号から、予め定めた特徴量を抽出し、前記特徴量から、その楽曲の印象を数量化した印象値を算出するように機能させるプログラムを記録媒体に記録することにより、記録媒体に記録されたコンピュータプログラムにより、楽曲データベースに、前記音響信号及び前記印象値を登録することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１の楽曲検索装置の概略構成を表すブロック図
【図２】 本発明の実施の形態１の特徴量抽出の概略構成を表すブロック図
【図３】 本発明の実施の形態１の楽曲データベースを構成するレコードの例を表す図
【図４】 本発明の実施の形態１の入力要件の例を表す図
【図５】 印象空間の模式的説明を表す図
【図６】 本発明の実施の形態２の楽曲登録装置の概略構成を表すブロック図
【図７】 本発明の実施の形態３の楽曲検索プログラムの概略構成を表すブロック図
【図８】 従来の楽曲検索装置の概略構成を表すブロック図
【図９】 本発明の実施の形態３のＣＤＲＯＭを示す図
【符号の説明】
１１，６１，７３，８２ 楽曲データベース
１２，６２ 音響信号入力手段
１３，６３ 特徴量抽出手段
１４，６４ 印象値算出手段
１５，６５ 書誌情報入力手段
１６ 検索要件入力手段
１７ 予測印象値算出手段
１８ 印象値検索手段
１９ 選曲手段
３１ 楽曲レコード
３２ 書誌情報
３３ 特徴量
３４ 印象値
７１ 楽曲登録プログラム
７２ 楽曲検索プログラム
８１ 選曲条件入力手段
８３ 書誌情報検索手段
８４ 再生曲選択手段
８５，１１０ 楽曲再生手段
９１ ＣＤＲＯＭ
１１１ 楽曲登録部
１１２ 楽曲検索部
Claims (12)
- 楽曲の音響信号を登録する楽曲登録装置であって、
楽曲の音響信号を入力する音響信号入力部と、
前記音響信号入力部に入力された音響信号から周波数帯域毎の立ち上がり成分を検出し、
前記立ち上がり成分により、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、及び拍強度比率のうち、何れか複数を特徴量として抽出する特徴量抽出部と、
抽出された前記複数の特徴量を用いて、楽曲の聴感上の心理量である相異なる複数の印象因子を夫々数量化した複数の印象値を算出する印象値算出部と、
前記音響信号入力部に入力された音響信号と前記複数の特徴量と前記複数の印象値とを楽曲データベースに登録する手段と、を有することを特徴とする楽曲登録装置。 - 前記印象値算出部は、
複数の楽曲の特徴量から多変量解析等により算出される係数に基づいて、楽曲の印象値を算出する請求項１記載の楽曲登録装置。 - 前記特徴量抽出部は、前記立ち上がり成分の有無を検出し、その有無を時間フレーム毎に合算し、更にその合算結果を当該音響信号の全フレームに渡り平均化することにより、立ち上がり頻度を算出することにより、
前記平均発音数を算出する請求項１又は２記載の楽曲登録装置。 - 前記特徴量抽出部は、更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、前記立ち上がり成分の自己相関関数を算出し、得られた自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、帯域毎に出力信号から直流成分を検出し、周波数帯域毎の出力信号から最もパワーの大きい帯域の信号をピーク値として検出し、前記直流成分の出力信号のパワーを、前記ピーク値の出力信号のパワーで除算することにより、
前記発音非周期性を算出する請求項１又は２記載の楽音登録装置。 - 前記特徴量抽出部は、
更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベルを第１のピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分算出部の出力信号と前記周期構造算出部の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、前記周波数帯域毎の出力信号から最もパワーの大きい帯域の信号を第２のピーク値として検出し、前記当該楽曲の拍周期と前記第２のピーク値との比率を算出することにより、
前記拍周期比率を算出する請求項１又は２記載の楽曲登録装置。 - 前記特徴量抽出部は、
更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベル値をピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析し、周波数帯域毎の信号を出力し、当該楽曲の拍周期から、その拍周期の整数分の１に相当する周波数を算出し、前記自己相関関数の周波数分析から、前記周波数算出により出力した周波数近傍で極大値を示す値を参照してその値を出力することにより、
前記拍強度を算出する請求項１又は２記載の楽曲登録装置。 - 前記特徴量抽出部は、
更に前記立ち上がり成分を周波数方向に加算することより、時間フレーム毎の立ち上がり成分を算出し、得られた立ち上がり成分の自己相関関数を算出し、前記自己相関関数から極大値を示す部分の位置及びレベルをピーク値として算出し、前記自己相関関数の極大値から、当該楽曲の拍周期の候補となる値を算出し、前記自己相関関数の極大値から、当該楽曲の周期構造を算出し、前記立ち上がり成分と前記周期構造の出力信号とを参照し、前記拍周期候補から当該楽曲の拍周期と推定される値を判定し、前記自己相関関数を周波数分析して周波数帯域毎の信号を出力し、前記当該楽曲の拍周期から、その拍周期の整数分の１に相当する第１の周波数を算出し、前記自己相関関数の周波数分析から、前記第１の周波数近傍で極大値を示す値を参照してその値を第１の値として出力し、当該楽曲の拍周期から、その拍周期の４分の１に相当する第２の周波数を算出し、前記自己相関関数の周波数分析から、前記第２の周波数近傍で極大値を示す値を参照してその値を第２の値として出力し、前記第１の値と前記第２の値との比率を算出することにより、
前記拍強度比率を算出する請求項１又は２記載の楽曲登録装置。 - 前記特徴量抽出部の周期構造算出は、
算出されたピークを、そのレベル値に基づいて並べ替え、並べ替えられた各ピークを、そのレベル値が近似するグループに分割し、グループ化されたレベル群から、階層数を含む当該楽曲の周期構造に関するパラメータを算出するものである請求項５乃至７のいずれかに記載の楽曲登録装置。 - 前記特徴量抽出部の周期構造算出は、
算出されたピークのレベル値に対してヒストグラムを生成し、前記ヒストグラムから、階層数を含む当該楽曲の周期構造に関するパラメータを算出するものである請求項５乃至７のいずれかに記載の楽曲登録装置。 - 楽曲の音響信号を登録する楽曲登録方法であって、
楽曲の音響信号を入力する音響信号入力工程と、
前記音響信号入力部に入力された音響信号から周波数帯域毎の立ち上がり成分を検出し、
前記立ち上がり成分により、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、及び拍強度比率のうち、何れかを特徴量として抽出する特徴量抽出工程と、
抽出された前記複数の特徴量を用いて楽曲の聴感上の心理量である相異なる複数の印象値を夫々数量化した複数の印象値を算出する印象値算出工程と、
前記音響信号入力部に入力された音響信号と前記特徴量と前記複数の楽曲データベースに登録する工程と、を含むことを特徴とする楽曲登録方法。 - コンピュータによって読み取られ実行されるコンピュータプログラムであって、
コンピュータに、
楽曲の音響信号を入力する音響信号入力ステップと、
前記音響信号入力部に入力された音響信号から周波数帯域毎の立ち上がり成分を検出し、
前記立ち上がり成分により、平均発音数、発音非周期性、拍周期、拍周期比率、拍強度、及び拍強度比率のうち、何れかを特徴量として抽出する特徴量抽出ステップと、
抽出された前記複数の特徴量を用いて楽曲の聴感上の心理量である相異なる複数の印象値を夫々数量化した複数の印象値を算出する印象値算出ステップと、
前記音響信号入力部に入力された音響信号と前記特徴量と前記複数の楽曲データベースに登録するステップと、を含み、各ステップを実行させるためのコンピュータプログラム。 - 請求項１１のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001082150A JP4027051B2 (ja) | 2001-03-22 | 2001-03-22 | 楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体 |
| EP02006300A EP1244093B1 (en) | 2001-03-22 | 2002-03-20 | Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus and methods and programs for implementing the same |
| US10/101,569 US7373209B2 (en) | 2001-03-22 | 2002-03-20 | Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus, and methods and programs for implementing the same |
| DE60237860T DE60237860D1 (de) | 2001-03-22 | 2002-03-20 | Schallmerkmalermittlungsgerät, Schalldatenregistrierungsgerät, Schalldatenwiederauffindungsgerät und Verfahren und Programme zum Einsatz derselben |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001082150A JP4027051B2 (ja) | 2001-03-22 | 2001-03-22 | 楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006307810A Division JP4027405B2 (ja) | 2006-11-14 | 2006-11-14 | 楽曲検索装置、楽曲検索方法、及びそのプログラムと記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002278547A JP2002278547A (ja) | 2002-09-27 |
| JP2002278547A5 JP2002278547A5 (ja) | 2006-12-28 |
| JP4027051B2 true JP4027051B2 (ja) | 2007-12-26 |
Family
ID=18938136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001082150A Expired - Fee Related JP4027051B2 (ja) | 2001-03-22 | 2001-03-22 | 楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4027051B2 (ja) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3697515B2 (ja) * | 2002-09-27 | 2005-09-21 | 独立行政法人情報通信研究機構 | 楽曲印象尺度評価値自動付与装置 |
| US20040064306A1 (en) * | 2002-09-30 | 2004-04-01 | Wolf Peter P. | Voice activated music playback system |
| US7231389B2 (en) | 2003-05-26 | 2007-06-12 | Matsushita Electric Industrial Co., Ltd. | Music search device |
| JP4695853B2 (ja) * | 2003-05-26 | 2011-06-08 | パナソニック株式会社 | 音楽検索装置 |
| US8918316B2 (en) * | 2003-07-29 | 2014-12-23 | Alcatel Lucent | Content identification system |
| EP1530195A3 (en) | 2003-11-05 | 2007-09-26 | Sharp Kabushiki Kaisha | Song search system and song search method |
| JP4594701B2 (ja) * | 2003-11-14 | 2010-12-08 | パイオニア株式会社 | 情報検索装置、情報検索方法及び情報検索用プログラム並びに情報記録媒体 |
| JP4199097B2 (ja) | 2003-11-21 | 2008-12-17 | パイオニア株式会社 | 楽曲自動分類装置及び方法 |
| JPWO2006030712A1 (ja) * | 2004-09-17 | 2008-07-31 | パイオニア株式会社 | 楽曲推薦装置及び方法 |
| JP3871690B2 (ja) | 2004-09-30 | 2007-01-24 | 松下電器産業株式会社 | 音楽コンテンツ再生装置 |
| JP4759281B2 (ja) * | 2005-02-09 | 2011-08-31 | パイオニア株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および、情報処理プログラムを記録した記録媒体 |
| JP2006318384A (ja) * | 2005-05-16 | 2006-11-24 | Sharp Corp | 楽曲検索システムおよび楽曲検索方法 |
| JP4607659B2 (ja) * | 2005-05-17 | 2011-01-05 | シャープ株式会社 | 楽曲検索装置および楽曲検索方法 |
| JP4607660B2 (ja) * | 2005-05-17 | 2011-01-05 | シャープ株式会社 | 楽曲検索装置および楽曲検索方法 |
| JP2006323438A (ja) * | 2005-05-17 | 2006-11-30 | Sharp Corp | 楽曲検索システム |
| JP3974624B2 (ja) | 2005-05-27 | 2007-09-12 | 松下電器産業株式会社 | 表示装置 |
| JP4987282B2 (ja) | 2005-10-25 | 2012-07-25 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP4622808B2 (ja) | 2005-10-28 | 2011-02-02 | 日本ビクター株式会社 | 楽曲分類装置、楽曲分類方法、楽曲分類プログラム |
| JP4668039B2 (ja) * | 2005-11-18 | 2011-04-13 | 三菱電機株式会社 | 楽曲分析装置及び楽曲検索装置 |
| JP4622829B2 (ja) | 2005-11-29 | 2011-02-02 | 日本ビクター株式会社 | 楽曲検索再生装置、楽曲検索再生方法、印象語設定プログラム |
| JP2007179400A (ja) * | 2005-12-28 | 2007-07-12 | Fujitsu Ten Ltd | コンテンツ情報検索装置及び方法 |
| JP4893940B2 (ja) * | 2006-01-06 | 2012-03-07 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4949687B2 (ja) * | 2006-01-25 | 2012-06-13 | ソニー株式会社 | ビート抽出装置及びビート抽出方法 |
| JP4665836B2 (ja) | 2006-05-31 | 2011-04-06 | 日本ビクター株式会社 | 楽曲分類装置、楽曲分類方法、及び楽曲分類プログラム |
| JP2008015595A (ja) | 2006-07-03 | 2008-01-24 | Sony Corp | コンテンツ選択推薦方法、サーバ、コンテンツ再生装置、コンテンツ記録装置およびコンテンツ選択推薦用プログラム |
| JP4697165B2 (ja) * | 2007-03-27 | 2011-06-08 | ヤマハ株式会社 | 音楽再生制御装置 |
| JP2008250710A (ja) * | 2007-03-30 | 2008-10-16 | Clarion Co Ltd | 楽曲再生制御装置 |
| JP4916945B2 (ja) * | 2007-04-19 | 2012-04-18 | 株式会社タイトー | 楽曲情報付与サーバ、端末、及び楽曲情報付与システム |
| JP4467601B2 (ja) * | 2007-05-08 | 2010-05-26 | ソニー株式会社 | ビート強調装置、音声出力装置、電子機器、およびビート出力方法 |
| JP4943370B2 (ja) * | 2008-04-09 | 2012-05-30 | 日本電信電話株式会社 | コンテンツ視聴時の印象度推定方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体 |
| JP4816699B2 (ja) | 2008-09-03 | 2011-11-16 | ソニー株式会社 | 楽曲処理方法、楽曲処理装置、及びプログラム |
| JP5777567B2 (ja) * | 2012-05-22 | 2015-09-09 | 日本電信電話株式会社 | 音響特徴量計算装置及び方法、特定状況モデルデータベース作成装置、特定要素音モデルデータベース作成装置、状況推定装置、発呼適否通知装置並びにプログラム |
| JP7143574B2 (ja) | 2017-07-18 | 2022-09-29 | 富士通株式会社 | 評価プログラム、評価方法および評価装置 |
| CN111626093B (zh) * | 2020-03-27 | 2023-12-26 | 国网江西省电力有限公司电力科学研究院 | 一种基于鸣声功率谱密度的输电线路相关鸟种识别方法 |
-
2001
- 2001-03-22 JP JP2001082150A patent/JP4027051B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002278547A (ja) | 2002-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4027051B2 (ja) | 楽曲登録装置、楽曲登録方法、及びそのプログラムと記録媒体 | |
| EP1244093B1 (en) | Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus and methods and programs for implementing the same | |
| JP3433818B2 (ja) | 楽曲検索装置 | |
| US8326584B1 (en) | Music searching methods based on human perception | |
| Bartsch et al. | To catch a chorus: Using chroma-based representations for audio thumbnailing | |
| KR101143160B1 (ko) | 기록된 음악의 브라우징 방법 및 음악 브라우징 시스템 | |
| KR100852196B1 (ko) | 음악 재생 시스템 및 그 방법 | |
| JP4027405B2 (ja) | 楽曲検索装置、楽曲検索方法、及びそのプログラムと記録媒体 | |
| EP2515296B1 (en) | Performance data search using a query indicative of a tone generation pattern | |
| US20080256106A1 (en) | Determining the Similarity of Music Using Cultural and Acoustic Information | |
| JP2011180610A (ja) | オーディオ作品のセグメンテーションを変更するための装置 | |
| Yoshii et al. | Automatic Drum Sound Description for Real-World Music Using Template Adaptation and Matching Methods. | |
| US20060075883A1 (en) | Audio signal analysing method and apparatus | |
| JP2007280342A (ja) | 楽曲特徴量演算装置及び楽曲検索システム | |
| Marolt | A Mid-level Melody-based Representation for Calculating Audio Similarity. | |
| CN101499268A (zh) | 自动生成音乐结构性界面信息的设备和方法及检索系统 | |
| JP4364838B2 (ja) | 楽曲リミックス可能な音楽再生装置ならびに楽曲リミックス方法およびプログラム | |
| JP2012234168A (ja) | 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記録媒体 | |
| Niyazov et al. | Content-based music recommendation system | |
| JP4622199B2 (ja) | 楽曲検索装置及び楽曲検索方法 | |
| KR20140129443A (ko) | 적응형 음원 추천 시스템 및 방법 | |
| JP3612272B2 (ja) | 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| KR100468971B1 (ko) | 멜로디 기반 검색이 가능한 음악 재생장치 | |
| Pardo | Finding structure in audio for music information retrieval | |
| Dewi et al. | Gamelan Rindik Classification Based On Mood Using K-Nearest Neigbor Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060711 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061114 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061114 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20061114 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20070129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071009 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4027051 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131019 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |