JP4722738B2

JP4722738B2 - 楽曲分析方法及び楽曲分析装置

Info

Publication number: JP4722738B2
Application number: JP2006069292A
Authority: JP
Inventors: 道弘山崎
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-03-14
Filing date: 2006-03-14
Publication date: 2011-07-13
Anticipated expiration: 2026-03-14
Also published as: JP2007248610A

Description

この発明は、大量の楽曲データの中から所望の楽曲を検索・選択するために必要な楽曲の分析を少ない演算量で高精度に行う楽曲分析方法及びその装置に関する。

一般に長調の曲を聴くと「明るい、楽しい、暖かい」などといったプラス的感覚を覚え、逆に短調の曲であれば「暗い、悲しい、冷たい」などのマイナス的感覚を持つと云われる。
従って、楽曲の調性は所望の楽曲を検索・選択する際の判断材料となり、楽曲の調性判定をすることが従来より試みられていた。
従来の調性判定装置として例えば特許文献１がある。この特許文献１ではメロディーの音高を使用し、音高の時間変化から調性判定を行っている。

特許第3163653号

従来の調性判定装置では、予め演奏データ等の音符列（音高列）を持つ事を前提にした調性判定となる。このため、演奏データのない音響データからの調性判定には対応できない。また、自動採譜技術を用い音響データから譜面（音高の時系列）を求め、その後調性判定を行う方法も考えられるが、現在の自動採譜技術では、採譜精度、演算量が問題になる。
この発明では上記のような問題点を解決するためになされたもので、音響データを入力とし、個々の音高を抽出することなく曲全体の調性判定及び長調らしさ、短調らしさの判定を可能にするものである。

この発明による楽曲分析装置は、
音楽１曲分のデータに対し、周波数分析を行なう周波数分析手段と、
上記周波数分析手段で分析された周波数毎の音楽のパワーから音名パワーベクトルを求めるパワースペクトル形状取得手段と、
上記パワースペクトル形状取得手段で取得した音名パワーベクトルから使用されている調性の種別とその主音を抽出する正規化手段と、
予め定められた長調での音名パワーベクトルと、短調での音名パワーベクトルを参照し、上記正規化手段により検出された調性種別と、その主音から、楽曲の長調／短調の度合いを求める長調／短調判定手段とを備える。

また、この発明による楽曲分析方法は、
音楽１曲分のデータに対し、周波数分析を行なう周波数分析工程と、
上記周波数分析工程で分析された周波数毎の音楽のパワーから音名パワーベクトルを求めるパワースペクトル形状取得工程と、
上記パワースペクトル形状取得工程で取得した音名パワーベクトルから使用されている調性の種別とその主音を抽出する正規化工程と、
予め定められた長調での音名パワーベクトルと、短調での音名パワーベクトルを参照し、上記正規化工程により検出された調性種別と、その主音から楽曲の長調／短調の度合いを求める長調／短調判定工程とを備える。

この発明によれば、音楽データに対して周波数分析を行い周波数毎の音楽のパワーからパワースペクトルの形状を求め、パワースペクトルの形状から使用されている調性の種別とその主音を抽出して調性種別と、主音から楽曲の長調／短調の度合いを求めているので、音楽の音響信号から、自動採譜等によりコード進行を正確に求める必要がなく楽曲全体の調性を判定することが可能となり、少ない演算量で曲の調性を得ることができる。

実施の形態１．
図１はこの発明の調性判定装置を示す構成図である。
図１において、周波数分析手段101は、入力データである楽曲１曲分の音響データに対して周波数分析を行ない、周波数帯域毎のパワーを求める。
パワースペクトル形状取得手段102は、周波数分析手段101で得られた周波数分析結果から、音名(ド、ド＃、レ、…、シ）毎のパワーを求める。
正規化手段103は、パワースペクトル形状取得手段102で得られた音名毎のパワーから、使用されている調性の種別とその主音を抽出する。
長調／短調判定手段104は、正規化手段103で検出された調性種別と、その主音から楽曲の長調／短調の度合いを求める手段である。

次に動作について説明する。
周波数分析手段101では入力された音楽データを一定時間長(例えば40 msec)毎にFFT（Fast Fourier Transform；高速フーリエ変換）により周波数分析を行ない、パワースペクトルの時系列データを求める。ここで、パワースペクトルを求める際に、周波数分解能と演算量の観点からダウンサンプリングを組み合わせてパワースペクトルを帯域毎に分割して求めても良い。

パワースペクトル形状取得手段102では、周波数分析手段101で求められたパワースペクトルの時系列データから、音名毎のパワーを求める。音名毎のパワーの求め方を以下に示す。

まず、パワースペクトルの時系列データの周波数軸を線形軸から対数軸に変換する。ここで、対数軸の分解能は100 centとし、帯域は音楽で使用される帯域とする。例えば、第1オクターブの音名C(C1:中心周波数は65.4 Hz)から第７オクターブの音名B(B7:中心周波数は3951 Hz)までを使用する場合、１時刻あたり84次元の値を持つ時系列データとなる。
時刻tの周波数fに対するパワースペクトルの値をSpPwr(f,t)とした場合、中心周波数fcの音名に対する時刻tのパワーPwr(fc,t)は中心周波数の±50セントの範囲のパワースペクトルの平均を取った値となる。また、単純な平均のほかに、ハニング窓や、三角窓等を使用した重み付け平均を用いてもよい。なお、セントは周波数比を表す単位で、１オクターブが1200セントとなる値である。ハニング窓を使用した場合の式を数１に示す。

以上の方法で対数周波数軸のパワースペクトルを求めた後、異なるオクターブに属する同じ音名を持つ周波数に対するパワーの平均を取り、各音名に対するパワーを求める。
すなわち音名Ｃに対するパワーは、使用帯域が上記7オクターブの場合、C1からC7までの7個の値の平均となる。

最後に、時間軸上の平均値を取り、楽曲全体からの音名Cに対するパワー（平均値）を求める。
以上の操作を全ての音名(C,C#,D,D#,E,F,F#,G,G#,A,A#,B）に対して求めることで、12次元の音名毎のパワーを表す音名パワーベクトルv={v₁, v₂,…v₁₂}を得る。

正規化手段103では、パワースペクトル形状取得手段102で求めた音名毎のパワーを表す12次元のベクトルから、解析対象の曲の主音及び使用している音階を求め、主音が第１次元となるように正規化を行なう。正規化手段103での正規化方法を図３に示す。以下図３の各ステップの動作説明をする。

Step 1
パワースペクトル形状取得手段102で得られた12次元の音名毎のパワーを表すベクトルv={v₁, v₂,…v₁₂}の値を最大値=1、最小値=-1となるように正規化し、パワー正規化後の音名パワーベクトルv'={v₁', v₂', …v₁₂'}を求める。この正規化の式を数２に示す。

Step 2
使用音程を検出するための閾値を設定する。初期値は０とする。
Step 3
主音を仮定する。ここでは、音名のパワーベクトルのインデックスiで表し、i=1〜12とする。初期値は1である。
Step 4
Step 3で仮定した主音が第１次元となるように階名ベクトルVを設定する。ここで階名ベクトルの設定例を数３に示す。

Step 5
Step 2で設定した閾値以上の値をとる階名が曲中で使用されている階名であると仮定する。
Step 6
Step 5で仮定された使用階名と音程が一致する音階が存在するか判定を行う。一致する音階が存在する場合はStep 8の処理に移行する。一致する音階が存在しない場合はStep 7の処理に移行する。
Step 7
Step 6で使用階名が一致する音階が存在しない場合、Step 2で指定された閾値で主音に仮定されていない階名が存在するかチェックする。主音に仮定されていない階名が存在する場合、Step 3に移行し、主音に仮定されていない階名を主音と仮定する。主音に仮定されていない階名が存在しない場合は、Step 2に移行し使用音程を検出するための閾値を変更して処理を続ける。

Step 8
Step 6で一致した時の階名ベクトル第1次元の音名を主音とし、その際の階名ベクトルVを正規化後の階名ベクトルとし出力する。
正規化手段103で音名パワーベクトルから階名パワーベクトルに変換したベクトルの例を図４に示す。

なお、主音変更した際に使用音程が一致する音階（平行調として存在しえる音階）に関しては、本正規化手段103では予め指定した音階として検出する。例えば、ハ長調(Cメジャースケール)とイ短調(Aマイナースケール）では、使用される音名は同一であるため、正規化手段では主音をハ（C）として正規化を行なう。

長調／短調判定手段104では、正規化手段103で正規化された音名パワーから長調／短調の度合いの判定を行う。
具体的には、長調／短調判定手段では、予め長調の楽曲に対して分析を行ない求めた階名パワーベクトルV_majorと、短調の楽曲に対して分析を行ない求めた階名パワーベクトルV_minorとを用いて、各ベクトルとの距離値D_major 、D_minorとを求め、その距離値の差から数４よりrを求める。

また、具体的には、数５に示すように、正規化手段103で求めた階名パワーベクトルVの各次元に対して次元毎に予め定めた係数α_iを掛けて１次元の値rを求めてもよい。

このようにして求めたrを曲に対する長調・短調の度合いを表す値として出力する。
なお、ここで使用する係数α_iは予め長調・短調のわかっている学習用楽曲データに対して分析を行ない、学習用楽曲データの長調・短調（それぞれ値を1,0とする）と学習用楽曲データから求めたrとの相関係数が最大になるように設定したものを使用する。

他の実施例１．
また、楽曲の特徴的な区間を検出して、この特徴区間の長調／短調の度合いを求め、その長調／短調の度合いを、楽曲全体の長調／短調の度合いとしても良い。
例えば、図５に示すようにサビの部分を特徴的な区間とし、サビ検出手段105を周波数分析手段101の前に備えてサビ区間の検出を行い、このサビ区間に対してのみ調性判定を行い、その長調／短調の度合いを楽曲全体の長調／短調の度合いとしても良い。

他の実施例２．
また、図６に示すようにフレーズ分割手段106を周波数分析手段101の前に、長調／短調判定結果統合手段107を長調／短調判定手段104の後に備え、フレーズ分割手段106で楽曲をフレーズに分割して、周波数分析、パワースペクトルの形状算出、調性種別とその主音の抽出、調性判定を各フレーズ単位で行った後、長調／短調判定結果統合手段107で長調／短調判定手段104の長調／短調判定結果を統合することにより曲全体の調性判定を行っても良い。

以上の実施の形態１では、音楽の音響信号から、自動採譜等によりコード進行を正確に求める必要がなく楽曲全体の調性を判定することが可能となり、少ない演算量で曲の調性を得ることができる。

また、サビ区間のみで調性判定を行い、その結果を曲全体の調性判定結果とすることで、サビ区間とそれ以外の区間の調性の異なる楽曲に対しても、ユーザの記憶に残っていると思われる楽曲の印象と調性判定結果が近くなり、楽曲の検索キーとしての精度が向上する。

また、フレーズ単位で調性判定を行い、その結果を統合することで曲全体の調性判定結果を求めることにより、曲内で転調があった場合の判定精度を向上させることができる。

実施の形態２．
図７はこの発明の実施の形態２による調性判定装置を示す構成図である。
図７において、周波数分析手段101は、入力データである楽曲１曲分の音響データに対して周波数分析を行ない、周波数帯域毎のパワーを求める手段である。
メロディー部パワースペクトル形状取得手段102aは、周波数分析手段101で得られた周波数分析結果から、メロディーで使用される周波数帯域の音名(ド、ド＃、レ、…、シ）毎のパワーを求める手段である。
ベース部パワースペクトル形状取得手段102bは、周波数分析手段101で得られた周波数分析結果から、ベースで使用される周波数帯域の音名(ド、ド＃、レ、…、シ）毎のパワーを求める手段である。
メロディー部正規化手段103aは、メロディー部パワースペクトル形状取得手段102aで得られた音名毎のパワーから、メロディーで使用されている調性の種別とその主音を抽出する手段である。
ベース部正規化手段103bは、ベース部パワースペクトル形状取得手段102bで得られた音名毎のパワーから、ベースで使用されている調性の種別とその主音を抽出する手段である。

メロディー部長調／短調判定手段104aは、メロディー部正規化手段103aで検出されたメロディー部の調性種別と、その主音から楽曲の長調／短調の度合いを求める手段である。
ベース部長調／短調判定手段104bは、ベース部正規化手段103bで検出されたベース部の調性種別と、その主音から楽曲の長調／短調の度合いを求める手段である。
長調／短調判定結果統合手段108は、メロディー部長調／短調判定手段104aで出力されたメロディー部の長調／短調判定結果と、ベース部長調／短調判定手段104bで出力されたベース部の長調／短調判定結果とから、曲全体の長調／短調の度合いを求める手段である。

次に動作について説明する。
周波数分析手段101では入力された音楽データを一定時間長(例えば40 msec)毎にFFTにより周波数分析を行ない、パワースペクトルの時系列データを求める。ここで、パワースペクトルを求める際に、周波数分解能と演算量の観点からベース部とメロディー部の帯域別に分析を行なうなど、ダウンサンプリングを組み合わせてパワースペクトルを帯域毎に分割して求めても良い。

メロディー部パワースペクトル形状取得手段102aでは、周波数分析手段101で求められたパワースペクトルの時系列データから、メロディーに使用されている帯域の音名パワーを求める。
ベース部パワースペクトル形状取得手段102bでは、周波数分析手段101で求められたパワースペクトルの時系列データから、ベースに使用されている帯域の音名パワーを求める。
例えば、メロディー部の周波数帯域を第３オクターブの音名A (A3:中心周波数は220 Hz)から第7オクターブの音名G# (G#7:中心周波数は3951 Hz)までとし、ベース部の周波数帯域を第１オクターブの音名C(C1: 中心周波数は32.7 Hz)から第３オクターブの音名B(B3:中心周波数は246.9 Hz)までとする。

ここで、メロディー部パワースペクトル形状取得手段102a及びベース部パワースペクトル形状取得手段102bでの音名パワーの求め方は基本的に実施の形態１のパワースペクトル形状取得手段102と同様であるが、対象となる帯域がそれぞれメロディーに使用される帯域、ベースに使用される帯域に限定されることが異なる。
また、メロディー部とベース部の周波数帯域が一部重なっても構わないものとする。
なお、別個に調性判定する周波数帯域はメロディー部の周波数帯域と、ベース部の周波数帯域とに限られるものではなく、別個の観点から周波数帯域を分けても良い。
本実施の形態では、メロディー部パワースペクトル形状取得手段102aではA3からG#7までの4オクターブから求めた音名パワーを出力し、ベース部パワースペクトル形状取得手段102bではC1からB3までの3オクターブから求めた音名パワーを出力する。

メロディー部正規化手段103aではメロディー部パワースペクトル形状取得手段102aで求めたメロディーで使用される周波数帯域での音名毎のパワーを表す12次元のベクトルから、解析対象の曲の主音及び使用している音階を求め、主音が第１次元となるように正規化を行なう。
また、ベース部正規化手段103bではベース部パワースペクトル形状取得手段102bで求めたベースで使用される周波数帯域での音名毎のパワーを表す12次元のベクトルから、解析対象の曲の主音及び使用している音階を求め、主音が第１次元となるように正規化を行なう。
メロディー部正規化手段103a、及びベース部正規化手段103bの動作自体は実施の形態１の正規化手段103と同様である。

メロディー部長調／短調判定手段104aでは、メロディー部正規化手段103aで正規化された音名パワーから長調／短調の度合いの判定を行い、１次元の値r_aを求める。
また、ベース部長調／短調判定手段104bでは、ベース部正規化手段103bで正規化された音名パワーから長調／短調の度合いの判定を行い、１次元の値r_bを求める。
メロディー部長調／短調判定手段104a、ベース部長調／短調判定手段104bとも動作自体は実施の形態１の長調／短調判定手段104と同様である。

長調／短調判定結果統合手段108では、メロディー部長調／短調判定手段104aで得られたメロディー部の長調・短調の度合いを示す値r_aと、ベース部長調／短調判定手段104bで得られたベース部の長調・短調の度合いを示す値r_bとから数６を用いて曲の長調・短調の度合いを示す値rを求め出力する。

なお、ここで使用する係数α、βは予め長調・短調のわかっている学習用楽曲データに対して分析を行ない、学習用楽曲データの長調・短調（それぞれ値を1,0とする）と学習用楽曲データから求めたrとの相関係数が最大になるように設定したものを使用する。

以上の実施の形態２では、音楽の音響信号から、自動採譜等によりコード進行を正確に求める必要がなく楽曲全体の調性を判定することが可能となり、少ない演算量で曲の調性を得ることができる。また、メロディーに使用される周波数帯域と、ベースに使用される周波数帯域とに分けて解析を行なうことにより、ベース部とメロディー部で調性が異なる楽曲に対する判定精度が向上する。

この発明は、大量の音楽コンテンツの中から所望の楽曲を精度よく選択するための楽曲分析技術で、音楽再生機器適用される。さらには音楽再生機能付き携帯電話機、カーナビゲータ、情報家電機器への適用が可能である。

この発明の実施の形態１の調性判定装置を示す構成図である。音階と使用階名例の説明図である。この発明の実施の形態１の正規化処理を示すフローチャートである。この発明の実施の形態１の正規化例の説明図である。この発明の実施の形態１の調性判定装置の変形例１を示す構成図である。この発明の実施の形態１の調性判定装置の変形例２を示す構成図のである。この発明の実施の形態２の調性判定装置を示す構成図である。

符号の説明

101；周波数分析手段、102；パワースペクトル形状取得手段、102a；メロディー部パワースペクトル形状取得手段、102b；ベース部パワースペクトル形状取得手段、103；正規化手段、103a；メロディー部正規化手段、103b；ベース部正規化手段、104；長調／短調判定手段、104a；メロディー部長調／短調判定手段、104b；ベース部長調／短調判定手段、105；サビ検出手段、106；フレーズ分割手段、107；長調／短調判定結果統合手段、108；長調／短調判定結果統合手段。

Claims

音楽１曲分のデータに対し、周波数分析を行なう周波数分析工程と、
上記周波数分析工程で分析された周波数毎の音楽のパワーから音名パワーベクトルを求めるパワースペクトル形状取得工程と、
上記パワースペクトル形状取得工程で取得した音名パワーベクトルから使用されている調性の種別とその主音を抽出する正規化工程と、
予め定められた長調での音名パワーベクトルと、短調での音名パワーベクトルを参照し、上記正規化工程により検出された調性種別と、その主音から楽曲の長調／短調の度合いを求める長調／短調判定工程とを持つ楽曲分析方法。
音楽１曲分のデータに対し、周波数分析を行なう周波数分析手段と、
上記周波数分析手段で分析された周波数毎の音楽のパワーから音名パワーベクトルを求めるパワースペクトル形状取得手段と、
上記パワースペクトル形状取得手段で取得した音名パワーベクトルから使用されている調性の種別とその主音を抽出する正規化手段と、
予め定められた長調での音名パワーベクトルと、短調での音名パワーベクトルを参照し、上記正規化手段により検出された調性種別と、その主音から、楽曲の長調／短調の度合いを求める長調／短調判定手段とを備える楽曲分析装置。
楽曲の特徴的な区間を検出する特徴区間検出手段と、
上記特徴区間検出手段により検出された特徴区間に対して周波数分析を行なう周波数分析手段と、
上記周波数分析手段で分析された周波数毎の音楽のパワーから音名パワーベクトルを求めるパワースペクトル形状取得手段と、
上記パワースペクトル形状手段で取得した音名パワーベクトルから使用されている調性の種別とその主音を抽出する正規化手段と、
予め定められた特徴区間における長調での音名パワーベクトルと、同じく特徴区間における短調での音名パワーベクトルを参照し、上記正規化手段により検出された調性種別と、その主音から特徴区間の長調／短調の度合いを求め、この長調／短調の度合いを、楽曲全体の長調／短調の度合いとして出力する長調／短調判定手段とを備える楽曲分析装置。
音楽１曲分の入力データに対し、楽曲を複数の区間に分割する楽曲分割手段と、
上記楽曲分割手段により分割された各楽曲に対して周波数分析を行なう周波数分析手段と、
上記周波数分析手段で分析された周波数毎の音楽のパワーから音名パワーベクトルを求めるパワースペクトル形状取得手段と、
上記パワースペクトル形状取得手段で取得した調性の種別とその主音を抽出する正規化手段と、
予め定められた各フレーズにおける長調での音名パワーベクトルと、同じく各フレーズにおける短調での音名パワーベクトルを参照し、上記正規化手段により検出された調性種別と、その主音から各フレーズの長調／短調の度合いを求める長調／短調判定手段と、
上記長調／短調判定手段により求められた各区間毎の長調／短調の度合いから、楽曲全体の長調／短調の度合いを求める長調／短調判定結果統合手段とを備える楽曲分析装置。
上記パワースペクトル形状取得手段は複数個備えられ、上記周波数分析手段の周波数分析結果から複数の異なる周波数帯域における周波数毎の音楽のパワーから音名パワーベクトルを夫々求め、
上記正規化手段は複数個備えられ、上記各パワースペクトル形状取得手段からの音名パワーベクトルから使用されている調性の種別とその主音を夫々抽出し、
上記長調／短調判定手段は複数個備えられ、予め定められた各周波数帯域における長調での音名パワーベクトルと、同じく各周波数帯域における短調での音名パワーベクトルを参照し、各正規化手段により検出された調性種別と、その主音から夫々楽曲の長調／短調の度合いを求め、
上記各長調／短調判定手段で得られた周波数帯域別の楽曲の長調／短調の度合いに予め定められた重みによる重み付け平均を求めて、楽曲の長調・短調度合いとする長調／短調判定結果統合手段をさらに備えたことを特徴とする請求項２から４の何れかに記載の楽曲分析装置。
上記パワースペクトル形状取得手段で処理対象とする複数の異なる周波数帯域はベースで使用される周波数帯域とメロディーで使用される周波数帯域であることを特徴とする請求項５記載の楽曲分析装置。
上記パワースペクトル形状取得手段で、取得される音名パワーベクトルが１オクターブあたり12バンドの対数周波数軸であることを特徴とする請求項２から６の何れかに記載の楽曲分析装置。