JP4930608B2 - 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム - Google Patents
音響信号分析装置、音響信号分析方法及び音響信号分析プログラム Download PDFInfo
- Publication number
- JP4930608B2 JP4930608B2 JP2010023988A JP2010023988A JP4930608B2 JP 4930608 B2 JP4930608 B2 JP 4930608B2 JP 2010023988 A JP2010023988 A JP 2010023988A JP 2010023988 A JP2010023988 A JP 2010023988A JP 4930608 B2 JP4930608 B2 JP 4930608B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- acoustic signal
- component
- stable
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は、楽曲の記録された音響信号から楽曲の特徴を抽出する音響信号分析装置、音
響信号分析方法及び音響信号分析プログラムに関する。
響信号分析方法及び音響信号分析プログラムに関する。
近年、音声圧縮技術の進展や大容量記憶装置の普及を背景にして、デジタル化された楽
曲データをコンピュータ等に記憶格納することが広く行われるようになっている。
曲データをコンピュータ等に記憶格納することが広く行われるようになっている。
このような状況下において従来、特許文献１及び２に示されたように、音響信号から曲
調情報を生成し、曲調情報に同期させて照明装置、空調装置、玩具等を制御する装置が提
案されている。また、特許文献３に示されたように、楽曲の音響信号を分析して曲の雰囲
気やジャンルを判定し楽曲検索を行う装置も提案されている。
調情報を生成し、曲調情報に同期させて照明装置、空調装置、玩具等を制御する装置が提
案されている。また、特許文献３に示されたように、楽曲の音響信号を分析して曲の雰囲
気やジャンルを判定し楽曲検索を行う装置も提案されている。
楽曲や楽器の音色を表現する時に、「分厚い音」、「薄っぺらな音」というような表現
が頻繁に用いられることからも分かるように、音の厚みは楽曲の雰囲気を決める重要なフ
ァクターである。しかしながら、上記特許文献１乃至３においては、音響信号から音圧、
ビート和音などの情報を抽出しているものの、音の厚みを直接反映する特徴量を精度良く
抽出してはいなかった。
が頻繁に用いられることからも分かるように、音の厚みは楽曲の雰囲気を決める重要なフ
ァクターである。しかしながら、上記特許文献１乃至３においては、音響信号から音圧、
ビート和音などの情報を抽出しているものの、音の厚みを直接反映する特徴量を精度良く
抽出してはいなかった。
特許文献１においては、音響信号からＣメジャー、Ｃマイナー等の和音（コード名）を
検出している他に、基音と倍音の強度比を計算している。基音と倍音の強度比を音の厚み
を表す１つの特徴量として利用することは可能と考えられるが、複数の楽器が混在した一
般的な楽曲の音響信号の周波数スペクトルは非常に複雑であり、このような音響信号から
基音と倍音を十分な精度で分離する技術は現状では確立されているとは言えない。
検出している他に、基音と倍音の強度比を計算している。基音と倍音の強度比を音の厚み
を表す１つの特徴量として利用することは可能と考えられるが、複数の楽器が混在した一
般的な楽曲の音響信号の周波数スペクトルは非常に複雑であり、このような音響信号から
基音と倍音を十分な精度で分離する技術は現状では確立されているとは言えない。
すなわち、特許文献１で述べられている基音と倍音の強度比は、音の厚みを表現する特
徴量としては、実用上必ずしも適していなかった。
徴量としては、実用上必ずしも適していなかった。
また、楽曲の中で打楽器等が発音している部分においては、幅広い周波数帯域の強度が
上がり、見かけ上の倍音強度が非常に大きくなるが、聴感的にはこのような場所での音の
厚みはあまり感じられない。打楽器等が発音しているタイミングの前後では周波数スペク
トルが大きく変動するため、音響信号の中から周波数スペクトルが一定時間以上安定して
いる場所を探すことにより、このような打楽器の影響を低減することが可能であるが、特
許文献１乃至３では、周波数スペクトルの時間的な安定性を判定する手段、方法を有して
いなかった。
上がり、見かけ上の倍音強度が非常に大きくなるが、聴感的にはこのような場所での音の
厚みはあまり感じられない。打楽器等が発音しているタイミングの前後では周波数スペク
トルが大きく変動するため、音響信号の中から周波数スペクトルが一定時間以上安定して
いる場所を探すことにより、このような打楽器の影響を低減することが可能であるが、特
許文献１乃至３では、周波数スペクトルの時間的な安定性を判定する手段、方法を有して
いなかった。
従って、特許文献１に示された方法では、十分な精度で音の厚みに関わる特徴量を検出
することができなかった。
することができなかった。
特許文献２においては、音像の定位感、音の高低である高調感、音圧レベルを検出して
楽曲の高揚感を判定している。しかしながら、これらの特徴量は音の厚みと無関係ではな
いものの、聴感的な音の厚みを直接表す指標ではなかった。また上述したように、周波数
スペクトルの時間的安定性を判定する手段、方法を持っていなかった。
楽曲の高揚感を判定している。しかしながら、これらの特徴量は音の厚みと無関係ではな
いものの、聴感的な音の厚みを直接表す指標ではなかった。また上述したように、周波数
スペクトルの時間的安定性を判定する手段、方法を持っていなかった。
特許文献３においては、特許文献１と同様に和音（コード名）を検出しているが、音の
厚みに関する特徴量は検出していなかった。
厚みに関する特徴量は検出していなかった。
そこで本発明は、楽曲の雰囲気に大きな影響を持つ音の厚みを直接反映する特徴量を精
度良く生成することができる音響信号分析装置、音響信号分析方法及び音響信号分析プロ
グラムを提供することを目的とする。特に、打楽器等による影響を低減して精度良く特徴
量を生成することができる音響信号分析装置、音響信号分析方法及び音響信号分析プログ
ラムを提供することを目的とする。
度良く生成することができる音響信号分析装置、音響信号分析方法及び音響信号分析プロ
グラムを提供することを目的とする。特に、打楽器等による影響を低減して精度良く特徴
量を生成することができる音響信号分析装置、音響信号分析方法及び音響信号分析プログ
ラムを提供することを目的とする。
また、音響信号から基音と倍音を分離することなく、少ない処理量で音の厚みを直接反
映する特徴量を生成することができる音響信号分析装置、音響信号分析方法及び音響信号
分析プログラムを提供することを目的とする。
映する特徴量を生成することができる音響信号分析装置、音響信号分析方法及び音響信号
分析プログラムを提供することを目的とする。
そこで、上記課題を解決するために本発明は以下の装置、方法、プログラムを提供するものである。
(1) 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、
前記周波数成分データから前記成分強度が所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、
前記安定成分検出手段は、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする音響信号分析装置。
(2) 前記安定成分検出手段は、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、成分強度の平均値を算出し、その平均値に所定係数を乗じた値を前記所定の値として算出する、
ことを特徴とする上記(1)に記載の音響信号分析装置。
(3) 前記安定成分検出手段は、前記有効要素であるか否かの判定対象となる要素と時間的に近傍の他の要素であり、かつ前記判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする上記(1)または(2)に記載の音響信号分析装置。
(4) 前記周波数分析手段は、周波数軸上に等間隔に存在する周波数、または平均律音階に対応した周波数、または平均律音階の半音よりも更に細かく分割された周波数のうちのいずれかの周波数に対応させた前記各要素を生成する、
ことを特徴とする上記(1)〜(3)のいずれか一項に記載の音響信号分析装置。
(5) 前記特徴量生成手段は、前記所定の区間における前記安定成分の個数、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(1)〜(4)のいずれか一項に記載の音響信号分析装置。
(6) 前記特徴量生成手段は、前記所定の区間における前記安定成分の強度の総和、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(1)〜(4)のいずれか一項に記載の音響信号分析装置。
(7) 前記特徴量生成手段は、時間方向に平滑化する処理を行って前記特徴量を生成する、
ことを特徴とする上記(1)〜(6)のいずれか一項に記載の音響信号分析装置。
(8) 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから前記成分強度が所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、
前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする音響信号分析方法。
(9) 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、成分強度の平均値を算出し、その平均値に所定係数を乗じた値を前記所定の値として算出する、
ことを特徴とする上記(8)に記載の音響信号分析方法。
(10) 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と時間的に近傍の他の要素であり、かつ前記判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする上記(8)または(9)に記載の音響信号分析方法。
(11) 前記周波数分析ステップは、周波数軸上に等間隔に存在する周波数、または平均律音階に対応した周波数、または平均律音階の半音よりも更に細かく分割された周波数のうちのいずれかの周波数に対応させた前記各要素を生成する、
ことを特徴とする上記(8)〜(10)のいずれか一項に記載の音響信号分析方法。
(12) 前記特徴量生成ステップは、前記所定の区間における前記安定成分の個数、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(8)〜(11)のいずれか一項に記載の音響信号分析方法。
(13) 前記特徴量生成ステップは、前記所定の区間における前記安定成分の強度の総和、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(8)〜(11)のいずれか一項に記載の音響信号分析方法。
(14) 前記特徴量生成ステップは、時間方向に平滑化する処理を行って前記特徴量を生成する、
ことを特徴とする上記(8)〜(13)のいずれか一項に記載の音響信号分析方法。
(15) 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから前記成分強度が所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、
前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする音響信号分析プログラム。
(16) 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、成分強度の平均値を算出し、その平均値に所定係数を乗じた値を前記所定の値として算出する、
ことを特徴とする上記(15)に記載の音響信号分析プログラム。
(17) 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と時間的に近傍の他の要素であり、かつ前記判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする上記(15)または(16)に記載の音響信号分析プログラム。
(18) 前記周波数分析ステップは、周波数軸上に等間隔に存在する周波数、または平均律音階に対応した周波数、または平均律音階の半音よりも更に細かく分割された周波数のうちのいずれかの周波数に対応させた前記各要素を生成する、
ことを特徴とする上記(15)〜(17)のいずれか一項に記載の音響信号分析プログラム。
(19) 前記特徴量生成ステップは、前記所定の区間における前記安定成分の個数、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(15)〜(18)のいずれか一項に記載の音響信号分析プログラム。
(20) 前記特徴量生成ステップは、前記所定の区間における前記安定成分の強度の総和、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(15)〜(18)のいずれか一項に記載の音響信号分析プログラム。
(21) 前記特徴量生成ステップは、時間方向に平滑化する処理を行って前記特徴量を生成する、
ことを特徴とする上記(15)〜(20)のいずれか一項に記載の音響信号分析プログラム。
(1) 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、
前記周波数成分データから前記成分強度が所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、
前記安定成分検出手段は、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする音響信号分析装置。
(2) 前記安定成分検出手段は、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、成分強度の平均値を算出し、その平均値に所定係数を乗じた値を前記所定の値として算出する、
ことを特徴とする上記(1)に記載の音響信号分析装置。
(3) 前記安定成分検出手段は、前記有効要素であるか否かの判定対象となる要素と時間的に近傍の他の要素であり、かつ前記判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする上記(1)または(2)に記載の音響信号分析装置。
(4) 前記周波数分析手段は、周波数軸上に等間隔に存在する周波数、または平均律音階に対応した周波数、または平均律音階の半音よりも更に細かく分割された周波数のうちのいずれかの周波数に対応させた前記各要素を生成する、
ことを特徴とする上記(1)〜(3)のいずれか一項に記載の音響信号分析装置。
(5) 前記特徴量生成手段は、前記所定の区間における前記安定成分の個数、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(1)〜(4)のいずれか一項に記載の音響信号分析装置。
(6) 前記特徴量生成手段は、前記所定の区間における前記安定成分の強度の総和、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(1)〜(4)のいずれか一項に記載の音響信号分析装置。
(7) 前記特徴量生成手段は、時間方向に平滑化する処理を行って前記特徴量を生成する、
ことを特徴とする上記(1)〜(6)のいずれか一項に記載の音響信号分析装置。
(8) 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから前記成分強度が所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、
前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする音響信号分析方法。
(9) 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、成分強度の平均値を算出し、その平均値に所定係数を乗じた値を前記所定の値として算出する、
ことを特徴とする上記(8)に記載の音響信号分析方法。
(10) 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と時間的に近傍の他の要素であり、かつ前記判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする上記(8)または(9)に記載の音響信号分析方法。
(11) 前記周波数分析ステップは、周波数軸上に等間隔に存在する周波数、または平均律音階に対応した周波数、または平均律音階の半音よりも更に細かく分割された周波数のうちのいずれかの周波数に対応させた前記各要素を生成する、
ことを特徴とする上記(8)〜(10)のいずれか一項に記載の音響信号分析方法。
(12) 前記特徴量生成ステップは、前記所定の区間における前記安定成分の個数、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(8)〜(11)のいずれか一項に記載の音響信号分析方法。
(13) 前記特徴量生成ステップは、前記所定の区間における前記安定成分の強度の総和、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(8)〜(11)のいずれか一項に記載の音響信号分析方法。
(14) 前記特徴量生成ステップは、時間方向に平滑化する処理を行って前記特徴量を生成する、
ことを特徴とする上記(8)〜(13)のいずれか一項に記載の音響信号分析方法。
(15) 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから前記成分強度が所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、
前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする音響信号分析プログラム。
(16) 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、成分強度の平均値を算出し、その平均値に所定係数を乗じた値を前記所定の値として算出する、
ことを特徴とする上記(15)に記載の音響信号分析プログラム。
(17) 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と時間的に近傍の他の要素であり、かつ前記判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする上記(15)または(16)に記載の音響信号分析プログラム。
(18) 前記周波数分析ステップは、周波数軸上に等間隔に存在する周波数、または平均律音階に対応した周波数、または平均律音階の半音よりも更に細かく分割された周波数のうちのいずれかの周波数に対応させた前記各要素を生成する、
ことを特徴とする上記(15)〜(17)のいずれか一項に記載の音響信号分析プログラム。
(19) 前記特徴量生成ステップは、前記所定の区間における前記安定成分の個数、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(15)〜(18)のいずれか一項に記載の音響信号分析プログラム。
(20) 前記特徴量生成ステップは、前記所定の区間における前記安定成分の強度の総和、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする上記(15)〜(18)のいずれか一項に記載の音響信号分析プログラム。
(21) 前記特徴量生成ステップは、時間方向に平滑化する処理を行って前記特徴量を生成する、
ことを特徴とする上記(15)〜(20)のいずれか一項に記載の音響信号分析プログラム。
本発明の音響信号分析装置、音響信号分析方法及び音響信号分析プログラムによれば、
有音程楽器が発音されていて一定の周波数が安定的に持続している場所と、打楽器等が発
音されていて一定の周波数が安定的に持続しない場所とを識別し、有音程楽器の時間的に
安定した周波数成分の個数または成分強度の総和を計算して音の厚みを表す特徴量を生成
するので、楽曲の雰囲気を決める大きなファクターである音の厚み感を直接反映し、聴感
的な音の厚み感に適合した特徴量を精度良く生成することができる。また、楽音の基音と
倍音を識別分離しない方式で処理を行うため、比較的少ない処理量で特徴量を生成するこ
とができ、音響信号分析装置を低コスト化することが可能である。また、演算処理能力の
小さなコンピュータでも実行可能である。
有音程楽器が発音されていて一定の周波数が安定的に持続している場所と、打楽器等が発
音されていて一定の周波数が安定的に持続しない場所とを識別し、有音程楽器の時間的に
安定した周波数成分の個数または成分強度の総和を計算して音の厚みを表す特徴量を生成
するので、楽曲の雰囲気を決める大きなファクターである音の厚み感を直接反映し、聴感
的な音の厚み感に適合した特徴量を精度良く生成することができる。また、楽音の基音と
倍音を識別分離しない方式で処理を行うため、比較的少ない処理量で特徴量を生成するこ
とができ、音響信号分析装置を低コスト化することが可能である。また、演算処理能力の
小さなコンピュータでも実行可能である。
以下、本発明の実施の形態を図面を参照して説明する。
（実施例１）
本発明の音響信号分析装置、音響信号分析方法及び音響信号分析プログラムの実施例１
を図１乃至図８に基づいて説明する。図１は本発明の実施例１の音響信号分析装置の構成
を示すブロック図、図２は図１の周波数分析部の処理フローを示すフローチャート、図３
は図１の周波数分析部におけるフレーム作成動作を示す図、図４は図１の周波数分析部に
おける周波数成分計算動作で使用するフィルタ群の特性を示す図、図５は図１の周波数分
析部で生成された行列データの特性を示す模式図、図６は実施例１における図１の安定成
分検出部の処理フローを示すフローチャート、図７は実施例１における図１の安定成分検
出部のデータ格納形式を示す図、図８は実施例１における図１の特徴量生成部の処理フロ
ーを示すフローチャートである。
（実施例１）
本発明の音響信号分析装置、音響信号分析方法及び音響信号分析プログラムの実施例１
を図１乃至図８に基づいて説明する。図１は本発明の実施例１の音響信号分析装置の構成
を示すブロック図、図２は図１の周波数分析部の処理フローを示すフローチャート、図３
は図１の周波数分析部におけるフレーム作成動作を示す図、図４は図１の周波数分析部に
おける周波数成分計算動作で使用するフィルタ群の特性を示す図、図５は図１の周波数分
析部で生成された行列データの特性を示す模式図、図６は実施例１における図１の安定成
分検出部の処理フローを示すフローチャート、図７は実施例１における図１の安定成分検
出部のデータ格納形式を示す図、図８は実施例１における図１の特徴量生成部の処理フロ
ーを示すフローチャートである。
図１に示すように、音響信号分析装置１は、音響信号入力部１１と、Ａ／Ｄ変換器１１
ｂと、周波数分析部１２と、安定成分検出部１３と、安定成分メモリ１３ｂと、特徴量生
成部１４と、演算処理回路１１ａ〜１４ａとを備える。
ｂと、周波数分析部１２と、安定成分検出部１３と、安定成分メモリ１３ｂと、特徴量生
成部１４と、演算処理回路１１ａ〜１４ａとを備える。
音響信号入力部１１には楽曲が記録された音響信号が入力される。Ａ／Ｄ変換器１１ｂ
は、音響信号入力部１１に入力される音響信号がアナログ信号である場合に音響信号をＡ
／Ｄ変換する。
は、音響信号入力部１１に入力される音響信号がアナログ信号である場合に音響信号をＡ
／Ｄ変換する。
周波数分析部１２は、音響信号を複数の周波数のバンドに分割して、所定時間周期での
各バンドの成分強度を要素とする行列データを生成する。
各バンドの成分強度を要素とする行列データを生成する。
安定成分検出部１３は、周波数分析部１２で生成された行列データから成分強度が所定
の値以上の要素を有効要素として検出し、行列データの中で前記時間周期の複数分に相当
する時間内に前記有効要素が所定の数以上存在する領域を安定成分として検出する。安定
成分メモリ１３ｂは、安定成分検出部１３で検出された安定成分の情報を格納する。
の値以上の要素を有効要素として検出し、行列データの中で前記時間周期の複数分に相当
する時間内に前記有効要素が所定の数以上存在する領域を安定成分として検出する。安定
成分メモリ１３ｂは、安定成分検出部１３で検出された安定成分の情報を格納する。
特徴量生成部１４は、安定成分メモリ１３ｂを参照し、所定の区間における安定成分の
強度の総和または安定成分の個数を使って前記区間での音の厚みを表す特徴量を生成する
。
強度の総和または安定成分の個数を使って前記区間での音の厚みを表す特徴量を生成する
。
演算処理回路１１ａ〜１４ａは、装置各部をそれぞれ演算及び制御する。
次に、実施例１の音響信号分析装置１の動作及び音響信号分析方法を説明する。
まず、音響信号入力部１１において、入力される音響信号がアナログ信号である場合に
は、演算処理回路１１ａは、Ａ／Ｄ変換器１１ｂに対して所定のサンプリング周波数Ｆｓ
でデジタル化させるように制御する。また、入力される音響信号がデジタル信号の場合に
は、サンプリング周波数が所定の値Ｆｓとなるようにレート変換を行う。音響信号入力部
１１でデジタル化されたデータを以下では音響データｘ［ｍ］（ｍ＝０〜Ｌ−１、Ｌは音
響データの総数）と表す。
は、演算処理回路１１ａは、Ａ／Ｄ変換器１１ｂに対して所定のサンプリング周波数Ｆｓ
でデジタル化させるように制御する。また、入力される音響信号がデジタル信号の場合に
は、サンプリング周波数が所定の値Ｆｓとなるようにレート変換を行う。音響信号入力部
１１でデジタル化されたデータを以下では音響データｘ［ｍ］（ｍ＝０〜Ｌ−１、Ｌは音
響データの総数）と表す。
次に、周波数分析部１２では、演算処理回路１２ａは、音響信号入力部１１にて所定の
サンプリングレートにデジタル化された音響データを対象にして周波数分析を行い、所定
の時間周期毎に各バンドの成分強度を計算し、成分強度を行列要素とする行列データを作
成する。
サンプリングレートにデジタル化された音響データを対象にして周波数分析を行い、所定
の時間周期毎に各バンドの成分強度を計算し、成分強度を行列要素とする行列データを作
成する。
本実施例では、周波数分析の方法として公知のＳＴＦＴ（Short-time Fourier Transfo
rm）を用いるが、これに限定するわけでなく、ウェーブレット変換やフィルターバンクな
どを用いても良い。
rm）を用いるが、これに限定するわけでなく、ウェーブレット変換やフィルターバンクな
どを用いても良い。
ここで、周波数分析部１２の処理フローを図２に示すフローチャートに基づいて説明す
る。本実施例では、音響データを固定長のフレームに分割し、フレーム単位での処理を行
う。以下では、フレーム長をＮ、フレームシフト長をＳとする。フレームシフト長Ｓが時
間周期に相当する。フレームの総数Ｍは、（数式１）に従って求まる。ここでｆｌｏｏｒ
関数は小数点以下を切り捨てた整数を返す関数である。
る。本実施例では、音響データを固定長のフレームに分割し、フレーム単位での処理を行
う。以下では、フレーム長をＮ、フレームシフト長をＳとする。フレームシフト長Ｓが時
間周期に相当する。フレームの総数Ｍは、（数式１）に従って求まる。ここでｆｌｏｏｒ
関数は小数点以下を切り捨てた整数を返す関数である。
まず、ステップＳ１１０では、演算処理回路１２ａは、フレーム番号を示す制御変数ｉ
を０にセットする。
を０にセットする。
次に、ステップＳ１２０では、演算処理回路１２ａは、ｉ番目のフレームを作成する。
すなわち図３に示すように、音響データの先頭からｉ×Ｓ個オフセットされた位置からＮ
個のデータを切り出し、これに（数式２）に示すように窓関数ｗを乗じて、ｉ番目のフレ
ームデータｙ［ｉ］［ｎ］（ｎ＝０〜Ｎ−１）を作成する。
すなわち図３に示すように、音響データの先頭からｉ×Ｓ個オフセットされた位置からＮ
個のデータを切り出し、これに（数式２）に示すように窓関数ｗを乗じて、ｉ番目のフレ
ームデータｙ［ｉ］［ｎ］（ｎ＝０〜Ｎ−１）を作成する。
窓関数としては例えば、（数式３）に示すハミング窓を用いれば良い。また、この他に
も、方形窓、ハニング窓、ブラックマン窓などを用いても良い。
も、方形窓、ハニング窓、ブラックマン窓などを用いても良い。
次に、ステップＳ１３０では、演算処理回路１２ａは、（数式４）に従ってｉ番目のフ
レームの離散フーリエ変換（ＤＦＴ）を計算する。
レームの離散フーリエ変換（ＤＦＴ）を計算する。
次に、ステップＳ１４０では、演算処理回路１２ａは、ステップＳ１３０で得られた複
素系列ａ［ｉ］［ｋ］（ｋ＝０〜Ｎ−１）の実数部Ｒｅ｛ａ［ｉ］［ｋ］｝と虚数部Ｉｍ
｛ａ［ｉ］［ｋ］｝を使って、（数式５）または（数式６）に従って、ｉ番目のフレーム
のスペクトル系列ｂ［ｉ］［ｋ］（ｋ＝０〜Ｎ／２−１）を計算する。
素系列ａ［ｉ］［ｋ］（ｋ＝０〜Ｎ−１）の実数部Ｒｅ｛ａ［ｉ］［ｋ］｝と虚数部Ｉｍ
｛ａ［ｉ］［ｋ］｝を使って、（数式５）または（数式６）に従って、ｉ番目のフレーム
のスペクトル系列ｂ［ｉ］［ｋ］（ｋ＝０〜Ｎ／２−１）を計算する。
次に、ステップＳ１５０では、演算処理回路１２ａは、ＤＦＴの結果からフレームｉ、
バンドｑの周波数成分ｃ［ｉ］［ｑ］（ｑ＝０〜Ｑ−１、Ｑはバンド数）を計算する。こ
こで、ステップＳ１５０における計算方法としては、以下の３つがある。
バンドｑの周波数成分ｃ［ｉ］［ｑ］（ｑ＝０〜Ｑ−１、Ｑはバンド数）を計算する。こ
こで、ステップＳ１５０における計算方法としては、以下の３つがある。
周波数成分を計算する第１の方法は、（数式７）に従ってスペクトル系列ｂ［ｉ］［ｋ
］の一部、または全部をｃ［ｉ］［ｑ］に対応させる方法である。ここで、λは０以上の
所定の整数であり、バンドの最低周波数を決めるパラメータである。また、バンド数Ｑは
（Ｎ／２−λ）以下である所定の値に設定する。第１の方法は計算量が最も少なく簡便で
ある。
］の一部、または全部をｃ［ｉ］［ｑ］に対応させる方法である。ここで、λは０以上の
所定の整数であり、バンドの最低周波数を決めるパラメータである。また、バンド数Ｑは
（Ｎ／２−λ）以下である所定の値に設定する。第１の方法は計算量が最も少なく簡便で
ある。
周波数成分を計算する第２の方法は、（数式８）に従って平均律音階に対応した周波数
成分を求める方法である。
成分を求める方法である。
ここで、Ｆｓは音響信号入力部１１におけるサンプリング周波数であり、Ｆｒは平均律
音階の基準となる周波数である。例えば、「中央のラの音」を４４０Ｈｚとして、これよ
りも４オクターブ低い音を平均律音階の基準とした場合、Ｆｒ＝２７．５Ｈｚとなる。
音階の基準となる周波数である。例えば、「中央のラの音」を４４０Ｈｚとして、これよ
りも４オクターブ低い音を平均律音階の基準とした場合、Ｆｒ＝２７．５Ｈｚとなる。
また、Ｖは１オクターブの音階を何個のバンドに分割するかを決める定数である。例え
ば１オクターブを１２個のバンドに分割する場合はＶ＝１２とすれば良い。また、Ｖの値
をこれより大きくして平均律音階の半音よりも更に細かいバンドに分割しても良い。また
、関数Ｒは入力値に最も近い整数を出力する関数である。また、Ｋ１及びＫ２は、バンド
の最低周波数（最低音階）及び最高周波数（最高音階）を決める定数であり、μはバンド
を表わす引数ｑの最小値を０とするための定数である。同一値のｑに対応するｋの個数分
だけスペクトル系列ｂ［ｉ］［ｋ］を加算して周波数成分ｃ［ｉ］［ｑ］を求める。
ば１オクターブを１２個のバンドに分割する場合はＶ＝１２とすれば良い。また、Ｖの値
をこれより大きくして平均律音階の半音よりも更に細かいバンドに分割しても良い。また
、関数Ｒは入力値に最も近い整数を出力する関数である。また、Ｋ１及びＫ２は、バンド
の最低周波数（最低音階）及び最高周波数（最高音階）を決める定数であり、μはバンド
を表わす引数ｑの最小値を０とするための定数である。同一値のｑに対応するｋの個数分
だけスペクトル系列ｂ［ｉ］［ｋ］を加算して周波数成分ｃ［ｉ］［ｑ］を求める。
第２の方法は第１の方法に比べて、楽曲の音楽的な特徴をより反映した周波数成分を計
算することができる。
算することができる。
周波数成分を計算する第３の方法は、（数式９）に従って平均律音階に対応した周波数
成分を求める方法である。
成分を求める方法である。
ここで、ｚ［ｑ］［ｋ］（ｑ＝０〜Ｑ−１、ｋ＝０〜Ｎ／２−１）は、図４に示すよう
な帯域特性を持つフィルタ群であり、各フィルタの中心周波数は、平均律音階の周波数に
対応している。
な帯域特性を持つフィルタ群であり、各フィルタの中心周波数は、平均律音階の周波数に
対応している。
図４に示した一例では、平均律音階のＣ１音程をバンド０に対応させて、以降半音ごと
に１つのバンドに対応させて、最後にＢ６音程をバンドＱ−１に対応させている。図４（
ａ）に示すｚ［０］［ｋ］はＣ１（ド）に対応した周波数を通過させるフィルタであり、
図４（ｂ）に示すｚ［１］［ｋ］はそれより半音高いＣ＃１（ド＃）に対応した周波数を
通過させるフィルタを示している。
に１つのバンドに対応させて、最後にＢ６音程をバンドＱ−１に対応させている。図４（
ａ）に示すｚ［０］［ｋ］はＣ１（ド）に対応した周波数を通過させるフィルタであり、
図４（ｂ）に示すｚ［１］［ｋ］はそれより半音高いＣ＃１（ド＃）に対応した周波数を
通過させるフィルタを示している。
スペクトル系列ｂ［ｉ］［ｋ］は周波数軸上に等間隔に存在するのに対して、平均律音
階は高音部になるほど隣り合った半音間の周波数間隔が広がるので、フィルタ群ｚ［ｑ］
［ｋ］の中心周波数もそれに対応して、高音部ほど隣り合った中心周波数の間隔が広くな
っている。例えば、図４（ａ）に示すｚ［０］［ｋ］と図４（ｂ）に示すｚ［１］［ｋ］
の中心周波数の差よりも図４（ｃ）に示すｚ［Ｑ−２］［ｋ］と図４（ｄ）に示すｚ［Ｑ
−１］［ｋ］の中心周波数の差の方が大きい。
階は高音部になるほど隣り合った半音間の周波数間隔が広がるので、フィルタ群ｚ［ｑ］
［ｋ］の中心周波数もそれに対応して、高音部ほど隣り合った中心周波数の間隔が広くな
っている。例えば、図４（ａ）に示すｚ［０］［ｋ］と図４（ｂ）に示すｚ［１］［ｋ］
の中心周波数の差よりも図４（ｃ）に示すｚ［Ｑ−２］［ｋ］と図４（ｄ）に示すｚ［Ｑ
−１］［ｋ］の中心周波数の差の方が大きい。
また、各フィルタの帯域幅も同様に、高音部ほど広くなっている。例えば、図４（ｄ）
に示すＺ［Ｑ−１］［ｋ］の帯域幅は、図４（ａ）に示すｚ［０］［ｋ］の帯域幅よりも
広い。
に示すＺ［Ｑ−１］［ｋ］の帯域幅は、図４（ａ）に示すｚ［０］［ｋ］の帯域幅よりも
広い。
また、図４に示した例では平均律の半音に一致したバンドであるが、平均律音階の半音
を更に細かく分割するようなバンドを得るようにしても良い。
を更に細かく分割するようなバンドを得るようにしても良い。
第３の方法は、第２の方法に比べて更に精度良く平均律音階に対応した周波数を求める
ことができる。
ことができる。
図２の説明に戻ると、次にステップＳ１６０において、演算処理回路１２ａは、フレー
ム番号を示す制御変数ｉの値を１増やす。
ム番号を示す制御変数ｉの値を１増やす。
次に、ステップＳ１７０では、演算処理回路１２ａは、フレーム番号を示す制御変数ｉ
の値がフレーム総数Ｍより小さいか否かチェックする。フレーム総数Ｍより小さい（ＹＥ
Ｓ）時は、ステップＳ１２０に戻り処理を繰り返す。フレーム総数Ｍ以上である（ＮＯ）
時は、すべてのフレームについて処理を行ったことになるので、処理を終了する。
の値がフレーム総数Ｍより小さいか否かチェックする。フレーム総数Ｍより小さい（ＹＥ
Ｓ）時は、ステップＳ１２０に戻り処理を繰り返す。フレーム総数Ｍ以上である（ＮＯ）
時は、すべてのフレームについて処理を行ったことになるので、処理を終了する。
以上の処理が終了した時点で、周波数分析部１２には、周波数成分ｃ［ｉ］［ｑ］（フ
レームｉ＝０〜Ｍ−１、バンドｑ＝０〜Ｑ−１）が行列形式で形成格納されており、安定
成分検出部１３が利用できるようになっている。
レームｉ＝０〜Ｍ−１、バンドｑ＝０〜Ｑ−１）が行列形式で形成格納されており、安定
成分検出部１３が利用できるようになっている。
ここで、本発明の音響信号分析装置１が生成する特徴量について説明する。人間が楽曲
や音楽を聞いて感じる音の厚みの度合いには、様々な要因が関係しているが、以下の２つ
の要因が大きく影響している。
（１）同時に発音されている音数（音符数、基音の数）
（２）個々の音に含まれる倍音成分
（１）は、いわゆるハーモニーに関わり、楽譜で表現可能な事項である。通常、同時に
発音されている音数（音符数、基音の数）が多いほど「音が厚い」と感じられる。
や音楽を聞いて感じる音の厚みの度合いには、様々な要因が関係しているが、以下の２つ
の要因が大きく影響している。
（１）同時に発音されている音数（音符数、基音の数）
（２）個々の音に含まれる倍音成分
（１）は、いわゆるハーモニーに関わり、楽譜で表現可能な事項である。通常、同時に
発音されている音数（音符数、基音の数）が多いほど「音が厚い」と感じられる。
（２）は楽器の音色に関わり、楽譜では表現できない事項である。通常、個々の音に含
まれる倍音成分が多いほど「音が厚い」と感じられる。
まれる倍音成分が多いほど「音が厚い」と感じられる。
上記２つの要因は別々のものであるので、２つの要因を一度分離した後に総合的な音の
厚み感を計算する方法が考えられる。しかしながら、複数かつ不特定の種類の楽器が混在
している一般的な楽曲の音響信号から基音を認識することは難しく、上記２つの要因を無
理に分離することは実用的でない。
厚み感を計算する方法が考えられる。しかしながら、複数かつ不特定の種類の楽器が混在
している一般的な楽曲の音響信号から基音を認識することは難しく、上記２つの要因を無
理に分離することは実用的でない。
そこで本発明では、上記２つの要因を分離せずに音の厚み感を表す特徴量を計算する。
このため、比較的少ない計算量で特徴量が得られる。
このため、比較的少ない計算量で特徴量が得られる。
図５は図１の周波数分析部１２で生成された行列データの特性を示す模式図である。図
５ではフレームを横軸、バンドを縦軸に示しており、黒い部分（Ｃ部においては斜線部を
含む）が成分強度の強い要素を示している。一般的な楽曲には一定の音程を接続して発音
する有音程楽器が含まれているので、おおよそ水平方向の線分が多く存在する。
５ではフレームを横軸、バンドを縦軸に示しており、黒い部分（Ｃ部においては斜線部を
含む）が成分強度の強い要素を示している。一般的な楽曲には一定の音程を接続して発音
する有音程楽器が含まれているので、おおよそ水平方向の線分が多く存在する。
この水平方向の線分には、基音に相当するものと倍音に相当するものが混在しており、
どれが基音で、どれが倍音であるかを判別することは難しい。
どれが基音で、どれが倍音であるかを判別することは難しい。
一方で、例えばＡ部とＢ部とを比較した場合に、水平方向の線分の数が多いＡ部の方が
、聴感的に音が厚く感じられる部分である確率が高い。
、聴感的に音が厚く感じられる部分である確率が高い。
また、楽曲の中で明確な音程を持たない打楽器が発音されているような箇所や一部の楽
器の発音開始箇所では、Ｃ部に示すように、幅広い帯域で成分強度の強い要素が存在する
。このような部分は、見かけ上の倍音成分が非常に強くなるが、聴感的には音の厚みはそ
れ程感じられない。
器の発音開始箇所では、Ｃ部に示すように、幅広い帯域で成分強度の強い要素が存在する
。このような部分は、見かけ上の倍音成分が非常に強くなるが、聴感的には音の厚みはそ
れ程感じられない。
そこで、安定成分検出部１３及び特徴量生成部１４においては、打楽器等の影響を受け
にくいようにして、有音程楽器の時間的に安定した周波数成分の個数または成分強度の総
和を計算して特徴量を生成する。
にくいようにして、有音程楽器の時間的に安定した周波数成分の個数または成分強度の総
和を計算して特徴量を生成する。
次に、安定成分検出部１３の処理フローについて、図６に示すフローチャートに基づい
て説明する。安定成分検出部１３では、周波数分析部１２に格納されている周波数成分ｃ
［ｉ］［ｑ］（ｉ＝０〜Ｍ−１、ｑ＝０〜Ｑ−１）を読み出して処理を行う。
て説明する。安定成分検出部１３では、周波数分析部１２に格納されている周波数成分ｃ
［ｉ］［ｑ］（ｉ＝０〜Ｍ−１、ｑ＝０〜Ｑ−１）を読み出して処理を行う。
まず、ステップＳ２１０では、演算処理回路１３ａは、探索を開始するフレーム番号を
表す制御変数ｐを０にセットする。
表す制御変数ｐを０にセットする。
次に、ステップＳ２２０では、演算処理回路１３ａは、バンドを表す制御変数ｑを安定
成分の対象となる最小のバンドＱ１（Ｑ１は０以上Ｑ未満の定数）にセットする。
成分の対象となる最小のバンドＱ１（Ｑ１は０以上Ｑ未満の定数）にセットする。
次に、ステップＳ２３０では、演算処理回路１３ａは、後述する条件に合致する周波数
成分を有効成分としてカウントするための変数ｒを０にセットする。
成分を有効成分としてカウントするための変数ｒを０にセットする。
次に、ステップＳ２４０では、演算処理回路１３ａは、フレーム番号を表す制御変数ｉ
をｐの値にセットする。
をｐの値にセットする。
次に、ステップＳ２５０では、演算処理回路１３ａは、周波数成分ｃ［ｉ］［ｑ］が有
効な成分であるか否かチェックする。有効な成分である（ＹＥＳ）と判定した時は、ステ
ップＳ２６０に進み、有効な成分でない（ＮＯ）と判定した時は、ステップＳ２７０に進
む。ステップＳ２５０で有効な成分を判定する具体的な方法としては、以下に説明する５
つの方法のいずれか又は適当な組合せを用いれば良い。
効な成分であるか否かチェックする。有効な成分である（ＹＥＳ）と判定した時は、ステ
ップＳ２６０に進み、有効な成分でない（ＮＯ）と判定した時は、ステップＳ２７０に進
む。ステップＳ２５０で有効な成分を判定する具体的な方法としては、以下に説明する５
つの方法のいずれか又は適当な組合せを用いれば良い。
有効な成分を判定する第１の方法は、（数式１０）を用いて、ｃ［ｉ］［ｑ］がしきい
値α［ｑ］以上である場合に有効な成分と判定する方法である。
値α［ｑ］以上である場合に有効な成分と判定する方法である。
ここで、しきい値α［ｑ］は、後述する方法で決めれば良い。
有効な成分を判定する第２の方法は、（数式１１）を用いる方法である。これは、前述
した（数式１０）の条件に加えて、バンドｑ（中心バンドと呼ぶ）と同一時間の周波数成
分であり、かつバンドｑの近傍の周波数バンド（近傍バンドと呼ぶ）に属するいくつかの
周波数成分を特定して、これら周波数成分の総和に一定比率γを乗じた値よりもバンドｑ
の周波数成分ｃ［ｉ］［ｑ］の方が大きい場合に有効成分とするという条件を加えている
。すなわち、ある周波数成分が所定の値以上であり、かつその周波数成分がその近傍の周
波数成分の総和に所定の比率を乗じた値よりも大きい場合に、その周波数成分を有効成分
と判定することになる。なお（数式１１）では、フレームｉの周波数成分のみを用いて総
和を計算しているが、これに限定される訳ではなく、例えば、フレームｉの近傍のフレー
ムを含めて総和を計算しても良い。
した（数式１０）の条件に加えて、バンドｑ（中心バンドと呼ぶ）と同一時間の周波数成
分であり、かつバンドｑの近傍の周波数バンド（近傍バンドと呼ぶ）に属するいくつかの
周波数成分を特定して、これら周波数成分の総和に一定比率γを乗じた値よりもバンドｑ
の周波数成分ｃ［ｉ］［ｑ］の方が大きい場合に有効成分とするという条件を加えている
。すなわち、ある周波数成分が所定の値以上であり、かつその周波数成分がその近傍の周
波数成分の総和に所定の比率を乗じた値よりも大きい場合に、その周波数成分を有効成分
と判定することになる。なお（数式１１）では、フレームｉの周波数成分のみを用いて総
和を計算しているが、これに限定される訳ではなく、例えば、フレームｉの近傍のフレー
ムを含めて総和を計算しても良い。
ここで、Ｇ１、Ｇ２、γは定数である。また、しきい値α［ｑ］は、後述する方法で決
めれば良い。この方法は、一般に有音程楽器が発音されている時には、その音程のバンド
の成分が隣接したバンドの成分よりも強く、打楽器等が発音されている時には隣接したバ
ンドの成分との差が小さい、といった性質を利用している。
めれば良い。この方法は、一般に有音程楽器が発音されている時には、その音程のバンド
の成分が隣接したバンドの成分よりも強く、打楽器等が発音されている時には隣接したバ
ンドの成分との差が小さい、といった性質を利用している。
すなわち、（数式１１）の２項目の条件は、図５に示すＡ及びＢの部分では真となるが
、Ｃの部分では偽となり、打楽器等が発音している部分を安定成分に含めない作用を持っ
ている。定数Ｇ１、Ｇ２は、各バンド間の周波数差に応じて決めれば良い。一般的な楽曲
では、半音違いの音程で２つの有音程楽器が発音されることはあまり多くないのに対して
、打楽器等が発音される場合には半音違う周波数成分も同時に強いことが多い。従って、
中心バンドの強度が中心バンドと半音〜２半音周波数の異なる隣接バンドの強度よりある
程度大きい場合に有音程楽器が発音されているものと判定できる。このためには、中心バ
ンドと近傍バンドの周波数差が平均律音階の１半音あるいは２半音に相当し、近傍バンド
の片側帯域幅が平均律音階の１半音あるいは２半音に相当するように、Ｇ１及びＧ２を設
定すれば良い。例えば、各バンドを平均律音階の各半音に対応させた場合は、Ｇ１＝１〜
２、Ｇ２＝１〜３程度にするのが適当である。もちろん、この値に限定されるわけでない
。
、Ｃの部分では偽となり、打楽器等が発音している部分を安定成分に含めない作用を持っ
ている。定数Ｇ１、Ｇ２は、各バンド間の周波数差に応じて決めれば良い。一般的な楽曲
では、半音違いの音程で２つの有音程楽器が発音されることはあまり多くないのに対して
、打楽器等が発音される場合には半音違う周波数成分も同時に強いことが多い。従って、
中心バンドの強度が中心バンドと半音〜２半音周波数の異なる隣接バンドの強度よりある
程度大きい場合に有音程楽器が発音されているものと判定できる。このためには、中心バ
ンドと近傍バンドの周波数差が平均律音階の１半音あるいは２半音に相当し、近傍バンド
の片側帯域幅が平均律音階の１半音あるいは２半音に相当するように、Ｇ１及びＧ２を設
定すれば良い。例えば、各バンドを平均律音階の各半音に対応させた場合は、Ｇ１＝１〜
２、Ｇ２＝１〜３程度にするのが適当である。もちろん、この値に限定されるわけでない
。
有効な成分を判定する第３の方法は（数式１２）を用いる方法である。有効な成分を判
定する第２の方法と考え方は同様であるが、バンドｑの近傍のバンドに属する周波数成分
から特定した周波数成分の総和ではなく、バンドｑの近傍のバンドに属する周波数成分か
ら特定した周波数成分の最大値を用いている。すなわち、ある周波数成分が所定の値以上
であり、かつその周波数成分がその近傍の周波数成分の最大値に所定の比率を乗じた値よ
りも大きい場合に、その周波数成分を有効成分と判定することになる。なお（数式１２）
では、フレームｉの周波数成分のみを用いて最大値を計算しているが、これに限定される
訳ではなく、例えば、フレームｉの近傍のフレームを含めて最大値を計算しても良い。
定する第２の方法と考え方は同様であるが、バンドｑの近傍のバンドに属する周波数成分
から特定した周波数成分の総和ではなく、バンドｑの近傍のバンドに属する周波数成分か
ら特定した周波数成分の最大値を用いている。すなわち、ある周波数成分が所定の値以上
であり、かつその周波数成分がその近傍の周波数成分の最大値に所定の比率を乗じた値よ
りも大きい場合に、その周波数成分を有効成分と判定することになる。なお（数式１２）
では、フレームｉの周波数成分のみを用いて最大値を計算しているが、これに限定される
訳ではなく、例えば、フレームｉの近傍のフレームを含めて最大値を計算しても良い。
有効な成分を判定する第４の方法は、（数式１３）を用いる方法である。これは、前述
した（数式１０）の条件に加えて、バンドｑと同一時間の周波数成分であって、かつバン
ドｑの周波数バンドと倍音関係にある周波数バンド（倍音バンド）に属する周波数成分を
特定し、更に倍音バンドに属する周波数成分の近傍の周波数成分からいくつかの周波数成
分を特定して、これら周波数成分の総和に一定比率を乗じた値よりも倍音バンドに属する
周波数成分の方が大きい場合にｃ［ｉ］［ｑ］を有効成分とする方法である。すなわち、
ある周波数成分が所定の値以上であり、かつその周波数成分と倍音関係にある倍音成分の
値が、倍音成分の近傍の周波数成分の総和に所定の比率を乗じた値よりも大きい場合に、
その周波数成分を有効成分と判定することになる。
した（数式１０）の条件に加えて、バンドｑと同一時間の周波数成分であって、かつバン
ドｑの周波数バンドと倍音関係にある周波数バンド（倍音バンド）に属する周波数成分を
特定し、更に倍音バンドに属する周波数成分の近傍の周波数成分からいくつかの周波数成
分を特定して、これら周波数成分の総和に一定比率を乗じた値よりも倍音バンドに属する
周波数成分の方が大きい場合にｃ［ｉ］［ｑ］を有効成分とする方法である。すなわち、
ある周波数成分が所定の値以上であり、かつその周波数成分と倍音関係にある倍音成分の
値が、倍音成分の近傍の周波数成分の総和に所定の比率を乗じた値よりも大きい場合に、
その周波数成分を有効成分と判定することになる。
ここで関数ｈ（ｄ，ｑ）は、バンドｑのｄ倍の周波数（ｄ倍音）に相当するバンド番号
を返す関数である。これは、前述した（数式１０）の条件に加えて、バンドｑのｄ倍音に
相当するバンド（ｄｑバンドと呼ぶ）の周波数成分からｄｑバンドの近傍のバンドの周波
数成分の総和を引いた値に比率η［ｄ］を乗じた値をｄ＝２〜Ｄ（Ｄは２以上の定数）と
して加算した値が０より大きい場合に有効成分とするという条件を加えている。
を返す関数である。これは、前述した（数式１０）の条件に加えて、バンドｑのｄ倍音に
相当するバンド（ｄｑバンドと呼ぶ）の周波数成分からｄｑバンドの近傍のバンドの周波
数成分の総和を引いた値に比率η［ｄ］を乗じた値をｄ＝２〜Ｄ（Ｄは２以上の定数）と
して加算した値が０より大きい場合に有効成分とするという条件を加えている。
また、Ｇ３、Ｇ４はＧ１、Ｇ２と同様に各バンド間の周波数差により決まる定数である
。また、しきい値α［ｑ］は、後述する方法で決めれば良い。
。また、しきい値α［ｑ］は、後述する方法で決めれば良い。
この方法は、一般に有音程楽器が発音されている時には、倍音構造が存在し、基音の整
数倍の周波数を持つ倍音バンドの成分が、周波数的に倍音バンドの近傍にあるバンド（倍
音近傍バンドと呼ぶ）の成分よりも強いのに対して、打楽器等が発音されている時には、
明確な倍音構造は存在しないため、倍音バンドと倍音近傍バンドとの成分の強度に関して
そのような条件が成立し難い、といった性質を利用している。すなわち、（数式１３）の
２項目の条件は、図５に示すＡ及びＢの部分では真となるが、Ｃの部分では偽となり、打
楽器等が発音している部分を安定成分に含めない作用を持っている。なお（数式１３）で
は、フレームｉの周波数成分のみを用いて総和を計算しているが、これに限定される訳で
はなく、例えば、フレームｉの近傍のフレームを含めて総和を計算しても良い。
数倍の周波数を持つ倍音バンドの成分が、周波数的に倍音バンドの近傍にあるバンド（倍
音近傍バンドと呼ぶ）の成分よりも強いのに対して、打楽器等が発音されている時には、
明確な倍音構造は存在しないため、倍音バンドと倍音近傍バンドとの成分の強度に関して
そのような条件が成立し難い、といった性質を利用している。すなわち、（数式１３）の
２項目の条件は、図５に示すＡ及びＢの部分では真となるが、Ｃの部分では偽となり、打
楽器等が発音している部分を安定成分に含めない作用を持っている。なお（数式１３）で
は、フレームｉの周波数成分のみを用いて総和を計算しているが、これに限定される訳で
はなく、例えば、フレームｉの近傍のフレームを含めて総和を計算しても良い。
有効な成分を判定する第５の方法は、（数式１４）を用いる方法である。これは、有効
成分を判定する第４の方法と似ているが、倍音近傍バンドの周波数成分の総和ではなく、
倍音近傍バンドの周波数成分の最大値を用いる。すなわち、ある周波数成分が所定の値以
上であり、かつその周波数成分と倍音関係にある倍音成分の値が、倍音成分の近傍の周波
数成分の最大値に所定の比率を乗じた値よりも大きい場合に、その周波数成分を有効成分
と判定することになる。
成分を判定する第４の方法と似ているが、倍音近傍バンドの周波数成分の総和ではなく、
倍音近傍バンドの周波数成分の最大値を用いる。すなわち、ある周波数成分が所定の値以
上であり、かつその周波数成分と倍音関係にある倍音成分の値が、倍音成分の近傍の周波
数成分の最大値に所定の比率を乗じた値よりも大きい場合に、その周波数成分を有効成分
と判定することになる。
なお（数式１４）では、フレームｉの周波数成分のみを用いて最大値を計算しているが
、これに限定される訳ではなく、例えば、フレームｉの近傍のフレームを含めて最大値を
計算しても良い。
、これに限定される訳ではなく、例えば、フレームｉの近傍のフレームを含めて最大値を
計算しても良い。
更には、上述した５つの方法を適宜組み合わせて有効な成分を判定しても良い。例えば
、第２の方法と第４の方法を組み合わせて、（数式１１）を満たし、なおかつ（数式１３
）を満たす場合にのみ有効な成分と判定しても良い。すなわちこの場合は、ある周波数成
分が所定の値以上であり、かつその周波数成分がその近傍の周波数成分の総和に所定の比
率を乗じた値よりも大きく、かつその周波数成分と倍音関係にある倍音成分の値が倍音成
分の近傍の周波数成分の総和に所定の比率を乗じた値よりも大きい場合に、その周波数成
分を有効成分と判定することになる。この場合は、第２の方法または第４の方法を単独で
用いる場合に比べて、前述したような打楽器等による影響を更に低減することができ、聴
感的な音の厚みを表わす特徴量を更に精度良く計算することができる。
、第２の方法と第４の方法を組み合わせて、（数式１１）を満たし、なおかつ（数式１３
）を満たす場合にのみ有効な成分と判定しても良い。すなわちこの場合は、ある周波数成
分が所定の値以上であり、かつその周波数成分がその近傍の周波数成分の総和に所定の比
率を乗じた値よりも大きく、かつその周波数成分と倍音関係にある倍音成分の値が倍音成
分の近傍の周波数成分の総和に所定の比率を乗じた値よりも大きい場合に、その周波数成
分を有効成分と判定することになる。この場合は、第２の方法または第４の方法を単独で
用いる場合に比べて、前述したような打楽器等による影響を更に低減することができ、聴
感的な音の厚みを表わす特徴量を更に精度良く計算することができる。
また、別の一例としては、第３の方法と第５の方法を組み合わせて、（数式１２）を満
たし、なおかつ（数式１４）を満たす場合にのみ有効な成分と判定しても良い。すなわち
この場合は、ある周波数成分が所定の値以上であり、かつその周波数成分がその近傍の周
波数成分の最大値に所定の比率を乗じた値よりも大きく、かつその周波数成分と倍音関係
にある倍音成分の値が倍音成分の近傍の周波数成分の最大値に所定の比率を乗じた値より
も大きい場合に、その周波数成分を有効成分と判定することになる。この場合は、第３の
方法または第５の方法を単独で用いる場合に比べて、前述したような打楽器等による影響
を更に低減することができ、聴感的な音の厚みを表わす特徴量を更に精度良く計算するこ
とができる。
たし、なおかつ（数式１４）を満たす場合にのみ有効な成分と判定しても良い。すなわち
この場合は、ある周波数成分が所定の値以上であり、かつその周波数成分がその近傍の周
波数成分の最大値に所定の比率を乗じた値よりも大きく、かつその周波数成分と倍音関係
にある倍音成分の値が倍音成分の近傍の周波数成分の最大値に所定の比率を乗じた値より
も大きい場合に、その周波数成分を有効成分と判定することになる。この場合は、第３の
方法または第５の方法を単独で用いる場合に比べて、前述したような打楽器等による影響
を更に低減することができ、聴感的な音の厚みを表わす特徴量を更に精度良く計算するこ
とができる。
また、これ以外の方法を組み合わせて有効な成分を判定しても良い。
次に、上述した（数式１０）〜（数式１４）におけるしきい値α［ｑ］を決める方法に
ついて説明する。
ついて説明する。
しきい値α［ｑ］を決める第１の方法は、あらかじめ設定した定数にする方法である。
この方法は安定成分検出部１３における演算量が最も少なく簡便である。なお、上述した
有効成分を判定する方法において第２〜第５の方法を使用する場合は、しきい値α［ｑ］
を比較的小さな値（極端な場合は「０」）にして、有効成分の判定におけるしきい値α［
ｑ］の影響力が小さくなるように設定することも可能である。
この方法は安定成分検出部１３における演算量が最も少なく簡便である。なお、上述した
有効成分を判定する方法において第２〜第５の方法を使用する場合は、しきい値α［ｑ］
を比較的小さな値（極端な場合は「０」）にして、有効成分の判定におけるしきい値α［
ｑ］の影響力が小さくなるように設定することも可能である。
しきい値α［ｑ］を決める第２の方法は、（数式１５）で示すように、全フレーム（Ｍ
個）のバンド毎の周波数成分の平均値を用いる方法である。
個）のバンド毎の周波数成分の平均値を用いる方法である。
ここで、βはあらかじめ設定されている定数である。第２の方法は楽曲毎の音響信号の
大きさのバラツキに影響されにくい特長を持っている。
大きさのバラツキに影響されにくい特長を持っている。
しきい値α［ｑ］を決める第３の方法は、（数式１６）に示すように、ｉ番目のフレー
ムの近傍のフレームでのバンド毎の周波数成分の平均値を用いる方法である。
ムの近傍のフレームでのバンド毎の周波数成分の平均値を用いる方法である。
ここで、φ（ｉ）はｉ番目のフレームの近傍に属するフレームの集合を表し、Ｈは近傍
フレームの数（Ｈ＜Ｍ）であり、βはあらかじめ設定されている定数である。第３の方法
は、１つの楽曲の中で音響信号の強度が大きく変化している場合で、なおかつ信号強度の
変化を処理結果に反映させたくない場合に適している。
フレームの数（Ｈ＜Ｍ）であり、βはあらかじめ設定されている定数である。第３の方法
は、１つの楽曲の中で音響信号の強度が大きく変化している場合で、なおかつ信号強度の
変化を処理結果に反映させたくない場合に適している。
しきい値α［ｑ］を決める第４の方法は、（数式１７）に示すように、複数のバンドに
渡る周波数成分の平均値を用いる方法である。ここで、δは平均値の算出に用いるバンド
数を決めるパラメータである。
渡る周波数成分の平均値を用いる方法である。ここで、δは平均値の算出に用いるバンド
数を決めるパラメータである。
図６の説明に戻って、ステップＳ２６０では、演算処理回路１３ａは、有効成分をカウ
ントするための変数ｒの値を１増やす。
ントするための変数ｒの値を１増やす。
次に、ステップＳ２７０では、演算処理回路１３ａは、制御変数ｉの値を１増やす。
次に、ステップＳ２８０では、演算処理回路１３ａは、制御変数ｉの値が（ｐ＋Ｕ）未
満であるか否か判定し、（ｐ＋Ｕ）未満である（ＹＥＳ）時は、ステップＳ２５０に戻っ
て処理を繰り返す。ここでＵは定数である。制御変数ｉの値が（ｐ＋Ｕ）以上である（Ｎ
Ｏ）時は、ステップＳ２９０に進む。
満であるか否か判定し、（ｐ＋Ｕ）未満である（ＹＥＳ）時は、ステップＳ２５０に戻っ
て処理を繰り返す。ここでＵは定数である。制御変数ｉの値が（ｐ＋Ｕ）以上である（Ｎ
Ｏ）時は、ステップＳ２９０に進む。
そして、ステップＳ２９０では、演算処理回路１３ａは、有効成分カウント用の変数ｒ
が定数Ｖ（ただしＶ≦Ｕ）以上であるか否かを判定し、Ｖ以上である（ＹＥＳ）時はステ
ップＳ３００に進み、Ｖ未満である（ＮＯ）時はステップＳ３１０に進む。
が定数Ｖ（ただしＶ≦Ｕ）以上であるか否かを判定し、Ｖ以上である（ＹＥＳ）時はステ
ップＳ３００に進み、Ｖ未満である（ＮＯ）時はステップＳ３１０に進む。
ここでＶ＝Ｕとすると、有効な成分がＵ個連続して存在する時のみ安定成分と判定する
ことになる。ただし実際には、ある音程の音が一定時間持続して発音されている場合にお
いても、微小な周波数のゆらぎ（ビブラート）があるので、有効な成分が連続するとは限
らず、断続的に存在する場合もある。このため、ＶをＵの８０〜９０％程度に設定する方
が良好な結果が得られる場合がある。
ことになる。ただし実際には、ある音程の音が一定時間持続して発音されている場合にお
いても、微小な周波数のゆらぎ（ビブラート）があるので、有効な成分が連続するとは限
らず、断続的に存在する場合もある。このため、ＶをＵの８０〜９０％程度に設定する方
が良好な結果が得られる場合がある。
次に、ステップＳ３００では、演算処理回路１３ａは、ステップＳ２９０での条件を満
たす周波数成分に関する情報を安定成分検出部１３の安定成分メモリ１３ｂに格納する。
具体的には図７に示す形式で（ｐ，ｑ）の組を安定成分メモリ１３ｂに格納する。安定成
分メモリ１３ｂは特徴量生成部１４から参照できるようになっている。
たす周波数成分に関する情報を安定成分検出部１３の安定成分メモリ１３ｂに格納する。
具体的には図７に示す形式で（ｐ，ｑ）の組を安定成分メモリ１３ｂに格納する。安定成
分メモリ１３ｂは特徴量生成部１４から参照できるようになっている。
次に、ステップＳ３１０では、演算処理回路１３ａは、制御変数ｑの値を１増やす。
次に、ステップＳ３２０では、演算処理回路１３ａは、制御変数ｑの値がＱ２以下であ
るか否かを判定し、Ｑ２以下である（ＹＥＳ）時はステップＳ２３０に戻り処理を繰り返
す。Ｑ２より大きい（ＮＯ）時はステップＳ３３０に進む。ここでＱ２は、安定成分の対
象とする最大のバンドを表す定数である。
るか否かを判定し、Ｑ２以下である（ＹＥＳ）時はステップＳ２３０に戻り処理を繰り返
す。Ｑ２より大きい（ＮＯ）時はステップＳ３３０に進む。ここでＱ２は、安定成分の対
象とする最大のバンドを表す定数である。
そして、ステップＳ３３０では、演算処理回路１３ａは、制御変数ｐの値をＰだけ増や
す。ここで、Ｐは通常１であるが、処理量を減らしたい場合にはＰを２以上の値としても
良い。ただし、Ｐを２以上とする場合は、ステップＳ３００における安定成分の格納時に
、（ｐ，ｑ）〜（ｐ＋Ｐ−１，ｑ）の組をまとめて格納するようにする。
す。ここで、Ｐは通常１であるが、処理量を減らしたい場合にはＰを２以上の値としても
良い。ただし、Ｐを２以上とする場合は、ステップＳ３００における安定成分の格納時に
、（ｐ，ｑ）〜（ｐ＋Ｐ−１，ｑ）の組をまとめて格納するようにする。
そして、ステップＳ３４０では、演算処理回路１３ａは、制御変数ｐが（Ｍ−Ｕ）未満
であるか否か判定する。（Ｍ−Ｕ）未満である（ＹＥＳ）時はステップＳ２２０に戻って
処理を繰り返し、（Ｍ−Ｕ）以上である（ＮＯ）時は処理を終了する。
であるか否か判定する。（Ｍ−Ｕ）未満である（ＹＥＳ）時はステップＳ２２０に戻って
処理を繰り返し、（Ｍ−Ｕ）以上である（ＮＯ）時は処理を終了する。
このようにして安定成分検出部１３の処理を行った後には、安定成分メモリ１３ｂに安
定成分の情報が格納されている。
定成分の情報が格納されている。
次に、特徴量生成部１４の処理フローについて、図８に示すフローチャートに基づいて
説明する。特徴量生成部１４では、所定の長さの区間毎に特徴量を生成する。本実施例で
は、フレームシフト長ＳのＴ倍を区間の長さとする（Ｔは１以上の整数）。
説明する。特徴量生成部１４では、所定の長さの区間毎に特徴量を生成する。本実施例で
は、フレームシフト長ＳのＴ倍を区間の長さとする（Ｔは１以上の整数）。
まず、ステップＳ５１０において、演算処理回路１４ａは、特徴量を生成する区間の先
頭を表す制御変数ｔを０にセットする。
頭を表す制御変数ｔを０にセットする。
次に、ステップＳ５２０において、演算処理回路１４ａは、安定成分検出部１３の安定
成分メモリ１３ｂを参照し、区間ｔ内の安定成分の数Ｅをカウントする。具体的には、安
定成分メモリ１３ｂのｐフィールドが、ｔ≦ｐ＜ｔ＋Ｔを満たす安定成分の数をカウント
すれば良い。
成分メモリ１３ｂを参照し、区間ｔ内の安定成分の数Ｅをカウントする。具体的には、安
定成分メモリ１３ｂのｐフィールドが、ｔ≦ｐ＜ｔ＋Ｔを満たす安定成分の数をカウント
すれば良い。
次に、ステップＳ５３０において、演算処理回路１４ａは、区間ｔに対する特徴量ｏｕ
ｔ［ｔ］として、安定成分の数Ｅ、あるいはＥを全バンド数Ｑで割った値Ｅ／Ｑ、あるい
はＥを全バンド数Ｑと区間長Ｔとの積で割った値Ｅ／（ＱＴ）を出力する。
ｔ［ｔ］として、安定成分の数Ｅ、あるいはＥを全バンド数Ｑで割った値Ｅ／Ｑ、あるい
はＥを全バンド数Ｑと区間長Ｔとの積で割った値Ｅ／（ＱＴ）を出力する。
次に、ステップＳ５４０において、演算処理回路１４ａは、制御変数ｔをＴだけ増やす
。
。
次に、ステップＳ５５０において、演算処理回路１４ａは、制御変数ｔがｆｌｏｏｒ（
Ｍ／Ｔ）未満であるか否かを判定する。ここでｆｌｏｏｒ関数は、小数点以下を切り捨て
た整数を返す関数である。ｆｌｏｏｒ（Ｍ／Ｔ）未満である（ＹＥＳ）時はステップＳ５
２０に戻って処理を行い、ｆｌｏｏｒ（Ｍ／Ｔ）以上である（ＮＯ）時は特徴量生成部１
４の処理を終了する。
Ｍ／Ｔ）未満であるか否かを判定する。ここでｆｌｏｏｒ関数は、小数点以下を切り捨て
た整数を返す関数である。ｆｌｏｏｒ（Ｍ／Ｔ）未満である（ＹＥＳ）時はステップＳ５
２０に戻って処理を行い、ｆｌｏｏｒ（Ｍ／Ｔ）以上である（ＮＯ）時は特徴量生成部１
４の処理を終了する。
なお、特徴量生成部１４で生成される特徴量の時系列データｏｕｔ［ｔ］を時間方向に
平滑化して、より滑らかな出力を得るようにしても良い。
平滑化して、より滑らかな出力を得るようにしても良い。
このように実施例１の音響信号分析装置及び音響信号分析方法によれば、有音程楽器が
発音されていて一定の周波数が安定的に持続している場所と、打楽器等が発音されていて
一定の周波数が安定的に持続しない場所とを識別し、有音程楽器の時間的に安定した周波
数成分の個数を計算して音の厚みを表す特徴量を生成するので、楽曲が記録された音響信
号から音の厚みを直接反映した特徴量を精度良く生成することができる。また、楽音の基
音と倍音を識別分離しない方式で処理を行うため、簡易な計算で特徴量を生成することが
できる。
（実施例２）
本発明の音響信号分析装置、音響信号分析方法及び音響信号分析プログラムの実施例２
を図１、図９乃至図１１に基づいて説明する。図１は本発明の実施例２の音響信号分析装
置の構成を示すブロック図、図９は実施例２における図１の安定成分検出部の処理フロー
を示すフローチャート、図１０は実施例２における図１の安定成分検出部のデータ格納形
式を示す図、図１１は実施例２における図１の特徴量生成部の処理フローを示すフローチ
ャートである。
発音されていて一定の周波数が安定的に持続している場所と、打楽器等が発音されていて
一定の周波数が安定的に持続しない場所とを識別し、有音程楽器の時間的に安定した周波
数成分の個数を計算して音の厚みを表す特徴量を生成するので、楽曲が記録された音響信
号から音の厚みを直接反映した特徴量を精度良く生成することができる。また、楽音の基
音と倍音を識別分離しない方式で処理を行うため、簡易な計算で特徴量を生成することが
できる。
（実施例２）
本発明の音響信号分析装置、音響信号分析方法及び音響信号分析プログラムの実施例２
を図１、図９乃至図１１に基づいて説明する。図１は本発明の実施例２の音響信号分析装
置の構成を示すブロック図、図９は実施例２における図１の安定成分検出部の処理フロー
を示すフローチャート、図１０は実施例２における図１の安定成分検出部のデータ格納形
式を示す図、図１１は実施例２における図１の特徴量生成部の処理フローを示すフローチ
ャートである。
本発明の実施例２における音響信号分析装置１の構成は、図１に示すように、実施例１
と同様である。また、音響信号入力部１１と周波数分析部１２は、実施例１で説明したも
のと同様の動作を行う。
と同様である。また、音響信号入力部１１と周波数分析部１２は、実施例１で説明したも
のと同様の動作を行う。
次に、安定成分検出部１３の処理フローについて、図９に示すフローチャートに基づい
て説明する。安定成分検出部１３では、周波数分析部１２に格納されている周波数成分ｃ
［ｉ］［ｑ］（ｉ＝０〜Ｍ−１，ｑ＝０〜Ｑ−１）を読み出して処理を行う。
て説明する。安定成分検出部１３では、周波数分析部１２に格納されている周波数成分ｃ
［ｉ］［ｑ］（ｉ＝０〜Ｍ−１，ｑ＝０〜Ｑ−１）を読み出して処理を行う。
まず、ステップＳ７１０では、演算処理回路１３ａは、探索を開始するフレーム番号を
表す制御変数ｐを０にセットする。
表す制御変数ｐを０にセットする。
次に、ステップＳ７２０では、演算処理回路１３ａは、バンドを表す制御変数ｑを安定
成分の対象となる最小のバンドＱ１（Ｑ１は０以上Ｑ未満の定数）にセットする。
成分の対象となる最小のバンドＱ１（Ｑ１は０以上Ｑ未満の定数）にセットする。
次に、ステップＳ７３０では、演算処理回路１３ａは、後述する条件に合致する周波数
成分を有効成分としてカウントするための変数ｒを０にセットする。
成分を有効成分としてカウントするための変数ｒを０にセットする。
次に、ステップＳ７４０では、演算処理回路１３ａは、有効成分の強度の和を計算する
ための変数ｓａを０にセットする。
ための変数ｓａを０にセットする。
次に、ステップＳ７５０では、演算処理回路１３ａは、フレーム番号を表す制御変数ｉ
をｐの値にセットする。
をｐの値にセットする。
次に、ステップＳ７６０では、演算処理回路１３ａは、周波数成分ｃ［ｉ］［ｑ］が有
効成分であるか否かチェックする。有効な成分である（ＹＥＳ）と判定した時は、ステッ
プＳ７７０に進み、有効な成分でない（ＮＯ）と判定した時はステップＳ７９０に進む。
ステップＳ７６０の具体的な方法は実施例１で説明した方法と同様である。
効成分であるか否かチェックする。有効な成分である（ＹＥＳ）と判定した時は、ステッ
プＳ７７０に進み、有効な成分でない（ＮＯ）と判定した時はステップＳ７９０に進む。
ステップＳ７６０の具体的な方法は実施例１で説明した方法と同様である。
次に、ステップＳ７７０では、演算処理回路１３ａは、有効成分をカウントするための
変数ｒの値を１増やす。
変数ｒの値を１増やす。
次に、ステップＳ７８０では、演算処理回路１３ａは、有効成分の強度の和を計算する
ための変数ｓａに周波数成分ｃ［ｉ］［ｑ］を加算する。
ための変数ｓａに周波数成分ｃ［ｉ］［ｑ］を加算する。
次に、ステップＳ７９０では、演算処理回路１３ａは、制御変数ｉの値を１増やす。
次に。ステップＳ８００では、演算処理回路１３ａは、制御変数ｉの値が（ｐ＋Ｕ）未
満であるか否かを判定し、（ｐ＋Ｕ）未満である（ＹＥＳ）時は、ステップＳ７６０に戻
って処理を繰り返す。ここでＵは定数である。制御変数ｉの値が（ｐ＋Ｕ）以上である（
ＮＯ）時は、ステップＳ８１０に進む。
満であるか否かを判定し、（ｐ＋Ｕ）未満である（ＹＥＳ）時は、ステップＳ７６０に戻
って処理を繰り返す。ここでＵは定数である。制御変数ｉの値が（ｐ＋Ｕ）以上である（
ＮＯ）時は、ステップＳ８１０に進む。
そして、ステップＳ８１０では、演算処理回路１３ａは、有効成分カウント用の変数ｒ
が定数Ｖ（ただしＶ≦Ｕ）以上であるか否かを判定し、Ｖ以上である（ＹＥＳ）時はステ
ップＳ８２０に進み、Ｖ未満である（ＮＯ）時はステップＳ８３０に進む。
が定数Ｖ（ただしＶ≦Ｕ）以上であるか否かを判定し、Ｖ以上である（ＹＥＳ）時はステ
ップＳ８２０に進み、Ｖ未満である（ＮＯ）時はステップＳ８３０に進む。
ここでＶ＝Ｕとすると、有効な成分がＵ個連続して存在する時のみ安定成分と判定する
ことになる。ただし実際には、ある音程の音が一定時間持続して発音されている場合にお
いても、微小な周波数のゆらぎ（ビブラート）があるので、有効な成分が連続するとは限
らず、断続的に存在する場合もある。このため、ＶをＵの８０〜９０％程度に設定する方
が良好な結果が得られる場合がある。
ことになる。ただし実際には、ある音程の音が一定時間持続して発音されている場合にお
いても、微小な周波数のゆらぎ（ビブラート）があるので、有効な成分が連続するとは限
らず、断続的に存在する場合もある。このため、ＶをＵの８０〜９０％程度に設定する方
が良好な結果が得られる場合がある。
次に、ステップＳ８２０では、演算処理回路１３ａは、図１０に示す形式で（ｐ，ｑ，
ｓａ）の組を安定成分メモリ１３ｂに格納する。安定成分メモリ１３ｂは特徴量生成部１
４から参照できるようになっている。
ｓａ）の組を安定成分メモリ１３ｂに格納する。安定成分メモリ１３ｂは特徴量生成部１
４から参照できるようになっている。
次に、ステップＳ８３０では、演算処理回路１３ａは、制御変数ｑの値を１増やす。
次に、ステップＳ８４０では、演算処理回路１３ａは、制御変数ｑの値がＱ２以下であ
るか否かを判定し、Ｑ２以下である（ＹＥＳ）時はステップＳ７３０に戻り処理を繰り返
す。Ｑ２より大きい（ＮＯ）時はステップＳ８５０に進む。ここでＱ２は、安定成分の対
象とする最大のバンドを表す定数である。
るか否かを判定し、Ｑ２以下である（ＹＥＳ）時はステップＳ７３０に戻り処理を繰り返
す。Ｑ２より大きい（ＮＯ）時はステップＳ８５０に進む。ここでＱ２は、安定成分の対
象とする最大のバンドを表す定数である。
そして、ステップＳ８５０では、演算処理回路１３ａは、制御変数ｐの値をＰだけ増や
す。ここで、Ｐは通常１であるが、処理量を減らしたい場合にはＰを２以上の値としても
良い。ただし、Ｐを２以上とする場合は、ステップＳ８２０における安定成分の格納時に
、（ｐ，ｑ，ｓａ）のみでなく、（ｐ，ｑ，ｓａ）〜（ｐ＋Ｐ−１，ｑ，ｓａ）の組をま
とめて格納するようにする。
す。ここで、Ｐは通常１であるが、処理量を減らしたい場合にはＰを２以上の値としても
良い。ただし、Ｐを２以上とする場合は、ステップＳ８２０における安定成分の格納時に
、（ｐ，ｑ，ｓａ）のみでなく、（ｐ，ｑ，ｓａ）〜（ｐ＋Ｐ−１，ｑ，ｓａ）の組をま
とめて格納するようにする。
そして、ステップＳ８６０では、演算処理回路１３ａは、制御変数ｐが（Ｍ−Ｕ）未満
であるか否かを判定する。（Ｍ−Ｕ）未満である（ＹＥＳ）時はステップＳ７２０に戻っ
て処理を繰り返し、（Ｍ−Ｕ）以上である（ＮＯ）時は処理を終了する。
であるか否かを判定する。（Ｍ−Ｕ）未満である（ＹＥＳ）時はステップＳ７２０に戻っ
て処理を繰り返し、（Ｍ−Ｕ）以上である（ＮＯ）時は処理を終了する。
このようにして安定成分検出部１３の処理を行った後には、安定成分メモリ１３ｂに安
定成分の情報が格納されている。
定成分の情報が格納されている。
次に、特徴量生成部１４の処理フローについて、図１１に示すフローチャートに基づい
て説明する。特徴量生成部１４では、所定の長さの区間毎に特徴量を生成する。本実施例
では、フレームシフト長ＳのＴ倍を区間の長さとする（Ｔは１以上の整数）。
て説明する。特徴量生成部１４では、所定の長さの区間毎に特徴量を生成する。本実施例
では、フレームシフト長ＳのＴ倍を区間の長さとする（Ｔは１以上の整数）。
まず、ステップＳ９１０において、演算処理回路１４ａは、特徴量を生成する区間の先
頭を表す制御変数ｔを０にセットする。
頭を表す制御変数ｔを０にセットする。
次に、ステップＳ９２０において、演算処理回路１４ａは、安定成分検出部１３の安定
成分メモリ１３ｂを参照し、区間ｔ内の安定成分の強度の総和ｓｕｍを計算する。具体的
には、安定成分メモリ１３ｂのｐフィールドが、ｔ≦ｐ＜ｔ＋Ｔを満たす安定成分の集合
θ［ｔ］を求め、（数式１８）に示すように集合θ［ｔ］に属するｓａの総和を求めてｓ
ｕｍとすれば良い。
成分メモリ１３ｂを参照し、区間ｔ内の安定成分の強度の総和ｓｕｍを計算する。具体的
には、安定成分メモリ１３ｂのｐフィールドが、ｔ≦ｐ＜ｔ＋Ｔを満たす安定成分の集合
θ［ｔ］を求め、（数式１８）に示すように集合θ［ｔ］に属するｓａの総和を求めてｓ
ｕｍとすれば良い。
次に、ステップＳ９３０において、演算処理回路１４ａは、区間ｔに対する特徴量ｏｕ
ｔ［ｔ］として、ｓｕｍ、あるいはｓｕｍ／Ｑ、或いはｓｕｍ／（ＱＴ）を出力する。
ｔ［ｔ］として、ｓｕｍ、あるいはｓｕｍ／Ｑ、或いはｓｕｍ／（ＱＴ）を出力する。
次に、ステップＳ９４０において、演算処理回路１４ａは、制御変数ｔをＴだけ増やす
。
。
次に、ステップＳ９５０において、演算処理回路１４ａは、制御変数ｔがｆｌｏｏｒ（
Ｍ／Ｔ）未満であるか否かを判定する。ここでｆｌｏｏｒ関数は、関数は小数点以下を切
り捨てた整数を返す関数である。ｆｌｏｏｒ（Ｍ／Ｔ）未満である（ＹＥＳ）時はステッ
プＳ９２０に戻って処理を行い、ｆｌｏｏｒ（Ｍ／Ｔ）以上である（ＮＯ）時は特徴量生
成部１４の処理を終了する。
Ｍ／Ｔ）未満であるか否かを判定する。ここでｆｌｏｏｒ関数は、関数は小数点以下を切
り捨てた整数を返す関数である。ｆｌｏｏｒ（Ｍ／Ｔ）未満である（ＹＥＳ）時はステッ
プＳ９２０に戻って処理を行い、ｆｌｏｏｒ（Ｍ／Ｔ）以上である（ＮＯ）時は特徴量生
成部１４の処理を終了する。
なお、特徴量生成部１４で生成される特徴量の時系列データｏｕｔ［ｔ］を時間方向に
平滑化して、より滑らかな出力を得るようにしても良い。
平滑化して、より滑らかな出力を得るようにしても良い。
このように実施例２の音響信号分析装置及び音響信号分析方法は、安定成分検出部１３
及び特徴量生成部１４において、有音程楽器の時間的に安定した周波数成分の所定の区間
における安定成分の強度の総和を計算して音の厚みを表す特徴量を生成するもので、実施
例１と同様の効果が得られる。
及び特徴量生成部１４において、有音程楽器の時間的に安定した周波数成分の所定の区間
における安定成分の強度の総和を計算して音の厚みを表す特徴量を生成するもので、実施
例１と同様の効果が得られる。
なお、実施例１及び実施例２で説明した音響信号分析装置では、装置各部のそれぞれに
演算処理回路を設けたが、１つの演算処理回路が装置各部を制御する構成にすることも可
能である。
演算処理回路を設けたが、１つの演算処理回路が装置各部を制御する構成にすることも可
能である。
また、実施例１及び実施例２で説明した音響信号分析装置は、その装置構成の一部また
は全部をパーソナルコンピュータ等から構成することが可能である。この場合、上記で説
明した装置各部は、コンピュータのハードウェアもしくはソフトウェアによりその機能を
実現可能である。例えば、コンピュータに上記実施例１及び実施例２で説明した動作の一
部または全部を実行させるためのプログラムを、コンピュータのハードディスク装置、Ｃ
Ｄ−ＲＯＭ等の記録媒体、もしくはダウンロードによりコンピュータのメモリ等に記憶さ
せて使用しても良い。
は全部をパーソナルコンピュータ等から構成することが可能である。この場合、上記で説
明した装置各部は、コンピュータのハードウェアもしくはソフトウェアによりその機能を
実現可能である。例えば、コンピュータに上記実施例１及び実施例２で説明した動作の一
部または全部を実行させるためのプログラムを、コンピュータのハードディスク装置、Ｃ
Ｄ−ＲＯＭ等の記録媒体、もしくはダウンロードによりコンピュータのメモリ等に記憶さ
せて使用しても良い。
本発明は、楽曲の音響的な特徴を使って検索を行う楽曲検索装置に適用することができ
る。本発明で生成される特徴量を検索タグに適用することにより、「音の厚い楽曲を探し
たい」といった利用者ニーズに応えるような検索が可能になる。また、音の厚み感は楽曲
の雰囲気を決める重要なファクターなので、この特徴量を用いることにより、従来よりも
楽曲の雰囲気を正確に反映した楽曲の検索が可能になる。
る。本発明で生成される特徴量を検索タグに適用することにより、「音の厚い楽曲を探し
たい」といった利用者ニーズに応えるような検索が可能になる。また、音の厚み感は楽曲
の雰囲気を決める重要なファクターなので、この特徴量を用いることにより、従来よりも
楽曲の雰囲気を正確に反映した楽曲の検索が可能になる。
また、本発明は音楽のジャンル、曲調に合わせて照明装置、空調装置、玩具、視覚エフ
ェクト等の画面表示などを制御する制御装置および音楽のジャンル、曲調に合わせて音質
、音量、音場などを制御するオーディオ装置に適用することができる。従来の制御装置や
オーディオ装置に比べて、楽曲の音の厚み感や、盛り上がり感をより精度良く捉えて制御
することが可能になる。
ェクト等の画面表示などを制御する制御装置および音楽のジャンル、曲調に合わせて音質
、音量、音場などを制御するオーディオ装置に適用することができる。従来の制御装置や
オーディオ装置に比べて、楽曲の音の厚み感や、盛り上がり感をより精度良く捉えて制御
することが可能になる。
１ 音響信号分析装置
１１ 音響信号入力部
１２ 周波数分析部
１３ 安定成分検出部
１４ 特徴量生成部
１１ａ〜１４ａ 演算処理回路
１１ｂ Ａ／Ｄ変換器
１３ｂ 安定成分メモリ
１１ 音響信号入力部
１２ 周波数分析部
１３ 安定成分検出部
１４ 特徴量生成部
１１ａ〜１４ａ 演算処理回路
１１ｂ Ａ／Ｄ変換器
１３ｂ 安定成分メモリ
Claims (21)
- 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、
前記周波数成分データから前記成分強度が所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、
前記安定成分検出手段は、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする音響信号分析装置。 - 前記安定成分検出手段は、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、成分強度の平均値を算出し、その平均値に所定係数を乗じた値を前記所定の値として算出する、
ことを特徴とする請求項１に記載の音響信号分析装置。 - 前記安定成分検出手段は、前記有効要素であるか否かの判定対象となる要素と時間的に近傍の他の要素であり、かつ前記判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする請求項１または請求項２に記載の音響信号分析装置。 - 前記周波数分析手段は、周波数軸上に等間隔に存在する周波数、または平均律音階に対応した周波数、または平均律音階の半音よりも更に細かく分割された周波数のうちのいずれかの周波数に対応させた前記各要素を生成する、
ことを特徴とする請求項１〜請求項３のいずれか一項に記載の音響信号分析装置。 - 前記特徴量生成手段は、前記所定の区間における前記安定成分の個数、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする請求項１〜請求項４のいずれか一項に記載の音響信号分析装置。 - 前記特徴量生成手段は、前記所定の区間における前記安定成分の強度の総和、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする請求項１〜請求項４のいずれか一項に記載の音響信号分析装置。 - 前記特徴量生成手段は、時間方向に平滑化する処理を行って前記特徴量を生成する、
ことを特徴とする請求項１〜請求項６のいずれか一項に記載の音響信号分析装置。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから前記成分強度が所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、
前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする音響信号分析方法。 - 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、成分強度の平均値を算出し、その平均値に所定係数を乗じた値を前記所定の値として算出する、
ことを特徴とする請求項８に記載の音響信号分析方法。 - 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と時間的に近傍の他の要素であり、かつ前記判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする請求項８または請求項９に記載の音響信号分析方法。 - 前記周波数分析ステップは、周波数軸上に等間隔に存在する周波数、または平均律音階に対応した周波数、または平均律音階の半音よりも更に細かく分割された周波数のうちのいずれかの周波数に対応させた前記各要素を生成する、
ことを特徴とする請求項８〜請求項１０のいずれか一項に記載の音響信号分析方法。 - 前記特徴量生成ステップは、前記所定の区間における前記安定成分の個数、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする請求項８〜請求項１１のいずれか一項に記載の音響信号分析方法。 - 前記特徴量生成ステップは、前記所定の区間における前記安定成分の強度の総和、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする請求項８〜請求項１１のいずれか一項に記載の音響信号分析方法。 - 前記特徴量生成ステップは、時間方向に平滑化する処理を行って前記特徴量を生成する、
ことを特徴とする請求項８〜請求項１３のいずれか一項に記載の音響信号分析方法。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから前記成分強度が所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、
前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする音響信号分析プログラム。 - 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、成分強度の平均値を算出し、その平均値に所定係数を乗じた値を前記所定の値として算出する、
ことを特徴とする請求項１５に記載の音響信号分析プログラム。 - 前記安定成分検出ステップは、前記有効要素であるか否かの判定対象となる要素と時間的に近傍の他の要素であり、かつ前記判定対象となる要素と同じ周波数、または前記同じ周波数の近傍の周波数に対応する他の要素の成分強度を時間方向に加算した値を用いて、前記所定の値を算出する、
ことを特徴とする請求項１５または請求項１６に記載の音響信号分析プログラム。 - 前記周波数分析ステップは、周波数軸上に等間隔に存在する周波数、または平均律音階に対応した周波数、または平均律音階の半音よりも更に細かく分割された周波数のうちのいずれかの周波数に対応させた前記各要素を生成する、
ことを特徴とする請求項１５〜請求項１７のいずれか一項に記載の音響信号分析プログラム。 - 前記特徴量生成ステップは、前記所定の区間における前記安定成分の個数、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の個数を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする請求項１５〜請求項１８のいずれか一項に記載の音響信号分析プログラム。 - 前記特徴量生成ステップは、前記所定の区間における前記安定成分の強度の総和、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数で割った値、または前記安定成分の強度の総和を前記周波数データを構成する要素における周波数の種類の数と前記所定の区間の長さとの積で割った値を前記特徴量とする、
ことを特徴とする請求項１５〜請求項１８のいずれか一項に記載の音響信号分析プログラム。 - 前記特徴量生成ステップは、時間方向に平滑化する処理を行って前記特徴量を生成する、
ことを特徴とする請求項１５〜請求項２０のいずれか一項に記載の音響信号分析プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010023988A JP4930608B2 (ja) | 2010-02-05 | 2010-02-05 | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010023988A JP4930608B2 (ja) | 2010-02-05 | 2010-02-05 | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004358258A Division JP4483561B2 (ja) | 2004-12-10 | 2004-12-10 | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010152381A JP2010152381A (ja) | 2010-07-08 |
| JP4930608B2 true JP4930608B2 (ja) | 2012-05-16 |
Family
ID=42571450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010023988A Active JP4930608B2 (ja) | 2010-02-05 | 2010-02-05 | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4930608B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6045511B2 (ja) * | 2014-01-08 | 2016-12-14 | Ｐｓソリューションズ株式会社 | 音響信号検出システム、音響信号検出方法、音響信号検出サーバー、音響信号検出装置、及び音響信号検出プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01158496A (ja) * | 1987-09-30 | 1989-06-21 | Agency Of Ind Science & Technol | 音声の特徴抽出方式 |
| JP2002215142A (ja) * | 2001-01-17 | 2002-07-31 | Dainippon Printing Co Ltd | 音響信号の符号化方法 |
| JP3801029B2 (ja) * | 2001-11-28 | 2006-07-26 | ヤマハ株式会社 | 演奏情報生成方法、演奏情報生成装置およびプログラム |
| JP4244133B2 (ja) * | 2002-11-29 | 2009-03-25 | パイオニア株式会社 | 楽曲データ作成装置及び方法 |
-
2010
- 2010-02-05 JP JP2010023988A patent/JP4930608B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010152381A (ja) | 2010-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bittner et al. | Deep Salience Representations for F0 Estimation in Polyphonic Music. | |
| JP4665836B2 (ja) | 楽曲分類装置、楽曲分類方法、及び楽曲分類プログラム | |
| US7582824B2 (en) | Tempo detection apparatus, chord-name detection apparatus, and programs therefor | |
| De La Cuadra et al. | Efficient pitch detection techniques for interactive music | |
| US9672800B2 (en) | Automatic composer | |
| JP4916947B2 (ja) | リズム検出装置及びリズム検出用コンピュータ・プログラム | |
| JP2008516289A (ja) | 音声信号の基礎となるメロディを抽出する方法および装置 | |
| US20110011247A1 (en) | Musical composition discrimination apparatus, musical composition discrimination method, musical composition discrimination program and recording medium | |
| JP5229998B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
| JP2008015214A (ja) | 歌唱力評価方法及びカラオケ装置 | |
| JP4483561B2 (ja) | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム | |
| Dixon et al. | Estimation of harpsichord inharmonicity and temperament from musical recordings | |
| JP6288197B2 (ja) | 評価装置及びプログラム | |
| JP6102076B2 (ja) | 評価装置 | |
| JP4930608B2 (ja) | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム | |
| JP5005445B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
| JP2007298607A (ja) | 音響信号分析装置、音響信号分析方法、及び音響信号分析用プログラム | |
| JP4271667B2 (ja) | デュエットの同期性を採点するカラオケ採点装置 | |
| JP2016184112A (ja) | アンサンブル評価装置 | |
| JP2009003225A (ja) | コード名検出装置及びコード名検出用プログラム | |
| Orio | A model for human-computer interaction based on the recognition of musical gestures | |
| JP5618743B2 (ja) | 歌唱音声評価装置 | |
| JP2008015212A (ja) | 音程変化量抽出方法、ピッチの信頼性算出方法、ビブラート検出方法、歌唱訓練プログラム及びカラオケ装置 | |
| JP5585320B2 (ja) | 歌唱音声評価装置 | |
| JP2008015213A (ja) | ビブラート検出方法、歌唱訓練プログラム及びカラオケ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100730 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110920 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4930608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |