JP4483561B2 - 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム - Google Patents
音響信号分析装置、音響信号分析方法及び音響信号分析プログラム Download PDFInfo
- Publication number
- JP4483561B2 JP4483561B2 JP2004358258A JP2004358258A JP4483561B2 JP 4483561 B2 JP4483561 B2 JP 4483561B2 JP 2004358258 A JP2004358258 A JP 2004358258A JP 2004358258 A JP2004358258 A JP 2004358258A JP 4483561 B2 JP4483561 B2 JP 4483561B2
- Authority
- JP
- Japan
- Prior art keywords
- elements
- value
- frequency
- predetermined
- acoustic signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は、楽曲の記録された音響信号から楽曲の特徴を抽出する音響信号分析装置、音響信号分析方法及び音響信号分析プログラムに関する。
近年、音声圧縮技術の進展や大容量記憶装置の普及を背景にして、デジタル化された楽曲データをコンピュータ等に記憶格納することが広く行われるようになっている。
このような状況下において従来、特許文献１及び２に示されたように、音響信号から曲調情報を生成し、曲調情報に同期させて照明装置、空調装置、玩具等を制御する装置が提案されている。また、特許文献３に示されたように、楽曲の音響信号を分析して曲の雰囲気やジャンルを判定し楽曲検索を行う装置も提案されている。
特開２００４−１６３７６７号公報
特開２００３−２２８３８７号公報
特開２００４−１８５４３２号公報
楽曲や楽器の音色を表現する時に、「分厚い音」、「薄っぺらな音」というような表現が頻繁に用いられることからも分かるように、音の厚みは楽曲の雰囲気を決める重要なファクターである。しかしながら、上記特許文献１乃至３においては、音響信号から音圧、ビート和音などの情報を抽出しているものの、音の厚みを直接反映する特徴量を精度良く抽出してはいなかった。
特許文献１においては、音響信号からＣメジャー、Ｃマイナー等の和音（コード名）を検出している他に、基音と倍音の強度比を計算している。基音と倍音の強度比を音の厚みを表す１つの特徴量として利用することは可能と考えられるが、複数の楽器が混在した一般的な楽曲の音響信号の周波数スペクトルは非常に複雑であり、このような音響信号から基音と倍音を十分な精度で分離する技術は現状では確立されているとは言えない。
すなわち、特許文献１で述べられている基音と倍音の強度比は、音の厚みを表現する特徴量としては、実用上必ずしも適していなかった。
また、楽曲の中で打楽器等が発音している部分においては、幅広い周波数帯域の強度が上がり、見かけ上の倍音強度が非常に大きくなるが、聴感的にはこのような場所での音の厚みはあまり感じられない。打楽器等が発音しているタイミングの前後では周波数スペクトルが大きく変動するため、音響信号の中から周波数スペクトルが一定時間以上安定している場所を探すことにより、このような打楽器の影響を低減することが可能であるが、特許文献１乃至３では、周波数スペクトルの時間的な安定性を判定する手段、方法を有していなかった。
従って、特許文献１に示された方法では、十分な精度で音の厚みに関わる特徴量を検出することができなかった。
特許文献２においては、音像の定位感、音の高低である高調感、音圧レベルを検出して楽曲の高揚感を判定している。しかしながら、これらの特徴量は音の厚みと無関係ではないものの、聴感的な音の厚みを直接表す指標ではなかった。また上述したように、周波数スペクトルの時間的安定性を判定する手段、方法を持っていなかった。
特許文献３においては、特許文献１と同様に和音（コード名）を検出しているが、音の厚みに関する特徴量は検出していなかった。
そこで本発明は、楽曲の雰囲気に大きな影響を持つ音の厚みを直接反映する特徴量を精度良く生成することができる音響信号分析装置、音響信号分析方法及び音響信号分析プログラムを提供することを目的とする。特に、打楽器等による影響を低減して精度良く特徴量を生成することができる音響信号分析装置、音響信号分析方法及び音響信号分析プログラムを提供することを目的とする。
また、音響信号から基音と倍音を分離することなく、少ない処理量で音の厚みを直接反映する特徴量を生成することができる音響信号分析装置、音響信号分析方法及び音響信号分析プログラムを提供することを目的とする。
本発明の音響信号分析装置は、次の（１）〜（６）の特徴を有する。
（１） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析手段と、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出することを特徴とする。
（２） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析手段と、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（３） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析手段と、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（４） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（５） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（６） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析手段と、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出することを特徴とする。
（２） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析手段と、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（３） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析手段と、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（４） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（５） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（６） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、前記安定成分検出手段は、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
また、本発明の音響信号分析方法は、次の（７）〜（１２）の特徴を有する。
（７） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（８） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（９） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１０） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１１） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１２） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（７） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（８） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（９） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１０） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１１） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１２） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
さらに、本発明の音響信号分析プログラムは、次の（１３）〜（１８）の特徴を有する。
（１３） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１４） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１５） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１６） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１７） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１８） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１３） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１４） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１５） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１６） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１７） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
（１８） 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする。
本発明の音響信号分析装置、音響信号分析方法及び音響信号分析プログラムによれば、有音程楽器が発音されていて一定の周波数が安定的に持続している場所と、打楽器等が発音されていて一定の周波数が安定的に持続しない場所とを識別し、有音程楽器の時間的に安定した周波数成分の個数または成分強度の総和を計算して音の厚みを表す特徴量を生成するので、楽曲の雰囲気を決める大きなファクターである音の厚み感を直接反映し、聴感的な音の厚み感に適合した特徴量を精度良く生成することができる。また、楽音の基音と倍音を識別分離しない方式で処理を行うため、比較的少ない処理量で特徴量を生成することができ、音響信号分析装置を低コスト化することが可能である。また、演算処理能力の小さなコンピュータでも実行可能である。
以下、本発明の実施の形態を図面を参照して説明する。
（実施例１）
本発明の音響信号分析装置、音響信号分析方法及び音響信号分析プログラムの実施例１を図１乃至図８に基づいて説明する。図１は本発明の実施例１の音響信号分析装置の構成を示すブロック図、図２は図１の周波数分析部の処理フローを示すフローチャート、図３は図１の周波数分析部におけるフレーム作成動作を示す図、図４は図１の周波数分析部における周波数成分計算動作で使用するフィルタ群の特性を示す図、図５は図１の周波数分析部で生成された行列データの特性を示す模式図、図６は実施例１における図１の安定成分検出部の処理フローを示すフローチャート、図７は実施例１における図１の安定成分検出部のデータ格納形式を示す図、図８は実施例１における図１の特徴量生成部の処理フローを示すフローチャートである。
本発明の音響信号分析装置、音響信号分析方法及び音響信号分析プログラムの実施例１を図１乃至図８に基づいて説明する。図１は本発明の実施例１の音響信号分析装置の構成を示すブロック図、図２は図１の周波数分析部の処理フローを示すフローチャート、図３は図１の周波数分析部におけるフレーム作成動作を示す図、図４は図１の周波数分析部における周波数成分計算動作で使用するフィルタ群の特性を示す図、図５は図１の周波数分析部で生成された行列データの特性を示す模式図、図６は実施例１における図１の安定成分検出部の処理フローを示すフローチャート、図７は実施例１における図１の安定成分検出部のデータ格納形式を示す図、図８は実施例１における図１の特徴量生成部の処理フローを示すフローチャートである。
図１に示すように、音響信号分析装置１は、音響信号入力部１１と、Ａ／Ｄ変換器１１ｂと、周波数分析部１２と、安定成分検出部１３と、安定成分メモリ１３ｂと、特徴量生成部１４と、演算処理回路１１ａ〜１４ａとを備える。
音響信号入力部１１には楽曲が記録された音響信号が入力される。Ａ／Ｄ変換器１１ｂは、音響信号入力部１１に入力される音響信号がアナログ信号である場合に音響信号をＡ／Ｄ変換する。
周波数分析部１２は、音響信号を複数の周波数のバンドに分割して、所定時間周期での各バンドの成分強度を要素とする行列データを生成する。
安定成分検出部１３は、周波数分析部１２で生成された行列データから成分強度が所定の値以上の要素を有効要素として検出し、行列データの中で前記時間周期の複数分に相当する時間内に前記有効要素が所定の数以上存在する領域を安定成分として検出する。安定成分メモリ１３ｂは、安定成分検出部１３で検出された安定成分の情報を格納する。
特徴量生成部１４は、安定成分メモリ１３ｂを参照し、所定の区間における安定成分の強度の総和または安定成分の個数を使って前記区間での音の厚みを表す特徴量を生成する。
演算処理回路１１ａ〜１４ａは、装置各部をそれぞれ演算及び制御する。
次に、実施例１の音響信号分析装置１の動作及び音響信号分析方法を説明する。
まず、音響信号入力部１１において、入力される音響信号がアナログ信号である場合には、演算処理回路１１ａは、Ａ／Ｄ変換器１１ｂに対して所定のサンプリング周波数Ｆｓでデジタル化させるように制御する。また、入力される音響信号がデジタル信号の場合には、サンプリング周波数が所定の値Ｆｓとなるようにレート変換を行う。音響信号入力部１１でデジタル化されたデータを以下では音響データｘ［ｍ］（ｍ＝０〜Ｌ−１、Ｌは音響データの総数）と表す。
次に、周波数分析部１２では、演算処理回路１２ａは、音響信号入力部１１にて所定のサンプリングレートにデジタル化された音響データを対象にして周波数分析を行い、所定の時間周期毎に各バンドの成分強度を計算し、成分強度を行列要素とする行列データを作成する。
本実施例では、周波数分析の方法として公知のＳＴＦＴ（Short-time Fourier Transform）を用いるが、これに限定するわけでなく、ウェーブレット変換やフィルターバンクなどを用いても良い。
ここで、周波数分析部１２の処理フローを図２に示すフローチャートに基づいて説明する。本実施例では、音響データを固定長のフレームに分割し、フレーム単位での処理を行う。以下では、フレーム長をＮ、フレームシフト長をＳとする。フレームシフト長Ｓが時間周期に相当する。フレームの総数Ｍは、（数式１）に従って求まる。ここでｆｌｏｏｒ関数は小数点以下を切り捨てた整数を返す関数である。
まず、ステップＳ１１０では、演算処理回路１２ａは、フレーム番号を示す制御変数ｉを０にセットする。
次に、ステップＳ１２０では、演算処理回路１２ａは、ｉ番目のフレームを作成する。すなわち図３に示すように、音響データの先頭からｉ×Ｓ個オフセットされた位置からＮ個のデータを切り出し、これに（数式２）に示すように窓関数ｗを乗じて、ｉ番目のフレームデータｙ［ｉ］［ｎ］（ｎ＝０〜Ｎ−１）を作成する。
窓関数としては例えば、（数式３）に示すハミング窓を用いれば良い。また、この他にも、方形窓、ハニング窓、ブラックマン窓などを用いても良い。
次に、ステップＳ１３０では、演算処理回路１２ａは、（数式４）に従ってｉ番目のフレームの離散フーリエ変換（ＤＦＴ）を計算する。
次に、ステップＳ１４０では、演算処理回路１２ａは、ステップＳ１３０で得られた複素系列ａ［ｉ］［ｋ］（ｋ＝０〜Ｎ−１）の実数部Ｒｅ｛ａ［ｉ］［ｋ］｝と虚数部Ｉｍ｛ａ［ｉ］［ｋ］｝を使って、（数式５）または（数式６）に従って、ｉ番目のフレームのスペクトル系列ｂ［ｉ］［ｋ］（ｋ＝０〜Ｎ／２−１）を計算する。
次に、ステップＳ１５０では、演算処理回路１２ａは、ＤＦＴの結果からフレームｉ、バンドｑの周波数成分ｃ［ｉ］［ｑ］（ｑ＝０〜Ｑ−１、Ｑはバンド数）を計算する。ここで、ステップＳ１５０における計算方法としては、以下の３つがある。
周波数成分を計算する第１の方法は、（数式７）に従ってスペクトル系列ｂ［ｉ］［ｋ］の一部、または全部をｃ［ｉ］［ｑ］に対応させる方法である。ここで、λは０以上の所定の整数であり、バンドの最低周波数を決めるパラメータである。また、バンド数Ｑは（Ｎ／２−λ）以下である所定の値に設定する。第１の方法は計算量が最も少なく簡便である。
周波数成分を計算する第２の方法は、（数式８）に従って平均律音階に対応した周波数成分を求める方法である。
ここで、Ｆｓは音響信号入力部１１におけるサンプリング周波数であり、Ｆｒは平均律音階の基準となる周波数である。例えば、「中央のラの音」を４４０Ｈｚとして、これよりも４オクターブ低い音を平均律音階の基準とした場合、Ｆｒ＝２７．５Ｈｚとなる。
また、Ｖは１オクターブの音階を何個のバンドに分割するかを決める定数である。例えば１オクターブを１２個のバンドに分割する場合はＶ＝１２とすれば良い。また、Ｖの値をこれより大きくして平均律音階の半音よりも更に細かいバンドに分割しても良い。また、関数Ｒは入力値に最も近い整数を出力する関数である。また、Ｋ１及びＫ２は、バンドの最低周波数（最低音階）及び最高周波数（最高音階）を決める定数であり、μはバンドを表わす引数ｑの最小値を０とするための定数である。同一値のｑに対応するｋの個数分だけスペクトル系列ｂ［ｉ］［ｋ］を加算して周波数成分ｃ［ｉ］［ｑ］を求める。
第２の方法は第１の方法に比べて、楽曲の音楽的な特徴をより反映した周波数成分を計算することができる。
周波数成分を計算する第３の方法は、（数式９）に従って平均律音階に対応した周波数成分を求める方法である。
ここで、ｚ［ｑ］［ｋ］（ｑ＝０〜Ｑ−１、ｋ＝０〜Ｎ／２−１）は、図４に示すような帯域特性を持つフィルタ群であり、各フィルタの中心周波数は、平均律音階の周波数に対応している。
図４に示した一例では、平均律音階のＣ１音程をバンド０に対応させて、以降半音ごとに１つのバンドに対応させて、最後にＢ６音程をバンドＱ−１に対応させている。図４（ａ）に示すｚ［０］［ｋ］はＣ１（ド）に対応した周波数を通過させるフィルタであり、図４（ｂ）に示すｚ［１］［ｋ］はそれより半音高いＣ＃１（ド＃）に対応した周波数を通過させるフィルタを示している。
スペクトル系列ｂ［ｉ］［ｋ］は周波数軸上に等間隔に存在するのに対して、平均律音階は高音部になるほど隣り合った半音間の周波数間隔が広がるので、フィルタ群ｚ［ｑ］［ｋ］の中心周波数もそれに対応して、高音部ほど隣り合った中心周波数の間隔が広くなっている。例えば、図４（ａ）に示すｚ［０］［ｋ］と図４（ｂ）に示すｚ［１］［ｋ］の中心周波数の差よりも図４（ｃ）に示すｚ［Ｑ−２］［ｋ］と図４（ｄ）に示すｚ［Ｑ−１］［ｋ］の中心周波数の差の方が大きい。
また、各フィルタの帯域幅も同様に、高音部ほど広くなっている。例えば、図４（ｄ）に示すＺ［Ｑ−１］［ｋ］の帯域幅は、図４（ａ）に示すｚ［０］［ｋ］の帯域幅よりも広い。
また、図４に示した例では平均律の半音に一致したバンドであるが、平均律音階の半音を更に細かく分割するようなバンドを得るようにしても良い。
第３の方法は、第２の方法に比べて更に精度良く平均律音階に対応した周波数を求めることができる。
図２の説明に戻ると、次にステップＳ１６０において、演算処理回路１２ａは、フレーム番号を示す制御変数ｉの値を１増やす。
次に、ステップＳ１７０では、演算処理回路１２ａは、フレーム番号を示す制御変数ｉの値がフレーム総数Ｍより小さいか否かチェックする。フレーム総数Ｍより小さい（ＹＥＳ）時は、ステップＳ１２０に戻り処理を繰り返す。フレーム総数Ｍ以上である（ＮＯ）時は、すべてのフレームについて処理を行ったことになるので、処理を終了する。
以上の処理が終了した時点で、周波数分析部１２には、周波数成分ｃ［ｉ］［ｑ］（フレームｉ＝０〜Ｍ−１、バンドｑ＝０〜Ｑ−１）が行列形式で形成格納されており、安定成分検出部１３が利用できるようになっている。
ここで、本発明の音響信号分析装置１が生成する特徴量について説明する。人間が楽曲や音楽を聞いて感じる音の厚みの度合いには、様々な要因が関係しているが、以下の２つの要因が大きく影響している。
（１）同時に発音されている音数（音符数、基音の数）
（２）個々の音に含まれる倍音成分
（１）は、いわゆるハーモニーに関わり、楽譜で表現可能な事項である。通常、同時に発音されている音数（音符数、基音の数）が多いほど「音が厚い」と感じられる。
（２）個々の音に含まれる倍音成分
（１）は、いわゆるハーモニーに関わり、楽譜で表現可能な事項である。通常、同時に発音されている音数（音符数、基音の数）が多いほど「音が厚い」と感じられる。
（２）は楽器の音色に関わり、楽譜では表現できない事項である。通常、個々の音に含まれる倍音成分が多いほど「音が厚い」と感じられる。
上記２つの要因は別々のものであるので、２つの要因を一度分離した後に総合的な音の厚み感を計算する方法が考えられる。しかしながら、複数かつ不特定の種類の楽器が混在している一般的な楽曲の音響信号から基音を認識することは難しく、上記２つの要因を無理に分離することは実用的でない。
そこで本発明では、上記２つの要因を分離せずに音の厚み感を表す特徴量を計算する。このため、比較的少ない計算量で特徴量が得られる。
図５は図１の周波数分析部１２で生成された行列データの特性を示す模式図である。図５ではフレームを横軸、バンドを縦軸に示しており、黒い部分（Ｃ部においては斜線部を含む）が成分強度の強い要素を示している。一般的な楽曲には一定の音程を接続して発音する有音程楽器が含まれているので、おおよそ水平方向の線分が多く存在する。
この水平方向の線分には、基音に相当するものと倍音に相当するものが混在しており、どれが基音で、どれが倍音であるかを判別することは難しい。
一方で、例えばＡ部とＢ部とを比較した場合に、水平方向の線分の数が多いＡ部の方が、聴感的に音が厚く感じられる部分である確率が高い。
また、楽曲の中で明確な音程を持たない打楽器が発音されているような箇所や一部の楽器の発音開始箇所では、Ｃ部に示すように、幅広い帯域で成分強度の強い要素が存在する。このような部分は、見かけ上の倍音成分が非常に強くなるが、聴感的には音の厚みはそれ程感じられない。
そこで、安定成分検出部１３及び特徴量生成部１４においては、打楽器等の影響を受けにくいようにして、有音程楽器の時間的に安定した周波数成分の個数または成分強度の総和を計算して特徴量を生成する。
次に、安定成分検出部１３の処理フローについて、図６に示すフローチャートに基づいて説明する。安定成分検出部１３では、周波数分析部１２に格納されている周波数成分ｃ［ｉ］［ｑ］（ｉ＝０〜Ｍ−１、ｑ＝０〜Ｑ−１）を読み出して処理を行う。
まず、ステップＳ２１０では、演算処理回路１３ａは、探索を開始するフレーム番号を表す制御変数ｐを０にセットする。
次に、ステップＳ２２０では、演算処理回路１３ａは、バンドを表す制御変数ｑを安定成分の対象となる最小のバンドＱ１（Ｑ１は０以上Ｑ未満の定数）にセットする。
次に、ステップＳ２３０では、演算処理回路１３ａは、後述する条件に合致する周波数成分を有効成分としてカウントするための変数ｒを０にセットする。
次に、ステップＳ２４０では、演算処理回路１３ａは、フレーム番号を表す制御変数ｉをｐの値にセットする。
次に、ステップＳ２５０では、演算処理回路１３ａは、周波数成分ｃ［ｉ］［ｑ］が有効な成分であるか否かチェックする。有効な成分である（ＹＥＳ）と判定した時は、ステップＳ２６０に進み、有効な成分でない（ＮＯ）と判定した時は、ステップＳ２７０に進む。ステップＳ２５０で有効な成分を判定する具体的な方法としては、以下に説明する５つの方法のいずれか又は適当な組合せを用いれば良い。
有効な成分を判定する第１の方法は、（数式１０）を用いて、ｃ［ｉ］［ｑ］がしきい値α［ｑ］以上である場合に有効な成分と判定する方法である。
ここで、しきい値α［ｑ］は、後述する方法で決めれば良い。
有効な成分を判定する第２の方法は、（数式１１）を用いる方法である。これは、前述した（数式１０）の条件に加えて、バンドｑ（中心バンドと呼ぶ）と同一時間の周波数成分であり、かつバンドｑの近傍の周波数バンド（近傍バンドと呼ぶ）に属するいくつかの周波数成分を特定して、これら周波数成分の総和に一定比率γを乗じた値よりもバンドｑの周波数成分ｃ［ｉ］［ｑ］の方が大きい場合に有効成分とするという条件を加えている。すなわち、ある周波数成分が所定の値以上であり、かつその周波数成分がその近傍の周波数成分の総和に所定の比率を乗じた値よりも大きい場合に、その周波数成分を有効成分と判定することになる。なお（数式１１）では、フレームｉの周波数成分のみを用いて総和を計算しているが、これに限定される訳ではなく、例えば、フレームｉの近傍のフレームを含めて総和を計算しても良い。
ここで、Ｇ１、Ｇ２、γは定数である。また、しきい値α［ｑ］は、後述する方法で決めれば良い。この方法は、一般に有音程楽器が発音されている時には、その音程のバンドの成分が隣接したバンドの成分よりも強く、打楽器等が発音されている時には隣接したバンドの成分との差が小さい、といった性質を利用している。
すなわち、（数式１１）の２項目の条件は、図５に示すＡ及びＢの部分では真となるが、Ｃの部分では偽となり、打楽器等が発音している部分を安定成分に含めない作用を持っている。定数Ｇ１、Ｇ２は、各バンド間の周波数差に応じて決めれば良い。一般的な楽曲では、半音違いの音程で２つの有音程楽器が発音されることはあまり多くないのに対して、打楽器等が発音される場合には半音違う周波数成分も同時に強いことが多い。従って、中心バンドの強度が中心バンドと半音〜２半音周波数の異なる隣接バンドの強度よりある程度大きい場合に有音程楽器が発音されているものと判定できる。このためには、中心バンドと近傍バンドの周波数差が平均律音階の１半音あるいは２半音に相当し、近傍バンドの片側帯域幅が平均律音階の１半音あるいは２半音に相当するように、Ｇ１及びＧ２を設定すれば良い。例えば、各バンドを平均律音階の各半音に対応させた場合は、Ｇ１＝１〜２、Ｇ２＝１〜３程度にするのが適当である。もちろん、この値に限定されるわけでない。
有効な成分を判定する第３の方法は（数式１２）を用いる方法である。有効な成分を判定する第２の方法と考え方は同様であるが、バンドｑの近傍のバンドに属する周波数成分から特定した周波数成分の総和ではなく、バンドｑの近傍のバンドに属する周波数成分から特定した周波数成分の最大値を用いている。すなわち、ある周波数成分が所定の値以上であり、かつその周波数成分がその近傍の周波数成分の最大値に所定の比率を乗じた値よりも大きい場合に、その周波数成分を有効成分と判定することになる。なお（数式１２）では、フレームｉの周波数成分のみを用いて最大値を計算しているが、これに限定される訳ではなく、例えば、フレームｉの近傍のフレームを含めて最大値を計算しても良い。
有効な成分を判定する第４の方法は、（数式１３）を用いる方法である。これは、前述した（数式１０）の条件に加えて、バンドｑと同一時間の周波数成分であって、かつバンドｑの周波数バンドと倍音関係にある周波数バンド（倍音バンド）に属する周波数成分を特定し、更に倍音バンドに属する周波数成分の近傍の周波数成分からいくつかの周波数成分を特定して、これら周波数成分の総和に一定比率を乗じた値よりも倍音バンドに属する周波数成分の方が大きい場合にｃ［ｉ］［ｑ］を有効成分とする方法である。すなわち、ある周波数成分が所定の値以上であり、かつその周波数成分と倍音関係にある倍音成分の値が、倍音成分の近傍の周波数成分の総和に所定の比率を乗じた値よりも大きい場合に、その周波数成分を有効成分と判定することになる。
ここで関数ｈ（ｄ，ｑ）は、バンドｑのｄ倍の周波数（ｄ倍音）に相当するバンド番号を返す関数である。これは、前述した（数式１０）の条件に加えて、バンドｑのｄ倍音に相当するバンド（ｄｑバンドと呼ぶ）の周波数成分からｄｑバンドの近傍のバンドの周波数成分の総和を引いた値に比率η［ｄ］を乗じた値をｄ＝２〜Ｄ（Ｄは２以上の定数）として加算した値が０より大きい場合に有効成分とするという条件を加えている。
また、Ｇ３、Ｇ４はＧ１、Ｇ２と同様に各バンド間の周波数差により決まる定数である。また、しきい値α［ｑ］は、後述する方法で決めれば良い。
この方法は、一般に有音程楽器が発音されている時には、倍音構造が存在し、基音の整数倍の周波数を持つ倍音バンドの成分が、周波数的に倍音バンドの近傍にあるバンド（倍音近傍バンドと呼ぶ）の成分よりも強いのに対して、打楽器等が発音されている時には、明確な倍音構造は存在しないため、倍音バンドと倍音近傍バンドとの成分の強度に関してそのような条件が成立し難い、といった性質を利用している。すなわち、（数式１３）の２項目の条件は、図５に示すＡ及びＢの部分では真となるが、Ｃの部分では偽となり、打楽器等が発音している部分を安定成分に含めない作用を持っている。なお（数式１３）では、フレームｉの周波数成分のみを用いて総和を計算しているが、これに限定される訳ではなく、例えば、フレームｉの近傍のフレームを含めて総和を計算しても良い。
有効な成分を判定する第５の方法は、（数式１４）を用いる方法である。これは、有効成分を判定する第４の方法と似ているが、倍音近傍バンドの周波数成分の総和ではなく、倍音近傍バンドの周波数成分の最大値を用いる。すなわち、ある周波数成分が所定の値以上であり、かつその周波数成分と倍音関係にある倍音成分の値が、倍音成分の近傍の周波数成分の最大値に所定の比率を乗じた値よりも大きい場合に、その周波数成分を有効成分と判定することになる。
なお（数式１４）では、フレームｉの周波数成分のみを用いて最大値を計算しているが、これに限定される訳ではなく、例えば、フレームｉの近傍のフレームを含めて最大値を計算しても良い。
更には、上述した５つの方法を適宜組み合わせて有効な成分を判定しても良い。例えば、第２の方法と第４の方法を組み合わせて、（数式１１）を満たし、なおかつ（数式１３）を満たす場合にのみ有効な成分と判定しても良い。すなわちこの場合は、ある周波数成分が所定の値以上であり、かつその周波数成分がその近傍の周波数成分の総和に所定の比率を乗じた値よりも大きく、かつその周波数成分と倍音関係にある倍音成分の値が倍音成分の近傍の周波数成分の総和に所定の比率を乗じた値よりも大きい場合に、その周波数成分を有効成分と判定することになる。この場合は、第２の方法または第４の方法を単独で用いる場合に比べて、前述したような打楽器等による影響を更に低減することができ、聴感的な音の厚みを表わす特徴量を更に精度良く計算することができる。
また、別の一例としては、第３の方法と第５の方法を組み合わせて、（数式１２）を満たし、なおかつ（数式１４）を満たす場合にのみ有効な成分と判定しても良い。すなわちこの場合は、ある周波数成分が所定の値以上であり、かつその周波数成分がその近傍の周波数成分の最大値に所定の比率を乗じた値よりも大きく、かつその周波数成分と倍音関係にある倍音成分の値が倍音成分の近傍の周波数成分の最大値に所定の比率を乗じた値よりも大きい場合に、その周波数成分を有効成分と判定することになる。この場合は、第３の方法または第５の方法を単独で用いる場合に比べて、前述したような打楽器等による影響を更に低減することができ、聴感的な音の厚みを表わす特徴量を更に精度良く計算することができる。
また、これ以外の方法を組み合わせて有効な成分を判定しても良い。
次に、上述した（数式１０）〜（数式１４）におけるしきい値α［ｑ］を決める方法について説明する。
しきい値α［ｑ］を決める第１の方法は、あらかじめ設定した定数にする方法である。この方法は安定成分検出部１３における演算量が最も少なく簡便である。なお、上述した有効成分を判定する方法において第２〜第５の方法を使用する場合は、しきい値α［ｑ］を比較的小さな値（極端な場合は「０」）にして、有効成分の判定におけるしきい値α［ｑ］の影響力が小さくなるように設定することも可能である。
しきい値α［ｑ］を決める第２の方法は、（数式１５）で示すように、全フレーム（Ｍ個）のバンド毎の周波数成分の平均値を用いる方法である。
ここで、βはあらかじめ設定されている定数である。第２の方法は楽曲毎の音響信号の大きさのバラツキに影響されにくい特長を持っている。
しきい値α［ｑ］を決める第３の方法は、（数式１６）に示すように、ｉ番目のフレームの近傍のフレームでのバンド毎の周波数成分の平均値を用いる方法である。
ここで、φ（ｉ）はｉ番目のフレームの近傍に属するフレームの集合を表し、Ｈは近傍フレームの数（Ｈ＜Ｍ）であり、βはあらかじめ設定されている定数である。第３の方法は、１つの楽曲の中で音響信号の強度が大きく変化している場合で、なおかつ信号強度の変化を処理結果に反映させたくない場合に適している。
しきい値α［ｑ］を決める第４の方法は、（数式１７）に示すように、複数のバンドに渡る周波数成分の平均値を用いる方法である。ここで、δは平均値の算出に用いるバンド数を決めるパラメータである。
図６の説明に戻って、ステップＳ２６０では、演算処理回路１３ａは、有効成分をカウントするための変数ｒの値を１増やす。
次に、ステップＳ２７０では、演算処理回路１３ａは、制御変数ｉの値を１増やす。
次に、ステップＳ２８０では、演算処理回路１３ａは、制御変数ｉの値が（ｐ＋Ｕ）未満であるか否か判定し、（ｐ＋Ｕ）未満である（ＹＥＳ）時は、ステップＳ２５０に戻って処理を繰り返す。ここでＵは定数である。制御変数ｉの値が（ｐ＋Ｕ）以上である（ＮＯ）時は、ステップＳ２９０に進む。
そして、ステップＳ２９０では、演算処理回路１３ａは、有効成分カウント用の変数ｒが定数Ｖ（ただしＶ≦Ｕ）以上であるか否かを判定し、Ｖ以上である（ＹＥＳ）時はステップＳ３００に進み、Ｖ未満である（ＮＯ）時はステップＳ３１０に進む。
ここでＶ＝Ｕとすると、有効な成分がＵ個連続して存在する時のみ安定成分と判定することになる。ただし実際には、ある音程の音が一定時間持続して発音されている場合においても、微小な周波数のゆらぎ（ビブラート）があるので、有効な成分が連続するとは限らず、断続的に存在する場合もある。このため、ＶをＵの８０〜９０％程度に設定する方が良好な結果が得られる場合がある。
次に、ステップＳ３００では、演算処理回路１３ａは、ステップＳ２９０での条件を満たす周波数成分に関する情報を安定成分検出部１３の安定成分メモリ１３ｂに格納する。具体的には図７に示す形式で（ｐ，ｑ）の組を安定成分メモリ１３ｂに格納する。安定成分メモリ１３ｂは特徴量生成部１４から参照できるようになっている。
次に、ステップＳ３１０では、演算処理回路１３ａは、制御変数ｑの値を１増やす。
次に、ステップＳ３２０では、演算処理回路１３ａは、制御変数ｑの値がＱ２以下であるか否かを判定し、Ｑ２以下である（ＹＥＳ）時はステップＳ２３０に戻り処理を繰り返す。Ｑ２より大きい（ＮＯ）時はステップＳ３３０に進む。ここでＱ２は、安定成分の対象とする最大のバンドを表す定数である。
そして、ステップＳ３３０では、演算処理回路１３ａは、制御変数ｐの値をＰだけ増やす。ここで、Ｐは通常１であるが、処理量を減らしたい場合にはＰを２以上の値としても良い。ただし、Ｐを２以上とする場合は、ステップＳ３００における安定成分の格納時に、（ｐ，ｑ）〜（ｐ＋Ｐ−１，ｑ）の組をまとめて格納するようにする。
そして、ステップＳ３４０では、演算処理回路１３ａは、制御変数ｐが（Ｍ−Ｕ）未満であるか否か判定する。（Ｍ−Ｕ）未満である（ＹＥＳ）時はステップＳ２２０に戻って処理を繰り返し、（Ｍ−Ｕ）以上である（ＮＯ）時は処理を終了する。
このようにして安定成分検出部１３の処理を行った後には、安定成分メモリ１３ｂに安定成分の情報が格納されている。
次に、特徴量生成部１４の処理フローについて、図８に示すフローチャートに基づいて説明する。特徴量生成部１４では、所定の長さの区間毎に特徴量を生成する。本実施例では、フレームシフト長ＳのＴ倍を区間の長さとする（Ｔは１以上の整数）。
まず、ステップＳ５１０において、演算処理回路１４ａは、特徴量を生成する区間の先頭を表す制御変数ｔを０にセットする。
次に、ステップＳ５２０において、演算処理回路１４ａは、安定成分検出部１３の安定成分メモリ１３ｂを参照し、区間ｔ内の安定成分の数Ｅをカウントする。具体的には、安定成分メモリ１３ｂのｐフィールドが、ｔ≦ｐ＜ｔ＋Ｔを満たす安定成分の数をカウントすれば良い。
次に、ステップＳ５３０において、演算処理回路１４ａは、区間ｔに対する特徴量ｏｕｔ［ｔ］として、安定成分の数Ｅ、あるいはＥを全バンド数Ｑで割った値Ｅ／Ｑ、あるいはＥを全バンド数Ｑと区間長Ｔとの積で割った値Ｅ／（ＱＴ）を出力する。
次に、ステップＳ５４０において、演算処理回路１４ａは、制御変数ｔをＴだけ増やす。
次に、ステップＳ５５０において、演算処理回路１４ａは、制御変数ｔがｆｌｏｏｒ（Ｍ／Ｔ）未満であるか否かを判定する。ここでｆｌｏｏｒ関数は、小数点以下を切り捨てた整数を返す関数である。ｆｌｏｏｒ（Ｍ／Ｔ）未満である（ＹＥＳ）時はステップＳ５２０に戻って処理を行い、ｆｌｏｏｒ（Ｍ／Ｔ）以上である（ＮＯ）時は特徴量生成部１４の処理を終了する。
なお、特徴量生成部１４で生成される特徴量の時系列データｏｕｔ［ｔ］を時間方向に平滑化して、より滑らかな出力を得るようにしても良い。
このように実施例１の音響信号分析装置及び音響信号分析方法によれば、有音程楽器が発音されていて一定の周波数が安定的に持続している場所と、打楽器等が発音されていて一定の周波数が安定的に持続しない場所とを識別し、有音程楽器の時間的に安定した周波数成分の個数を計算して音の厚みを表す特徴量を生成するので、楽曲が記録された音響信号から音の厚みを直接反映した特徴量を精度良く生成することができる。また、楽音の基音と倍音を識別分離しない方式で処理を行うため、簡易な計算で特徴量を生成することができる。
（実施例２）
本発明の音響信号分析装置、音響信号分析方法及び音響信号分析プログラムの実施例２を図１、図９乃至図１１に基づいて説明する。図１は本発明の実施例２の音響信号分析装置の構成を示すブロック図、図９は実施例２における図１の安定成分検出部の処理フローを示すフローチャート、図１０は実施例２における図１の安定成分検出部のデータ格納形式を示す図、図１１は実施例２における図１の特徴量生成部の処理フローを示すフローチャートである。
本発明の音響信号分析装置、音響信号分析方法及び音響信号分析プログラムの実施例２を図１、図９乃至図１１に基づいて説明する。図１は本発明の実施例２の音響信号分析装置の構成を示すブロック図、図９は実施例２における図１の安定成分検出部の処理フローを示すフローチャート、図１０は実施例２における図１の安定成分検出部のデータ格納形式を示す図、図１１は実施例２における図１の特徴量生成部の処理フローを示すフローチャートである。
本発明の実施例２における音響信号分析装置１の構成は、図１に示すように、実施例１と同様である。また、音響信号入力部１１と周波数分析部１２は、実施例１で説明したものと同様の動作を行う。
次に、安定成分検出部１３の処理フローについて、図９に示すフローチャートに基づいて説明する。安定成分検出部１３では、周波数分析部１２に格納されている周波数成分ｃ［ｉ］［ｑ］（ｉ＝０〜Ｍ−１，ｑ＝０〜Ｑ−１）を読み出して処理を行う。
まず、ステップＳ７１０では、演算処理回路１３ａは、探索を開始するフレーム番号を表す制御変数ｐを０にセットする。
次に、ステップＳ７２０では、演算処理回路１３ａは、バンドを表す制御変数ｑを安定成分の対象となる最小のバンドＱ１（Ｑ１は０以上Ｑ未満の定数）にセットする。
次に、ステップＳ７３０では、演算処理回路１３ａは、後述する条件に合致する周波数成分を有効成分としてカウントするための変数ｒを０にセットする。
次に、ステップＳ７４０では、演算処理回路１３ａは、有効成分の強度の和を計算するための変数ｓａを０にセットする。
次に、ステップＳ７５０では、演算処理回路１３ａは、フレーム番号を表す制御変数ｉをｐの値にセットする。
次に、ステップＳ７６０では、演算処理回路１３ａは、周波数成分ｃ［ｉ］［ｑ］が有効成分であるか否かチェックする。有効な成分である（ＹＥＳ）と判定した時は、ステップＳ７７０に進み、有効な成分でない（ＮＯ）と判定した時はステップＳ７９０に進む。ステップＳ７６０の具体的な方法は実施例１で説明した方法と同様である。
次に、ステップＳ７７０では、演算処理回路１３ａは、有効成分をカウントするための変数ｒの値を１増やす。
次に、ステップＳ７８０では、演算処理回路１３ａは、有効成分の強度の和を計算するための変数ｓａに周波数成分ｃ［ｉ］［ｑ］を加算する。
次に、ステップＳ７９０では、演算処理回路１３ａは、制御変数ｉの値を１増やす。
次に。ステップＳ８００では、演算処理回路１３ａは、制御変数ｉの値が（ｐ＋Ｕ）未満であるか否かを判定し、（ｐ＋Ｕ）未満である（ＹＥＳ）時は、ステップＳ７６０に戻って処理を繰り返す。ここでＵは定数である。制御変数ｉの値が（ｐ＋Ｕ）以上である（ＮＯ）時は、ステップＳ８１０に進む。
そして、ステップＳ８１０では、演算処理回路１３ａは、有効成分カウント用の変数ｒが定数Ｖ（ただしＶ≦Ｕ）以上であるか否かを判定し、Ｖ以上である（ＹＥＳ）時はステップＳ８２０に進み、Ｖ未満である（ＮＯ）時はステップＳ８３０に進む。
ここでＶ＝Ｕとすると、有効な成分がＵ個連続して存在する時のみ安定成分と判定することになる。ただし実際には、ある音程の音が一定時間持続して発音されている場合においても、微小な周波数のゆらぎ（ビブラート）があるので、有効な成分が連続するとは限らず、断続的に存在する場合もある。このため、ＶをＵの８０〜９０％程度に設定する方が良好な結果が得られる場合がある。
次に、ステップＳ８２０では、演算処理回路１３ａは、図１０に示す形式で（ｐ，ｑ，ｓａ）の組を安定成分メモリ１３ｂに格納する。安定成分メモリ１３ｂは特徴量生成部１４から参照できるようになっている。
次に、ステップＳ８３０では、演算処理回路１３ａは、制御変数ｑの値を１増やす。
次に、ステップＳ８４０では、演算処理回路１３ａは、制御変数ｑの値がＱ２以下であるか否かを判定し、Ｑ２以下である（ＹＥＳ）時はステップＳ７３０に戻り処理を繰り返す。Ｑ２より大きい（ＮＯ）時はステップＳ８５０に進む。ここでＱ２は、安定成分の対象とする最大のバンドを表す定数である。
そして、ステップＳ８５０では、演算処理回路１３ａは、制御変数ｐの値をＰだけ増やす。ここで、Ｐは通常１であるが、処理量を減らしたい場合にはＰを２以上の値としても良い。ただし、Ｐを２以上とする場合は、ステップＳ８２０における安定成分の格納時に、（ｐ，ｑ，ｓａ）のみでなく、（ｐ，ｑ，ｓａ）〜（ｐ＋Ｐ−１，ｑ，ｓａ）の組をまとめて格納するようにする。
そして、ステップＳ８６０では、演算処理回路１３ａは、制御変数ｐが（Ｍ−Ｕ）未満であるか否かを判定する。（Ｍ−Ｕ）未満である（ＹＥＳ）時はステップＳ７２０に戻って処理を繰り返し、（Ｍ−Ｕ）以上である（ＮＯ）時は処理を終了する。
このようにして安定成分検出部１３の処理を行った後には、安定成分メモリ１３ｂに安定成分の情報が格納されている。
次に、特徴量生成部１４の処理フローについて、図１１に示すフローチャートに基づいて説明する。特徴量生成部１４では、所定の長さの区間毎に特徴量を生成する。本実施例では、フレームシフト長ＳのＴ倍を区間の長さとする（Ｔは１以上の整数）。
まず、ステップＳ９１０において、演算処理回路１４ａは、特徴量を生成する区間の先頭を表す制御変数ｔを０にセットする。
次に、ステップＳ９２０において、演算処理回路１４ａは、安定成分検出部１３の安定成分メモリ１３ｂを参照し、区間ｔ内の安定成分の強度の総和ｓｕｍを計算する。具体的には、安定成分メモリ１３ｂのｐフィールドが、ｔ≦ｐ＜ｔ＋Ｔを満たす安定成分の集合θ［ｔ］を求め、（数式１８）に示すように集合θ［ｔ］に属するｓａの総和を求めてｓｕｍとすれば良い。
次に、ステップＳ９３０において、演算処理回路１４ａは、区間ｔに対する特徴量ｏｕｔ［ｔ］として、ｓｕｍ、あるいはｓｕｍ／Ｑ、或いはｓｕｍ／（ＱＴ）を出力する。
次に、ステップＳ９４０において、演算処理回路１４ａは、制御変数ｔをＴだけ増やす。
次に、ステップＳ９５０において、演算処理回路１４ａは、制御変数ｔがｆｌｏｏｒ（Ｍ／Ｔ）未満であるか否かを判定する。ここでｆｌｏｏｒ関数は、関数は小数点以下を切り捨てた整数を返す関数である。ｆｌｏｏｒ（Ｍ／Ｔ）未満である（ＹＥＳ）時はステップＳ９２０に戻って処理を行い、ｆｌｏｏｒ（Ｍ／Ｔ）以上である（ＮＯ）時は特徴量生成部１４の処理を終了する。
なお、特徴量生成部１４で生成される特徴量の時系列データｏｕｔ［ｔ］を時間方向に平滑化して、より滑らかな出力を得るようにしても良い。
このように実施例２の音響信号分析装置及び音響信号分析方法は、安定成分検出部１３及び特徴量生成部１４において、有音程楽器の時間的に安定した周波数成分の所定の区間における安定成分の強度の総和を計算して音の厚みを表す特徴量を生成するもので、実施例１と同様の効果が得られる。
なお、実施例１及び実施例２で説明した音響信号分析装置では、装置各部のそれぞれに演算処理回路を設けたが、１つの演算処理回路が装置各部を制御する構成にすることも可能である。
また、実施例１及び実施例２で説明した音響信号分析装置は、その装置構成の一部または全部をパーソナルコンピュータ等から構成することが可能である。この場合、上記で説明した装置各部は、コンピュータのハードウェアもしくはソフトウェアによりその機能を実現可能である。例えば、コンピュータに上記実施例１及び実施例２で説明した動作の一部または全部を実行させるためのプログラムを、コンピュータのハードディスク装置、ＣＤ−ＲＯＭ等の記録媒体、もしくはダウンロードによりコンピュータのメモリ等に記憶させて使用しても良い。
本発明は、楽曲の音響的な特徴を使って検索を行う楽曲検索装置に適用することができる。本発明で生成される特徴量を検索タグに適用することにより、「音の厚い楽曲を探したい」といった利用者ニーズに応えるような検索が可能になる。また、音の厚み感は楽曲の雰囲気を決める重要なファクターなので、この特徴量を用いることにより、従来よりも楽曲の雰囲気を正確に反映した楽曲の検索が可能になる。
また、本発明は音楽のジャンル、曲調に合わせて照明装置、空調装置、玩具、視覚エフェクト等の画面表示などを制御する制御装置および音楽のジャンル、曲調に合わせて音質、音量、音場などを制御するオーディオ装置に適用することができる。従来の制御装置やオーディオ装置に比べて、楽曲の音の厚み感や、盛り上がり感をより精度良く捉えて制御することが可能になる。
１ 音響信号分析装置
１１ 音響信号入力部
１２ 周波数分析部
１３ 安定成分検出部
１４ 特徴量生成部
１１ａ〜１４ａ 演算処理回路
１１ｂ Ａ／Ｄ変換器
１３ｂ 安定成分メモリ
１１ 音響信号入力部
１２ 周波数分析部
１３ 安定成分検出部
１４ 特徴量生成部
１１ａ〜１４ａ 演算処理回路
１１ｂ Ａ／Ｄ変換器
１３ｂ 安定成分メモリ
Claims (18)
- 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、
前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析手段と、
前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、
前記安定成分検出手段は、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析装置。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、
前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析手段と、
前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、
前記安定成分検出手段は、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする音響信号分析装置。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、
前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析手段と、
前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、
前記安定成分検出手段は、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析装置。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、
前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、
前記安定成分検出手段は、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析装置。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、
前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、
前記安定成分検出手段は、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析装置。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析手段と、
前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出手段と、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成手段とを備え、
前記安定成分検出手段は、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析装置。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、
前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、
前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、
前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析方法。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、
前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、
前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、
前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、ことを特徴とする音響信号分析方法。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、
前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、
前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、
前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析方法。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、
前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析方法。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、
前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析方法。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析装置が実行する音響信号分析方法であって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとを備え、
前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析方法。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、
前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、
前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、
前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析プログラム。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、
前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、
前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、
前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析プログラム。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、
前記音響信号を複数の周波数バンドに分割して、所定の時間周期ごとに計算した各周波数バンドの強度を要素とする行列データを生成する周波数分析ステップと、
前記行列データから所定の値以上の要素を有効要素として検出し、前記行列データの中で前記時間周期の複数分に相当する時間内に同一の周波数バンドの前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、
前記安定成分検出ステップは、前記行列データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数バンドに属する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数バンドと倍音関係にある周波数バンドに属する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析プログラム。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、
前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析プログラム。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、
前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析プログラム。 - 楽曲に係る音響信号から前記楽曲の特徴を抽出する音響信号分析プログラムであって、
前記音響信号を周波数分析して、時間と周波数と成分強度とを対応させた各要素で構成される周波数成分データを生成する周波数分析ステップと、
前記周波数成分データから所定の値以上の要素を有効要素として検出し、前記周波数成分データの中で所定の時間内に同一の周波数の前記有効要素が所定の数以上存在する領域を安定成分として検出する安定成分検出ステップと、
所定の区間における前記安定成分の強度の総和または前記安定成分の個数に基づいて前記所定の区間での音の厚みを表す特徴量を生成する特徴量生成ステップとをコンピュータに実行させ、
前記安定成分検出ステップは、前記周波数成分データの各要素について、これら各要素と同一時間の要素であり、かつ前記各要素の近傍の周波数に対応する要素から近傍要素を特定し、更に前記各要素と同一時間の要素であり、かつ前記各要素の周波数と倍音関係にある周波数に対応する要素から倍音要素を特定し、更に前記倍音要素の近傍の要素から倍音近傍要素を特定すると共に、前記各要素の値が前記所定の値以上であり、かつ前記各要素の値が前記近傍要素の総和に所定の比率を乗じた値または前記近傍要素の最大値に所定の比率を乗じた値よりも大きく、かつ前記倍音要素の値が前記倍音近傍要素の総和に所定の比率を乗じた値または前記倍音要素の値が前記倍音近傍要素の最大値に所定の比率を乗じた値よりも大きい場合に、前記各要素を前記有効要素として検出する、
ことを特徴とする音響信号分析プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004358258A JP4483561B2 (ja) | 2004-12-10 | 2004-12-10 | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004358258A JP4483561B2 (ja) | 2004-12-10 | 2004-12-10 | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010023988A Division JP4930608B2 (ja) | 2010-02-05 | 2010-02-05 | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006163264A JP2006163264A (ja) | 2006-06-22 |
| JP4483561B2 true JP4483561B2 (ja) | 2010-06-16 |
Family
ID=36665332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004358258A Active JP4483561B2 (ja) | 2004-12-10 | 2004-12-10 | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4483561B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4399440B2 (ja) * | 2006-06-30 | 2010-01-13 | 株式会社コナミデジタルエンタテインメント | 音楽ジャンル判別装置及びこれを備えたゲーム機 |
| JP4982860B2 (ja) * | 2007-07-31 | 2012-07-25 | 学校法人 中央大学 | 音響処理のための情報処理装置、音響処理方法、プログラム、および音響検索システム |
| JP5245038B2 (ja) * | 2009-02-25 | 2013-07-24 | 株式会社コルグ | ノート検出装置 |
| JP5454317B2 (ja) * | 2010-04-07 | 2014-03-26 | ヤマハ株式会社 | 音響解析装置 |
| JP2012108451A (ja) * | 2010-10-18 | 2012-06-07 | Sony Corp | 音声処理装置および方法、並びにプログラム |
| WO2016123007A1 (en) * | 2015-01-26 | 2016-08-04 | Eventide Inc. | Lighting systems and methods |
-
2004
- 2004-12-10 JP JP2004358258A patent/JP4483561B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006163264A (ja) | 2006-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bittner et al. | Deep Salience Representations for F0 Estimation in Polyphonic Music. | |
| JP4665836B2 (ja) | 楽曲分類装置、楽曲分類方法、及び楽曲分類プログラム | |
| US7582824B2 (en) | Tempo detection apparatus, chord-name detection apparatus, and programs therefor | |
| Marolt | A connectionist approach to automatic transcription of polyphonic piano music | |
| JP4672613B2 (ja) | テンポ検出装置及びテンポ検出用コンピュータプログラム | |
| US7563975B2 (en) | Music production system | |
| JP2008516289A (ja) | 音声信号の基礎となるメロディを抽出する方法および装置 | |
| CN112382257B (zh) | 一种音频处理方法、装置、设备及介质 | |
| US20110011247A1 (en) | Musical composition discrimination apparatus, musical composition discrimination method, musical composition discrimination program and recording medium | |
| JP5229998B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
| JP2008516288A (ja) | 音声信号の基礎となるメロディの抽出 | |
| JP2008015214A (ja) | 歌唱力評価方法及びカラオケ装置 | |
| JP4212446B2 (ja) | カラオケ装置 | |
| JP4483561B2 (ja) | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム | |
| JP6288197B2 (ja) | 評価装置及びプログラム | |
| JP6102076B2 (ja) | 評価装置 | |
| JP4932614B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
| JP5005445B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
| JP2007298607A (ja) | 音響信号分析装置、音響信号分析方法、及び音響信号分析用プログラム | |
| JP4930608B2 (ja) | 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム | |
| CN115171632A (zh) | 音频处理方法、计算机设备和计算机程序产品 | |
| JP2000293188A (ja) | 和音リアルタイム認識方法及び記憶媒体 | |
| JP5618743B2 (ja) | 歌唱音声評価装置 | |
| JP5585320B2 (ja) | 歌唱音声評価装置 | |
| JP5034642B2 (ja) | カラオケ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100315 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4483561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140402 Year of fee payment: 4 |