JP4375471B2

JP4375471B2 - 信号処理装置、信号処理方法、およびプログラム

Info

Publication number: JP4375471B2
Application number: JP2007261600A
Authority: JP
Inventors: 由幸小林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-10-05
Filing date: 2007-10-05
Publication date: 2009-12-02
Anticipated expiration: 2027-10-05
Also published as: CN101404155B; CN101404155A; US8301279B2; JP2009092791A; US20090093896A1

Description

本発明は、信号処理装置、信号処理方法、およびプログラムに関し、特に、オーディオ信号を各音程成分に分類する場合に用いて好適な信号処理装置、信号処理方法、およびプログラムに関する。

従来、入力されたオーディオ信号に対応する楽譜を自動的に生成する自動採譜や、入力されたオーディオ信号の音楽的特徴を検出するために利用することを目的として、複数の音程解析の手法が提案されている。

音程解析とは、所定のサンプリング周波数でサンプリングされたディジタルのオーディオ（音楽）信号を、いわゆる、ド、ド♯、レ、レ♯、ミ、ファ、ファ♯、ソ、ソ♯、ラ、ラ♯、シに相当する、各音程Ｃ,Ｃ♯,Ｄ,Ｄ♯,Ｅ,Ｆ,Ｆ♯,Ｇ,Ｇ♯,Ａ,Ａ♯,Ｂ毎の情報に解析する処理である。

ここで、Ｃ,Ｃ♯,Ｄ,Ｄ♯,Ｅ,Ｆ,Ｆ♯,Ｇ,Ｇ♯,Ａ,Ａ♯,Ｂの１２の音程は、１オクターブを構成するものである。なお、以下、低域側（低周波数側）のオクターブから高域側（高周波数側）のオクターブまでを順に、オクターブＯ１，Ｏ２，Ｏ３，・・・と称する。また、例えば、オクターブＯ１のＣをＣ１、オクターブＯ２のＡ♯をＡ♯２と称する。

１オクターブの音程は、それより１オクターブ低い音程より、周波数が倍となる関係がある。換言すれば、音程は、周波数に対して、対数（指数）で分布する。例えば、オクターブＯ３のＡの音程Ａ３の周波数（中心周波数）が４４０Hzであるとすれば、その１オクターブ高いオクターブＯ４のＡの音程Ａ４の周波数は、４４０Hzの２倍の８８０Hzとなる。また、例えば、隣り合うＣとＣ♯の周波数（中心周波数）の差は、高いオクターブほど広くなり、例えば、低域側であるオクターブＯ２（１２７．１Hz乃至２５４．２Hz）では、Ｃ２とＣ♯２の差は約６Hzとなり、高域側であるオクターブＯ６では、Ｃ６とＣ♯６の差が約１２３Hzとなっている。

さらに、あるオクターブの各音程の周波数帯域（帯域幅）も、その１オクターブ低い各音程の周波数帯域の２倍となる。

ところで、既存のオーディオ信号の音程解析の手法には、短時間フーリエ変換（STFT：short-time Fourier transform）を用いる手法（以下、STFT手法と称する）、ウェーブレット変換を用いる方法（以下、ウェーブレット変換手法と称する）などがある。また、本出願により提案されているオクターブ分割とバンドパスフィルタバンクを用いる手法（以下、オクターブ分割手法と称する）（例えば、特許文献１参照）もある。

STFT手法では、オーディオ信号の等間隔の周波数帯における周波数成分を解析するものであるので、上述したように、音程が周波数に対して対数で分布していることに起因して、低域側で解析精度が低下してしまう傾向がある。

ウェーブレット変換手法では、１／１２オクターブ（１つの音程）を抽出することができる基底関数を用いることにより、理想的な時間軸解像度と周波数解像度で音程を推定することができるとされている。ただし、ウェーブレット変換手法では、膨大な演算量が必要とされる。

これに対して、オクターブ分割手法では、低域側において解析精度が低下しないことに加え、ウェーブレット変換手法に比較して少ない演算量で音程解析を行うことができる。

特開２００５−２７５０６８

なお、従来においては、オーディオ信号の高域側を音程解析の対象として重視せず、主に低域側を音程解析の対象としていたが、近年、高域側も音程解析の対象とする傾向にある。

しかしながら、オクターブ分割手法では、上述したように、低域側においてSTFT手法やウェーブレット手法に対する優位性を示すが、高域側においてはSTFT手法やウェーブレット手法に対する優位性を示すことができない。

よって、オーディオ信号の高域側と低域側を効率よく音程解析できる手法の出現が望まれている。

本発明は、このような状況に鑑みてなされたものであり、オーディオ信号の高域側と低域側を効率よく音程解析できるようにするものである。

本発明の一側面である信号処理装置は、オーディオ信号を解析する信号処理装置において、入力されたオーディオ信号から高周波数側の高域信号を抽出する第１の抽出手段と、入力されたオーディオ信号から低周波数側の低域信号を抽出する第２の抽出手段と、前記オーディオ信号から抽出された前記高域信号を、短時間フーリエ変換を用いて解析することにより、前記高域信号に含まれる複数の音程成分を解析する高域処理手段と、前記オーディオ信号から抽出された前記低域信号を複数のオクターブ成分に分割し、各オクターブ成分から複数の音程低分を抽出することにより、前記低域信号に含まれる複数の音程成分を解析する低域処理手段と、解析された前記高域信号に含まれる前記複数の音程成分と、解析された前記低域信号に含まれる前記複数の音程成分とを組み合わせる合成手段とを含むことを特徴とする。

前記高域処理手段は、前記オーディオ信号から抽出された前記高域信号を、短時間フーリエ変換を用いて解析することにより、等間隔の周波数帯成分を取得するSTFT手段と、各音程を構成する複数の前記周波数帯のエネルギを加算して、分割された前記高域信号に含まれる複数の音程成分を解析する加算手段とを含むようにすることができる。

前記低域処理手段は、前記オーディオ信号から抽出された前記低域信号を、さらに、高周波数側の高域成分と低周波数側の低域成分とに分割し、前記高域成分と前記低域成分のそれぞれをダウンサンプリングすることを繰り返すことにより、前記オーディオ信号から抽出された前記低域信号を複数のオクターブ成分に分割するオクターブ分割手段と、前記複数のオクターブ成分それぞれをフィルタリングすることにより、複数の音程成分を抽出するフィルタリング手段とを含むようにすることができる。

前記低域処理手段は、前記オーディオ信号から抽出された前記低域信号を再サンプリングする再サンプリング手段をさらに含むようにすることができる。

本発明の一側面である信号処理方法は、オーディオ信号を解析する信号処理装置の信号処理方法において、入力されたオーディオ信号から高周波数側の高域信号を抽出し、入力されたオーディオ信号から低周波数側の低域信号を抽出し、前記オーディオ信号から抽出された前記高域信号を、短時間フーリエ変換を用いて解析することにより、前記高域信号に含まれる複数の音程成分を解析し、前記オーディオ信号から抽出された前記低域信号を複数のオクターブ成分に分割し、各オクターブ成分から複数の音程低分を抽出することにより、前記低域信号に含まれる複数の音程成分を解析し、解析された前記高域信号に含まれる前記複数の音程成分と、解析された前記低域信号に含まれる前記複数の音程成分とを組み合わせるステップを含むことを特徴とする。

本発明の一側面であるプログラムは、オーディオ信号を解析する信号処理装置の制御用のプログラムであって、入力されたオーディオ信号から高周波数側の高域信号を抽出し、入力されたオーディオ信号から低周波数側の低域信号を抽出し、前記オーディオ信号から抽出された前記高域信号を、短時間フーリエ変換を用いて解析することにより、前記高域信号に含まれる複数の音程成分を解析し、前記オーディオ信号から抽出された前記低域信号を複数のオクターブ成分に分割し、各オクターブ成分から複数の音程低分を抽出することにより、前記低域信号に含まれる複数の音程成分を解析し、解析された前記高域信号に含まれる前記複数の音程成分と、解析された前記低域信号に含まれる前記複数の音程成分とを組み合わせるステップを含む処理を信号処理装置のコンピュータに実行させることを特徴とする。

本発明の一側面においては、入力されたオーディオ信号から高周波数側の高域信号と低周波数側の低域信号が抽出され、抽出された高域信号が、短時間フーリエ変換を用いて解析されることにより、高域信号に含まれる複数の音程成分が解析される。また、抽出された低域信号が複数のオクターブ成分に分割され、各オクターブ成分から複数の音程低分を抽出することにより、低域信号に含まれる複数の音程成分が解析される。そして、解析された高域信号に含まれる複数の音程成分と、解析された低域信号に含まれる複数の音程成分とが組み合わされる。

本発明の一側面によれば、オーディオ信号の高域側と低域側を効率よく音程解析することができる。

以下、本発明の一実施の形態であるオーディオ信号解析装置について説明するが、その前に、当該オーディオ信号解析装置が処理対象とするオーディオ信号について、図１を参照して説明する。なお、図１は、オーディオ信号の音程と周波数との関係を示している。

処理対象とするオーディオ信号は、図示するように６３．５５Hz乃至３２５３４．８Hzの範囲の周波数成分を含むものであり、低域側から順に９つのオクターブＯ１乃至Ｏ９に区分される。各オクターブにおいては、周波数の低い方から、Ｃ,Ｃ♯,Ｄ,Ｄ♯,Ｅ,Ｆ,Ｆ♯,Ｇ,Ｇ♯,Ａ,Ａ♯,Ｂの１２の音程が含まれるものとする。

なお、オクターブＯ１のＣ,Ｃ♯,Ｄ,Ｄ♯,Ｅ,Ｆ,Ｆ♯,Ｇ,Ｇ♯,Ａ,Ａ♯,Ｂの１２の音程（以下、Ｃ乃至Ｂの１２音程とも称する）を、それぞれ、Ｃ１,Ｃ♯１,Ｄ１,Ｄ♯１,Ｅ１,Ｆ１,Ｆ♯１,Ｇ１,Ｇ♯１,Ａ１,Ａ♯１,Ｂ１（以下、Ｃ１乃至Ｂ１の１２音程とも称する）と称する。オクターブＯ２乃至Ｏ９についても同様である。

なお、各オクターブの１２の音程の周波数は、図１の場合、オクターブＯ３のＡ、すなわち、Ａ３を基準音とし、その周波数（中心周波数）を４４０Hzとして次のように決定されている。

すなわち、音程は周波数に対して対数で分布するので、１オクターブを１２の音程に分類する場合、隣り合う音程どうしの周波数の比（中心周波数の比）は、１：¹²√２（２の１２乗根）となる。また、各音程の周波数範囲も、隣り合う音程どうしの比は、１：¹²√２（２の１２乗根）となる。

例えば、図１に示すように、オクターブ３のＡ３の音程の１つ高い音程Ａ♯３の周波数（中心周波数）は、Ａ３の周波数４４０．０の¹²√２倍の４６６．２Hzとなり、Ａ♯３の音程の１つ高い音程Ｂ３の周波数は、Ａ♯３の¹²√２倍の４９３．９Hzとなる。同様に、他の音程の周波数についても、基準音に基づいて決定される。

そして、ＣからＢまでの１２音程ごとの区切りを１オクターブとするので、１オクターブの周波数範囲は、Ｃの周波数範囲の最低周波数からＢの周波数範囲の最高周波数までとなる。例えば、オクターブＯ４の場合、Ｃ４の周波数範囲の最低周波数からＢ４の周波数範囲の最高周波数までの５０８．４Hz乃至１０１６．７Hzとなる。また例えば、オクターブＯ５の場合、Ｃ５の周波数範囲の最低周波数からＢ５の周波数範囲の最高周波数までの５０８．４Hz乃至１０１６．７Hz乃至２０３３．４Hzとなる。なお、本明細書において、周波数に関するＸHz乃至ＹHz（Ｘ，Ｙは任意の数値）の記載は、ＸHz以上ＹHz未満を表すものとする。

なお、図１において、オクターブＯ４と、オクターブＯ３およびＯ５の一部の音程を除き、オクターブＯ１乃至Ｏ９それぞれの１２の音程の中心周波数と周波数範囲の図示が省略されている。

次に、図２は、本発明の一実施の形態であるオーディオ信号解析装置の構成例を示している。このオーディオ信号解析装置１０は、時系列信号として入力されるオーディオ信号に解析処理を行うことにより、オーディオ信号をオクターブ毎に１２の音程に分類し、各音程のエネルギを算出するものである。

オーディオ信号解析装置１０による処理結果は、オーディオ信号のメロディ、コード進行、テンポ、音符の数などといった音楽的の特徴を解析する、いわゆる音楽解析に利用することができる。

オーディオ信号解析装置１０は、入力されるオーディオ信号のうちの高域側の信号（以下、高域信号と称する）を抽出するハイパスフィルタ(HPF)１１、入力されるオーディオ信号の低域側の信号（以下、低域信号と称する）を抽出するローパスフィルタ(LPF)１２、抽出された高域信号を処理対象としてSTFT手法により音程解析を行う高域処理部１３、抽出された低域信号を処理対象としてオクターブ分割手法により音程解析を行う低域処理部１４、および、高域処理部１３による音程解析の結果と低域処理部１４による音程解析の結果とを組み合わせる合成部１５から構成される。

なお、オーディオ信号解析装置１０に入力されるオーディオ信号は、所定のサンプリングレートでサンプリングされたものである。例えば、CD(Compact Disk)から再生されたオーディオ信号が入力される場合、そのサンプリング周波数は、４４．１ｋHzである。

ハイパスフィルタ１１は、入力されるオーディオ信号のうちの高域信号（例えば、オクターブＯ７のＣ７の最低周波数に相当する４０６６．８Hz以上の周波数成分）を抽出して高域処理部１３に出力する。

ローパスフィルタ１２は、入力されるオーディオ信号のうち、ハイパスフィルタ１１によって抽出されない低域信号（いまの例の場合、オクターブＯ６のＢ６の最高周波数に相当する４０６６．８Hz未満の周波数成分）を抽出して低域処理部１４に出力する。

なお、ハイパスフィルタ１１によって抽出される高域信号とローパスフィルタ１２によって抽出される低域信号の境界は、上述した例のようにオクターブＯ６とオクターブＯ７の境界に固定されたものではなく可変である。例えば、後述する高域処理部１３においてはSTFT手法により、オーディオ信号が等間隔の周波数帯に分割されるが、１つの音程に含まれる周波数帯の数が所定の数以上になるように、当該境界を決定するようにしてもよい。また、最終的に要求される処理時間や解析精度に応じて当該境界を決定するようにしてもよい。

高域処理部１３は、図３に示すように、ハイパスフィルタ１１から入力される高域信号に対して短時間フーリエ変換を行うSTFT部２１、および、各音程に含まれる周波数成分のエネルギを加算することにより、各音程のエネルギを算出するエネルギ加算部２２から構成される。

STFT部２１は、ハイパスフィルタ１１から入力される高域信号を、図４に示すように、重複部分（オーバーラップ）を設けて所定の時間幅を有するフレーム毎に区切り、各フレームの高域信号に対して、図５に示すように、窓関数をかけた後に高速フーリエ変換(FFT：Fast Fourier Transform)を行う。この結果、各フレームの高域信号が等間隔の周波数帯に分割されるとともに、各周波数帯のエネルギが算出される。

エネルギ加算部２２は、図６に示すように、STFT部２１の出力に基づき、各音程に含まれる各周波数帯のエネルギを加算することによって各音程のエネルギを算出する。

次に、低域処理部１４は、図７に示すように、ローパスフィルタ１２から入力される低域信号の再サンプリングを行う再標本化部３１、再サンプリングされた低域信号をオクターブＯ１乃至Ｏ６に分割するオクターブ分割ブロック３２、および、各オクターブの周波数成分からそれぞれＢ乃至Ｃの１２音程を抽出するバンドパスフィルタブロック（以下、BPFBと称する）３３−１乃至３３−６から構成される。

再標本化部３１は、入力される低域信号を、後段のオクターブ分割ブロック３２の処理に適するように（後述）、所定のサンプリング周波数で再サンプリング（再標本化）し、再サンプリングした低域信号をオクターブ分割ブロック３２に出力する。

オクターブ分割ブロック３２は、再標本化部３１から入力される再サンプリングされた低域信号を、オクターブＯ１乃至Ｏ６の周波数成分に分割し、分割したオクターブＯ１乃至Ｏ６の周波数成分を、それぞれ対応するBPFB３３−１乃至３３−６に出力する。すなわち、オクターブ分割ブロック３２は、オクターブＯ１の周波数成分をBPFB３３−１に、オクターブＯ２の周波数成分をBPFB３３−２に出力する。オクターブＯ３乃至Ｏ６の周波数成分についても同様である。

より具体的には、オクターブ分割ブロック３２では、入力される低域信号をさらにその周波数に応じて、高域側成分と低域側成分とに２分割し、それぞれを、現状のサンプリング周波数の１／２のサンプリング周波数でダウンサンプリングすることにより、高域側成分のダウンサンプリング結果が、オクターブＯ６のオーディオ信号として抽出される。

一方、低周波数成分のダウンサンプリング結果は、さらにまた、高域側成分と低域側成分とに２分割され、現状の１／２のサンプリング周波数にダウンサンプリングされる。そして、やはり、高域側成分のダウンサンプリング結果が、前回よりも１オクターブ低いオクターブＯ５のオーディオ信号として抽出される。これ以降同様に、オクターブＯ４以下のオーディオ信号が抽出される。

このように、オクターブ分割ブロック３２では、高域側成分と低域側成分とに分割する処理と、現状の１／２のサンプリング周期にダウンサンプリングする処理とが繰り返されることにより、各オクターブのオーディオ信号が抽出されるので、オクターブ分割ブロック３２に入力されるオーディオ信号のサンプリング周波数を２ⁿ（ｎ＝１，２，・・・）で割った値が、各オクターブの境界周波数となる。

したがって、仮に、再標本化部３１を設けず、再標本化されていない低域信号がそのままオクターブ分割ブロック３２に供給された場合、以下のような不都合が生じる。

例えば、オーディオ信号解析装置１０に入力されるオーディオ信号のサンプリング周波数が４４．１ｋHzである場合、オクターブ分割ブロック３２では、そのオーディオ信号が周波数帯域分割されることにより、高域側成分として、４４．１／２乃至（（４４．１／２）／２）ｋHzの周波数範囲のオーディオ信号が抽出されることになる。この最低周波数と最高周波数は、図１で示したオクターブＯ１乃至Ｏ９のいずれの境界周波数とも一致しないので、抽出される高周波数成分の低域側や高域側は、所望のオクターブの音程の一部の周波数成分が欠けたもの、あるいは、所望のオクターブに隣接する他のオクターブの音程の一部の周波数成分が含まれたものとなってしまう。

このような不都合を発生させないため、再標本化部３１では、入力される低域信号を、所定の２オクターブの境界周波数を基準とし、その基準とした周波数の２のべき乗倍のサンプリング周波数で再サンプリングするようになされている。

具体的には、例えば、オクターブＯ４とＯ５の境界周波数である１０１６．７Hzを基準とし、その２⁵倍、すなわち、３２５３４．７Hzを新たなサンプリング周波数としてオーディオ信号を再サンプリングする。なお、基準とする境界周波数の選定、および２のべき乗数の選定は任意であり、例えば、どの高さの音程を含むオクターブを重視して抽出するか等によって決定する。

BPFB３３−１乃至３３−６は、それぞれＣ乃至Ｂの１２音程それぞれの周波数範囲のオーディオ信号を通過帯域とする１２のバンドパスフィルタを内蔵しており、オクターブ分割ブロック３２から入力される１オクターブ分のオーディオ信号を、フィルタリングすることにより、Ｃ乃至Ｂの１２音程のオーディオ信号を抽出する。

例えば、BPFB３３−１では、オクターブ分割ブロック３２から入力されるオクターブＯ１のオーディオ信号がフィルタリングされ、Ｃ１乃至Ｂ１の１２音程の信号成分が抽出される。また例えば、BPFB３３−２では、オクターブ分割ブロック３２から入力されるオクターブＯ２のオーディオ信号がフィルタリングされ、Ｃ２乃至Ｂ２の１２音程の信号成分が抽出される。BPFB３３−３乃至３３−６についても同様である。

次に、オクターブ分割ブロック３２の詳細な構成例について、図８および図９を参照して説明する。図８に示すように、オクターブ分割ブロック３２は、オクターブ分割部５１−１乃至５１−５から構成される。そして、図９に示すように、オクターブ分割部５１−１は、ハイパスフィルタ(HFP)７１−１、ダウンサンプリング(DS)部７２−１、ローパスフィルタ(LPF)７３−１、ダウンサンプリング部７４−１、ハイパスフィルタ７５、およびダウンサンプリング部７６から構成される。オクターブ分割部５１−２は、ハイパスフィルタ７２−１、ダウンサンプリング部７２−２、ローパスフィルタ７３−２、およびダウンサンプリング部７４−２から構成される。オクターブ分割部５１−３乃至５１−５についても、オクターブ分割部５１−２と同様に構成される。

すなわち、オクターブ分割部５１−５は、再標本化部３１から入力された、３２５３４．７Hzのサンプリング周波数で再サンプリングされたオーディオ信号のうち、図１０に示すように高域側の１／２の周波数帯域の成分（以下、高域側成分と称する）を抽出するハイパスフィルタ７１−５、抽出された高域側成分を１／２のサンプリング周波数にダウンサンプリングするダウンサンプリング部７２−５、再標本化部３１から入力された、３２５３４．７Hzのサンプリング周波数で再サンプリングされたオーディオ信号のうち、低域側の１／２の周波数帯域の成分（以下、低域側成分と称する）を抽出するハイパスフィルタ７３−５、および抽出された低域側成分を１／２のサンプリング周波数にダウンサンプリングするダウンサンプリング部７４−５から構成される。

そして、ダウンサンプリング部７２−５から出力されるダウンサンプリング後の高域側成分がオクターブＯ６のオーディオ信号として、後段のBPFB３３−６に供給される。また、ダウンサンプリング部７４−５から出力されるダウンサンプリング後の低域側成分がオクターブ分割部５１−４に供給される。

なお、ハイパスフィルタ７１−５によって抽出され、ダウンサンプリング部７２−５によって１／２のサンプリング周波数でダウンサンプリングされた高域側成分は、ダウンサンプリング前の状態に比較して、低域側に折り返して出現する。すなわち、ダウンサンプリング後の高域側成分は、周波数軸上の音程の信号成分の配列がダウンサンプリング前の配列（図１０）の逆となり、図１１に示すようにＢ，Ａ♯，Ａ，Ｇ♯，Ｇ，Ｆ♯，Ｆ，Ｅ，Ｄ♯，Ｄ，Ｃ♯，Ｃとなる。

オクターブ分割部５１−ｉ（ｉ＝４，３，２）についても同様に構成されており、入力されたオーディオ信号が、高域側成分と低域成分とに分割され、高域側成分と低域側成分のそれぞれが、１／２のサンプリング周波数にダウンサンプリングされ、ダウンサンプリング後の高域側成分がオクターブＯ（ｉ＋１）のオーディオ信号として、後段のBPFB３３−（ｉ＋１）に供給され、ダウンサンプリング後の低域側成分がオクターブ分割部５１−（ｉ−１）に供給される。

なお、オクターブ分割部５１−１では、ダウンサンプリング後の低域側成分のうちの高域側成分がさらに抽出されて、１／２のサンプリング周波数にダウンサンプリングされ、このダウンサンプリング結果がオクターブＯ１のオーディオ信号として、BPFB３３−１に供給される。

次に、BPFB３３−１乃至３３−６の詳細な構成例について、図１２および図１３を参照して説明する。図１２は、BPFB３３−１の構成例を示している。

BPFB３３−１は、Ｃ１乃至Ｂ１の１２音程の各周波数範囲に応じた通過帯域をそれぞれ有するバンドパスフィルタ(以下、BPFと称する)９１−１乃至９１−１２から構成される。BPF９１−１乃至９１−１２は、それぞれ上段のオクターブ分割ブロック３２から入力されるオクターブＯ１のオーディオ信号からＣ１乃至Ｂ１の１２音程を抽出するようになされている。

ただし、オクターブ分割ブロック３２から入力される１オクターブ分のオーディオ信号は、図１１に示されたように、周波数軸上の音程の並びが高低逆になっているので、これに対応するため、BPF９１−１乃至９１−１２の周波数特性は、図１３に示すように設計されている。

すなわち、BPF９１−１は、オクターブ分割ブロック３２のオクターブ分割部５１−１から入力されるオクターブＯ１のオーディオ信号から音程Ｃ１のオーディオ信号を抽出する特性を有する。BPF９１−２は、オクターブＯ１のオーディオ信号から、音程Ｃ♯１のオーディオ信号を抽出する特性を有する。BPF９１−３乃至９１−１２についても同様に、それぞれ音程Ｄ１乃至Ｂ１のオーディオ信号を抽出する特性を有する。

なお、BPFB３３−２乃至３３−６についても、BPFB３３−１と同様に構成される。ただし、BPFB３３−２乃至３３−６のそれぞれを構成する１２個のBPFの周波数特性と、BPFB３３−１を構成するBPF９１−１乃至９１−１２の周波数特性とは当然ながら異なるものである。

次に、オーディオ信号解析装置１０による解析処理について、図１４のフローチャートを参照して説明する。

解析処理の対象とするオーディオ信号がオーディオ信号解析装置１０に入力され、オーディオ信号解析装置１０においてハイパスフィルタ１１とローパスフィルタ１２に供給されると、ステップＳ１において、ハイパスフィルタ１１は、入力されたオーディオ信号のうちの高域信号を抽出して高域処理部１３に供給する。ローパスフィルタ１２は、入力されたオーディオ信号のうちの低域信号を抽出して低域処理部１４に供給する。

ステップＳ２において、高域処理部１３は、ハイパスフィルタ１１から供給された高域信号を処理対象としてSTFT手法により音程解析を行い、音程解析の結果を合成部１５に出力する。

高域処理部１３によるステップＳ２の処理（高域信号音程解析処理）の詳細について、図１５のフローチャートを参照して説明する。

ステップＳ１１において、高域処理部１３のSTFT部２１は、ハイパスフィルタ１１から供給された高域信号を、重複部分を設けて所定の時間幅を有するフレーム毎に区切り、ステップＳ１２において、各フレームの高域信号に対して窓関数をかけた後に高速フーリエ変換(FFT)を行い、この結果得られる、各フレームの高域信号の等間隔の周波数帯毎のエネルギをエネルギ加算部２２に出力する。

ステップＳ１３において、エネルギ加算部２２は、STFT部２１の出力に基づき、各音程に含まれる周波数帯のエネルギを加算することによって各音程のエネルギを算出し、高域信号の音程解析の結果として合成部１５に出力する。以上で、高域処理部１３による高域信号音程解析処理の説明を終了する。

図１４に戻る。ステップＳ３において、低域処理部１４は、ローパスフィルタ１２から供給された低域信号を処理対象としてオクターブ分割手法により音程解析を行い、音程解析の結果を合成部１５に出力する。

低域処理部１４によるステップＳ３の処理（低域信号音程解析処理）の詳細について、図１６のフローチャートを参照して説明する。

ステップＳ２１において、低域処理部１４の再標本化部３１は、ローパスフィルタ１２から供給された低域信号を、所定のサンプリング周波数（例えば、３２５３４．７Hz）で再サンプリング（再標本化）し、再サンプリングした低域信号をオクターブ分割ブロック３２に供給する。

ステップＳ２２において、オクターブ分割ブロック３２は、再標本化部３１から供給された再サンプリングされた低域信号を、オクターブＯ１乃至Ｏ６の周波数成分に分割し、分割したオクターブＯ１乃至Ｏ６の周波数成分を、対応するBPFB３３−１乃至３３−６に出力する。

ステップＳ３において、BPFB３３−１乃至３３−６は、それぞれ、オクターブ分割ブロック３２から入力された１オクターブ分のオーディオ信号をフィルタリングすることにより、Ｃ乃至Ｂの１２音程のオーディオ信号を抽出し、低域信号の音程解析の結果として合成部１５に出力する。以上で、低域処理部１４による低域信号音程解析処理の説明を終了する。

図１４に戻る。なお、以上に詳述したステップＳ２の処理とステップＳ３の処理は、その実行順序を逆にしてもよいし、並行して実行するようにしてもよい。

ステップＳ４において、合成部１５は、高域処理部１３による音程解析の結果と低域処理部１４による音程解析の結果とを組み合わせて、オーディオ信号解析装置１０に入力されたオーディオ信号の解析結果として後段に出力する。以上で、オーディオ信号解析装置１０による解析処理の説明を終了する。

以上に説明したように、オーディオ信号解析装置１０によれば、オーディオ信号の高域側と低域側とをそれぞれに適した異なる音程解析手法を適用するので、オーディオ信号を効率よく音程解析することができる。

また特に、オーディオ信号の高域側をSTFT手法によって解析することにより、高域側をオクターブ分割手法によって解析する場合に比較して、より少ない計算量で解析結果を得ることができる。

さらに、高域処理部１３から副産物としてSTFTの処理結果を得ることができるので、このSTFTの処理結果を音楽解析などに利用することができる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３２１乃至３２４を駆動するドライブ３１０が接続されている。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５およびバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

オーディオ信号のオクターブと音程と周波数の関係を説明する図である。本発明を適用したオーディオ信号解析装置の構成例を示すブロック図である。図２の高域処理部の構成例を示すブロック図である。図３のSTFT部の処理を説明する図である。図３のSTFT部の処理を説明する図である。図３のエネルギ加算部の処理を説明する図である。図２の低域処理部の構成例を示すブロック図である。図７のオクターブ分割ブロックの構成例を示すブロック図である。図８のオクターブ分割部の構成例を示すブロック図である。図９のハイパスフィルタの処理を説明する図である。図９のダウンサンプリング部の処理を説明する図である。図７のバンドパスフィルタブロックの構成例を示すブロック図である。図１２のバンドパスフィルタの周波数特性を示す図である。オーディオ信号解析装置の解析処理を説明するフローチャートである。図１４のステップＳ２の処理を説明するフローチャートである。図１４のステップＳ３の処理を説明するフローチャートである。コンピュータの構成例を示すブロックである。

符号の説明

１０オーディオ信号解析装置，１１ハイパスフィルタ，１２ローパスフィルタ，１３高域処理部，１４低域処理部，１５合成部，２１ STFT部，２２エネルギ加算部，３１最標本化部，３２オクターブ分割ブロック，３３バンドパスフィルタブロック，３０１ CPU

Claims

オーディオ信号を解析する信号処理装置において、
入力されたオーディオ信号から高周波数側の高域信号を抽出する第１の抽出手段と、
入力されたオーディオ信号から低周波数側の低域信号を抽出する第２の抽出手段と、
前記オーディオ信号から抽出された前記高域信号を、短時間フーリエ変換を用いて解析することにより、前記高域信号に含まれる複数の音程成分を解析する高域処理手段と、
前記オーディオ信号から抽出された前記低域信号を複数のオクターブ成分に分割し、各オクターブ成分から複数の音程低分を抽出することにより、前記低域信号に含まれる複数の音程成分を解析する低域処理手段と、
解析された前記高域信号に含まれる前記複数の音程成分と、解析された前記低域信号に含まれる前記複数の音程成分とを組み合わせる合成手段と
を含むことを特徴とする信号処理装置。
前記高域処理手段は、
前記オーディオ信号から抽出された前記高域信号を、短時間フーリエ変換を用いて解析することにより、等間隔の周波数帯成分を取得するSTFT(short-time Fourier transform)手段と、
各音程を構成する複数の前記周波数帯のエネルギを加算して、分割された前記高域信号に含まれる複数の音程成分を解析する加算手段とを含む
ことを特徴とする請求項１に記載の信号処理装置。
前記低域処理手段は、
前記オーディオ信号から抽出された前記低域信号を、さらに、高周波数側の高域成分と低周波数側の低域成分とに分割し、前記高域成分と前記低域成分のそれぞれをダウンサンプリングすることを繰り返すことにより、前記オーディオ信号から抽出された前記低域信号を複数のオクターブ成分に分割するオクターブ分割手段と、
前記複数のオクターブ成分それぞれをフィルタリングすることにより、複数の音程成分を抽出するフィルタリング手段とを含む
ことを特徴とする請求項１に記載の信号処理装置。
前記低域処理手段は、
前記オーディオ信号から抽出された前記低域信号を再サンプリングする再サンプリング手段をさらに含む
ことを特徴とする請求項３に記載の信号処理装置。
オーディオ信号を解析する信号処理装置の信号処理方法において、
入力されたオーディオ信号から高周波数側の高域信号を抽出し、
入力されたオーディオ信号から低周波数側の低域信号を抽出し、
前記オーディオ信号から抽出された前記高域信号を、短時間フーリエ変換を用いて解析することにより、前記高域信号に含まれる複数の音程成分を解析し、
前記オーディオ信号から抽出された前記低域信号を複数のオクターブ成分に分割し、各オクターブ成分から複数の音程低分を抽出することにより、前記低域信号に含まれる複数の音程成分を解析し、
解析された前記高域信号に含まれる前記複数の音程成分と、解析された前記低域信号に含まれる前記複数の音程成分とを組み合わせる
ステップを含むことを特徴とする信号処理方法。
オーディオ信号を解析する信号処理装置の制御用のプログラムであって、
入力されたオーディオ信号から高周波数側の高域信号を抽出し、
入力されたオーディオ信号から低周波数側の低域信号を抽出し、
前記オーディオ信号から抽出された前記高域信号を、短時間フーリエ変換を用いて解析することにより、前記高域信号に含まれる複数の音程成分を解析し、
前記オーディオ信号から抽出された前記低域信号を複数のオクターブ成分に分割し、各オクターブ成分から複数の音程低分を抽出することにより、前記低域信号に含まれる複数の音程成分を解析し、
解析された前記高域信号に含まれる前記複数の音程成分と、解析された前記低域信号に含まれる前記複数の音程成分とを組み合わせる
ステップを含む処理を信号処理装置のコンピュータに実行させることを特徴とするプログラム。