JP4419249B2

JP4419249B2 - Acoustic signal analysis method and apparatus, and acoustic signal processing method and apparatus

Info

Publication number: JP4419249B2
Application number: JP2000030861A
Authority: JP
Inventors: 孝司櫛田
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2000-02-08
Filing date: 2000-02-08
Publication date: 2010-02-24
Anticipated expiration: 2020-02-08
Also published as: JP2001222289A

Description

【０００１】
【発明の属する技術分野】
この発明は、複数種類の音響信号が混在する音響信号から特定の調波構造を探索してピッチを抽出する音響信号分析方法及び装置、並びに抽出されたピッチを持つ音声信号を強調又は抑圧する音響信号処理方法及び装置に関する。
【０００２】
【従来の技術】
複数種類の音響信号が混在した音響信号から、人の音声、特定の楽器音等の調波構造を持った音響信号を強調・抑圧したり、分離抽出したりする技術が知られている。例えば音声信号に対しては、雑音と音声信号とが混在した音響信号から雑音のみを抑制する雑音抑制方式（特開平９−１５３７６９号等）が、また音楽に対しては演奏に含まれる旋律の分離や除去に関する方式（特開平１１−１４３４６０号）等がそれぞれ提案されている。
【０００３】
人の声のように周波数領域で調波構造を持つ信号は、時間領域において周期性を持つ。この周期性を求める技術はピッチ推定等と呼ばれるが、このピッチ推定の手法としては、従来は、時間領域で求める方法、周波数領域でケプストラムを求める方法、自己相関領域で求める方法、波形の特異性を調べる方法等が知られている。しかし、これらの方法は、対象とする信号が単一のピッチを持つ信号でない場合に不都合を生じたり、ノイズによって抽出誤りが発生し易い等の問題がある。
【０００４】
これに対し、周波数領域での調波構造に着目したピッチ推定方法が既に提案されている（特開平６−２０２６２７号、特開平９−２５７５５９号等）が、これらは時間領域の信号を周波数分析して得られたスペクトラムの時系列に対し、ピークのオンセット、オフセットのグルーピングを行ったり、フレーム間でピークを接続したりするため、各周波数成分のピーク単位でのフレーム間処理が必要となり、処理量が多い上、オンセット、オフセットの評価が、その時間の同期性に焦点を当てているため、例えばオンセット直後の各成分のレベル変化の連動性の評価までは行われない等の問題があった。また、オフセットまで評価するには、対象となった音が終わるまで評価ができないため、リアルタイムの処理には向かないと言う問題がある。
【０００５】
【発明が解決しようとする課題】
この発明は、このような問題点に鑑みなされたもので、立上り直後の各成分のレベル変化の連動性を捉えることができ、リアルタイム性に優れ、少ない演算量で精度の高いピッチ推定が可能な音響信号分析方法及び装置、並びに推定されたピッチを持つ音声信号を強調又は抑圧する音響信号処理方法及び装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る音響信号分析方法は、入力音響信号を所定の時間長を持つフレーム毎に切り出して、各フレーム毎に周波数分析を行い、各フレームの周波数分析結果からピーク成分を検出し、ピーク成分から基本周波数毎の調波構造が含まれる度合いをフレーム内の調波性評価値として求める調波性評価を行うと共に、前記各フレームの周波数分析結果の振幅のフレーム間差分に対して調波性評価を行い、これら少なくとも２種類の調波性評価値を含む総合評価値が所定の閾値よりも大きい基本周波数から選択された基本周波数を前記入力音響信号のピッチとして検出することを特徴とする。
【０００７】
また、この発明に係る音響信号分析装置は、入力音響信号から切り出され周波数分析された所定の時間長を持つ各フレームの周波数分析結果からピーク成分を検出し、ピーク成分から基本周波数毎の調波構造が含まれる度合いをフレーム内の調波性評価値として求める調波性評価を行うフレーム内調波性評価手段と、前記各フレームの周波数分析結果の振幅のフレーム間差分に対して調波性評価を行うフレーム間差分調波性評価手段と、前記フレーム内調波性評価手段とフレーム間差分調波性評価手段の評価結果値を含む総合評価値が所定の閾値よりも大きい基本周波数から選択された基本周波数を前記音響信号のピッチとして検出する総合評価手段とを備えてなることを特徴とする。
【０００８】
この発明に係る音響信号分析方法及び装置によれば、周波数領域における各成分の振幅のフレーム間差分についての調波性評価を、フレーム内での調波性評価と関連付けて継続的に行うため、個別ピークについての立上り、立下りの同期を調べなくても、比較的少ない演算量で、調波構造を持った成分の組の立上り及び立下りを捉えることができる。
【０００９】
フレーム間差分に対する調波性評価は、フレーム内での調波性評価の結果得られた周波数成分毎の調波構造を評価してピッチ候補として求められた基本周波数についてのみ行うようにすれば、演算量を更に削減することができる。また、周波数分析結果からスペクトル包絡、予めデータとして基本周波数毎に記憶されたスペクトル包絡とを比較することにより評価して、このスペクトル包絡評価の結果を前記総合評価値に含ませることにより入力音響信号のピッチを検出するようにしてもよい。スペクトル包絡評価は、フレーム内での調波性評価の結果得られた周波数成分毎の調波構造を評価してピッチ候補として求められた基本周波数についてのみ行うようにしてもよい。即ち、ピッチ候補毎にそのピッチを形成する調波構造を有する各倍音成分によって形作られるスペクトル包絡の形状（とその時間変化）とを調べて、音の種別を判定すると共に、本来のピッチの整数倍、整数分の１等のピッチエラーを排除することができる。
【００１０】
また、ピッチ候補を更に絞り込んで演算量を削減するため、フレーム内での調波性評価の結果から各基本周波数毎の前記調波性評価値のピークを示すローカルピークをそれぞれ検出し、これらローカルピークをそれぞれ時間軸方向にトラッキングすることによりフレーム内調波性及び各成分の変動の同時性及び連動性とその連続性を評価して、その評価値の大きい基本周波数をピッチ候補として求めるようにしても良い。このようにすると、継続して評価を行っているので、例えば立ち上がり直後の各成分のレベル変化の連動性及びその連続性も捉えることができ、リアルタイム性が要求される場合にも十分対応可能である。
【００１１】
さらに、上述した音響信号処理方法及び装置を用いて、検出されたピッチを有する音声信号を、入力音響信号から強調又は抑圧することにより、入力音響信号から特定の音声信号のみを抽出したり、特定の音声信号以外の例えば環境音のみを抽出するといった処理をリアルタイムで行うことが可能になる。
【００１２】
【発明の実施の形態】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。
図１は、この発明の一実施例に係る音響信号強調・抑圧装置の構成を示すブロック図である。
処理対象である入力信号は、例えばスポーツの実況放送等のモノラル又はステレオの音響信号であり、この入力信号はフレーム分解部１に入力されている。フレーム分解部１は、例えば４４．１ｋＨｚでサンプリングされた時間波形信号のサンプルを例えば２０４８点等の所定の長さのフレームに分解する。フレームは、例えば１／４フレームピッチだけずらして３／４をオーバーラップさせながら切り出される。図２（ａ）は、切り出したフレームの波形を示している。フレーム分解部１で切り出された入力信号は、ハニング（Hanning）窓部２において、周波数分析のための窓関数を掛けられる。図２（ｂ）は窓関数を掛けた波形を示している。ハニング窓部２で窓関数を掛けられた出力は、ＦＦＴ（Fast Fourier Transformation）部３でフーリエ変換されて周波数領域の信号に変換される。ＦＦＴ部３の出力は、ピッチ検出部４に供給され、ここで入力音声に含まれる調波構造のピッチが検出される。一方、ＦＦＴ部３の出力は、強調・抑圧部５にも供給されている。強調・抑圧部５では、ピッチ検出部４で検出されたピッチに基づいて、特定の音声信号、例えばアナウンサーの声などを強調又は抑圧することにより、特定の音声と環境音とを分離する処理を実行する。強調・抑圧処理された周波数領域の信号は、ＩＦＦＴ（Inverse FFT）部６で逆フーリエ変換されて、時間領域の信号に戻される。この信号は、フレーム合成部７で時間領域での窓の合成処理により、フレーム合成され、出力信号として出力される。
【００１３】
図３は、ピッチ検出部４の詳細を示すブロック図である。
ＦＦＴ部３から出力される複素スペクトルは、調波構造評価部１１及び振幅計算部１２に入力される。振幅計算部１２は、複素スペクトルから、図２（ｃ）に示すような周波数分析結果の振幅を計算する。調波構造評価部１１は、フレーム内調波性評価手段を構成するもので、振幅計算部１２で計算された周波数分析結果の振幅からそのピーク値を検出するピーク検出部１３と、このピーク検出部１３で検出されたピーク値に基づき、ピーク成分の周波数をＦＦＴの分解能よりも高い分解能で得るための補間処理を実行するスペクトル内挿部１４と、得られた周波数のピーク成分から基本となる周波数毎の調波性の評価を行う調波性評価部１５とを備えている。
【００１４】
スペクトル内挿部１４は、補間手法として複素スペクトル内挿法を用いたもので、例えば「打楽器音を音源とした音源分離システム」（電子情報通信学会論文誌,'94/5 Vol.J77-D-II No.5,P903-911）等にその詳細が示されている。この手法は、基本的には、区間周波数ｆの成分が存在するピークの前後にある複素スペクトルｚm，ｚm+1（ｍ＝［ｆ］）から区間周波数ｆ及び振幅ａを次のように推定する手法である。いま、単位ベクトルｕを、
【００１５】
【数１】
ｕ＝（ｚm+1−ｚm）／｜ｚm+1−ｚm｜
【００１６】
と定義すると、区間周波数ｆと振幅ａは、
【００１７】
【数２】
ｆ＝ｍ＋（ｕ，ｚm+1）／[(ｕ，ｚm+1)−(ｕ，ｚm)]
ａ＝π(ｆ−ｍ)(ｕ，ｚm)／sin(πｆ)
【００１８】
また、ハニング窓を使用したＦＦＴに上述した式を適用すると、得られた区間周波数ｆ及び振幅ａに誤差を生じるので、次のようにハニング窓に対応するように補正する。
【００１９】
【数３】
ｚ＝３(ｆ−ｍ)−１
ｆ′＝ｍ＋ｚ
ａ′＝６ｚ(ｚ−１)sinπ(ｆ−ｍ)ａ／sinπｚ
【００２０】
調波性評価部１５における調波性評価の手法としては、ヒストグラムによる方法、分析フィルタの周波数から推定する方法、Harmonic Sieve法等の既存の手法が利用できる。例えばヒストグラムによる方法を例にとると、この方法は、周波数領域をヒストグラムをとるための複数の区間に分割し、ピークを示す区間の度数を累積していく方法である。累積の際には、低いピーク周波数から高いピーク周波数にかけて順番に加算すべき頻度を整数１，２，３，…で除す。また、ピークの振幅などで重み付けする場合もある。そして、得られたヒストグラムそのものを調波性評価値とする（「調和構造を利用した精密な基本周波数の推定」,鈴木誠史、佐野恵理他,信学技報SP93-5,p25-27、「Period Histogram and Product Spectrum:New Methods for Fundamental-Frequency Measurement」，M.R.Schroeder，The Journal of Acoustical Society of America,Vol.43,No.4 1968.p830）。
【００２１】
調波構造評価部１１で得られた調波性評価値を図２（ｄ）に示す。この調波性評価値は、調波性ピーク検出部１６でピーク検出される。図２（ｅ）には、ピーク検出されたローカルピーク値が示されている。以上の検出は、フレーム毎に行われる。
【００２２】
フレーム毎に検出された調波性評価値のピークは、調波性ピークトラッキング部１７に入力される。調波性ピークトラッキング部１７は、図４（ａ），（ｂ）に示すように、調波性評価値のピーク値を時間方向に追跡してピッチ候補を求める。ここでは、ある一定レベルに達したものだけを追跡したり、レベルの大きい順に追跡対象を有限個決定するなどして計算量を削減するようにしても良い。
【００２３】
一方、振幅計算部１２で計算された振幅値は、フレーム間振幅差分計算部１８に入力され、ここで例えば、図５（ａ），（ｂ）に示したような各周波数毎の振幅のフレーム間差分が、同図（ｃ）のように求められる。なお、差分をとるフレーム間隔は１フレームでも２フレーム以上でも良い。フレーム間振幅差分計算部１８で求められた振幅のフレーム間差分は、調波性評価部１９に供給される。調波性評価部１９は、振幅のフレーム間差分に対して調波性評価を行うことにより、基本周波数別に調波構造を形成する各成分が一斉に連動して変動する度合いを調べる。その際、調査対象とする基本周波数を調波性ピークトラッキング部１７でトラッキング対象となっているものに限定することで演算量を減らすことが出来る。図５（ｄ）は、フレーム間差分の調波性評価値の例を示したものである。
【００２４】
また、振幅計算部１２で計算された振幅値は、スペクトル包絡評価部２０にも入力されている。スペクトル包絡評価部２０は、基本周波数毎にその調波構造を形成する各成分振幅からスペクトル包絡を得て、それを評価する。この場合にも、調査対象とする基本周波数を調波性ピークトラッキング部１７でトラッキング対象となっているものに限定することで演算量を減らすことが出来る。スペクトル評価は、予め対象とする音のスペクトルが予想できる場合に、それをデータとして予め持っておいて時系列方向に連続して比較しても良いし、データの基本周波数別に持っておいても良い。この評価は、スペクトル包絡の形から、ありえないスペクトルを排除したり、人の声が含まれているかどうか等、対象の種類を区別するというだけでなく、整数倍、整数分の１等のピッチ誤りの対策にもなる。
【００２５】
調波性ピークトラッキング部１７、調波性評価部１９及びスペクトル包絡評価部２０からの各評価値は、総合評価部２１に入力されている。総合評価部２１は、総合評価選択部２２と調波性評価部２３とを備える。総合評価選択部２２は、トラッキングされているピーク値のうちのどのピークが有効なピッチであるかを選択する。その際、調波性評価部１９で得られた振幅のフレーム間差分に対する調波性評価値と、スペクトル包絡評価部２０で得られたスペクトル包絡の情報及び評価値とを使用する。調波性評価部２３は、これらの評価値を調波性ピークトラッキング部１７で追跡しているピッチ候補の属性として関連付けると共に、その履歴を必要期間保持することにより、現在トラッキング対象となっているピッチ候補のそれぞれについて、例えばその候補の過去の振幅差分に対する評価を得たい場合、そのピッチ候補のトラッキング履歴を辿ることによって、過去のある時点でその候補と対応付けられていた振幅差分に対する評価値を得る。このようにして現在及び過去において、各ピッチ候補に関連付けられた、フレーム内での調波性の評価値、振幅差分に対する調波性評価値、スペクトル包絡情報及び評価値、それぞれの現在までの値を総合的に判断することで、調波構造を持つ成分のピッチを得ることができる。具体的には、フレーム内調波性評価履歴をｖ１、フレーム間調波性評価履歴をｖ２、スペクトル包絡評価履歴をｖ３とすると、総合評価値Ｖは、
【００２６】
【数４】
Ｖ（ｖ１、ｖ２、ｖ３）
【００２７】
となるが、過去ｎフレームの加重平均を線形結合の形で評価するようにしてもよい。この総合的評価方法を図６に示す。
まず、全ての候補を非選択状態とし（Ｓ１）、ｉを１として（Ｓ２）、ｉ番目の候補のフレーム内調波性評価履歴ｖ１（ｉ）による評価ｆ１（ｉ）（Ｓ４）、フレーム間調波性評価履歴ｖ２（ｉ）による評価ｆ２（ｉ）（Ｓ５）及びスペクトル包絡評価履歴ｖ３（ｉ）による評価ｆ３（ｉ）（Ｓ６）を順に実行し、総合評価値ｓ［ｉ］に加算していく。ここで、α、β、γは、各評価履歴に対する重みである。総合評価値ｓ［ｉ］が所定の閾値Ｖthよりも大きいかどうかを判定し（Ｓ７）、もし大きければこのｉ番目の候補を選択状態とする（Ｓ８）。ｉを１つ増やして（Ｓ９）同様の操作をｉがｎ以上になるまで続行する（Ｓ３）。この処理により選択状態となった候補をそのままピッチ選択結果として出力しても良いが、単一の選択結果を得たい場合、選択された候補の中で最も評価の高いものを選択するようにしても良い（Ｓ１０）。
【００２８】
なお、調波性の評価方法が、完全に線形であるような場合には、振幅に対するフレーム内での調波性評価値のフレーム間の差分と、振幅のフレーム間差分に対する調波性評価値とは、結果的に同じになるが、必ずしも線形でない。また、一般には、対象とする周波数の範囲が広いので、最初はより少ない数の倍音を対象として調波性を評価することで演算量を削減し、最後には既に特定された付近のみの周波数範囲をより多くの倍音を対象として調波性を評価することで、演算量を削減するようにしても良い。更に、成分の組単位でのスペクトル包絡評価は、時間軸方向に連続して行うことにより、基本周波数毎のスペクトル包絡の時間変動を調べても良い。このピッチ抽出方法において、一度有効なピッチと判断されたピッチ候補の有効かどうかの判定基準を下げることで、その後、該当する調波成分のレベルが下がっても有効なピッチとして判断するようにしても良い。
【００２９】
次に強調・抑圧部５について説明する。
図７は、強調・抑圧部５の詳細を示すブロック図である。ＦＦＴ部３から出力される複素スペクトルは、振幅計算部３１に入力され、ここで前述と同様に周波数毎の振幅値が求められる。この振幅計算部３１で求められた周波数毎の振幅は、ピーク検出部３２に入力され、ここで振幅のピークが抽出される。なお、ここまでは、ピッチ検出部４の処理と共用することもできる。抽出されたピークは、倍音位置ピーク選択部３３に入力されている。倍音位置ピーク選択部３３は、ピッチ検出部４から与えられるピッチPitchに基づき、調波構造の基音と倍音の位置を計算し、その位置のピークを検出する。即ち、基本周波数をｐとしたとき、ｎ番目の成分（ｎ＝１，２，３，…）の周波数ｆはｆ＝ｎｐとなる。求められた基音と倍音の位置は、スペクトル内挿部３４に供給されている。スペクトル内挿部３４は、前述したのと同様の処理により、各倍音に対応するピークの周波数、振幅、位相をその付近の成分（複素スペクトル）を使用して補間する。補間されたピークの窓関数による成分が窓による成分計算部３５において周波数領域で計算される。そして、計算された成分列を減算器３６で元の複素スペクトルから差し引くことにより、周波数領域で対象成分を抑圧することができる。
【００３０】
なお、以上は抑圧の例であるが、強調の場合には成分計算部３５で求められた対象成分のみを出力したり、又はこれと、元の複素スペクトルのそれぞれに所望の定数を掛けたものとを加算したものを出力すればよい。そして、この強調・抑圧部５で周波数領域で強調・抑圧処理された複素スペクトルをＩＦＦＴ部６で時間領域に変換し、フレーム合成部７でフレーム合成することで強調・抑圧された出力音声を得ることが出来る。
【００３１】
また、入力信号がステレオ信号の場合、ステレオ信号からある特定の位置に定位した音の調波性を検出する場合には、調波性評価部において定位を考慮することにより、定位が既知であるような音源からの調波構造を有した音を検出する際の効率と精度を高めることができる。
【００３２】
【発明の効果】
以上述べたように、この発明によれば、フレーム内での調波性評価と共に周波数分析結果のフレーム間差分の調波性評価を行って、これらの評価値から総合的に判断してピッチを検出するようにしているので、立上り直後の各成分のレベル変化の連動性を捉えることができ、リアルタイム性に優れ、少ない演算量で精度の高いピッチ推定が可能という効果を奏する。
【図面の簡単な説明】
【図１】この発明の一実施例に係る音響信号強調・抑圧装置の構成を示すブロック図である。
【図２】同装置の各部の信号波形及び評価値を示す図である。
【図３】同装置におけるピッチ検出部の詳細ブロック図である。
【図４】同装置における調波性ピークトラッキングを説明するための図である。
【図５】同装置におけるフレーム間振幅差分値とその調波性評価値とを示す図である。
【図６】同装置における総合評価部の処理を示すフローチャートである。
【図７】同装置における強調・抑圧部の詳細ブロック図である。
【符号の説明】
１…フレーム分解部、２…ハニング窓部、３…ＦＦＴ部、４…ピッチ検出部、５…強調・抑圧部、６…ＩＦＦＴ部、７…フレーム合成部、１１…調波性構造評価部、１２…振幅演算部、１３…ピーク検出部、１４…スペクトル内挿部、１５，１９，２３…調波性評価部、１６…調波性ピーク検出部、１７…調波性ピークトラッキング部、１８…フレーム間振幅差分計算部、２０…スペクトル包絡評価部、２１…総合評価部、２２…総合評価選択部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an acoustic signal analysis method and apparatus for extracting a pitch by searching for a specific harmonic structure from an acoustic signal in which a plurality of types of acoustic signals are mixed, and an acoustic signal for enhancing or suppressing an audio signal having the extracted pitch. The present invention relates to a signal processing method and apparatus.
[0002]
[Prior art]
A technique is known in which an acoustic signal having a harmonic structure such as a human voice or a specific musical instrument sound is emphasized / suppressed or separated and extracted from an acoustic signal in which a plurality of types of acoustic signals are mixed. For example, for audio signals, a noise suppression method (Japanese Patent Laid-Open No. 9-153769, etc.) for suppressing only noise from an acoustic signal in which noise and audio signals are mixed, and for music, a melody included in the performance is used. A method relating to separation and removal (Japanese Patent Laid-Open No. 11-143460) has been proposed.
[0003]
A signal having a harmonic structure in the frequency domain, such as a human voice, has periodicity in the time domain. The technique for obtaining this periodicity is called pitch estimation, etc., but this pitch estimation method has been conventionally used in the time domain, the cepstrum in the frequency domain, the autocorrelation domain, or the waveform specificity. There are known methods for examining the above. However, these methods have problems such as inconvenience when the target signal is not a signal having a single pitch, and an extraction error easily occurs due to noise.
[0004]
On the other hand, pitch estimation methods focusing on the harmonic structure in the frequency domain have already been proposed (JP-A-6-202627, JP-A-9-257559, etc.). In order to perform peak onset and offset grouping for the time series of the spectrum obtained in this way, or to connect peaks between frames, inter-frame processing is required for each frequency component peak, Since the amount of processing is large and the evaluation of onset and offset focuses on the synchronism of the time, for example, it is not possible to evaluate the level change of each component immediately after onset was there. In addition, there is a problem that the evaluation up to the offset is not suitable for real-time processing because the evaluation cannot be performed until the target sound ends.
[0005]
[Problems to be solved by the invention]
The present invention has been made in view of such a problem, and can grasp the interlocking of the level change of each component immediately after the rise, has excellent real-time characteristics, and can perform highly accurate pitch estimation with a small amount of calculation. It is an object of the present invention to provide an acoustic signal analysis method and apparatus, and an acoustic signal processing method and apparatus for enhancing or suppressing an audio signal having an estimated pitch.
[0006]
[Means for Solving the Problems]
The acoustic signal analysis method according to the present invention cuts out an input acoustic signal for each frame having a predetermined time length, performs frequency analysis for each frame , detects a peak component from the frequency analysis result of each frame, To determine the degree to which the harmonic structure for each fundamental frequency is included as a harmonic evaluation value within the frame, and to adjust the harmonics with respect to the interframe difference in the amplitude of the frequency analysis result of each frame. The evaluation is performed, and a fundamental frequency selected from fundamental frequencies whose total evaluation value including these at least two types of harmonic evaluation values is larger than a predetermined threshold is detected as the pitch of the input acoustic signal.
[0007]
The acoustic signal analyzing apparatus according to the present invention detects a peak component from a frequency analysis result of each frame having a predetermined time length cut out from an input acoustic signal and subjected to frequency analysis, and generates harmonics for each fundamental frequency from the peak component. Intra- frame harmonic evaluation means for performing harmonic evaluation to obtain the degree of inclusion of the structure as the harmonic evaluation value in the frame, and harmonic characteristics with respect to the inter-frame difference in the amplitude of the frequency analysis result of each frame Inter-frame differential harmonic evaluation means for performing an evaluation, and a fundamental frequency whose total evaluation value including evaluation result values of the intra-frame harmonic evaluation means and the inter-frame differential harmonic evaluation means is larger than a predetermined threshold And a comprehensive evaluation means for detecting the fundamental frequency as a pitch of the acoustic signal.
[0008]
According to the acoustic signal analysis method and apparatus according to the present invention, in order to continuously perform harmonic evaluation on the inter-frame difference in the amplitude of each component in the frequency domain in association with harmonic evaluation in the frame, The rise and fall of a set of components having a harmonic structure can be captured with a relatively small amount of computation without examining the rise and fall synchronization for individual peaks.
[0009]
If the harmonic evaluation for the interframe difference is performed only for the fundamental frequency obtained as a pitch candidate by evaluating the harmonic structure for each frequency component obtained as a result of the harmonic evaluation in the frame, The amount of calculation can be further reduced. Further, by evaluating the spectral envelope from the frequency analysis result by comparing the spectral envelope previously stored for each fundamental frequency as data, the result of the spectral envelope evaluation is included in the comprehensive evaluation value to input the acoustic signal. The pitch may be detected. Spectral envelope evaluation may be performed only for the fundamental frequency obtained as a pitch candidate by evaluating the harmonic structure for each frequency component obtained as a result of harmonic evaluation in the frame. That is, for each pitch candidate, the spectrum envelope shape (and its temporal change) formed by each harmonic component having a harmonic structure that forms the pitch is examined to determine the type of sound, and the original pitch integer It is possible to eliminate pitch errors such as double and 1 / integer.
[0010]
Further, in order to further narrow down the pitch candidates and reduce the amount of calculation, local peaks indicating the peak of the harmonic evaluation value for each fundamental frequency are detected from the result of the harmonic evaluation in the frame, and these local peaks are detected. By tracking each peak in the time axis direction, the intra-frame harmonics and the simultaneity and linkage of each component and its continuity are evaluated, and a fundamental frequency with a large evaluation value is obtained as a pitch candidate. May be. In this way, since the evaluation is continuously performed, for example, it is possible to grasp the interlocking and continuity of the level change of each component immediately after the start-up, and can sufficiently cope with the case where real-time property is required. is there.
[0011]
Furthermore, by using the above-described acoustic signal processing method and apparatus, a specific audio signal is extracted from the input acoustic signal by extracting or identifying the audio signal having the detected pitch from the input acoustic signal. For example, it is possible to perform processing such as extracting only environmental sounds other than the audio signal in real time.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of an acoustic signal enhancement / suppression device according to one embodiment of the present invention.
The input signal to be processed is, for example, a monaural or stereo sound signal such as a live broadcast of sports, and this input signal is input to the frame decomposing unit 1. The frame decomposition unit 1 decomposes a sample of a time waveform signal sampled at, for example, 44.1 kHz into a frame having a predetermined length such as 2048 points. For example, the frames are cut out while overlapping by 3/4 with a shift of 1/4 frame pitch. FIG. 2A shows the waveform of the cut frame. The input signal cut out by the frame decomposing unit 1 is multiplied by a window function for frequency analysis in a Hanning window unit 2. FIG. 2B shows a waveform multiplied by a window function. The output multiplied by the window function in the Hanning window 2 is Fourier transformed by an FFT (Fast Fourier Transformation) unit 3 to be converted into a frequency domain signal. The output of the FFT unit 3 is supplied to the pitch detection unit 4 where the pitch of the harmonic structure included in the input speech is detected. On the other hand, the output of the FFT unit 3 is also supplied to the enhancement / suppression unit 5. The emphasis / suppression unit 5 performs a process of separating the specific sound and the environmental sound by enhancing or suppressing a specific sound signal, for example, an announcer's voice, based on the pitch detected by the pitch detection unit 4. Execute. The frequency domain signal subjected to the enhancement / suppression process is subjected to inverse Fourier transform by an IFFT (Inverse FFT) unit 6 and returned to a time domain signal. This signal is frame-synthesized by the window synthesis process in the time domain by the frame synthesis unit 7 and output as an output signal.
[0013]
FIG. 3 is a block diagram showing details of the pitch detection unit 4.
The complex spectrum output from the FFT unit 3 is input to the harmonic structure evaluation unit 11 and the amplitude calculation unit 12. The amplitude calculation unit 12 calculates the amplitude of the frequency analysis result as shown in FIG. 2C from the complex spectrum. The harmonic structure evaluation unit 11 constitutes an intra-frame harmonic evaluation unit. The peak detection unit 13 detects the peak value from the amplitude of the frequency analysis result calculated by the amplitude calculation unit 12, and this peak detection. Based on the peak value detected by the unit 13, the spectrum interpolation unit 14 executes an interpolation process for obtaining the frequency of the peak component with a resolution higher than the resolution of the FFT, and is based on the obtained peak component of the frequency. And a harmonic evaluation unit 15 for evaluating the harmonics for each frequency.
[0014]
The spectrum interpolation unit 14 uses a complex spectrum interpolation method as an interpolation method. For example, “a sound source separation system using a percussion instrument as a sound source” (Journal of the Institute of Electronics, Information and Communication Engineers, '94 / 5 Vol.J77-D -II No.5, P903-911) and so on. This method basically estimates the section frequency f and the amplitude a from the complex spectrum zm, zm + 1 (m = [f]) before and after the peak where the component of the section frequency f exists. It is a technique. Now, the unit vector u
[0015]
[Expression 1]
u = (zm + 1-zm) / | zm + 1-zm |
[0016]
If defined, the interval frequency f and the amplitude a are
[0017]
[Expression 2]
f = m + (u, zm + 1) / [(u, zm + 1)-(u, zm)]
a = π (fm) (u, zm) / sin (πf)
[0018]
Further, when the above-described equation is applied to FFT using a Hanning window, an error occurs in the obtained section frequency f and amplitude a. Therefore, correction is performed so as to correspond to the Hanning window as follows.
[0019]
[Equation 3]
z = 3 (fm) -1
f ′ = m + z
a ′ = 6z (z−1) sinπ (fm) a / sinπz
[0020]
As a harmonic evaluation method in the harmonic evaluation unit 15, existing methods such as a method using a histogram, a method of estimating from a frequency of an analysis filter, and a Harmonic Sieve method can be used. For example, taking a histogram method as an example, this method is a method of dividing a frequency region into a plurality of sections for taking a histogram, and accumulating the frequency of the section showing the peak. When accumulating, the frequency to be added in order from the low peak frequency to the high peak frequency is divided by integers 1, 2, 3,. In some cases, weighting is performed by the amplitude of the peak. The obtained histogram itself is used as the harmonic evaluation value ("Precision of fundamental frequency using harmonic structure", Seiji Suzuki, Eri Sano et al., IEICE Tech. Period Histogram and Product Spectrum: New Methods for Fundamental-Frequency Measurement ”, MR Schroeder, The Journal of Acoustical Society of America, Vol. 43, No. 4 1968.p830).
[0021]
The harmonic evaluation value obtained by the harmonic structure evaluation unit 11 is shown in FIG. This harmonic evaluation value is peak-detected by the harmonic peak detector 16. FIG. 2E shows a local peak value from which a peak is detected. The above detection is performed for each frame.
[0022]
The peak of the harmonic evaluation value detected for each frame is input to the harmonic peak tracking unit 17. As shown in FIGS. 4A and 4B, the harmonic peak tracking unit 17 tracks the peak value of the harmonic evaluation value in the time direction to obtain a pitch candidate. Here, the amount of calculation may be reduced by tracking only a certain level or by determining a finite number of tracking targets in descending order of level.
[0023]
On the other hand, the amplitude value calculated by the amplitude calculation unit 12 is input to the inter-frame amplitude difference calculation unit 18, where, for example, an amplitude frame for each frequency as shown in FIGS. 5 (a) and 5 (b). The difference between the two is obtained as shown in FIG. The frame interval for taking the difference may be one frame or two frames or more. The inter-frame difference in amplitude obtained by the inter-frame amplitude difference calculation unit 18 is supplied to the harmonic evaluation unit 19. The harmonic evaluation unit 19 performs the harmonic evaluation on the amplitude difference between frames, thereby examining the degree to which the components forming the harmonic structure for each fundamental frequency fluctuate together. At that time, the amount of calculation can be reduced by limiting the fundamental frequency to be investigated to those to be tracked by the harmonic peak tracking unit 17. FIG. 5 (d) shows an example of the harmonic evaluation value of the inter-frame difference.
[0024]
The amplitude value calculated by the amplitude calculator 12 is also input to the spectrum envelope evaluation unit 20. The spectrum envelope evaluation unit 20 obtains a spectrum envelope from each component amplitude forming the harmonic structure for each fundamental frequency, and evaluates it. Also in this case, it is possible to reduce the amount of calculation by limiting the fundamental frequency to be investigated to those to be tracked by the harmonic peak tracking unit 17. Spectral evaluation can be performed in advance when the target sound spectrum can be predicted, and the data can be stored in advance in the time-series direction, or by the fundamental frequency of the data. good. This evaluation not only excludes the impossible spectrum from the shape of the spectrum envelope, but also distinguishes the target type, such as whether or not a human voice is included, as well as pitch errors such as integer multiples, integer fractions, etc. It will also be a countermeasure.
[0025]
Each evaluation value from the harmonic peak tracking unit 17, the harmonic evaluation unit 19, and the spectrum envelope evaluation unit 20 is input to the comprehensive evaluation unit 21. The comprehensive evaluation unit 21 includes a comprehensive evaluation selection unit 22 and a harmonic evaluation unit 23. The comprehensive evaluation selection unit 22 selects which of the tracked peak values is an effective pitch. At that time, the harmonic evaluation value for the inter-frame difference in amplitude obtained by the harmonic evaluation unit 19 and the spectrum envelope information and evaluation value obtained by the spectrum envelope evaluation unit 20 are used. The harmonic evaluation unit 23 associates these evaluation values as attributes of the pitch candidates tracked by the harmonic peak tracking unit 17 and retains the history for a necessary period of time, thereby being a target for tracking. For each of the pitch candidates, for example, when it is desired to obtain an evaluation of the past amplitude difference of the candidate, by tracking the tracking history of the pitch candidate, an evaluation value for the amplitude difference associated with the candidate at a past time Get. Thus, in the present and in the past, the harmonic evaluation value in the frame, the harmonic evaluation value for the amplitude difference, the spectral envelope information and the evaluation value, the values up to the present, associated with each pitch candidate. Therefore, the pitch of the component having the harmonic structure can be obtained. Specifically, if the intra-frame harmonic evaluation history is v1, the inter-frame harmonic evaluation history is v2, and the spectral envelope evaluation history is v3, the overall evaluation value V is
[0026]
[Expression 4]
V (v1, v2, v3)
[0027]
However, the weighted average of the past n frames may be evaluated in the form of a linear combination. This comprehensive evaluation method is shown in FIG.
First, all candidates are set to a non-selected state (S1), i is set to 1 (S2), the evaluation is based on the intraframe harmonic evaluation history v1 (i) of the i-th candidate, f1 (i) (S4), and between frames The evaluation f2 (i) (S5) based on the harmonic evaluation history v2 (i) and the evaluation f3 (i) (S6) based on the spectrum envelope evaluation history v3 (i) are sequentially executed and added to the overall evaluation value s [i]. I will do it. Here, α, β, and γ are weights for each evaluation history. It is determined whether or not the comprehensive evaluation value s [i] is larger than a predetermined threshold value Vth (S7). If it is larger, the i-th candidate is selected (S8). i is incremented by 1 (S9), and the same operation is continued until i becomes n or more (S3). Candidates that have been selected by this processing may be output as pitch selection results as they are. However, if you want to obtain a single selection result, select the one with the highest evaluation among the selected candidates. (S10).
[0028]
When the harmonic evaluation method is completely linear, the difference between the harmonic evaluation values within the frame with respect to the amplitude and the harmonic evaluation value with respect to the amplitude difference between the frames. Results in the same, but not necessarily linear. In general, since the target frequency range is wide, the amount of computation is reduced by evaluating harmonics for a smaller number of overtones at the beginning, and finally only frequencies that have already been identified. The amount of calculation may be reduced by evaluating the harmonics for a range of more harmonics. Further, the spectral envelope evaluation for each component group may be continuously performed in the time axis direction to examine the temporal variation of the spectral envelope for each fundamental frequency. In this pitch extraction method, by lowering the criteria for determining whether or not a pitch candidate that has been determined to be effective once is effective, it is determined that the pitch is effective even if the level of the corresponding harmonic component decreases thereafter. Also good.
[0029]
Next, the emphasis / suppression unit 5 will be described.
FIG. 7 is a block diagram showing details of the emphasis / suppression unit 5. The complex spectrum output from the FFT unit 3 is input to the amplitude calculation unit 31, where an amplitude value for each frequency is obtained in the same manner as described above. The amplitude for each frequency obtained by the amplitude calculation unit 31 is input to the peak detection unit 32, where an amplitude peak is extracted. In addition, so far, it can also share with the process of the pitch detection part 4. FIG. The extracted peak is input to the overtone position peak selection unit 33. The harmonic position peak selection unit 33 calculates the positions of the fundamental and harmonics of the harmonic structure based on the pitch Pitch given from the pitch detection unit 4, and detects the peak at that position. That is, when the fundamental frequency is p, the frequency f of the nth component (n = 1, 2, 3,...) Is f = np. The obtained fundamental and harmonic positions are supplied to the spectrum interpolation unit 34. The spectrum interpolation unit 34 interpolates the frequency, amplitude, and phase of the peak corresponding to each harmonic using a component (complex spectrum) in the vicinity thereof by the same process as described above. The component of the interpolated peak window function is calculated in the frequency domain by the window component calculation unit 35. The target component can be suppressed in the frequency domain by subtracting the calculated component sequence from the original complex spectrum by the subtractor 36.
[0030]
Although the above is an example of suppression, in the case of emphasis, only the target component obtained by the component calculation unit 35 is output, or this is multiplied by a desired constant for each of the original complex spectra. What is necessary is just to output what added. Then, the complex spectrum enhanced / suppressed in the frequency domain by the emphasis / suppression unit 5 is converted into the time domain by the IFFT unit 6, and the frame synthesis unit 7 performs frame synthesis to obtain enhanced / suppressed output speech. I can do it.
[0031]
Further, when the input signal is a stereo signal, when detecting the harmonic nature of the sound localized at a specific position from the stereo signal, the localization is known by considering the localization in the harmonic evaluation section. Efficiency and accuracy in detecting a sound having a harmonic structure from such a sound source can be improved.
[0032]
【The invention's effect】
As described above, according to the present invention, the harmonicity evaluation within the frame is performed together with the harmonicity evaluation of the inter-frame difference of the frequency analysis result, and the pitch is determined by comprehensively judging from these evaluation values. Since detection is performed, it is possible to grasp the interlocking of the level changes of each component immediately after the rise, and it is excellent in real-time property, and there is an effect that it is possible to estimate the pitch with high accuracy with a small amount of calculation.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an acoustic signal enhancement / suppression device according to an embodiment of the present invention.
FIG. 2 is a diagram showing signal waveforms and evaluation values of each part of the apparatus.
FIG. 3 is a detailed block diagram of a pitch detector in the same device.
FIG. 4 is a diagram for explaining harmonic peak tracking in the same device.
FIG. 5 is a diagram showing an inter-frame amplitude difference value and its harmonic evaluation value in the same apparatus.
FIG. 6 is a flowchart showing processing of a comprehensive evaluation unit in the apparatus.
FIG. 7 is a detailed block diagram of an emphasis / suppression unit in the same device.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Frame decomposition part, 2 ... Hanning window part, 3 ... FFT part, 4 ... Pitch detection part, 5 ... Enhancement / suppression part, 6 ... IFFT part, 7 ... Frame composition part, 11 ... Harmonic structure evaluation part, DESCRIPTION OF SYMBOLS 12 ... Amplitude calculating part, 13 ... Peak detection part, 14 ... Spectral interpolation part, 15, 19, 23 ... Harmonicity evaluation part, 16 ... Harmonic peak detection part, 17 ... Harmonic peak tracking part, 18 ... inter-frame amplitude difference calculation section, 20 ... spectrum envelope evaluation section, 21 ... comprehensive evaluation section, 22 ... comprehensive evaluation selection section.

Claims

Cut out the input acoustic signal for each frame with a predetermined time length, perform frequency analysis for each frame,
The peak component is detected from the frequency analysis result of each frame , and the harmonicity evaluation is performed to obtain the degree of the harmonic structure included in each frame from the peak component as the harmonic evaluation value in the frame. Perform harmonic evaluation on the difference between the amplitudes of the frequency analysis results,
A method of analyzing an acoustic signal , comprising: detecting a fundamental frequency selected from fundamental frequencies having a comprehensive evaluation value including at least two types of harmonic evaluation values greater than a predetermined threshold as the pitch of the input acoustic signal.

Harmonicity evaluation of the inter-frame difference has to perform only the fundamental frequency determined as a pitch candidate by evaluating the results obtained frequency components for each of the harmonic structure of the harmonic assessment within the frame The acoustic signal analysis method according to claim 1.

A spectrum envelope is evaluated from the frequency analysis result by comparing with a spectrum envelope stored in advance for each fundamental frequency as data, and the result of spectrum envelope evaluation is included in the comprehensive evaluation value to thereby input the input sound. 3. The acoustic signal analysis method according to claim 1, wherein a pitch of the signal is detected.

The spectrum envelope evaluation is performed only for the fundamental frequency obtained as a pitch candidate by evaluating the harmonic structure for each frequency component obtained as a result of the harmonic evaluation in the frame. The acoustic signal analysis method according to claim 3.

The local peak indicating a peak of the harmonic evaluation value for each fundamental frequency from the results of the harmonic assessment within the frame respectively detected, intraframe tone by tracking them locally peaks in the respective time axis direction 5. The simultaneity and continuity of wave characteristics and fluctuations of each component and its continuity are evaluated, and a fundamental frequency having a large evaluation value is obtained as a pitch candidate. The acoustic signal analysis method according to claim 1.

The peak component is detected from the frequency analysis result of each frame having a predetermined time length that is cut out from the input acoustic signal and subjected to frequency analysis, and the degree of harmonics within the frame is determined from the peak component to include the harmonic structure for each fundamental frequency. In- frame harmonic evaluation means for performing harmonic evaluation obtained as an evaluation value ;
Inter-frame differential harmonic evaluation means for performing harmonic evaluation on the inter-frame difference of the amplitude of the frequency analysis result of each frame;
A fundamental frequency selected from fundamental frequencies whose total evaluation value including evaluation result values of the intra-frame harmonic evaluation means and the inter-frame differential harmonic evaluation means is larger than a predetermined threshold is detected as the pitch of the acoustic signal. An acoustic signal analyzer comprising: a comprehensive evaluation means.

The inter-frame differential harmonic evaluation means evaluates the harmonic structure for each frequency component obtained as a result of the evaluation by the intra-frame harmonic evaluation means, and only the fundamental frequency obtained as a pitch candidate. The acoustic signal analysis apparatus according to claim 6, wherein

Spectral envelope is evaluated from the frequency analysis result by comparing with spectral envelope stored in advance for each fundamental frequency as data, and the result of spectral envelope evaluation is included in the comprehensive evaluation value for pitch detection. 8. The acoustic signal analyzing apparatus according to claim 6, further comprising spectrum envelope evaluation means for outputting to the comprehensive evaluation means for reflection.

The spectrum envelope evaluation means evaluates the harmonic structure of each frequency component obtained as a result of the evaluation by the intra-frame harmonic evaluation means, and performs spectrum envelope evaluation only for the fundamental frequency obtained as a pitch candidate. The acoustic signal analyzer according to claim 8, wherein the acoustic signal analyzer is provided.

Harmonic peak detection means for detecting local peaks each indicating a peak of the harmonic evaluation value for each fundamental frequency from the evaluation result in the intra-frame harmonic evaluation means;
By tracking the local peaks in the time axis direction, the intra-frame harmonics and the simultaneity and continuity of the fluctuation of each component are evaluated, and the fundamental frequency having a large evaluation value is obtained as a pitch candidate. The acoustic signal analyzer according to any one of claims 6 to 9, further comprising harmonic peak tracking means.

A sound signal analysis method according to any one of claims 1 to 5, wherein the audio signal having the detected pitch is emphasized or suppressed from the input sound signal based on the pitch detected by the method. An acoustic signal processing method characterized by the above.

An audio signal analysis device according to any one of claims 6 to 10, wherein the audio signal having the detected pitch is emphasized or suppressed from the input audio signal based on the pitch detected by the device. An acoustic signal processing device comprising suppression means.