JP4445460B2

JP4445460B2 - 音声処理装置及び音声処理方法

Info

Publication number: JP4445460B2
Application number: JP2005351249A
Authority: JP
Inventors: 幼華王; 幸司吉田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2000-08-31
Filing date: 2005-12-05
Publication date: 2010-04-07
Anticipated expiration: 2021-08-29
Also published as: JP2006126859A

Description

本発明は、雑音を抑圧する音声処理装置及び音声処理方法に関し、特に通信システムにおける音声処理装置及び音声処理方法に関する。

従来の音声符号化技術では、雑音のない音声に対しては高品質な音声で通話することができるが、雑音等が含まれた音声に対してはデジタル通話特有の耳障りな雑音が生じ、音質が劣化する問題があった。

このような雑音を抑圧する音声強調技術としてスペクトルサブトラクション法、コムフィルタ法がある。

スペクトルサブトラクション法は、雑音情報に着目して無音区間で雑音の性質を推定して雑音を含む音声信号の短時間パワースペクトルから雑音の短時間パワースペクトルを減算する、または減衰係数を乗算することにより音声信号のパワースペクトルを推定して雑音を抑圧する方法である。スペクトルサブトラクション法は、例えば、文献（S.Boll, Suppression of acoustic noise in speech using spectral subtraction, IEEE Trans. Acoustics, Speech, and Signal Processing, vol. ASSP-27, pp.113-120, 1979）、文献 (R.J.McAulay, M.L.Malpass, Speech enhancement using a soft-decision noise suppression filter, IEEE. Trans. Acoustics, Speech, and Signal Processing, vol. ASSP-28, pp.137-145. 1980)、特許第２７１４６５６号と、特願平９−５１８８２０号に記載されているものがある。

一方、コムフィルタ法は、音声情報に着目し、音声スペクトルのピッチにコムフィルタをかけることにより雑音減衰を行う。コムフィルタ法に関する文献として、例えば、文献(J.S.Lim etc., Evaluation of an adaptive comb filtering method for enhancing speech degraded by white noise addition, IEEE Trans. Acoustics, Speech, and Signal Processing,vol.ASSP26,pp.354-358,1978)がある。

コムフィルタとは、周波数領域単位で入力された信号を所定の比率で減衰させ、または減衰させずに信号を出力するフィルタであり、櫛状の減衰特性をもつ。デジタルデータ処理でコムフィルタ法を実現する場合、コムフィルタの減衰特性を周波数領域毎に減衰特性のデータを作成し、周波数毎に音声スペクトルを乗算することにより雑音を抑圧できる。

図２８は、従来のコムフィルタ法を用いた音声処理装置の例を示す図である。図２８において、切り替え器１１は、入力信号に準周期性を持たない音声成分（例えば子音）が含まれている場合、入力信号をそのまま出力し、入力信号に準周期性を持つ音声成分が含まれている場合、入力信号をコムフィルタ１２に出力する。コムフィルタ１２は、ピッチ周期の情報に基づいた減衰特性で入力信号に対して周波数領域で雑音部分に減衰を行って出力する。

図２９は、コムフィルタの減衰特性を示す図である。縦軸は信号の減衰特性を示し、横軸は周波数を示す。図２９においてコムフィルタには、周波数領域毎に信号を減衰させる領域と信号を減衰させない領域が存在する。

コムフィルタ法では、入力された信号にコムフィルタをかけることにより、入力信号の中で音声成分の存在する周波数領域を減衰せず、音声成分の存在しない周波数領域を減衰することにより雑音を抑圧して音声を強調する。

しかしながら、このような従来の音声処理方法には次のような解決すべき課題があった。まず、文献１に示したＳＳ法は、ノイズ情報のみに着目し、短時間のノイズ特性を定常と見なして、音声とノイズを区別せず、一律にノイズベース（推定されたノイズのスペクトル特性）を差し引く方法である。音声の情報（例えば、音声のピッチ）は利用されていない。実際には、ノイズの特性は定常でないため、差し引かれた後の残留ノイズ、特にピッチ調波間の残留ノイズは処理方法によって、いわゆる「ミュジカルノイズ」と呼ばれる不自然な歪のある雑音を生じる原因と考えられる。

その改善法として、音声パワー対ノイズパワー比（ＳＮＲ）に基づき、減衰係数を乗じてノイズを減衰する方法、例えば、特許第２７１４６５６号と、特願平９−５１８８２０号に示したものが提案された。音声の大きい帯域（ＳＮＲは大きい）とノイズの大きい帯域（ＳＮＲは小さい）を区別して異なる減衰係数を用いるため、ミュジカルノイズを抑制し、音質を向上させた。しかし、特許第２７１４６５６号と、特願平９−５１８８２０号に示した方法は、音声情報の一部（ＳＮＲ）が利用されているものの、処理する周波数チャネル数（１６チャネル）は十分でないので、ピッチ調波情報を雑音から分離し抽出することは困難であり、また、音声とノイズ両方の帯域に減衰係数を用いるため、互いに影響を及ぼし合う結果、減衰係数は大きくすることができない。つまり、減衰係数を大きくすると、ＳＮＲ推定の誤りによって、音声の歪みを生じる可能性がある。結果として、ノイズの減衰は不十分である。

また、従来のコムフィルタ法では、基本周波数であるピッチに推定誤差があると、その高調波では誤差分が拡大し、本来の高調波成分がその通過帯域からはずれる可能性がより大きくなる。また、準周期性を持つ音声とそうでない音声を判別する必要があるため、実現性に問題がある。

本発明は、かかる点に鑑みてなされたものであり、音声の歪みが少なくかつノイズを十分に除去することができる音声処理装置及び音声処理方法を提供することを目的とする。

本発明の音声処理装置は、入力信号の音声スペクトルを所定の周波数領域単位で分割する周波数分割手段と、前記周波数分割手段にて周波数分割された音声スペクトルである分割音声スペクトルから、前記分割音声スペクトルに含まれる雑音成分のスペクトルであるノイズベースを推定するノイズベース推定手段と、前記分割音声スペクトルと前記ノイズベースとに基づいて前記分割音声スペクトルに音声成分が含まれているか否か識別する音声／非音声識別手段と、前記音声／非音声識別手段の識別結果に基づいて音声成分の含まれる周波数領域を通過域とし、音声成分の含まれていない周波数領域を阻止域とするコムフィルタを生成するコムフィルタ生成手段と、音声ピッチ周波数を推定するピッチ周波数推定手段と、前記音声ピッチ周波数及び前記分割音声スペクトルに基づいて前記コムフィルタのピッチ調波の幅を修正するピッチ修正手段と、前記ピッチ調波の幅が修正されたコムフィルタを用いて前記周波数領域毎の減衰係数を設定し、前記各分割音声スペクトルに前記対応する周波数領域の減衰係数を乗算することにより前記分割音声スペクトルの雑音成分を抑圧する雑音抑圧手段と、前記雑音成分が抑圧された分割音声スペクトルを周波数領域で連続した音声スペクトルに合成する周波数合成手段と、を具備する構成を採る。

本発明の音声処理装置は、入力信号の音声スペクトルを所定の周波数領域単位で分割する周波数分割手段と、前記周波数分割手段にて周波数分割された音声スペクトルである分割音声スペクトルから、前記分割音声スペクトルに含まれる雑音成分のスペクトルであるノイズベースを推定するノイズベース推定手段と、前記分割音声スペクトルと前記ノイズベースとに基づいて前記分割音声スペクトルに音声成分が含まれているか否か識別する第一音声／非音声識別手段と、前記第一音声／非音声識別手段の識別結果に基づいて音声成分の含まれる周波数領域を通過域とし、音声成分の含まれていない周波数領域を阻止域とするコムフィルタを生成する第一コムフィルタ生成手段と、前記分割音声スペクトルと前記ノイズベースとに基づいて前記第一音声／非音声識別手段と異なる条件で前記分割音声スペクトルに音声成分が含まれているか否か識別する第二音声／非音声識別手段と、前記第二音声／非音声識別手段の識別結果に基づいて音声成分の含まれる周波数領域を通過域とし、音声成分の含まれていない周波数領域を阻止域とする第二コムフィルタを生成する第二コムフィルタ生成手段と、前記分割音声スペクトルから入力音声信号のピッチ周波数を推定する音声ピッチ推定手段と、前記音声ピッチ推定手段において推定されたピッチ周波数に基づいて前記第二コムフィルタのピッチ調波の幅を修復してピッチ修復コムフィルタを生成する音声ピッチ修復手段と、前記ピッチ修復コムフィルタに基づいて前記第一コムフィルタの修正を行い、修正コムフィルタを生成するコムフィルタ修正手段と、前記修正コムフィルタの値に基づき、またその値が阻止領域を示す場合は周波数に応じて、前記周波数領域毎の減衰係数を設定し、前記各分割音声スペクトルに前記対応する周波数領域の減衰係数を乗算することにより前記分割音声スペクトルの雑音成分を抑圧する雑音抑圧手段と、前記雑音成分が抑圧された分割音声スペクトルを周波数領域で連続した音声スペクトルに合成する周波数合成手段と、を具備する構成を採る。

本発明の音声処理方法は、入力信号の音声スペクトルを所定の周波数領域単位で分割する周波数分割工程と、前記周波数分割手段にて周波数分割された音声スペクトルである分割音声スペクトルから、前記分割音声スペクトルに含まれる雑音成分のスペクトルであるノイズベースを推定するノイズベース推定工程と、前記分割音声スペクトルと前記ノイズベースとに基づいて前記分割音声スペクトルに音声成分が含まれているか否か識別する音声／非音声識別工程と、音声成分の含まれる周波数領域を強調するピッチ調波構造を生成するピッチ調波構造生成工程と、音声ピッチ周波数を推定するピッチ周波数推定工程と、前記音声ピッチ周波数及び前記分割音声スペクトルに基づいて前記ピッチ調波構造のピッチ調波の幅を修正するピッチ修正工程と、前記ピッチ調波の幅が修正されたピッチ調波構造を用いて前記周波数領域毎の減衰係数を設定する減衰係数設定工程と、前記各分割音声スペクトルに前記対応する周波数領域の減衰係数を乗算することにより前記分割音声スペクトルの雑音成分を抑圧する雑音抑圧工程と、前記雑音成分が抑圧された分割音声スペクトルを周波数領域で連続した音声スペクトルに合成する周波数合成工程と、を具備する方法を採る。

本発明によれば、音声スペクトルを周波数領域単位で音声成分のある領域と音声成分のない領域に識別して、この識別情報から得られる精度の高いピッチ周期に基づいて雑音を抑圧して、音声の歪みが少なくかつノイズを十分に除去することができる。

本発明の骨子は、音声スペクトルを周波数領域単位で音声成分のある領域と音声成分のない領域に識別して、この識別情報から得られる精度の高いピッチ周期に基づいて音声情報のみを強調するコムフィルタを周波数領域で生成して雑音を抑圧することである。

（実施の形態１）
図１は、本発明の実施の形態１に係る音声処理装置の構成を示すブロック図である。図１において、音声処理装置は、時間分割部１０１と、窓掛け部１０２と、ＦＦＴ部１０３と、周波数分割部１０４と、ノイズベース推定部１０５と、音声非音声識別部１０６と、コムフィルタ生成部１０７と、減衰係数計算部１０８と、乗算部１０９と、周波数合成部１１０と、ＩＦＦＴ部１１１と、から主に構成される。

時間分割部１０１は、入力された音声信号から所定時間単位で区切られたフレームを構成し、窓掛け部１０２に出力する。窓掛け部１０２は、時間分割部１０１から出力されたフレームにハニングウインドウを利用したウインドウ処理を行ってＦＦＴ部１０３に出力する。ＦＦＴ部１０３は、窓掛け部１０２から出力された音声信号にＦＦＴ（Fast Fourier Transform）を行い、音声スペクトル信号を周波数分割部１０４に出力する。

周波数分割部１０４は、ＦＦＴ部１０３から出力された音声スペクトルを所定の周波数領域単位の周波数成分に分割して、各周波数成分毎に音声スペクトルをノイズベース推定部１０５と音声非音声識別部１０６と、乗算部１０９とに出力する。なお、周波数成分は、所定の周波数単位で分割された音声スペクトルを示すものである。

ノイズベース推定部１０５は、音声非音声識別部１０６からフレームに音声成分が含まれている判定結果が出力された場合、過去に推定したノイズベースを音声非音声識別部１０６に出力する。また、ノイズベース推定部１０５は、音声非音声識別部１０６からフレームに音声成分が含まれていない判定結果が出力された場合、周波数分割部１０４から出力された音声スペクトルの周波数成分毎の短時間パワースペクトルとスペクトルの変化の平均量を表す移動平均値を算出して、過去に算出した移動平均値とパワースペクトルの加重平均値をとり、新しい移動平均値を算出する。

具体的には、式（１）を用いて各周波数成分におけるノイズベースを推定して音声非音声識別部１０６に出力する。

ここで、ｎは処理を行うフレームを特定する番号、ｋは周波数成分を特定する番号、τは遅延時間を示す。また、Ｓ² _f(n,k)は、入力された音声信号のパワースペクトル、Ｐ_base(n,k)はノイズベースの移動平均値、α(k)は移動平均係数を示す。

音声非音声識別部１０６は、周波数分割部１０４から出力された音声スペクトル信号とノイズベース推定部１０５から出力されるノイズベースの値の差が所定の閾値以上である場合、音声成分を含む有音部分と判定し、それ以外の場合、音声成分を含まない雑音のみの無音部分であると判定する。そして、音声非音声識別部１０６は、判定結果をノイズベース推定部１０５とコムフィルタ生成部１０７に出力する。

コムフィルタ生成部１０７は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調するコムフィルタを生成して、このコムフィルタを減衰係数計算部１０８に出力する。具体的には、コムフィルタ生成部１０７は、コムフィルタの有音部分の周波数成分をオン、無音部分の周波数成分をオフにする。

減衰係数計算部１０８は、コムフィルタ生成部１０７において生成されたコムフィルタの値に基づき、またコムフィルタの値が無音部分を示す場合には周波数に応じて、各周波数成分毎に入力信号の減衰係数の設定を行い、各周波数成分の減衰係数を乗算部１０９に出力する。

例えば、以下の式（２）から減衰係数gain(k)を算出して入力信号に乗算することもできる。

ここでgcは定数、kはビンを特定する変数、HBは、ＦＦＴ変換長つまり高速フーリエ変換を行うデータ数である。

乗算部１０９は、周波数分割部１０４から出力された音声スペクトルに減衰係数計算部１０８から出力された減衰係数を周波数成分単位で乗算する。そして、乗算の結果得られたスペクトルを周波数合成部１１０に出力する。

周波数合成部１１０は、乗算部１０９から出力された周波数成分単位のスペクトルを所定の処理時間単位で周波数領域で連続する音声スペクトルに合成してＩＦＦＴ部１１１に出力する。ＩＦＦＴ部１１１は、周波数合成部１１０から出力された音声スペクトルにＩＦＦＴ（Inverse Fast Fourier Transform）を行って音声信号に変換した信号を出力する。

次に、上記構成を有する音声処理装置の動作について図２に示すフロー図を用いて説明する。図２において、ステップ（以下「ＳＴ」という）２０１では、入力信号に前処理を行う。この場合、前処理とは、入力信号から所定の時間単位のフレームを構成して窓かけ処理を行い、音声スペクトルに高速フーリエ変換を行うことである。

ＳＴ２０２では、周波数分割部１０４が音声スペクトルを周波数成分に分割する。ＳＴ２０３では、ノイズベース推定部１０５が、α(k)=0であるか否か、つまりノイズベース更新を停止するか否かを判断して、α(k)=0の場合、ＳＴ２０５に進み、α(k)=0でない場合、ＳＴ２０４に進む。

ＳＴ２０４では、ノイズベース推定部１０５が音声成分の含まれていない音声スペクトルからノイズベースを更新し、その後ＳＴ２０５に進む。ＳＴ２０５では、音声非音声識別部１０６が、Ｓ_f ²(n,k)＞Ｑ_up・Ｐ_base(n,k)であるか否か、つまり音声スペクトルのパワーがノイズベースに所定の閾値を乗算した値より大きいか否かを判断し、Ｓ_f ²(n,k)＞Ｑ_up・Ｐ_base(n,k)である場合、ＳＴ２０６に進み、Ｓ_f ²(n,k)＞Ｑ_up・Ｐ_base(n,k)でない場合、ＳＴ２０８に進む。

ＳＴ２０６では、音声非音声識別部１０６が、ノイズベース更新停止を示すα(k)=0を設定する。ＳＴ２０７では、コムフィルタ生成部１０７が、音声スペクトルを減衰せずに出力することを示すSP_SWITCH(k)=ＯＮを設定して、ＳＴ２１１に進む。ＳＴ２０８では、音声非音声識別部１０６が、Ｓ_f ²(n,k)＜Ｑ_down・Ｐ_base(n,k)であるか否か、つまり音声スペクトルのパワーがノイズベースに所定の閾値を乗算した値より小さいか否かを判断し、Ｓ_f ²(n,k)＜Ｑ_down・Ｐ_base(n,k)である場合、ＳＴ２０９に進み、Ｓ_f ²(n,k)＜Ｑ_down・Ｐ_base(n,k)でない場合、ＳＴ２１１に進む。

ＳＴ２０９では、音声非音声識別部１０６が、ノイズベース更新を示すα(k)=SLOWを設定する。ここで、SLOWは所定の定数である。ＳＴ２１０では、コムフィルタ生成部１０７が音声スペクトルを減衰して出力することを示すSP_SWITCH(k)=ＯＦＦを設定して、ＳＴ２１１に進む。

ＳＴ２１１では、減衰係数計算部１０８が、音声スペクトルを減衰しないか減衰か、つまりSP_SWITCH(k)=ＯＮであるか否かを判断する。ＳＴ２１１においてSP_SWITCH(k)=ＯＮである場合、ＳＴ２１２では、減衰係数計算部１０８が減衰係数を１に設定し、ＳＴ２１４に進む。ＳＴ２１１においてSP_SWITCH(k)=ＯＮでない場合、ＳＴ２１３では、減衰係数計算部１０８が周波数に応じた減衰係数を計算して設定し、ＳＴ２１４に進む。

ＳＴ２１４では、乗算部１０９が周波数分割部１０４から出力された音声スペクトルに減衰係数計算部１０８から出力された減衰係数を周波数成分単位で乗算する。ＳＴ２１５では、周波数合成部１１０が乗算部１０９から出力された周波数成分単位のスペクトルを所定の処理時間単位で周波数領域で連続する音声スペクトルに合成する。ＳＴ２１６では、IＦＦＴ部１１１が、周波数合成部１１０から出力された音声スペクトルにＩＦＦＴを行って雑音を抑圧した信号を出力する。

次に、本実施の形態の音声処理装置で用いるコムフィルタについて説明する。図３は、本実施の形態にかかる音声処理装置で作成されるコムフィルタの例を示す図である。図３において、縦軸はスペクトルのパワ及び、フィルタの減衰度を示し、横軸は周波数を示す。

コムフィルタは、Ｓ１に示す減衰特性を持ち、減衰特性は、周波数成分毎に設定される。コムフィルタ生成部１０７は、音声成分を含まない周波数領域の信号を減衰し、音声信号を含む周波数領域の信号を減衰しない減衰特性のコムフィルタを作成する。

雑音成分を含む音声スペクトルＳ２は、Ｓ１の減衰特性を持つコムフィルタをかけることにより、雑音成分を含む周波数領域の信号が減衰されてパワが小さくなり、音声信号を含む部分は減衰されずパワが変化しない。得られた音声スペクトルは、雑音成分の周波数領域がより低くなりピークが失われずに強調されたスペクトル形状となり、ピッチ調波情報が失われない雑音を抑圧した音声スペクトルＳ３が出力される。

このように、本発明の実施の形態１に係る音声処理装置によれば、周波数成分単位でスペクトル信号の音声非音声を判別して、周波数成分単位で判別結果に基づいた周波数特性の減衰を行うことにより、正確なピッチ情報を得ることができるので、大きな減衰で雑音抑圧を行っても音声歪の少ない音声強調を行うことができる。

また、音声識別において２つの閾値を設けることにより、精度の高い音声非音声を判別することができる。

なお、減衰係数計算部１０８において、雑音の周波数特性に応じた減衰係数の計算を行うことにより、高い周波数にある子音を損なわずに音声強調を行うこともできる。

また、各周波数成分において入力信号の減衰を二値で行い、音声と判別する場合、減衰を行わず、雑音と判別する場合、減衰を行うこともできる。この場合、強い雑音抑圧を行っても音声のある周波数成分は減衰されないので音声の歪の少ない音声強調を行うことができる。

（実施の形態２）
図４は、実施の形態２にかかる音声処理装置の構成の例を示すブロック図である。但し、図１と共通する構成については図１と同一番号を付し、詳しい説明を省略する。

図４の音声処理装置は、ノイズ区間判別部４０１とノイズベース追跡部４０２と、を具備してフレーム単位で信号の音声非音声判別を行い、ノイズレベルの急激な変化を検出して、速やかにノイズベースを推定して更新する点が図１と異なる。

図４において、ＦＦＴ部１０３は、窓掛け部１０２から出力された音声信号にＦＦＴ（Fast Fourier Transform）を行い、音声スペクトルを周波数分割部１０４とノイズ区間判別部４０１に出力する。

ノイズ区間判別部４０１は、ＦＦＴ部１０３から出力された音声スペクトルからフレーム単位で信号のパワーと移動平均値を算出して、入力信号のパワーの変化率からフレームが音声を含むか否か判別する。

具体的には、ノイズ区間判別部４０１は、以下の式（３）及び式（４）を用いて入力信号のパワーの変化率を算出する。

ここで、P(n)は、１フレームの信号パワー、S² _f(n,k)は、入力信号パワースペクトル、Ratioは、過去に処理を行ったフレームと処理を行うフレームの信号パワー比、τは遅延時間である。

ノイズ区間判別部４０１は、Ratioがあらかじめ設定した閾値を一定時間連続して超えた場合、入力信号を音声信号と判断し、連続して超えない場合をノイズ区間と判断する。

ノイズベース追跡部４０２は、音声区間からノイズ区間に移ったと判断した場合、所定のフレーム数の処理を行う間、ノイズベースの更新における処理フレームからノイズベースの推定する影響の度合いを大きくする。

具体的には式（１）においてα(k)=FAST、（０＜SLOW＜FAST＜１）に設定する。α(k)の値が大きいほど、移動平均値が入力された音声信号の影響を受けやすくなり、ノイズベースの急激な変化に対応することができる。

ノイズベース推定部１０５は、音声非音声識別部１０６又はノイズベース追跡部４０２からフレームに音声成分が含まれていない判定結果が出力された場合、周波数分割部１０４から出力された音声スペクトルの周波数成分毎の短時間パワースペクトルとスペクトルの変化の平均量を表す移動平均値を算出して、これらの値から各周波数成分におけるノイズベースを推定して音声非音声識別部１０６に出力する。

このように、本発明の実施の形態２に係る音声処理装置によれば、入力された信号から推定した雑音スペクトルの値を大きく反映させてノイズベースの更新を行うことにより、ノイズレベルの急激な変化に対応したノイズベースの更新を行うことができ、音声歪の少ない音声強調を行うことができる。

（実施の形態３）
図５は、実施の形態３にかかる音声処理装置の構成の例を示すブロック図である。但し、図１と共通する構成については図１と同一番号を付し、詳しい説明を省略する。

図５の音声処理装置は、ミュジカルノイズ抑制部５０１とコムフィルタ修正部５０２を具備してフレームに突発性ノイズが含まれる場合に、生成されたコムフィルタを修正して突発性ノイズに起因するミュジカルノイズの発生を抑圧する点が、図１と異なる。

図５において、コムフィルタ生成部１０７は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調するコムフィルタを生成してミュジカルノイズ抑制部５０１、及びコムフィルタ修正部５０２に出力する。

ミュジカルノイズ抑制部５０１は、コムフィルタ生成部１０７から出力されたコムフィルタの各周波数成分の状態の中でオン、つまり信号を減衰せずに出力する状態の数が一定の閾値以下である場合、フレームに突発性ノイズが含まれていると判断し、判断結果をコムフィルタ修正部５０２に出力する。

例えば、以下の式（５）を用いてコムフィルタCOMB_ON(n,k)でオンになっている周波数成分ｋの数を計算し、COMB_SUM(n)がある閾値（例えば１０)より小さい場合、ミュジカルノイズが発生していると判断する。

コムフィルタ修正部５０２は、ミュジカルノイズ抑制部５０１からフレームに突発性ノイズが含まれるコムフィルタ生成部１０７から出力されたコムフィルタの生成結果に基づいてコムフィルタにミュジカルノイズの発生を防ぐ修正を行い、減衰係数計算部１０８にコムフィルタを出力する。

具体的には、コムフィルタのすべての周波数成分の状態をオフつまり信号を減衰して出力する状態に設定してコムフィルタを減衰係数計算部１０８に出力する。

減衰係数計算部１０８は、コムフィルタ修正部５０２から出力されたコムフィルタに周波数特性に基づいた減衰係数を乗算して、各周波数成分毎に入力信号の減衰係数の設定を行い、各周波数成分の減衰係数を乗算部１０９に出力する。

このように、本発明の実施の形態３に係る音声処理装置によれば、コムフィルタの生成結果からミュジカルノイズ発生を判断することにより、ノイズが音声信号と誤判断されることを防ぎ、音声歪の少ない音声強調を行うことができる。

なお、実施の形態３は、実施の形態２と組み合わせることができる。すなわち、図５の音声処理装置にノイズ区間判別部４０１及びノイズベース追跡部４０２を追加することにより実施の形態２の効果も得ることができる。

（実施の形態４）
図６は、実施の形態４にかかる音声処理装置の構成の例を示すブロック図である。但し、図１と共通する構成については図１と同一番号を付し、詳しい説明を省略する。図６の音声処理装置は、平均値計算部６０１を具備し、周波数成分単位で音声スペクトルのパワの平均値を求める点が、図１と異なる。

図６において、周波数分割部１０４は、ＦＦＴ部１０３から出力された音声スペクトルを所定の周波数単位で分割された音声スペクトルを示す周波数成分に分割して、各周波数成分毎に音声スペクトルを音声非音声識別部１０６と、乗算部１０９と、平均値計算部６０１に出力する。

平均値計算部６０１は、周波数分割部１０４から出力された音声スペクトルのパワについて、近辺の周波数成分との平均値及び過去に処理したフレームとの平均値をとり、得られた平均値をノイズベース推定部１０５と音声非音声識別部１０６に出力する。

具体的には、以下に示す式（６）を用いて音声スペクトルの平均値を算出する。

ここで、k1、k2は周波数成分を示し、k1＜ｋ＜k2である。n1は過去に処理を行ったフレームを示す番号、ｎは処理を行うフレームを示す番号を示す。

ノイズベース推定部１０５は、音声非音声識別部１０６からフレームに音声成分が含まれていない判定結果が出力された場合、平均値計算部６０１から出力された音声スペクトルの平均値の周波数成分毎に短時間パワースペクトルとスペクトルの変化の平均量を表す移動平均値を算出して、各周波数成分におけるノイズベースを推定して音声非音声識別部１０６に出力する。

音声非音声識別部１０６は、平均値計算部６０１から出力された音声スペクトル信号の平均値とノイズベース推定部１０５から出力されるノイズベースの値の差が所定の閾値以上である場合、音声成分を含む有音部分と判定し、この差が所定の閾値より小さい場合、音声成分を含まない雑音のみの無音部分であると判定して、判定結果をノイズベース推定部１０５とコムフィルタ生成部１０７に出力する。

このように、本発明の実施の形態４に係る音声処理装置によれば、各周波数成分における音声スペクトルのパワ平均値又は過去に処理を行ったフレームと処理を行うフレームのパワ平均値を求めることにより、突発性雑音成分の影響は小さくなり、より正確なコムフィルタを構成することができる。

なお、実施の形態４は、実施の形態２あるいは実施の形態３と組み合わせることができる。すなわち、図５の音声処理装置にノイズ区間判別部４０１及びノイズベース追跡部４０２を追加することにより実施の形態２の効果も得ることができ、図６の音声処理装置にミュジカルノイズ抑制部５０１及びコムフィルタ修正部５０２を追加することにより実施の形態３の効果も得ることができる。

（実施の形態５）
図７は、実施の形態５にかかる音声処理装置の構成の例を示すブロック図である。但し、図１と共通する構成については図１と同一番号を付し、詳しい説明を省略する。

図７の音声処理装置は、区間判別部７０１とコムフィルタリセット部７０２を具備し、音声成分を含まないフレームに対して全周波数成分で減衰を行うコムフィルタを生成する点が、図１と異なる。

図７において、ＦＦＴ部１０３は、窓掛け部１０２から出力された音声信号にＦＦＴを行い、音声スペクトル信号を周波数分割部１０４と区間判別部７０１に出力する。

区間判別部７０１は、ＦＦＴ部１０３から出力された音声スペクトルが音声を含むか否か判断して判断結果をコムフィルタリセット部７０２に出力する。

コムフィルタリセット部７０２は、区間判別部７０１から出力された判断結果に基づいて、音声スペクトルが音声成分を含まないノイズ成分のみと判断された場合、コムフィルタ生成部１０７にすべての周波数成分のコムフィルタをオフにする指示を出力する。

コムフィルタ生成部１０７は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調するコムフィルタを生成して減衰係数計算部１０８に出力する。また、コムフィルタ生成部１０７は、コムフィルタリセット部７０２の指示に従い音声スペクトルが音声成分を含まないノイズ成分のみと判断された場合に、すべての周波数成分でオフにしたコムフィルタを生成して減衰係数計算部１０８に出力する。

このように、本発明の実施の形態５に係る音声処理装置によれば、音声成分を含まないフレームに全周波数成分で減衰を行い、音声を含まない信号区間でノイズを全帯域でカットすることにより、音声抑圧処理に起因するノイズの発生を防ぐことができるので、音声歪の少ない音声強調を行うことができる。

なお、実施の形態５は、実施の形態２あるいは実施の形態３と組み合わせることができる。

すなわち、図７の音声処理装置にノイズ区間判別部４０１及びノイズベース追跡部４０２を追加することにより実施の形態２の効果も得ることができ、図７の音声処理装置にミュジカルノイズ抑制部５０１及びコムフィルタ修正部５０２を追加することにより実施の形態３の効果も得ることができる。

また、実施の形態５は、実施の形態４と組み合わせることができる。すなわち、図７の音声処理装置に平均値計算部６０１を追加することにより実施の形態４の効果も得ることができる。

この場合、周波数分割部１０４は、ＦＦＴ部１０３から出力された音声スペクトルを所定の周波数単位で分割された音声スペクトルを示す周波数成分に分割して、各周波数成分毎に音声スペクトルを音声非音声識別部１０６と、乗算部１０９と、平均値計算部６０１に出力する。

（実施の形態６）
図８は、実施の形態６にかかる音声処理装置の構成の例を示すブロック図である。但し、図１と共通する構成については図１と同一番号を付し、詳しい説明を省略する。

図８の音声処理装置は、音声ピッチ周期推定部８０１と音声ピッチ修復部８０２を具備し、音声とノイズの判定が難しい周波数領域でノイズと判断されて失われるピッチ調波情報を補う点が、図１と異なる。

図８において、周波数分割部１０４は、ＦＦＴ部１０３から出力された音声スペクトルを所定の周波数単位で分割された音声スペクトルを示す周波数成分に分割して、各周波数成分毎に音声スペクトルをノイズベース推定部１０５と音声非音声識別部１０６と、乗算部１０９と、音声ピッチ周期推定部８０１と、音声ピッチ修復部８０２に出力する。

コムフィルタ生成部１０７は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調するコムフィルタを生成して音声ピッチ周期推定部８０１、及び音声ピッチ修復部８０２に出力する。

音声ピッチ周期推定部８０１は、コムフィルタ生成部１０７から出力されたコムフィルタと周波数分割部１０４から出力された音声スペクトルからピッチ周期を推定し、推定結果を音声ピッチ修復部８０２に出力する。

例えば、生成されたコムフィルタの中でオンの状態が連続せずに一つの周波数成分をオフにする。次に、コムフィルタの中でパワーの大きい周波数成分を二本抽出したピッチ周期推定用コムフィルタを生成して、以下に示す自己相関関数の式（７）からピッチ周期を求める。

ここで、PITCH(k)は、ピッチ周期推定用コムフィルタの状態を表し、k1は周波数の上限、τはピッチの周期を表し、τは、０からピッチの最大周期であるτ１までの値をとる。

式（７）のγ（τ）が最大値をとるτをピッチ周期として求める。実際には、高周波数領域において周波数ピッチの形状は、不明確になりやすいのでk1に中間の周波数の値を用いる。例えば、k1=2kHzと設定する。また、PITCH(k)の取りうる値を０と１にすることにより式（７）の計算を簡単に行うこともできる。

音声ピッチ修復部８０２は、音声ピッチ周期推定部８０１から出力された推定結果に基づいてコムフィルタの修正を行い、減衰係数計算部１０８に出力する。具体的には、推定されたピッチ周期情報に基づいて一定の周波数成分毎にピッチを補う、又はピッチ周期毎に存在するコムフィルタがオンになった周波数成分の連続である櫛状の帯域の幅を広げるなどの処理を行い、ピッチ調波構造の修復を行う。

減衰係数計算部１０８は、音声ピッチ修復部８０２から出力されたコムフィルタに周波数特性に基づいた減衰係数を乗算して、各周波数成分毎に入力信号の減衰係数の設定を行い、各周波数成分の減衰係数を乗算部１０９に出力する。

図９に、本実施の形態にかかる音声処理装置におけるコムフィルタの修復の例を示す。図９において、縦軸は減衰度を示し、横軸は、周波数成分を示す。具体的には、横軸には、２５６の周波数成分があり、0kHzから4kHzの領域を示す。

Ｃ１は生成されたコムフィルタを、Ｃ２はコムフィルタＣ１にピッチの修復を行ったコムフィルタを、Ｃ３は、コムフィルタＣ２にピッチの幅を修正したコムフィルタを示す。

コムフィルタＣ１は、１００から１４０までの周波数成分でピッチ情報が失われている。音声ピッチ修復部８０２は、音声ピッチ周期推定部８０１において推定されたピッチ周期情報に基づいてコムフィルタＣ１の１００から１４０までの周波数成分にあるピッチ情報を補う。これによりコムフィルタＣ２が得られる。

次に、音声ピッチ修復部８０２は、周波数分割部１０４から出力された音声スペクトルに基づいてコムフィルタＣ２のピッチ調波の幅を修正する。これによりコムフィルタＣ３が得られる。

このように、本発明の実施の形態６に係る音声処理装置によれば、ピッチ周期情報を推定して、ノイズと判別されて失われたピッチ調波情報を補うことにより、原音声に近い音声の状態で、かつ音声歪の少ない音声強調を行うことができる。

なお、実施の形態６は、実施の形態２あるいは実施の形態５と組み合わせることができる。

すなわち、図８の音声処理装置にノイズ区間判別部４０１及びノイズベース追跡部４０２を追加することにより実施の形態２の効果も得ることができ、図８の音声処理装置に区間判別部７０１及び、コムフィルタリセット部７０２を追加することにより実施の形態５の効果も得ることができる。

また、実施の形態６は、実施の形態３と組み合わせることができる。すなわち、図８の音声処理装置にミュジカルノイズ抑制部５０１及びコムフィルタ修正部５０２を追加することにより実施の形態３の効果も得ることができる。

この場合、ミュジカルノイズ抑制部５０１は、コムフィルタ生成部１０７から出力されたコムフィルタの各周波数成分の中でオン、つまり信号を減衰せずに出力する状態の数が一定の閾値以下である場合、フレームに突発性ノイズが含まれていると判断し、判断結果を音声ピッチ周期推定部８０１に出力する。

コムフィルタ修正部５０２は、音声ピッチ修復部８０２からフレームに突発性ノイズが含まれるコムフィルタ生成部１０７から出力されたコムフィルタの生成結果に基づいてコムフィルタにミュジカルノイズの発生を防ぐ修正を行い、減衰係数計算部１０８にコムフィルタを出力する。

また、実施の形態６は、実施の形態４と組み合わせることができる。すなわち、図８の音声処理装置に平均値計算部６０１を追加することにより実施の形態４の効果も得ることができる。

（実施の形態７）
図１０は、実施の形態７にかかる音声処理装置の構成の例を示すブロック図である。但し、図１及び図４と共通する構成については図１及び図４と同一番号を付し、詳しい説明を省略する。図１０の音声処理装置は、閾値自動調整部１００１を具備し、ノイズの種類に応じて音声識別の閾値を調整する点が、図１又は図４と異なる。

図１０において、コムフィルタ生成部１０７は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調するコムフィルタを生成して閾値自動調整部１００１に出力する。

ノイズ区間判別部４０１は、ＦＦＴ部１０３から出力された音声スペクトルからフレーム単位で信号のパワーと移動平均値を算出して、入力信号のパワーの変化率からフレームが音声を含むか否か判別し、判別結果を閾値自動調整部１００１に出力する。

閾値自動調整部１００１は、ノイズ区間判別部４０１から出力された判別結果からフレームに音声信号が含まれていない場合、コムフィルタ生成部１０７から出力されたコムフィルタに基づいて音声非音声識別部１０６の閾値を変更する。

具体的には、以下の式（８）を用いて生成されたコムフィルタCOMB_ON(n,k)のオンの状態である周波数成分kの数の総和COMB_SUMを算出する。

この総和が所定の上限値より大きくなった場合、音声非音声識別部１０６の閾値を大きくする指示を、この総和が所定の下限値より小さくなった場合、音声非音声識別部１０６の閾値を小さくする指示を音声非音声識別部１０６に出力する。

ここで、ｎ１は、過去に処理を行ったフレームを特定する番号であり、ｎ２は処理を行うフレームを特定する番号である。

例えば、フレームに振幅のばらつきの小さいノイズが含まれる場合、音声非音声識別の閾値を低く設定し、フレームに振幅のばらつきの大きいノイズが含まれる場合、音声非音声識別の閾値を高く設定する。

このように、本発明の実施の形態に係る音声処理装置によれば、音声を含まないフレームの中で音声が含まれると誤って判断される周波数成分の数に基づいて、音声スペクトルの音声非音声識別に用いる閾値の変更を行うことにより、ノイズの種類に対応した音声の判別を行い、音声歪の少ない音声強調を行うことができる。

なお、実施の形態７は、実施の形態２あるいは実施の形態３と組み合わせることができる。

すなわち、図１０の音声処理装置にノイズ区間判別部４０１及びノイズベース追跡部４０２を追加することにより実施の形態２の効果も得ることができ、図１０の音声処理装置にミュジカルノイズ抑制部５０１及びコムフィルタ修正部５０２を追加することにより実施の形態３の効果も得ることができる。

また、実施の形態７は、実施の形態４と組み合わせることができる。すなわち、図１０の音声処理装置に平均値計算部６０１を追加することにより実施の形態４の効果も得ることができる。

また、実施の形態７は、実施の形態５あるいは実施の形態６と組み合わせることができる。すなわち、図１０の音声処理装置に区間判別部７０１及び、コムフィルタリセット部７０２を追加することにより実施の形態５の効果も得ることができ、図１０の音声処理装置に音声ピッチ周期推定部８０１及び音声ピッチ修復部８０２を追加することにより実施の形態６の効果も得ることができる。

（実施の形態８）
図１１は、実施の形態８にかかる音声処理装置の構成の例を示すブロック図である。但し、図１と共通する構成については図１と同一番号を付し、詳しい説明を省略する。

図１１の音声処理装置は、ノイズベース推定部１１０１と、第一音声非音声識別部１１０２と、第二音声非音声識別部１１０３と、音声ピッチ推定部１１０４と、第一コムフィルタ生成部１１０５と、第二コムフィルタ生成部１１０６と、音声ピッチ修復部１１０７と、コムフィルタ修正部１１０８と、音声分離係数計算部１１０９とを具備し、コムフィルタ作成に用いるノイズベースと、ピッチ調波構造の修復に用いるノイズベースをそれぞれ異なる条件で生成する点が、図１の音声処理装置と異なる。

図１１において、周波数分割部１０４は、ＦＦＴ部１０３から出力された音声スペクトルを周波数成分に分割して、各周波数成分毎に音声スペクトルをノイズベース推定部１１０１、第一音声非音声識別部１１０２、第二音声非音声識別部１１０３、及び音声ピッチ推定部１１０４に出力する。

ノイズベース推定部１１０１は、第一音声非音声識別部１１０２からフレームに音声成分が含まれている判定結果が出力された場合、過去に推定したノイズベースを第一音声非音声識別部１１０２に出力する。また、ノイズベース推定部１１０１は、第二音声非音声識別部１１０３からフレームに音声成分が含まれている判定結果が出力された場合、過去に推定したノイズベースを第二音声非音声識別部１１０３に出力する。

また、ノイズベース推定部１１０１は、第一音声非音声識別部１１０２または第二音声非音声識別部１１０３からフレームに音声成分が含まれていない判定結果が出力された場合、周波数分割部１０４から出力された音声スペクトルの周波数成分毎の短時間パワースペクトルとスペクトルの変化の平均量を表す移動平均値を算出して、過去に算出した移動平均値とパワースペクトルの加重平均値をとり、新しい移動平均値を算出する。

具体的には、ノイズベース推定部１１０１は、式（９）または式（１０）を用いて各周波数成分におけるノイズベースを推定して第一音声非音声識別部１１０２または第二音声非音声識別部１１０３に出力する。

ここで、ｎは処理を行うフレームを特定する番号、ｋは周波数成分を特定する番号、τは遅延時間を示す。また、Ｓ² _f(n,k)は、入力された音声信号のパワースペクトル、Ｐ_base(n,k)はノイズベースの移動平均値、αは移動平均係数を示す。

第一音声非音声識別部１１０２または第二音声非音声識別部１１０３からフレームに音声成分が含まれていない判定結果が出力された場合、ノイズベース推定部１１０１は、式（９）より得られたノイズベースを出力する。また、第一音声非音声識別部１１０２または第二音声非音声識別部１１０３からフレームに音声成分が含まれている判定結果が出力された場合、ノイズベース推定部１１０１は、式（１０）より得られたノイズベースを出力する。

第一音声非音声識別部１１０２は、周波数分割部１０４から出力された音声スペクトル信号とノイズベース推定部１１０１から出力されるノイズベースの値の差が所定の第一閾値以上である場合、音声成分を含む有音部分と判定し、それ以外の場合、音声成分を含まない雑音のみの無音部分であると判定する。

第一音声非音声識別部１１０２では、第一コムフィルタ生成部１１０５がピッチ調波情報を出来る限り多く抽出するフィルタを生成するために、第一閾値を後述する第二音声非音声識別部１１０３が用いる第二閾値より低い値に設定する。そして、第一音声非音声識別部１１０２は、判定結果を第一コムフィルタ生成部１１０５に出力する。

第二音声非音声識別部１１０３は、周波数分割部１０４から出力された音声スペクトル信号とノイズベース推定部１１０１から出力されるノイズベースの値の差が所定の第二閾値以上である場合、音声成分を含む有音部分と判定し、それ以外の場合、音声成分を含まない雑音のみの無音部分であると判定する。そして、第二音声非音声識別部１１０３は、判定結果を第二コムフィルタ生成部１１０６に出力する。

第一コムフィルタ生成部１１０５は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調する第一コムフィルタを生成してコムフィルタ修正部１１０８に出力する。

具体的には、第一音声非音声識別部１１０２において、入力された音声信号のパワースペクトルが、音声とノイズを判別する第一閾値θ _lowと、入力された音声信号のパワースペクトルとの乗算結果以上である場合、すなわち、式（１１）を満たす場合、第一コムフィルタ生成部１１０５は、当該周波数成分のフィルタの値を「１」とする。

また、第一音声非音声識別部１１０２において、入力された音声信号のパワースペクトルが、音声とノイズを判別する第一閾値θ _lowと、入力された音声信号のパワースペクトルとの乗算結果より小さい場合、すなわち、式（１２）を満たす場合、第一コムフィルタ生成部１１０５は、当該周波数成分のコムフィルタの値を「０」とする。

ここで、ｋは、周波数成分を特定する番号であり、以下に示す式（１３）の値を満たす。ＨＢは、音声信号に高速フーリエ変換を行う場合のデータ点数を示す。

第二コムフィルタ生成部１１０６は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調する第二コムフィルタを生成して音声ピッチ修復部１１０７に出力する。

具体的には、第二音声非音声識別部１１０３において、入力された音声信号のパワースペクトルが、音声とノイズを判別する第二閾値θ _highと、入力された音声信号のパワースペクトルとの乗算結果以上である場合、すなわち、式（１１−２）を満たす場合、第二コムフィルタ生成部１１０６は、当該周波数成分のフィルタの値を「１」とする。

また、第二音声非音声識別部１１０３において、入力された音声信号のパワースペクトルが、音声とノイズを判別する第二閾値θ _highと、入力された音声信号のパワースペクトルとの乗算結果より小さい場合、すなわち、式（１２−２）を満たす場合、第二コムフィルタ生成部１１０６は、当該周波数成分のフィルタの値を「０」とする。

音声ピッチ推定部１１０４は、周波数分割部１０４から出力された音声スペクトルからピッチ周期を推定し、推定結果を音声ピッチ修復部１１０７に出力する。

例えば、音声ピッチ推定部１１０４は、生成されたコムフィルタの通過域における音声スペクトルパワに以下に示す自己相関関数の式（１４）を用いてピッチ周期を求める。

ここで、ＣＯＭＢ_low(k)は、第一コムフィルタ生成部１１０５において生成された第一コムフィルタを示す。ｋ１は、周波数の上限値を示す。また、τは、ピッチの周期を示し、「０」からピッチの最大周期までの値をとる。

そして、音声ピッチ推定部１１０４は、γ（τ）が、最大値をとるτを音声ピッチ周期として求める。実際の処理では、高周波数領域においてピッチ調波の形状は不明確になることが多いので、ｋ１に中間の周波数の値を用い、音声信号の周波数領域のうち、低周波数側半分についてピッチ周期の推定を行う。例えば、音声ピッチ推定部１１０４は、ｋ１＝２ｋＨｚに設定して音声ピッチ周期の推定を行う。

音声ピッチ修復部１１０７は、音声ピッチ推定部１１０４から出力された推定結果に基づいて第二コムフィルタの修正を行い、コムフィルタ修正部１１０８に出力する。

以下、図を用いて音声ピッチ修復部１１０７の具体的な動作について説明する。図１２、図１３、図１４、及び図１５は、コムフィルタの一例を示す図である。

音声ピッチ修復部１１０７は、第二コムフィルタの通過領域のピークを抽出し、ピッチ基準コムフィルタを生成する。図１２のコムフィルタは、第二コムフィルタ生成部１１０６において生成された第二コムフィルタの一例である。また、図１３のコムフィルタは、ピッチ基準コムフィルタの一例である。図１３のコムフィルタでは、図１２のコムフィルタからピークの情報のみを抽出し、通過領域の幅の情報がなくなっている。

そして、音声ピッチ修復部１１０７は、ピッチ基準コムフィルタのピークとピークの間隔を算出し、ピークとピークの間隔が、所定の閾値を超えた場合、音声ピッチ推定部１１０４のピッチの推定結果から欠落したピッチの挿入を行い、ピッチ挿入コムフィルタを生成する。図１４のコムフィルタは、ピッチ挿入コムフィルタの一例である。図１４のコムフィルタでは、周波数成分番号５０から１００付近及び２００から２５０にピークが挿入されている。

そして、音声ピッチ修復部１１０７は、ピッチの値に応じてピッチ挿入コムフィルタの通過領域のピークの幅を広げてピッチ修復コムフィルタを生成し、コムフィルタ修正部１１０８に出力する。図１５のコムフィルタは、ピッチ修復コムフィルタの一例である。図１５のコムフィルタでは、図１４のピッチ挿入コムフィルタに通過領域の幅の情報が付加されている。

コムフィルタ修正部１１０８は、音声ピッチ修復部１１０７において生成されたピッチ修復コムフィルタを用いて第一コムフィルタ生成部１１０５において生成された第一コムフィルタを修正し、修正したコムフィルタを音声分離係数計算部１１０９に出力する。

具体的には、コムフィルタ修正部１１０８は、ピッチ修復コムフィルタと第一コムフィルタの通過領域を比較して両方のコムフィルタにおいて通過領域となっている部分を通過領域とし、この通過領域以外を、信号を減衰する阻止領域としてコムフィルタを生成する。

以下、コムフィルタ修正の一例を示す。図１６、図１７、及び図１８は、コムフィルタの一例を示す図である。図１６のコムフィルタは、第一コムフィルタ生成部１１０５において生成された第一コムフィルタである。また、図１７のコムフィルタは、音声ピッチ修復部１１０７において生成されたピッチ修復コムフィルタである。図１８は、コムフィルタ修正部１１０８において修正されたコムフィルタの一例である。

音声分離係数計算部１１０９は、コムフィルタ修正部１１０８において修正されたコムフィルタの値に基づき、またその値が阻止領域を示す場合は周波数に応じて、各周波数成分毎に入力信号の分離係数を算出して乗算部１０９に出力する。

例えば、音声分離係数計算部１１０９は、ある周波数成分を特定する番号ｋにおいて、コムフィルタ修正部１１０８において修正されたコムフィルタCOMB_res(k)の値が１、すなわち通過領域である場合、分離係数seps（ｋ）を１とする。また、音声分離係数計算部１１０９は、コムフィルタCOMB_res(k)の値が０、すなわち阻止領域である場合、以下の式（１５）から分離係数seps(k)を算出する。

ここで、gcは定数、ｋは周波数成分を特定する番号、HBは、ＦＦＴ変換長つまり高速フーリエ変換を行うデータ数を示す。

乗算部１０９は、周波数分割部１０４から出力された音声スペクトルに音声分離係数計算部１１０９から出力された分離係数を周波数成分単位で乗算する。そして、乗算の結果得られたスペクトルを周波数合成部１１０に出力する。

このように、本実施の形態の音声処理装置によれば、コムフィルタ作成に用いるノイズベースと、ピッチ調波構造修復に用いるノイズベースをそれぞれ異なる条件で生成することにより、音声情報を多く抽出し、かつ雑音情報の影響を受け難いコムフィルタを生成して正確なピッチ調波構造の修復を行うことができる。

具体的には、本実施の音声処理装置によれば、音声と判断する条件を厳しくした第二コムフィルタを基準にしたピッチ周期の推定結果を反映させて欠落したと推測されるピッチを挿入してコムフィルタのピッチ調波構造を修復することにより、ピッチ調波の欠落による音声歪を減少することができる。

また、本実施の形態の音声処理装置によれば、コムフィルタのピッチ幅をピッチ周期の推定結果から調整することにより正確にピッチ調波構造を修復することができる。音声と厳しく判断して作成したコムフィルタのピッチ調波構造を修復したコムフィルタの通過領域と音声と緩く判断して作成したコムフィルタの通過領域の重複部分を通過領域とし、この重複する通過領域以外を阻止領域とするコムフィルタを作成することにより、ピッチ周期の推定の誤差による影響を低減することができ、正確なピッチ調波構造の修復ができる。

なお、本実施の形態の音声処理装置は、コムフィルタの阻止領域の音声分離係数を、音声スペクトルに分離係数を乗算して算出し、コムフィルタの通過領域の音声分離係数を、音声スペクトルからノイズベースを減算して算出することもできる。

例えば、音声分離係数計算部１１０９は、コムフィルタCOMB_res(k)の値が０、すなわち阻止領域である場合、以下の式（１６）から分散係数seps(k)を算出する。

ここで、P_max（n）は、所定の範囲の周波数成分ｋでのP_base(n、ｋ)の最大値を示す。式（１６）では、フレーム毎にノイズベース推定値の正規化を行い、その逆数を用いて分離係数とする。

そして、コムフィルタCOMB_res(k)の値が１、すなわち通過領域である場合、以下の式（１７）から分離係数seps(k)を算出する。

ここで、γは、ノイズベースを差し引く量を示す係数である。

このように、本実施の形態の音声処理装置は、ピッチ修正を行ったコムフィルタの阻止領域にノイズベースの情報から算出した分離係数を乗算することにより、異なるノイズ特性に対しても最適な分離係数を算出することができ、ノイズ特性に対応した音声強調を行うことができる。また、本実施の形態の音声処理装置は、ピッチ修正を行ったコムフィルタの通過領域に音声スペクトルからノイズベースを減算して算出した分離係数を乗算することにより、音声歪みの少ない音声強調を行うことができる。

また、本実施の形態は、実施の形態２と組み合わせることもできる。すなわち、図１１の音声処理装置にノイズ区間判別部４０１及びノイズベース追跡部４０２を追加することにより実施の形態２の効果も得ることができる。

（実施の形態９）
図１９は、実施の形態９にかかる音声処理装置の構成の例を示すブロック図である。但し、図１及び図１１と共通する構成については図１及び図１１と同一番号を付し、詳しい説明を省略する。

図１９の音声処理装置は、ＳＮＲ計算部１９０１と、音声雑音フレーム検出部１９０２とを具備し、音声信号のＳＮＲ（Signal Noise Ratio）を計算し、ＳＮＲからフレーム単位で音声信号から音声フレームまたは雑音フレームを区別して検出し、音声フレームのみピッチ周期の推定を行う点が、図１又は図１１と異なる。

図１９において、周波数分割部１０４は、ＦＦＴ部１０３から出力された音声スペクトルを周波数成分に分割して、各周波数成分毎に音声スペクトルをノイズベース推定部１０５と、第一音声非音声識別部１１０２と、第二音声非音声識別部１１０３と、乗算部１０９と、ＳＮＲ計算部１９０１に出力する。

第一コムフィルタ生成部１１０５は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調する第一コムフィルタを生成してコムフィルタ修正部１１０８とＳＮＲ計算部１９０１に出力する。

ＳＮＲ計算部１９０１は、周波数分割部１０４から出力された音声スペクトルと第一コムフィルタ生成部１１０５から出力された第一コムフィルタから音声信号のＳＮＲを計算して音声雑音フレーム検出部１９０２に出力する。例えば、ＳＮＲ計算部１９０１は、以下の式（１８）を用いてＳＮＲを計算する。

ここで、ＣＯＭＢ＿ｌｏｗ（ｋ）は、第一コムフィルタを示す。また、ｋは周波数成分を示し、０以上かつ音声信号に高速フーリエ変換を行う場合のデータ点数の半数より小さい値をとる。

音声雑音フレーム検出部１９０２は、ＳＮＲ計算部１９０１から出力されたＳＮＲからフレーム単位で入力信号が音声信号か雑音信号かを判断し、判断結果を音声ピッチ推定部１９０３に出力する。具体的には、音声雑音フレーム検出部１９０２は、ＳＮＲが所定の閾値より大きい場合、入力した信号を音声信号（音声フレーム）と判断し、ＳＮＲが所定の閾値以下であるフレームが所定の数以上連続して発生した場合、入力した信号を雑音信号（雑音フレーム）と判断する。

図２０に、上記音声雑音フレーム検出部１９０２の音声／雑音判断の動作をプログラムで表現した例を示す。図２０は、本実施の形態の音声処理装置の音声雑音判断プログラムの一例を示す図である。図２０のプログラムでは、ＳＮＲが所定の閾値以下であるフレームが１０以上連続して発生した場合、入力した信号を雑音信号（雑音フレーム）と判断する。

音声ピッチ推定部１９０３は、音声雑音フレーム検出部１９０２が音声フレームと判断する場合、周波数分割部１０４から出力された音声スペクトルからピッチ周期を推定し、推定結果を音声ピッチ修復部１１０７に出力する。ピッチ周期推定の動作は、実施の形態８の音声ピッチ推定部１１０４と同様の動作を行う。

音声ピッチ修復部１１０７は、音声ピッチ推定部１９０３から出力された推定結果に基づいて第二コムフィルタの修正を行い、コムフィルタ修正部１１０８に出力する。

このように、本実施の形態の音声処理装置によれば、コムフィルタの通過領域に対応する音声スペクトルのパワの和と、コムフィルタの阻止領域に対応する音声スペクトルのパワの和との比を求めてＳＮＲとし、このＳＮＲが所定の閾値以上であるフレームのみを用いてピッチ周期を推定することにより、雑音によるピッチ周期推定の誤りを低減することができ、音声歪の少ない音声強調を行うことができる。

なお、本実施の形態の音声処理装置は、第一コムフィルタからＳＮＲを計算しているが、第二コムフィルタを用いてＳＮＲを計算してもよい。この場合、第二コムフィルタ生成部１１０６は、作成した第二コムフィルタをＳＮＲ計算部１９０１に出力する。そして、ＳＮＲ計算部１９０１は、周波数分割部１０４から出力された音声スペクトルと第二コムフィルタから音声信号のＳＮＲを計算して音声雑音フレーム検出部１９０２に出力する。

（実施の形態１０）
図２１は、実施の形態１０にかかる音声処理装置の構成の例を示すブロック図である。但し、図１及び図１１と共通する構成については図１及び図１１と同一番号を付し、詳しい説明を省略する。図２１の音声処理装置は、第一コムフィルタ生成部２１０１と、第一ミュジカルノイズ抑圧部２１０２と、第二コムフィルタ生成部２１０３と、第二ミュジカルノイズ抑圧部２１０４とを具備し、第一コムフィルタと第二コムフィルタの生成結果からミュジカルノイズ発生を判断する点が、図１又は図１１と異なる。

図２１において、第一音声非音声識別部１１０２は、周波数分割部１０４から出力された音声スペクトル信号とノイズベース推定部１１０１から出力されるノイズベースの値の差が所定の第一閾値以上である場合、音声成分を含む有音部分と判定し、それ以外の場合、音声成分を含まない雑音のみの無音部分であると判定する。

第一音声非音声識別部１１０２では、第一コムフィルタ生成部２１０１がピッチ調波情報を出来る限り多く抽出するフィルタを生成するために、第一閾値を後述する第二音声非音声識別部１１０３が用いる第二閾値より低い値に設定する。そして、第一音声非音声識別部１１０２は、判定結果を第一コムフィルタ生成部２１０１に出力する。

第二音声非音声識別部１１０３は、周波数分割部１０４から出力された音声スペクトル信号とノイズベース推定部１１０１から出力されるノイズベースの値の差が所定の第二閾値以上である場合、音声成分を含む有音部分と判定し、それ以外の場合、音声成分を含まない雑音のみの無音部分であると判定する。そして、第二音声非音声識別部１１０３は、判定結果を第二コムフィルタ生成部２１０３に出力する。

第一コムフィルタ生成部２１０１は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調する第一コムフィルタを生成して第一ミュジカルノイズ抑圧部２１０２に出力する。第一コムフィルタ生成の具体的な動作は、実施の形態８の第一コムフィルタ生成部１１０５と同様の動作を行う。そして、第一コムフィルタ生成部２１０１は、第一ミュジカルノイズ抑圧部２１０２において修正された第一コムフィルタをコムフィルタ修正部１１０８に出力する。

第一ミュジカルノイズ抑圧部２１０２は、第一コムフィルタCOMB_SUM_low(k)の各周波数成分ｋの状態の中でオン、つまり信号を減衰せずに出力する状態の数が一定の閾値以下である場合、フレームに突発性ノイズが含まれていると判断する。例えば、以下の式（５−２）を用いてコムフィルタでオンになっている周波数成分の数を計算し、COMB_SUM_lowがある閾値（例えば１０)より小さい場合、ミュジカルノイズが発生していると判断する。

そして、第一ミュジカルノイズ抑圧部２１０２は、コムフィルタのすべての周波数成分の状態をオフつまり信号を減衰して出力する状態に設定してコムフィルタを第一コムフィルタ生成部２１０１に出力する。

第二コムフィルタ生成部２１０３は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調する第二コムフィルタを生成して第二ミュジカルノイズ抑圧部２１０４に出力する。第二コムフィルタ生成の具体的な動作は、実施の形態８の第二コムフィルタ生成部１１０６と同様の動作を行う。そして、第二コムフィルタ生成部２１０３は、第二ミュジカルノイズ抑圧部２１０４において修正された第二コムフィルタを音声ピッチ修復部１１０７に出力する。

第二ミュジカルノイズ抑圧部２１０４は、第二コムフィルタCOMB_SUM_high(k)の各周波数成分ｋの状態の中でオン、つまり信号を減衰せずに出力する状態の数が一定の閾値以下である場合、フレームに突発性ノイズが含まれていると判断する。

例えば、以下の式（５−３）を用いてコムフィルタでオンになっている周波数成分の数を計算し、COMB_SUM_highがある閾値（例えば１０)より小さい場合、ミュジカルノイズが発生していると判断する。

そして、第二ミュジカルノイズ抑圧部２１０４は、コムフィルタのすべての周波数成分の状態をオフつまり信号を減衰して出力する状態に設定してコムフィルタを第二コムフィルタ生成部２１０３に出力する。

音声ピッチ修復部１１０７は、音声ピッチ推定部１１０４から出力された推定結果に基づいて第二コムフィルタ生成部２１０３から出力された第二コムフィルタの修正を行い、コムフィルタ修正部１１０８に出力する。

コムフィルタ修正部１１０８は、音声ピッチ修復部１１０７において生成されたピッチ修復コムフィルタを用いて第一コムフィルタ生成部２１０１において生成された第一コムフィルタを修正し、修正したコムフィルタを音声分離係数計算部１１０９に出力する。

このように、本実施の形態の音声処理装置によれば、第一コムフィルタと第二コムフィルタの生成結果からミュジカルノイズ発生を判断することにより、ノイズが音声信号と誤判断されることを防ぎ、音声歪の少ない音声強調を行うことができる。

（実施の形態１１）
図２２は、実施の形態１１にかかる音声処理装置の構成の例を示すブロック図である。但し、図１及び図１１と共通する構成については図１及び図１１と同一番号を付し、詳しい説明を省略する。図２２の音声処理装置は、平均値計算部２２０１を具備し、周波数成分単位で音声スペクトルのパワの平均値を求める点が、図１又は図１１と異なる。

図２２において、周波数分割部１０４は、ＦＦＴ部１０３から出力された音声スペクトルを周波数成分に分割して、各周波数成分毎に音声スペクトルをノイズベース推定部１１０１と、第一音声非音声識別部１１０２と、乗算部１０９と、平均値計算部２２０１に出力する。

平均値計算部２２０１は、周波数分割部１０４から出力された音声スペクトルのパワーについて、近辺の周波数成分との平均値及び過去に処理したフレームとの平均値をとり、得られた平均値を第二音声非音声識別部１１０３に出力する。

具体的には、以下に示す式（１９）を用いて音声スペクトルの平均値を算出する。

第二音声非音声識別部１１０３は、平均値計算部２２０１から出力された音声スペクトル信号の平均値とノイズベース推定部１１０１から出力されるノイズベースの値の差が所定の第二閾値以上である場合、音声成分を含む有音部分と判定し、それ以外の場合、音声成分を含まない雑音のみの無音部分であると判定する。そして、第二音声非音声識別部１１０３は、判定結果を第二コムフィルタ生成部１１０６に出力する。

このように、本発明の実施の形態１１に係る音声処理装置によれば、各周波数成分における音声スペクトルのパワ平均値又は過去に処理を行ったフレームと処理を行うフレームのパワ平均値を求めることにより、突発性雑音成分の影響は小さくなり、音声情報のみをとりだす第二コムフィルタをより正確に生成することができる。

（実施の形態１２）
図２３は、実施の形態１２にかかる音声処理装置の構成の例を示すブロック図である。但し、図１、図１１及び図１９と共通する構成については図１、図１１及び図１９と同一番号を付し、詳しい説明を省略する。図２３の音声処理装置は、コムフィルタリセット部２３０１を具備し、音声成分を含まないフレームに対して全周波数成分で減衰を行うコムフィルタを生成する点が、図１、図１１又は図１９と異なる。

図２３において、音声雑音フレーム検出部１９０２は、ＳＮＲ計算部１９０１から出力されたＳＮＲからフレーム単位で入力信号が音声信号か雑音信号かを判断し、判断結果を音声ピッチ推定部１１０４に出力する。

具体的には、音声雑音フレーム検出部１９０２は、ＳＮＲが所定の閾値より大きい場合、入力した信号を音声信号（音声フレーム）と判断し、ＳＮＲが所定の閾値以下であるフレームが所定の数以上連続して発生した場合、入力した信号を雑音信号（雑音フレーム）と判断する。そして、音声雑音フレーム検出部１９０２は、判断結果を、音声ピッチ推定部１１０４とコムフィルタリセット部２３０１に出力する。

コムフィルタリセット部２３０１は、音声雑音フレーム検出部１９０２から出力された判断結果に基づいて、音声スペクトルが音声成分を含まないノイズ成分のみと判断された場合、コムフィルタ修正部１１０８にすべての周波数成分のコムフィルタをオフにする指示を出力する。

また、コムフィルタ修正部１１０８は、コムフィルタリセット部２３０１の指示に従い音声スペクトルが音声成分を含まないノイズ成分のみと判断された場合に、すべての周波数成分でオフにした第一コムフィルタを生成して音声分離係数計算部１１０９に出力する。

このように、本実施の形態の音声処理装置によれば、音声成分を含まないフレームに全周波数成分で減衰を行い、音声を含まない信号区間でノイズを全帯域でカットすることにより、音声抑圧処理に起因するノイズの発生を防ぐことができるので、音声歪の少ない音声強調を行うことができる。

（実施の形態１３）
図２４は、実施の形態１３にかかる音声処理装置の構成の例を示すブロック図である。但し、図１と共通する構成については図１と同一番号を付し、詳しい説明を省略する。

図２４の音声処理装置は、雑音分離コムフィルタ生成部２４０１と、雑音分離係数計算部２４０２と、乗算部２４０３と、雑音周波数合成部２４０４とを具備し、周波数成分単位でスペクトル信号の音声非音声を判別して、周波数成分単位で判別結果に基づいた周波数特性の減衰を行い、正確なピッチ情報を得て雑音成分のみを取り出すコムフィルタを作成して雑音の特性を抽出する点が、図１の音声処理装置と異なる。

音声非音声識別部１０６は、周波数分割部１０４から出力された音声スペクトル信号とノイズベース推定部１０５から出力されるノイズベースの値の差が所定の閾値以上である場合、雑音成分を含む有音部分と判定し、それ以外の場合、音声成分を含まない雑音のみの無音部分であると判定する。そして、音声非音声識別部１０６は、判定結果をノイズベース推定部１０５と雑音分離コムフィルタ生成部２４０１に出力する。

雑音分離コムフィルタ生成部２４０１は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調するコムフィルタを生成して、このコムフィルタを雑音分離係数計算部２４０２に出力する。

具体的には、音声非音声識別部１０６において、入力された音声信号のパワースペクトルが、音声とノイズを判別する第一閾値と、入力された音声信号のパワースペクトルとの乗算結果以上である場合、すなわち、式（２０）を満たす場合、雑音分離コムフィルタ生成部２４０１は、当該周波数成分のフィルタの値を「１」とする。

また、音声非音声識別部１０６において、入力された音声信号のパワースペクトルが、音声とノイズを判別する第一閾値と、入力された音声信号のパワースペクトルとの乗算結果より小さい場合、すなわち、式（２１）を満たす場合、雑音分離コムフィルタ生成部２４０１は、当該周波数成分のコムフィルタの値を「０」とする。ここで、θ_nosは、雑音分離に用いる閾値である。

雑音分離係数計算部２４０２は、雑音分離コムフィルタ生成部２４０１において生成されたコムフィルタに、周波数特性に基づいた減衰係数を乗算して、各周波数成分毎に入力信号の減衰係数の設定を行い、各周波数成分の減衰係数を乗算部２４０３に出力する。具体的には、雑音分離係数計算部２４０２は、コムフィルタCOMB_nos(k)の値が０、すなわち阻止領域である場合、雑音分離係数sepn(k)＝１とする。

そして、コムフィルタCOMB_nos(k)の値が１、すなわち通過領域である場合、以下の式（２２）から雑音分離係数sepn(k)を算出する。

ここで、ｒ_ｄ（ｉ）は、ランダム関数で均一分布の乱数で構成される。また、kはビンを特定する変数であり、kのとりうる範囲は０以上、ＦＦＴ変換長つまり高速フーリエ変換を行うデータ数の半数未満である。

乗算部２４０３は、周波数分割部１０４から出力された音声スペクトルに雑音分離係数計算部２４０２から出力された雑音分離係数を周波数成分単位で乗算する。そして、乗算の結果得られたスペクトルを雑音周波数合成部２４０４に出力する。

雑音周波数合成部２４０４は、乗算部２４０３から出力された周波数成分単位のスペクトルを所定の処理時間単位で、周波数領域で連続する音声スペクトルに合成してＩＦＦＴ部１１１に出力する。ＩＦＦＴ部１１１は、雑音周波数合成部２４０４から出力された音声スペクトルにＩＦＦＴを行って音声信号に変換した信号を出力する。

このように、本実施の形態の音声処理装置は、周波数成分単位でスペクトル信号の音声非音声を判別して、周波数成分単位で判別結果に基づいた周波数特性の減衰を行うことにより、正確なピッチ情報を得て雑音成分のみを取り出すコムフィルタを作成でき、雑音の特性を抽出することができる。また、コムフィルタの阻止域において雑音成分を減衰せず、コムフィルタの通過域において雑音成分をノイズベースの推定値と乱数を乗算して再構成することにより良好な雑音分離特性を得ることができる。

（実施の形態１４）
図２５は、実施の形態１４にかかる音声処理装置の構成の例を示すブロック図である。但し、図１及び図２４と共通する構成については図１及び図２４と同一番号を付し、詳しい説明を省略する。

図２５の音声処理装置は、ＳＮＲ計算部２５０１と、音声雑音フレーム検出部２５０２と、雑音コムフィルタリセット部２５０３と、雑音分離コムフィルタ生成部２５０４とを具備し、入力音声信号において音声成分を含まないフレームに対する雑音分離コムフィルタの周波数通過域を全て阻止域とする点が、図１及び図２４の音声処理装置と異なる。

ＳＮＲ計算部２５０１は、周波数分割部１０４から出力された音声スペクトルから出力された第一コムフィルタから音声信号のＳＮＲを計算し、計算結果を音声雑音フレーム検出部２５０２に出力する。

音声雑音フレーム検出部２５０２は、ＳＮＲ計算部２５０１から出力されたＳＮＲからフレーム単位で入力信号が音声信号か雑音信号かを判断し、判断結果を雑音コムフィルタリセット部２５０３に出力する。具体的には、音声雑音フレーム検出部２５０２は、ＳＮＲが所定の閾値より大きい場合、入力した信号を音声信号（音声フレーム）と判断し、ＳＮＲが所定の閾値以下であるフレームが所定の数以上連続して発生した場合、入力した信号を雑音信号（雑音フレーム）と判断する。

雑音コムフィルタリセット部２５０３は、音声雑音フレーム検出部２５０２における判定結果が、入力音声信号のフレームに音声成分が含まれず雑音成分のみである判定結果である場合、雑音分離コムフィルタ生成部２５０４にコムフィルタの全ての周波数通過域を阻止域に変換する指示を出力する。

雑音分離コムフィルタ生成部２５０４は、各周波数成分における音声成分の有無に基づいてピッチ調波を強調するコムフィルタを生成して、このコムフィルタを雑音分離係数計算部２４０２に出力する。

具体的には、音声非音声識別部１０６において、入力された音声信号のパワースペクトルが、音声とノイズを判別する第一閾値と、入力された音声信号のパワースペクトルとの乗算結果以上である場合、すなわち、式（２０）を満たす場合、雑音分離コムフィルタ生成部２５０４は、当該周波数成分のフィルタの値を「１」とする。

また、音声非音声識別部１０６において、入力された音声信号のパワースペクトルが、音声とノイズを判別する第一閾値と、入力された音声信号のパワースペクトルとの乗算結果より小さい場合、すなわち、式（２１）を満たす場合、雑音分離コムフィルタ生成部２５０４は、当該周波数成分のコムフィルタの値を「０」とする。ここで、θ_nosは、雑音分離に用いる閾値である。

また、雑音分離コムフィルタ生成部２５０４は、雑音コムフィルタリセット部２５０３からコムフィルタの全ての周波数通過域を阻止域に変換する指示を受け取った場合、指示に従いコムフィルタの全ての周波数通過域を阻止域に変換する。

このように、本実施の形態の音声処理装置によれば、入力音声信号のフレームが音声を含まず、雑音成分のみと判断した場合、コムフィルタの全ての周波数通過域を阻止域に変換することにより、音声を含まない信号区間でノイズを全帯域でカットすることができ、良好な雑音分離特性が得られる。

（実施の形態１５）
図２６は、実施の形態１５にかかる音声処理装置の構成の例を示すブロック図である。但し、図１及び図２４と共通する構成については図１及び図２４と同一番号を付し、詳しい説明を省略する。図２６の音声処理装置は、平均値計算部２６０１を具備し、各周波数成分における音声スペクトルのパワ平均値又は過去に処理を行ったフレームと処理を行うフレームのパワ平均値を求める点が、図１及び図２４の音声処理装置と異なる。

平均値計算部２６０１は、乗算部２４０３から出力された音声スペクトルのパワについて、近辺の周波数成分との平均値及び過去に処理したフレームとの平均値をとり、得られた平均値を雑音周波数合成部２４０４に出力する。具体的には、以下に示す式（６）を用いて音声スペクトルの平均値を算出する。

このように、本発明の実施の形態１５に係る音声処理装置によれば、各周波数成分における音声スペクトルのパワ平均値又は過去に処理を行ったフレームと処理を行うフレームのパワ平均値を求めることにより、突発性雑音成分の影響は小さくなる。

（実施の形態１６）
図２７は、実施の形態１６にかかる音声処理装置の構成の例を示すブロック図である。但し、図１と共通する構成については図１と同一番号を付し、詳しい説明を省略する。図２７の音声処理装置は、図１１の音声処理装置と図２４の音声処理装置を組み合わせて、音声強調と雑音抽出とを行う例である。

図２７において、周波数分割部１０４は、ＦＦＴ部１０３から出力された音声スペクトルを周波数成分に分割して、各周波数成分毎に音声スペクトルをノイズベース推定部１１０１、第一音声非音声識別部１１０２、第二音声非音声識別部１１０３、音声ピッチ推定部１１０４、乗算部２４０３、及び第三音声非音声識別部２７０１に出力する。

ノイズベース推定部１１０１は、第一音声非音声識別部１１０２からフレームに音声成分が含まれている判定結果が出力された場合、過去に推定したノイズベースを第一音声非音声識別部１１０２に出力する。また、ノイズベース推定部１１０１は、第二音声非音声識別部１１０３からフレームに音声成分が含まれている判定結果が出力された場合、過去に推定したノイズベースを第二音声非音声識別部１１０３に出力する。同様に、ノイズベース推定部１１０１は、第三音声非音声識別部２７０１からフレームに音声成分が含まれている判定結果が出力された場合、過去に推定したノイズベースを第三音声非音声識別部２７０１に出力する。

また、ノイズベース推定部１１０１は、第一音声非音声識別部１１０２、第二音声非音声識別部１１０３、または第三音声非音声識別部２７０１からフレームに音声成分が含まれていない判定結果が出力された場合、周波数分割部１０４から出力された音声スペクトルの周波数成分毎の短時間パワースペクトルとスペクトルの変化の平均量を表す移動平均値を算出して、過去に算出した移動平均値とパワースペクトルの加重平均値をとり、新しい移動平均値を算出する。

第一音声非音声識別部１１０２は、周波数分割部１０４から出力された音声スペクトル信号とノイズベース推定部１１０１から出力されるノイズベースの値の差が所定の第一閾値以上である場合、音声成分を含む有音部分と判定し、それ以外の場合、音声成分を含まない雑音のみの無音部分であると判定する。第一音声非音声識別部１１０２では、第一コムフィルタ生成部１１０５が音声ピッチ情報を出来る限り多く抽出するフィルタを生成するために、第一閾値を後述する第二音声非音声識別部１１０３が用いる第二閾値より低い値に設定する。

そして、第一音声非音声識別部１１０２は、判定結果を第一コムフィルタ生成部１１０５に出力する。

音声ピッチ推定部１１０４は、周波数分割部１０４から出力された音声スペクトルから音声ピッチ周期を推定し、推定結果を音声ピッチ修復部１１０７に出力する。音声ピッチ修復部１１０７は、音声ピッチ推定部１１０４から出力された推定結果に基づいて第二コムフィルタの修正を行い、コムフィルタ修正部１１０８に出力する。

音声分離係数計算部１１０９は、コムフィルタ修正部１１０８において修正されたコムフィルタに周波数特性に基づいた分離係数を乗算し、各周波数成分毎に入力信号の分離係数を算出して乗算部１０９に出力する。乗算部１０９は、周波数分割部１０４から出力された音声スペクトルに音声分離係数計算部１１０９から出力された減衰係数を周波数成分単位で乗算する。そして、乗算の結果得られたスペクトルを周波数合成部１１０に出力する。

第三音声非音声識別部２７０１は、周波数分割部１０４から出力された音声スペクトル信号とノイズベース推定部１１０１から出力されるノイズベースの値の差が所定の閾値以上である場合、雑音成分を含む有音部分と判定し、それ以外の場合、音声成分を含まない雑音のみの無音部分であると判定する。そして、第三音声非音声識別部２７０１は、判定結果をノイズベース推定部１１０１と雑音分離コムフィルタ生成部２４０１に出力する。

雑音分離コムフィルタ生成部２４０１は、各周波数成分における音声成分の有無に基づいて音声ピッチを強調するコムフィルタを生成して、このコムフィルタを雑音分離係数計算部２４０２に出力する。雑音分離係数計算部２４０２は、雑音分離コムフィルタ生成部２４０１において生成されたコムフィルタに、周波数特性に基づいた減衰係数を乗算して、各周波数成分毎に入力信号の減衰係数の設定を行い、各周波数成分の減衰係数を乗算部２４０３に出力する。

乗算部２４０３は、周波数分割部１０４から出力された音声スペクトルに雑音分離係数計算部２４０２から出力された雑音分離係数を周波数成分単位で乗算する。そして、乗算の結果得られたスペクトルを雑音周波数合成部２４０４に出力する。雑音周波数合成部２４０４は、乗算部２４０３から出力された周波数成分単位のスペクトルを所定の処理時間単位で、周波数領域で連続する音声スペクトルに合成してＩＦＦＴ部２７０２に出力する。

ＩＦＦＴ部２７０２は、雑音周波数合成部２４０４から出力された音声スペクトルにＩＦＦＴを行って音声信号に変換した信号を出力する。

このように、本実施の形態の音声処理装置によれば、周波数成分単位でスペクトル信号の音声非音声を判別して、周波数成分単位で判別結果に基づいた周波数特性の減衰を行うことにより、正確なピッチ情報を得ることができるので、大きな減衰で雑音抑圧を行っても音声歪の少ない音声強調を行うことができる。また、同時に雑音抽出を行うこともできる。

なお、本発明の音声処理装置は、実施の形態１６の音声処理装置の例に限らず、上記各実施の形態は、それぞれ組み合わせて適用することができる。

また、上記いずれかの実施の形態に係る音声強調及び雑音抽出は、音声処理装置として説明しているが、この音声強調及び雑音抽出をソフトウェアにより実現することもできる。例えば、上記音声強調及び雑音抽出を行うプログラムを予めＲＯＭ（Read Only Memory）に格納しておき、そのプログラムをＣＰＵ（Central Processor Unit）によって動作するようにしてもよい。

また、上記音声強調及び雑音抽出を行うプログラムをコンピュータ読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのＲＡＭ（Random Access Memory）に記録して、コンピュータをそのプログラムに従って実行させてもよい。このような場合においても、上記実施の形態と同様の作用及び効果を呈する。

また、上記音声強調を行うプログラムをサーバに格納し、サーバに格納されたプログラムをクライアントに転送して、クライアント上でそのプログラムを実行させてもよい。このような場合においても、上記実施の形態と同様の作用及び効果を呈する。

また、上記いずれかの実施の形態に係る音声処理装置は、無線通信装置、通信端末、基地局装置等に搭載することもできる。この結果、通信時の音声を音声強調または雑音抽出できる。

本発明の実施の形態１に係る音声処理装置の構成を示すブロック図上記実施の形態における音声処理装置の動作を示すフロー図上記実施の形態における音声処理装置で作成されるコムフィルタの例を示す図実施の形態２にかかる音声処理装置の構成の例を示すブロック図実施の形態３にかかる音声処理装置の構成の例を示すブロック図実施の形態４にかかる音声処理装置の構成の例を示すブロック図実施の形態５にかかる音声処理装置の構成の例を示すブロック図実施の形態６にかかる音声処理装置の構成の例を示すブロック図上記実施の形態における音声処理装置におけるコムフィルタの修復の例を示す図実施の形態７にかかる音声処理装置の構成の例を示すブロック図実施の形態８にかかる音声処理装置の構成の例を示すブロック図コムフィルタの一例を示す図コムフィルタの一例を示す図コムフィルタの一例を示す図コムフィルタの一例を示す図コムフィルタの一例を示す図コムフィルタの一例を示す図コムフィルタの一例を示す図実施の形態９にかかる音声処理装置の構成の例を示すブロック図本実施の形態の音声処理装置の音声雑音判断プログラムの一例を示す図実施の形態１０にかかる音声処理装置の構成の例を示すブロック図実施の形態１１にかかる音声処理装置の構成の例を示すブロック図実施の形態１２にかかる音声処理装置の構成の例を示すブロック図実施の形態１３にかかる音声処理装置の構成の例を示すブロック図実施の形態１４にかかる音声処理装置の構成の例を示すブロック図実施の形態１５にかかる音声処理装置の構成の例を示すブロック図実施の形態１６にかかる音声処理装置の構成の例を示すブロック図従来のコムフィルタ法を用いた音声処理装置の例を示す図コムフィルタの減衰特性を示す図

符号の説明

１０４周波数分割部
１０５、１１０１ノイズベース推定部
１０６音声非音声識別部
１０７コムフィルタ生成部
１０８減衰係数計算部
１０９、２４０３乗算部
１１０周波数合成部
４０１ノイズ区間判別部
４０２ノイズベース追跡部
５０１ミュジカルノイズ抑制部
５０２、１１０８コムフィルタ修正部
６０１、２２０１、２６０１平均値計算部
７０１区間判別部
７０２、２３０１コムフィルタリセット部
８０１音声ピッチ周期推定部
８０２、１１０７音声ピッチ修復部
１００１閾値自動調整部
１１０２第一音声非音声識別部
１１０３第二音声非音声識別部
１１０４、１９０３音声ピッチ推定部
１１０５、２１０１第一コムフィルタ生成部
１１０６、２１０３第二コムフィルタ生成部
１１０９音声分離係数計算部
１９０１、２５０１ＳＮＲ計算部
１９０２、２５０２音声雑音フレーム検出部
２１０２第一ミュジカルノイズ抑圧部
２１０４第二ミュジカルノイズ抑圧部
２４０１雑音分離コムフィルタ生成部
２４０２雑音分離係数計算部
２４０４雑音周波数合成部
２５０３雑音コムフィルタリセット部
２５０４雑音分離コムフィルタ生成部
２７０１第三音声非音声識別部

Claims

入力信号の音声スペクトルを所定の周波数領域単位で分割する周波数分割手段と、
前記周波数分割手段にて周波数分割された音声スペクトルである分割音声スペクトルから、前記分割音声スペクトルに含まれる雑音成分のスペクトルであるノイズベースを推定するノイズベース推定手段と、
前記分割音声スペクトルと前記ノイズベースとに基づいて前記分割音声スペクトルに音声成分が含まれているか否か識別する音声／非音声識別手段と、
前記音声／非音声識別手段の識別結果に基づいて音声成分の含まれる周波数領域を通過域とし、音声成分の含まれていない周波数領域を阻止域とするコムフィルタを生成するコムフィルタ生成手段と、
音声ピッチ周波数を推定するピッチ周波数推定手段と、
前記音声ピッチ周波数及び前記分割音声スペクトルに基づいて前記コムフィルタのピッチ調波の幅を修正するピッチ修正手段と、
前記ピッチ調波の幅が修正されたコムフィルタを用いて前記周波数領域毎の減衰係数を設定し、前記各分割音声スペクトルに前記対応する周波数領域の減衰係数を乗算することにより前記分割音声スペクトルの雑音成分を抑圧する雑音抑圧手段と、
前記雑音成分が抑圧された分割音声スペクトルを周波数領域で連続した音声スペクトルに合成する周波数合成手段と、を具備する音声処理装置。
前記音声／非音声識別手段は、前記分割音声スペクトルのパワと前記ノイズベースのパワとの差分値が所定の閾値より大きい場合に前記分割音声スペクトルに音声成分が含まれていると判断し、前記差分値が前記閾値以下の場合に前記分割音声スペクトルに音声成分が含まれていないと判断する請求項１に記載の音声処理装置。
前記分割音声スペクトルのパワの平均値をとる平均値計算手段を具備し、音声／非音声識別手段は、前記分割音声スペクトルのパワの平均値と雑音成分のスペクトルであるノイズベースのパワとの差分値が所定の閾値より大きい場合に前記分割音声スペクトルに音声成分が含まれていると判断し、前記差分値が前記閾値以下の場合に前記分割音声スペクトルに音声成分が含まれていないと判断する請求項２に記載の音声処理装置。
音声成分の含まれない周波数領域のノイズベースを、過去に推定したノイズベースの平均値と前記分割音声スペクトルのパワを加重平均した平均値に基づいて更新するノイズベース推定手段を具備する請求項１から請求項３のいずれかに記載の音声処理装置。
雑音抑圧手段は、前記コムフィルタの阻止域における前記分割音声スペクトルに対して減衰を行う請求項１から請求項４のいずれかに記載の音声処理装置。
前記コムフィルタの通過域における周波数成分の数が所定の数より大きい場合には前記閾値を大きくし、前記コムフィルタの通過域における周波数成分の数が前記所定の数以下の場合には前記閾値を小さくする閾値調整手段を具備する請求項２又は請求項３記載の音声処理装置。
前記コムフィルタの通過域における周波数成分の数が所定の数以下である場合、前記コムフィルタを全て阻止域にするミュジカルノイズ抑圧手段を具備する請求項１から請求項６のいずれかに記載の音声処理装置。
入力信号の音声スペクトルを所定の周波数領域単位で分割する周波数分割手段と、
前記周波数分割手段にて周波数分割された音声スペクトルである分割音声スペクトルから、前記分割音声スペクトルに含まれる雑音成分のスペクトルであるノイズベースを推定するノイズベース推定手段と、
前記分割音声スペクトルと前記ノイズベースとに基づいて前記分割音声スペクトルに音声成分が含まれているか否か識別する第一音声／非音声識別手段と、
前記第一音声／非音声識別手段の識別結果に基づいて音声成分の含まれる周波数領域を通過域とし、音声成分の含まれていない周波数領域を阻止域とするコムフィルタを生成する第一コムフィルタ生成手段と、
前記分割音声スペクトルと前記ノイズベースとに基づいて前記第一音声／非音声識別手段と異なる条件で前記分割音声スペクトルに音声成分が含まれているか否か識別する第二音声／非音声識別手段と、
前記第二音声／非音声識別手段の識別結果に基づいて音声成分の含まれる周波数領域を通過域とし、音声成分の含まれていない周波数領域を阻止域とする第二コムフィルタを生成する第二コムフィルタ生成手段と、
前記分割音声スペクトルから入力音声信号のピッチ周波数を推定する音声ピッチ推定手段と、
前記音声ピッチ推定手段において推定されたピッチ周波数に基づいて前記第二コムフィルタのピッチ調波の幅を修復してピッチ修復コムフィルタを生成する音声ピッチ修復手段と、
前記ピッチ修復コムフィルタに基づいて前記第一コムフィルタの修正を行い、修正コムフィルタを生成するコムフィルタ修正手段と、
前記修正コムフィルタの値に基づき、またその値が阻止領域を示す場合は周波数に応じて、前記周波数領域毎の減衰係数を設定し、前記各分割音声スペクトルに前記対応する周波数領域の減衰係数を乗算することにより前記分割音声スペクトルの雑音成分を抑圧する雑音抑圧手段と、
前記雑音成分が抑圧された分割音声スペクトルを周波数領域で連続した音声スペクトルに合成する周波数合成手段と、を具備する音声処理装置。
前記第一音声／非音声識別手段は、前記分割音声スペクトルのパワと雑音成分のスペクトルであるノイズベースのパワとの差分値が所定の第一閾値より大きい場合に前記分割音声スペクトルに音声成分が含まれていると判断し、前記差分値が前記第一閾値以下の場合に前記分割音声スペクトルに音声成分が含まれていないと判断し、
前記第二音声／非音声識別手段は、前記分割音声スペクトルのパワとノイズベースのパワとの差分値が前記第一閾値より大きい第二閾値より大きい場合に音声スペクトルに音声成分が含まれていると判断し、前記差分値が前記第二閾値以下の場合に音声スペクトルに音声成分が含まれていないと判断する請求項８に記載の音声処理装置。
前記分割音声スペクトルのパワの平均値をとる平均値計算手段を具備し、前記第二音声／非音声識別手段は、前記分割音声スペクトルのパワの平均値と雑音成分のスペクトルであるノイズベースのパワとの差分値が前記第二閾値より大きい場合に前記分割音声スペクトルに音声成分が含まれていると判断し、前記差分値が前記第二閾値以下の場合に前記分割音声スペクトルに音声成分が含まれていないと判断する請求項９に記載の音声処理装置。
前記分割音声スペクトルのパワと前記第一または第二コムフィルタとから音声対雑音の比を算出するＳＮＲ算出手段と、前記音声対雑音の比に基づいて音声フレームか雑音フレームかを検出する音声／雑音フレーム検出手段と、を具備し、音声ピッチ推定手段は、前記音声／雑音フレーム検出手段において音声フレームと判定された場合、前記ピッチ周波数を推定する請求項８から請求項１０のいずれかに記載の音声処理装置。
前記音声／雑音フレーム検出手段において雑音フレームと判定された場合、前記修正コムフィルタを全て阻止域にするコムフィルタリセット手段を具備する請求項１１記載の音声処理装置。
コムフィルタ修正手段は、前記第一コムフィルタの通過域の周波数成分の中で前記ピッチ修復コムフィルタの通過域の周波数成分と重複している周波数成分を前記修正コムフィルタの通過域とし、この通過域以外の周波数領域を前記修正コムフィルタの阻止域とする請求項８から請求項１２のいずれかに記載の音声処理装置。
前記第一コムフィルタの通過域における周波数成分の数が所定の数以下である場合、前記第一コムフィルタを全て阻止域にする第一ミュジカルノイズ抑圧手段と、
前記第二コムフィルタの通過域における周波数成分の数が所定の数以下である場合、前記第二コムフィルタを全て阻止域とする第二ミュジカルノイズ抑圧手段と、を具備する請求項８から請求項１３のいずれかに記載の音声処理装置。
入力信号の音声スペクトルを所定の周波数領域単位で分割する周波数分割工程と、
前記周波数分割手段にて周波数分割された音声スペクトルである分割音声スペクトルから、前記分割音声スペクトルに含まれる雑音成分のスペクトルであるノイズベースを推定するノイズベース推定工程と、
前記分割音声スペクトルと前記ノイズベースとに基づいて前記分割音声スペクトルに音声成分が含まれているか否か識別する音声／非音声識別工程と、
音声成分の含まれる周波数領域を強調するピッチ調波構造を生成するピッチ調波構造生成工程と、
音声ピッチ周波数を推定するピッチ周波数推定工程と、
前記音声ピッチ周波数及び前記分割音声スペクトルに基づいて前記ピッチ調波構造のピッチ調波の幅を修正するピッチ修正工程と、
前記ピッチ調波の幅が修正されたピッチ調波構造を用いて前記周波数領域毎の減衰係数を設定する減衰係数設定工程と、
前記各分割音声スペクトルに前記対応する周波数領域の減衰係数を乗算することにより前記分割音声スペクトルの雑音成分を抑圧する雑音抑圧工程と、
前記雑音成分が抑圧された分割音声スペクトルを周波数領域で連続した音声スペクトルに合成する周波数合成工程と、を具備する音声処理方法。
入力信号の音声スペクトルを所定の周波数領域単位で分割する周波数分割工程と、
前記周波数分割手段にて周波数分割された音声スペクトルである分割音声スペクトルから、前記分割音声スペクトルに含まれる雑音成分のスペクトルであるノイズベースを推定するノイズベース推定工程と、
前記分割音声スペクトルと前記ノイズベースとに基づいて前記分割音声スペクトルに音声成分が含まれているか否か識別する第一音声／非音声識別工程と、
前記第一音声／非音声識別工程の識別結果に基づいて音声成分の含まれる周波数領域を通過域とし、音声成分の含まれていない周波数領域を阻止域とするコムフィルタを生成する第一コムフィルタ生成工程と、
前記分割音声スペクトルと前記ノイズベースとに基づいて前記第一音声／非音声識別工程と異なる条件で前記分割音声スペクトルに音声成分が含まれているか否か識別する第二音声／非音声識別工程と、
前記第二音声／非音声識別工程の識別結果に基づいて音声成分の含まれる周波数領域を通過域とし、音声成分の含まれていない周波数領域を阻止域とする第二コムフィルタを生成する第二コムフィルタ生成工程と、
前記分割音声スペクトルから入力音声信号のピッチ周波数を推定する音声ピッチ推定工程と、
前記音声ピッチ推定工程において推定されたピッチ周波数に基づいて前記第二コムフィルタのピッチ調波の幅を修復してピッチ修復コムフィルタを生成する音声ピッチ修復工程と、
前記ピッチ修復コムフィルタに基づいて前記第一コムフィルタの修正を行い、修正コムフィルタを生成するコムフィルタ修正工程と、
前記修正コムフィルタの値に基づき、またその値が阻止領域を示す場合は周波数に応じて、前記周波数領域毎の減衰係数を設定し、前記各分割音声スペクトルに前記対応する周波数領域の減衰係数を乗算することにより前記分割音声スペクトルの雑音成分を抑圧する雑音抑圧工程と、
前記雑音成分が抑圧された分割音声スペクトルを周波数領域で連続した音声スペクトルに合成する周波数合成工程と、を具備する音声処理方法。
入力信号の音声スペクトルを所定の周波数領域単位で分割する周波数分割工程と、
前記周波数分割された音声スペクトルである分割音声スペクトルのパワと雑音成分のスペクトルであるノイズベースのパワとの差分値を算出する差分値算出工程と、
前記差分値が所定の第一閾値より大きい分割音声スペクトルに音声成分が含まれていると識別する第一音声／非音声識別工程と、
前記第一音声／非音声識別工程にて音声成分が含まれると識別された周波数領域を強調する第一ピッチ調波構造を生成する第一ピッチ調波構造生成工程と、
前記差分値が前記第一閾値より大きい第二閾値より大きい分割音声スペクトルに音声成分が含まれていると識別する第二音声／非音声識別工程と、
前記第二音声／非音声識別工程にて音声成分が含まれると識別された周波数領域を強調する第二ピッチ調波構造を生成する第二ピッチ調波構造生成工程と、
前記分割音声スペクトルから入力音声信号のピッチ周波数を推定するピッチ周波数推定工程と、
前記第二ピッチ調波構造からピークの情報のみを抽出した第三ピッチ調波構造を生成する第三ピッチ調波構造生成工程と、
前記第三ピッチ調波構造の前記推定されたピッチ周波数に対応する部分にピークを挿入した第四ピッチ調波構造を生成する第四ピッチ調波構造生成工程と、
前記ピッチの値に応じて前記第四ピッチ調波構造のピークの幅を広げた第五ピッチ調波構造を生成する第五ピッチ調波構造生成工程と、
前記第一ピッチ調波構造と前記第五ピッチ調波構造の両方において強調される周波数領域のみを強調する第六ピッチ調波構造を生成する第六ピッチ調波構造生成工程と、
周波数特性に基づいた減衰係数を前記第六ピッチ調波構造に乗算することにより前記周波数領域毎の減衰係数を設定する減衰係数設定工程と、
前記各分割音声スペクトルに前記対応する周波数領域の減衰係数を乗算することにより前記分割音声スペクトルの雑音成分を抑圧する雑音抑圧工程と、
前記雑音成分が抑圧された分割音声スペクトルを周波数領域で連続した音声スペクトルに合成する周波数合成工程と、を具備する音声処理方法。