JP5998483B2 - 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、音声信号処理装置、音声信号処理方法、プログラム及び記録媒体に関する。

動画撮像機能を有するカメラ又はＩＣレコーダ等の録音装置は、音声を収音して音声信号を出力するマイクロホンを備えている。このマイクロホンによる録音音声には、ユーザが録音を所望する音（周囲の環境音や人の話し声等。以下、所望音という。）のみならず、種々の雑音が混入することがある。例えば、屋外での録音時には、風がマイクロホンに当たることにより風雑音が発生し、該風雑音が所望音とともに収音されてしまう。この風雑音対策としては種々の方法が提案されているが、シングルマイクロホンの場合は、ハイパスフィルタ（低域遮断フィルタ）を用いて風雑音を除去することが一般的である。

また、複数のマイクロホンで得られる音声信号を利用して風雑音を低減する方法として、特許文献１には、２つのマイクロホンからの入力音声信号をそれぞれ周波数変換し、これら２つの信号間の相関を利用して、風雑音を検出・低減する方法が開示されている。詳細には、この特許文献１の低減方法では、当該２つの信号の相関値を周波数帯域ごとに計算し、当該相関値を閾値と比較することで、風雑音の有無を判定する。そして、風雑音が有ると判定された場合に、人間の聴覚特性を表すラウドネスに応じて入力音声信号の減衰量を決定し、周波数帯域ごとに風雑音の低減処理を行う。つまり、ラウドネス曲線の音圧レベルが大きくなる周波数帯域では減衰量を大きくする一方、当該音圧レベルが小さくなる周波数帯域（１０００〜４０００Ｈｚ）では減衰量を小さくして、低減処理を行う。

特開２００９−５１３３号公報

しかしながら、上記特許文献１の低減方法では、所望音の大きさを考慮せずに、ラウドネスのみにより減衰量が決定されるので、実際にマイクロホンで収音された所望音の特性を正しく反映することができず、所望音の不要な劣化をもたらすことがある。即ち、上記低減方法によれば、風雑音が検出されると、所望音の強さにかかわらず、同一の周波数帯域の入力音声信号に対して常に一定の利得を乗算して、入力音声信号を減衰させる。このため、所望音が抑揚（音量の強弱）を有する場合、風雑音が支配的になる、所望音の音量が小さい部分の信号は減衰され、所望音が支配的になる、所望音の音量が大きい部分の信号は減衰されない。従って、録音音声の再生時に、所望音が急に小さくなったり大きくなったりして、所望音の自然性が低下し、再生音の聞こえに違和感が生じる。

そこで、上記事情に鑑みれば、録音対象の所望音を劣化させることなく、風雑音等の雑音を適切に低減することが求められている。

本開示によれば、第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出する相関成分算出部と、前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出する全体成分算出部と、前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正する雑音低減部と、を備える、音声信号処理装置が提供される。

また、本開示によれば、第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出することと、前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出することと、前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正することと、を含む、音声信号処理方法が提供される。

また、本開示によれば、第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出することと、前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出することと、前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正することと、をコンピュータに実行させるためのプログラムが提供される。

また、本開示によれば、前記プログラムが記録された、コンピュータ読み取り可能な記録媒体が提供される。

また、本開示によれば、風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換する第１の周波数変換部と、前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換する第２の周波数変換部と、前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出するクロススペクトル算出部と、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出するパワースペクトル算出部と、前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する雑音低減部と、を備える、音声信号処理装置が提供される。

以上説明したように本開示によれば、録音対象の所望音を劣化させることなく、風雑音等の雑音を適切に低減することができる。

本開示の第１の実施形態に係る風雑音低減方法と従来の風雑音低減方法を概略的に示す模式図である。 ２つの音声信号の時間波形と、両信号の相互相関係数を示す信号波形図である。 風雑音の周波数と、風雑音のスペクトル信号の相互相関係数との関係を示す図である。 所望音の周波数と、所望音のスペクトル信号の相互相関係数との関係を示す図である。 ウィナーフィルタの構成を示す模式図である。 同実施形態に係る音声信号処理装置が適用されたデジタルカメラのハードウェア構成を示すブロック図である。 同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係るクロススペクトル算出部の動作を示すフローチャートである。 同実施形態に係るパワースペクトル算出部の動作を示すフローチャートである。 同実施形態に係る雑音低減部の動作を示すフローチャートである。 本開示の第２の実施形態に係る実施形態に係るデジタルカメラを示す斜視図である。 同実施形態に係るスマートフォンを示す斜視図である。 同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係る信号処理部の概略動作を示すフローチャートである。 同実施形態に係る信号処理部の詳細動作を示すフローチャートである。 本開示の第３の実施形態に係るマイクロホンに対する音源の位置を示す模式図である。 同実施形態に係る音源の位置に応じた相関係数の周波数特性を示す図である。 同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係るクロススペクトル補正部の概略動作を示すフローチャートである。 同実施形態に係るクロススペクトル補正部の詳細動作を示すフローチャートである。 本開示の第４の実施形態に係る風雑音の周波数と風雑音のスペクトル信号の相互相関係数との関係を示す図である。 カットオフ周波数を示す図である。 同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係るフィルタ制御部の概略動作を示すフローチャートである。 同実施形態に係るフィルタ制御部の詳細動作を示すフローチャートである。 同実施形態に係るフィルタ部の概略動作を示すフローチャートである。 本開示の第１の実施形態に係る算出方法により算出された低減係数と周波数との関係を示す図である。 本開示の第５の実施形態に係る低減係数の補正方法を示す図である。 同実施形態に係る雑音低減部の概略動作を示すフローチャートである。 図２９のＳ１５６〜Ｓ１６０の詳細動作を示すフローチャートである。 本開示の第６の実施形態に係る音声信号処理装置のハードウェア構成を示すブロック図である。 同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係る音声信号処理装置の録音装置の動作を示すフローチャートである。 同実施形態に係る音声信号処理装置の処理装置の動作を示すフローチャートである。 マイクロホンの暗騒音の周波数特性と相互相関係数を示す図である。 ファンノイズの周波数特性と相互相関係数を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
１．１．風雑音低減方法の概要
１．２．風雑音低減処理の原理
１．３．音声信号処理装置の構成
１．３．１．音声信号処理装置のハードウェア構成
１．３．２．音声信号処理装置の機能構成
１．４．音声信号処理方法
１．４．１．音声信号処理装置の全体動作
１．４．２．クロススペクトル算出部の動作
１．４．３．パワースペクトル算出部の動作
１．４．４．雑音低減部の動作
１．５．効果
２．第２の実施の形態
２．１．第２の実施形態の概要
２．２．音声信号処理装置の機能構成
２．３．数式の補足
２．４．音声信号処理方法
２．４．１．音声信号処理装置の全体動作
２．４．２．信号処理部の動作
２．５．効果
３．第３の実施の形態
３．１．第３の実施形態の概要
３．２．音声信号処理装置の機能構成
３．３．音声信号処理方法
３．３．１．音声信号処理装置の全体動作
３．３．２．クロススペクトル補正部の動作
３．４．効果
４．第４の実施の形態
４．１．第４の実施形態の概要
４．２．音声信号処理装置の機能構成
４．３．音声信号処理方法
４．３．１．音声信号処理装置の全体動作
４．３．２．フィルタ制御部の動作
４．３．３．フィルタの動作
４．４．効果
５．第５の実施の形態
５．１．第５の実施形態の概要
５．２．音声信号処理装置の機能構成
５．３．音声信号処理方法
５．３．１．音声信号処理装置の全体動作
５．３．２．雑音低減部の動作
５．４．効果
６．第６の実施の形態
６．１．音声信号処理装置のハードウェア構成
６．２．音声信号処理装置の機能構成
６．３．音声信号処理装置の動作
７．その他の適用例

＜１．第１の実施の形態＞
［１．１．風雑音低減方法の概要］
まず、本開示の第１の実施形態に係る音声信号処理装置及び方法による風雑音低減方法の概要について説明する。

本実施形態に係る音声信号処理装置及び方法は、音声記録装置又は音声再生装置において風雑音を低減する技術に関する。特に、本実施形態では、隣接した複数個のマイクロホンを有する録音機器において、録音機器のマイクロホンに風が当たることにより発生する風雑音を低減対象とする。以下では、音声信号処理装置が、例えば、動画撮像機能及び録音機能を有する撮像装置（小型のデジタルカメラ等）であり、複数のマイクロホンが左右２つのステレオマイクロホン（Ｌｃｈ、Ｒｃｈ）である例について説明する。しかし、本開示の音声信号処理装置及びマイクロホンは、かかる例に限定されない。

屋外において、デジタルカメラにより動画を撮像しながら周辺音声を録音するときには、マイクロホンに風が当たると、風雑音が発生する。一般的に、マイクロホンは、音波の音圧の変化を振動板の機械的な振動に変換し、該振動に基づき電気音響変換系を動作させる構造を有する。かかるマイクロホンで収音する際、風がマイクロホンの振動板に当たると、風雑音が発生する。なお、風雑音は、風により発生する雑音（ノイズ）であれば、上記マイクロホンの振動板に対して風が当たることより生じる雑音のみならず、任意の雑音を含む。

このような風雑音が発生する環境下では、デジタルカメラのマイクロホンは、所望音のみならず、風雑音をも収音してしまい、所望音に風雑音が雑音として混入した状態で録音されてしまう。ここで、所望音は、ユーザが録音を所望する音声（例えば、録音機器の周辺の環境音、人の話し声など、マイクロホンに収音される任意の音を含む。）である。かかる所望音に風雑音が雑音として混入した状態で録音されると、当該録音された音声を再生したときに、所望音に混入した風雑音がユーザにとって耳障りとなる。例えば、所望音は、１０００〜４０００Ｈｚの周波数帯域に多く分布し、風雑音は、１０００Ｈｚ以下の周波数帯域に多く分布する。このように風雑音と所望音の周波数帯域はずれているものの、所望音に風雑音が混入していると、録音音声の再生時に風雑音が聞き手にとって耳障りになってしまう。従って、音声記録時又は再生時に、所望音の音質を劣化させることなく、風雑音を適切に除去可能な技術が希求されていた。

そこで、本実施形態では、隣接する２つのマイクロホンを備えた音声記録装置で音声を集音したときに、両マイクロホンから入力される音声信号（以下、単に「入力音声信号」という場合もある。）の相関を利用して、風雑音を低減する。一般に、２つのマイクロホンで風雑音を収音した場合、両マイクロホンの入力信号の相関は低い。従って、当該２つの入力音声信号の相関値の大きさにより、風雑音の有無を判定することが可能である。例えば、上記特許文献１（特開２００９−５１３３号公報）に記載の技術でも、２つのマイクロホンからの入力音声信号の相関値と閾値を比較して、周波数帯域ごとに風雑音の有無を判定し、風雑音が有ると判定された周波数帯域の入力音声信号を減衰させる低減処理を行っている。

しかし、当該特許文献１の低減方法では、周波数のラウドネス量に応じて入力音声信号の減衰量を決定しているが、所望音自体の強さを全く考慮せずに減衰量を決定し、低減処理を行っている。しかし、かかる低減方法では、実際のマイクロホンにより収音された所望音の特性を低減処理に正しく反映させることができず、所望音の自然性の劣化を引き起こす。

そこで、本実施形態では、２つのマイクロホンからの入力音声信号中の風雑音に関する相関のみならず、所望音に関する相関も考慮して、風雑音の低減処理を行う。即ち、本実施形態では、２つの入力音声信号間の風雑音の相関に加え、当該入力音声信号間の所望音の相関、及び各入力音声信号の所望音の強さも考慮して、所望音の特徴と風の特徴に応じた連続的な低減係数を算出し、当該低減係数を用いて雑音低減処理を行う。これにより、実際にマイクロホンにより収音された入力音声信号に応じた適切な低減量を得ることができる。従って、所望音の音質（自然性）を確保し、不要に所望音を劣化させることなく、風雑音を好適に低減することができる。

ここで、図１を参照して、本実施形態に係る風雑音低減方法と、上記特許文献１に係る従来の風雑音低減方法との相違について説明する。図１は、本実施形態に係る風雑音低減方法と従来の風雑音低減方法を概略的に示す模式図である。

従来の低減方法では、ある周波数帯域の２つの入力音声信号の相関値が小さいため風雑音が有ると判断されると、図１（ａ）に示すように、所望音の強さ（音量）にかかわらず、その周波数帯域の入力音声信号に対して一定の低減係数（利得）が乗算される。これにより、風雑音が有ると判定された区間（所望音が比較的小さい区間）では、風雑音とともに所望音が一定の割合で減衰され、風雑音が無いと判定された区間（所望音が比較的大きい区間）では、所望音が減衰されない。このため、マイクロホンにより収音される所望音が抑揚（音量の強弱）を有する場合、所望音が弱い区間のみが低減されてしまう。従って、録音音声の再生時に、所望音が急に大きくなったり小さくなったりして、所望音の連続性が不自然になり、ユーザは不自然な再生音声に違和感を覚える。

これに対し、本実施形態に係る低減方法では、図１（ｂ）に示すように、風雑音の強さと所望音の強さを考慮して低減係数を算出し、当該低減係数を用いて低減処理がなされる。即ち、本実施形態では、周波数帯域ごとに、２つのマイクロホンの入力音声信号間の相関成分（所望音）のパワーと、各入力音声信号の全体成分（所望音及び風雑音）のパワーを求める。さらに、周波数帯域ごとに、当該全体成分のパワーに対する相関成分のパワーの比率を算出し、当該比率に応じた低減係数を算出する。かかる低減係数は、風雑音の強さのみならず所望音の強さも反映した値であり、所望音の強さに応じて変動する。そして、周波数帯域ごとに、当該低減係数を各入力音声信号に乗じて、当該信号を減衰させることで、風雑音を低減する。

このように、本実施形態では、入力音声の全体成分（所望音＋風雑音）に占める相関成分（所望音）の割合に応じて、低減係数を決定する。これにより、当該比率が小さい区間（風雑音が相対的に大きい区間）では、風雑音を大きく低減することができる。当該比率が大きい区間（風雑音が相対的に小さい区間）でも、比率に応じ風雑音を低減することができる。所望音は多少劣化してしまうが、従来技術のように、所望音の抑揚が強調されることは少なくなる。従って、元々の所望音の抑揚をなるべく確保しつつ、風雑音を適切に低減することができる。よって、録音音声の再生時に、所望音の連続性が自然になり、上記従来の低減方法の場合のような違和感を解消できる。

なお、本実施形態では、録音機器の筐体に相互に隣接して配置された複数個のマイクロホンを用いるが、ここで、隣接とは、複数のマイクロホン間の距離が、例えば７ｃｍ程度以下、好ましくは５ｃｍ程度以下であることを意味する。風の成分が概ね１ｋＨｚ以下の周波数成分を含み、その周波数成分を低減することを想定した場合、マイクロホン間の距離が上記距離の範囲内であれば、当該周波数成分を適切に低減できる。マイクロホン間の距離が所定距離以上（例えば１０ｃｍ以上）離れすぎると、双方のマイクロホンで収音される所望音の相関性が低くなるので、上記距離の範囲内であることが好ましい。

また、以下では、録音機器に２つのマイクロホンを設置する例について説明するが、マイクロホンの設置数は３以上であってもよく、この場合には風雑音の低減性能をより向上できる。

［１．２．風雑音低減処理の原理］
次に、本実施形態に係る音声信号処理装置により風雑音を低減する原理について説明する。

［１．２．１．風雑音、所望音の相互相関］
一般に、風雑音は、空気の塊が録音機器の筺体などに当たることで発生する乱流により生じ、不規則な音声信号として観測される。そのため、風雑音は、異なる位置に配置された２つのマイクロホンにより、相互に無相関な音声信号として収音される。

図２は、隣接した２つのマイクロホン（ステレオマイクロホン）から出力されるＬｃｈの音声信号ｘ_Ｌ及びＲｃｈの音声信号ｘ_Ｒの時間波形と、両信号ｘ_Ｌ、ｘ_Ｒの相互相関係数を示す。図２において、２つのマイクロホンの間隔は２ｃｍである。図２に示すように、風雑音のみを含む区間（波線で囲む区間）では、両信号ｘ_Ｌ、ｘ_Ｒの相互相関係数はほぼゼロとなっており、両信号ｘ_Ｌ、ｘ_Ｒの間には相関が無いことが分かる。

図３は、風雑音の周波数と、風雑音のスペクトル信号Ｘ_Ｌ、Ｘ_Ｒの相互相関係数との関係を示す。この図３は、２つのマイクロホンから入力された風雑音の音声信号ｘ_Ｌ、ｘ_Ｒ、を周波数変換して、風雑音のスペクトル信号Ｘ_Ｌ、Ｘ_Ｒを生成し、周波数ごとに両信号Ｘ_Ｌ、Ｘ_Ｒの相互相関係数を算出した結果を示している。図３においても、２つのマイクロホンの間隔は２ｃｍである。図３に示すように、風雑音が強い１ｋＨｚ以下の周波数帯域Ｂ_１では、両信号Ｘ_Ｌ、Ｘ_Ｒの相互相関係数がゼロに近い。従って、周波数ごとにみても、２つのマイクロホンで収音される風雑音の信号は、相互に無相関であることがわかる。ただし、２００Ｈｚ前後の低い周波数帯域Ｂ_２では、２つのマイクロホンの間隔に比べて風雑音の波長が非常に大きくなるため、両信号Ｘ_Ｌ、Ｘ_Ｒの相関が高くなる。

一方、隣接した２つのマイクロホンで所望音を収音した場合について検討する。図４は、所望音の周波数と、所望音のスペクトル信号Ｘ_Ｌ、Ｘ_Ｒの相互相関係数との関係を示す。なお、図４の結果は、図２、３と同様に２つのマイクロホンの間隔が２ｃｍである場合において、周波数ごとに、所望音のスペクトル信号Ｘ_Ｌ、Ｘ_Ｒの相互相関係数を算出した結果を示している。図４に示すように、風雑音の強い１ｋＨｚ以下の周波数帯域では、両信号Ｘ_Ｌ、Ｘ_Ｒの相互相関係数は、ほぼ１となり、２つのマイクロホンで収音される所望音の信号は、相互に高い相関を有することがわかる。

以上の結果から、隣接した２つのマイクロホンにより風雑音を集音した場合には、当該マイクロホンから出力される２つの音声信号の相関はゼロであり、所望音を集音した場合には、当該マイクロホンから出力される２つの音声信号の相関は１であるとみなすことができる。

［１．２．２．低減係数の算出方法］
次に、風雑音を低減するための低減係数Ｇについて説明する。本実施形態では、２つのマイクロホンから出力された音声信号ｘ_Ｌ、ｘ_Ｒをフーリエ変換して音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを得て、周波数成分ごとに低減係数Ｇを求める。そして、音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの各周波数成分に当該低減係数Ｇを乗算することで、周波数成分ごとに異なる減衰比率で音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを減衰させて、風雑音を低減する。本実施形態に係る風雑音の低減処理の特徴は、上記低減係数Ｇの算出方法にある。以下に低減係数Ｇの算出方法について説明する。

なお、以下の説明において、「ｘ」、「ｘ（ｍ）」は、マイクロホンから入力された音声信号（時間領域）を表す。「Ｘ」、「Ｘ（ｋ）」、「Ｘ（ｋ、ｍ）」は、マイクロホンから入力された音声信号（時間領域）を周波数領域に変換した音声スペクトル信号を表す。「ｓ」、「ｓ（ｍ）」は、マイクロホンから入力された所望音（時間領域）を表す。また、「Ｓ」、「Ｓ（ｋ）」、「Ｓ（ｋ、ｍ）」は、所望音のスペクトル成分を表す。「ｗ」、「ｗ（ｍ）」は、マイクロホンから入力された風雑音（時間領域）を表す。「Ｗ」、「Ｗ（ｋ）」、「Ｗ（ｋ、ｍ）」は、風雑音のスペクトル成分を表す。また、「ｎ」は時間インデックス（音声信号を所定時間毎にサンプリングしたときの各時間成分を表す指標）、「ｋ」は周波数インデックス（音声スペクトル信号を所定の周波数帯域毎に分割したときの各周波数成分を表す指標）、「ｍ」はサンプリングされた信号をあるまとまった数毎に束ねて扱う際のフレームインデックス（音声信号の各フレームを表す指標）である。以下では、説明の便宜上、周波数成分やフレームを明示する必要がない場合は、時間インデックスｎや、周波数インデックスｋ、フレームインデックスｍを適宜省略して表記する。

本実施形態に係る音声信号処理装置は、第１のマイクロホンから入力された音声信号ｘ_Ｌと、第２のマイクロホンから入力された音声信号ｘ_Ｒとの相関成分を表すパラメータとして、音声信号ｘ_Ｌと音声信号ｘ_ＲとのクロススペクトルＣ_ＬＲを求める。この際、音声スペクトル信号Ｘの周波数成分Ｘ（ｋ）ごとに、クロススペクトルＣ_ＬＲ（ｋ）を求める。クロススペクトルＣ_ＬＲ（ｋ）は、２つの音声信号ｘ_Ｌ、ｘ_ＲのスペクトルＸ_Ｌ、Ｘ_Ｒの周波数成分Ｘ_Ｌ（ｋ）、Ｘ_Ｒ（ｋ）を相互に掛け合わせた上で平均したものである。クロススペクトルＣ_ＬＲ（ｋ）が、大きな値を示すことは、その周波数帯域においては、２つの音声信号ｘ_Ｌ、ｘ_Ｒの周波数成分同士の相関が大きい上に、両者の周波数成分の大きさも大きいということを意味する。

さらに、音声信号ｘ_Ｌ、ｘ_Ｒの全体成分を表すパラメータとして、音声信号ｘ_Ｌ、ｘ_ＲのパワースペクトルＰ_Ｌ、Ｐ_Ｒを算出する。この際も、音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの周波数成分Ｘ_Ｌ（ｋ）、Ｘ_Ｒ（ｋ）ごとに、パワースペクトルＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）を求める。パワースペクトルＰ_Ｌ、Ｐ_Ｒは、音声信号ｘ_Ｌ、ｘ_Ｒのパワーを一定の周波数帯域毎に分割し、各周波数帯域のパワーを周波数の関数として表したものである。

そして、次の式（１）、（２）のように、周波数成分ごとにクロススペクトルＣ_ＬＲ（ｋ）をパワースペクトルＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）でそれぞれ除算して、周波数成分ごとの低減係数Ｇ_Ｌ（ｋ）、Ｇ_Ｒ（ｋ）を求める。この低減係数Ｇ_Ｌ（ｋ）、Ｇ_Ｒ（ｋ）は、「音声信号ｘ_Ｌ、ｘ_Ｒの全体成分を表すパラメータ（Ｐ_Ｌ、Ｐ_Ｒ）」に対する「音声信号ｘ_Ｌと音声信号ｘ_Ｒの相関成分を表すパラメータ（Ｃ_ＬＲ）」の比率に相当する。
Ｇ_Ｌ（ｋ）＝Ｃ_ＬＲ（ｋ）／Ｐ_Ｌ（ｋ） ・・・（１）
Ｇ_Ｒ（ｋ）＝Ｃ_ＬＲ（ｋ）／Ｐ_Ｒ（ｋ） ・・・（２）

さらに、次の式（３）、（４）のように、周波数成分ごとに低減係数Ｇ_Ｌ（ｋ）、Ｇ_Ｒ（ｋ）を音声スペクトル信号Ｘ_Ｌ（ｋ）、Ｘ_Ｒ（ｋ）にそれぞれ乗算して、Ｘ_Ｌ（ｋ）、Ｘ_Ｒ（ｋ）を減衰させ、風雑音が低減された音声スペクトル信号Ｙ_Ｌ（ｋ）、Ｙ_Ｒ（ｋ）を得る。その後、この信号Ｙ_Ｌ（ｋ）、Ｙ_Ｌ（ｋ）を時間領域に変換して、風雑音が低減された音声信号ｙ_Ｌ、ｙ_Ｒを得る。
Ｙ_Ｌ（ｋ）＝Ｇ_Ｌ（ｋ）・Ｘ_Ｌ（ｋ） ・・・（３）
Ｙ_Ｒ（ｋ）＝Ｇ_Ｒ（ｋ）・Ｘ_Ｒ（ｋ） ・・・（４）

以上のように、本実施形態に係る音声信号処理装置は、低減係数Ｇ（ｋ）を音声スペクトル信号Ｘ（ｋ）に乗算することで、風雑音を低減する。上記低減係数Ｇの算出方法について詳述する。

所望音と風雑音を含む音声信号ｘ（ｍ）を周波数領域に変換した音声スペクトル信号Ｘ（ｋ，ｍ）は、所望音のスペクトル信号Ｓ（ｋ，ｍ）と、風雑音のスペクトル信号Ｗ（ｋ，ｍ）を用いて以下の式（１０）、（１１）で表される。
Ｘ_Ｌ（ｋ，ｍ）＝Ｓ_Ｌ（ｋ，ｍ）＋Ｗ_Ｌ（ｋ，ｍ） ・・・（１０）
Ｘ_Ｒ（ｋ，ｍ）＝Ｓ_Ｒ（ｋ，ｍ）＋Ｗ_Ｒ（ｋ，ｍ） ・・・（１１）

まず、クロススペクトルＣ_ＬＲの算出式について説明する。２つのマイクロホンから入力される音声信号ｘ_Ｌとｘ_ＲのクロススペクトルＣ_ＬＲ（ｋ）は、以下の式（１３）で表される。Ｃ_ＬＲ（ｋ）は、周波数成分ごとに、一方の音声スペクトル信号Ｘ_Ｌ（ｋ）と、他方の音声スペクトル信号Ｘ_Ｒ（ｋ）の複素共役であるＸ^＊ _Ｒ（ｋ）とを掛け合わせたものの期待値（平均値）である。実際には、Ｃ_ＬＲ（ｋ）として、Ｘ_Ｒ（ｋ）とＸ^＊ _Ｒ（ｋ）とを掛け合わせたものの時間平均を求めればよい。

ここで、所望音と風雑音の間には相関がないと仮定すると、式（１３）の右辺第２項及び第３項がゼロとなるので、式（１４）が得られる。さらに、上記のように風雑音の相互相関はゼロと見なすことができるので、式（１４）の右辺第２項はゼロとなる。また。所望音の相互相関は１と見なすことができるので、式（１５）のように簡略できる。この結果、式（１３）〜（１５）から式（１６）が得られる。

次に、パワースペクトルＰ_Ｌ、Ｐ_Ｒの算出式について説明する。音声信号ｘ_ＬのパワースペクトルＰ_Ｌ（ｋ）は、以下の式（１７）で表される。さらに、所望音と風雑音の間には相関がないと仮定すると、式（１７）の右辺第２項及び第３項がゼロとなるので、式（１８）が得られる。また、音声信号ｘ_ＲのパワースペクトルＰ_Ｒ（ｋ）の算出式（１９）も同様にして得られる。

以上のようにして求めたクロススペクトルＣ_ＬＲをパワースペクトルＰ_Ｌ、Ｐ_Ｒでそれぞれ除算することで、以下の式（２０）、（２１）に示すように、周波数成分ごとに低減係数Ｇ_Ｌ、Ｇ_Ｒが算出される。

上記式（２０）、（２１）に示す低減係数Ｇ_Ｌ、Ｇ_Ｒは、音声信号ｘから風雑音成分の信号ｗを除いた所望音成分の信号ｓを得るためのウィナーフィルタ（Ｗｉｅｎｅｒ Ｆｉｌｔｅｒ）に相当する。このウィナーフィルタ形式の低減係数Ｇ_Ｌ、Ｇ_Ｒを用いることで、実際にマイクロホンから入力された音声信号ｘから風雑音成分の信号ｗを除去し、最適な所望音成分の信号ｓを推定することができる。ここで、最適とは、所望音の元信号と推定信号との間の複素スペクトルの二乗誤差が最小となるように、所望音成分の信号ｓを推定できることを意味する。以下に、このウィナーフィルタ形式の低減係数Ｇ_Ｌ、Ｇ_Ｒの意義について説明する。

［１．２．３．ウィナーフィルタ形式の低減係数の意義］
ウィナーフィルタは、元信号ｓ（ｎ）に対して二乗誤差｛（ｓ（ｎ）−ｓ’（ｎ））^２｝が最小となるような信号ｓ’（ｎ）を推定するためのフィルタである。具体的には、図５（ａ）に示すように、外部から元信号ｓ（ｎ）と無相関な雑音ｎ（ｎ）が元信号ｓ（ｎ）に対して加わり、ｘ（ｎ）のみが収音される場合を考える。この場合、ｓ（ｎ）のみを収音できないので、実際に収音された信号ｘ（ｎ）からｓ（ｎ）を推定せざるを得ない。この際、元信号ｓ（ｎ）に対して信号波形上の二乗距離（二乗誤差）を最小にする推定信号ｓ’（ｎ）を求めるためのフィルタが、ウィナーフィルタである。

本実施形態では、マイクロホンから入力された音声信号ｘをフレーム化して周波数変換した音声スペクトル信号Ｘを、周波数成分ごとに処理する。そこで、上記図５（ａ）のウィナーフィルタは、図５（ｂ）に示すように変形できる。なお、ｋは周波数インデックス、ｍはフレームインデックスである。

図５（ｂ）に示すように、所望音のスペクトル信号Ｓ（ｋ，ｍ）に対して、外部から元信号Ｓ（ｋ，ｍ）と無相関な雑音のスペクトル信号Ｎ（ｋ，ｍ）が加わり、Ｘ（ｋ，ｍ）が観測される場合を考える。この場合も、信号Ｘ（ｋ，ｍ）から所望音の元信号Ｓ（ｋ，ｍ）を推定せざるを得ないので、元信号Ｓ（ｋ，ｍ）に対して複素スペクトル上で二乗誤差を最小にする推定信号Ｓ’（ｋ，ｍ）を求めることになる。つまり、以下の式（３０）、（３１）で示すＧ（ｋ）を推定することになる。

上記式（３０）の右辺を展開すると、以下の式（３２）が得られる。また、上記式（３０）の右辺を最小にするＧ（ｋ）を求めるためには、以下の式（３３）を解けばよい。そこで、式（３３）に式（３２）を代入して整理すると、以下の式（３４）が得られる。

また、音声全体のスペクトルＸ（ｋ，ｍ）は、所望音のスペクトルＳ（ｋ，ｍ）と雑音のスペクトルＮ（ｋ，ｍ）の和である。そこで、上記式（３４）に、Ｘ（ｋ，ｍ）＝Ｓ（ｋ，ｍ）＋Ｎ（ｋ，ｍ）を代入すると、以下の式（３５）が得られる。ここで、所望音の元信号Ｓと雑音の信号Ｎは無相関であると仮定しているので、以下の式（３６）、（３７）が成り立つ。

以上から、Ｇ（ｋ）の算出式として、以下の式（３８）を得ることができる。

この式（３８）は、上述したＧ（ｋ）の算出式（２０）、（２１）と同一である。上記式（２０）、（２１）では、パワースペクトルＰ_Ｌ、Ｐ_Ｒに対するクロススペクトルＣ_ＬＲの比率として、低減係数Ｇ_Ｌ（ｋ）、Ｇ_Ｒ（ｋ）を求めた。これに対し、上記式（３０）〜（３８）のようにして、観測信号Ｘから元信号Ｓを推定するためのウィナーフィルタＧ（ｋ）を求めた場合も、同様な式が得られる。

そもそもウィナーフィルタは、観測信号から、元信号に対する二乗誤差が最小となる推定信号を得るための推定方式である。つまり、元信号の推定方式として他にも様々な方式がある中で、ウィナーフィルタによる推定方式によれば、元信号と推定信号との距離が最小になるということである。

従って、本実施形態に係る低減係数Ｇが上記ウィナーフィルタ形式で記述される（式（２０）、（２１）参照。）ということは、風雑音以外の所望音の推定信号として、複素スペクトルの二乗距離において所望音の元信号に最も近い推定信号を得ることができることを意味する。従って、本実施形態に係るウィナーフィルタ形式の低減係数Ｇ_Ｌ、Ｇ_Ｒを用いることで、所望音の元信号に対して複素スペクトルの二乗誤差が最小となるように、所望音の推定信号を適切に推定することができる。

上記特許文献１の技術では、２つの入力音声信号の相関値から風雑音が有ると判定された場合に、常に一定の低減係数を音声スペクトルに乗算して、風雑音を低減していた。これに対し、本実施形態では、上記風雑音の強さＷ（ｋ）や相関のみならず、所望音の強さＳ（ｋ）や相関をも考慮して、ウィナーフィルタ形式の低減係数Ｇを算出する（式（２０）、（２１））。そして、当該低減係数Ｇを音声スペクトル信号Ｘに乗算して（式（３）、（４））、風雑音を低減する。係る低減方法により、所望音の劣化を抑制して、所望音の自然な抑揚を確保しつつ、風雑音を適切に低減することが可能になる。

［１．３．音声信号処理装置の構成］
［１．３．１．音声信号処理装置のハードウェア構成］
次に、図６を参照して、本実施形態に係る音声信号処理装置のハードウェア構成例について説明する。図６は、本実施形態に係る音声信号処理装置が適用されたデジタルカメラ１のハードウェア構成を示すブロック図である。

本実施形態に係るデジタルカメラ１は、例えば、動画撮像中に動画と共に音声も記録可能な撮像装置である。このデジタルカメラ１は、被写体を撮像して、当該撮像により得られた撮像画像（静止画又は動画のいずれでもよい。）をデジタル方式の画像データに変換し、音声とともに記録媒体に記録する。

図６に示すように、本実施形態に係るデジタルカメラ１は、概略的には、撮像部１０と、画像処理部２０と、表示部３０と、記録媒体４０と、収音部５０と、音声処理部６０と、制御部７０と、操作部８０とを備える。

撮像部１０は、被写体を撮像して、撮像画像を表すアナログ画像信号を出力する。撮像部１０は、撮像光学系１１と、撮像素子１２と、タイミングジェネレータ１３と、駆動装置１４とを備える。

撮像光学系１１は、フォーカスレンズ、ズームレンズ、補正レンズ等の各種レンズや、不要な波長を除去する光学フィルタ、シャッター、絞り等の光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１における各光学部品を介して、撮像素子１２の露光面に結像される。撮像素子１２（イメージセンサ）は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で構成される。この撮像素子１２は、撮像光学系１１から導かれた光学像を光電変換し、撮像画像を表す電気信号（アナログ画像信号）を出力する。

撮像光学系１１には、該撮像光学系１１の光学部品を駆動するための駆動装置１４が機械的に接続されている。この駆動装置１４は、例えば、ズームモータ１５、フォーカスモータ１６、絞り調整機構（図示せず。）などを含む。駆動装置１４は、後述する制御部７０の指示に従って、撮像光学系１１の光学部品を駆動させ、ズームレンズ、フォーカスレンズを移動させたり、絞りを調整したりする。例えば、ズームモータ１５は、ズームレンズをテレ／ワイド方向に移動させることで、画角を調整するズーム動作を行う。また、フォーカスモータ１６は、フォーカスレンズを移動させることで、被写体に焦点を合わせるフォーカス動作を行う。

また、タイミングジェネレータ（ＴＧ）１３は、制御部７０の指示に従って、撮像素子１２に必要な動作パルスを生成する。例えば、ＴＧ１３は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子１２に供給する。このＴＧ１３により撮像素子１２を駆動させることで、被写体像が撮像される。また、ＴＧ１３が、撮像素子１２のシャッタースピードを調整することで、撮像画像の露光量や露光期間が制御される（電子シャッター機能）。上記の撮像素子１２が出力した画像信号は画像処理部２０に入力される。

画像処理部２０は、マイクロコントローラなどの電子回路で構成され、撮像素子１２から出力される画像信号に対して所定の画像処理を施し、当該画像処理後の画像信号を表示部３０や制御部７０に出力する。画像処理部２０は、アナログ信号処理部２１、アナログ／デジタル（Ａ／Ｄ）変換部２２、デジタル信号処理部２３を備える。

アナログ信号処理部２１は、画像信号を前処理する所謂アナログフロントエンドである。該アナログ信号処理部２１は、例えば、撮像素子１２から出力される画像信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理などを行う。Ａ／Ｄ変換部２２は、アナログ信号処理部２１から入力されたアナログ画像信号をデジタル画像信号に変換して、デジタル信号処理部２３に出力する。デジタル信号処理部２３は、入力されたデジタル画像信号に対して、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正等のデジタル信号処理を行って、表示部３０や制御部７０等に出力する。

表示部３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどの表示装置で構成される。表示部３０は、制御部７０による制御に従って、入力された各種の画像データを表示する。例えば、表示部３０は、撮像中に画像処理部２０からリアルタイムで入力される撮像画像（スルー画像）を表示する。これにより、ユーザは、デジタルカメラ１で撮像中のスルー画像を見ながら、デジタルカメラ１を操作することができる。また、記録媒体４０に記録されている撮像画像を再生したときに、表示部３０は、当該再生画像を表示する。これにより、ユーザは、記録媒体４０に記録されている撮像画像の内容を確認することができる。

記録媒体４０は、上記撮像画像のデータ、そのメタデータなどの各種のデータを記憶する。記録媒体４０は、例えば、メモリカード等の半導体メモリ、又は、光ディスク、ハードディスク等のディスク状記録媒体などを使用できる。なお、光ディスクは、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）又はＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）等を含む。なお、記録媒体４０は、デジタルカメラ１に内蔵されてもよいし、デジタルカメラ１に着脱可能なリムーバブルメディアであってもよい。

収音部５０は、デジタルカメラ１周辺の外部音声を収音する。本実施形態に係る収音部５０は、２つの外部音声収録用のマイクロホン５１Ｌ、５１Ｒからなるステレオマイクロホンで構成される。マイクロホン５１Ｌ、５１Ｒは、デジタルカメラ１の同一の筐体に、相互に隣接して配置される。２つのマイクロホン５１Ｌ、５１Ｒは、外部音声を収音して得られた音声信号をそれぞれ出力する。かかる収音部５０により、動画撮像中に外部音声を収音して、動画と共に記録できるようになる。

音声処理部６０は、マイクロコントローラなどの電子回路で構成され、音声信号に対して所定の音声処理を施して、記録用の音声信号を出力する。この音声処理は、例えば、ＡＤ変換処理、雑音低減処理などを含む。本実施形態は、この音声処理部６０による雑音低減処理を特徴としているが、その詳細説明は後述する。

制御部７０は、マイクロコントローラなどの電子回路で構成され、デジタルカメラ１の全体の動作を制御する。制御部７０は、例えば、ＣＰＵ７１、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）７２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７４を備える。かかる制御部７０は、デジタルカメラ１内の各部を制御する。

制御部７０におけるＲＯＭ７３には、ＣＰＵ７１に各種の制御処理を実行させるためのプログラムが格納されている。ＣＰＵ７１は、該プログラムに基づいて動作して、ＲＡＭ７４を用いながら、上記各制御のための必要な演算・制御処理を実行する。該プログラムは、デジタルカメラ１に内蔵された記憶装置（例えば、ＥＥＰＲＯＭ７２、ＲＯＭ７３等）に予め格納しておくことができる。また、当該プログラムは、ディスク状記録媒体、メモリカードなどのリムーバブル記録媒体に格納されて、デジタルカメラ１に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介してデジタルカメラ１にダウンロードされてもよい。

ここで、制御部７０による制御の具体例について説明する。制御部７０は、上記撮像部１０のＴＧ１３や駆動装置１４を制御して、撮像部１０による撮像処理を制御する。例えば、制御部７０は、上記撮像光学系１１の絞りの調整、撮像素子１２の電子シャッタースピードの設定、アナログ信号処理部２１のＡＧＣのゲイン設定などにより、自動露光制御を行う（ＡＥ機能）。また、制御部７０は、上記撮像光学系１１のフォーカスレンズを移動させて、フォーカスポジションを変更することで、特定の被写体に対して撮像光学系１１の焦点を自動的に合わせるオートフォーカス制御を行う（ＡＦ機能）。また、制御部７０は、上記撮像光学系１１のズームレンズを移動させて、ズームポジションを変更することで、撮像画像の画角を調整する。また、制御部７０は、記録媒体４０に対して撮像画像、メタデータなどの各種のデータを記録し、また、記録媒体４０に記録されているデータを読み出して再生する。さらに、制御部７０は、表示部３０に表示するための各種の表示画像を生成し、表示部３０を制御して該表示画像を表示させる。また、制御部７０は、マイクロホン５１Ｌ、５１Ｒにより収音された音声信号から雑音を低減するために、音声処理部６０の動作を制御する。

操作部８０、表示部３０は、ユーザがデジタルカメラ１の動作を操作するためのユーザインターフェースとして機能する。操作部８０は、ボタン、レバー等の各種の操作キー、又はタッチパネル等で構成され、例えば、ズームボタン、シャッターボタン、電源ボタンなどを含む。操作部８０は、ユーザ操作に応じて、各種の撮像動作を指示するための指示情報を制御部７０に出力する。

［１．３．２．音声信号処理装置の機能構成］
次に、図７を参照して、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図７は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。

図７に示すように、音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒと、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ｌ、６１Ｒと、クロススペクトル算出部６２と、２つのパワースペクトル算出部６３Ｌ、６３Ｒと、２つの雑音低減部６４Ｌ、６４Ｒと、２つの時間変換部６５Ｌ、６５Ｒとを備える。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０の備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。

マイクロホン５１Ｌ、５１Ｒは、上述したステレオマイクロホンを構成する。マイクロホン５１Ｌ（第１のマイクロホンに相当する。）は、Ｌチャンネルの音声を収音するためのマイクロホンであり、デジタルカメラ１の外部から伝わる外部音声を収音してＬｃｈ用の音声信号ｘ_Ｌ（第１の音声信号）を出力する。マイクロホン５１Ｒ（第２のマイクロホンに相当する。）は、Ｒチャンネルの音声を収音するためのマイクロホンであり、上記外部音声を収音してＲｃｈ用の音声信号ｘ_Ｒ（第２の音声信号）を出力する。これらマイクロホン５１Ｌ、５１Ｒは、相互に隣接して配置されており、両マイクロホン５１Ｌ、５１Ｒの間隔は、例えば５ｃｍ以下である。

かかるマイクロホン５１Ｌ、５１Ｒ（以下、マイクロホン５１と総称する。）は、デジタルカメラ１周辺の外部音声（環境音、人の話し声等の所望音）を録音するためのマイクロホンである。しかし、マイクロホン５１に風が当たるときには、風雑音が発生して上記外部音声に混入する。従って、マイクロホン５１Ｌ、５１Ｒを通じて入力される音声信号ｘ_Ｌ、ｘ_Ｒには、所望音成分のみならず、風雑音成分も含まれることとなる。そこで、音声信号ｘ_Ｌ、ｘ_Ｒから風雑音等の雑音成分を除去するために、以下の各部が設けられている。

周波数変換部６１Ｌ、６１Ｒ（以下、周波数変換部６１と総称する。）は、フレーム単位で、時間領域の音声信号ｘ_Ｌ、ｘ_Ｒを、周波数領域の音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒに変換する機能を有する。ここで、スペクトルとは、周波数スペクトルを意味する。音声信号ｘ_Ｌ、ｘ_Ｒの時間変化に追従するために、周波数変換部６１は、例えば２０〜３０ｍｓ毎に周波数変換することが望ましい。

周波数変換部６１Ｌ（第１の周波数変換部）には、Ｌｃｈ用のマイクロホン５１Ｌから音声信号ｘ_Ｌが入力される。周波数変換部６１Ｌは、音声信号ｘ_Ｌを所定時間のフレーム単位で分割し、当該分割された音声信号ｘ_Ｌをフーリエ変換することで、周波数ごとのパワーを示した音声スペクトル信号Ｘ_Ｌを生成する。同様に、周波数変換部６１Ｒ（第２の周波数変換部）には、Ｒｃｈ用のマイクロホン５１Ｒから音声信号ｘ_Ｒが入力される。周波数変換部６１Ｒは、音声信号ｘ_Ｒを所定時間のフレーム単位で分割し、当該分割された音声信号ｘ_Ｒをフーリエ変換することで、周波数ごとのパワーを示した音声スペクトル信号Ｘ_Ｒを生成する。

クロススペクトル算出部６２には、周波数変換部６１Ｌから音声スペクトル信号Ｘ_Ｌが入力され、周波数変換部６１Ｒから音声スペクトル信号Ｘ_Ｒが入力される。クロススペクトル算出部６２は、音声スペクトル信号Ｘ_Ｌ及び音声スペクトル信号Ｘ_Ｒを演算することにより、音声信号ｘ_Ｌと音声信号ｘ_ＲとのクロススペクトルＣ_ＬＲを算出する。クロススペクトル算出部６２は、相関成分算出部の一例であり、音声信号ｘ_Ｌと音声信号ｘ_Ｒとの相関成分を表すパラメータとして、クロススペクトルＣ_ＬＲを算出する。かかるクロススペクトル算出部６２は、上述した式（１６）により、音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの周波数成分ごとに、Ｃ_ＬＲ（ｋ）を算出する。なお、クロススペクトル算出部６２によるクロススペクトルＣ_ＬＲの算出処理の詳細は後述する。

パワースペクトル算出部６３Ｌ、６３Ｒ（以下、パワースペクトル算出部６３と総称する。）は、音声信号ｘ_Ｌ、音声信号ｘ_ＲのパワースペクトルＰ_Ｌ、Ｐ_Ｒを算出する機能を有する。パワースペクトル算出部６３は、全体成分算出部の一例であり、音声信号ｘ_Ｌ、音声信号ｘ_Ｒの全体成分を表すパラメータとして、パワースペクトルＰ_Ｌ、Ｐ_Ｒをそれぞれ算出する。

パワースペクトル算出部６３Ｌ（第１のパワースペクトル算出部）には、周波数変換部６１Ｌから音声スペクトル信号Ｘ_Ｌが入力される。パワースペクトル算出部６３Ｌは、音声スペクトル信号Ｘ_Ｌを演算することにより、音声信号ｘ_ＬのパワースペクトルＰ_Ｌを算出する。同様に、パワースペクトル算出部６３Ｒ（第２のパワースペクトル算出部）には、周波数変換部６１Ｒから音声スペクトル信号Ｘ_Ｒが入力される。パワースペクトル算出部６３Ｒは、音声スペクトル信号Ｘ_Ｒを演算することにより、音声信号ｘ_ＲのパワースペクトルＰ_Ｒを算出する。かかるパワースペクトル算出部６３は、上述した式（１８）、（１９）により、音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの周波数成分ごとに、パワースペクトルＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）を算出する。なお、クロススペクトル算出部６３によるパワースペクトルＰ_Ｌ、Ｐ_Ｒの算出処理の詳細は後述する。

雑音低減部６４Ｌ、６４Ｒ（以下、雑音低減部６４と総称する。）は、上記クロススペクトルＣ_ＬＲ及びパワースペクトルＰ_Ｌ、Ｐ_Ｒから低減係数Ｇ_Ｌ、Ｇ_Ｒを算出し、当該低減係数Ｇ_Ｌ、Ｇ_Ｒを用いて音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを補正して、風雑音を低減する機能を有する。

雑音低減部６４Ｌ（第１の雑音低減部）には、周波数変換部６１Ｌから音声スペクトル信号Ｘ_Ｌが入力され、クロススペクトル算出部６２からクロススペクトルＣ_ＬＲが入力され、パワースペクトル算出部６３ＬからパワースペクトルＰ_Ｌが入力される。雑音低減部６４Ｌは、Ｌｃｈの音声信号ｘ_Ｌの風雑音を低減するための低減係数Ｇ_Ｌとして、Ｌｃｈの音声信号ｘ_ＬのパワースペクトルＰ_Ｌに対するクロススペクトルＣ_ＬＲの比率を算出する（Ｇ_Ｌ＝Ｃ_ＬＲ／Ｐ_Ｌ）。同様に、雑音低減部６４Ｒ（第２の雑音低減部）には、周波数変換部６１Ｒから音声スペクトル信号Ｘ_Ｒが入力され、クロススペクトル算出部６２からクロススペクトルＣ_ＬＲが入力され、パワースペクトル算出部６３ＲからパワースペクトルＰ_Ｒが入力される。雑音低減部６４Ｒ（第２の雑音低減部）は、Ｒｃｈの音声信号ｘ_Ｒの風雑音を低減するための低減係数Ｇ_Ｒとして、Ｒｃｈの音声信号ｘ_ＲのパワースペクトルＰ_Ｒに対するクロススペクトルＣ_ＬＲの比率を算出する（Ｇ_Ｒ＝Ｃ_ＬＲ／Ｐ_Ｒ）。かかる雑音低減部６４Ｌ、６４Ｒは、上述した式（２０）、（２１）により、音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの周波数成分ごとに、低減係数Ｇ_Ｌ、Ｇ_Ｒを算出する。

さらに、雑音低減部６４Ｌは、周波数変換部６１Ｌから入力される音声スペクトル信号Ｘ_Ｌに低減係数Ｇ_Ｌを乗算して、音声スペクトル信号Ｘ_Ｌを減衰させ、風雑音が低減された音声スペクトル信号Ｙ_Ｌ（ｋ）を出力する（上記式（３）を参照。）。同様に、雑音低減部６４Ｒは、周波数変換部６１Ｒから入力される音声スペクトル信号Ｘ_Ｒに低減係数Ｇ_Ｒを乗算して、音声スペクトル信号Ｘ_Ｒを減衰させ、風雑音が低減された音声スペクトル信号Ｙ_Ｒを出力する（上記式（４）を参照。）この際、雑音低減部６４は、上述した式（３）、（４）のように、音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの周波数成分ごとに、当該信号Ｘ_Ｌ（ｋ）、Ｘ_Ｒ（ｋ）に低減係数Ｇ_Ｌ、Ｇ_Ｒを乗算して、音声スペクトル信号Ｙ_Ｌ、Ｙ_Ｒを生成する。なお、雑音低減部６４による雑音低減処理の詳細は後述する。

時間変換部６５Ｌ、６５Ｒ（以下、時間変換部６５と総称する。）は、周波数領域の音声スペクトル信号Ｙ_Ｌ、Ｙ_Ｒを、時間領域の音声信号ｙ_Ｌ、ｙ_Ｒに逆変換する機能を有する。時間変換部６５Ｌ（第１の時間変換部）は、雑音低減部６４Ｌから入力される音声スペクトル信号Ｙ_Ｌを逆フーリエ変換することで、フレーム単位ごとの音声信号ｙ_Ｌを生成する。同様に、時間変換部６５Ｒ（第２の時間変換部）は、雑音低減部６４Ｒから入力される音声スペクトル信号Ｙ_Ｒを逆フーリエ変換することで、フレーム単位ごとの音声信号ｙ_Ｒを生成する。かかる音声信号ｙ_Ｌ、ｙ_Ｒは、音声信号ｘ_Ｌ、ｘ_Ｒに含まれていた風雑音成分が適切に除去された後の所望音成分の音声信号である。

以上、本実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。音声処理部６０は、上記デジタルカメラ１による動画及び音声の記録中に、２つのマイクロホン５１Ｌ、５１Ｒから入力される音声信号ｘ_Ｌ、ｘ_ＲのクロススペクトルＣ_ＬＲ及びパワースペクトルＰ_Ｌ、Ｐ_Ｒから、当該音声信号ｘ_Ｌ、ｘ_Ｒの特性に応じた低減係数Ｇ_Ｌ、Ｇ_Ｒを算出する。そして、当該低減係数Ｇ_Ｌ、Ｇ_Ｒを利用して、外部音声から風雑音を適切に低減する。この際、所望音の強さ等に応じて変動する適切な低減係数Ｇ_Ｌ、Ｇ_Ｒを用いるので、所望音に強弱が有る場合であっても、所望音が自然な連続性を保つように信号を減衰させることができるので、所望音の音質劣化を抑制できる。

［１．４．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（風雑音の低減方法）について説明する。

［１．４．１．音声信号処理装置の全体動作］
まず、上記図７で示した音声信号処理装置の全体動作について説明する。音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒからそれぞれ入力される音声信号ｘ_Ｌ、ｘ_Ｒをフレームに分割し、フレーム単位で雑音低減処理を行う。ｍ番目のフレームの音声信号ｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）が入力されると、周波数変換部６１Ｌ、６１Ｒは、当該音声信号ｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）をフーリエ変換して、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを周波数成分ごとに出力する。この音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの周波数成分Ｘ_Ｌ（ｋ，ｍ）、Ｘ_Ｒ（ｋ，ｍ）は、信号Ｘ_Ｌ、Ｘ_Ｒを所定の帯域幅の周波数帯域に分割したものである。

周波数変換部６１Ｌ、６１Ｒから、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒのｋ番目の周波数成分Ｘ_Ｌ（ｋ，ｍ）、Ｘ_Ｒ（ｋ，ｍ）が出力されると、クロススペクトル算出部６２によりクロススペクトルＣ_ＬＲ（ｋ）が算出されると同時に、パワースペクトル算出部６３Ｌ、６３ＲによりパワースペクトルＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）が算出される。

そして、雑音低減部６４Ｌにより、Ｃ_ＬＲ（ｋ）とＰ_Ｌ（ｋ）から低減係数Ｇ_Ｌ（ｋ）が算出されて、音声スペクトル信号Ｘ_Ｌのｋ番目の周波数成分Ｘ_Ｌ（ｋ，ｍ）に乗算され、風雑音が低減された音声スペクトル信号Ｙ_Ｌのｋ番目の周波数成分Ｙ_Ｌ（ｋ，ｍ）が出力される。また、雑音低減部６４Ｒにより、Ｃ_ＬＲ（ｋ）とＰ_Ｒ（ｋ）から低減係数Ｇ_Ｒ（ｋ）が算出されて、音声スペクトル信号Ｘ_Ｌのｋ番目の周波数成分Ｘ_Ｒ（ｋ，ｍ）に乗算され、風雑音が低減された音声スペクトル信号のｋ番目の周波数成分Ｙ_Ｒ（ｋ，ｍ）が出力される。

そして、時間変換部６５Ｌ、６５Ｒにより、上記音声スペクトル信号Ｙ_Ｌ、Ｙ_Ｒのｋ番目の周波数成分Ｙ_Ｌ（ｋ，ｍ）、Ｙ_Ｒ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙ_Ｌ（ｍ）、ｙ_Ｒ（ｍ）がフレーム単位で出力される。

［１．４．２．クロススペクトル算出部の動作］
次に、図８を参照して、本実施形態に係るクロススペクトル算出部６２の動作について説明する。図８は、本実施形態に係るクロススペクトル算出部６２の動作を示すフローチャートである。

図８に示すように、まず、クロススペクトル算出部６２は、周波数変換部６１Ｌから音声スペクトル信号Ｘ_Ｌの各周波数成分Ｘ_Ｌ（ｋ，ｍ）を取得するとともに、周波数変換部６１Ｒから音声スペクトル信号Ｘ_Ｒの各周波数成分Ｘ_Ｒ（ｋ，ｍ）を取得する（Ｓ１０）。なお、ｍは、周波数変換するためにブロック化された音声信号ｘのフレームインデックス（フレーム番号）を示す。

次いで、クロススペクトル算出部６２は、以下の式（４０）に示すように、音声スペクトル信号Ｘ_Ｌ、音声スペクトル信号Ｘ_Ｒを演算して、周波数成分ごとにクロススペクトルｃ（ｋ，ｍ）を算出する（Ｓ１２）。実際の計算では、Ｘ_Ｌの虚部を用いずに実部のみを用いてｃ（ｋ，ｍ）を算出してもよい。
ｃ（ｋ，ｍ）＝Ｅ［Ｘ_Ｌ（ｋ，ｍ）・Ｘ_Ｒ ^＊（ｋ，ｍ）］
＝Ｅ［Ｒｅ（Ｘ_Ｌ（ｋ，ｍ）・Ｘ_Ｒ ^＊（ｋ，ｍ））］ ・・・（４０）

その後、クロススペクトル算出部６２は、周波数成分ごとに、Ｓ１２で算出された現在のフレームのクロススペクトルｃ（ｋ，ｍ）と、過去に算出されたクロススペクトルＣ_ＬＲ（ｋ）との平均値を算出し、各周波数成分のクロススペクトルＣ_ＬＲ（ｋ）を更新する（Ｓ１４）。ここで、過去に算出されたクロススペクトルＣ_ＬＲ（ｋ）とは、過去に入力されたフレームの音声信号ｘ_Ｌ、ｘ_Ｒから上記と同様にして算出されたクロススペクトルＣ_ＬＲ（ｋ）の平均値である。

具体的には、クロススペクトル算出部６２は、不図示の記憶部に記憶されている過去のＣ_ＬＲ（ｋ）を読み出し、以下の式（４１）に示すように、平滑化係数ｒ（０＜ｒ＜１）を用いてＣ_ＬＲ（ｋ）とｃ（ｋ，ｍ）を平滑化することにより、Ｃ_ＬＲ（ｋ）を更新する。このように、現在のフレームのｃ（ｋ，ｍ）と過去のフレームのＣ_ＬＲ（ｋ）を平滑化することで、個々のフレームの音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高いクロススペクトルＣ_ＬＲを算出できる。
Ｃ_ＬＲ（ｋ）＝ｒ・Ｃ_ＬＲ（ｋ）＋（１−ｒ）・ｃ（ｋ，ｍ） ・・・（４１）

［１．４．３．パワースペクトル算出部の動作］
次に、図９を参照して、本実施形態に係るパワースペクトル算出部６３の動作について説明する。図９は、本実施形態に係るパワースペクトル算出部６３の動作を示すフローチャートである。

図９に示すように、まず、パワースペクトル算出部６３Ｌは、周波数変換部６１Ｌから音声スペクトル信号Ｘ_Ｌの各周波数成分Ｘ_Ｌ（ｋ，ｍ）を取得し、パワースペクトル算出部６３Ｒは、周波数変換部６１Ｒから音声スペクトル信号Ｘ_Ｒの各周波数成分Ｘ_Ｒ（ｋ，ｍ）を取得する（Ｓ２０）。

次いで、パワースペクトル算出部６３Ｌ、６３Ｒはそれぞれ、以下の式（４２）、（４３）に示すように、音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを演算して、周波数成分ごとにパワースペクトルｐ_Ｌ（ｋ，ｍ）、ｐ_Ｒ（ｋ，ｍ）を算出する（Ｓ２２）。
ｐ_Ｌ（ｋ，ｍ）＝Ｘ_Ｌ（ｋ，ｍ）・Ｘ_Ｌ ^＊（ｋ，ｍ） ・・・（４２）
ｐ_Ｒ（ｋ，ｍ）＝Ｘ_Ｒ（ｋ，ｍ）・Ｘ_Ｒ ^＊（ｋ，ｍ） ・・・（４３）

その後、パワースペクトル算出部６３Ｌ、６３Ｒはそれぞれ、周波数成分ごとに、Ｓ２２で算出された現在のフレームのパワースペクトルｐ_Ｌ（ｋ，ｍ）、ｐ_Ｒ（ｋ，ｍ）と、過去に算出されたパワースペクトルＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）との平均値を算出し、各周波数成分のパワースペクトルＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）を更新する（Ｓ２４）。ここで、過去に算出されたパワースペクトルＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）とは、過去に入力されたフレームの音声信号ｘ_Ｌ、ｘ_Ｒから上記と同様にして算出されたパワースペクトルＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）の平均値である。

具体的には、パワースペクトル算出部６３Ｌは、不図示の記憶部に記憶されている過去のＰ_Ｌ（ｋ）を読み出し、以下の式（４４）に示すように、平滑化係数ｒ（０＜ｒ＜１）を用いてＰ_Ｌ（ｋ）とｐ_Ｌ（ｋ，ｍ）を平滑化することにより、Ｐ_Ｌ（ｋ）を更新する。同様に、パワースペクトル算出部６３Ｒは、不図示の記憶部に記憶されている過去のＰ_Ｒ（ｋ）を読み出し、以下の式（４５）に示すように、平滑化係数ｒ（０＜ｒ＜１）を用いてＰ_Ｒ（ｋ）とｐ_Ｒ（ｋ，ｍ）を平滑化することにより、Ｐ_Ｒ（ｋ）を更新する。このように、現在のフレームのｐ_Ｌ（ｋ，ｍ）、ｐ_Ｒ（ｋ，ｍ）と過去のフレームのＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）を平滑化することで、個々のフレームの音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高いパワースペクトルＰ_Ｌ、Ｐ_Ｒを算出できる。
Ｐ_Ｌ（ｋ）＝ｒ・Ｐ_Ｌ（ｋ）＋（１−ｒ）・ｐ_Ｌ（ｋ，ｍ） ・・・（４４）
Ｐ_Ｒ（ｋ）＝ｒ・Ｐ_Ｒ（ｋ）＋（１−ｒ）・ｐ_Ｒ（ｋ，ｍ） ・・・（４５）

［１．４．４．雑音低減部の動作］
次に、図１０を参照して、本実施形態に係る雑音低減部６４の動作について説明する。図１０は、本実施形態に係る雑音低減部６４の動作を示すフローチャートである。

図１０に示すように、まず、雑音低減部６４Ｌは、周波数変換部６１Ｌから音声スペクトル信号Ｘ_Ｌの各周波数成分Ｘ_Ｌ（ｋ，ｍ）を取得し、雑音低減部６４Ｒは、周波数変換部６１Ｌから音声スペクトル信号Ｘ_Ｒの各周波数成分Ｘ_Ｒ（ｋ，ｍ）を取得する（Ｓ３０）。

さらに、雑音低減部６４Ｌは、クロススペクトル算出部６２から各周波数成分のクロススペクトルＣ_ＬＲ（ｋ）を取得するとともに、パワースペクトル算出部６３Ｌから各周波数成分のパワースペクトルＰ_Ｌ（ｋ）を取得する（Ｓ３２）。同様に、雑音低減部６４Ｒは、クロススペクトル算出部６２から各周波数成分のクロススペクトルＣ_ＬＲ（ｋ）を取得するとともに、パワースペクトル算出部６３Ｒから各周波数成分のパワースペクトルＰ_Ｒ（ｋ）を取得する。

次いで、雑音低減部６４Ｌは、以下の式（４６）に示すように、周波数成分ごとに、Ｃ_ＬＲ（ｋ）をＰ_Ｌ（ｋ）で除算して、音声スペクトル信号Ｘ_Ｌ（ｋ）に含まれる風雑音成分を低減するための低減係数Ｇ_Ｌ（ｋ）を算出する（Ｓ３４）。同様に、雑音低減部６４Ｒは、以下の式（４７）に示すように、周波数成分ごとに、Ｃ_ＬＲ（ｋ）をＰ_Ｒ（ｋ）で除算して、音声スペクトル信号Ｘ_Ｒ（ｋ）に含まれる風雑音成分を低減するための低減係数Ｇ_Ｒ（ｋ）を算出する（Ｓ３４）。
Ｇ_Ｌ（ｋ）＝Ｃ_ＬＲ（ｋ）／Ｐ_Ｌ（ｋ） ・・・（４６）
Ｇ_Ｒ（ｋ）＝Ｃ_ＬＲ（ｋ）／Ｐ_Ｒ（ｋ） ・・・（４７）

その後、雑音低減部６４Ｌは、以下の式（４８）に示すように、各周波数成分の低減係数Ｇ_Ｌ（ｋ）を音声スペクトル信号Ｘ_Ｌの各周波数成分Ｘ_Ｌ（ｋ，ｍ）に乗算して、Ｘ_Ｌ（ｋ，ｍ）を減衰させ、風雑音を低減する（Ｓ３６）。これにより、風雑音が低減された音声スペクトル信号Ｙ_Ｌの各周波数成分Ｙ_Ｌ（ｋ，ｍ）が得られる。同様に、雑音低減部６４Ｒは、以下の式（４９）に示すように、各周波数成分の低減係数Ｇ_Ｒ（ｋ）を音声スペクトル信号Ｘ_Ｒの各周波数成分Ｘ_Ｒ（ｋ，ｍ）に乗算して、Ｘ_Ｒ（ｋ，ｍ）を減衰させ、風雑音を低減する。これにより、風雑音が低減された音声スペクトル信号Ｙ_Ｒの各周波数成分Ｙ_Ｒ（ｋ，ｍ）が得られる。
Ｙ_Ｌ（ｋ，ｍ）＝Ｇ_Ｌ（ｋ）・Ｘ_Ｌ（ｋ，ｍ） ・・・（４８）
Ｙ_Ｒ（ｋ，ｍ）＝Ｇ_Ｒ（ｋ）・Ｘ_Ｒ（ｋ，ｍ） ・・・（４９）

以上の処理を、マイクロホン５１Ｌ、５１Ｒから入力される音声信号Ｘ_Ｌ、Ｘ_Ｒの全てのフレームについて繰り返すことにより、フレーム単位で風雑音が低減される。

［１．５．効果］
以上、本開示の第１の実施形態に係る音声信号処理装置及び方法について詳細に説明した。本実施形態によれば、２つのマイクロホンから入力される音声信号ｘ_Ｌ、ｘ_Ｒをスペクトル信号Ｘ_Ｌ、Ｘ_Ｒに変換した上で、２つの音声信号ｘ_Ｌ、ｘ_Ｒ間の相関成分のパワー（クロススペクトルＣ_ＬＲ）と、各音声信号ｘ_Ｌ、ｘ_Ｌの全体成分のパワー（パワースペクトルＰ_Ｌ、Ｐ_Ｒ）を求める。そして、全体成分（パワースペクトルＰ_Ｌ、Ｐ_Ｒ）に対する相関成分（クロススペクトルＣ_ＬＲ）の比率を、低減係数Ｇ_Ｌ、Ｇ_Ｒに設定する。

これにより、音声信号ｘ_Ｌ、ｘ_Ｌの相関だけでなく、所望音の特性と風雑音の特性に応じて、低減係数Ｇ_Ｌ、Ｇ_Ｒを適切に設定できる。このため、当該低減係数Ｇ_Ｌ、Ｇ_Ｒを用いてスペクトル信号Ｘ_Ｌ、Ｘ_Ｒを補正することで、所望音の音質（自然な連続性）を劣化させることなく、風雑音を低減することができる。従って、マイクロホンにより収音される所望音が抑揚（音量の強弱）を有する場合であっても、録音音声の再生時に、所望音が急に大きくなったり小さくなったりせず、所望音を自然に再生できる。よって、ユーザは、録音音声を聴く際に、風雑音の煩わしさを感じたり、所望音の違和感を憶えたりすることがない。

＜２．第２の実施の形態＞
次に、本開示の第２の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第２の実施形態は、上記第１の実施形態と比べて、２つのマイクロホンの入力特性の相違を補正する機能を有する点で相違する。第２の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。

［２．１．第２の実施形態の概要］
まず、第２の実施形態に係る音声信号処理装置及び方法の概要について説明する。第２の実施形態に係る音声信号処理装置は、２つのマイクロホンの特性が異なる場合に、当該２つのマイクロホン５１から入力される音声信号の振幅（利得）及び位相のずれを補正することを特徴とする。このように第２の実施形態に係る補正対象は、２つの音声信号間の振幅（利得）及び位相のずれである。

２つのマイクロホンの特性が異なる場合には、これら２つのマイクロホンからそれぞれ入力される音声信号の特性も相違する。従って、２つのマイクロホンで同一の所望音を収音した場合であっても、２つの入力音声信号の間で振幅又は位相がずれてしまう。そうすると、２つのマイクロホンにより収音される所望音の相互相関が低下し、相互相関係数が１にならないため、上記クロススペクトルＣ_ＬＲを算出する際に誤差が生じ、風雑音の低減処理に悪影響を及ぼす。従って、２つのマイクロホンの特性が異なる場合には、一方のマイクロホンからの入力音声信号の特性を、他方のマイクロホンからの入力音声信号の特性に合わせるように、一方若しくは双方の入力音声信号を補正することが好ましい。

２つのマイクロホンの特性が異なる場合としては、以下の（ａ）、（ｂ）が挙げられる。
（ａ）そもそもマイクロホンの種類が異なるため、２つのマイクロホンからの入力音声信号間に振幅差又は位相差が生じる場合
（ｂ）２つのマイクロホンの種類は同じであるが、２つのマイクロホンの配置が特殊であるため、２つのマイクロホンからの入力音声信号間に振幅差又は位相差が生じる場合

詳細には、上記（ａ）のマイクロホンの種類が異なる場合としては、例えば、以下の（ａ１）、（ａ２）の場合が挙げられる。
（ａ１）録音機器が同種（例えば同一の品番）の２つのマイクロホンを備えているが、２つのマイクロホンの素子の特性に誤差がある場合
（ａ２）録音機器が異種（品番、機能又は用途等が異なる）の２つのマイクロホンを備えており、２つのマイクロホンからの入力音声信号の特性が異なる場合（例えば、以下の例のように、通話用マイクロホンと動画撮像用マイクロホンを備える場合）

また、上記（ｂ）のマイクロホンの配置が特殊な場合としては、例えば、以下の（ｂ１）、（ｂ２）の場合が挙げられる。
（ｂ１）２つのマイクロホンが録音機器の筐体の異なる位置に配置されている場合
（ｂ２）２つのマイクロホンが録音機器の筐体上で、所定距離以上離隔して配置されている場合

また、上記の（ａ１）〜（ｂ２）等が組み合わされた場合にも、２つのマイクロホン間で入力音声信号の特性にずれが生じる。

以上のような理由による２つのマイクロホンの特性の相違は、実際の録音動作前に予め測定し、補正しておくことが可能である。そこで、２つのマイクロホンで同一の所望音を収音したときに、２つのマイクロホンから入力される音声信号の特性を比較し、双方の特性（振幅や位相）が一致するように一方の音声信号を補正するための補正係数ｈを求めておく。そして、実際の録音動作時には、当該補正係数ｈを用いて少なくとも一方の音声信号を補正した上で、上述した第１の実施形態の雑音低減処理を行えばよい。なお、実際の録音動作時に、２つのマイクロホンから入力される音声信号から補正係数ｈを動的に算出して、少なくとも一方の音声信号の補正に反映させてもよい。

ここで、上記マイクロホンの特性の相違に応じた補正処理について具体例を挙げて説明する。図１１は、上記（ａ）のマイクロホンの種類が異なる場合を示し、図１２は、上記（ｂ）のマイクロホンの配置が特殊である場合を示す。

図１１に示す例では、デジタルカメラ１の筐体２の上面２ａに２つのマイクロホン５１Ｌ、５２Ｌ（例えばステレオマイクロホン）が隣接して設けられている。上記（ａ１）の場合のように、マイクロホン５１Ｌとマイクロホン５１Ｒは同種（同一の品番、機能及び用途）のマイクロホンであるが、各マイクロホン５１Ｌ、５１Ｒを構成する素子の誤差により、２つのマイクロホン５１Ｌ、５１Ｒ間で入力音声信号の特性が異なる場合がある。また、上記（ａ２）の場合のように、マイクロホン５１Ｌとマイクロホン５１Ｒが異なる種類のマイクロホンである場合には、当然ながら、両マイクロホン５１Ｌ、５１Ｒ間で入力音声信号の特性が異なる。

かかる場合には、風雑音が無い環境下で、デジタルカメラ１の正面に配置されたスピーカ（図示せず。）から、試験音を出力し、それぞれのマイクロホン５１Ｌ、５１Ｒを用いて当該試験音を収音し、音声信号ｘ_Ｌ、ｘ_Ｒを測定する。この際、試験音は、デジタルカメラ１の正面側から同時にマイクロホン５１Ｌ、５１Ｒに到達するので、両信号ｘ_Ｌ、ｘ_Ｒに位相差が生じない。そして、Ｒｃｈ用のマイクロホン５１Ｒからの音声信号ｘ_Ｒの振幅特性が、Ｌｃｈ用のマイクロホン５１Ｌからの音声信号ｘ_Ｌの振幅特性と一致するように、音声信号ｘ_Ｒの振幅（利得）を補正する補正係数ｈを求める。そして、デジタルカメラ１を用いた実際の撮像動作時に、補正係数ｈを用いて音声信号ｘ_Ｒを補正することで、音声信号ｘ_Ｒの振幅特性を音声信号ｘ_Ｌの振幅特性に一致させる。これにより、上記マイクロホン５１Ｌ、５１Ｒの特性の相違に起因する、音声信号ｘ_Ｒと音声信号ｘ_Ｒの振幅のずれを解消して、同一の所望音を録音したときのｘ_Ｌとｘ_Ｒの相互相関を最大化（相互相関係数を１に近づける）ことができる。

また、図１２に示す例では、スマートフォン３の筐体４の正面４ａに動画撮像用マイクロホン５１Ａが配置され、筐体４の背面４ｂに通話用マイクロホン５１Ｂが配置されている。このように、機器の構造上の制約や、マイクロホンの機能・用途面の要求などにより、２つのマイクロホン５１Ａ、５１Ｂを筐体４の同一の設置面に並べて配置せずに、異なる設置面に配置される場合（上記（ｂ）の場合）がある。この場合には、所望音の音源からマイクロホン５１Ａ、５１Ｂまでの距離や、マイクロホン５１Ａ、５１Ｂに対する所望音の入力方向が相違するので、マイクロホン５１Ａからの入力音声信号ｘ_Ａとマイクロホン５１Ｂからの入力音声信号ｘ_Ｂとの間に位相差や振幅差が生じ得る。

かかる場合には、スマートフォン３の正面に配置されたスピーカ（図示せず。）から、試験音を出力し、それぞれのマイクロホン５１Ａ、５１Ｂを用いて当該試験音を収音し、音声信号ｘ_Ａ、ｘ_Ｂを測定する。この際、試験音は、各マイクロホン５１Ａ、５１Ｂに対し時間的にずれて到達するので、両信号ｘ_Ａ、ｘ_Ｂに位相差が生じる。そこで、マイクロホン５１Ｂからの音声信号ｘ_Ｂの位相特性が、マイクロホン５１Ａからの音声信号ｘ_Ａの位相特性と一致するように、音声信号ｘ_Ｂの位相を補正する補正係数ｈを求める。そして、スマートフォン３を用いた実際の録音撮像時に、補正係数ｈを用いて音声信号ｘ_Ｂを補正することで、音声信号ｘ_Ｂの位相特性を音声信号ｘ_Ａの位相特性に一致させる。これにより、上記マイクロホン５１Ａ、５１Ｂの特殊な配置に起因する、音声信号ｘ_Ａと音声信号ｘ_Ｂの位相のずれを解消して、同一の所望音を録音したときのｘ_Ａとｘ_Ｂの相互相関を最大化（相互相関係数を１に近づける）ことができる。

［２．２．音声信号処理装置の機能構成］
次に、図１３を参照して、本実施形態に係るスマートフォン３に適用された音声信号処理装置の機能構成例について説明する。図１３は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。

なお、以下では、図１２に示した動画撮像用と通話用のマイクロホン５１Ａ、５１Ｂを備えたスマートフォン３を例に挙げ、通話用のマイクロホン５１Ｂを補助マイクロホンとして利用して、動画撮像用のマイクロホン５１Ａの音声信号ｘ_Ａから風雑音を低減する例について説明する。

図１３に示すように、音声信号処理装置は、２つのマイクロホン５１Ａ、５１Ｂと、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ａ、６１Ｂと、クロススペクトル算出部６２と、１つのパワースペクトル算出部６３Ａと、１つの雑音低減部６４Ａと、１つの時間変換部６５Ａと、信号補正部６６とを備える。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０の備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。

図１３に示したように、第２の実施形態に係る音声信号処理装置は、第１の実施形態に係る音声信号処理装置と比べて、信号補正部６６をさらに備える点と、一方のマイクロホン５１Ａの音声信号ｘ_Ａのみに対して雑音低減処理を行う点で相違する。以下、各部について説明する。

マイクロホン５１Ａは、スマートフォン３の筐体４の正面４ａに設けられた動画撮像用のマイクロホンであり、マイクロホン５１Ｂは、筐体４の背面４ｂに設けられた通話用のマイクロホンである（図１２参照。）。マイクロホン５１Ａは、外部音声を収音して、音声信号ｘ_Ａを出力し、マイクロホン５１Ｂは、外部音声を収音して、音声信号ｘ_Ｂを出力する。これら２つのマイクロホン５１Ａ、５１Ｂは異なる種類のマイクロホン構成されており、両者の入力特性は異なる。そこで、本実施形態では、このマイクロホン５１Ａ、５１Ｂの入力特性のずれを補正した上で、マイクロホン５１Ａからの入力音信号ｘ_Ａに対して風雑音の低減処理を行う。

周波数変換部６１Ａ、６１Ｂ（以下、周波数変換部６１と総称する。）は、フレーム単位で、時間領域の音声信号ｘ_Ａ、ｘ_Ｂを、周波数領域の音声スペクトル信号Ｘ_Ａ、Ｘ_Ｂに変換する機能を有する。この周波数変換部６１Ａ、６１Ｂは、上記第１の実施形態の周波数変換部６１Ｌ、６１Ｒと同様であるので、詳細説明は省略する。

信号補正部６６は、第２の実施形態の特徴的なユニットであり、２つのマイクロホン５１Ａ、５１Ｂから入力される音声信号ｘ_Ａ、ｘ_Ｂの特性のずれを補正する機能を有する。マイクロホン５１Ａとマイクロホンとの間の入力特性の相違により、音声信号ｘ_Ａに含まれる所望音と音声信号ｘ_Ｂに含まれる所望音との間に振幅差又は位相差が生じるときに、信号補正部６６は、音声スペクトル信号Ｘ_Ａ、Ｘ_Ｂの一方若しくは双方の補正処理を行う。

具体的には、信号補正部６６は、周波数変換部６１Ａから音声スペクトル信号Ｘ_Ａが入力され、周波数変換部６１Ｂから音声スペクトル信号Ｘ_Ｂが入力される。信号補正部６６は、音声スペクトル信号Ｘ_Ａ、Ｘ_Ｂの差分に基づいて、上記振幅差又は位相差を補正するための補正係数ｈを算出し、補正係数ｈを用いて、一方の音声スペクトル信号Ｘ_Ｂを補正することで、一方の音声信号ｘ_Ｂの振幅又は位相を、他方の音声信号ｘ_Ａの振幅又は位相に合わせる。この際、信号補正部６６は、周波数成分ごとに、音声スペクトル信号Ｘ_Ａと音声スペクトル信号Ｘ_Ｂとの間の二乗誤差を最小にするような補正係数ｈ（ｋ）を算出し、当該各補正係数ｈ（ｋ）を用いて一方の音声スペクトル信号Ｘ_Ｂの各周波数成分Ｘ_Ｂ（ｋ）を補正して、補正後の音声スペクトル信号Ｘ’_Ｂの各周波数成分Ｘ’_Ｂ（ｋ）を得る。なお、信号補正部６６による音声スペクトル信号Ｘの補正処理の詳細は後述する。

クロススペクトル算出部６２は、周波数成分ごとに、音声スペクトル信号Ｘ_Ａ及び音声スペクトル信号Ｘ’_Ｂを演算することにより、音声信号ｘ_Ａと音声信号ｘ_ＢとのクロススペクトルＣを算出する。このクロススペクトル算出部６２は、音声スペクトル信号Ｘ_Ｂに代えて、信号補正部６６による補正後の音声スペクトル信号Ｘ’_Ｂを用いる点を除いては、上記第１の実施形態のクロススペクトル算出部６２と同様であるので、詳細説明は省略する。

パワースペクトル算出部６３Ａは、周波数成分ごとに、音声信号ｘ_ＡのパワースペクトルＰ_Ａを算出する機能を有する。このパワースペクトル算出部６３Ａは、上記第１の実施形態のパワースペクトル算出部６３Ｌと同様であるので、詳細説明は省略する。

雑音低減部６４Ａは、周波数成分ごとに、上記クロススペクトルＣ及びパワースペクトルＰ_Ａから低減係数Ｇ_Ａを算出し、当該低減係数Ｇ_Ａを用いて音声スペクトル信号Ｘ_Ａを補正して、風雑音を低減する機能を有する。この雑音低減部６４Ａは、上記第１の実施形態の雑音低減部６４Ｌと同様であるので、詳細説明は省略する。雑音低減部６４Ａは、雑音低減後の音声スペクトル信号Ｙ_Ａを出力する。

時間変換部６５Ａは、雑音低減部６４Ａにより雑音が低減された周波数領域の音声スペクトル信号Ｙ_Ａを、時間領域の音声信号ｙ_Ａに逆変換する機能を有する。この時間変換部６５Ａは、上記第１の実施形態の時間変換部６５Ｌと同様であるので、詳細説明は省略する。時間変換部６５Ａから出力された音声信号ｙ_Ａは、スマートフォン３で撮像された動画データに付随する音声データとして、任意の記録媒体に記録される。

以上、第２の実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。第２の実施形態では、２つのマイクロホン５１Ａ、５１Ｂの所望音の入力特性が相違する際に、信号補正部６６によりその入力特性のずれを補正した上で、上述したクロススペクトルＣとパワースペクトルＰ_Ａの比率を利用した雑音低減処理を行う。従って、Ｃを算出する前段階で、２つのマイクロホン５１Ａ、５１Ｂの入力音声信号ｘ_Ａ、ｘ_Ｂに含まれる所望音の振幅及び位相のずれを補正して、当該所望音の相互相関係数を最大化して、ほぼ１にすることができる。よって、所望音（入力音声信号間の相関成分）を表すクロススペクトルＣを正確に求めて、入力音声信号ｘ_Ａ中に含まれる所望音を正確に推定できるので、風雑音を適切に低減することができる。

［２．３．数式の補足］
次に、本実施形態に係るクロススペクトルＣ及びパワースペクトルＰから低減係数Ｇを算出するための数式について補足説明する。

所望音と風雑音を含む音声信号ｘ（ｍ）を周波数領域に変換した音声スペクトル信号Ｘ（ｋ，ｍ）は、所望音のスペクトル信号Ｓ（ｋ，ｍ）と、風雑音のスペクトル信号Ｗ（ｋ，ｍ）を用いて以下の式（５０）、（５１）で表される。Ｘ_Ａは動画撮像用のマイクロホン５１Ａから入力された音声信号ｘ_Ａをフーリエ変換した音声スペクトル信号であり、Ｘ_Ｂは通話用のマイクロホン５１Ｂから入力された音声信号ｘ_Ｂをフーリエ変換した音声スペクトル信号である。
Ｘ_Ａ（ｋ，ｍ）＝Ｓ_Ａ（ｋ，ｍ）＋Ｗ_Ａ（ｋ，ｍ） ・・・（５０）
Ｘ_Ｂ（ｋ，ｍ）＝Ｓ_Ｂ（ｋ，ｍ）＋Ｗ_Ｂ（ｋ，ｍ） ・・・（５１）

上記第１の実施形態と同様に、２つの入力音声信号ｘ_Ａ、ｘ_Ｂ間で風雑音の相互相関はゼロ、所望音と風雑音の相互相関はゼロであると仮定すると、２つのマイクロホンから入力される音声信号ｘ_Ａとｘ_ＢのクロススペクトルＣ（ｋ）は以下の式（５２）で表される。

ところが、動画撮像用マイクロホン５１Ａと通話用マイクロホン５１Ｂとでは、マイクロホンの向きなどにより所望音の入力特性が等しくない場合、入力音声信号ｘ_Ａ、ｘ_Ｂ間で所望音の相関が１とはならない。そのため、かかる場合には、上記式（１６）が成立せず、次の式（５３）のように、クロススペクトルＣ（ｋ）は、所望音のパワースペクトルの推定値Ｐ_Ａに一致しない。そこで、入力音声信号ｘ_Ａ、ｘ_Ｂ間の所望音の入力特性のずれを補正して、当該信号ｘ_Ａ、ｘ_Ｂ間で所望音の相関を１に近づけるために、以下の式（５４）の誤差ｅ（ｋ）が最小となるような、補正係数ｈ（ｋ）を求める。この補正係数ｈ（ｋ）は、入力音声信号ｘ_Ａの所望音と、入力音声信号ｘ_Ｂの所望音との二乗誤差を最小化する値に設定され、入力音声信号ｘ_Ａ、ｘ_Ｂ間で所望音の相関が１になるような係数である。

このとき、上記ｈ（ｋ）により補正した音声スペクトル信号ｘ_Ｂを用いて、クロススペクトルＣを計算すると、以下の式（５５）となる。そして、上記と同様に、２つの入力音声信号ｘ_Ａ、ｘ_Ｂ間で風雑音の相互相関はゼロ、所望音と風雑音の相互相関はゼロであると仮定すると、式（５５）の右辺の第２、３、４項は、ｈ（ｋ）が乗算されているが、ゼロになる。この結果、式（５６）に示すように、入力音声信号ｘ_Ａとｘ_ＢのクロススペクトルＣ（ｋ）は、動画撮像用マイクロホン５１Ａからの入力音声信号ｘ_Ａに含まれる所望音のパワースペクトルとして求められる。

一方、動画撮像用マイクロホン５１Ａからの入力音声信号ｘ_ＡのパワースペクトルＰ_Ａは、以下の式（５７）で算出される。

以上の結果から、第２の実施形態でも、上記第１の実施形態と同様に、次の式（５８）に示すウィナーフィルタ形式の低減係数Ｇ_Ａ（ｋ）を得ることができる。従って、当該低減係数Ｇ_Ａ（ｋ）を用いて、動画撮像用のマイクロホン５１Ａから得た音声スペクトル信号Ｘ_Ａに含まれる風雑音を低減することが可能になる。

［２．４．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（風雑音の低減方法）について説明する。

［２．４．１．音声信号処理装置の全体動作］
まず、上記図１３で示した音声信号処理装置の全体動作について説明する。音声信号処理装置は、２つのマイクロホン５１Ａ、５１Ｂからそれぞれ入力される音声信号ｘ_Ａ、ｘ_Ｂをフレームに分割し、フレーム単位で雑音低減処理を行う。ｍ番目のフレームの音声信号ｘ_Ａ（ｍ）、ｘ_Ｂ（ｍ）が入力されると、周波数変換部６１Ａ、６１Ｂは、当該音声信号ｘ_Ａ（ｍ）、ｘ_Ｂ（ｍ）をフーリエ変換して、ｍ番目のフレームの音声スペクトル信号Ｘ_Ａ、Ｘ_Ｂを周波数成分ごとに出力する。

周波数変換部６１Ａ、６１Ｂから、ｍ番目のフレームの音声スペクトル信号Ｘ_Ａ、Ｘ_Ｂのｋ番目の周波数成分Ｘ_Ａ（ｋ，ｍ）、Ｘ_Ｂ（ｋ，ｍ）が出力されると、信号補正部６６は、Ｘ_Ａ（ｋ，ｍ）とＸ_Ｂ（ｋ，ｍ）の差分が最小となるように補正係数ｈ（ｋ）を決定する。そして、信号補正部６６は、補正係数ｈ（ｋ）を音声スペクトル信号Ｘ_Ｂ（ｋ，ｍ）に乗算して、音声スペクトル信号Ｘ’_Ｂ（ｋ，ｍ）を生成する。このＸ’_Ｂ（ｋ，ｍ）は、所望音の入力特性（振幅及び位相）が一方の音声スペクトル信号Ｘ_Ａ（ｋ，ｍ）に一致するように、Ｘ_Ｂ（ｋ，ｍ）を補正したものである。

次いで、クロススペクトル算出部６２により、音声スペクトル信号Ｘ_Ａ（ｋ，ｍ）と、補正されたＸ’_Ｂ（ｋ，ｍ）とからクロススペクトルＣ（ｋ，ｍ）が算出されると同時に、パワースペクトル算出部６３Ａにより、音声スペクトル信号Ｘ_Ａ（ｋ，ｍ）からパワースペクトルＰ_Ａ（ｋ，ｍ）が算出される。

さらに、雑音低減部６４Ａにより、Ｃ（ｋ，ｍ）とＰ_Ａ（ｋ，ｍ）から低減係数Ｇ_Ａ（ｋ，ｍ）が算出されて、音声スペクトル信号Ｘ_Ａのｋ番目の周波数成分Ｘ_Ａ（ｋ，ｍ）に乗算され、風雑音が低減された音声スペクトル信号Ｙ_Ａのｋ番目の周波数成分Ｙ_Ａ（ｋ，ｍ）が出力される。

そして、時間変換部６５Ａにより、上記音声スペクトル信号Ｙ_Ａのｋ番目の周波数成分Ｙ_Ａ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙ_Ａ（ｍ）がフレーム単位で出力される。

［２．４．２．信号処理部の動作］
次に、図１４、図１５を参照して、本実施形態に係る信号補正部６６の動作について説明する。図１４は、本実施形態に係る信号補正部６６の概略動作を示すフローチャートである。図１５は、本実施形態に係る信号補正部６６の詳細動作を示すフローチャートである。

図１４に示すように、まず、信号補正部６６は、周波数変換部６１Ａから音声スペクトル信号Ｘ_Ａの各周波数成分Ｘ_Ａ（ｋ，ｍ）を取得するとともに、周波数変換部６１Ｂから音声スペクトル信号Ｘ_Ｂの各周波数成分Ｘ_Ｂ（ｋ，ｍ）を取得する（Ｓ４０）。

次いで、信号補正部６６は、マイクロホン５１Ａ、５１Ｂの入力特性のずれを補正するための補正係数ｈ（ｋ）を、周波数成分ごとに算出する（Ｓ４２）。この際、信号補正部６６は、音声スペクトル信号Ｘ_Ａ（ｋ，ｍ）とＸ_Ｂ（ｋ，ｍ）との間で複素スペクトルの二乗誤差が最小となるように、補正係数ｈ（ｋ）を算出する（Ｓ４２）。

その後、信号補正部６６は、Ｓ４２で求めた補正係数ｈ（ｋ）を用いて、通話用のマイクロホン５１Ｂから入力された音声スペクトル信号Ｘ_Ｂ（ｋ，ｍ）を補正して、補正後の音声スペクトル信号Ｘ’_Ｂ（ｋ，ｍ）を出力する（Ｓ４４）。

さらに図１５を参照して、信号補正部６６の詳細動作を説明する。図１５に示すように、まず、信号補正部６６は、上記音声スペクトル信号Ｘ_Ａ（ｋ，ｍ）を取得するとともに、音声スペクトル信号Ｘ_Ｂ（ｋ，ｍ）を取得する（Ｓ５０：上記Ｓ４０に相当する。）。

次いで、信号補正部６６は、２つのマイクロホン５１Ａ、５１Ｂから得られる音声スペクトル信号Ｘ_Ａ、Ｘ_Ｂの複素スペクトルの二乗誤差を最小化するように、信号Ｘ_Ｂを補正するための補正係数ｈ（ｋ）を算出する（Ｓ５２、Ｓ５４：上記Ｓ４２に相当する。）。

具体的には、まず、信号補正部６６は、以下の式（６０）に示すように、周波数成分ごとに、音声スペクトル信号Ｘ_Ａ（ｋ，ｍ）と音声スペクトル信号Ｘ_Ｂ（ｋ，ｍ）の誤差ｅ（ｋ）を算出する（Ｓ５２）。ここで、誤差ｅ（ｋ）は、過去のフレームで求めた補正係数ｈ（ｋ）をＸ_Ｂ（ｋ，ｍ）に乗算した値と、Ｘ_Ａ（ｋ，ｍ）との差分である。
ｅ（ｋ）＝Ｘ_Ａ（ｋ，ｍ）−ｈ（ｋ）・Ｘ_Ｂ（ｋ，ｍ） ・・・（６０）

さらに、信号補正部６６は、以下の式（６１）に示すように、上記Ｓ５２で得た誤差ｅ（ｋ）が小さくなるように、補正係数ｈ（ｋ）を更新する（Ｓ５４）。ここで、Ｘ^＊ _Ａ（ｋ，ｍ）は、音声スペクトル信号Ｘ_Ａ（ｋ，ｍ）の複素共役である。また、μは、更新頻度を制御するための定数であり、例えば、μ＝０．０１などとすることができる。本実施形態では、μを固定値とするが、風雑音が大きい場合には、μをより小さい値にして、音声スペクトル信号Ｘに対する風雑音の影響を除去することが望ましい。
ｈ（ｋ）＝ｈ（ｋ）＋μ・ｅ（ｋ）・Ｘ^＊ _Ａ（ｋ，ｍ） ・・・（６１）

その後、信号補正部６６は、以下の式（６２）に示すように、Ｓ５４で得た補正係数ｈ（ｋ）を音声スペクトル信号Ｘ_Ｂの各周波数成分Ｘ_Ｂ（ｋ，ｍ）に乗算することで、Ｘ_Ａ（ｋ，ｍ）に対するＸ_Ｂ（ｋ，ｍ）の所望音の特性のずれ（振幅差及び位相差）を補正する（Ｓ５６：上記Ｓ４４に相当する。）。これにより、マイクロホン５１Ａ、５１Ｂ間の入力特性のずれを補正した音声スペクトル信号Ｘ’_Ｂ（ｋ，ｍ）が得られる。
Ｘ’_Ｂ（ｋ，ｍ）＝ｈ（ｋ）・Ｘ_Ｂ（ｋ，ｍ） ・・・（６２）

以上、第２の実施形態に係る特徴である信号補正部６６の動作について説明した。なお、その他の各部（クロススペクトル算出部６２、パワースペクトル算出部６３Ａ、雑音低減部６４Ａ等）の動作は、上記第１の実施形態と実質的に同一であってもよいので、詳細説明は省略する（図８〜図１０参照。）。

［２．５．効果］
以上、本開示の第２の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第２の実施形態によれば、上記第１の実施形態の効果に加え、次の効果を得ることができる。

即ち、第２の実施形態では、２つのマイクロホン５１Ａ、５１Ｂの入力特性が相違する場合であっても、信号補正部６６により２つの入力音声信号ｘ_Ａ、ｘ_Ｂに含まれる所望音の特性のずれ（振幅差又は位相差）を補正する。これにより、２つの音声信号ｘ_Ａ、ｘ_Ｂの所望音の相互相関を高めて相互相関係数Ｃｏｒｒ（ｋ）を１に近づけることができるので、２つの音声信号ｘ_Ａ、ｘ_Ｂから所望音を正確に推定可能になる。従って、上記ウィナーフィルタ形式の低減係数Ｇを好適に適用して、入力音声から風雑音を適切に低減し、所望音を劣化させることなく抽出することができる。

また、２つの音声スペクトル信号Ｘ_Ａ、Ｘ_Ｂの二乗誤差を最小にするような補正係数ｈを算出し、補正係数ｈを用いて少なくとも一方の音声スペクトル信号Ｘ_Ｂを補正する。これにより、所望音の相互相関を高めるための補正係数ｈを適切に求めて、所望音の推定精度を向上することができる。

＜３．第３の実施の形態＞
次に、本開示の第３の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第３の実施形態は、上記第１の実施形態と比べて、所望音の音源の位置による入力信号の位相差を補正する機能を有する点で相違する。第３の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。

［３．１．第３の実施形態の概要］
まず、第３の実施形態に係る音声信号処理装置及び方法の概要について説明する。第３の実施形態に係る音声信号処理装置は、２つのマイクロホンに対する所望音の音源の相対位置により、２つのマイクロホンに入力される所望音に位相差が生じる場合に、当該２つのマイクロホン５１から入力される音声信号の位相のずれを補正することを特徴とする。このように第３の実施形態に係る補正対象は、２つの音声信号間の所望音の位相のずれである。

第３の実施形態では、２つのマイクロホンの入力特性が同一であることを前提として、録音対象の所望音の音源が移動していること、又は、当該音源が録音装置の正面以外にあることを想定して、２つの音声信号の所望音の位相差を補正する。かかる補正処理は、２つのマイクロホンを用いた録音動作中に動的に実行可能である。

上述した第１の実施形態では、２つのマイクロホン５１Ｌ、５１Ｒからの入力音声信号ｘ_Ｌ、ｘ_Ｒに含まれる所望音の相互相関は１であることを想定して、低減係数Ｇを求め、風雑音を低減していた。

ところが、一方のマイクロホン５１Ｌの入力音声信号ｘ_Ｌに含まれる所望音と、他方のマイクロホン５１Ｒの入力音声信号ｘ_Ｒに含まれる所望音との間に、位相差が生じる場合がある。

例えば、図１６に示すように、デジタルカメラ１で子供５を撮像するとき、所望音の音源（子供５）が、デジタルカメラ１の正面に対して右方向にいる場合、所望音（子供５の声）は、Ｌｃｈ用のマイクロホン５１Ｌでは、Ｒｃｈ用のマイクロホン５１Ｒよりも若干遅れて入力される。従って、マイクロホン５１Ｌの入力音声信号ｘ_Ｌの所望音は、マイクロホン５１Ｒの入力音声信号ｘ_Ｒの所望音はよりも位相が遅れ、２つの音声信号ｘ_Ｌ、ｘ_Ｒ間に位相差が生じる。この結果、入力音声信号ｘ_Ｌと入力音声信号ｘ_Ｒとの間の相互相関は低下し、１よりも小さくなる。この現象は、２つのマイクロホン５１Ｌ、５１Ｒの間隔が大きくなると顕著になる。また、図１６に示すように、所望音の音源（子供５）が、マイクロホン５１Ｌ、５１Ｒに対して相対的に移動する場合には、録音中に上記位相差は随時変化するので、当該位相差を動的に補正することが必要になる。

そこで、第３の実施形態では、所望音の音源が録音装置の正面以外にある場合や音源が移動している場合に、２つマイクロホン５１Ｌ、５１Ｒの音声信号ｘ_Ｌ、ｘ_Ｒ間に生じる所望音の位相差を補正する。この補正処理では、望ましくは、位相が進んでいる一方の音声信号（図１６の例ではＲｃｈ用マイクロホン５１Ｒの音声信号ｘ_Ｒ）が、他方の音声信号（Ｌｃｈ用マイクロホン５１Ｌの音声信号ｘ_Ｌ）に一致するように、当該一方の音声信号に位相遅れを付与する。これにより、２つの音声信号ｘ_Ｌ、ｘ_Ｒの位相差を補正して、当該音声信号ｘ_Ｌ、ｘ_Ｒ中の所望音の相互相関係数を１に近づけることができる。

ここで、図１７を参照して、所望音の相関について詳述する。所望音の相互相関係数は、マイクロホン５１Ｌ、５１Ｒと所望音の音源との相対位置、つまり、所望音がマイクロホン５１Ｌ、５１Ｒに到達する際の到来方向に依存する。図１７（ａ）に示すように、所望音の音源（子供５）が、マイクロホン５１Ｌ、５１Ｒの正面にあり、所望音が０度方向（２つのマイクロホン５１Ｌ、５１Ｒの正面方向）から到来する場合、音声信号ｘ_Ｌ、ｘ_Ｒ中の所望音の相互相関係数は、常にほぼ１である。これに対し、図１７（ｂ）に示すように、所望音の音源（子供５）が、マイクロホン５１Ｌ、５１Ｒの正面からずれた位置にあり、所望音が正面方向に対して３０度ずれた方向から到来する場合、音声信号ｘ_Ｌ、ｘ_Ｒ中の所望音の相互相関係数は、周波数が大きくなるにつれて、１より低下する。なお、図１７の相互相関係数は、マイクロホン５１Ｌ、５１Ｒの間隔を２ｃｍとした例である。

上述した第１の実施形態では、入力音声信号ｘ_Ｌ、ｘ_Ｒに含まれる所望音の相互相関は１であると仮定して、風雑音の低減処理を行った。しかし、図１７に示したように所望音の音源の位置が正面からずれるに従って、所望音の相互相関が１より低下するため、何らの対策も施さないと、雑音低減処理により所望音を劣化させてしまうことなる。そこで、第３の実施形態では、マイクロホン５１Ｌ、５１Ｒに対する所望音の音源の位置に応じて、２つの入力音声信号ｘ_Ｌ、ｘ_Ｒ間の所望音の相互相関を最大化（相互相関係数を１に近づける）ように補正することで、雑音低減処理による所望音の劣化を防ぐ。

［３．２．音声信号処理装置の機能構成］
次に、図１８を参照して、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図１８は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。

図１８に示すように、音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒと、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ｌ、６１Ｒと、クロススペクトル算出部６２と、２つのパワースペクトル算出部６３Ｌ、６３Ｒと、２つの雑音低減部６４Ｌ、６５Ｌと、２つの時間変換部６５Ｌ、６５Ｒと、クロススペクトル補正部６７とを備える。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０の備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。

図１８に示したように、第３の実施形態に係る音声信号処理装置は、第１の実施形態に係る音声信号処理装置と比べて、クロススペクトル補正部６７をさらに備える点で相違する。以下、各部について説明する。

マイクロホン５１Ｌ、５１Ｒは、上述したステレオマイクロホンを構成する。このマイクロホン５１Ｌ、５１は、上記第１の実施形態のマイクロホン５１Ｌ、５１と同様であるので、詳細説明は省略する。

周波数変換部６１Ｌ、６１Ｒは、フレーム単位で、時間領域の音声信号ｘ_Ｌ、ｘ_Ｒを、周波数領域の音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒに変換する機能を有する。この周波数変換部６１Ｌ、６１Ｒは、上記第１の実施形態の周波数変換部６１Ｌ、６１Ｒと同様であるので、詳細説明は省略する。

クロススペクトル算出部６２は、周波数成分ごとに、音声スペクトル信号Ｘ_Ｌ及び音声スペクトル信号Ｘ_Ｒを演算することにより、音声信号ｘ_Ｌと音声信号ｘ_ＲとのクロススペクトルＣ_ＬＲを算出する。このクロススペクトル算出部６２は、上記第１の実施形態のクロススペクトル算出部６２と同様であるので、詳細説明は省略する。

クロススペクトル補正部６７は、第３の実施形態の特徴的なユニットであり、所望音の音源の位置に応じて２つの音声信号ｘ_Ｌ、ｘ_Ｒの位相差を補正するために、クロススペクトルＣ_ＬＲを補正する機能を有する。マイクロホン５１Ｌ、６１Ｒと所望音の音源との相対位置により、音声信号ｘ_Ｌに含まれる所望音と音声信号ｘ_Ｒに含まれる所望音との間に位相差が生じるときに、クロススペクトル補正部６７は、上記音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの相互相関に基づいて、クロススペクトル算出部６２により算出されたクロススペクトルＣ_ＬＲを補正して、Ｃ’_ＬＲを生成する。

具体的には、クロススペクトル補正部６７には、クロススペクトル算出部６２からクロススペクトルＣ_ＬＲが入力され、パワースペクトル算出部６３Ｌ、６３ＲからパワースペクトルＰ_Ｌ、Ｐ_Ｒが入力される。クロススペクトル補正部６７は、音声スペクトル信号Ｘ_Ｌに含まれる所望音と音声スペクトル信号Ｘ_Ｒに含まれる所望音との相互相関係数を最大化するように、補正係数Ａ_Ｐを算出し、当該補正係数Ａ_Ｐを用いてクロススペクトルＣ_ＬＲを補正する。このために、まず、クロススペクトル補正部６７は、音声スペクトル信号Ｘ_Ｌの全体成分（全ての周波数成分：ｋ＝０〜Ｌ−１）と音声スペクトル信号Ｘ_Ｒの全体成分との相互相関係数が閾値Ｔｈより大きいか否かに基づき、音声信号ｘ_Ｌ、ｘ_Ｒに風雑音が含まれない区間を検出する。ここで、音声スペクトル信号Ｘ_Ｌの全体成分とは、当該信号Ｘ_Ｌの全ての周波数成分（ｋ＝０〜Ｌ−１）を意味し、音声スペクトル信号Ｘ_Ｒの全体成分も同様である。当該全体成分の相互相関係数が閾値Ｔｈより大きければ、両信号Ｘ_Ｌ、Ｘ_Ｒの相関が高いので、所望音を含み、風雑音を含まない区間であると推定できる。

さらに、クロススペクトル補正部６７は、上記検出された区間の音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを用いて、Ｘ_ＬとＸ_Ｒの二乗誤差が最小となるような補正係数Ａ_Ｐを算出する。これにより、Ｘ_Ｌに含まれる所望音とＸ_Ｒに含まれる所望音との相互相関係数を最大化するような補正係数Ａ_Ｐを算出できる。その後、クロススペクトル補正部６７は、補正係数Ａ_Ｐを用いてクロススペクトルＣ_ＬＲを補正して、クロススペクトルＣ’_ＬＲを生成する。なお、かかるクロススペクトル補正部６７によるクロススペクトルＣ_ＬＲの補正処理の詳細については後述する。

パワースペクトル算出部６３Ｌ、６３Ｒは、周波数成分ごとに、音声信号ｘ_Ｌ、ｘ_ＲのパワースペクトルＰ_Ｌ、Ｐ_Ｒを算出する機能を有する。このパワースペクトル算出部６３Ｌ、６３Ｒは、上記第１の実施形態のパワースペクトル算出部６３Ｌ、６３Ｒと同様であるので、詳細説明は省略する。

雑音低減部６４Ｌ、６４Ｒは、周波数成分ごとに、上記補正されたクロススペクトルＣ’_ＬＲ及びパワースペクトルＰ_Ｌ、Ｐ_Ｒから低減係数Ｇ_Ｌ、Ｇ_Ｒを算出し、当該低減係数Ｇ_Ｌ、Ｇ_Ｒを用いて音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを補正して、風雑音を低減する機能を有する。この雑音低減部６４Ｌ、６４Ｒは、クロススペクトル補正部６７により補正されたクロススペクトルＣ’_ＬＲを用いて低減係数Ｇ_Ｌ、Ｇ_Ｒを算出する点を除いては、上記第１の実施形態の雑音低減部６４Ｌ、６４Ｒと同様であるので、詳細説明は省略する。かかる雑音低減部６４Ｌ、６４Ｒは、雑音低減後の音声スペクトル信号Ｙ_Ｌ、Ｙ_Ｒを出力する。

時間変換部６５Ｌ、６５Ｒは、雑音低減部６４Ｌ、６５Ｒにより雑音が低減された周波数領域の音声スペクトル信号Ｙ_Ｌ、Ｙ_Ｒを、時間領域の音声信号ｙ_Ｌ、ｙ_Ｒに逆変換する機能を有する。この時間変換部６５Ｌ、６５Ｒは、上記第１の実施形態の時間変換部６５Ｌ、６５Ｒと同様であるので、詳細説明は省略する。時間変換部６５Ｌ、６５Ｒから出力された音声信号ｙ_Ｌ、ｙ_Ｒは、デジタルカメラ１で撮像された動画データに付随する音声データとして、任意の記録媒体に記録される。

以上、第３の実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。第３の実施形態では、所望音の音源の位置に応じて、２つのマイクロホン５１Ｌ、５１Ｒの入力音声信号ｘ_Ｌ、ｘ_Ｒに位相差が生じる場合に、その位相差を解消するために、クロススペクトル補正部６７によりクロススペクトルＣ_ＬＲを補正する。この際、クロススペクトル補正部６７は、周波数成分ごとに、２つの音声信号ｘ_Ｌ、ｘ_Ｒの所望音の相互相関を最大化するような補正係数Ａ_Ｐを求め、当該補正係数Ａ_Ｐを用いてＣ_ＬＲを補正する。これにより、音声信号ｘ_Ｌ、ｘ_Ｒの所望音の相互相関係数を最大化して、ほぼ１にすることができる。よって、所望音（入力音声信号間の相関成分）を正確に推定できるので、風雑音を適切に低減することができる。

［３．３．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（風雑音の低減方法）について説明する。

［３．３．１．音声信号処理装置の全体動作］
まず、上記図１８で示した音声信号処理装置の全体動作について説明する。音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒからそれぞれ入力される音声信号ｘ_Ｌ、ｘ_Ｒをフレームに分割し、フレーム単位で雑音低減処理を行う。ｍ番目のフレームの音声信号ｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）が入力されると、周波数変換部６１Ｌ、６１Ｒは、当該音声信号ｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）をフーリエ変換して、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを周波数成分ごとに出力する。

周波数変換部６１Ｌ、６１Ｒから、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒのｋ番目の周波数成分Ｘ_Ｌ（ｋ，ｍ）、Ｘ_Ｒ（ｋ，ｍ）が出力されると、クロススペクトル算出部６２により、音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）、Ｘ_Ｒ（ｋ，ｍ）からクロススペクトルＣ_ＬＲ（ｋ）が算出される。これと同時に、パワースペクトル算出部６３Ｌにより、音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）からパワースペクトルＰ_Ｌ（ｋ）が算出され、パワースペクトル算出部６３Ｒにより、音声スペクトル信号Ｘ_Ｒ（ｋ，ｍ）からパワースペクトルＰ_Ｒ（ｋ）が算出される。

次いで、クロススペクトル補正部６７により、クロススペクトル算出部６２により算出されたクロススペクトルＣ_ＬＲ（ｋ）が補正され、クロススペクトルＣ’_ＬＲ（ｋ）が生成される。この際、クロススペクトル補正部６７は、周波数成分ごとに、音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）とＸ_Ｒ（ｋ，ｍ）の差分を最小化するように補正係数Ａ_Ｐ（ｋ）を算出し、当該補正係数Ａ_Ｐを用いてクロススペクトルＣ_ＬＲ（ｋ）を補正して、Ｃ’_ＬＲ（ｋ）を生成する。

さらに、雑音低減部６４Ｌにより、Ｃ’_ＬＲ（ｋ）とＰ_Ｌ（ｋ）から低減係数Ｇ_Ｌ（ｋ）が算出されて、音声スペクトル信号Ｘ_Ｌのｋ番目の周波数成分Ｘ_Ｌ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号Ｙ_Ｌのｋ番目の周波数成分Ｙ_Ｌ（ｋ，ｍ）が、雑音低減部６４Ｌから時間変換部６５Ｌに出力される。また、雑音低減部６４Ｒにより、Ｃ’_ＬＲ（ｋ）とＰ_Ｒ（ｋ，ｍ）から低減係数Ｇ_Ｒ（ｋ）が算出されて、音声スペクトル信号Ｘ_Ｒのｋ番目の周波数成分Ｘ_Ｒ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号Ｙ_Ｒのｋ番目の周波数成分Ｙ_Ｒ（ｋ，ｍ）が、雑音低減部６４Ｒから時間変換部６５Ｒに出力される。

そして、時間変換部６５Ｌにより、上記音声スペクトル信号Ｙ_Ｌのｋ番目の周波数成分Ｙ_Ｌ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙ_Ｌ（ｍ）がフレーム単位で出力される。また、時間変換部６５Ｒにより、上記音声スペクトル信号Ｙ_Ｒのｋ番目の周波数成分Ｙ_Ｒ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙ_Ｒ（ｍ）がフレーム単位で出力される。

［３．３．２．クロススペクトル補正部の動作］
次に、図１９、図２０を参照して、本実施形態に係るクロススペクトル補正部６７の動作について説明する。図１９は、本実施形態に係るクロススペクトル補正部６７の概略動作を示すフローチャートである。図２０は、本実施形態に係るクロススペクトル補正部６７の詳細動作を示すフローチャートである。

図１９に示すように、まず、クロススペクトル補正部６７は、周波数変換部６１Ｌから音声スペクトル信号Ｘ_Ｌの各周波数成分Ｘ_Ｌ（ｋ，ｍ）を取得するとともに、周波数変換部６１Ｒから音声スペクトル信号Ｘ_Ｒの各周波数成分Ｘ_Ｒ（ｋ，ｍ）を取得する（Ｓ６０）。

次いで、クロススペクトル補正部６７は、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌの全ての周波数成分Ｘ_Ｌ（０〜Ｌ−１，ｍ）と、Ｘ_Ｒの全ての周波数成分Ｘ_Ｒ（０〜Ｌ−１，ｍ）との相互相関に基づいて、音声信号ｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）のうち所望音のみが含まれている区間を検出する（Ｓ６２）。

さらに、クロススペクトル補正部６７は、当該検出された区間において、周波数成分ごとに、音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）の所望音とＸ_Ｒ（ｋ，ｍ）の所望音との相互相関を最大化する補正係数Ａ_Ｐ（ｋ）を算出する（Ｓ６４）。そして、クロススペクトル補正部６７は、当該補正係数Ａ_ＰをクロススペクトルＣ_ＬＲ（ｋ）に乗算して、Ｃ_ＬＲ（ｋ）を補正し、当該補正後のＣ’_ＬＲ（ｋ）を雑音低減部６４Ｌ、６４Ｒに出力する（Ｓ６６）。

さらに図２０を参照して、クロススペクトル補正部６７の詳細動作を説明する。図２０に示すように、まず、クロススペクトル補正部６７は、上記音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）を取得するとともに、音声スペクトル信号Ｘ_Ｒ（ｋ，ｍ）を取得する（Ｓ７０：上記Ｓ６０に相当する。）。さらに、クロススペクトル補正部６７は、上記クロススペクトルＣ_ＬＲ（ｋ）、パワースペクトルＰ_Ｌ（ｋ）及びＰ_Ｒ（ｋ）を取得する（Ｓ７２）。

次いで、クロススペクトル補正部６７は、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）の全体成分と音声スペクトル信号Ｘ_Ｒ（ｋ，ｍ）の全体成分との相互相関に基づいて、ｍ番目のフレームが、風雑音を含まずに所望音のみを含む区間であるか否かを判定する（Ｓ７４、Ｓ７６）。

ｍ番目のフレームに風雑音が含まれる場合には、Ｘ_Ｌ（ｋ，ｍ）とＸ_Ｒ（ｋ，ｍ）の相互相関が低下するため、補正係数Ａ_Ｐ（ｋ）を正しく算出できない。そこで、風雑音をできるだけ含まず、所望音のみを含む区間（例えばフレーム）において、補正係数Ａ_Ｐ（ｋ）を算出することが好ましい。そこで、本実施形態では、処理対象であるｍ番目のフレームが所望音のみを含む区間であるか否かを判定する。もしｍ番目のフレームが風雑音のみを含む場合は、Ｘ_Ｌ（ｋ，ｍ）全体とＸ_Ｒ（ｋ，ｍ）全体との相互相関係数Ｃｏｒｒ_{Ｔｏｔａｌ}が小さくなるので、当該相互相関係数Ｃｏｒｒ_{Ｔｏｔａｌ}の大小により、ｍ番目のフレームが所望音のみを含む区間であるか否かを判定できる（Ｓ７２、Ｓ７４）。この結果、所望音のみが存在する区間であれば、当該ｍ番目のフレームのＸ_Ｌ（ｋ，ｍ）とＸ_Ｒ（ｋ，ｍ）を用いて補正係数Ａ_Ｐ（ｋ）を算出する（Ｓ７８）。

具体的には、まず、クロススペクトル補正部６７は、以下の式（７０）により、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌの全ての周波数成分Ｘ_Ｌ（０〜Ｌ−１，ｍ）と音声スペクトル信号Ｘ_Ｒの全ての周波数成分Ｘ_Ｌ（０〜Ｌ−１，ｍ）との相互相関係数Ｃｏｒｒ_{Ｔｏｔａｌ}を算出する（Ｓ７４）。

次いで、クロススペクトル補正部６７は、Ｓ７４で求めたＣｏｒｒ_{Ｔｏｔａｌ}が、所定の閾値Ｔｈよりも大きいか否かを判定する（Ｓ７６）。Ｃｏｒｒ_{Ｔｏｔａｌ}＞Ｔｈであれば、クロススペクトル補正部６７は、Ｘ_ＬとＸ_Ｒの相互相関が高いので、ｍ番目のフレームの音声信号ｘに風雑音が含まれないと判定し、補正係数Ａ_Ｐ（ｋ）の算出処理（Ｓ７８）に進む。

Ｓ７８では、クロススペクトル補正部６７は、以下の式（７１）により、ｍ番目のフレームの周波数成分ごとに、Ｘ_ＬとＸ_Ｒの二乗誤差が最小となる係数ｇ_ｃ（ｋ）を算出し、当該ｇ_ｃ（ｋ）を補正係数ａ_Ｐ（ｋ，ｍ）とする（Ｓ７８）。式（７１）における「Ｅ」は、例えば、フレームｍを含み、フレームｍより以前で、Ｃｏｒｒ_{Ｔｏｔａｌ}＞Ｔｈとなった複数のフレームにおける時間平均を示す。

さらにクロススペクトル補正部６７は、不図示の記憶部に記憶されている過去の補正係数Ａ_Ｐ（ｋ）を読み出し、以下の式（７２）により、平滑化係数ｒ（０＜ｒ＜１）を用いて、Ａ_Ｐ（ｋ）と、Ｓ７８で求めた現在のフレームのａ_Ｐ（ｋ，ｍ）を平滑化することにより、Ａ_Ｐ（ｋ）を更新する（Ｓ８０）。このように、現在のフレームのａ_Ｐ（ｋ，ｍ）と過去のフレームのＡ_Ｐ（ｋ）を平滑化することで、個々のフレームの音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高い補正係数Ａ_Ｐ（ｋ，ｍ）を算出できる。なお、１フレームのＸ_Ｌ（ｋ，ｍ）とＸ_Ｒ（ｋ，ｍ）のみを用いて補正係数Ａ_Ｐ（ｋ）を算出することも可能であるが、過去のフレームから算出した補正係数Ａ_Ｐ（ｋ）をも用いて補正係数Ａ_Ｐ（ｋ）を算出することで、補正係数Ａ_Ｐ（ｋ）の精度を向上できる。
Ａ_Ｐ（ｋ）＝ｒ・Ａ_Ｐ（ｋ）＋（１−ｒ）・ａ_Ｐ（ｋ，ｍ） ・・・（７２）

そして、クロススペクトル補正部６７は、Ｓ８０で得た補正係数Ａ_Ｐ（ｋ，ｍ）を用いて、周波数成分ごとにクロススペクトルＣ’_ＬＲ（ｋ）を再計算する（Ｓ８２）。具体的には、クロススペクトル補正部６７は、以下の式（７３）に従い、Ｃ_ＬＲ（ｋ）（＝Ｘ_Ｌ（ｋ，ｍ）・Ｘ^＊ _Ｒ（ｋ，ｍ））に補正係数Ａ_Ｐ（ｋ）を乗算した値の期待値（平均値）を算出し、補正後のクロススペクトルＣ’_ＬＲ（ｋ）を得る。

一方、上記Ｓ７６にて、Ｃｏｒｒ_{Ｔｏｔａｌ}≦Ｔｈであれば、Ｘ_ＬとＸ_Ｒの相互相関が低いので、クロススペクトル補正部６７は、ｍ番目のフレームの音声信号ｘに風雑音が含まれると判定する。この場合、クロススペクトル補正部６７は、上記の補正係数Ａ_Ｐ（ｋ）の更新処理（Ｓ７８、Ｓ８０）を行わずに、過去のフレームから算出した補正係数Ａ_Ｐ（ｋ）を用いて、補正後のクロススペクトルＣ’_ＬＲ（ｋ）を得る（Ｓ８２）。

以上、第３の実施形態に係る特徴であるクロススペクトル補正部６７の動作について説明した。なお、その他の各部（クロススペクトル算出部６２、パワースペクトル算出部６３Ｌ、６３Ｒ、雑音低減部６４Ｌ、６４Ｒ等）の動作は、上記第１の実施形態と実質的に同一であってもよいので、詳細説明は省略する（図８〜図１０参照。）。

［３．４．効果］
以上、本開示の第３の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第３の実施形態によれば、上記第１の実施形態の効果に加え、次の効果を得ることができる。

即ち、第３の実施形態では、所望音の音源の位置により、２つのマイクロホン５１Ｌ、５１Ｒからの入力音声信号ｘ_Ｌ、ｘ_Ｒの所望音に位相差が生じる場合であっても、当該所望音の相互相関を最大化する補正係数Ａ_Ｐを用いて、クロススペクトルＣ_ＬＲを補正する。これにより、２つの音声信号ｘ_Ａ、ｘ_Ｂの所望音の相互相関を高めて相互相関係数Ｃｏｒｒ（ｋ）を１に近づけることができるので、２つの音声信号ｘ_Ｌ、ｘ_Ｒから所望音を正確に推定可能になる。従って、ウィナーフィルタ形式の低減係数Ｇを好適に適用して、入力音声から風雑音を適切に低減し、所望音を劣化させることなく抽出することができる。

また、２つの音声スペクトル信号Ｘ_Ａ、Ｘ_Ｂの相互相関係数Ｃｏｒｒ（ｋ）を最大化するような補正係数Ａ_Ｐを算出し、補正係数Ａ_Ｐを用いてクロススペクトルＣ_ＬＲを補正する。これにより、所望音の相互相関を高めるための補正係数Ａ_Ｐを適切に求めて、所望音の推定精度を向上することができる。

さらに、各フレームの音声スペクトル信号Ｘ_ＬとＸ_Ｒの全ての周波数成分の相互相関Ｃｏｒｒ_{Ｔｏｔａｌ}に基づいて、そのフレームに風雑音が含まれない区間（フレーム）を検出し、風雑音が含まれず所望音のみが含まれる区間のＸ_ＬとＸ_Ｒから補正係数Ａ_Ｐを算出する。これにより、所望音の相互相関を高めるための補正係数Ａ_Ｐを適切に求めて、所望音の推定精度を更に向上させることができる。

＜４．第４の実施の形態＞
次に、本開示の第４の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第４の実施形態は、上記第１の実施形態と比べて、雑音低減部の後段にハイパスフィルタを設け、このイパスフィルタのカットオフ周波数を制御する点で相違する。第４の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。

［４．１．第４の実施形態の概要］
まず、第４の実施形態に係る音声信号処理装置及び方法の概要について説明する。第４の実施形態では、雑音低減部６４の後段に、所定のカットオフ周波数Ｆｃ以下の低域周波数成分を除去するハイパスフィルタ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ：ＨＰＦ）を設け、雑音低減部６４から出力された音声スペクトル信号Ｙに残留した風雑音を低減する。

さらに、ハイパスフィルタのカットオフ周波数Ｆｃを制御するためのフィルタ制御部を設ける。このフィルタ制御部は、クロススペクトルＣ_ＬＲ、パワースペクトルＰ_Ｌ、Ｐ_Ｒを利用して、音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの相互相関に基づいて、カットオフ周波数を動的に制御する。これにより、入力音声信号ｘ_Ｌ、ｘ_Ｒに含まれる風雑音の状態に応じて柔軟にカットオフ周波数Ｆｃを制御することができる。従って、風雑音が強い場合は、カットオフ周波数Ｆｃを大きくして、風雑音をより低減することができ、風雑音が弱い場合は、カットオフ周波数Ｆｃを小さくして、所望音の劣化を抑制することができる。以下に、このカットオフ周波数Ｆｃの制御について、より詳細に説明する。

上述したように、基本的には、２つのマイクロホン５１Ｌ、５１Ｒの入力音声信号ｘ_Ｌ、ｘ_Ｒ間で、風雑音の相互相関はゼロに近くなる。しかし、図２１に示すように、マイクロホン５１Ｌ、５１Ｒの間隔や風雑音の波長によっては、所定の周波数（図の例では約２５０Ｈｚ）以下では、風雑音の相互相関が大きくなる場合がある。この場合、上記雑音低減部６４は、当該周波数以下の低周波数帯域の風雑音を適切に低減することができない。

そこで、第４の実施形態では、相互相関が高くなる風雑音を含む低周波数領域の上限の周波数を検出し、当該低周波数領域の上限の周波数をカットオフ周波数Ｆｃとするハイパスフィルタにより、当該低域周波数以下の風雑音を除去する。

ここで、図２２を参照して、カットオフ周波数Ｆｃの検出・設定方法の概要を説明する。図２２は、カットオフ周波数Ｆｃにより低周波数帯域が除去された音声スペクトル信号Ｙを示す。

上記の雑音低減部６４により風雑音を適切に低減できない低周波数帯域は、風雑音のみが含まれている区間の音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒ間の相互相関に基づいて、検出することが可能である。当該低周波数帯域は、音声信号に風雑音のみが含まれていると判定された区間において、Ｘ_Ｌ、Ｘ_Ｒの相互相関が高い値となる１ｋＨｚ以下の周波数帯域である。

そこで、本実施形態では、当該区間の音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの相互相関係数に基づいて、風雑音の周波数特性に応じた適切なカットオフ周波数Ｆｃを設定する。例えば、雑音低減部６４により風雑音を適切に低減できている場合には、図２２の破線の周波数特性で示すように、ハイパスフィルタのカットオフ周波数Ｆｃを小さい値Ｆｃ_１に設定する。これにより、周波数Ｆｃ_１超の所望音を除去しないので、所望音の音質劣化を小さくすることができる。一方、雑音低減部６４による風雑音の低減が不十分である場合には、図２２の実線の周波数特性で示すように、ハイパスフィルタのカットオフ周波数Ｆｃを大きい値Ｆｃ_２に設定する。これにより、周波数Ｆｃ_２以下の風雑音をも除去して、Ｘ_Ｌ、Ｘ_Ｒ間の相互相関を有する低周波数帯域の風雑音を適切に低減することができる。

［４．２．音声信号処理装置の機能構成］
次に、図２３を参照して、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図２３は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。

図２３に示すように、音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒと、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ｌ、６１Ｒと、クロススペクトル算出部６２と、２つのパワースペクトル算出部６３Ｌ、６３Ｒと、２つの雑音低減部６４Ｌ、６４Ｒと、２つの時間変換部６５Ｌ、６５Ｒと、２つのフィルタ部６８Ｌ、６８Ｒと、フィルタ制御部６９とを備える。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０の備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。

図２３に示したように、第４の実施形態に係る音声信号処理装置は、第１の実施形態に係る音声信号処理装置と比べて、フィルタ部６８Ｌ、６８Ｒ及びフィルタ制御部６９をさらに備える点で相違する。以下、各部について説明する。

マイクロホン５１Ｌ、５１Ｒ、周波数変換部６１Ｌ、６１Ｒ、クロススペクトル算出部６２、パワースペクトル算出部６３Ｌ、６３Ｒ、雑音低減部６４Ｌ、６４Ｒは、上記第１の実施形態の各部と同様であるので、詳細説明は省略する。

フィルタ部６８Ｌ、６８Ｒ（以下、フィルタ部６８と総称する。）はそれぞれ、雑音低減部６４Ｌ、６５Ｌの後段に設けられるハイパスフィルタ（低域除去フィルタ）である。このフィルタ部６８Ｌ、６８Ｒは、雑音低減部６４Ｌ、６４Ｒから出力された音声スペクトル信号Ｙ_Ｌ、Ｙ_Ｒの低周波数帯域を除去して、音声スペクトル信号Ｚ_Ｌ、Ｚ_Ｒを出力する。

具体的には、フィルタ部６８Ｌは、周波数成分ごとに、フィルタ制御部６９により設定されたカットオフ周波数Ｆｃに応じてフィルタ係数Ｈ（ｋ）を生成し、当該Ｈ（ｋ）をＬｃｈの音声スペクトル信号Ｙ_Ｌに乗算する。これにより、音声スペクトル信号Ｙ_Ｌうちカットオフ周波数Ｆｃ以下の低周波数帯域が除去され、当該低周波数帯域に含まれる風雑音が低減される。同様に、フィルタ部６８Ｒは、周波数成分ごとに、フィルタ制御部６９により設定されたカットオフ周波数Ｆｃに応じてフィルタ係数Ｈ（ｋ）を生成し、当該Ｈ（ｋ）をＲｃｈの音声スペクトル信号Ｙ_Ｒに乗算する。これにより、音声スペクトル信号Ｙ_Ｒうちカットオフ周波数Ｆｃ以下の低周波数帯域が除去され、当該低周波数帯域に含まれる風雑音が低減される。

フィルタ制御部６９は、音声スペクトル信号Ｘ_Ｌと音声スペクトル信号Ｘ_Ｒとの相互相関に基づいて、フィルタ部６８Ｌ、６８Ｒのカットオフ周波数Ｆｃを動的に制御する機能を有する。具体的には、フィルタ制御部６９は、入力音声信号ｘ_Ｌとｘ_Ｒのうち風雑音のみが含まれる区間を検出して、当該区間の音声スペクトル信号Ｘ_Ｒと音声スペクトル信号Ｘ_Ｒとの相互相関係数Ｃｏｒｒを周波数成分ごとに求める。この際、フィルタ制御部６９は、クロススペクトルＣ_ＬＲ、パワースペクトルＰ_Ｌ、Ｐ_Ｒを利用して相互相関係数Ｃｏｒｒを求める。そして、フィルタ制御部６９は、当該相互相関係数Ｃｏｒｒが閾値ｔｈ_ｋ以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、カットオフ周波数Ｆｃとして設定する。

例えば、図２１に示すように、本来、２つのマイクロホン５１Ｌ、５１Ｒで収音される風雑音は相互相関が低く、その相互相関係数Ｃｏｒｒはゼロに近い。ところが、２５０Ｈｚ以下の低周波数帯域では、マイクロホン５１Ｌ、５１Ｒの間隔や風雑音の波長によっては、風雑音の相互相関係数Ｃｏｒｒが大きくなり１に近づく場合がある。この場合、周波数が０から大きくなるにつれ、風雑音の相互相関係数Ｃｏｒｒは、一定値（例えば０．５）以上の値から徐々に低下して、ある周波数で閾値ｔｈ_ｋ以下となる。このように風雑音の相互相関係数Ｃｏｒｒが閾値ｔｈ_ｋ以下にまで低下すれば、その周波数以上の帯域の風雑音は、上記雑音低減部６４により除去可能である。そこで、風雑音の相互相関係数Ｃｏｒｒが最初に閾値ｔｈ_ｋ以下となるときの周波数をカットオフ周波数Ｆｃとして設定し、当該カットオフ周波数Ｆｃ以下の低周波数帯域の風雑音をフィルタ部６８により除去することが好ましい。そこで、フィルタ制御部６９は、風雑音のみが含まれる区間において、音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの相互相関係数Ｃｏｒｒ（ｋ）が高い値から閾値ｔｈ_ｋ以下にまで低下するときの周波数を、カットオフ周波数Ｆｃとして設定する。

フィルタ制御部６９は、設定したカットオフ周波数Ｆｃをフィルタ部６８Ｌ、６８Ｒにそれぞれ出力する。なお、本実施形態では、Ｌｃｈ用のフィルタ部６８ＬとＲｃｈ用のフィルタ部６８Ｒとが同一のカットオフ周波数Ｆｃを用いるが、各チャンネルの音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒに応じて、相異なるカットオフ周波数Ｆｃを用いてもよい。

時間変換部６５Ｌ、６５Ｒは、フィルタ部６８Ｌ、６８Ｒを通過した音声スペクトル信号Ｚ_Ｌ、Ｚ_Ｒを、時間領域の音声信号ｚ_Ｌ、ｚ_Ｒに逆変換する機能を有する。この時間変換部６５Ｌ、６５Ｒは、上記第１の実施形態の時間変換部６５Ｌ、６５Ｒと同様であるので、詳細説明は省略する。時間変換部６５Ｌ、６５Ｒから出力された音声信号ｚ_Ｌ、ｚ_Ｒは、デジタルカメラ１で撮像された動画データに付随する音声データとして、任意の記録媒体に記録される。

以上、第４の実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。第４の実施形態では、フィルタ制御部６９により、音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの相互相関（クロススペクトルＣ_ＬＲ、パワースペクトルＰ_Ｌ、Ｐ_Ｒ）を利用して、フィルタ部６８のカットオフ周波数Ｆｃを動的に制御する。これにより、実際の音声信号ｘ_Ｌ、ｘ_Ｒに含まれる風雑音の周波数特性に応じて、適切なカットオフ周波数Ｆｃを設定できる。これにより、フィルタ部６８Ｌ、６８Ｒは、カットオフ周波数Ｆｃ以下の周波数成分を除去して、雑音低減部６４により低減されずに残留している低周波数帯域の風雑音を適切に除去することができる。

［４．３．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（風雑音の低減方法）について説明する。

［４．３．１．音声信号処理装置の全体動作］
まず、上記図２３で示した音声信号処理装置の全体動作について説明する。音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒからそれぞれ入力される音声信号ｘ_Ｌ、ｘ_Ｒをフレームに分割し、フレーム単位で雑音低減処理を行う。ｍ番目のフレームの音声信号ｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）が入力されると、周波数変換部６１Ｌ、６１Ｒは、当該音声信号ｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）をフーリエ変換して、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを周波数成分ごとに出力する。

周波数変換部６１Ｌ、６１Ｒから、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒのｋ番目の周波数成分Ｘ_Ｌ（ｋ，ｍ）、Ｘ_Ｒ（ｋ，ｍ）が出力されると、クロススペクトル算出部６２により、音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）、Ｘ_Ｒ（ｋ，ｍ）からクロススペクトルＣ_ＬＲ（ｋ）が算出される。これと同時に、パワースペクトル算出部６３Ｌにより、音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）からパワースペクトルＰ_Ｌ（ｋ）が算出され、パワースペクトル算出部６３Ｒにより、音声スペクトル信号Ｘ_Ｒ（ｋ，ｍ）からパワースペクトルＰ_Ｒ（ｋ）が算出される。

次いで、雑音低減部６４Ｌにより、Ｃ_ＬＲ（ｋ）とＰ_Ｌ（ｋ）から低減係数Ｇ_Ｌ（ｋ）が算出されて、音声スペクトル信号Ｘ_Ｌのｋ番目の周波数成分Ｘ_Ｌ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号Ｙ_Ｌのｋ番目の周波数成分Ｙ_Ｌ（ｋ，ｍ）が、雑音低減部６４Ｌからフィルタ部６８Ｌに出力される。また、雑音低減部６４Ｒにより、Ｃ_ＬＲ（ｋ）とＰ_Ｒ（ｋ）から低減係数Ｇ_Ｒ（ｋ）が算出されて、音声スペクトル信号Ｘ_Ｒのｋ番目の周波数成分Ｘ_Ｒ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号Ｙ_Ｒのｋ番目の周波数成分Ｙ_Ｒ（ｋ，ｍ）が、雑音低減部６４Ｒからフィルタ部６８Ｌに出力される。

さらに、フィルタ制御部６９により、周波数成分ごとに、Ｃ_ＬＲ（ｋ）、Ｐ_Ｌ（ｋ）及びＰ_Ｌ（ｋ）から相互相関係数Ｃｏｒｒ（ｋ）が算出され、Ｃｏｒｒ（ｋ）に基づいてカットオフ周波数Ｆｃが設定される。そして、フィルタ部６８Ｌにより、上記音声スペクトル信号Ｙ_Ｌうちのカットオフ周波数Ｆｃ以下の周波数成分が除去されて、Ｚ_Ｌ（ｋ，ｍ）が出力される。同時に、フィルタ部６８Ｒにより、上記音声スペクトル信号Ｙ_Ｒうちのカットオフ周波数Ｆｃ以下の周波数成分が除去されて、Ｚ_Ｒ（ｋ，ｍ）が出力される。

そして、時間変換部６５Ｌにより、上記音声スペクトル信号Ｚ_Ｌのｋ番目の周波数成分Ｚ_Ｌ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｚ_Ｌ（ｍ）がフレーム単位で出力される。また、時間変換部６５Ｒにより、上記音声スペクトル信号Ｚ_Ｒのｋ番目の周波数成分Ｚ_Ｒ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｚ_Ｒ（ｍ）がフレーム単位で出力される。

［４．３．２．フィルタ制御部の動作］
次に、図２４、図２５を参照して、本実施形態に係るフィルタ制御部６９の動作について説明する。図２４は、本実施形態に係るフィルタ制御部６９の概略動作を示すフローチャートである。図２５は、本実施形態に係るフィルタ制御部６９の詳細動作を示すフローチャートである。

図２４に示すように、まず、フィルタ制御部６９は、クロススペクトル算出部６２からクロススペクトルＣ_ＬＲ（ｋ）を取得し、パワースペクトル算出部６３Ｌ、６３ＲからパワースペクトルＰ_Ｌ（ｋ）及びＰ_Ｒ（ｋ）を取得する（Ｓ１００）。次いで、フィルタ制御部６９は、周波数成分ごとに、音声スペクトル信号Ｘ_ＬとＸ_Ｒの相互相関係数Ｃｏｒｒ（ｋ）を算出する（Ｓ１０２）。

次いで、フィルタ制御部６９は、相互相関係数Ｃｏｒｒに基づいて、入力音声信号ｘ_Ｌ、ｘ_Ｒに風雑音が含まれているか否かを検出する（Ｓ１０４）。例えば、入力音声信号ｘ_Ｌ、ｘ_Ｒ全体の相互相関係数Ｃｏｒｒ_{Ｔｏｔａｌ}が閾値Ｔｈ以下であり、かつ、入力音声信号ｘ_Ｌ、ｘ_Ｒの低周波数帯域の相互相関係数Ｃｏｒｒ（ｋ）が閾値ｔｈ_ｋ以上であれば、入力音声信号ｘ_Ｌ、ｘ_Ｒの低周波数帯域に風雑音が含まれると判断される。

その後、フィルタ制御部６９は、相互相関係数Ｃｏｒｒの周波数特性に基づいて、フィルタ部６８のカットオフ周波数Ｆｃを設定する（Ｓ１０６）。例えば、図２２に示したように、フィルタ制御部６９は、周波数がゼロから大きくなるにつれて低下する相互相関係数Ｃｏｒｒ（ｋ）が最初に閾値ｔｈ_ｋ以下になったときの周波数をカットオフ周波数Ｆｃに設定する。

さらに、図２５を参照して、フィルタ制御部６９の詳細動作を説明する。図２５に示すように、まず、フィルタ制御部６９は、上記クロススペクトルＣ_ＬＲ（ｋ）、パワースペクトルＰ_Ｌ（ｋ）及びＰ_Ｒ（ｋ）を取得する（Ｓ１１０）。

次いで、フィルタ制御部６９は、以下の式（８０）により、周波数成分ごとに、音声スペクトル信号Ｘ_ＬとＸ_Ｒの相互相関係数Ｃｏｒｒ（ｋ）を算出する（Ｓ１１２）。

次いで、フィルタ制御部６９は、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）の全体成分と音声スペクトル信号Ｘ_Ｒ（ｋ，ｍ）の全体成分との相互相関に基づいて、ｍ番目のフレームが、所望音を含まずに風雑音のみを含む区間であるか否かを判定する（Ｓ１１４、Ｓ１１６）。

ｍ番目のフレームに風雑音が含まれない場合には、低周波数帯域の風雑音を低減するためのカットオフ周波数Ｆｃを正しく算出できない。そこで、所望音をできるだけ含まず、風雑音のみを含む区間（例えばフレーム）において、カットオフ周波数Ｆｃを算出し、過去のＦｃを更新することが好ましい。そこで、本実施形態では、処理対象であるｍ番目のフレームが風雑音のみを含む区間であるか否かを判定する。もしｍ番目のフレームが風雑音のみを含む場合は、Ｘ_Ｌ（ｋ，ｍ）全体とＸ_Ｒ（ｋ，ｍ）全体との相互相関係数Ｃｏｒｒ_{Ｔｏｔａｌ}が小さくなるので、当該相互相関係数Ｃｏｒｒ_{Ｔｏｔａｌ}の大小により、ｍ番目のフレームが風雑音のみを含む区間であるか否かを判定できる（Ｓ１１４、Ｓ１１６）。この結果、風雑音のみを含む区間であれば、当該ｍ番目のフレームのＸ_Ｌ（ｋ，ｍ）とＸ_Ｒ（ｋ，ｍ）を用いてカットオフ周波数Ｆｃを更新する（Ｓ１１８）。

具体的には、まず、フィルタ制御部６９は、以下の式（８１）により、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌの全ての周波数成分Ｘ_Ｌ（０〜Ｌ−１，ｍ）と音声スペクトル信号Ｘ_Ｒの全ての周波数成分Ｘ_Ｌ（０〜Ｌ−１，ｍ）との相互相関係数Ｃｏｒｒ_{Ｔｏｔａｌ}を算出する（Ｓ１１４）。

次いで、フィルタ制御部６９は、Ｓ１１４で求めたＣｏｒｒ_{Ｔｏｔａｌ}が、所定の閾値Ｔｈ以下であるか否かを判定する（Ｓ１１６）。Ｃｏｒｒ_{Ｔｏｔａｌ}≦Ｔｈであれば、フィルタ制御部６９は、Ｘ_ＬとＸ_Ｒの相互相関が低いので、ｍ番目のフレームの音声信号ｘに風雑音が含まれると判定し、カットオフ周波数Ｆｃの算出処理（Ｓ１１８）を行う。一方、Ｃｏｒｒ_{Ｔｏｔａｌ}＞Ｔｈであれば、フィルタ制御部６９は、Ｘ_ＬとＸ_Ｒの相互相関が高いので、ｍ番目のフレームの音声信号ｘに風雑音が含まれないと判定し、カットオフ周波数Ｆｃの算出処理（Ｓ１１８）を行わずに、ｍ番目のフレームの処理を終了する。

Ｓ１１８では、フィルタ制御部６９は、Ｓ１１２で算出した各周波数成分の相互相関係数Ｃｏｒｒ（ｋ）に基づいて、カットオフ周波数Ｆｃを算出する（Ｓ１１８、Ｓ１２０）。詳細には、フィルタ制御部６９は、以下の式（８２）により、相互相関係数Ｃｏｒｒ（ｋ）が最初に閾値ｔｈ_ｋ以下となる周波数成分の周波数インデックスｋ_ｃｕｔを求める（Ｓ１１８）。つまり、フィルタ制御部６９は、ｍ番目のフレームの音声スペクトル信号Ｘの各周波数成分のうち、相互相関係数Ｃｏｒｒ（ｋ）が閾値以下となる周波数成分のうち、周波数帯域が最も低い周波数成分の周波数インデックスｋ_ｃｕｔを求める。例えば、フィルタ制御部６９は、ｍ番目のフレームの音声スペクトル信号Ｘの各周波数成分の周波数インデックスｋ＝０〜Ｌ−１の中から、相互相関係数Ｃｏｒｒ（ｋ）が閾値ｔｈ_ｋ以下となるすべての周波数成分（ｋ＝ｋ_０〜ｋ_Ｍ−１）を抽出し、そのうちで周波数インデックスｋの最小値ｋ_０をｋ_ｃｕｔとする。

そして、フィルタ制御部６９は、Ｓ１１８で求めた周波数インデックスｋ_ｃｕｔの周波数成分に対応する離散周波数を、カットオフ周波数Ｆｃとして設定する（Ｓ１２０）。なお、当該周波数インデックスｋ_ｃｕｔの周波数帯域の下限又は上限の周波数などを、カットオフ周波数Ｆｃとして設定してもよい。

［４．３．３．フィルタ部の動作］
次に、図２６を参照して、本実施形態に係るフィルタ部６８の動作について説明する。図２６は、本実施形態に係るフィルタ部６８の概略動作を示すフローチャートである。なお、以下では、Ｌｃｈ用のフィルタ部６８Ｌの動作を説明するが、Ｒｃｈ用のフィルタ部６８Ｒの動作も同様である。

図２６に示すように、まず、フィルタ部６８Ｌは、雑音低減部６４Ｌから、音声スペクトル信号Ｙ_Ｌ（ｋ）を取得する（Ｓ１３０）。音声スペクトル信号Ｙ_Ｌ（ｋ）は、雑音低減部６４Ｌにより上述の雑音低減処理が施された音声スペクトル信号である。さらに、フィルタ部６８Ｌは、フィルタ制御部６９からカットオフ周波数Ｆｃを取得する（Ｓ１３２）。

次いで、フィルタ部６８Ｌは、カットオフ周波数Ｆｃ以下の周波数成分を除去するためのハイパスフィルタＨ（ｋ）を算出する（Ｓ１３４）。ハイパスフィルタの算出方法としては、例えば、窓関数法、等リップル法、チェビシェブフィルタ、バタワースフィルタなど、公知の任意の方法を用いることができる。

その後、フィルタ部６８Ｌは、以下の式（８３）により、ハイパスフィルタＨ（ｋ）を音声スペクトル信号Ｙ_Ｌ（ｋ）に乗算して、音声スペクトル信号Ｚ_Ｌ（ｋ）を生成する。この音声スペクトル信号Ｚ_Ｌは、音声スペクトル信号Ｙ_Ｌのうちのカットオフ周波数Ｆｃ以下の低周波成分を除去した音声スペクトル信号であり、図２２に示した低周波数帯域の風雑音が除去されている。
Ｚ_Ｌ（ｋ）＝Ｈ_Ｌ（ｋ）・Ｙ_Ｌ（ｋ） ・・・（８３）

［４．４．効果］
以上、本開示の第４の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第４の実施形態によれば、上記第１の実施形態の効果に加え、次の効果を得ることができる。

即ち、第４の実施形態によれば、上記第１の実施形態に係る雑音低減部６４により低減しきれずに残留している低周波数帯域の風雑音をも、適切なカットオフ周波数Ｆｃのハイパスフィルタを用いて好適に低減することができる。さらに、フィルタ制御部６９は、実際に入力される音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの各周波数成分の相互相関係数Ｃｏｒｒ（ｋ）に基づいて、カットオフ周波数Ｆｃを動的に制御し、実際の音声信号ｘ_Ｌ、ｘ_Ｒに含まれる風雑音の周波数特性に応じた適切なカットオフ周波数Ｆｃを設定する。

このようにフィルタ制御部６９は、当該相互相関係数Ｃｏｒｒ（ｋ）から、雑音低減部６４により風雑音を適切に低減できていない周波数帯域を特定し、当該周波数帯域に合わせてカットオフ周波数Ｆｃを設定する。これにより、風雑音低減部６４による低減処理が適切に行われている場合には、カットオフ周波数Ｆｃを比較的小さい値に設定することで、ハイパスフィルタにより所望音の低周波数成分を除去しないようにして、所望音の劣化を抑制することができる。一方、風雑音低減部６４による低減処理が不十分な場合には、カットオフ周波数Ｆｃを比較的大きな値に設定することで、風雑音低減部６４により低減できない低周波数帯域の風雑音を十分に低減することができる。

また、低周波数帯域において相互相関係数Ｃｏｒｒ（ｋ）が閾値ｔｈ_ｋ以下に低下する最小の周波数を、カットオフ周波数Ｆｃに設定することで、低周波数帯域の所望音を不必要に劣化させることなく、低周波数帯域の風雑音を適切に低減することができる。

さらに、各フレームの音声スペクトル信号Ｘ_ＬとＸ_Ｒの全ての周波数成分Ｃｏｒｒ_{Ｔｏｔａｌ}の相互相関に基づいて、そのフレームに風雑音が含まれる区間（フレーム）を検出し、所望音が含まれず風雑音のみが含まれる区間のＸ_ＬとＸ_ＲのＣｏｒｒ_{Ｔｏｔａｌ}から、カットオフ周波数Ｆｃを算出する。これにより、風雑音の周波数特性に合わせてカットオフ周波数Ｆｃを適切に求めて、低周波数帯域の所望音の推定精度を更に向上させることができる。

＜５．第５の実施の形態＞
次に、本開示の第５の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第５の実施形態は、上記第１の実施形態と比べて、雑音低減部による低減係数の算出方法が相違する。第５の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。

［５．１．第５の実施形態の概要］
まず、第５の実施形態に係る音声信号処理装置及び方法の概要について説明する。上記第４の実施形態では、ハイパスフィルタ（フィルタ部６８）により、雑音低減部６４から出力された音声スペクトル信号Ｙに残留している低周波数帯域の風雑音を低減していた。しかし、ハイパスフィルタを用いた場合には、カットオフ周波数Ｆｃ以下の風雑音のみならず、所望音も同様に低減されるため、低周波数帯域の所望音が劣化してしまう。

そこで、第５の実施形態では、ハイパスフィルタを用いずに、雑音低減部６４により、風雑音の特徴に応じて、上記のようにして求めた低減係数Ｇ（＝Ｃ_ＬＲ／Ｐ）（「第１の低減係数」に相当する。）をより適切な低減係数Ｇ’に補正する。即ち、雑音低減部６４は、風雑音のみが存在する区間を検出し、その区間の音声スペクトル信号Ｘから風雑音の特徴Ｑを求め、当該風雑音の特徴Ｑを用いて、風雑音を低減するための低減係数Ｇを補正して低減係数Ｇ’を得る。そして、雑音低減部６４は、当該補正後の低減係数Ｇ’を用いて音声スペクトル信号Ｘを補正することで、風雑音を低減する。これにより、上記ハイパスフィルタを用いたときのような低周波数帯域における所望音の劣化を抑え、風雑音をより好適に低減できるようになる。

ここで、図２７を参照して、上記第１の実施形態に係る算出方法により算出された低減係数Ｇの改善点について検討する。図２７は、第１の実施形態に係る算出方法により算出された低減係数Ｇと周波数との関係を示す図である。図２７（Ａ）は、入力音声に所望音のみが存在するときの低減係数Ｇ_Ｓ（「所望音のみが含まれる区間に対応する低減係数」に相当する。）の周波数特性を示す。図２７（Ｂ）は、入力音声に所望音及び風雑音が存在するときの低減係数Ｇ（所望音と風雑音が含まれる区間に対応する低減係数に相当する。）の周波数特性を示す。図２７（Ｃ）は、入力音声に風雑音のみが存在するときの低減係数Ｇ_Ｗ（「風雑音のみが含まれる区間に対応する第２の低減係数」に相当する。）の周波数特性を示す。

図２７（Ａ）に示すように、入力音声に所望音のみが存在するときは、低減係数Ｇ_Ｓはほぼ１となる。従って、雑音低減部６４により低減係数Ｇ_Ｓを用いて音声スペクトル信号Ｘを補正した場合でも、出力信号Ｙは入力信号Ｘとほぼ同一となる。

一方、図２７（Ｂ）に示すように、入力音声に所望音及び風雑音が存在するときは、低周波数帯域において、低減係数Ｇは１より小さくなる。これは風雑音を低減するためである。また、図２７（Ｃ）に示すように、入力音声に風雑音のみが存在するときは、低周波数帯域において、低減係数Ｇ_Ｗは高い値となり、１に近い値をとってしまう。このように低減係数Ｇを用いた場合、低周波数帯域では、風雑音のみが含まれている場合でも、十分な低減効果を得ることができない。このことから、図２７（Ｂ）に示すように、所望音と風雑音が含まれる区間でも、低周波数帯域に対しては、風雑音を十分に除去することができない。この理由は、所望音が原因で相関が大きいのか、或いは、風雑音が原因で相関が大きいのかの区別がつかず、ただ相関があるという点で、Ｇが１に近い値をとるからである。

そこで、第５の実施形態では、低周波数帯域に関して、第１の実施形態で算出された低減係数Ｇ（第１の低減係数）から、図２７（Ｃ）に示す風雑音のみを含む区間の低減係数Ｇ_Ｗ（第２の低減係数）を減算する補正を行うことで、低減係数Ｇを低減係数Ｇ’に補正する（Ｇ’＝Ｇ−Ｇ_Ｗ）。これにより、低周波数帯域における風雑音の影響が低減された、より適切な低減係数Ｇ’を得ることができる。

この低減係数Ｇ’の補正について、図２８を参照してより詳細に説明する。図２８は、本実施形態に係る低減係数Ｇの補正方法を示す図である。図２８において、実線は、所望音及び風雑音を含む区間の入力音声信号ｘから算出された低減係数Ｇ（＝Ｃ_ＬＲ／Ｐ）を示す。破線は、風雑音のみを含む区間の入力音声信号ｘから算出された低減係数Ｇ_Ｗ（＝Ｃ_ＬＲ／Ｐ）を示す。

図２８に示すように、まず、周波数帯域を例えば３つの帯域（低域Ｆ_Ｌ、中域Ｆ_Ｍ、高域Ｆ_Ｈ）に区分する。図示の例では、低域Ｆ_Ｌは約２００Ｈｚ以下、中域Ｆ_Ｍは約２００Ｈｚ〜約７００Ｈｚ、高域Ｆ_Ｈは約７００Ｈｚ以上の周波数帯域である。

次いで、低域Ｆ_Ｌ及び中域Ｆ_Ｍでは、所望音及び風雑音を含む場合の低減係数Ｇから、風雑音のみを含む場合の低減係数Ｇ_Ｗを減算して、低減係数Ｇ’を求める。この低減係数Ｇ’は、図２８の両矢印で示す差分の値となる。そして、雑音低減部６４は、かかる低減係数Ｇ’を低域Ｆ_Ｌ及び中域Ｆ_Ｍの音声スペクトル信号Ｘに乗算する。これにより、中域Ｆ_Ｍにおいては、当該差分の分だけ所望音を残しつつ、風雑音をさらに低減することができる。また、低域Ｆ_Ｌにおいては、ＧとＧ_Ｗはほぼ同一であり、両者の差分の低減係数Ｇ’はほぼゼロとなるので、風雑音を十分に低減することができる。

一方、高域Ｆ_Ｈでは、２つのマイクロホン５１間の風雑音の相互相関が十分に小さくなり、低減係数Ｇは適正値となる。従って、特に風雑音の影響を補正しなくても、第１の実施形態に係る算出方法で得られた低減係数Ｇを用いて、風雑音を適切に低減できる。そこで、雑音低減部６４は、高域Ｆ_Ｈでは、ＧからＧ_Ｗを減算することなく、そのままの低減係数Ｇを音声スペクトル信号Ｘに乗算する。これにより、高域Ｆ_Ｈの所望音を劣化させることなく、高域Ｆ_Ｈの風雑音を適切に低減できる。

［５．２．音声信号処理装置の機能構成］
次に、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。

第５の実施形態に係る音声信号処理装置の機能構成は、雑音低減部６４による低減係数Ｇの補正機能を除いては、第１の実施形態に係る音声信号処理装置の機能構成（図７参照。）と略同一であるので、詳細説明は省略する。

第５の実施形態に係る雑音低減部６４は、上記第１の実施形態のような低減係数Ｇの算出処理のみならず、低減係数Ｇの補正処理を行う。この補正処理により、風雑音の周波数特性に応じて低減係数Ｇから低減係数Ｇ’が算出される。

具体的には、雑音低減部６４Ｌ、６４Ｒは、周波数成分ごとに、上記クロススペクトルＣ_ＬＲ及びパワースペクトルＰ_Ｌ、Ｐ_Ｒから低減係数Ｇ_Ｌ、Ｇ_Ｒを算出する。そして、雑音低減部６４Ｌ、６４Ｒは、周波数成分ごとに、低減係数Ｇ_Ｌ、Ｇ_Ｒを補正して、低減係数Ｇ’_Ｌ、Ｇ’_Ｒを算出する。そして、雑音低減部６４Ｌ、６４Ｒは、当該低減係数Ｇ’_Ｌ、Ｇ’_Ｒを用いて音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを補正して、風雑音を低減する。なお、かかる雑音低減部６４による低減係数Ｇの補正処理の詳細については後述する。

以上、第５の実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。第５の実施形態では、雑音低減部６４により、実際の音声信号ｘ_Ｌ、ｘ_Ｒに含まれる風雑音の周波数特性に応じて、低減係数Ｇを適切な低減係数Ｇ’に補正する。これにより、低周波数帯域において、風雑音の相互相関係数がゼロにならない場合であっても、所望音の劣化を抑制しつつ、風雑音を適切に低減できる。

［５．３．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（風雑音の低減方法）について説明する。

［５．３．１．音声信号処理装置の全体動作］
まず、本実施形態に係る音声信号処理装置の全体動作について説明する。音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒからそれぞれ入力される音声信号ｘ_Ｌ、ｘ_Ｒをフレームに分割し、フレーム単位で雑音低減処理を行う。ｍ番目のフレームの音声信号ｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）が入力されると、周波数変換部６１Ｌ、６１Ｒは、当該音声信号ｘ_Ｌ（ｍ）、ｘ_Ｒ（ｍ）をフーリエ変換して、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒを周波数成分ごとに出力する。

周波数変換部６１Ｌ、６１Ｒから、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒのｋ番目の周波数成分Ｘ_Ｌ（ｋ，ｍ）、Ｘ_Ｒ（ｋ，ｍ）が出力されると、クロススペクトル算出部６２により、音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）、Ｘ_Ｒ（ｋ，ｍ）からクロススペクトルＣ_ＬＲ（ｋ）が算出される。これと同時に、パワースペクトル算出部６３Ｌにより、音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）からパワースペクトルＰ_Ｌ（ｋ）が算出され、パワースペクトル算出部６３Ｒにより、音声スペクトル信号Ｘ_Ｒ（ｋ，ｍ）からパワースペクトルＰ_Ｒ（ｋ）が算出される。

次いで、雑音低減部６４Ｌにより、Ｃ_ＬＲ（ｋ）とＰ_Ｌ（ｋ）から低減係数Ｇ_Ｌ（ｋ）が算出され、風雑音の特徴Ｑ_Ｌ（ｋ）に基づいて、低減係数Ｇ_Ｌ（ｋ）が低減係数Ｇ’_Ｌ（ｋ）に補正される。そして、雑音低減部６４Ｌにより、低減係数Ｇ’_Ｌ（ｋ）が音声スペクトル信号Ｘ_Ｌのｋ番目の周波数成分Ｘ_Ｌ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号Ｙ_Ｌのｋ番目の周波数成分Ｙ_Ｌ（ｋ，ｍ）が、雑音低減部６４Ｌから時間変換部６５Ｌに出力される。また、雑音低減部６４Ｒにより、Ｃ_ＬＲ（ｋ）とＰ_Ｒ（ｋ）から低減係数Ｇ_Ｒ（ｋ）が算出され、風雑音の特徴Ｑ_Ｒ（ｋ）に基づいて、低減係数Ｇ_Ｒ（ｋ）が低減係数Ｇ’_Ｒ（ｋ）に補正される。そして、雑音低減部６４Ｒにより、低減係数Ｇ’_Ｒ（ｋ）が音声スペクトル信号Ｘ_Ｒのｋ番目の周波数成分Ｘ_Ｒ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号Ｙ_Ｒのｋ番目の周波数成分Ｙ_Ｒ（ｋ，ｍ）が、雑音低減部６４Ｒから時間変換部６５Ｒに出力される。

その後、時間変換部６５Ｌにより、上記音声スペクトル信号Ｙ_Ｌのｋ番目の周波数成分Ｙ_Ｌ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙ_Ｌ（ｍ）がフレーム単位で出力される。また、時間変換部６５Ｒにより、上記音声スペクトル信号Ｙ_Ｒのｋ番目の周波数成分Ｙ_Ｒ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙ_Ｒ（ｍ）がフレーム単位で出力される。

［５．３．２．雑音低減部の動作］
次に、図２９、図３０を参照して、本実施形態に係る雑音低減部６４の動作について説明する。図２９は、本実施形態に係る雑音低減部６４の概略動作を示すフローチャートである。図３０は、図２９のＳ１５６〜Ｓ１６０の詳細動作を示すフローチャートである。

図２９に示すように、まず、雑音低減部６４Ｌ、６４Ｌはそれぞれ、周波数変換部６１Ｌ、６１Ｒから音声スペクトル信号Ｘ_Ｌ、Ｘ_Ｒの各周波数成分Ｘ_Ｌ（ｋ，ｍ）、Ｘ_Ｒ（ｋ，ｍ）を取得する（Ｓ１５０）。さらに、雑音低減部６４Ｌ、６４Ｒはそれぞれ、クロススペクトル算出部６２から各周波数成分のクロススペクトルＣ_ＬＲ（ｋ）を取得するとともに、パワースペクトル算出部６３Ｌから各周波数成分のパワースペクトルＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）、を取得する（Ｓ１５２）。

次いで、雑音低減部６４Ｌ、６４Ｒはそれぞれ、上述した式（４６）に示すように、周波数成分ごとに、Ｃ_ＬＲ（ｋ）をＰ_Ｌ（ｋ）、Ｐ_Ｒ（ｋ）で除算して、低減係数Ｇ_Ｌ（ｋ，ｍ）、Ｇ_Ｒ（ｋ，ｍ）を算出する（Ｓ１５４）。

さらに、雑音低減部６４Ｌ、６４Ｒは、風雑音のみ存在する区間（フレーム）を検出し、（Ｓ１５６）、当該区間の音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）、Ｘ_Ｒ（ｋ，ｍ）から、風雑音の周波数特性の特徴Ｑを算出する（Ｓ１５８）。次いで、雑音低減部６４Ｌ、６４Ｒは、風雑音の特徴Ｑに基づいて、Ｓ１５４で求めた低減係数Ｇ_Ｌ（ｋ）、Ｇ_Ｒ（ｋ）を補正して、低減係数Ｇ’_Ｌ（ｋ）、Ｇ’_Ｒ（ｋ）を得る（Ｓ１６０）。ここで、風雑音の特徴Ｑは、例えば。図２７（Ｃ）に示したような風雑音の低減係数Ｇ_Ｗの周波数特性である。なお、これらＳ１５６〜Ｓ１６０の詳細は後述する（図３０参照。）。

その後、雑音低減部６４Ｌは、以下の式（９０）に示すように、各周波数成分の低減係数Ｇ’_Ｌ（ｋ）を音声スペクトル信号Ｘ_Ｌの各周波数成分Ｘ_Ｌ（ｋ，ｍ）に乗算して、Ｘ_Ｌ（ｋ，ｍ）を減衰させ、風雑音を低減する（Ｓ１６２）。これにより、風雑音が低減された音声スペクトル信号Ｙ_Ｌの各周波数成分Ｙ_Ｌ（ｋ，ｍ）が得られる。同様に、雑音低減部６４Ｒは、以下の式（９１）に示すように、各周波数成分の低減係数Ｇ’_Ｒ（ｋ）を音声スペクトル信号Ｘ_Ｒの各周波数成分Ｘ_Ｒ（ｋ，ｍ）に乗算して、Ｘ_Ｒ（ｋ，ｍ）を減衰させ、風雑音を低減する。これにより、風雑音が低減された音声スペクトル信号Ｙ_Ｒの各周波数成分Ｙ_Ｒ（ｋ，ｍ）が得られる。
Ｙ_Ｌ（ｋ，ｍ）＝Ｇ’_Ｌ（ｋ）・Ｘ_Ｌ（ｋ，ｍ） ・・・（９０）
Ｙ_Ｒ（ｋ，ｍ）＝Ｇ’_Ｒ（ｋ）・Ｘ_Ｒ（ｋ，ｍ） ・・・（９１）

以上の処理を、マイクロホン５１Ｌ、５１Ｒから入力される音声信号Ｘ_Ｌ、Ｘ_Ｒの全てのフレームについて繰り返すことにより、フレーム単位で風雑音が低減される。

次いで、図３０を参照して、図２９のＳ１５６〜Ｓ１６０の詳細について説明する。なお、以下では、Ｌｃｈ用の雑音低減部６４Ｌの動作を説明するが、Ｒｃｈ用の雑音低減部６４Ｒの動作も同様である。

図３０に示すように、まず、雑音低減部６４Ｌは、上記の式（８０）により、周波数成分ごとに、音声スペクトル信号Ｘ_ＬとＸ_Ｒの相互相関係数Ｃｏｒｒ（ｋ）を算出する（Ｓ１７０）。

次いで、雑音低減部６４Ｌは、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌ（ｋ，ｍ）の全体成分と音声スペクトル信号Ｘ_Ｒ（ｋ，ｍ）の全体成分との相互相関に基づいて、ｍ番目のフレームが、所望音を含まずに風雑音のみを含む区間であるか否かを判定する（Ｓ１７２、Ｓ１７４）。

ｍ番目のフレームに風雑音の風雑音の特徴Ｑを求めるためには、ｍ番目のフレームに風雑音のみが含まれ、所望音が含まれていないことが好ましい。そこで、本実施形態では、処理対象であるｍ番目のフレームが風雑音のみを含む区間であるか否かを判定する。もしｍ番目のフレームが風雑音のみを含む場合は、Ｘ_Ｌ（ｋ，ｍ）全体とＸ_Ｒ（ｋ，ｍ）全体との相互相関係数Ｃｏｒｒ_{Ｔｏｔａｌ}が小さくなるので、当該相互相関係数Ｃｏｒｒ_{Ｔｏｔａｌ}の大小により、ｍ番目のフレームが風雑音のみを含む区間であるか否かを判定できる（Ｓ１７２、Ｓ１７４）。

具体的には、まず、雑音低減部６４Ｌは、上記の式（８１）により、ｍ番目のフレームの音声スペクトル信号Ｘ_Ｌの全ての周波数成分Ｘ_Ｌ（０〜Ｌ−１，ｍ）と音声スペクトル信号Ｘ_Ｒの全ての周波数成分Ｘ_Ｒ（０〜Ｌ−１，ｍ）との相互相関係数Ｃｏｒｒ_{Ｔｏｔａｌ}を算出する（Ｓ１７２）。

次いで、雑音低減部６４Ｌは、Ｓ１７２で求めたＣｏｒｒ_{Ｔｏｔａｌ}が、所定の閾値Ｔｈ以下であるか否かを判定する（Ｓ１７４）。Ｃｏｒｒ_{Ｔｏｔａｌ}≦Ｔｈであれば、雑音低減部６４Ｌは、Ｘ_ＬとＸ_Ｒの相互相関が低いので、ｍ番目のフレームの音声信号ｘに風雑音が含まれると判定し、風雑音の低減係数Ｇ_Ｌ＿Ｗの算出及び更新処理（Ｓ１７６）を行う。一方、Ｃｏｒｒ_{Ｔｏｔａｌ}＞Ｔｈであれば、雑音低減部６４Ｌは、Ｘ_ＬとＸ_Ｒの相互相関が高いので、ｍ番目のフレームの音声信号ｘに風雑音が含まれないと判定し、Ｇ_Ｌ＿Ｗの算出及び更新処理（Ｓ１７６）を行わずに、ｍ番目のフレームの処理を終了する。

次いで、当該ｍ番目のフレームに風雑音のみが含まれる場合、雑音低減部６４Ｌは、風雑音の低減係数Ｇ_Ｌ＿Ｗの算出及び更新処理を行う（Ｓ１７６）。具体的には、雑音低減部６４Ｌは、周波数成分ごとに、上記Ｓ１５４で新たに算出したｍ番目のフレームの低減係数Ｇ_Ｌ（ｋ，ｍ）と、過去に算出されたＧ_Ｌ＿Ｗ（ｋ）との平均値を算出し、各周波数成分の風雑音の低減係数Ｇ_Ｌ＿Ｗ（ｋ）を更新する。ここで、過去に算出されたＧ_Ｌ＿Ｗ（ｋ）とは、過去に入力されたフレームの音声信号ｘ_Ｌ、ｘ_Ｒから上記と同様にして算出されたＧ_Ｌ＿Ｗ（ｋ）の平均値である。また、低減係数Ｇ_Ｌ（ｋ，ｍ）は、Ｓ１５４にて風雑音のみを含む音声信号ｘ_Ｌから算出された低減係数であるので、風雑音の周波数特性を反映したものである。

具体的にＳ１７６では、雑音低減部６４Ｌは、不図示の記憶部に記憶されている過去のＧ_Ｌ＿Ｗ（ｋ）を読み出し、以下の式（９２）に示すように、平滑化係数ｒ_Ｗ（０＜ｒ_Ｗ＜１）を用いてＧ_Ｌ（ｋ，ｍ）とＧ_Ｌ＿Ｗ（ｋ）を平滑化することにより、Ｇ_Ｌ＿Ｗ（ｋ）を更新する。このように、現在のフレームのＧ_Ｌ（ｋ，ｍ）と過去のフレームのＧ_Ｌ＿Ｗ（ｋ）を平滑化することで、個々のフレームの音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高い低減係数Ｇ_Ｌ＿Ｗ（ｋ）を算出できる。
Ｇ_Ｌ＿Ｗ（ｋ）＝ｒ_Ｗ・Ｇ_Ｌ＿Ｗ（ｋ）＋（１−ｒ_Ｗ）・Ｇ_Ｌ（ｋ，ｍ） ・・・（９２）

次いで、雑音低減部６４Ｌは、処理対象の周波数成分の周波数インデックスｋが閾値ｋ_Ｔｈ未満であるか否かにより、低減係数Ｇ’の算出方法を変更する（Ｓ１７８）。ここで、周波数インデックスｋの閾値ｋ_Ｔｈは、低減係数Ｇの補正対象となる低周波数帯域の上限（例えば、図２８の中域Ｆ_Ｍと高域Ｆ_Ｈの境界）を表す周波数インデックスである。

閾値ｋ_Ｔｈ未満の周波数インデックスｋの周波数成分に関しては、雑音低減部６４Ｌは、以下の式（９３）により、Ｓ１５４で求めた低減係数Ｇ_Ｌ（ｋ）（即ち、ｍ番目のフレームのＧ_Ｌ（ｋ，ｍ））からＧ_Ｌ＿Ｗ（ｋ）を減算する補正処理を行う（Ｓ１８０）。かかる補正により、風雑音の周波数特性に応じて補正された低減係数Ｇ’_Ｌ（ｋ）が得られる（Ｓ１８０）。
Ｇ’_Ｌ（ｋ）＝Ｇ_Ｌ（ｋ）−Ｇ_Ｌ＿Ｗ（ｋ） ・・・（９３）

一方、閾値ｋ_Ｔｈ以上の周波数インデックスｋの周波数成分に関しては、雑音低減部６４Ｌは、以下の式（９４）により、Ｓ１５４で求めた低減係数Ｇ_Ｌ（ｋ）を補正することなく、当該Ｇ_Ｌ（ｋ）をそのまま低減係数Ｇ’_Ｌ（ｋ）とする（Ｓ１８２）。
Ｇ’_Ｌ（ｋ）＝Ｇ_Ｌ（ｋ） ・・・（９４）

このように、閾値ｋ_Ｔｈ未満の低周波数帯域においては、風雑音の周波特性を表す低減係数Ｇ_Ｌ＿Ｗ（ｋ）を用いて低減係数Ｇ（ｋ）を補正して、低減係数Ｇ’_Ｌ（ｋ）を得る。一方、閾値ｋ_Ｔｈ以上の高周波数帯域においては、Ｇ_Ｌ＿Ｗ（ｋ）を用いてＧ（ｋ）を補正せずに、Ｇ（ｋ）をそのままＧ’
_Ｌ（ｋ）として使用する。

この結果、図２９のＳ１６２にて、閾値ｋ_Ｔｈ未満の低周波数成分に関しては、Ｇ_Ｌ＿Ｗ（ｋ）によりＧ_Ｌ（ｋ）を補正した低減係数Ｇ’_Ｌ（ｋ）を、音声スペクトル信号Ｘ_Ｌに乗算して、雑音低減処理がなされる。一方、閾値ｋ_Ｔｈ以上の高周波数成分に関しては、低減係数Ｇ_Ｌ（ｋ）を補正することなくそのまま、音声スペクトル信号Ｘ_Ｌに乗算して、雑音低減処理がなされる。

［５．４．効果］
以上、本開示の第５の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第５の実施形態によれば、上記第１及び第４の実施形態の効果に加え、次の効果を得ることができる。

即ち、第５の実施形態によれば、上記第１の実施形態に係る雑音低減部６４により低減しきれずに残留している低周波数帯域の風雑音を好適に低減できるとともに、当該低周波数帯域の所望音の劣化を極力抑制することができる。つまり、図２８に示したように、風雑音の相互相関が高い低周波数帯域（低域Ｆ_Ｌ及び中域Ｆ_Ｍ）に関しては、低減係数Ｇを用いて低減処理を行うと十分に風雑音を低減できないので、低減係数Ｇから風雑音の低減係数Ｇ_Ｗを減算して、低減係数Ｇ’を得る。一方、風雑音の相互相関が低い高周波数帯域（高域Ｆ_Ｈ）に関しては、低減係数Ｇを用いて好適に風雑音を低減できるので、低減係数Ｇを補正せずにそのまま低減係数Ｇ’として用いる。

これにより、実際の音声信号ｘ_Ｌ、ｘ_Ｒに含まれる風雑音の周波数特性に応じて、低減係数Ｇを適切な低減係数Ｇ’に補正することができる。従って、低減係数Ｇ’を用いて音声スペクトル信号Ｘに含まれる風雑音を低減することで、低周波数帯域における所望音の劣化を抑制しつつ、低周波数帯域における風雑音も好適に低減できる。

＜６．第６の実施の形態＞
次に、本開示の第６の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。上述した第１〜第５の実施形態では、同一の録音装置（例えばデジタルカメラ１又はスマートフォン３等）の内部で、風雑音を低減する音声信号処理を行っていた。これに対し、第６の実施形態では、複数の装置間で連携して上記と同様の音声信号処理を行う例（クラウド形式の音声信号処理装置）について説明する。

［６．１．音声信号処理装置のハードウェア構成］
まず、図３１を参照して、本実施形態に係る音声信号処理装置のハードウェア構成について説明する。図３１は、本実施形態に係る音声信号処理装置のハードウェア構成を示すブロック図である。

図３１に示すように、音声信号処理装置は、録音装置２００と、処理装置３００とから構成される。録音装置２００と処理装置３００は、物理的に異なる装置であり、別の場所に配置されてもよい。録音装置２００と処理装置３００は、有線又は無線を問わない任意の通信回線（例えば、インターネット、ＬＡＮ等）で接続され、音声データを送受信可能に構成される。また、録音装置２００と処理装置３００は、半導体メモリ等の任意の記録媒体を介して音声データを授受可能に構成されてもよい。

録音装置２００は、少なくとも２つのマイクロホンを備え、外部音声を収音する機能を有する装置であり、例えば、上記デジタルカメラ１、スマートフォン３、携帯電話、携帯型音声レコーダ、音声携帯型ゲーム機などである。処理装置３００は、外部機器に対する通信機能を有するコンピュータ装置であり、例えば、パーソナルコンピュータ、サーバ装置、デジタル家電などである。

図３１に示すように、録音装置２００は、ＣＰＵ２０２、ＲＯＭ２０４、ＲＡＭ２０６、音声入力装置２０８、音声出力装置２１０、画像入力装置２１２、画像出力装置２１４、データ保持装置２１６及び通信装置２１８を備える。

ＣＰＵ２０２は、録音装置２００の各部を制御する機能を有する。また、ＣＰＵ２０２は、上記の風雑音を低減する音声信号処理を行うこともできる。音声入力装置２０８は、外部音声を収音して音声データを入力する。この音声入力装置２０８は、上記２つのマイクロホン５１等で構成され、外部音声を収音して音声信号ｘ_Ｌ、ｘ_Ｒの音声データを出力する。画像入力装置２１２は、撮像素子等からなり、被写体を撮像して得た動画データを入力する。

データ保持装置２１６は、音声入力装置２０８から入力された音声信号ｘ_Ｌ、ｘ_Ｒの音声データや、通信装置２１８により受信された音声データを保存する。通信装置２１８は、音声入力装置２０８から入力された音声信号ｘ_Ｌ、ｘ_Ｒの音声データや、データ保持装置２１６に保存されている音声データを、ネットワークを介して処理装置３００に送信する。また、通信装置２１８は、処理装置３００からネットワークを介して音声データを受信する。音声出力装置２１０は、スピーカ等で構成され、音声入力装置２０８から入力された音声信号ｘ_Ｌ、ｘ_Ｒの音声データや、データ保持装置２１６に保存されている音声データを、音声として出力する。

また、図３１に示すように、処理装置１００は、ＣＰＵ３０２、ＲＯＭ３０４、ＲＡＭ３０６、音声出力装置３０８、画像出力装置３１０、データ保持装置３１２及び通信装置３１４を備える。

ＣＰＵ３０２は、処理装置３００の各部を制御する機能を有する。また、ＣＰＵ３０２は、上記のように風雑音を低減する雑音低減処理を行うこともできる。通信装置３１４は、録音装置２００からネットワークを介して音声データを受信する。また、通信装置３１４は、ＣＰＵ３０２により雑音低減処理が施された音声データや、データ保持装置３１２に保存されている音声データを、ネットワークを介して録音装置２００に送信する。データ保持装置３１２は、通信装置３１４により受信された音声データや、ＣＰＵ３０２により雑音低減処理が施された音声データを保存する。音声出力装置３０８は、スピーカ等で構成され、通信装置３１４により受信された音声データや、ＣＰＵ３０２により雑音低減処理が施された音声データを、音声として出力する。

［６．２．音声信号処理装置の機能構成］
次に、図３２を参照して、本実施形態に係る音声信号処理装置の機能構成例について説明する。図３２は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。

図３２に示すように、音声信号処理装置は、２つの周波数変換部６１Ｌ、６１Ｒと、クロススペクトル算出部６２と、２つのパワースペクトル算出部６３Ｌ、６３Ｒと、２つの雑音低減部６４Ｌ、６４Ｒと、２つの時間変換部６５Ｌ、６５Ｒと、データ保持装置７０、７２とを備える。これら各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、上記録音装置２００又は処理装置３００プロセッサ（ＣＰＵ２０２、ＣＰＵ３０２等）が、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。

図３２に示したように、第６の実施形態に係る音声信号処理装置は、第１の実施形態に係る音声信号処理装置と比べて、データ保持装置７０、７２を備え、マイクロホン５１を備えていない点で相違する。第６の実施形態に係る音声信号処理装置の機能構成は、録音装置２００と処理装置３００により分散処理する点を除いては、第１の実施形態に係る音声信号処理装置の機能構成（図７参照。）と略同一であるので、詳細説明は省略する。

データ保持装置７０は、上記録音装置２００のデータ保持装置２１６に相当する。また、データ保持装置７２は、上記処理装置３００のデータ保持装置３１２に相当する。録音装置２００の画像入力装置２０８から入力された音声信号ｘ_Ｌ、ｘ_Ｒからなる音声データは、データ保持装置７０に保存される。処理装置３００は、録音装置２００のデータ保持装置７０にアクセスし、当該データ保持装置７０に保存された音声データを処理し、処理後の音声データを処理装置３００自身のデータ保持装置７２（又は録音装置２００のデータ保持装置７０）に保存する。この際、処理装置３００は、録音装置２００のデータ保持装置７０に保存された音声データを取得し、周波数変換部６１Ｌ、６１Ｒにより、当該音声データの音声信号ｘ_Ｌ、ｘ_Ｒを周波数変換する。その後、周波数変換部６１、クロススペクトル算出部６２、パワースペクトル算出部６３、雑音低減部６４及び時間変換部６５により、第１の実施形態と同様の雑音低減処理が成されて、風雑音が低減された音声信号ｙ_Ｌ、ｙ_Ｒが生成される。この音声信号ｙ_Ｌ、ｙ_Ｒは、処理装置３００自身のデータ保持装置７２（又は録音装置２００のデータ保持装置７０）に保存される。

［６．３．音声信号処理方法］
次に、図３３、図３４を参照して、本実施形態に係る音声信号処理装置による音声信号処理方法について説明する。図３３は、本実施形態に係る音声信号処理装置の録音装置２００の動作を示すフローチャートである。図３４は、本実施形態に係る音声信号処理装置の処理装置３００の動作を示すフローチャートである。

図３３に示すように、録音装置２００は、音声信号入力装置２０を用いて外部音声を収音し、音声信号ｘ_Ｌ、ｘ_Ｒの音声データを取得する（Ｓ２００）。次いで、録音装置２００は、通信装置２１８及びネットワーク等の通信手段を利用して、処理装置３００に音声データを転送する（Ｓ２０２）。さらに、処理装置３００により音声データの風雑音が低減される処理がなされた後に、録音装置２００は、当該風雑音が低減された音声データを、処理装置３００から通信手段を利用して取得する（Ｓ２０４）。次いで、録音装置２００は、当該音声データを動画データとミキシングして、データ保持装置２１６に保存する（Ｓ２０６）。

図３４に示すように、処理装置３００は、通信装置３１４及びネットワーク等の通信手段を利用して、録音装置２００から音声データを取得する（Ｓ３００）。次いで、処理装置３００は、当該音声データの風雑音を低減する処理を行い、当該風雑音が低減された音声データをデータ保持装置３１２に保存する（Ｓ３０２）。その後、処理装置３００は、当該風雑音が低減された音声データを、通信装置３１４及びネットワーク等の通信手段を利用して、録音装置３００に送信する（Ｓ３０４）。

以上のように、本実施形態では、音声を収音する録音装置２００内で雑音低減処理を行うのではなく、音声データを別の場所にある処理装置３００に転送し、当該処理装置３００より雑音低減処理を行う。このとき、処理装置３００は、マイクロホンからの入力音声ではなく、データ保持装置３１２に保持されたデータを逐次読み出しながら、雑音低減処理を行う。そして、処理装置３００は、雑音低減処理後の音声データを録音装置２００に戻し、録音装置２００は、当該音声データを動画データとともにデータ保持装置２１６に保存する。このように、複数の機器で雑音低減処理を協同することで、処理負荷を分散できるとともに、録音装置２００の処理能力を抑制して低コスト化を図ることができる。

＜７．その他の適用例＞
次に、上記第１〜第６の実施形態に係る音声信号処理装置及び方法を、風雑音以外の雑音に適用する例について説明する。

まず、図３５を参照して、上記音声信号処理装置及び方法をマイクロホンの暗騒音に適用する例について説明する。図３５は、マイクロホンの暗騒音の周波数特性と相互相関係数を示す図である。

マイクロホンの暗騒音（マイクロホンそのものが有するノイズ）は、各々のマイクロホンでそれぞれ異なる。このため、図３５に示すように、２つのマイクロホン間の暗騒音の相互相関はほぼ無相関であり、暗騒音が雑音として収音されたときには、暗騒音の相互相関係数はほぼゼロになる。従って、上述した風雑音の低減処理を行うと、暗騒音等のマイクロホンそのものが有するノイズも合わせて低減することができる。

次に、図３６を参照して、上記音声信号処理装置及び方法を、録音空間全体に存在しているノイズ（例えばファンノイズ）に適用する例について説明する。図３６は、ファンノイズの周波数特性と相互相関係数を示す図である。

録音空間全体に存在しているノイズとは、例えば、録音空間に設置されたファンから発生するノイズ（ファンノイズ）などである。図３６に示すように、このファンノイズ等も２つのマイクロホン間で比較的相関が小さく、特に４ｋＨｚ以上の周波数帯域では、ほぼ無相関となる。従って、上述した風雑音の低減処理を行うと、ファンノイズ等の録音空間全体に存在しているノイズも合わせて低減することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、音声信号処理装置としてデジタルカメラ１やスマートフォン３を例示し、動画撮像と共に録音する時に機械音を低減する例について説明したが、本発明はかかる例に限定されない。本開示の音声信号処理装置は、録音機能を有する機器であれば、任意の機器に適用できる。音声信号処理装置は、例えば、記録再生装置（例えば、ブルーレイディスク／ＤＶＤレコーダ）、テレビジョン受像器、システムステレオ装置、撮像装置（例えば、デジタルカメラ、デジタルビデオカメラ）、携帯端末（例えば、携帯型音楽／映像プレーヤ、携帯型ゲーム機、ＩＣレコーダ）、パーソナルコンピュータ、ゲーム機、カーナビゲーション装置、デジタルフォトフレーム、家庭電化製品、自動販売機、ＡＴＭ、キオスク端末など、任意の電子機器に適用できる。

また、上記実施形態では、風雑音以外にも、２つのマイクロホンからの音声信号の相互相関がほぼ無相関となる雑音として、マイクロホンの暗騒音と、録音空間全体に存在しているノイズ（例えばファンノイズ）の例を挙げた。しかし、本開示は、２つのマイクロホンからの音声信号の相互相関がほぼ無相関となる雑音であれば、任意の雑音に適用できる。

なお、本技術は以下のような構成も取ることができる。

（１）第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出する相関成分算出部と、
前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出する全体成分算出部と、
前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正する雑音低減部と、
を備える、音声信号処理装置。

（２）前記第１の音声信号を第１の音声スペクトル信号に変換する第１の周波数変換部と、
前記第２の音声信号を第２の音声スペクトル信号に変換する第２の周波数変換部と、
をさらに備え、
前記第１のマイクロホン、前記第２のマイクロホンは、風雑音を含む外部音声を収音して前記第１の音声信号、前記第２の音声信号をそれぞれ出力し、
前記相関成分算出部は、前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを、前記相関成分を表すパラメータとして算出するクロススペクトル算出部を含み、
前記全体成分算出部は、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを、前記全体成分を表すパラメータとして算出するパワースペクトル算出部を含み、
前記雑音低減部は、前記クロススペクトルと前記パワースペクトルとの比率を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する、前記（１）に記載の音声信号処理装置。

（３）前記第１のマイクロホンと前記第２のマイクロホンとの間の入力特性の相違により、前記第１の音声信号に含まれる所望音と前記第２の音声信号に含まれる前記所望音との間に振幅差又は位相差が生じるときに、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との差分に基づいて、前記第２の音声スペクトル信号を補正する信号補正部を更に備え、
前記クロススペクトル算出部は、前記信号補正部により補正された前記第２の音声スペクトル信号と、前記第１の音声スペクトル信号から、前記クロススペクトルを算出する、前記（２）に記載の音声信号処理装置。

（４）前記信号補正部は、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との二乗誤差を最小にするような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記第２の音声スペクトル信号を周波数成分ごとに補正する、前記（３）に記載の音声信号処理装置。

（５）前記第１及び第２のマイクロホンに対する所望音の音源の相対位置により、前記第１の音声信号に含まれる前記所望音と前記第２の音声信号に含まれる前記所望音との間に位相差が生じるときに、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関に基づいて、前記クロススペクトル算出部により算出された前記クロススペクトルを補正するクロススペクトル補正部を更に備え、
前記雑音低減部は、前記クロススペクトル補正部により補正された前記クロススペクトルと前記パワースペクトルとの比率を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する、前記（２）から（４）のいずれか一項に記載の音声信号処理装置。

（６）前記クロススペクトル補正部は、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような補正係数を算出し、前記補正係数を用いて前記クロススペクトルを補正する、請求項５に記載の音声信号処理装置。

（７）前記クロススペクトル補正部は、前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれない区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような前記補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記クロススペクトルを周波数成分ごとに補正する、前記（５）に記載の音声信号処理装置。

（８）前記雑音低減部から出力された前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、カットオフ周波数以下の周波数成分を除去するフィルタ部と、
前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関に基づいて、前記カットオフ周波数を制御するフィルタ制御部と、
を更に備える、前記（２）から（７）のいずれか一項に記載の音声信号処理装置。

（９）前記フィルタ制御部は、
前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を周波数成分ごとに算出し、
当該相互相関係数が閾値以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、前記カットオフ周波数として設定する、前記（８）に記載の音声信号処理装置。

（１０）前記フィルタ制御部は、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数に基づいて、前記カットオフ周波数を設定する、前記（９）に記載の音声信号処理装置。

（１１）前記雑音低減部は、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて第１の低減係数を算出し、前記第１の低減係数を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正し、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、
当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音の周波数特性を求め、前記風雑音の周波数特性に基づいて、前記第１の低減係数を補正する、前記（２）から（１０）のいずれか一項に記載の音声信号処理装置。

（１２）前記雑音低減部は、
前記風雑音が含まれる区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音のみが含まれる区間に対応する第２の低減係数を算出し、
前記風雑音を収音したときに前記第１の音声信号と前記第２の音声信号の間で前記風雑音に相互相関が発生する周波数帯域において、前記第１の低減係数から前記第２の低減係数を減算することで、前記第１の低減係数を補正する、前記（１１）に記載の音声信号処理装置。

（１３）第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出することと、
前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出することと、
前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正することと、
を含む、音声信号処理装置。

（１４）第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出することと、
前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出することと、
前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正することと、
をコンピュータに実行させるためのプログラム。

（１５）第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出することと、
前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出することと、
前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正することと、
をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。

（１６）風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換する第１の周波数変換部と、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換する第２の周波数変換部と、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出するクロススペクトル算出部と、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出するパワースペクトル算出部と、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する雑音低減部と、
を備える、音声信号処理装置。

１ デジタルカメラ
２、４ 筐体
３ スマートフォン
５１、５１Ｌ、５１Ｒ、５１Ａ、５１Ｂ マイクロホン
６０ 音声処理部
６１、６１Ｌ、６１Ｒ、６１Ａ、６１Ｂ 周波数変換部
６２ クロススペクトル算出部
６３、６３Ｌ、６３Ｒ、６３Ａ パワースペクトル算出部
６４、６４Ｌ、６４Ｒ、６４Ａ 雑音低減部
６５、６５Ｌ、６５Ｒ、６５Ａ 時間変換部
６６ 信号補正部
６７ クロススペクトル補正部
６８、６８Ｌ、６８Ｒ フィルタ部
６９ フィルタ制御部

Claims (15)

1. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換する第１の周波数変換部と、
   前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換する第２の周波数変換部と、
   前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出するクロススペクトル算出部と、
   前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出するパワースペクトル算出部と、
   前記クロススペクトルと前記パワースペクトルとの比率に基づいて第１の低減係数を算出し、前記第１の低減係数を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する雑音低減部と、
   を備え、
   前記雑音低減部は、
   前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、
   当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音の周波数特性を求め、前記風雑音の周波数特性に基づいて、前記第１の低減係数を補正する、音声信号処理装置。
2. 前記雑音低減部は、
   前記風雑音が含まれる区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音のみが含まれる区間に対応する第２の低減係数を算出し、
   前記風雑音を収音したときに前記第１の音声信号と前記第２の音声信号の間で前記風雑音に相互相関が発生する周波数帯域において、前記第１の低減係数から前記第２の低減係数を減算することで、前記第１の低減係数を補正する、請求項１に記載の音声信号処理装置。
3. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換する第１の周波数変換部と、
   前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換する第２の周波数変換部と、
   前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出するクロススペクトル算出部と、
   前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出するパワースペクトル算出部と、
   前記第１及び第２のマイクロホンに対する所望音の音源の相対位置により、前記第１の音声信号に含まれる前記所望音と前記第２の音声信号に含まれる前記所望音との間に位相差が生じるときに、前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれない区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記クロススペクトルを周波数成分ごとに補正するクロススペクトル補正部と、
   前記クロススペクトル補正部により補正された前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する雑音低減部と、
   を備える、音声信号処理装置。
4. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換する第１の周波数変換部と、
   前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換する第２の周波数変換部と、
   前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出するクロススペクトル算出部と、
   前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出するパワースペクトル算出部と、
   前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する雑音低減部と、
   前記雑音低減部から出力された前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、カットオフ周波数以下の周波数成分を除去するフィルタ部と、
   前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を周波数成分ごとに算出し、当該相互相関係数が閾値以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、前記カットオフ周波数として設定する、フィルタ制御部と、
   を備える、音声信号処理装置。
5. 前記第１のマイクロホンと前記第２のマイクロホンとの間の入力特性の相違により、前記第１の音声信号に含まれる所望音と前記第２の音声信号に含まれる前記所望音との間に振幅差又は位相差が生じるときに、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との差分に基づいて、前記第２の音声スペクトル信号を補正する信号補正部を更に備え、
   前記クロススペクトル算出部は、前記信号補正部により補正された前記第２の音声スペクトル信号と、前記第１の音声スペクトル信号から、前記クロススペクトルを算出する、請求項１〜４のいずれか１項に記載の音声信号処理装置。
6. 前記信号補正部は、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との二乗誤差を最小にするような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記第２の音声スペクトル信号を周波数成分ごとに補正する、請求項５に記載の音声信号処理装置。
7. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
   前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
   前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
   前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
   前記クロススペクトルと前記パワースペクトルとの比率に基づいて第１の低減係数を算出し、前記第１の低減係数を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
   前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音の周波数特性を求め、前記風雑音の周波数特性に基づいて、前記第１の低減係数を補正することと、
   を含む、音声信号処理方法。
8. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
   前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
   前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
   前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
   前記第１及び第２のマイクロホンに対する所望音の音源の相対位置により、前記第１の音声信号に含まれる前記所望音と前記第２の音声信号に含まれる前記所望音との間に位相差が生じるときに、前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれない区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記クロススペクトルを周波数成分ごとに補正することと、
   前記補正されたクロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
   を含む、音声信号処理方法。
9. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
   前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
   前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
   前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
   前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
   前記風雑音が低減された前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、カットオフ周波数以下の周波数成分を除去することと、
   前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を周波数成分ごとに算出し、当該相互相関係数が閾値以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、前記カットオフ周波数として設定することと、
   を含む、音声信号処理方法。
10. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
    前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
    前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
    前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
    前記クロススペクトルと前記パワースペクトルとの比率に基づいて第１の低減係数を算出し、前記第１の低減係数を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
    前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音の周波数特性を求め、前記風雑音の周波数特性に基づいて、前記第１の低減係数を補正することと、
    をコンピュータに実行させるためのプログラム。
11. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
    前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
    前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
    前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
    前記第１及び第２のマイクロホンに対する所望音の音源の相対位置により、前記第１の音声信号に含まれる前記所望音と前記第２の音声信号に含まれる前記所望音との間に位相差が生じるときに、前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれない区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記クロススペクトルを周波数成分ごとに補正することと、
    前記補正されたクロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
    をコンピュータに実行させるためのプログラム。
12. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
    前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
    前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
    前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
    前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
    前記風雑音が低減された前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、カットオフ周波数以下の周波数成分を除去することと、
    前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を周波数成分ごとに算出し、当該相互相関係数が閾値以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、前記カットオフ周波数として設定することと、
    をコンピュータに実行させるためのプログラム。
13. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
    前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
    前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
    前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
    前記クロススペクトルと前記パワースペクトルとの比率に基づいて第１の低減係数を算出し、前記第１の低減係数を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
    前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音の周波数特性を求め、前記風雑音の周波数特性に基づいて、前記第１の低減係数を補正することと、
    をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
14. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
    前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
    前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
    前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
    前記第１及び第２のマイクロホンに対する所望音の音源の相対位置により、前記第１の音声信号に含まれる前記所望音と前記第２の音声信号に含まれる前記所望音との間に位相差が生じるときに、前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれない区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記クロススペクトルを周波数成分ごとに補正することと、
    前記補正されたクロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
    をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
15. 風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
    前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
    前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
    前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
    前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
    前記風雑音が低減された前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、カットオフ周波数以下の周波数成分を除去することと、
    前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を周波数成分ごとに算出し、当該相互相関係数が閾値以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、前記カットオフ周波数として設定することと、
    をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。

Images