JP5153389B2 - 音響信号処理装置 - Google Patents

Description

本発明は、音響信号処理装置に関し、特に、特定の音源からの音の信号成分を分離抽出する技術に関する。

複数のマイクロホンを用いて、特定の音源からの音の信号成分を分離して抽出する方法が提案されている。図１３に、代表的な従来方法を採用した音響信号処理装置の内部ブロックを示す（例えば、下記特許文献１及び２参照）。この方法では、信号の周波数帯域が複数の帯域に細分化される。この際、細分化された各帯域の信号が１つの音源の信号成分しか含まない程度に、細かな帯域分割がなされる。

図１３に対応する従来方法では、複数のマイクロホンから出力される時間領域上の検出信号を離散フーリエ変換を用いて周波数領域上の信号（周波数スペクトル）に変換する。そして、信号の周波数帯域を複数の帯域に細分化し、周波数スペクトルにおけるパラメータ（位相情報又はパワー情報）に基づいて細分化した各帯域を必要な帯域又は不要な帯域に分類判定する。そして、その判定結果を基づいて各周波数帯域の信号のパワーを制御し（例えば、不要な帯域成分を除去し）、その結果を時系列データに変換して出力する。尚、図１３の音響信号処理装置では、複数のマイクロホンの左側に位置する音源からの音響信号と複数のマイクロホンの右側に位置する音源からの音響信号とを分離抽出してステレオ信号を出力する。

但し、この従来方法では、複数のマイクロホンの検出信号を所定の区間長にて区切って区間毎に周波数スペクトルを生成し、その周波数スペクトルのパラメータ（位相情報など）に基づいて区間毎に周波数領域上で信号のパワー制御を行うため、信号の不連続性が顕著に発生して所謂ミュージカルノイズが発生する。

特開２０００−８１９００号公報 特開平１０−３１３４９７号公報

そこで本発明は、ミュージカルノイズの抑制に寄与する音響信号処理装置を提供することを目的とする。また、その音響信号処理装置を利用した録音装置、音響信号再生装置及び撮像装置を提供することを目的とする。

本発明に係る音響信号処理装置は、複数のマイクロホンの検出信号に基づく複数のチャンネル信号を受ける信号入力部と、各チャンネル信号のパラメータを抽出して前記複数のチャンネル信号間で前記パラメータを比較する比較部と、前記複数のチャンネル信号に含まれるチャンネル信号に対してデジタルフィルタ処理を行うデジタルフィルタと、前記パラメータの比較結果に基づいて前記デジタルフィルタにおけるフィルタ係数を更新する係数更新部と、を有することを特徴とする。

これにより、ミュージカルノイズの抑制が期待される。また、ミュージカルノイズを抑制するために必要となる処理量を少なく抑えることが可能であり、実用性が極めて高い。

具体的には例えば、前記比較部において、前記複数のチャンネル信号の夫々は周波数スペクトルにて表現され、前記比較部は、前記周波数スペクトルに含まれる帯域を複数の細分化帯域に分割して前記細分化帯域ごとに前記パラメータを抽出し、同一細分化帯域における前記パラメータを前記複数のチャンネル信号間で比較することによって各細分化帯域を複数の種別の何れかに分類し、当該音響信号処理装置は、その分類結果列を時系列データに変換する周波数／時間変換部を更に備え、前記係数更新部は、前記時系列データに基づいて前記フィルタ係数を更新する。

或いは具体的には例えば、前記比較部において、前記複数のチャンネル信号の夫々は周波数スペクトルにて表現され、前記比較部は、前記周波数スペクトルに含まれる帯域を複数の細分化帯域に分割して前記細分化帯域ごとに前記パラメータを抽出し、同一細分化帯域における前記パラメータを前記複数のチャンネル信号間で比較することによって各細分化帯域を複数の種別の何れかに分類し、当該音響信号処理装置は、前記複数のチャンネル信号に含まれるチャンネル信号の各細分化帯域の信号レベルを前記分類の結果に基づき周波数領域上で制御して、周波数領域上における信号レベル制御後のチャンネル信号を出力する信号レベル制御部と、前記信号レベル制御部の出力信号を時系列データに変換する周波数／時間変換部と、を更に備え、前記係数更新部は、前記時系列データと前記デジタルフィルタの出力データとの差に基づいて、前記フィルタ係数を更新する。

そして例えば、前記周波数スペクトルは、時間領域上で表現されたチャンネル信号の時系列データを複数の区間で区切り、区切られた区間内の時系列データを周波数領域上のデータに変換することによって得られ、前記係数更新部による前記フィルタ係数の更新周期は、前記区間の時間長さよりも短い。

より具体的には例えば、前記デジタルフィルタには、時間領域上で表現されたチャンネル信号の時系列データが順次入力され、前記係数更新部による前記フィルタ係数の更新周期は、前記デジタルフィルタへのデータ入力周期に等しい。

また例えば、前記比較部は、前記細分化帯域ごとに、当該細分化帯域における信号の位相、パワー又はそれらの双方を前記パラメータとして抽出する。

本発明に係る録音装置は、複数のマイクロホンと、前記複数のマイクロホンの検出信号を受ける前記音響信号処理装置と、を備えたことを特徴とする。

本発明に係る音響信号再生装置は、前記音響信号処理装置を備えた音響信号再生装置であって、前記音響信号処理装置における前記信号入力部は、前記複数のマイクロホンの検出信号に基づくデータを記録した記録媒体から前記複数のチャンネル信号を受けることを特徴とする。

本発明に係る撮像装置は、複数のマイクロホンと、前記複数のマイクロホンの検出信号を受ける、前記音響信号処理装置と、撮像手段と、を備えたことを特徴とする。

本発明によれば、ミュージカルノイズの抑制に寄与する音響信号処理装置、録音装置、音響信号再生装置及び撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

後述の音響信号処理装置及び音響信号処理装置を有する各装置は、２つのマイクロホン１Ｌ及び１Ｒの検出信号を利用する。図１を参照して、マイクロホン１Ｌ及び１Ｒ並びに音源２Ｌ及び２Ｒの位置関係を説明する。今、互いに直交するＸ軸及びＹ軸を座標軸として有する二次元の座標面を想定する。Ｘ軸とＹ軸は原点Ｏにて直交する。原点Ｏを基準として、Ｘ軸の正の方向側を右側、Ｘ軸の負の方向側を左側、Ｙ軸の正の方向側を前方側、Ｙ軸の負の方向側を後方側とする。

マイクロホン１Ｌ及び１ＲはＸ軸上の互いに異なる位置に配置されている。マイクロホン１Ｌは原点Ｏから左側に距離ｌだけ離れた位置に配置され、マイクロホン１Ｒは原点Ｏから右側に距離ｌだけ離れた位置に配置されている。また、原点Ｏを通り且つＹ軸に対して３０°だけ傾いた、上記座標面上の２つの直線を直線３Ｌ及び３Ｒとする。上記座標面上において、直線３Ｌは負の傾きを有し、直線３Ｒは正の傾きを有する。そして、直線３Ｌ上における音源を音源２Ｌと呼び、直線３Ｒ上における音源を音源２Ｒと呼ぶ。Ｙ軸に対して、音源２Ｌは左側に配置され且つ音源２Ｒは右側に配置されることになる。以下、特に断りなき限り、距離ｌは１ｃｍ（センチメートル）であるとする。また、音速は３４０ｍ／秒であるとする。

マイクロホン１Ｌは、自身が集音した音を検出して該音を表す検出信号を出力する。マイクロホン１Ｒは、自身が集音した音を検出して該音を表す検出信号を出力する。これらの検出信号は、アナログ音響信号である。マイクロホン１Ｌ及び１Ｒの検出信号であるアナログ音響信号は、夫々、図示されないＡ／Ｄ変換器によってデジタル音響信号に変換される。このＡ／Ｄ変換器における、アナログ音響信号からデジタル音響信号に変換する際のサンプリング周波数は４８ｋＨｚ（キロヘルツ）であるとする。

マイクロホン１Ｌを左チャンネルに対応させ、マイクロホン１Ｒを右チャンネルに対応させて考える。マイクロホン１Ｌ及び１Ｒの検出信号をデジタル変換することによって得たデジタル音響信号を、夫々、原信号Ｌ及び原信号Ｒと呼ぶ。原信号Ｌ及びＲは、時間領域上の信号である。

以下、第１〜第４実施例を個別に説明するが、或る実施例に記載した事項は、矛盾なく且つ特に記述なき限り、他の実施例にも適用される。

＜＜第１実施例＞＞
まず、本発明の第１実施例を説明する。図２に、第１実施例に係る音響信号処理装置１０の内部ブロック図を示す。音響信号処理装置１０は、原信号Ｌ及びＲを入力音響信号として受け、その入力音響信号に含まれる音源２Ｌからの音響信号及び音源２Ｒからの音響信号を独立して抽出し、この抽出によって得た信号をステレオ信号として出力する。

音響信号処理装置１０は、符号１１Ｌ〜１３Ｌ及び１６Ｌ〜１８Ｌ、符号１１Ｒ〜１３Ｒ及び１６Ｒ〜１８Ｒ並びに符号１４及び１５によって参照される各部位を備える。

原信号Ｌ及びＲは、夫々、ローパスフィルタ（以下、ＬＰＦという）１１Ｌ及び１１Ｒに入力される。ＬＰＦ１１Ｌは原信号Ｌから所定の高域周波数成分を除去した信号を出力し、ＬＰＦ１１Ｒは原信号Ｒから所定の高域周波数成分を除去した信号を出力する。ダウンサンプリング部１２Ｌ及び１２Ｒは、夫々、ＬＰＦ１１Ｌ及び１１Ｒの出力信号を４８ｋＨｚ未満のサンプリング周波数で再サンプリングし、その再サンプリングによって得たデジタル信号を出力する。ＦＦＴ部１３Ｌ及び１３Ｒは、夫々、高速フーリエ変換（Fast Fourier Transform）の一形態である離散フーリエ変換を用いてダウンサンプリング部１２Ｌ及び１２Ｒの出力信号を周波数領域上の信号に変換して出力する。

比較部１４は、ＦＦＴ部１３Ｌ及び１３Ｒから得られる周波数スペクトルの位相情報に基づいて、左チャンネルと右チャンネルの信号の内、どちらの位相が進んでいるのか（或いは遅れているのか）を判断する。この判断結果に基づいてステレオ化に対する信号制御がなされる。この判断が可能となる信号は、マイクロホン間隔（即ち、マイクロホン１Ｌと１Ｒとの間の間隔）が半波長に相当する周波数以下の信号である。今の例の場合、音速が３４０ｍ／秒であって且つマイクロホン間隔が２ｃｍであるため、８．５ｋＨｚ以下の帯域の信号に対してのみ上記判断は可能である。

そこで、第１実施例では、ステレオ化に対する信号制御の帯域を６ｋＨｚ以下の帯域に限定する。この限定に対応するように、ＬＰＦ１１Ｌ及び１１Ｒは夫々原信号Ｌ及びＲの高域周波数成分を除去し、ダウンサンプリング部１２Ｌ及び１２Ｒは、１／４のダウンサンプリングを行う。即ち、ダウンサンプリング部１２Ｌ及び１２Ｒは、夫々、ＬＰＦ１１Ｌ及び１１Ｒの出力信号を１２ｋＨｚのサンプリング周波数で再サンプリングする。

ダウンサンプリング部１２Ｌ及び１２Ｒの出力信号は時系列データである。時系列データとは、時間領域上で表現された時系列で並ぶデータ列を意味する。第１実施例において、この時系列データの標本間隔（サンプリング間隔）Δｔ_Sは１／１２ｋＨｚである。ダウンサンプリング部１２Ｌ及び１２Ｒの出力信号（時系列データ）を、夫々、時間ｔの関数であるＬ［ｔ］及びＲ［ｔ］にて表す。

ＦＦＴ部１３Ｌ及び１３Ｒに入力される信号Ｌ［ｔ］及びＲ［ｔ］は、図３に示す如く、夫々、時間軸上で連続的に連なる複数のフレームで区切られ、フレームを単位にして離散フーリエ変換が行われる。複数のフレームを、時刻の早い方から順番に、第１、第２、第３番目・・・のフレームと呼ぶ。各フレームは２５６個のデータから成る。信号Ｌ［ｔ］の内、第ｉ番目のフレームに属する信号を特にＬ_i［ｔ］と表現し、信号Ｒ［ｔ］の内、第ｉ番目のフレームに属する信号を特にＲ_i［ｔ］と表現する（ｉは自然数）。

ＦＦＴ部１３Ｌは、信号Ｌ_i［ｔ］に対して離散フーリエ変換を行うことにより、左チャンネルの第ｉ番目のフレームにおける周波数スペクトルを算出する。この周波数スペクトルを表す信号をＬ_i［ｍ・Δｆ］にて表記する。ＦＦＴ部１３Ｒは、信号Ｒ_i［ｔ］に対して離散フーリエ変換を行うことにより、右チャンネルの第ｉ番目のフレームにおける周波数スペクトルを算出する。この周波数スペクトルを表す信号をＲ_i［ｍ・Δｆ］で表す。ＦＦＴ部１３Ｌ及び１３Ｒによる離散フーリエ変換の結果を表すデータは、比較部１４に出力される。

ここで、Δｆは、離散フーリエ変換における周波数の標本間隔であり、ｍは０以上の整数値をとる。信号Ｌ_i［ｔ］に対して離散フーリエ変換を行うことにより、Δｆ間隔でＭ個の信号が算出されるものとする（Ｍは２以上の整数であり、例えば１２８）。そうすると、ｍは０≦ｍ≦（Ｍ−１）の範囲内の各整数値をとる。即ち、左チャンネルの第ｉ番目のフレームにおける周波数スペクトルは、周波数領域上の信号Ｌ_i［０・Δｆ］〜［２５５・Δｆ］を含んで形成される。右チャンネルに対しても同様である。

Ｌ［ｔ］及びＲ［ｔ］にて表される音響信号の周波数帯域が離散フーリエ変換によってＭ個の周波数帯域に細分化されることとなるが、細分化によって得られた帯域の夫々が１つの音源からの音響信号成分しか含まない程度に、この細分化はなされる。即ち、そうなるようにΔｆは設定される。このような設定を行うことで、複数音源の音響信号を含む信号より各音源の音響信号成分を分離抽出することが可能となる。細分化された各周波数帯域を、以下、細分化帯域と呼ぶ。

説明の明確化のため、便宜的に記号ｍ_Oを導入する。ｍ_Oは０以上（Ｍ−１）以下の一定整数値であるとする。Ｌ_i［ｍ_O・Δｆ］は、信号Ｌ_i［ｔ］に含まれる、ｍ＝ｍ_Oの細分化帯域の信号成分を表しており、その信号成分の位相及びパワー（パワーレベル）はＬ_i［ｍ_O・Δｆ］によって定まる。Ｒ_i［ｍ_O・Δｆ］は、信号Ｒ_i［ｔ］に含まれる、ｍ＝ｍ_Oの細分化帯域の信号成分を表しており、その信号成分の位相及びパワー（パワーレベル）はＲ_i［ｍ_O・Δｆ］によって定まる。ｍ＝ｍ_Oの細分化帯域とは、ｍ_O・Δｆを中心とする、Δｆの帯域幅を持った帯域である。

比較部１４は、ＦＦＴ部１３Ｌの出力データに基づき、細分化帯域ごとに、当該細分化帯域における左チャンネルの信号成分の位相を算出する（換言すれば、Δｆで離散化された、信号Ｌ_i［ｔ］の位相スペクトルを算出する）。同様に、比較部１４は、ＦＦＴ部１３Ｒの出力データに基づき、細分化帯域ごとに、当該細分化帯域における右チャンネルの信号成分の位相を算出する（換言すれば、Δｆで離散化された、信号Ｒ_i［ｔ］の位相スペクトルを算出する）。そして、各細分化帯域を個別に着目し、着目した細分化帯域における位相を左右チャンネル間で比較することにより、その細分化帯域における信号の主成分が何れの方向から到来したものであるのかを判定する。この判定方法を、より具体的に説明する。

音源２Ｌから到来する音を想定した場合、マイクロホン１Ｌ及び１Ｒと音源２Ｌとの距離がマイクロホン間隔に対して十分大きいとすれば、音源２Ｌよりマイクロホン１Ｌに到来する音の信号の位相から、音源２Ｌよりマイクロホン１Ｒに到来する音の信号の位相を差し引くことによって得た位相差Δφは、「Δφ＝２π×（Ｆｒｅｑ×（２０×ｓｉｎ３０°）／３４００００）」にて表される。ここで、Ｆｒｅｑは、着目した周波数であり、πは円周率である。Δφによって表される位相差を、以下、基準位相差と呼ぶ。

比較部１４は、基準位相差Δφと対比するべく、信号成分Ｌ_i［ｍ・Δｆ］の位相から信号成分Ｒ_i［ｍ・Δｆ］の位相を差し引いた位相差Δφ_mを、ｍ＝０、１、２、・・・、（Ｍ−１）の夫々に対して求める。これにより、各細分化帯域に対する位相差（Δφ₀〜Δφ_M-1）が求まる。Δφ_mによって表される位相差を、以下、実位相差と呼ぶ。

比較部１４は、着目した細分化帯域の実位相差が（Δφ−Ｒ・Δφ）以上（Δφ＋Ｒ・Δφ）以下の範囲内に収まる場合、着目した細分化帯域における信号の主成分が音源２Ｌからの音響信号であると判断し、着目した細分化帯域を第１必要帯域に分類する。
着目した細分化帯域の実位相差が（−Δφ−Ｒ・Δφ）以上（−Δφ＋Ｒ・Δφ）以下の範囲内に収まる場合、着目した細分化帯域における信号の主成分が音源２Ｒからの音響信号であると判断し、着目した細分化帯域を第２必要帯域に分類する。
着目した細分化帯域の実位相差が（Δφ−Ｒ・Δφ）以上（Δφ＋Ｒ・Δφ）以下の範囲内にも（−Δφ−Ｒ・Δφ）以上（−Δφ＋Ｒ・Δφ）以下の範囲内にも収まらない場合、着目した細分化帯域における信号の主成分が音源２Ｌ及び２Ｒ以外の音源からの音響信号であると判断し、着目した細分化帯域を不要帯域に分類する。
ここで、Ｒは、事前に設定された係数であり、例えば０．１である。

マスク作成部１５は、比較部１４による分類結果に基づいて、第１必要帯域の信号成分を抽出するためのマスクデータ列及び第２必要帯域の信号成分を抽出するためのマスクデータ列を生成する。第ｉ番目のフレームに対する前者のマスクデータ列はマスクデータＭＳ１_i［０］〜ＭＳ１_i［Ｍ−１］から形成され、第ｉ番目のフレームに対する後者のマスクデータ列はマスクデータＭＳ２_i［０］〜ＭＳ２_i［Ｍ−１］から形成される。

第ｉ番目のフレームに関して、ｍ＝ｍ_Oの細分化帯域が第１必要帯域に分類された場合、マスクデータＭＳ１_i［ｍ_O］は１とされる共にマスクデータＭＳ２_i［ｍ_O］は０以上１未満の規定値ＭＳ_REFとされ、且つ、ｍ＝ｍ_Oの細分化帯域が第２必要帯域に分類された場合、マスクデータＭＳ１_i［ｍ_O］は規定値ＭＳ_REFとされる共にマスクデータＭＳ２_i［ｍ_O］は１とされ、且つ、ｍ＝ｍ_Oの細分化帯域が不要帯域に分類された場合、マスクデータＭＳ１_i［ｍ_O］及びＭＳ２_i［ｍ_O］は共に規定値ＭＳ_REFとされる。

規定値ＭＳ_REFを０に設定した場合、音源２Ｌ以外の音源に由来すると判断された帯域成分が完全に除去された音響信号と、音源２Ｒ以外の音源に由来すると判断された帯域成分が完全に除去された音響信号と、から成るステレオ信号が音響信号処理装置１０より出力されることになる。それらの完全なる除去を行わない場合は、規定値ＭＳ_REFを０より大きく且つ１より小さな値とすればよい。図４（ａ）及び（ｂ）に、夫々、規定値ＭＳ_REFを０に設定した場合におけるマスクデータ列ＭＳ１_i［ｍ］及びＭＳ２_i［ｍ］の例を示す。

ｍ＝２の場合に着目して具体例を挙げる。比較部１４は、信号成分Ｌ_i［２・Δｆ］の位相から信号成分Ｒ_i［２・Δｆ］の位相を差し引いた実位相差Δφ₂を求め、第１不等式「（Δφ−Ｒ・Δφ）≦Δφ₂≦（Δφ＋Ｒ・Δφ）」と第２不等式「（−Δφ−Ｒ・Δφ）≦Δφ₂≦（−Δφ＋Ｒ・Δφ）」の成立／不成立を判断する。第１及び第２不等式におけるΔφは、「Ｆｒｅｑ＝２×Δｆ」とした場合におけるΔφである。
第１不等式が成立する場合は、信号成分Ｌ_i［２・Δｆ］及びＲ_i［２・Δｆ］の主成分が音源２Ｌからの音響信号であると判断されて、ｍ＝２の細分化帯域が第１必要帯域に分類され、この結果、ＭＳ１_i［２］＝１且つＭＳ２_i［２］＝ＭＳ_REFとされる。
第２不等式が成立する場合は、信号成分Ｌ_i［２・Δｆ］及びＲ_i［２・Δｆ］の主成分が音源２Ｒからの音響信号であると判断されて、ｍ＝２の細分化帯域が第２必要帯域に分類され、この結果、ＭＳ１_i［２］＝ＭＳ_REF且つＭＳ２_i［２］＝１とされる。
第１及び第２不等式の双方が不成立の場合は、信号成分Ｌ_i［２・Δｆ］及びＲ_i［２・Δｆ］の主成分が音源２Ｌ及び２Ｒ以外の音源からの音響信号であると判断されて、ｍ＝２の細分化帯域が不要帯域に分類され、この結果、ＭＳ１_i［２］＝ＭＳ_REF且つＭＳ２_i［２］＝ＭＳ_REFとされる。
ｍ＝２の場合に着目して具体例を挙げたが、ｍ≠２の場合も同様である。

ＩＦＦＴ部１６Ｌ及び１６Ｒは、夫々、逆高速フーリエ変換（Inverse Fast Fourier Transform）の一形態である逆離散フーリエ変換を用いて、周波数領域上のマスクデータ列ＭＳ１_i［ｍ］及びＭＳ２_i［ｍ］を、時間領域上の時系列データである信号ＦＩＬ１_i［ｎ］及びＦＩＬ２_i［ｎ］に変換する。信号ＦＩＬ１_i［ｎ］及びＦＩＬ２_i［ｎ］における標本間隔は、ダウンサンプリング部１２Ｌ及び１２Ｒにおける標本間隔Δｔ_S（＝１／１２ｋＨｚ）と同じである。故に、ｎは０以上２５５以下の各整数値をとる。即ち、第ｉ番目のフレームに対してＩＦＦＴ部１６Ｌから出力される信号は、時間間隔Δｔ_Sで離散化された計２５６個のデータ列ＦＩＬ１_i［０］〜ＦＩＬ１_i［２５５］から成り、第ｉ番目のフレームに対してＩＦＦＴ部１６Ｒから出力される信号は、時間間隔Δｔ_Sで離散化された計２５６個のデータ列ＦＩＬ２_i［０］〜ＦＩＬ２_i［２５５］から成る。

ＦＩＲフィルタ１８Ｌ及び１８Ｒの夫々は、２５６個のタップを有する、２５５次のＦＩＲ（Finite Impulse Response）型のデジタルフィルタである。

図５に、１つのＦＩＲフィルタ１８の内部構成図を示す。ＦＩＲフィルタ１８は、データ入力端子１０１及びデータ出力端子１０２と、直列接続された２５５個のフリップフロップから成るシフトレジスタと、第１〜第２５６番目のタップにおけるデータに夫々フィルタ係数ＦＩＲ［０］〜ＦＩＲ［２５５］を乗算する２５６個の乗算器と、各乗算器の出力値を合算して合算値をデータ出力端子１０２から出力する合算器と、を備える。シフトレジスタは、与えられるクロックパルスに従って、各フリップフロップにセットされている値を次段のフリップフロップに送るが、このクロックパルスの周期はΔｔ_S（＝１／１２ｋＨｚ）である。データ入力端子１０１に、Δｔ_Sの間隔で、順次、入力データが入力される。或る時刻ｔにおいて、データ入力端子１０１に入力データＤ_IN［ｔ］が入力され且つデータ出力端子１０２から下記式（１）に従う出力データＤ_OUT［ｔ］が出力される。ここで、ｔは、Δｔ_Sが経過する毎に１だけ増加する。尚、全フィルタ係数ＦＩＲ［０］〜ＦＩＲ［２５５］の初期値はゼロである。

図２のＦＩＲフィルタ１８Ｌ及び１８Ｒの夫々は、図５のＦＩＲフィルタ１８と同様の構成を有する。但し、フィルタ係数ＦＩＲ［０］〜ＦＩＲ［２５５］に対応する、ＦＩＲフィルタ１８Ｌのフィルタ係数はＦＩＲ１［０］〜ＦＩＲ１［２５５］であり、且つ、フィルタ係数ＦＩＲ［０］〜ＦＩＲ［２５５］に対応する、ＦＩＲフィルタ１８Ｒのフィルタ係数はＦＩＲ２［０］〜ＦＩＲ２［２５５］であるとする。全フィルタ係数ＦＩＲ１［０］〜ＦＩＲ１［２５５］及びＦＩＲ２［０］〜ＦＩＲ２［２５５］の初期値はゼロである。

図２の係数更新部１７Ｌ及び１７Ｒは、夫々、ＩＦＦＴ部１６Ｌからの信号ＦＩＬ１_i［ｎ］及びＩＦＦＴ部１６Ｒからの信号ＦＩＬ２_i［ｎ］に基づいてＦＩＲフィルタ１８Ｌのフィルタ係数ＦＩＲ１［ｎ］及びＦＩＲフィルタ１８Ｒのフィルタ係数ＦＩＲ２［ｎ］を更新する。この更新はΔｔ_Sが経過する毎に１回行われる。

信号ＦＩＬ１_i［ｎ］に基づくフィルタ係数ＦＩＲ１［ｎ］の更新方法と、信号ＦＩＬ２_i［ｎ］に基づくフィルタ係数ＦＩＲ２［ｎ］の更新方法は同じであるため、主として前者の更新方法を詳細に説明する。

係数更新部１７Ｌは、ｎ＝０、１、２・・・２５５の夫々に対して、下記式（２ａ）に基づき更新量ΔＷ１［ｎ］を算出する。式（２ａ）におけるＦＩＲ１［ｎ］の値として、前回のフィルタ係数の値が用いられる。前回のフィルタ係数を用いて求めた更新量を前回のフィルタ係数に加算することによって更新を行い、この更新後の値を、今回のフィルタ係数の値とする。即ち、下記式（２ｂ）に従って更新がなされる。更新量ΔＷ１［ｎ］を用いたフィルタ係数の更新を開始してから、離散フーリエ変換の解析長である２５６サンプル分の時間経過後（即ち、Δｔ_S×２５６に相当する時間経過後）に、ＦＩＬ１_i［ｎ］とＦＩＲ１［ｎ］は等価となる。
ΔＷ１［ｎ］＝（ＦＩＬ１_i［ｎ］−ＦＩＲ１［ｎ］）／２５６ ・・・（２ａ）
ＦＩＲ１［ｎ＋１］＝ΔＷ１［ｎ］＋ＦＩＲ１［ｎ］ ・・・（２ｂ）

ＦＩＲフィルタ１８Ｌにおけるデータ入力端子１０１には、ダウンサンプリング部１２Ｌからの信号Ｌ_i［ｔ］が入力される。上述したように、信号Ｌ_i［ｔ］はΔｔ_Sの間隔で並ぶ時系列データであり、ＦＩＲフィルタ１８Ｌにおけるデータ入力端子１０１に、Δｔ_Sの間隔で順次、信号Ｌ_i［ｔ］を形成するデータ列が入力される。信号Ｌ_i［ｔ］に含まれる１番目のデータがＦＩＲフィルタ１８Ｌのデータ入力端子１０１に入力される直前に、信号ＦＩＬ１_i［ｎ］に基づく１回目のフィルタ係数ＦＩＲ１［ｎ］の更新が実行され、信号Ｌ_i［ｔ］に含まれる２５６番目のデータがＦＩＲフィルタ１８Ｌのデータ入力端子１０１に入力される直前に、信号ＦＩＬ１_i［ｎ］に基づく２５６回目のフィルタ係数ＦＩＲ１［ｎ］の更新が実行される。この後、信号ＦＩＬ１_i［ｎ］に基づく２５６回目の更新がなされたフィルタ係数ＦＩＲ１［ｎ］を基準として、信号Ｌ_i+1［ｎ］に対するフィルタ係数ＦＩＲ１［ｎ］が上述と同様の更新を介して求められる。

ＦＩＲフィルタ１８Ｒにおけるデータ入力端子１０１にも、Δｔ_Sの間隔で順次、信号Ｌ_i［ｔ］を形成するデータ列が入力される。信号Ｌ_i［ｔ］に含まれる１番目のデータがＦＩＲフィルタ１８Ｒのデータ入力端子１０１に入力される直前に、信号ＦＩＬ２_i［ｎ］に基づく１回目のフィルタ係数ＦＩＲ２［ｎ］の更新が実行され、信号Ｌ_i［ｔ］に含まれる２５６番目のデータがＦＩＲフィルタ１８Ｒのデータ入力端子１０１に入力される直前に、信号ＦＩＬ２_i［ｎ］に基づく２５６回目のフィルタ係数ＦＩＲ２［ｎ］の更新が実行される。この後、信号ＦＩＬ２_i［ｎ］に基づく２５６回目の更新がなされたフィルタ係数ＦＩＲ２［ｎ］を基準として、信号Ｌ_i+1［ｎ］に対するフィルタ係数ＦＩＲ２［ｎ］が上述と同様の更新を介して求められる。

ＦＩＲフィルタ１８Ｌ及び１８Ｒにおける各データ出力端子１０２から夫々第１及び第２の抽出信号が出力される。第１の抽出信号は、信号Ｌ_i［ｔ］の中より、音源２Ｌからの音の成分を抽出した信号であり、第２の抽出信号は、信号Ｌ_i［ｔ］の中より、音源２Ｒからの音の成分を抽出した信号である。尚、抽出を、強調と読み替えることもできる。

本実施例では、時間領域上の信号にデジタルフィルタ処理を行うことで、特定の音源からの音を強調、抽出、低減又は除去する。この際、デジタルフィルタにおけるフィルタ係数をフレームの時間長さよりも短い周期でステップ的に更新する。上述の例では、フィルタ係数がΔｔ_Sの間隔で更新される。これにより、図１３に対応する従来方法では顕著に発生していたミュージカルノイズが大幅に低減される。

ところで、ミュージカルノイズを低減するべく、図１３に対応する従来方法を以下のように改良することも考えられる。即ち、図１４に示す如く、時間−周波数変換時に用いる窓関数を時系列上でオーバラップさせて各窓関数に対応する周波数スペクトルを生成し、図１３に対応する従来方法の処理を経て各周波数スペクトルを合成する。このようにすれば、信号の不連続性が緩和され、ミュージカルノイズの低減も期待できる。但し、この場合、多くの処理量を必要とする時間−周波数変換を短時間周期で多数回行う必要があるため、リアルタイム動作を実現するためには、動作クロックの速い高価なハードウェアが必要となる（或いは実現そのものが困難である）。

一方、本実施例では、１サンプリング時間当たりに１回、更新量をフィルタ係数に加算するだけでミュージカルノイズを大幅に抑制することが可能である。つまり、ミュージカルノイズを抑制するために必要となる処理は軽微であり、実用性が極めて高い。

尚、図２の音響信号処理装置１０では、ＦＩＲフィルタ１８Ｌ及び１８Ｒへの入力信号が共に左チャンネルの信号Ｌ_i［ｔ］となっているが、左右チャンネルの信号の内の、どちらの信号をＦＩＲフィルタに与えるかは任意である（これは、後述の他の実施例でも同様）。例えば、図６に示すように、ＦＩＲフィルタ１８Ｒへの入力信号を信号Ｒ_i［ｔ］に変更しても構わない。マイクロホン１Ｌ及び１Ｒと抽出すべき音源との距離がマイクロホン間隔に対して十分大きければ、この変更を行っても、第２の抽出信号は殆ど変化しない。

＜＜第２実施例＞＞
次に、本発明の第２実施例を説明する。図７に、第２実施例に係る音響信号処理装置２０の内部ブロック図を示す。音響信号処理装置２０は、原信号Ｌ及びＲを入力音響信号として受け、正面方向から到来した音の信号成分を入力音響信号より抽出して、抽出によって得た信号をモノラル信号として出力する。

音響信号処理装置２０は、符号１１Ｌ〜１３Ｌ及び１１Ｒ〜１３Ｒ並びに符号２４〜２８によって参照される各部位を備える。

ＬＰＦ１１Ｌ及び１１Ｒ、ダウンサンプリング部１２Ｌ及び１２Ｒ並びにＦＦＴ部１３Ｌ及び１３Ｒは、図２に示すそれらと同じものである。但し、第２実施例において、ＦＦＴ部１３Ｌ及び１３Ｒの出力データは比較部２４に与えられる。

比較部２４は、ＦＦＴ部１３Ｌの出力データに基づき、細分化帯域ごとに、当該細分化帯域における左チャンネルの信号成分の位相を算出する（換言すれば、Δｆで離散化された、信号Ｌ_i［ｔ］の位相スペクトルを算出する）と共に、ＦＦＴ部１３Ｒの出力データに基づき、細分化帯域ごとに、当該細分化帯域における右チャンネルの信号成分の位相を算出する（換言すれば、Δｆで離散化された、信号Ｒ_i［ｔ］の位相スペクトルを算出する）。そして、図２の比較部１４と同様、各細分化帯域を個別に着目し、着目した細分化帯域における位相を左右チャンネル間で比較することにより、その細分化帯域における信号の主成分が何れの方向から到来したものであるのかを判定する。

但し、比較部２４は、比較部１４と異なり、正面方向から到来した音の信号成分が主成分となっている帯域を必要と判断する。図８において、符号５が付された矢印群は「正面方向から到来した音」の伝播方向を表している。第２実施例及び後述の第３実施例において、「正面方向から到来した音」とは、マイクロホン１Ｌ及び１Ｒの前方側に位置し且つ音源２Ｌと２Ｒとの間に位置する音源（音源２Ｌ及び２Ｒを含む）から音を指す。

具体的には、比較部２４は、着目した細分化帯域の実位相差が（−Δφ）以上Δφ以下の範囲内に収まる場合、着目した細分化帯域における信号の主成分が正面方向から到来した音の信号成分であると判断し、着目した細分化帯域を必要帯域に分類する。一方、着目した細分化帯域の実位相差が（−Δφ）以上Δφ以下の範囲内に収まらない場合、着目した細分化帯域における信号の主成分が正面方向以外から到来した音の信号成分であると判断し、着目した細分化帯域を不要帯域に分類する。

マスク作成部２５は、比較部２４による分類結果に基づいて、必要帯域の信号成分を抽出するためのマスクデータ列を生成する。第ｉ番目のフレームに対するマスクデータ列はマスクデータＭＳ_i［０］〜ＭＳ_i［Ｍ−１］から形成される。

第ｉ番目のフレームに関して、ｍ＝ｍ_Oの細分化帯域が必要帯域に分類された場合、マスクデータＭＳ_i［ｍ_O］は１とされ、ｍ＝ｍ_Oの細分化帯域が不要帯域に分類された場合、マスクデータＭＳ_i［ｍ_O］は規定値ＭＳ_REFとされる。規定値ＭＳ_REFは、上述したように、０以上１未満の値とされる。規定値ＭＳ_REFを０に設定した場合、正面方向以外から到来した音に由来すると判断された帯域成分が完全に除去された音響信号が音響信号処理装置２０から出力されることになる。それの完全なる除去を行わない場合は、規定値ＭＳ_REFを０より大きく且つ１より小さな値とすればよい。

ｍ＝２の場合に着目して具体例を挙げる。比較部２４は、信号成分Ｌ_i［２・Δｆ］の位相から信号成分Ｒ_i［２・Δｆ］の位相を差し引いた実位相差Δφ₂を求め、不等式「−Δφ≦Δφ₂≦Δφ」の成立／不成立を判断する。この不等式におけるΔφは、「Ｆｒｅｑ＝２×Δｆ」とした場合におけるΔφである。この不等式が成立する場合は、ｍ＝２の細分化帯域が必要帯域に分類され、この結果、ＭＳ_i［２］＝１とされる。この不等式が不成立の場合は、ｍ＝２の細分化帯域が不要帯域に分類され、この結果、ＭＳ_i［２］＝ＭＳ_REFとされる。ｍ＝２の場合に着目して具体例を挙げたが、ｍ≠２の場合も同様である。

ＩＦＦＴ部２６は、逆離散フーリエ変換を用いて、周波数領域上のマスクデータ列ＭＳ_i［ｍ］を、時間領域上の時系列データである信号ＦＩＬ_i［ｎ］に変換する。信号ＦＩＬ_i［ｎ］における標本間隔は、ダウンサンプリング部１２Ｌ及び１２Ｒにおける標本間隔Δｔ_S（＝１／１２ｋＨｚ）と同じである。故に、ｎは０以上２５５以下の各整数値をとる。即ち、第ｉ番目のフレームに対してＩＦＦＴ部２６から出力される信号は計２５５個のデータ列ＦＩＬ_i［０］〜ＦＩＬ_i［２５５］から成る。

ＦＩＲフィルタ２８は、図５のＦＩＲフィルタ１８と同じものであり、ＦＩＲフィルタ２８の計２５６個のフィルタ係数を、ＦＩＲフィルタ１８と同じく、ＦＩＲ［０］〜ＦＩＲ［２５５］と表記する。全フィルタ係数ＦＩＲ［０］〜ＦＩＲ［２５５］の初期値はゼロである。

係数更新部２７は、ＩＦＦＴ部２６からの信号ＦＩＬ_i［ｎ］に基づいてＦＩＲフィルタ２８のフィルタ係数ＦＩＲ［ｎ］を更新する。この更新はΔｔ_Sが経過する毎に１回行われる。信号ＦＩＬ_i［ｎ］に基づくフィルタ係数ＦＩＲ［ｎ］の更新方法は、第１実施例で述べた信号ＦＩＬ１_i［ｎ］に基づくフィルタ係数ＦＩＲ１［ｎ］の更新方法と同じである。

即ち、係数更新部２７は、ｎ＝０、１、２・・・２５５の夫々に対して、下記式（３ａ）に基づき更新量ΔＷ［ｎ］を算出する。式（３ａ）におけるＦＩＲ［ｎ］の値として、前回のフィルタ係数の値が用いられる。前回のフィルタ係数を用いて求めた更新量を前回のフィルタ係数に加算することによって更新を行い、この更新後の値を、今回のフィルタ係数の値とする。即ち、下記式（３ｂ）に従って更新がなされる。更新量ΔＷ［ｎ］を用いたフィルタ係数の更新を開始してから、離散フーリエ変換の解析長である２５６サンプル分の時間経過後（即ち、Δｔ_S×２５６に相当する時間経過後）に、ＦＩＬ_i［ｎ］とＦＩＲ［ｎ］は等価となる。
ΔＷ［ｎ］＝（ＦＩＬ_i［ｎ］−ＦＩＲ［ｎ］）／２５６ ・・・（３ａ）
ＦＩＲ［ｎ＋１］＝ΔＷ［ｎ］＋ＦＩＲ［ｎ］ ・・・（３ｂ）

ＦＩＲフィルタ２８におけるデータ入力端子１０１に、Δｔ_Sの間隔で順次、信号Ｌ_i［ｔ］を形成するデータ列が入力される。信号Ｌ_i［ｔ］に含まれる１番目のデータがＦＩＲフィルタ２８のデータ入力端子１０１に入力される直前に、信号ＦＩＬ_i［ｎ］に基づく１回目のフィルタ係数ＦＩＲ［ｎ］の更新が実行され、信号Ｌ_i［ｔ］に含まれる２５６番目のデータがＦＩＲフィルタ２８のデータ入力端子１０１に入力される直前に、信号ＦＩＬ_i［ｎ］に基づく２５６回目のフィルタ係数ＦＩＲ［ｎ］の更新が実行される。この後、信号ＦＩＬ_i［ｎ］に基づく２５６回目の更新がなされたフィルタ係数ＦＩＲ［ｎ］を基準として、信号Ｌ_i+1［ｎ］に対するフィルタ係数ＦＩＲ［ｎ］が上述と同様の更新を介して求められる。

ＦＩＲフィルタ２８におけるデータ出力端子１０２から、モノラル信号としての第１の抽出信号が出力される。ＦＩＲフィルタ２８からの第１の抽出信号は、信号Ｌ_i［ｔ］の中より、正面方向から到来した音の成分を抽出した信号である。

本実施例のように音響信号処理装置を形成しても、特定音源からの音の抽出等を行う際においてミュージカルノイズの発生が抑制される。また、ミュージカルノイズを抑制するために必要となる処理は軽微であり、実用性が極めて高い。

正面方向から到来した音の信号成分を位相情報に基づいて抽出する方法を説明したが、パワー情報によってこの抽出を実現してもよい。音は伝播距離に応じて減衰するため、正面方向から到来した音の成分が信号の主成分となっている場合、左右チャンネルからの信号のパワー（パワーレベル）は同程度となる一方で、横方向から到来した音の成分が信号の主成分となっている場合、左右チャンネル間で信号のパワーに差が生じる。この原理を利用する。

パワー比較によって正面方向から到来した音の信号成分を抽出する場合、以下のように処理すればよい。比較部２４は、ＦＦＴ部１３Ｌの出力データに基づき、細分化帯域ごとに、当該細分化帯域における左チャンネルの信号成分のパワー（パワーレベル）を算出する（換言すれば、Δｆで離散化された、信号Ｌ_i［ｔ］のパワースペクトルを算出する）と共に、ＦＦＴ部１３Ｒの出力データに基づき、細分化帯域ごとに、当該細分化帯域における右チャンネルの信号成分のパワー（パワーレベル）を算出する（換言すれば、Δｆで離散化された、信号Ｒ_i［ｔ］のパワースペクトルを算出する）。そして、各細分化帯域を個別に着目し、着目した細分化帯域におけるパワー（パワーレベル）を左右チャンネル間で比較することにより、その細分化帯域における信号の主成分が何れの方向から到来したものであるのかを判定する。

実際には、比較部２４において、信号成分Ｌ_i［ｍ・Δｆ］のパワー（パワーレベル）と信号成分Ｒ_i［ｍ・Δｆ］のパワー（パワーレベル）との間におけるパワー差ΔＰ_mを、ｍ＝０、１、２、・・・、（Ｍ−１）の夫々に対して求め、各パワー差ΔＰ_mを予め設定された基準パワー差ΔＰ_REFと比較する。そして、着目した細分化帯域のパワー差ΔＰ_mが基準パワー差ΔＰ_REFよりも小さい場合、着目した細分化帯域における信号の主成分が正面方向から到来した音の成分であると判断し、着目した細分化帯域を必要帯域に分類する。一方、着目した細分化帯域のパワー差ΔＰ_mが基準パワー差ΔＰ_REF以上である場合、着目した細分化帯域における信号の主成分が正面方向以外から到来した音の成分であると判断し、着目した細分化帯域を不要帯域に分類する。この分類後の動作は、上述したとおりである。

パワー比較を用いる方法は、マイクロホン間隔が十分に広く（例えば、数１０ｃｍ）、音の距離減衰の差が判別可能な場合に有効である。パワー情報は、マイクロホンの感度ばらつきの影響を受けやすく、また、パワー情報のみの利用では厳密な音源方向の推定が比較的難しい。しかしながら、位相情報を用いる場合と異なり上限周波数の制約を受けない利点がある。

これを考慮し、位相情報及びパワー情報の双方を用いるようにしてもよい。即ち、各細分化帯域が必要帯域及び不要帯域の何れに分類されるべきかの判断を、所定の上限周波数未満の各細分化帯域に対しては位相情報に基づいて行い、上限周波数以上の各細分化帯域に対してはパワー情報に基づいて行うようにしてもよい。位相情報（実位相差Δφ_m）に基づく分類方法及びパワー情報（パワー差ΔＰ_m）に基づく分類方法は、上述した通りである。

＜＜第３実施例＞＞
本発明の第３実施例を説明する。図９に、第３実施例に係る音響信号処理装置３０の内部ブロック図を示す。音響信号処理装置３０は、原信号Ｌ及びＲを入力音響信号として受け、正面方向から到来した音の信号成分を入力音響信号より抽出して、抽出によって得た信号をモノラル信号として出力する。

音響信号処理装置３０は、符号１１Ｌ〜１３Ｌ及び１１Ｒ〜１３Ｒ並びに符号３４〜３９によって参照される各部位を備える。

ＬＰＦ１１Ｌ及び１１Ｒ、ダウンサンプリング部１２Ｌ及び１２Ｒ並びにＦＦＴ部１３Ｌ及び１３Ｒは、図２に示すそれらと同じものである。但し、第３実施例において、ＦＦＴ部１３Ｌ及び１３Ｒの出力データは比較部３４に与えられる。

比較部３４は、ＦＦＴ部１３Ｌ及び１３Ｒの出力データに基づき、第２実施例で述べた方法と同じ方法を用いて、ｍ＝０、１、２、・・・、Ｍ−１の夫々の細分化帯域を必要帯域又は不要帯域に分類する。この分類の際、第２実施例で述べたように、位相情報（実位相差Δφ_m）、パワー情報（パワー差ΔＰ_m）又はそれらの双方を用いる。

ＦＦＴ部１３Ｌによって時間領域上の信号Ｌ_i［ｔ］は周波数領域上の信号Ｌ_i［ｍ・Δｆ］に変換される。不要帯域除去部３５は、比較部３４による必要帯域及び不要帯域についての分類結果に基づいて、信号Ｌ_i［ｍ・Δｆ］より、不要帯域に分類された細分化帯域の信号成分を除去し、この除去後の信号Ｌ_i’［ｍ・Δｆ］を出力する。この除去は、完全なる除去でも一部の除去であっても構わない。

例えば、ｍ＝２の細分化帯域のみが不要帯域に分類され、その他の細分化帯域が必要帯域に分類された場合を考える。この場合、０≦ｍ≦１又は３≦ｍ≦Ｍ−１の範囲内ではＬ_i’［ｍ・Δｆ］＝Ｌ_i［ｍ・Δｆ］となる。一方で、Ｌ_i’［２・Δｆ］≠Ｌ_i［２・Δｆ］となる。不要帯域に分類された細分化帯域の信号成分の信号レベル（信号強度）は低減される。即ち、信号成分Ｌ_i’［２・Δｆ］の信号レベルは、ゼロとされる又は信号成分Ｌ_i［２・Δｆ］の信号レベルよりも小さくされる。

不要帯域に分類された細分化帯域の信号成分の信号レベルを低減するのではなく、必要帯域に分類された細分化帯域の信号成分の信号レベルを増大させることによって信号Ｌ_i’［ｍ・Δｆ］を生成しても良い。つまり、不要帯域除去部３５は、比較部３４による必要帯域及び不要帯域についての分類結果に基づいて不要帯域又は必要帯域の信号成分の信号レベルを制御し、これによって信号Ｌ_i’［ｍ・Δｆ］を出力する。信号Ｌ_i’［ｍ・Δｆ］は、不要帯域の信号成分が除去された信号と考えることもできるし、必要帯域の信号成分が強調された信号とも考えることができる。

ＩＦＦＴ部３６は、逆離散フーリエ変換を用いて、周波数領域上の信号Ｌ_i’［ｍ・Δｆ］を時間領域上の時系列データである信号Ｓ_i［ｔ］に変換する。この逆離散フーリエ変換の標本間隔は、ダウンサンプリング部１２Ｌ及び１２Ｒにおける標本間隔Δｔ_S（＝１／１２ｋＨｚ）と同じであるとする。従って、第ｉ番目のフレームに対してＩＦＦＴ部３６から出力される信号は、時間間隔Δｔ_Sにて離散化された計２５６個のデータから成る。

ＩＦＦＴ部３６から出力される信号そのものは、図１３に対応する従来方法と同様、ミュージカルノイズを含むが、第３実施例では、この信号をそのまま出力するのではなく、この信号を教師信号として用いる。即ち、この教師信号とＦＩＲフィルタ３８の出力信号と差がゼロに収束するように、ＦＩＲフィルタ３８における各フィルタ係数を短時間周期でステップ更新する。より具体的に説明する。

ＦＩＲフィルタ３８は、図５に示すＦＩＲフィルタ１８と同じものである。ＦＩＲフィルタ３８のデータ入力端子１０１には、ダウンサンプリング部１２Ｌの出力信号Ｌ［ｔ］が入力される。

今、或る時刻ｔを基準として考え、Δｔ_Sの間隔で、順次、ダウンサンプリング部１２ＬからデータＬ［ｔ］、Ｌ［ｔ＋１］、Ｌ［ｔ＋２］、・・・、Ｌ［ｔ＋２５５］がＦＩＲフィルタ３８のデータ入力端子１０１に入力されると考える。そうすると、時刻ｔにおける、ＦＩＲフィルタ３８のデータ出力端子１０２からの出力データＤ_OUT［ｔ］は、下記式（４）に従って算出される。時刻ｔにおける出力データＤ_OUT［ｔ］の算出の際には、時刻ｔにおけるフィルタ係数ＦＩＲ［ｊ］が用いられる（ｊは整数であって、０≦ｊ≦２５５）。

また、データＬ［ｔ］〜Ｌ［ｔ＋２５５］に対して、ＦＦＴ部１３Ｌによる離散フーリエ変換、不要帯域除去部３５による信号レベル制御及びＩＦＦＴ部３６による逆離散フーリエ変換を施すことによって得たＩＦＦＴ部３６の出力データを、Ｓ［ｔ］〜Ｓ［ｔ＋２５５］にて表す。減算器３９は、時刻ｔにおけるＦＩＲフィルタ３８の出力データＤ_OUT［ｔ］から、対応する時刻のＩＦＦＴ部３６の出力データＳ［ｔ］を減算し、その減算結果（Ｄ_OUT［ｔ］−Ｓ［ｔ］）を係数更新部３７に与える。係数更新部３７は、下記式（５）に従って時刻ｔのフィルタ係数に対する更新量ΔＦＩＲ［ｊ］を算出する。そして、時刻ｔのフィルタ係数に対する更新量ΔＦＩＲ［ｊ］を時刻ｔにおけるフィルタ係数ＦＩＲ［ｊ］に加えた係数が時刻（ｔ＋１）におけるフィルタ係数ＦＩＲ［ｊ］となるように、ＦＩＲフィルタ３８のフィルタ係数ＦＩＲ［ｊ］を更新する。時刻（ｔ＋１）における出力データＤ_OUT［ｔ＋１］の算出の際には、時刻（ｔ＋１）におけるフィルタ係数ＦＩＲ［ｊ］が用いられる。このようなフィルタ係数ＦＩＲ［ｊ］の更新は、Δｔ_Sが経過する毎に１回実行される。
ΔＦＩＲ［ｊ］＝α×（Ｄ_OUT［ｔ］−Ｓ［ｔ］）×Ｌ［ｔ−ｊ］ ・・・（５）

これにより、ＩＦＦＴ部３６の出力データとＦＩＲフィルタ３８の出力データとの差がゼロに収束するように、適応的にＦＩＲフィルタ３８のフィルタ係数が更新されていく。式（５）におけるαは、この適応の速度を調整するための所定の係数である。

ＦＩＲフィルタ３８におけるデータ出力端子１０２から、モノラル信号としての第１の抽出信号が出力される。ＦＩＲフィルタ３８からの第１の抽出信号は、信号Ｌ_i［ｔ］の中より、正面方向から到来した音の成分を抽出した信号である。

本実施例のように音響信号処理装置を形成しても、特定音源からの音の抽出等を行う際においてミュージカルノイズの発生が抑制される。但し、第２実施例と比べると、ミュージカルノイズを抑制するために必要となる処理量が多くなる。

尚、第１実施例に記載の方法を第３実施例に適用することで、ステレオ信号を生成するようにしてもよい。この場合、不要帯域除去部３５、ＩＦＦＴ部３６、係数更新部３７、ＦＩＲフィルタ３８及び減算器３９を含む部位を２系統設け、一方の系統における必要帯域及び他方の系統における必要帯域を、夫々、第１実施例で述べた、音源２Ｌに対応する第１必要帯域及び音源２Ｒに対応する第２必要帯域として取り扱えばよい。前者の系統からは、音源２Ｌからの音の成分を抽出した音響信号が出力され、後者の系統からは、音源２Ｒからの音の成分を抽出した音響信号が出力される。

＜＜第４実施例＞＞
次に、本発明の第４実施例を説明する。第１〜第３実施例で説明した音響信号処理装置（１０、２０又は３０）は、複数のマイクロホンの検出信号を利用する任意の装置に搭載される。複数のマイクロホンの検出信号を利用する任意の装置には、録音装置（ＩＣレコーダなど）、撮像装置（デジタルビデオカメラなど）、携帯端末（携帯電話機など）及び音響信号再生装置が含まれる。尚、撮像装置及び携帯端末の夫々において、録音装置としての機能若しくは音響信号再生装置としての機能又はそれらの双方の機能を実現することも可能である。

例として、図１０に、録音装置２００の概略構成図を示す。録音装置２００は、音響信号処理装置２０１と、磁気ディスクやメモリカード等の記録媒体２０２と、撮像装置２００の筐体上の互いに異なる位置に設置されたマイクロホン１Ｌ及び１Ｒと、を備える。音響信号処理装置２０１は、音響信号処理装置１０によって実現される機能と音響信号処理装置２０（又は３０）によって実現される機能を択一的に実現可能であり、ユーザが録音装置２００に所定操作を施すことによって、一方の機能を択一的に有効とする。前者の機能を第１機能と呼び、後者の機能を第２機能と呼ぶ。

第１機能が有効とされた場合、音響信号処理装置２０１は、マイクロホン１Ｌ及び１Ｒの検出信号から第１実施例で述べたステレオ信号（第１実施例における第１及び第２の抽出信号）を生成し、そのステレオ信号を記録媒体２０２に記録する。第２機能が有効とされた場合、音響信号処理装置２０２は、マイクロホン１Ｌ及び１Ｒの検出信号から第２実施例（又は第３）で述べたモノラル信号を生成し、そのモノラル信号を記録媒体２０２に記録する。

また、図１１に、音響信号再生装置２２０の概略構成図を示す。音響信号再生装置２２０は、音響信号処理装置２２１と、磁気ディスクやメモリカード等の記録媒体２２２と、を備える。記録媒体２２２には、マイクロホン１Ｌ及び１Ｒの検出信号が記録されているものとする。音響信号処理装置２２１は、上記第１及び第２機能を実現可能に形成されており、ユーザが音響信号処理装置２２１に所定操作を施すことによって、一方の機能を択一的に有効とする。

第１機能が有効とされた場合、音響信号処理装置２２１は、記録媒体２２２より読み出したマイクロホン１Ｌ及び１Ｒの検出信号から第１実施例で述べたステレオ信号を生成する。このステレオ信号は、例えば、音としてスピーカ（不図示）から出力される、或いは、記録媒体２２２に記録される、或いは、他の装置（不図示）に対して送信される。第２機能が有効とされた場合、音響信号処理装置２２１は、記録媒体２２２より読み出したマイクロホン１Ｌ及び１Ｒの検出信号から第２実施例（又は第３）で述べたモノラル信号を生成する。このモノラル信号は、例えば、音としてスピーカ（不図示）から出力される、或いは、記録媒体２２２に記録される、或いは、他の装置（不図示）に対して送信される。

また、図１２に、撮像装置２４０の概略構成図を示す。撮像装置２４０は、図１０の録音装置２００の構成要素に、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子２４３、画像処理部及び表示部（不図示）を付加することによって形成される。撮像装置２４０に内在する、音響信号処理装置２０１、記録媒体２０２並びにマイクロホン１Ｌ及び１Ｒの機能は、上述した通りである。撮像装置２４０は、撮像素子２４３を用いて被写体に応じた動画像又は静止画像を撮影し、その動画像又は静止画像の画像データを記録媒体２０２に記録する。

注目すべき話者の音声を録音する場合、通常、その話者は装置の正面に位置する。このため、第２機能を、撮像装置、録音装置又は携帯電話機などにおける話者音声強調に利用可能である。携帯電話機における話者音声強調は、所謂ハンズフリー通話時において特に有益である。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
２つのマイクロホンを用いて特定音源からの音を抽出したステレオ信号又はモノラル信号を生成する方法を例示したが、本発明において、マイクロホンの本数は３以上であってもよい。例えば、上述の各実施例に記載した技術を３以上のマイクロホンの検出信号に対して適用し、３以上のマイクロホンの検出信号から３以上のチャンネル信号を有するマルチチャンネル信号を生成することも可能である。

［注釈２］
音響信号処理装置（１０、２０又は３０）によって実現される機能の全部又は一部は、ハードウェア、ソフトウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて音響信号処理装置（１０、２０又は３０）を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。音響信号処理装置（１０、２０又は３０）にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

本発明の実施形態に係り、２つのマイクロホンと２つの音源との位置関係を表す図である。 本発明の第１実施例に係る音響信号処理装置の内部ブロック図である。 時系列データがフレーム単位で区切られる様子を示す図である。 図２のマスク作成部から出力されるマスクデータ列を例示する図である。 ＦＩＲフィルタの内部構成図である。 図２の音響信号処理装置の変形例を示す図である。 本発明の第２実施例に係る音響信号処理装置の内部ブロック図である。 正面方向から到来する音の伝播方向を説明するための図である。 本発明の第３実施例に係る音響信号処理装置の内部ブロック図である。 本発明の第４実施例に係る録音装置の概略構成図である。 本発明の第４実施例に係る音響信号再生装置の概略構成図である。 本発明の第４実施例に係る撮像装置の概略構成図である。 従来の特定音源分離方法が適用された音響信号処理装置の内部ブロック図である。 時間−周波数変換時に用いる窓関数を時系列上でオーバラップさせた様子を示す図である。

符号の説明

１Ｌ、１Ｒ マイクロホン
２Ｌ、２Ｒ 音源
１０、２０、３０、２０１、２２１ 音響信号処理装置
１４、２４、３４ 比較部
１５、２５ マスク作成部
１６Ｌ、１６Ｒ、２６、３６ ＩＦＦＴ部
１７Ｌ、１７Ｒ、２７、３７ 係数更新部
１８、１８Ｌ、１８Ｒ、２８、３８ ＦＩＲフィルタ

Claims (8)

1. 複数のマイクロホンの検出信号に基づく複数のチャンネル信号を受ける信号入力部と、
   各チャンネル信号のパラメータを抽出して前記複数のチャンネル信号間で前記パラメータを比較する比較部と、
   前記複数のチャンネル信号に含まれるチャンネル信号に対してデジタルフィルタ処理を行うデジタルフィルタと、
   前記パラメータの比較結果に基づいて前記デジタルフィルタにおけるフィルタ係数を更新する係数更新部と、を有する音響信号処理装置であって、
   前記比較部において、前記複数のチャンネル信号の夫々は周波数スペクトルにて表現され、
   前記比較部は、前記周波数スペクトルに含まれる帯域を複数の細分化帯域に分割して前記細分化帯域ごとに前記パラメータを抽出し、同一細分化帯域における前記パラメータを前記複数のチャンネル信号間で比較することによって各細分化帯域を複数の種別の何れかに分類し、
   当該音響信号処理装置は、その分類結果列を時系列データに変換する周波数／時間変換部を更に備え、
   前記係数更新部は、前記時系列データに基づいて前記フィルタ係数を更新する
   ことを特徴とする音響信号処理装置。
2. 複数のマイクロホンの検出信号に基づく複数のチャンネル信号を受ける信号入力部と、
   各チャンネル信号のパラメータを抽出して前記複数のチャンネル信号間で前記パラメータを比較する比較部と、
   前記複数のチャンネル信号に含まれるチャンネル信号に対してデジタルフィルタ処理を行うデジタルフィルタと、
   前記パラメータの比較結果に基づいて前記デジタルフィルタにおけるフィルタ係数を更新する係数更新部と、を有する音響信号処理装置であって、
   前記比較部において、前記複数のチャンネル信号の夫々は周波数スペクトルにて表現され、
   前記比較部は、前記周波数スペクトルに含まれる帯域を複数の細分化帯域に分割して前記細分化帯域ごとに前記パラメータを抽出し、同一細分化帯域における前記パラメータを前記複数のチャンネル信号間で比較することによって各細分化帯域を複数の種別の何れかに分類し、
   当該音響信号処理装置は、
   前記複数のチャンネル信号に含まれるチャンネル信号の各細分化帯域の信号レベルを前記分類の結果に基づき周波数領域上で制御して、周波数領域上における信号レベル制御後のチャンネル信号を出力する信号レベル制御部と、
   前記信号レベル制御部の出力信号を時系列データに変換する周波数／時間変換部と、を更に備え、
   前記係数更新部は、前記時系列データと前記デジタルフィルタの出力データとの差に基づいて、前記フィルタ係数を更新する
   ことを特徴とする音響信号処理装置。
3. 前記周波数スペクトルは、時間領域上で表現されたチャンネル信号の時系列データを複数の区間で区切り、区切られた区間内の時系列データを周波数領域上のデータに変換することによって得られ、
   前記係数更新部による前記フィルタ係数の更新周期は、前記区間の時間長さよりも短い
   ことを特徴とする請求項１または請求項２に記載の音響信号処理装置。
4. 前記デジタルフィルタには、時間領域上で表現されたチャンネル信号の時系列データが順次入力され、
   前記係数更新部による前記フィルタ係数の更新周期は、前記デジタルフィルタへのデータ入力周期に等しい
   ことを特徴とする請求項３に記載の音響信号処理装置。
5. 前記比較部は、前記細分化帯域ごとに、当該細分化帯域における信号の位相、パワー又はそれらの双方を前記パラメータとして抽出する
   ことを特徴とする請求項１〜請求項４の何れかに記載の音響信号処理装置。
6. 複数のマイクロホンと、
   前記複数のマイクロホンの検出信号を受ける、請求項１〜請求項５の何れかに記載の音響信号処理装置と、を備えた
   ことを特徴とする録音装置。
7. 請求項１〜請求項５の何れかに記載の音響信号処理装置を備えた音響信号再生装置であって、
   前記音響信号処理装置における前記信号入力部は、前記複数のマイクロホンの検出信号に基づくデータを記録した記録媒体から前記複数のチャンネル信号を受ける
   ことを特徴とする音響信号再生装置。
8. 複数のマイクロホンと、
   前記複数のマイクロホンの検出信号を受ける、請求項１〜請求項５の何れかに記載の音響信号処理装置と、
   撮像手段と、を備えた
   ことを特徴とする撮像装置。

Images