JP4952368B2 - 収音装置 - Google Patents

Description

本発明は、収音装置に関し、特に音声信号のノイズを低減させる収音装置に関する。

ビデオカメラなどの撮像装置は、被写体の撮像に合わせてその撮像装置の周囲の音源を収音するためにマイクロホンを内蔵することが多い。このマイクロホンはレンズ画角に合った収音を主な目的としているが、近年では周囲全体に対する立体的なサラウンド収音も行われるようになっている。

このような撮像装置には、収音に関する機構以外に、記録媒体であるＤＶＤ（Digital Versatile Disc）またはＨＤＤ（Hard Disc Drive）などのディスクドライブ機構や、オートフォーカス、パワーズーム、光学手振れ補正などのレンズドライブ機構も搭載されている。また、ユーザが操作する液晶モニターの開閉機構や、各種操作スイッチなども含まれている。これらの機構の動作音は、上述の収音機構に対するノイズとして入射することになり、収音機構からすれば、目的とする音声収音のＳ／Ｎ比（Signal to Noise ratio）を下げる要因になる。これらのノイズは、本来であれば発生側で抑制されるべきであるが、撮像装置の小型化および高機能化により益々難易度が増してきている。

また、これらのノイズは、キャビネットを伝わる振動によるものと空気中を音として伝播する音響ノイズとが同時に発生したものであり、これによりマイクロホンへのノイズ伝達経路は複雑なものとなっている。したがって、従来のように、マイクロホンをキャビネットからゴムダンパー等のインシュレータで浮かせる構造をとることや、ゴムワイヤー等で中空に浮かすような構造をとることで、キャビネットから伝わる振動を吸収しノイズが伝わらないようにするパッシブな方法だけでは十分なノイズ低減効果が得られていなかった。

さらに、このようなノイズは、クリック音に代表されるように、総じて短いタイミング期間、例えば数ミリ秒乃至数百ミリ秒の瞬時に発生する場合が多く、適応フィルタなどのノイズ低減手法では低減処理が間に合わない場合が多かった。

これに対し、人間の聴覚におけるマスキング効果を利用することによりノイズ低減を行う技術が提案されている。例えば、外部からノイズ発生タイミングを検出することにより音声信号を切り替えて、ノイズを低減する装置が提案されている（例えば、特許文献１参照。）。
特開２００５−３０３６８１号公報（図１）

上述の従来技術は、人間の聴覚に認識されないように、上述のショックノイズ、タッチノイズ、および、クリックノイズなどを除去するものであり、ノイズ発生期間が特定できる場合には有効であった。

しかしながら、従来技術においては、入力信号にノイズ以外の音が混入している場合や、駆動装置からノイズタイミングが得られない場合には、ノイズ発生期間を特定することができないため、ノイズを除去できないという問題があった。

本発明はこのような状況に鑑みてなされたものであり、収音の際に指向性を利用してノイズ発生期間を特定し、ノイズを低減させることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、周囲の複数の音声信号を入力する音声入力手段と、上記複数の音声信号に基づいて第１の方向に指向性を有する第１の指向性信号および第２の方向に指向性を有する第２の指向性信号を生成する指向性生成手段と、上記第１の指向性信号からノイズ帯域を除去するノイズ除去手段と、上記第２の指向性信号に含まれるノイズを認識するノイズ認識手段と、上記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手段と、上記ノイズ除去期間であることが示されている場合には上記ノイズ除去手段の出力を選択し、上記ノイズ除去期間であることが示されていない場合には上記第１の指向性信号を選択する選択手段とを具備することを特徴とする収音装置である。これにより、第２の指向性信号に含まれるノイズの発生期間に応じて第１の指向性信号からのノイズ除去の有無を選択させるという作用をもたらす。

また、この第１の側面において、上記音声入力手段は、複数の双指向性マイクロホンと、１つの無指向性マイクロホンとを備えてもよい。また、上記音声入力手段は、複数の無指向性マイクロホンを備えてもよい。また、上記音声入力手段は、複数の単一指向性マイクロホンと、１つの双指向性マイクロホンとを備えてもよい。これらに基づき、指向性生成手段において第１および第２の指向性信号が生成される。

また、この第１の側面において、所定の方向を示す回転係数を生成する回転係数生成手段をさらに具備し、上記指向性生成手段は、上記回転係数の示す方向が上記第１の方向であれば上記第１の指向性信号を生成し、上記回転係数の示す方向が上記第２の方向であれば上記第２の指向性信号を生成してもよい。これにより、回転係数を基準として第１および第２の指向性信号が生成される。

また、この第１の側面において、上記ノイズ認識手段は、上記ノイズに波形近似した所定期間における平均値がゼロであるウェーブレット信号と上記第２の指向性信号との畳込み演算による出力を評価値として上記ノイズ認識を行うようにしてもよい。これにより、時間領域におけるノイズ認識結果に応じてノイズ除去の有無を選択させるという作用をもたらす。

また、この第１の側面において、上記ノイズ認識手段は、上記ノイズの周波数スペクトルに近似したパターン信号とフーリエ変換された上記第２の指向性信号との相関性を評価値として上記ノイズ認識を行うようにしてもよい。これにより、周波数領域におけるノイズ認識結果に応じてノイズ除去の有無を選択させるという作用をもたらす。

また、この第１の側面において、上記ノイズ除去手段は、ノイズ帯域を除去するフィルタにより実現することができる。この場合において、上記ノイズ除去手段は、上記ノイズ認識手段において認識されたノイズの周波数に基づいて上記フィルタの除去帯域および通過帯域を適応的に変化させるようにしてもよい。

また、この第１の側面において、上記選択手段は、クロスフェードスイッチにより実現してもよい。これにより、ノイズ除去の有無を切り替える際に所定の時定数をもってクロスフェードさせるという作用をもたらす。

また、本発明の第２の側面は、周囲の複数の音声信号を入力する音声入力手段と、上記複数の音声信号に基づいて第１の方向に指向性を有する第１の指向性信号および第２の方向に指向性を有する第２の指向性信号を生成する指向性生成手段と、上記第１の指向性信号からノイズ帯域を除去するノイズ除去手段と、上記ノイズ帯域の除去された信号に対する補間を行う信号補間手段と、上記第２の指向性信号に含まれるノイズを認識するノイズ認識手段と、上記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手段と、上記ノイズ除去期間であることが示されている場合には上記信号補間手段の出力を選択し、上記ノイズ除去期間であることが示されていない場合には上記第１の指向性信号を選択する選択手段とを具備することを特徴とする収音装置であってもよい。これにより、第２の指向性信号に含まれるノイズの発生期間に応じて第１の指向性信号からのノイズ除去の有無を選択させるとともに、ノイズ除去された第１の指向性信号を補間して聴感上のマスキング効果を向上させるという作用をもたらす。

また、この第２の側面において、上記信号補間手段は、上記補間のための補間源信号を生成する補間源信号生成手段と、上記補間源信号から上記ノイズ帯域以外を除去する補間外除去手段と、上記第１の指向性信号のレベル包絡線を生成するレベル包絡線生成手段と、上記レベル包絡線に基づいて上記補間のためのレベル係数を生成するレベル係数生成手段と、上記レベル係数に基づいて上記補間外除去手段の出力を変調するレベル変調手段と、上記ノイズ除去手段の出力と上記レベル変調手段の出力とを合成して上記選択手段に出力する合成手段とを具備してもよい。この場合において、上記レベル変調手段は、さらに人間の聴覚上でマスキングされるレベルに基づいて上記補間外除去手段の出力を変調するようにしてもよい。また、上記補間源信号生成手段は、所定の波形および所定の周期からなる複数もしくは単一の周期信号、音声帯域にレベルが均一なホワイトノイズ信号、または、上記周期信号および上記ホワイトノイズ信号の所定の混合比による混合信号の何れかを生成するようにしてもよい。

また、この第２の側面において、上記信号補間手段は、上記補間のための補間源信号を生成する補間源信号生成手段と、上記補間源信号から上記ノイズ帯域以外を除去する補間外除去手段と、上記ノイズ除去手段の出力の周波数スペクトル包絡線を生成するスペクトル包絡線生成手段と、上記スペクトル包絡線に基づいて上記補間のためのスペクトル係数を生成するスペクトル係数生成手段と、上記スペクトル係数に基づいて上記補間外除去手段の出力を変調するスペクトル変調手段と、上記第１の指向性信号のレベル包絡線を生成するレベル包絡線生成手段と、上記レベル包絡線に基づいて上記補間のためのレベル係数を生成するレベル係数生成手段と、上記レベル係数に基づいて上記スペクトル変調手段の出力を変調するレベル変調手段と、上記ノイズ除去手段の出力と上記レベル変調手段の出力とを合成して上記選択手段に出力する合成手段とを具備してもよい。この場合において、上記ノイズ除去手段および上記補間外除去手段は、上記ノイズ認識手段において認識されたノイズの周波数に基づいて除去帯域および通過帯域を適応的に変化させるフィルタにより実現してもよい。

本発明によれば、収音の際に指向性を利用してノイズ発生期間を特定し、ノイズを低減させることができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における収音装置３００の一構成例を示す図である。この収音装置３００は、音声入力部３１０と、アンプ３２０と、指向性生成部３３０と、タイミング生成部３４０と、回転係数生成部３５０と、ノイズ検出部３６０と、ノイズ低減処理部３７０と、符号化処理部３８０と、記録再生部３９０とを備えている。

音声入力部３１０は、周囲の音声信号を取得して入力するものであり、例えば、複数のマイクロホンなどにより実現される。アンプ３２０は、音声入力部３１０からの音声信号を増幅して指向性生成部３３０に供給するものである。

指向性生成部３３０は、アンプ３２０を介して供給された音声入力部３１０からの音声信号に基づいて、周囲の特定の方向に対して指向性を有する指向性信号を生成するものである。指向性を有する方向については、回転係数生成部３５０から供給される回転係数に従う。この結果、複数の方向についてそれぞれ指向性を有する指向性信号が得られるが、これらのうちでノイズ認識のために用いられる指向性信号が信号線３３８を介してノイズ検出部３６０に供給され、それ以外の本来の音声信号として用いられる指向性信号が信号線３３９を介してノイズ低減処理部３７０に供給される。

タイミング生成部３４０は、指向性生成部３３０、回転係数生成部３５０、ノイズ検出部３６０およびノイズ低減処理部３７０における動作タイミングを生成するものである。このタイミング生成部３４０では、後述するアップサンプリング処理のために、１オーディオサンプリング期間「１／Ｆｓ」をｍ分割して、サンプリング期間「１／（ｍ・Ｆｓ）」毎にタイミング信号を生成する。すなわち、サンプリング周波数は、「ｍ・Ｆｓ」となる。このタイミング生成部３４０により生成されたタイミング信号は、信号線３４９を介して各部に供給される。

回転係数生成部３５０は、指向性生成部３３０において生成される指向性信号の指向性の方向を示す回転係数を生成するものである。この回転係数生成部３５０によって生成された回転係数は、信号線３５９を介して指向性生成部３３０に供給される。

ノイズ検出部３６０は、指向性生成部３３０から信号線３３８を介して供給された指向性信号からノイズを検出するものである。このノイズ検出部３６０は、ノイズが検出されると、ノイズの発生期間に応じてノイズ除去期間を示す信号を生成する。このノイズ検出部３６０によって生成されたノイズ除去期間は、信号線３６９を介してノイズ低減処理部３７０に供給される。

ノイズ低減処理部３７０は、ノイズ検出部３６０から供給されたノイズ除去期間に従って、指向性生成部３３０から供給された指向性信号に含まれるノイズを除去するものである。このノイズ低減処理部３７０によってノイズ除去の処理が施された指向性信号は、信号線３７１乃至３７６を介して符号化処理部３８０に供給される。なお、これら信号線３７１乃至３７６は、後述する５．１チャンネルサラウンド信号のそれぞれに対応するものである。

符号化処理部３８０は、ノイズ低減処理部３７０から供給された各信号について符号化（エンコード）処理を行うものである。この符号化処理部３８０によって符号化された記録ストリーム信号は、信号線３８９を介して記録再生部３９０に供給される。

記録再生部３９０は、符号化処理部３８０から供給された記録ストリーム信号を記録媒体に記録し、または、再生するものである。なお、この記録再生部３９０では、音声入力部３１０から入力された音声信号とともに映像信号を記録してもよいが、本発明の実施の形態では説明を省略する。

図２は、５．１チャンネルのサラウンド音源の配置および指向特性を示す図である。このサラウンド音源の５．１チャンネルは、収音装置３００を基準として正面方向（ＦＲＴ：Front）の指向パターン５９１、正面左方向（ＦＬ：Front Left）の指向パターン５９２、正面右方向（ＦＲ：Front Right）の指向パターン５９３、後方左方向（ＲＬ：Rear Left）の指向パターン５９４および後方右方向（ＲＲ：Rear Right）の指向パターン５９５の５チャンネルと、全指向方向の指向パターン５９６の低周波数帯域（ＬＦ：Low Frequency）の０．１チャンネルである。低周波数帯域の０．１チャンネルは、１００Ｈｚ程度以下の低音の重量感を得るためのものである。

このようなサラウンド音源を収音および記録して既存のサラウンド対応システムで再生することによりサラウンド音場が得られる。なお、上述したサラウンド音場の収音や音源作成は、制作者の制作意図やノウハウに委ねられているが、５．１チャンネルサラウンド音場再生規格ＩＴＵ（International Telecommunication Union）−Ｒ規格を意識して行われる場合が多い。この規格では、再生スピーカ配置として、正面方向（ＦＲＴ）を０度にして、正面左方向（ＦＬ）を３０度、正面右方向（ＦＲ）を３０度、後方左方向（ＲＬ）を１００乃至１２０度、後方右方向（ＲＲ）を１００乃至１２０度とすることが推奨されている。

図３は、本発明の実施の形態におけるベクトル量抽出の一例を示す図である。本発明の実施の形態では、収音装置を中心とした各方向に対して、音源としてのベクトルと、ノイズ検出のためのベクトルとが設定される。

ＦＲＴベクトル６３１は正面方向に対するベクトルであり、ＦＬベクトル６３２は正面左方向に対するベクトルであり、ＦＲベクトル６３３は正面右方向に対するベクトルであり、ＲＬベクトル６３４は後方左方向に対するベクトルであり、ＲＲベクトル６３５は後方右方向に対するベクトルである。なお、低周波数帯域の０．１チャンネルは、波長が長く、方向性をほとんど持たず大きさのみと考えられることから、スカラー量として扱うこととする。

ノイズベクトルＡおよびＦはレンズ駆動機構から生じるノイズを想定したベクトルであり、ノイズベクトルＢはグリップ部（把持部）から生じるノイズを想定したベクトルであり、ノイズベクトルＣはディスク機構から生じるノイズを想定したベクトルであり、ノイズベクトルＤはＬＣＤ（Liquid Crystal Display）モニターから生じるノイズを想定したベクトルであり、ノイズベクトルＥは各種操作スイッチから生じるノイズを想定したベクトルである。

このように各方向から入射するノイズに方向と大きさ（収音レベル）を合わせたベクトル量抽出を行うことで、そのノイズのみを認識し易くすることができる。また、音源方向とノイズ方向とが一致する場合には、音源方向のベクトル量をノイズ認識のためにも使用する。このときの収音イメージが図３における各ベクトルを囲む実線６２０となる。

図４は、本発明の実施の形態における収音装置によるポーラパターンの例を示す図である。ポーラパターンは、収音装置における各マイクロホンの全周囲方向からの感度レベルを極座標表示したものである。この図では、正面方向を０度とし、また、半径方向の感度レベルは相対的なものであり、中心を感度ゼロ点としている。

図４（ａ）は、無指向（全指向）性のポーラパターンであり、全方向に同レベルの感度特性を有している。図４（ｂ）は、１次（単一）指向性のポーラパターンであり、ある単方向に指向性をもたせる場合に使用される。この例では、０度方向に指向性を有している。図４（ｃ）は、１次指向性よりもさらに強い方向選択性を有する２次指向性のポーラパターンである。図４（ｄ）および（ｅ）は、双指向性と呼ばれるもので、ある方向およびその方向とは対極の方向に最大感度をもち、それらと９０度方向には感度ゼロを示すものである。図４（ｄ）および（ｅ）は、互いに直交した特性を有している。また、正極（＋）特性と負極（−）特性が対極し、両者は信号位相が１８０度ずれている。そして、これらの指向特性は、マイクロホン単独もしくは少数のマイクロホンの組合せ演算により生成することができる。

本発明の実施の形態では、これらマイクロホンは、音声入力部３１０として収音装置に内蔵もしくは外付けにより搭載される。そして、これらマイクロホンは、複数方向からの音声やノイズを同時に収音する。

図５は、本発明の実施の形態におけるマイクロホンの第１の配置例を示す図である。この第１の配置例では、無指向性マイクロホン４１１と、双指向性マイクロホン４１２および４１３とが配置されている。

無指向性マイクロホン４１１は、指向性を有しないマイクロホンである。双指向性マイクロホン４１２は、図４（ｄ）のように右方向および左方向の双方向に指向性を有するマイクロホンであり、無指向性マイクロホン４１１よりも相対的に正面方向に配置される。双指向性マイクロホン４１３は、図４（ｅ）のように正面方向および後方方向の双方向に指向性を有するマイクロホンであり、無指向性マイクロホン４１１よりも相対的に後方方向に配置される。尚、各マイクロホン相互の位置関係は、一例でありこれに限定されず、例えばそれぞれのマイクロホンを立体的に配置しても良い。

図６は、本発明の実施の形態による第１の配置例によるマイクロホンの音源の合成例を示す図である。この音源合成機構は、指向性生成部３３０に含まれるものであり、レベル可変部４２２および４２３と、加算合成部４２６とを備える。

レベル可変部４２２は、双指向性マイクロホン４１２から供給される横方向の双指向性信号をＫｓ倍するものである。また、レベル可変部４２３は、双指向性マイクロホン４１３から供給される縦方向の双指向性信号をＫｃ倍するものである。ここで、ＫｓおよびＫｃは、指向方向により定められる回転係数である。この回転係数については後述する。

加算合成部４２６は、無指向性マイクロホン４１１から供給される無指向性信号、レベル可変部４２２から供給される信号、および、レベル可変部４２３から供給される信号の３つの信号を加算平均処理により合成するものである。この加算合成部４２６によって合成された音源は任意の指向性を有する音源になる。

ここで、横方向の双指向性信号（図４（ｄ））を時間ｔのサイン関数ｓｉｎ（ｔ）、縦方向の双指向性信号（図４（ｅ））を時間ｔのコサイン関数ｃｏｓ（ｔ）として表すと、加算合成部４２６によって合成される音源Ｘは次式により表すことができる。なお、この式において、「１」は無指向性信号（図４（ａ））に対応する。
Ｘ＝（１＋Ｋｓ・ｓｉｎ（ｔ）＋Ｋｃ・ｃｏｓ（ｔ））／２

図７は、本発明の実施の形態における回転係数を示す図である。

回転係数Ｋｓ６１１は指向性の回転角φに応じてサインカーブを描き、回転係数Ｋｃ６１２は指向性の回転角φに応じてコサインカーブを描くものである。すなわち、回転係数Ｋｓ６１１およびＫｃ６１２は、−１から１までの範囲で指向性の回転角φに応じた実数になる。

回転角φが０度の場合、Ｋｓ＝０、Ｋｃ＝１で、双指向性マイクロホン４１３からの双指向性信号のみが加算合成部４２６に入力される。また、回転角φが４５度の場合、ＫｓおよびＫｃはともに２の平方根の逆数（≒０．７）になり、双指向性マイクロホン４１２および４１３からの双指向性信号が同レベルにより加算合成部４２６で加算平均処理され、さらに無指向性信号が加算平均処理される。この様子を表したものが図８である。

すなわち、回転角φが４５度の場合、２つの双指向性信号が同レベルにより加算平均処理されることにより、破線による逆相部分がキャンセルされ、実線による同相部分が残り、図８（ａ）における指向性５１１の信号が得られる。そして、この指向性５１１の信号と無指向性５１２の信号が加算平均処理されることによって、破線による逆相部分がキャンセルされ、実線による同相部分が残り、図８（ｂ）の回転角φが４５度の指向性５１３の信号が得られることになる。

同様に、回転角φが９０度の場合、双指向性マイクロホン４１２からの双指向性信号のみが加算合成部４２６に入力される。また、回転角φが９０乃至１８０度の場合、Ｋｃが負係数の乗算により、双指向性マイクロホン４１３からの双指向性信号の正負極性が反転して合成される。また、回転角φが１８０乃至２７０度の場合、ＫｓとＫｃが負係数の乗算により、双指向性マイクロホン４１２および４１３からの双指向性信号の正負極性が反転して合成される。また、回転角φが２７０乃至０度の場合、Ｋｓが負係数の乗算により、双指向性マイクロホン４１２からの双指向性信号の正負極性が反転して合成される。

このように、回転係数ＫｓおよびＫｃを設定することにより、任意の回転角φに指向性を有する信号を生成することができる。また、このようにして生成された信号を用いることによってサラウンド音源を生成することができる。そして、これらの音源を図３のベクトルに振り分けることにより、ノイズ検出用信号と本来の音声信号とに峻別することができる。

図９は、本発明の実施の形態におけるマイクロホンの第２の配置例を示す図である。この第２の配置例では、無指向性マイクロホン４３１乃至４３４の４つのマイクロホンが配置されている。これら無指向性マイクロホン４３１乃至４３４の間の距離は、例えば１０乃至１５ミリメートル程度である。また、無指向性マイクロホン４３１および４３３を結ぶ直線と無指向性マイクロホン４３４および４３２を結ぶ直線とが直交していればよく、相互の位置関係はこれに限定されない。

これら無指向性マイクロホン４３１乃至４３４は、何れも特定方向への指向性を有しないが、これらを組み合わせて合成することにより、任意の方向に指向性を有する信号を生成することができる。

図１０は、本発明の実施の形態による第２の配置例におけるマイクロホンの指向特性の生成例を示す図である。

無指向性マイクロホン４３１の音源から無指向性マイクロホン４３３の音源を減算して周波数特性を整えると、図１０（ａ）のような双指向性信号５０６が生成される。また、無指向性マイクロホン４３４の音源から無指向性マイクロホン４３２の音源を減算して周波数特性を整えると、図１０（ｂ）のような双指向性信号５０７が生成される。さらに、無指向性マイクロホン４３１乃至４３４の音源を任意に組み合わせて加算することにより無指向性信号が生成される。

図１１は、本発明の実施の形態による第２の配置例におけるマイクロホンの音源の合成例を示す図である。この音源合成機構は、指向性生成部３３０に含まれるものであり、加算部４４１と、減算部４４２および４４３と、レベル可変部４４４および４４５と、加算合成部４４６とを備える。

加算部４４１は、無指向性マイクロホン４３１乃至４３４の音源を全て加算平均処理することにより無指向性信号を生成するものである。減算部４４２は、無指向性マイクロホン４３４の音源から無指向性マイクロホン４３２の音源を減算して、図１０（ｂ）の横方向の双指向性信号５０７を生成するものである。減算部４４３は、無指向性マイクロホン４３１の音源から無指向性マイクロホン４３３の音源を減算して、図１０（ａ）の縦方向の双指向性信号５０６を生成するものである。

レベル可変部４４４は、図１０（ｂ）の横方向の双指向性信号５０６をＫｓ倍するものである。また、レベル可変部４４５は、図１０（ａ）の縦方向の双指向性信号５０７をＫｃ倍するものである。なお、これら方向係数ＫｃおよびＫｓは、図７により説明したものと同じものである。

加算合成部４４６は、加算部４４１から供給される無指向性信号、レベル可変部４４４から供給される信号、および、レベル可変部４４５から供給される信号の３つの信号を加算平均処理により合成するものである。この加算合成部４４６によって合成された音源は任意の指向性を有する音源になる。

この第２の配置例におけるマイクロホンの音源の合成例では、加算部４４１の出力は第１の配置例における無指向性マイクロホン４１１の出力と同等であり、減算部４４２の出力は第１の配置例における双指向性マイクロホン４１２の出力と同等であり、減算部４４３の出力は第１の配置例における双指向性マイクロホン４１３の出力と同等である。したがって、加算合成部４４６からの出力は、加算合成部４２６の出力と同等のものになる。

図１２は、本発明の実施の形態におけるマイクロホンの第３の配置例を示す図である。この第３の配置例では、単一指向性マイクロホン４５２および４５３と双指向性マイクロホン４５１の３つのマイクロホンが配置されている。尚、各マイクロホン相互の位置関係は、一例でありこれに限定されず、例えばそれぞれのマイクロホンを立体的に配置しても良い。

双指向性マイクロホン４５１は、図４（ｄ）のように右方向および左方向の双方向に指向性を有するマイクロホンである。単一指向性マイクロホン４５２は、図４（ｂ）のように正面方向に指向性を有するマイクロホンである。単一指向性マイクロホン４５３は、図４（ｂ）とは逆に後方に指向性を有するマイクロホンである。これら各マイクロホンの間の距離は、例えば１０乃至１５ミリメートル程度である。

図１３は、本発明の実施の形態による第３の配置例におけるマイクロホンの音源の合成例を示す図である。この音源合成機構は、指向性生成部３３０に含まれるものであり、レベル可変部４６１乃至４６３と、加算合成部４６６とを備える。

レベル可変部４６１は、双指向性マイクロホン４５１の音源をＫｓ倍するものである。レベル可変部４６２は、単一指向性マイクロホン４５２の音源を（１＋Ｋｃ）倍するものである。レベル可変部４６３は、単一指向性マイクロホン４５３の音源を（１−Ｋｃ）倍するものである。なお、これら方向係数ＫｃおよびＫｓは、図７により説明したものと同じものである。

加算合成部４６６は、レベル可変部４６１乃至４６３から供給される３つの信号を加算平均処理により合成するものである。この加算合成部４６６によって合成された音源は任意の指向性を有する音源になる。

ここで、縦方向の双指向性信号を時間ｔのコサイン関数ｃｏｓ（ｔ）として表すと、単一指向性マイクロホン４５２の音源は（１＋ｃｏｓ（ｔ））になる。また、単一指向性マイクロホン４５３の音源は（１−ｃｏｓ（ｔ））になる。そして、横方向の双指向性信号を時間ｔのサイン関数ｓｉｎ（ｔ）として表すと、加算合成部４６６によって合成される音源Ｙは次式により表すことができる。
Ｙ＝（（１＋Ｋｃ）・（１＋ｃｏｓ（ｔ））／２
＋（１−Ｋｃ）・（１−ｃｏｓ（ｔ））／２
＋Ｋｓ・ｓｉｎ（ｔ））／２

図１４は、本発明の実施の形態による第３の配置例におけるマイクロホンの指向特性の生成例を示す図である。

図１４（ａ）には、単一指向性マイクロホン４５２の音源の指向性５２１、単一指向性マイクロホン４５３の音源の指向性５２２、および、双指向性マイクロホン４５１の音源の指向性５２３が示されている。

加算合成部４６６によって合成される音源Ｙの式において、回転角φが０度に設定された場合、Ｋｓ＝０、Ｋｃ＝１になるため、加算合成部４６６からは単一指向性マイクロホン４５２の音源が出力される。指向性の回転角φが４５度に設定された場合、ＫｓおよびＫｃはともに２の平方根の逆数（≒０．７）になるため、加算合成部４６６において加算平均処理が行われて、図１４（ｂ）の指向性５２４のように４５度方向に単一指向性の信号が生成される。

また、指向性の回転角φが９０度に設定された場合、Ｋｓ＝１、Ｋｃ＝０になるため、レベル可変部４６２および４６３によって無指向性信号が生成され、加算合成部４６６によって双指向性マイクロホン４５１の双指向性信号と加算平均処理されることによって９０度方向に単一指向性の信号が生成される。

同様に、指向性の回転角φが９０乃至１８０度の範囲ではＫｃが負係数で合成され、指向性の回転角φが１８０乃至２７０度の範囲ではＫｓおよびｋｃが負係数で合成され、指向性の回転角φが２７０乃至０度の範囲ではＫｓが負係数で合成される。例えば、指向性の回転角φが３１５度に設定された場合、Ｋｃは２の平方根の逆数（≒０．７）になり、Ｋｓは２の平方根の逆数の負数（≒−０．７）になる。これにより、加算合成部４６６において加算平均処理が行われて、図１４（ｂ）の指向性５２５のように３１５度方向に単一指向性の信号が生成される。

なお、上述の第１乃至３の配置例では、図４（ｂ）のような単一指向性信号を得る手法について説明したが、図４（ｃ）のような２次指向性信号を生成することも可能である。この場合、合成される音源Ｚは次式により表すことができる。なお、この式において、「１」は無指向性信号（図４（ａ））に対応し、ｓｉｎ（ｔ）は横方向の双指向性信号（図４（ｄ））に対応し、ｃｏｓ（ｔ）は縦方向の双指向性信号（図４（ｅ））に対応する。
Ｚ＝（（１＋Ｋｓ・ｓｉｎ（ｔ）＋Ｋｃ・ｃｏｓ（ｔ））
・（Ｋｓ・ｓｉｎ（ｔ）＋Ｋｃ・ｃｏｓ（ｔ）））／２

この２次指向性信号によれば、さらに指向性を狭角にすることができるため、後述するノイズ検出のための各指向性信号の選択性を向上させることができる。

なお、上述の第１乃至３の配置例は説明のための例であり、各マイクロホンは相対的に近接していれば、本発明の目的の範囲内で変更可能である。例えば、これらは直線上や等間隔に並べる必要はなく、また、図９の配置例では、３つのマイクロホンでも同様に構成可能である。

図１５は、本発明の実施の形態における指向性の回転角φの例を示す図である。指向性の回転角φ（６５１）は、正面方向を０度として、時計回りに回転する指向性６５０の成す角度を表す。

上述の音源合成機構によれば、全周囲の任意の回転角φによる複数の指向性信号を合成することができる。しかし、これらの指向性信号を個別に扱うこととすると、扱うチャンネル数が増加して、処理が大規模化もしくは複雑化するおそれがある。そこで、本発明の実施の形態では、各指向性信号を単独もしくは少数のチャンネルの指向性ストリーム信号として扱うこととする。

図１６は、本発明の実施の形態における指向性ストリーム信号の内容例を示す図である。この図において、横軸は、一例として全周囲を３０度毎に分割した方向チャンネルである。この例では、回転角φが０度のＤ＿１チャンネル、回転角φが３０度のＤ＿２チャンネル、回転角φが９０度のＤ＿３チャンネルと続き、回転角φが３３０度のＤ＿ｃチャンネルに至る１２チャンネルが示されている。

また、縦軸は、オーディオサンプリング周期を表す。サンプリング周波数をＦｓとすると、オーディオサンプリング周期は「１／Ｆｓ」となる。オーディオサンプリング周期Ｔｓ＿０では、Ｄ＿１チャンネルから順にサンプリングされた指向性信号が、Ｓ（０１）、Ｓ（０２）、Ｓ（０３）の要領で順次並べられている。また、オーディオサンプリング周期Ｔｓ＿１でも、Ｄ＿１チャンネルから順にサンプリングされた指向性信号が、Ｓ（１１）、Ｓ（１２）、Ｓ（１３）の要領で順次並べられている。

このようにサンプリングされた信号を順番にスキャンニングして、１本の指向性ストリーム信号として生成したものが図１７である。この指向性ストリーム信号には時間軸および方向の両者によるベクトル成分のレベルが含まれることになる。すなわち、上述の配置例により説明した指向性パターンは、指向性方向に最も強い大きさを有するベクトル量の集合体とみなすことができ、その主軸方向を回転角φに沿って変化させることにより、各主軸方向に対して収音レベルに応じたベクトル量がオーディオサンプリング周期毎に得られる。

図１７に示すように、１つのオーディオサンプリング周期「１／Ｆｓ」においてそれぞれｍ個（ｍは整数）の方向チャンネルをサンプリングする場合、必要な指向性ストリーム信号のサンプリング周期は「１／（ｍ・Ｆｓ）」となる。例えば、図１６の例では、ｍ＝１２であるため、サンプリング周期は「１／（１２×Ｆｓ）」である。

図１８は、本発明の実施の形態における指向性生成部３３０の一構成例を示す図である。この指向性生成部３３０は、アップサンプリング部３３１と、インターポレーションフィルタ３３２と、指向性生成部３３３とを備えている。

アップサンプリング部３３１は、アンプ３２０を介して音声入力部３１０から取得した音声信号をアップサンプリングするものである。すなわち、サンプリング周波数Ｆｓでサンプリングされた音声信号は、アップサンプリング部３３１においてサンプリング周波数「ｍ・Ｆｓ」で再サンプリングされる。

インターポレーションフィルタ３３２は、アップサンプリング部３３１における再サンプリングにより発生した不要な広帯域成分（偽信号）を除去するものである。このインターポレーションフィルタ３３２は、例えばローパスフィルタ（ＬＰＦ）により実現される。

指向性生成部３３３は、インターポレーションフィルタ３３２から供給されたサンプリング周期「１／（ｍ・Ｆｓ）」の音声信号に基づいて、指向性信号を生成するものである。この指向性生成部３３３は、信号線３５９を介して回転係数生成部３５０から供給された回転係数に従って、その回転係数に対応した指向性を有する指向性信号を生成する。ここでは、ノイズ検出のための指向性信号が信号線３３８からノイズ検出部３６０に供給され、それ以外の本来の音声信号として用いられる指向性信号が信号線３３９からノイズ低減処理部３７０に供給されるものとする。

図１９は、本発明の実施の形態におけるダウンサンプリング機構の一構成例を示す図である。このダウンサンプリング機構は、ノイズ低減処理部３７０およびノイズ検出部３６０の内部に設けられるものであり、指向性方向抽出部３７１と、デシメーションフィルタ３７２と、ダウンサンプリング部３７３とを備える。

指向性方向抽出部３７１は、信号線３４９によって供給されたサンプリング周波数「ｍ・Ｆｓ」に同期したタイミングで、各指向性信号を抽出するものである。

デシメーションフィルタ３７２は、指向性方向抽出部３７１によって抽出された指向性信号において、不要な折返し成分を除去するものであり、例えばローパスフィルタ（ＬＰＦ）により実現される。

ダウンサンプリング部３７３は、デシメーションフィルタ３７２から供給された指向性信号のサンプリングレートを「１／ｍ」倍することにより、本来のサンプリング周波数Ｆｓに戻すものである。

これにより、ノイズ低減処理部３７０では、例えば、図２により説明した正面方向、正面左方向、正面右方向、後方左方向、後方右方向および低周波数帯域の５．１チャンネルのサラウンド音源に対応する指向性信号を生成することができる。また、ノイズ検出部３６０では、例えば、図３により説明したノイズベクトルに対応する指向性信号を生成することができる。

図２０は、本発明の実施の形態におけるノイズ低減機構の第１の構成例を示す図である。このノイズ低減機構には、ノイズ検出のための指向性信号が信号線１１８を介して入力されるとともに、それ以外の本来の音声信号として用いられる指向性信号が信号線１１９を介して入力されて、この指向性信号についてノイズ低減処理が行われる。

このノイズ低減機構は、補間源信号生成部１３０と、ノイズ除去フィルタ１４１と、逆フィルタ１４２と、レベルエンベロープ生成部１７１と、レベル係数生成部１７２と、レベル変調部１７３と、合成部１８０と、選択スイッチ１９０と、ノイズ認識部２１０と、ノイズ除去期間生成部２２０とを備えている。ノイズ認識部２１０およびノイズ除去期間生成部２２０はノイズ検出部３６０に含まれ、それ以外の各部はノイズ低減処理部３７０に含まれることが想定されるが、これに限定されるものではない。

ノイズ除去フィルタ１４１は、音声入力部３１０からの指向性信号からノイズ帯域を除去するフィルタである。このノイズ除去フィルタ１４１は、例えば単一もしくは複数の周波数帯域を除去対象とするＢＥＦ（Band Elimination Filter）等により実現される。このノイズ除去フィルタ１４１の出力は信号線１４９を介して合成部１８０の一方の入力に供給される。

補間源信号生成部１３０は、補間のための補間源信号を生成するものである。本発明の実施の形態では、ノイズ除去フィルタ１４１によってノイズ帯域を除去された指向性信号に対して補間信号を合成することにより、人間の聴覚上のマスキング効果を向上させる。補間源信号生成部１３０は、その補間信号の源となる補間源信号として、トーン信号およびランダム信号を適宜混合したものを出力する。この補間源信号生成部１３０の構成については後述する。

逆フィルタ１４２は、補間源信号生成部１３０によって生成された補間源信号からノイズ帯域以外を除去するフィルタである。この逆フィルタ１４２は、ノイズ除去フィルタ１４１の逆フィルタ特性を有するものであり、ノイズ除去フィルタ１４１の阻止帯域が逆フィルタ１４２の通過帯域となり、ノイズ除去フィルタ１４１の通過帯域が逆フィルタ１４２の阻止帯域となる。この逆フィルタ１４２の出力は信号線１４８を介してレベル変調部１７３に供給される。

レベルエンベロープ生成部１７１は、音声入力部３１０からの指向性信号のレベルエンベロープ（レベル包絡線）を連続的に検出するものである。このレベルエンベロープ生成部１７１の出力は信号線１７７を介してレベル係数生成部１７２に供給される。

レベル係数生成部１７２は、レベルエンベロープ生成部１７１から供給されたレベルエンベロープに基づいてレベル係数を生成するものである。このレベル係数生成部１７２の出力は信号線１７８を介してレベル変調部１７３に供給される。

レベル変調部１７３は、逆フィルタ１４２から供給された補間源信号に対して、レベル係数生成部１７２から供給されたレベル係数に応じてレベル変調を行って補間信号として出力するものである。このレベル変調部１７３の出力は信号線１７９を介して合成部１８０の一方の入力に供給される。

合成部１８０は、ノイズ除去フィルタ１４１から信号線１４９を介して供給された指向性信号とレベル変調部１７３から信号線１７９を介して供給された補間信号とを合成するものである。この合成部１８０は、例えば加算器により実現される。この合成部１８０の出力は、信号線１８９を介して選択スイッチ１９０のオン入力端子に供給される。

ノイズ認識部２１０は、音声入力部３１０からの指向性信号に含まれるノイズを認識するものである。このノイズ認識部２１０の出力は、信号線２１９を介してノイズ除去期間生成部２２０に供給される。ノイズ除去期間生成部２２０は、ノイズ認識部２１０においてノイズが認識されると、ノイズの発生期間に応じてノイズ除去期間を示す信号を生成するものである。このノイズ除去期間生成部２２０の出力は、信号線３６９を介して選択スイッチ１９０の制御端子に供給される。

選択スイッチ１９０は、ノイズ除去期間生成部２２０から信号線３６９を介して供給された信号に応じて、ノイズ除去期間であれば合成部１８０から信号線１８９を介して供給された指向性信号を選択し、ノイズ除去期間でなければ音声入力部３１０から信号線１１９を介して供給された指向性信号を選択するスイッチである。この選択スイッチ１９０の出力は、信号線１９９を介して後段の処理のために供給される。

なお、ここでは、指向性信号の１チャンネル分のノイズ低減機構の例を示しているが、実際には、必要なチャンネル数に対応する数のノイズ低減機構が設けられる。

図２１は、本発明の実施の形態において利用するマスキング現象を説明するための図である。人間の聴覚は、大きな騒音の中では人の声が聞き取りにくくなるように、相対的に大きな音の陰にあるような小さな音の存在に気が付かないようになっている。このような現象はマスキング現象と呼ばれ、周波数成分、音圧レベル、および、持続時間などの条件に依存することが知られている。この聴覚マスキング現象は周波数マスキングと時間マスキングに大別され、さらに時間マスキングは同時マスキングと非同時マスキング（継時マスキング）に分けられる。このマスキング現象は、例えばＣＤ（コンパクトディスク）などにおいて、オーディオ信号を１／５乃至１／１０程度に圧縮する高能率符号化として応用されるようになっている。

図２１では、横方向に時間経過が示され、縦方向に時間ごとの信号レベルの絶対値が示されている。図２１（ａ）のように、信号Ａが所定レベルで入力し、無信号のギャップ期間を挟んで信号Ｂが所定レベルで入力した場合、人間の聴感レベルは図２１（ｂ）のように模式的に示される。すなわち、人間の聴感では、信号Ａが消えた後でも信号Ａのパターンが領域９１のように暫くの間は感度が低下しながらも残存する。このような現象は前方（順向）マスキングと呼ばれ、この期間には別の音が存在しても人間の聴感上は聞き取れなくなる。また、信号Ｂが入力する直前にも、領域９２のように同様の感度低下が発生する。これは後方（逆向）マスキングと呼ばれ、この期間に別の音が存在しても人間の聴感上は聞き取れなくなる。

通常は、後方マスキング量に対して前方マスキング量の方が大きく、時間的には条件にも左右されるが、最大で数百ｍＳ程度発生する。そしてある条件下においては、図２１（ａ）のギャップ期間は数ミリ秒乃至数十ミリ秒程度が聴感上で認知されず、信号Ａと信号Ｂが連続音として聞こえる現象が発生する。このような現象は、Ｒ．Ｐｌｏｍｐのギャップ検出についての研究論文（１９６３）、三浦の研究論文（ＪＡＳ．Ｊｏｕｒｎａｌ ９４．１１月号）、さらに聴覚心理学概論（Ｂ．Ｃ．Ｊ．ムーア著、大串健吾監訳、誠信書房、第４章／聴覚系の時間分解能）にも示されているように、以下の特性を有することが知られている。

（第１特性）：信号Ａと信号Ｂの周波数帯域に相関性があればギャップ長は大きくなる。また、周波数的に信号Ａと信号Ｂの連続性が保たれていればギャップ長は大きくなる。
（第２特性）：単一正弦波信号よりも、帯域信号の方が、ギャップ長は大きくなる。
（第３特性）：信号Ａと信号Ｂのレベルが同じ場合、信号レベルが小さい程ギャップ長は大きくなり、ある程度以上に信号レベルが大きくなるとギャップ長は変化しない。
（第４特性）：信号Ａよりも信号Ｂのレベルが小さい方が、ギャップ長は大きくなる。
（第５特性）：信号に含まれる中心周波数が低い程ギャップ長は大きくなり、中心周波数が高くなる程ギャップ長が小さくなる。

本発明の実施の形態においては、レベル係数生成部１７２がこれら５つの特性を鑑みて、補間のためのレベル係数を生成する。例えば、レベル係数生成部１７２は、音声レベルが小さい場合にギャップ期間を長くし（第３特性）、また、音声レベルが時間的に上昇傾向にある場合よりも下降傾向の場合にギャップ期間をより長くする（第４特性）。

図２２は、本発明の実施の形態における補間源信号生成部１３０の一構成例を示す図である。この補間源信号生成部１３０は、トーン信号発生部１３１と、ホワイトノイズ信号発生部１３２と、混合部１３３とを備えている。

トーン信号発生部１３１は、所定周期の単一もしくは複数の正弦波やパルス波などで構成されるトーン信号を発生するものである。このトーン信号は、周波数特性上、所定周波数に単一もしくは複数のピークを有する。

ホワイトノイズ信号発生部１３２は、音声帯域の全帯域にレベルが均一なホワイトノイズ信号（ランダム信号）を発生するものである。このホワイトノイズ信号発生部１３２は、例えば、Ｍ系列の乱数発生器などにより実現される。

混合部１３３は、トーン信号発生部１３１の発生したトーン信号とホワイトノイズ信号発生部１３２の発生したホワイトノイズ信号とを所定の混合比により混合した混合信号を補間源信号として出力するものである。この混合部１３３の出力は信号線１３９を介して逆フィルタ１４２に供給される。

なお、上記所定の混合比は、ノイズ除去フィルタ１４１のノイズ除去帯域特性に応じて適宜設定される。但し、何れか一方をゼロとして、トーン信号のみ、または、ホワイトノイズ信号のみを補間源信号として出力してもよい。

図２３は、本発明の実施の形態におけるノイズ除去フィルタ１４１および逆フィルタ１４２の周波数特性例を示す図である。ここでは、横方向に周波数、縦方向にフィルタの通過信号レベルを示している。

図２３（ａ）は、ノイズ除去フィルタ１４１の周波数特性例であり、ここでは、除去帯域の中心周波数としてｆａ、ｆｂおよびｆｃの３つを有するフィルタであることが示されている。一方、図２３（ｂ）は、逆フィルタ１４２の周波数特性例であり、ノイズ除去フィルタ１４１とは逆に、中心周波数ｆａ、ｆｂおよびｆｃを通過帯域として有するフィルタであることが示されている。

すなわち、この例では、中心周波数ｆａ、ｆｂおよびｆｃをノイズ帯域として、ノイズ除去フィルタ１４１ではノイズ帯域を除去帯域として扱い、逆フィルタ１４２ではノイズ帯域を通過帯域として扱っていることが分かる。

図２４は、本発明の実施の形態におけるレベルエンベロープ生成部１７１の一構成例を示す図である。このレベルエンベロープ生成部１７１は、絶対値生成部１７４と、平滑化部１７５とを備えている。

絶対値生成部１７４は、信号線１１９を介して供給される指向性信号の絶対値を生成するものである。平滑化部１７５は、絶対値生成部１７４によって絶対値化された指向性信号から低域成分を抽出して平滑化するものであり、例えば、ローパスフィルタ（ＬＰＦ）によって実現される。この平滑化により、瞬時ノイズのような急激なレベル変化による影響を取り除くことができる。

図２５は、本発明の実施の形態におけるレベルエンベロープ生成部１７１による処理過程の一例を示す図である。図２５（ａ）は、信号線１１９を介してレベルエンベロープ生成部１７１に供給される指向性信号（音声信号）の波形例である。この指向性信号は、絶対値生成部１７４によって絶対値化されることにより、図２５（ｂ）のような波形になる。

そして、図２５（ｂ）の波形を有する絶対値化された指向性信号は、平滑化部１７５によって平滑化されることにより、図２５（ｃ）に示す太線のような包絡線になる。

このようにして生成されたレベルエンベロープに基づいてレベル係数生成部１７２によりレベル係数が生成され、このレベル係数によってレベル変調部１７３を制御することにより、補間信号が生成される。

図２６は、本発明の実施の形態における補間信号の一例を示す図である。この例では、レベルエンベロープ生成部１７１によって生成されたレベルエンベロープに基づいて信号Ａと信号Ｂとの間の周波数の連続性を維持するように補正信号２１を生成している。これにより、上述の第１特性によって、ギャップ長を大きくすることができる。

図２７は、本発明の実施の形態における補間信号の他の例を示す図である。この例では、図２１（ｂ）に示した前方マスキングおよび後方マスキングと信号Ｂとの間の不足分ΔＳを補うための補正信号２２を生成している。これにより、聴感上でギャップが感じられないようにしている。すなわち、この図２７の例では、図２６の例のように信号Ａと信号Ｂとの間の連続性を確保するものではなく、あくまでも聴感上でギャップ期間がマスキングされるようにレベル補間をしている。

図２８は、本発明の実施の形態におけるノイズ認識部２１０の一構成例を示す図である。図２８（ａ）は時間領域でノイズを認識するものであり、図２８（ｂ）は周波数領域でノイズを認識するものである。

図２８（ａ）の構成例では、ノイズ認識部２１０は、フレーム生成部２１１と、ノイズパターンマッチング部２１２と、ノイズパターン保持部２１３とを備えている。

フレーム生成部２１１は、信号線１１９を介して供給された指向性信号を所定時間毎にフレーム化するものである。ここで、フレームとは複数のオーディオサンプリング信号からなるデータ列である。フレーム化されたＮ個（Ｎは整数）のオーディオサンプリング信号Ｓ（ｎ）はノイズパターンマッチング部２１２に供給される。但し、ｎは１からＮの整数を表す。

ノイズパターン保持部２１３は、ノイズパターンＷ（ｎ）を保持するメモリである。このノイズパターン（ウェーブレットとも呼ばれる）は、さらにａおよびｂの関数Ｗ（（ｎ−ｂ）／ａ）として、ノイズパターン保持部２１３から読み出される。ここで、ａはスケールパラメータ（但し、ａ＞０）であり、この値が小さいと低い周波数成分のノイズ認識に対応する。一方、スケールパラメータが大きいと高い周波数成分のノイズ認識に対応する。また、ｂはシフトパラメータであり、ノイズパターンとの間のパターンマッチングの際のシフト位置（時間）を表す。ウェーブレットは信号の平均値が０で、時間０の周りに局在する関数であるが、本発明の実施の形態においては、実際のノイズ波形に近似する関数を予め選択して、ノイズパターン保持部２１３に保持しておくものとする。

ノイズパターンマッチング部２１２は、フレーム生成部２１１によってフレーム化された指向性信号Ｓ（ｎ）と、ノイズパターン保持部２１３に保持されているノイズパターンＷ（ｎ）とａおよびｂを変えながら畳込み演算を行うことにより、指向性信号に存在するノイズを評価するものである。この場合の評価値Ｅｔは次式により算出される。

すなわち、評価値Ｅｔは、音声信号Ｓ（ｎ）の中にノイズパターンＷ（ｎ）がどの程度含まれるかを示す指標であり、フレーム毎の指向性信号Ｓ（ｎ）にノイズが存在する場合には評価値Ｅｔは大きくなり、ノイズと相関が少ない場合には評価値Ｅｔがゼロに近づくようになる。

図２８（ｂ）の構成例では、ノイズ認識部２１０は、フレーム生成部２１４と、フーリエ変換部２１５と、ノイズパターンマッチング部２１６と、ノイズパターン保持部２１７とを備えている。

フレーム生成部２１４は、フレーム生成部２１１と同様に、信号線１１９を介して供給された指向性信号を所定時間毎にフレーム化するものである。フーリエ変換部２１５は、フレーム生成部２１４によってフレーム化された指向性信号をＦＦＴ（Fast Fourier Transform）によりフーリエ変換して、時間信号から周波数信号Ｆ（ｎ）に変換するものである。

ノイズパターン保持部２１７は、ノイズパターンＰ（ｎ）を保持するメモリである。このノイズパターン保持部２１７に保持されるノイズパターンＰ（ｎ）は、ノイズ発生時の周波数分布をモデル化したものである。

ノイズパターンマッチング部２１６は、フーリエ変換部２１５により変換された指向性信号Ｆ（ｎ）と、ノイズパターン保持部２１３に保持されているノイズパターンＰ（ｎ）との相関度を求めることにより、指向性信号に存在するノイズを評価するものである。この場合の評価値Ｅｆは次式により算出される。

ここで、Ｎは１フレーム内のＦＦＴポイント数である。すなわちｎが１〜Ｎでノイズパターンと指向性信号の相似度が高い場合には、評価値Ｅｆは１に近づくため、所定の閾値以上であれば両者のパターンはほぼ一致していると認識することができる。

このようにしてノイズが認識された場合、ノイズ除去期間生成部２２０は、そのノイズ発生の始点および終点により定められる期間をノイズ除去期間として生成する。ここでは、時間領域および周波数領域のそれぞれでノイズを認識する手法について説明したが、これらを組み合わせることによりさらに認識率を向上させることができる。

なお、複数種類のノイズを想定する場合には、上述のノイズパターン保持部２１３およびノイズパターン保持部２１７において、複数種類のノイズに対応するノイズパターンを保持しておいて、それぞれのノイズを認識することになる。

図２０の例では、選択スイッチ１９０として単純な切替スイッチを想定して説明したが、これは例えば以下のようなクロスフェードスイッチにより実現してもよい。

図２９は、本発明の実施の形態における選択スイッチ１９０の一例としてのクロスフェードスイッチ１９１の構成例を示す図である。このクロスフェードスイッチ１９１は、アッテネータ１９２および１９３と、制御係数生成部１９４と、係数反転部１９５と、合成部１９６とを備えている。

アッテネータ１９２および１９３は、入力信号を制御係数に応じて減衰させる減衰器である。アッテネータ１９２の制御係数は制御係数生成部１９４から供給され、アッテネータ１９３の制御係数は係数反転部１９５から供給される。

制御係数生成部１９４は、信号線２２９を介して供給されるノイズ除去期間に基づいてアッテネータ１９２の制御係数を生成するものである。係数反転部１９５は、制御係数生成部１９４の出力を反転するものである。すなわち、アッテネータ１９２および１９３の制御係数は互いに反転したものとなる。

合成部１９６は、アッテネータ１９２および１９３の出力を合成するものであり、例えば加算器により実現される。

図３０は、本発明の実施の形態におけるクロスフェードスイッチ１９１の波形信号例を示す図である。信号線２２９に図３０（ａ）のような信号３１が入力された場合、制御係数生成部１９４の出力信号は信号３２のように所定の時定数をもってクロスフェードする。一方、係数反転部１９５の出力信号は、信号３２の反転信号３３であり、同様に所定の時定数をもってクロスフェードする。したがって、オーバーシュートやリンギングの発生を防ぐことができる。また、アッテネータ１９２および１９３の出力の切替えの際の波形の不連続性を聴感上で吸収することができ、マスキング効果に有利に働くというメリットがある。

図３１は、本発明の実施の形態におけるクロスフェードスイッチ１９１を用いた場合の補間信号の例を示す図である。レベル変調部１７３において図２６のような補間信号が出力されたとすると、クロスフェードスイッチ１９１を用いた場合には、図３１のように信号ＡおよびＢと補間信号との間の遷移においてクロスフェードされ、滑らかな切替えを実現することができる。

図３２は、本発明の実施の形態におけるノイズ低減機構の第２の構成例を示す図である。このノイズ低減機構には第１の構成例と同様に、ノイズ検出のための指向性信号が信号線１１８を介して入力されるとともに、それ以外の本来の音声信号として用いられる指向性信号が信号線１１９を介して入力されて、この指向性信号についてノイズ低減処理が行われる。

この第２の構成例では、第１の構成例に加えて、ノイズ除去フィルタ１４３と、スペクトルエンベロープ生成部１６１と、スペクトル係数生成部１６２と、可変フィルタ１６３とをさらに備えている。これらはノイズ低減処理部３７０に含まれることが想定されるが、これに限定されるものではない。

ノイズ除去フィルタ１４３は、ノイズ除去フィルタ１４１と同様に、音声入力部３１０からの指向性信号からノイズ帯域を除去するフィルタである。このノイズ除去フィルタ１４３の出力はスペクトルエンベロープ生成部１６１に供給される。なお、このノイズ除去フィルタ１４３はノイズ除去フィルタ１４１と共通化することが可能であり、その場合にはノイズ除去フィルタ１４１の出力をスペクトルエンベロープ生成部１６１に供給することになる。

スペクトルエンベロープ生成部１６１は、音声入力部３１０からの指向性信号の周波数スペクトルのエンベロープ（スペクトル包絡線）を連続的に検出するものである。このスペクトルエンベロープ生成部１６１では、ＦＦＴや複数の帯域分割により指向性信号（音声信号）の周波数毎のレベルを検出することにより、周波数スペクトルが検出される。このスペクトルエンベロープ生成部１６１の出力はスペクトル係数生成部１６２に供給される。

スペクトル係数生成部１６２は、スペクトルエンベロープ生成部１６１から供給されたスペクトルエンベロープに基づいてスペクトル係数を生成するものである。このスペクトル係数生成部１６２では、スペクトルエンベロープ生成部１６１において検出された周波数スペクトルを再現するようにスペクトル係数が生成される。このスペクトル係数生成部１６２の出力は、信号線１６８を介して可変フィルタ１６３に供給される。

可変フィルタ１６３は、逆フィルタ１４２から供給された補間源信号に対して、スペクトル係数生成部１６２から供給されたスペクトル係数に応じて周波数変調を行うものである。これにより、レベル変調部１７３におけるレベル変調だけでなく、周波数成分でも連続的に補間を行うため、第１特性によってギャップ長をさらに大きくすることができる。

なお、この第２の構成例において、選択スイッチ１９０をクロスフェードスイッチ１９１に置き換えることができる点についても第１の構成例と同様である。

図３３は、本発明の実施の形態におけるノイズ低減機構の第３の構成例を示す図である。このノイズ低減機構には第１および第２の構成例と同様に、ノイズ検出のための指向性信号が信号線１１８を介して入力されるとともに、それ以外の本来の音声信号として用いられる指向性信号が信号線１１９を介して入力されて、この指向性信号についてノイズ低減処理が行われる。

この第３の構成例では、第２の構成例に加えて遅延部１２０が備えられ、この遅延部１２０によって所定時間の遅延が施された出力がノイズ除去フィルタ１４１、１４３およびレベルエンベロープ生成部１７１に供給されている。また、ノイズ認識部２１０からの信号線１５７が可変フィルタブロック１４０に供給されている。この可変フィルタブロック１４０は、ノイズ除去フィルタ１４１、逆フィルタ１４２およびノイズ除去フィルタ１４３を含むブロックである。

この第３の構成例におけるノイズ認識部２１０は、認識したノイズについて周波数を検出して、可変フィルタブロック１４０にフィードバックするようにしている。ノイズ周波数の検出方法としては、図２８（ａ）の時間領域におけるノイズ認識の際には、ノイズパターンが最も一致したスケールパラメータａからノイズ周波数を算出することができる。また、図２８（ｂ）の周波数領域におけるノイズ認識の際には、フーリエ変換部２１５からのノイズピーク周波数を検出することでノイズ周波数を算出することができる。

ノイズ認識部２１０からフィードバックされたノイズ周波数は、可変フィルタブロック１４０の各フィルタにおいて通過帯域または阻止帯域の調整のために用いられる。これにより、例えば、図２３における中心周波数ｆａ、ｆｂおよびｆｃを、ノイズ周波数に合わせて適応的に変化させることによって、ノイズ周波数の変動や、複数のノイズ発生源からの連続的なノイズに対して効果的に対応することができる。

この第３の構成例では、ノイズ認識部２１０以外に対する指向性信号の供給は遅延部１２０を介して行われるため、ノイズ認識の結果に応じて通過帯域または阻止帯域をリアルタイムに調整することができる。

なお、この第３の構成例において、選択スイッチ１９０をクロスフェードスイッチ１９１に置き換えることができる点についても第１および第２の構成例と同様である。

次に本発明の実施の形態における撮像装置の動作について図面を参照して説明する。

図３４は、本発明の実施の形態による収音装置３００におけるノイズ低減方法の基本的な処理手順例を示す図である。この処理手順例は、上述の第１乃至第３の各構成例に共通のものである。

まず、ノイズ認識部２１０においてノイズ認識処理が行われる（ステップＳ９１０）。これにより、ノイズ除去期間生成部２２０ではノイズ除去期間が生成される。そして、ノイズ除去期間に該当する場合には（ステップＳ９２０）、選択スイッチ１９０によってノイズ除去フィルタ１４１から信号線１４９を介して供給された指向性信号が選択される（ステップＳ９３０）。一方、ノイズ除去期間に該当しない場合には（ステップＳ９２０）、音声入力部３１０から信号線１１９を介して供給された指向性信号が選択される（ステップＳ９４０）。以上の処理が繰り返される。

このように、本発明の実施の形態によれば、指向性生成部３３０において生成された指向性信号に基づいてノイズ検出部３６０においてノイズ検出を行い、その結果に従って指向性信号についてノイズ低減処理部３７０においてノイズ除去を行うことができる。ノイズ検出部３６０においてノイズに用いられる指向性信号はノイズベクトルに対応するものであり、効率的にノイズを検出することができる。また、ノイズ低減処理部３７０では、ノイズ認識部２１０において認識されたノイズからノイズ除去期間を特定し、ノイズ除去期間にはノイズ除去フィルタ１４１によってノイズ除去された信号を選択して、それ以外の期間にはノイズ除去されない指向性信号を選択するように選択スイッチ１９０を制御することにより、人間の聴感を考慮したノイズ低減処理を実現することができる。また、本発明の実施の形態によれば、ノイズ除去期間において補間信号を合成することにより、長時間継続するノイズも低減することができる。

なお、本発明の実施の形態では、指向性信号をスキャンニング処理して記録ストリーム信号を生成し、また、アップサンプリング処理およびダウンサンプリング処理によりサンプリング周波数を変更する例について説明したが、これらの処理を行うことなく、各指向性信号を個別に扱うようにしてもよい。

また、本発明の実施の形態では、５．１チャンネルサラウンド信号を想定した例について説明したが、本発明はこれに限定されるものではなく、適宜チャンネル数を増減させた場合であっても本発明の目的を逸脱しない範囲で同様に実施可能である。

また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１において、音声入力手段は例えば音声入力部３１０に対応する。また、指向性生成手段は例えば指向性生成部３３０に対応する。また、ノイズ除去手段は例えばノイズ除去フィルタ１４１に対応する。また、ノイズ認識手段は例えばノイズ認識部２１０に対応する。また、ノイズ除去期間生成手段は例えばノイズ除去期間生成部２２０に対応する。また、選択手段は例えば選択スイッチ１９０に対応する。

また、請求項２において、双指向性マイクロホンは例えば双指向性マイクロホン４１２および４１３に対応する。また、無指向性マイクロホンは例えば無指向性マイクロホン４１１に対応する。

また、請求項３において、無指向性マイクロホンは例えば無指向性マイクロホン４３１乃至４３４に対応する。

また、請求項４において、単一指向性マイクロホンは例えば単一指向性マイクロホン４５２および４５３に対応する。また、双指向性マイクロホンは例えば双指向性マイクロホン４５１に対応する。

また、請求項５において、回転係数生成手段は例えば回転係数生成部３５０に対応する。

また、請求項１１において、音声入力手段は例えば音声入力部３１０に対応する。また、指向性生成手段は例えば指向性生成部３３０に対応する。また、ノイズ除去手段は例えばノイズ除去フィルタ１４１に対応する。また、信号補間手段は例えば補間源信号生成部１３０、逆フィルタ１４２、ノイズ除去フィルタ１４３、スペクトルエンベロープ生成部１６１、スペクトル係数生成部１６２、可変フィルタ１６３、レベルエンベロープ生成部１７１、レベル係数生成部１７２、レベル変調部１７３および合成部１８０の少なくとも一部の組合せに対応する。また、ノイズ認識手段は例えばノイズ認識部２１０に対応する。また、ノイズ除去期間生成手段は例えばノイズ除去期間生成部２２０に対応する。また、選択手段は例えば選択スイッチ１９０に対応する。

また、請求項１２において、補間源信号生成手段は例えば補間源信号生成部１３０に対応する。また、補間外除去手段は例えば逆フィルタ１４２に対応する。また、レベル包絡線生成手段は例えばレベルエンベロープ生成部１７１に対応する。また、レベル係数生成手段は例えばレベル係数生成部１７２に対応する。また、レベル変調手段は例えばレベル変調部１７３に対応する。また、合成手段は例えば合成部１８０に対応する。

また、請求項１５において、補間源信号生成手段は例えば補間源信号生成部１３０に対応する。また、補間外除去手段は例えば逆フィルタ１４２に対応する。また、スペクトル包絡線生成手段は例えばスペクトルエンベロープ生成部１６１に対応する。また、スペクトル係数生成手段は例えばスペクトル係数生成部１６２に対応する。また、スペクトル変調手段は例えば可変フィルタ１６３に対応する。また、レベル包絡線生成手段は例えばレベルエンベロープ生成部１７１に対応する。また、レベル係数生成手段は例えばレベル係数生成部１７２に対応する。また、レベル変調手段は例えばレベル変調部１７３に対応する。また、合成手段は例えば合成部１８０に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における収音装置３００の一構成例を示す図である。 ５．１チャンネルのサラウンド音源の配置および指向特性を示す図である。 本発明の実施の形態におけるベクトル量抽出の一例を示す図である。 本発明の実施の形態における収音装置によるポーラパターンの例を示す図である。 本発明の実施の形態におけるマイクロホンの第１の配置例を示す図である。 本発明の実施の形態による第１の配置例によるマイクロホンの音源の合成例を示す図である。 本発明の実施の形態における回転係数を示す図である。 本発明の実施の形態による第１の配置例におけるマイクロホンの指向特性の一例を示す図である。 本発明の実施の形態におけるマイクロホンの第２の配置例を示す図である。 本発明の実施の形態による第２の配置例におけるマイクロホンの指向特性の生成例を示す図である。 本発明の実施の形態による第２の配置例におけるマイクロホンの音源の合成例を示す図である。 本発明の実施の形態におけるマイクロホンの第３の配置例を示す図である。 本発明の実施の形態による第３の配置例におけるマイクロホンの音源の合成例を示す図である。 本発明の実施の形態による第３の配置例におけるマイクロホンの指向特性の生成例を示す図である。 本発明の実施の形態における指向性の回転角φの例を示す図である。 本発明の実施の形態における指向性ストリーム信号の内容例を示す図である。 本発明の実施の形態における指向性ストリーム信号とサンプリング周期の関係を示す図である。 本発明の実施の形態における指向性生成部３３０の一構成例を示す図である。 本発明の実施の形態におけるダウンサンプリング機構の一構成例を示す図である。 本発明の実施の形態におけるノイズ低減機構の第１の構成例を示す図である。 本発明の実施の形態において利用するマスキング現象を説明するための図である。 本発明の実施の形態における補間源信号生成部１３０の一構成例を示す図である。 、本発明の実施の形態におけるノイズ除去フィルタ１４１および逆フィルタ１４２の周波数特性例を示す図である。 本発明の実施の形態におけるレベルエンベロープ生成部１７１の一構成例を示す図である。 本発明の実施の形態におけるレベルエンベロープ生成部１７１による処理過程の一例を示す図である。 本発明の実施の形態における補間信号の一例を示す図である。 本発明の実施の形態における補間信号の他の例を示す図である。 本発明の実施の形態におけるノイズ認識部２１０の一構成例を示す図である。 本発明の実施の形態における選択スイッチ１９０の一例としてのクロスフェードスイッチ１９１の構成例を示す図である。 本発明の実施の形態におけるクロスフェードスイッチ１９１の波形信号例を示す図である。 本発明の実施の形態におけるクロスフェードスイッチ１９１を用いた場合の補間信号の例を示す図である。 本発明の実施の形態におけるノイズ低減機構の第２の構成例を示す図である。 本発明の実施の形態におけるノイズ低減機構の第３の構成例を示す図である。 本発明の実施の形態による収音装置３００におけるノイズ低減方法の基本的な処理手順例を示す図である。

符号の説明

３００ 収音装置
３１０ 音声入力部
３２０ アンプ
３３０ 指向性生成部
３３１ アップサンプリング部
３３２ インターポレーションフィルタ
３３３ 指向性生成部
３４０ タイミング生成部
３５０ 回転係数生成部
３６０ ノイズ検出部
３７０ ノイズ低減処理部
３７１ 指向性方向抽出部
３７２ デシメーションフィルタ
３７３ ダウンサンプリング部
３８０ 符号化処理部
３９０ 記録再生部
４１１ 無指向性マイクロホン
４１２、４１３ 双指向性マイクロホン
４２２、４２３ レベル可変部
４２６ 加算合成部
４３１〜４３４ 無指向性マイクロホン
４４１ 加算部
４４２、４４３ 減算部
４４４、４４５ レベル可変部
４４６ 加算合成部
４５１ 双指向性マイクロホン
４５２、４５３ 単一指向性マイクロホン
４６１〜４６３ レベル可変部
４６６ 加算合成部
５０６、５０７ 双指向性信号

Claims (16)

1. 周囲の複数の音声信号を入力する音声入力手段と、
   前記複数の音声信号に基づいて第１の方向に指向性を有する第１の指向性信号および第２の方向に指向性を有する第２の指向性信号を生成する指向性生成手段と、
   前記第１の指向性信号からノイズ帯域を除去するノイズ除去手段と、
   前記第２の指向性信号に含まれるノイズを認識するノイズ認識手段と、
   前記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手段と、
   前記ノイズ除去期間であることが示されている場合には前記ノイズ除去手段の出力を選択し、前記ノイズ除去期間であることが示されていない場合には前記第１の指向性信号を選択する選択手段と
   を具備することを特徴とする収音装置。
2. 前記音声入力手段は、複数の双指向性マイクロホンと、１つの無指向性マイクロホンとを備えることを特徴とする請求項１記載の収音装置。
3. 前記音声入力手段は、複数の無指向性マイクロホンを備えることを特徴とする請求項１記載の収音装置。
4. 前記音声入力手段は、複数の単一指向性マイクロホンと、１つの双指向性マイクロホンとを備えることを特徴とする請求項１記載の収音装置。
5. 所定の方向を示す回転係数を生成する回転係数生成手段をさらに具備し、
   前記指向性生成手段は、前記回転係数の示す方向が前記第１の方向であれば前記第１の指向性信号を生成し、前記回転係数の示す方向が前記第２の方向であれば前記第２の指向性信号を生成することを特徴とする請求項１記載の収音装置。
6. 前記ノイズ認識手段は、前記ノイズに波形近似した所定期間における平均値がゼロであるウェーブレット信号と前記第２の指向性信号との畳込み演算による出力を評価値として前記ノイズ認識を行うことを特徴とする請求項１記載の収音装置。
7. 前記ノイズ認識手段は、前記ノイズの周波数スペクトルに近似したパターン信号とフーリエ変換された前記第２の指向性信号との相関性を評価値として前記ノイズ認識を行うことを特徴とする請求項１記載の収音装置。
8. 前記ノイズ除去手段は、ノイズ帯域を除去するフィルタであることを特徴とする請求項１記載の収音装置。
9. 前記ノイズ除去手段は、前記ノイズ認識手段において認識されたノイズの周波数に基づいて前記フィルタの除去帯域および通過帯域を適応的に変化させることを特徴とする請求項８記載の収音装置。
10. 前記選択手段は、クロスフェードスイッチであることを特徴とする請求項１記載の収音装置。
11. 周囲の複数の音声信号を入力する音声入力手段と、
    前記複数の音声信号に基づいて第１の方向に指向性を有する第１の指向性信号および第２の方向に指向性を有する第２の指向性信号を生成する指向性生成手段と、
    前記第１の指向性信号からノイズ帯域を除去するノイズ除去手段と、
    前記ノイズ帯域の除去された信号に対する補間を行う信号補間手段と、
    前記第２の指向性信号に含まれるノイズを認識するノイズ認識手段と、
    前記認識されたノイズの発生期間に応じてノイズ除去期間を示す信号を生成するノイズ除去期間生成手段と、
    前記ノイズ除去期間であることが示されている場合には前記信号補間手段の出力を選択し、前記ノイズ除去期間であることが示されていない場合には前記第１の指向性信号を選択する選択手段と
    を具備することを特徴とする収音装置。
12. 前記信号補間手段は、
    前記補間のための補間源信号を生成する補間源信号生成手段と、
    前記補間源信号から前記ノイズ帯域以外を除去する補間外除去手段と、
    前記第１の指向性信号のレベル包絡線を生成するレベル包絡線生成手段と、
    前記レベル包絡線に基づいて前記補間のためのレベル係数を生成するレベル係数生成手段と、
    前記レベル係数に基づいて前記補間外除去手段の出力を変調するレベル変調手段と、
    前記ノイズ除去手段の出力と前記レベル変調手段の出力とを合成して前記選択手段に出力する合成手段と
    を具備することを特徴とする請求項１１記載の収音装置。
13. 前記レベル変調手段は、さらに人間の聴覚上でマスキングされるレベルに基づいて前記補間外除去手段の出力を変調することを特徴とする請求項１２記載の収音装置。
14. 前記補間源信号生成手段は、所定の波形および所定の周期からなる複数もしくは単一の周期信号、音声帯域にレベルが均一なホワイトノイズ信号、または、前記周期信号および前記ホワイトノイズ信号の所定の混合比による混合信号の何れかを生成することを特徴とする請求項１２記載の収音装置。
15. 前記信号補間手段は、
    前記補間のための補間源信号を生成する補間源信号生成手段と、
    前記補間源信号から前記ノイズ帯域以外を除去する補間外除去手段と、
    前記ノイズ除去手段の出力の周波数スペクトル包絡線を生成するスペクトル包絡線生成手段と、
    前記スペクトル包絡線に基づいて前記補間のためのスペクトル係数を生成するスペクトル係数生成手段と、
    前記スペクトル係数に基づいて前記補間外除去手段の出力を変調するスペクトル変調手段と、
    前記第１の指向性信号のレベル包絡線を生成するレベル包絡線生成手段と、
    前記レベル包絡線に基づいて前記補間のためのレベル係数を生成するレベル係数生成手段と、
    前記レベル係数に基づいて前記スペクトル変調手段の出力を変調するレベル変調手段と、
    前記ノイズ除去手段の出力と前記レベル変調手段の出力とを合成して前記選択手段に出力する合成手段と
    を具備することを特徴とする請求項１１記載の収音装置。
16. 前記ノイズ除去手段および前記補間外除去手段は、前記ノイズ認識手段において認識されたノイズの周波数に基づいて除去帯域および通過帯域を適応的に変化させるフィルタであることを特徴とする請求項１５記載の収音装置。

Images