JP6041244B2 - 音響処理装置および音響処理方法 - Google Patents

Description

本発明は、少なくとも２つの収音器から出力される収音信号に対して指向性合成処理を行う、音響処理装置および音響処理方法に関する。

従来、複数のマイクロホンからの収音信号に対して指向性合成処理を行うことにより、指向性収音を可能にした機器が存在する。指向性収音を可能にした機器は、例えば、収音機器を備えた遠隔会議システム、デジタルビデオカメラ、あるいはデジタルスチルカメラ（ＤＳＣ：Digital Still Camera）等である。

このような指向性収音が可能な機器（以下、「収音機器」ともいう）において、指向性合成処理を行う装置部（以下、「音響処理装置」という）は、指向性合成処理に音波の位相差を利用する。このため、音響処理装置は、収音信号に対する遅延処理を必要とする。その遅延処理に用いられる遅延量は、音響端子間距離に基づいて設定される。音響端子間距離とは、収音を行う２つの端子（ここではマイクロホン、以下「収音器」ともいう）間の音響的な距離を指す。より具体的には、音響端子間距離は、音源が端子間を結ぶ直線軸上に存在する場合に、端子間の音波の到達時間差に音速を乗じたものを指す。

誤った遅延量を用いて遅延処理が行われた場合は、意図した指向性パターン（以下、適宜、「指向特性」あるいは「ポーラパターン」という）を得られないことがある。したがって、遅延量は、実際の音響端子間距離に相当する適正値である必要がある。音響処理装置は、実際の音響端子間距離に相当する遅延量を設定することにより、例えば、音声収音の際に、発話音声などの特定の方向からの音声を、周囲の騒音などを抑圧した状態で収音することを可能にする。

ところが、実際の音響端子間距離は、マイクロホンが組み込まれる筐体など端子周辺の構造物による影響により、端子間の実測距離（機構的な設計値）からずれることがある。この場合、音響処理装置は、不適切な遅延量を用いてしまうおそれがある。

そこで、例えば、特許文献１に記載の技術（以下「従来技術」という）には、適切な遅延量を設定するための技術が記載されている。

従来技術は、まず、４つのマイクロホンのうち、音響端子間距離が既知である２つのマイクロホンの収音信号から、当該既知の音響端子間距離に基づいて、音源の位置を推定する。そして、従来技術は、他のマイクロホンの収音信号から、推定した音源の位置に基づいて、当該他のマイクロホンの位置を推定する。具体的には、従来技術は、音源の位置から計算される音響端子間距離が未知である２つのマイクロホン間の遅延量と、かかる遅延量の実測値との間の２乗誤差とが減少するように、音源位置および各マイクロホンの位置の推定値を調整する。

例えば、音源は、無響室において、収音機器の２つのマイクロホンを結ぶ直線上の方向（以下「軸方向」という）のうちの１方向の所定の位置に、配置される。そして、上述の従来技術を適用して、２乗誤差が最小となるようにマイクロホンの位置の推定値が、調整される。これにより、従来技術を適用した音響処理装置は、音源方向の角度および指向性合成処理の遅延量から、実際の音響端子間距離を精度良く推定し、任意の指向性パターンを精度良く実現することができる。

特開２００７−８１４５５号公報 国際公開第０９／０４４５６２号

ここで、従来技術を適用した音響処理装置が、遠隔会議システムの収音機器に使用され、当該収音機器が、机などの大きな個体物に埋め込まれることを想定する。

このような場合、音響端子間距離を正確に求める、すなわち、遅延量推定を正しく行うためには、個体物を無響室に運んで測定する必要があり、測定が煩雑となる。

また、マイクロホンアレイの性能を維持するために、マイクの取り付け構造自体を制限することは、取り付け側の構造物や機器のデザイン等に対して制約となりうる。

また、マイクロホンの周辺に、物を置いたり手をかざしたりするだけでも、音響的な環境が変化し、指向特性が安定しない傾向がある。

また、遅延量の適正値を、例えば特許文献１から算出しようとすると、音源の方向を推定する必要があるが、相関などの従来手法を用いた場合、会議室のような音響的反射や周囲雑音がある実環境では、誤動作が発生する。

また、音響処理装置に対する音源の位置は、常に一定とは限らず、音源位置が変化したり、複数音源が同時に存在するような状況下では、音源方向探査の追従性が悪くなり、遅延推定を正しく行うことが困難である。つまり、従来技術では、マイクロホンの取り付け構造や取り付け位置、およびマイクロホン周囲の構造物等に、音響的な変化が生じると、正しい遅延推定ができなくなるという課題がある。

したがって、このような音響処理装置では、音響的な変化が生じた場合でも、任意の指向性パターンを精度良く実現し、より簡単に必要とする音を高品質で取得できることが望まれる。すなわち、実環境において、遅延量の調整を正確に行うことが可能な技術が望まれる。

本発明の目的は、マイクロホンの取り付け構造や取り付け位置、およびマイクロホン周囲の構造物等に、音響的な変化が生じても、実環境において、遅延量の調整を正確に行うことである。

本発明の一態様に係る音響処理装置は、第１の収音器から出力される第１の収音信号および第２の収音器から出力される第２の収音信号に対して、指向性合成処理を行う音響処理装置であって、前記第１の収音信号に対して前記第２の収音信号を遅延させて合成した第１の指向性収音信号を生成し、前記第２の収音信号に対して前記第１の収音信号を遅延させて合成した第２の指向性収音信号を生成する指向性合成処理部と、前記第１の指向性収音信号と前記第２の指向性収音信号とを加算して得られる信号のレベルを示す無指向性レベル信号と、前記第１の指向性収音信号のレベルを示す第１のレベル信号と前記第２の指向性収音信号のレベルを示す第２のレベル信号とを加算して得られる指向性レベル信号と、を生成する比較信号算出部と、前記無指向性レベル信号と前記指向性レベル信号とのレベル差異を取得するレベル比較部と、前記レベル差異が小さくなるように、前記指向性合成処理部における前記遅延の量を調整する遅延操作部とを有する。

本発明の一態様に係る音響処理方法は、第１の収音器から出力される第１の収音信号および第２の収音器から出力される第２の収音信号に対して、指向性合成処理を行う音響処理装置における音響処理方法であって、前記第１の収音信号に対して前記第２の収音信号を遅延させて合成した第１の指向性収音信号を生成し、前記第２の収音信号に対して前記第１の収音信号を遅延させて合成した第２の指向性収音信号を生成する指向性合成処理部から、前記第１の指向性収音信号および前記第２の指向性収音信号を取得するステップと、前記第１の指向性収音信号と前記第２の指向性収音信号とを加算して得られる信号のレベルを示す無指向性レベル信号を生成するステップと、前記第１の指向性収音信号のレベルを示す第１のレベル信号と前記第２の指向性収音信号のレベルを示す第２のレベル信号とを加算して得られる指向性レベル信号を生成するステップと、前記無指向性レベル信号と前記指向性レベル信号とのレベル差異を取得するステップと、前記レベル差異が小さくなるように、前記指向性合成処理部における前記遅延の量を調整するステップとを有する。

本発明は、マイクロホンの取り付け構造や取り付け位置、およびマイクロホン周囲の構造物等に、音響的な変化が生じても、実空間で、音響端子間距離を正確に求めることができる。

本発明の実施の形態１に係る音響処理装置の構成の一例を示すブロック図 本発明の実施の形態２に係る、音響処理装置を含む収音機器の構成の一例を示すブロック図 本発明の実施の形態２における、第１の指向性収音信号の周波数振幅特性のシミュレーション結果を示す図 本発明の実施の形態２における、第２の指向性収音信号の周波数振幅特性のシミュレーション結果を示す図 本発明の実施の形態２における、方向の定義を示す図 本発明の実施の形態２における、第２の遅延器の遅延量が小さい場合の第１の指向性収音信号のポーラパターンのシミュレーション結果を示す図 本発明の実施の形態２における、第２の遅延器の遅延量が適正値である場合の第１の指向性収音信号のポーラパターンのシミュレーション結果を示す図 本発明の実施の形態２における、第２の遅延器の遅延量が大きい場合の第１の指向性収音信号のポーラパターンのシミュレーション結果を示す図 本発明の実施の形態２における、第２の遅延器の遅延量が小さい場合の無指向性レベル信号のポーラパターンおよび指向性レベル信号のポーラパターンのシミュレーション結果を示す図 本発明の実施の形態２における、第２の遅延器の遅延量が適正値である場合の無指向性レベル信号のポーラパターンおよび指向性レベル信号のポーラパターンのシミュレーション結果を示す図 本発明の実施の形態２における、第２の遅延器の遅延量が大きい場合の無指向性レベル信号のポーラパターンおよび指向性レベル信号のポーラパターンのシミュレーション結果を示す図 本発明の実施の形態２における、遅延量とレベル差異との関係に対する感度誤差の影響を示す図 本発明の実施の形態２における、残留ゲイン誤差とレベル差異との関係を示す図 本発明の実施の形態２に係る音響処理装置の動作の一例を示すフローチャート 本発明の実施の形態３に係る音響処理装置を含む収音機器の構成の一例を示すブロック図 本発明の実施の形態３に係る音響処理装置の動作の一例を示すフローチャート 本発明の実施の形態４に係る音響処理装置の構成の一例を示すブロック図 本発明の実施の形態４における、指定された指向性パターンを得るためのマイクロホンと入射角度θの関係の一例を示す図 本発明の実施の形態４に係る音響処理装置の動作の一例を示すフローチャート 本発明の実施の形態５に係る音響処理装置の構成の一例を示すブロック図 本発明の実施の形態５における、指定された指向性パターンを得るためのマイクロホンと指定された方向角度θの関係の一例を示す図 本発明の実施の形態５に係る音響処理装置の動作の一例を示すフローチャート

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係る音響処理装置の構成の一例を示すブロック図である。

図１において、音響処理装置４００は、第１の収音器（図示せず）から出力される第１の収音信号および第２の収音器（図示せず）から出力される第２の収音信号に対して、指向性合成処理を行う装置である。音響処理装置４００は、指向性合成処理部４１０、比較信号算出部４４０、レベル比較部４５１、および遅延操作部４５２を有する。

指向性合成処理部４１０は、第１の収音信号に対して第２の収音信号を遅延させて合成した第１の指向性収音信号を生成する。すなわち、指向性合成処理部４１０は、第１の収音信号に対して第２の収音信号を遅延させて合成することにより、第１の収音器側の方向である第１の方向に指向性を持たせるようにする。

また、指向性合成処理部４１０は、第２の収音信号に対して第１の収音信号を遅延させて合成した第２の指向性収音信号を生成する。すなわち、指向性合成処理部４１０は、第２の収音信号に対して第１の収音信号を遅延させて合成することにより、第２の収音器側の方向である第２の方向に指向性を持たせるようにする。

比較信号算出部４４０は、第１の指向性収音信号と第２の指向性収音信号とを加算して得られる信号のレベルを示す無指向性レベル信号を生成する。また、比較信号算出部４４０は、第１の指向性収音信号のレベルを示す第１のレベル信号と、第２の指向性収音信号のレベルを示す第２のレベル信号とを加算して得られる指向性レベル信号を生成する。

レベル比較部４５１は、無指向性レベル信号と指向性レベル信号とのレベル差異を取得する。

遅延操作部４５２は、レベル差異が小さくなるように、指向性合成処理部４１０における遅延の量を調整する。

音響処理装置４００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）などの記憶媒体、およびＲＡＭ（Random Access Memory）などの作業用メモリを有する。この場合、上記した各部の機能は、例えば、ＣＰＵが制御プログラムを実行することにより実現される。

このように音響処理装置４００は、少なくとも一方の収音器側の方向に指向性を持たせた指向性収音信号に対して、位相反転が生じなくなるように遅延量を調整する。

このような指向性収音信号に位相反転が生じていないということは、遅延量に対応する音響端子間距離が、実際の音響端子間距離よりも短すぎないということである。したがって、音響処理装置４００は、位相反転が生じない最小値に遅延の量を調整することにより、任意の指向性パターンを精度良く実現することが可能となり、必要とする音を高品質で取得することができる。言い換えると、本実施の形態に係る音響処理装置４００は、音響端子間距離を正しく算出して、収音信号の処理を行うことができる。

また、音響処理装置４００は、具体的には、無指向性レベル信号と指向性レベル信号とのレベル差異が小さくなるように、遅延量の調整を調整する。これにより、音響処理装置４００は、簡単に、位相反転が生じなくなるように遅延量を調整することができる。また、この調整は、軸方向になんらかの音源が存在すれば可能である。したがって、音響処理装置４００は、より簡単に、任意の指向性パターンを精度良く実現することができ、より簡単に、必要とする音（音声、音響）を高品質で取得することができる。

また、音響処理装置４００は、上記遅延量の調整により、遅延量の調整を正確に行うことができる。これにより、音響処理装置４００は、マイクロホンおよびその周囲の構造物等の、音響的な変化が生じて、音響端子間距離が変化しても、実環境において、簡単に、位相反転が生じなくなるように遅延量を調整することができる。また、この調整は、軸方向になんらかの音源が存在すれば可能である。したがって、音響処理装置４００は、マイクロホンの取り付け構造や取り付け位置、およびマイクロホン周囲の構造物等に、音響的な変化が生じても、実環境において、遅延量の調整を正確に行うことができる。

（実施の形態２）
本発明の実施の形態２は、本発明を、２個のマイクロホンを備えたデジタルカメラなどの収音機器に適用した場合の具体的態様の一例である。

本実施の形態において、収音機器は、２つのマイクロホンを結ぶ直線上の両側方向（軸方向）に伸びるカーディオイド（cardioid）の指向特性で、ステレオ収音を行うものである。

なお、一般のステレオマイクは、減算部出力に、低域を増幅するための周波数特性補正部（等価器）を設ける。しかし、回路ノイズが重畳して遅延補正処理に悪影響を及ぼすことから、ここでは、周波数特性補正部を省略した構成について説明する。また、以下に説明する音響処理装置の各部は、例えば、収音機器の筐体の内部に配置された２つのマイクロホンと、ＣＰＵと、制御プログラムを格納したＲＯＭなどの記憶媒体とを含むハードウェアにより実現される。

＜収音機器の構成＞
まず、本実施の形態に係る音響処理装置を含む収音機器の構成について説明する。

図２は、本実施の形態に係る音響処理装置を含む収音機器の構成の一例を示すブロック図である。

図２において、収音機器１００は、第１のマイクロホン２００、第２のマイクロホン３００、および、本実施の形態に係る音響処理装置４００を有する。第１のマイクロホン２００、第２のマイクロホン３００、および音響処理装置４００は、例えば、収音機器１００の筐体（図示せず）の内部に配置されている。また、第１のマイクロホン２００と第２のマイクロホン３００とは、異なる位置に、互いに距離を置いて配置されている。

第１のマイクロホン２００は、無指向性マイクロホン（第１の収音器）である。第１のマイクロホン２００は、収音を行い、収音信号を出力する。以下、第１のマイクロホン２００が出力する収音信号は、「第１の収音信号」という。

第２のマイクロホン３００は、無指向性マイクロホン（第２の収音器）である。第２のマイクロホン３００は、収音を行い、収音信号を出力する。以下、第２のマイクロホン３００が出力する収音信号は、「第２の収音信号」という。

なお、本実施の形態において、第１のマイクロホン２００と第２のマイクロホン３００との間の実際の音響端子間距離は、１０ｍｍ（ミリメートル）であるものとする。これは、初期において未知の値である。

音響処理装置４００は、第１の収音信号および第２の収音信号を入力する。そして、音響処理装置４００は、第１の収音信号および第２の収音信号に対して指向性合成処理を行う。

より具体的には、音響処理装置４００は、指向性合成処理部４１０、第１の信号出力部４２１、第２の信号出力部４２２、第１の帯域制限部４３１、第２の帯域制限部４３２、比較信号算出部４４０、レベル比較部４５１、および遅延操作部４５２を有する。

指向性合成処理部４１０は、第１の収音信号に対して第２の収音信号を遅延させて合成することにより、第１の収音器側の方向である第１の方向に指向性を持たせた第１の指向性収音信号を生成する。また、指向性合成処理部４１０は、第２の収音信号に対して第１の収音信号を遅延させて合成することにより、第２の収音器側の方向である第２の方向に指向性を持たせた第２の指向性収音信号を生成する。すなわち、指向性合成処理部４１０は、第１の収音信号および第２の収音信号から、軸方向に対になるような指向特性となる、２つの指向性収音信号を生成する。

より具体的には、指向性合成処理部４１０は、第１の遅延器４１１、第２の遅延器４１２、第１の加算器４１３、および第２の加算器４１４を有する。

第１の遅延器４１１は、第１の収音信号を入力する。そして、第１の遅延器４１１は、第１の収音信号を遅延させた第１の遅延収音信号を出力する。

第２の遅延器４１２は、第２の収音信号を入力する。そして、第２の遅延器４１２は、第２の収音信号を遅延させた第２の遅延収音信号を出力する。

なお、第１の遅延収音信号の第１の収音信号に対する遅延量、および、第２の遅延収音信号の第２の収音信号に対する遅延量は、それぞれ、後述の遅延操作部４５２により調整可能となっている。

第１の加算器４１３は、第１の収音信号および極性を反転させた第２の遅延収音信号を入力する。そして、第１の加算器４１３は、第１の収音信号と極性を反転させた第２の遅延収音信号とを加算し、加算結果である第１の指向性収音信号を出力する。

第２の加算器４１４は、第２の収音信号および極性を反転させた第１の遅延収音信号を入力する。そして、第２の加算器４１４は、第２の収音信号と極性を反転させた第１の遅延収音信号とを加算して、加算結果である第２の指向性収音信号を出力する。

第１の信号出力部４２１は、第１の指向性収音信号を入力し、音響処理装置４００の外部へ出力する。

第２の信号出力部４２２は、第２の指向性収音信号を入力し、音響処理装置４００の外部へ出力する。

第１の帯域制限部４３１は、第１の指向性収音信号を入力する。そして、第１の帯域制限部４３１は、第１の指向性収音信号に対して帯域制限を行って得られた信号を、比較信号算出部４４０へ出力する。すなわち、第１の帯域制限部４３１は、比較信号算出部４４０に入力される第１の指向性収音信号に対して、遅延の量を変化させても空間エイリアジング（aliasing)が生じない周波数帯域への帯域制限を行う。

第２の帯域制限部４３２は、第２の指向性収音信号を入力する。そして、第２の帯域制限部４３２は、帯域制限を行って得られた信号を、比較信号算出部４４０へ出力する。すなわち、第２の帯域制限部４３２は、比較信号算出部４４０に入力される第２の指向性収音信号に対して、遅延の量を変化させても空間エイリアジングが生じない周波数帯域への帯域制限を行う。

なお、これらの帯域制限は、空間エイリアジング現象が遅延量調整に悪影響を及ぼすのを防ぐために行われる。空間エイリアジングは、指向性合成処理を行う際に、比較的高い周波数の入射波の位相干渉によって発生するものであり、意図しない方向に指向性ゲインを持つ現象である。

帯域制限の手法は、特定のものに限定されない。かかる帯域制限は、例えば、時間領域のフィルタリングを行うバンドパスフィルタにより実現することができる。あるいは、かかる帯域制限では、一定のサンプル数ごとにオーバーラップさせながら窓掛けを行い、ＦＦＴ（Fast Fourier Transform）による周波数分解を行う。更に、帯域制限は、所望の周波数に対応した複素スペクトル信号を抽出することにより実現することができる。第１の帯域制限部４３１および第２の帯域制限部４３２における制限周波数帯域の詳細については、後述する。

比較信号算出部４４０は、第１の帯域制限部４３１により帯域制限が行われた後の第１の指向性収音信号と、第２の帯域制限部４３２により帯域制限が行われた後の第２の指向性収音信号とを入力する。

以下、第１の帯域制限部４３１により帯域制限が行われた後の第１の指向性収音信号は、「帯域制限された第１の指向性収音信号」という。また、第２の帯域制限部４３２により帯域制限が行われた後の第２の指向性収音信号は、「帯域制限された第２の指向性収音信号」という。

そして、比較信号算出部４４０は、帯域制限された第１の指向性収音信号および帯域制限された第２の指向性収音信号から、無指向性レベル信号と指向性レベル信号という２種類のレベル信号を生成して出力する。

無指向性レベル信号は、帯域制限された第１の指向性収音信号と帯域制限された第２の指向性収音信号とを加算して得られる信号のレベルを示す信号である。指向性レベル信号は、帯域制限された第１の指向性収音信号のレベルを示す第１のレベル信号と、帯域制限された第２の指向性収音信号のレベルを示す第２のレベル信号とを加算して得られる信号である。

より具体的には、比較信号算出部４４０は、第３の加算器４４１、第１のレベル信号算出部４４２、第２のレベル信号算出部４４３、第３のレベル信号算出部４４４、および第４の加算器４４５を有する。

第３の加算器４４１は、帯域制限された第１の指向性収音信号および帯域制限された第２の指向性収音信号を入力する。そして、第３の加算器４４１は、帯域制限された第１の指向性収音信号と帯域制限された第２の指向性収音信号とを加算する。

第１のレベル信号算出部４４２は、第３の加算器４４１の出力信号を入力する。そして、第１のレベル信号算出部４４２は、第３の加算器４４１の出力信号からレベル情報を抽出して、第３の加算器４４１の出力信号を無指向性レベル信号に変換する。

第２のレベル信号算出部４４３は、帯域制限された第１の指向性収音信号を入力する。そして、第２のレベル信号算出部４４３は、帯域制限された第１の指向性収音信号からレベル情報を抽出して、帯域制限された第１の指向性収音信号を第１のレベル信号に変換する。

第３のレベル信号算出部４４４は、帯域制限された第２の指向性収音信号を入力する。そして、第３のレベル信号算出部４４４は、帯域制限された第２の指向性収音信号からレベル情報を抽出して、帯域制限された第２の指向性収音信号を第２のレベル信号に変換する。

第４の加算器４４５は、第１のレベル信号および第２のレベル信号を入力する。そして、第４の加算器４４５は、第１のレベル信号と第２のレベル信号とを加算して、加算結果である指向性レベル信号を出力する。

なお、第１〜第３のレベル信号算出部４４２〜４４４は、入力する信号がバンドパスフィルタの出力のような波形信号の場合、入力信号の絶対値あるいは二乗値を、レベル情報としてそれぞれ抽出する。

また、第１〜第３のレベル信号算出部４４２〜４４４は、入力する信号がＦＦＴなどによる複素スペクトル信号の場合、入力信号の振幅スペクトルあるいは入力信号のパワスペクトルを、レベル情報としてそれぞれ抽出する。

１つの周波数ビンの複素スペクトル信号を入力する場合、第１〜第３のレベル信号算出部４４２〜４４４は、振幅スペクトルやパワスペクトルをそのままレベル情報として抽出すればよい。また、複数帯域の周波数スペクトル信号を入力する場合、第１〜第３のレベル信号算出部４４２〜４４４は、周波数ビンごとの振幅の平均値、あるいは、周波数ビンごとのパワスペクトルの平均値を、レベル情報として抽出すればよい。

レベル比較部４５１は、無指向性レベル信号および指向性レベル信号を入力し、これらの間のレベル差異を取得する。レベル差異は、例えば、無指向性レベル信号と指向性レベル信号とのレベル比、あるいは、無指向性レベル信号と指向性レベル信号との差である。

遅延操作部４５２は、レベル差異が小さくなるように、指向性合成処理部４１０における第１の遅延器４１１および第２の遅延器４１２の遅延量を調整する。具体的には、遅延操作部４５２は、第１の遅延器４１１および第２の遅延器４１２の遅延量を、それぞれ、十分に小さい値から段階的に増大させていく。そして、遅延操作部４５２は、レベル差異が所定の値となったときの遅延量で、第１の遅延器４１１および第２の遅延器４１２の遅延量を固定する。遅延量と第１の指向性収音信号との関係、並びに、レベル差異およびその基準となる所定の値の詳細については、後述する。

以上で、収音機器１００の構成についての説明を終える。

＜指向性収音信号の周波数振幅特性＞
次に、第１の帯域制限部４３１および第２の帯域制限部４３２における制限周波数帯域の詳細について説明する。かかる帯域制限は、上述の通り、エイリアジング現象の遅延量調整への影響を低減するために行われるものである。

図３は、第１の指向性収音信号の周波数振幅特性のシミュレーション結果を示す図である。また、図４は、第２の指向性収音信号の周波数振幅特性のシミュレーション結果を示す図である。

ここでは、軸方向のうち第１のマイクロホン２００側の方向に音源を配置した状態で、遅延量を６ｍｍ相当遅延量、１０ｍｍ相当遅延量、および１４ｍｍ相当遅延量に変化させた場合の、各周波数における出力レベルを示す。

６ｍｍ相当遅延量は、音響端子間距離６ｍｍに対応する遅延量であり、実際の音響端子間距離に相当する値（以下「適正値」という）よりも小さい値である。１０ｍｍ遅延量は、音響端子間距離１０ｍｍに対応する遅延量であり、適正値である。１４ｍｍ相当遅延量は、音響端子間距離１４ｍｍに対応する遅延量であり、適正値よりも大きい値である。

図３において、線５１１〜５１４は、順に、２ｍｍ相当遅延量、６ｍｍ相当遅延量、１０ｍｍ相当遅延量、および１４ｍｍ相当遅延量のそれぞれにおける、第１の指向性収音信号の周波数振幅特性を示す。

また、図４において、線５２１〜５２４は、順に、２ｍｍ相当遅延量、６ｍｍ相当遅延量、１０ｍｍ相当遅延量、および１４ｍｍ相当遅延量のそれぞれにおける、第２の指向性収音信号の周波数振幅特性を示す。

なお、第１のマイクロホン２００および第２のマイクロホン３００は、感度補正された状態で使用されるが、実使用では、残留感度誤差の含有を避けることは困難である。したがって、ここでは、第２の収音信号が、第１の収音信号に対して、−０.０８７ｄＢ（０.９９倍）のマイクロホン出力の感度誤差を含む場合を例として示している。

この場合、音は、軸方向のうち第１のマイクロホン２００側の方向から到来する。したがって、適正値である第２の遅延量が設定された場合、図４の線５２３に示すように、第２の指向性収音信号の出力レベルは、周波数によらず振幅値換算でゼロに近い値となる。ここでは、マイク間の感度差の影響で、対数振幅が−４０ｄＢを示している。一方、適正値ではない第１あるいは第３の遅延量が設定された場合、図４の線５２１、５２２、５２４に示すように、第２の指向性収音信号の出力レベルは、高周波数帯域のほとんど全てにおいて、高い値となる。

ところが、第１の指向性収音信号の出力レベルには、図３の線５１１〜５１４に示すように、高周波数帯域のうち最も高域の帯域（７ｋＨｚ以上）において、空間エイリアジングの影響による特性の乱れ（出力レベルの落ち込み）が発生する。空間エイリアジングは、マイクロホン間距離や調整遅延値の範囲などが関係する。

軸方向のうち第２のマイクロホン３００側に音源を配置した場合には、第２の指向性収音信号の出力レベルにも同様のことが発生し得る。

このため、音響処理装置４００は、遅延処理の対象となる信号を、第１の帯域制限部４３１および第２の帯域制限部４３２において、ポーラパターンに乱れが生じない周波数帯域に制限する。

図３および図４に示した、軸方向に音源を配置した例は、音響端子間距離が最大となる条件、つまり、周波数制限の条件が最も厳しくなる条件に相当する。したがって、第１の帯域制限部４３１および第２の帯域制限部４３２における制限周波数帯域は、軸方向に音源を配置したときに生じる空間エイリアジングの影響が低減されるように設定されることが望ましい。言い換えると、制限周波数帯域は、後段の信号比較が好適に行われるような範囲に、設定されることが望ましい。したがって、通過帯域は、周波数が上昇するにつれて出力レベルが上昇する周波数領域のうち、空間的エイリアジングが生じない周波数領域に設定される。

以上で、第１の帯域制限部４３１および第２の帯域制限部４３２における制限周波数帯域の詳細についての説明を終える。

＜遅延量と指向性パターン特性との関係＞
次に、遅延量と第１の指向性収音信号（および第２の指向性収音信号）との関係について説明する。

図５は、以降の説明における方向の定義を示す図である。

方向の定義は、図５に示すように、第１のマイクロホン２００と第２のマイクロホン３００とを結ぶ直線上の方向である軸方向のうち、第１のマイクロホン２００側の方向を０°（度）として行う。そして、角度の定義は、通常使用状態において上からみて時計回りで行う。

なお、第１のマイクロホン２００のマイク感度と第２のマイクロホン３００のマイク感度は、等しいものとする。

図６〜図８は、第２の遅延器４１２の遅延量を変化させた場合の、第１の指向性収音信号のポーラパターン（指向性パターン）のシミュレーション結果を示す図である。

図６は、第２の遅延器４１２の遅延量が８ｍｍ相当遅延量である場合のポーラパターンを示す。図７は、第２の遅延器４１２の遅延量が１０ｍｍ相当遅延量（つまり適正値）である場合のポーラパターンを示す。図８は、第２の遅延器４１２の遅延量が１２ｍｍ相当遅延量ある場合のポーラパターンを示す。

図６において、線５６１〜５６４は、順に、５００Ｈｚ（ヘルツ）、１０００Ｈｚ、４０００Ｈｚ、１２０００Ｈｚのそれぞれにおける、第１の指向性収音信号のポーラパターンを示す。

図７において、線５７１〜５７４は、順に、５００Ｈｚ、１０００Ｈｚ、４０００Ｈｚ、１２０００Ｈｚのそれぞれにおける、第１の指向性収音信号のポーラパターンを示す。

図８において、線５８１〜５８４は、順に、５００Ｈｚ、１０００Ｈｚ、４０００Ｈｚ、１２０００Ｈｚのそれぞれにおける、第１の指向性収音信号のポーラパターンを示す。

図６の線５６１〜５６４に示すように、第２の遅延器４１２の遅延量が適正値よりも小さい場合、ポーラパターンは、０°方向に伸びるメインローブ５６５の他に、１８０°方向に伸びるサイドローブ５６６を伴う。すなわち、指向特性は、後述のカーディオイド特性とは異なったものとなる。なお、サイドローブ５６６の位相は、メインローブ５６５の位相に対して反転した状態となる。このような負の位相を持つサイドローブは、以下、「負のローブ」という。

図７の線５７１〜５７４に示すように、第２の遅延器４１２の遅延量が適正値である場合、ポーラパターンは、負のローブがなくメインローブのみとなる。そして、なおかつ、メインローブの１８０°方向の値は、振幅値換算でほぼゼロ（対数振幅換算で−∞）となる。

図８の線５８１〜５８４に示すように、第２の遅延器４１２の遅延量が適正値よりも大きい場合、ポーラパターンは、負のローブがなくメインローブのみとなる。しかし、メインローブの１８０°方向の値は、振幅値換算でゼロ（対数振幅換算で−∞）とはならない。

図９〜図１１は、第１の遅延器４１１の遅延量および第２の遅延器４１２の遅延量を変化させた場合における、１ｋＨｚについての無指向性レベル信号のポーラパターンおよび指向性レベル信号のポーラパターンのシミュレーション結果を示す。

なお、ここでは、第１の遅延器４１１の遅延量と第２の遅延器４１２の遅延量とは、同一の値が設定されるものとし、単に「遅延量」という。

図９は、第２の遅延器４１２の遅延量が、８ｍｍ相当遅延量である場合のポーラパターンを示す。図１０は、第２の遅延器４１２の遅延量が、１０ｍｍ相当遅延量（つまり適正値）である場合のポーラパターンを示す。図１１は、第２の遅延器４１２の遅延量が、１２ｍｍ相当遅延量ある場合のポーラパターンを示す。

図９において、線６１１〜６１４は、順に、第１の指向性収音信号のポーラパターン、第２の指向性収音信号のポーラパターン、指向性レベル信号のポーラパターン、無指向性レベル信号のポーラパターンを示す。

図１０において、線６２１〜６２４は、順に、第１の指向性収音信号のポーラパターン、第２の指向性収音信号のポーラパターン、指向性レベル信号のポーラパターン、無指向性レベル信号のポーラパターンを示す。

図１１において、線６３１〜６３４は、順に、第１の指向性収音信号のポーラパターン、第２の指向性収音信号のポーラパターン、指向性レベル信号のポーラパターン、無指向性レベル信号のポーラパターンを示す。

図９の線６１１、６１２に示すように、遅延量が適正値よりも小さい場合、第１の指向性収音信号および第２の指向性収音信号には、負のローブが存在する。したがって、図９の線６１３、６１４に示すように、指向性レベル信号のポーラパターンと、無指向性レベル信号のポーラパターンとの間には、乖離が発生し、その乖離は軸方向（０°および１８０°）で最大となる。

図１０の線６２１、６２２に示すように、遅延量が適正値である場合、第１の指向性収音信号および第２の指向性収音信号には、負のローブが存在しない。したがって、図１０の線６２３、６２４に示すように、指向性レベル信号のポーラパターンと、無指向性レベル信号のポーラパターンとは、全方向に亘って一致する。

図１１の線６３１、６３２に示すように、遅延量が適正値よりも大きい場合も第１の指向性収音信号および第２の指向性収音信号には、負のローブが存在しない。したがって、図１１の線６３３、６３４に示すように、指向性レベル信号のポーラパターンと、無指向性レベル信号のポーラパターンとは、全方向に亘って一致する。但し、第１の指向性収音信号および第２の指向性収音信号は、カーディオイド特性から、若干、無指向寄りの指向特性となる。

以上で、遅延量と第１の指向性収音信号（および第２の指向性収音信号）との関係についての説明を終える。

＜遅延量とレベル差異との関係＞
次に、レベル差異およびその基準となる所定の値について説明する。

上述の図６〜図８から明らかなように、音響端子間距離相当以上の遅延量を第２の遅延器４１２に与えれば、実質的に、負のローブは、発生しないことになる。また、より小さい遅延量を第２の遅延器４１２に与えれば、より鋭い指向性が維持されることになる。逆にいえば、負のローブが発生しない範囲内で、できるだけ小さい値の遅延量が、第２の遅延器４１２の遅延量の適正値といえる。

そして、負のローブが発生しているか否かは、図９〜図１１から明らかなように、無指向性レベル信号と指向性レベル信号とが一致するか否かに基づいて、判断することができる。

そこで、音響処理装置４００は、軸方向になんらかの音源が存在する状態で、遅延量を、想定される音響端子間距離の最小値に対応する値よりも十分に小さい値から段階的に増大させてく。そして、音響処理装置４００は、無指向性レベル信号と指向性レベル信号とが一致した時点で、遅延量を固定する。これにより、音響処理装置４００は、遅延量を、実際の音響端子間距離に相当する適正値に設定することができる。

具体的には、遅延量が増加する各段階において、レベル比較部４５１は、無指向性レベル信号と指向性レベル信号とのレベル比を用いる場合、レベル差異ｃｍｐ＿ｉｎｆを、例えば、以下の式（１）を用いて算出する。ここで、ｓｕｍ＿ａｂｓは、指向性レベル信号の値を示し、ｏｍｎｉ＿ａｂｓは、無指向性レベル信号の値を示す。そして、遅延操作部４５２は、レベル差異ｃｍｐ＿ｉｎｆがゼロとなったとき、遅延量を固定する。

なお、レベル比較部４５１は、無指向性レベル信号と指向性レベル信号とのレベル差を用いる場合、レベル差異ｃｍｐ＿ｉｎｆを、例えば、以下の式（２）を用いて算出する。

指向性レベル信号の値ｓｕｍ＿ａｂｓと無指向性レベル信号の値ｏｍｎｉ＿ａｂｓとが一致することは、第１の指向性収音信号の指向特性および第２の指向性収音信号の指向特性の両方に、負のローブが存在しないことと同義である。すなわち、指向性レベル信号の値ｓｕｍ＿ａｂｓと無指向性レベル信号の値ｏｍｎｉ＿ａｂｓとが一致することは、全ての周波数ωおよび全ての方向（音の入射角）θについて、以下の式（３）および式（４）が満たされることと等価である。ここで、Ａ（ω，θ）は、第１の指向性収音信号の出力特性を示し、Ｂ（ω，θ）は、第２の指向性収音信号の出力特性Ｂ（ω）を示す。また、ｓｇｎ（）は、括弧内の値の符号を示す。

既に図２に示したように、指向性合成処理部４１０の構成は、式（３）の左辺に相当する無指向性レベル信号と、式（３）の右辺に相当する指向性レベル信号とを生成する構成となっている。

一方で、第１のマイクロホン２００および第２のマイクロホン３００には、実際には感度誤差がある。このため、遅延量が適正値であっても、無指向性レベル信号と指向性レベル信号とが完全には一致しないことが多い。感度誤差の要因としては、例えば、第１のマイクロホン２００と第２のマイクロホン３００との間の感度差や、第１の収音信号と第２の収音信号と間に存在する無相関ノイズが挙げられる。無相関ノイズは、例えば、回路ノイズ、風雑音、あるいは振動雑音などである。

図１２は、遅延量とレベル差異との関係に対する感度誤差の影響を示す図である。図１２において、横軸は、遅延量を、その遅延量に相当する音響端子間距離（ｅｌｅｃｔｒｉｃａｌ ｄｉｓｔａｎｃｅ）［ｍ］を示す。図１２において、縦軸は、上述の式（１）によって算出されるレベル差異ｃｍｐ＿ｉｎｆ［ｄＢ］を示す。また、ここでは、実際の音響端子間距離が１０ｍｍ（０.０１ｍ）であり、０°の方向に音源が位置する場合の、周波数１ｋＨｚにおける遅延量とレベル差異との関係を示す。

図１２において、線６６１は、第１のマイクロホン２００と第２のマイクロホン３００との間に感度誤差がない場合の、遅延量とレベル差異との関係を示す。そして、線６６２は、第１のマイクロホン２００に対し、第２のマイクロホン３００が−０.０８７ｄＢの感度誤差を有する場合の、遅延量とレベル差異との関係を示す。

感度誤差がない場合、図１２に示すように、レベル差異は、遅延量が増大するに従って減少し、遅延量が音響端子間距離１０ｍｍに相当する値になったときに０ｄＢまで減少する。

ところが、感度誤差がある場合、図１２に示すように、レベル差異は、遅延量が音響端子間距離１０ｍｍに相当する値になっても、完全に０ｄＢとはならない。すなわち、遅延量は、遅延量の固定の判断基準をレベル差異＝０としてしまうと、適正値よりも大きくなってしまうおそれがある。

したがって、感度誤差が予め分かっている場合、遅延量の固定の判断基準となる閾値は、当該感度誤差を考慮して決定されることが望ましい。

ここで、遅延量の固定の判断基準となる閾値の決定手法の一例について説明する。なお、音源は、０°の方向（図５参照）に固定して配置されているものとする。

第１のマイクロホン２００に対し、第２のマイクロホン３００は、ａ倍の振幅ゲインを持つものとする。この場合、第１の指向性収音信号の出力特性Ａ（ω）および第２の指向性収音信号の出力特性Ｂ（ω）は、以下の式（５）および式（６）で表すことができる。なお、ωは、入力信号の周波数を示し、τは、第１の遅延器４１１および第２の遅延器４１２の遅延量［ｓｅｃ］を示す。

また、指向性レベル信号の値ｓｕｍ＿ａｂｓ（ω）および無指向性レベル信号の値ｏｍｎｉ＿ａｂｓ（ω）は、以下の式（７）および式（８）で表すことができる。

図１３は、残留ゲイン誤差とレベル差異との関係を示す図である。図１３において、横軸は、第１のマイクロホン２００と第２のマイクロホン３００との間の残留ゲイン誤差を、上述の振幅ゲインａを用いて、２０ｌｏｇ_１０（ａ）［ｄＢ］で示す。図１３において、縦軸は、上述の式（１）によって算出されるレベル差異ｃｍｐ＿ｉｎｆ［ｄＢ］を示す。

図１３において、線６７１は、上述の式（５）〜式（８）を上述の式（１）に代入したときの、１ｋＨｚにおけるレベル差異ｃｍｐ＿ｉｎｆを示す。図１３に示すように、例えば、残留ゲイン誤差が±０.１ｄＢ内で振れる場合、レベル差異ｃｍｐ＿ｉｎｆは、０.２以下となる。したがって、この場合、遅延量の固定の判断基準となる閾値は、０.２程度とすれば、感度誤差を吸収し、遅延量の補正が可能と考えられる。

遅延操作部４５２は、以上のような手法に基づいて設定された閾値（スレッショルド値）を用いて、遅延量を調整する。より具体的には、遅延操作部４５２は、例えば、レベル差異ｃｍｐ＿ｉｎｆｏが、０.２以上である間は、遅延量を増加していく。そして、遅延操作部４５２は、レベル差異ｃｍｐ＿ｉｎｆｏが、０.２となった時点で、遅延量増加を止める。これにより、遅延量は、適正値で固定される。そして、第１の信号出力部４２１および第２の信号出力部４２２からは、指向特性がカーディオイドの第１の指向性収音信号および第２の指向性収音信号が出力される。

なお、実際の音響端子間距離ｄｉｓｔ＿ａｔｅｒｍは、遅延量増加が止まった時点における遅延量τ_opt［ｓｅｃ］を用いて、例えば、以下の式（９）で表される。但し、ｃは、音速［ｍ／ｓｅｃ］である。

以上でレベル差異およびその基準となる所定の値についての説明を終える。

＜音響処理装置４００の動作説明＞
次に、音響処理装置４００の動作について説明する。

図１４は、音響処理装置４００の動作の一例を示すフローチャートである。音響処理装置４００は、例えば、図１４に示す動作を、電源スイッチあるいは指向性収音機能がオンになったときに開始する。また、図１４に示す動作が行われている間、第１のマイクロホン２００および第２のマイクロホン３００は、継続的に収音を行っているものとする。

まず、ステップＳ１０００において、指向性合成処理部４１０は、第１のマイクロホン２００および第２のマイクロホン３００から、第１の収音信号および第２の収音信号を取得する。

そして、ステップＳ１０１０において、指向性合成処理部４１０は、指向性合成処理により、第１の指向性収音信号および第２の指向性収音信号を取得する。

そして、ステップＳ１０２０において、第１の信号出力部４２１および第２の信号出力部４２２は、第１の指向性収音信号および第２の指向性収音信号を、音響処理装置４００の外部に出力する。また、第１の帯域制限部４３１および第２の帯域制限部４３２は、比較信号算出部４４０に入力される第１の指向性収音信号の周波数帯域、および、比較信号算出部４４０に入力される第２の指向性収音信号の周波数帯域を、制限する。

そして、ステップＳ１０３０において、比較信号算出部４４０は、指向性レベル信号の値ｓｕｍ＿ａｂｓおよび無指向性レベル信号の値ｏｍｎｉ＿ａｂｓを算出する。

そして、ステップＳ１０４０において、レベル比較部４５１は、指向性レベル信号の値ｓｕｍ＿ａｂｓ無指向性レベル信号の値ｏｍｎｉ＿ａｂｓとの間のレベル差異ｃｍｐ＿ｉｎｆを算出する。

そして、ステップＳ１０５０において、遅延操作部４５２は、レベル差異ｃｍｐ＿ｉｎｆが、所定の閾値ｔｈｒ以上であるか否かを判断する。

遅延操作部４５２は、レベル差異ｃｍｐ＿ｉｎｆが所定の閾値ｔｈｒ以上である場合（Ｓ１０５０：ＹＥＳ）、ステップＳ１０６０へ進む。遅延操作部４５２は、レベル差異ｃｍｐ＿ｉｎｆが所定の閾値ｔｈｒ未満である場合（Ｓ１０５０：ＮＯ）、ステップＳ１０６０をスキップして、後述のステップＳ１０７０へ進む。

ステップＳ１０６０において、遅延操作部４５２は、指向性合成処理部４１０が指向性合成処理に用いる遅延量τ_ｏｐｔを増加させる。遅延量τ_ｏｐｔの初期値は、十分に小さい値である。また、遅延量τ_ｏｐｔの増加幅は、遅延量τ_ｏｐｔの適正値への収束までの時間および処理負荷、並びに、指向性パターンに求められる精度との関係で定められる値である。

そして、ステップＳ１０７０において、指向性合成処理部４１０は、ユーザ操作などにより指向性合成処理の終了を指示されたか否かを判断する。かかる指示は、例えば、電源スイッチのオフあるいは指向性収音機能がオフを示す信号の入力である。

指向性合成処理部４１０は、指向性合成処理の終了を指示されていない場合（Ｓ１０７０：ＮＯ）、ステップＳ１０００へ戻る。また、指向性合成処理部４１０は、指向性合成処理の終了を指示された場合（Ｓ１０７０：ＹＥＳ）、一連の処理を終了する。

このような動作により、音響処理装置４００は、指向性合成処理を繰り返すことができる。そして、音響処理装置４００は、第１の指向性収音信号および第２の指向性収音信号に基づいて、これらに位相反転が生じなくなるように、指向性合成処理に用いる遅延量を調整することができる。そして最終的に、音響処理装置４００は、遅延量を適正値に設定した状態で指向性合成処理を行う。そして、音響処理装置４００は、カーディオイドに近い指向特性を有する第１の指向性収音信号、および、カーディオイドに近い指向特性を有する第２の指向性収音信号を出力することができる。

以上で、音響処理装置４００の動作についての説明を終える。

以上のように、本実施の形態に係る音響処理装置４００を含む収音機器１００は、軸方向に指向性を持たせた指向性収音信号に位相反転が生じなくなるように、指向性合成処理に用いられる遅延量を調整することができる。

これにより、収音機器１００は、軸方向になんらかの音源が存在しさえすれば、カーディオイドの指向特性が実現されるように、指向性合成処理に用いられる遅延量を簡単に設定することができる。

したがって、収音機器１００は、上述の特許文献１を適用した場合のように、マイクロホンが設置される筐体が変わるごとに音響設計技術者が無響室などで測定を実施し、指向性合成処理の遅延量を調整するといった必要がない。

また、収音機器１００は、上述の特許文献１から算出する場合とは異なり、相関などの従来手法を用いずに遅延量の適正値を算出するので、反射や周囲雑音がある実環境でも誤動作を回避することができる。

また、収音機器１００は、上述の特許文献１を適用した場合とは異なり、マイク周囲の音響的な変化、あるいは、複数音源が同時に存在するような状況下でも、音源方向探査の追従性が悪くなることはない。

すなわち、本実施の形態に係る収音機器１００は、従来技術に比べて、マイクロホンの取り付け構造や取り付け位置、およびマイクロホン周囲の構造物等に、音響的な変化が生じても、実環境において、遅延量を正確に調整することができる。これにより、本実施の形態に係る収音機器１００は、任意の指向性パターンを精度良く実現することができ、より簡単に、必要とする音を高品質で取得することができる。

また、収音機器１００は、量産されるものである場合、上述の通り、指向特性が安定しない傾向がある。したがって、本発明は、このような収音機器１００に好適である。

なお、遅延量の調整の手法は、上述の例に限定されない。

例えば、遅延操作部４５２は、レベル差異ｃｍｐ＿ｉｎｆが所定の閾値未満となった後も、遅延量を固定せず、遅延量の調整を継続してもよい。すなわち、遅延操作部４５２は、遅延量の再調整を行うようにしてもよい。具体的には、遅延操作部４５２は、例えば、レベル差異ｃｍｐ＿ｉｎｆの最小値をホールドし、ホールドした最小値の更新が一定時間内に行われた場合には、遅延量を単調減少させるようにしてもよい。

また、遅延操作部４５２は、予め定められた範囲に制限して遅延量の調整を行い、マイク間で無相関な成分の影響などを受けて、遅延量が大きく変化しないようにしてもよい。

（実施の形態３）
本発明の実施の形態３は、実施の形態２の音響処理装置に、第１の収音信号と第２の収音信号との間で相関の無い成分（以下「無相関成分」という）が検出された場合に、遅延量補正を行わないようにする機能を追加したものである。なお、回路ノイズは、第１の収音信号と第２の収音信号との間で相関がないが、常に存在することから、無相関成分とは区別される。

＜無相関成分の影響について＞
まず、無相関成分の発生原因と、無相関成分が遅延量の調整に与える影響について説明する。

マイクロホンの振動版を振動させる振動源は、例えば、録画中にズーム動作が可能なデジタルスチルカメラなどでは、ズーム時の機械的な振動あるいは屋外などで撮影したときの風による風圧など、音波ではない場合がある。

機械的な振動は、筐体内で複雑に異なる経路の伝達経路を経て、マイクロホンの振動板を直接振動させる。このため、異なる経路を通過した振動は、各マイクロホンを駆動し、２つのマイクロホンの収音信号上に無相関成分となって表れる。

風は、気流の乱れがマイクロホン付近で異なる特性で発生する。このため、風による振動は、同様に、２つのマイクロホンの収音信号上に無相関成分となって表れる。

このような無相関成分は、第１の収音信号および第２の収音信号に含まれたまま指向性合成処理を行うと、音波で得られるはずのポーラパターンを大きく乱してしまう。このため、無相関成分が多く含まれているにもかかわらず実施の形態２で説明した遅延量の調整を行った場合は、誤った値が設定される可能性、あるいは、適正値に収束するまでの時間が長くなる可能性がある。

そこで、本実施の形態に係る音響処理装置は、無相関成分が多く含まれている場合には指向性収音信号に基づいた遅延量の調整を行わないようにするものである。

＜実施の形態３に係る収音機器の構成＞
図１５は、本実施の形態に係る音響処理装置を含む収音機器の構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には、同一符号を付し、これについての説明を省略する。

図１５において、収音機器１００ａの音響処理装置４００ａは、図２に示す比較信号算出部４４０および遅延操作部４５２に代えて、比較信号算出部４４０ａおよび遅延操作部４５２ａを有する。また、音響処理装置４００ａは、更に、無相関レベル信号出力部４６１ａ、無相関成分検出部４６２ａ、および論理和回路４６３ａを有する。

比較信号算出部４４０ａは、指向性レベル信号から無指向性レベル信号を減算して得られる値を、無相関成分のレベルを示す無相関レベル信号として出力する。より具体的には、比較信号算出部４４０ａは、実施の形態２で説明した構成に加え、第５の加算器４４６ａを有する。

第５の加算器４４６ａは、指向性レベル信号と極性を反転させた無指向性レベル信号とを加算して、加算結果である無相関レベル信号を出力する。

ここで、無相関レベル信号の抽出原理について説明する。

第１の帯域制限部４３１からの帯域制限された第１の指向性収音信号と、第２の帯域制限部４３２からの帯域制限された第２の指向性収音信号は、機器に機械的な振動等が加わると、それぞれ信号同士で互いに無相関な振動成分を含む。

これらの信号を、位相情報を含むそのままの信号波形で加算し、レベル情報に変換することで、同期加算の性質により、相関のある音波成分は強めあい、一方で無相関な振動成分は弱めあうという性質を持つ、無指向性レベル信号を得る。

一方で、第１の指向性収音信号および第２の指向性収音信号は、それぞれを、位相情報のない振幅のみの情報に変換し、加算することで、相関のある音波成分と無相関な振動成分との両方を強めあった指向性レベル信号を得る。

この指向性レベル信号から、前述の無指向性レベル信号を引くことにより、相関のある音響成分は相殺されるが、無相関な振動成分が残るため、無相関レベル信号を抽出することができる。

無相関レベル信号出力部４６１ａは、比較信号算出部４４０ａから無相関レベル信号を入力し、無相関成分が含まれるか否かを示す判定結果信号を出力する。

無相関成分検出部４６２ａは、第１の収音信号と第２の収音信号との間の無相関成分の有無を判定する。より具体的には、無相関成分検出部４６２ａは、無相関レベル信号出力部４６１ａから無相関レベル信号を入力し、無相関レベル信号が所定の閾値を超えているとき、無相関成分が多く含まれていると判定する。

そして、無相関成分検出部４６２ａは、判定結果を示す判定結果信号を、逐次、論理和回路４６３ａへ出力する。ここでは、判定結果信号は、無相関成分がないと判定されたとき、０の値をとり、無相関成分が多く含まれていると判定されたとき、１の値をとるものとする。

論理和回路４６３ａは、無相関成分検出部４６２ａから出力される判定結果信号と、音響処理装置４００ａの外部から入力される指示信号とを入力する。指示信号は、遅延量調整を行うか否かを指定する信号である。ここでは、指示信号は、遅延量調整を行うことが指定されたとき、０の値をとり、遅延量調整を行わないことが指定されたとき、１の値をとるものとする。

そして、論理和回路４６３ａは、判定結果信号と指示信号との論理和をとり、得られた信号を、制御信号として出力する。すなわち、制御信号は、遅延量調整を行うことが指定され、かつ、無相関成分がないと判定されている場合、０の値をとり、その他の場合、１の値をとる。

指示信号は、例えば、ユーザ操作により生成される信号である。また、指示信号は、風雑音を検出するセンサの検出信号であってもよい。この場合、指示信号は、例えば、風雑音を検出している間は、１の値をとり、風雑音を検出していない間は、０の値をとる。

遅延操作部４５２ａは、遅延量調整を行うことが指定され、かつ、無相関成分がないと判定されていることを条件として、実施の形態２で説明した遅延量調整を行う。すなわち、遅延操作部４５２ａは、論理和回路４６３ａから制御信号を入力し、制御信号が０である場合、遅延量調整を行う。一方、遅延操作部４５２ａは、入力した制御信号が１である場合、遅延量調整を行わない。

＜実施の形態３における音響処理装置の動作説明＞
図１６は、音響処理装置４００ａの動作の一例を示すフローチャートであり、実施の形態２の図１４に対応するものである。図１４と同一部分には同一ステップ番号を付し、これについての説明を省略する。

ステップＳ１０００〜Ｓ１０４０の処理は、実施の形態２と同様である。

ステップＳ１０４０の後、ステップＳ１０４１ａにおいて、比較信号算出部４４０ａは、指向性レベル信号の値ｓｕｍ＿ａｂｓから無指向性レベル信号の値ｏｍｎｉ＿ａｂｓを減算する。そして、比較信号算出部４４０ａは、得られた信号を、無相関レベル信号（ｕｎｃｏｒｒ＿ｆａｃｔ）として出力する。なお、ステップＳ１０４１ａは、ステップＳ１０３０の後に行ってもよい。

そして、遅延操作部４５２は、レベル差異ｃｍｐ＿ｉｎｆが所定の閾値ｔｈｒ以上である場合（Ｓ１０５０：ＹＥＳ）、ステップＳ１０５１ａへ進む。

そして、ステップＳ１０５１ａにおいて、無相関成分検出部４６２ａは、無相関レベル信号の値ｕｎｃｏｒｒ＿ｆａｃｔを所定の閾値ｔｈｒ＿ｕｎｃｏｒｒと比較し、比較結果を示す判定結果信号ｉｎ＿ｕｎｃｏｒｒ＿ｄｅｔを出力する。

そして、ステップＳ１０５２ａにおいて、論理和回路４６３ａは、判定結果信号ｉｎ＿ｕｎｃｏｒｒ＿ｄｅｔと指示信号ｅｘｔ＿ｕｎｃｏｒｒ＿ｄｅｔとの論理和をとり、論理和の結果である制御信号ｕｎｃｏｒｒ＿ｄｅｔを算出する。

そして、ステップＳ１０５３ａにおいて、遅延操作部４５２ａは、制御信号ｕｎｃｏｒｒ＿ｄｅｔの値が１であるか否かを判断する。

遅延操作部４５２ａは、制御信号ｕｎｃｏｒｒ＿ｄｅｔの値が０である場合（Ｓ１０５３ａ：ＮＯ）、ステップＳ１０６０へ進む。遅延操作部４５２ａは、制御信号ｕｎｃｏｒｒ＿ｄｅｔの値が１ではない場合（Ｓ１０５３ａ：ＹＥＳ）、ステップＳ１０７０へ進む。

このように、本実施の形態に係る音響処理装置４００ａは、指向性レベル信号と無指向性レベル信号との差から、収音信号に無相関成分が多く含まれているか否かを判定することができる。そして、音響処理装置４００ａは、収音信号に無相関成分が多く含まれている場合、遅延量調整を行わないようにすることができる。

これにより、音響処理装置４００ａは、機械的な振動あるいは風圧などの雑音がある環境においても、これによる遅延量調整への影響を低減することができ、簡単に任意の指向性パターンを精度良く実現することができる。

なお、無相関成分の抽出手法は、上述の例に限定されない。例えば、音響処理装置４００ａは、特許文献２に記載された無相関成分の抽出手法を用いてもよい。

また、比較信号算出部４４０ａの出力である無相関レベル信号の内容は、実施の形態２の式（２）の内容と同義である。したがって、レベル比較部４５１は、レベル差異ｃｍｐ＿ｉｎｆを算出する代わりに、無相関レベル信号を用いてもよい。更には、レベル比較部４５１を設けず、無相関レベル信号が、そのままレベル差異として遅延操作部４５２ａに入力されるようにしてもよい。

（実施の形態４）
本発明の実施の形態４は、調整された遅延量を用いて、任意の指向性パターンの音声信号を出力するようにした例である。

＜実施の形態４における音響処理装置の構成＞
図１７は、本実施の形態に係る音響処理装置の構成の一例を示すブロック図であり、実施の形態３の図１５に対応するものである。図１５と同一部分には同一符号を付し、これについての説明を省略する。

図１７において、収音機器１００ｂの音響処理装置４００ｂは、図２に示す構成に加えて、更に他の機能部を追加した構成を有する。音響処理装置４００ｂは、遅延算出部４７０ｂ、出力用指向性合成処理部４１０ｂ、第１の等価器（ＥＱ）４８１ｂ、第２の等価器（ＥＱ）４８２ｂ、第１の音声信号出力部４９１ｂ、および第２の音声信号出力部４９２ｂを有する。

遅延算出部４７０ｂは、指向方向の指定を受け付け、遅延操作部４５２ａにより調整された遅延量に相当する音響端子間距離に基づいて、後述の出力用指向性合成処理部４１０ｂにおける指向性合成処理を制御する。具体的には、遅延算出部４７０ｂは、遅延操作部４５２ａにより調整された遅延量から、例えば上述の式（９）を用いて音響端子間距離を算出する。そして、遅延算出部４７０ｂは、音響処理装置４００ｂの外部から入力される指向性指示信号の値と、算出した音響端子間距離とに基づいて、最適な遅延量を算出して出力する。

指向性指示信号は、例えば、ユーザ操作により生成される信号である。また、指示信号は、ユーザの対話相手が位置する方向を検出するセンサの検出信号であってもよい。

出力用指向性合成処理部４１０ｂは、例えば、指向性合成処理部４１０と同一の構成を有し、第１の遅延器４１１ｂ、第２の遅延器４１２ｂ、第１の加算器４１３ｂ、および第２の加算器４１４ｂを有する。これらは、実施の形態２の、第１の遅延器４１１、第２の遅延器４１２、第１の加算器４１３、および第２の加算器４１４に対応する。すなわち、第１の加算器４１３ｂは、第１の出力用指向性収音信号を出力し、第２の加算器４１４ｂは、第２の出力用指向性収音信号を出力する。

但し、出力用指向性合成処理部４１０ｂは、遅延算出部４７０ｂから出力される遅延量（以下「出力用遅延量」という）を用いて、第１の出力用指向性収音信号および第２の出力用指向性収音信号を生成する。

第１の等価器４８１ｂは、第１の出力用指向性収音信号を入力し、その周波数特性を補正する。そして、第１の等価器４８１ｂは、補正結果である第１の等価指向性収音信号を出力する。

第２の等価器４８２ｂは、第２の出力用指向性収音信号を入力し、その周波数特性を補正する。そして、第２の等価器４８２ｂは、補正結果である第２の等価指向性収音信号を出力する。

周波数特性の補正は、例えば、音響端子間距離が１０ｍｍの場合、第１の出力用指向性収音信号および第２の出力用指向性収音信号を、図３および図４に示す周波数特性とは逆の周波数特性にする補正である。このような補正により、周波数振幅特性は、０ｄＢに等価される。

第１の音声信号出力部４９１ｂは、第１の出力指向性収音信号を入力する。そして、第１の音声信号出力部４９１ｂは、第１の出力指向性収音信号を、ユーザに対する音響出力の対象として、音響処理装置４００ｂの外部へ出力する。

第２の音声信号出力部４９２ｂは、第２の出力指向性収音信号を入力する。そして、第２の音声信号出力部４９２ｂは、第２の出力指向性収音信号を、ユーザに対する音響出力の対象として、音響処理装置４００ｂの外部へ出力する。

なお、本実施の形態では、第１の音声信号出力部４９１ｂおよび第２の音声信号出力部４９２ｂを配置しているため、実施の形態３の第１の信号出力部４２１および第２の信号出力部４２２を不要としているが、これに限定されない。

＜任意の指向性パターンを得るための出力用遅延量の演算手法＞
ここで、任意の指向性パターンを得るための出力用遅延量の演算手法について説明する。

図１８は、指定された指向性パターンを得るためのマイクロホンと入射角度θの関係の一例を示す図である。

本実施の形態では、図１８に示すような位置関係で、指向性指示信号により指定された角度θの方向に死角を持つような指向性パターンを形成するものとする。なお、本実施の形態に係る音響処理装置４００ｂは、角度θの方向に死角を設定すると、これに対応して、角度−θの方向にも死角が形成されることになる。

この場合、遅延算出部４７０ｂは、まず、遅延操作部４５２ａから出力される遅延量τ_optから、上述の式（９）を用いて、実際の音響端子間距離ｄｉｓｔ＿ａｔｅｒｍを算出する。そして、遅延算出部４７０ｂは、指定された角度θと、算出した音響端子間距離ｄｉｓｔ＿ａｔｅｒｍから、例えば、以下の式（１０）を用いて、出力用遅延量τ_ａｃｔを算出する。

音響処理装置４００ｂは、このようにして実際の音響端子間距離ｄｉｓｔ＿ａｔｅｒｍから算出した出力用遅延量τ_ａｃｔを用いることにより、正確にθ方向（および−θ方向）に死角を持つ指向性パターンの音響信号を出力することができる。

＜実施の形態４における音響処理装置の動作説明＞
図１９は、音響処理装置４００ｂの動作の一例を示すフローチャートであり、実施の形態３の図１６に対応するものである。図１６と同一部分には同一ステップ番号を付し、これについての説明を省略する。

ステップＳ１０００〜Ｓ１０４１ａの処理は、実施の形態３と同様である。

ステップＳ１０４１ａの後、ステップＳ１０４２ｂにおいて、出力用指向性合成処理部４１０ｂは、出力用の指向性合成処理により、第１の出力用指向性収音信号および第２の出力用指向性収音信号を取得する。

そして、ステップＳ１０４３ｂにおいて、第１の等価器４８１ｂおよび第２の等価器４８２ｂは、第１の出力用指向性収音信号および第２の出力用指向性収音信号に対する周波数等価処理を実施する。そして、第１の音声信号出力部４９１ｂおよび第２の音声信号出力部４９２ｂは、周波数等価処理が行われた後の第１の出力用指向性収音信号および第２の出力用指向性収音信号を出力する。

なお、ステップＳ１０４２ｂ、Ｓ１０４３ｂの処理を行うタイミングは、上記タイミングに限定されない。

そして、ステップＳ１０５０において、遅延操作部４５２ａは、レベル差異ｃｍｐ＿ｉｎｆが所定の閾値ｔｈｒ以上であって、制御信号ｕｎｃｏｒｒ＿ｄｅｔの値が１であるか否かを判定する。

遅延操作部４５２ａは、レベル差異ｃｍｐ＿ｉｎｆが所定の閾値ｔｈｒ以上で、制御信号ｕｎｃｏｒｒ＿ｄｅｔの値が１である場合（Ｓ１０５０：ＹＥＳ、Ｓ１０５３ａ：ＹＥＳ）、ステップＳ１０５１ａ〜１０６０を経てステップＳ１０６１ｂへ進む。

ステップＳ１０６１ｂにおいて、遅延算出部４７０ｂは、指向性指示信号より、出力用遅延量τ_ａｃｔを算出し、出力用指向性合成処理部４１０ｂに設定して、ステップＳ１０７０へ進む。

このように、本実施の形態に係る音響処理装置４００ｂは、マイクロホン周囲の音響的変化に対応して、都度算出される実際の音響端子間距離に相当する遅延量から、任意の指向性パターンを正確に実現することができる。これにより、音響処理装置４００ｂは、マイクロホンの取り付け構造や取り付け位置、およびマイクロホン周囲の構造物等に、音響的な変化が生じても、実環境において、遅延量を正確に調整することができる。これにより、音響処理装置４００ｂは、任意の指向性パターンを有する指向性収音を、高精度にかつ簡単に実現することができ、必要とする音を高品質で取得することができる。

なお、本実施の形態において、出力用指向性合成処理は、減算により死角を形成するものとしたが、これに限定されない。出力用指向性合成処理は、加算型（Ｄｅｌａｙ＿Ａｎｄ＿Ｓｕｍ）によるものであってもよい。この場合においても、実際の音響端子間距離が求められているので、高精度に所望の指向特性を得ることが可能となる。

また、以上説明した実施の形態１〜実施の形態４では、第１の収音信号の遅延量と第２の収音信号の遅延量とを同一値に調整・設定するものとした。しかし、２つのマイクロホンにおいて、それぞれ設置された周囲環境の違いにより、音響的な経路が著しく異なる場合もある。このような場合には、第１の収音信号の遅延量と第２の収音信号の遅延量遅延量とは、異なる値に調整・設定されてもよい。

また、マイクロホンは、２個であるものとしたが、これに限定されない。本発明に係る遅延量補正は、２つのマイクロホンのペアごとに行われるものであり、３個以上の複数のマイクロホンが存在する場合には、それぞれのペアごとに行えばよい。したがって、本発明は、３個以上の複数のマイクロホンから出力される収音信号に対して指向性合成処理を行う場合にも、適用することができる。

また、ユーザに対する音響出力の対象は、指向性合成処理部４１０から出力される第１の指向性収音信号および第２の指向性収音信号としてもよい。但し、この場合は、周波数特性において、高域のレベルと比較して低域のレベルが不足する（図３および図４参照）。このため、本実施の形態では、第１の等価器４８１ｂおよび第２の等価器４８２ｂに相当するものを追加し、低域を増幅させる、あるいは、高域を減衰させるような補正を行うことが望ましい。

（実施の形態５）
本発明の実施の形態５は、本発明を、４個のマイクロホンを備えた、遠隔会議システムなどにおける収音機器に適用した場合の、具体的様態の一例である。

本実施の形態において、収音機器は、４つのマイクロホンの収音信号を遅延和加算（Delay And Sum）し、指定された方向の話者に対して指向性収音を行うものである。

図２０は、本実施の形態に係るマイクロホンアレイにおける処理構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。また、同一の構成を有する部分が複数存在する場合には、同一の符号に対して、［−１，−２．．．．］のように、ハイフンと連番の番号とを付加する。

＜収音機器の構成＞
まず、本実施の形態に係る音響処理装置を含む収音機器の構成について説明する。

図２０において、収音機器１００ｃは、拡張音響処理装置４００ｃ、図２に示す第１のマイクロホン２００、および第２のマイクロホン３００に加え、第３のマイクロホン３０１、第４のマイクロホン３０２を有する。

第１のマイクロホン２００、第２のマイクロホン３００、第３のマイクロホン３０１、および第４のマイクロホン３０２は、それぞれ異なる位置に、互いに距離を置いて配置されている。ここでは、簡単のため、それぞれのマイクロホンは、一直線に並んでいるものとする。また、第１のマイクロホン２００、第２のマイクロホン３００、第３のマイクロホン３０１、第４のマイクロホン３０２、および拡張音響処理装置４００ｃは、例えば、収音機器１００ｃの筐体（図示せず）の内部に配置されている。

第３のマイクロホン３０１は、無指向性マイクロホン（第３の収音器）である。第３のマイクロホン３０１は、収音を行い、収音信号を出力する。以下、第３のマイクロホン３０１が出力する収音信号は、「第３の収音信号」という。

第４のマイクロホン３０２は、無指向性マイクロホン（第４の収音器）である。第４のマイクロホン３０２は、収音を行い、収音信号を出力する。以下、第４のマイクロホン３０２が出力する収音信号は、「第４の収音信号」という。

拡張音響処理装置４００ｃは、第１の収音信号、第２の収音信号、第３の収音信号、および第４の収音信号を入力する。そして、拡張音響処理装置４００ｃは、拡張音響処理装置４００ｃの外部信号である指向性指示信号により指示される方向に対して、指向性収音を行う。

より具体的には、拡張音響処理装置４００ｃは、図２に示すように、第１〜第３の音響処理装置（４００−１、４００−２、４００−３）、遅延算出部４７０ｃ、出力用指向性合成部４１０ｃ、および音声信号出力部４９１ｃを有する。

第１の音響処理装置４００−１は、第１の収音信号および第２の収音信号を入力する。そして、第１の音響処理装置４００−１は、第１のマイクロホン２００と第２のマイクロホン３００との間の音響端子間距離（以下「第１の音響端子間距離」という）に相当する遅延量（以下「第１の遅延量」という）を算出する。そして、第１の音響処理装置４００−１は、算出した第１の遅延量を、遅延算出部４７０ｃへ出力する。

第２の音響処理装置４００−２は、第２の収音信号および第３の収音信号を入力する。そして、第２の音響処理装置４００−２は、第２のマイクロホン３００と第３のマイクロホン３０１との間の音響端子間距離（以下「第２の音響端子間距離」という）に相当する遅延量（以下「第２の遅延量」という）を算出する。そして、第２の音響処理装置４００−２は、算出した第２の遅延量を、遅延算出部４７０ｃへ出力する。

第３の音響処理装置４００−３は、第３の収音信号および第４の収音信号を入力する。そして、第３の音響処理装置４００−３は、第３のマイクロホン３０１と第４のマイクロホン３０２との間の音響端子間距離（以下「第３の音響端子間距離」という）に相当する遅延量（以下「第３の遅延量」という）を算出する。そして、第３の音響処理装置４００−３は、算出した第３の遅延量を、遅延算出部４７０ｃへ出力する。

遅延算出部４７０ｃは、第１〜第３の音響処理装置４００−１〜４００−３から出力される第１〜第３の遅延量のそれぞれに音速を乗じて、第１〜第３の音響端子間距離を算出する。遅延算出部４７０ｃは、指向性指示信号が指定する収音方向の角度θと、算出した第１〜第３の音響端子間距離とに基づいて、出力用指向性合成部４１０ｃにおける第１〜第４の遅延器４１１ｃ〜４１４ｃのそれぞれの遅延量を算出する。そして、遅延算出部４７０ｃは、第１の遅延器４１１ｃに対して、第１の出力用遅延量を出力し、第２の遅延器４１２ｃに対して、第２の出力用遅延量を出力する。また、遅延算出部４７０ｃは、第３の遅延器４１３ｃに対して、第３の出力用遅延量を出力し、第４の遅延器４１４ｃに対して、第４の出力用遅延量を出力する。

指向性指示信号は、例えば、ユーザ操作により生成される信号であり、指向性合成を行う場合の操作角を示す信号である。会議システムにおいては、かかる操作角は、例えば、会議システムの音響処理装置の正面方向と、発話者の位置に対する方向とのとの間の角度である。また、指向性指示信号が指定する収音の指向方向は、自動で算出されたものであってもよい。例えば、指向性指示信号が指定する方向は、話者方向を検出するセンサの検出信号に基づいて自動で特定された、話者の方向であってもよい。

音声信号出力部４９１ｃは、出力用指向性合成部４１０から出力される出力指向性合成信号を入力し、ユーザーに対する音響出力の対象として、拡張音響処理装置４００ｃの外部へ出力する。より具体的には、収音機器１００ｃ（ここでは会議システム本体（図示せず））が入力した音声として、出力される。

出力用指向性合成部４１０ｃは、第１の遅延器４１１ｃ、第２の遅延器４１２ｃ、第３の遅延器４１３ｃ、第４の遅延器４１４ｃ、および加算器４１５ｃを有している。

第１の遅延器４１１ｃは、遅延算出部４７０ｃから出力される第１の出力用遅延量に基づいて、第１のマイクロホン２００から出力される第１の収音信号に対して遅延操作を行う。そして、第１の遅延器４１１ｃは、第１の収音信号を第１の出力用遅延量で遅延させた第１の遅延収音信号を、加算器４１５ｃへ出力する。

第２の遅延器４１２ｃは、遅延算出部４７０ｃから出力される第２の出力用遅延量に基づいて、第２のマイクロホン３００から出力される第２の収音信号に対して遅延操作を行う。そして、第２の遅延器４１２ｃは、第２の収音信号を第２の出力用遅延量で遅延させた第２の遅延収音信号を、加算器４１５ｃへ出力する。

第３の遅延器４１３ｃは、遅延算出部４７０ｃから出力される第３の出力用遅延量に基づいて、第３のマイクロホン３０１から出力される第３の収音信号に対して遅延操作を行う。そして、第３の遅延器４１３ｃは、第３の収音信号を第３の出力用遅延量で遅延させた第３の遅延収音信号を、加算器４１５ｃへ出力する。

第４の遅延器４１４ｃは、遅延算出部４７０ｃから出力される第４の出力用遅延量に基づいて、第４のマイクロホン３０２から出力される第４の収音信号に対して遅延操作を行う。そして、第４の遅延器４１４ｃは、第４の収音信号を第４の出力用遅延量で遅延させた第４の遅延収音信号を、加算器４１５ｃへ出力する。

加算器４１５ｃは、第１の遅延収音信号、第２の遅延収音信号、第３の遅延収音信号、および第４の遅延収音信号を加算して出力指向性合成信号を生成し、音声信号出力部４９１ｃへ出力する。

＜任意の指向性パターンを得るための出力用遅延量の演算方法＞
ここで、指向性合成部４１０ｃにおいて、任意の方向に対して指向性合成処理を行うための、第１〜第４の出力用遅延量の算出方法について説明する。

図２１は、指定された指向性パターンを得るためのマイクロホンと指定された方向角度θの関係の一例を示す図である。

本実施の形態では、図２１に示すような位置関係で、指向性指示信号により、指定された角度θの方向に指向角を持つような指向性パターンを形成するものとする。なお、本実施の形態に係る拡張音響処理装置４００ｃは、角度θの方向に指向角が設定されると、これに対応して、角度−１８０＋θの方向にも、指向角を形成する。

この場合、遅延算出部４７０ｃは、第ｉの音響端子間距離ｄｉｓｔ＿ａｔｅｒｍ［ｉ］（ｉ＝｛１，２，３｝）を、例えば、以下の式（１１）を用いて算出する。ここで、τ_ｏｐｔ［ｉ］は、上述の第ｉの遅延量を示す。

そして、遅延算出部４７０ｃは、指定された角度θが０°≦θ≦９０°または−９０°≧θ≧−１８０°の場合、第ｉの出力用遅延量τ_ａｃｔ［ｉ］を、例えば、以下の式（１２）を用いて算出する。

但し、遅延算出部４７０ｃは、第４の出力用遅延量τ_ａｃｔ［４］については、例えば、以下の式（１３）を用いて算出する。

また、遅延算出部４７０ｃは、指定された角度θが９０°≦θ≦１８０°または０°≧θ≧−９０°である場合、場合、第ｉの出力用遅延量τ_ａｃｔ［ｉ］を、例えば、以下の式（１４）を用いて算出する。

但し、遅延算出部４７０ｃは、第４の出力用遅延量τ_ａｃｔ［１］については、例えば、以下の式（１５）を用いて算出する。

拡張音響処理装置４００ｃは、このようにして、実際の音響端子間距離をマイクロホンのペアごとに算出し、出力用遅延量を遅延器ごとに与える。これにより、拡張音響処理装置４００ｃは、正確にθ方向に（および−１８０＋θ方向）に指向角を持つ指向性パターンの音響信号を出力することができる。

＜実施の形態５における音響処理装置の動作説明＞
図２２は、拡張音響処理装置４００ｃの動作の一例を示すフローチャートであり、実施の形態２の図１４に対応する。図１４と同一部分には、同一ステップ番号を付し、これについての説明を省略する。

本実施の形態では、４つのマイクロホンによる構成のため、隣あうマイクロホンのペアが３つ存在する。このため、拡張音響処理装置４００ｃは、図１４と同様の処理を、３回ループして行う。そのため、本実施の形態では、便宜的に、このループ回数のインデックスとして、上述の説明で用いた「ｉ」を用いる。

処理開始後、まず、ステップＳ１００１ｃにおいて、遅延算出部４７０ｃは、インデックスｉを１に初期化する。

そして、ステップＳ１００２ｃにおいて、第ｉの音響処理装置４００−ｉの指向性合成処理部４１０−ｉ（図示せず）は、指向性合成処理を行う。同様に、第ｉ＋１の音響処理装置４００−（ｉ＋１）の指向性合成処理部４１０−（ｉ＋１）（図示せず）は、指向性合成処理を行う。これにより、拡張音響処理装置４００ｃは、第ｉの指向性収音信号および第ｉ＋１の指向性収音信号を取得する。

ステップＳ１０１０〜Ｓ１０４０の処理は、実施の形態２と同様であり、インデックスｉごとに実行される。

そして、ステップＳ１０６１ｃにおいて、第ｉの音響処理装置４００−ｉの遅延操作部４５２−ｉ（図示せず）は、レベル差異ｃｍｐ＿ｉｎｆが、所定の閾値ｔｈｒ以上であるか否かを判断する。

遅延操作部４５２は、レベル差異ｃｍｐ＿ｉｎｆが所定の閾値ｔｈｒ以上である場合（Ｓ１０６１ｃ：ＹＥＳ）、ステップＳ１０６２ｃへ進む。また、遅延操作部４５２は、レベル差異ｃｍｐ＿ｉｎｆが所定の閾値ｔｈｒ未満である場合（Ｓ１０６１ｃ：ＮＯ）、ステップＳ１０６２ｃをスキップして、後述のステップＳ１０６３ｃへ進む。

ステップＳ１０６２ｃにおいて、インデックスｉごとに、第ｉの音響処理装置４００−ｉの遅延操作部４５２−ｉ（図示せず）は、指向性合成処理部４１０−ｉ（図示せず）が用いる第ｉの遅延量τ_ｏｐｔ［ｉ］を増加させる。第ｉの遅延量τ_ｏｐｔ［ｉ］の初期値は、十分に小さい値である。また、第ｉの遅延量τ_ｏｐｔ［ｉ］の増加幅は、第ｉの遅延量τ_ｏｐｔ［ｉ］の適正値への収束までの時間および処理負荷、並びに、指向性パターンに求められる精度との関係に基づいて定められる値である。

そして、ステップＳ１０６３ｃにおいて、遅延算出部４７０ｃは、次のマイクロホンペアの処理を行うために、ループ回数のインデックスｉを、１つインクリメントする。

そして、ステップＳ１０６４ｃにおいて、遅延算出部４７０ｃは、インデックスｉが所定数を超えたか、つまり、ループが所定の回数回ったか否かをチェックする。本実施の形態では、マイクロホンが４個であり、隣合うマイクロホンペアが３つ存在するため、インデックスｉの上限値は３となる。従って、遅延算出部４７０ｃは、インデックスｉが３よりも大きいか否かを判断する。

遅延算出部４７０ｃは、インデックスｉが３以下である場合（Ｓ１０６４ｃ：ＮＯ）、ステップＳ１００２ｃへ戻る。また、遅延算出部４７０ｃは、インデックスｉが３よりも大きい場合（Ｓ１０６４ｃ：ＹＥＳ）、ステップＳ１０６４ｃへ進む。

ステップＳ１０６５ｃにおいて、遅延算出部４７０ｃは、外部より指定された指向角を示す指向性指示信号と、第１の遅延量τ_ｏｐｔ［１］、第２のτ_ｏｐｔ［２］、第３のτ_ｏｐｔ［３］を用いて、出力用遅延量を算出する。すなわち、遅延算出部４７０ｃは、第１〜第４の遅延器４１１ｃ〜４１４ｃが用いる遅延量である、第１〜第４の出力用遅延量τ_ａｃｔ［１］、τ_ａｃｔ［２］τ_ａｃｔ［３］τ_ａｃｔ［４］を算出する。そして、指向性合成処理部４１０ｃは、出力用の指向性合成処理を行い、出力用指向性合成信号を得て、ステップＳ１０７０へ進む。

このように、本実施の形態に係る拡張音響処理装置４００ｃは、実際のマイクロホン周囲の音響的変化に対応して、都度算出される実際の音響端子間距離に相当する遅延量から、任意の指向性パターンを正確に実現することができる。これにより、音響処理装置４００ｂは、マイクロホンの取り付け構造や取り付け位置、および、マイクロホン周囲の構造物等に、音響的な変化が生じても、実環境において、遅延量を正確に調整することできる。すなわち、音響処理装置４００ｂは、実環境においても、任意の指向性パターンを有する指向性収音を、高精度にかつ簡単に実現することができ、必要とする音を高品質で取得することができる。

なお、本実施の形態において、出力用指向性合成処理は、加算により指向角を形成するものとしたが、これに限定されない。出力用指向性合成処理は、減算処理による音圧傾度型（Sound Pressure Gradient）によるものであってもよい。この場合においても、実際の音響端子間距離が求められているので、高精度に所望の指向特性を得ることが可能となる。

また、本実施の形態において、説明の便宜上、マイクロホンのアレイ形状を直線状としたが、これに限定されない。正方形の形状にして、指向性合成に関係するペア同士の音響端子間距離を求めれば、同様に正確な指向性収音が可能である。

また、マイクロホンは４個のものとしたが、２個以上で、マイクロホンのペアが組むことができれば、これに限定されない。

２０１１年１２月２０日出願の特願２０１１−２７８２４２の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明は、マイクロホンの取り付け構造や取り付け位置、およびマイクロホン周囲の構造物等に、音響的な変化が生じても、実環境において、遅延量を正確に調整することで、任意の指向性パターンを精度良く実現することができる。つまり、本発明は、より簡単に、必要とする音を高品質で取得することができる、音響処理装置および音響処理方法として有用である。例えば、本発明は、映像撮影機能を有するデジタルスチルカメラ、デジタルビデオカメラ、集音器、遠隔会議システムにおける収音機器、あるいは各種ステレオ録音装置などに好適である。

１００、１００ａ、１００ｂ、１００ｃ 収音機器
２００ 第１のマイクロホン
３００ 第２のマイクロホン
３０１ 第３のマイクロホン
３０２ 第４のマイクロホン
４００、４００ａ、４００ｂ 音響処理装置
４００−１ 第１の音響処理装置
４００−２ 第２の音響処理装置
４００−３ 第３の音響処理装置
４００ｃ 拡張音響処理装置
４１０ 指向性合成処理部
４１０ｂ、４１０ｃ 出力用指向性合成処理部
４１１、４１１ｂ、４１１ｃ 第１の遅延器
４１２、４１２ｂ、４１２ｃ 第２の遅延器
４１３ｃ 第３の遅延器
４１４ｃ 第４の遅延器
４１３、４１３ｂ 第１の加算器
４１４、４１４ｂ 第２の加算器
４１５ｃ 加算器
４２１ 第１の信号出力部
４２２ 第２の信号出力部
４３１ 第１の帯域制限部
４３２ 第２の帯域制限部
４４０、４４０ａ 比較信号算出部
４４１ 第３の加算器
４４２ 第１のレベル信号算出部
４４３ 第２のレベル信号算出部
４４４ 第３のレベル信号算出部
４４５ 第４の加算器
４４６ａ 第５の加算器
４５１ レベル比較部
４５２、４５２ａ 遅延操作部
４６１ａ 無相関レベル信号出力部
４６２ａ 無相関成分検出部
４６３ａ 論理和回路
４７０ｂ、４７０ｃ 遅延算出部
４８１ｂ 第１の等価器
４８２ｂ 第２の等価器
４９１ｂ 第１の音声信号出力部
４９１ｃ 音声信号出力部
４９２ｂ 第２の音声信号出力部

Claims (10)

1. 第１の収音器から出力される第１の収音信号および第２の収音器から出力される第２の収音信号に対して、指向性合成処理を行う音響処理装置であって、
   前記第１の収音信号に対して前記第２の収音信号を遅延させて合成した第１の指向性収音信号を生成し、前記第２の収音信号に対して前記第１の収音信号を遅延させて合成した第２の指向性収音信号を生成する指向性合成処理部と、
   前記第１の指向性収音信号と前記第２の指向性収音信号とを加算して得られる信号のレベルを示す無指向性レベル信号と、前記第１の指向性収音信号のレベルを示す第１のレベル信号と前記第２の指向性収音信号のレベルを示す第２のレベル信号とを加算して得られる指向性レベル信号と、を生成する比較信号算出部と、
   前記無指向性レベル信号と前記指向性レベル信号とのレベル差異を取得するレベル比較部と、
   前記レベル差異が小さくなるように、前記指向性合成処理部における前記遅延の量を調整する遅延操作部と、を有する、
   音響処理装置。
2. 前記比較信号算出部は、
   前記第１の指向性収音信号と前記第２の指向性収音信号とを加算する第３の加算器と、
   前記第３の加算器の出力信号からレベル情報を抽出して前記無指向性レベル信号に変換する第１のレベル信号算出部と、
   前記第１の指向性収音信号からレベル情報を抽出して前記第１のレベル信号に変換する第２のレベル信号算出部と、
   前記第２の指向性収音信号からレベル情報を抽出して前記第２のレベル信号に変換する第３のレベル信号算出部と、
   前記第１のレベル信号と前記第２のレベル信号とを加算して前記指向性レベル信号を出力する第４の加算器と、を有する、
   請求項１記載の音響処理装置。
3. 前記比較信号算出部に入力される前記第１の指向性収音信号に対して、前記遅延の量を変化させても空間エイリアジングが生じない周波数帯域への帯域制限を行う第１の帯域制限部と、
   前記比較信号算出部に入力される前記第２の指向性収音信号に対して、前記遅延の量を変化させても空間エイリアジングが生じない周波数帯域への帯域制限を行う第２の帯域制限部と、を更に有する、
   請求項１記載の音響処理装置。
4. 前記遅延操作部は、
   前記遅延の量を十分に小さい値から段階的に増大させていき、前記レベル差異が所定の値となったときに前記遅延の量を固定する、
   請求項１記載の音響処理装置。
5. 前記遅延操作部は、
   前記レベル差異の最小値をホールドし、ホールドした最小値の更新が一定時間内に行われた場合には、遅延量を単調減少させる、
   請求項４記載の音響処理装置。
6. 前記遅延操作部は、
   予め定められた範囲に制限して、前記遅延量の調整を行う、
   請求項１記載の音響処理装置。
7. 前記第１の収音信号と前記第２の収音信号との間に無相関成分が多く含まれているか否かを判定する無相関成分検出部、を更に有し、
   前記遅延操作部は、
   前記無相関成分が多く含まれていると判定されたとき、前記第１の指向性収音信号に基づいて前記遅延の量を調整しない、
   請求項１記載の音響処理装置。
8. 前記比較信号算出部は、
   前記指向性レベル信号から前記無指向性レベル信号を減算して得られる値を、無相関レベル信号として出力し、
   前記無相関レベル信号成分が所定の閾値を超えているとき、前記無相関成分が多く含まれていると判定する、
   請求項７記載の音響処理装置。
9. 指向方向の指定を受け付け、前記遅延操作部により調整された前記遅延の量に相当する音響端子間距離に基づいて、前記指向性合成処理を制御する遅延算出部、を更に有する、
   請求項１記載の音響処理装置。
10. 第１の収音器から出力される第１の収音信号および第２の収音器から出力される第２の収音信号に対して、指向性合成処理を行う音響処理装置における音響処理方法であって、
    前記第１の収音信号に対して前記第２の収音信号を遅延させて合成した第１の指向性収音信号を生成し、前記第２の収音信号に対して前記第１の収音信号を遅延させて合成した第２の指向性収音信号を生成する指向性合成処理部から、前記第１の指向性収音信号および前記第２の指向性収音信号を取得するステップと、
    前記第１の指向性収音信号と前記第２の指向性収音信号とを加算して得られる信号のレベルを示す無指向性レベル信号を生成するステップと、
    前記第１の指向性収音信号のレベルを示す第１のレベル信号と前記第２の指向性収音信号のレベルを示す第２のレベル信号とを加算して得られる指向性レベル信号を生成するステップと、
    前記無指向性レベル信号と前記指向性レベル信号とのレベル差異を取得するステップと、
    前記レベル差異が小さくなるように、前記指向性合成処理部における前記遅延の量を調整するステップと、を有する、
    音響処理方法。

Images