JP4898907B2 - 収音方法および装置 - Google Patents

Description

本発明は、近接配置されたマイクロホンアレイを用いて、音源の方向を推定し、その結果をもとに複数方向の音源を同時に収音するとともに、収音した音をチャネル数や再生機器の異なる任意の再生システムにおいて再生可能とした収音方法および装置に関する。

音場内における収音装置として、複数のマイクロホンを使用したマイクロホンアレイ装置が知られている。このマイクロホンアレイ装置の中で、マイクロホン数の削減を目的として、マイクロホンを実際に設置して収音する代わりに、実際に配置するマイクロホンから収音される音信号をもとにして、想定位置で収音されるであろう音信号を想定する技術が提案されている。特許文献１の発明は、そのような技術の代表的なものであって、次元当たり２本のマイクロホン数で次元方向の任意の位置の収音信号を推定するものである。

この特許文献１の発明では、図６に示すように、マイクロホン１０ａ，ｂを軸方向に２つ配置し、これで収音した音信号を受音信号推定処理部１１に入力する。受音信号推定処理部１１は、音源から前記２つのマイクロホンに到来する音波を平面波であるものと近似して、マイクロホン１０ａ，ｂと同軸上にある位置での推定受音信号を波動方程式により近似表現し、前記２つのマイクロホンそれぞれに到来する音波の平均パワーが等しいと仮定して前記波動方程式の音波の到来方向に依存する係数ｂｃｏｓθを推定し、前記２つのマイクロホンからの受音信号を基にそれらマイクロホンと同軸上の任意の位置の受音信号を推定する。
特開２００１−４５５９０号公報

ところで、テレビ会議システム、ロボット聴覚など、話者の方向推定が重要視されている分野においては、方向推定精度を上げるためにマイク素子の数が多く必要であり、また、ある程度の間隔が必要であった。一般に検討されているマイクロホンアレイは、上記特許文献１の間隔を約３ｃｍとする場合を含め、間隔１００ｍｍ以上のものが殆どである。

また、２ｃｈバイノーラルシステムの場合には、周波数分析やそれと照合するためのデータベースの利用など、コンピュータで実現する際の演算量、メモリリソースの消費量や、演算量などで実現が困難であった。

さらに、マイクロホンアレイの配置、バイノーラルシステムはマイクを実装する筐体の音響特性影響を非常に強く受けるものであった。これにより、方向推定部の実装作成には、多くの手間を必要とした。

また、会議システムにおいては話者毎にマイクが配置され、状況に応じてチャンネルを切り替えていたが、システムの制御は主に手動であり、また、参加者数だけマイクおよび伝送路（チャンネル）が必要となる等、システムの規模やコストが大規模にならざるを得なかった。

本発明は、上記のような従来技術の問題点を解決するために提案されたものであり、その目的は、近接配置された複数のマイクロホンを用いて、空間上の単数あるいは複数存在する音源の位置および方向を推定し、音源の存在する任意の方向に対して、指向性を付けて収音することにより、音源の音響情報を強調する形で収音が可能な収音方法および装置を提供することにある。

本発明は、次のような特徴を有する。
（１）複数の収音用マイクロホンを近接配置し、各収音用マイクロホンには、再生チャネル数に応じた数の制御フィルタを接続し、各チャネルの制御フィルタからの出力信号を各チャネルごとに加算して記録するデジタル信号処理をコンピュータが実行する収音方法である。
（２）前記制御フィルタは、近接配置された複数の収音用マイクロホンの周囲音場内に複数の制御点を設定し、これらの制御点と各収音用マイクロホンとの間の所望応答関数行列と伝達関数行列を実測値に基づいて求め、前記収音用マイクロホンの指向性を指定した場合に、指定された指向性に対応する制御点と各収音用マイクロホン間の所望応答関数行列と伝達関数行列とに基づいて前記制御フィルタの値を決定する。
（３）前記デジタル信号処理では、任意の指向特性を作り出す制御フィルタを角度ごとに複数用意したフィルタ係数セットを前記複数の収音用マイクロホンによって前記音場内から収録した音に畳み込むことより、前記音場内の方向別の音圧分布を算出し、前記音場内における音源の方向を推定し、この方向推定の結果に基づいて指向性制御データを生成する方向推定処理を実行する。
（４）前記デジタル信号処理では、前記制御フィルタを制御して収音時の指向性を決定するために、前記方向推定処理において生成した指向性制御データを、指向性制御手段に入力する指向性制御処理を実行する。
（５）この発明は、上記のような処理を実現する装置の発明として捉えることも可能である。

以上のような態様では、方向推定部処理により得られる方向推定情報を利用し、自動的に音源のある方向へ指向性をつけた集音が可能となる。また、例えば、遠隔地での再生においても、本方向推定結果を用いて集音を行った音場の再構成、バイノーラルソースへの変換を実現することもできる。

好ましい態様では、前記制御フィルタが、制御フィルタ行列をＨ（ω）、所望応答関数行列をＡ（ω）、伝達関数をＣ（ω）とした場合に、Ｈ（ω）＝［Ｃ（ω）T・Ｃ（ω）］-1Ｃ（ω）T・Ａ（ω）で表現され、伝達関数行列Ｃ（ω）との逆行列［Ｃ（ω）T・Ｃ（ω）］-1Ｃ（ω）Tを解くことで得られることを特徴とする。

この態様では、予め設定した制御点についてその所望応答と伝達関数を実測あるいは実測値をもとに演算して求め、この実測値に基づいたデータを基礎にして制御フィルタを決定しているので、収音用デバイスのいずれの方向に対して指向性を与える場合であっても、制御フィルタＨを構成する伝達関数行列Ｃの逆行列［Ｃ（ω）^T・Ｃ（ω）］^-1Ｃ（ω）^Tを、最小二乗法等の近似計算法により解くことで、所望応答に近似した出力を得ることができる。

好ましい態様では、前記方向推定処理は、方向推定アルゴリズムとして、任意の忘却係数を用いて、前記音場内における各方向別に音源のエネルギーを観測し、あらかじめ設定された音源判定の閾値により、音源のある方向を推定するものであることを特徴とする。

この態様では、方向推定アルゴリズムを用いて方向別の音圧分布を算出し任意の忘却係数によって、各方向別にエネルギーを観測し、設定された音源判定の閾値により、音源のある方向を推定することにより、自動的に音源のある方向へ指向性をつけた集音が可能となる。

さらに好ましい態様では、前記方向推定処理は、前記方向推定アルゴリズムにより、前記フィルタ係数セットの切り換えを行って指向性ビームを回転させ、前記音場内における音源のある方向を推定し、検出された音源方向に対してフィルタ係数セットの選択を行うものであることを特徴とする。

この態様では、フィルタ係数セットの切り換えを行って指向性ビームを回転させ、音源のある方向を推定し、検出された音源方向に対してフィルタ係数セットの選択を行うことにより、自動的に音源のある方向へ指向性をつけた集音が可能となる。

本発明によれば、近接配置された複数のマイクロホンを用いて、空間上の単数あるいは複数存在する音源の位置および方向を推定し、音源の存在する任意の方向に対して、指向性を付けて収音することにより、音源の音響情報を強調する形で収音が可能な収音方法および装置を提供することができる。

本発明に使用するマイクロホンの構成例を示す図であって、（Ａ）は側面図（Ｂ）は正面図。 本発明の収音システムを構成する制御フィルタＨを得るためのアルゴリズムを示す再生等化回路図。 本発明における所望応答を音場空間内に設定した状態を示す図。 本発明の収音システムの一実施形態を示すブロック図。 マイクロホンの周囲５方向に指向性を設定した状態を示す図。 本発明におけるフィルタ係数セットによる指向性を形成した状態を示す図。 本発明における任意の忘却係数を生成するため一実施形態を示すブロック図。 本発明におけるフィルタ係数切り替えによる指向性ビームの回転状態を示す図。 本発明における方向推定部の処理を示すフローチャート。 従来の収音システムの一例を示すブロック図。

符号の説明

Ｍ１〜Ｍ４…マイクロホン
１…収音デバイス
２…デジタル信号処理部
２１…指向性制御部
２２…方向推定部
３…モニタリング処理部
３１…仮想音源再生処理部
３２…チャネル指定部
４…再生処理部
Ａ…所望応答
Ｃ…伝達関数
Ｈ…制御フィルタ
Ｉ₁〜Ｉ_M…収音用マイクロホン（収音用デバイス）
Ｈ₁₁〜Ｈ_MN…収音システム用の制御フィルタ
Σ₁〜Σ_N…加算器
Ｏ₁〜Ｏ_N…再生出力部
Ｓ1，Ｃ₁〜Ｓ_n，Ｃn…仮想音源再生処理部の制御フィルタ
Ｏ₁，Ｏ₂…モニタリング用出力部

次に、本発明の収音システムの一実施形態を図面に従って具体的に説明する。なお、本出願人は本発明に先立ち、近接配置されたマイクロホンアレイを用いて任意の方向に指向性を向けて収音する技術に関する先願（特願２００５−３５１３５９号）をすでに提案している。本発明は、この先願発明に「方向推定部」を加えた点に特徴を有するものである。

［１．実施形態の概略的構成］
（１）収音用デバイスの一例
図１は、本実施形態における収音用デバイス１を構成する４つのマイクロホンＭ１〜Ｍ４の一例を示すもので、これらのマイクロホンＭ１〜Ｍ４はホルダ１２内にその収音面を同一方向に向けて収容されている。

各マイクロホンＭ１〜Ｍ４の間隔は、空間サンプリングの観点から収音したい音波の４分の１波長よりも短い間隔が望ましく、収音する音波をオーディオ帯域とした場合には１０ｍｍ程度の間隔で配置する。ただし、この寸法は、本実施形態に限定されるものではなく、応用分野によって、１００ｍｍ程度から、５０〜１ｍｍ程度でも構わない。また、収音するチャネル数（マイクロホン数）は２以上であれば良い。

（２）再生等化回路
本発明の収音システムに使用するアルゴリズムの一例を、図２に示す再生等化回路によって説明する。前記各マイクロホンＭ１〜Ｍ４の出力側は、それぞれ図２に示すような再生等化回路に接続されている。この再生等化回路は、目標信号を出力する所望応答Ａと、この所望応答Ａと並列に接続された伝達系Ｃ及び制御フィルタＨと、前記所望応答Ａと制御フィルタＨからの出力を加算して誤差ｅを出力する加算器Σとから構成されている。

前記所望応答Ａは、下記の数１式で表現される伝達関数行列Ａ（ω）によって求められる。
[数１]

ここで、所望応答の行列Ａ（ω）は、図３に示す通り、マイクロホンＭ１〜Ｍ４を音場空間の収音位置に配置した状態で、その周囲にｑ個の制御点を設定し、各制御点からのインパルス応答を実測することによって取得する。この場合、図３では、マイクロホンＭ１〜Ｍ４の周囲３６０°を１５°置きに実測しているが、制御点数は必ずしもこれに限定されるものではない。また、マイクロホンＭ１〜Ｍ４と各制御点との距離も１ｍとしているが、この距離についても特に限定はない。さらに、これら実測した各制御点以外の個所における所望応答については、補間法などによって計算することにより取得する。

前記伝達系Ｃは、下記の数２式で表現される伝達関数行列Ｃ（ω）によって求められる。
［数２］

ここで、Ｃ₁₁（ω）………Ｃ_1M（ω）は、１番目の制御点と各マイク間の伝達係数を示し、Ｍが制御点数を示している。また、Ｃ_N1（ω）………Ｃ_NM（ω）は、Ｎ番目の制御点と各マイク間の伝達係数を示している。この伝達関数Ｃ₁₁（ω）………Ｃ_1M（ω）は、各マイクロホンＭ１〜Ｍ４と各制御点間の伝達特性（減衰や遅れなど）を実測することによって求める。

前記制御フィルタＨは、前記所望応答伝達関数行列Ａ（ω）と伝達関数行列Ｃ（ω）に基づいて、下記の数３式により求められる。
［数３］

すなわち、前記の各式から明らかなように、図２の再生等化回路においては、加算器Σによって所望応答伝達関数行列Ａ（ω）から制御フィルタＨに含まれているＡ（ω）を減算しているため、再生等化回路から出力される誤差ｅを最小とするような制御フィルタＨを得るためには、制御フィルタＨを構成する伝達関数行列Ｃの逆行列［Ｃ（ω）^T・Ｃ（ω）］^-1Ｃ（ω）^Tを、最小二乗法などの近似計算法により解けばよいことになる。この場合、最小二乗法に基づく解法は、最急降下など各種数値計算法を適用することができる。

［２．実施形態の具体的構成］
（１）全体構成
本実施形態の収音システムは、図４に示すように、前記のような複数のマイクロホンと各マイクロホンの出力側に接続された制御フィルタＨに対して、モニタリングシステム及び再生システムを組み合わせることにより構成される。なお、図１では、収音デバイスとして、４個のマイクロホンを示したが、図４の実施形態では、収音用のマイク数をＭ、再生チャネル数をＮとしている。

図４において、１は収音用デバイス、２はデジタル信号処理部、３はモニタリング処理部、４は再生処理部であって、収音用デバイス１は、収音用のマイクロホンＩ₁〜Ｉ_Mを備えている。

（２）デジタル信号処理部の構成
デジタル信号処理部２は、各収音用マイクロホンＩ₁〜Ｉ_Mの出力側に接続された制御フィルタＨ₁₁〜Ｈ_MNを備えている。すなわち、各収音用マイクロホンＩ₁〜Ｉ_Mには、それぞれ再生チャネル数Ｎに対応した制御フィルタＨが接続されている。また、各マイクロホンに接続されている各チャネル用の制御フィルタＨは、各再生チャネル用の加算器Σ₁〜Σ_Nに接続されている。

このデジタル信号処理部２における各制御フィルタＨ₁₁〜Ｈ_MNには、収音用マイクロホンＩ₁〜Ｉ_Mの指向性を決定するための制御データを入力するための指向性制御部２１が接続されている。すなわち、この指向性制御部２１は、各収音用マイクロホンＩ₁〜Ｉ_Mによって音場内から収録した音の中で、所望の方向と位置から発せられた音を強調して収音するために、デジタル信号処理部２に対してその方向と位置を制御データとして入力する。

（２−１）指向制御部の構成
この指向性制御部２１には、ユーザがエンコーダやキーボートにより制御データを直接手入力するか、コンピュータプログラムによって経時的に変化する制御データを入力する。この場合、入力する指向性の制御データとしては、後述する方向推定部２２の処理によって得られる所望応答を測定した前記ｑ個の制御点の１カ所あるいは複数箇所を指定する。

例えば、出力チャネルが１チャネルの場合には、１カ所の制御点のみを指定すればよいし、マルチチャネルの場合には、出力チャネル数と方向に対応した数と方向の制御点を制御データとして入力する。図５は、５チャネル再生システム用として、図１に示すマイクロホンＭ１〜Ｍ４周囲の５方向に対してマイクの指向性を持たせ、その方向の音を強調して収音する状態を示すものである。

この指向性制御部２１は、後述する方向推定部２２の処理によって制御点が入力されると、実測値から得られたその制御点に関する所望応答伝達関数行列Ａ（ω）と伝達関数行列Ｃ（ω）とに基づいて、前記（２）に示したアルゴリズムに従って、各制御フィルタＨ₁₁〜Ｈ_MNの値を決定する演算を行い、その演算結果をデジタル信号処理部２に出力する。

（２−２）方向推定部の構成
次に、本発明の特徴的構成である方向推定部２２の構成について説明する。
方向推定部２２は、指向性制御部２１の処理に先立ち、あらかじめ、任意の指向特性を作り出すフィルタＨを角度ごとに複数用意したフィルタ係数セットを備える。

方向推定部２２は、このフィルタ係数セットを各収音用マイクロホンＩ₁〜Ｉ_Mによって音場内から収録した音に畳み込むことより、方向別の音圧分布を算出して、音源の方向推定を行うものである。また、フィルタＨを高速に切り換えることで常に駆動する制御フィルタを限定し、演算量を抑えながらもあらゆる方向の音源音圧分布算出を行うものである。そして、この方向推定の結果をデジタル信号処理部２に対して制御データとして入力するものである。以下、具体的構成として、（Ａ）フィルタ係数セット、（Ｂ）方向推定の手法、（Ｃ）推定アルゴリズムについて具体的に説明する。

（Ａ）フィルタ係数セットについて
フィルタ係数とは、各方向に指向性を形成するための係数であり、任意１方向につき１セット用意する。このセットは、予め設計されたものを蓄積させておく。理論上は、全方向に対し、無限個の係数セットを用意することが望ましいが、実際にはメモリ等、ハードウェア資源のさまざまな制約があるため、一定間隔に間引いた状態で複数方向に対応する複数のフィルタ係数セットを用意する。

本実施形態では、図６のイメージ図に示すように、所定の８方向に対して８個のフィルタ係数セットを用意し、それをマイクロホンアレイからの入力に畳み込むように設定している。

（Ｂ）方向推定の手法
上記のようなフィルタ係数セットを切り替えることにより、任意の方向に向けて指向性を形成することができる。これを利用して、方向推定部２２は、逐次的にフィルタセットを切り替え、任意の方向における音場のエネルギーを計測する。すなわち、方向推定部の指向性付けをリアルタイムに変化させることで、単位時間内にあらゆる方向の音圧分布を得るものである。

これは、常に駆動する制御フィルタＨ₁₁〜Ｈ_MNを少数に限定し、演算量を抑えながら、あらゆる方向における音圧分布の観測を行なうものである。

以上のようなフィルタ係数セットと、方向推定の手法により、本実施形態の方向推定部２２は、あらかじめ設定した複数の方向における音場のエネルギーを観測し、以下の推定アルゴリズムにより、音源の方向推定を行なうものである。

（Ｃ）方向推定アルゴリズム
方向推定部２２の方向推定アルゴリズムは、図７にそのブロック図を示すように、任意の忘却係数（Forgetting Factor）を用いて、各方向別にエネルギーを観測し、設定された音源判定の閾値により、音源のある方向を推定するものである。忘却係数の値および音源判定の閾値は、使用用途に応じて最適な設定が望まれる。

この方向推定アルゴリズムにより、図８のイメージ図に示すように、フィルタ係数セットの切り換えを行って指向性ビームを回転させ、音源のある方向を推定し、検出された音源方向に対してフィルタ係数セットの選択を行うものである。

（３）その他の構成
モニタリング処理部３は、ヘッドホンや２チャネルスピーカのような２チャネルのモニタリング用出力部Ｏ₁，Ｏ₂を備えている。このモニタリング用出力部Ｏ₁，Ｏ₂には、前記各再生チャネルの加算器Σ₁〜Σ_Nからの信号が、仮想音源再生処理部３１を介して出力される。

すなわち、仮想音源再生処理部３１は、各再生チャネルの加算器Σ₁〜Σ_Nからの信号を左右のスピーカあるいはヘッドホン用に分割し、この分割された左右の信号をそれぞれ制御フィルタＳ₁，Ｃ₁〜Ｓ_n，Ｃ_nを通過させた後、各再生チャネルの右側の制御フィルタＳ₁〜Ｓ_nの出力を加算器Σ_O1によって加算してモニタリング用出力部Ｏ₁に、また、各再生チャネルの左側の制御フィルタＣ₁〜Ｃ_nの出力を加算器Σ_O2によって加算してモニタリング用出力部Ｏ₂に出力する。

この場合、前記制御フィルタＳ₁，Ｃ₁〜Ｓ_n，Ｃ_nは、モニタリング用出力部Ｏ₁，Ｏ₂として使用するスピーカやヘッドホンなどののデバイスによって異なるフィルタ係数を有するもので、各デバイスごとに聴取者の両耳での受聴に適応した信号を生成する。

また、モニタリング処理部３には、前記デジタル信号処理部２によって収音すべき所定の制御点を指定した場合に、いずれのチャネルの音をモニタリングするかを指定するためのチャネル指定部３２が設けられている。このチャネル指定部３２は、デジタル信号処理部２から出力される各チャネルの信号の中から、モニタリングを行うチャネルの信号のみを指定して仮想音源再生処理部３１に入力させるものである。

再生処理部４は、前記デジタル信号処理部２における各チャネル用の加算器Σ₁〜Σ_Nからの信号を出力する各チャネルの再生出力部Ｏ₁〜Ｏ_Nを有している。この再生出力部Ｏ₁〜Ｏ_Nは、さらにステレオシステム、５．１チャネルサラウンドシステム、仮想音源再生処理部などの任意の再生システムの入力に接続されている。

［３．実施形態の作用］
（１）指向性制御部の制御点の設定
以上のような構成を有する本実施形態の収音システムの作用は次の通りである。まず、収音に先立って、複数の各収音用デバイスを近接した状態で音場空間内に配置し、その周囲に複数の制御点を設定する。その状態で、各制御点から発した音を各収音デバイスで収録することにより、各制御点と各収音用デバイス間の所望応答関数行列Ａ（ω）と伝達関数行列Ｃ（ω）を測定値から求め、これらを指向性制御部２１内に格納しておく。

一方、再生処理を行うに当たって、何チャネル分の再生を行うかを決定し、再生処理部４にチャネル数分の再生デバイスを用意し、これらの再生デバイスデジタル信号処理部２に設けられた各チャネルの再生出力部Ｏ₁〜Ｏ_Nに接続しておく。また、制御フィルタＨ₁₁〜Ｈ_MNも、近接配置した各収音デバイスＩ₁〜Ｉ_Mごとに、再生チャネル分用意しておく。

なお、再生チャネル数は予め決定しておく必要はなく、各収音用デバイスによって収録した音を記憶装置に格納しておき、再生チャネル数が決定された後に、必要とする数の制御フィルタと加算器を有するデジタル信号処理部２と、再生用デバイスを用意することもできる。

このような状態で、各収音用デバイスＩ₁〜Ｉ_Mによって収録された音は、方向推定部２２に入力される。

（２）方向推定部の処理
ここで、方向推定部２２は、任意の指向特性を作り出すフィルタＨを角度ごとに複数用意したフィルタ係数セットを、各収音用マイクロホンＩ₁〜Ｉ_Mによって音場内から収録した音に畳み込むことより、方向別の音圧分布を算出して、音源の方向推定を行う。この処理を図９のフローチャートを用いて説明する。

図９に示すように、方向推定部２２は、まず、あらかじめ用意したフィルタ係数の切り替えにより、指向性ビームの回転を行い（図８のイメージ図参照）、任意の方向における音場のエネルギーを計測する（ＳＴＥＰ１）。

次に、ＳＴＥＰ１における計測に基づいて、方向推定アルゴリズムを用いて音源の方向を検出する（ＳＴＥＰ２）。具体的には、方向推定部２２は、任意の忘却係数（Forgetting Factor）を用いて、各方向別にエネルギーを観測し、設定された音源判定の閾値により、音源のある方向を推定する。次に、音源のある方向が検出されたか否かを確認し（ＳＴＥＰ３）、音源のある方向が方向が検出されていない場合には（ＮＯ）、ＳＴＥＰ２に戻り、ＳＴＥＰ２〜ＳＴＥＰ３の処理を繰り返す。一方、音源のある方向が検出された場合には（ＹＥＳ）、ＳＴＥＰ４へ進む。

音源の方向が検出されると（ＳＴＥＰ３のＹＥＳ）、当該方向を強調するフィルタ係数セットを選択し（ＳＴＥＰ４）、これを指向性制御部２１に入力する（ＳＴＥＰ５）。

（３）指向性制御部の処理
上記のような方向推定部２２の処理により、指向性制御部２１に対してどの方向の音を強調して収音するかが入力されると、指向性制御部２１では、入力された方向と位置（収音用デバイスからの距離）に基づいて、予め所望応答関数および伝達関数を実測してある（もしくは実測値から演算して求めた）制御点を選択し、その制御点ｑの所望応答関数行列および伝達関数行列を呼び出して、これらを前記数３式に代入することで、制御フィルタＨ₁₁〜Ｈ_MNの値を演算して求める。

この場合、各収音用デバイスＩ₁〜Ｉ_Mと制御点ｑとの距離や方向が異なるためにその所望応答関数と伝達関数もそれぞれ異なっており、また、再生チャネルが複数ある場合には、各チャネルごとに収音用デバイスに与える指向性の方向（収音用デバイスが強調して収音する方向）が異なるので、各制御フィルタの値も異なってくる。

このようにして、各制御フィルタの値が決定されると、これら制御フィルタＨ₁₁〜Ｈ_MNによって、各収音用デバイスの音中で所望の方向の音のみが各チャネルごとに強調される。その後、各制御フィルタからの信号が、各チャネルごとに加算器Σ₁〜Σ_Nによって加算され、それが各チャネルの出力部再生出力部Ｏ₁〜Ｏ_Nから各チャネルの再生用デバイスに出力される。

次に、本実施形態において、再生チャネルのモニタリングを行うには、モニタリング処理部３に対してチャネル指定部３２からモニタリングを行いたいチャネルを指定する。すると、デジタル信号処理部に設けられた各チャネルの加算器Σ₁〜Σ_Nからの信号の中から、所望のチャネルの信号のみが選択され、その信号が制御フィルタＳ1，Ｃ₁〜Ｓ_n，Ｃnを介して、モニタリング用の再生デバイスである２チャネルのスピーカやヘッドホンに出力される。この場合、出力する再生用デバイスに応じて、前記制御フィルタＳ1，Ｃ₁〜Ｓ_n，Ｃnの係数を設定することで、再生用デバイスの種類にかかわらず最適な出力を得るこ
とができる。

［４．実施形態の効果］
以上のような本実施形態では、方向推定部２２が各方向に指向性を形成するための係数であるフィルタ係数セットを各収音用マイクロホンＩ₁〜Ｉ_Mによって音場内から収録した音に畳み込むことより、方向推定アルゴリズムを用いて方向別の音圧分布を算出し任意の忘却係数によって、各方向別にエネルギーを観測し、設定された音源判定の閾値により、音源のある方向を推定することができる。

そして、この方向推定部２２により得られる方向推定情報を利用し、自動的に音源のある方向へ指向性をつけた集音が可能となる。また、遠隔地での再生においても、本方向推定結果を用いて集音を行った音場の再構成、バイノーラルソースへの変換を実現することもできる。

このような方向推定部を用いることによって、例えば、ロボットの音源方向推定、すなわち、ロボット耳のための音源方向推定センサ、カクテルパーティ効果の実現などへの利用することができるようになる。また、マルチチャネル録音システム、すなわち、５．１ｃｈ録音などに適用可能である。さらに、高臨場感通信システム、例えば、ロボットや、会議システムなど、自分がその場に行かなくても、遠隔地においても当該の場所と同じような音場空間を創出することが可能である。

また、予め設定した制御点ｑについてその所望応答と伝達関数を実測あるいは実測値をもとに演算して求め、この実測値に基づいたデータを基礎にして制御フィルタを決定しているので、収音用デバイスのいずれの方向に対して指向性を与える場合であっても、制御フィルタＨを構成する伝達関数行列Ｃの逆行列［Ｃ（ω）^T・Ｃ（ω）］^-1Ｃ（ω）^Tを、最小二乗法等の近似計算法により解くことで、所望応答に近似した出力を得ることができる。

また、本実施形態では、デジタル信号処理部２からの出力をモニタリング処理部３に導き、２チャネルの再生用デバイス入出力するように構成したので、いずれの再生チャネルに対する出力であっても、モニタリング処理部３に設けられたチャネル指定部３２を操作するだけで、他のチャネル音とは明確に区別して聴取できる。もちろん、この場合も、単一の再生チャネルの音のみをモニタリングすることも可能であるが、加算器Σ₁〜Σ_Nから出力された複数のチャネルの音を同時にモニタリング用デバイスに出力することもできる。

Claims (8)

1. 複数の収音用マイクロホンを近接配置し、各収音用マイクロホンには、再生チャネル数に応じた数の制御フィルタを接続し、各チャネルの制御フィルタからの出力信号を各チャネルごとに加算して記録するデジタル信号処理をコンピュータが実行する収音方法において、
   前記制御フィルタは、近接配置された複数の収音用マイクロホンの周囲音場内に複数の制御点を設定し、これらの制御点と各収音用マイクロホンとの間の所望応答関数行列と伝達関数行列を実測値に基づいて求め、前記収音用マイクロホンの指向性を指定した場合に、指定された指向性に対応する制御点と各収音用マイクロホン間の所望応答関数行列と伝達関数行列とに基づいて前記制御フィルタの値を決定するものであって、
   前記デジタル信号処理は、
   任意の指向特性を作り出す制御フィルタを角度ごとに複数用意したフィルタ係数セットを前記複数の収音用マイクロホンによって前記音場内から収録した音に畳み込むことより、前記音場内の方向別の音圧分布を算出し、前記音場内における音源の方向を推定し、この方向推定の結果に基づいて指向性制御データを生成する方向推定処理と、
   前記制御フィルタを制御して収音時の指向性を決定するために、前記方向推定処理において生成した指向性制御データを、指向性制御手段に入力する指向性制御処理と、
   を実行することを特徴とする収音方法。
2. 前記制御フィルタが、制御フィルタ行列をＨ（ω）、所望応答関数行列をＡ（ω）、伝達関数をＣ（ω）とした場合に、Ｈ（ω）＝［Ｃ（ω）T・Ｃ（ω）］-1Ｃ（ω）T・Ａ（ω）で表現され、伝達関数行列Ｃ（ω）との逆行列［Ｃ（ω）T・Ｃ（ω）］-1Ｃ（ω）Tを解くことで得られることを特徴とする請求の範囲第１項に記載の収音方法。
3. 前記方向推定処理は、方向推定アルゴリズムとして、任意の忘却係数を用いて、前記音場内における各方向別に音源のエネルギーを観測し、あらかじめ設定された音源判定の閾値により、音源のある方向を推定するものであることを特徴とする請求の範囲第１又は２項に記載の収音方法。
4. 前記方向推定処理は、前記方向推定アルゴリズムにより、前記フィルタ係数セットの切り換えを行って指向性ビームを回転させ、前記音場内における音源のある方向を推定し、検出された音源方向に対してフィルタ係数セットの選択を行うものであることを特徴とする請求の範囲第３項に記載の収音方法。
5. 近接配置された複数の収音用マイクロホンと、各収音用マイクロホンによって収音された音を処理するデジタル信号処理部と、を備えた収音装置において、
   前記デジタル信号処理部には、前記複数の収音用マイクロホンのそれぞれに接続された前記再生チャネル数に対応した数の制御フィルタと、各収音用マイクロホンに接続された各再生チャネルの制御フィルタの出力を各チャネルごとに加算するチャネル数に対応した数の加算器が設けられ、
   前記制御フィルタは、近接配置された複数の収音用マイクロホンの周囲音場内に複数の制御点を設定し、これらの制御点と各収音用マイクロホンとの間の所望応答関数行列と伝達関数行列を実測値に基づいて求め、前記収音用マイクロホンの指向性を指定した場合に、指定された指向性に対応する制御点と各収音用マイクロホン間の所望応答関数行列と伝達関数行列とに基づいて前記制御フィルタの値を決定するものであって、
   前記デジタル信号処理部には、
   任意の指向特性を作り出す制御フィルタを角度ごとに複数用意したフィルタ係数セットを前記複数の収音用マイクロホンによって前記音場内から収録した音に畳み込むことより、前記音場内の方向別の音圧分布を算出し、前記音場内における音源の方向を推定し、この方向推定の結果に基づいて指向性制御データを生成する方向推定部と、
   前記制御フィルタを制御して収音時の指向性を決定するために、前記方向推定部において生成した指向性制御データを入力する指向性制御部と、
   を備えることを特徴とする収音装置。
6. 前記制御フィルタが、制御フィルタ行列をＨ（ω）、所望応答関数行列をＡ（ω）、伝達関数をＣ（ω）とした場合に、Ｈ（ω）＝［Ｃ（ω）T・Ｃ（ω）］-1Ｃ（ω）T・Ａ（ω）で表現され、伝達関数行列Ｃ（ω）との逆行列［Ｃ（ω）T・Ｃ（ω）］-1Ｃ（ω）Tを解くことで得られることを特徴とする請求の範囲第４項に記載の収音装置。
7. 前記方向推定部は、方向推定アルゴリズムとして、任意の忘却係数を用いて、前記音場内における各方向別に音源のエネルギーを観測する手段と、あらかじめ設定された音源判定の閾値により、音源のある方向を推定する手段とを備えたことを特徴とする請求の範囲第５又は６項に記載の収音装置。
8. 前記方向推定部は、前記方向推定アルゴリズムにより、前記フィルタ係数セットの切り換えを行って指向性ビームを回転させる手段と、前記音場内における音源のある方向を推定する手段と、検出された音源方向に対してフィルタ係数セットの選択する手段と備えたことを特徴とする請求の範囲第７項に記載の収音方法。