JP6460676B2 - 信号処理装置および信号処理方法 - Google Patents

Description

本発明は、音響処理を行う信号処理装置および信号処理方法に関する。

音響信号から不要な雑音を除去する技術は、音響信号に含まれる目的音に対する聴感を改善し、また、音声認識においては認識率を高めるために重要な技術である。音響信号の雑音を除去する技術として代表的なものにビームフォーマがある。これは、複数のマイク素子で収音した複数チャンネルのマイク信号にそれぞれフィルタリングを施してから加算し、単一の出力信号を得るものである。上記のフィルタリングと加算の処理が、複数のマイク素子で指向性、すなわち方向選別性を持つ空間的なビームパターンを形成することに対応するため、ビームフォーマと呼ばれる。

ビームパターンの感度（ゲイン）がピークとなる部分をメインローブといい、メインローブが目的音の方向を向くようにビームフォーマを構成すれば、目的音を強調し、同時に目的音と異なる方向に存在する雑音を抑制することができる。しかしながら、ビームパターンのメインローブは、特にマイク素子数が少ない場合に広い幅を持つなだらかな曲線となる。このため、ビームパターンのそのようなメインローブを目的音の方向に向けても、目的音に近接するような雑音を十分に除去することはできない。

そこでメインローブではなく、ビームパターンの感度がディップとなる部分である、ヌル（死角）を利用した雑音除去の方法が提案されている。すなわち、鋭いヌルを雑音の方向に向けることで、近接する目的音を削ることなく、雑音のみを十分に除去することができる。このように、特定の方向に固定的にヌルを形成するビームフォーマを固定ビームフォーマと呼ぶ。ここで、ヌルを向ける方向が正確でないと、雑音除去の性能が大きく劣化するため、音源方向の推定が重要となってくる。

固定ビームフォーマに対し、ビームパターンのヌルが自動的に形成されるビームフォーマを適応ビームフォーマと呼び、適応ビームフォーマを音源方向の推定に用いることができる。目的音や雑音をパワーが空間的に一点に集中した方向性音源と考えれば、出力パワーを最小化する規範に基づく適応ビームフォーマを用いることで、音源方向にヌルを自動的に形成するようなフィルタ係数が得られる。よって、音源方向を知るためには、適応ビームフォーマのフィルタ係数で形成されるビームパターンを算出して、そのヌル方向を求めればよい。ビームパターンは、アレイ・マニフォールド・ベクトルと呼ばれる各方向の音源と各マイク素子間の伝達関数を、フィルタ係数に掛け合わせることで算出することができる。例えば、方向−１８０°から１８０°まで１°刻みのアレイ・マニフォールド・ベクトルを用いて、フィルタ係数が何度の方向に、感度のディップであるヌルを持っているかを調べる。

ここで、一般にビームフォーマのような音源分離においては、マイクが自由空間に配置されたものと仮定して、自由空間の理論式によるアレイ・マニフォールド・ベクトルを用いることが多い。自由空間では遮るものなく理想的に音が伝搬するため、例えばマイク素子間の伝搬遅延時間差、すなわちアレイ・マニフォールド・ベクトル要素間の周波数ごとの位相差は、幾何的にマイク間隔をパラメータとする理論式で求められる。一方、マイクが自由空間ではなく、筐体の近傍や内部に配置された場合は、筐体による音の回折・遮断・散乱などが生じるため、上記位相差は自由空間の理論値から乖離する。また、各音源方向に対するマイク素子間の信号の振幅差も、マイク素子が配置される筐体の影響を受ける。

以上のように、マイク素子間の振幅差や位相差は、マイクが配置される筐体の影響によって大きく変化するため、各方向の音源と各マイク素子間の伝達関数であるアレイ・マニフォールド・ベクトルも、筐体の影響によって変化する。ビームパターンの算出に用いられるアレイ・マニフォールド・ベクトルがそのような変化に追従していないと、音源方向の正確な推定ができなくなる。特許文献１では、独立成分分析を利用して筐体の影響を含むアレイ・マニフォールド・ベクトルを推定することが示されている。また、特許文献２では、折り畳み式携帯電話などで筐体可動部にマイクが付けられた場合に、筐体可動部の開閉状態に応じて変化するマイク位置座標を逐次取得し、音源分離処理のパラメータとして用いることが記載されている。

特開２０１１−１９９４７４号公報 特開２０１０−２７８９１８号公報

しかしながら、特許文献１，２に記載された方法では、依然として音源推定の精度を維持できない場合がある。特許文献１の方法は、例えばカムコーダの内蔵マイクを使う場合は、カムコーダの筐体の影響を含むアレイ・マニフォールド・ベクトルを推定して用いることができると考えられる。しかし、音響信号の取得に用いるマイクを内蔵マイクから外部マイクに切り替えるような場合、外部マイクはカムコーダから離れることで、カムコーダの筐体の影響を受けにくくなる。すなわち、内蔵マイクと外部マイクとではアレイ・マニフォールド・ベクトルは大きく変化する。特許文献１では、このようなマイクが切り替わる場合を想定したアレイ・マニフォールド・ベクトルの選択について何等考慮されていない。

また、特許文献２の方法は、マイク位置座標を音源分離処理のパラメータとしているため、自由空間を想定していると考えられる。しかし、実際のカムコーダなどの音響処理においては、音響処理に用いるアレイ・マニフォールド・ベクトルが筐体による回折等の影響を受ける。さらに、たとえマイク位置座標が変化しなかったとしても、例えばカムコーダのレンズ交換やズームによって筐体の形状が変化すると、それに伴ってアレイ・マニフォールド・ベクトルも変化すると考えられる。しかしながら、特許文献２では、このような筐体の形状変化による回折等への影響を考慮した、アレイ・マニフォールド・ベクトルの選択については考えられていない。

本発明は上述した問題を解決するためになされたものであり、高精度な音響処理を実現する信号処理装置および信号処理方法を提供することを目的とする。

上記目的を達成するための本発明の一態様による信号処理装置は以下の構成を有する。すなわち、
形状が可変である所定の機器を装着可能な信号処理装置であって、
前記信号処理装置が有するマイクから複数チャネルの音響信号を取得する音取得手段と、
前記信号処理装置に装着された前記機器の形状の変化に伴って変化するパラメータを取得するパラメータ取得手段と、
方向に応じた音の伝搬特性を表す情報であって前記機器の形状に応じた伝搬特性を表す情報を、前記パラメータ取得手段により取得されたパラメータに基づいて取得する情報取得手段と、
前記音取得手段により取得された音響信号を、前記情報取得手段により取得された情報を用いて処理する処理手段と、を有する。

本発明によれば、機器の状態の変化に応じてアレイ・マニフォールド・ベクトルが選択されるので、高精度な音響処理を実現することができる。

実施形態に係る信号処理装置の構成例を示すブロック図。 筐体がアレイ・マニフォールド・ベクトルに及ぼす影響を説明する図。 アレイ・マニフォールド・ベクトルの選択がビームパターンに及ぼす影響を説明する図。 音源方向の推定精度が雑音除去の性能に及ぼす影響を説明する図。 実施形態に係る音響処理を説明するフローチャート。 実施形態に係る平均ビームパターン算出処理を示すフローチャート。 実施形態に係る外部マイク間隔推定処理を説明する図。 実施形態に係る外部マイク間隔推定処理を説明する図。 実施形態に係る外部マイク間隔推定処理のフローチャート。 実施形態に係る代用アレイ・マニフォールド・ベクトル選択処理のフローチャート。

以下、添付の図面を参照して、本発明の好適な実施形態の一例を詳細に説明する。なお、以下の実施形態において示される構成等は一例に過ぎず、本発明は実施形態において記載され、図示された構成に限定されるものではない。なお、図面において各方向の音源と各マイク素子間の伝達関数を示すアレイ・マニフォールド・ベクトル（Array Manifold Vector）はＡＭＶと略記している。

まず、筐体の影響によるマイク素子間の位相差の理論値からの乖離について図２を参照して説明する。図２（ａ）の細線は、２つのマイク素子を内蔵マイクとして持つカムコーダについて、無響室のトラバース装置で実測した、各音源方向に対するマイク素子間の位相差を周波数ごとに示したものである。ここで、２つの内蔵マイク素子を結ぶ線分の垂直二等分線の方向に、カムコーダの撮影方向である正面０°がある。また、周波数については１８７．５Ｈｚから１８７．５Ｈｚおきに１８７５Ｈｚまで表示しており、周波数が高いほど位相差も大きくなる傾向がある。一方、図２（ａ）の滑らかな太線は、上記内蔵マイクの間隔をパラメータとして用いた、周波数ごとの自由空間の理論値を表している。各周波数において、２つのマイク素子を結ぶ線分の方向である±９０°方向で、幾何的に位相差が最大となっている。ここで、同じ周波数における位相差の理論値と実測値を比較すると、カムコーダの筐体による回折等の影響によって、実測値は自由空間の理論値より大きくなる傾向があることが分かる。

同様に図２（ｂ）の細線は、上記カムコーダについて、各音源方向に対するマイク素子間の振幅差の実測値を、周波数ごとに示したものである。ここで、振幅差は振幅和によって正規化されており、−１から１の範囲を取るものとする。位相差と同様に、周波数が高いほど、また横方向である±９０°付近で、振幅差が大きくなる傾向がある。一方、図２（ｂ）の太線は、逆二乗則による距離減衰を考慮した自由空間の理論値であるが、数ｃｍ程度のマイク間隔ではほとんど振幅差を生じないことが分かる。以上のように、マイク素子間の振幅差や位相差は、マイクが配置される筐体の影響を受けて大きく変化する。

次に、アレイ・マニフォールド・ベクトルの選択がビームパターンに及ぼす影響について具体的に説明する。図３は、適応ビームフォーマのビームパターンの算出に用いるアレイ・マニフォールド・ベクトルの選択が、ビームパターンおよび音源方向推定に及ぼす影響を示したものである。ここで、ビームパターンは周波数ごとに得られるが、図３の細線はその一部として、７５０Ｈｚから７５０Ｈｚおきに７５００Ｈｚまでのビームパターンを表示している。また、図３の太線は、各周波数のビームパターンを平均化した、平均ビームパターンを表示したものである。

図３（ａ）は、−３０°方向に音源を配置し、自由空間に配置したマイクで音響信号を取得して適応ビームフォーマのフィルタ係数を算出し、そのビームパターンを算出・表示したものである。ここで、アレイ・マニフォールド・ベクトルは、マイク間隔をパラメータとする自由空間の理論式により生成したものを用いている。これにより、マイクの自由空間配置という音響信号取得時の状態に対応するアレイ・マニフォールド・ベクトルを選択して用いていることと等価になる。この結果、図３（ａ）の太線のように、音源方向である−３０°方向にヌルが形成された平均ビームパターンが得られ、図３（ａ）の縦点線で示される平均ビームパターンのヌル方向から音源方向を正確に知ることができる。なお、−９０°から０°を通って９０°までのビームパターンと、−９０°から±１８０°を通って９０°までのビームパターンは対称形となる。

一方、図３（ｂ）および図３（ｃ）は、−４０°方向に音源を配置し、カムコーダの内蔵マイクで音響信号を取得して適応ビームフォーマのフィルタ係数を算出し、そのビームパターンを算出・表示したものである。図３（ｂ）では、この内蔵マイクの間隔をパラメータとして用いて自由空間の理論式で生成したアレイ・マニフォールド・ベクトルを用いている。この状況は、カムコーダの筐体の影響を受けている音響信号取得時の状態とは異なるアレイ・マニフォールド・ベクトルを選択して用いていることになる。この結果、たとえば図３（ｂ）の太線のように、平均ビームパターンは−９０°を中心として広く浅くへこんでいるだけとなり、適切にヌルが形成されているとは言い難い。このため、平均ビームパターンのヌル方向から正確に音源方向を推定することはできない。

図３（ｃ）では、各方向の音源とカムコーダの内蔵マイク間の伝達関数として、無響室で実測したアレイ・マニフォールド・ベクトルを用いている。これは、カムコーダの筐体の影響を受けている音響信号取得時の状態に対応するアレイ・マニフォールド・ベクトルを選択して用いていることを意味する。この結果、図３（ｃ）の太線のように、音源方向である−４０°方向にヌルが形成された平均ビームパターンが得られ、図３（ｃ）の縦点線で示される平均ビームパターンのヌル方向から、音源方向を正確に知ることができる。なお、カムコーダのように筐体の形状が撮影方向に対して概ね対称形である場合は、−９０°から０°を通って９０°までのビームパターンと、−９０°から±１８０°を通って９０°までのビームパターンも概ね対称形となる。

以上から、ビームフォーマのビームパターン算出において、音響信号取得時の状態に対応するアレイ・マニフォールド・ベクトルを選択して用いることが、ビームパターンのヌルから音源方向を推定する上で重要となることが分かる。ここで、音響信号取得時の状態は、筐体の形状などの影響を受ける。

図４はさらに、アレイ・マニフォールド・ベクトルの選択と音源方向の推定精度が、雑音除去の性能に及ぼす影響を示した図である。たとえば、ピアノの演奏会をカムコーダで撮影をしていたときに、図４（ａ）で示されるような正面方向のピアノの音に加えて、図４（ｂ）で示されるような観客の咳の音が、−４０°方向から飛び込んできたような場合を考える。この場合、カムコーダの内蔵マイクで取得される音響信号の各チャンネルは、図４（ｃ）のようにピアノの音と咳の音が混合したものとなる。そこで、このような音響信号から雑音である咳の音を除去することを考える。

図４の太線４０１で囲まれる部分では咳の音が卓越しているため、このときの音響信号から適応ビームフォーマを構成すれば、咳の方向にヌルを自動的に形成するようなフィルタ係数が得られる。よって、このフィルタ係数で形成されるビームパターンを算出することで、そのヌル方向から咳の方向を推定できる。しかしながら、上述したように、カムコーダの内蔵マイクで音響信号を取得しているのにもかかわらず、自由空間の理論式で生成したアレイ・マニフォールド・ベクトルを用いてしまうと、たとえば図３（ｂ）に示したように適切にヌルが形成されない。一方、カムコーダの筐体の影響を含むアレイ・マニフォールド・ベクトルを用いれば、たとえば図３（ｃ）のように平均ビームパターンのヌル方向から、咳の方向を−４０°と正確に推定することができる。

図４（ｄ）は、図３（ｂ）の縦点線で示される−９０°をとりあえずのヌル方向として、その方向に固定ビームフォーマでヌルを向けた結果である。しかしながら、ヌルを向けた方向（−９０°）が咳の方向（−４０°）とずれているため、咳の音を効果的に除去することができていない。一方、図４（ｅ）は、図３（ｃ）の縦点線で示される−４０°に固定ビームフォーマでヌルを向けた結果である。ヌルを向けた方向が咳の方向と一致しているため、咳の音を効果的に除去できている。

以上のように、音源方向の推定精度は、雑音除去の性能に大きく影響する。また、音源方向推定に加え、上記固定ビームフォーマのフィルタ係数の算出には、ヌルを向ける方向のアレイ・マニフォールド・ベクトルが必要となる。そのため、固定ビームフォーマのフィルタ係数の算出にもアレイ・マニフォールド・ベクトルの選択の適否が影響してくる。したがって、雑音除去のような音響処理においては、筐体の形状など、マイク素子による収音時の環境に適したアレイ・マニフォールド・ベクトルを選択することが肝要となる。以上を踏まえ、本実施形態では、雑音除去のような音響処理において、筐体の影響で大きく変化する音響信号取得時の状態に対応するアレイ・マニフォールド・ベクトルを選択して用いることが可能な信号処理装置を開示する。

図１は、実施形態によるビデオカメラ（カムコーダ）の構成例を示すブロック図である。信号処理装置１００は、全構成要素の統御を行うシステム制御部１０１、各種データを記憶しておく記憶部１０２、信号の解析処理を行う信号解析部１０３を備える。

ビデオカメラにおいて、収音系の機能を実現する要素としては、内蔵マイク１１１、音響信号入力部１１２を備える。また、任意の外部マイク１１９が、信号処理装置１００に接続可能である。本実施形態において内蔵マイク１１１および外部マイク１１９は、２つのマイク素子が間隔を持って配置された２ｃｈステレオマイクでそれぞれ構成されるものとする。なお、マイク素子の数はそれぞれ複数であればよく、３個以上でも構わない。すなわち、本発明はマイク素子の数が２個の場合に限定されるものではない。

音響信号入力部１１２は、外部マイク１１９の接続を検出し、外部マイク１１９が接続されている場合は、内蔵マイク１１１ではなく外部マイク１１９から音響信号を入力する。また、音響信号入力部１１２は、内蔵マイク１１１または外部マイク１１９の、各マイク素子からのアナログ音響信号に増幅およびＡＤ変換を施して、所定の音響サンプリングレートに対応する周期でデジタル音響信号である２ｃｈマイク信号を生成する。

ビデオカメラにおいて、撮像系の機能を実現する要素としては、レンズ部１２０、映像信号入力部１２４を備える。レンズ部１２０はさらに、光学レンズ１２１、レンズ制御部１２２、レンズ内記憶部１２３を備える。レンズ部１２０は、光学レンズ１２１に入射する光に光電変換を施して、アナログ映像信号を生成する。映像信号入力部１２４は、レンズ部１２０からのアナログ映像信号にＡＤ変換とゲイン調整を施して、所定の映像フレームレートに対応する周期でデジタル映像信号を生成する。レンズ制御部１２２は、システム制御部１０１と通信を行い、光学レンズ１２１を駆動制御したり、レンズ部１２０に係る情報をやり取りしたりする。レンズ内記憶部１２３は、レンズ部１２０に係る情報を保持している。本実施形態においてレンズ部１２０は、交換可能かつ、ズーム倍率に応じてレンズ筐体が伸縮する交換レンズで構成されるものとする。また、本実施形態のビデオカメラは、ユーザの操作を受け付けたり、ユーザに操作メニューや映像信号などを提示したりするための要素として、入出力ＵＩ部１３１を備える。入出力ＵＩ部１３１は、たとえばタッチパネルで構成される。

以上のような構成を備えた本実施形態のビデオカメラ（信号処理装置１００）による音響信号の処理について、以下、詳細に説明する。はじめに、信号処理装置１００での撮影に先立って、撮影時の音響処理に用いる種々のアレイ・マニフォールド・ベクトルの取得が行われる。

非撮影時に外部マイク１１９が接続されると、音響信号入力部１１２により検出される。この検出は、音響信号入力部１１２からシステム制御部１０１に伝えられる。次に、システム制御部１０１からの指示によって、入出力ＵＩ部１３１は、外部マイク１１９のマイク素子間の間隔である外部マイク間隔の入力をユーザに促す。そして、ユーザによって例えばｍｍ単位で入力された数値は、外部マイク１１９の外部マイク間隔として設定され、記憶部１０２に保持される。マイク間隔が既知であれば、自由空間の理論式によりアレイ・マニフォールド・ベクトルを生成することが可能である。なお、外部マイク間隔がどのくらいかユーザが把握できていない場合は、外部マイク間隔を未設定のままとすることもできる。

また、非撮影時にレンズ交換によってレンズ部１２０が装着されると、該装着がシステム制御部１０１により検出される。次に、システム制御部１０１は、レンズ部１２０のレンズ制御部１２２と通信を行い、装着されているレンズ部１２０のタイプを識別する。さらに、システム制御部１０１は、レンズ制御部１２２を介して、レンズ内記憶部１２３が保持している複数のアレイ・マニフォールド・ベクトルのうち、信号処理装置１００用のアレイ・マニフォールド・ベクトルを取得して、記憶部１０２に保存する。信号処理装置１００用のアレイ・マニフォールド・ベクトルとは、レンズ部１２０が信号処理装置１００に装着された状態で、信号処理装置１００の内蔵マイク１１１により音響信号を取得する場合のアレイ・マニフォールド・ベクトルである。なお、レンズ内記憶部１２３に複数のアレイ・マニフォールド・ベクトルが記憶されているのは、筐体形状が異なる複数種類のビデオカメラに対応するためである。

また、一般に、交換レンズには、焦点距離や絞り値等が異なる様々なタイプがあり、タイプごとにレンズ筐体の形状が異なる。このため、信号処理装置１００に装着されると、タイプごとに信号処理装置１００の筐体形状が変化することと同義であるため、レンズ部１２０のタイプごとにアレイ・マニフォールド・ベクトルも変化すると考えられる。さらに、レンズがズームレンズである場合には、ズーム倍率によってレンズ筐体の形状が伸縮する。これは、ズーム倍率によってビデオカメラ（信号処理装置１００）の筐体形状が変化することと同義であるため、レンズ部１２０のズーム倍率によってアレイ・マニフォールド・ベクトルも変化すると考えられる。よって、レンズ部１２０がズームレンズである場合は、システム制御部１０１は、ズーム倍率ごとのアレイ・マニフォールド・ベクトルを取得し、記憶部１０２に保存する。

こうして、レンズ部１２０から取得された種々のアレイ・マニフォールド・ベクトルは、交換レンズのタイプ（レンズ部１２０のタイプ）やズーム倍率と対応付けられて、記憶部１０２に保存される。なお、信号処理装置１００にデフォルトで装着されているレンズ、信号処理装置１００に装着され得る代表的な交換レンズ、レンズが装着されていない状態などに対応するアレイ・マニフォールド・ベクトルは、記憶部１０２が予め保持するようにしてもよい。

なお、信号処理装置１００の筐体の影響を含むアレイ・マニフォールド・ベクトルは、レンズ部１２０のタイプやズーム倍率ごとに、無響室のトラバース装置などで、内蔵マイク１１１を用いて実測できる。またはＣＡＤデータをもとに、有限要素法や境界要素法といった、波動性を考慮したシミュレーションにより、アレイ・マニフォールド・ベクトルを生成してもよい。

なお、方向別伝達関数であるアレイ・マニフォールド・ベクトルは、周波数領域のデータであるが、レンズ部１２０のレンズ内記憶部１２３では、もととなる方向別インパルス応答の形で保持しておいてもよい。そして、方向別インパルス応答を記憶部１０２に取り込んだ際に、信号処理装置１００で行う音響処理の周波数解像度に合わせて、信号解析部１０３でフーリエ変換し、得られたアレイ・マニフォールド・ベクトルを記憶部１０２に保存するようにしてもよい。

次に、信号処理装置１００による撮影動作について説明する。入出力ＵＩ部１３１の画面上には、撮像系が捉えている映像信号がリアルタイムに映し出されている。このとき、ズーム倍率を示す画面上のスライダバーのつまみを動かすことで、その指定値がシステム制御部１０１に伝えられる。そして、システム制御部１０１からの指示によって、レンズ制御部１２２は光学レンズ１２１を駆動制御し、指定ズーム倍率に応じた光学ズーム処理を行う。

ユーザは、撮影を開始したいシチュエーションになったら、入出力ＵＩ部１３１上に表示されているメニューから、「ＲＥＣ」をタッチして選択する。この選択に応じて、信号処理装置１００は、撮像系で捉えている映像信号および、収音系で捉えている音響信号の記憶部１０２への記録を開始する。収音系で取得した音響信号である２ｃｈマイク信号は、記憶部１０２へ逐次記録され、図５のフローチャートに沿って、本実施形態の音響処理である音源方向推定処理および雑音除去処理が行われる。なお、音響サンプリングレートは４８ｋＨｚとして説明を行う。

ビームフォーマにおいてマイク信号のフィルタリングを行う信号サンプル単位を時間ブロックと呼び、本実施形態では時間ブロックの長さを１０２４サンプル（約２１ｍｓ）とする。また、この時間ブロック長の半分である５１２サンプル（約１１ｍｓ）ずつ信号サンプル範囲をシフトしながら、時間ブロックループの中でマイク信号のフィルタリングを行っていく。すなわち、第１時間ブロックではマイク信号の第１サンプルから第１０２４サンプルを、第２時間ブロックでは第５１３サンプルから第１５３６サンプルをフィルタリングする。図５のフローチャートは、時間ブロックループ内のひとつの時間ブロックにおける処理を表すものとする。

Ｓ５０１では、システム制御部１０１が音響信号入力部１１２と通信を行い（結線不図示）、外部マイク１１９が接続されているかを調べる。外部マイク１１９が接続されている、すなわち外部マイク１１９で音響信号を取得している場合は、Ｓ５０２へ進む。Ｓ５０２では、システム制御部１０１が外部マイク１１９の外部マイク間隔が設定されているかを調べ、外部マイク間隔が設定されている場合はＳ５０３へ進む。

Ｓ５０３では、信号解析部１０３が、設定されている外部マイク間隔をパラメータとしてアレイ・マニフォールド・ベクトルを生成する。生成されたアレイ・マニフォールド・ベクトルは、外部マイク１１９で現在取得している時間ブロックの音響信号の処理に用いるためのアレイ・マニフォールド・ベクトルとして選択される。外部マイク１１９は信号処理装置１００から離れているため、信号処理装置１００の筐体の影響を受けにくいと考えられる。よって、以下の式（１）で表される自由空間の理論式と外部マイク間隔によりアレイ・マニフォールド・ベクトルa(f,θ)を生成し、これを後の音響処理のために選択する。

ここで、jは虚数単位を、fは周波数を表す。また、外部マイク１１９の、２つのマイク素子の真ん中を中心とする単位球面を考える。すると、単位球面上の方位角θの点から、各マイク素子までの伝搬遅延時間は、τ_i(θ,d)（i=1,2）のように方位角θおよび外部マイク間隔dの関数となり、まとめてベクトルτ(θ)=[τ₁(θ) τ₂(θ)]^Tと置いている。ここで上付きのTは転置を表す。なお、２つの外部マイク素子を結ぶ線分の垂直二等分線の方向に信号処理装置１００の撮影方向である正面（θ＝０°）があるものとする。

一方、Ｓ５０１で外部マイク１１９が接続されていない、すなわち内蔵マイク１１１で音響信号を取得している場合は、Ｓ５０４へ進む。Ｓ５０４では、システム制御部１０１がレンズ部１２０のレンズ制御部１２２と通信を行い、レンズ部１２０のタイプおよび、現在のズーム倍率である現ズーム倍率を取得する。Ｓ５０５では、システム制御部１０１が、Ｓ５０４で取得したレンズ部１２０のタイプに対応するアレイ・マニフォールド・ベクトルを、記憶部１０２が保持しているか調べ、保持している場合、処理はＳ５０６へ進む。

Ｓ５０６では、信号解析部１０３が、内蔵マイク１１１で取得している現時間ブロックの音響信号の処理に用いるための、アレイ・マニフォールド・ベクトルを選択する。すなわち、Ｓ５０４で取得したレンズ部１２０のタイプおよび現ズーム倍率に対応する、アレイ・マニフォールド・ベクトルをa(f,θ)選択する。ここでも、２つの内蔵マイク素子を結ぶ線分の垂直二等分線の方向に、信号処理装置１００の撮影方向である正面（θ＝０°）があるものとする。

なお、ズーム倍率については、現ズーム倍率と完全に一致するアレイ・マニフォールド・ベクトルがあるとは限らない。したがって、本実施形態では、現ズーム倍率と最も近いズーム倍率のアレイ・マニフォールド・ベクトルを選択することとする。もしくは、複数のズーム倍率（例えば２倍と３倍）のアレイ・マニフォールド・ベクトルを振幅および位相上で補間することで、現ズーム倍率（例えば２．５倍）に対応するアレイ・マニフォールド・ベクトルを生成して選択するようにしてもよい。なお、レンズが交換中で、レンズ部１２０が信号処理装置１００に装着されていないような場合は、レンズが装着されていない状態のアレイ・マニフォールド・ベクトルを選択するようにしてもよい。

以上のようにしてＳ５０３またはＳ５０６の処理を終えると、処理はＳ５０７へ進む。Ｓ５０７以降の処理は、信号解析部１０３が中心となって行う。Ｓ５０７において、信号解析部１０３は、平均ビームパターン算出処理を行う。平均ビームパターン算出処理について、図６のフローチャートを参照して詳細に説明する。

Ｓ６０１において、信号解析部１０３は、現在の時間ブロックの２ｃｈマイク信号をフーリエ変換して、複素数であるフーリエ係数を取得する。このとき時間ブロック長によって、フーリエ変換における時間解像度および周波数解像度が決まる。次のステップであるＳ６０２において空間相関行列が算出されるが、統計量である空間相関行列の算出には平均化処理が必要なため、現在の時間ブロックを基準として時間フレームという単位が導入される。

時間フレーム長は時間ブロック長と同じ１０２４サンプルであり、現在の時間ブロックの信号サンプル範囲を基準として、所定の時間フレームシフト長ずつシフトした信号サンプル範囲を時間フレームとする。本実施形態では時間フレームシフト長を３２サンプルとし、上記平均化の回数に相当する時間フレーム数を１２８とする。すなわち第１時間ブロックにおいて、第１時間フレームは第１時間ブロックと同じくマイク信号の第１サンプルから第１０２４サンプルを対象とし、第２時間フレームは第３３サンプルから第１０５６サンプルを対象とする。こうして、第１２８時間フレームは第４０６５サンプルから第５０８８サンプルを対象とするため、第１時間ブロックの空間相関行列は、第１サンプルから第５０８８サンプルの１０６ｍｓのマイク信号から算出されることになる。なお、時間フレームは現在の時間ブロックより前の信号サンプル範囲としてもよい。

以上を踏まえてＳ６０１では、第ｉチャンネルのマイク信号の現時間ブロックに関する、周波数f、時間フレームkにおけるフーリエ係数を、Z_i(f,k)（i=1,2、k=1〜128）のように得る。なお、フーリエ変換の前にマイク信号に対して窓掛けを行うのが好適であり、窓掛けは逆フーリエ変換によって再び時間信号に戻した後にも行う。このため、５０％ずつオーバーラップする時間ブロックに対し、２回の窓掛けにおける再構成条件を考慮して、窓関数にはサイン窓などを用いる。

Ｓ６０２からＳ６０４は周波数ごとの処理であり、周波数ループの中で行われる。Ｓ６０２では、信号解析部１０３は、マイク信号の空間的性質を表す統計量である、空間相関行列を算出する。まず、Ｓ６０１で得た各チャンネルのフーリエ係数をまとめてベクトル化し、z(f,k)=[Z₁(f,k) Z₂(f,k)]^Tのように置く。z(f,k)を用いて、周波数ｆ、時間フレームｋにおける行列R_k(f)を式（２）のように定める。ここで、上付きのHは複素共役転置を表す。

なお、空間相関行列R(f)は、R_k(f)を全ての時間フレームに関して平均化、すなわちR₁(f)からR₁₂₈(f)を足して１２８で割ることで得られる。

Ｓ６０３において、信号解析部１０３は、適応ビームフォーマのフィルタ係数を算出する。第ｉチャンネルのマイク信号をフィルタリングするフィルタ係数をW_i(f)（i=1,2）とし、ビームフォーマのフィルタ係数ベクトルをw(f)=[W₁(f) W₂(f)]^Tのように置く。ここでは、信号解析部１０３は、適応ビームフォーマのフィルタ係数を最小ノルム法で算出する。これは、出力パワー最小化の規範に基づくものであり、w(f)を非零ベクトルとするための制約条件を、フィルタ係数ノルムの指定によって記述する。ビームフォーマの周波数fにおける平均出力パワーはw^H(f)R(f)w(f)で表されるため、最小ノルム法による適応ビームフォーマのフィルタ係数は、式（３）の制約付き最適化問題の解として得られる。

これは、エルミート行列であるR(f)を係数行列とする二次形式の最小化問題であるため、R(f)の最小固有値に対応する固有ベクトルが、最小ノルム法で算出される適応ビームフォーマのフィルタ係数ベクトルw_MN(f)となる。

Ｓ６０４では、信号解析部１０３は、Ｓ６０３で算出した適応ビームフォーマのフィルタ係数w_MN(f)と、現時間ブロックで選択されているアレイ・マニフォールド・ベクトルa(f,θ)を用いて、適応ビームフォーマのビームパターンを算出する。ビームパターンの方位角θ方向の値Ψ(f,θ)は、式（４）で得られる。

a(f,θ)のθを、例えば−１８０°から１８０°まで１°刻みで変えながらΨ(f,θ)を計算することで、水平方向のビームパターンが得られる。なお、計算量を抑えるために、ビームパターンの対称性に着目して、−９０°から０°を通って９０°までのビームパターンのみを算出するようにしてもよい。また、Ψが小さくなるヌル付近のみθの刻みを密にして、音源方向を知る上で大切なヌル付近をより正確に把握するようにしてもよい。

Ｓ６０５では、Ｓ６０４で算出した周波数ごとのビームパターンを平均化して、平均ビームパターンを算出する。なお、必ずしも全周波数について平均化する必要はなく、例えば目的音の主要周波数帯の周波数のみ平均化してもよい。以上でＳ５０７の平均ビームパターン算出処理を終える。

他方、Ｓ５０２で、外部マイク１１９の外部マイク間隔が未設定であった場合は、処理はＳ５２０へ進む。Ｓ５２０では、外部マイク間隔推定処理を行う。はじめに、外部マイク間隔推定処理の考え方について説明する。

外部マイク間隔dを少しずつ大きくしながら、式（１）で表される自由空間の理論式によりアレイ・マニフォールド・ベクトルを生成し、平均ビームパターン算出処理を行う。図７Ａに示すように、外部マイク間隔を（ａ）の５ｍｍ、（ｂ）の１０ｍｍ、（ｃ）の１５ｍｍと大きくしていくに従って、横点線で示される平均ビームパターンの最小値が小さくなり、縦点線で示されるヌル方向も変わって行くことが分かる。これらの関係をグラフにしたのが、図７Ｂの（ｄ）および（ｅ）である。この場合、正解の外部マイク間隔は１５ｍｍ、音源方向は−３０°であるが、図７Ｂの（ｄ）よりdが概ね正解に達したときに、平均ビームパターンの最小値が底を打って収束する傾向があることが分かる。このような収束時のdを外部マイク間隔として設定することで、図７Ｂの（ｅ）のようにそのときのヌル方向から、音源方向を正確に推定することができる。

上記の考え方に基づく、外部マイク間隔推定処理（Ｓ５２０）について、図８のフローチャートを参照して説明する。Ｓ８０１では、信号解析部１０３は、外部マイク間隔をd=d₀（例えば１ｍｍ）のように初期化する。Ｓ８０２において、信号解析部１０３は、現在のdをパラメータとして用い、式（１）で表される自由空間の理論式によりアレイ・マニフォールド・ベクトルを生成して、次のステップで用いるものとして選択する。

Ｓ８０３では、Ｓ８０２で選択したアレイ・マニフォールド・ベクトルを用いて、平均ビームパターン算出処理を行う。平均ビームパターン算出処理は図６のフローチャートにより説明したとおりである。なお、図６のフローチャートで表されるＳ８０３の平均ビームパターン算出処理において、Ｓ６０１からＳ６０３までの処理は、最初のd=d₀のときのみ行えばよい。また、外部マイク間隔推定処理（Ｓ５２０）が実行された場合は、当該処理内で平均ビームパターン算出処理が行われるのでＳ５０７の平均ビームパターン算出処理を省略可能である。

Ｓ８０４では、Ｓ８０３で算出した平均ビームパターンの最小値が収束したかを判定し、収束していない場合はＳ８０５へ進む。たとえば、信号解析部１０３は、Ｓ８０３において、d=t-n〜d=t（tは現在のdの値、n≧1）の、n+1個の平均ビームパターンの最小値が所定範囲内に収まっている場合、平均ビームパターンの最小値が収束したと判定する。収束していないと判定された場合、処理はＳ８０５へ進み、信号解析部１０３は、d=d+1のように外部マイク間隔をインクリメントし、処理をＳ８０２へ戻す。Ｓ８０４で、平均ビームパターンの最小値が収束したと判定された場合は、処理はＳ８０６へ進む。Ｓ８０６では、信号解析部１０３は、平均ビームパターンの最小値が収束したときのdを、外部マイク１１９の外部マイク間隔として設定する。

図５に戻り、Ｓ５０５で、レンズ部１２０のタイプに対応するアレイ・マニフォールド・ベクトルを保持していない場合は、処理はＳ５３０へ進む。Ｓ５３０では、信号解析部１０３は、代用のアレイ・マニフォールド・ベクトルを選択する処理を行う。レンズ筐体の形状がレンズ部１２０と全く異なるようなレンズに対応するアレイ・マニフォールド・ベクトルを用いると、図３（ｂ）のようになり、平均ビームパターンのヌルが適切に形成されず、ヌルは浅く、広がってしまう。一方、レンズ筐体の形状が、レンズ部１２０と比較的近いレンズに対応するアレイ・マニフォールド・ベクトルを用いれば、図３（ｃ）のように平均ビームパターンのヌルが深くなると考えられる。そこで、レンズ部１２０のタイプに対応するアレイ・マニフォールド・ベクトルを保持していない場合は、その代わりとして用いるアレイ・マニフォールド・ベクトルを、平均ビームパターンのヌルの深さから決定する。

上記の考え方に基づく、代用アレイ・マニフォールド・ベクトルの選択処理（Ｓ５３０）について、図９のフローチャートを参照して説明する。Ｓ９０１からＳ９０３は、記憶部１０２が保持しているアレイ・マニフォールド・ベクトルごとの処理であり、アレイ・マニフォールド・ベクトルループの中で行う。

Ｓ９０１では、処理ループ（ＡＭＶループ）で対象とするアレイ・マニフォールド・ベクトルを選択する。Ｓ９０２では、信号解析部１０３は、Ｓ９０１で選択したアレイ・マニフォールド・ベクトルを用いて、平均ビームパターン算出処理を行う。平均ビームパターン算出処理は図６のフローチャートで説明したとおりである。但し、Ｓ９０２で実行される平均ビームパターン算出処理において、Ｓ６０１からＳ６０３までは、ＡＭＶループの最初の一回のみ行えばよい。また、代用アレイ・マニフォールド・ベクトルの選択処理（Ｓ５３０）が実行された場合は、当該処理内で平均ビームパターン算出処理が行われるので、Ｓ５０７の平均ビームパターン算出処理を省略可能である。

Ｓ９０３において、信号解析部１０３は、Ｓ９０２で算出した平均ビームパターンのヌルの深さを算出する。ヌルの深さは、図３（ｃ）の双方向矢印で示すように、平均ビームパターンの最大値と最小値の差とすればよいが、より簡単には最小値のみで考えてもよい。Ｓ９０４では、信号解析部１０３は、Ｓ９０３で算出したヌルの深さをもとに、ヌルが最も深かったときのアレイ・マニフォールド・ベクトルを、代用アレイ・マニフォールド・ベクトルとして選択する。

なお、必ずしも記憶部１０２が保持する全てのアレイ・マニフォールド・ベクトルを図９に示されるＡＭＶループの対象としなくてもよい。例えば、焦点距離がレンズ部１２０に近く、レンズ筐体の形状もレンズ部１２０に近いと考えられるレンズに対応するアレイ・マニフォールド・ベクトルのみをＡＭＶループの処理対象としてもよい。またズーム倍率についても、現ズーム倍率に近いズーム倍率に対応するアレイ・マニフォールド・ベクトルのみをＡＭＶループの対象としてもよい。さらに、ヌルの深さが所定値（例えば１０ｄＢ）以上となった時点でＡＭＶループを抜け、そのときのアレイ・マニフォールド・ベクトルを、代用アレイ・マニフォールド・ベクトルとして選択するようにしてもよい。

図５のフローチャートに戻り、Ｓ５０８において、信号解析部１０３は、平均ビームパターン算出処理（Ｓ５０７、Ｓ８０３、Ｓ９０２）で算出した平均ビームパターンのヌル方向から、音源方向を推定する。すなわち、平均ビームパターンが極小値を取る点、より簡単には最小値を取る点から、ヌル方向θ_nullを決定し、推定音源方向とする。

本実施形態においては、内蔵マイク１１１と外部マイク１１９の切り替えによる筐体の影響の変化や、レンズ部１２０のタイプやズーム倍率による筐体の形状変化に応じて、時間ブロックごとに適切なアレイ・マニフォールド・ベクトルが選択される。このため、図３（ａ）や図３（ｃ）のように、筐体の形状変化等の影響の有無にかかわらず平均ビームパターンのヌルが適切に音源方向に形成され、高精度な音源方向推定ができるようになる。

なお、上記の音源方向推定においては、式（３）を用いることにより適応ビームフォーマのフィルタ係数は最小ノルム法で算出したがこれに限られるものではなく、たとえば、最小分散法（Capon法）などを用いてもよい。最小分散法も、最小ノルム法と同じく出力パワー最小化の規範に基づくものであるが、フィルタ係数ベクトルを非零ベクトルとするための制約条件として、メインローブの方向θ_mainを適当に指定する。最小分散法による適応ビームフォーマのフィルタ係数w_MV(f)は、式（５）のように得られる。

また、上記においては、式（４）に示される音源方向に感度のディップ（ヌル）を形成するビームパターンΨ(f,θ)から音源方向を推定したが、代わりに、音源方向に感度のピークを形成する空間スペクトルP(f,θ)を用いてもよい。たとえば、最小ノルム法を用いた場合の空間スペクトルP_MN(f,θ)は、式（６）で得られる。

また、最小ノルム法では、空間相関行列の最小固有値に対応する固有ベクトルを用いた。さらに、雑音部分空間に属する全ての固有ベクトルを並べた行列をE_nと置き、信号部分空間に属するアレイ・マニフォールド・ベクトルとの直交性を考えれば、ＭＵＳＩＣ法の空間スペクトルP_MU(f,θ)が式（７）で得られる。

また、最小分散法を用いた場合の空間スペクトルP_MV(f,θ)は、式（８）で得られる。

以上のように、本実施形態の音源方向推定は、アレイ・マニフォールド・ベクトルと音響信号の空間相関行列を用いて音源方向に感度の極値を持つビームパターンや空間スペクトルといった感度曲線を算出し、感度曲線の極値点から音源方向を推定するものである。

図５に戻り、Ｓ５０９では、信号解析部１０３は、Ｓ５０８で推定した推定音源方向が、目的音の範囲外であるかを調べる。推定音源方向が目的音の範囲外である場合は、現時間ブロックにおいて推定音源方向にある雑音が卓越していると見なされ、処理はＳ５１０、Ｓ５１１の雑音除去処理へと進む。他方、Ｓ５０９で推定音源方向が目的音の範囲外でない、すなわち目的音の範囲内である場合は、現時間ブロックにおいて推定音源方向にある目的音が卓越していると見なされ、処理はＳ５１０、Ｓ５１１の雑音除去処理をスキップしてＳ５１２へ進む。なお、目的音の範囲は、例えば信号処理装置１００の撮影方向である正面±３０°のように定めておいてもよいし、現ズーム倍率に応じて変化する撮像系の画角範囲としてもよい。また、入出力ＵＩ部１３１を介してユーザが設定するようにしてもよい。以下、雑音除去処理について説明する。

Ｓ５１０、Ｓ５１１の処理は周波数ごとの処理であり、周波数ループの中で行われる。Ｓ５１０において、信号解析部１０３は、Ｓ５０８で推定した推定音源方向θ_nullに鋭いヌルを形成するための固定ビームフォーマのフィルタ係数w_fix(f)を算出する。固定ビームフォーマのビームパターンにおいて、推定音源方向θ_nullにヌルを形成する条件は、アレイ・マニフォールド・ベクトルa(f,θ_null)を用いて式（９）のように表される。

ただし、式（９）だけでは解が零ベクトルとなってしまうため、メインローブ方向θ_mainにメインローブを形成する条件として式（１０）を加える。ここで、メインローブ方向θ_mainは、目的音範囲の中心である正面０°などに定める。

式（９）および式（１０）をまとめて行列A(f)=[a(f,θ_null) a(f,θ_main)]を用いて表現すれば、式（１１）のようになる。

よって、式（１１）の両辺に左からA^H(f)の逆行列を掛けることで、固定ビームフォーマのフィルタ係数w_fix(f)が式（１２）のように得られる。

ここで、w_fix(f)のノルムは周波数ごとに異なるため、最小ノルム法のw_MN(f)と同様に、ノルムが１となるよう正規化するのが好適である。なお、フィルタ係数ベクトルw_fix(f)の要素数、すなわち収音系のマイク素子の数と、式（９）、式（１０）のようなビームパターン上の制御点の数が異なる場合は、A(f)が正方行列ではないため一般化逆行列を用いる。

Ｓ５１１では、Ｓ５１０で算出した固定ビームフォーマのフィルタ係数を用いてフィルタリングを行い、雑音が除去されたマイク信号のフーリエ係数を取得する。一般に、ビームフォーマによるフィルタリングは、マイク信号に対して式（１３）のように行う。ここで、z(f)=z(f,1)であり、Y(f)が雑音除去信号のフーリエ係数である。

ただし、これでは雑音除去信号がモノラル信号になってしまうため、再び２ｃｈマイク信号に戻すためのProjection Backを行う。具体的には、行ベクトルであるw^H _fixを横長行列と見なし、その一般化逆行列を式（１３）の両辺に左から掛けることで、式（１４）のように雑音除去された２ｃｈマイク信号のフーリエ係数z_PJ(f)を取得する。

ここで、上付きの+は一般化逆行列を表すものとする。

以上のように、本実施形態によれば、適切なアレイ・マニフォールド・ベクトルの選択によって音源方向を正確に推定することができる。そして、正確に推定された雑音方向に鋭いヌルを形成する固定ビームフォーマを用いることで、雑音が目的音に近接するような場合でも、雑音のみを高精度に除去することができる。なお、本実施形態では雑音消去を説明したが、正確に推定された音源方向を音源の分離に用いることも可能である。

Ｓ５１２では、２ｃｈマイク信号のフーリエ係数を逆フーリエ変換し、現時間ブロックにおけるマイク信号を取得する。これを窓掛けして前時間ブロックまでのマイク信号にオーバーラップ加算していき、得られるマイク信号を記憶部１０２へ逐次記録する。以上のようにして得られたマイク信号は、記憶部１０２と相互に結ばれた、不図示のデータ入出力部を介して外部に出力したり、イヤホン、ヘッドホン、スピーカといった不図示の音響再生系によって再生したりすることができる。

なお、上記説明においては簡単のため、方向として方位角θのみを考えていたが、仰角φも考えることができる。すなわち、方位角θおよび仰角φごとの伝達関数としてアレイ・マニフォールド・ベクトルa(f,θ,φ)を用意し、方位角θだけでなく、仰角φも０°以外に−９０°から９０°まで変えながら、ビームパターンΨ(f,θ,φ)を算出する。そして、平均ビームパターンの極値点から、水平方向だけでなく垂直方向含む全方位の音源方向を推定することができる。

さらに、方向に加えて距離rも考えることができる。すなわち、方位角θ、仰角φ、距離rごとの伝達関数としてアレイ・マニフォールド・ベクトルa(f,θ,φ,r)を用意し、方位角θ、仰角φに加えて、距離rも例えば０．５ｍから５ｍまで変えながら、ビームパターンΨ(f,θ,φ,r)を算出する。そして、平均ビームパターンの極値点から、音源方向に加えて音源距離も推定することができる。

なお、音響処理において、雑音除去処理には固定ビームフォーマ以外の手法を用いても構わない。例えば、マイク信号のチャンネル間の位相差を周波数ごとに求め、推定音源方向に対応する位相差範囲の場合に、抑圧するようなマスク処理を用いてもよい。この場合も、推定音源方向に対応する位相差範囲の算出にはアレイ・マニフォールド・ベクトルが必要となるため、本実施形態のアレイ・マニフォールド・ベクトル選択を適用することができる。なお、適応ビームフォーマによる音源方向推定処理を行わず、固定ビームフォーマのみによって所定方向の雑音を除去するようにしてもよい。

また、上記において、アレイ・マニフォールド・ベクトルの取得は非撮影時に行われるものとしていたが、撮影時の音響処理における割り込み処理として動的に行われるようにしてもよい。

また、上記説明においては、音響信号取得時である撮影時に全ての音響処理を行っているが、これに限られるものではない。たとえば、各時間ブロックで選択するアレイ・マニフォールド・ベクトルを特定できるような付加情報とともに音響信号を記録しておくことで、非撮影時に後処理として音源方向推定処理や雑音除去処理を行うこともできる。そのような付加情報としては、たとえば、外部マイク１１９と内蔵マイク１１１の切り替えを示す外部マイク接続情報、外部マイク間隔、レンズ部１２０のタイプやズーム倍率、またはアレイ・マニフォールド・ベクトル識別ＩＤなどが挙げられる。

また、外部マイク１１９が、レンズ部１２０と同様に不図示の外部マイク制御部や外部マイク内記憶部を備える場合は、システム制御部１０１が外部マイク制御部と通信を行うことで、外部マイク１１９のタイプを識別することができる。さらに、システム制御部１０１は、外部マイク制御部を介して外部マイク間隔を取得し、外部マイクのタイプと対応付けて記憶部１０２に保存することができる。

また、外部マイクの場合は、信号処理装置１００の筐体の影響を受けにくいとして、自由空間の理論式によるアレイ・マニフォールド・ベクトルを選択していた。しかし、外部マイク自体の筐体の影響によって、アレイ・マニフォールド・ベクトルが自由空間の理論値から乖離するような場合も考えられる。そこで、外部マイク筐体の影響を含むアレイ・マニフォールド・ベクトルを外部マイク内記憶部が保持しておき、システム制御部１０１が外部マイク制御部を介して取得して、外部マイクのタイプと対応付けて記憶部１０２に保存するようにしてもよい。

また、種々のアレイ・マニフォールド・ベクトルの取得方法は、上記した方法に限られるものではない。たとえば、アレイ・マニフォールド・ベクトルをデータ入出力部を介して任意の外部記憶部から取得したり、ネットワーク上のデータベースから取得したりするようにしてもよい。

また、レンズ部１２０が交換レンズでなく、ズーム倍率によってもレンズ筐体の形状が伸縮しないような場合は、外部マイク用と、内蔵マイク用のデフォルトのアレイ・マニフォールド・ベクトルを切り替えるだけとなる。また、外部マイクを接続しないで内蔵マイクのみを用いる場合は、レンズ部１２０のタイプやズーム倍率によって筐体形状が変化する場合のみ、アレイ・マニフォールド・ベクトルを切り替えることになる。これらの場合も本発明に含まれることは言うまでもない。

また、内蔵マイクと外部マイクの切り替えに限らず、使用マイク素子の変更等による内蔵マイク同士の切り替えや外部マイク同士の切り替えなど、任意のマイク切り替えにおけるアレイ・マニフォールド・ベクトル切り替えにも対応可能としてよい。

また、上記説明においてシステム制御部１０１は、レンズ部１２０による信号処理装置１００の筐体の形状変化を検出する検出手段として機能し、その検出結果に応じて信号解析部１０３がアレイ・マニフォールド・ベクトルを選択していた。これと同様に、次のような場合も本発明の範囲に含まれる。例えば入出力ＵＩ部１３１を構成するタッチパネルが開閉式である場合は、その開閉状態に応じて信号処理装置１００の筐体形状が変化すると見なすことができる。そこで、タッチパネルの開閉状態を検出し、それに応じてアレイ・マニフォールド・ベクトルを選択するようにしてもよい。この考え方は、例えば折り畳み式携帯電話にも用いることができる。

また、信号処理装置１００には、レンズ部１２０以外にもストロボ等の様々なアクセサリが装着され得るため、その着脱状態に応じて信号処理装置１００の筐体形状が変化すると見なすことができる。そこで、任意のアクセサリの着脱状態を検出し、それに応じてアレイ・マニフォールド・ベクトルを選択するようにしてもよい。

以上説明した本発明によれば、マイクの切り替えや筐体の形状変化に応じてアレイ・マニフォールド・ベクトルを選択することで、高精度な音響処理を実現することができる。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

１００：信号処理装置、１０１：システム制御部、１０２：記憶部、１０３：信号解析部、１１１：内蔵マイク、１１２：音響信号入力部、１１９：外部マイク、１２０：レンズ部

Claims (23)

1. 形状が可変である所定の機器を装着可能な信号処理装置であって、
   前記信号処理装置が有するマイクから複数チャネルの音響信号を取得する音取得手段と、
   前記信号処理装置に装着された前記機器の形状の変化に伴って変化するパラメータを取得するパラメータ取得手段と、
   方向に応じた音の伝搬特性を表す情報であって前記機器の形状に応じた伝搬特性を表す情報を、前記パラメータ取得手段により取得されたパラメータに基づいて取得する情報取得手段と、
   前記音取得手段により取得された音響信号を、前記情報取得手段により取得された情報を用いて処理する処理手段と、を有することを特徴とする信号処理装置。
2. 前記パラメータ取得手段は、前記信号処理装置としてのカメラに前記所定の機器としてのズームレンズが装着された場合に、前記ズームレンズの形状の変化に伴って変化するパラメータとして、ズーム倍率を表すパラメータを取得することを特徴とする請求項１に記載の信号処理装置。
3. 前記パラメータ取得手段は、前記ズームレンズと通信することにより前記ズーム倍率を表すパラメータを取得することを特徴とする請求項２に記載の信号処理装置。
4. 前記音取得手段により取得された音響信号に対する前記処理手段による処理の結果に基づいて、当該音響信号に係る音源の方向を推定する推定手段を有することを特徴とする請求項１乃至３の何れか１項に記載の信号処理装置。
5. 前記音取得手段により取得された音響信号から、前記推定手段により推定された方向に対応する音響信号を分離する分離手段を有することを特徴とする請求項４に記載の信号処理装置。
6. 前記伝搬特性を表す情報は、アレイ・マニフォールド・ベクトルを示す情報であることを特徴とする請求項１乃至５の何れか１項に記載の信号処理装置。
7. 前記情報取得手段は、複数の所定のアレイ・マニフォールド・ベクトルのうち、各アレイ・マニフォールド・ベクトルに対応する感度曲線の極値に基づいて選択されたアレイ・マニフォールド・ベクトルを、前記伝搬特性を表す情報として取得することを特徴とする請求項１乃至５の何れか１項に記載の信号処理装置。
8. 前記情報取得手段は、保持部により保持される複数のアレイ・マニフォールド・ベクトルのうち、前記パラメータ取得手段により取得されたパラメータに対応するアレイ・マニフォールド・ベクトルを、前記伝搬特性を表す情報として取得することを特徴とする請求項１乃至５の何れか１項に記載の信号処理装置。
9. 前記情報取得手段は、前記パラメータ取得手段により取得されたパラメータに対応するアレイ・マニフォールド・ベクトルが前記保持部により保持されていない場合には、前記保持部により保持されるアレイ・マニフォールド・ベクトルに対応するパラメータと前記パラメータ取得手段により取得されたパラメータとの差に基づいて選択されたアレイ・マニフォールド・ベクトルを、前記伝搬特性を表す情報として取得することを特徴とする請求項８に記載の信号処理装置。
10. 前記情報取得手段は、前記パラメータ取得手段により取得されたパラメータに対応するアレイ・マニフォールド・ベクトルが前記保持部により保持されていない場合には、前記保持部により保持される２以上のアレイ・マニフォールド・ベクトルを用いた補間処理により生成されたアレイ・マニフォールド・ベクトルを、前記伝搬特性を表す情報として取得することを特徴とする請求項８に記載の信号処理装置。
11. 前記音取得手段は、
    少なくとも一部が前記信号処理装置の筐体内に存在する第１マイクから複数チャネルの音響信号を取得する第１取得手段と、
    前記筐体の外部に備えられる第２マイクから複数チャネルの音響信号を取得する第２取得手段と、を有し、
    前記処理手段は、前記第１取得手段により取得された音響信号を処理する場合には、方向に応じた音の伝搬特性を表す第１情報を用いて音響信号を処理し、前記第２取得手段により取得された音響信号を処理する場合には、方向に応じた音の伝搬特性を表す第２情報であって前記第１情報が表す伝搬特性とは異なる伝搬特性を表す第２情報を用いて音響信号を処理することを特徴とする請求項１乃至１０の何れか１項に記載の信号処理装置。
12. 前記第１情報は前記筐体の影響を含む伝搬特性を表し、前記第２情報は前記筐体の影響を含まない伝搬特性を表すことを特徴とする請求項１１に記載の信号処理装置。
13. 前記第１情報を用いて音響信号を処理するか前記第２情報を用いて音響信号を処理するかを選択する選択手段を有することを特徴とする請求項１１又は１２に記載の信号処理装置。
14. 前記第２情報は、前記筐体の影響を含まない音の伝搬特性であって前記第２マイクが有する複数のマイク素子の間隔に基づいて決まる伝搬特性を表すことを特徴とする請求項１１乃至１３の何れか１項に記載の信号処理装置。
15. 前記第２マイクが有する複数のマイク素子の間隔を示す情報を取得する第３取得手段をさらに備え、
    前記処理手段は、前記第２取得手段により取得された音響信号を処理する場合には、前記第３取得手段により取得される情報に基づいて取得される前記第２情報を用いて音響信号を処理することを特徴とする請求項１１乃至１４の何れか１項に記載の信号処理装置。
16. 複数パターンのマイク素子の間隔に対応する複数の感度曲線の極値に基づいて、前記第２マイクが有する複数のマイク素子の間隔を推定する第２推定手段をさらに備えることを特徴とする請求項１４に記載の信号処理装置。
17. 前記第２情報を前記第２マイクから取得する第４取得手段を有することを特徴とする請求項１１乃至１６の何れか１項に記載の信号処理装置。
18. 前記筐体の形状を判定する判定手段をさらに備え、
    前記第１情報は、前記判定手段による判定結果に対応する伝搬特性を表すことを特徴とする請求項１１乃至１７のいずれか１項に記載の信号処理装置。
19. 形状が可変である所定の機器を装着可能な信号処理装置により実行される信号処理方法であって、
    前記信号処理装置が有するマイクから複数チャネルの音響信号を取得する音取得工程と、
    前記信号処理装置に装着された前記機器の形状の変化に伴って変化するパラメータを取得するパラメータ取得工程と、
    方向に応じた音の伝搬特性を表す情報であって前記機器の形状に応じた伝搬特性を表す情報を、前記パラメータ取得工程において取得されたパラメータに基づいて取得する情報取得工程と、
    前記音取得工程において取得された音響信号を、前記情報取得工程において取得された情報を用いて処理する処理工程と、を有することを特徴とする信号処理方法。
20. 前記パラメータ取得工程は、前記信号処理装置としてのカメラに前記所定の機器としてのズームレンズが装着された場合に、前記ズームレンズの形状の変化に伴って変化するパラメータとして、ズーム倍率を表すパラメータを取得することを特徴とする請求項１９に記載の信号処理方法。
21. 前記情報取得工程は、保持部に保持される複数のアレイ・マニフォールド・ベクトルのうち、前記パラメータ取得工程において取得されたパラメータに対応するアレイ・マニフォールド・ベクトルを、前記伝搬特性を表す情報として取得することを特徴とする請求項１９又は２０に記載の信号処理方法。
22. 前記情報取得工程は、前記パラメータ取得工程において取得されたパラメータに対応するアレイ・マニフォールド・ベクトルが前記保持部により保持されていない場合には、前記保持部により保持される２以上のアレイ・マニフォールド・ベクトルを用いた補間処理により生成されたアレイ・マニフォールド・ベクトルを、前記伝搬特性を表す情報として取得することを特徴とする請求項２１に記載の信号処理方法。
23. コンピュータを、請求項１乃至１８のいずれか１項に記載の信号処理装置の各手段として機能させるためのプログラム。

Images