JP7150470B2 - 撮像装置、撮像システム、信号処理方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像システム、信号処理方法、及びプログラムに関する。

従来、マイクを搭載し、会話の音声等を集音可能な撮像装置がある。このような撮像装置においては、目的とする音を明瞭に集音できることが望まれる。言い換えれば、目的としない音（例えば、会話の音声を集音する場合においては、エアコンの駆動音等）を可能な限り除去して集音できることが望まれる。例えば、特許文献１には、搭載された２つのマイクで集音した各々の音信号を演算処理することにより、応答操作者の声（目的とする音）とそれ以外の室内音（目的としない音）を分離し、応答操作者の声を聴き取り易くするインターホン装置が開示されている。

特開２０１７－３４４９０号公報

しかしながら、特許文献１に開示された技術は、装置の正面方向からの音（応答操作者の声）を明瞭に集音する用途には適しているが、装置の正面方向以外からの音（それ以外の室内音）を明瞭に集音する用途には適していない。そこで、本発明は、集音対象とする被写体の位置が装置の正面方向から離れている場合にも、目的とする音を明瞭に集音することを可能にすることを目的とする。

本発明に係る撮像装置は、撮像素子を有する撮像部と、前記撮像部の光軸に略平行な方向に離して配置された複数のマイクを含む第１のマイク群と、前記撮像部の光軸に略垂直な方向に離して配置された複数のマイクを含む第２のマイク群と、入力される音信号を用いて指向性処理を実施し、前記指向性処理された音信号を出力する音信号処理部と、を有し、前記音信号処理部は、集音対象の範囲が所定の画角よりも広い側である場合、前記第１のマイク群で得られる音信号を用いて前記指向性処理を実施し、前記集音対象の範囲が所定の画角よりも狭い側である場合、前記第２のマイク群で得られる音信号を用いて前記指向性処理を実施することを特徴とする。

本発明によれば、集音対象の被写体の位置が装置の正面方向から離れている場合にも、目的とする音を明瞭に集音することが可能となる。

本実施形態における撮像システムのハードウェア構成の例を示す図である。 本実施形態における撮像システムの機能構成の例を示す図である。 本実施形態における撮像装置の例を説明する図である。 本実施形態における音信号処理に係る構成例を示す図である。 本実施形態における音信号処理について説明する図である。 本実施形態における音信号処理について説明する図である。 本実施形態における音信号処理の例を示すフローチャートである。 本実施形態におけるアンプの増幅量の設定例を示す図である。 本実施形態における使用するマイク群の他の選択例を説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態における撮像システムのハードウェア構成の一例を示すブロック図である。本実施形態における撮像システムは、撮像部及び複数のマイクを有する撮像装置１１０と、撮像装置１１０に対する操作や撮像装置１１０により得られる画像、音の出力等を実行可能なクライアント装置１２０とを有する。撮像装置１１０とクライアント装置１２０とは、例えばＩＰ（Internet Protocol）ネットワーク等のネットワーク１３０を介して通信可能に接続される。

撮像装置１１０は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、通信インターフェース（通信Ｉ／Ｆ）１１４、撮像部１１５、マイク群１１６、及び記憶装置１１７を有する。ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、通信Ｉ／Ｆ１１４、撮像部１１５、マイク群１１６、及び記憶装置１１７は、システムバス等の伝送路１１８を介して通信可能に接続される。

ＣＰＵ（Central Processing Unit）１１１は、システムバス等の伝送路１１８を介して接続された撮像装置１１０の各種デバイスの制御を行う。ＲＯＭ（Read Only Memory）１１２は、撮像装置１１０の起動プログラム等を記憶する。ＲＡＭ（Random Access Memory）１１３は、ＣＰＵ１１１の主記憶装置として使用される。通信Ｉ／Ｆ１１４は、撮像装置１１０をネットワーク１３０に接続し、ネットワーク１３０を介した情報通信を制御する。

撮像部１１５は、撮像素子を有しており、被写体を撮像して、被写体を含む画像の画像信号を出力する。マイク群１１６は、複数のマイクを有しており、撮像装置１１０周辺の音を集音し、集音した音の音信号を出力する。記憶装置１１７は、例えば不揮発性半導体記憶装置であり、撮像装置１１０の動作や処理に係る制御プログラム等を記憶する。なお、記憶装置１１７が、撮像部１１５から出力される画像の画像信号を必要に応じて記憶するようにしても良い。

前述のように構成された撮像装置１１０において、撮像装置１１０に電源が投入されると、ＣＰＵ１１１は、ＲＯＭ１１２に格納された起動プログラムに従って、ＲＯＭ１１２又は記憶装置１１７から制御プログラム等をＲＡＭ１１３に読み込む。ＣＰＵ１１１は、ＲＡＭ１１３に読み込んだ制御プログラム等に従い処理等を実行することによって、撮像装置１１０の機能を実現する。つまり、撮像装置１１０のＣＰＵ１１１が制御プログラム等に基づき処理を実行することによって撮像装置１１０の機能及び処理が実現される。

クライアント装置１２０は、ＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、通信インターフェース（Ｉ／Ｆ）１２４、出力装置１２５、入力装置１２６、及び記憶装置１２７を有する。ＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、通信Ｉ／Ｆ１２４、出力装置１２５、入力装置１２６、及び記憶装置１２７は、システムバス等の伝送路１２８を介して通信可能に接続される。

ＣＰＵ１２１は、システムバス等の伝送路１２８を介して接続されたクライアント装置１２０の各種デバイスの制御を行う。ＲＯＭ１２２は、ＢＩＯＳのプログラムやブートプログラムを記憶する。ＲＡＭ１２３は、ＣＰＵ１２１の主記憶装置として使用される。通信Ｉ／Ｆ１２４は、クライアント装置１２０をネットワーク１３０に接続し、ネットワーク１３０を介した情報通信を制御する。

出力装置１２５は、ＣＰＵ１２１における処理結果等を出力する。また、出力装置１２５は、例えば撮像装置１１０から出力される画像信号に基づく画像をディスプレイ等の画像表示部に表示したり、撮像装置１１０から出力される音信号に基づく音をスピーカ等の音出力部から出力したりする。入力装置１２６は、ユーザによる入力等を受け付ける。記憶装置１２７は、オペレーティングシステム（ＯＳ）のプログラムやＯＳ上で動作する各種アプリケーションのプログラム等が格納される。記憶装置１２７は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等である。

前述のように構成されたクライアント装置１２０において電源が投入されると、ＣＰＵ１２１は、ＲＯＭ１２２に格納されたブートプログラムに従って、記憶装置１２７等からＯＳのプログラム等をＲＡＭ１２３に読み込む。ＣＰＵ１２１は、ＲＡＭ１２３に読み込んだＯＳのプログラム等に従い処理を実行することによって、クライアント装置１２０の機能を実現する。つまり、クライアント装置１２０のＣＰＵ１２１がプログラムに基づき処理を実行することによってクライアント装置１２０の機能及び処理が実現される。

図２は、本実施形態における撮像システムの機能構成の一例を示すブロック図である。本実施形態における撮像システムは、撮像部２１０、第１のマイク群２２０、第２のマイク群２３０、画像処理部２４０、音信号処理部２５０、出力部２６０、記憶部２７０、制御部２８０、及び操作部２９０を有する。

撮像部２１０は、光学系２１１及び撮像素子２１２を有し、撮像を行い撮像した被写体を含む画像の画像信号を出力する。光学系２１１は、レンズ等で構成された光学系であり、フォーカスレンズやその駆動系等を含む。撮像素子２１２は、例えばＣＭＯＳイメージセンサ等の撮像素子であり、光学系２１１により結像された光学像を光電変換し、得られた画像信号を出力する。

第１のマイク群２２０及び第２のマイク群２３０は、音声を集音するための複数のマイク２２１、２３１をそれぞれ有し、得られた音信号を出力する。第１のマイク群２２０が有する複数のマイク２２１は、撮像装置が有する撮像部２１０の光軸に略平行な方向に離して配置されている。また、第２のマイク群２３０が有する複数のマイク２３１は、撮像装置が有する撮像部２１０の光軸に略垂直な方向に離して配置されている。

例えば、図３（Ａ）及び図３（Ｂ）に一例を示すように、撮像装置３００が有する撮像部の光軸３１０に対して、略平行な方向に距離Ｄ１を有して、第１のマイク群２２０に属するマイク２２１Ａ、２２１Ｂが順に配置されている。また、撮像部の光軸３１０に対して、略垂直な方向に距離Ｄ２を有し撮像部の光軸３１０に略対称となるように、第２のマイク群２３０に属するマイク２３１Ａ、２３１Ｂが順に配置されている。ここで、図３（Ａ）は撮像装置３００の外観図であり、図３（Ｂ）は撮像装置の断面図である。なお、図３（Ａ）及び図３（Ｂ）に示した第１のマイク群２２０に属する複数のマイク及び第２のマイク群２３０に属する複数のマイクの配置は一例であり、本実施形態におけるマイクの配置はこれに限定されるものではない。

画像処理部２４０は、撮像部２１０によって得られた画像信号に係る画像処理を行う。また、音信号処理部２５０は、第１のマイク群２２０のマイク２２１や第２のマイク群２３０のマイク２３１によって得られた音信号に係る音信号処理を行う。音信号処理部２５０が行う音信号処理は、後述する音信号に係る指向性処理を含む。画像処理部２４０により画像処理が施された画像信号及び音信号処理部２５０により音信号処理が施された音信号は、出力部２６０や記憶部２７０に出力される。なお、画像処理部２４０及び音信号処理部２５０が、記憶部２７０等に格納された画像信号及び音信号に対して処理を行うようにしてもよい。

出力部２６０は、画像信号に係る画像を表示する画像表示部２６１、及び音信号に係る音を再生出力する音出力部２６２を有する。画像表示部２６１は、画像処理部２４０から出力される画像信号、又は記憶部２７０に格納された画像信号に基づいて、その画像信号に係る画像を表示する。また、音出力部２６２は、音信号処理部２５０から出力される音信号、又は記憶部２７０に格納された音信号に基づいて、その音信号に係る音を出力する。

記憶部２７０は、画像処理部２４０により画像処理が施された画像信号や音信号処理部２５０により音信号処理が施された音信号を記憶する。制御部２８０は、撮像システムが有する各機能部を制御する。制御部２８０は、例えば操作部２９０からの指示に応じて撮像部２１０を制御したり、画像処理部２４０及び音信号処理部２５０を制御したりする。操作部２９０は、撮像システムに対するユーザの各種指示動作を受け付けて制御部２８０等に出力する。

図１に示した撮像装置１１０のＣＰＵ１１１が制御プログラムを読み出して実行することで、例えば画像処理部２４０、音信号処理部２５０、及び制御部２８０の機能が実現される。なお、クライアント装置１２０のＣＰＵ１１１がプログラムを読み出して実行することで、画像処理部２４０、音信号処理部２５０、及び制御部２８０のそれぞれの機能の一部が実現されるようにしてもよい。撮像装置１１０の撮像部１１５により、例えば撮像部２１０の機能が実現され、撮像装置１１０のマイク群１１６により、例えば第１のマイク群２２０及び第２のマイク群２３０の機能が実現される。また、クライアント装置１２０の出力装置１２５により、例えば出力部２６０の機能が実現され、クライアント装置１２０の入力装置１２６により、例えば操作部２９０の機能が実現される。撮像装置１１０の記憶装置１１７やクライアント装置１２０の記憶装置１２７により、例えば記憶部２７０の機能が実現される。

以下では、図３（Ａ）及び図３（Ｂ）に例示したように、第１のマイク群２２０がマイク２２１Ａ、２２１Ｂを有し、第２のマイク群２３０がマイク２３１Ａ、２３１Ｂを有する場合を例に説明する。図４は、本実施形態における音信号処理（指向性処理）に係る構成例を示す図である。マイク２２１Ａ、２２１Ｂ、２３１Ａ、２３１Ｂによりそれぞれ得られた音信号が、音信号処理部２５０に入力される。

音信号処理部２５０のセレクタ４０１は、４つのマイク２２１Ａ、２２１Ｂ、２３１Ａ、２３１Ｂの音信号が入力され、そのうちの２つの音信号をＣＰＵ４０３からの選択信号ＳＥＬに基づいて選択し出力する。セレクタ４０１は、選択信号ＳＥＬに基づいて、第１のマイク群２２０が有するマイク２２１Ａ、２２１Ｂの音信号、又は第２のマイク群２３０が有するマイク２３１Ａ、２３１Ｂの音信号を出力する。アンプ４０２Ａ、４０２Ｂは、セレクタ４０１から出力された音信号が入力され、入力された音信号をＣＰＵ４０３からの設定信号ＳＧＡ、ＳＧＢに応じた増幅量だけ増幅する。

ＣＰＵ（指向性処理部）４０３は、アンプ４０２Ａ、４０２Ｂにより増幅された音信号が入力され、その音信号を指向性処理して、指向性処理後の音信号ＳＯＵＴを出力する。ここで、指向性処理とは、目的の方向からの音を強調し、目的以外の方向からの音を抑制する信号処理である。また、ＣＰＵ４０３は、操作部２９０から目的の方向に関する指示（指向範囲指定）を示す信号ＳＩＮが入力され、信号ＳＩＮに応じた選択信号ＳＥＬを出力する。

次に、本実施形態における音信号処理（指向性処理）について説明する。なお、以下の説明では、音を集音するマイクと音源との距離は、マイク間の距離に対して十分に大きく、マイクからみた音源の方向（角度）は同じ角度であるとする。

図５（Ａ）は、音源からの音が、第２のマイク群２３０に属するマイク２３１Ａ及びマイク２３２Ｂに対して、角度θの方向から到達する様子を示している。マイク２３１Ａとマイク２３１Ｂとは、距離Ｄ２を隔てて配置されている。この場合において、音源からマイク２３１Ａまでの距離と、音源からマイク２３１Ｂまでの距離との差Ｌは、
Ｌ＝Ｄ２×ｃｏｓθ
で表される。また、音速をＶとすると、音源からの音がマイク２３１Ａに到達してから、音源からの音がマイク２３１Ｂに到達するまでの時間Ｔは、
Ｔ＝Ｌ／Ｖ＝Ｄ２×ｃｏｓθ／Ｖ
で表される。

図５（Ｂ）は、Ｄ２＝５０ｍｍ、Ｖ＝３４６．７５ｍ／ｓとした場合の角度θに対する、距離の差Ｌ、時間Ｔの値、及び時間Ｔの差分を示している。例えば、θ＝０度のとき、Ｌ＝５０ｍｍ、Ｔ＝１４４μｓであり、θ＝１５度のとき、Ｌ＝４８ｍｍ、Ｔ＝１３９μｓである。したがって、θ＝０度のときとθ＝１５度のときとの時間Ｔの差分は、５μｓである。

ここで、音信号の指向性処理においては、時間Ｔをもとにして演算を行う。例えば、正面方向（９０度）の音を強調したい（指向性を持たせたい）場合、マイク２３１Ａ及びマイク２３１Ｂに同時に到達する音（Ｔ＝０μｓの音）を強調し、時間差をもって到達する音声（Ｔ≠０μｓの音）は抑制する、といった演算を行う。

したがって、目的の方向からの音の時間Ｔと目的以外の方向からの音の時間Ｔとの差分が大きければ大きいほど、より指向性を有しやすい。図５（Ｂ）に示す例では、θ＝９０度とθ＝７５度では、時間Ｔの差分が３７μｓである。一方、θ＝０度とθ＝１５度では、時間Ｔの差分が５μｓである。この２つを比較した場合、撮像部の光軸に略垂直な方向に配置した第２のマイク群２３０に属するマイク２３１Ａ、マイク２３２Ｂでは、θ＝０度よりもθ＝９０度のほうが、より指向性を有することになる。

すなわち、正面方向（θ＝９０度）からの音に指向性を持たせた場合、θ＝７５度からの音は良好に抑制され、正面方向（θ＝９０度）からの音が強調されて聞こえる。一方、θ＝０度からの音に指向性を持たせた場合、θ＝１５度からの音声は、θ＝９０度からの音に指向性を持たせたときのθ＝７５度からの音ほどは抑制されないため、目的の方向（θ＝０度）以外からの音も、漏れ聞こえてしまう状態となる。

したがって、撮像部の光軸に略垂直な方向に配置したマイク２３１Ａ、マイク２３１Ｂを用いて指向性処理を実施する場合には、装置の正面方向（例えば、θ＝９０度）からの音を明瞭に集音する用途には適している。しかし、装置の正面方向以外（例えば、θ＝０度）からの音を明瞭に集音する用途には適していないことが理解できる。したがって、集音対象の被写体の位置が装置の正面方向から離れている場合には、目的とする音が明瞭に集音できないという課題が生ずる。

そこで、本実施形態では、撮像部の光軸に略平行な方向に配置した第１のマイク群２２０に属するマイク２２１Ａ及び２２１１Ｂを活用することで、前述した課題を解決する。図６（Ａ）は、音源からの音が、第１のマイク群２２０に属するマイク２２１Ａ及びマイク２２２Ｂに対して、角度θの方向から到達する様子を示している。マイク２２１Ａとマイク２２１Ｂとは、距離Ｄ１を隔てて配置されている。この場合において、音源からマイク２２１Ａまでの距離と、音源からマイク２２１Ｂまでの距離との差Ｌは、
Ｌ＝Ｄ１×ｃｏｓ（９０－θ）＝Ｄ１×ｓｉｎθ
で表される。また、音速をＶとすると、音源からの音がマイク２２１Ａに到達してから、音源からの音がマイク２２１Ｂに到達するまでの時間Ｔは、
Ｔ＝Ｌ／Ｖ＝Ｄ１×ｓｉｎθ／Ｖ
で表される。

図６（Ｂ）は、Ｄ１＝５０ｍｍ、Ｖ＝３４６．７５ｍ／ｓとした場合の角度θに対する、距離の差Ｌ、時間Ｔの値、及び時間Ｔの差分を示している。ここで、時間Ｔの差分に着目すると、マイク２３１Ａ及びマイク２３１Ｂを用いた場合（図５（Ｂ）を参照）とは異なり、正面方向の差分が小さく、正面方向以外の差分が大きくなっていることが分かる。この結果は、当然のことながら、第１のマイク群２２０に属するマイク２２１Ａ及びマイク２２１Ｂの配置方向と、第２のマイク群２３１に属するマイク２３１Ａ及びマイク２３１Ｂの配置方向とが、９０度だけ異なることによるものである。

本実施形態における音信号処理（指向性処理）では、時間Ｔの差分が大きい（指向性処理に適している）方のマイク群によって得られた音信号を使用する。図５（Ｂ）及び図６（Ｂ）に示した例を比較すると、図５（Ｂ）に示す範囲５０１及び図６（Ｂ）に示す範囲６０１、６０２が他方よりも時間Ｔの差分が大きい。したがって、正面方向（θが４５度～１３５度）の範囲においては、第２のマイク群２３０に属するマイク２３１Ａ及びマイク２３２Ｂにより得られる音信号を使用して指向性処理を実施する。また、正面以外の方向（θが０度～４５度、１３５度～１８０度）の範囲においては、第１のマイク群２２０に属するマイク２２１Ａ及びマイク２２１Ｂにより得られる音信号を使用して指向性処理を実施する。このように、集音対象の範囲が所定の画角（この例では４５度～１３５度）よりも広い側（広角側）である場合、第１のマイク群２２０で得られる音信号を使用して指向性処理を実施する。また、集音対象の範囲が所定の画角（この例では４５度～１３５度）よりも狭い側（望遠側）である場合、第２のマイク群２３０で得られる音信号を使用して指向性処理を実施する。

図７は、本実施形態における音信号処理の例を示すフローチャートである。
まず、ステップＳ７００にて、操作部２９０によって目的の方向に関する指示（指向範囲指定）が与えられると、ステップＳ７０１にて、音信号処理部２５０のＣＰＵ４０３は、指向性処理に使用するマイク群を決定する。このとき、ＣＰＵ４０３は、前述したように時間Ｔの差分が大きいほうのマイク群を使用するように決定する。例えば、θ＝７５度に指向範囲指定された場合、ＣＰＵ４０３は、第２のマイク群２３０（マイク２３１Ａ、マイク２３１Ｂ）に決定する。

ステップＳ７０２にて、ＣＰＵ４０３は、ステップＳ７０１において決定したマイク群で得られる音信号を選択するように、セレクタ４０１に対して選択信号ＳＥＬを出力する。例えば、θ＝７５度に指向範囲指定された場合、第２のマイク群２３０（マイク２３１Ａ、マイク２３１Ｂ）からの音信号が選択されるように選択信号ＳＥＬを出力する。

続いて、ステップＳ７０３にて、ＣＰＵ４０３は、アンプ４０２Ａ及び４０２Ｂの増幅量を決定する。この処理によって、マイク毎の感度差を補正し、かつ、被写体とマイクとの距離差に起因する感度差を補正する。

例えば、図３（Ａ）及び図３（Ｂ）に示した例において、マイク２２１Ａよりもマイク２２１Ｂの方が、被写体から距離Ｄ１だけ遠い位置に配置されている。そのため、マイク２２１Ｂに到達する音源からの音量は、マイク２２１Ａに到達する音源からの音量よりも小さくなる。したがって、マイク２２１Ｂからの音信号を増幅するアンプには、マイク２２１Ａからの音信号を増幅するアンプよりも、大きい増幅量を設定する必要がある。

ＣＰＵ１０５は、このように被写体とマイクとの距離差に起因する感度差を補正することも目的として、アンプ４０２Ａ及び４０２Ｂの増幅量を決定する。アンプ４０２Ａ及び４０２Ｂに設定する増幅量の一例を図８（Ａ）及び図８（Ｂ）に示す。

第１のマイク群２２０が選択された場合には、例えば、マイク２２１Ａからの音信号を増幅するアンプに対して増幅量３０．０ｄＢが設定され、マイク２２１Ｂからの音信号を増幅するアンプに対して増幅量３０．８ｄＢが設定される。マイク２２１Ａ及びマイク２２１Ｂに対する設定値の差分は、前述した通り、マイク毎の感度差、及び被写体とマイクとの距離差に起因する感度差を考慮したものとなっている。

また、第２のマイク群２３０が選択された場合には、例えば、マイク２３１Ａからの音信号を増幅するアンプに対して増幅量３０．３ｄＢが設定され、マイク２３１Ｂからの音信号を増幅するアンプに対して増幅量３０．１ｄＢが設定される。マイク２３１Ａ及びマイク２３１Ｂに対する設定値の差分は、マイク毎の感度差を考慮したもののみとなっている。第２のマイク群２３０のマイク２３１Ａ及びマイク２３１Ｂは、撮像部の光軸に略対称となるように配置されているため、被写体とマイクとの距離差に起因する感度差はゼロとみなしている。

マイク２２１Ａ、２２１Ｂ、２３１Ａ、及び２３１Ｂで比較すると、最も被写体から遠い距離に配置されているマイクは、マイク２２１Ｂである。もし、マイク毎の感度差を無視すれば、マイク２２１Ｂからの音信号を増幅するアンプに対しては、最も大きな増幅量を設定する必要がある。言い換えると、マイク毎の感度差がなければ、第１のマイク群２２０に属するマイクに対して設定される各々の増幅量の平均値は、第２のマイク群２３０に属するマイクに対して設定される各々の増幅量の平均値より大きくする必要がある。また、第１のマイク群に属するマイクに対して設定される各々の増幅量は、撮像装置において被写体側から遠いほど高く設定する必要がある。

次に、ステップＳ７０４にて、ＣＰＵ４０３は、ステップＳ７０３において決定したアンプ４０２Ａ及び４０２Ｂの増幅量に基づいて、アンプ４０２Ａ及び４０２Ｂに対して設定信号ＳＧＡ、ＳＧＢを出力する。続いて、ステップＳ７０５にて、ＣＰＵ４０３は、アンプ４０２Ａ及び４０２Ｂによって増幅された音信号を用いて、指向範囲指定された方向に指向性を持たせるように演算処理を行い、指向性処理を実施する。

以上のように、本実施形態によれば、指向性を持たせる方向（角度θ）によって、指向性処理のために使用するマイクを切り替えることで、正面以外の方向の音を明瞭に集音することが可能となる。したがって、集音対象の被写体（音源）の位置が装置の正面方向から離れている場合にも、目的とする音を集音することが可能となる。

以上、説明した実施形態は一例であり、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、マイク２２１Ａとマイク２２１Ｂとの距離Ｄ１、マイク２３１Ａとマイク２３１Ｂとの距離Ｄ２は、前述した実施形態ではＤ１＝Ｄ２＝５０ｍｍとして説明したが、等距離でなくともよく、距離Ｄ１と距離Ｄ２とが異なっていてもよい。一例として、距離Ｄ１＝１００ｍｍ、距離Ｄ２＝５０ｍｍとした場合の角度θに対する、距離の差Ｌ、時間Ｔの値、及び時間Ｔの差分を図９に示す。第１のマイク群２２０に属するマイク２２１Ａ、２２１Ｂについて示した図６（Ｂ）と図９（Ｂ）とを比較すると、時間Ｔの差分は、距離Ｄ１＝５０ｍｍのときよりも距離Ｄ１＝１００ｍｍにした方が、大きくなっていることが分かる。すなわち、マイク間距離が大きい方が指向性処理に適していることが明らかである。

図３（Ａ）及び図３（Ｂ）に示したような箱形の撮像装置（例えば、ネットワークカメラ）においては、マイク２３１Ａとマイク２３１Ｂとの距離に比べて、マイク２２１Ａとマイク２２１Ｂとの距離のほうが、より大きくできる。そのため、Ｄ１＝Ｄ２とするよりも、Ｄ１＞Ｄ２という関係にした方が、指向性処理に関してはより好ましい。

例えば、図９（Ａ）及び図９（Ｂ）に示した例においては、図９（Ａ）に示す範囲９０１及び図９（Ｂ）に示す範囲９０２、９０３が他方よりも時間Ｔの差分が大きい。したがって、正面方向（θが６０度～１２０度）の範囲においては、第２のマイク群２３０に属するマイク２３１及びマイク２３１Ｂにより得られる音信号を使用して指向性処理を実施する。また、正面以外の方向（θが０度～６０度、１２０度～１８０度）の範囲においては、第１のマイク群２２０に属するマイク２２１Ａ及びマイク２２１Ｂにより得られる音信号を使用して指向性処理を実施する。以上より、第１のマイク群のマイク間距離と第２のマイク群のマイク間距離が等距離でなくとも、実施形態として好ましい場合があることが理解されよう。

また、前述した実施形態では、第１のマイク群２２０に属するマイクと第２のマイク群２３０に属するマイクとは、すべて異なるものとしているが、少なくとも１つのマイクが第１のマイク群２２０及び第２のマイク群２３０に属するようにしてもよい。例えば、図３（Ｃ）に示すように第１のマイク群２２０に属するマイク及び第２のマイク群２３０に属するマイクを配置し、１つのマイク（２２１Ａ、２３１Ａ）を第１のマイク群２２０と第２のマイク群２３０とで共用するようにしてもよい。図３（Ｃ）に示したように配置しても音信号処理（指向性処理）に使用する音信号を適切に選択することで、図３（Ａ）に示した配置と同様の効果が得られる。

また、図３（Ｄ）に示すように、第２のマイク群２３０に属するマイクとして、撮像部の光軸に対して略垂直な方向で、かつマイク２３１Ａとマイク２３１Ｂとを結ぶ方向に略垂直な方向に、さらにマイク２３１Ｃを配置するようにしてもよい。このようにした場合には、撮像部の光軸を法線ベクトルとする平面上の任意の位置に対する指向性を持たせることが可能となる。

なお、前述した音信号処理（指向性処理）は、撮像装置１１０において実施してもよいし、クライアント装置１２０において実施してもよい。例えば、撮像装置１１０において指向性処理を実施し、指向性処理後の音信号を撮像装置１１０から出力するようにしてもよい。また、例えば、撮像装置１１０から第１のマイク群２２０及び第２のマイク群２２０で得られた音信号を出力し、クライアント装置１２０において使用する音信号を選択して指向性処理を実施してもよい。また、例えば、撮像装置１１０から第１のマイク群２２０及び第２のマイク群２２０の内の使用するマイク群で得られた音信号だけを出力し、クライアント装置１２０において指向性処理を実施してもよい。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１０：撮像装置 １１１、１２１：ＣＰＵ １１２、１２２：ＲＯＭ １１３、１２３：ＲＡＭ １１４、１２４：通信インターフェース １１５：撮像部 １１６：マイク群 １１７、１２７：記憶装置 １２０：クライアント装置 １２５：出力装置 １２６：入力装置 １３０：ネットワーク ２１０：撮像部 ２１１：光学系 ２１２：撮像素子 ２２０、２３０：マイク群 ２２１、２３１：マイク ２４０：画像処理部 ２５０：音信号処理部 ２６０：出力部 ２６１：画像表示部 ２６２：音出力部 ２７０：記憶部 ２８０：制御部 ２９０：操作部

Claims (11)

1. 撮像素子を有する撮像部と、
   前記撮像部の光軸に略平行な方向に離して配置された複数のマイクを含む第１のマイク群と、
   前記撮像部の光軸に略垂直な方向に離して配置された複数のマイクを含む第２のマイク群と、
   入力される音信号を用いて指向性処理を実施し、前記指向性処理された音信号を出力する音信号処理部と、
   を有し、
   前記音信号処理部は、
   集音対象の範囲が所定の画角よりも広い側である場合、前記第１のマイク群で得られる音信号を用いて前記指向性処理を実施し、
   前記集音対象の範囲が所定の画角よりも狭い側である場合、前記第２のマイク群で得られる音信号を用いて前記指向性処理を実施することを特徴とする撮像装置。
2. 前記第１のマイク群に属する少なくとも１つのマイクが、前記第２のマイク群に属することを特徴とする請求項１に記載の撮像装置。
3. 前記第１のマイク群におけるマイク間の距離は、前記第２のマイク群におけるマイク間の距離よりも大きいことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１のマイク群におけるマイク間の距離と、前記第２のマイク群におけるマイク間の距離とが同じであることを特徴とする請求項１又は２に記載の撮像装置。
5. 前記第２のマイク群に属するマイクは、前記撮像部の光軸に略対称に配置されていることを特徴とする請求項１～４の何れか１項に記載の撮像装置。
6. 第１の平面上に前記第１のマイク群に属する前記複数のマイクが配置され、前記第１の平面とは異なる第２の平面上に前記第２のマイク群に属する前記複数のマイクが配置されることを特徴とする請求項１～５の何れか１項に記載の撮像装置。
7. 前記音信号処理部は、入力される前記音信号を増幅する複数のアンプを有し、
   前記第１のマイク群で得られる音信号を用いて前記指向性処理を実施する場合に前記複数のアンプに設定される増幅量の平均値は、前記第２のマイク群で得られる音信号を用いて前記指向性処理を実施する場合に前記複数のアンプに設定される増幅量の平均値より大きいことを特徴とする請求項１に記載の撮像装置。
8. 前記第１のマイク群で得られる音信号を用いて前記指向性処理を実施する場合に前記複数のアンプに設定される増幅量は、音信号を得るマイクの位置が撮像装置において被写体側から遠いほど高く設定されることを特徴とする請求項７に記載の撮像装置。
9. 撮像素子を有する撮像部と、前記撮像部の光軸に略平行な方向に離して配置された複数のマイクを含む第１のマイク群と、前記撮像部の光軸に略垂直な方向に離して配置された複数のマイクを含む第２のマイク群とを有する撮像装置と、
   前記撮像装置から出力された音信号を用いて指向性処理を実施し、前記指向性処理された音信号を出力する音信号処理部を有し、
   前記音信号処理部は、
   集音対象の範囲が所定の画角よりも広い側である場合、前記第１のマイク群で得られる音信号を用いて前記指向性処理を実施し、
   前記集音対象の範囲が所定の画角よりも狭い側である場合、前記第２のマイク群で得られる音信号を用いて前記指向性処理を実施することを特徴とする撮像システム。
10. 撮像素子を有する撮像部と、前記撮像部の光軸に略平行な方向に離して配置された複数のマイクを含む第１のマイク群と、前記撮像部の光軸に略垂直な方向に離して配置された複数のマイクを含む第２のマイク群とを有する撮像装置により得られる音信号の信号処理方法であって、
    集音対象の範囲に応じて、前記第１のマイク群及び前記第２のマイク群の内から使用するマイク群を決定する決定工程と、
    前記決定工程で決定されたマイク群で得られる音信号を用いて指向性処理を実施し、前記指向性処理された音信号を出力する音信号処理工程とを有し、
    前記音信号処理工程では、
    集音対象の範囲が所定の画角よりも広い側である場合、使用するマイク群を前記第１のマイク群に決定し、
    前記集音対象の範囲が所定の画角よりも狭い側である場合、使用するマイク群を前記第２のマイク群に決定することを特徴とする信号処理方法。
11. 撮像素子を有する撮像部と、前記撮像部の光軸に略平行な方向に離して配置された複数のマイクを含む第１のマイク群と、前記撮像部の光軸に略垂直な方向に離して配置された複数のマイクを含む第２のマイク群とを有する撮像装置により得られる音信号の信号処理をコンピュータに実行させるプログラムであって、
    集音対象の範囲に応じて、前記第１のマイク群及び前記第２のマイク群の内から使用するマイク群を決定する決定ステップと、
    前記決定ステップで決定されたマイク群で得られる音信号を用いて指向性処理を実施し、前記指向性処理された音信号を出力する音信号処理ステップとを有し、
    前記音信号処理ステップでは、
    集音対象の範囲が所定の画角よりも広い側である場合、使用するマイク群を前記第１のマイク群に決定し、
    前記集音対象の範囲が所定の画角よりも狭い側である場合、使用するマイク群を前記第２のマイク群に決定することを特徴とするプログラム。

Images