JP5801026B2 - 画像音響処理装置及び撮像装置 - Google Patents

Description

本発明は、入力される画像信号と、当該画像信号と対になる音響信号と、に所定の処理を施して出力する画像音響処理装置や、当該画像音響処理装置を備えた撮像装置に関する。

撮像及び集音により画像信号及び音響信号を生成して記録するデジタルビデオカメラに代表される撮像装置が、広く普及している。このような撮像装置の中には、所定の方向から到来する音を強調した（指向特性を制御した）音響信号を生成して記録するものがある。

例えば特許文献１では、マイクの指向特性を表現する画像をモニタに表示する撮像装置が提案されている。また、特許文献２では、音量や音響信号の指向特性を表現したパターンを撮像中の画像に重畳させてモニタに表示する撮像装置が提案されている。

特開平６−２２５３８２号公報 特開２００６−２６１９００号公報

特許文献１及び特許文献２で提案される撮像装置では、マイクまたは音響信号の指向特性や音響信号の音量がモニタなどに表示されるため、撮影者はこれらの表示を確認することによって音響信号の指向特性や音量を認識することが可能となる。しかしながら、これらの表示によって撮影者が音響信号の指向特性を認識できたとしても、意図する音響信号を得るための指向特性の制御方法の設定や調整が困難となったり、そのための操作が煩雑となったりするため、問題となる。

また、特許文献２で提案される撮像装置では、画角内の物体が発する音の音量を表示することは可能である。しかしながら、撮影者などの画角外の物体が発する音の音量は表示することができないため、意図する音響信号を得るためにどのように対応すべきかを撮影者が判断することが困難となり、問題となる。

そこで本発明は、ユーザが意図する音響信号を容易かつ精度良く生成することを可能とする画像音響処理装置及び撮像装置を提供することを目的とする。

上記目的を達成するために本発明の画像音響処理装置は、対になる入力画像信号及び入力音響信号を処理する画像音響処理装置において、前記入力画像信号が示す入力画像を解析する画像解析部と、前記画像解析部の解析結果に基づいて前記入力音響信号の指向特性を制御し、出力音響信号を生成する指向特性制御部と、前記出力音響信号の状態を示す画像を含む表示画像を生成する表示画像生成部と、を備えることを特徴とする。

なお、出力音響信号には、以下の実施形態において説明する音量検出用出力音響信号が含まれ得る。同様に、指向特性制御部には、音量検出用指向特性制御部が含まれ得る。

また、上記構成の画像音響処理装置において、前記画像解析部が、前記入力画像中から注目被写体を検出し、前記指向特性制御部が、前記画像解析部による前記注目被写体の検出結果に基づいて前記入力音響信号の指向特性を制御して前記出力音響信号を生成し、前記表示画像生成部が、前記出力音響信号の指向特性を示す画像を前記入力画像に重畳させた前記表示画像を生成することとしても構わない。

このように構成すると、注目被写体に対応した制御方法によって入力音響信号の指向特性を制御することが可能となる。そのため、入力音響信号中の注目被写体が発する音を、容易にユーザが意図するものに制御することが可能となる。なお、以下の実施形態では、出力音響信号の指向特性の一例として、入力音響信号の制御後の指向特性である目標指向特性を挙げて説明している。

また、上記構成の画像音響処理装置において、前記出力音響信号の強調された音の到来方向を示す画像を入力画像に重畳して表示画像を生成することとしても構わない。

このように構成すると、出力音響信号の具体的な指向特性を示す画像を、入力画像に対比させて示した表示画像を生成することが可能となる。そのため、表示画像を確認したユーザが、出力音響信号の指向特性を具体的かつ容易に認識することが可能となる。なお、以下の実施形態では、出力音響信号の強調された音の到来方向を示す画像の一例として軸（図６及び図８参照）を挙げて説明している。

また、上記構成の画像音響処理装置において、前記出力音響信号の音量を検出する音量検出部をさらに備え、前記画像解析部が、前記入力画像中から注目被写体を検出し、前記指向特性制御部が、前記入力音響信号中の前記注目被写体が存在する方向以外から到来する音を抑制して前記出力音響信号を生成し、前記表示画像生成部が、前記音量検出部により検出される前記出力音響信号の音量を示す画像を、前記入力画像に重畳させた前記表示画像を生成することとしても構わない。

このように構成すると、注目被写体が発する音の音量を示した表示画像を生成することが可能となる。そのため、表示画像を確認したユーザが、注目被写体が発する音の状態を具体的に認識することが可能となる。

また、上記構成の画像音響処理装置において、前記表示画像生成部が、前記出力音響信号の音量を示す画像を、前記入力画像中の前記注目被写体の近傍となる位置に重畳させた前記表示画像を生成することとしても構わない。

このように構成すると、音量を注目被写体に関連付けて示した表示画像を生成することが可能となる。そのため、表示画像を確認したユーザが、表示される音量がどの注目被写体が発した音の音量であるかを容易に認識することが可能となる。

また、上記構成の画像音響処理装置において、前記表示画像生成部が、前記入力画像中の前記注目被写体の位置を示す画像を前記入力画像に重畳させて前記表示画像を生成することとしても構わない。

このように構成すると、注目被写体の入力画像中の位置を明確に示した表示画像を生成することが可能となる。そのため、表示画像を確認したユーザが、注目被写体の場所を容易に認識することが可能となる。さらに、注目被写体と出力音響信号の状態との関係を容易に認識することが可能となる。

また、上記構成の画像音響処理装置において、前記出力音響信号の音量を検出する音量検出部と、前記入力画像の画角外の画角外音源が存在する方向を検出する音源方向検出部と、をさらに備え、前記指向特性制御部が、前記入力音響信号中の前記画角外音源が存在する方向以外から到来する音を抑制して前記出力音響信号を生成し、前記表示画像生成部が、前記音量検出部により検出される前記出力音響信号の音量を示す画像を、前記入力画像に重畳させた前記表示画像を生成することとしても構わない。

このように構成すると、画角外音源が発する音の音量を示した表示画像を生成することが可能となる。そのため、表示画像を確認したユーザが、画角外音源が発する音の状態を具体的に認識することが可能となる。なお、音源方向検出部が、例えば入力画像や入力音響信号を解析することによって、画角外音源が存在する方向を検出することとしても構わない。

また、上記構成の画像音響処理装置において、前記表示画像生成部が、前記出力音響信号の音量を示す画像を、前記入力画像の端部に重畳させた前記表示画像を生成することとしても構わない。

このように構成すると、音量を示す画像を最も画角外に近い位置に表示した表示画像を生成することが可能となる。そのため、表示画像を確認したユーザが、表示される音量が画角外音源の発した音の音量であることを容易に認識することが可能となる。

また、本発明の撮像装置は、上記のいずれかに記載の画像音響処理装置と、撮像により前記入力画像信号を生成する撮像部と、集音により前記入力音響信号を生成する集音部と、前記表示画像を表示する表示部と、備えることとしても構わない。

また、上記構成の撮像装置において、前記指向特性制御部による前記入力音響信号の指向特性の制御方法の変更を指示する信号を入力する操作部をさらに備えることとしても構わない。

このように構成すると、表示画像を確認した撮影者が、容易に入力音響信号の指向特性の制御方法を変更して意図する出力音響信号を生成することが可能となる。

本発明によると、入力画像の解析結果に基づいた制御方法で入力音響信号の指向特性の制御を行うとともに、得られる出力音響信号の状態を示した画像を含む表示画像が生成されることとなる。即ち、入力画像に連動した入力音響信号の指向特性の制御を行うことにより、入力音響信号の指向特性の制御を容易に行うことが可能となる。さらに、得られる出力音響信号の状態が表示画像に含まれるため、表示画像を確認したユーザが、意図した出力音響信号が得られているか否かを確認することが可能となる。そして、出力音響信号の状態が意図するものと異なる場合には、入力音響信号の指向特性の制御方法を変更するなどの対応を講じることが可能となる。したがって、ユーザが意図する出力音響信号を容易かつ精度良く生成することが可能となる。

は、本発明の実施形態における撮像装置の構成について示すブロック図である。 は、第１実施例の画像音響処理部の構成について示すブロック図である。 は、第１実施例の画像音響処理部における指向特性制御部の構成例について示すブロック図である。 は、第１実施例の画像音響処理部における表示画像生成部によって生成される表示画像の一例について示す図である。 は、指向特性画像の種々の例について示す図である。 は、第１実施例の画像音響処理部における表示画像生成部によって生成される表示画像の別例について示す図である。 は、第２実施例の画像音響処理部の構成について示すブロック図である。 は、第２実施例の画像音響処理部における表示画像生成部によって生成される表示画像の一例について示す図である。 は、第３実施例の画像音響処理部の構成について示すブロック図である。 は、第３実施例の画像音響処理部における音量検出用指向特性制御部の構成例について示すブロック図である。 は、第３実施例の画像音響処理部における表示画像生成部によって生成される表示画像の一例について示す図である。 は、音量検出結果画像の別例について示す図である。 は、第３実施例の画像音響処理部における表示画像生成部によって生成される表示画像の別例について示す図である。

本発明の実施形態について、以下図面を参照して説明する。最初に、本発明における撮像装置の一例について説明する。

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成について示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音を電気信号に変換する集音部５と、集音部５から出力されるアナログ信号である音響信号をデジタル信号に変換するＡＤＣ（Analog to Digital Converter）６と、ＡＤＣ６から出力される音響信号に対して各種音響処理を施して出力する音響処理部７と、ＡＦＥ４から出力される画像信号に対して各種画像処理を施して出力する画像処理部８と、画像処理部８から出力される画像信号と音響処理部７から出力される音響信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施す圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１１と、画像信号を外部メモリ１１に記録したり読み出したりするドライバ部１０と、ドライバ部１０において外部メモリ１１から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

また、撮像装置１は、伸長処理部１２で復号された画像信号をモニタなどの表示装置（不図示）で表示可能な形式の信号に変換する画像信号出力回路部１３と、伸長処理部１２で復号された音響信号をスピーカなどの出力装置（不図示）で出力可能な形式の信号に変換する音響信号出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１６と、撮像を開始するボタンや各種設定の決定を行うボタンなどの撮影者からの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各部との間で信号のやりとりを行うためのバス１９と、メモリ１６と各部との間で信号のやりとりを行うためのバス２０と、を備える。

なお、外部メモリ１１は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１１として使用することができる。また、外部メモリ１１を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を参照して説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を生成する。イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部８に入力される。画像処理部８では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１６はフレームメモリとして動作し、画像処理部８が処理を行なう際に画像信号を一時的に保持する。

また、集音部５は、音を集音して電気信号である音響信号に変換し、出力する。集音部５から出力される音響信号はＡＤＣ６に入力されて、アナログ信号からデジタル信号へと変換される。さらに、ＡＤＣ６によってデジタル信号へと変換された音響信号は音響処理部７に入力され、ノイズ除去などの各種音響処理が施される。また、音響処理部７は、音響信号を処理することによりその指向特性を制御する。なお、指向特性やその制御方法の詳細については、後述する。

画像処理部８から出力される画像信号と、音響処理部７から出力される音響信号と、はともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とは時間的に関連付けられて（対になって）おり、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音響信号はドライバ部１０を介して外部メモリ１１に記録される。

外部メモリ１１に記録された圧縮後の画像信号及び音響信号は、操作部１７を介して入力される撮影者の再生指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、再生するために読み出される圧縮された画像信号及び音響信号を伸長し、この再生用の画像信号を画像信号出力回路部１３、再生用の音響信号を音響信号出力回路部１４にそれぞれ出力する。そして、画像信号出力回路部１３が、再生用の画像信号を表示装置で表示可能な形式の信号に変換するとともに、音響信号出力回路部１４が、再生用の音響信号をスピーカで出力可能な形式の信号に変換して、それぞれ出力する。これにより、再生用の画像が表示装置で表示され、再生用の音がスピーカから出力される。

また、本実施形態の撮像装置１は、撮像した画像の記録を開始する前や、動画の記録時などに、撮像した画像を表示装置に表示する。このとき、画像処理部８は、表示用の画像信号を生成するとともに、バス２０を介して画像信号出力回路部１３に出力する。そして、画像信号出力回路部１３が、表示用の画像信号を表示装置で表示可能な形式の信号に変換して、出力する。

撮影者は、表示装置に表示される画像を確認することで、これから記録するまたは現在記録している画像の画角を認識することができる。さらに、このとき表示装置に表示される画像には、音響処理部７によって制御される音響信号の状態が重畳して表示される。なお、表示装置に表示される画像やその生成方法の詳細については、後述する。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。ただし、表示用の画像信号を表示する表示装置は、撮像装置１と一体となっているものであると好ましい。以下では、表示装置が、撮像装置１と一体になっているモニタである場合について説明する。

また、集音部５が、デジタル信号の音響信号を出力するデジタルマイクを備えるものとして、ＡＤＣ６を備えない構成としても構わない。

＜画像音響処理部＞
以下、上述した表示画像を生成する画像処理部８及び音響処理部７の要部（以下、画像音響処理部とする）の構成及び動作について、図面を参照して説明する。なお、以下の説明では、上述した表示用の画像信号を「表示画像信号」、表示画像信号が示す画像を「表示画像」と呼ぶ。また、撮像して得られる画像信号であり表示用の画像信号の基になる画像信号を「入力画像信号」、入力画像信号が示す画像を「入力画像」と呼ぶ。また、入力画像信号の生成時（入力画像の撮像時）に集音されて得られる音響信号（即ち、入力画像信号と対になる音響信号）を「入力音響信号」と呼び、入力音響信号の指向特性を制御して生成される音響信号を「出力音響信号」と呼ぶ。

また、指向特性とは、各方向から到来する音の集音レベル（集音して得られる音響信号のレベル）の差異を示すものとし、強調方向や強調幅を用いて表現することができる。強調方向とは、当該方向から到来する音の集音レベルが他の方向から到来する音の集音レベルよりも相対的に大きくなる方向を示すものである。また、強調幅とは、集音レベルが相対的に大きくなる方向の範囲を示すものである。強調幅が広いほど広範囲から到来する音が強調されて集音され、強調幅が狭いほど狭範囲から到来する音のみが限定的に強調されて集音される。なお、強調方向は一つに限られず、同時に複数存在する場合も生じ得る。

また、ある方向から到来する音を強調するとは、ある方向から到来する音のレベルを絶対的に大きくする場合だけに限られず、ある方向以外から到来する音を抑制することで、ある方向から到来する音のレベルを相対的に大きくする場合をも含むものとする。

［第１実施例］
画像音響処理部の第１実施例について図面を参照して説明する。図２は、第１実施例の画像音響処理部の構成について示すブロック図である。図２に示すように、画像音響処理部３０ａは、入力画像信号が示す入力画像を解析して画像解析情報を生成する画像解析部８１と、画像解析部８１で生成される画像解析情報に基づいて入力音響信号の指向特性を制御して出力音響信号を生成するとともに入力音響信号の制御後の指向特性（即ち、出力音響信号の指向特性、以下、目標指向特性とする）を設定して目標指向特性情報を生成する指向特性制御部７１と、指向特性制御部７１で生成される目標指向特性情報に基づいた画像を入力画像に重畳させた表示画像となる表示画像信号を生成する表示画像生成部８２と、を備える。また指向特性制御部７１は、表示画像を確認した撮影者から操作部１７を介して入力される指向特性制御指示に基づいて、目標指向特性の設定方法の変更を行う。

なお、画像解析部８１及び表示画像生成部８２が、図１に示した画像処理部８に備えられ、指向特性制御部７１が、図１に示した音響処理部７に備えられることとしても構わない。

以下、本実施例の画像音響処理部３０ａの各部の構成及び動作について説明する。

（画像解析部）
画像解析部８１は、例えば、順次入力される入力画像中から注目被写体を順次検出する検出処理（追尾処理）を行い、検出された注目被写体の入力画像中の位置や大きさなどを示す情報を画像解析情報として順次生成し、出力する。検出すべき注目被写体は、検出処理の開始時に撮影者がカーソルキーやタッチパネルなどから成る操作部１７を操作することによって設定されたり、プログラムなどによって自動的に設定されたりする。このとき、例えば設定された注目被写体の形状や色などの特徴が認識され、入力画像内から当該特徴を示す部分が検出されることで、注目被写体の検出が行われる。

具体的に例えば、検出すべき注目被写体を不特定の人の顔としても構わないし（顔検出）、予め記憶している特定の人の顔としても構わない（顔認識）。さらに、検出した顔を有する人の一部（例えば、検出した顔の眉間から口に向かう方向に存在する領域である胴体領域）の色を認識するとともに、入力画像中から当該色の部分を検出することで、注目被写体の検出を行うこととしても構わない。

また、顔検出を行う場合、周知の種々の技術を適用することが可能である。例えば、Adaboost（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20, 1995．）を利用して大量の教師サンプル（顔及び非顔のサンプル画像）から作成した重みテーブルと、入力画像と、を比較することで顔検出を行うことが可能である。

以下では説明の具体化のため、画像解析部８１が、人の顔を注目被写体として検出するとともに、入力画像中の注目被写体（人の顔）の位置や大きさを示す情報を含む画像解析情報を生成し出力するものとする。

（指向特性制御部）
指向特性制御部７１は、画像解析部８１から出力される画像解析情報を取得し、注目被写体の位置や大きさ、有無などに基づいて目標指向特性を設定し、当該目標指向特性が実現されるように入力音響信号の指向特性を制御する。また、撮影者から操作部１７を介して指向特性制御指示が入力されれば、当該指示に基づいて目標指向特性の設定方法を変更する。また、入力音響信号の指向特性の制御は、例えば入力音響信号のレベルを音の到来方向ごとに制御することによって行う。

集音部５が、複数の指向性マイク（特定方向から到来する音を強調して集音するマイク）を備えるものである場合、入力音響信号は、強調された方向が異なる複数のチャンネルの信号を備えるものとなる。そのため、それぞれのチャンネルの信号のレベルを制御することにより、指向特性を制御することが可能となる。

また、集音部５が、複数の無指向性マイク（特定方向から到来する音を強調することなく、一律に集音するマイク）を備えるものである場合、入力音響信号は、強調された方向がない複数のチャンネルの信号を備えるものとなる。この場合、例えばそれぞれのチャンネルの信号の位相差を算出して音の到来方向を求め、音の到来方向に基づいて信号のレベルを制御することで指向特性を制御することが可能となる。なお、この構成の一例について、以下図面を参照して説明する。

図３は、第１実施例の画像音響処理部における指向特性制御部の構成例について示すブロック図である。なお、説明の具体化のため、図３ではＬｃｈ及びＲｃｈの二つのチャンネルの信号を備える入力音響信号の指向特性を制御する指向特性制御部７１について示すこととする。

図３に示すように、指向特性制御部７１は、入力音響信号のＬｃｈの信号を高速フーリエ変換（Fast Fourier Transform、以下ＦＦＴとする）して出力するＦＦＴ部７１１Ｌと、入力音響信号のＲｃｈの信号をＦＦＴして出力するＦＦＴ部７１１Ｒと、ＦＦＴ部７１１Ｌ，７１１Ｒから出力されるＬｃｈ及びＲｃｈのそれぞれの信号を所定の周波数の帯域毎に比較することで各帯域の位相差を算出して出力する位相差算出部７１２と、画像解析情報や指向特性制御指示に基づいて目標指向特性を設定して目標指向特性情報を出力する目標指向特性設定部７１３と、目標指向特性設定部７１３から出力される目標指向特性情報に示される目標指向特性が実現されるように位相差算出部７１２から出力される各帯域の位相差に基づいて各チャンネルの各帯域のレベルの制御量を設定する帯域別制御量設定部７１４と、ＦＦＴ部７１１Ｌから出力されるＬｃｈの信号の各帯域のレベルを帯域別制御量設定部７１４で設定された制御量に応じて制御して出力する帯域別レベル制御部７１５Ｌと、ＦＦＴ部７１１Ｒから出力されるＲｃｈの信号の各帯域のレベルを帯域別制御量設定部７１４で設定された制御量に応じて制御して出力する帯域別レベル制御部７１５Ｒと、帯域別レベル制御部７１５Ｌから出力されるＬｃｈの信号を逆高速フーリエ変換（Inverse Fast Fourier Transform、以下ＩＦＦＴとする）してＬｃｈの出力音響信号として出力するＩＦＦＴ部７１６Ｌと、帯域別レベル制御部７１５Ｒから出力されるＲｃｈの信号をＩＦＦＴしてＲｃｈの出力音響信号として出力するＩＦＦＴ部７１６Ｒと、を備える。

ＦＦＴ部７１１Ｌ，７１１Ｒは、入力音響信号のＬｃｈ及びＲｃｈの信号をそれぞれＦＦＴし、時間軸の信号から周波数軸の信号へとそれぞれ変換する。位相差算出部７１２は、ＦＦＴ部７１１Ｌ，７１１Ｒから出力されるＬｃｈ及びＲｃｈの信号を、それぞれの周波数の帯域毎に比較する（例えば、帯域毎にＬｃｈ及びＲｃｈの信号の相関を求めるなど）。これにより、Ｌｃｈ及びＲｃｈの信号の位相差（音源と複数の無指向性マイクのそれぞれとの距離差、到達までの時間差とも解釈し得る）を算出する。

目標指向特性設定部７１３は、画像解析情報に基づいて目標指向特性の設定を行うとともに、指向特性制御指示が入力されればこれに基づいて目標指向特性の設定方法の変更を行う。具体的に例えば、画像解析情報が示す注目被写体が存在する方向を強調方向とし、強調幅をその注目被写体の大きさに対応した広さとする設定方法によって、目標指向特性を設定する。

また、この設定方法で設定された目標指向特性が撮影者の意図するものと異なる場合、撮影者は操作部１７を介して指向特性制御指示を入力することで、目標指向特性の設定方法を変更することができる。具体的に例えば、複数の注目被写体が検出されている場合に、特定の注目被写体以外の注目被写体が存在する方向が強調方向とならないようにしたり、強調幅を広くまたは狭くしたりするなどのように、目標指向特性の設定方法を変更することができる。そして、指向特性設定部７１３は、以上のようにして設定される目標指向特性を目標指向特性情報として出力する。

帯域別制御量設定部７１４は、位相差算出部７１２から出力される位相差に基づいて帯域毎に音の到来方向を確認するとともに、目標指向特性設定部７１３から出力される目標指向特性情報に基づいて目標指向特性の強調方向を確認する。そして、音の到来方向が強調方向に含まれる帯域のレベルが増大される、及び（または）音の到来方向が強調方向に含まれない帯域のレベルが抑制されるように、各帯域の制御量を設定する。

また、帯域別レベル制御部７１５Ｌ，７１５Ｒは、帯域別制御量設定部７１４で設定された制御量に基づいて、Ｌｃｈ及びＲｃｈのそれぞれの信号のレベルを帯域毎に制御することで、入力音響信号の指向特性の制御を行う。そして、ＩＦＦＴ部７１６Ｌ，７１６Ｒが、帯域別レベル制御部７１５Ｌ，７１５Ｒから出力されるＬｃｈ及びＲｃｈのそれぞれの周波数軸の信号をＩＦＦＴして時間軸の信号に変換し、出力音響信号のＬｃｈ及びＲｃｈの信号をそれぞれ生成して出力する。

なお、上記の指向特性制御部７１の構成は一例に過ぎず、他の構成を採用しても構わない。例えば、入力音響信号のＲｃｈの信号をある時間遅延させて入力音響信号のＬｃｈの信号に合成（例えば、加算または減算）することで出力音響信号のＬｃｈの信号を生成し、入力音響信号のＬｃｈの信号をある時間遅延させて入力音響信号のＲｃｈの信号に合成することで出力音響信号のＲｃｈの信号を生成する構成としても構わない。また、遅延させる時間を画像解析情報に基づいた可変の時間としても構わない。

（表示画像生成部）
表示画像生成部８２は、入力される目標指向特性情報に示される目標指向特性を表現した画像を入力画像に重畳させることで、目標指向特性を視覚的に表現した表示画像を生成する。この表示画像の一例を、図４に示す。図４は、第１実施例の画像音響処理部における表示画像生成部によって生成される表示画像の一例について示す図である。

図４に示すように、表示画像Ｐ１は、目標指向特性を模式的に表現した指向特性画像Ｓ１が入力画像の隅（例えば右下隅）に重畳表示されて成る。また、本例の指向特性画像Ｓ１は、マイクの模式図Ｓ１１と、設定された目標指向特性の状態を示す複数の弧Ｓ１２と、で構成される。

また、表示画像Ｐ１は、注目被写体Ｔ（人の顔）が画像解析部８１において入力画像中から検出され、指向特性制御部７１が、注目被写体Ｔが存在する方向から到来する音を強調する制御を行う場合について示している。この場合、例えば指向特性画像Ｓ１が、マイクの模式図Ｓ１１の上部にのみ長い弧Ｓ１２が付された構成にすることで、被写体方向の広い範囲から到来する音を強調する（強調方向が被写体方向、強調幅が広い）目標指向特性が設定されたことを表現する。

上記の図４と同様の方法で目標指向特性を表現した指向特性画像の種々の例について、図５を参照して説明する。図５は、指向特性画像の種々の例について示す図である。

図５（ａ）は、図４に示した指向特性画像Ｓ１と同様のものであり、被写体方向の広い範囲から到来する音を強調するように制御することを表現したものである。図５（ｂ）は、マイクの模式図の上部にのみ短い弧が付された構成であり、被写体方向の狭い範囲から到来する音を強調するように制御する（強調方向が被写体方向、強調幅が狭い目標指向特性となる）ことを表現したものである。図５（ｃ）は、マイクの模式図の左右に長い弧が付された構成であり、特定方向から到来する音を強調せず無指向にする（強調方向がない目標指向特性とする）場合を表現したものである。図５（ｄ）は、マイクの模式図の上下に短い弧が付された構成であり、被写体方向及び撮影者方向から到来する音を強調するように制御する（強調方向が被写体方向及び撮影者方向である目標指向特性とする）ことを表現したものである。

例えば、入力画像中から検出された注目被写体Ｔの画角に占める割合が大きい場合に、図５（ａ）の指向特性画像が示すような被写体方向の広い範囲から到来する音が強調される目標指向特性が設定され、注目被写体Ｔの画角に占める割合が小さい場合に、図５（ｂ）の指向特性画像が示すような被写体方向の狭い範囲から到来する音が強調される目標指向特性が設定されることとしても構わない。また例えば、入力画像中から注目被写体Ｔが検出されなかった場合に、図５（ｃ）の指向特性画像が示すような無指向となる目標指向特性が設定されることとしても構わない。さらに例えば、入力画像中から検出された注目被写体Ｔが撮影者に向かって喋っていることが確認される場合（例えば、注目被写体Ｔの目線が撮影者方向であることや口が動いていることが確認される場合や、人の声が入力音響信号中に含まれていることが確認された場合など）に、注目被写体Ｔと撮影者とが会話をしていると推測し、図５（ｄ）の指向特性画像が示すような被写体方向及び撮影者方向から到来する音が強調される目標指向特性が設定されることとしても構わない。

撮影者は、モニタに表示される表示画像Ｐ１に含まれる指向特性画像Ｓ１を確認することで、設定された目標指向特性を認識する。そして、撮影者が意図する目標指向特性と異なることを認識した場合、操作部１７を介して指向特性制御指示を入力することで、目標指向特性の設定方法を変更する。

このように、入力画像の状態に応じて目標指向特性を設定することにより、撮影者が意図する出力音響信号を生成するための目標指向特性を、容易に設定することが可能となる。さらに、表示画像Ｐ１中に指向特性画像Ｓ１を表示して、設定された目標指向特性が意図するものであるか否かを撮影者に認識させるとともに、目標指向特性の設定方法を撮影者が変更し得る構成とすることにより、設定される目標指向特性を精度よく撮影者の意図するものにすることが可能となる。したがって、撮影者が意図する出力音響信号を容易かつ精度良く生成することが可能となる。

なお、目標指向特性を抽象的に表現する指向特性画像Ｓ１を表示画像Ｐ１中に表示する場合について説明したが、具体的に表現する指向特性画像を表示することとしても構わない。この指向特性画像について、図面を参照して説明する。図６は、第１実施例の画像音響処理部における表示画像生成部によって生成される表示画像の別例について示す図である。また、図６（ａ）及び（ｂ）は、撮影者から指向特性制御指示が入力される前後の表示画像Ｐ２１，Ｐ２２を示したものであり、図５と同様に注目被写体Ｔが入力画像内から検出された場合について示すものである。

図６に示すように、本例の指向特性画像Ｓ２は、マイクの模式図Ｓ２１と、強調方向及び強調幅を示す軸Ｓ２２Ｌ，Ｓ２２Ｒとから成り、軸Ｓ２２Ｌ，Ｓ２２Ｒに挟まれる領域によって強調方向及び強調幅を表現するものである。図６（ａ）に示す表示画像Ｐ２１では、注目被写体Ｔを中心とした強調方向であり十分広い強調幅となる目標指向特性が設定された場合の指向特性画像Ｓ２が表示されており、表示画像Ｐ２１を確認した撮影者が、強調幅を狭くしたいと考えた場合について説明する。

このような場合、上述のように撮影者は操作部１７を介して指向特性制御指示を入力することにより、目標指向特性の設定方法を変更する。例えば、操作部１７がモニタに設けられるタッチパネルなどで構成されている場合、撮影者は、モニタに表示される図６（ａ）の軸Ｓ２２Ｌ，Ｓ２２Ｒの少なくとも一方を選択して動かすなどして、軸Ｓ２２Ｌ，Ｓ２２Ｒの間隔を狭くする。これにより、強調幅を狭くする指向特性制御指示が、指向特性制御部７１に入力されたことになる。

指向特性制御部７１は、入力される指向特性制御指示に基づいて目標指向特性の設定方法を変更し、変更後の設定方法によって目標指向特性の設定を行う。図６（ｂ）に示す表示画像Ｐ２２は、変更後の設定方法によって目標指向特性が設定された場合の指向特性画像Ｓ２を示すものである。図６（ｂ）の表示画像Ｐ２２では、軸Ｓ２２Ｌ，Ｓ２２Ｒの間隔が図６（ａ）の表示画像Ｐ２１よりも狭いものとなっている。

撮影者は、図６（ｂ）の表示画像Ｐ２２中の指向特性画像Ｓ２を確認することで、意図する目標指向特性が設定されているか否かを認識する。意図する目標指向特性が設定されていなければ、撮影者からさらなる指向特性制御指示が入力される。一方、意図する目標指向特性が設定されていれば、図６（ｂ）に示す後も同様の設定方法で目標指向特性が設定される。即ち、注目被写体Ｔを中心とした強調方向であり、狭い強調幅となる目標指向特性が、その後の入力画像信号及び入力音響信号に対して順次設定されることとなる。

このように、目標指向特性を具体的に表現する指向特性画像Ｓ２を表示画像Ｐ２１，Ｐ２２中に表示することにより、設定されている目標指向特性や、指向特性制御指示の入力による目標指向特性の変化を、撮影者が具体的に認識することが可能となる。そのため、容易に目標指向特性を設定することが可能となる。また、この指向特性画像Ｓ２を利用することで、撮影者が具体的な指向特性制御指示を入力することが可能となる。

［第２実施例］
画像音響処理部の第２実施例について図面を参照して説明する。図７は、第２実施例の画像音響処理部の構成について示すブロック図であり、第１実施例の構成について示した図２に相当するものである。なお、図７において図２と同様の構成となる部分については同様の符号を付し、その詳細な説明については省略する。

図７に示すように、画像音響処理部３０ｂは、画像解析部８１と、指向特性制御部７１と、画像解析部８１から出力される画像解析情報と指向特性制御部７１から出力される目標指向特性情報とのそれぞれに基づいた画像を入力画像に重畳させた表示画像を生成して表示画像信号を出力する表示画像生成部８２ｂと、を備える。

本実施例の表示画像生成部８２ｂは、目標指向特性情報に基づいた画像（即ち、指向特性画像）だけでなく、画像解析情報に基づいた画像（以下、画像解析結果画像とする）をも入力画像に重畳させて表示画像を生成する点において、第１実施例と異なる。

本実施例の表示画像生成部８２ｂが生成する表示画像の一例について、図面を参照して説明する。図８は、第２実施例の画像音響処理部における表示画像生成部によって生成される表示画像の一例について示す図である。なお、説明の具体化のため、本実施例の表示画像生成部８２ｂは、図６に示した指向特性画像（マイクの模式図及び軸を備える画像）と同様の指向特性画像を生成するものとする。また、入力画像中から二つの注目被写体Ｔ１，Ｔ２が検出され、強調方向が注目被写体Ｔ１，Ｔ２が存在するそれぞれの方向であり、強調幅が注目被写体Ｔ１，Ｔ２のそれぞれの大きさに対応した広さとなるように目標指向特性が設定される場合を例に挙げ、以下説明する。

図８に示す表示画像Ｐ３では、マイクの模式図Ｓ３１と、注目被写体Ｔ１が存在する方向の強調方向及び強調幅を示す軸Ｓ３２Ｌ，Ｓ３２Ｒと、注目被写体Ｔ２が存在する方向の強調方向及び強調幅を示す軸Ｓ３３Ｌ，Ｓ３３Ｒと、が指向特性画像Ｓ３として表示されている。さらに、注目被写体Ｔ１である人の顔を囲むように表示される顔枠画像Ａ１と、注目被写体Ｔ２である人の顔を囲むように表示される顔枠画像Ａ２と、が画像解析結果画像として表示されている。

このように、表示画像Ｐ３中に指向特性画像Ｓ３だけでなく、画像解析結果画像を併せて表示することにより、表示画像Ｐ３を確認した撮影者が、設定されている目標指向特性を容易に認識することが可能となる。特に、撮影者が、注目被写体Ｔ１，Ｔ２と設定される目標指向特性との関係（即ち、目標指向特性の設定方法）を容易に認識することが可能となる。

なお、指向特性画像として、図６に示したような目標指向特性を具体的に表現するものを適用する場合を例示したが、抽象的に表示する指向特性画像を適用しても構わない。ただし、目標指向特性を具体的に表現する指向特性画像を適用すると、撮影者が、注目被写体と目標指向特性との関係や、目標指向特性の設定方法を容易に認識することが可能となるため、好ましい。

［第３実施例］
画像音響処理部の第３実施例について図面を参照して説明する。図９は、第３実施例の画像音響処理部の構成について示すブロック図であり、第１実施例の構成について示した図２に相当するものである。なお、図９において図２と同様の構成となる部分については同様の符号を付し、その詳細な説明については省略する。

図９に示すように、画像音響処理部３０ｃは、画像解析部８１と、画像解析情報及び指向特性制御指示に基づいて入力音響信号の指向特性を制御し音量検出用出力音響信号を生成する音量検出用指向特性制御部７１ｃと、音量検出用指向特性制御部７１ｃから出力される音量検出用出力音響信号の音量を検出して音量検出情報を出力する音量検出部７２と、画像解析部８１から出力される画像解析情報と音量検出部７２から出力される音量検出情報とのそれぞれに基づいた画像を入力画像に重畳させた表示画像を生成して表示画像信号を出力する表示画像生成部８２ｃと、指向特性制御部７１と、入力される音量指定指示（詳細は後述）を指向特性制御指示に変換して指向特性制御部７１に出力する指向特性制御指示変換部７３と、を備える。

本実施例の画像音響処理部３０ｃは、音量検出用指向特性制御部７１ｃと、音量検出部７２と、指向特性制御指示変換部７３とを備える点において第１実施例と異なる。また、表示画像生成部８２ｃによる表示画像の生成方法についても、第１実施例と異なる。以下、音量検出用指向特性制御部７１ｃ、音量検出部７２、表示画像生成部８２ｃ及び指向特性制御指示変換部７３について図面を参照してそれぞれ説明する。

（音量検出用指向特性制御部）
図１０は、第３実施例の画像音響処理部における音量検出用指向特性制御部の構成例について示すブロック図である。音量検出用指向特性制御部７１ｃは、指向特性制御部７１と同様に、入力音響信号の指向特性を制御して音量検出用出力音響信号を生成するものである。なお、音量検出用出力音響信号は出力音響信号の一種として解釈され得るものであり、音量検出用指向特性制御部７１ｃは指向特性制御部７１の一種として解釈され得るものである。また、以下では説明の具体化及び簡略化のため、図１０に示す音量検出用指向特性制御部７１ｃの構成が、図３に示した指向特性制御部７１の構成と同様のものであることとし、同様の構成となる部分については同様の符号を付し、その詳細な説明については省略する。

図１０に示すように、本例の音量検出用指向特性制御部７１ｃは、ＦＦＴ部７１１Ｌ，７１１Ｒと、位相差算出部７１２と、画像解析情報に基づいて音量検出方向を設定するとともに当該音量検出方向から到来する音を抽出するための音量検出用目標指向特性を設定して音量検出用目標指向特性を出力する音量検出用目標指向特性設定部７１３ｃと、帯域別制御量設定部７１４と、帯域別レベル制御部７１５Ｌ，７１５Ｒと、Ｌｃｈ及びＲｃｈの音量検出用出力音響信号を出力するＩＦＦＴ部７１６Ｌ，７１６Ｒと、を備える。なお、音量検出用目標指向特性設定部７１３ｃ及び音量検出用目標指向特性情報は、図３の指向特性制御部７１における目標指向特性設定部７１３及び目標指向特性情報にそれぞれ相当するものであり、これらの一種として解釈され得るものである。

音量検出方向とは、例えば、画像解析情報によって示される注目被写体が存在する方向などであり、音源が存在し得る方向である。なお、音量検出方向は入力画像の画角内に限られるものではなく、画角外の方向（例えば、撮影者方向）も音量検出方向に含まれ得る。また、音量検出用の目標指向特性とは、音量検出方向以外から到来する音のレベルを抑制（例えば、略０となるまで抑制）するものである。

音量検出用目標指向特性設定部７１３ｃは、設定した音量検出方向に対応する音量検出用目標指向特性を設定する。音量検出方向が複数設定される場合は、それぞれの音量検出方向に対応する音量検出用目標指向特性を、順次切り替えて設定する。

なお、音量検出用出力音響信号及び出力音響信号においてそれぞれの音量検出方向から到来する音のレベルが略等しくなるように、音量検出用目標指向特性が目標指向特性に関連して設定されるように構成しても構わない。このように構成すると、後述する音量検出部７２において検出される音量が、出力音響信号中の音量検出方向から到来する音の音量を示すものとなるため、好ましい。

具体的には、図９に示すように、指向特性制御部７１と音量検出用指向特性制御部７１ｃとのそれぞれに、指向特性制御指示変換部７３（詳細は後述）から出力される指向特性制御指示が入力されるように構成して、目標指向特性と音量検出用目標指向特性とが連動して制御されるように構成しても構わない。この場合、音量検出用目標指向特性設定部７１３ｃは、目標指向特性設定部７１３と同様に入力される指向特性制御指示に基づいて目標指向特性の設定方法を変更するが、上述のように音量検出方向以外から到来する音のレベルは抑制する。したがって、仮に出力音響信号の指向特性を変化させたとしても、音量検出用出力音響信号の指向特性もこれに追随して変化するため、出力音響信号の音量検出方向から到来する音の音量を示す音量検出用出力音響信号が継続して出力されることとなる。

また、撮影者が操作部１７を介して音量検出用指向特性制御部７１ｃ（特に音量検出用指向特性設定部７１３ｃ）に指示を入力することにより、音量検出方向の調整（音量検出方向の追加または削除、強調方向や強調幅の調整など）が行われることとしても構わない。

（音量検出部）
音量検出部７２は、指向特性制御部７１ｃから出力される音量検出用出力音響信号の音量を検出することで、音量検出方向から到来する音の音量（レベル）を検出する。検出されて得られる音量は、音量検出情報として音量検出部７２から出力され、表示画像生成部８２ｃに入力される。

なお、音量検出用指向特性制御部７１ｃにおいて、複数の音源に対応する複数の音量検出用目標指向特性が順次設定される場合、表示画像生成部８２ｃは、入力される音量検出情報がどの音源に対応するものであるかを識別可能であるものとする。

（表示画像生成部）
表示画像生成部８２ｃは、上述した画像解析結果画像と、入力される音量検出情報が示す音量を表現した画像（以下、音量検出結果画像とする）と、を入力画像に重畳させて表示画像を生成する。生成される表示画像の一例を、図１１に示す。図１１は、第３実施例の画像音響処理部における表示画像生成部によって生成される表示画像の一例について示す図である。

図１１に示すように、表示画像Ｐ４は、図８と同様の注目被写体Ｔ１，Ｔ２を示す画像解析結果画像（顔枠画像Ａ１，Ａ２）と、音量検出結果画像（数値画像Ｖ１，Ｖ２）と、が入力画像に重畳表示されて成る。また、数値画像Ｖ１は、注目被写体Ｔ１の近傍に表示され、数値画像Ｖ２は、注目被写体Ｔ２の近傍に表示される。

数値画像Ｖ１は、注目被写体Ｔ１が存在する方向を音量検出方向とした場合の音量検出用出力音響信号から検出される音量の値を表示したものである。また、数値画像Ｖ２は、注目被写体Ｔ２が存在する方向を音量検出方向とした場合の音量検出用出力音響信号から検出される音量の値を表現したものである。

上述の第１実施例及び第２実施例と同様に、表示画像Ｐ４を確認して出力音響信号の状態を認識した撮影者は、必要に応じて指向特性制御部７１における目標指向特性の設定方法を変更することで、意図する出力音響信号を得る。このとき、所定の音源（例えば、注目被写体Ｔ１，Ｔ２）の出力音響信号中の音量（例えば大小、目標値など）を指定する音量指定指示を入力可能な構成とすると、容易に出力音響信号を制御することができるため、好ましい。ただしこの場合、図９に示すように、音量指定指示を指向特性制御指示に変換する指向特性制御指示変換部７３を備えることとする。指向特性制御指示変換部７３から出力される指向特性制御指示は、指向特性制御部７１だけでなく、上述のように音量検出用指向特性制御部７１ｃにも入力される。なお、第１及び第２実施例と同様に、撮影者が指向特性制御指示を指向特性制御部７１及び音量検出用指向特性制御部７１ｃに直接的に入力可能な構成としても構わない。

また、本例では音源が発する音の音量を確認することができるため、所定の音源（例えば注目被写体Ｔ１，Ｔ２）に働きかけたり集音環境を変更したりすることも可能である。このような方法で、入力音響信号自体を変更することにより出力音響信号の状態を変更することも可能である。

このように、入力画像から検出された注目被写体Ｔ１，Ｔ２が発する音の音量を表現する数値画像Ｖ１，Ｖ２を表示画像Ｐ４中に表示することで、撮影者が注目被写体Ｔ１，Ｔ２が発するそれぞれの音の状態（音量）を具体的に認識することが可能となる。そのため、撮影者が意図する出力音響信号が得られているか否かを容易に判断して、対応を講じることが可能となる。したがって、撮影者が意図する出力音響信号を容易かつ精度良く生成することが可能となる。

また、数値画像Ｖ１，Ｖ２のそれぞれを、対応する画顔枠画像Ａ１，Ａ２の近傍に表示することで、表示される音量がどの注目被写体Ｔ１，Ｔ２が発した音の音量であるかを容易に認識することが可能となる。そのため、撮影者が注目被写体Ｔ１，Ｔ２の一方が発する音を他方のものとして誤認することを抑制することが可能となる。

なお、第１実施例及び第２実施例と本実施例とを組み合わせても構わない。例えば、指向特性制御部から出力される目標指向特性情報が表示画像生成部８２ｃに入力されるとともに、表示画像中に指向特性画像が表示されることとしても構わない（図４〜６及び図８参照）。このように構成すると、表示画像を確認した撮影者が目標指向特性と音量とを同時に認識することが可能となる。したがって、さらに容易かつ精度よく撮影者が意図する出力音響信号を生成することが可能となる。

また、上記の図１１と異なる方法で音量を表現した音量検出結果画像を用いても構わない。音量検出結果画像の別例について、図１２を参照して説明する。図１２は、音量検出結果画像の別例について示す図である。

図１２（ａ）は、上下の長さ（ブロックの数）によって音量の大きさを表現する、いわゆるレベルメータによって音量を表現した音量検出結果画像の例を示したものである。なお、図１２（ａ）では、上下方向に伸縮（増減）するものを示しているが、左右方向に伸縮（増減）するものとしても構わない。図１２（ｂ）は、放射線の数及び長さによって音量の値を表現した音量検出結果画像の例を示したものである。なお、図１２（ｂ）では、左右方向に伸縮（増減）するものを示しているが、上下方向に伸縮（増減）するものとしても構わない。

このように、音量を抽象的に表現した音量検出結果画像を用いることとすると、撮影者が音量の大きさを直感的かつ即座に認識することが可能となる。

また、上述のように音量検出方向は入力画像の画角外であっても構わない。例えば、撮影者方向を音量検出方向にすることも可能である。撮影者方向が音量検出方向となる場合の表示画像の例について、図１３を参照して説明する。図１３は、第３実施例の画像音響処理部における表示画像生成部によって生成される表示画像の別例について示す図である。

図１３に示す表示画像Ｐ５は、図１１と同様の注目被写体Ｔ１が検出され、顔枠画像Ａ１、数値画像Ｖ１が表示されたものとなっている。さらに表示画像Ｐ５の端部（本例では下端）に、数値画像Ｖ３が表示されている。数値画像Ｖ３は、撮影者方向を音量検出方向とした場合の音量検出用出力音響信号から検出される音量の値を表現したものである。

このように、入力画像の画角外の方向、特に撮影者方向から到来する音の音量を表示可能とすると、画角外の撮影者が発する音の音量までも撮影者が認識することが可能となる。そのため、さらに精度よく撮影者が意図する出力音響信号を生成することが可能となる。

また、画像解析部８１が入力画像を解析することによって入力画像の画角外に存在する音源を検出して、当該音源の方向を音量検出方向として設定しても構わない。具体的に例えば、図５（ｄ）について述べたように、入力画像を解析結果より注目被写体と撮影者とが会話していると推測される場合に撮影者を音源の一つとみなし、撮影者方向を音量検出方向として設定しても構わない。また、撮影者の指示によって画角外の音源を検出しても構わないし、図１０の位相差算出部で得られる入力音響信号の位相差に基づいて画角外の音源を検出しても構わない。

＜＜その他変形例＞＞
上述の第１〜第３実施例の画像音響処理部３０ａ〜３０ｃによる表示画像及び出力音響信号の生成は、動画の記録時など出力音響信号を記録する際にのみ行われ得るものではなく、記録前のプレビュー時にも行われ得るものである。プレビュー時に表示画像及び出力音響信号の生成を行うことにより、出力音響信号の状態（指向特性や音量）を予め撮影者の意図したものにしておくことが可能となる。なお、プレビュー時において、出力音響信号を画像音響処理部３０ａ〜３０ｃから出力しないこととしても構わない。

また、上述の例は、動画を記録する撮像装置１に本発明の画像音響処理部（画像音響処理装置）を備える場合について説明したものであるが、再生装置に画像音響処理部を備えさせ、再生時に音響信号の指向特性を制御することも可能である。例えばこの場合、入力画像信号及び入力音響信号が、記録媒体に記録されたものや外部から入力されるものとして、表示画像信号が、テレビなどの表示装置で再生されるものとしても構わない。ただし、表示画像中の指向特性画像や画像解析結果画像、音量検出結果画像の表示／非表示を、ユーザの指示によって切り替え可能な構成とすると好ましい。

また、本発明の実施形態における撮像装置１について、画像音響処理部３０ａ〜３０ｃの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、当該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図２、図７及び図９の画像音響処理部３０ａ〜３０ｃは、ハードウェア、あるいは、ハードウェア及びソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて画像音響処理部３０ａ〜３０ｃを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力される画像信号と、当該画像信号と対になる音響信号と、に所定の処理を施して出力する画像音響処理装置や、当該画像音響処理装置を備えたデジタルビデオカメラに代表される撮像装置に関する。

３０ａ〜３０ｃ 画像音響処理部
７ 音響処理部
７１ 指向特性制御部
７１ｃ 音量検出用指向特性制御部
７１１Ｌ，７１１Ｒ ＦＦＴ部
７１２ 位相差算出部
７１３ 目標指向特性設定部
７１３ｃ 音量検出用目標指向特性設定部
７１４ 帯域別制御量設定部
７１５Ｌ，７１５Ｒ 帯域別レベル制御部
７１６Ｌ，７１６Ｒ ＩＦＦＴ部
７２ 音量検出部
７３ 指向特性制御指示変換部
８ 画像処理部
８１ 画像解析部
８２，８２ｂ，８２ｃ 表示画像生成部

Claims (4)

1. 対になる入力画像信号及び入力音響信号を処理する画像音響処理装置において、
   前記入力画像信号が示す入力画像を解析する画像解析部と、
   前記画像解析部によって解析された入力画像中の注目被写体の大きさに応じて前記入力音響信号の指向特性を制御するための目標指向性特性を設定する目標指向特性設定部と、
   前記目標指向性特性に基づいて出力音響信号を生成する指向特性制御部と、
   前記目標指向性特性を現す画像を含む表示画像を生成する表示画像生成部と、を備え、
   前記指向特性は一方の方向から往来する音の集音レベルが他の方向から到来する音の集音レベルよりも相対的に大きくなる方向を示す強調方向及び集音レベルが相対的に大きくなる方向の範囲を示す強調幅を含むことを特徴とする画像音響処理装置。
2. 前記指向特性制御部は、入力画像中の注目被写体の大きさが、入力画像中の画角の第１所定サイズより大きい場合は、該注目被写体を含む第１範囲から到来する音を強調し、入力画像中の注目被写体の大きさが入力画像中の画角の第２所定サイズよりも小さい場合は、該注目被写体を含む前記第１範囲よりもせまい第２範囲から到来する音を強調して出力音声信号を生成することを特徴とする、請求項１記載の画像音響処理装置。
3. 対になる入力画像信号及び入力音響信号を処理する画像音響処理装置において、
   前記入力画像信号が示す入力画像を解析する画像解析部と、
   前記画像解析部によって解析された入力画像中の注目被写体の装置本体への音声発生状況に応じて前記入力音響信号の指向特性を制御し、出力音響信号を生成する指向特性制御部と、
   前記出力音響信号の状態を示す画像を含む表示画像を生成する表示画像生成部と、を備え、
   前記指向特性は一方の方向から往来する音の集音レベルが他の方向から到来する音の集音レベルよりも相対的に大きくなる方向を示す強調方向及び集音レベルが相対的に大きくなる方向の範囲を示す強調幅を含むことを特徴とする画像音響処理装置。
4. 対になる入力画像信号及び入力音響信号を処理する画像音響処理装置において、
   前記入力画像信号が示す入力画像を解析する画像解析部と、
   前記画像解析部によって解析された入力画像中の注目被写体の数に応じて前記入力音響信号の指向特性を制御し、出力音響信号を生成する指向特性制御部と、
   前記出力音響信号の状態を示す画像を含む表示画像を生成する表示画像生成部と、を備え
   前記指向特性は一方の方向から往来する音の集音レベルが他の方向から到来する音の集音レベルよりも相対的に大きくなる方向を示す強調方向及び集音レベルが相対的に大きくなる方向の範囲を示す強調幅を含むことを特徴とする画像音響処理装置。
   

Images