JP5939444B2 - 撮像装置 - Google Patents

Description

本発明は、画角内の複数の位置のいずれかで発生する音声を的確に収音し、ユーザが、収音している音声の状況を容易に理解することができる撮像装置に関する。

一般的にビデオカメラと称されている撮像装置は、被写体を撮影し、マイクロホンによって被写体からの音声を収音する。映像音声記録再生機能を搭載したビデオカメラにおいては、被写体を撮影した動画像の映像情報と、撮影中に収音した音声情報とを記録し再生する。

ビデオカメラに搭載されているマイクロホンは、一般的に、モノラルマイクロホンまたはステレオマイクロホンである。モノラルマイクロホンで音声を収音する場合、音声は、音声が発生する位置にかかわらず１チャンネルの音声信号として記録される。ステレオマイクロホンで音声を収音する場合、左右それぞれの音声が２チャンネルの音声信号として記録される。

特開２０００−２９８９３３号公報 特開２００６−２８７５４４号公報

安藤彰男、「高臨場感音響技術とその理論」、IEICE Fundamental Review Vol.3 No.4、p.33-46

モノラルマイクロホンまたはステレオマイクロホンを搭載したビデオカメラにおいては、画角内の複数の位置それぞれで発生する音声を的確に収音することは困難である。

例えば画角の中央付近に主たる撮影対象の被写体である人物が位置しており、画角の左側または右側端部で動物が鳴いて音を発生させたとする。このような状況で、動物が発生させた音を的確に収音して記録することは難しい。そこで、画角内の複数の位置のいずれかで発生する音声を的確に収音できることが求められる。

また、画角内の複数の位置のいずれかで発生する音声を収音しているとき、音声を的確に収音できているか否か等、ユーザが、収音している音声の状況を容易に理解することができることが求められる。

本発明はこのような要望に対応するため、画角内の複数の位置のいずれかで発生する音声を的確に収音することができ、ユーザが、収音している音声の状況を容易に理解することができる撮像装置を提供することを目的とする。

本発明は、所定の音声信号の収音レベルを算出する収音レベル算出部と、前記所定の音声信号の増幅度を設定する音声信号増幅部と、前記収音レベル算出部が算出した収音レベルを示す収音レベル表示画像の画像データを発生する画像データ発生部とを備え、前記画像データ発生部は、前記音声信号増幅部で設定されている増幅度に応じて前記収音レベル表示画像を変更した画像データを発生することを特徴とする撮像装置を提供する。
また、本発明は、所定の音声信号の収音レベルを算出する収音レベル算出部と、前記収音レベル算出部が算出した収音レベルを示す収音レベル表示画像の画像データを発生する画像データ発生部とを備え、前記収音レベル算出部は、前記所定の音声信号に含まれる人の声の認識度合いを示す音声認識レベルを算出する音声認識レベル算出部であることを特徴とする撮像装置を提供する。

本発明の撮像装置によれば、画角内の複数の位置のいずれかで発生する音声を的確に収音することができ、ユーザが、収音している音声の状況を容易に理解することができる。

一実施形態の撮像装置を示すブロック図である。 一実施形態の撮像装置の外観形状と撮像装置が撮影する被写体の例を示す図である。 図１中のアレーマイクロホン１０の具体的な構成例を示す図である。 図１中の音声信号演算部１２（１２’）における演算処理の原理を説明するための図である。 図１中の音声信号演算部１２の具体的な構成例を示すブロック図である。 図１中の音声信号演算部１２’の具体的な構成例を示すブロック図である。 一実施形態の撮像装置において画像に重畳させて表示する収音レベル表示画像の第１の例を示す図である。 一実施形態の撮像装置において画像に重畳させて表示する収音レベル表示画像の第２の例を示す図である。 一実施形態の撮像装置において画像に重畳させて表示する収音レベル表示画像の第３の例を示す図である。 一実施形態の撮像装置において画像に重畳させて表示する収音レベル表示画像の第４の例を示す図である。 各種の収音レベル表示画像を示す図である。 図８に示す収音レベル表示画像の第２の例において、音声信号の増幅度を調整した場合の収音レベル表示画像の例を示す図である。 図９に示す収音レベル表示画像の第３の例において、音声信号の増幅度を調整した場合の収音レベル表示画像の例を示す図である。 図１０に示す収音レベル表示画像の第４の例において、音声信号の増幅度を調整した場合の収音レベル表示画像の例を示す図である。 音声信号の増幅度を調整した場合の収音レベル表示画像の他の例を示す図である。 一実施形態の撮像装置において画像に収音レベル表示画像を重畳させて表示する場合の動作を示すフローチャートである。 一実施形態の撮像装置における記録動作を示すフローチャートである。 一実施形態の撮像装置をテレビジョン受像機に接続した状態を示す図である。 水平方向の角度方向を選択するための付加情報の画像と、水平方向の角度方向を区分けするための識別画像を重畳した画像を示す図である。 水平方向の角度方向を選択するための付加情報の画像と、水平方向及び垂直方向の角度方向を区分けするための識別画像を重畳した画像を示す図である。 一実施形態の撮像装置における再生動作を示すフローチャートである。

以下、一実施形態の撮像装置について、添付図面を参照して説明する。一実施形態の撮像装置は映像音声記録再生機能を搭載したビデオカメラを例とする。

図１において、一実施形態のビデオカメラ１１０は、アレーマイクロホン１０とステレオマイクロホン１１を備える。ステレオマイクロホン１１の代わりにモノラルマイクロホンとしてもよいし、ステレオマイクロホン１１を省略してアレーマイクロホン１０のみとしてもよい。但し、ステレオマイクロホン１１を備える方が好ましい。

図２は、ビデオカメラ１１０の外観形状の例と、ビデオカメラ１１０が撮影する被写体２００の例を示している。アレーマイクロホン１０とステレオマイクロホン１１は、ビデオカメラ１１０の筺体上面に例えば図２に示すように配置されている。図２に示す配置は単なる例であり、アレーマイクロホン１０とステレオマイクロホン１１の筺体上の位置、互いの位置関係は任意である。

アレーマイクロホン１０は、図３の（ａ）に示すように、複数のマイクロホン素子ＭＥを水平方向に一列に配列させた構成を有する。水平方向に隣接する２つのマイクロホン素子ＭＥの中心間距離はｄである。図３の（ａ）に示すマイクロホン素子ＭＥが水平一列のアレーマイクロホン１０をアレーマイクロホン１０Ａとする。

アレーマイクロホン１０は、図３の（ｂ）に示すように、複数のマイクロホン素子ＭＥの水平一列の配列１０b1，１０b2，１０b3を垂直方向に配列させた構成であってもよい。垂直方向に隣接する２つのマイクロホン素子ＭＥの中心間距離はｄである。図３の（ｂ）に示す水平一列のマイクロホン素子ＭＥを垂直方向に複数配列させたアレーマイクロホン１０をアレーマイクロホン１０Ｂとする。ここで、垂直方向に隣接する２つのマイクロホン素子ＭＥの中心間距離はｄでなくてもよい。

図１，図２に示すアレーマイクロホン１０は、図３の（ａ）に示すアレーマイクロホン１０Ａまたは図３の（ｂ）に示すアレーマイクロホン１０Ｂである。図３の（ａ），（ｂ）では、マイクロホン素子ＭＥを水平方向に６個としているが、マイクロホン素子ＭＥの水平方向の個数は６個に限定されない。アレーマイクロホン１０Ｂは、垂直方向に３列としているが、垂直方向の配列個数も３個に限定されない。また、アレーマイクロホン１０は一直線状や一平面状への配置に限定されない。

アレーマイクロホン１０Ａは、マイクロホン素子ＭＥの配列方向に対する法線方向を０度とすると、左右それぞれ９０度までの方向の指向性を有する音声を収音することができる。アレーマイクロホン１０Ｂは、左右それぞれ９０度までの方向と上下それぞれ９０度までの方向の指向性を有する音声を収音することができる。

アレーマイクロホン１０によって収音した音声信号は、音声信号演算部１２（１２’）に入力されて、後述する演算処理が施される。音声信号演算部１２は、アレーマイクロホン１０Ａからの音声信号を演算処理する。音声信号演算部１２’は、アレーマイクロホン１０Ｂからの音声信号を演算処理する。音声信号演算部１２（１２’）は、ビデオカメラ１１０が撮影している撮影範囲である画角と予め設定した所定の分解能とによって決まるチャンネル数の音声信号を演算処理によって生成して出力する。ここでの分解能とは、周音の角度分解能のことである。

音声信号増幅部１３は、ステレオマイクロホン１１より出力されたステレオ音声信号と、音声信号演算部１２（１２’）より出力された所定のチャンネル数の音声信号（マルチチャンネル音声信号）とをそれぞれ増幅する。音声信号増幅部１３によって増幅された音声信号は、映像音声記録処理部１６及びスイッチ６５の端子Ｔａに供給される。

音声信号増幅部１３によって増幅された音声信号は、音声認識部６１，音圧レベル演算部６２，周波数スペクトル分析部６３，音声認識レベル算出部６４にも供給される。音声認識部６１は、複数の語彙を登録している辞書６１１を有する。

音声認識部６１は、辞書６１１に登録されている語彙を参照することによって、マルチチャンネル音声信号として入力される音の中から、人が発している音声を認識する。音圧レベル演算部６２は音声信号増幅部１３から入力された信号の音圧レベルを演算する。周波数スペクトル分析部６３は音声信号増幅部１３から入力された信号の複数に分割された音声周波数帯ごとの音圧レベルを演算する。音声認識レベル算出部６４は、音声認識処理に使用したメモリデータ量に基づいて音声認識レベルを算出する。これによって人の声の認識度合いを数値化できる。

音圧レベル演算部６２，周波数スペクトル分析部６３，音声認識レベル算出部６４は、マルチチャンネル音声信号における１または複数の角度方向の音声信号の収音レベルを算出する収音レベル算出部の例である。音圧レベル演算部６２が求める音圧レベルと、周波数スペクトル分析部６３が分析する音声の周波数スペクトルと、音声認識レベル算出部６４が算出する音声認識レベルを、人が発している音声の収音レベルと総称することとする。

音圧レベル演算部６２は、音声認識部６１によって認識された人が発している音声の音圧レベルを演算によって求めてもよい。周波数スペクトル分析部６３は、音声認識部６１によって認識された人が発している音声の周波数スペクトルを分析してもよい。

スイッチ６５が端子Ｔａに接続している状態では、音声信号増幅部１３によって増幅された音声信号が音声出力処理部２２へと供給される。スイッチ６５が端子Ｔｂに接続している状態では、記録媒体４０に記録された音声信号が映像音声再生処理部２１を介して音声出力処理部２２へと供給される。

音声出力処理部２２は、入力された音声信号に基づいた音をスピーカ２３より発生させることができる。操作部３０によって、音量を増加または減少させる指示がなされたら、制御部２０は、音声出力処理部２２における音声信号の増幅度を制御する。また、音声信号を、音声出力端子２９ａより外部へと出力させることができる。

制御部２０は、ビデオカメラ１１０の全体を制御する。操作部３０によってズームを調整する操作がなされたら、ズーム調整部１７は、指定されたズーム倍率となるよう映像撮影部１８を制御する。操作部３０は、ビデオカメラ１１０の筐体に設けられている操作部またはビデオカメラ１１０を遠隔制御するリモートコントローラである。映像撮影部１８は、ズームレンズと、ＣＣＤまたはＣＭＯＳの撮像素子とを有する。ズーム調整部１７によるズーム調整によって決まる実効焦点距離を示す情報は、指向性切替部１４に入力される。

図２において、ビデオカメラ１１０が被写体２００を撮影している際に実際にビデオカメラ１１０によって映像情報が取り込まれる撮影範囲は、破線で囲んだ画角２０１の部分である。画角２０１は、ズーム調整部１７によるズーム調整によって大きくなったり小さくなったりする。指向性切替部１４は、実効焦点距離に基づいて、画角２０１の大きさであるビデオカメラ１１０が実際に撮影している水平方向及び垂直方向の角度範囲を知ることができる。

指向性切替部１４には、分解能が例えば１０度と設定されている。制御部２０によって、指向性切替部１４に設定する分解能を可変できるようにしてもよい。指向性切替部１４は、実効焦点距離に基づいて画角２０１の情報を得るようにしているが、他の方法によって画角２０１の情報を得るようにしてもよい。

指向性切替部１４は、音声信号演算部１２（１２’）が画角２０１と分解能とによって決まるチャンネル数それぞれのチャンネルの音声信号を演算処理して出力するよう、音声信号演算部１２（１２’）を制御する。指向性情報生成部１５は、音声信号演算部１２（１２’）が生成するそれぞれのチャンネルの音声信号の指向性情報を生成して、映像音声記録処理部１６に供給する。指向性情報は、例えば、水平方向または垂直方向のどの角度方向からの音声信号であるかを示す。

映像撮影部１８より出力された映像信号は、映像信号処理部１９に入力される。映像信号処理部１９は、入力された映像信号をＡ／Ｄ変換して所定の信号処理を施す。映像信号処理部１９によって所定の信号処理が施された映像信号は、映像音声記録処理部１６及びスイッチ６６の端子Ｔａに供給される。

スイッチ６６が端子Ｔａに接続している状態では、被写体を撮影している状態の映像信号を表示部２８に表示させるよう、映像信号処理部１９より出力された映像信号が映像信号処理部２４へと供給される。スイッチ６６が端子Ｔｂに接続している状態では、記録媒体４０に記録されて再生された映像号号を表示部２８に表示させるよう、映像音声再生処理部２１より出力された映像信号が映像信号処理部２４へと供給される。

スイッチ６６より出力された映像信号は、映像信号処理部２４に入力されて処理される。映像合成部２５は、画像データ発生部２６が画像データを発生している場合には、制御部２０の制御に基づいて、映像信号処理部２４より出力された映像信号に付加情報を重畳させるよう合成する。映像表示処理部２７は、映像信号処理部２４より出力された映像信号または映像合成部２５によって付加情報が重畳された映像信号を表示部２８に表示させるよう処理する。

表示部２８は、図２に示すように、例えばビデオカメラ１１０の筺体側面に設けられている液晶パネルである。映像信号を、映像出力端子２９ｖより外部へと出力させることができる。

映像音声記録処理部１６は、音声信号増幅部１３より出力されたステレオ音声信号及び指向性を有するマルチチャンネル音声信号と、指向性情報生成部１５より出力された指向性情報と、映像信号処理部１９より出力された映像信号とを所定の信号形式のデータとして、記録媒体４０に記録する。映像音声記録処理部１６は、映像信号及び音声信号を所定の圧縮処理方式で圧縮して記録媒体４０に記録してもよい。

記録媒体４０には、ステレオ音声信号及びマルチチャンネル音声信号が、マルチトラックで記録される。記録媒体４０は、半導体メモリやハードディスク・ドライブ等のビデオカメラ１１０に内蔵されている記録媒体でもよいし、メモリカード等の着脱自在の記録媒体でもよい。

映像音声再生処理部２１は、制御部２０による制御に基づいて、記録媒体４０に記録されている映像信号と、ステレオ音声信号と、マルチチャンネル音声信号及び指向性情報を読み出して再生処理を施す。ステレオ音声信号及びマルチチャンネル音声信号は、スイッチ６５の端子Ｔｂに供給される。映像信号は、スイッチ６６の端子Ｔｂに供給される。指向性情報は、制御部２０に供給される。

図４を用いて、音声信号演算部１２（１２’）がそれぞれの方向の音声信号をどのように演算処理して生成するかについて説明する。図４では、アレーマイクロホン１０Ａを例にして説明する。アレーマイクロホン１０Ａのマイクロホン素子ＭＥの破線で示す配列方向に対する法線をＬ０とする。法線Ｌ０の方向を０度とする。音声の入射方向が０度であれば、それぞれのマイクロホン素子ＭＥにはほぼ同時に音声が到達する。

図４に示すように、法線Ｌ０に対して３０度の直線Ｌ30の方向からの音声を収音する場合を考える。アレーマイクロホン１０Ａに対して直線Ｌ30の方向から音声が入射すると、６つのマイクロホン素子ＭＥの中央を基準位置として、右側の３つのマイクロホン素子ＭＥにはそれぞれDL1，DL2，DL3なる遅延時間で音声が到達する。左側の３つのマイクロホン素子ＭＥにはそれぞれ基準位置よりも早く音声が到達することになり、負の遅延時間である-DL1，-DL2，-DL3なる遅延時間で音声が到達する。

即ち、それぞれのマイクロホン素子ＭＥが収音する音声を、図４に示す遅延時間だけ遅延させれば、アレーマイクロホン１０Ａの法線Ｌ０に対して３０度の角度である直線Ｌ30の方向から音声を収音することができることになる。実際には、負の遅延時間で音声を遅延させることはできないため、例えば、最も左に位置するマイクロホン素子ＭＥの遅延時間を０として、右側のマイクロホン素子ＭＥほど遅延時間を多くするように遅延させれば、３０度の方向からの音声を収音することができる。

このように、アレーマイクロホン１０Ａ，１０Ｂのマイクロホン素子ＭＥが収音する音声を法線方向からの左右の角度に応じた遅延時間だけ遅延させれば、水平方向の複数の角度方向からの音声を収音することができる。同様にして、アレーマイクロホン１０Ｂの場合には、収音する音声を上下方向の角度に応じた遅延時間だけ遅延させれば、垂直方向の複数の角度方向からの音声を収音することができる。

音声信号演算部１２（１２’）は以上説明した原理に基づいて左右または上下のそれぞれの角度方向からの指向性を有する音声信号を演算処理して生成する。まず、図５を用いて、アレーマイクロホン１０Ａからの音声信号を演算処理する音声信号演算部１２の具体的構成及び動作を説明する。

図５に示すように、音声信号演算部１２は、可変遅延器121a〜121fと、加算器１２２と、増幅器１２３とを備える。可変遅延器121a〜121fは、マイクロホン素子ＭＥの数に対応して設けられている。可変遅延器121a〜121fには、制御部２０から、可変遅延器121a〜121fそれぞれの遅延時間を設定するための水平遅延制御信号Ｓdlchが入力される。

例えば画角２０１が水平方向６０度であり、分解能が１０度と設定されている場合、音声信号演算部１２は、法線方向である０度、右方向に１０度，２０度，３０度、左方向に１０度，２０度，３０度の７チャンネル分の方向の音声信号を演算処理して生成する。画角２０１が水平方向３０度であれば、４チャンネル分となる。制御部２０は、それぞれのチャンネルの方向とするための遅延時間を設定するための水平遅延制御信号Ｓdlchを、可変遅延器121a〜121fに供給する。

画角２０１が水平方向６０度の場合、制御部２０は、０度、右方向に１０度，２０度，３０度、左方向に１０度，２０度，３０度の７チャンネル分の音声信号を生成するためのそれぞれの遅延時間を設定するよう、水平遅延制御信号Ｓdlchを順次切り替えて可変遅延器121a〜121fに供給する。

それぞれのマイクロホン素子ＭＥより出力された音声信号は、いずれかのチャンネルに対応した遅延時間に設定されている可変遅延器121a〜121fによって遅延される。加算器１２２は、可変遅延器121a〜121fより出力された音声信号を全て加算し、増幅器１２３は、加算器１２２より出力された加算音声信号を増幅して、１つのチャンネルの音声信号として出力する。音声信号演算部１２は、水平遅延制御信号Ｓdlchによって可変遅延器121a〜121fによるそれぞれのチャンネルに対応した遅延時間に設定することにより、７チャンネル分の音声信号を順次生成して出力する。

次に、図６を用いて、アレーマイクロホン１０Ｂからの音声信号を演算処理する音声信号演算部１２’の具体的構成及び動作を説明する。図６に示すように、音声信号演算部１２’は、水平遅延部１２b1，１２b2，１２b3と、垂直遅延部１２４と、加算器１２５と、増幅器１２６とを備える。水平遅延部１２b1，１２b2，１２b3は、図３の（ｂ）に示すマイクロホン素子ＭＥの配列１０b1，１０b2，１０b3に対応して設けられている。

水平遅延部１２b1は、可変遅延器121a1〜121f1と加算器1221とを有する。水平遅延部１２b2は、可変遅延器121a2〜121f2と加算器1222とを有する。水平遅延部１２b3は、可変遅延器121a3〜121f3と加算器1223とを有する。可変遅延器121a1〜121f1，121a2〜121f2，121a3〜121f3には、図５で説明した水平遅延制御信号Ｓdlchが入力される。水平遅延部１２b1，１２b2，１２b3それぞれの動作は、図５の可変遅延器121a〜121f及び加算器１２２の部分と同じである。

垂直遅延部１２４の可変遅延器1241〜1243には、制御部２０から、水平遅延部１２b1，１２b2，１２b3より出力された音声信号に基づいて、画角２０１の垂直方向の角度と分解能とで決まるそれぞれの指向性を有する声信号を生成するための垂直遅延制御信号Ｓdlcvが入力される。水平遅延部１２b1，１２b2，１２b3より出力された音声信号は、垂直方向のいずれかのチャンネルに対応した遅延時間に設定されている可変遅延器1241〜1243によって遅延される。

加算器１２5は、可変遅延器1241〜1243より出力された音声信号を全て加算し、増幅器１２６は、加算器１２５より出力された加算音声信号を増幅して、１つのチャンネルの音声信号として出力する。音声信号演算部１２’は、垂直遅延制御信号Ｓdlcvによって可変遅延器1241〜1243によるそれぞれの垂直方向のチャンネルに対応した遅延時間に設定することにより、複数チャンネル分の音声信号を順次生成して出力する。

音声信号演算部１２’は、水平方向の角度方向のチャンネル数をｎ、垂直方向の角度方向のチャンネル数をｍとすれば、ｎ×ｍチャンネルの音声信号を生成することになる。

本実施形態においては、スイッチ６５，６６をそれぞれ端子Ｔａに接続させて、撮影している被写体の映像信号を表示部２８に表示させ、撮影中に収音している状態において、マルチチャンネル音声信号のうち選択した１または複数のチャンネルの音声信号の収音レベルを表示部２８に表示させることができる。

ユーザが操作部３０によって所定のキーを操作すると、図７に示すように、制御部２０は、画像データ発生部２６によって、表示部２８に表示された画像２８０の例えば水平方向中央の下端部に、例えばマイクロホンの画像を用いたポインタ画像１５４を表示させる。制御部２０は、ポインタ画像１５４の向きが調整されて決定されたら、ポインタ画像１５４が向いている方向が示すチャンネルの音声信号の収音レベルを示す収音レベル表示画像を画像２８０に重畳させる。

図７に示す例では、制御部２０は、収音レベルを示す収音レベル表示画像として、音圧レベル演算部６２によって求めた音圧レベルに基づいた音圧レベル表示画像７１を画像２８０の右下端部に表示させている。ここでは画像２８０の右下端部を、音圧レベル表示画像７１を表示させる固定位置としている。音圧レベル表示画像７１を表示させる位置は任意である。音圧レベル表示画像７１を表示させる位置を変更可能としてもよい。

音圧レベル表示画像７１は、一例として、矩形形状の内部に、音圧レベルに応じた個数のセグメント７１SGを表示させた画像である。１または複数のセグメント７１SGの代わりに、数値で音圧レベルを示してもよい。

図８に示す例は、制御部２０が、画像データ発生部２６によって、図７に示すポインタ画像１５４の代わりに、くさび状の画像よりなる２つのポインタ画像155a，155bを表示させ、ポインタ画像155a，155bが向いている方向にマイクロホンの画像を用いたポインタ画像154a，154bを表示させたものである。ここでは、くさび状の画像を２つ、マイクロホンの画像を２つとしているが、それぞれ３個以上であってもよい。

制御部２０は、ポインタ画像155a，155bの向きが調整されて決定されたら、ポインタ画像154a，154bを表示させ、ポインタ画像154a，154bが向いている方向が示すチャンネルの音声信号の音圧レベル表示画像７１を画像２８０に重畳させる。ポインタ画像155a，155bとポインタ画像154a，154bとを同時に表示した状態で、ポインタ画像155a，155bの向きを調整するようにしてもよい。ポインタ画像154a，154bや音圧レベル表示画像７１の表示位置を調整可能にしてもよい。

制御部２０に人の顔を認識する顔認識機能を搭載し、人の顔を認識して、人の顔の近傍にポインタ画像154a，154bや音圧レベル表示画像７１を表示させてもよい。この場合、映像信号処理部１９より出力された映像信号を制御部２０に入力すればよい。顔認識部を制御部２０とは別に設けてもよい。

図９に示す例は、制御部２０が、画像データ発生部２６によって、例えば破線よりなる縦線の水平領域分割線１５５を表示させ、画像２８０を水平方向に３つの領域Ｒ１〜Ｒ３に分割させたものである。実線両矢印で示すように、水平領域分割線１５５は左右に移動可能である。ユーザが操作３０を操作することによって水平領域分割線１５５を移動させる操作をすると、制御部２０は、水平領域分割線１５５を重畳する位置を移動させるよう映像合成部２５を制御する。

制御部２０は、水平領域分割線１５５の位置が調整されて決定されたら、領域Ｒ１〜Ｒ３それぞれの下端部に音圧レベル表示画像７２を表示させる。制御部２０は、領域Ｒ１〜Ｒ３の水平方向の中央に位置する（または中央に最も近い）チャンネルの音声信号の音圧レベルを求めて音圧レベル表示画像７２を表示させればよい。

音圧レベル表示画像７２は、音圧レベル表示画像７１を水平方向に倒したものに相当する。音圧レベル表示画像７２は、音圧レベル表示画像７１と同様、矩形形状の内部に、音圧レベルに応じた個数のセグメント７２SGを表示させた画像である。図９において、音圧レベル表示画像７２の代わりに、音圧レベル表示画像７１を表示させてもよい。但し、図９に示すような水平方向の領域分割の場合には、音圧レベル表示画像７２を表示させる方が好ましい。

アレーマイクロホン１０Ｂを用いている場合には、図１０に示すような表示も可能である。図１０の（ａ），（ｂ）に示す例は、制御部２０が、画像データ発生部２６によって、例えば破線よりなる縦線の水平領域分割線１５５と横線の垂直領域分割線１５６とを表示させ、画像２８０を水平方向に３つ、垂直方向に２つの６つの領域Ｒ１１〜Ｒ１３，Ｒ２１〜Ｒ２３に分割させたものである。実線両矢印で示すように、水平領域分割線１５５は左右に移動可能であり、垂直領域分割線１５６は上下に移動可能である。

図１０の（ａ）の状態から、水平領域分割線１５５及び垂直領域分割線１５６を移動させた状態が図１０の（ｂ）である。

制御部２０は、水平領域分割線１５５及び垂直領域分割線１５６の位置が調整されて決定されたら、Ｒ１１〜Ｒ１３それぞれの上端部に音圧レベル表示画像７２を表示させ、領域Ｒ２１〜Ｒ２３それぞれの下端部に音圧レベル表示画像７２を表示させる。制御部２０は、領域Ｒ１１〜Ｒ１３，Ｒ２１〜Ｒ２３の水平方向の中央に位置（または中央に最も近い）し、垂直方向の中央に位置する（または中央に最も近い）チャンネルの音声信号の音圧レベルを求めて音圧レベル表示画像７２を表示させればよい。

図７〜図１０では、音圧レベル演算部６２によって求めた音圧レベルを示す音圧レベル表示画像７１，７２を画像２８０に重畳させる例を示している。音圧レベル表示画像７１，７２の代わりに、周波数スペクトル分析部６３が分析した周波数スペクトルを示す画像や、音声認識レベル算出部６４が算出した音声認識データ量を示す画像を重畳させてもよい。

図１１の（ａ）は音圧レベル表示画像７１である。図１１の（ｂ）は、周波数スペクトル分析部６３が分析した周波数スペクトルを示す周波数スペクトル表示画像７３の一例である。周波数スペクトル表示画像７３は、セグメント７３SGの数によって、周波数ｆ１〜ｆｎまでそれぞれの周波数帯域におけるレベルを表している。

図１１の（ｃ）は、音声認識レベル算出部６４が算出した音声認識レベルを示す音声認識レベル表示画像７５の一例である。音声認識レベル表示画像７５は、セグメント７５SGの数によって音声認識レベルを表している。ここでは音声認識レベル表示画像７５を音圧レベル表示画像７１と同じ形状の図形としているが、音圧レベル表示画像７１と音声認識レベル表示画像７５とを互いに異なる形状の図形としてもよい。

周波数スペクトル表示画像７３及び音声認識レベル表示画像７５においても、音圧レベル表示画像７２のように、セグメント７３SG，７５SGが水平方向に増減する図形としてもよい。

本実施形態においては、制御部２０による制御に基づいて、音声信号増幅部１３は、マルチチャンネル音声信号のそれぞれのチャンネルを個別に増幅することができる。音声信号増幅部１３は、選択した１または複数のチャンネルの音声信号のみ増幅することも可能である。

図１２は、図８におけるポインタ画像154aが向いている方向が示すチャンネルの音声信号の増幅度を例えば−３[dB]とし、ポインタ画像154bが向いている方向が示すチャンネルの音声信号の増幅度を例えば３[dB]とした場合を示している。図１２では、増幅度を−３[dB]とすることによって、音圧レベル表示画像７１が小さな音圧レベル表示画像７１Ｓに変更され、増幅度を３[dB]とすることによって、音圧レベル表示画像７１が大きな音圧レベル表示画像７１Ｌに変更されている。

このように、音圧レベル表示画像７１の大きさを音声信号の増幅度に応じた大きさとすることによって、ユーザは、どのチャンネルの音声信号の増幅度が調整されているかを容易に認識することができる。即ち、ユーザは、収音している音声の状況を容易に理解することができる。

図１３は、図９のように音圧レベル表示画像７２を表示させる場合で、それぞれのチャンネルの音声信号の増幅度を調整した状態を示している。領域Ｒ１においては、音声信号の増幅度が３[dB]で大きな音圧レベル表示画像７２Ｌが表示されている。領域Ｒ２においては、音声信号の増幅度が−３[dB]で小さな音圧レベル表示画像７２Ｓが表示されている。領域Ｒ３においては、音声信号の増幅度が０[dB]で基準となる通常の大きさである中間の大きさの音圧レベル表示画像７２Ｍが表示されている。音圧レベル表示画像７２Ｍは、図９の音圧レベル表示画像７２と同じである。

図１４は、図１０の（ｂ）のように音圧レベル表示画像７２を表示させる場合で、それぞれのチャンネルの音声信号の増幅度を調整した状態を示している。領域Ｒ１１，Ｒ１２，Ｒ２２においては、音声信号の増幅度が−３[dB]で小さな音圧レベル表示画像７２Ｓが表示されている。領域Ｒ１３，Ｒ２１においては、音声信号の増幅度が３[dB]で大きな音圧レベル表示画像７２Ｌが表示されている。領域Ｒ２３においては、音声信号の増幅度が０[dB]で中間の大きさの音圧レベル表示画像７２Ｍが表示されている。

図１２〜図１４では、音圧レベル表示画像７１，７２を相似の関係を維持させて大きさを変更したが、他の表示方法によって、それぞれのチャンネルの音声信号の増幅度を表すようにしてもよい。例えば、図１５の（ａ）〜（ｃ）に示すように、増幅度小を示す音圧レベル表示画像７７Ｓと、増幅度中を示す音圧レベル表示画像７７Ｍと、増幅度大を示す音圧レベル表示画像７７Ｌとを用いてもよい。音圧レベル表示画像７７Ｓ，７７Ｍ，７７Ｌは、垂直方向中央部の横幅が増幅度の程度を示している。

このように、画像データ発生部２６は、それぞれのチャンネルの音声信号の増幅度に応じて、音圧レベル表示画像の大きさや形状を異ならせた画像データを発生すればよい。大きさや形状に加えて、輝度や色、模様を異ならせてもよい。また、制御部２０は、これらの音圧レベル表示画像の大きさや形状、輝度や色、模様を経時的に変化させるよう、画像データ発生部２６を制御してもよい。

なお、音圧レベル表示画像の輝度を異ならせる場合には、増幅度が小さいほど暗くし、増幅度が大きいほど明るくすることが好ましい。音圧レベル表示画像の色を異ならせる場合には、増幅度が小さいほど寒色方向とし、増幅度が大きいほど暖色方向にすることが好ましい。さらに、制御部２０は、音圧レベル表示画像の大きさや形状、輝度や色、模様を周期的に変化させ、増幅度が大きいほど変化する周期を短くするよう、画像データ発生部２６を制御してもよい。

周波数スペクトルを示す周波数スペクトル表示画像７３や音声認識レベルを示す音声認識レベル表示画像７５でも、同様に、それぞれのチャンネルの音声信号の増幅度に応じて大きさ、形状、輝度、色、模様の少なくとも１つを異ならせてもよい。画像データ発生部２６は、収音レベル表示画像の大きさ，形状，輝度，色，模様の少なくとも１つを音声信号増幅部１３で設定されている増幅度に応じて変更する画像データを発生すればよい。

図１６を用いて、以上のように構成されるビデオカメラ１１０における収音レベル表示画像の表示動作について改めて説明する。図１６において、ビデオカメラ１１０の電源が投入されると、制御部２０は、ステップS101にて、被写体の撮影を開始させる。制御部２０は、ステップS102にて、操作部３０よって収音レベルを表示させる指示があったか否かを判定する。収音レベルを表示させる指示があれば（YES）、処理をステップS103に移行させ、収音レベルを表示させる指示がなければ（NO）、処理をステップS121に移行させる。

制御部２０は、ステップS121にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源を切断して処理を終了させる。撮影終了の指示がなければ（NO）、ステップS102を繰り返す。

制御部２０は、ステップS103にて、画像２８０上の所定の位置に位置指示画像を表示させる。図７におけるポインタ画像１５４、図８におけるポインタ画像155a，155b、図９または図１０における水平領域分割線１５５及び垂直領域分割線１５６は位置指示画像の例である。

制御部２０は、ステップS104にて、位置指示画像の表示を解除する指示があったか否かを判定する。表示解除の指示があれば（YES）、制御部２０は、ステップS124にて、位置指示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ（NO）、制御部２０は、ステップS105にて、位置指示画像を移動させる指示があったか否かを判定する。

位置指示画像を移動させる指示があれば（YES）、制御部２０は、ステップS106にて、位置指示画像を移動させて、ステップS107に移行させる。位置指示画像を移動させる指示がなければ（NO）、ステップS107に移行させる。制御部２０は、ステップS107にて、位置指示画像の表示を解除する指示があったか否かを判定する。表示解除の指示があれば（YES）、制御部２０は、ステップS124にて、位置指示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ（NO）、制御部２０は、処理をステップS108に移行させる。

制御部２０は、ステップS108にて、位置指示画像の位置を決定する指示があったか否かを判定する。位置決定の指示があれば（YES）、制御部２０は、処理をステップS109に移行させ、位置決定の指示がなければ（NO）、制御部２０は、処理をステップS122に移行させる。

制御部２０は、ステップS122にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源を切断して処理を終了させる。撮影終了の指示がなければ（NO）、処理をステップS107に戻す。

制御部２０は、ステップS109にて、決定した位置指示画像の位置を記憶する。指向性切替部１４は、制御部２０の制御に基づいて、ステップS110にて、実効焦点距離を取得する。指向性切替部１４は、ステップS111にて、画角と分解能からチャンネル数を決定する。ここでのチャンネル数とは、アレーマイクロホン１０によって収音して生成するマルチチャンネル音声信号のチャンネル数である。

実効焦点距離をｆ、画角２０１における撮像素子の受像領域の水平方向の長さ（画角２０１の幅）をＬ_Ｗ、垂直方向の長さ（画角２０１の高さ）をＬ_Ｈとすれば、画角２０１の水平方向の角度α_Ｗと垂直方向の角度α_Ｈは次の式（１），（２）ようにして求めることができる。
α_Ｗ＝２tan^-1（Ｌ_Ｗ／２ｆ） …（１）
α_Ｈ＝２tan^-1（Ｌ_Ｈ／２ｆ） …（２）

式（１），（２）より求めた画角２０１の水平方向の角度α_Ｗと垂直方向の角度α_Ｈと、予め設定されている分解能とから水平方向及び垂直方向のチャンネル数を決定することができる。

指向性切替部１４は、ステップS112にて、位置指示画像が示す位置に対応したチャンネルの角度方向の遅延時間を決定する。音声信号演算部１２（１２’）は、ステップS113にて、その角度方向の収音を演算処理する。音圧レベル演算部６２，周波数スペクトル分析部６３，音声認識レベル算出部６４は、制御部２０の制御に基づいて、ステップS114にて、収音レベルを算出する。制御部２０は、ステップS115にて、図７〜図１１で説明したように、収音レベル表示画像を画像２８０に重畳させた状態で表示させる。

制御部２０は、ステップS116にて、収音レベル表示画像の表示解除の指示があったか否かを判定する。表示解除の指示があれば（YES）、制御部２０は、ステップS125にて、収音レベル表示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ（NO）、制御部２０は、ステップS117にて、ズーム倍率が変更されたか否かを判定する。ズーム倍率が変更されたら（YES）、制御部２０は、ステップS118にて、収音レベルを示す画像の表示位置を変更する必要があるか否かを判定する。

ズーム倍率が変更されると、収音レベル表示画像が画角から外れて、画像２８０上に収音レベル表示画像を表示することができない場合が発生する。収音レベル表示画像の表示位置を変更する必要があれば（YES）、制御部２０は、ステップS119にて、収音レベル表示画像が画角内となるよう収音レベル表示画像の位置を変更して、処理をステップS120に移行させる。

ステップS117にてズーム倍率が変更されなければ（NO）、また、ステップS118にて収音レベル表示画像の表示位置を変更する必要がなければ（NO）、制御部２０は、ステップS120にて、収音レベル表示画像の表示解除の指示があったか否かを判定する。表示解除の指示があれば（YES）、制御部２０は、ステップS125にて、収音レベル表示画像の表示を解除して、処理をステップS101に戻す。

表示解除の指示がなければ（NO）、制御部２０は、ステップS123にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源を切断して処理を終了させる。撮影終了の指示がなければ（NO）、制御部２０は、処理をステップS116に戻す。

図１６に示す例では、ズーム倍率の変更があったときに、必要に応じて、収音レベル表示画像の表示位置を変更しているが、ズーム倍率の変更があったら、収音レベル表示画像の表示を解除してもよい。併せて、位置指示画像の表示を解除してもよい。また、ズーム倍率の変更があったら、収音レベル表示画像が画角内に入っているときのみ表示を継続させ、画角から外れたら表示を解除してもよい。同様に、収音レベルを示す画像の表示を解除するに併せて位置指示画像の表示を解除してもよい。

図１６に示す例では、ステップS112にて、位置指示画像が示す位置に対応したチャンネルの角度方向の遅延時間を決定し、ステップS113にて、その角度方向の収音を演算処理している。マルチチャンネル音声信号における全ての角度方向の遅延時間を決定し、全ての角度方向の収音を演算処理して、位置指示画像が示す位置に対応したチャンネルの角度方向の収音の演算処理結果のみを用いるようにしてもよい。

図１７を用いて、映像信号及び音声信号を記録する指示がなされた場合の、ビデオカメラ１１０による記録動作について説明する。図１６で説明したマルチチャンネル音声信号におけるいずれかのチャンネルの音声信号の収音レベル表示画像を表示させる動作の途中において、記録動作を実行させることが可能である。また、図１６で説明した動作とは無関係に記録動作を実行させることが可能である。図１７では、説明を簡略化するため、図１６の表示動作と関連させず、記録動作のみを説明することとする。

ビデオカメラ１１０の電源が投入されると、制御部２０は、ステップS201にて、被写体の撮影を開始させる。制御部２０は、ステップS202にて、操作部３０よって記録開始の指示があったか否かを判定する。記録開始の指示がなければ（NO）、制御部２０は、処理をステップS211に移行させる。

記録開始の指示があれば（YES）、指向性切替部１４は、ステップS203にて、実効焦点距離を取得する。指向性切替部１４は、ステップS204にて、画角と分解能からチャンネル数を決定する。図１６にて説明したように、前述の式（１），（２）より求めた画角２０１の水平方向の角度α_Ｗと垂直方向の角度α_Ｈと、予め設定されている分解能とから水平方向及び垂直方向のチャンネル数を決定することができる。

指向性切替部１４は、ステップS205にて、それぞれのチャンネルに対応した角度方向の遅延時間を決定する。音声信号演算部１２（１２’）は、ステップS206にて、それぞれの角度方向の収音を演算処理する。

映像音声記録処理部１６は、ステップS207にて、映像信号と、ステレオ音声信号と、それぞれの角度方向の音声信号と、角度方向を示す指向性情報とを記録媒体４０に記録させる。映像音声記録処理部１６は、それぞれの角度方向の音声信号をマルチトラックで記録させる。

制御部２０は、ステップS208にて、ズーム倍率が変更されたか否かを判定する。ズーム倍率が変更されたら（YES）、処理をステップS203に戻す。ズーム倍率が変更されなかったら（NO）、制御部２０は、ステップS209にて、記録終了の指示があったか否かを判定する。記録終了の指示がなければ（NO）、処理をステップS206に戻す。記録終了の指示があれば（YES）、制御部２０は、ステップS210にて、記録停止の処理を実行させ、処理をステップS211に移行させる。

制御部２０は、ステップS211にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源を切断して処理を終了させる。撮影終了の指示がなければ（NO）、処理をステップS202に戻す。

図１６で説明したマルチチャンネル音声信号におけるいずれかのチャンネルの音声信号の収音レベル表示画像を表示させる動作の途中において、記録動作を実行させる場合には、次のようにすればよい。図１６のフローの所定の位置に、図１７のステップS202のような記録開始の指示があったか否かを判定するステップを設ける。そして、記録開始の指示があった場合には、図１７のステップS205〜S207，S209，S210と同様のステップを設ける。

次に、記録媒体４０に記録された映像信号及び音声信号の再生動作について説明する。図１において、操作部３０によって記録媒体４０に記録されている映像信号（撮影コンテンツ）を再生する操作がなされると、映像音声再生処理部２１は、制御部２０による制御に基づいて、記録媒体４０に記録されている映像信号及びステレオ音声信号を読み出して再生処理を施す。

映像信号及びステレオ音声信号が所定の圧縮処理方式で圧縮されて記録媒体４０に記録されている場合には、映像音声再生処理部２１は、映像信号及びステレオ音声信号を伸長する。マルチチャンネル音声信号及び指向性情報は、後述する特定の操作がなされると、記録媒体４０より読み出される。映像音声再生処理部２１より出力されたステレオ音声信号は、音声出力処理部２２に入力される。音声出力処理部２２は、ステレオ音声信号に基づいた音をスピーカ２３より発生させる。

映像音声再生処理部２１より出力された映像信号は、映像信号処理部２４に入力されて処理される。映像合成部２５は、画像データ発生部２６が上述した収音レベル表示画像の画像データ等の付加情報を発生している場合には、映像信号処理部２４より出力された映像信号に付加情報を重畳させるよう合成する。映像表示処理部２７は、映像信号処理部２４より出力された映像信号または映像合成部２５によって付加情報が重畳された映像信号を表示部２８に表示させるよう処理する。

図１８は、ビデオカメラ１１０をテレビジョン受像機３００に接続し、映像信号をテレビジョン受像機３００の画面に表示させ、ステレオ音声信号による音声をテレビジョン受像機３００に内蔵されているスピーカより発生させている状態を示している。図１８では、リモートコントローラを操作部３０としている。テレビジョン受像機３００は、ビデオカメラ１１０外部の表示部である。

ユーザ４００が操作部３０によって、アレーマイクロホン１０によって収音して生成したマルチチャンネル音声信号を再生する所定の操作をしたら、制御部２０は、画像データ発生部２６によって、映像信号に図１８に示すようなポインタ画像５１を示す付加情報信号を発生させ、画面に表示されている画像にポインタ画像５１を重畳させる。ポインタ画像５１は、予め設定した初期位置に表示させるようにすればよい。

図１９は、表示部２８及びテレビジョン受像機３００の画面に表示されている画像を示している。アレーマイクロホン１０が図３の（ａ）に示すアレーマイクロホン１０Ａの場合には、制御部２０は、画像データ発生部２６によって、映像信号に図１９に示すような縦線の水平位置識別画像５２を示す付加情報信号を発生させ、画面に表示されている画像に水平位置識別画像５２を重畳させることが好ましい。水平位置識別画像５２は、水平方向の角度方向を区分けするための第１の識別画像である。

水平位置識別画像５２の本数は、マルチチャンネル音声信号のチャンネル数に対応した本数することが好ましい。マルチチャンネル音声信号のチャンネル数が７であれば、水平位置識別画像５２の本数を６本とすれば、画面を水平方向に７分割することができる。この場合、画面は７つの領域に分割される。

ユーザ４００が操作部３０における例えば左右のカーソルキーによってポインタ画像５１を左方向または右方向へと移動させる操作をしたら、制御部２０は、ポインタ画像５１を左右方向に移動させる。図１９では、ポインタ画像５１は円内に右向きの矢印よりなる画像であるが、ポインタ画像５１を左方向へと移動させたら、円内に左向きの矢印よりなる画像とする。円内に右向きまたは左向きの矢印のポインタ画像５１は、マルチチャンネル音声信号における水平方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当する。

アレーマイクロホン１０が図３の（ｂ）に示すアレーマイクロホン１０Ｂの場合には、制御部２０は、画像データ発生部２６によって、映像信号に図２０に示すような縦線の水平位置識別画像５２と横線の垂直位置識別画像５３それぞれを示す付加情報信号を発生させ、画面に表示されている画像に水平位置識別画像５２及び垂直位置識別画像５３を重畳させることが好ましい。垂直位置識別画像５３は、垂直方向の角度方向を区分けするための第２の識別画像である。

垂直位置識別画像５３の本数は、マルチチャンネル音声信号の垂直方向のチャンネル数に対応した本数することが好ましい。マルチチャンネル音声信号の垂直方向のチャンネル数が４であれば、垂直位置識別画像５３の本数を３本とすれば、画面を垂直方向に４分割することができる。マルチチャンネル音声信号の水平方向のチャンネル数が７であれば、水平位置識別画像５２と垂直位置識別画像５３によって画面は２８の領域に分割される。

ユーザ４００が操作部３０における例えば上下のカーソルキーによってポインタ画像５１を上方向または下方向へと移動させる操作をしたら、制御部２０は、ポインタ画像５１を上下方向に移動させる。ポインタ画像５１を上方向へと移動させたら、円内に上向きの矢印よりなる画像とし、ポインタ画像５１を下方向へと移動させたら、円内に下向きの矢印よりなる画像する。この際、円内の矢印の先が領域の中央を指し示すように表示させる。円内に上向きまたは下向きの矢印のポインタ画像５１は、マルチチャンネル音声信号における垂直方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当する。

図１９において、ユーザ４００が操作部３０における例えば決定キーを操作したら、制御部２０は、マルチチャンネル音声信号のうち、ポインタ画像５１の位置に応じた再生すべき角度方向のチャンネルを決定する。制御部２０は、映像音声再生処理部２１を制御して、決定したチャンネルの角度方向を示す指向性情報に基づいて、決定したチャンネルの音声信号を記録しているトラックを再生させる。

このように、ビデオカメラ１１０は、ポインタ画像５１の水平方向の位置を移動させて、決定キーを操作することによって、水平方向それぞれの角度方向のチャンネルの音声信号を選択して再生させることができる。図２０において、右端部に位置しているこどもが発している声を聞きたい場合には、ポインタ画像５１を右端部方向に移動させて決定キーを操作すれば、そのこどもが発している声を再生して聞くことができる。

図２０の場合には、ポインタ画像５１の垂直方向の位置を移動させて、決定キーを操作することによって、垂直方向それぞれの角度方向のチャンネルの音声信号を選択して再生させることができる。

水平方向または垂直方向の角度方向を選択するための付加情報の画像は、図９，図１０に示すようなポインタ画像５１に限定されるものではない。例えば、小さな円形画像でもよい。また、ポインタ画像の代わりに分割領域をハイライト、グレーアウトさせてもよい。

図２１を用いて、映像信号及び音声信号を再生する指示がなされた場合の、ビデオカメラ１１０による再生動作について改めて説明する。図２１において、制御部２０は、ステップS301にて、記録されている映像信号（撮影コンテンツ）の再生指示がなされたか否かを判定する。再生指示がなされなければ（NO）、制御部２０は、処理をステップS320に移行させる。再生指示がなされたら（YES）、制御部２０は、ステップS302にて、映像信号とステレオ音声信号を再生させる。

制御部２０は、ステップＳ303にて、ポインタ画像５１を表示させる指示があったか否かを判定する。ここでは、ポインタ画像５１を用いる場合の動作について示す。制御部２０は、指示があれば（YES）、処理をステップS304に移行させ、指示がなければ（NO）、処理をステップS316に移行させる。制御部２０は、ステップS304にて、ポインタ画像５１を初期位置に表示させる。

制御部２０は、ステップS305にて、ポインタ画像５１を移動させる指示があったか否かを判定する。ポインタ画像５１を移動させる指示があれば（YES）、制御部２０は、ステップS306にて、ポインタ画像５１を移動させる。ポインタ画像５１を移動させる指示がなければ（NO）、制御部２０は、処理をステップS307に移行させる。

制御部２０は、ステップS307にて、選択された角度方向の音声信号を再生する指示がなされたか否かを判定する。制御部２０は、選択された角度方向の音声信号を再生する指示がなされたら、処理をステップS308に移行させ、指示がなされなかったら、処理をステップS317に移行させる。

制御部２０は、ステップS317にて、ポインタ画像５１の表示解除の指示があったか否かを判定する。例えば、操作部３０における戻りキーを操作したら、ポインタ画像５１の表示解除の指示があったとすればよい。ポインタ画像５１の表示解除の指示があれば（YES）、制御部２０は、ステップS318にて、ポインタ画像５１の表示を解除して、処理をステップS316に移行させる。ポインタ画像５１の表示解除の指示がなければ（NO）、制御部２０は、処理をステップS305に戻す。

制御部２０は、ステップS308にて、ポインタ画像５１の位置から再生すべきトラック番号を決定する。制御部２０は、ステップS309にて、決定したトラック番号の音声信号を再生する。制御部２０は、ステップS310にて、再生しているトラック番号の音声信号の再生を停止する指示がなされたか否かを判定する。再生停止の指示がなされたら（YES）、制御部２０は、ステップS311にて、再生している音声信号の再生を停止させ、処理をステップS305に戻す。

再生停止の指示がなされなかったら（NO）、制御部２０は、ステップS312にて、ポインタ画像５１を移動させる指示があったか否かを判定する。制御部２０は、ポインタ画像５１を移動させる指示があれば（YES）、処理をステップS308に戻し、ポインタ画像５１を移動させる指示がなければ（NO）、処理をステップS313に移行させる。

制御部２０は、ステップS313にて、ポインタ画像５１の表示解除の指示があったか否かを判定する。ポインタ画像５１の表示解除の指示がなければ（NO）、制御部２０は、処理をステップS309に戻す。ポインタ画像５１の表示解除の指示があれば（YES）、制御部２０は、ステップS314にて、ポインタ画像５１の表示を解除し、ステップS315にて、再生している音声信号の再生を停止させて、ステップS316に移行させる。

制御部２０は、ステップS316にて、コンテンツデータの再生停止の指示がなされたか否かを判定する。再生停止の指示がなされなければ（NO）、制御部２０は、処理をステップS302に戻す。再生停止の指示がなされたら（YES）、制御部２０は、ステップS319にて、映像信号及びステレオ音声信号の再生を停止させて、処理をステップS320に移行させる。

制御部２０は、ステップS320にて、電源切断の指示がなされたか否かを判定する。電源切断の指示がなされたら（YES）、制御部２０は、処理を終了させ、電源切断の指示がなされなかったら（NO）、制御部２０は、処理をステップS301に戻す。

ところで、上記のステップS309では、単に決定したトラック番号の音声信号を再生すると説明した。一般的には、図１８に示すテレビジョン受像機３００はステレオスピーカであり、ステレオスピーカを用いて、マルチチャンネル音声信号のうちの選択した角度方向の音声信号を、あたかも視聴時の画面に対応する角度方向から音が聞こえてくるよう再生することが必要である。

一般的に２チャンネルステレオでは、音の強度差をつけることによって音像定位の制御ができる。ある音声信号が左（Ｌ）チャンネルには重み係数w_L、右（Ｒ）チャンネルにはw_Rの重み係数を乗じて分配されるときに、聴取ポイントを中心とした正面からスピーカまでの角度をφ_０、正面から音声の定位位置までの角度をφ（正面から右側を正）とすると、次式の関係になることが一般に知られている（非特許文献１、p.34参照）。ここで、φ_０は表示装置の視野角に近いことが望ましい。
sinφ/sinφ_０＝（ｗ_L−ｗ_R）/（ｗ_L＋ｗ_R） …（３）

このことを利用して、音声出力処理部２２は、マルチチャンネル音声信号のうちの選択したチャンネルの音声信号を、水平方向の角度方向に応じた比率で、ステレオ音声信号におけるＬチャンネルとＲチャンネルとに例えば次のように振り分ければよい。

マルチチャンネルのチャンネル数をN、マルチチャンネルの左端のチャンネルから順にチャンネル番号ｎを1,2,3,…とすると、式（３）は次の式（４）のようになる。

例えば、水平方向にチャンネル数Nが７の場合を考える。ここで、THX（THX社の登録商標）では2φ_０＝36°〜40°の視野角を推奨しており、視野角40°で視聴すると考える。正面から左側へ１つ目、つまり左端から３つ目のチャンネルを選択した場合には、スピーカ間の角度を２φ_０＝40°として、左辺分子のsin関数の変数部分のφ_０{(n-1)-(N-1)/2}/Nより、40°・{(3-1)-(7-1)/2}/7＝約-5.71°、つまり約5.71°正面から左側にずれた位置に定位させる必要がある。φ＝5.71°として式（４）より、ｗ_L：ｗ_R＝1.29：0.71＝0.645：0.355となる。つまり、選択したチャンネルの音声信号を、Ｌチャンネルに35.5％、Ｒチャンネルに64.5％で振り分ければよい。

正面から右側へ２つ目、つまり左端から６つ目のチャンネルを選択した場合には、同様に式（４）より、Ｌチャンネルに21％、Ｒチャンネルに79％で振り分ければよい。

以上のようにすれば、ステレオ音声信号とマルチチャンネル音声信号のうちの選択したチャンネルの音声信号とが自然に合成され、選択した位置（方向）の音声を的確に再生することができる。本実施形態によれば、再生ズームを行った際に、ズームアップした映像と再生される音声とを対応させることができ、ユーザはほとんど違和感を覚えることがない。

垂直方向に複数チャンネルを有するマルチチャンネル音声信号の場合には、例えば、複数のスピーカを垂直方向に配置したマルチチャンネルスピーカを用いて、同様に、複数のスピーカに対して比率を適宜設定して振り分ければよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１０，１０Ａ，１０Ｂ アレーマイクロホン
１２，１２’ 音声信号演算部
１４ 指向性切替部
１７ ズーム調整部
１８ 映像撮影部
２０ 制御部
２２ 音声出力処理部
２３ スピーカ
２５ 映像合成部
２６ 画像データ発生部
２８ 表示部
６１ 音声認識部
６２ 音圧レベル演算部（収音レベル算出部）
６３ 周波数スペクトル分析部（収音レベル算出部）
６４ 音声認識レベル算出部（収音レベル算出部）

Claims (6)

1. 所定の音声信号の収音レベルを算出する収音レベル算出部と、
   前記所定の音声信号の増幅度を設定する音声信号増幅部と、
   前記収音レベル算出部が算出した収音レベルを示す収音レベル表示画像の画像データを発生する画像データ発生部と、
   を備え、
   前記画像データ発生部は、前記音声信号増幅部で設定されている増幅度に応じて前記収音レベル表示画像を変更した画像データを発生することを特徴とする撮像装置。
2. 所定の音声信号の収音レベルを算出する収音レベル算出部と、
   前記収音レベル算出部が算出した収音レベルを示す収音レベル表示画像の画像データを発生する画像データ発生部と、
   を備え、
   前記収音レベル算出部は、前記所定の音声信号に含まれる人の声の認識度合いを示す音声認識レベルを算出する音声認識レベル算出部であることを特徴とする撮像装置。
3. 複数のマイクロホン素子が配列されたアレーマイクロホンと、
   前記アレーマイクロホンにおける前記複数のマイクロホン素子が収音した音声信号を演算処理して、前記アレーマイクロホンによって収音する複数の角度方向のうちの少なくとも選択された特定の角度方向の音声信号を生成する音声信号演算部と
   をさらに備え、
   前記所定の音声信号は、前記特定の角度方向の音声信号であることを特徴とする請求項１または２に記載の撮像装置。
4. 被写体を撮影する映像撮影部と、
   前記画像データ発生部が発生した前記収音レベル表示画像の画像データを前記映像撮影部より出力された映像信号とともに表示させる映像合成部とをさらに備え、
   前記複数の角度方向は、前記映像撮影部で撮影される画角内であることを特徴とする請求項３に記載の撮像装置。
5. 前記映像撮影部で撮影される画角と予め設定した収音の角度分解能とによって、前記複数の角度方向を決定して、前記アレーマイクロホンによる収音の指向性を切り替える指向性切替部をさらに備えることを特徴とする請求項４に記載の撮像装置。
6. 前記映像撮影部で被写体を撮影する際のズームを調整するズーム調整部をさらに備え、
   前記指向性切替部は、前記ズーム調整部で調整したズームに応じて決まる画角と前記角度分解能とによって、前記複数の角度方向を決定する
   ことを特徴とする請求項５に記載の撮像装置。

Images