JP5949398B2

JP5949398B2 - 映像音声記録再生装置

Info

Publication number: JP5949398B2
Application number: JP2012216682A
Authority: JP
Inventors: 田中　潤; 潤田中
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-09-28
Filing date: 2012-09-28
Publication date: 2016-07-06
Anticipated expiration: 2032-09-28
Also published as: JP2014072661A

Description

本発明は、画角内の複数の位置のいずれかで発生する音声を的確に収音して記録再生することができる映像音声記録再生装置に関する。

映像音声記録再生装置の一例としてのビデオカメラは、被写体を撮影した動画像の映像情報と、撮影中に収音した音声情報とを記録し再生する。ビデオカメラに搭載されているマイクロホンは、一般的に、モノラルマイクロホンまたはステレオマイクロホンである。モノラルマイクロホンで音声を収音する場合、音声は、音声が発生する位置にかかわらず１チャンネルの音声信号として記録される。ステレオマイクロホンで音声を収音する場合、左右それぞれの音声が２チャンネルの音声信号として記録される。

特開２０００−２９８９３３号公報特開２００６−２８７５４４号公報

安藤彰男、「高臨場感音響技術とその理論」、IEICE Fundamental Review Vol.3 No.4、p.33-46

モノラルマイクロホンまたはステレオマイクロホンを搭載したビデオカメラにおいては、画角内の複数の位置それぞれで発生する音声を的確に収音して記録することは困難である。

例えば画角の中央付近に主たる撮影対象の被写体である人物が位置しており、画角の左側または右側端部で動物が鳴いて音を発生させたとする。このような状況で、動物が発生させた音を的確に収音して記録することは難しい。

映像情報の再生時に再生映像を部分的に拡大して表示する、いわゆる再生ズームと称されている機能がある。単にモノラルマイクロホンまたはステレオマイクロホンで音声を収音した場合には、ズームアップした映像と再生される音声とを対応させることは難しい。映像と音声とが対応しなければ、ユーザは違和感を覚えてしまう。

本発明はこのような問題点に鑑み、画角内の複数の位置のいずれかで発生する音声を的確に収音し、記録及び再生することができる映像音声記録再生装置を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、複数のマイクロホン素子が水平方向に配列されたアレーマイクロホン（１０）と、被写体を撮影する映像撮影部（１８）と、前記映像撮影部で被写体を撮影する際のズームを調整するズーム調整部（１７）と、前記ズーム調整部で調整したズームに応じて決まる前記撮影部で撮影する被写体の画角と予め設定した分解能とによって、前記アレーマイクロホンによって収音する前記画角内の水平方向の複数の角度方向を決定して、前記アレーマイクロホンによる収音の指向性を切り替える指向性切替部（１４）と、前記指向性切替部による制御によって、前記アレーマイクロホンにおける前記複数のマイクロホン素子が収音した音声信号を演算処理して、水平方向の前記複数の角度方向からの音声信号をマルチチャンネル音声信号として生成する音声信号演算部（１２，１２’）と、前記映像撮影部によって撮影された被写体の映像信号と、前記音声信号演算部によって生成された前記マルチチャンネル音声信号を記録媒体（４０）に記録するよう処理する映像音声記録処理部（１６）と、前記記録媒体に記録された前記映像信号と前記マルチチャンネル音声信号を再生するよう処理する映像音声再生処理部（２１）と、前記マルチチャンネル音声信号を再生する所定の操作がなされたら、前記映像信号に、前記マルチチャンネル音声信号における水平方向のいずれかの角度方向からの音声信号を選択するための付加情報を重畳させるよう合成する映像合成部（２５）と、前記映像合成部によって生成された合成映像信号を表示部（２８）に表示するよう処理する映像表示処理部（２７）と、前記表示部に表示された前記合成映像信号における前記付加情報の位置または向きに応じて前記マルチチャンネル音声信号における再生すべき水平方向の角度方向からの音声信号を決定して、前記映像音声処理部によって再生させるよう制御する制御部（２０）とを備えることを特徴とする映像音声記録再生装置を提供する。

上記の映像音声記録再生装置において、前記アレーマイクロホンは、前記複数のマイクロホン素子による水平方向の配列を垂直方向に複数配列させた構成を有し、前記指向性切替部は、前記画角内の垂直方向の複数の角度方向を決定して、前記アレーマイクロホンによる収音の指向性を切り替え、前記音声信号演算部は、前記マルチチャンネル音声信号として、前記指向性切替部による制御によって、前記アレーマイクロホンの垂直方向の複数の配列における前記複数のマイクロホン素子が収音した音声信号を演算処理して、垂直方向の前記複数の角度方向からの音声信号を生成し、前記映像合成部は、前記マルチチャンネル音声信号を再生する所定の操作がなされたら、前記映像信号に、前記付加情報として、前記マルチチャンネル音声信号における水平方向及び垂直方向のいずれかの角度方向からの音声信号を選択するための情報を重畳させるよう合成し、前記制御部は、前記表示部に表示された前記合成映像信号における前記付加情報の位置または向きに応じて前記マルチチャンネル音声信号における再生すべき水平方向及び垂直方向の角度方向からの音声信号を決定して、前記映像音声処理部によって再生させるよう制御することが好ましい。

上記の映像音声記録再生装置において、前記映像合成部は、前記映像信号に、前記マルチチャンネル音声信号における水平方向の角度方向を区分けするための第１の識別画像を重畳させるよう合成することが好ましい。

上記の映像音声記録再生装置において、前記映像合成部は、前記映像信号に、前記マルチチャンネル音声信号における垂直方向の角度方向を区分けするための第２の識別画像を重畳させるよう合成することが好ましい

上記の映像音声記録再生装置において、前記制御部によって、再生すべき水平方向の角度方向からの音声信号として決定された前記マルチチャンネル音声信号のうちのいずれかのチャンネルの音声信号を、水平方向の角度方向に応じた比率で、左チャンネルと右チャンネルとに振り分ける音声出力処理部（２２）をさらに備えることが好ましい。

本発明の映像音声記録再生装置によれば、画角内の複数の位置のいずれかで発生する音声を的確に収音し、記録及び再生することができる。

第１実施形態の映像音声記録再生装置を示すブロック図である。第１実施形態の映像音声記録再生装置であるビデオカメラの外観形状とビデオカメラが撮影する被写体の例を示す図である。図１中のアレーマイクロホン１０の具体的な構成例を示す図である。図１中の音声信号演算部１２（１２’）における演算処理の原理を説明するための図である。図１中の音声信号演算部１２の具体的な構成例を示すブロック図である。図１中の音声信号演算部１２’の具体的な構成例を示すブロック図である。第１実施形態の映像音声記録再生装置における記録側の動作を示すフローチャートである。第１実施形態の映像音声記録再生装置であるビデオカメラをテレビジョン受像機に接続した状態を示す図である。水平方向の角度方向を選択するための付加情報の画像と、水平方向の角度方向を区分けするための識別画像を重畳した画像を示す図である。水平方向の角度方向を選択するための付加情報の画像と、水平方向及び垂直方向の角度方向を区分けするための識別画像を重畳した画像を示す図である。水平方向の角度方向を選択するための付加情報の画像の他の例を示す図である。第１実施形態の映像音声記録再生装置における再生側の動作を示すフローチャートである。第２実施形態の映像音声記録再生装置を示すブロック図である。

以下、各実施形態の映像音声記録再生装置について、添付図面を参照して説明する。各実施形態の映像音声記録再生装置は、ビデオカメラを例とする。

＜第１実施形態＞
第１実施形態のビデオカメラ１００は、アレーマイクロホン１０とステレオマイクロホン１１を備える。ステレオマイクロホン１１の代わりにモノラルマイクロホンとしてもよいし、ステレオマイクロホン１１を省略してアレーマイクロホン１０のみとしてもよい。但し、ステレオマイクロホン１１を備える方が好ましい。

図２は、ビデオカメラ１００の外観形状の例と、ビデオカメラ１００が撮影する被写体２００の例を示している。アレーマイクロホン１０とステレオマイクロホン１１は、ビデオカメラ１００の筺体上面に例えば図２に示すように配置されている。図２に示す配置は単なる例であり、アレーマイクロホン１０とステレオマイクロホン１１の筺体上の位置、互いの位置関係は任意である。

アレーマイクロホン１０は、図３の（ａ）に示すように、複数のマイクロホン素子ＭＥを水平方向に一列に配列させた構成を有する。水平方向に隣接する２つのマイクロホン素子ＭＥの中心間距離はｄである。図３の（ａ）に示すマイクロホン素子ＭＥが水平一列のアレーマイクロホン１０をアレーマイクロホン１０Ａとする。

アレーマイクロホン１０は、図３の（ｂ）に示すように、複数のマイクロホン素子ＭＥの水平一列の配列１０b1，１０b2，１０b3を垂直方向に配列させた構成であってもよい。垂直方向に隣接する２つのマイクロホン素子ＭＥの中心間距離はｄである。図３の（ｂ）に示す水平一列のマイクロホン素子ＭＥを垂直方向に複数配列させたアレーマイクロホン１０をアレーマイクロホン１０Ｂとする。ここで、垂直方向に隣接する２つのマイクロホン素子ＭＥの中心間距離はｄでなくてもよい。

図１，図２に示すアレーマイクロホン１０は、図３の（ａ）に示すアレーマイクロホン１０Ａまたは図３の（ｂ）に示すアレーマイクロホン１０Ｂである。図３の（ａ），（ｂ）では、マイクロホン素子ＭＥを水平方向に６個としているが、マイクロホン素子ＭＥの水平方向の個数は６個に限定されない。アレーマイクロホン１０Ｂは、垂直方向に３列としているが、垂直方向の配列個数も３個に限定されない。また、アレーマイクロホン１０は一直線状や一平面状への配置に限定されない。

アレーマイクロホン１０Ａは、マイクロホン素子ＭＥの配列方向に対する法線方向を０度とすると、左右それぞれ９０度までの方向の指向性を有する音声を収音することができる。アレーマイクロホン１０Ｂは、左右それぞれ９０度までの方向と上下それぞれ９０度までの方向の指向性を有する音声を収音することができる。

アレーマイクロホン１０によって収音した音声信号は、音声信号演算部１２（１２’）に入力されて、後述する演算処理が施される。音声信号演算部１２は、アレーマイクロホン１０Ａからの音声信号を演算処理する。音声信号演算部１２’は、アレーマイクロホン１０Ｂからの音声信号を演算処理する。音声信号演算部１２（１２’）は、ビデオカメラ１００が撮影している撮影範囲である画角と予め設定した所定の分解能とによって決まるチャンネル数の音声信号を演算処理によって生成して出力する。

音声信号増幅部１３は、ステレオマイクロホン１１より出力されたステレオ音声信号と、音声信号演算部１２（１２’）より出力されたチャンネル数の音声信号とをそれぞれ増幅して、映像音声記録処理部１６に供給する。

制御部２０は、ビデオカメラ１００の全体を制御する。操作部３０によってズームを調整する操作がなされたら、ズーム調整部１７は、指定されたズームとなるよう映像撮影部１８を制御する。操作部３０は、ビデオカメラ１００の筐体に設けられている操作部またはビデオカメラ１００を遠隔制御するリモートコントローラである。映像撮影部１８は、ズームレンズと、ＣＣＤまたはＣＭＯＳの撮像素子とを有する。ズーム調整部１７によるズーム調整によって決まる実効焦点距離を示す情報は、指向性切替部１４に入力される。

図２において、ビデオカメラ１００が被写体２００を撮影している際に実際にビデオカメラ１００によって映像情報が取り込まれる撮影範囲は、破線で囲んだ画角２０１の部分である。画角２０１は、ズーム調整部１７によるズーム調整によって大きくなったり小さくなったりする。指向性切替部１４は、実効焦点距離に基づいて、画角２０１の大きさであるビデオカメラ１００が実際に撮影している水平方向及び垂直方向の角度範囲を知ることができる。

指向性切替部１４には、分解能が例えば１０度と設定されている。制御部２０によって、指向性切替部１４に設定する分解能を可変できるようにしてもよい。指向性切替部１４は、実効焦点距離に基づいて画角２０１の情報を得るようにしているが、他の方法によって画角２０１の情報を得るようにしてもよい。

指向性切替部１４は、音声信号演算部１２（１２’）が画角２０１と分解能とによって決まるチャンネル数それぞれのチャンネルの音声信号を演算処理して出力するよう、音声信号演算部１２（１２’）を制御する。指向性情報生成部１５は、音声信号演算部１２（１２’）が生成するそれぞれのチャンネルの音声信号の指向性情報を生成して、映像音声記録処理部１６に供給する。指向性情報は、例えば、水平方向または垂直方向のどの角度方向からの音声信号であるかを示す。

映像撮影部１８より出力された映像信号は、映像信号処理部１９に入力される。映像信号処理部１９は、入力された映像信号をＡ／Ｄ変換して所定の信号処理を施し、映像音声記録処理部１６に供給する。

映像音声記録処理部１６は、音声信号増幅部１３より出力されたステレオ音声信号及び指向性を有するマルチチャンネル音声信号と、指向性情報生成部１５より出力された指向性情報と、映像信号処理部１９より出力された映像信号とを所定の信号形式のデータとして、記録媒体４０に記録する。映像音声記録処理部１６は、映像信号及び音声信号を所定の圧縮処理方式で圧縮して記録媒体４０に記録してもよい。

記録媒体４０には、ステレオ音声信号及びマルチチャンネル音声信号が、マルチトラックで記録される。記録媒体４０は、半導体メモリやハードディスク・ドライブ等のビデオカメラ１００に内蔵されている記録媒体でもよいし、メモリカード等の着脱自在の記録媒体でもよい。

図４を用いて、音声信号演算部１２（１２’）がそれぞれの方向の音声信号をどのように演算処理して生成するかについて説明する。図４では、アレーマイクロホン１０Ａを例にして説明する。アレーマイクロホン１０Ａのマイクロホン素子ＭＥの破線で示す配列方向に対する法線をＬ０とする。法線Ｌ０の方向を０度とする。音声の入射方向が０度であれば、それぞれのマイクロホン素子ＭＥにはほぼ同時に音声が到達する。

図４に示すように、法線Ｌ０に対して３０度の直線Ｌ30の方向からの音声を収音する場合を考える。アレーマイクロホン１０Ａに対して直線Ｌ30の方向から音声が入射すると、６つのマイクロホン素子ＭＥの中央を基準位置として、右側の３つのマイクロホン素子ＭＥにはそれぞれDL1，DL2，DL3なる遅延時間で音声が到達する。左側の３つのマイクロホン素子ＭＥにはそれぞれ基準位置よりも早く音声が到達することになり、負の遅延時間である-DL1，-DL2，-DL3なる遅延時間で音声が到達する。

即ち、それぞれのマイクロホン素子ＭＥが収音する音声を、図４に示す遅延時間だけ遅延させれば、アレーマイクロホン１０Ａの法線Ｌ０に対して３０度の角度である直線Ｌ30の方向から音声を収音することができることになる。実際には、負の遅延時間で音声を遅延させることはできないため、例えば、最も左に位置するマイクロホン素子ＭＥの遅延時間を０として、右側のマイクロホン素子ＭＥほど遅延時間を多くするように遅延させれば、３０度の方向からの音声を収音することができる。

このように、アレーマイクロホン１０Ａ，１０Ｂのマイクロホン素子ＭＥが収音する音声を法線方向からの左右の角度に応じた遅延時間だけ遅延させれば、水平方向の複数の角度方向からの音声を収音することができる。同様にして、アレーマイクロホン１０Ｂの場合には、収音する音声を上下方向の角度に応じた遅延時間だけ遅延させれば、垂直方向の複数の角度方向からの音声を収音することができる。

音声信号演算部１２（１２’）は以上説明した原理に基づいて左右または上下のそれぞれの角度方向からの指向性を有する音声信号を演算処理して生成する。まず、図５を用いて、アレーマイクロホン１０Ａからの音声信号を演算処理する音声信号演算部１２の具体的構成及び動作を説明する。

図５に示すように、音声信号演算部１２は、可変遅延器121a〜121fと、加算器１２２と、増幅器１２３とを備える。可変遅延器121a〜121fは、マイクロホン素子ＭＥの数に対応して設けられている。可変遅延器121a〜121fには、制御部２０から、可変遅延器121a〜121fそれぞれの遅延時間を設定するための水平遅延制御信号Ｓdlchが入力される。

例えば画角２０１が水平方向６０度であり、分解能が１０度と設定されている場合、音声信号演算部１２は、法線方向である０度、右方向に１０度，２０度，３０度、左方向に１０度，２０度，３０度の７チャンネル分の方向の音声信号を演算処理して生成する。画角２０１が水平方向３０度であれば、４チャンネル分となる。制御部２０は、それぞれのチャンネルの方向とするための遅延時間を設定するための水平遅延制御信号Ｓdlchを、可変遅延器121a〜121fに供給する。

画角２０１が水平方向６０度の場合、制御部２０は、０度、右方向に１０度，２０度，３０度、左方向に１０度，２０度，３０度の７チャンネル分の音声信号を生成するためのそれぞれの遅延時間を設定するよう、水平遅延制御信号Ｓdlchを順次切り替えて可変遅延器121a〜121fに供給する。

それぞれのマイクロホン素子ＭＥより出力された音声信号は、いずれかのチャンネルに対応した遅延時間に設定されている可変遅延器121a〜121fによって遅延される。加算器１２２は、可変遅延器121a〜121fより出力された音声信号を全て加算し、増幅器１２３は、加算器１２２より出力された加算音声信号を増幅して、１つのチャンネルの音声信号として出力する。音声信号演算部１２は、水平遅延制御信号Ｓdlchによって可変遅延器121a〜121fによるそれぞれのチャンネルに対応した遅延時間に設定することにより、７チャンネル分の音声信号を順次生成して出力する。

次に、図６を用いて、アレーマイクロホン１０Ｂからの音声信号を演算処理する音声信号演算部１２’の具体的構成及び動作を説明する。図６に示すように、音声信号演算部１２’は、水平遅延部１２b1，１２b2，１２b3と、垂直遅延部１２４と、加算器１２５と、増幅器１２６とを備える。水平遅延部１２b1，１２b2，１２b3は、図３の（ｂ）に示すマイクロホン素子ＭＥの配列１０b1，１０b2，１０b3に対応して設けられている。

水平遅延部１２b1は、可変遅延器121a1〜121f1と加算器1221とを有する。水平遅延部１２b2は、可変遅延器121a2〜121f2と加算器1222とを有する。水平遅延部１２b3は、可変遅延器121a3〜121f3と加算器1223とを有する。可変遅延器121a1〜121f1，121a2〜121f2，121a3〜121f3には、図５で説明した水平遅延制御信号Ｓdlchが入力される。水平遅延部１２b1，１２b2，１２b3それぞれの動作は、図５の可変遅延器121a〜121f及び加算器１２２の部分と同じである。

垂直遅延部１２４の可変遅延器1241〜1243には、制御部２０から、水平遅延部１２b1，１２b2，１２b3より出力された音声信号に基づいて、画角２０１の垂直方向の角度と分解能とで決まるそれぞれの指向性を有する声信号を生成するための垂直遅延制御信号Ｓdlcvが入力される。水平遅延部１２b1，１２b2，１２b3より出力された音声信号は、垂直方向のいずれかのチャンネルに対応した遅延時間に設定されている可変遅延器1241〜1243によって遅延される。

加算器１２5は、可変遅延器1241〜1243より出力された音声信号を全て加算し、増幅器１２６は、加算器１２５より出力された加算音声信号を増幅して、１つのチャンネルの音声信号として出力する。音声信号演算部１２’は、垂直遅延制御信号Ｓdlcvによって可変遅延器1241〜1243によるそれぞれの垂直方向のチャンネルに対応した遅延時間に設定することにより、複数チャンネル分の音声信号を順次生成して出力する。

音声信号演算部１２’は、水平方向の角度方向のチャンネル数をｎ、垂直方向の角度方向のチャンネル数をｍとすれば、ｎ×ｍチャンネルの音声信号を生成することになる。

図７を用いて、以上のように構成されるビデオカメラ１００の記録側の動作を改めて説明する。ビデオカメラ１００の電源が投入されると、制御部２０は、ステップＳ１にて、被写体の撮影を開始させる。制御部２０は、ステップＳ２にて、操作部３０よって記録開始の指示があったか否かを判定する。記録開始の指示がなければ（NO）、ステップＳ２を繰り返す。

記録開始の指示があれば（YES）、指向性切替部１４は、ステップＳ３にて、実効焦点距離を取得する。指向性切替部１４は、ステップＳ４にて、画角と分解能からチャンネル数を決定する。ここでのチャンネル数とは、アレーマイクロホン１０によって収音して生成するマルチチャンネル音声信号のチャンネル数である。

実効焦点距離をｆ、画角２０１における撮像素子の受像領域の水平方向の長さ（画角２０１の幅）をＬ_Ｗ、垂直方向の長さ（画角２０１の高さ）をＬ_Ｈとすれば、画角２０１の水平方向の角度α_Ｗと垂直方向の角度α_Ｈは次の式（１），（２）ようにして求めることができる。
α_Ｗ＝２tan^-1（Ｌ_Ｗ／２ｆ） …（１）
α_Ｈ＝２tan^-1（Ｌ_Ｈ／２ｆ） …（２）

式（１），（２）より求めた画角２０１の水平方向の角度α_Ｗと垂直方向の角度α_Ｈと、予め設定されている分解能とから水平方向及び垂直方向のチャンネル数を決定することができる。

指向性切替部１４は、ステップＳ５にて、それぞれのチャンネルに対応した角度方向の遅延時間を決定する。音声信号演算部１２（１２’）は、ステップＳ６にて、それぞれの角度方向の収音を演算処理する。

映像音声記録処理部１６は、ステップＳ７にて、映像信号と、ステレオ音声信号と、それぞれの角度方向の音声信号と、角度方向を示す指向性情報とを記録媒体４０に記録させる。映像音声記録処理部１６は、それぞれの角度方向の音声信号をマルチトラックで記録させる。

制御部２０は、ステップＳ８にて、ズーム倍率が変更されたか否かを判定する。ズーム倍率が変更されたら（YES）、処理をステップＳ３に戻す。ズーム倍率が変更されなかったら（NO）、制御部２０は、ステップＳ９にて、記録終了の指示があったか否かを判定する。記録終了の指示がなければ（NO）、処理をステップＳ６に戻す。記録終了の指示があれば（YES）、制御部２０は、ステップＳ１０にて、記録停止の処理を実行させ、処理をステップＳ２に戻す。

次に、記録媒体４０に記録された映像信号及び音声信号の再生動作について説明する。図１において、操作部３０によって記録媒体４０に記録されている映像信号（撮影コンテンツ）を再生する操作がなされると、映像音声再生処理部２１は、制御部２０による制御に基づいて、記録媒体４０に記録されている映像信号及びステレオ音声信号を読み出して再生処理を施す。

映像信号及びステレオ音声信号が所定の圧縮処理方式で圧縮されて記録媒体４０に記録されている場合には、映像音声再生処理部２１は、映像信号及びステレオ音声信号を伸長する。マルチチャンネル音声信号及び指向性情報は、後述する特定の操作がなされると、記録媒体４０より読み出される。

映像音声再生処理部２１より出力されたステレオ音声信号は、音声出力処理部２２に入力される。音声出力処理部２２は、ステレオ音声信号に基づいた音をスピーカ２３より発生させる。操作部３０によって、音量を増加または減少させる指示がなされたら、制御部２０は、音声出力処理部２２におけるステレオ音声信号の増幅度を制御する。ステレオ音声信号を、音声出力端子２９ａより外部へと出力させることができる。

映像音声再生処理部２１より出力された映像信号は、映像信号処理部２４に入力されて処理される。映像合成部２５は、付加情報発生部２６が付加情報を発生している場合には、映像信号処理部２４より出力された映像信号に付加情報を重畳させるよう合成する。映像表示処理部２７は、映像信号処理部２４より出力された映像信号または映像合成部２５によって付加情報が重畳された映像信号を表示部２８に表示させるよう処理する。

表示部２８は、図２に示すように、例えばビデオカメラ１００の筺体側面に設けられている液晶パネルである。映像信号を、映像出力端子２９ｖより外部へと出力させることができる。

図８は、ビデオカメラ１００をテレビジョン受像機３００に接続し、映像信号をテレビジョン受像機３００の画面に表示させ、ステレオ音声信号による音声をテレビジョン受像機３００に内蔵されているスピーカより発生させている状態を示している。図８では、リモートコントローラを操作部３０としている。テレビジョン受像機３００は、ビデオカメラ１００外部の表示部である。

ユーザ４００が操作部３０によって、アレーマイクロホン１０によって収音して生成したマルチチャンネル音声信号を再生する所定の操作をしたら、制御部２０は、付加情報発生部２６によって、映像信号に図８に示すようなポインタ画像５１を示す付加情報信号を発生させ、画面に表示されている画像にポインタ画像５１を重畳させる。ポインタ画像５１は、予め設定した初期位置に表示させるようにすればよい。

図９は、表示部２８及びテレビジョン受像機３００の画面に表示されている画像を示している。アレーマイクロホン１０が図３の（ａ）に示すアレーマイクロホン１０Ａの場合には、制御部２０は、付加情報発生部２６によって、映像信号に図９に示すような縦線の水平位置識別画像５２を示す付加情報信号を発生させ、画面に表示されている画像に水平位置識別画像５２を重畳させることが好ましい。水平位置識別画像５２は、水平方向の角度方向を区分けするための第１の識別画像である。

水平位置識別画像５２の本数は、マルチチャンネル音声信号のチャンネル数に対応した本数することが好ましい。マルチチャンネル音声信号のチャンネル数が７であれば、水平位置識別画像５２の本数を６本とすれば、画面を水平方向に７分割することができる。この場合、画面は７つの領域に分割される。

ユーザ４００が操作部３０における例えば左右のカーソルキーによってポインタ画像５１を左方向または右方向へと移動させる操作をしたら、制御部２０は、ポインタ画像５１を左右方向に移動させる。図９では、ポインタ画像５１は円内に右向きの矢印よりなる画像であるが、ポインタ画像５１を左方向へと移動させたら、円内に左向きの矢印よりなる画像とする。円内に右向きまたは左向きの矢印のポインタ画像５１は、マルチチャンネル音声信号における水平方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当する。

アレーマイクロホン１０が図３の（ｂ）に示すアレーマイクロホン１０Ｂの場合には、制御部２０は、付加情報発生部２６によって、映像信号に図１０に示すような縦線の水平位置識別画像５２と横線の垂直位置識別画像５３それぞれを示す付加情報信号を発生させ、画面に表示されている画像に水平位置識別画像５２及び垂直位置識別画像５３を重畳させることが好ましい。垂直位置識別画像５３は、垂直方向の角度方向を区分けするための第２の識別画像である。

垂直位置識別画像５３の本数は、マルチチャンネル音声信号の垂直方向のチャンネル数に対応した本数することが好ましい。マルチチャンネル音声信号の垂直方向のチャンネル数が４であれば、垂直位置識別画像５３の本数を３本とすれば、画面を垂直方向に４分割することができる。マルチチャンネル音声信号の水平方向のチャンネル数が７であれば、水平位置識別画像５２と垂直位置識別画像５３によって画面は２８の領域に分割される。

ユーザ４００が操作部３０における例えば上下のカーソルキーによってポインタ画像５１を上方向または下方向へと移動させる操作をしたら、制御部２０は、ポインタ画像５１を上下方向に移動させる。ポインタ画像５１を上方向へと移動させたら、円内に上向きの矢印よりなる画像とし、ポインタ画像５１を下方向へと移動させたら、円内に下向きの矢印よりなる画像する。この際、円内の矢印の先が領域の中央を指し示すように表示させる。円内に上向きまたは下向きの矢印のポインタ画像５１は、マルチチャンネル音声信号における垂直方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当する。

図９において、ユーザ４００が操作部３０における例えば決定キーを操作したら、制御部２０は、マルチチャンネル音声信号のうち、ポインタ画像５１の位置に応じた再生すべき角度方向のチャンネルを決定する。制御部２０は、映像音声再生処理部２１を制御して、決定したチャンネルの角度方向を示す指向性情報に基づいて、決定したチャンネルの音声信号を記録しているトラックを再生させる。

このように、ビデオカメラ１００は、ポインタ画像５１の水平方向の位置を移動させて、決定キーを操作することによって、水平方向それぞれの角度方向のチャンネルの音声信号を選択して再生させることができる。図１０において、右端部に位置しているこどもが発している声を聞きたい場合には、ポインタ画像５１を右端部方向に移動させて決定キーを操作すれば、そのこどもが発している声を再生して聞くことができる。

図１０の場合には、ポインタ画像５１の垂直方向の位置を移動させて、決定キーを操作することによって、垂直方向それぞれの角度方向のチャンネルの音声信号を選択して再生させることができる。

水平方向または垂直方向の角度方向を選択するための付加情報の画像は、図９，図１０に示すようなポインタ画像５１に限定されるものではない。例えば、小さな円形画像でもよい。また、ポインタ画像の代わりに分割領域をハイライト、グレーアウトさせてもよい。

さらに、図１１に示す他の方法での表示を行ってもよい。図１１は、水平方向の角度方向を選択するための付加情報の画像の他の例を示している。図１１に示す例は、マイクロホンの画像を用いたポインタ画像５４を示している。ユーザ４００が操作部３０における例えば左右のカーソルキーを操作すると、マイクロホンの画像の端部を中心としてポインタ画像５４が向く方向を変化させることができる。

ポインタ画像５４が向く方向を適宜設定して、ユーザ４００が操作部３０における例えば決定キーを操作したら、制御部２０は、マルチチャンネル音声信号のうち、ポインタ画像５４が向く方向に応じて、再生すべき角度方向のチャンネルを決定する。制御部２０は、映像音声再生処理部２１を制御して、決定したチャンネルの角度方向を示す指向性情報に基づいて、決定したチャンネルの音声信号を記録しているトラックを再生させる。

図１２を用いて、以上のように構成されるビデオカメラ１００の再生側の動作を改めて説明する。制御部２０は、ステップＳ２１にて、記録されている映像信号（撮影コンテンツ）の再生指示がなされたか否かを判定する。再生指示がなされなければ（NO）、制御部２０は、ステップＳ２１を繰り返す。再生指示がなされたら（YES）、制御部２０は、ステップＳ２２にて、映像信号とステレオ音声信号を再生させる。

制御部２０は、ステップＳ２３にて、ポインタ画像５１を表示させる指示があったか否かを判定する。ここでは、ポインタ画像５１を用いる場合の動作について示す。制御部２０は、指示があれば（YES）、処理をステップＳ２４に移行させ、指示がなければ（NO）、処理をステップＳ３６に移行させる。制御部２０は、ステップＳ２４にて、ポインタ画像５１を初期位置に表示させる。

制御部２０は、ステップＳ２５にて、ポインタ画像５１を移動させる指示があったか否かを判定する。ポインタ画像５１を移動させる指示があれば（YES）、制御部２０は、ステップＳ２６にて、ポインタ画像５１を移動させる。ポインタ画像５１を移動させる指示がなければ（NO）、制御部２０は、処理をステップＳ３７に移行させる。

制御部２０は、ステップＳ２７にて、選択された角度方向の音声信号を再生する指示がなされたか否かを判定する。制御部２０は、選択された角度方向の音声信号を再生する指示がなされたら、処理をステップＳ２８に移行させ、指示がなされなかったら、処理をステップＳ３７に移行させる。

制御部２０は、ステップＳ３７にて、ポインタ画像５１の表示解除の指示があったか否かを判定する。例えば、操作部３０における戻りキーを操作したら、ポインタ画像５１の表示解除の指示があったとすればよい。ポインタ画像５１の表示解除の指示があれば（YES）、制御部２０は、ステップＳ３８にて、ポインタ画像５１の表示を解除して、処理をステップＳ３６に移行させる。ポインタ画像５１の表示解除の指示がなければ（NO）、制御部２０は、処理をステップＳ２５に戻す。

制御部２０は、ステップＳ２８にて、ポインタ画像５１の位置から再生すべきトラック番号を決定する。制御部２０は、ステップＳ２９にて、決定したトラック番号の音声信号を再生する。制御部２０は、ステップＳ３０にて、再生しているトラック番号の音声信号の再生を停止する指示がなされたか否かを判定する。再生停止の指示がなされたら（YES）、制御部２０は、ステップＳ３１にて、再生している音声信号の再生を停止させ、処理をステップＳ２５に戻す。

再生停止の指示がなされなかったら（NO）、制御部２０は、ステップＳ３２にて、ポインタ画像５１を移動させる指示があったか否かを判定する。制御部２０は、ポインタ画像５１を移動させる指示があれば（YES）、処理をステップＳ２８に戻し、ポインタ画像５１を移動させる指示がなければ（NO）、処理をステップＳ３３に移行させる。

制御部２０は、ステップＳ３３にて、ポインタ画像５１の表示解除の指示があったか否かを判定する。ポインタ画像５１の表示解除の指示がなければ（NO）、制御部２０は、処理をステップＳ２９に戻す。ポインタ画像５１の表示解除の指示があれば（YES）、制御部２０は、ステップＳ３４にて、ポインタ画像５１の表示を解除し、ステップＳ３５にて、再生している音声信号の再生を停止させて、ステップＳ３６に移行させる。

制御部２０は、ステップＳ３６にて、コンテンツデータの再生停止の指示がなされたか否かを判定する。再生停止の指示がなされなければ（NO）、制御部２０は、処理をステップＳ２２に戻す。再生停止の指示がなされたら（YES）、制御部２０は、ステップＳ３９にて、映像信号及びステレオ音声信号の再生を停止させて、処理をステップＳ２１に戻す。

ところで、上記のステップＳ２９では、単に決定したトラック番号の音声信号を再生すると説明した。一般的には、図８に示すテレビジョン受像機３００はステレオスピーカであり、ステレオスピーカを用いて、マルチチャンネル音声信号のうちの選択した角度方向の音声信号を、あたかも視聴時の画面に対応する角度方向から音が聞こえてくるよう再生することが必要である。

一般的に２チャンネルステレオでは、音の強度差をつけることによって音像定位の制御ができる。ある音声信号が左（Ｌ）チャンネルには重み係数w_L、右（Ｒ）チャンネルにはw_Rの重み係数を乗じて分配されるときに、聴取ポイントを中心とした正面からスピーカまでの角度をφ_０、正面から音声の定位位置までの角度をφ（正面から右側を正）とすると、次式の関係になることが一般に知られている（非特許文献１、p.34参照）。ここで、φ_０は表示装置の視野角に近いことが望ましい。
sinφ/sinφ_０＝（ｗ_L−ｗ_R）/（ｗ_L＋ｗ_R） …（３）

このことを利用して、音声出力処理部２２は、マルチチャンネル音声信号のうちの選択したチャンネルの音声信号を、水平方向の角度方向に応じた比率で、ステレオ音声信号におけるＬチャンネルとＲチャンネルとに例えば次のように振り分ければよい。

マルチチャンネルのチャンネル数をN、マルチチャンネルの左端のチャンネルから順にチャンネル番号ｎを1,2,3,…とすると、式（３）は次の式（４）のようになる。

例えば、水平方向にチャンネル数Nが７の場合を考える。ここで、THX（THX社の登録商標）では2φ_０＝36°〜40°の視野角を推奨しており、視野角40°で視聴すると考える。正面から左側へ１つ目、つまり左端から３つ目のチャンネルを選択した場合には、スピーカ間の角度を２φ_０＝40°として、左辺分子のsin関数の変数部分のφ_０{(n-1)-(N-1)/2}/Nより、40°・{(3-1)-(7-1)/2}/7＝約-5.71°、つまり約5.71°正面から左側にずれた位置に定位させる必要がある。φ＝5.71°として式（４）より、ｗ_L：ｗ_R＝1.29：0.71＝0.645：0.355となる。つまり、選択したチャンネルの音声信号を、Ｌチャンネルに35.5％、Ｒチャンネルに64.5％で振り分ければよい。

正面から右側へ２つ目、つまり左端から６つ目のチャンネルを選択した場合には、同様に式（４）より、Ｌチャンネルに21％、Ｒチャンネルに79％で振り分ければよい。

以上のようにすれば、ステレオ音声信号とマルチチャンネル音声信号のうちの選択したチャンネルの音声信号とが自然に合成され、選択した位置（方向）の音声を的確に再生することができる。本実施形態によれば、再生ズームを行った際に、ズームアップした映像と再生される音声とを対応させることができ、ユーザはほとんど違和感を覚えることがない。

垂直方向に複数チャンネルを有するマルチチャンネル音声信号の場合には、例えば、複数のスピーカを垂直方向に配置したマルチチャンネルスピーカを用いて、同様に、複数のスピーカに対して比率を適宜設定して振り分ければよい。

＜第２実施形態＞
図１３に示す第２実施形態のビデオカメラ１０１は、第１実施形態のビデオカメラ１００における指向性情報生成部１５を省略した構成である。指向性情報生成部１５を省略した以外、ビデオカメラ１０１はビデオカメラ１００と同じ構成であり、具体的な説明を省略する。

制御部２０は、映像音声再生処理部２１が記録媒体４０から読み出したコンテンツデータのステレオ音声信号以外の音声信号のトラック数によって、画角２０１の水平及び垂直方向の角度を知ることができる。

指向性切替部１４に設定されている分解能が固定であれば、制御部２０は、それぞれのトラックがどの角度方向からの音声信号であるかを知ることは可能である。よって、指向性情報生成部１５を省略してもよい。但し、分解能を変更する可能性がある場合には、指向性情報生成部１５を設けることが必要となる。よって、第１実施形態のビデオカメラ１００の方が好ましい構成である。

本発明は以上説明した第１，第２実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１０，１０Ａ，１０Ｂアレーマイクロホン
１２，１２’ 音声信号演算部
１４指向性切替部
１５指向性情報生成部
１６映像音声記録処理部
１７ズーム調整部
１８映像撮影部
２１映像音声再生処理部
２２音声出力処理部
２５映像合成部
２６付加情報発生部
２８表示部
４０記録媒体

Claims

複数のマイクロホン素子が水平方向に配列されたアレーマイクロホンと、
被写体を撮影する映像撮影部と、
前記映像撮影部で被写体を撮影する際のズームを調整するズーム調整部と、
前記ズーム調整部で調整したズームに応じて決まる前記撮影部で撮影する被写体の画角と予め設定した分解能とによって、前記アレーマイクロホンによって収音する前記画角内の水平方向の複数の角度方向を決定して、前記アレーマイクロホンによる収音の指向性を切り替える指向性切替部と、
前記指向性切替部による制御によって、前記アレーマイクロホンにおける前記複数のマイクロホン素子が収音した音声信号を演算処理して、水平方向の前記複数の角度方向からの音声信号をマルチチャンネル音声信号として生成する音声信号演算部と、
前記映像撮影部によって撮影された被写体の映像信号と、前記音声信号演算部によって生成された前記マルチチャンネル音声信号を記録媒体に記録するよう処理する映像音声記録処理部と、
前記記録媒体に記録された前記映像信号と前記マルチチャンネル音声信号を再生するよう処理する映像音声再生処理部と、
前記マルチチャンネル音声信号を再生する所定の操作がなされたら、前記映像信号に、マルチチャンネル音声信号における水平方向のいずれかの角度方向からの音声信号を選択するための付加情報を重畳させるよう合成する映像合成部と、
前記映像合成部によって生成された合成映像信号を表示部に表示するよう処理する映像表示処理部と、
前記表示部に表示された前記合成映像信号における前記付加情報の位置または向きに応じて前記マルチチャンネル音声信号における再生すべき水平方向の角度方向からの音声信号を決定して、前記映像音声処理部によって再生させるよう制御する制御部と、
を備えることを特徴とする映像音声記録再生装置。
前記アレーマイクロホンは、前記複数のマイクロホン素子による水平方向の配列を垂直方向に複数配列させた構成を有し、
前記指向性切替部は、前記画角内の垂直方向の複数の角度方向を決定して、前記アレーマイクロホンによる収音の指向性を切り替え、
前記音声信号演算部は、前記マルチチャンネル音声信号として、前記指向性切替部による制御によって、前記アレーマイクロホンの垂直方向の複数の配列における前記複数のマイクロホン素子が収音した音声信号を演算処理して、垂直方向の前記複数の角度方向からの音声信号を生成し、
前記映像合成部は、前記マルチチャンネル音声信号を再生する所定の操作がなされたら、前記映像信号に、前記付加情報として、前記マルチチャンネル音声信号における水平方向及び垂直方向のいずれかの角度方向からの音声信号を選択するための情報を重畳させるよう合成し、
前記制御部は、前記表示部に表示された前記合成映像信号における前記付加情報の位置または向きに応じて前記マルチチャンネル音声信号における再生すべき水平方向及び垂直方向の角度方向からの音声信号を決定して、前記映像音声処理部によって再生させるよう制御する
ことを特徴とする請求項１記載の映像音声記録再生装置。
前記映像合成部は、前記映像信号に、前記マルチチャンネル音声信号における水平方向の角度方向を区分けするための第１の識別画像を重畳させるよう合成することを特徴とする請求項１または２に記載の映像音声記録再生装置。
前記映像合成部は、前記映像信号に、前記マルチチャンネル音声信号における垂直方向の角度方向を区分けするための第２の識別画像を重畳させるよう合成することを特徴とする請求項２記載の映像音声記録再生装置。
前記制御部によって、再生すべき水平方向の角度方向からの音声信号として決定された前記マルチチャンネル音声信号のうちのいずれかのチャンネルの音声信号を、水平方向の角度方向に応じた比率で、左チャンネルと右チャンネルとに振り分ける音声出力処理部をさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の映像音声記録再生装置。