JP5954987B2 - 撮影装置及びその処理方法 - Google Patents

Description

本発明は、撮影装置及びその処理方法に関する。

空間に配置されたマルチチャンネルのマイクロフォンの出力信号から各マイクロフォンへの音声の到達時間差を算出し、音声の音源位置を検出する方法が知られている。また、工場などにおいては、撮影装置（カメラなど）と組み合わせることによって騒音源を探す音源探査システムとして実装され、画像上に音源位置を表示する技術が知られている（特許文献１）。或いは、発生する騒音の音質に着目し、騒音の発生する騒音源の位置を探し出せるようにした技術も知られている（特許文献２）。

近年、日常の様々な場面において簡単且つ気軽に動画像の撮影が行なえるデジタルビデオカメラを使用するユーザが急激に増えてきている。それに伴って、撮影される動画像や音声に対する高臨場感への要求が高まっている。音声信号においては、例えば、サラウンド録音やデジタル処理による指向性制御などの機能を実現するため、マルチチャンネルのマイクを組み込んだビデオカメラなどが発売されている。

このようにマルチチャンネルのマイクロフォンを組み込んだビデオカメラに対して、上述した特許文献１の技術を適用した場合、例えば、撮影時に動画像上へ音源位置を表示したり、編集時に動画像上へ音源位置の表示したりすることができる。

特開２００３−１１１１８３号公報 特開２００８−２６８１７６号公報

近年、撮影装置（特に、デジタルビデオカメラなど）においては、手振れ補正機能が備わっている。手振れ補正は、撮影装置の振動、例えば、撮影者の手振れによる画像振れを防ぐための機能である。

手振れ補正では、画像振れを抑制するために、撮影装置の光学系の光軸（以下、単に光軸）の方向を変え、撮影装置の向きからずらしている。例えば、光学式の手振れ補正は、レンズや撮影素子を変位させ光軸の向きを変えている。

一方で、音源位置は、マイクロフォンを基準とする音響座標系で音源位置を算出しており、一般に、マイクロフォンは、撮影装置に固定されているため、その座標系は撮影装置の向きと対応する。

つまり、光軸（光学座標系）と音響座標系との関係性は常に一定ではなく、手振れ補正が行なわれると、２つの座標系に差異が生じる。そのため、手振れ補正によって光軸の向きを変えられた光学系で撮影した動画像上に音源位置をそのまま表示すると位置関係がずれてしまう。

図１４（ａ）〜図１４（ｅ）を用いて具体的に説明すると、手振れの無い場合は、図１４（ａ）に示すように、光軸と撮影装置の向きとが一致し、図１４（ｂ）に示すように、撮影した動画像上の正確な位置に音源位置を表示することができる。

しかし、手振れが発生した場合、光学系に対して手振れ補正がなされるため、図１４（ｃ）に示すように、光軸と撮影装置の向きとにずれが生じる。そのため、音源は、図１４（ｄ）に示す位置として認識されてしまい、図１４（ｅ）に示すように、音源位置が誤った位置に表示されてしまう。このように手振れ補正機能を持つ撮影装置において撮影した動画像上に音源位置を表示する場合には、動画像と音源位置とが正しい位置関係で表示されないことがあった。

本発明は、上記課題に鑑みてなされたものであり、撮影装置に手振れ補正機能が付いている場合であっても、撮影された動画像上において音源位置を正確な位置に表示できるようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様は、画像を撮影する撮像手段と、前記画像の撮影時の手振れを補正する手振れ補正手段と、前記画像の撮影時に複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記画像上における音源位置を検出する音源位置検出手段と、前記手振れ補正手段により補正された手振れ補正量に応じて前記画像上において前記検出された音源位置の表示位置を補正する表示位置補正手段と、前記手振れ補正手段により補正された画像を表示器に表示するとともに、前記表示位置補正手段により補正された音源位置を当該画像上に表示する表示処理手段とを具備する。

本発明によれば、撮影装置に手振れ補正機能が付いている場合であっても、撮影された動画像上において音源位置を正確な位置に表示できる。

本発明の一実施の形態に係わる撮影装置１０の構成の一例を示す図。 手振れ量の概要を説明するための図。 音源位置の表示の概要を説明するための図。 撮影装置１０の処理の流れの一例を示すフローチャート。 実施形態２に係わる撮影装置１０の構成の一例を示す図 実施形態２に係わる撮影装置１０の処理の流れの一例を示すフローチャート。 実施形態３に係わる撮影装置１０の構成の一例を示す図。 実施形態３に係わる撮影装置１０の外観構成の一例を示す図。 実施形態３に係わる撮影装置１０の処理の流れの一例を示すフローチャート。 実施形態４に係わる撮影装置１０の構成の一例を示す図。 実施形態４に係わる撮影装置１０の処理の流れの一例を示すフローチャート。 図１１のＳ４０４に示す音声編集処理の詳細を説明するための図。 変形例の一例を示す図。 従来技術の一例を示す図。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。

（実施形態１）
図１は、本発明の一実施の形態に係わる撮影装置１０の構成の一例を示す図である。

撮影装置１０は、例えば、デジタルビデオカメラ等で実現され、光学式の手振れ補正機能を有する。撮影装置１０は、撮影時に音声が発せられた場合に、その音源位置を表示器（表示部１８）に表示することができる。なお、光学式の手振れ補正とは、撮影装置の光学系のレンズや撮影素子を動かし、光軸の向きを変えることで手振れ補正を行なう方式である。

ここで、撮影装置１０は、その機能的な構成として、撮像部１１と、手振れ検出部１２と、手振れ補正部１３と、収音部１４と、音源位置検出部１５と、表示位置補正部１６と、表示処理部１７と、表示部１８と、記憶部１９とを具備して構成される。

撮像部１１は、例えば、レンズ、撮影素子、ＡＦ駆動部等から構成され、被写体の動画像を撮影し、撮影した動画像及び撮影時の画角を出力する。

手振れ検出部１２は、撮影中の手振れを検出し、当該検出した手振れ量を手振れ補正部１３に出力する。本実施形態においては、手振れとは、撮影装置１０の角度振れを指し、手振れ量とは、角度振れの中でも、図２（ａ）に示す縦回転（以下、ピッチング）と、図２（ｂ）に示す横回転（以下、ヨーイング）との量を指す。すなわち、手振れ検出部１２は、例えば、角速度センサ等から構成され、撮影中の撮影装置１０のピッチング及びヨーイングの角速度を検出する。

手振れ補正部１３は、手振れ検出部１２により検出された手振れを打ち消すように撮像部１１の光軸の向きを変化させる。光軸の向きは、撮像部１１の光学系の中のレンズの位置をシフトさせることにより変化させれば良い。

また、手振れ補正部１３は、手振れ補正量（光軸の角度変位量）を出力する。より具体的には、手振れ補正部１３は、角度変位量として、画角の縦方向及び横方向の角度変位量をそれぞれ出力する。

収音部１４は、複数のマイクロフォン等から構成され、撮影装置１０周辺の音声を収音し、マルチチャンネルの音声信号を出力する。ここで、複数のマイクロフォンは、無指向性であることが好ましい。また、複数のマイクロフォンの配置位置の幾何中心は、手振れ補正部１３において光軸の向きを変える支点（回転中心）とほぼ同じであることが好ましい。

音源位置検出部１５は、収音部１４のマイクロフォンの配置情報と、収音された音声信号とに基づいて、音声の到達時間差などを求め、音源位置を検出する。ここで、撮影装置１０においては、マイクロフォンの配置情報を予め保持している。本実施形態においては、音源位置とは、撮影装置１０の撮影方向を基準とした仰角と回転角とで表される方向を表す。

表示位置補正部１６は、音源位置検出部１５により検出された音源位置に対して、当該音源位置を表示部１８（動画像上）に表示した際のずれを補正（表示位置補正）し、その結果（音源方向）を出力する。この位置補正は、音源位置に光軸の角度変位量を加算することで行なえば良い。

例えば、音源位置検出部１５により検出された縦方向及び横方向それぞれの音源方向を（β０＿ｘ，β０＿ｙ）とし、手振れ補正量を（θ＿ｘ，θ＿ｙ）とすると、表示位置補正部１６が出力する音源方向（β＿ｘ，β＿ｙ）は、以下の式で表すことができる。

β＿ｘ＝β０＿ｘ＋θ＿ｘ・・・（１）
β＿ｙ＝β０＿ｙ＋θ＿ｙ・・・（２）
表示部１８は、例えば、液晶モニタ等から構成され、各種情報を表示する。表示処理部１７は、各種情報を表示部１８に表示させる。表示処理部１７では、例えば、撮像部１１により撮影された動画像を表示部１８に表示させる。そのとき、動画像上に、表示位置補正部１６によって補正された音源位置を表示させる。なお、音源位置は、例えば、検出した音源位置を中心とする円などで表示すれば良い。

ここで、例えば、撮影時の画角を（α＿ｘ，α＿ｙ）とし、表示位置補正部１６による補正後の音源方向を（β＿ｘ，β＿ｙ）とし、画像サイズを（Ｗ，Ｈ）とすると、画像中心を原点とした表示位置（ｘ，ｙ）はそれぞれ以下の式で表すことができる。

なお、図３には、Ｘ方向（画像横方向）についての画角、音源方向、表示位置、画像サイズの関係を示す概要が示されている。

記憶部１９は、各種データを記憶する。記憶部１９には、例えば、撮影された動画像、撮影時の画角の情報及び収音されたマルチチャンネルの音声信号、検出された音源位置、補正された表示位置及び手振れ補正量などが記憶される。なお、記憶部１９は、内蔵メモリで実現されても良いし、例えば、メモリカードのような取り外し可能な外部メモリで実現されても良い。

次に、図４を用いて、図１に示す撮影装置１０の処理の流れの一例について説明する。 ユーザによって撮影開始が指示（例えば、撮影開始ボタンが押下）されると、この処理は開始する。この処理が開始すると、撮影装置１０は、手振れ検出部１２において、手振れがあるか否かの検出を開始する（Ｓ１０１）。この処理では、角速度センサにより角速度を検出した場合、手振れありと判定し、角速度センサが反応していない場合、手振れなしと判定する。なお、手振れの判定基準として、閾値を用いても良く、例えば、角速度が所定の範囲内であれば手振れを検出しないようにしても良い。

判定の結果、手振れが検出された場合（Ｓ１０１でＹＥＳ）、撮影装置１０は、手振れ補正部１３において、手振れ検出部１２により検出された手振れ量に応じて撮像部１１のレンズをシフトさせ、光軸の向きを変更する。すなわち、光学式の手振れ補正により、動画像の手振れを抑制させる。手振れ補正部１３は、手振れ補正量として光軸の角度変位量を出力する。

手振れ補正が済むと、撮影装置１０は、撮像部１１において、手振れ補正された光学系で被写体を撮影し、撮影した動画像と撮影時の画角の情報とを出力する。また、収音部１４において、撮影装置１０周辺の音声を複数のマイクロフォンによって収音し、マルチチャンネルの音声信号として出力する（Ｓ１０３）。

ここで、撮影装置１０は、音源位置検出部１５において、Ｓ１０３の処理で収音されたマルチチャンネルの音声信号とマイクロフォンの配置情報とを用いて、撮影装置１０の向きを基準とした音源位置の検出を行なう（Ｓ１０４）。例えば、収音したマルチチャンネルの音声信号に対してビームフォーマ法に基づいて回転角方向と仰角方向とを走査することで音源位置を検出する。音源位置検出部１５は、音源の方向として撮影装置の向きを基準とした回転角と仰角とを出力する。

続いて、撮影装置１０は、表示位置補正部１６において、Ｓ１０４の処理で検出された音源位置を、Ｓ１０２の処理で得られた手振れ補正量（光軸の角度変位量）を用いて補正する（Ｓ１０５）。

また、Ｓ１０１の手振れ検出の結果、手振れが検出されなかった場合（Ｓ１０１でＮＯ）、撮影装置１０は、撮像部１１において、手振れ補正が行なわれていない光学系で被写体を撮影し、撮影した動画像と撮影時の画角の情報とを出力する。また、収音部１４において、撮影装置１０周辺の音声を複数のマイクロフォンによって収音し、マルチチャンネルの音声信号として出力する（Ｓ１０６）。そして、上記Ｓ１０４と同様にして音源位置の検出を行なう（Ｓ１０７）。

Ｓ１０５又はＳ１０７の処理が済むと、撮影装置１０は、表示処理部１７において、Ｓ１０３又はＳ１０６の処理で撮影した動画像を表示部１８に表示する。このとき、当該動画像上には、Ｓ１０５の処理で位置補正された音源位置、又はＳ１０７の処理で検出された音源位置が表示される（Ｓ１０８）。

また、撮影装置１０は、記憶部１９において、動画像を記憶する（Ｓ１０９）。この処理では、Ｓ１０３又はＳ１０６の処理で撮影された動画像と撮影時の画角の情報と、Ｓ１０３又はＳ１０６の処理で収音されたマルチチャンネルの音声信号と、Ｓ１０２の処理で補正された手振れ補正量及びＳ１０５で補正された音源位置等が記憶される。

その後、撮影装置１０は、撮影の終了が指示されたか否かの判定を行なう（Ｓ１１０）。例えば、撮影終了ボタンが押される等した場合に、撮影の終了が指示されたと判定する。撮影終了指示がなければ（Ｓ１１０でＮＯ）、撮影装置１０は、再度、Ｓ１０１の処理に戻り、撮影終了が指示されれば（Ｓ１１０でＹＥＳ）、撮影装置１０は、この処理を終了する。

以上説明したように本実施形態によれば、手振れ補正量を考慮して、検出した音源位置の表示位置を補正する。これにより、撮影装置に手振れ補正機能が付いている場合であっても、撮影された動画像上において音源位置を正確な位置に表示できる。

（実施形態２）
次に、実施形態２について説明する。実施形態２においては、電子式の手振れ補正機能を有する撮影装置において、音源位置の表示を行なう場合について説明する。

電子式の手振れ補正は、撮影素子の全画素領域に対して有効画素領域を小さめに予め設定しておき、ある時点の画像をそれ以外の画像と比較し、有効画素領域を移動させることで手振れ補正を行なう手法である。電子式の手振れ補正方法は、撮影中のみに限らず、撮影後に行なうこともできる。

ここで、図５は、実施形態２に係わる撮影装置１０の構成の一例を示す図である。

撮影装置１０は、その機能的な構成として、撮像部１１と、手振れ検出部１２と、手振れ補正部１３と、収音部１４と、音源位置検出部１５と、マッピング部２０と、表示処理部１７と、表示部１８と、記憶部１９とを具備して構成される。なお、収音部１４、音源位置検出部１５、表示部１８、記憶部１９は、実施形態１と同様の機能を果たすため、ここではその説明については省略する。

撮像部１１は、例えば、レンズ、撮影素子、ＡＦ駆動部等から構成され、被写体の動画像を（画像を連続して）撮影し、撮影した動画像を出力する。

手振れ検出部１２は、撮像部１１により連続して撮影した画像（例えば、１つ前のフレームと、現フレームと）を比較することで手振れを検出し、手振れ量を出力する。すなわち、動画像を構成する時間的に連続する複数の画像を比較し手振れがあるか否かを検出する。なお、本実施形態において、手振れ量は、有効画素領域の移動量を指す。

手振れ補正部１３は、手振れ検出部１２により検出された手振れを抑制するように、有効画素領域を選択し、当該選択した有効画素領域を手振れ補正後の動画像として出力する。手振れ補正部１３においては、この手振れ補正後の動画像（有効画素領域のデータ）とともに、有効画素領域の画角を出力する。

マッピング部２０は、音源位置検出部１５により検出された音源位置を全画素領域に対してマッピングし、音源位置に対応する画素情報を出力する。ここで、マッピングとは、音源位置と全画素領域上の画素とを対応付けることを指す。マッピング部２０においては、例えば、画素に対しそれぞれ番号を割り振り、その番号を出力する。

次に、図６を用いて、実施形態２に係わる撮影装置１０の処理の流れの一例について説明する。

ユーザによって撮影開始が指示（例えば、撮影開始ボタンが押下）されると、この処理は開始する。この処理が開始すると、撮影装置１０は、撮像部１１において、被写体を撮影し、当該撮影した動画像を出力する。また、収音部１４において、撮影装置１０周辺の音声を複数のマイクロフォンによって収音し、マルチチャンネルの音声信号として出力する（Ｓ２０１）。

撮影装置１０は、音源位置検出部１５において、Ｓ２０１の処理で収音されたマルチチャンネルの音声信号とマイクロフォンの配置情報とを用いて、撮影装置１０の向きを基準とした音源位置の検出を行なう（Ｓ２０２）。

続いて、撮影装置１０は、マッピング部２０において、Ｓ２０２の処理で検出された音源位置を全画素領域上に配置する。すなわち、手振れ補正によって有効画素領域が選択される前の全画素領域に対して音源位置の対応付けを行なう。これにより、マッピング部２０は、例えば、音源位置に対応した画素に割り振られた画素番号Ｎを出力する（Ｓ２０３）。

マッピングが済むと、撮影装置１０は、手振れ検出部１２において、Ｓ２０１の処理で連続して撮影された画像同士を比較し手振れの検出を行なう。例えば、連続撮影された前後の画像の相関演算を行ない、相関が最大となる平行移動量を求める。この平行移動量が所定の画素以上の場合、手振れであると判定するようにしても良い（Ｓ２０４）。

手振れが検出された場合（Ｓ２０４でＹＥＳ）、撮影装置１０は、手振れ補正部１３において、手振れが検出された画像に対し、手振れを補正するため有効画素領域を選択し、有効画素領域の移動量を出力する（Ｓ２０５）。そして、当該検出した移動量の分だけ有効画素領域を移動して画像データを出力する（Ｓ２０６）。

また、Ｓ２０４の判定の結果、手振れが検出されなかった場合（Ｓ２０４でＮＯ）、撮影装置１０は、全画素領域の中央部を有効画素領域の画像データとして出力する（Ｓ２０６）。

その後、撮影装置１０は、表示処理部１７において、撮影した動画像を表示部１８に表示する。このとき、音源位置と対応した画素がある場合、そこを音源位置として表示する。例えば、有効画素領域の中からＳ２０３の処理で出力された画素番号Ｎの画素があるか否かを検出し、当該画素番号Ｎの画素が有効画素領域内にあれば、画素番号Ｎの画素を中心とする円を画像上に表示する（Ｓ２０７）。

また、撮影装置１０は、記憶部１９において、動画像を記憶する（Ｓ２０８）。この処理では、有効画素領域の連続画像とその画角の情報、収音したマルチチャンネルの音声信号、音源位置に対応した画素情報、検出した有効画素領域の移動量などを記憶する。

その後、撮影装置１０は、撮影の終了が指示されたか否かの判定を行なう（Ｓ２０９）。例えば、撮影終了ボタンが押下される等した場合に、撮影の終了が指示されたと判定する。撮影終了指示がなければ（Ｓ２０９でＮＯ）、撮影装置１０は、再度、Ｓ２０１の処理に戻り、撮影終了が指示されれば（Ｓ２０９でＹＥＳ）、撮影装置１０は、この処理を終了する。

以上説明したように実施形態２によれば、撮影した動画像上に音源位置を対応付けた後、電子式の手振れ補正を行なう。これにより、電子式の手振れ補正を行なった動画像上においても、音源位置を正確な位置に表示できる。

なお、上述した説明においては、動画像として、連続した画像として説明したが、連続した画像は、容量が大きくなってしまうため、記憶部１９に記憶する際に動画圧縮処理などを行なっても良い。

また、電子式の手振れ補正は、撮影後に行なうことができるため、記憶されたデータに対して上述した補正を行なうようにしても良い。

また、上述した説明においては、有効画素領域を選択する前に全画素領域に対して音源位置の対応付けを行なう場合について説明したが、実施形態１のように、表示位置補正部を設け、有効画素領域の移動量を用いて表示位置補正を行なうようにしても良い。

（実施形態３）
次に、実施形態３について説明する。実施形態３においては、光学式の手振れ補正機能を有する撮影装置において、収音部を可動式とした場合について説明する。

ここで、図７は、実施形態３に係わる撮影装置１０の構成の一例を示す図である。

撮影装置１０は、その機能的な構成として、撮像部１１と、手振れ検出部１２と、手振れ補正部１３と、収音部位置補正部２１と、可動式収音部２２と、音源位置検出部１５と、表示処理部１７と、表示部１８と、記憶部１９とを具備して構成される。なお、撮像部１１、手振れ検出部１２、手振れ補正部１３、音源位置検出部１５、表示部１８、記憶部１９は、実施形態１と同様の機能を果たすため、ここではその説明については省略する。

可動式収音部２２は、例えば、複数のマイクロフォンから構成され、撮影装置１０周辺の音声を収音し、マルチチャンネルの音声信号を出力する。ここで、複数のマイクロフォンは無指向性であることが好ましい。また、複数のマイクロフォンの幾何中心は、手振れ補正部１３において光軸の向きを変える支点（回転中心）とほぼ同じであることが好ましい。

ここで、実施形態３に係わる複数のマイクロフォンは可動式であり、収音部位置補正部２１によってその位置を制御される。例えば、複数のマイクロフォンは、電気制御によって回転角及び仰角を制御できるパン・チルト雲台に固定されており、光軸の角度変位に応じてその方向が調整される。

収音部位置補正部２１は、手振れ補正部１３から出力される光軸の角度変位量に応じて可動式収音部２２の向きを補正する。この補正は、マイクロフォンを基準とする音響座標系と光軸（光学座標系）との差異が最小となるように可動式収音部２２を駆動させることで行なわれる。

撮影装置１０は、例えば、図８のような外観構成となる。可動式収音部２２は、マイクロフォン２２ａとパン・チルト雲台２２ｂとから構成される。収音部位置補正部２１は、パン・チルト雲台を回転させ、光軸の角度変位量と同じだけマイクロフォンアレイを傾ける。

次に、図９を用いて、実施形態３に係わる撮影装置１０の処理の流れの一例について説明する。

ユーザによって撮影開始が指示（例えば、撮影開始ボタンが押下）されると、この処理は開始する。この処理が開始すると、撮影装置１０は、実施形態１と同様に、手振れ検出を行ない、手振れがなければ（Ｓ３０１でＮＯ）、撮影及び収音を行なう（Ｓ３０６）。また、手振れを検出すれば（Ｓ３０１でＹＥＳ）、手振れ補正をした後（Ｓ３０２）、撮影を行なう（Ｓ３０３）。

続いて、撮影装置１０は、収音部位置補正部２１において、可動式収音部２２の位置補正を行なう（Ｓ３０４）。具体的には、Ｓ３０２の処理による手振れ補正によって変位した光軸の向きに合わせて、可動式収音部２２の向きを回転させる。

可動式収音部２２の位置補正が行なわれると、撮影装置１０は、当該位置補正後の可動式収音部２２において、撮影装置１０周辺の音声を複数のマイクロフォンによって収音し、マルチチャンネルの音声信号を出力する。

続いて、撮影装置１０は、音源位置検出部１５において、Ｓ３０５の処理で収音されたマルチチャンネルの音声信号とマイクロフォンの配置情報とを用いて、音源位置の検出を行なう（Ｓ３０７）。その後、撮影装置１０は、実施形態１と同様に、当該検出した音源位置等を表示部１８に表示するとともに（Ｓ３０８）、各種データを記憶部１９に記憶した後（Ｓ３０９）、撮影を終了するか否かの判定を行なう。

以上説明したように実施形態３によれば、収音部を可動式とし、光軸の変位に応じて収音部の向きを変える。これにより、可動式の収音部を有する撮影装置により手振れ補正された動画像上においても、音源位置を正確な位置に表示できる。

また、上述した説明においては、マイクロフォンアレイが１つのパン・チルト雲台に固定されるものとした。これは、複数のマイクロフォンと光軸との位置関係が一定であるようにマイクロフォンの位置を移動することを目的したものである。そのため、このような位置関係を維持又は把握できるのであれば、個々のマイクロフォンが個別に変位するような機構を持っていても良い。

（実施形態４）
次に、実施形態４について説明する。実施形態４においては、撮影中ではなく、撮影終了後の撮影データにおける音源位置を表示する場合について説明する。

ここで、図１０は、実施形態４に係わる撮影装置１０の構成の一例を示す図である。

撮影装置１０は、その機能的な構成として、表示処理部１７と、表示部１８と、記憶部１９と、編集部２３と、音声出力部２９と、指示入力部３０とを具備して構成される。なお、ここでは、撮影データの編集に係わる構成についてのみ図示している。

記憶部１９は、撮影データを記憶する。撮影データには、例えば、撮影された動画像、撮影時の画角情報及び収音したマルチチャンネルの音声信号、マイクロフォンの配置情報、手振れ補正量の情報が含まれる。

音声出力部２９は、例えば、スピーカや外付けのヘッドフォン等で構成され、音声を出力する。例えば、編集時の音声信号の確認やデータの再生時に使用される。指示入力部３０は、例えば、表示部１８と一体構成されるタッチパネル等で構成され、ユーザからの編集指示を装置内に入力する。

編集部２３は、撮影データの編集処理を行なう。編集部２３には、音源位置補正部２４と、音源位置検出部２５と、音源分離部２６と、音声編集部２７と、レンダリング部２８とが具備される。

音源位置補正部２４は、音源位置検出部２５により検出された音源位置に対して、位置補正を行なう。位置補正は、記憶部１９に格納された手振れ補正量に応じて行なわれる。音源位置補正部２４は、補正後の音源位置を出力する。

音源位置検出部２５は、記憶部１９に格納されたマルチチャンネルの音声信号及びマイクロフォンの配置情報に基づいて音源位置を検出し、当該検出した音源位置を出力する。

音源分離部２６は、記憶部１９に格納されたマルチチャンネルの音声信号に対して音源分離処理を行なう。例えば、音源位置検出部２５から出力された音源位置の情報を用いて、幾何制約付き音源分離（ＧＳＳ）やビームフォーマなどの手法により音源位置に対応した音源を分離する。これにより、音源分離部２６は、音源位置毎に分離された複数の音声信号を出力する。

音声編集部２７は、指示入力部３０からのユーザの指示に基づいて、音源分離部２６から出力された音声信号に対して編集を行なう。例えば、ユーザによって選択された音源位置に対応する音声信号の音響処理を行なう。

表示処理部１７は、編集中の動画像を表示部１８に表示させるとともに、動画像上に音源位置補正部２４により補正された音源位置を表示する。例えば、ユーザは、指示入力部３０を介して表示部１８に表示された音源位置に対応する円を指定し、これにより、編集対象の音源を選択する。音声編集部２７は、分離した音声信号の中から選択された音源に対応する音声信号に対しボリューム調整などの音響処理を行なう。

レンダリング部２８は、音声編集部２７により編集された音声信号に対して、ユーザの音響再生環境に合わせたレンダリングを行なう。例えば、一般的なステレオスピーカに対しては分離音源の音源位置を考慮して、撮影時のステレオ感が損なわれないようにミキシング等の処理を行なう。

次に、図１１を用いて、実施形態４に係わる撮影装置１０の処理の流れの一例について説明する。

この処理が開始すると、撮影装置１０は、音源位置検出部２５において、音源位置の検出を行なう（Ｓ４０１）。より具体的には、音源位置検出部２５は、マルチチャンネルの音声信号及びマイクロフォンの配置情報に基づいて、音源位置を検出し出力する。

撮影装置１０は、音源位置補正部２４において、音源位置の補正を行なう（Ｓ４０２）。より具体的には、音源位置補正部２４は、手振れ補正量に基づいてＳ４０１の処理で検出された音源位置を補正し、当該補正した音源位置を出力する。

続いて、撮影装置１０は、音源分離部２６において、Ｓ４０１の処理で検出された音源位置を用いて音源分離処理を行なう（Ｓ４０３）。ここで、音源分離処理に使用される音源位置の情報は、Ｓ４０２の処理で補正された音源位置ではなく、Ｓ４０１の処理で検出された音源位置の情報が使用される。この処理により、音源分離部２６は、各音源位置に対応した音声信号をそれぞれ出力する。

撮影装置１０は、音声編集部２７において、音声編集を行なう（Ｓ４０４）。この音声編集は、ユーザからの指示入力部３０を介した編集指示に応じて行なわれる。なお、音声編集の詳細については後述する。

音声編集が終わると、撮影装置１０は、レンダリング部２８において、音声のレンダリングを行なう（Ｓ４０５）。ユーザによって、例えば、ステレオ（２．０ｃｈ）やサラウンド（５．１ｃｈ）といった出力方法が選択された場合には、当該選択された出力方法に応じたレンダリングを行なう。分離した音声は、音源位置が分かっているので、音源位置に応じた音声信号の合成などが行なわれる。

最後に、撮影装置１０は、記憶部１９において、編集結果を記憶した後（Ｓ４０６）、この処理を終了する。すなわち、動画像と編集後の音声信号とを記憶部１９に記憶される。

次に、図１２（ａ）及び図１２（ｂ）を用いて、図１１のＳ４０４に示す音声編集処理の詳細について説明する。

音声編集が開始すると、撮影装置１０は、表示処理部１７において、編集画面を表示部１８に表示する（Ｓ５０１）。例えば、図１２（ｂ）に示すように、表示部１８には、編集中の動画像の１コマが表示されるとともに、音源位置Ａも重畳されて表示される（この場合、音源位置を中心とする円で表示）。なお、図１２（ｂ）では、音源位置を示す円は、分かり易いように大きめに表示されており、実際にはこれよりも小さく表示される。また、表示される動画像の１コマは、ユーザが動画像の任意のタイミングの１コマを選べるようになっており（スライダーＢによって動画像内の任意の一コマを選択可）、選択された１コマに対応する音源位置が表示される。

ユーザは、指示入力部３０を介して編集指示を入力する（Ｓ５０２）。例えば、ユーザが表示部１８に表示された音源位置Ａを指定すると、画面上にボリューム変更ボタンＣが表示される。すると、ユーザは、そのボタンで音源位置に対応する音声信号のボリュームを調整する（例えば、上矢印ボタンで音量が大きくなり、下矢印で音量が小さくなる）。ここで、音声信号の編集は、当然、ボリューム調整だけでなく、フェードやイコライジングといった音響特性の調整ができるようになっていても良い。

続いて、撮影装置１０は、表示処理部１７において、編集結果を確認するための確認画面を表示部１８に表示する（Ｓ５０３）。これにより、例えば、ユーザは、動画像を見ながら、当該調整した音声信号のボリュームや音声全体のバランスを確認することができる。Ｓ５０１〜Ｓ５０３の処理が繰り返し行なわれ（Ｓ５０４でＮＯ）、編集が終了すると（Ｓ５０４でＹＥＳ）、この処理は終了する。

以上説明したように実施形態４によれば、音声編集処理のような既に記憶された動画像上に音源位置を表示する場合においても、動画像及びマルチチャンネルの音声信号に加えて手振れ補正量を記憶しておくことで、音源位置を正確ない地に表示できる。

なお、上述した説明においては、撮影後に撮影装置本体で編集を行なう場合について説明したが、これに限られない。例えば、撮影データをＰＣ（Personal Computer）に移動し、ＰＣで編集を行なうようにしても良い。また、記憶部１９や編集部２３は、ネットワーク上に設けられていても良い（クラウドシステム）。

また、電子式の手振れ補正は、撮影後に行なうこともできるので、記憶部１９には、手振れ補正の行なわれていないデータを格納し、記憶部１９から読みだした動画像に対して電子式の手振れ補正を行なう手段を設けても良い。

また、編集前のデータと編集前のデータとを別々の記憶部に格納するようにしても良い。例えば、編集前のデータは、メモリカードに記憶し、編集後のデータは、ハードディスクに記憶するようにしても良い。

また、表示部１８に表示される音源位置は、同一音源の位置の時間的な変化を軌跡として画像上に表示されても良い。また更に、編集部２３に実現される機能構成は、その一部が別の資源上で実現されても良い。例えば、音源位置検出や音源位置補正は、撮影装置で行ない、音源分離、音声編集はネットワーク上のコンピュータで行ない、レンダリングは、ＰＣで行なうといった形態であっても良い。

また、レンダリング部２８においては、立体音響のレンダリングを行なえても良い。例えば、レンダリング部２８は、音源分離部２６によって分離された音源位置が分かっている音声信号に対して、各音源位置に対応する頭部伝達関数（ＨＲＴＦ）を畳みこむことによって、バイノーラル信号に変換しても良い。

また、記憶された撮影データのうち音声信号のみを編集対象としていたが、この編集機能は、例えば、映像編集アプリケーションの一部の機能で実現されても良く、別途、動画編集部が設けられていても良い。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

例えば、上述した説明においては、手振れ量がピッチングとヨーイングとである場合について説明したが、これに限られない。例えば、回転振れ（ローリング）やシフト振れをも検出し、補正するようにしても良い。このような構成においても、撮影装置の向きと光軸との差を検出し、表示位置の補正を行なうようにすれば上記同様の処理を行なえる。

また、上述した説明においては、光学式の手振れ補正を行なう方法として、レンズをシフトさせる方式について説明したが、これに限られない。すなわち、光軸の向きを変えて手振れ補正する方法であれば良くどのような方法であっても良い。例えば、撮影素子をシフトさせるセンサシフト方式でも良いし、その他の光学式の手振れ補正を用いても良い。

また、上述した撮像部１１は、画角の拡大縮小を行なうズーム機能を備えていても良い。手振れの影響は、ズームの倍率が大きいほど、つまり、画角が小さいほど大きくなる。そのため、ズーム倍率が所定の倍率以上の場合に、上述した表示位置補正（又は収音部位置補正等）を行なうようにしても良い。

また、上述した説明では、収音部１４の複数のマイクロフォンの幾何中心が光軸の支点（回転中心）と一致する場合について説明したが、これに限られない。例えば、収音部１４の複数のマイクロフォンの幾何中心が光軸の支点（回転中心）と異なる場合には、音源位置検出部１５において、検出した音源位置から光学系を中心とした音源位置に変換処理を行なうようにすれば良い。例えば、音源位置検出部１５において、仰角、回転角と合わせて音源までの距離を算出し、音源位置の光軸からの方向を算出する。ここで、収音部１４が、同一平面上にない４つ以上のマイクロフォンからなるマイクロフォンアレイとすれば、音源までの距離は、各マイクロフォンまでの音の到達時間差を用いて収音部１４と音源との相対位置を取得することができる。

音源及び収音部１４の相対位置と、収音部１４及び光軸の相対位置とが分かれば画角に対する音源位置の表示位置を算出することができる。例えば、図１３に示すように、収音部１４が撮影装置１０の外部（例えば、外付け）にあるような場合が考えられる。収音部１４が光軸からｙ（縦）方向に距離Ｄの位置にあり、検出したｙ方向の音源方向がβ＿ｙ、音源までの距離をＲとすると、画角に対する音源の表示方向γ＿ｙは、以下の式（５）のように表すことができる。

このようにすれば、収音部１４が光軸から離れていた場合であっても、上記同様の音源位置の表示が可能となる。

ここで、音の到達時間差を用いた音源までの距離検出精度は、音源までの距離が遠くなるほど低くなってしまう。しかし、収音部１４と光軸との間の距離Ｄに比べ、音源位置が十分に遠い場合、音源方向β＿ｙ及び表示方向γ＿ｙの角度差は、ほとんど無視できるため特に問題ない。

また、上述した説明においては、撮影装置の向きを基準としてビームフォーマの走査を行なうことにより音源位置の検出を行なう場合について説明したが、これに限られない。例えば、音源位置検出部１５に対して手振れ補正によって角度変位した光軸の向きを入力し、光軸を基準に音源位置の走査を行なうようにしても良い。音源位置が光軸の変更に合わせて変更されるような構成であれば良く、その検出の仕方等はどのような方法で行なわれても良い。

また、上述した説明においては、円を用いて音源位置を示す場合について説明したが、この円は、音源のパラメータによって表示形式を変化させるようにしても良い。例えば、音量や周波数帯域によって円の大きさや色を変えるようにしても良い。また、音源位置は、例えば、矢印や点や四角などの他の文字や形で示しても良く、音源位置を明示できるものであれば何でも良い。また、音源位置は、同一音源の位置の時間的な変化を軌跡として動画像上に表示するようにしても良い。

また、上述した記憶部１９には、全てのデータを記憶する必要はなく、記憶するデータは、ユーザが選択できるようになっていても良い。例えば、全て記憶するモードや、動画及び音声のみ記憶するモードなどいくつかのモードを設け、ユーザが選択できるようにしても良い。

なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮影装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 画像を撮影する撮像手段と、
   前記画像の撮影時の手振れを補正する手振れ補正手段と、
   前記画像の撮影時に複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記画像上における音源位置を検出する音源位置検出手段と、
   前記手振れ補正手段により補正された手振れ補正量に応じて前記画像上において前記検出された音源位置の表示位置を補正する表示位置補正手段と、
   前記手振れ補正手段により補正された画像を表示器に表示するとともに、前記表示位置補正手段により補正された音源位置を当該画像上に表示する表示処理手段と
   を具備することを特徴とする装置。
2. 前記画像と、該画像の撮影時の画角及び手振れ補正量と、該画像の撮影時に複数のマイクロフォンにより収音された音声信号と、該画像の撮影時の複数のマイクロフォンの配置情報とを記憶する記憶手段
   を更に具備し、
   前記音源位置検出手段は、
   前記記憶手段により記憶された前記画像の撮影時の前記音声信号及び前記配置情報に基づいて前記音源位置を検出し、
   前記表示位置補正手段は、
   前記記憶手段により記憶された前記画像の撮影時の前記手振れ補正量に基づいて前記音源位置の前記表示位置の補正を行なう
   ことを特徴とする請求項１記載の装置。
3. 前記撮像手段は、画角の拡大縮小を行なうズーム機能を有し、
   前記表示位置補正手段は、
   前記ズームの倍率が所定の倍率以上のときに前記表示位置の補正を行なう
   ことを特徴とする請求項１又は２に記載の装置。
4. 画像を撮影する撮像手段と、
   前記画像の撮影時の手振れを補正する手振れ補正手段と、
   前記手振れ補正手段により補正された手振れ補正量に応じて、複数のマイクロフォンからなる可動式の収音手段を駆動させ、前記可動式の収音手段の方向を調整する位置補正手段と、
   前記画像の撮影時に前記複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記画像上における音源位置を検出する音源位置検出手段と、
   前記手振れ補正手段により補正された画像を表示器に表示するとともに、前記音源位置検出手段により検出された音源位置を当該画像上に表示する表示処理手段と
   を具備することを特徴とする装置。
5. 前記可動式の収音手段は、
   前記複数のマイクロフォンとそれらを固定するパン・チルト雲台とから構成される
   ことを特徴とする請求項４記載の装置。
6. 前記手振れ補正手段は、
   前記撮像手段の光学系における支点を中心にして光軸の向きを変えることにより手振れの補正を行なう
   ことを特徴とする請求項１から５のいずれか１項に記載の装置。
7. 前記複数のマイクロフォンは、
   その配置位置の幾何中心が前記撮像手段の光学系における支点の中心と一致するように配置される
   ことを特徴とする請求項１から６のいずれか１項に記載の装置。
8. 前記画像は、動画像であることを特徴とする請求項１から７のいずれか１項に記載の装置。
9. 撮影を行う装置の処理方法であって、
   撮像手段が、画像を撮影する工程と、
   手振れ補正手段が、前記画像の撮影時の手振れを補正する工程と、
   音源位置検出手段が、前記画像の撮影時に複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記画像上における音源位置を検出する工程と、
   表示位置補正手段が、前記手振れ補正手段により補正された手振れ補正量に応じて前記画像上において前記検出された音源位置の表示位置を補正する工程と、
   表示処理手段が、前記手振れ補正手段により補正された画像を表示器に表示するとともに、前記表示位置補正手段により補正された音源位置を当該画像上に表示する工程と
   を含むことを特徴とする処理方法。
10. 撮影を行う装置の処理方法であって、
    撮像手段が、画像を撮影する工程と、
    手振れ補正手段が、前記画像の撮影時の手振れを補正する工程と、
    位置補正手段が、前記手振れ補正手段により補正された手振れ補正量に応じて、複数のマイクロフォンからなる可動式の収音手段を駆動させ、前記可動式の収音手段の方向を調整する工程と、
    音源位置検出手段が、前記画像の撮影時に前記複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記画像上における音源位置を検出する工程と、
    表示処理手段が、前記手振れ補正手段により補正された画像を表示器に表示するとともに、前記音源位置検出手段により検出された音源位置を当該画像上に表示する工程と
    を含むことを特徴とする処理方法。
11. 前記画像は、動画像であることを特徴とする請求項９または１０に記載の処理方法。
12. コンピュータを、請求項１から８のいずれか１項に記載の装置として機能させるためのプログラム。

Images