JP5712599B2 - 撮像装置及びプログラム - Google Patents

Description

本発明は、動画像を撮影する撮像装置及びプログラムに関する。

一般に、無指向性マイクから任意の方向の指向性を作り出す技術を、動画撮影機能付のカメラに採用する場合にはマイクの指向性の方向（集音方向）をカメラの画角方向（撮影方向）に常時合わせる（固定する）ようにしている。
このようにマイクの集音方向は、撮影方向に合わせられているため、音源と被写体が一致しているときには非常に有効なものとなるが、音源と被写体とが一致していない状況、例えば、撮影者が立ち止まっている話者の声を録音しながらその周囲の風景をパン撮影するような場合には、マイクの集音方向が音源から“ズレ”てしまう。すなわち、図６（１）に示すように音源（話者）が画角内に入っているときには、狙った音声を強調して録音することができるが、図６（２）に示すように音源（話者）が画角から外れているときには、マイクの集音方向が音源から“ズレ”てしまうため、狙った音声が抑制されて録音されるという問題があった。
そこで、従来では、音源の位置を特定し、特定周波数の音源を自動追尾して撮影できるようにした技術が開示されている（特許文献１参照）。

特開２００２−３５９７６７号公報

しかしながら、上述の先行技術にあっては、音源を自動追尾して撮影を行うようにしているため、撮影方向が音源の位置によって規制されてしまい、撮影者が話者の声を録音しながらその周囲の風景をパン撮影するようなことは困難なものとなる。

本発明の課題は、動画撮影の撮影方向に関わらずに集音の指向性を制御できるようにすることである。

上述した課題を解決するために請求項１記載の発明は、
撮影時の動画像に集音された音声を対応付けて記録する撮像装置であって、
前記動画撮影の撮影方向とは独立した指向性で集音する集音手段と、
前記集音手段が集音する対象の音源を設定するために、当該撮像装置の姿勢から特定される方向に存する被写体を集音対象の音源として、その音源の特徴を取得して設定する設定手段と、
前記集音手段により集音された音声データと前記設定されている音源の特徴とを比較して同一の音源を特定すると共に、その音量の変化状態に基づいて前記設定されている音源が移動したか否かを監視する監視手段と、
前記動画撮影の撮影方向の変化によらず、前記監視手段により音源が移動したことが検出された際に、その移動した前記設定手段により設定されている音源に向けて前記集音手段の指向性を制御する制御手段と、
を備えることを特徴とする。

請求項１に従属する発明として、
前記設定手段は、音源設定操作が行われた際に前記集音対象の音源を設定する、
ようにしたことを特徴とする、請求項２記載の発明であってもよい。

請求項１或いは請求項２に従属する発明として、
前記設定手段により前記音源の特徴が設定された際の当該撮像装置の姿勢を検出する検出手段を更に備え、
前記制御手段は、前記検出手段により検出された姿勢が前記設定手段により設定されている姿勢から変化した場合に、その姿勢の変化量に応じて前記集音手段の指向性を更に制御する、
ようにしたことを特徴とするようにしたことを特徴とする、請求項３記載の発明であってもよい。

請求項１〜請求項３のいずれかに従属する発明として、
前記設定手段は、所定時間以上音を発する被写体を集音対象の音源として設定する、
ようにしたことを特徴とする、請求項４記載の発明であってもよい。

請求項４に従属する発明として、
前記設定手段により設定される集音対象の音源は、前記動画撮影中の画面の所定位置に表示されている被写体である、
ことを特徴とする、請求項５記載の発明であってもよい。

また、上述した課題を解決するために請求項６記載の発明は、
撮影時の動画像に集音された音声を対応付けて記録する撮像装置における撮像方法であって、
動画撮影の撮影方向とは独立した指向性で集音するステップと、
前記集音する対象の音源を設定するために、当該撮像装置の姿勢から特定される方向に存する被写体を集音対象の音源として、その音源の特徴を取得して設定するステップと、
前記集音された音声データと前記設定されている音源の特徴とを比較して同一の音源を特定すると共に、その音量の変化状態に基づいて前記設定されている音源が移動したか否かを監視するステップと、
前記動画撮影の撮影方向の変化によらず、前記音源が移動したことが検出された際に、その移動した前記設定されている音源に向けて前記集音の指向性を制御するステップと、
を含むことを特徴とする。
また、上述した課題を解決するために請求項７記載の発明は、
撮影時の動画像に集音された音声を対応付けて記録する撮像装置のコンピュータに対して、
動画撮影の撮影方向とは独立した指向性で集音する機能と、
前記集音する対象の音源を設定するために、当該撮像装置の姿勢から特定される方向に存する被写体を集音対象の音源として、その音源の特徴を取得して設定する機能と、
前記集音された音声データと前記設定されている音源の特徴とを比較して同一の音源を特定すると共に、その音量の変化状態に基づいて前記設定されている音源が移動したか否かを監視する機能と、
前記動画撮影の撮影方向の変化によらず、前記音源が移動したことが検出された際に、その移動した前記設定されている音源に向けて前記集音の指向性を制御する機能と、
を実現させるためのプログラム、であることを特徴とする。

本発明によれば、動画撮影の撮影方向に関わらずに集音の指向性を制御することができ、効果的な撮影と集音が可能となる。

撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。 電源投入に伴って実行開始されるデジタルカメラの全体動作のうち、第１実施形態の特徴的な動作を示したフローチャート。 （１）〜（３）は、第１実施形態において、マイクの指向性の方向と撮影方向の関係を説明するための図。 第２実施形態の特徴的な動作を示したフローチャート。 第３実施形態の特徴的な動作を示したフローチャート。 従来でのマイクの指向性の方向と撮影方向の関係を説明するための図。

（実施形態１）
以下、図１〜図３を参照して本発明の第１実施形態を説明する。
図１は、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラ（撮像装置）は、静止画像のほかに動画像の撮影も可能なコンパクトカメラであり、動画撮影時には周囲音を集音して、撮影した動画像に対応付けて記録する機能と、記録した動画像を集音した音声と共に再生する機能を有し、制御部１を中核としている。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラ（以下、カメラと略称する）の全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。

記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図２に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム記憶部Ｍ１と、撮像済み画像（静止画像、動画像）を保存する画像記憶部Ｍ２と、この撮像済み画像（動画像）に対応付けてその撮影時の周囲音を集音した音声データを記録する音声記憶部Ｍ３とを有するほか、このカメラが動作するために必要となる各種の情報（例えば、後述する音源設定フラグなど）を一時的に記憶するワーク領域を有する構成となっている。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態においては所定の外部サーバ側の記憶領域を含むものであってもよい。

表示部４は、例えば、高精細液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、電気泳動型ディスプレイ（電子ペーパ）のいずれかを使用し、画像を高精細に表示するもので、撮像された画像（スルー画像：ライブビュー画像）を表示するファインダ画面（モニタ画面）として機能したり、保存済み画像を表示する再生画面として機能したりする。なお、この表示部４の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン（タッチ画面）を構成するようにしてもよい。

操作部５は、図示省略したが、シャッタ操作、動画撮影操作、露出やシャッタスピードなどの撮影条件の設定操作、撮影済み画像の再生を指示する再生操作などを行う押しボタン式の各種のキーを備えたもので、制御部１は、この操作部５からの入力操作信号に応じた処理として、例えば、撮影処理、撮影条件の設定、再生処理、データ入力処理などを行う。また、制御部１は、後述するが、操作部５上で音源設定操作が行われると、任意に指定された音源を集音対象として設定する処理を行うようにしている。

撮像部６は、光学レンズ７からの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、静止画像のほかに動画像の撮影も可能となっている。この撮像部６には、図示省略したが、絞り部、撮像素子、光学系駆動部、照明用のストロボ、アナログ処理回路、信号処理回路などが備えられている。この撮像部６と制御部１とは、オートフォーカス処理（ＡＦ処理）、ズーム処理、露出調整処理（ＡＥ処理）を実行したり、撮像部６からの画像データに対して各種の画像処理としてホワイトバランス調整・色補間処理を実行したり、画像処理として収差補正処理を行ったり、画像をＪＰＥＧ形式などの画像形式に圧縮する圧縮処理を実行したり、この圧縮データを伸長復元する復元処理などを実行したりする。

マイク８は、動画撮影中にカメラ周囲の音声を集音する無指向性（全指向性）のマイクで、その周囲から同一の感度で均等に集音された音声信号は、集音部９に与えられる。この集音部９は、マイク８により集音した音声を処理するもので、図示省略したが、Ａ／Ｄ（アナログ／デジタル）変換部、音声バッファ、音声信号処理回路部などを有する構成で、本実施形態では、無指向性の音声（全周の音声）を所定方向に指向性（例えば、超指向性）を持った音声に変換して録音する処理を行うのか、無指向性の音声をそのまま録音する処理を行うのかを切り替え可能としている。この場合、制御部１は、操作部５上での音源設定操作で任意に指定された音源が集音対象として設定されていれば、その設定音源に向かうように集音の指向性の方向（集音方向）を制御することでその音源の音声を強調して録音する処理を行い、集音対象の音源が設定されていなければ、無指向性の音声をそのまま録音する処理を行うようにしている。

ここで、無指向性の音声（全周の音声）から任意の方向の音声のみを拾って録音する指向性制御の処理を行う場合に、どの方向の音声を集音するかの指向性は、予め任意に設定した集音対象の音源の位置（音源方向）に応じて異なるようにしている。このように指向性を持った音声データ或いは無指向性の音声データは、撮像した動画像に対応付けて音声記憶部Ｍ３に録音される。この音声記憶部Ｍ３に録音された音声データは、それに対応する動画像の再生時に読み出されてサウンドスピーカ１０から発生出力される。

姿勢検出部１１は、例えば、３軸タイプの加速度センサ、傾きセンサ、重力センサ、ジャイロセンサなどによって構成され、光学レンズ系の光軸周りの回転角をカメラの姿勢として検出するもので、水平方向の傾きと光軸のあおり方向の傾きとを光学レンズ系の光軸周りの回転角として検出するようにしている。この姿勢検出部１１によって検出されたカメラの姿勢に基づいて制御部１は、上述した集音の指向性を制御する処理を行い、予め集音対象として設定されている設定音源の位置に向かうように集音の指向性の方向（集音方向）を制御するようにしている。すなわち、動画撮影中にその撮影方向が変化したとしても、その撮影方向に関わらず、集音対象の設定音源に向かうように集音の指向性を制御するようにしている。

次に、第１実施形態におけるカメラの動作概念を図２に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは、後述する他の実施形態でも同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図２は、デジタルカメラの全体動作のうち、本実施形態の特徴的な動作を示したフローチャートで、電源投入に伴って実行開始される。
先ず、制御部１は、所定メモリの内容をクリアしたり、記憶部３のワーク領域内の音源設定フラグ（図示省略）を“０”としたりするなどの初期化処理を実行した後（ステップＡ１）、動画撮影操作が行われたかを調べたり（ステップＡ２）、その他の操作が行われたかを調べたりしながら（ステップＡ３）、操作待ち状態となる。いま、動画撮影操作以外のその他の操作が行われたときには（ステップＡ３でＹＥＳ）、例えば、露出やシャッタスピードなどの撮影条件の設定操作、撮影済み画像の再生を指示する再生操作などが行われたときには、その操作に応じた処理として、例えば、撮影条件設定処理、画像再生処理などを行い（ステップＡ４）、その後、上述のステップＡ２に戻る。なお、その他の操作として、電源オフ操作が行われたときには、図示しないが、電源オフ処理を行った後に、このフローの終了となる。

いま、動画撮影操作が行われたときには（ステップＡ２でＹＥＳ）、それに続いて音源設定操作が行われたかを調べ（ステップＡ５）、音源設定操作が行われなければ（ステップＡ５でＮＯ）、ステップＡ９に移って動画撮影動作を開始させるが、音源設定操作が行われたときには（ステップＡ５でＹＥＳ）、姿勢検出部１１により検出された現在のカメラの姿勢を取得し（ステップＡ６）、そのときのカメラの姿勢を動画撮影開始時の音源方向として記憶部３内のワーク領域に設定する音源方向設定処理を行う（ステップＡ７）。なお、第１実施形態においては、動画撮影中には、集音対象として設定されている設定音源の位置が動画撮影開始時のまま固定されているものとする。

図３は、マイク８の指向方向と撮影方向の関係を説明するための図で、図３（１）は、動画撮影操作が行われた際の撮影方向が音源（被写体）に向いている状態、つまり、集音対象の音源が画角中心部に存在している状態を示した図である。この状態において、操作部５上で音源設定操作が行われると、この画角中心部に存在している被写体（図示の例では、人の顔）を集音対象の音源として設定するために、現在のカメラの姿勢（撮影方向）を音源（図示の例では、人の顔）が存在している音源方向として検出して、記憶部３内のワーク領域に設定される。そして、次のステップＡ８では、集音対象の音源を設定したことを示すために音源設定フラグを“１”とする。

そして、動画撮影動作を開始（ステップＡ９）させた後は、動画撮影処理を行う（ステップＡ１０）。すなわち。撮像部６から動画像を取得して所定の圧縮処理によって圧縮しながら画像記憶部Ｍ２に記憶保存させるなどの動画撮影処理を行う。この動画撮影中において、姿勢検出部１１により検出された現在のカメラの姿勢（撮影方向）と、記憶部３内に記憶されている音源設定時のカメラ姿勢（撮影方向、音源方向）とを比較し、この音源設定時のカメラ姿勢を基準として現在のカメラ姿勢（撮影方向）が変更されたかを調べる（ステップＡ１１）。いま、撮影方向が変更されたときには（ステップＡ１１でＹＥＳ）、音源設定フラグが“１”であることを条件に（ステップＡ１２でＹＥＳ）、予め集音対象として設定されている設定音源に向かうように集音の指向性の方向（集音方向）を制御する、つまり、撮影方向の変化量分、集音の指向性を制御する（ステップＡ１３）。

例えば、図３（２）は、カメラ姿勢（撮影方向）を変更した状態（図中、右４５°方向に変化させた状態）、つまり、集音対象の音源が画角内から大きく外れた状態を示した図である。例えば、撮影者が立ち止まっている話者（被写体）の声を録音しながらその周囲の風景をパン撮影するために撮影方向を変更した場合である。このように撮影方向が変更されたときには、図示のように、集音対象として予め設定されている設定音源（被写体）に向かうように集音方向を制御する。図３（３）は、撮影方向を図中、左４５°方向に変化させた状態で、この場合においても設定音源（被写体）に向かうように集音方向を制御する。このように動画撮影中に撮影方向が変更されても集音方向を変更せずに設定音源に向けたままとなる。

そして、撮影終了操作が行われたかを調べたり（ステップＡ１４）、その他の撮影操作が行われたかを調べたりするが（ステップＡ１６）、いずれの操作も行われなければ（ステップＡ１４でＮＯ、ステップＡ１６でＮＯ）、上述のステップＡ１０に戻り、以下、動画撮影を継続する。その他の操作としてズームや露出などの調整操作などが行われたときには（ステップＡ１６でＹＥＳ）、操作に応じた処理として、ズームや露出などの調整処理などを行った後（ステップＡ１７）、上述のステップＡ１０に戻り、動画撮影を継続する。また、撮影終了操作が行われたときには（ステップＡ１４でＹＥＳ）、撮影終了処理（ステップＡ１５）を実行した後、上述のステップＡ２に戻り、操作待ち状態となる。

以上のように、第１実施形態において制御部１は、集音対象の音源が設定されている状態でその設定音源に向かうように集音の指向性を制御するようにしたので、動画撮影時の撮影方向の変化に関わらず、集音の指向性を制御することができる。これによって例えば、特定位置に立つ話者の音声を強調して録音しながら周囲をパンして撮影するといった使い方が可能となり、動画撮影中、設定音源からの音声を強調して録音することができ、効果的な撮影と集音を行うことが可能となる。

音源設定操作が行われた際に集音対象の音源を設定するようにしたので、いつでも自由に所望する音源を集音対象として設定することができる。

集音対象の音源を設定する際に姿勢検出部１１により検出されたカメラの姿勢を設定しておき、カメラの姿勢が変化した際に、その姿勢の変化量に応じて集音の指向性を制御するようにしたので、加速度センサなどの姿勢を検出するセンサを備えるだけで、撮影方向に関わらず、予め集音対象として設定した設定音源からの音声を強調して録音することができる。

（第２実施形態）
以下、この発明の第２実施形態について図４を参照して説明する。
なお、上述した第１実施形態においては、集音対象として設定された音源の位置が固定されている場合を例示したが、この第２実施形態においては、集音対象として設定された音源が移動する場合にも対応可能としたものである。ここで、両実施形態において基本的に同一の動作の場合は、その説明を簡略化すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図４は、第２実施形態の特徴的な動作を示したフローチャートで、電源投入に伴って実行開始される。
先ず、制御部１は、上述した第１実施形態と同様に、所定メモリの内容をクリアしたり、記憶部３内の音源設定フラグを“０”としたりするなどの初期化処理を実行した後（ステップＢ１）、動画撮影操作が行われたかを調べたり（ステップＢ２）、その他の操作が行われたかを調べたりしながら（ステップＢ３）、操作待ち状態となる。いま、その他の操作が行われたときには（ステップＢ３でＹＥＳ）、その操作に応じた処理（ステップＢ４）を行った後に、上述のステップＢ２に戻る。

また、動画撮影操作が行われたときには（ステップＢ２でＹＥＳ）、それに続いて音源設定操作が行われたかを調べる（ステップＢ５）。ここで、音源設定操作が行われなければ（ステップＢ５でＮＯ）、ステップＢ９に移り、動画撮影動作を開始させる。また、音源設定操作が行われたときには（ステップＢ５でＹＥＳ）、姿勢検出部１１により検出された現在のカメラの姿勢を取得し（ステップＢ６）、そのときのカメラの姿勢を音源が存在している音源方向とし、かつその音源の波動の特徴（例えば、周波数、波長、周期、振幅、速度など）を記憶部３内のワーク領域に設定する音源方向設定処理を行う（ステップＢ７）。そして、集音対象の音源を設定したことを示すために音源設定フラグを“１”とした後（ステップＢ８）、動画撮影動作を開始させる（ステップＢ９）。

次に、撮像部６から動画像を取得して所定の圧縮処理によって圧縮しながら画像記憶部Ｍ２に記憶保存させるなどの動画撮影処理を行う（ステップＢ１０）。この動画撮影中において、音源設定時のカメラ姿勢を基準として現在のカメラ姿勢（撮影方向）が変更されたかを調べ（ステップＢ１１）、撮影方向が変更されたときには（ステップＢ１１でＹＥＳ）、音源設定フラグが“１”であることを条件に（ステップＢ１２でＹＥＳ）、予め集音対象として設定されている設定音源に向かうように集音の指向性の方向（集音方向）を制御する、つまり、撮影方向の変化量分、集音の指向性を制御する（ステップＢ１３）。

次に、集音した音声データを解析することによりその波動の特徴（例えば、周波数、波長、周期、振幅、速度など）を求める（ステップＢ１４）。そして、記憶部３内のワーク領域に記憶されている設定音源の特徴と比較して同一音源を特定し、それらの振幅（音量）の変化状態及び音源設定時の音源方向に基づいて音源が移動しているかを調べる（ステップＢ１５）。いま、音源が移動していれば（ステップＢ１５でＹＥＳ）、その音源を追跡するように集音の指向性（集音方向）を制御する（ステップＢ１６）。その後、撮影終了操作が行われたかを調べたり（ステップＢ１７）、その他の撮影操作が行われたかを調べたりする（ステップＢ１９）。いま、いずれの操作も行われなければ（ステップＢ１７でＮＯ、ステップＢ１９でＮＯ）、上述のステップＢ１０に戻るが、その他の操作が行われたときには（ステップＢ１９でＹＥＳ）、操作に応じた処理を行った後（ステップＢ２０）、上述のステップＢ１０に戻る。また、撮影終了操作が行われたときには（ステップＢ１７でＹＥＳ）、撮影終了処理（ステップＢ１８）を実行した後、上述のステップＢ２に戻る。

以上のように、第２実施形態においては、集音対象の音源が移動した際にその移動した音源に向けて集音の指向性を制御するようにしたので、移動する音源を追跡して集音することができ、効果的な撮影と集音が可能となる。

集音対象の音源を設定する際にその音源の特徴を設定し、集音された音声データと設定音源の特徴とを比較して同一の音源を特定すると共に、その音量の変化状態に基づいて該音源が移動したか否かを監視するようにしたので、音源が移動したか否かを適切に監視することができる。

（第３実施形態）
以下、この発明の第３実施形態について図５を参照して説明する。
なお、上述した第１及び第２実施形態においては、音源設定操作が行われた際に集音対象の音源を設定するようにしたが、この第３実施形態においては、集音対象の音源を自動的に設定するようにしたものである。ここで、第１実施形態、第３実施形態において基本的に同一の動作の場合は、その説明を簡略化すると共に、以下、第３実施形態の特徴部分を中心に説明するものとする。

図５は、第３実施形態の特徴的な動作を示したフローチャートで、電源投入に伴って実行開始される。
先ず、制御部１は、上述した第１実施形態と同様に、所定メモリの内容をクリアしたり、記憶部３内の音源設定フラグを“０”としたりするなどの初期化処理を実行した後（ステップＣ１）、動画撮影操作が行われたかを調べたり（ステップＣ２）、その他の操作が行われたかを調べたりしながら（ステップＣ３）、操作待ち状態となる。いま、その他の操作が行われたときには（ステップＣ３でＹＥＳ）、その操作に応じた処理（ステップＣ４）を行った後、上述のステップＣ２に戻る。

また、動画撮影操作が行われたときには（ステップＣ２でＹＥＳ）、動画撮影動作を開始させると共に、姿勢検出部１１により検出された現在のカメラの姿勢を取得し、そのときのカメラの姿勢を動画撮影開始時の音源方向として記憶部３内のワーク領域に記憶させる（ステップＣ５）。そして、動画撮影時に表示部４のモニタ画面の略中心部に音源としての被写体が有るか、例えば、モニタ画面の略中心部に人物、ペットなどのような音源としての被写体が表示され、かつマイク８を介してその被写体から音声が入力されているかを調べる（ステップＣ６）。ここで、モニタ画面の略中心部に音源が無ければ（ステップＣ６でＮＯ）、後述するステップＣ１８に移るが、音源が有れば（ステップＣ６でＹＥＳ）、動画撮影開始時からの経過時間を求めるためのタイマ（図示省略）の計測動作を開始させる（ステップＣ７）。そして、次のステップＣ８では、撮像部６から動画像を取得して所定の圧縮処理によって圧縮しながら画像記憶部Ｍ２に記憶保存させるなどの動画撮影処理を行う。

そして、動画撮影開始時の撮影方向は変更されたかを調べ（ステップＣ９）、動画撮影開始時から撮影方向が変更されずに同一であれば（ステップＣ９でＮＯ）、音源設定フラグが“１”か、つまり、後述するように集音対象の音源が自動設定されたかを調べる。ここで、音源設定フラグが“１”であれば（ステップＣ１０でＹＥＳ）、後述するステップＣ１８に移るが、いま、動画撮影開始時には音源設定フラグが“０”となっているので（ステップＣ１０でＮＯ）、上述のタイマの計測値に基づいて撮影開始時から所定時間（例えば、３秒）が経過したかを調べる（ステップＣ１１）。ここで、撮影開始時から所定時間が経過しなければ（ステップＣ１１でＮＯ）、上述のステップＣ８に戻るが、所定時間が経過したときには（ステップＣ１１でＹＥＳ）、上述のステップＣ６と同様に表示部４のモニタ画面の略中心部に音源が有るかを調べる（ステップＣ１２）。

ここで、モニタ画面の略中心部に音源が無ければ（ステップＣ１２でＮＯ）、後述するステップＣ１８に移るが、モニタ画面の略中心部に音源が有れば、つまり、所定時間以上音を発する被写体（音源）がモニタ画面の略中心部にそのまま表示されていれば（ステップＣ１２でＹＥＳ）、被写体（音源）を集音対象の音源として設定するために、姿勢検出部１１により検出された現在のカメラの姿勢を取得し、そのときのカメラの姿勢を音源方向として記憶部３内のワーク領域に設定する音源方向設定処理を行う（ステップＣ１３）。そして、集音対象の音源を設定したことを示すために音源設定フラグを“１”とする（ステップＣ１４）と共に、上述のタイマの計測動作を停止（ステップＣ１５）させた後、上述のステップＣ９に移り、動画撮影開始時の撮影方向が変更されたかを調べる。

ここで、動画撮影開始時の撮影方向が変更されたときには（ステップＣ９でＹＥＳ）、音源設定フラグが“１”であることを条件に（ステップＣ１６でＹＥＳ）、上述のように集音対象として自動設定されている設定音源に向かうように集音の指向性の方向（集音方向）を制御する、つまり、撮影方向の変化量分、集音の指向性を制御する（ステップＣ１７）。また、撮影方向が変更された場合でも音源設定フラグが“０”、つまり、集音対象の音源が自動設定されていなければ（ステップＣ１６でＮＯ）、後述するステップＣ１８に移る。

ここで、撮影終了操作が行われたかを調べたり（ステップＣ１８）、その他の撮影操作が行われたかを調べたりする（ステップＣ２０）。いま、いずれの操作も行われなければ（ステップＣ１８でＮＯ、ステップＣ２０でＮＯ）、上述のステップＣ８に戻るが、その他の操作が行われたときには（ステップＣ２０でＹＥＳ）、操作に応じた処理を行った後（ステップＣ２１）、上述のステップＣ８に戻る。また、撮影終了操作が行われたときには（ステップＣ１８でＹＥＳ）、撮影終了処理（ステップＣ１９）を実行した後、上述のステップＣ２に戻る。

以上のように、第３実施形態においては、所定時間以上音を発する被写体を集音対象の音源として自動設定するようにしたので、集音対象とする音源を設定する手間を必要とせずに、適切な設定が可能となる。

自動設定される集音対象の音源は、動画撮影中の画面の所定位置に表示されている被写体であるので、ユーザにあっては画面内のどの被写体が集音対象として自動設定されるかを知ることができる。

なお、第３実施形態においても上述した第２実施形態で行ったような音源が移動した場合の追尾の処理を行ってもよい。

また、上述した各実施形態において制御部１は、集音対象の音源が設定されていれば、その設定音源に向かうように集音の指向性の方向（集音方向）を制御することによりその音源の音声を強調して録音し、集音対象の音源が設定されていなければ、無指向性の音声を録音するようにしたが、このような指向性の録音を行うのか、無指向性の録音を行うのかを、ユーザ操作により任意に選択可能としてもよい。

上述した各実施形態においてマイク８は、動画撮影中にカメラ周囲の音声を集音する無指向性（全指向性）の単一のマイクで、その無指向性の音声（全周の音声）を所定方向に指向性（例えば、超指向性）を持った音声に変換して録音するようにしたが、マイク８は、例えば、４方向に指向する４つのマイクを配置し、設定音源に対向するマイクをオン状態（稼働状態）とし、その他のマイクをオフ状態（非稼働状態）としてもよい。

また、上述した各実施形態においては、撮像装置としてコンパクトカメラに適用した場合を示したが、カメラ機能付きの携帯電話機・ＰＤＡ・音楽プレイヤーなどであってもよい。

その他、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

１ 制御部
３ 記憶部
４ 表示部
５ 操作部
６ 撮像部
７ 光学レンズ
８ マイク
９ 集音部
１０ サウンドスピーカ
１１ 姿勢検出部
Ｍ１ プログラム記憶部
Ｍ２ 画像記憶部
Ｍ３ 音声記憶部

Claims (7)

1. 撮影時の動画像に集音された音声を対応付けて記録する撮像装置であって、
   前記動画撮影の撮影方向とは独立した指向性で集音する集音手段と、
   前記集音手段が集音する対象の音源を設定するために、当該撮像装置の姿勢から特定される方向に存する被写体を集音対象の音源として、その音源の特徴を取得して設定する設定手段と、
   前記集音手段により集音された音声データと前記設定されている音源の特徴とを比較して同一の音源を特定すると共に、その音量の変化状態に基づいて前記設定されている音源が移動したか否かを監視する監視手段と、
   前記動画撮影の撮影方向の変化によらず、前記監視手段により音源が移動したことが検出された際に、その移動した前記設定手段により設定されている音源に向けて前記集音手段の指向性を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記設定手段は、音源設定操作が行われた際に前記集音対象の音源を設定する、
   ようにしたことを特徴とする請求項１記載の撮像装置。
3. 前記設定手段により前記音源の特徴が設定された際の当該撮像装置の姿勢を検出する検出手段を更に備え、
   前記制御手段は、前記検出手段により検出された姿勢が前記設定手段により設定されている姿勢から変化した場合に、その姿勢の変化量に応じて前記集音手段の指向性を更に制御する、
   ようにしたことを特徴とする請求項１或いは請求項２記載の撮像装置。
4. 前記設定手段は、所定時間以上音を発する被写体を集音対象の音源として設定する、
   ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
5. 前記設定手段により設定される集音対象の音源は、前記動画撮影中の画面の所定位置に表示されている被写体である、
   ことを特徴とする請求項４記載の撮像装置。
6. 撮影時の動画像に集音された音声を対応付けて記録する撮像装置における撮像方法であって、
   動画撮影の撮影方向とは独立した指向性で集音するステップと、
   前記集音する対象の音源を設定するために、当該撮像装置の姿勢から特定される方向に存する被写体を集音対象の音源として、その音源の特徴を取得して設定するステップと、
   前記集音された音声データと前記設定されている音源の特徴とを比較して同一の音源を特定すると共に、その音量の変化状態に基づいて前記設定されている音源が移動したか否かを監視するステップと、
   前記動画撮影の撮影方向の変化によらず、前記音源が移動したことが検出された際に、その移動した前記設定されている音源に向けて前記集音の指向性を制御するステップと、
   を含むことを特徴とする撮像方法。
7. 撮影時の動画像に集音された音声を対応付けて記録する撮像装置のコンピュータに対して、
   動画撮影の撮影方向とは独立した指向性で集音する機能と、
   前記集音する対象の音源を設定するために、当該撮像装置の姿勢から特定される方向に存する被写体を集音対象の音源として、その音源の特徴を取得して設定する機能と、
   前記集音された音声データと前記設定されている音源の特徴とを比較して同一の音源を特定すると共に、その音量の変化状態に基づいて前記設定されている音源が移動したか否かを監視する機能と、
   前記動画撮影の撮影方向の変化によらず、前記音源が移動したことが検出された際に、その移動した前記設定されている音源に向けて前記集音の指向性を制御する機能と、
   を実現させるためのプログラム。

Images