JP5306068B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、ビデオカメラやデジタルスチルカメラ等の撮像装置に関し、特に動画の撮像中に静止画の撮像が可能な撮像装置に関する。

上記のような撮像装置において、動画の撮像中に静止画の撮像を行う場合、所定の周期（例えば、１／６０秒のフレームレート）で取得されている動画用フレーム画像の一部が、静止画の撮像処理のために欠落することがある。この結果、再生される動画の連続性が損なわれる可能性がある。

このような問題を解決するために、特許文献１には、動画撮像中に静止画撮像がなされた際の欠落フレームを、その前後のフレーム画像によって補間する撮像装置が開示されている。

特開２００１−１１１９３４号公報

しかしながら、特許文献１にて開示された撮像装置では、以下に説明するような問題がある。図２には、再生動画中において被写体としての飛行機が一定方向に移動（飛行）している様子を示す。該被写体は、実際には一定速度で移動している。

図２の左側において、２０１〜２０４は動画撮像中に静止画撮像を行わなかった場合の再生動画を構成するフレーム画像である。一方、図２の左側において、２０５，２０６，２０８は再生動画を構成するフレーム画像であるが、２０７は動画撮像中の静止画撮像によって欠落したフレームを補うための補間用フレーム画像であり、フレーム画像２０６と同じ画像である。

図３には、図２に示した再生動画における被写体の速度を示している。時間１はフレーム画像２０１，２０５の再生時間を、時間２はフレーム画像２０２，２０６の再生時間を、時間３はフレーム画像２０３と補間用フレーム画像２０７の再生時間を、時間４はフレーム画像２０４，２０８の再生時間をそれぞれ示している。

動画撮像中に静止画撮像を行わなかった場合は、被写体が一定の速度１で移動するように動画が再生される。しかし、動画撮像中に静止画撮像を行った場合は、時間３においてフレーム画像２０６と同じ画像である補間用フレーム画像２０７が再生されるため、被写体の速度が０となる。さらに、フレーム画像２０８が再生される次の時間４では、被写体の速度が２となる。

このように、一定速度で一定方向に移動する被写体の動画撮像中に静止画撮像を行った場合において、静止画撮像による欠落フレームを該欠落フレームの前後のフレーム画像よって補うと、再生動画中の被写体の速度変化が大きくなり、再生画質の劣化が目立つ。

本発明は、動画撮像中の静止画撮像によって欠落したフレームを、再生動画中の被写体の動きの変化が目立ちにくくなるように補間できるようにした撮像装置及びその制御方法を提供する。

本発明の一側面としての撮像装置は、動画撮像中において静止画撮像を指示するために操作される撮像指示手段と、動画を構成するフレーム画像を一時的に保持する画像保持手段と、動画中の被写体の動きを検出する検出手段と、該検出手段により検出された被写体の動きに関する判定を行う判定手段と、動画撮像中に撮像指示手段により静止画撮像が指示された場合において、該静止画の撮像処理を行うために動画にて欠落したフレームを画像保持手段に保持されたフレーム画像によって補間する場合を、被写体の移動速度が所定速度より遅い場合とする制御手段とを有することを特徴とする。

また、本発明の他の一側面としての制御方法は、動画を構成するフレーム画像を一時的に保持する画像保持手段を有する撮像装置に適用される。該制御方法は、動画中の被写体の動きを検出する検出ステップと、該検出ステップにより検出された被写体の動きに関する判定を行う判定ステップと、動画撮像中に静止画撮像の指示がなされた場合において、該静止画の撮像処理を行うために動画にて欠落したフレームを画像保持手段に保持されたフレーム画像によって補間する場合を、被写体の移動速度が所定速度より遅い場合とするステップとを有することを特徴とする。

本発明では、動画撮像中の静止画撮像（静止画の撮像処理）によってフレームが欠落した場合に、その欠落フレームを画像保持手段に保持されたフレーム画像によって補間するためのタイミングを、被写体の動きに関する判定結果に基づいて決定する。このため、本発明によれば、動画撮像中の静止画撮像によって発生した欠落したフレームを、再生動画中の被写体の動きの変化が目立ちにくくなるように補間することができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 動画撮像中に静止画撮像を行わなかった場合の再生動画と動画撮像中に静止画撮像を行った場合の再生動画の例を示す図。 動画撮像中に静止画撮像を行った場合の再生動画中の被写体速度の遷移を示す図。 実施例１における画像補間タイミングを示すタイムチャート。 実施例１における再生の速度遷移図 動画／連続静止画同時記録時の画像補間タイミングチャート 欠落画像補間タイミング分析フローチャート 信号処理回路詳細構成図

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である撮像装置としてのビデオカメラの構成を示している。なお、ここでは、ビデオカメラについて説明するが、本発明は、動画撮像及び静止画撮像（動画撮像中の静止画撮像を含む）を行うことができるデジタルスチルカメラにも適用することができる。

まず、ビデオカメラにおける撮像に関する構成及び動作について説明する。図１において、光学系１０１は、フォーカスレンズを含む複数のレンズと絞りを含む。メカニカルシャッタ１０２は、静止画撮像において撮像素子１０３の露光量を制御する。

タイミング信号発生回路１０６は、撮像素子１０３、ＣＤＳ回路１０４及びＡ／Ｄ変換器１０５の動作タイミングを決定するためのタイミング信号を発生する。

駆動回路１０７は、光学系１０１、メカニカルシャッタ１０２及び撮像素子１０３を駆動する。具体的には、駆動回路１０７は、後述するシステム制御部１１４からの制御信号に応じて、光学系１０１のフォーカスレンズを駆動して光学系１０１の焦点調節を行うとともに、絞りを駆動して撮像素子１０３上に形成される被写体像の明るさを調節する。また、駆動回路１０７は、システム制御部１１４によって制御されるタイミング信号発生回路１０６から出力されるタイミング信号に基づいて、撮像素子１０３を所定の周期で駆動する。

撮像素子１０３は、ＣＣＤセンサやＣＭＯＳセンサ等により構成され、光学系１０１により形成された被写体像を光電変換して電荷を蓄積する複数の画素を２次元平面上に有する。撮像素子１０３は、該複数の画素のリセット動作と該複数の画素に蓄積された電荷（アナログ画像信号）の読み出し動作とを上記２次元平面上において一方向に順次行う走査部（図示せず）を有する。

撮像素子１０３から出力されたアナログ画像信号は、ＣＤＳ回路１０４に入力される。ＣＤＳ回路１０４は、タイミング信号発生回路１０６からのタイミング信号に基づいて、入力されたアナログ画像信号からクロック同期性ノイズを除去する。該ノイズが除去されたアナログ画像信号は、Ａ／Ｄ変換器１０５でデジタル画像信号に変換され、該デジタル画像信号は、信号処理回路１０８に入力される。

信号処理回路１０８は、システム制御部１１４からの制御信号に応じて、Ａ／Ｄ変換器１０５からのデジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理や解像度変換処理等のカメラ信号処理を行って画像データを生成する。ここにいう画像データには、静止画データや動画データを構成するフレーム画像データが含まれる。

また、信号処理回路１０８は、デジタル画像信号からフォーカスレンズの駆動を制御するために必要なコントラスト情報を演算する。さらに信号処理回路１０８は、後述するように、動き検出手段、画像保持手段、判定手段及び画像選択手段としての機能を有する。

画像保持手段の１つである画像メモリ１０９は、信号処理回路１０８によって生成された画像データを一時的に記憶する。ビデオカメラには、半導体メモリ、光ディスク、磁気テープ等の記録媒体１１０を着脱することができる。

記録回路１１１は、画像メモリ１０９に記憶された画像データを所定のフォーマットに変換して記録媒体１１０に記録する。

撮像操作部（撮像指示手段）１１７は、動画撮像及び静止画撮像（動画撮像中の静止画撮像も含む）の指示を行うためにユーザによって操作される。

システム制御部（制御手段）１１４は、上述したようにタイミング信号発生回路１０６、駆動回路１０７及び信号処理回路１０８を制御するとともに、画像メモリ１０９及び記録回路１１１の動作も制御する。システム制御部１１４は、不揮発性メモリ（ＲＯＭ）１１５に格納されて揮発性メモリ（ＲＡＭ）１１６に読み出されたコンピュータプログラムに従って各種処理を実行する。不揮発性メモリ１１５は、該プログラムを実行する際に使用されるパラメータやテーブル等の制御データや補正データも記憶している。また、システム制御部１１４は、後述するように、タイミング制御手段としての機能を有する。

さらにビデオカメラは、画像データを表示する画像表示部１１２と、該画像表示部１１２を駆動する表示回路１１３とを有する。信号処理回路１０８は、画像メモリ１０９に記憶された画像データを、画像表示部１１２での表示に適した解像度を有する表示用画像データに変換する。表示回路１１３は、該表示用画像データを画像表示部１１２に表示させる。システム制御部１１４は、表示回路１１３の動作も制御する。

記録媒体１１０に記録された画像データを再生する場合、ビデオカメラでは以下のように動作が行われる。

記録回路１１１は、システム制御部１１４からの制御信号に応じて、記録媒体１１０から画像データを読み出す。信号処理回路１０８は、読み出された画像データが圧縮画像データであった場合にはその伸長処理を行う。

システム制御部１１４は、読み出された画像データ（又は伸長処理された画像データ）を画像メモリ１０９に記憶させる。信号処理回路１０８は、前述したように、画像メモリ１０９に記憶された画像データを、画像表示部１１２での表示に適した解像度を有する表示用画像データに変換する。表示回路１１３は、該表示用画像データを画像表示部１１２に再生表示させる。

図８には、信号処理回路１０８の構成を示している。カメラ信号処理回路８０２は、Ａ／Ｄ変換器１０５から入力される画像データに対して前述したカメラ信号処理を行うことで、静止画データやフレーム画像データ（以下、単にフレーム画像という）を生成する。

以下、動画撮像に関する信号処理回路１０８の構成及び動作について説明する。Ａ／Ｄ変換器１０５から所定の周期で画像データが入力されることにより、カメラ信号処理回路８０２は、フレーム画像を順次生成する。

動き検出用リサイズ処理回路８０４は、カメラ信号処理回路８０２から入力されたフレーム画像のサイズ（画角）を、後述する動き検出処理を行うための画角にリサイズする。動き検出回路（検出手段）８０５は、動き検出用リサイズ処理回路８０４にてリサイズされた連続したフレーム画像において、被写体とその動きを検出する。この検出は、基準フレーム画像中の特徴点（被写体）を抽出する処理と、基準フレーム画像に続くフレーム画像において上記特徴点に対応する対応点を抽出する処理と、特徴点と対応点との間の動きの方向と量を示す動きベクトルを算出する処理とにより行われる。

画像保持手段の他の１つである一時保持バッファ回路８０６は、画像メモリ１０９から読み出した複数のフレーム画像を一時的に保持する。

セレクタ（画像選択手段）８０７は、システム制御部１１４からの制御信号に応じて、画像メモリ１０９から読み出したフレーム画像と、一時保持バッファ回路８０６から出力されるフレーム画像のうちいずれか一方を選択する。

動画用リサイズ処理回路８０９は、セレクタ８０７にて選択されたフレーム画像を動画記録用の画角にリサイズする。

ＮＲ処理回路８１０は、動画用リサイズ処理回路８０９によってリサイズされたフレーム画像に対してノイズリダクション処理を行う。メモリバス８０３は、上述した各回路と画像メモリ１０９とのインターフェースとして機能する。

動き検出回路８０５での動き検出結果はシステム制御部１１４に出力され、システム制御部１１４は該動き検出結果に応じてセレクタ８０７を制御する。また、ＮＲ処理回路８１０から出力されたフレーム画像は、記録回路１１１に出力される。

次に、図４を用いて、本実施例のビデオカメラにおける、動画撮像中の静止画撮像が行われた場合の欠落フレームの補間処理（制御方法）について説明する。図４には、補間処理のタイミングチャートを示す。なお、ここでは、図２に示したように、一定方向に一定速度で移動する被写体を動画撮像する場合について説明する。また、この補間処理は、システム制御部１１４の制御の下で行われる。

時間１〜１８は、動画の垂直同期信号（ＶＤ）に同期した時間（タイミング）を示している。撮像素子１０３での電荷蓄積（露光）、撮像素子１０３からの電荷（アナログ画像信号）の読み出し、画像メモリ１０９又は一時保持バッファ回路８０６での一時保持（一時バッファ）及びフレーム画像の記録処理の各処理は、ＶＤに同期して行われる。

通常の動画撮像中は、メカニカルシャッタ１０２が開放され、撮像素子１０３では、各時間において動画用の画角（画素数）で電荷蓄積（露光）が行われる。

撮像素子１０３からは、各時間にて蓄積された電荷（アナログ画像信号）が次の時間（１ＶＤ期間）で読み出される。該アナログ画像信号は前述したＣＤＳ回路１０４及びＡ／Ｄ変換器１０５によってデジタル画像信号に変換され、該デジタル画像信号は信号処理回路１０８に入力される。信号処理回路１０８は、入力されたデジタル画像信号からフレーム画像を生成し、次の時間において該フレーム画像を一時的に画像メモリ１０９に保持させる。そして、さらに次の時間で画像メモリ１０９からフレーム画像を読み出して記録回路１１１に出力し、記録処理を行わせる。

このような動画撮像中における時間４の直前にて撮像操作部１１７を通じて静止画撮像の指示がなされた場合は、時間４にてメカニカルシャッタ１０２が所定のシャッター速度で開閉動作し、撮像素子１０３では静止画用の画角（画素数）で電荷蓄積が行われる。以下、この電荷蓄積を、撮像素子１０３の静止画駆動という。また、静止画用の画角は、動画用の画角よりも大きい。

そして、撮像素子１０３からは、時間４にて蓄積された電荷（アナログ画像信号）が次の時間５で読み出される。ただし、上述したように静止画用の画角が動画用の画角に比べ大きいため、アナログ画像信号の読み出しに、１ＶＤより長く２ＶＤより短い期間を必要とする。このため、撮像素子１０３の静止画駆動が行われた時間４の直後の時間５の１ＶＤ期間においては撮像素子１０３での動画撮像用の電荷蓄積を行うことができず、この結果、フレーム画像の欠落（つまりは欠落フレーム）が生じる。言い換えれば、動画撮像中の静止画の撮像処理によって欠落フレームが生じる。

なお、図４には、時間１０に撮像された画像Ｊが、後述する被写体の動きに関する判定処理にて、補間用のフレーム画像として処理された後に、時間１３の直前にて静止画撮像の指示がなされて、時間１３にて撮像素子１０３の静止画駆動がなされた場合についても示している。

本実施例では、通常の動画撮像においては、システム制御部１１４は、信号処理回路１０８内のカメラ信号処理回路８０２で生成されたフレーム画像を、動き検出回路８０５に入力して動き検出処理を行わせる一方、画像メモリ１０９に一時的に保持させる。そして、画像メモリ１０９に保持されたフレーム画像を読み出して、一時保持バッファ回路８０６に一時的に保持し、その後、記録回路１１１に出力して記録媒体１１０への記録処理を行わせる。

このような動画撮像中に静止画撮像指示がなされた場合は、システム制御部１１４は、以下のようにセレクタ８０７を制御する。すなわち、画像メモリ１０９から読み出されて記録回路１１１に出力されるフレーム画像を、一時保持バッファ回路８０６を経由したフレーム画像から、一時保持バッファ回路８０６を経由しないフレーム画像に切り替えるようにセレクタ８０７を制御する。

さらに、システム制御部１１４は、動き検出処理による動き検出結果に基づいて被写体の動きに関する判定を行う。この判定については後述する。そして、システム制御部１１４は、該判定結果に応じて、再生動画中の被写体の速度変化を少なくして動画として違和感が生じないようにするためのフレーム補間タイミングを決定する。

図７には、被写体の動きに関する判定処理のフローチャートを示す。図中の「Ｓ」は、ステップを示す。

Ｓ７０１において、動画撮像中に静止画撮像指示がなされると、システム制御部１１４は、本判定処理を開始する。

Ｓ７０２では、システム制御部１１４は、動画撮像中の連続する複数のフレーム画像における動き検出回路８０５による被写体の動きの検出結果から、撮像動画中に連続して一定方向に移動している被写体が存在するか否かを判定する。そのような連続移動被写体が存在しない場合は、システム制御部１１４は、現在の時間が、静止画の撮像処理による欠落フレームを補間しても動画に違和感を生じさせることが少ないタイミングであるとして、Ｓ７０８に進み、欠落フレームの補間処理を行う。一方、連続移動被写体が存在する場合には、Ｓ７０３に進む。

Ｓ７０３では、システム制御部１１４は、動き検出回路８０５による被写体の検出結果から、連続移動被写体のフレーム画像中での大きさが所定の大きさ以上か否かを判定する。該被写体の大きさが所定の大きさより小さい場合には、システム制御部１１４は、現在の時間が、欠落フレームを補間しても動画に違和感を生じさせることが少ないタイミングであるとしてＳ７０８に進み、補間処理を行う。一方、被写体の大きさが所定の大きさ以上である場合には、Ｓ７０４に進む。

Ｓ７０４では、システム制御部１１４は、動き検出回路８０５による被写体の動きの検出結果から、被写体の移動速度が所定速度以上か否かを判定する。被写体の移動速度が所定速度より遅い場合には、システム制御部１１４は、現在の時間が、欠落フレームを補間しても動画に違和感を生じさせることが少ないタイミングであるとして、Ｓ７０８に進み、補間処理を行う。一方、被写体の移動速度が所定速度以上である場合には、システム制御部１１４は、Ｓ７０５に進む。

Ｓ７０５では、システム制御部１１４は、判定対象となっているフレーム画像が、Ｓ７０２、Ｓ７０３、Ｓ７０４の各ステップにおいて、欠落フレームの補間に適切なフレーム画像として判定されなかった場合には、補間に適切なフレーム画像と判定されなかった複数のフレーム画像の中においては、現在のフレーム画像が補間に適切なフレーム画像か否かを判断し、補間に適していると判断した場合は、判定対象となっているフレーム画像を補間に適切なフレームとしてランク付けする。そして、Ｓ７０６において、システム制御部１１４は、所定の補間処理制限時間に達したか否かを判定し、該制限時間に達していない場合には、次の入力画像に対して、Ｓ７０２から順次処理を行う。

一方、補間処理の制限時間に達した場合には、システム制御部１１４は、Ｓ７０７に進み、それまで処理された補間処理好適度のランク付けに基づいて、補間フレームを決定する。そして、Ｓ７０８において、システム制御部１１４は、動画撮像中に静止画撮像を行った際に、記録回路１１１に出力されるフレーム画像を、一時保持バッファ回路８０６を経由したフレーム画像から、一時保持バッファ回路８０６を経由しないフレーム画像に切り替えたセレクタ８０７の制御を、一時保持バッファ回路８０６を経由しないフレーム画像から、一時保持バッファ回路８０６を経由したフレーム画像に切り替える際にランク付けに基づいて決定した補間フレームを用いて、補間処理を行う。

図５を用いて、本実施例により画像補間タイミングを決定した場合の再生動画中の被写体の速度変化について説明する。図中の時間１〜１５は図４に示した露光の時間１〜１５を示し、その下に記載した時間４〜１８は、図４に示した記録処理の時間４〜１８に対応する。

太点線５０１は、動画撮像時の実際の被写体の速度の変化を示す。この例では、被写体が時間１から時間８まで速度１で移動し、時間８から時間９の間に減速し、時間９以降は速度１よりも低速で移動している。

細点線５０２は、動画撮像中に静止画撮像を行った場合に、特許文献１にて開示された撮像装置と同様に、静止画撮像の直前のフレーム画像と同じフレーム画像によって欠落フレームを補間したときの再生動画中の被写体速度を示している。図２及び図３にて説明したのと同様に、時間４の直前に静止画撮像指示があったときの再生動画中の被写体の速度は、時間４から５にかけて速度０〜２の間で大きく変化する。この結果、違和感の大きい再生動画となる。つまり、被写体が速度１で移動している間に撮像されたフレーム画像で欠落フレームを補間すると、動画への影響が大きい。

実線５０３は、本実施例により補間タイミングを決定した場合の再生動画中の被写体の速度変化を示している。時間４の直前に静止画撮像指示があったときは、時間４にて撮像された静止画と同じフレーム画像（ただし、解像度等は動画用に変換された画像）を記録する。このとき、時間４から５において再生動画中の被写体の速度は１〜２の間で変化するが、細点線５０２で示したように速度が０〜２の間で変化する場合に比べて変化量は小さいので、速度変化が目立たない。そして、時間４で欠落したフレームは、被写体が減速した後の時間１０（記録処理の時間１３に対応する時間）にて、その直前の時間９（記録処理の時間１２に対応する時間）で再生されるフレーム画像と同じフレーム画像で補間される。つまり、被写体が速度１より遅い速度で移動している間に撮像されたフレーム画像で欠落フレームを補間することで、動画への影響を少なくすることができる。

このように、本実施例では、動画撮像中の静止画撮像によって発生した欠落フレームの補間タイミングを、被写体の動きに関する判定結果に応じて決定することで、被写体の動きの変化が目立たない違和感の少ない動画の再生を可能とすることできる。

次に、本発明の実施例２について説明する。動画撮像中に静止画撮像の指示が連続的になされる場合においては、該静止画撮像の間隔内に被写体の連続移動や速度低減が起こらない場合が想定される。このような場合においても、違和感の少ない再生動画を提供する例を、本発明の実施例２として、図６の補間タイミングチャートに示す。なお、本実施例におけるビデオカメラの構成及び信号処理回路１０８の構成はそれぞれ、図１及び図８に示したものと基本的に同じである。

図６において、時間１から１５は、動画の垂直同期信号（ＶＤ）に同期した時間（タイミング）を示している。本実施例でも、通常の動画撮像中は、メカニカルシャッタ１０２が開放され、撮像素子１０３では、各時間において動画用の画角（画素数）で電荷蓄積（露光）が行われる。

撮像素子１０３からは、各時間にて蓄積された電荷（アナログ画像信号）が次の時間（１ＶＤ期間）で読み出される。該アナログ画像信号は前述したＣＤＳ回路１０４及びＡ／Ｄ変換器１０５によってデジタル画像信号に変換され、該デジタル画像信号は信号処理回路１０８に入力される。信号処理回路１０８は、入力されたデジタル画像信号からフレーム画像を生成し、次の時間において該フレーム画像を一時的に画像メモリ１０９に保持させる。本実施例では、画像メモリ１０９を、複数フレーム分のフレーム画像を保持することが可能な構成とし、記録回路１１１での記録処理を、保持したフレーム数分、遅延させる。

図６には、時間４の直前に静止画撮像指示がなされて時間４にて静止画撮像（撮像素子１０３の静止画駆動）がなされ、その後、時間１３の直前にて再度、静止画撮像指示がなされて時間１３にて静止画撮像がなされた場合を示している。

本実施例では、静止画撮像の間隔内である時間６から時間１２の間に撮像されたフレーム画像ＦからＬのいずれが補間用のフレーム画像として好適かを判定し、該補間用のフレーム画像を用いて補間処理を行う。

補間タイミングと補間画像の好適度は、図７で示すフローチャートによって決定される。そして、画像メモリ１０９に保持された７つのフレーム画像Ｆ〜Ｌのうち、補間好適度のランクが最も高いフレーム画像を補間用フレーム画像として、決定された補間タイミングで補間処理を行う。

例えば、フレーム画像Ｊが補間好適度ランクが最も高いと判定された場合は、フレーム画像Ｆ〜Ｊまでは画像メモリ１０９から読み出して一時保持バッファ回路８０６を経由させて記録回路１１１に出力する。そして、フレーム画像Ｊが記録回路１１１に出力された後、システム制御部１１４は、画像メモリ１０９から読み出されたフレーム画像が一時保持バッファ回路８０６を経由せずに記録回路１１１に出力されるようにセレクタ８０７を制御する。これにより、フレーム画像Ｊを補間用フレーム画像として記録処理が行われる。

このように本実施例では、動画撮像中に連続的に静止画撮像を行う場合において、静止画撮像の間隔内で保持された複数のフレーム画像内で、被写体の動きに関する判定結果に基づいて補間用フレーム画像として好適なフレーム画像を選択する。これにより、違和感の少ない再生動画を提供することができる。

なお、本実施例では、静止画撮像の間隔内で７つのフレーム画像を画像メモリ１０９に保持する場合について説明した。しかし、このフレーム数は例に過ぎず、数十から数百のフレーム画像を画像メモリ１０９に保持し、その中から補間用フレーム画像を選択するようにしてもよい。

また、上記実施例１，２において、ビデオカメラにマイクを通じて入力された音声信号に対して音声遅延制御を行うことで、フレーム画像とのずれを低減することが可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

動画撮像中の静止画撮像によって生じた欠落フレームを補間する場合に違和感の少ない再生動画を提供できる撮像装置を実現することができる。

１０１ 光学系
１０２ メカニカルシャッタ
１０３ 撮像素子
１０８ 信号処理回路
１０９ 画像メモリ
１１１ 記録回路
１１２ 画像表示部
１１４ システム制御部
１１７ 撮像操作部
８０５ 動き検出回路
８０６ 一時保持バッファ回路
８０７ セレクタ

Claims (4)

1. 動画の撮像中に静止画の撮像が可能な撮像装置であって、
   動画撮像中において静止画撮像を指示するために操作される撮像指示手段と、
   前記動画を構成するフレーム画像を一時的に保持する画像保持手段と、
   前記動画中の被写体の動きを検出する検出手段と、
   該検出手段により検出された前記被写体の動きに関する判定を行う判定手段と、
   前記動画撮像中に前記撮像指示手段により前記静止画撮像が指示された場合において、静止画の撮像処理を行うために動画にて欠落したフレームを前記画像保持手段に保持されたフレーム画像によって補間する場合を、前記被写体の移動速度が所定速度より遅い場合とする制御手段とを有することを特徴とする撮像装置。
2. 前記制御手段は、前記画像保持手段に保持された複数のフレーム画像から、前記欠落したフレームを補間するためのフレーム画像を前記判定手段による判定結果に基づいて選択することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記被写体の大きさあるいは該被写体の動きの方向に関する判定を行うことを特徴とする請求項１又は２に記載の撮像装置。
4. 動画の撮像中に静止画の撮像が可能な撮像装置であり、前記動画を構成するフレーム画像を一時的に保持する画像保持手段を有する撮像装置の制御方法であって、
   前記動画中の被写体の動きを検出する検出ステップと、
   該検出ステップにより検出された前記被写体の動きに関する判定を行う判定ステップと、
   動画撮像中に静止画撮像の指示がなされた場合において、該静止画の撮像処理を行うために前記動画にて欠落したフレームを前記画像保持手段に保持されたフレーム画像によって補間する場合を、前記被写体の移動速度が所定速度より遅い場合とするステップとを有することを特徴とする撮像装置の制御方法。