JP6559014B2 - 撮像装置、その制御方法及びプログラム - Google Patents

Description

本発明は、静止画撮影に連動して動画を記録する動画同時記録モードを実行可能な撮像装置、その制御方法及びプログラムに関する。

近年、家庭用ビデオカメラやデジタルスチルカメラ等の撮像機器が一般に普及している。その中には、静止画撮影機能及び動画撮影機能の双方を搭載した機種も多く、ユーザにとって有益な機能となっている。
通常は、静止画撮影及び動画撮影はユーザの指示により開始され、静止画及び動画それぞれの記録開始の指示手段を有する。また、静止画撮影を指示すると、例えば静止画撮影前後の動画を同時に記録する撮像装置も提案されており、ユーザは動画の撮影指示を意識することなく、静止画及び動画をそれぞれ楽しむことができる。

特許文献１には、動画撮影中にフラッシュ静止画撮影が行なわれる場合には、Ｂフレーム中のいずれかのタイミングでフラッシュを発光させてフラッシュ静止画撮影を行なう構成が開示されている。
特許文献２には、動画撮影中における静止画撮影がストロボ発光を伴うか否かを判断し、ストロボ発光を伴うと判断された場合、少なくともストロボ発光している間、動画撮影を一時停止させる構成が開示されている。

特開２００５−１１７０９５号公報 特開２００８−２９５０９８号公報

静止画撮影に連動して動画を記録する動画同時記録モードにおいて、例えば静止画撮影の際にフラッシュを発光させた場合、同時記録する動画はフラッシュの発光前後で暗い映像となっている可能性が高く、ユーザにとって有用な動画とならないことがある。
特許文献１では、フラッシュ撮影を行う際にフラッシュを発光させたフレームを除外しやすいタイミングで光らせるものであり、フラッシュ撮影の静止画と動画の両立を考慮したものではない。
また、特許文献２では、ストロボ発光させるたびに動画撮影を停止させるので、肝心のシーンの動画が撮影できないおそれがある。

本発明は上記のような点に鑑みてなされたものであり、静止画撮影に連動して動画を記録する動画同時記録モードにおいて、静止画に準じた画像を含む動画を記録できるようにすることを目的とする。

本発明の撮像装置は、動画同時記録モード時に、静止画撮影に連動して同時記録動画を記録する動画記録手段と、静止画撮影により撮影した静止画から挿入画像を生成する生成手段と、前記同時記録動画に、前記生成手段で生成した挿入画像を挿入する挿入手段とを備え、前記静止画撮影の撮影条件が所定の条件である場合、前記同時記録動画に、前記挿入画像を挿入して記録することを特徴とする。

本発明によれば、静止画撮影に連動して動画を記録する動画同時記録モードにおいて、同時記録動画に、静止画から生成した挿入画像を挿入するようにしたので、静止画に準じた画像を含む動画を記録することができ、ユーザにとって有用な動画を提供することができる。

第１の実施形態に係るデジタルカメラの構成を示す図である。 第１の実施形態に係るデジタルカメラによる動画同時記録モードでの撮影フローを示すフローチャートである。 画像データの流れを示す図である。 メモリの状態を説明するための図である。 記録媒体に記録する動画のイメージを示す図である。 ホワイトバランスの白検出範囲を説明するための図である。 ストップモーション映像データの生成処理におけるデータフローを示す図である。 第２の実施形態に係るデジタルカメラによる動画同時記録モードでの撮影フローを示すフローチャートである。 被写体輝度算出に関する枠設定を示す図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
＜第１の実施形態＞
図１は、本発明を適用した撮像装置である実施形態に係るデジタルカメラ１００の構成を示す図である。
１０は撮影レンズである。１２は絞り機能を備える機械式シャッターである。１４は撮像素子であり、光学像を電気信号に変換する。１６はＡ／Ｄ変換器であり、撮像素子１４のアナログ信号出力をデジタル信号に変換する。１８はタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御され、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給する。機械式シャッター１２以外にも、タイミング発生回路１８による撮像素子１４のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影等に使用可能である。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ、或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０により画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらに、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。
２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をオン／オフすることが可能であり、表示をオフにした場合にはデジタルカメラ１００の電力消費を大幅に低減することができる。

３０は撮影した静止画データや動画データを格納するためのメモリであり、所定枚数の静止画や所定時間の動画を格納するのに十分な記憶量を備える。これにより、複数枚の静止画を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。
３１はＦｌａｓｈ ＲＯＭ等により構成される不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ３１内には、システム情報を記憶する領域や、ユーザ設定情報を記憶する領域を設け、様々な情報や設定を次回起動時に読み出して、復元することを実現している。
３２は圧縮・伸長回路であり、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は露光制御部であり、機械式シャッター１２を制御する。露光制御部４０は、フラッシュ４８と連動することによりフラッシュ調光機能も有する。４２は測距制御部であり、撮影レンズ１０のフォーカシングを制御する。４４はズーム制御部であり、撮影レンズ１０のズーミングを制御する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御され、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。
５０はシステム制御回路であり、デジタルカメラ１００全体を制御する。

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせにより構成される。
ここで、これらの操作部の具体的な説明を行う。
６０はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、動画同時記録モード等の各機能モードを切り替え設定することができる。
６２はシャッタースイッチＳＷ１であり、レリーズボタンの操作途中（半押し）でオンとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。６４はシャッタースイッチＳＷ２であり、レリーズボタンの操作完了（全押し）でオンとなる。フラッシュ撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。そして、読み出し処理、現像処理、記録処理という一連の処理の動作開始を指示する。読み出し処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。現像処理では、画像処理回路２０やメモリ制御回路２２での演算を用いた現像を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、次に記録媒体２００に画像データを書き込む。
６６は表示切替スイッチであり、画像表示部２８の表示切替をすることができる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。
７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部である。操作部７０としては、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン等がある。また、操作部７０としては、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等もある。
７２はズームスイッチであり、ユーザが撮像画像の倍率変更指示を行うときに用いられる。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとを備える。ズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理等による撮像画角の電子的なズーミング変更のトリガともなる。

８６は電源であり、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等により構成される。
９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。
１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。
１１０は通信部であり、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信部１１０によりデジタルカメラ１００を他の機器と接続するコネクタ、或いは無線通信の場合はアンテナである。
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等により構成される記録部２０２、デジタルカメラ１００とのインタフェース２０４、デジタルカメラ１００と接続を行うコネクタ２０６を備える。

図２は、実施形態に係るデジタルカメラ１００による動画同時記録モードでの撮影フローを示すフローチャートである。
システム制御回路５０は、モードダイアルスイッチ６０の状態を調べ、動画同時記録モードであれば、図２に示す動画同時記録モードに入る。
動画同時記録モードは、静止画撮影に連動して動画を記録するものであり、本実施形態では、静止画撮影の直前の動画を記録する。以下では、動画同時記録モードにおいて静止画撮影に連動して記録する動画を、同時記録動画と称する。
ステップＳ１０１で、システム制御回路５０は、動画データのエンコード処理を開始して、メモリ３０内に配置された動画用のバッファ領域に書き込む。動画用のバッファ領域は記憶できる容量に限りがあるため、最後まで書き込んだら先頭に戻り、古い動画データを上書きして、常に所定秒数分の動画データを記憶する。

ステップＳ１０２で、システム制御回路５０は、静止画レリーズ指示を待つ。静止画レリーズ指示が行われると、ステップＳ１０３で、システム制御回路５０は、動画データのエンコードを停止させる。この時点では、バッファ領域に直前の動画（同時記録動画）データが所定秒数分記憶されたままとなっている。
ステップＳ１０４で、システム制御回路５０は、バッファ領域に記憶されている同時記録動画データの最終ホワイトバランス制御値をCxMov、CyMovとして記憶する。ホワイトバランス処理の詳細については、図６を用いて後述する。
ステップＳ１０５で、システム制御回路５０は、フラッシュ発光の有無を判定する。フラッシュ発光が必要と判断すると、ステップＳ１０６でフラッシュ４８を発光させると同時に、ステップＳ１０７で静止画撮影を行い、静止画データをメモリ３０に記憶する。フラッシュ発光が必要でないと判断すると、ステップＳ１０７で静止画撮影を行い、静止画データをメモリ３０に記憶する。

ステップＳ１０８で、システム制御回路５０は、静止画撮影が複数枚の静止画を合成する合成モードあるか否かを判定する。合成モードであれば、ステップＳ１０９で複数枚の静止画を撮影し、ステップＳ１１０で静止画の合成処理を行った後、ステップＳ１１１に進む。この合成処理は、ハイダイナミックレンジ撮影、合成手振れ補正、高感度合成、パノラマ合成や部分ホワイトバランス合成撮影等が含まれる。合成モードでなければ、ステップＳ１１１に進む。
ステップＳ１１１で、システム制御回路５０は、ストップモーション映像用のホワイトバランス制御値CxCap、CyCapを算出する。本実施形態では、後述するように静止画撮影により撮影した静止画から挿入画像としてストップモーション映像を生成し、同時記録動画に挿入する。この場合に、ストップモーション映像のホワイトバランス制御値CxCap、CyCapが同時記録動画の最終ホワイトバランス制御値CxMov、CyMovから離れると、ストップモーション映像と同時記録動画の色味が異なり、再生時に違和感を与えてしまう。そこで、ストップモーション映像のホワイトバランス制御値が、同時記録動画の最終ホワイトバランス制御値から著しく変わらないように、以下の式により所定の範囲内に収まるように制限を掛ける。
CxDiff = |CxMov - CxCap|
CyDiff = |CyMov - CyCap|
CxDiff > CxRef であれば CxCap = CxMov CxRef：ＷＢ制御差基準値
CyDiff > CyRef であれば CyCap = CyMov CyRef：ＷＢ制御差基準値

ステップＳ１１２で、システム制御回路５０の制御下、ステップＳ１０７でメモリ３０に記憶した静止画データを画像処理回路２０で現像し、記録媒体２００に記録する。ここで現像した静止画データはストップモーション映像の生成に使用するので、メモリ３０に記憶した状態のまま保持しておく。
ステップＳ１１３で、システム制御回路５０は、同時記録動画にストップモーション映像を挿入するか否かを判定する。静止画撮影においてフラッシュ発光させた場合や合成モードである場合、ステップＳ１１４に進み、そうでない場合、ステップＳ１１７に進む。

ステップＳ１１４で、システム制御回路５０は、動画用のバッファ領域に記憶された静止画撮影の直近３秒分の同時記録動画データを記録媒体２００に記録する。
ステップＳ１１５で、システム制御回路５０は、メモリ３０に記憶されている静止画データから、ステップＳ１１１で算出したホワイトバランス制御値を適用した１秒分のストップモーション映像データを生成、エンコードする。ストップモーション映像データの生成処理については、図７を用いて詳細に後述する。
ステップＳ１１６で、システム制御回路５０は、ステップＳ１１５で生成したストップモーション映像データを記録媒体２００に記録する。
一方、ステップＳ１１７で、システム制御回路５０は、動画用のバッファ領域に記憶されている静止画撮影の直近４秒分の同時記録動画データを記録媒体２００に記録する。
本実施形態では、同時記録動画を１シーン４秒としており、ストップモーション映像を挿入する場合は、静止画撮影の直近３秒分の同時記録動画に加えて１秒分のストップモーション映像を挿入する例としている。しかしながら、記録時間に関してはこの限りでなく、他の時間設定やユーザが指定する時間であってもよい。

図３は、実施形態に係るデジタルカメラ１００での画像データの流れを示す図である。
動画記録を行うときは、撮影レンズ１０を通して撮像素子１４に結像した映像を画像処理回路２０で画像処理し、フレーム単位の動画データをメモリ３０に書き込む。複数フレームの動画データを圧縮・伸長回路３２を使用して動画圧縮処理を行ってメモリ３０に書き戻し、インタフェース９０を介して記録媒体２００に書き込む。
静止画記録を行うときは、フラッシュ発光が必要であればフラッシュ４８を発光させて被写体を照明し、撮影レンズ１０を通して撮像素子１４に結像した映像を画像処理回路２０で画像処理し、静止画データをメモリ３０に書き込む。合成モードであるときは、静止画データをメモリ３０に複数枚記憶させ、メモリ３０に書き込まれた複数枚の静止画データを画像処理回路２０で合成処理を行ってメモリ３０に書き戻す。メモリ３０に記憶した静止画データを圧縮・伸長回路３２を使用して静止画圧縮処理を行ってメモリ３０に書き戻し、インタフェース９０を介して記録媒体２００に書き込む。
ストップモーション映像記録時には、静止画撮影時にメモリ３０に記憶した静止画、又は合成処理を行った後の静止画をストップモーション映像の生成に必要な所定フレーム数コピーして、メモリ３０に書き込む。ストップモーション映像用にコピーした静止画をメモリ３０から順次読み出し、圧縮・伸長回路３２を使用して動画圧縮を行ってメモリ３０に書き戻し、インタフェース９０を介して記録媒体２００内に記録した同時記録動画に挿入するように書き込こむ。

図４は、各状態でのメモリの状態を説明するための図である。
静止画撮影待機４０１で、動画データを順次エンコードしてメモリ３０に書き込んでいる。動画用のバッファ領域の終端まで書き込んだら、先頭に戻って書き込みを続けるリングバッファ書き込みを行う。
静止画レリーズ指示４０２で、動画データのエンコードを停止させるとともに、静止画を現像処理してＹＵＶ画像に変換後、メモリ３０に書き込む。
静止画現像４０３で、メモリ３０に書き込んだ静止画ＹＵＶ画像を圧縮して静止画圧縮画像を生成する。
ファイル書き出し４０４で、メモリ３０に書き込んだ静止画圧縮画像及び動画圧縮映像を記録媒体２００に書き込み、バッファ領域を空の状態にする。
ストップモーション作成４０５で、空いたバッファ領域上に静止画ＹＵＶ画像をストップモーション映像の生成に必要な所定フレーム数コピーして書き込み、動画圧縮を行ってストップモーション映像とする。
ストップモーション追記４０６で、ストップモーション映像を記録媒体２００に書き込む。

図５は、記録媒体２００に記録する動画のイメージを示す図である。
図５（ａ）はストップモーション映像を挿入していない、通常の同時記録動画である。この動画は、静止画撮影直前の４秒分を記録したものである。
図５（ｂ）はストップモーション映像を挿入している、同時記録動画である。前３秒は静止画撮影直前の３秒分で、残り１秒は撮影した静止画から生成したストップモーション映像である。動画用のバッファ領域には静止画直前の４秒分の動画を記憶しているが、このときは４秒分のうち後ろ３秒分を記録している。
すなわち、図５（ａ）、（ｂ）いずれの場合も、１シーン当たりの同時記録動画の記録時間（秒数）は等しい。

図６を用いて、ホワイトバランス処理の詳細について説明する。図６は、ホワイトバランスの白検出範囲を説明するための図である。
動画及び静止画のホワイトバランス処理は、図６の点線で示される白検出範囲６０１に収まっているか否かを判定する。
撮影画面全体をＧ１／Ｒ／Ｂ／Ｇ２による２×２画素の正方ブロックで分割し、各ブロックが白検出範囲６０１内であるか否かを判定する。白判定は、以下の式により行う。
入力ブロック2x2画素 Pix_G1, Pix_R, Pix_B, Pix_G2
白評価値Cx = (Pix_R - Pix_B) / (Pix_G1 + Pix_R + Pix_B + Pix_G2)
Cy = ( (Pix_R + Pix_B) - (Pix_G1 + Pix_G2) ) /
(Pix_G1 + Pix_R + Pix_B + Pix_G2)

求めた(Cx,Cy)を図６の座標系にプロットし、白検出範囲内であれば、白画素と判定し、白積分の対象とする。
Sum_G1 = Sum_G1 + Pix_G1(白画素)
Sum_R = Sum_R + Pix_R(白画素)
Sum_B = Sum_B + Pix_B(白画素)
Sum_G2 = Sum_G2 + Pix_G2(白画素)

有効領域全画素を対象に白判定・積分を行って求めた白積分値に対し、ホワイトバランス制御ゲインは以下のように求める。
Sum_Y = (Sum_G1 + Sum_R + Sum_B + Sum_G2) / 4
WBgain_G1 = Sum_Y / Sum_G1
WBgain_R = Sum_Y / Sum_R
WBgain_B = Sum_Y / Sum_B
WBgain_G2 = Sum_Y / Sum_G2
これらのホワイトバランス制御ゲインを画像データに乗算して、ホワイトバランス処理を行う。

図７を用いて、ストップモーション映像の生成処理について説明する。図７は、ストップモーション映像データの生成処理におけるデータフローを示す図である。
静止画撮影したＹＵＶ画像を、ステップＳ１１１で算出したホワイトバランス制御値を適応させるため、ステップＳ７０１でホワイトバランス制御値ゲインを乗算する。ステップＳ７０２で静止画サイズから動画サイズにリサイズし、ステップＳ７０３でストップモーション映像用ＹＵＶデータをメモリ３０に書き込む。ステップＳ７０４で、このＹＵＶデータをストップモーション保持期間分コピーする。ステップＳ７０５で、ステップＳ７０４でコピーした画像を順次動画圧縮回路に入力し、ストップモーション映像データが生成される。
例えば、動画のフレームレートが３０ｆｐsでストップモーション映像を１秒生成するには、ステップＳ７０４での画像コピーを２９回行い、合計３０枚の画像を動画圧縮し、ストップモーション映像とする。

動画同時記録モード時に、例えば静止画撮影の際にフラッシュを発光させた場合、同時記録動画は暗い映像となっている可能性が高い。また、合成モードで静止画撮影を行った場合、同時記録動画には合成による効果が反映されない。そこで、このような場合に、同時記録動画に、静止画から生成したストップモーション映像を挿入するようにした。これにより、静止画に準じた画像を含む動画を記録することができ、ユーザにとって有用な動画を提供することができる。

＜第２の実施形態＞
第１の実施形態では、静止画撮影の撮影条件に応じて、具体的にはフラッシュ発光による照明を行う場合、及び静止画撮影が合成モードである場合に、同時記録動画にストップモーション映像を挿入するようにした。
第２の実施形態では、静止画撮影により撮影した静止画での被写体条件と、同時記録動画での被写体条件とに応じて、同時記録動画にストップモーション映像を挿入する。
第２の実施形態に係るデジタルカメラ１００の構成及び基本的な処理動作は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明する。

図８は、実施形態に係るデジタルカメラ１００による動画同時記録モードでの撮影フローを示すフローチャートである。なお、図２に示した撮影フローと同様の処理には同一の符号を付し、その説明を省略する。
ステップＳ１０３で動画データのエンコードを停止させた後、ステップＳ１０４で、同時記録動画の最終ホワイトバランス制御値をCxMov、CyMovとして記憶し、また、ステップＳ２０１で同時記録動画の最終フレーム画像から、被写体輝度Ymovを算出する。被写体輝度の算出処理の詳細については、図９を用いて詳細に後述する。
また、ステップＳ１０７で静止画撮影を行った後、ステップＳ１１１で、ストップモーション映像用のホワイトバランス制御値CxCap、CyCapを算出し、また、ステップＳ２０２で、静止画の被写体輝度Ycapを算出する。

ステップＳ１１３に替えたステップＳ２０３で、システム制御回路５０は、同時記録動画にストップモーション映像を挿入するか否かを判定する。同時記録動画の被写体輝度Ymovと静止画の被写体輝度Ycapとを比較して、以下の式に示すように、その差が所定のレベル以上である場合、ステップＳ１１４に進み、そうでない場合、ステップＳ１１７に進む。
Ydiff = |Ycap - Ymov|
Ydiff > Yref であれば、ストップモーション追記 Yref：輝度差の基準レベル

図９を用いて、被写体輝度の算出処理について説明する。図９は、被写体輝度の算出に関する枠設定を示す図である。
被写体が人物である場合、顔周辺の輝度を算出する。公知の顔検出処理により人物の顔位置情報を得て、図７（ａ）に示すように、顔周辺に枠９０１を配置する。枠９０１ごとに積分値を算出し、図７（ｂ）に示すように、顔として認識している枠９０１の積分値の総和を求め、顔の輝度を算出する。
積分は色ごと（Ｇｒ／Ｒ／Ｂ／Ｇｂ）に行い、ｍ（行番号）×ｎ（列番号）ブロックの場合、以下のようになる。
Block_Gr[m,n]
Block_R[m,n]
Block_B[m,n]
Block_Gb[m,n]

ブロックごとに輝度値を以下の式で求める。
Block_Y[m,n] = ( Block_Gr[m,n] × 3 ＋ Block_R[m,n] × 3 ＋
Block_B[m,n] ＋ Block_Gb[m,n] × 3 ) ／ 10

各ブロックの輝度が求め、顔がある部分だけのBlock_Y平均値を求めることで、顔の輝度とする。この輝度算出に従って、動画最終フレームからYmov、静止画からYcapを求め、YmovとYcapとの差からストップモーション映像を挿入するか否かを判定する。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば上記実施形態では、動画同時記録モードとして、静止画撮影の直前の動画を記録する例を説明したが、静止画撮影の前後や、静止画撮影の直後の動画を記録する場合にも本発明は適用可能である。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (13)

1. 動画同時記録モード時に、静止画撮影に連動して同時記録動画を記録する動画記録手段と、
   静止画撮影により撮影した静止画から挿入画像を生成する生成手段と、
   前記同時記録動画に、前記生成手段で生成した挿入画像を挿入する挿入手段とを備え、
   前記静止画撮影の撮影条件が所定の条件である場合、前記同時記録動画に、前記挿入画像を挿入して記録することを特徴とする撮像装置。
2. 前記所定の条件は、前記静止画撮影の際に照明を行うことであることを特徴とする請求項１に記載の撮像装置。
3. 前記所定の条件は、前記静止画撮影が複数枚の静止画を合成する合成モードであることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記合成モードは、ハイダイナミックレンジ撮影、合成手振れ補正、高感度合成、パノラマ合成、部分ホワイトバランス合成撮影の全て又はいずれかであることを特徴とする請求項３に記載の撮像装置。
5. 前記静止画撮影により撮影した静止画での被写体条件と、前記同時記録動画での被写体条件とを比較して、所定の条件を満たす場合、前記同時記録動画に、前記挿入画像を挿入することを特徴とする請求項１に記載の撮像装置。
6. 前記被写体条件は被写体輝度であり、その差が所定のレベル以上である場合、前記同時記録動画に、前記挿入画像を挿入することを特徴とする請求項５に記載の撮像装置。
7. 前記挿入画像を挿入する場合、前記同時記録動画の記録時間を、前記挿入画像を挿入しない場合に比べて短くすることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記挿入画像を挿入した同時記録動画の記録時間と、前記挿入画像を挿入しない同時記録動画の記録時間とを等しくすることを特徴とする請求項７に記載の撮像装置。
9. 前記挿入画像のホワイトバランス制御値は、前記同時記録動画のホワイトバランス制御値から所定の範囲内に収めることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記同時記録動画をメモリの領域から記録媒体に書き出した後に、前記挿入画像を同領域に生成し、前記記録媒体に書き込むことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記挿入画像は、前記静止画撮影により撮影した静止画から生成したストップモーション映像であることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 動画同時記録モード時に、静止画撮影に連動して同時記録動画を記録するステップと、
    静止画撮影により撮影した静止画から挿入画像を生成するステップと、
    前記同時記録動画に、前記生成した挿入画像を挿入するステップとを有し、
    前記静止画撮影の撮影条件が所定の条件である場合、前記同時記録動画に、前記挿入画像を挿入して記録することを特徴とする撮像装置の制御方法。
13. 動画同時記録モード時に、静止画撮影に連動して同時記録動画を記録する処理と、
    静止画撮影により撮影した静止画から挿入画像を生成する処理と、
    前記同時記録動画に、前記生成した挿入画像を挿入する処理とをコンピュータを実行させ、
    前記静止画撮影の撮影条件が所定の条件である場合、前記同時記録動画に、前記挿入画像を挿入して記録することを特徴とするプログラム。

Images