JP4936816B2 - 撮像装置及び同時表示制御方法 - Google Patents

Description

本発明は、動画の撮影中に静止画を撮影可能な撮像装置及び該撮像装置にて用いられる同時表示制御方法に関する。

近年、動画の撮影中に静止画を同時に撮影可能なデジタルビデオカメラ等の撮像装置が提案され、これに関する開発が盛んである。この静止画の撮影は、動画の撮影を中断することなく行われる。この種の撮像装置は、ＣＣＤ（Charge Coupled Devices）などから成る撮像部と、液晶ディスプレイなどから成る表示部（何れも不図示）とを備え、動画の撮影中において撮影した動画を表示部に表示する。そして、動画の撮影中に静止画を撮影した場合、その静止画を動画と共に表示画面上に同時表示する手法も提案されている（例えば、下記特許文献１〜３参照）。

この場合、通常、表示画面上において、動画の中に静止画の縮小画像が重畳して表示される。これは、一般的に、ＰｉｎＰ（ピクチャインピクチャ）表示と呼ばれる。このＰｉｎＰ表示を行うことで、動画の撮影状態を確認しつつ静止画の撮影結果を確認することが可能となる。尚、同時撮影した静止画を一定期間だけ表示画面全体を使って表示する手法も考えられるが、その場合、その期間中に動画撮影の構図を確認できないため、構図が意図したものからずれてしまう惧れがある。

特開２００１−３３３３０１号公報 特開２００４−１４０８７９号公報 特許第３６３０８６２号公報

ＰｉｎＰ表示が可能な従来の撮像装置では、通常、表示画面上における静止画の縮小画像の表示領域（表示位置）が定められており、その表示領域に静止画の縮小画像がＰｉｎＰ表示される。しかしながら、この場合、静止画の表示領域に撮影者が注目している被写体が存在していると、ＰｉｎＰ表示された静止画が邪魔になって動画の撮影に支障をきたす場合がある（その被写体を見失う等）。

また、このような問題は、静止画の中に動画をＰｉｎＰ表示する場合にも発生する。つまり、静止画と動画のいずれをＰｉｎＰ表示するにせよ、単純にＰｉｎＰ表示したのでは、確認したい部分がＰｉｎＰ表示によって隠れてしまうという弊害が発生しうる。

そこで本発明は、動画と静止画を同時に表示することによる弊害の抑制に寄与する撮像装置及びこれに用いられる同時表示制御方法を提供することを目的とする。

上記目的を達成するために本発明に係る撮像装置は、撮影によって得られた画像情報を出力する撮像手段と、前記画像情報に基づく画像を表示する表示手段と、動画の撮影中に静止画を撮影した際、前記動画と前記静止画の双方が前記表示手段の表示画面上に同時表示されるように前記表示手段の表示内容を制御する同時表示制御手段と、備えた撮像装置において、前記同時表示制御手段は、前記画像情報に基づいて、前記表示画面上において同時表示させる前記動画と前記静止画の表示領域を決定することを特徴とする。

撮像手段から得られる画像情報に基づくことにより、画像のどの部分に撮影者が注目している被写体が存在しているか或いは存在していないか等を、ある程度推測することが可能である。これに鑑み、同時表示させるべき動画と静止画の表示領域を、画像情報に基づいて動的に決定する。これにより、同時表示によって一方の画像の確認したい部分が他方の画像によって隠されてしまう、といった問題発生の抑制効果を期待できる。

具体的には例えば、前記同時表示制御手段は、前記画像情報に基づいて、前記撮像手段の撮影画像内に設けられた動き検出領域内の画像の動き量を検出する動き検出手段を備え、その動き量の検出結果に基づいて、前記表示画面上において同時表示させる前記動画と前記静止画の表示領域を決定する。

より具体的には例えば、前記動き検出領域は、複数の動き検出領域から成り、前記動き検出手段は、前記複数の動き検出領域の夫々について、画像の動き量を検出して該動き量に応じた動き評価値を算出し、前記同時表示制御手段は、前記動き検出領域ごとに算出された前記動き評価値に基づくことによって、前記表示画面上において同時表示させる前記動画と前記静止画の表示領域を決定する。

また具体的には例えば、前記同時表示制御手段は、前記画像情報に基づいて、前記撮像手段の撮影画像内に設けられた変化成分検出領域内の画像の空間方向の変化成分を検出する変化成分検出手段を備え、その変化成分の検出結果に基づいて、前記表示画面上において同時表示させる前記動画と前記静止画の表示領域を決定する。

より具体的には例えば、前記変化成分検出領域は、複数の変化成分検出領域から成り、前記変化成分検出手段は、前記複数の変化成分検出領域の夫々について、前記変化成分を検出して該変化成分に応じた変化成分評価値を算出し、前記同時表示制御手段は、前記変化成分検出領域ごとに算出された前記変化成分評価値に基づくことによって、前記表示画面上において同時表示させる前記動画と前記静止画の表示領域を決定する。

また具体的には例えば、前記同時表示制御手段は、前記画像情報に基づいて、前記撮像手段の撮影画像内に設けられた明るさ検出領域内の画像の明るさを検出する明るさ検出手段を備え、その明るさの検出結果に基づいて、前記表示画面上において同時表示させる前記動画と前記静止画の表示領域を決定する。

より具体的には例えば、前記明るさ検出領域は、複数の明るさ検出領域から成り、 前記明るさ検出手段は、前記複数の明るさ検出領域の夫々について、前記明るさを検出して該明るさに応じた明るさ評価値を算出し、前記同時表示制御手段は、前記明るさ検出領域ごとに算出された前記明るさ評価値に基づくことによって、前記表示画面上において同時表示させる前記動画と前記静止画の表示領域を決定する。

また例えば、前記同時表示制御手段は、前記静止画の撮影タイミングを基準とした所定のフレームの画像情報に基づいて、前記表示画面上において同時表示させる前記動画と前記静止画の表示領域を決定する。

また、上記目的を達成するために本発明に係る同時表示制御方法は、撮像装置を用いて動画の撮影中に静止画を撮影した際において前記動画と前記静止画の双方を前記撮像装置に備えられた表示手段の表示画面上に同時表示させる同時表示制御方法であって、前記撮像装置に設けられた撮像手段からの画像情報に基づいて、前記表示画面上において同時表示させる前記動画と前記静止画の表示領域を決定することを特徴とする。

本発明は、動画と静止画を同時に表示することによる弊害の抑制に寄与する。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

後に、第１〜第１０実施例を説明するが、まず、それらの全てに共通する内容について説明する。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク（音入力手段）１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、ＶＲＡＭ（Video Random Access Memory）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。

撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。

ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。

メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。

図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。撮像部１１は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り１２の開口量の調節を実現するためのモータ等から構成される。

被写体（撮像対象）からの入射光は、光学系３５を構成するズームレンズ３０及びフォーカスレンズ３１、並びに、絞り３２を介して撮像素子３３に入射する。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。

ＡＦＥ１２は、撮像部１１からのアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。このデジタル信号は、順次、映像信号処理部１３に送られる。尚、ＣＰＵ２３は、撮像部１１の出力信号の信号レベルに基づいて、ＡＦＥ１２における信号増幅の増幅度を調整する。

以下、撮像部１１またはＡＦＥ１２から出力される、撮影によって得られた信号（被写体に応じた信号）を、撮像信号と呼ぶ。撮像信号は、被写体に応じた光学像を表す画像情報と呼べる。

図３は、映像信号処理部１３の内部ブロック図である。映像信号処理部１３にて生成された各種の信号は、必要に応じてＣＰＵ２３に伝達される。映像信号処理部１３は、動画処理部４１と、静止画処理部４２と、動き検出処理部４３と、変化成分処理部４４と、明るさ処理部４５と、を備える。動画処理部４１及び静止画処理部４２は、ＡＦＥ１２からの撮像信号に基づいて、撮像部１１の撮影によって得られる映像（撮影画像）を表す映像信号を生成し、生成した映像信号を圧縮処理部１６に送る。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。

動画処理部４１は、動画の映像信号の生成を行う。この際、動画処理部４１は、動画用のデモザイキング処理、間引き処理等の画素数変換処理及び輪郭強調処理などを含む動画用の映像処理を実施する。静止画処理部４２は、静止画の映像信号の生成を行う。この際、静止画処理部４２は、静止画用のデモザイキング処理及び輪郭強調処理などを含む静止画用の映像処理を実施する。動き検出処理部４３、変化成分処理部４４及び明るさ処理部４５の機能については後述する。

図１において、マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。

圧縮処理部１６は、映像信号処理部１３（動画処理部４１及び静止画処理部４２）からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られる。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。

録画ボタン２６ａは、ユーザが動画（動画像）の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影を指示するための押しボタンスイッチである。録画ボタン２６ａに対する操作に従って動画撮影の開始及び終了が実施され、シャッタボタン２６ｂに対する操作に従って静止画撮影が実施される。１つのフレームにて１つのフレーム画像が得られる。各フレームの長さは、例えば１／６０秒である。この場合、１／６０秒のフレーム周期にて順次取得されるフレーム画像の集まり（ストリーム画像）が、動画を構成する。

撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号（図３の動画処理部４１にて生成された映像信号）及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。つまり、音声信号と共に、各フレームの撮影画像（即ちフレーム画像）が順次メモリカード１８に格納される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。

また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下直後の１つのフレームの映像信号（図３の静止画処理部４２にて生成された映像信号）が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。動画の撮影中に静止画を同時撮影することも可能であり、この場合、同一のフレームの撮像信号に基づいて、動画に関する信号処理と静止画に関する信号処理が並行して行われる。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張し、伸張後の映像信号をＶＲＡＭ２０に書き込む。また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号はＶＲＡＭ２０に書き込まれる。

表示部２７は、液晶ディスプレイなどの表示装置であり、ＶＲＡＭ２０に書き込まれた映像信号に応じた画像を表示する。即ち、表示部２７は、撮像部１１から現在出力されている撮像信号に基づく画像（現在の被写体を表す画像）、または、メモリカード１８に記録されている動画（動画像）若しくは静止画（静止画像）を、表示する。

また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

尚、映像信号処理部１３は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたＡＦ評価値を検出するＡＦ評価値検出回路、撮影画像の明るさに応じたＡＥ評価値を検出するＡＥ評価値検出回路などを含む。ＣＰＵ２３は、ＡＦ評価値に応じ、図２のドライバ３４を介してフォーカスレンズ３１の位置を調節することにより、被写体の光学像を撮像素子３３の撮像面（受光面）に結像させる。また、ＣＰＵ２３は、ＡＥ評価値に応じ、図２のドライバ３４を介して絞り３２の開口量（及び必要に応じてＡＦＥ１２の増幅度）を調節することにより、受光量（画像の明るさ）を制御する。

ところで、撮像装置１では、動画撮影中に静止画を撮影した際、表示部２７の表示画面上に、一時的に撮影中の動画と撮影した静止画とを同時に表示可能となっている。そして、特徴的な機能として、同時表示される動画と静止画の表示領域（表示位置）を、撮像信号（画像情報）に応じて動的に決定する機能（この機能を、以下、「表示領域決定機能」という）を備えている。

この表示領域決定機能を実施する際に定義される、表示画面の分割の仕方について、図４（ａ）及び（ｂ）を参照して説明する。図４（ａ）及び（ｂ）において、ＡＲ_Wは、表示部２７の表示画面の全体領域を表す。図４（ｂ）において、領域ＡＲ１、ＡＲ２、ＡＲ３及びＡＲ４は、夫々、全体領域ＡＲ_W内の一部の領域であり、それらの領域は互いに異なる。領域ＡＲ１、ＡＲ２、ＡＲ３、ＡＲ４は、夫々、全体領域ＡＲ_Wの左上隅、右上隅、左下隅、右下隅に配置される。

表示領域決定機能を実施する際、同時撮影された静止画は、領域ＡＲ１、ＡＲ２、ＡＲ３及びＡＲ４の何れかの領域に縮小表示され、撮影中の動画は、静止画が縮小表示された領域を除く全体領域ＡＲ_W内に表示される。図５（ａ）は、撮影中の動画が全体領域ＡＲ_Wの全てを使って表示されている場合の表示画面例を表す。図５（ｂ）は、表示領域決定機能が実施され、領域ＡＲ２に静止画が同時表示されている場合の表示画面例を表す。領域ＡＲ２に静止画が同時表示されている時、同時表示されなかったならば領域ＡＲ２に表示されるべきであった動画の一部分は、静止画に隠れて表示されない。つまり、表示画面上において、動画の一部に静止画が重畳して表示される。これは、一般的にＰｉｎＰ（ピクチャインピクチャ）表示と呼ばれる。この静止画は、主として、所望の静止画を撮影できたか、或いは、ピントがあった静止画を撮影できたかなどの撮影状態確認用の画像として利用される。

そして、同時撮影した静止画を領域ＡＲ１、ＡＲ２、ＡＲ３及びＡＲ４の何れの領域に表示するかは、その静止画の撮影タイミングを基準とした所定の評価フレームの撮像信号（画像情報）に基づいて、選択される。選択された領域を、以下、選択領域α（ＰｉｎＰ表示領域）という。撮影中の動画は選択領域αを除いた領域に表示されるので、この選択によって同時に動画の表示領域も定まる。この選択手法例を、後の各実施例にて説明する。

動画撮影においては、図６に示す如く、所定のフレーム周期が経過するごとに、第（ｋ−１）、第ｋ、第（ｋ＋１）、第（ｋ＋２）・・・フレームが、順次、この順番で訪れる。「第（ｋ−１）、第ｋ、第（ｋ＋１）、第（ｋ＋２）・・・フレーム」にて撮影されたフレーム画像を、夫々、「第（ｋ−１）、第ｋ、第（ｋ＋１）、第（ｋ＋２）、・・・フレーム画像」と呼ぶ（ｋは整数）。

そして、動画撮影中に静止画撮影が指示され、第ｋフレーム画像に基づいて、メモリカード１８に記録すべき且つ選択領域αに表示すべき静止画が取得された場合を想定する（この想定は、後述する各実施例において共通して実施される）。この場合、選択領域αを選択する上で参照される、上記の評価フレームは、典型的には、第ｋフレームを含む。但し、第ｋフレームの数フレーム〜数１０フレーム前や数フレーム〜数１０フレーム後のフレームを、上記の評価フレームに含めることも可能である。

次に、動き検出処理部４３などにて定義される、動画の各フレーム画像内の検出ブロックを、図７を参照して説明する。例えば、フレーム画像の夫々を、（Ｉ×Ｊ）個の検出ブロックにて分割する。図７は、或る１つのフレーム画像に関する検出ブロックを表したものである。図７に示す如く、垂直方向の分割数としてのＩが６であり、且つ、水平方向の分割数としてのＪが８である場合を想定するものとする。また、説明の簡略化上、各検出ブロックの形状及び大きさが同じであるものとする。従って、検出ブロックを形成する垂直方向の画素数及び水平方向の画素数は、異なる検出ブロック間で同一である。

各フレーム画像における、検出ブロックの配列をＩ行Ｊ列の行列として捉え、各検出ブロックをＢＬ［ｉ，ｊ］で表す。ここで、ｉは、フレーム画像内における検出ブロックの垂直位置を表し、１〜Ｉの間の各整数をとる。ｊは、フレーム画像内における検出ブロックの水平位置を表し、１〜Ｊの間の各整数をとる。各フレーム画像において、ｉが小さい検出ブロックほど、その検出ブロックはフレーム画像の原点Ｘに近く、ｊが小さい検出ブロックほど、その検出ブロックはフレーム画像の原点Ｘに近いものとする。

そして、図４（ｂ）を参照して、検出ブロックＢＬ［１，１］側に領域ＡＲ１が設けられ、検出ブロックＢＬ［１，８］側に領域ＡＲ２が設けられ、検出ブロックＢＬ［６，１］側に領域ＡＲ３が設けられ、検出ブロックＢＬ［６，８］側に領域ＡＲ４が設けられるものとする。

より具体的には、以下、表示領域決定機能を実施していない状態において、
検出ブロックＢＬ［１，１］、ＢＬ［２，１］、ＢＬ［１，２］及びＢＬ［２，２］内の撮影画像が表示画面内の領域ＡＲ１に表示され、
検出ブロックＢＬ［１，７］、ＢＬ［２，７］、ＢＬ［１，８］及びＢＬ［２，８］内の撮影画像が表示画面内の領域ＡＲ２に表示され、
検出ブロックＢＬ［５，１］、ＢＬ［６，１］、ＢＬ［５，２］及びＢＬ［６，２］内の撮影画像が表示画面内の領域ＡＲ３に表示され、
検出ブロックＢＬ［５，７］、ＢＬ［６，７］、ＢＬ［５，８］及びＢＬ［６，８］内の撮影画像が表示画面内の領域ＡＲ４に表示されるものとする。
勿論、この検出ブロックＢＬ［ｉ，ｊ］と領域ＡＲ１〜ＡＲ４との対応関係は例示であり、この対応関係を適宜変更することは可能である。

また、映像信号に含まれる輝度信号の値を、輝度値とよぶ。本実施形態で扱う画像を形成する或る画素に関し、その画素の輝度値が増加するに従って、その画素の輝度は増加するものとする。

以下、静止画の表示領域（表示位置）の選択手法を例示する実施例および撮像装置１の詳細動作を説明する実施例として、第１〜第１０実施例を説明する。

＜＜第１実施例＞＞
まず、第１実施例について説明する。第１実施例では、図３の動き検出処理部４３による処理結果を利用する。

動き検出処理部４３は、隣接するフレーム画像間の差分に基づき、代表点マッチング法を用いて、検出ブロックごとに動きベクトルを検出する。代表点マッチング法としては、例えば、特開昭６１−２０１５８１号公報に開示されている手法を用いればよい。この動きベクトルの検出は、フレーム画像ごとに行われる。第ｋフレーム画像の動きベクトルの検出は、第（ｋ−１）及び第ｋフレーム画像に基づいて行われる。

周知の如く、或る検出ブロックに関し、その検出ブロックにおける画像の動き量（動きの大きさ）は、動きベクトルの大きさに反映される。動き検出処理部４３は、検出ブロックごとに、動きベクトルの大きさを動き評価値として算出する。或る検出ブロックに関し、その検出ブロックにおける画像の動き量が増大するに従って、動きベクトルの大きさ及び動き評価値は増大するものとする。

そして、上述の第ｋフレームにて静止画が撮影された際、動き検出処理部４３は、第ｋフレームを基準とした所定の評価フレームのフレーム画像（例えば、第ｋフレームのフレーム画像）を評価画像とし、その評価画像における合計４８個の動き評価値の中から、最大の動き評価値を特定する。そして、その最大の動き評価値に対応する検出ブロックを特定する。続いて、動き検出処理部４３（又はＣＰＵ２３）は、図４（ｂ）に示す領域ＡＲ１〜ＡＲ４の内、その最大の動き評価値に対応する検出ブロックの中心から最も距離が遠い領域を、上記選択領域αとして選択する。

例えば、図８（ａ）及び（ｂ）に示すようなフレーム画像を含む動画を撮影していた場合を考える。図８（ａ）は、静止画撮影の直前のフレーム画像（即ち、第（ｋ−１）フレームのフレーム画像）１１１を表し、図８（ｂ）は、静止画撮影時のフレーム画像（即ち、第ｋフレームのフレーム画像）１１２を表す。フレーム画像の中央部の動き量が大きく、フレーム画像１１１と１１２間の動きベクトルに対応する合計４８個の動き評価値の内、検出ブロックＢＬ［４，４］に対応する動き評価値が最大であったとする。

この場合、動き検出処理部４３（又はＣＰＵ２３）は、検出ブロックＢＬ［４，４］の中心と領域ＡＲ１の中心との距離Ｄ１と、検出ブロックＢＬ［４，４］の中心と領域ＡＲ２の中心との距離Ｄ２と、検出ブロックＢＬ［４，４］の中心と領域ＡＲ３の中心との距離Ｄ３と、検出ブロックＢＬ［４，４］の中心と領域ＡＲ４の中心との距離Ｄ４と、を比較する（図９参照）。今の例の場合、距離Ｄ２が最も長いので、領域ＡＲ２を上記選択領域αとして選択する。この選択に従って、動画と静止画を同時表示した表示画面は、図５（ｂ）のようになる。

動画撮影時において、動き量が多い部分には、撮影者が着目している被写体が存在している可能性が高い。このため、その部分の近くに撮影状態確認用の静止画を表示すると、動画撮影に支障をきたす場合がある。例えば、表示画面上の静止画が邪魔になり、動画撮影において注目している被写体を見失う、といったことも発生しうる。これを考慮し、上記のように選択処理を行う。これにより、このような支障が発生しにくくなり、動画の撮影しやすさを阻害することなく静止画の撮影状態を確認することが可能となる。

尚、各検出ブロック内の動き量（動きの大きさ）を検出する手法として、代表点マッチング法を用いる手法を例示したが、他の様々な検出手法を採用することも可能である。

例えば、周知の如く、隣接するフレーム画像間の対比において、検出ブロックごとに明るさ（輝度信号）を比較し、各検出ブロックにおける明るさの変化に基づいて各検出ブロック内の画像の動き量を検出するようにしてもよい。また例えば、周知の如く、隣接するフレーム画像間の対比において、検出ブロックごとに色（色は映像信号から特定される）を比較し、各検出ブロックにおける色の変化に基づいて各検出ブロック内の画像の動き量を検出するようにしてもよい。これらの場合であっても、検出された動き量から上記動き評価値が算出される。

また、第１実施例においては、各検出ブロックを動き検出領域と捉えることができる。

＜＜第２実施例＞＞
次に、第２実施例について説明する。特記なき限り、第１実施例で記載した事項は、第２実施例でも適用される。第２実施例でも、図３の動き検出処理部４３による処理結果を利用する。但し、第２実施例では、領域ＡＲ１〜ＡＲ４内の画像の動き量に特に着目して、選択領域αを選択する。

例えば、上述の第ｋフレームにて静止画が撮影された際、動き検出処理部４３は、第ｋフレームを基準とした所定の評価フレームのフレーム画像（例えば、第ｋフレームのフレーム画像）を評価画像とし、その評価画像に関して領域ＡＲ１〜ＡＲ４に対応する動き評価値を領域ごとに算出する。

領域ＡＲ１に対応する動き評価値は、検出ブロックＢＬ［１，１］、ＢＬ［２，１］、ＢＬ［１，２］及びＢＬ［２，２］に対応する動き評価値の合算値とすることができ、
領域ＡＲ２に対応する動き評価値は、検出ブロックＢＬ［１，７］、ＢＬ［２，７］、ＢＬ［１，８］及びＢＬ［２，８］に対応する動き評価値の合算値とすることができ、
領域ＡＲ３に対応する動き評価値は、検出ブロックＢＬ［５，１］、ＢＬ［６，１］、ＢＬ［５，２］及びＢＬ［６，２］に対応する動き評価値の合算値とすることができ、
領域ＡＲ４に対応する動き評価値は、検出ブロックＢＬ［５，７］、ＢＬ［６，７］、ＢＬ［５，８］及びＢＬ［６，８］に対応する動き評価値の合算値とすることができる。

動き検出処理部４３（またはＣＰＵ２３）は、算出した領域ＡＲ１〜ＡＲ４に対応する４つの動き評価値の中から、最小の動き評価値を特定する。そして、動き検出処理部４３（又はＣＰＵ２３）は、領域ＡＲ１〜ＡＲ４の内、その最小の動き評価値に対応する領域を、上記選択領域αとして選択する。これによって、最も画像の動き量が少ない領域が選択領域αとして選択される。

動画撮影時において、動き量が多い部分には、撮影者が注目している被写体が存在している可能性が高い。このため、その部分に撮影状態確認用の静止画を表示すると、動画撮影に支障をきたす場合がある。これを考慮し、上記のように、最も画像の動き量が少ない領域を選択領域αとして選択する。これにより、動画の撮影しやすさを阻害することなく静止画の撮影状態を確認することが可能となる。

また、第２実施例では、領域ＡＲ１〜ＡＲ４に対応する検出ブロック以外の検出ブロック（例えば、ＢＬ［４，４］）についての動き量の検出を省略可能である。このため、第１実施例に比べて動き検出処理部４３の演算負荷が軽減され、集積回路の小型化などが図られる。

尚、第２実施例においては、領域ＡＲ１に対応する４つの検出ブロックと、領域ＡＲ２に対応する４つの検出ブロックと、領域ＡＲ３に対応する４つの検出ブロックと、領域ＡＲ４に対応する４つの検出ブロックとを、夫々、動き検出領域と捉えることができる。領域ＡＲ１に対応する４つの検出ブロックを、１つの検出ブロックと捉えても良い。領域ＡＲ２〜ＡＲ４についても同様である。

＜＜第３実施例＞＞
次に、第３実施例について説明する。第３実施例では、図３の変化成分処理部４４による処理結果を利用する。

図１０は、１つの検出ブロック（例えば、ＢＬ［１，１］）内の画素配列を示す図である。今、１つの検出ブロックが、Ｍ×Ｎの画素（水平方向にＭ画素及び垂直方向にＮ画素）から形成されるとする。Ｍ及びＮは、整数である。

変化成分処理部４４は、フレーム画像を形成する各画素の輝度値に対して、図１１に示すようなエッジ検出オペレータを適用することにより、各画素のエッジ値を求め、そのエッジ値を検出ブロックごとで合算することにより、各検出ブロックのエッジ成分評価値を求める。或る検出ブロックのエッジ成分評価値は、その検出ブロックの画像の模様の細かさ（コントラスト量）を表すことになる。そして、異なる検出ブロック間でエッジ成分評価値を対比することにより、選択領域αを定める。第３実施例及び後述する第４実施例における変化成分処理部４４は、エッジ成分処理部と呼ぶこともできる。

これを、より詳細に説明する。或る１つの検出ブロックについて着目する。変化成分処理部４４は、着目した検出ブロックを形成するＭ×Ｎの画素の夫々を、エッジ検出オペレータによる演算対象画素とする。但し、エッジ検出オペレータのマトリクスサイズに応じて、当該検出ブロックの端部の画素を演算対象画素から除外する。今の例の場合、演算対象画素の数は、（Ｍ−２）×（Ｎ−２）となる。

図１２に示す如く、演算対象画素の輝度値をＹ₅とし、演算対象画素の上下左右に隣接する４つの画素の輝度値をＹ₂、Ｙ₈、Ｙ₄及びＹ₆とし、演算対象画素の斜め方向に隣接する４つの画素の輝度値をＹ₁、Ｙ₃、Ｙ₇及びＹ₉とした場合、或る演算対象画素に対応するエッジ値Ｅ_Aは、下記式（１）にて表される。ここで、係数ｋ₁〜ｋ₉の内、ｋ₅のみが８であって、その他は全て−１とされる。

変化成分処理部４４は、演算対象画素ごとにエッジ値Ｅ_Aを算出し、１つの検出ブロック内の画素に対応するエッジ値Ｅ_Aの合算値を、その検出ブロックのエッジ成分評価値とする。

本実施例では、変化成分処理部４４は、上述のような演算処理を各検出ブロックに対して行い、全ての検出ブロックのエッジ成分評価値を算出する。或る検出ブロックに関し、その検出ブロックにおける模様の細かさ（コントラスト量）が増大するに従って、エッジ成分評価値は増大することになる。

そして、上述の第ｋフレームにて静止画が撮影された際、変化成分処理部４４は、第ｋフレームを基準とした所定の評価フレームのフレーム画像（例えば、第ｋフレームのフレーム画像）を評価画像とし、その評価画像における合計４８個のエッジ成分評価値の中から、最大のエッジ成分評価値を特定する。更に、その最大のエッジ成分評価値に対応する検出ブロックを特定する。続いて、変化成分処理部４４（又はＣＰＵ２３）は、領域ＡＲ１〜ＡＲ４の内、その最大のエッジ成分評価値に対応する検出ブロックの中心から最も距離が遠い領域を、上記選択領域αとして選択する。この距離の評価手法は、第１実施例にて説明したものと同様である。

最大のエッジ成分評価値に対応する検出ブロックには、細かな模様成分が多く含まれている。これは、その検出ブロックにピントが合っていることに対応しており、その検出ブロックに撮影者が注目する被写体が存在している可能性が高い。このため、その検出ブロックの近くに撮影状態確認用の静止画を表示すると、動画撮影に支障をきたす場合がある。これを考慮し、上記のように選択処理を行う。これにより、このような支障が発生しにくくなり、動画の撮影しやすさを阻害することなく静止画の撮影状態を確認することが可能となる。

尚、エッジ値Ｅ_Aは、輝度値が空間方向（水平方向、垂直方向或いは斜め方向など）において変化すれば、その変化の程度に応じた値を持つことになる。つまり、エッジ値Ｅ_A及びエッジ値Ｅ_Aに基づくエッジ成分評価値（変化成分評価値）は、画像（輝度信号）の空間方向の変化成分（所謂エッジ成分）に応じた値をとる。輝度信号で考えた場合、画像の空間方向の変化成分には、演算対象画素の輝度値をＹ₅とした場合における、（Ｙ₅−Ｙ₄）、（Ｙ₅−Ｙ₂）、（Ｙ₅−Ｙ₃）などが含まれる。また、第３実施例においては、各検出ブロックを変化成分検出領域と捉えることができる。

＜＜第４実施例＞＞
次に、第４実施例について説明する。特記なき限り、第３実施例で記載した事項は、第４実施例でも適用される。第４実施例でも、図３の変化成分処理部４４による処理結果を利用する。但し、第４実施例では、領域ＡＲ１〜ＡＲ４内の画像の変化成分に特に着目して、選択領域αを選択する。

例えば、上述の第ｋフレームにて静止画が撮影された際、変化成分処理部４４は、第ｋフレームを基準とした所定の評価フレームのフレーム画像（例えば、第ｋフレームのフレーム画像）を評価画像とし、その評価画像に関して領域ＡＲ１〜ＡＲ４に対応するエッジ成分評価値を領域ごとに算出する。

領域ＡＲ１に対応するエッジ成分評価値（変化成分評価値）は、検出ブロックＢＬ［１，１］、ＢＬ［２，１］、ＢＬ［１，２］及びＢＬ［２，２］に対応するエッジ成分評価値の合算値とすることができ、
領域ＡＲ２に対応するエッジ成分評価値（変化成分評価値）は、検出ブロックＢＬ［１，７］、ＢＬ［２，７］、ＢＬ［１，８］及びＢＬ［２，８］に対応するエッジ成分評価値の合算値とすることができ、
領域ＡＲ３に対応するエッジ成分評価値（変化成分評価値）は、検出ブロックＢＬ［５，１］、ＢＬ［６，１］、ＢＬ［５，２］及びＢＬ［６，２］に対応するエッジ成分評価値の合算値とすることができ、
領域ＡＲ４に対応するエッジ成分評価値（変化成分評価値）は、検出ブロックＢＬ［５，７］、ＢＬ［６，７］、ＢＬ［５，８］及びＢＬ［６，８］に対応するエッジ成分評価値の合算値とすることができる。

変化成分処理部４４（またはＣＰＵ２３）は、算出した領域ＡＲ１〜ＡＲ４に対応する４つのエッジ成分評価値の中から、最小のエッジ成分評価値を特定する。そして、変化成分処理部４４（又はＣＰＵ２３）は、領域ＡＲ１〜ＡＲ４の内、その最小のエッジ成分評価値に対応する領域を、上記選択領域αとして選択する。これによって、画像の模様の最も少ない領域が選択領域αとして選択される。例えば、評価フレームのフレーム画像が図１３に示すような画像であった場合、領域ＡＲ１に対応するエッジ成分評価値が最も小さいと判断され、領域ＡＲ１が選択領域αとして選択される。

最小のエッジ成分評価値に対応する領域には、細かな模様があまり存在しておらず、その部位に撮影者が注目している被写体が存在している可能性は低い。つまり、その部位に撮影状態確認用の静止画を表示しても、動画撮影の邪魔にはなりにくい。これを考慮し、上記のように選択処理を行う。これにより、動画の撮影しやすさを阻害することなく静止画の撮影状態を確認することが可能となる。

また、第４実施例では、領域ＡＲ１〜ＡＲ４に対応する検出ブロック以外の検出ブロック（例えば、ＢＬ［４，４］）についてのエッジ成分評価値の算出を省略可能である。このため、第３実施例に比べて変化成分処理部４４の演算負荷が軽減され、集積回路の小型化などが図られる。

尚、第４実施例においては、領域ＡＲ１に対応する４つの検出ブロックと、領域ＡＲ２に対応する４つの検出ブロックと、領域ＡＲ３に対応する４つの検出ブロックと、領域ＡＲ４に対応する４つの検出ブロックとを、夫々、変化成分検出領域と捉えることができる。領域ＡＲ１に対応する４つの検出ブロックを、１つの検出ブロックと捉えても良い。領域ＡＲ２〜ＡＲ４についても同様である。

＜＜第５実施例＞＞
次に、第３又は第４実施例にて述べたエッジ成分評価値の代わりに高周波数成分評価値を利用する実施例として、第５実施例を説明する。説明の便宜上、第３実施例に対応する実施例として第５実施例を説明するが、第５実施例にて説明する手法は第４実施例に対しても適用可能である。第５実施例では、フーリエ変換を用いて、各検出ブロック内の画像の高周波数成分を評価する。第５実施例における変化成分処理部４４は、高周波数成分処理部と呼ぶこともできる。

第５実施例に係る変化成分処理部４４は、検出ブロックごとに、輝度値を周波数成分に変換する。フーリエ変換の処理としては離散的フーリエ変換が用いられる。１つの検出ブロックに着目する。着目した検出ブロック内の画素の画素値（例えば輝度値）をｆ（ｘ，ｙ）とすると、ｆ（ｘ，ｙ）の離散的フーリエ変換は、周知の如く、下式（２）によって表される。ここで、ｘ＝０，１，２，・・・，Ｍ−１、且つ、ｙ＝０，１，２，・・・，Ｎ−１、である。

ここで、Ｆ（ｕ，ｖ）はフーリエ係数であり、ｕ＝０，１，２，・・・，Ｍ−１、且つ、ｖ＝０，１，２，・・・，Ｎ−１、である。ｕは水平方向の周波数、ｖは垂直方向の周波数を表す。また、パワースペクトルＰ（ｕ，ｖ）は、下記式（３）にて定義される。

周知の如く、２次元のパワースペクトルは、原点を中心として対称性を有する。仮に、Ｍ＝Ｎ＝８とした場合、図１４及び図１５に示す如く、パワースペクトルはＰ（４，４）を原点として対称性を有する（但し、ｕ又はｖが０の場合を除く）。尚、図１４は、４つの太線四角枠内のパワースペクトル同士が対称性を有することを表している。

そして、Ｐ（ｕ，ｖ）は画像の模様の存在に応じた値をとり、細かな模様が多く含まれれば含まれるほど、Ｐ（ｕ，ｖ）は大きくなる。図１６に、模様の存在に応じたパワースペクトルの分布の様子を示す。図１６は、Ｍ＝Ｎ＝８の条件下、ｕ＝１，２，３，４且つｖ＝１，２，３，４の周波数範囲内におけるパワースペクトルの分布を表し、符号１２１は模様が比較的少ない場合におけるそれを、符号１２２は模様が比較的多い場合におけるそれを表す。

第５実施例に係る変化成分処理部４４は、例えば、検出ブロックごとに、ｕ＝１，２,・・・，Ｍ／２且つｖ＝１，２,・・・，Ｎ／２の周波数範囲内のパワースペクトルＰ（ｕ，ｖ）を算出する（この場合、検出ブロックごとに、（Ｍ／２×Ｎ／２）個のパワースペクトルが算出される）。そして、検出ブロックごとに、算出したＰ（ｕ，ｖ）の平均値、合算値または加重平均値などを高周波数成分評価値として算出する。

或るいは、検出ブロックごとに、ｕ＝ｖ＝０を除く所定の周波数範囲内のパワースペクトルＰ（ｕ，ｖ）を算出し、算出したＰ（ｕ，ｖ）の平均値、合算値または加重平均値などを高周波数成分評価値として算出する。

或る検出ブロックに関し、該検出ブロック内の画像が一様であれば、例えば該検出ブロック内の画素の輝度値が全て同じであれば、画像は空間方向において変化しておらず、該検出ブロック内の画像は空間方向の変化成分を持たない。この場合、高周波数成分評価値はゼロとなる。一方、該検出ブロック内の画素の輝度値が空間方向（水平方向、垂直方向或いは斜め方向など）において変化しておれば、高周波数成分評価値は、ゼロではない有意な値を持つ。このように、高周波数成分評価値（変化成分評価値）は、画像の空間方向の変化成分（典型的には、高周波数成分）に応じた値を持つ。

＜＜第６実施例＞＞
次に、第６実施例について説明する。第６実施例では、図３の明るさ処理部４５による処理結果を利用する。第６実施例では、領域ＡＲ１〜ＡＲ４の内、最も暗い領域が選択領域αとして選択される。

明るさ処理部４５は、領域ＡＲ１〜ＡＲ４内の画像の明るさを領域ごとに検出し、検出した明るさに応じた明るさ評価値を領域ごとに算出する。明るさの検出は、各画素の輝度値を参照することによって行われる。領域ＡＲ１の明るさ評価値は、領域ＡＲ１内に含まれる画素の輝度値の平均値又は合算値である。領域ＡＲ２の明るさ評価値は、領域ＡＲ２内に含まれる画素の輝度値の平均値又は合算値である。領域ＡＲ３の明るさ評価値は、領域ＡＲ３内に含まれる画素の輝度値の平均値又は合算値である。領域ＡＲ４の明るさ評価値は、領域ＡＲ４内に含まれる画素の輝度値の平均値又は合算値である。

例えば、上述の第ｋフレームにて静止画が撮影された際、明るさ処理部４５は、第ｋフレームを基準とした所定の評価フレームのフレーム画像（例えば、第ｋフレームのフレーム画像）を評価画像とし、その評価画像に関して領域ＡＲ１〜ＡＲ４に対応する明るさ評価値を領域ごとに算出する。

そして、明るさ処理部４５（またはＣＰＵ２３）は、算出した領域ＡＲ１〜ＡＲ４に対応する４つの明るさ評価値の中から、最小の明るさ評価値を特定する。続いて、明るさ処理部４５（又はＣＰＵ２３）は、領域ＡＲ１〜ＡＲ４の内、その最小の明るさ評価値に対応する領域を、上記選択領域αとして選択する。これによって、最も画像の暗い領域が選択領域αとして選択される。

最小の明るさ評価値に対応する領域は、領域ＡＲ１〜ＡＲ４の中で最も暗い領域であるため、その部位に撮影者が注目している被写体が存在している可能性は低い。つまり、その部位に撮影状態確認用の静止画を表示しても、動画撮影の邪魔にはなりにくい。これを考慮し、上記のように選択処理を行う。これにより、動画の撮影しやすさを阻害することなく静止画の撮影状態を確認することが可能となる。

尚、第６実施例においては、領域ＡＲ１〜ＡＲ４の夫々を、明るさ検出領域と捉えることができる。

＜＜第７実施例＞＞
第１〜第６実施例として説明した、選択領域αの選択手法は任意に組み合わせることが可能である。この組み合わせの方法を例示する実施例として、第７実施例を説明する。

例えば、第１〜第６実施例の何れかにて説明した選択領域αの選択手法では、選択領域αを選択しきれない場合、他の実施例の選択手法を用いて最終的に選択領域αを選択するといったことが可能である。具体的には例えば、第２実施例にて説明した選択手法を採用している場合において、領域ＡＲ１〜ＡＲ４に対応する４つの動き評価値が殆ど同じであったとき、他の実施例（例えば第３実施例）で説明した選択手法を用いて選択領域αを選択する、といったことが可能である。尚、第１〜第６実施例の何れかにて説明した選択領域αの選択手法で選択領域αを選択しきれない場合、予め定めておいた領域を選択領域αとして定めるようにしても構わない。

また、「第１又は第２実施例に示した動き評価値」と、「第３若しくは第４実施例に示したエッジ成分評価値、又は、第５実施例に示した高周波数成分評価値」と、「第６実施例に示した明るさ評価値」の３つの指標の内、２又は３の指標を用いて選択領域αを選択するようにしてもよい。これにより、画像の動き、模様の細かさ、明るさの内の２以上が総合的に考慮され、選択領域αの選択の適正化が図られる。

例えば、第１実施例と第４実施例を組み合わせる場合を例示する（２つの指標を用いる）。図８（ａ）及び（ｂ）並びに図９を参照して説明したように、評価フレームのフレーム画像において、検出ブロックＢＬ［４，４］に対応する動き評価値が最大であったとする。この場合、図９を参照して、Ｄ２＞Ｄ４＞Ｄ１＞Ｄ３、が成立する。

この距離Ｄ１〜Ｄ４に基づいて、領域ＡＲ１、ＡＲ２、ＡＲ３及びＡＲ４に対応する動き選択レベルを算出する。領域ＡＲ１、ＡＲ２、ＡＲ３及びＡＲ４に対応する動き選択レベルを、夫々、Ｌａ₁、Ｌａ₂、Ｌａ₃及びＬａ₄とすると、Ｌａ₂＞Ｌａ₄＞Ｌａ₁＞Ｌａ₃、が成立する。つまり、検出ブロックＢＬ［４，４］の中心からの距離（Ｄ１など）が遠いほど、大きな動き選択レベルを与える。

この動き選択レベルの算出と並行して、第４実施例に示す如く、評価フレームのフレーム画像に関して、領域ＡＲ１〜ＡＲ４に対応するエッジ成分評価値を算出する。そして、算出されたエッジ成分評価値に基づき、領域ＡＲ１〜ＡＲ４に対応するエッジ成分選択レベルを算出する。領域ＡＲ１、ＡＲ２、ＡＲ３及びＡＲ４に対応するエッジ成分選択レベルを、夫々、Ｌｂ₁、Ｌｂ₂、Ｌｂ₃及びＬｂ₄とする。領域ＡＲ１に対応するエッジ成分評価値が小さいほど、領域ＡＲ１に対応するエッジ成分選択レベルは大きな値をとる。領域ＡＲ２〜ＡＲ４に関しても同様である。

そして、映像信号処理部１３又はＣＰＵ２３は、積（Ｌａ₁×Ｌｂ₁）と積（Ｌａ₂×Ｌｂ₂）と積（Ｌａ₃×Ｌｂ₃）と積（Ｌａ₄×Ｌｂ₄）の中なら、最大の積を特定し、その最大の積に対応する領域を、選択領域αとして選択するようにする。これにより、例えば、“Ｄ２＞Ｄ４＞Ｄ１＞Ｄ３”であっても、領域ＡＲ２に細かな模様が多く含まれていれば、領域ＡＲ４などが選択領域αとして選択されるようになる。

第１実施例と第４実施例を組み合わせる場合を例示したが、他の実施例を組み合わせる場合も同様である。

＜＜第８実施例＞＞
次に、動画の撮影シーンに対比させて、どのような手法が選択領域αの選択手法として適しているかを、第８実施例として説明する。

図１７を参照する。画像内の被写体の動き量が比較的大きく且つカメラワークも比較的大きい撮影シーンを、第１シーンとする。画像内の被写体の動き量が比較的大きく且つカメラワークは比較的小さい撮影シーンを、第２シーンとする。画像内の被写体の動き量が比較的小さく且つカメラワークが比較的大きい撮影シーンを、第３シーンとする。画像内の被写体の動き量が比較的小さく且つカメラワークも比較的小さい撮影シーンを、第４シーンとする。カメラワークとは、撮像装置１の筐体の動き量を意味する。

第１シーンは、例えば、動き回る子供や赤ん坊を追いかけながら撮影する状況に対応する。第２シーンは、例えば、花火を撮影する状況や運動会を撮影する状況に対応する。第３シーンは、例えば、風景（海や山など）を移動する車の中から撮影する状況に対応する。第４シーンは、例えば、赤ん坊の寝顔を撮影する状況や、卒業式を撮影する状況に対応する。

以下、第１又は第２実施例に示した動き評価値に基づく選択領域αの選択手法を「選択手法Ａ」と呼び、第３又は第４実施例（又は第５実施例）に示したエッジ成分評価値（又は高周波数成分評価値）に基づく選択領域αの選択手法を「選択手法Ｂ」と呼び、第６実施例に示した明るさ評価値に基づく選択領域αの選択手法を「選択手法Ｃ」と呼ぶ。

まず、動き量が比較的大きい第１及び第２シーンでは、原則として選択手法Ａが適しており、動き量が比較的小さい第３及び第４シーンでは、原則として選択手法Ｂ（またはＣ）が適している。

従って、例えば、上述の第ｋフレームにて静止画が撮影された際、シーンの分類を行うために、まず、第ｋフレームを基準とした所定の評価フレームのフレーム画像（例えば、第ｋフレームのフレーム画像）に関して、検出ブロックごとに上記の動き評価値を算出するようにしてもよい。そして、算出した動き評価値に基づいて、選択領域αの選択手法を選択するようにすればよい。例えば、検出ブロックごとの動き評価値の平均値が所定の閾値より大きい場合には選択手法Ａを用い、そうでない場合には選択手法Ｂ（またはＣ）を用いるようにする。

特に、画像の一部分のみの動き量が比較的大きいような場合には、選択手法Ａが適している。従って、例えば、評価フレームのフレーム画像に関して検出ブロックごとに算出された動き評価値中、所定個数未満の動き評価値のみが所定の閾値よりも大きいような場合には、選択手法Ａを用いるようにするとよい。

画像の全体の動き量が比較的大きいような場合には、選択手法Ｂ（又はＣ）を採用するようにしてもよい。具体的には例えば、評価フレームのフレーム画像に関して検出ブロックごとに算出された動き評価値中、所定個数以上の動き評価値が所定の閾値よりも大きいような場合には、選択手法Ｂ（又はＣ）を用いるようにする。

選択領域αを選択するために用いる選択手法の切り替えは、撮像信号を参照して自動的に行われる。但し、図１の操作キー２６ｃに対する手動操作にて、その選択手法を設定することも可能である。

＜＜第９実施例＞＞
次に、第１実施例に示す選択手法を実行する場合の動作の流れを第９実施例として説明する。図１８は、その動作の流れを示すフローチャートである。

ＴＧ２２は、垂直同期信号を所定の周期（例えば１／６０秒）にて逐次生成する。動画撮影が開始されると、ステップＳ１では、ＴＧ２２から垂直同期信号が出力されたかが確認される。垂直同期信号は、各フレームの開始時点でＴＧ２２から出力される。

垂直同期信号の出力が確認されていない場合は（ステップＳ１のＮｏ）ステップＳ１の処理が繰り返され、垂直同期信号の出力が確認された場合は（ステップＳ１のＹｅｓ）、ステップＳ２に移行し、映像信号処理部１３によって撮像信号（ＲＡＷデータ）が取り込まれる。

続いて、図３の動き検出処理部４３は、現フレームにおける各検出ブロックの動き評価値を算出し（ステップＳ３）、更に、最大の動き評価値を特定する（ステップＳ４）。続くステップＳ５にて、静止画を撮影するためのシャッタボタン２６ｂが押下されたかが確認される。シャッタボタン２６ｂが押下された場合は、現フレームのフレーム画像に対して動画用の映像処理（ステップＳ６）及び静止画用の映像処理（ステップＳ７）を施し、更に、ステップＳ４の特定内容に基づき選択領域αを選択する（ステップＳ８）。

そして、映像信号処理部１３（及びＣＰＵ２３）は、ステップＳ５のシャッタボタン２６の押下に伴って撮影された静止画が選択領域αに表示されるように且つ選択領域α以外の部分に撮影中の動画が表示されるように、ＶＲＡＭ２０に必要なデータを書き込む（ステップＳ１０）。

また、ステップＳ５にてシャッタボタン２６ｂが押下されていない場合は、動画用の映像処理（ステップＳ９）を経てステップＳ１０に移行し、表示画面の全体にて撮影中の動画が表示されるようにＶＲＡＭ２０に必要なデータが書き込まれる。ステップＳ１０を終えるとステップＳ１に戻るが、一度、選択領域αに表示された静止画は、所定の期間（例えば３秒間）、選択領域αに表示されたままとなる。その所定の期間が経過した時点で、選択領域αでの静止画の表示は解除される。或いは、図１の操作キー２６ｃに対する操作により、選択領域αでの静止画の表示は解除される。

＜＜第１０実施例＞＞
次に、第４実施例に示す選択手法を実行する場合の動作の流れを第１０実施例として説明する。図１９は、その動作の流れを示すフローチャートである。

まず、第９実施例と同様のステップＳ１及びＳ２の動作を行う。第１０実施例では、ステップＳ２の処理の後、ステップＳ５に移行する。

ステップＳ５にて、静止画を撮影するためのシャッタボタン２６ｂが押下されたかが確認される。シャッタボタン２６ｂが押下された場合は、現フレームのフレーム画像に対して動画用の映像処理（ステップＳ６）及び静止画用の映像処理（ステップＳ７）を施す。更に、現フレーム画像に関し、領域ＡＲ１〜ＡＲ４に対応するエッジ成分評価値を算出し（ステップＳ１１）、最小のエッジ成分評価値を特定する（ステップＳ１２）。続いて、領域ＡＲ１〜ＡＲ４の内、最小のエッジ成分評価値に対応する領域を選択領域αとして選択する（ステップＳ１３）。

そして、映像信号処理部１３（及びＣＰＵ２３）は、ステップＳ５のシャッタボタン２６の押下に伴って撮影された静止画が選択領域αに表示されるように且つ選択領域α以外の部分に撮影中の動画が表示されるように、ＶＲＡＭ２０に必要なデータを書き込む（ステップＳ２０）。

また、ステップＳ５にてシャッタボタン２６ｂが押下されていない場合は、動画用の映像処理（ステップＳ９）を経てステップＳ２０に移行し、表示画面の全体にて撮影中の動画が表示されるようにＶＲＡＭ２０に必要なデータが書き込まれる。ステップＳ２０を終えるとステップＳ１に戻るが、一度、選択領域αに表示された静止画は、所定の期間（例えば３秒間）、選択領域αに表示されたままとなる。その所定の期間が経過した時点で、選択領域αでの静止画の表示は解除される。或いは、図１の操作キー２６ｃに対する操作により、選択領域αでの静止画の表示は解除される。

上述してきた内容は、本発明の実施形態の例を説明するものに過ぎず、本発明は、様々な変形例を含む。以下に、本発明に適用可能な変形例として、変形例１〜変形例３を例示する。各変形例に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［第１変形例］
上述の実施形態では、図１の表示部２７の表示画面において、選択領域αに静止画を表示し、それ以外の領域に動画を表示する場合を取り扱った。つまり、動画の中に静止画を表示するＰｉｎＰ（ピクチャインピクチャ）表示について説明した。しかしながら、動画と静止画の関係を反対にするようにしてもよい。つまり、選択領域αに動画を表示し、それ以外の領域に静止画を表示するようにしてもよい（この場合、上述の説明文中の「静止画」及び「動画」を、夫々、必要に応じて、「動画」及び「静止画」に読み替えればよい）。

この場合、動画撮影中に静止画を撮影した時、撮影した静止画が比較的大きな表示領域を用いて表示されるため、所望の静止画を撮影できたか、或いは、ピントがあった静止画を撮影できたかなどの撮影状態の確認が容易となる。また、動き評価値、エッジ成分評価置（若しくは高周波成分評価値）、または（および）、明るさ評価値に基づいて、動画が表示される選択領域αを選択することにより、静止画の撮影状態の確認に邪魔にならない領域に動画が縮小表示される。換言すれば、確認したい部分が動画のＰｉｎＰ表示で隠されてしまう、といった問題の発生が抑制される。

例えば、第１実施例を適用すれば、動き量が大きい画像部位からなるだけ離れた表示位置に動画がＰｉｎＰ表示される。動き量が大きい画像部位に注目している被写体が存在している可能性が高いため、上記の如く動画の表示領域を定めることにより、確認したい部分が動画のＰｉｎＰ表示で隠されてしまう、といった問題の発生が抑制される。

また例えば、第４実施例を適用すれば、細かな模様が比較的少ない表示領域に動画がＰｉｎＰ表示される。細かな模様が比較的少ない部分に注目している被写体が存在している可能性は低いため、上記の如く動画の表示領域を定めることにより、確認したい部分が動画のＰｉｎＰ表示で隠されてしまう、といった問題の発生が抑制される。

また例えば、第６実施例を適用すれば、画像が比較的暗い表示領域に動画がＰｉｎＰ表示される。画像が比較的暗い部分に注目している被写体が存在している可能性は低いため、上記の如く動画の表示領域を定めることにより、確認したい部分が動画のＰｉｎＰ表示で隠されてしまう、といった問題の発生が抑制される。

［第２変形例］
選択領域αの候補として４つの領域ＡＲ１〜ＡＲ４を表示画面の四隅に設ける場合を例示したが、選択領域αの候補としての領域の個数や表示画面中における位置などは、適宜、変更可能である。

また、図７に示すような検出ブロックの分け方も様々に変更可能である。上述の各実施例では、図３の動き検出処理部４３で定義される検出ブロックの分け方と変化成分処理部４４で定義されるそれとを、説明の簡略化上、一致させているが、両者を一致させる必要は必ずしもない。

［第３変形例］
また、図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図３の映像信号処理部１３に含まれる、符号４１〜４５で表される各部の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。また特に、上記表示領域決定機能を実現する部位（選択領域αを選択する部位）は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。「表示領域決定機能を実現する部位」は、動き検出処理部４３、変化成分処理部４４、明るさ処理部４５の内のいずれか１以上の処理部を含み、更に、図１のＣＰＵ２３を含み得る。

ソフトウェアを用いて映像信号処理部１３の機能を実現する場合、図３は、それの機能ブロック図を表すことになる。また、映像信号処理部１３にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

尚、上記の「表示領域決定機能を実現する部位」は、同時表示制御手段として機能する。図３の動き検出処理部４３、変化成分処理部４４及び明るさ処理部４５は、それぞれ、動き検出手段、変化成分検出手段及び明るさ検出手段として機能する。

本発明の実施の形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部ブロック図である。 図１の映像信号処理部の内部ブロック図である。 図１の表示部の表示画面にて定義される、表示画面の分割の仕方を説明するための図である。 図１の表示部において、動画のみを表示している場合の表示画面例（ａ）と、静止画を動画に重畳して表示している場合の表示画面例（ｂ）を表す図である。 図１の撮像装置を用いた動画撮影時における、フレームの流れを説明するための図である。 図３の動き検出処理部などにて定義される、動画の各フレーム画像内の検出ブロックの配列を示す図である。 本発明の第１実施例の動作を説明するための図であり、撮影中の動画のフレーム画像を表す図である。 本発明の第１実施例の動作を説明するための図である。 図７に示される１つの検出ブロック内の画素配列を示す図である。 本発明の第３実施例に係り、図３の変化成分処理部にて用いられるエッジ検出オペレータを示す図である。 図１１のエッジ検出オペレータを用いた演算の対象データを表す図である。 本発明の第４実施例の動作を説明するための図であり、撮影中の動画のフレーム画像を表す図である。 本発明の第５実施例に係り、図３の変化成分処理部にて算出される２次元のパワースペクトルを表として表した図である。 本発明の第５実施例に係り、図３の変化成分処理部にて算出される２次元のパワースペクトルをグラフとして表した図である。 本発明の第５実施例に係り、図３の変化成分処理部にて算出される２次元のパワースペクトルをグラフとして表した図である。 図１の撮像装置を用いた撮影のシーン分類表である。 本発明の第１実施例に対応する、図１の撮像装置の動作フローチャートである。 本発明の第４実施例に対応する、図１の撮像装置の動作フローチャートである。

符号の説明

１ 撮像装置
１１ 撮像部
１３ 映像信号処理部
２７ 表示部
４３ 動き検出処理部
４４ 変化成分処理部
４５ 明るさ処理部
ＢＬ［１，１］〜ＢＬ［６，８］ 検出ブロック

Claims (5)

1. 撮影によって得られた画像情報を出力する撮像手段と、
   前記画像情報に基づく画像を表示する表示手段と、
   動画の撮影中に静止画を撮影した際、前記動画と前記静止画の双方が前記表示手段の表示画面上に同時表示されるように前記表示手段の表示内容を制御する同時表示制御手段と、を備えた撮像装置において、
   前記同時表示制御手段は、前記画像情報に基づいて、前記撮像手段の撮影画像内に設けられた動き検出領域内の画像の動き量を検出する動き検出手段と、
   前記動き検出手段の検出結果に基づいて、前記表示画面上に同時表示させる前記動画と前記静止画の表示領域を決定する第１表示領域決定手段と、
   前記画像情報に基づいて、前記撮像手段の撮影画像内に設けられた変化成分検出領域内の画像の空間方向の変化成分を検出する変化成分検出手段と、
   前記変化成分検出手段の検出結果に基づいて、前記表示画面上に同時表示させる前記動画と前記静止画の表示領域を決定する第２表示領域決定手段と、
   を備え、
   前記同時表示制御手段は、前記動き検出手段の検出結果に基づいて、前記第１表示領域決定手段、又は前記第２表示領域決定手段のいずれかを選択して用いることにより、前記表示画面上に同時表示させる前記動画と前記静止画の表示領域を決定する
   ことを特徴とする撮像装置。
2. 前記動き検出領域は、複数の動き検出領域から成り、
   前記動き検出手段は、前記複数の動き検出領域の夫々について、画像の動き量を検出して該動き量に応じた動き評価値を算出し、
   前記第１表示領域決定手段は、前記動き検出領域ごとに算出された前記動き評価値に基づくことによって、前記表示画面上に同時表示させる前記動画と前記静止画の表示領域を決定し、
   前記同時表示制御手段は、前記動き検出領域ごとに算出された前記動き評価値に基づいて、前記第１表示領域決定手段、又は前記第２表示領域決定手段のいずれかを選択して用いることにより、前記表示画面上に同時表示させる前記動画と前記静止画の表示領域を決定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記変化成分検出領域は、複数の変化成分検出領域から成り、
   前記変化成分検出手段は、前記複数の変化成分検出領域の夫々について、前記変化成分を検出して該変化成分に応じた変化成分評価値を算出し、
   前記第２表示領域決定手段は、前記変化成分検出領域ごとに算出された前記変化成分評価値に基づくことによって、前記表示画面上に同時表示させる前記動画と前記静止画の表示領域を決定する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記同時表示制御手段は、前記静止画の撮影タイミングを基準とした所定のフレームの画像情報に基づいて、前記表示画面上において同時表示させる前記動画と前記静止画の表示領域を決定する
   ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
5. 撮影によって得られた画像情報を出力する撮像手段と、
   前記画像情報に基づく画像を表示する表示手段と、
   動画の撮影中に静止画を撮影した際、前記動画と前記静止画の双方が前記表示手段の表示画面上に同時表示されるように前記表示手段の表示内容を制御する同時表示制御手段と、を備えた撮像装置において、
   前記同時表示制御手段は、
   前記画像情報に基づく画像の動き量に基づいて、前記表示画面上に同時表示させる前記動画と前記静止画の表示領域を決定する第１表示領域決定手段と、
   前記画像情報に基づく画像の模様の細かさに基づいて、前記表示画面上に同時表示させる前記動画と前記静止画の表示領域を決定する第２表示領域決定手段と、
   を備え、
   前記同時表示制御手段は、前記画像情報に基づく画像の動き量に基づいて、前記第１表示領域決定手段、又は前記第２表示領域決定手段のいずれかを選択して用いることにより、前記表示画面上に同時表示させる前記動画と前記静止画の表示領域を決定する
   ことを特徴とする撮像装置。