JP6729572B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本技術は画像処理装置、画像処理方法、及びプログラムに関し、特に自動的な静止画記憶についての技術分野に関する。

特開２０１１−３０１６３号公報 特開２００９−３０２８３５号公報

近年、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置が広く普及しており、これらは撮像シーンに応じて自動でフォーカスや露光を最適に合わせる機能を持つものが多い。しかし、撮像時の構図合わせは、いまだユーザの技量に大きく依存してしまうため、特にカメラの知識を有しない初心者は、良い構図で撮像するのが難しい。
また、例えば被写体人物の笑顔等を検出して自動的に静止画撮像を行う技術も提案されている。
上記特許文献１には自動的な静止画撮像に関して、ユーザの意図やバッテリ駆動などの撮像装置の状態に応じて静止画撮像の頻度が変更される技術が開示されている。
上記特許文献２には、自動的な静止画撮像において、同じような被写体内容や構図のものが多数とれてしまうことを防止する技術が開示されている。

自動的な静止画撮像とは、撮像装置が撮像素子により取得している被写体の撮像画像データのフレームのうちで、例えば人物の顔検出、笑顔判定、顔サイズなどを判定して、好適な画像となっているフレームの画像データを抜き出して静止画として記憶させるものである。本明細書では説明上、このような自動的な静止画撮像のことを「自動静止画記憶」と呼ぶこととする。

自動静止画記憶を行う場合の態様として、撮像装置を雲台に搭載する場合や、ユーザが手持ちの場合がある。
自動的に撮像装置の視野方向を移動させる雲台に搭載する場合、被写体画像が望ましい構図となるように撮像装置の視野方向を調整することは自動制御で可能であるが、撮像する場所や画角が限定されてしまう。
雲台を用いずに、ユーザの手持ちの状態などで自動静止画記憶を行うことを考えると、多様なシチュエーションでの自動静止画記憶が可能である。ところがユーザの技量にもよるが、記憶される静止画が、なかなか好ましい構図とはならない場合が多い。

ユーザが意識せずとも自動的に静止画が記憶されていく場合、ユーザにとっては、適度な枚数の静止画が記憶されることや、それらが品質の良い画像であることが望ましい。なお自動的な動画の記憶を想定した場合も同様である。
そこで本開示では、自動的な画像記憶において、記憶頻度（記憶される枚数）がある程度ユーザの意思に沿い、かつ被写体の笑顔等の状態だけでなく好適な構図となっている品質の高い画像が得られるようにする技術を提供することを目的とする。

本技術に係る画像処理装置は、構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定部と、フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定部と、を備えている。
この構成によれば、動画やスルー画などとしての連続フレームから、自動的に構図の良い画像となったフレームを判定できる。

上記した画像処理装置においては、前記画像記憶判定部は、フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを記憶する画像データと判定する。
即ち、構図に加えて、さらに他の条件を判断することで、なるべく画像として品質の良いフレームを自動的に判定できる。

上記した画像処理装置においては、連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、画像の構図の評価値となるスコアを算出するスコア算出部を備え、前記画像記憶判定部は、或るフレームについて前記スコア算出部が算出したスコアが、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する。
即ち、１フレームの画像データが、好ましい構図に該当するか否かを判定し、その該当度合いを示すスコアを求める。

上記した画像処理装置においては、前記スコア算出部は、複数の構図をそれぞれ基準としてスコアを算出する処理が可能とされていることが望ましい。
例えば静止画として好ましい構図は多様である。そこで複数の構図を基準として用いてスコアが求められるようにする。

上記した画像処理装置においては、前記スコア算出部は、フレームの画像内容に応じて、スコア算出の基準とする構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出することが考えられる。
画像内容、例えば被写体の種別などに応じて、望ましい構図や、適した構図がある。例えば人物が被写体の場合に適した構図、風景が被写体の場合に適した構図などである。そこで、フレームの画像内容に応じて、スコア算出に用いる構図を選択することで、画像内容に適した構図への該当度合いが求められるようにする。

上記した画像処理装置においては、前記画像記憶判定部は、或るフレームについて前記スコア算出部が、複数の構図を基準としてそれぞれ算出したスコアのうちの最大値が、前記閾値設定部が設定した閾値を満たしているか否かを判断することが考えられる。
少なくとも１つのスコアが閾値条件を満たしているのであれば、そのフレームは、或る構図に該当するものとして評価できる。そこで、最大値となっているスコアについて閾値条件となっているかを判断する。

上記した画像処理装置においては、前記画像記憶判定部は、前記他の条件判定として、対象のフレームのスコアが、連続する複数のフレームにおいて変動するスコア値のピーク値近傍となっているか否かの判定を行うことが考えられる。
即ち単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、その中でスコアがピーク値近傍となっているフレームを選択できるようにする。

上記した画像処理装置においては、前記画像記憶判定部は、前記他の条件判定として、対象のフレームの画像が、フォーカスが合っているか否かの判定を行うことが考えられる。
即ち単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、フォーカスが合っていない画像は静止画として記憶させないようにする。

上記した画像処理装置においては、前記画像記憶判定部は、前記他の条件判定として、対象のフレームが、注目被写体が動いている過程の画像を含むか否かの判定を行うことが考えられる。
即ち単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、ブレがあると推定される画像は静止画として記憶させないようにする。

上記した画像処理装置においては、前記画像記憶判定部は、前記他の条件判定として、対象のフレームが、注目被写体が動いている過程の画像を含んでいる場合、当該フレームの撮像時のシャッタスピードの判定を行うことが考えられる。
即ち単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、ブレが生じそうな画像である場合は、シャッタスピードの状況から、ブレがないと判断できる場合に静止画として記憶させる。

上記した画像処理装置においては、前記閾値設定部は、操作入力に応じて閾値条件を可変設定することが考えられる。
閾値条件が厳しいほど、静止画記憶の頻度は低下し、閾値条件が緩いほど静止画記憶の頻度は高くなる。従って、静止画記憶をどの程度の頻度で行わせたいかというユーザの意思により、頻度を調整できるようにする。

上記した画像処理装置においては、前記画像記憶判定部により或るフレームに対応する画像データが記憶する画像データと判定された後は、前記閾値設定部により設定された閾値に応じた待機時間の間のフレームに対応する画像データついては、記憶する画像データとは前記画像記憶判定部が判定しないようにすることが考えられる。
即ち或るフレームに対応する画像データが記憶された場合、その後所定の待機時間は、記憶を行わない。この場合に待機時間は、設定されている閾値条件に応じたものとする。

上記した画像処理装置においては、時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、その画像と重畳させて、構図情報を表示させる表示制御部を備えることが考えられる。
即ち撮像画像について、その画像内容の特定の構図に対しての評価の度合いがわかるような状態で表示させる。
上記した画像処理装置においては、時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、各フレームのスコアと閾値条件の情報を表示させる表示制御部を備えることが考えられる。
即ちスコアが閾値条件を満たしているか否かをユーザに提示するようにする。
上記した画像処理装置においては、時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、画像内容を特定の構図に合致させるガイドとなる拡大画像を表示させる表示制御部を備えることが考えられる。
例えばユーザが、主要な被写体の中心を構図としてのパターンの中心に持って行きやすいように、拡大画像でガイドできるようにする。

本技術に係る画像処理方法は、構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定ステップと、フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定ステップとを演算処理装置が実行する画像処理方法である。
これにより自動静止画記憶の動作により好適な構図の静止画を得ることが可能となる。
本技術に係るプログラムは、上記の各ステップの処理を演算処理装置に実行させるプログラムである。
このプログラムにより演算処理装置に自動静止画記憶に適した画像処理を実行させることができる。

本技術によれば、ユーザが意識しなくても、好ましい構図の画像が得られる自動画像記憶を行うことが可能になり、また画像記憶の頻度もある程度ユーザの要望に応じたものとなる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態の画像処理装置のブロック図である。 実施の形態の画像処理装置の自動静止画記憶に関する判定処理のフローチャートである。 実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置の自動静止画記憶処理のフローチャートである。 実施の形態の人物構図判定処理のフローチャートである。 実施の形態の風景構図判定処理のフローチャートである。 実施の形態の印象構図判定処理のフローチャートである。 実施の形態の静止画記憶判定／実行処理のフローチャートである。 実施の形態の構図パターンに対応するスコア算出の説明図である。 実施の形態の中央一点構図についてのスコア算出例の説明図である。 実施の形態の３分割構図についてのスコア算出例の説明図である。 実施の形態の全身構図についてのスコア算出例の説明図である。 実施の形態のバストアップ構図についてのスコア算出例の説明図である。 実施の形態の２人３分割構図についてのスコア算出例の説明図である。 実施の形態の２人対角線構図についてのスコア算出例の説明図である。 実施の形態の複数人構図についてのスコア算出例の説明図である。 実施の形態の風景２分割／３分割構図についてのスコア算出例の説明図である。 実施の形態の風景対角線／曲線構図についてのスコア算出例の説明図である。 実施の形態の風景三角構図についてのスコア算出例の説明図である。 実施の形態の風景消失点構図についてのスコア算出例の説明図である。 実施の形態の風景印象構図についてのスコア算出例の説明図である。 実施の形態の構図パターンの表示例の説明図である。 実施の形態の構図パターンの表示例の説明図である。 実施の形態の構図スコアや拡大画像の表示例の説明図である。 実施の形態のコンピュータ装置のブロック図である。

以下、実施の形態を次の順序で説明する。
＜１．画像処理装置の構成及び処理＞
＜２．撮像装置の構成＞
＜３．自動静止画記憶処理＞
［３−１：全体処理］
［３−２：構図判定／スコア算出］
［３−３：静止画記憶判定／実行］
［３−４：表示例］
＜４．プログラム及びコンピュータ装置への適用＞
＜５．まとめ及び変形例＞

なお実施の形態では、自動的な静止画撮像記憶（自動静止画記憶）として、連続するフレームのうちでフレームを選択して静止画データとして記憶する技術に関し、特に、好適な構図のフレームを選択するための技術を説明する。
フレームとは、動画としての画像を構成する時間軸上で連続するフレームである。例えば撮像素子で撮像された時間軸上で連続する画像データとしてのフレームや、外部機器から供給される動画としての連続する画像データのフレームのことをいう。
例えば実施の形態の自動静止画記憶は、撮像素子によって撮像された連続するフレームの画像データ、つまり動画としてのフレームデータが得られている状況で行われる。例えば自動撮像モードとして撮像素子による撮像が継続して行われている状態や、通常の手動撮像モードにおけるシャッタ待機状態（ユーザが被写体をモニタリングできるようにスルー画が生成されている状態）において、自動静止画記憶を行うことができる。
同様に撮像素子から連続するフレームの画像データが得られている状況として動画撮像中も想定され、動画撮像中に自動静止画記憶が行われる場合もある。
さらには外部機器から動画としての連続するフレームの画像データが供給されている状況において自動静止画記憶が行われることも想定される。
以下で説明する画像処理装置１は、入力された各フレームの画像データのうちで、静止画として記憶するフレームを判定する処理を少なくとも行う装置である。
また後述する撮像装置１０は、自動撮像モード、手動撮像モード、動画撮像モードなどのいずれかにおいて、ユーザ操作に関わらず好適なフレームが静止画として記憶される自動静止画記憶が行われる装置とする。
また構図とは、主にフレーム内の注目被写体の位置を考慮した画面の構成をいう。好適な構図であるか否かは、フレームを観察する観察者にとって心地よい理想の注目被写体の位置と実際の注目被写体の距離に応じて評価されるものとしている。

＜１．画像処理装置の構成及び処理＞
図１に実施の形態の画像処理装置１の構成例を示す。
画像処理装置１は、スコア算出部１ａ、閾値設定部１ｂ、画像記憶判定部１ｃを有する。
この画像処理装置１は、入力された画像データＤｉｎを対象として、静止画として記憶するフレームの判定情報ＳＳを出力する。
画像データＤｉｎとしては、時間軸上で連続する各フレームの画像データが供給される。即ち動画を構成するフレームデータである。この画像データＤｉｎは図示しない撮像素子による撮像により得られるものでもよいし、外部機器から動画データとして送信されてくるものでもよい。

スコア算出部１ａは、画像データＤｉｎとして供給される各フレーム、もしくは間欠的なフレームを対象として、画像の構図の評価値となるスコアを算出する。例えばスコア算出基準となる構図として、一般に知られている１又は複数種類の写真構図の情報を基準とする。構図とは、例えば日の丸構図（中央一点構図）、三分割構図、バストアップ構図などである。
例えば日の丸構図を基準とする場合、処理対象のフレームの画像について、日の丸構図としての評価値、例えば日の丸構図に対する該当度合いの評価値を数値化する。
具体的には、スコア算出部１ａは、処理対象のフレームの画像解析を行い、構図や被写体を判定し、それらに応じてスコア算出基準となる構図を選択する。そしてその構図に対する評価値としてのスコアを求める。

閾値設定部１ｂは、自動静止画記憶の実行判定のための閾値条件を可変設定する。例えばユーザ操作、画像内容、装置状態などに応じて閾値条件を設定する。
閾値とは、スコア算出部１ａが算出したスコアと比較する値であり、仮にスコアの最大値が“１００”であるとした場合に、閾値は“９０”“８０”“７０”などと選択設定できるようにする。そして、例えばスコアが閾値を越えていることで閾値条件を満たしたものとする。

画像記憶判定部１ｃは、或るフレームについてスコア算出部１ａが算出したスコアが、閾値設定部１ｂが設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを静止画として記憶する画像データと判定する。そして判定結果を制御情報ＳＳとして出力する。
即ち、まずスコアについての閾値条件により、処理対象のフレームを静止画として記憶するフレームとするか否かを判定する。そして閾値条件が満たされた場合には、さらに他の条件判定により、静止画として記憶するフレームとするか否かを判定する。
他の条件判定とは、フォーカス状態の判定、スコア値がピーク近辺であるか否かの判定、ブレのない画像であるか否かの判定などである。

画像記憶判定部１ｃが或るフレームを静止画として記憶するフレームと判定した場合、図示しない画像処理系や記憶処理系において、そのフレームの画像データについての必要な解像度変換、エンコード等の所定の処理が行われ、静止画データとして記憶媒体に記憶される。これにより自動静止画記憶が実行される。

図２に画像処理装置１の自動静止画記憶のための判定処理例を示す。これは画像処理装置１において上述のスコア算出部１ａ、閾値設定部１ｂ、画像記憶判定部１ｃの機能によって実行される処理である。
画像処理装置１は、ステップＳ１で閾値設定を行う。例えばユーザ操作に応じて閾値を選択し、処理用の閾値として設定する。
ステップＳ２で画像処理装置１は画像データＤｉｎとして連続して供給されるフレームのうち、処理対象とするフレームの画像データを取得する。
ステップＳ３で画像処理装置１は、処理対象としたフレームについて構図判定や被写体判定を行い、それらに応じて特定の構図を基準としたスコア算出を行う。
ステップＳ４で画像処理装置１は、スコアが閾値条件を満たしているか否かを確認する。満たしてしなければ、ステップＳ４→Ｓ８→Ｓ２と進み、次の処理対象のフレームについての処理に移る。

閾値条件を満たしている場合、画像処理装置１はステップＳ４からＳ５に進み、当該フレームの画像データについて他の条件判定を行う。他の条件を満たしていなければステップＳ６→Ｓ８→Ｓ２と進み、次の処理対象のフレームについての処理に移る。他の条件を満たしている場合、画像処理装置１はステップＳ６からＳ７に進み、当該フレームを、静止画として記憶するフレームと判定し、その判定情報ＳＳを出力する。
自動静止画記憶の動作が終了されたら、画像処理装置１はステップＳ８から図２の処理を終える。

この図２の処理により、画像処理装置１は、動画として供給される各フレームの画像データについて、構図が良好であり、かつフォーカス状態などの他の条件を満たすものを、静止画として保存するフレームと判定できることになる。
これによって、自動的な静止画記憶のために、品質の高い構図となっている静止画を記憶するものと判定できる。また閾値条件を可変設定することで、静止画として記憶させる頻度を調整することができる。

なお、図１の構成において、スコア算出部１ａ、閾値設定部１ｂ、画像記憶判定部１ｃを有する画像処理装置１は、演算処理装置としてのＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などで実現できる。また各部を例えば複数のＣＰＵや、ＣＰＵと画像処理用ＤＳＰ等に分散して実現し、それらの演算処理装置の連携処理として、画像処理装置１の機能を実現することも考えられる。

＜２．撮像装置の構成＞
以下では、上記の画像処理装置１と同等の機能を内蔵した撮像装置１０を例に挙げ、構成及び自動静止画記憶動作について詳しく説明する。
図３に実施の形態の撮像装置１０の構成例を示す。
この撮像装置１０はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。この撮像装置１０は自動撮像モード又は動画撮像モードの際に、自動静止画記憶を実行できるものである。

図３に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記憶部１５、通信部１６、デジタル信号処理部２０、制御部３０、表示部３４、操作部３５を有する。

光学系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系１１により、被写体からの光がイメージャ１２に集光される。
イメージャ１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型などの撮像素子を有する。
このイメージャ１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部２０に出力する。
イメージャ１２における撮像素子の電子シャッタスピードは制御部３０によって可変制御される。

光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部１３は、制御部３０の制御に基づいて、光学系１１におけるズームレンズを駆動し、ズーム動作を実行する。

デジタル信号処理部２０は、例えばＤＳＰ等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、イメージャ１２からのデジタル信号（撮像画像データ）に対して、各種の信号処理を施す。
例えばデジタル信号処理部２０は、前処理部２１、同時化部２２、ＹＣ生成部２３、解像度変換部２４、コーデック部２５、表示データ生成部２６、画像解析部２７、フォーカス処理部２８を備えている。

前処理部２１は、イメージャ１２からの撮像画像データに対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。
同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換部２４は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック部２５は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。

表示データ生成部２６は、制御部３０の制御に従って、表示部３４に出力する例えばスルー画としての表示データを生成する。
このスルー画としての表示データは、基本的には解像度変換部２４で解像度変換された撮像画像データとしての各フレームのデータである。
また表示データ生成部２６は制御部３０の指示に基づいて、各種のガイド画像、キャラクタ画像、操作用画像等を、例えばスルー画等の画像に重畳させる形式で表示させる処理も行う。

画像解析部２７は、例えばＹＣ生成部２３で得られる撮像画像データ（輝度信号／色信号）を対象として、各フレーム単位（又は間欠的なフレーム毎）での画像解析処理を行い、画像内容として被写体種別や主要被写体の検出、構図判定に関する処理、輝度や色の状況を判定する処理などを行う。そしてこれらの解析結果を制御部３０の処理のために提供する。また被写体種別に関して画像解析部２７は、例えば人物の顔検出、身体検出、ペット等の動物の検出などを行うことも可能である。
また画像解析部２７は、人物等の属性検出を行うこともできる。例えば画像解析により検出した顔画像の特徴点を判別して属性を識別し、属性情報を生成する。属性情報は、例えば被写体が大人であるか子供であるかの情報であったり、女性であるか男性であるかの情報である。さらにより詳細な年齢層などの情報も判別するようにしてもよい。
また画像解析部２７は、画像内の水平線、垂直線などのライン検出、色相／彩度／明度の判定など、各種の解析処理を行う。

フォーカス処理部２８は、オートフォーカス動作のために現在のフレーム画像データのフォーカス状態を確認する。例えば画像データの高周波成分エネルギー検出などの手法でフォーカス状態を判定する評価値を求める。オートフォーカスのためには、制御部３０はフォーカス処理部２８からの評価値を確認しながら光学系駆動部１３によるフォーカスレンズ駆動を実行させ、合焦状態に制御する。

なお表示データ生成部２６、画像解析部２７、フォーカス処理部２８のそれぞれは、この図３の例ではデジタル信号処理部２０で実行される機能構成として示しているが、これは一例であり、制御部３０によってこれらの各部の処理が実行されてもよい。

制御部３０は、ＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１０全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、自動静止画記憶のための処理を実行するためのプログラムも記憶される。

このような制御部３０は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。

また本実施の形態の場合、制御部３０は、スコア算出部３０ａ、閾値制御部３０ｂ、画像記憶判定部３０ｃ、表示制御部３０ｄとしての機能を備え、後述する自動静止画記憶の動作に関する制御を行う。スコア算出部３０ａ、閾値制御部３０ｂ、画像記憶判定部３０ｃは図１，図２で説明したスコア算出部１ａ、閾値制御部１ｂ、画像記憶判定部１ｃとしての機能である。即ち撮像装置１０において、図１の画像処理装置１の機能が制御部３０におけるソフトウエア機能として実装される。
表示制御部３０ｄは、自動静止画記憶の動作中に、例えばスルー画に重畳させる形式などで構図情報を表示させたり、各フレームのスコアと閾値条件の情報を表示させたり、画像内容を特定の構図に合致させるガイドとなる拡大画像を表示させたりするための制御を行う。

表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
この表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、表示データ生成部２６からの表示データによるスルー画をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ、ガイド表示等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

操作部３５は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
この操作部３５としては、例えば撮像装置１０の筐体上に設けられた各種操作子や、表示部３４に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）等が設けられる。
またタッチパネルと表示部３４に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。

記憶部１５は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記憶部１５の実際の形態は多様に考えられる。例えば記憶部１５は、撮像装置１０に内蔵されるフラッシュメモリでもよいし、撮像装置１０に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１０に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
また、本例において自動静止画記憶機能のための処理を実行するためのプログラムが記憶部１５に記憶されてもよい。

通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。
また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

センサ部１４は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置１０の姿勢や移動（パン移動、チルト移動等）等、撮像装置１０の全体の動きを検出するためのジャイロセンサ（角速度センサ）、加速度センサ等が設けられる。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部１４として、光学系１１におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部１４として、メカアイリス（絞り機構）の開口量を検出するセンサが設けられる場合もある。
センサ部１４の各種センサは、それぞれ検出した情報を制御部３０に伝達する。制御部３０は、センサ部１４で検出された情報を用いて各種制御を行うことができる。

＜３．自動静止画記憶処理＞
［３−１：全体処理］
本実施の形態の撮像装置１０で行う自動静止画記憶動作の概要は次のようになる。
イメージャ１２によって撮像される連続するフレームの画像データについて、フレーム毎（又は間欠的なフレーム毎）に画像解析部２７で被写体判定や構図判定を行う。制御部３０（スコア算出部３０ａ）は解析結果の情報を用いてスコアを算出する。
例えばフレームの画面内の主要被写体、例えば顔検出を行う場合は顔を対象として、特定の構図に対する該当度合いを示すスコアを算出する。
まず、このスコアが閾値条件を満たすか否かを判定する。閾値条件を満たさないフレームは静止画記憶の対象としない。
閾値条件については、例えばユーザ操作により可変設定する。閾値条件が厳しければ、静止画記憶される頻度が低くなり、閾値条件が緩ければ静止画記憶の頻度が高くなる。

そして良好なスコア、つまり閾値条件を満たすスコアとなったフレームについては、以下の１）〜３）の条件判定を行う。
１）ピーク判定：前フレームのスコアを一時記憶したバッファリングスコア（以下「Ｂｕｆスコア」と表記）と比較することで、ピークを判定する。連続した処理対象のフレームの中で、スコアがピーク値近辺のものを静止画として残すようにする。
２）フォーカス判定：主要被写体（例えば顔）にフォーカスが合っているか判定し、フォーカスが合っていないフレームは静止画記憶の対象としない。
なお、被写体にフォーカスが合う要因は、ユーザによるシャッタ半押し／全押し、オートフォーカス（ＡＦ）、コンテニュアスＡＦ、マニュアルフォーカス、などが含まれる。
３）被写体が動いているかの判定：被写体が動いている場合は、撮像時のシャッタスピードが焦点距離分の１秒より速いかどうかを確認する。シャッタスピードが焦点距離分の１秒より遅いフレームは、ぶれた画像である可能性が高いため、フレームは静止画記憶の対象としない。
これらの条件が満たされた場合に、そのフレームを静止画記憶の対象とし、記憶制御を行う。

図４，図５，図６，図７，図８に自動静止画記憶のための制御部３０の処理例を示す。これらの処理は制御部３０がスコア算出部３０ａ、閾値制御部３０ｂ、画像記憶判定部３０ｃ、表示制御部３０ｄとしての機能により実行する。

まず図４は自動静止画記憶としての全体的な処理を示している。
自動静止画記憶を開始する場合、制御部３０は図４のステップＳ１０１からＳ１０２に進む。
例えばユーザが動画撮像中に自動静止画記憶を行うようにする操作を行った場合、あるいは特に動画撮像を行わない場合でも、ユーザが自動静止画記憶を指示する操作を行った場合である。

自動静止画記憶を開始する場合、制御部３０はステップＳ１０２で、処理に用いる閾値を設定する。また閾値に応じたインターバル時間を設定する。
閾値は、上述のようにスコアと比較するもので、閾値によって静止画記憶頻度がある程度調整できるものとなる。
ユーザは、自動静止画記憶の際に、動画フレームのうちでどの程度の頻度で静止画を取り込むかのモードを選択できる。例えばユーザは、所定の操作により静止画記憶頻度のモードとして“高”“中”“低”などを予め選択しておく。制御部３０はこの操作を自動静止画記憶の頻度のモードとして記憶しておく。そしてステップＳ１０２の段階では、ユーザの直近の操作により設定されたモード（頻度“高”“中”“低”のいずれか）に応じて閾値を設定する。例えば、頻度“低”の場合は比較的厳しい閾値ｔｈ１、頻度“中”の場合は中間的な閾値ｔｈ２、頻度“高”の場合は比較的緩い閾値ｔｈ３を設定する。閾値ｔｈ１〜ｔｈ３の具体例については構図に対するスコアの例とともに後述する。

またインターバル時間とは、１枚の静止画を記憶させることとした場合に、次の静止画とするフレーム選択までの待機時間である。スコアや他の条件で静止画とするフレームを選択していくと、場合によっては連続フレームにおける同じような画像内容の画像が何枚も静止画として記憶される場合が生ずる。そこで、或るフレームを静止画記憶した場合、その後、待機期間のうちは、次の静止画記憶を行わないようにする。
このインターバル時間は、上記の頻度のモードに応じたものとする。例えば頻度“低”の場合は１０秒、頻度“中”の場合は６秒、頻度“高”の場合は３秒などと設定する。

制御部３０は、閾値及びインターバル時間設定を行ったら、ステップＳ１０３以降で実際の各フレームについて順次、静止画記憶の判定の処理を実行する。
ステップＳ１０３で静止画として記憶するか否かを判定する処理対象のフレームを特定する。イメージャ１２によって撮像される全フレームを処理対象とする場合は、１フレームづつ順次ステップＳ１０３で処理対象に設定されることになる。フレームが例えばｎフレームおきなど、間欠的に順次ステップＳ１０３で処理対象に設定される場合もある。

或るフレームを処理対象としたら、制御部３０は続いてその対象フレームについての画像解析部２７での解析結果を確認する。この図４の例では、顔画像検出結果を参照するものとしており、当該フレームの画像の被写体として人の顔が含まれているか否かを確認する。また顔画像の解析結果として顔画像の向きも確認する。
そして制御部３０は当該フレームの画像に顔が存在する場合はステップＳ１０４からＳ１０５に進み人物構図判定を行い、顔が存在しない場合はステップＳ１０４からＳ１０６に進み風景構図判定を行う。

ステップＳ１０５の人物構図判定処理では、制御部３０は、人物の顔を含む場合における望ましい１又は複数の構図パターンと当該フレームの画像の構図を比較して、当該フレームが望ましい構図に合致しているかを判定し、その構図を基準とした評価値（例えばその構図に該当している度合い）としてのスコアを算出する。
またステップＳ１０６の風景構図判定処理では、制御部３０は、風景構図としての望ましい１又は複数の構図パターンと当該フレームの画像の構図を比較して、当該フレームが望ましい構図に合致しているかを判定し、その構図を基準とした評価値としてのスコアを算出する。これら人物構図判定や風景構図判定の具体例は後述する。

ステップＳ１０７で制御部３０は、構図判定結果に基づく情報や、より良い構図とするためのガイドの表示等を表示部３４に表示させる。例えばその際のスルー画に重畳させて各種画像、アイコン、拡大画像などを表示させる。表示例は後述する。

ステップＳ１０８で制御部３０は、処理対象のフレームについて、静止画として記憶するフレームであるか否かを判定するとともに、静止画記憶するべきフレームであると判定した場合は、記憶動作を実行させる制御を行う。判定処理の詳細は後述する。

ステップＳ１０９で制御部３０は、自動静止画記憶の動作を終了するトリガが生じたか否かを判断し、何らかのユーザ操作や動画撮像停止などとして自動静止画記憶を終了するトリガが生じた場合は、図４の処理を終える。
自動静止画記憶動作が終了とされるまでの期間は、ステップＳ１１０で、直前のステップＳ１０８で静止画記憶が実行しているか否かで処理を分岐する。静止画記憶を実行していなければ、ステップＳ１０３に戻って、次のフレームを対象として同様に処理を行う。
直前に静止画記憶を行っていた場合は、ステップＳ１１０からＳ１１１に進み、上述のインターバル時間が経過することを待機する。なおインターバル時間のタイムカウントは、例えばステップＳ１０８での静止画記憶制御の実行時点から開始すればよい。そして待機時間中はステップＳ１０９に戻りながら、時間経過を待機し、待機時間が終了したらステップＳ１０３に戻る。この場合、待機期間中のフレームについてはステップＳ１０４以降の処理の対象とされず、待機期間経過時点のフレームから、順次、処理対象のフレームとして設定されることになる。

［３−２：構図判定／スコア算出］
制御部３０は、図４のステップＳ１０５、Ｓ１０６では人物構図判定や風景構図判定の処理を行う。これらの構図判定について説明する。
図５は、図４のステップＳ１０５の人物構図判定の処理を詳しく示している。制御部３０は図４のステップＳ１０４で、対象フレームに顔画像が存在すると判断した場合にステップＳ１０５に進むが、この場合、図５に示すように、対象フレームに存在する顔画像の数、つまり被写体人物が何人写っているかという判定結果や、顔の向きによりスコア算出の基準とする構図を切り替えるようにしている。

制御部３０は対象フレームの画像解析結果から、顔画像が１つ（被写体人物が一人）であり、かつその顔画像が正面向きの画像であると確認した場合、処理をステップＳ２０１→Ｓ２０２→Ｓ２０３と進め、対象フレームについての全身構図、日の丸構図、バストアップ構図をスコア算出基準の構図として、これらの各構図を基準とした各スコアを算出する。即ち全身構図を基準とした評価を数値化したスコア、日の丸構図を基準とした評価を数値化したスコア、バストアップ構図を基準とした評価を数値化したスコアを求める。

また制御部３０は対象フレームの画像解析結果から、顔画像が１つ（被写体人物が一人）であり、かつその顔画像が正面向きではないと確認した場合、処理をステップＳ２０１→Ｓ２０２→Ｓ２０４と進め、対象フレームについての３分割構図を基準としたスコアを算出する。

また制御部３０は対象フレームの画像解析結果から、顔画像が２つ（被写体人物が二人）であり、かつその顔画像が正面向きの画像であると確認した場合、処理をステップＳ２０１→Ｓ２０５→Ｓ２０６→Ｓ２０７と進め、対象フレームについての３分割構図、対角線構図を基準とした評価としての各スコアを算出する。
ステップＳ２０６の顔が正面か否かの判断は、二人ともが正面であることを必要とするものとし、一人でも顔が正面と判断されない場合は、スコア算出は行わないようにしている。これにより、二人が正面向きのフレームの場合に静止画記憶の可能性が得られることになる。
但し、例えば一人が正面向きであれば、ステップＳ２０７に進むような例も考えられる。

また制御部３０は対象フレームの画像解析結果から、顔画像が３つ以上（被写体人物が三人以上）であり、かつその顔画像が正面向きの画像であると確認した場合、処理をステップＳ２０１→Ｓ２０５→Ｓ２０８→Ｓ２０９と進め、対象フレームについての複数人構図を基準とした評価としてのスコアを算出する。
この場合もステップＳ２０８の顔が正面か否かの判断とは、全員の顔の向きが正面であることを必要とするものとし、一人でも顔が正面と判断されない場合は、スコア算出は行わないようにしている。これにより、全員が正面向きのフレームの場合に静止画記憶の可能性が得られることになる。
但し、例えば少なくとも一人が正面向きであるとか、過半数が正面向きである場合に、ステップＳ２０９に進むような例も考えられる。多人数の場合、全員の顔の向きを厳格に判断すると、静止画記憶の候補となりにくくなるためである。

以上のステップＳ２０３，Ｓ２０４，Ｓ２０７，Ｓ２０９のスコア算出の具体例を説明する。
まず図９で、日の丸構図とバストアップ構図の場合を例として、スコア算出と、図４のステップＳ１０２で設定する閾値の関係について述べておく
閾値とは、主要な被写体等が、基準とする構図の理想位置（理想座標）から、どのくらいまで離れている場合に、静止画記憶の対象とするかを判断するための閾値である。

図９Ａに日の丸構図の場合を示している。日の丸構図は、画像の中心に主要被写体が存在する構図である。
日の丸構図の理想位置ＩＰは、ｘｙ座標で表すと、ＩＰ＝（Ｈｘ，Ｈｙ）となる。この理想位置ＩＰからの離間距離についての閾値として、閾値ｔｈ１（実線で表記），閾値ｔｈ２（破線で表記），閾値ｔｈ３（一点鎖線で表記）が設けられる。例えば閾値ｔｈ１は理想位置ＩＰからｘ方向及びｙ方向に±２０ピクセルの範囲、閾値ｔｈ２は理想位置ＩＰからｘ方向及びｙ方向に±４０ピクセルの範囲、閾値ｔｈ３は理想位置ＩＰからｘ方向及びｙ方向に±６０ピクセルの範囲に、それぞれ相当する値などとされる。

図９Ｂはバストアップ構図の場合であるが、この場合、画面上の或る高さ位置（ｙ座標位置）が理想位置ＩＰとされる。即ち理想位置ＩＰは、ｙ座標値＝Ｈｙとなる位置である。この場合の閾値ｔｈ１（実線），ｔｈ２（破線），ｔｈ３（一点鎖線）は、図示のように理想位置ＩＰからの離間距離が異なる範囲を示すものとなる。例えば閾値ｔｈ１は理想位置ＩＰからｙ方向に±２０ピクセルの範囲、閾値ｔｈ２は理想位置ＩＰからｙ方向に±４０ピクセルの範囲、閾値ｔｈ３は理想位置ＩＰからｙ方向に±６０ピクセルの範囲に、それぞれ相当する値などとされる。

例えばこれらのように、構図に応じて閾値ｔｈ１，ｔｈ２，ｔｈ３が用意されており、この閾値ｔｈ１，ｔｈ２，ｔｈ３のいずれかがユーザ操作等により選択される。そして図４のステップＳ１０２では、自動静止画記憶の際に用いる閾値として、閾値ｔｈ１，ｔｈ２，ｔｈ３のうちで選択された閾値が処理に使用される閾値として設定される。
例えば閾値ｔｈ１が用いられる場合は、図４のステップＳ１０８では、対象フレームのスコアが、閾値ｔｈ１の範囲内に相当するスコアとなっているかどうかが判断される。

従ってスコアは、例えば主要な被写体の中心位置ＣＰについての、各構図における理想位置ＩＰからの距離ｄを表す値として求められる。
例えば顔画像が存在する場合、スコアは理想位置ＩＰの座標と、検出されている顔の中心座標位置との距離から算出することができる。
図９Ａの日の丸構図の場合、理想位置ＩＰの座標は（Ｈｘ，Ｈｙ）である。また顔の中心位置ＣＰの座標を（Ｆｘ，Ｆｙ）とする。この場合のスコアは、
スコア＝（ＳＣｍａｘ）−（√（Ｈｘ−Ｆｘ）²＋（Ｈｙ−Ｆｙ）²） ・・・（式１）
で算出できる。
「ＳＣｍａｘ」はスコアの最高値（満点値）であり、例えば“１００”とする。そして１ピクセル＝１（スコア）とする。
この場合、閾値ｔｈ１＝８０、閾値ｔｈ２＝６０、閾値ｔｈ３＝４０とする。
理想の構図の場合、スコア＝１００（＝ＳＣｍａｘ）となる。
閾値ｔｈ１が選択されている場合は、スコアが８０〜１００の場合に、そのフレームの画像は閾値条件を満たしていることになる。
また閾値ｔｈ２が選択されている場合は、スコアが６０〜１００の場合に閾値条件を満たしており、閾値ｔｈ３が選択されている場合は、スコアが４０〜１００の場合に閾値条件を満たすことになる。
つまり、閾値ｔｈ１，ｔｈ２，ｔｈ３の選択により、対象フレームが閾値条件を満たすことになる確率（頻度）が変化する。

日の丸構図についてのスコア算出例を説明する。
図１０Ａは顔画像の向きを表している。図の横方向に顔画像の左右の向きの方向（ＹＡＷ−Ｒ２〜ＹＡＷ−Ｌ２）が異なる場合、図の縦方向に軸回転方向（ＲＯＬＬ−Ｒ１〜ＲＯＬＬ−Ｌ１）が異なる場合について配置して示した。
図５の処理では、顔（被写体人物）が一人であり、かつ顔が正面である場合にステップＳ２０３で日の丸構図についてのスコアが算出される。従って顔画像が、図１０Ａの破線Ｔで囲った場合のみが対象となる。
図１０Ｂは、理想位置ＩＰと顔画像の中心位置ＣＰの座標が一致している状態を示している。スコアは、顔の中心位置ＣＰの座標が理想位置ＩＰの座標に近いかどうかを表す値として、上述の（式１）で求められる。この図１０Ｂの場合スコア＝１００となる。顔画像が理想位置ＩＰから離れていくほど、スコアは低下することになる。

被写体が一人の場合の三分割構図についてのスコア算出例を説明する。図１１Ａは、図１０Ａと同様に顔の向きを示している。
図５の処理では、顔（被写体人物）が一人であり、かつ顔が正面ではない場合にステップＳ２０４で三分割構図についてのスコアが算出される。
三分割構図の場合の理想位置は、図１１Ｂに示す理想位置ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄとなる。即ちｘ方向の３分割点、ｙ方向の３分割点となる４つの位置である。この場合、顔の向きが、空間が空いている方向に向いていて、顔の中心位置（上述のＣＰ）の座標が理想位置の座標に近いかどうかをスコア化する。
具体的には、顔の向きが図１１Ａの破線Ｔａで囲ったものである場合、顔の中心位置と理想位置ＩＰａとの距離に応じたスコアが（式１）により求められる。
顔の向きが図１１Ａの破線Ｔｂで囲ったものある場合、顔の中心位置と理想位置ＩＰｂとの距離に応じたスコアが（式１）により求められる。
顔の向きが図１１Ａの破線Ｔｃで囲ったものある場合、顔の中心位置と理想位置ＩＰｃとの距離に応じたスコアが（式１）により求められる。
顔の向きが図１１Ａの破線Ｔｄで囲ったものある場合、顔の中心位置と理想位置ＩＰｄとの距離に応じたスコアが（式１）により求められる。

但し、理想位置ＩＰａ又はＩＰｃを用いる場合は、バストアップ以上の顔サイズの場合であると、被写体人物が首の部分でカットされるような構図になるため、顔サイズを判定して、所定以上のサイズの場合はスコア算出を行わないようにしてもよい。
なお、図１１Ｂでは理想位置ＩＰａにあわせて閾値ｔｈ１，ｔｈ２，ｔｈ３を示しているが、顔の向きが破線Ｔａで囲ったものである場合であって、例えばスコアが８０以上となった場合とは、その顔の中心が、図１１Ｂの実線（ｔｈ１）の内に存在する画像であることになる。

全身構図についてのスコア算出例を説明する。
図５の処理では、顔（被写体人物）が一人であり、かつ顔が正面である場合にステップＳ２０３で全身構図についてのスコアが算出される。
図１２Ａや図１２Ｃに示すように、全身構図の場合の理想位置ＩＰのｘ座標値は中央値であり、ｙ座標値は被写体に応じて変化させる。
例えば、顔画像について、大人、子供、乳幼児を判別して、それに応じて理想位置ＩＰを設定する。
大人の場合、理想位置ＩＰのｙ座標値を、図１２Ａのように、画面上端から顔画像のサイズＳｆに相当する長さだけ下方の位置とする。
子供の場合、理想位置ＩＰのｙ座標値を、図１２Ｃのように、画面上端から顔画像のサイズＳｆの２倍長（２Ｓｆ）だけ下方の位置とする。
乳幼児の場合は、つかまり立ちを想定し、子供の場合と同様に、画面上端から顔画像のサイズＳｆの２倍長（２Ｓｆ）だけ下方の位置とする。
但しこれらの場合において、顔画像のサイズＳｆは、画像縦サイズｄｙに対して１０％〜１５％の大きさにある場合とする。顔画像のサイズＳｆが、この１０％〜１５％という範囲に該当しない場合は、例えば全身構図スコアは算出しないようにすることが考えられる。

スコアは、顔の中心位置ＣＰの座標が理想位置ＩＰの座標に近いかどうかを表す値として、上述の（式１）で求められる。
なお図１２Ｂ、図１２Ｄでは、理想位置ＩＰにあわせて閾値ｔｈ１，ｔｈ２，ｔｈ３を示している。例えば全身構図に関するスコアが８０以上となった場合とは、顔の中心が実線（ｔｈ１）の内に存在する画像であることになる。

バストアップ構図についてのスコア算出例を説明する。
図５の処理では、顔（被写体人物）が一人であり、かつ顔が正面である場合にステップＳ２０３でバストアップ構図についてのスコアが算出される。
図１３Ａや図１３Ｃに示すように、バストアップ構図の場合の理想位置ＩＰの座標は、或るｙ座標位置であるが、そのｙ座標値は被写体に応じて変化させる。
例えば、顔画像について、大人、子供、乳幼児を判別して、それに応じて理想位置ＩＰを設定する。
大人の場合又は子供の場合、理想位置ＩＰのｙ座標値を、図１３Ａのように、画面下端から顔画像のサイズＳｆの２．５倍（２．５Ｓｆ）だけ上方の位置とする。
乳幼児の場合は、座った状態やはいはいを想定し、理想位置ＩＰのｙ座標値を、図１３Ｃのように、画面下端から顔画像のサイズＳｆの２倍長（２Ｓｆ）だけ上方の位置とする。

但しこれらの場合において、顔画像のサイズＳｆが、画像縦サイズｄｙに対して、大人の場合は２２％〜３０％の大きさ、子供の場合は１５％〜２５％の大きさ、乳幼児の場合は２５％〜３５％の大きさにある場合とする。顔画像のサイズＳｆが、これらの範囲に該当しない場合は、例えばバストアップ構図は算出しないようにすることが考えられる。

スコアは、顔の中心位置ＣＰの座標が理想位置ＩＰの座標に近いかどうかを表す値として求められる。この場合はｙ座標の差分を考えれば良いため、例えば
スコア＝（ＳＣｍａｘ）−｜（Ｈｙ−Ｆｙ）｜ ・・・（式２）
で求めれば良い。
なお図１３Ｂ、図１３Ｄでは、理想位置ＩＰにあわせて閾値ｔｈ１，ｔｈ２，ｔｈ３を示している。例えば全身構図に関するスコアが８０以上となった場合とは、顔の中心が実線（ｔｈ１）のｙ方向範囲内に存在する画像であることになる。

被写体が二人の場合の三分割構図についてのスコア算出例を説明する。図１４Ａは、図１０Ａと同様に顔の向きを示している。
図５の処理では、顔（被写体人物）が二人であり、かつ顔が正面の場合にステップＳ２０７で三分割構図についてのスコアが算出される。
図１４Ｂに三分割構図の場合の理想位置ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄを示しているが、被写体人物が二人の場合は、それぞれの顔が、それぞれ異なる理想位置（ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄ）に近い場合にスコアが高い値となるようにする。
例えば図では二人の顔の中心位置ＣＰ１，ＣＰ２が、理想位置ＩＰｄ、ＩＰｂに一致しているが、このような場合に、満点値“１００”となるようにする。
具体的には、中心位置ＣＰ１と中心位置ＣＰ１が近い或る理想位置ＩＰとについて上記（式１）でスコアを算出し、また中心位置ＣＰ２と中心位置ＣＰ２が近い他の理想位置ＩＰとについて上記（式１）でスコアを算出する。そして２つのスコアの平均値を、この場合のスコアとすることが考えられる。

この場合、正面顔であることを条件としているため、二人の顔の向きが図１４Ａの破線Ｔで囲ったものである場合にスコアが求められることになる。
なお、二人の顔の中心位置ＣＰ１、ＣＰ２が、理想位置ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄのうちの同じ理想位置に近い場合は、適切な三分割構図とはならないためスコア算出を行わないようにすることが考えられる。
図１４Ｂでは参考のため、理想位置ＩＰｃにあわせて閾値ｔｈ１，ｔｈ２，ｔｈ３を示している。

被写体が二人の場合の対角線構図についてのスコア算出例を説明する。図１５Ａに対角線構図の場合の理想傾きＩＡを示している。対角線構図の場合、理想位置ＩＰにかえて理想傾きＩＡを用いる。画像の全画角の傾きを理想傾きＩＡとする。
図５の処理では、顔（被写体人物）が二人であり、かつ顔が正面の場合にステップＳ２０７で対角線構図についてのスコアが算出される。

図１５Ａでは、二人の被写体人物の顔の中心位置ＣＰ１，ＣＰ２がそれぞれ対角線上にある場合を示している。これは、スコアが満点値“１００”となる場合である。
スコアは、例えば２つの顔の中心位置ＣＰ１，ＣＰ２の座標の傾きを求め、これを対角線としての理想位置ＩＰの傾きと比較する。
例えば画像をＶＧＡサイズ（６４０×３６０画素）とする場合、理想傾きＩＡ＝６４０／３６０＝１．８となる。
そして中心位置ＣＰ１，ＣＰ２を結ぶ線の傾きを求め、図１５Ｂのようにスコアに換算する。例えば中心位置ＣＰ１，ＣＰ２を結ぶ線の傾きが１．８であればスコア＝１００とし、１．８から離れるほど、スコアが小さくなるようにする。

なお図１５Ｂに理想傾きＩＡ＝１．８とした場合の閾値ｔｈ１，ｔｈ２，ｔｈ３との関係を示している。上述のように閾値ｔｈ１＝８０、閾値ｔｈ２＝６０、閾値ｔｈ３＝４０などとされるが、その８０，６０，４０に相当する傾きの値が、スコアを介して対応づけられる。つまり理想傾きＩＡに対する、中心位置ＣＰ１，ＣＰ２の傾きの差分がスコア（最大１００）に換算され、そのスコアに対する基準として、閾値ｔｈ１，ｔｈ２，ｔｈ３が用いられる。

被写体が三人以上の場合の複数人構図についてのスコア算出例を説明する。
図５の処理では、顔（被写体人物）が三人以上あり、かつ各被写体人物の顔が正面の場合にステップＳ２０９で複数人構図についてのスコアが算出される。

複数人構図は、顔三人以上で正面顔の場合に、三角構図の重心の配置になるような理想位置ＩＰの座標を設定する。
例えば３人の場合は、真中の顔の中心位置の座標が理想位置ＩＰの座標に近いかどうかでスコア化する。
図１６Ａ、図１６Ｂのように、真ん中の顔Ｕ３以外の、顔Ｕ１，Ｕ２の中心位置ＣＰ１，ＣＰ２を頂点とした三角形ＴＲを考え、その三角形ＴＲの重心座標を理想位置ＩＰ２とする。そして真ん中の顔Ｕ３の中心位置ＣＰ３と理想位置ＩＰについて、上記（式１）によりスコアを算出する。
被写体人物が４人以上の場合は、中にいる人の重心座標を求め、あとは３人構図と同じ考えとすればよい。

続いて図４のステップＳ１０６の風景構図判定の処理を説明する。
制御部３０は、図４のステップＳ１０４で対象フレームに顔画像が存在しないと判断した場合にステップＳ１０６の風景構図判定処理に進む。風景構図判定処理例を図６に示す。

図６のステップＳ３０１で制御部３０は、対象フレームの画像の画像解析によるライン検出結果を確認する。即ち対象フレームについての画像解析部２７による画像内の輝度や色などのエッジ検出結果を参照し、各種ラインの検出結果を確認する。そして以降の処理で、存在するラインの種別に応じてスコア算出を行っていく。

画像内に水平線或いは垂直線が検出された場合、制御部３０はステップＳ３０２からＳ３０３に進み、２分割構図、３分割構図についてのスコア算出を行う。
画像内に対角線が検出された場合、制御部３０はステップＳ３０４からＳ３０５に進み、対角線構図についてのスコア算出を行う。
画像内に三角線が検出された場合、制御部３０はステップＳ３０６からＳ３０７に進み、三角構図についてのスコア算出を行う。
画像内に曲線が検出された場合、制御部３０はステップＳ３０８からＳ３０９に進み、曲線構図についてのスコア算出を行う。
画像内に消失点が検出された場合、制御部３０はステップＳ３１０からＳ３１１に進み、消失点構図についてのスコア算出を行う。
さらに制御部はステップＳ３１２で印象構図についてのスコア算出を行う。

各スコア算出について説明する。
まずステップＳ３０３の、水平線或いは垂直線が検出された場合の２分割構図、３分割構図についてのスコア算出を図１７で説明する。
図１７Ａは、水平線Ｅ１が検出された画像の例、図１７Ｂは水平線Ｅ２と垂直線Ｅ３が検出された画像の例である。
例えばこのような画像に対し、図１７Ｃ〜図１７Ｈのようなテンプレートとのマッチングを行い、検出されたラインの長さと位置が理想ラインに近いかどうかをスコア化する。
図１７Ｃは２分割構図としての水平線の理想ラインＩＬ１を示す。
図１７Ｄは２分割構図としての垂直線の理想ラインＩＬ２を示す。
図１７Ｅは３分割構図としての水平線の上方側の理想ラインＩＬ３を示す。
図１７Ｆは３分割構図としての水平線の下方側の理想ラインＩＬ４を示す。
図１７Ｇは３分割構図としての垂直線の左側の理想ラインＩＬ５を示す。
図１７Ｈは３分割構図としての垂直線の右側の理想ラインＩＬ６を示す。
これらを画像における水平線、垂直線の長さ、位置と比較する。
例えば図１７Ａの画像の場合、水平線Ｅ１が、図１７Ｅの理想ラインＩＬ３に近いことから、３分割構図に関して高いスコアが得られることになる。２分割構図に関しては、図１７Ｃの理想ラインＩＬ３とは比較的離れているため、スコアは低くなる。
また図１７Ｂの画像の場合、水平線Ｅ２が、図１７Ｆの理想ラインＩＬ４に近いことから、３分割構図に関して高いスコアが得られる。また２分割構図に関しては、垂直線Ｅ３が図１７Ｄの理想ラインＩＬ２に近いためスコアは高くなる。

なお水平線、垂直線ともに検出されたラインがそれぞれ１本であることをスコア算出の条件とすることが考えられる。
またスコアに関しては、水平線で算出したスコアと垂直線で算出したスコアを合算したり、平均値をとることも考えられる。

ステップＳ３０５の対角線構図についてのスコア算出、及びステップＳ３０９の曲線構図についてのスコア算出の例を図１８で説明する。
図１８Ａは、対角線Ｅ１０が検出された画像の例である。また図１８Ｂは曲線Ｅ１１が検出された画像の例である。
図１８Ｃは対角線構図に用いる理想ラインＩＬ１０、ＩＬ１１を示している。
図１８Ｄは曲線構図に用いる理想ラインＩＬ１２を示している。

画像内で検出された対角線Ｅ１０については、図１８Ｃのテンプレートと比較し、検出された対角線Ｅ１０の長さと位置が理想ラインＩＬ１０に近いかどうかでスコア化する。上述の二人の人物の対角線構図の場合のように、傾きの近似度を用いてスコア化してもよい。
また画像内で検出された曲線Ｅ１１については、図１８Ｄのテンプレートと比較し、検出された曲線Ｅ１０の長さと位置が理想ラインＩＬ１０に近いかどうかでスコア化する。
なお対角線として検出されたラインが１本であることを対角線構図のスコア算出の条件とすることが考えられる。同様に曲線として検出されたラインが１本であることを曲線構図のスコア算出の条件とすることが考えられる。

ステップＳ３０７の三角構図についてのスコア算出例を図１９で説明する。
図１９Ａは、三角線Ｅ２０が検出された画像の例である。
図１９Ｂは三角構図に用いる理想ラインＩＬ２０、ＩＬ２１を示している。
画像内で検出された三角線Ｅ２０については、図１９Ｂのテンプレートと比較し、検出された三角線Ｅ２０の長さと位置が理想ラインＩＬ２０又はＩＬ２１に近いかどうかでスコア化する。
２本のラインで三角線が形成されている場合に、このスコア算出を行う。

ステップＳ３１１の消失点構図についてのスコア算出例を図２０で説明する。
図２０Ａは、２つのラインＥ３０，Ｅ３１が検出された画像の例である。
図２０Ｂは理想ラインＩＬ３０，ＩＬ３１を示したテンプレートである。
図２０Ｃは、中心としての理想位置ＩＰｃｔと、三分割点としての理想位置ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄを示している。
この場合、画像内で検出された２本のラインＥ３０，Ｅ３１の交点、つまり画像上のラインの消失点が理想位置（ＩＰｃｔ，ＩＰａ，ＩＰｂ，ＩＰｃ，ＩＰｄ）の座標に近いかどうかでスコア化する。

ステップＳ３１２の印象構図スコア算出としては、制御部３０は例えば図７のような処理を行う。
図７のステップＳ３２０で制御部３０は、対象フレームの色相判定を行う。これは例えば画像解析部２７の色の解析結果を参照して、上位２色（第１色と第２色）を確認し、それらが補色の関係にあるか否かを判定する。例えば第１色と第２色が、「赤と青緑」「紫と黄緑」「黄色と青紫」など、色相環で正反対に位置する関係の色の組合せであるか否かである。
そして補色の関係にある場合、制御部３０はステップＳ３２１からＳ３２２に進み、補色のスコアを算出する。例えば第１色と第２色の画素数の比に応じてスコアを求める。

図２１Ａは、第１色と第２色の比に応じたスコアの例を示している。第１色と第２色が５０：５０であるときにスコア＝１００とし、いずれかの比率が大きくなるほど、スコアが低下するようにする。つまり第１色と第２色のバランスに応じたスコアとする。
なお図２１Ａでは、第１色と第２色の比率と閾値ｔｈ１，ｔｈ２，ｔｈ３との関係を示している。上述のように閾値ｔｈ１＝８０、閾値ｔｈ２＝６０、閾値ｔｈ３＝４０などとされるが、その８０，６０，４０に相当する比の値がスコアを介して対応づけられる。

図７のステップＳ３２３では制御部３０は、色相、彩度、明度の判定を行う。これは上位２色（第１色と第２色）を確認し、それらが友好色の関係にあるか否かを判定するものである。例えば第１色と第２色が「赤と黒」「青と黒」「緑と黒」「青と白」「緑と白」「赤と白」などの関係にあれば、友好色の関係と判断する。
そして友好色の関係にある場合、制御部３０はステップＳ３２４からＳ３２５に進み、友好色のスコアを算出する。例えば第１色と第２色の画素数の比を、補色の場合と同様に図２１Ａのようにスコアに換算する。

図７のステップＳ３２６で制御部３０は輝度判定を行う。例えば判別分析法などを用いて輝度の分離具合を計測する。そしてコントラストの強弱を判定する。そしてステップＳ３２７でコントラストについてのスコアを算出する。
図２１Ｂ、図２１Ｃはそれぞれ或る画像についての輝度のヒストグラムを示している。例えば図２１Ｂはコントラストの強い画像、図２１Ｃはコントラストの弱い画像の場合である。
スコア算出では、コントラストが強いかどうかという観点と、ヒストグラムのバランス（暗部／明部が５０／５０）に近いかどうかという観点で数値化してスコアを求める。

以上、人物構図判定、風景構図判定について具体例を述べてきたが、人物構図についてのスコア算出や風景構図についてのスコア算出の例はさらに多様に考えられる。
図４の処理例では、対象フレームに顔が存在するか否かで、人物構図判定と風景構図判定のいずれかが行われるようにしたが、このような処理に限らない。例えば対象フレームに顔が存在する場合に、人物構図判定（Ｓ１０５）と風景構図判定（Ｓ１０６）の両方が実行されるようにしてもよい。
また、図４の処理例では、被写体検出の一例として人の顔を検出することを前提としているが、人物の顔以外の検出、例えば、犬猫顔検出、花検出、料理検出、物体認識などを行うようにし、それらの検出・認識に応じた構図判定及びスコア算出を行うようにすることも想定される。

［３−３：静止画記憶判定／実行］
図４のステップＳ１０８では、静止画記憶判定／実行の処理が行われる。
ここでは制御部３０は、以上のように判定した構図に応じて算出したスコアを用いて、処理対象のフレームについて静止画として記憶するフレームであるか否かを判定するとともに、静止画記憶するべきフレームであると判定した場合は、記憶動作を実行させる制御を行う。
このステップＳ１０８の処理を図８に詳細に示す。

或る対象フレームについてステップＳ１０８に進んだ場合、制御部３０はまず図８のステップＳ４００で、その対象フレームについて求められたスコアを確認し、その中からマックススコア（最も値の大きいスコア）を選択する。もちろんスコアが１つしか算出されていなければ、それをマックススコアとする。
上述のステップＳ１０５やＳ１０６で、今回の対象フレームについて１又は複数のスコアが求められる。例えば顔が存在する場合に全身構図のスコア、日の丸構図のスコア、バストアップ構図のスコアという３つのスコアが算出される場合がある。また顔が存在しない場合に、曲線構図のスコア、友好色のスコアとして２つのスコアが算出される場合がある。
このように１又は複数のスコアが算出されていた場合は、そのうちで最大値のスコアを選択する。そしてステップＳ４０１からＳ４０２に進む。
なお、上述の説明から理解されるように、対象フレームについてスコアが１つも算出されない場合もある。対象フレームについてスコアが算出されなかった場合は、ステップＳ４０１からＳ４０５に進んで、比較用バッファリングスコア（以下、「Ｂｕｆスコア」）をクリアして図８の処理（図４のステップＳ１０８）を終える。Ｂｕｆスコアとは、図８の処理で現在のマックススコアと比較するスコアを格納したものである。

ステップＳ４０２では、マックススコアとして選択されたスコア種別が、前回の対象フレームについてマックススコアとして選択されたスコア種別と異なるか否かを確認する。種別とは、例えば日の丸構図、バストアップ構図、全身構図・・・など、上述のようにスコア算出の基準となる構図の種別のことである。このスコア種別の変化を確認するのは、Ｂｕｆスコアと比較して、或る種別のスコアとしてのピーク値を判定しているためである。
スコア種別の変化があった場合は、制御部３０はステップＳ４０２からＳ４０３に進み、Ｂｕｆスコアをクリアする。
また制御部３０は、種別に応じた閾値設定を行う。これは上述の閾値ｔｈ１，ｔｈ２，ｔｈ３の選択ではなく、閾値自体の値の設定である。閾値ｔｈ１が用いられる場合（図４のステップＳ１０２参照）でいえば、例えば三分割構図のスコアと、曲線構図のスコアとで閾値ｔｈ１としての値を変えるような場合である。例えば日の丸構図や三分割構図では閾値ｔｈ１＝８０とし、曲線構図では閾値ｔｈ１＝８５とするような例である。
但し、全てのスコア種別につき、同じ値を用いるのであれば、この閾値設定は行う必要はない。

制御部３０はステップＳ４０４でマックススコアと閾値を比較する。図４のステップＳ１０２で閾値ｔｈ１が用いられるものと設定された場合は、マックススコアと閾値ｔｈ１を比較する。
マックススコアが閾値を越えていない場合は、今回の対象フレームは閾値条件を満たしていないとし、制御部３０はステップＳ４０５でＢｕｆスコアをクリアして図８の処理を終える。これは今回の対象フレームは、スコア算出を行ったいずれの構図についても該当性が低く（閾値で設定した程度の該当性を有しない）、構図としての評価が比較的低いため、静止画記憶は行わないと判断する場合となる。

マックススコアが閾値ｔｈ１を越えている場合、今回の対象フレームは閾値条件を満たしたものとして、制御部３０はステップＳ４０６以降で他の条件判定を行う。
ステップＳ４０６で制御部３０は、ピーク判定のためにマックススコアとＢｕｆスコアを比較する。もし、マックススコア＜Ｂｕｆスコアでなければ、ステップＳ４０８でＢｕｆスコアにマックススコアの値を代入して図８の処理を終える。
マックススコア＜Ｂｕｆスコアであれば、今回の対象フレームが或る構図についてのスコア（マックススコア）がピーク近辺の値になっていると判断する。そこで、今回のフレームはピーク近辺のスコアを有するものとして、ピーク値近傍条件を満たしたと判断する。

例えば連続する対象フレームについて、バストアップ構図のスコアが連続してマックススコアとなったとする。例えば６個の対象フレームのマックススコアがバストアップ構図のスコアであり、その値が８５→８６→８６→９０→９２→９１と変遷したとする。この場合、各対象フレームの処理の時点で、Ｂｕｆスコアが８５→８６→８６→９０→９２と更新され、６番目の対象フレームについての図８の処理の際に、ステップＳ４０６でマックススコア（９１）＜Ｂｕｆスコア（９２）となる。従って、６番目の対象フレームはピーク直後のスコアであると推定でき、この対象フレームはスコアがピーク近辺となっているという条件を満たすと判断する。

ピーク近辺のスコアであると判定した場合、制御部３０はステップＳ４０７で、今回の対象フレームが注目被写体にフォーカスが合っているかどうかを判断する。例えば制御部３０は画像解析部２７で抽出した注目被写体、例えば人物や顔などについて、フォーカス処理部２８の処理情報を確認することで、フォーカス状態を認識できる。
もしフォーカスが合っていないものである場合、ステップＳ４０８でＢｕｆスコアにマックススコアの値を代入して図８の処理を終える。つまりフォーカスの合っていないフレームは静止画記憶に適さないと判断する。

フォーカスが合っていると判断したときは、制御部３０はステップＳ４０９で注目被写体が動いている被写体であるか（動的被写体）を判断する。動的被写体であるか否かは画像解析部２７が連続する各フレームの画像における主要な被写体の位置変動を解析することで判断できるため、制御部３０は画像解析部２７による解析結果を確認すれば良い。
なお、ここでいう動的被写体とは、人物や動物、或いは自動車、列車等の動いている可能性のある被写体を指すのではなく、実際に当該フレームの撮像時に動いている被写体を指すものである。つまり動いている過程の被写体が撮像されたフレームであるか否かを判断する。

注目被写体が動的被写体ではない場合は、制御部３０はステップＳ４０９からＳ４１１に進み、今回の対象フレームの画像を静止画として記憶させる制御を行う。
例えば制御部３０は、デジタル信号処理部２０に対して今回のフレームの画像データを指定し、所定のエンコード処理や必要な解像度変換等を実行させ、記憶部１５で静止画データとして記録媒体に記憶させる。

注目被写体が動的被写体であるときは、その注目被写体の画像がブレている可能性がある。そこで制御部３０はステップＳ４０９からＳ４１０に進み、対象フレームが、イメージャ１２のシャッタスピードが焦点距離分の１秒よりも速い状態で撮像されたものであるか否かを判断する。
シャッタスピードが焦点距離分の１秒より速やければ、動的被写体がブレないで撮像されている可能性が高いため、制御部３０はステップＳ４１１に進み、今回の対象フレームについて静止画として記憶させる制御を行う。
一方、シャッタスピードが焦点距離分の１秒より遅い場合は、ブレた画像となっている可能性が高いため、静止画として記憶すべきものとはせず、制御部３０はステップＳ４０８でＢｕｆスコアにマックススコアの値を代入して図８の処理を終える。

以上の図８の処理により、対象フレームについては、マックススコアが閾値条件を満たした上で、ピーク値近傍と推定され、また注目被写体にフォーカスが合っており、さらにブレのないと推定される場合（動いている過程の画像を含んでいないか、含んでいたとしてもシャッタスピードが十分速い場合）に、静止画として自動的に記憶されるものとなる。
なお、対象フレームがステップＳ４０６でピーク値近傍と判断されても、ステップＳ４０７、Ｓ４１０の条件を満たさなかった場合は、Ｂｕｆスコアが更新される。このため、実際にステップＳ４０６，Ｓ４０７，Ｓ４０９又はＳ４１０の条件を満たすフレームでも、閾値条件を満たす範囲でピーク値からは多少離れたスコアになっているものが静止画記憶される場合もありえる。従って、少なくともピーク後のフレームであって、フォーカスぼけやブレのないもののうちで、ピーク値に近いフレームを静止画として記憶するという考え方となる。
これに対して、ステップＳ４０７で注目被写体にフォーカスが合っていないと判断される場合や、動的被写体が存在しシャッタスピードが十分速いものではないと判断されたときは、ステップＳ４０８のＢｕｆスコアの更新は行わないようにすることも考えられる。このようにすれば、実際にピーク値近辺の画像が静止画記憶の対象となるようにすることもできる。

［３−４：表示例］
図４のステップＳ１０７での構図表示制御について説明する。
このステップＳ１０７では制御部３０は表示制御部３０ｄとしての機能により、上述のように自動静止画記憶が行われる際に、ユーザに対して、なるべく良い構図の静止画が自動記憶されるようにガイドする表示を実行させる。

被写体人物を撮像している場合の例で説明する。
図２２、図２３、図２４は表示部３４での表示例を示している。イメージャ１２での撮像実行中であり、表示部３４ではスルー画が表示されているとする。
まず図２２、図２３は、スルー画に構図情報（中心位置ＣＰや閾値情報）を重畳表示させる例である。
図２２Ａは閾値ｔｈ１が選択されている場合であり、例えば日の丸構図における理想位置ＩＰと、その理想位置ＩＰに対して閾値ｔｈ１を示す枠Ｗｔｈ１が表示される例である。
図２２Ｂは閾値ｔｈ２が選択されている場合であり、同様に理想位置ＩＰに対して閾値ｔｈ２を示す枠Ｗｔｈ２が表示される例である。
図２２Ｃは閾値ｔｈ３が選択されている場合であり、同様に理想位置ＩＰに対して閾値ｔｈ３を示す枠Ｗｔｈ３が表示される例である。
また図２２Ａ、図２２Ｂ、図２２Ｃの場合、それぞれのスルー画像上では人物の顔が検出されているが、顔領域を示す枠ＷＦと、顔の中心位置ＣＰがスルー画に重畳表示される。

図２３Ａは閾値ｔｈ１が選択されている場合であり、例えばバストアップ構図における理想位置ＩＰと閾値ｔｈ１を示すラインＬｔｈ１が表示される例である。
図２３Ｂは閾値ｔｈ２が選択されている場合の、理想位置ＩＰと閾値ｔｈ２を示すラインＬｔｈ２が表示される例である。
図２３Ｃは閾値ｔｈ３が選択されている場合の、理想位置ＩＰと閾値ｔｈ３を示すラインＬｔｈ３が表示される例である。
この図２３Ａ、図２３Ｂ、図２３Ｃの場合も、それぞれのスルー画像上では人物の顔が検出され、顔領域を示す顔枠ＷＦと、顔の中心位置ＣＰがスルー画に重畳表示される。

制御部３０は図４のステップＳ１０７の段階で、今回の対象フレームについて理想位置ＩＰ、閾値情報（枠Ｗｔｈ（Ｗｔｈ１、Ｗｔｈ２、Ｗｔｈ３）やラインＬｔｈ（Ｌｔｈ１、Ｌｔｈ２、Ｌｔｈ３）、顔枠ＷＦ、中心位置ＣＰ等を表示させるように表示データ生成部２６に指示し、図示のような画像を表示させる。
このような表示が行われることで、ユーザに適切なガイドが可能となる。例えばユーザは顔の中心位置ＣＰが理想位置ＩＰに一致するように、或いは少なくとも枠ＷｔｈやラインＬｔｈ内に入るように、撮像装置１０の撮像方向を調整することで、良い構図で静止画記憶が行われる可能性を高くすることができる。

なお理想位置ＩＰは、構図によって異なるため、表示の際にどの構図種別についての理想位置ＩＰを示すかは多様に考えられる。例えばステップＳ１０７の時点で、直前のステップＳ１０５又はＳ１０６でスコアが算出されていた構図のうちの１つを選択して、その理想位置ＩＰや閾値情報（Ｗｔｈ、Ｌｔｈ）を表示させることが考えられる。この場合の構図種別の選択は、スコアが最も高かった構図とすることが考えられる。
また、ユーザが構図種別を指定できるようにし、その指定された構図についての理想位置ＩＰ等や、閾値情報が表示されるようにしてもよい。
また、画像内容に応じて構図種別が選択されても良い。例えば顔画像が横向きであれば三分割構図の理想位置ＩＰが表示されるようにするなどである。
なお、閾値情報（Ｗｔｈ、Ｌｔｈ）は、閾値ｔｈ１、ｔｈ２、ｔｈ３の選択状態によって線の色や閾値条件該当範囲の領域の色が変化するようにしてもよい。

図２４Ａ、図２４Ｂは、現状のスコアと閾値条件を表示する例である。
表示部３４においてスルー画上に重畳させて、マックスレベル６０、閾値レベル６１、スコアバー６２を表示させる。
即ち現在のフレームについて求められたスコアがスコアバー６２により表現される。スルー画としての各フレームに対応するスコア表示であるため、各フレームのスコアに応じてスコアバー６２の長さが変動する。
例えば図２４Ａの場合、中心位置ＣＰが枠Ｗｔｈ１の範囲内で理想位置ＩＰに接近しており、スコアは高いものとなるため、スコアバー６２は閾値レベル６１を越えて長くなっている。
図２４Ｂの場合、中心位置ＣＰが枠Ｗｔｈ１の範囲外で理想位置ＩＰから離れており、スコアは低いものとなるため、スコアバー６２は短くなっている。

このようにスコアに応じてスコアバー６２が表示され、またスコアバー６２に対してマックスレベル６０、閾値レベル６１が表示されることで、現在のフレームの構図の或る構図への該当度合いをユーザが認識できるものとなる。ユーザは、スコアバー６２が伸びるように、特には少なくとも閾値レベル６１を越えるように、被写体方向を調整するようにすれば、自動静止画記憶の実行の可能性を高めることができる。またマックススコアに近づけるようにすることで、なるべく良い構図の静止画が記憶されるようにすることができる。
スコアバー６２は、長さに応じて色を変化させることで、よりユーザにスコアを認識しやすくすることもできる。
閾値レベル６１の位置は、閾値ｔｈ１、ｔｈ２、ｔｈ３の選択状態によって上下する。
なお、スコアバー６２の表示は、スルー画に重畳させず、スルー画とは領域を区切って画面端部側などの別領域で表示させてもよい。

図２４Ｃは拡大画像６５を表示させる例である。
例えば中心位置ＣＰが閾値範囲内（例えば枠Ｗｔｈ１内）に入ったら、図示のように理想位置ＩＰ近辺を拡大して表示する。ユーザは中心位置ＣＰ１を理想位置ＩＰに一致させるように撮像方向を調整するが、撮像装置１０を手で持ちながら撮像方向を調整するときに、表示画面が小型であると、なかなか合わせこみが難しい。そこで拡大画像６５により中心位置ＣＰと理想位置ＩＰのずれを拡大中心位置ＣＰＬ、拡大理想位置ＩＰＬにより認識しやすくして、ユーザが中心位置ＣＰを理想位置ＩＰに合わせやすくする。
また拡大画像６５の表示は中心位置ＣＰが閾値範囲内に入ったときのみ行うようにすることで、むやみに拡大画像でスルー画が隠されてしまうことを防止できる。

以上、表示例を説明してきたが、これらは一例である。どのような情報を表示させるかは各種の例が考えられる。例えば、
・構図エリア（理想位置ＩＰ及び閾値情報）のみを描画する
・スコアバーのみを描画する
・拡大画像のみを描画する
・想定される構図の構図エリア／スコアバーを複数表示させる
・ユーザが指定した構図種別のみ表示させる
などが考えられる。

＜４．プログラム及びコンピュータ装置への適用＞
ここまで画像処理装置１、撮像装置１０の実施の形態を説明してきたが、上述した自動静止画記憶のための処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。
即ち実施の形態のプログラムは、構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定ステップ（図２のＳ１）と、フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを静止画として記憶する画像データと判定する画像記憶判定ステップ（Ｓ４）とを演算処理装置に実行させるプログラムである。
なお画像記憶判定ステップは、フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを静止画として記憶する画像データと判定するようにしてもよい（Ｓ４〜Ｓ７）。
また、連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、画像の構図の評価値となるスコアを算出するスコア算出ステップ（Ｓ３）を備えるようにし、画像記憶判定ステップでは、或るフレームについてスコア算出ステップで算出したスコアが、閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを静止画として記憶する画像データと判定するようにしてもよい（Ｓ４）。
このようなプログラムにより、上述した自動静止画記憶の制御を行う画像処理装置を、演算処理装置を用いて実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置とすることができる。
例えば、図２５に示されるようなコンピュータ装置において、上述の画像処理装置１、撮像装置１０における自動静止画記憶のための処理と同様の処理が実行されるようにすることもできる。

図２５において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。

入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
上述した自動静止画記憶の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリなどよりなるリムーバブルメディア８１により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。

このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８０（リムーバブルメディア８１）もしくは記憶部７８での再生動作等により、動画データを入力した際に、ＣＰＵ７１がプログラムに基づいて、上述の図２のような処理を実行することで、入力された画像データについて自動静止画記憶を行うフレームを選択する処理を実行できる。

＜５．まとめ及び変形例＞
以上の実施の形態では、次のような効果が得られる。
実施の形態の画像処理装置１又は撮像装置１０は、は、構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定部（１ｂ，３０ｂ）と、フレーム内の構図が、閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定部（１ｃ、３０ｃ）と、を備えている。
この構成により、動画やスルー画などとしての連続フレームから、自動的に構図の良い静止画となるべきフレームを判定でき、自動静止画記憶において適切なフレームを選択できる。
また、画像記憶判定部（１ｃ、３０ｃ）は、フレーム内の構図が、閾値設定部（１ｂ，３０ｂ）が設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを静止画として記憶する画像データと判定する（図８のＳ４０６〜Ｓ４１０）。
即ち、構図に加えて、さらに他の条件を判断することで、なるべく画像として品質の良いフレームを自動的に判定できる。
また、連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、画像の構図の評価値となるスコアを算出するスコア算出部（１ａ，３０ａ）を備える。そして画像記憶判定部（１ｃ、３０ｃ）は、或るフレームについてスコア算出部（１ａ，３０ａ）が算出したスコアが、閾値条件を満たしている場合に、当該フレームに対応する画像データを静止画として記憶する画像データと判定する。
つまりスコア算出部（１ａ，３０ａ）は、１フレームの画像データが、好ましい構図に該当するか否かを判定し、その該当度合いを示すスコアを求める。スコアは、フレームの画像がスコア算出基準となる構図の理想状態にどの程度近いかを示す値とされる。
この場合、動画やスルー画などとしての連続フレームから、自動的に１フレームを抽出して静止画として記憶するために、１フレームの画像データが、静止画として好ましい構図に該当するか否かの評価値となるスコアを求める。このスコアが、閾値条件を満たしていれば、少なくとも静止画記憶として適切なフレームであるとする。さらに、他の条件を判断して、静止画として記憶するか否かを決定する。
このため自動的な静止画記憶の動作として、ユーザが意識しなくとも、品質の高い構図となっている静止画を記憶できるようになる。
また閾値条件を可変設定することで、静止画記憶頻度を調整することができる。特に閾値条件による静止画記憶頻度の調整は、時間による頻度調整ではないため、静止画取り込みの機会をむやみに減じないものとできる。
また理想の構図は上述の場合のスコア＝最高値（１００）となることだが、これはユーザが意識したとしても確率的には難しい。閾値を選択できることで、ユーザにとって望ましい頻度で比較的良い構図の静止画の自動記憶が行われるようにできる。

また実施の形態では、複数の構図、例えば日の丸構図、バストアップ構図など多数の構図をスコア算出の基準とし、スコアを算出するようにしている（図５，図６，図７）。これは静止画として好ましい構図は多様であるため、複数の構図を基準として用いてスコアが求められるようにする。
これにより、フレーム毎に、その画像データの構図がいずれかの構図に対して該当度合いが高ければ、静止画として記憶される可能性を高めることができる。つまり、各種の好ましい構図を基準として、それらのいずれかに該当するような静止画を記憶していくことができる。また、これにより特定の構図のみを基準とすることで静止画記憶の機会を損なうということを防止できる。

また実施の形態では、フレームの画像内容に応じて、複数の構図のうちでスコア算出の基準とする１又は複数の構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出するようにしている（図４，図５，図６，図７）。
画像内容、つまり被写体の種別に応じて、望ましい構図や、適した構図がある。例えば人物が被写体の場合に適した構図、風景が被写体の場合に適した構図などである。そこで、フレームの画像内容に応じて、スコア算出に用いる構図を選択することで、画像内容に適した構図を基準とする評価値が求められるようにする。
これにより被写体の種別に応じて、望ましい構図とされているフレームが静止画として記憶される可能性を高めることができる。

また実施の形態では、或るフレームについて、複数の構図を基準としてそれぞれ算出したスコアのうちの最大値（図８のステップＳ４００で選択するマックススコア）が閾値を満たしているか否かを判断する（Ｓ４０４）。
少なくとも１つのスコアが閾値条件を満たしているのであれば、そのフレームは、或る構図に該当するものと判断できる。そこで、最大値となっているスコアにより閾値条件を判断することで、静止画として残すことが適切かどうか判断できる。
この場合、複数のスコアが算出された際に、簡易な処理で的確に構図該当性を判断できるものともなる。

また実施の形態では、閾値条件以外の他の条件判定として、対象のフレームのスコアが、連続する複数のフレームにおいて変動するスコア値のピーク値近傍となっているか否かの判定を行うようにしている（Ｓ４０６）。
つまり単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、その中でスコアがピーク値近傍となっているフレームを選択する。
例えば連続するフレーム期間で、スコアが閾値条件を満たすだけで静止画として記憶すると、似たような画像が多数記憶される。そこでピーク値近辺のフレームを選択することで、より構図として好適な画像が静止画として記憶されるようにできる。これにより記憶される静止画の品質を向上させ、また同じような画像を多数記憶させないようにできる。
また閾値が低い場合でも、ピークを判定することで、撮像機会を増やしつつ、なるべく良い構図の静止画が記憶されるようにすることができる。
なお、図８のステップＳ４０６でマックススコア＜Ｂｕｆスコアとなったフレームの直前の対象フレームを、ピークスコアのフレームとし、そのフレームを他の条件判定の上、静止画として記憶させるようにしてもよい。これにより最もスコアの高いフレームを静止画として記憶することができる。

また実施の形態では、閾値条件以外の他の条件判定として、対象のフレームの画像、例えば注目被写体の画像が、フォーカスが合っているか否かの判定を行う（Ｓ４０７）。
即ち単にスコアが閾値条件を満たしているフレームを静止画として記憶するのではなく、フォーカスが合っていない画像は静止画として記憶させないようにする。これにより記憶される静止画は、フォーカスの合っている画像（ボケていない画像）とすることができ、記憶される静止画の品質を向上させることができる。

また実施の形態では、閾値条件以外の他の条件判定として、対象のフレームが、注目被写体が動いている過程の画像を含むか否かの判定を行う（Ｓ４０９）。そして動いている過程の画像を含んでいない場合に、静止画記憶のための条件を満たすこととしている。動いている過程の動的被写体の場合、被写体がぶれていることが多いため、それを静止画として記憶することを避けることができる。これにより記憶される静止画の品質を向上させる。
また対象のフレームが、注目被写体が動いている過程の画像を含んでいる場合、当該フレームの撮像時のシャッタスピードの判定を行う。具体的にはシャッタスピードが被写体条件から求められる速度以上の状態で撮像されているか否かの判定を行う（Ｓ４１０）。即ち動的被写体の存在によりブレが生じていそうな画像である場合は、シャッタスピードの状況から、ブレがないと判断できる場合に静止画として記憶させる。
動いている過程の動的被写体の場合、そのフレームが、シャッタスピードが速い状態で撮像されていれば、ブレた画像の可能性は低い。これにより動きのある被写体の場合でも品質の良い静止画が記憶されるようにする。

また閾値設定部は、操作入力に応じて閾値条件（ｔｈ１，ｔｈ２，ｔｈ３）を可変設定する。閾値条件が厳しいほど、静止画記憶の頻度は低下し、閾値条件が緩いほど静止画記憶の頻度は高くなる。従って、静止画記憶をどの程度の頻度で行わせたいかというユーザの意思により、頻度を調整できるようにする。
ユーザが閾値条件を操作により指示できるようにすることで、ユーザの意思に応じた頻度で自動静止画記憶が行われるようにすることができる。

また、或るフレームの画像データが静止画として記憶する画像データと判定された後は、設定された閾値に応じた待機時間の間のフレームについては、静止画として記憶する画像データとはしない（Ｓ１１１）。
待機期間を設けることにより、似たような画像が多数、静止画として記憶されることを避けることができる。この場合に、閾値条件が厳しいほど静止画記憶の頻度は低下し、閾値条件が緩いほど静止画記憶の頻度は高くなるため、待機時間も、閾値条件に応じることで、閾値条件による頻度に対応したものとなる。
なお、待機時間は余り長くすると、過剰に静止画記憶機会を損なう。また記憶頻度設定にも影響する。そこで比較的短い時間であることが好適である。

また実施の形態では、時間軸上で連続するフレームの画像データ（例えばスルー画）を表示画面上で表示させるとともに、その画像と重畳させて、構図情報（例えば理想位置ＩＰ）を表示させるようにしている（図２２，図２３）。即ち撮像画像について、その画像内容の特定の構図に対しての該当度合いがわかるような状態が表示される。これによりユーザは、撮像中の構図が良い構図であるか否かを容易に判断できる。
また各フレームのスコアと閾値条件の情報（スコアバー７２、閾値レベル７１）を表示させる（図２４Ａ、図２４Ｂ）ことで、スコアが閾値条件を満たしているか否かをユーザに提示する。これにより、ユーザが被写体方向を整えて、スコアの高いフレームが得られやすいようにできる。
また、画像内容を特定の構図に合致させるガイドとなる拡大画像７５を表示させる（図２４Ｃ）。拡大画像により、ユーザが、主要な被写体の中心を構図としての理想位置ＩＰに持って行きやすいようにガイドでき、撮像中に画角、撮像方向を合わせ易くし、スコアが高いフレームが得られやすいようにできる。

なお、これらの表示制御は、自動静止画記憶の場合以外、つまりユーザのシャッタ操作により静止画記憶を行う場合にもガイドとして好適である。そこで、シャッタ操作による静止画記憶の場合でも、構図に対するスコアを算出し、構図情報やスコアの情報を提示することは有用である。

また実施の形態では自動静止画記憶の動作として、動画としてのフレームのうちで、静止画として好適な構図のフレームを判定し、そのフレームに対応する画像データを記憶させる処理としたが、本技術の適用は、このような静止画記憶に限定されない。即ち動画としての自動記憶も可能である。
例えば構図のよいフレームを判定することに応じて、そのフレームを起点として所定時間の動画を自動的に記憶させることも可能である。
またその場合に、フレームレートの低い間欠的なフレームとしたり、さらに間引きフレームを多くして疑似動画的な画像データなどとして記憶させてもよい。
また構図のよい、例えば閾値条件を満たすフレームを判定したら、閾値条件を満たさなくなるフレームの直前までの連続フレームを動画データとして記憶させるようにしてもよい。

また実施の形態の図２や図８の処理では、構図に加えて、さらに他の条件を判断して、記憶するフレームの判定を行ったが、少なくとも構図条件、つまり閾値条件を満たしていれば、記憶するフレームと判定するようにしてもよい。これにより自動画像記憶としての処理を簡易化できる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

本技術は以下のような構成も採ることができる。
（１）構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定部と、
フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定部と、を備えた
画像処理装置。
（２）前記画像記憶判定部は、フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを記憶する画像データと判定する
上記（１）に記載の画像処理装置。
（３）連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、画像の構図の評価値となるスコアを算出するスコア算出部を備え、
前記画像記憶判定部は、或るフレームについて前記スコア算出部が算出したスコアが、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する
上記（１）又は（２）に記載の画像処理装置。
（４）前記スコア算出部は、複数の構図をそれぞれ基準としてスコアを算出する処理が可能とされている
上記（３）に記載の画像処理装置。
（５）前記スコア算出部は、フレームの画像内容に応じて、スコア算出の基準とする構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出する
上記（４）に記載の画像処理装置。
（６）前記画像記憶判定部は、或るフレームについて前記スコア算出部が、複数の構図を基準としてそれぞれ算出したスコアのうちの最大値が、前記閾値設定部が設定した閾値を満たしているか否かを判断する
上記（４）又は（５）に記載の画像処理装置。
（７）前記画像記憶判定部は、前記他の条件判定として、
対象のフレームのスコアが、連続する複数のフレームにおいて変動するスコア値のピーク値近傍となっているか否かの判定を行う
上記（２）に記載の画像処理装置。
（８）前記画像記憶判定部は、前記他の条件判定として、
対象のフレームの画像が、フォーカスが合っているか否かの判定を行う
上記（２）又は（７）に記載の画像処理装置。
（９）前記画像記憶判定部は、前記他の条件判定として、
対象のフレームが、注目被写体が動いている過程の画像を含むか否かの判定を行う
上記（２）（７）（８）のいずれかに記載の画像処理装置。
（１０）前記画像記憶判定部は、前記他の条件判定として、
対象のフレームが、注目被写体が動いている過程の画像を含んでいる場合、当該フレームの撮像時のシャッタスピードの判定を行う
上記（２）（７）（８）（９）のいずれかに記載の画像処理装置。
（１１）前記閾値設定部は、操作入力に応じて閾値条件を可変設定する
上記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）前記画像記憶判定部により或るフレームに対応する画像データが記憶する画像データと判定された後は、前記閾値設定部により設定された閾値に応じた待機時間の間のフレームに対応する画像データついては、記憶する画像データとは前記画像記憶判定部が判定しないようにする
上記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、その画像と重畳させて、構図情報を表示させる表示制御部を備えた
上記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、各フレームのスコアと閾値条件の情報を表示させる表示制御部を備えた
上記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、画像内容を特定の構図に合致させるガイドとなる拡大画像を表示させる表示制御部を備えた
上記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定ステップと、
フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定ステップと、
を演算処理装置が実行する画像処理方法。
（１７）構図に応じた画像記憶の実行判定のための閾値条件を設定する閾値設定ステップと、
フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定ステップと、
を演算処理装置に実行させるプログラム。

１…画像処理装置、１ａ，３０ａ…スコア算出部、１ｂ，３０ｂ…閾値設定部、１ｃ，３０ｃ…画像記憶判定部、３０ｄ…表示制御部、１０…撮像装置、１１…光学系、１２…イメージャ、１３…光学系駆動部、１４…センサ部、１５…記憶部、１６…通信部、２０…デジタル信号処理部、２１…前処理部、２２…同時化部、２３…ＹＣ生成部、２４…解像度変換部、２５…コーデック部、２６…表示データ生成部、２７…画像解析部、２８…フォーカス処理部、３０…制御部、３４…表示部、３５…操作部、７０…コンピュータ装置、７１…ＣＰＵ

Claims (14)

1. 構図に応じた画像記憶の実行判定のための閾値条件が構図毎に段階的に設けられ、操作入力に応じて選択された段階の閾値条件を画像記憶の実行判定で用いる閾値条件として設定する閾値設定部と、
   フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定部と、
   連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、複数の構図をそれぞれ基準として画像の構図の評価値となるスコアを算出する処理が可能とされているスコア算出部と、
   を備え、
   前記スコア算出部は、フレームの画像内容の画像解析結果により当該フレームの画像内に顔が検出されたか否か判定することに応じて人物構図判定と風景構図判定のいずれかを行い、前記人物構図判定においてはフレームの画像内容の画像解析結果により判定された顔の数と向きに応じて構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出し、前記風景構図判定においてはフレームの画像内容の画像解析結果に応じてスコア算出の基準とする構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出し、
   前記画像記憶判定部は、或るフレームについて前記スコア算出部が算出したスコアが、前記閾値設定部が設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する
   画像処理装置。
2. 前記画像記憶判定部は、フレーム内の構図が、前記閾値設定部が設定した閾値条件を満たしている場合に、他の条件判定に応じて、当該フレームの画像データを記憶する画像データと判定する
   請求項１に記載の画像処理装置。
3. 前記スコア算出部は、前記風景構図判定において、スコア算出対象のフレームの画像内容の画像解析において、当該フレームの画像内にラインが検出されたか否か判定する
   請求項１又は請求項２に記載の画像処理装置。
4. 前記画像記憶判定部は、或るフレームについて前記スコア算出部が、複数の構図を基準としてそれぞれ算出したスコアのうちの最大値が、前記閾値設定部が設定した閾値を満たしているか否かを判断する
   請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記画像記憶判定部は、前記他の条件判定として、
   対象のフレームのスコアが、連続する複数のフレームにおいて変動するスコア値のピーク値近傍となっているか否かの判定を行う
   請求項２に記載の画像処理装置。
6. 前記画像記憶判定部は、前記他の条件判定として、
   対象のフレームの画像が、フォーカスが合っているか否かの判定を行う
   請求項２又は請求項５に記載の画像処理装置。
7. 前記画像記憶判定部は、前記他の条件判定として、
   対象のフレームが、注目被写体が動いている過程の画像を含むか否かの判定を行う
   請求項２、請求項５、請求項６のいずれかに記載の画像処理装置。
8. 前記画像記憶判定部は、前記他の条件判定として、
   対象のフレームが、注目被写体が動いている過程の画像を含んでいる場合、当該フレームの撮像時のシャッタスピードの判定を行う
   請求項２、請求項５、請求項６、請求項７のいずれかに記載の画像処理装置。
9. 前記画像記憶判定部により或るフレームに対応する画像データが記憶する画像データと判定された後は、前記閾値設定部により設定された閾値に応じた待機時間の間のフレームに対応する画像データついては、記憶する画像データとは前記画像記憶判定部が判定しないようにする
   請求項１から請求項８のいずれかに記載の画像処理装置。
10. 時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、その画像と重畳させて、構図情報を表示させる表示制御部を備えた
    請求項１から請求項９のいずれかに記載の画像処理装置。
11. 時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、各フレームのスコアと閾値条件の情報を表示させる表示制御部を備えた
    請求項１から請求項１０のいずれかに記載の画像処理装置。
12. 時間軸上で連続するフレームの画像データを表示画面上で表示させるとともに、画像内容を特定の構図に合致させるガイドとなる拡大画像を表示させる表示制御部を備えた
    請求項１から請求項１１のいずれかに記載の画像処理装置。
13. 構図に応じた画像記憶の実行判定のための閾値条件が構図毎に段階的に設けられ、操作入力に応じて選択された段階の閾値条件を画像記憶の実行判定で用いる閾値条件として設定する閾値設定ステップと、
    フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定ステップと、
    連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、複数の構図をそれぞれ基準として画像の構図の評価値となるスコアを算出する処理が可能とされているスコア算出ステップと、
    を演算処理装置が実行し、
    前記演算処理装置は、
    前記スコア算出ステップにおいて、フレームの画像内容の画像解析結果により当該フレームの画像内に顔が検出されたか否か判定することに応じて人物構図判定と風景構図判定のいずれかを行い、前記人物構図判定においてはフレームの画像内容の画像解析結果により判定された顔の数と向きに応じて構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出し、前記風景構図判定においてはフレームの画像内容の画像解析結果に応じてスコア算出の基準とする構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出し、
    前記画像記憶判定ステップにおいて、或るフレームについて前記スコア算出ステップにおいて算出したスコアが、前記閾値設定ステップにおいて設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する
    画像処理方法。
14. 構図に応じた画像記憶の実行判定のための閾値条件が構図毎に段階的に設けられ、操作入力に応じて選択された段階の閾値条件を画像記憶の実行判定で用いる閾値条件として設定する閾値設定ステップと、
    フレーム内の構図が、前記閾値設定ステップで設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する画像記憶判定ステップと、
    連続するフレームの全部又は一部をスコア算出対象のフレームとし、スコア算出対象としたフレームについて、複数の構図をそれぞれ基準として画像の構図の評価値となるスコアを算出する処理が可能とされているスコア算出ステップと、
    を演算処理装置に実行させるとともに、
    前記スコア算出ステップにおいて、フレームの画像内容の画像解析結果により当該フレームの画像内に顔が検出されたか否か判定することに応じて人物構図判定と風景構図判定のいずれかを行い、前記人物構図判定においてはフレームの画像内容の画像解析結果により判定された顔の数と向きに応じて構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出し、前記風景構図判定においてはフレームの画像内容の画像解析結果に応じてスコア算出の基準とする構図を選択し、選択した１又は複数の構図のそれぞれについてのスコアを算出する処理と、
    前記画像記憶判定ステップにおいて、或るフレームについて前記スコア算出ステップにおいて算出したスコアが、前記閾値設定ステップにおいて設定した閾値条件を満たしている場合に、当該フレームに対応する画像データを記憶する画像データと判定する処理とを
    前記演算処理装置に実行させるプログラム。

Images