JP7361546B2 - 画像処理装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、ピントずれのある撮影状態の良好でない画像と、撮影状態の良好な画像とを分類する画像処理装置に関するものである。

従来より、デジタルカメラにおいて、撮影した後に被写体の合焦状態に基づいて撮影状態の良好でない画像と撮影状態の良好な画像とを分類する技術が知られている。例えば、特許文献１には、撮影時のオートフォーカス評価値や手振れ量検出センサによる手振れ評価値などに基づいて画像を分類するカメラが開示されている。

特開２００５－１８４６０９号公報

ところで、オートフォーカス評価値や手振れ評価値などは、常に安定して取得できるわけではない。例えば、オートフォーカス評価値について言えば、コントラストが低い被写体に対しては正しい評価値が取得できない。また、高速連写によるコマ速を低下させないために、オートフォーカス評価値の取得をセンサから読み出した全ての画像に対して行うのではなく、時間的に間引いた画像に対して行うことで各種処理時間を短縮することも想定される。この場合、間引いた画像から得られたオートフォーカス評価値が実際に撮影した画像のオートフォーカス評価値と一致するとは限らない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、様々な撮影シーンで撮影状態を適切に評価することを可能にした画像処理装置を提供することである。

本発明に係わる画像処理装置は、第１の画像と、該第１の画像と異なる時刻に撮像された第２の画像とを取得する第１の取得手段と、前記第１の画像および前記第２の画像の評価値を取得する第２の取得手段と、前記評価値の信頼度を取得する第３の取得手段と、前記第１及び第２の画像から所定の被写体を検出する被写体検出手段と、前記信頼度と、前記被写体検出手段の検出結果とに基づいて、前記第１の画像の評価値及び第２の画像の評価値から選択された評価値を用いて、前記第１の画像を評価する評価手段と、前記評価手段による前記第１の画像の評価を前記第１の画像に付加して記録する記録手段と、を備え、前記評価手段は、前記第１の画像の評価値の信頼度が所定より高く、前記第１の画像において前記被写体検出手段により前記所定の被写体が検出されている場合は、前記第１の画像の評価値を用いて前記第１の画像を評価することを特徴とする。

本発明によれば、様々な撮影シーンで撮影状態を適切に評価することを可能にした画像処理装置を提供することができる。

本発明の一実施形態に係わるデジタルカメラの構成を示すブロック図。 一実施形態における撮像素子の構成を説明するための図。 一実施形態における画素の構成を説明するための図。 一実施形態における撮影シーケンスを説明するための図。 一実施形態における静止画撮影の動作を説明するためのフローチャート。 一実施形態におけるＤ（ｔ）の算出方法を説明するための図。 一実施形態におけるレーティング結果の一例を示す図。 一実施形態における画像データのファイル構造を示す図。 一実施形態におけるレーティング結果の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、本発明の画像処理装置の一実施形態であるデジタルカメラの機能構成を示すブロック図である。

図１において、制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００の各ブロックの動作プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００の各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００の各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像を撮像部１０５に結像させる。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を備え、光学系１０４により結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する（画像取得）。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をＡ／Ｄ変換し、得られたデジタル画像データをＲＡＭ１０３に記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整処理、色補間処理、縮小／拡大処理、フィルタリング処理など、様々な画像処理を適用する。

記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像や、Ａ／Ｄ変換部１０６でＡ／Ｄ変換された画像などが、記録画像として記録される。

表示部１０９は、ＬＣＤ等の表示デバイスであり、撮像部１０５で撮像された被写体像をスルー表示するほか、様々な情報を表示する。操作部１１０は、レリーズボタンを含む操作部材類であり、オートフォーカスやレリーズなどの操作を指示する。なお、レリーズボタンは２段押しに構成されており、レリーズボタンの半押し（スイッチＳＷ１のＯＮ）で撮影準備動作が開始され、レリーズボタンの全押し（スイッチＳＷ２のＯＮ）で撮影動作が開始される。

評価値取得部１１１は、撮像部１０５で撮像して得られた画像データからオートフォーカス評価値などの評価値を算出する。被写体検出部１１２は、得られた画像データから人物の顔などの被写体を検出し、画像上での被写体の大きさおよび位置を出力する。

図２および図３は、撮像部１０５が備える撮像素子１０５ａの構成を説明するための図である。画素２０２はマイクロレンズ２０１と一対の光電変換部３０３，３０４とを備えて構成される。撮像素子１０５ａには、画素２０２が二次元的に規則的に配列されている。

二次元的に規則的に配列された一対の光電変換部３０３，３０４から、一対の視差のある画像としてＡ像、Ｂ像が出力されるものとする。このように構成することにより、図１の光学系１０４の瞳の異なる領域を通過する一対の光束を一対の光学像として結像させて、それらを一対の画像であるＡ像およびＢ像として出力することができる。さらに、図１の評価値取得部１１１は、Ａ像とＢ像の位相差分布をオートフォーカス評価値（ピント情報）として出力し、同時に焦点検出の可否についても判定結果を出力する。Ａ像とＢ像の位相差分布を取得する手法については、例えば特開２００８－１５７５４号公報に開示されている手法を用いることにより、デフォーカス量分布を取得し、同時にコントラストに基づいて焦点検出の可否すなわちデフォーカスの信頼性を判定することができる。

また、本発明はこれに限定されるものではなく、オートフォーカス評価値としてＡ像とＢ像のずれ量であるシフト量の分布を取得するようにしてもよい。また、シフト量は検出ピッチ（同一種類の画素の配置ピッチ）を掛けてマイクロメートルなどの長さの単位で表してもよい。また、オートフォーカス評価値としてデフォーカス量を焦点深度（２Ｆδもしくは１Ｆδ：Ｆは絞り値、δは許容錯乱円径）で正規化した値の分布を取得するようにしてもよい。

図４は、本実施形態における撮影時のシーケンスについて示した図である。また、図５は、静止画撮影の動作およびピント評価の動作を説明するためのフローチャートである。

図４において、４０１は、各時刻において表示部１０９に表示されるＥＶＦ（電子ビューファインダ）画像を示し、４０２はユーザの撮影指示により撮像、記録される静止画を示す。ＥＶＦ画像４０１は、表示用であることから、静止画４０２に対してフレームレートは高いが、解像度は小さい画像となっている。

Ｄ（ｘ）は、評価値取得部１１１がＥＶＦ画像４０１、静止画４０２に対して生成したデフォーカス量を示す。Ｄｃ（ｘ）は、評価値取得部１１１がＥＶＦ画像４０１、静止画４０２に対して生成したデフォーカスの信頼度を示し、１であれば信頼度が高く、０であれば信頼度が低いことを示す。

本実施形態では、静止画４０２に対するデフォーカス量の情報がない場合について説明する。これは、ｔ～ｔ＋１の間の時間内に、静止画４０２についてＡ像とＢ像の一対の画像を読み出し、それを元にデフォーカスの演算を行う時間が収まらないことを想定したものである。Ｏｂｊ（ｘ）は、被写体検出部１１２がＥＶＦ画像４０１、静止画４０２に対して行った被写体検出の検出結果（被写体検出情報）を示し、１であれば被写体が検出され、０であれば被写体検出を行なわなかった、あるいは行なったが被写体が検出されなかったことを示す。被写体が検出された場合には、画像内の被写体の座標位置に対応するデフォーカス量をＤ（ｘ）、デフォーカス信頼度をＤｃ（ｘ）として扱う。

以下、静止画４０２に対してピント評価を行う処理について図５のフローチャートを用いて説明する。

ステップＳ５０１では、静止画４０２に対するデフォーカス量Ｄ（ｔ）が存在するか否かを判定する。デフォーカス量Ｄ（ｔ）が存在する場合にはステップＳ５０２へ進み、前述した要因などにより存在しない場合にはステップＳ５０３へ進む。

ステップＳ５０２では、Ｄｃ（ｔ）およびＯｂｊ（ｔ）がともに１か否かを判定する。Ｄｃ（ｔ）およびＯｂｊ（ｔ）がともに１、つまり静止画４０２に対するデフォーカスの信頼度が高く、かつ被写体検出がされた場合にはステップＳ５０７へ進み、それ以外の場合にはステップＳ５０３へ進む。

ステップＳ５０３では、Ｄｃ（ｔ－１）およびＯｂｊ（ｔ－１）がともに１か否かを判定する。Ｄｃ（ｔ－１）およびＯｂｊ（ｔ－１）がともに１、つまり時刻ｔ－１におけるＥＶＦ画像４０１に対するデフォーカスの信頼度が高く、かつ被写体検出がされた場合にはステップＳ５０４へ進み、それ以外の場合にはステップＳ５０５へ進む。

ステップＳ５０４では、Ｄｃ（ｔ＋１）およびＯｂｊ（ｔ＋１）がともに１か否かを判定する。Ｄｃ（ｔ＋１）およびＯｂｊ（ｔ＋１）がともに１、つまり時刻ｔ＋１におけるＥＶＦ画像４０１に対するデフォーカスの信頼度が高く、かつ被写体検出がされた場合にはステップＳ５０６へ進み、それ以外の場合にはステップＳ５０８へ進む。

ステップＳ５０５では、ステップＳ５０４と同様にＤｃ（ｔ＋１）およびＯｂｊ（ｔ＋１）がともに１か否かを判定し、ともに１の場合にはステップＳ５０９へ進み、それ以外の場合にはステップＳ５１０へ進む。

ステップＳ５０６では、Ｄ（ｔ－１）およびＤ（ｔ＋１）の両方からＤ（ｔ）を算出する処理を行う。これは、静止画４０２に対するデフォーカス量Ｄ（ｔ）が存在しないため、直近の時刻ｔ－１およびｔ＋１のデフォーカス量（フォーカス情報）を選択して用いて、Ｄ（ｔ）を予測することが目的である。下記の式（１）によりＤ（ｔ）を算出する。

Ｄ（ｔ）＝｛Ｄ（ｔ－１）＋Ｄ（ｔ＋１）｝／２ …（１）
ステップＳ５０７では、Ｄ（ｔ）に基づいて静止画５０２のピント評価を行うことによりレーティング処理をする。具体的には、Ｄ（ｔ）が静止画４０２に対して被写界深度に含まれると判断されるデフォーカスの値域の範囲内か否かを判定する。値域の算出方法としては、光学系１０４の絞り値Ｆ、許容錯乱円径の値δを用いて、範囲の上限値および下限値をそれぞれ＋Ｆδ、－Ｆδとする算出方法を用いればよい。Ｄ（ｔ）が＋Ｆδ～－Ｆδの範囲内であればレーティング結果Ｒｔを２、＋２Ｆδ～－２Ｆδの範囲内であればレーティング結果Ｒｔを１、それ以外の場合にはレーティング結果Ｒｔを０とする。

図６、図７はレーティング結果の一例を示した図であり、式（１）により算出したＤ（ｔ）が図６（ａ）のように＋Ｆδ～－Ｆδの範囲内である場合にはＲｔ＝２、図６（ｂ）のように＋Ｆδ～－Ｆδの範囲外かつ＋２Ｆδ～－２Ｆδの範囲内である場合にはＲｔ＝１とする。図７はデフォーカスの値とレーティング結果の関係を示した図である。

なお、デフォーカス量Ｄ（ｔ）に基づいてレーティングをする方法はこれに限定されるものではなく、デフォーカスの範囲やレーティングのレベル数をより細かくするなど任意に変更してもよい。

ステップＳ５０８では、Ｄ（ｔ－１）（Ｄ（ｔ－１）およびＤ（ｔ＋１）の一方）に基づいて静止画４０２のピント評価を行うことによりレーティング処理をする。これは、被写体に対するデフォーカス量Ｄ（ｔ）が存在しないため、直近の時刻におけるデフォーカス量Ｄ（ｔ－１）を代わりにレーティングに用いることが目的である。レーティングの方法は、ステップＳ５０７と同様にＤ（ｔ－１）と被写界深度内を示すデフォーカスの値域とを比較することにより行う。

ステップＳ５０９では、Ｄ（ｔ＋１）に基づいて静止画４０２のピント評価を行うことによりレーティング処理をする。これは、被写体に対するデフォーカス量Ｄ（ｔ）が存在しないため、直近の時刻におけるデフォーカス量Ｄ（ｔ＋１）を代わりにレーティングに用いることが目的である。レーティングの方法は、ステップＳ５０７と同様にＤ（ｔ＋１）と被写界深度内を示すデフォーカスの値域とを比較することにより行う。

ステップＳ５１０では、Ｄ（ｔ－１）およびＤ（ｔ＋１）がともに参照できないため、時刻ｔ－２およびｔ＋２のデフォーカス量が参照できるか否かを判定する。参照出来る場合にはステップＳ５１１へ進み、Ｄ（ｔ－２）、Ｄ（ｔ＋２）を用いて静止画４０２のピント評価を行う。具体的な処理の流れはステップＳ５０３～ステップＳ５０９と同様である。つまり、Ｄｃ（ｔ－２）およびＯｂｊ（ｔ－２）がともに１であればＤ（ｔ－２）を参照し、Ｄｃ（ｔ＋２）およびＯｂｊ（ｔ＋２）がともに１であればＤ（ｔ＋２）を参照する。ともに参照可能な場合には、ステップＳ５０６と同様にして、Ｄ（ｔ－２）およびＤ（ｔ＋２）からＤ（ｔ）を算出する。これにより、レーティング処理を行うことが可能となる。

ステップＳ５１０において、Ｄ（ｔ－２）およびＤ（ｔ＋２）がともに参照できない場合には、ピント評価は行わず、ステップＳ５１３へ進み、レーティングなしとして処理を終了する。

なお、Ｄ（ｔ－１）およびＤ（ｔ＋１）が参照可能であっても、Ｄ（ｔ－２）およびＤ（ｔ＋２）を参照してレーティング処理を行うようにしてもよい。例えば以下の式（２）のように各デフォーカス量に重み付けしてＤ（ｔ）を算出することにより、広範囲なデフォーカスの変化に基づいた精度の良い予測が可能となる。

Ｄ（ｔ）＝｛Ｄ（ｔ－２）＋２＊Ｄ（ｔ－１）＋２＊Ｄ（ｔ＋１）＋Ｄ（ｔ＋２）｝／６ …（２）
これは、被写体の動きが大きかったり、不規則あるいは加速的な動きをしたりしている場合に有用と考えられる。したがって、各時刻における被写体検出の結果を参照した上でテンプレートマッチングなどの手法により被写体の動き量を算出し、動き量が小さかったり一定であったりしない場合には式（２）のようにしてＤ（ｔ）を算出するようにしてもよい。

ステップＳ５１２では、ステップＳ５１１までに行なったレーティング結果Ｒｔに基づいて、静止画５０２にレーティング情報を付加する処理を行う。これにより、ユーザが静止画４０２を再生して閲覧する際に、被写体にピントが合っているか否かを直ちに確認することが可能となる。

なお、静止画ファイルの構成についてはＥｘｉｆ規格など既知のファイル構成を用いればよく、例えば特開２０１２－１６５０８０号公報には、Ｅｘｉｆ規格に準拠したグループ再生に最適な画像データのファイル構造が開示されている。

図８は、図１の記録媒体１０８に記録される静止画ファイルの構成を説明するための図である。静止画ファイルを構成する画像データ１５０１は先頭に画像開始を示すマーカＳＯＩ（１５０２）を有し、その後にアプリケーションマーカＡＰＰ１（１５０３）を有する。アプリケーションマーカＡＰＰ１（１５０３）内は、ＡＰＰ１のサイズ（１５０４）、ＡＰＰ１の識別コード（１５０５）、画像の作成日時を示すDateTime（１５０６）、画像データが生成された日時を示すDateTimeOriginal（１５０７）、上記レーティング情報を示すRatingInformation（１５０８）、その他の撮影情報（１５０９）およびサムネイル画像（１５１０）から構成される。また、RatingInformation（１５０８）においては、本実施形態に係る自動レーティングの情報とユーザにより手動で入力されたレーティング情報のどちらも格納されていてもよい。また、自動レーティングにより記録されたレーティング情報を後のユーザによるレーティング情報の入力で上書きして記録されていてもよい。

また、図８に示すように、記録される画像データは、量子化テーブルＤＱＴ（１５１１）、ハフマンテーブルＤＨＴ（１５１２）、フレーム開始マーカＳＯＦ（１５１３）、スキャン開始マーカＳＯＳ（１５１４）および圧縮データ１５１５から構成される。そして、画像データは、画像データの最後を示すマーカＥＯＩ（１５１６）で終端される。

図８に示すファイル構造は、Ｅｘｉｆ規格として定義された構造であり、ＡＰＰ１（１５０３）コードならびに識別コード（１５０５）を参照することにより、Ｅｘｉｆ構造であると認識可能である。

本実施形態では、ファイル構造はＥｘｉｆ規格に準拠するものとしたが、本発明はこれに限定されるものではなく、その他の標準規格に準拠したものでもよいし、別途本発明を実現するのに好適なファイル構造を新たに定義して用いるようにしてもよい。

以上説明したように、本実施形態によれば、ユーザが撮影した静止画４０２に対して、前後の表示用画像の各種情報を参照することによりピント評価を行い、レーティングを付加することが可能となる。したがって、撮影された記録画像に対して精度良くピント判定を行うことを可能にした画像処理装置を提供することができる。

なお、本実施形態では、被写体として人物の顔のピントを評価する場合について説明したが、これに限らず人物の頭部や体、各種の動物や建造物、乗り物など被写体検出部１１２が検出可能なものであれば何でもよい。

また、本実施形態では、ピントが合っているか否かについて評価する場合について説明したが、前後の時刻の画像における評価値を用いて静止画をレーティングする思想は、他の観点について評価する場合であっても適用可能である。例えば、ＥＶＦ画像４０１を手ぶれ量に基づいて評価する際に前後の時刻の画像における手ぶれ量を参照するようにしてもよい。ここで手ぶれ量は、加速度センサなどにより検知可能なデジタルカメラの動き量が大きく、各画像のＴｖ（シャッタースピード）が長いほど大きくなる値として算出する。また、これ以外にもＥＶＦ画像４０１が所望とする明るさになっているか、前後の時刻の画像が持つ明るさに基づいて評価するようにしてもよい。これにより、ユーザが複数枚の画像から最適な画像を選定する上で、ピント以外の様々な指標も考慮したレーティング結果を参照することができ、ユーザの作業負荷を軽減することが可能となる。

また、本実施形態では、前後の時刻におけるデフォーカス量が参照可能な場合には常にＤ（ｔ）を算出してレーティングする場合について説明したが、参照する時刻に応じてレーティングをするようにしてもよい。例えば時刻ｔと時刻ｔ－１あるいはｔ＋１の時間間隔が所定以上長い（例えば３３ｍｓ）場合、ステップＳ５１０で説明したように、被写体の動きが大きい場合にはデフォーカス量も大きく変化している可能性がある。これは、例えば暗いシーンでの撮影などで表示用のＥＶＦ画像４０１のＴｖが長くなることでフレームレートが低下し、前後との時間間隔が長くなるような場合に起こり得る。そのような場合には精度良くＤ（ｔ）を予測することが困難となることから、レーティングなしとするようにしてもよい。これにより、誤ったレーティングをユーザが参照しないようにすることが可能となる。

また、本実施形態では、デフォーカスの値と被写界深度内を示すデフォーカスの値域とを比較することによりレーティングを行う方法について説明したが、より詳細なレーティングを行うようにしてもよい。例えば、特開２０１４－２２８５８６号公報に開示されているような、撮像素子から取得される複数の視差像を相対的にシフトして合成することで仮想的な像面にリフォーカスした画像を生成する技術を適用することを考慮したレーティングを行うことも可能である。この文献に示されているように、撮影後にリフォーカスが可能な範囲（焦点調節可能な範囲）がＮｈ＊Ｆδ（Ｎｈは水平方向の瞳分割数＝２）であることから、撮影時にデフォーカス量が被写界深度外であってもＮｈ＊Ｆδ以内である場合には、そうでない場合よりもレーティング結果Ｒｔを大きくするようにしてもよい。

図９はその場合のレーティング結果を示した表であり、リフォーカスによりデフォーカス量を２Ｆδ調節することで深度内のデフォーカス範囲に収まる－３Ｆδ～＋３Ｆδの場合には、そうでない場合の０よりもＲｔを１と大きくしている。これにより、ユーザはピントが合っていない画像の中でもリフォーカスにより調整が可能な画像とそうでない画像とを判別することが容易となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０６：Ａ／Ｄ変換部、１０７：画像処理部、１０８：記録媒体、１０９：表示部、１１０：操作部、１１１：評価値取得部、１１２：被写体検出部

Claims (16)

1. 第１の画像と、該第１の画像と異なる時刻に撮像された第２の画像とを取得する第１の取得手段と、
   前記第１の画像および前記第２の画像の評価値を取得する第２の取得手段と、
   前記評価値の信頼度を取得する第３の取得手段と、
   前記第１及び第２の画像から所定の被写体を検出する被写体検出手段と、
   前記信頼度と、前記被写体検出手段の検出結果とに基づいて、前記第１の画像の評価値及び第２の画像の評価値から選択された評価値を用いて、前記第１の画像を評価する評価手段と、
   前記評価手段による前記第１の画像の評価を前記第１の画像に付加して記録する記録手段と、を備え、
   前記評価手段は、前記第１の画像の評価値の信頼度が所定より高く、前記第１の画像において前記被写体検出手段により前記所定の被写体が検出されている場合は、前記第１の画像の評価値を用いて前記第１の画像を評価することを特徴とする画像処理装置。
2. 前記第１の取得手段は、前記第１の画像と、前記第１の画像よりも前の時刻に撮像された前記第２の画像と、前記第１の画像よりも後の時刻に撮像された第３の画像とを取得し、前記評価手段は、前記第１の画像の評価値の信頼度が所定より低いか、前記第１の画像において前記所定の被写体が検出されていない場合、前記第２の画像の評価値と前記第３の画像の評価値から選択された評価値を用いて、前記第１の画像を評価することを特徴とする請求項１に記載の画像処理装置。
3. 前記評価手段は、前記第２の画像の評価値と前記第３の画像の評価値の両方を用いて、前記第１の画像を評価することを特徴とする請求項２に記載の画像処理装置。
4. 前記評価手段は、前記第３の画像の評価値の信頼度が所定より低いか、前記第３の画像において前記被写体検出手段により前記所定の被写体が検出されていないかのどちらかである第１の条件を満たす場合は、前記第２の画像の評価値を用いて、前記第１の画像を評価し、
   前記第２の画像の評価値の信頼度が所定より低いか、前記第２の画像において前記被写体検出手段により前記所定の被写体が検出されていないかのどちらかである第２の条件を満たす場合は、前記第３の画像の評価値を用いて、前記第１の画像を評価し、
   前記第１の条件および前記第２の条件の双方を満たす場合は、前記第２の画像よりも前の時刻に撮像された第４の画像の評価値または前記第３の画像よりも後の時刻に撮像された第５の画像の評価値を参照して、前記第１の画像を評価することを特徴とする請求項２に記載の画像処理装置。
5. 前記第２の画像の評価値と前記第３の画像の評価値から選択された評価値を用いて、前記第１の画像を評価する場合、前記第１の画像、第２の画像、第３の画像を撮像した時刻の差が所定より大きければ、前記評価手段は、前記第１の画像の評価を行わないことを特徴とする請求項２に記載の画像処理装置。
6. 前記第２の画像の評価値と前記第３の画像の評価値から選択された評価値を用いて、前記第１の画像を評価する場合、被写体の動き量が所定より大きければ、前記評価手段は、前記第１の画像の評価を行わないことを特徴とする請求項２に記載の画像処理装置。
7. 前記第２の画像の評価値と前記第３の画像の評価値から選択された評価値を用いて、前記第１の画像を評価する場合、被写体の動き量が所定より大きければ、前記評価手段は、前記第１の画像および第２の画像および第３の画像とは異なる時刻に撮像された第４の画像の評価値に基づいて、前記第１の画像を評価することを特徴とする請求項２に記載の画像処理装置。
8. 前記第２の画像及び前記第３の画像は、前記第１の画像とは異なる解像度あるいはフレームレートの画像であることを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
9. 前記評価値はデフォーカス量であり、前記信頼度は前記デフォーカス量の信頼度であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記デフォーカス量の信頼度は、画像のコントラストに基づいて算出されることを特徴とする請求項９に記載の画像処理装置。
11. 前記第１の画像のフォーカスを画像処理により調節するリフォーカス手段をさらに備え、前記評価手段は、前記リフォーカス手段が前記第１の画像に対して調節可能なデフォーカス量に基づいて、前記第１の画像を評価することを特徴とする請求項１に記載の画像処理装置。
12. 前記評価値は、画像のぶれ量であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
13. 前記評価値は、画像の明るさであることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
14. 第１の画像と、該第１の画像と異なる時刻に撮像された第２の画像とを取得する第１の取得工程と、
    前記第１の画像および前記第２の画像の評価値を取得する第２の取得工程と、
    前記評価値の信頼度を取得する第３の取得工程と、
    前記第１及び第２の画像から所定の被写体を検出する被写体検出工程と、
    前記信頼度と、前記被写体検出工程での検出結果とに基づいて、前記第１の画像の評価値及び第２の画像の評価値から選択された評価値を用いて、前記第１の画像を評価する評価工程と、
    前記評価工程による前記第１の画像の評価を前記第１の画像に付加して記録する記録工程と、を有し、
    前記評価工程では、前記第１の画像の評価値の信頼度が所定より高く、前記第１の画像において前記被写体検出工程により前記所定の被写体が検出されている場合は、前記第１の画像の評価値を用いて前記第１の画像を評価することを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images