JP7319871B2 - 画像処理装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮影状態の良好でない画像と、撮影状態の良好な画像とを分類する画像処理装置に関するものである。

従来より、手振れやピントずれ、露出ずれなどのある撮影状態の良好でない画像と、撮影状態の良好な画像とを分類するカメラが知られている。例えば、特許文献１には、撮影時のオートフォーカス評価値や手振れ量検出センサによる手振れ評価値などに基づいて画像を分類するカメラが開示されている。

特開２００５－１８４６０９号公報

ところで、オートフォーカス評価値や手振れ評価値などは、常に安定して取得できるわけではない。例えば、オートフォーカス評価値について言えば、コントラストが低い被写体に対しては正しい評価値が取得できない。また、ピントを合わせるべき被写体ではなく背景にピントが合ってしまった場合でも、背景には正しくピントが合っているので、オートフォーカス評価値は高い値になってしまう。

このように、撮影状態の良好でない画像と良好な画像との分類は必ずしも容易ではない。そして、上述の特許文献１に開示された従来技術は、上述の現象を考慮しておらず、撮影シーンによっては、撮影状態を適切に評価することができないという問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、様々な撮影シーンで撮影状態を適切に評価することを可能にした画像処理装置を提供することである。

本発明に係わる画像処理装置は、画像を取得する画像取得手段と、前記画像の評価値を取得する評価値取得手段と、前記評価値の信頼性を取得する信頼性取得手段と、前記評価値に基づいて、前記画像を評価する評価手段と、前記画像の評価を前記画像に付加して記録する記録手段と、前記画像から被写体を検出する被写体検出手段と、を有し、前記評価手段は、オートフォーカスの対象の被写体と、検出された被写体の位置のずれに基づいて前記信頼性を判定し、前記評価手段は、より高い信頼性を有する評価値を、より低い信頼性を有する評価値よりも優先して、前記記録手段により既に記録された前記画像のレーティングを行うことを特徴とする。

本発明によれば、様々な撮影シーンで撮影状態を適切に評価することを可能にした画像処理装置を提供することができる。

本発明の一実施形態に係わるデジタルカメラの構成を示すブロック図。 一実施形態における撮像素子の構成を説明するための図。 一実施形態における静止画撮影の動作を説明するためのフローチャート。 一実施形態における静止画撮影の撮影状態を説明するための図。 一実施形態における画像データのファイル構造を示す図。 一実施形態における画像評価データの構成を説明するための図。 一実施形態におけるオートレーティングのデータの構成を説明するための図。 一実施形態におけるオートレーティングの値を説明するための図。 一実施形態における静止画連写の動作を説明するためのフローチャート。 一実施形態における連写撮像の動作を説明するためのフローチャート。 一実施形態における画像評価データの構成を説明するための図。 一実施形態におけるデータ領域の構成を説明するための図。 一実施形態における画像評価データの構成を説明するための図。 一実施形態におけるレーティングデータ領域の構成を説明するための図。 一実施形態における静止画撮影の撮影状態を説明するための図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、本発明の画像処理装置の一実施形態であるデジタルカメラの機能構成を示すブロック図である。

図１において、制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００の各ブロックの動作プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００の各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００の各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像を撮像部１０５に結像させる。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を備え、光学系１０４により結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をＡ／Ｄ変換し、得られたデジタル画像データをＲＡＭ１０３に記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整処理、色補間処理、縮小／拡大処理、フィルタリング処理など、様々な画像処理を適用する。

記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像や、Ａ／Ｄ変換部１０６でＡ／Ｄ変換された画像などが、記録画像として記録される。

表示部１０９は、ＬＣＤ等の表示デバイスであり、撮像部１０５で撮像された被写体像をスルー表示するほか、様々な情報を表示する。操作部１１０は、レリーズボタンを含む操作部材類であり、オートフォーカスやレリーズなどの操作を指示する。なお、レリーズボタンは２段押しに構成されており、レリーズボタンの半押し（スイッチＳＷ１のＯＮ）で撮影準備動作が開始され、レリーズボタンの全押し（スイッチＳＷ２のＯＮ）で撮影動作が開始される。

評価値取得部１１１は、撮像部１０５で撮像して得られた画像データからオートフォーカス評価値などの評価値を算出する。被写体検出部１１２は、得られた画像データから人物の顔などの被写体を検出する。

図２は、撮像部１０５が備える撮像素子１０５ａの構成を説明するための図である。画素２０２は、マイクロレンズ２０１と、一対の光電変換部２０３，２０４とを備えて構成される。撮像素子１０５ａには、画素２０２が二次元的に規則的に配列されている。

図２において、二次元的に規則的に配列された一対の光電変換部２０３，２０４から、一対の視差のある画像としてＡ像、Ｂ像が出力されるものとする。このように構成することにより、図１の光学系１０４の瞳の異なる領域を通過する一対の光束を一対の光学像として結像させて、それらを一対の画像であるＡ像およびＢ像として出力することができる。さらに、図１の評価値取得部１１１は、Ａ像とＢ像の位相差分布をオートフォーカス評価値（ピント情報）として出力し、同時に焦点検出の可否についても判定結果を出力する。Ａ像とＢ像の位相差分布を取得する手法については、例えば特開２００８－１５７５４号公報に開示されている手法を用いることにより、デフォーカス量分布を取得し、同時に焦点検出の可否を判定することができる。

また、本発明はこれに限定されるものではなく、オートフォーカス評価値としてＡ像とＢ像のずれ量であるシフト量の分布を取得するようにしてもよい。また、シフト量は検出ピッチ（同一種類の画素の配置ピッチ）を掛けてマイクロメートルなどの長さの単位で表してもよい。また、オートフォーカス評価値としてデフォーカス量を焦点深度（２Ｆδもしくは１Ｆδ：Ｆは絞り値、δは許容錯乱円径）で正規化した値の分布を取得するようにしてもよい。

図３は、本実施形態のデジタルカメラ１００における静止画撮影の動作を説明するためのフローチャートである。

まず、Ｓ３０１では、図１の表示部１０９にスルー画像を表示させるＥＶＦ（Ｅｌｅｃｔｏｒｉｃａｌ Ｖｉｅｗ Ｆｉｎｄｅｒ）機能のために、ＥＶＦ画像（電子ビューファインダー画像）を撮像する（画像取得）。Ｓ３０２では、図１の被写体検出部１１２を用いて、ＥＶＦ画像から人物の顔を検出する。顔検出の手法については既知の手法を用いればよく、例えば特開２００５－２８６９４０号公報に開示されている手法を用いて、顔枠の位置、サイズと顔らしさ（尤度）を取得することができる。Ｓ３０３では、操作部１１０のレリーズボタンが半押しされて、スイッチＳＷ１がＯＮされたか否かが判断される。Ｓ３０３で、オートフォーカス指示（スイッチＳＷ１のＯＮ）が発行されるまで、Ｓ３０１とＳ３０２を繰り返す。

オートフォーカス指示が発行されたら、Ｓ３０４では、ＥＶＦ画像を用いて図１の評価値取得部１１１で取得したデフォーカス量に基づいて、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理を行う。Ｓ３０５では、操作部１１０からのレリーズボタンが全押しされて、スイッチＳＷ２がＯＮされたか否かが判断される。Ｓ３０５で、レリーズ指示（スイッチＳＷ２のＯＮ）が発行されるまで、Ｓ３０１～Ｓ３０４を繰り返す。

レリーズ指示が発行されたら、Ｓ３０６では、記録用の静止画（記録用画像）を撮像する。最後にＳ３０７では、画像の評価を行う。

本実施形態においては、Ｓ３０２の顔検出においてＥＶＦ画像から人物の顔を検出する構成としたが、本発明はこれに限定されるものではなく、記録用の静止画から人物の顔を検出するようにしてもよい。このように構成することで、記録用の高品位な静止画から顔検出ができるので検出精度を上げることができる。

以下、図４～図７を用いて、図３のＳ３０７での、信頼性を取得（信頼性取得）し、信頼性の低い評価値を除外して画像を評価する動作について説明する。

図４の４０１は、撮影シーンの一例を示し、手前から人物４０２、建物４０３、樹木４０４が並んでいる。４０６はオートフォーカス枠、４０５は図１の評価値取得部１１１で取得できるデフォーカス量分布の枠群を示し、オートフォーカス枠４０６とその周辺の３×３枠分のデフォーカス分布を取得することができる。本実施形態においては、オートフォーカス枠付近の画面の一部分だけデフォーカス量分布を取得する（評価値取得）構成としたが、本発明はこれに限定されるものではなく画面全体でデフォーカス量分布が取得できている場合にも適用可能である。

４０７は、人物の顔にピントを合わせることができた場合の静止画を表している。４０８と４０９は、誤って背景にピントを合わせてしまった場合の静止画を表しており、４０８では樹木４０４に、４０９では建物４０３にピントが合っている。ＡＦ処理では、顔検出の結果も参照してオートフォーカス枠の位置を決定するが、その他に被写体コントラストなどの指標も参照してオートフォーカス枠位置を決定する。そのため、背景に高コントラスト被写体があると、そちらにオートフォーカス枠を移動させてしまう場合があり、結果として、４０８や４０９のように誤って背景にピントが合ってしまう場合がある。

また図４の例では、検出するべき人物の顔は１つしかないが、複数人の顔が検出された場合は、図１の被写体検出部１１２が出力する被写体位置や被写体尤度などに基づいて、焦点を合わせる被写体を選択する。例えば、なるべく被写体尤度が高い被写体を優先したり、画面中央の被写体を優先したり、オートフォーカス枠の位置やユーザが図１の表示部１０９上に構成されたタッチパネルで指定した位置に近い被写体を優先したりする方法が考えられる。もしくは、図１の被写体検出部１１２が顔検出に加えて視線検出も行うようにして、デジタルカメラの方向に視線が向いている被写体を優先するようにしてもよい。さらに静止画再生時に、選択された被写体に枠を表示させることにより、ユーザがどの被写体が選択されたかを認識できるようにしてもよい。

本実施形態においては、画面全体から顔検出するものとしたが、本発明はこれに限定されるものではなく、画面の一部に存在する顔に限定してもよい。例えば、図４の４０５で示されるデフォーカス量分布取得範囲とその周辺に限定してもよい。このように構成することにより、画像評価にとって重要度の低い領域から検出される顔を排除することができるので、顔検出の誤検出のリスクを低減させることができる。

静止画ファイルの構成についてはＥｘｉｆ規格など既知のファイル構成を用いればよく、例えば特開２０１２－１６５０８０号公報には、Ｅｘｉｆ規格に準拠したグループ再生に最適な画像データのファイル構造が開示されている。

図５は、図１の記録媒体１０８に記録される静止画ファイルの構成を説明するための図である。静止画ファイルを構成する画像データ１５０１は先頭に画像開始を示すマーカＳＯＩ（１５０２）を有し、その後にアプリケーションマーカＡＰＰ１（１５０３）を有する。アプリケーションマーカＡＰＰ１（１５０３）内は、ＡＰＰ１のサイズ（１５０４）、ＡＰＰ１の識別コード（１５０５）、画像の作成日時を示すDateTime（１５０６）、画像データが生成された日時を示すDateTimeOriginal（１５０７）、画像評価データを示すRatingInformation（１５０８）、その他の撮影情報（１５０９）およびサムネイル画像（１５１０）から構成される。

また、図５に示すように、記録される画像データは、量子化テーブルＤＱＴ（１５１１）、ハフマンテーブルＤＨＴ（１５１２）、フレーム開始マーカＳＯＦ（１５１３）、スキャン開始マーカＳＯＳ（１５１４）および圧縮データ１５１５から構成される。そして、画像データは、画像データの最後を示すマーカＥＯＩ（１５１６）で終端される。

図５に示すファイル構造は、Ｅｘｉｆ規格として定義された構造であり、ＡＰＰ１（１５０３）コードならびに識別コード（１５０５）を参照することにより、Ｅｘｉｆ構造であると認識可能である。

本実施形態では、ファイル構造はＥｘｉｆ規格に準拠するものとしたが、本発明はこれに限定されるものではなく、その他の標準規格に準拠したものでもよいし、別途本発明を実現するのに好適なファイル構造を新たに定義して用いるようにしてもよい。

図６は、記録される静止画ファイルのヘッダ（アプリケーションマーカーＡＰＰ１）に記録される画像評価データ（Rating Information）の構成を説明するための図である。画像評価データは、ユーザレーティングの値、オートレーティングの種類、オートレーティングの被写体、オートレーティングのデータ、から構成される。

ユーザレーティングは、ユーザが手動で評価する（手動設定する）画像評価値で、例えば、０が評価なし、１～５が評価ありで値が大きいほど高評価となる。ユーザレーティングをデジタルカメラが自動で評価する画像評価と分けて記録することにより、画像を絞り込み検索するときに別々に（個別に）検索することができるので利便性が高い。

オートレーティングの種類は、図３のＳ３０７の画像評価で評価する評価値の種類で、例えば、１がピント評価値を示し、０を設定すればオートレーティングデータが無いことを示すものとする。また２～９は、将来の拡張のためのリザーブ領域であるものとする。本実施形態においては、画像評価としてピントを評価する構成としたが、本発明はこれに限定されるものではなく、露出（露出情報）、コントラスト（コントラスト情報）、ブレ（ブレ情報）などを評価するようにして、２～９のリザーブ領域のいずれかに割り当てるようにしてもよい。

オートレーティングの被写体は、図１の被写体検出部１１２が検出した被写体の種類で、例えば、１が人物、２～９がリザーブ領域を表す。もしくは被写体検出部１１２の結果を用いずオートフォーカス枠で示された被写体を指定するようにしてもよく、その場合は０が設定される。本実施形態においては、被写体検出部１１２が人物の顔を検出するので１が設定される。しかし、本発明はこれに限定されるものではなく、０のオートフォーカス枠や、動物、乗り物、ユーザによって図１の表示部１０９上のタッチパネルから指定された被写体など、人物以外の被写体を検出するようにして、２～９のリザーブ領域のいずれかに割り当てるようにしてもよい。

図７は、オートレーティングのデータの構成を説明するための図である。オートレーティングのデータは、オートレーティングの値、オートレーティングの属性１～３、被写体枠の位置とサイズ、被写体枠の尤度、から構成される。

オートレーティングの値は、デジタルカメラが自動で評価する画像評価値で、例えば、０が評価なし、１～５が評価ありで値が大きいほど高評価となる。

オートレーティングの属性１は、図１の被写体検出部１１２が被写体を検出できた場合は０、検出できなかった場合は１が設定される。被写体検出の可否は被写体検出部１１２が出力する尤度で判定される。オートレーティングの属性２は、図１の評価値取得部１１１で焦点検出可と判定された場合は０、焦点検出不能と判定された場合は１が設定される。オートレーティングの属性３は、被写体検出された位置で評価値が出力されていれば０、出力されていなかったら１が設定される。例えば、図４の４０７および４０８では、被写体である顔の位置でデフォーカス量が取得されているので、０が設定される。一方、４０９では、被写体である顔の位置でデフォーカス量が取得されていないので、１が設定される。

このように構成することで、画像評価なしの静止画について、評価が付かなかった理由をユーザが後から確認することができるので、画像評価結果を利用した静止画絞り込み検索の検索条件を決定する際の利便性を高めることができる。

被写体枠の位置とサイズ、被写体の尤度は、図１の被写体検出部１１２から出力される結果に基づいて算出される。

図８の７０１は、図７のレーティングの値、被写体検出結果、デフォーカス量の関係を説明するための図である。被写体検出否の場合は、レーティングの値に０が設定される。被写体検出可であっても被写体とオートフォーカス（ＡＦ）枠の位置のずれがＴＨ＿ＰＯＳを超えて大きくずれている場合は、レーティングの値に０が設定される。例えば、図４の４０９では、被写体である顔位置とＡＦ枠位置が大きくずれているので、レーティングの値には０が設定される。被写体とＡＦ枠の位置のずれがＴＨ＿ＰＯＳ以下でずれが小さい場合でも、焦点検出不能の場合は、レーティングの値に０が設定される。焦点検出可の場合は、検出被写体位置におけるデフォーカス量が小さいほど、レーティングの値を高評価の値に設定する（１Ｆδ単位でデフォーカス量閾値を決定：Ｆは絞り値、δは許容錯乱円径）。

ＡＦ枠のデフォーカス量だけを頼りにレーティングの値を設定すると、図４の４０８や４０９のように誤って背景にピントが合ってしまった場合に高評価のレーティングの値を設定してしまう。しかし、本実施形態のように、検出被写体位置におけるデフォーカス量に基づいてレーティングの値を設定すれば、正しいレーティングの値を設定することができる。

本実施形態においては、被写体とＡＦ枠の位置がＴＨ＿ＰＯＳを超えて大きくずれている場合にレーティングの値を０とするようにしたが、本発明はこれに限定されるものではない。例えば、デフォーカス量の代わりに被写体とＡＦ枠の位置ずれ量を評価値として、図８の７０２のようにレーティングの値を決めるようにしてもよい。つまり、図４の場合、４０９では被写体である顔が検出された位置から遠く離れた位置でオートフォーカスしているので、良好なフォーカス状態は期待できないため、低評価の値（１）をレーティングの値に設定する。

このように構成することで、図４の４０９のように、被写体検出された位置でデフォーカス量が出力されなくても、被写体とＡＦ枠の位置ずれ量を評価値として画像評価することができるようになる。

図９は、静止画連写の動作を説明するためのフローチャートである。図９のＳ３０１～Ｓ３０５までは、図３の静止画撮影のフローチャートと同様である。図９では、Ｓ３０５において、レリーズ指示が発行（スイッチＳＷ２がＯＮ）されたら、Ｓ８０６において、記録用の静止画を連写撮像する。

図１０は、図９のＳ８０６における連写撮像の動作を説明するためのフローチャートである。

まず、Ｓ９０１において、記録用の静止画を撮像し、Ｓ９０２では、静止画撮像より前に行われた顔検出およびＡＦ処理の結果を用いて画像評価を行う。

次に、その後に続く静止画撮像のために、Ｓ９０３でＥＶＦ撮像、Ｓ９０４で顔検出、Ｓ９０５でＡＦ処理を行う。Ｓ９０６において、レリーズ指示（スイッチＳＷ２のＯＮ）がなされ、レリーズ指示が継続されている間はＳ９０１～Ｓ９０５を繰り返し、レリーズ指示が解除されたら撮像を終了する（Ｓ９０６のＮＯ）。

本実施形態においては、静止画撮像より前に行われたＥＶＦ撮像による顔検出およびＡＦ処理の結果を用いて画像評価を行うものとしたが、本発明はこれに限定されるものではない。その後に続く静止画撮像のために実施される、時間的に後のＥＶＦ撮像による顔検出およびＡＦ処理の結果を用いるようにしてもよい。そうすれば、静止画撮像より前のＥＶＦ撮像画像で顔検出されなかった場合であっても、静止画撮像より後のＥＶＦ撮像画像で顔検出されれば、記録される静止画に評価ありの画像評価結果を付加することができる。

また、静止画撮像より前のＥＶＦ撮像画像と静止画撮像より後のＥＶＦ撮像画像のいずれからも顔検出されなかった場合は、静止画撮像から顔検出するようにしてもよい。その場合は、静止画撮像より前のＡＦ処理と静止画撮像より後のＡＦ処理の両方の結果を合成して、静止画撮像のデフォーカス量分布を推定すればよい。

本実施形態においては、静止画撮像に先立つＥＶＦ撮像を用いてＡＦ処理を行うものとしたが、本発明はこれに限定されるものではない。図１０のＳ９０３のＥＶＦ撮像を行わずに、現在の静止画撮像に先立つ１つ前のコマの静止画撮像を用いてＡＦ処理を行うようにしてもよい。この場合、画像評価は、記録される静止画と同じコマの静止画撮像に対して行われた顔検出およびＡＦ処理結果を用いて行う。このように構成すれば、ＥＶＦ撮像を省く分だけ連写コマ速を上げることができるし、記録される静止画と同じコマで取得したデフォーカス量分布を利用することができるので、タイムラグなく正確な画像評価結果を記録静止画に付与することができる。

本実施形態においては、図１の被写体検出部１１２が顔を検出する構成としたが、本発明はこれに限定されるものではなく、ＥＶＦ撮像や静止画撮像から得られる時系列画像群から被写体の行動検知を行うようにしてもよい。例えば、バレーボールでアタックをしている選手を被写体として検出したり、サッカーでドリブルしている選手を被写体として検出するようにしてもよい。行動検知以外にも、ハードル走で先頭を走っている被写体を検出（状態検知）したり、頻度高く登場する（出現頻度が高い）選手を検出するようにしてもよい。このように構成することで、被写体が複数いる場合でも効率的に所望の被写体を検出して画像評価することができる。

本実施形態においては、図１の被写体検出部１１２で一度に検出できる被写体種類は顔１種類であるものとしたが、本発明はこれに限定されるものではなく、複数の被写体種類を同時に検出するようにしてもよい。

図１１は、複数の被写体種類を同時に検出する場合に静止画ファイルのヘッダに記録される画像評価データの構成を説明するための図である。画像評価データは、ユーザレーティングの値、オートレーティングの種類、被写体クラスの数、データ領域１および２へのポインタ、データ領域１および２、から構成される。

ユーザレーティングの値、オートレーティングの種類は、図６と同様である。被写体クラスの数は、同時に検出する被写体種類の数である。データ領域１および２は、被写体種類ごとの画像評価データを格納する領域で、データ領域１および２へのポインタはそれぞれの領域へのオフセットアドレスである。

図１２は、図１１のデータ領域の構成を説明するための図である。データ領域は、被写体クラスの種類、被写体の数、被写体１および２のオートレーティングデータから構成される。

被写体クラスの種類は、図６のオートレーティングの被写体と同様である。被写体の数は、対象のデータ領域に登録される被写体の数である。例えば、対象のデータ領域の被写体クラスの種類が人物だった場合に人物が２人検出されれば、値として２が設定される。被写体１および２のオートレーティングデータは図６のオートレーティングのデータと同様である。

このように構成することで、人物と動物など複数の被写体種類が同じ静止画に映っている場合でも、画像評価結果を利用した静止画絞り込み検索などの時に、もれなく所望の被写体を抽出することができる。また、同じ人物被写体でも複数人居る場合は別々に画像評価結果を記録することができるので、その中でも画像中央の人物の画像評価結果を利用したり、被写体尤度の値が悪くてもＡＦ枠に近い人物の画像評価結果を利用したりする、などを静止画絞り込み検索時に選択することができる。

本実施形態においては、図１の評価値取得部１１１で一度に取得できる評価値はデフォーカス量の１種類であるものとしたが、本発明はこれに限定されるものではなく、複数の評価値を同時に取得するようにしてもよい。デフォーカス量以外には、例えば、露出、コントラスト、ブレなどの評価値を同時に取得するようにしてもよい。

図１３は、複数の評価値を同時に取得する場合に静止画ファイルのヘッダに記録される画像評価データの構成を説明するための図である。画像評価データは、ユーザレーティングの値、オートレーティングの数、レーティングデータ領域１および２へのポインタ、レーティングデータ領域１および２、から構成される。

ユーザレーティングの値は、図６と同様である。オートレーティングの数は、同時に取得する評価値の種類の数である。レーティングデータ領域１および２は、評価値種類ごとの画像評価データを格納する領域で、レーティングデータ領域１および２へのポインタはそれぞれの領域へのオフセットアドレスである。

図１４は、図１３のレーティングデータ領域の構成を説明するための図である。レーティングデータ領域は、オートレーティングの種類、被写体クラスの数、データ領域１および２へのポインタ、データ領域１および２、から構成される。

オートレーティングの種類は、対象のオートレーティングデータ領域に登録される評価値の種類である。例えば、１がピント評価値、２が露出評価値、３がコントラスト評価値、４がブレ評価値、０を設定すれば対象のオートレーティングデータ領域が無いことを示すものとする。また５～９は、将来の拡張のためのリザーブ領域であるとする。被写体クラスの数、データ領域１および２へのポインタ、データ領域１および２は、図１１と同様である。

このように構成することで、ピント以外にも様々な観点で画像評価結果を利用した静止画絞り込み検索をすることができるので、ユーザの利便性を高めることができる。

本実施形態においては、着目した被写体の評価値に基づいて画像評価する構成としたが、本発明はこれに限定されるものではなく、画面全体の構図を解析して画像評価するようにしてもよい。

図１５は、画面全体の構図を解析して画像評価する動作を説明するための図である。図１５の１４０１は撮影シーンの一例で、４０２～４０４は図４と同様である。１４０２は主被写体である人物で、人物４０２より手前に位置している。１４０４はオートフォーカス枠、１４０３は図１の評価値取得部１１１で取得できるデフォーカス量分布の枠群で、画面全面のデフォーカス分布を取得する。

例えば、画面全体の構図を解析して、主被写体である人物だけピントが合っていて、それ以外の人物にはピントが合っていない場合に画像に高い評価をつけるようにしてもよい。１４０５はそのような静止画の一例で、主被写体である人物１４０２にはピントが合っていて、それ以外の人物４０２にはピントが合っていない。このように構成することにより、意図せず映り込んだ邪魔者被写体（背後を通過した通行人など）は目立たせず、主役の被写体だけを印象的に浮かび上がらせたような静止画に高い評価をつけることができる。これは、静止画の絞り込み検索で印象的なポートレートシーンを抽出するときなどに有用である。

また例えば、画面全体の構図を解析して、ピントが合っている人物の人数が多い場合に画像に高い評価をつけるようにしてもよい。１４０６はそのような静止画の一例で、主被写体である人物１４０２と人物４０２が２人居て、２人ともピントが合っている。一方、１４０５の静止画は２人中１人にしかピントが合っていないので、１４０６よりも画像評価の評価を下げる。このように構成すれば、静止画の絞り込み検索で集合写真として写りのよいシーンを抽出するときなどに有用である。

本実施形態においては、画像評価した結果を用いて再生時に静止画を絞り込み検索させる構成としたが、本発明はこれに限定されるものではない。画像評価の結果が低評価だった場合に対象の静止画を記録させない、もしくは静止画撮像自体を中止させるように構成してもよい。このように構成することで、図１の記録媒体１０８の記録容量を節約することができる。

本実施形態においては、画像評価した結果を用いて静止画を絞り込み検索して静止画再生させる構成としたが、本発明はこれに限定されるものではなく、絞り込んだ静止画の再生方法を変化させるようにしてもよい。例えば、図１の評価値取得部１１１で取得されるデフォーカス量分布を用いて、静止画上でピントが合っている領域に対して着色もしくはシャープネスを強めたり、逆に静止画上でピントが合っていない領域に対して着色もしくはボケを強めたり、または静止画の代わりにデフォーカス量分布を再生させたりすることで、より詳細なピント確認ができるようにしてもよい。

本実施形態においては、画像評価をデジタルカメラ内で行う構成としたが、本発明はこれに限定されるものではなく、モバイル機器、パーソナルコンピュータやクラウド上のサーバ機器など外部装置で画像評価するようにしてもよい。例えば、画像評価を外部装置で行うのであれば被写体検出を外部装置で行うことが可能になり、人物や動物など単純な被写体検出に留まらず、例えば犬でも詳細な犬種まで判別するような高度な被写体検出を行うことができる。そのため、よりユーザの用途に合った画像絞り込み検索を実現することができる。

本実施形態においては、撮影時のＡＦ処理で取得されるデフォーカス量分布を画像評価に利用する構成としたが、本発明はこれに限定されるものではなく、撮影後にデフォーカス量分布を取得するようにしてもよい。

例えば、撮影時はＡ像とＢ像の位相差画像の取得までを行い、デフォーカス量分布取得は撮影後に行うようにすれば、デフォーカス量分布が取得される領域がＡＦ枠付近に限定されることなく任意位置で取得可能になる。そのため、画像評価が評価なしとなる静止画の数を減らすことができ、静止画の絞り込み検索の利便性を高めることができる。

また、評価値に基づいたレーティングが高ければ、画像を評価値に基づいて加工した画像、もしくは評価値の空間分布を示した評価値マップを表示部１０９に表示するようにしてもよい。

本実施形態においては、像面位相差方式でデフォーカス量分布を取得する構成としたが、本発明はこれに限定されるものではない。コントラストオートフォーカス方式やＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式などその他の焦点検出方式でデフォーカス量分布を取得するようにしてもよい。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０６：Ａ／Ｄ変換部、１０７：画像処理部、１０８：記録媒体、１０９：表示部、１１０：操作部、１１１：評価値取得部、１１２：被写体検出部

Claims (19)

1. 画像を取得する画像取得手段と、
   前記画像の評価値を取得する評価値取得手段と、
   前記評価値の信頼性を取得する信頼性取得手段と、
   前記評価値に基づいて、前記画像を評価する評価手段と、
   前記画像の評価を前記画像に付加して記録する記録手段と、
   前記画像から被写体を検出する被写体検出手段と、
   を有し、
   前記評価手段は、オートフォーカスの対象の被写体と、検出された被写体の位置のずれに基づいて前記信頼性を判定し、
   前記評価手段は、より高い信頼性を有する評価値を、より低い信頼性を有する評価値よりも優先して、前記記録手段により既に記録された前記画像のレーティングを行うことを特徴とする画像処理装置。
2. 前記評価手段は、前記被写体検出手段により検出された被写体位置における前記評価値を優先することを特徴する請求項１に記載の画像処理装置。
3. 前記被写体検出手段は、更に被写体の尤度を検出し、前記評価手段は、前記尤度に基づいて、画像の評価を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体検出手段は少なくとも第１の被写体と第２の被写体を検出し、前記評価手段は、前記第１の被写体に対する評価と前記第２の被写体に対する評価を個別に行うことを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記被写体位置もしくは前記尤度に基づいて、優先する被写体を設定する設定手段をさらに備えることを特徴とする請求項３に記載の画像処理装置。
6. 前記設定手段は、オートフォーカス枠もしくはユーザが指示した位置に近い被写体を優先することを特徴とする請求項５に記載の画像処理装置。
7. 被写体の出現頻度、被写体の行動検知、もしくは被写体の状態検知に基づいて、優先する被写体を設定する設定手段をさらに備えることを特徴とすることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
8. 前記被写体検出手段が複数の被写体を検出した場合に、前記評価手段は、被写体の数に基づいて画像を評価することを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
9. 画像を表示する表示手段をさらに備え、前記評価値に基づいて検索された画像を前記表示手段に表示することを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。
10. 前記評価値に基づいて加工した画像、もしくは前記評価値の空間分布を示した評価値マップを前記表示手段に表示することを特徴とする請求項９に記載の画像処理装置。
11. 前記評価値に基づいた評価が低い画像を前記記録手段に記録させないことを特徴とする請求項２乃至１０のいずれか１項に記載の画像処理装置。
12. 前記画像取得手段は電子ビューファインダー画像および記録用画像を取得し、前記被写体検出手段は前記電子ビューファインダー画像から被写体を検出することを特徴とする請求項２乃至１１のいずれか１項に記載の画像処理装置。
13. 前記画像取得手段は電子ビューファインダー画像および記録用画像を取得し、前記被写体検出手段は前記記録用画像から被写体を検出することを特徴とする請求項２乃至１１のいずれか１項に記載の画像処理装置。
14. 前記評価値は、画像のピント情報、露出情報、コントラスト情報、ブレ情報のいずれかを含むことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記ピント情報は、視差を表すシフト量に基づいた情報もしくはデフォーカス量に基づいた情報を含むことを特徴とする請求項１４に記載の画像処理装置。
16. ユーザが手動で評価を設定する手動設定手段をさらに備えることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 画像を取得する画像取得工程と、
    前記画像の評価値を取得する評価値取得工程と、
    前記評価値の信頼性を取得する信頼性取得工程と、
    前記評価値に基づいて、前記画像を評価する評価工程と、
    前記画像の評価を前記画像に付加して記録手段に記録する記録工程と、
    前記画像から被写体を検出する被写体検出工程と、
    を有し、
    前記評価工程では、オートフォーカスの対象の被写体と、検出された被写体の位置のずれに基づいて前記信頼性を判定し、
    前記評価工程では、より高い信頼性を有する評価値を、より低い信頼性を有する評価値よりも優先して、前記記録手段により既に記録された前記画像のレーティングを行うことを特徴とする画像処理方法。
18. コンピュータを請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
19. コンピュータを請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images