JP5544848B2 - 画像判定装置および画像判定プログラム - Google Patents

Description

本発明は、画像がぼけているか否かを判定する画像判定装置および画像判定プログラムに関する。

近年、デジタルカメラ等を用いることによって、銀塩フィルムカメラ等を用いる場合と比較して、多量の撮影画像を容易かつ安価に生成することが可能になった。それに伴い、撮影後において、撮影画像の中から、撮影者が目視によって、ぼけている画像など撮影に失敗した画像を選別するには、多大な労力を要求されるようになってきている。そこで、多量の撮影画像の中から、ぼけている画像など撮影に失敗した画像を画像処理によって判別し、分類するシステムが求められている。

画像処理によってぼけている画像等を判定するシステムとしては、例えばＪＰＥＧ画像のＤＣＴ周波数成分から、画像がぼけているか否かを判定する技術が提案されている（特許文献１等参照）。しかし、ＤＣＴ周波成分を用いる従来技術では、画像のエッジ情報ではなくＤＣＴ周波数成分を用いることにより発生する判定精度低下の問題や、特定の保存形式の画像ファイルのみしか処理できないという問題を有している。

特開２００７−２２０００９号公報

本発明は、このような実状に鑑みてなされ、その目的は、画像がぼけているか否かを好適に判定する画像判定装置および画像判定プログラムを提供することである。

上記目的を達成するために、本発明の第１の観点に係る画像判定装置は、
第１の画像に対して画像をぼかす処理を行い第２の画像を生成するぼかし処理部（４２）と、
前記第１の画像のコントラストと前記第２の画像のコントラストとを比較した値であるコントラスト比較値を算出するコントラスト比較部（４４）と、
前記コントラスト比較値が所定のしきい値を超えているか否かによって、前記第１の画像がぼけているか否かを判定するぼけ判定部（４６）と、を備える。

本発明の第２の観点に係る画像判定装置は、
第１の画像に対して画像をぼかす第１の処理を行い第２の画像を生成し、前記第１の画像に対して前記第１の処理とは異なる処理で画像をぼかす第２の処理を行い第３の画像を生成するぼかし処理部（４２ａ）と、
前記第２の画像のコントラストと前記第３の画像のコントラストとを比較した値であるコントラスト比較値を算出するコントラスト比較部（４４ａ）と、
前記コントラスト比較値が所定のしきい値を超えているか否かによって、前記第１の画像がぼけているか否かを判定するぼけ判定部（４６，１０７）と、を備える。

また、例えば、前記第２の処理は、前記第１の処理を複数回繰り返す処理であってもよい。

また、例えば、本発明に係る画像判定装置は、元画像を複数に分割して複数の前記第１の画像を生成する画像分割部（１０１）をさらに有してもよく、
前記コントラスト比較部は、複数の前記第１の画像に対応する複数の前記コントラスト比較値を算出してもよく、
前記ぼけ判定部は、複数の前記第１の画像のうちぼけていないと判定されるものがあるか否かによって、前記元画像がぼけているか否かを判定してもよい。

また、例えば、前記ぼけ判定部は、複数の前記第１の画像のうちぼけていないと判定されるものがある場合は、その判定が行われた時点においてぼけているか否かの判定を行っていない前記第１の画像についてはぼけているか否かの判定を行わずに、前記元画像がぼけているか否かを判定してもよい。

また、本発明に係る画像判定プログラムは、
コンピュータに、
第１の画像に対して画像をぼかす処理を行い第２の画像を生成するぼかし処理手順と、
前記第１の画像のコントラストと前記第２の画像のコントラストとを比較した値であるコントラスト比較値を算出するコントラスト比較手順と、
前記コントラスト比較値が所定のしきい値を超えているか否かによって、前記第１の画像がぼけているか否かを判定するぼけ判定手順と、を実行させる。

なお上述の説明では、本発明をわかりやすく説明するために実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。さらに、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

図１は、本発明の第１実施形態に係る画像判定装置を搭載したカメラの概略断面図である。 図２は、本発明の第１実施形態に係る画像判定装置の概略ブロック図である。 図３は、図２に示す画像判定装置で行われる画像判定処理の一例を表すフローチャートである。 図４は、画像判定処理に用いられるボケフィルターの一例を表す概念図である。 図５は、図２に示す画像判定装置で算出されるコントラスト評価値とボケ量の関係を表す概念図である。 図６は、ぼけていない画像とぼけている画像について画像をぼかす処理を行った場合におけるエッジの変化を比較したグラフである。 図７は、図２に示す画像判定装置で行われる画像の保存作業を説明した概念図である。 図８は、本発明の第２実施形態に係る画像判定装置の概略ブロック図である。 図９は、本発明の第２実施形態に係る画像判定装置で行われる画像判定処理の一例を表すフローチャートである。 図１０は、第２実施形態に係る画像判定装置で算出されるコントラスト評価値とボケ量の関係を表す概念図である。 図１１は、本発明の第３実施形態に係る画像判定装置の概略ブロック図である。 図１２は、本発明の第３実施形態に係る画像判定装置で行われる画像判定処理の一例を表すフローチャートである。 図１３は、本発明の第３実施形態に係る画像判定装置で行われる画像判定処理の一例を表すフローチャートである。

第１実施形態
図１は、本発明の第１実施形態に係る画像判定装置を搭載したデジタル一眼レフカメラの概略断面図である。カメラボディ１０の筐体１２には、筐体開口２０が形成されており、筐体開口２０の周辺にはレンズマウント１４が形成されている。撮影時には、筐体開口２０を覆うように交換レンズ（不図示）が設置され、交換レンズに備えられる撮影光学系によって導かれた撮影光が、筐体１２の内部に導入される。

筐体１２の内部には、クイックリターンミラー（不図示）、ファインダスクリーン２８、ペンタプリズム３０、接眼レンズ３２、シャッタ１８、撮像部２２等が設置されている。ファインダスクリーン２８、ペンタプリズム３０および接眼レンズ３２は、筐体１２内部における上側に配置されており、ファインダ装置を構成している。ファインダスクリーン２８、ペンタプリズム３０および接眼レンズ３２等によって構成されるファインダ装置は、不図示のクイックリターンミラーからの撮影光を、撮影者の目に導くことができる。

筐体１２の内部には、シャッタ１８と撮像部２２が配置されている。シャッタ１８は、筐体開口２０と撮像部２２との間に配置されている。シャッタ１８は、撮影時において露光時間を制御するための機構であり、撮影光学系から撮像素子２４に導かれる撮影光を遮蔽したり、通過させたりすることができる。

撮像部２２は、撮影対象からの光である撮影光が入射することにより、撮影対象を撮像する。本実施形態に係る撮像部２２は、光学ローパスフィルタ２６と撮像素子２４とを有している。光学ローパスフィルタ２６は、撮影に際して偽色（色モアレ）の発生を防止する光学素子である。光学ローパスフィルタ２６は、撮像素子２４の撮影対象側表面に形成された受光面を覆うように配置されている。

撮像素子２４は、光学ローパスフィルタ２６を透過した撮影光を受光し、画像信号を生成する。画像制御部３８は、撮像素子２４によって生成された画像信号を処理し、画像（画像データ）を生成する。また、画像制御部３８から出力された画像は、必要に応じてＣＰＵ３４によって処理されたのち、不図示のメモリカード等に保存される。また、撮像素子２４による画像信号の生成や、画像制御部３８による処理は、筐体１２の内部に備えられるボディＣＰＵ３４からの制御信号によって制御される。筐体１２の背面には、表示部１６が設置されている。表示部１６は、液晶パネル等によって構成されており、ＣＰＵ３４を介して入力された画像を表示することができる。

また、ＣＰＵ３４は、撮像素子２４および画像制御部３８等によって生成された画像について、当該画像がぼけているか否かを判定する画像判定装置としての演算処理を行うことができる。図２は、本発明の第１実施形態に係る画像判定装置の概略ブロック図である。

図２に示すように、画像判定装置としてのＣＰＵ３４は、ぼかし処理部４２と、コントラスト比較部４４とぼけ判定部４６と保存処理部４８とを含む。ぼかし処理部４２には、撮像素子２４および画像制御部３８によって生成された画像や、記憶部４０等に保存されている画像が入力される。ぼかし処理部４２に入力される画像には、例えば、撮像素子２４（図１）の撮像面に結ばれた像を電子データ化した撮影画像のように、撮影装置によって撮影された画像が含まれる。以下、実施形態の説明では、ぼかし処理部４２に入力される画像を、第１画像と呼ぶ。

ぼかし処理部４２は、第１画像に対して画像をぼかす処理を行い第２の画像を生成する。ぼかし処理部４２で生成される第２画像は、第１画像をぼかした画像である。ぼかし処理部４２で行われるぼかし処理としては、特に限定されないが、例えば図４に示すようなガウシアンフィルタ５０等を用いて第１画像をぼかす処理が挙げられる。

図４に示すガウシアンフィルタ５０は、マトリックスサイズ５×５、標準偏差１のガウシアンフィルタであるが、フィルタのマトリックスサイズや標準偏差は、処理の対象となる第１画像や、ぼかし処理部４２の処理能力等に応じて適正に設定される。なお、図４において、ガウシアンフィルタ５０の各マトリックスに記載されている数値は、各マトリックスに対応する画素が、ぼかし処理後におけるマトリックス中央５２に対応する画素に与える影響度を表している。

コントラスト比較部４４は、撮影装置によって撮影された画像等である第１画像と、ぼかし処理部４２において生成された第２画像とのコントラストを比較した値であるコントラスト比較値を算出する。例えば、コントラスト比較部４４は、第１画像と第２画像について、第１画像および第２画像のコントラストを数値で表現したコントラスト評価値を算出する。コントラスト評価値の算出方法としては、特に限定されないが、例えばコントラスト評価値を評価値Ｓ、画像を構成する画素の輝度成分を輝度Ｖ（ｍ，ｎ）とした場合、以下の式を用いて算出することができる。

なお、ｍおよびｎは、画素の水平方向および垂直方向の位置を表しており、ｎ＋１は、ｎに対して垂直方向に沿って隣の位置であることを意味する。

また、例えば、評価値Ｓは、輝度Ｖ（ｍ，ｎ）の差を求める方向を、数式１から９０度回転させた数式２を用いて表すこともできる。

なお、ｍ＋１は、ｍに対して水平方向に沿って隣の位置であることを意味する。

また、例えば、評価値Ｓは、輝度Ｖ（ｍ，ｎ）の水平方向の差と垂直方向の差を足し合わせた数式３を用いて表すこともできる。

数式３を用いることによって、コントラスト比較部４４は、より正確にコントラスト評価値を求めることができる。

また、コントラスト比較部４４は、第１画像のコントラスト評価値と、第２画像のコントラスト評価値から、第１画像のコントラストと第２画像とのコントラストとを比較した値であるコントラスト比較値を算出する。コントラスト比較値の計算方法は特に限定されないが、例えば、コントラスト比較値を比較値Ｃ、第１画像のコントラスト評価値を評価値Ｓａ、第２画像のコントラスト評価値を評価値Ｓｂとすると、コントラスト比較値は、以下の数式４を用いて算出することができる。

図２に示すコントラスト比較部４４は、算出したコントラスト比較値を、ぼけ判定部４６に出力する。ぼけ判定部４６は、入力されたコントラスト比較値が所定のしきい値より大きいか否かを判断する。ぼけ判定部４６は、入力されたコントラスト比較値が所定のしきい値よりも大きければ、第１画像をぼけているボケ画像であると判断する。反対に、入力されたコントラスト比較値が所定のしきい値以下であれば、ぼけ判定部４６は、第１画像をぼけていないシャープ画像であると判断する。

図５は、画像のコントラスト評価値と、画像のボケ量（画像が実際にどの程度ぼけているかを表す指標）の関係を表した概念図である。曲線５８は、ある１つの撮影対象から得られる画像について、画像のボケ量に伴うコントラスト評価値の変化を表したものである。曲線５８は、例えば、ある１つの撮影対象を、ピントのずれ度合い等を変えてボケ量を変化させながら撮影し、撮影によって得られた画像のコントラスト評価値を、ボケ量に対してプロットすることによって得られる。

曲線５８によって示されるように、より画像がぼけていない領域においては、コントラスト評価値は、ボケ量の変化に対して急激に変化する傾向にある。また、より画像がぼけている領域では、コントラスト評価値は、ボケ量の変化に対して緩やかに変化する傾向にある。

図５における点５４は、ぼけていない画像であるシャープ画像のコントラスト評価値を、ボケ量に対してプロットしたものである。シャープ画像は、第１画像としてＣＰＵ３４（図２）に入力された段階では、コントラスト評価値が評価値Ｓ１である。シャープ画像は、ぼかし処理部４２によってぼかし処理をされることによって第２画像となり、この第２画像のコントラスト評価値は評価値Ｓ２である。

図５における点５４から解るように、シャープ画像のコントラスト評価値は、ボケ量の変化に対して急激に変化する。したがって、第１画像がシャープ画像である場合は、ぼかし処理によるコントラスト劣化が大きく、第２画像の評価値Ｓ２は、第１画像の評価値Ｓ１より大幅に小さくなる。そのため、第１画像のコントラスト評価値と第２画像のコントラスト評価値の比であるコントラスト比較値は、小さい値となる。

図５における点５６は、ぼけている画像であるボケ画像のコントラスト評価値を、ボケ量に対してプロットしたものである。ボケ画像は、第１画像としてＣＰＵ３４（図２）に入力された段階では、コントラスト評価値が評価値Ｓ３である。ボケ画像は、ぼかし処理部４２によってぼかし処理をされることによって第２画像となり、この第２画像のコントラスト評価値は評価値Ｓ４である。

図５における点５６から解るように、ボケ画像のコントラスト評価値は、ボケ量の変化に対して緩やかに変化する。したがって、第１画像がボケ画像である場合は、ぼかし処理によるコントラスト劣化が小さく、第２画像の評価値Ｓ２は、第１画像の評価値Ｓ１に対して少しだけ小さくなる。そのため、第１画像のコントラスト評価値と第２画像のコントラスト評価値の比であるコントラスト比較値は、シャープ画像に比べて大きい値となる。

図７は、シャープ画像とボケ画像について、画像をぼかす処理を行った場合に発生するエッジの変化を比較したグラフである。図６（ａ）の曲線６０は、シャープ画像に含まれるエッジの輝度変化を表したものである。曲線６０に示すように、シャープ画像に含まれるエッジは、位置の変化に対して輝度成分が急激に変化する。図６（ｂ）の曲線６２は、図６（ａ）の曲線６０で示すエッジに対してぼかし処理を施したエッジの輝度変化を表したものである。また、図６（ｃ）の曲線６４は、曲線６０と曲線６２の差分を表したものである。

図６（ａ）〜図６（ｃ）に示すように、シャープ画像に含まれるエッジは、輝度成分の変化が急激であるため、第１画像と第２画像の間に大きな差分が発生することがわかる。このように、図６（ａ）〜図６（ｃ）から、第１画像がシャープ画像である場合は、ぼかし処理によるコントラスト劣化が大きいことが理解できる。

図６（ｄ）の曲線６６は、ボケ画像に含まれるエッジの輝度変化を表したものである。曲線６６に示すように、ボケ画像に含まれるエッジは、シャープ画像のエッジと比較して、位置の変化に対して輝度成分が緩やかに変化する。図６（ｅ）の曲線６８は、図６（ｄ）の曲線６６で示すエッジに対してぼかし処理を施したエッジの輝度変化を、表したものである。また、図６（ｆ）の曲線７０は、曲線６６と曲線６８の差分を表したものである。

図６（ｄ）〜図６（ｆ）に示すように、ボケ画像に含まれるエッジは、輝度成分の変化が、シャープ画像と比較して緩やかであるため、ボケ画像では、第１画像と第２画像の間に小さな差分しか発生しないことがわかる。このように、図６（ｄ）〜図６（ｆ）から、第１画像がボケ画像である場合は、ぼかし処理によるコントラスト劣化が小さいことが理解できる。

以上のように、画像のボケ量に応じて画像のコントラスト比較値が変化するため、ぼけ判定部４６は、コントラスト比較値から第１画像がぼけているか否かを判断することができる。ここで、ぼけ判定部４６は、第１画像のコントラスト評価値そのものではなく、第１画像のコントラスト評価値と第２画像のコントラスト評価値の比であるコントラスト比較値を用いて、第１画像がぼけているか否かを判断することが好ましい。なぜなら、数式１〜数式３を用いて算出されるコントラスト評価値は、画像に含まれるエッジの絶対量に応じて変化するため、例えばシャープ画像であっても、撮影対象が異なれば変化する。したがって、コントラスト評価値の絶対値は、画像に含まれるエッジのシャープさだけでなく、画像に含まれるエッジの量にも影響を受けるため、第１画像のボケ量を反映していない場合がある。

それに対して、第１画像のコントラスト評価値と第２画像のコントラスト評価値の比であるコントラスト比較値を用いると、画像に含まれるエッジの量ではなく、画像に含まれるエッジのシャープさを判断することができる。なぜなら、曲線５８（図５）に示すような、第１画像のボケ量の変化に伴うコントラスト劣化量の変化は、エッジの量が多い画像でも、エッジの量が少ない画像でも見られるからである。

図２に示すぼけ判定部４６は、入力されたコントラスト比較値が所定のしきい値よりも大きければ、第１画像がボケ画像である旨の信号を、保存処理部４８に出力する。反対に、入力されたコントラスト比較値が所定のしきい値以下であれば、ぼけ判定部４６は、第１画像がぼけていないシャープ画像である旨の信号を、保存処理部４８に出力する。

保存処理部４８は、ぼけ判定部４６での判定結果に応じて、ぼかし処理部４２に入力された第１画像の保存処理を変更することができる。図７に示すように、保存処理部４８は、撮影された画像を保存する通常の画像フォルダ７２のほかに、ぼけている画像を保存する失敗写真フォルダ７４を、記憶部４０に作成することができる。

ぼかし処理部４２に入力された第１画像が、ぼけ判定部４６によってシャープ画像であると判断された場合、すなわち、画像Ａ７６、画像Ｂ７８、画像Ｄ８２および画像Ｆ８６が第１画像であった場合には、保存処理部４８は、第１画像の保存場所を、画像フォルダ７２とする。それに対して、ぼかし処理部４２に入力された第１画像が、ぼけ判定部４６によってボケ画像であると判断された場合、すなわち、画像Ｃ８０および画像Ｅ８４が第１画像であった場合には、保存処理部４８は、第１画像の保存場所を、通常の画像フォルダ７２とは異なる失敗写真フォルダ７４とする。

このように、本実施形態に係る画像判定装置は、対象となる画像について、コントラスト比較値を算出することによって、画像がぼけているか否かを正確に判断することができる。また、コントラスト評価値およびコントラスト比較値は、画像に含まれる輝度情報から算出することができるため、本実施形態に係る画像判定装置は、対象となる画像の保存形式にかかわらず、画像がぼけているか否かを容易に判断することができる。

また、本実施形態に係る画像判定装置は、ぼけ判定部４６による判定結果に基づき、第１画像の保存処理を変更することができる。これによって、本実施形態に係る画像判定装置は、撮影画像の中からボケ画像を探すために費やされる撮影者の労力を軽減することができる。

図３は、図２に示す画像判定装置で行われる画像判定処理の一例を表すフローチャートである。ステップＳ００１において、ＣＰＵ３４（図１または図２参照）は、画像判定処理を開始する。ＣＰＵ３４による画像処理は、撮像素子２４および画像制御部３８によって画像が生成された直後に自動的に開始されても良く、撮影者の入力に基づく所定のタイミングで開始されてもよい。

ステップＳ００２において、ＣＰＵ３４におけるぼかし処理部４２は、第１画像を取得する。ぼかし処理部４２は、画像制御部３８において生成された直後の第１画像を所得しても良く、記憶部４０に保存されている画像を読み出すことによって、第１画像を取得しても良い。

ステップＳ００３において、ＣＰＵ３４におけるぼかし処理部４２は、第１画像に対して画像をぼかすぼかし処理を行い、第２画像を生成する。また、ぼかし処理部４２は、ステップＳ００２において取得した第１画像と、ステップＳ００３において生成した第２画像の両方に関する情報を、コントラスト比較部４４に出力する。

ステップＳ００４において、コントラスト比較部４４は、第１画像のコントラスト評価値と、第２画像のコントラスト評価値を算出する。さらに、ステップＳ００５において、コントラスト比較部４４は、第１画像と第２画像のコントラスト評価値を比較する。すなわち、ステップＳ００５において、コントラスト比較部４４は、第１画像と第２画像のコントラスト評価値とを比較した値であるコントラスト比較値を算出し、ぼけ判定部４６に出力する。

ステップＳ００６において、ぼけ判定部４６は、入力されたコントラスト比較値が所定のしきい値より大きいか否かを判断することによって、ステップＳ００２において取得された第１画像がぼけているか否かを判断する。また、ぼけ判定部４６は、判定結果を保存処理部４８に出力する。

ステップＳ００７において、保存処理部４８は、ぼけ判定部４６から入力された判定結果に応じて、第１画像の保存処理または保存場所の変更等を行う。たとえば、保存処理部４８は、第１画像がぼけている旨の信号がぼけ判定部４６から入力された場合は、第１画像の保存場所を、記憶部４０における画像フォルダ７２から、失敗写真フォルダ７４（図７参照）に変更する。

ステップＳ００８において、ＣＰＵ３４は、一連の画像判定処理を終了する。

第２実施形態
図８は、本発明の第２実施形態に係る画像判定装置の概略ブロック図である。図８に示すように、第２実施形態に係る画像判定装置としてのＣＰＵ３４ａは、ぼかし処理部４２ａと、コントラスト比較部４４ａと、ぼけ判定部４６ａと、保存処理部４８とを含む。第２実施形態に係るＣＰＵ３４ａは、ぼかし処理部４２ａ、コントラスト比較部４４ａ等における処理が、第１実施形態に係るＣＰＵ３４と異なるが、その他は同様である。

ぼかし処理部４２ａには、第１実施形態に係るぼかし処理部４２と同様に、撮影画像等が入力される。第２実施形態に係る画像装置の説明においては、ぼかし処理部４２ａに入力される画像を、第１画像と呼ぶ。

ぼかし処理部４２ａは、第１画像に対して画像ぼかす第１の処理を行い、第２画像を生成するとともに、第１画像に対して第１の処理とは異なる処理で画像をぼかす第２の処理を行い、第３画像を生成する。ぼかし処理部４２ａで行われる第１の処理および第２の処理としては、特に限定されないが、例えば図４に示すようなガウシアンフィルタ５０等を用いて第１画像をぼかす処理が挙げられる。

第２の処理は、第１の処理と比較して、画像を大きくぼかす。また、第１の処理と第２の処理においては、使用するガウシアンフィルタのサイズや標準偏差を変えることによって、第１の処理と第２の処理で実施される処理を変えることができる。例えば、第１の処理で用いるガウシアンフィルタとして、マトリックスサイズが５×５であって標準偏差が１であるフィルタを用いた場合、第２の処理では、マトリックスサイズが１５×１５、標準偏差が３であるフィルタを用いることができる。第１の処理と第２の処理とで、互いに異なるフィルタを用いれば、第１の処理および第２の処理を、１回のフィルタ処理で行うことができる。

また、第１の処理と第２の処理においては、使用するガウシアンフィルタを同じとし、第１画像に対してガウシアンフィルタを用いて画像処理する回数を変化させることによって、第１の処理と第２の処理で実施される処理を変えることができる。例えば、第１の処理では、第１画像に対して所定のガウシアンフィルタを用いて１回処理を行い、第２の処理では、第１画像に対して、第１の処理と同じガウシアンフィルタを用いて複数回（例えば３回）処理を行うことができる。第２の処理を、第１の処理を複数回繰り返す処理とすることによって、第１の処理と第２の処理で用いられるガウシアンフィルタを共通化することができる。また、第２の処理で用いられるガウシアンフィルタのマトリックスサイズを第１の処理より大きくする場合に比べて、第２の処理で行われる計算量を抑制できる場合がある。

コントラスト比較部４４ａは、ぼかし処理部４２ａで生成された第２画像と第３画像とのコントラストを比較した値であるコントラスト比較値を算出する。例えば、コントラスト比較部４４ａは、第１実施形態に係るコントラスト比較部４４と同様に、第２画像と第３画像について、第２画像および第３画像のコントラストを数値で表現したコントラスト評価値を算出する。コントラスト評価値の算出方法としては、第１実施形態において第１画像および第２画像のコントラスト評価値を算出する場合と同様の方法を用いることができる。

さらに、コントラスト比較部４４ａは、第２画像のコントラスト評価値と、第３画像のコントラスト評価値から、第２画像のコントラストと第３画像とのコントラストとを比較した値であるコントラスト比較値を算出する。コントラスト比較値の計算方法は特に限定されないが、例えば、コントラスト比較値を比較値Ｃ、第２画像のコントラスト評価値を評価値Ｓｂ、第３画像のコントラスト評価値を評価値Ｓｃとすると、以下の数式５を用いて算出することができる。

コントラスト比較部４４ａは、第１画像を比較対象に用いるのではなく、第１画像に対して異なるぼかし処理を行った２つの画像（第２画像および第３画像）のコントラストを比較したコントラスト比較値を算出する。そのため、コントラスト比較部４４ａは、第１画像のボケ量をより正確に反映したコントラスト比較値を算出することができる。

図１０は、画像のコントラスト評価値と、画像のボケ量（画像が実際にどの程度ぼけているかを表す指標）の関係を表した概念図である。曲線９２は、ある１つの撮影対象から得られる画像について、画像のボケ量に伴うコントラスト評価値の変化を表したものである。曲線９２は、例えば、ある１つの撮影対象を、ピントのずれ度合い等を変えてボケ量を変化させながら撮影し、撮影によって得られた画像のコントラスト評価値を、ボケ量に対してプロットすることによって得られる。

撮影対象が同じである場合、画像のコントラスト評価値は、通常、曲線９２の上にのるが、点８８で示すように、画像にノイズが含まれるような場合は、画像がぼけているにもかかわらず、コントラスト評価値が高く算出される場合がある。なお、点８８は、ノイズが含まれる画像（第１画像）のコントラスト評価値を、ボケ量に対してプロットしたものである。点８８で示す第１画像のコントラスト評価値である評価値Ｓ５には、評価値Ｓ５から評価値Ｓ５ａを引いた大きさに相当するノイズ成分が含まれる。例えば、撮影時のＩＳＯ感度を高く設定しすぎたような場合に、画像にノイズが含まれる。

しかし、図１０に示すように、第１画像に含まれるノイズの影響は、第１画像をぼかす処理を行うことによって低減もしくは除去することができる。すなわち、点８８で示す第１画像に対して、第１の処理または第２の処理を行うことによって、画像のコントラスト評価値は矢印９０に沿って変化し、画像のノイズ成分が低減もしくは除去される。その結果、第１の処理によって得られた第２画像のコントラスト評価値は、評価値Ｓ６となる。また、第１画像に対して第２の処理を行って得られた第３画像のコントラスト評価値は、評価値Ｓ７となる。図１０に示すように、評価値Ｓ６および評価値Ｓ７からはノイズ成分が低減もしくは除去されているため、これらのコントラスト評価値から算出されるコントラスト比較値は、第１画像のボケ量をより正確に反映する。

このように、第２実施形態に係るコントラスト比較部４４ａは、第１画像の含まれるノイズの影響を低減もしくは除去してコントラスト比較値を算出するため、第１画像のボケ量をより正確に反映したコントラスト比較値を算出できる。

コントラスト比較部４４ａは、算出したコントラスト比較値を、ぼけ判定部４６に出力する。ぼけ判定部４６は、第１実施形態と同様に、第１画像がぼけているか否かを判断する。また、保存処理部４８は、第１実施形態と同様に、ぼけ判定部４６での判定結果に応じて、ぼかし処理部４２ａに入力された第１画像の保存処理を変更することができる。

図９は、図８に示す画像判定装置で行われる画像判定処理の一例を表すフローチャートである。ステップＳ１０１において、ＣＰＵ３４ａ（図８参照）は、画像判定処理を開始する。また、ステップＳ１０２においてＣＰＵ３４ａは、第１画像を取得する。ステップＳ１０１およびステップＳ１０２における処理は、図３に示すステップＳ００１およびステップＳ００２における処理と同様である。

ステップＳ１０３において、ＣＰＵ３４ａにおけるぼかし処理部４２ａは、第１画像に対して画像をぼかす第１処理を行い、第２画像を生成するとともに、第１画像に対して画像をぼかす第２処理を行い、第３画像を生成する。また、ぼかし処理部４２ａは、第２画像および第３画像に関する情報を、コントラスト比較部４４ａに出力する。

ステップＳ１０４において、コントラスト比較部４４ａは、第２画像のコントラスト評価値と、第３画像のコントラスト評価値を算出する。さらに、ステップＳ１０５において、コントラスト比較部４４ａは、第２画像と第３画像のコントラスト評価値を比較する。すなわち、ステップＳ１０５において、コントラスト比較部４４ａは、第２画像と第３画像のコントラスト評価値とを比較した値であるコントラスト比較値を算出し、ぼけ判定部４６に出力する。

ステップＳ１０６において、ぼけ判定部４６は、入力されたコントラスト比較値が所定のしきい値より大きいか否かを判断することによって、ステップＳ１０２において取得された第１画像がぼけているか否かを判断する。ステップＳ１０７において、保存処理部４８は、ぼけ判定部４６から入力された判定結果に応じて、第１画像の保存処理または保存場所の変更等を行う。さらに、ステップＳ１０８において、ＣＰＵ３４ａは、一連の画像判定処理を終了する。ステップＳ１０６〜ステップＳ１０８における処理は、図３に示すステップＳ００６〜ステップＳ００８における処理と同様である。

本発明の第２実施形態に係る画像判定装置は、第１画像の含まれるノイズの影響を低減もしくは除去して第１画像がぼけているか否かを判定するため、より正確な判定が可能である。また、本発明の第２実施形態に係る画像判定装置は、第１実施形態に係る画像判定装置と同様の効果を有する。

第３実施形態
図１１は、本発明の第３実施形態に係る画像判定装置の概略ブロック図である。図１１に示すように、第３実施形態に係る画像判定装置としてのＣＰＵ９４は、画像分割部１０１と、ぼかし処理部４２ａと、コントラスト比較部４４ａと、ぼけ判定部１０７と、保存処理部４８とを含む。第３実施形態に係るＣＰＵ９４は、画像分割部１０１を含む点と、ぼけ判定部１０７における処理が異なる点で、第２実施形態に係るＣＰＵ３４ａと異なるが、その他はＣＰＵ３４ａと同様である。

画像分割部１０１は、撮像素子２４および画像制御部３８によって生成された画像や、記憶部４０等に保存されている画像が入力される。画像分割部１０１に入力される画像には、例えば、撮像素子２４（図１）の撮像面に結ばれた像を電子データ化した撮影画像のように、撮影装置によって撮影された画像が含まれる。本実施形態の説明では、画像分割部１０１に入力される画像を元画像と呼ぶ。

画像分割部１０１は、元画像を分割して複数の画像を生成する。画像分割部１０１は、図１３に示すような元画像１０９が入力された場合、元画像１０９を分割して、複数の第１画像１１１〜１２７を生成する。なお、本実施形態の説明では、画像分割部１０１によって生成され、ぼかし処理部４２ａに入力される画像を第１画像と呼ぶ。本実施形態に係る画像分割部１０１は、元画像１０９を分割して、９つの第１画像１１１〜１２７を生成する。

画像分割部１０１は、生成した複数の第１画像１１１〜１２７を、ぼかし処理部４２ａに出力する。ぼかし処理部４２ａは、生成した全ての第１画像１１１〜１２７を、一度にぼかし処理部４２ａに出力してもよいが、ぼけ判定部１０７によって１つの第１画像についての判断が出力されるのを待って、一画像ごとに出力してもよい。

ぼかし処理部４２ａは、第２実施形態と同様に、第１画像に対して画像ぼかす第１の処理を行い、第２画像を生成するとともに、第１画像に対して第１の処理とは異なる処理で画像をぼかす第２の処理を行い、第３画像を生成する。ぼかし処理部４２ａは、入力される複数の第１画像１１１〜１２７のそれぞれについて、第２画像および第３画像を生成することができる。

コントラスト比較部４４ａは、第２実施形態と同様に、第２画像のコントラスト評価値と、第３画像のコントラスト評価値から、第２画像のコントラストと第３画像とのコントラストとを比較した値であるコントラスト比較値を算出する。コントラスト比較部４４ａは、画像分割部１０１で生成された複数の第１画像１１１〜１２７のそれぞれから生成されたそれぞれの第２画像および第３画像について、コントラスト比較値を算出することができる。

コントラスト比較部４４ａは、算出したコントラスト比較値を、ぼけ判定部１０７に出力する。ぼけ判定部１０７は、第１および第２実施形態と同様に、コントラスト比較値に対応する第１画像がぼけているか否かを判断する。ぼけ判定部１０７は、画像分割部１０１で生成された複数の第１画像１１１〜１２７のそれぞれについて、第１画像１１１〜１２７がぼけているか否かを判断することができる。

また、第３実施形態に係るぼけ判定部１０７は、第１画像１１１〜１２７がぼけているか否かを判断した後に、その判断結果を用いて、元画像１０９がぼけているか否かを判断する。たとえば、ぼけ判定部１０７は、複数の第１画像１１１〜１２７のなかに、ぼけていない第１画像が含まれている場合は、元画像１０９はシャープ画像であると判断することができる。また、ぼけ判定部１０７は、複数の第１画像１１１〜１２７のなかに、ぼけていない第１画像が含まれていない場合は、元画像１０９はボケ画像であると判断することができる。

また、ぼけ判定部１０７は、１つの第１画像１１１〜１２７についての判定が終わるたびに、１つの第１画像１１１〜１２７についての判定結果を画像分割部１０１に出力してもよい。これによって、ぼかし処理部４２ａ、コントラスト比較部４４ａおよびぼけ判定部１０７は、複数の第１画像１１１〜１２７に対して、１画像ごとに順番に、ぼけているか否かを判断することができる。

保存処理部４８は、ぼけ判定部１０７での判定結果に応じて、画像分割部１０１に入力された元画像１０９の保存処理を変更することができる。例えば、画像分割部１０１に入力された元画像１０９が、ぼけ判定部１０７によってシャープ画像であると判断された場合には、保存処理部４８は、元画像１０９の保存場所を、記憶部４０における画像フォルダ７２とする（図７参照）。また、例えば、画像分割部１０１に入力された元画像１０９が、ぼけ判定部１０７によってボケ画像であると判断された場合には、保存処理部４８は、元画像１０９の保存場所を、通常の画像フォルダ７２とは異なる失敗写真フォルダ７４（図７参照）とする。

本実施形態に係る画像判定装置は、元画像を分割することによって複数の第１画像を生成し、複数の第１画像について当該第１画像がぼけているか否かを判断した後、その判断結果を用いて元画像がぼけているか否かを判断する。したがって、本実施形態に係る画像判定装置は、マクロ撮影した画像や、文字を撮影した画像など、比較的エッジが少ないか、あるいは、画像の一部にしかエッジがない画像に対しても、良好にシャープ画像であるかボケ画像であるかの判別を行うことができる。また、本実施形態に係る画像判定装置は、第１実施形態および第２実施形態に係る画像判定装置と同様の効果を有する。

図１２は、図１１に示す画像判定装置で行われる画像処理の一例を表すフローチャートである。ステップＳ２０１において、ＣＰＵ９４は、画像判定処理を開始する。ステップＳ２０２において、ＣＰＵ９４の画像分割部１０１は、画像制御部３８または記憶部４０から元画像を取得する。

ステップＳ２０３において、画像分割部１０１は、元画像を分割して、複数の第１画像を生成する。さらに、ステップＳ２０４において、画像分割部１０１は、生成した複数の第１画像のうちの１つの第１画像を、ぼかし処理部４２ａに出力する。画像分割部１０１は、生成した複数の第１画像のうち、元画像の中央部分を構成する第１画像を優先して、ぼかし処理部４２ａに出力してもよい。また、画像分割部１０１は、生成した複数の第１画像のうち、オートフォーカスのピント位置を含む第１画像を優先して、ぼかし処理部４２ａに出力してもよい。元画像の中央部分を構成する第１画像や、ＡＦのピント位置を含む第１画像は、シャープ画像である可能性が高いため、これらの画像を優先して処理することによって、ＣＰＵ９４の演算量を抑制することができる。

さらに、ステップＳ２０４において、ぼかし処理部４２ａは、ぼかし処理部４２ａに入力された第１画像に対して、画像をぼかす第１処理を行い、第２画像を生成する。また、ステップＳ２０４において、ぼかし処理部４２ａは、当該ぼかし処理部４２ａに入力された第１画像に対して、画像をぼかす第２処理を行い、第３画像を生成する。また、ぼかし処理部４４ａは、第２画像および第３画像に関する情報を、コントラスト比較部４４ａに出力する。

ステップＳ２０５において、コントラスト比較部４４ａは、第２画像のコントラスト評価値と、第３画像のコントラスト評価値を算出する。さらに、ステップＳ２０６において、コントラスト比較部４４ａは、第２画像と第３画像のコントラスト評価値を比較する。すなわち、ステップＳ２０６において、コントラスト比較部４４ａは、第２画像と第３画像のコントラスト評価値を比較した値であるコントラスト比較値を算出し、ぼけ判定部１０７に出力する。

ステップＳ２０７において、ぼけ判定部１０７は、入力されたコントラスト比較値が所定のしきい値より大きいか否かを判断することによって、ステップＳ２０４においてぼかし処理部４２ａに入力された第１画像が、ぼけているか否かを判断する。ぼけ判定部１０７が、第１画像はぼけていると判断した場合は、ステップＳ２０８に進む。反対に、ぼけ判定部１０７が、第１画像はぼけていないと判断した場合は、ステップＳ２０９に進み、元画像についての判定を行う。すなわち、図１２に示す例では、ぼけ判定部１０７がぼけていない第１画像を発見すると、その時点でぼけているか否かの判定が終了していない第１画像については判定を行わず、元画像についての判定を行う。このような処理を行うことによって、第３実施形態に係る画像処理装置は、元画像がぼけているか否かの判定を行う際の演算量を減少させることができる。

ステップＳ２０８において、ぼけ判定部１０７は、ステップＳ２０３において生成されたすべての第１画像について、第１画像がぼけているか否かの判定（ステップＳ２０７の処理）が行われているか否かを判断する。ぼけているか否かの判定が終了していない第１画像が存在する場合は、ぼけ判定部１０７は、画像分割部１０１に信号を出力し、ステップＳ２０４の処理に戻り、まだ処理が終了していない第１画像について、処理を進めるように指示する。その反対に、すべての画像分割部１０１で生成されたすべての第１画像について、ぼけているか否かの判定が終了していた場合は、ステップＳ２０９に進み、元画像についての判定を行う。

ステップＳ２０９において、ぼけ判定部１０７は、画像分割部１０１で生成された第１画像のなかにぼけていない第１画像が含まれているか否かによって、画像分割部１０１に入力された元画像がぼけているか否かを判定する。さらにぼけ判定部１０７は、判定結果を保存処理部４８に出力する。

ステップＳ２１０において、保存処理部４８は、ぼけ判定部１０７から入力された判定結果に応じて、元画像の保存処理または保存場所の変更等を行う。たとえば、保存処理部４８は、元画像がぼけている旨の信号がぼけ判定部１０７から入力された場合は、元画像の保存場所を、記憶部４０における画像フォルダ７２から、失敗写真フォルダ７４に変更する。また、ステップＳ２１１において、ＣＰＵ９４は、一連の画像判定処理を終了する。

その他の実施形態
上述の実施形態では、撮像素子２４等を制御するＣＰＵ３４，３４ａ，９４が、画像判定に関する一連の演算処理を行ったが、画像判定に関する演算処理を行う演算部としては、これに限定されない。画像判定に関する一連の演算処理は、例えば、ＣＰＵ３４，３４ａ，９４とは別の内蔵プロセッサまたは外部プロセッサで行われても良い。

また、上述の実施形態では、カメラボディ１０に搭載された画像判定装置を例に説明を行ったが、本発明に係る画像判定装置としてはこれに限定されず、例えば、コンパクトカメラや携帯電話、ビデオカメラ等に搭載することができる。また、本発明に係る画像判定装置は、撮影装置に搭載されるものに限られず、上述の実施形態で説明した画像判定手順に関するプログラムを実装したパーソナルコンピュータ等も、本発明に係る画像判定装置に含まれる。

３４，３４ａ，９４… ＣＰＵ
４２，４２ａ… ぼかし処理部
４４，４４ａ… コントラスト比較部
４６，１０７… ぼけ判定部
４８… 保存処理部
５０… ボケフィルター
１０１… 画像分割部

Claims (5)

1. ノイズの影響を低減もしくは除去するために第１の画像に対して画像をぼかす第１の処理を行い第２の画像を生成し、前記第１の画像に対して前記第１の処理とは異なる処理で前記第１の処理と比較して大きく画像をぼかす第２の処理を行い第３の画像を生成するぼかし処理部と、
   前記第２の画像のコントラストと前記第３の画像のコントラストとを比較した値であるコントラスト比較値を算出するコントラスト比較部と、
   前記コントラスト比較値が所定のしきい値を超えているか否かによって、前記第１の画像がぼけているか否かを判定するぼけ判定部と
   を備える画像判定装置。
2. 前記第２の処理は、前記第１の処理を複数回繰り返す処理であることを特徴とする請求項１に記載の画像判定装置。
3. 元画像を複数に分割して複数の前記第１の画像を生成する画像分割部をさらに有し、
   前記コントラスト比較部は、複数の前記第１の画像に対応する複数の前記コントラスト比較値を算出し、
   前記ぼけ判定部は、複数の前記第１の画像のうちぼけていないと判定されるものがあるか否かによって、前記元画像がぼけているか否かを判定することを特徴とする請求項１または請求項２に記載された画像判定装置。
4. 前記ぼけ判定部は、複数の前記第１の画像のうちぼけていないと判定されるものがある場合は、その判定が行われた時点においてぼけているか否かの判定を行っていない前記第１の画像についてはぼけているか否かの判定を行わずに、前記元画像がぼけているか否かを判定することを特徴とする請求項３に記載された画像判定装置。
5. コンピュータに、
   ノイズの影響を低減もしくは除去するために第１の画像に対して画像をぼかす処理を行い第２の画像を生成し、前記第１の画像に対して前記第１の処理とは異なる処理で前記第１の処理と比較して大きく画像をぼかす第２の処理を行い第３の画像を生成するぼかし処理手順と、
   前記第２の画像のコントラストと前記第３の画像のコントラストとを比較した値であるコントラスト比較値を算出するコントラスト比較手順と、
   前記コントラスト比較値が所定のしきい値を超えているか否かによって、前記第１の画像がぼけているか否かを判定するぼけ判定手順と
   を実行させるための画像判定プログラム。

Images