JP5640779B2 - 画像判定装置、画像判定プログラム、カメラ及び記録媒体 - Google Patents

Description

本発明は、画像判定装置、画像判定プログラム、カメラ及び記録媒体に関するものである。

近年、デジタルカメラにおいては、失敗した画像を後から簡単に削除することができ、また、記録媒体にかかるコストが相対的に安価になってきているため、撮影枚数が非常に増える傾向にある。これらの画像の中から、ピントがボケたり、ぶれたりした画像を、パソコン上で動作する画像ビューアなどで確認し、手動で失敗画像を選別することが一般的に行われている。

しかしながら、撮影画像の枚数が増えるにつれ、失敗画像を手動で選別するのが容易でなくなってきている。

そこで、特許文献１では、ＪＰＥＧ（Joint Photographic Experts Group）画像のＤＣＴ（Discrete Cosine Transform）周波数成分から、画像がボケているかどうか判定する方法を提案している。一般に、ボケた画像は、低周波数成分が多く、高周波数成分が少ない傾向にあり、逆に、シャープな画像は、低周波数成分が少なく、高周波数成分が多い傾向にある。そこで、この傾向に基づいてＤＣＴ周波数成分を解析することにより、画像がボケているかどうかを自動判定することが可能である。

特開２００７−２２０００９号公報

しかしながら、特許文献１に開示された方法は、ＪＰＥＧ画像しか扱うことができない。また、ＤＣＴ周波数成分から判定しているため、実際の画像のエッジ情報とは異なり、正確に判定できない等の問題がある。

また、画像に人工的なボケを付加する方法も提案されているが、シャープ画像とボケ画像とのコントラストが近づく方向の処理となるため、特に、マクロ画像のようなエッジ情報が少ない画像の場合、判定が困難になる等の問題がある。

本発明の課題は、画像がボケている否かを良好に判定することのできる画像判定装置、画像判定プログラム、カメラ及び記録媒体を提供することである。

本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

請求項１に記載の発明は、元画像に鮮鋭化処理を施し、鮮鋭化画像を取得する鮮鋭化処理部（１４）と、前記元画像のコントラスト評価値、及び前記鮮鋭化画像のコントラスト評価値を求めるコントラスト評価値算出部（１６）と、前記元画像のコントラスト評価値と前記鮮鋭化画像のコントラスト評価値との比較値を求めるコントラスト比較部（１８）と、前記比較値より、前記元画像がボケているかどうか判定するボケ判定部（２０）とを備えること、を特徴とする画像判定装置（１０）である。
請求項２に記載の発明は、元画像に鮮鋭化処理を施して第１鮮鋭化画像を取得する第１鮮鋭化処理部（１１４）と、前記元画像に前記第１鮮鋭化処理部（１１４）と異なる鮮鋭化度合いで鮮鋭化処理を施して第２鮮鋭化処理画像を取得する第２鮮鋭化処理部（１１５）と、前記第１鮮鋭化画像の第１コントラスト評価値、及び前記第２鮮鋭化処理画像の第２コントラスト評価値を求めるコントラスト評価値算出部（１６）と、前記第１コントラスト評価値と前記第２コントラスト評価値との比較値を求めるコントラスト比較部（１８）と、前記比較値より、前記元画像がボケているかどうか判定するボケ判定部（２０）と、を備えること、を特徴とする画像判定装置（１１０）である。
請求項３に記載の発明は、コンピュータを、元画像に鮮鋭化処理を施し、鮮鋭化画像を取得する鮮鋭化処理手段と、前記鮮鋭化画像のコントラスト評価値を求めるコントラスト評価値算出手段と、前記元画像のコントラスト評価値と前記鮮鋭化画像のコントラスト評価値との比較値を求めるコントラスト比較手段と、前記比較値より、前記元画像がボケているかどうか判定するボケ判定手段として機能させること、を特徴とする画像判定プログラムである。
請求項４に記載の発明は、コンピュータを、元画像に鮮鋭化処理を施して第１鮮鋭化画像を取得する第１鮮鋭化処理手段と、元画像に前記第１鮮鋭化処理手段と異なる鮮鋭化度合いで鮮鋭化処理を施して第２鮮鋭化処理画像を取得する第２鮮鋭化処理手段と、前記第１鮮鋭化画像の第１コントラスト評価値、及び前記第２鮮鋭化処理画像の第２コントラスト評価値を求めるコントラスト評価値算出手段と、前記第１コントラスト評価値と前記第２コントラスト評価値との比較値を求めるコントラスト比較手段と、前記比較値より、前記元画像がボケているかどうか判定するボケ判定手段と、して機能させること、を特徴とする画像判定プログラムである。
請求項５に記載の発明は、請求項１または２に記載の画像判定装置（１０）を備えるカメラである。
請求項６に記載の発明は、請求項３または４に記載の画像判定プログラムが記録された記録媒体である。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。

本発明によれば、画像がボケているか否かを良好に判定することができる。

本発明の第１実施形態のデジタルカメラの構成ブロック図である。 鮮鋭化処理に使用するラプラシアンフィルタの説明図である。 本発明の第１実施形態のボケ判定部におけるボケ判定原理の説明図である。 本発明の第２実施形態のデジタルカメラの構成ブロック図である。

（第１実施形態）
以下、図面等を参照して、本発明の第１実施形態にかかる画像判定装置１０について説明する。図１は、画像判定装置１０の構成を示すブロック図である。
画像判定装置１０は、例えば、デジタルカメラ等において撮影された画像が入力される画像入力部１２を備える。また、画像判定装置１０は、画像入力部１２から入力された画像Ｖｏに鮮鋭化処理を施す鮮鋭化処理部１４と、鮮鋭化処理されていない画像Ｖｏのコントラス評価値Ｓｏ及び鮮鋭化処理された画像Ｖｂのコントラス評価値Ｓｂをそれぞれ算出するコントラスト評価値算出部１６と、コントラス評価値Ｓｂ及びＶ０を比較するコントラスト比Ｓｂ／Ｓｏを算出するコントラスト比較部１８と、コントラスト比Ｓｂ／Ｓｏを所定の閾値Ｔｈと比較することで画像Ｖｏがボケ画像であるか否かを判定するボケ判定部２０と、備える。

次に、この画像判定装置１０の動作について説明する。
例えば、外部より画像入力部１２に画像が入力されると、入力画像Ｖｏは、画像データとしての鮮鋭化処理部１４に供給され、鮮鋭化処理が行われる。

鮮鋭化処理の方法としては、例えば、周知のＵＳＭ（アンシャープマスク）を使用する方法、ラプラシアンフィルタを用いる方法等、種々の方法がある。図２は、ラプラシアンフィルタの一例を示したものである。画像は、３×３の係数からなるマトリクスで構成されるラプラシアンフィルタを用いてコンボリューション演算されることにより、鮮鋭化が達成される。なお、ラプラシアンフィルタのマトリクスサイズやその係数の値としては、鮮鋭化の程度に応じて種々のものを選択することが可能である。

次に、鮮鋭化処理部１４において鮮鋭化された画像Ｖｂは、コントラスト評価値算出部１６に供給され、コントラスト評価値Ｓｂが算出される。

ｘｙ平面に広がる二次元画像を構成する各画素の輝度成分をＶ(m,n)（ｍ：ｘ方向の画素番号、ｎ：ｙ方向の画素番号）とすると、この画像のｘ方向の輪郭を考慮したコントラスト評価値Ｓは、

Ｓ＝Σ(Ｖ(m,n+1)-Ｖ(m,n))² …（１）
として求めることができる。又は、画像のｙ方向の輪郭を考慮したコントラスト評価値Ｓを、

Ｓ＝Σ(Ｖ(m+1,n)-Ｖ(m,n))² …（２）
として求め、このコントラスト評価値Ｓを用いるようにしてもよい。さらには、画像のｘ方向及びｙ方向双方の輪郭を考慮して、コントラスト評価値Ｓを、

Ｓ＝Σ(Ｖ(m,n+1)-Ｖ(m,n))²＋Σ(Ｖ(m+1,n)-Ｖ(m,n))² …（３）
として求め、このコントラスト評価値Ｓを用いることにより、画像全体のコントラストをより正確に評価することが可能となる。なお、（１）〜（３）式において、Σは、画素番号ｍ、ｎについての総和を表すものとする。

一方、コントラスト評価値算出部１６は、画像入力部１２から直接供給される鮮鋭化されていない画像Ｖｏのコントラスト評価値Ｓｏも算出する。

鮮鋭化された画像Ｖｂのコントラスト評価値Ｓｂと、鮮鋭化されていない画像Ｖｏのコントラスト評価値Ｓｏとは、コントラスト比較部１８に供給され、コントラスト比Ｓｂ／Ｓｏが算出される。次いで、算出されたコントラスト比Ｓｂ／Ｓｏは、ボケ判定部２０に供給され、撮影された画像Ｖｏがボケ画像であるか否かの判定が行われる。

図３は、ボケ判定部２０におけるボケ判定原理の説明図である。横軸は、画像のボケの程度を表すボケ量を示し、縦軸は、コントラスト評価値算出部１６で算出したコントラスト評価値を示す。

撮影された画像Ｖｏ１が比較的ピントの合っている鮮鋭な画像である場合、鮮鋭化処理された画像Ｖｂ１のコントラスト評価値は大きくＹ１だけ上昇する。一方、ピントの合っていないボケた画像Ｖｏ２では、鮮鋭化処理された画像Ｖｂ２のコントラスト評価値はさほど上昇しない。このことから、鮮鋭化処理後の画像Ｖｂのコントラスト評価値Ｓｂと、鮮鋭化処理前の画像Ｖｏのコントラスト評価値Ｓｏとの比であるコントラスト比Ｓｂ／Ｓｏは、ボケ画像よりも鮮鋭画像の方が大きくなる。

そこで、ボケ判定部２０は、コントラスト比Ｓｂ／Ｓｏに対して所定の閾値Ｔｈを設定し、Ｓｂ／Ｓｏ≧Ｔｈの場合には、画像が鮮鋭であると判定し、Ｓｂ／Ｓｏ＜Ｔｈの場合には、画像がボケていると判定する。なお、画像がボケているか否かは、主観的な問題であるので、判定のための閾値Ｔｈを、図示しない操作部を用いて任意に設定できるようにすることが望ましい。なお、ここで、Ｓｂ／Ｓｏ＞Ｔｈの場合に、画像が鮮鋭であると判定し、Ｓｂ／Ｓｏ≦Ｔｈの場合には、画像がボケていると判定するようにしてもよい。

なお、図示しないが記憶部を設け、ボケ判定部２０による判定結果に従い、ボケていると判定された画像を削除し、ボケていないと判定された画像を記憶部に記憶させてもよい。また、ボケていると判定された画像と、ボケていないと判定された画像とを記憶部においてそれぞれ別々に記憶させてもよい。また、画像を記憶部に記憶させるか否かは、例えば、図示しない表示部に画像とともに判定結果を表示させ、ユーザが最終的に決定するように構成してもよい。

以上、第１実施形態によると、以下の効果を有する。
（１）画像を鮮鋭化処理することにより、ピントの合っている画像は鮮鋭化処理の前後でコントラスト評価値が大きく変化し、ピントの合っていない画像は鮮鋭化処理の前後でコントラスト評価値の変化が小さいため、鮮鋭化処理前後の画像のコントラスト評価値の変化に基づき、当該画像がボケているか否かを極めて良好に判定することができる。

（２）本実施形態では、画像のボケの判定において画像の鮮鋭化処理を用いている。
例えば、図３に示す元画像Ｖｏ１に対して鮮鋭化処理を用いる場合、鮮鋭化後の画像Ｖｂ１と元画像Ｖｏ１コントラスト評価値の差は図中のＹ１となる。一方元画像Ｖｏ１に対して鮮鋭化と同じ量だけボケさせた画像をＶｂ１’とすると、画像Ｖｂ１’と元画像Ｖｏ１とのコントラスト評価値の差は図中のＹ２となる。
画像は、鮮鋭化するにしたがってコントラスト評価値の変化率が大きくなるので、Ｙ１＞Ｙ２となる。したがって、ボケさせた場合よりも鮮鋭化した場合のほうがコントラスト評価値の差は大きくなる。本実施形態では、このように画像を鮮鋭化することによりボケているかどうかを判定しているので、画像をボケさせることによりボケているかどうかを判定する場合と比べて、判定が容易になる。

（第２実施形態）
次に、第２実施形態の画像判定装置１１０について説明する。なお、図１に示す第１実施形態の画像判定装置１０と同一の構成要素については、同一の参照符号を付し、その説明を省略する。

画像判定装置１１０は、画像入力部１２と、画像入力部１２から入力された画像Ｖ０に対して、鮮鋭度合いの異なる鮮鋭化処理を施す第１鮮鋭化処理部１１４及び第２鮮鋭化処理部１１５と、コントラスト評価値算出部１６と、コントラスト比較部１８と、ボケ判定部２０とを備える。

第１鮮鋭化処理部１１４と、第２鮮鋭化処理部１１５との鮮鋭化度合いは異なっている。例えば、鮮鋭化処理の方法としてラプラシアンフィルタを用いる場合には、第２鮮鋭化処理部１１５におけるラプラシアンフィルタのマトリクスサイズ（例えば、１５×１５の係数からなるマトリクス）が、第１鮮鋭化処理部１１４におけるラプラシアンフィルタのマトリクスサイズ例えば、５×５の係数からなるマトリクス）よりも大きく設定される。

次に、第２実施形態の画像判定装置１１０での処理について説明する。
第１鮮鋭化処理部１１４は、画像入力部１２より入力された画像Ｖｏに対して鮮鋭化処理を施し、鮮鋭化された画像Ｖ１を作成する。また、第２鮮鋭化処理部１１５は、画像Ｖｏに対して、第１鮮鋭化処理部１１４と鮮鋭化度合いの異なる鮮鋭化処理を施し、鮮鋭化された画像Ｖ２を作成する。

次いで、コントラスト評価値算出部１６は、異なる鮮鋭化処理が施された各画像Ｖ１及びＶ２からコントラスト評価値Ｓ１及びＳ２をそれぞれ算出する。なお、コントラスト評価値Ｓ１及びＳ２は、第１実施形態で用いた方法によって算出することができる。

コントラスト比較部１８は、算出されたコントラスト評価値Ｓ１及びＳ２からコントラスト比Ｓ２／Ｓ１を算出する。ボケ判定部２０は、算出されたコントラスト比Ｓ２／Ｓ１を所定の閾値Ｔｈ２と比較することにより、撮影された画像Ｖｏがボケ画像であるか否かを自動判定する。

以上、第２実施形態によると、以下の効果を有する。
（１）画像入力部１２から入力された画像Ｖｏは、第１鮮鋭化処理部１１４及び第２鮮鋭化処理部１１５において、異なる鮮鋭化処理が施された後、コントラスト比較部１８において、鮮鋭化された各画像Ｖ１、Ｖ２からコントラスト比を算出し、ボケの有無を自動判定している。そのため、画像のエッジ部分以外の情報（ノイズ等）の影響を軽減でき、画像がボケているか否かをより正確に判定することができる。

（第３実施形態）
上記の実施形態では、画像判定装置１０として説明したが、本発明はこれに限定されず、画像判定プログラムであっても良い。また、この画像判定プログラムは、ＣＤ等の記録媒体に記録された形であっても良い。
この場合、画像判定プログラムは、コンピュータにインストールされると、コンピュータを、デジタルカメラ等において撮影された画像を入力する画像入力手段と、画像入力手段を介して入力された画像Ｖｏに鮮鋭化処理を施す鮮鋭化手段と、鮮鋭化処理されていない画像Ｖｏのコントラスト評価値Ｓｏ及び鮮鋭化処理された画像Ｖｂのコントラス評価値Ｓｂをそれぞれ算出するコントラスト評価値算出手段と、コントラス評価値Ｓｂ及びＶ０を比較するコントラスト比Ｓｂ／Ｓｏを算出するコントラスト比較手段と、コントラスト比Ｓｂ／Ｓｏを所定の閾値Ｔｈと比較することで画像Ｖｏがボケ画像であるか否かを判定するボケ判定手段として機能させる。そして、これらの手段は、第１実施形態の各部と同様に動作する。なお、画像判定プログラムは、コンピュータに対して上記第２実施形態の画像判定装置１１０の動作を行わすものであっても良い。

（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。

（１）画像判定装置及び画像判定プログラムについて説明したが、これに限定されず、また、画像判定装置は画像判定プログラムは、デジタルカメラに装備されていても良い。
（２）上述の鮮鋭化において、アンシャープマスクやラプラシアンフィルタについて説明したが、これに限定されず、バイラテラルフィルタ、ショックフィルタ等であっても良い。

なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は、以上説明した実施形態によって限定されることはない。

１０，１１０：画像判定装置、１２：画像入力部、１４：鮮鋭化処理部、１６：コントラスト評価値演算部、１８：コントラスト比較部、２０：ボケ判定部、１１４：第１鮮鋭化処理部、１１５：第２鮮鋭化処理部

Claims (6)

1. 元画像に鮮鋭化処理を施し、鮮鋭化画像を取得する鮮鋭化処理部と、
   前記元画像のコントラスト評価値、及び前記鮮鋭化画像のコントラスト評価値を求めるコントラスト評価値算出部と、
   前記元画像のコントラスト評価値と前記鮮鋭化画像のコントラスト評価値との比較値を求めるコントラスト比較部と、
   前記比較値より、前記元画像がボケているかどうか判定するボケ判定部とを備えること、を特徴とする画像判定装置。
2. 元画像に鮮鋭化処理を施して第１鮮鋭化画像を取得する第１鮮鋭化処理部と、
   前記元画像に前記第１鮮鋭化処理部と異なる鮮鋭化度合いで鮮鋭化処理を施して第２鮮鋭化処理画像を取得する第２鮮鋭化処理部と、
   前記第１鮮鋭化画像の第１コントラスト評価値、及び前記第２鮮鋭化処理画像の第２コントラスト評価値を求めるコントラスト評価値算出部と、
   前記第１コントラスト評価値と前記第２コントラスト評価値との比較値を求めるコントラスト比較部と、
   前記比較値より、前記元画像がボケているかどうか判定するボケ判定部と、を備えること、を特徴とする画像判定装置。
3. コンピュータを、
   元画像に鮮鋭化処理を施し、鮮鋭化画像を取得する鮮鋭化処理手段と、
   前記鮮鋭化画像のコントラスト評価値を求めるコントラスト評価値算出手段と、
   前記元画像のコントラスト評価値と前記鮮鋭化画像のコントラスト評価値との比較値を求めるコントラスト比較手段と、
   前記比較値より、前記元画像がボケているかどうか判定するボケ判定手段として機能させること、を特徴とする画像判定プログラム。
4. コンピュータを、
   元画像に鮮鋭化処理を施して第１鮮鋭化画像を取得する第１鮮鋭化処理手段と、
   元画像に前記第１鮮鋭化処理手段と異なる鮮鋭化度合いで鮮鋭化処理を施して第２鮮鋭化処理画像を取得する第２鮮鋭化処理手段と、
   前記第１鮮鋭化画像の第１コントラスト評価値、及び前記第２鮮鋭化処理画像の第２コントラスト評価値を求めるコントラスト評価値算出手段と、
   前記第１コントラスト評価値と前記第２コントラスト評価値との比較値を求めるコントラスト比較手段と、
   前記比較値より、前記元画像がボケているかどうか判定するボケ判定手段と、して機能させること、を特徴とする画像判定プログラム。
5. 請求項１または２に記載の画像判定装置を備えるカメラ。
6. 請求項３または４に記載の画像判定プログラムが記録された記録媒体。

Images