JP4515208B2 - 画像処理方法および装置並びにプログラム - Google Patents

Description

本発明はデジタル写真画像、特に携帯電話機付属のデジタルカメラにより取得されたデジタル写真画像からボケに関する情報を取得する画像処理方法および装置並びにそのためのプログラムに関するものである。

ネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナーなどの読取装置で光電的に読み取って得たデジタル写真画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得たデジタル写真画像などに対して、種々の画像処理を施してプリントすることが行われている。これらの画像処理の一つとして、ボケた画像（ボケ画像）からボケを取り除くボケ画像修復処理が挙げられる。

被写体を撮像して得た写真画像がぼけてしまう理由としては、焦点距離が合わないことに起因するピンボケと、撮像者の手のぶれに起因するぶれボケ（以下略してぶれという）が挙げられる。ピンボケの場合には、点像が２次元的に広がり、すなわち写真画像上における広がりが無方向性を呈することに対して、ぶれの場合には、点像がある軌跡を描き画像上に１次元的に広がり、すなわち写真画像上における広がりがある方向性を呈する。

デジタル写真画像の分野において、従来、ボケ画像を修復するために、様々な方法が提案されている。写真画像の撮像時にぶれの方向やぶれ幅などの情報が分かれば、Ｗｉｅｎｅｒフィルタや逆フィルタなどの復元フィルタを写真画像に適用することにより修復ができることから、撮像時にぶれの方向やぶれ幅などの情報を取得することができる装置（例えば加速度センサー）を撮像装置に設け、撮像と共にぶれの方向やぶれ幅などの情報を取得し、取得された情報に基づいて修復を図る方法が広く知られている（例えば、特許文献１参照）。

また、例えば、特許文献２に記載されたように、ボケ画像（ボケがある画像）に対して劣化関数を設定し、設定された劣化関数に対応する復元フィルタでボケ画像を修復し、修復後の画像を評価し、評価の結果に基づいて劣化関数を再設定するようにして、所望の画質になるまで、修復、評価、劣化関数の再設定を繰り返すことによって修復を図る方法も知られている。

一方、携帯電話の急激な普及に伴って、携帯電話機の機能が向上し、その中でも携帯電話付属のデジタルカメラ（以下略した携帯カメラという）の機能の向上が注目を浴びている。近年、携帯カメラの画素数が１００万の桁に上がり、携帯カメラが通常のデジタルカメラと同様な使い方がされている。友達同士で旅行に行く時の記念写真などは勿論、好きなタレント、スポーツ選手を携帯カメラで撮像する光景が日常的になっている。このような背景において、携帯カメラにより撮像して得た写真画像は、携帯電話機のモニタで鑑賞することに留まらず、例えば、通常のデジタルカメラにより取得した写真画像と同じようにプリントすることも多くなっている。

他方、携帯カメラは、人間工学的に、本体（携帯電話機）が撮像専用に製造されていないため、撮像時のホールド性が悪いという問題がある。また、携帯カメラは、フラッシュがないため、通常のデジタルカメラよりシャッタースピードが遅い。このような理由から携帯カメラにより被写体を撮像するときに、通常のカメラより手ぶれが起きやすい。極端な手ぶれは、携帯カメラのモニタで確認することができるが、小さな手ぶれは、モニタで確認することができず、プリントして初めて画像のぶれに気付くことが多いため、携帯カメラにより撮像して得た写真画像に対してぶれの補正を施す必要性が高い。
特開２００２−１１２０９９号公報 特開平７−１２１７０３号公報

しかしながら、携帯電話機の小型化は、その性能、コストに並び、各携帯電話機メーカの競争の焦点の１つであり、携帯電話機付属のカメラに、ぶれの方向やぶれ幅を取得する装置を設けることが現実的ではないため、特許文献１に提案されたような方法は、携帯カメラに適用することができない。また、特許文献２に提案されたような方法は、劣化関数の設定、修復、評価、劣化関数の再設定・・・の処理を繰り返す必要があるため、処理時間がかかり、効率が良くないという問題がある。

本発明は、上記事情に鑑み、特別な装置を撮像装置に設けることを必要とせずにデジタル写真画像からボケに関する情報を取得すると共に、デジタル写真画像に対してボケの補正を効率良く行うことが可能な画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の画像処理方法は、デジタル写真画像に対して、複数の異なる方向毎にエッジを検出し、
各前記方向における前記エッジの特徴量を取得し、
該エッジ特徴量に基づいて、前記デジタル写真画像におけるボケのボケ方向情報を含むボケ情報を求めること特徴とするものである。

ボケは画像中の点像の広がりを引き起こすため、ボケがある画像（以下ボケ画像という）には、点像の広がりに応じたエッジの広がりが生じる。すなわち、画像中におけるエッジの広がりの態様は画像中におけるボケと直接関係するものである。本発明は、この点に着目して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量に基づいてボケ情報を求めるものである。

ここで、「エッジ特徴量」が、デジタル写真画像におけるエッジの広がりの態様と関係する特徴量を意味し、例えば、前記エッジの鮮鋭度、および前記エッジの鮮鋭度の分布を含むものとすることができる。

ここで、「エッジの鮮鋭度」は、エッジの鮮鋭さを現すことができるものであれば如何なるパラメータを用いてもよく、例えば、図３のエッジプロファイルにより示されるエッジの場合、エッジ幅が大きいほどエッジの鮮鋭度が低いように、エッジ幅をエッジの鮮鋭度として用いることは勿論、エッジの明度変化の鋭さ（図３におけるプロファイル曲線の勾配）が高いほどエッジの鮮鋭度が高いように、エッジのプロファイル曲線の勾配をエッジの鮮鋭度として用いるようにしてもよい。

また、本発明の画像処理方法において、前記ボケ情報は、前記ボケのボケ幅を含むものであることが好ましい。

ここで、「複数の異なる方向」とは、デジタル写真画像におけるボケの方向を特定するための方向を意味し、ボケの方向に近い方向を含むことが必要であるため、その数が多ければ多いほど特定の精度が高いが、処理速度との兼ね合いに応じた適宜な個数、例えば、図２に示すような８方向を用いることが好ましい。

また、「ボケ情報」とは、前記デジタル写真画像におけるボケを補正するために必要な、該ボケに関する情報を意味し、本発明の画像処理方法は、少なくともデジタル写真画像におけるボケの方向に関するボケ方向情報をボケ情報として取得するものである。

また、本発明の画像処理方法は、取得された前記ボケ情報に基づいて、ボケを補正するためのパラメータをさらに設定してもよい。勿論、設定されたパラメータを用いて、デジタル写真画像に対するボケ補正処理を実行してもよい。

また、「ボケ」は、無方向性のボケすなわちピンボケと、有方向性のボケすなわちぶれがあり、ぶれの場合は、ボケ方向がぶれ方向に相当し、ピンボケの場合において、その「ボケ方向」は「無方向」となる。本発明の画像処理方法は、前記ボケ方向情報として、前記ボケが無方向性のピンボケ（ボケが無方向）か有方向性のぶれ（ボケが有方向）かを示す情報、およびぶれの場合の該ぶれの方向を示す情報を取得し、前記パラメータを設定する際に、ピンボケの場合には等方性補正用の等方性補正パラメータを、ぶれの場合には方向性補正用の方向性補正パラメータを設定するようにすることができる。

ここで、「等方性補正」とは、各方向に対して同等に作用する補正を意味し、「方向性補正」とは、所定の方向にのみ作用する補正あるいは方向により作用が異なる補正を意味する。一方、ボケが、エッジの広がりとして画像に現れるため、ボケを補正する方法としては、従来公知の、画像の鮮鋭度を向上させるための補正方法、例えば、ＵＳＭ（アン・シャープネス・マスキング）などを用いることができる。前記補正のパラメータを設定する際に、所用の補正方法に応じてパラメータを設定する。例えば、補正の方法としてＵＳＭを用いる場合に、等方性補正パラメータとして等方性補正マスクを設定し、方向性補正のパラメータとしては前記ぶれ方向に作用する方向性補正マスクを設定するようにすればよい。さらに、ボケ情報としてボケ幅も取得されている場合、ボケ幅に応じて補正マスクのサイズを設定してもよい。

また、ボケ幅とは、ボケ方向におけるボケの幅を意味し、例えば、ボケ方向におけるエッジのエッジ幅の平均値とすることができる。また、ボケが無方向性のピンボケの場合において、任意の１つの方向におけるエッジのエッジ幅をボケ幅としてもよいが、前記複数の異なる方向に含まれる全ての方向におけるエッジのエッジ幅の平均値とすることが好ましい。

また、前記ボケ情報によりボケをピンボケとぶれとに明確に分けることができない場合があり、ボケ画像には、ピンボケとぶれとの両方が存在する場合もある。このような場合に備え、本発明の画像処理方法は、ボケをピンボケかぶれかに決め付けず、ボケ方向におけるボケのぶれの程度の大小を示すぶれ度も前記ボケ情報として取得し、前記ぶれ度が高いほど、方向性補正の重みが高くなるように、等方性補正用の等方性補正パラメータと方向性補正用の方向性補正パラメータとを重み付け合算して前記パラメータを設定することが好ましい。

本発明の画像処理方法は、前記ボケの程度の大小を示すボケ度も前記ボケ情報として取得し、前記ボケ度が高いほど補正強度が大きくなるように前記パラメータを設定することが好ましい。

ここで、ボケ度が所定の閾値より小さい画像をボケがない通常画像とすることができるため、このような画像に対して「補正しない」ようなパラメータを設定してもよいし、あるいは、ボケ度が所定の閾値より小さい画像に対してはパラメータを設定せずに、後に補正処理を実行する際に、パラメータが設定されていない画像に対して補正を実行しないようにしてもよい。

また、デジタル写真画像に対してボケの補正を行う際に、撮影シーンの種類に応じて異なる補正効果が好まれることは知られている。例えば、ポートレートシーンのデジタル写真画像の場合には、シャープネスを弱めにして補正することが好まれる一方、風景のシーンのデジタル写真画像の場合には、ポートレートのシーンの場合よりシャープネスを強めにして補正することが好まれる。本発明の画像処理方法は、前記デジタル写真画像の撮影シーンの種類を解析すると共に、前記補正用のパラメータを設定する際に、前記ボケ情報に加え、前記解析により得られた前記撮影シーンの種類に基づいて前記パラメータを設定することが好ましい。

本発明の画像処理装置は、デジタル写真画像に対して、複数の異なる方向毎にエッジを検出するエッジ検出手段と、
各前記方向における前記エッジの特徴量を取得するエッジ特徴量取得手段と、
該エッジ特徴量に基づいて、前記デジタル写真画像におけるボケのボケ方向情報を含むボケ情報を求めるボケ情報取得手段とを有してなることを特徴とするものである。

また、前記エッジ特徴量は、前記エッジの鮮鋭度、および前記エッジの鮮鋭度の分布を含むものであることが好ましい。

また、前記ボケ情報取得手段は、前記ボケのボケ幅も前記ボケ情報として取得するものであることが好ましい。

また、本発明の画像処理装置は、前記ボケ情報取得手段により得られた前記ボケ情報に基づいて、前記ボケを補正するためのパラメータを設定するパラメータ設定手段をさらに備えてもよい。

本発明の画像処理装置は、前記ボケ情報取得手段が、前記ボケが無方向性のピンボケか有方向性のぶれかを示す情報、およびぶれの場合の該ぶれの方向を示す情報を前記ボケ情報として取得するものであり、前記パラメータ設定手段が、ピンボケの場合には等方性補正用の等方性補正パラメータを、ぶれの場合には方向性補正用の方向性補正パラメータを設定するものとすることができる。

本発明の画像処理装置は、前記ボケ情報取得手段が、ボケをピンボケかぶれかに決め付けないように、ボケのぶれの程度の大小を示すぶれ度も前記ボケ情報として取得するものであり、
前記パラメータ設定手段が、前記ぶれ度が高いほど、方向性補正の重みが高くなるように、等方性補正用の等方性補正パラメータと方向性補正用の方向性補正パラメータとを重み付け合算して前記パラメータを設定するものであることが好ましい。

さらに、本発明の画像処理装置は、前記ボケ情報取得手段が、前記ボケの程度の大小を示すボケ度も前記ボケ情報として取得するものであり、前記パラメータ設定手段が、前記ボケ度が高いほど補正強度が大きくなるように前記パラメータを設定するものであることが好ましい。

さらに、本発明の画像処理装置は、前記パラメータ設定手段が、前記ボケ度が所定の閾値以上の前記デジタル写真画像に対してのみ、前記パラメータの設定を行うものであることがより好ましい。

本発明の画像処理装置は、前記デジタル写真画像の撮影シーンの種類を解析する撮影シーン解析手段を更に備え、前記パラメータ設定手段は、前記ボケ情報に加え、前記解析により得られた前記撮影シーンの種類に基づいて前記パラメータを設定するものであることが好ましい。

また、デジタル写真画像を縮小して得た縮小画像は、原画像よりもエッジを検出しやすく、エッジの検出にかかる演算量が少ないので、本発明の画像処理装置は、デジタル写真画像に対して縮小処理を施して縮小画像を得る画像縮小手段をさらに備え、前記エッジ検出手段が、前記縮小画像から前記エッジを検出するものであることが好ましい。

さらに、強度の低いエッジは、ノイズである可能性が高く、また人間は強度の高いエッジの状態によりボケを認識するので、本発明の画像処理装置において、前記エッジ検出手段が、所定の閾値以上の強度を有するエッジのみを検出するものであることが好ましい。

本発明の画像処理装置は、前記エッジ検出手段により検出された前記エッジのうち、無効なエッジを除去する無効エッジ除去手段をさらに備えたことが好ましい。

ここで、「無効なエッジ」とは、ボケ情報の取得に関連性が低いエッジや、ボケ情報の取得を困難にしたり、間違ったボケ情報を取得させたりする可能性のあるエッジを意味し、形状が複雑なエッジや、光源を含むエッジなどを挙げることができる。

本発明の画像処理装置は、前記パラメータ設定手段により設定されたパラメータを用いて、前記デジタル写真画像を補正して補正済み画像を得る補正手段をさらに備えてもよい。

本発明の画像処理装置は、前記パラメータ設定手段が、前記パラメータを複数設定するものであり、前記補正手段が、前記パラメータ設定手段により設定された複数の前記パラメータを用いて各前記パラメータに対応する前記補正済み画像を得るものであり、
各々の前記補正済み画像から所望の画像を前記ユーザに選択させる選択手段と、
選択された前記補正済み画像を目的画像とする目的画像決定手段とをさらに備えるようにしてもよい。

すなわち、デジタル写真画像におけるボケを補正する際に、ユーザによって補正の好みが異なるため、画質的に最適な補正効果をもたらす補正がユーザの最も所望する補正に限らない。そのため、本発明の画像処理装置は、ボケを補正して画質の向上を図りつつ、ユーザの好みを考慮し、デジタル写真画像からボケ情報を求めて該ボケ情報に基づいて前記デジタル写真画像におけるボケを補正する際に、前記ボケ情報に基づいて設定した補正用のパラメータ（すなわち、画質的に最適な補正効果をもたらすパラメータ）以外にもパラメータを設定し、これらのパラメータを用いて補正を施して得た各々の補正済み画像からユーザに選択させるようにして目的画像を決定するものである。ここで、「複数のパラメータ」は、前記ボケ情報に基づいて設定された補正用のパラメータ、および該パラメータに対して異なる傾向の修正を施して得たものとすることができる。例えば、前記ボケ情報に基づいて設定された補正用のパラメータが、等方性補正用の所定のサイズの等方性マスクと、該等方性補正マスクを施す強度を示す補正強度とからなるものである場合、このパラメータ以外に、マスクのサイズを異なる傾向（大きくなる傾向および小さくなる傾向）に修正して得たパラメータや、補正強度を異なる傾向（大きくなる傾向および小さくなる傾向）に修正して得たパラメータなどを設定するようにすればよい。また、例えば、前記ボケ情報に基づいて設定された補正用のパラメータが、所定の方向に作用する方向性補正マスクの場合には、この方向性補正マスク以外に、該マスクとサイズが異なった方向性補正マスクや、該方向性補正マスクが作用する方向と異なる方向（前記方向から左右夫々少しずれた方向など）に作用する方向性補正マスクなども設定する。さらに、等方性補正パラメータと方向性補正パラメータとを重み付け合算して得たパラメータの場合には、その重み付け係数を変えて（大きくしたり小さくしたり）得たパラメータも設定するようにしてもよい。

本発明の画像処理装置は、前記パラメータ設定手段が、前記パラメータを複数設定するものであり、
前記補正手段が、前記パラメータ設定手段により設定された複数の前記パラメータを用いて各前記パラメータに対応する前記補正済み画像を得るものであり、
各々の前記補正済み画像の補正効果を評価する評価手段と、
前記補正効果が最も良い前記補正済み画像を目的画像とする目的画像決定手段とをさらに備えたことが好ましい。

すなわち、デジタル写真画像からボケ情報を求め、該ボケ情報に基づいて補正用のパラメータを設定する際に、取得されたボケ情報が多少のずれの可能性があるため、このパラメータは最適な補正効果をもたらすものであるとは限らない。本発明の画像処理装置は、前記ボケ情報に基づいて設定されたパラメータ以外にもパラメータを設定し、これらの補正パラメータを用いて補正を施して得た各々の補正済み画像に対して補正効果を評価し、最も良い補正効果を有する補正済み画像を目的画像とすることによって、取得されたボケ情報に多少のずれがあるとしても、最適な補正効果を得ることができる。ここで、「複数のパラメータ」は、前述と同じように、前記ボケ情報に基づいて設定された補正用のパラメータ、および該パラメータに対して異なる傾向の修正を施して得たものとすることができる。補正効果の評価は、例えば、補正済み画像からエッジ特徴量を抽出し、これらのエッジ特徴量に基づいて行うことができる。

本発明の画像処理装置は、前記補正済み画像を目的画像とするか否かをユーザに確認させる確認手段と、
前記確認の結果が前記補正済み画像を目的画像とすることになるまで、前記パラメータ設定手段に前記パラメータを設定し直し、前記補正手段に、設定し直された前記パラメータを用いて前記補正を行わせる補正制御手段とをさらに備えるようにしてもよい。

本発明の画像処理装置は、携帯電話機付属のデジタルカメラにより取得したデジタル写真画像に適用することができ、この場合、本発明の画像処理装置の効果を最も奏することができる。

本発明のプログラムは、デジタル写真画像に対して、複数の異なる方向毎にエッジを検出する検出処理と、
各前記方向における前記エッジの特徴量を取得するエッジ特徴量取得処理と、
該エッジ特徴量に基づいて、前記デジタル写真画像におけるボケのボケ方向情報を含むボケ情報を求めるボケ情報取得処理とをコンピュータに実行させることを特徴とするものである。

前記エッジ特徴量は、前記エッジの鮮鋭度、および前記エッジの鮮鋭度の分布を含むものとすることができる。

また、前記ボケ情報取得処理は、前記ボケのボケ幅も前記ボケ情報として取得することが好ましい。

本発明のプログラムは、前記ボケ情報取得処理により得られた前記ボケ情報に基づいて前記ボケを補正するためのパラメータを設定するパラメータ設定処理をさらにコンピュータに実行させるものであってもよい。

前記ボケ方向情報は、前記ボケが無方向性のピンボケか有方向性のぶれかを示す情報、およびぶれの場合の該ぶれの方向を示す情報とすることができ、前記パラメータ設定処理は、ピンボケの場合には等方性補正用の等方性補正パラメータを、ぶれの場合には方向性補正用の方向性補正パラメータを設定処理とすることができる。

または、前記ボケ情報取得処理は、前記ボケのぶれの程度の大小を示すぶれ度も前記ボケ情報として取得する処理であり、前記パラメータ設定処理は、前記ぶれ度が高いほど、方向性補正の重みが高くなるように、等方性補正用の等方性補正パラメータと方向性補正用の方向性補正パラメータとを重み付け合算して前記パラメータを設定する処理であることが好ましい。

さらに、前記ボケ情報取得処理は、前記ボケの程度の大小を示すボケ度も前記ボケ情報として取得する処理であり、前記パラメータ設定処理が、前記ボケ度が高いほど補正強度が大きくなるように前記パラメータを設定する処理であることが好ましい。

さらに、前記パラメータ設定処理は、前記ボケ度が所定の閾値以上の前記デジタル写真画像に対してのみ、前記パラメータの設定を行うことがより好ましい。

本発明のデジタルカメラは、被写体を撮像してデジタル写真画像を得る撮像手段と、該デジタル写真画像におけるボケのボケ方向情報を含むボケ情報を取得する画像処理手段とを備えたものであり、
前記画像処理手段が、本発明の画像処理装置であることを特徴とするものである。

また、本発明のデジタルカメラは、前記画像処理手段により得られた前記ボケ情報を前記デジタル写真画像に付属させて出力する出力手段をさらに備えてもよい。ここで、「出力」とは、デジタルカメラ付属の記憶手段に出力することが勿論、デジタルカメラ外部、例えば外部の記憶装置や、デジタルカメラと接続可能なネットワーク上のサーバなどに出力することを含むものである。

本発明の画像処理方法および装置並びにプログラム並びにデジタルカメラによれば、デジタル写真画像からボケ情報を取得するようにしているので、ぶれを補正するために、撮像時にぶれに関する情報を取得するための装置を設ける必要がない。そのため、撮像装置を大型化することがなくボケ情報を取得することができ、特に小型化を必須条件とする携帯電話機付属のデジタルカメラの場合には、メリットが大きい。

本発明の画像処理方法および装置並びにプログラムによれば、異なる方向毎に検出したエッジの特徴量に基づいてボケ情報を取得し、このボケ情報に基づいてボケの補正を行うようにしているので、ボケ情報なしに補正処理を繰り返す方法に比べ、演算量が少ないため、処理が早く、効率が良い。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の画像処理方法および装置並びにそのためのプログラムの実施形態となる画像処理システムの構成を示すブロック図である。図１に示す画像処理システムは、携帯電話機付属のデジタルカメラ（以下携帯カメラという）により取得した写真画像（以下略して単に画像という）を記録した記録媒体１から画像を読み出して画像処理を行うものであり、記録媒体１には多数の画像からなる画像群が記録されているが、ここでは、この画像群のうちの１つの画像Ｄを例にして説明を行う。

図示のように、本実施形態の画像処理システムは、記録媒体１から読み出された画像Ｄに対して縮小処理を行って画像Ｄの縮小画像Ｄ０を得る縮小手段１０と、画像Ｄおよび縮小画像Ｄ０を用いて、図２に示す８つの異なる方向毎にエッジを検出するエッジ検出手段１２と、エッジ検出手段１２により検出されたエッジのうちの、無効なエッジを除去するエッジ絞込手段１４と、エッジ絞込手段１４により得られたエッジの特徴量Ｓを取得するエッジ特徴量取得手段１６と、エッジ特徴量Ｓを用いて、画像Ｄにおけるボケ方向および画像Ｄのボケ度Ｎを算出して画像Ｄがボケ画像か通常画像かを判別し、通常画像の場合には、後述する出力手段６０に画像Ｄが通常画像であることを示す情報Ｐを送信して処理を終了する一方、ボケ画像の場合には、後述するシーン解析手段１００に画像Ｄがボケ画像であることを示す情報を送信すると共に、さらに画像Ｄのぶれ度Ｋ、ボケ幅Ｌを算出して、ボケ度Ｎおよびボケ方向と共にボケ情報Ｑとして後述するパラメータ設定手段３０に送信する解析手段２０と、解析手段２０から画像Ｄがボケ画像であることを示す情報を受信すると、画像Ｄに対して解析を行い、画像Ｄの撮影シーンに関するシーン情報Ｈ１（ここでは、例として人物か人物以外かを示す情報）を得てパラメータ設定手段３０に送信するシーン解析手段１００と、解析手段２０からのボケ情報Ｑおよびシーン解析手段１００からのシーン情報Ｈ１に基づいてボケ画像となる画像Ｄを補正するためのパラメータＥを複数（Ｅ０、Ｅ１、Ｅ２、・・・）設定するパラメータ設定手段３０と、パラメータＥ０、Ｅ１、Ｅ２、・・・を用いて画像Ｄに対して補正を行って、各パラメータに対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る補正手段４０と、各々の補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・から目的画像Ｄ’を決定して出力手段６０に出力する決定手段４５と、解析手段２０およびパラメータ設定手段３０のための種々のデータベースを記憶した記憶手段５０と、解析手段２０から画像Ｄが通常画像であることを示す情報Ｐを受信した場合には画像Ｄを出力する一方、決定手段４５から目的画像Ｄ’を受信した場合には目的画像Ｄ’を出力する出力手段６０とを有してなる。

以下、図１に示す画像処理システムの各構成について説明する。

エッジ検出手段１２は、まず、縮小画像Ｄ０を用いて、図２に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得る。次にエッジ検出手段１２は、検出された各方向毎の各々のエッジの座標位置に基づいて、画像Ｄを用いてこれらのエッジに対して、図３に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力する。

エッジ絞込手段１４は、エッジ検出手段１２から出力されてきたエッジのプロファイルに基づいて、複雑なプロファイル形状を有するエッジや、光源を含むエッジ（例えば一定の明度以上のエッジ）などの無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力する。

エッジ特徴量取得手段１６は、エッジ絞込手段１４から出力されてきたエッジのプロファイルに基づいて、図３に示すようなエッジ幅を各エッジに対して求め、図４に示すようなエッジ幅のヒストグラムを図２に示された８つの方向毎に作成してエッジ幅と共にエッジ特徴量Ｓとして解析手段２０に出力する。

解析手段２０は、主として下記の２つの処理を行う。

１． 画像Ｄにおけるボケ方向、画像Ｄのボケ度Ｎを求めて、画像Ｄがボケ画像か通常画像かを判別する。

２． 画像Ｄがボケ画像と判別された場合、ボケ幅Ｌ、ぶれ度Ｋを算出する。

ここで、１つ目の処理から説明する。

解析手段２０は、画像Ｄにおけるボケ方向を求めるために、まず、図２に示す８つの方向のエッジ幅のヒストグラム（以下略してヒストグラムという）に対して、互いに直交する２つの方向を１方向組として各方向組（１−５、２−６、３−７、４−８）のヒストグラムの相関値を求める。なお、相関値は求め方によって様々な種類があり、相関値が大きければ相関が小さい種類と、相関値の大小と相関の大小とが一致する、すなわち相関値が小さければ相関が小さい種類との２種類に大きく分けることができる。本実施形態において、例として、相関値の大小と相関の大小とが一致する種類の相関値を用いる。図５に示すように、画像中にぶれがある場合には、ぶれ方向のヒストグラムと、ぶれ方向と直交する方向のヒストグラムとの相関が小さい（図５（ａ）参照）のに対して、ぶれと関係ない直交する方向組または画像中にぶれがない（ボケがないまたはピンボケ）場合の直交する方向組では、そのヒストグラムの相関が大きい（図５（ｂ）参照）。本実施形態の画像処理システムにおける解析手段２０は、このような傾向に着目し、４つの方向組に対して、各組のヒストグラムの相関値を求め、相関が最も小さい方向組の２つの方向を見つけ出す。画像Ｄにぶれがあれば、この２つの方向のうちの１つは、図２に示す８つの方向のうち、最もぶれ方向に近い方向として考えることができる。

図５（ｃ）は、ぶれ、ピンボケ、ボケ（ピンボケおよびぶれ）なしの撮像条件で同じ被写体を撮像して得た夫々の画像に対して求められた、このぶれの方向におけるエッジ幅のヒストグラムを示している。図５（ｃ）からわかるように、ボケのない通常画像は、最も小さい平均エッジ幅を有し、すなわち、上記において見付け出された２つの方向のうち、平均エッジ幅が大きい方は、最もぶれに近い方向のはずである。

解析手段２０は、こうして、相関が最も小さい方向組を見付け、この方向組の２つの方向のうち、平均エッジ幅の大きい方をボケ方向とする。

次に、解析手段２０は、画像Ｄのボケ度Ｎを求める。画像のボケ度は、画像中のボケの程度の大小を示すものであり、例えば、画像中に最もぼけている方向（ここでは上記において求められたボケ方向）の平均エッジ幅を用いてもよいが、ここでは、ボケ方向における各々のエッジのエッジ幅を用いて図６に基づいたデータベースを利用してより精度良く求める。図６は、学習用の通常画像データベースとボケ（ピンボケおよびぶれ）画像データベースを元に、画像中の最もぼけている方向（通常画像の場合には、この方向に対応する方向が望ましいが、任意の方向であってもよい）のエッジ幅分布のヒストグラムを作成し、ボケ画像における頻度と通常画像における頻度（図示縦軸）の比率を評価値（図示スコア）としてエッジ幅毎に求めて得たものである。図６に基づいて、エッジ幅とスコアとを対応付けてなるデータベース（以下スコアデータベースという）が作成され、記憶手段５０に記憶されている。

解析手段２０は、図６に基づいて作成され、記憶手段５０に記憶されたスコアデータベースを参照し、画像Ｄのボケ方向の各エッジに対して、そのエッジ幅からスコアを取得し、ボケ方向の全てのエッジのスコアの平均値を画像Ｄのボケ度Ｎとして求める。求められた画像Ｄのボケ度Ｎが所定の閾値Ｔより小さければ、解析手段２０は、画像Ｄを通常画像として判別すると共に、画像Ｄが通常画像であることを示す情報Ｐを出力手段６０に出力することをもって、処理を終了する。

一方、画像Ｄのボケ度Ｎが閾値Ｔ以上であれば、解析手段２０は、画像Ｄがボケ画像であると判別し、このことを示す情報をシーン解析手段１００に送信すると共に、上記２つ目の処理に入る。

解析手段２０は、２つ目の処理として、まず、画像Ｄのぶれ度Ｋを求める。

ボケ画像のボケにおけるぶれの程度の大小を示すぶれ度Ｋは、下記のような要素に基づいて求めることができる。

１．相関が最も小さい方向組（以下相関最小組）の相関値：この相関値が小さいほどぶれの程度が大きい
解析手段２０は、この点に着目して、図７（ａ）に示す曲線に基づいて第１のぶれ度Ｋ１を求める。なお、図７（ａ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析手段２０は、相関最小組の相関値に対応する第１のぶれ度Ｋ１を、記憶手段５０から読み出すようにして第１のぶれ度Ｋ１を求める。

２．相関最小組の２つの方向のうち、平均エッジ幅が大きい方向の平均エッジ幅：この平均エッジ幅が大きいほどぶれの程度が大きい
解析手段２０は、この点に着目して、図７（ｂ）に示す曲線に基づいて第２のぶれ度Ｋ２を求める。なお、図７（ｂ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析手段２０は、相関最小組の平均エッジ幅が大きい方向の平均エッジ幅に対応する第２のぶれ度Ｋ２を、記憶手段５０から読み出すようにして第２のぶれ度Ｋ２を求める。

３．相関最小組の２つの方向における夫々の平均エッジ幅の差：この差が大きいほどぶれの程度が大きい
解析手段２０は、この点に着目して、図７（ｃ）に示す曲線に基づいて第３のぶれ度Ｋ３を求める。なお、図７（ｃ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析手段２０は、相関最小組の２つの方向における夫々の平均エッジ幅の差に対応する第３のぶれ度Ｋ３を、記憶手段５０から読み出すようにして第３のぶれ度Ｋ３を求める。

解析手段２０は、このようにして第１のぶれ度Ｋ１、第２のぶれ度Ｋ２、第３のぶれ度Ｋ３を求めると共に、下記の式（１）に従って、Ｋ１、Ｋ２、Ｋ３を用いてボケ画像となるボケ画像Ｄのぶれ度Ｋを求める。

Ｋ＝Ｋ１×Ｋ２×Ｋ３ （１）
但し、Ｋ：ぶれ度
Ｋ１：第１のぶれ度
Ｋ２：第２のぶれ度
Ｋ３：第３のぶれ度

次に、解析手段２０は、ボケ画像となる画像Ｄのボケ幅Ｌを求める。ここで、ぶれ度Ｋに関係なく、ボケ幅Ｌとしてボケ方向におけるエッジの平均幅を求めるようにしてもよいし、図２に示す８つの方向のすべてにおけるエッジの平均エッジ幅を求めてボケ幅Ｌとする。

解析手段２０は、ボケ画像である画像Ｄに対して、ぶれ度Ｋ、ボケ幅Ｌを求めて、ボケ度Ｎおよびボケ方向と共にボケ情報Ｑとしてパラメータ設定手段３０に出力する。

シーン解析手段１００は、画像Ｄの撮影シーンに関するシーン情報Ｈ１を取得するものであり、ここでは、例としてシーン情報Ｈ１を人物か人物以外かを示す情報とする。画像の撮影シーンが人物か人物以外かを判別するためには、画像中に人物の顔があるか否かを解析し、人物の顔があれば撮影シーンが人物であると判断することができ、人物の顔がなければ撮影シーンが人物以外であると判断することができる。本実施形態におけるシーン解析手段１００は、画像Ｄに人物の顔があるか否かを解析してシーン情報Ｈ１を取得するものである。

図８は、シーン解析手段１００の詳細構成を示すブロック図である。図示のように、シーン解析手段１００は、画像Ｄから特徴量Ｃ０を算出する特徴量算出手段１１０と、後述する参照データＨ０により構成されるデータベース１１５と、特徴量算出手段１１０が算出した特徴量Ｃ０とデータベース１１５内の参照データＨ０とに基づいて、画像Ｄに人物の顔が含まれているか否かを識別すると共に、画像Ｄの撮影シーン（顔が含まれている場合は人物、顔が含まれていない場合は人物以外）を示すシーン情報Ｈ１をパラメータ設定手段３０に出力するシーン判断手段１２０とを備えてなる。

シーン解析手段１００の特徴量算出手段１１０は、顔の識別に用いる特徴量Ｃ０を画像Ｄから算出する。具体的には、勾配ベクトル（すなわち画像Ｄ上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、特徴量算出手段１１０は、画像Ｄに対して図９（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して画像Ｄにおける水平方向のエッジを検出する。また、特徴量算出手段１１０は、画像Ｄに対して図９（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して画像Ｄにおける垂直方向のエッジを検出する。そして、画像Ｄ上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図１０に示すように、各画素における勾配ベクトルＫを算出する。

なお、このようにして算出された勾配ベクトルＫは、図１１（ａ）に示すような人物の顔の場合、図１１（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫは口よりも目の方が大きくなる。

そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図１０におけるｘ方向）を基準とした０から３５９度の値となる。

ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、画像Ｄの全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が画像Ｄの各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図１２（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図１２（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図１２（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図１２（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。

データベース１１５内を構成する参照データＨ０は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。

参照データＨ０中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。

なお、本実施形態においては、参照データＨ０を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図１３に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９画素および１１画素であり、両目の中心間距離において垂直に立った顔を平面上±１５度の範囲において３度単位で段階的に回転させた（すなわち、回転角度が−１５度，−１２度，−９度，−６度，−３度，０度，３度，６度，９度，１２度，１５度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×１１＝３３通り用意される。なお、図１３においては−１５度、０度および＋１５度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、両目の中心間の距離が１０画素のサンプル画像であれば、目の中心位置はすべて同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。また、図面上上下方向における目の位置（すなわちｙ１，ｙ２）はすべてのサンプル画像において同一である。

また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。

ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が１０画素であり、平面上の回転角度が０度（すなわち顔が垂直な状態）のもののみを用いて学習を行った場合、参照データＨ０を参照して顔であると識別されるのは、両目の中心間距離が１０画素で全く回転していない顔のみである。画像Ｄに含まれる可能性がある顔のサイズは一定ではないため、顔が含まれるか否かを識別する際には、後述するように画像Ｄを拡大縮小して、サンプル画像のサイズに適合するサイズの顔を識別できるようにしている。しかしながら、両目の中心間距離を正確に１０画素とするためには、画像Ｄのサイズを拡大率として例えば１．１単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。

また、画像Ｄに含まれる可能性がある顔は、図１４（ａ）に示すように平面上の回転角度が０度のみではなく、図１４（ｂ）、（ｃ）に示すように回転している場合もある。しかしながら、両目の中心間距離が１０画素であり、顔の回転角度が０度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図１４（ｂ）、（ｃ）に示すように回転した顔については識別を行うことができなくなってしまう。

このため、本実施形態においては、顔であることが分かっているサンプル画像として、図１３に示すように両目の中心間距離が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたサンプル画像を用いて、参照データＨ０の学習に許容度を持たせるようにしたものである。これにより、後述するシーン判断手段１２０において識別を行う際には、画像Ｄを拡大率として１１／９単位で段階的に拡大縮小すればよいため、画像Ｄのサイズを例えば拡大率として例えば１．１単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。また、図１４（ｂ）、（ｃ）に示すように回転している顔も識別することができる。

以下、図１５のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。

学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。なお、顔であることが分かっているサンプル画像は、上述したように１つのサンプル画像につき両目の中心位置が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたものを用いる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（Ｓ１）。

次に、サンプル画像における複数種類の画素群のそれぞれについて識別器が作成される（Ｓ２）。ここで、それぞれの識別器とは、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて、顔の画像と顔でない画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせについてのヒストグラムを識別器として使用する。

図１６を参照しながらある識別器の作成について説明する。図１６の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）^４通りとなってしまい、学習に多大な時間を要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜８９（右方向），９０〜１７９（下方向），１８０〜２６９（左方向），２７０〜３５９（上方向）に４値化し、勾配ベクトルの大きさを５値化することにより、組み合わせ数が（４×５）^４通りとなるように特徴量Ｃ０のデータ数を低減している。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１６の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。

続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（Ｓ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。

次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（Ｓ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。

ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。

次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（Ｓ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。

続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。

以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（Ｓ７）、これにより参照データＨ０の学習を終了する。

なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１６の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。

シーン判断手段１２０は、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて参照データＨ０が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して画像Ｄに顔が含まれるか否かを識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは５値化される。本実施形態では、すべての識別ポイントを加算して、その加算値の正負によって識別を行うものとする。例えば、識別ポイントの総和が正の値である場合には画像Ｄには顔が含まれると判断し、負の値である場合には顔は含まれないと判断する。

ここで、画像Ｄのサイズは３０×３０画素のサンプル画像とは異なり、各種サイズを有するものとなっている。また、顔が含まれる場合、平面上における顔の回転角度が０度であるとは限らない。このため、シーン判断手段１２０は、図１７に示すように、画像Ｄを縦または横のサイズが３０画素となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１７においては縮小する状態を示す）、各段階において拡大縮小された画像Ｄ上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された画像Ｄ上において１画素ずつ移動させながら、マスク内の画像が顔の画像であるか否かの識別を行うことにより、画像Ｄに顔が含まれるか否かを識別する。

なお、参照データＨ０の生成時に学習したサンプル画像として両目の中心位置の画素数が９，１０，１１画素のものを使用しているため、画像Ｄの拡大縮小時の拡大率は１１／９とすればよい。また、参照データＨ０の生成時に学習したサンプル画像として、顔が平面上で±１５度の範囲において回転させたものを使用しているため、画像Ｄは３０度単位で３６０度回転させればよい。

なお、特徴量算出手段１１０は、画像Ｄの拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。

そして、画像Ｄに顔が含まれるか否かの識別を拡大縮小および回転の全段階の画像Ｄについて行い、一度でも顔が含まれると識別された場合には、画像Ｄには顔が含まれると識別する。

シーン解析手段１００は、このようにして画像Ｄに顔が含まれているか否かを識別して、画像Ｄのシーン情報Ｈ１をパラメータ設定手段３０に出力する。

本実施形態の画像処理システムは、アン・シャープネス・マスキング（ＵＳＭ）補正方法で画像Ｄに対する補正を施すものであり、パラメータ設定手段３０は、ボケ幅Ｌとボケ方向に応じて、ボケ幅Ｌが大きいほど補正マスクのサイズが大きくなるように、ボケ方向に作用する方向性補正用の１次元補正マスクＭ１を設定すると共に、ボケ幅Ｌに応じて、ボケ幅Ｌが大きいほど補正マスクのサイズが大きくなるように等方性補正用の２次元補正マスクＭ２を設定する。なお、各ボケ幅に対応する２次元補正マスク、および各ボケ幅とボケ方向に対応する１次元補正マスクはデータベース（マスクデータベースという）として記憶手段５０に記憶されており、パラメータ設定手段３０は、記憶手段５０に記憶されたマスクデータベースから、ボケ幅Ｌとボケ方向に基づいて１次元補正マスクＭ１を、ボケ幅Ｌに基づいて２次元補正マスクＭ２を取得する。記憶手段５０には、画像の撮影シーンの種類に応じた係数αも記憶されており、パラメータ設定手段３０は、シーン解析手段１００から供されたシーン情報Ｈ１に基づいて、記憶手段５０から相対応する係数αを取得する。ない、係数αは、画像Ｄの撮影シーンが人物である場合よりも画像Ｄの撮影シーンが人物以外である場合の方が大きい。

次に、パラメータ設定手段３０は、下記の式（２）に従って、方向性補正用の１次元補正パラメータＷ１および等方性補正用の２次元補正パラメータＷ２を設定する。

Ｗ１＝α×Ｎ×Ｋ×Ｍ１
Ｗ２＝α×Ｎ××（１−Ｋ）×Ｍ２ （２）
但し、Ｗ１：１次元補正パラメータ
Ｗ２：２次元補正パラメータ
Ｎ：ボケ度
Ｋ：ぶれ度
Ｍ１：１次元補正マスク
Ｍ２：２次元補正マスク
α：撮影シーンの種類に応じた係数
即ち、パラメータ設定手段３０は、撮影シーンが人物である場合よりも撮影シーンが人物以外である場合に等方性補正の強度と方向性補正の強度が強く、ボケ度Ｎが大きいほど等方性補正の強度と方向性補正の強度が強く、ぶれ度Ｋが大きいほど方向性補正の重みが大きくなるように補正パラメータＷ１とＷ２（合わせてパラメータＥ０とする）を設定する。

ここで、パラメータ設定手段３０は、設定されたパラメータＥ０に対して、さらにボケ度Ｎ、ぶれ度Ｋおよび補正マスクＭ１、Ｍ２を夫々調整して、調整されたボケ度Ｎ、ぶれ度Ｋ、補正マスクＭ１、Ｍ２を用いて式（２）に従って補正パラメータＥ０と異なる複数の補正パラメータＥ１、Ｅ２、・・・を求める。

パラメータ設定手段３０は、こうして求められた補正パラメータＥ（Ｅ０、Ｅ１、Ｅ２、・・・）を補正手段４０に出力する。

補正手段４０は、パラメータＥ０、Ｅ１、Ｅ２、・・・を画像Ｄに夫々適用して補正を施し、各補正パラメータに夫々対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る。

決定手段４５は、補正手段４０により得られた各々の補正済み画像を表示する図示しない表示手段と、表示された各々の補正済み画像からユーザ所望の補正済み画像を選択させるための図示しない入力手段とを備え、補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・からユーザにより選択された画像を目的画像Ｄ’として決定して出力手段６０に出力する。

出力手段６０は、解析手段２０から画像Ｄが通常画像であることを示す情報Ｐを受信した場合には画像Ｄを出力する一方、決定手段４５から目的画像Ｄ’を受信した場合には目的画像Ｄ’を出力するものである。本実施形態において、出力手段６０による「出力」は印刷であり、出力手段６０は、通常画像の画像Ｄおよびボケ画像の画像Ｄを補正して得た目的画像Ｄ’を印刷してプリントを得るものであるが、記録媒体に記憶したり、ネットワーク上における画像保管サーバや、画像の補正を依頼した依頼者により指定されたネットワーク上のアドレスなどに送信したりするなどのものであってもよい。

図１８は、本実施形態の画像処理システムの動作を示すフローチャートである。図示のように、記録媒体１から読み出された画像Ｄは、まず、縮小手段１０により縮小されて縮小画像Ｄ０となる（Ｓ１０）。エッジ検出手段１２は、縮小画像Ｄ０に対して、図２に示す８つの異なる方向毎に所定の強度以上のエッジを検出して各々のエッジの座標位置を得ると共に、これらの座標位置に基づき、画像Ｄを用いて各々のエッジに対して図３に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力する（Ｓ１２）。エッジ絞込手段１４は、エッジ検出手段１２から送信されてきたエッジプロファイルに基づいて、無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力する（Ｓ１４）。エッジ特徴量取得手段１６は、エッジ絞込手段１４から送信された各々のエッジのプロファイルに基づいて各エッジの幅を求めると共に、図２に示す方向毎にエッジ幅のヒストグラムを作成して、各エッジの幅および各方向のエッジ幅のヒストグラムを画像Ｄのエッジ特徴量Ｓとして解析手段２０に出力する（Ｓ１６）。解析手段２０は、エッジ特徴量Ｓを用いて、まず画像Ｄのボケ方向およびボケ度Ｎを算出すると共に、画像Ｄがボケ画像であるか通常画像であるかを判別する（Ｓ２０、Ｓ２５）。画像Ｄが通常画像であれば（Ｓ２５：Ｙｅｓ）、解析手段２０は、画像Ｄが通常画像であることを示す情報Ｐを出力手段６０に出力し（Ｓ３０）、出力手段６０は、情報Ｐを受信すると、画像Ｄを印刷してプリントを得る（Ｓ３５）。

一方、ステップＳ２５において、画像Ｄがボケ画像に判別されると（Ｓ２５：Ｎｏ）、解析手段２０は、画像Ｄがボケ画像であることを示す情報をシーン解析手段１００に送信してシーンの種類の解析を行わせる（Ｓ３８）と共に、画像Ｄのぶれ度Ｋ、ボケ幅Ｌをさらに算出し、ステップＳ２０において求められたボケ度Ｎおよびボケ方向と共にボケ情報Ｑとしてパラメータ設定手段３０に出力する（Ｓ４０、Ｓ４５）。パラメータ設定手段３０は、解析手段２０からのボケ情報Ｑおよびシーン解析手段１００からのシーン情報Ｈ１に基づいて、１次元補正パラメータＷ１と２次元補正パラメータＷ２を求める。求められた１対の補正パラメータＷ１、Ｗ２を補正パラメータＥ０とし、ボケ度Ｎ、ぶれ度Ｋ、補正マスクＭ、Ｍ２のマスクサイズなどを調整してさらに複数の補正パラメータＥ１、Ｅ２、・・・を取得して、補正手段４０に出力する（Ｓ５０）。

補正手段４０は、補正パラメータＥ０、Ｅ１、Ｅ２、・・・を画像Ｄに夫々適用して補正を施し、各補正パラメータに夫々対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る（Ｓ５５）。

決定手段４５は、補正手段４０により得られた各々の補正済み画像を図示しない表示手段に表示させ、図示しない入力手段を介して、ユーザが選択された補正済み画像を目的画像Ｄ’として決定して出力手段６０に出力する（Ｓ６０）。

出力手段６０は、決定手段４５からの目的画像Ｄ’を印刷してプリントを得る（Ｓ７０）。

このように、本実施形態の画像処理システムによれば、デジタル写真画像からボケ情報を取得してボケを補正するようにしているので、撮影時に特別な装置を必要とせずに画像のボケを補正することができる。

また、取得したボケ情報に基づいて補正用のパラメータを設定して補正しているので、パラメータの設定、補正、評価、再設定、・・・の試行錯誤を繰り返す必要がなく、効率が良い。

図１９は、本発明の他の実施形態となる画像処理システムの構成を示すブロック図である。なお、本実施形態の画像処理システムは、図１に示す実施形態の画像処理システムと比べ、決定手段４５’と４５が異なる点を除けば、他の構成が同様であるため、ここでは、決定手段４５’についてのみ説明すると共に、図中では、図１に示す画像処理システムと同様な構成について同じ符号を付与する。

図１９に示す実施形態の画像処理システムにおける決定手段４５’は、補正手段４０により得られた各々の補正済み画像の補正効果を評価する図示しない評価手段を備え、補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・から、最も良い補正効果を有する補正済み画像を目的画像Ｄ’として決定して出力手段６０に出力するものである。

図示しない評価手段は、下記のように各補正済み画像の補正効果を評価する。

図示しない評価手段は、まず、補正済み画像に対して、図２に示す８方向毎にエッジを抽出してエッジ幅を求めると共に、この８つの方向のエッジ幅のヒストグラムを取得する。取得された８つの方向のエッジ幅のヒストグラムに対して、評価手段は、互いに直交する２つの方向を１方向組として各方向組（１−５、２−６、３−７、４−８）のヒストグラムの相関値を求めて、４つの方向組のうち、相関が最も小さい方向組を見つけ出す。次に、評価手段は、この方向組の２つの方向に対して夫々の平均エッジ幅を算出し、この平均エッジ幅を評価値とする。

決定手段４５’は、各補正済み画像に対して図示しない評価手段により得られた前述評価値に基づいて、最も小さい評価値を有する補正済み画像を目的画像として決定する。

以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。

例えば、図１９に示す実施形態の画像処理システムにおいて、決定手段４５’は、相関最小組の２つの方向に対して求められた平均エッジ幅のうち、大きい方の平均エッジ幅を評価値として補正済み画像の補正効果を評価しているが、例えば、図６に基づいて作成され、記憶手段５０に記憶されたスコアデータベースを参照し、補正済み画像に対して求められた相関最小組の２つの方向のうち、平均エッジ幅が大きい方向に対して、各エッジのエッジ幅からスコアを取得し、全てのエッジのスコアの平均値を求めて評価値として求めるようにしてもよい。

また、写真画像に顔が含まれているか否かの識別も、上述した方法に限られることがなく、従来公知の種々の技術を利用することができる。

また、デジタル写真画像の撮影シーンの種類も、人物か人物以外かの２種類に限られることがなく、例えば夜景シーンも撮影シーンの種類とすることができる。夜景シーンの場合は、ノイズが目立たないため、撮影シーンの種類が夜景シーンである場合には、補正の強度を強くするように補正パラメータを設定すればよい。

また当然、補正パラメータを設定する際に必ずしも撮影シーンの種類を考慮する必要がなく、撮影シーンの種類の判別を省いて、エッジ特徴量のみに基づいて補正パラメータを設定するようにしてもよい。

また、図１に示す実施形態の画像処理システムにおいては、パラメータ設定手段３０は複数の補正パラメータを設定し、補正手段４０は、これらの複数の補正パラメータを用いて補正を施して複数の補正済み画像を得、決定手段４５は、ユーザが複数の補正済み画像から選択した補正済み画像を目的画像として決定するようにしているが、補正制御手段と確認手段とを設け、パラメータ設定手段においてまず１つのみの補正パラメータを設定し、補正手段も一度には１つの補正済み画像のみを得、確信手段は、補正済み画像をユーザに確認させ、補正制御手段は、ユーザによる確認の結果が該補正済み画像を目的画像とすることになるまでパラメータ設定手段による補正パラメータを設定し直す処理と、補正手段による、設定し直された補正パラメータを用いて補正を行って補正済み画像を得る処理、確認手段による確認を繰り返させるようにして目的画像を決定するようにしてもよい。

また、１つの補正パラメータのみを設定して補正を行って得た１つの補正済み画像をユーザに確認させ、気にいる場合には「補正する」、気に入らない場合には「補正しない」ように指定させ、「補正しない」ように指定された場合、補正済み画像に対応する補正前の元の画像を目的画像として出力するようにしてもよい。

また、上述の実施形態の画像処理システムは、相関最小組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向としているが、例えば、相関最小組（相関値が１番目に小さい方向組）と、相関値が２番目に小さい方向組について、夫々ぶれ度を算出し、方向組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向とするようにして２つの方向組からボケ候補方向を夫々取得し、取得された２つのボケ候補方向を、算出された２つのぶれ度に応じて、ぶれ度が大きい方向組ほど、該方向組に含まれるボケ候補方向の重みが大きくなるように重み付けしてボケ方向を得るようにしてもよい。この場合、ボケ幅も、２つのボケ候補方向における夫々の平均エッジ幅を、ぶれ度が大きい方向組ほど、該方向組に含まれるボケ候補方向の平均エッジ幅の重みが大きくなるように重み付けしてボケ幅を得ることができる。

また、上述の実施形態の画像処理システムは、画像中のボケの有無に関わらず相関最小組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向にし、該ボケ方向に基づいてさらにボケ度を算出して、ボケ度に基づいて通常画像とボケ画像の判別を行い、ボケ画像として判別された画像に対してさらにぶれ度を求めるようにして補正パラメータの設定を行うようにしているが、例えば、相関最小組の相関値が所定の閾値Ｔ１以上であれば、該画像におけるボケが「無方向」とし（即ち、画像が通常画像かピンボケ画像である）、ボケ方向が「無方向」である画像に対して、ボケ度を求め、ボケ度が所定の閾値Ｔ２より小さい画像を通常画像として判別して補正しないようにする一方、ボケ度が所定の閾値Ｔ２以上の画像をピンボケ画像として判別して等方性補正用のパラメータのみを求めて補正を行うと共に、相関最小組の相関値がＴ１より小さい画像をぶれ画像として、相関最小組の平均エッジ幅の大きい方向をぶれ方向とするようにしてもよい。また、ぶれ画像に対して補正パラメータを設定する際に、ぶれ方向に作用する方向性補正パラメータのみを補正パラメータとして設定するようにしてもよいし、ぶれ度をさらに求め、ぶれ度に応じて等方性補正パラメータと方向性補正パラメータとを重み付け合算するようにして補正パラメータを設定するようにしてもよい。

また、ぶれ画像に対しては、上述した実施形態の解析手段２０により得られたぶれ方向は、図２における方向１により示される「上下方向」や、同図における方向５により示される「左右方向」などであり、「上から下へ」、「左から右へ」のようなぶれの向きを含まないものである。解析手段２０により得られたぶれ方向に基づいて、該方向に作用する方向性補正パラメータを適用すれば、この方向におけるエッジの広がりを狭め、ぶれを補正して画質のよい補正済み画像を得ることができるが、「上下方向」、「左右方向」のようなぶれ方向およぶぶれ幅に加え、「下から上へ」、「左から右へ」のようなぶれの向き（ベクトル情報）を取得し、これらの要素に基づいて補正パラメータの設定を行って補正するようにすれば、より正確な補正効果を得ることができる。具体的には、例えば、解析の結果に基づいて、ぶれ画像であると判定された画像に対して、ユーザに「ぶれの向き」を入力させるための入力手段を設け、解析により得られたぶれ方向、ぶれ幅、および入力手段を介してユーザが入力したぶれの向きに基づいてパラメータを設定するようにすればよい。この際、解析により得られたぶれ方向に変更を加えず、ユーザが入力されたぶれの向きを、解析により得られたぶれ方向の向きを特定するのみに用いることが望ましい。すなわち、例えば、解析によって得られたぶれ方向は、図２における方向２であり、ユーザにより入力されたぶれの向きが「下から上へ」である場合において、ぶれの方向および向きとしては、図２における矢印２に示される方向および向きとし、ぶれの方向を方向１に変更しない。ユーザはぶれの向きが「下から上へ」なのか、「上から下へ」なのかを判断することが容易であるが、ぶれの方向を正確に判断することが難しい、例えば、図２の矢印１および矢印２により示される２つのぶれの方向および向きに対して、ユーザが、両方に対して「下から上へ」の判断ができるが、方向１なのか方向２なのかを判断することが難しい。解析によってぶれの方向を取得し、入力手段を設けることによってユーザにぶれの向きを入力させるようにすることによって、ぶれ方向をのみならず、ぶれの向きも効率良く取得することができ、より正確な補正を行うことができる。さらに、手ぶれには等速手ぶれ、段々早くなる加速手ぶれ、段々遅くなる減速ぶれなど様々な種類があり、前述した入力手段を介してこのようなぶれの種類を示す情報を入力させれば、より正確な補正を行うことができる。図２０は、ぶれ幅が１１画素のとき、等速手ぶれと加速手ぶれとの夫々の場合に用いるフィルタ（補正パラメータ）の例を示しており、ぶれ方向、ぶれの向きが同じでも、手ぶれの種類に応じて異なるフィルタを適用することにより、さらに良い補正結果を得ることができる。また、画像を解析することによって、ボケ幅、ボケ方向などの全ての情報を取得する代わりに、入力手段を設けて、ユーザが指定しやすいものについてはユーザに指定させ、他のものについては解析することによって取得するようにしてもよい。例えば、ぶれの場合、ユーザが、ぶれ量（ぶれ幅）よりぶれ方向を指定しやすいので、入力手段を介してユーザが指定したぶれ方向を受付け、該方向においてのみ、ぶれ幅（例えばエッジの平均幅）を算出するようにしてもよい。こうすることによって、ユーザの負担を軽減することができると共に、正確にぶれ幅を取得することができ、効率がよい。

また、上述の本実施形態の画像処理システムは、処理の効率を良くするために、デジタル写真画像が通常画像かボケ画像かを判別し、ボケ画像として判別された画像に対してのみぶれ度、ぶれ幅を算出してパラメータの設定や、補正を行うようにしているが、通常画像とボケ画像の判別をせず、全ての処理対象の画像に対して、ボケ度、ボケ幅、ぶれ度をボケ情報として算出し、ボケ情報に基づいてパラメータを設定して補正を行うようにしてもよい。通常画像のボケ度が小さいため、ボケ度に応じて設定された通常画像の補正パラメータは微小な補正を行う補正パラメータまたは補正しないパラメータとなり、ピンボケ画像のぶれ度が小さいため、ぶれ度に応じて等方性補正パラメータと方向性パラメータとを重み付け合算して補正パラメータを得る際に、方向性補正パラメータの重みが小さい乃至ゼロとなる。

また、上述した実施形態において、解析手段２０は、図７に基づいて、前述した３つの要素に基づいてぶれ度を求めるようにしているが、ぶれ度を求める要素については増減があってもよい。例えば、前述した３つの要素のうちの２つのみを用いてもよく、要素を増やして、例えば相関最小組と、相関最小組と最も大きくずれた（図２に示す方向組の場合、４５度ずれた）方向組との相関値の差も視野に入れてぶれ度を求めるようにしてもよい。

また、上述の実施形態の画像処理システムにおいて、解析手段２０は、ボケ画像となる画像Ｄに対して、そのボケがピンボケかぶれかの区別をせず、ボケ画像として判別された画像であれば、ぶれ度を求めてぶれ度に応じた重み付け係数（本実施形態の画像処理システムにおいては、ぶれ度そのものを重み付け係数にしている）で当方性補正パラメータと方向性補正パラメータを重み付け合算して補正パラメータを得て補正するようにしているが、例えば、ぶれ度が所定の閾値より小さいボケ画像をピンボケ画像とし、ピンボケ画像に対しては等方性補正パラメータのみを設定して補正を行うようにしてもよい。

また、上述の実施形態の画像処理システムは、処理対象となるデジタル写真画像がボケ画像か通常画像かが知られていないことを前提にして、全てのデジタル写真画像に対して通常画像かボケ画像かの判別を行うようにしているが、ボケ画像のみを対象とする処理系、例えば顧客または操作者によりボケ画像に指定された画像を補正するような処理系などにおいては、通常画像とボケ画像の判別を行うことが必ずしも必要ではない。

また、処理対象となるデジタル写真画像のタグ情報などの付属情報からデジタル写真画像の撮像条件を取得し、これに応じて補正の必要があるか否かを判定し、補正の必要のあるデジタル写真画像に対してのみボケ情報の取得などの補正のための処理を行うようにしてもよい。例えば、デジタルカメラは、フォーカスロック機能を有するものがあり、フォーカスロック機能の作動下で撮像により得られたデジタル写真画像には、ピンボケの存在する可能性がほとんどない。これを利用して、デジタル写真画像のタグ情報を読み出して、該デジタル写真画像がフォーカスロック状態で撮像された画像か否かを判定し、フォーカスロック状態で撮像された画像を、ピンボケ補正処理の対象から外すようにすればよい。また、デジタル写真画像を撮像した際のシャッタースピードが所定の値以上であれば、デジタル写真画像には手ぶれが存在しなくなるので、所定の値以上のシャッタースピードで撮像された写真画像を、手ぶれ補正処理の対象から外すようにしてもよい。

また、上述の実施形態の画像処理システムは、画像の縮小から目的画像を出力するまでの処理を１つの装置において行っているが、本発明は、このような態様に限られることがなく、例えば、画像処理システムを解析装置と処理装置とに分け、解析装置は、補正パラメータを設定するまでの処理を行うと共に、設定された補正パラメータを画像の付属情報として画像に付属させて記録媒体に記録し、処理装置は、記録媒体から画像を読み出して、画像の付属情報となる補正パラメータを用いて補正を行うようにしてもよい。

さらに、このような態様において、解析装置は、ボケ情報を求めるまでの処理のみをし、このボケ情報を画像の付属情報として画像に付属させて記録媒体に記録し、処理装置は、記録媒体から画像を読み出して、画像の付属情報となるボケ情報に基づいて補正パラメータの設定処理ないし補正処理を行うようにしてもよい。

また、この解析装置は、入力されたデジタル写真画像に対して解析を行う専用の装置であってもよいし、例えば、デジタルカメラそのものに備えられるようにしてもよい。すなわち、このような解析装置を備えてデジタルカメラは、被写体を撮像してデジタル写真画像を得、得たデジタル写真画像からボケ情報を取得してから出力するようにすることができる。なお、出力する際に、取得されたボケ情報を対応するデジタル写真画像のタグ情報に書き込むなどによって付属させるようにすることが好ましい。

さらに、補正実行指示手段を設け、ボケ情報の取得までまたは補正パラメータの設定までの処理を行うが、補正実行指示手段から補正を実行するように指示されるまで補正を実行せず、補正を実行するように指示されてから補正を実行するようにしてもよい。例えば、電子アルバムのインデックス表示の際に補正パラメータを算出して（インデックス表示されている画像は補正されてないものである）対応する画像のタグ情報に書き込むが、後に該当する画像が詳細表示指示されたときや、全ての画像に対して一括補正する指示がなされたなどのときにおいてのみ、求められた補正パラメータで補正処理を実行するようにすることができる。こうすることによって、ユーザを待たせる時間を短縮することができる。

また、上述の実施形態の画像処理システムは、携帯カメラにより取得されたデジタル写真画像を対象としているが、本発明の画像処理方法および装置並びにそのためのプログラムは、携帯カメラにより取得されたデジタル写真画像に限らず、如何なるデジタル写真画像、例えば通常のデジタルカメラにより取得されたデジタル写真画像や、スキャナなどの読取装置で写真フィルムまたは紙などの印刷媒体に印刷された写真画像を読み取って得たデジタル写真画像にも適用することができる。

本発明の画像処理方法および装置並びにプログラムの実施形態となる画像処理システムの構成を示すブロック図 エッジを検出する際に用いられる方向を示す図 エッジプロファイルを示す図 エッジ幅のヒストグラムを示す図 解析手段２０の動作を説明するための図 ボケ度の算出を説明するための図 ぶれ度の算出を説明するための図 シーン解析手段１００の構成を示すブロック図 （ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図 勾配ベクトルの算出を説明するための図 （ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図 （ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図 参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図 顔の回転を説明するための図 参照データの学習手法を示すフローチャート 識別器の導出方法を示す図 識別対象画像の段階的な変形を説明するための図 図１に示す実施形態の画像処理システムの動作を示すフローチャート 本発明の他の実施形態となる画像処理システムの構成を示すブロック図 ぶれの種類に応じた補正パラメータの例を示す図

符号の説明

１ 記録媒体
１０ 縮小手段
１２ エッジ検出手段
１４ エッジ絞込手段
１６ エッジ特徴量取得手段
２０ 解析手段
３０ パラメータ設定手段
４０ 補正手段
４５，４５’ 決定手段
５０ 記憶手段
６０ 出力手段
Ｃ０ 顔を識別するための特徴量
Ｄ デジタル写真画像
Ｄ０ 縮小画像
Ｄ’ 目的画像
Ｈ０ 参照データ
Ｈ１ シーン情報
Ｅ 補正パラメータ
Ｋ ぶれ度
Ｌ ボケ幅
Ｍ１ １次元補正マスク
Ｍ２ ２次元補正マスク
Ｎ ボケ度
Ｑ ボケ情報
Ｓ エッジ特徴量
α 撮影シーンに応じた係数

Claims (29)

1. デジタル写真画像に対して、複数の異なる方向毎にエッジを検出し、
   各前記方向における前記エッジの特徴量を取得し、
   該エッジ特徴量に基づいて、前記デジタル写真画像におけるボケのボケ方向情報を含むボケ情報を求め、
   該ボケ情報に基づいて前記ボケを補正するためのパラメータを設定する画像処理方法であって、
   前記ボケ方向情報が、前記ボケが無方向性のピンボケか有方向性のぶれかを示す情報、およびぶれの場合の該ぶれの方向を示す情報であり、
   前記パラメータを設定する際に、ピンボケの場合には等方性補正用の等方性補正パラメータを、ぶれの場合には方向性補正用の方向性補正パラメータを設定することを特徴とする画像処理方法。
2. 前記エッジ特徴量が、前記エッジの鮮鋭度、および前記エッジの鮮鋭度の分布を含むものであることを特徴とする請求項１記載の画像処理方法。
3. 前記ボケ情報が、前記ボケのボケ幅を含むものであることを特徴とする請求項１または２記載の画像処理方法。
4. 前記ボケ情報が、前記ボケのぶれの程度の大小を示すぶれ度を含むものであり、
   前記ぶれ度が高いほど、方向性補正の重みが高くなるように、等方性補正用の等方性補正パラメータと方向性補正用の方向性補正パラメータとを重み付け合算して前記パラメータを設定することを特徴とする請求項１から３のいずれか１項記載の画像処理方法。
5. 前記ボケ情報が、前記ボケの程度の大小を示すボケ度を含むものであり、
   前記ボケ度が高いほど補正強度が大きくなるように前記パラメータを設定することを特徴とする請求項１から４のいずれか１項記載の画像処理方法。
6. 前記デジタル写真画像の撮影シーンの種類を解析し、
   前記ボケ情報、および前記解析により得られた前記撮影シーンの種類に基づいて前記パラメータを設定することを特徴とする請求項１から５のいずれか１項記載の画像処理方法。
7. デジタル写真画像に対して、複数の異なる方向毎にエッジを検出するエッジ検出手段と、
   各前記方向における前記エッジの特徴量を取得するエッジ特徴量取得手段と、
   該エッジ特徴量に基づいて、前記デジタル写真画像におけるボケのボケ方向情報を含むボケ情報を求めるボケ情報取得手段と、
   前記ボケ情報に基づいて前記ボケを補正するためのパラメータを設定するパラメータ設定手段とを有してなる画像処理装置であって、
   前記ボケ方向情報が、前記ボケが無方向性のピンボケか有方向性のぶれかを示す情報、およびぶれの場合の該ぶれの方向を示す情報であり、
   前記パラメータ設定手段が、ピンボケの場合には等方性補正用の等方性補正パラメータを、ぶれの場合には方向性補正用の方向性補正パラメータを設定するものであることを特徴とする画像処理装置。
8. 前記エッジ特徴量が、前記エッジの鮮鋭度、および前記エッジの鮮鋭度の分布を含むものであることを特徴とする請求項７記載の画像処理装置。
9. 前記ボケ情報取得手段が、前記ボケのボケ幅も前記ボケ情報として取得するものであることを特徴とする請求項７または８記載の画像処理装置。
10. 前記ボケ情報取得手段が、前記ボケのぶれの程度の大小を示すぶれ度も前記ボケ情報として取得するものであり、
    前記パラメータ設定手段が、前記ぶれ度が高いほど、方向性補正の重みが高くなるように、等方性補正用の等方性補正パラメータと方向性補正用の方向性補正パラメータとを重み付け合算して前記パラメータを設定するものであることを特徴とする請求項７から９のいずれか１項記載の画像処理装置。
11. 前記ボケ情報取得手段が、前記ボケの程度の大小を示すボケ度も前記ボケ情報として取得するものであり、
    前記パラメータ設定手段が、前記ボケ度が高いほど補正強度が大きくなるように前記パラメータを設定するものであることを特徴とする請求項７から１０のいずれか１項記載の画像処理装置。
12. 前記パラメータ設定手段が、前記ボケ度が所定の閾値以上の前記デジタル写真画像に対してのみ、前記パラメータの設定を行うものであることを特徴とする請求項１１記載の画像処理装置。
13. 前記デジタル写真画像の撮影シーンの種類を解析する撮影シーン解析手段を更に備え、
    前記パラメータ設定手段が、前記ボケ情報、および前記解析により得られた前記撮影シーンの種類に基づいて前記パラメータを設定するものであることを特徴とする請求項７から１２のいずれか１項記載の画像処理装置。
14. 前記デジタル写真画像に対して縮小処理を施して縮小画像を得る画像縮小手段をさらに備え、
    前記エッジ検出手段が、前記縮小画像から前記エッジを検出するものであることを特徴とする請求項７から１３のいずれか１項記載の画像処理装置。
15. 前記エッジ検出手段が、所定の閾値以上の強度を有するエッジのみを検出するものであることを特徴とする請求項７から１４のいずれか１項記載の画像処理装置。
16. 前記エッジ検出手段により検出された前記エッジのうち、無効なエッジを除去する無効エッジ除去手段をさらに備えたことを特徴とする請求項７から１５のいずれか１項記載の画像処理装置。
17. 前記パラメータ設定手段により設定されたパラメータを用いて前記デジタル写真画像を補正して補正済み画像を得る補正手段をさらに備えたことを特徴とする請求項７から１３のいずれか１項記載の画像処理装置。
18. 前記パラメータ設定手段が、前記パラメータを複数設定するものであり、
    前記補正手段が、前記パラメータ設定手段により設定された複数の前記パラメータを用いて各前記パラメータに対応する前記補正済み画像を得るものであり、
    各々の前記補正済み画像から所望の画像を前記ユーザに選択させる選択手段と、
    選択された前記補正済み画像を目的画像とする目的画像決定手段とをさらに備えたことを特徴とする請求項１７記載の画像処理装置。
19. 前記パラメータ設定手段が、前記パラメータを複数設定するものであり、
    前記補正手段が、前記パラメータ設定手段により設定された複数の前記パラメータを用いて各前記パラメータに対応する前記補正済み画像を得るものであり、
    各々の前記補正済み画像の補正効果を評価する評価手段と、
    前記補正効果が最も良い前記補正済み画像を目的画像とする目的画像決定手段とをさらに備えたことを特徴とする請求項１７記載の画像処理装置。
20. 前記補正済み画像を目的画像とするか否かをユーザに確認させる確認手段と、
    前記確認の結果が前記補正済み画像を目的画像とすることになるまで、前記パラメータ設定手段に前記パラメータの設定し直しをさせ、前記補正手段に、設定し直された前記パラメータを用いて前記補正を行わせる補正制御手段とをさらに備えたことを特徴とする請求項１７記載の画像処理装置。
21. 前記デジタル写真画像が、携帯電話機付属のデジタルカメラにより取得したものであることを特徴とする請求項７から２０のいずれか１項記載の画像処理装置。
22. デジタル写真画像に対して、複数の異なる方向毎にエッジを検出する検出処理と、
    各前記方向における前記エッジの特徴量を取得するエッジ特徴量取得処理と、
    該エッジ特徴量に基づいて、前記デジタル写真画像におけるボケのボケ方向情報を含むボケ情報を求めるボケ情報取得処理と、
    前記ボケ情報に基づいて前記ボケを補正するためのパラメータを設定するパラメータ設定処理をコンピュータに実行させるプログラムであって、
    前記ボケ方向情報が、前記ボケが無方向性のピンボケか有方向性のぶれかを示す情報、およびぶれの場合の該ぶれの方向を示す情報であり、
    前記パラメータ設定処理が、ピンボケの場合には等方性補正用の等方性補正パラメータを、ぶれの場合には方向性補正用の方向性補正パラメータを設定することを特徴とするプログラム。
23. 前記エッジ特徴量が、前記エッジの鮮鋭度、および前記エッジの鮮鋭度の分布を含むものであることを特徴とする請求項２２記載のプログラム。
24. 前記ボケ情報取得処理が、前記ボケのボケ幅も前記ボケ情報として取得することを特徴とする請求項２２または２３記載のプログラム。
25. 前記ボケ情報取得処理が、前記ボケのぶれの程度の大小を示すぶれ度も前記ボケ情報として取得する処理であり、
    前記パラメータ設定処理が、前記ぶれ度が高いほど、方向性補正の重みが高くなるように、等方性補正用の等方性補正パラメータと方向性補正用の方向性補正パラメータとを重み付け合算して前記パラメータを設定することを特徴とする請求項２２記載のプログラム。
26. 前記ボケ情報取得処理が、前記ボケの程度の大小を示すボケ度も前記ボケ情報として取得する処理であり、
    前記パラメータ設定処理が、前記ボケ度が高いほど補正強度が大きくなるように前記パラメータを設定することを特徴とする請求項２２から２５のいずれか１項記載のプログラム。
27. 前記デジタル写真画像の撮影シーンの種類を解析する撮影シーン解析処理をさらにコンピュータに実行させ、
    前記パラメータ設定処理が、前記ボケ情報、および前記解析により得られた撮影シーンの種類に基づいて前記パラメータを設定することを特徴とする請求項２２から２６のいずれか１項記載のプログラム。
28. 撮像手段と、
    前記撮像手段により得られたデジタル写真画像から該デジタル写真画像におけるボケのボケ方向情報を含むボケ情報を取得する画像処理手段とを備えたデジタルカメラであって、
    前記画像処理手段が、請求項７から９のいずれか１項記載の画像処理装置であることを特徴とするデジタルカメラ。
29. 前記画像処理手段により取得された前記ボケ情報を前記デジタル写真画像に付属させて出力する出力手段をさらに備えてことを特徴とする請求項２８記載のデジタルカメラ。

Images