JP4685966B2 - 画像処理方法および装置並びにプログラム - Google Patents

Description

本発明はデジタル写真画像に対してボケを補正する画像処理方法および装置並びにそのためのプログラムに関するものである。

ネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナーなどの読取装置で光電的に読み取って得たデジタル写真画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得たデジタル写真画像などに対して、種々の画像処理を施してプリントすることが行われている。これらの画像処理の一つとして、ボケた画像（ボケ画像）からボケを取り除くボケ画像修復処理が挙げられる。

被写体を撮像して得た写真画像がぼけてしまう理由としては、焦点距離が合わないことに起因するピンボケと、撮像者の手のぶれに起因するぶれボケ（以下略してぶれという）が挙げられる。ピンボケの場合には、点像が２次元的に広がり、すなわち写真画像上における広がりが無方向性を呈することに対して、ぶれの場合には、点像がある軌跡を描き画像上に１次元的に広がり、すなわち写真画像上における広がりがある方向性を呈する。

デジタル写真画像の分野において、従来、ボケ画像を修復するために、様々な方法が提案されている。写真画像の撮像時にぶれの方向やぶれ幅などの情報が分かれば、Ｗｉｅｎｅｒフィルタや逆フィルタなどの復元フィルタを写真画像に適用することにより修復ができることから、撮像時にぶれの方向やぶれ幅などの情報を取得することができる装置（例えば加速度センサー）を撮像装置に設け、撮像と共にぶれの方向やぶれ幅などの情報を取得し、取得された情報に基づいて修復を図る方法が広く知られている（例えば、特許文献１参照）。

また、ボケ画像（ボケがある画像）に対して劣化関数を設定し、設定された劣化関数に対応する復元フィルタでボケ画像を修復し、修復後の画像を評価し、評価の結果に基づいて劣化関数を再設定するようにして、所望の画質になるまで、修復、評価、劣化関数の再設定を繰り返すことによって修復を図る方法も知られている。この方法は、劣化関数の設定、修復、評価、劣化関数の再設定・・・の処理を繰り返す必要があるため、処理時間がかかるという問題がある。特許文献２には、ユーザにボケ画像中の縁部を含む小さな領域を指定させ、ボケ画像全体の代わりに、指定されたこの小さな領域に対して、前述の劣化関数の設定、修復、評価、劣化関数の再設定・・・の処理を繰り返して最適な劣化関数を求め、この劣化関数に対応した復元フィルタをボケ画像全体に適用し、劣化関数を求めるのに使用する画像を前述の小領域の画像にすることによって演算量を減らし、効率向上を図る方法が提案されている。

一方、携帯電話の急激な普及に伴って、携帯電話機の機能が向上し、その中でも携帯電話付属のデジタルカメラ（以下略した携帯カメラという）の機能の向上が注目を浴びている。近年、携帯カメラの画素数が１００万の桁に上がり、携帯カメラが通常のデジタルカメラと同様な使い方がされている。友達同士で旅行に行く時の記念写真などは勿論、好きなタレント、スポーツ選手を携帯カメラで撮像する光景が日常的になっている。このような背景において、携帯カメラにより撮像して得た写真画像は、携帯電話機のモニタで鑑賞することに留まらず、例えば、通常のデジタルカメラにより取得した写真画像と同じようにプリントすることも多くなっている。

他方、携帯カメラは、人間工学的に、本体（携帯電話機）が撮像専用に製造されていないため、撮像時のホールド性が悪いという問題がある。また、携帯カメラは、フラッシュがないため、通常のデジタルカメラよりシャッタースピードが遅い。このような理由から携帯カメラにより被写体を撮像するときに、通常のカメラより手ぶれが起きやすい。極端な手ぶれは、携帯カメラのモニタで確認することができるが、小さな手ぶれは、モニタで確認することができず、プリントして初めて画像のぶれに気付くことが多いため、携帯カメラにより撮像して得た写真画像に対してぶれの補正を施す必要性が高い。

また、近年、画像認識技術が進み、写真画像から顔などの主要被写体を精度良く認識して抽出することができるようになっている。

特開２００２−１１２０９９号公報 特開平７−１２１７０３号公報

しかしながら、携帯電話機の小型化は、その性能、コストに並び、各携帯電話機メーカの競争の焦点の１つであり、携帯電話機付属のカメラに、ぶれの方向やぶれ幅を取得する装置を設けることが現実的ではないため、特許文献１に提案されたような方法は、携帯カメラに適用することができない。

また、特許文献２に提案された方法は、ユーザにより小領域の指定を必要とするため、面倒である。さらに、写真画像には、顔などの主要被写体をアップにして撮像した被写界深度の浅い画像があり、このような被写界深度の浅い画像の場合、ボケていなくても、主要被写体以外の他の部分がボケている。ユーザにより指定された小領域が主要被写体以外の部分に位置すると、適切な劣化関数を求めることができず、補正した画像の画質は返って劣化してしまうという問題がある。

本発明は、上記事情に鑑み、特別な装置を撮像装置に設けることを必要とせずにデジタル写真画像におけるボケの補正を効率良く行うことを可能にすると共に、被写界深度の浅い画像に対しても適切な補正を行うことができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の第１の画像処理方法は、デジタル写真画像におけるボケを補正する画像処理方法において、
前記デジタル写真画像から主要被写体領域を抽出し、
該主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定し、
設定された前記パラメータを用いて前記デジタル写真画像に対して補正を行うことを特徴とするものである。

本発明の第２の画像処理方法は、デジタル写真画像におけるボケを補正する画像処理方法において、
前記デジタル写真画像が被写界深度の浅い画像か否かを判別し、
被写界深度の浅い画像に判別された前記デジタル写真画像に対して、該デジタル写真画像から主要被写体領域を抽出し、該主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定する一方、被写界深度の浅い画像に判別された画像以外の前記デジタル写真画像に対して、該デジタル写真画像全体を用いて前記ボケを補正するためのパラメータを設定し、
設定された前記パラメータを用いて前記デジタル写真画像に対して補正を行うことを特徴とするものである。

本発明の第３の画像処理方法は、デジタル写真画像におけるボケを補正する画像処理方法において、
前記デジタル写真画像から主要被写体領域を抽出し、
該主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定して第１のパラメータとすると共に、前記デジタル写真画像全体または前記主要被写体領域以外の領域の画像を用いて前記ボケを補正するためのパラメータを設定して第２のパラメータとし、
前記デジタル写真画像が被写界深度の浅い画像である確信度を求め、
前記確信度が高いほど前記第１のパラメータの重みが大きくなるように前記第１のパラメータと前記第２のパラメータとを重付合算して前記ボケを補正するためのパラメータを取得し、
該パラメータを用いて前記デジタル写真画像に対して補正を行うことを特徴とするものである。

前記デジタル写真画像に、該デジタル写真画像を撮像した撮像装置のレンズのＦ値を含む付属情報が付属されている場合、本発明の画像処理方法は、前記付属情報を読み取って前記Ｆ値を取得し、該Ｆ値に基づいて前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うことができる。

ここで、前記Ｆ値に基づいて前記デジタル写真画像が被写界深度の浅い画像か否かの判断を行う際に、例えば、前記デジタル写真画像の付属情報に含まれたＦ値が所定の閾値（例えば５．６）以下であれば、該デジタル写真画像が被写界深度の浅い画像であると判別することができ、前記Ｆ値が前記所定の閾値より大きければ、該デジタル写真画像が被写界深度の浅い画像ではないと判別することができる。

また、前記Ｆ値に基づいて前記デジタル写真画像が被写界深度の浅い画像である確信度を求める際に、例えば、最大確信度と最小確信度とを夫々１００％と０％にして、所定の閾値（例えば２．８）以下のＦ値のデジタル写真画像の前記確信度を１００％、この所定の閾値より大きい所定の閾値（例えば１１）以上のＦ値のデジタル写真画像の前記確信度を０％、この２つの閾値の間の範囲（例えば２．８と１１を除く２．８〜１１の範囲）内のＦ値のデジタル写真画像の前記確信度を１００％と０％を除いた１００％から０％の間にあり、かつＦ値が大きいほど大きくなる値とするようにすればよい。

また、本発明の画像処理方法は、前記デジタル写真画像から抽出した主要被写体領域の画像および前記主要被写体領域以外の領域の画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理を夫々施して夫々の前記ボケ情報を得、前記主要被写体領域の画像から取得された前記ボケ情報および前記主要被写体領域以外の領域の画像から取得された前記ボケ情報とを比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うことができる。

ボケは画像中の点像の広がりを引き起こすため、ボケがある画像（以下ボケ画像という）には、点像の広がりに応じたエッジの広がりが生じる。すなわち、画像中におけるエッジの広がりの態様は画像中におけるボケと直接関係するものである。本発明におけるボケ情報取得処理は、この点に着目して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量に基づいて前記ボケ情報を求めるものである。

ここで、「エッジ特徴量」が、対象となる画像（以下略して対象画像という。ここではデジタル写真画像における主要被写体領域の画像または主要被写体領域以外の領域の画像となる）におけるエッジの広がりの態様と関係する特徴量を意味し、例えば、エッジの鮮鋭度、前記エッジの鮮鋭度の分布を含むものとすることができる。

「エッジの鮮鋭度」は、エッジの鮮鋭さを現すことができるものであれば如何なるパラメータを用いてもよく、例えば、図５のエッジプロファイルにより示されるエッジの場合、エッジ幅が大きいほどエッジの鮮鋭度が低いように、エッジ幅をエッジの鮮鋭度として用いることは勿論、エッジの明度変化の鋭さ（図５におけるプロファイル曲線の勾配）が高いほどエッジの鮮鋭度が高いように、エッジのプロファイル曲線の勾配をエッジの鮮鋭度として用いるようにしてもよい。

また、「ボケ情報」は、対象画像におけるボケの態様を表すことができる情報を意味し、ボケの方向に関するボケ方向情報とボケ幅とすることができる。「ボケ」は、無方向性のボケすなわちピンボケと、有方向性のボケすなわちぶれがあり、ぶれの場合は、ボケ方向がぶれ方向に相当し、ピンボケの場合において、その「ボケ方向」は「無方向」となる。また、「ボケ幅」とは、ボケ方向におけるボケの幅を意味し、例えば、ボケ方向におけるエッジのエッジ幅の平均値とすることができる。また、ボケが無方向性のピンボケの場合において、任意の１つの方向におけるエッジのエッジ幅をボケ幅としてもよいが、前記複数の異なる方向に含まれる全ての方向におけるエッジのエッジ幅の平均値とすることが好ましい。

さらに、本発明における対象画像は、ボケ画像に限らず、ピンボケもぶれもない通常画像（ピンボケもぶれもない被写界深度の浅いデジタル写真画像における主要被写体領域の画像が通常画像となり、主要被写体領域以外の領域の画像はピンボケ画像となる）もあり、このような通常画像は、無ボケ、すなわち「無方向」のボケ方向情報と「所定の閾値以下の」ボケ幅とからなるボケ情報を有することとする。

また、前記「複数の異なる方向」とは、対象画像におけるボケの方向を特定するための方向を意味し、ボケの方向に近い方向を含むことが必要であるため、その数が多ければ多いほど特定の精度が高いが、処理速度との兼ね合いに応じた適宜な個数、例えば、図４に示すような８方向を用いることが好ましい。

本発明の画像処理方法において、前記主要被写体領域の画像のボケ情報と前記主要被写体領域以外の領域の画像のボケ情報とを比較することによって前記デジタル写真画像が被写界深度の浅い画像か否かの判断を行う際に、例えば、主要被写体領域の画像のボケ情報が「無方向」と「所定の第１の閾値以下のボケ幅」であり、主要被写体領域以外の領域のボケ情報が「無方向」と「所定の第１の閾値以上のボケ幅」であれば、このデジタル写真画像を被写界深度の浅い画像であると判別することができる。なお、この場合、このデジタル写真画像はピンボケもぶれもない写真画像とすることができるが、ピンボケのある被写界深度の浅いデジタル写真画像の場合、主要被写体領域の画像のボケ情報が「無方向」と「所定の第１の閾値以上のボケ幅」となり、主要被写体領域以外の領域の画像のボケ情報が「無方向」と「主要被写体領域の画像におけるボケ幅より大きいボケ幅」となる。ぶれのある被写界深度の浅いデジタル写真画像の場合、主要被写体領域の画像と主要被写体領域以外の領域の画像のボケ方向情報として「有方向」となるが、ボケ幅にはやはり差が出る。逆に、被写界深度の浅い画像ではないデジタル写真画像の場合、主要被写体領域の画像のボケ情報と主要被写体領域以外の領域の画像のボケ情報とはそれほど差がないはずである。本発明の画像処理方法は、このような傾向に着目して、デジタル写真画像における主要被写体領域の画像のボケ情報と主要被写体領域以外の画像のボケ情報とを比較することによって、このデジタル写真画像が被写界深度の浅い画像か否かを判別することができる。

また、本発明の画像処理方法において、デジタル写真画像における主要被写体領域の画像のボケ情報と主要被写体領域以外の領域の画像のボケ情報とを比較することによって該デジタル写真画像が被写界深度の浅い画像である確信度の算出については、２つの領域のボケ情報の差異によって被写界深度の浅い画像か否かの２つのみの判別ではなく、この差異が大きいデジタル写真画像ほど被写界深度の浅い画像である確信度が大きいように前記確信度を算出すればよい。

さらに、本発明の画像処理方法は、前記デジタル写真画像を複数のブロックに分け、
各前記ブロックの画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理を夫々施して夫々の前記ボケ情報を得、
各々の前記ブロックの画像から取得された前記ボケ情報を比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うことができる。

被写界深度の浅い画像であれば、或いは被写界深度の浅い画像である確信度が高ければ、各々の前記ブロックを、グループ間のボケ情報の差異が所定の閾値以上で、夫々のグループ内の各ブロックのボケ情報の差異が少ない特徴を有する２つ以上のグループに分けることができる。これらのグループは、前記主要被写体領域の画像と主要被写体領域以外の画像に相当すると考えることができ、本発明の画像処理方法はこの点に着目して各ブロックの画像のボケ情報を比較することによって前記判別または前記確信度の算出を行うようにしてもよい。

本発明の画像処理方法において、前記ボケを補正するためのパラメータを設定する方法としては、前記パラメータを設定することに使用される画像（第１の画像処理方法においては主要被写体領域の画像、第２の画像処理方法においては主要被写体領域の画像とデジタル写真画像全体、第３の画像処理方法においては主要被写体領域の画像、およびデジタル写真画像全体または主要被写体領域以外の領域の画像）を用いて前記パラメータを設定することができれば如何なる方法（例えば、特許文献２記載の方法）でもよいが、本発明の画像処理方法は、前記パラメータを設定することに使用される画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理を施し、前記ボケ情報に基づいて前記パラメータを設定することが好ましい。

前述したように、「ボケ」は、無方向性のボケすなわちピンボケと、有方向性のボケすなわちぶれがあり、ぶれの場合は、ボケ方向がぶれ方向に相当し、ピンボケの場合において、その「ボケ方向」は「無方向」となる。本発明の画像処理方法は、前記ボケ方向情報として、前記ボケが無方向性のピンボケ（ボケが無方向）か有方向性のぶれ（ボケが有方向）かを示す情報、およびぶれの場合の該ぶれの方向を示す情報を取得し、前記パラメータを設定する際に、ピンボケの場合には等方性補正用の等方性補正パラメータを、ぶれの場合には方向性補正用の方向性補正パラメータを設定するようにすることができる。

ここで、「等方性補正」とは、各方向に対して同等に作用する補正を意味し、「方向性補正」とは、所定の方向にのみ作用する補正あるいは方向により作用が異なる補正を意味する。一方、ボケが、エッジの広がりとして画像に現れるため、ボケを補正する方法としては、従来公知の、画像の鮮鋭度を向上させるための補正方法、例えば、ＵＳＭ（アン・シャープネス・マスキング）などを用いることができる。前記補正のパラメータを設定する際に、所用の補正方法に応じてパラメータを設定する。例えば、補正の方法としてＵＳＭを用いる場合に、等方性補正パラメータとして等方性補正マスクを設定し、方向性補正のパラメータとしては前記ぶれ方向に作用する方向性補正マスクを設定するようにすればよい。さらに、ボケ情報に含まれるボケ幅に応じて補正マスクのサイズを設定してもよい。

また、前記ボケ情報によりボケをピンボケとぶれとに明確に分けることができない場合があり、ボケ画像には、ピンボケとぶれとの両方が存在する場合もある。このような場合に備え、本発明の画像処理方法は、ボケをピンボケかぶれかに決め付けず、ボケ方向におけるボケのぶれの程度の大小を示すぶれ度も前記ボケ情報として取得し、前記ぶれ度が高いほど、方向性補正の重みが高くなるように、等方性補正用の等方性補正パラメータと方向性補正用の方向性補正パラメータとを重み付け合算して前記パラメータを設定することが好ましい。

さらに、本発明の画像処理方法は、前記ボケの程度の大小を示すボケ度も前記ボケ情報として取得し、前記ボケ度が高いほど補正強度が大きくなるように前記パラメータを設定するようにしてもよい。

ここで、ボケ度が所定の閾値より小さい画像をボケがない通常画像とすることができるため、このような画像に対して「補正しない」ようなパラメータを設定して補正するようにしてもよいが（その結果、補正済み画像と元の画像とが同じである）、処理の効率性を高めるために、ボケ度が所定の閾値以上の前記デジタル写真画像に対してのみ、前記パラメータの設定および前記補正を行い、前記閾値よりボケ度の小さい画像に対しては前記パラメータの設定も、勿論補正もしないようにすることが好ましい。

また、デジタル写真画像を縮小して得た縮小画像は、原画像よりもエッジを検出しやすく、エッジの検出にかかる演算量が少ないので、本発明において、対象画像に対して縮小処理を施して得た縮小画像から前記エッジを検出することが好ましい。

さらに、強度の低いエッジは、ノイズである可能性が高く、また人間は強度の高いエッジの状態によりボケを認識するので、本発明において、対象画像に対して所定の閾値以上の強度を有するエッジのみを検出することが好ましい。

さらに、対象画像から検出された前記エッジのうち、無効なエッジを除去することが好ましい。なお、「無効なエッジ」とは、ボケ情報の取得に関連性が低いエッジや、ボケ情報の取得を困難にしたり、間違ったボケ情報を取得させたりする可能性のあるエッジを意味し、形状が複雑なエッジや、光源を含むエッジなどを挙げることができる。

本発明の第１の画像処理装置は、デジタル写真画像におけるボケを補正する画像処理装置であって、
前記デジタル写真画像から主要被写体領域を抽出する主要被写体抽出手段と、
該主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定するパラメータ設定手段と、
該パラメータ設定手段により設定された前記パラメータを用いて前記デジタル写真画像に対して補正を行う補正手段とを有することを特徴とするものである。

本発明の第２の画像処理装置は、デジタル写真画像におけるボケを補正する画像処理装置であって、
前記デジタル写真画像から主要被写体領域を抽出する主要被写体抽出手段と、
前記デジタル写真画像が被写界深度の浅い画像か否かを判別する判別手段と、
前記判別手段により被写界深度の浅い画像に判別された前記デジタル写真画像に対して、前記主要被写体抽出手段により抽出された該デジタル写真画像の前記主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定する一方、被写界深度の浅い画像に判別された画像以外の前記デジタル写真画像に対して、該デジタル写真画像全体を用いて前記ボケを補正するためのパラメータを設定するパラメータ設定手段と、
該パラメータ設定手段により設定された前記パラメータを用いて前記デジタル写真画像に対して補正を行う補正手段とを有することを特徴とするものである。

本発明の第３の画像処理装置は、デジタル写真画像におけるボケを補正する画像処理装置であって、
前記デジタル写真画像から主要被写体領域を抽出する主要被写体抽出手段と、
前記デジタル写真画像が被写界深度の浅い画像である確信度を求める確信度算出手段と、
前記主要被写体抽出手段により抽出された前記主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定する第１のパラメータ設定手段と、
前記デジタル写真画像全体または前記主要被写体領域以外の領域の画像を用いて前記ボケを補正するためのパラメータを設定する第２のパラメータ設定手段と、
前記確信度算出手段により得られた前記確信度が高いほど前記第１のパラメータ設定手段により設定された前記パラメータの重みが大きくなるように前記第１のパラメータにより設定されたパラメータと前記第２のパラメータ設定手段により設定されたパラメータとを重付合算して統合パラメータを取得する統合パラメータ取得手段と、
該統合パラメータ取得手段により取得された前記統合パラメータを用いて前記デジタル写真画像に対して補正を行う補正手段とを有してなることを特徴とするものである。

本発明の画像処理装置は、前記デジタル写真画像を撮像した撮像装置のレンズのＦ値を含む付属情報が付属された前記デジタル写真画像の前記付属情報を読み取って前記Ｆ値を取得する付属情報読取手段を備え、
前記判別手段または前記確信度算出手段が、前記Ｆ値に基づいて前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うものとすることができる。

本発明の画像処理装置は、対象画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得手段を備え、
前記判別手段または前記確信度算出手段が、前記ボケ情報取得手段により前記主要被写体領域の画像および前記主要被写体領域以外の領域の画像を夫々前記対象画像にして取得された夫々の前記ボケ情報を比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うものとすることができる。

本発明の画像処理装置は、前記デジタル写真画像を複数のブロックに分けるブロック分け手段と、
対象画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得手段とを備え、
前記判別手段または前記確信度算出手段が、前記ボケ情報取得手段により各前記ブロックの画像を夫々前記対象画像にして取得された各々の前記ボケ情報を比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うものとすることができる。

本発明の画像処理装置における前記パラメータ設定手段は、前記ボケを補正するためのパラメータを設定するために用いられる画像に対して、該画像における複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得手段を備え、取得された前記ボケ情報に基づいて前記パラメータを設定するものであることが好ましい。

また、デジタル写真画像においては、主要被写体が２つ以上ある場合がある。例えば、複数の人間が写った１つの画像には、顔が重ならない限り人数分の顔部分が存在する。このようなデジタル写真画像の場合、主要被写体が複数抽出される。主要被写体領域の画像を用いてパラメータを設定するパラメータ設定手段（第１の画像処理装置のパラメータ設定手段、第２の画像処理装置のパラメータ設定手段、第３の画像処理装置の第１のパラメータ設定手段）は、抽出された全ての主要被写体領域の画像を用いてパラメータ（第３の画像処理装置の場合においては第１のパラメータ）を設定するようにしてもよいが、本発明の画像処理装置は、抽出された複数の主要被写体から１つの主要被写体を選択して、該選択された主要被写体を用いてパラメータを設定することが望ましい。すなわち、本発明の画像処理装置における前記主要被写体抽出手段は、前記デジタル写真画像から主要被写体領域の候補を抽出する主要被写体候補抽出手段と、該主要被写体候補抽出手段により抽出された複数の前記主要被写体候補から前記主要被写体の領域を選択する主要被写体選択手段とからなることが望ましい。

ここで、主要被写体選択手段は、具体的には、ボケ情報の解析など補正用のパラメータを設定する上で最も重要と思われる主要被写体候補、または撮像者が最も重要視すると思われる主要被写体候補を主要被写体として選択すればよい。例えば、複数の前記主要被写体候補から、サイズが最も大きい主要被写体候補を前記主要被写体として選択するようにしてもよいし、デジタル写真画像の最も中央部分に近い主要被写体候補を主要被写体として選択するようにしてもよい。

さらに、例えば、複数の前記主要被写体候補のうち、ユーザにより指示された主要被写体候補を主要被写体として選択するようにしてもよい。

また、パラメータ設定手段に用いられる画像（デジタル写真画像そのもの、主要被写体領域の画像、主要被写体領域以外の領域の画像）のサイズは様々である。これらの画像をそのままのサイズで用いてパラメータを設定するのでは、処理時間がかかり効率が良くないため、縮小処理を施してから用いることが望ましい。しかし、サイズの大きい画像とサイズの小さい画像に対して同じ縮小率で縮小するのでは、例えばパラメータを設定するためにエッジを抽出する処理において、抽出されるエッジ数が多いため、後にパラメータを設定するための解析などの時間も長くなり、効率が良くない。一方、処理時間を短縮するために、大きいサイズの画像に対して適切な縮小率で小さいサイズの画像を縮小するのでは、縮小されたが小さすぎて適切な解析ができず、ひいては適切なパラメータを設定することができないという問題がある。本発明の画像処理装置は、前記パラメータ設定手段により用いられる画像に対して縮小処理を施して縮小画像を得る縮小手段を備え、前記パラメータ設定手段が、前記縮小画像を用いて前記パラメータを設定するものであり、前記縮小手段が、前記パラメータ設定手段により用いられる前記主要被写体領域の画像のサイズに応じて、該サイズが大きいほど該画像に対する縮小強度を強めるように（逆にサイズが小さいほど該画像に対する縮小強度を弱める（縮小強度がゼロ、すなわち縮小しないことを含む）ように）前記縮小処理を施すものであることが好ましい。

また、ここでは、デジタル写真画像から抽出される主要被写体の領域の画像のサイズのばらつきが大きいことに着目し、縮小手段は主要被写体領域の画像に対して縮小処理を施す際に、そのサイズに応じて縮小強度を調整して縮小を行うようにしているが、パラメータ設定手段に用いられる他の画像（デジタル写真画像全体、主要被写体領域以外の領域の画像）に対して同じ調整を行って縮小を行っても勿論よい。

また、画像のサイズは、例えば画像を表す画像データの画素数とすることができる。

本発明の第１のプログラムは、デジタル写真画像におけるボケを補正する画像処理をコンピュータに実行させるプログラムであって、
前記画像処理が、前記デジタル写真画像から主要被写体領域を抽出する主要被写体抽出処理と、
該主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定するパラメータ設定処理と、
該パラメータ設定処理により設定された前記パラメータを用いて前記デジタル写真画像に対して補正を行う補正処理とを有することを特徴とするものである。

本発明の第２のプログラムは、デジタル写真画像におけるボケを補正する画像処理をコンピュータに実行させるプログラムであって、
前記画像処理が、前記デジタル写真画像から主要被写体領域を抽出する主要被写体抽出処理と、
前記デジタル写真画像が被写界深度の浅い画像か否かを判別する判別処理と、
前記判別処理により被写界深度の浅い画像に判別された前記デジタル写真画像に対して、前記主要被写体抽出処理により抽出された該デジタル写真画像の前記主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定する一方、被写界深度の浅い画像に判別された画像以外の前記デジタル写真画像に対して、該デジタル写真画像全体を用いて前記ボケを補正するためのパラメータを設定するパラメータ設定処理と、
該パラメータ設定処理により設定された前記パラメータを用いて前記デジタル写真画像に対して補正を行う補正処理とを有することを特徴とするものである。

本発明の第３のプログラムは、デジタル写真画像におけるボケを補正する画像処理をコンピュータに実行させるプログラムであって、
前記デジタル写真画像から主要被写体領域を抽出する主要被写体抽出処理と、
前記デジタル写真画像が被写界深度の浅い画像である確信度を求める確信度算出処理と、
前記主要被写体抽出処理により抽出された前記主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定する第１のパラメータ設定処理と、
前記デジタル写真画像全体または前記主要被写体領域以外の領域の画像を用いて前記ボケを補正するためのパラメータを設定する第２のパラメータ設定処理と、
前記確信度算出処理により得られた前記確信度が高いほど前記第１のパラメータ設定処理により設定された前記パラメータの重みが大きくなるように前記第１のパラメータにより設定されたパラメータと前記第２のパラメータ設定処理により設定されたパラメータとを重付合算して統合パラメータを取得する統合パラメータ取得処理と、
該統合パラメータ取得処理により取得された前記統合パラメータを用いて前記デジタル写真画像に対して補正を行う補正処理とを有することを特徴とするものである。

前記画像処理は、前記デジタル写真画像を撮像した撮像装置のレンズのＦ値を含む付属情報が付属された前記デジタル写真画像の前記付属情報を読み取って前記Ｆ値を取得する付属情報読取処理を有し、前記判別処理または前記確信度算出処理が、前記Ｆ値に基づいて前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求めるようにすればよい。

前記画像処理は、対象画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理を有し、前記判別処理または前記確信度算出処理が、前記ボケ情報取得処理により前記主要被写体領域の画像および前記主要被写体領域以外の領域の画像を夫々前記対象画像にして取得された夫々の前記ボケ情報を比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うようにすればよい。

前記画像処理は、前記デジタル写真画像を複数のブロックに分けるブロック分け処理と、対象画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理とを有し、前記判別処理または前記確信度算出処理が、前記ボケ情報取得処理により各前記ブロックの画像を夫々前記対象画像にして取得された各々の前記ボケ情報を比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うようにすればよい。

前記パラメータ設定処理は、前記ボケを補正するためのパラメータを設定するために用いられる画像に対して、該画像における複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理を有し、取得された前記ボケ情報基づいて前記パラメータを設定することが好ましい。

本発明の第１の画像処理方法および装置並びにプログラムによれば、デジタル写真画像から主要被写体領域を抽出し、主要被写体領域の画像を用いてボケを補正するためのパラメータを設定してデジタル写真画像に対して補正を行うようにしているので、パラメータを設定するための領域の指定をユーザにさせる必要がない。特に、被写界深度の浅いデジタル写真画像の場合において、最も補正を必要とする主要被写体の領域の画像のみを用いて補正用のパラメータを設定することによって、補正の精度を高めることができる。また、主要被写体領域の画像を用いて補正用のパラメータを設定することによって、撮像時にぶれに関する情報を取得するための装置を設ける必要がないため、撮像装置を大型化することを避けることができ、特に小型化を必須条件とする携帯電話機付属のデジタルカメラの場合には、メリットが大きい。

本発明の第２の画像処理方法および装置並びにプログラムによれば、デジタル写真画像が被写界深度の浅い画像か否かを判別し、被写界深度の浅い画像に対して、主要被写体領域の画像を用いて補正用のパラメータを設定して補正するようにしているので、本発明の第１の画像処理方法および装置並びにプログラムと同様の効果を得ることができると共に、被写界深度の浅い画像ではないデジタル写真画像に対しては、デジタル写真画像全体を用いて補正用のパラメータを設定して補正を行うようにしているので、被写界深度の浅い画像ではないデジタル写真画像の補正精度を高めることができる。

本発明の第３の画像処理方法および装置並びにプログラムによれば、デジタル写真画像が被写界深度の浅い画像である確信度を算出し、この確信度が高いほど、主要被写体領域の画像を用いて設定したパラメータ（第１のパラメータ）の重みが高くなるように、第１のパラメータと、デジタル写真画像全体または主要被写体領域以外の領域の画像を用いて設定したパラメータ（第２のパラメータ）とを重み付け合算して得たパラメータを用いてデジタル写真画像を補正するようにしているので、第２の画像処理方法および装置並びにプログラムと同様の効果を得ることができると共に、被写界深度に対する判別に多少のずれがあっても、良い補正効果を得ることができる。

本発明の画像処理方法および装置並びにプログラムは、対象画像に対して、異なる方向毎に検出したエッジの特徴量に基づいてボケ情報を取得し、このボケ情報に基づいてパラメータを設定して補正を行うようにすると、ボケ情報なしに補正、評価処理を繰り返す方法に比べ、演算量が少ないため、処理が早く、効率が良い。

本発明の第１の実施形態となる画像処理システムＡの構成を示すブロック図 図１に示す画像処理システムＡにおけるエッジ検出手段１２の構成を示すブロック図 図２に示すエッジ検出手段１２における第２の縮小手段１３の構成を示すブロック図 エッジを検出する際に用いられる方向を示す図 エッジプロファイルを示す図 エッジ幅のヒストグラムを示す図 解析手段２０の動作を説明するための図 ボケ度の算出を説明するための図 ぶれ度の算出を説明するための図 顔抽出手段１００の構成を示すブロック図 （ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図 勾配ベクトルの算出を説明するための図 （ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図 （ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図 参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図 顔の回転を説明するための図 参照データの学習手法を示すフローチャート 識別器の導出方法を示す図 識別対象画像の段階的な変形を説明するための図 図１に示す実施形態の画像処理システムＡの動作を示すフローチャート 本発明の第２の実施形態となる画像処理システムＢの構成を示すブロック図 図２１に示す画像処理システムＢの動作を示すフローチャート（その１） 図２１に示す画像処理システムＢの動作を示すフローチャート（その２） 本発明の第３の実施形態となる画像処理システムＣの構成を示すブロック図 図２４に示す画像処理システムＣの動作を示すフローチャート（その１） 図２４に示す画像処理システムＣの動作を示すフローチャート（その２） 本発明の第４の実施形態となる画像処理システムＤの構成を示すブロック図

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の画像処理方法および装置並びにそのためのプログラムの第１の実施形態となる画像処理システムＡの構成を示すブロック図である。図１に示す画像処理システムＡは、携帯電話機付属のデジタルカメラ（以下携帯カメラという）により取得した写真画像（以下略して単に画像という）を記録した記録媒体１から画像を読み出して画像処理を行うものであり、記録媒体１には多数の画像からなる画像群が記録されているが、ここでは、この画像群のうちの１つの画像Ｄを例にして説明を行う。

図示のように、本実施形態の画像処理システムＡは、記録媒体１から読み出された画像Ｄに対して例えば１／８の縮小率で縮小処理を行って画像Ｄの縮小画像ｄを得る縮小手段１０ａと、縮小画像ｄに対して主要被写体（ここでは例として顔）の検出を行うと共に、顔が検出されれば顔部分の画像（ここでは、顔部分の画像の縮小画像であるが、以下において顔部分の画像と顔部分の画像の縮小画像を符号により区別し、両方とも顔画像という）ｄ０を抽出して後述するエッジ検出手段１２に出力する一方、顔が検出されなければ縮小画像ｄをエッジ検出手段１２に出力する顔抽出手段１００と、顔抽出手段１００からの顔画像ｄ０および画像Ｄにおいて顔画像ｄ０に対応する部分の画像Ｄ０、または縮小画像ｄおよび画像Ｄを用いて、図４に示す８つの異なる方向毎にエッジを検出するエッジ検出手段１２と、エッジ検出手段１２により検出されたエッジのうちの、無効なエッジを除去するエッジ絞込手段１４と、エッジ絞込手段１４により得られたエッジの特徴量Ｓを取得するエッジ特徴量取得手段１６と、エッジ特徴量Ｓを用いて、ボケ方向およびボケ度Ｎを算出して画像Ｄがボケ画像か通常画像かを判別し、通常画像の場合には、後述する出力手段６０に画像Ｄが通常画像であることを示す情報Ｐを送信して処理を終了する一方、ボケ画像の場合には、さらにぶれ度Ｋ、ボケ幅Ｌを算出して、ボケ度Ｎおよびボケ方向と共にボケ情報Ｑとして後述するパラメータ設定手段３０に送信する解析手段２０と、解析手段２０からのボケ情報Ｑに基づいてボケ画像となる画像Ｄを補正するためのパラメータＥを複数（Ｅ０、Ｅ１、Ｅ２、・・・）設定するパラメータ設定手段３０と、パラメータＥ０、Ｅ１、Ｅ２、・・・を用いて画像Ｄに対して補正を行って、各パラメータに対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る補正手段４０と、各々の補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・から目的画像Ｄ’を決定して出力手段６０に出力する決定手段４５と、解析手段２０およびパラメータ設定手段３０のための種々のデータベースを記憶した記憶手段５０と、解析手段２０から画像Ｄが通常画像であることを示す情報Ｐを受信した場合には画像Ｄを出力する一方、決定手段４５から目的画像Ｄ’を受信した場合には目的画像Ｄ’を出力する出力手段６０とを有してなる。

以下、図１に示す画像処理システムＡの各構成について説明する。

まず、顔抽出手段１００について説明する。

図１０は、顔抽出手段１００の詳細構成を示すブロック図である。図示のように、顔抽出手段１００は、画像ｄから特徴量Ｃ０を算出する特徴量算出手段１１０と、後述する参照データＨ０により構成されるデータベース１１５と、特徴量算出手段１１０が算出した特徴量Ｃ０とデータベース１１５内の参照データＨ０とに基づいて、画像Ｄに人物の顔が含まれているか否かを識別すると共に、顔か含まれていれば顔画像ｄ０を切り出してエッジ検出手段１２に出力する一方、顔が含まれていなければ縮小画像ｄをエッジ検出手段に出力する顔検出手段１２０とを備えてなる。

顔抽出手段１００の特徴量算出手段１１０は、顔の識別に用いる特徴量Ｃ０を縮小画像ｄから算出する。具体的には、勾配ベクトル（すなわち縮小画像ｄ上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、特徴量算出手段１１０は、縮小画像ｄに対して図１１（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して縮小画像ｄにおける水平方向のエッジを検出する。また、特徴量算出手段１１０は、縮小画像ｄに対して図１１（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して縮小画像ｄにおける垂直方向のエッジを検出する。そして、縮小画像ｄ上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図１２に示すように、各画素における勾配ベクトルＫを算出する。

なお、このようにして算出された勾配ベクトルＫは、図１３（ａ）に示すような人物の顔の場合、図１３（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫは口よりも目の方が大きくなる。

そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図１２におけるｘ方向）を基準とした０から３５９度の値となる。

ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、縮小画像ｄの全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が縮小画像ｄの各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図１４（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図１４（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図１４（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図１４（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。

データベース１１５内を構成する参照データＨ０は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群の夫々について、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。

参照データＨ０中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。

なお、本実施形態においては、参照データＨ０を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図１５に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９画素および１１画素であり、両目の中心間距離において垂直に立った顔を平面上±１５度の範囲において３度単位で段階的に回転させた（すなわち、回転角度が−１５度，−１２度，−９度，−６度，−３度，０度，３度，６度，９度，１２度，１５度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×１１＝３３通り用意される。なお、図１５においては−１５度、０度および＋１５度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、両目の中心間の距離が１０画素のサンプル画像であれば、目の中心位置はすべて同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。また、図面上上下方向における目の位置（すなわちｙ１，ｙ２）はすべてのサンプル画像において同一である。

また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。

ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が１０画素であり、平面上の回転角度が０度（すなわち顔が垂直な状態）のもののみを用いて学習を行った場合、参照データＨ０を参照して顔であると識別されるのは、両目の中心間距離が１０画素で全く回転していない顔のみである。縮小画像ｄに含まれる可能性がある顔のサイズは一定ではないため、顔が含まれるか否かを識別する際には、後述するように縮小画像ｄを拡大縮小して、サンプル画像のサイズに適合するサイズの顔の位置を識別できるようにしている。しかしながら、両目の中心間距離を正確に１０画素とするためには、縮小画像ｄのサイズを拡大率として例えば１．１単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。

また、縮小画像ｄに含まれる可能性がある顔は、図１６（ａ）に示すように平面上の回転角度が０度のみではなく、図１６（ｂ）、（ｃ）に示すように回転している場合もある。しかしながら、両目の中心間距離が１０画素であり、顔の回転角度が０度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図１６（ｂ）、（ｃ）に示すように回転した顔については識別を行うことができなくなってしまう。

このため、本実施形態においては、顔であることが分かっているサンプル画像として、図１５に示すように両目の中心間距離が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたサンプル画像を用いて、参照データＨ０の学習に許容度を持たせるようにしたものである。これにより、後述する顔検出手段１２０において識別を行う際には、縮小画像ｄを拡大率として１１／９単位で段階的に拡大縮小すればよいため、縮小画像ｄのサイズを例えば拡大率として例えば１．１単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。また、図１６（ｂ）、（ｃ）に示すように回転している顔も識別することができる。

以下、図１７のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。

学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。なお、顔であることが分かっているサンプル画像は、上述したように１つのサンプル画像につき両目の中心位置が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたものを用いる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（Ｓ１）。

次に、サンプル画像における複数種類の画素群の夫々について識別器が作成される（Ｓ２）。ここで、夫々の識別器とは、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて、顔の画像と顔でない画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせについてのヒストグラムを識別器として使用する。

図１８を参照しながらある識別器の作成について説明する。図１８の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）⁴通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。

組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９⁴通りとなるため、特徴量Ｃ０のデータ数を低減できる。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１８の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。

続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（Ｓ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。

次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（Ｓ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。

ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。

次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（Ｓ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。

続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。

以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（Ｓ７）、これにより参照データＨ０の学習を終了する。

なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１８の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。

顔検出手段１２０は、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて参照データＨ０が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して縮小画像ｄに顔が含まれるか否かを識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。本実施形態では、すべての識別ポイントを加算して、その加算値の正負によって識別を行うものとする。例えば、識別ポイントの総和が正の値である場合には縮小画像ｄには顔が含まれると判断し、負の値である場合には顔が含まれないと判断する。

ここで、縮小画像ｄのサイズは３０×３０画素のサンプル画像とは異なり、各種サイズを有するものとなっている可能性がある。また、顔が含まれる場合、平面上における顔の回転角度が０度であるとは限らない。このため、顔検出手段１２０は、図１９に示すように、縮小画像ｄを縦または横のサイズが３０画素となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１９においては縮小する状態を示す）、各段階において拡大縮小された縮小画像ｄ上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された縮小画像ｄ上において１画素ずつ移動させながら、マスク内の画像が顔の画像であるか否かの識別を行うことにより、縮小画像ｄに顔が含まれるか否かを識別する。そして、縮小画像ｄに顔が含まれるか否かの識別を拡大縮小および回転の全段階の縮小画像ｄについて行い、一度でも顔が含まれると識別された場合には、縮小画像ｄには顔が含まれると識別し、顔が含まれると識別された段階におけるサイズおよび回転角度の縮小画像ｄから、識別されたマスクＭの位置に対応する３０×３０画素の領域を顔の画像ｄ０として抽出してエッジ検出手段１２に出力する一方、一度でも顔が含まれると識別されない場合には、縮小画像ｄには顔が含まれていないと識別し、縮小画像ｄをそのままエッジ検出手段１２に出力する。

なお、参照データＨ０の生成時に学習したサンプル画像として両目の中心位置の画素数が９，１０，１１画素のものを使用しているため、縮小画像ｄを拡大縮小する時の拡大率は１１／９とすればよい。また、参照データＨ０の生成時に学習したサンプル画像として、顔が平面上で±１５度の範囲において回転させたものを使用しているため、縮小画像ｄは３０度単位で３６０度回転させればよい。

なお、特徴量算出手段１１０は、縮小画像ｄの拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。

顔抽出手段１００は、このようにして縮小画像ｄに顔が含まれているか否か（すなわち画像Ｄに顔が含まれているか否か）を識別して、顔が含まれている場合には、抽出された顔画像ｄ０をエッジ検出手段１２に出力する一方、顔が含まれていない場合には縮小画像ｄをそのままエッジ検出手段１２に出力する。

なお、顔画像ｄ０が複数抽出された場合においては、顔抽出手段１００は、抽出された全ての顔画像ｄ０をエッジ検出手段１２に出力する。

図２は、エッジ検出手段１２の構成を示すブロック図である。図示のように、エッジ検出手段１２は、選択手段１１ａと、第２の縮小手段１３と、検出実行手段１１ｂとを備えてなる。

選択手段１１ａは、顔抽出手段１００から出力されてきた画像が１つ（１つのみの顔画像ｄ０または縮小画像ｄ）である場合には、この１つの画像をそのまま第２の縮小手段１３に出力する一方、顔抽出手段１００から複数の画像（顔画像ｄ０）が出力されてきた場合には、複数の顔画像ｄ０からエッジを抽出するのに用いる顔画像を選択して第２の縮小手段１３に出力するものである。本実施形態において、エッジ検出手段１２の選択手段１１ａは、複数の顔画像ｄ０の夫々の画素数を確認し、画素数が最も多い顔画像ｄ０を選択するものである。なお、選択手段１１ａから第２の縮小手段１３に出力された画像は、以下画像ｄ２という。

図３は、エッジ検出手段１２における第２の縮小手段１３の構成を示すブロック図である。図示のように、第２の縮小手段１３は、縮小率βを決定する縮小率決定手段１３ａと、縮小率βを用いて縮小処理を実行する縮小実行手段１３ｂとを備えてなる。

第２の縮小手段１３に出力されてきた画像ｄ２は３種類あり、夫々、顔抽出手段１００から出力されてきた縮小画像ｄ、顔抽出手段１００から出力されてきた１つのみの顔画像ｄ０、選択手段１１ａにより複数の顔画像ｄ０から選択された顔画像ｄ０である。縮小率決定手段１３ａは、この画像ｄ２に対応する、縮小されていない画像（縮小画像ｄの場合には画像Ｄ、顔画像ｄ０の場合には、画像Ｄにおける、顔画像ｄ０に対応する領域の画像）の画素数に応じて下記のように縮小率βを決定する。

１．画素数が１００万画素以下である場合、縮小率βを１に、すなわち縮小しないように決定する。

２．画素数が１００万画素より大きく、２００万画素以下である場合、縮小率βを１／２に決定する。

３．画素数が２００万画素より大きく、３００万画素以下である場合、縮小率βを１／４に決定する。

４．画素数が３００万画素より大きく、４００万画素以下である場合、縮小率βを１／８に決定する。

５．画素数が４００万画素より大きく、６００万画素以下である場合、縮小率βを１／１６に決定する。

６．画素数が６００万画素より大きい場合、縮小率βを１／３２に決定する。

縮小率決定手段１３ａは、このように決定した縮小率βを縮小実行手段１３ｂに出力する。

縮小実行手段１３ｂは、縮小率決定手段１３ａにより決定された縮小率βを用いて、該当する画像ｄ２の縮小されていない画像（前述のように、縮小画像ｄの場合には画像Ｄ、顔画像ｄ０の場合には、画像Ｄにおける、顔画像ｄ０に対応する領域の画像）を縮小して、エッジを検出するための縮小画像ｄ３を得て検出実行手段１１ｂに出力する。

検出実行手段１１ｂは、まず、縮小画像ｄ３を用いて、図４に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得る。次に検出実行手段１１ｂは、検出された各方向毎の各々のエッジの座標位置に基づいて、縮小画像ｄ３の対応する、縮小されていない画像（以下概して対象画像という）を用いてこれらのエッジに対して、図５に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力する。

エッジ絞込手段１４は、エッジ検出手段１２（具体的には、検出実行手段１１ｂ）から出力されてきたエッジのプロファイルに基づいて、複雑なプロファイル形状を有するエッジや、光源を含むエッジ（具体的には例えば一定の明度以上のエッジ）などの無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力する。

エッジ特徴量取得手段１６は、エッジ絞込手段１４から出力されてきたエッジのプロファイルに基づいて、図５に示すようなエッジ幅を各エッジに対して求め、図６に示すようなエッジ幅のヒストグラムを図４に示された８つの方向毎に作成してエッジ幅と共にエッジ特徴量Ｓとして解析手段２０に出力する。

解析手段２０は、主として下記の２つの処理を行う。

１．対象画像におけるボケ方向、ボケ度Ｎを求めて、対象画像がボケ画像か通常画像かを判別する。

２．対象画像がボケ画像と判別された場合、ボケ幅Ｌ、ぶれ度Ｋを算出する。

ここで、１つ目の処理から説明する。

解析手段２０は、対象画像におけるボケ方向を求めるために、まず、図４に示す８つの方向のエッジ幅のヒストグラム（以下略してヒストグラムという）に対して、互いに直交する２つの方向を１方向組として各方向組（１−５、２−６、３−７、４−８）のヒストグラムの相関値を求める。なお、相関値は求め方によって様々な種類があり、相関値が大きければ相関が小さい種類と、相関値の大小と相関の大小とが一致する、すなわち相関値が小さければ相関が小さい種類との２種類に大きく分けることができる。本実施形態において、例として、相関値の大小と相関の大小とが一致する種類の相関値を用いる。図７に示すように、画像中にぶれがある場合には、ぶれ方向のヒストグラムと、ぶれ方向と直交する方向のヒストグラムとの相関が小さい（図７（ａ）参照）のに対して、ぶれと関係ない直交する方向組または画像中にぶれがない（ボケがないまたはピンボケ）場合の直交する方向組では、そのヒストグラムの相関が大きい（図７（ｂ）参照）。本実施形態の画像処理システムＡにおける解析手段２０は、このような傾向に着目し、４つの方向組に対して、各組のヒストグラムの相関値を求め、相関が最も小さい方向組の２つの方向を見つけ出す。画像Ｄにぶれがあれば、この２つの方向のうちの１つは、図４に示す８つの方向のうち、最もぶれ方向に近い方向として考えることができる。

図７（ｃ）は、ぶれ、ピンボケ、ボケ（ピンボケおよびぶれ）なしの撮像条件で同じ被写体を撮像して得た夫々の画像に対して求められた、このぶれの方向におけるエッジ幅のヒストグラムを示している。図７（ｃ）から分かるように、ボケのない通常画像は、最も小さい平均エッジ幅を有し、すなわち、上記において見付け出された２つの方向のうち、平均エッジ幅が大きい方は、最もぶれに近い方向のはずである。

解析手段２０は、こうして、相関が最も小さい方向組を見付け、この方向組の２つの方向のうち、平均エッジ幅の大きい方をボケ方向とする。

次に、解析手段２０は、対象画像のボケ度Ｎを求める。画像のボケ度は、画像中のボケの程度の大小を示すものであり、例えば、画像中に最もぼけている方向（ここでは上記において求められたボケ方向）の平均エッジ幅を用いてもよいが、ここでは、ボケ方向における各々のエッジのエッジ幅を用いて図８に基づいたデータベースを利用してより精度良く求める。図８は、学習用の通常画像データベースとボケ（ピンボケおよびぶれ）画像データベースを元に、画像中の最もぼけている方向（通常画像の場合には、この方向に対応する方向が望ましいが、任意の方向であってもよい）のエッジ幅分布のヒストグラムを作成し、ボケ画像における頻度と通常画像における頻度（図示縦軸）の比率を評価値（図示スコア）としてエッジ幅毎に求めて得たものである。図８に基づいて、エッジ幅とスコアとを対応付けてなるデータベース（以下スコアデータベースという）が作成され、記憶手段５０に記憶されている。

解析手段２０は、図８に基づいて作成され、記憶手段５０に記憶されたスコアデータベースを参照し、対象画像のボケ方向の各エッジに対して、そのエッジ幅からスコアを取得し、ボケ方向の全てのエッジのスコアの平均値を対象画像のボケ度Ｎとして求める。求められた対象画像のボケ度Ｎが所定の閾値Ｔより小さければ、解析手段２０は、対象画像を通常画像として判別すると共に、該対象画像のオリジナル画像である画像Ｄが通常画像であることを示す情報Ｐを出力手段６０に出力することをもって、処理を終了する。

一方、対象画像のボケ度Ｎが閾値Ｔ以上であれば、解析手段２０は、対象画像がボケ画像であると判別し、２つ目の処理に入る。

解析手段２０は、２つ目の処理として、まず、対象画像のぶれ度Ｋを求める。

ボケ画像のボケにおけるぶれの程度の大小を示すぶれ度Ｋは、下記のような要素に基づいて求めることができる。

１．相関が最も小さい方向組（以下相関最小組）の相関値：この相関値が小さいほどぶれの程度が大きい
解析手段２０は、この点に着目して、図９（ａ）に示す曲線に基づいて第１のぶれ度Ｋ１を求める。なお、図９（ａ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析手段２０は、相関最小組の相関値に対応する第１のぶれ度Ｋ１を、記憶手段５０から読み出すようにして第１のぶれ度Ｋ１を求める。

２．相関最小組の２つの方向のうち、平均エッジ幅が大きい方向の平均エッジ幅：この平均エッジ幅が大きいほどぶれの程度が大きい
解析手段２０は、この点に着目して、図９（ｂ）に示す曲線に基づいて第２のぶれ度Ｋ２を求める。なお、図９（ｂ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析手段２０は、相関最小組の平均エッジ幅が大きい方向の平均エッジ幅に対応する第２のぶれ度Ｋ２を、記憶手段５０から読み出すようにして第２のぶれ度Ｋ２を求める。

３．相関最小組の２つの方向における夫々の平均エッジ幅の差：この差が大きいほどぶれの程度が大きい
解析手段２０は、この点に着目して、図９（ｃ）に示す曲線に基づいて第３のぶれ度Ｋ３を求める。なお、図９（ｃ）に示す曲線に応じて作成されたＬＵＴ（ルックアップテーブル）は、記憶手段５０に記憶されており、解析手段２０は、相関最小組の２つの方向における夫々の平均エッジ幅の差に対応する第３のぶれ度Ｋ３を、記憶手段５０から読み出すようにして第３のぶれ度Ｋ３を求める。

解析手段２０は、このようにして第１のぶれ度Ｋ１、第２のぶれ度Ｋ２、第３のぶれ度Ｋ３を求めると共に、下記の式（１）に従って、Ｋ１、Ｋ２、Ｋ３を用いてボケ画像となる対象画像のぶれ度Ｋを求める。

Ｋ＝Ｋ１×Ｋ２×Ｋ３ （１）
但し、Ｋ：ぶれ度
Ｋ１：第１のぶれ度
Ｋ２：第２のぶれ度
Ｋ３：第３のぶれ度

次に、解析手段２０は、対象画像のボケ幅Ｌを求める。ここで、ぶれ度Ｋに関係なく、ボケ幅Ｌとしてボケ方向におけるエッジの平均幅を求めるようにしてもよいし、図４に示す８つの方向のすべてにおけるエッジの平均エッジ幅を求めてボケ幅Ｌとするようにしてもよい。

解析手段２０は、ボケ画像である対象画像に対して求められたぶれ度Ｋ、ボケ幅Ｌをボケ度Ｎおよびボケ方向と共にボケ情報Ｑとしてパラメータ設定手段３０に出力する。

本実施形態の画像処理システムＡは、アン・シャープネス・マスキング（ＵＳＭ）補正方法で画像Ｄに対する補正を施すものであり、パラメータ設定手段３０は、ボケ幅Ｌとボケ方向に応じて、ボケ幅Ｌが大きいほど補正マスクのサイズが大きくなるように、ボケ方向に作用する方向性補正用の１次元補正マスクＭ１を設定すると共に、ボケ幅Ｌに応じて、ボケ幅Ｌが大きいほど補正マスクのサイズが大きくなるように等方性補正用の２次元補正マスクＭ２を設定する。なお、各ボケ幅に対応する２次元補正マスク、および各ボケ幅とボケ方向に対応する１次元補正マスクはデータベース（マスクデータベースという）として記憶手段５０に記憶されており、パラメータ設定手段３０は、記憶手段５０に記憶されたマスクデータベースから、ボケ幅Ｌとボケ方向に基づいて１次元補正マスクＭ１を、ボケ幅Ｌに基づいて２次元補正マスクＭ２を取得する。

次に、パラメータ設定手段３０は、下記の式（２）に従って、方向性補正用の１次元補正パラメータＷ１および等方性補正用の２次元補正パラメータＷ２を設定する。

Ｗ１＝Ｎ×Ｋ×Ｍ１
Ｗ２＝Ｎ×（１−Ｋ）×Ｍ２ （２）
但し、Ｗ１：１次元補正パラメータ
Ｗ２：２次元補正パラメータ
Ｎ：ボケ度
Ｋ：ぶれ度
Ｍ１：１次元補正マスク
Ｍ２：２次元補正マスク
即ち、パラメータ設定手段３０は、ボケ度Ｎが大きいほど等方性補正の強度と方向性補正の強度が強く、ぶれ度Ｋが大きいほど方向性補正の重みが大きくなるように補正パラメータＷ１とＷ２（合わせてパラメータＥ０とする）を設定する。

ここで、パラメータ設定手段３０は、設定されたパラメータＥ０に対して、さらにボケ度Ｎ、ぶれ度Ｋおよび補正マスクＭ１、Ｍ２を夫々調整して、調整されたボケ度Ｎ、ぶれ度Ｋ、補正マスクＭ１、Ｍ２を用いて式（２）に従って補正パラメータＥ０と異なる複数の補正パラメータＥ１、Ｅ２、・・・を求める。

パラメータ設定手段３０は、こうして求められた補正パラメータＥ（Ｅ０、Ｅ１、Ｅ２、・・・）を補正手段４０に出力する。

補正手段４０は、パラメータＥ０、Ｅ１、Ｅ２、・・・を画像Ｄに夫々適用して補正を施し、各補正パラメータに夫々対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る。

決定手段４５は、補正手段４０により得られた各々の補正済み画像を表示する図示しない表示手段と、表示された各々の補正済み画像からユーザ所望の補正済み画像を選択させるための図示しない入力手段とを備え、補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・からユーザにより選択された画像を目的画像Ｄ’として決定して出力手段６０に出力する。

出力手段６０は、解析手段２０から画像Ｄが通常画像であることを示す情報Ｐを受信した場合には画像Ｄを出力する一方、決定手段４５から目的画像Ｄ’を受信した場合には目的画像Ｄ’を出力するものである。本実施形態の画像処理システムＡにおいて、出力手段６０による「出力」は印刷であり、出力手段６０は、通常画像の画像Ｄおよびボケ画像の画像Ｄを補正して得た目的画像Ｄ’を印刷してプリントを得るものであるが、記録媒体に記憶したり、ネットワーク上における画像保管サーバや、画像の補正を依頼した依頼者により指定されたネットワーク上のアドレスなどに送信したりするなどのものであってもよい。

図２０は、本実施形態の画像処理システムＡの動作を示すフローチャートである。図示のように、記録媒体１から読み出された画像Ｄは、まず、縮小手段１０ａにより１／８の縮小率で縮小されて縮小画像ｄとなる（Ｓ１０）。顔抽出手段１００は、縮小画像ｄに顔があるか否かを識別し（Ｓ１１）、顔がある場合（Ｓ１１：Ｙｅｓ）、縮小画像ｄから顔画像ｄ０（複数ある場合は複数個）を抽出してエッジ検出手段１２に出力する（Ｓ１２）一方、顔がない場合（Ｓ１１：Ｎｏ）には、縮小画像ｄをそのままエッジ検出手段１２に出力する。エッジ検出手段１２は、エッジの検出を行うのに当たり、まず、エッジを検出するための画像ｄ２（顔抽出手段１００から出力されてきた画像が１つである場合にはこの１つの画像、顔抽出手段１００から複数の顔画像ｄ０が出力されてきた場合には、複数の顔画像ｄ０のうちの、画素数が最も多い顔画像ｄ０）を選択すると共に、対象画像（画像ｄ２が対応する、縮小されていない画像）の画素数に応じた縮小率で対象画像を縮小して縮小画像ｄ３を得る。そして、エッジ検出手段１２は、縮小画像ｄ３を用いて、図４に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得る。次にエッジ検出手段１２は、検出された各方向毎の各々のエッジの座標位置に基づいて、縮小画像ｄ３に対応する対象画像（縮小されていない画像）を用いてこれらのエッジに対して、図５に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力する（Ｓ１３）。エッジ絞込手段１４は、エッジ検出手段１２から送信されてきたエッジプロファイルに基づいて、無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力する（Ｓ１４）。エッジ特徴量取得手段１６は、エッジ絞込手段１４から送信された各々のエッジのプロファイルに基づいて各エッジの幅を求めると共に、図４に示す方向毎にエッジ幅のヒストグラムを作成して、各エッジの幅および各方向のエッジ幅のヒストグラムをエッジ特徴量Ｓとして解析手段２０に出力する（Ｓ１６）。解析手段２０は、エッジ特徴量Ｓを用いて、まずボケ方向およびボケ度Ｎを算出すると共に、対象画像がボケ画像であるか通常画像であるかを判別する（Ｓ２０、Ｓ２５）。対象画像が通常画像であれば（Ｓ２５：Ｙｅｓ）、解析手段２０は、対象画像のオリジナル画像となる画像Ｄが通常画像であることを示す情報Ｐを出力手段６０に出力し（Ｓ３０）、出力手段６０は、情報Ｐを受信すると、画像Ｄを印刷してプリントを得る（Ｓ３５）。

一方、ステップＳ２５において、対象画像がボケ画像に判別されると（Ｓ２５：Ｎｏ）、解析手段２０は、対象画像に対してさらにぶれ度Ｋ、ボケ幅Ｌを算出し、ステップＳ２０において求められたボケ度Ｎおよびボケ方向と共にボケ情報Ｑとしてパラメータ設定手段３０に出力する（Ｓ４０、Ｓ４５）。パラメータ設定手段３０は、解析手段２０からのボケ情報Ｑに基づいて、１次元補正パラメータＷ１と２次元補正パラメータＷ２を求める。求められた１対の補正パラメータＷ１、Ｗ２を補正パラメータＥ０とし、ボケ度Ｎ、ぶれ度Ｋ、補正マスクＭ１、Ｍ２のマスクサイズなどを調整してさらに複数の補正パラメータＥ１、Ｅ２、・・・を取得して、補正手段４０に出力する（Ｓ５０）。

補正手段４０は、補正パラメータＥ０、Ｅ１、Ｅ２、・・・を画像Ｄに夫々適用して補正を施し、各補正パラメータに夫々対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る（Ｓ５５）。

決定手段４５は、補正手段４０により得られた各々の補正済み画像を図示しない表示手段に表示させ、図示しない入力手段を介して、ユーザが選択された補正済み画像を目的画像Ｄ’として決定して出力手段６０に出力する（Ｓ６０）。

出力手段６０は、決定手段４５からの目的画像Ｄ’を印刷してプリントを得る（Ｓ７０）。

このように、本実施形態の画像処理システムＡによれば、デジタル写真画像からボケ情報を取得してボケを補正するようにしているので、撮影時に特別な装置を必要とせずに画像のボケを補正することができる。

また、取得したボケ情報に基づいて補正用のパラメータを設定して補正しているので、パラメータの設定、補正、評価、再設定、・・・の試行錯誤を繰り返す必要がなく、効率が良い。

また、デジタル写真画像における主要被写体（ここでは例として顔）領域の画像のみを用いてボケ情報取得するようにしているので、ボケ情報を取得するための領域の指定をユーザに指定させることを必要としないため、便利である。

さらに、主要被写体領域の画像を用いてボケ情報を取得してパラメータを設定するようにしているので、被写界深度の浅い画像の場合においても精度の良い補正を行うことができる。

図２１は、本発明の第２の実施形態となる画像処理システムＢの構成を示すブロック図である。なお、本実施形態の画像処理システムＢは、図１に示す実施形態の画像処理システムＡと比べ、縮小手段１０ｂと１０ａが異なる点および判別手段２００が追加された点を除けば、他の構成が同様であるため、ここでは、縮小手段１０ｂおよび追加された判別手段２００についてのみ説明すると共に、図中において、図１に示す画像処理システムＡと同様な構成については同じ符号を付与する。

図２１に示す実施形態の画像処理システムにおける判別手段２００は、画像Ｄの付属情報を読み取り、該付属情報に基づいて画像Ｄが被写界深度の浅い画像であるか否かの判断を行うものである。具体的には、判別手段２００は、備えられた読取手段２１０により画像Ｄの付属情報を読み取って画像Ｄを撮像したカメラのレンズのＦ値を取得し、このＦ値が所定の閾値（ここで例として５．６）以下であれば、画像Ｄが被写界深度の浅い画像であると判別する一方、Ｆ値が前述の所定の閾値より大きければ、画像Ｄが被写界深度の浅い画像ではないと判別すると共に、判別の結果を示す情報を縮小手段１０ｂに出力する。なお、画像Ｄに付属情報がない、または画像Ｄの付属情報にＦ値が含まれていない場合においては、判別手段２００は、Ｆ値がないことを示す判別の結果を縮小手段１０ｂに出力する。

縮小手段１０ｂは、画像Ｄに対して例えば１／８の縮小率で縮小処理を行って縮小画像ｄを得ると共に、判別手段２００の判別の結果に応じて縮小画像ｄを顔抽出手段１００またはエッジ検出手段１２に出力する。具体的には、判別手段２００からの判別の結果が、画像Ｄが被写界深度の浅い画像であることを示す情報または画像ＤのＦ値がないことを示す情報であれば、該画像Ｄの縮小画像ｄを顔抽出手段１００に出力する一方、判別の結果が、画像Ｄが被写界深度の浅い画像ではないことを示す情報であれば、該画像Ｄの縮小画像ｄをエッジ検出手段１２に出力する。

図２２と図２３は、図２１に示す実施形態の画像処理システムＢの動作を示すフローチャートである。図２２に示すように、記録媒体１から読み出された画像Ｄは、まず、判別手段２００により被写界深度の浅い画像であるか否かの判別がされる（Ｓ１００〜Ｓ１１５）。具体的には、判別手段２００における読取手段２１０は、画像Ｄに付属情報が付属されているか否かを調べ、付属情報がある場合には更に画像Ｄを撮像したカメラのレンズのＦ値があるか否かを調べる（Ｓ１０２）。画像Ｄに付属情報が付属されてない、または画像Ｄの付属情報にＦ値が含まれていない場合（Ｓ１０２：Ｎｏ）には、判別手段２００は、「Ｆ値なし」の判別結果を縮小手段１０ｂに出力する（Ｓ１１５）。一方、ステップＳ１０２において、画像Ｄに付属情報が付属されており、この付属情報にＦ値が含まれている場合（Ｓ１０２：Ｙｅｓ）には、判別手段２００は、読取手段２１０により得られたＦ値を前述の閾値と比較し（Ｓ１０４）、Ｆ値がこの閾値以下であれば（Ｓ１０４：Ｎｏ）、画像Ｄが被写界深度の浅い画像であると判別する（Ｓ１０６）一方、Ｆ値がこの閾値より大きければ（Ｓ１０４：Ｙｅｓ）、画像Ｄが被写界深度の浅い画像ではないと判別する（Ｓ１０８）と共に、判別の結果を示す情報を縮小手段１０ｂに出力する（Ｓ１１５）。

縮小手段１０ｂは、画像Ｄに対して縮小処理を行って縮小画像ｄを得ると共に、判別手段２００による判別の結果に基づいて、画像Ｄが被写界深度の浅い画像である、または画像ＤのＦ値がない（Ｓ１２２：Ｙｅｓ）場合には、該画像Ｄの縮小画像ｄを顔抽出手段１００に出力する一方、画像Ｄが被写界深度の浅い画像ではない（Ｓ１２２：Ｎｏ）場合には、該画像Ｄの縮小画像ｄをそのままエッジ検出手段１２に出力する。顔抽出手段１００は、縮小手段１０ｂからの縮小画像ｄに対して、顔があるか否かを識別し（Ｓ１２４）、顔がある場合（Ｓ１２４：Ｙｅｓ）には、縮小画像ｄから顔画像ｄ０（複数がある場合には複数とも）を抽出してエッジ検出手段１２に出力する（Ｓ１２６）一方、顔がない場合（Ｓ１２４：Ｎｏ）には、縮小画像ｄをそのままエッジ検出手段１２に出力する。ステップＳ１２６以後の処理は処理Ａとして図２３のフローチャートに示している。

図２３に示すように、エッジ検出手段１２は、エッジの検出を行うのに当たり、まず、エッジを検出するための画像ｄ２（顔抽出手段１００から出力されてきた画像が１つである場合にはこの１つの画像、顔抽出手段１００から複数の顔画像ｄ０が出力されてきた場合には、複数の顔画像ｄ０のうちの、画素数が最も多い顔画像ｄ０）を選択すると共に、対象画像（画像ｄ２が対応する、縮小されていない画像）の画素数に応じた縮小率で対象画像を縮小して縮小画像ｄ３を得る。そして、エッジ検出手段１２は、縮小画像ｄ３を用いて、図４に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得る。次にエッジ検出手段１２は、検出された各方向毎の各々のエッジの座標位置に基づいて、縮小画像ｄ３に対応する対象画像（縮小されていない画像）を用いてこれらのエッジに対して、図５に示すようなエッジプロファイルを作成してエッジ絞込手段１４に出力する（Ｓ１３０）。エッジ絞込手段１４は、エッジ検出手段１２から送信されてきたエッジプロファイルに基づいて、無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６に出力する（Ｓ１３４）。エッジ特徴量取得手段１６は、エッジ絞込手段１４から送信された各々のエッジのプロファイルに基づいて各エッジの幅を求めると共に、図４に示す方向毎にエッジ幅のヒストグラムを作成して、各エッジの幅および各方向のエッジ幅のヒストグラムをエッジ特徴量Ｓとして解析手段２０に出力する（Ｓ１３６）。解析手段２０は、エッジ特徴量Ｓを用いて、まずボケ方向およびボケ度Ｎを算出すると共に、対象画像がボケ画像であるか通常画像であるかを判別する（Ｓ１３８、Ｓ１４０）。対象画像が通常画像であれば（Ｓ１４０：Ｙｅｓ）、解析手段２０は、対象画像のオリジナル画像となる画像Ｄが通常画像であることを示す情報Ｐを出力手段６０に出力し（Ｓ１４２）、出力手段６０は、情報Ｐを受信すると、画像Ｄを印刷してプリントを得る（Ｓ１４６）。

一方、ステップＳ１４０において、対象画像がボケ画像に判別されると（Ｓ１４０：Ｎｏ）、解析手段２０は、対象画像に対してさらにぶれ度Ｋ、ボケ幅Ｌを算出し、ステップＳ１３８において求められたボケ度Ｎおよびボケ方向と共にボケ情報Ｑとしてパラメータ設定手段３０に出力する（Ｓ１５０、Ｓ１５５）。パラメータ設定手段３０は、解析手段２０からのボケ情報Ｑに基づいて、１次元補正パラメータＷ１と２次元補正パラメータＷ２を求める。求められた１対の補正パラメータＷ１、Ｗ２を補正パラメータＥ０とし、ボケ度Ｎ、ぶれ度Ｋ、補正マスクＭ１、Ｍ２のマスクサイズなどを調整してさらに複数の補正パラメータＥ１、Ｅ２、・・・を取得して、補正手段４０に出力する（Ｓ１６０）。

補正手段４０は、補正パラメータＥ０、Ｅ１、Ｅ２、・・・を画像Ｄに夫々適用して補正を施し、各補正パラメータに夫々対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る（Ｓ１７０）。

決定手段４５は、補正手段４０により得られた各々の補正済み画像を図示しない表示手段に表示させ、図示しない入力手段を介して、ユーザが選択された補正済み画像を目的画像Ｄ’として決定して出力手段６０に出力する（Ｓ１７５）。

出力手段６０は、決定手段４５からの目的画像Ｄ’を印刷してプリントを得る（Ｓ１８０）。

このように、本実施形態の画像処理システムＢによれば、図１に示す実施形態の画像処理システムＡと同様の効果を得ることができると共に、デジタル写真画像が被写界深度の浅い画像か否かを判別し、被写界深度の浅い画像ではないと判別されたデジタル写真画像に対してのみデジタル写真画像全体を用いて補正用のパラメータを設定して補正を行うようにし、それ以外のデジタル写真画像に対しては主要被写体領域の画像を用いて補正用のパラメータを設定して補正するようにしているので、被写界深度の浅い画像ではないデジタル写真画像の補正精度を高めることができる。

図２４は、本発明の第３の実施形態となる画像処理システムＣの構成を示すブロック図である。図示のように、本実施形態の画像処理システムＣは、記録媒体１から読み出された画像Ｄに対して縮小処理を行って画像Ｄの縮小画像ｄを得る縮小手段１０ｃと、縮小画像ｄに対して主要被写体（ここでは例として顔）の検出を行うと共に、顔が検出されれば顔部分の画像（以下略して顔画像という）ｄ０および顔部分以外の画像ｄ１を夫々抽出して後述するエッジ検出手段１２ｃに出力する一方、顔が検出されなければ縮小画像ｄをエッジ検出手段１２ｃに出力する顔抽出手段１００ｃと、顔抽出手段１００ｃからの画像に基づいて得られた、エッジを検出するための縮小画像（その詳細については後述する）と、この縮小画像が対応する、縮小されていない画像（以下対象画像という）を用いて、エッジの検出を行うエッジ検出手段１２ｃと、エッジ検出手段１２ｃにより検出されたエッジのうちの、無効なエッジを除去するエッジ絞込手段１４ｃと、エッジ絞込手段１４ｃにより得られたエッジの特徴量（Ｓ０、Ｓ１、Ｓ’の３種類あるが、以下概して対象画像のエッジ特徴量Ｓという）を取得するエッジ特徴量取得手段１６ｃと、エッジ特徴量Ｓを用いて、対象画像のボケ方向およびボケ度Ｎを算出して画像Ｄがボケ画像か通常画像かを判別し、通常画像の場合には、後述する出力手段６０に画像Ｄが通常画像であることを示す情報Ｐを送信して処理を終了する一方、画像Ｄがボケ画像である場合には、さらに対象画像に対してぶれ度Ｋ、ボケ幅Ｌを算出して、ボケ度Ｎおよびボケ方向と共にボケ情報として後述するパラメータ設定手段３０ｃおよび確信度算出手段２５０に送信する解析手段２０ｃと、解析手段２０ｃからのボケ情報に基づいてボケ画像となる画像Ｄを補正するためのパラメータを設定して後述するパラメータ統合手段２６０または補正手段４０ｃに出力するパラメータ設定手段３０ｃと、解析手段２０ｃからのボケ情報に基づいて画像Ｄが被写界深度の浅い画像である確信度αを算出する確信度算出手段２５０と、パラメータ設定手段３０ｃから出力されて来たパラメータを、確信度算出手段２５０により算出した確信度αに基づいて統合して統合パラメータを得て補正手段４０ｃに出力するパラメータ統合手段２６０と、パラメータ設定手段３０Ｃから出力して来たパラメータまたはパラメータ統合手段２６０から出力して来たパラメータを用いて画像Ｄに対して補正を行って補正済画像を得、該補正済み画像を目的画像Ｄ’として出力手段６０に出力する補正手段４０ｃと、解析手段２０ｃ、パラメータ設定手段３０ｃ、および確信度算出手段２５０のための種々のデータベースを記憶した記憶手段５０ｃと、解析手段２０ｃから画像Ｄが通常画像であることを示す情報Ｐを受信した場合には画像Ｄを出力する一方、補正手段４０ｃから目的画像Ｄ’を受信した場合には目的画像Ｄ’を出力する出力手段６０とを有してなる。

縮小手段１０ｃは、図１に示す実施形態の画像処理システムＡにおける縮小手段１０ａと同様のものであり、画像Ｄに対して例えば１／８の縮小率で縮小処理を行って縮小画像ｄを得るものである。

顔抽出手段１００ｃは、縮小画像ｄに顔があるか否かを識別し、顔がある場合には顔画像ｄ０（複数ある場合には、複数とも）を抽出してエッジ検出手段１２ｃに出力する一方、顔がない場合には縮小画像ｄをエッジ検出手段１２ｃに出力することにおいては、図１に示す実施形態の画像処理システムＡにおける顔抽出手段１００と同様であるが、顔がある場合には、顔画像ｄ０のみならず、顔以外の部分の画像ｄ１も抽出してエッジ検出手段１２ｃに出力する。なお、縮小画像ｄに顔があるか否かの識別およびある場合の顔画像の抽出については、画像処理システムＡの顔抽出手段１００と同様であるので、ここで説明を省略する。

すなわち、エッジ検出手段１２ｃに出力されてきた画像は、縮小画像ｄに顔が検出された場合には顔画像ｄ０（１つのみの場合と複数の場合がある）および顔画像ｄ０以外の縮小画像ｄ１であり、縮小画像ｄに顔が検出されなかった場合には縮小画像ｄである。エッジ検出手段１２ｃは、顔抽出手段１００ｃから複数の顔画像ｄ０が出力されてきた場合には（この場合、縮小画像ｄ１も出力されている）この複数の顔画像ｄ０のうち、画素数が最も多い顔画像ｄ０を選択すると共に、選択されなかった他の顔画像ｄ０を前述の縮小画像ｄ１と合成して新たな縮小画像（以下説明上の便宜のため同じ符号ｄ１を用いる）を得る。顔画像ｄ０および縮小画像ｄ１の両方（顔画像ｄ０が１つのみの場合にはこの１つの顔画像ｄ０と縮小画像ｄ１、顔画像ｄ０が複数ある場合には選択した顔画像ｄ０と新たな縮小画像ｄ１）、または縮小画像ｄに基づいて、それらに対応する、縮小されていない画像（顔画像Ｄ０および顔以外の画像Ｄ１、または画像Ｄ。以下対象画像という）の画素数に応じた縮小率で対象画像を縮小してエッジを検出するための縮小画像を得る。なお、縮小率の決定方法は、画像処理システムＡにおけるエッジ検出手段１２の縮小率決定手段１３ａと同じ方法を用いるので、ここで説明を省略する。エッジ検出手段１２は、こうして得られた縮小画像を用いてエッジを抽出する処理、対象画像を用いてプロファイルを作成する処理を行うが、縮小画像ｄに顔が検出された場合において、エッジを検出するための画像が２つ（顔画像ｄ０（Ｄ０）と顔以外の画像ｄ１（Ｄ１））ある点を除けば、画像処理システムＡにおけるエッジ検出手段１２と同様に動作するので、ここで具体的な動作の説明を省略する。

エッジ絞込手段１４ｃ、エッジ特徴量取得手段１６ｃ、解析手段２０ｃについても同様である。

こうして、縮小画像ｄに顔が検出された場合には顔画像Ｄ０と顔以外の部分の画像Ｄ１の夫々のエッジ特徴量Ｓ０、Ｓ１が取得されて解析手段２０ｃに出力され、縮小画像ｄに顔が検出されなかった場合には、画像Ｄのエッジ特徴量Ｓ’が取得されて解析手段２０ｃに出力される。

解析手段２０ｃは、エッジ特徴量Ｓ０とＳ１をエッジ特徴量取得手段１６ｃから出力されると、まず、エッジ特徴量Ｓ０に基づいて、エッジ特徴量Ｓ０と対応する顔画像Ｄ０におけるボケ方向、ボケ度Ｎを算出する。求められた顔画像Ｄ０のボケ度Ｎが所定の閾値Ｔより小さければ、解析手段２０ｃは、顔画像Ｄ０が対応する画像Ｄを通常画像として判別すると共に、画像Ｄが通常画像であることを示す情報Ｐを出力手段６０に出力することをもって、処理を終了する。一方、顔画像Ｄ０のボケ度Ｎが閾値Ｔ以上であれば、解析手段２０ｃは、顔画像Ｄ０が対応する画像Ｄがボケ画像であると判別し、顔画像Ｄ０に対してさらにぶれ度Ｋ、ボケ幅Ｌを算出して顔画像Ｄ０のボケ情報Ｑ０とすると共に、顔以外の部分の画像Ｄ１のエッジ特徴量Ｓ１を用いて画像Ｄ１におけるボケ方向、ボケ度Ｎ、ぶれ度Ｋ、ボケ幅Ｌを算出して顔以外の部分の画像Ｄ１のボケ情報Ｑ１とする。

他方、解析手段２０ｃは、エッジ特徴量Ｓ’が特徴量取得手段１６ｃから出力されると、まず、エッジ特徴量Ｓ’に基づいて、画像Ｄにおけるボケ方向、ボケ度Ｎを算出する。求められた画像Ｄのボケ度Ｎが所定の閾値Ｔより小さければ、解析手段２０ｃは、画像Ｄを通常画像として判別すると共に、画像Ｄが通常画像であることを示す情報Ｐを出力手段６０に出力することをもって、処理を終了する。また、画像Ｄのボケ度Ｎが閾値Ｔ以上であれば、解析手段２０ｃは、画像Ｄがボケ画像であると判別し、画像Ｄに対してさらにぶれ度Ｋ、ボケ幅Ｌを算出して画像Ｄのボケ情報Ｑ’とする
解析手段２０ｃは、このようにして顔画像Ｄ０のエッジ特徴量Ｓ０から算出したボケ情報Ｑ０および顔以外の部分の画像Ｄ１のエッジ特徴量Ｓ１から算出したボケ情報Ｑ１を確信度算出手段２５０とパラメータ設定手段３０ｃに出力する一方、画像Ｄを用いて算出したボケ情報Ｑ’をパラメータ設定手段３０ｃにのみ出力する。

本実施形態の画像処理システムＣは、前述の画像処理システムＡおよび画像処理システムＢと同じように、アン・シャープネス・マスキング（ＵＳＭ）補正方法で画像Ｄに対する補正を施すものであり、パラメータ設定手段３０ｃは、解析手段２０ｃからのボケ情報（Ｑ０およびＱ１、またはＱ’）に基づいて、画像処理システムＡと画像処理システムＢにおけるパラメータ設定手段３０と同じように、記憶手段５０ｃを参照して画像Ｄを補正するためのパラメータを設定する。なお、パラメータ設定手段３０ｃは、解析手段２０ｃからボケ情報Ｑ０とＱ１が出力されてきた場合には、２つのボケ情報Ｑ０とＱ１とを夫々用いてパラメータＥｃ０とＥｃ１とを夫々設定してパラメータ統合手段２６０に出力する一方、ボケ情報Ｑ’のみが出力されてきた場合には、ボケ情報Ｑ’を用いてパラメータＥｃを設定して直接補正手段４０ｃに出力する。

確信度算出手段２５０は、ボケ情報Ｑ０とボケ情報Ｑ１に基づいて、画像Ｄが被写界深度の浅い画像である確信度αを求める。なお、確信度算出手段２５０は、ボケ情報に含まれた全ての情報を用いて確信度αを算出するようにしてもよいが、ボケ情報の一部のみを用いて確信度αを算出するようにしてもよい。ここでは、例として、ボケ情報に含まれるボケ度Ｎのみを用いて確信度αを算出するようにする。具体的には、ボケ情報Ｑ０に含まれるボケ度Ｎがボケ情報Ｑ１に含まれるボケ度Ｎ以上である場合、およびボケ情報Ｑ０に含まれるボケ度Ｎがボケ情報Ｑ１に含まれるボケ度Ｎより小さいかつ２つのボケ度Ｎの差（すなわちボケ情報Ｑ０に含まれるボケ度Ｎがボケ情報Ｑ１に含まれるボケ度Ｎより小さい分、以下同じ）が所定の第１の閾値より小さい場合には確信度αを０％とし、２つのボケ度Ｎの差がこの第１の閾値より大きい所定の第２の閾値以上である場合には確信度αを１００％とし、２つのボケ度Ｎの差が第１の閾値と第２の閾値との間にある場合には、この差が大きいほど確信度αが０％から１００％の間で大きくなるように確信度αを算出する。なお、ボケ度の差と確信度αとの対応関係を示すテーブルは記憶手段５０ｃに記憶されており、確信度算出手段２５０は、このテーブルを参照して確信度αを算出する。

パラメータ統合手段２６０は、パラメータ設定手段３０ｃにより設定されたパラメータＥｃ０とＥｃ１、および確信度算出手段２５０により算出した確信度αを用いて下記の式（３）に従って統合パラメータＥ’ｃを算出して補正手段４０ｃに出力する。

Ｅ’ｃ＝α×Ｅｃ０＋（１−α）×Ｅｃ１ （３）
但し、Ｅ’ｃ： 統合パラメータ
Ｅｃ０： 顔部分の画像ｄ０を用いて設定したパラメータ
Ｅｃ１： 顔以外の部分の画像ｄ１を用いて設定したパラメータ
α： 画像Ｄが被写界深度の浅い画像である確信度

式（３）から分かるように、パラメータ統合手段２６０は、画像Ｄが被写界深度の浅い画像である確信度αが高いほど、顔部分の画像Ｄ０を用いて設定したパラメータＥｃ０の重みが大きくなるようにパラメータＥｃ０とパラメータＥｃ１とを重付合算して統合パラメータＥ’ｃを取得するものである。

補正手段４０ｃは、パラメータ設定手段３０ｃから出力されてきた、画像Ｄ全体を用いて設定したパラメータＥｃ、またはパラメータ統合手段２６０から出力されてきた統合パラメータＥ’ｃを用いて画像Ｄに適用して補正を施し、補正済み画像Ｄ’を得る。

出力手段６０は、画像システムＡおよび画像システムＢにおける出力手段６０と同じであるので、ここでその説明を省略する。

図２５と図２６は、図２４に示す画像処理システムＣの動作を示すフローチャートである。図２５に示すように、本実施形態の画像処理システムＣにおいて、記録媒体１から読み出された画像Ｄは、まず、縮小手段１０ｃにより縮小処理が施されて縮小画像ｄとなる（Ｓ２００）。顔抽出手段１００ｃは、縮小手段１０ｃにより得られた縮小画像ｄに対して、顔があるか否かを識別し（Ｓ２０２）、顔がある場合（Ｓ２０２：Ｙｅｓ）には、縮小画像ｄから顔画像ｄ０を抽出すると共に顔以外の部分の画像ｄ１も抽出してエッジ検出手段１２ｃに出力する一方、顔がない場合には（Ｓ２０２：Ｎｏ）、縮小画像ｄをそのままエッジ検出手段１２ｃに出力する。

図２６に示す処理Ｂは、エッジ検出手段１２ｃ、エッジ絞込手段１４ｃ、エッジ特徴量取得手段１６ｃによる処理（Ｓ２１０〜Ｓ２１４）および解析手段２０ｃの一部の処理（Ｓ２１６）からなる。図２６に示すように、処理Ｂは、エッジ検出手段１２ｃによるエッジの検出から始まり、エッジ検出手段１２ｃは、まず、顔抽出手段１００ｃから出力されてきた縮小画像に基づいて作成した新たな縮小画像を用いて、図４に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得る。次にエッジ検出手段１２ｃは、検出された各方向毎の各々のエッジの座標位置に基づいて、前述した新たな縮小画像に対応する対象画像（縮小されていない画像）を用いてこれらのエッジに対して、図５に示すようなエッジプロファイルを作成してエッジ絞込手段１４ｃに出力する（Ｓ２１０）。エッジ絞込手段１４ｃは、エッジ検出手段１２ｃから送信されてきたエッジプロファイルに基づいて、無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段１６ｃに出力する（Ｓ２１２）。エッジ特徴量取得手段１６ｃは、エッジ絞込手段１４ｃから送信された各々のエッジのプロファイルに基づいて各エッジの幅を求めると共に、図４に示す方向毎にエッジ幅のヒストグラムを作成して、各エッジの幅および各方向のエッジ幅のヒストグラムをエッジ特徴量として解析手段２０ｃに出力する（Ｓ２１４）。解析手段２０ｃは、エッジ特徴量を用いて、まず、対象画像のボケ方向およびボケ度Ｎを算出する（Ｓ２１６）。

ここで、顔抽出手段１００ｃから顔画像ｄ０および顔以外の部分の画像ｄ１が出力された場合には（図２５のフローチャートにおけるＳ２０２：Ｙｅｓ、Ｓ２０４）、処理Ｂの対象画像が顔画像Ｄ０と顔以外の部分の画像Ｄ１の２つであり、エッジ特徴量取得手段１６ｃにより夫々のエッジ特徴量Ｓ０、Ｓ１が算出され、解析手段２０ｃにより夫々のボケ方向、ボケ度Ｎが算出される。また、顔抽出手段１００ｃから縮小画像ｄが出力された場合には（図２５のフローチャートにおけるＳ２０２：Ｎｏ）、処理Ｂの対象画像が画像Ｄのみであり、エッジ特徴量取得手段１６ｃにより画像Ｄのエッジ特徴量Ｓ’が算出され、解析手段２０ｃにより画像Ｄのボケ方向、ボケ度Ｎが算出される。

図２５のフローチャートに戻り、解析手段２０ｃは、処理ＢのステップＳ２１６において顔画像Ｄ０および顔以外の画像Ｄ１の夫々のボケ方向、ボケ度Ｎを算出すると、顔画像Ｄ０のボケ度Ｎに基づいて画像Ｄがボケ画像か通常画像かの判別を行い（Ｓ２２０）、
通常画像として判別した場合（Ｓ２２０：Ｙｅｓ）には、画像Ｄが通常画像であることを示す情報Ｐを出力手段６０に出力する（Ｓ２２２）ことをもって処理を終了する一方、ボケ画像として判別した場合には（Ｓ２２０：Ｎｏ）、さらに顔画像Ｄ０および顔以外の部分の画像Ｄ１に対してぶれ度Ｋ、ボケ幅Ｌを算出して（Ｓ２３０）、夫々のボケ方向、ボケ度Ｎ、ぶれ度Ｋ、ボケ幅Ｌを合わせて得た夫々のボケ情報Ｑ０、Ｑ１を確信度算出手段２５０とパラメータ設定手段３０ｃに出力する（Ｓ２３２）。パラメータ設定手段３０ｃは、２つのボケ情報Ｑ０、Ｑ１を用いて夫々に対応するパラメータＥｃ０、Ｅｃ１を設定してパラメータ統合手段２６０に出力し（Ｓ２３４）、これに並行して、確信度算出手段２５０は、ボケ情報Ｑ０とＱ１を用いて画像Ｄが被写界深度の浅い画像である確信度αを算出してパラメータ統合手段２６０に出力する（Ｓ２３６）。パラメータ統合手段２６０は、確信度αを用いてパラメータＥｃ０とＥｃ１を統合し、統合パラメータＥ’ｃを補正手段４０ｃに出力する（Ｓ２３８）。

一方、解析手段２０ｃは、処理ＢのステップＳ２１６において画像Ｄ（この場合、顔抽出手段１００ｃにおいて顔が検出されていない）のボケ方向、ボケ度Ｎを算出すると、画像Ｄのボケ度Ｎに基づいて画像Ｄがボケ画像か通常画像かの判別を行い（Ｓ２４０）、通常画像として判別した場合（Ｓ２４０：Ｙｅｓ）には、画像Ｄが通常画像であることを示す情報Ｐを出力手段６０に出力する（Ｓ２２２）ことをもって処理を終了する一方、ボケ画像として判別した場合には（Ｓ２４０：Ｎｏ）、さらに画像Ｄに対してぶれ度Ｋ、ボケ幅Ｌを算出して（Ｓ２４２）、ボケ方向、ボケ度Ｎと合わせてボケ情報Ｑ’としてパラメータ設定手段３０ｃに出力する（Ｓ２４４）。パラメータ設定手段３０ｃは、画像Ｄのボケ情報Ｑ’を用いてパラメータＥｃを設定して補正手段４０ｃに出力する（Ｓ２４６）。

補正手段４０ｃは、パラメータ統合手段２６０から出力されて来た統合パラメータＥ’ｃ、またはパラメータ設定手段３０ｃから出力されて来たパラメータＥ’ｃを画像Ｄに適用して補正を行い、補正済み画像を目的画像Ｄ’として出力手段６０に出力する（Ｓ２５０）。

出力手段６０は、解析手段２０ｃから情報Ｐを受信する（Ｓ２２２）と、画像Ｄを印刷してプリントを得る（Ｓ２２４）と共に、補正手段４０ｃから目的画像Ｄ’を受信すると、目的画像Ｄ’を印刷してプリントを得る（Ｓ２６０）。

このように、本実施形態の画像処理システムＣによれば、画像Ｄが被写界深度の浅い画像である確信度αを算出し、この確信度αが高いほど、主要被写体領域の画像（ここでは顔画像ｄ０）を用いて設定したパラメータＥｃ０の重みが高くなるように、パラメータＥｃ０と、顔以外の領域の画像Ｄ１を用いて設定したパラメータＥｃ１とを重み付け合算して得たパラメータを用いて補正を行うようにしているので、前述した実施形態の画像処理システムＡおよび画像処理システムＢと同様の効果を得ることができると共に、被写界深度に対する判別に多少のずれがあっても、良い補正効果を得ることができる。

なお、本実施形態の画像処理システムＣにおいては、主要被写体領域の画像を用いて設定したパラメータを、主要被写体領域以外の領域の画像を用いて設定したパラメータと重み付け合算するようにしているが、主要被写体領域以外の領域の画像の代わりにデジタル写真画像全体（画像処理システムＣにおいては縮小画像ｄ全体）を用いて設定したパラメータと重み付け合算するようにしてもよい。

なお、画像処理システムＢにおいて、画像Ｄの付属情報に基づいて画像Ｄが被写界深度の浅い画像である否かの判別を行っているが、主要被写体領域の画像のボケ情報と、主要被写体領域以外の領域の画像のボケ情報とを比較することによってこの判別を行うようにしてもよい。同様に、画像処理システムＣにおいて、画像Ｄの付属情報に基づいて画像Ｄが被写界深度の浅い画像である確信度を算出するようにしてもよい。

デジタル写真画像が被写界深度の浅い画像であるか否かの判別、またはデジタル写真画像が被写界深度の浅い画像である確信度の算出については、画像処理システムＢとＣにおいて用いられた方法に限らず、デジタル写真画像を複数のブロックに分割し、各ブロックの画像のボケ情報を比較することによって行うようにしてもよい。図２７は、この方法を用いた実施形態の画像処理システムＤの構成を示している。なお、図２７に示す画像処理システムＤは、例としてデジタル写真画像を複数のブロックに分割し、各ブロックの画像のボケ情報を比較することによってデジタル写真画像が被写界深度の浅い画像であるか否かの判別を行って画像処理を施すものであるが、各ブロックの画像のボケ情報を比較することによってデジタル写真画像が被写界深度の浅い画像である確信度を算出して画像処理を行ってもよい。

図２７に示す実施形態の画像処理システムＤは、図２１に示す実施形態の画像処理システムＢと比べ、画像Ｄが被写界深度の浅い画像であるか否かの判別を行う処理が異なる点を除けば、他の処理が略同様であるため、ここでは、画像処理システムＤにおける、画像Ｄが被写界深度の浅い画像であるか否かの判別を行う処理についてのみその詳細を説明する。

図２７には、画像Ｄが被写界深度の浅い画像であるか否かの判別を行う処理を点線により示している。図示のように、まず、縮小手段１０ｄにより得られた画像Ｄの縮小画像ｄが判別手段２００ｄにも出力される。判別手段２００ｄは、縮小画像ｄを複数のブロックに分割するブロック分割手段２１０ｄを備えている。ここで、例として、縮小手段１０ｄは、画像Ｄを２００画素×１５０画素の縮小画像ｄに縮小するものであり、判別手段２００ｄに備えられたブロック分割手段２１０ｄは、縮小画像ｄを２０画素×１５画素の計１００個のブロックに分割するものであるとする。判別手段２００ｄは、ブロック分割手段２１０ｄにより得られた１００個のブロックの画像をエッジ検出手段１２ｄに出力する。エッジ検出手段１２ｄは、まずこれらのブロックの画像（縮小されている画像）に対して、図４に示すような８方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得る。次にエッジ検出手段１２ｄは、検出された各方向毎の各々のエッジの座標位置に基づいて、画像Ｄにおいて、各ブロックの部分に夫々対応する部分の画像を用いてこれらのエッジに対して、図５に示すようなエッジプロファイルを作成してエッジ絞込手段１４ｄに出力する。エッジ検出手段１２ｄにより作成された各々のエッジプロファイルは、エッジ絞込手段１４ｄ、エッジ特徴量取得手段１６ｄ、解析手段２０ｄの順に夫々の処理が施されて、最後に解析手段２０ｄから、各々のブロックの画像のボケ情報が判別手段２００ｄに出力される。ここで、解析手段２０ｄにより各ブロックの画像のボケ情報を算出して判別手段２００ｄに出力する際に、ボケ方向、ボケ度Ｎ、ぶれ度Ｋ、ボケ幅Ｌ全部を算出して出力するようにしてもよいが、ここでは、演算量を減らし、処理を早くするために、画像Ｄが被写界深度の浅いであるか否かを判別するためのボケ情報として、各ブロックの画像のボケ度Ｎのみを算出して判別手段２００ｄに出力するとする。

判別手段２００ｄは、各ブロックの画像のボケ情報（ここではボケ度Ｎのみ）を比較して、画像Ｄが被写界深度の浅い画像であるか否かの判別を行う。具体的には、下記の手法で判別を行う。

１．ボケ度Ｎの差が所定の閾値（閾値ｔ１）以内のブロックを同じグループにするようにして各ブロックをグループ化する
２．１において得られたグループが１つしかなければ、画像Ｄが被写界深度の浅い画像ではないと判別する。グループが２以上あれば、相隣するブロックが４つ以上含まれたグループのみを抽出して、下記３の処理に進む。

３．２において抽出されたグループが１つ以下であれば、画像Ｄが被写界深度の浅い画像ではないと判別する。３において抽出されたグループが２つ以上であれば、これらのブロック毎の平均ボケ度Ｎ’０を夫々算出して処理５に進む。

５．３において抽出された２つ以上のグループから平均ボケ度Ｎ’０が最も小さいグループ（そのボケ度をＮ’ｍｉｎとする）を除いた他のグループの全てのブロックの平均ボケ度Ｎ’１を算出してＮ’ｍｉｎと比較し、Ｎ’１とＮ’ｍｉｎとの差の絶対値が所定の閾値（閾値ｔ２とする）以下であれば、画像Ｄが被写界深度の浅い画像ではないと判別する一方、Ｎ’１とＮ’ｍｉｎとの差の絶対値が閾値ｔ２より大きければ、画像Ｄが被写界深度の浅い画像であると判別する。

判別手段２００ｄは、こうして画像Ｄが被写界深度の浅い画像であるか否かの判別を行い、判別の結果を縮小手段１０ｄに出力する。

縮小手段１０ｄが判別手段２００ｄから判別の結果を受信した後の処理は、前述した画像処理システムＢにおいて、縮小手段１０ｂが判別手段２００から判別の結果を受信した後の処理と同様であるので、ここで詳細な説明を省略する。

このように、本実施形態の画像処理システムＤは、画像システムＢと異なる判別方法で画像Ｄが被写界深度の浅い画像であるか否かの判別を行い、画像システムＢと同様な効果を得ることができると共に、画像Ｄに付属情報がない、または画像Ｄの付属情報にＦ値が含まれていない場合においても判別を行うことができる。

以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、上述した各実施形態の構成を組み合わせたり、増減、変化を加えたりすることができる。

例えば、写真画像に顔が含まれているか否かの識別および顔画像の抽出については、上述した実施形態に用いられた方法に限られることがなく、従来公知の種々の技術を利用することができる。

また、図１に示す実施形態の画像処理システムＡおよび画像処理システムＢにおいては、パラメータ設定手段３０は複数の補正パラメータを設定し、補正手段４０は、これらの複数の補正パラメータを用いて補正を施して複数の補正済み画像を得、決定手段４５は、ユーザが複数の補正済み画像から選択した補正済み画像を目的画像として決定するようにしているが、補正制御手段と確認手段とを設け、パラメータ設定手段においてまず１つのみの補正パラメータを設定し、補正手段も一度には１つの補正済み画像のみを得、確認手段は、補正済み画像をユーザに確認させ、補正制御手段は、ユーザによる確認の結果が該補正済み画像を目的画像とすることになるまでパラメータ設定手段による補正パラメータを設定し直す処理と、補正手段による、設定し直された補正パラメータを用いて補正を行って補正済み画像を得る処理、確認手段による確認を繰り返させるようにして目的画像を決定するようにしてもよい。またはパラメータの設定、補正の実行、確認の繰り返しをせずに、１つのみの補正済み画像をユーザに確認させ、ユーザに気に入らない場合には補正済み画像と対応する補正前の元の画像を目的画像として決定するようにしてもよい。

また、上述の実施形態の画像処理システムは、相関最小組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向としているが、例えば、相関最小組（相関値が１番目に小さい方向組）と、相関値が２番目に小さい方向組について、夫々ぶれ度を算出し、方向組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向とするようにして２つの方向組からボケ候補方向を夫々取得し、取得された２つのボケ候補方向を、算出された２つのぶれ度に応じて、ぶれ度が大きい方向組ほど、該方向組に含まれるボケ候補方向の重みが大きくなるように重み付けしてボケ方向を得るようにしてもよい。この場合、ボケ幅も、２つのボケ候補方向における夫々の平均エッジ幅を、ぶれ度が大きい方向組ほど、該方向組に含まれるボケ候補方向の平均エッジ幅の重みが大きくなるように重み付けしてボケ幅を得ることができる。

また、上述の実施形態の画像処理システムは、画像中のボケの有無に関わらず相関最小組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向にし、該ボケ方向に基づいてさらにボケ度を算出して、ボケ度に基づいて通常画像とボケ画像の判別を行い、ボケ画像として判別された画像に対してさらにぶれ度を求めるようにして補正パラメータの設定を行うようにしているが、例えば、相関最小組の相関値が所定の閾値Ｔ１以上であれば、該画像におけるボケが「無方向」とし（即ち、画像が通常画像かピンボケ画像である）、ボケ方向が「無方向」である画像に対して、ボケ度を求め、ボケ度が所定の閾値Ｔ２より小さい画像を通常画像として判別して補正しないようにする一方、ボケ度が所定の閾値Ｔ２以上の画像をピンボケ画像として判別して等方性補正用のパラメータのみを求めて補正を行うと共に、相関最小組の相関値がＴ１より小さい画像をぶれ画像として、相関最小組の平均エッジ幅の大きい方向をぶれ幅とするようにしてもよい。また、ぶれ画像に対して補正パラメータを設定する際に、ぶれ方向に作用する方向性補正パラメータのみを補正パラメータとして設定するようにしてもよいし、ぶれ度をさらに求め、ぶれ度に応じて等方性補正パラメータと方向性補正パラメータとを重み付け合算するようにして補正パラメータを設定するようにしてもよい。

また、上述の本実施形態の画像処理システムは、処理の効率を良くするために、デジタル写真画像が通常画像かボケ画像かを判別し、ボケ画像として判別された画像に対してのみぶれ度、ぶれ幅を算出してパラメータの設定や、補正を行うようにしているが、通常画像とボケ画像の判別をせず、全ての処理対象の画像に対して、ボケ度、ボケ幅、ぶれ度をボケ情報として算出し、ボケ情報に基づいてパラメータを設定して補正を行うようにしてもよい。通常画像のボケ度が小さいため、ボケ度に応じて設定された通常画像の補正パラメータは微小な補正を行う補正パラメータまたは補正しないパラメータとなり、ピンボケ画像のぶれ度が小さいため、ぶれ度に応じて等方性補正パラメータと方向性パラメータとを重み付け合算して補正パラメータを得る際に、方向性補正パラメータの重みが小さい乃至ゼロとなる。

また、上述した実施形態において、解析手段２０、２０ｃ、２０ｄは、図９に基づいて、前述した３つの要素に基づいてぶれ度を求めるようにしているが、ぶれ度を求める要素については増減があってもよい。例えば、前述した３つの要素のうちの２つのみを用いてもよく、要素を増やして、例えば相関最小組と、相関最小組と最も大きくずれた（図４に示す方向組の場合、４５度ずれた）方向組との相関値の差も視野に入れてぶれ度を求めるようにしてもよい。

また、上述の実施形態において、解析手段２０、２０ｃ、２０ｄは、ボケ画像となる画像Ｄに対して、そのボケがピンボケかぶれかの区別をせず、ボケ画像として判別された画像であれば、ぶれ度を求めてぶれ度に応じた重み付け係数（本実施形態の画像処理システムにおいては、ぶれ度そのものを重み付け係数にしている）で当方性補正パラメータと方向性補正パラメータを重み付け合算して補正パラメータを得て補正するようにしているが、例えば、ぶれ度が所定の閾値より小さいボケ画像をピンボケ画像とし、ピンボケ画像に対しては等方性補正パラメータのみを設定して補正を行うようにしてもよい。

また、上述の実施形態の画像処理システムは、処理対象となるデジタル写真画像がボケ画像か通常画像かが知られていないことを前提にして、全てのデジタル写真画像に対して通常画像かボケ画像かの判別を行うようにしているが、ボケ画像のみを対象とする処理系、例えば顧客または操作者によりボケ画像に指定された画像を補正するような処理系などにおいては、通常画像とボケ画像の判別を行うことが必ずしも必要ではない。

また、上述の実施形態の画像処理システムは、画像の縮小から目的画像を出力するまでの処理を１つの装置において行っているが、本発明は、このような態様に限られることがなく、例えば、画像処理システムを解析装置と処理装置とに分け、解析装置は、補正パラメータを設定するまでの処理を行うと共に、設定された補正パラメータを画像の付属情報として画像に付属させて記録媒体に記録し、処理装置は、記録媒体から画像を読み出して、画像の付属情報となる補正パラメータを用いて補正を行うようにしてもよい。

さらに、このような態様において、解析装置は、ボケ情報を求めるまでの処理のみをし、このボケ情報を画像の付属情報として画像に付属させて記録媒体に記録し、処理装置は、記録媒体から画像を読み出して、画像の付属情報となるボケ情報に基づいて補正パラメータを設定して補正を行うようにしてもよい。

さらに、補正実行指示手段を設け、ボケ情報の取得までまたは補正パラメータの設定までの処理を行うが、補正実行指示手段から補正を実行するように指示されるまで補正を実行せず、補正を実行するように指示されてから補正を実行するようにしてもよい。

また、上述の実施形態の画像処理システムは、携帯カメラにより取得されたデジタル写真画像を対象としているが、本発明の画像処理方法および装置並びにそのためのプログラムは、携帯カメラにより取得されたデジタル写真画像に限らず、如何なるデジタル写真画像、例えば通常のデジタルカメラにより取得されたデジタル写真画像や、スキャナなどの読取装置で写真フィルムまたは紙などの印刷媒体に印刷された写真画像を読み取って得たデジタル写真画像にも適用することができる。

また、上述の実施形態の画像処理システムにおいて、画像から複数の顔領域が検出された場合、エッジ検出手段は、これらの複数の顔領域の画像から、最も画素数の多い画像を選択してエッジの検出に供するが、最も中央部分に位置する顔領域の画像を選択するようにしてもよい。さらに、検出された複数の顔領域の画像のうち、ユーザにより指示された画像を選択するようにしてもよく、この場合、検出された複数の顔領域の画像を候補画像として例えばモニタなどの表示装置に表示し、表示された複数の候補画像に対してユーザによりマウスなどの入力手段で指定された候補画像を選択するようにしてもよいし、顔検出の前または後にユーザに所望の位置をポインティングさせ、検出された複数の顔領域の画像のうち、ユーザによりポインティングされた位置に最も近い顔領域の画像を選択するようにしてもよい。

勿論、複数の顔領域の画像から１つのみを選択するのではなく、複数の顔領域全て、または全部ではないが１つ以上の領域の画像を選択するようにしてもよい。

１ 記録媒体
１０ａ，１０ｂ，１０ｃ，１０ｄ 縮小手段
１２，１２ｃ，１２ｄ エッジ検出手段
１４，１４ｃ，１４ｄ エッジ絞込手段
１６，１６ｃ，１６ｄ エッジ特徴量取得手段
２０，２０ｃ，２０ｄ 解析手段
３０，３０ｃ，３０ｄ パラメータ設定手段
４０，４０ｃ，４０ｄ 補正手段
４５ 決定手段
５０，５０ｃ 記憶手段
６０ 出力手段
１００，１００ｃ，１００ｄ 顔抽出手段
２００，２００ｄ 判別手段
２１０ 読取手段
２１０ｄ ブロック分割手段
Ｃ０ 顔を識別するための特徴量
Ｄ デジタル写真画像
Ｄ’ 目的画像
Ｈ０ 参照データ
Ｅ 補正パラメータ
Ｋ ぶれ度
Ｌ ボケ幅
Ｍ１ １次元補正マスク
Ｍ２ ２次元補正マスク
Ｎ ボケ度
Ｑ ボケ情報
Ｓ エッジ特徴量
α 確信度
β 縮小率

Claims (20)

1. デジタル写真画像におけるボケを補正する画像処理方法において、
   前記デジタル写真画像から主要被写体領域を抽出し、
   該主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定して第１のパラメータとすると共に、前記デジタル写真画像全体または前記主要被写体領域以外の領域の画像を用いて前記ボケを補正するためのパラメータを設定して第２のパラメータとし、
   前記デジタル写真画像が被写界深度の浅い画像である確信度を求め、
   前記確信度が高いほど前記第１のパラメータの重みが大きくなるように前記第１のパラメータと前記第２のパラメータとを重付合算して前記ボケを補正するためのパラメータを取得し、
   該パラメータを用いて前記デジタル写真画像に対して補正を行うことを特徴とする画像処理方法。
2. 前記デジタル写真画像に、該デジタル写真画像を撮像した撮像装置のレンズのＦ値を含む付属情報が付属されており、
   前記付属情報を読み取って前記Ｆ値を取得し、
   該Ｆ値に基づいて前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うことを特徴とする請求項１記載の画像処理方法。
3. 前記デジタル写真画像から抽出した主要被写体領域の画像および前記主要被写体領域以外の領域の画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理を夫々施して夫々の前記ボケ情報を得、
   前記主要被写体領域の画像から取得された前記ボケ情報および前記主要被写体領域以外の領域の画像から取得された前記ボケ情報とを比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うことを特徴とする請求項１記載の画像処理方法。
4. 前記デジタル写真画像を複数のブロックに分け、
   各前記ブロックの画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理を夫々施して夫々の前記ボケ情報を得、
   各々の前記ブロックの画像から取得された前記ボケ情報を比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うことを特徴とする請求項１記載の画像処理方法。
5. 前記ボケを補正するためのパラメータを設定する際に用いられる画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理を施し、
   前記ボケ情報に基づいて前記パラメータを設定することを特徴とする請求項１から４のいずれか１項記載の画像処理方法。
6. デジタル写真画像におけるボケを補正する画像処理装置であって、
   前記デジタル写真画像から主要被写体領域を抽出する主要被写体抽出手段と、
   前記デジタル写真画像が被写界深度の浅い画像である確信度を求める確信度算出手段と、
   前記主要被写体抽出手段により抽出された前記主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定する第１のパラメータ設定手段と、
   前記デジタル写真画像全体または前記主要被写体領域以外の領域の画像を用いて前記ボケを補正するためのパラメータを設定する第２のパラメータ設定手段と、
   前記確信度算出手段により得られた前記確信度が高いほど前記第１のパラメータ設定手段により設定された前記パラメータの重みが大きくなるように前記第１のパラメータにより設定されたパラメータと前記第２のパラメータ設定手段により設定されたパラメータとを重付合算して統合パラメータを取得する統合パラメータ取得手段と、
   該統合パラメータ取得手段により取得された前記統合パラメータを用いて前記デジタル写真画像に対して補正を行う補正手段とを有してなることを特徴とする画像処理装置。
7. 前記デジタル写真画像を撮像した撮像装置のレンズのＦ値を含む付属情報が付属された前記デジタル写真画像の前記付属情報を読み取って前記Ｆ値を取得する付属情報読取手段を備え、
   前記判別手段または前記確信度算出手段が、前記Ｆ値に基づいて前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うものであることを特徴とする請求項６記載の画像処理装置。
8. 対象画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得手段を備え、
   前記判別手段または前記確信度算出手段が、前記ボケ情報取得手段により前記主要被写体領域の画像および前記主要被写体領域以外の領域の画像を夫々前記対象画像にして取得された夫々の前記ボケ情報を比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うものであることを特徴とする請求項６記載の画像処理装置。
9. 前記デジタル写真画像を複数のブロックに分けるブロック分け手段と、
   対象画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得手段とを備え、
   前記判別手段または前記確信度算出手段が、前記ボケ情報取得手段により各前記ブロックの画像を夫々前記対象画像にして取得された各々の前記ボケ情報を比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うものであることを特徴とする請求項６記載の画像処理装置。
10. 前記主要被写体抽出手段が、
    前記デジタル写真画像から主要被写体領域の候補を抽出する主要被写体候補抽出手段と、
    該主要被写体候補抽出手段により抽出された複数の前記主要被写体候補から前記主要被写体の領域を選択する主要被写体選択手段とからなることを特徴とする請求項６から９のいずれか１項記載の画像処理装置。
11. 前記主要被写体選択手段が、複数の前記主要被写体候補から、サイズが最も大きい主要被写体候補を前記主要被写体として選択するものであることを特徴とする請求項１０記載の画像処理装置。
12. 前記主要被写体選択手段が、複数の前記主要被写体候補から、最も中央部分に近い主要被写体候補を前記主要被写体として選択するものであることを特徴とする請求項１０記載の画像処理装置。
13. 前記主要被写体選択手段が、複数の前記主要被写体候補のうち、ユーザにより指示された主要被写体候補を前記主要被写体として選択するものであることを特徴とする請求項１０記載の画像処理装置。
14. 前記パラメータ設定手段により用いられる画像に対して縮小処理を施して縮小画像を得る縮小手段を備え、
    前記パラメータ設定手段が、前記縮小画像を用いて前記パラメータを設定するものであり、
    前記縮小手段が、前記パラメータ設定手段により用いられる前記主要被写体領域の画像のサイズに応じて、該サイズが大きいほど該画像に対する縮小強度を強めるようにして前記縮小処理を施すものであることを特徴とする請求項６から１３のいずれか１項記載の画像処理装置。
15. 前記パラメータ設定手段が、前記ボケを補正するためのパラメータを設定するために用いられる画像に対して、該画像における複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得手段を備え、
    前記ボケ情報基づいて前記パラメータを設定するものであることを特徴とする請求項６から１４のいずれか１項記載の画像処理装置。
16. デジタル写真画像におけるボケを補正する画像処理をコンピュータに実行させるプログラムであって、
    前記デジタル写真画像から主要被写体領域を抽出する主要被写体抽出処理と、
    前記デジタル写真画像が被写界深度の浅い画像である確信度を求める確信度算出処理と、
    前記主要被写体抽出処理により抽出された前記主要被写体領域の画像を用いて前記ボケを補正するためのパラメータを設定する第１のパラメータ設定処理と、
    前記デジタル写真画像全体または前記主要被写体領域以外の領域の画像を用いて前記ボケを補正するためのパラメータを設定する第２のパラメータ設定処理と、
    前記確信度算出処理により得られた前記確信度が高いほど前記第１のパラメータ設定処理により設定された前記パラメータの重みが大きくなるように前記第１のパラメータにより設定されたパラメータと前記第２のパラメータ設定処理により設定されたパラメータとを重付合算して統合パラメータを取得する統合パラメータ取得処理と、
    該統合パラメータ取得処理により取得された前記統合パラメータを用いて前記デジタル写真画像に対して補正を行う補正処理とを有することを特徴とするプログラム。
17. 前記画像処理が、前記デジタル写真画像を撮像した撮像装置のレンズのＦ値を含む付属情報が付属された前記デジタル写真画像の前記付属情報を読み取って前記Ｆ値を取得する付属情報読取処理を有し、
    前記判別処理または前記確信度算出処理が、前記Ｆ値に基づいて前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うことを特徴とする請求項１６記載のプログラム。
18. 前記画像処理が、対象画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理を有し、
    前記判別処理または前記確信度算出処理が、前記ボケ情報取得処理により前記主要被写体領域の画像および前記主要被写体領域以外の領域の画像を夫々前記対象画像にして取得された夫々の前記ボケ情報を比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うことを特徴とする請求項１６記載のプログラム。
19. 前記画像処理が、前記デジタル写真画像を複数のブロックに分けるブロック分け処理と、
    対象画像に対して、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理とを有し、
    前記判別処理または前記確信度算出処理が、前記ボケ情報取得処理により各前記ブロックの画像を夫々前記対象画像にして取得された各々の前記ボケ情報を比較することによって、前記デジタル写真画像が被写界深度の浅い画像か否かの判別または前記確信度を求める処理を行うことを特徴とする請求項１６記載のプログラム。
20. 前記パラメータ設定処理が、前記ボケを補正するためのパラメータを設定するために用いられる画像に対して、該画像における複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいてボケ情報を取得するボケ情報取得処理を有し、取得された前記ボケ情報基づいて前記パラメータを設定することを特徴とする請求項１６から１９のいずれか１項記載のプログラム。

Images