JP4493416B2 - 画像処理方法および装置並びにプログラム - Google Patents

Description

本発明はデジタル写真画像、特にデジタルカメラにより取得されたデジタル写真画像に対してボケの判別、ボケの補正を行う画像処理方法および装置並びにそのためのプログラムに関するものである。

ネガフィルムやカラーリバーサルフィルムなどの写真フィルムに記録された写真画像をスキャナーなどの読取装置で光電的に読み取って得たデジタル写真画像や、デジタルスチルカメラ（ＤＳＣ）で撮像して得たデジタル写真画像などに対して、種々の画像処理を施してプリントすることが行われている。これらの画像処理の一つとして、ボケた画像（ボケ画像）からボケを取り除くボケ画像修復処理が挙げられる。

被写体を撮像して得た写真画像がぼけてしまう理由としては、焦点距離が合わないことに起因するピンボケと、撮像者の手のぶれに起因するぶれボケ（以下略してぶれという）が挙げられる。ピンボケの場合には、点像が２次元的に広がり、すなわち写真画像上における広がりが無方向性を呈することに対して、ぶれの場合には、点像がある軌跡を描き画像上に１次元的に広がり、すなわち写真画像上における広がりがある方向性を呈する。

デジタル写真画像の分野において、従来、ボケ画像を修復するために、様々な方法が提案されている。写真画像の撮像時にぶれの方向やぶれ幅などの情報が分かれば、Ｗｉｅｎｅｒフィルタや逆フィルタなどの復元フィルタを写真画像に適用することにより修復ができることから、撮像時にぶれの方向やぶれ幅などの情報を取得することができる装置（例えば加速度センサー）を撮像装置に設け、撮像と共にぶれの方向やぶれ幅などの情報を取得し、取得された情報に基づいて修復を図る方法が広く知られている（例えば、特許文献１参照）。

また、例えば、特許文献２に記載されたように、ボケ画像（ボケがある画像）に対して劣化関数を設定し、設定された劣化関数に対応する復元フィルタでボケ画像を修復し、修復後の画像を評価し、評価の結果に基づいて劣化関数を再設定するようにして、所望の画質になるまで、修復、評価、劣化関数の再設定を繰り返すことによって修復を図る方法も知られている。

一方、携帯電話の急激な普及に伴って、携帯電話機の機能が向上し、その中でも携帯電話付属のデジタルカメラ（以下略した携帯カメラという）の機能の向上が注目を浴びている。近年、携帯カメラの画素数が１００万の桁に上がり、携帯カメラが通常のデジタルカメラと同様な使い方がされている。友達同士で旅行に行く時の記念写真などは勿論、好きなタレント、スポーツ選手を携帯カメラで撮像する光景が日常的になっている。このような背景において、携帯カメラにより撮像して得た写真画像は、携帯電話機のモニタで鑑賞することに留まらず、例えば、通常のデジタルカメラにより取得した写真画像と同じようにプリントすることも多くなっている。

他方、携帯カメラは、人間工学的に、本体（携帯電話機）が撮像専用に製造されていないため、撮像時のホールド性が悪いという問題がある。また、携帯カメラは、フラッシュがないため、通常のデジタルカメラよりシャッタースピードが遅い。このような理由から携帯カメラにより被写体を撮像するときに、通常のカメラより手ぶれが起きやすい。極端な手ぶれは、携帯カメラのモニタで確認することができるが、小さな手ぶれは、モニタで確認することができず、プリントして初めて画像のぶれに気付くことが多いため、携帯カメラにより撮像して得た写真画像に対してぶれの補正を施す必要性が高い。

しかしながら、携帯電話機の小型化は、その性能、コストに並び、各携帯電話機メーカの競争の焦点の１つであり、携帯電話機付属のカメラに、ぶれの方向やぶれ幅を取得する装置を設けることが現実的ではないため、特許文献１に提案されたような方法は、携帯カメラに適用することができない。また、特許文献２に提案されたような方法は、劣化関数の設定、修復、評価、劣化関数の再設定・・・の処理を繰り返す必要があるため、処理時間がかかり、効率が良くないという問題がある。

そこで、特別な装置を撮像装置に設けることを必要とせずにデジタル写真画像からボケに関する情報を取得すると共に、デジタル写真画像に対してボケの補正を効率良く行うことが可能な方法としては、デジタル写真画像からエッジを検出し、これらのエッジのエッジ幅や、エッジ幅の分布を示すヒストグラムなどのエッジ特徴量を算出して、エッジ特徴量に基づいてデジタル写真画像におけるボケの状態（ボケの有無、ボケがある場合のボケの程度など）を判別して補正を行うことが考えられる。さらに、エッジを検出する際に、複数の異なる方向毎にエッジを検出し、各方向毎にエッジ特徴量を算出するようにすれば、このエッジ特徴量に基づいてボケの方向の判別（有方向と無方向の判別も含む）や、ボケの程度や、手ぶれの程度などを判別して補正を行うことができる。この方法は、ボケは画像中の点像の広がりを引き起こし、ボケがある画像に点像の広がりに応じたエッジの広がりが生じるため、画像中におけるエッジの広がりの態様は画像中におけるボケと直接関係することに着目したものである。
特開２００２−１１２０９９号公報 特開平７−１２１７０３号公報

しかしながら、デジタル写真画像を撮像する際に、シャッタースピードの速い遅いや、ストロボＯＮかＯＦＦかなどの撮像条件によって、撮像して得た画像にぶれがおきやすい確率（ぶれやすさ）が異なる。デジタル写真画像に対して異なる方向毎にエッジを検出し、検出されたエッジの特徴量に基づいてボケの状態の判別を行う上記の方法において、これらの撮像条件を視野に入れず、全てのデジタル写真画像に対して同じエッジ検出条件（検出するエッジの強度や、エッジを検出する方向や数など）と同じ判別条件（ボケの有無や、ボケの方向、ボケの程度、ぶれの程度などを判別するための条件）を用いてエッジの検出や、ボケの判別を行うようにすると、精度が欠けるという問題がある。

また、携帯電話機付属のデジタルカメラの場合、機種によってぶれやすさ（撮像時にぶれる確率）や、ぶれやすい方向（例えば縦撮りの機種は上下にぶれやすく、横撮りの機種が斜め方向にぶれやすい）が異なり、これらの機種の特性を用いてデジタル写真画像の補正の効果を高めることが希望されている。

また、人物などの主要被写体をアップにして撮像して得た被写界深度の浅い画像は、主要被写体の部分の画像を除いて、他の部分の画像がボケている。このような画像に対してエッジを検出してエッジの特徴量に基づいてボケの判別を行う際に画像全体を用いると、主要被写体がボケていない画像でもボケ画像として判別される可能性が高く、結果的に良い補正結果を得ることができないという問題がある。

また、例えばデジタルカメラを用いて撮像を行う際に、被写体を撮像して得た画像データが一度圧縮されてから出力（記録媒体への記録またはネットワークを介しての送信）されるようになっている。デジタル写真画像の圧縮の強度の大小に関わらず同じ判別条件を適用すると、後に判別の結果に基づいてボケ補正を行った結果、圧縮の強度の大きい画像は、圧縮の強度の小さい画像に比べて圧縮に起因するノイズが元々多いため、補正後の画像にはノイズが目立ってしまうという問題がある。

本発明は、上記事情に鑑み、デジタル写真画像におけるエッジの特徴量を取得し、このエッジ特徴量に基づいてボケの判別を精度良く行うことができ、判別されたボケを補正して良い補正効果を得ることができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の画像処理方法は、デジタル写真画像に対して、所定のエッジ検出条件でエッジを検出し、
検出された前記エッジの特徴量を取得し、
該エッジ特徴量を用いて前記デジタル写真画像におけるボケの状態を所定の判別条件に基づいて判別する画像処理方法において、
前記デジタル写真画像の撮像条件を示す撮像条件情報を取得し、
該撮像条件情報に基づいて前記エッジ検出条件および／または前記判別条件を設定することを特徴とするものである。

また、前記検出は、複数の異なる方向毎に行われるものであり、前記エッジの特徴量は、各前記方向に対して取得されるものであり、前記ボケの状態は、少なくともボケ方向を含むものであることが好ましい。

本発明の画像処理方法において、前記判別の結果に基づいて前記ボケを補正するためのパラメータを設定し、該パラメータを用いて前記デジタル写真画像を補正することができる。

本発明の画像処理装置は、所定のエッジ検出条件でエッジを検出するエッジ検出手段と、
検出された前記エッジの特徴量を取得するエッジ特徴量取得手段と、
該エッジ特徴量を用いて前記デジタル写真画像におけるボケの状態を所定の判別条件に基づいて判別するボケ判別手段とを有する画像処理装置において、
前記デジタル写真画像の撮像条件を示す撮像条件情報を取得する撮像条件情報取得手段と、
該撮像条件情報に基づいて前記エッジ検出条件および／または前記判別条件を設定する条件設定手段とを備えたことを特徴とするものである。

また、前記検出手段は、複数の異なる方向毎に前記検出を行うものであり、
前記エッジ特徴量取得手段は、各前記方向に対して前記エッジ特徴量を取得するものであり、
前記ボケの状態は、少なくともボケ方向を含むものであることが好ましい。

本発明の画像処理装置は、前記ボケ判別手段による判別の結果に基づいて前記ボケを補正するためのパラメータを設定するパラメータ設定手段と、該パラメータを用いて前記デジタル写真画像を補正する補正手段とをさらに備えてもよい。

ここで、「エッジ特徴量」は、デジタル写真画像におけるエッジの広がりの態様と関係する特徴量を意味し、例えば、前記エッジの鮮鋭度、および前記エッジの鮮鋭度の分布を含むものとすることができる。

ここで、「エッジの鮮鋭度」は、エッジの鮮鋭さを現すことができるものであれば如何なるパラメータを用いてもよく、例えば、図３のエッジプロファイルにより示されるエッジの場合、エッジ幅が大きいほどエッジの鮮鋭度が低いように、エッジ幅をエッジの鮮鋭度として用いることは勿論、エッジの明度変化の鋭さ（図３におけるプロファイル曲線の勾配）が高いほどエッジの鮮鋭度が高いように、エッジのプロファイル曲線の勾配をエッジの鮮鋭度として用いるようにしてもよい。

また、「ボケ」は、無方向性のボケすなわちピンボケと、有方向性のボケすなわちぶれがあり、ぶれの場合は、ボケ方向がぶれ方向に相当し、ピンボケの場合において、その「ボケ方向」は「無方向」となる。本発明において、「無方向」もボケの方向とする。

また、「複数の異なる方向」とは、デジタル写真画像におけるボケの方向の特定を可能とするための方向を意味し、ボケの方向に近い方向を含むことが必要であるため、その数が多ければ多いほど特定の精度が高いが、処理速度との兼ね合いに応じた適宜な個数を用いることが好ましい。

また、「エッジ検出条件」は、前記エッジを検出する複数の方向は勿論、検出するエッジを規定するいかなる条件であってもよい。

デジタル写真画像におけるボケを補正するために、前記ボケの方向は重要な情報である。例えば、ボケ方向（無方向またはぶれの方向）が分かれば、補正用の前記パラメータを設定する際に、ピンボケの場合には等方性補正用の等方性補正パラメータを、ぶれの場合には方向性補正用の方向性補正パラメータを設定するようにすることができる。なお、「等方性補正」とは、各方向に対して同等に作用する補正を意味し、「方向性補正」とは、所定の方向にのみ作用する補正あるいは方向により作用が異なる補正を意味する。一方、ボケが、エッジの広がりとして画像に現れるため、ボケを補正する方法としては、従来公知の、画像の鮮鋭度を向上させるための補正方法、例えば、ＵＳＭ（アン・シャープネス・マスキング）などを用いることができる。前記補正のパラメータを設定する際に、所用の補正方法に応じてパラメータを設定する。例えば、補正の方法としてＵＳＭを用いる場合に、等方性補正パラメータとして等方性補正マスクを設定し、方向性補正のパラメータとしては前記ぶれ方向に作用する方向性補正マスクを設定するようにすればよい。

本発明における前記「判別条件」は、少なくとも前記デジタル写真画像のボケ方向を判別するための条件であり、前記ボケの程度の大小や、ぶれの程度の大小などを判別するための条件が含まれてもよい。

本発明において、前記「撮像条件情報」とは、前記デジタル写真画像を撮像する際の条件のうち、前記ボケの判別、前記ボケを補正することと関係する条件を示す情報を意味し、例えば、前記デジタル写真画像を撮像した際に該デジタル写真画像に有方向性のボケとなるぶれをもたらす確率の大きさを示すぶれやすさおよび／または前記ぶれが起きやすい方向を示すぶれやすい方向情報を含むものとすることができ、この場合、前記条件設定手段は、該ぶれやすさおよび／または前記ぶれやすい方向情報に基づいて前記エッジ検出条件および／または前記判別条件を設定するものとなる。

ここで、前記撮像条件情報取得手段は、前記デジタル写真画像に付属されたタグ情報に基づいて前記ぶれやすさおよび／または前記ぶれやすい方向情報を取得するものとすることができる。

デジタル写真画像にはタグ情報が付属されているとき、このタグ情報には該デジタル写真画像を撮像した撮像条件を示す情報が含まれている場合が多い。これらの情報のうち、本発明における撮像条件情報の例として、シャッタースピード、ストロボのＯＮ／ＯＦＦ、ＩＳＯ感度、被写体の明るさを示すＥＶ値、ズーム撮像か否かなどを挙げることができる。

例えば、シャッタースピードが遅いと手ぶれが生じやすいので、シャッタースピードの遅さを前記ぶれやすさとすることができる。すなわち、シャッタースピードが遅いほど、前記ぶれやすさが大きい。

また、ストロボＯＮのときはシャッタースピードが遅くなるので、ストロボＯＦＦの場合よりもストロボＯＮの場合のぶれやすさが大きい。

同様に、ＩＳＯ感度や、被写体の明るさ（ＥＶ値）も、シャッタースピードと関係するものであり、これらの条件に基づいてぶれやすさを取得することができる。例えば、ＩＳＯ感度が低いとシャッタースピードが遅くなるので、ＩＳＯ感度が低いほどぶれやすさが大きいように前記ぶれやすさを取得することができ、被写体の明るさが低い（ＥＶ値が小さい）とシャッタースピードが遅くなるので、ＥＶ値が小さい方ほどぶれやすさが大きいように前記ぶれやすさを取得することができる。

また、ズーム撮像の場合とズーム撮像ではない場合とにおいて、撮像者が撮像時に同じ程度の手ぶれをしても、ズーム撮像して得た画像の方にぶれの程度が大きい。すなわち、いわゆる撮像者の手ぶれのし易さではないが、画像中にぶれの生じ易さを画像のぶれやすさとし、ズーム撮像ではない画像より、ズーム撮像の画像のほうが大きいように取得することができる。

また、携帯電話機付属のデジタルカメラ（以下携帯カメラという）により取得されたデジタル写真画像の場合、前記タグ情報が付属されていないか、タグ情報に含まれている情報が少ないので、前記ぶれやすさおよび／または前記ぶれやすい方向情報を取得する際に、前記デジタル写真画像を撮像した前記携帯電話機の機種情報に基づいて取得すればよい。

例えば、携帯電話機の機種と、該機種の携帯電話機付属のデジタルカメラのぶれやすさとの対応関係をデータベースに予め設定しておき、デジタル写真画像を取得した携帯電話機（正確には該携帯電話機付属のデジタルカメラ）の機種情報（機種を示す情報）を取得し、前記データベースを参照することによってこのデジタル写真画像のぶれやすさを取得するようにすればよい。

また、携帯電話機の機種情報は、操作者によって手動で入力するようにしてもいが、携帯カメラで撮像した写真画像は、その携帯電話機から直接送信されることがほとんどである。この場合、その携帯電話機の電話番号から機種情報を取得するようにしてもよい。

また、携帯電話機の機種情報からぶれやすさを取得する以外に、携帯電話機の機種情報に基づいて撮像時にぶれが起きやすい方向を示すぶれやすい方向情報を取得することもできる。例えば、携帯電話機の機種と、該機種の携帯電話機を用いて撮像する（正確には携帯電話機付属のデジタルカメラを用いて撮像する）際に携帯電話機を縦にして撮像（縦撮り）するか横にして撮像（横撮り）するかの情報との対応関係を予めデータベースに設定しておき、デジタル写真画像を撮像した携帯電話機の機種情報に基づいてデータベースを参照して前述の縦撮りか横撮りかの情報を取得すると共に、縦撮りの場合には上下方向のぶれがおきやすく、横撮りの場合には前記上下方向と横方向との間の斜め方向にぶれが起きやすいことを利用して前記ぶれやすい方向情報を取得すればよい。

また、強度の低いエッジは、ノイズである可能性が高く、また人間は強度の高いエッジの状態によりボケを認識するので、本発明の画像処理装置において、前記エッジ検出手段は、所定の閾値以上の強度を有するエッジのみを検出するものであることが好ましく、この場合、前記エッジ検出条件が前記所定の閾値を含むものであり、前記条件設定手段が、前記ぶれやすさが大きいほど前記所定の閾値を小さく設定するものとすることができる。

さらに、前記エッジ検出条件が前記エッジ検出手段においてエッジを検出する前記複数の異なる方向および前記各方向に夫々対応する所定のエッジの強度の閾値を含むものであり、前記エッジ検出手段は、各前記方向毎に該方向に対応する前記所定の閾値以上の強度を有するエッジのみを検出するものであり、前記条件設定手段は、前記ぶれやすい方向に近い前記方向ほど該方向に対応する前記閾値を小さく設定するものであるが好ましい。

また、ボケ判別の取得に関連性が低いエッジや、ボケ情報の取得を困難にしたり、間違ったボケ判別をさせたりする可能性のあるエッジ（例えば、形状が複雑なエッジや、光源を含むエッジなど）を無効なエッジとして除去することが望ましく、本発明の画像処理装置において、前記エッジ検出条件が、前記エッジが無効なエッジか否かを判別するための無効エッジ判別受験を含むものであり、前記エッジ検出手段が、検出された前記エッジから、前記無効エッジ判別条件を満たすエッジを無効エッジとして除去する無効エッジ除去手段を備え、前記条件設定手段が、前記ぶれやすさが大きいほど、前記無効エッジ判別条件を厳しく設定するものであることが好ましい。

さらに、前記エッジ検出条件が、前記エッジ検出手段においてエッジを検出する前記複数の異なる方向および前記各方向に夫々対応する前記エッジが無効なエッジか否かを判別するための無効エッジ判別条件を含むものであり、前記エッジ検出手段が、各前記方向毎に検出された前記エッジから、該方向に対応する前記無効エッジ判別条件を満たすエッジを無効エッジとして除去するエッジ除去手段を備えたものであり、前記条件設定手段が、前記ぶれやすい方向に近い前記方向ほど該方向に対応する前記無効エッジ判別条件を厳しく設定するものであることが好ましい。

また、前記条件設定手段は、前記ぶれやすさが大きいほど前記エッジを検出する前記複数の異なる方向の数を増やすものであることが好ましい。

また、前記条件設定手段は、前記複数の異なる方向を設定する際に、前記ぶれやすい方向に近いほど前記方向の数を増やすものであることが好ましい。

本発明の画像処理装置は、前記ボケ判別手段が、前記ボケが有方向性のぶれである程度を示すぶれ度も判別するものであり、
前記判別条件が、前記ぶれ度を判別するためのぶれ度判別条件を含むものであり、
前記条件設定手段が、前記ぶれやすさが大きいほど前記ぶれ度判別条件を緩和に設定するものであることが好ましい。

本発明の画像処理装置は、前記ボケ判別手段が、前記ボケの程度の大小を示すボケ度も判別するものであり、
前記判別条件が、前記ボケ度を判別するためのボケ度判別条件を含むものであり、
前記条件設定手段が、前記ぶれやすさが大きいほど前記ボケ度判別条件を緩和に設定するものであることが好ましい。

本発明の画像処理装置は、前記パラメータ設定手段と前記補正手段が、前記ボケ度が所定の閾値以上の前記デジタル写真画像に対してのみ、前記パラメータの設定および前記補正を行うものであり、
前記条件設定手段が、前記ぶれやすさが大きいほど前記所定の閾値を小さく設定するものであることが好ましい。

本発明における前記撮像条件情報が、前記デジタル写真画像を撮像した撮像装置のレンズのＦ値を含むものとすることができ、この場合、前記エッジ検出条件が、前記デジタル写真画像においてエッジを検出する領域を示すエッジ検出領域情報を含むものであり、
前記エッジ検出手段が、前記領域においてのみ前記エッジの検出を行うものであり、
前記条件設定手段が、前記Ｆ値が所定の閾値以下である前記デジタル写真画像に対して、前記領域を該デジタル写真画像の中央部分に設定するものであることが好ましい。

デジタル写真画像のうち、人物をアップにして撮像して得たものなど被写界深度の浅い画像があり、このような被写界深度の浅い画像において、主要被写体さえボケていなければよく、主要被写体以外の部分がほとんどボケているため、画像全体においてエッジを検出してボケの判別を行うと、主要被写体がボケていない画像もボケた画像として誤判別される。そのため、被写界深度の浅い画像の場合には、前記エッジを検出する領域として前記主要被写体の部分を用い、この部分の画像からエッジを検出してボケの判別することが好ましい。写真画像において、主要被写体が中央部分に位置することが多いため、被写界深度の浅い画像に対して、エッジを検出する領域を画像の中央部分に設定することができる。また、デジタル写真画像を撮像した撮像装置のＦ値が、該デジタル写真画像の被写界深度を示すものとすることができるため、ここでは、所定の閾値（例えば５．６）以下のＦ値のデジタル写真画像を被写界深度の浅い画像として判別すればよい。

また、同じく被写体深度の視点から、ズーム撮像の画像の被写体深度はズーム撮像ではない画像の被写体深度より浅いため、ズーム撮像か否かを撮像条件として取得した場合には、ズーム撮像の画像に対して、エッジを検出する領域を画像の中央部分に設定するようにすることが好ましい。

また、本発明において、「撮像」とは、シャッターが押下されてから、画像データが出力（内部メモリやメモリカードなどの記録媒体への記録または通信手段でネットワークを介しての送信など）されるまでの処理を意味し、出力する際の圧縮処理を含むものであり、「撮像条件」は、デジタル写真画像が出力される際の圧縮の強度（圧縮強度）を含むものである。例えば、デジタルカメラの場合、撮像する前の撮像条件の設定として、圧縮強度に関する設定として、「ｆｉｎｅ」、「ｎｏｒｍａｌ」、「ｅｃｏｎｏｍｙ」が設定できる機種があり、これらの設定は夫々圧縮強度が「小」、「普通」、「大」に対応するものである。また、圧縮強度の設定ができない機種でも、その機種においては圧縮強度が一意に設定されている。本発明の画像処理装置は、このような圧縮強度もデジタル写真画像の撮像条件として取得し、前記ボケ判別手段が、前記ボケの程度の大小を示すボケ度も判別するものであり、
前記判別条件が、前記ボケ度を判別するためのボケ度判別条件を含むものであり、
前記条件設定手段が、前記圧縮強度が大きいほど前記ボケ度判別条件を厳しく設定するものであることが好ましい。

本発明の画像処理装置は、前記ボケ判別手段による判別の結果に基づいて前記ボケを補正するためのパラメータを設定するパラメータ設定手段と、
該パラメータを用いて前記デジタル写真画像を補正する補正手段とを備え、
前記ボケ判別手段が、前記ボケの程度の大小を示すボケ度も判別するものであり、
前記パラメータ設定手段と前記補正手段が、前記ボケ度が所定の閾値以上の前記デジタル写真画像に対してのみ、前記パラメータの設定および前記補正を行うものであり、
前記条件設定手段が、該所定の閾値も設定するものであり、前記圧縮強度が大きいほど該所定の閾値を大きく設定するようにするものであってもよい。

また、本発明の画像処理方法を、コンピュータに実行させるプログラムとして提供するようにしてもよい。

本発明の画像処理方法および装置によれば、デジタル写真画像から該デジタル写真画像におけるボケの状態の判別を行う際に、デジタル写真画像を撮像した際の撮像条件情報を取得し、該撮像条件情報がデジタル画像のぶれやすさや、ぶれやすい方向などを反映することを利用して撮像条件情報に基づいてボケを判別するためのエッジ検出の条件や、通常画像かボケ画像かを判別するための条件や、ぶれの判別を行うための条件などを調整するようにすることによって、判別の精度を高めることができる。

また、撮像条件情報により反映される画像の被写界深度に基づいて、被写界深度の浅い画像に対して主要被写体領域である可能性の高い中央部分をエッジを検出する領域に限定することによって、被写界深度の浅い画像の場合においてもボケの判別の精度を高めることができる。

携帯電話機付属のデジタルカメラにより取得された携帯電話機の機種情報を取得し、該機種情報に基づいて画像のぶれやすさや、画像におけるぶれの生じやすい方向を得ると共に、ぶれやすさが高い画像ほどエッジを検出する方向を増やしたり、ぶれやすい方向に近いほどエッジを検出する方向を増やしたりするなどしてエッジ検出条件を調整することによって、ボケの判別の精度を上げることができる。

そのため、判別の結果に基づいてボケを補正するためのパラメータを設定して補正する際に、ボケの判別の精度が良いので、良い補正効果を得ることができる。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の画像処理方法および装置並びにそのためのプログラムの第１の実施形態となる画像処理システムＡの構成を示すブロック図である。図１に示す画像処理システムＡは、デジタルカメラにより取得した写真画像（以下略して単に画像という）を記録した記録媒体１から画像を読み出して画像処理を行うものであり、記録媒体１には多数の画像からなる画像群が記録されているが、ここでは、この画像群のうちの１つの画像Ｄを例にして説明を行う。

図示のように、本実施形態の画像処理システムＡは、記録媒体１から読み出された画像Ｄに対してエッジ検出条件と判別条件を設定して後述するエッジ検出手段１２ａと解析手段２０ａに夫々送信する条件設定手段１００ａと、画像Ｄに対して縮小処理を行って画像Ｄの縮小画像Ｄ０を得る縮小手段１０ａと、縮小画像Ｄ０および画像Ｄを用いて、条件設定手段１００ａにより設定されたエッジ検出条件に含まれる複数の異なる方向毎にエッジを検出するエッジ検出手段１２ａと、エッジ検出手段１２ａにより得られたエッジの特徴量Ｓを取得するエッジ特徴量取得手段１６ａと、エッジ特徴量Ｓを用いて、画像Ｄにおけるボケ方向および画像Ｄのボケ度Ｎを算出して画像Ｄがボケ画像か通常画像かを判別し、通常画像の場合には、後述する出力手段６０ａに画像Ｄが通常画像であることを示す情報Ｐを送信して処理を終了する一方、ボケ画像の場合には、さらに画像Ｄのぶれ度Ｋ、ボケ幅Ｌを算出して、ボケ度Ｎと共にボケ情報Ｑとして後述するパラメータ設定手段３０ａに送信する解析手段２０ａと、解析手段２０ａからのボケ情報Ｑに基づいてボケ画像となる画像Ｄを補正するためのパラメータＥを複数（Ｅ０、Ｅ１、Ｅ２、・・・）設定するパラメータ設定手段３０ａと、パラメータＥ０、Ｅ１、Ｅ２、・・・を用いて画像Ｄに対して補正を行って、各パラメータに対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る補正手段４０ａと、各々の補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・から目的画像Ｄ’を決定して出力手段６０ａに出力する決定手段４５ａと、解析手段２０ａおよびパラメータ設定手段３０ａのための種々のデータベースを記憶した記憶手段５０ａと、解析手段２０ａから画像Ｄが通常画像であることを示す情報Ｐを受信した場合には画像Ｄを出力する一方、決定手段４５ａから目的画像Ｄ’を受信した場合には目的画像Ｄ’を出力する出力手段６０ａとを有してなる。なお、エッジ検出手段１２ａには、無効なエッジを除去するエッジ絞込手段１４ａが備えられている。

図９は、図１に示す実施形態の画像処理システムＡにおける条件設定手段１００ａの構成を示すブロック図である。図示のように、条件設定手段１００ａは、エッジ検出手段１２ａ用のエッジ検出条件のデフォルト条件および解析手段用の判別条件のデフォルト条件を記憶したデフォルト条件データベースＤＢ１５０ａと、画像Ｄに付属されたタグ情報を読み取るタグ情報読取手段１１０ａと、タグ情報読取手段１１０ａにより得られたタグ情報中の撮像条件情報に基づいてＤＢ１５０ａに記憶されたデフォルト条件を調整することによってエッジ検出条件および判別条件を設定して夫々エッジ検出手段１２ａと解析手段２０ａに送信する条件設定手段１２０ａとを有してなる。なお、画像Ｄにタグ情報がない、またはエッジ検出条件、判別条件を設定するための撮像条件情報が画像Ｄのタグ情報に含まれていない場合には、条件調整手段１２０ａは、デフォルト条件を送信する。

条件設定手段１００ａの各構成の詳細について後に説明することにし、ここでは、まず、デフォルト条件（デフォルトのエッジ検出条件およびデフォルトの判別条件）を例にして、画像処理システムＡにおける条件設定手段１００ａを除いた他の構成の詳細について説明する。

本実施形態において、エッジ検出条件は、エッジを検出する領域、エッジを検出する方向、エッジ強度の閾値、および無効エッジ判別条件を含むものであり、デフォルトのエッジ検出条件としては、上記夫々に対応して、画像全体、図２における実線で示す８方向、閾値Ｔ１、複雑度の閾値（例えば４）となる。エッジ検出手段１２ａは、まず、縮小画像Ｄ０に対して、図２における実線で示すような８方向毎に、閾値Ｔ１以上の強度を有するエッジのみを検出し、これらのエッジの座標位置を得る。次にエッジ検出手段１２ａは、検出された各方向毎の各々のエッジの座標位置に基づいて、画像Ｄを用いてこれらのエッジに対して、図３に示すようなエッジプロファイルを作成する。

エッジ検出手段１２ａにおけるエッジ絞込手段１４ａは、上記において取得されたエッジのプロファイルに基づいて、複雑なプロファイル形状を有するエッジを除去して、残りのエッジのプロファイルをエッジ特徴量取得手段１６ａに出力する。具体的には、検出されたエッジのプロファイルにおいて、ピークを呈する位置の数を取得し（図４に示す例の場合においては、この数が黒丸が示す６つとなる）、エッジ数が１つである場合には複雑度が１、エッジ数が２つである場合には複雑度が２、・・・のようにこの数を複雑度として、複雑度が４以上のエッジを無効エッジとして除去する。

エッジ特徴量取得手段１６ａは、エッジ絞込手段１４ａから出力されてきたエッジのプロファイルに基づいて、図３に示すようなエッジ幅を各エッジに対して求め、図６に示すようなエッジ幅のヒストグラムを図２に示された８つの方向毎に作成してエッジ幅と共にエッジ特徴量Ｓとして解析手段２０ａに出力する。

解析手段２０ａは、主として下記の２つの処理を行う。

１． 画像Ｄにおけるボケ方向、画像Ｄのボケ度Ｎを求めて、画像Ｄがボケ画像か通常画像かを判別する。

２． 画像Ｄがボケ画像と判別された場合、ボケ幅Ｌ、ぶれ度Ｋを算出する。

ここで、１つ目の処理から説明する。

解析手段２０ａは、画像Ｄにおけるボケ方向を求めるために、まず、図２における実線で示す８つの方向のエッジ幅のヒストグラム（以下略してヒストグラムという）に対して、互いに直交する２つの方向を１方向組として各方向組（１−５、２−６、３−７、４−８）のヒストグラムの相関値を求める。なお、相関値は求め方によって様々な種類があり、相関値が大きければ相関が小さい種類と、相関値の大小と相関の大小とが一致する、すなわち相関値が小さければ相関が小さい種類との２種類に大きく分けることができる。本実施形態において、例として、相関値の大小と相関の大小とが一致する種類の相関値を用いる。図６に示すように、画像中にぶれがある場合には、ぶれ方向のヒストグラムと、ぶれ方向と直交する方向のヒストグラムとの相関が小さい（図６（ａ）参照）のに対して、ぶれと関係ない直交する方向組または画像中にぶれがない（ボケがないまたはピンボケ）場合の直交する方向組では、そのヒストグラムの相関が大きい（図６（ｂ）参照）。本実施形態の画像処理システムＡにおける解析手段２０ａは、このような傾向に着目し、４つの方向組に対して、各組のヒストグラムの相関値を求め、相関が最も小さい方向組の２つの方向を見付け出す。画像Ｄにぶれがあれば、この２つの方向のうちの１つは、図２における実線で示す８つの方向のうち、最もぶれ方向に近い方向として考えることができる。

図６（ｃ）は、ぶれ、ピンボケ、ボケ（ピンボケおよびぶれ）なしの撮像条件で同じ被写体を撮像して得た夫々の画像に対して求められた、このぶれの方向におけるエッジ幅のヒストグラムを示している。図６（ｃ）からわかるように、ボケのない通常画像は、最も小さい平均エッジ幅を有し、すなわち、上記において見付け出された２つの方向のうち、平均エッジ幅が大きい方は、最もぶれに近い方向のはずである。

解析手段２０ａは、こうして、相関が最も小さい方向組を見付け、この方向組の２つの方向のうち、平均エッジ幅の大きい方をボケ方向とする。

次に、解析手段２０ａは、画像Ｄのボケ度Ｎを求める。画像のボケ度は、画像中のボケの程度の大小を示すものであり、例えば、画像中に最もぼけている方向（ここでは上記において求められたボケ方向）の平均エッジ幅を用いてもよいが、ここでは、ボケ方向における各々のエッジのエッジ幅を用いて図７に基づいたデータベースを利用してより精度良く求める。図７は、学習用の通常画像データベースとボケ（ピンボケおよびぶれ）画像データベースを元に、画像中の最もぼけている方向（通常画像の場合には、この方向に対応する方向が望ましいが、任意の方向であってもよい）のエッジ幅分布のヒストグラムを作成し、ボケ画像における頻度と通常画像における頻度（図示縦軸）の比率を評価値（図示スコア）としてエッジ幅毎に求めて得たものである。図７に基づいて、エッジ幅とスコアとを対応付けてなるデータベース（以下スコアデータベースという）が作成され、記憶手段５０ａに記憶されている。

解析手段２０ａは、図７に基づいて作成され、記憶手段５０ａに記憶されたスコアデータベースを参照し、画像Ｄのボケ方向の各エッジに対して、そのエッジ幅からスコアを取得し、ボケ方向の全てのエッジのスコアの平均値を画像Ｄのボケ度Ｎとして求める。求められた画像Ｄのボケ度Ｎが、条件設定手段１００ａのＤＢ１５０ａにデフォルトの判別条件の１つとなる閾値Ｔ２より小さければ、解析手段２０ａは、画像Ｄを通常画像として判別すると共に、画像Ｄが通常画像であることを示す情報Ｐを出力手段６０ａに出力することをもって、処理を終了する。

一方、画像Ｄのボケ度Ｎが閾値Ｔ２以上であれば、解析手段２０ａは、画像Ｄがボケ画像であると判別すると共に、上記２つ目の処理に入る。

解析手段２０ａは、２つ目の処理として、まず、画像Ｄのぶれ度Ｋを求める。

ボケ画像のボケにおけるぶれの程度の大小を示すぶれ度Ｋは、下記のような要素に基づいて求めることができる。

１．相関が最も小さい方向組（以下相関最小組）の相関値：この相関値が小さいほどぶれの程度が大きい
解析手段２０ａは、この点に着目して、図８（ａ）に示す曲線に基づいて、相関最小組の相関値に対応する第１のぶれ度Ｋ１を求める。なお、図８（ａ）における閾値Ｔ３ａ、Ｔ３ｂのデフォルト値も、デフォルトの判別条件として条件設定手段１００ａのＤＢ１５０ａに記憶されている。

２．相関最小組の２つの方向のうち、平均エッジ幅が大きい方向の平均エッジ幅：この平均エッジ幅が大きいほどぶれの程度が大きい
解析手段２０ａは、この点に着目して、図８（ｂ）に示す曲線に基づいて、相関最小組の平均エッジ幅が大きい方向の平均エッジ幅に対応する第２のぶれ度Ｋ２を求める。なお、図８（ｂ）における閾値Ｔ４ａ、Ｔ４ｂのデフォルト値も、デフォルトの判別条件として条件設定手段１００ａのＤＢ１５０ａに記憶されている
３．相関最小組の２つの方向における夫々の平均エッジ幅の差：この差が大きいほどぶれの程度が大きい
解析手段２０ａは、この点に着目して、図８（ｃ）に示す曲線に基づいて、相関最小組の２つの方向における夫々の平均エッジ幅の差に対応する第３のぶれ度Ｋ３を求める。なお、図８（ｃ）における閾値Ｔ５ａ、Ｔ５ｂのデフォルト値も、デフォルトの判別条件として条件設定手段１００ａのＤＢ１５０ａに記憶されている。

解析手段２０ａは、このようにして第１のぶれ度Ｋ１、第２のぶれ度Ｋ２、第３のぶれ度Ｋ３を求めると共に、下記の式（１）に従って、Ｋ１、Ｋ２、Ｋ３を用いてボケ画像となるボケ画像Ｄのぶれ度Ｋを求める。

Ｋ＝Ｋ１×Ｋ２×Ｋ３ （１）
但し、Ｋ：ぶれ度
Ｋ１：第１のぶれ度
Ｋ２：第２のぶれ度
Ｋ３：第３のぶれ度

次に、解析手段２０ａは、ボケ画像となる画像Ｄのボケ幅Ｌを求める。ここで、ぶれ度Ｋに関係なく、ボケ幅Ｌとしてボケ方向におけるエッジの平均幅を求めるようにしてもよいし、図２における実線で示す８つの方向のすべてにおけるエッジの平均エッジ幅を求めてボケ幅Ｌとする。

解析手段２０ａは、ボケ画像である画像Ｄに対して求められたぶれ度Ｋ、ボケ幅Ｌを、ボケ方向、ボケ度Ｎと共にボケ情報Ｑとしてパラメータ設定手段３０ａに出力する。

本実施形態の画像処理システムＡは、アン・シャープネス・マスキング（ＵＳＭ）補正方法で画像Ｄに対する補正を施すものであり、パラメータ設定手段３０ａは、ボケ幅Ｌとボケ方向に応じて、ボケ幅Ｌが大きいほど補正マスクのサイズが大きくなるように、ボケ方向に作用する方向性補正用の１次元補正マスクＭ１を設定すると共に、ボケ幅Ｌに応じて、ボケ幅Ｌが大きいほど補正マスクのサイズが大きくなるように等方性補正用の２次元補正マスクＭ２を設定する。なお、各ボケ幅に対応する２次元補正マスク、および各ボケ幅とボケ方向に対応する１次元補正マスクはデータベース（マスクデータベースという）として記憶手段５０ａに記憶されており、パラメータ設定手段３０ａは、記憶手段５０ａに記憶されたマスクデータベースから、ボケ幅Ｌとボケ方向に基づいて１次元補正マスクＭ１を、ボケ幅Ｌに基づいて２次元補正マスクＭ２を取得し、下記の式（２）に従って、方向性補正用の１次元補正パラメータＷ１および等方性補正用の２次元補正パラメータＷ２を設定する。

Ｗ１＝Ｎ×Ｋ×Ｍ１
Ｗ２＝Ｎ×（１−Ｋ）×Ｍ２ （２）
但し、Ｗ１：１次元補正パラメータ
Ｗ２：２次元補正パラメータ
Ｎ：ボケ度
Ｋ：ぶれ度
Ｍ１：１次元補正マスク
Ｍ２：２次元補正マスク
即ち、パラメータ設定手段３０ａは、ボケ度Ｎが大きいほど等方性補正の強度と方向性補正の強度が強く、ぶれ度Ｋが大きいほど方向性補正の重みが大きくなるように補正パラメータＷ１とＷ２（合わせてパラメータＥ０とする）を設定する。

ここで、パラメータ設定手段３０ａは、設定されたパラメータＥ０に対して、さらにボケ度Ｎ、ぶれ度Ｋおよび補正マスクＭ１、Ｍ２を夫々調整して、調整されたボケ度Ｎ、ぶれ度Ｋ、補正マスクＭ１、Ｍ２を用いて式（２）に従って補正パラメータＥ０と異なる複数の補正パラメータＥ１、Ｅ２、・・・を求める。

パラメータ設定手段３０ａは、こうして求められた補正パラメータＥ（Ｅ０、Ｅ１、Ｅ２、・・・）を補正手段４０ａに出力する。

補正手段４０ａは、パラメータＥ０、Ｅ１、Ｅ２、・・・を画像Ｄに夫々適用して補正を施し、各補正パラメータに夫々対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る。

決定手段４５ａは、補正手段４０ａにより得られた各々の補正済み画像を表示する図示しない表示手段と、表示された各々の補正済み画像からユーザ所望の補正済み画像を選択させるための図示しない入力手段とを備え、補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・からユーザにより選択された画像を目的画像Ｄ’として決定して出力手段６０ａに出力する。

出力手段６０ａは、解析手段２０ａから画像Ｄが通常画像であることを示す情報Ｐを受信した場合には画像Ｄを出力する一方、決定手段４５ａから目的画像Ｄ’を受信した場合には目的画像Ｄ’を出力するものである。本実施形態において、出力手段６０ａによる「出力」は印刷であり、出力手段６０ａは、通常画像の画像Ｄおよびボケ画像の画像Ｄを補正して得た目的画像Ｄ’を印刷してプリントを得るものであるが、記録媒体に記憶したり、ネットワーク上における画像保管サーバや、画像の補正を依頼した依頼者により指定されたネットワーク上のアドレスなどに送信したりするなどのものであってもよい。

ここで、図９に示す条件設定手段１００ａの説明に戻る。上述したように、本実施形態の画像処理システムＡにおいて、エッジ検出手段１２ａ（エッジ絞込手段１４ａを含む）用のエッジ検出条件は、エッジを検出する領域、エッジを検出する方向、エッジ強度の閾値Ｔ１、および無効エッジ判別条件となる複雑度の閾値であり、解析手段２０ａ用の判別条件は、画像Ｄがボケ画像か通常画像かを判別するための画像Ｄのボケ度Ｎの閾値Ｔ２と、画像Ｄのぶれ度Ｋを算出するための、相関最小組の相関値の閾値Ｔ３ａ、Ｔ３ｂ、相関最小組の平均エッジ幅が大きい方向の平均エッジ幅の閾値Ｔ４ａ、Ｔ４ｂ、および相関最小組の２つの方向における夫々の平均エッジ幅の差の閾値Ｔ５ａ、Ｔ５ｂとを有する。これらのエッジ検出条件および判別条件のデフォルト値が条件設定手段１００ａのＤＢ１５０ａに記憶されており、条件調整手段１２０ａは、画像Ｄにタグ情報がない、またはエッジ検出条件、判別条件を設定するための撮像条件情報が画像Ｄのタグ情報に含まれていない場合には、各々の条件のデフォルト値を設定するが、画像Ｄにタグ情報が付属され、このタグ情報にエッジ検出条件、判別条件を設定するための撮像条件情報が含まれている場合には、撮像条件情報に基づいて各々のエッジ検出条件、判別条件のデフォルト値を調整する。ここで、タグ情報として、レンズのＦ値、シャッタースピード、ストロボＯＮ／ＯＦＦを示す情報、ＩＳＯ感度、ＥＶ値、ズーム撮像であるか否か、圧縮率を取得された場合を例にして、条件調整手段１２０ａの動作を説明する。

条件設定手段１２０ａは、レンズのＦ値が所定の閾値（例えば５．６）以下である場合と、ズーム撮像である場合とのいずれの場合（この場合、画像Ｄが被写界深度の浅い画像となる）においても、エッジを検出する領域を画像Ｄ全体から、画像Ｄの中心を中心とし、かつ画像Ｄの６０％となる中央部分に調整する一方、他の場合（ズーム撮像ではなく、かつＦ値が５．６より大きい場合）においては、エッジを検出する領域をデフォルトの画像Ｄ全体にする。なお、エッジ検出手段１２ａは、条件設定手段１２０ａにより設定された領域においてエッジの検出を行う。

また、条件設定手段１２０ａは、シャッタースピードが所定の閾値以下の場合、ストロボＯＮの場合、ＩＳＯ感度が所定の閾値以下の場合、ＥＶ値が所定の閾値以下の場合、ズーム撮像である場合において、画像を撮像する際に手ぶれ生じやすい（ズーム撮像の場合は画像中にぶれが現れ易い）ことに基づいて、これらの場合において画像Ｄのぶれやすさを大として、エッジ検出手段１２ａによりエッジを検出する方向を、図２における実線で示す８方向を元に点線により示す方向を増やして得た１６方向をエッジ検出手段１２ａに出力する。エッジ検出手段１２ａは、条件設定手段１２０ａからの方向毎にエッジの検出を行い、その後のエッジ特徴量を取得する処理や、解析手段２０ａにより処理も、この１６方向のエッジに対して行う。

また、これらの場合において、無効エッジ判別条件を厳しくすべく、条件設定手段１２０ａは、無効エッジ判別条件となる複雑度の閾値を、デフォルトの４から３に調整してエッジ検出手段１２ａに出力する。エッジ検出手段１２ａに備えられたエッジ絞込手段１４ａは、この無効エッジ判別条件に従って、複雑度３以上のエッジを無効なエッジとして除去する。

解析手段２０ａ用の判別条件の調整として、条件設定手段１２０ａは、ぶれやすさが大であるとされた画像Ｄに対して、通常画像かボケ画像かを判別するためのボケ度Ｎの閾値Ｔ２をデフォルト値より小さくなるように設定すると共に、ぶれ度Ｋを求めるための各閾値Ｔ３ａ、Ｔ３ｂ、Ｔ４ａ、Ｔ４ｂ、Ｔ５ａ、Ｔ５ｂを夫々のデフォルト値より小さくなるように設定する。さらに、条件設定手段１２０ａは、ぶれやすさに応じて設定されたボケ度Ｎの閾値を、画像Ｄの圧縮率により示される圧縮強度が大きいほど大きくなるように調整する。

このように設定されたエッジ検出条件と判別条件は夫々エッジ検出手段１２ａと解析手段２０ａに出力され、エッジ検出手段１２ａと解析手段２０ａは、出力されてきたエッジ検出条件と判別条件を用いて夫々の処理を行う。

図１０は、本実施形態の画像処理システムＡの動作を示すフローチャートである。図示のように、記録媒体１から読み出された画像Ｄに対して、まず、条件設定手段１００ａによりエッジ検出条件と判別条件が設定される（Ｓ１０）と共に、縮小手段１０ａにより縮小処理が施されて縮小画像Ｄ０となる（Ｓ１１）。エッジ検出手段１２ａは、まず、縮小画像Ｄ０に対して、ステップＳ１０において設定されたエッジ検出条件に含まれる複数の異なる方向毎に、閾値Ｔ１以上の強度を有するエッジのみを検出し、これらのエッジの座標位置を得る。次にエッジ検出手段１２ａは、検出された各方向毎の各々のエッジの座標位置に基づいて、画像Ｄを用いてこれらのエッジに対して、図３に示すようなエッジプロファイルを作成する（Ｓ１２）。エッジ検出手段１２ａに備えられたエッジ絞込手段１４ａは、ステップＳ１０に設定されたエッジ検出条件に含まれる無効エッジ判別条件であるエッジの複雑度の閾値に基づいて、無効なエッジを除去して残りのエッジのプロファイルをエッジ特徴量取得手段に出力する（Ｓ１４）。エッジ特徴量取得手段１６ａは、エッジ絞込手段１４ａから送信された各々のエッジのプロファイルに基づいて各エッジの幅を求めると共に、各方向毎にエッジ幅のヒストグラムを作成して、各エッジの幅および各方向のエッジ幅のヒストグラムを画像Ｄのエッジ特徴量Ｓとして解析手段２０ａに出力する（Ｓ１６）。解析手段２０ａは、エッジ特徴量Ｓを用いて、まず画像Ｄのボケ方向およびボケ度Ｎを算出すると共に、ステップＳ１０において設定された判別条件に含まれる通常画像かボケ画像かを判別するためのボケ度Ｎの閾値Ｔ２に基づいて画像Ｄがボケ画像であるか通常画像であるかを判別する（Ｓ２０、Ｓ２５）。画像Ｄが通常画像であれば（Ｓ２５：Ｙｅｓ）、解析手段２０ａは、画像Ｄが通常画像であることを示す情報Ｐを出力手段６０ａに出力し（Ｓ３０）、出力手段６０ａは、情報Ｐを受信すると、画像Ｄを印刷してプリントを得る（Ｓ３５）。

一方、ステップＳ２５において、画像Ｄがボケ画像に判別されると（Ｓ２５：Ｎｏ）、解析手段２０ａは、ステップＳ１０において設定された判別条件に含まれる相関最小組の相関値の閾値Ｔ３ａ、Ｔ３ｂ、相関最小組の平均エッジ幅が大きい方向の平均エッジ幅の閾値Ｔ４ａ、Ｔ４ｂ、および相関最小組の２つの方向における夫々の平均エッジ幅の差の閾値Ｔ５ａ、Ｔ５ｂに基づいて画像Ｄのぶれ度Ｋ、ボケ幅Ｌをさらに算出し、ステップＳ２０において求められたボケ度Ｎおよびボケ方向と共にボケ情報Ｑとしてパラメータ設定手段３０ａに出力する（Ｓ４０、Ｓ４５）。パラメータ設定手段３０ａは、解析手段２０ａからのボケ情報Ｑに基づいて、１次元補正パラメータＷ１と２次元補正パラメータＷ２を求める。求められた１対の補正パラメータＷ１、Ｗ２を補正パラメータＥ０とし、ボケ度Ｎ、ぶれ度Ｋ、補正マスクＭ１、Ｍ２のマスクサイズなどを調整してさらに複数の補正パラメータＥ１、Ｅ２、・・・を取得して、補正手段４０ａに出力する（Ｓ５０）。

補正手段４０ａは、補正パラメータＥ０、Ｅ１、Ｅ２、・・・を画像Ｄに夫々適用して補正を施し、各補正パラメータに夫々対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る（Ｓ５５）。

決定手段４５ａは、補正手段４０ａにより得られた各々の補正済み画像を図示しない表示手段に表示させ、図示しない入力手段を介して、ユーザが選択された補正済み画像を目的画像Ｄ’として決定して出力手段６０ａに出力する（Ｓ６０）。

出力手段６０ａは、決定手段４５ａからの目的画像Ｄ’を印刷してプリントを得る（Ｓ７０）。

このように、本実施形態の画像処理システムＡによれば、デジタル写真画像のボケの補正を効率良く行うためにデジタル写真画像に対してボケを判別してボケ情報を取得し、取得したボケ情報に基づいて補正用のパラメータを設定して補正する際に、デジタル写真画像を撮像した際の撮像条件情報を取得し、該撮像条件情報により反映される画像Ｄのぶれやすさ（画像Ｄにおいてぶれがある確率の大きさ）に基づいてボケを判別するためのエッジ検出の条件や、通常画像かボケ画像かを判別するための条件や、ぶれの程度の大小を示すぶれ度を算出するための条件などを調整するようにすることによって、判別の精度を高めることができ、結果的には補正の効果を良くすることができる。

また、撮像条件情報により反映される画像の被写界深度に基づいて、被写界深度の浅い画像に対して主要被写体領域である可能性の高い中央部分をエッジを検出する領域に限定することによって、被写界深度の浅い画像の場合においてもボケの判別の精度を高めることができる。

さらに、画像の圧縮率により示される圧縮強度が大きいほど、この画像が通常画像かボケ画像を判別するための閾値を大きくするようにすることによって、圧縮強度の大きい画像に対して補正を行った後にノイズが目立ってしまうことを防ぐことができる。

図１１は、本発明の第２の実施形態となる画像処理システムＢの構成を示すブロック図である。なお、本実施形態の画像処理システムＢにおいて、画像Ｄは、携帯電話機付属のデジタルカメラにより撮像して得たものである。図示のように、本実施形態の画像処理システムＢは、記録媒体１から読み出された画像Ｄに対してエッジ検出条件を設定して後述するエッジ検出手段１２ｂに送信する条件設定手段１００ｂと、画像Ｄに対して縮小処理を行って画像Ｄの縮小画像Ｄ０を得る縮小手段１０ｂと、縮小画像Ｄ０および画像Ｄを用いて、条件設定手段１００ｂにより設定されたエッジ検出条件に含まれる複数の異なる方向毎にエッジを検出するエッジ検出手段１２ｂと、エッジ検出手段１２ｂにより得られたエッジの特徴量Ｓを取得するエッジ特徴量取得手段１６ｂと、エッジ特徴量Ｓを用いて、画像Ｄにおけるボケ方向および画像Ｄのボケ度Ｎを算出して画像Ｄがボケ画像か通常画像かを判別し、通常画像の場合には、後述する出力手段６０ｂに画像Ｄが通常画像であることを示す情報Ｐを送信して処理を終了する一方、ボケ画像の場合には、さらに画像Ｄのぶれ度Ｋ、ボケ幅Ｌを算出して、ボケ方向、ボケ度Ｎと共にボケ情報Ｑとして後述するパラメータ設定手段３０ｂに送信する解析手段２０ｂと、解析手段２０ｂからのボケ情報Ｑに基づいてボケ画像となる画像Ｄを補正するためのパラメータＥを複数（Ｅ０、Ｅ１、Ｅ２、・・・）設定するパラメータ設定手段３０ｂと、パラメータＥ０、Ｅ１、Ｅ２、・・・を用いて画像Ｄに対して補正を行って、各パラメータに対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る補正手段４０ｂと、各々の補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・から目的画像Ｄ’を決定して出力手段６０ｂに出力する決定手段４５ｂと、解析手段２０ｂおよびパラメータ設定手段３０ｂのための種々のデータベースを記憶した記憶手段５０ｂと、解析手段２０ｂから画像Ｄが通常画像であることを示す情報Ｐを受信した場合には画像Ｄを出力する一方、決定手段４５ｂから目的画像Ｄ’を受信した場合には目的画像Ｄ’を出力する出力手段６０ｂとを有してなる。なお、エッジ検出手段１２ｂには、無効なエッジを除去するエッジ絞込手段１４ｂが備えられている。

図１２は、図１１に示す実施形態の画像処理システムＢにおける条件設定手段１００ｂの構成を示すブロック図である。図示のように、条件設定手段１００ｂは、各々の携帯電話機の機種とそのぶれやすさとの対応関係を示す情報を記憶した機種ＤＢ１６０ｂと、エッジ検出手段１２ｂ用のエッジ検出条件のデフォルト条件を記憶したデフォルト条件データベースＤＢ１５０ｂと、画像Ｄを撮像した携帯電話機の機種を示す情報を取得する機種情報取得手段１１０ｂと、画像Ｄの機種情報に基づいて機種ＤＢを参照して画像Ｄを撮像した携帯電話機のぶれやすい方向をぶれやすい方向情報として取得すると共に、このぶれやすい方向情報に基づいてＤＢ１５０ｂに記憶されたデフォルト条件を調整することによってエッジ検出条件を設定してエッジ検出手段１２ｂに送信する条件設定手段１２０ｂとを有してなる。なお、画像Ｄを撮像した携帯電話機の機種情報を取得できない場合には、条件調整手段１２０ｂは、デフォルトのエッジ検出条件を設定する。

条件設定手段１００ｂの各構成の詳細について後に説明することにし、ここでは、まず、デフォルトのエッジ検出条件を例にして、画像処理システムＢにおける条件設定手段１００ｂを除いた他の構成の詳細について説明する。

本実施形態において、エッジ検出条件は、エッジを検出する方向、各方向に対応するエッジ強度の閾値、および各方向に対応する無効エッジ判別条件を含むものであり、デフォルトのエッジ検出条件としては、上記夫々に対応して、図１３における実線で示す８方向、８方向に対して同様な閾値ｔ１、８方向に対して同様な複雑度の閾値（例えば４）となる。エッジ検出手段１２ｂは、まず、縮小画像Ｄ０に対して、図１３における実線で示すような８方向毎に、閾値ｔ１以上の強度を有するエッジのみを検出し、これらのエッジの座標位置を得る。次にエッジ検出手段１２ｂは、検出された各方向毎の各々のエッジの座標位置に基づいて、画像Ｄを用いてこれらのエッジに対して、図３に示すようなエッジプロファイルを作成する。

エッジ検出手段１２ｂにおけるエッジ絞込手段１４ｂは、上記において取得されたエッジのプロファイルに基づいて、複雑なプロファイル形状を有するエッジを除去して、残りのエッジのプロファイルをエッジ特徴量取得手段１６ｂに出力する。具体的には、検出されたエッジのプロファイルにおいて、ピークを呈する位置の数を取得し（図４に示す例の場合においては、この数が黒丸が示す７つとなる）、エッジ数が１つである場合には複雑度が１、エッジ数が２つである場合には複雑度が２、・・・のようにこの数を複雑度として、複雑度が４以上のエッジを無効エッジとして除去する。

エッジ特徴量取得手段１６ｂは、エッジ絞込手段１４ｂから出力されてきたエッジのプロファイルに基づいて、図３に示すようなエッジ幅を各エッジに対して求め、図６に示すようなエッジ幅のヒストグラムを図１３に示された実線の８つの方向毎に作成してエッジ幅と共にエッジ特徴量Ｓとして解析手段２０ｂに出力する。

解析手段２０ｂの基本動作は、図１に示す画像処理システムにおける解析手段２０ａと同様であるが、通常画像かボケ画像かを判別するためのボケ度Ｎの閾値Ｔ２や、ぶれ度Ｋを求めるための各々の閾値（図８に示す閾値Ｔ３ａ、Ｔ３ｂ、Ｔ４ａ、Ｔ４ｂ、Ｔ５ａ、Ｔ５ｂ）は条件設定手段１００ｂにより設定されることがなく、記憶部５０ｂに記憶された固定値を用いる。

パラメータ設定手段３０ｂ、補正手段４０ｂ、決定手段４５ｂ、出力手段６０ｂは、図１に示す実施形態の画像処理システムＡの相対応する構成と同様な作用を有するので、ここでの詳細な説明を省略する。

図１２に示す条件設定手段１００ｂの説明に戻る。上述したように、本実施形態の画像処理システムＢにおいて、エッジ検出手段１２ｂ（エッジ絞込手段１４ｂを含む）用のエッジ検出条件は、エッジを検出する方向、各方向に対応するエッジ強度の閾値ｔ１、および無効エッジ判別条件となる複雑度の閾値であり、これらのエッジ検出条件のデフォルト値が条件設定手段１００ｂのＤＢ１５０ｂに記憶されており、条件調整手段１２０ｂは、画像Ｄを撮像した携帯電話機の機種情報が取得できない場合には、各々の条件のデフォルト値を設定するが、機種情報が取得できた場合には、機種情報に基づいて機種ＤＢ１６０ｂから画像Ｄのぶれやすい方向を示すぶれやすい方向情報を取得し、このぶれやすい方向情報に基づいて各々のエッジ検出条件のデフォルト値を調整する。

本実施形態において、機種ＤＢ１６０ｂには、ぶれやすい方向情報として、縦撮りの機種の場合は上下方向（図１３に示す方向１）、横撮りの機種の場合は斜め方向（図１３に示す方向７）は、携帯電話機の機種と対応して記憶されている。

機種情報取得手段１１０ｂは、画像Ｄの付属情報などから画像Ｄを撮像した携帯電話機の機種情報を取得するものであってもよいし、ユーザに手動入力させるための入力手段であってもよい。

条件設定手段１２０ｂは、機種情報取得手段１１０により取得された画像Ｄを撮像した携帯電話機の機種に基づいて、画像Ｄにおいて、ぶれが生じやすい方向が前述の上下方向か斜め方向かのぶれやすい方向情報を取得し、ぶれやすい方向に近いほど、エッジを検出する方向を増やすようにエッジを検出する方向を設定する。具体的には、例えば、画像Ｄにおいてぶれが生じやすい方向は斜めの方向７である場合には、エッジを検出する方向として、図１３における実線で示す８方向以外に、方向７を挟む２つの夫々の方向（方向６、方向８）との間に夫々１つの方向（点線により示される方向７ａ、７ｂ）を増やす。また。後のボケの判別のために、増やした方向と直交する方向（方向７ａに対して方向３ａ、方向７ｂに対して方向３ｂ）も追加する。

また、エッジを検出する方向以外に、エッジ検出条件として、各方向に対応するエッジ強度の閾値ｔ１、無効エッジ判別条件となる複雑度の閾値も調整する。具体的には、ぶれやすい方向に近い方向（ぶれやすい方向が方向７である場合には、図１３に示す方向６、７ａ、７ｂ、８）に対してエッジ強度の閾値ｔ１を下げると共に、これらの方向の複雑度の閾値も下げるようにする。

このように設定されたエッジ検出条件はエッジ検出手段１２ｂに出力され、エッジ検出手段１２ｂは、出力されてきたエッジ検出条件用いてエッジの検出を行う。

図１４は、本実施形態の画像処理システムＢの動作を示すフローチャートである。図示のように、携帯電話機付属のデジタルカメラにより取得された画像Ｄに対して、まず、条件設定手段１００ｂによりエッジ検出条件が設定される（Ｓ１１０）と共に、縮小手段１０ｂにより縮小処理が施されて縮小画像Ｄ０となる（Ｓ１１１）。エッジ検出手段１２ｂは、まず、縮小画像Ｄ０に対して、ステップＳ１１０において設定されたエッジ検出条件に含まれる複数の異なる方向毎に閾値ｔ１以上の強度以上のエッジを検出する。次にエッジ検出手段１２ｂは、検出された各方向毎の各々のエッジの座標位置に基づいて、画像Ｄを用いてこれらのエッジに対して、図３に示すようなエッジプロファイルを作成する（Ｓ１１２）。エッジ検出手段１２ｂに備えられたエッジエッジ絞込手段１４ｂは、ステップＳ１１０に設定されたエッジ検出条件に含まれる無効エッジ判別条件であるエッジの複雑度の閾値に基づいて、無効なエッジを除去して残りのエッジのプロファイルをエッジ特徴量取得手段に出力する（Ｓ１１４）。エッジ特徴量取得手段１６ｂは、エッジ絞込手段１４ｂから送信された各々のエッジのプロファイルに基づいて各エッジの幅を求めると共に、各方向毎にエッジ幅のヒストグラムを作成して、各エッジの幅および各方向のエッジ幅のヒストグラムを画像Ｄのエッジ特徴量Ｓとして解析手段２０ｂに出力する（Ｓ１１６）。解析手段２０ｂは、エッジ特徴量Ｓを用いて、まず画像Ｄのボケ方向およびボケ度Ｎを算出すると共に、画像Ｄがボケ画像であるか通常画像であるかを判別する（Ｓ１２０、Ｓ１２５）。画像Ｄが通常画像であれば（Ｓ１２５：Ｙｅｓ）、解析手段２０ｂは、画像Ｄが通常画像であることを示す情報Ｐを出力手段６０ｂに出力し（Ｓ１３０）、出力手段６０ｂは、情報Ｐを受信すると、画像Ｄを印刷してプリントを得る（Ｓ１３５）。

一方、ステップＳ１２５において、画像Ｄがボケ画像に判別されると（Ｓ１２５：Ｎｏ）、解析手段２０ｂは、画像Ｄのぶれ度Ｋ、ボケ幅Ｌをさらに算出し、ステップＳ１２０において求められたボケ度Ｎおよびボケ方向と共にボケ情報Ｑとしてパラメータ設定手段３０ｂに出力する（Ｓ１４０、Ｓ１４５）。パラメータ設定手段３０ｂは、解析手段２０ｂからのボケ情報Ｑに基づいて、１次元補正パラメータＷ１と２次元補正パラメータＷ２を求める。求められた１対の補正パラメータＷ１、Ｗ２を補正パラメータＥ０とし、ボケ度Ｎ、ぶれ度Ｋ、補正マスクＭ、Ｍ２のマスクサイズなどを調整してさらに複数の補正パラメータＥ１、Ｅ２、・・・を取得して、補正手段４０ｂに出力する（Ｓ１５０）。

補正手段４０ｂは、補正パラメータＥ０、Ｅ１、Ｅ２、・・・を画像Ｄに夫々適用して補正を施し、各補正パラメータに夫々対応する補正済み画像Ｄ’０、Ｄ’１、Ｄ’２、・・・を得る（Ｓ１５５）。

決定手段４５ｂは、補正手段４０ｂにより得られた各々の補正済み画像を図示しない表示手段に表示させ、図示しない入力手段を介して、ユーザが選択された補正済み画像を目的画像Ｄ’として決定して出力手段６０ｂに出力する（Ｓ１６０）。

出力手段６０ｂは、決定手段４５ｂからの目的画像Ｄ’を印刷してプリントを得る（Ｓ１７０）。

このように、本実施形態の画像処理システムＢによれば、携帯電話機付属のデジタルカメラにより取得されたデジタル写真画像のボケの補正を効率良く行うためにデジタル写真画像に対してボケを判別してボケ情報を取得し、取得したボケ情報に基づいて補正用のパラメータを設定して補正する際に、デジタル写真画像を撮像した携帯電話機の機種情報を取得し、該機種情報に基づいて画像におけるぶれの生じやすい方向を得ると共に、このぶれやすい方向に近いほどエッジを検出する方向を増やすなどしてエッジ検出条件を調整することによって、ぼけの判別の精度を上げ、補正の効果を高めることができる。

以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。

例えば、上述した実施形態の画像処理システムにおいて、デジタル写真画像に対して複数の異なる方向毎にエッジを検出して各方向におけるエッジの特徴量を取得し、このエッジの特徴量に基づいて画像中のボケ方向を含むボケの状態を判別するようにしているが、本発明の画像処理方法は、必ずしも複数の異なる方向毎にエッジを検出してボケ方向を判別する必要がない。例えば、デジタル写真画像に対して所定の閾値以上の強度を有するエッジを方向に関係なく検出し、検出されたエッジのエッジ幅の平均値をエッジ特徴量とし、このエッジ特徴量に基づいて画像中のボケの程度を判別するようにしてデジタル写真画像のボケの状態（ボケ情報）を判別するようにしてもよい。この場合、検出するエッジの強度の閾値などのエッジ検出条件や、ボケの状態を判別するための条件などを撮影条件情報に基づいて設定するようにすることによって、より正確にデジタル写真画像中のボケ情報を取得することができる。後にボケを補正する際に、ボケの程度に応じた補正用フィルタのサイズなどの補正パラメータを設定するようにすれば、良い補正効果を得ることができる。

また、例えば、図２に示す画像処理システムＢにおいて、条件設定手段１００ｂは、エッジ検出条件のみを調整するようにしているが、画像を撮像した携帯電話機の機種情報に基づいてぶれやすさも取得し、該ぶれやすさに基づいてエッジ検出条件のみならず、解析手段２０ｂ用の判別条件も調整するようにしてもよい。

また、上述した実施形態の画像処理システムにおいて、パラメータ設定手段は複数の補正パラメータを設定し、補正手段は、これらの複数の補正パラメータを用いて補正を施して複数の補正済み画像を得、決定手段は、ユーザが複数の補正済み画像から選択した補正済み画像を目的画像として決定するようにしているが、補正制御手段と確認手段とを設け、パラメータ設定手段においてまず１つのみの補正パラメータを設定し、補正手段も一度には１つの補正済み画像のみを得、確信手段は、補正済み画像をユーザに確認させ、補正制御手段は、ユーザによる確認の結果が該補正済み画像を目的画像とすることになるまでパラメータ設定手段による補正パラメータを設定し直す処理と、補正手段による、設定し直された補正パラメータを用いて補正を行って補正済み画像を得る処理、確認手段による確認を繰り返させるようにして目的画像を決定するようにしてもよい。さらに、補正済み画像をユーザに確認させ、ユーザが気に入らなければ補正をキャンセルする、すなわち補正しないようにすることができるようにしてもよい。

また、上述の実施形態の画像処理システムは、相関最小組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向としているが、例えば、相関最小組（相関値が１番目に小さい方向組）と、相関値が２番目に小さい方向組について、夫々ぶれ度を算出し、方向組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向とするようにして２つの方向組からボケ候補方向を夫々取得し、取得された２つのボケ候補方向を、算出された２つのぶれ度に応じて、ぶれ度が大きい方向組ほど、該方向組に含まれるボケ候補方向の重みが大きくなるように重み付けしてボケ方向を得るようにしてもよい。この場合、ボケ幅も、２つのボケ候補方向における夫々の平均エッジ幅を、ぶれ度が大きい方向組ほど、該方向組に含まれるボケ候補方向の平均エッジ幅の重みが大きくなるように重み付けしてボケ幅を得ることができる。

また、上述の実施形態の画像処理システムは、画像中のボケの有無に関わらず相関最小組の２つの方向のうち、平均エッジ幅が大きい方向をボケ方向にし、該ボケ方向に基づいてさらにボケ度を算出して、ボケ度に基づいて通常画像とボケ画像の判別を行い、ボケ画像として判別された画像に対してさらにぶれ度を求めるようにして補正パラメータの設定を行うようにしているが、例えば、相関最小組の相関値が所定の閾値Ｔａ以上であれば、該画像におけるボケが「無方向」とし（即ち、画像が通常画像かピンボケ画像である）、ボケ方向が「無方向」である画像に対して、ボケ度を求め、ボケ度が所定の閾値Ｔｂより小さい画像を通常画像として判別して補正しないようにする一方、ボケ度が閾値Ｔｂ以上の画像をピンボケ画像として判別して等方性補正用のパラメータのみを求めて補正を行うと共に、相関最小組の相関値がＴａより小さい画像をぶれ画像として、相関最小組の平均エッジ幅の大きい方向をぶれ幅とするようにしてもよい。また、ぶれ画像に対して補正パラメータを設定する際に、ぶれ方向に作用する方向性補正パラメータのみを補正パラメータとして設定するようにしてもよいし、ぶれ度をさらに求め、ぶれ度に応じて等方性補正パラメータと方向性補正パラメータとを重み付け合算するようにして補正パラメータを設定するようにしてもよい。

また、上述の本実施形態の画像処理システムは、処理の効率を良くするために、デジタル写真画像が通常画像かボケ画像かを判別し、ボケ画像として判別された画像に対してのみぶれ度、ぶれ幅を算出してパラメータの設定や、補正を行うようにしているが、通常画像とボケ画像の判別をせず、全ての処理対象の画像に対して、ボケ度、ボケ幅、ぶれ度をボケ情報として算出し、ボケ情報に基づいてパラメータを設定して補正を行うようにしてもよい。通常画像のボケ度が小さいため、ボケ度に応じて設定された通常画像の補正パラメータは微小な補正を行う補正パラメータまたは補正しないパラメータとなり、ピンボケ画像のぶれ度が小さいため、ぶれ度に応じて等方性補正パラメータと方向性パラメータとを重み付け合算して補正パラメータを得る際に、方向性補正パラメータの重みが小さい乃至ゼロとなる。

また、上述した実施形態において、解析手段は、図８に基づいて、前述した３つの要素に基づいてぶれ度を求めるようにしているが、ぶれ度を求める要素については増減があってもよい。例えば、前述した３つの要素のうちの２つのみを用いてもよく、要素を増やして、例えば相関最小組と、相関最小組と最も大きくずれた（図２における実線で示す方向組の場合、４５度ずれた）方向組との相関値の差も視野に入れてぶれ度を求めるようにしてもよい。

さらに、条件設定手段としては、図８に示す各閾値を調整するのではなく、例えば、ぶれやすさが大きい画像ほど、そのぶれ度を求める要素を少なくする（すなわちぶれ度を求める要素の数を調整する）ようにしてもよい。図８を例にすれば、例えば、ぶれやすさが大きい画像に対して、そのぶれ度を求める際に、図８（ａ）、図８（ｂ）のみを用いてぶれ度を求めるようにしてもよい。

また、無効なエッジを除去する際において、光源を含むエッジを無効なエッジとするようにしてもよい。光源を含むエッジは、例えば明度が所定の閾値以上のエッジとすることができる。この場合、エッジ検出条件を設定する際に、ぶれやすさが大きい画像ほど、エッジを検出する強度の閾値を下げ検出するエッジの数を増やすと共に、この明度の閾値を下げるようにして無効エッジ判別条件を厳しく設定するようにすればよい。

また、上述の実施形態の画像処理システムにおいて、解析手段２０は、ボケ画像となる画像Ｄに対して、そのボケがピンボケかぶれかの区別をせず、ボケ画像として判別された画像であれば、ぶれ度を求めてぶれ度に応じた重み付け係数（本実施形態の画像処理システムにおいては、ぶれ度そのものを重み付け係数にしている）で等方性補正パラメータと方向性補正パラメータを重み付け合算して補正パラメータを得て補正するようにしているが、例えば、ぶれ度が所定の閾値より小さいボケ画像をピンボケ画像とし、ピンボケ画像に対しては等方性補正パラメータのみを設定して補正を行うようにしてもよい。

また、上述の実施形態の画像処理システムは、処理対象となるデジタル写真画像がボケ画像か通常画像かが知られていないことを前提にして、全てのデジタル写真画像に対して通常画像かボケ画像かの判別を行うようにしているが、ボケ画像のみを対象とする処理系、例えば顧客または操作者によりボケ画像に指定された画像を補正するような処理系などにおいては、通常画像とボケ画像の判別を行うことが必ずしも必要ではない。

また、上述の実施形態の画像処理システムは、画像の縮小から目的画像を出力するまでの処理を１つの装置において行っているが、本発明は、このような態様に限られることがなく、例えば、画像処理システムを解析装置と処理装置とに分け、解析装置は、補正パラメータを設定するまでの処理を行うと共に、設定された補正パラメータを画像の付属情報として画像に付属させて記録媒体に記録し、処理装置は、記録媒体から画像を読み出して、画像の付属情報となる補正パラメータを用いて補正を行うようにしてもよい。

さらに、このような態様において、解析装置は、ボケ情報を求めるまでの処理のみをし、このボケ情報を画像の付属情報として画像に付属させて記録媒体に記録し、処理装置は、記録媒体から画像を読み出して、画像の付属情報となるボケ情報に基づいて補正パラメータを設定して補正を行うようにしてもよい。

さらに、補正実行指示手段を設け、ボケ情報の取得までまたは補正パラメータの設定までの処理を行うが、補正実行指示手段から補正を実行するように指示されるまで補正を実行せず、補正を実行するように指示されてから補正を実行するようにしてもよい。

また、上述の実施形態の画像処理システムは、記録媒体から読み出した画像に対して補正を行っているが、本発明は、ネットワークを介して送信するなどいかなる形態で画像を入力するシステムにも適用することができる。

本発明の第１の実施形態となる画像処理システムＡの構成を示すブロック図 エッジを検出する際に用いられる方向を示す図 エッジプロファイルを示す図 無効なエッジの例を示す図 エッジ幅のヒストグラムを示す図 解析手段２０ａの動作を説明するための図 ボケ度の算出を説明するための図 ぶれ度の算出を説明するための図 画像処理システムＡにおける条件設定手段１００ａの構成を示すブロック図 図１に示す実施形態の画像処理システムＡの動作を示すフローチャート 本発明の第２の実施形態となる画像処理システムＢの構成を示すブロック図 エッジを検出方向を説明するための図 画像処理システムＢにおける条件設定手段１００ｂの構成を示すブロック図 画像処理システムＢの動作を示すフローチャート

符号の説明

１ 記録媒体
１０ａ，１０ｂ 縮小手段
１２ａ，１２ｂ エッジ検出手段
１４ａ，１４ｂ エッジ絞込手段
１６ａ，１６ｂ エッジ特徴量取得手段
２０ａ，２０ｂ 解析手段
３０ａ，３０ｂ パラメータ設定手段
４０ａ、４０ｂ 補正手段
４５ａ，４５ｂ 決定手段
５０ａ，５０ｂ 記憶手段
６０ａ，６０ｂ 出力手段
１００ａ，１００ｂ 条件設定手段
１１０ａ タグ情報読取手段
１１０ｂ 機種情報取得手段
１２０ａ，１２０ｂ 条件調整手段
１５０ａ，１５０ｂ デフォルト条件データベース
１６０ｂ 機種データベース
Ｄ デジタル写真画像
Ｄ０ 縮小画像
Ｄ’ 目的画像
Ｅ 補正パラメータ
Ｋ ぶれ度
Ｌ ボケ幅
Ｍ１ １次元補正マスク
Ｍ２ ２次元補正マスク
Ｎ ボケ度
Ｑ ボケ情報
Ｓ エッジ特徴量

Claims (26)

1. デジタル写真画像に対して、所定のエッジ検出条件でエッジを検出し、
   検出された前記エッジの特徴量を取得し、
   該エッジ特徴量を用いて前記デジタル写真画像におけるボケの状態を所定の判別条件に基づいて判別する画像処理方法において、
   前記デジタル写真画像の撮像条件を示す撮像条件情報を取得し、
   該撮像条件情報に基づいて前記エッジ検出条件および／または前記判別条件を設定することを特徴とする画像処理方法。
2. 前記検出が、複数の異なる方向毎に行われるものであり、
   前記エッジの特徴量が、各前記方向に対して取得されるものであり、
   前記ボケの状態が、少なくともボケ方向を含むものであることを特徴とする請求項１記載の画像処理方法。
3. 前記判別の結果に基づいて前記ボケを補正するためのパラメータを設定し、
   該パラメータを用いて前記デジタル写真画像を補正することを特徴とする請求項１または２記載の画像処理方法。
4. デジタル写真画像に対して、所定のエッジ検出条件でエッジを検出するエッジ検出手段と、
   検出された前記エッジの特徴量を取得するエッジ特徴量取得手段と、
   該エッジ特徴量を用いて前記デジタル写真画像におけるボケの状態を所定の判別条件に基づいて判別するボケ判別手段とを有する画像処理装置において、
   前記デジタル写真画像の撮像条件を示す撮像条件情報を取得する撮像条件情報取得手段と、
   該撮像条件情報に基づいて前記エッジ検出条件および／または前記判別条件を設定する条件設定手段とを備えたことを特徴とする画像処理装置。
5. 前記検出手段が、複数の異なる方向毎に前記検出を行うものであり、
   前記エッジ特徴量取得手段が、各前記方向に対して前記エッジ特徴量を取得するものであり、
   前記ボケの状態が、少なくともボケ方向を含むものであることを特徴とする請求項４記載の画像処理装置。
6. 前記エッジ特徴量が、前記エッジの鮮鋭度、および前記エッジの鮮鋭度の分布を含むものであることを特徴とする請求項４また５記載の画像処理装置。
7. 前記撮像条件情報が、前記デジタル写真画像を撮像した際に該デジタル写真画像に有方向性のボケとなるぶれをもたらす確率の大きさを示すぶれやすさおよび／または前記ぶれが起きやすい方向を示すぶれやすい方向情報を含むものであり、
   前記条件設定手段が、該ぶれやすさおよび／または前記ぶれやすい方向情報に基づいて前記エッジ検出条件および／または前記判別条件を設定するものであることを特徴とする請求項４から５のいずれか１項記載の画像処理装置。
8. 前記撮像条件情報取得手段が、前記デジタル写真画像に付属されたタグ情報に基づいて前記ぶれやすさおよび／または前記ぶれやすい方向情報を取得するものであることを特徴とする請求項７記載の画像処理装置。
9. 前記デジタル写真画像が、携帯電話機付属のデジタルカメラにより取得されたものであり、
   前記撮像条件取得手段が、前記デジタル写真画像を撮像した前記携帯電話機の機種情報に基づいて前記ぶれやすさおよび／または前記ぶれやすい方向情報を取得するものであることを特徴とする請求項７または８記載の画像処理装置。
10. 前記エッジ検出条件が、所定のエッジ強度の閾値を含むものであり、
    前記エッジ検出手段が、前記所定の閾値以上の強度を有するエッジのみを検出するものであり、
    前記条件設定手段が、前記ぶれやすさが大きいほど前記所定の閾値を小さく設定するものであることを特徴とする請求項７から９のいずれか１項記載の画像処理装置。
11. 前記エッジ検出条件が、前記エッジ検出手段においてエッジを検出する前記複数の異なる方向および前記各方向に夫々対応する所定のエッジの強度の閾値を含むものであり、
    前記エッジ検出手段が、各前記方向毎に該方向に対応する前記所定の閾値以上の強度を有するエッジのみを検出するものであり、
    前記条件設定手段が、前記ぶれやすい方向に近い前記方向ほど該方向に対応する前記閾値を小さく設定するものであることを特徴とする請求項７から１０のいずれか１項記載の画像処理装置。
12. 前記エッジ検出条件が、前記エッジが無効なエッジか否かを判別するための無効エッジ判別条件を含むものであり、
    前記エッジ検出手段が、検出された前記エッジから、前記無効エッジ判別条件を満たすエッジを無効エッジとして除去する無効エッジ除去手段を備えたものであり、
    前記条件設定手段が、前記ぶれやすさが大きいほど、前記無効エッジ判別条件を厳しく設定するものであることを特徴とする請求項１０または１１記載の画像処理装置。
13. 前記エッジ検出条件が、前記エッジ検出手段においてエッジを検出する前記複数の異なる方向および前記各方向に夫々対応する前記エッジが無効なエッジか否かを判別するための無効エッジ判別条件を含むものであり、
    前記エッジ検出手段が、各前記方向毎に検出された前記エッジから、該方向に対応する前記無効エッジ判別条件を満たすエッジを無効エッジとして除去するエッジ除去手段を備えたものであり、
    前記条件設定手段が、前記ぶれやすい方向に近い前記方向ほど該方向に対応する前記無効エッジ判別条件を厳しく設定するものであることを特徴とする請求項１０から１２のいずれか１項記載の画像処理装置。
14. 前記エッジ検出条件が、前記エッジ検出手段においてエッジを検出する前記複数の異なる方向を含むものであり、
    前記条件設定手段が、前記ぶれやすさが大きいほど前記方向の数を増やすものであることを特徴とする請求項７から１３のいずれか１項記載の画像処理装置。
15. 前記エッジ検出条件が、前記エッジ検出手段においてエッジを検出する前記複数の異なる方向を含むものであり、
    前記条件設定手段が、前記ぶれやすい方向に近いほど前記方向の数を増やすものであることを特徴とする請求項７から１４のいずれか１項記載の画像処理装置。
16. 前記ボケ判別手段が、前記ボケが有方向性のぶれである程度を示すぶれ度も判別するものであり、
    前記判別条件が、前記ぶれ度を判別するためのぶれ度判別条件を含むものであり、
    前記条件設定手段が、前記ぶれやすさが大きいほど前記ぶれ度判別条件を緩和に設定するものであることを特徴とする請求項７から１５のいずれか１項記載の画像処理装置。
17. 前記ボケ判別手段が、前記ボケの程度の大小を示すボケ度も判別するものであり、
    前記判別条件が、前記ボケ度を判別するためのボケ度判別条件を含むものであり、
    前記条件設定手段が、前記ぶれやすさが大きいほど前記ボケ度判別条件を緩和に設定するものであることを特徴とする請求項８から１６のいずれか１項記載の画像処理装置。
18. 前記ボケ判別手段による判別の結果に基づいて前記ボケを補正するためのパラメータを設定するパラメータ設定手段と、
    該パラメータを用いて前記デジタル写真画像を補正する補正手段とを備えたことを特徴とする請求項４から１７のいずれか１項記載の画像処理装置。
19. 前記ボケ判別手段が、前記ボケの程度の大小を示すボケ度も判別するものであり
    前記パラメータ設定手段と前記補正手段が、前記ボケ度が所定の閾値以上の前記デジタル写真画像に対してのみ、前記パラメータの設定および前記補正を行うものであり、
    前記条件設定手段が、該所定の閾値も設定するものであり、前記ぶれやすさが大きいほど前記所定の閾値を小さく設定することを特徴とする請求項１８記載の画像処理装置。
20. 前記撮像条件情報が、前記デジタル写真画像を撮像した撮像装置のレンズのＦ値を含むものであり、
    前記エッジ検出条件が、前記デジタル写真画像においてエッジを検出する領域を示すエッジ検出領域情報を含むものであり、
    前記エッジ検出手段が、前記領域においてのみ前記エッジの検出を行うものであり、
    前記条件設定手段が、前記Ｆ値が所定の閾値以下である前記デジタル写真画像に対して、前記領域を該デジタル写真画像の中央部分に設定するものであることを特徴とする請求項８から１９のいずれか１項記載の画像処理装置。
21. 前記撮像条件情報が、前記デジタル写真画像がズーム撮像により得られたものか否かを示す情報を含むものであり、
    前記エッジ検出条件が、前記デジタル写真画像においてエッジを検出する領域を示すエッジ検出領域情報を含むものであり、
    前記エッジ検出手段が、前記領域においてのみ前記エッジの検出を行うものであり、
    前記条件設定手段が、ズーム撮像により得られた前記デジタル写真画像に対して、前記領域を該デジタル写真画像の中央部分に設定するものであることを特徴とする請求項８から１９のいずれか１項記載の画像処理装置。
22. 前記撮像条件情報が、前記デジタル写真画像の圧縮強度を示す情報を含むものであり、
    前記ボケ判別手段が、前記ボケの程度の大小を示すボケ度も判別するものであり、
    前記判別条件が、前記ボケ度を判別するためのボケ度判別条件を含むものであり、
    前記条件設定手段が、前記圧縮強度が大きいほど前記ボケ度判別条件を厳しく設定するものであることを特徴とする請求項８から２１のいずれか１項記載の画像処理装置。
23. 前記ボケ判別手段による判別の結果に基づいて前記ボケを補正するためのパラメータを設定するパラメータ設定手段と、
    該パラメータを用いて前記デジタル写真画像を補正する補正手段とを備え、
    前記ボケ判別手段が、前記ボケの程度の大小を示すボケ度も判別するものであり、
    前記パラメータ設定手段と前記補正手段が、前記ボケ度が所定の閾値以上の前記デジタル写真画像に対してのみ、前記パラメータの設定および前記補正を行うものであり、
    前記条件設定手段が、該所定の閾値も設定するものであり、前記圧縮強度が大きいほど該所定の閾値を大きく設定することを特徴とする請求項８から２１のいずれか１項記載の画像処理装置。
24. デジタル写真画像に対して、所定のエッジ検出条件でエッジを検出する処理と、
    検出された前記エッジの特徴量を取得する処理と、
    該エッジ特徴量を用いて前記デジタル写真画像におけるボケの状態を所定の判別条件に基づいて判別する処理とを有する画像処理をコンピュータに実行させるプログラムであって、
    前記画像処理が、前記デジタル写真画像の撮像条件を示す撮像条件情報を取得する処理と、
    該撮像条件情報に基づいて前記エッジ検出条件および／または前記判別条件を設定する処理とを更に有することを特徴とするプログラム。
25. 前記検出が、複数の異なる方向毎に行われるものであり、
    前記エッジの特徴量が、各前記方向に対して取得されるものであり、
    前記ボケの状態が、少なくてもボケ方向を含むものであることを特徴とする請求項２４記載のプログラム。
26. 前記画像処理が、前記判別の結果に基づいて前記ボケを補正するためのパラメータを設定する処理と、
    該パラメータを用いて前記デジタル写真画像を補正する処理とを有することを特徴とする請求項２４または２５記載のプログラム。

Images