JP4539280B2 - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えばレンズの収差による偽色の発生した画像データを補正し、高品質な画像データを生成する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

カメラで画像撮影を行なう際には、レンズの収差によりさまざまな問題が引き起こされる。典型的な収差の例として、単色収差であるザイデルの五収差が挙げられる。これはドイツのザイデルによって分析されたレンズの球面に基づく５つの収差であり、球面収差、コマ収差、非点収差、歪曲収差、像面歪曲の各収差の総称である。さらに、これらの収差とは別に、色収差も重要な問題を引き起こすことが知られている。色収差は、レンズ素材に対する光の屈折率がその波長により異なることに起因し、撮像面にて偽色を生ずる。

色収差の代表的な例として、光軸上の焦点位置が波長によって異なるため色のにじみが起こる軸上色収差や、波長により像倍率が異なるため色ずれが起こる倍率色収差などがよく知られているが、英語で一般的にＰｕｒｐｌｅ Ｆｒｉｎｇｅ（パープルフリンジ）と呼ばれる現象も画像の劣化を引き起こす重要な原因となる。これは、光の波長により点像分布が異なっているために、画像中のエッジ部分に偽色が発生する現象である。通常の画素ではそれほど目立たない場合でも、輝度レベルにおける飽和状態としての白とびが起こっているハイコントラストのエッジ部分があれば、その周辺に紫色の偽色が発生し、不自然な像が結像されてしまう。一般に、白とびの近傍に発生する偽色は紫系の色が多く発生するためパープルフリンジと呼ばれる。ただし、レンズ、撮影条件などに応じて、偽色の色は緑がかった色となる場合など様々である。以下、パープルフリンジとは、発生する色に関わらず白とびが起こっているハイコントラストのエッジ部分における偽色発生現象を指すものとする。

色収差を軽減するための技術としては、蛍石など特殊な素材で出来たガラスを用いたレンズがある。しかし、このようなレンズを製造するのはコストがかるため価格も高く、レンズ交換式のカメラ用など一部の高級なカメラで用いられているが、一般に広く普及しているとは言えない。

また、特許文献１には、色収差によって発生する偽色を画像処理により軽減する方法が示されている。これは、緑チャンネルの高周波成分が高い部分に関して、色を抑制、つまり彩度を低下させる処理を行うものである。また、白とびが起こっている場合の対策として、露出を変えて２枚の画像を撮像し白とび部分の本来の輝度を推定し、彩度を低下させる処理を行う構成を開示している。

しかし、特許文献１に記載の処理は、彩度の低下により偽色の軽減を行っているため、本来の被写体の色についての彩度も低下し、被写体本来の忠実な色の再現ができなくなりその結果、不自然な画像が出力されるという問題がある。また、白とび部分の輝度推定のために、２回撮影を行う必要があり、この２回の撮影の間に手ぶれや被写体ぶれなどが起こった場合、正しい結果を得ることが困難になるという問題がある。
特開２００３−６０９８３号公報

本発明は、上述の問題点に鑑みてなされたものであり、白とび周辺に発生するパープルフリンジ等の偽色に注目し、この偽色領域を効率的に検出し、部分的な補正を実行することにより、画像全体に対する影響を発生させることなく高品質な画像データを生成、出力することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明は、特に、偽色の補正を実行する前に、特殊な態様での画像データの縮小処理を実行する。具体的には、輝度データの縮小においては、白とび画素データを消失しないように縮小し、また色情報の縮小においてはパープルフリンジ等の偽色データが消失しないように縮小を行なう。この縮小処理によって得られた縮小データに対する画像処理によって偽色画素等の補正を実行することで、補正における画像処理の計算コストの削減を実現し、高品質な画素補正を可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

また、本発明は、画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いを算出し、偽色度合いに応じて注目画素の元画素値と、周囲画素の画素値に基づいて生成する補間値との寄与率を変更して注目画素の補正画素値を算出し、さらに、この補正値と穴埋め補間処理の結果として取得される補正画素値とのブレンド処理により、最適な画素値を算出して出力する構成とすることで、より自由度の高い補正処理の実現、高品質な画像データの生成を可能とした像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
画像処理装置であり、
補正処理対象画像データの縮小処理を実行する縮小処理部と、
前記縮小処理部において生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理部と、
前記画像補正処理部において生成した補正画像の拡大処理を実行する拡大処理部と、
を有し、
前記画像補正処理部は、前記縮小処理部において生成された縮小画像の構成画素の偽色度合いｐを算出し、算出した偽色度合いｐに応じた画素値補正処理を実行する構成であり、
前記縮小画像の構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出部と、
注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出部と、
注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出部と、
を有する構成であることを特徴とする画像処理装置にある。
さらに、本発明の第２の側面は、
画像処理装置であり、
補正処理対象画像データの縮小処理を実行する縮小処理部と、
前記縮小処理部において生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理部と、
前記画像補正処理部において生成した補正画像の拡大処理を実行する拡大処理部と、
を有し、
前記画像補正処理部は、前記縮小処理部において生成された縮小画像の構成画素から白とび画素を検出し、白とび画素周囲の偽色画素の画素値を周囲画素の画素値に基づいて補正する補正処理を実行する構成であり、
画像データから白とび画素を検出する白とび検出部と、
前記白とび検出部の検出した白とび画素の周囲に偽色画素検出領域を設定する偽色画素検出領域設定部と、
前記偽色画素検出領域設定部の設定した領域内において、偽色に対応する色を有する画素を偽色画素として特定する偽色検出部と、
前記偽色検出部の検出した偽色画素について、周囲画素値に基づく画素値補正処理を実行する画素値補正部と、
を有する構成であることを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記縮小処理部は、オリジナルの補正処理対象画像データについて輝度情報の縮小処理と、色情報の縮小処理とを個別に実行する構成であり、輝度情報の縮小処理においては、前記補正処理対象画像データに含まれる白とび画素情報を消失させない縮小処理を実行し、色情報の縮小処理においては、前記補正処理対象画像データに含まれる偽色の色情報を消失させない縮小処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記縮小処理部は、前記補正処理対象画像データについての輝度情報の縮小処理において、縮小画像の構成画素に対応する輝度を、前記補正処理対象画像データの対応画像領域に含まれる最大輝度として設定する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記縮小処理部は、前記補正処理対象画像データについての色情報の縮小処理において、縮小画像の構成画素に対応する色情報を、前記補正処理対象画像データの対応画像領域に偽色画素が含まれる場合は、前記対応画像領域に含まれる偽色画素の平均値として設定し、前記補正処理対象画像データの対応画像領域に偽色画素が含まれない場合は、前記対応画像領域に含まれる全画素の平均値として設定する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記偽色度合い算出部は、注目画素についての、
（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐ_ｄ、
（ｂ）彩度の大きさを示す彩度評価値Ｐ_ｓ、
（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐ_θ、
の少なくともいずれかを適用して注目画素の偽色度合いｐを算出する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画素値補正部は、偽色画素について、周囲画素値に基づく穴埋め補間処理を実行する穴埋め補間部と、偽色画素について、色ぼかし処理を実行する色ぼかし処理部とを有する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画素値補正部は、偽色画素の周囲に存在する画素から偽色画素および白とび画素を除くその他の画素を選択し、選択画素に基づく穴埋め補間処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記拡大処理部は、前記画像補正処理部において生成した補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み補正画像を生成する構成であることを特徴とする。

さらに、本発明の第３の側面は、
画像処理装置であり、
補正処理対象画像データの縮小処理を実行する縮小処理部と、
前記縮小処理部において生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理部と、
前記画像補正処理部において生成した補正画像の拡大処理を実行する拡大処理部と、
を有し、
前記画像補正処理部は、
前記縮小処理部において生成された縮小画像に対して、第１の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第１画像補正処理部と、
前記縮小処理部において生成された縮小画像に対して、前記第１の画像補正処理態様と異なる第２の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第２画像補正処理部とを有し、
前記拡大処理部は、前記第１画像補正処理部において生成した第１補正画像と、前記第２画像補正処理部において生成した第２補正画像との拡大処理を実行する構成であり、
さらに、前記拡大処理部において拡大した拡大済み第１補正画像と拡大済み第２補正画像とのブレンド処理により最終補正画像を生成するブレンド処理部を有することを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記拡大処理部は、前記第１画像補正処理部において生成した第１補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み第１補正画像を生成し、前記第２画像補正処理部において生成した第２補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み第２補正画像を生成する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、前記拡大処理部において拡大した拡大済み第１補正画像と拡大済み第２補正画像とのブレンド処理により最終補正画像を生成する構成であり、前記拡大済み第１補正画像の構成画素（ｘ，ｙ）の画素値をＣ_{ａｖｇｎｅｗ}（ｘ，ｙ）とし、前記拡大済み第２補正画像の構成画素（ｘ，ｙ）の画素値をＣ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）としたとき、最終補正画像の構成画素（ｘ，ｙ）の画素値Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）を、下式、
Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）＝ｋ×Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）＋（１−ｋ）×Ｃ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）
ただしｋ＝０〜１
に従って算出する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記偽色はパープルフリンジであり、前記画像補正処理部は、前記縮小処理部において生成された縮小画像に対して、白とび周囲のパープルフリンジ画素の画素値補正を含む画像処理を実行する構成であることを特徴とする。

さらに、本発明の第４の側面は、
画像処理方法であり、
補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
を有し、
前記画像補正処理ステップは、
前記縮小処理ステップにおいて生成された縮小画像の構成画素の偽色度合いｐを算出し、算出した偽色度合いｐに応じた画素値補正処理を実行するステップであり、
前記縮小画像の構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出ステップと、
注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出ステップと、
注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出ステップと、
を含むことを特徴とする画像処理方法にある。
さらに、本発明の第５の側面は、
画像処理方法であり、
補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
を有し、
前記画像補正処理ステップは、
前記縮小処理ステップにおいて生成された縮小画像の構成画素から白とび画素を検出し、白とび画素周囲の偽色画素の画素値を周囲画素の画素値に基づいて補正する補正処理を実行するステップであり、
画像データから白とび画素を検出する白とび検出ステップと、
前記白とび検出ステップの検出した白とび画素の周囲に偽色画素検出領域を設定する偽色画素検出領域設定ステップと、
前記偽色画素検出領域設定ステップの設定した領域内において、偽色に対応する色を有する画素を偽色画素として特定する偽色検出ステップと、
前記偽色検出ステップの検出した偽色画素について、周囲画素値に基づく画素値補正処理を実行する画素値補正ステップと、
を含むことを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記縮小処理ステップは、オリジナルの補正処理対象画像データについて輝度情報の縮小処理と、色情報の縮小処理とを個別に実行し、輝度情報の縮小処理においては、前記補正処理対象画像データに含まれる白とび画素情報を消失させない縮小処理を実行し、色情報の縮小処理においては、前記補正処理対象画像データに含まれる偽色の色情報を消失させない縮小処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記縮小処理ステップは、前記補正処理対象画像データについての輝度情報の縮小処理において、縮小画像の構成画素に対応する輝度を、前記補正処理対象画像データの対応画像領域に含まれる最大輝度として設定する処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記縮小処理ステップは、前記補正処理対象画像データについての色情報の縮小処理において、縮小画像の構成画素に対応する色情報を、前記補正処理対象画像データの対応画像領域に偽色画素が含まれる場合は、前記対応画像領域に含まれる偽色画素の平均値として設定し、前記補正処理対象画像データの対応画像領域に偽色画素が含まれない場合は、前記対応画像領域に含まれる全画素の平均値として設定する処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記偽色度合い算出ステップは、注目画素についての、
（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐ_ｄ、
（ｂ）彩度の大きさを示す彩度評価値Ｐ_ｓ、
（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐ_θ、
の少なくともいずれかを適用して注目画素の偽色度合いｐを算出するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画素値補正ステップは、偽色画素について、周囲画素値に基づく穴埋め補間処理を実行する穴埋め補間ステップと、偽色画素について、色ぼかし処理を実行する色ぼかし処理ステップとを含むことを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画素値補正ステップは、偽色画素の周囲に存在する画素から偽色画素および白とび画素を除くその他の画素を選択し、選択画素に基づく穴埋め補間処理を実行するステップを含むことを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記拡大処理ステップは、前記画像補正処理ステップにおいて生成した補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み補正画像を生成するステップであることを特徴とする。

さらに、本発明の第６の側面は、
画像処理方法であり、
補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
を有し、
前記画像補正処理ステップは、
前記縮小処理ステップにおいて生成された縮小画像に対して、第１の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第１画像補正処理ステップと、
前記縮小処理ステップにおいて生成された縮小画像に対して、前記第１の画像補正処理態様と異なる第２の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第２画像補正処理ステップとを有し、
前記拡大処理ステップは、前記第１画像補正処理ステップにおいて生成した第１補正画像と、前記第２画像補正処理ステップにおいて生成した第２補正画像との拡大処理を実行するステップであり、
さらに、前記拡大処理ステップにおいて拡大した拡大済み第１補正画像と拡大済み第２補正画像とのブレンド処理により最終補正画像を生成するブレンド処理ステップを有することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記拡大処理ステップは、前記第１画像補正処理ステップにおいて生成した第１補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み第１補正画像を生成するステップと、前記第２画像補正処理ステップにおいて生成した第２補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み第２補正画像を生成するステップと、を含むことを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記ブレンド処理ステップは、前記拡大処理ステップにおいて拡大した拡大済み第１補正画像と拡大済み第２補正画像とのブレンド処理により最終補正画像を生成するステップであり、前記拡大済み第１補正画像の構成画素（ｘ，ｙ）の画素値をＣ_{ａｖｇｎｅｗ}（ｘ，ｙ）とし、前記拡大済み第２補正画像の構成画素（ｘ，ｙ）の画素値をＣ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）としたとき、最終補正画像の構成画素（ｘ，ｙ）の画素値Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）を、下式、
Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）＝ｋ×Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）＋（１−ｋ）×Ｃ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）
ただしｋ＝０〜１
に従って算出する処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記偽色はパープルフリンジであり、前記画像補正処理ステップは、前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲のパープルフリンジ画素の画素値補正を含む画像処理を実行することを特徴とする。

さらに、本発明の第７の側面は、
画像処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
を有し、
前記画像補正処理ステップは、
前記縮小処理ステップにおいて生成された縮小画像の構成画素の偽色度合いｐを算出し、算出した偽色度合いｐに応じた画素値補正処理を実行するステップであり、
前記縮小画像の構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出ステップと、
注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出ステップと、
注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出ステップと、
を含むことを特徴とするコンピュータ・プログラムにある。
さらに、本発明の第８の側面は、
画像処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
を有し、
前記画像補正処理ステップは、
前記画像補正処理ステップは、
前記縮小処理ステップにおいて生成された縮小画像の構成画素から白とび画素を検出し、白とび画素周囲の偽色画素の画素値を周囲画素の画素値に基づいて補正する補正処理を実行するステップであり、
画像データから白とび画素を検出する白とび検出ステップと、
前記白とび検出ステップの検出した白とび画素の周囲に偽色画素検出領域を設定する偽色画素検出領域設定ステップと、
前記偽色画素検出領域設定ステップの設定した領域内において、偽色に対応する色を有する画素を偽色画素として特定する偽色検出ステップと、
前記偽色検出ステップの検出した偽色画素について、周囲画素値に基づく画素値補正処理を実行する画素値補正ステップと、
を含むことを特徴とするコンピュータ・プログラムにある。
さらに、本発明の第９の側面は、
画像処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
を有し、
前記画像補正処理ステップは、
前記縮小処理ステップにおいて生成された縮小画像に対して、第１の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第１画像補正処理ステップと、
前記縮小処理ステップにおいて生成された縮小画像に対して、前記第１の画像補正処理態様と異なる第２の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第２画像補正処理ステップとを有し、
前記拡大処理ステップは、前記第１画像補正処理ステップにおいて生成した第１補正画像と、前記第２画像補正処理ステップにおいて生成した第２補正画像との拡大処理を実行するステップであり、
さらに、前記拡大処理ステップにおいて拡大した拡大済み第１補正画像と拡大済み第２補正画像とのブレンド処理により最終補正画像を生成するブレンド処理ステップを有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、補正処理対象画像データの縮小処理を実行し、縮小画像に対して、第１の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行して第１補正画像を生成し、さらに、縮小画像に対して、第１の画像補正処理態様と異なる第２の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行して第２補正画像を生成し、これらの異なる処理結果画像を拡大してブレンドすることにより、最終補正画像を生成する構成としたので、それぞれの画像補正処理が縮小画像に対して実行可能となり、少ない計算コストで画像の補正を行うことができる。また、異なる処理態様での画像補正を融合した補正処理が実現され、それぞれの利点を融合した調和された画素値補正が可能となる。

また、本発明の構成によれば、穴埋め補間処理と、偽色（ＰＦ）度合いｐを適用した補正処理とのそれぞれの利点を融合した調和された画素値補正が可能となり、パープルフリンジ等の偽色が軽減されるとともに破綻することのない補正画像を取得することが可能となる。具体的には、カメラで撮影した画像に起こる色収差によるパープルフリンジ等の偽色に対する適正な補正が可能となり、高品質な画像データの生成、出力を実現することができる。

さらに、本発明の構成によれば、すべての画像補正処理を自動処理として行なった場合でも、破綻の無い画像を生成することが可能となる。本発明の画像処理を適用することにより、撮影画像を、より自然に見えるように補正をすることが可能である。従って、撮影時にパープルフリンジが起こらないようにレンズの絞りや焦点距離などに注意を払う必要がなく、より高い自由度で撮影を行なうことが可能となる。

さらに、本発明の構成によれば、縮小処理をした上で、偽色補正処理を行い、それを拡大処理している。しかし、オリジナル画像で画素値が更新される部分は、偽色が発生している部分のみであり、かつ色情報だけが補正される。したがって、偽色以外の部分は全く劣化することが無い。偽色が発生している部分に関しても、特別な縮小処理を施しているので、確実に偽色画素を認識することが出来る。このように、縮小処理により計算コストが減少するにもかかわらす、偽色の補正品質が劣化することはほとんど無い。

以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、画像処理装置の構成例について図１を参照して説明する。なお、図１に示す画像処理装置は、撮像部を備え、撮像部において撮影した画像データの補正処理を実行する装置例として示してあるが、本発明の画像処理装置は、たとえばハードディスクなどの記憶部に格納された画像データを入力して入力画像の補正を実行することも可能であり、補正処理対象の画像データは、撮像部を介して入力されるデータのみならず、記憶手段、あるいはネットワークを介して入力する画像データなどあらゆる入力画像データに対応可能である。図１は本発明の画像処理装置の一構成例を示すものである。

図１に示す画像処理装置の詳細構成について説明する。図１に示すように、画像処理装置は、レンズ１０１、絞り１０２、固体撮像素子１０３、相関２重サンプリング回路１０４、Ａ／Ｄコンバータ１０５、ＤＳＰブロック１０６、タイミングジェネレータ１０７、Ｄ／Ａコンバータ１０８、ビデオエンコーダ１０９、ビデオモニタ１１０、コーデック（ＣＯＤＥＣ）１１１、メモリ１１２、ＣＰＵ１１３、入力デバイス１１４、フラッシュ制御装置１１５、フラッシュ発光装置１１６から構成される。

ここで、入力デバイス１１４はカメラ本体にある録画ボタンなどの操作ボタン類をさす。また、ＤＳＰブロック１０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。

本実施例の全体的な動作を以下に説明する。
光学系を通過して固体撮像素子１０３に到達した入射光は、まず撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路１０４によってノイズ除去され、Ａ／Ｄコンバータ１０５によってデジタ。信号に変換された後、デジタル信号処理部（ＤＳＰ）１０６中の画像メモリに一時格納される。なお、必要があれば、撮影の際に、フラッシュ制御装置１１５を介して、フラッシュ発光装置１１６を発光させることができる。

撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ１０７が信号処理系を制御する。デジタル信号処理部（ＤＳＰ）１０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ１０８もしくはコーデック（ＣＯＤＥＣ）１１１あるいはその両方に送られる。Ｄ／Ａコンバータ１０８はデジタル信号処理部（ＤＳＰ）１０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ１０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ１１０でモニタできるようになっていて、このビデオモニタ１１０は本実施例においてカメラのファインダの役割を担っている。また、コーデック（ＣＯＤＥＣ）１１１はデジタル信号処理部（ＤＳＰ）１０６から送られる画像データに対する符号化をおこない、符号化された画像データはメモリ１１２に記録される。ここで、メモリ１１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。

以上が本実施例の画像処理装置の一例としてのデジタルビデオカメラのシステム全体の説明であるが、本発明に係る画像処理、すなわち画像データの補正処理はデジタル信号処理部（ＤＳＰ）１０６において実行される。以下、この画像処理の詳細について説明する。なお、本実施例で扱う画像の色空間としては、輝度情報と色情報が独立に定義されているものを用いる。例えば、ＹＣｂＣｒ空間やＣＩＥＬ*ａ*ｂ*空間などが挙げられる。

以下、本発明の画像処理装置では、輝度レベルがほぼ飽和レベル以上の画素として現れる白とび周辺に発生するパープルフリンジ等の偽色に注目し、この偽色画素を効率的に補正して、高品質な画像データを生成、出力することを可能とした構成を持つ。偽色（パープルフリンジ）は、白とび部分周辺で目立って現れる現象で、色収差による色ずれにより例えば紫色の偽色を生ずることを特徴とする。偽色が発生する白とびの周り範囲大きさは、光学系の絞り、焦点距離に連動しており、また、光学中心からの距離にも依存し、大きさが変わる。また、偽色が出る方向も、光学中心から白とび画素の外側に向かう方向、白とび画素から光学中心に向かう方向それぞれに発生し、その傾向は、撮像する光学系により異なる。

以下、デジタル信号処理部（ＤＳＰ）１０６において実行する画像データ補正処理の詳細について説明する。図２は、本発明に従った画像処理の全体シーケンスを示すフローチャートとしての総合処理フローである。まず、本フローに従って本発明の画像処理の概要を説明し、その後、各ステップにおける処理の詳細について、順次、説明する。

まず、ステップＳ１１において、補正処理を実行する画像データである入力画像の縮小処理を行う。次にステップＳ１２において、縮小処理により生成された縮小画像データに対して平均法に基づく画像補正処理を実行する。平均法については、後段で詳細を説明するが、画像データの構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出し、注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出し、注目画素の偽色度合いｐに応じて元画素値と前記補間値との寄与率を変更して注目画素の補正画素値を算出する処理である。次にステップＳ１３において、ステップＳ１２の平均法による補正画像の拡大処理を実行する。

ステップＳ１４では、ステップＳ１１の縮小処理により生成された縮小画像に対して、穴埋め法に基づく画像補正処理を実行する。穴埋め法については、後段で詳細に説明するが、画像データの構成画素に含まれる白とび画素の近傍からパープルフリンジ等の偽色であると判定される画素を抽出し、偽色と判定される画素についての画素値を周囲の画素の画素値に基づいて算出することにより、画像データの補正を行なう処理である。次にステップＳ１５において、ステップＳ１４の穴埋め法による補正画像の拡大処理を実行する。最後にステップＳ１６において、ステップＳ１２とステップＳ１３の処理において生成した平均法に基づく画像処理を実行して得られた画像データと、ステップＳ１４とステップＳ１５の処理において生成した穴埋め法に基づく画像処理を実行して得られた画像データとのブレンド処理を行い、最終的な補正画素値から構成される補正画像データがせいせいされ、すべての処理が完了する。各処理の詳細については、後段で説明する。

本発明の画像処理においては、最初に入力画像に対して、ステップＳ１１で特殊な縮小処理を施すことにより、パープルフリンジ（ＰＦ）等の偽色画素の補正を確実に実行する構成として、補正の効果を損なうことなく、かつ計算コストを削減している。本実施例の縮小処理では、輝度情報と色情報を別々の方法で縮小する。輝度情報の縮小処理においては白とびが失われないように、色情報の縮小処理においてはパープルフリンジ（ＰＦ）等の偽色の色データが失われないように考慮して入力画像に対し縮小処理を施す。

このような特殊な縮小処理を実行することにより、縮小によるオリジナル画像での白とびが欠落せず、オリジナル画像データにパープルフリンジ（ＰＦ）等の偽色に対応する色の画素が存在する場合に、縮小画像データにもその偽色画素を欠落させずに残し、縮小しても見逃さないようにすることができる。また、パープルフリンジ（ＰＦ）が発生している部分の画像は収差による影響でボケており、ある程度入力画像を縮小したものに対しても、効果的にパープルフリンジ（ＰＦ）を補正することができる。このように、本発明の処理では、入力画像に対しそのまま補正処理を施す方法と比較して、偽色補正効果を損なうことなく、かつ計算コストを大幅に削減することができる。

なお、以下、説明する処理において、補正対象とするオリジナルの入力画像は、幅をＷＬ、高さをＨＬの画像データとし、図２に示すフローのステップＳ１１における縮小処理によって生成する縮小画像は、幅をｗ、高さをｈとした画像データとする。ステップＳ１１では、ＷＬ×ＨＬの画像データを１／ｎに縮小し、ｗ×ｈの縮小画像を生成する。なお、ｗはＷＬをｎで割った答えの小数点以下を切り上げた値、ｈはＨＬをｎで割った答えの小数点以下を切り上げた値となる。

図２に示すフローのステップＳ１１における縮小処理の詳細について、図３および図４を参照して説明する。図３、図４は、図２に示すフローのステップＳ１１における縮小処理の手順を示すフローチャートである。各ステップの処理について説明する。なお、本フローおよび以下の説明において、縮小量は自然数ｎで表わす。例えばｎが２の時は、ＷＬ×ＨＬのオリジナル画像データを１／２に縮小し、ｗ×ｈの縮小画像を生成する。ｎが４の時には４分の１に縮小することを意味する。

オリジナル画像と縮小画像の対応について図５を参照して説明する。図５には、縮小処理を施すオリジナル画像１５０と、縮小処理によって生成される縮小画像１６０を示している。オリジナル画像１５０はＷＬ×ＨＬであり、これを１／ｎに縮小してｗ×ｈの縮小画像１６０を生成する。オリジナル画像１５０に基づいて縮小画像１６０を生成する場合、縮小画像１６０の画素の値を個別に設定することが必要となる。例えば、縮小画像１６０における座標（ｘ，ｙ）の画素１６１について輝度情報と色情報とを決定することが必要となる。このために、縮小画像１６０における座標（ｘ，ｙ）の画素１６１の対応領域をオリジナル画像１５０から選択し、対応領域の構成画素の輝度情報と色情報とに基づいて、縮小画像１６０の画素（ｘ，ｙ）の輝度Ｌ_Ｓ（ｘ，ｙ）と色情報Ｃ_Ｓ（ｘ，ｙ）を求めることになる。この処理手順を示しているのが、図３、図４に示すフローチャートである。

縮小画像１６０における座標（ｘ，ｙ）の画素１６１の対応領域は、オリジナル画像１５０の対応画像領域１５１である。この対応画像領域１５１は、オリジナル画像１５０の画素範囲として、ｕ＝（ｎ×ｘ）〜（ｎ×ｘ＋ｎ−１）、ｖ＝（ｎ×ｙ）〜（ｎ×ｙ＋ｎ−１）である。すなわち、図５に示すように、
（ｕ，ｖ）＝（ｎ×ｘ，ｎ×ｙ）、
（ｕ，ｖ）＝（ｎ×ｘ＋ｎ−１，ｎ×ｙ）
（ｕ，ｖ）＝（ｎ×ｘ＋ｎ−１，ｎ×ｙ＋ｎ−１）
（ｕ，ｖ）＝（ｎ×ｘ，ｎ×ｙ＋ｎ−１）
の４点を頂点とする矩形領域として設定される画像領域１５１である。

縮小画像１６０における座標（ｘ，ｙ）の画素１６１の輝度Ｌ_Ｓ（ｘ，ｙ）と色情報Ｃ_Ｓ（ｘ，ｙ）は、オリジナル画像１５０の対応画像領域１５１に含まれる画素の輝度情報と色情報とに基づいて決定される。

図３、図４に示すフローチャートの各ステップの処理について説明する。まず、ステップＳ１０１、Ｓ１０２において、縮小画像での座標（ｘ，ｙ）を表わす変数ｘ，ｙの初期化を行なう。ステップＳ１０１でｙ＝０、ステップＳ１０２でｘ＝０とする。次にステップＳ１０３において、座標（ｘ，ｙ）の位置の画素を求める際に用いる変数Ｌ_ｍａｘ，Ｃ_ＰＦ，Ｎ_ＰＦ，Ｃ_ＮＰＦ，Ｎ_ＮＰＦを、すべて０に初期化する。各変数は、以下の意味を有する。

Ｌ_ｍａｘ：オリジナル画像の対応画像領域における最大輝度
Ｃ_ＰＦ：オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）画素の色情報
Ｎ_ＰＦ：オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）画素の画素数
Ｃ_ＮＰＦ：オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）ではない画素の色情報
Ｎ_ＮＰＦ：オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）ではない画素の画素数

ステップＳ１０３における変数の初期化の後、ステップＳ１０４、Ｓ１０５において、オリジナルの入力画像の座標（ｕ，ｖ）を表わす変数ｕ、ｖを初期化する。ステップＳ１０４でｖ＝ｎ×ｙ、ステップＳ１０５でｕ＝ｎ×ｘとする。図５を参照して説明したように、縮小画像の座標（ｘ，ｙ）の画素は、オリジナル画像の対応画像領域、すなわち、ｕ座標が（ｎ×ｘ）〜（ｎ×ｘ＋ｎ−１）、ｖ座標が（ｎ×ｙ）〜（ｎ×ｙ＋ｎ−１）に相当する対応画像領域内に含まれる画素を用いて算出される。

縮小画像の注目画素（ｘ，ｙ）の輝度Ｌ_Ｓ（ｘ，ｙ）は、オリジナル画像の対応画像領域の中で最大値のものを選択し、これを縮小画像の注目画素（ｘ，ｙ）の輝度Ｌ_Ｓ（ｘ，ｙ）とする。

また、縮小画像の注目画素（ｘ，ｙ）の色情報Ｃ_Ｓ（ｘ，ｙ）は、オリジナル画像の対応画像領域に含まれる画素に、パープルフリンジ（ＰＦ）に相当する色相を持つ画素があればそれらの平均値を求めこの平均値を縮小画像の注目画素（ｘ，ｙ）の色情報Ｃ_Ｓ（ｘ，ｙ）とする。オリジナル画像の対応画像領域に含まれる画素に、パープルフリンジ（ＰＦ）に相当する色相を持つ画素が含まれない場合は、対応画像領域に含まれる全画素の平均値を算出し、これを縮小画像の注目画素（ｘ，ｙ）の色情報Ｃ_Ｓ（ｘ，ｙ）とする。

ステップＳ１０６においては、オリジナル画像の対応画像領域から選択された画素（ｕ，ｖ）の輝度Ｌ（ｕ，ｖ）が、Ｌ_ｍａｘより大きいかを判定する。
Ｌ（ｕ，ｖ）＞Ｌ_ｍａｘ
が成立する場合は、ステップＳ１０７においてＬ_ｍａｘ＝Ｌ（ｕ，ｖ）とする変数更新処理を実行してからステップＳ１０８へ進み、
Ｌ（ｕ，ｖ）＞Ｌ_ｍａｘ
が成立しない場合は、直接Ｓ１０８へ進む。

ステップＳ１０８においては、オリジナル画像の座標（ｕ，ｖ）の色Ｃ（ｕ，ｖ）が、予め指定された色相範囲、すなわちパープルフリンジ（ＰＦ）等の偽色に相当する色相範囲に入る色相であるか否かを判定する。ステップＳ１０８における色相判定処理について、図６を参照して説明する。

図６は、色空間におけるパープルフリンジ（ＰＦ）の色相範囲をあらわした図である。色空間の一例としてＹＣｂＣｒ空間を用いる場合、色情報に相当するＣｂＣｒを２次元にプロットしたのが図６である。横軸がＣｂ、縦軸がＣｒの値を示し、原点１８０はＣｂ＝１２８，Ｃｒ＝１２８に相当する色である。

パープルフリンジ（ＰＦ）に相当する色相範囲を指定する方法として、２つの色相の間に入っているか否かを判定する方法を用いる。パープルフリンジ（ＰＦ）は紫色を有し、この特定の色相範囲を図６に示すＣｂＣｒ２次元座標空間で設定する。図に示す色相ライン１８１と、色相ライン１８２とによって挟まれる領域が、パープルフリンジ（ＰＦ）に相当する色相範囲１８３を示す領域として設定される。

ステップＳ１０８では、オリジナル画像の対応画像領域から選択された選択画素（ｕ，ｖ）の色Ｃ（ｕ，ｖ）が、図６に示す色相範囲１８３に含まれるか否かによって、Ｃ（ｕ，ｖ）が、偽色（ＰＦ）色相であるか否かを判定する。Ｃ（ｕ，ｖ）が偽色（ＰＦ）色相であると判定された場合はステップＳ１０９へ、Ｃ（ｕ，ｖ）が偽色（ＰＦ）色相でないと判定された場合はステップＳ１１０へ進む。

ステップＳ１０９では、偽色（ＰＦ）色相と判定された画素の色を平均するための変数、すなわち、
Ｃ_ＰＦ：オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）画素の色情報
Ｎ_ＰＦ：オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）画素の画素数
これらの変数Ｃ_ＰＦとＮ_ＰＦを更新する。具体的には、
Ｃ_ＰＦ＝Ｃ_ＰＦ＋Ｃ（ｕ，ｖ），
Ｎ_ＰＦ＝Ｎ_ＰＦ＋１
として、変数Ｃ_ＰＦとＮ_ＰＦを更新する。
Ｃ_ＰＦは、オリジナル画像の対応画像領域から抽出されたパープルフリンジ（ＰＦ）画素の色情報の積算値、Ｎ_ＰＦは、オリジナル画像の対応画像領域から抽出されたパープルフリンジ（ＰＦ）画素の画素総数を意味する値となる。

一方、Ｃ（ｕ，ｖ）が偽色（ＰＦ）色相でないと判定された場合、ステップＳ１１０において、偽色（ＰＦ）色相ではないと判定された画素の色を平均するための変数、すなわち、
Ｃ_ＮＰＦ：オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）ではない画素の色情報
Ｎ_ＮＰＦ：オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）ではない画素の画素数
これらの変数Ｃ_ＮＰＦとＮ_ＮＰＦを更新する。具体的には、
Ｃ_ＮＰＦ＝Ｃ_ＮＰＦ＋Ｃ（ｕ，ｖ），
Ｎ_ＮＰＦ＝Ｎ_ＮＰＦ＋１
として、変数Ｃ_ＮＰＦとＮ_ＮＰＦを更新する。
Ｃ_ＮＰＦは、オリジナル画像の対応画像領域から抽出されたパープルフリンジ（ＰＦ）ではない画素の色情報の積算値、Ｎ_ＮＰＦは、オリジナル画像の対応画像領域から抽出されたパープルフリンジ（ＰＦ）ではない画素の画素総数を意味する値となる。

ステップＳ１０９またはステップＳ１１０の処理の終了後、ステップＳ１１１に進む。ステップＳ１１１では、オリジナル画像の対応画像領域の座標（ｕ，ｖ）のｕ成分値を１増加させ、ステップＳ１１２においてｕが、ｕ＜ｎ×ｘ＋ｎであり、ｕ＜Ｗ_Ｌが成立するか否かを判定する。すなわち、座標（ｕ，ｖ）のｕ成分値が、図５を参照して説明したオリジナル画像１５０の対応画像領域１５１の右端に達しておらず（ｕ＜ｎ×ｘ＋ｎ）、かつ、オリジナル画像１５０の右端領域にも達していない（ｕ＜Ｗ_Ｌ）場合は、ステップＳ１０６に戻り、更新された座標（ｕ，ｖ）に対応する画素についてステップＳ１０６以下の処理を実行する。

ステップＳ１１２においてｕが、ｕ＜ｎ×ｘ＋ｎであり、ｕ＜Ｗ_Ｌが成立すると判定した場合は、ステップＳ１１３において、対応画像領域の座標（ｕ，ｖ）のｖ成分値を１増加させ、ステップＳ１１４においてｖがｖ＜ｎ×ｙ＋ｎであり、ｖ＜Ｈ_Ｌが成立するか否かを判定する。すなわち、座標（ｕ，ｖ）のｖ成分値が、図５を参照して説明したオリジナル画像１５０の対応画像領域１５１の下端に達しておらず（ｖ＜ｎ×ｙ＋ｎ）、かつ、オリジナル画像１５０の下端領域にも達していない（ｖ＜Ｈ_Ｌ）場合は、ステップＳ１０５に戻り、更新された座標（ｕ，ｖ）に対応する画素についてステップＳ１０５以下の処理を実行する。ステップＳ１１４がＮｏと判定されると、縮小画像の１つの画素（ｘ，ｙ）に対応するオリジナル画像の対応画像領域に含まれる全画素についての処理が終了したことになる。

次に、図４に示すステップＳ１１５に進む。ステップＳ１１５〜Ｓ１１７では、縮小画像の画素（ｘ，ｙ）の輝度Ｌ_Ｓ（ｘ，ｙ）と色の値Ｃ_Ｓ（ｘ，ｙ）を設定する処理を行う。ステップＳ１１５では、縮小画像の画素（ｘ，ｙ）の輝度値Ｌ_Ｓ（ｘ，ｙ）として、ステップＳ１０７で順次更新処理を実行して得られたＬ_ｍａｘを設定する。すなわち、縮小画像の注目画素（ｘ，ｙ）の輝度Ｌ_Ｓ（ｘ，ｙ）は、オリジナル画像の対応画像領域の中で最大値のものを選択し、これを縮小画像の注目画素（ｘ，ｙ）の輝度Ｌ_Ｓ（ｘ，ｙ）とする。

次に、ステップＳ１１６において、オリジナル画像の対応画像領域においてカウントされたＮ_ＰＦ、すなわち、オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）画素の画素数が０より大であるか否かを判定する。
Ｎ_ＰＦ＞０
が成立する場合はステップＳ１１７へ、成立しない場合はステップＳ１１８へ進む。

ステップＳ１１７では、縮小画像の注目画素（ｘ，ｙ）の色の値Ｃ_Ｓ（ｘ，ｙ）を下式によって算出する。すなわち、
Ｃ_Ｓ（ｘ，ｙ）＝Ｃ_ＰＦ／Ｎ_ＰＦ
上記式によって算出する。これは、オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）画素の色情報の積算値をパープルフリンジ（ＰＦ）画素の画素数で除算したものである。すなわち、オリジナル画像の対応画像領域にパープルフリンジ（ＰＦ）画素が１つ以上含まれる場合は、オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）画素の平均的な色情報を縮小画像の注目画素（ｘ，ｙ）の色の値Ｃ_Ｓ（ｘ，ｙ）として設定する。

ステップＳ１１６において、
Ｎ_ＰＦ＞０
が成立しない場合、すなわち、オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）画素の画素数が０である場合は、ステップＳ１１８に進み、縮小画像の注目画素（ｘ，ｙ）の色の値Ｃ_Ｓ（ｘ，ｙ）を下式によって算出する。すなわち、
Ｃ_Ｓ（ｘ，ｙ）＝Ｃ_ＮＰＦ／Ｎ_ＮＰＦ
上記式によって算出する。これは、オリジナル画像の対応画像領域におけるパープルフリンジ（ＰＦ）画素ではない全画素の色情報の積算値を全画素数で除算したものである。すなわち、オリジナル画像の対応画像領域にパープルフリンジ（ＰＦ）画素が全く含まれない場合は、オリジナル画像の対応画像領域における全画素の平均的な色情報を縮小画像の注目画素（ｘ，ｙ）の色の値Ｃ_Ｓ（ｘ，ｙ）として設定する。

以上の処理によって、縮小画像の１つの画素、すなわち、縮小画像の注目画素（ｘ，ｙ）の輝度Ｌ_Ｓ（ｘ，ｙ）と、色情報Ｃ_Ｓ（ｘ，ｙ）が決定されることになる。ステップＳ１１９〜Ｓ１２２は、縮小画像の注目画素（ｘ，ｙ）の座標位置の更新処理である。

ステップＳ１１９において、注目画素の座標（ｘ，ｙ）のｘ成分値を１増加させ、ステップＳ１２０においてｘが、ｘ＜ｗ、すなわち、縮小画像の画像サイズの幅ｗに未達か否かを判定しＹｅｓならＳ１０３に戻りＮｏならＳ１２１に進む。ステップＳ１２１では、注目画素（ｘ，ｙ）のｙ成分値を１増加させ、ステップＳ１２２においてｙが、ｙ＜ｈ、すなわち、縮小画像の画像サイズの高さｈに未達か否かを判定し、ＹｅｓならＳ１０２に戻り、Ｎｏなら処理を終了する。

これらの処理は、縮小画像（幅ｗ画素、高さｈ画素）の画像データにおいて、注目画素（ｘ，ｙ）を１つずつ移動させる処理であり、ステップＳ１２２がＮｏと判定されると、縮小画像（幅ｗ画素、高さｈ画素）の全画素についての処理が終了し、すべての画素を注目画素として設定した画素値決定処理が完了する。すなわち、縮小画像のすべての構成画素の画素情報、すなわち、輝度Ｌ_Ｓ（ｘ，ｙ）と、色情報Ｃ_Ｓ（ｘ，ｙ）が決定されたことになる。

以上の処理が、図２に示す総合処理フローのステップＳ１１の画像データ縮小処理である。次に、図２に示す総合処理フローのステップＳ１２の平均法に基づく画像補正処理の詳細について説明する。ステップＳ１２の平均法に基づく画像補正処理は、上述の縮小処理の結果生成された縮小画像データに対する処理として実行する。

平均法に基づく画像補正処理の詳細について、図７以下を参照して説明する。図７、図８は、本発明の画像処理の手順を示すフローチャートである。図７、図８に示すフローチートの各ステップの処理の詳細を順次説明する。

ステップＳ２０１、Ｓ２０２において、補正対象画像データの検査対象画素位置の初期設定を実行する。初期設定として注目画素の画素位置を（０，０）、すなわちｘ＝０、ｙ＝０として設定する。本発明の処理では、上述のように、補正対象として入力される画像データの構成画素について１つずつ、偽色度合い（ＰＦ度合い）を算出し、算出した各画素対応の偽色度合い（ＰＦ度合い）に基づく補正処理を行なう。ステップＳ２０１、Ｓ２０２にあるように座標（０，０）から始めて、画像中の各画素を順番に注目画素として色情報の補正を行う。

注目画素が決定されたあとは、偽色度合い、すなわちパープルフリンジ度合い（ＰＦ度合い）を算出する。本実施例においては、偽色度合い（ＰＦ度合い）の算出に、以下の各尺度、すなわち、
（ａ）白とび（高輝度画素）への近さ、
（ｂ）彩度の大きさ、
（ｃ）偽色に相当する特定色相への近さ
の３種類の尺度を考慮する。

まず、上記尺度（ａ）〜（ｃ）中の、「（ａ）白とび（高輝度画素）への近さ」に関して説明する。パープルフリンジは、主に白とびの周囲に発生する。逆に、注目画素がパープルフリンジであるときには、注目画素の周囲に、白とびが存在する。注目画素が白とびに近ければ近いほど、その画素はパープルフリンジである可能性が高いといえる。

ところで、パープルフリンジは白とびが発生している部分を中心として発生するが、白とびの画像上での位置によりパープルフリンジが発生する範囲は異なる。例えば、光学中心に当たる画像中心部から画像端に向かう方向に、パープルフリンジが発生しやすい場合がある。これは、光学系の種類や、絞り・焦点距離などの設定、注目画素の位置によっても、パープルフリンジが発生する範囲の特徴は異なる。

本実施例では、ステップＳ２０３において、注目画素がパープルフリンジであるとしたときに白とびが起こっている可能性のある範囲、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）を算出する。白とび探索範囲の算出方法としては、例えば、注目画素が白とびであった場合に、注目画素から画像中心に向かう方向とその１８０度反対側の方向またそれらと直行する方向に、どの程度の大きさのパープルフリンジが発生するかを算出すればよい。そのためには、あらかじめ本実施例に用いる光学系に関して、パープルフリンジの発生する可能性のある範囲を調べておき、ルックアップテーブルなどにそのデータを保存し、注目画素の画素位置に基づいてルックアップテーブルを検索して、画素位置対応の白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）のデータを抽出する。あるいは、ルックアップテーブルには、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）を算出するために必用なデータを格納し、これを抽出して演算によって白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）を算出する構成としてもよい。あるいは、ルックアップテーブルを適用せずに、予め設定された関数に従った演算処理を実行して、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）を算出する構成としてもよい。

ステップＳ２０３においては、定義済みのルックアップテーブルの参照、演算処理の少なくともいずれかの処理によって、光学系の設定、注目画素位置等の各種情報に基づいて、探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）を算出する。探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）は、注目画素がパープルフリンジである場合に白とび存在する可能性のある範囲として算出される範囲である。

図９を参照して、光学系にあわせた白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の設定の一例を述べる。図９に示す補正対象となる画像データ２１０において、ある画素２１１が白とびを起こしていると仮定する。画素が白とび画素であるか否かは、予め定めた閾値以上の輝度値を持つ画素であるかの判定処理によって行われ、閾値以上の輝度値を持つ画素であれば、白とび画素として判定する。

画素２１１が白とび画素である場合、画素２１１の周囲において、パープルフリンジが発生する可能性のある範囲は、撮像手段における使用レンズの特性と、撮影時のＦ値と焦点距離に基づいて算出することができる。これらの各データは、画像データの撮影時に撮影画像に対応する属性情報として、画像データとともに画像処理実行部としてのデジタル図信号処理部（ＤＳＰ）１０６（図１参照）に入力され、デジタル信号処理部（ＤＳＰ）１０６は、これらの入力データと注目画素の画素位置に基づいてルックアップテーブルを検索して、画素位置対応の白とび探索範囲を算出するために必用なデータを抽出して、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の算出を実行する。

図９を参照して、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の詳細について説明する。図９に示す画像データ２１０は、図２に示す総合処理フロー中のステップＳ１１においてオリジナル画像に基づいて生成した縮小画像を示す。

図９に示す画像データ２１０の画素２１１が白とび画素であるとき、白とび画素２１１の右下側に幅：Ｗａ、高さ：Ｈａ、左上側に幅：Ｗｂ、高さ：Ｈｂでパープルフリンジが発生するとする。図９に示す画素領域２１２と画素領域２１３によって規定される領域である。

一方、逆に、画素２１１がパープルフリンジ画素であると仮定すると、パープルフリンジ画素は、白とび画素の近傍に発生するという前提から、パープルフリンジ画素２１１の近傍には、必ず白とびの画素があるはずである。パープルフリンジ画素２１１の周囲において、白とびの発生している可能性のある領域は、上述した画素領域２１２と画素領域２１３とを、画素２１１と画像データ中心画素２５０を結ぶ直線に沿って画素２１１を中心として折り返して設定される領域、すなわち、図９に示す画素領域２２２、画素領域２２３である。

このように、図９に示す画素２１１がパープルフリンジ画素である場合、図９に示す画素領域２２２、画素領域２２３に白とび画素が発生していると推定できる。従って、画素２１１がパープルフリンジ画素の場合、図９に示す画素領域２２２、画素領域２２３を含む矩形領域として設定される画素領域２３０を探索領域として探索処理を実行すれば、白とび画素が発見できるはずである。

図７に示すフローのステップＳ２０３では、注目画素（ｘ，ｙ）がパープルフリンジ画素である場合に、その画素の周囲に存在すると判断される白とび画素を検出することを目的として、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）を設定するものである。上述した説明から理解されるように、図９において画素２１１が注目画素である場合、画素領域２３０を白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）として設定すれば、画素２１１がパープルフリンジ画素である場合に、白とび画素をこの探索範囲において検出できることになる。

このように、撮影手段の特性、撮影条件によって決定される白とび画素周囲のハープルフリンジ発生領域に基づいて、パープルフリンジ画素周囲の白とび画素探索領域が設定される。図７に示すフローのステップＳ２０３では、処理対象の画素、すなわち注目画素毎に白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）を算出する。

図１０を参照して、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の領域について説明する。図１０は、注目画素（ｘ，ｙ）３００の周囲に設定される白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）３０１を示している。白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）３０１は、左上端が座標（ｘ_０，ｙ_０）の画素３０２であり、右下端が座標（ｘ_１，ｙ_１）の画素３０３である矩形領域からなる白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）である。

図１０に示す白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）３０１は、図９に示す矩形領域２３０に相当する領域であり、図９に示す画素領域２２３は、図１０に示す注目画素（ｘ，ｙ）３００の左上部の高さＨ１、幅Ｗ１からなる画素領域３１１に相当し、図９に示す画素領域２２２は、図１０に示す注目画素（ｘ，ｙ）３００の右下部の高さＨ２、幅Ｗ２からなる画素領域３１２に相当する。画素３２１は座標（ｘ_０，ｙ_１）の画素、画素３２２は座標（ｘ_１，ｙ）の画素、画素３２３は座標（ｘ，ｙ_０）の画素、画素３２４は座標（ｘ，ｙ_１）の画素である。

図７に示すフローのステップＳ２０３では、例えば、図１０に示す画素（ｘ，ｙ）３００を注目画素とした場合、注目画素（ｘ，ｙ）３００の左にＷ１、右にＷ２、上にＨ１、下にＨ２の領域からなる探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）３０１を設定する。この設定によって、注目画素（ｘ，ｙ）３００がパープルフリンジ画素である場合に、探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）３０１内から白とび画素を、ほぼ間違いなく検出することができる。

このように、図７のステップＳ２０３では、注目画素（ｘ，ｙ）がパープルフリンジ画素である場合に、その画素の周囲に存在すると判断される白とび画素を検出することを目的として、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）を設定するものである。なお、前述したように、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の算出にはルックアップテーブルの参照、演算処理の少なくともいずれかの処理が実行される。撮像手段における使用レンズの特性、撮影時のＦ値、焦点距離等の各データを撮影画像に対応する属性情報として、画像データとともに画像処理実行部としてのデジタル図信号処理部（ＤＳＰ）１０６（図１参照）に入力し、デジタル信号処理部（ＤＳＰ）１０６において、これらの入力データ、注目画素位置情報等に基づいてルックアップテーブルの参照、演算処理の少なくともいずれかの処理を実行して、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）を算出する。

図７のステップＳ２０３において、注目画素（ｘ，ｙ）に対応する白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）が算出されると、算出した白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）において、白とび画素の検索を行い、注目画素（ｘ，ｙ）と最も近接した白とび画素との距離としての最小距離：ｄ_ｍｉｎを算出する。この処理が、図７、図８のフローに示すステップＳ２０４〜Ｓ２１４の処理である。

ここで算出する注目画素（ｘ，ｙ）と白とび画素との距離：ｄは、注目画素（ｘ，ｙ）を中心点として白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の領域を正規化して算出した距離データを用いる。正規化された距離データを比較して、最小距離：ｄ_ｍｉｎを算出する。正規化した距離データを用いる理由について説明する。注目画素から白とびへの距離を算出する際には、パープルフリンジの発生する方向を考慮する必要がある。すなわち、注目画素の周囲に白とび画素があり、その白とび画素を原因として注目画素にパープルフリンジが発生する可能性を算出するためには、白とび画素の位置と注目画素の距離ならびにその位置関係を考慮する必要がある。

図９、図１０を参照して説明したように、白とび画素探索領域は、注目画素の周囲に均等に設定されない。例えば図１０に示す白とび画素探索領域３０１は、注目画素３００（ｘ，ｙ）の左上部の小さな画素領域３１１と、右下の大きな画素領域３１２を含む領域として設定され、注目画素３００（ｘ，ｙ）は白とび画素探索領域３０１の中心に設定されておらず、左上部にかたよって設定された状態となっている。注目画素（ｘ，ｙ）と白とび画素との最小距離：ｄ_ｍｉｎを算出する際、実際の距離データとして算出すると、左上部の小さな画素領域３１１にも白とびがあり、右下の大きな画素領域３１２にも白とびがある場合、ほとんどの最小距離データは、左上部の小さな画素領域３１１との距離として算出される可能性が高くなる。

しかし、注目画素３００（ｘ，ｙ）のパープルフリンジを引き起こしている原因としての白とび画素は、注目画素との実際の距離がより大きな右下の画素領域３１２内の白とび画素である場合がある。このような誤認を防止するため、すなわち、注目画素（ｘ，ｙ）のパープルフリンジを引き起こしている要因としての白とび画素との距離を最小距離：ｄ_ｍｉｎとして正確に算出するため、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の中心に注目画素（ｘ，ｙ）が設定された状態とするため、正規化距離データを用いる。

正規化距離データを用いることで、例えば図１０に示す注目画素３００（ｘ，ｙ）と、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の端点の画素３２１（ｘ_０，ｙ_１）との距離：Ｗ１、注目画素３００（ｘ，ｙ）と画素３２２（ｘ_１，ｙ）との距離：Ｗ２、注目画素３００（ｘ，ｙ）と画素３２３（ｘ，ｙ_０）との距離：Ｈ１、注目画素３００（ｘ，ｙ）と画素３２４（ｘ，ｙ_１）との距離：Ｈ２は全て等しいものとして処理される。この正規化距離データを用いることで、注目画素３００（ｘ，ｙ）と正規化最小距離：ｄ_ｍｉｎを持つ白とび画素が、注目画素３００（ｘ，ｙ）のパープルフリンジを引き起こしている要因となった白とび画素であるとの推定が正しい確率を向上させることができる。

本実施例においては、例えば図１０に示す白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の設定において、白とび画素位置と注目画素それぞれのｘ座標の差の絶対値を、注目画素３００（ｘ，ｙ）と白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の端点の画素３２１（ｘ_０，ｙ_１）との距離：Ｗ１、または注目画素３００（ｘ，ｙ）と画素３２２（ｘ_１，ｙ）との距離：Ｗ２を用いて正規化し、さらに、注目画素３００（ｘ，ｙ）と画素３２３（ｘ，ｙ_０）との距離：Ｈ１、注目画素３００（ｘ，ｙ）と画素３２４（ｘ，ｙ_１）との距離：Ｈ２を用いて正規化して距離：ｄを算出する。

具体的な距離算出式について説明する。白とび探索範囲で見つかった白とび画素の位置が（ａ，ｂ）であるとする。注目画素から白とび位置（ａ，ｂ）への距離：ｄは以下の式（式１）に従って算出する。

上記式（式１）を用いれば、注目画素から３００（ｘ，ｙ）から、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の端点の画素３２１（ｘ_０，ｙ_１）との距離：Ｗ１、画素３２２（ｘ_１，ｙ）との距離：Ｗ２、画素３２３（ｘ，ｙ_０）との距離：Ｈ１、画素３２４（ｘ，ｙ_１）との距離：Ｈ２は全て等距離とされる。この正規化距離データを適用して最小距離：ｄ_ｍｉｎを持つ白とび画素を選択することで、注目画素３００（ｘ，ｙ）のパープルフリンジを引き起こしている要因となった白とび画素を正しい確立で抽出することができる。

図７のフローの説明を続ける。ステップＳ２０３において白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）を算出した後、まず、ステップＳ２０４で、最小距離：ｄ_ｍｉｎを初期化、例えばｄ_ｍｉｎ＝∞あるいは注目画素と白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の最大距離より十分大きい値に設定する。次に、ステップＳ２０５，Ｓ２０６において、白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）の構成画素を１つ選択し、ステップＳ２０７において、選択画素（ｓ，ｔ）が白とび画素であるか否かを判定する。白とび画素であるか否かの判定処理は、例えば予め定めた輝度以上の画素を白とび画素として判定する処理として実行される。

選択画素（ｓ，ｔ）が白とび画素で無い場合は、ステップＳ２１１〜Ｓ２１４の処理によって選択画素の更新、すなわち白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）内において次の画素を選択画素として設定し、ステップＳ２０７以下の処理を繰り返し実行する。

選択画素（ｓ，ｔ）が白とび画素であると判定すると、ステップＳ２０８において、注目画素（ｘ，ｙ）と白とび画素（ｓ，ｔ）との距離ｄが算出する。この距離ｄは、前述の式（式１）を適用した演算によって、正規化距離データとして算出する。ステップＳ２０９では、算出距離データ：ｄと初期化されたあるいはその後更新された最小距離：ｄ_ｍｉｎとの比較が実行され、算出距離データ：ｄが、最小距離：ｄ_ｍｉｎより小さい値を持つ場合は、ステップＳ２１０において、算出距離データ：ｄを、最小距離：ｄ_ｍｉｎとする最小距離：ｄ_ｍｉｎの更新処理を実行する。

以上の処理を、注目画素（ｘ，ｙ）の周囲に設定した白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）内の全画素について実行し、注目画素に対応する１つの最小距離：ｄ_ｍｉｎを決定する。白とび探索範囲（ｘ_０，ｙ_０，ｘ_１，ｙ_１）内に白とび画素が検出されなかった場合は、最小距離：ｄ_ｍｉｎは、初期値のままとなる。

次に、図８に示すフローチャートのステップＳ２１５に進む。ステップＳ２１５では、注目画素（ｘ，ｙ）の偽色度合い、すなわち、ＰＦ（パープルフリンジ）度合いを算出するためのパラメータを注目画素（ｘ，ｙ）の色情報ｃ（ｘ，ｙ）に基づいて算出する。これは、注目画素（ｘ，ｙ）がパープルフリンジに近い彩度と色相を持つか否かを判定する尺度としての偽色（ＰＦ）度合いｐ、すなわちパープルフリンジ等の偽色（ＰＦ）である可能性を示すパラメータとしての偽色（ＰＦ）度合いｐの算出に適用するパラメータを求める処理である。

ステップＳ２１５における注目画素（ｘ，ｙ）の色情報ｃ（ｘ，ｙ）に基づくパラメータ算出処理について、図１１を参照して説明する。図１１は、２次元の色情報空間の一例を表わしている。ここでは、色情報としてＹＣｂＣｒ空間の、ＣｂＣｒを用いる。図１１では、横軸にＣｂ、縦軸にＣｒ、原点４００はＣｂ＝１２８，Ｃｒ＝１２８となる色値を持つ。パープルフリンジ色相ライン４０１は、パープルフリンジの色であるとしてあらかじめ指定された色相を表わすラインである。注目画素色相４０２は、注目画素（ｘ，ｙ）の色相（Ｃｂ，Ｃｒ）をプロットしたものである。

図８に示すフローにおけるステップＳ２１５においては、注目画素の彩度ｓならびに、パープルフリンジの色相への近さθをパラメータとして求める。図１１で示す例においては、彩度ｓは原点４００から注目画素色相４０２への距離として算出される値であり、パープルフリンジの色相への近さθはパープルフリンジ色相ライン４０１と、原点と注目画素色相４０２を結ぶラインとのなす角度として算出される値である。なお、本実施例では、注目画素（ｘ，ｙ）の偽色度合い、すなわち、ＰＦ（パープルフリンジ）度合いを算出するためのパラメータとして彩度ｓならびに、パープルフリンジの色相への近さθを、上記処理によってパラメータとして算出する処理を適用しているが、これらは、彩度、色相への近さの尺度としての一例であり、他の方法を適用してもよい。なお、ここで述べるθは、２つの色相のなす角度であり、必ず０以上の値となる。

次にステップＳ２１６において、ステップＳ２１５で求めた注目画素（ｘ，ｙ）の色情報ｃ（ｘ，ｙ）に基づくパラメータｓ，θを適用して、注目画素の偽色度合いｐ、すなわち、ＰＦ（パープルフリンジ）度合いを表わす値ｐを算出する。前述したようにパープルフリンジ度合いｐとして、本実施例の処理では以下の各尺度、すなわち、
（ａ）白とび（高輝度画素）への近さ、
（ｂ）彩度の大きさ、
（ｃ）偽色に相当する特定色相への近さ
の３種類の尺度を考慮すると説明した。最終的な偽色（ＰＦ）度合いｐの算出には、上記（ａ）〜（ｃ）の尺度が適用される。

上述の（ａ）〜（ｃ）の各尺度を、
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐ_ｄ、
（ｂ）彩度の大きさ＝彩度評価値Ｐ_ｓ、
（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐ_θ、
とする。

以下、各評価値の算出処理の詳細について説明する。
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐ_ｄ、
白とび距離評価値Ｐ_ｄは、下式（式２）によって算出する。

上記式において、ｄには、先にステップＳ２０４〜Ｓ２１４の処理において求められたデータ、すなわち、注目画素（ｘ，ｙ）に対応する最小距離：ｄ_ｍｉｎを代入する。ｄ_ｍａｘは、あらかじめ設定された距離データであり、ｄのとり得る範囲において最大値に近い値、あるいは最大値以上の値に設定する。ただし、ｄ_ｍａｘをｄのとり得る範囲において最大値に近い値として設定した場合においてｄ＞ｄ_ｍａｘとなった場合は、ｄ_ｍａｘ＝ｄであると仮定して、ｄ−ｄ_ｍａｘ＝０として処理する。例えば、前述の式（式１）によると、ｄは、０から√２までの値を取る。したがって、ｄｍａｘとしては、例えば、√２を設定すればよい。

このようにして、注目画素（ｘ，ｙ）から白とび画素までの距離ｄが小さいほど、距離評価値Ｐ_ｄは１に近づき、一方、注目画素（ｘ，ｙ）から白とび画素までの距離ｄが大きいほど、距離評価値Ｐ_ｄは０に近づく値に設定される。すなわち、距離評価値Ｐ_ｄは０〜１の範囲で、注目画素（ｘ，ｙ）から白とび画素までの距離に応じた値に設定されることになる。

また、（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐ_θ、すなわち、パープルフリンジ色相への近さを表わす値としての色相評価値ｐ_θは以下の式（式３）により算出される。

上記式（式３）のθは、ステップＳ２１５において求めた注目画素のパープルフリンジの色相への近さθを代入する。図１１を参照して説明したように、パープルフリンジの色相への近さθはパープルフリンジ色相ライン４０１と、原点と注目画素色相４０２を結ぶラインとのなす角度として算出される値である。上記式（式３）のθ_ｍａｘは、あらかじめ指定された値であり、θのとり得る範囲において最大値に近い値、あるいは最大値以上の値に設定する。ただし、θ_ｍａｘをθのとり得る範囲において最大値に近い値として設定した場合においてθ＞θ_ｍａｘとなった場合は、θ_ｍａｘ＝θであると仮定して、θ−θ_ｍａｘ＝０として処理する。撮影に用いたレンズによりあらかじめどのような色相の偽色が発生するかはあらかじめ予想することができる。発生する可能性のある偽色の色相をすべてカバーできるように、最適な値をθ_ｍａｘとして設定すればよい。

このようにして、注目画素（ｘ，ｙ）の色相が偽色としてのパープルフリンジの色相に近いほど、色相評価値ｐ_θは１に近づき、一方、注目画素（ｘ，ｙ）の色相が偽色としてのパープルフリンジの色相から遠いほど、色相評価値ｐ_θは０に近づく値に設定される。すなわち、色相評価値ｐ_θは０〜１の範囲で、注目画素（ｘ，ｙ）の色相とパープルフリンジの色相との差異に応じた値に設定されることになる。

また、（ｂ）彩度の大きさ＝彩度評価値Ｐ_ｓは以下の式（式４）により算出される。

上記式（式４）のｓは、ステップＳ２１５において求めた注目画素の彩度ｓを代入する。図１１を参照して説明したように、彩度ｓは原点４００から注目画素色相４０２への距離として算出される値である。上記式（式４）のｓ_ｍａｘは、あらかじめ指定された値であり、ｓのとり得る範囲において最大値に近い値、あるいは最大値以上の値に設定する。ただし、ｓ_ｍａｘをｓのとり得る範囲において最大値に近い値として設定した場合においてｓ＞ｓ_ｍａｘとなった場合は、ｓ_ｍａｘ＝ｓであると仮定して、ｓ−ｓ_ｍａｘ＝０として処理する。

このようにして、注目画素（ｘ，ｙ）の彩度が大きいほど、彩度評価値Ｐ_ｓは１に近づき、一方、注目画素（ｘ，ｙ）の彩度が小さいほど、彩度評価値Ｐ_ｓは０に近づく値に設定される。すなわち、彩度評価値Ｐ_ｓは０〜１の範囲で、注目画素（ｘ，ｙ）の彩度に応じた値に設定されることになる。

図１２は、パープルフリンジの発生した画像データの画像領域と彩度の対応を示した図である。図１２の縦軸は彩度を表わし、横軸は画像上での位置を表わす。図１２では、画像位置の画像範囲４５１に白とび画素があり、画像範囲４５２と画像範囲４５３に渡ってパープルフリンジが発生し、画像範囲４５４には被写体の本来の色が撮像されているとする。画像範囲４５２のパープルフリンジは彩度が大きくとても目立つため、なるべく強く補正をかけるのが望ましい。一方、画像範囲４５３では、パープルフリンジから被写体本来の色への遷移部分となっているため、補正度合いとしては、強い補正度合いからだんだん弱めて補正しないレベルまで、連続的に変化させるのが望ましい。上記式（式４）で算出される彩度評価値Ｐ_ｓは、このような彩度に応じた最適な補正のレベルに対応させることが好ましい。この設定とするためには、上記式（式４）で適用する固定値としてのｓ_ｍａｘを、図１２に示すように、例えば、画像範囲４５３の最大彩度付近の彩度として設定すればよい。

この設定とすることで、図１２に示す画像領域４５２では、上記式（式４）によって算出される彩度評価値Ｐ_ｓは１となり、画像領域４５３では、上記式（式４）によって算出される彩度評価値Ｐ_ｓは、画像領域４５２の接点では１となり、画像領域４５４に近づくに従って、彩度評価値Ｐ_ｓが減少し、徐々に０に近づく値に設定されることになる。

図８のフローチャートに戻り画像処理シーケンスの説明を続ける。ステップＳ２１６においては、上述した３つの評価値、すなわち、
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐ_ｄ、
（ｂ）彩度の大きさ＝彩度評価値Ｐ_ｓ、
（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐ_θ、
に基づいて、下式（式５）に従って、偽色（ＰＦ）度合いｐを算出する。

上記式（式５）は、３つの評価値、すなわち、白とび距離評価値Ｐ_ｄと、色相評価値Ｐ_θと、彩度評価値Ｐ_ｓとの乗算値に基づいて偽色（ＰＦ）度合いｐ、すなわち、偽色である可能性を示すパラメータである偽色（ＰＦ）度合いｐを算出する式である。

次にステップＳ２１７において、注目画素の色情報を補正する処理を行う。ステップＳ２１７の詳細処理について、図１３のフローチャートを参照して説明する。本実施例においては、注目画素の周囲の画素の色情報から求めた色情報補間値を、偽色（ＰＦ）度合いｐに応じてオリジナルの色情報Ｃ（ｘ，ｙ）と案分することにより、補正を行う。また、補間値としては、注目画素とその周辺画素の重み付き平均を用いる。補間値算出範囲の色情報の重み付き平均を補間値とすることにより、パープルフリンジ等の偽色を完全に除去することはできないが、特に彩度が高く非常に目立つ部分などを、目立たなくさせることにより、パープルフリンジ等の偽色を軽減する処理を施すことができる。

図１３に示すフローの各ステップの処理について説明する。最初にステップＳ３０１において、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）を算出する。補間値算出範囲は、前述の白とび探索範囲と同様に、光学系の種類や設定、注目画素の位置基づいたデータを元に、注目画素が白とびである場合にどの範囲にパープルフリンジが発生するかを表わした範囲を補間値算出範囲として算出する。ここでは、注目画素がパープルフリンジである場合の補正を行うが、その場合本来の被写体の色が残っている可能性のある範囲として、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）を用い、その範囲の画素の色情報の重み付き平均を求める。

補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の具体的な設定処理について、図１４を参照して説明する。図１４は、先に説明した図９に対応する図であり、補正対象となる画像データ５１０において注目画素が画素５１１であるとする。仮に画素５１１がパープルフリンジ等の偽色画素である場合、この偽色画素を周囲の画素の画素値に基づいて補正することになる。画素５１１がパープルフリンジ等の偽色画素である場合、図９を参照して説明したように、白とび探索範囲５２０の中に白とび画素が存在する。白とび探索範囲５２０は、図９における画素領域２３０に対応し、画素領域５２１と、画素領域５２２を含む矩形領域として設定される白とび探索範囲５２０である。

画素５１１がパープルフリンジであった場合は、画素５１１の周囲の画素を用いて補間処理、すなわち、画素５１１の周囲の画素の画素値を適用して画素５１１の画素値を決定する処理を行なう。その際、補間処理に適用する対象となる画素、すなわち参照する画素は、なるべく偽色（パープルフリンジ）画素ではない方が望ましい。画素５１１がパープルフリンジであった場合、例えば、白とび探索範囲５２０内に検出された白とび画素５３１と、注目画素５１１との間に存在する画素はすべてパープルフリンジになるはずである。ここで白とび画素５３１は、図７のフローにおけるステップＳ２０４〜Ｓ２１４の処理において注目画素５１１からの最小距離ｄ_ｍｉｎを持つ白とび画素５３１であるとする。この場合、パーブルフリンジである画素５１１は、白とび画素５３１の直接的影響によってパープルフリンジとなっており、より白とび画素５３１に近い画素は、すべてパープルフリンジになるはずである。

この様な場合、注目画素５１１から白とび画素５３１がある方向の反対側に進むにつれて被写体本来の色に近づくといえる。したがって、補間値算出範囲としては、例えば画素５１１から白とび画素５３１へ向かう方向の反対側の領域を設定することで、より正常な画素値を多く含む領域を設定することができると判断される。このような場合は、例えば図１４に示すように補間値算出範囲５４１を設定すればよい。

図１４に示す例では、注目画素５１１の画素値は、補間値算出範囲５４１の構成画素の画素値に基づいて算出される値によって決定されることになる。このように、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の設定の際には、注目画素５１１からの最小距離ｄ_ｍｉｎを持つ白とび画素の方向から遠い方向の画素を多く含む領域設定を行うことで、より効果的な補間処理が可能となる。

図１３のフローに戻り、補間処理シーケンスについての説明を続ける。ステップＳ３０２において、初期設定として、色情報の補間値を保存する変数（ベクトル値）Ｃ_ｔｍｐをゼロベクトルに、重みの総和を保存する変数（スカラー値）Ｗ_{ｔｏｔａｌ}を０にする。ステップＳ３０３，Ｓ３０４においては、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）から選択する各画素の座標（ｓ，ｔ）を表わす変数ｓ，ｔの初期設定処理を行なう。初期的には、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の１つの頂点に対応する画素座標（ｓ，ｔ）を選択し、それぞれｓ＝ｘ_２、ｔ＝ｙ_２に設定する。

次にステップＳ３０５において、選択画素（ｓ，ｔ）に対して適用する重みｗ（ｘ，ｙ，ｓ，ｔ）を算出し、算出した重みｗ（ｘ，ｙ，ｓ，ｔ）を、重み総和保存変数（スカラー値）Ｗ_{ｔｏｔａｌ}に加算し、重み総和保存変数（スカラー値）Ｗ_{ｔｏｔａｌ}を更新し、さらに、選択画素（ｓ，ｔ）の色情報Ｃ（ｓ，ｔ）に、重みｗ（ｘ，ｙ，ｓ，ｔ）を乗じて、色情報補間値保存変数Ｃ_ｔｍｐに加算して、色情報補間値保存変数Ｃ_ｔｍｐを更新する処理を行う。すなわち、
Ｗ_{ｔｏｔａｌ}＝Ｗ_{ｔｏｔａｌ}＋ｗ（ｘ，ｙ，ｓ，ｔ）
Ｃ_ｔｍｐ＝Ｃ_ｔｍｐ＋ｗ（ｘ，ｙ，ｓ，ｔ）×Ｃ（ｓ，ｔ）
これらの算出式により、処理対象画素（ｓ，ｔ）に対する重みｗ（ｘ，ｙ，ｓ，ｔ）を適用して、色情報補間値保存変数（ベクトル値）Ｃ_ｔｍｐと、重み総和保存変数（スカラー値）Ｗ_{ｔｏｔａｌ}との更新を行なう。

なお、最も単純な処理例では、すべての選択画素（ｓ，ｔ）の重みｗ（ｘ，ｙ，ｓ，ｔ）を１とする設定が適用できる。すべての画素（ｓ，ｔ）において重みｗ（ｘ，ｙ，ｓ，ｔ）＝１とする設定では、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）から選択されるすべての参照画素の平均値を、注目画素（ｘ，ｙ）の画素値決定に適用する補間処理となる。

この他、重みｗ（ｘ，ｙ，ｓ，ｔ）の設定態様としては、パープルフリンジ画素を最適に補間するための重みｗの設定例として、注目画素（ｘ，ｙ）と座標（ｓ，ｔ）の距離に応じた値を重みｗとして用いる構成としてもよい。さらに、画素（ｓ，ｔ）の色情報Ｃ（ｓ，ｔ）の色相がパープルフリンジ色相から離れているほど重みを大きな値にする設定とするなど、入力画像の色情報を考慮する方法を採用してもよい。

ステップＳ３０５における色情報補間値保存変数（ベクトル値）Ｃ_ｔｍｐと、重み総和保存変数（スカラー値）Ｗ_{ｔｏｔａｌ}との更新処理の後、ステップＳ３０６において、選択画素の座標（ｓ，ｔ）のｘ成分値：ｓを１増加させ、ステップＳ３０７においてｓが、ｓ＞ｘ_３、すなわち、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）を超えるか否かを判定しＹｅｓならＳ３０８へ進みＮｏならＳ３０５へ戻る。ステップＳ３０８では、選択座標（ｓ，ｔ）のｙ成分値：ｔを１増加させ、ステップＳ３０９においてｔが、ｔ＞ｙ_３、すなわち、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）を超えるか否かを判定しＹｅｓならＳ３１０へ進みＮｏならＳ３０４へ戻る。これらの処理は、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）において、選択画素（ｓ，ｔ）を１つずつ移動させる処理であり、ステップＳ３０９がＹｅｓと判定されると、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の全画素についての処理が終了し、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の全画素に基づいて算出された最終的な色情報補間値保存変数Ｃ_ｔｍｐと、重み総和保存変数Ｗ_{ｔｏｔａｌ}とが決定する。

最後に、ステップＳ３１０において、これらの補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の全画素に基づいて算出された最終的な色情報補間値保存変数Ｃ_ｔｍｐと、重み総和保存変数Ｗ_{ｔｏｔａｌ}とに基づいて、注目画素（ｘ，ｙ）の補正色としての補正色情報Ｃ'（ｘ，ｙ）を、下式（式６）、すなわち、

上記式（式６）に基づいて決定する。

上記式（式６）において、ｐは、先に説明した図８のステップＳ２１６において算出した偽色（ＰＦ）度合いｐである。すなわち、
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐ_ｄ、
（ｂ）彩度の大きさ＝彩度評価値Ｐ_ｓ、
（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐ_θ、
（ａ）〜（ｃ）の乗算値として、前述の式（式５）に基づいて算出された注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐである。

Ｃ_ｔｍｐ、Ｗ_{ｔｏｔａｌ}は、前述のステップＳ３０９までの処理において求めた補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の全画素に基づいて算出された最終的な色情報補間値保存変数Ｃ_ｔｍｐと、重み総和保存変数Ｗ_{ｔｏｔａｌ}であり、Ｃ（ｘ，ｙ）は、補間処理前の注目画素（ｘ，ｙ）の色情報であり、（Ｃ_ｔｍｐ／Ｗ_{ｔｏｔａｌ}）は、注目画素（ｘ，ｙ）の近傍領域に設定された補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の全画素に基づいて算出された補間値に相当する。

上記式は、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐの値が高い（１に近い）ほど、注目画素（ｘ，ｙ）の補間処理前の元画素の画素値に相当する色情報Ｃ（ｘ，ｙ）の影響が小さく、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の構成画素の色情報から算出される補間値の影響度が高くなる調整処理によって、注目画素（ｘ，ｙ）の補正画素値としての補正色情報Ｃ'（ｘ，ｙ）が設定されることを示す。上記式において、［ｐ×Ｃ_ｔｍｐ／Ｗ_{ｔｏｔａｌ}］は、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の構成画素の色情報に基づいて決定される値である。

一方、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐの値が小さい（０に近い）ほど、注目画素（ｘ，ｙ）の補間処理前の元画素値に対応する色情報Ｃ（ｘ，ｙ）の影響が大きく、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の構成画素の色情報に基づく補間値の影響度が小さくなる調整処理によって注目画素（ｘ，ｙ）の補正色情報Ｃ'（ｘ，ｙ）が設定される。

以上の処理が、図８のステップＳ２１７の処理であり、この処理によって１つの注目画素に対する画素値補間処理、すなわち、注目画素の元画素値と、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の構成画素の色情報に基づく補間値とを適用し、注目画素の偽色度合いｐに応じて元画素値と補間値との寄与率を変更して注目画素の補正画素値を算出する処理が終了する。

上述したように、本発明処理の画像処理では、偽色である可能性を示すパラメータとしての注目画素の偽色度合いｐを、（ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐ_ｄ、（ｂ）彩度の大きさを示す彩度評価値Ｐ_ｓ、（ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐ_θを適用して算出し、上記式（式６）によって偽色度合いｐを適用して補正画素値を算出する構成としたことにより、パープルフリンジ等の偽色の可能性の高い画素については周囲画素に基づく補間値の寄与率を高め、偽色の可能性の低い画素については、元画素値の寄与率を高くした補正が実行されることになり、破綻の無い高品質な画像を取得することが可能となる。

なお、本処理例では、パープルフリンジ等の偽色画素を補正する方法の一例として、図１３のフローチャートに従った処理例を挙げたが、本方法に限らず、他にも、パープルフリンジ度合いｐを用いて彩度を削減する方法もある。色空間として例えばＹＣｂＣｒを用いる場合、この方法は、以下の式（式７）で示す算出処理によって実現される。
Ｃｂ'＝（１．０−ｐ）＊（Ｃｂ−１２８）＋１２８
Ｃｒ'＝（１．０−ｐ）＊（Ｃｒ−１２８）＋１２８
・・・（式７）

上記式（式７）において、Ｃｂ，Ｃｒは、補正対象となる注目画素の元の色を示し、ＹＣｂＣｒ色空間における値（Ｃｂ，Ｃｒ）である。これらの値は０〜１２８の値を持つ。これらの値に、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐを適用して、補正後の注目画素の色情報Ｃｂ'，Ｃｒ'を決定する。上記式においても、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐが高いほど、注目画素の元の色データとしての（Ｃｂ，Ｃｒ）の影響の少ない補正がなされることになる。

また、上述の式（式７）で算出される彩度を削減した画素に対して、図１３のフローに示すステップＳ３０２〜Ｓ３０９の処理を実行して、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）の全画素に基づく色情報補間値保存変数Ｃ_ｔｍｐと、重み総和保存変数Ｗ_{ｔｏｔａｌ}を算出し、この値を用いて、ステップＳ３１０の処理、すなわち、前述の式（式６）を適用して、注目画素の補正色情報Ｃ'（ｘ，ｙ）を算出する構成としてもよい。この補正処理によっても、効果的な偽色（パープルフリンジ）軽減が実現される。

ほかにも、パープルフリンジ等の偽色を補正する方法として、前述の式（式５）で算出した偽色（ＰＦ）度合いｐを基にして、そのカーネルサイズを設定したローパスフィルタを施す方法も適用可能である。例えば、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐが低い場合は、注目画素（ｘ，ｙ）の比較的近くにある画素の画素値のみを選択して、これらの画素値を適用した補間処理を実行し、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐが高い場合は、注目画素（ｘ，ｙ）の近傍のみではなく、より広い範囲の周辺画素を参照画素として選択して、これらの広範囲の画素の画素値を適用した補間処理を実行する構成としてもよい。

すなわち、前述の式（式５）で算出した偽色（ＰＦ）度合いｐに基づいて、フィルタリング態様を変更したローパスフィルタを適用して修正された補間値、すなわち注目画素近傍の画素値に基づいて生成される補間値を修正して修正補間値を適用して注目画素の補正画素値を算出する構成としてもよい。

また、前述の式（式５）で算出した偽色（ＰＦ）度合いｐをそのまま使うと補正結果が安定しない場合は、偽色（ＰＦ）度合いｐ、または、白とび距離評価値Ｐ_ｄ、彩度評価値Ｐ_ｓ、色相評価値Ｐ_θ、それぞれを入力として、各値に対応する最適な補正態様を設定したルックアップテーブルを用意し、ルックアップテーブルに基づく補正処理を実行することで、効果的にパープルフリンジが削減されるようパープルフリンジ度合いを修正する構成としてもよい。

図８のフローに戻り画像処理のシーケンスについての説明を続ける。ステップＳ２１７において、図１３を参照して説明した処理に従って、１つの注目画素（ｘ，ｙ）の補正された色情報Ｃ'（ｘ，ｙ）、すなわち、上述の処理によって注目画素の周囲画素の画素値を適用した補間画素値が決定される。１つの注目画素（ｘ，ｙ）の補正画素値が決定すると、次にステップＳ２１８において、注目画素の座標（ｘ，ｙ）のｘ成分値を１増加させ、ステップＳ２１９においてｘが、ｘ＞ｗ−１、すなわち、画像サイズの幅ｗに達したか否かを判定しＹｅｓならＳ２２０へ進みＮｏならＳ２０３へ戻る。ステップＳ２２０では、注目画素（ｘ，ｙ）のｙ成分値を１増加させ、ステップＳ２２１においてｙが、ｙ＞ｈ−１、すなわち、画像サイズの高さｈに達したか否かを判定しＹｅｓなら処理を終了し、ＮｏならＳ２０２へ戻る。これらの処理は、処理対象画像（幅ｗ画素、高さｈ画素）の画像データにおいて、注目画素（ｘ，ｙ）を１つずつ移動させる処理であり、ステップＳ２２１がＹｅｓと判定されると、処理対象画像（幅ｗ画素、高さｈ画素）の全画素についての処理が終了し、すべての画素を注目画素として設定した上で補正した画素値が決定される。

以上の処理が、図２の総合処理フローにおけるステップＳ１２の平均法に基づく画像補正処理の詳細である。本処理の特徴は、ユーザのアシスト、すなわち画像に応じた最適なパラメータの設定などの処理を行なうことなく、すべてを自動処理として行なった場合でも、破綻の無い画像を生成することが可能となる点である。

前述したように、図２の総合処理フローにおけるステップＳ１２の平均法に基づく画像補正処理は、ステップＳ１１において生成した縮小画像に対して実行される。ステップＳ１３では、ステップＳ１２において実行した平均法に基づく画像補正結果データの拡大処理を実行する。

ステップＳ１３では、ステップＳ１２での補正結果を、オリジナルの入力画像に反映させる処理を行う。具体的には、ステップＳ１２において縮小画像上で色が補正された部分に対応する、オリジナル画像の部分の色情報だけを更新する処理を行う。そのための第１段階として、縮小画像を拡大し、オリジナル画像と同じ解像度にする必要がある。小さい画像を拡大する方法は、一般にさまざまな方法が知られている。その一例が、ｂｉｌｉｎｅａｒ補間による拡大処理である。これは、拡大後画像の画素値を求めるときに、拡大前の画像を基準としたときの座標を求め、その位置の４隅に対応する近傍の４画素から線形に補間を行う方法である。

図１５を参照して、ステップＳ１３の拡大処理の詳細について説明する。図１５の処理フローでは、ステップＳ１２で生成した補正画像に対する拡大処理を実行して得られる画像データと、撮影画像データとしてのオリジナル画像データとをブレンドして、拡大画像データを生成する。
平均法に基づく補正画像の拡大画像の色情報をＣ_Ｌ（ｘ，ｙ）、
オリジナル画像の色情報をＣ_ｏｒｇ（ｘ，ｙ）、
拡大処理の結果画像データの色情報をＣ_ｎｅｗ（ｘ，ｙ）、
として、拡大処理の結果画像データの色情報：Ｃ_ｎｅｗ（ｘ，ｙ）を、Ｃ_Ｌ（ｘ，ｙ）と、Ｃ_ｏｒｇ（ｘ，ｙ）とのブレンドによって求める。

まず、ステップＳ４０１において、ブレンド比画像Ｂ_Ｌ（ｘ，ｙ）を設定する。ブレンド比画像Ｂ_Ｌ（ｘ，ｙ）は、オリジナル画像と同様の画素数（Ｈ_Ｌ×Ｗ_Ｌ）からなり、各画素に対応して０〜１のブレンド比が設定された画像である。ブレンド比画像Ｂ_Ｌ（ｘ，ｙ）は、ステップＳ１２で算出された偽色（ＰＦ）度合いｐを基準にして生成される。偽色（ＰＦ）度合いｐは、縮小画像上で各画素ごとに算出される。まずは、これを上述のｂｉｌｉｎｅａｒ補間などにより拡大処理を行い、オリジナル画像と同様の画素数（Ｈ_Ｌ×Ｗ_Ｌ）にする。次に、この拡大した偽色（ＰＦ）度合い画像の各画素値に対し０から１の定数を乗算することにより、最終結果に対する平均法補正結果の寄与率を変更することができる。すなわち、弱めに補正をかけたいときなど、小さめの値の定数を各画素に乗算することにより、最終結果画像における平均法補正結果の寄与率を下げることができる。この０から１の定数は、ユーザによる設定、あるいは予め定められた値を用いる。このようにして偽色（ＰＦ）度合いを拡大したものを基に算出された画像をブレンド比画像Ｂ_Ｌ（ｘ，ｙ）とする。

ステップＳ４０２では、ステップＳ１２で生成した平均法による補正画像を拡大し、色情報Ｃ_Ｌ（ｘ，ｙ）を持つ拡大画像を得る。拡大手法は、前述したｂｉｌｉｎｅａｒ補間による拡大処理などが適用される。この処理により、平均法による補正処理を施した縮小画像データ、すなわち、低解像度画像データを、オリジナルの入力画像と同等の解像度（幅Ｗ_Ｌ、高さＨ_Ｌ）に拡大し、拡大画像Ｃ_Ｌ（ｘ，ｙ）を得る。

次に、ステップＳ４０３以下において、拡大処理の結果画像データの構成画素毎の色情報Ｃ_ｎｅｗ（ｘ，ｙ）を決定する。まず、ステップＳ４０３、Ｓ４０４において、画素数（Ｈ_Ｌ×Ｗ_Ｌ）からなる拡大画像の処理画素（ｘ，ｙ）の初期設定としてｙ＝０，ｘ＝０の設定を行う。

次にステップＳ４０５において、拡大画像の処理画素（ｘ，ｙ）の色情報Ｃ_ｎｅｗ（ｘ，ｙ）を決定する。色情報の決定処理は、下記式（式８）、すなわち、
Ｃ_ｎｅｗ（ｘ，ｙ）＝Ｂ_Ｌ（ｘ，ｙ）×Ｃ_Ｌ（ｘ，ｙ）＋（１−Ｂ_Ｌ（ｘ，ｙ））×Ｃ_ｏｒｇ（ｘ，ｙ） ・・・（式８）
に従って求める。

上記式（式８）は、各画素毎に０〜１の範囲の値が設定されたブレンド比画像Ｂ_Ｌ（ｘ，ｙ）に基づいて決定されるブレンド比に応じて、オリジナルの入力画像とステップＳ１２で生成した平均法による補正画像とをブレンドして、拡大画像の処理画素（ｘ，ｙ）の色情報Ｃ_ｎｅｗ（ｘ，ｙ）を決定するものである。ブレンド比画像Ｂ_Ｌ（ｘ，ｙ）は、平均法による補正の補正度合いを基に算出された画像である。これを用いて、オリジナル画像と平均法の結果をブレンドすると、オリジナル画像において補正がなされた部分のみ、すなわち偽色が発生していた部分だけ、の色情報を更新することが出来る。このため、ステップＳ１２において補正がなされなかった部分は、オリジナルの画像がそのまま結果として使われるため、画像が劣化することは無い。

上記式（式８）に従った算出処理に従って、１つの注目画素（ｘ，ｙ）の色情報Ｃ_ｎｅｗ（ｘ，ｙ）が決定される。１つの注目画素（ｘ，ｙ）の画素値が決定すると、次にステップＳ４０６において、処理画素の座標（ｘ，ｙ）のｘ成分値を１増加させ、ステップＳ４０７においてｘが、ｘ＞Ｗ_Ｌ−１、すなわち、オリジナルの入力画像と同等の解像度（幅Ｗ_Ｌ、高さＨ_Ｌ）を持つ画像データの画像幅Ｗ_Ｌに達したか否かを判定しＹｅｓならＳ４０８へ進みＮｏならＳ４０５へ戻る。ステップＳ４０８では、処理画素（ｘ，ｙ）のｙ成分値を１増加させ、ステップＳ４０９においてｙが、ｙ＞Ｈ_Ｌ−１、すなわち、画像サイズの高さＨ_Ｌに達したか否かを判定しＹｅｓなら処理を終了し、ＮｏならＳ４０４へ戻る。これらの処理は、処理対象画像（幅Ｗ_Ｌ画素、高さＨ_Ｌ画素）の画像データにおいて、注目画素（ｘ，ｙ）を１つずつ移動させる処理であり、ステップＳ４０９がＹｅｓと判定されると、処理対象画像（幅Ｗ_Ｌ画素、高さＨ_Ｌ画素）の全画素についての処理が終了し、オリジナル入力画像と同等の解像度（幅Ｗ_Ｌ、高さＨ_Ｌ）の全画素の画素値が決定される。

なお、オリジナルの入力画像とステップＳ１２で生成した平均法による補正画像とをブレンドして生成した拡大画像、すなわち図２に示す総合処理フローのステップＳ１３において生成する拡大画像をステップＳ１５の拡大処理によって生成する拡大画像と区別するため、［Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）］とする。

次に、図２に示す総合処理フローのステップＳ１４において、穴埋め法に基づく画像補正処理を実行する。ステップＳ１４における穴埋め法に基づく画像補正処理は、ステップＳ１１において生成した縮小画像に対して実行される。縮小画像に対する画像処理として実行することにより効率的な処理、すなわち計算コストを低減した処理として実行することができる。

ステップＳ１４における穴埋め法に基づく画像補正処理の詳細について、図１６以下を参照して説明する。図１６は、穴埋め法に基づく画像補正処理の全体処理を表すフローチャートである。図１６以下を参照して穴埋め法の処理の詳細について説明する。なお、図１６に示す穴埋め法に基づく画像補正処理は、図２の総合処理フローのステップＳ１１において生成した縮小画像に対して実行される処理である。各ステップの処理について説明する。

ステップＳ５０１は、白とび領域検出処理であり、補正対象の入力画像データ中から白とび部分を検出する。ステップＳ５０２は、偽色画素検出領域設定処理であり、白とびの周囲の偽色発生画素である紫画素の検索領域を設定する。さらに、ステップＳ５０３は、偽色画素検出処理であり、検索領域内にある紫色画素を検出する。ステップＳ５０４は、偽色画素補正処理であり、検出された紫色の画素の色成分を補正する。さらに、ステップＳ５０５は、色ぼかし処理（フィルタリング処理）であり、自然な結果を得るためのフィルタリング処理を施す。

なお、前述したように、処理対象となる画像は、図２に示す総合処理フローのステップＳ１１において生成した縮小画像に対して実行される。各処理ステップの詳細について説明する。まず、ステップＳ５０１の白とび領域検出処理において、変換された画像データに基づく白とび領域検出処理（白とびマスク算出）を実行する。すなわち画像データから白とび画素を検出し、２値画像である白とびマスクＳを生成する。図１７を参照して、ステップＳ５０１において実行する白とび画素検出処理の詳細について説明する。

ステップＳ６０１、Ｓ６０２において、補正対象画像データである縮小画像の検査対象画素位置の初期設定を実行する。初期設定として、処理対象画像である縮小画像の検査対象画素位置をｘ＝０、ｙ＝０として設定する。ステップＳ６０３において、輝度成分画像Ｌ_ｉｎの各画素（ｘ，ｙ）について、輝度があらかじめ定められた閾値以上かどうか判別し、閾値以上ならばステップＳ６０４に進み、白とびマスクＳ（ｘ，ｙ）をｔｒｕｅとし、閾値以下であれば、ステップＳ６０５に進み、白とびマスクＳ（ｘ，ｙ）をｆａｌｓｅとする。

ステップＳ６０６では、画素位置：ｘの更新を実行し、ステップＳ６０７においてｘが最大値（ｘ＝ｗ）に達しているか否かを判定し、達していない場合は、ステップＳ６０３以下を繰り返し実行する。ステップＳ６０７においてｘが最大値（ｘ＝ｗ）に達している場合は、ステップＳ６０８に進み、画素位置：ｙの更新を実行し、ステップＳ６０９においてｙが最大値（ｙ＝ｈ）に達しているか否かを判定し、達していない場合は、ステップＳ６０２以下を繰り返し実行する。全ての画素（ｘ＝０〜ｗ，ｙ＝０〜ｈ）に対する処理が終了すると、白とびマスクの生成が終了する。

この結果、各画素位置において、閾値より大きい輝度レベルを持つ画素領域と、閾値以下の輝度領域を持つ画素領域とを区分した白とびマスクが生成される。（暗）０〜２５５（明）の輝度レベルが設定されている場合、閾値は、例えば２５０程度に設定され、２５０以上の輝度レベルを持つ画素を白とび発生画素として抽出し、これらの画素のみを区別可能とした白とびマスクが生成される。

上述の処理によって図１６のステップＳ５０１が終了し、次に、ステップＳ５０２の偽色画素検出領域設定処理を実行する。この処理において、白とび部分周囲の偽色発生部検索領域設定（Ｄｉｌａｔｅ）処理を実行する。ここでは、白とび部分周囲の偽色発生部検索領域を区別するためのマスクＰ、すなわち、白とび部分周囲における紫画素検索領域を表すマスクＰを生成する。なお、Ｐは２値のマスク画像である。

図１８を参照して、ステップＳ５０２の偽色発生部検索領域設定処理の詳細について説明する。まずステップＳ６５１において、偽色領域マスクＰの全画素をｆａｌｓｅに初期化する。次に、ステップＳ６５２，Ｓ６５３において、画素位置の初期設定を実行する。初期設定として画素位置をｘ＝０、ｙ＝０として設定する。

画素位置設定の後、ステップＳ６５４において、設定画素位置における白とびマスクＳの画素値を判別する。設定画素位置（ｘ，ｙ）において、白とびマスクＳ（ｘ，ｙ）＝ｆａｌｓｅであれば、ステップＳ６６４へ進み、次の画素に対する処理に移る。もし、Ｓ（ｘ，ｙ）＝ｔｒｕｅであれば、ステップＳ６５５へ進む。画素位置（ｘ，ｙ）において、白とびマスクＳ（ｘ，ｙ）＝ｆａｌｓｅであるとは、画素位置（ｘ，ｙ）の画素値が白とび画素ではないことを意味し、画素位置（ｘ，ｙ）において、白とびマスクＳ（ｘ，ｙ）＝ｔｒｕｅであるとは、画素位置（ｘ，ｙ）の画素値が白とび画素であることを意味する。

画素位置（ｘ，ｙ）において、白とびマスクＳ（ｘ，ｙ）＝ｔｒｕｅである場合、ステップＳ６５５において、白とび画素（ｘ，ｙ）の周囲において偽色を発生する可能性がある範囲を算出する。前述の通り、パープルフリンジは、白とび部分の周囲に発生し、光学系の絞り、焦点距離によって発生する可能性のある範囲が変わる。また、画像上での光学中心からの距離によっても、発生する範囲が変化する。本実施例では、例えば撮像システムの光学系の特性を踏まえ、画像領域に対応した偽色画素検出領域を設定した例えばルックアップテーブル（ＬＵＴ）など、あらかじめ設定された偽色画素検出領域算定情報を適用する。例えば、ルックアップテーブル（ＬＵＴ）は、画像上での光学中心から白とび画素（ｘ，ｙ）までの距離と、画像データの撮影時の絞り、焦点距離情報とを入力パラメータとして、偽色画素検出領域情報を出力可能な構成を持つ。

画像データの撮影時の絞り、焦点距離情報は画像データの属性情報から取得し、画像上での光学中心から白とび画素（ｘ，ｙ）までの距離は、本フローにおいて検査対象として設定された画素位置情報が適用される。

なお、画像データの撮影時の絞り、焦点距離情報等の属性情報が取得できない場合は、画像上での光学中心から白とび画素（ｘ，ｙ）までの距離のみに基づいて偽色画素検出領域を決定する構成としてもよく、また、光学中心から白とび画素（ｘ，ｙ）までの距離等の情報についても適用することなく、白とび画素（ｘ，ｙ）の周囲の一定領域を偽色画素検出領域として一律に設定する構成としてもよい。

ステップＳ６５５では、白とび画素（ｘ，ｙ）の周囲の偽色画素検出領域の範囲を、（ｘ_０，ｘ_１，ｙ_０，ｙ_１）の４個のスカラー値として算出する。これは、図１９に示すように、白とび画素（ｘ，ｙ）６０１の周囲においてｘ_０〜ｘ_１，ｙ_０〜ｙ_１によって規定される矩形領域を、白とび画素（ｘ，ｙ）の周囲に存在する偽色画素検出領域６０２とするものである。なお、図１９において点線の画素６０３は、注目白とび画素（ｘ，ｙ）６０１以外の白とび画素６０３である。

次に、算出した偽色画素検出領域（ｘ_０，ｘ_１，ｙ_０，ｙ_１）について、ｉ＝ｘ_０，ｊ＝ｙ_０を起点として設定（Ｓ６５６，Ｓ６５７）し、ステップＳ６５８〜Ｓ６６２において、偽色画素検出領域（ｘ_０，ｘ_１，ｙ_０，ｙ_１）内の各画素について白とびマスクＳ（ｉ，ｊ）の値がｔｒｕｅかｆａｌｓｅかの判別を行う。図１９に示す偽色画素検出領域６０２内の構成画素について、順次、白とびマスクの値がｔｒｕｅかｆａｌｓｅかの判別を行う。図１９において、注目白とび画素（ｘ，ｙ）６０１と白とび画素６０３については、白とびマスクＳ（ｉ，ｊ）＝ｔｒｕｅとなる。

ステップＳ６５８において、白とびマスクＳ（ｉ，ｊ）＝ｔｒｕｅと判定した場合は、ステップＳ６６０に進み、次の画素の処理を行う。白とびマスクＳ（ｉ，ｊ）＝ｆａｌｓｅの場合は、ステップＳ６５９に進み、偽色領域マスクＰ（ｉ，ｊ）の値をｔｒｕｅに設定する。その後、ステップＳ６６０に進み、次の画素に対する処理を行う。ステップＳ６６０〜Ｓ６６３は、ｉおよびｊの値の更新処理および最大値ｉ＝ｘ_１、ｊ＝ｙ_１であるか否かの判定処理である。順次ｉおよびｊの値の更新を行いながら、特定画素（ｘ，ｙ）の周囲に設定した偽色領域マスクＰ（ｉ，ｊ）の値を決定する。

偽色領域マスクＰ（ｉ，ｊ）＝ｔｒｕｅは、偽色画素検出領域に属し、白とび画素ではない画素であり、偽色領域マスクＰ（ｉ，ｊ）＝ｆａｌｓｅは、偽色画素検出領域に属さないか、または白とび画素である画素に対応する。

ステップＳ６６３において、偽色画素検出領域（ｘ_０，ｘ_１，ｙ_０，ｙ_１）のすべての画素（ｉ，ｊ）に対して処理が完了したと判別されたら、ステップＳ６６４に進む。ステップＳ６６４〜Ｓ６６７は、ｘおよびｙの値の更新処理および最大値ｘ＝ｗ、ｙ＝ｈであるか否かの判定処理である。順次ｘおよびｙの値の更新を行いながら、処理対象画像（ｘ＝０〜ｗ，ｙ＝０〜ｈ）の全画素について偽色領域マスクＰ（ｉ，ｊ）の値を決定し、偽色領域マスクＰ（ｉ，ｊ）を生成する。画像中のすべての画素（ｘ，ｙ）が処理されたと判別されると、図１６のステップＳ５０２の偽色画素検出領域設定処理は終了する。

次の処理は、図１６のステップＳ５０３の偽色画素検出処理である。ステップＳ５０２では、白とび周囲の偽色、すなわちパープルフリンジが存在する可能性のある画像中の領域を偽色領域マスクＰとして算出したが、次のステップＳ５０３においては、実際にパープルフリンジであると思われる画素を検出する処理を行う。すなわち、偽色領域マスクＰ＝ｔｒｕｅの領域の画素を対象として、実際にパープルフリンジであると思われる画素を検出する。

ステップＳ５０３では、ステップＳ５０２で計算された偽色領域マスクＰを上書きする形で偽色領域マスクＰを更新し、最終的に偽色と判定される画素のみを特定可能な偽色領域マスクＰを生成する。ステップＳ５０３の偽色画素検出処理の詳細について、図２０を参照して説明する。

ステップＳ７０１、Ｓ７０２において、画像データの画素位置の初期設定を実行する。初期設定として画素位置をｘ＝０、ｙ＝０として設定する。ステップＳ７０３では、画素位置（ｘ，ｙ）における偽色領域マスクＰの値を判別する。Ｐ（ｘ，ｙ）＝ｆａｌｓｅであった場合は、ステップＳ７０６に進む。Ｐ（ｘ，ｙ）＝ｔｒｕｅであった場合は、ステップＳ７０４へ進む。

前述したように、偽色領域マスクＰ（ｉ，ｊ）＝ｔｒｕｅは、偽色画素検出領域に
属し、白とび画素ではない画素であり、偽色領域マスクＰ（ｉ，ｊ）＝ｆａｌｓｅ
は、偽色画素検出領域に属さないか、または白とび画素である画素に対応する。

画素位置（ｘ，ｙ）が、偽色領域マスクＰ（ｉ，ｊ）＝ｔｒｕｅ、すなわち、偽色画素検出領域に属し、白とび画素ではない画素である場合は、ステップＳ７０４において、位置（ｘ，ｙ）における色成分画像Ｃ_ｉｎの色が、偽色対応色であるか否かを判定する。例えばパープルフリンジの紫色であるかどうかを判別する。

色成分画像Ｃ_ｉｎ（ｘ，ｙ）が偽色対応色、例えば紫色かどうかの判別方法は、この処理において適用している色空間によって異なる。例えば色空間としてＣＩＥ Ｌ^＊ａ^＊ｂ^＊を用いた場合の判別方法の一例を図２１を参照して説明する。色成分は、ａ^＊成分，ｂ^＊成分を用いて判別される。ａ^＊成分の値が、増えれば赤（Ｒｅｄ）、減れば緑色（Ｇｒｅｅｎ）に近づき、ｂ^＊成分の値が増えれば黄色（Ｙｅｌｌｏｗ）、減れば青色（Ｂｌｕｅ）に近づくような特徴を持っている。したがって、（ａ^＊，ｂ^＊）が第４象限に存在する場合、紫色（Ｐｕｒｐｌｅ）に近い色を持つ。紫色かどうか判別するには、ベクトル（ａ^＊，ｂ^＊）がａ^＊軸となす角度αなどを使って判別する。

偽色として判定する紫色の対象となる角度の範囲などはパラメータとして適宜設定する。あるいは予め設定された値を適用する。なお、偽色（パープルフリンジ）部分画素の彩度は大きい傾向がある。したがって、前記の条件を満たしかつ、色成分Ｃ_ｉｎの彩度があらかじめ設定した閾値以上である場合だけを、偽色（パープルフリンジ）であると判定する設定としてもよい。このようにして、Ｃ_ｉｎ（ｘ，ｙ）が偽色（パープルフリンジ）画素と判定された場合はステップＳ７０６へ、偽色（パープルフリンジ）ではないと判定された場合はステップＳ７０５へ進む。

ステップＳ７０５においては、偽色領域マスクＰ（ｘ，ｙ）をｆａｌｓｅに設定し、ステップＳ７０６に進む。すなわち、先のステップＳ５０２（図１６）の処理においては、偽色の可能性があるとして偽色領域マスクＰ（ｘ，ｙ）＝ｔｒｕｅであったものを、偽色でないとの最終判断に基づいて、偽色領域マスクＰ（ｘ，ｙ）＝ｆａｌｓｅに変更（更新）するものである。

すなわち、図２０において説明している処理では、先のステップＳ５０２（図１６）の処理において偽色の可能性のある画素から、色判定によって最終的に偽色であると判定される画素のみを選別し、偽色領域マスクＰ（ｘ，ｙ）を更新する。

ステップＳ７０６〜Ｓ７０９は、ｘおよびｙの値の更新処理および最大値ｘ＝ｗ、ｙ＝ｈであるか否かの判定処理である。順次ｘおよびｙの値の更新を行いながら、処理対象画像（ｘ＝０〜ｗ，ｙ＝０〜ｈ）の全画素について偽色領域マスクＰ（ｉ，ｊ）の値を決定し、偽色領域マスクＰ（ｉ，ｊ）を生成する。画像中のすべての画素（ｘ，ｙ）が処理されたと判別されると、図１６のステップＳ５０３の偽色画素検出処理は終了する。

次に、図１６に示すステップＳ５０４の偽色画素補正処理について説明する。ステップＳ５０３では、上述したように偽色（パープルフリンジ）であると判別された画素を識別する偽色領域マスクＰが生成された。次のステップＳ５０４では、偽色（パープルフリンジ）であると判別された画素の色を、その周囲の画素の画素値に基づく穴埋め繰り返し処理によって補間する処理を実行する。

図２２（Ａ），図２２（Ｂ）は、図１６に示すステップＳ５０４の偽色画素補正処理を説明するための模式図である。図２２（Ａ）に示されるように、ステップＳ５０３までの処理ですべての画素は、「白とび画素６５１」、「偽色（パープルフリンジ）画素６５２」、「白とびでもパープルフリンジでもないその他の画素６５３」のいずれかに分類される。

穴埋め繰り返し処理の最初のステップでは、画像中の各画素をスキャンし、もし、偽色（パープルフリンジ）画素６５２（位置（ｘ，ｙ））が、白とびでもパープルフリンジでもないその他の画素６５３に隣接する場合、例えば周囲の８近傍画素にその他の画素６５３が存在する場合、隣接するその他の画素６５３の画素の色成分Ｃの平均値を新たな画素の色成分Ｃ（ｘ，ｙ）として設定する。

このように、偽色（パープルフリンジ）画素６５２をその他の画素６５３によって画素値を設定する処理を、すべての画素に対して一回行うと、図２２（Ｂ）のように、その他の画素６５３に隣接する偽色（パープルフリンジ）画素６５２の色成分が補間され、補間済み偽色（パープルフリンジ）画素６５４として設定される。

さらに、次の穴埋め繰り返し処理では、その他の画素６５３または補間済み偽色（パープルフリンジ）画素６５４に隣接する偽色（パープルフリンジ）画素６５２の色成分を、その他の画素６５３と補間済み偽色（パープルフリンジ）画素６５４に基づいて同様に補間する。このような繰り返し処理を、固定の回数繰り返す。この処理によって、偽色（パープルフリンジ）画素６５２は、図２２（Ｂ）の矢印６７０の方向に、順次補間済み偽色（パープルフリンジ）画素６５４として設定されることになる。このような繰り返し処理を、固定の回数繰り返した後でも、色成分が補間されない偽色（パープルフリンジ）画素６５２が存在する場合は、周りの画素からの色補間は不可能と判断し、それらの画素の色の彩度を一律に落とす処理を施す。

このように、図１６に示すステップＳ５０４の偽色画素補正処理は、ステップＳ５０３において、偽色（パープルフリンジ）と判定された画素の画素値を、周囲の白とび以外の画素に基づいて設定する処理、すなわち、穴埋め繰り返し処理である。この処理によって補間されない残存する偽色（パープルフリンジ）画素６５２については彩度低下処理を施す。

ステップＳ５０４の偽色画素補正処理の詳細について、図２３および図２４の処理フローを参照して説明する。図２３および図２４の処理フローにおいて、図２３に示すステップＳ７５１からＳ７６５までは、偽色（パープルフリンジ）画素の色成分の穴埋め処理であり、図２４に示すステップＳ７６６からＳ７７３までの処理は、穴埋めできなかった画素の彩度を低下させる処理である。

図２３のフローから順に説明する。まず、ステップＳ７５１において、図１６のステップＳ５０３の偽色画素検出処理において生成した偽色領域マスクＰの内容を、同等の大きさの２値マスクＰ"にコピーする。例えば、
偽色領域マスクＰ＝ｔｒｕｅ→２値マスクＰ"＝ｔｒｕｅ（１）
偽色領域マスクＰ＝ｆａｌｓｅ→２値マスクＰ"＝ｆａｌｓｅ（０）
である。

ステップＳ７５２においては、穴埋め処理の繰り返し回数を示す変数ｔの値を０にセットする。ステップＳ７５３においては、２値マスクＰ"の値を、また別の同等の大きさの２値マスクＰ'にコピーする。なお、これらのマスクＰ"、Ｐ'は、繰り返し処理により減ってゆく偽色（パープルフリンジ）画素６５２の位置を保存するために用いる一時的なマスク画像である。

次に、ステップＳ７５４、Ｓ７５５において、処理対象画素位置座標を表す変数ｘ，ｙの初期化を行い、ｘ＝０，ｙ＝０とする。次のステップＳ７５６では、２値マスクＰ'（ｘ，ｙ）の値を判別する。２値マスクＰ'（ｘ，ｙ）＝ｆａｌｓｅである場合、すなわち、処理対象画素が偽色画素でない場合、ステップＳ７６０に進む。２値マスクＰ'（ｘ，ｙ）＝ｔｒｕｅである場合、すなわち、処理対象画素が偽色画素である場合、ステップＳ７５７へ進む。

ステップＳ７５７においては、画素（ｘ，ｙ）に隣接する画素に、２値マスクＰ'＝ｆａｌｓｅかつ、白とびマスクＳ＝ｆａｌｓｅの画素があるかどうか判別する。すなわち、偽色画素でも白とび画素でもない画素があるかどうか判別する。このような条件を満足する画素が画素（ｘ，ｙ）に隣接する画素に存在しないと判別された場合は、ステップＳ７６０に進む。

偽色画素でも白とび画素でもない画素が、画素（ｘ，ｙ）に隣接する画素として存在すると判別された場合は、ステップＳ７５８へ進む。ステップＳ７５８では、２値マスクＰ'＝ｆａｌｓｅかつ、白とびマスクＳ＝ｆａｌｓｅ、すなわち偽色画素でも白とび画素でもない画素であり、かつ画素（ｘ，ｙ）に隣接している１以上の画素の色成分Ｃの平均値を算出し、座標（ｘ，ｙ）の色成分Ｃ（ｘ，ｙ）に設定する。すなわち、画素（ｘ，ｙ）の画素値として設定する。この補間処理によっては、図２２（ｂ）の補間済み偽色（パープルフリンジ）画素６５４が設定される。

この処理の後、ステップＳ７５９へ進む。ステップＳ７５９においては、２値マスクＰ"（ｘ，ｙ）の値をｆａｌｓｅとする。すなわち、偽色画素から、補間済み偽色画素へ変更された画素を２値マスクＰ"（ｘ，ｙ）において、偽色画素でない画素として識別可能な設定とする。

ステップＳ７６０〜Ｓ７６３は、処理画素の座標更新および最大値判定処理であり、ステップＳ７６０においては、ｘ座標の値を１増やす。次のステップＳ７６１において、ｘ＞ｗ−１（ｗは入力画像の幅）であるかどうかの判別をする。ｘ＞ｗ−１であると判定された場合はステップＳ７６２へ進み、ｘ＞ｗ−１でないと判定された場合は、ステップＳ７５６へ進む。

ステップＳ７６２では、ｙ座標を１増やし、次のステップＳ７６３で、ｙ座標の最大値であるｈ−１（ｈは入力画像の高さ）との比較を行う。ｙ＞ｈ−１である場合は、ステップＳ７６４へ進み、ｙ＞ｈ−１でないと判定した場合はステップＳ７５５へ進む。

ステップＳ７６４では、繰り返し処理の回数を表すｔを１増やす。ステップＳ７６５においては、繰り返し回数ｔが、あらかじめ定めた値ｔｍａｘ以上かどうかを判別する。また同時にマスク画像Ｐ"の内ｔｒｕｅの値を持つ画素の個数が０かどうかを判別する。すなわち、穴埋め補間処理によって補間が終了していない偽色画素の個数が０になったか否かを判定する。以上の２つの条件のいずれかが真であると判別された場合は、ステップＳ７６６に進む。またいずれも偽と判断された場合は、ステップＳ７５３に戻り、再び穴埋め処理を行う。

ステップＳ７６５において、繰り返し回数ｔが、あらかじめ定めた値ｔｍａｘ以上となったか、あるいは、穴埋め補間処理によって補間が終了していない偽色画素の個数が０になったか、いずれかが真と判定されると、図２４のステップＳ７６６に進む。

ステップＳ７６６、Ｓ７６７においては、処理対象画素の座標を表す変数ｘ，ｙの初期化を行い、ｘ＝０，ｙ＝０とする。次のステップＳ７６８では、２値マスクＰ"の（ｘ，ｙ）における値がｔｒｕｅかどうかを判別する。すなわち、処理対象画素が偽色画素であるかどうかを判別する。２値マスクＰ"（ｘ，ｙ）＝ｔｒｕｅである場合、すなわち偽色画素である場合は、ステップＳ７６９に進み、２値マスクＰ"（ｘ，ｙ）＝ｆａｌｓｅである場合、すなわち偽色画素でない場合は、ステップＳ７７０に進む。

処理対象画素が偽色画素である場合は、ステップＳ７６９において、画素（ｘ，ｙ）の色成分Ｃ（ｘ，ｙ）の彩度を低下させる彩度低下処理を施す。例えばＬ^＊ａ^＊ｂ^＊表色系を用いている場合は、ａ^＊，ｂ^＊の各成分の値に対して、１．０以下０．０以上の定数を掛け合わせることにより、一律に彩度を減少させることが出来る。ステップＳ７６９の彩度低下処理を終了すると、ステップＳ７７０に進む。ステップＳ７７０においては、ｘ座標の値を１増やす。次のステップＳ７７１において、ｘ＞ｗ−１であるかどうかの判別をする。ｘ＞ｗ−１であると判別されればステップＳ７７２へ、ｘ＞ｗ−１でないと判別されればステップＳ７６８へ進み、ｘ座標を更新した隣接画素について同様の処理を繰り返す。

ステップＳ７７１において、ｘ＞ｗ−１であると判定された場合は、ｘ座標の最大値に達しており、ステップＳ７７２へ進み、ｙ座標を１増やし、次のステップＳ７７３で、ｙ座標の最大値であるｈ−１との比較を行う。ｙ＞ｈ−１でない場合はステップＳ７６７へ進み、更新したｙ座標を持つ画素について同様の処理を繰り返す。ステップＳ７７３において、ｙ＞ｈ−１であると判定すると、偽色画素補正処理を終了する。以上の処理によって図１６に示すステップＳ５０４の偽色画素補正処理を終了する。

ステップＳ５０４の偽色画素補正処理を終了すると、次に、ステップＳ５０５の色ぼかし処理（フィルタリング）を実行する。ステップＳ５０４では、穴埋め処理の繰り返しにより、偽色（パープルフリンジ）画素の色を補間し、穴埋めし切れなかった偽色（パープルフリンジ）画素については、彩度を低下させる処理を行った。しかし、ステップＳ５０４の処理を施した偽色（パープルフリンジ）部分には、色が比較的急に変化する部分が発生してしまう可能性がある。ステップＳ５０５の色ぼかし処理（フィルタリング）では、この急な色変化を緩和するために、ぼかしフィルタをかける処理を行う。

ステップＳ５０５の色ぼかし処理（フィルタリング）の詳細について、図２５の処理フローを参照して説明する。まず、ステップＳ８０１において、色ぼかし処理（フィルタリング）の繰り返し回数を示す変数ｔの値を０にセットする。次に、ステップＳ８０２では、先のステップＳ５０４の偽色画素補正処理で更新された色成分画像Ｃを、同等の大きさの色成分画像Ｃ'にコピーする。

次に、ステップＳ８０３、Ｓ８０４において、処理対象画素の座標を表す変数ｘ，ｙの初期化を行い、ｘ＝０，ｙ＝０とする。次のステップＳ８０５では、偽色領域マスクＰ（ｘ，ｙ）の値を判別する。偽色領域マスクＰ（ｘ，ｙ）＝ｆａｌｓｅである場合、すなわち、偽色画素ではない場合は、ステップＳ８０７に進む。偽色領域マスクＰ（ｘ，ｙ）＝ｔｒｕｅ、すなわち偽色画素である場合は、ステップＳ８０６へ進む。

なお、偽色領域マスクＰ（ｘ，ｙ）は、先のステップＳ５０３の偽色画素検出処理（図２０の処理フローに対応）によって色（画素値）判定に基づいて偽色と判定された画素をｔｒｕｅとして設定したマスクであり、先のステップＳ５０４の偽色画素補正処理によって補正された偽色画素領域についても、ｔｒｕｅの値を維持しているマスクデータである。この色ぼかし処理（フィルタリング）処理に偽色領域マスクＰ（ｘ，ｙ）を適用するため、ステップＳ５０４の偽色画素補正処理においては、偽色領域マスクＰ（ｘ，ｙ）のコピーマスクＰ"を適用した。

図２５の色ぼかし処理（フィルタリング）の処理についての説明を続ける。ステップＳ８０５において、偽色領域マスクＰ（ｘ，ｙ）＝ｔｒｕｅ、すなわち偽色画素である場合は、ステップＳ８０６へ進み、ステップＳ８０６では、色成分にぼかしフィルタを適用する。これは、色成分画像Ｃ'における画素（ｘ，ｙ）の色成分を示す画素値Ｃ（ｘ，ｙ）の値を周囲の画素の色成分を示す画素値Ｃ'に基づいて更新する処理である。例えば、処理対象画素（ｘ，ｙ）と、その周囲の８画素を合わせた９画素の色成分Ｃ'の平均値を求め、これを処理対象画素（ｘ，ｙ）の更新画素値Ｃ（ｘ，ｙ）として設定する移動平均フィルタを施す。

ステップＳ８０６のぼかしフィルタ適用処理を終了すると、ステップＳ８０７〜Ｓ８１０において処理対象画素の座標更新および最大値確認を行なう。ステップＳ８０７においては、ｘ座標の値を１増やす。次のステップＳ８０８において、ｘ＞ｗ−１であるかどうかの判別をする。ｘ＞ｗ−１であると判定された場合はステップＳ８０８へ、ｘ＞ｗ−１でないと判定された場合はステップＳ８０４へ戻り、ｘ座標を更新した画素について同様の処理を実行し必要に応じたぼかし処理を実行する。

ステップＳ８０８において、ｘ＞ｗ−１であると判定された場合はステップＳ８０９に進み、ｙ座標を１増やし、次のステップＳ８１０で、ｙ座標の最大値であるｈ−１との比較を行う。ｙ＞ｈ−１でないと判定された場合はステップＳ８０４へ進み、更新したｙ座標を持つ画素について同様の処理を実行し必要に応じたぼかし処理を実行する。

ステップＳ８１０において、ｙ＞ｈ−１であると判定されると、ステップＳ８１１へ進む。ステップＳ８１１では、色ぼかし処理（フィルタリング）の繰り返し回数ｔを１増やす処理をし、次のステップＳ８１２で、繰り返し回数ｔがあらかじめ定めた閾値ｔ'ｍａｘ以上かどうかを判別する。ｔ＜ｔ'ｍａｘである場合は、ステップＳ８０２へ戻り、ｔ≧ｔ'ｍａｘである場合は、色ぼかし処理（フィルタリング）を終了する。

以上の処理によって、図２の総合処理フローにおけるステップＳ１４の穴埋め法に基づく画像補正処理が終了する。

次に、図２の総合処理フローにおけるステップＳ１５では、ステップＳ１４において縮小画像に対する穴埋め法で補正した部分を、オリジナルの入力画像に反映させる処理を行うこの処理は、前述した平均法に基づく補正画像に対する拡大処理、すなわち、図２に示すステップＳ１３の拡大処理と同様の手法が適用される。具体的には、図１５を参照して説明した手法とほぼ同様の手法となる。

ただし、図１５のステップＳ４０１、Ｓ４０２が穴埋め法の結果と置き換えることになる。全体の流れとしては、ブレンド比画像を生成し、ステップＳ１４で生成した補正画像に対する拡大処理を実行して得られる画像データと、撮影画像データとしてのオリジナル画像データとをブレンドして、拡大画像データを生成する。

図１５を参照して各ステップの処理について説明する。まず、ステップＳ４０１において、ブレンド比画像Ｂ_Ｌ（ｘ，ｙ）を設定する。ブレンド比画像Ｂ_Ｌ（ｘ，ｙ）は、オリジナル画像と同様の画素数（Ｈ_Ｌ×Ｗ_Ｌ）からなり、各画素に対応して０〜１のブレンド比が設定された画像である。ブレンド比画像Ｂ_Ｌ（ｘ，ｙ）は、ステップＳ１４で算出された偽色領域マスクＰを基準にして生成される。偽色領域マスクＰは、縮小画像上で各画素毎に偽色であるか否かを表わす２値のマスクである。ここで、偽色領域マスクＰがｔｒｕｅの画素は１．０、ｆａｌｓｅの画素は０．０の値をとる画像を作成し、この画像を拡大する処理を行う。すなわち前述のｂｉｌｉｎｅａｒ補間などにより拡大処理を行い、オリジナル画像と同様の画素数（Ｈ_Ｌ×Ｗ_Ｌ）にする。この拡大画像の画素値は、偽色領域マスクＰがｔｒｕｅだった部分は１．０、ｆａｌｓｅだった部分は０．０、ｔｒｕｅとｆａｌｓｅが遷移する部分では、０．０から１．０の間の値を取るような画像となる。次に、この拡大した画像の各画素値に対し０から１の定数を乗算することにより、最終結果に対する穴埋め法補正結果の寄与率を変更することができる。すなわち、弱めに補正をかけたいときなど、小さめの値の定数を各画素に乗算することにより、最終結果画像における穴埋め法補正結果の寄与率を下げることができる。この０から１の定数は、ユーザによる設定、あるいは予め定められた値を用いる。このようにして偽色（ＰＦ）度合いを拡大したものを基に算出された画像をブレンド比画像Ｂ_Ｌ（ｘ，ｙ）とする。

ステップＳ４０２では、ステップＳ１４で生成した穴埋め法による補正画像を拡大し、色情報Ｃ_Ｌ（ｘ，ｙ）を持つ拡大画像を得る。拡大手法は、前述したｂｉｌｉｎｅａｒ補間による拡大処理などが適用される。この処理により、穴埋め法による補正処理を施した縮小画像データ、すなわち、低解像度画像データを、オリジナルの入力画像と同等の解像度（幅Ｗ_Ｌ、高さＨ_Ｌ）に拡大し、拡大画像Ｃ_Ｌ（ｘ，ｙ）を得る。

次に、ステップＳ４０３以下において、拡大処理の結果画像データの構成画素毎の色情報Ｃ_ｎｅｗ（ｘ，ｙ）を決定する。まず、ステップＳ４０３、Ｓ４０４において、画素数（Ｈ_Ｌ×Ｗ_Ｌ）からなる拡大画像の処理画素（ｘ，ｙ）の初期設定としてｙ＝０，ｘ＝０の設定を行う。

次にステップＳ４０５において、拡大画像の処理画素（ｘ，ｙ）の色情報Ｃ_ｎｅｗ（ｘ，ｙ）を決定する。色情報の決定処理は、下記式（式９）、すなわち、
Ｃ_ｎｅｗ（ｘ，ｙ）＝Ｂ_Ｌ（ｘ，ｙ）×Ｃ_Ｌ（ｘ，ｙ）＋（１−Ｂ_Ｌ（ｘ，ｙ））×Ｃ_ｏｒｇ（ｘ，ｙ） ・・・（式９）
に従って求める。

上記式（式９）は、前述した式（式８）と同様の式であり、各画素毎に０〜１の範囲の値が設定されたブレンド比画像Ｂ_Ｌ（ｘ，ｙ）に基づいて決定されるブレンド比に応じて、オリジナルの入力画像とステップＳ１４で生成した穴埋め法による補正画像とをブレンドして、拡大画像の処理画素（ｘ，ｙ）の色情報Ｃ_ｎｅｗ（ｘ，ｙ）を決定するものである。ブレンド比画像Ｂ_Ｌ（ｘ，ｙ）は、穴埋め法による補正の偽色領域マスクＰを基に算出された画像である。これを用いて、オリジナル画像と穴埋め法の結果をブレンドすると、オリジナル画像において補正がなされた部分のみ、すなわち偽色が発生していた部分だけ、の色情報を更新することが出来る。このため、ステップＳ１４において補正がなされなかった部分は、オリジナルの画像がそのまま結果として使われるため、画像が劣化することは無い。

上記式（式９）に従った算出処理に従って、１つの注目画素（ｘ，ｙ）の色情報Ｃ_ｎｅｗ（ｘ，ｙ）が決定される。１つの注目画素（ｘ，ｙ）の画素値が決定すると、ステップＳ４０６〜Ｓ４０９において、処理対象画像（幅Ｗ_Ｌ画素、高さＨ_Ｌ画素）の範囲における座標更新を実行して、ステップＳ４０５に示す算出式、すなわち上記式（式９）に従ってすべての画素、すなわちオリジナル入力画像と同等の解像度（幅Ｗ_Ｌ、高さＨ_Ｌ）の全画素の画素値決定処理を繰り返し実行する。

この処理によって、縮小画像に対して実行した穴埋め法に基づく補正画像データの拡大処理が終了する。なお、オリジナルの入力画像とステップＳ１４で生成した穴埋め法による補正画像とをブレンドして生成した拡大画像、すなわち図２に示す総合処理フローのステップＳ１５において生成した拡大画像は、先のステップＳ１３の拡大処理によって生成する拡大画像［Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）］と区別して［Ｃ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）］とする。

ここまでで図２に示す総合処理フローのステップＳ１５までの処理が完了し、縮小画像に対する平均法に基づく画像補正処理を施した結果を拡大した第１の補正画像データと、縮小画像に対する穴埋め法に基づく画像補正処理を施した結果を拡大した第２の補正画像データとが得られたことになる。図２に示す総合処理フローのステップＳ１６では、これら２つの補正画像データのブレンド処理を実行して、最終的な補正画像を生成する。

穴埋め法、平均法それぞれによる補正結果画像データは、それぞれ特徴がある。穴埋め法による補正結果画像は、穴埋めによる補間により、ほとんどのパープルフリンジ等の偽色は軽減され、パープルフリンジ等の偽色は、周囲のパープルフリンジでない画素の色で補間されるので大きな効果がある。しかし、どの画素がパープルフリンジと判定されるかにより、結果の画像が大きく変わる可能性がある。自動で処理を行う場合、たいていの画像に対しては有効に働くが、ごく一部の画像に対して結果が不自然なものになる可能性がある。

一方、平均法によるパープルフリンジ等の偽色の補正は、ローパスフィルタをかけた色情報を偽色（ＰＦ）度合いに応じて、オリジナル画像の色情報とブレンドする方法であり、結果画像に大きな破綻が起こりにくいという特長がある。しかし、穴埋め法に比べると偽色の補正される効果が低いと言える。

図２に示す総合処理フローのステップＳ１５では、これらのそれぞれの特徴を持つ２つの補正画像データをブレンドして最終的な補正画像データを生成する。偽色（ＰＦ）度合いｐを適用した補正処理によって取得した第１の補正画像Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）と、穴埋め補間処理によって算出した第２の補正画像Ｃ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）とのブレンド処理によって、最終的な補正画像データＣ_{ｆｉｎａｌ}（ｘ，ｙ）を算出する処理を実行する。

このブレンド処理は、所定のブレンド比率ｋを適用して、例えば、以下に示す式、すなわち、
Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）＝ｋ×Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）＋（１−ｋ）×Ｃ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）
に従って算出する。ブレンド比率ｋは０〜１の範囲で決定する。ブレンド比率をどのような値に設定するかは、それぞれの処理の特徴を踏まえて決定する。例えばより大きな補正を望む場合は、穴埋め法の処理結果の反映比率を大きくする設定とし、また、なるべく破綻のない結果画像を取得したい場合は、偽色（ＰＦ）度合いｐを適用した補正結果データをより反映するようなブレンド比率ｋの設定とする。

以上の処理が、図２に示す総合処理フローの最終ステップであるステップＳ１６の処理として実行される処理である。

このように、本発明の処理においては、ブレンド処理を適用することにより、穴埋め補間処理と、偽色（ＰＦ）度合いｐを適用した補正処理とのそれぞれの利点を融合した調和された画素値補正が可能となり、パープルフリンジ等の偽色が軽減されるとともに破綻することのない補正画像を取得することが可能となる。結果として、カメラで撮影した画像に起こる色収差によるパープルフリンジ等の偽色に対する適正な補正が可能となり、高品質な画像データの生成、出力を実現することができる。

次に、図２６、図２７を参照して、上述した処理を実行する本発明の画像処理装置におけるデジタル信号処理部（ＤＳＰ）（図１のＤＳＰ１０６に相当）の機能構成について説明する。デジタル信号処理部（ＤＳＰ）１０６は、機能的には、図２６に示すように、縮小処理部７００、偽色（ＰＦ）度合いｐに基づく画素値補正を実行する平均法処理部７１０と、穴埋め法に基づく画素値補正処理を実行する穴埋め法処理部７２０、平均法処理部７１０の補正結果の拡大処理を実行する第１拡大処理部７１７、穴埋め法処理部７２０の補正結果の拡大処理を実行する第２拡大処理部７２７、両補正結果のブレンド処理を実行するブレンド処理部７４０とを有する。

平均法処理部７１０は、白とび距離評価値Ｐ_ｄ算出部７１１、彩度評価値Ｐ_ｓ算出部７１２、色相評価値Ｐ_θ算出部７１３、偽色（ＰＦ）度合いｐ算出部７１４、補間値［Ｃ_ｔｍｐ／Ｗ_{ｔｏｔａｌ}］算出部７１５、第１補正画素値［Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）］算出部７１６を有する。

一方、穴埋め法処理部７２０は、図２７に詳細を示すように、白とび検出部７２１、偽色画素検出領域設定部７２２、偽色（パープルフリンジ）検出部７２３、画素値補正部７２４を有する。画素値補正部７２４は、偽色（パープルフリンジ）穴埋め補間部７２５、偽色（パープルフリンジ）ぼかし処理部７２６から構成される。

まず、図２６を参照して平均法処理部７１０の各構成部の処理について説明する。図２６に示すように、デジタル信号処理部（ＤＳＰ）１０６は、入力画像フレームメモリ７５１から処理対象画像フレームを入力する。なお、入力画像は、ここでは、フレームメモリ７５１からの入力として示すが、フレームメモリを介さず、撮影画像データをデジタル信号処理部（ＤＳＰ）１０６に直接入力して処理する構成としてもよい。

デジタル信号処理部（ＤＳＰ）１０６は、まず、縮小処理部７００において、入力画像の縮小処理を実行する。この縮小処理は、図３、図４のフローを参照して説明した処理に従って実行される処理であり、輝度情報と色情報を別々の方法で縮小する。輝度情報の縮小処理においては白とびが失われないように、色情報の縮小処理においてはパープルフリンジ（ＰＦ）等の偽色の色データが失われないように考慮して入力画像に対し縮小処理を施す。

次に縮小画像データが、平均法処理部７１０と、穴埋め法処理部７２０に入力される。先に図２を参照して説明した処理フローでは、先のステップで平均法に基づく画像補正処理を実行し、その後に穴埋め法に基づく画像補正処理を実行するシーケンスとして説明したが、平均法に基づく画像補正処理と、穴埋め法に基づく画像補正処理とは全く独立した処理であり、並列に処理することが可能である。

まず、平均法処理部７１０における処理について説明する。平均法処理部７１０では、縮小処理部７００において生成した縮小画像を構成する各画素を１つずつ注目画素（ｘ，ｙ）として選択し、先に図７、図８のフローチャートを参照して説明した処理に従って、注目画素（ｘ，ｙ）に対応する以下の評価値、すなわち、
（ａ）白とび（高輝度画素）への近さ＝白とび距離評価値Ｐ_ｄ、
（ｂ）彩度の大きさ＝彩度評価値Ｐ_ｓ、
（ｃ）偽色に相当する特定色相への近さ＝色相評価値Ｐ_θ、
をそれぞれ白とび距離評価値Ｐ_ｄ算出部７１１、彩度評価値Ｐ_ｓ算出部７１２、色相評価値Ｐ_θ算出部７１３において算出する。白とび距離評価値Ｐ_ｄ算出部７１１における白とび距離評価値Ｐ_ｄ算出処理は、図７、図８のフローにおけるステップＳ２０４〜Ｓ２１４の処理によって実行される処理であり、前述の式（式２）によって算出される。

彩度評価値Ｐ_ｓ算出部７１２、色相評価値Ｐ_θ算出部７１３における彩度評価値Ｐ_ｓと、色相評価値Ｐ_θの算出はステップＳ２１５の処理、すなわち、図１１を参照して説明したｓおよびθの値に基づいて算出され、前述の式（式３）によって色相評価値Ｐ_θが算出され、前述の式（式４）によって彩度評価値Ｐ_ｓが算出される。

偽色（ＰＦ）度合いｐ算出部７１４は、白とび距離評価値Ｐ_ｄ算出部７１１、彩度評価値Ｐ_ｓ算出部７１２、色相評価値Ｐ_θ算出部７１３において算出された各評価値に基づいて、注目画素（ｘ，ｙ）の偽色（ＰＦ）度合いｐを算出する。偽色（ＰＦ）度合いｐは、前述の式（式５）に従って算出される。

補間値［Ｃ_ｔｍｐ／Ｗ_{ｔｏｔａｌ}］算出部７１５と、第１補正画素値算出部７１６の処理は、図８のフローにおけるステップＳ２１７の処理、すなわち、図１３のフローに従った処理を実行する。補間値［Ｃ_ｔｍｐ／Ｗ_{ｔｏｔａｌ}］算出部７１５では、注目画素（ｘ，ｙ）の周囲に、補間値算出範囲（ｘ_２，ｙ_２，ｘ_３，ｙ_３）を設定し、この範囲の構成画素の色情報に基づいて補間処理パラメータとしての重み総和保存変数Ｗ_{ｔｏｔａｌ}と、色情報補間値保存変数Ｃ_ｔｍｐとを算出し、補間値［Ｃ_ｔｍｐ／Ｗ_{ｔｏｔａｌ}］を算出する。この処理は、図１３のフローにおけるステップＳ３０１〜Ｓ３０９の処理に相当する。

第１補正画素値算出部７１６は、図１３のフローにおけるステップＳ３１０の処理を実行して、注目画素の平均法に基づく第１補正画素値情報としての色情報Ｃ（ｘ，ｙ）を算出する。色情報Ｃ（ｘ，ｙ）の算出は、前述の式（式６）に従って実行される。縮小画像を構成する画素に対する第１補正画素値が決定された縮小画像データは、第１拡大処理部７１７に入力され、拡大処理が実行される。

第１拡大処理部７１７では、先に図１５を参照して説明した処理フローに従った画像の拡大処理が実行される。すなわち縮小画像上で各画素毎に偽色であるか否かを表わす２値のマスクとして構成される偽色領域マスクＰを基準にして０〜１のブレンド比の設定されたブレンド比画像Ｂ_Ｌ（ｘ，ｙ）を生成し、生成したブレンド比画像Ｂ_Ｌ（ｘ，ｙ）を適用して、平均法による補正画像の拡大画像とオリジナルの入力画像をブレンドして第１の補正画像の拡大画像を生成する。平均法に基づいて画素値の補正された第１の補正拡大画像はブレンド処理部７４０に出力され、穴埋め法処理部７２０における補正データに基づく第２の補正拡大画像とのブレンド処理が実行されることになる。

図２７を参照して、穴埋め法処理部７２０の各構成部の処理について説明する。穴埋め法処理部７２０は、縮小処理部７００において生成された縮小画像データを入力し、縮小画像データに対して穴埋め法に基づく補正処理を実行する。

白とび検出部７２１は、縮小画像データに基づいて、白とびを起こしている画素部分の検出を実行する。この処理は、図１６に示すフローチャートのステップＳ５０１に相当する処理であり、その詳細は、図１７のフローチャートを参照して説明したように予め定めた輝度閾値以上の輝度を有する画素を白とび画素として検出し、白とび画素を識別する白とびマスクＳ（ｘ，ｙ）を生成する処理を実行する。

偽色画素検出領域設定部７２２は、白とび検出部７２１において検出された白とび画素の周囲部分に偽色画素の検出領域を設定する処理を行う。この領域設定処理は、白とびマスクＳ（ｘ，ｙ）＝ｔｒｕｅである白とび画素（ｘ，ｙ）の周囲において偽色を発生する可能性がある範囲を算出する処理であり、あらかじめ設定された偽色画素検出領域算定情報を適用する。この処理は、図１６に示すフローチャートのステップＳ５０２に相当する処理であり、図１８に示す処理フローに従って実行される処理である。

偽色画素検出領域設定部７２２は、例えば、画像上での光学中心から白とび画素（ｘ，ｙ）までの距離と、画像データの撮影時の絞り、焦点距離情報に対応付けられた偽色画素検出領域情報を持つルックアップテーブル（ＬＵＴ）を適用して、各白とび画素（ｘ，ｙ）の周囲に偽色画素検出領域を設定する。なお、画像データの撮影時の絞り、焦点距離情報等が存在しない場合は、画像上での光学中心から白とび画素（ｘ，ｙ）までの距離のみに基づいて、偽色画素検出領域を決定する構成としてもよく、また、光学中心から白とび画素（ｘ，ｙ）までの距離等の情報についても適用することなく、白とび画素（ｘ，ｙ）の周囲の一定領域を偽色画素検出領域として一律に設定する構成としてもよい。

偽色画素検出領域設定部７２２は、先に図１９を参照して説明したように、白とび画素（ｘ，ｙ）６０１の周囲の偽色画素検出領域の範囲を、（ｘ_０，ｘ_１，ｙ_０，ｙ_１）の４個のスカラー値として算出し、さらに、この領域において白とび画素を除去した偽色領域マスクＰを生成する。

偽色（パープルフリンジ）検出部７２３は、偽色画素検出領域設定部７２２の設定した偽色領域マスクＰを適用し、さらに、各画素の色判定処理によって偽色（パープルフリンジ）と判断される画素を検出する処理を実行する。すなわち、偽色領域マスクＰを更新し、補正対象となる偽色画素のみを識別可能な偽色領域マスクＰを生成する。この処理は、図１６に示すフローチャートのステップＳ５０３に相当する処理であり、図２０に示す処理フローに従って実行される処理である。前述したように、偽色として認定すべき色の設定は任意であり、特定の色値を持つ紫のみを偽色として設定する構成や、緑、紫など複数の色を偽色として設定する構成などが可能である。

偽色（パープルフリンジ）穴埋め補間部７２５は、偽色（パープルフリンジ）検出部７２３において偽色と認定された画素についての補正処理であり、図１６に示すフローチャートのステップＳ５０４に相当する処理であり、図２３、図２４に示す処理フローに従って実行される処理である。なお、この画素値補正処理には、偽色（パープルフリンジ）と認定された画素について、周囲にある偽色および白とび画素以外の画素値に基づいて実行する穴埋め補間処理（図２２、図２３参照）と、所定回数の穴埋め補間処理によって補正できなかった偽色（パープルフリンジ）画素の彩度低下処理（図２４参照）とが含まれる。

偽色（パープルフリンジ）ぼかし処理部７２６は、偽色（パープルフリンジ）穴埋め補間部７２５の処理によって補正されたデータについてぼかし処理を実行する。図１６に示すフローチャートのステップＳ５０５に相当する処理であり、図２５に示す処理フローに従って実行される処理である。

偽色（パープルフリンジ）ぼかし処理部７２６は、偽色（パープルフリンジ）検出部７２３において偽色と認定された画素を抽出し、色成分にぼかしフィルタを適用し、例えば、処理対象画素（ｘ，ｙ）と、その周囲の８画素を合わせた９画素の色成分の平均値を求め、これを処理対象画素（ｘ，ｙ）の更新画素値として設定する移動平均フィルタ処理を施す。

偽色（パープルフリンジ）ぼかし処理部７２６におけるぼかし処理が終了した画像データは、第２拡大処理部７２７に入力され、拡大処理が実行される。第２拡大処理部７２７では、先に図１５を参照して説明した処理フローに従った画像の拡大処理が実行される。すなわち縮小画像上で各画素毎に偽色であるか否かを表わす２値のマスクとして構成される偽色領域マスクＰを基準にして０〜１のブレンド比の設定されたブレンド比画像Ｂ_Ｌ（ｘ，ｙ）を生成し、生成したブレンド比画像Ｂ_Ｌ（ｘ，ｙ）を適用して、穴埋め法による補正画像の拡大画像とオリジナルの入力画像をブレンドして第２の補正画像の拡大画像を生成する。穴埋め法に基づいて画素値の補正された第２の補正拡大画像はブレンド処理部７４０に出力され、平均法処理部７１０における補正データに基づく第１の補正拡大画像とのブレンド処理が実行されることになる。

穴埋め法に基づいて画素値の補正された第２の補正拡大画像は、図２６に示すブレンド処理部７４０に出力され、平均法処理部７１０における補正データに基づく第１の補正拡大画像データと、穴埋め法処理部７２０における補正データに基づく第２の補正拡大画像とのブレンド処理が実行されることになる。ブレンド処理は、前述したように、偽色（ＰＦ）度合いｐを適用した補正処理によって取得した第１の補正画像Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）と、穴埋め補間処理によって算出した第２の補正画像Ｃ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）とのブレンド処理によって、最終的な補正画像データＣ_{ｆｉｎａｌ}（ｘ，ｙ）を算出する処理を実行するものであり、所定のブレンド比率ｋを適用して、例えば、以下に示す式、すなわち、
Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）＝ｋ×Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）＋（１−ｋ）×Ｃ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）
に従って、最終的な補正画素値を持つ補正画像Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）が生成され、この画像データが出力画像フレームメモリ７５２に格納されることになる。なお、前十したように、ブレンド比率ｋは０〜１の範囲で決定する。ブレンド比率をどのような値に設定するかは、それぞれの処理の特徴を踏まえて決定する。例えばより大きな補正を望む場合は、穴埋め法の処理結果の反映比率を大きくする設定とし、また、なるべく破綻のない結果画像を取得したい場合は、偽色（ＰＦ）度合いｐを適用した補正結果データをより反映するようなブレンド比率ｋの設定とする。

上述した本発明の画素値補正処理を適用することにより、穴埋め補間処理と、偽色（ＰＦ）度合いｐを適用した補正処理とのそれぞれの利点を融合した調和された画素値補正が可能となり、パープルフリンジ等の偽色が軽減されるとともに破綻することのない補正画像を取得することが可能となる。結果として、カメラで撮影した画像に起こる色収差によるパープルフリンジ等の偽色に対する適正な補正が可能となり、高品質な画像データの生成、出力を実現することができる。

本発明の構成によれば、白とび画素近傍に発生するパープルフリンジ等の偽色領域の効率的検出、部分的な画素値補正が可能となり、画像全体に対する影響を発生させることなく高品質な画像データの生成、出力が可能となる。

特に、本発明の処理では、入力画像を縮小したものに対する画像処理を施す構成であるので、少ない計算コストで画像の補正を行うことができる。また、平均法と穴埋め法の２種類の結果をブレンドする構成としたので、より自由度の高い補正が可能となる。なお、上述した実施例においては、縮小処理、ブレンド処理が共に施される例を述べたが、これらは独立しており、どちらか片方だけを実施する構成としてもよい。すなわち、縮小を実行せず、平均法と穴埋め法の２種類の画像補正を実行してこれらの結果をブレンドする処理構成としてもよい。特に計算コストが問題とならない場合は、このような処理を実行する構成としてもよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、補正処理対象画像データの縮小処理を実行し、縮小画像に対して、第１の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行して第１補正画像を生成し、さらに、縮小画像に対して、第１の画像補正処理態様と異なる第２の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行して第２補正画像を生成し、これらの異なる処理結果画像を拡大してブレンドすることにより、最終補正画像を生成する構成としたので、それぞれの画像補正処理が縮小画像に対して実行可能となり、少ない計算コストで画像の補正を行うことができる。また、異なる処理態様での画像補正を融合した補正処理が実現され、それぞれの利点を融合した調和された画素値補正が可能となる。

また、本発明の構成によれば、穴埋め補間処理と、偽色（ＰＦ）度合いｐを適用した補正処理とのそれぞれの利点を融合した調和された画素値補正が可能となり、パープルフリンジ等の偽色が軽減されるとともに破綻することのない補正画像を取得することが可能となる。具体的には、カメラで撮影した画像に起こる色収差によるパープルフリンジ等の偽色に対する適正な補正が可能となり、高品質な画像データの生成、出力を実現することができる。

さらに、本発明の構成によれば、すべての画像補正処理を自動処理として行なった場合でも、破綻の無い画像を生成することが可能となる。本発明の画像処理を適用することにより、撮影画像を、より自然に見えるように補正をすることが可能である。従って、撮影時にパープルフリンジが起こらないようにレンズの絞りや焦点距離などに注意を払う必要がなく、より高い自由度で撮影を行なうことが可能となる。

さらに、本発明の構成によれば、縮小処理をした上で、偽色補正処理を行い、それを拡大処理している。しかし、オリジナル画像で画素値が更新される部分は、偽色が発生している部分のみであり、かつ色情報だけが補正される。したがって、偽色以外の部分は全く劣化することが無い。偽色が発生している部分に関しても、特別な縮小処理を施しているので、確実に偽色画素を認識することが出来る。このように、縮小処理により計算コストが減少するにもかかわらす、偽色の補正品質が劣化することはほとんど無い。

本発明の画像処理装置の構成を示す図である。 本発明の画像処理の総合的処理を示すフローチャート図である。 本発明の画像処理において実行する縮小処理の手順を説明するフローチャート（その１）を示す図である。 本発明の画像処理において実行する縮小処理の手順を説明するフローチャート（その２）を示す図である。 本発明の画像処理において実行する縮小処理の詳細を説明する図である。 本発明の画像処理において実行する縮小処理において実行する色相判定処理について説明する図である。 本発明の画像処理としての偽色度合いを適用した平均法に基づく画像補正処理のシーケンスを説明するフロー図（その１）である。 本発明の画像処理としての偽色度合いを適用した平均法に基づく画像補正処理のシーケンスを説明するフロー図（その２）である。 白とび画素の探索領域の設定構成について説明する図である。 白とび画素の探索領域の設定構成および白とび距離評価値Ｐ_ｄ算出に適用する距離の算出処理について説明する図である。 注目画素の彩度評価値Ｐ_ｓ、色相評価値Ｐ_θ、の算出に必用なパラメータの求め方の例について説明する図である。 彩度評価値Ｐ_ｓの算出に適用する最大彩度Ｓ_ｍａｘの適切な設定例について説明する図である。 本発明の画像処理において実行する偽色度合いを適用した補正画素値の算出処理手順を説明するフロー図である。 偽色度合いを適用した補正画素値の算出処理の際に適用する補間値算出範囲の設定処理例について説明する図である。 拡大処理の手順を説明するフローチャートを示す図である。 本発明の画像処理としての穴埋め法に基づく画像補正処理のシーケンスを説明するフロー図である。 穴埋め法に基づく画像処理において実行する白とび領域検出処理の詳細シーケンスを説明するフロー図である。 穴埋め法に基づく画像処理において実行する偽色画素検出領域設定処理の詳細シーケンスを説明するフロー図である。 穴埋め法に基づく画像処理において実行する偽色画素検出領域設定処理の処理例について説明する図である。 穴埋め法に基づく画像処理において実行する偽色画素検出処理の詳細シーケンスを説明するフロー図である。 穴埋め法に基づく画像処理において実行する偽色画素検出処理の処理例について説明する図である。 穴埋め法に基づく画像処理において実行する偽色画素補正処理の処理例について説明する図である。 穴埋め法に基づく画像処理において実行する偽色画素補正処理の詳細シーケンスを説明するフロー図である。 穴埋め法に基づく画像処理において実行する偽色画素補正処理の詳細シーケンスを説明するフロー図である。 穴埋め法に基づく画像処理において実行する色ぼかし処理の詳細シーケンスを説明するフロー図である。 本発明の画像処理装置において偽色補正を実行するデジタル信号処理部の機能構成を説明するブロック図である。 本発明の画像処理装置において偽色補正を実行するデジタル信号処理部の穴埋め法処理部の機能構成を説明するブロック図である。

符号の説明

１０１ レンズ
１０２ 絞り
１０３ 固体撮像素子
１０４ 相関２重サンプリング回路
１０５ Ａ／Ｄコンバータ
１０６ ＤＳＰブロック
１０７ タイミングジェネレータ
１０８ Ｄ／Ａコンバータ
１０９ ビデオエンコーダ
１１０ ビデオモニタ
１１１ コーデック（ＣＯＤＥＣ）
１１２ メモリ
１１３ ＣＰＵ
１１４ 入力デバイス
１１５ フラッシュ制御装置
１１６ フラッシュ発光装置
１５０ オリジナル画像
１５１ 対応画像領域
１６０ 縮小画像
１６１ 画素
１８０ 原点
１８１，１８２ 色相ライン
１８３ 色相範囲
２１０ 画像データ
２１１ 画素
２１２，２１３ 画素領域
２２２，２２３ 画素領域
２３０ 画素領域
２５０ 画像データ中心画素
３００ 注目画素
３０１ 白とび探索範囲
３０２，３０３ 画素
３１１，３１２ 画素領域
３２１〜３２４ 画素
４００ 原点
４０１ パープルフリンジ色相ライン
４０２ 注目画素色相
４５１〜４５４ 画像範囲
５１０ 画像データ
５１１ 画素
５２０ 白とび探索範囲
５２１，５２２ 画素領域
５３１ 白とび画素
６０１ 白とび画素
６０２ 偽色画素検出領域
６０３ 白とび画素
６５１ 白とび画素
６５２ 偽色（パープルフリンジ）画素
６５３ その他の画素
６５４ 補間済み偽色（パープルフリンジ）画素
７００ 縮小処理部
７１０ 平均法処理部
７１１ 白とび距離評価値Ｐ_ｄ算出部
７１２ 彩度評価値Ｐ_ｓ算出部
７１３ 色相評価値Ｐ_θ算出部
７１４ 偽色（ＰＦ）度合いｐ算出部
７１５ 補間値［Ｃ_ｔｍｐ／Ｗ_{ｔｏｔａｌ}］算出部
７１６ 第１補正画素値算出部
７１７ 第１拡大処理部
７２０ 穴埋め法処理部
７２１ 白とび検出部
７２２ 偽色画素検出領域設定部
７２３ 偽色（パープルフリンジ）検出部
７２４ 画素値補正部
７２５ 偽色（パープルフリンジ）穴埋め補間部
７２６ 偽色（パープルフリンジ）ぼかし処理部
７２７ 第２拡大処理部
７４０ ブレンド処理部
７５１ 入力画像フレームメモリ
７５２ 出力画像フレームメモリ

Claims (29)

1. 画像処理装置であり、
   補正処理対象画像データの縮小処理を実行する縮小処理部と、
   前記縮小処理部において生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理部と、
   前記画像補正処理部において生成した補正画像の拡大処理を実行する拡大処理部と、
   を有し、
   前記画像補正処理部は、前記縮小処理部において生成された縮小画像の構成画素の偽色度合いｐを算出し、算出した偽色度合いｐに応じた画素値補正処理を実行する構成であり、
   前記縮小画像の構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出部と、
   注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出部と、
   注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出部と、
   を有する構成であることを特徴とする画像処理装置。
2. 画像処理装置であり、
   補正処理対象画像データの縮小処理を実行する縮小処理部と、
   前記縮小処理部において生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理部と、
   前記画像補正処理部において生成した補正画像の拡大処理を実行する拡大処理部と、
   を有し、
   前記画像補正処理部は、前記縮小処理部において生成された縮小画像の構成画素から白とび画素を検出し、白とび画素周囲の偽色画素の画素値を周囲画素の画素値に基づいて補正する補正処理を実行する構成であり、
   画像データから白とび画素を検出する白とび検出部と、
   前記白とび検出部の検出した白とび画素の周囲に偽色画素検出領域を設定する偽色画素検出領域設定部と、
   前記偽色画素検出領域設定部の設定した領域内において、偽色に対応する色を有する画素を偽色画素として特定する偽色検出部と、
   前記偽色検出部の検出した偽色画素について、周囲画素値に基づく画素値補正処理を実行する画素値補正部と、
   を有する構成であることを特徴とする画像処理装置。
3. 前記縮小処理部は、
   オリジナルの補正処理対象画像データについて輝度情報の縮小処理と、色情報の縮小処理とを個別に実行する構成であり、輝度情報の縮小処理においては、前記補正処理対象画像データに含まれる白とび画素情報を消失させない縮小処理を実行し、色情報の縮小処理においては、前記補正処理対象画像データに含まれる偽色の色情報を消失させない縮小処理を実行する構成であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記縮小処理部は、
   前記補正処理対象画像データについての輝度情報の縮小処理において、縮小画像の構成画素に対応する輝度を、前記補正処理対象画像データの対応画像領域に含まれる最大輝度として設定する処理を実行する構成であることを特徴とする請求項３に記載の画像処理装置。
5. 前記縮小処理部は、
   前記補正処理対象画像データについての色情報の縮小処理において、縮小画像の構成画素に対応する色情報を、前記補正処理対象画像データの対応画像領域に偽色画素が含まれる場合は、前記対応画像領域に含まれる偽色画素の平均値として設定し、前記補正処理対象画像データの対応画像領域に偽色画素が含まれない場合は、前記対応画像領域に含まれる全画素の平均値として設定する処理を実行する構成であることを特徴とする請求項３に記載の画像処理装置。
6. 前記偽色度合い算出部は、
   注目画素についての、
   （ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐ_ｄ、
   （ｂ）彩度の大きさを示す彩度評価値Ｐ_ｓ、
   （ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐ_θ、
   の少なくともいずれかを適用して注目画素の偽色度合いｐを算出する構成であることを特徴とする請求項１に記載の画像処理装置。
7. 前記画素値補正部は、
   偽色画素について、周囲画素値に基づく穴埋め補間処理を実行する穴埋め補間部と、
   偽色画素について、色ぼかし処理を実行する色ぼかし処理部とを有する構成であることを特徴とする請求項２に記載の画像処理装置。
8. 前記画素値補正部は、
   偽色画素の周囲に存在する画素から偽色画素および白とび画素を除くその他の画素を選択し、選択画素に基づく穴埋め補間処理を実行する構成であることを特徴とする請求項２に記載の画像処理装置。
9. 前記拡大処理部は、
   前記画像補正処理部において生成した補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み補正画像を生成する構成であることを特徴とする請求項１または２に記載の画像処理装置。
10. 画像処理装置であり、
    補正処理対象画像データの縮小処理を実行する縮小処理部と、
    前記縮小処理部において生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理部と、
    前記画像補正処理部において生成した補正画像の拡大処理を実行する拡大処理部と、
    を有し、
    前記画像補正処理部は、
    前記縮小処理部において生成された縮小画像に対して、第１の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第１画像補正処理部と、
    前記縮小処理部において生成された縮小画像に対して、前記第１の画像補正処理態様と異なる第２の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第２画像補正処理部とを有し、
    前記拡大処理部は、前記第１画像補正処理部において生成した第１補正画像と、前記第２画像補正処理部において生成した第２補正画像との拡大処理を実行する構成であり、
    さらに、前記拡大処理部において拡大した拡大済み第１補正画像と拡大済み第２補正画像とのブレンド処理により最終補正画像を生成するブレンド処理部を有することを特徴とする画像処理装置。
11. 前記拡大処理部は、
    前記第１画像補正処理部において生成した第１補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み第１補正画像を生成し、
    前記第２画像補正処理部において生成した第２補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み第２補正画像を生成する構成であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記ブレンド処理部は、
    前記拡大処理部において拡大した拡大済み第１補正画像と拡大済み第２補正画像とのブレンド処理により最終補正画像を生成する構成であり、
    前記拡大済み第１補正画像の構成画素（ｘ，ｙ）の画素値をＣ_{ａｖｇｎｅｗ}（ｘ，ｙ）とし、
    前記拡大済み第２補正画像の構成画素（ｘ，ｙ）の画素値をＣ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）としたとき、最終補正画像の構成画素（ｘ，ｙ）の画素値Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）を、下式、
    Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）＝ｋ×Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）＋（１−ｋ）×Ｃ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）
    ただしｋ＝０〜１
    に従って算出する処理を実行する構成であることを特徴とする請求項１０に記載の画像処理装置。
13. 前記偽色はパープルフリンジであり、
    前記画像補正処理部は、前記縮小処理部において生成された縮小画像に対して、白とび周囲のパープルフリンジ画素の画素値補正を含む画像処理を実行する構成であることを特徴とする請求項１乃至１２いずれかに記載の画像処理装置。
14. 画像処理方法であり、
    補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
    前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
    前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
    を有し、
    前記画像補正処理ステップは、
    前記縮小処理ステップにおいて生成された縮小画像の構成画素の偽色度合いｐを算出し、算出した偽色度合いｐに応じた画素値補正処理を実行するステップであり、
    前記縮小画像の構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出ステップと、
    注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出ステップと、
    注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出ステップと、
    を含むことを特徴とする画像処理方法。
15. 画像処理方法であり、
    補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
    前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
    前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
    を有し、
    前記画像補正処理ステップは、
    前記縮小処理ステップにおいて生成された縮小画像の構成画素から白とび画素を検出し、白とび画素周囲の偽色画素の画素値を周囲画素の画素値に基づいて補正する補正処理を実行するステップであり、
    画像データから白とび画素を検出する白とび検出ステップと、
    前記白とび検出ステップの検出した白とび画素の周囲に偽色画素検出領域を設定する偽色画素検出領域設定ステップと、
    前記偽色画素検出領域設定ステップの設定した領域内において、偽色に対応する色を有する画素を偽色画素として特定する偽色検出ステップと、
    前記偽色検出ステップの検出した偽色画素について、周囲画素値に基づく画素値補正処理を実行する画素値補正ステップと、
    を含むことを特徴とする画像処理方法。
16. 前記縮小処理ステップは、
    オリジナルの補正処理対象画像データについて輝度情報の縮小処理と、色情報の縮小処理とを個別に実行し、輝度情報の縮小処理においては、前記補正処理対象画像データに含まれる白とび画素情報を消失させない縮小処理を実行し、色情報の縮小処理においては、前記補正処理対象画像データに含まれる偽色の色情報を消失させない縮小処理を実行することを特徴とする請求項１４または１５に記載の画像処理方法。
17. 前記縮小処理ステップは、
    前記補正処理対象画像データについての輝度情報の縮小処理において、縮小画像の構成画素に対応する輝度を、前記補正処理対象画像データの対応画像領域に含まれる最大輝度として設定する処理を実行することを特徴とする請求項１６に記載の画像処理方法。
18. 前記縮小処理ステップは、
    前記補正処理対象画像データについての色情報の縮小処理において、縮小画像の構成画素に対応する色情報を、前記補正処理対象画像データの対応画像領域に偽色画素が含まれる場合は、前記対応画像領域に含まれる偽色画素の平均値として設定し、前記補正処理対象画像データの対応画像領域に偽色画素が含まれない場合は、前記対応画像領域に含まれる全画素の平均値として設定する処理を実行することを特徴とする請求項１６に記載の画像処理方法。
19. 前記偽色度合い算出ステップは、
    注目画素についての、
    （ａ）白とび（高輝度画素）への近さを示す白とび距離評価値Ｐ_ｄ、
    （ｂ）彩度の大きさを示す彩度評価値Ｐ_ｓ、
    （ｃ）偽色に対応する特定色相への近さを示す色相評価値Ｐ_θ、
    の少なくともいずれかを適用して注目画素の偽色度合いｐを算出するステップであることを特徴とする請求項１４に記載の画像処理方法。
20. 前記画素値補正ステップは、
    偽色画素について、周囲画素値に基づく穴埋め補間処理を実行する穴埋め補間ステップと、
    偽色画素について、色ぼかし処理を実行する色ぼかし処理ステップとを含むことを特徴とする請求項１５に記載の画像処理方法。
21. 前記画素値補正ステップは、
    偽色画素の周囲に存在する画素から偽色画素および白とび画素を除くその他の画素を選択し、選択画素に基づく穴埋め補間処理を実行するステップを含むことを特徴とする請求項１５に記載の画像処理方法。
22. 前記拡大処理ステップは、
    前記画像補正処理ステップにおいて生成した補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み補正画像を生成するステップであることを特徴とする請求項１４または１５に記載の画像処理方法。
23. 画像処理方法であり、
    補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
    前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
    前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
    を有し、
    前記画像補正処理ステップは、
    前記縮小処理ステップにおいて生成された縮小画像に対して、第１の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第１画像補正処理ステップと、
    前記縮小処理ステップにおいて生成された縮小画像に対して、前記第１の画像補正処理態様と異なる第２の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第２画像補正処理ステップとを有し、
    前記拡大処理ステップは、前記第１画像補正処理ステップにおいて生成した第１補正画像と、前記第２画像補正処理ステップにおいて生成した第２補正画像との拡大処理を実行するステップであり、
    さらに、前記拡大処理ステップにおいて拡大した拡大済み第１補正画像と拡大済み第２補正画像とのブレンド処理により最終補正画像を生成するブレンド処理ステップを有することを特徴とする画像処理方法。
24. 前記拡大処理ステップは、
    前記第１画像補正処理ステップにおいて生成した第１補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み第１補正画像を生成するステップと、
    前記第２画像補正処理ステップにおいて生成した第２補正画像の拡大データとオリジナルの補正処理対象画像データとのブレンド処理により拡大済み第２補正画像を生成するステップと、
    を含むことを特徴とする請求項２３に記載の画像処理方法。
25. 前記ブレンド処理ステップは、
    前記拡大処理ステップにおいて拡大した拡大済み第１補正画像と拡大済み第２補正画像とのブレンド処理により最終補正画像を生成するステップであり、
    前記拡大済み第１補正画像の構成画素（ｘ，ｙ）の画素値をＣ_{ａｖｇｎｅｗ}（ｘ，ｙ）とし、
    前記拡大済み第２補正画像の構成画素（ｘ，ｙ）の画素値をＣ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）としたとき、最終補正画像の構成画素（ｘ，ｙ）の画素値Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）を、下式、
    Ｃ_{ｆｉｎａｌ}（ｘ，ｙ）＝ｋ×Ｃ_{ａｖｇｎｅｗ}（ｘ，ｙ）＋（１−ｋ）×Ｃ_{ｈｏｌｅｎｅｗ}（ｘ，ｙ）
    ただしｋ＝０〜１
    に従って算出する処理を実行することを特徴とする請求項２３に記載の画像処理方法。
26. 前記偽色はパープルフリンジであり、
    前記画像補正処理ステップは、前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲のパープルフリンジ画素の画素値補正を含む画像処理を実行することを特徴とする請求項２３乃至２５いずれかに記載の画像処理方法。
27. 画像処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
    補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
    前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
    前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
    を有し、
    前記画像補正処理ステップは、
    前記縮小処理ステップにおいて生成された縮小画像の構成画素の偽色度合いｐを算出し、算出した偽色度合いｐに応じた画素値補正処理を実行するステップであり、
    前記縮小画像の構成画素から選択された注目画素について、偽色である可能性を示すパラメータとしての偽色度合いｐを算出する偽色度合い算出ステップと、
    注目画素近傍領域の画素値に基づいて、注目画素に対応する補間値を算出する補間値算出ステップと、
    注目画素の元画素値と前記補間値とを適用し、注目画素の偽色度合いｐに応じて前記元画素値と前記補間値との寄与率を変更して前記注目画素の補正画素値を算出する補正画素値算出ステップと、
    を含むことを特徴とするコンピュータ・プログラム。
28. 画像処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
    補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
    前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
    前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
    を有し、
    前記画像補正処理ステップは、
    前記画像補正処理ステップは、
    前記縮小処理ステップにおいて生成された縮小画像の構成画素から白とび画素を検出し、白とび画素周囲の偽色画素の画素値を周囲画素の画素値に基づいて補正する補正処理を実行するステップであり、
    画像データから白とび画素を検出する白とび検出ステップと、
    前記白とび検出ステップの検出した白とび画素の周囲に偽色画素検出領域を設定する偽色画素検出領域設定ステップと、
    前記偽色画素検出領域設定ステップの設定した領域内において、偽色に対応する色を有する画素を偽色画素として特定する偽色検出ステップと、
    前記偽色検出ステップの検出した偽色画素について、周囲画素値に基づく画素値補正処理を実行する画素値補正ステップと、
    を含むことを特徴とするコンピュータ・プログラム。
29. 画像処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
    補正処理対象画像データの縮小処理を実行する縮小処理ステップと、
    前記縮小処理ステップにおいて生成された縮小画像に対して、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する画像補正処理ステップと、
    前記画像補正処理ステップにおいて生成した補正画像の拡大処理を実行する拡大処理ステップと、
    を有し、
    前記画像補正処理ステップは、
    前記縮小処理ステップにおいて生成された縮小画像に対して、第１の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第１画像補正処理ステップと、
    前記縮小処理ステップにおいて生成された縮小画像に対して、前記第１の画像補正処理態様と異なる第２の画像補正処理態様で、白とび周囲の偽色画素の画素値補正を含む画像処理を実行する第２画像補正処理ステップとを有し、
    前記拡大処理ステップは、前記第１画像補正処理ステップにおいて生成した第１補正画像と、前記第２画像補正処理ステップにおいて生成した第２補正画像との拡大処理を実行するステップであり、
    さらに、前記拡大処理ステップにおいて拡大した拡大済み第１補正画像と拡大済み第２補正画像とのブレンド処理により最終補正画像を生成するブレンド処理ステップを有することを特徴とするコンピュータ・プログラム。

Images