JP5099164B2 - 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 - Google Patents

Description

本発明は、撮影画像からフレア成分を抽出する画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置に関する。

回折光学素子（ＤＯＥ：Diffractive Optical Element）を有する撮影光学系で撮影を行う際、極めて高輝度な物体（輝点）が撮影画角内に存在していた場合には、撮影画像上の輝点像の周辺に色滲みを伴うフレア（色付きフレア）が発生する。この色付きフレアは撮影画像へ不自然な印象を与える。

そこで特許文献１には、撮影光学系の結像特性データを予め記憶し、そのデータと、撮影画像上の輝点の位置とに基づきフレア成分を推定し、それを撮影画像から除去する電子カメラが開示されている。

特許第４２５０５１３号公報

しかしながら撮影画像に実際に発生するフレア成分は、撮影光学系の結像特性に依存するだけでなく、輝点が有している波長スペクトルにも依存するので、特許文献１に記載の電子カメラがフレア成分を十分な精度で推定することは難しい。

また、特許文献１に記載のフレア除去方法をコンピュータのソフトウエアで実行しようとしても、通常の撮影画像（例えばＪＰＥＧ画像）にはフレア成分を推定するのに十分なデータが付与されていないため、その実行は不可能である。

そこで本発明は、輝点の波長スペクトルデータや撮影光学系の結像特性データなどの撮影条件データを使用せずとも、撮影画像からフレア成分の情報を高精度に抽出することの可能な画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供する。

本発明の画像処理方法の一態様は、撮影光学系により取得された処理対象画像を入力する入力手順と、前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手順と、前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手順と、前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手順とを含む。

また、本発明の画像処理プログラムの一態様は、撮影光学系により取得された処理対象画像を入力する入力手順と、前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手順と、前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手順と、前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手順とをコンピュータに実行させる。

また、本発明の画像処理装置の一態様は、撮影光学系により取得された処理対象画像を入力する入力手段と、前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手段と、前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手段と、前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手段とを含む。

また、本発明の撮像装置の一態様は、撮影光学系が結像した被写体像を撮像する撮像素子と、本発明の画像処理装置の一態様とを備える。

本発明によれば、撮影条件データを使用せずとも撮影画像からフレア成分の情報を高精度に抽出することの可能な画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置が実現する。

第１実施形態の画像処理装置の構成例を示すブロック図。 ＣＰＵ１４によるフレア除去処理の動作フローチャート。 入力画像の模式図。 明るい領域の検出結果の例。 ユーザによる指定結果の例。 フレア番号ｉの例。 処理領域Ａ_ｉを説明する図。 フレア抽出部２１によるフレア抽出処理のフローチャート。 処理領域Ａ_ｉの分割方法を説明する図。 扇状領域W_ｉｊの径方向の強度分布の例。 平滑化の効果を説明する図。 平滑化後の処理領域（＝実際の輝点像成分）Ａ_ｉ’の例。 理想的な輝点像成分Ｄ_ｉｊの推定方法を説明する図。 増幅率分布Ｃ_ｉの例。 フレア無し画像Ｅ_ｉ＝Ａ_ｉ／Ｃ_ｉの例。 ステップＳ１８５で得られたフレア成分Ｆ_ｉの例。 ステップＳ１８６で得られたフレア成分Ｆ_ｉの例。 ステップＳ１８７で得られたフレア成分Ｆ_ｉの例。 補正係数分布Ｈの例。 ステップＳ１８８で得られたフレア成分Ｆ_ｉの例。 フレア無し画像Ｅの模式図。 第２実施形態の電子カメラの構成例を示すブロック図。

［第１実施形態］
以下、本発明の第１実施形態を説明する。

図１は、本実施形態の画像処理装置の構成例を示すブロック図である。本実施形態の画像処理装置は、画像処理プログラムがインストールされたコンピュータ１１で構成される。

図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。

データ読込部１２は、画像処理対象となる画像データを外部から読み込むときに用いられる。例えば、データ読込部１２は、データ読込部１２に挿入された記憶媒体から画像データを取得する読込デバイス（光ディスクドライブ、磁気ディスクドライブ、光磁気ディスクドライブなど）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。

記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置１３には、画像処理プログラムが記録されている。なお、記憶装置１３には、データ読込部１２から読み込まれた画像データを記憶しておくこともできる。

ＣＰＵ１４は、記憶装置１３に記憶された画像処理プログラムを実行し、コンピュータ１１の各部を統括的に制御するプロセッサである。ここで、本実施形態の画像処理プログラムにはフレア除去処理の機能が搭載されており、フレア除去処理を実行する際、ＣＰＵ１４は、各部を制御する制御部として機能する他に、フレア抽出部２１としても機能する（フレア抽出部２１の動作は後述する）。

メモリ１５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。

図２は、ＣＰＵ１４によるフレア除去処理の動作フローチャートである。以下、各ステップを順に説明する。

ステップＳ１１：ＣＰＵ１４は、ユーザがフレア除去処理の対象として指定したカラー画像の画像データを、メモリ１５上に読み込む（以下、これを「入力画像Ｉ」と称す。）。この入力画像Ｉは、例えば、データ読込部１２の記憶媒体に書き込まれていた画像である。

ここで、入力画像Ｉは、色付きフレアの発生した画像である。色付きフレアの発生した画像は、ＤＯＥを含む撮影光学系で撮影された画像であって、例えば図３に示すとおり、点在するライトで照らされた夜の屋外駐車場の画像などである。色付きフレアは通常、輪帯状又はそれに近いパターンをしているが、そのパターンは完全な輪帯状になるとは限らず、撮影条件（画像の撮影に使用された撮影光学系の結像特性、撮影時に画角内に存在していた輝点の波長スペクトルなど）に依存する。

しかし、本実施形態のフレア除去処理は色付きフレアのパターンが未知であっても実行可能であるので、入力画像Ｉには、撮影条件データが付随していなくても構わない。また、本実施形態のフレア除去処理は色無しフレアにも有効なので、入力画像Ｉに発生しているフレアは、色無しフレアであっても構わない。

ステップＳ１２：ＣＰＵ１４は、メモリ１５上へ読み込んだ入力画像Ｉに対してサイズ縮小処理を施す。以下、サイズ縮小後の入力画像Ｉを「縮小画像Ｓ」と称す。なお、入力画像Ｉに対してサイズ縮小処理を施すのは、続くステップＳ１３〜Ｓ１８の演算負荷を軽減するためである。

ステップＳ１３：ＣＰＵ１４は、縮小画像Ｓの各画素の輝度を予め決められた閾値と比較することにより、輝度が閾値を超過するような明るい領域を縮小画像Ｓから検出し、その検出結果を、例えば図４に示すとおりモニタ１９へ表示する。図４に示すとおり、検出された領域の中には、フレアに起因した領域だけでなく、フレアとは無関係な領域（図４では明るい窓の像）も混在している可能性がある。

なお、本ステップでは演算負荷を軽減するため、各画素の輝度の指標として、各画素の輝度値（Ｒ、Ｇ、Ｂの重み付け和）を使用する代わりに、各画素の各色成分の和（Ｒ、Ｇ、Ｂの和）を使用してもよい。或いは、各画素の輝度の指標として、各画素を代表する色成分の値（Ｇ強度）を使用してもよい。また、このような演算負荷の軽減方法は、画素の輝度を扱う他のステップでも採用することができる。

ステップＳ１４：ＣＰＵ１４は、検出された領域の中からフレアに起因した領域をユーザに指定させる。ユーザは、モニタ１９を目視しながら入力デバイス１８を操作することにより、フレアと判断した１又は複数の領域をコンピュータ１１へ指定する（図５参照）。以下、ユーザが指定した領域を「指定領域」と称す。

ステップＳ１５：ＣＰＵ１４は、１又は複数の指定領域に対して通し番号（フレア番号ｉ＝１、２、…）を付与する（図６参照）。これによって、フレア除去処理で除去すべきフレアの総数（すなわち、フレア番号ｉの最終値）が決まる。

ステップＳ１６：ＣＰＵ１４は、フレア番号ｉを初期値（１）に設定する。

ステップＳ１７：ＣＰＵ１４は、縮小画像Ｓ上でフレア番号ｉが付与されている指定領域の輝度重心に相当する座標ｇ_ｉを算出する。そして、ＣＰＵ１４は、縮小画像Ｓ上で座標ｇ_ｉを中心とし、かつ半径ｒ_０を有した円形領域を、フレア番号ｉの処理領域Ａ_ｉとして設定する（図７参照）。半径ｒ_０の値は、処理領域Ａ_ｉがフレア全体をカバーできるように予め決められた値である。

なお、本ステップでは、指定領域の輝度重心を座標ｇ_ｉとしたが、演算負荷を軽減するために、指定領域の中心を座標ｇ_ｉとしてもよい。

ステップＳ１８：ＣＰＵ１４は、処理領域Ａ_ｉからフレア成分Ｆ_ｉを抽出するようフレア抽出部２１へ指示を与える。フレア抽出部２１は、フレア抽出処理を実行して処理領域Ａ_ｉからフレア成分Ｆ_ｉを抽出する。このフレア抽出処理の詳細は、後述する。

ステップＳ１９：ＣＰＵ１４は、ステップＳ１８で抽出されたフレア成分Ｆ_ｉへサイズ拡大処理を施す。なお、前述したステップＳ１２のサイズ縮小処理で入力画像Ｉのサイズを１／Ｍ倍にした場合、本ステップにおけるサイズ拡大処理ではフレア成分Ｆ_ｉのサイズをＭ倍にする。よって、本ステップでは、入力画像Ｉに対応するサイズのフレア成分Ｆ_ｉ’が取得される。

ステップＳ２０：ＣＰＵ１４は、ステップＳ１９で取得したフレア成分Ｆ_ｉ’を入力画像Ｉから減算する。但し、減算に当たりＣＰＵ１４は、縮小画像Ｓ上の座標ｇ_ｉと前述した倍率Ｍとに基づき、座標ｇ_ｉに対応する入力画像Ｉ上の座標ｇ_ｉ’を求め、その座標ｇ_ｉ’に対してフレア成分Ｆ_ｉ’の中心を一致させておく。これによって、フレア番号ｉに対応するフレア成分Ｆ_ｉ’を入力画像Ｉから除去できる。

ステップＳ２１：ＣＰＵ１４は、フレア番号ｉが最終値に達したか否かを判別し、達していなかった場合はステップＳ２２へ移行し、達していた場合はステップＳ２３へ移行する。

ステップＳ２２：ＣＰＵ１４は、フレア番号ｉをインクリメントしてからステップＳ１７へ移行する。したがって、全てのフレア番号のフレア成分（フレア成分Ｆ_１’、 Ｆ_２’、…）が入力画像Ｉから順次に除去されることになる。

ステップＳ２３：ＣＰＵ１４は、全てのフレア成分（フレア成分Ｆ_１’、 Ｆ_２’、…）が除去された入力画像Ｉ（以下、「フレア無し画像Ｅ」と称す。）をモニタ１９へ表示する。その後、ユーザから保存指示が入力された場合には、フレア無し画像Ｅをユーザが指定した保存先（例えば、データ読込部１２に挿入された記憶媒体）へ保存し、フローを終了する。

図８は、フレア抽出部２１によるフレア抽出処理のフローチャートである。以下、各ステップを順に説明する。

ステップＳ１８１：フレア抽出部２１は、図９（Ａ）に示すとおり、縮小画像Ｓにおいて処理領域Ａ_ｉの中心に相当する座標ｇ_ｉと、縮小画像Ｓの中心ｇ_０（すなわち、撮影光学系の光軸に相当する位置）とを通る直線Ｌ_ｉを求める。そして、フレア抽出部２１は、図９（Ｂ）に示すとおり、座標ｇ_ｉを基準とした周方向（θ方向）に向かって等角度で処理領域Ａ_ｉを分割する。これによって、処理領域Ａ_ｉは、複数の扇状領域（扇状領域Ｗ_ｉ１〜Ｗ_ｉ１２）に分割される。但し、フレア抽出部２１は、その分割で用いられる、径方向（ｒ方向）の分割線を、図９に示すとおり直線Ｌ_ｉに関して対称な関係で配置する。処理領域Ａ_ｉをこのような分割線で分割し、以降の各処理（ステップＳ１８２〜Ｓ１８６）を扇状領域Ｗ_ｉｊ毎に行うこととすれば、フレア成分の抽出を一定の精度で効率的に行うことができる（なぜなら、撮影光学系は回転対称な形状をしているため、処理領域Ａ_ｉに含まれるフレア成分のパターンは、直線Ｌ_ｉに関して対称なパターンになるはずである。）。

ここで、図１０に示すのは、或る１つの扇状領域Ｗ_ｉｊの径方向の強度分布をＲＧＢ別に示したものである。Ｒ成分Ｗ_ｉｊＲ、Ｇ成分Ｗ_ｉｊＧ、Ｂ成分Ｗ_ｉｊＢの各々は、扇状領域Ｗ_ｉｊの周縁部（ｒ＝ｒ_０の部分）に向かって減衰するようなカーブを描いており、Ｒ成分Ｗ_ｉｊＲ、Ｇ成分Ｗ_ｉｊＧ、Ｂ成分Ｗ_ｉｊＢの各々は、理想的な輝点像成分と、フレア成分と、背景成分との和からなる。

このうち、理想的な輝点像成分は、例えば図１３の下部に示すような滑らかなカーブを描き、Ｒ成分Ｗ_ｉｊＲ、Ｇ成分Ｗ_ｉｊＧ、Ｂ成分Ｗ_ｉｊＢの間で共通とみなせる。一方、フレア成分及び背景成分は、Ｒ成分Ｗ_ｉｊＲ、Ｇ成分Ｗ_ｉｊＧ、Ｂ成分Ｗ_ｉｊＢの間で互いに異なる。

例えば、Ｒ成分Ｗ_ｉｊＲには、矢印で示すとおりＲ成分Ｗ_ｉｊＲに固有の大きなピークが発生しており、主にこのピークがＲ強度分布のフレア成分と考えられる。また、Ｂ成分Ｗ_ｉｊＢにも、矢印で示すとおりＢ成分Ｗ_ｉｊＢに固有の大きなピークが発生しており、主にこのピークがＢ強度分布のフレア成分と考えられる。一方、Ｇ成分Ｗ_ｉｊＧには、Ｇ成分Ｗ_ｉｊＧに固有の大きなピークは発生していないように見えるが、実際には、Ｇ成分Ｗ_ｉｊＧにもフレア成分が含まれている可能性はある。

そして、多くの場合、これらフレア成分の空間周波数は、背景成分の空間周波数より低い（図１０において細かく振動している波形は、背景成分を示していると考えられる。）。また、多くの場合、フレア成分は、ｒ＝０を中心とした輪帯状パターン又はそれに近いパターンを描く（図３参照）。よって、フレア成分の周方向の空間周波数は、背景成分の周方向の空間周波数より低いとみなせる。

ステップＳ１８２：フレア抽出部２１は、扇状領域Ｗ_ｉ１〜Ｗ_ｉ１２の各々を、周方向にかけて個別に平滑化することにより、平滑化後の扇状領域Ｗ_ｉ１’〜Ｗ_ｉ１２’（＝平滑化後の処理領域Ａ_ｉ’）を取得する。この平滑化は、ＲＧＢ別に行われる。図１１（Ａ）、（Ｂ）は、或る扇状領域Ｗ_ｉｊのＲ成分Ｗ_ｉｊＲの平滑化前後の様子を示しており、図１２に示すのは、平滑化後の扇状領域Ｗ_ｉ１’〜Ｗ_ｉ１２’（＝平滑化後の処理領域Ａ_ｉ’）の例である。

前述したとおり背景成分の周方向の空間周波数はフレア成分の周方向の空間周波数より高いので、平滑化後の処理領域Ａ_ｉ’ （図１２参照）には、背景成分が殆ど含まれていない。したがって、平滑化後の処理領域Ａ_ｉ’（図１２参照）は、フレア成分を含んだ実際の輝点像成分（＝フレア成分と理想的な輝点像成分との和）を表しているとみなせる。よって、以下では、平滑化後の処理領域Ａ_ｉ’を「実際の輝点像成分Ａ_ｉ’」と称す。

ステップＳ１８３：フレア抽出部２１は、平滑化前の処理領域Ａ_ｉに基づき、処理領域Ａ_ｉに含まれる理想的な輝点像成分Ｄ_ｉを推定する。なお、ここでは、理想的な輝点像成分Ｄ_ｉは、無彩色である（各色成分の強度分布は互いに等しい）と仮定する。また、ここでは、理想的な輝点像成分Ｄ_ｉは、扇状領域Ｗ_ｉｊ毎に推定されるものとする。

その場合、個々の扇状領域Ｗ_ｉｊに関する理想的な輝点像成分Ｄ_ｉｊ（Ｒ成分Ｄ_ｉｊＲ、Ｇ成分Ｄ_ｉｊＧ、Ｂ成分Ｄ_ｉｊＢからなる。）は、以下の手順（ａ）〜（ｄ）で推定される。

（ａ）フレア抽出部２１は、図１３に示すとおり、平滑化前の扇状領域Ｗ_ｉｊ上の各画素の輝度を互いに比較し、扇状領域Ｗ_ｉｊ上で最も輝度の低い画素のＧ強度（Ｇ_{ｉｊｍｉｎ}）と、最も輝度の高い画素のＧ強度（Ｇ_{ｉｊｍａｘ}）とを見出す。通常、扇状領域Ｗ_ｉｊの中心近傍（処理領域Ａ_ｉの中心近傍）は、画素値の飽和した飽和領域となっているので、Ｇ_{ｉｊｍａｘ}は、その飽和領域のＧ強度と同じになる。

（ｂ）フレア抽出部２１は、理想的な輝点像成分Ｄ_ｉｊのＲ成分Ｄ_ｉｊＲを、下式（１）のとおりに設定する。

但し、式（１）のｒは径位置であり、ｒ_１は、飽和領域の輪郭に相当する径位置である。また、ａ、ｂの組み合わせは、ｒ＝ｒ_１のときにＤ_ｉｊＲ（ｒ）＝Ｇ_{ｉｊｍａｘ}となり、かつ、ｒ＝ｒ_０のときにＤ_ｉｊＲ（ｒ）＝Ｇ_{ｉｊｍｉｎ}となるような組み合わせに設定される。

（ｃ）フレア抽出部２１は、理想的な輝点像成分Ｄ_ｉｊのＧ成分Ｄ_ｉｊＧを、下式（２）のとおりに設定する。

但し、式（２）のｒ_１、ａ、ｂは、式（１）のｒ_１、ａ、ｂと同じ値を採る。

（ｄ）フレア抽出部２１は、理想的な輝点像成分Ｄ_ｉｊのＢ成分Ｄ_ｉｊＢを、下式（３）のとおりに設定する。

但し、式（３）のｒ_１、ａ、ｂは、式（１）のｒ_１、ａ、ｂと同じ値を採る。

したがって、以上の手順（ａ）〜（ｄ）を全ての扇状領域Ｗ_ｉ１〜Ｗ_ｉ１２について行えば、処理領域Ａ_ｉの全域に関する理想的な輝点像成分Ｄ_ｉが推定される。

ステップＳ１８４：フレア抽出部２１は、ステップＳ１８２で抽出した実際の輝点像成分Ａ_ｉ’を、ステップＳ１８３で推定した理想的な輝点像成分Ｄ_ｉで除算することにより、フレアに起因して処理領域Ａ_ｉに発生した明るさ増幅率分布Ｃ_ｉを算出する（Ｃ_ｉ＝Ａ_ｉ’／Ｄ_ｉ）。この算出は、ＲＧＢ別に行われる。図１４には、算出された増幅率分布Ｃ_ｉの或る周位置におけるＲ成分Ｃ_ｉＲの例を示した。

ここで、処理領域Ａ_ｉを増幅率分布Ｃ_ｉで除算すれば、処理領域Ａ_ｉのフレア無し画像Ｅ_ｉを簡単に算出することができる（但し、この除算はＲＧＢ別に行われる。）。図１５に示すのは、この除算で算出されたフレア無し画像Ｅ_ｉのＲ成分Ｅ_ｉＲの例である。

しかしながら、前述したステップＳ１８２では抽出誤差が発生している可能性があって、ステップＳ１８２で抽出された実際の輝点像成分Ａ_ｉ’には、明る過ぎたためにステップＳ１８２で除去しきれなかったような背景成分（残存背景成分）が残存している可能性がある。このため、上記の除算では、フレア無し画像Ｅ_ｉを高精度に算出できない虞がある。

そこで、本実施形態のフレア抽出部２１は、次のステップにて増幅率分布Ｃ_ｉをフレア成分Ｆ_ｉに換算することにより、残存背景成分の除去を図る。

ステップＳ１８５：フレア抽出部２１は、Ｆ_ｉ＝（１−１／Ｃ_ｉ）×Ａ_ｉの式により、増幅率分布Ｃ_ｉをフレア成分Ｆ_ｉに換算する。この換算は、ＲＧＢ別に行われる。

図１６に示すのは、本ステップで得られたフレア成分Ｆ_ｉの例である。図１６では、周方向を横方向に採り、径方向を縦方向に採った（図１７、図１８も同様。）。本ステップで得られたフレア成分Ｆ_ｉには、フレア成分としては明る過ぎるような領域が発生している。この領域が、残存背景成分の影響を受けた領域と考えられる。

ステップＳ１８６：フレア抽出部２１は、フレア成分Ｆ_ｉの各画素の輝度を閾値と比較することにより、閾値を超過するような異常画素を見出し、その異常画素の値（Ｒ、Ｇ、Ｂ）を、その異常画素の周方向に並ぶ正常な画素群の平均値（Ｒの平均値、Ｇの平均値Ｂの平均値）に置換する。これによって、異常画素の輝度は正常な画素群と同等の輝度に補正され、フレア成分Ｆ_ｉから残存背景成分が除去される（図１７を参照）。

なお、本ステップにおいて異常画素の補正に使用される正常な画素群は、その異常画素が属するのと同一の扇状領域内から選出されるものとする。

ステップＳ１８７：フレア抽出部２１は、ステップＳ１８６で得られたフレア成分Ｆ_ｉ （図１７）に発生している輝度の段差部分を、周方向にかけて平滑化する（図１８を参照）。この段差部分は、互いに隣接する２つの扇状領域Ｗ_ｉｊ、Ｗ_ｉｊ＋１の境界線に相当するので、これを平滑化しておけば、最終的なフレア無し画像（フレア無し画像Ｅ）上に放射状の段差が現れるのを避けることができる。

ステップＳ１８８：フレア抽出部２１は、ステップＳ８７で得られたフレア成分Ｆ_ｉ（図１６（Ｃ）参照）に対し、図１９に示すような補正係数分布Ｈを乗算することにより、フレア成分Ｆ_ｉの最周縁部（ｒ＝ｒ_０の部分）を黒画素（又はそれに極めて近い値）にする。この補正係数分布Ｈは、以下のとおり径位置ｒの関数で表される。

Ｈ（ｒ）＝１−（ｒ／ｒ_０）^８
なお、本ステップの乗算は、ＲＧＢそれぞれに対して行われるが、ＲＧＢの間で補正係数分布Ｈは共通とされる。

以上の本ステップによると、フレア成分Ｆ_ｉの多くの画素の値は殆ど変化しないが、フレア成分Ｆ_ｉのうち周縁部に近い画素の値は、周縁部に近い画素ほど黒画素に近づけられる。図２０は、本ステップで得られたフレア成分Ｆ_ｉの例である。このようにフレア成分Ｆ_ｉの周縁部を黒画素としておけば、最終的なフレア無し画像（フレア無し画像Ｅ）上に円形の輪郭が現れるのを避けることができる。

なお、本ステップの処理が終了した時点で、フレア抽出部２１による図８のフローが終了し、ＣＰ１４による図２のステップＳ１９が開始される（以上、ステップＳ１８８）。

以上、本実施形態のフレア抽出部２１は、処理領域Ａ_ｉに含まれる理想的な輝点像成分Ｄ_ｉを推定すると共に、その処理領域Ａ_ｉから実際の輝点像成分Ａ_ｉ’を抽出する。そしてフレア抽出部２１は、両成分の相違（ここでは、増幅率分布Ｃ_ｉ＝Ａ_ｉ’／Ｄ_ｉ）を、処理領域Ａ_ｉに含まれるフレア成分Ｆ_ｉの指標として算出する。

ここで、理想的な輝点像成分Ｄ_ｉは、図１３の下部に示したとおりシンプルな分布と仮定できるので、理想的な輝点像成分Ｄ_ｉの推定は、撮影条件データを使用せずとも高精度に行うことができる。したがって、本実施形態のＣＰＵ１４は、フレア成分Ｆ_ｉの指標（ここでは、増幅率分布Ｃ_ｉ＝Ａ_ｉ’／Ｄ_ｉ）の算出を、簡単かつ高精度に行うことができる。

その結果、本実施形態のＣＰＵ１４は、良好なフレア無し画像Ｅを取得することができる。図２１に模式的に示すとおり、フレア無し画像Ｅには、図３に示したようなフレアは発生しておらず、フレアの代わりに理想的な輝点像が現れている。

また、本実施形態のフレア抽出部２１は、増幅率分布Ｃ_ｉからフレア無し画像Ｅを算出する前に、増幅率分布Ｃ_ｉをフレア成分Ｆ_ｉに換算することで、増幅率分布Ｃ_ｉに含まれていた誤差（上述した残存背景成分）の検出・除去を図っている。このように増幅率分布Ｃ_ｉをフレア成分Ｆ_ｉに換算すれば、フレア成分として相応しくない成分（上述した残存背景成分）を際立たせることができるので、その検出・除去は確実に行われる。

なお、上述したステップＳ１８６におけるフレア抽出部２１は、フレア成分Ｆ_ｉにおける異常画素を、周辺の画素に基づき補正したが、フレア成分Ｆ_ｉの対応画素（直線Ｌ_ｉに関して対称な画素）に基づき補正してもよい。また、その場合は、異常画素の値を、対応画素の値と同じ値に置換してもよい。

また、上述したステップＳ１８３の式（１）、（２）、（３）では、ｒ_１＜ｒのときにおける関数ｆ（ｒ）として、関数ｆ（ｒ）＝ａ／ｒ＋ｂを使用したが、ｆ（ｒ）＝ａ／ｒ^２＋ｂ、ｆ（ｒ）＝ａ／ｒ^３＋ｂなど、（１／ｒ）の代わりに（１／ｒ）の冪乗（１／ｒ）^ｎで表される関数を使用してもよい。また、冪数ｎの異なる幾つかの関数ｆ（ｒ）＝ａ／ｒ^ｎ＋ｂの中から、扇状領域Ｗ_ｉｊの径方向の分布カーブに最も類似した関数を選択し、それを採用することとしてもよい。

また、上述したフレア除去処理では、ステップＳ１３〜Ｓ１８における演算負荷を軽減するために、入力画像Ｉをそのまま使用する代わりに入力画像Ｉのサイズ縮小版（縮小画像Ｓ）を使用したが、演算負荷の軽減よりもフレア除去精度の向上を優先させたい場合には、入力画像Ｉをそのまま使用してもよい。なお、その場合、ステップＳ１２、Ｓ１９の処理は省略される。

また、上述したフレア除去処理では、入力画像Ｉにおけるフレアの発生位置をユーザが手動で指定したが、ＣＰＵ１４が自動で検出してもよい。フレアの発生位置の検出には、公知の何れかの検出方法を適用することができる。例えば、パターン認識の技術を利用した検出方法などを適用することができる。

［第２実施形態］
以下、本実施形態の第２実施形態を説明する。

図２２は、電子カメラの概略構成を示すブロック図である。図２２に示すとおり、電子カメラ１１１は、撮像光学系１１２と、レンズ駆動部１１３と、絞り１１４と、絞り駆動部１１５と、カラー撮像素子１１６と、ＡＦＥ１１７と、画像処理エンジン１１８と、第１メモリ１１９と、第２メモリ１２０と、メディアＩ／Ｆ１２１と、通信Ｉ／Ｆ１２２と、モニタ１２３と、レリーズ釦１２４とを有しており、この中でレンズ駆動部１１３、絞り駆動部１１５、ＡＦＥ１１７、第１メモリ１１９、第２メモリ１２０、メディアＩ／Ｆ１２１、通信Ｉ／Ｆ１２２、モニタ１２３、レリーズ釦１２４の各々は、画像処理エンジン１１８に接続されている。また、撮影光学系１１２は、例えば、ＤＯＥレンズを含んだ高機能な撮影光学系である。

第１メモリ１１９は、揮発性の記憶媒体（ＳＤＲＡＭなど）で構成されており、画像処理エンジン１１８による画像処理の前工程や後工程で撮像画像を一時的に記憶する。一方、第２メモリ１２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成されており、画像処理エンジン１１８によって実行されるプログラムを長期的に記憶する。

この第１メモリ１１９には、画像処理エンジン１１８が実行すべき画像処理プログラムが格納されており、この画像処理プログラムには、第１実施形態と同様のフレア除去処理の機能が搭載されている。フレア除去処理を実行する際、画像処理エンジン１１８は、フレア抽出部１２５として機能する。このフレア抽出部１２５は、第１実施形態のフレア抽出部２１と同様に動作する。

したがって、本実施形態の画像処理エンジン１１８は、電子カメラ１１１が撮影で取得した画像や、メディアＩ／Ｆ１２１（又は通信I／F１２２）を介して読み込まれた画像に対して、第１実施形態と同様のフレア除去処理を施すことができる。

なお、本実施形態のフレア除去処理は、撮影条件データを必要としないので、図２２において点線で示した部分は、電子カメラ１１１に対して交換可能であっても構わない。また、言うまでもないが、本実施形態のフレア除去処理は、撮影条件データを必要としないので、撮影光学系１１２の結像特性データを画像処理エンジン１１８が読み込む必要も無い。

１１…コンピュータ、１２…データ読込部、１３…記憶装置、１４…ＣＰＵ、１５…メモリ、１６…入出力Ｉ／Ｆ、１７…バス

Claims (19)

1. 撮影光学系により取得された処理対象画像を入力する入力手順と、
   前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手順と、
   前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手順と、
   前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手順と、
   を含むことを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記推定手順では、
   前記発生領域の明るさ範囲に基づき前記推定を行う
   ことを特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法において、
   前記推定手順では、
   前記理想的な輝点像成分の強度分布Ｄ（ｒ）を以下の式で表す
   Ｄ（ｒ）＝ａ／ｒ^ｎ＋ｂ
   但し、ｒは、前記発生領域の中央を基準とした径方向の位置である
   ことを特徴とする画像処理方法。
4. 請求項１に記載の画像処理方法において、
   前記抽出手順では、
   前記発生領域の中央を基準とした周方向にかけて空間周波数の低い成分を前記実際の輝点像成分として抽出する
   ことを特徴とする画像処理方法。
5. 請求項４に記載の画像処理方法において、
   前記抽出手順では、
   前記発生領域の中央を基準とした径方向に延びる複数の分割線で前記発生領域を分割し、それによって生じた複数の分割領域の各々を、前記中央を基準とした周方向にかけて平滑化することにより、前記実際の輝点像成分を抽出する
   ことを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法において、
   前記抽出手順では、
   前記複数の分割線を、前記処理対象画像の中央から前記発生領域の中央に至る線分に関して対称な関係で設定する
   ことを特徴とする画像処理方法。
7. 請求項１に記載の画像処理方法において、
   前記算出手順では、
   前記実際の輝点像成分Ａを前記理想的な輝点像成分Ｄで除した値を、前記フレアに起因して前記発生領域に生じた明るさ増幅率Ｃとして算出する
   ことを特徴とする画像処理方法。
8. 請求項７に記載の画像処理方法において、
   前記算出手順では、
   前記発生領域に対して（１−１／Ｃ）を乗算することにより、前記発生領域に含まれる前記フレア成分を算出する
   ことを特徴とする画像処理方法
9. 請求項８に記載の画像処理方法において、
   前記算出手順では、
   算出した前記フレア成分に明るさの異常部分が存在していた場合には、前記発生領域の中央を基準とした周方向に向かって前記異常部分と並んだ部分に基づき、前記異常部分を補正する
   ことを特徴とする画像処理方法。
10. 請求項８に記載の画像処理方法において、
    前記算出手順では、
    算出した前記フレア成分に明るさの異常部分が発生していた場合には、前記フレア成分の対応部分に基づき前記異常部分を補正し、
    前記対応部分は、
    前記処理対象画像の中央から前記発生領域の中央に至る線分に関して前記異常部分と対称な部分である
    ことを特徴とする画像処理方法。
11. 請求項８に記載の画像処理方法において、
    前記算出手順では、
    算出した前記フレア成分に発生している明るさの段差部を平滑化する
    ことを特徴とする画像処理方法。
12. 請求項８に記載の画像処理方法において、
    前記算出手順では、
    算出した前記フレア成分の周縁部が暗部となるよう前記フレア成分を補正する
    ことを特徴とする画像処理方法。
13. 請求項９〜請求項１２の何れか一項に記載の画像処理方法において、
    前記算出手順による処理後の前記フレア成分を前記発生領域から減算するフレア除去手順を更に含む
    ことを特徴とする画像処理方法。
14. 請求項１〜請求項１３の何れか一項に記載の画像処理方法において、
    前記推定手順、前記抽出手順、前記算出手順では、
    前記処理対象画像の代わりに前記処理対象画像のサイズ縮小版を使用する
    ことを特徴とする画像処理方法。
15. 撮影光学系により取得された処理対象画像を入力する入力手順と、
    前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手順と、
    前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手順と、
    前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
16. 撮影光学系により取得された処理対象画像を入力する入力手段と、
    前記処理対象画像のうちフレアの発生領域に含まれる理想的な輝点像成分を推定する推定手段と、
    前記発生領域から、フレア成分を含む実際の輝点像成分を抽出する抽出手段と、
    前記理想的な輝点像成分と前記実際の輝点像成分との間の相違を、前記発生領域に含まれるフレア成分の指標として算出する算出手段と、
    を含むことを特徴とする画像処理装置。
17. 撮影光学系が結像した被写体像を撮像する撮像素子と、
    請求項１６に記載の画像処理装置と、
    を備えたことを特徴とする撮像装置。
18. 請求項１７に記載の撮像装置において、
    回折光学素子を含む撮影レンズを更に備えた
    ことを特徴とする撮像装置。
19. 請求項１７に記載の撮像装置において、
    回折光学素子を含む撮影レンズを装着可能である
    ことを特徴とする撮像装置。