JP5121998B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、デジタル画像処理により画像の質を向上させるための画像処理技術に関する。

撮像光学系を用いて取得されたデジタル画像データ（原画像）に、撮像光学系の特性に起因した画質劣化成分が存在する場合に、原画像を画像処理技術により解析して、原画像から画質劣化成分を除去する方法が提案されている。

上記画質劣化成分としては、撮像光学系を構成するレンズの表面や鏡筒内壁で反射したり散乱したりした不要光が集まり、画像のコントラストを低下させるフレアがある。また、回折光学素子を用いた撮像光学系において、本来の結像に用いる回折光以外の回折次数成分により発生する不要回折光もある。

フレアに対する画質改善手法として、所定の光源で発生するフレアを予め記憶しておき、原画像から光源の明るさを推定し、その明るさでの予測フレアを記憶フレアを用いて擬似的に発生させ、予測フレアを原画像から減算する方法がある（特許文献１参照）。

また、不要回折光に対する画質改善手法として、予め準備した不要回折光の点像強度分布と原画像中の光源の像との間でコンボリューション演算を行い、原画像からその演算結果を減算する方法がある（特許文献２，３参照）。

特許第３３７２２０９号公報 特開平９−２３８３５７号公報 特開２００５−１３６９１７号公報

フレアの一種として、上記不要光によって形成されたある程度の形状を持った像としてのゴーストもある。しかしながら、ゴーストに関しては、従来、有効な画質改善手法が提案されていない。

このため、原画像からゴーストを除去するには、フォトレタッチソフトを用いた人の手作業で原画像を加工したり編集したりする必要があり、多大な手間や時間がかかっていた。

本発明は、原画像からゴーストを容易に除去できるようにした画像処理装置及び画像処理方法を提供する。

本発明の一側面としての画像処理装置は、撮像光学系を用いて取得された、ゴースト像成分を含む原画像に対して画像処理を行う。該画像処理装置は、原画像を用いてゴースト光源の方向に関する情報を推定する光源方向推定手段と、記憶手段に記憶された参照データから、ゴースト光源の方向に関する情報と原画像の取得時における撮像光学系に関する情報とに対応するゴースト像成分に関する情報を取得するゴースト情報取得手段と、該ゴースト像成分に関する情報に基づいて、ゴースト像成分のシミュレーション画像を生成するシミュレーション手段と、原画像からシミュレーション画像を減算する減算手段を有する。ここで、光源方向推定手段は、原画像外に存在するゴースト光源の方向に関する情報を推定する手段を有することを特徴とする。

なお、上記画像処理装置を有する撮像装置も本発明の他の側面を構成する。

また、本発明の他の側面としての画像処理プログラムは、撮像光学系を用いて取得されたゴースト像成分を含む原画像に対して、コンピュータに以下の処理を行わせる。該処理は、原画像を用いてゴースト光源の方向に関する情報を推定する光源方向推定ステップと、記憶手段に記憶された参照データから、ゴースト光源の方向に関する情報と原画像の取得時における撮像光学系に関する情報とに対応するゴースト像成分に関する情報を取得するゴースト情報取得ステップと、ゴースト像成分に関する情報に基づいて、ゴースト像成分のシミュレーション画像を生成するシミュレーションステップと、原画像からシミュレーション画像を減算する減算ステップとを含む。ここで、光源方向推定ステップは、原画像外に存在するゴースト光源の方向に関する情報を推定するステップを有することを特徴とする。

本発明によれば、ゴースト像成分のシミュレーション画像を生成し、これを原画像から減算するので、ゴースト像成分が除去された高画質の画像を容易に得ることができる。

ゴースト光の光路図。 ゴーストのスポットダイアグラムとそのスポットダイアグラムから生成したゴースト像強度分布を示す図。 光源と像の物理的な位置関係を示す図。 ゴーストとフレアの違いを示す図である。 像面に形成されたゴースト光源像とゴーストの出現位置との関係を示す図。 本発明の実施例１，２におけるゴースト除去処理を示すフローチャート。 ゴースト除去処理のうち光源方向サーチ処理を示すフローチャート。 画像データ内でのゴースト光源方向サーチ処理を示すフローチャート。 入力画像データからゴーストが除去される様子を示す図。 画像データ外でのゴースト光源方向サーチ処理を示すフローチャート。 ゴースト除去処理のうちゴーストＳｉｍ．像の算出要素取得処理を示すフローチャート。 ゴースト像強度分布参照テーブルの例を示す図。 ゴースト除去処理のうちゴーストＳｉｍ．像の強度補正処理を示すイメージ図。 ゴースト除去処理のうち減算処理を示すイメージ図。 減算処理で画質を改善できない場合の例を示すイメージ図。 実施例１の撮像装置の構成を示すブロック図。 実施例２の画像処理装置の使用形態を示す図。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

実施例の説明に先立って、実施例において原画像から除去する対象であるゴースト像成分について説明する。

ゴースト像とは、複数のレンズ等を含む光学系において、レンズ表面での反射を介して本来の結像光（有効結像光）が通る光路とは異なる光路を通って像面上に到達した光（不要光）により、視覚的に一定の形状が認められるように形成された光学像である。なお、ゴースト像（以下、単にゴーストという）は、一般に、上記と同様の不要光により形成されるが、むらやかぶり等の一定の形状が認められないように発生するフレアと区別される。

図１には、複数のレンズを含む光学系において、ある点光源からの光によって形成されるゴーストを示す。ゴーストを形成する光を発する光源を、ゴースト光源という。ゴースト光源からの光がレンズ表面間で反射して生じたゴーストは、結像せずにある程度の広がりを持って像面に到着する。

図４はゴーストとフレアの違いを示す図である。４０１はゴースト像、４０２はフレアを示している。これらの図を比較すると分かるように、ゴーストは、フレアと異なり、視覚的に認識できる一定の形状を有する。

一般に、レンズ表面での反射率は低く、またレンズ表面には反射を低減するコーティングも施されているため、複数回の反射によって像面に到達してゴーストを形成する不要光（以下、ゴースト光という）の強度はきわめて弱い。このため、被写体の光強度が弱い場合は、ゴーストは人間が視認できる強度では出現しない。

しかし、被写体として非常に強い光源、例えば太陽を含む場合には、ゴーストは人が視認できる強度にまで高められ、画像の質を劣化させる要因となる。また、ゴースト光の光路は有効結像光の光路とは異なり、被写体から離れた位置にある非常に強い光源の光が像面に到達することでゴーストを出現させる場合もある。

また、撮像光学系のレンズ表面での反射により生ずるゴーストは、同じレンズ表面に対して反射と透過を経る。したがって、ゴーストの分光特性は、反射と透過の分光特性が積算される結果、比較的狭いスペクトルを持ち、彩度が高い傾向がある。

本実施例では、太陽光や太陽光を反射した物体からの光により発生するゴーストを容易に除去する。

以下、本実施例においては、撮像光学系はその光軸に対して回転対称形状を有するものとして説明を行う。また、撮像光学系及び撮像素子を用いて取得された原画像を、入力画像データといい、該入力画像データは、赤、緑、青の３原色からなるカラー画像データであるとして説明を行う。

本実施例では、まず、ゴーストの出現位置をゴースト光源が存在する方向から判定する。そこで、図３、図５を用いて、ゴースト光源が存在する方向の表記方法について説明する。

図３には、光源と像の物理的な位置関係を示す。図３では、光軸をＺ軸で、水平方向をＸ軸で、垂直方向をＹ軸でそれぞれ表す。光軸と像面が交わる点を画面中心という。図３において、光源と撮像系の物体側主点を結ぶ直線が光軸とのなす角度（半画角）をω、光源及び光軸を含む平面とＹ軸及び光軸を含む平面のなす角（軸方向回転角）をφと定義する。この場合、光源の存在する方向は、（ω，φ）で表現できる。本実施例では、この（ω，φ）を、ゴースト光源の方向に関する情報としてのゴースト光源方向情報という。

図５には、像面に形成されたゴースト光源の像とゴーストの出現位置との関係を示す。光軸に対して回転対称な撮像光学系では、ゴースト光の光路も有効結像光の光路と同様に、子午切断面に対して左右対称になり、ゴーストの中心点はゴースト光源の像と画面中心を結ぶ直線上に位置する。

図１６には、本発明の実施例１である画像処理装置を有する撮像装置の構成を示す。撮像装置１は、基本的には、撮像光学系１６０１と、撮像素子１６０３と、画像形成回路１６０４と、メモリ制御回路１６１１、画像出力部１６１２及びフレームメモリ１６１３等を備える。

撮影光学系１６０１は、撮像素子１６０３に光を導く。１６０３は絞りやシャッタ等を含む露光量制御部材である。撮影光学系１６０１から入射した被写体光は、露光量制御部材１６０２を介して撮像素子１６０３に到達する。

撮像素子１６０３は、被写体光（光学像）を電気信号に変換する撮像素子であり、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサで構成される。

画像形成回路１６０４は、撮像素子１６０３からのアナログ出力信号をデジタル化し、さらに各種処理を施して画像信号を生成する。画像形成回路１６０４は、Ａ／Ｄ変換回路１６２１、オートゲイン制御回路（ＡＧＣ）１６２２、オートホワイトバランス回路（ＡＷＢ）１６２３及びその他の不図示の画素補間処理や色変換処理等を行う回路を含む。

Ａ／Ｄ変換回路１６２１は、アナログ信号を標本化及び量子化してデジタル信号に変換する。ＡＧＣ１６２２は、デジタル信号のレベル補正を行う。ＡＷＢ１６２３は、画像の白レベル補正を行う。

１６０５は撮像光学系１６０１のフォーカシングを制御するフォーカス制御部である。１６０６は露光量制御部材１６０２を制御する露光制御部である。フォーカス制御部１６０５及び露光制御部１６０６は、例えば、ＴＴＬ方式による自動焦点調節及び自動露出調節を行う。

１６０７は撮像装置１全体の制御を司るシステム制御回路である。１６０８はシステム制御回路１６０７で用いられる制御用データや処理プログラム等を記憶するフラッシュメモリ等のメモリ（記憶手段）である。１６０９は各種調整値等の情報を記憶するＥＥＰＲＯＭ等の不揮発性メモリである。

１６１０は画像処理装置としてのゴースト除去回路である。ゴースト除去回路１６１０は、撮像光学系１６０１及び撮像素子１６０３を用いて画像形成回路１６０４で生成された入力画像データからゴースト像成分を除去する。ゴーストは、本来、不要光により形成される光学像を意味するが、以下の説明では、このゴーストに対応した画像成分であるゴースト像成分も、単にゴーストという。また、ゴースト除去回路１６１０は、後に説明する図６のフローチャートに示す処理を実行することで、光源方向推定手段、ゴースト情報取得手段、シミュレーション手段、マッチング手段及び減算手段として機能する。

ゴースト除去回路１６１０は、不図示の操作部にて選択できるゴースト除去モードの設定により動作する。ゴースト除去回路１６１０に入力される画像データ（原画像）は、必ずしも画像形成回路１６０４での全ての処理を終えた画像データでなくともよく、画像形成回路１６０４での処理途中の画像データであってもよい。処理途中の画像データをゴースト除去回路１６１０に入力する場合は、該ゴースト除去回路１６１０で処理された画像データを再び画像形成回路１６０４に入力し、そこでの処理を継続する。

１６１３はゴースト除去回路１６１０又は画像形成回路１６０４から出力された画像データ（映像データ）を１画面又は複数画面単位で一時的に記憶保持するフレームメモリである。１６１１はフレームメモリ１６１３に対する画像データの入出力を制御するメモリ制御回路である。

１６１２はゴースト除去回路１６１０又は画像形成回路１６０４から出力された画像データを、図示しないモニタや記録媒体等の画像出力装置に表示又は記録する画像出力部である。

次に、図６を用いて、本実施例の撮像装置１のゴースト除去回路１６１０で行われるゴースト除去処理について説明する。本処理は、ゴースト除去回路１６１０を構成するマイクロコンピュータにおいて、該マイクロコンピュータ内に格納された画像処理プログラムとしてのコンピュータプログラムに従って実行される。

ステップＳ６０１では、マイクロコンピュータは、ゴースト除去回路１６１０に入力画像データを取り込む。

次にステップＳ６０２（光源方向推定ステップ）では、入力画像データを解析し、ゴースト光源と推定される光源の方向情報を記載したゴースト光源方向情報リストを作成する。該リストには、複数の光源の方向情報を記載してもよい。このステップの処理については後に詳しく説明する。

次にステップＳ６０３では、ゴースト光源方向情報リストに記載されたゴースト光源の全候補を処理が完了したか否かを判定する。全候補の処理が終了するまでは、以下のステップＳ６０４〜Ｓ６１０の処理を繰り返す。全候補の処理か終了した場合は、ステップＳ６１１に進む。

ステップＳ６０４（ゴースト情報取得ステップ）では、ゴーストシミュレーション像（シミュレーション画像）を算出するために必要な要素を取得する。以下の説明では、シミュレーションをＳｉｍ．と略記する。

ステップＳ６０４では、まずメモリ１６０８に予め記憶されたゴースト像強度分布参照テーブル（参照データ）を参照する。ゴースト像強度分布参照テーブルでは、撮像光学系に関する情報としての撮像条件と、ゴースト像成分に関する情報としての該撮像条件にて出現するゴーストの像強度分布ファイル（像強度分布情報）とが対応付けられて記載されている。撮像条件には、Ｆナンバー、デフォーカス量及びズーム状態等が含まれる。また、ゴースト像強度分布ファイルは、ゴーストのスポットダイアグラム等から構成されるデータである。

次に、ゴースト像強度分布参照テーブルから、入力画像データ取得時における撮像条件とステップＳ６０２で取得したゴースト光源方向情報のうちωとに対応する、ゴースト像強度分布ファイルと発生し得るゴーストの出現位置（像高）の情報とを取得する。

次に、光源のスペクトルデータをゴースト除去回路１６１０又は不揮発性メモリ１６０９から取得する。例えば、光源のスペクトルは、ゴーストが発生しやすい昼間の太陽光のスペクトルとする。ただし、一般に、デジタルスチルカメラやデジタルビデオルカメラには自動ホワイトバランス（ＡＷＢ）処理用の内部測光センサが設けられており、光源の色温度を測定できる。このため、本実施例でも、ステップＳ６０４で、撮像装置１が持っている光源の色温度の情報から光源のスペクトルを推定し、ゴースト光源のスペクトルとして用いてもよい。

さらに、本ステップＳ６０４では、撮像素子１６０３に設けられたカラーフィルタの分光特性データを、ゴースト除去回路１６１０又は不揮発性メモリ１６０９から取得する。

次にステップＳ６０５（シミュレーションステップ）では、ステップＳ６０４で取得したゴースト像強度分布ファイル、光源のスペクトルデータ及びカラーフィルタの分光特性データに基づいて、ゴーストをシミュレートしたゴーストＳｉｍ．像を生成する。第１のシミュレーション画像としてのゴーストＳｉｍ．像の生成処理については後に詳しく説明する。

次にステップＳ６０６（マッチングステップ）では、入力画像データ中のゴーストとステップＳ６０５で生成したゴーストＳｉｍ．像との間でパターンマッチング処理を行う。本ステップで実行するパターンマッチング処理の詳細は後に説明する。

次にステップＳ６０７では、ステップＳ６０６で出力したパターンマッチング処理の結果に基づいて、ゴースト除去が可能か否かを判断する。マッチング処理の結果が所定の閾値以下ならば、予測したゴーストが存在しないと判定し、ステップＳ６１０に進む。一方、マッチング処理の結果が所定の閾値以上ならば、予測したゴーストが存在するとこなしてステップＳ６０８に進む。

ステップＳ６０８では、ステップＳ６０５で生成したゴーストＳｉｍ．像の像強度を入力画像データ中のゴーストと合わせる（対応させる）ための像強度補正処理を行う。これにより、第２のシミュレーション画像としての強度補正ゴーストＳｉｍ．像を生成する。本ステップで実行する処理の詳細は後に述べる。

次にステップＳ６０９（減算ステップ）では、入力画像データから、ステップＳ６０８で生成した強度補正ゴーストＳｉｍ．像を減算する。これにより、出力画像データとしてのゴースト除去画像データが生成される。本ステップで実行する処理の詳細は後に述べる。

次にステップＳ６１０では、全ゴースト光源の候補における次の候補に対する処理に移行する。ステップＳ６１０からはステップＳ６０３に戻り、ステップＳ６０２でリストアップした全ゴースト光源の候補を処理するまでステップＳ６０３〜ステップＳ６１０の処理を続ける。

最後に、ステップＳ６１１では、ステップＳ６０２〜ステップＳ６１０の一連のゴースト除去処理を行った出力画像データを、画像出力部１６１２又は画像形成回路１６０４に出力する。

図９には、上記ゴースト除去処理によって入力画像データからゴーストが除去される様子を示す。入力画像データ９０１に対して、ステップＳ６０２でのゴースト光源方向のサーチ処理を行い、入力画像データ９０１中にあるゴースト光源像を特定する。次に、９０２に示すように、ゴースト光源像からゴースト像の出現位置や形状を予測する。そして、最後にゴースト像を除去した出力画像データ９０３を生成する。

以下、図６の各ステップについて詳しく説明する。まず、ステップＳ６０２におけるゴースト光源方向のサーチ処理について、図７のフローチャートを用いて説明する。

光源方向サーチ処理は、画像データ内でのゴースト光源方向のサーチ処理（Ｓ７０１）と、画像データ外でのゴースト光源方向のサーチ処理（Ｓ７０２）と、ゴースト光源方向情報リストの作成処理（Ｓ７０３）とにより構成される。

図８は、ステップＳ７０１で行われる画像データ内でのゴースト光源方向のサーチ処理の内容を示したフローチャートである。

まず、ステップＳ８０１では、マイクロコンピュータは、入力画像データの各画素の輝度を計算し、所定の閾値（例えば、輝度値２５０）によって入力画像データ７０１を２値化した２値化画像を生成する。

次にステップＳ８０２では、２値化画像に対し、隣接する要素を連結してグループ分類するラベリング処理を行い、複数のグループを生成する。ラベリング処理は、公知の技術であるため、ここでの詳しい説明は省略する。

次にステップＳ８０３では、ラベリング処理で生成した全てのグループに対して以降の処理が終了したか否かを判定する。全てのグループに対する処理が完了していれば、本サーチ処理を終了する。全てのグループに対する処理が完了するまでは、ステップＳ８０４〜Ｓ８０７の処理を繰り返す。

ステップＳ８０４では、ラベリング処理で生成した各グループに対し、上下左右端の画素の位置から外接矩形の大きさを求める。

次にステップＳ８０５では、計算した外接矩形のサイズを判定する。所定の範囲に収まる大きさの外接矩形ならば、該グループをゴースト光源像とみなしてステップＳ８０６に進む。一方、そうでないならば、ゴースト光源像とはみなさずにステップＳ８０８に進む。なお、グループをゴースト光源像とみなすための外接矩形の範囲は、実験等により求めるとよい。

例えば、ラベリングしたグループが５×５画素以上、３０×３０画素以下の外接矩形に収まるならば、該グループをゴースト光源の像と見なす。

次にステップＳ８０６では、ゴースト光源像であるとみなしたグループの中心座標を求める。中心座標は、ラベリングしたグループの重心、すなわち該グループに含まれる各画素のＸ座標の平均値とＹ座標の平均値とから求めることができる。この処理により、ゴースト光源像の中心座標Ｇが分かる。図９に示した９０２では、ゴースト光源像の中心座標Ｇは画面中の右上領域にて見つけられている。

次にステップＳ８０７では、撮像素子１６０３の画面（受光面）中心Ｉとゴースト光源像の中心座標Ｇとから、ゴースト光源方向情報（ω，φ）を求める処理を行う。

まず図９の９０２に示す画面中心Ｉと、そこからゴースト光源像の中心座標Ｇまでの距離（像高）Ｒとを、ＩとＧのそれぞれの座標である、

から、以下のように求める。

次に、距離Ｒから半画角ωを求める。今、ゴースト光源が太陽のように十分遠い距離（無限遠）にある場合について考え、撮像光学系の焦点距離をｆ、焦点から像面までの距離をｘ’、ゴースト光源像の像高をｙ’とする。（ｆ、ｘ’、ｙ’の単位は[mm]）ｆとｘ’は撮像光学系の状態を示す情報から取得でき、ｙ’は前述の距離Ｒにセンサーの画素ピッチを掛け算することで求められる。

半画角ωはゴースト光源と撮像光学系の物体側主点を結ぶ直線が光軸となす角であり、またゴースト光源像と撮像光学系の像側主点を結ぶ直線が光軸となす角と等しいため、後者から半画角ωを計算すると

となる。

以上の処理により、画像データ内でのゴースト光源方向情報（ω，φ）を推定又は特定することができる。なお、（ω，φ）の組み合わせは複数個存在してもよい。

次にステップＳ８０８では、マイクロコンピュータは、未処理のラベリングしたグループがある場合には、ステップＳ８０３に進み、全てのグループに対する処理を完了するまでステップＳ８０３〜Ｓ８０８までの処理を実行する。以上で、画像データ内でのゴースト光源方向のサーチ処理が終了する。

図１０は、画像データ外でのゴースト光源方向のサーチ処理の内容を示すフローチャートである。

画像データ外に存在するゴースト光源の場合は、入力画像データにおいて画面中心Ｉを中心とする回転角φの直線上に彩度の高い領域が存在するか否かでゴースト光源の有無及び光源の方向を特定する。

まず、ステップＳ１００１では、マイクロコンピュータは、入力画像データをＨＳＩ変換して彩度画像データを生成する。ＨＳＩとは、色相（Hue）、彩度（Saturation）、明度（Intensity）の略である。一般に、ゴーストは彩度が高い傾向があるため、彩度画像データを分析すれば、画像データ内のゴーストの有無を判定できる。

次にステップＳ１００２では、彩度画像データを所定の閾値により２値化する。閾値は、実験的に決めた値を用いる。また、閾値を各画素に対して固定するだけでなく、画素ごとに閾値を変化させる動的閾値処理を行ってもよい。動的閾値処理を用いれば、シェーディングなどの背景の変化にかかわらず、背景と対象物を精度よく分離できる。

続いてステップＳ１００３では、２値化した彩度画像データに対してラベリング処理を行う。

次にステップＳ１００４では、ラベリング処理でグループ分けした全グループに対して処理が完了したか否かを確認する。全てのグループに対する処理が完了していれば、本サーチ処理を終了する。全てのグループに対する処理が完了するまでは、ステップＳ１００５〜Ｓ１００８の処理を繰り返す。

次にステップＳ１００５では、各グループの外接矩形のサイズを計算する。

続いてステップＳ１００６では、ステップＳ１００５で計算した外接矩形のサイズが一定サイズ以上か否かを判定し、一定サイズ以上である場合にはステップＳ１００７に進む。一定サイズ未満の場合にはステップＳ１００９に進む。

次にステップＳ１００７では、各グループの中心座標を求める。

さらにステップＳ１００８では、それぞれの中心座標と画面中心とを通過する直線の回転角φを求める。

そしてステップＳ１００９では、次のグループの処理に移行し、ステップＳ１００４に戻る。

以上の処理により、画像データ外におけるゴースト光源の方向に関する回転角φを特定できる。ただし、上記の処理では、画像データ外のゴースト光源の方向に関する半画角ωの推定は難しい。このため、ゴースト光源方向情報（ω，φ）のωには、撮像素子で撮像可能な半画角以上の全画角、すなわちゴースト光源が撮像素子に記録されない半画角を全てリストアップする。このとき、必要以上にωを増やさないため、撮像素子の形状と回転角φを考慮することで、撮像素子で撮像可能な半画角ωの数を抑える。

以上で、画像データ外でのゴースト光源方向のサーチ処理を終了する。

次にステップＳ７０３におけるゴースト光源方向情報リストの作成処理で、入力画像データごとのゴースト光源方向情報リストを作成する。ゴースト光源方向情報リストには、ステップＳ７０１及びＳ７０２でゴースト光源と予測された光源の方向（ω，φ）をリストアップする。以降の処理では、このゴースト光源方向情報リストを参照して、ゴーストの除去を行う。

以上で、ステップ６０３のゴースト光源方向のサーチ処理を終了する。

次に、ステップＳ６０４にて行われるゴーストＳｉｍ．像の算出要素取得処理について説明する。

図１１は、ゴーストＳｉｍ．像の算出要素取得処理の内容を示すフローチャートである。ゴーストＳｉｍ．像の算出要素取得処理は、ステップＳ１１０１でのゴースト像強度分布取得処理と、ステップＳ１１０２での光源スペクトル取得処理と、ステップＳ１１０３でのカラーフィルタ分光特性配列処理とにより構成される。

ステップＳ１１０１のゴースト像強度分布取得処理について説明する。このゴースト像強度分布取得処理では、ステップＳ６０２で取得したゴースト光源方向情報のωから、画質劣化を生じさせる強いゴーストの像面での強度分布を表すゴースト像強度分布とゴーストの出現位置（像高）を取得する。

まず、ゴースト像強度分布について簡単に説明する。図２に示した２０２は、スポットダイアグラム２０１から生成したゴースト像強度分布を示す。ゴースト像強度分布２０２は、撮像素子の１画素ごとに表現したゴースト像の強度分布を表している。

次に、スポットダイアグラムからゴースト像強度分布を作成する方法について説明する。本実施例では、ゴーストのスポットダイアグラムは、スポットごとに像面でのスポット座標（単位［ｍｍ］）と光の透過率を保持しているものとして説明する。

撮像素子の画素ピッチ（単位［ｍｍ］）が与えられると、各スポットの座標を画素ピッチで除して得られた値を四捨五入することで、スポットダイアグラムの各スポットが撮像素子のどの画素に含まれるかを計算できる。

スポットダイアグラムが持つ全てのスポットに対して上記処理を行い、各スポットが持つ透過率をゴースト像強度分布の各画素に加算すれば、ゴースト像強度分布が得られる。

このとき、撮像素子の画素ピッチに対し、ゴーストのスポットダイアグラムが十分なスポット数を持っていれば、滑らかなゴースト像強度分布が得られる。しかし、十分なスポット数を持っていなければ、全スポットに対して処理してもスポットが含まれる画素とそうでない画素が間欠的に現われ、滑らかなゴースト像強度分布が得られない。

この場合は、以下に説明するスポット補間処理によってスポットダイアグラムのスポット数を増やす。スポット補間処理とは、入射瞳で互いに近傍の４点を通過する４つの光線のスポット座標と透過率とから、補間演算によりその間を通る光線のスポット座標と透過率を計算する処理である。補間としては線形補間を用いる。

このスポット補間処理を用いれば、例えば入射瞳をメッシュ状に３２×３２個に分割して光線を飛ばして得られたスポットダイアグラムに対し、２倍や４倍の補間により、瞳の分割数６４×６４や１２８×１２８に相当するスポットダイアグラムが得られる。このとき、入射瞳を分割するメッシュの一辺当たりにおける光線本数の倍数をスポット補間数という。

滑らかなゴースト像強度分布が得られるスポット補間数は、ゴーストのスポットダイアグラムの広がりと撮像素子の画素ピッチとに依存する。ゴーストのスポットダイアグラムが広がるとスポット補間数を増やし、撮像素子の画素ピッチが小さくなると同じくスポット補間数を増やす必要がある。このため、予めゴーストスポットダイアグラムごとに指定した撮像素子の画素ピッチで滑らかに補間できるスポット補間数を計算し、記憶保持しておくとよい。この場合、撮像素子の画素ピッチが異なる撮像装置に特定の交換レンズを接続しても、撮像素子の画素ピッチの倍率に基づいて、滑らかに補間するために必要なスポット補間数を算出できる。

撮像素子の画面全体に広がるゴーストの場合には、スポット数を増やさなければ滑らかなゴースト像強度分布が得られない傾向がある。このため、スポット補間処理は有効である。

補間で求めたスポット座標と透過率は、入射瞳の該当する位置を通る実際の光線のスポット座標と透過率とは若干異なる可能性があるが、元々のスポット数をある程度確保していれば、誤差は少なく、実用上十分な精度が得られる。

図１２には、あるレンズ（Ｌｅｎｓ−１）のＦナンバー５．６、焦点距離５０［ｍｍ］、デフォーカス量０．０［ｍｍ］における、画像に対する影響が大きいゴーストの情報を記載したゴースト像強度分布参照テーブルを示す。図１２では、半画角ωをインデックスとして、ゴーストの出現位置（中心像高）と、点光源におけるゴースト像強度分布が格納されたファイル名とが記載されている。

ゴースト像強度分布ファイルには、所定の画素ピッチにおいて滑らかに補間するためのスポット補間数と、ゴーストのスポットダイアグラムのスポット座標と、スポットごとの透過率データとが波長毎に格納されている。ゴースト像強度分布ファイルにはさらに、ゴースト像強度分布の作成に有効な補助情報、例えばスポットダイアグラムの外接矩形の大きさ、を格納してもよい。

例えば、ステップＳ６０２でゴースト光源の方向に関する半画角ωが３５．０度であると推定した場合は、図１２より、画像に対する影響が大きいゴーストは、番号１に対応するゴーストとして１つ出現する。そして、番号１のゴーストの出現位置（中心像高）は２．０［ｍｍ］の位置であり、ゴースト像強度分布ファイルは、
「L1_F5.6_Z50_D0_LIST1.psf」
という名称であることが分かる。

ステップＳ１１０１のゴースト像強度分布取得処理では、撮像光学系の条件（撮像条件）ごとに準備されたゴースト像強度分布参照テーブルを参照する。このとき、半画角ωをインデックスとして、ゴーストの出現位置（中心像高）とゴースト像強度分布ファイルを取得する。

そして、ゴースト像強度分布ファイルに記載されたスポット座標、透過率及びスポット補間数に基づいて、ゴースト像強度分布ファイルを作成する。

ゴーストが回転角φ方向に出現する場合、スポット座標を角度φだけ回転してからスポット補間処理を行ってもよいし、スポット補間後にスポット座標を回転させてもよい。

撮像素子の画素ピッチがゴースト像強度分布ファイルに記載された基準のスポット補間数と異なる場合は、スポット補間数を計算した基準の画素ピッチとの倍率だけスポット補間数を増やせばよい。例えば、撮像素子の画素ピッチが３μｍであり、基準の画素ピッチが６μｍである場合は、基準のスポット補間数を２倍したスポット補間数でスポット補間処理をすることで、滑らかなゴースト像強度分布が得られる。

以上説明したように、ステップＳ１１０１では、図１２に示すようなゴースト像強度分布参照テーブルからゴーストの出現位置（中心像高）とゴースト像強度分布ファイルを取得し、滑らかに補間されたゴースト像強度分布を計算により取得する。

次に、ステップＳ１１０２の光源スペクトル取得処理について説明する。本実施例では、光源のスペクトルは、デフォルトでは晴天時の昼光のスペクトルを用いる。光源のスペクトルデータは、撮像装置１内の不揮発性メモリ１６０９に格納されており、必要に応じて読み出して取得することができる。

ただし、一般に、デジタルカメラは自動ホワイトバランス（ＡＷＢ）処理のために、撮像時に内部測光センサにより光源の色温度を測定する機能を有する。したがって、本実施例でも、撮像装置１の内部で測定保持されたこの色温度情報から、太陽光のスペクトルを推定することも可能である。

次に、ステップＳ１１０３のカラーフィルタ分光特性取得処理について説明する。カラーフィルタの分光特性も、光源のスペクトルと同様、撮像装置１の不揮発性メモリ１６０９に格納されていて、必要に応じて読み出すことで取得することができる。

以上のステップＳ１１０１〜１１０３の処理により、ゴーストＳｉｍ．像算出のために必要な各要素を取得することができる。

次に、ステップＳ６０４で行われるゴーストＳｉｍ．像生成処理について説明する。ゴーストＳｉｍ．像生成処理では、光源のスペクトルと撮像素子の各色のカラーフィルタの分光特性と、ゴースト像強度分布とを積算し、波長積分してゴーストＳｉｍ．像の各色の値を計算する。

光源のスペクトルをＰ（λ）、赤、緑、青のカラーフィルタの分光特性をそれぞれＲ（λ）、Ｇ（λ）、Ｂ（λ）、波長ごとのゴースト像強度分布をＰＳＦ（ｘ，ｙ，λ）、ｋを定数として、ゴースト像の赤、青、緑の値である

を数式で表すと、

となる。

通常、波長３５０［ｎｍ］から８００［ｎｍ］の帯域で、１０［ｎｍ］間隔でデータを準備すれば、実用的な精度で色再現が可能である。上記計算式で得られるゴーストＳｉｍ．像の色は、カラーフィルタの分光特性の重み付けによって計算された状態にあり、まだｓＲＧＢ等の色空間には変換されていない状態にある。したがって、仮にゴーストＳｉｍ．像と入力画像データの色空間が異なる場合は、ゴーストＳｉｍ．像に対して、入力画像データの色空間に合わせる色変換を行う必要がある。

本実施例では、入力画像データもゴーストＳｉｍ．像と同じく、カラーフィルタの分光特性の重み付けによって計算された状態にあるとする。

ここまでは、ゴースト光源が点光源である場合について説明してきたが、太陽は若干の拡がりを持つ面光源であり、実際のゴーストは点光源とみなして計算したゴーストＳｉｍ．像と異なる場合もある。このため、点光源の代わりに、面光源に対応したゴーストＳｉｍ．像を格納する場合について以下に説明する。

面光源に対応したゴースト像強度分布データは、面光源を複数の点光源に分割して得られる、互いに位置が異なる複数の点光源のゴースト像強度分布データによって表現される。面光源の分割方法は、メッシュ状でもランダムでもよい。点光源の数を十分に確保すれば、既に述べたスポット補間処理により滑らかな面光源ゴーストの強度分布を生成できる。

光源が面光源である場合のゴーストＳｉｍ．像は、波長ごとの面光源のゴースト像強度分布をＰＬ（ｘ，ｙ，λ）とすると、点光源の場合のゴーストＳｉｍ．像と同様に、

で計算できる。

次に、ステップＳ６０５で行われるゴーストＳｉｍ．像を用いたマッチング処理について説明する。

ここでは、まず実際に撮像により取得された入力画像データ中のゴースト出現位置の前後でゴーストＳｉｍ．像のパターンマッチングを行う。このとき、パターンマッチングは入力画像データを画面中心を中心とした極座標に変換した後で行うとよい。これは、既に述べたように、ゴーストは画面中心を通る回転角φの直線上に出現するため、画像データを極座標に変換することで、回転角φの直線上の移動を平行移動として高速にて取り扱えるメリットがあるためである。また、マッチング処理をゴーストが出現すると想定される近傍領域に限って行うことで、処理の負荷を軽減することができる。

ステップＳ６０５におけるパターンマッチングの方式としては、画素値の差の２乗和が最小となる位置を見つける最小２乗誤差方式や、正規化相互相関方式等が挙げられる。

ステップＳ６０５では、パターンマッチング処理の結果を出力する。例えば、正規化相互相関方式を用いる場合、マッチング処理結果は、−１．０から１．０までの間の値となる。

次に、ステップＳ６０７で行われるゴースト除去判断処理について説明する。ステップＳ６０７では、ステップＳ６０６のマッチング処理結果に対して、閾値を用いた判定処理を行う。マッチング処理結果が所定の閾値以上であれば、以降のステップでゴースト除去処理を行い、閾値未満であればステップＳ６１０に進んで、ゴースト除去処理を行わない。ここでの閾値も、実験により定めた値とする。

次に、ステップＳ６０８で行われるゴーストＳｉｍ．像の強度補正処理について説明する。ステップＳ６０５及びＳ６０６での処理により、入力画像データ中のゴーストとゴーストＳｉｍ．像とが良好に一致すると判定されている。しかし、入力画像データ中のゴーストとゴーストＳｉｍ．像とをより近似させるため、双方のゴーストの強度及びオフセットを近づけることが望ましい。

ゴーストＳｉｍ．像の強度及びオフセットを入力画像データ中のゴーストに近似させる方法の１つとして、最小二乗法がある。最小二乗法とは、実写ゴースト像をＳ（ｘ，ｙ）、ゴーストＳｉｍ．像をＧＨ（ｘ，ｙ）とし、ゴーストＳｉｍ．像の振幅倍率をａ、オフセットをｂとすると、

を最小とするａ，ｂを求める方法である。

Ｒ，Ｇ，Ｂチャネルの強度をそれぞれ別々に調整すると、精度良く強度を合わせることができる。

図１３には、強度補正処理のイメージ図を示す。１３０１は入力画像データ中のゴーストの１次元の強度イメージを示し、１３０２は強度補正後のゴーストＳｉｍ．像（強度補正ゴーストＳｉｍ．像）の１次元の強度イメージを示す。縦軸は画素値を、横軸は位置を表す。

次に、ステップＳ６０９で行われる減算処理について説明する。ステップＳ６０９では、入力画像データ中のゴーストに対して強度補正ゴーストＳｉｍ．像のパターンが最も良く一致する位置で、前者から後者の減算を実行する。その結果、入力画像データからゴーストが良好に除去された出力画像データが得られる。

図１４には、上記減算処理のイメージ図を示す。１４０１はゴーストを含む入力画像データであり、１４０２は強度補正ゴーストＳｉｍ．像（ただし、オフセットｂは除く）である。縦軸が画素値を、横軸が位置を表す。

１４０３は入力画像データ１４０１から強度補正ゴーストＳｉｍ．像１４０２を減算して得られた出力画像データである。入力画像データ１４０１中から、実際のゴーストとの一致度が高い強度補正ゴーストＳｉｍ．像１４０２を減算することで、入力画像データ１４０１からゴーストが良好に除去された出力画像データ１４０３が得られる。

ただし、入力画像データ中のゴーストの強度が高く、強度補正ゴーストＳｉｍ．像を減算しても出力画像データの画質を十分に高められない場合もあり得る。図１５には、減算処理で必ずしも出力画像データの画質を改善できない場合の例を示す。

１５０１はゴーストを含むものの画素値が飽和したあるチャネルの入力画像データを示す。１５０２は強度補正ゴーストＳｉｍ．像（ただしオフセットｂは除く）である。縦軸が画素値を、横軸が位置を表す。

１５０３は画素値が飽和した入力画像データ１５０１から強度補正ゴーストＳｉｍ．像１５０２を減算して得られた出力画像データである。この出力画像データ１５０３は、強度補正ゴーストＳｉｍ．像１５０２の強度を反転したものに相当する画像データになっている。つまり、減算処理によって、却ってゴーストを目立たせてしまう結果になる。

このため、本実施例では、ステップＳ６０９の減算処理において、入力画像データの画素値を解析する画像データ解析処理と、その結果から減算処理を行うか否かを判定する判定処理とを導入するとよい。

画像データ解析処理では、入力画像データ中に画素値が飽和している画素があるか否かを解析する。また、判定処理では、解析手段の結果に基づいて、飽和画素がない場合は強度補正ゴーストＳｉｍ．像全体を用いた減算処理を行い、飽和画素がある場合は飽和画素に対してのみ補正強度ゴーストＳｉｍ．像の減算処理を行わない等の判定を行う。

以上説明したように、本実施例によれば、従来は自動的に除去できなかった入力画像データ中のゴーストを自動的に除去することが可能となり、出力画像データの画質を高めることができる。

上記実施例１では、撮像装置にゴースト除去回路を内蔵した場合について説明したが、本発明の実施例はこれに限らない。

例えば図１７に示すように、撮像装置１７０１で取得した画像（原画像）をパーソナルコンピュータ１７０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。

そして、パーソナルコンピュータ１７０２において、これにインストールされた画像処理プログラムを起動して、実施例１で説明したゴースト除去処理を行ってもよい。この場合、パーソナルコンピュータ１７０２が、画像処理装置として機能する。ゴースト除去処理された画像は、パーソナルコンピュータ１７０２内の記録媒体に記録されてもよいし、撮像装置１７０１に送信して、該撮像装置１７０１内の記録媒体に記録されてもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

例えば、上記実施例では、ゴーストＳｉｍ．像を用いたマッチング処理を行った結果に応じて、強度補正ゴーストＳｉｍ．像の減算処理を行う場合について説明したが、必ずしもこれらの処理は必要ではない。つまり、マッチング処理で使用したゴーストＳｉｍ．像を入力画像データから減算するようにしてもよい。

また、上記実施例では、入力画像データを赤、緑、青の３原色からなるカラー画像データとした場合について説明したが、入力画像データはモノクロ画像データでも、シアン、マゼンタ、黄、緑から構成されるカラー画像データであってもよい。

また、上記実施例では、ゴースト像強度分布参照テーブルを撮像装置内の不揮発性メモリに格納する場合について説明したが、ゴースト強度分布参照テーブルをインターネット上のデータベース（記憶手段）に格納しておいてもよい。この場合、ゴースト除去回路は、有線又は無線での接続を通じて上記参照テーブルをダウンロードして用いる。

また、レンズ交換式撮像装置においては、交換レンズ内の記憶手段にゴースト像強度分布参照テーブルを格納しておき、該交換レンズが撮像装置に接続された際に、交換レンズから撮像装置にゴースト像強度分布参照テーブルを提供するようにしてもよい。さらに、撮像装置から交換レンズに対してゴースト像強度分布参照テーブルを送信し、交換レンズ内の記憶手段に格納されているテーブルを更新することも可能である。

２０１ ゴーストスポットダイアグラム
２０２ ゴースト像強度分布
９０１ 入力画像データ
９０３ 出力画像データ
１３０１，１４０１ ゴースト
１３０２，１４０２ 強度補正ゴーストＳｉｍ．像
１６０１ 撮像光学系
１６０３ 撮像素子
１６１０ コースト除去回路
１７０１ 撮像装置
１７０２ パーソナルコンピュータ

Claims (9)

1. 撮像光学系を用いて取得されたゴースト像成分を含む原画像に対して画像処理を行う画像処理装置であって、
   前記原画像を用いてゴースト光源の方向に関する情報を推定する光源方向推定手段と、
   記憶手段に記憶された参照データから、前記ゴースト光源の方向に関する情報と前記原画像の取得時における前記撮像光学系に関する情報とに対応する前記ゴースト像成分に関する情報を取得するゴースト情報取得手段と、
   前記ゴースト像成分に関する情報に基づいて、該ゴースト像成分のシミュレーション画像を生成するシミュレーション手段と、
   前記原画像から前記シミュレーション画像を減算する減算手段を有し、
   前記光源方向推定手段は、前記原画像外に存在するゴースト光源の方向に関する情報を推定する手段を有することを特徴とする画像処理装置。
2. 前記原画像外に存在するゴースト光源の方向に関する情報を推定する手段は、前記原画像の彩度を用いて前記方向を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記光源方向推定手段は、前記原画像内に存在するゴースト光源の方向に関する情報を推定する手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記原画像内に存在するゴースト光源の方向に関する情報を推定する手段は、前記原画像の輝度を用いて前記方向を特定することを特徴とする請求項３に記載の画像処理装置。
5. 前記原画像に対して前記シミュレーション手段により生成された第１のシミュレーション画像を用いたマッチング処理を行うマッチング手段を有し、
   前記シミュレーション手段は、前記マッチング処理の結果に応じて、像強度を前記ゴースト像成分に対応させた第２のシミュレーション画像を生成し、
   前記減算手段は、前記原画像から、前記第２のシミュレーション画像を減算することを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
6. 前記ゴースト像成分に関する情報は、像強度分布情報を含むことを特徴とする請求項１から５のいずれか１つに記載の画像処理装置
7. 前記シミュレーション手段は、前記ゴースト像成分に関する情報と前記ゴースト光源の方向に関する情報とに基づいて前記シミュレーション画像を生成することを特徴とする請求項１から６のいずれか１つに記載の画像処理装置。
8. 請求項１から７のいずれか１つに記載の画像処理装置を有することを特徴とする撮像装置。
9. 撮像光学系を用いて取得された、ゴースト像成分を含む原画像に対して、コンピュータに、
   前記原画像を用いてゴースト光源の方向に関する情報を推定する光源方向推定ステップと、
   記憶手段に記憶された参照データから、前記ゴースト光源の方向に関する情報と前記原画像の取得時における前記撮像光学系に関する情報とに対応する前記ゴースト像成分に関する情報を取得するゴースト情報取得ステップと、
   前記ゴースト像成分に関する情報に基づいて、該ゴースト像成分のシミュレーション画像を生成するシミュレーションステップと、
   前記原画像から前記シミュレーション画像を減算する減算ステップを実行させる画像処理プログラムであって、
   前記光源方向推定ステップは、前記原画像外に存在するゴースト光源の方向に関する情報を推定するステップを有することを特徴とする画像処理プログラム。