JP6324192B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

散乱光の影響を含む画像データの高画質化に関する。

監視カメラなどの分野において、カメラから被写体までの間に微小な粒子（例えば、霧）が存在すると、被写体から出射された光線が微小粒子により拡散され（散乱光）、被写体の視認性が低下する。具体的には、被写体とカメラとの間の相対的な距離が大きくなるにつれて、被写体像のコントラストの低下やぼけが発生する。このような微小粒子による散乱光の影響を撮像画像から除去する技術として、特許文献１および非特許文献１に記載の技術が提案されている。特許文献１に記載の技術では、各画素のＲＧＢチャンネルの画素値のうち最小の画素値に基づいて、各画素に届く光の霧等に対する透過率を算出し、算出した透過率に応じて各画素の画素値を補正することでコントラストの回復を行う。また、非特許文献１に記載の技術では、被写体像のコントラストの回復を行った画像に対して、Ｗｉｅｎｅｒ Ｆｉｌｔｅｒを適用することにより、被写体像のぼけを更に補正する。

米国特許第８３４０４６１号明細書

Ｔａｏ，ｅｔ ａｌ．"Ｉｍａｇｅ ｄｅｇｒａｄａｔｉｏｎ ａｎｄ ｒｅｃｏｖｅｒｙ ｂａｓｅｄ ｏｎ ｍｕｌｔｉｐｌｅ ｓｃａｔｔｅｒｉｎｇ ｉｎ ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ａｎｄ ｂａｄ ｗｅａｔｈｅｒ ｃｏｎｄｉｔｉｏｎ"， Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ， Ｖｏｌ．２０， Ｉｓｓｕｅ １５， ｐｐ． １６８５４， ２０１２

しかしながら、特許文献１に記載の技術では、コントラストの回復を行った画像の色が、実際の被写体像の色と乖離し、不自然な色合いになってしまうことがある。これは、微小粒子によって光が拡散される際、各色成分によって拡散度合いが異なるにも関わらず、全ての色成分を一律で補正してしまうことに起因する。

また、非特許文献１に記載の技術では、ぼけ状態の補正に過補正もしくは補正不足が発生してしまうことがある。これは、霧等によって生じる画像のぼけ度合いが、被写体とカメラとの間の距離によって変化するものであり、霧等が発生した状態では、カメラと被写体との間の距離が正常に取得できないことが多いことに起因する。

上記の課題に鑑み、本発明は、散乱光の影響を含む画像データから、散乱光の影響を低減した自然な画質の画像データを生成することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、散乱光の影響を含む第一の画像データと、前記第一の画像データよりも散乱光の影響が小さい第二の画像データとを取得する取得手段と、前記第一の画像データに基づいて、前記第一の画像データにおける前記散乱光の影響を低減した第三の画像データを生成する生成手段と、前記第二の画像データに基づいて、前記第三の画像データに高画質化処理を行う処理手段とを有する。

散乱光の影響を含む画像データから、散乱光の影響を低減した自然な画質の画像データを生成することを目的とする。

実施例１の画像処理装置の構成を示すブロック図。 実施例１の画像処理装置の機能構成を示すブロック図。 実施例１の画像処理装置の処理の流れを示すフローチャート。 実施例１における散乱光低減処理の流れを示すフローチャート。 シャープネス補正パラメータと透過率の関係を示す図。 実施例１における鮮鋭化処理の流れを示すフローチャート。 実施例１におけるシャープネス補正パラメータの例を示す図。 実施例１における晴天画像データベースの概要を示す図。 実施例１における晴天画像データベース生成処理の流れを示すフローチャート。 実施例１における晴天画像の判定を説明する図。 実施例２の画像処理装置の構成を示す図。 実施例２における色調補正処理の流れを示すフローチャート。

＜実施例１＞
実施例１の概要について説明する。実施例１では、まず、霧などの微小粒子が発生しているシーンを撮影した画像（以下、霧画像と呼ぶ）に対して、該霧画像の画素値に基づいたコントラスト補正を行う。更に、コントラスト補正が行われた画像に対して、霧画像よりも散乱光の影響が小さいシーンにおいて撮影した画像（以下、晴天画像と呼ぶ）に基づいて取得されたぼけ補正パラメータを用いて、ぼけを補正する鮮鋭化処理を行う。以下、実施例１の具体的な構成について述べる。

実施例１における画像処理装置の構成例について、図１を用いて説明する。画像処理装置１００（以下、処理装置１００）は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤＩ／Ｆ１０４、ＨＤＤ１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７、システムバス１０８を含む処理装置である。処理装置１００は、入力Ｉ／Ｆを１０６を介して外部メモリ１０９および撮像部１１１に接続され、出力Ｉ／Ｆ１０７を介して表示部１１０に接続されている。また、撮像部１１１は、被写体の光情報をセンサで受光し、Ａ／Ｄ変換を施すことによって撮像画像のデジタルデータ（撮像画像データ）を取得する。画像処理装置１００は撮像部１１１が取得した撮像画像に画像処理を施す。

ＣＰＵ１０１は、システムバス１０８を介して接続された各構成を統括的に制御するプロセッサである。ＣＰＵ１０１の制御に基づいて、後述する様々な処理が実行される。ＲＡＭ１０２はＣＰＵ１０１のワークメモリとして機能する揮発性の記憶媒体、ＲＯＭ１０３はＣＰＵ１０１により実行されるプログラムを格納した不揮発性の記憶媒体である。なお、ＲＡＭ１０２およびＲＯＭ１０３は別の種類の記憶媒体に置き換えてもよい。

ＨＤＤＩ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、二次記憶装置としてのＨＤＤ１０５を接続する。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介してＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。なお、二次記憶装置はＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。

入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して、撮像部、外部メモリ１０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）などからデータを取得する。出力Ｉ／Ｆ１０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０７を介して、表示部１１０（ディスプレイなどの各種出力デバイス）に、撮像部１１１に撮像された画像データなどを表示する。

撮像部１１１は、レンズなどを備える光学系を介して結像された被写体の光情報をセンサで受光し、Ａ／Ｄ変換を施すことによって撮像画像のデジタルデータ（撮像画像データ）を取得するカメラである。画像処理装置１００は、ＲＯＭ１０３に格納されたプログラムをＣＰＵ１０１が実行することによって、撮像部１１１から出力された撮像画像データに各種の画像処理を施す。なお、画像処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

次に、実施例１における画像処理装置１００で行われる処理について説明する。図２に示すブロック図と図３に示すフローチャートを参照して説明する。処理装置１００は、ＲＯＭ１０３内に格納された、図３のフローチャートに示す制御プログラムをＣＰＵ１０１に読み込み実行することで、図２に示す各構成部としての機能を実現する。図２に示すように、処理装置１００は取得部２０１、透過率算出部２０２、散乱光低減部２０３、鮮鋭化処理部２０４、晴天画像データベース２０５で構成される。なお、本発明の構成はこれに限られず、各構成部の役割を果たす専用の処理回路を設けるなどしてもよい。

まず、ステップＳ３０１では、取得部２０１が、撮像部１１１により撮影された、霧による散乱光の影響を含む霧画像データを取得する。そして、取得部２０１は、取得した霧画像データを透過率算出部２０２（以下、算出部２０２とする）に出力する。ステップＳ３０２では、算出部２０２と散乱光低減部２０３（以下、低減部２０３とする）が、取得部２０１から出力された霧画像データにおける散乱光の影響を低減する処理を行う。具体的には、コントラスト補正処理を行うが、この処理の詳細については後述する。そして、低減部２０３は、コントラスト補正処理を行った画像データを鮮鋭化処理部２０４（以下、処理部２０４とする）に出力する。

ステップＳ３０３では、処理部２０４が、低減部２０３から出力されたコントラスト補正処理済みの画像データに対して、シャープネスを向上させる鮮鋭化処理を施す。この処理の詳細についても後述する。そして、ステップＳ３０４では、処理部２０４が、鮮鋭化処理を行った画像データを表示部１１０やＨＤＤ１０５に出力して処理を終了する。以下、各ステップの詳細について述べる。

まず、霧画像データに対するコントラスト補正処理（ステップＳ３０２）の詳細について説明する。実施例１におけるコントラスト処理では、透過率算出部２０２が、霧画像データ中の各画素が受光した光のうち、微小粒子の散乱光に由来する成分を求め、散乱光低減部２０３が、その散乱光に由来する成分の大きさに応じて画素値の補正を行う。まず、霧画像について説明する。一般的に霧画像は以下の式によって表せることが知られている。
Ｉ（ｘ，ｙ）＝Ｊ（ｘ，ｙ）・ｔ（ｘ，ｙ）＋（１−ｔ（ｘ，ｙ））・Ａ （１）
ここで、Ｉ（ｘ，ｙ）は霧画像データの画素値、Ｊ（ｘ，ｙ）は微小粒子による散乱光の影響がない場合の画素値、ｔ（ｘ，ｙ）はセンサの各画素に入射する光のうち、散乱されずに被写体から直接各画素に到達した光の割合を示す透過率分布である。また、Ａは太陽や空などの光源から直接発せられた光が霧等の微小粒子によって散乱された光成分である（以下、環境光と呼ぶ）。すなわち、ここで行われる画素値の補正処理とは、次式によってＪ（ｘ，ｙ）を導き出し、Ｉ（ｘ，ｙ）と置き換える処理である。

以下、霧画像データに対するコントラスト補正処理（ステップＳ３０２）の詳細な流れについて、図４に示すフローチャートを参照して説明する。ステップＳ４０１では、算出部２０２が、取得部２０１から入力された画像データの画素値に基づいて、式（１）に示す環境光Ａの強度を算出する。ここでは、特許文献１に記載の方法を用いて環境光Ａの強度の算出を行う。具体的には、ステップＳ３０２で入力された画像に対して、各画素のＲＧＢ各チャンネルの画素値のうち、値が最小となるチャンネルの画素値を各画素について抽出する。こうして生成された画像（ダークチャンネル画像）において、画素値の大きさが上位０．１％以内の画素の平均画素値を環境光Ａとする。このような画素は、画素値のほぼ全てを環境光の成分が占めていると考えられている。なお、実施例１では、環境光の算出に用いる画素を、画素値の大きさが上位０．１％の画素の画素値を環境光の算出に用いる画素値としているが、環境光の算出に用いる画素値の判定に用いる基準はこの値でなくても良い。

ステップＳ４０２では、算出部２０２が、ステップＳ４０１で生成されたダークチャンネル画像に、パッチ処理を行う。具体的には、ダークチャンネル画像の各画素に対し、処理対象となる画素を中心に、上下左右５ピクセルずつの範囲の画素値を参照し、参照した範囲内で最も小さい画素値を処理対象画素の画素値として置き換える。これにより、透過率分布の算出において、画像データ中の局所的な微細構造に対するロバスト性を高めることができる。尚、実施例１では、パッチ処理における参照範囲を上下左右５ピクセルずつとしたが、参照範囲はこの大きさに限られず自由に設定することが可能である。

ステップＳ４０３では、算出部２０２が、ステップＳ４０２でパッチ処理したダークチャンネル画像を用いて、霧画像データの透過率分布ｔ（ｘ，ｙ）を以下の式に基づき算出する。

ここで、ｐａｔｃｈ＿ｄａｒｋ＿Ｉ（ｘ，ｙ）は、パッチ処理後のダークチャンネル画像の画素値である。ωは調整のための係数で、実施例１では０．９としている。ωは、対象の画素の透過光が霧などの微小粒子による散乱光のみで構成されていた場合、ｔが０になってしまい、後述の画素値補正により補正後の画素値が０になってしまうのを避けるために設けられた値である。この値は０．９に限られず好きな値を用いるようにして良い。算出部２０２は、ここで得られた透過率分布ｔと環境光強度Ａを、取得部２０１から入力された霧画像データと合わせて低減部２０３に出力する。

ステップＳ４０４では、低減部２０３が、算出部２０２から出力された情報を用いて、霧画像データから微小粒子成分による散乱光の影響を低減した補正画像データを生成する。補正画像データの画素値Ｊ（ｘ，ｙ）は以下の式により表わされる。

ここで、Ｉ（ｘ，ｙ）は算出部２０２から入力された霧画像データの画素値であり、ｔ０は調整のための係数であり、実施例１では０．１とする。ｔ０は、ｔが限りなく小さい値であった場合、Ｊの値が、撮像時のショットノイズ等のＩのわずかな差によって大きく変動してしまうのを防ぐために設けられた値であって、上で挙げた０．１でなくても良い。低減部２０３は、算出部２０２から入力された各パラメータを式４に代入し、補正画像データを生成する。そして、ここで生成した補正画像データと、霧画像データの透過率分布ｔ（ｘ，ｙ）を処理部２０４に出力し、処理を終了する。以上が、実施例１で行われるコントラスト補正処理である。

次に、処理部２０４によって行われる、補正画像データに対する鮮鋭化処理（ステップＳ３０３）の詳細について述べる。実施例１では、処理部２０４が、低減部２０３から出力された霧画像データの透過率分布と、晴天画像データベース（以下、データベース２０５とする）に記憶された晴天画像データの透過率分布とを読み込み、その両方に基づいて鮮鋭化処理の補正量を決定する。なお、データベース２０５の詳細については後述する。ここでは、代表的なシャープネス補正方法の一つであるアンシャープマスクを適用する例を述べる。

ここで、アンシャープマスクによるシャープネス補正の手順について述べる。実施例１におけるアンシャープマスクは、まず、入力画像に対してガウスフィルタを適用した平滑化画像ＩＭ’を作成し、入力画像ＩＭとの差分画像ＩＭｓを取得する。
ＩＭ’＝ＩＭ＊ｇ （５）
ここで、ガウスフィルタｇのフィルタ係数ｇ（ｘ，ｙ）は、以下の式で求められる。

このとき、σは、ガウス関数の半値幅に相当するピクセル数で、σの値の３倍のサイズをｇのフィルタサイズとする。Ｃは、ｇ（ｘ，ｙ）の値の総和である。

次に、差分画像ＩＭｓに対して、閾値ｔｈ以下の画素値を０とする閾値処理を行い、閾値処理後の差分画像ＩＭｓ’を、以下のように求める。
｜ＩＭｓ（ｘ，ｙ）｜＜ｔｈのとき、ＩＭｓ’（ｘ，ｙ）＝０ （８）
｜ＩＭｓ（ｘ，ｙ）｜≧ｔｈのとき、ｇ’（ｘ，ｙ）＝ｇ（ｘ，ｙ） （９）
そして、閾値処理後の差分画像ＩＭｓ’に対して、補正量ａをかけ、ＩＭｓ’の画素値をａ倍する。最後に、ａ倍した閾値処理後の差分画像ＩＭｓ’を入力画像ＩＭに加算することにより、アンシャープマスク適用後の画像Ｊ’が生成される。
Ｊ’＝ＩＭｓ’＊ａ＋ＩＭ （１０）
実施例１では、アンシャープマスクのパラメータである補正量ａ、ガウスフィルタの半値幅σ、閾値ｔｈ、を、霧画像データの透過率分布と、晴天画像データの透過率分布との比率Ｔ’の値に応じて変更する。ここで、晴天画像データの透過率分布をＴ_ｆｉｎｅとし、ｔとＴ_ｆｉｎｅとの比率Ｔ’を以下の式で求める。
Ｔ’（ｘ，ｙ）＝ｔ（ｘ，ｙ）／Ｔ_ｆｉｎｅ（ｘ，ｙ） （１１）
アンシャープマスクのパラメータのうち、σ及びａは、図５（ａ）、および図５（ｂ）に示すように、Ｔ’の増加に従って大きくなるようにする。これは、Ｔ’が大きい場合、微小粒子による光の散乱の影響が大きく、画像のぼけ度合いが大きいということを意味するため、シャープネス補正量も大きくするべきだからである。一方、ｔｈは、図５（ｃ）に示すように、ｔが増加するに従って小さくなるようにする。ｔが小さい場合とは、被写体から直接届く光の割合が小さい、すなわち、一般的に遠方を指し、ｔが大きい場合は近方を指す。ステップＳ３０２での処理において、近方に比べて遠方のコントラスト補正量は大きくなるため、撮像時のノイズも、近方に比べて遠方の方が拡大してしまう。そのため、拡大したノイズ幅に対するロバスト性を担保するために、ｔが小さい場合のｔｈ、すなわち遠方のｔｈは、近方のｔｈに比べて大きくするようにする。上記の関係を基に、補正画像データに対するアンシャープマスクのパラメータσ、ａ、ｔｈをＴ’およびｔから求める。

以下、図６に示すフローチャートを参照して、実際に処理部２０４によって行われる、鮮鋭化処理（ステップＳ３０３）を説明する。ステップＳ６０１では、処理部２０４が、低減部２０３から出力された霧画像データの透過率分布ｔと、データベース２０５に記憶された晴天画像データの透過率分布Ｔ_ｆｉｎｅを読み込む。ここで、処理部２０４は、処理対象の霧画像データが撮影された日時と、データベース２０５に記憶された各晴天画像データが撮影された日時とを比較し、処理対象の霧画像データと撮影された時間帯が最も近い晴天画像データの透過率分布を読込む。なお、時間帯が近い晴天画像データが複数存在する場合には、その中で撮影された日付が最も近い晴天画像データを選択するようにする。このようにすることで、より正確な鮮鋭化処理を行うことができる。なお、晴天画像データの選択方法はこれに限られず、例えば霧画像データと晴天画像データの撮影時の撮影パラメータを比較して選択するようにしてもよい。ＩＳＯ感度等の撮影パラメータが異なっている物を選択しないようにすれば、より正確な鮮鋭化処理を行うことができる。

ステップＳ６０２では、処理部２０４が、ステップＳ６０１で読込んだｔとＴ_ｆｉｎｅを式１１に代入し、ｔとＴ_ｆｉｎｅとの比率Ｔ’を算出する。ステップＳ６０３では、処理部２０４が、ステップＳ６０２で算出したＴ’の値と、ステップＳ６０１で読込んだｔの値とに基づいて、アンシャープマスクに用いるパラメータを決定する。実施例１においては、図７の表に示す法則に従って各パラメータを決定する。なお、パラメータの決定法則は図７の表に示すものに限られず、例えばＴ’とｔに依存する関数を各パラメータについてあらかじめ設定しておき、その関数に基づいて決定されるようにしてもよい。そして、ステップＳ６０４では、ステップＳ６０３で決定された補正パラメータを用いて、低減部２０３から入力された補正画像データにアンシャープマスク処理を施し、処理を終了する。

以上が実施例１における鮮鋭化処理の詳細である。以上の処理によれば、晴天時に撮像された画像データに基づいて鮮鋭化処理のパラメータが決定されるので、微小粒子成分が少ない環境で撮像された実際の画像に近い画質の画像を得ることができる。なお、実施例１では鮮鋭化処理としてアンシャープマスクを適用する例について述べたが、鮮鋭化処理の例はこれに限られず、デコンボリューション処理などを適用するようにしてもよい。なお、鮮鋭化処理は、散乱光除去処理により既にコントラスト補正が行われた画像に対して行われるのが好ましい。コントラスト補正が行われていない画像は強調の対象のエッジが弱すぎるため、コントラスト補正が行われていない画像に対して鮮鋭化処理を行っても、コントラスト補正が行われた画像に対して鮮鋭化処理を行った場合ほどの効果は得られない
次に、実施例１のデータベース２０５の詳細について説明する。データベース２０５には、図８に示すように、微小粒子成分が少ない晴天時に撮像された画像データが、撮像された日時と撮像に用いられた撮像パラメータを示す情報と共に記憶されている。以下、このデータベースを生成するための処理について、図９に示すフローチャートを参照して説明する。

ステップＳ９０１では、取得部２０１が、撮像部１１１に撮像された画像データを取得する。実施例１では、撮像部１１１が撮像した画像データを、取得部２０１が１時間ごとに晴天画像データ候補として取得する。なお、この間隔は任意に設定して良く、取得部２０１が不定期に候補を抽出するようにしてもよい。ステップＳ９０２では、算出部２０２が、ステップＳ４０１〜Ｓ４０３と同様の処理を行うことで、取得した画像データの透過率分布を算出し、算出した透過率分布を判定部２０６に出力する。

ステップＳ９０３では、判定部２０６が、ステップＳ９０２で算出された透過率分布に基づいて、取得した画像データが晴天画像データであるかどうかを判定する。取得した画像データが晴天画像データであるかどうかは、透過率分布のヒストグラムに基づいて判定することができる。図１０に示すように、晴天時に比べて、霧発生時においては透過率の最大値と最小値の差が大きくなる。これは、霧などが発生している場合には、大気中の微小粒子の影響により、カメラからの距離が遠い被写体ほど対応する透過率が小さくなるためである。一方、晴天時においては、距離の違いによる透過率の変化は霧発生時ほどではないため、結果として透過率の最大値と最小値の差は小さくなる。そこで、ここでは、判定部２０６が、算出部２０２から出力された透過率分布に含まれる透過率の最大値および最小値が以下の式を満たすかどうかに基づいて、取得した画像データが晴天画像データであるかどうかを判定する。

ここで、Ｔｍａｘは取得した画像データの透過率分布に含まれる透過率の最大値、Ｔｍｉｎは取得した画像データの透過率分布に含まれる透過率の最小値である。ノイズの影響を低減するために、所定の頻度を超える透過率の中で最大および最小の値をＴｍａｘおよびＴｍｉｎとするようにする。また、Ｔ’ｍａｘおよびＴ’ｍｉｎは晴天画像データの基準として設定された透過率の最大値と最小値であり、シーンに応じてユーザが設定可能である。なお、判定の閾値は上記の式に示す０．０１に限られず、自由な値を設定して良い。判定部２０６は、透過率が上記の式を満たす画像データを、晴天画像データであるとして判定する。判定部２０６により、取得した画像データが晴天画像データであると判定された場合は、ステップＳ９０４に進む。判定部２０６により、取得した画像データが晴天画像データではないと判定された場合は処理を終了する。

ステップＳ９０４では、判定部２０６が、取得した画像データと、取得した画像データの撮影日時および撮影パラメータをデータベース２０５に追加し、処理を終了する。以上が実施例１のデータベース２０５の作成処理である。なお、データベース２０５の作成処理は以上の形式に限られず、例えば、ユーザが目視により晴天であると判断した場合に、撮像した画像をデータベース２０５に追加するようにしてもよい。その場合も、撮像時の撮像条件を一緒に追加しておくのが好ましい。

なお、実施例１において、取得部２０１は散乱光の影響を含む第一の画像データと、前記第一の画像データよりも散乱光の影響が小さい第二の画像データとを取得する取得手段として機能する。また、低減部２０３は、前記第一の画像データに基づいて、前記第一の画像データにおける前記散乱光の影響を低減した第三の画像データを生成する生成手段として機能する。また、処理部２０４は、前記第二の画像データに基づいて、前記第三の画像データに高画質化処理を行う処理手段として機能する。また、算出部２０２は、前記第一の画像データと前記第二の画像データとに含まれる各画素について、該画素に入射する光のうち、散乱光が占める割合を示す情報を導出する導出手段として機能する。また、データベース２０５は、良天候の際に撮像された複数の良天候画像データを記憶する記憶手段として機能する。また、判定部２０６は、所定の期間ごとに撮像装置から出力された画像データを取得し、該取得した画像データが良天候の際に撮像された画像であるかどうかを判定する判定手段として機能する。

＜実施例２＞
実施例１では、散乱光の影響を低減した補正画像データに、晴天画像データに基づく鮮鋭化処理を施す例について説明した。実施例２では、補正画像データに対して、晴天画像データに基づく色調補正処理を行う例について述べる。図１１に実施例２の処理装置１００の構成を示す。実施例２の処理装置１００の構成は基本的に実施例１と同様であるが、鮮鋭化処理部２０４が色調補正部１１０１（以下補正部１１０１）に変更されている。また、実施例２の処理装置１００で行われる処理の全体的な流れは基本的には図３のフローチャートに示す処理と同様であるが、実施例２ではステップＳ３０３の鮮鋭化処理が行われず、代わりに補正部１１０１による色調補正処理が行われる。以下、補正部１１０１による色調補正処理の詳細について、図１２に示すフローチャートを参照して説明する。

ステップＳ１２０１では、補正部１１０１が、低減部２０３から出力された補正画像データに対して色補正処理を行うための最適な晴天画像データを、データベース２０５から選択し、取得する。ここで行われる晴天画像データの選択基準は実施例１と同様であり、なるべく撮影条件の近い画像データを選択するようにすればよい。ステップＳ１２０２では、ステップＳ１２０１で取得した晴天画像データと、低減部２０３から出力された補正除去画像データとを用いて、次式によって色調補正の為の色補正係数α_Ｒ、α_Ｂを算出する。

ここで、Ｒ_ｒｅｆ（ｘ，ｙ）、Ｇ_ｒｅｆ（ｘ，ｙ）、Ｂ_ｒｅｆ（ｘ，ｙ）は晴天画像データの画素位置（ｘ，ｙ）におけるＲ、Ｇ、Ｂの各画素値、Ｒ_ｉｎ（ｘ，ｙ）、Ｇ_ｉｎ（ｘ，ｙ）、Ｂ_ｉｎ（ｘ，ｙ）は補正画像データの画素位置（ｘ，ｙ）におけるＲ，Ｇ，Ｂの各画素値である。補正部１１０１は、取得した各画像データの画素値を式１３および式１４に代入し、色補正係数α_Ｒ、α_Ｂ算出する。

ステップＳ１２０３では、補正部１１０１が、ステップＳ１２０２にて算出した色補正係数の修正処理を行う。この修正処理は晴天画像データと霧画像データの撮影時刻のズレから、画像中に存在する被写体が変化している場合などに間違った色補正係数が算出されることを防ぐために行う。実施例２では、次式によって色補正係数α_Ｒ、α_Ｂの修正を行う。

ここで、σ_Ｒ、およびσ_Ｂは注目画素周辺の画素位置の色補正係数の標準偏差、

は、注目画素周辺画素位置における色補正係数の平均値である。実施例２では、注目画素周辺の１１×１１の画素位置における色補正係数から算出するとする。尚、

を算出する画素位置の範囲は上記に限定されず、様々な形態をとることが可能である。また修正方法も上記に限定されず、色補正係数が周囲の画素位置と異なる場合に、周囲の色補正係数を用いて補正する方法であればよい。

ステップＳ１２０４では、補正部１１０１が、ステップＳ１２０３にて修正した色補正係数を用いて、次式によって色補正処理を行う。
Ｒ_ｏｕｔ（ｘ，ｙ）＝α_Ｒ（ｘ，ｙ）・Ｒ_ｉｎ（ｘ，ｙ） （１７）
Ｇ_ｏｕｔ（ｘ，ｙ）＝Ｇ_ｉｎ（ｘ，ｙ） （１８）
Ｂ_ｏｕｔ（ｘ，ｙ）＝α_Ｂ（ｘ，ｙ）・Ｂ_ｉｎ（ｘ，ｙ） （２０）
ここで、Ｒ_ｏｕｔ（ｘ，ｙ）、Ｇ_ｏｕｔ（ｘ，ｙ）、Ｂ_ｏｕｔ（ｘ，ｙ）は補正部１１０１による色調補正後の画像データの、画素位置（ｘ，ｙ）におけるＲ，Ｇ，Ｂの各画素値である。補正部１１０１は、低減部２０３から取得した画像データの画素値と、ステップＳ１２０３で修正した色補正係数を式１８〜２０に代入し、色調補正後の画像データを生成して処理を終了する。

以上が実施例２の処理装置１００で行われる処理である。以上の処理によれば、１枚の霧画像だけで散乱光低減処理を行った場合に発生する色ずれを、自然な色味になるように修正することができる。

＜その他の実施形態＞
本発明の適用範囲は上述の実施形態に限られるものではなく、上述の実施形態を互いに組み合わせたものであってもよい。例えば、実施例１と実施例２を組み合わせて、補正画像データに鮮鋭化処理と色調補正処理を両方行うようにしたものも含まれる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２０１ 取得部
２０２ 透過率算出部
２０３ 散乱光低減部
２０４ 鮮鋭化処理部
２０５ 晴天画像データベース
２０６ 判定部
１１０１ 色調補正部

Claims (17)

1. 散乱光の影響を含む第一の画像データと、前記第一の画像データよりも散乱光の影響が小さい第二の画像データとを取得する取得手段と、
   前記第一の画像データに基づいて、前記第一の画像データにおける前記散乱光の影響を低減した第三の画像データを生成する生成手段と、
   前記第二の画像データに基づいて、前記第三の画像データに高画質化処理を行う処理手段とを有することを特徴とする画像処理装置。
2. 前記高画質化処理は、前記第三の画像データの鮮鋭化処理を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第一の画像データと前記第二の画像データとに含まれる各画素について、該画素に入射する光のうち、散乱光が占める割合を示す情報を導出する導出手段を更に有し、
   前記処理手段は、前記第一の画像データの所定の画素において前記散乱光が占める割合と、前記第二の画像データの、前記所定の画素に対応する画素において前記散乱光が占める割合との比に基づいて、前記第三の画像データの、前記所定の画素に対応する画素に対する前記鮮鋭化処理の強度を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記処理手段は、前記第一の画像データの所定の画素において前記散乱光が占める割合の、前記第二の画像データに含まれる前記所定の画素に対応する画素において前記散乱光が占める割合に対する比が小さくなるほど、前記鮮鋭化処理の強度を大きくすることを特徴とする請求項３に記載の画像処理装置。
5. 前記散乱光が占める割合を示す情報は、透過率であることを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記高画質化処理は、前記第三の画像データの色調補正処理を含むことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記色調補正処理は、前記第三の画像データの画素値に補正係数を乗ずる処理であり、
   前記処理手段は、前記第二の画像データの画素値と、前記第三の画像データの画素値とに基づいて、前記補正係数を決定し、該決定した補正係数を用いて前記色調補正処理を行うことを特徴とする請求項６に記載の画像処理装置。
8. 良天候の際に撮像された複数の良天候画像データを記憶する記憶手段を更に有し、
   前記取得手段は、前記記憶手段に記憶された前記複数の良天候画像データの中から、前記第二の画像データとして前記高画質化処理に用いる画像データを選択することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記記憶手段は、前記複数の良天候画像データを撮影に用いられた撮影条件を示す情報を更に記憶し、
   前記取得手段は、前記撮影条件を示す情報に基づいて、前記複数の良天候画像データから、前記第二の画像データとして前記高画質化処理に用いる画像データを選択することを特徴とする請求項８に記載の画像処理装置。
10. 前記撮影条件を示す情報は、前記複数の良天候画像データを撮影した時間帯を示す情報を含み、
    前記取得手段は、前記複数の良天候画像データのうち、撮影された時間帯が前記第一の画像データが撮影された時間帯と最も近い画像データを、前記第二の画像データとして取得することを特徴とする請求項９に記載の画像処理装置。
11. 所定の期間ごとに画像データを撮像して出力する撮像装置と接続されており、
    前記撮像装置から出力された画像データを取得し、該取得した画像データが良天候の際に撮像された画像であるかどうかを判定する判定手段を更に有し、
    前記記憶手段は、前記判定手段により、良天候の際に撮像された画像データであると判定された画像データを、良天候画像データとして記憶することを特徴とする請求項８乃至１０のいずれか一項に記載の画像処理装置。
12. 前記判定手段は、前記取得した画像データの透過率の最大値と最小値との差があらかじめ設定された閾値よりも大きい場合、前記取得した画像データを良天候で撮影された画像データとして判定することを特徴とする請求項１１に記載の画像処理装置。
13. 請求項１乃至１０のいずれか一項に記載の画像処理装置としての機能を有し、
    画像データを撮像する撮像部を更に有することを特徴とする撮像装置。
14. 前記撮像部により撮像された画像データが良天候の際に撮像された画像であるかどうかを判定する判定手段を更に有し、
    前記撮像部は、所定の期間ごとに画像データを撮像し、
    前記判定手段は、前記所定の期間ごとに前記撮像部により撮像された画像データが、良天候の際に撮像された画像であるかどうかを判定することを特徴とする請求項１３に記載の撮像装置。
15. 前記判定手段は、前記撮像部により撮像された画像データの透過率の最大値と最小値との差があらかじめ設定された閾値よりも大きい場合、前記取得した画像データを良天候で撮影された画像データとして判定することを特徴とする請求項１４に記載の撮像装置。
16. 散乱光の影響を含む第一の画像データと、前記第一の画像データよりも散乱光の影響が小さい第二の画像データとを取得するステップと、
    前記第一の画像データに基づいて、前記第一の画像データにおける前記散乱光の影響を低減した第三の画像データを生成するステップと、
    前記第二の画像データに基づいて、前記第三の画像データに高画質化処理を行うステップとを含むことを特徴とする画像処理方法。
17. コンピュータを請求項１乃至１２のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。

Images