JP6661268B2

JP6661268B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP6661268B2
Application number: JP2015002523A
Authority: JP
Inventors: 靖浩伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-01-08
Filing date: 2015-01-08
Publication date: 2020-03-11
Anticipated expiration: 2035-01-08
Also published as: JP2016126724A

Description

本発明は、画像データにおける散乱光の影響を低減する画像処理に関する。

監視カメラなどの分野において、カメラから被写体までの間に存在する微小粒子（例えば、霧）によって被写体の視認性が低下し、撮像画像の画質が劣化することが問題となっている。例えば、被写体とカメラとの相対的な距離が遠くなるにつれて、微小粒子による光散乱の影響でコントラストの低下が発生する。このような微小粒子の影響による画質の劣化を低減するとして、特許文献１に記載の技術が提案されている。特許文献１に記載の技術では、各画素のＲＧＢチャンネルの画素値のうち最も値が小さいチャンネルの画素値に基づいて、各画素に届く光の微小粒子に対する透過率を算出し、透過率に応じて各画素の画素値を補正することで霧等を除去している。

米国特許第８３４０４６１号公報

しかしながら、特許文献１に記載の技術を用いた場合であっても、微小粒子の濃度によっては、画像上で被写体が微小粒子の影響により埋もれてしまい、元の被写体由来の情報を回復しきれない場合がある。そこで本発明では、大気中の微小粒子の濃度が高い場合であっても、微小粒子による散乱光の影響を低減した画像を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、散乱光に由来する成分を画素値に含むカラー画像から、前記散乱光に由来する成分による影響を低減した補正画像を生成する画像処理装置であって、前記カラー画像を取得する第一の取得手段と、前記カラー画像と同じ被写体からの、赤外光の信号を含む赤外光画像を取得する第二の取得手段と、前記カラー画像に基づいて前記散乱光の強度を推定する推定手段と、前記推定手段により推定された、前記散乱光の強度少なくとも一部を、前記赤外光画像に基づいて補正する補正手段と、前記散乱光の強度に関連する情報を用いて、前記補正画像を生成する生成手段とを有し、前記生成手段は、前記カラー画像において前記散乱光に由来する成分の影響が強い領域においては前記赤外光画像を使い、前記カラー画像において前記散乱光に由来する成分の影響が強くない領域においては前記赤外光画像を使わないことを特徴とする。

本発明によれば、大気中の微小粒子の濃度が高い場合であっても、微小粒子による散乱光の影響を低減した画像を提供することができる。

実施例１の画像処理装置で処理する画像の例を示す図。実施例１の画像処理装置の構成を示す図。実施例１の画像処理装置の構成を示す図。実施例１の画像処理装置により行われる処理の流れを示すフローチャート。実施例１の推定部により行われる処理の流れを示すフローチャート。実施例１の透過率マップ補正処理の概要を示す図。実施例１の補正部により行われる処理の流れを示すフローチャート。

＜実施例１＞
実施例１では、可視光の信号に基づく画像に加え、赤外光の信号に基づく画像を用いて微粒子成分による散乱光の影響を低減する処理について説明する。まず、実施例１の処理の概要について説明する。なお、以下は簡単の為に微粒子成分として大気中の霧を例に挙げて説明を行うが、塵や砂埃と言ったその他の微粒子成分にも本実施例の処理は適用可能である。

図１は、本発明で用いる画像の例を示す模式図である。図１（ａ）に示すように、近方に建物１０および植物２０、遠方に建物３０が存在する場合を例に説明する。図１（ｂ）では、霧が強く発生した場合において、図１（ａ）に示すシーンがどのように撮影されるかを示した模式図である。建物１０や植物２０については、カメラから被写体までの距離が近いため、霧の影響を受けづらく、建物１０ｂや植物２０ｂのように判別可能である。しかし、建物３０ｂについては、カメラから被写体までの距離が遠いため、霧の影響を強く受けて像が霧に埋もれてしまい、可視光の画像中では判別ができなくなる。このとき、赤外光の信号に基づく画像では、図１（ｃ）に示すように、建物３０ｃが判別可能である場合が多い。これは、赤外線は可視光線に比べて霧による光の拡散の影響を受けにくいことに起因する。そこで、本発明では、可視光画像上で判別できない被写体についての情報を赤外光画像から取得することにより、霧の濃度が高い場合であっても霧の成分の影響を低減した画像を得る。以下、本実施例に係る画像処理装置の構成について図２を参照して説明する。

画像処理装置２００（以下、処理装置２００）は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤＩ／Ｆ２０４、ＨＤＤ２０５、入出力Ｉ／Ｆ２０６、出力Ｉ／Ｆ２０７、システムバス２０８を有している。また、処理装置２００は、入出力Ｉ／Ｆ２０６を介して外部メモリ２０９と撮像部２１１とに接続され、出力Ｉ／Ｆ２０７を介して表示部２１０に接続されている。

ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３に格納されたプログラムを実行し、システムバス２０８を介して後述する各構成を統括的に制御するプロセッサである。ＣＰＵ２０１により、後述する様々な処理が実行される。

ＨＤＤＩ／Ｆ２０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、二次記憶装置としてのＨＤＤ２０５を接続する。ＣＰＵ２０１は、ＨＤＤＩ／Ｆ２０４を介してＨＤＤ２０５からのデータ読み出し、およびＨＤＤ２０５へのデータ書き込みが可能である。さらにＣＰＵ２０１は、ＨＤＤ２０５に格納されたデータをＲＡＭ２０２に展開し、同様に、ＲＡＭ２０２に展開されたデータをＨＤＤ２０５に保存することが可能である。そしてＣＰＵ２０１は、ＲＡＭ２０２に展開したデータをプログラムとみなし、実行することができる。なお、二次記憶装置はＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。

入出力Ｉ／Ｆ２０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ２０１は、入出力Ｉ／Ｆ２０６を介して、撮像部２１１および外部メモリ２０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）などからデータを取得する。また、撮像部２１１への命令信号を出力したり、外部メモリ２０９へのデータの出力などを行うこともできる。

出力Ｉ／Ｆ２０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。ＣＰＵ２０１は、出力Ｉ／Ｆ２０７を介して、表示部２１０（ディスプレイなどの各種出力デバイス）に、撮像部２１１の撮像画像などを表示する。

撮像部２１１は、被写体からの可視光や赤外光をセンサで受光し、Ａ／Ｄ変換を施すことによって撮像画像のデジタルデータを取得するカメラである。このとき、可視光と、赤外光を取得できるセンサは、同一であってもよいし、異なるセンサであっても構わない。本実施例では、可視光と、赤外光を取得できるセンサは別にあるものとして扱う。以下、可視光を取得するセンサにより得られた撮像画像を可視光画像、赤外光を取得するセンサにより得られた撮像画像を赤外光画像と呼ぶ。可視光を取得するセンサはカラーフィルタを有し、散乱光に由来する成分を画素値に含むカラー画像を取得する。なお、処理装置２００の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

以下、本実施例の処理装置２００で行われる処理について説明する。図３に示す機能ブロック図および図４に示すフローチャートを用いて説明する。実施例１の処理装置２００は、図２に示すように第一取得部３０１、第二取得部３０２、推定部３０３、補正部３０４、生成部３０５としての機能を有する。処理装置２００は、ＣＰＵ２０１がＲＯＭ２０３内に格納された制御プログラムを読み込み実行することで、上記各部の機能を実現する。なお、各構成部に相当する専用の処理回路を備えるように処理装置２００を構成してもよい。以下、各構成部により行われる処理の流れを説明する。

ステップＳ４０１では、第一取得部３０１が、撮像部２１１から入力された可視光画像を取得し、取得した可視光画像を推定部３０３および生成部３０５に出力する。ステップＳ４０２では、第二取得部３０２が、撮像部２１１から入力された赤外光画像を取得し、補正部３０４に出力する。なお、ステップＳ４０１およびＳ４０２で取得する可視光画像及び赤外光画像は、撮像部２１１から入力されたものではなく、ＨＤＤ２０５や外部メモリ２０９に記憶されたものであってもよい。

ステップＳ４０３では、推定部３０３が、第一取得部３０１から入力された可視光画像に基づいて、シーンの透過率マップおよび散乱光基準強度を推定する。この処理の詳細については後述する。推定部３０３は、推定により得られた透過率マップを補正部３０４に出力し、散乱光基準強度を生成部３０５に出力する。ステップＳ４０４では、補正部３０４が、第二取得部３０２から入力された赤外光画像に基づいて、推定部３０３から入力された透過率マップに補正を行う。この処理の詳細については後述する。補正部３０４は、補正が完了した透過率マップを生成部３０５に出力する。

ステップＳ４０５では、生成部３０５が、補正部３０４から入力された透過率マップおよび推定部３０３から入力された散乱光基準強度に基づいて、可視光画像に対して画素値の補正を行った補正画像の生成を行う。霧の影響を受けた画像は、一般的に次式によって表せることが知られている。
Ｉ（ｘ，ｙ）＝Ｊ（ｘ，ｙ）・ｔ（ｘ，ｙ）＋（１−ｔ（ｘ，ｙ））・Ａ（１）
ここで、Ｉ（ｘ，ｙ）は霧の影響下で撮像された可視光画像の画素値、Ｊ（ｘ，ｙ）は霧の影響が存在しない場合に撮像された画像の画素値、ｔ（ｘ，ｙ）は光の透過率である。本実施例において、は、画素値の中の被写体から届く光に由来する成分の割合を示す値であり、裏を返せば、被写体から届く光ではない散乱光に由来する成分の割合を示す値である。また、Ａは太陽や空などの光源の光が霧によって散乱した光成分を示す値である（以下、散乱光基準強度と呼ぶ）。すなわち、霧の影響が除去された画像の画素値Ｊ（ｘ，ｙ）は以下の式（２）で表わされる。

第一取得部３０１から入力された可視光画像と、推定部３０３から入力された散乱光基準強度と、補正部３０４から入力された透過率マップとが示す各パラメータの値を式（２）に代入することで、補正画像を生成することができる。本実施例では、更にロバスト性を高めるために、各パラメータを以下の式（３）に代入することで補正画像を生成する。

ここでｔ_０は調整のための係数で、例えば０．１とする。これは、ｔが限りなく小さい値であった場合、Ｊの値が、Ｉのわずかな差、つまり、撮像時のショットノイズ等によって値が大きく変動してしまうのを防ぐために設けられた値であって、上で挙げた０．１でなくても良い。この処理により、可視光画像の画素値に含まれる散乱光に由来する成分の少なくとも一部が除去された画像が、補正画像として生成される。生成部３０５は、生成した補正画像をＨＤＤ２０５や表示部２１０などに出力して処理を終了する。

以上が本実施例の処理装置２００で行われる処理の流れである。以下、各ステップの詳細について説明する。まず、推定部３０３で行われる透過率マップと散乱光基準強度の推定処理（ステップＳ４０３）について図５に示すフローチャートを参照して説明する。

ステップＳ５０１では、推定部３０３が、散乱光基準強度の推定を行う。推定部３０３は、第一取得部３０１から入力された可視光画像の中で、各画素のＲＧＢチャンネルのうち、最も画素値が小さいチャンネルの画素値を、画素ごとに抜き出す。以下、この処理により生成された画像をダークチャンネル画像と呼ぶ。すなわち、ダークチャンネル画像の画素値Ｄ（ｘ，ｙ）は以下の式（４）で表わされる。
Ｄ（ｘ，ｙ）＝ｍｉｎ（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））（４）
ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）はそれぞれ画素位置（ｘ，ｙ）におけるＲＧＢ各チャンネルの画素値である。そして、推定部３０３は、ダークチャンネル画像に含まれる画素値のうち、大きさが上位０．１％に入る画素値を持つ画素の平均画素値を、散乱光基準強度Ａ（以下、基準強度Ａとする）として決定する。これは、ダークチャンネル画像は散乱光の影響を強く反映した画像であり、その中で画素値が大きい領域は散乱光の影響を主成分とする画素に対応するという考えに基づいている。なお、散乱光基準強度の推定方法はこれに限られず、例えば画素値の閾値を上位０．１％ではない別の値としてもよい。また、空などの散乱光が支配的な領域を自動的に認識、またはユーザが指定して、その領域の平均画素値を基準強度として設定してもよい。推定部Ｓ５０１は、推定した基準強度Ａを生成部３０５に出力する。

ステップＳ５０２では、推定部３０３が、ステップＳ５０１で生成されたダークチャンネル画像を基準強度Ａで除算する。この処理によって生成される画像Ｄ_Ａ（ｘ，ｙ）は以下の式（５）で表わされる。

Ｄ_Ａ（ｘ，ｙ）は、その画素における散乱光の支配度を表わす値である。

ステップＳ５０３では、推定部３０３が、ステップＳ５０２で生成された画像Ｄ_Ａ（ｘ，ｙ）にパッチ処理を行うことで、パッチ画像Ｐ（ｘ，ｙ）を生成する。具体的には、画像Ｄ_Ａ（ｘ，ｙ）において、処理対象となる画素（ｘ，ｙ）を中心とした１１×１１画素の範囲の画素値を参照し、その中で最も小さい画素値を、Ｐ（ｘ，ｙ）の画素値とする。この処理をＤ_Ａ（ｘ，ｙ）の全画素について行い、Ｐ（ｘ，ｙ）を求める。この処理は、ステップＳ５０２で算出された散乱光の支配度が被写体自身の色に左右される度合いを低減し、ロバスト性を高めるための処理である。なお、このパッチ処理で用いるパッチのサイズは上記に限られず、目的に合わせて自由に設定して良い。

ステップＳ５０４では、推定部３０３が、ステップＳ５０３で生成されたパッチ画像Ｐ（ｘ，ｙ）を用いて、各画素位置における被写体からの光の透過率を表わす画像データである透過率マップｔ（ｘ，ｙ）を生成する。ｔ（ｘ，ｙ）は以下の式（６）で表わされる。
ｔ（ｘ，ｙ）＝１．０−ωＰ（ｘ，ｙ）（６）
ここで、ωは調整のための係数であり、例えば０．９とする。ωは、対象の画素の画素値が散乱光の成分のみで構成されていた場合に、透過率が０になることで補正画像の画素値が０になってしまうのを避けるために設けられた値であって、上で挙げた０．９でなくても良い。

ステップＳ５０５では、ステップＳ５０４で生成した透過率マップを、可視光画像に合わせて整形する。ここでは、ＧｕｉｄｅｄＦｉｌｔｅｒのような公知のフィルタを用いて成形処理を行えばよい。推定部３０３は、整形処理を行った透過率マップを補正部３０４に出力し、処理を終了する。

以上が、推定部３０３で行われる処理の流れである。次に、補正部３０４で行われる処理（ステップＳ４０４）の詳細について説明する。まず、ステップＳ４０４で行われる処理の概要について図６を参照して説明する。

図６（ａ）は、図１（ｂ）に示す可視光撮像画像データから生成したＤ_Ａ（ｘ，ｙ）を示した模式図である。カメラと被写体までの距離が近い建物１０ｄと植物２０ｄについては、物体の形状を取得できているが、建物３０ｄについては、カメラと被写体の間の距離が遠いため、Ｄ_Ａ（ｘ，ｙ）上でもその形状を確認することができない。また、植物に対応する画素値はＲＧＢのうち、Ｇ成分が多く、他の成分は少ないため、Ｄ_Ａ（ｘ，ｙ）上では黒に近くなる。図６（ｂ）は、図６（ａ）を基に生成した透過率マップを示す模式図である。先述の式（６）から求められる透過率マップは、おおむねＤ_Ａ（ｘ，ｙ）の反転画像となる場合が多い。そのため、図６（ｂ）において、植物２０ｅは白に近くなる。カメラと被写体の距離が近い建物１０ｅについては物体の判別ができるため、中間値周辺に画素値が集まる傾向にある。この画素値の傾向は図６（ｃ）に示すような赤外光画像に近い。なお、赤外光画像は、先に述べた通り、赤外線が霧等の微小粒子成分の影響を受けにくい特性であることから、図６（ｃ）建物３０ｆのように、遠景の建物の形状も判別できる。このとき、遠景の建物も、背景に比べて明るい画素値を持つ。このことから、ステップＳ４０４の処理では、図６（ｂ）と図６（ｃ）を比較し、画素値の大きい方の画素値をそれぞれ抽出することにより、図６（ｄ）に示すような、赤外光画像の情報を加味した補正後透過率マップを生成する。これにより、霧の影響により可視光画像では判別できなかった建物３０についても、被写体の形状を反映した霧除去処理を行うことが可能になる。

以下、ステップＳ４０４の具体的な処理について、図７に示すフローチャートを参照して説明する。ステップＳ７０１では、補正部３０４が、第二取得部３０２から入力された赤外光画像を取得する。そして、ステップＳ７０２では、補正部３０４が、推定部３０３から入力された透過率マップを取得する。ステップＳ７０３では、補正部３０４が、ステップＳ７０１で取得した赤外光画像と、ステップＳ７０２で取得した透過率マップとの位置合わせを行う。位置合わせには、例えば特徴ベースマッチングの代表的な手法の一つであるＡｆｆｉｎｅ−ＳＩＦＴ（ＡＳＩＦＴ）アルゴリズムなどを用いることができる。補正部３０４は、ＡＳＩＦＴアルゴリズムを用いて赤外光画像を可視光画像と位置合わせをするためのアフィン変換パラメータを得て、得たアフィン変換パラメータを用いて、赤外光画像を変形させる。変形後の赤外光画像は、透過率マップと位置合わせされ、画素数と画角も同じ画像となる。なお、赤外光画像と可視光画像が同じセンサで取得可能な場合は、赤外光画像と透過率マップとの位置合わせを行う必要はない。

ステップＳ７０４では、補正部３０４が、赤外光画像と透過率マップとの比較を行う画素位置である、画素の参照位置を初期化する。例えば、最初の参照位置をそれぞれ画像の一番左上の画素に設定する。なお、最初の参照位置は画像中のどの画素位置を設定してもよい。ステップＳ７０５では、参照位置の画素について、赤外光画像と透過率マップとの画素値を比較する。赤外光画像の画素値が透過率マップの画素値よりも大きければステップＳ７０６へと進む。赤外光画像の画素値が、透過率マップの画素値以下であればステップＳ７０７へと進む。

ステップＳ７０６では、補正部３０４が、透過率マップの参照位置における画素値を、赤外光画像の参照位置における画素値で置き換える。そして、ステップＳ７０７では、補正部３０４が、透過率マップの全ての画素について赤外光画像との比較が終了したかどうかを判定する。透過率マップの全ての画素について赤外光画像との比較が終了したと判定された場合には、補正部３０４は、補正済みの透過率マップを生成部３０５に出力して処理を終了する。透過率マップの全ての画素について赤外光画像との比較が終了していないと判定された場合には、ステップＳ７０８へと進む。

ステップＳ７０８では、補正部３０４が、参照位置を変更する。例えば、最初の参照位置が画像の左上である場合は一つ右の画素位置に参照位置を変更する。現在の参照位置が画像の右端である場合には、一つ下の行の左端の画素位置を参照位置として設定する。

以上が本実施例の処理装置２００で行われる処理である。以上の処理によれば、大気中の微小粒子の濃度が高い場合であっても、微小粒子による散乱光の影響を低減した画像を提供することができる。

なお、赤外光画像を用いた透過率マップの補正の方法は以上の方法に限られない。例えば、赤外光画像においてエッジ抽出を行うことで被写体が存在する領域を判定し、被写体が存在すると判定された領域については、透過率マップの画素値を補正する処理を行うようにしてもよい。例えば、この時の補正量は、赤外光画像において抽出されたエッジの外側と内側の画素値の差に基づいて決定するようにしてもよい。また、霧によって埋もれていると判定された被写体の領域には、あらかじめ定められた透過率を割り当てるようにしてもよい。

また、上記の処理においては、推定部３０３が、可視光画像の画素値に基づいて透過率マップの取得を行ったが、透過率マップの取得方法はこれに限られない。例えば、あらかじめシーンに存在する被写体からカメラまでの距離を示す距離情報を予め保持しておき、その距離情報から透過率を取得するようにしてもよい。

なお、本実施例において、処理装置２００は、散乱光に由来する成分を画素値に含むカラー画像から、前記散乱光に由来する成分の少なくとも一部を除去した補正画像を生成する画像処理装置として機能する。また、第一取得部３０１は、前記カラー画像を取得する第一の取得手段として機能する。また、第二取得部３０２は、前記カラー画像と同じ被写体からの、可視光よりも波長の短い電磁波による信号を含む補助画像を取得する第二の取得手段として機能する。また、推定部３０３は、前記カラー画像の各画素について、該画素に対応する散乱光の強度を示す情報を取得する強度取得手段として機能する。また、補正部３０４は、前記強度取得手段により取得された、前記散乱光の強度を示す情報を、前記補助画像に基づいて補正する補正手段として機能する。また、生成部３０５は、前記第二の取得手段により取得された前記補助画像に基づいて、前記補正画像を生成する生成手段として機能する。

＜その他の実施形態＞
なお、実施例１では、可視光に基づくカラー画像に含まれる散乱光の成分を、赤外光画像を利用して除去する技術について説明したが、この時に用いる画像は赤外光画像に限られず、可視光では得られない被写体の形状情報が得られる画像であればよい。例えば、赤外線よりも波長の長い電磁波である電波に基づく画像を使って、カラー画像に含まれる散乱光の成分を除去するようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１第一取得部
３０２第二取得部
３０５生成部

Claims

散乱光に由来する成分を画素値に含むカラー画像から、前記散乱光に由来する成分による影響を低減した補正画像を生成する画像処理装置であって、
前記カラー画像を取得する第一の取得手段と、
前記カラー画像と同じ被写体からの、赤外光の信号を含む赤外光画像を取得する第二の取得手段と、
前記カラー画像に基づいて前記散乱光の強度を推定する推定手段と、
前記推定手段により推定された、前記散乱光の強度少なくとも一部を、前記赤外光画像に基づいて補正する補正手段と、
前記散乱光の強度に関連する情報を用いて、前記補正画像を生成する生成手段とを有し、
前記生成手段は、前記カラー画像において前記散乱光に由来する成分の影響が強い領域においては前記赤外光画像を使い、前記カラー画像において前記散乱光に由来する成分の影響が強くない領域においては前記赤外光画像を使わないことを特徴とする画像処理装置。
前記散乱光の強度に関連する情報は、各画素の画素値における、散乱光に由来する成分の割合を示す透過率マップであり、
前記補正手段は、前記赤外光画像に基づいて前記透過率マップを補正することを特徴とする請求項１に記載の画像処理装置。
前記推定手段は、画素毎に前記散乱光の強度の推定した値を保持する透過率マップを出力し、前記補正手段は、前記推定手段から得られる前記透過率マップが示す透過率の値を、前記赤外光画像の画素値で置き換えることにより、前記透過率マップの補正を行うことを特徴とする請求項１に記載の画像処理装置。
前記補正手段は、前記透過率マップと前記赤外光画像との間で、被写体の同じ位置に対応する画素の画素値を比較し、該画素における前記赤外光画像の画素値が、該画素における前記透過率マップの画素値よりも大きい場合に、該画素における前記透過率マップの画素値を、該画素における前記赤外光画像の画素値で置き換えることを特徴とする請求項３に記載の画像処理装置。
前記推定手段は、前記カラー画像から、最も画素値が小さいチャンネルの画素値を抽出したダークチャンネル画像を生成し、前記ダークチャンネル画像に基づいて前記散乱光の強度を画素毎に推定することを特徴とする請求項１に記載の画像処理装置。
散乱光に由来する成分を画素値に含むカラー画像から、前記散乱光に由来する成分の少なくとも一部を除去した補正画像を生成する画像処理装置であって、
前記カラー画像を取得する第一の取得手段と、
前記カラー画像と同じ被写体からの、赤外光の信号を含む補助画像を取得する第二の取得手段と、
前記カラー画像の各画素について、該画素に対応する散乱光の強度を示す情報を取得する強度取得手段と、
前記強度取得手段により取得された、前記散乱光の強度を示す情報を、前記補助画像に基づいて補正する補正手段と、
前記散乱光の強度を示す情報を用いて、前記補正画像を生成する生成手段とをすることを特徴とする画像処理装置。
散乱光に由来する成分を画素値に含むカラー画像から、前記散乱光に由来する成分による影響を低減した補正画像を生成する画像処理方法であって、
前記カラー画像を取得する第一の取得工程と、
前記カラー画像と同じ被写体からの、赤外光の信号を含む赤外光画像を取得する第二の取得工程と、
前記カラー画像に基づいて前記散乱光の強度を推定する推定工程と、
前記推定工程により推定された、前記散乱光の強度少なくとも一部を、前記赤外光画像に基づいて補正する補正工程と、
前記散乱光の強度に関連する情報を用いて、前記補正画像を生成する生成工程とを含み、
前記生成工程は、前記カラー画像において前記散乱光に由来する成分の影響が強い領域においては前記赤外光画像を使い、前記カラー画像において前記散乱光に由来する成分の影響が強くない領域においては前記赤外光画像を使わないことを特徴とする画像処理方法。
コンピュータを請求項１乃至７のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。