WO2016114148A1

WO2016114148A1 - 画像処理装置、画像処理方法、及び記録媒体

Info

Publication number: WO2016114148A1
Application number: PCT/JP2016/000210
Authority: WO
Inventors: 真人戸田
Original assignee: 日本電気株式会社
Priority date: 2015-01-16
Filing date: 2016-01-15
Publication date: 2016-07-21
Also published as: JP6677172B2; JPWO2016114148A1; US10354366B2; US20170352133A1

Abstract

　撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させる。画像処理装置は、撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する推定部と、前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する復元部と、を備える。

Description

画像処理装置、画像処理方法、及び記録媒体

　本発明は、画像処理装置等に関し、近赤外光画像を用いた画像処理に関する。

　霧又は靄の発生時に撮影した可視光画像は、大気中の粒子の影響により、白む、又は、低コントラストとなって画質が劣化する。図１５に示すように、霧又は靄の環境下では、撮影対象の反射光は、撮影対象からカメラまでの経路における大気中の粒子によって拡散され減衰する。また、同時に、環境光も大気中の粒子によって拡散され、その拡散光もカメラの撮像センサに到達する。そのため、カメラの撮像センサに照射される光は、撮影対象からの減衰した反射光と拡散された環境光との混合光となる。撮影対象を撮影した可視光画像から、大気中の粒子の影響を除去するためには、混合光から拡散された環境光の影響を除去し、大気中の粒子による減衰を復元する必要がある。

　これまで、劣化のない可視画像への復元を実現するために、霧又は靄中の大気における透過率が高く、劣化の少ない近赤外光画像の情報を利用する手法が提案されている。

　特許文献１は、可視光画像を輝度信号と色差信号に分離し、輝度信号に近赤外信号を合成することで可視光画像を強調する技術を開示する。特許文献２は、低彩度の領域であって、長波長輝度信号の輪郭成分と可視光輝度信号の輪郭成分との差が所定の基準値以上の領域に対し、対象画像の輝度信号を長波長輝度信号で置き換えることで、可視光画像を強調する技術を開示する。

　特許文献１又は特許文献２の技術は、輝度信号の強調処理であり、強調された画像の視認性は向上する。しかしながら、色情報等に対する画質の向上は図られていない。

　一方、色情報を含む画質を向上させる画像処理として、非特許文献１が知られている。非特許文献１は、好天時では各画素の周辺にいずれかのカラーチャネルで０の値を持つ画素が存在するという事前知識を用いている。劣化を復元する際に、復元可視光画像と近赤外光画像の局所勾配量が類似するという制約をかけることで、可視光画像の復元性能を向上させている。

　なお、特許文献３には、蛍光物質を含む試料における蛍光波長域と蛍光波長域外の長波長域を測定する分光測定の技術が記載されている。また、特許文献４には、印刷物の反射光による物体色と、表示画面上の光源色を一致させる技術が記載されている。さらに、特許文献５には、赤外像を可視像または近赤外像に変換する技術が記載されている。

特開２０１３－２５５１４４号公報特開２０１０－１７８０３６号公報特開２０１２－０４２３１３号公報特開平０９－１０２８８２号公報特開平０６－１２１２３２号公報

Ｃ．Ｆｅｎｇ，Ｓ．Ｚｈｕｏ，Ｘ．Ｚｈａｎｇ，Ｌ．Ｓｈｅｎ　ａｎｄ　Ｓ．Ｓｕｓｓｔｒｕｎｋ，"Ｎｅａｒ－Ｉｎｆｒａｒｅｄ　Ｇｕｉｄｅｄ　Ｃｏｌｏｒ　Ｉｍａｇｅ　Ｄｅｈａｚｉｎｇ"　ＩＥＥＥ　２０ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　（ＩＣＩＰ），Ｍｅｌｂｏｕｒｎｅ，Ａｕｓｔｒａｌｉａ，Ｓｅｐｔｅｍｂｅｒ　１５－１８，２０１３

　非特許文献１の技術は、復元可視光画像と近赤外光画像の局所勾配量の比が１：１であると仮定して処理している。しかし、一般に、可視光画像と近赤外光画像の局所勾配量との比は物体の反射特性に依存するため、その関係が必ずしも成り立つわけではない。その結果、処理後の復元画像で過度の強調または劣化復元の不足が発生することになり、高品質な復元画像を生成することができない。

　このように、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させることが可能な画像処理装置等が望まれている。

　本発明の目的は、上記の課題を解決する画像処理装置等を提供することにある。

　本発明の一態様である画像処理装置は、撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する推定部を備える。さらに、画像処理装置は、前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する復元部と、を備える。

　本発明の一態様である画像処理方法は、撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する。さらに、画像処理方法は、前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する。

　本発明の一態様であるプログラムを格納する記録媒体は、コンピュータに、撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、ことを実行させる。

　本発明は、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させることができる。

第１の実施形態による画像処理装置の構成を示すブロック図である。第１の実施形態による画像処理装置の動作を示すフローチャートである。第２の実施形態による画像処理装置の構成を示すブロック図である。第２の実施形態による画像処理装置の動作を示すフローチャートである。第３の実施形態による画像処理装置の構成を示すブロック図である。第３の実施形態による画像処理装置の動作を示すフローチャートである。第３の実施形態による画像処理装置の構成の変形例を示すブロック図である。第３の実施形態による画像処理装置の変形例の動作を示すフローチャートである。第４の実施形態による画像処理装置の構成を示すブロック図である。第４の実施形態による画像処理装置の動作を示すフローチャートである。第４の実施形態による画像処理装置の構成の変形例を示すブロック図である。第４の実施形態による画像処理装置の変形例の動作を示すフローチャートである。環境光の算出方法を表す説明図である。第１～４の実施形態による画像処理装置をコンピュータで実現するためのハードウエア構成を示すブロック図である。霧の発生時における光の経路を表すモデル図である。

　以下、本発明の実施形態について図面を用いて説明する。なお、実施形態の構成を説明する図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

　（第１の実施形態）
　本発明の第１の実施形態による画像処理装置について、図面を用いて詳細に説明する。図１は、第１の実施形態による画像処理装置の構成を示すブロック図である。第１の実施形態の画像処理装置１０は、推定部１１と、復元部１２と備える。

　撮影対象を撮影した可視光画像（以後、撮影可視光画像と示す）と撮影対象を撮影した近赤外光画像（撮影近赤外光画像）とが、推定部１１に入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域における分光反射率と、近赤外光波長領域における分光反射率との比を表す分光反射率比を推定する。

　推定部１１における分光反射率比の推定について説明する。図１５に示すように、霧の環境においては、撮影対象からの反射光は、撮影対象からカメラまでの経路における霧の粒子によって拡散され減衰する。また、同時に、環境光も霧の粒子によって拡散され、その拡散光もカメラの撮像センサ（図示せず）に到達する。そのため、カメラの撮像センサに照射される光は、減衰した撮影対象からの反射光と拡散された環境光との混合光となる。

　このとき、カメラの撮像センサの画素位置ｘにおけるカラーチャネルｃで観測された可視光の輝度Ｉ_Ｃ（ｘ）は、撮影対象表面の反射光の輝度Ｊ_Ｃ（ｘ）と環境光の輝度Ａ_Ｃとを用いて、式（１）で表される。ただし、ｔ（ｘ）は、可視光の大気透過率を表す。なお、式（１）は、非特許文献１に記載されている霧モデルである。

　また、同様に、画素位置ｘにおける観測された近赤外光の輝度Ｉ_ｉｒ（ｘ）は、同位置における反射光の輝度Ｊ_ｉｒ（ｘ）と環境光の輝度Ａ_ｉｒおよび近赤外光の大気透過率ｔ_ｉｒ（ｘ）とを用いて、式（２）で表される。

　可視光の反射光Ｊ_Ｃ（ｘ）及び近赤外光の反射光Ｊ_ｉｒ（ｘ）は、同位置における撮影対象の分光反射率Ｒ_Ｃ（ｘ）及びＲ_ｉｒ（ｘ）と、光源から撮影対象への照射光の強度及び撮影対象の形状で形成される画像中の陰影を表すパラメータｌ（ｘ）とを用いて、式（３）及び式（４）のように表すことができる。
Ｉ_ｃ（ｘ）＝ｔ（ｘ）・Ｊ_ｃ（ｘ）＋（１－ｔ（ｘ））・Ａ_ｃ　　　　　　（１）
Ｉ_ｉｒ（ｘ）＝ｔ_ｉｒ（ｘ）・Ｊ_ｉｒ（ｘ）＋（１－ｔ_ｉｒ（ｘ））・Ａ_ｉｒ　　（２）
Ｊ_ｃ（ｘ）＝ｌ（ｘ）・Ｒ_ｃ（ｘ）　　　　　　　　　　　　　　　　（３）
Ｊ_ｉｒ（ｘ）＝ｌ（ｘ）・Ｒ_ｉｒ（ｘ）　　　　　　　　　　　　　　　　（４）
　近赤外光の大気の透過率は、霧中において、可視光と比較して高いことが知られている。そのため、第１の実施形態では、霧中の近赤外光の拡散は無視できるレベルであるとする。大気透過率ｔ_ｉｒ（ｘ）を１．０と設定すると、式（２）で表される観測された近赤外光Ｉ_ｉｒ（ｘ）は、式（５）のように書き換えることができる。
Ｉ_ｉｒ（ｘ）＝Ｊ_ｉｒ（ｘ）　　　　　　　　　　　　　　　　　　　　（５）
　一般に、大気中の光の透過率は、大気中の粒子の大きさや密度、撮影対象までの距離に依存する。また、画像中の撮影対象の陰影は、照射光の強度と撮影対象の形状に依存する。そのため、可視光の大気透過率ｔ（ｘ）と陰影を表すパラメータｌ（ｘ）は無相関であり、その関係は、式（６）のように表すことができる。ただし、関数Ｃｏｖ（・）は、共分散を表す。
Ｃｏｖ（ｔ^－１，ｌ）＝０　　　　　　　　　　　　　　　　　　　（６）
　分光反射率Ｒ_ｃ（ｘ）およびＲ_ｉｒ（ｘ）が画像内で一定である場合、分光反射率Ｒ_ｃ（ｘ）とＲ_ｉｒ（ｘ）との分光反射率比α_ｃは、式（１）、（３）、（４）、（５）および（６）を統合し、式（７）のように表すことができる。

　各画素位置について、当該画素を中心とした領域Ｍ×Ｎ（Ｍ，Ｎは整数）において分光反射率Ｒ_ｃ（ｘ）およびＲ_ｉｒ（ｘ）が一定であると仮定し、推定部１１は、式（７）を用いて、当該画素における分光反射率の比α（ｘ）を推定する。ここで、環境光Ａ_ｃの算出方法として、観測画像における輝度と、その輝度の画素の数との関係から求める例がる。例えば、図１３に示すように、観測画像の各カラーチャネルのヒストグラムを生成する。図１３のグラフにおいて、横軸はカラーチャネルにおける輝度を示し、縦軸はその輝度の画素の数（出現頻度）を示す。図中、ヒストグラムにおける輝度の小さい方（原点側）から画素の数を加算していき、予め指定された加算による累積値に達した輝度位置の輝度をＡ_ｃとする。尚、環境光の輝度Ａ_ｃに対して、ある所定の比率を掛けたり、リミッタを設けたりしてもよい。

　復元部１２には、撮影近赤外光画像と、推定部１１で推定された分光反射率比とが入力され、復元可視光画像が生成される。式（３）および式（４）を統合すると、可視光波長領域における反射光と近赤外光波長領域における反射光の関係は、式（８）のように表される。

　復元部１２は、撮影近赤外光画像と、分光反射率Ｒ_ｃ（ｘ）とＲ_ｉｒ（ｘ）との分光反射率比α_ｃをもとに、式（８）を用いて、各画素位置で、推定された分光反射率比と撮影近赤外光画像の輝度とを乗算し、復元可視光画像を生成する。

　次に、第１の実施形態による画像処理装置の動作について図面を用いて説明する。図２は、第１の実施形態による画像処理装置の動作を示すフローチャートである。

　撮影可視光画像と撮影近赤外光画像とが推定部１１に入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域における分光反射率と近赤外光波長領域における分光反射率の比を表す分光反射率比を推定する（Ｓ１）。

　復元部１２は、撮影近赤外光画像と、推定部１１で推定された分光反射率比とに基づき、復元可視光画像を生成する。（Ｓ２）
　（第１の実施形態の効果）
　第１の実施形態の画像処理装置１０は、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させることができる。その理由は、各画素位置における撮影対象の可視光波長領域における分光反射率と近赤外光波長領域における分光反射率の比を表す分光反射率比を推定し、各画素位置における推定された分光反射率比と撮影近赤外光画像とを用いて復元可視光画像を生成するからである。

　（第２の実施形態）
　次に、本発明の第２の実施形態による画像処理装置について、図面を用いて説明する。

　図３は、本発明の第２の実施形態による画像処理装置の構成を示すブロック図である。第２の実施形態の画像処理装置２０は、推定部１１と、復元部１２と、第１補正部２３と、を備える。第２の実施形態の画像処理装置２０は、第１の実施形態の画像処理装置１０と比較して、第１補正部２３を備える点で異なる。以下、第２の実施形態について、相違する構成を主に説明し、第１の実施形態と同様の構成には、同じ符号を附して詳細な説明は省略する。

　画像処理装置２０の第１補正部２３には、撮影した可視光画像（撮影可視光画像）と推定部１１で推定された分光反射率比とが入力される。続いて、第１補正部２３は、撮影対象の各注目画素における分光反射率比を、撮影可視光画像の情報と注目画素の周辺領域の分光反射率比とを用いて補正した分光反射率比（以後、補正分光反射率比と示す。）を推定する。

　推定部１１で推定された分光反射率比は、当該画素を中心とした周辺領域において分光反射率が一定である前提のもと、式（７）を用いて推定される。しかし、実際には、撮影対象の模様や撮影対象間境界等で当該前提が成立していない場合が存在する。このような場合には、式（７）によって推定された分光反射率比に誤差が発生し、復元部１２による復元処理に失敗する場合がある。そこで、第１補正部２３は、可視光画像の情報を利用して同一領域と見なせる注目画素周辺の画素群をそれぞれ抽出し、これらの画素群の分光反射率比をもとにして、注目画素の分光反射率比を補正する。

　分光反射率比の補正方法の一つとして、可視光画像の色情報をもとにした合成重みにより分光反射率比の平滑化を実施する方法がある。合成重みの算出方法として、可視光画像の各画素におけるＨＳＶ表色系における色相Ｈを利用する方法がある。画素位置ｘの注目画素の分光反射率比に対する、周辺画素の画素位置ｙにおける合成重みｗ（ｘ、ｙ）は、式（９）で表される色相間の距離ｄ（ｘ、ｙ）を用いて式（１０）で算出される。ただし、Ｈ（ｘ）、Ｈ（ｙ）は、ＨＳＶ表色系における色相Ｈであり、σ_Ｈ ^２は、あらかじめ設定されたパラメータである。

　第１補正部２３は、注目画素を含む所定の周辺画素について、合成重みを算出し、式（１１）を用いて、周辺画素における分光反射率比α（ｙ）を合成することで、補正分光反射率比α’（ｘ）を算出する。

　なお、第１補正部２３は、式（９）の色相間の距離の算出に、Ｌ＊Ｃ＊ｈ表色系における色相ｈを用いてもよい。また、色相間の距離の算出に、ｙｕｖ表色系におけるｕｖ平面上で原点を中心に注目画素の色位置と周辺画素の色位置がなす角θを用いてもよい。また、式（１０）による合成重みの算出は、距離ｄ（ｘ，ｙ）が小さい値ほど大きな値を算出し、大きな値になるほど小さい値を算出する特性のある別の関数を用いてもよい。あるいは、合成重みの算出として、あらかじめ手動で設定された色相間の距離に対する合成重みを保持するテーブルから距離ｄ（ｘ，ｙ）に対応する合成重みを読み出す方法を用いてもよい。

　画像処理装置２０の復元部１２には、撮影近赤外光画像と第１補正部２３からの補正分光反射率比とが入力され、復元可視光画像が生成される。復元部１２における生成処理において、復元部１２への入力は分光反射率比から補正分光反射率比に変わっている。

　次に、第２の実施形態による画像処理装置の動作について図面を用いて説明する。図４は、第２の実施形態による画像処理装置の動作を示すフローチャートである。

　画像処理装置２０の推定部１１には、撮影可視光画像と撮影近赤外光画像とが入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域における分光反射率と近赤外光波長領域における分光反射率の比である分光反射率比を推定する（Ｓ１０１）。
画像処理装置２０の第１補正部２３には、撮影可視光画像と推定部１１で推定された分光反射率比とが入力される。第１補正部２３は、各注目画素における分光反射率比を、撮影可視光画像の情報と注目画素周辺の分光反射率比とを用いて補正し、補正分光反射率比を算出する（Ｓ１０２）。

　画像処理装置２０の復元部１２には、撮影近赤外光画像と、第１補正部２３で補正された補正分光反射率比とが入力され、復元可視光画像が生成される（Ｓ１０３）。
　（第２の実施形態の効果）
　第２の実施形態の画像処理装置２０は、第１の実施形態の画像処理装置１０と同様に、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させることができる。

　更に、第２の実施形態の画像処理装置２０は、撮影対象の模様、又は、撮影対象間の境界等の存在に起因する可視光画像の復元処理の失敗を低減することができる。その理由は、第１補正部２３が、可視光画像の情報を利用して同一領域と見なせる注目画素周辺の画素群をそれぞれ算出し、これらの画素群の分光反射率比をもとにして、注目画素の分光反射率比を補正するからである。

　（第３の実施形態）
　次に、本発明の第３の実施形態による画像処理装置について、図面を用いて説明する。

　図５は、本発明の第３の実施形態による画像処理装置の構成を示すブロック図である。第３の実施形態の画像処理装置３０は、推定部１１と、復元部１２と、第１補正部２３と、第２補正部３４とを備える。第３の実施形態の画像処理装置３０は、第２の実施形態の画像処理装置２０と比較して、第２補正部３４を備える点で異なる。以下、第３の実施形態について、相違する構成を主に説明し、第２の実施形態と同様の構成には同じ符号を附して説明を省略する。

　撮影近赤外光画像が第２補正部３４に入力され、第２補正部３４は、撮影近赤外光画像の各画素における大気中の粒子の影響による劣化量を推定し、撮影近赤外光画像から劣化を低減させて、補正された近赤外光画像（以後、補正近赤外光画像）を生成する。

　第１の実施形態および第２の実施形態では、撮影近赤外光画像における霧の影響による劣化は無視できるものとし、式（２）における近赤外光の大気透過率ｔ_ｉｒ（ｘ）を１．０に設定して処理を実行している。しかし、実際には、無視できない程度の劣化が発生している場合がある。そのため、第２補正部３４は、撮影近赤外光画像の各画素における大気透過率ｔ_ｉｒ（ｘ）を推定し、大気中の粒子の影響による劣化を低減させる。

　近赤外光の大気透過率ｔ_ｉｒ（ｘ）の推定方法として、好天時では各画素の周辺には０の値を持つ画素が存在するという事前知識を用いる方法がある。画素位置ｘの注目画素を含む周辺画素の画素位置ｙの最小画素値ｐ_ｉｒ（ｘ）は、式（１２）を用いて算出できる。

　算出された最小画素値は、大気中の粒子によって拡散された環境光の影響であると考えると、注目画素における大気透過率ｔ_ｉｒ（ｘ）は、式（１３）のように表される。

したがって、画素位置ｘにおける近赤外領域における反射光Ｊ_ｉｒ（ｘ）は、式（１４）を用いて算出できる。なお、Ｉ_ｉｒ（ｘ）は観測された近赤外光を、Ａ_ｉｒは環境光（近赤外光）表す。

　第２補正部３４は、式（１４）を用いて各画素における反射光Ｊ_ｉｒ（ｘ）を算出し、補正近赤外光画像として出力する。なお、第２補正部３４は、式（１３）の大気透過率の算出の際に、最小画素値ｐ_ｉｒ（ｘ）に対して、上限値を設けてもよい。あるいは、あらかじめ設定された係数を乗算する等の補正を行ってもよい。また、大気透過率ｔ_ｉｒ（ｘ）は、注目画素周辺の近赤外光画像の輝度、又は、算出された大気透過率の値を用いて補正してもよい。例えば、画素位置ｘの注目画素に対する周辺画素の画素位置ｙにおける合成重みｗ_ｉｒ（ｘ，ｙ）を、式（１５）を用いて算出し、式（１６）を用いて周辺画素における算出された大気透過率の値を合成することで、注目画素の大気透過率の値を補正することができる。ただし、σ_ｉｒ ^２は、あらかじめ設定されたパラメータである。

　画像処理装置３０の推定部１１には、撮影可視光画像と第２補正部３４からの補正近赤外光画像とが入力され、分光反射率比が推定される。画像処理装置３０の推定部１１における推定処理において、推定部１１への入力の一部は撮影近赤外光画像から補正近赤外光画像に変わっている。

　画像処理装置３０の復元部１２には、第１補正部２３からの補正分光反射率比と第２補正部３４からの補正近赤外光画像とが入力され、復元可視光画像が生成される。画像処理装置３０の復元部１２における生成処理において、復元部１２への入力の一部は撮影近赤外光画像から補正近赤外光画像に変わっている。

　次に、第３の実施形態による画像処理装置の動作について図面を用いて説明する。図６は、第３の実施形態による画像処理装置の動作を示すフローチャートである。

　初めに、撮影した近赤外光画像が、画像処理装置３０の第２補正部３４に入力される。第２補正部３４は、撮影近赤外光画像における大気中の粒子による劣化量を推定し、劣化を低減させて撮影近赤外光画像を補正し、補正近赤外光画像を生成する（Ｓ２０１）。

　画像処理装置３０の推定部１１には、撮影可視光画像と第２補正部３４からの補正近赤外光画像とが入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域と近赤外光波長領域における分光反射率比を推定する（Ｓ２０２）。

　画像処理装置３０の第１補正部２３は、撮影可視光画像と推定部１１からの分光反射率比とが入力される。第１補正部２３は、各注目画素における分光反射率比を、撮影可視光画像の情報と注目画素周辺の分光反射率比とを用いて補正し、補正分光反射率比を算出する（Ｓ２０３）。

　画像処理装置３０の復元部１２に、第２補正部３４からの補正近赤外光画像と第１補正部２３からの補正分光反射率比とが入力され、復元可視光画像が生成される（Ｓ２０４）。

　（第３の実施形態の効果）
　第３の実施形態の画像処理装置３０は、第２の実施形態の画像処理装置２０と同様に、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させることができる。

　更に、第３の実施形態の画像処理装置３０は、撮影対象の模様、又は、撮影対象間の境界等の存在に起因する可視光画像の復元処理の失敗を低減することができる。

　更に、第３の実施形態の画像処理装置３０は、第２の実施形態よりも高品質な復元画像を生成できる。その理由は、第２補正部３４は、近赤外光画像の各画素における大気透過率を算出し、近赤外光画像における大気中の粒子による劣化を低減させる補正を実行するからである。

　（第３の実施形態の変形例）
　次に、第３の実施形態の変形例について、説明する。第３の実施形態による画像処理装置３０は、第２補正部３４を第２の実施形態の画像処理装置２０に設ける例であるが、第２補正部３４を第１の実施形態の画像処理装置１０に設けてもよい。図７は、第３の実施形態の変形例である画像処理装置３１の構成を示すブロック図である。図７に示す画像処理装置３１は、推定部１１と、復元部１２と、第２補正部３４を備える。

　画像処理装置３１の第２補正部３４に、撮影近赤外光画像が入力される。第２補正部３４は、撮影近赤外光画像における大気中の粒子の影響による劣化量を推定し、劣化を低減するように補正された近赤外光画像（以後、補正近赤外光画像）を生成する。画像処理装置３１の第２補正部３４における近赤外光画像の補正処理は、第３の実施形態の画像処理装置３０の第２補正部３４の補正処理と同様である。

　画像処理装置３１の推定部１１に、撮影可視光画像と第２補正部３４からの補正近赤外光画像とが入力され、分光反射率比が推定される。画像処理装置３１の推定部１１における推定処理は、画像処理装置３０の推定部１１の推定処理と同様である。

　画像処理装置３１の復元部１２に、推定部１１からの分光反射率比と第２補正部３４で補正された補正近赤外光画像とが入力され、復元可視光画像が生成される。画像処理装置３１の復元部１２における生成処理において、復元部１２への入力の一部は撮影近赤外光画像から補正近赤外光画像に変わっている。

　図８は、第３の実施形態の変形例による画像処理装置の動作を示すフローチャートである。

　初めに、画像処理装置３１の第２補正部３４に、撮影した近赤外光画像が入力され、第２補正部３４は、撮影近赤外光画像における大気中の粒子による劣化量を算出し、算出された劣化を低減させることで撮影近赤外光画像を補正し、補正近赤外光画像を生成する（Ｓ２１１）。

　画像処理装置３０の推定部１１に、撮影可視光画像と第２補正部３４からの補正近赤外光画像とが入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域と近赤外光波長領域における分光反射率比を推定する（Ｓ２１２）。

　画像処理装置３０の復元部１２に、第２補正部３４からの補正近赤外光画像と推定部１１からの分光反射率比とが入力され、復元可視光画像が生成される（Ｓ２１４）。

　（第３の実施形態の変形例の効果）
　第３の実施形態の変形例である画像処理装置３１は、第１の実施形態の画像処理装置１０と同様に、撮影対象を撮影した可視光画像から大気中の粒子の影響を除去して、復元画像の品質を向上させることができる。

　更に、画像処理装置３１は、近赤外光画像における大気中の粒子の影響を除去し、復元可視光画像の第１の実施形態よりも高品質な復元画像を生成できる。その理由は、第２補正部３４は、近赤外光画像の各画素における大気透過率を推定し、大気中の粒子の影響による劣化を低減させる補正を実行するからである。

　（第４の実施形態）
　次に、本発明の第４の実施形態による画像処理装置について、図面を用いて説明する。

　図９は、本発明の第４の実施形態による画像処理装置の構成を示すブロック図である。第４の実施形態の画像処理装置４０は、推定部１１と、復元部１２と、第１補正部２３と、第３補正部４４と、を備える。第４の実施形態の画像処理装置４０は、第３の実施形態の画像処理装置３０と比較して、第２補正部３４が、第３補正部４４となっている点で異なる。第３補正部４４は、撮影対象を撮影した近赤外光画像における大気中の粒子の影響を除去するために、撮影可視光画像を利用する点で、第２補正部３４と異なる。以下、第４の実施形態について、相違する構成を主に説明し、第３の実施形態と同様の構成には同じ符号を附して説明を省略する。

　第３補正部４４に、撮影可視光画像と撮影近赤外光画像とが入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子の影響による劣化量を推定し、撮影近赤外光画像における劣化を低減させた補正近赤外光画像を生成する。第３補正部４４は、追加入力として撮影可視光画像の情報を用いることにより、近赤外光の大気透過率ｔ_ｉｒ（ｘ）の推定精度を向上させる。撮影可視光画像の情報を用いる方法として、可視光の大気透過率推定を利用する方法がある。一般に、近赤外光の大気透過率は、可視光の大気透過率と比較して高いことが知られている。そのため、近赤外光の推定大気透過率が可視光の推定大気透過率よりも小さな値を持つ場合には、何らかの推定誤差が発生していることが予測される。そこで、第３補正部４４は、可視光において、好天時では各画素の周辺にはいずれかのカラーチャネルで０の値を持つ画素が存在するという事前知識を用いる。第３補正部４４は、可視光の大気透過率を推定し、式（１２）および式（１３）で算出された近赤外光の大気透過率を修正することにより、式（１４）による近赤外光の補正性能を向上させる。

　可視光の大気透過率ｔ_ｖ（ｘ）の推定方法の一例として、式（１８）のように、周辺画素の輝度の最小値を利用する方法がある。式（１８）は、ある周辺画素ｙにおける各カラーチャネルの輝度のうち環境光の中の割合が最も小さい値を求め、さらに各周辺画素ｙのうち最も小さい値を求めて可視光の大気透過率を推定する方法である。

近赤外光の大気透過率の修正は、式（１２）および式（１３）で算出された近赤外光の大気透過率ｔ_ｉｒ（ｘ）と可視光の大気透過率ｔ_ｖ（ｘ）のうち小さくない方を、式（１９）を用いて求めることで実行される。

　なお、第３補正部４４は、算出された可視光の大気透過率ｔ_ｖ（ｘ）を予め下限値を設定しておき、設定された下限値より小さくならないよう補正してもよい。また、算出された可視光の大気透過率ｔ_ｖ（ｘ）に対して、予め設定された係数を乗算する、あるいは、設定された指数値を用いてべき乗処理することで補正してもよい。

　第４の実施形態の画像処理装置４０は、第３の実施形態の画像処理装置３０の第２補正部３４が第３補正部４４に置き換わっている。このため、画像処理装置４０の推定部１１には、撮影可視光画像と第３補正部４４からの補正近赤外光画像とが入力され、分光反射率比が推定される。画像処理装置４０の推定部１１における推定処理において、推定部１１への入力の一部は撮影可視光画像の情報が考慮された補正近赤外光画像に変わっている。

　また、画像処理装置４０の復元部１２に、第１補正部２３からの補正分光反射率比と第３補正部４４からの補正近赤外光画像とが入力され、復元可視光画像が生成される。画像処理装置４０の復元部１２における生成処理において、第３の実施形態による画像処理装置３０の復元部１２への入力の一部は撮影可視光画像の情報が考慮された補正近赤外光画像に変わっている。

　次に、第４の実施形態による画像処理装置の動作について図面を用いて説明する。図１０は、第４の実施形態による画像処理装置の動作を示すフローチャートである。

　画像処理装置４０の第３補正部４４に、撮影可視光画像と撮影近赤外光画像が入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子の影響による劣化量を算出し、撮影近赤外光画像の劣化を低減させる補正をし、補正近赤外光画像を生成する（Ｓ３０１）。

　画像処理装置４０の推定部１１に、撮影可視光画像と補正近赤外光画像とが入力され、推定部１１は、各画素位置における撮影対象の、可視光波長領域と近赤外光波長領域における分光反射率比を推定する（Ｓ３０２）。

　画像処理装置４０の第１補正部２３に、撮影可視光画像と推定部１１からの分光反射率比とが入力される。第１補正部２３は、各注目画素における分光反射率比を、撮影可視光画像の情報と注目画素周辺の分光反射率比とを用いて補正し、補正分光反射率比を算出する（Ｓ３０３）。

　画像処理装置４０の復元部１２に、第３補正部４４からの補正近赤外光画像と第１補正部２３からの補正分光反射率比が入力され、復元可視光画像が生成される（Ｓ３０４）。

　（第４の実施形態の効果）
　第４の実施形態の画像処理装置４０は、第１の実施形態の画像処理装置１０と同様に、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、高品質な復元画像を生成できる。

　更に、画像処理装置４０は、撮影対象の模様、又は、撮影対象間の境界等の存在に起因する可視光画像の復元処理の失敗を低減することができる。

　更に、画像処理装置４０は、近赤外光画像から大気中の粒子による影響を除去し、復元可視光画像の第３の実施形態よりも高品質な復元画像を生成できる。

　その理由は、第３補正部４４は、近赤外光画像の各画素における大気透過率を推定し、大気中の粒子の影響による劣化を低減させる補正を実行する。その際に、撮影可視光画像の情報を用いることにより、近赤外光の大気透過率の推定精度を向上できるからである。

　（第４の実施形態の変形例）
　次に、第４の実施形態の変形例について説明する。第４実施形態による画像処理装置４１は、第２の実施形態の画像処理装置２０に第３補正部４４を設ける例である。

　図１１は、第４の実施形態の変形例である画像処理装置４１の構成を示すブロック図である。図１１に示す画像処理装置４１は、推定部１１と、復元部１２と、第３補正部４４を備える。

　画像処理装置４１の第３補正部４４に、撮影近赤外光画像が入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子の影響による劣化量を推定し、撮影近赤外光画像の劣化を低減する補正をし、補正近赤外光画像を生成する。画像処理装置４１の第３補正部４４における近赤外光画像の補正処理は、第４の実施形態の画像処理装置４０の第３補正部４４の補正処理と同様である。

　画像処理装置４１の推定部１１に、撮影可視光画像と第３補正部４４からの補正近赤外光画像とが入力され、分光反射率比が推定される。画像処理装置４１の推定部１１における推定処理は、画像処理装置３１の推定部１１の推定処理と同様である。

　画像処理装置４１の復元部１２に、推定部１１からの分光反射率比と第３補正部４４からの補正近赤外光画像とが入力され、復元可視光画像が生成される。画像処理装置４１の復元部１２における生成処理は、復元部１２への入力の一部が撮影近赤外光画像から補正近赤外光画像に変わっている。
　図１２は、第４の実施形態の変形例による画像処理装置の動作を示すフローチャートである。

　初めに、画像処理装置４１の第３補正部４４に、撮影近赤外光画像が入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子による劣化量を推定し、撮影近赤外光画像の劣化を低減する補正をし、補正近赤外光画像を生成する（Ｓ３０１）。

　画像処理装置４１の推定部１１に、撮影可視光画像と第３補正部４４からの補正近赤外光画像とが入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域と近赤外光波長領域における分光反射率比を推定する（Ｓ３０２）。

　画像処理装置４１の復元部１２に、第３補正部４４からの補正近赤外光画像と推定部１１からの分光反射率比とが入力され、復元可視光画像が生成される（Ｓ３１４）。

　なお、第４の実施形態の変形例として、第２の実施形態の画像処理装置２０に第３補正部４４を設ける例を説明したが、これに限られない。例えば、第３の実施形態の変形例である画像処理装置３１の第２補正部３４を第３補正部４４に置き換えてもよい。
　（第４の実施形態の変形例の効果）
　第４の実施形態の変形例である画像処理装置４１は、第１の実施形態の画像処理装置１０と同様に、撮影可視光画像から大気中の粒子の影響を除去して、高品質な復元画像を生成できる。

　更に、画像処理装置４１は、撮影近赤外光画像における大気中の粒子の影響を除去し、復元可視光画像の第３の実施形態の変形例である画像処理装置３１よりも高品質な復元画像を生成できる。その理由は、第３補正部４４は、撮影近赤外光画像の各画素における大気透過率を推定し、大気中の粒子の影響による劣化を低減させる補正を実行する。その際に、その際に、撮影可視光画像の情報を用いることにより、近赤外光の大気透過率の推定精度を向上できるからである。

　上記の第１～第４の実施形態に記載の画像処理装置は、各処理部をハードウエアである集積回路で構成することができる。また、各処理部の機能を画像処理プログラム等のソフトウエアで構成し、コンピュータ装置により画像処理装置の各処理を実行させることも可能である。

　（ハードウエア構成図）
　図１４は、本発明の第１～４の実施の形態における画像処理装置をコンピュータ装置で実現したハードウエア構成を示す図である。図１４に示されるように、画像処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９１、ネットワーク接続用の通信Ｉ／Ｆ（通信インターフェース）９２、メモリ９３、及び、プログラムを格納するハードディスク等の記憶装置９４を含む。

　ＣＰＵ９１は、オペレーティングシステムを動作させて本発明の第１～４の実施の形態に係る画像処理装置を制御する。またＣＰＵ９１は、例えば、ドライブ装置に装着された記録媒体からメモリ９３にプログラムやデータを読み出す。

　また、ＣＰＵ９１は、例えば、第１の実施の形態における画像処理装置１０の推定部１１、復元部１２の少なくとも一部として機能し、プログラムに基づいて各種の処理を実行する。

　記憶装置９４は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、又は半導体メモリ等である。記憶装置の一部の記憶媒体は、不揮発性記憶装置であり、そこにプログラムを記憶する。また、プログラムは、通信網に接続されている。図示しない外部コンピュータからダウンロードされてもよい。

　ＣＰＵ９１は、システムバス９７を介して入力装置９５及び、出力装置９６に接続されている。入力装置９５は、例えば、マウス、キーボード、キーボタン、又は、タッチパネルなどで実現され、入力操作に用いられる。出力装置９６は、例えば、ディスプレイで実現され出力を確認するために用いられる。

　以上のように、本発明の各実施の形態は、図１４に示されるハードウエア構成によって実現される。但し、画像処理装置が備える各部の実現手段は、特に限定されない。すなわち、画像処理装置は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線又は無線で接続し、これら複数の装置により実現してもよい。

　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、第１から第４の実施形態では、霧中の例を用いて説明したが、靄又は煙霧中でも適用することができる。

　この出願は、２０１５年１月１６日に出願された日本出願特願２０１５－００７２０４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　上記の実施形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。

　（付記１）
　撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する推定部と、
　前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する復元部と、を備える画像処理装置。

　　（付記２）
　前記可視光画像と前記推定された分光反射率比とが入力され、撮影対象の各注目画素における分光反射率比を、前記可視光画像の情報と前記注目画素の周辺領域の分光反射率比とを用いて補正した補正分光反射率比を算出する第１補正部を更に備え、
　前記復元部は、前記補正分光反射率比と、前記近赤外光画像の輝度を乗算し、前記復元可視光画像を生成する、
付記１記載の画像処理装置。

　　（付記３）
　前記第１補正部は、前記可視光画像の情報を用いて同一領域と見なせる前記注目画素の周辺領域の画素群をそれぞれ抽出し、前記抽出した画素群の分光反射率比に基づき、前記注目画素の分光反射率比を補正する、
　付記２記載の画像処理装置。

　　（付記４）
　前記第１補正部は、
前記可視光画像の色情報を用いて合成重みにより分光反射率比を平滑化する、
　付記３に記載の画像処理装置。

　　（付記５）
　前記合成重みは、前記可視光画像の各画素におけるＨＳＶ表色系の色相Ｈを用いる、
付記４に記載の画像処理装置。

　　（付記６）
　前記第１補正部は、前記注目画素を含む所定の周辺領域の画素について、前記合成重みを算出し、前記周辺領域の画素における分光反射率比を合成して前記補正分光反射率比を算出する、
付記２から付記５のいずれか１つに記載の画像処理装置。

　　（付記７）
　前記近赤外光画像の各画素における大気透過率を推定し、前記推定した劣化量を用いて前記近赤外光画像を補正する第２補正部を更に備え、
　前記復元部は、推定された前記分光反射率比と前記第２補正部で補正された補正近赤外光画像の輝度を乗算して復元可視光画像を生成する、
付記１から付記６のいずれか１つに記載の画像処理装置。

　　（付記８）
　前記第２補正部は、前記近赤外光画像における前記各注目画素の画素値を、前記注目画素の周辺領域の前記近赤外光画像の画素値を用いて補正する、
付記７に記載の画像処理装置。

　　（付記９）
　前記近赤外光画像を、前記可視光画像を用いて補正する第３補正部を更に備え、
　前記復元部は、推定された前記分光反射率比と前記第３補正部で補正された補正近赤外光画像の輝度を乗算して復元可視光画像を生成する、
付記１から付記６のいずれか１つに記載の画像処理装置。

　　（付記１０）
　前記近赤外画像と前記可視光画像における所定の画素における、近赤外光の大気透過率が、可視光の大気透過率よりも小さな値を持つ場合、大気透過率の推定誤差があると予測する、
　付記９に記載の画像処理装置。

　　（付記１１）
　撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、
　前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、画像処理方法。

　　（付記１２）
　コンピュータに、
　撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、
　前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、
ことを実行させるプログラム。

　１０　　画像処理装置
　１１　　推定部
　１２　　復元部
　２０　　画像処理装置
　２３　　第１補正部
　３０　　画像処理装置
　３１　　画像処理装置
　３４　　第２補正部
　４０　　画像処理装置
　４１　　画像処理装置
　４４　　第３補正部
　９１　ＣＰＵ
　９２　通信Ｉ／Ｆ（通信インターフェース）
　９３　メモリ
　９４　記憶装置
　９５　入力装置
　９６　出力装置
　９７　システムバス

Claims

　撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する推定手段と、
　前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する復元手段と、
を備える、画像処理装置。
　前記可視光画像と前記推定された分光反射率比とが入力され、撮影対象の各注目画素における分光反射率比を、前記可視光画像の情報と前記注目画素の周辺領域の分光反射率比とを用いて補正した補正分光反射率比を算出する第１補正手段を更に備え、
　前記復元手段は、前記補正分光反射率比と、前記近赤外光画像の輝度を乗算し、前記復元可視光画像を生成する、
請求項１記載の画像処理装置。
　前記第１補正手段は、前記可視光画像の情報を用いて同一領域と見なせる前記注目画素の周辺領域の画素群をそれぞれ抽出し、前記抽出した画素群の分光反射率比に基づき、前記注目画素の分光反射率比を補正する、
　請求項２記載の画像処理装置。
　前記第１補正手段は、前記注目画素を含む所定の周辺領域の画素について、合成重みを算出し、前記周辺領域の画素における分光反射率比を合成して前記補正分光反射率比を算出する、
請求項２又は請求項３に記載の画像処理装置。
　前記近赤外光画像の各画素における大気透過率を推定し、前記推定した劣化量を用いて前記近赤外光画像を補正する第２補正手段を更にを備え、
　前記復元手段は、推定された前記分光反射率比と前記第２補正手段で補正された補正近赤外光画像の輝度を乗算して前記復元可視光画像を生成する、
請求項１から請求項４のいずれか１つに記載の画像処理装置。
　前記第２補正手段は、前記近赤外光画像における前記各注目画素の画素値を、前記注目画素の周辺領域の前記近赤外光画像の画素値を用いて補正する、
請求項５に記載の画像処理装置。
　前記近赤外光画像を、前記可視光画像を用いて補正する第３補正手段を備え、
　前記復元手段は、推定された前記分光反射率比と前記第３補正手段で補正された補正近赤外光画像の輝度を乗算して前記復元可視光画像を生成する、
請求項１から請求項４のいずれか１つに記載の画像処理装置。
　前記近赤外画像と前記可視光画像における所定の画素における、近赤外光の大気透過率が、可視光の大気透過率よりも小さな値を持つ場合、大気透過率の推定誤差があると予測する、
　請求項７に記載の画像処理装置。
　撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、
　前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、
画像処理方法。
　コンピュータに、
　撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、
　前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、
ことを実行させるプログラムを格納する記録媒体。