JP5358942B2 - 赤外線撮像画像に対する太陽光クラッタ除去装置および方法 - Google Patents

Description

本発明は、赤外線画像に対する太陽光クラッタ除去を行う処理に関する発明である。

赤外線撮像装置から得られた画像情報には、物体が自身の温度に応じて放射しているものと、外来の赤外線を反射したものがある。

後者の代表として太陽光の様々な地表物体による反射があり、「太陽光クラッタ」と呼ばれる。

赤外線撮像装置の重要な運用の一つに、背景の各種自然物体に対して一般的に推進機関
や機器類を内蔵してそれらの発熱のために正の温度差を持つ人工物体を、そのコントラス
トの高さでより遠距離から早期に発見するという「目標探知」がある。

太陽光クラッタは、背景の他物体との温度差の無い自然物体を、あたかも温度差のある人工物体のように見せ、画像上、目標探知を妨げる偽目標として現れる。

したがって太陽光クラッタだけを除去して目標を残す画像処理が強く求められている。

太陽光クラッタを真に背景との温度差を持つ目標と区別する手法の一つとして、その色温度を計測する手法がある。反射された太陽光は約６０００Ｋの表面温度の太陽から発したもので、背景に対して数Ｋの温度差しかなく３００Ｋ程度の目標が発する光とは色温度が異なる。

色温度の計測の代表的な手法は当該箇所の分光特性を調べるもので、特定の波長のみ放
射・吸収する「選択放射体」（基本的に一部の気体と液体）を除いてＰｌａｎｃｋの黒体
放射則で記述される、Ｗｉｅｎの法則で算出される波長にピークを持つカーブを描く。
太陽光は０．５μｍ強にピークがあり、常温物体は１０μｍ近傍にピークがある。例え
ばＭＷＩＲ（Ｍｉｄ−Ｗａｖｅ Ｉｎｆｒａ−Ｒｅｄ、中波長赤外、３〜５μｍ帯）とＬ
ＷＩＲ（Ｌｏｎｇ Ｗａｖｅ Ｉｎｆｒａ− Ｒｅｄ、長波長赤外、１０μｍ帯）とで放
射輝度を計測して比ＫＭＬ（＝［放射輝度@ＭＷＩＲ］／［放射輝度@ＬＷＩＲ］）を取れ
ば、太陽光や太陽光クラッタは＞１となり、目標は＜１となる。

この点に関しては、既公開技術である特開平１０−１４２３０９号公報に、
ＫＭＬ＝ＮＭ（中波長帯赤外の放射輝度）／ＮＬ（長波長帯赤外の放射輝度）＞ＫＭＬＴＨ
の算出が明記されている。
（実際の記述では上式の変形ＮＭ−ＫＭＬＴＨ×ＮＬ＞０で判定し、ＫＭＬＴＨは適宜与えられる「係数」となっている。）
特開平１０−１４２３０９号公報

しかしながら上記条件は、この処理は理想的な条件を想定したものであり、実際に地上で運用されている赤外線撮像装置が受光する放射は、分光特性が変化する大気の吸収・散乱によって減衰したものなので、必ずしも精確に放射体温度に対応した輝度比率にはならない。

このため、受光した太陽光クラッタのＫＭＬ（反射物の位置・距離によっても違いがある）を如何に精確に推定し、太陽光クラッタと目標を判別する閾値ＫＭＬＴＨを適切に設定できるか（小さくし過ぎると目標までクラッタと判定するし大きくし過ぎるとクラッタを除去し損なう）が目標探知性能を左右する。

本発明は判定閾値ＫＬＭＴＨを的確に設定する情報となる太陽光クラッタの２つの波長帯における輝度の比ＫＭＬを、反射物体の位置およびそれに起因する大気減衰分光特性の違いによる変動を含めて計測し、目標探知性能向上に有効な太陽光クラッタ除去処理を提供しようとするものである。

本発明は、上記従来の課題に鑑みてなされたものであり、長波長赤外線画像の輝度情報から係数を乗じた中波長赤外線画像の輝度情報を減算して太陽光クラッタを除去する画像処理において、上記係数を画像データを行単位で平均的な輝度比を算出し、それを基に判定閾値を設定するようにしたものである。

以下、本発明の実施の形態について説明する。

なお、本実施の形態では、同一撮像対象に対し、長波長の赤外線により撮像された画像データ（以下長波長画像データ）、中波長の赤外線により撮像された画像データ（以下中波長画像データ）が入力されるものとする。また、各々の画像データはディジタル化（１４Ｂｉｔ）されているものとする。

まず、図１は、本実施の形態における太陽光クラッタ除去処理装置の構成図である。

図１において、１は放射輝度算出手段であり、長波長画像データ、中波長画像データから、長波長帯、中波長帯の各々の放射輝度を算出し、その輝度画像データを生成するものである。

また、２は長波長・中波長の輝度画像の位置ずれを補正した輝度画像を生成する位置ず
れ補正手段、３は位置ずれ補正手段２にて生成した長波長帯、中波長帯の輝度画像に対し
てそれぞれのクラッタの低周波成分を抽出するＬＰＦ（Ｌｏｗ−Ｐａｓｓ−Ｆｉｌｔｅｒ
）処理手段である。

また、４はＬＰＦ処理手段３の出力を元に、画素ごとに長波長・中波長輝度比を算出す
る輝度比算出手段、５は輝度比算出手段４にて算出された輝度比に対し、各行ごとに閾値αを設定し、クラッタ領域と非クラッタ領域とを弁別するクラッタ領域弁別手段、６は
長波長、中波長のＬＰＦ処理手段３による処理前の輝度画像で、非クラッタ領域の画素の
輝度の平均Ｎｂａｒ＿ｎＣＬ＿ＬＷ，Ｎｂａｒ＿ｎＣＬ＿ＭＷを算出する非クラッタ領域
平均輝度算出手段である。

さらに、７は長波長、中波長のＬＰＦ処理手段３による処理前の輝度画像で、各行ごとのクラッタ成分の輝度を算出するクラッタ輝度算出手段、８は長波長、中波長のＬＰＦ処理手段３による処理前の輝度画像中のクラッタ成分の輝度比を各行ごとに算出するクラッタ輝度比算出手段、９はクラッタ除去画像を作成するクラッタ除去画像生成手段である。

以上のように構成された太陽光クラッタ除去処理装置について、図２のフローチャートを用いて、以下その処理について説明する。なお、処理の概要は、「長波長、および中波長赤外線の輝度画像において、２つの波長帯で得たクラッタ成分の輝度を規格化して引き算する」でものある。

また、処理中、ステップ１０６〜ステップ１０９については、各行毎に計算する処理が含まれている。これは、画像中のｙ軸方向は撮像装置との距離に依存した大気透過率の影響による輝度差が生じているためで、長波長、中波長の輝度平均、および輝度比の計算等で、異なる行にある画素同志の輝度を計算することは、計算結果に対して誤差が大きくなり、クラッタ除去処理結果が意図しないものとなる可能性がある。これを解消するため以下の処理では特にクラッタ除去演算については行毎に行うものである。すなわち、距離、したがって大気透過率の影響を考慮したクラッタ除去処理となっている。

なお、赤外線撮像装置で得た画像は撮像素子の出力をＡ／Ｄ変換したディジタル・データ（画像データと称す）であり、このままでは長波長、中波長で得た情報の差を比較・検討できない。

そこで、放射輝度算出手段１は、図３、図４に示される様な画像データを放射輝度に変換する。

この処理は、放射輝度算出手段１が、長波長・中波長赤外線撮像装置への入射温度に対する出力（画像データ）を測定して変換式による処理を行うことで達成される。(ステップ１０１)
この変換式は、赤外線撮像装置への赤外入射の放射輝度に対して出力は線形関係にあるため、変換式は画像データの一次式となる。

以下、この変換式について説明を行う。

ここで、画像データをＰ、各々の輝度をＮとすると、各画像の各画素（ｘ、ｙ）に対する式は、
ＰＬＷ（ｘ，ｙ）＝ＡＬＷ×ＮＬＷ（ｘ，ｙ）＋ＢＬＷ
ＰＭＷ（ｘ，ｙ）＝ＡＭＷ×ＮＭＷ（ｘ，ｙ）＋ＢＭＷ
となる。

ここで、ＰＬＷ（ｘ，ｙ）は長波長の輝度画像における各画素の画像データ、ＰＭＷ（ｘ，ｙ）は中波長の輝度画像における各画素の画像データ、またＮＬＷ（ｘ，ｙ）は長波長の輝度画像における各画素の輝度、ＮＭＷ（ｘ，ｙ）は中波長の輝度画像における各画素の輝度である。さらに、ＡＬＷ、ＢＬＷは長波長の撮像装置のゲイン（放射輝度変化に対する画像データ変化の換算係数）とオフセット（撮像装置への入射光が０の時に、撮像素子の暗電流や撮像装置の内部放射の影響等で生じる画像データ出力）、ＡＭＷ、ＢＭＷは中波長の撮像装置のゲインとオフセットである。これを変形すると、
ＮＬＷ（ｘ，ｙ）＝（ＰＬＷ（ｘ，ｙ）−ＢＬＷ）／ＡＬＷ
ＮＭＷ（ｘ，ｙ）＝（ＰＭＷ（ｘ，ｙ）−ＢＭＷ）／ＡＭＷ
となり、各々長波長と中波長の画像データを放射輝度へ変換する式となる。

放射輝度算出手段１は、この変換式により、入力されてきた、長波長画像データ、中波長画像データから放射輝度データの変換を行う。

この放射輝度算出手段１による算出結果を元に、位置ずれ補正手段２が位置ずれ補正処理を行う（ステップ１０２）。

以下、この補正処理について説明する。

同一焦点面上の同一位置に配された素子で複数の赤外線を検知する検知器を備えた撮像装置でないと、各波長帯の輝度画像は各画素の撮像対象の位置がずれているため、同一撮像対象に対する画像データとなるよう補正を行う（「画素レジストレーションを取る」という）必要がある。補正処理には、像の傾きを補正する回転処理、画角の違いを補正する拡大・縮小処理、および視軸の向きの違いを補正する平行移動処理がある。（なお、同一焦点面上の同一位置に配された素子で複数の赤外線検知が可能な多波長検知器を備えた撮像装置の場合はこの処理は不要である。）
位置ずれ補正手段２では、これらの補正を行う。

なお、これら放射輝度算出手段１・位置ずれ補正手段２の処理の結果を図３と図４に示す（これらを輝度画像と称す）。

これらの図は、左上の座標（ｘ，ｙ）を（０，０）とした、５９０×９０ピクセルの画像である。また、これらの図では、対象となる物体がどれであるかを説明する為に、（１）（２）（３）の番号を振っているが、あくまで説明のためであり、実際の処理において（１）（２）（３）の表記及び、対象物へのマーカが行われるわけではない。

次に、位置ずれ補正手段２による補正処理が完了すると、ＬＰＦ処理手段３が、長波長・中波長各々の輝度画像データに対し、クラッタの低周波成分の抽出処理を行う（ステップ１０３）。

以下この処理について説明する。

まず、ＬＰＦ処理手段３は、長波長と中波長の輝度画像中のクラッタ成分の輝度を求め
るため、その太陽光反射のある画素の密集した領域（「クラッタ領域」と定義）を殆どク
ラッタのない領域（「非クラッタ領域」と定義）と区別するための閾値の設定とそれによ
る分割処理を行なう。図４中のｙ＝３３行における輝度分布例は図１０に示されており、図３中のｙ＝３３行における輝度分布例は図９に示されている。画像中には低周波成分と高周波成分が存在する。このうち高周波成分は太陽光反射成分や背景の放射成分のほかに、目標の放射成分の情報が含まれ、目標の探知識別はこの高周波成分を主に使用する（従来のＨＰＦ［Ｈｉｇｈ−Ｐａｓｓ Ｆｉｌｔｅｒ、高周波通過フィルタ］処理は正にこの目標が含まれている高周波成分を抽出するための処理である）。また、海面の波の角度によって、時々刻々と輝度が変化する成分であり、後の処理（処理ブロック７および処理ブロック８）で長波長と中波長のクラッタ輝度平均成分の比を求める際に、その平均値が変化する可能性がある。したがって、除去したい太陽光クラッタの成分は特に低周波成分を除去することを目的とし、そのためのＬＰＦ処理手段３は、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ、低周波通過フィルタ）処理を図３と図４に示される長周波・中周波数の輝度画像に対して施す。

次に、輝度比算出手段４が、ＬＰＦ処理手段３による長波長、中波長のＬＰＦ処理後の輝度画像で、画素毎に（長波長）／（中波長）輝度比を算出する。（ステップ１０４）
詳しくは、ＬＰＦ処理手段３によるＬＰＦ処理後の画像における
長波長の輝度をＮＬＷ＿ＬＰＦ（ｘ，ｙ）、中波長の輝度をＮＭＷ＿ＬＰＦ（ｘ，ｙ）とした場合の比αを以下の式に従い算出する。

α＝ＮＬＷ＿ＬＰＦ（ｘ，ｙ）／ＮＭＷ＿ＬＰＦ（ｘ，ｙ）
を求める。この処理の結果の輝度比画像を図５に示す。

また、各行におけるα設定例を図６に示す。この図６に示されるように輝度比画像αは、行（ｙ）単位で設定が行われる。

次に、クラッタ領域弁別手段５が、輝度比算出手段４によって求められたαの値によって、その画素が太陽光反射によるクラッタ成分が支配的な領域に属するか、海面背景の放射が支配的な（太陽光クラッタ成分が殆どない）領域に属するかを閾値判別する。（ステップ１０５）（なお、本実施の形態では、前者の領域を「クラッタ領域」、後者の領域を「非クラッタ領域」と定義する。）
図６は画像中のｙ＝３３行におけるαの分布を示したものである。クラッタ領域では常温背景の放射が支配的な場合に比べて、高温の太陽光反射光成分の輝度は中波長側の方が長波長側より大きくなる（αは放射物体が高温で中波長の放射輝度が高いほど小さくなる）。

たとえば、太陽光反射領域（クラッタ領域）である海面の場合、
中波長の輝度＞＞長波長の輝度、
一方、太陽光反射のない海面では、
長波長の輝度＞中波長の輝度
となるため、長波長／中波長の輝度比を画像分布に表示するとクラッタ領域が黒ずんで見
えることになる。

そこで、図３や図４に示される輝度画像から各行のαに対して閾値を設定することで、クラッタ領域と非クラッタ領域を判別する。設定した閾値よりαが小さいときにはその画素はクラッタ領域にあり、大きいときにはその画素は非クラッタ領域にあると判別する。

図７にクラッタ領域と非クラッタ領域の設定例を示す。

更に、この処理により出力される画像を、図８に示す。なお、図８は、長波長・中波長におけるクラッタ領域と非クラッタ領域を表す図を示す。図中黒く塗りつぶされていないところが各領域を表している。

次に、非クラッタ領域平均輝度算出手段６が、クラッタ領域弁別手段５によって特定さ
れた長波長の輝度画像（図３）中の非クラッタ領域にある画素の輝度（ＮＬＷ（ｘ，ｙ）
）をＮｎＣＬ＿ＬＷ（ｘ，ｙ）と定義し、中波長の輝度画像（図４）中の非クラッタ領域
にある画素の輝度（ＮＭＷ（ｘ，ｙ））をＮｎＣＬ＿ＭＷ（ｘ，ｙ）と定義し、それらの
平均を各行毎に計算したＮｂａｒ＿ｎＣＬ＿ＬＷ（ｙ）とＮｂａｒ＿ｎＣＬ＿ＭＷ（ｙ）
を得る。（ステップ１０６）、
次に、クラッタ輝度算出手段７が、図３の長波長輝度画像中のクラッタ領域におけるク
ラッタ成分の輝度ＮＬ＿Ｃ（ｘ，ｙ）を計算する。また図３の中波長輝度画像中のクラッ
タ領域におけるクラッタ成分の輝度ＮＭ＿Ｃ（ｘ，ｙ）を計算する。
ここでの計算式は、
ＮＬ＿Ｃ（ｘ，ｙ）＝ＮＬＷ（ｘ，ｙ）−Ｎｂａｒ＿ｎＣＬ＿ＬＷ（ｙ）
ＮＭ＿Ｃ（ｘ，ｙ）＝ＮＭＷ（ｘ，ｙ）−Ｎｂａｒ＿ｎＣＬ＿ＭＷ（ｙ）
である。なお、この際の処理を図９、図１０にｙ＝３３における長波長・中波長の算出例を示す。

そして、クラッタ輝度算出手段７は、ＮＬ＿Ｃ（ｘ，ｙ）、およびＮＭ＿Ｃ（ｘ，ｙ
）の各行毎の平均Ｎｂａｒ＿ＣＬ＿ＬＷ（ｙ）とＮｂａｒ＿ＣＬ＿ＭＷ（ｙ）を求める。(ステップ１０７)

さらに、クラッタ輝度比算出手段８は、上記した図３・図４に示される長波長と中波長
の画像データに対するクラッタ成分の輝度を規格化して差し引くため、クラッタ輝度算出
手段７が求めたＮｂａｒ＿ＣＬ＿ＬＷ（ｙ） とＮｂａｒ＿ＣＬ＿ＭＷ（ｙ）の比
β（ｙ）＝Ｎｂａｒ＿ＣＬ＿ＬＷ（ｙ） ／ Ｎｂａｒ＿ＣＬ＿ＭＷ（ｙ）
を各行について求める。(ステップ１０８)

その後、クラッタ除去画像生成手段９は、長波長の輝度画像（図３）の各画素の輝度Ｎ
ＬＷ（ｘ，ｙ）に対するクラッタ除去後の輝度ＮＬＷ＿ＣＲ（ｘ，ｙ）を求める。

この際クラッタ除去画像生成手段９が処理する計算式は、
ＮＬＷ＿ＣＲ（ｘ，ｙ）＝ＮＬ＿Ｃ（ｘ，ｙ）−β（ｙ）×ＮＭ＿Ｃ（ｘ，ｙ）＋Ｎｂａｒ＿ｎＣＬ＿ＬＷ（ｙ）
である。また、この演算はクラッタ領域にある画素を対象に行なう。非クラッタ領域にある画素については、
ＮＬＷ＿ＣＲ（ｘ，ｙ）＝ＮｎＣＬ＿ＬＷ（ｘ，ｙ）
を適用する。（ステップ１０９）
図１１に各記号が意味する輝度や輝度差を示す。（なお、（１）（２）（３）は、図３などに示される人工物が存在する位置であり、実線はクラッタ除去処理後、点線は処理前の輝度を示している。この図から見ても人工物に特にエッジが立っていることが分かる）
このようにしてクラッタ除去画像生成手段９によって出力された画像（「クラッタ除去画像」と称す）を図１２に示す。

この図１２に見られるように、クラッタ除去した結果、人工物の弁別が容易にできるようになる。なお、（１）（２）（３）は、図３などに示される人工物が存在する位置である。）
なお、参考までに、従来の画像処理による画像を図１３に示す。

図１２と図１３を比較しても分かるように、本実施の形態の太陽光クラッタ除去処理により、太陽光クラッタによらず正確に対象物を視認することが可能となる。

なお、本実施の形態は、クラッタの除去までを実施例として明記し、その出力を人による確認を行うようにしたが、本実施の形態の結果を見ても分かるように、対象物体の識別が容易になるため、コンピュータによる対象物体の自動識別処理を正確に行うことも可能となる。

なお、本実施の形態では行単位での処理は、特に海上などの障害物の少ない場所における太陽光クラッタ除去に有効である。

また、他の手法として、閾値を２次元のブロックとしてもよい。

本発明の一実施の形態における太陽光クラッタ除去処理装置の構成図 本発明の一実施の形態における太陽光クラッタ除去処理装置の処理を示すフローチャート 本発明の一実施の形態における太陽光クラッタ除去処理装置において長波長の輝度画像を示した図 本発明の一実施の形態における太陽光クラッタ除去処理装置において中波長の輝度画像を示した図 本発明の一実施の形態における太陽光クラッタ除去処理装置において、長波長／中波長の輝度比を算出した際の画像を示す図 本発明の一実施の形態における太陽光クラッタ除去処理装置において、長波長／中波長の行毎のα設定例を示す図 本発明の一実施の形態における太陽光クラッタ除去処理装置において、長波長／中波長の輝度比分布を示す図 本発明の一実施の形態における太陽光クラッタ除去処理装置において、長波長・中波長におけるクラッタ・非クラッタ領域弁別後の各々の画像を示した図 本発明の一実施の形態における太陽光クラッタ除去処理装置において、長波長におけるクラッタ・非クラッタ領域を説明する図 本発明の一実施の形態における太陽光クラッタ除去処理装置において、中波長におけるクラッタ・非クラッタ領域を説明する図 本発明の一実施の形態における太陽光クラッタ除去処理装置において、中波長・長波長における除去処理前後の長波長の輝度分布を示す図。 本発明の一実施の形態における太陽光クラッタ除去処理装置において、太陽光クラッタ除去後の輝度画像を示す図。 従来の太陽光クラッタ除去処理装置においての輝度画像を示す図。

符号の説明

１ 放射輝度算出手段
２ 位置ずれ補正手段
３ ＬＰＦ（Ｌｏｗ−Ｐａｓｓ−Ｆｉｌｔｅｒ）処理手段
４ 輝度比算出手段
５ クラッタ領域弁別手段
６ 非クラッタ領域平均輝度算出手段
７ クラッタ輝度算出手段
８ クラッタ輝度比算出手段
９ クラッタ除去画像生成手段

Claims (2)

1. 撮像装置から得られる長波長及び中波長の赤外線画像を元に、撮像された画像中から太陽光クラッタを除去する太陽光クラッタ除去装置であって、
   画像の行単位内において、設定した閾値に応じて、長波長の輝度画像と中波長の輝度画像それぞれについて、太陽光クラッタ領域と、非太陽光クラッタ領域を弁別する弁別手段と、
   前記画像の行単位において、前記長波長の輝度画像における前記非太陽光クラッタ領域の画素について輝度の平均値を第１平均値として算出し、前記中波長の輝度画像における 前記非太陽光クラッタ領域の画素について輝度の平均値を第２平均値として算出する平均輝度算出手段と、
   前記画像の行単位において、前記長波長の輝度画像における前記太陽光クラッタ領域の画素の第１のクラッタ輝度を、前記太陽光クラッタ領域の画素の輝度から前記第１平均値を差し引いて求め、前記第１のクラッタ輝度の平均値を求め、
   前記中波長の輝度画像における前記太陽光クラッタ領域の画素の第２のクラッタ輝度を、前記太陽光クラッタ領域の画素の輝度から前記第２平均値を差し引いて求め、前記第２クラッタ輝度の平均値を求め、
   前記第１クラッタ輝度の平均値と、前記第２クラッタ輝度の平均値の比に応じた係数を求める係数算出手段と、
   前記画像の行単位内の前記太陽光クラッタ領域において、前記長波長の輝度画像についてクラッタ除去処理後の画素の輝度を、前記第１のクラッタ輝度と、前記第２のクラッタ輝度に前記係数を乗じたもの、及び、前記第１平均値とから求める除去画像生成手段と、
   を有する事を特徴とする太陽光クラッタ除去装置。
2. 撮像装置から得られる長波長及び中波長の赤外線画像を元に、撮像された画像中から太陽光クラッタを除去する太陽光クラッタ除去方法であって、
   画像の行単位内において、設定した閾値に応じて、長波長の輝度画像と中波長の輝度画像それぞれについて、太陽光クラッタ領域と、非太陽光クラッタ領域を弁別し、
   前記画像の行単位において、前記長波長の輝度画像における前記非太陽光クラッタ領域の画素について輝度の平均値を第１平均値として算出し、前記中波長の輝度画像における前記非太陽光クラッタ領域の画素について輝度の平均値を第２平均値として算出し、
   前記画像の行単位において、前記長波長の輝度画像における前記太陽光クラッタ領域の画素の第１のクラッタ輝度を、前記太陽光クラッタ領域の画素の輝度から前記第１平均値を差し引いて求め、前記第１のクラッタ輝度の平均値を求め、
   前記中波長の輝度画像における前記太陽光クラッタ領域の画素の第２のクラッタ輝度を、前記太陽光クラッタ領域の画素の輝度から前記第２平均値を差し引いて求め、前記第２クラッタ輝度の平均値を求め、
   前記第１クラッタ輝度の平均値と、前記第２クラッタ輝度の平均値の比に応じた係数を求め、
   前記画像の行単位内の前記太陽光クラッタ領域において、前記長波長の輝度画像についてクラッタ除去処理後の画素の輝度を、前記第１のクラッタ輝度と、前記第２のクラッタ輝度に前記係数を乗じたもの、及び、前記第１平均値とから求める、
   事を特徴とする太陽光クラッタ除去方法。