JP5302511B2 - 2波長赤外線画像処理装置 - Google Patents
2波長赤外線画像処理装置 Download PDFInfo
- Publication number
- JP5302511B2 JP5302511B2 JP2007084521A JP2007084521A JP5302511B2 JP 5302511 B2 JP5302511 B2 JP 5302511B2 JP 2007084521 A JP2007084521 A JP 2007084521A JP 2007084521 A JP2007084521 A JP 2007084521A JP 5302511 B2 JP5302511 B2 JP 5302511B2
- Authority
- JP
- Japan
- Prior art keywords
- wavelength
- luminance
- value
- infrared
- sets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Radiation Pyrometers (AREA)
Description
撮影対象域から2つの異なる赤外線の画像を撮影する2波長赤外線カメラ装置と、
前記2波長赤外線カメラ装置にて検出された2組の輝度値を記憶する2組の検出画像メモリと、
前記2組の輝度値から各々オフセット相当値を減算して2組の補正輝度値を算出するオフセット処理部と、
算出された2組の補正輝度値を合成し2波長輝度合成値を算出する画像差分処理部と、
前記画像差分処理部にて合成された前記2波長輝度合成値を記憶する合成画像メモリと、
前記オフセット処理部と前記画像差分処理部との間に、少なくとも一方の前記補正輝度値に輝度値ゲインを乗算する輝度値ゲイン乗算部と、を備え、
前記輝度値ゲイン乗算部は、
少なくとも一方の前記補正輝度値の中から高い補正輝度値を選出して輝度値ゲインを算出する輝度値ゲイン算出器と、
算出された前記輝度値ゲインを少なくとも一方の前記補正輝度値に乗算する輝度値ゲイン乗算器とにより構成されていることを特徴とする。
前記輝度値ゲイン乗算部と前記画像差分処理部との間に、前記撮影対象域からの距離に基づく距離ゲインを前記2組の補正輝度値に乗算する距離ゲイン乗算部を備えたことを特徴とする。
前記距離ゲイン乗算部は、
前記撮影対象域との距離情報を取得する距離情報取得器と、
前記距離情報取得器からの前記距離情報に比例した距離ゲインを算出する距離ゲイン算出器と、
前記2組の前記補正輝度値に前記距離ゲインを乗算する距離ゲイン乗算器とにより構成されていることを特徴とする。
撮影対象域から2つの異なる赤外線の画像を撮影する2波長赤外線カメラ装置と、
前記2波長赤外線カメラ装置にて検出された2組の輝度値を記憶する2組の検出画像メモリと、
前記2組の輝度値から各々オフセット相当値を減算して2組の補正輝度値を算出するオフセット処理部と、
算出された2組の補正輝度値を合成し2波長輝度合成値を算出する画像差分処理部と、
前記画像差分処理部にて合成された前記2波長輝度合成値を記憶する合成画像メモリと、
前記合成画像メモリからの前記2波長輝度合成値につき、所定の閾値以上のものを1の値とし、前記閾値以下のものを0の値とする2値化演算器と、
前記1の値とされたデータの内、隣接しているものを抽出してグループ化しラベリングするラベリング演算器と、
前記ラベリングされた複数の前記グループの各座標に対応する前記2組の輝度値を前記検出画像メモリから入手し、複数の前記グループ毎に2組の各輝度を演算するラベル毎目標候補輝度演算器と、
前記各グループ毎の2組の輝度に基づき輝度比を演算するラベル毎輝度比演算器と、
前記各グループ毎の輝度比に基づき各グループ毎の温度を演算するラベル毎温度演算器と、
前記各グループ毎の温度に基づき背景画像を除去する背景除去処理器とを備えたことを特徴とする。
前記2波長赤外線カメラ装置は、
前面の透明基板の裏面に赤外線の入射方向に2組の受光素子層が形成された受光素子と、
前記2組の受光素子層により検出された各輝度を読み出す読み出し回路とを備えたことを特徴とする。
検出画像データからオフセット相当値を差し引くことで目標物、波(クラッタ)の各輝度値の評価が可能となり、更に、2波長の赤外線の画像差分処理を行なうことにより、かなりの数の波(クラッタ)の輝度値が低減され、波の輝度値が低くなることにより目標候補の数を低減することができ、その後の輝度比計算、温度推定により背景を除去することができる。また、ゲインを輝度値に乗算することにより、画像差分処理をより効果的に行うことができる。
図1は、本発明の第1の実施の形態に係る2波長赤外線画像処理装置を示すブロック図である。
図2は、同2波長QWIPを示す斜視図である。
図3は、同演算処理過程における各輝度値を示す図であり、図3(a)は2波長QWIPで検出された各輝度値を示す図、図3(b)はオフセット除去後の各輝度値を示す図、図3(c)は合成された輝度値を示す図である。
図4は、同各画像メモリのデータを画像化した図であり、図4(a)は検出画像メモリに記憶されたデータを画像化した図、図4(b)は合成画像メモリに記憶されたデータを画像化した図である。
図6は、同演算処理過程における各輝度値を示す図であり、図6(a)は2波長QWIPで検出された各輝度値を示す図、図6(b)はオフセット除去後の各輝度値を示す図、図6(c)は、ゲインを乗算した後の各輝度値を示す図、図6(d)は合成された輝度値を示す図である。
図7は、本発明の第3の実施の形態に係る2波長赤外線画像処理装置を示すブロック図である。
図8は、本発明の第4の実施の形態に係る2波長赤外線画像処理装置を示すブロック図である。
海面背景下では、波が立つことによる海面での太陽光反射が画面中に多く撮影され、識別したい目標物からの赤外線の輝度値よりも、海面反射背景からの赤外線の輝度値の方が高い。
従って、海面背景下では、目標候補(輝度値の高いもの)が多数存在するため、検出した赤外線の輝度値をそのまま使用した場合、コンピュータ等による処理においては、適切な2値化閾値を設定することが難く、正しく目標候補の抽出、温度推定ができず、海面反射背景を除去することが困難である。
例えば、目標物では長いA波長の赤外線(第1の赤外線)の方が短いB波長(第2の赤外線)の赤外線より輝度値が高いのに対して、海面反射背景ではB波長の赤外線の方がA波長の赤外線より輝度値が高いなどの関係がある。
そこで、以下に説明するように、本発明の各実施の形態に係る2波長赤外線画像処理装置では、目標物、海面反射背景等から照射される2つの異なる波長の赤外線の輝度値の比が異なることを利用し、適切に2値化閾値を設定、処理して目標物を識別するものである。
先ず、図1〜図4に基づき、本発明の第1の実施の形態に係る2波長赤外線画像処理装置につき説明する。
図1に図示のように、本発明の第1の実施の形態に係る2波長赤外線画像処理装置は、撮影対象域からの2つの異なるA波長及びB波長の赤外線の画像を撮影(輝度を検出)する2波長赤外線カメラ装置1と、2波長赤外線カメラ装置1にて撮影された各検出画像データ(検出された2組の輝度値)から各々オフセット相当値を減算して2組の補正輝度値を算出するオフセット処理部10と、オフセット処理部10からの2組の補正輝度値を合成(差分処理)し2波長輝度合成値(合成画像データ)を算出する画像差分処理部30と、画像差分処理部30にて合成された2波長輝度合成値(合成画像データ)を記憶する合成画像メモリ40とから構成されている。
2波長赤外線カメラ装置1は、撮影対象域からのA波長の赤外線(第1の赤外線)及びB波長の赤外線(第2の赤外線)を受光し各輝度を検出する2波長赤外線カメラ2と、2組の検出画像メモリ3a、3bとにより構成されている。
この2波長赤外線カメラ2は、図2に図示のように、前面の基板4の裏面に赤外線の入射方向(z方向)に重層された2組の受光素子層(以下、QWIP(Quantum Well Infrared Photo Detector)層と称する)からなる2波長QWIP7を備えている。
また、各QWIP層は、例えば、xy方向に300列×300行(9万画素)に並べられた受光素子により形成されている。
この画素数は任意(例えば、数千画素〜数百万画素)のものとすることができるが、以下9万画素の場合を例として説明する。
なお、裏面電極5cは不透明なものを使用することができるが、表面電極5a及び中間電極5bは、赤外線を透過させる材質のものとする。
また、A波長側QWIP層6aにより検出されたA波長赤外線の輝度値(9万個の第1の検出画像データ)は、中間電極5b、裏面電極5cを介して読み出し回路8aにより読み出され、A波長用の検出画像メモリ3aに記憶されるようになっている。
2波長QWIP7は、上記のごとく、基板4の裏面にB波長側QWIP層6b及びA波長側QWIP層6aを重層させているので、撮影対象域の各撮影点に対応するA波長赤外線の受光座標とB波長の赤外線の受光座標を完全に一致させることができる。
そして、A波長側QWIP層6aにて受光するA波長赤外線の波長(最も高感度の中心波長)は、B波長側QWIP層6bにて受光するB波長赤外線の波長(最も高感度の中心波長)と異ならせる必要があり、A波長赤外線の波長はB波長赤外線の波長の1.5倍以上とすることが好ましい。
なお、A波長赤外線の波長とB波長赤外線の波長との倍率の比の上限は、赤外線の波長域を考慮すれば説明するまでもなく明らかである。
また、B波長赤外線の波長が3〜5μm(中波長赤外線)の場合、A波長赤外線の波長は8〜12μm(長波長赤外線)とする。
組合せとしては、B波長赤外線の波長を4〜5μm(中波長赤外線)、A波長赤外線の波長を8〜12μm(長波長赤外線)とし、A波長赤外線の波長はB波長赤外線の波長の2倍〜3倍とすることが最も好ましい。
なお、図4(a)において、斜線の無い部分は明るい箇所(高輝度)を、斜線の部分は比較的明るい箇所(中輝度)を、網掛けの部分は最も暗い箇所(低輝度)を示している。
通常、目標物Xの温度は10〜50℃であり、目標物Xから放射される赤外線の輝度は中程度であり、太陽光が波WW(クラッタ)に反射した海面反射背景は、目標物Xからの赤外線より輝度が高く、海面Wからの赤外線の輝度は低い。
また、検出画像メモリ3bには、図3(a)の下図に図示のような、B波長の赤外線の検出値である目標物X(中輝度)のB波長の輝度値Sbij、波WW(高輝度)のB波長の輝度値Cbij、及び海面W(低輝度)のB波長の低輝度値(オフセット相当値Obxの候補)Obij等、9万個の検出画像データが記憶される。
なお、各図面においては「i(i=0〜299)」、「j(j=0〜299)」の添え符号は省略して図示している。
また、各符号Saij、Caij、Oaij間において、或いはSbij、Cbij、Obij間において、添え符号「ij」の番号は重複しない。
一方、波WWのA波長の輝度値Caij、B波長の輝度値Cbijは、目標物Xより高く、図4(a)において白抜きで示すようにイメージされる。
また、海面WのA波長の低輝度値Oaij、B波長の低輝度値Obijは、目標物Xより低く、図4(a)において網掛けで示すようにイメージされる。
この段階では、目標物Xか、クラッタWWか、海面Wかの判定は困難である。
次に、図1に図示のように、各検出画像メモリ3a、3bに記憶されているA波長の輝度値Saij、Caij、B波長の輝度値Sbij、Cbij、A波長の低輝度値Oaij、B波長の低輝度値Obij等、各9万個の検出画像データは、オフセット処理部10による処理が行なわれる。
先ず、オフセット値算出器11aは、検出画像メモリ3aに記憶されている検出画像データ(A波長の輝度値Saij、Caij、A波長の低輝度値Oaij)を読み出し(入力し)、9万個の検出画像データの中から、低い輝度値をオフセット相当値Oaxとして選出する。
選出されたオフセット相当値Oaxは、オフセット減算器12aに出力される。
選出されたオフセット相当値Obxは、オフセット減算器12bに出力される。
或いは、各9万個のデータの内、例えば、最低輝度値から下位1割(9千番目)のもの、又は、例えば、最低輝度値から下位1割(9千番目)迄のものの平均としても良い。
更には、通常、移動体を斜め下向に向かって撮影するため、画面の海面反射背景の画面の上部と下部とでは距離が異なっており、オフセット相当値Oax、Obxを、画像内の距離差に応じて変化させることも可能である。
ΔSaij=Saij−Oax・・・(1)
ΔCaij=Caij−Oax・・・(2)
なお、海面Wからの赤外線の低輝度値Oaijは、ほぼ0(或いは、A波長の補正輝度値ΔSaijより低い輝度値)となる。
その結果を図3(b)の上図に示す。
演算されたA波長の補正輝度値ΔSaij、A波長の補正輝度値ΔCaij、及び海面Wのほぼ「0」の値等、9万個のデータは、画像差分処理部30に出力される。
ΔSbij=Saij−Obx・・・(3)
ΔCbij=Caij−Obx・・・(4)
なお、海面Wからの赤外線の低輝度値Obijは、ほぼ0(或いは、B波長の補正輝度値ΔSbより低い輝度値)となる。
その結果を図3(b)の下図に示す。
演算されたB波長の補正輝度値ΔSbij、B波長の補正輝度値ΔCbij、及び海面Wのほぼ「0」の値等、9万個のデータは、画像差分処理部30に出力される。
Sabij=ΔSaij−ΔSbij・・・(5)
Cabij=ΔCaij−ΔCbij・・・(6)
なお、海面Wからの赤外線の輝度値は、ほぼ0となる。
算出された目標物Xの2波長輝度合成値Sabij、波WW(クラッタ)の2波長輝度合成値Cabij、及び海面Wの0の値等、9万個のデータは、合成画像メモリ40に出力され、記憶される。
図3(c)に図示のように、目標物Xの2波長輝度合成値Sabijの方が、波WW(クラッタ)の2波長輝度合成値Cabijよりも高い値となっている。
そして、図4(b)に図示のように、目標物Xは高輝度(図中白抜きの部分)となり、大部分の波WW(クラッタ)は中輝度(図中斜線の部分)となり、海面Wは輝度値=0、或いは低輝度(図中網掛けの部分)となる。
なお、図4(b)に図示の例では、完全に波WWを除去することができず、6個の波WW(クラッタ)も高輝度となっている。
次に、図5、図6に基づき、本発明の第2の実施の形態に係る2波長赤外線画像処理装置につき説明する。
本発明の第2の実施の形態に係る2波長赤外線画像処理装置は、第1の実施の形態のものに対し、2組の補正輝度値に基づく輝度値ゲイン乗算部20が、オフセット処理部10と画像差分処理部30との間に設けられている。
即ち、第1の実施の形態のものと同様に、2波長赤外線カメラ装置1(2波長赤外線カメラ2、検出画像メモリ3a、3b)、オフセット処理部10(オフセット値算出器11a、11b、オフセット減算器12a、12b)、画像差分処理部30、合成画像メモリ40を備えている。
輝度値ゲイン算出器21には、オフセット処理部10のオフセット減算器12aから、A波長の補正輝度値ΔSaij、ΔCaij等の9万個のデータが送信される。
輝度値ゲイン算出器21は、A波長の補正輝度値ΔSaij、ΔCaij等の9万個のデータの中から値の高いA波長の補正輝度値ΔCaを選出する。
更に、輝度値ゲイン算出器21には、オフセット処理部10のオフセット減算器12bから、B波長の補正輝度値ΔSbij、ΔCbij等の9万個のデータも送信される。
輝度値ゲイン算出器21は、B波長の補正輝度値ΔSbij、ΔCbij等9万個のデータの中から値の高いB波長の補正輝度値ΔCbを選出する。
ΔCa×Ga=ΔCb×Gb・・・(7)
なお、次式8により一方の輝度値ゲインGa(或いはゲインGb)のみを算出するようにしても良い。
ΔCa×Ga=ΔCb・・・(8)
式8は、式7において、Gb=1としたものに相当する。
そして、輝度値ゲイン乗算器22aは、オフセット減算器12aからのA波長の補正輝度値ΔSaij、ΔCaij等の9万個のデータと輝度値ゲインGaとに基づき、各画素毎に次式9、10により新たなA波長の補正輝度値ΔSaij、ΔCaij等を算出する。
Ga×ΔSaij→ΔSaij・・・(9)
Ga×ΔCaij→ΔCaij・・・(10)
Gb×ΔSbij→ΔSbij・・・(11)
Gb×ΔCbij→ΔCbij・・・(12)
輝度値ゲインGa、Gbが乗算された新たなA波長の補正輝度値ΔSaij、ΔCaij、新たなB波長の補正輝度値ΔSbij、ΔCbij等は、画像差分処理部30に送信される。
なお、海面Wのものについては、輝度値がほぼ「0」になっている(厳密には、多少の有限の値を有するものもあるが、A波長の補正輝度値ΔSaij、B波長の補正輝度値ΔSbijより低い)ので、以下説明を省略する。
この場合、輝度値ゲインGaが乗算された新たな各A波長の補正輝度値ΔSaij、ΔCaij等(或いは、新たなB波長の補正輝度値ΔSbij、ΔCbij等)のみが、画像差分処理部30に送信される。
なお、図6(a)、(b)は、図3(a)、(b)と同じである。
図6(c)に図示のように、波WW(クラッタ)におけるA波長、B波長のゲイン乗算輝度は、ほぼ等しくなる(Ga×ΔCaij≒Gb×ΔCbij)。
これに対し、目標物XにおけるA波長のゲイン乗算輝度(Ga×ΔSaij)とB波長のゲイン乗算輝度(Gb×ΔSbij)との差は、大きく顕著になっている。
また、輝度値ゲイン乗算器22bにて輝度値ゲインGbが乗算された新たな各B波長の補正輝度値ΔSbij、ΔCbij等も、画像差分処理部30に送信される。
なお、一方の輝度値ゲインGa(或いは輝度値ゲインGb)のみを算出した場合は、オフセット減算器12bにて算出されたB波長の補正輝度値ΔSbij、ΔCbijが、そのまま画像差分処理部30に送信される。
即ち、画像差分処理部30において、A波長の補正輝度値ΔSaij、A波長の補正輝度値ΔCaijと、B波長の補正輝度値ΔSbij、B波長の補正輝度値ΔCbijとに基づき、上式5、6により2波長輝度合成値Sabij、Cabijが算出され、算出された9万個のデータは、合成画像メモリ40に出力され、記憶される。
図6(d)に示すように、波WW(クラッタ)の2波長輝度合成値Cabijはほぼ「0」となっているのに対し、目標物Xの2波長輝度合成値Sabijは大きい。
図6(d)における波WW(クラッタ)の2波長輝度合成値Cabijと目標物Xの2波長輝度合成値Sabijの比は、図3(c)のものに対し大きく顕著になっている。
従って、本発明の第1の実施の形態のものに対し、波WW(クラッタ)における2波長輝度差(2波長輝度合成値Cabij)が小さくなることにより、より一層、目標候補数を低減することができる。
次に、図7に基づき、本発明の第3の実施の形態に係る2波長赤外線画像処理装置につき説明する。
本発明の第3の実施の形態に係る2波長赤外線画像処理装置は、第1の実施の形態のものに対し、目標物Xと2波長赤外線カメラ装置1等が搭載された移動体(船舶、航空機、飛翔体、車両等)との距離情報に基づき距離ゲインを算出、処理する距離ゲイン乗算部50が、オフセット処理部10と画像差分処理部30との間に設けられている。
即ち、第1の実施の形態のものと同様に、2波長赤外線カメラ装置1(2波長赤外線カメラ2、検出画像メモリ3a、3b)、オフセット処理部10(オフセット値算出器11a、11b、オフセット減算器12a、12b)、画像差分処理部30、合成画像メモリ40を備えている。
距離ゲイン乗算部50は、距離情報取得器51、距離ゲイン算出器52及び距離ゲイン乗算器53a、53bを備えている。
距離情報取得器51は、例えばレーダー等の他の距離測定器から、目標物と2波長赤外線カメラ装置1等が搭載された自己の移動体との間の距離情報を取得する。
なお、レーダー等の他の距離測定器は、自己の移動体内に設ける場合、別の航空機に設ける場合、或いは地上観測所に設ける場合等がある。
距離測定器が自己の移動体外に設けられている場合は、距離情報取得器51は、無線受信機及び入力用インターフェース等により構成される。
距離測定器が自己の移動体内に設けられている場合は、距離情報取得器51は、入力用インターフェース等により構成される。
このA波長の赤外線用の距離ゲインGda、B波長の赤外線用の距離ゲインGdbは、A波長の赤外線用のA波長側QWIP層6aの感度と、B波長の赤外線用のB波長側QWIP層6bの感度との感度差や、距離によるA波長とB波長の透過率の差等を補正(是正)するものである。
距離ゲイン乗算器53aでは、オフセット減算器12aからのA波長の補正輝度値ΔSaij、ΔCaij等の9万個のデータと距離ゲインGdaとに基づき、各画素毎に次式13、14により新たなA波長の補正輝度値ΔSaij、ΔCaij等を算出する。
Gda×ΔSaij→ΔSaij・・・(13)
Gda×ΔCaij→ΔCaij・・・(14)
距離ゲインGdが乗算された新たなA波長の補正輝度値ΔSaij、ΔCaij等は、画像差分処理部30に送信される。
距離ゲイン乗算器53bでは、オフセット減算器12bからのB波長の補正輝度値ΔSbij、ΔCbij等の9万個のデータと距離ゲインGdbとに基づき、各画素毎に次式15、16により新たなB波長の補正輝度値ΔSbij、ΔCbij等を算出する。
Gdb×ΔSbij→ΔSbij・・・(15)
Gdb×ΔCbij→ΔCbij・・・(16)
距離ゲインGdbが乗算された新たなB波長の補正輝度値ΔSbij、ΔCbij等は、画像差分処理部30に送信される。
即ち、画像差分処理部30において、A波長の補正輝度値ΔSaij、A波長の補正輝度値ΔCaijと、B波長の補正輝度値ΔSbij、B波長の補正輝度値ΔCbijとに基づき、上式5、6により2波長輝度合成値Sabij、Cabijが算出され、算出された9万個のデータは、合成画像メモリ40に出力され、記憶される。
この場合は、図7に点線で図示のように、2組の9万個の距離ゲインGdaij、Gdbijを記憶する距離ゲインメモリ54が必要となる。
例えば、図4(a)の画像を、移動体から斜め下向に向かって撮影する場合、画面の海面反射背景の画面の上部と下部とでは距離が異なっている。
また、画面上の各行毎(例えば300行)の移動体から海面反射背景迄の距離、或いは距離の上限値及び下限値はレーダー等の他の距離測定器、移動体の状態、及び2波長赤外線カメラ2の向き等から容易に入手できる。
そこで、画面の画素について各行毎に、海面反射背景迄の距離に応じて各々距離ゲインGdaij、Gdbij(i=0〜299、j=0〜299)を演算し、距離ゲインメモリ54に記憶する。
同様に、距離ゲイン乗算器53bにおいて、オフセット減算器12bからのB波長の補正輝度値ΔSbij、ΔCbij等の9万個のデータと、この9万個のデータの座標に対応する9万個の距離ゲインGdbij(i=0〜299、j=0〜299)とに基づき、各画素毎に上式15、16(GdbをGdbijに置き換え)により新たなB波長の補正輝度値ΔSbij、ΔCbij等も算出する。
次に、図8に基づき、本発明の第4の実施の形態に係る2波長赤外線画像処理装置につき説明する。
図8に図示のものは、2波長赤外線カメラ装置1、オフセット処理部10、輝度値ゲイン乗算部20、画像差分処理部30及び合成画像メモリ40を備えた本発明の第2の実施の形態に係る2波長赤外線画像処理装置において、合成画像メモリ40に記憶された2波長輝度合成値Sab、Cabを読み出して目標識別部60により背景除去するものである。
例えば、2波長赤外線カメラ装置1、オフセット処理部10、画像差分処理部30、合成画像メモリ40(本発明の第1の実施の形態のもの)及び目標識別部60という構成としても良い。
また、2波長赤外線カメラ装置1、オフセット処理部10、距離ゲイン乗算部50、画像差分処理部30、合成画像メモリ40(本発明の第3の実施の形態のもの)及び目標識別部60という構成としても良い。
更には、図8中に点線で図示のように、本発明の第2、3の実施の形態のものを組合わせて、2波長赤外線カメラ装置1、オフセット処理部10、輝度値ゲイン乗算部20、距離ゲイン乗算部50、画像差分処理部30、合成画像メモリ40及び目標識別部60という構成としても良い。
先ず、2値化演算器61は、合成画像メモリ40から、2波長輝度合成値Sabij、Cabij(“0”のものを含む合計9万個のデータ)を読み出す(入力する)。
2値化演算器61においては、2波長輝度合成値Sabij、Cabij等につき、所定の閾値か否かを判定し、閾値以上であれば“1”とし、閾値以下であれば“0”とする。
この“1”又は“0”の2値化された9万個のデータは、ラベリング演算器62に送信される。
なお、この際に使用する閾値は画面全体で共通とは限らず、画面で区切られた各部分により閾値を調整することも可能である。
そして、ラベリングされた複数のグループを画面における座標と共にラベル毎目標候補輝度演算器63a、63bに送信する。
なお、図4(b)の例では、目標物Xと6個の波WWがラベリング(識別番号=1〜7)される。
ラベル毎目標候補輝度演算器63bでは、各ラベル(識別番号=1〜7)の座標に対応するB波長の輝度値Sbij(又はCbij)を検出画像メモリ3bから入手する。
そして、各ラベル(グループ)毎に、A波長及びB波長の平均輝度を演算する。
演算された各ラベル(グループ)毎のA波長及びB波長の平均輝度は、ラベル毎輝度比演算器64に送信される。
なお、各ラベル毎の輝度値は平均輝度に限らず、例えば、最低輝度、最高輝度とすることも可能である。
ラベル毎温度演算器65では、ラベル毎輝度比演算器64で演算された各ラベル毎の輝度比を入手(入力)し、各ラベル毎の温度を演算し、その演算結果を背景除去処理器66に送信する。
背景除去処理器66では、各ラベル毎の温度に基づき、背景画像(波WW)を除去する。
その結果、目標物Xが識別される。
検出画像メモリ3a、3b、合成画像メモリ40、距離ゲインメモリ54、読み出し回路8a、8b、オフセット処理部10(オフセット値算出器11a、11b、オフセット減算器12a、12b)、輝度値ゲイン乗算部20(輝度値ゲイン算出器21、輝度値ゲイン乗算器22a、22b)、画像差分処理部30、距離ゲイン乗算部50(距離情報取得器51、距離ゲイン算出器52、距離ゲイン乗算器53a、53b)、目標識別部60(2値化演算器61、ラベリング演算器62、ラベル毎目標候補輝度演算器63a、63b、ラベル毎輝度比演算器64、ラベル毎温度演算器65、背景除去処理器66)は、個々の電子回路ユニット(ICユニットカード)の形態のものに限定されるものではなく、電子計算機における、メモリ、プログラム(或いはシーケンス)の形態のものも含むものとする。
以上、本発明の各実施の形態について説明したが、本発明は上記の各実施の形態に限定されず、本発明の範囲内で種々の変更を加えてよいことはいうまでもない。
2波長QWIP7に代えて、B波長側QWIP層6b及びA波長側QWIP層6aを個別の基板の裏面に形成し、これらを重ね合わせたものでも良い。
但し、これらの場合には、画像の各撮影点に対応する赤外線のA波長の各受光座標と赤外線のB波長の各受光座標を一致させる手段が必要であり、本発明の第1〜4の実施の形態に係る2波長赤外線画像処理装置よりも、演算、処理が複雑となる。
2 2波長赤外線カメラ
3a、3b 検出画像メモリ
4 基板
5a 表面電極
5b 中間電極
5c 裏面電極
6a A波長側QWIP層
6b B波長側QWIP層
7 2波長QWIP
8a、8b 読み出し回路
10 オフセット処理部
11a、11b オフセット値算出器
12a、12b オフセット減算器
20 輝度値ゲイン乗算部
21 輝度値ゲイン算出器
22a、22b 輝度値ゲイン乗算器
30 画像差分処理部
40 合成画像メモリ
50 距離ゲイン乗算部
51 距離情報取得器
52 距離ゲイン算出器
53a、53b 距離ゲイン乗算器
60 目標識別部
61 2値化演算器
62 ラベリング演算器
63a、63b ラベル毎目標候補輝度演算器
64 ラベル毎輝度比演算器
65 ラベル毎温度演算器
66 背景除去処理器
Saij、Caij A波長の輝度値
Sbij、Cbij B波長の輝度値
Oaij A波長の低輝度値
Oax オフセット相当値
Obij B波長の低輝度値
Obx オフセット相当値
ΔSaij、ΔCaij A波長の補正輝度値
ΔSbij、ΔCbij B波長の補正輝度値
Sabij、Cabij 2波長輝度合成値
Ga、Gb 輝度値ゲイン
Gda、Gdb、Gdaij、Gdbij 距離ゲイン
WW 波
W 海面
X 目標物
Claims (6)
- 撮影対象域から2つの異なる赤外線の画像を撮影する2波長赤外線カメラ装置と、
前記2波長赤外線カメラ装置にて検出された2組の輝度値を記憶する2組の検出画像メモリと、
前記2組の輝度値から各々オフセット相当値を減算して2組の補正輝度値を算出するオフセット処理部と、
算出された2組の補正輝度値を合成し2波長輝度合成値を算出する画像差分処理部と、
前記画像差分処理部にて合成された前記2波長輝度合成値を記憶する合成画像メモリと、
前記オフセット処理部と前記画像差分処理部との間に、少なくとも一方の前記補正輝度値に輝度値ゲインを乗算する輝度値ゲイン乗算部と、を備え、
前記輝度値ゲイン乗算部は、
少なくとも一方の前記補正輝度値の中から高い補正輝度値を選出して輝度値ゲインを算出する輝度値ゲイン算出器と、
算出された前記輝度値ゲインを少なくとも一方の前記補正輝度値に乗算する輝度値ゲイン乗算器とにより構成されていること
を特徴とする2波長赤外線画像処理装置。 - 前記輝度値ゲイン乗算部と前記画像差分処理部との間に、前記撮影対象域からの距離に基づく距離ゲインを前記2組の補正輝度値に乗算する距離ゲイン乗算部を備えたことを特徴とする請求項1に記載の2波長赤外線画像処理装置。
- 前記距離ゲイン乗算部は、
前記撮影対象域との距離情報を取得する距離情報取得器と、
前記距離情報取得器からの前記距離情報に比例した距離ゲインを算出する距離ゲイン算出器と、
前記2組の前記補正輝度値に前記距離ゲインを乗算する距離ゲイン乗算器とにより構成されていることを特徴とする請求項2に記載の2波長赤外線画像処理装置。 - 撮影対象域から2つの異なる赤外線の画像を撮影する2波長赤外線カメラ装置と、
前記2波長赤外線カメラ装置にて検出された2組の輝度値を記憶する2組の検出画像メモリと、
前記2組の輝度値から各々オフセット相当値を減算して2組の補正輝度値を算出するオフセット処理部と、
算出された2組の補正輝度値を合成し2波長輝度合成値を算出する画像差分処理部と、
前記画像差分処理部にて合成された前記2波長輝度合成値を記憶する合成画像メモリと、
前記合成画像メモリからの前記2波長輝度合成値につき、所定の閾値以上のものを1の値とし、前記閾値以下のものを0の値とする2値化演算器と、
前記1の値とされたデータの内、隣接しているものを抽出してグループ化しラベリングするラベリング演算器と、
前記ラベリングされた複数の前記グループの各座標に対応する前記2組の輝度値を前記検出画像メモリから入手し、複数の前記グループ毎に2組の各輝度を演算するラベル毎目標候補輝度演算器と、
前記各グループ毎の2組の輝度に基づき輝度比を演算するラベル毎輝度比演算器と、
前記各グループ毎の輝度比に基づき各グループ毎の温度を演算するラベル毎温度演算器と、
前記各グループ毎の温度に基づき背景画像を除去する背景除去処理器とを備えたことを特徴とする2波長赤外線画像処理装置。 - 前記2波長赤外線カメラ装置は、
前面の透明基板の裏面に赤外線の入射方向に2組の受光素子層が形成された受光素子と、
前記2組の受光素子層により検出された各輝度を読み出す読み出し回路とを備えたことを特徴とする請求項1乃至4のいずれかに記載の2波長赤外線画像処理装置。 - 前記2つの異なる赤外線の波長は、第1の赤外線の中心波長が第2の赤外線の中心波長の1.5倍以上であることを特徴とする請求項1乃至5のいずれかに記載の2波長赤外線画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007084521A JP5302511B2 (ja) | 2007-03-28 | 2007-03-28 | 2波長赤外線画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007084521A JP5302511B2 (ja) | 2007-03-28 | 2007-03-28 | 2波長赤外線画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008241563A JP2008241563A (ja) | 2008-10-09 |
JP5302511B2 true JP5302511B2 (ja) | 2013-10-02 |
Family
ID=39913088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007084521A Active JP5302511B2 (ja) | 2007-03-28 | 2007-03-28 | 2波長赤外線画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5302511B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5465001B2 (ja) * | 2009-12-25 | 2014-04-09 | 三菱電機株式会社 | 対象推定装置 |
JP5577747B2 (ja) * | 2010-02-26 | 2014-08-27 | 三菱電機株式会社 | 赤外線目標検出装置 |
JP5995483B2 (ja) * | 2012-03-29 | 2016-09-21 | 三菱重工業株式会社 | 誘導制御装置 |
CN106595870B (zh) * | 2016-12-08 | 2019-12-31 | 苏州长风航空电子有限公司 | 一种红外成像装置及其非均匀性处理方法 |
CN114018324B (zh) * | 2021-11-02 | 2022-08-19 | 清华大学 | 多参数同步测量方法及装置、电子设备和存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2758612B2 (ja) * | 1988-09-30 | 1998-05-28 | 日本電気株式会社 | 過熱検出装置 |
JPH06273506A (ja) * | 1993-03-18 | 1994-09-30 | Mitsubishi Electric Corp | 目標検出装置 |
JP3163322B2 (ja) * | 1997-03-18 | 2001-05-08 | 防衛庁技術研究本部長 | 多波長域赤外線撮像装置 |
JPH11160158A (ja) * | 1997-11-28 | 1999-06-18 | Hochiki Corp | 火災監視装置 |
JPH11183584A (ja) * | 1997-12-25 | 1999-07-09 | Mitsubishi Electric Corp | 目標探知装置 |
JP3196842B2 (ja) * | 1998-11-05 | 2001-08-06 | 日本電気株式会社 | 画像処理方法および撮像装置 |
JP4251312B2 (ja) * | 2002-03-08 | 2009-04-08 | 日本電気株式会社 | 画像入力装置 |
-
2007
- 2007-03-28 JP JP2007084521A patent/JP5302511B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008241563A (ja) | 2008-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109377469B (zh) | 一种热成像融合可见光图像的处理方法、系统及存储介质 | |
JP5176289B2 (ja) | 赤外線目標選択装置 | |
US8929601B2 (en) | Imaging detecting with automated sensing of an object or characteristic of that object | |
US10582180B2 (en) | Depth imaging correction apparatus, imaging apparatus, and depth image correction method | |
EP1781017B1 (en) | Methods and devices for image signal processing | |
JP4230967B2 (ja) | 撮像装置、撮像装置の制御方法、cmosイメージセンサ | |
US20130258112A1 (en) | Visible light and ir hybrid digital camera | |
JP5302511B2 (ja) | 2波長赤外線画像処理装置 | |
TW201215166A (en) | Image capture using luminance and chrominance sensors | |
US10536679B2 (en) | Imaging apparatus and image processing system having stacked structure | |
JP4466015B2 (ja) | 画像処理装置および画像処理プログラム | |
US20140125815A1 (en) | Object detection and tracking with reduced error due to background illumination | |
US20190297279A1 (en) | Dual-aperture ranging system | |
US11653120B2 (en) | Sensor system, image processing apparatus, image processing method, and program | |
CN110740314B (zh) | 彩色线阵相机坏点校正方法及系统 | |
CN110661940A (zh) | 具有深度检测的成像系统及操作该成像系统的方法 | |
US11650322B2 (en) | Method and device for detecting incident laser radiation on a spacecraft | |
US20230314615A1 (en) | Time-of-flight sensing system | |
US11653109B2 (en) | Sensor system, image processing apparatus, image processing method, and program | |
KR100801057B1 (ko) | 컬러 보정 블럭을 구비하는 cmos 이미지 센서 및 그이미지 센싱 방법 | |
US20240014233A1 (en) | Image sensor, image data obtaining method, and imaging device | |
KR20230126622A (ko) | 3차원 모델의 생성 방법 및 이를 수행하는 데이터 처리 장치 | |
CN110220494B (zh) | 双孔径测距系统及其运作方法 | |
JP2023118139A (ja) | 突発性ノイズ検出装置、撮像装置、突発性ノイズ検出方法、表示画像データ生成方法、突発性ノイズ検出プログラム、及び記録媒体 | |
JP2021158450A (ja) | 損傷画素検出回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090324 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120918 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130621 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5302511 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |