JP5305768B2 - 画像強調装置及び画像強調方法 - Google Patents

Description

本発明は、撮像した画像から、注目する物体部分を強調する画像強調装置及び画像強調方法に関する。

航空機を捕捉、追跡する高速飛翔体等において、赤外線画像を撮像して航空機の画像を検出する画像処理装置がある。この画像処理装置は、画像の２値化のためのスレッショルド値を与えて、このスレッショルド値よりも温度が高い領域の航空機画像とし、温度が低い領域の背景画像として画像を２分して、航空機の機体画像のみを捉えることができる。

また例えば、従来、第１の画像センサで撮像された近赤外線画像と第２の画像センサで撮像された中赤外線画像とを利用して、目標物を抽出する技術もある（例えば、特許文献１参照）。

しかしながら、航空機のエンジンからは、機体の温度（約３０℃程度）より高温である「ジェットエンジンプルーム」（約１０００〜２０００℃程度）が発生している。また、航空機からは、機体の温度よりも高温である「発熱体」（約１７００℃程度）が投下されることがある。その他、航空機が飛行する上空には、機体の温度より低温である「雲」（約１０℃程度）等も存在している。

したがって、機体画像を撮像するとき、設定するスレッショルド値により、撮像視野に存在するジェットエンジンプルーム、発熱体、雲等によって機体の検出を誤るおそれがある。また、機体の検出を誤った場合、高速飛翔体の誘導精度が損なわれる問題がある。
特開平６‐３２３７８８号公報

上述したように、従来の方法では、撮像画像から注目する物体（機体）を検出するとき、注目物体を正確に検出できない場合があった。

従って本発明は、撮像した画像から正確に注目する物体部分を検出し、この注目する物体部分を強調する画像強調装置及び画像強調方法を提供する。

本発明の特徴に係る画像強調装置は、撮像画像に含まれる注目物体を強調した強調画像を生成する画像強調装置であって、第１の有感波長領域によって、前記注目物体を含む第１画像を撮像する第１撮像手段と、前記第１の有感波長領域と異なる第２の有感波長領域によって、前記第１画像と同一視野であるとともに、同一の画素数及び同一の分解能である第２画像を撮像する第２撮像手段と、前記第１画像と前記第２画像とのコントラストをコントラスト画像として演算するコントラスト画像演算手段と、前記コントラスト画像と、前記注目物体を強調する値として予め定められる強調コントラスト値とから撮像画像に含まれる前記注目物体を強調する強調画像を演算する強調画像演算手段とを備える。

撮像画像に含まれる注目物体を強調した強調画像を生成する画像強調方法であって、第１の有感波長領域によって撮像された前記注目物体を含む第１画像を入力するステップと、前記第１の有感波長領域と異なる第２の有感波長領域によって撮像された、前記第１画像と同一視野であるとともに、同一の画素数及び同一の分解能である第２画像を入力するステップと、前記第１画像と前記第２画像とのコントラストをコントラスト画像として演算するステップと、前記コントラスト画像と、前記注目物体を強調する値として予め定められる強調コントラスト値とから撮像画像に含まれる前記注目物体を強調する強調画像を演算するステップとを備える。

本発明によれば、撮像した画像から、注目する物体を強調することができる。

以下に、図面を用いて本発明の最良の実施形態に係る画像強調装置及び画像強調方法について説明する。

図１に示すように、本発明に係る画像強調装置１は、赤外線センサによって第１画像Aijを撮像する第１撮像手段１１と、第１撮像手段１１とは有感波長領域が異なる波長の赤外線センサによって第２画像Bijを撮像する第２撮像手段１２と、第１画像Aijと第２画像Bijとからコントラスト画像Cijを演算するコントラスト画像演算手段１３と、予め設定される強調コントラスト値Crefとからコントラスト画像Cijを強調させる強調画像Dijを演算する強調画像演算手段１４とを備えている。

第１撮像手段１１と第２撮像手段１２とは、撮像視野、撮像画像の画素数及び分解能は同一であるが、それぞれ有感波長領域が異なる赤外線センサを有している。第１撮像画像１１及び第２撮像画像１２が撮像する画像には、それぞれ、「高温物体」、「注目物体」及び「低温物体」を含んでいる。ここでは、「機体」を「注目物体」とし、機体よりも高温である「ジェットエンジンプルーム」や「発熱体」等を「高温物体」とし、機体よりも低温である「雲」や「雨」等を「低温物体」とする。

第１撮像手段１１は、撮像した第１画像Aijをコントラスト画像演算手段１３に出力し、第２撮像手段１２も、撮像した第２画像Bijをコントラスト画像演算手段１３に出力する。以下においては、第１撮像手段１１の有感波長を第１波長とし、第２撮像手段１２の有感波長を第１波長よりも波長が長い第２波長として説明する。ここで、第１画像Aijと第２画像Bijでは、画像のｘ座標の画素をｉ、ｙ座標の画素をｊとして表わしている。

図２を用いて各波長で温度の異なる物体を撮像した場合の画像レベルについて説明する。図２は、プランクの放射則を利用して求めた黒体放射の場合における撮像画像の画像レベルの相対比を表わしている。図２では、高温物体の温度が８００Ｋ、注目物体の温度が６００Ｋ、低温物体の温度が５００Ｋであって、第１波長が４μｍ、第２波長が１０μｍの場合の画像レベルの一例である。

図２に示すように、第１波長においては、低温物体の画像レベルが「０．２」、注目物体の画像レベルが「１」、高温物体の画像レベルが「４」になるのに対し、第２波長においては、低温物体の画像レベルが「０．２」、注目物体の画像レベルが「０．７」、高温物体の画像レベルが「１」となるため、各物体の画像レベルは波長によって異なる。図２の場合の各物体における第１画像Aijと第２画像Bijの画像レベルの比較を、図３（ａ）に示している。図３（ａ）に示すように、両画像において高温物体部分では画像レベルの差が大きく、注目物体部分では画像レベルの差が小さくなり、低温物体部分では画像レベルが同一であることがわかる。

コントラスト画像演算手段１３は、以下に示すコントラスト演算式（式１）によって入力した第１画像Aijと第２画像Bijとから、コントラスト画像Cijを演算する。また、コントラスト画像演算手段１３は、演算したコントラスト画像Cijを強調画像演算手段１４に出力する。

Cij＝（Aij−Bij）／（Aij＋Bij） ・・・（式１）
演算で得られるコントラスト画像Cijも、画像のｘ座標をｉ、ｙ座標の画素をｊとして表わされる。図３（ｂ）は、図３（ａ）で上述した第１画像Aij及び第２画像Bijから演算されたコントラスト画像Cijの画像レベルの一例を示している。図３（ｂ）の例では、コントラスト画像Cijにおいて、高温物体の画像レベルが「０．６０」、注目物体の画像レベルが「０．１８」、低温物体の画像レベルが「０」となる。

強調画像演算手段１４では、第１撮像手段１１及び第２撮像手段１２の有感温度と、注目物体の温度に基づいて、強調コントラスト値Crefが設定されている。強調画像演算手段１４は、コントラスト画像演算手段１３からコントラスト画像Cijを入力すると、以下に示す強調画像演算式（式２）及び（式３）によって、入力したコントラスト画像Cijと設定されている強調コントラスト値Crefとから、強調画像Dijを演算する。この強調画像Dijも他の画像と同様に、画像のｘ座標をｉ、ｙ座標の画素をｊとして表わされる。

δij＝｜Cij−Cref｜ ・・・（式２）
Dij＝MAX（δij）−δij ・・・（式３）
具体的には、強調画像演算手段１４は、まず、強調コントラスト値Crefを利用して（式２）によって評価画像値δijを求める。その後、強調画像演算手段１４は、求めた評価画像値δijから最大値MAX（δij）を求め、（式３）の評価関数式を利用して、注目物体についての強調画像Dijを求める。（式３）の評価関数式は、図４に示すように表される。

図３（ｃ）は、図３（ｂ）で上述したコントラスト画像Cijから演算された強調画像Dijの画像レベルの一例を示している。図３（ｃ）の例では、コントラスト画像Cijに対して、強調コントラスト値Crefを「０．１８」とした場合の例であり、強調画像Dijにおいて、高温物体の画像レベルが「０」、注目物体の画像レベルが「０．４２」、低温物体の画像レベルが「０．２４」となっている。すなわち、強調画像Dijでは、注目物体が強調されていることがわかる。なお、Crefの設定にあたっては、コントラスト画像中における注目物体の画像レベルの値そのものに基づいて設定する手法も適用可能である。

また、強調画像演算手段１４は、演算した強調画像Dijを画像強調装置１における、画像強調処理の結果として出力する。

したがって、強調画像演算手段１４から出力される強調画像Dijでは、注目物体部分が強調されているため、注目物体を容易に区別することができる。

ここで、図５にエンジンプルームの赤外線放射の分光特性の一例（出典：”The Infrared & Electro-Optical Systems Handbook”, Vol.1, G. J. Zissis, SPIE, 1993 Fig2.64）を示し、図６に発熱体の赤外線放射の分光特性の一例（出典：”The Infrared & Electro-Optical Systems Handbook”, Vol.1, G. J. Zissis, SPIE, 1993 Fig2.79）を示す。図５や図６に示すように、高温物体であっても、エンジンプルームや発熱体の分光特性は、プランクの放射則によらずに変則的である。そのため、エンジンプルームと発熱体の温度が異なっていても特定の一波長のみの撮像手段で画像を撮像した場合、撮像画像でエンジンプルーム部分と発熱体部分の画像レベルに差異が現れないこともある。そのため、上述したように、有感波長領域が異なる第１撮像手段１１及び第２撮像手段１２によって撮像された撮像画像を比較することで、撮像画像から注目物体である機体と高温物体であるエンジンプルームと発熱体等を区別する上、高温物体の中からエンジンプルームと発熱体の異なる物体を区別することも可能になる。

なお、近年、QWIP（Quantum Well Infrared Photodetector）等の撮像視野、画素数及び分解能は同一で異なる有感波長領域のセンサから成る二波長赤外線センサが開発されているが、このような二波長赤外線センサを第１撮像手段１１及び第２撮像手段１２として利用することで、画像強調装置１を容易に構成することができる。

また、強調画像Dijの演算には、（式３）に示す評価関数を利用していたが、これに限られない。例えば、コントラスト画像Cijの統計的分析により、評価画像値δijの画像レベルが所定の値以下の場合には、強制的に強調画像Dijの値を「０」とする等のようにしても本願発明の主旨を逸脱することなく注目物体部分を強調する画像を得ることができる。

本発明の最良の実施形態に係る画像強調装置の構成を説明するブロック図である。 物体の温度と画像レベルの関係について説明する図である。 図１の画像強調装置における各画像の画像レベルについて説明する図である。 図１の画像強調装置における画像の強調について説明する図である。 エンジンプルームの分光特性について説明する図である。 フレアの分光特性について説明する図である。

符号の説明

１…画像強調装置
１１…第１撮像手段
１２…第２撮像手段
１３…コントラスト画像演算手段
１４…強調画像演算手段
Aij…第１画像
Bij…第２画像
Cij…コントラスト画像
Cref…強調コントラスト値
Dij…強調画像
δij…評価画像値

Claims (2)

1. 撮像画像に含まれる注目物体を強調した強調画像を生成する画像強調装置であって、
   第１の有感波長領域によって、前記注目物体を含む第１画像を撮像する第１撮像手段と、
   前記第１の有感波長領域と異なる第２の有感波長領域によって、前記第１画像と同一視野であるとともに、同一の画素数及び同一の分解能である第２画像を撮像する第２撮像手段と、
   前記第１画像と前記第２画像との各画素について画像レベルの差と和との比を演算し、各画素に対して求められた比を前記各画素の画像レベルとしたコントラスト画像を生成するコントラスト画像演算手段と、
   前記コントラスト画像の各画素について画像レベルと前記注目物体を強調する値として予め定められる強調コントラスト値との差分値を演算するとともに、全ての画素の差分値の最大値と対象の画素の差分値との差を演算し、各画素に対して求められた差を前記画素の画像レベルとした撮像画像に含まれる前記注目物体を強調する強調画像を生成する強調画像演算手段と、
   を備えることを特徴とする画像強調装置。
2. 撮像画像に含まれる注目物体を強調した強調画像を生成する画像強調方法であって、
   第１の有感波長領域によって撮像された前記注目物体を含む第１画像を入力するステップと、
   前記第１の有感波長領域と異なる第２の有感波長領域によって撮像された、前記第１画像と同一視野であるとともに、同一の画素数及び同一の分解能である第２画像を入力するステップと、
   前記第１画像と前記第２画像との各画素について画像レベルの差と和との比を演算し、各画素に対して求められた比を前記各画素の画像レベルとしたコントラスト画像を生成するステップと、
   前記コントラスト画像の各画素について画像レベルと前記注目物体を強調する値として予め定められる強調コントラスト値との差分値を演算するとともに、全ての画素の差分値の最大値と対象の画素の差分値との差を演算し、各画素に対して求められた差を前記画素の画像レベルとした撮像画像に含まれる前記注目物体を強調する強調画像を生成するステップと、
   を備えることを特徴とする画像強調方法。

Images