JP5762525B2 - 画像処理方法および熱画像カメラ - Google Patents

Description

本発明は、第１の時点に対応する少なくとも１つの第１のＩＲ画像と、それより後の第２の時点に対応する少なくとも１つの第２のＩＲ画像とを含む、複数のＩＲ画像のシーケンスの画像処理方法に関する。

本発明はさらに、画像処理手段を有する熱画像カメラにも関する。

横方向に経過していく過程を記録するため、または長時間測定を行うために、１シーンから複数のＩＲ画像のシーケンスをたとえば映画の形態で作成するのが通常になっている。

手持ち式熱画像カメラの場合、とりわけ小さいオブジェクトを正確に捉えて比較的長時間にわたって検出するのは困難であることが知られている。それゆえ、測定期間中は手持ち式熱画像カメラを三脚等に取り付けるのが望ましい。

本発明の課題は、比較的長い測定期間に及ぶ、熱画像カメラを用いた測定を簡略化することである。

前記課題を解決するため、本発明では、冒頭に述べた形式の画像処理方法において、第１の時点において１つのシーンから第１の画像を作成し、第２の時点において当該シーンから第２の画像を作成し、該第１の画像中で第１の画像領域を選択し、該第１の画像領域に関して該第１の画像から少なくとも１つの特徴を抽出し、該第２の画像中で選択される第２の画像領域に関して抽出される少なくとも１つの特徴と、該第１の画像領域に関して抽出された前記少なくとも１つの特徴との一致が最大限になるように、特徴認識アルゴリズムおよび／またはパターン認識アルゴリズムを用いて該第２の画像中で該第２の画像領域を決定および選択し、該第１の画像における該第１の画像領域の画像位置と該第２の画像における該第２の画像領域の画像位置とを比較することにより、該第１のＩＲ画像中の少なくとも１つの画素と該第２のＩＲ画像中の少なくとも１つの画素とを対応づける並進ベクトルを求める。このような画像処理方法により、本発明では、撮像されたＩＲ画像上で撮像機器すなわち熱画像カメラ自体の制御不能な動きによって動いているように見えるシーン、または本当に動いているシーンを、複数のＩＲ画像にわたって追跡できるという利点が奏される。このことにより、求められた並進ベクトルを用いてこのような動きを補償することができ、このように動きが補償されることにより、数秒またはそれより比較的長い時間にわたる長時間測定を簡単に実現することができる。

構造が特に簡単な実施形態では、前記第１の画像として第１のＩＲ画像を使用し、前記第２の画像として第２のＩＲ画像を使用することができる。

使用される熱画像カメラがさらにＶＩＳカメラを備えている場合、前記第１の画像と前記第２の画像とが可視スペクトル領域で撮像されるように構成することもできる。このような構成により、本発明は、ＶＩＳ画像の特徴抽出をより簡単に行えるようになるという認識を利用することができる。

前記第１の画像ないしは前記第２の画像としてＩＲ画像を使用しない場合、前記並進ベクトルを求めるために、１つの時点において作成された画像の画素（ピクセル）と、該１つの時点に対応するＩＲ画像の画素（ピクセル）との間の所定の対応関係が適用されるように構成することができる。その際にはこの所定の対応関係が、前記ＩＲ画像と、各対応する画像とをどのように一致させることができるかの規則を定義する。

特徴の一致が最大限であることを判定できるようにするためには、確率関数を定義して設けることができる。その際には、この確率関数が所定の閾値を超えた場合に、一致が最大限であると判定される。

本発明の画像処理方法はとりわけ、１映像シーケンスの複数のフレームから成る複数のＩＲ画像のシーケンスに適用することができる。

処理時間を可能な限り短くするためには、前記第２の画像領域の選択を、前記シーケンスのさらなる別のＩＲ画像の撮像と同時に行うことができる。

一般的に、選択される前記画像領域の次元は、点状または面状とすることができる。

１つの映像シーケンスの複数のＩＲ画像にわたってオブジェクトを測定および／または観察を行えるようにするためには、該映像シーケンスが、前記第２の時点より時間的に後の第３の時点に対応する第３のＩＲ画像を含み、該第３の時点においてシーンから第３の画像を作成し、前記第２の画像中で、前記第２の画像のすでに求められた前記第２の画像領域から導出された新たな第１の画像領域を選択し、該新たな第１の画像領域に関して少なくとも１つの特徴を前記第２の画像から抽出し、該第３の画像において選択される新たな第２の画像領域に関する少なくとも１つの特徴と前記新たな第１の画像領域に関して抽出された少なくとも１つの特徴との一致が最大限になるように、特徴認識アルゴリズムおよび／またはパターン認識アルゴリズムを用いて該第３の画像において該新たな第２の画像領域を決定および選択し、前記第２の画像における前記新たな第１の画像領域の画像位置と前記第３の画像における前記新たな第２の画像領域の画像位置とを比較することにより、前記第２のＩＲ画像の少なくとも１つの画素と前記第３のＩＲ画像中の少なくとも１つの画素とを対応づける新たな並進ベクトルを求めることができる。有利には、前記第２の画像中の前記新たな第１の画像領域は、第１のステップにおける前記第２の画像中の第２の画像領域と同一であるように選択されるか、または、新たな第２の画像領域は、最初に求められた並進ベクトルを考慮して、とりわけオブジェクトの動きを考慮して選択される。このことにより、映像シーケンスの各画像においてそれぞれ選択および評価される画像領域を飛ばすことができ、このことにより、複数の画像の流れにわたってオブジェクトを連続的に検出することが可能になる。

また、並進ベクトルによって相互に対応づけられる、２つのＩＲ画像の２つの画素間の温度変化を考慮して、すでに求められた前記第２の画像領域から前記新たな第１の画像領域を導出することも可能である。このことの利点は、オブジェクトの温度が時間の経過とともに変化し、この温度変化に起因して形状および／または輝度および／またはコントラストが変化する場合でも、該オブジェクトの動きないしは展開を追跡できることである。

長時間温度測定を実施するためには、並進ベクトルによって相互に対応づけられた、複数の各ＩＲ画像の画素に対応する少なくとも２つの温度値のシーケンスを求めて出力することができる。前記少なくとも２つの温度値はとりわけ少なくとも３つである。この実施形態の代わりに択一的に、または付加的に、並進ベクトルによって相互に対応づけられた、複数の各ＩＲ画像の画素に対応する少なくとも１つの温度差値のシーケンスを求めて出力することもできる。前記少なくとも１つの温度差値は、とりわけ少なくとも２つである。

透視歪みを補償するためには、前記第１の画像および前記第２の画像ないしは前記ＩＲ画像を歪み除去することができる。有利にはこの歪み除去は、特徴抽出および／または画像領域選択の前に実施される。ここで歪み除去とは、実際には平面であるシーンのイメージの透視歪みを補正する画像処理プロセスを指す。この歪み除去を行うことの利点は、歪み除去を行うと、特徴の最大限の一致をより簡単かつより低誤差で求められることである。

第１のＩＲ画像と、該第１のＩＲ画像に対して前記並進ベクトルだけ相対的に移動している第２のＩＲ画像との重なり部分を生成および／または出力することができる。この実施形態により、複数のＩＲ画像における撮像されたオブジェクトの時間的変化を簡単に表現ないしは表示することができる。

冒頭に述べた形式の熱画像カメラでは、前記課題を解決するために、前記画像処理手段が本発明の画像処理方法を実施するように構成されている。このように構成するためには、前記画像処理手段は、動作プログラムを有するデータ処理装置を備えることができる。この動作プログラムは、該動作プログラムを用いて本発明の画像処理方法が実行されるようにプログラミングされている。

特に有利には、前記熱画像カメラは手持ち式熱画像カメラとして構成されており、および／または、前記ＩＲ画像および／またはＶＩＳ画像を出力するための表示ユニットを有する。

以下、実施例に基づいて本発明を説明するが、本発明はこの実施例に限定されることはない。特許請求の範囲のいずれか１つの特徴または複数の特徴を相互に組み合わせ、および／または、特許請求の範囲の特徴と前記実施例の１つの特徴または複数の特徴とを組み合わせることにより、別の実施例も導き出すことができる。

図面の一部は簡略化されている。

本発明の熱画像カメラの前面を示す斜視図である。 図１の熱画像カメラの後面を示す斜視図である。 本発明の画像処理方法によって処理される第１のＩＲ画像を示す図である。 図３の画像処理方法によって処理される第２のＩＲ画像を示す図である。 本発明の別の画像処理方法を用いて処理される第１の画像と第１のＩＲ画像とを示す図である。 図５の画像処理方法を用いて処理される第２の画像と第２のＩＲ画像とを示す図である。

図１および図２に示された本発明の熱画像カメラ１はＩＲ光学系２を有する。このＩＲ光学系２の後方に、ＩＲ画像を撮像するための、詳細に図示されていないＩＲセンサシステム３が配置されていることは自明である。

前記熱画像カメラ１はさらに、ＶＩＳ画像を撮像するために構成されたＶＩＳカメラ４を有する。

ディスプレイとして構成された表示ユニット５上に、撮像された複数のＩＲ画像ないしはＶＩＳ画像を個別に表示するか、または相互に重ねるかないしはフェードイン／フェードアウトさせて表示することができる。この表示形態は、制御エレメント６によって選択ないしは変化させることができる。表示される画像中に、対応する画像位置において測定された温度値をフェードインさせることができる。

前記熱画像カメラ１は、把持部７を有する手持ち式機器として構成されており、この把持部７の把持領域には、ＩＲ画像ないしはＶＩＳ画像を撮像するためのシャッターボタン８が配置および設置されている。

前記熱画像カメラ１を動作させるために必要なエネルギーは、把持部７または一般的に該熱画像カメラ１に組み込まれたエネルギー供給ユニットによって供給される。

熱画像カメラ１には、図中に詳細に示されていない画像処理手段９が設けられており、該画像処理手段９はデータ処理ユニットを含む。

前記データ処理ユニットには動作プログラムが格納されており、該動作プログラムのプログラムステップが本発明の画像処理方法を実現する。以下、この画像処理方法を詳細に説明する。

図３および図４は、本発明の基本的思想を分かりやすくするため、非常に概略的に、ＩＲセンサシステム３によって撮像された複数のＩＲ画像のシーケンスのうち第１のＩＲ画像１０と第２のＩＲ画像１１とを示す。これら２つのＩＲ画像１０および１１はそれぞれ、１シーンの１オブジェクトの異なるイメージ１２および１３を含む。ここでは、本発明の基本的思想を分かりやすくするため、第２のＩＲ画像１１中に、第１のＩＲ画像１０中のイメージ１２を再度示す。

このように図３と図４とを比較すると、これらの撮像画像間において、前記熱画像カメラ１と、前記オブジェクトを含むシーンとが、相対的に動いたことが明らかである。

この動きを補償または追跡できるようにするためには、第１のＩＲ画像１０において第１の画像領域１４を選択し、該第１の画像領域１４において、該第１のＩＲ画像１０の特徴を抽出する。この特徴は、図中には詳細に示されていない。この選択は、たとえば制御エレメント６を使用して手動で行うか、または有意な特徴を同定することによって自動的に行うことができる。その際には、前記特徴として、画像処理において使用できる特徴または既知の特徴のうち任意の特徴を抽出することができ、たとえばエッジや他の幾何学的構造、輝度分布ないしは色分布、または画像内容等を抽出することができる。

次に、第２のＩＲ画像１１において選択される第２の画像領域１５に関する少なくとも１つの抽出される特徴と、前記第１の画像領域１４に関して抽出された少なくとも１つの特徴との一致が最大限となるように、第２のＩＲ画像１１において第２の画像領域１５を決定および選択する。

その際にはまず、第２のＩＲ画像について、多数の画像領域から多数の特徴を抽出し、前記第１のＩＲ画像１０から抽出された特徴との一致が最大限となる特徴を探索する。このようにして、この特徴が抽出された元となる画像領域を第２の画像領域１５として選択する。

その際には、確率関数を使用して、複数の前記特徴を評価することができる。その際には、前記確率関数が所定の閾値を超えると、特徴の一致が最大限であることが指示される。

その後、前記第１の画像領域１４に対応する画像位置１６と前記第２の画像領域１５に対応する画像位置１７とを比較することにより、とりわけ差分を形成することにより、並進ベクトル１８が求められる。

この並進ベクトル１８は、両画像１０，１１の画素１６，１７を相互に対応付け、また両画像１０，１１の他の画素も相互に対応づけることにより、両ＩＲ画像１０，１１を相互に前記並進ベクトル１８だけ移動させることによって、前記イメージ１２，１３を近似的または正確に一致させることができるようにする。

ここで両画像位置１６，１７に対応する温度値を、前記ＩＲ画像１０，１１から導出することができる。これは、撮像された前記オブジェクトの温度の時間的変化を表す。

図中に詳細に示されていない第３のＩＲ画像を使用し、前記第２のＩＲ画像１１の第２の画像領域１５を新たな第１の画像領域として使用して、本発明の画像処理方法を継続することができる。

求められた前記並進ベクトル１８を使用して、さらに、両イメージ１２，１３が一致するように、両ＩＲ画像１０，１１を相互に移動させてフェードイン／フェードアウトまたは重畳させて前記表示ユニット５に表示することもできる。

図５および図６は、本発明の別の方法の基本的思想を非常に簡略化させて示す図である。ここでは、上述の方法の構成要件と同じ構成要件には同じ符号を付しており、この構成要件については再度改めて説明を行わない。

上述の方法との相違点として、図５および６の方法では、第１のＩＲ画像１０と同時またはほぼ同時に第１のＶＩＳ画像１９を撮像し、第２のＩＲ画像１１と同時またはほぼ同時に第２のＶＩＳ画像２０を撮像する。

これら２つのＶＩＳ画像１９，２０は、可視スペクトル領域で撮像されたオブジェクトないしはシーンのＶＩＳイメージ２１，２２を含む。このオブジェクトないしはシーンは、前記ＩＲ画像１０，１１中のイメージ１２，１３によっても再生される。

ここでも、本発明の基本的思想を分かりやすくするために、第２のＶＩＳ画像２０中に前記ＶＩＳ画像１９のＶＩＳイメージ２１を示すが、このＶＩＳイメージ２１は、必ず第２のＶＩＳ画像２０中に含まれるわけではない。

次に、第１のＶＩＳ画像１９において第１の画像領域１４を選択し、この第１の画像領域１４に関し、前記第１のＶＩＳ画像１９から特徴を導出する。

本発明では前記第１の画像領域１４の選択は、手動によって行うか、または、最も適している画像領域を特定することにより自動的に行うことができる。

次に、図３，４でもすでに説明したが、第２のＶＩＳ画像２０において、抽出される特徴と第１の画像領域１４に関して抽出された特徴との一致が最大限となる第２の画像領域１５を選択する。

最後に、両画像領域１４，１５の画像位置１６，１７を比較することにより、これら２つの画像位置１６，１７を相互に対応づける並進ベクトル１８を求める。

求められた並進ベクトル１８を、相互に対応付けされるＩＲ画像１０，１１に当てはめられるようにするためには、熱画像カメラ１内に、第１のＶＩＳ画像１９の画素と第１のＩＲ画像１０の画素との対応関係２３、ないしは第２のＶＩＳ画像２０と第２のＩＲ画像１１との対応関係２３が格納されている。この対応関係２３を用いて、前記並進ベクトル１８をＩＲ画像１０，１１の対応する並進ベクトルに換算することができる。

上述のようにして求められた並進ベクトルだけ、前記第１のＩＲ画像１０が第２のＩＲ画像１１に対して相対的に移動したことにより、両イメージ１２，１３を相互に、上述のようにして、完全または近似的に一致させることができる。

グリッド線２４によって示されているように、本発明の画像処理方法では、測定誤差の原因となり得る透視歪みを補正するため、両ＩＲ画像１０，１１ないしはＶＩＳ画像１９，２０を歪み除去する。

本発明の画像処理方法は、上述の熱画像カメラ１において連続的に実施される。この連続的な実施では、すでに撮像された画像を評価および処理する間に新たなＩＲ画像１０，１１ないしは新たなＶＩＳ画像１９，２０を撮像して処理部へ供給する。

このようにして、ＩＲ画像１０，１１の映像シーケンスを実時間で処理し、表示ユニット５において出力することができる。

本発明の熱画像カメラ１では、前記表示ユニット５をタッチパネルディスプレイとして構成することにより、該タッチパネルディスプレイ上でマーキングして前記第１の画像領域１４を手動で選択できるようにすることが可能である。

精度を改善するため、前記タッチパネルディスプレイおよび／または前記制御エレメント６を用いて、ＩＲ画像１０，１１において検査対象である画像領域をさらに限定することができる。

前記熱画像カメラ１では、少なくとも２つのＩＲ画像１０，１１のシーケンスないしは該少なくとも２つのＩＲ画像１０，１１に対応付けられるＶＩＳ画像１９，２０のシーケンスから、特徴分析によって特徴を抽出し、前記画像９，１０，１９，２０から抽出された特徴の相互間の最大限の一致を決定し、相互間で一致する特徴の画像位置１６，１７に関し、第１のＩＲ画像１０の画素と第２のＩＲ画像１１の画素とを対応付ける並進ベクトル１８を求める。

Claims (9)

1. 熱画像カメラ（１）によって撮像された複数のＩＲ画像（１０，１１）を含む１シーケンスの画像処理方法であって、
   前記シーケンスは、少なくとも１つの第１のＩＲ画像（１０）と１つの第２のＩＲ画像（１１）とを含み、
   前記第１のＩＲ画像（１０）は、第１の時点に対応し、前記第２のＩＲ画像（１１）は、それより後の第２の時点に対応する、画像処理方法において、
   前記第１の時点において、１つのシーンから、付加的なＶＩＳカメラ（４）によって撮像される可視スペクトル領域内の第１のＶＩＳ画像（１９）を作成し、前記第２の時点において、前記シーンから、前記ＶＩＳカメラ（４）によって撮像される可視スペクトル領域内の第２のＶＩＳ画像（２０）を作成し、ただし、前記第１のＶＩＳ画像（１９）は、前記第１のＩＲ画像（１０）と同時またはほぼ同時に撮像され、かつ、前記第２のＶＩＳ画像（２０）は、前記第２のＩＲ画像（１１）と同時またはほぼ同時に撮像され、
   前記第１のＶＩＳ画像（１９）において第１の画像領域（１４）を選択し、
   前記第１の画像領域（１４）に関し、少なくとも１つの特徴を前記第１のＶＩＳ画像（１９）から抽出し、
   前記第２のＶＩＳ画像（２０）において選択される第２の画像領域（１５）に関して抽出される少なくとも１つの特徴と、前記第１の画像領域（１４）に関して抽出された少なくとも１つの特徴と、の一致が最大限となるように、前記第２のＶＩＳ画像（２０）において前記第２の画像領域（１５）を特徴認識アルゴリズムおよび／またはパターン認識アルゴリズムによって決定および選択し、
   前記第１のＶＩＳ画像（１９）における前記第１の画像領域（１４）の画像位置（１６）と、前記第２のＶＩＳ画像（２０）における前記第２の画像領域（１５）の画像位置（１７）と、を比較することにより、ＶＩＳ並進ベクトル（１８）を求め、
   前記第１のＩＲ画像（１０）の少なくとも１つの画素と前記第２のＩＲ画像（１１）の少なくとも１つの画素とを対応付ける相応のＩＲ並進ベクトル（１８）に前記ＶＩＳ並進ベクトルを換算するために、前記第１のＶＩＳ画像（１９）の画素と前記第１のＩＲ画像（１０）の画素との格納された対応関係、ないしは、前記第２のＶＩＳ画像（２０）の画素と前記第２のＩＲ画像（１１）の画素との格納された対応関係を使用し、
   前記ＩＲ並進ベクトルによって相互に対応付けられる、複数の各ＩＲ画像（１０，１１）の画素に関し、少なくとも２つの温度値および／または少なくとも１つの温度差値のシーケンスを求めて出力し、
   前記第１のＩＲ画像（１０）のイメージ（１２）と、前記第２のＩＲ画像（１１）のイメージ（１３）と、が相互に一致するように、前記第１のＩＲ画像（１０）を前記第２のＩＲ画像（１１）に対して相対的に、前記ＩＲ並進ベクトルだけ移動させる、
   ことを特徴とする、画像処理方法。
2. 確率関数が所定の閾値を超えた場合に、一致が最大限であると判定する、
   請求項１記載の画像処理方法。
3. 前記シーケンスの複数のＩＲ画像（１０，１１）は、１映像シーケンスの複数のコマから形成され、
   および／または、
   前記第２の画像領域（１５）の選択を、前記シーケンスのさらなる別のＩＲ画像（１０，１１）の撮像と同時に行う、
   請求項１または２記載の画像処理方法。
4. 前記シーケンスは、前記第２の時点より時間的に後の第３の時点に対応する第３のＩＲ画像を含み、
   前記第３の時点において、シーンから第３のＶＩＳ画像を作成し、
   前記第２のＶＩＳ画像（２０）において、前記第２のＶＩＳ画像（２０）のすでに求められた前記第２の画像領域（１５）から導出される新たな第１の画像領域を選択し、
   前記新たな第１の画像領域に関し、前記第２のＶＩＳ画像（２０）から少なくとも１つの特徴を抽出し、
   前記第３のＶＩＳ画像において選択される新たな第２の画像領域に関する少なくとも１つの特徴と、前記新たな第１の画像領域に関して抽出された少なくとも１つの特徴と、の一致が最大限となるように、前記第３の画像において前記新たな第２の画像領域を特徴認識アルゴリズムおよび／またはパターン認識アルゴリズムによって決定および選択し、
   前記第２のＶＩＳ画像（２０）における前記新たな第１の画像領域の画像位置と前記第３のＶＩＳ画像における前記新たな第２の画像領域の画像位置とを比較することにより、前記第２のＩＲ画像（１１）の少なくとも１つの画素と前記第３のＩＲ画像の少なくとも１つの画素とを対応付ける新たなＩＲ並進ベクトルを求める、
   請求項１から３までのいずれか１項記載の画像処理方法。
5. 前記第２のＶＩＳ画像（２０）における前記新たな第１の画像領域は、前記第２のＶＩＳ画像（２０）においてすでに求められた前記第２の画像領域（１５）と同一である、
   請求項１から４までのいずれか１項記載の画像処理方法。
6. 前記少なくとも２つの温度値はとりわけ少なくとも３つであり、前記少なくとも１つの温度差値はとりわけ少なくとも２つである、
   請求項１から５までのいずれか１項記載の画像処理方法。
7. とりわけ前記特徴の抽出の前に、前記第１の画像（１９）および前記第２の画像（２０）、および／または、前記ＩＲ画像（１０，１１）を歪み除去する、
   請求項１から６までのいずれか１項記載の画像処理方法。
8. 前記第１のＩＲ画像（１０）と、前記第１のＩＲ画像（１０）に対して前記ＩＲ並進ベクトルだけ相対的に移動した第２のＩＲ画像（１１）と、の重なり部分を生成および／または出力する、
   請求項１から７までのいずれか１項記載の画像処理方法。
9. 請求項１から８までのいずれか１項記載の画像処理方法を実施するように構成された画像処理手段（９）を備えていることを特徴とする、熱画像カメラ（１）。

Images