JPH05225338A

JPH05225338A - 時系列距離画像入力処理方法

Info

Publication number: JPH05225338A
Application number: JP4029146A
Authority: JP
Inventors: Atsushi Otani; 淳大谷
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1992-02-17
Filing date: 1992-02-17
Publication date: 1993-09-03
Anticipated expiration: 2015-05-15
Also published as: JP3040575B2

Abstract

(57)【要約】【目的】本発明は、時系列距離画像入力において、左
右熱画像中の等温度領域の対応付け精度を上げることを
目的としている。【構成】先に出願している特願平３−２７９２９６を
改良し、本発明では、左右熱画像の各等温度領域を、一
つの領域を同一のエピポーララインを複数回横切らない
単位である部分領域に分割し、この部分領域を左右熱画
像の対応付けの単位として、弛緩法により対応を決定す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、シーン中の人間や自動
車等の３次元的動きを認識するための一連の処理におい
て、３次元の動き情報を入力する手段に関し、より具体
的には、通常のＴＶカメラのビデオレート程度の頻度
（１秒間に３０フレーム程度）で距離画像（各画素の値
が３次元空間中の基準点からの距離値である画像）を入
力する時系列距離画像入力処理方法に関する。

【０００２】

【従来の技術】関連する従来技術としては、特願平３−
２７９２９６号「距離動画像入力処理方法」がある。同
出願ではまず、２台の赤外線熱画像装置により入力され
たステレオ熱画像における等温度領域の形状の類似性に
基づき対応付けを行い、等温度領域の輪郭の距離情報を
取得する。次に、２台のＴＶカメラから入力されるステ
レオ濃淡画像を用いて、前述の等温度領域の内部の対応
付けを行い、補間的に距離を求める。この処理をビデオ
レートで同期入力される前述の２種類のステレオ画像に
ついて繰り返すことにより、結果的に時系列の距離画像
を得ると言うものである。

【０００３】同出願においては、ステレオ熱画像におけ
る等温度領域に対して、図１２に示すようにして、左右
の熱画像における対応候補領域２０５と２０６との対応
付けを決定していた。即ち、メモリ２０７上で領域２０
５のパターンに領域２０６のパターンを重ね、図１２の
ように、１画素ずつずらす都度類似度を計算し、その最
大値が閾値より大きければ、対応すると判定していた。
ここで類似度Ｓの例としては、領域２０５と２０６との
重なっている部分の面積（画素数）をＡ、重なっていな
い部分の面積をＢとすると、Ｓ＝Ａ／（Ａ＋Ｂ）で定義
されるものが用いられる。

【０００４】

【発明が解決しようとする課題】しかし、このような領
域の対応付け法をとると、図１３に示すような問題点が
生じる。即ち、左熱画像４００に等温度領域４０２が存
在し、この領域に対応する右熱画像４０１における領域
が、オクルージョン等の影響で等温度領域４０３ａと４
０３ｂとに分割されていたとする。すると、領域４０２
と領域４０３ａとの類似度は例えば0.4 、領域４０２と
４０３ｂとも0.4 程度となり、通常対応付けのための前
述の閾値を0.8 程度に設定するので、本来対応すべき領
域４０２と領域４０３ａ、４０３ｂとが、対応付け不能
と判定されると言う問題が生じる。

【０００５】そこで、図１４のように、類似度の定義を
Ｓ′＝Ｄ／Ｃとするとも考えられる。ここで、Ｃは領域
４０３ａの面積、Ｄは領域４０２と４０３ａとが重なっ
ている部分の面積である。しかし、この類似度Ｓ′を用
いると、本来対応すべきでない領域同志を対応付けてし
まうという問題があった。

【０００６】本発明は、時系列距離画像入力において、
左右熱画像中の等温度領域の対応付け精度を上げること
を目的としている。

【０００７】

【課題を解決するための手段】このような目的を達成す
るために、本発明では、左右熱画像の各等温度領域を、
一つの領域を同一のエピポーララインを複数回横切らな
い単位である部分領域に分割し、この部分領域を左右熱
画像の対応付けの単位として、弛緩法により対応を決定
するようにする。

【０００８】図１は、本発明の動作原理を示す。まず、
物体１１を赤外線熱画像装置１２と１３、ＴＶカメラ１
４と１５により撮像し、赤外線熱画像装置１２と１３、
ＴＶカメラ１４と１５から画像を同期して入力する。な
お赤外線熱画像装置１２と１３、ＴＶカメラ１４と１５
の視線方向は互いに平行になるように配置し、画角も互
いに一致させておく。また、赤外線熱画像装置１２と１
３とは、視野内の物体が放射する赤外線を検出すること
により温度を測定して量子化し、熱画像をビデオレート
程度の頻度で取得できるものを利用する。

【０００９】熱画像装置１２と１３とにより得られた熱
画像をそれぞれ熱画像２２と２３とし、ＴＶカメラ１４
と１５とによる画像を濃淡画像２４と２５とする。図中
の１１ａ、１１ｂ、１１ｃ、１１ｄは各々画像２２、２
３、２４、２５における物体１１の像である。

【００１０】本発明においては、これらの画像の中でま
ず熱画像２２と２３とを処理する。物体像１１ａと１１
ｂとには、物体１１の表面の等温線３２がそれぞれ３２
ａと３２ｂとのように観測される。ところで、物体上の
１点から放射される赤外線の強度は、その点における物
体への接線方向に近い場合を除き、一般には一定と考え
てよい。従って、３２ａと３２ｂとのような左右熱画像
において互いに対応する等温線を検出すれば、撮像系の
幾何学的位置関係により、物体１１の等温線３２上の３
次元座標を求めることができる。

【００１１】

【作用】即ち、画像２２〜２５における共通のエピポー
ラライン（ｙ座標の等しいｘ軸に平行な直線）を図１の
ように３４ａ〜３４ｄとし、画像２２と２３とにおける
エピポーラライン３４ａ、３４ｂと等温線３２ａ、３２
ｂとの交点を図１のようにそれぞれ３５ａ、３６ａおよ
び３５ｂ、３６ｂとすると、３５ａと３５ｂ、３６ａと
３６ｂが対応することを見いだせば、熱画像装置１２と
１３との幾何学的位置関係は予め分かっているので、三
角測量の原理で３５ａと３５ｂおよび３６ａと３６ｂに
対応する物体上の点３５と３６との３次元空間中の座標
を計算することができる。

【００１２】このようにして得られた物体１１上の点３
５と３６の３次元座標から、３５の画像２４における位
置３５ｃ、画像２５における位置３５ｄ、および３６の
画像２４における位置３６ｃ、画像２５における位置３
６ｄを求めることができる。物体１１の表面上で３５と
３６との間に等濃度線３３が存在するとすると、画像２
４と２５とにおいて、３３ｃと３３ｄとのように観測さ
れる。ただし、物体表面の濃度は、異なった位置にある
複数のＴＶカメラによりとらえた場合、必ずしもその複
数のＴＶカメラで得られた画像中の濃度が等しくならな
いという問題がある。しかし、等濃度線３３の像は画像
２４では３５ｃと３６ｃとの間、画像２５では３５ｄと
３６ｄとの間という狭い範囲に限定されており、この狭
い範囲の濃度分布の対応関係は容易に取れるので、３３
ｃと３３ｄとの対応関係も求められる。従って、やはり
ＴＶカメラ１４と１５との幾何学的位置関係により３３
上の点の３次元空間における座標を求めることができ
る。

【００１３】このように、まず２つの（ステレオ）熱画
像における等温線の対応関係を求め、３次元空間におけ
る位置を求めた後、ＴＶカメラによるステレオ画像に、
３次元空間中の位置が得られた等温線を投影し、その等
温線の間で濃度情報の対応関係を求めることにより、等
温線の間の距離情報を補間的に求めるわけである。熱画
像装置１２と１３およびＴＶカメラ１４と１５はビデオ
レートで画像の取得が可能なので、これらの画像群に対
して前述の処理を施すことにより、ビデオレートで距離
画像を入力することが可能である。

【００１４】

【実施例】上記の如く入力を行うが、現実には熱画像に
おける等温線の対応付け情報は、２台の熱画像装置の特
性が厳密に一致していないと必ずしも信頼できないの
で、図２のような構成を取ることによって、熱画像装置
とＴＶカメラの視野を一致させるようにする。図２は実
施例構成を示す。赤外線を反射し、可視光を透過する可
視赤外分離ミラー４１を、視線方向を直交させた熱画像
装置４２とＴＶカメラ４４との視線の交わる位置に４５
度の角度をもって配置する。このように配置することに
より、ミラー４１により赤外線情報は熱画像装置４２
に、可視光はＴＶカメラ４４に分岐され、しかも熱画像
装置４２とＴＶカメラ４４との視野を一致させることが
できる。熱画像装置４２とＴＶカメラ４４とは左画像用
であり、図２に示すように右画像用に熱画像装置４３と
ＴＶカメラ４５とを同様に設置し、前述のように左右画
像のマッチングを行い、距離情報を得る。以下図２の配
置を前提に説明を行うが、図１に示した一般的な配置で
も当然有効である。

【００１５】図３は、図２の構成に対する本発明の実施
例を示す。本実施例の動作は、まず左熱画像装置４２と
右熱画像装置４３とから熱画像が入力され、それぞれ熱
画像用メモリ５２と５３とに格納される。次にラベリン
グ処理部５６により、メモリ５２と５３とに格納された
熱画像に対するラベリング処理を施し、それぞれの処理
結果をラベリング結果用メモリ５７（左熱画像用）と５
８（右熱画像用）とに格納する。

【００１６】ここで、ラベリング処理部５６では、メモ
リ５２と５３とに格納された熱画像において、同じ温度
値を持つ互いに隣接する画素を統合して行き、結果とし
て図４に示すように、熱画像を領域に分割する。図４
で、各領域に含まれる画素は同じ温度値を持ち、同一の
領域に含まれる全ての画素にはその領域の識別子が割り
付けられる。メモリ５７と５８とには、ラベリング処理
により得られた図４に示された領域分割結果とともに、
各領域の温度値、外接矩形枠の上下左右端の座標値とい
った各領域の属性値も併せて格納される。これらの属性
値は後述の対応探索部５９で用いられる。

【００１７】対応探索部５９は本発明の内容であり、特
願平３−２７９２９６号の改良点の存在する個所であ
る。対応探索部５９のより詳細な構成例を図５に示す。
図５の構成の動作は、まず部分領域分割部７１でメモリ
５７に格納された左熱画像の領域分割結果から各領域を
部分領域に分割する。

【００１８】ここで、領域の部分領域への分割は、図６
に示すように、左熱画像４０４に等温度領域４０６が存
在するとすると、分割部７１ではまず、領域４０６を部
分領域４０６ａ、４０６ｂ、４０６ｃに分割する。これ
は、各領域が同一のエピポーララインを複数回横切らな
い、つまり１回だけ横切る単位に分割するわけである。
例えば、エピポーラライン４１１は領域４０６と２回交
差するが、部分領域４０６ａと４０６ｂとはそれぞれ１
回だけ交差するものとなる。このようにすることによ
り、図６のように、領域４０６に対応するべき右熱画像
４０５中の領域が、オクルージョン等の影響で領域４０
７ａ、４０７ｂに分裂したような場合にも、部分領域４
０６ａと４０７ａ、部分領域４０６ｂと４０７ｂとの類
似度を考えれば、対応付けが可能である。

【００１９】以上の分割結果を部分領域分割結果メモリ
７２に格納する。ここで、各部分領域の属性として、そ
の部分領域を含む領域の識別子、上下端のｙ座標を併せ
て格納する。また、本実施例では左熱画像を部分領域に
分割する場合を以後示すが、右熱画像を部分領域に分割
してもよい。

【００２０】次に、メモリ７２に格納された部分領域分
割結果とメモリ５８に格納された右熱画像の領域分割結
果とを用いて、部分領域の対応候補を部分領域対応候補
抽出部７３で抽出する。一般に、左右画像中の対応する
点は、同じエピポーラライン上に存在すると限定され
る。従って、左画像におけるある部分領域の上端と下端
のＹ座標をＹ_u、Ｙ_lとすると、右画像において対応す
る可能性がある部分領域と言うのは、同じ温度値を持
ち、部分領域の一部または全体がＹ＝Ｙ_uとＹ_lとの間
に存在するものである。図６で、部分領域４０６ａの上
下端にそれぞれ対応するエピポーララインを４０９、４
１０とすると、右熱画像４０５の部分領域４０７ａ、４
０７ｂがまず対応候補として存在する。さらに、右熱画
像４０５のもう一つの領域４０８も対応可能であるが、
部分領域４０６ａに対応可能な部分は、領域４０８のう
ちエピポーラライン４０９と４１０にはさまれた範囲と
なる。

【００２１】ここでもう一つ、エピポーラ拘束の条件
（左画像の部分領域に対応し得る右画像における領域
は、左画像における部分領域のＸ軸方向の位置より左側
にしか存在し得ない）がある。従って、具体的な処理の
流れとしては、メモリ５７に格納されている領域４０６
の属性値（温度値、外接矩形枠の上下左右端の座標）と
メモリ７２に格納されている部分領域４０６ａの属性値
（含まれる領域の識別子、上下端の座標）とを読みだ
し、部分領域４０６ａの上端と下端との座標範囲内にあ
り、領域と同じ温度値を持ち、部分領域４０６ａの左端
と右端とのＸ軸方向の位置より左端と右端とがそれぞれ
左側にある右画像中の領域を探索し、４０６ａの上下端
に挟まれる範囲を対応候補として抽出する。図６におい
て、４０６ａと同じ温度を持つのが４０７ａ、４０７
ｂ、４０８とすると、４０７ａと４０７ｂとは対応候補
として抽出されるが、４０８はエピポーラ拘束を満たさ
ないために、対応候補として抽出されない。

【００２２】次に、このようにして抽出された対応候補
との形状の類似度を類似度計算部７４で計算する。その
原理は図１２に示したものと同様である。即ち図１２
で、２０５を部分領域、２０６を対応候補と考えるとす
る。本処理は画像４０４、４０５と同じサイズのメモリ
２０７上で行う。まず画像４０４から部分領域２０５
を、画像４０４における位置と等しい位置にコピーす
る。メモリ２０７上で、部分領域２０５に対応する画素
には部分領域２０５の識別子を、部分領域２０５以外の
画素には背景を表す識別子を格納する。ところで、左右
画像の部分領域の対応はまだ決定されていないので、Ｘ
軸方向の位置合わせも決定されていない。従って、メモ
リ２０７で左画像の部分領域２０５の位置は固定し、対
応候補領域２０６のパターンをメモリ２０７で１画素ず
つＸ軸方向に移動し、その都度類似度を計算し、最大の
類似度を領域２０５と２０６との類似度とする。

【００２３】すなわち、図１２のように、対応候補領域
２０６のＹ座標は右熱画像４０５におけるものとし、そ
のパターンをメモリ２０７にコピーするが、このとき既
に背景の識別子が格納されている画素は対応候補領域２
０６の識別子に書き換え、既に部分領域２０５の識別子
が格納されている画素には、領域２０５と２０６とが重
なることを示す識別子を格納する。領域２０５と２０６
とが重なりを持つとすると、重なっている部分（図１２
でハッチングで示した部分）の画素数（面積）をカウン
トしこれをＡ、領域２０５と２０６とにおける重なって
いない部分（同、白い部分）の画素数をＢとし、領域２
０６のＸ座標ｉにおける類似度をＳ_iとすると、Ｓ_i＝Ａ／（Ａ＋Ｂ）（１）で計算される。次に、領域２０６をＸ軸方向に１画素ず
らしてコピーするが、その前に、重なり部分の画素には
領域２０５の識別子を、領域２０６がそれまであった部
分の画素には背景の識別子をそれぞれ格納しておき、そ
の後前述の領域２０６のコピー処理を行う。領域２０６
のＸ軸方向の移動をＡ≠０の範囲で行って式（１）によ
り類似度を計算し、その最大値を領域２０５と２０６と
の類似度Ｓとする。

【００２４】類似度計算部７４で、各対応候補について
類似度Ｓを計算した後、対応決定部７５で対応を弛緩法
により決定する。ここでは、前述のようにして各部分領
域の対応候補を探索した結果、１つの部分領域に対し
て、対応候補が複数存在する場合があるので、以下のよ
うにして１：１の対応を決定する。

【００２５】部分領域ｉの対応候補をλとし、ｉに対す
るλが正しい割当である確率をｐ_i（λ）（０≦ｐ
_i（λ）≦１）とする。なお、この確率値としては、式
（１）により得られた類似度の値を用いることができ
る。いま、ｉがｍ個の対応候補を持つとすると、ｉの確
率ベクトルがＰ_i＝（ｐ_i（λ₁）、・・・、ｐ_i（λ_m））と定義される。ここで、他の部分領域ｊが、ｉの対応候
補λ_kを、やはり対応候補としている場合もある。従っ
て、互いに対応候補を共有する部分領域およびそれらの
対応候補をすべて考え、これらから１：１の対応を決定
する必要がある。そこで、このような互いに対応候補を
共有する部分領域がｎ個あるとすると、全確率ベクトルＰ＝（Ｐ₁、Ｐ₂、・・・、Ｐ_n）が得られる。０≦ｐ₁（λ）≦１の条件を満たしつつ、
目的関数Ｊ

【００２６】

【数１】

【００２７】を最大にするＰを求める。式（２）でｒ_ij
（λ、λ′）は適合係数である。ｒ_ij（λ、λ′）の定
義は、ｉに対するλとｊに対するλ′の対応付けが両立
する可能性が高い場合には正の数、逆の場合には負の数
をとる。例えば、図７のように、左熱画像４２０で上下
に接していた部分領域４３０ａ、４３１ａの右熱画像４
２１における対応候補４３０ｂ、４３１ｂが接していな
い場合や、左熱画像４２０の接していない部分領域４３
２ａ、４３３ａが、右熱画像４２１で対応候補４３２
ｂ、４３３ｂが重なっている場合には、絶対値の大きな
負の値を取る。式（２）を最大にするＰにおいて、ｐ_i
（λ）＞θ（θは閾値）を満たすｉとλとの対応付けを
決定する。

【００２８】このようにして、等温度領域に含まれる部
分領域の対応付けが行われた後、等温線上距離計算部６
０で、等温線（領域の輪郭線）上の画素の実空間におけ
る３次元座標を、図８のように計算する。図８で、左熱
画像２１０と右熱画像２１１とにそれぞれ対応すること
が決定された部分領域（以下、領域）２１２と２１３と
が存在しているとする。いま、エピポーラライン２１４
と領域２１２との交点を２１５ａと２１６ａ、領域２１
３との交点を２１５ｂと２１６ｂとすると、交点２１５
ａと２１５ｂ、交点２１６ａと２１６ｂが、それぞれ対
応する点である。赤外線熱画像装置４２と４３の幾何学
的な位置関係は既知なので、三角測量の原理でこれらの
対応する点の３次元座標を計算することができる。

【００２９】例えば、図９のように、左熱画像２１０の
視野中心（熱画像装置４２の四角錘状の視野における四
角錘の頂点）２２１と右熱画像２１１の視野中心２２２
とがＸ軸上の原点に関して対称な位置にあり、Ｚ軸が熱
画像装置４２と４３との視線と平行な方向、Ｙ軸をＸ軸
とＺ軸に直行するように３次元座標系を定義する。い
ま、図９の交点２１６ａと視野中心２２１とを結んだ直
線と、交点２１６ｂと視野中心２２２と、を結んだ直線
とのＸ−Ｚ平面への射影が、Ｘ軸となす角度をそれぞれ
φ_L、φ_Rとし、視野中心２２１と２２２との距離をｄ
とする（従って、それぞれのＸ座標は、−ｄ／２、ｄ／
２）。また、これら２つの直線の交点である実空間中の
点２２０（交点２１６ａと２１６ｂとに対応する）と視
野中心２２１と２２２との３点から構成される平面とＸ
−Ｚ平面のなす角度をΨとする。実空間中の点２２０の
３次元座標（Ｘ、Ｙ、Ｚ）は次式のように計算される。

【００３０】Ｘ＝ｄ（tan φ_L＋tan φ_R）／｛２（tan φ_R−tan φ_L）｝（３）Ｙ＝ｄtan Ψ（tan φ_L−tan φ_R）／（tan φ_R−tan φ_L）（４）Ｚ＝ｄ（tan φ_L−tan φ_R）／（tan φ_R−tan φ_L）（５）距離画像中の点２２０に対応する画素には、Ｒ＝（Ｘ²＋Ｙ²＋Ｚ²）^1/2 （６）で表される。点２２０と座標系の原点との距離Ｒが格納
される。

【００３１】等温線上距離計算部６０で、全ての対応す
る領域の輪郭線上の３次元座標が求められるので、距離
画像において、領域の輪郭に対応する画素には距離値が
格納されることになる。しかし、これだけでは領域の輪
郭以外の画素については、距離値が得られないことにな
る。そこで、以下に述べるように、ステレオ濃淡画像を
用いて、輪郭以外の画素について、距離値を補間する。

【００３２】図３で、ＴＶカメラ４４と４５とから得ら
れた濃淡画像は、まず画像用メモリ５４と５５とに格納
される。次に、補間計算部６１で、図１０、図１１に示
すような方法で、熱画像における領域の輪郭線以外の距
離値を求める。図１０では、メモリ５４と５５とに格納
された左濃淡画像２５０と右濃淡画像２５１とに、互い
に対応する領域２５２ａと２５２ｂとが存在する場合を
示している。画像２５０と２５１とにおける共通のエピ
ポーラライン（Ｙ座標値が等しい）を考え、このエピポ
ーララインの画像２５０における部分２５３ａと領域２
５２ａとの交点を２５５ａと２５６ａとし、画像２５１
における部分２５３ｂと領域２５２ｂとの交点を２５５
ｂと２５６ｂとする。各エピポーラライン２５３ａと２
５３ｂ上でそれぞれ、交点２５５ａと２５６ａとの間、
及び交点２５５ｂと２５６ｂとの間の濃度分布を示した
のが、図１１である。

【００３３】一般には、交点２５５ａと２５６ａの距離
と、交点２５５ｂと２５６ｂの距離とは異なるが、ＤＰ
（Dynamic Programming)マッチング等により、エピポー
ラライン２５３ａと２５３ｂとの両者における濃度分布
の対応が求められる。図１１で点線で示したのが、対応
の取れた画素同志の例であり、２５７ａ〜２５９ａ及び
２５７ｂ〜２５９ｂが、濃度分布の対応付けにより得ら
れた対応点の例である。従って、対応点２５７ａと２５
７ｂ、２５８ａと２５８ｂ等から、等温線上距離計算部
６０と同様に式（３）〜（６）を用いて、対応点の距離
値が求まる。従って、熱画像における領域の輪郭線だけ
でなく、領域内部の距離情報も得られることになる。

【００３４】なお、図１０、図１１では、図２で示した
可視赤外分離ミラー４１を用いる配置を前提にしていた
が、図１のように、熱画像装置１２、１３及びＴＶカメ
ラ１４、１５を平行に配置した場合でも、同様に補間が
行える。即ちこの場合、図１０に示した熱画像における
領域２５２ａと２５２ｂとを濃淡画像２５０と２５１と
に重ね合わせることはできないが、領域２５２ａと２５
２ｂとの輪郭線上の点２５５ａ、２５６ａ、２５５ｂ、
２５６ｂは、その対応関係から３次元座標が前述のよう
に計算できるので、ＴＶカメラ１４と１５との幾何学的
位置関係から、濃淡画像２５０と２５１とにおける位置
を逆に求めるのは容易である。このようにして、熱画像
中の領域の輪郭線上の画素を濃淡画像中に投影できるの
で、その後の処理は、図１１で説明したのと同様に行え
る。

【００３５】以上のようにして、距離動画像６２が得ら
れる。熱画像装置１２と１３、ＴＶカメラ１４と１５に
おける画像入力を同期して行えば、ビデオレート程度の
頻度でステレオ熱画像とステレオ濃淡画像とが入力でき
る。これらの連続して入力される画像に対して、逐次本
発明の内容の処理を行えば、ビデオレートの頻度の距離
画像（距離動画像）の入力が実現される。

【００３６】

【発明の効果】以上説明したように、本発明によれば、
ステレオ熱画像における等温度領域の対応付けを、各領
域を同一のエピポーララインを複数回交差しない単位で
ある部分領域に分割し、弛緩法により対応付けを決定す
るようにしたので、左右の熱画像における対応付けが行
われるべき等温度領域の形状がオクルージョン等によっ
て大きく変化しても、正しい対応付けを実現する確率を
高めることができる。

【００３７】本発明は、ロボットの視覚システム、商店
における万引防止や交通監視等を目的とした自動監視シ
ステムへ適用することができる。

【図面の簡単な説明】

【図１】本発明の原理を示す。

【図２】可視赤外分離ミラーを用いた視野を一致させる
方式の説明図である。

【図３】本発明の実施例を示す。

【図４】熱画像の領域分割例を示す。

【図５】対応探索部の実施構成例を示す。

【図６】対応探索部の動作の説明図である。

【図７】弛緩法における適合係数の説明図である。

【図８】等温線上距離計算部の動作の説明図である。

【図９】等温線上の画素の距離の計算原理を示す。

【図１０】ステレオ濃淡画像による距離情報の補間の原
理を示す。

【図１１】ステレオ濃淡画像による距離情報の補間の原
理を示す。

【図１２】左右熱画像における領域の類似度の説明図で
ある。

【図１３】従来技術の問題点を示す図である。

【図１４】従来技術の問題点を示す図である。

【符号の説明】

１１物体１２左の熱画像装置１３右の熱画像装置１４左のＴＶカメラ１５右のＴＶカメラ２２左熱画像２３右熱画像２４左濃淡画像２５右濃淡画像１１ａ左熱画像２２における物体１１の像１１ｂ右熱画像２３における物体１１の像１１ｃ左濃淡画像における物体１１の像１１ｄ右濃淡画像における物体１１の像３２物体１１表面上の等温線３２ａ物体像１１ａにおける等温線３２の像３２ｂ物体像１１ｂにおける等温線３２の像３３物体１１上の等濃度線３４画像２２〜２５における共通のエピポーラライン４２左の熱画像装置４３右の熱画像装置４４左のＴＶカメラ４５右のＴＶカメラ５２左熱画像用メモリ５３右熱画像用メモリ５４左濃淡画像用メモリ５５右濃淡画像用メモリ５６ラベリング処理部５７左熱画像ラベリング結果用メモリ５８右熱画像ラベリング結果用メモリ５９対応探索部６０等温線上距離計算部６１補間計算部６２距離動画像７１部分領域分割部７２部分領域分割結果メモリ７３部分領域対応候補抽出部７４類似度計算部７５対応決定部

Claims

【特許請求の範囲】

【請求項１】互いに平行な視線方向および等しい画角
をもつ２台の熱画像装置と２台のＴＶカメラとを備え、これら２台の熱画像装置と２台のＴＶカメラとから左右
の熱画像と左右の濃淡画像をフレームメモリに入力し、２台の熱画像装置から入力された左右の熱画像中におけ
る等温度領域の対応付けを行い、対応付けの行われた領域の輪郭の距離情報を求め、対応付けの行われた領域の内部の距離情報を、２台のＴ
Ｖカメラから入力された左右の濃淡画像における濃淡情
報の対応付けにより補間し、以上の処理を連続して入力される左右熱画像と左右濃淡
画像について逐次行うことにより時系列距離画像を入力
する時系列距離画像入力処理方法において、前記の等温度領域と交差するエピポーララインにおい
て、同一のエピポーララインと最大一回だけ交差する単
位である部分領域に、等温度領域を分割し、次に、左（右）熱画像における各部分領域毎に、右
（左）熱画像中における温度が等しく、エピポーラ拘束
を満足する対応候補を探索し、部分領域に複数の対応候補が存在する場合には、弛緩法
により対応付けを決定し、結果として等温度領域の対応付けを行うようにしたこと
を特徴とする時系列距離画像入力処理方法。