JP3253328B2

JP3253328B2 - 距離動画像入力処理方法

Info

Publication number: JP3253328B2
Application number: JP27929691A
Authority: JP
Inventors: 淳大谷; 淳司大和
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1991-10-25
Filing date: 1991-10-25
Publication date: 2002-02-04
Anticipated expiration: 2017-02-04
Also published as: JPH05122602A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、シーン中の人間や自動
車等の３次元的動きを認識するための一連の処理におい
て、３次元の動き情報を入力する距離動画像入力処理方
法に関するものである。具体的には、通常のＴＶカメラ
のビデオレート程度の頻度（１秒間に３０フレーム程
度）で距離画像（各画素の値が３次元空間中の基準点か
らの距離値である画像）を入力するようにしている。

【０００２】

【従来の技術】関連する従来技術としては、(i) レーザ
スキャン方式、(ii)ステレオ画像方式がある。 (i) レーザスキャン方式図１１に示すように、レーザスキャン機構１とＴＶカメ
ラ２とを用いる。図に示すように、レーザスキャン機構
１は空間中の動物体５に対してレーザを照射し、このレ
ーザ照射をｘ、ｙ方向にスキャンする。ＴＶカメラ２
は、照射されたレーザが形成する物体上のスポットを検
出し、三角測量の原理でそのスポットの基準点からの距
離を計測する。前述のスキャンの結果、距離画像を取得
することができる。このスキャンを高速に行うことによ
り、ビデオレート程度の頻度で距離画像を入力する装置
の試作も行われている。 (ii)ステレオ画像方式図１２に示すように、２台のＴＶカメラ３、４を用い
て、動物体５の画像を取得し、左右の画像の対応する点
の視差から(i) のレーザスキャン方式と同様に三角測量
の原理で距離情報を得るものである。ＴＶカメラを用い
れば、当然ビデオレート程度の頻度で距離画像が入力で
きる。

【０００３】

【発明が解決しようとする課題】しかし、このレーザス
キャン方式はレーザを物体に照射するために、照射対象
が人間の場合にはレーザの出力が大きいと危険を伴うも
のである。レーザの出力を小さくすると、ＴＶカメラ２
の感度の問題で、測定可能距離が極めて短いものとな
り、適用対象が限定されるという欠点があった。

【０００４】また、左右の画像における対応する点を探
索するのは、物体上の同じ点を左右のＴＶカメラで観測
した場合でも同じ濃度で観測されないために、一般には
困難である。従って、ステレオ画像方式においては、距
離の測定結果の精度が低いという欠点があった。また、
画像中のエッジのような特徴点に対応する画素における
距離だけが得られ、それ以外の画素の距離が得られない
と言う欠点があった。

【０００５】本発明は、レーザスキャン方式のレーザス
キャンおよび、ステレオ画像方式の左右画像の対応点探
索を不要としてビデオレート程度の頻度で距離画像を得
られるようにすることを目的としている。

【０００６】

【課題を解決するための手段】図１は本発明の動作原理
を示す。まず、物体１１を赤外線熱画像装置１２と１
３、ＴＶカメラ１４と１５により撮像し、夫々の装置１
２、１３やカメラ１４、１５からの画像を同期して入力
する。なお装置１２、１３、カメラ１４、１５の視線方
向は互いに平行になるように配置し、画角も互いに一致
させておく。また、赤外線熱画像装置１２と１３は、視
野内の物体が放射する赤外線を検出することにより温度
を測定して量子化し、熱画像をビデオレート程度の頻度
で取得できるものを利用する。

【０００７】熱画像装置１２と１３により熱画像２２と
２３とを得ると共に、ＴＶカメラ１４と１５による画像
２４と２５とを得る。１１ａ、１１ｂ、１１ｃ、１１ｄ
は各々画像２２、２３、２４、２５における物体１１の
像である。

【０００８】

【作用】本発明の動作は、これらの画像の中でまず熱画
像２２と２３を処理する。物体像１１ａと１１ｂには、
物体１１の表面の等温線３２がそれぞれ３２ａと３２ｂ
のように観測される。ところで、物体上の１点から放射
される赤外線の強度は、その点における物体への接線方
向に近い場合を除き、一般には一定と考えてよい。従っ
て、左右熱画像において互いに対応する等温線の像３２
ａと３２ｂとを検出すれば、撮像系の幾何学的位置関係
により、物体１１の等温線３２上の３次元座標を求める
ことができる。即ち、画像２２〜２５における共通のエ
ピポーラライン（ｙ座標の等しいｘ軸に平行な直線）を
図１のように３４ａ〜３４ｄとし、画像２２と２３にお
けるエピポーラライン３４ａ、３４ｂと等温線の像３２
ａ、３２ｂとの交点を同図のようにそれぞれ３５ａ、３
６ａおよび３５ｂ、３６ｂとすると、交点３５ａと３５
ｂ、交点３６ａと３６ｂが対応することを見いだせば、
熱画像装置２２と２３の幾何学的位置関係は予め分かっ
ているので、三角測量の原理で交点３５ａと３５ｂおよ
び交点３６ａと３６ｂに対応する物体上の点３５と３６
の３次元空間中の座標を計算することができる。

【０００９】このようにして得られた物体１１上の点３
５と３６の３次元座標から、点３５の画像２４における
位置３５ｃ、画像２５における位置３５ｄ、および点３
６の画像２４における位置３６ｃ、画像２５における位
置３６ｄを求めることができる。物体１１の表面上で点
３５と３６の間に等濃度線３３が存在するとすると、画
像２４と２５において、３３ｃと３３ｄのように観測さ
れる。ただし、物体表面の濃度は、異なった位置にある
複数のＴＶカメラによりとらえた場合、必ずしもその複
数のＴＶカメラで得られた画像中の濃度が等しくならな
いという問題がある。しかし、等濃度線３３の像は画像
２４では３５ｃと３６ｃの間、画像２５では３５ｄと３
６ｄの間という狭い範囲に限定されており、この狭い範
囲の濃度分布の対応関係は容易に取れるので、３３ｃと
３３ｄの対応関係も求められる。従って、やはりＴＶカ
メラ１４と１５の幾何学的位置関係により３３上の点の
３次元空間における座標を求めることができる。

【００１０】このように、まず２つの（ステレオ）熱画
像における等温線の対応関係を求め、３次元空間におけ
る位置を求めた後、ＴＶカメラによるステレオ画像に、
３次元空間中の位置が得られた等温線を投影し、その等
温線の間で濃度情報の対応関係を求めることにより、等
温線の間の距離情報を補間的に求めるわけである。熱画
像装置１２と１３およびＴＶカメラ１４と１５はビデオ
レートで画像の取得が可能なので、これらの画像群に対
して前述の処理を施すことにより、ビデオレートで距離
画像を入力することが可能である。

【００１１】

【実施例】上述の如く距離画像を得ることができるが、
現実には熱画像における等温線の対応付け情報は、２台
の熱画像装置の特性が厳密に一致していないと必ずしも
信頼できない。このため図２のような構成を取ることに
よって、熱画像装置とＴＶカメラの視野を一致させる。
即ち、赤外線を反射し、可視光を透過する可視赤外分離
ミラー４１を、視線方向を直交させた熱画像装置４２と
ＴＶカメラ４４の視線の交わる位置に４５度の角度をも
って配置する。このように配置することにより、ミラー
４１により赤外線情報は熱画像装置４２に、可視光はＴ
Ｖカメラ４４に分岐され、しかも４２と４４の視野を一
致させることができる。

【００１２】熱画像装置４２とＴＶカメラ４４は左画像
用であり、図２に示すように右画像用に熱画像装置４３
とＴＶカメラ４５を同様に配置し、前述のように左右画
像のマッチングを行い、距離情報を得る。以下図２の配
置を前提に説明を行うが、図１に示す一般的な配置でも
当然本発明の範囲内である。

【００１３】図３は、図２の構成に対する本発明の実施
例を示す。本実施例の動作は、まず左熱画像装置４２と
右熱画像装置４３から熱画像が入力され、それぞれ熱画
像用メモリ５２と５３に格納される。次にラベリング処
理部５６により、メモリ５２と５３に格納された熱画像
に対してラベリング処理を施し、それぞれの処理結果を
ラベリング結果用メモリ５７（左熱画像用）と５８（右
熱画像用）に格納する。ここで、ラベリング処理部５６
では、メモリ５２と５３に格納された熱画像において、
同じ温度値を持つ互いに隣接する画素を統合して行き、
結果として図４に示すように、熱画像を領域に分割す
る。

【００１４】即ち図４で、各領域に含まれる画素は同じ
温度値を持ち、同一の領域に含まれる全ての画素にはそ
の領域の識別子が割り付けられる。メモリ５７と５８に
は、ラベリング処理により得られた図４に示された領域
分割結果とともに、各領域の温度値、外接矩形枠の上下
左右端の座標値といった各領域の属性値も併せて格納さ
れる。これらの属性値は後述の対応探索部５９で用いら
れる。

【００１５】対応探索部５９では、メモリ５７と５８に
格納された左右熱画像のラベリングの結果得られる領域
の中から、対応する領域を発見する。対応探索部５９の
より詳細な構成例を図５に示す。図５の構成の動作は、
まず対応候補領域抽出部７１で左（右）画像における領
域に対応する可能性のある右（左）画像の領域を抽出す
る。なお簡単のため、以後の説明では左画像中の領域に
対応する右画像中の領域を探索する場合を示すが、当然
右画像中の領域に対応する左画像中の領域を探索する場
合も同様の処理となる。

【００１６】図６は対応候補領域抽出部７１における処
理例を説明するためのもので、メモリ５７に格納された
左熱画像１０１における領域２０１に対応候補領域を探
索する場合を示している。一般に、左右画像中の対応す
る点は、同じエピポーラライン（図６における画像に対
して定義された座標系では、Ｘ軸に平行なラインのこ
と）上に存在すると限定される。従って、領域の上端と
下端とのＹ座標をＹ_u，Ｙ_lとすると、右画像において
対応する可能性がある領域と言うのは、領域２０１と同
じ温度値を持ち、領域の一部または全体がＹ＝Ｙ_uとＹ
_lとの間に存在するものである。ただしここでもう一
つ、エピポーラ拘束の条件（領域２０１に対応し得る右
画像における領域は、左画像における領域２０１のＸ軸
方向の位置より左側にしか存在し得ない）がある。

【００１７】従って、具体的な処理の流れとしては、メ
モリ５７に格納されている領域２０１の属性値（温度
値、外接矩形枠の上下左右端の座標）を読み出し、外接
矩形枠の上端と下端の座標範囲内にあり、領域２０１と
同じ温度値を持ち、領域２０１の左端と右端のＸ軸方向
の位置より左端と右端がそれぞれ左側にある右画像中の
領域を対応候補として抽出する。図６において、２０２
ａ、２０２ｂ、２０２ｃが対応候補領域、２０３ａ、２
０３ｂが同じ温度を持ち、領域２０１の上端と下端の間
にあるものの、エピポーラ拘束を満たさないために、対
応候補として抽出されなかった領域を示す。

【００１８】次に、このようにして抽出された対応候補
との形状の類似度を類似度計算部７２で計算する。図７
は、左画像１０１中の領域２０５と右画像１０２中の領
域２０６との類似度を計算する場合を例として示してい
る。本処理は画像１０１と１０２と同じサイズの画像バ
ッファメモリ２０７上で行う。まず画像１０１から領域
２０５を、画像１０１における位置と等しい位置にコピ
ーする。メモリ２０７上で、領域２０５に対応する画素
には領域２０５の識別子を、領域２０５以外の画素には
背景を表す識別子を格納する。

【００１９】ところで、左右画像の領域の対応はまだ決
定されていないので、Ｘ軸方向の位置合わせも決定され
ていない。従って、メモリ２０７で左画像の領域２０５
の位置は固定し、右領域２０６のパターンをメモリ２０
７で１画素ずつＸ軸方向に移動し、その都度類似度を計
算し、最大の類似度を領域２０５と２０６の類似度とす
る。

【００２０】即ち、図７のように、領域２０６のＹ座標
は右画像１０２におけるものとし、そのパターンをメモ
リ２０７にコピーするが、このとき既に背景の識別子が
格納されている画素は領域２０６の識別子に書き換え、
既に領域２０５の識別子が格納されている画素には、領
域２０５と２０６が重なることを示す識別子を格納す
る。領域２０５と２０６が重なりを持つとすると、重な
っている部分（図７でハッチングで示した部分）の画素
数（面積）をカウントしこれをＡ、領域２０５と２０６
における重なっていない部分（同、白い部分）の画素数
をＢとし，領域２０６のＸ座標ｉにおける類似度をＳ_i
とすると、Ｓ_i＝Ａ／（Ａ＋Ｂ）（１）で計算される。次に、領域２０６をＸ軸方向に１画素ず
らしてコピーするが、その前に、重なり部分の画素には
領域２０５の識別子を、領域２０６がそれまであった部
分の画素には背景の識別子をそれぞれ格納しておき、そ
の後前述の領域２０６のコピー処理を行う。領域２０６
のＸ軸方向の移動をＡ≠０の範囲で行って式（１）によ
り類似度を計算し、その最大値を領域２０５と２０６の
類似度Ｓとする。

【００２１】類似度計算部７２で、各対応候補について
類似度Ｓを計算した後、対応決定部７３で対応する領域
を決定する。決定部７３では、図６に示した左画像の領
域２０１のように、複数の領域２０２ａ〜２０２ｃが対
応候補の場合には、最大の類似度Ｓをもつ対応候補を、
対応する領域として決定する。図６の例では、領域２０
２ｃの形状が領域２０１に最も類似しているので、領域
２０２ｃが対応候補領域として抽出される。ただし、最
大の類似度Ｓが閾値より小さい場合には、この対応を棄
却する。つまり、この場合には、左画像における領域
は、一つも対応する右画像における領域を持たないこと
になる。

【００２２】このようにして、等温度領域の対応付けが
行われた後、等温線距離計算部６０で、等温線（領域の
輪郭線）上の画素の実空間における３次元座標を、図８
のように計算する。図８で、左熱画像２１０と右熱画像
２１１とにそれぞれ対応することが決定された領域２１
２と２１３とが存在しているとする。いま、エピポーラ
ライン２１４と領域２１２との交点を２１５ａと２１６
ａ、領域２１３との交点を２１５ｂと２１６ｂとする
と、交点２１５ａと２１５ｂ、交点２１６ａと２１６ｂ
が、それぞれ対応する点である。赤外線熱画像装置４２
と４３の幾何学的な位置関係は既知なので、三角測量の
原理でこれらの対応する点の３次元座標を計算すること
ができる。

【００２３】例えば、図９のように、左熱画像２１０の
視野中心（熱画像装置４２の四角錘状の視野における四
角錘の頂点）２２１と右熱画像２１１の視野中心２２２
とがＸ軸上の原点に関して対称な位置にあり、Ｚ軸が熱
画像装置４２と４３との視線に平行な方向、Ｙ軸をＸ軸
とＺ軸に直行するように３次元座標系を定義する。い
ま、図９の交点２１６ａと視野中心２２１を結んだ直線
と、交点２１６ｂと視野中心２２２を結んだ直線とのＸ
−Ｚ平面への射影が、Ｘ軸となす角度をそれぞれφ_L、
φ_Rとし、視野中心２２１と２２２の距離をｄとする
（従って，それぞれのＸ座標は、−ｄ／２，ｄ／２）。
また、これら２つの直線の交点である実空間中の点２２
０（交点２１６ａと２１６ｂに対応する）と視野中心２
２１と２２２の３点から構成される平面とＸ−Ｚ平面の
なす角度をφとする。実空間中の点２２０の３次元座標
（Ｘ，Ｙ，Ｚ）は次式のように計算される。

【００２４】Ｘ＝ｄ（tan φ_L＋tan φ_R）／｛２（tan φ_R−tan φ_L）｝（２）Ｙ＝ｄtan φ（tan φ_L−tan φ_R）／（tan φ_R−tan φ_L）（３）Ｚ＝ｄ（tan φ_L−tan φ_R）／（tan φ_R−tan φ_L）（４）距離画像中の点２２０に対応する画素には、Ｒ＝（Ｘ²＋Ｙ²＋Ｚ²）^1/2 で表される、点２２０と座標系の原点との距離Ｒが格納
される。

【００２５】距離計算部６０で、全ての対応する領域の
輪郭線上の３次元座標が求められるので、距離画像にお
いて、領域の輪郭に対応する画素には距離値が格納され
ることになる。しかし、これだけでは領域の輪郭以外の
画素については、距離値が得られないことになる。そこ
で、以下に述べるように、ステレオ濃淡画像を用いて、
輪郭以外の画素について、距離値を補間する。

【００２６】図３で、ＴＶカメラ４４と４５とから得ら
れた濃淡画像は、まず画像用メモリ５４と５５に格納さ
れる。次に、補間計算部６１で、図１０に示すような方
法で、熱画像における領域の輪郭線以外の距離値を求め
る、図１０（ａ）では、メモリ５４と５５に格納された
左濃淡画像２５０と右濃淡画像２５１に、互いに対応す
る領域２５２ａと２５２ｂが存在する場合を示してい
る。画像２５０と２５１における共通のエピポーラライ
ン（Ｙ座標値が等しい）を考え、このエピポーラライン
の画像２５０における部分２５３ａと領域２５２ａの交
点を２５５ａと２５６ａ、画像２５１における部分２５
３ｂと領域２５２ｂとの交点を２５５ｂと２５６ｂとす
る。各エピポーラライン２５３ａと２５３ｂ上でそれぞ
れ、交点２５５ａと２５６ａ、及び交点２５５ｂと２５
６ｂの間の濃度分布を示したのが、図１０（ｂ）であ
る。一般には、交点２５５ａと２５６ａの距離と、交点
２５５ｂと２５５ｂの距離とは異なるが、ＤＰ（Dynami
c Programming)マッチング等により、エピポーラライン
２５３ａと２５３ｂの両者における濃度分布の対応は求
められる。

【００２７】図１０（ｂ）で点線で示したのが、対応の
取れた画素同志の例であり、２５７ａ〜２５９ａ及び２
５７ｂ〜２５９ｂが、濃度分布の対応付けにより得られ
た対応点の例である。従って、対応点２５７ａと２５７
ｂ、２５８ａと２５８ｂ等から、等温線距離計算部６０
と同様に式（２）〜（４）を用いて、対応点の距離値が
求まる。従って、熱画像における領域の輪郭線だけでな
く、領域内部の距離情報も得られることになる。

【００２８】なお、図１０では、図２で示した可視赤外
分離ミラー４１を用いる配置を前提にしていたが、図１
のように、熱画像装置１２、１３およびＴＶカメラ１
４、１５を平行に配置した場合でも、同様に補間が行な
える。即ちこの場合、図１０（ａ）に示した熱画像にお
ける領域２５２ａと２５２ｂを濃淡画像２５０と２５１
に重ね合わせることはできないが、領域２５２ａと２５
２ｂの輪郭線上の点２５５ａ，２５６ａ，２５５ｂ，２
５６ｂは、その対応関係から３次元座標が前述のように
計算できるので、ＴＶカメラ１４、１５の幾何学的位置
関係から、濃淡画像２５０と２５１における位置を逆に
求めるのは容易である。このようにして、熱画像中の領
域の輪郭線上の画素の濃淡画像中に投射できるので、そ
の後の処理は、図１０（ｂ）で説明したのと同様に行な
える。

【００２９】以上のようにして、距離動画像６２が得ら
れる。熱画像装置１２と１３、ＴＶカメラ１４と１５に
おける画像入力を同期して行えば、ビデオレート程度の
頻度でステレオ熱画像とステレオ濃淡画像が入力でき
る。これらの連続して入力される画像に対して、逐次本
発明の内容の処理を行えば、ビデオレートの頻度の距離
画像（距離動画像）の入力が実現できる。

【００３０】

【発明の効果】以上説明したように、本発明によれば、
ステレオ熱画像における対応個所をまず決定し、ステレ
オ濃淡画像を用いて対応付けの行われた個所の間の距離
情報を補間的に求める。本発明によれば、測定対象への
レーザ等の投光が不要である。また、従来のステレオ画
像方式の問題であった左右画像の対応点探索の問題が回
避でき、さらに距離画像において距離が得られない画素
を劇的に減少させられる。

【００３１】本発明は、ロボットの視野システム、商店
における万引防止や交通監視等を目的として自動監視シ
ステムへの適用が考えられる。

【図面の簡単な説明】

【図１】本発明の原理を示す。

【図２】可視赤外分離ミラーを用いた視野を一致させる
方式の説明図である。

【図３】本発明の実施例を示す。

【図４】熱画像の領域分割を示す。

【図５】対応探索部の実施構成例を示す。

【図６】対応候補領域抽出部の動作の説明図である。

【図７】類似度の説明図である。

【図８】等温線距離計算部の動作の説明図である。

【図９】等温線上の画素の距離の計算原理を示す。

【図１０】ステレオ濃淡画像による距離情報の補間の原
理である。

【図１１】関連する従来技術の１つであるレーザスキャ
ン方式の説明図である。

【図１２】従来技術のステレオ画像方式の説明図であ
る。

【符号の説明】

１１物体１２左の熱画像装置１３右の熱画像装置１４左のＴＶカメラ１５右のＴＶカメラ２２左熱画像２３右熱画像２４左濃淡画像２５右濃淡画像１１ａ左熱画像２２における物体１１の像１１ｂ右熱画像２３における物体１１の像１１ｃ左濃淡画像における物体１１の像１１ｄ右濃淡画像における物体１１の像３２物体１１表面上の等温線３２ａ物体像１１ａにおける等温線３２の像３２ｂ物体像１１ｂにおける等温線３２の像３３物体１１上の等濃度線３４ａ〜３４ｄ画像２２〜２５における共通のエピポ
ーラライン

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/18 G01B 11/24 G06T 1/00

Claims

(57)【特許請求の範囲】

【請求項１】シーン中の動物体の動き情報を距離動画
像として入力する画像入力処理方法において、互いに平行な視線方向および等しい画角をもつ２台の熱
画像装置と２台のＴＶカメラとを備え、これら２台の熱画像装置と２台のＴＶカメラとから同期
して左右の熱画像と左右の濃淡画像とを入力し、２台の熱画像装置から入力された左右の熱画像中におけ
る等温度領域の対応付けを行い、対応付けの行われた領域の輪郭の距離情報を求め、対応付けの行われた領域の内部の距離情報を、２台のＴ
Ｖカメラから入力された左右の濃淡画像における濃淡情
報の対応付けにより補間し、以上の処理を連続して同期入力される左右熱画像と左右
濃淡画像とについて逐次行うことを特徴とする距離動画
像入力処理方法。