JPH02238576A - 距離情報抽出回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　要〕 一対のＴＶカメラのステレオ画像から得られる特徴量か
ら距離情報をビデオレートで抽出する距離情報抽出回路
に関し、 ビデオレートすなわち実時間で距離情報を生成できるよ
うにすることを目的とし、 ビデオレートで入力される２つの特徴点画像を遅延させ
ることにより、ある遅延量を有する一方の画像と他の遅
延量を有する他方の画像の画像対を必要なすべての視差
について生成する視差生成部と、視差生成部からの一対
の画像を入力し、対の画像の連続して特徴点が合致する
二重像合致部分を抽出する二重像合致コンポーネントと
、二重像合致コンポーネントを必要な視差の個数備えた
二重像合致部と、各二重像合致コンポーネントから出力
される視差の個数分の二重像合致画像の同期をとると共
にデコードし、画素の値として視差の値を割り当てた距
離画像を生成する距離画像生成回路とを具備するよう構
成される。

〔産業上の利用分野〕

本発明は、一対のＴＶ　（テレビジョン）カメラのステ
レオ画像から得られる特徴量に対してＴＶカメラからの
距離情報を抽出するために幾つかの視差に対して二重像
の合致を行い距離情報を抽出する画像信号における距離
情報抽出回路に関し、特にこの処理をＴＶカメラの走査
速度と同じ速度であるビデオレートで行うものである。

本発明は、自立走行車の走行における障害物認識、工場
自動化における物体の形状認識等に利用される。

〔従来の技術〕 従来、画面全体（点情報ではない場合）の距離情報を抽
出する手段としては、レンジファインク方式、ステレオ
マッチング方式等が用いられている。前者は格子縞等の
光を投射し、その縞により対応点を検出し距離情報を抽
出するものであり、後者は相関により対応点の検出を行
うものである。

〔発明が解決しようとする課題〕

しかしながら、前述のレンジファインダ方式では光を投
射して対応点を検出する処理ステンプを要し、十分な抽
出速度が得られず、明るい場所では用いることができな
いという課題があり、ステレオマソチンク方式では、大
型電子計算機を用いる必要がある上、現在まだ十分な速
度を有する装置は開発されていないという課題がある。

本発明の目的は、走査線間の対応づけがなされている２
つのＴＶカメラからの画像を処理して得られるステレオ
特徴点からビデオレートずなわぢ、実時間で距離情報を
生成できるようにすることにある。

〔課題を解決するための手段〕

本発明においては、第１図をもって概略が説明され第２
図に例示されるように、走査線間の対応づけがなされて
いる２つのＴＶカメラから得られる画像を処理して得ら
れる特徴点画像をビデオレートで入力し、２つの画像の
特徴点間の対応づけを行い距離画像をビデオレートで出
力する距離情報抽出回路が提供され、該距離情報抽出回
路は、ビデオレートで入力される２つの特徴点画像１２
を遅延させることにより遅延量のＸ画素分の一方の画像
１１と遅延量ｙ画素分の他方の画像１２の画像対を必要
なすべての視差（ｘ−ｙ）について生成する視差生成分
２１よ、視差生成部２１から出力される一対の画像を入
力し、一対の画像において連続して特徴点が合致する二
重像合致部分を抽出する二重像合致コンポーネント２３
と、二重像合致コンポーネント２３を必要な視差の個数
備えた二重像合致分と、各二重像合致コンポーネント２
３から出力される視差の個数分の二重像合致画像１３の
同期をとると共にデコードし、画素の値として視差の値
を割り当てた距離画像１４を生成する距離画像生成回路
２４と、を具備することを特徴とする。

〔作　用〕

前述の抽出回路を用いれば、２つの画像間の対応点を見
つけるための特徴点画像が平行におかれたＴＶカメラか
ら各ラインごとの対応がとられたものとして得られ、こ
の特徴点は例えば符号付のエッジを用い３値論理のデー
タとして表され、ビデオ信号と同様に時系列に入力され
、パイプライン処理される。そして、入力された画像に
対して走査線方向に所定の画素数ずらした視差画像が生
成される。次いで、視差Ｏの前記他方の特徴点画像Ｂに
対して所定の画累数の半分に対応する視差の前記一方の
特徴点画像Ａの二重像合致を行い視差画像を生成し、視
差Ｏの特徴点画像Ａに対して所定の画素数の残り半分に
対応する視差の特徴点画像Ｂの二重像合致を行い、残り
半分の視差画像を生成する。二重像の合致は所定の条件
により合致と判定され、連続して合致がある場合にその
区間をその視差での二重像合致区間とし、これにより所
定の画素数に対応する視差画像が生成され、近距離の視
差を優先して、抽出された視差から濃淡により表現され
た距離画像が生成される。それにより撮像された画像中
の物体にその物体のカメラからの距離に対応した濃淡が
付加される。

〔実施例〕

実施例の説明に先立って第１図を参照し数値例を与えて
本発明の概略を説明する。

まず、得られる２つの画像間の対応点を見つけるために
用いるものとして画像から得られる特徴点をその種類で
表現したものを用いる。これら２つの特徴量画像は平行
におかれたＴＶカメラから得られ各走査線ごとの対応は
とられている。この特徴点としては、例えば符号付のエ
ッジを用い、エッジのない所では値０、正エッジ（自か
ら黒へ変化するエッジ）では値１、負エッジ（黒から白
へ変化するエッジ）では値２とする３値論理とする。こ
の特徴点のデータはビデオ信号と同様に時系列に入力さ
れる。時系列に入力されたデータはパイプライン処理さ
れる。すなわち、入力された画像に対して走査方向にあ
る画素数（視差数一Ｘから＋χ）ずらした画像（視差画
像Ｎ１．１２を生成する。次いで視差０の特徴点画像Ｂ
に対して視差一Ｘから−１までの特徴点画像Ａの二重像
合致を行い、視差−Ｘから−１までの視差画像を生成し
、さらに、視差０の特徴点画像八に対して視差０からＸ
の特徴点画像Ｂの二重像合致を行い視差０からＸまでの
視差画像を生成する。

二重像合致は以下のような論理を用いて検出される。３
値論理の場合、二重像合致部に入力される２つの特徴点
画像て０　（エッジなし）でない値が一致したとき合致
とし、いずれかが０でなくかつ一致しない時不合致とす
る。そして、連続して合致がある場合、ずなわぢ、ある
合致が存在し、次の合致までの間に不合致が存在しない
場合に、その区間をその視差での二重像合致区間とする
。

このようにして、一χから＋Ｘの視差画像が生成され、
近距離の視差を優先して、抽出された視差から距離画像
（視差の値を濃淡で表現した画像）を生成する。

ビデオ信号を入力とし、これらの処理をビデオレート（
実時間）で行うためには視差画像の生成および二重像合
致をすべて並列に処理し、二重像合致画像の出力が同期
している必要がある。そこで、視差画像を並列に生成す
るための必要な視差分の二重像合致コンポーネントと二
重像合致コンポーネントから各１ビットずつ出力される
各視差における二重像合致画像をデコードして距離画像
を生成する処理を行う距離画像生成分が備えられる。

本発明の一実施例としての距離情報抽出回路のブロック
図が第２図に示される。

まず、ライン対応がなされているステレオ特徴点（量）
画像ＡおよびＢを制御信号と共に入力して、視差生成部
２１て視差を有する画像を生成する。第３図には視差生
成部２１の詳細が示される。

ここでは特徴点画像Ｂを基準入力とし、特徴点画像、へ
をずらすことにより画像ΔとＢの間の視差を生成する。

ここで必要な視差はーＸから＋Ｘであるとする。最初に
負方向の視差を生成するため画像ＢをＸ画素だけ遅延さ
せ、それを基準画像（ＤＢ画像）とすると画像Ａ（遅延
なし）を入力さした場合、画像ＡとＢの視差はーＸとな
り、ディレイ１の画像Ａの場合（−Ｘ＋１＞の視差とな
る。正方向の視差を生成するために画像Δも画像Ｂと同
様Ｘ画素だけ遅延させるとその画像（ＤＡ画像）とＤＢ
画像を入力とした場合画像ΔとＢの視差は０となりＤＢ
画像を１画素遅延した場合は視差１となる。各遅延はシ
フトレジスタで構成される。このような遅延画像を入力
することにより二重像合致部に入力されるＤＢ画像はど
の二重像合致部においても同じ制御信号（ラインネーブ
ル）を持ち出力される二重像合致画像の同期がとれる。

次に、視差生成部２１からの出力を入力とし、二重像合
致コンポーネンｌ・２３の（１）から（２Ｘ−１）で各
視差における二重像合致を行う。

第４図には二重像合致コンポーネントのブロック回路図
が示される。第４図の二重像合致判定部４　１　（ＲＯ
Ｍで構成される）では、まず入力八と入力Ｂの連続する
２画素それぞれＲｇ３とＲｇｌおよびＲｇ４とＲｇ２の
出力に対して合致／不合致を判定し、二重像合致のスタ
ート信号（Ｓ）、二重像合致のエンド（終了）（Ｅ）お
よびステータス（ＳＴＳ）　１および２の信号を生成す
る。この生成論理を表１および表２に示す。

表　　１ ただし、データ入力の合致／不合致／ＮＯＰは表２に従
う。

表２ ただし、　Ａｔ　：Ａ入力第１画素 Ａ２　：Ａ入力第２画素 Ｂｌ　：Ｂ入力第１画素 Ｂ２：Ｂ入力第２画素 Ａ１≠０かつＡ２≠０かつ八１≠＾２および旧≠０かつ
Ｂ２≠０かつＢ１≠８２の場合は存在しないとする。

表１に示された信号により、Ｘ座標生成部２２からの信
号を受け画像のＸ座標をラツチ（スタート座標はＲｇ９
で、エンド座標はＲｇｌＯで）することにより、各ライ
ンで最初に二重像合致した部分のスタート座標とエンド
座標を得る。ここにＲｇはレジスタを意味する。次に、
次のラインを入力している時に前のラインの二重像合致
判定を１　（その他０）として出力するために、まず、
ラインの開始時点でスタート座標Ｒｇ９とエンド座標Ｒ
ｇｌＯＯ値をスタート座標Ｒｇｌｌとエンド座標Ｒｇｌ
２にラッチし、Ｘ座標がスタート座標ＲｇｌｌＯ値より
も大きく、かつエンド座ａＲｇｌ２の値よりも小さい場
合をコンパレーク４２および４３により検出する。また
、ステータス２により示されるそのラインで二重像合致
が存在したか否かという信号がＲｇｌ４に入っているの
で、その信号と２つのコンパレータ４２および４３の出
力の論理積をアンド回路４４で求めることによりその視
差における二重像合致画像を出力する。

第４図において、ＲｇｌからＲｇ８の各レジスタのクロ
ック入力には画素と同期するクロックを入力し、Ｒｇ９
のクロック入力にはＲｇ７の出力、データ入力にはＸ座
標を入力し、ＲｇｌＯのクロック入力にはＲｇ８の出力
、データ入力にはＸ座標を入力し、Ｒｇｌｌ，１２，１
４のクロック入力には各ライン終了を示すＬＩＮＥＣＫ
を入力し、Ｒｇ１３のクリア入力には各ラインの開始を
示すＬＩＮＥＣＬを入力する。

アンド回路４４からの視差画像はデコードされて距離画
像となる。

〔発明の効果〕

本発明によれば、走査線間の対応づけがなされている２
つのＴＶカメラからの画像を処理して得られるステレオ
特徴点からビデオレート、ずなわち実時間で距離情報を
生成することができる。

【図面の簡単な説明】

第１図は本発明の概略を説明するブロック図、第２図は
本発明の一実施例としての距離情報抽出回路のブロック
図、 第３図は第２図の回路の視差生成部のブロック回路図、
および 第４図は第２図の回路の二重像合致コンポーネントのブ
ロック回路図である。 図において、 １・・・特徴点画像Ａ、 ２・・・特徴点画像Ｂ、 １１・・・遅延された特徴点画像Ａ、 １２・・・遅延された特徴点画像Ｂ、 １３・・・二重像合致画像、 １４・距離画像、 ２１・・・視差生成部、 ２２・・・Ｘ座標生成部、 ２３・・・二重像合致コンポーネント、２４・・・デコ
ーダ、 ４１・・・二重像合致判定部、 ４２．４３・・・コンパレータ、 ４４・・・アンド回路、 である。 二重像合致コンポ ネントのブロック図

Claims (1)

1. 【特許請求の範囲】 走査線間の対応づけがなされている２つのテレビジョン
   カメラから得られる画像を処理して得られる特徴点画像
   をビデオレートで入力し、前記２つの画像の特徴点間の
   対応づけを行い距離画像をビデオレートで出力する距離
   情報抽出回路において、 ビデオレートで入力される２つの特徴点画像（１、２）
   を遅延させることにより、遅延量のｘ画素分の一方の画
   像（１１）と遅延量ｙ画素分の他方の画像（１２）の画
   像対を必要なすべての視差（ｘ−ｙ）について生成する
   視差生成部（２１）、前記視差生成部（２１）から出力
   される一対の画像を入力し、前記一対の画像において連
   続して特徴点が合致する二重像合致部分を抽出する二重
   像合致コンポーネント（２３）、 前記二重像合致コンポーネント（２３）を必要な視差の
   個数備えた二重像合致部、および 前記各二重像合致コポンーネント（２３）から出力され
   る視差の個数分の二重像合致画像（１３）の同期をとる
   と共にデコードし、画素の値として視差の値を割り当て
   た距離画像（１４）を生成する距離画像生成回路（２４
   ）、を具備することを特徴とする距離情報抽出回路。