JPH033080A - 画像の構造化による対応付け前処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 ロボットや自動走行車の視覚として用いて、物体の３次
元形状を求めるために、複数のカメラによる両眼立体視
を行い５それぞれのカメラで得られた画像上で互いに対
応する点を探索するための前処理方式に関し。

対応付けの処理を高速化できるようにすると共に、誤対
応による影響を最小限に抑え、更にオクルージョン情報
を用いて対応付は候補を絞り込む事ができるようにする
事を目的とし。

複数のカメラの両眼立体視によって得られた左右の画像
の各々に対して、各領域が同一の濃度と同一の生地で構
成されるように領域を分割し５咳領域を面として各面に
ラベルを付ける領域分割部と、該領域分割部によってラ
ベルの付けられた面ごとに、他の面との重なり関係を判
定し２画面全体に渡って個々の面の上下関係を推論する
構造生成部と、該構造生成部で得られた左右画像の構造
から、左右画像の面の上下関係を判定し、隠面が生じて
いる部分であるオクルージョン部分を検出し、物体面の
輪郭の隠面が起こっている部分にオクルージョンフラグ
を付加するオクルージョンフラグ付加部と、該構造生成
部で得られた左右画像の構造と、該オクルージョンフラ
グ付加部で作成したオクルージョン情報から対応付けを
行う左右の面の候補を選択する粗対応部とを有し、左右
の面の対応付けの前処理をするように構成する。

〔産業上の利用分野］ 本発明は、ロボットや自動走行車の視覚として用いて、
物体の３次元形状を求めるために、複数のカメラによる
両眼立体視を行い、それぞれのカメラで得られた画像上
で互いに対応する点を探索するための前処理方式に関す
る。

〔従来の技術］ 第１５図は、従来における両眼立体視の原理を示す図で
ある。

同図において、まず左右のカメラ１５１，１５２により
、対象物体の左右の画像を得て、これら左右の画像から
要素抽出部１５３，１５４でエツジ等の要素を抽出する
。そして、要素毎の対応付は部１５５により、左右の要
素間で対応付けを行う。続いて、距離算出部１５６によ
り、上記の対応付けられた左右の要素毎に視差を求め、
この視差とカメラパラメータ（カメラ間距離、焦点距離
等）から三角測量の原理によりカメラと物体までの距離
を計算する。

ここで、上記対応付は部１５５による要素毎の対応付け
の原理を、第１６図に基づき簡単に説明する。なお、こ
こでは、左右画像上のｙ＝ｙｏにおける走査線上でエツ
ジ同士の対応付けを考える。

同図において、今、左画像における走査線上のエツジの
数ｎｌは枠を含んで９で、右画像における走査線上のエ
ツジの数ｎｒは８であるとすると。

エツジの対応付けの候補としてはｎ１Ｘｎｒ＝７２通り
の組み合わせが可能となる。この左右エツジの組み合わ
せが張る面を探索平面Ｐと呼び、この探索平面Ｐ上のエ
ツジの交差点をノードと呼ぶことにすると、対応付けの
問題は探索平面Ｐ上でノードＯからノードＭに到る経路
を決定する問題となり、これに関しては、動的計画法を
用いた方法がある。（「動的計画法によるステレオ画像
の区間対応法」太田友−９池田克夫　電子通信学会論文
誌　’　８５／４Ｖｏ１．Ｊ６８−ロＮｏ、４　　参照
）。

上記従来の両眼立体視の技術においては、左右画像間で
拘束条件（エピポーラ条件等）を満たす全ての要素につ
いて対応付けを行わなければならない。そのため、要素
の数ｎが増加するとｎの２乗に比例して計算量が増加し
、よって処理の高速化が実現できないという問題があっ
た。

また、対応付けを画像全体で行っているので。

１つでも誤対応が発生すると、その後の対応付けに影響
を与えるという問題もあった。

そこで以上の問題点を解決するために、左右画像のエツ
ジの対応ではなく面同士の対応を考える。

第１７図に、第２次の従来技術における対応付けの原理
図を示す。詳細は、平成元年３月２０日出願「両眼立体
視による物体位置測定方式」を参照の事。

第１７図中、１７１は、複数のカメラの両眼立体視によ
って得られた左右の入力画像を、それぞれ独立に同一テ
クスチャ（濃淡や模様）の領域に分割し、この領域を面
として各面にラベルを付ける領域分割部である。この領
域分割部１７１は。

最後に画像全体でラベルが付けられたラベル画像を出力
する。１７２は、領域分割部１７１によってラベルの付
けられた回毎に、他の面との重なり関係を判定し２画像
全体に渡って個々の面の上下関係を推論する構造生成部
である。

１７３は、該構造生成部１７２で得られた左右画像の構
造から対応付けを行う左右の面の候補を。

まず左画像の面の一番下のＹ座標値が右画像の面の一番
上のＹ座標値より大きくなる場合は左画像の面と右画像
の面は対応しないというエピポーラ条件判定部１７３ａ
と、左右画像の面の輝度が等しいか否かで左右画像の面
の対応を判定する輝度分布判定部１７３ｂから選択する
粗対応部である。

即ち、第２次の従来技術では、左右のカメラから得られ
た左右の画像があった時、これらを独立に領域分割部１
７１で領域分割してラベルを付ける。次に、これらの画
像に対して、構造生成部１７２で構造生成を行って１面
の上下関係を求める。

最後に、粗対応部１７３により、構造生成部１７２によ
って与えられた情報に従って、対応付けを行う面の候補
を決定する。

〔発明が解決しようとする課題〕

ところが、第２次の従来技術の粗対応部において、ここ
で用いられているエピポーラ条件は極めてゆるい条件な
ので、該当する面の候補をたくさん持ってきてしまう。

そこで、もっと該当する面の候補をしぼり、対応付けの
処理を軽減する必要があった。そこで、対応する面の候
補を、左右両画像の面の上端のＹ座標値と下端のＹ座標
値の差を比べる事で、ある面がそれよりも前の物体によ
って隠面を生じているような場合でも、隠面（オクルー
ジョン）情報を使う事によって、対応する面の候補を絞
り込む事ができる。

本発明は、対応付けの処理を高速化できるようにすると
共に５誤対応による影響を最小限に抑え。

更にオクルージョン情報を用いて対応付は候補を絞り込
む事ができるようにする事を目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理構成図であり、第２図はその説明
図である。

第１図において、１は、第１７図の１７１と同じである
。

２は、第１７図の１７２と同じである。

３は、該構造生成部２で得られた左右画像の構造から、
隠面が生じているオクルージョン部分を検出し、物体面
の輪郭のオクルージョンが起こっている部分にオクルー
ジョンフラグを付加するオクルージョンフラグ付加部で
ある。

４は、該構造生成部２で得られた左右画像の構造と、該
オクルージョンフラグ付加部３で作成されたオクルージ
ョン情報から対応付けを行う左右の面の候補を選択する
粗対応部である。

即ち１本発明では、まず第２図（１）、　（２）に示す
ように、左右のカメラから得られた左右の画像があった
時、これらを独立に領域分割部１で領域分割してラベル
（図中の１，２．３．４等）を付ける。次に、これらの
画像に対して、構造生成部２で第２図（３）、　（４）
に示すように構造生成を行って。

面の上下関係を求める。続いて、第２図（５）に示すよ
うにオクルージシンフラグ付加部３により１面同士の間
に生ずるオクルージョンを検出して２画像上にオクルー
ジョンフラグを生成させる。最後に第２図（６）に示す
ように、粗対応部４により、構造生成部２とオクルージ
ョンフラグ付加部３によって与えられた情報に従って、
対応付けを行う面の候補を決定する。

〔作用〕

本発明によれば、？ｊ［数の物体（面）を左右のカメラ
で観測した時に重なっている面があれば、領域分割によ
り各面が分割され、構造生成により各分割された面の上
下関係が推論される。よって。

上面から下面に向かって１面毎の対応付けを行うことに
より、要素の数に比例した速度で対応付けが実現でき、
また１面の上下関係より得られる面のオクルージョン情
報を用いる事により、対応付は候補を更に絞る事ができ
、対応付けへの負担を軽減することができて、距離情報
や物体の３次元情報を高速に得ることができる。

また、領域毎に対応付けを行っているので、たとえ誤対
応が生じたとしても、その影響は該当領域にのみ留まり
、他の領域へ影響を及ぼす事はなくなる。

〔実施例〕

本発明の一実施例の構成図は第１図の本発明の原理構成
図と同一である。

第３図〜第６図は、それぞれ第１図に示した領域分割部
１．構造生成部２．オクルージョンフラグ付加部３．粗
対応部４について１本発明の一実施例の構成を示すブロ
ック図である。以下、各ブロックについて、順に説明し
ていく。

領域分割部ｌは、第３図に示すように、テクスチャ解析
部１１及び領域ラベル付は部１２から構成されている。

まず、テクスチャ解析部１１で；よ、入力画像から濃淡
や模様等のテクスチャの同！−領域毎に画像を分割する
。次に、領域ラベル付は部１２では。

テクスチャが同一の領域を面と呼ぶことにし、各回毎に
異なるラベルを割り当て、最後に９画像全体でラベルが
付けられたラベル画像を出力する。

次に、構造生成部２は、第４図シこその構成を示す。

この部分の詳細に関しては、先に出願された。

「特願平１−４５２０７画像解析方式Ｊを参照。

構造生成部２は、以下に示す境界線抽出部２１と三面接
続点抽出部２２とＴ型接続測定部２３と面関係探索部２
４とから成る。

境界線抽出部２１は、同一ラベルの面の境界線を抽出す
る。

三面接続点抽出部２２は、境界の交点のうち３境界が交
差する三面接続点を抽出する。

Ｔ型接続測定部２３は、三面接続点を３本の直線と見な
し、それぞれについて直線近似を行う。

得られた３本の直線をＴ型接続と呼び、接続の仕方によ
り３つの面の重なり関係を決定する。

面関係探索部２４は１個々のＴ型接続点における３面の
重なり関係を５２面間の重なり関係に変換する。最後に
、２面間の重なり関係を画像中に存在する全ての面に伝
播させ２画像全体における重なり関係を求める。

次に、オクルージョンフラグ付加部３について説明する
。

オクルージョンフラグとは、物体と物体の重なりによっ
て生じる隠蔽部分を明確にするために。

物体面の隠蔽がおきている輪郭上に立てるフラグの事で
ある。

第７図に５才クルージョンフラグ付加部の原理図を、第
８図に、オクルージョンフラグ付加部の説明図を、また
第９図に、処理の流れ図を示す。

以下、オクルージョンフラグ付加部の原理図の説明をす
る。

第７図において、７１は原画像のａという直方体の面、
７２は原画像のｂという直方体の面であり、７３は原画
像のＣという隠蔽が起こっている部分である。７４はオ
クルージョンフラグである。

図中１面ａによって面すの隠蔽が引き起こされている。

構造生成によって取り出された面の輪郭で隠蔽がおこっ
ていると考えられる部分ｃ７３にオクルージョンフラグ
７４を付ける。

次に、オクルージョンフラグ付加部は、第５図にその構
成を示す。

図中、３１はラベル選択部で、３２は輪郭抽出部で、３
３はオクルージョンフラグ付加部である。

ラベル選択部３１で０面のレベルは前後関係を示すもの
で３面同士のレベルを比較する事によって前後関係を知
る事ができる。これを利用して、オクルージョンフラグ
付加の処理を行う面よりも前に位置する面のラベルを選
択する０次に１輪郭抽出部３２で、処理する面の輪郭上
の画素を抽出する。オクルージシンフラグ付加部３４で
、オクルージョンフラグ付加の処理を行うラベル画像の
輪郭上の画素を追い掛けながら、その画素の回りのラベ
ルがラベル選択部３１で求めたラベル（自分自身より前
に位置するラベル）に該当するならばオクルージョンが
生じているとみなし　オクルージョンフラグを付ける。

次に、オクルージョンフラグ付加部の説明を図によって
説明する。

第８図において、８１は面ａ、８２は面す、　　８３は
面すの輪郭部、８４は回りの画素、８５はオクルージョ
ンフラグである。

ラベル選択部において１面ａ８１と面ｂ８２のレベルを
比較して９面ａ８１が面ｂ８２の前に位置している事を
求める。輪郭抽出部において１面ｂ８２の輪郭を抽出す
る。オクルージョンフラグ付加部において１輪郭上の画
素を追い掛けながら回りの画素８４のラベルを調べる。

もし、そのラベルがラベル選択部で求めた（面ｂ８２よ
り前に位置する）ラベルならばオクルージョンフラグ８
５を立てる。

次に、第９図で処理のフローを説明する。

図中、Ｓｌで対象面のレベルＬｌを求める。次に、Ｓ２
でラベル付けされた面の１つを取り出す。

次に、Ｓ３で取り出した面のレベルＬ２を求める。

次に、Ｓ４でＬｌとＬ２の大小を比較し、Ｌ２の方が大
きければＳ２にもどり、大きくなければ。

Ｓ５で取り出した面（対象面より前にある面）のラベル
を配列ＬＡＢに登録する。次に、Ｓ６で全ての面が取り
出されたか否かを判断し、取り出されていなければ、３
２以下の処理にもどる。取り出されていなければ、Ｓ７
で対象面の輪郭を抽出する。次に、３Ｂで輪郭を形成す
る一つの画素ａを取り出す。次に、Ｓ９で取り出した画
素ａの回りの画素すを取り出す。以下の処理は全ての画
素すについて処理する。ＳＩＯで全てのｉについて。

ｂの輝度がＬＡＢ　（ｉ）に等しいか否かを判断し。

等しくなければＳ９にもどり１等しければ、Ｓ１１で９
画素ａにオクルージョンフ、ラグを立てる。

Ｓ１２で、全ての画素すについて処理が終わったか否か
を判断し、終わっていなければ、３９以下の処理にもど
る。終わっていれば、Ｓ１３で輪郭の画素を全て処理し
たか否かを判断し、処理しなかったら３８以下の処理に
もどる。処理したなら全ての処理を終了させる。

次に、粗対応部４について説明する。

第６図に粗対応部の構成を、また第１０図に処理の流れ
図を示す。

この部分の詳細に関しては、先に出願された平成元年３
月２０日出願「両眼立体視による物体位置測定方式」を
参照の事。

第６図において、４１は構造探索部であり、４２はエピ
ポーラ条件判定部であり、４３はオクルージョン検査部
であり、４４は輝度分布判定部である。

構造探索部４１では、構造生成部で生成された左右画像
の構造より、対応付は可能な面の組み合わせを決定する
０面の組み合わせは、構造の順位が反映されるように上
位レベル同士の組み合わせから始めて下位レベル同士へ
と向かうように行う。

組み合わせの範囲は、同一レベル同士の組み合わせを優
先的に行うようにし、エピポーラ条件判定部または輝度
分布判定部で却下された面の組み合わせについては５組
み合わせの範囲を拡大していくものとする。

エピポーラ条件判定部４２では、構造探索部４１で指定
された左右の面に対してエピポーラ条件を適用し１条件
が満たされるかどうかを判定する。

エピポーラ条件の適用は左右面のＹの最大値と最小値の
差の部分に共有部分が存在するかどうかという弱い制約
で判定を行う。エピポーラ条件が満たされた場合には次
の輝度分布判定を行い、満たされない場合には構造探索
部４１へ却下された旨を返す。

輝度分布判定部４３では、エピポーラ条件を満たす左右
の面に対して、原画像よりその領域の輝度情報を得て、
左右の領域の輝度の平均値（１１゜Ｉｒ）の差と闇値（
δ）を比較することにより。

領域の輝度分布の類似性を判定する。輝度分布が類似し
ている場合には、その左右面を対応付けの候補とし、類
似していない場合には構造探索部１２１へ却下された旨
を返す。

オクルージョン検査部４４では、オクルージョンフラグ
を用いて面にオクルージョンがおきているかどうか判定
する０面の樅の長さとオクルージョンの情報を得ること
で矛盾を検出し、対応付は候補を絞る事ができる。縦の
長さが短い方の面にオクルージョンが生じている場合に
は、その左右面を対応付けの候補とし、オクルージョン
が生じていない場合には構造探索部４１に却下された旨
を返す。

第１０図に処理の流れを示す。

図中、Ｓ２１で左右の面（ラベル）の組み合わせを決定
する０次に、Ｓ２２で左右面のＹ（高さの共有する物）
の最大最小を求める０次に、Ｓ２３でＹに関して共有部
分が有るか否かを判断し。

なければ３２１以下の処理にもどり、あればＳ２４でラ
ベルの値に対応する入力画像の領域を得る。

次に、Ｓ２５で輝度の平均値（ＩＩ、Ｉｒ）を求２１以
下の処理にもどり、以下ならばＳ２７でオクルージョン
検査の処理を行う。次に、３２８で現在の左右面を対応
付けの候補とする。

次に、構造探索部４１の詳細について説明する。

構造探索部４１では、構造生成で生成された左右画像の
構造より対応付は可能な面の組み合わせを決定する。

第１１図に、具体的に簡単な画像とその構造をｔｒｅｅ
で表現したものを示す。構造化ｔｒｅｅは面ｌの下に面
２と面４が位置し１面２の下に面３２面４゜面５が位置
している事を示している。レベルは下から上に向かって
ｌ、　　２．　３・・・と付けられる。このように上下
関係の情報を持った構造化ｔｒｅｅが左右画像に生成さ
れる。

次に、第１２図に構造探索部４１の処理の流れを示す。

図中、Ｓ３１でレベルの高い順に左ラベルをソートする
。次に、Ｓ３２で左構造化ｔｒｅｅに関してトップレベ
ルと各ラベルの間のルート（上下の連なり関係）を求め
てテーブルにまとめる。次に３３３でマツチングの取れ
た左右関係をテーブルに登録する０次に、Ｓ３４で左ラ
ベルを一つ取り出す。次に、Ｓ３５で右ラベルのトップ
ラベルを求める。次に、Ｓ３６で取り出した左ラベルと
右のトップラベルを比較し、マツチングの取れたラベル
を登録し、比較したラベルを登録する。次に。

Ｓ３７でマツチングしたラベルをトップラベルから除く
。次に、３３８で現状の右トップラベルから分岐した１
段階下のラベルをトップラベルとする。次に、Ｓ３９で
まだ未処理で処理する必要のあるラベルを求める０次に
、Ｓ４０で未処理の右ラベルが有るか否かを判断し、あ
れば３３５以下の処理に戻り、なければ、Ｓ４１で未処
理の左ラベルが有るか否かを判断し、あれば３３３以下
の処理にもどり、なければ処理を終了させる。

次に、オクルージョン検査部の詳細について説明する。

第１３図にオクルージョンの有効性に関しての原理図を
示す。

第１３図はａ、ｂの２枚の面が前後に位置している状態
を２台の高さの等しい左右カメラから取り込んだ左右画
像を示している。２台のカメラの高さが等しいという事
と、カメラ間の距離に比して物体までの距離は充分に大
きいという事から。

エピポーラ条件が成り立つと共に面の縦の長さは変化し
ない。ここで、もし左画像と右画像上の面の縦の長さが
等しくない場合、長さの短い画像にオクルージョンが生
じているはずである。第１４図では、右画像にオクルー
ジョ、ンが生じているのでＹＬ＞ＹＲとなっている。上
記のような特徴を用いれば２面の縦の長さとオクルージ
ョンの情報を得ることで矛盾を検出し、対応付は候補を
絞ることができる。

第１４図に、オクルージョン検査部の処理の流れを示す
。

図中、Ｓ５１でＹＬとＹＲが等しいか否かを判断し２等
しければＳ５２で画像にオクルージョンがあるか否かを
判断し、オクルージョンがなければ３５８に行き処理終
了し、オクルージョンがあればＳ５３で、これは矛盾に
なるので対応付は候補から外す０次に、Ｓ５４でＹＬ＞
ＹＲでなければＳ５５に行き、左画像にオクルージョン
が発見するか否かを判断し２発見しなければＳ５３で対
応付は候補から外し、３５８に行き処理終了し。

オクルージョンが発見すれば３５８で処理終了。

次に、Ｓ５４でＹＬ＞ＹＲならば、Ｓ５６で右画像にオ
クルージョンが発見するか否かを判断し発見しなければ
３５Ｂで処理終了し、オクルージョンを発見すればＳ５
７でこれは矛盾が起こったという事で、対応付は候補か
ら外し、処理終了する。

〔発明の効果〕

以上述べたように１本発明によれば、複数の物体（面）
を左右のカメラで観測した時に重なっている面が存在す
れば、領域分割により各面が分割され、構造生成により
分割された面の上下関係が推論されるので、上面から下
面に向かって面ごとの対応付けを行う事により、要素の
数に比例した速度で対応付けが実現でき、さらに、構造
化による面の上下関係から面同士の間に生じているオク
ルージョンを発見し、その情報を用いて対応付は候補を
絞る事により、対応付けへの負担を軽減し。

誤対応の発生を少なくする事ができる。

４０図面の説明 第１図は１本発明の原理構成図であり。

第２図は２本発明の原理説明図であり。

第３図は、領域分割部の構成図であり。

第４図は、構造生成部の構成図であり。

第５図は、オクルージョンフラグ付加部の構成図であり
。

第６図は、粗対応部の構成図であり。

第７図は、オクルージョンフラグ付加部の原理図であり
。

第８図は、オクルージョンフラグ付加部の説明図であり
。

第９図は、オクルージョンフラグ付加部の説明図であり
。

第１０図は、粗対応部の処理の流れであり。

第１１図は、構造探索部の構造図であり第１２図は、構
造探索部の処理の流れであり。

第１３図は、オクルージョンの有効性に関しての原理図
であり。

第１４図は、オクルージョン検査部の処理の流れであり
。

第１５図は、従来技術における両眼立体視の原理図であ
り。

第１６図は、従来技術における対応付けの原理図であり
。

第１７図は、第２次の従来技術における対応付けの原理
図である。

第１図中。

■は領域分割部であり。

２は構造生成部であり。

３はオクルージョンフラグ付加部であり。

４は粗対応部である。

原画像 ■ オフルーシ゛ヨンとオフルーシ゛ヨン７う７゛の原理図
ラベル自イ（と４り青イａｔγｅｅ ′！１！、　ブＩＣ ４４Ａ塚宗辞旭だの流、丸 第　１２　１Ｕ （１）と入力画像 （２）右入力画像 オフループコンの實幼・１生１ユ聞しτの厭ν第１３図 オクルーシ′コ ン檜査邪Ｑ工え２ ＩＡ　　　　Ｉ’ｉ 叢 図

Claims (1)

1. 【特許請求の範囲】 複数のカメラの両眼立体視によって得られた左右の画像
   の各々に対して、各領域が同一の濃度と同一の生地で構
   成されるように領域を分割し、該領域を面として各面に
   ラベルを付ける領域分割部（１）と、 該領域分割部（１）によってラベルの付けられた面ごと
   に、他の面との重なり関係を判定し、画面全体に渡って
   個々の面の上下関係を推論する構造生成部（２）と、 該構造生成部（２）で得られた左右画像の構造から、左
   右画像の面の上下関係を判定し、隠面が生じている部分
   であるオクルージョン部分を検出し、物体面の輪郭の隠
   面が起こっている部分にオクルージョンフラグを付加す
   るオクルージョンフラグ付加部（３）と、 該構造生成部（２）で得られた左右画像の構造と、該オ
   クルージョンフラグ付加部（３）で作成したオクルージ
   ョン情報から対応付けを行う左右の面の候補を選択する
   粗対応部（４）とを有し、左右の面の対応付けの前処理
   をする事を特徴とする画像の構造化による対応付け前処
   理方式。