JPS63244174A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画素単位でデジタルデータ化された画像情報を
処理する方法及び装置に関し、更に詳述すれば、同一の
処理対象物体を異なる位置で撮影した画像を処理するこ
とにより三次元空間中の物体の位置を特定し計測する方
法及び装置に関する。

〔従来技術〕

三次元空間中の物体の位置を、異なる位置で撮影された
複数の画像を処理して計測するためには、撮影された対
象物の各画像中での像の位置を特定する必要がある。

このためには、画像中の各点、即ち画像を構成する最小
単位である画素それぞれの特徴を識別し、複数の画像間
で各画素の特徴を比較対照することにより、同一の対象
物に属する同一点を写した画素の組合わせを特定するこ
とにより対応付けを行う処理が必要である。そしてその
後、それぞれの画素の画像上での座標から、三角測量の
原理でカメラとその点との間の距離を求める。更に対象
物を写した全ての画素に対して同様の処理を行い、その
対象物のカメラからの距離、及び形状を求める。

このような処理は従来はたとえば「ステレオ画像の輪郭
線セグメントに基づく対応」　（情報処理学会コンピュ
ータビジョン研究会資料３８−１．１９８５）に示され
ている手法であり、端的には各画像について、エツジに
よって領域に分割し、その領域を囲む輪郭線に関して、
複数画像間で対応付けを行なう方法である。

説明の便宜上、ここでは２台のカメラを使用した最も単
純な方法、即ちステレオカメラにより得られたステレオ
画像を処理する場合について述べる。具体的には、第２
図（ａ）、　（ｂｌに示す如き２枚の画像がそれぞれ左
右のカメラにより撮影されたとするとそれぞれの画像に
ついて、輪郭線セグメントの抽出を行なう。例えば第２
図（ｂｌの右の画像を例にとると、第３図（ａ）に示す
如く、１次微分オペレーターにより画像の各点のエツジ
強度及びエツジ方向を求め、その値により細線化を行な
い、一定の闇値以上の画素を求める。更に、可能な限り
閉じた領域を構成するように各点列の端点を求め、その
点からエツジの方向と直交する方向に延長の処理を行な
う、その結果を第３図中）に示す。

次にエツジ点により囲まれた領域にラベル付けを行ない
、各領域の面積、平均の明るさ、上下左右方向への広が
り、等を求める。

各領域を囲むエツジ点を追跡し、第４図のフローチャー
トに示した如く、分岐点、屈曲点で分割し、直線又は２
次曲線にあてはめる。あてはめ誤差が大きい場合は、両
端点を結んだ直線から最も遠い点で再分割し、分割され
たそれぞれの点列に対してあてはめを繰り返す。この手
法により得られた直線又は２次曲線を輪郭線セグメント
とする。

第２図をこの手法により処理して得られた輪郭線セグメ
ントの像を第５図（ａｌ、　（ｂ）に示す、なお、第５
図の（ａｌ、　（１１）は第２図の（ａ）、　（ｂ）に
それぞれ対応している。

ところで、左右のテレビカメラを第６図（ａ）の如く、
その視野の中心軸が互いに並行かつ、２台のカメラを結
ぶ直線に対して垂直となるように設置した場合、三次元
空間中の任意の点Ｐ８は左右カメラにより撮像された画
像上の点Ｐ＜ｘｐ　ｒ　　）’ｒ　）とＰ　’　　（ｘ
ｐ’　ｒ　　）’ｒ’　）に写像される。点Ｐ及び点Ｐ
′の座標には幾何学的な拘束条件として次の（１１式が
成立し、左右画像間での対応を行なう上での限定条件と
して用いることができる。この条件を以下、便宜上「エ
ビポーラ条件」と呼ぶこととする。

しかし測定精度を十分に高くするためには、左右カメラ
間の距離を十分にとり、かつ対象物を左右のカメラの視
野内に納めるために、それぞれを内側（対象物の方向）
に向ける動作、即ち第６図中）に示す如き輻幀運動を行
なう必要がある。輻較運動を行なう２台のテレビカメラ
ＴＣＬ、ＴＣＲにより得られた画像間では、上記（１）
式が成立しないため、画像上の座標を下記（２）式によ
り変換する。

ただし、θはカメラの輻較角、即ちカメラを平行な状態
から内側へ向けた角度である。

第５図の画像を上記（２）式により変換することにより
テレビカメラの輻幀運動を補正した画像を第７図に示す
。なお、第７図の（ａ）、　（ｂ）は第２図及び第５図
の（ａ）、　（ｂ）に対応している。

次に左右２つの画像間で輪郭線セグメントの対応を行な
う。左右それぞれの画像から得られた輪郭線セグメント
の内、上記（１１式のエピポーラ条件を満たす対応を求
める。この対応は誤った対応を含んでいるため、更に他
の方法で正しい対応を求める必要がある。

第１の方法は、対応している輪郭線セグメントが属する
領域の特徴、即ち平均した明るさが等しい（実際は、明
るさの差が所定範囲内）ことを用いて、誤った対応を除
去することである。

第２の方法は、相互に接続する輪郭線セグメント同士を
グループ化し、グループ間の評価を行ない、評価値の低
い対応を除去することである。

更に詳述すれば、第８図に示す如く、２つの画像上のセ
グメントＳ！とｓ、’、ｓ、とＳ、′とがそれぞれ対応
し、かつＳムとＳ　ｊ　＋　　Ｓ　ｉ’とＳｊ′の端点
が一致している場合、これらは「連続」シていると定義
する。そして、個々の対応、即ちセグメント対について
連続するセグメントを探索し、一連の連続するセグメン
トを一つのグループとする。

次に各グループについて評価を行なう、グループ全体が
誤った対応を行なっている場合は、正しい対応を行なっ
ている場合に比較して、端点において連続する可能性が
小さく、かつ大きな（線分としての長さが長い）セグメ
ントが対応する可能性も小さい。また正しい対応を行な
っている場合は対応しているセグメント対の両端点の三
次元空間上での位置が前後方向に大きく変位しているこ
とはない、従って、それらの関係を数値化し評価するた
め、以下の如く評価値を定義する。

まずグループを構成する各セグメントの対応について定
義する。第９図に示す如く異なる画像上のセグメントＳ
、、Ｓ、’が対応している場合、この個別の対応につい
て正の評価値Ｃと負の評価値りとを次のように定義する
。

Ｃｊ、ｊ、＝　ｌｌｌ１ｎ　（ＡＢ、　Ａ　　Ｂ　　）
ＤＪ＋ｊ・＝　（ＸＡ　Ｘａ’）　　　（Ｘｓ＋　　Ｘ
＋＋’）ただし、Ａ、ＢはセグメントＳｊの両端点Ａ′
はセグメントＳ、′のＡと対応する端点 Ｂ′はセグメントＳ　、／のＢと対応する中間点 Ｄｊ＋ｊ・は両セグメントの始点から終点までの視差の
ずれ 次にグループ全体の評価値Ｇを次の（３）式で定義し、
計算する。

Ｇ＝玉　（ｃ＝、ｊ−ｌ　Ｄｉ、ｊ　　ｌ　）　　・・
・（３）ｌ　Ｊ 対応するセグメントが明らかに矛盾した対応を行なって
いる場合、例えば第１０図の如く、左画像中から得られ
たセグメントＳ、、Ｓ、と右画像中から得られたＳ　Ｊ
’　＋　　Ｓ　ｉ’が互いに対応している多重対応を行
なっている場合は、第１１図に示す如く、（３）式の評
価式を用いて評価値Ｇが最大値を示す組み合わせを選択
する。

以上の処理により各セグメント間の正しい対応が選択さ
れ、そのセグメント上の各点の三次元空間上での座標が
、２つの画像上での水平方向のずれ、即ち視差から求め
られ、対象物の位置測定が完了する。

〔発明が解決しようとする問題点〕

ところで、上述の手法では、左右画像間でエピポーラ条
件を用いて対応の組合わせを求めた後、最終的にはセグ
メント相互の連続関係から複数のセグメントをグループ
化し、このグループ単位で２つの画像間の評価を行なう
ことにより正しい対応を求めている。しかし、この手法
ではグループ化を行なう場合に、以下のような問題点が
発生する。

第１に、グループ化を行なう場合に、該当するセグメン
トの組合わせが多くなり、その組合わせ総てに対して個
々の評価値を求めるため、処理時間が長大化するという
問題がある。

第２に、入力された画像中に多数の物体が撮像されてい
る場合等のように複雑な画像を処理する場合には、三次
元空間中で実際に連結していないセグメントを誤って連
結していると判断する可能性が増大し、その結果、グル
ープ化及び対応の評価が不適切となり、最終的には誤っ
た結果を得るという問題がある。

本発明は以上のような事情に鑑みてなされたものであり
、同一の画像上で相互に連結したセグメントのグループ
化を行なう際に、新たな判断手段を追加することにより
、誤ったグループ化を抑制し、複雑な画像に対しても正
確な処理が可能な画像処理方法及びその装置の提供を目
的とする。

（問題点を解決するための手段〕 本発明の画像処理方法及びその装置は、複数の画像より
得られた画像要素（輪郭線セグメント、又は画素、エツ
ジ点等）からエピポーラ条件等を満たす要素の対を連結
、あるいは近接していること等により順次抽出し、これ
らが同一の平面上にあるか否かを判定し、同一平面上に
ある要素の対のグループに対してのみ複数の画像間で対
応付けの評価を行なうようにしている。

本発明は、三次元空間中に位置する同一の認識対象を異
なる位置で撮像した複数の画像それぞれから共通の特徴
を有する画素または画素を連結した線分を得て、それら
を複数の画像間で対応させて三次元空間中で同一平面に
属する画素または線分のグループに分類し、各グループ
について複数の画像間で対応度の評価を行うことにより
認識対象の各画像上での位置を特定する画像処理方法に
おいて、複数の画像間で対応する画素または線分の対を
順次抽出しつつ、それらが三次元空間中で同一平面を構
成しているか否かを判定し、同一平面を構成している画
素または線分の対についてのみ前記対応度の評価を行う
ことを特徴とする。

〔作用〕

本発明の画像処理方法及びその装置によれば、異なった
位置で撮影された同一物体の画像から抽出された個々に
エビポーラ条件等を満たす画像要素（画素、あるいはそ
れを連結した線分）のグループとして抽出され、そのグ
ループが同一の平面を構成するか否かがまず判定され、
その結果、同一の平面を構成する画像要素のグループに
ついてのみ、複数画像間での対応付けが行われることに
より、不要の処理が減少され、かつ誤った対応を含むグ
ループが小さくなるので、処理速度、処理効率が向上さ
れる。

〔実施例〕

以下本発明をその実施例を示す図面に基づいて詳述する
。なお、以下の実施例は前述の〔従来技術〕で述べた、
輪郭線セグメントを対応単位として抽出し、評価する例
について述べるが、本発明は画素、エツジ点等を直接用
いることも可能であり、それについては後述する。また
、以下の実施例は２台のカメラにより撮像された左右２
つの画像を処理対象とする例である。

第１図は本発明に係る画像処理方法を実施するための装
置、即ち本発明の画像処理装置の構成を示すブロック図
であり、画像処理機能を備えたコンピュータシステム等
に組み込まれている。

図中１は処理対象の画像データが格納されている画像メ
モリである。この画像メモリ１には、異なる２位置に設
置されたテレビカメラ等の撮像装置（図示せず）にて同
一対象物体を撮像した２つの画像データが格納される。

そしてこの画像メモリ１に格納されている画像データは
画像処理手段２に与えられ、以下に述べる処理が行われ
た後に置き変えられる。

画像処理手段２は、画像メモリ１の格納内容を各画像単
位で読み込み、エツジ検出、細線化、闇値処理、端点延
長処理等を行なうことにより対象物の画像上での境界を
検出する。そして、得られた境界点上の画素を元の画像
が格納されている画像メモリ１上で特定の値に変換する
。この実施例では通常の画素データをＯから２５５まで
の値で表現し、境界点の画素は−１の値に変換するもの
とする。

領域特徴抽出手段３は、画像メモリ１から各画像単位で
画像データを読み込み、画像処理手段２により書き込ま
れた境界点の値（−１）を検出し、境界点により分割さ
れた領域それぞれにラベル付けを行ない、そのラベル番
号により各領域を識別し、各領域についてその平均の明
るさ等の特徴を抽出し、その結果を領域特徴記憶部４に
格納する。

領域特徴記憶部４は上述の領域特徴抽出手段３により抽
出された領域ごとの特徴を記憶し、必要に応じてセグメ
ント対応候補抽出手段７にデータを与える。

図中５は輪郭線セグメント抽出手段であり、画像メモリ
ｌから画像データを受取り、境界線を検出し、各領域を
囲む境界線それぞれについて、〔従来技術〕の項で述べ
た方法に従って、境界線（点列）の曲率極大となる点で
分割し、各点列に直線または曲線をあてはめる。更に入
力テレビカメラなどが輻幀運動を行なっている場合には
、カメラの中心軸が互いに平行、且つカメラ間を結ぶ直
線に対して直角となっている場合と同等の画像データを
得るために前述の（１）式を用いて変換する。

あてはめられた線（輪郭線セグメント）を１単位として
第１２図に示す如き輪郭線セグメントデータの形で輪郭
線セグメント記憶部６に送出する。

なお、輪郭線セグメントデータは、第１２図に示されて
いる如く、そのセグメントの順番号、所属領域番号、開
始点接続セグメント番号（そのセグメントの開始点で接
続している他のセグメントの番号）、終了点接続セグメ
ント番号（そのセグメントの終了点で接続している他の
セグメントの番号）。

開始点近傍セグメントリスト　（そのセグメントの開始
点の近傍に位置するセグメントの番号）、終了点近傍セ
グメントリスト　（そのセグメントの終了点の近傍に位
置するセグメントの番号）、セグメントの線型種Ｍ（直
線であるか曲線であるか、あるいは領域の外周の線であ
るか内周の線であるか）。

そのセグメントの線型の方程式、開始点及び終了点の座
標等にて構成されている。

輪郭線セグメント記憶部６は上述の輪郭線セグメント抽
出手段５より入力された輪郭線セグメントデータを記憶
し、これをセグメント対応候補抽出手段７及びグループ
評価手段１０から要求があった場合に同一平面判定手段
８又はセグメントグループ記憶部９に送出する。

セグメント対応候補抽出手段７は、前述の領域特徴記憶
部４及び輪郭線セグメント記憶部６から適宜に輪郭線セ
グメントデータを取り出し、同一平面判定手段８に送出
する。この同一平面判定手段８は与えられたデータを同
一の平面を構成するグループにまとめ、セグメントグル
ープ記憶部９に送出する。

この本発明を特徴付けるセグメント対応候補抽出手段７
及び同一平面判定手段８の処理内容は以下の如くである
。

まず、セグメント対応候補抽出手段７には第１のカメラ
にて盪像された画像から得られたセグメント番号を記憶
する第１のセグメントレジスタＳ１と第２のカメラから
得られたセグメント番号を記憶する第２のセグメントレ
ジスタＳ２と、後入先出形のスタックレジスタＳＴとを
有している。

まず第１のセグメントレジスタＳ１に１動作ごとに１か
ら順に値が設定される。これは第１のカメラ画像（便宜
上左画像とする）から得られたセグメント番号を示す。

同様に第２のセグメントレジスタＳ２は第１のセグメン
トレジスタＳ１の内容が１増加する都度、第２のカメラ
画像（便宜上右画像とする）から得られたセグメント全
てのセグメント番号を発生する。

第１及び第２のセグメントレジスタＳｌ、　Ｓ２の値に
よって指定されるセグメントＳ、とＳｊ′とについて、
セグメント対応候補抽出手段７は以下の２つの「基本対
応条件」を満たすかどうか判断する。

なお、セグメントＳ、は第１のカメラ画像、同ｓ　ｊ′
は第２のカメラ画像からそれぞれ得られたものとする。

基本対応条件： 領域条件： セグメン）ＳＪ及びＳｊ′が属する領域の特徴が等しい
ことを条件とする。より詳述すれば、第１２図に示した
如き各セグメントについての輪郭線セグメントデータを
検索し、所属する領域の番号をそれぞれ得る。次に領域
番号に従って領域特徴記憶部４の内容を検索し、その領
域の特徴、たとえば平均の明るさを得る。その結果が所
定範囲の誤差内である場合はこの条件を満たしていると
する。

エピポーラ条件： セグメントＳＪ及びＳｊ′上にエピポーラ条件を満たす
点の組みあわせが存在することを条件とする。より詳述
すれば、第９図に示す如く、Ｙ軸方向く図面上方）に向
かって、双方のセグメン）Ｓｊ、Ｓ、’が誤差Ｅを見込
んで共通の範囲を有し、しかもその部分が右画像では左
画像より左側に存在することである。

換言すれば、あるＹ座標Ｙ、とセグメントＳｊ及び５　
、ｌ上の点でＹｐをＹ座標とする点（Ｘ、。

ｙｐ）、（Ｘ　ｐ’　、　Ｙ　ｅ’　）が次の式を満た
すことである。

ｙ、−Ｅ＜ｙ、＜Ｙ、　十Ｅ ’Ｉ；−Ｅ＜Ｙ、＜Ｙ、’　＋Ｅ ｘ、−Ｘｐ′＞−Ｅ セグメントＳ、及び５　、／が以上の基本対応条件を満
たす場合、セグメントＳｊ及び３　、／をスタックレジ
スタＳ↑に記憶する０次にセグメントＳＪ及びＳｊ′の
始点方向又は終点方向へ向かって、以下の処理を行なう
。ここで始点方向とは、輪郭線セグメント抽出手段５に
より境界線（輪郭線）の追跡を行なった際に、該当セグ
メントをあてはめた点列のうちの最初の点の方向であり
、終点方向とは最後の点の方向である。またこの始点及
び終点の座標は第１２図に示す如く、輪郭線セグメント
記憶部６に記憶されており、セグメント対応候補抽出手
段７により随時読出される。

始点方向へ追跡を行なう場合には、まずセグメントｓ、
の始点と誤差Ｅの範囲内で一致する終点を持つセグメン
）Ｓｚを探索する。換言すればセグメン）ＳＪの始点座
標を（Ｘｓ、　Ｙｓ）　、終点座標を（Ｘｅ、　Ｙｅ）
とした場合に以下の式を満たすことである。

（Ｘｓ−Ｘｅ）”＋　（Ｙｓ−Ｙｅ）”＜　Ｅ”同様に
してセグメントｓ、’の始点と一致する終点を持つセグ
メントＳ五′を探索する。さらにセグメントＳ五′とセ
グメント３　、／が基本対応条件を満たす場合、それを
スタックレジスタＳＴに記憶し、スタックレジスタＳＴ
上の全てのデータを同一平面判定手段８に与え、その結
果、同一平面上にないと判定された場合は、スタックレ
ジスタＳＴからセグメントＳ　ｉ　＋　　Ｓ　ｉ’の記
録を削除した後、他の条件が該当するセグメントの組合
わせを探索する。

一方、同一平面上にあると判定された場合は、セグメン
トＳ正及び３　、／について、これらと始点方向にそれ
ぞれ接続すると共に前述の基本対応条件を満たす他のセ
グメントの組み合わせＳｋ、Ｓｌ、′を探索し、スタッ
クレジスタＳＴに記録し、前述のセグメントＳｊ、Ｓｊ
’に関してと同様の処理を行なう。なおここでセグメン
トが連結して環状になっている場合などを考慮し、新た
なセグメントの組み合わせが、スタックレジスタＳＴ上
の各組合わせと重複している場合は削除する。

このような処理を順次反復することにより、セグメント
Ｓ、とＳＪ′を最初のセグメントの対応とした場合に、
これらに順次接続すると共に前述の基本対応条件を満た
し、かつ同一平面上に存在するセグメントの組合わせの
総てが同一平面判定手段８に送出される。

更に、第１及び第２セグメントレジスタＳ１．　Ｓ２を
順次更新することにより、セグメント対応候補抽出手段
７は第１及び第２の画像から得られた全てのセグメント
について同様の処理を反復する。

なお、３台以上のテレビカメラ等にて逼像された３枚以
上のＮ枚の画像を処理する場合は、セグメント対応候補
抽出手段７は同様に第１．第２・・・第ｎのセグメント
レジスタＳｌ、　Ｓ２・・・Ｓｎを用い、全ての組合わ
せを順次発生し、その各組合わせ（Ｓ　＋　＋　＋Ｓ！
！・・・ＳＡ、ｌ）について前述同様に基本対応条件、
接続条件、同一平面条件を満たす組合わせを順次求め、
これを同一平面判定手段８に送出する。なお、この場合
は、基本対応条件は拡張され、セグメントＳｌｒｓｉｔ
・・・Ｓｌの任意の組合わせについて前記２画像の場合
と同様の条件が成立することとする。

同一平面判定手段８は、上述の如くしてセグメント対応
候補抽出手段７により求められたセグメント対の組が与
えられ、その特徴を輪郭線セグメント記憶部６から続出
し、それらが三次元空間中において同一平面にあるか否
かを判定し、その結果をセグメント対応候補抽出手段７
に送出すると共に、同一平面にあると判定された場合は
その組合わせのセグメント番号をセグメントグループ記
憶部９に送出する。

この同一平面判定手段８による処理内容の詳細は以下の
ごとくである。

まず基本原理を述べる。三次元空間中での任意の平面を
ａｘ　＋　ｂｙ　＋　ｃｚ　＝　１とし、撮像装置とし
ての２台のテレビカメラ間の距離をＵとする。さらに両
テレビカメラの中心軸が互いに並行でかつカメラ間を結
ぶ直線に垂直である場合、即ち第６図（ａ）の如く配置
されている場合、第２のカメラの画像上の座標は次の式
の如くアフィン変換行列により第１のカメラの画像上の
座標に変換される。

ここで（Ｘ、Ｙ）は第１のカメラから平面上の点Ｐを見
込んだ場合の画像中での座標であり、（Ｘ’、Ｙ’）は
点Ｐの第２のカメラ画像上での座標である。

例えば第１３図に示す如く、平面上の４点が第１の画像
上で点Ａ、　Ｂ、　Ｃ，Ｄとして得られ、第２の画像上
でそれぞれＡ’、Ｂ’、Ｃ’、Ｄ’として得られたとす
る。この時各座標間では次の式が成り立つ。

更に、 Ｙａ’　＝Ｙａ、　ｙｂ’　＝Ｙｂ＋　Ｙｃ’　＝Ｙｃ
、　Ｙｄ’　＝Ｙｄ　　”（４ａ）と変形される。即ち
２枚の画像間で対応付けを行なって得られた点の組Ａ−
Ａ’、Ｂ−Ｂ’、Ｃ−Ｃ’、Ｄ−Ｄ’にて表される三次
元空間上での点が全て同一の平面上にある必要十分条件
は、上記式（４ａ）　、　（４ｂ）にて示される如く、
それぞれの組のＹ座標が等しく、かつ上式を満たすよう
なパラメータａ、ｂ、ｃが存在することである。同一平
面判定手段８においては、セグメント対応候補抽出手段
７より送出されたセグメントの対はそれぞれエピポーラ
条件を満たした対である、換言すれば上記（４ａ）式を
満たしているため、（４ｂ）式に関してのみ判断すれば
よいことになる。

同一平面判定手段８によるセグメント対が同一平面であ
ることの判定は以下の如（行なわれる。

セグメント対応候補抽出手段７より入力されたセグメン
ト対の組（Ｓｒ　　　Ｓ＋’、Ｓｚ　　Ｓｔ’、Ｓ３Ｓ
　３’　＋　・・・、Ｓ、ｌ−３，；）について、輪郭
線セグメント記憶部６よりそれぞれのセグメントの始点
及び終点の座標を取り出し、それらを−次記憶メモリ　
（図示せず）に記憶させる。第１の画像のセグメントＳ
ｋの始点の座標を（Ｘｓｍ、　Ｙｓｉ＝）　、終点の座
標を（Ｘｔｍ、　ＹＥｍ）とし、セグメントＳＬ１に対
応する第２の画像上のセグメントＳｋ′については同様
に（Ｘｓ’＊、　Ｙｓ−）、（Ｘｔ’＊、　Ｙｔ’ｍ）
とする。全ての対応するセグメントについて、始点と終
点の対が上記（４ｂ）式を満たすことが同一平面を構成
する必要条件となる。更にセグメントが直線である場合
は必要十分条件となる。

画像から得られたセグメントは量子化誤差などの誤差を
持っているため、三次元空間中で同一平面上に各点があ
ったとしても（４ｂ）式に完全には一致しない、その為
、各点について予測される区間を求め、画像から得られ
た視差とのずれが一定の闇値７１以内である場合に同一
平面にあると判定する。具体的には以下の如く立式し、
この式の値が最少となるように、即ち最小２乗法により
ａ、　　ｂ。

Ｃの値を求める。

ここでａ、ｂ、ｃの値が不定となる場合には、便宜１全
ての点が同一平面上にあると判断する。

それ以外の場合については次に各セグメント対について
以下の式を満たすことを確認する。

（（Ｘｉ＋’　　Ｘｓ＋）−ｕ（ａ　Ｘ３１＋　ｂＹｓ
＋　＋　Ｃ）　ｌ　＜ＴＨｌ　（Ｘｔ＋’−Ｘ！＋）−
ｕ（−ａ　ｘ、、＋　ｂｙｔｔ＋　ｃ）ｌ　＜ＴＨこの
弐をすべての点が満たしている場合に、同一の平面上に
全てのセグメント対があると判断される。同一平面判定
手段８はセグメント対応候補抽出手段７に判定結果を送
出する。更に総てのセグメントが同一平面にあると判定
された場合には、同一平面判定手段８は判定の対象とさ
れていたセグメントの対をセグメントグループ記憶部９
に送出する。

３枚以上の画像を処理する場合は、例えば３枚の場合で
あれば第１の画像と第２の画像、第２の画像と第３の画
像、第３の画像と第１の画像とからそれぞれ得られたセ
グメント間で同様の判定を行ない、それぞれの組合わせ
すべてが同一平面上であると判定された場合に限り、最
終結果として同一平面と判定する。

セグメントグループ記憶部９は、同一平面判定手段８よ
り送出されたセグメント対の組を一つのグループとして
記憶し、さらにそのグループのグループ評価部１０によ
る評価結果を記憶し、選択手段１１に送出する機能を持
つ。

グループ評価部１０はセグメントグループ記憶部９より
順次セグメントのグループを抽出し、その各セグメント
の特徴を輪郭線セグメント記憶部より抽出し、各グルー
プごとに従来の方法で述べた（３）式の演算を行なって
評価値Ｇを求め、その結果をセグメントグループ記憶部
９に送出する。

選択手段１１はセグメントグループ記憶部９の記憶内容
から各グループ間で同一画像の同一セグメントを含むグ
ループを探索し、その複数のグループの内で最も大きな
評価値Ｇを持つグループのみを正しい対応として残し、
他のグループを削除する。最終的に総てのセグメントが
単一のグループのみに所属することになり、その時点ま
で残ったグループを三次元座標計算手段１２に送出する
。

三次元座標計算手段１２は選択手段１１より送出された
グループの各セグメントの対について三角測量の原理に
基づき三次元座標を計算し、出力する。

以下、上述の如き構成の本発明の画像処理装置の動作に
ついて簡単に説明する。

例えば第２図（ａ）、　（ｂ）の如きステレオ画像が画
像メモリ１に入力された場合、画像処理手段２によりエ
ツジ検出、端点延長が行なわれて第３図（ａ）。

（ｂ）の如き画像に変換され、得られたエツジ点上の画
素が所定の値（−１）で置き変えられた画像が画像メモ
リｌに書き込まれる。次に画像メモリｌに記憶されてい
るエツジ点の座標を利用して、領域の特徴が領域特徴抽
出手段３により抽出され、領域特徴記憶部４に送出され
、格納される。また輪郭線セグメントの特徴が輪郭線セ
グメント抽出手段５により抽出され、更に輻較運動の補
正が行なわれて、第７図に示す如きデータがセグメント
特徴記憶部６に格納される。

次にセグメント対応候補抽出手段７が動作し、各画像か
ら得られた輪郭線セグメント間で対応付けを行なう、対
応付けを行なう場合に基本対応条件（エビポーラ条件、
領域条件など）を用い、連続するセグメントを含めて、
セグメント対応のグループの候補として同一平面判定手
段８に送られる。同一平面判定手段８はアフィン変換が
成立するかどうかを判定し、成立する場合は与えられた
セグメントのグループを記憶部に送り、また結果をセグ
メント対応候補抽出手段７に送る。セグメント対応候補
抽出手段７は同一平面判定手段８にデータを与えたグル
ープが同一平面であると判定され続ける限りは更に接続
するセグメントを順次探索し同様の処理を繰り返す。

その結果セグメントグループ記憶部９には同一平面を構
成するセグメント対のグループのみが記録され、第１４
図に示す如きセグメント対のグループが形成される。特
にセグメント対応候補抽出手段７から出力された候補の
中で、誤った対応を含んだグループは連続するセグメン
トが少なく、かつ同一平面を構成する可能性が少ない。

そのため、セグメントグループ記憶部９に記憶されたグ
ループには、誤って対応しているグループが少なく、し
かも誤って対応しているグループは少数のセグメントに
よって構成されることになる。またセグメント対応候補
抽出手段７から同一平面判定手段８へ順次与えられる対
応候補が同一平面を構成していない場合にはその段階で
セグメント対応候補抽出手段７が探索を停止するために
探索対象はそれまでの分だけになり、無駄時間が省ける
。

次にセグメントグループ記憶部９に記憶されている各グ
ループはグループ評価手段１０により評価され、選択手
段１１により前記（３）式に最大の評価値Ｇを持つもの
が選択され、誤って対応しているグループは削除される
。最後に三次元座標計算手段１２により、グループを構
成する各セグメント対の三次元座標が計算され、出力さ
れる。第７図から得られた三次元像、即ち、両カメラの
中心点から見た像（ａ）、正面像（ｂ）、側面像（Ｃ）
、平面像（ｄ）を第１５図に示す。

以上の実施例は画素を連結したセグメントを対応単位と
しているが、画素またはエツジ点を対応単位として直接
処理する場合は第１６図のブロック図に示す構成の装置
で処理を行なう。

この装置構成は第１図に示した輪郭線セグメントを対応
単位として用いる装置に比して、領域及び輪郭線セグメ
ントを抽出し、記憶する手段参照符号３．４，５．６を
削除し、他の部分に若干の変更を加えた装置である。各
部の参照符号は第１図に対応して付与しである。ここで
は第１図の構成と異なる点を中心に簡単に述べる。

画像メモリ１に入力された画像は画像処理手段２により
処理される。エツジ点の場合は輪郭線セグメントを用い
る場合と同様にエツジ抽出、細線化、端点延長などの処
理が行なわれる。更にいずれの場合もカメラの輻較運動
の補正を行なう。

次に点対窓候補抽出手段１７（第１図のセグメント対応
候補抽出手段７に相当）が動作し、複数の画像間でエビ
ポーラ条件を満たす点の対が探索される。更にその点の
近傍に位置し、かつ対応している点の対を探索し、順次
同一平面判定手段８に送出する。その判定結果により探
索を停止または継続する点に関しては前述の実施例と同
様である。

同一平面判定手段８は第１図の輪郭線セグメントを処理
する装置において始点及び終点を用いる部分を、与えら
れた点自体の座標を用いるように変更され、各点が同一
平面を構成する場合のみ点グループ記憶部１９（第１図
のセグメントグループ記憶部９に相当）に記録する。

グループ評価手段１０はグループそれぞれについて、各
グループを構成する点の対の特徴を比較し、各点の対そ
れぞれに関して、明るさ、エツジ強度などの特徴が近く
、且つグループを構成する画素数、点数が多い対はど高
い評価値Ｇを与える。その結果は点グループ記憶部９に
グループ単位で記録される。

選択手段１１は同一の画素又はエツジ点を含むグループ
間で評価値Ｇを比較し、最大値を有するグループ以外の
グループを削除する。その結果残ったグループを三次元
座標計算手段１２に送出し、グループを構成する各点の
対の三次元空間中での座標を計算し、出力する。

上記本実施例では輪郭線セグメント及び画素、エツジ点
を対応単位として、画像間で対応を行ない三次元座標を
求める方法に付いて述べたが、本発明は他の方法によっ
て得ら、れた点（２次微分ゼロクロッシングなど）や、
その点を追跡することにより得られるセグメントを単位
とする場合にも適用可能であることは言うまでもない。

〔効果〕

以上の如く本発明によれば、従来セグメントや画素を単
位として対応付けを行ない、グループ分けを行なう場合
、組合わせの数が多いために処理時間を要し、また対応
の信頼性も低かったが、探索時にグループを構成する対
が同一の三次元平面を構成することを条件とすることに
より、探索が局限されることになり、対象になる組み合
わせが少な（なる、従って本発明では、処理時間が短縮
され、また誤った対応はどグループが小さくなるために
選択手段に削除される可能性が大であるから、より信顧
性の高い対応が得られる。

【図面の簡単な説明】

第１図は本発明方法を輪郭線セグメントを対応単位とし
て実施するための装置の構成を示すブロック図、第２図
（ａｌ、　（ｂ）はステレオカメラにより得られた画像
であり、（ａｌは左画面を、（ｂ）は右画面を示し、第
３図（ａ）は第２図（ｂ）の右画面にエツジ検出、細線
化を行なった例、（ｂｌは更に端点延長を行なった例、
第４図は輪郭線セグメントの作成方法を示すフローチャ
ート、第５図は輪郭線セグメントを作成した例、第６図
（ａｌは平行に設置されたカメラの位置関係を示す模式
図、（ｂｌは輻較運動を行なうカメラの位置関係を示す
模式図、第７図（ａ）、　（ｂ）は輻較運動を補正して
あり、（ａｌは左画面、　（ｂ）は右画面を示し、第８
図はセグメント対の接続関係の説明図、第９図はセグメ
ントの対応関係の説明図、第１０図は多重対応の説明図
、第１１図は多重対応から正しい対応を選択する方法の
説明図、第１２図は輪郭線セグメントのデータ表現の模
式図、第１３図は２つの画面間で対応するセグメントの
グループの説明図、第１４図は実際に得られたグループ
の対応例、第１５図は最終的に得られる三次元像の例、
第１６図は本発明方法を画素またはエツジ点を対応単持
として実施するための装置の構成を示すブロック図であ
る。 ｌ・・・画像メモリ　２・・・画像処理装置？　（１７
）・・・セグメント対応候補抽出手段（点対窓候補抽出
手段）　　８・・・同一平面判定手段１０・・・グルー
プ評価手段 特　許　出願人　　工業技術院長　飯塚　幸三図面の浄
書（内容に変更なし） （ａ）　　　　　　　　　　　　　　　（ｂ）第　２　
　口 （ａ） （’ｂ） 第３図 ；ｉＬ４　　図 第　　５　　図 算　Ｇ　図　（４） １！、　　Ｇ　已Ｅｌ　　　（ｂン （ａ）　　　　　　　　　　　　　　　　　（ｂ）第７
図 第　８　目 算　　ｑ　詔 茅　１０　　記 Ｇ＝Ｑ、８ １ｊ 第　１１　犯 第１２図 第１３図 （ａ） 第１４図 （ｄ） （ｅ） 第１４図 （ａ）　　　　　　　　　　　　　　　　　　　　　（
ｄ）（ｔ））　　　　　　　　　　　　　　　（ｃ）第
１５図 算　１Ｇ　　回 手続補正書（方式） 昭和６２年７月７日

Claims (1)

1. 【特許請求の範囲】 １、三次元空間中に位置する同一の認識対象を異なる位
   置で撮像した複数の画像それぞれから共通の特徴を有す
   る画素または画素を連結した線分を得て、それらを複数
   の画像間で対応させて三次元空間中で同一平面に属する
   画素または線分のグループに分類し、各グループについ
   て複数の画像間で対応度の評価を行うことにより認識対
   象の各画像上での位置を特定する画像処理方法において
   、 複数の画像間で対応する画素または線分の 対を順次抽出しつつ、それらが三次元空間中で同一平面
   を構成しているか否かを判定し、同一平面を構成してい
   る画素または線分の 対についてのみ前記対応度の評価を行うことを特徴とす
   る画像処理方法。 ２、三次元空間中に位置する同一の認識対象を異なる位
   置で撮像した複数の画像それぞれから共通の特徴を有す
   る画素または画素を連結した線分を得て、それらを複数
   の画像間で対応させて三次元空間中で同一平面に属する
   画素または線分のグループに分類し、各グループのデー
   タをグループ評価手段に与えて複数の画像間で対応度の
   評価を行うことにより認識対象の各画像上での位置を特
   定する画像処理装置において、 複数の画像間で対応する画素または線分の 対を順次抽出する対応候補抽出手段と、 該対応候補抽出手段により順次抽出される 画素または線分の対が三次元空間中で同一平面を構成し
   ているか否かを順次的に判定する同一平面判定手段とを
   備え、 該同一平面判定手段により同一平面を構成 していると判定された画素または線分の対のデータを前
   記グループ評価手段に与えるべくなしたことを特徴とす
   る画像処理装置。