JPS60171410A - ステレオ視処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の属する技術分野〕 この発明はステレオ視（両眼立体視）（二より、物体ま
での距離情報を得る技術分野に関する。

〔従来技術とその問題点〕

ステレオ視は、２つの離れた位置にあるカメラから画像
を入力し、その両画像中から、同じ物体の同一部分がう
つっている位置をめ（対応点検出）、その位置と、２つ
のカメラ撮影位置の関係から、三角測量の原理（二より
、物体までの距離をめるものである。

ステレオ視の自動処理では、この対応点検出が。

難しく、決定的な方法はまだない。

三角測量の原理から、２つのカメラの位置は。

離れていた方が、距離の計測ｎ度は良くなる。しかし％
２つのカメラが離れていると、２つの画像中で、物体の
形が違ってうつる、ま九照明と、物体とカメラの位置関
係も便わってくるので、物体の明るさも左右画像で違っ
てくる、このような左右画像の違いは、同一部分を見つ
け出す、対応点検出を非常（−困難にしている。

従来は、固定し六間隔の１対の画像を処理しよつという
のが大部分であり、対応点検出もうぼく打力）ず、距離
精度もあまり良くなかった。

複数の画像を利用する方法としてはＭｏｒａｖｅｃの。

自動走行車に用いられたステレオ視（Ｈａｎｓ　Ｐ。

Ｍｏｒａｖｅｃ　：　Ｔｈｅ　Ｓ　ｔａｒｆｏｒｄ　Ｃ
ａｒｔ　ａｎｄ　ｔｈｅ　ＣＭｔＪ　ＲｏｖｅｒＰｒｏ
ｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＩＥＲＥ　、　Ｖｏ
ｌ、７１．Ｎｏ、７　、　ＰＩ　−８７２−８８４、Ｊ
ｕｌｙ、１９８３．　）がある。これはカメラを光軸に
対して少しずつ垂直方行（＝移動して、９枚の画像を得
て、そこからすべての２枚の画像の対を取り出す（計３
６組のステレオ対画像になる）。

この３６組の画像Ｃ二対して、それぞれ対応点検出を行
い、距離をめる。そして距離の計測値の分布のピークか
ら、真の距離をめるというものである。この処理（−要
する計算量は膨大であり、　Ｍｏｒａｖｅｃの車は、２
０ｍの走行に約５時間かかつている。近接した撮影位置
のステレオ対からの計測結果は。

計測誤差が大きく、陥れた撮影位置のステレオ対では、
対応点検出が、離しくそのためＣ二距離計測誤差が大き
くなる可能性がある。この点を考えると、この方法は、
かなり余計な計算を大量（二行つているとも言える。

〔発明の目的〕

この発明は上述した従来装置の欠点を改良したもので、
比較的少ない処理轍で、対応点検出を確実に行うことが
でき、距離計測も！ｆ１１度よく行うことのできる。ス
テレオ視処理装置な提供することを目的とする。

〔発明の概要〕

ステレオ視では、〔従来技術とその問題点〕の項で述べ
たよう（二、距離計測精度と、対応点検出の困難さに関
して、カメラ間隔≦：対する、相反する要求がある。す
なわち、距離計測精度は、カメラ間隔が大きいほど良い
が、対応点検出は、カメラ間隔が小さいほど、確実（二
なる。

本発明はこの問題を解決したものである。

第１図は、本発明の詳細な説明したものである。

移動可能なカメラ１（二より、少しず＼撮影位置を費え
て、対象物体２の画像を入力する。最初の画像３中の点
４：：対応する点５を、次の画像６から検出する。点４
（二対応する点７を、さら（二次の画像８からめる。こ
のよう（−隣りあうカメラ間隔の小さな画像同志で対応
点検出を順次、行い、最終的にはカメラ間隔の離れた最
初の画像３と、ｎ枚目の画像９とで、両画像の対応点（
２と１０）を定める。このようにし請求められた対応点
から、物体までの距離を計算ｒるのが１本発明の原理で
あるＯ 〔発明の効果〕 このよう（一対応点検出はカメラ間隔の近い画像間で行
い、距離計算は、カメラ間隔の陥れｆｃ画像間で行うこ
とにより、対応点検出が確実で、ざら（二、距離計測精
度も良い、ステレオ視処理が可能になった。また対応点
検出はカメラ間隔の小さい画１象間で行うため、両画１
象の対応点の位置に、大きな差はない。従って、対応点
検出の際の２画像の調査範囲を小ざくすることができ、
計′ｊ７Ｌｔを少なく、すなわち処理時間を短くするこ
とができる。

〔発明の実施例〕

以下、図面を参照して、不発明の一実施例（二ついて説
明する。

第２図は不実施例の概略構成図である。

はじめは、移動機構付カメラ１は、左端にあるものとす
る。その位置で画像を入力し、へ／Ｄ変換器２（二より
ディジタル化して画像メモリ３に書き込む。

特徴点抽出回路５は、画像メモリ３（ン鉦き込まれた。

最初の画像を微分し、その値の大きい点を取り出す。こ
こで選ばれた特徴点（二対して、この装置では距離を計
測する。特徴点に関する情報（画１象上での位置等）は
、処理手順制御回路７に送られ、特徴点位置メモリ１５
（二記すされるこの回路では、抽出され走特徴点に対し
て、距離計測が順次行われるよう（二、他回路の動作を
制御する。そして１つの入力画像に対する距離計側処理
が完了したら、カメラをカメラ移動制御回路８を通じて
。

少し右へ移動して、新しい画像を入力して１次の距離計
測（二進む。

最初の画像に対しでは、特徴点を抽出し、その情報を処
理手順制御回路７（＝送ったら、その回路はカメラ移動
制御回路８に、カメラを少し右へ動かすように指令する
。そして、新しい画像を入力し、画像メモリ４に取り込
む。

対応点検出回路９は、処理手順制御回路７に指示された
特徴点に対して、２つの画像メモリ３゜４の対応点を見
つける。１番はじめは１画像メモリ３に左端の画像が５
画像メモリ４には左端の次の画像が入っている。そして
、処理手順制御回路７からは、左端の画像、す々わち画
像メモリ３（二人っている画像の、特徴点の１ｉＩｉｉ
像上での位置が送られてくる。

対応点検出回路は、画像メモリ３乃１ら、特徴点の位置
を中心とする。小領域の画像を取り出す。

そして、この小領域に最も近似した部分を１画像メモリ
４から見つけ出す処理を行う。これは画像メモリ４から
、画ｒ象中の各点を中心とした同じ大きさの小領域を取
り出し、両車領域間の相関係数をめ、それが最大になる
点をめればよい。相関係数のかわりに、両手領域の名画
素間で減算を行い、その結果の絶対値の総和が最小にな
る点をめてもよい。この調査の際に、本発明では、きわ
めて、小さイ（ＳＳＩ）Ａ法、８ｅｑｕｅｎｔｉａｌ　
５１ｍ１ｌａｒｉｔｙＤａｔｅｃｔｉｏｎ　Ａｌｇｏｒ
ｉｔｈｒｒ　）　範囲だけ、処理を行えばよい。もし、
カメラが光軸（二乗ＩＭに移動するとすれば、特徴点と
同じ水平線上で、特徴点のすぐ左側の小部分についてた
だけ（二、対応点検出の調査範囲をしばることができる
。これは、カメラ移動轍が、両画像間で小さいため、両
画像（＝大きな差がないためである。

対応点を検出したら、新しい画像の対応点の位置を処理
手順制御回路７（＝送り、記録しておく。

次のカメラ位置の画像を処理する場合は、その画像は画
像メモリ３（＝取り込む。そして画像メモリ４カ）ら、
先Ｃ二記録しておいた対応点の位置を中心とした小領域
を切り出して、画像メモリ３から対応点を見つけ出す。

このよう（二、画像メモリ３と４は、交互（二段側をか
えて働く、また処理手順制御回路７から、送られてくる
。特徴点の位置も、新しく決定された対応点の位置（＝
変更されていく。

（対応点位置メモリ１４に記録する）ただし、左端の画
像２二対する特徴点の位置は、距離計算用４二、特徴点
位置メモリ１５に常（二保存しておく。

対応点を決定したら、対応度判定回路１ｏで、対応点検
出の確実さを調べる。すなわち相関係数で対応点をめる
場合は、相関係数が、一定値以上大きいかどうか、　５
ＳＤＡ法の場２合（＝は、差の絶対値の総和が、一定値
以下かを判定する。この条件が満たされていれば、対応
点位置情報は距離計算回路１１へ送られる。

この条件が満たされないのは、たとえば第３図のような
場合である。この例では画像１では直方体の物体を少し
左から見ていたが、画像２では真正面から見ること（−
なってしまったため、点３とその対応点である点４の周
囲で、画像が大きく変わってしまっている。したがって
、両画像のそのような部分Ｃ二対する相関値が小さくな
ってしまう。

このような場合は、点３の対応点として、正しく１点４
が選ばれているか、確かで彦い。

提案方式では、従来の固定間隔のステレオ視（二比べ、
両画像での物体の見え方の違い（二より、対応点検出が
困難（二なることは少ない。このよう（−なるのは、前
述の例のような、場合などｌ：限られる。

本実施例では、このよう（二、対応度が小さいと判定さ
れた場合には、それより、１つ前の画像に対しての距離
の計算結果を、その特徴点に対する確定した距離値とす
る。す寿わち、処理手順制御回路７では、その特徴点］
二対する処理を、以後行わないようにして、距離計算結
果格納メモリ１３に記録されていた。前画像に対する距
離値が、確定結果として保存される。

もし、１番最初の画像の処理の際（二、対応度が小さか
つ九場合は、本実施例では、その特徴点に対する距離値
はめられない（そのようなことは。

はとんどないが）。このような特徴点に対し又。

距離値をめ九い場合は、カメラを動かして、物体を見る
方向を変えて処理を行えるよう（二、カメラ１を動かす
制御機構を付加すればよい。そのようｎａｍｓを追加し
なくても、本実施例で、距離値を計測することも可能で
ある。すなわち、現在処理対象としている左端の次の画
像を、新たな左端の画像と見なくて、処理を再び始めれ
ばよい。あるいは、距離計測精度は低下するが、カメラ
１を左側に少しもどして、画像を入力して、その画像と
、左端の画像で、対応点検出を行ってもよい。

対応点がめられたら、新しい画像の対応点の位置と、そ
れ（二対応する左端画像中の特徴点の位置と、その時点
のカメラの位置（左端の画像を撮影したカメラ位置（二
対しての）から、三角測量の原理（二より、距離計算回
路１１は、その特徴点才での距離を計算する。

距離計算値判定回路１２は、距離計算結果格納メモリ１
３に記録されている。前画像Ｃ二対する距離計測結果と
、今回の距離計測結果の差と、比（あるいはそのどちら
力））を計算する。差が一定値以下で、比が１に近けれ
ば、距離計測値が、確実なもの（−なってきたこと（二
なる。その場合は、その距離値を距離計算結果格納メモ
リ１３に書き込み、処理手順制御回路７（二は、その特
徴点に対する距離値は確定したので、以後、その点に対
しては処理を行わなくてもよいことを、伝達する。

距離値が変動している場合、および最初の画像対に対し
２ての処理の場合（ユは、その距離値を距離計算結果格
納メモリ１３（二記録しておく。

１つの画像対に対し、て、全特徴点（二ついての処理が
終了したら、処理子ＩＩ制御回路７は、全特徴点の距離
値が確定しているか調べる。もし確定していない点があ
れば、カメラ移動制御回路８にカメラ１を少し右へ、動
かすよう（二指示する。そして新たな画像を入力し、距
離値の確定していない点（二対する処理を行う。

このよう々処理を続け、全特徴点Ｃ二対する距離値が確
定したら、処理は終了する。

〔発明の他の実施例〕

実施例では、カメラを左端から、右へ動がしたが、これ
はもちろん、右端から左へ動力コしてもよい。あるいは
適当な点から動かしはじめてもよい。

実施例では、回路により、構成しているが、これはマイ
クロコンピュータ等により実現してもよい。こうずれば
、多少処理速度ｒｌ′ｉ落ちるが、小規模のハードウェ
アで、実現が可能（二なる。

実施例では１つのカメラを動かしているが、これは左と
右の２つの移動カメラを用いてもよい。

この場合、両カメラを最も近づけた位置で、左右画像の
対応点を検出した後、両カメラも、外側に開いて行きな
がら、左カメラ画像（二ついては現在の左画像と前の位
置の左画像と、右カメラ画像についても、現在の右画像
と前の位置の右画像を用いて、対応点検出を、それぞれ
行って、距’ＩＩ＆’を計測するようにしてもよい。も
ちろん片方のカメラだけを動かしてもよい。その場合、
画像をメモリに記録しないで、処理することも可能（−
々る。

実施例では、全特徴点に対して、提案した処理を行って
いるが、はじめ（＝、従来のようにある程度敞れ７’ｃ
２つの位置のカメラ画１象から対応点検出を行い、対応
点検出がうまくいかたい点（対応度が小さい点）（二つ
いてだけ、カメラ間隔を変えて。

提案した処理を行うようにしてもよい０このようにすれ
ば、処理量が少なくなり、処理速度が向上する。

カメラの動かし方についても、実施例では、少しずつ右
側へ動かし工いるだけだが、これをいろいろ制御しても
よい。九とえは、最初は、小さい間隔で動７ｊｌ）Ｌ、
その後は間隔を広くし走り、広い間隔で対応点検出を行
ってみて、対応度が悪ければ、カメラ間隔を少し狭くし
て、再度処理を行うようにしてもよい。あるいは、対応
度（＝応じて。

たとえば対応度が大きければ、次のカメラ移動を大きく
するような制御を行ってもよい。このよう表制御を行え
ば、処理量を減らすことができる。

距離計測値の確定を確認する方法にも他の方法が考えら
れる。たとえば、前画像菫での距離計測結果から今回の
対応点の存在位置を予測（距離が一既知として、ステレ
オ視に用いる三角測量原理から逆（：求められる）して
、それと実際の対応点の位置の差から判定してもよい。

この予測は、対応点検出の際（二も用いれば、対応点の
調査範囲をさらに小さくするのに役立つ。

対応点検出を実施例では、画像の濃度値（二基づいて行
っているが、これは画像を微分し工、エツジを検出して
、そのエツジの構造同志で対応を調べるようにしてもよ
い。

実施例では特徴点、それぞれについて、対応点検出を行
っている。このような処理ではある特徴点について、１
度対応点検出（二誤差が生じると。

その誤差が新しい画１象へ、次々と伝わって、誤差が大
きくなり、その特徴点に対する距離計測が不正確になる
おそれがある。このよう々異常は次のよう（ニすればよ
り検出しやすい。

すなわち実施例では、前の画像に対する距離計算結果し
か記憶していないが、過去のすべての距離計測結果を記
録するようにしておけば、距離値のＫ　化パタンにより
、距離検出が確実に行われているか、より正しく判定で
きる。実施例の対応度判定回路と、距離計算値判定回路
により、このような誤差の出現と伝Ｗ１は、かなり防止
できてはいるが、さら（二確実にするには、以丁のよう
な方法も考えられる。

一つの方法は、隣り合った位置の画像間たけでなく、と
きどさ、離れた画像間でも対応を調べてみることである
。

もう一つ、より確実なのは、複数の特徴点（二対（Ｉ障 ＋９−０−距離計算値判定回路 する距離の計測結果間の関係を利用する方法である。計
測した特徴点の距離値から、物体の概形を認識しておけ
ば、それから、はずれる距離値のデータ（二ついて、カ
メラ間隔を変えて再処理するなど再検討すればよい。も
し物体の形・大きさく二ついて、あらかじめ、ある情報
がわかっていれば、それと計測値と照合すること（二よ
り、処理はさら（：確実１：なる。

以上ノよう（二、マイクロコンピュータ等（二より。

各種の処理機能を付加すること１：より、本発明は目的
（ニルじた、性能を実現することができる。

【図面の簡単な説明】

第１図は、本発明の詳細な説明した図である、第２図は
、本発明の一実施例の概略構成図である。 第３図は、対応度が小さくなる場合の例を示した図であ
る。 １・・・移動機材付カメラ　２・・・Ａ／Ｄ変換器７・
・・処理手順制御回路　８・・・カメラ移動制御回路９
・・・対応点検出回路　１１・・・距離計算結果四 代理人弁理士　則近憲佑（ばか１名） 第　１　図 ？ １□／、　２−　３ 諺４α　［）　ｃ 入

Claims (2)

【特許請求の範囲】
1. （１）撮影位置を移動することのできる画像入力手段と
   、１対の画像から対応点を検出する手段と、対応点の位
   置と、画像入力手段の位置から物体菫での距離を計算す
   る手段を持ち、画像入力手段の撮影位置を少しずつ変え
   ながら、その少しずつ位置の違った画像中の対応点を順
   次検出して行くとと（二より、撮影位置の離れた画像間
   の対応点を検出することを特徴としたステレオ視処理装
   置。
2. （２）各画像入力手段の位置！二ついて、距離を計測し
   、距離計測値の変動を解析する手段を前項装置（二付加
   して、その距離の変動を調べ、変動が小才視処理装置。