JPH0425758B2 - - Google Patents

Description

【発明の詳細な説明】 〔発明の技術分野〕 本発明は複数の異なる視点から入力された被写
体像各部の対応点検出を確実に行い得るステレオ
視処理装置に関する。

〔発明の技術的背景とその問題点〕

ステレオ視処理装置は、複数の異なる視点から
被写体（対象物）の像を入力し、これらの画像中
における上記被写体の同一部位の対応関係を求め
る、つまり対応点検出を行つて、その対応点位置
と前記視点との関係から三角測量の原理に従つて
前記被写体までの距離を求めるものである。第１
図はその概略的な構成を示すものであり、図中１
は検出対象としての被写体である。この被写体１
を例えば２台のTVカメラ２，３によつて異なる
視点からそれぞれ撮像入力し、これらの画像４，
５中における前記被写体像の同一部位に関する位
置情報を得るものである。尚、ここでは立方体か
らなる被写体１の１つの頂点１ａについて対応点
検出を行う例が示されている。

ところでこの種のステレオ視処理装置にあつて
は、上記対応点検出を如何にして自動的に、且つ
正確に行うかが重要な課題となる。しかして従来
装置にあつては、例えば一方の画像４の中から検
出対象とする点を定めて、その回りの小領域の部
分画像６を取出し、この小領域と同じ大きさの部
分画像７を他方の画像５の中からその位置を移動
させながらその相関値を計算することが行われて
いる。そして、上記相関値が最大となる位置の小
領域の部分画像７の中心を、前記一方の画像４上
で定めた点に対応する点として検出している。こ
の際、前記TVカメラ２，３の高さを揃え、且つ
光軸に平行に定める等して上記部分画像７の移動
方向を一方向のみとして、上述した対応点検出処
理を簡易に行うことを可能とする等の工夫が施さ
れている。

また別の対応点検出処理として、各画像４，５
中の被写体のエツジを検出して画像形状を比較す
る等の方式も提唱されている。

このようなステレオ視処理装置は、３次元物体
認識の為の距離計測手段として非常に有用であ
り、また他の画像処理との両立性も高いことか
ら、今後、その需要が益々見込まれている。

然し乍ら、被写体が明るさの比較的均一な、平
面や曲面である場合、これを撮像入力した画像間
の相関値が全体的にブロードである為、つまり相
関値の最大点が明確に存在しない為、その対応点
検出が非常に困難である。このことは、上述した
エツジ検出においても、前記被写体にエツジが存
在しない為に対応点検出ができないことを意味し
ている。つまり、従来装置は、被写体の条件によ
つては、その効果を十分に発揮できないと言う不
具合を有していた。

〔発明の目的〕

本発明はこのような事情を考慮してなされたも
ので、その目的とするところは、被写体の条件に
拘らず常に安定に、しかも正確にその距離計測を
行うことのできる実用性の高いステレオ視処理装
置を提供することにある。

〔発明の概要〕

本発明は複数の異なる視点から被写体の像を入
力し、その画像間の対応部位に対する対応度を相
関計算によつて求め、これらの対応度から上記対
応が正確にとられているか否かを判定することを
第１の特徴点とし、対応が正確にとられていると
判定した場合には、その顕著な対応度を示す点を
対応点とし、上記対応が正確にとられていないと
判定されたときには補助手段を用いて前記被写体
上に明暗の変化を示す部位を形成し、これを対応
点検出に用いるようにしたことを第２の特徴点と
するものである。

特に上記被写体上に明暗の変化を示す部位を形
成する補助手段として、例えば光の特定パターン
模様を被写体上に投影したり、あるいはスポツト
光を投影するようにして、これを簡易に実現する
ようにしたものである。

〔発明の効果〕

かくして本発明によれば、例えばコントラスト
が低く、その対応点検出が非常に困難な被写体で
あつても、その場合には補助手段によつて上記被
写体上に、対応点検出の手掛りとなる明暗変化の
ある部位が例えば特定パターン模様やスポツト光
照射点として形成されるので、これらを用いて正
確に対応点検出を行うことが可能となる。しか
も、補助手段を用いるか否かを相関計算によつて
求められた対応度を判別して容易に決定すること
ができるので、その制御が簡単であり、装置とし
ての構成もさほど複雑化することがない。故に、
その実用的利点は絶大である。従つて、如何なる
条件下にある被写体についても、常に安定に、且
つ正確にその対応点を検出して距離計測等の処理
を行うことが可能となり、実用上絶大なる効果が
奏せられる。

〔発明の実施例〕

以下、図面を参照して本発明の実施例につき説
明する。

第２図は実施例装置の概略構成図であり、図中
１は計測対象としての被写体である。また２，３
は、画像入力装置としてのTVカメラである。こ
れらのTVカメラ２，３は、例えば撮像光軸を平
行にし、所定の間隔を隔てて同じ高さに設けら
れ、前記被写体１に対して視点を異ならせたもの
である。これらのTVカメラ２，３により、異な
る視点からそれぞれ撮像入力された前記被写体１
の像信号は、Ａ／Ｄ変換器１１，１２を各別に介
してデイジタル符号変換されたのち、画像メモリ
１３，１４にそれぞれ一時記憶される。マイクロ
コンピユータ等からなるデイジタル処理回路１５
は、上記画像メモリ１３，１４にそれぞれ記憶さ
れた所謂左画像と右画像とを入力し、それらの間
の対応点検出を行うものである。即ち、基本的に
は、上記各画像間の対応部位に対する対応度を小
領域を設定しながら相関計算によつて求め、この
相関計算によつて求められた対応度に従つて対応
点の検出判定を行つている。そして、対応点が検
出されたときには、その対応点情報から例えば三
角測量の原理に基づいて被写体１の上記対応点に
対する距離計算を行い、この計算結果によつて求
められる前記被写体１の所定の距離画像データを
距離画像メモリ１６に書込んでいる。また上記対
応点の検出判定によつて、対応点検出が正確にと
られていないと判定された場合には、補助手段と
してのパターン投影機１７が付勢されるようにな
つている。このパターン投影機１７は、例えばス
ライドプロジエクターの如きものであつて、前記
被写体１に特定パターン形状の光を投影し、被写
体１上に光の明暗変化によるパターン１８を形成
するものである。そして、このパターン投影機１
７が付勢されたとき、この条件下で再び前記TV
カメラ２，３による像入力が行われ、同様な処置
が繰返し実行される。

第３図は上記デイジタル処理回路１５による上
述した対応点検出の処理を示すものである。この
処理は、TVカメラ２を介して入力された左画像
を基準とし、この左画像の中から調査点をそのラ
スタ走査の方向に順次設定し、その調査点を中心
とする小領域の部分画像を取出して、この部分画
像に対応する右画像中での部分画像位置を求めて
対応点検出を行うものである。尚、左画像と右画
像との関係を逆に定めて対応点検出を行つても良
いことは言うまでもない。

しかして上記左画像および右画像をそれぞれ得
るTVカメラ２，３は、同一の高さでその光軸を
平行に設けたものであるから、左画像中の調査点
に対応する右画像中の対応点は同じ水平走査ライ
ン上にあると言える。そこで、上記左画像の調査
点を中心とした小領域の部分画像と、右画像にお
ける上記調査点と同じ水平走査ライン上の各点を
それぞれ中心とする小領域の部分画像との間でそ
の相関係数を計算し、これによつて求められる計
算値（相関係数）を対応点検出用データとする。
このようにして右画像の各点につき対応点検出用
データ（相関係数）をそれぞれ求め、各点にそれ
ぞれ対応してメモリに書込む。

しかるのち、これらの相関係数に従つて対応点
の検出・判定処理に移る。この検出判定処理は、
先ず上記各点について求められた相関係数の値、
つまり相関値が予め定められた閾値を越えるか否
かの判定より行われ、上記閾値を越える相関値を
有する点の検出が行われる。しかるのち、これら
の閾値を越える相関値を有する点のうち、上記相
関値が顕著な極大値を持つものがあるか否かを相
互比較によつて調べる。この顕著な極大値をとる
相関値の判定は、或る点の相関値が、その点より
数点離れた点における相関値より、所定の相関値
差以上の異なりを有するか否かを判定することに
よつて行われる。これによつて、上記極大値を為
す相関値を持つ点が検出されたとき、この点が前
記左画像中の調査点に対応する右画像中の対応点
であるとして検出される。

このようにして左画像と右画像とにおける調査
点と、これに対応する対応点が検出されたとき、
これらの２点の各画像における位置情報と、上記
各画像をそれぞれ得るTVカメラ２，３の位置関
係とから、三角測量法に従つて前記被写体１の上
記調査点（対応点）までの距離が計算される。そ
して、この計算された距離値が距離画像メモリ１
６上の対応位置に書込まれる。

以上の処理が、被写体像の各点についてそれぞ
れ行われ、距離画像メモリ１６には被写体１に関
する距離画像が形成されることになる。

ところで、上述した各点に対する閾値判定およ
び極大値判定において、その条件を満たす相関値
を有するものが見出されなかつたとき、このまま
ではステレオ視処理を正確に行うことができない
と判定される。各点の相関値が上記条件を満たさ
ない原因は、例えば被写体１が明暗比の殆んどな
い平面状、または曲面形状の場合である。従つて
この場合には、前述した補助手段が付勢される。
この補助手段は、光源の強いスライドプロジエク
タ等のパターン投影機１７からなり、これによつ
て被写体１上には明暗変化の強い所定パターン形
状の模様が写し出される。このことは、被写体１
に対応点検出の手掛りとなる模様を付したことに
なり、これを前記TVカメラ２，３にて再び入力
すれば、前述した対応点検出に必要な特徴ある画
像を得ることが可能となる。従つてこのような特
徴ある画像に変更された左画像および右画像に対
して前述した対応点検出処理を再び施せば、前記
明暗変化が付された部位の情報を以つて対応点検
出が可能となり、その距離画像を得ることが可能
となる。尚、この補助手段を用いても対応点検出
ができない場合には、被写体１が距離計測対象範
囲外にあり、背景像としてとらえられることを意
味している。従つてこのときには、その旨の情報
をコード化する等して距離画像メモリ１６に書込
むようにすればよい。また前記パターン投影機１
７の光源が弱く、被写体１上に明暗変化の強い模
様パターンを形成することが困難な場合には、こ
の光源としてストロボ光等を用いるようにしても
よい。但し、このときには上記ストロボ光の発光
に同期してTVカメラ２，３による像入力を行わ
しめる必要があることは言うまでもない。

また前述したパターン投影機１７によつて被写
体１の全体に明暗変化のある複雑な模様を形成す
る場合には、その模様に応じて比較的簡単に対応
点検出を行うことも可能となる。

ところで、被写体１上に明暗変化のある対応点
検出用の部位を形成する補助手段を次のように構
成することもできる。第４図はその実施例を示し
たもので、第２図に示すものと同一箇所には同一
符号を付して示してある。しかしてこの装置は、
補助手段として前記被写体１にスポツト光を投影
するスポツト光投影機１９を用いたものである。
このスポツト光投影機１９は、例えばレーザ光源
からなり、方向制御回路２０の制御を受けて被写
体１の調査対象点に上記スポツト光を投影するも
のとなつている。この方向制御回路２０は、前記
左画像中に対して設定された調査点の位置情報
（Ｘ，Ｙ）を入力して、その位置に前記スポツト
光投影の方向制御を行うものである。

かくしてこのように調査対象点に応じてスポツ
ト光を方向制御して被写体１上にスポツトによる
明暗変化点を形成すれば、先の実施例と同様に正
確な対応点検出を行うことが可能となる。

尚、スポツト光投影装置１９をTVカメラ２に
近接して設けても、その光軸とスポツト光投影点
とTVカメラの射影結像系の中心のずれが生じ
る。この為、左画像中の調査対象点の位置と、こ
の位置情報に従つて制御されるスポツト光投影位
置との間にずれが生じ、正確な対応点検出が妨げ
られることがある。従つてこの場合には、例えば
第５図に示すようにTVカメラ２の前に可動ミラ
ー２１を設け、この可動ミラー２１の角度を制御
してTVカメラ２と光軸を同じくしてスポツト光
を投影するようにすればよい。そして、像入力時
には上記可動ミラー２１をはね上げるような工夫
を施すようにすればよい。更にこの可動ミラー２
１を、半透過性ミラーや、プリズム体を用いて構
成することも勿論可能である。更に光軸の一致だ
けではなく、スポツト光発生器の位置・角度も制
御すれば投影の中心とTVカメラの射影中心位置
とを一致させることができ、正確にスポツト光の
向きが定められる。そしてこれらの機構を介して
スポツト光投影位置を調査対象点に応じて移動さ
せていくようにすればよい。

その他、スポツト光に代えてスリツト光を用い
ることも可能であり、また特定形状の光を投影し
て、そのパターンをステレオ視処理することも可
能である。

尚、上述した各実施例装置に、赤外線、レーザ
光、超音波等を用いた距離計を併設し、対応点検
出が正確に行われないときには上記距離計を用い
て調査対象点までの距離を求め、これをステレオ
視処理に利用するようにすることも勿論可能であ
る。

以上説明したように本発明によれば、対応部位
間の対応度から、その対応が正確にとれているか
否かを判定し、正確でない場合には補助手段を用
いて被写体１上に明暗変化のある部位を形成した
のち上記対応点検出を行うので、各種条件にある
被写体の対応点検出を正確に行い得る。これによ
つてその距離画像を効果的に得ることができ、三
次元物体の認識処理等に絶大なる効果を奏する。

尚、本発明は前述した実施例に限定されるもの
ではない。例えば補助手段を用いることのないス
テレオ視処理を全画像に対して行つたのち、対応
点の不明な点のみを記憶しておき、これらの点に
ついて前記補助手段を用いてステレオ視処理を行
うようにしてもよい。また相関値に対する処理
を、極大値判定を行つたのち、閾値判定して行う
ようにしてもよい。また対応点検出を行い易い部
位は明暗変化の強いところであるから、その像信
号を微分処理したのち相関計算を行うようにして
もよい。また相関計算に代えてSSDA（シーケン
シヤル・シミラリテイ・デテクシヨン・アルゴリ
ズム）を用い、２つの小領域の各画素濃度の差の
絶対値の総和の大小判定によつて相関の具合を判
定するようにすることも可能である。以上要する
に本発明はその要旨を逸脱しない範囲で種々変形
して実施することができる。

【図面の簡単な説明】

第１図はステレオ視処理の基本構成図、第２図
は本発明の一実施例装置の概略構成図、第３図は
実施例装置における対応点検出処理を示す図、第
４図は本発明の別の実施例装置の構成図、第５図
はスポツト光投影の手段を示す図である。 １……被写体（対象物）、２，３……TVカメ
ラ、１１，１２……Ａ／Ｄ変換器、１３，１４…
…画像メモリ、１５……デイジタル処理回路、１
６……距離画像メモリ、１７……パターン投影
機、１９……スポツト光投影機、２０……方向制
御回路。

Claims (1)

1. 【特許請求の範囲】 １ 複数の異なる視点から同一被写体の像をそれ
   ぞれ入力する手段と、これらの複数の被写体像各
   部の間の対応度をそれぞれ計算する手段と、この
   計算された対応度から上記被写体像各部間の対応
   が正確にとられているか否かを判定する手段と、
   この手段により上記対応が正確にとられていない
   と判定されたとき、対応点検出の補助となる明暗
   の変化を前記被写体上に形成する手段とを具備し
   たことを特徴とするステレオ視処理装置。 ２ 明暗の変化を被写体上に形成する手段は、被
   写体に対してスポツト光または特定の模様パター
   ン光を投影する光源からなるものである特許請求
   の範囲第１項記載のステレオ視処理装置。 ３ 被写体像各部間の対応が正確にとられている
   か否かを判定する手段は、計算された対応度を所
   定の閾値で弁別して行われるものである特許請求
   の範囲第１項記載のステレオ視処理装置。