JPS59182689A - ステレオ視処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は複数の異なる視点から入力された被写体像各部
の対応点検出を確実に行い得るステレオ視処理装置に関
する。

〔発明の技術的背景とその問題点〕

ステレオ視処理装置は、複数の異なる視点から被写体（
対象物）の像を入力し、これらの画像中における上記被
写体の同一部位の対応関係を求める、つまシ対応点検出
を行って、その対応点位置と前記視点との関係から三角
測量の原理に従って前記被写体までの距離を求めるもの
である。第１図はその概略的な構成を示すものであシ、
図中１は検出対象としての被写体である。この被写体１
を例えば２台のＴＶ左カメラ。

３によって異なる視点からそれぞれ撮像入力し、これら
の画像４，５中における前記被写体像の同一部位に関す
る位置情報を得るものである。

尚、ここでは立方体からなる被写体１の１つの頂点１ａ
について対応点検出を行う例が示ちれている。

ところでこの種のステレオ視処理装置にあっては、上記
対応点検出を如何にして自動的に、且つ正確に行うかが
重要な課題となる。しかして従来装置にあっては、例え
ば一方の画像４の中から検出対象とする点を定めて、そ
の回りの小領域の部分画像６を取出し、この小領域と同
じ大きさの部分画像７を他方の画像５の中からその位置
を移動させながらその相関値を計算することが行われて
いる。そして、上記相関値か最大となる位置の小領域の
部分画像７の中心乞前記一方の画像４上で定めた点に対
応する点として検出している。この際、前＝ｔ　ＴＶカ
メラ２゜３の高さを揃え、且つ光軸に平行に定める等し
て上記部分画像７の移動方向全一方向のみとして、上述
した対応点検出処理を簡易に行うことを可能とする等の
工夫が施されている。

また別の対応点検出処理として、各画像４゜５中の被写
体のエツジを検出して画像形状を比較する等の方式も提
唱されている。

このようなステレオ視処理装置は、３次元物体認識の為
の距離計測手段として非常に有用であシ、また他の画像
処理との両立性も高いことから、今稜、その需要が益々
見込まれている。

然し乍ら、被写体が明るさの比較的均一な、平面や曲面
である場合、これを撮像入力した画像間の相関値が全体
的にブロードである為、つまり相関値の最大点が明確に
存在しない為、その対応点検出が非常に困難である。こ
のことは、上述したエツジ検出においても、前記被写体
にエツジが存在しない為に対応点検出ができないことを
意味している。つまシ、従来装置は、被写体の条件によ
っては、その効果を十分に発揮できないと言う不具合を
有していた。

〔発明の目的〕

本発明はこのような事情を考慮してなされたもので、そ
の目的とするところは、被写体の条件に拘らず常に安定
に、しかも正確にその距離計測を行うことのできる実用
性の高いステレオ視処理装置を提供することにある。

〔発明の概要〕

本発明は複Ｃの異なる視点から被写体の像を入力し、そ
の・′画像間の対応部位に対する対応度を相関計算によ
って求め、これらの対応度から上記対応か正確にとられ
ているか否かを判定することを第１の製徴点とし、対応
が正確にとられていると判定した場合には、その顕著な
対応度を示す点を対応点とし、上記対応が正確にとられ
ていないと判定されたとぎに１は補助手段を用いて前記
被写体上に明暗の変化を示す部位を形成し、これを対応
点検出に用いるようにしたことを第２の特徴点とするも
のである。

特に上記被写体上に明暗の変化を示す部位を形成する補
助手段として、例えば光の特定パターン模様を被写体上
に投影したシ、あるいはスポット光を投影するようにし
て、これを簡易に実現するようにしたものである。

〔発明の効果〕

かくして本発明によれば、例えはコントラストが低く、
その対応点検出が非常に困難々被写体であっても、その
場合には補助手段によって上記被写体上に、対応点検出
の手掛シとなる明暗変化のある部位が例えば特定パター
ン模様やスポット光照射点として形成でれるので、これ
らを用いて正確に対応点検出を行うことが可能となる。

しかも、補助手段を用いるか否か全相関計質によって求
められた対応度を判別して容易に決定することができる
ので、その制御が簡単であり、装置としての構成も婆は
ど複雑化することがない。故に、その実用的利点は絶大
である。従って、如何なる条件下にりる被写体について
も、常に安定に、且つ正確にその対応点を検出して距離
計測等Ω処理を行うことが可能となり、実用上絶大なる
効果が奏せられる。

〔発明の実施例〕

以下、図面を参照して本発明の実施例につき説明する。

第２図は実施例装置の概略構成図であシ、図中１は計測
対象としての被写体である。１だ２゜３は、画像入力装
置としてのＴＶカメラである。

これらのＴＶカメラ２，３は、例えば撮像光軸を平行に
し、用足の間隔を隔てて同じ高官に設けられ、前記被写
体１に対して視点を異ならせたものである。これらのＴ
Ｖカメラ２，３にょシ、異なる視点からそれぞれ撮像入
力きれた前記被写体１の像信号は、Ａ／Ｄ変換器１１．
１２を各別に介してｒイジタル符号変換されたのち、画
像メモリ１３，１４にそれぞれ一時記憶芒れる。

−ｒイクｏコンピュータ等からなるガイノタル処理回路
１５は、上記画像メモリ１　、？　、　ｌ　４にそ′ｔ
Ｌそれ記憶された所謂左画像と右画像とを入力し、それ
らの間の対応点検出を行うものである。

即ち、基本的には、上記各画像間の対応部位に対する対
応度を小領域を設定しながら相関計算によって求め、こ
の相関計算によって求められた対応度に従って対応点の
検出判定を行っている。そして、対応点が検出されたと
きには、その対応点情報から例えば三角測量の原理に基
づいて被写体ｌの上記対応点に対する距離計算を行い、
この計算結果によって求められる前記被写体１の所定の
距離画像データを距離画像メモリ１６に書込んでいる。

寸だ上記対応点の検出も１定によって、対応点検出が正
確にとられていないと判定された場合には、補助手段と
してのパターン投影機１７が付勢されるようになってい
る。このパターン投影機１７は、例えはスライドノロノ
エクターの如きものであって、前記被写体ｌに特定パタ
ーン形状の光音投影し、被）体ノ上に光の明暗変化によ
るノゼターン１８を形成するものである。そして、この
パターン投影機１７が付勢されたとき、この条件下で再
び前記ＴＶカメラ２，３による像入力が行われ、同様な
処理が繰返し実行される。

第３図は上記ディノタル処理回路１５による上述した対
応点検出の処理を示すものである。この処理は、ＴＶカ
メラ２を介して入力された左画像を基準と呟　この左画
像の中から調査点をそのラスク走査の方向にノー次設定
し、その調査点を中心とする小領域の部分画像を取出し
て、この部分画像に対応する右画像中での部分画像位置
を求めて対応点検出を行うものである。尚、左画像と右
画像との関係を逆に定めて対応点検出を行っても良いこ
とは言うまでもない。

しかして上記左画像および右画像をそれぞれ得るＴＶカ
メラ２．３は、同一の高さでその光軸を平行に設けたも
のであるから、左画像中の調査点に対応する右画像中の
対応点は同じ水平走査ライン上にあると言える。そこで
、上記左画像の調査点を中心とした小領域の部分画像と
、右画像における上記調査点と同じ水平走査ライン上の
各点をそれぞれ中心とする小領域の部分画像との間でそ
の相関係数を計算し、これによって求められる計算値（
相関係数）を対応点検出用データとする。このようにし
て右画像の各点につき対応点検出用データ（相関係数）
全それぞれ求め、各点にそれぞれ対応してメモリに書込
む。

しかるのち、これらの相関係数に従って対応点の検出・
判定処理に移る。この検出判定処理は、先ず上記各点に
ついて求められた相関係数の仙、つまシ相関値が予め定
められた閾値を越えるか否かの判定より行われ、上記閾
値を越える相関値を有する点の検出が行われる。しかる
のち、これらの閾値を越える相関値を有する点のうち、
上記相関値が顕著な極大値を持つものがるるか否かを相
互比較によって調べる。この顕著な極太値をとる相関値
の判定は、成る点の相関値が、その点よシ数点離れた点
における相関値より、所定の相関僅差以上の異なシラ有
するか否かを判定することによって行われる。これによ
って、上記極太値を為す相関値を持つ点が検出されたと
き、この点が前記左画像中の調査点に対応する右画像中
の対応点であるとして検出される。

このようにして左画像と右画像とにおける調査点と、こ
れに対応する対応点が検出されたとき、これらの２点の
各画像における位置情報と、上記各画像をそれぞれ得る
ＴＶ右カメラ、３の位置関係とから、三角測量法に従っ
て前記被写体１の上記調査点（対応点）までの距離が計
算される。そして、この計算された。距離値が距離画像
メモリ１６上の対応位置に書込まれる。

以上の処理が、被写体像の各点についてそれぞれ行われ
、距離画像メモリ１６には被写体１に関する距離画像が
形成されることになる。

ところで、上述した各点に対する閾値判定および極大値
判定において、その条件を満たす相関値を有するものが
見出されなかったとき、このままではステレオ視処理を
正確に行・うことができないと判定される。各点の相関
値が上記条件を満たさない原因は、例えば被写体１が明
暗比の殆んどない平面状、または曲面形状の場合である
。従ってこの場合には、前述した補助手段が付勢される
。この補助手段は、光源の強いスライドプロジェクタ等
のパターン投影機１７からなシ、これによって被写体１
上には明暗変化の強い所定パターン形状の模様が尊し出
される。このことは、被写体１に対応点検出の手掛夛と
なる模様を付したことになＱ、これを前記ＴＶ左カメラ
、３にて再び入力すれば、前述した対応点検出に必要な
特徴ある画像を得ることが可能となる。従ってこのよう
な特徴ある画像に変更された左画像および右画像に対し
て前述した対応点検出処理を再び施せは、前記明暗変化
が付された部位の情報を以って対応点検出が可能とな多
、その距離画像を得ることが可能となる。尚、この補助
手段を用いても対応点検出ができない場合には、被写体
１が距離計測対象範囲外にあシ、背景像としてとらえら
れることを意味している。従ってこのときには、その旨
の情報をコード化する等して距離画像メモリ１６に書込
むようにすればよい。また前記パターン投影機１７の光
源が弱く、被写体１上に明暗変化の強い模様パターンを
形成することが困難な場合には、その光源としてストロ
ゴ光等を用いるようにしてもよい。但し、このときには
上記ストロボ光の発光に同期してＴＶ右カメラ、３によ
る像入力を行わしめる必要があることは言うまでもない
。

また前述したパターン投影機１７によって被写体１の全
体に明暗変化のある複雑な模様を形成する場合には、そ
の模様に応じて比較的簡単に対応点検出を行うことも可
能と々る。

ところで、被写体１土に明暗変化のある対応点検出用の
部位を形成する補助手段を次のように構成することもで
きる。第４図はその実施例を示したものて、第２図に示
すものと同−鋤所には同一符号を付して示しである。し
かしてこの装置は、補助手段として前記被写体１にスポ
ット光を投影するスポット光投影機１９を用いたもので
ある。このスポット光投影機１９は、例えはレーザ光源
からなシ、方向制御回路２０の制御を受りて被万体ノの
調査対象点に上記スポット光を投影するものとなってい
る。この方向制御回路２０は、前記左画像中に対して設
定された調査点の位置情報（ｘ、ｙ）を入力して、その
位置に前記スポット光投影の方向制御を行うものである
。

かくしてこのように調査対象点に応じてスポット光を方
向制御して被写体１上にスポットによる明暗変化点を形
成すれは、先の実施例と同様に正確な対応点検出を行う
ことが可能となる。

尚、スポット光投影装置１９をＴＶ右カメラに近接して
設けても、その光軸とスポット光投影点とＴＶ左カメラ
射影結像系の中心のずれが生じる。

この為、左画像中の調査対象点の位置と、この位置情報
に従って制御されるスポット光投影位置との間にずれが
生じ、正確な対応点検出が妨げられることかある。従っ
てこの場合には、例えば第５図に示すようにＴＶ右カメ
ラの前に可動ミラー２１を設け、この可動ミラー２１の
角度を制御してＴＶ右カメラと光軸を同じくしてスポッ
ト光を投影するようにすればよい。そして、像入力時に
は上記可動ミラー２１をはね上げるような工夫を施すよ
うにすれはよい。更にこの可動ミラー２ノを、半透過性
ミラーや、プリズム体を用いて構成することも勿論可能
である。

更に光軸の一致だけではなく、スポット光発生器の位置
・角度も制御すれば投影の中心とＴＶ左カメラ射影中心
位置とを一致させることができ、正確にスポット光の向
きが定められる。そしてこれらの機構を介してスポット
光投影位置を調査対象点に応じて移動させていくように
すれはよい。

その他、スポット光に代えてスリット光を用いることも
可能であシ、また特定形状の光を投影して、そのｉ４タ
ーンをステレオ視処理することも可能である。

尚、上述した各実施例装置に、赤外線、レーザ光、超音
波等才用いた距離計を併設し、対応点検出が正確に行わ
れないときには上記距彫計を用いて調査対象点までの距
離を求め、これをステレオ視処理に利用するようにする
ことも勿論可能である。

以上説明したように本発明によれは、対応部位間の対応
度から、その対応が正確にとれているか否かを判定し、
正確でない場合には補助手段を用いて被写体１上に明暗
変化のある部位を形成したのち上記対応点検出を行うの
で、各種条件にある被写体の対応点検出を正確に行い得
る。これによってその距離画像を効果的に得ることがで
き、三次元物体の認識処理等に絶大なる効果を奏する。

尚、本発明は前述した実施例に限定されるものではない
。例えば補助手段を用いることのないステレオ視処理を
全画像に対して行ったのち、対応点の不明な点のみを記
憶しておき、これらの点について前記補助手段を用いて
ステレオ視処理を行うようにしてもよい。また相関値に
対する処理を、極大値判定を行ったのち、閾値判定して
行うようにしてもよい。また対応点検出を行い易い部位
は明暗変化の強いところであるから、その像信号を微分
処理したのち相関計算全行うようにしてもよい。また相
関計算に代えて５ＳＤＡ　（シーケンシャル−シミラリ
ティＱデテクション・アルゴリズム）を用い、２つの小
領域の各画素濃度の差の絶対値の総和の大小判定によっ
て相関の具合を判定するようにするととも可能である。

以上要するに本発明はその要旨を逸脱しない範囲で種々
変形して実施することができる。

【図面の簡単な説明】

第１図はステレオ視処理の基、本構成図、第２図は本発
明の一実施例装置の概略構成図、第３図は実施例装置に
おりる対応点検出処理を示す図、第４図は本発明の別の
実施例装置の構成図、第５図はスポット光投影の手段を
示す図である。 ｌ・・・被写体（対象物）、２，３・・・ＴＶ左カメラ
１１．１２・・・Ａ／Ｄ変換器、１３．１４・・・画像
メモリ、１５・・・ディジタル処理回路、１６・・・距
離画像メモリ、１７・・・パターン投影機、１９・・・
スポット光投影機、２θ・・・方向制御回路。 出願人代理人　　弁理士　鈴　江　武　彦第２図 第　３　図

Claims (3)

【特許請求の範囲】
1. （１）　　複数の異なる視点から同一被写体の像をそれ
   ぞれ入力する手段と、これらの複数の被写体像各部の間
   の対応度全そ些ぞ“れ計ａ−する手段と、この計算され
   た対応度から上ｄ己被写体像各部間の対応が正確にとら
   れているか否かを判定する手段と、この手段によシ上記
   対応が正確にとられていないと判定されたとき、対応点
   検出の補助と彦る明暗の変化を前記被写体上に形成する
   手段とを具備したことを特徴とするステレオ視処理装置
   。
2. （２）　　明暗の変化全被写体上に形成する手段は、被
   写体に対してスポット光または特定の模様パター／光を
   投影する光源からなるものである特許請求の範囲第１項
   記載のステレオ視処理装置。
3. （３）被写体像各部間の対応が正確にとられているか否
   かを判定する手段は、計算され・、た対応度を所定の閾
   値で弁別して行われるものである特許請求の範囲第１項
   記載のステレオ視処理装置。