JPH0661098B2 - ステレオ視覚装置 - Google Patents

Description

【発明の詳細な説明】 〔発明の技術分野〕 本発明は水平方向および垂直方向にそれぞれ等距離平行
移動されたカメラにより求められる２組のステレオ視画
像から、対象物の上記カメラの光軸に垂直な断面の情報
を高精度に得ることのできるステレオ視覚装置に関す
る。

〔発明の技術的背景〕

近時、ロボット制御技術、および画像処理技術の発達に
伴い、視覚機能を持つ自律型移動ロボットの研究開発が
盛んに行われている。

この種のロボットは、例えば原子力発電所の保守・点検
等、人間が立入ることが危険な環境下における作業を行
わせる為に必要とされる。

さてロボットの自律的な移動を行う為には、その進行方
向の環境情報、例えば障害物があるか、曲り角であるか
等を自動的に認識し、通過可能な空間を検出しながらロ
ボットの移動を制御する機能が必要となる。

しかして従来の代表的な３次元空間の情報入力手段とし
ては、 レーザや超音波を用いて対象物までの伝播時間を計
算するもの、 三角測量の原理を用いて対象物までの距離を計測す
るもの、 視点の異なりによる対象物の影や形の変化、テクス
チャ等の環境に対する拘束条件を利用して上記対象物を
認識するもの、 等がある。これらの中で、上記の手法の一種であるス
テレオ視法が、その汎用性や入力の簡易性等の理由から
ロボット視覚に適していると注目されている。

尚、上記ステレオ視法は、視点位置の異なる複数台のカ
メラにて対象物を撮像し、その視差から三角測量の原理
を応用して対象物までの距離を求めるものである。

具体的には、水平方向に所定距離を隔てた位置から対象
物を撮像入力してなる２枚の画像（ステレオ視画像）か
らそれぞれ上記対象物の輪郭エッジを抽出し、上記２枚
の画像間で対応するエッジを求める。そして上記２枚の
画像における対応エッジに対する視差を利用して、その
エッジ（対象物）までの距離を計算するものである。

〔背景技術の問題点〕

しかし、このような従来法にあっては次のような問題が
あった。

即ち、カメラを水平方向に平行移動してステレオ視画像
を得た場合、その垂直方向のエッジ成分についてはその
拘束条件（エピポラ・ライン）を利用して高精度に対応
付けることができるが、水平方向のエッジ成分について
は高精度な対応付けが困難である。また対象物が置かれ
た環境条件、例えば対象物の床面における影、床面から
の不本意な反射光、画像処理に伴う量子化雑音等に起因
する偽エッジ成分により、エッジの誤った対応付けが生
じ易く、その検出信頼性が悪い。更には、ステレオ視画
像において対応付けられたエッジが真に対象物の輪郭エ
ッジであるかを検証することが困難である等の問題があ
る。

この為、ステレオ視画像から対象物の輪郭エッジを高精
度に検出し、上記対象物までの距離を高精度に、しかも
信頼性良く計測するには、より一層の検討・工夫が必要
であった。

〔発明の目的〕

本発明はこのような事情を考慮してなされたもので、そ
の目的とするところは、ステレオ視画像から対象物のエ
ッジ成分を高精度に、且つ信頼性良く検出することので
きるステレオ視覚装置を提供することにある。

〔発明の概要〕

本発明は、１台のカメラにより対象物を撮像入力し、前
記カメラの光軸に対して垂直な面内で該撮像位置を基準
として前記カメラを水平方向および垂直方向にそれぞれ
等距離平行移動させた位置から前記対象物を撮像入力し
て、水平方向および垂直方向にそれぞれ視点を異ならせ
た２組のステレオ視画像を得るステレオ視画像獲得手段
と、このステレオ視画像獲得手段で得られた水平方向に
視点を異ならせた１組のステレオ視画像から垂直方向の
エッジ成分を検出する垂直エッジ成分検出手段と、前記
ステレオ視画像獲得手段で得られた垂直方向に視点を異
ならせた１組のステレオ視画像から水平方向のエッジ成
分を検出する水平エッジ成分検出手段と、前記垂直エッ
ジ成分検出手段で垂直方向のエッジ成分がそれぞれ検出
された１組のステレオ視画像に対し重ね合わせ処理をそ
の平行移動量を順に変えながら繰り返すことにより各エ
ッジ成分を視差に従って距離分解する垂直成分距離分解
手段と、前記水平エッジ成分検出手段で水平方向のエッ
ジ成分がそれぞれ検出された１組のステレオ視画像に対
し重ね合わせ処理をその平行移動量を順に変えながら繰
り返すことにより各エッジ成分を視差に従って距離分解
する水平成分距離分解手段と、これら垂直成分距離分解
手段と水平成分距離分解手段とで距離分解して得られた
垂直方向のエッジ成分および水平方向のエッジ成分に対
し視差の等しいエッジ成分同士を組合せて閉領域を形成
するエッジ成分の組を抽出する抽出手段と、この抽出手
段で抽出されたエッジ成分の組を前記ステレオ視画像と
照合して前記対象物に関する前記光軸に垂直な断面の情
報として検証する検証手段とを具備したことを特徴とす
るステレオ視覚装置。

〔発明の効果〕

かくして本発明によれば、１台のカメラにより対象物を
撮像入力して得られる水平方向および垂直方向に視点を
異ならせた２組のステレオ視画像から、その拘束条件と
相俟って精度良く対応付けの可能な垂直方向および水平
方向の各エッジ成分をそれぞれ求め、上記各ステレオ視
画像に対し重ね合わせ処理をその平行移動量を順に変え
ながら繰り返すことにより上記垂直方向および水平方向
の各エッジ成分をその視差に従ってそれぞれ距離分解
し、視差を同じくする垂直方向および水平方向のエッジ
成分同士を組合わせて、例えば閉パターンを成すエッジ
群を対象物の断面情報として得るので、その検出精度を
十分に高くすることができる。

しかも、このようにして検出された対象物の断面情報を
原画像に重ね合せる等して照合し、その検出断面情報を
検証するので、対象物に関するステレオ視覚情報を高精
度に、且つ信頼性良く得ることが可能となる。従ってロ
ボットの視覚機能等に効果的に応用することが可能とな
り、実用上多大なる効果が奏せられる。

〔発明の実施例〕

以下、図面を参照して本発明の一実施例につき説明す
る。

第１図は実施例装置における基本的な処理の流れを示す
ものであり、第２図は実施例装置の概略構成図である。

画像メモリや演算器等を内蔵して構成される処理装置本
体1 は、カメラ位置制御機構2 を駆動してカメラ3 によ
る対象物の撮像位置を制御している。

カメラ3 は、その光軸に垂直な面内を水平方向および垂
直方向にそれぞれ等距離平行移動されるもので、例えば
カメラ支持基準位置Ａを基準として水平方向に距離ｌ隔
てた位置Ｂ、および垂直方向に距離ｌ隔てた位置Ｃにそ
れぞれ平行移動され、上記各位置Ａ，Ｂ，Ｃから対象物
をそれぞれ撮像入力するものとなっている。

このようにしてカメラ3 にて撮像入力された画像は、画
像モニタ4 にて表示されてモニタされると共に、前記処
理装置本体1 に与えられて画像処理に供せられるように
なっている。

処理装置本体1 は、上述した平行移動によって設定され
る各位置Ａ，Ｂ，Ｃにてカメラ3 がそれぞれ撮像入力し
た画像を画像メモリ（図示せず）に格納し、水平方向に
距離ｌを隔てた位置Ａ，Ｂにて得られた一対の画像を水
平方向ステレオ視画像としている。また同様に、垂直方
向に距離ｌを隔てた位置Ａ，Ｃにて得られた一対の画像
を垂直方向ステレオ視画像としている。そしてこれらの
２組のステレオ視画像に対して次のような処理を施し、
対象物に関する前記カメラ3 の光軸に垂直な断面の情報
を求めている。

即ち、第１図に示すように処理装置本体1 は、先ずカメ
ラ3 を水平方向に移動させて水平方向ステレオ視画像を
入力し（ステップａ）、このステレオ視画像における垂
直方向のエッジ成分をそれぞれ抽出する（ステップ
ｂ）。そして後述するように、ステレオ視画像における
視差に基いて各垂直方向エッジ成分を距離分解する（ス
テップｃ）。

その後、同様にしてカメラ3 を垂直方向に移動させて垂
直方向ステレオ視画像を入力し（ステップｄ）、このス
テレオ視画像における水平方向のエッジ成分をそれぞれ
抽出する（ステップｅ）。そしてこのステレオ視画像に
おける視差に基いて各水平方向エッジ成分を距離分離す
る（ステップｆ）。

以上の手続きを経て、前記２組のステレオ視画像間にお
いて、視差が等しいエッジを相互に対応付けし、例えば
閉パターンを形成するエッジ成分の組を前記対象物の前
記光軸に垂直な断面を表す情報として抽出する（ステッ
プｇ）。そして、この断面の情報を表すエッジ成分の組
を前記原画像に対して重ね合せる等して、その検出され
た断面情報が正しいか否かを検証する（ステップｈ）。

このような一連の処理によって、ステレオ視画像から対
象物の関するエッジ成分だけを高精度に、且つ信頼性良
く検出することが可能となる。

以上の処理について更に詳しく説明する。

例えば直方体からなる対象物を撮像して第３図（ａ）に
示す如き画像（ステレオ視画像を構成する２つの画像の
一方）を得たものとする。しかして水平方向ステレオ視
画像である場合には、同図（ｂ）に示すようにその垂直
方向エッジ成分のみを抽出し、また垂直方向ステレオ視
画像の場合には同図（ｃ）に示すようにその水平方向エ
ッジ成分のみを抽出する。

このような水平方向および垂直方向の各エッジ成分と抽
出は、例えば原画像に対する空間フィルタリング処理に
よって実現される。具体的には、（３×３）画素型のデ
ィジタル・フィルタにてエッジ成分の抽出処理を行う場
合、垂直方向エッジの抽出に際しては、第４図（ａ）に
示すように重み付けされたマスクを用い、また水平方向
エッジの抽出に際しては、第４図（ｂ）に示すように重
み付けされたマスクを用いるようにすれば良い。

このようにしてステレオ視画像からのエッジ検出を行っ
た場合、一般的には第３図に示すように対象物の輪郭を
示すエッジ成分以外に、その背景部に起因する偽エッジ
成分も検出される。

このようにして求められる各ステレオ視画像におけるエ
ッジ成分に対して、視差を利用した距離分解処理が次の
ようにして行われる。第５図はこの視差を利用したエッ
ジ成分の距離分解の処理手続きの一例をし示すものであ
り、第６図はその処理画像の例を示すものである。

即ち、ステレオカメラの光軸が平行であり、ステレオ視
画像を構成する２枚の画像からそれぞれ求められる垂直
方向エッジ画像が第６図（ａ）（ｂ）に示される場合、
その一方、例えば前記位置Ａで画像された左画像を基準
として、位置Ｂで撮像された右画像を水平方向に移動さ
せ（ステップｐ）、同図（ｃ）に示すようにその２枚の
画像間でエッジの重ね合せ処理を行う（ステップｑ）。
尚、理論的には、２枚の画像の相対的な平行移動によっ
てエッジの重ね合せ処理を行えば良い。

そしてこの重ね合せ処理により、２枚のエッジ画像間の
相関係数を計算し（ステップｒ）、その計算値を閾値処
理して対応エッジを求める（ステップｓ）。

この対応エッジの抽出は、例えばステレオ視画像におけ
る２つのエッジ画像の各濃度値をＡij，Ｂijとし、規定
ウインドウＷmn内の相関係数Ｓmnを次のようにして計算
することによって達せられる。

そして、この相関係数値Ｓmnを、予め定められた閾値と
比較し、閾値以上の各相関係数値Ｓnmを得るエッジ成分
だけを対応成分であるとして第６図（ｄ）に示すように
抽出する。この処理をその平行移動量を順に変えながら
繰返し行い、例えば等距離断面上のエッジ成分を手前側
から順に求め、前記エッジ画像におけるエッジ成分を距
離分解する。

この処理は、垂直方向ステレオ視画像における水平方向
エッジ画像間においても同様に行う。

尚、この視差に基くエッジ成分の距離分解は、次のよう
な視差理論に基いて行われる。

即ち第７図に示すように、例えば水平方向に距離ｌずれ
た位置Ｑ1,Ｑ2 から、距離Ｄを隔てた前方位置Ｐの像を
撮像すものとする。但し、上記距離Ｄはカメラ3 のレン
ズ中心位置Ｏ1,Ｏ2 からの距離とし、このレンズ中心位
置Ｏ1,Ｏ2 から撮像面までの距離がｄであるとする。そ
して、位置Ｑ1 から見た像Ｐの撮像面における結像位置
Ｐ1 のレンズ中心からの偏移幅がｌ1 であり、位置Ｑ2
から見た像Ｐの撮像面における結像位置Ｐ2 のレンズ中
心からの偏移幅がｌ2 であるとする。

この場合のステレオ視画像における対象物Ｐに対する視
差Ｓは、 Ｓ＝ｌ1 ＋ｌ2 ＝｛×（ｄ／Ｄ）｝＋｛×（ｄ／Ｄ）｝ ＝ｄ・ｌ／Ｄ となる。このように視差Ｓと対象物Ｐまでの距離Ｄと
は、ステレオ視画像を得たカメラ位置間の距離に対して
線形な関係を有する。従って上述した如くエッジ画像の
重ね合せ処理を、その視差量を変えながら行うことによ
って、前記エッジ画像における各エッジ成分をそれぞれ
距離分解することが可能となる。

このようにして水平方向、および垂直方向における各エ
ッジ成分の距離分解処理を行った後、視差の等しいエッ
ジ成分同士を組合せ、例えば閉領域を形成するエッジの
組を抽出する。

具体的には、或る視差を持つ垂直方向エッジ成分を第８
図（ａ）に示すように抽出し、同様に同じ視差を持つ水
平方向エッジ成分を同図（ｂ）に示すように抽出する。
そしてこれらの両エッジ画像を第８図（ｃ）に示すよう
に重ね合せ、水平方向および垂直方向のエッジ成分によ
って閉領域を形成するエッジの組を検出する。このエッ
ジの組を、その視差に関する対象物の前記光軸に垂直な
断面の情報として求める。

これによって対象物に関する断面情報が、カメラ3 から
の距離に対応して求められることになる。

しかして本装置では、このようにして求められた断面の
情報、つまりエッジの組を原画像（ステレオ覚画像の一
方）上に重ね合せ、その検出結果が正しいか否かを検証
している。この検証は前記画像モニタ4 による目視検査
であっても良いが、ここでは上記エッジの組によって囲
まれる閉領域内部の原画像の濃度和を求め、その値が所
定の閾値以上であるか否かを判定している。つまり、エ
ッジの組によって囲まれる閉領域が対象物の断面である
場合、その内部の濃度が背景濃度と明かに異なっている
ことを利用して検出結果の検証を行っている。

以上の一連の処理によって、反射や影、雑音等に起因し
て生じる偽エッジによる誤った対象物検出が防止され、
対象物に関する高精度で信頼性の高い情報のみが求めら
れるよになっている。

以上のように本装置にあっては、水平方向、および垂直
方向に視点を異ならせて求められた２組のステンレス視
画像から、その拘束条件に従う検出信頼性の高いエッジ
成分だけをそれぞれ検出し、このエッジ成分を視差に従
って距離分解したのち、視差を同じくするエッジ成分の
組を求め、閉領域を形成するエッジの組を対象物の断面
情報として求めている。従ってその検出精度を十分に高
くすることができる。

しかもこのようにして検出された断面情報を原画像に重
ね合せてその検証を行い、真に正しい断面情報だけを求
めるようにしている。

従って検出精度の向上を図り、また検出信頼性の向上を
も図り得る等の実用上多大なる効果を奏し得る。

尚、本発明は上述した実施例に限定されるものではな
い。例えば複数台のカメラを用いて水平方向および垂直
方向のステレオ視画像を同時に得るようにしても良い。
また個々の画像処理については、従来から知られた手法
を適宜用いることができる。要するに本発明はその要旨
を逸脱しない範囲で種々変形して実施することができ
る。

【図面の簡単な説明】

図は本発明の一実施例を示すもので、第１図は画像処理
の概念を示す図、第２図は実施例装置の概略構成図、第
３図はエッジ成分検出の例を示す図、第４図はエッジ検
出に用いられるマスクの例を示す図、第５図は視差に基
くエッジ成分の距離分解処理の流れを示す図、第６図は
エッジ成分の距離分解における処理画像例を示す図、第
７図は視差原理を示す図、第８図は断面情報の検出処理
画像の例を示す図である。 1……処理装置本体、 2……カメラ位置制御機構、 3…
…カメラ、 4……画像モニタ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】１台のカメラにより対象物を撮像入力し、
   前記カメラの光軸に対して垂直な面内で該撮像位置を基
   準として前記カメラを水平方向および垂直方向にそれぞ
   れ等距離平行移動させた位置から前記対象物を撮像入力
   して、水平方向および垂直方向にそれぞれ視点を異なら
   せた２組のステレオ視画像を得るステレオ視画像獲得手
   段と、 このステレオ視画像獲得手段で得られた水平方向に視点
   を異ならせた１組のステレオ視画像から垂直方向のエッ
   ジ成分を検出する垂直エッジ成分検出手段と、 前記ステレオ視画像獲得手段で得られた垂直方向に視点
   を異ならせた１組のステレオ視画像から水平方向のエッ
   ジ成分を検出する水平エッジ成分検出手段と、 前記垂直エッジ成分検出手段で垂直方向のエッジ成分が
   それぞれ検出された１組のステレオ視画像に対し重ね合
   わせ処理をその平行移動量を順に変えながら繰り返すこ
   とにより各エッジ成分を視差に従って距離分解する垂直
   成分距離分解手段と、 前記水平エッジ成分検出手段で水平方向のエッジ成分が
   それぞれ検出された１組のステレオ視画像に対し重ね合
   わせ処理をその平行移動量を順に変えながら繰り返すこ
   とにより各エッジ成分を視差に従って距離分解する水平
   成分距離分解手段と、 これら垂直成分距離分解手段と水平成分距離分解手段と
   で距離分解して得られた垂直方向のエッジ成分および水
   平方向のエッジ成分に対し視差の等しいエッジ成分同士
   を組合せて閉領域を形成するエッジ成分の組を抽出する
   抽出手段と、 この抽出手段で抽出されたエッジ成分の組を前記ステレ
   オ視画像と照合して前記対象物に関する前記光軸に垂直
   な断面の情報として検証する検証手段と を具備したことを特徴とするステレオ視覚装置。