JPH0253187A - 二眼立体認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 対象物を二眼で観測して得た各２画像のうちから、当該
対象物表面上の同一の物点から得られたと推定される２
画素を順次対応付けて、当該２画素から前記物点に対す
る距離計算を行い、当該各画素位置及び距離を用いて該
当する物点を各画素毎に三次元座標で表示し、当該座標
に基づいて対象物の立体認識を行う二眼立体認識方法に
関し、オフルージョンが生じている場合であワても、対
象物を近似的に高速に復元することのできる二眼立体認
識方法を提供することを目的とし、前記２画像の一方を
形成する各画素について、当該２画像の他方を形成する
画素の中に対応画素が有るか否かを判断し、対応画素が
有ると判断した場合にはこれらの画素に関する所定の座
標値を平均して該当する前記対象物の物点の三次元座標
値として出力し、対応画素がないと判断した場合には当
該画素の前記三次元座標値を該当する前記対象物の物点
の三次元座標値として出力する構成である。

〔産業上の利用分野〕

本発明は二眼立体認識方法に係り、特に対象物、を二眼
で観測して得た各２画像のうちから、当該対象物表面上
の同一の物点から得られたと推定される２画素を順次対
応付けて、当該２画素から前記物点に対する距離計算を
行い、当該各画素位置及び距離を用いて該当する物点な
各画素毎に三次元座標で表示し、当該三次元座標に基づ
いて対象物の立体認識を行う二眼立体認識方法に関する
。

〔従来の技術〕

従来、第９図に示すような二眼立体認識方法があった。

本方法は同図に示すようにステップＳ１で対象物を二眼
で観測して得た各２画像のうちから、当該対象物表面上
の同一の物点から得られたと推定される２画素を順次対
応付けて、当該２画素から前記物点に対する距離計算を
行い、当該各画素位置及び距離を用いて該当する物点を
各画素毎に三次元座標で表示する。

ステップＳＡ２では三次元座標で各画素毎に表示された
前記対象物表面上の該当する物点の三次元座標値で表示
された位置が一致するか否かを判断することにより、一
方の画像を形成する画素に関して一致画素（三次元座標
が一致する画素）が存在するか否かを判断する。

これは、オフルージョン（隠蔽）等が存在しなければ、
二眼で得られた２画像は一対一に対応すべきであり、対
応付けされた前記二画素により得られた対象物表面の１
つの物点を表示する三次元座標は一致すべきであるから
である。

−数画素が存在する場合には当該画素の座標を前記対象
物の該当する点の三次元座標値としてそのまま出力する
。

一方、前記画素の座標に一致する座標が存在しない場合
には前記対象物には該当する点が存在しないものとして
三次元座標の出力を行わないことになる。

（発明が解決しようとする課題） ところで、従来の方法にあっては、二眼により得られた
２画像を形成する各画素に結びつけられた対象物たる物
点の各三次元座標値が一致する一致画素が存在しない場
合には、前記対象物には物点が存在しないものとして三
次元座標値の出力を行わないようにしているため、オフ
ルージョン（隠蔽）により二眼の各画像の対応付けを行
うことができない対象物表面の領域にあっては、対象物
の復元が全くされないという問題点を有していた。

すなわち、第１０図に示すように、（ａ）に示した対象
物に対して、当該方法により二眼で各々得られた画像毎
に距離計算を行フて、各々三次元の距離画像（ｂ）、（
Ｃ）を得ると、当該画像から各画素について座標が一致
した部分から（ｄ）の対象物（ａ）の表面の三次元座標
値が得られるがオフルージョンが生じている凹部につい
ては復元がなされないことになる。

そこで、本発明は以上の問題点を解決することを技術的
課題とするものであり、オフルージョンが生じている場
合であっても、対象物を近似的に高速に復元することの
できる二眼立体認識方法を提供することを目的としてな
されたものである。

（課題を解決するための手段） 以上の問題点を解決するため本発明は第１図に示すよう
に、対象物を二眼で観測して得た各２画像のうちから、
当該対象物表面上の同一の物点から得られたと推定され
る２画素を順次対応付けて、当該２画素から前記物点に
対する距離計算を行い、当該各画素位置及び距離を用い
て該当する物点な各画素毎に三次元座標で表示し（Ｓｌ
）、当該三次元座標に基づいて対象物の立体認識を行う
二眼立体認識方法において、 前記２画像の一方を形成する各画素について、当該２画
像の他方を形成する画素の中に対応画素が有るか否かを
判断し（Ｓ２）　、当該画素に対応画素が有ると判断し
た場合にはこれらの画素の所定の座標値を平均して該当
する前記対象物の物点の三次元座標値として出力し（Ｓ
３）、当該画素に対応画素がないと判断した場合には当
該画素の前記三次元座標値を該当する前記対象物の物点
の三次元座標値として出力する（Ｓ４）ものである。

〔作用〕

本発明は第１図に示すようにステップＳ１で対象物を二
眼で観測して得た各２画像のうちから、当該対象物表面
上の同一の物点から得られたと推定される２画素を順次
対応付けて、当該２画素から前記物点に対する距離計算
を行い、当該各画素位置及び距離を用いて該当する物点
を各画素毎に三次元座標で表示する。

ここで、「物点」とは大きさを無視し得る点状の物体を
意味し、対象物とは当該物点の集合と考えることができ
る。また、「推定される」とは前記２画像の各画素はオ
フルージョン等により必ずしも一対一に対応付けられる
ものではなく、オフルージョンが存在する場合には近似
的に対応付けを行わざるを得ないからである。

さらに、２画像の各画素の対応付けを行うのは、対象物
上の物点に対する距離を三角測量の原理により測定する
ためである。

ステップＳ２で前記２画像の一方を形成する各画素につ
いて、当該２画像の他方を形成する画素の中に対応画素
が有るか否かを判断する。

ここで、「対応画素」とは、前記２画像の一方を形成す
る画素と対象物表面上の同一の物点から得られたと推定
される画素をいい、対応画素か否かの判断は本来当該画
素により定められた対象物上の物点の前記三次元座標が
一致するか否かにより判断されるべきものであるが、前
記２画像の対応付けによる距離計算等はオフルージョン
等の発生により近似的なものであり、対応画素の判断な
三次元座標が完全に一致することを要求すると、オフル
ージョンの場合でも近似的に得られた対象物に関する情
報を全く無視することになり、妥当ではないからである
。

本発明では対応画素の判断には三次元座標の完全な一致
を要求することなく、例えば三次元座標のうち「所定の
座標値」として二次元座標値の一致をもって対応画素の
判断を行い、不一致の座標に関しては平均値をとるよう
にして、当該対象物に関して得られた情報をある程度生
かすようにしたものである。

また、二次元座標値としては例えば対象物を走査する際
に定められる座標値をとるようにすることが考えられる
。

前述したようにオフルージョンの発生等により、前記二
面像間の対応付けは近似的なものにならざるを得ないた
め、必ずしも一方の画像を形成する画素に対して他方の
画像に対応画素が存在しない場合もあり得る。

ステップＳ２で対応画素が存在すると判断した場合には
所定の座標値の平均値がとられ、該当する対象物上の三
次元座標として出力されることになる。

一方、ステップＳ２で、ある画素に対して対応画素が存
在しないと判断された場合にはステップＳ４に進み、当
該座標値をそのまま前記対象物の該当点に対する座標値
として出力することになる。

（実施例） 本発明の実施例について説明する。

本実施例は第２図のブロック図に示すように、右視差画
像生成部１と、左視差画像生成部２と、距離算出部３，
４と、三次元座標算出部５゜６と、座標値平均演算部７
とを有する。

ここで、右左視差画像生成部１．２とは入力した右左画
像に基づいて右左の画像の対応付けを行うとともに、右
（左）側の画像を基準とした時の左（右）側対応画素と
のずれを示す右（左）視差画像を生成するものである。

当該距離算出部３，４は二眼、すなわち左右のカメラに
関するカメラ・パラメータ（焦点距離、倍率、位置等）
を用いて得られた画像の各画素（視点）と対象物との距
ｆｉｇ　（Ｐ　−ｒａｎｇｅ　）を算出するものである
。

また三次元座標算出部５．６はスキャンライン上で対象
物表面の三次元座標を算出するものである。

尚、以下の説明で第６図に示すような座標系を設定する
。すなわち、前記二眼としての左右のカメラを原点とし
て像面に平行な座標軸をもつように設定された左右カメ
ラ座標系及び当該左右のカメラの中点を原点として当該
左右のカメラ位置を結ぶ線を１つの座標軸とするカメラ
ヘッド座標系であつて、当該座標系を基準にとると当該
左右のカメラ位置は（Ｘ、Ｙ、Ｚ）−（±ａ、０．０）
と表すことができ、又前記スキャンラインはＸＹ平面に
平行な面（Ｚ＝Ｚｏ）と前記対象物表面との交線という
ことになる。

座標値平均演算部７は後述するように当該スキャンライ
ン上（２座標値は同一）で同一のＸ座標値をもつ点があ
る場合には対応画素が存在することになり、Ｙ座標値の
平均値を求め、同一のＸ座標値を持つ画素がない場合に
は対応画素が存在しないことになり当該座標値をそのま
ま三次元座標値として出力するものである。

本実施例に係る二眼立体認識方法は次のように動作する
。

第３図の流れ図に示すように、ステップＳＪＩで対象物
の表面上に光を照射して前記左右のカメラに立体認識の
対象である対象物に関し２画像としての左右の画像を入
力する。例えば、凹みのある対象物に対して左右の視点
（各カメラ座標系の原点）から観測した場合の画像を第
４図（ａ）、（ｂ）に示す。

ステップＳＪ２で当該入力した左右の画像に対して対応
付けをスキャンライン上の画素毎に行う。

当該対応付けは、例えば動的計画法により行う。動的計
画法による対応付けに関しては「動的計画法によるステ
レオ画像の区間対応法」　（大田友−１池田克夫著　電
子通信学会論文誌’　８５／４Ｖｏ１．Ｊ６８−Ｄ　Ｎ
ｏ、４）に記載されている。

動的計画法による対応付けは例えば第５図に示すように
左右のカメラで得られた各画像＜ｎ度分布で得られる）
がある場合には同図に示すようなパスで各画像の画素の
対応付けを行うことになる。

ここで、「対応付け」とは対象物を二眼で観測して得た
各２画像のうちから、当該対象物表面上の同一の物点か
ら得られたと推定される２画素の対を得ることであるが
、オクルージミンの存在等により必ずしも当該対応付け
は一対一に対応付けされるものではなく近似的に対応付
けを行わざるを得ない。

このように各画素に対して対応付けられた各画像は前記
右左視差画像生成部１，２から出力されて前記各画像毎
に距離算出部３，４に送出され、ステップＳＪ３で距離
計算がなされることになる。

距離計算は前記左右のカメラにより得られた各画像の画
素と対象物の表面との間の距１ＡＲＬ、Ｒｖｔを求める
ものであって、第６図に示すように左右の視点間の距離
（基線長）は２ａ、視線の光軸のなす角度（輻稜角）は
２α、また簡単のために対象物の像はカメラヘッド座標
系に平行に投影されているものとする。

第７図に示すように三角形ＡＢＣと三角形ＥＦＧとは相
似形となり、 ＨＤ／ＡＢ＝ＤＦ／２ａ であるから、 ＥＤ！ｓｉｎα／２准ＤＦ ここで、ＤＦを求めるためには前記カメラ座標系からカ
メラヘッド座標系への変換を考えると（ηＸ、ηＹ）畔
（−ａ＋ηｘ　／ｃｏｓα、０．ηＹ）（ξＸ、ξＹ）
→（ａ＋ξｘ　／ｃｏｓα、０．ξＹ）であるから、 ＤＦ’　ｌ　−２ａ＋（？７Ｘ−ξｘ）／ｃｏｓｃｃ　
ｌよって、左カメラの場合には （１）ηｘ＜０ならＲｔ、−ＥＤ−Ｌ。

（２）η８≧０ならＲＬ−ＥＤ＋Ｌ。

右カメラの場合には （１）ξ８く０ならＲＲ謬ＥＤ＋ＲＯ （２）ξ８≧０ならＲＲ−ＥＤ−Ｒｏ となる。

以上示したように前記カメラと対象物の表面の各物点と
の距離が求められると、ステップＳＪ４に進み、左右画
像毎に前記三次元座標算出部５，６により前記カメラヘ
ット座標系において三次元座標の算出が行われることに
なる。

三次元座標の算出は左右のカメラ座標系からカメラヘッ
ド座標系への座標変換により対象物表面の三次元座標を
求めることができる。

右カメラ座標系からカメラヘッド座標系への座標変換は
次の直交変換により表わすことができる。

一方右カメラ座標系からカメラヘッド座標系への座標変
換は次の直交変換により行うことができる。

となる。

この座標変換をスキャンライン毎に行い、次段へのデー
タを受は渡す。

こうして、ステップＳＪ４で左右画像毎に三次元座標が
算出されるとステップＳＪ５に進み当該三次元座標値を
比較することにより対応画素が存在するか否かが判断さ
れることになる。

すなわち、本実施例では前記対象物上のスキャンライン
上の三次元座標のうち「所定の座標値」として二次元座
標値の一致をもって対応画素の有無の判断を行い、前記
座標値平均演算部７により他の一次元の座標値に関して
は平均値をとることになる。

すなわち、 （１）所定の座標値として対象物表面上の該当する物点
のＸ、Ｚ座標が同一の画素（ＸＬ＝ＸＲまた当然ＺＲ＝
ＺＬ）があった場合には、当該画素同士は対応画素同士
であるとしてステップＳＪ６に進みＹ座標値については
当該対応画素同士の平均値を採り、Ｙ　＝　（ＹＲ＋Ｙ
Ｌ）　／　２を該当点のＹ座標値とする。

（２）一方、Ｘ、Ｚ座標値が一致せずに対応画素が存在
しない場合にはステップＳＪ７に進み、該当点の位置の
Ｙ座標値としてＹ−ＹＬまたはＹ＝Ｙ。

となるようにＹ座標値を変換して当該画素の座標値を出
力することになる。

ステップＳＪ８に示すように以上の動作は前述した画像
上の全画素についての処理が終了するまでスキャンライ
ン毎に続けられる。

第８図に本実施例に係る処理について具体的に説明する
。

本例では同図（ａ）に示すような対象物に対して、二眼
で立体認識を行う場合には、二眼の各視点を基準にして
、同図（ｂ）（ｃ）に前記三次元算出部５，６によりス
テップＳＪ４で各々得られた対象物表面に関する距離画
像（三次元座標値）を示す。

同図（ｄ）に前記座標値平均演算部７によりステップＳ
Ｊ６及びＳＪ７で当該距離画像について対応画素が求め
られ平均値等がとられた結果を示す。

こうして、本実施例では従来と異なり、オフルージョン
が存在する領域内にあってもある程度対象物を復元する
ことができることになる。

〔発明の効果〕

以上説明したように本発明ではオフルージョンが存在す
るために対象物表面上のある物点に対して二眼のうち一
方の画像にのみ投影により画素が得られ、他方の画像に
は対応する画素が存在しない場合、または対象物の物点
の位置座標は異なっても所定の座標値を比較することに
より近似的に対応画素が存在するとみなせる場合であっ
ても、当該画素に対する対象物の該光点の三次元座標値
を得るようにしている。

したがって、オフルージョンが存在する場合でも、当該
対象物から得られた情報をすべて無視することなく、近
似的に対象物の復元を行うことができることになる。

【図面の簡単な説明】

第１図は発明の原理流れ図、第２図は実施例に係るブロ
ック図、第３図は実施例に係る流れ図、第４図は対象物
を左右の視点から観測した場合の画像を示す図、第５図
は動的計画法による対応付けの原理図、第６図は左右の
カメラ座標系及びカメラヘッド座標系を示す図、第７図
は距離算出の説明図、第８図は実施例に係る処理説明図
、第９図は従来例に係る流れ図、第１０図は従来例に係
る処理説明図である。 １．２・・・右左視差画像生成部 ３．４・・・距離算出部 ５．６・・・三次元座標算出部 ７・・・座標値平均演算部

Claims (1)

1. 【特許請求の範囲】 　対象物を二眼で観測して得た各２画像のうちから、当
   該対象物表面上の同一の物点から得られたと推定される
   ２画素を順次対応付けて、当該２画素から前記物点に対
   する距離計算を行い、当該各画素位置及び距離を用いて
   該当する物点を各画素毎に三次元座標で表示し（Ｓ１）
   、当該三次元座標に基づいて対象物の立体認識を行う二
   眼立体認識方法において、 前記２画像の一方を形成する各画素について、当該２画
   像の他方を形成する画素の中に対応画素が有るか否かを
   判断し（Ｓ２）、 当該画素に対応画素が有ると判断した場合にはこれらの
   画素の所定の座標値を平均して該当する前記対象物の物
   点の三次元座標値として出力し（Ｓ３）、 当該画素に対応画素がないと判断した場合には当該画素
   の前記三次元座標値を該当する前記対象物の物点の三次
   元座標値として出力する（Ｓ４）ことを特徴とする二眼
   立体認識方法。