JPS6310280A

JPS6310280A - ３眼立体視装置

Info

Publication number: JPS6310280A
Application number: JP61155682A
Authority: JP
Inventors: Masahiko Yanaida; 正彦谷内田; Atsushi Kuno; 敦司久野
Original assignee: Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1986-07-01
Filing date: 1986-07-01
Publication date: 1988-01-16

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〈産業上の利用分野〉この発明は、３次元物体を所定の方向より観測して立体
認識する３眼立体視装置に関連し、殊にこの発明は、各
撮像面上に生成された物体画像につき物体を特徴付ける
点（以下、これを「特徴点」という）を検出し、各画像
における特徴点間の対応付けを行って物体上の点の３次
元座標を求める３成立体視装置に関する。

〈従来の技術〉第６図は、“従来の３成立体視装置の構成例を示してお
り、固定機台４０上に３個のテレビカメラＬ、２．３　
（以下、「第１カメラ１」。

「第２カメラ２」、「第３カメラ３」という）を配設し
て撮像手段４を構成し、各テレビカメラで得た物体画像
を画像認識装置４１に取り込んで、特徴点間の対応付け
や物体上の点（以下、「物点」という）の３次元座標の
算出等、一連の立体認識処理を実行する。

第７図は、像点（特徴点）間の対応付は方法を示す原理
説明図であり、各テレビカメラ１〜３の各撮像面（以下
、第１〜第３の撮像面という）１０．２０．３０上に物
点Ｐについての像点Ｐ、、Ｐ、、Ｐ、が存在位置してい
る。また第２の撮像面２０上に生成される物体画像上に
は、第１カメラ１の焦点Ｆ１と像点Ｐ、とを結ぶ直線Ｆ
＋　Ｐ＋の像（これを「エピポーラライン」という）１
２が設定され、同様に第３の撮像面３０上に生成される
物体画像上には直線ＦＪ　　ＰＩ　、直線Ｆ、Ｐ、およ
び直線Ｆｘ　Ｒｘの各エピポーラライン１．．ｍ３．ｎ
、が設定されている。

第８諷（１）〜（３）は、第１〜第３の各撮像面１０゜
２０．３０に生成された各画像を示す。同図によれば、
第２の撮像面２０における像点Ｐ２はエピポーラライン
１２上に位置し、第３の撮像面３０における像点Ｐ３は
エピポーララインｊ！、、ｍ、の交点上に位置する。こ
のことから像点ＰＬ　、Ｐｚ　、Ｐｌは物点Ｐの画像と
して相互に対応する点であることが理解され、従って物
点の３次元座標は直線Ｆ、Ｐ、、Ｆ２　ＰＺ。

Ｆ、Ｐ、の交点として求めることができる。

なお第８図＋２１　＋３）には、第７図の平面Ｆｒ　Ｐ
ｌ　Ｐｚ上に位置する他の物点Ｒの像点Ｒ，，Ｒ３を併
せて示してあり、この場合、像点Ｒ１はエピポーラライ
ンｊｉ！、、、ｍ＝の交点上に位置しない。

〈発明が解決しようとする問題点〉上記構成の３成立体視装置において、各撮像面に生成さ
れた物体画像の像点（特徴点）間の対応付けを行うのに
、従来はこれをソフト処理によって実施しているため、
この種対応付は処理に多大の時間がかかり、立体視の処
理効率が著しく低下するという問題があった。

この発明は、上記問題を解消するためのものであって、
第１〜第３の各撮像面の配置を工夫すると共に、特徴点
の対応付けをハード的に実施することによって、処理効
率の向上させた新規な３成立体視装置を堤供することを
目的とする。

く問題点を解決するための手段〉上記目的を達成するためのこの発明の構成を、一実施例
に対応する第１図および第２図を用いて説明すると、こ
の発明の３　［ｉ！立体視装置では、物体画像が生成さ
れる第１〜第３の撮像面１０．２０．３０を備え各撮像
面は同一平面内に位置さ・仕ると共５こ第１．第３の各
撮像面１０゜３０は第２の撮像面２０に対し直角位置に
配置されて成る撮像手段４と、第１の撮像面１０に生成される物体画像を走査して物体
の特徴点（実施例ではエツジ点）Ｐｌを検出するための
第１の特徴点検出手段（第１図中、第１のエツジ点検出
部６に相当する）と、第２の撮像面２０に生成される物体画像に対し、第１の
特徴点検出手段が検出した特徴点Ｐいについてのエピポ
ーラライン１つを設定して、このエピポーラライン１２
上に位置する物体の特徴点Ｐ２を検出するための第２の
特徴点検出手段（第１図中、第２のエツジ点検出部７に
相当する）と、第３の撮像面３０に生成された物体画像に対し、第１．
第２の各特徴点検出手段が検出した各特徴点Ｐ、、Ｐ、
についてのエピポーララインβ２９ｍ３を設定して各エ
ピポーララインｊ！、、ｍ３の交点位置を求めると共に
、この交点位置における特徴点Ｐ、の存在有無を判別す
る第３の特徴点検出手段（第１図中、第３のエツジ点検
出部８に相当する）とを具備させることにした。

く作用〉撮像手段４で物体を撮像して、それぞれの撮像面１０，
２０．３０に物体画像が生成されると、つぎに空間微分
処理部５に、５２．５３にて像点の空間微分が行われて
エツジ画像が生成される。

ついで第１のエツジ点検出部６は、空間微分処理部５１
で生成されたエツジ画像を走査して、エツジ点Ｐ、を物
体の特徴点として検出し、このエツジ点Ｐ１のｉ座標デ
ータミルを第２のエツジ点検出部７に与える。

第２のエツジ点検出部７は、方程式１−ｉｐで表される
エピポーララインｅｚに沿って空間微分処理部５２で生
成されたエツジ画像を走査してエツジ点Ｐ２を検出し、
このエツジ点Ｐ２の座標データＩＰＩＪ４や前記エツジ
点Ｐ、のｊ座標データｊｐが第３の工・ノジ点検出部８
に与えられる。

第３のエツジ点検出部８は、空間微分処理部５３で生成
されたエツジ画像に対し、各エツジ点ｐｔ、ｐｚについ
てのエピポーラライン１３（Ｊ＝ＪＱの方程式で表され
る）１ｍ、を設定して各エピポーララインｇ３．ｍ、の
交点位置を求めた後、この交点位置にエツジ点Ｐ、が存
在するか否かを判別する。

この交点位置（１９，ｊＱ）にエツジ点Ｐ。

が存在すると判断されると、各エツジ点ＰＩ。

Ｐｚ、Ｐｘは対応関係にあるとみなされ、三角測量演算
部９は各エツジ点Ｐ、、Ｐ、、Ｐ３の座標データ等に基
づき三角測量演算を実行して、物点の３次元座標（ｘ、
ｙ、ｚ）を算出する。

この一連の動作は、第１のエツジ点検出部６がエツジ点
を検出する毎に操り返し実行されるもので、この装置の
ハード構成によれば、エツジ点の対応付は処理を短時間
で実施でき、立体視の処理効率が向上する。

〈実施例〉第１図は、この発明の一実施例にがかる３成立体視装置
の全体構成例を示す。

図示例の装置は、３個のテレビカメラ１〜３より成る撮
像手段４と、各テレビカメラに接続される空間微分処理
部５１〜５３と、各空間微分処理部に接続されるエツジ
点検出部６，７゜８とを含む他、三角測量演算部９．座
標記憶部９１．３成立体視制御部９２等より構成されて
いる。

前記テレビカメラ１〜３は、３次元物体を所定の方向よ
り観測して、例えば２次元ＣＣＤより成る撮像面１０．
２Ｑ、３Ｑ　（第２図に示す）上に物体画像を生成する
ためのものであり、各テレビカメラ１〜３は、それぞれ
撮像面（以下、「第１の撮像面１０Ｊ、ｒ第２の撮像面
２０」。

「第３の撮像面３０」という）が同一平面内に位置し且
つ第１．第３の撮像面１０．３０が第２の撮像面２０に
対し直角位置になるよう配置されている。

第２図は、第１〜第３の各撮像面１０．２０゜３０の位
置関係と、各撮像面に生成される同一物点にかかる像点
（この実施例ではエツジ点）Ｐ＋　、Ｐｚ　、Ｐｓの位
置関係とを示している。

同図において、各撮像面ＩＱ、２０．３０にはそれぞれ
ｉｊ直交座標軸が設定してあり、各撮像面を直角配置す
ると、第１．第２の撮像面１０．２０間ではｉ軸が平行
し且つｊ軸が一致し、また第２．第３の撮像面２０．３
Ｑ間ではｊ軸が平行し且つｉ軸が一致する関係となる。

つぎに空間微分処理部５１．５２．５３は、各テレビカ
メラ１．２．３で得られた物体画像につきそのエツジ部
分を抽出して工・７ジ画像を生成するためのものである
。各空間微分処理部５１．５２．５３では、対応する各
テレビカメラ１〜３の撮像面１０．２０．３０より物体
画像を取り込んで像点を空間微分し、その微分値が所定
のしきい値以上となる点を工、ジ部分の構成点（以下、
これを「エツジ点」という）として抽出する。

上記各空間微分処理部５１．５２．５３で生成されたエ
ツジ画像は、それぞれエツジ点検出部６〜８（以下、「
第１のエツジ点検出部６」。

「第２のエツジ点検出部７」、「第３のエツジ点検出部
８」°という）へ出力される。

このうち第１のエツジ点検出部６は、エツジ画像を走査
してエツジ点を特徴点として順次検出してゆくためのも
のであり、例えば第３図に示す如く、アドレス生成回路
６１．画像メモリ６２、コンパレータ６３をもって構成
されている。前記画像メモリ６２には走査対象となる空
間微分処理部５１で生成されたエツジ画像が格納される
もので、３成立体視制御部９２よりアドレス生成回路６
１ヘスタート信号（図中、ｒＳＴＡＲＴ　Ｊで示す）が
入力されると、アドレス信号１．　　Ｊが生成されて画
像メモリ６２のアドレスが指定され、さらにリード／ラ
イト信号（図中、ｒＲ／Ｗ　Ｊで示す）によって画像メ
モリ６２の指定アドレスより画像データが読み出される
。この画像データはコンパレータ６３で所定のしきい値
ＴＨと比較され、それがしきい値７１以上であると、エ
ツジ点Ｐ１であると判断されてエツジ点検出信号Ｓ１が
出力される。

なお図中、ｒＡｓＪはアドレス信号の内容が確定したこ
とを知らせるアドレス・ストローブ信号、ｒＡｃＫ　Ｊ
は画像メモリ６２からの画像データの読出し完了を知ら
せるアクルソジ信号、ｒ　ＮＥＸＴ　Ｊはアドレス信号
の更新を指示するネキスト信号、ｒＥＮＤ　Ｊは走査の
終了を知らせるエンド信号である。

第２のエツジ点検出部７は、空間微分処理部５２で生成
されたエツジ画像に対し、第１のエツジ点検出部６が検
出したエツジ点Ｐ１についてのエピポーララインを設定
し、このエピポーラライン上に位置するエツジ点を抽出
するためのものである。

前記第２図には、第１のエツジ点検出部６が検出したエ
ツジ点Ｐ１の座標位置（ｉｐ　＝　　ｊｐ　）と、この
エツジ点Ｐ、についてのエピポーラライン１２との関係
が示しである。この発明の３成立体視装置においては、
第１〜第３の撮像面１０．２０．３０を直角配置しであ
るため、前記エピポーラライン１２の方程式はｉ＝ｉ、
となる。

第４図は、第２のエツジ検出部７の具体回路構成例を示
すもので、ランチ回路７１．カウンタ７２．タイミング
コントローラ７３５画像メモリ７４．コンパレータ７５
等を含んでいる。

前記ラッチ回路７１は、前記のエピポーララインＩ！ｚ
（その方程式はｉ＝ｉ、）を設定すべく機能するもので
、第１のエツジ点検出部６のコンパレータ６２がエツジ
点検出信号ｓ１を出力したとき、第１のエツジ点検出部
６より送出される走査アドレスにかかるｉ座標データミ
ルをラッチする。

前記画像メモリ７４には空間微分処理部５２で生成され
たエツジ画像が格納され、前記ラッチ回路７１のラッチ
出力とタイミングコントローラ７３によりカウントアツ
プされるカウンタ７２の計数出力とで画像メモリ７４の
アドレスが指定され、さらに夕１゛ミングコントローラ
７３が出力するり一ド／ライト信号によって画像メモリ
７４の指定アドレスより画像データが読み出される。す
なわちこの第２のエツジ点検出部７では、前記エピポー
ラライン１２に沿って画像メモリ７４内のエツジ画像が
走査されて、エピポーラライン１２上の画像データが順
次読み出されることになる。そしてこの画像データばコ
ンパレータ７５で所定のしきい（１ｇ−ＴＨと比較され
、それがしきい値７１以上であると、エツジ点Ｐ２　（
第２図に示す）であると判断されてエツジ点検出信号Ｓ
２が出力される。

第３のエツジ点検出部８は、空間微分処理部５３で生成
されたエツジ画像に対し、第２図に示す如く、第１．第
２の各エツジ点検出部６゜７が検出した各エツジ点Ｐ＋
、Ｐｚについてのエピポーラライン１３．ｍ、を設定し
て各エピポーラライン’！　＋　ｍ３の交点位置を求め
ると共に、この交点位置（Ｌ　、Ｊｑ　）におけるエツ
ジ点Ｐ、の存在有無を判別するためのものである。この
発明の３成立体視装置においては、第１〜第３の撮像面
１０．２０．３０を直角配置しであるため、前記エピポ
ーララインｌ、の方程式はＪ　””　Ｊ　ｑとなる。

第５図は、第３のエツジ検出＠８の具体回路構成例を示
すもので、交点検出部８１１画像メモリ８２．コンパレ
ータ８３等を含んでいる。

交点検出部８１は、前記エピポーララインｌ、。

ｍ、の交点位置の座標（ｉｑ、ｊｑ）を検出するための
ものであり、この実施例では第２のエツジ点検出部７よ
りエツジ点検出信号Ｓ２が、また第１．第２の各エツジ
点検出部６．７より座標データｉ、、３ｐ＋　　Ｊ（ｌ
が、それぞれ与えられたとき、予め記憶している次式で
示すテーブルが参照されて、交点位置のｉ座標データ１
９が出力されるようになっている。

ＬＱ　＝Ｔ　（ｊｐ　、ｊ９　、Ｊｑ　）この交点の座
標データ１ＱＩＪ（Ｉは前記画像メモリ８２に与えられ
、Ｒ／Ｗ信号により対応するアドレスより画像データが
読み出される。そしてこの画像データはコンパレータ８
３で所定のしきい値Ｔｔｌと比較され、それがしきい値
Ｔ）１以上であると、交点位置にエツジ点Ｐ、が存在す
ると判断されてエツジ点検出信号（図中、ｒＦＩＮＤＪ
で示す）が出力される。

このＦＩＮＤ信号がオンになると、三角測量演算部９は
各エツジ点Ｐ＋　、Ｐｚ　−Ｐ３の座標に基づき三角測
量の演算を実行して、物点の３次元座標（ｘ、ｙ、ｚ）
を求め、この座標を座標記憶部９１に格納する。もしＦ
ＩＮＤ信号がオフ状態のときはこの信号は反転回路９２
を経てＮＥＸＴＩ信号となり、第２のエツジ点検出部７
に与えられることになる。

つぎに上記構成の３成立体視装置の動作を詳細に説明す
る。

まず立体視処理を開始するに際し、３１１１１立体視制
御部９２は撮像指令（第１図中ｒＰＩＣＴＵＲＥ　Ｊで
示す）を出力する。これにより３個の各テレビカメラ１
．２．３が一斉に物体を撮像し、それぞれの撮像面１ｊ
、２０．３０に物体画像が生成される。

つぎに３成立体視制御部９２は各空間微分処理部５１，
５２．５３へ空間微分指令（第１図中ｒ　ＥＤＧＥ　Ｊ
で示す）を与える。これにより各空間微分処理部５１．
５２．５３では、対応する撮像面１０．２０．３０より
物体画像を取り込み、像点の空間微分処理を実行してエ
ツジ画像を生成する。

ついで３成立体視制御部９２が５ＴＡＲＴ信号を出力す
ると、まず第１のエツジ点検出部６は空間微分処理部５
１で生成されたエツジ画像を走査してエツジ点（例えば
Ｐｔ）を検出し、エツジ点検出信号Ｓ１を出力すると共
に、エツジ点Ｐ、のｉ座標データｉ、が第２のエツジ点
検出部７に与えられる。

この第２のエツジ点検出部７では、方程式１＝ｉｐで表
されるエピポーラライン１ｚに沿って空間微分処理部５
２で生成されたエツジ画像が走査されてエツジ点（例え
ばＰｚ）が検出される。そしてこのエツジ点Ｐ２の座標
データｉｐ、ｊ９および前記エツジ点Ｐ１のｊ座標デー
タＪｐは座標データ検出信号Ｓ２とともに第３のエツジ
点検出部８に与えられる。

第３のエツジ点検出部８では、空間微分処理部５３で生
成されたエツジ画像に対し、各エツジ点ＰＩ　、Ｐｇに
ついてのエピポーララインｌｓ　　（その方程式はｊ＝
　ＪＱ　）　１ｍ、を設定して各エピポーララインＡ、
、、ｍ３の交点位置を求め、この交点位置にエツジ点Ｐ
、が存在するか否かを判別する。

もし交点位置（１４、Ｊｑ）にエツジ点Ｐ３が存在する
ときは、各エツジ点Ｐ＋、Ｐｚ。

Ｐ３は対応関係にあると判断されてＦＩＮＤ信号がオン
となり、つぎに三角測量演算部９は各エツジ点Ｐｌ、Ｐ
Ｚ、Ｐ３の座標データ等に基づき三角測量の演算を実行
して、物点の３次元座標を算出し、そのｙ！ｉ標を座標
記憶部９１へ格納する。

一方交点位置にエツジ点Ｐ３が存在しないときは、前記
エツジ点Ｐ＋、Ｐｚは対応関係にないと判断されてＦＩ
ＮＯ信号がオフとなり、第２のエツジ点検出部７にＮＥ
ＸＴＩ信号が与えられ、さらに他のエツジ点の探索が行
われる。

上記一連の動作は、第１のエツジ点検出部６がエツジ点
を検出する毎に実行されるもので、物点の座標算出演算
まで完了すると、さらに第１のエツジ点検出部６にＮＥ
ＷＴ信号が与えられて、つぎのエツジ点の検出が行われ
る。そしてエツジ画像の走査が完了した段階で、ＥＮＤ
信号が出力され、これにより立体視の処理を終了する。

〈発明の効果〉この発明は上記の如く、特徴点の対応付けをハード的に
実施するから、この種対応付は処理を短い時間で行うこ
とができ、立体視の処理効率が大幅に向上する。また第
１〜第３の各撮像面を直角配置することにより、エピポ
ーララインの設定を容易にしたから、ハード構成の簡略
化が実現される等、発明目的を達成した顕著な効果を奏
する。

【図面の簡単な説明】

第１図はこの発明の一実施例にかかる３成立体視装置の
ブロック図、第２図は第１〜第３の各撮像面の位置関係
を示す説明図、第３図は第１のエツジ点検出部の回路構
成例を示すブロック図、第４図は第２のエツジ点検出部
の回路構成例を示すブロック図、第５図は第３のエツジ
点検出部の回路構成例を示すブロック図、第６図は従来
の３訳文体視装置を示す外観図、第７図は像点間の対応
付は方法を示す原理説明図、第８図は第１〜第３の各撮
像面に生成された画像を示す説明図である。１．２．３・・・・テレビカメラ１０．２０．３０・・・・撮像面４・・・・描像手段６．７．８・・・・エツジ点検出部特許　出　願人　　立石電機株式会社 →７＋］５／Ｉ矛δ日角り−〕（、握ｉイ！１ｋかｈ・６３１＆
立４本了見襞１−）゛ロケ２■→３１コ　　寸ｔａｘ、
、＞、！、九ｇｉｎｍ陶絨４１１１Ｗ−ｆ７−ｏ＋７Ｉ
ｌ１５ＴＡＲＴ　　　　アト、ス−テ：：：７＋２＋Ｂ　　　！撮Ａ６ｓ４１Ｌｉ１７ｓｆ’ｌｆ
＃ｊｆ、ｌ！ｔ’ＭＩ２１ｉ。／、２Ｊ　　　−・−テしヒ〃ノラｌθ、２θ、Ｊｔ）　　・、　　４５１イ濾良面ｔ、　
　−−、−ＪＪシイ４番ｔｈ９６、７．Ｊ・−ニー・、よ、横鷹部 −１＋５ｔ’Ｚ２　　＋ｓ、工、２−１慣よ１，７１利
囚、ｔＴ７ρ、２ｖ３刊’ＡＩ”２　→２ｍＬ、ｖＬ１槽：ｔ、＃ａｒ；ｍａ
Ｋ４１Ｑｅ＃、−ｆ）＝Ｏ，）。ぞ〉−ドア１４コ２１　　イ本１占、８Ｊ１、ナ、え、
ア１．方５工５第４４えユ。

Claims

【特許請求の範囲】

（１）物体画像が生成される第１〜第３の撮像面を備え
各撮像面は同一平面内に位置させると共に第１、第３の
各撮像面は第２の撮像面に対し直角位置に配置されて成
る撮像手段と、第１の撮像面に生成される物体画像を走査して物体の特
徴点を検出するための第１の特徴点検出手段と、第２の撮像面に生成される物体画像に対し、第１の特徴
点検出手段が検出した特徴点についてのエピポーラライ
ンを設定して、このエピポーラライン上に位置する物体
の特徴点を検出するための第２の特徴点検出手段と、第３の撮像面に生成される物体画像に対し、第１、第２
の各特徴点検出手段が検出した各特徴点についてのエピ
ポーララインを設定して各エピポーララインの交点位置
を求めると共に、この交点位置における特徴点の存在有
無を判別する第３の特徴点検出手段とを具備して成る３
眼立体視装置。
（２）前記撮像手段は、２次元ＣＣＤより成る撮像面を
備えた３台のテレビカメラで構成されている特許請求の
範囲第１項記載の３眼立体視装置。
（３）前記撮像手段には、各撮像面上の物体画像を空間
微分してエッジ部分を抽出するための空間微分処理部が
接続されると共に、第１〜第３の各特徴点検出手段はエ
ッジ部分を構成するエッジ点を特徴点として検出するよ
うにした特許請求の範囲第１項記載の３眼立体視装置。