JPS60126775A - 物体検出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、組立て、溶接ロボットなどの３次元物体を扱
う産業機器において、対象物体の位置。

形状等を認識する物体検出方法に関するものである。

従来例の構成とその問題点 近年、産業用ロボットの普及はめざましく、より高度な
機能が要求されるようになっている。工業用ＴＶカメラ
などを用いた視覚機能も、その１つであり、視覚フィー
ド・ノくツクによるロボットの知能化が期待されている
。

しかし、現在までのところ、実用化レベルに至主に２次
元情報を利用したものが １’Ｌとんどで、産業応用の対象として最も重要力３次
元物体の認識は盛んに研究されているが実用例は少ない
。

３次元物体の位置、形状等を認識するための一般的な従
来の方法は、２台のＴＶ右カメラよって対象物を異なる
角度から撮像し、両眼立体視することにより、３次元的
な位置、形状をめるものであるが、次のような問題点が
ある。

（１）階調を有する入力画像の中から、エツジ、コーナ
点などの特徴を抽出するのに膨大な計算量が必要である
。

（２）左、右両画面間で特徴となる線２点間の対応関係
をめる必要があり、これが困難でちる。

゛　問題点（２）は、両眼立体視する場合に特有の問題
点でアリ、アらかじめ対象となる物体の形状情報などが
なければ一意的にはめられない。

そこそ従来は上記（１）？”（２）の問題点に対する解
決策として、スリット光を利用する方法が研究されてき
た。

第１図には、従来のスリット光を用いた距離測定法の原
理図を示す。同図の例では、スリット光源１から照射さ
れるスリット光束２を回転ミラー４によって偏向させ、
対象となる３次元物体３ｖＣ照射し、その反射光をＴＶ
左カメラで撮像する。

スリット光束面の角度情報と、カメラの位置情報（角度
、距離等）から、物体上のスリット光の３次元位置をめ
ることができる。３次元物体３の全体の距離情報を得る
ためには、回転ミラー４によってスリット光を順次走査
してゆき、その都度、距離を測定する０ 同図に示す方法では、入力画像がスリット・ノくターン
であるため、容易ｉｃ２値化画像を得ることができ、ス
リット・パターンの屈折点などの特徴点の抽出も容易で
ある。また、ミラーの回転角度と、カメラの設定角度か
ら一意的に３次元の距離情報をめることができ、前述の
問題点（１）ｙ　（２）とも解決できる方法である。

しかし、この従来の方法では１画像入力に時間がかかる
という問題点が残っている。すなわち、１回の画像入力
によって得られるのは１本のスリット・パターンだけで
あるため％３次デ物体の全体にわたって距離情報を得る
ためには、ミラー４を回転させてスリット・パターンを
順次走査しながら走査の谷ステップごとに画像入力を行
なわねばならず、実用的な見地からは、その入力時間が
大きな問題となっている。一方複数本のスリット・パタ
ーンを３次元物体の全体に照射するようにすれば、画像
入力の回数は１回だけでよくなるが、対応づけの問題が
複雑になる。現在゛公知の方法ではないが、本出願人は
、複数本のスリット・パターンを照射した物体を、２台
のカメラによって撮像し、スリット光束面の距離・角度
情報から立体両眼視した２つの入力画像間で特徴点の対
応関係、をめ、物体の３次元位置をめる方法を提案して
いる。（特願昭５８−１５８３５８号明細書及び特願昭
５８−１５８３５９号明細書）第２図は、特願昭５８−
１５８３５９号明細書に記載された対応づけの原理を説
明する図である。

同図の例では、第１のカメラの撮像面６上の撮像パター
ン中の任意の特徴点Ｐｉ　と、カメラの焦点Ｆ１とを結
ぶ仮想的直線８′と、あらかじめ空間的位置をめ′（あ
る３枚のスリット光束面２−１〜２−３との交点Ｐｉ１
〜Ｐｉ３をめる。次に、Ｐ１１〜Ｐｉｇの第２のカメラ
の撮像面Ｔ上への投影点Ｐｉｔ’〜Ｐｉｆをめ、撮像面
７上において、投影点Ｐｉｔ’〜Ｐｉ３′の各位置にお
ける入力画像パターンを調べることによって、第１のカ
メラの撮像パターン中の特徴点Ｐ主　に対応する第２の
カメラの撮像パターン中の特徴点Ｐｉｆをめる。順次、
同様にして゛　両面中の対応点のペアをめることによっ
て、対象である３次元物体の位置、形状等を検出するも
のである。このように、この方法では、スリット光束面
の情報を有効に利用して対応点の候補を限定してゆくこ
とによって対応づけの問題を解決しようとしている。し
かし、このような方法にも、偽の対応点が現われるとい
う問題と、それに対する解決策に問題点があった。すな
わち対象物体の形状、スリット光源および２台のカメラ
の設定角度などによっては、第２のカメラの撮像面上へ
の投影点群ｐｉ、／〜Ｐｉｎ’　の中に２つ以上の候補
点が現われ、対応関係が一意的に決定できない場合が生
ずる。照射するスリット・パターンの数が多くなるほど
、当然部の対応点が出現する可能性が大きくなり、大き
な問題となる。たとえば、入力画“　像中の同一直線上
の点列など、いくつかの特徴点を組合せて検証すること
により偽の対応点の一部はりジェクトできるが、そのた
めには入力画像の解析を行なわねばならず、計算量が著
しく増加してしまう。

、発明の目的 本発明は１以上に述べたような３次元物体ｑ位置、形状
をめるための方法において問題であった１画像入力時間
の問題と、両眼立体視した場合、の対応づけの問題を解
決し、より実用的な３次元物体の検出方法を提供するこ
とを目的とする。

発明の構成 本発明では、正方格子状のグリッド−パターン像を生成
するグリッド光源から、被検出物体にグリッド・パター
ンを照射し、物体表面上および床面上などにできたグリ
ッド・パターン像を、互いに異なる２つの方向力ら、第
１および第２のカメラによって撮像する。次に、グリッ
ド光源の光源点Ｓと、照射されるグリッド・パターン中
の任意の格子点Ｇと、第１のカメラのレンズ系の焦点Ｆ
１の３点によって決定される平面と、第１のカメラの撮
像面との交線である第１の投影線Ｌ１をめる。

同様に、光源点Ｓと、格子点Ｇと、第２のカメラのレン
ズ系の焦点Ｆ２の３点によって決定される平面と、第２
のカメラの撮像面との交線である第２の投影線Ｌ２をめ
る。次に、第１のカメラの撮像面上において、第１の投
影線Ｌ１上の入力画像ノくターンを調べ、グリッド・パ
ターンの格子点像Ｐを検出する。次に、検出された第１
のカメラの撮像面上の点Ｐと、第１および第２のカメラ
のレンズ系の焦点Ｆｊ＋’２の３点によって決定される
平面と、第２のカメラの撮像面との交線である第３の投
影線Ｌ５をめる。次に、第２のカメラの撮像面上におい
て、２つの投影線Ｌ２．Ｌ５の交点近傍の入力画像パタ
ーンを調べ、そこにグリッド・ノくターンの格子点像Ｐ
′が存在すれば％２つの点ＰとＰ′を、第１および第２
のカメラの撮像パターン上の対応点として登録する。第
１の投影線上に、２つ以上の格子点像が存在する場合に
は、その各々について、第３の投影線をめ第２のカメラ
の撮像面上で、対応候補点の有無を調べ、対応点があれ
ば結果を登録する。

照射されるグリッド・パターン中のすべての格子点Ｇに
ついて、順次上記の操作を行ない、各格子点に相当する
、撮像面上の格子点像の対応点の組合せをめる。

次に、実施例の説明で述べるような方法によって格子点
像の対応点ペアの検証を行ない、偽の対応関係となる組
合せを排除する。

、上記の操作でめた。すべての対応点の組合せについて
、グリッド光源および２台のカメラの距離、角度情報か
ら、３次元物体の表面上にできたグリッド・パターン像
上の各点の３次元的な位置（座標）を検出する。

本発明は、以上に述べたような方法によって３次元物体
の表面上の点の３次元的位置を検出する物体検出方法で
ある。

実施例の説明 まず本発明の原理について、図面を用いながら詳細に説
明する。

第３図は、カメラ光学系と、撮像面、入力画像の関係を
示す図である。１１は、ｌカメラのレンズ系を表わして
おり、点Ｆ１２は、カメラ・レンズ系の光学的中心（以
下、焦点と呼ぶ）である。３次元空間中に置かれた３次
元物体３をカメラで撮像すると、カメラの撮像面１３上
には、同図に示すような結像が得られる。ｆｌｉｄ、焦
点Ｆ１２と、撮像面１３との距離である。通常撮像面１
３は、レンズ系１１の焦点面近傍に位置する。撮像面上
の結像を観測するためには、結像パターンを別のイメー
ジ面１４に出力する必要がある。イメージ面１４として
は、ＣＲＴ画面、写真など任意のものが考えられるが、
通常計算機を用いて画像データを処理するためには、入
力画像を、画像メモリに記録格納することが一般的であ
るので、ここではイメージ面１４として画像メモリを考
える。撮像面１３上の結像パターンと、画像メモリ１４
上の入力画像とは、撮像面上のＸ−Ｙ平面と、イメージ
面上のＸ／　Ｘ／平面との平行移動量および拡大比率の
関係から、変換マトリクスＴｏ　（Ｔｏは３×３のマト
リクス）によって、次のように線型座標変換が可能であ
る。

（ＸＩ　Ｙｌ　１　）：（Ｘ’、Ｙ’、１　）−’ｒ。

ＴＯは、カメラおよび、画像メモリの設計仕様、あるい
は入力画像データの解析などによって、あらかじめめて
おくことができる。

１６は、撮像面１３を焦点Ｆ１２を対称点として点対称
な位置に移した仮想的な撮像面である。

一方１６ば、撮像面１３上のＸ−Ｙ平面の原点と、′イ
メージ面上の対応する点（平行移動がなければ原点）と
が、ともにカメラの光軸上にあると考えた時に、平行移
動量および拡大比率の関係から３次元空間中にめられる
イメージ面１４を、同様に焦点Ｆ１２を対称点として点
対称な位置に移した仮想的なイメージ面である。ｆ２は
、この仮想的なイメージ面と焦点Ｆ１２との距離である
。ｆ２はイメージ面と、撮像面との拡大比率Ｐから、ｆ
２＝ｆ１×Ｐとしてめられる。撮像面１３と１５％イメ
ージ面１４と１６とは、焦点Ｆ１２を対称点と　・して
それぞれ点対称な位置にあるため、３次元物体３上の点
と、焦点Ｆ１２とを結ぶ視線と、撮像面あるいは、イメ
二゛ジ面との交点の座標を考える上では等価である。た
だし、Ｚ軸方向の座標および扱いは異なる。従って、説
明の簡単化のため以下の説明では、撮像面あるいはイメ
ージ面として１６あるいは１６を想定して説明する。

第４図は１本発明の画像入力部の構成を示す概略図であ
る。グリッド光源２１からグリッド・パターンを３次元
物体３に照射する。これによって３次元物体３の表面上
、および床面上には、グリッド・パターン像２２が形成
される。これを、第１のＴＶ右カメラ３および、第２の
ＴＶカメラ２４によって撮像する。

第６図は、本発明の構成と原理を説明するための模式図
である。同図において、０は絶対空間中の座標原点であ
り、３次元物体３の置かれる床面上などに設定する。Ｆ
ｌ、Ｆ２は、それぞれ第１゜第２のＴＶ右カメラ３．２
４のレンズ系の光学的中心（焦点）である。２６＋２６
は、それぞれ第１、第２のＴＶ左カメラ撮像面である。

ただし、ここで考える撮像面は第３図において説明した
ように、実際の撮像面を、焦点を対称点として点対称な
位置に移動した平面である。ｌ＋、ｔｂけ、それぞれ第
１および第２のＴＶ左カメラ焦点と撮像面２５．２６と
の距離である。撮像面２５．　２６のかわりに、第３図
のイメージ面１６に相当するものを考えても等価である
。ただし、その場合には（１１，１２としては、各イメ
ージ面と焦点との距離を考えなくてはならない。

・　０１け、撮像面２６上に想定するＸ、−Ｙ、−Ｚ、
座標系（Ｚ＋軸方向は、０１→Ｆ１の方向とする）の原
点である。０２ば、撮像面２６上に想定するｘ２−Ｙ２
Ｚ２座標系（Ｚ２軸方向は０２→Ｆ２の方向とする）の
原点である。同図の例では、第１のＴＶ右カメラ３ば、
光軸が原点０を通り、絶対座標系の、ｒ−ｚ平面に対し
てα１　ｓ　！−２平面に対してθ１の角度をもって設
置されており、第２のカメラ２４は、光軸が原点０を通
り、絶対座標系のＸ−Ｚ平面に対してα２、ｙ−Ｚ平面
に対してθ２の角度をもって設置されているものとして
いる。

絶対座標系の原点０と、各焦点Ｆ１’＋　７２との距離
をそれぞれｄｌ＋ｄ２とすると、上記のようなカメラ系
の設定条件（α１．α２．θ１．”２＋ｌｊ＋４＋ｄ１
＋ｄ２・・・・・・以後カメラ・パラメータと呼ぶ）は
、２台のカメラ２３，２４を、絶対空間中に設置すると
きに、実測したり、基準入力画像を解析することによっ
て、あらかじめめておくことができる。

従って以後は、既知のデータとして扱う。

上記カメラ・パラメータがわかれば、撮像面２５上のＸ
、−Ｙｌ−Ｚ１座標系から絶対座標系への変換マトリク
スＴ１．および撮像面２６上のＸ２−Ｔ２−Ｚ２座標系
から絶対座標系への変換マトリクスＴ２も一意的に決定
できる。一般に’ｒ１．’ｒ２は４×４のマトリクスと
して表現できる。第５図の構成例における、Ｔ１を以下
に例示する。

Ｃｘｒ’ｙ＋　Ｚ＋　１）＝（ｘｊ、　Ｙｊ＋　ｚｌ、
　１　〕−Ｔ＋Ｔ＋＋’Ｉ’２についてもあらかじめめ
ておくものとする。

また、第６図には、グリッド光源８２１から照射された
グリッド・パターン像２２についてモ示している。光源
２１から照射されるグリッド・パターン光の光路は、グ
リッド光源２１の設計仕様および、グリッド光源２１の
３次元空間における設定位置および照射角度（以後光源
パラメータと称する）から一意的に決定できる。たとえ
ば、グリッド光源として最も簡便なスライド・プロジェ
クタ−を用いる場合には、グリッド・パターンを刻んだ
スライドのパターン（原パターン）のマウント位置と、
スライド光源の位置関係およびレンズ系の特性などから
めることができる。また、物体３を除いた床面上あるい
は、任意の位置に置いたスクリーン上に形成されるグリ
ッド・パターン像をあらかじめ計測しておくことによっ
てもめることが可能である。第６図には、グリッド・パ
ターンの光路の途中においた仮想的スクリーン２γも説
明のため併せて表示している。ここで、光源点Ｓを焦点
、仮想的スクリーン２７を撮像面と考えれば、パターン
光源もカメラと同様の扱いをすることができる。

さて、上記の準備をした上で、第１．第２のＴＶカメラ
２３＋２４によって、３次元物体３の表面上に形成され
るグリッド・パターン像を撮像すると、撮像面２５．２
６上には、第５図に示すような入力画像が得られる。

投射されるグリッド・パターンには、仮想的スクリーン
２７に示すように、０１〜Ｇ４の４つの格子点があり、
物体３の表面上で、それぞれｇ１〜ｇ４の格子点像を形
成する。ｇ、〜ｇ４の格子点像は、第１のカメラの入力
画像中では格子点像Ｑ１〜Ｑ４゜一方第２のカメラの入
力画像中では格子点像Ｒ１〜Ｒ４にそれぞれ対応してい
る。

本発明では、以下に示すような原理によって、格子点０
１〜Ｇ４と、入力画像中の格子点像Ｑ１〜Ｑ４＋Ｒ１゛
〜Ｒ４の対応関係をめるものであり、Ｑ１〜Ｑ４とＲ１
−Ｒ４の間の対応関係がわかれば、カメラ・パラメータ
等から物体３の表面上の格子点像ｇ１〜ｇ４　の３次元
的位置をめる事ができる。

以下に、グリッド・パターン中から任意に１つの格子点
を選びこれについて入力画像中の対応点をめる操作を説
明する。あらかじめ、グリッドパターン像を計測しであ
る仮想的スクリーン２７上において、１つの格子点ａ１
を選択する。光源点８２１から照射され格子点Ｇ１を通
る光線２８は一意的に決定され、しかもＳと０１の位置
が共に既知であるため、計算によってめることができる
。゛一方光線２８の照射によって物体３の表面上にでき
る格子点像ｇ１の位置は、物体３の位置・形状に応じて
変化する。

まず、光線２８の光路を、第１のカメラの撮像面２６に
投影した第１の投影線Ｌ１をめる。Ｌｌは、光源点゛Ｓ
と、格子点Ｇ１および、第１のカメラの焦点Ｆ１の３点
を含む平面Ｐ１と、第１のカメラの撮像面２５とが交わ
ってできる直線に相当し％　５ｙＧ１＋Ｆ１　および撮
像面２６の位置が、カメラ・パラメータ、光源パラメー
タなどによって既知であるため、計算によってめること
ができる。

同様にして、光線２８の光路を第２のカメラの撮像面２
６に投影した第２の投影線Ｌ２もめる。

物体３の表面上にできる格子点像ｇ１は、光線２８の光
路上にあるため、当然、第１のカメラの撮像面２６上の
入力画像中では、先にめた第１の投影線Ｌ１上に存在す
るはずである。そこで、撮像面２６の入力画像パターン
を、第１の投影線Ｌ１に治って調べてゆき、格子点像が
あれば、それを０１に対応する入力画像中の格子点像の
候補とする。通常は、投影線Ｌ１上に１つの格子点像（
Ｑ１〕が検出サレル。ｇｌが、第１のカメラからは見え
ない位！（死角など）に存在する場合には投影線Ｌ１上
には。

格子点像が１つも存在しないことになり、第１のカメラ
による入力画隊中には、格子点Ｇ１から照射される光線
２８によってできる格子点の画像は存在しないと判断す
る。逆に、投影線Ｌ１上に２つ以上の格子点像が検出さ
れる場合もある。これは、光源点Ｓと格子点Ｇ１および
第１のカメラの焦点Ｆ１を含む平面Ｐ１上に、２つ以上
の格子点像が偶然存在する場合である。第５図には、こ
のような場合の入力画像の例を示し−Ｃいる。物体３の
表面上に形成される格子点像のうちｇ、とＧ４が共に先
の平面Ｐ１上に存在するため、第１のカメラ２３０入力
画像中では、投影線Ｌ１上に２つの格子点画像Ｑ１＋９
４が検出され、候補が２つになる。

２つの候補のうち、正しい候補点を検出するため撮像面
２６上の入力画像によって検証を行なう。

第１のカメラの撮像面２６上で検出された候補点Ｑ１と
、第１のカメラの焦点Ｆ１、および第２の力・メラの焦
点Ｆ２を含む平面Ｐ３をめ、平面Ｐ３と第２のカメラの
撮像面２６との交線である第３の投影線Ｌ３−１をめる
。第３の投影線Ｌ５−１は、第１のカメラの焦点Ｆ１か
ら候補点Ｑ１を通り、物体３の表面上に形成された格子
点像に至る視線２９を第２のカメラの撮像面２６上に投
影したものである。従って、その視線上にあって、格子
点像Ｑ１に対応する点（ｇｌ）Ｕ、第２のカメラの入力
画像中にあっては、第３の投影線Ｌ５−１の上に像を結
んでいるはずである。別の候補点Ｑ４についても同じよ
うにして第３の投影線Ｌ３−２をめる。当然格子点像Ｑ
４に対応する物体３の表面上の格子点像ｇ４は、第２の
カメラの入力画像中にあっては、第３の投影線Ｌ５７２
の上に像を結んでいるはずである。

以上のようにして、撮像面２６上には、３本の投影線Ｌ
２＋　’Ｌ’５　１＋Ｌ３　２がめられたわけである。

いま、第１のカメラの入力画像中から抽出された候補点
Ｑ１が、格子点Ｇ１に対応する正しい候補点であるなら
ば、第２のカメラの入力画像中において、Ｑｌに対応す
る格子点像が存在し、それは、第２の投影線の上にあっ
て、かつＱｌからめた第３の投影線Ｌ３−１の上にもあ
るはずである。

すなわち、−Ｑｌに対応する格子点像は、２つの投影線
Ｌ２とＬ３−１の交点上になくてはならない。第２のカ
メラの入力画像中においては、Ｌ２と、Ｌ３−１の交点
付近に格子点像の候補点Ｒ１が存在するのでＱｌとＲ１
が、Ｇ１に相当する対応点のペアであるとみなすことが
できる〇 一方、Ｇ４については、２つの投影線−Ｌ２とＬ５−２
の交点付近に格子点像が存在しないため、偽の対応点候
補として却下することができる。これは。

Ｇ４に対応する格子点像ｇ４が、光源点Ｓと格子点Ｇ１
および第２のカメラの焦点Ｆ２を含む平面Ｐ２の上には
存在しないためである。また、逆に平面Ｐ２上に別の格
子点像、たとえばＧ５が存在する場合もあり得る。この
時には第２の投影線Ｌ２上に、Ｇ５に対応する格子点像
Ｒ３が存在することになるが、Ｒ６はＱｌ、Ｇ４からめ
た第３の投影線り、−１１Ｌ、５−２のいずれの上にも
のっていないため、やはり偽の対応点候補として却下す
ることができる。当、然、格子点Ｇ１に相当する格子点
像ｇ１が第２のカメラから見えない位置にあれば、正し
い対応点候補Ｒ１は検出できず、第２のカメラによる入
力画像中には、格子点Ｇ１から照射された光線２８によ
ってできる格子点像（ｇｌ）の対応点画像は存在しない
ものと判断する。

上記の検証方法により、偽の対応点候補があった場合に
も、これを却下でき、格子点Ｃｘ１ｖＣ−相当する入力
画像中の対応点のペアＱ１とＲ１を正しく検出すること
ができる。

以上に説明してきたような操作を、仮想的スクリーン２
７上の別の格子点０２〜Ｇ４についても順次くり返すこ
とによって、全グリッド・パターン中のすべての格子点
について、入力画像中の対応点のペアをめることができ
る。

まれには、１つの格子点Ｇｌに相当する入力画像中の対
応点のペアが２組以上検出される可能性もある。これは
、物体３０表面上に生成されたグリッド・パターン像と
、カメラの撮像角度による偶然の一致、あるいはカメラ
・パラメータ、光源パラメータの測定誤差や、入力画像
中の候補点抽出時の位置検出誤差が原因である。はとん
どの場合は、１組が正しい対応点ペアであり、他は却下
できなかった偽の対応点ペアである。この場合に゛は、
すべての検出された対応点ペアのデータをながめてみる
ことによって、大部分が解決できる。

すなわち、入力画像中の格子点像Ｑ１〜Ｑ４．＋Ｒ１〜
Ｒ４はそれぞれ最大１回、対応点ペアの一方として検出
されるのが正しく、同じ点が２度以上対応点として現わ
れることはない。いま第１のカメラによる入力画像中の
格子点像Ｑｉが二度対応点仁して現われていれば、その
うちの少なくとも一方は必ず誤りである。Ｑｉを対応点
とする格子点のデータを調べ、もしある格子点Ｇｊ（ｊ
＼ｉ）に相当する対応点のペアが２組以上検出されてい
て、その中に対応点としてＱｉが含まれていれば、その
ペアか偽の対応点ペアである確率が非常に高くなる。そ
の対応点Ｑ１　とペアを成す格子点像Ｒｋが、第２のカ
メラによる入力画像中でやはり２度以上対応点として検
出されていれば％　ＱｉとＲｋの対応点ペアは、格子点
Ｇｊ　に相当する偽の対応点ペアであるとして却下する
ことができ、格子点％についても１組の対応点ペアが確
定する。

以上に説明したような構成と原理によって本発明では、
照射するグリッド・パターン中の格子点Ｇ１に相当する
入力画像中の格子点像の対応点ペアＱｉ＋Ｒｉを検出す
る。ＱｉとＲ４の対応関係がめられれば、２台のカメラ
の設定条件（カメラ・パラメータ）等から、格子点Ｇｉ
の物体３表面上への投影点であるｇｉ　の３次元的位置
（絶対座標）を算出することができる。実施例では、上
記のようにして検出されたグリッド・パターン中の各格
子点に相当する対応点ペアの情報を利用して、格子点以
外のグリッド・パターン全体についても入力画像中の対
応点ペアを検出してゆく。この操作は、本出願人が既に
提案している特願昭５８−１５８３６８号明細書および
特願昭５８−１５８３５９号明細書に記載した方法等を
適用することによっても実現することが可能であるが、
ここでは、本発明の方法を格子点以外の部分についても
適用してグリッド・パターン全体について、物体表面上
の投影位置をめてゆく。

グリッド・パターン中の隣接する格子点、たとえばＧ１
と０２を結ぶ線分（格子線と称する）上の任意の点（第
６図中の点Ａ）について入力画像中の対応点ペアをめる
。手順は、格子点Ｇ１の時と同様であるが、この場合は
格子点像ではなく投影線上の格子線のパターン全体出し
ていく。ただし。

Ａ点が、格子点Ｇ１と０２を結ぶ格子線上の点であるこ
とがあらかじめわかっているので、入力画像中での探索
範囲は、最初からＧＩＬ　Ｇ２に相当する対応点Ｑ１と
Ｇ２、Ｒ１とＲ２を結ぶ格子線像の上、あるいハ、Ｑｌ
とＧ２、Ｒ１とＲ２をそれぞれ対角線の端点とする長方
形の領域付近に限定することができ、処理時間も短縮さ
れ、また偽の対応点ペアもほとんど発生しない。

次に、第６図を用いて、本実施例をフロー・チャートの
杉で説明する。

本実施例では、２つのカメラに↓る入力画像はそ些ぞれ
画像メモリに格納され、画像メモリ内のデータをＣＰＵ
がアクセスすることによって計算処理を行なう。

ここでは、カメラ・パラメータ、光源パラメータ、およ
び第６図の仮想的スクリーン２７上において計測したグ
リッド・パターン上の各点の位置（座標）および、カメ
ラ座標系から絶対座標系への変換マトリクス’ｒ１．　
、　Ｔ２などのデータは、既にめであるものとして説明
する。

また、以下の説明では、絶対座標系での座標を（、Ｚ＋
　！／　ｒ　ｚ）、第１．第２のカメラの撮像面上にと
ったカメラ座標系（Ｘ＋　−Ｙ＋−Ｚ１座標系、ｘ２−
　Ｙ２−　Ｚ２座標系）での座標をそれぞれ（ｘ、ｙ。

Ｚ）１．（ｘＴ　Ｙ、Ｚ）２と表記する。

（１）グリッド・パターンの中から１つの格子点Ｇｉ（
、Ｚｅｉ　ｌ　、ＹＧｉ　？　Ｚａｉ　）を選択する。

（２）第１の投影線Ｌ１（Ｄ　Ｘｌ　−Ｙｌ−Ｚ１座標
系テノ式をめる。

光源点Ｓ　（４’＋　、Ｙ５＋　ｚｓ）と格子点Ｇｉを
、変換マトリクスＴ１の逆行列Ｔ〒１によってｘ、−ｙ
、　−ｚ。

座標系Ｓ（Ｘｓ＋　Ｙｓ＋　Ｚｓ　）＋　Ｇｉ　（Ｘｃ
ｉ＋　ＹＧｉ＋　ＺＣ，ｉ）ｊに変換する。第１のカメ
ラの焦点Ｆ１（０＋　Ｏｒ　（１１）＋と、Ｓ、Ｇｉ、
の３点の座標データから、この３点を含む平面Ｐ１の式
（カメラ座標系）をめる。第１のカメラの撮像面の式Ｚ
−〇（カメラ座標系）と。

Ｐｌ　の式を連立させれば、交線Ｌ１のカメラ座標系で
の式が得られる。

（３）第２の投影線Ｌ２ノｘ２−Ｙ２−Ｚ２座標系テノ
式をめる。

手順はｓ”１の時と同様である。

（４）第１の投影線Ｌ１上の格子点像Ｑｊ　（ｊ＝１＋
　２・・・・・・）を抽出する。

第１のカメラによる入力画像のデータを、投影線Ｌ１に
沿って、近傍の入力画像パターンを調べてゆ〈０格子点
像として特徴的な交点パターンが検出されれば、その交
点パターンの座標Ｑｊ　（Ｘｑｊ　ｖＹＱｊ　＋　Ｏｈ
　（コ＝１．２．　・・・・・・）を候補点としてひ拍
出する。

（５）　Ｑｊ　から第２のカメラへの投影線Ｌ３−ｊ（
ｊ＝　１＋　２＋　−）　（７）Ｘ２−Ｙ２−Ｚ２　Ｆ
ｌ標系テノ式ＱｊとＦｌの座標値をｓで＋によって絶対
座標系に変換し、さらにＴ２の逆行列Ｔ２　によってＸ
２−　Ｙ２−ｚ２座標系Ｑｊ（Ｘｑｊ　ｔ　Ｙｑｊ　ｔ
　Ｚｑｊ　ｈ＋　Ｆ＋（Ｘｙ＋　＋　ＹＦｌ　＋Ｚｙ＋
ｈに変換する。第２．のカメラの焦点Ｆ２（０１０＋４
）ｚと、Ｑ、］　６％２１の３点の座標データから、こ
の３点を含む平面Ｐ３の式（Ｘ２−Ｙ２Ｚ２座標系）を
める。第２のカメラの撮像面の式Ｚ”０（Ｘ２−Ｙ２１
２２座標系）と、平面Ｐ３の式を連立させれば、交線Ｌ
５．−ｊのカメラ座標系での式が得られる。

（６）第２の投影線Ｌ２と第３の投影線Ｌｓ−ｊ（］＝
１＋２、・・・・・・）の交点上の格子点像Ｒｋ（ｋ＝
１．２・・・・・・）を抽出する。

ステップ（３）＋　（５）でめた投影線Ｌ２とＬ５−ｊ
　の式を連立させて交点の座標をめ、交点近傍の入力画
像パターンに、格子点像として特徴的な交点パ゛ターン
が検出されれば、その交点パターンの座標Ｙｋ（ＸＲ）
ｃ＋　ＹｎｋｊＯ）２　（ｋ　＝　１　ｔ　２ｓ　・・
・・・・）を、Ｑｊに対する対応点として抽出し％９ｊ
とＲｋを、格子点Ｇｉに相当する対応点ペアとして登録
する。２組以上の対応点ペア（ｋ≧２）が検出された場
合にも、それらのすべてを登録する。

（７）グリッド・パターン中から次の格子点Ｇｉｆ１を
選択し、すべての格子点についてステップ（２）〜（６
）をくり返す。

（８）すべての対応点ペアのデータを分析し、偽の対応
点ペアがあれば却下する。

対応点ペアとして登録された格子点像Ｑｊ　あるいはＲ
１（のデータ集合の中で、同じ格子点像が２度以上登録
されていれば、その格子点像に該当する格子点Ｇｌ、Ｇ
ｍ＋　・・・・・・のすべでの対応点ペアを分析し、偽
の対応点ペアと判断できるものを却下する。

（９）隣接する２つの格子点Ｇｉ　ｔ　Ｇｉ＋１を結ぶ
格子線上から任意の１点人を選択する。

（１０）黒人に相当する入力画像中の対応点ペアＢ。

Ｃをめる。

′１１）次の任意のＡ点についてステップ（９）〜（１
ｏ）をくり返す。

（１２）他のすべての、格子線上の各点についてもステ
ップ（９）〜（１１）の操作をくり返して入力画像中の
対応点ペアをめる。

（１３）上記の操作でめ冬対応点ペアに該当する物体３
の表面上の各点の位置（絶対座標）をめる０ 第１．第２のカメラによる入力画像中の点ＱｊとＲｋが
対応点ペアであるとすれば、点Ｑｊ　と第１のカメラの
焦点Ｆ１を結ぶ直線と、点Ｒｋと第２のカメラの焦点Ｆ
２を結ぶ直線の交点を絶対座標で一求めることにより、
物体３の表面上の投影点の位置を知ることができる。

なお、パターン光源も等測的にカメラと同様の扱いがで
きるので、第１のカメラの入力画像中の格子点像をＧｉ
　とし、第２のカメラの撮像面上でＱｌを、仮想的スク
リーン２７上でＲｊ　を検出するという構成方法をとる
ことも可能である。

発明の効果 以上の説明で述べてきたように１本発明の物体検出方法
によれば、簡単な構成で従来の手法のみでは困難であっ
た両眼立体視をした時の左右両画面間の対応づけの問題
を解決できると共に、３次元物体表面上のグリッド・パ
ターン像各点の３次元的位置を直接求めることができる
。対応づけの問題が解決されたことにより、画像入力は
１回ですむようになり、大幅な画像入力、前処理時間の
短縮が実現できる。実際のデータ処理も簡単な計算です
むため、本発明は実用的な３次元物体の検出装置を提供
するという意味で、産業的に非常に大きな効果が期待で
きるものである。

【図面の簡単な説明】

第１図は従来の１本のスリット光を用いた距離測定方法
を示す原理図、第２図は従来の複数本のスリット光を用
いた物体検出方法を説明する原理図、第３図はカメラ光
学系と撮像面、入力画像の関係を説明するための配置図
、第４図は本発明の°　一実施例における物体検出装置
の画像入力部を示す概念図、第５図は同実施例の構成と
原理を説明−モだめの概念図、第６図Ａ、Ｂは同実施例
の動作を説明するフロー・チャートである。 ２１・・・・・・グリッド光源、−２３，２４・・団・
第１゜第２の画像入力装置、２５．２６・・・・・・第
１．第２の画像入力装置の撮像面、Ｆｌ、Ｆ２・・・・
・・第１．第２の画像入力装置の焦点、０１〜Ｇ４・・
・・・グリッド・パターン中の格子点、Ｑ１〜Ｑ４・・
・・・・第１の画像入力装置の撮像面上の格子点像、Ｒ
１−Ｒ４・・・・・・第２の画像入力装置の撮像面上の
格子点像、Ｌｌ・・・・・・第１の投影線、Ｌ２・・・
・・・第２の投影線、Ｌ３・・・・・・第３の投影線。 代理人の氏名　弁理士　中　尾　敏　男　ほか１名第１
図 第　２　図 ！ 第３図 Ｉ 第　４　（２） 第５図　２１ Ｓ／ へ 第６図

Claims (1)

【特許請求の範囲】
1. 正方格子状のグリッド・パターンを生成するグリッド光
   源から、被検出物体に前記グリッド・パターンを照射し
   、前記被検出物体を互いに異なる２つの方向から第１お
   よび第２の画像入力装置によって撮像し、前記第１の画
   像入力装置の撮像面上においては、前記グリッド光源の
   光源点Ｓと、照射される前記グリッド・パターン中の任
   意の格子点Ｇと、前記第１の画像入力装置のレンズ系の
   焦点Ｆ１の３点を含んで成る平面と、前記第１の画像入
   力装置の撮像面との交線である第１の投影線をめ、前記
   第２の画像入力装置の撮像面上においては、前記光源点
   Ｓと、前記格子点Ｇと、前記第２の画像入力装置のレン
   ズ系の焦点Ｆ２の３点を含んでなる平面と、前記第２の
   画像入力装置の撮像面との交線である第２の投影線をめ
   、前記第１の画像入力装置の撮像面上において、入力画
   像中の格子点像のうち、前記第１の投影線の上に存在す
   る格子点像Ｐを検出し、撮像面上における前記格子点像
   Ｐと、前記第１の画像入力装置のレンズ系の焦点Ｆ１と
   、前記第２の画像入力装置のレンズ系の焦点Ｆ２の３点
   を含んで成る平面と、前記第２の画像入力装置の撮像面
   との交線である第３の投影線をめ、前記第２の画像入力
   装置の撮像面上において、前記第２および第３の投影線
   の交点近傍の入力画像パターンに格子点像Ｐ′が存在す
   れば、前記格子点像Ｐ′と、前記第１の画像入力装置の
   撮像面上の格子点像Ｐとを対応点候補とし、順次同様の
   操作によって前記第１お工び第２の画像入力装置の入力
   画像パターン中の格子点像の対応関係をめることによっ
   て、前記被検出物体表面上の点の３次元的位置を検出す
   ることを特徴とする物体検出方法。