JPS6224995A - ３次元物体認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈発明の技術分野〉 この発明は、ロボットの視覚等に用いられる物体認識装
置に関連し、殊にこの発明は、例えば生産工程において
、機械部品のような３次元物体を自動選別するのに好適
な３次元物体認識装置に関する。

〈発明の概要〉 この発明は、波長が異なる複数の板状の水平光を観測対
象物に放射して、観測対象物の表面に各水平光との交わ
り線を複数生成し、これら交わり線の２次元画像を撮像
手段で得た後、これを認識処理手段で解析して３次元物
体の認識処理を実行しており、これにより１台の撮像手
段でもって３次元物体の認識処理を可能とし、これに加
えて物体観測時間の減少並びに物体モデルのデータ量の
減少をはかっている。

〈発明の背景〉 従来この種物体認識技術には、観測対象物を真上より観
測して、その平面画像を求め、さらにこの画像を２値化
して２次元図形を得た後、この２次元図形とモデル図形
とを照合することにより、観測対象物を分類したり、観
測対象物の位置や姿勢を計測する等の方式が存在する。

ところがこの方式の場合、観測対象物の厚みが大きいと
、観測対象物を置く位置によっては、画像化した２次元
図形に大きな差異が生じるため、前記の分類や計測等が
困難となる等の問題がある。

そこで先般、上記問題を解消するためのいくつかの３次
元物体認識技術が提案された。

第８図は、２台のテレビカメラを用い、３角測量の原理
から観測対象物までの距離を計測する「両眼視法」と称
される方式を示す。図中、Ｆ＋、Ｆｚは各テレビカメラ
の焦点であって、今空間中の点Ｐが左画面Ｃ８には像Ｐ
、として映り、また右画面Ｃ２には像Ｐ２として映った
状態を示している。この場合において、各像の画面上で
の位置がわかったとすると、点Ｐの３次元位置は２直線
Ｆ＋Ｐ＋　とＦｚＰ、ｚの交点として求めることができ
る。ところがこの方式の場合、テレビカメラが少なくと
も２台は必要であり、しかも各テレビカメラで得た画像
につき、対応する点を決定することが容易でない等の問
題がある。

第９図は、上記対応点の決定が問題とならない「投光法
」と称される方式を示す。この方式は、レーザのような
投光装置２１から例えばスポット光（スポット光に代え
てスリ）ト光を用いる方法もある）を観測対象物２２に
投影し、その反射光をＰ　Ｓ　Ｄ　（Ｐｏｓｉｔｉｏｎ
　　５ｅｎｓｉｔｉｖｅＤｅｖｉｃｅ）等のセンサ２３
で受けて、３角測量の原理から空間中の点Ｐの３次元位
置を求めるものである。そして多数の点の距離情報を得
るのに、スポット光の投光路に鏡２４を配置し、この鏡
２４を回転させることにより、スポット光を振るように
している。

ところが上記投光法の場合、投光パターンが照射されて
いる観測対象物の部分は、画像解析するまでわからず、
しかも観測対象物の特徴部分のデータを得るためには、
観測対象物の観測可能な表面全域についてのデータを抽
出する必要がある。そして観測できた特徴部分を物体モ
デルと比較して、観測対象物の分類や位置・姿勢の計測
を行う場合には、前記観測にかかる特徴部分に対応する
部分を物体モデルとして確保しておくことが必要であり
、このためには物体の全部分の物体モデルを保持してお
く必要があ゛る。その結果、観測対象物の観測に長時間
を必要とするばかりでなく、物体モデルのデータ量が異
常に多くなる等の問題がある。

〈発明の目的〉 この発明は、上記問題を一挙に解消するためのものであ
って、１台のテレビカメラでもって３次元物体の認識が
可能であり、しかも物体観測時間の減少並びに物体モデ
ルのデータ量の減少をはかった新規な３次元物体認識装
置を提供することを目的とする。

〈発明の構成および効果〉 上記目的を達成するため、この発明では、観測対象物の
設置面と平行をなす波長が異なる複数の板状の水平光を
観測対象物に向けて放射して観測対象物の表面に観測対
象物の輪郭に沿う前記各水平光との交わり線を複数生成
する投光手段と、観測対象物に向けて配備された前記各
交わり線の２次元画像を得るための撮像手段と、撮像手
段で得た前記各交わり線の２次元画像を解析して３次元
物体の認識処理を実行する認識処理手段とで３次元物体
認識装置を構成することにした。

この発明によれば、観測対象物の表面に生成される各水
平光との交わり線は、観測対象物が設置面上で平行移動
したり、回転したりしても、その観測対象物をそれぞれ
水平光の高さで切断して得られる観測対象物の切断面の
輪郭線に一致する。このためこれら切断面の輪郭線を物
体モデルとして保持しておき、その物体モデルと前記各
交わり線とを比較することにより、安定して物体認識を
行うことができる。°しかも前記各交わり線は、ある高
さにおける平面上の曲線（１次元データ）であるので、
データ量が少なくて済み、このため各交わり線の検出や
物体モデルとの照合に要する時間をきわめて短くできる
。さらに各板状の水平光の高さは既知であるから、各交
わり線上の点の高さは正確に求まり、１台のテレビカメ
ラによる単眼立体視が可能であると共に、特に側面に特
徴のある３次元曲面物体の認識処理を高速に実行できる
。

さらにまたこの出願の発明者は、この発明に先立ち、単
一の水平光を用いて、上記交わり線を生成する物体認識
装置を提案済みであるが、この発明においては、波長の
異なる複数の板状の水平光を用いて複数箇所の交わり線
を得るよう構成しであるから、単一の水平光による先の
方式に比較して物体認識の精度を大幅に向上できる。ま
だ先の方式で物体認識精度を向上させるには、水平光の
投射高さを変えるための駆動機構や制御回路が必要とな
るが、この発明では、その種の機構や回路が不要であり
、装置の簡易化やコストの低減に貢献する等、発明目的
を達成した顕著な効果を奏する。

〈実施例の説明〉 第１図は、この発明にかかる３次元物体認識装置の全体
構成例を示す。図示例において、カラーテレビカメラ１
は、支柱２の上端に傾動可能に支持されており、水平且
つ平坦な設置面４上の観測対象物３に向けて、やや下向
きに固定されている。

同じ設置面４上のカラーテレビカメラ１の下方位置には
、投光装置５が配備されている。この投光装置５は、設
置面４と平行をなす波長の異なる複数の板状の水平光６
ａ、６ｂ、６ｃを観測対象物３へ放射し、これにより観
測対象物３の表面に前記各水平光との交わり線７ａ＋７
ｂ。

７ｃを生成するためのものである。この実施例の場合、
前記投光装置５は、赤、緑、青の三原色光に相当する波
長をもつ３本の板状の水平光６ａ、５ｂ、５（を投射す
るものであり、従って観測対象物３の表面には、各板状
水平光６ａ＋６ｂ、６ｃの投光路高さｈＲ，ｈ６．ｈＢ
に対応する位置に、観測対象物の輪郭に沿う３本の交わ
り線７ａ、７ｂ、７ｃが生成される。

第２図は、高さｈＲの位置に生成された赤色の水平光６
ａについての交わり線７ａを一例として示したものであ
る。

第３図は、前記投光装置５の構成例を示す。

図中、３個のレーザ光線８ａ、８ｂ、８ｃは、それぞれ
赤色レーザビーム９ａ、緑色レーザビーム９ｂ、青色レ
ーザビーム９ｃを下方へ投射するためのもので、各レー
ザビーム９ａ、９ｂ。

９ｃは、シリンドリカルレンズ１ｏにより扇状の光１１
ａ、　ｌｌｂ、　１１　Ｃに変換され、さらにこれら光
１１ａ、　ｌｌｂ、　ｌｌｃを鏡１２に反射させて、設
置面４と平行をなす板状の水平光６ａ、　６ｂ、　６　
ｃを生成している。

これら水平光６ａ、６ｂ、６ｃは、観測対象物３の表面
に前記交わり線７ａ、７ｂ、７ｃを生成し、それぞれ交
わりｖＡ７ａ、７ｂ、７ｃは、前記カラーテレビカメラ
１によって撮像される。

カラーテレビカメラ１の撮像面には、各交わり線７ａ、
７ｂ、７ｃの２次元画像が輝線として現れるもので、こ
れら２次元画像はビデオ信号１３としてマイクロコンピ
ュータより成る制御処理装置１４へ送られる。

この制御処理装置１４は、取り込んだ画像入力に２値化
処理を施して、前記各輝線（交わり線）を抽出した後、
以下に詳述する解析を実施して、観測対象物３の認識処
理を実行する。

第４図は、上記制御処理装置１４の制御動作、すなわち
３次元物体の認識処理動作の流れを示している。

まず同図のステップ１　（図中、ｒＳＴＩＪで示す）で
、制御処理装置１４が、投光装置５を作動させると、三
原色の各水平光６ａ、６ｂ。

６ｃが観測対象物３に一斉投射され、観測対象物３の表
面には３本の交わり線７ａ、　７ｂ、　７ｃが生成され
る。そしてカラーテレビカメラ１は、これら交わり線？
ａ、７ｂ、７ｃを描像し、それぞれ画像は制御処理装置
１４に取り込まれる（ステップ２）。制御処理装置１４
では、入力画像に２値化等の処理を施し、これにより画
像上で交わり線が抽出される（ステップ３）。つぎに制
御処理装置１４は、ステップ４において、まず赤色の水
平光６ａにかかる交わり線７ａ上の各点ｑの３次元座標
を計測する。

第５図はこの座標の計測に際して実施される単眼立体視
の原理を示したものである。まずカラーテレビカメラ１
の撮像面１５上の像点Ｑにつきその３次元座標を求めた
後、この像点Ｑとテレビカメラ１のレンズ中心点Ｒとを
結ぶ直線１６を得る。つぎにこの直線１６を延長して、
像点Ｑに対応する交わり線７ａ上の点ｑを得、さらに点
Ｑ、　　Ｈの既知座標からこの点ｑの３次元座標（ｘｑ
＋　ｙｑ＋ｈｕ　）を算出する。この座標算出演算は、
全ての像点につき実施し、これにより交わり線７ａを構
成する各点の３次元座標を得ることができる（ステップ
４）。

つぎのステップ５は、上記で得た交わり線７ａの構成デ
ータを、制御処理装置１４内のメモリ（図示せず）に予
め格納しである各物体モデルのデータと照合して、この
観測対象物３がどの物体モデルに対応するのかを判断す
る。この場合、前記物体モデルのデータは、各物体モデ
ルを高さり、Ｉで水平に切断したときの、その切断面の
輪郭線を表すデータである。

ところでこの実施例では、上記照合処理に先立ち、交わ
り線７ａを構成するｘｙ座標系の各データを、３次元空
間での平行移動や回転の影響を受けないような他の座標
系（この場合、ψＳ座標系）のデータに変換しており、
これにより照合処理の容易化をはかっている。

すなわちこの実施例では、第６図に示す如く、交わり線
７ａ上の各点ｑ工につきその点（例えばｑｚ）とつぎの
点（例えばｑｓ）とを結ぶ線の外角（例えばθ２３）を
求めてその累計値を９（ｑ８）とし、また各点間の距離
（例えばＬ２３）を求めてその累計値を５（ｑｉ）とし
、これら％（ｑｔ　）、Ｓ　（ｑｉ　）を各点（ｌｉに
つきつぎの原理式（ただしこの式では、ｉ≧２）から求
めて、データ変換を行っている。

第７図は、上記変換の具体例を示し、交わり線７ａを構
成するに番目の点のｘｙ座標（ｘ（ｋ）。

ｙ（ｋ））が９）Ｓ座標系において座標（Ｓ　（ｋ）　
、　９’（ｋ）　）に変換されている。

つぎの各式は、前記００式を一層具体的に表したもので
あり、ｋ番目の点につきこれら各式の演算を実行するこ
とによって、上記の変換データ　（ｋ）　、　Ｓ　（ｋ
）を得ることができる。

（１）ｋ＝ｏのとき ５（０）＝０ ９’（０）−０ Ｔ２）ｋ＝１のとき ５（１）　　＝　　（ｘ（１）−ｘ（０））”　　＋　
　（ｙ（１）−ｙ（０））”＄（１）＝０ （３）ｋ≧２のとき Ｓ　（ｋ）　　＝　Ｓ　（Ｋ−１）＋　　（ｄｘ＋）”
　＋　（ｄｙｅ）”ただし上記のｄＸ＋＋ｄＸｚ＋ｄＶ
＋、ｄＶｔはつぎのとおりである。

ｄ　ｘ、　　＝　ｘ（ｋ）　　−ｘ（ｋ−１）ｄ　ｘ、
　＝　ｘ（ｋ−１）　−ｘ（ｋ−２）ｄ　’／＋　　＝
３’（ｋ）　　−ｙ（ｋ−１）ｄ　ｙ　ｚ　＝　ｙ　（
ｋ−１）　　−ｙ　（ｋ−２）上記によって変換された
データは、ステップ５で物体モデルのデータと照合され
、いずれかモデルのデータと一致するか否かによって、
制御処理装置１４は観測対象物３の種類を判別する（ス
テップ６）。そしてもしひとつの分類対象にしぼれない
ときは、ステップ６の判定が“ＮＯ″であり、つぎに緑
色の水平光６ｂにかかる交わり線７ｂについて、前記ス
テップ４，５と同様の処理を実行する。すなわちステッ
プ８で、まず交わり線７ｂ上の各点の座標を計測した後
、つぎのステップ９で、これら計測データを各物体モデ
ルのデータ（高さｈ６における切断面の輪郭線データ）
と照合するもので、制御処理装置１４は、いずれかモデ
ルのデータと一致するか否かによって、観測対象物３の
種類を判別する（ステップ１０）。

上記赤色および緑色の交わり線７ａ、７ｂにかかる処理
によっても、依然分類対象がひとつにしぼり切れないと
きは、ステップ１０の判定がＮＯ”であり、つぎに青色
の水平光６Ｃにかかる交わり線７Ｃについて、同様の座
標計測処理（ステップｒ１）および照合処理（ステップ
１２）が実行される。

か（して上記赤色、緑色、青色の交わり線７ａ、７ｂ、
７ｃについての処理過程において、分類対象がひとつに
絞られると、ステップ６゜１０．１３のいずれかがＹＥ
Ｓ”となって、ステップ７へ進み、制御処理装置１４は
、物体モデルのデータに対する交わり線の構成データの
差異から、観測対象物３の位置や姿勢を算出するもので
ある。

【図面の簡単な説明】

第１図はこの発明にかかる３次元物体認識装置の全体構
成図、第２図は観測対象物表面の交わり線を示す図、第
３図は投光装置の構造説明図、第４図は物体認識処理の
流れを示すフローチャート、第５図は単眼立体視の原理
説明図、第６図はデータ変換の原理説明図、第７図はデ
ータ変換例を示す図、第８図および第９図は従来例の説
明図である。 ■・・・・・・カラーテレビカメラ ３・・・・・・観測対象物　　　　４・・・・・・設置
面５・・・・・・投光装置　　　　６ａ、６ｂ、６ｃ・
・・・水平光１６・・・・・・制御処理装置

Claims (4)

【特許請求の範囲】
1. （１）観測対象物の設置面と平行をなす波長が異なる複
   数の板状の水平光を観測対象物に向けて放射して、観測
   対象物の表面に観測対象物の輪郭に沿う前記各水平光と
   の交わり線を複数生成する投光手段と、 観測対象物に向けて配備された前記各交わり線の２次元
   画像を得るための撮像手段と、 撮像手段で得た前記各交わり線の２次元画像を解析して
   ３次元物体の認識処理を実行する認識処理手段とから構
   成される３次元物体認識装置。
2. （２）前記投光手段は、三原色光に相当する波長をもつ
   ３本の水平光を放射する装置である特許請求の範囲第１
   項記載の３次元物体認識装置。
3. （３）前記撮像手段は、カラーテレビカメラである特許
   請求の範囲第１項記載の３次元物体認識装置。
4. （４）前記認識処理手段は、マイクロコンピュータであ
   る特許請求の範囲第１項記載の３次元物体認識装置。