JPH04237310A - ３次元自動位置決め方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ねじ締め、タッピング
等の自動作業における作業位置および姿勢検出のための
３次元自動位置決め方法に関する。

【０００２】

【従来の技術】従来の作業箇所自動位置決め方法は、作
業対象物のＣＡＤモデルを利用し、入力される３次元情
報（距離マップ）との照合によって行なっていた。また
、作業箇所を示すために画像マニュアルが用いられてい
るものもあり、これはテキストマニュアルに比べて作業
箇所を的確に把握する上で優れているが、この場合は、
画像マニュアルに従って作業者が自身で位置決めした後
、作業を行なっている。

【０００３】

【発明が解決しようとする課題】上述した３次元自動位
置決め方法は、ＣＡＤモデルを利用していたが、ＣＡＤ
モデルを作成するのには、作業対象物全面の距離マップ
の入力、面の再構成処理等各種の処理のための作業と、
それぞれのハードウェアのコストが必要となり、さらに
作業箇所の検索については、位置姿勢を決定する６つの
パラメータの同定問題を扱うことになるので繁雑になり
、処理コストが増大するという欠点がある。

【０００４】本発明の目的は、作業対象物の作業箇所を
自動検出するのに、画像マニュアルに相当する参照デー
タの生成と、その参照データを使用する作業箇所の位置
および姿勢検出をわずかなハードウェアの使用と簡単な
ソフトウェアの使用で効率的に処理できる３次元自動位
置決め方法を提供することである。

【０００５】

【課題を解決するための手段】本発明の３次元自動位置
決め方法は、オペーレータによって撮影可能に設定され
た作業対象物について、作業箇所を含む作業対象物の面
の２次元展開画像データをカメラを介して抽出し、参照
データとして記憶装置に登録する手順と、モニタに表示
された前記２次元展開画像に対してオペレータが指定し
た作業箇所について、２次元展開画像の部分パターンと
する作業箇所パターンを作成して記憶装置に登録する手
順と、作業対象物から、参照データを抽出した場合と同
様の手順により２次元展開画像データを抽出して登録さ
れている２次元展開画像データと比較し、作業箇所パタ
ーンと最大相関値をとる位置を検出して固定する手順と
、検出して固定された位置を目標位置とし、少なくとも
２つの、任意方向に指向可能な固定されている光源から
ビーム光線を射出し、目標位置を照射し、目標位置にビ
ーム光線が交わって一致したとき射出方向を固定する手
順と、光源の射出方向が固定されると、その方向と既知
のカメラと光源の位置との相対関係から作業箇所の３次
元的座標が算出される手順と、前記少なくとも２つの光
源が発するビーム光の交点を作業対象物の姿勢を示す要
点に当て、その時の光源が示す方向の角度と前記作業箇
所の３次元的座標とからその要点の座標を算出して作業
対象物の姿勢を決定する手順とを有している。また、作
業箇所の指定を２次元展開画像データから座標変換して
表示した３次元展開画像上で行なうこともできる。

【０００６】

【作用】作業対象物の作業箇所を含む表面の２次元展開
画像データをカメラを介して抽出し参照データとして登
録しておき、モニタ上に前記２次元展開画像を表示して
、表示された画像に対して作業箇所を指定して作業箇所
パターンを登録する。その後、作業対象物から、参照デ
ータを登録したときと同等の手順で２次元展開画像デー
タを抽出し、その画像データを参照データと比較して、
作業箇所パターンと最大相関値をとる位置を検出した時
点で作業対象物を固定し、最大相関値をとる位置を目標
位置とし、２つの固定された光源から、直交するスリッ
ト光の交点をそれぞれ目標位置に向けて照射させ、それ
ぞれの直交するスリット光の交点相互が目標位置に一致
した光源の方向を固定することにより、光源とカメラと
の距離と、カメラにおける目標位置と光源間の角度と、
光源における目標位置とカメラ間の角度およびカメラの
俯角とからの三角測量の原理に基づく計算により目標位
置が決定される。

【０００７】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【０００８】図１は本発明の２次元自動位置決め方法の
一実施例のフローチャート、図２は図１に示す実施例が
適用される装置の構成と処理概念図、図３は図２に示す
十字型スリット光の走査を示す図、図４は複雑度の分布
を示す図、図５（ａ），（ｂ）はそれぞれ３次元展開画
像（円筒座標系）と２次元展開画像を示す図、図６は一
般化ハフ変換による位置決めの説明図である。

【０００９】図２に示す装置はターンテーブル２に固定
された作業対象物１と、固定されているカメラ６と、直
交するレーザ光を発光するレーザ５１　，５２　と、レ
ーザ光を絞るスリット４１　，４２　と、モニタ７と、
記憶装置（不図示）、ＣＰＵ（不図示）を含むコンピュ
ータ（不図示）を有する。

【００１０】作業対象物１は、その中心をほぼターンテ
ーブル２上の回転中心近くに固定される。しかし両中心
が一致する必要はないが、中心座標の値を記憶させてお
く必要がある。

【００１１】カメラ６は、所定の時間間隔でターンテー
ブル２上の作業対象物１の作業箇所を含む領域全面を撮
像する装置で、１次元のラインセンサであればよい。

【００１２】作業対象物の中心点の座標を求めるのには
、作業対象物の上方に配置されたカメラにより２次元画
像を入力し、しきい値を設定して２値画像を生成し、該
２値画像に対して連結性解析を行ない作業対象領域をラ
ベル付処理し、作業対象ラベル領域の重心位置を算出し
て、そこを作業対象物の中心とすることができる。

【００１３】また、作業対象物１を固定しておき、その
周りをカメラ６が回転して撮像し、作業対象物１の２次
元展開像データを抽出することもできる。

【００１４】レーザ５１　，５２　はそれぞれカメラ６
の両側に距離を置いて固定されレーザ光を任意の方向に
照射可能である。

【００１５】スリット４１　，４２　はそれぞれレーザ
５１　，５２　にその射出端近くに固定され、直交する
十字形のスリットを有し、レーザ光を絞って十字型レー
ザ光を通過させる。

【００１６】次に、本実施例の処理フローについて、図
１を参照して説明する。

【００１７】まず、作業対象物１をターンテーブル２に
載せると、本装置はターンテーブル２を回転させ、固定
されているカメラ６により、作業対象物１の作業箇所を
含む面全面を撮像して参照データ作成用展開画像９をコ
ンピュータへ入力する（ステップ２１）。コンピュータ
は画像の入力を受けて画像データに変換し、参照データ
用の２次元展開画像データとして登録する（ステップ２
２）。

【００１８】次に、登録された２次元展開画像データか
ら３次元画像データへ座標変換を行ない（ステップ２３
）、このデータから３次元画像をモニタ７へ画面表示す
る（ステップ２４）。オペレータはこの３次元画像を見
て作業箇所を画面指定する（ステップ２５）。

【００１９】画面指定が終ると、本装置は３次元画像か
ら２次元展開画像作業箇所データに座標変換し（ステッ
プ２６）、作業箇所パターンデータとして記憶装置に格
納する（ステップ２６）。

【００２０】その後、作業対象物１を再度ターンテーブ
ル２で回転し、カメラ６により表面を撮影して位置決め
用２次元展開画像８を入力する（ステップ２８）。入力
された画像から位置決め用の２次元展開画像データを、
抽出された順に比較器（不図示）に送り込む（ステップ
２９）。比較器において抽出された画像データと作業箇
所パターンデータと最大相関値を比較し、その位置を検
出する（ステップ３０，３１）。最大相関値をとる位置
を検出すると、ターンテーブル２の回転を停止し、検出
された位置を目標位置として固定する（ステップ３０，
３２）。　　次に、両レーザ５１　，５２　を起動して
（ステップ３３）、レーザ光を振り、十字形スリット４
１　，４２　を通過したレーザ光の交点がそれぞれ目標
位置に一致するようにレーザ５１　，５２　の向きを固
定する（ステップ３４，３５）。レーザ５１，５２　の
向きが固定されると、レーザ５１　，５２のいずれか一
方（例えば５１　）の向きから、既知の、カメラ６とレ
ーザ５１　間の距離、カメラ６の俯角を用いて作業箇所
の座標が三角測量の原理により算出され、作業箇所の３
次元位置が決定される。

【００２１】さらに、レーザ５１　，５２　を振ってそ
の交点を作業箇所の姿勢を代表する点に一致させて固定
し、レーザ５１　の射出角度を求め、姿勢を代表する点
の座標を算出することにより作業箇所の姿勢を決定する
（ステップ３７〜３９）。

【００２２】また、各ステップにおける詳細な説明およ
び他の態様について以下に述べる。オペレータの作業箇
所の指定（ステップ２５）は、この２次元展開画像を直
接モニタ７上に表示することによってか、あるいは、よ
りビジュアルに見せるために、カメラ６の姿勢、回転中
心、対象物中心をパラメータとし、座標変換（ステップ
２３）を行ない２次元展開画像を３次元画像表現し、モ
ニタ７上に表示したものについて行なう。例えば、カメ
ラ６の姿勢が、回転軸に対して平行に位置し、回転中心
と対象物中心が一致しているときは、２次元展開画像の
３次元表現（ステップ２４）は、図５（ａ）に示すよう
に円筒の表面に対象物の図柄が射影されたものとなる。 オペレータは、モニタ７に表示された画像を介して、作
業箇所を指定する（ステップ２５）。

【００２３】作業箇所のパターンデータを２次元展開画
像上に指定するには、直接２次元展開画像をモニタ上に
表示した場合は、指定中心からある半径の指定領域の２
次元展開画像データを作業箇所パターンデータとし、３
次元画像表現をモニタ上に表示した場合は、指定中心の
座標値を２次元の座標値に逆変換をかけ（ステップ２６
）、２次元展開画像データ上で指定中心からある半径の
指定領域を作業箇所パターンデータとする。ここで、作
業箇所パターンデータとしては、２次元展開画像に対し
て何らかの特徴抽出処理を行なった結果を用いてもよい
。

【００２４】一方、位置決め動作時には、まず、参照デ
ータ作成時と同様に、２次元展開画像を入力する（ステ
ップ２８）。参照データ作成時に特徴抽出を行なったも
のについては、２次元展開画像に対して、同じ特徴抽出
を行なって位置決め用２次元展開特徴画像を作成する。 この位置決め用２次元展開画像あるいは２次元展開特徴
画像の中から、作業箇所パターンデータと最大の相関値
を与える画素位置を算出する（ステップ３０，３１）。 ここで、相関値を与える尺度は、例えば、ｔ（ｐ，ｑ）
を作業箇所パターンデータテンプレートとし、ｆ（ｘ，
ｙ）を２次元展開画像としたとき、ｇ（ｘ，ｙ）＝ΣΣ
ｔ（ｐ，ｑ）ｆ（ｘ−ｐ，ｙ−ｑ）により定義されるｇ
（ｘ，ｙ）により与えられる。ここで、テンプレートと
して、展開画像を対象にしてもよい（全体の対応がつけ
ば、部分である作業箇所の対応は、全体の中の部分の位
置は既にわかっているので、対応がつく）が、画素に対
する重み付けなしでは、ほとんど平坦でわずかが特徴的
な部位をもつ対象に対しては、通常含まれるノイズによ
り正しい位置決めができなくなってしまう。その場合は
、展開画像の複雑度などの特徴画像を算出し、展開特徴
画像に対して、テンプレートマッチングを行なう。ここ
で、通常よく用いられるテンプレートとの画素毎のユー
クリッド距離の和の最小値によるマッチング尺度では、
対象の変形（回転等の線形的な変形、あるいは２次元的
なあおり等の変形）には対応できなくなる。これに対処
するために、一般化ハフ変換をマッチングとして用いる
。一般化ハフ変換は、推定するパラメータ空間（ここで
は、図５（ａ）に示す円筒座標系での位置ずれ位置をパ
ラメータにする。）に、入力パターンがテンプレートパ
ターンと合致した場合、図６に示すように投票し、多数
決によりパラメータを決定する手法であるが、複雑度等
の画素周辺の位相構造を反映した特徴（図４に示すよう
な画素のまわりのエッジ画像（エッジ部分が「１」で、
エッジ部分以外が「０」である画像）を横切る（「１」
が「０」に、「０」が「１」に変化すること）カウント
値の分布）等を用いることにより、一般化ハフ変換が持
つ、ノイズには強いが位相構造を反映していないので識
別能力には限界があるという欠点を補うことができる。

【００２５】以上、図６に示すように、ｔ（ｐ，ｑ）の
最大の投票数（すなわち、最大の投票値）を与える目標
位置（ｘ＊　，ｙ＊　）、すなわち図５（ｂ）に示す２
次元展開画像上での作業箇所の座標が求まったが、まだ
これでは、作業箇所パターンの３次元座標および姿勢ま
で決定することはできない。ここでこれらの未知パラメ
ータを決定するために、目標位置（ｘ＊　，ｙ＊　）の
位置に十字型スリット光をレーザ等の手段により照射し
、３次元的構造を決定するのである（ステップ３３〜３
６）。ここで、十字型スリット光の代わりに、多数の直
交するスリット光（メッシュ光）を適用してもよい。多
数の直交するスリット光を用いた場合は、計測精度が、
単一の十字型スリット光よりも、向上し、作業箇所パタ
ーンの細かい形状も把握可能である。ここでは、簡単の
ため、十字型スリット光についてのみ説明する。目標位
置（ｘ＊　，ｙ＊　）の位置は、２次元情報なので、奥
行きに関する情報は有していない。従って、十字型スリ
ット光の交点を目標位置（ｘ＊　，ｙ＊　）に一致させ
るには、十字型スリット光の移動が必要になる。図３に
その概念図を示す。移動させるためのガイドラインは、
カメラ６と真の作業箇所中心Ｐとを結ぶ直線ｌである。 対象物とカメラとの相対距離はある程度予想されるので
、直線ｌ上に有界な探索幅Ｄの線分を規定する。したが
って、２組のスリット光の角度を探索幅Ｄの線分上で交
わるように振ればよい。図３中にスリット光１’，２’
，３’，４’はレーザ５１　，のスリット光を４方向に
振ったときの投光パターンを示し、スリット光１”，２
”，３”，４”はレーザ５２　のスリット光を４方向に
振ったときの投光パターンを示す。スリット光の回転走
査は、通常のミラーの方向制御により実行される。効率
的に十字型スリット光の交点を目標位置（ｘ’，ｙ’）
に一致させるための方法としては、その間の距離ｄを最
小にする座標位置を求める問題に帰着させ、探索幅Ｄを
粗いサンプリング点で大体の位置を検出し、候補位置の
周囲をより細かいサンプリング点で探索するいわゆるｃ
ｏａｒｓｅ−ｔｏ−ｆｉｎｅｍｅｔｈｏｄを適用するこ
とにより、効率的なＰの探索が実行できる。点Ｐの座標
は、により定義される三角測量の原理により求めること
ができる。また、作業箇所領域の範囲の十字型スリット
パターンのサンプル点の３次元座標も同様に三角測量の
原理から算出し、これらのサンプル点の３次元座標の分
布を平面の方程式に当てはめ、最小２乗近似により平面
方程式のパラメータを求めることにより、作業面の姿勢
を求めることができる。一方、もっと多くのスリットパ
ターンを用いることにより、作業箇所面が曲面になって
いる場合に、その曲面の姿勢を検出することが可能とな
る。

【００２６】

【発明の効果】以上説明したように本発明は、作業対象
物の作業箇所を含む２次元展開画像データを、カメラと
ターンテーブルとにより参照データとして登録し、その
２次元展開画像または一段階変換された３次元展開画像
上に指定された作業箇所パターンを登録した後、作業対
象物の２次元展開画像データを参照データ抽出の時と同
様に抽出して参照データと比較し、作業箇所パターンと
一致する位置を求め、該位置を目標位置として、任意の
方向に射出可能な固定されている光源からビーム光を目
標位置に当て、ビームの示す角度と、カメラおよび光源
の座標から作業位置を決定するので、ハードウェアが少
なくて済み、操作も極めて容易かつ正確に行なわれ、ま
たソフトウェアも簡単な既設の組合わせで済むという効
果がある。

【図面の簡単な説明】

【００２７】

【図１】本発明の３次元自動位置決め方法の一実施例の
フローチャートである。

【００２８】

【図２】図１に示す実施例が適用される装置の構成と処
理概念図である。

【００２９】

【図３】図２に示す十字型スリット光の走査を示す図で
ある。

【００３０】

【図４】複雑度の分布を示す図である。

【００３１】

【図５】（ａ）、（ｂ）は、それぞれ、３次元展開画像
（円筒座標系）と、２次元展開画像を示す図である。

【００３２】

【図６】一般化ハフ変換による位置決め説明図である。

【００３３】

【符号の説明】

１　　作業対象物 ２　　ターンテーブル ３　　作業箇所 ４１　，４２　　　スリット ５１　，５２　　　レーザ ６　　カメラ ７　　モニタ ８　　位置決め用２次元展開画像 ９　　参照用２次元展開画像 １０，１１　　スリット光中心 １２　　エッジ部分

Claims (2)

【特許請求の範囲】
1. 【請求項１】　　オペレータによって撮影可能に設置さ
   れた作業対象物について、作業箇所を含む作業対象物の
   面の２次元展開画像データをカメラを介して抽出し、参
   照データとして記憶装置に登録する手順と、モニタに表
   示された前記２次元展開画像に対してオペレータが指定
   した作業箇所について、２次元展開画像の部分パターン
   とする作業箇所パターンを作成して記憶装置に登録する
   手順と、作業対象物から、参照データを抽出した場合と
   同様の手順により２次元展開画像データを抽出して、登
   録されている２次元展開画像データと比較し、作業箇所
   パターンと最大相関値をとる位置を検出して固定する手
   順と、検出して固定された位置を目標位置とし、少なく
   とも２つの、任意方向に指向可能な固定されている光源
   からビーム光線を射出し、目標位置を照射し、目標位置
   にビーム光線が交わって一致したとき光源の射出方向を
   固定する手順と、光源の射出方向が固定されると、その
   方向と、既知のカメラと光源の位置との相対関係から作
   業箇所の３次元的座標を算出する手順と、前記少なくと
   も２つの光源が発するビーム光の交点を作業対象物の姿
   勢を示す要点に当て、その時の光源が示す方向の角度と
   前記作業箇所の３次元的座標とからその要点の座標を算
   出して作業対象物の姿勢を決定する手順とを有する３次
   元自動位置決め方法。
2. 【請求項２】　　オペレータによる作業箇所指定が、２
   次元展開画像データから座標変換によりモニタに表示さ
   れた３次元展開画面上に行なわれ、指定された作業箇所
   を２次元展開画像データに再変換して作業箇所パターン
   を作成する請求項１記載の３次元自動位置決め方法。