JPH0460686A - ターゲットマーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はターゲットマークに関し、特にロボ・ントなど
を用いて物体把持、組立、ド・７キング作業などを行う
際に必要となるロボットと物体間の相対位置計測を行う
ためのターゲットマー、りに関するものである。

〔従来の技術〕

従来より、組立、ドツキング作業等において対象となる
ターゲットにマークを取りつけ、マーク像をカメラに入
力して画像処理することにより位置決めする方法が用い
られてきた。位置決めのためのマークとしてはいくつが
考案されているが、代表的な２種類のマークについて説
明する。

第１のマークはターゲットにつけた４角形の頂点のマー
クとその中心部より立てたポール上のマークの５点のマ
ークで第４図（ａ）に示す。頂点３１〜３４の像または
頂点３１〜３４を結ぶ辺の像をカメラで読み取り、４頂
点３１〜３４及び対角線の交点の座標を用いて射影幾何
学の複比の定理によりターゲットの３次元空間内での位
置、姿勢を推定し、さらにボール３５上のマークにより
ピッチ、ヨー角の検出精度を向上させたターゲットマー
クである。このマークに関しては文献：町田他、パ宇宙
近接作業センサの試作″、宇宙用人工知能ロボットオー
トメーションシンポジウム。

ｐｐ５１〜ｐｐ５４（１９８８）に述べられている。

第２のマークはＧＦＴ　（クラブルフィクスチャターゲ
ット）パターンと呼ばれる立体マークであり、第４図（
ｂ）に示すように、同心円の縞４１に長方形４２を重ね
合わせたもので、同心円のリングの一部に切れ目４１ａ
が設けである。又、リング中心よりボール４３が立てて
あり、ボール４３の先端にもやはりマークがつけである
。予め記憶させたＧＦＴの中心部分のパターンと比較し
、マークの傾き、拡大率を求めて、アフィン変換やパタ
ーンマツチングによりマークに含まれる特徴点の座標を
求めることにより、物体の位置、姿勢を推定することが
できる。このマークに関しては例えば、山脇他、“マニ
ピュレータ系の画像にょる位置検出システムの検討″、
宇宙用人工知能ロボットオートメーションシンポジウム
、　ｐｐ１９３〜ＰＰ１９６（１９８７）に述べられて
いる。

〔発明が解決しようとする課題〕

上述した従来のターゲットマークにおいて、第１のマー
クでは、一般的には平面上の４点の画像データと各点の
実際の形状寸法データの対応をとることが困難であり、
さらに角度によれば、ボール上のマークと平面上のマー
クが重なる可能性かがり、位置姿勢検出範囲がかなり狭
められるという問題がある。またこのマーク形状では人
間か目視によりマークの識別や概略の相対位置関係を把
握することは困難であり、遠隔操作を行なうロボット用
のターゲットマークとして適当ではない。

第２のマークでは、従来よりオペレータがマニュアルで
ロボット操作しながら作業を行なう場合に用いられてき
たもので、人間にはある程度相対位置関係が把握でき、
マークの識別も容易であるが、画像処理等により自動的
に相対位置の計測を行なう場合、複雑な処理が必要であ
り、エツジ検出などでは誤差の影響を受けやすいなどの
課題があった。

〔課題を解決するための手段〕

本発明は物体の組立、把持、ドツキング作業等を行うシ
ステムに用いられ対象物の接合面に設置する近接センサ
用のターゲットマークにおいて、平面上に設けられ面積
最大のリング状マークと、それぞれ円形をなして一つだ
け面積が異なり且つ前記平面上における前記リング状マ
ークの外側に該リング状マークの中心位置を中心とする
正方形に配置された４つの円形マークと、前記リング状
マークと同心円で且つ該リング状マークの内側をくり抜
いた底面に設置されたマークとを具備し、前記リング状
マーク及び前記円形マーク及び前記マークの部分に他の
部分とは異なる色を塗布してなっている。

〔実施例〕

次に、本発明について図面を参照して説明する。

まず、本発明に従うターゲットマークを用いた画像計測
により相対位置計測を行なうための原理作用について説
明する。

第１図に本発明の一実施例のターゲットマークの構造を
示す。第１図（ａ＞は本実施例を正面から見た図であり
、第１図（ｂ）は本実施例の断面図である。

本実施例のターゲットマークは、平面７上に正方形状に
配置したマーク（Ａ）１、マーク（Ｂ）２、マーク〈Ｃ
）３及びマーク（Ｄ）４があり、マーク（Ａ）１のみ他
の３つのマークに比べ面積が大きくなっている。又、こ
の４つのマークがつくる正方形の内部にリング状のマー
ク（Ｅ）５があり、リングの内部は円錐状のテーパをつ
けてくり抜いてあり、円錐中心に円形のマーク（Ｆ）６
がリングと同心円状に設けられている。これらマークの
部分を白とし、他の部分を黒のペイントで塗布している
。

第２図に観測系のカメラより本実施例のターゲットマー
ク画像を取り込んだ一例を示す。座標系は同図に示すよ
うに、観測系のカメラの画像平面０上にＸ、Ｙ座標を、
画像中心より画像平面Ｏに垂直方向に２軸をとる。ター
ゲットマークの原点はマーク（Ｅ）５の重心位置にｘ、
ｙ、ｚとする。またマーク形状寸法すなわち、マーク座
標系における６つのマーク１〜６の３次元位置は既知と
する。

以下、本実施例のターゲットマークを用いることにより
、観測系からのターゲットマークまでの相対位置すなわ
ち、ｘ、ｙ、ｚ方向の位置の３自由度とＸ、Ｙ、Ｚ軸回
りの姿勢の３自由度の計６自由度についての計測方法を
説明する。

まず、観測系より取り込んだカメラ画像における各マー
ク重心の座標値、及びマークの面積を計測する。重心座
標値とマークの対応をとるため、重心座標値に対応する
マークの面積について比較を行なうと、リング状のマー
ク（Ｅ）５は最も面積が大きいので、マーク（Ｅ）５の
対応点が判別できる。マーク（Ｆ）６はマーク（Ｅ）５
の内部にあるため、マーク（Ｅ）５の重心座標点に最も
距離が近い重心座標点かマーク（Ｆ）６に対応する。残
り４点のうちマーク（Ａ）１が最も面積が大きいので、
マーク（Ａ）１の対応点も判別できる。あとの３点につ
いては、第２図に示すマーク（Ｅ）５を画像原点とした
Ｘ’　、Ｙ’座標系Ｇこおける重心座標値を求め、例え
ばマーク（Ａ）１の座標が第一象限にある場合はマーク
（Ｂ）２の座標は第二象限に、マーク（Ｃ）３の座標は
第三象限にあるなどの条件判定によりすべてのマークと
計測座標値との対応判別が可能となる。相対位置関係に
よれば、マーク（Ｆ）６が観測画像面上で観測できない
場合があるが、この場合でも、他の５点の計測により対
象物との相対位置計測が可能である。

以上のように各座標点とマークとの対応が決定すれば、
まず平面７上のマーク１〜４につｂ）て、文献：島崎、
［投影変換の逆行列に関する２、３の考察」、電子通信
学会研究会資料ＩＥ７９−１５にあるような方法を用い
て各４つのマークの相当位置が幾何的に決定できる。さ
らにこれら４点の３次元位置を用いればターゲットマー
クとの相当位置姿勢が計算可能である。この場合、姿勢
に関してピッチ、ヨー角の検出精度がロール角に比べて
低くなるが、さらに中心のマーク（Ｆ）６の座標が計測
されている場合には、このマーク情報を用いてニュート
ン法などを用いた繰り返し収束計算等により、より高精
度のピッチ、ヨー角の検出が可能である。

以上の処理により、本実施例のターゲットマークを用い
て、画像処理により６自由度方向の相対位置姿勢の計測
が可能となる。

次に、本実施例の具体的な応用例について、図面を用い
て説明する。

第３図は本実施例の応用例を示すロボット遠隔操作物体
把持システムの構成図である。

ターゲットマーク８及び把持グリップ９を把持対象物１
０に設置し、ハンド・アイカメラ２２と遠隔操作ロボッ
トアーム２０、ロボットハンド２１を用いて把持対象物
１０の把持作業を行なう場合について説明する。オペレ
ータはロボット操作手段２５を用いてロボット操作命令
を入力し、ロボット制御手段２３によりロボットの操作
を行なう。ハンド・アイカメラ２２の画像データはロボ
ット操作手段２５に入力することによりオペレータに提
示され、また画像処理手段２４により画像計測処理が行
なわれる。

条件として把持グリップ９をロボットハンド２１によっ
て把持する位置を目標位置とし、目標位置では、ターゲ
ットマーク８とハンド、アイカメラ２２の相対位置はＺ
軸方向のみある値を持ち、他の自由度方向については、
相対位置姿勢の差はないようにターゲットマーク８、把
持グリップ９、ハンド・アイカメラ２２を配置する。こ
のときのハンド・アイカメラ２２の座標系は第２図と同
じとする。またターゲットマーク８から把持グリップ９
までの相対位置及び形状寸法、カメラ２２からロボット
ハンド２１までの相対位置及び形状寸法は既知とする。

まず、オペレータはロボットアーム２０を操作しながら
ハンド・アイカメラ２２を用いて把持対象物１０を探索
する。把持対象物１０が発見できれば、さらに把持対象
物１ｏに設置したターゲットマーク８を識別し、カメラ
視野内に最低マーク（Ａ）１〜マーク（Ｅ）５が判別で
きるようにロボットアーム２０を遠隔操作してカメラ視
点位置の調整を行なう、上述のマーク画像が得られれば
、後は画像処理により、カメラ２２がらターゲットマー
ク８までの相対位置が計測できる。さらに計測精度を向
上させるため、まず計測データに基づき、Ｚ軸方向のみ
一定にして、他の自由度方向の相対位置誤差を解消する
方向にロボットアーム２０を移動する。そこで再度画像
計測により相対位置の計測を行なう。さらに高い精度が
要求される場合はＺ軸方向に段階的に近づけ、その都度
相対計測を行なえば良い。

最後は２方向に目標となる相対位置まで移動すれば、ハ
ンドの位置決めが完了するので、ハンドの把持動作によ
り対象物体の把持作業が行える。

さらにこのときマークの現在画像と接合完了時の輪郭な
どのリファレンス画像が重ね合わせできるようにしてお
けば、人間の目視により位置決め状況が確認できる。

〔発明の効果〕

以上説明したように、本発明は、近接覚センサとしてカ
メラ系とターゲットマークからなる構成により、３次元
空間に置かれた任意の対象物の相対位置検出が可能であ
る。上述の処理は、リング状のマークを目標に人間が画
像を見ながら遠隔操作によりターゲットマークを容易に
認識でき、目視によってもある程度の相対位置関係が把
握可能である。さらに処理すべきターゲットマーク画像
が得られれば、画像処理により相対位置計測が可能であ
る。また凹状の立体マークであるため姿勢方向について
も高精度の計測が可能であり、例え５つのマークがある
平面上にないもう一つのマークが観測できなくても相対
位置の計測が可能である。この場合、計測後、観測位置
を変更して２繰り返し計測することにより計測精度を向
上させることが可能である。

以上の説明より、本発明のターゲットマークは平面マー
クと立体マークの特性を合わせ持ち、さらにリング状の
マークを設けることにより人間にもある程度マーク形状
から相対位置関係が把握でき、マークの認識も容易とな
るなど単なる画像計測のみならず、遠隔操作を行なうロ
ボットシステムにおいて特に有効である。

従って本発明によれば、上記の効果を持ち、従来のター
ゲットマークが持っていた課題を解決したターゲットマ
ークが得られる。

【図面の簡単な説明】

第１図（ａ＞及び（ｂ）は本発明のターゲットマークの
一実施例の構造を示す正面図及び断面図、第２図は本実
施例のターゲットマークのカメラ画像を示す正面図、第
３図は本実施例の応用例を示す物体把持システムの構成
図、第４図（ａ）及び（ｂ）は従来のターゲットマーク
の二側を示す斜視図である。 Ｏ・・・カメラ画像平面、１・・・マーク（Ａ）、２・
・・マーク（Ｂ）、３・・・マーク（Ｃ）、４・・・マ
ーク（Ｄ＞、５・・・マーク（Ｅ）、６・・・マーク（
Ｆ）、７・・・平面、８・・・ターゲットマーク、９・
・・把持グリップ、１０・・・把持対象物、２ｏ・・・
ロボットアーム、２１・・・ロボットハンド、２２・・
・ハンド・アイカメラ、２３・・・ロボット制御手段、
２４・・・画像処理手段、２５・・・ロボット操作手段
。

Claims (1)

【特許請求の範囲】
1. 物体の組立、把持、ドッキング作業等を行うシステムに
   用いられ対象物の接合面に設置する近接センサ用のター
   ゲットマークにおいて、平面上に設けられ面積最大のリ
   ング状マークと、それぞれ円形をなして一つだけ面積が
   異なり且つ前記平面上における前記リング状マークの外
   側に該リング状マークの中心位置を中心とする正方形に
   配置された４つの円形マークと、前記リング状マークと
   同心円で且つ該リング状マークの内側をくり抜いた底面
   に設置されたマークとを具備し、前記リング状マーク及
   び前記円形マーク及び前記マークの部分に他の部分とは
   異なる色を塗布してなることを特徴とするターゲットマ
   ーク。