JP3104448B2 - 視覚センサ付きロボットの座標系の設定方法 - Google Patents

視覚センサ付きロボットの座標系の設定方法

Info

Publication number
JP3104448B2
JP3104448B2 JP04357945A JP35794592A JP3104448B2 JP 3104448 B2 JP3104448 B2 JP 3104448B2 JP 04357945 A JP04357945 A JP 04357945A JP 35794592 A JP35794592 A JP 35794592A JP 3104448 B2 JP3104448 B2 JP 3104448B2
Authority
JP
Japan
Prior art keywords
visual sensor
robot
coordinates
recognition
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04357945A
Other languages
English (en)
Other versions
JPH06190756A (ja
Inventor
直樹 辰巳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP04357945A priority Critical patent/JP3104448B2/ja
Publication of JPH06190756A publication Critical patent/JPH06190756A/ja
Application granted granted Critical
Publication of JP3104448B2 publication Critical patent/JP3104448B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、視覚センサにより物
体の位置を認識するロボットの座標系の設定方法に関す
るものである。
【０００２】
【従来の技術】図１７〜図２３は、従来の視覚センサ付
きロボットの座標系の設定方法を示す図で、図１７(Ａ)
はハンドにカメラが装着された場合、(Ｂ)はロボット以
外の場所にカメラが固定された場合の構成図、図１８は
座標系と位置関係を示す図で、図１８(Ａ)(Ｂ)はそれぞ
れ図１７(Ａ)(Ｂ)に対応する。図１９はベクトル図で、
図１９(Ａ)(Ｂ)はそれぞれ図１８(Ａ)(Ｂ)に対応する。
図２０は座標系の設定動作フローチャートで、図２０
(Ａ)(Ｂ)はそれぞれ図１９(Ａ)(Ｂ)に対応する。図２１
はロボットの座標系を示す図、図２２はベクトルの相対
変換図、図２３はベクトルの逆変換説明図で、図２３
(Ａ)は変換前、(Ｂ)は変換後である。
【０００３】図１７において、(1)はロボット、(2)はロ
ボット(1)を制御する制御装置、(3)は視覚センサの演算
装置、(4)はロボット(1)に取り付けられたハンド、(5)
は視覚センサのカメラで、視覚センサの演算装置(3)に
接続されている。(6)は認識対象物（ワークなど）、(7)
は認識対象物(6)上にあり視覚センサで認識する認識点
である。
【０００４】図１７において、座標系と、位置関係を示
すベクトルを書き込むと、図１８となる。これらの図に
おいて、(8)はロボットの座標系、(9)は視覚センサの座
標系、(10)〜(13)はそれぞれベクトルで、それぞれ位置
を表すものとし、(10)はロボットの座標(8)上での認識
点(7)の位置、(11)は視覚センサの座標(9)上での認識点
(7)の位置、(12)は認識するときの座標(8)上でのロボッ
ト先端の位置（以下、ロボットの位置と呼ぶ）、(13)は
ロボットの位置に対する視覚センサの座標原点の相対位
置（以下、センサフレームと呼ぶ）、(14)はロボットの
座標(8)上での視覚センサの座標原点の位置（ロボット
座標に対する視覚センサの座標の相対位置、以下、セン
サフレームと呼ぶ）である。
【０００５】図１９は、図１８からベクトルだけを抜き
出したものである。次に、設定方法を図２０を参照して
説明する。まず、カメラ(5)がロボットのハンド(4)に取
り付けられたシステムでは、図２０(Ａ)に示すように、
【０００６】（イ）ステップ(100)でロボットの座標(8)
上での認識点(7)の位置(10)を実測、又はロボット(1)に
よる教示により求める。 （ロ）ステップ(101)で認識点(7)が視覚センサの視野に
入るようにロボット(1)を移動させ、認識するときのロ
ボット(1)の位置(12)として教示する。 （ハ）ステップ(102)で認識点(7)を認識して、視覚セン
サの座標(9)上での認識点の位置(11)を求める。 （ニ）ステップ(103)でロボットの座標(8)上での認識点
(7)の位置(10)、認識するときのロボットの位置(12)、
視覚センサの座標(9)上での認識点の位置(11)から、セ
ンサフレーム(13)を求める。
【０００７】これらの手順で座標系を設定する。この手
順の（ニ）でのセンサフレーム(13)は、 Ｓ＝Ｆ~1：Ｗ：Ｖ~1 により求められる。ここで、：は相対変換、~1は逆変
換、Ｓ，Ｆ，Ｗ，Ｖはそれぞれベクトル(13)(12)(10)(1
1)を示す。
【０００８】次に、カメラ(5)がロボット(1)以外の場所
に取り付けられたシステムの場合には、図２０(Ｂ)に示
すように、 （イ）ステップ(100)でロボットの座標(8)上での認識点
(7)の位置(10)を実測又はロボット(1)による教示により
求める。 （ロ）ステップ(102)で認識点(7)を認識して、視覚セン
サの座標(9)上での認識点の位置(11)を求める。 （ハ）ステップ(104)でロボットの座標(8)上での認識点
(7)の位置(10)、視覚センサの座標(9)上での認識点の位
置(11)から、センサフレーム(14)を求める。
【０００９】これらの手順で座標系を設定する。この手
順の（ハ）でのセンサフレーム(14)は、 Ｓ＝Ｗ：Ｖ-1 により求められる。
【００１０】次に、ロボットの座標(8)について説明す
る。図２１において、Ｘ，Ｙ，Ｚはそれぞれベクトルの
Ｘ成分、Ｙ成分、Ｚ成分を表し、Ｚ成分周りの回転をＯ
成分、Ｙ成分周りの回転をＡ成分、Ｘ成分周りの回転を
Ｔ成分と呼ぶ。ロボットの座標(8)は、これらの６つの
成分から構成され、位置を表すベクトルもこの６つの成
分からなる。視覚センサの座標(9)は、これらの成分の
うちＸ，Ｙ，Ｏ成分だけであるが、この座標系上のベク
トルはＺ，Ａ，Ｔ成分を含みそれぞれ零の値を持つこと
とする。
【００１１】次に、相対変換について説明する。図２２
(Ａ)において、(15a)(16)(17a)は相対位置を表すベクト
ルである。ここで、相対位置(15a)と相対位置(16)の相
対変換を行なうと相対位置(17a)となる。これを式に表
すと、 Ｃ＝Ａ：Ｂ となる。ここで、Ｃはベクトル(17a)を示す。
【００１２】図２２(Ｂ)は図２２(Ａ)から相対位置(15
a)のＯ成分を９０°回転させた図である。(15b)(17b)は
相対位置(15a)を９０°回転させたときの相対位置を表
すベクトルである。相対位置(15a)と相対位置(15b)をベ
クトルで表わすと図の上では同じになる。また、相対位
置(16)は図２２(Ａ)と図２２(Ｂ)で同じものである。相
対位置(15a)を９０°回転させて相対位置(15b)とする
と、相対位置(16)は図２２(Ｂ)のようになり、それらを
相対変換させると相対位置(17b)となる。
【００１３】次に、逆変換について説明する。図２３
(Ａ)において、(18)は点(19)から点(20)への相対位置
を、図２３(Ｂ)において、(21)は点(20)から点(19)への
相対位置を表すベクトルである。図２３(Ａ)の相対位置
(18)の逆変換は、図２３(Ｂ)の相対位置(21)となる。こ
れを式に表すと、 Ｅ＝Ｄ~1 となる。ここで、Ｄ，Ｅはそれぞれベクトル(18)(21)を
示す。
【００１４】
【発明が解決しようとする課題】上記のような従来の視
覚センサ付きロボットの座標系の設定方法では、上記の
ような手順で実施していたため、ロボットの座標系(8)
上での認識点の位置(10)を求める必要があり、これをロ
ボット(1)による教示で求めると誤差がかなり大きくな
る。また、その他の方法で求めるとしても誤差が大きい
か、又は非常に手間がかかるという問題点がある。ま
た、センサフレーム(13)(14)が求まっても、認識点(7)
の位置と実際の把持位置にずれがあり、その差を実測し
ても誤差が含まれる。そして、座標系の設定で求めたセ
ンサフレーム(13)(14)が正しいかどうかは、最終的なシ
ステム試験までわからないという問題点がある。
【００１５】この発明は上記のような問題点を解消する
めになされたもので、精度が良く、かつ、手間がかから
ず、簡単に座標系の設定ができるようにした視覚センサ
付きロボットの座標系の設定方法を提供することを目的
とする。
【００１６】
【課題を解決するための手段】この発明の第１の発明に
係る視覚センサ付きロボットの座標系の設定方法は、ロ
ボットに装着されたカメラにより認識する視覚センサ付
きロボットにおいて、以下の手順により座標系を設定す
るようにしたものである。 （イ）認識点が視覚センサの視野に入るようにロボット
を移動させ、認識点を認識する。 （ロ）ロボットを平行移動させて認識点を認識する。 （ハ）ロボットを回動させ認識点が視覚センサの視野に
入るようにロボットを平行移動させて認識点を認識す
る。 （ニ）（イ）〜（ハ）の認識結果を基にしてセンサフレ
ームを求める。
【００１７】この発明の第２の発明に係る視覚センサ付
きロボットの座標系の設定方法は、第１の発明の方法に
おいて、ハンドを少し回動させてセンサフレームの概算
値を求めておき、その値によりロボットを平行移動させ
る移動量を計算により求めるようにしたものである。
【００１８】この発明の第３の発明に係る視覚センサ付
きロボットの座標系の設定方法は、ロボット以外の場所
に装着されたカメラにより認識する視覚センサ付きロボ
ットにおいて、以下の手順により座標系の設定を行な
う。 （イ）認識対象物を把持したまま、認識点が視覚センサ
の視野に入るようにロボットを移動させ、認識点を認識
する。 （ロ）ロボットを平行移動させて認識点を認識する。 （ハ）ロボットを回動させ認識点が視覚センサの視野に
入るようにロボットを平行移動させて認識点を認識す
る。 （ニ）（イ）〜（ハ）の認識結果を元にしてセンサフレ
ームを求める。
【００１９】この発明の第４の発明に係る視覚センサ付
きロボットの座標系の設定方法は、第３の発明の方法に
おいて、認識対象物を把持せずに、ハンドに認識用のマ
ークを固着して認識するようにしたものである。
【００２０】この発明の第５の発明に係る視覚センサ付
きロボットの座標系の設定方法は、第３の発明の方法に
おいて、認識点を認識するときに、いったん認識対象物
を放し、ロボットを退避させてから認識するようにした
ものである。
【００２１】この発明の第６の発明に係る視覚センサ付
きロボットの座標系の設定方法は、第３、第４及び第５
の発明の方法において、位置に対する認識点の相対位置
の概算値を求めておき、その値によりロボットを平行移
動させる移動量を計算により求めるようにしたものであ
る。
【００２２】
【００２３】この発明の第７の発明に係る視覚センサ付
きロボットの座標系の設定方法は、第１〜第６の発明の
方法によって、センサフレームを求めた後、再度ロボッ
トを移動させ認識してセンサフレームを求めて比較して
その差を求めるようにしたものである。
【００２４】
【作用】この発明の第１の発明においては、ロボットに
装着されたカメラにより認識する視覚センサ付きロボッ
トを平行移動及び回動して認識点を認識させ、この認識
結果を基にしてセンサフレームを求めるようにしたた
め、ロボットの座標上での認識点の位置(10)を入力せず
に座標系の設定ができる
【００２５】また、第２の発明においては、センサフレ
ームの概算値を求め、ロボットの平行移動量を計算する
ようにしたため、ロボットの移動は自動的に行なわる。
【００２６】また、第３の発明においては、ロボット以
外の場所に装着されたカメラにより認識する視覚センサ
付きロボットを平行移動及び回動して認識点を認識さ
せ、この認識結果を基にしてセンサフレームを求めるよ
うにしたため、ロボットの座標上での認識点の位置(10)
を入力せずに座標系の設定ができる。
【００２７】また、第４の発明においては、ハンドに認
識用のマークを固着して認識するようにしたため、認識
対象物を把持したときにカメラに認識点が写らない場合
でも座標系の設定が行なえる。
【００２８】また、第５の発明においては、認識時に認
識対象物を放し、ロボットを退避させてから認識させる
ようにしたため、認識対象物を把持したときにカメラに
認識点が写らない場合、かつハンドにマークが固着でき
ない場合でも座標系の設定が行なえる。
【００２９】また、第６の発明においては、第３、第４
及び第５の発明の方法で、ロボットの平行移動量を計算
により求めるようにしたため、ロボットの移動は自動的
に行なわれる。
【００３０】
【００３１】また、第７の発明においては、座標系を設
定した後、再度認識を実行するようにしたため、座標系
の設定が正しく行なえたかを自動的に確認できる。
【００３２】
【実施例】実施例１． 図１〜図４はこの発明の第１の発明の一実施例を示す図
で、図１はハンドにカメラが装着された視覚センサ付き
ロボットの座標系と位置関係を示す図、図２はベクトル
図、図３は３回の認識説明用ベクトル図、図４は座標系
の設定動作フローチャートであり、従来方法と同様の部
分は同一符号で示す（他の実施例も同じ）。なお、図１
７(Ａ)はこの実施例にも共用する。
【００３３】図１及び図２において、(22)は認識対象物
(6)を把持するときのロボットの位置（以下、把持位置
と呼ぶ）である。図３において、(9a)は１回目の認識時
のカメラ（５）の視野内の一点を原点とする２次元座標
系（以下、視覚センサの座標系という）(9b)は２回目の
認識時の視覚センサの座標系、(9c)は３回目の認識時の
視覚センサの座標系、(11a)は１回目の認識時の視覚セ
ンサの座標(9a)上での認識点(7)の位置、(11b)は２回目
の認識時の視覚センサの座標(9b)上での認識点(7)の位
置、(11c)は３回目の認識時の視覚センサの座標(9c)上
での認識点(7)の位置、(12a)は１回目の認識時のロボッ
トの位置、(12b)は２回目の認識時のロボットの位置、
(12c)は３回目の認識時のロボットの位置を示すベクト
ルである。なお、ロボット(1)の向きとカメラ(5)の向き
は一致しているものとする。
【００３４】次に、実施例１の動作を図４を参照して説
明する。 （イ）ステップ(105)で認識対象物(6)の把持位置(22)を
教示する。 （ロ）ステップ(101)で認識点(7)が視覚センサの視野に
入るようにロボット(1)を移動させ、その位置を１回目
に認識する位置(12a)として教示する。 （ハ）ステップ(102)で認識点(7)を認識して、視覚セン
サの座標(9a)上での認識点の位置(11a)を求める。 （ニ）ステップ(106)でロボットをＸ（＋）方向に平行
移動させ（ハンド(4)の向きが変わらないように）、そ
の位置を２回目の認識時のロボットの位置(12b)として
教示する。このとき、認識点(7)が視覚センサの視野か
ら出ない範囲で移動させる。
【００３５】（ホ）ステップ(107)で認識点(7)を認識し
て、視覚センサの座標(9b)上での認識点の位置(11b)を
求める。 （ヘ）ステップ(108)でロボットのＯ成分を６０°ぐら
い回動させてから、そのままの角度で認識点(7)が視覚
センサの視野に入るようにロボット(1)を平行移動さ
せ、その位置を、３回目の認識時のロボットの位置(12
c)として教示する。 （ト）ステップ(109)で認識点(7)を認識して、視覚セン
サの座標(9c)上での認識点の位置(11c)を求める。 （チ）ステップ(110)では上記で得られた値を基にし
て、センサフレーム(13)を計算する。
【００３６】上記（チ）におけるセンサフレーム(13)の
計算について説明する。まず、センサフレーム(13)のＺ
成分を求める。このとき、正確なＺ成分を求めるより
も、認識するときのロボットの位置(12)から把持位置(2
2)までの高さをセンサフレームのＺ成分としたほうがい
いので、 ＳZ＝ＰZ−Ｆ1Z とする。ここで、ＳZはベクトルＳのＺ成分、ＰZはベク
トルＰのＺ成分、Ｆ1ZはベクトルＦ1のＺ成分（以下、
他のデータも同様に記す）。次に、センサフレームのＯ
成分を下式により求める。
【００３７】△Ｖ＝Ｖ1−Ｖ2
【数１】 この式において、ＳO，Ｆ1Oの「Ｏ」はアルファベット
の「オー」でＯ成分を示す。また、arctanは分子・分母
の符号により３６０°の範囲で計算する（以下同様）。
最後に、下式によりセンサフレーム(13)のＸ，Ｙ成分を
求める。
【００３８】 Ｆ5O＝Ｆ3O ・・・(1) Ｆ5(O以外)＝Ｆ2(O以外) ・・・(2) Ｖ5＝ＳO -1：Ｆ5 -1：Ｆ3：ＳO：Ｖ3 υ2＝ＳO：Ｖ2 △ＦO＝Ｆ3O−Ｆ2O ・・・(3) υ5＝△ＦO：ＳO：Ｖ5 △ＳX＝υ2X−υ5X ・・・(4) △ＳY＝υ2Y−υ5Y ・・・(5)
【数２】 ＳX＝χcosθ ・・・(8) ＳY＝χsinθ ・・・(9)
【００３９】ここで、ＳOはベクトルＳのＯ成分以外の
Ｘ，Ｙ，Ｚ，Ａ成分（すべて零）を含んだ位置を表す。
また、（２）式のＦ5(O以外)＝Ｆ2(O以外)は、 Ｆ5X＝Ｆ2X Ｆ5Y＝Ｆ2Y Ｆ5Z＝Ｆ2Z Ｆ5A＝Ｆ2A Ｆ5T＝Ｆ2T と同じ意味である。なお、（１）式〜（９）式はすべて
スカラ量を表す。ここで、ロボット(1)先端の向きと、
カメラ(5)の向きは一致しているので、センサフレーム
(13)のＡ，Ｔ成分は零となる。
【００４０】実施例２．図５及び図６はこの発明の第２
の発明の一実施例を示す図で、図５は認識説明用ベクト
ル図、図６は座標系の設定動作フローチャートである。
【００４１】図５において、(9d)は仮の認識時の視覚セ
ンサの座標系、(11d)は仮の認識時の視覚センサの座標
(9d)上での認識点(7)の位置、(12d)は仮の認識時のロボ
ットの位置（位置(12b)とは傾きが違う)である。
【００４２】次に、実施例２の動作を図６を参照して説
明する。 （イ）〜（ホ）実施例１の（イ）〜（ホ）と同じ。 （ヘ）ステップ(111)でロボット(1)のＯ成分だけ５°ぐ
らい回転させて（このとき、認識点(7)が視覚センサの
視野から出ないようにする、その位置を仮の認識時のロ
ボットの位置(12d)として教示する。 （ト）ステップ(112)で認識点(7)を認識して、視覚セン
サの座標(9d)上での認識点の位置(11d)を求める。
【００４３】（チ）ステップ(113)では上記で求めた値
を基にして、センサフレーム(13)の概算値を計算する。 （リ）ステップ(114)でロボット(1)のＯ成分が６０°回
転しかつ認識点(7)が視覚センサの視野に入るようなロ
ボットの位置(12c)を計算する。 （ヌ）ステップ(115)でロボットを（リ）で求めた位置
(12c)に移動させる。 （ル）ステップ(109)で認識点(7)を認識して、視覚セン
サの座標(9c)上での認識点の位置(11c)を求める。 （オ）ステップ(110)では上記で得られた値を基にし
て、センサフレーム(13)を計算する。
【００４４】上記（チ）及び（オ）におけるセンサフレ
ーム(13)の求め方は、実施例１と同様である（上記
（チ）では回転する角度が５°程度であるため、誤差が
大きくなり概算値しか求められない）。上記（リ）にお
けるロボットの位置は、次式により求められる。
【００４５】 Ｆ3O＝Ｆ2O＋△ＦO Ｆ3X＝Ｆ2X＋ＳGX'−ＳGX'cos△ＦO＋ＳGY'sin△ＦO Ｆ3Y＝Ｆ2Y＋ＳGY'−ＳGY'cos△ＦO−ＳGX'sin△ＦO Ｆ3Z＝Ｆ2Z Ｆ3A＝Ｆ2A Ｆ3T＝Ｆ2T ここで、ＳG 'はセンサフレーム(13)の概算値、ΔＦOは
回転させる量（この例では６０°）である。
【００４６】実施例３．図７〜図１０はこの発明の第３
の発明の一実施例を示す図で、図７は、認識対象物を把
持したロボットの座標系と位置関係を示す図、図８はベ
クトル図、図９は、３回の認識説明用のベクトル図、図
１０は座標系の設定動作フローチャートである。
【００４７】図７及び図８において、(23)は把持位置(2
2)に対する認識点(7)の相対位置である。図９におい
て、(22a)は１回目の認識時の把持位置、(22b)は２回目
の認識時の把持位置、(22c)は３回目の認識時の把持位
置である。なお、カメラ(5)はロボット(1)以外の場所に
装着され、真下を向いているものとする。
【００４８】次に、実施例３の動作を図１０を参照して
説明する。 （イ）ステップ(105)で認識対象物(6)を把持したまま、
認識点(7)が視覚センサの視野に入るようにロボット(1)
を移動させ、その位置を位置(22a)として教示する。 （ロ）ステップ(102)で認識点(7)を認識して、視覚セン
サの座標(9)上での認識点の位置(11a)を求める。 （ハ）ステップ(116)でロボット(1)をＸ（＋）方向に平
行移動させ（ハンド(4)の向きが変わらないように）、
その位置を２回目の認識時の把持位置(22b)として教示
する。このとき、認識点(7)が視覚センサの視野から出
ない範囲で移動させる。
【００４９】（ニ）ステップ(107)で認識点(7)を認識し
て、視覚センサの座標(9)上での認識点の位置(11b)を求
める。 （ホ）ステップ(117)でロボットのＯ成分を６０°ぐら
い回転させてから、そのままの角度で認識点(7)が視覚
センサの視野に入るようにロボット(1)を平行移動さ
せ、その位置を、３回目の認識時の位置(22c)として教
示する。 （ヘ）ステップ(109)で認識点(7)を認識して、視覚セン
サの座標(9)上での認識点の位置(11c)を求める。 （ト）ステップ(118)では上記で得られた結果を基にし
て、センサフレーム(14)を計算する。
【００５０】上記（ト）におけるセンサフレーム(14)の
計算について説明する。まず、センサフレーム(14)のＺ
成分を求める。このとき、正確なＺ成分を求めるより
も、把持位置(22)のＺ成分としたほうがよいので、 ＳZ＝ＰZ とする。次に、センサフレーム(14)のＯ成分を下式によ
り求める。
【００５１】△Ｖ＝Ｖ2−Ｖ1
【数３】 ここで、Ｖ2−Ｖ1は各成分同士の引き算である。そし
て、最後に、下式によりセンサフレームのＸ，Ｙ成分を
求める。
【００５２】Ｐ5O＝Ｐ3O Ｐ5(O以外)＝Ｐ2(O以外) υ2＝ＳO：Ｖ2 υ5＝ＳO：Ｖ3：ＮO -1：Ｐ3 -1：Ｐ5：ＮO △ＰO＝Ｐ3O−Ｐ2O △ｎO＝△ＰO △ｎ(O以外)＝υ5(O以外)−υ2(O以外) △Ｎ＝Ｐ2O -1：△ｎ
【００５３】
【数４】 ＮX＝χcosθ ＮY＝χsinθ ＮO＝−Ｐ1O＋ＳO＋Ｖ1O ＳX,Y＝(Ｐ2：Ｎ：Ｖ2 -1)X,Y
【００５４】ここで、υ5(O以外)−υ2(O以外)は各成分
の引き算、ＳX，YはベクトルＳのＸ成分及びＹ成分を示
す。そして、カメラは真下を向いているので、センサフ
レーム(14)のＡ，Ｔ成分は零である。
【００５５】実施例４． 図１１及び図１２はこの発明の第４の発明の一実施例を
示す図で、図１１はハンド部分の斜視図、図１２は座標
系の設定動作フローチャートである。図１１において、
(24)はハンド(4)に貼着された座標系設定用マークであ
る。なお、カメラ(5)はロボット(1)以外の場所に装着さ
れ、真下を向いているものとする。
【００５６】次に、実施例４の動作を図１２を参照して
説明する。 （イ）ステップ(119)で図１１のように、ハンド(4)の上
部（カメラ(5)に写る位置）に座標系の設定用マーク(2
4)を貼り付ける。 （ロ）ステップ(120)で座標系の設定用マーク(24)が視
覚センサの視野に入るように移動させ、その位置を位置
(22a)として教示する。 （ハ）〜（チ）実施例３の（ロ）〜（ト）と同様であ
る。ただし、認識点は認識対象物(6)上ではなく座標系
の設定用マーク(24)とする。
【００５７】実施例５． 図１３はこの発明の第５の発明の一実施例を示す座標系
の設定動作フローチャートである。なお、カメラ(5)は
ロボット(1)以外の場所に装着され、真下を向いている
ものとする。
【００５８】次に、実施例５の動作を説明する。この実
施例の全体的な流れは、実施例３と同様である。しか
し、各（３回の）認識時に以下のような処理を行なう。 （イ）ステップ(121)でロボット(1)により認識対象物
(6)を台に置く（このとき、ロボットが無い状態で認識
点(7)が視覚センサの視野に入るようにする）。この時
の把持位置(22)を教示する。 （ロ）ステップ(122)で認識対象物(6)を放し、認識点
(7)が視覚センサに写るようにロボット(1)を退避させ
る。 （ハ）ステップ(123)で認識点(7)を認識して、視覚セン
サの座標(9)上での認識点の位置(11)を求める。 （ニ）ステップ(124)で認識対象物(6)を把持する。
【００５９】実施例６． 図１４及び図１５はこの発明の第６の発明の一実施例を
示す図で、図１４は認識説明用のベクトル図、図１５
は、座標系の設定動作フローチャートである。図１４に
おいて、(22d)は仮の認識時の把持位置（位置(22b)とは
傾きが違う）である。なお、カメラ(5)はロボット(1)以
外の場所に装着され、真下を向いているものとする。
【００６０】次に、実施例６の動作を図１５を参照して
説明する。この方法の座標系の設定方法は以下のようで
ある。 （イ）〜（ニ）実施例３の（イ）〜（ニ）と同じであ
る。 （ホ）ステップ(125)でロボット(1)をＯ成分だけ５°ぐ
らい回転させて（このとき、認識点(7)が視覚センサか
ら出ないようにする）、その位置を仮の認識時の把持位
置(22d)として教示する。 （ヘ）ステップ(112)で認識点(7)を認識して、視覚セン
サの座標(9)上での認識点の位置(11d)を求める。 （ト）ステップ(126)では、上記で求めた値を基にし
て、把持位置(22)に対する認識点(7)の相対位置(23)の
概算値を計算する。
【００６１】（チ）ステップ(127)でロボット(1)のＯ成
分が６０°回転しかつ認識点(7)が視覚センサの視野に
入るような把持位置(22c)を計算する。 （リ）ステップ(128)でロボット(1)を（チ）で求めた位
置(22c)に移動させる。 （ヌ）ステップ(109)で認識点(7)を認識して、視覚セン
サの座標(9)上での認識点の位置(11c)を求める。 （ル）ステップ(118)では上記で得られた結果を基にし
て、センサフレーム(14)を計算する。
【００６２】上記（ト）における把持位置に対する認識
点の相対位置(23)、及び（ル）におけるセンサフレーム
(14)の求め方は、実施例３と同様である（上記（ト）で
は回転する角度が５°程度であるため誤差が大きくなり
概算値しか求められない）。上記（チ）における把持位
置は、次式により求められる。
【００６３】Ｐ3O＝Ｐ2O＋△ＰO Ｐ3X＝Ｐ2X＋ＮGX'−ＮGX'cos△ＰO＋ＮGY'sin△ＰO Ｐ3Y＝Ｐ2Y＋ＮGY'−ＮGY'cos△ＰO−ＮGX'sin△ＰO Ｐ3Z＝Ｐ2Z Ｐ3A＝Ｐ2A Ｐ3T＝Ｐ2T ここで、ＮG'はベクトルＮの概算値、ΔＰOは回転させ
る量（この例では６０°）を示す。
【００６４】実施例７．図１６はこの発明の第７の発明
の一実施例を示す図で、認識対象物(6)を把持したロボ
ットの座標系と位置関係を示す図である。図において、
(25)は認識点(7)に対する把持位置(22)の相対位置であ
る。
【００６５】次に、実施例７の動作を説明する。実施例
１〜実施例６によりセンサフレームを求めたら、再度認
識して認識点(7)の位置(10)を求める。認識点の位置(1
0)は、ロボット(1)にカメラ(5)が取り付けられた視覚セ
ンサ付きロボットでは、 Ｗ＝Ｆ：Ｓ：Ｖ により、ロボット(1)以外の場所にカメラ(5)が取り付け
られた視覚センサ付きロボットでは、 Ｗ＝Ｓ：Ｖ により求められる。
【００６６】
【００６７】実施例７． 図１６はこの発明の第７の発明の一実施例を示す座標系
の設定動作フローチャートである。次に、実施例７の動
作を説明する。 （イ）ステップ(129)で実施例１〜実施例６によりセン
サフレームを求める。 （ロ）ステップ(130)でロボット(1)のＯ成分を数度回転
る。 （ハ）ステップ(131)で認識点(7)を認識して視覚センサ
の座標上での認識点の位置を求める。
【００６８】（ニ）ステップ(132)で３回目の認識的の
データの代わりに上記（ロ）（ハ）の結果を使って再度
センサフレームを求める。このときのセンサフレームの
求め方は、実施例１又は実施例３と同様である。 （ホ）ステップ(133)では、（イ）で求めたセンサフレ
ームと、（ニ）で求めたセンサフレームを比較する。大
きく違う場合はセンサフレームが正しく求められていな
いことがわかる。
【００６９】
【発明の効果】以上説明したとおり、この発明の第１の
発明では、ロボットに装着されたカメラにより認識する
視覚センサ付きロボットを平行移動及び回動して認識点
を認識させ、この認識結果を基にしてセンサフレームを
求めるようにしたので、ロボットの座標上での認識点の
位置を入力しなくても座標系の設定ができ、認識点の位
置の誤差や、それを計測するための手間を省くことがで
き、全体として座標系の設定精度を向上し、かつ座標系
の設定の手間を少なくすることができる効果がある。
【００７０】また、第２の発明では、センサフレームの
概算値を求め、ロボットの平行移動量を計算するように
したので、ロボットの移動は自動的に行なわれ、座標系
の設定に要する時間及び手間をいっそう少なくできる効
果がある。
【００７１】また、第３の発明では、ロボット以外の場
所に装着されたカメラにより認識する視覚センサ付きロ
ボットを平行移動及び回動して認識点を認識させ、この
認識結果を基にしてセンサフレームを求めるようにした
ので、ロボットの座標上での認識点の位置を入力しなく
ても座標系の設定ができ、認識点の位置の誤差や、それ
を計測するための手間を省くことができ、全体として座
標系の設定精度を向上し、かつ座標系の設定の手間を少
なくすることができる効果がある。
【００７２】また、第４の発明では、ハンドに認識用の
マークを固着して認識するようにしたので、認識対象物
を把持したときにカメラに認識点が写らない場合でも座
標系の設定が行なえ、認識対象物を新たに作成しなくて
も、精度高く座標系の設定ができる効果がある。
【００７３】また、第５の発明では、認識時に認識対象
物を放し、ロボットを退避させてから認識させるように
したので、認識対象物を把持したときにカメラに認識点
が写らない場合、かつハンドにマークが固着できない場
合でも座標系の設定ができ、座標系の設定精度を向上
し、かつ座標系の設定の手間を少なくすることができる
効果がある。
【００７４】また、第６の発明では、ロボットの平行移
動量を計算により求めるようにしたので、ロボットの移
動は自動的に行なわれ、第３、第４及び第５の発明より
も更に座標系の設定の手間を少なくすることができる効
果がある。
【００７５】
【００７６】また、第７の発明では、座標系を設定した
後、再度認識を実行するようにしたので、座標系の設定
が正しく行なえたかを自動的に確認でき、座標系の設定
の確認の手間を少なくでき、不正があってもすぐに知る
ことができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施例１を示す図で、ハンドにカメ
ラが装着された視覚センサ付きロボットの座標系と位置
関係を示す図。
【図２】図１のベクトル図。
【図３】図１による認識説明用ベクトル図。
【図４】図１の座標系の設定動作フローチャート。
【図５】この発明の実施例２を示す認識説明用ベクトル
図。
【図６】図５の座標系の設定動作フローチャート。
【図７】この発明の実施例３を示す図で、認識対象物を
把持したロボットの座標系と位置関係を示す図。
【図８】図７のベクトル図。
【図９】図７による認識説明用ベクトル図。
【図１０】図７の座標系の設定動作フローチャート。
【図１１】この発明の実施例４を示す図で、ハンド部分
の斜視図。
【図１２】図１１の座標系の設定動作フローチャート。
【図１３】この発明の実施例５を示す図で、座標系の設
定動作フローチャート。
【図１４】この発明の実施例６を示す図で、認識説明用
ベクトル図。
【図１５】図１４の座標系の設定動作フローチャート。
【図１６】この発明の実施例７を示す図で、座標系の設
定動作フローチャート。
【図１７】この発明及び従来の視覚センサ付きロボット
の座標系の設定方法を示す構成図で、(Ａ)はハンドにカ
メラが装着された場合の、(Ｂ)はロボット以外の場所に
カメラが装着された場合の構成図。
【図１８】従来の視覚センサ付きロボットの座標系の設
定方法を示す座標系と位置関係を示す図で、(Ａ)(Ｂ)は
それぞれ図１７(Ａ)(Ｂ)に対応する図。
【図１９】図１８のベクトル図で、(Ａ)(Ｂ)はそれぞれ
図１８(Ａ)(Ｂ)に対応する図。
【図２０】図１８の座標系の設定動作フローチャート
で、(Ａ)(Ｂ)はそれぞれ図１９(Ａ)(Ｂ)に対応するフロ
ーチャート。
【図２１】ロボットの座標系を示す図。
【図２２】ベクトルの相対変換説明図。
【図２３】ベクトルの逆変換説明図で、(Ａ)は変換前、
(Ｂ)は変換後を示す図。

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項１】 ロボット先端のハンドに装着されたカメ
    ラにより認識する視覚センサを有し、この視覚センサの
    視野内の一点を原点とする２次元座標を上記視覚センサ
    の座標として設定し、上記視覚センサにより認識対象物
    を認識して上記ロボットの先端の位置に対する上記視覚
    センサの座標の原点の相対位置を求める方法において、 （イ）上記ロボットを移動させて上記認識対象物上の認
    識点を上記視覚センサの視野に入れ、この認識点を認識
    させその時点での上記視覚センサの座標上での上記認識
    点の位置を演算する第１の工程、 （ロ）上記ロボットをハンドの傾きが変わらないように
    平行移動させて上記認識点を認識させその時点での上記
    視覚センサの座標上での上記認識点の位置を演算する第
    ２の工程、 （ハ）上記ハンドを回動させた後上記ロボットを平行移
    動させて上記認識点を上記視覚センサの視野に入れ、こ
    の認識点を認識させてその時点での上記視覚センサの座
    標上での上記認識点の位置を演算する第３の工程、及び （ニ）上記第１〜第３の工程で求めた上記視覚センサの
    座標上での上記認識点の位置を基にして、上記ロボット
    の先端の位置に対する上記視覚センサの座標の原点の相
    対位置を演算する第４の工程 を備えたことを特徴とする視覚センサ付きロボットの座
    標系の設定方法。
  2. 【請求項２】 ロボット先端のハンドに装着されたカメ
    ラにより認識する視覚センサを有し、この視覚センサの
    視野内の一点を原点とする２次元座標を上記視覚センサ
    の座標として設定し、上記視覚センサにより認識対象物
    を認識して上記ロボットの先端の位置に対する上記視覚
    センサの座標の原点の相対位置を求める方法において、 （イ）上記ロボットを移動させて上記認識対象物上の認
    識点を上記視覚センサの視野に入れ、この認識点を認識
    させその時点での上記視覚センサの座標上での上記認識
    点の位置を演算する第１の工程、 （ロ）上記ロボットをハンドの傾きが変わらないように
    平行移動させて上記認識点を認識させその時点での上記
    視覚センサの座標上での上記認識点の位置を演算する第
    ２の工程、 （ハ）上記ハンドを上記認識点が上記視覚センサの視野
    から出ない程度に回動させ上記認識点を認識させその時
    点での上記視覚センサの座標上での上記認識点の位置を
    演算する第３の工程、 （ニ）上記第１〜第３の工程で求めた上記視覚センサの
    座標上での上記認識点の位置を基にして、上記ロボット
    の先端の位置に対する上記視覚センサの座標の原点の相
    対位置の概算値を演算する第４の工程、 （ホ）上記ハンドを回動させた後、上記相対位置の概算
    値を基にして上記ロボットの移動量を計算し、この移動
    量だけ上記ロボットを平行移動させて上記認識点を上記
    視覚センサの視野に入れ、この認識点を認識させてその
    時点での上記視覚センサの座標上での上記認識点の位置
    を演算する第５の工程、及び （ヘ）上記第１〜第５の工程で求めた上記視覚センサの
    座標上での上記認識点の位置を基にして、上記ロボット
    の先端の位置に対する上記視覚センサの座標の原点の相
    対位置を演算する第６の工程 を備えたことを特徴とする視覚センサ付きロボットの座
    標系の設定方法。
  3. 【請求項３】 ロボット以外の場所に装着されたカメラ
    により認識する視覚センサを有し、この視覚センサの視
    野内の一点を原点とする２次元座標を上記視覚センサの
    座標として設定し、上記視覚センサにより認識対象物を
    認識して上記ロボットの座標に対する上記視覚センサの
    座標の相対位置を求める方法において、 （イ）上記認識対象物を把持したまま、上記ロボットを
    移動させて上記認識対象物上の認識点を上記視覚センサ
    の視野に入れ、この認識点を認識させてその時点での上
    記視覚センサの座標上での上記認識点の位置を演算する
    第１の工程、 （ロ）上記ロボットをハンドの向きが変わらないように
    平行移動させて上記認識点を認識させその時点での上記
    視覚センサの座標上での上記認識点の位置を演算する第
    ２の工程、 （ハ）上記ハンドを回動させた後上記ロボットを平行移
    動させて上記認識点を上記視覚センサの視野に入れ、こ
    の認識点を認識させてその時点での上記視覚センサの座
    標上での上記認識点の位置を演算する第３の工程、及び （ニ）上記第１〜第３の工程で求めた上記視覚センサの
    座標上での上記認識点の位置を基にして、上記ロボット
    の座標に対する上記視覚センサの座標の相対位置を演算
    する第４の工程 を備えたことを特徴とする視覚センサ付きロボットの座
    標系の設定方法。
  4. 【請求項４】 ロボット以外の場所に装着されたカメラ
    により認識する視覚センサを有し、この視覚センサの視
    野内の一点を原点とする２次元座標を上記視覚センサの
    座標として設定し、上記視覚センサにより認識対象物を
    認識して上記ロボットの座標に対する上記視覚センサの
    座標の相対位置を求める方法において、 （イ）上記ハンドに認識用のマークを固着する第１の工
    程、 （ロ）上記ハンドを回動して上記マークを上記視覚セン
    サの視野に入れ、このマークを認識させてその時点での
    上記視覚センサの座標上での上記マークの位置を演算す
    る第２の工程、 （ハ）上記ロボットを上記ハンドの向きが変わらないよ
    うに平行移動させて上記マークを認識させその時点での
    上記視覚センサの座標上での上記マークの位置を演算す
    る第３の工程、 （ニ）上記ハンドを回動させた後上記ロボットを平行移
    動させて上記マークを上記視覚センサの視野に入れ、こ
    のマークを認識させその時点での上記視覚センサの座標
    上での上記マークの位置を演算する第４の工程、 （ホ）上記第１〜第４の工程で求めた上記視覚センサの
    座標上での上記認識点の位置を基にして、上記ロボット
    の座標に対する上記視覚センサの座標の相対位置を演算
    する第５の工程 を備えたことを特徴とする視覚センサ付きロボットの座
    標系の設定方法。
  5. 【請求項５】 ロボット以外の場所に装着されたカメラ
    により認識する視覚センサを有し、この視覚センサの視
    野内の一点を原点とする２次元座標を上記視覚センサの
    座標として設定し、上記視覚センサにより認識対象物を
    認識して上記ロボットの座標に対する上記視覚センサの
    座標の相対位置を求める方法において、 （イ）上記ロボットにより上記認識対象物上の認識点が
    上記視覚センサの視野に入るように上記認識対象物を台
    に置き、上記ロボットを退避させ、この認識点を認識さ
    せてその時点での上記視覚センサの座標上での上記認識
    点の位置を演算した後、上記認識対象物を把持する第１
    の工程、 （ロ）上記ロボットのハンドの向きが変わらないように
    平行移動させて上記認識対象物を台に置き、上記ロボッ
    トを退避させて上記認識点を認識させて、その時点での
    上記視覚センサの座標上での上記認識点の位置を演算し
    た後、上記認識対象物を把持する第２の工程、 （ハ）上記ハンドを回動させた後上記ロボットを平行移
    動させて上記認識対象物を台に置き、上記ロボットを退
    避させて上記認識点を認識させてその時点での上記視覚
    センサの座標上での上記認識点の位置を演算する第３の
    工程、及び （ニ）上記第１〜第３の工程で求めた上記視覚センサの
    座標上での上記認識点の位置を基にして、上記ロボット
    の座標に対する上記視覚センサの座標の相対位置を演算
    する第４の工程、 を備えたことを特徴とする視覚センサ付きロボットの座
    標系の設定方法。
  6. 【請求項６】 ロボット以外の場所に装着されたカメラ
    により認識する視覚センサを有し、この視覚センサの視
    野内の一点を原点とする２次元座標を上記視覚センサの
    座標として設定し、上記視覚センサにより認識対象物を
    認識して上記ロボットの座標に対する上記視覚センサの
    座標の相対位置を求める方法において、 （イ）上記認識対象物を把持したまま、上記ロボットを
    移動させて上記認識対象物上又は上記ロボットのハンド
    上の認識点を上記視覚センサの視野に入れ、この認識点
    を認識させてその時点での上記視覚センサの座標上での
    上記認識点の位置を演算する第１の工程、 （ロ）上記ロボットをハンドの向きが変わらないように
    平行移動させて上記認識点を認識させその時点での上記
    視覚センサの座標上での上記認識点の位置を演算する第
    ２の工程、 （ハ）上記ハンドを上記認識点が上記視覚センサの視野
    から出ない程度に回動させ、上記認識点を認識させてそ
    の時点での上記視覚センサの座標上での上記認識点の位
    置を演算する第３の工程、 （ニ）上記第１〜第３の工程で求めた上記視覚センサの
    座上での上記認識点の位置を基にして、上記ロボットの
    座標に対する上記視覚センサの座標の相対位置の概算値
    を演算する第４の工程、 （ホ）上記ハンドを回動させた後、上記相対位置の概算
    値を基にして上記ロボットの移動量を計算し、この移動
    量だけ上記ロボットを平行移動させて上記認識点を上記
    視覚センサの視野に入れ、この認識点を認識させてその
    時点での上記視覚センサの座標上での上記認識点の位置
    を演算する第５の工程、及び （ヘ）上記第１〜第５の工程で求めた上記視覚センサの
    座標上での上記認識点の位置を基にして上記ロボットの
    座標に対する上記視覚センサの座標の相対位置を演算す
    る第６の工程 を備えたことを特徴とする視覚センサ付きロボットの座
    標系の設定方法。
  7. 【請求項７】 （イ）ロボットを再度移動させ認識点を
    認識させ相対位置を演算する第１の工程、及び（ロ）最 初に求めた相対位置と、上記第１の工程で求め
    た相対位置を比較してその差を求める第２の工程 を備えたことを特徴とする請求項１〜請求項６のいずれ
    かに記載の視覚センサ付きロボットの座標系の設定方
    法。
JP04357945A 1992-12-25 1992-12-25 視覚センサ付きロボットの座標系の設定方法 Expired - Fee Related JP3104448B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04357945A JP3104448B2 (ja) 1992-12-25 1992-12-25 視覚センサ付きロボットの座標系の設定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04357945A JP3104448B2 (ja) 1992-12-25 1992-12-25 視覚センサ付きロボットの座標系の設定方法

Publications (2)

Publication Number Publication Date
JPH06190756A JPH06190756A (ja) 1994-07-12
JP3104448B2 true JP3104448B2 (ja) 2000-10-30

Family

ID=18456752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04357945A Expired - Fee Related JP3104448B2 (ja) 1992-12-25 1992-12-25 視覚センサ付きロボットの座標系の設定方法

Country Status (1)

Country Link
JP (1) JP3104448B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5093058B2 (ja) * 2008-11-04 2012-12-05 株式会社デンソーウェーブ ロボットの座標の結合方法
JP5312261B2 (ja) * 2009-08-18 2013-10-09 本田技研工業株式会社 ロボットの制御方法
JP5729219B2 (ja) * 2010-09-06 2015-06-03 トヨタ車体株式会社 ロボット制御システムのカメラ座標系とロボット座標系の結合方法、画像処理装置、プログラム、及び記憶媒体
DE102014001376B3 (de) * 2014-02-04 2015-01-08 Daimler Ag Abgleich von Koordinatensystemen mit Hilfe von Fahrzeuginnenraummerkmalen
CN104552341B (zh) * 2014-12-29 2016-05-04 国家电网公司 移动工业机器人单点多视角挂表位姿误差检测方法
WO2018142582A1 (ja) * 2017-02-03 2018-08-09 三菱電機株式会社 変換係数算出装置、変換係数算出方法及び変換係数算出プログラム
DE102017009939B4 (de) * 2017-10-25 2021-07-01 Kuka Deutschland Gmbh Verfahren und System zum Betreiben eines mobilen Roboters
JP7306871B2 (ja) 2019-05-14 2023-07-11 ファナック株式会社 ロボット操作装置、ロボット、ロボット操作方法、プログラムおよびロボット制御装置

Also Published As

Publication number Publication date
JPH06190756A (ja) 1994-07-12

Similar Documents

Publication Publication Date Title
CN110238845B (zh) 最优标定点选取和误差自测量的自动手眼标定方法及装置
JP4191080B2 (ja) 計測装置
CN110116407B (zh) 柔性机器人位姿测量方法及装置
Du et al. Online serial manipulator calibration based on multisensory process via extended Kalman and particle filters
US9517563B2 (en) Robot system using visual feedback
Hayati Robot arm geometric link parameter estimation
JP4021413B2 (ja) 計測装置
CN111203861B (zh) 一种机器人工具坐标系的标定方法及标定系统
JP3104448B2 (ja) 視覚センサ付きロボットの座標系の設定方法
JP2011011321A (ja) ロボットシステム及びロボットシステムのキャリブレーション方法
JP2018202559A (ja) 教示位置修正装置および教示位置修正方法
CN112621743B (zh) 机器人及其相机固定于末端的手眼标定方法及存储介质
CN110625600A (zh) 一种机器人末端工件坐标系标定方法
CN113613850A (zh) 一种坐标系校准方法、装置和计算机可读介质
CN113974835A (zh) 一种基于远心不动点约束的手术机器人运动控制方法
JP6410411B2 (ja) パターンマッチング装置及びパターンマッチング方法
JP4345607B2 (ja) 回転中心算出方法およびこの方法を用いたワーク位置決め装置
JP6912529B2 (ja) 視覚誘導ロボットアームの補正方法
CN113799130B (zh) 一种人机协作装配中的机器人位姿标定方法
CN113799127B (zh) 光学双目定位系统下六自由度机械臂无标定位姿定位方法
JP2678002B2 (ja) 視覚付きロボットの座標系較正方法
CN113375693A (zh) 一种地磁航向误差修正方法
JPH06785A (ja) 視覚センサ座標系の補正方法
CN113733078B (zh) 机械臂精调控制量判读方法、计算机可读存储介质
JPH05303425A (ja) 直接教示方式ロボット

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees