JPH106264A - ロボットアームの状態検出方法および検出システム - Google Patents

ロボットアームの状態検出方法および検出システム

Info

Publication number
JPH106264A
JPH106264A JP18530396A JP18530396A JPH106264A JP H106264 A JPH106264 A JP H106264A JP 18530396 A JP18530396 A JP 18530396A JP 18530396 A JP18530396 A JP 18530396A JP H106264 A JPH106264 A JP H106264A
Authority
JP
Japan
Prior art keywords
robot arm
image
detecting
marking
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP18530396A
Other languages
English (en)
Other versions
JP3511551B2 (ja
Inventor
Tadahiro Kamijo
直裕 上条
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP18530396A priority Critical patent/JP3511551B2/ja
Publication of JPH106264A publication Critical patent/JPH106264A/ja
Application granted granted Critical
Publication of JP3511551B2 publication Critical patent/JP3511551B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)
  • Control Of Position Or Direction (AREA)

Abstract

(57)【要約】 【課題】 撮像装置とロボットアームなどの軸との相対
位置・相対姿勢,画像面内の基準面を決定し,画像認識
によりロボットの状態を検出して誤差要因を明確にする
ことにより,画像認識による作業用位置決めを高精度で
実現する。 【解決手段】 方向性のあるマーキング103を有した
水平な基準面104に対し,ロボットアーム101回転
軸上の垂直方向先端にCCDカメラ102の撮像方向を
一致させて固定し,CCDカメラ102によりマーキン
グ103を撮像し,撮像したマーキング103の特徴点
の座標を求める第1の工程と,マーキング画像の方向を
求める第2の工程と,上記結果に基づいてロボットアー
ム101の軸回りに適当な角度で回転する第3の工程
と,ロボットアーム101の回転前後におけるマーキン
グ103の姿勢からロボットアーム101の回転中心を
画像内の座標により検出する第4の工程とを含む。

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】本発明は,ロボットアームを
用いた自動組み立て作業などにおいて,画像処理により
位置決めを行う際,回転軸と画像の座標との相対位置を
検出し,さらに軸のあおり角などの機械的な誤差要因の
検出を行って,これを補正することにより,作業の精度
を向上させるロボットアームの状態検出方法および検出
システムに関する。
【0002】
【従来の技術】現在,工作機械やロボットの位置決め制
御において,人間の目視確認による操作制御に代わり,
画像処理による認識が多く用いられている。この画像処
理を用いた方法として,マーキングを検出対象物や外部
の作業台などに施し,それらを検出する方法や,検出対
象物の特徴点を特定し検出する方法などが応用されてい
る。
【0003】このような技術に関連するする参考技術文
献として,たとえば特開平4−313106号公報の
『ロボットアーム相対姿勢補正方法』には,作業用ツー
ルを先端に固定したロボットアームの軸に,撮像方向を
軸方向に一致させ,軸から垂直に取り付けた別の軸の軸
の先端にテレビカメラを固定した構成であって,作業対
象物を中心として複数のマークを作業台に施し,上記ア
ームを回転してそれぞれのマークの位置から作業対象物
の位置を予測し,作業用ツールの相対姿勢を形成する技
術が開示されている。
【0004】また,実開平5−2894号公報の『宇宙
用視覚情報処理装置』には,ロボットのエンドエフェク
タ上にカメラを取付け,組立対象の部材に記したマーク
の撮像パターンを検出し,該パターンの面積と重心とを
計測することにより,アーム先端の組立対象部材との距
離・方向を計算し,アームの駆動経路を決定する技術が
開示されている。
【0005】
【発明が解決しようとする課題】上記に示されるような
従来の技術において,作業用ツール(エンドエフェク
タ)と撮像装置との相対位置および,作業用ツールまた
はロボットアームの姿勢を明確にする必要がある。しか
しながら,撮像装置におけるフレームと撮像素子との位
置決め精度,設計公差(部品公差の積み上げなど),ロ
ボットの設計公差,組み付け誤差などにより,設計値や
実測値のみで正確に撮像装置とロボットアームなどの軸
との相対位置を知ることができないため,画像認識によ
る作業用の位置決めを不正確なものとするという問題点
があった。
【0006】本発明は,上記に鑑みてなされたものであ
って,撮像装置とロボットアームなどの軸との相対位置
・相対姿勢,および画像面内における基準面を決定し,
画像認識によりロボットの状態を検出して誤差要因を明
確にすることにより,画像認識による作業用位置決めを
高精度で実現することを目的とする。
【0007】
【課題を解決するための手段】上記の目的を達成するた
めに,請求項1に係るロボットアームの状態検出方法に
あっては,ロボットアームの先端に装着された撮像手段
により撮像した画像から検出対象物の位置検出・位置決
めを行うロボットアームの状態検出方法において,方向
性のあるマーキングが施されている水平な基準面に対し
前記ロボットアーム回転軸上の垂直方向先端に前記撮像
手段の撮像方向を一致させて固定し,前記撮像手段によ
り前記マーキングを撮像し,該撮像したマーキングの特
徴点の座標を求める第1の工程と,前記第1の工程によ
り求めたマーキング画像の方向を求める第2の工程と,
前記第1の工程および第2の工程の結果に基づいて前記
ロボットアームの軸回りに適当な角度で回転する第3の
工程と,前記ロボットアームの回転前と回転後とにおけ
る前記マーキングの姿勢から前記ロボットアームの回転
中心を前記撮像された画像内の座標により検出する第4
の工程と,を含むものである。
【0008】すなわち,ロボットなどによる自動組み付
けにおいて画像処理により位置決めを行う際,ロボット
アームの回転軸方向と撮像方向とが一致しており,軸が
軸回りに回転する機構を備えている場合,軸の回転中心
位置と一致する画像面内の座標を検出し,軸の回転中心
を画像面内の基準座標として,軸と検出対象物との相対
位置を検出することにより,ロボットアームとその先端
に固定されている撮像手段とのオフセット量が明確にな
り,回転中心を画像中での座標で得られ,位置決め・位
置検出のロボットアームに対する基準点を決定すること
ができる。
【0009】また,請求項2に係るロボットアームの状
態検出方法にあっては,ロボットアームの先端に装着さ
れた撮像手段により撮像した画像から検出対象物の位置
検出・位置決めを行うロボットアームの状態検出方法に
おいて,方向性のあるマーキングが施されている水平な
基準面に対し前記ロボットアーム回転軸上の垂直方向先
端に前記撮像手段の撮像方向を一致させて固定し,前記
撮像手段により前記マーキングを既知の光学倍率で撮像
し,該撮像したマーキングの特徴点の座標を求める第1
の工程と,前記第1の工程により求めたマーキング画像
の方向を求める第2の工程と,前記第1の工程および第
2の工程の結果に基づいて前記ロボットアームの軸回り
に適当な角度で回転する第3の工程と,前記ロボットア
ームの回転前と回転後とにおける前記マーキングの姿勢
および前記光学倍率から前記ロボットアームの回転中心
を仮想の拡張撮像画像内の座標により検出する第4の工
程と,を含むものである。
【0010】すなわち,光学倍率を既知の値とすること
により,画像面内に軸の回転中心が存在しなくても,画
像平面を拡張した仮想の画像平面中の座標として回転中
心を検出し,検出対象の位置検出・位置決めを軸の回転
中心を基準として,軸中心と画像による検出対象の相対
位置を補正することが可能となる。
【0011】また,請求項3に係るロボットアームの検
出システムにあっては,ロボットアームの先端に装着さ
れ,水平な基準面に設けられた方向性のあるマーキング
を撮像する撮像手段と,前記ロボットアームから前記撮
像手段を着脱可能にし,かつ前記ロボットアームの軸回
りに回転する機構を備えた取付け手段と,前記撮像手段
により得られた画像から座標と角度とを演算する演算手
段と,を具備し,前記演算手段が,前記請求項1または
2に記載のロボットアームの状態検出方法に基づいて,
前記取付け手段の中心を画像面内の座標として検出し,
該検出値を用いて前記ロボットアームと前記取付け手段
とのオフセット補正を実行するものである。
【0012】すなわち,ロボットアームが回転機構を備
えていなくても,回転中心位置が分かっている回転機構
をロボットアームの軸の取付け部に設け,上記請求項1
の検出方法により,撮像手段の撮像素子の位置決め誤差
や設計交差などを考慮しなくても,外部より計測可能な
機械誤差要因のみにより画像の基準座標が得られる。
【0013】また,請求項4に係るロボットアームの状
態検出方法にあっては,ロボットアームの先端に装着さ
れた撮像手段により撮像した画像から検出対象物の位置
検出・位置決めを行うロボットアームの状態検出方法に
おいて,前記ロボットアームの回転中心軸と前記撮像手
段の撮像素子とを垂直な一列で合わせ,その一列の任意
の素子を原点として撮像方向を前記ロボットアームに垂
直に固定する第1の工程と,水平な基準面に垂直に半径
を前記ロボットアームの回転中心から前記撮像手段の撮
像距離までの距離をとる円筒を設置し,その円筒の内側
に円周と平行に基準線を設定する第2の工程と,前記ロ
ボットアームの回転軸と前記撮像素子の原点から前記ロ
ボットアームの回転軸へ垂直にのばした線との交点が前
記円筒の中心で,かつ前記基準線の高さになるように前
記ロボットアームを教示する第3の工程と,既知の角度
を持たせながら前記ロボットアームを軸回りに回転し,
任意に前記基準線を撮像する第4の工程と,前記第4の
工程で撮像された基準線の画像面内での原点を通る垂線
との交点での接線と画像の垂線との角度が90°になる
角度を検出し,前記ロボットアームのあおり角度を検出
する第5の工程と,を含むものである。
【0014】すなわち,ロボットアームの軸方向と回転
軸とが一致していることが予想される場合,軸の回転機
構と,軸方向と垂直な方向を撮像する撮像手段により,
画像面内の水平な列と平行になる角度を検出し,軸のあ
おり方向を検出する。
【0015】また,請求項5に係るロボットアームの状
態検出方法にあっては,前記請求項4に記載の第5の工
程において検出されたあおり角度方向における原点と基
準線との距離を記憶し,前記ロボットアームを軸回りに
180°回転し,画像面内の原点と基準線との距離を検
出し,該検出値と前記記憶値とを比較し,前記ロボット
アームのあおり角度を検出するものである。
【0016】すなわち,請求項4に記載の第5の工程に
おいて検出されたあおり角度方向における原点と基準線
との距離を記憶しておき,さらに,ロボットアームを軸
回りに180°回転したときの画像面内の原点と基準線
との距離を検出し,これを上記記憶値とを比較すること
により,あおりによる撮像距離の微妙な変化を無視し
て,ロボットアームのあおり角度を検出することが可能
となる。
【0017】また,請求項6に係るロボットアームの検
出システムにあっては,水平な基準面に垂直に設定・固
定されたあおり検出のための基準円筒と,ロボットアー
ムの先端に,撮像方向と軸方向とを垂直にして固定され
た撮像手段と,前記ロボットアームの回転中心軸と前記
撮像手段の垂直な一列が平行に,軸方向と撮像方向とが
垂直になるように回転する機構を備えた取付け手段と,
前記請求項4または5に記載のロボットアームの状態検
出方法に基づいて,前記撮像手段により得られた画像か
ら基準線の接線と画像面内の原点を通る垂線とのなす角
度を演算する演算手段と,を具備するものである。
【0018】すなわち,上記請求項4または5に記載の
ロボットアームの状態検出方法を用いたロボットアーム
のあおり角度を検出するシステムが実現する。
【0019】また,請求項7に係るロボットアームの状
態検出方法にあっては,ロボットアームの先端に装着さ
れた撮像手段により撮像した画像から検出対象物の位置
検出・位置決めを行うロボットアームの状態検出方法に
おいて,水平な第1基準面および該第1基準面に対し既
知の角度を持った第2基準面のそれぞれの面に設けら
れ,方向性があり,かつ等距離に設けられたマーキング
を設け,前記撮像手段により水平な第1基準面に設けら
れた第1基準面上のマーキングを撮像する第1の工程
と,前記撮像手段により第2基準面上のマーキングを撮
像する第2の工程と前記第1の工程および第2の工程に
より得られた2つのマーキング画像の特徴点の座標を求
め,さらにマーキングの方向を得る第3の工程と,前記
ロボットアームの中心軸を軸方向に垂直に適当な角度で
回転する第4の工程と,前記ロボットアームの回転前と
回転後とのマーキング姿勢から前記第2基準面方向のあ
おり角度を検出し,補正する第5の工程と,を含むもの
である。
【0020】すなわち,あおり方向が既知である場合,
ロボットアームの任意の方向のあおり角を検出し,機械
的なあおりを補正することが可能となる。
【0021】また,請求項8に係るロボットアームの検
出システムにあっては,それぞれの面に方向性を有し,
かつ等距離の位置にマーキングを施した水平な第1基準
面,および該第1基準面に対し既知の角度を持った第2
基準面と,ロボットアームの先端に装着され,前記第1
基準面および第2基準面を撮像する撮像手段と,前記請
求項7に記載のロボットアームの状態検出方法に基づい
て,前記撮像手段により得られた画像から座標および角
度を計算する演算手段と,を具備するものである。
【0022】すなわち,上記請求項7に記載のロボット
アームの状態検出方法を用いたロボットアームのあおり
角度を検出するシステムが実現する。
【0023】また,請求項9に係るロボットアームの状
態検出方法にあっては,ロボットアームの先端に装着さ
れた撮像方向が各々180°異なる2つ撮像手段により
撮像した画像から検出対象物の位置検出・位置決めを行
うロボットアームの状態検出方法であって,前記2つの
撮像手段でそれぞれ検出した基準線の接線と画像面内を
通る垂線とのなす角度が,前記ロボットアームの回転角
度の変位により180°の位相ずれがある場合,前記ロ
ボットアームの回転軸とロボットアームが一致し,鉛直
下向きとはずれていると判断する工程と,前記2つの撮
像手段の何れか一方の基準線と垂線との交点が他方より
も画面内で高い位置にあり,かつ垂線と基準線の接線と
が垂直であれば,前記ロボットアームの回転軸とロボッ
トアームが一致しておらず,回転軸が鉛直下向きと判断
する工程と,上記工程で垂直でなければ前記ロボットア
ームの回転軸とロボットアームとが一致しておらず,回
転軸も鉛直下向きと一致していないと判断する工程と,
を含むものである。
【0024】すなわち,上記請求項9に記載の各工程に
より,ロボットアームとその回転軸が一致しているかど
うか,および回転軸と鉛直下向きとが一致しているかを
判断することができる。
【0025】また,請求項10に係るロボットアームの
検出システムにあっては,水平な基準面に垂直に設定・
固定されたあおり検出のための基準円筒と,ロボットア
ームの先端にそれぞれ撮像方向が180°異なる撮像手
段と,前記請求項9に記載のロボットアームの状態検出
方法に基づいて,前記撮像手段により得られた画像から
基準線の接線と画像面内の原点を通る垂線とのなす角度
を演算する演算手段と,を具備するものである。
【0026】すなわち,上記請求項9に記載のロボット
アームの状態検出方法を用いたロボットアームのあおり
状態を検出するシステムが実現する。
【0027】
【発明の実施の形態】以下,本発明のロボットアームの
状態検出方法および検出システムについて添付図面を参
照し,〔実施の形態1〕〜〔実施の形態10〕の順にわ
けて詳細に説明する。
【0028】〔実施の形態1〕 (実施の形態1の構成)図1は,実施の形態1に係るロ
ボットアームの状態検出方法を用いた装置の構成を示す
説明図である。図において,101は後述する基準面1
04に対し垂直で,かつθ方向に回転する回転軸をもつ
ロボットアーム,102はロボットアーム101の先端
に,軸方向と撮像方向とを一致させて装着され,自動教
示用撮像装置である撮像手段としてのCCDカメラ,1
04は方向性のあるマーキング103が施された水平な
基準面である。
【0029】(実施の形態1の動作)次に,以上のよう
に構成された装置の動作について説明する。ロボットア
ーム101の先端に装着されたCCDカメラ102によ
り,基準面104上のマーキング103を撮像する。さ
らに,この得られたマーキング103の画像の特徴点の
座標を求める。
【0030】すなわち,ロボットアーム101を時計回
りに角度γだけ回転した場合,図2に示すように,基準
面104を撮像した画像201中でマーキング103の
回転前の検出座標(a0 ,b0 ),回転前の画像X軸と
のなす角α,回転後の検出座標を(a1 ,b1 ),回転
前の画像X軸とのなす角をβとし,画像201中にある
ロボットアーム101の回転中心の仮想基準座標を
(x,y)とすると,それらの関係は,下記数1で与え
られる。
【0031】
【数1】
【0032】ここで,γ=β−αとすると,検出すべき
基準座標(x,y)は,下記数2で与えられる。
【0033】
【数2】
【0034】そして,上記求めた基準座標に検出対象の
特徴点の位置を合わせ,回転運動,並進運動を行うこと
により,画像面内での検出が実現すると同時に,ロボッ
トアーム101の回転軸を基準にした位置検出を行うこ
とができる。
【0035】〔実施の形態2〕 (実施の形態2の構成)図3は,実施の形態2に係るロ
ボットアームの状態検出方法を用いた装置の構成を示す
説明図である。この装置は,前述の実施の形態1で説明
した図1の構成に対し,第2のロボットアーム302を
持つロボット301を設けた構成となっている。
【0036】また,他の構成要素およびその機能は実施
の形態1と同様であるため,図1と同一符号を付し,そ
の説明は省略する。
【0037】(実施の形態2の動作)次に,以上のよう
に構成された装置の動作について説明する。図3に示す
ように,ロボット301の第2のロボットアーム302
の回転軸の軸中心を検出したい場合,図4に示すように
CCDカメラ102で基準面104のマーキング103
を撮像した画像201の外部に検出すべき座標(x,
y)がある。
【0038】ここで,光学系の要求精度D,セルサイズ
dとし,拡大率をMとすると, M = D/d となる。
【0039】また,画像中心座標(s,t)と検出すべ
き座標(x,y)との距離は,ロボット301からみ
て, M{(s−x)2 +(t−y)2 1/2 で与えられる。
【0040】なお,ここでは,前述の実施の形態1と同
様に画像面201内で検出対象をとらえているが,基準
は仮想平面上に存在している第2のロボットアーム30
2の回転軸中心になっている。
【0041】〔実施の形態3〕 (実施の形態3の構成)図5は,実施の形態3に係るロ
ボットアームの検出システムの構成を示す説明図であ
る。このシステムは,前述の実施の形態1で説明した図
1の構成に対し,CCDカメラ102と,ロボットアー
ム101とCCDカメラ102との着脱部分にロボット
アーム101の軸回りに回転を与える取付け手段として
の着脱機構501と,外部にCCDカメラ102から得
られた画像から座標と角度とを計算する演算手段として
の画像処理装置502とを備え,ロボットアーム101
と着脱機構501の内部を中空にし,CCDカメラ10
2のケーブルを通るようにし,ロボットアーム101に
回転機構がなくてもCCDカメラ102のケーブルが回
転運動に干渉しないような構成となっている。
【0042】(実施の形態3の動作)次に,以上のよう
に構成されたシステムの動作について説明する。前述の
実施の形態1または実施の形態2で説明したロボットア
ームの検出方法を用い,着脱機構501の回転中心軸を
CCDカメラ102で撮影し,取り込まれた画像平面内
で検出し,外部から計測可能な着脱機構501の回転中
心軸とロボットアーム101との相対位置を検出するこ
とにより,ロボットアーム101の軸を画像平面内の座
標で検出することが可能となる。
【0043】〔実施の形態4〕 (実施の形態4の構成)図6は,実施の形態4に係るロ
ボットアームの状態検出方法を用いた装置の構成を示す
説明図である。ここでは,ロボットアーム101の回転
中心軸とCCDカメラ102の垂直な一列を合わせ,そ
の一列の任意の撮像素子を原点として,CCDカメラ1
02の撮像方向をロボットアーム101に垂直と固定
し,水平な基準面に垂直に,半径をロボットアーム10
1の回転中心からCCDカメラ102の撮像距離先端ま
での距離とする基準円筒601を設置し,該基準円筒6
01の内側に円周と平行に基準線を設定する。
【0044】(実施の形態4の動作)次に,以上のよう
に構成された装置の動作について説明する。ここで,図
7に円筒の内側に円周と平行に基準線を施した基準円筒
601の基準線を撮像した画像を示す。さらに,そのと
きの基準線と撮像方向との関係は図8に示すようにな
る。
【0045】これは,x軸からα,z軸からθ傾いた角
度で回転軸が設定されており,S0が基準線,S1 が撮
像方向である。S1 において.x軸からz軸回りにφだ
け回転したとき,撮像方向はBとなる。そのときの基準
線の接線は,AにおけるS0の接線のBに接する平面R
への写像となる。
【0046】図7において,701は原点を通る垂線,
702は基準線の接線を示している。基準線の接線は図
8におけるB点での基準線の接線と画像の垂線とが垂直
となる場合が,ロボットアーム101を360°回転し
たときに2度存在する。そして画像の接線が上側にある
場合をあおり方向と判断する。
【0047】ここで,基準線の接線の平面RとCCDカ
メラ102の水平方向との角度は,以下に示す数3よう
に簡単な座標計算からも検出できるが,自動でロボット
を調整しながら進めた方が容易である。たとえば,θ=
15°,α=20°のとき,基準線の接線とCCDカメ
ラ102の水平方向との角度は,図9に示すようにな
る。
【0048】
【数3】 が成り立つときのα,φを求めることにより,あおり方
向を求めることができる。
【0049】〔実施の形態5〕 (実施の形態5の構成)ここでは,前述実施の形態4と
同様に構成された図6に示す装置を用いるものとする。
【0050】(実施の形態5の動作)図10は,実施の
形態5に係るロボットアームの状態検出方法を示す説明
図である。画像から基準線の接線と画像中で設定した原
点との距離をa,bと得たとすると,基準円筒601の
直径は撮像距離と機械的な設定値として与えられるた
め,既知の値である。ここでは2rとしたが,角度θが
以下の式の値で導出される。すなわち, θ=sin-1{(a+b)/2r} により与えられる。
【0051】〔実施の形態6〕 (実施の形態6の構成)図11は,実施の形態6に係る
ロボットアームの状態検出システムを示す説明図であ
る。前述の実施の形態4および5と同様に,ロボットア
ーム101の先端に撮像方向と軸方向とを垂直にしたC
CDカメラ102を固定し,水平な基準面104に垂直
に設定したあおり検出用の基準円筒601を固定する。
【0052】すなわち,この実施の形態6に係るシステ
ムは,水平な基準面に垂直に設定したあおり検出用の基
準円筒601を固定し,ロボットアーム101の回転中
心軸とCCDカメラ102の垂直な一列が平行に,軸方
向とCCDカメラ102の撮像方向とが垂直となるよう
にロボットアーム101に対しCCDカメラ102が着
脱可能な着脱装置501を備えた構成となっている。ま
た,外部には図5と同様に画像処理装置502(図示せ
ず)が接続されているものとする。
【0053】(実施の形態6の動作)次に,以上のよう
に構成されたシステムの動作について説明すると,外部
に接続した画像処理装置502により,前述した実施の
形態5で説明したロボットアームの状態検出方法を用
い,基準線の接線と画像面内の垂線または水平方向との
なす角を計算する。
【0054】〔実施の形態7〕 (実施の形態7の構成)図12は,実施の形態7に係る
ロボットアームの状態検出方法を用いた装置の構成を示
す説明図である。この装置は,ロボットアーム102の
先端に装着されたCCDカメラ102を垂直方向および
水平方向に90°回転する回転機構1201を設け,垂
直方向および水平方向の基準面1202aと1202b
を持つ部材を用意し,該2つの基準面1202aと12
02bにはマーキング1203a,1203bとがそれ
ぞれ施されている。
【0055】(実施の形態7の動作)次に,以上のよう
に構成された装置の動作について説明する。ロボットア
ーム101に装着されたCCDカメラ102を回転機構
1201により90°回転させ,撮像方向を90°変え
て基準面1202aと1202b上のマーキング120
3aと1203bとを撮像する。この撮像し,重ね合わ
せた結果得られた画像が図13に示す画像1301であ
る。すなわち,図13において,角度θのあおり角度が
検出される。
【0056】〔実施の形態8〕 (実施の形態8の構成)図14は,実施の形態8に係る
ロボットアームの検出システムの構成を示す説明図であ
る。このシステムは,前述の実施の形態7で説明した検
出方法を用いたものである。
【0057】すなわち,図5において示したシステムの
ロボットアーム101先端に固定したモータからなる着
脱機構の回転軸を図14に示すように,ロボットアーム
101の回転軸と垂直となるように固定する。さらにロ
ボットアーム101の回転軸と垂直に撮像方向を変えら
れるように回転機構1201にCCDカメラ102を装
着し,鉛直方向,水平方向で撮像距離を保てる位置に基
準面1202a,1202bを設置したシステムとなっ
ている。また,外部には図5と同様に画像処理装置50
2(図示せず)が接続されているものとする。
【0058】(実施の形態8の動作)次に,以上のよう
に構成されたシステムの動作について説明する。上記実
施の形態7で説明したように,ロボットアーム101に
装着されたCCDカメラ102を回転機構1201によ
り90°回転させ,撮像方向を90°変えて基準面12
02aと1202b上のマーキング1203aと120
3bとを撮像する。そして,図13に示すような重ね合
わせ画像を得て角度θのあおり角度を検出し,機械的な
あおり補正を実行する。
【0059】〔実施の形態9〕 (実施の形態9の構成)図15は,実施の形態9に係る
ロボットアームの状態検出方法を用いた装置の構成を示
す説明図である。この装置は,前述の図11に対し,ロ
ボットアーム101の回転軸方向と垂直にそれぞれ撮像
方向が180°異なるCCDカメラ1501a,150
1bを固定した構成とする。
【0060】(実施の形態9の動作)次に,以上のよう
に構成された装置の動作について説明する。基準円筒6
01の基準線を撮像し,基準線の接線と撮像面内の水平
方向とのなす角を,片方の角度を180°位相をずらし
て比較する。
【0061】図16に示すようにロボットアーム101
と回転軸とが一致し,あおり成分をもつ場合,片方の位
相を180°ずらすと,図17に示すように,点Aでの
接線のRへの写像と点部での接線のなす角度は完全に一
致する。
【0062】また,図18にロボットアーム101が回
転軸と一致しておらず,回転軸が鉛直下向きの場合を示
し,その2つのCCDカメラ1501a,1501bで
撮像した個々の角度変化を図19に示す。さらに,図2
0にロボットアーム101と回転軸が一致しておらず,
かつ,回転軸と鉛直下向きも一致してない場合を示し,
その2つのCCDカメラ1501a,1501bで撮像
した個々の角度変化を図21に示す。
【0063】したがって,上記図19と図21とでは,
画像で得られる接線の画像面内での高さが異なるため,
両者の結果をずらしている。そして,これらの結果に基
づいて誤差要因を判断する。
【0064】〔実施の形態10〕 (実施の形態10の構成)図22は,実施の形態10に
係るロボットアームの検出システムの構成を示す説明図
であり,上記実施の形態9に基づくシステム構成をなし
ており,ここではその要部のみを示している。すなわ
ち,ロボットアーム101の先端に撮像方向が180°
異なるCCDカメラ1501a,1501bを装着した
構成となっている。
【0065】(実施の形態10の動作)次に,以上のよ
うに構成されたシステムの動作について説明する。上記
実施の形態9で説明したように,基準円筒601の基準
線を撮像し,基準線の接線と撮像面内の水平方向とのな
す角を,片方の角度を180°位相をずらして比較し,
前述と同様な処理を実行する。
【0066】
【発明の効果】以上説明したように,本発明に係るロボ
ットアームの状態検出方法(請求項1)によれば,ロボ
ットなどによる自動組み付けにおいて画像処理により位
置決めを行う際,ロボットアームの回転軸方向と撮像方
向とが一致しており,軸が軸回りに回転する機構を備え
ている場合,軸の回転中心位置と一致する画像面内の座
標を検出し,軸の回転中心を画像面内の基準座標とし
て,軸と検出対象物との相対位置を検出するため,ロボ
ットアームとその先端に固定されている撮像手段とのオ
フセット量が明確になり,回転中心を画像中での座標で
得られ,位置決め・位置検出のロボットアームに対する
基準点を高精度で決定することができる。
【0067】また,本発明に係るロボットアームの状態
検出方法(請求項2)によれば,光学倍率を既知の値と
して用いるため,画像面内に軸の回転中心が存在しなく
ても,画像平面を拡張した仮想の画像平面中の座標とし
て回転中心を検出し,検出対象の位置検出・位置決めを
軸の回転中心を基準として,軸中心と画像による検出対
象の相対位置を高精度で補正することができる。
【0068】また,本発明に係るロボットアームの検出
システム(請求項3)によれば,ロボットアームが回転
機構を備えていなくても,回転中心位置が分かっている
回転機構をロボットアームの軸の取付け部に設け,上記
請求項1の検出方法を用いるため,撮像手段の撮像素子
の位置決め誤差や設計交差などを考慮しなくても,外部
より計測可能な機械誤差要因のみにより画像の基準座標
を得ることができる。
【0069】また,本発明に係るロボットアームの状態
検出方法(請求項4)によれば,ロボットアームの軸方
向と回転軸とが一致していることが予想される場合,軸
の回転機構と,軸方向と垂直な方向を撮像する撮像手段
により,画像面内の水平な列と平行になる角度を検出す
るため,ロボットアーム軸のあおり方向を検出すること
ができる。
【0070】また,本発明に係るロボットアームの状態
検出方法(請求項5)によれば,請求項4に記載の第5
の工程において検出されたあおり角度方向における原点
と基準線との距離を記憶しておき,さらに,ロボットア
ームを軸回りに180°回転したときの画像面内の原点
と基準線との距離を検出し,これを上記記憶値とを比較
するため,あおりによる撮像距離の微妙な変化を無視し
て,ロボットアームのあおり角度を検出することができ
る。
【0071】また,本発明に係るロボットアームの検出
システム(請求項6)によれば,上記請求項4または5
に記載のロボットアームの状態検出方法を用いたロボッ
トアームのあおり角度を検出するシステムが実現する。
【0072】また,本発明に係るロボットアームの状態
検出方法(請求項7)によれば,あおり方向が既知であ
る場合,ロボットアームの任意の方向のあおり角を検出
するため,機械的なあおりを補正することが可能とな
る。
【0073】また,本発明に係るロボットアームの検出
システム(請求項8)によれば,上記請求項7に記載の
ロボットアームの状態検出方法を用いたロボットアーム
のあおり角度を検出するシステムが実現する。
【0074】また,本発明に係るロボットアームの状態
検出方法(請求項9)によれば,上記請求項9に記載の
各工程を用いるため,ロボットアームとその回転軸が一
致しているかどうか,および回転軸と鉛直下向きとが一
致しているかを判断することができる。
【0075】また,本発明に係るロボットアームの検出
システム(請求項10)によれば,上記請求項9に記載
のロボットアームの状態検出方法を用いたロボットアー
ムのあおり状態を検出するシステムが実現する。
【図面の簡単な説明】
【図1】実施の形態1に係るロボットアームの状態検出
方法を用いた装置の構成を示す説明図である。
【図2】実施の形態1に係るロボットアームの状態検出
方法を示す説明図である。
【図3】実施の形態2に係るロボットアームの状態検出
方法を用いた装置の構成を示す説明図である。
【図4】実施の形態2に係るロボットアームの状態検出
方法を示す説明図である。
【図5】実施の形態3に係るロボットアームの検出シス
テムの構成を示す説明図である。
【図6】実施の形態4に係るロボットアームの状態検出
方法を用いた装置の構成を示す説明図である。
【図7】実施の形態4に係る円筒の内側に円周と平行に
基準線を施した基準円筒の基準線を撮像した場合の画像
を示す説明図である。
【図8】実施の形態4に係るあおり検出原理を示す説明
図である。
【図9】実施の形態4に係るCCDカメラによる撮像画
像を示す説明図である。
【図10】実施の形態5に係るロボットアームの状態検
出方法を示す説明図である。
【図11】実施の形態6に係るロボットアームの状態検
出システムを示す説明図である。
【図12】実施の形態7に係るロボットアームの状態検
出方法を用いた装置の構成を示す説明図である。
【図13】実施の形態7に係るロボットアームの状態検
出方法を示す説明図である。
【図14】実施の形態8に係るロボットアームの検出シ
ステムの構成を示す説明図である。
【図15】実施の形態9に係るロボットアームの状態検
出方法を示す説明図である。
【図16】実施の形態9に係るロボットアームおよびC
CDカメラの回転状態例(その1)を示す説明図であ
る。
【図17】図16における状態における点Aでの接線の
Rへの写像と点Bでの接線のなす角度を示す説明図であ
る。
【図18】実施の形態9に係るロボットアームおよびC
CDカメラの回転状態例(その2)を示す説明図であ
る。
【図19】図18における2つのCCDカメラでとらえ
た個々の角度変化を示す説明図である。
【図20】実施の形態9に係るロボットアームおよびC
CDカメラの回転状態例(その3)を示す説明図であ
る。
【図21】図20における2つのCCDカメラでとらえ
た個々の角度変化を示す説明図である。
【図22】実施の形態10に係るロボットアームの検出
システムの構成を示す説明図である。
【符号の説明】
101 ロボットアーム 102 1501a,1501b CCDカメラ 103,1203a,1203b マーキング 104,1202a,1202b 基準面 201 基準面の画像 501 着脱機構 502 画像処理装置 601 基準円筒 701 基準面内の垂線 702 基準線の接線 1201 回転機構

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 ロボットアームの先端に装着された撮像
    手段により撮像した画像から検出対象物の位置検出・位
    置決めを行うロボットアームの状態検出方法において,
    方向性のあるマーキングが施されている水平な基準面に
    対し前記ロボットアーム回転軸上の垂直方向先端に前記
    撮像手段の撮像方向を一致させて固定し,前記撮像手段
    により前記マーキングを撮像し,該撮像したマーキング
    の特徴点の座標を求める第1の工程と,前記第1の工程
    により求めたマーキング画像の方向を求める第2の工程
    と,前記第1の工程および第2の工程の結果に基づいて
    前記ロボットアームの軸回りに適当な角度で回転する第
    3の工程と,前記ロボットアームの回転前と回転後とに
    おける前記マーキングの姿勢から前記ロボットアームの
    回転中心を前記撮像された画像内の座標により検出する
    第4の工程と,を含むことを特徴とするロボットアーム
    の状態検出方法。
  2. 【請求項2】 ロボットアームの先端に装着された撮像
    手段により撮像した画像から検出対象物の位置検出・位
    置決めを行うロボットアームの状態検出方法において,
    方向性のあるマーキングが施されている水平な基準面に
    対し前記ロボットアーム回転軸上の垂直方向先端に前記
    撮像手段の撮像方向を一致させて固定し,前記撮像手段
    により前記マーキングを既知の光学倍率で撮像し,該撮
    像したマーキングの特徴点の座標を求める第1の工程
    と,前記第1の工程により求めたマーキング画像の方向
    を求める第2の工程と,前記第1の工程および第2の工
    程の結果に基づいて前記ロボットアームの軸回りに適当
    な角度で回転する第3の工程と,前記ロボットアームの
    回転前と回転後とにおける前記マーキングの姿勢および
    前記光学倍率から前記ロボットアームの回転中心を仮想
    の拡張撮像画像内の座標により検出する第4の工程と,
    を含むことを特徴とするロボットアームの状態検出方
    法。
  3. 【請求項3】 ロボットアームの先端に装着され,水平
    な基準面に設けられた方向性のあるマーキングを撮像す
    る撮像手段と,前記ロボットアームから前記撮像手段を
    着脱可能にし,かつ前記ロボットアームの軸回りに回転
    する機構を備えた取付け手段と,前記撮像手段により得
    られた画像から座標と角度とを演算する演算手段と,を
    具備し,前記演算手段が,前記請求項1または2に記載
    のロボットアームの状態検出方法に基づいて,前記取付
    け手段の中心を画像面内の座標として検出し,該検出値
    を用いて前記ロボットアームと前記取付け手段とのオフ
    セット補正を実行することを特徴とするロボットアーム
    の検出システム。
  4. 【請求項4】 ロボットアームの先端に装着された撮像
    手段により撮像した画像から検出対象物の位置検出・位
    置決めを行うロボットアームの状態検出方法において,
    前記ロボットアームの回転中心軸と前記撮像手段の撮像
    素子とを垂直な一列で合わせ,その一列の任意の素子を
    原点として撮像方向を前記ロボットアームに垂直に固定
    する第1の工程と,水平な基準面に垂直に半径を前記ロ
    ボットアームの回転中心から前記撮像手段の撮像距離ま
    での距離をとる円筒を設置し,その円筒の内側に円周と
    平行に基準線を設定する第2の工程と,前記ロボットア
    ームの回転軸と前記撮像素子の原点から前記ロボットア
    ームの回転軸へ垂直にのばした線との交点が前記円筒の
    中心で,かつ前記基準線の高さになるように前記ロボッ
    トアームを教示する第3の工程と,既知の角度を持たせ
    ながら前記ロボットアームを軸回りに回転し,任意に前
    記基準線を撮像する第4の工程と,前記第4の工程で撮
    像された基準線の画像面内での原点を通る垂線との交点
    での接線と画像の垂線との角度が90°になる角度を検
    出し,前記ロボットアームのあおり角度を検出する第5
    の工程と,を含むことを特徴とするロボットアームの状
    態検出方法。
  5. 【請求項5】 前記請求項4に記載の第5の工程におい
    て検出されたあおり角度方向における原点と基準線との
    距離を記憶し,前記ロボットアームを軸回りに180°
    回転し,画像面内の原点と基準線との距離を検出し,該
    検出値と前記記憶値とを比較し,前記ロボットアームの
    あおり角度を検出することを特徴とするロボットアーム
    の状態検出方法。
  6. 【請求項6】 水平な基準面に垂直に設定・固定された
    あおり検出のための基準円筒と,ロボットアームの先端
    に,撮像方向と軸方向とを垂直にして固定された撮像手
    段と,前記ロボットアームの回転中心軸と前記撮像手段
    の垂直な一列が平行に,軸方向と撮像方向とが垂直にな
    るように回転する機構を備えた取付け手段と,前記請求
    項4または5に記載のロボットアームの状態検出方法に
    基づいて,前記撮像手段により得られた画像から基準線
    の接線と画像面内の原点を通る垂線とのなす角度を演算
    する演算手段と,を具備することを特徴とするロボット
    アームの検出システム。
  7. 【請求項7】 ロボットアームの先端に装着された撮像
    手段により撮像した画像から検出対象物の位置検出・位
    置決めを行うロボットアームの状態検出方法において,
    水平な第1基準面および該第1基準面に対し既知の角度
    を持った第2基準面のそれぞれの面に設けられ,方向性
    があり,かつ等距離に設けられたマーキングを設け,前
    記撮像手段により水平な第1基準面に設けられた第1基
    準面上のマーキングを撮像する第1の工程と,前記撮像
    手段により第2基準面上のマーキングを撮像する第2の
    工程と前記第1の工程および第2の工程により得られた
    2つのマーキング画像の特徴点の座標を求め,さらにマ
    ーキングの方向を得る第3の工程と,前記ロボットアー
    ムの中心軸を軸方向に垂直に適当な角度で回転する第4
    の工程と,前記ロボットアームの回転前と回転後とのマ
    ーキング姿勢から前記第2基準面方向のあおり角度を検
    出し,補正する第5の工程と,を含むことを特徴とする
    ロボットアームの状態検出方法。
  8. 【請求項8】 それぞれの面に方向性を有し,かつ等距
    離の位置にマーキングを施した水平な第1基準面,およ
    び該第1基準面に対し既知の角度を持った第2基準面
    と,ロボットアームの先端に装着され,前記第1基準面
    および第2基準面を撮像する撮像手段と,前記請求項7
    に記載のロボットアームの状態検出方法に基づいて,前
    記撮像手段により得られた画像から座標および角度を計
    算する演算手段と,を具備することを特徴とするロボッ
    トアームの検出システム。
  9. 【請求項9】 ロボットアームの先端に装着された撮像
    方向が各々180°異なる2つ撮像手段により撮像した
    画像から検出対象物の位置検出・位置決めを行うロボッ
    トアームの状態検出方法であって,前記2つの撮像手段
    でそれぞれ検出した基準線の接線と画像面内を通る垂線
    とのなす角度が,前記ロボットアームの回転角度の変位
    により180°の位相ずれがある場合,前記ロボットア
    ームの回転軸とロボットアームが一致し,鉛直下向きと
    はずれていると判断する工程と,前記2つの撮像手段の
    何れか一方の基準線と垂線との交点が他方よりも画面内
    で高い位置にあり,かつ垂線と基準線の接線とが垂直で
    あれば,前記ロボットアームの回転軸とロボットアーム
    が一致しておらず,回転軸が鉛直下向きと判断する工程
    と,上記工程で垂直でなければ前記ロボットアームの回
    転軸とロボットアームとが一致しておらず,回転軸も鉛
    直下向きと一致していないと判断する工程と,を含むこ
    とを特徴とする請求項4または5に記載のロボットアー
    ムの状態検出方法。
  10. 【請求項10】 水平な基準面に垂直に設定・固定され
    たあおり検出のための基準円筒と,ロボットアームの先
    端にそれぞれ撮像方向が180°異なる撮像手段と,前
    記請求項9に記載のロボットアームの状態検出方法に基
    づいて,前記撮像手段により得られた画像から基準線の
    接線と画像面内の原点を通る垂線とのなす角度を演算す
    る演算手段と,を具備することを特徴とするロボットア
    ームの検出システム。
JP18530396A 1996-06-27 1996-06-27 ロボットアームの状態検出方法および検出システム Expired - Fee Related JP3511551B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18530396A JP3511551B2 (ja) 1996-06-27 1996-06-27 ロボットアームの状態検出方法および検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18530396A JP3511551B2 (ja) 1996-06-27 1996-06-27 ロボットアームの状態検出方法および検出システム

Publications (2)

Publication Number Publication Date
JPH106264A true JPH106264A (ja) 1998-01-13
JP3511551B2 JP3511551B2 (ja) 2004-03-29

Family

ID=16168505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18530396A Expired - Fee Related JP3511551B2 (ja) 1996-06-27 1996-06-27 ロボットアームの状態検出方法および検出システム

Country Status (1)

Country Link
JP (1) JP3511551B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000064981A (ja) * 1998-08-19 2000-03-03 Mitsubishi Electric Corp ラインフローファン及びその製造方法及びその製造装置及び組み立て装置
US6671574B1 (en) 2002-08-30 2003-12-30 Fujitsu Limited Position detecting apparatus and library apparatus
JP2010064200A (ja) * 2008-09-11 2010-03-25 Cognex Corp 制御システム、制御方法およびプログラム
CN107363823A (zh) * 2017-06-21 2017-11-21 深圳市恒科通机器人有限公司 机械臂的坐标标定方法
CN108455228A (zh) * 2017-12-29 2018-08-28 长春师范大学 轮胎自动装载系统
WO2020173240A1 (zh) * 2019-02-27 2020-09-03 广东拓斯达科技股份有限公司 图像采集装置标定方法、装置、计算机设备和存储介质
CN111912337A (zh) * 2020-07-24 2020-11-10 上海擎朗智能科技有限公司 机器人位姿信息的确定方法、装置、设备和介质
CN113795358A (zh) * 2019-06-17 2021-12-14 西门子(中国)有限公司 一种坐标系校准方法、装置和计算机可读介质
CN114882103A (zh) * 2022-04-20 2022-08-09 南昌龙旗信息技术有限公司 手写笔螺母对位方法、装置、设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000064981A (ja) * 1998-08-19 2000-03-03 Mitsubishi Electric Corp ラインフローファン及びその製造方法及びその製造装置及び組み立て装置
US6671574B1 (en) 2002-08-30 2003-12-30 Fujitsu Limited Position detecting apparatus and library apparatus
JP2010064200A (ja) * 2008-09-11 2010-03-25 Cognex Corp 制御システム、制御方法およびプログラム
CN107363823A (zh) * 2017-06-21 2017-11-21 深圳市恒科通机器人有限公司 机械臂的坐标标定方法
CN108455228A (zh) * 2017-12-29 2018-08-28 长春师范大学 轮胎自动装载系统
CN108455228B (zh) * 2017-12-29 2023-07-28 长春师范大学 轮胎自动装载系统
WO2020173240A1 (zh) * 2019-02-27 2020-09-03 广东拓斯达科技股份有限公司 图像采集装置标定方法、装置、计算机设备和存储介质
CN113795358A (zh) * 2019-06-17 2021-12-14 西门子(中国)有限公司 一种坐标系校准方法、装置和计算机可读介质
CN111912337A (zh) * 2020-07-24 2020-11-10 上海擎朗智能科技有限公司 机器人位姿信息的确定方法、装置、设备和介质
US11644302B2 (en) 2020-07-24 2023-05-09 Keenon Robotics Co., Ltd. Method and apparatus for determining pose information of a robot, device and medium
CN114882103A (zh) * 2022-04-20 2022-08-09 南昌龙旗信息技术有限公司 手写笔螺母对位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP3511551B2 (ja) 2004-03-29

Similar Documents

Publication Publication Date Title
JP3946711B2 (ja) ロボットシステム
JP4191080B2 (ja) 計測装置
JP2009269110A (ja) 組立装置
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
US10569419B2 (en) Control device and robot system
JP2003117861A (ja) ロボットの位置補正システム
JP2018094654A (ja) 制御装置、ロボットおよびロボットシステム
JP6922204B2 (ja) 制御装置、ロボットおよびロボットシステム
JP3511551B2 (ja) ロボットアームの状態検出方法および検出システム
JP4613955B2 (ja) 回転軸線算出方法、プログラムの作成方法、動作方法およびロボット装置
JP2682763B2 (ja) ロボット機体の作動誤差の自動測定方法
JPH0626770B2 (ja) ワークのはめ合い方法
JP3754340B2 (ja) 位置検出装置
JP2890874B2 (ja) ロボットアーム相対姿勢補正方法
JP4284765B2 (ja) ロボットハンド位置計測装置
JP2009125839A (ja) 溶接教示位置補正システム
JPH1011146A (ja) 移動体の停止姿勢補正装置
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット
JPH09222913A (ja) ロボットの教示位置補正装置
JP6965422B2 (ja) カメラの平行度判定方法
JPH04269194A (ja) 平面計測方法
JPH0283183A (ja) 多関節型ロボットの位置設定方法
JP3562096B2 (ja) 位置検出方法
JPH08110206A (ja) 位置及び姿勢検出方法と位置及び姿勢検出装置
JP2021024075A (ja) ロボットの位置を制御するロボット装置の制御装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20031224

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Effective date: 20031226

Free format text: JAPANESE INTERMEDIATE CODE: A61

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20080116

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 5

Free format text: PAYMENT UNTIL: 20090116

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20100116

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20110116

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees