JP3972356B2 - 視覚センサの誘導方法 - Google Patents

視覚センサの誘導方法 Download PDF

Info

Publication number
JP3972356B2
JP3972356B2 JP2001387997A JP2001387997A JP3972356B2 JP 3972356 B2 JP3972356 B2 JP 3972356B2 JP 2001387997 A JP2001387997 A JP 2001387997A JP 2001387997 A JP2001387997 A JP 2001387997A JP 3972356 B2 JP3972356 B2 JP 3972356B2
Authority
JP
Japan
Prior art keywords
visual sensor
guidance
coordinate system
axis
manipulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001387997A
Other languages
English (en)
Other versions
JP2003191194A (ja
Inventor
俊充 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Priority to JP2001387997A priority Critical patent/JP3972356B2/ja
Publication of JP2003191194A publication Critical patent/JP2003191194A/ja
Application granted granted Critical
Publication of JP3972356B2 publication Critical patent/JP3972356B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position Or Direction (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、マニピュレータ手先に搭載された視覚センサを対象物に誘導する視覚センサの誘導方法に関する。
【0002】
【従来の技術】
本願出願人は先に、特願2000−278776において、対象物の概略位置と、誘導位置と前記対象物との距離を与えて、マニピュレータを誘導位置に誘導する方法を提案している。これは、次のような方法である。
【0003】
図5は配電作業用マニピュレータを用いて視覚センサを誘導する方法の概略説明図である。
図において、501は装柱である。装柱501は、電柱502、アーム503、第1の碍子504、第2の碍子505、第3の碍子506から構成される。通常、電柱502は地面に対しほぼ垂直に設置されており、アーム503は電柱502に対し直角に取り付けられている。第1の碍子504、第2の得子505、第3の碍子506は、アーム503に固定されている。507はマニピュレータであり、その先端に視覚センサ511を取り付けている。512は誘導前の視覚センサ位置であり、そこで得られる映像が誘導前の映像514である。513は誘導後の視覚センサ位置であり、そこで得られる映像が誘導後の映像515である。
【0004】
ここで、視覚センサ511により装柱501を遠方から捉え、視覚センサ511を第1の碍子504に誘導する方法を説明する。より具体的には、視覚センサ511を視覚センサ位置512から視覚センサ位置513に誘導する方法を説明する。
【0005】
図3は従来技術による視覚センサの誘導方法を示すモデル図であり、図4は従来技術による視覚センサの誘導方法を示すブロック図である。図3は、図5に示した装柱501の部分拡大図であり、第1の碍子504とアーム503の一部のみを示している。201及び203は視覚センサ511の内部に設置された座標系で、201が、誘導前の視覚センサ位置512の視覚センサの座標系(誘導前の視覚センサ座標系)、203が、誘導後の視覚センサ位置513の視覚センサの座標系(誘導後の視覚センサ座標系)である。図5に示した視覚センサ511の紙面手前方向をXs軸、上方向をYs軸、左方向(視覚センサの視線方向)をZs軸とする。これによれば、視覚センサ511の底面はXsZs平面と平行となる。誘導後の視覚センサ座標系203の各座標軸には、誘導前の視覚センサ座標系201のそれらと区別するために、「'」を付している。202はマニピュレータのベース部に設置された座標系(マニピュレータ座標系)で、図5に示したマニピュレータ507の紙面右方向をXr軸、奥方向をYr軸、上方向をZr軸とする。これによれば、マニピュレータ507の底面はXrYr平面と平行となる。
【0006】
207は、誘導前の視覚センサ位置512から第1の碍子504を見た時の、第1の碍子504の概略位置(つまり誘導前の視覚センサ座標系201の原点に対する第1の碍子504の概略位置)を表すベクトルである。208はマニピュレータ座標系202の原点に対する第1の碍子504の概略位置を表すベクトルであり、次の様に、表される。
【0007】
【数1】
Figure 0003972356
【0008】
ここで、tは転置である。マニピュレータ座標系に関する概略位置208は、マニピュレータ507と視覚センサ511とが校正されているため(Tが分かるため)、視覚センサ座標系に関する概略位置207から容易に求めることができる。 以後の説明では、マニピュレータ座標系202を基準に説明する。なお、視覚センサ座標系に関する概略位置207は、方向と距離を測定できるセンサ、例えばレーザレンジファインダを用いて求めることができる。
【0009】
図4において、101は対象物距離であり、視覚センサ511が誘導後の視覚センサ位置513に来たときの視覚センサ511と、第1の碍子504との距離であり、すなわち、図3に示す誘導後の視覚センサ座標系203の原点(205)と計測点204との距離である。ここで、対象物距離101の大きさをLとする。
106は誘導位置・誘導姿勢算出手段であり、誘導位置算出手段102と誘導姿勢算出手段103とから構成される。
誘導位置算出手段102はマニピュレータ座標系に関する概略位置208と対象物距離101とを入力し、誘動位置104、すなわち、誘導後の視覚センサ座標系203の位置を出力する手段である。また誘導姿勢算出手段102はマニピュレータ座標系に関する概略位置208と誘導位置104とを入力し、誘動姿勢105、すなわち、誘導後の視覚センサ座標系203の姿勢を出力する手段である。
【0010】
まず最初に、計測点204を中心とし、半径をLとした球面206を設定する。球面206の方程式は
【0011】
【数2】
Figure 0003972356
【0012】
となる。計測点204を通り、XrYr平面に平行な平面は
【0013】
【数3】
Figure 0003972356
【0014】
となる。球面206と視覚センサ座標系に関する概略位置207のベクトルとの交点を
【0015】
【数4】
Figure 0003972356
【0016】
とすると、視覚センサ座標系に関する概略位置207のベクトルを含みZrに平行な平面は
【0017】
【数5】
Figure 0003972356
【0018】
となる。式(2)、(3)、(5)を連立して解くと、
【0019】
【数6】
Figure 0003972356
【0020】
となる。
【0021】
2つある解の内、視覚センサ511側の方を取ると、これが誘導後の視覚センサ座標系203の位置、すなわち、誘導位置104となる。これにより、第1の碍子504と同じ高さで、距離Lの位置に誘導後の視覚センサ座標系203の位置を決定することができる。誘導姿勢算出手段103では、誘導位置104とマニピュレータ座標系に関する概略位置208とを入力し、誘導姿勢105、すなわち、誘導後の視覚センサ座標系203の姿勢を出力する。誘導後の視覚センサ座標系203のXs'Zs'平面とマニピュレータ座標系202のXrYr平面とが平行であるとすると、Ys'軸の単位ベクトルは
【0022】
【数7】
Figure 0003972356
【0023】
となる。計測点204と誘導後の視覚センサ座標系の原点205とを通るベクトルを正規化し
【0024】
【数8】
Figure 0003972356
【0025】
とすると、これがZs'軸の単位ベクトルとなる。Xs'軸は式(7)と(8)との外積演算
【0026】
【数9】
Figure 0003972356
【0027】
により求めると、これがXs'軸の単位ベクトルとなる。
【0028】
式(7)、(8)、(9)の各軸を要素とした誘導後の視覚センサ座標系203の姿勢が
【0029】
【数10】
Figure 0003972356
【0030】
で求められる。これにより、第1の碍子504に視覚センサ511の視線方向が向かっている誘導後の視覚センサ座標系203の姿勢を決定することができる。
式(6)、(10)より、誘導後の視覚センサ座標系203の位置と姿勢T'は
【0031】
【数11】
Figure 0003972356
【0032】
となる。
以上により、誘導後の視覚センサ座標系203を、第1の碍子504と同じ高さで、距離Lの位置に、視覚センサ511の視線が第1の碍子504に向かう姿勢で、決定することができる。
【0033】
【発明が解決しようとする課題】
ところが、この従来の方法では、誘導前の視覚センサ座標系201の位置が決まり、視覚センサ座標系に関する概略位置207が計測されると、誘導後の視覚センサ座標系203の位置と姿勢が一意に決まってしまうため、誘導後の視覚センサ座標系203の位置の近傍に障害物があっても、それを避けることができず、視覚センサ511を破損してしまうという問題があった。
そこで、本発明は対象物の近傍にある障害物を避けて、視覚センサを対象物に誘導する方法を提供することを目的とする。
【0034】
【課題を解決するための手段】
上記問題を解決するため、本発明の請求項1の発明は、マニピュレータ手先に視覚センサを搭載し、前記マニピュレータを駆動することで対象物に前記視覚センサを誘導する方法において、前記対象物に向かう方向をXr軸、前記マニピュレータの上方向をZr軸、前記マニピュレータの底面に平行な方向をYr軸、とする直交3軸からなる前記マニピュレータの座標系と、前記視覚センサの上方向をYs軸、前記視覚センサの視線方向をZs軸、前記視覚センサの底面に平行な方向をXs軸、とする直交3軸からなる前記視覚センサの座標系と、を設定し、前記視覚センサで前記対象物を計測して、その計測点を中心とした所定の半径の球面を表す式を設定し、誘導後の前記視覚センサの位置の近傍に障害物があるとき、前記計測点から前記障害物を回避するよう上下方向にオフセットした高さにあって、前記マニピュレータの座標系の底面を表すXrYr面に平行な面を表す式を設定し、誘導前の前記視覚センサの座標系の原点から前記計測点までの概略位置ベクトルを含み、前記マニピュレータの座標系のZr軸に平行な平面の式を設定し、これら3つの式から得られる2つの解の内、前記視覚センサ側の解が表す位置を誘導後の位置とし、前記計測点と誘導後の前記視覚センサの座標系の原点とを通るベクトルを正規化したものを、誘導後の前記視覚センサの座標系のZs’軸の単位ベクトルとし、前記視覚センサの座標系のYs’軸が前記マニピュレータの座標系のXrZr平面と平行であるとしたときの前記Ys’軸の単位ベクトルと、前記Zs’軸の単位ベクトルとの内積が0であることを利用し正規化したものを誘導後の前記視覚センサ座標系のYs’軸の単位ベクトルとし、前記Zs’軸の単位ベクトルと前記Ys’軸の単位ベクトルとの外積演算から誘導後の前記視覚センサ座標系のXs’軸の単位ベクトルを求め、これら3つの単位ベクトルを要素とした座標系を誘導後の姿勢とし、前記誘導後の位置と前記誘導後の姿勢へ前記視覚センサを誘導する視覚センサの誘導方法とするものである。
【0035】
【発明の実施の形態】
以下、図に基づいて、本発明の実施例を説明する。
【0036】
図1は本発明の実施例を示す視覚センサの誘導方法のモデル図であり、図2は同じくブロック図である。
図1は、図5に示した装柱501の部分拡大図であり、従来技術と共通する構成要素には同一の符号を付したので説明を省略する。
701は従来技術における誘導後の視覚センサ座標系203の近傍に存在する障害物である。従来技術の方法で視覚センサ511を誘導すると、障害物701に衝突するので、これを回避する必要がある。そこで高さオフセット702または角度オフセット703を与えて、誘導位置の高さあるいは角度を変更する。
図2に示したブロック図は、基本的な構成は図4に示した従来のブロック図と共通するが、対象物距離101と概略位置208に加えて、オフセット601を入力することが異なる。ここで、オフセット601は障害物701を回避するための修正量であり、前述の高さオフセット702または角度オフセット703のいずれかを入力するものである。
【0037】
まず、高さオフセット702をオフセット601として、誘導位置算出手段102に入力して、高さオフセット702だけ上方または下方に誘導する方法を説明する。
計測点204より高さhだけ上にあって、XrYrに平行な平面は次式で与えられる。
【0038】
【数12】
Figure 0003972356
【0039】
式(2)、()、(12)を連立して解くと、
【0040】
【数13】
Figure 0003972356
【0041】
となる。
また、角度オフセット703をオフセット601として、誘導位置算出手段102に入力して、角度オフセット703だけ上方または下方に誘導するにはつぎのようにする。
計測点204より角度θだけ上にあって、XrYrに平行な平面は次式で与えられる
【0042】
【数14】
Figure 0003972356
【0043】
式(2)、(5)、(14)を連立して解くと、
【0044】
【数15】
Figure 0003972356
【0045】
となる。
【0046】
式(13)、(15)において、2つある解の内、視覚センサ511側の方を取ると、これが誘導後の視覚センサ座標系203の位置、すなわち、誘導位置104となる。これにより、障害物701と衝突を回避して、視覚センサ511を誘導することができる。誘導姿勢算出手段103では、誘導位置104とマニピュレータ座標系に関する概略位置208とを入力し、誘導姿勢105、すなわち、誘導後の視覚センサ座標系203の姿勢を出力する。計測点204と誘導後の視覚センサ座標系の原点205とを通るベクトルを正規化したものが式(8)であり、これが誘導後の視覚センサ座標系203のZs'軸の単位ベクトルとなる。Ys'軸がXrr平面と平行であるとすると、Ys'軸の単位ベクトルは
【0047】
【数16】
Figure 0003972356
【0048】
となる。これと式(8)との内積が0であることを利用し、正規化したものを、
【0049】
【数17】
Figure 0003972356
【0050】
とする。これがYs'軸の単位ベクトルとなる。なお、α、γの正負は所望の方向を取るように決定すれば良い。Xs'軸は式()と(17)との外積演算により、
【0051】
【数18】
Figure 0003972356
【0052】
となる。これがXs'軸の単位ベクトルとなる。
式(8)、(17)、(18)の各軸を要素とした誘導後の視覚センサ座標系203の姿勢が
【0053】
【数19】
Figure 0003972356
【0054】
で求められる。これにより、第1の碍子504に視覚センサ511の視線方向が向かっている誘導後の視覚センサ座標系203の姿勢を決定することができる。
式(13)あるいは(15)と、(19)より、誘導後の視覚センサ座標系203の位置と姿勢T'は
【0055】
【数20】
Figure 0003972356
【0056】
となる。
以上により、誘導後の視覚センサ511の位置を、高さ、あるいは角度によってオフセットすることができる。
なお、本発明によるオフセットは上下方向に限られるものではなく、左右方向も選択できることは言うまでもない。
【0057】
【発明の効果】
以上、説明したように、本発明は、対象物の概略位置に対して、誘導位置をオフセットすることができるので、対象物の近傍に障害物があっても簡単にそれを回避して視覚センサを対象物に誘導することができる。
【図面の簡単な説明】
【図1】 本発明の実施例を示す視覚センサの誘導方法モデル図である。
【図2】 本発明の実施例を示す視覚センサの誘導方法ブロック図である。
【図3】 従来の技術に係る視覚センサの誘導方法モデル図である。
【図4】 従来の技術に係る視覚センサの誘導方法ブロック図であ。
【図5】 装柱に対する配電作業で行われる視覚センサ誘導の概略説明図である。
【符号の説明】
101 対象物距離
102 誘導位置算出手段
103 誘導姿勢算出手段
104 誘導位置
105 誘導姿勢
106 誘導位置・誘導姿勢算出手段
201 誘導前の視覚センサ座標系
202 マニピュレータ座標系
203 誘導後の視覚センサ座標系
204 計測点
205 誘導後の視覚センサ座標系の原点
206 球面
207 視覚センサ座標系に関する概略位置
208 マニピュレータ座標系に関する概略位置
501 装柱
502 電柱
503 アーム
504 第1の碍子
505 第2の碍子
506 第3の碍子
507 マニピュレータ
508 コントローラ
509 ティーチボックス
510 操作者
511 視覚センサ
512 誘導前の視覚センサ位置
513 誘導後の視覚センサ位置
514 誘導前の映像
515 誘導後の映像
601 オフセット
701 障害物
702 高さ位置
703 仰角あるいは俯角

Claims (1)

  1. マニピュレータ手先に視覚センサを搭載し、前記マニピュレータを駆動することで対象物に前記視覚センサを誘導する方法において、
    前記対象物に向かう方向をXr軸、前記マニピュレータの上方向をZr軸、前記マニピュレータの底面に平行な方向をYr軸、とする直交3軸からなる前記マニピュレータの座標系と、前記視覚センサの上方向をYs軸、前記視覚センサの視線方向をZs軸、前記視覚センサの底面に平行な方向をXs軸、とする直交3軸からなる前記視覚センサの座標系と、を設定し、
    前記視覚センサで前記対象物を計測して、その計測点を中心とした所定の半径の球面を表す式を設定し、
    誘導後の前記視覚センサの位置の近傍に障害物があるとき、前記計測点から前記障害物を回避するよう上下方向にオフセットした高さにあって、前記マニピュレータの座標系の底面を表すXrYr面に平行な面を表す式を設定し、
    誘導前の前記視覚センサの座標系の原点から前記計測点までの概略位置ベクトルを含み、前記マニピュレータの座標系のZr軸に平行な平面の式を設定し、
    これら3つの式から得られる2つの解の内、前記視覚センサ側の解が表す位置を誘導後の位置とし、
    前記計測点と誘導後の前記視覚センサの座標系の原点とを通るベクトルを正規化したものを、誘導後の前記視覚センサの座標系のZs’軸の単位ベクトルとし、
    前記視覚センサの座標系のYs’軸が前記マニピュレータの座標系のXrZr平面と平行であるとしたときの前記Ys’軸の単位ベクトルと、前記Zs’軸の単位ベクトルとの内積が0であることを利用し正規化したものを誘導後の前記視覚センサ座標系のYs’軸の単位ベクトルとし、
    前記Zs’軸の単位ベクトルと前記Ys’軸の単位ベクトルとの外積演算から誘導後の前記視覚センサ座標系のXs’軸の単位ベクトルを求め、
    これら3つの単位ベクトルを要素とした座標系を誘導後の姿勢とし、
    前記誘導後の位置と前記誘導後の姿勢へ前記視覚センサを誘導することを特徴とする視覚センサの誘導方法。
JP2001387997A 2001-12-20 2001-12-20 視覚センサの誘導方法 Expired - Fee Related JP3972356B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001387997A JP3972356B2 (ja) 2001-12-20 2001-12-20 視覚センサの誘導方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001387997A JP3972356B2 (ja) 2001-12-20 2001-12-20 視覚センサの誘導方法

Publications (2)

Publication Number Publication Date
JP2003191194A JP2003191194A (ja) 2003-07-08
JP3972356B2 true JP3972356B2 (ja) 2007-09-05

Family

ID=27596660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001387997A Expired - Fee Related JP3972356B2 (ja) 2001-12-20 2001-12-20 視覚センサの誘導方法

Country Status (1)

Country Link
JP (1) JP3972356B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5850958B2 (ja) 2014-01-24 2016-02-03 ファナック株式会社 ワークを撮像するためのロボットプログラムを作成するロボットプログラミング装置

Also Published As

Publication number Publication date
JP2003191194A (ja) 2003-07-08

Similar Documents

Publication Publication Date Title
US8964001B2 (en) Method for displaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor
US9050728B2 (en) Apparatus and method for measuring tool center point position of robot
US11072078B2 (en) Method for measuring pose of robotic end tool
CN111300481B (zh) 基于视觉及激光传感器的机器人抓取位姿纠正方法
WO2020121396A1 (ja) ロボットキャリブレーションシステム及びロボットキャリブレーション方法
KR20170058720A (ko) 레이저 거리 센서를 구비한 용접 로봇 및 그의 교정방법
US6554144B2 (en) Boom positioning device for high-position working
KR20210034070A (ko) 교정 작업 지원 시스템
JP3972356B2 (ja) 視覚センサの誘導方法
JP2001158599A5 (ja)
JP2008281418A (ja) 位置姿勢推定方法
EP3895855A1 (en) Robot control system and robot control method
JP3215616B2 (ja) ロボットの誘導方法および誘導システム
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP4568978B2 (ja) マニピュレータ装置
JPH0727408B2 (ja) 固定3次元視覚併用ロボットハンドリング装置
KR100993241B1 (ko) 이동 로봇 모니터링 시스템, 및 방법
JP2602292B2 (ja) 溶接システムおよび溶接方法
KR100326000B1 (ko) 무인차의 위치보정장치 및 위치보정방법
CN110672009A (zh) 基于机器视觉的基准定位、物体姿态调整及图形显示方法
JPH08322120A (ja) 高所作業用ブームの位置決め方法および位置決め支援装置
JP2000094370A (ja) ロボットの作業表面の傾き測定方法およびその測定装置
JPH05197416A (ja) ロボット動作点教示装置
JP7278637B2 (ja) 自走式移動装置
EP3889542B1 (en) Method for estimating normal vector to die and/or normal vector to attachment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070603

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees