JPH0538688A - 産業用ロボツトシステムの座標系較正方法 - Google Patents

Abstract

(57)【要約】 【目的】 ロボットの各部を視覚認識する機能を有し，
ロボットの各部を制御するためのロボット座標系と視覚
認識系におけるカメラ座標系とを有し，これら座標系を
変換する座標変換マトリクスを，特別な治具を必要とせ
ず，短時間で正確に算出可能な産業用ロボットシステム
の座標系較正方法を提供する。 【構成】 本発明の好適な産業用ロボットシステムの座
標系較正方法は，ロボットアーム５の先端のハンド６の
指部６２の外側６２ａに較正用マークとして複数の平行
線からなる平行線群６２１を付し，このマークをカメラ
７，８で一度で立体視可能な位置に姿勢制御する。この
姿勢制御状態でカメラ７，８で平行線群６２１を撮影
し，指部６２の先端左側を基準として平行線群６２１の
座標位置を算出する。ロボット制御系は上記姿勢制御さ
れたロボットアーム５のロボット座標系における座標位
置を記憶しており，この座標位置と上記視覚認識系で算
出したカメラ座標系の座標位置から座標変換マトリクス
の各要素を算出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は産業用ロボットシステム
に関するものであり，特に，２つのカメラを用いて両眼
立体視による視覚機能を有する産業用ロボットシステム
におけるロボット制御系における座標系と視覚認識系に
おける座標系との間の座標変換マトリクスを算出する座
標系較正（キャリブレーション）方法に関する。

【０００２】

【従来の技術】視覚機能を有する産業用ロボットシステ
ムがすでに提案されている。この産業用ロボットシステ
ムは，産業用ロボットの可動部を駆動制御するロボット
制御系の他に，ロボット各部の位置を２台のカメラで立
体的に撮影してその撮影結果を画像処理しロボット各部
の位置を算出する視覚認識系を有している。そして，視
覚認識系で算出した座標位置を参照してロボット制御系
がロボット各部の位置決め制御などを行う。かかる視覚
認識機能を有する産業用ロボットシステムにおいては，
ロボットの可動部を駆動制御するロボット制御系で使用
するロボット座標系と視覚認識系で使用するカメラ座標
系との２つの座標系とが存在し，視覚認識系で算出した
ロボット可動部のカメラ座標位置をロボット制御系で使
用するロボット座標位置に正確に変換する座標変換マト
リクスが必要になる。

【０００３】このような座標変換マトリクスを算出する
従来の方法としては，たとえば，特開平３−３９６１１
号公報に開示されているように，ロボットの可動部を駆
動してワークを所定位置に位置決めし，そのワークの重
心位置を複数回測定して座標変換マトリクスを算出する
ことが知られている。この座標変換マトリクスはロボッ
ト各部の位置決めの精度に直接関係するから非常に高い
精度で算出しなければならない。

【０００４】

【発明が解決しようとする課題】上記ワークを用いる座
標系較正方法は，ワークを位置決めし重心位置を測定す
るときに誤差が生じるという問題がある。この誤差を少
なくするためには，複数回測定を反復しなければなら
ず，正確な座標変換マトリクスを得るにはかなり時間が
かかるという問題がある。また，上記複数回測定のそれ
ぞれにおいて，位置決定のために複雑な画像処理を行っ
ており，１回の測定自体必然的に長くかかり，全体の画
像処理に要する時間が長いという問題がある。さらに上
記方法では較正用に特別のワークを用いなければならな
いという問題がある。したがって，本発明は，短時間で
正確に座標変換マトリクスを得ることができ，しかもそ
のために，複雑な機構，処理方法を必要としない簡単な
座標系較正方法を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記問題を解決するた
め，本発明産業用ロボットシステムの座標系較正方法に
おいては，上記ロボットの所定部分に較正用マークを付
し，上記視覚認識系で認識可能な部分に上記較正用マー
クが位置するようにロボットの所定部分または視覚認識
系の位置制御を行い，上記視覚認識系で上記較正用マー
ク部分を撮影し，該撮影された画像データを画像処理し
て較正用マークを抽出し，該抽出較正マークから視覚認
識系における較正用マークの座標を算出し，該視覚認識
系で算出した座標と上記ロボット制御系の座標との間の
座標変換マトリクスを算出する。好適には，上記較正用
マークの全体が１度で上記視覚認識系で撮影できる位置
に姿勢制御され，上記較正用マークが上記ロボットの所
定部分の基準位置に対して所定の位置に設定される。

【０００６】

【作用】較正用マークを撮影可能な位置に視覚認識系の
撮像系または較正用マークが付されているロボットの所
定部分を位置決めし，視覚認識系で較正用マークを撮影
し，画像処理して較正用マークの視覚認識系における座
標位置を検出する。較正用マークとそのマークが付され
ているロボットの所定部分とは対応しており，ロボット
制御系はそのロボットの所定部分の位置を記憶してい
る。よって，ロボット制御系は視覚認識系で算出した上
記座標位置を入力して，その座標位置とロボット制御系
における上記較正用マークの座標位置との座標位置関係
から，座標変換マトリクスを算出する。較正用マークが
付されているロボットの所定部分の位置は正確に認識で
きており，複数回の位置決め操作を必要としない。ま
た，較正用マークとして，たとえば，平行線などの認識
し易いものを使用することで，較正用マークを画像処理
してその位置座標を算出することも容易となる。特に，
上記較正用マークの全体が１度で上記視覚認識系で撮影
できる位置に姿勢制御され，上記較正用マークが上記ロ
ボットの所定部分の基準位置に対して所定の位置に設定
されるように拘束条件を課すことによって，画像処理時
間が短縮できる。

【０００７】

【実施例】図１に本発明の産業用ロボットシステムの座
標系較正方法を実施する１例としての産業用ロボットシ
ステムの構成を示す。この産業用ロボットシステムは，
ロボット制御系を構成するロボット制御用コンピュータ
１，このコンピュータ１とバス接続されている画像処理
コンピュータ２と，ロボット制御コンピュータ１によっ
て制御されるロボット本体に接続されたアーム（以下，
ロボットアーム）５，このロボットアーム５の先端に配
設されたハンド６，ロボット各部を撮影するカメラ７，
８を有している。ロボット本体にはアームなど複数の可
動部が設けられているが，ここでは本発明の対象となる
較正用マークが付されたハンド６を有するロボットアー
ム５についてのみ記述する。この産業用ロボットシステ
ムは２台のカメラ７，８を用いてロボットアーム５を両
眼立体視する。視覚認識系は，撮像系としてのカメラ
７，８と，画像処理系としての画像処理コンピュータ２
とで構成される。

【０００８】図２はロボット本体とロボット制御用コン
ピュータ１でロボットアーム５を駆動制御するときに扱
うロボット座標系の定義を示し，図３にカメラ７，８で
撮像し視覚認識系で扱うカメラ座標系の定義を示す。ロ
ボット制御用コンピュータ１で用いるロボットアーム５
のロボット座標系は（Ｘ_R ，Ｙ_R ，Ｚ_R ）で定義され，
視覚認識系で用いるカメラ７，８のカメラ座標系は（Ｘ
_C ，Ｙ_C ，Ｚ_C ）で定義される。

【０００９】図４に本発明の対象となる較正用マークで
ある平行線群６２１が付されたロボットアーム５の先端
に装着されているハンド６の拡大図を示す。ロボットア
ーム５の先端に配設されたこのハンド６は，ハンド本体
６１の先端に指部６２，６３を有し，この指部６２の外
側６２ａにＮ本，図示の例では５本の等間隔の平行線か
らなる平行線群６２１が記されている。これらの平行線
６２１は較正用マークとして使用される。

【００１０】ロボットアーム５のリンク長さ，ハンド６
の長さ，指部６２の先端から平行線群６２１の線分まで
の距離は既知である。またロボットアーム５のリンクの
関節角度，ハンド６の開き角度はロボット制御用コンピ
ュータ１において判っている。したがって，ロボット制
御用コンピュータ１において，平行線群６２１の両端の
線分の座標は，ロボットの姿勢に無関係に純運動学的に
算出できる。このロボット座標系に対して，カメラ７，
８を介して平行線群６２１を撮影し，その撮影結果を画
像処理コンピュータ２において画像処理して平行線群６
２１の両端の線分のカメラ座標位置を算出できる。した
がって，本発明の較正方法においては，これらの座標位
置から，式１で規定される座標変換マトリクスＴの各要
素ｒ_i,j （ｉ＝１〜３，ｊ＝１〜４）を算出する。

【数１】以上により，座標変換マトリクスＴの各要素が
算出でき，ロボット制御用コンピュータ１内の制御プロ
グラムは，この座標変換マトリクスを用いて，画像処理
コンピュータ２で算出したカメラ座標系における座標位
置からロボット座標系における座標位置に変換して，種
々のロボットの可動部（アーム）を制御する。

【００１１】本発明の好適実施例として，さらに，上記
平行線群６２１の検出を容易にし，かつ，信頼性を高め
るために，下記の２つの拘束条件をつける。 （１）平行線群６２１の全体がカメラ７，８によって１
回の撮影で両眼立体視可能な位置におく。 （２）カメラ７，８で捕らえた平行線群６２１の画像の
中で，指部６２の先端が指部６２の根元よりも必ず左側
に位置するようにする。 拘束条件（１）は１回の撮影で較正用マークが撮影で
き，拘束条件（２）はこのようにして撮影した画像デー
タから指部６２の先端を基準位置として平行線群６２１
の位置を同定する処理を容易にする。

【００１２】以下，この好適実施例について，図５の動
作フローチャートを参照して，本発明の産業用ロボット
システムの座標系較正方法を述べる。 ステップＳ０１（図５） 上記拘束条件（１）を満足させるため，ロボット制御用
コンピュータ１内の位置制御プログラムでロボットアー
ム５の姿勢制御を行う。この姿勢制御の具体的方法とし
ては，（ａ）ロボットアーム５の関節角度を上記拘束条
件を満足する範囲に設定する方法，（ｂ）上記拘束条件
を満足するロボットアーム５の位置を予めロボット制御
用コンピュータ１に教示しておき，ロボット制御用コン
ピュータ１に記憶されたその位置にロボットアーム５を
位置決めする方法，（ｃ）平行線群６２１をカメラ７，
８で撮影させてその撮影状態をモニタに表示し，操作者
がモニタに表示された平行線群６２１の状態を監視しな
がら，たとえば，ジョイステック，マウスなどを操作し
て平行線群６２１が条件よく撮影できる位置までロボッ
トアーム５の姿勢を制御する方法などを採用することが
できる。本実施例では，予め教示した基準位置にロボッ
ト制御用コンピュータ１が自動的にロボットアーム５を
位置決めする。

【００１３】ステップＳ０２ ロボット制御用コンピュータ１は基準位置へのロボット
アーム５の位置決めが完了すると，その旨を画像処理コ
ンピュータ２に通報する。画像処理コンピュータ２内の
撮影制御プログラムが起動され，この撮影制御プログラ
ムはカメラ７，８を駆動して，カメラ７，８で平行線群
６２１を撮影させる。カメラ７，８で撮影した画像デー
タは，たとえば，４ビットのグレーレベル，すなわち，
０〜１６の階調を持つ。次いで画像処理コンピュータ２
内の画像入力プログラムが起動され，この画像入力プロ
グラムは，カメラ７，８で撮影した平行線群６２１のグ
レーレベルの画像データを入力し，グレーレベルの画像
データを所定のしきい値，たとえば，しきい値＝８で２
値化して２値化画像データを画像処理コンピュータ２内
の画像メモリに記憶する。この実施例では，平行線群６
２１の各線分が論理「１」，外側６２ａの下地が論理
「０」として画像メモリに記憶される。画像処理コンピ
ュータ２内の線分抽出プログラム起動され，この線分抽
出プログラムは，画像メモリ内の論理「１」の画像デー
タに基づいて平行線群６２１の各線分を抽出する。

【００１４】ステップＳ０３ さらに画像処理コンピュータ２内の平行線分検出プログ
ラムが起動され，このプログラムは，上記抽出された線
分から任意のｎ本の組合せの線分を取り出す。さらにこ
の平行線分検出プログラムは，線分の長さの標準偏差，
線分の間隔の標準偏差などを考慮した評価関数によって
評価する。その評価結果が所定の基準以上であるとき，
平行線分検出プログラムは，画像処理した平行線分群を
正常な線分群とみなし，画像メモリ内において左右両端
の線分を決定する。

【００１５】ステップＳ０４ 画像処理コンピュータ２内のカメラ座標系算出プログラ
ムが起動され，このプログラムが，たとえば，通常のス
テレオビジョンの手法で，平行線群６２１の両端の線分
のカメラ座標系における座標位置を算出する。

【００１６】ステップＳ０５ 画像処理コンピュータ２内の補正プログラムが起動さ
れ，この補正プログラムが，以上のようにして算出した
両端の線分のカメラ座標系における座標位置を，平行線
群６２１が等間隔の平行線分からなる平行線群の端点で
あるという条件を用いて補正して，座標位置の精度を高
める。以上の処理が終了したら画像処理コンピュータ２
はロボット制御用コンピュータ１にその終了を通知する
とともに，算出されたカメラ座標系における平行線群６
２１の両端の線分の座標位置をロボット制御用コンピュ
ータ１に伝送する。

【００１７】ステップＳ０６ ロボット制御用コンピュータ１内の座標変換プログラム
が起動され，座標変換プログラムは，ロボット座標系に
おける２Ｎ個の座標位置と，カメラ座標系における２Ｎ
個の座標とを拘束条件（２）を用いて対応づける。座標
変換プログラムは上記異なる座標系における複数の座標
位置について，最小二乗法によって誤差が最小になるよ
うに，上記式１で規定される座標変換マトリクスＴの各
要素ｒ_i,j （ｉ＝１〜３，ｊ＝１〜４）を算出する。以
上により，座標変換マトリクスＴの各要素が算出でき，
ロボット制御用コンピュータ１内の制御プログラムは，
この座標変換マトリクスを用いて，画像処理コンピュー
タ２で算出したカメラ座標系における座標位置からロボ
ット座標系における座標位置に変換して，種々のロボッ
ト可動部を制御する。

【００１８】以上に述べたように，両眼立体視による視
覚機能を有する本実施例の産業用ロボットシステムの座
標系較正方法によれば，ワークなどの特別な治具，装置
を用いることなく座標変換マトリクスの各要素を算出で
きる。また，検出対象として，等間隔の平行線分を用い
て，さらに上記拘束条件を課したことにより，位置検出
のための画像処理が簡単になり，短時間で平行線群６２
１の位置を算出することができる。さらに，複数回の較
正操作を行う必要がない。その結果として，較正処理時
間が非常に短縮できる。

【００１９】本発明の産業用ロボットシステムの座標系
較正方法の実施に際しては上述した方法の他，種々の変
形形態をとることができる。たとえば，図５を参照して
述べたロボットアーム５の姿勢制御は上述した他の方法
を用いてもよい。さらに，かかる姿勢制御においては，
平行線群６２１が付された指部６２を固定しておき，カ
メラ７，８側を平行線群６２１が撮影できる位置に位置
決めしてもよく，平行線群６２１とカメラ７，８との両
者を制御してもよい。

【００２０】また較正用マークとしての平行線分群６２
１は，ロボットアーム５などの可動部に限らず，ロボッ
ト本体の一部の固定部分に付してもよい。この場合上述
した拘束条件（１）に関する姿勢制御は，カメラ７，８
をかかる較正用マークが撮影できる位置に位置決めされ
る。

【００２１】較正用マークとして，上記例においては，
平行線群６２１を用いたが，他の較正用マークを用いる
ことができる。図６に他の較正用マークの他の例を示
す。この較正用マークは４隅に線の長さの異なるクロス
マークを設け，中心にもクロスマークを設けたものであ
り，これらのクロスマークが図４の指部６２の外側６２
ａに付けられる。較正用マークの線の長さを異ならせた
のは方向性を持たせ，一義的にこれらの座標位置を決定
できるようにしたためである。その結果，この実施例で
は，上述した拘束条件（２）を除去できる。

【００２２】この場合の較正用マークを用いた場合の位
置決めのための画像処理について簡単に述べる。図５に
示したステップＳ０１における姿勢制御と同等の処理の
後，これらのクロスマークがカメラ７，８によって一度
で撮影され，グレーレベルの画像データとして入力さ
れ，所定のしきい値で２値化され画像処理コンピュータ
２内の画像メモリに記憶される。ついで，画像処理コン
ピュータ２内で４隅のクロスマークの位置および中心の
クロスマークの位置を画像メモリの位置から算出する。
この場合は特に，クロスマークの線の長さが異なるから
この線の長さの違いを考慮してクロスマークの方向，す
なわち，指部６２の向きをも算出する。さらに，画像処
理コンピュータ２内でこれら５点の座標位置相互の関係
から座標位置補正を行ない，最終的なカメラ座標系にお
ける座標位置を算出する。その後，上述した方法でロボ
ット制御用コンピュータ１内でカメラ座標系とロボット
座標系との座標変換マトリクスを算出する。

【００２３】

【発明の効果】以上に述べたように，本発明の産業用ロ
ボットシステムの座標系較正方法によれば，特別な治
具，装置を用いずに正確に座標変換マトリクスの各要素
を算出することができる。また本発明の産業用ロボット
システムの座標系較正方法によれば，拘束条件を課すこ
とによって，短時間で座標変換マトリクスの各要素を算
出することができる。

【図面の簡単な説明】

【図１】本発明の産業用ロボットシステムの座標系較正
方法を実施する産業用ロボットシステムの構成図であ
る。

【図２】図１における産業用ロボットの部分図であっ
て，ロボット制御系におけるロボット座標系を示す図で
ある。

【図３】図１におけるカメラ７，８を示す図であって，
視覚認識系におけるカメラ座標系との関係を示す図であ
る。

【図４】図２に示したロボット可動部の先端のハンドと
このハンドに付された較正用マークを示す図である。

【図５】図１の産業用ロボットシステムの動作を示すフ
ローチャートである。

【図６】本発明の産業用ロボットシステムの座標系較正
方法に用いる他の実施例の較正用マークを示す図であ
る。

【符号の説明】

１・・ロボット制御用コンピュータ， ２・・画像処理コンピュータ， ５・・ロボットアーム， ６・・ハンド， ７，８・・カメラ， ６１・・ハンド本体， ６２，６３・・指部， ６２ａ・・指部の外側， ６２１・・平行線群。

【式１】

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成４年２月５日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正内容】

【００１０】ロボットアーム５のリンク長さ，ハンド６
の長さ，指部６２の先端から平行線群６２１の線分まで
の距離は既知である。またロボットアーム５のリンクの
関節角度，ハンド６の開き角度はロボット制御用コンピ
ュータ１において判っている。したがって，ロボット制
御用コンピュータ１において，平行線群６２１の両端の
線分の座標は，ロボットの姿勢に無関係に順運動学的に
算出できる。このロボット座標系に対して，カメラ７，
８を介して平行線群６２１を撮影し，その撮影結果を画
像処理コンピュータ２において画像処理して平行線群６
２１の各線分の両端のカメラ座標位置を算出できる。し
たがって，本発明の較正方法においては，これらの座標
位置から，式１で規定される座標変換マトリクスＴの各
要素ｒ_ｉ．ｊ（ｉ＝１〜３，ｊ＝１〜４）を算出する。

【数１】 以上により，座標変換マトリクスＴの各要素が算出で
き，ロボット制御用コンピュータ１内の制御プログラム
は，この座標変換マトリクスを用いて，画像処理コンピ
ュータ２で算出したカメラ座標系における座標位置から
ロボット座標系における座標位置に変換して，種々のロ
ボットの可動部（アーム）を制御する。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正内容】

【００１４】ステップＳ０３ さらに画像処理コンピュータ２内の平行線分検出プログ
ラムが起動され，このプログラムは，上記抽出された線
分から任意のｎ本の組合せの線分を取り出す。さらにこ
の平行線分検出プログラムは，線分の長さの標準偏差，
線分の間隔の標準偏差などを考慮した評価関数によって
評価する。その評価結果が所定の基準以上であるとき，
平行線分検出プログラムは，画像処理した平行線分群を
正常な線分群とみなし，画像メモリ内において左右各カ
メラからの入力に対する線分を決定する。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正内容】

【００１５】ステップＳ０４ 画像処理コンピュータ２内のカメラ座標系算出プログラ
ムが起動され，このプログラムが，たとえば，通常のス
テレオビジョンの手法で，平行線群６２１の各線分の両
端のカメラ座標系における座標位置を算出する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００１６

【補正方法】変更

【補正内容】

【００１６】ステップＳ０５ 画像処理コンピュータ２内の補正プログラムが起動さ
れ，この補正プログラムが，以上のようにして算出した
各線分の両端のカメラ座標系における座標位置を，平行
線群６２１が等間隔の平行線分からなる平行線群の端点
であるという条件を用いて補正して，座標位置の精度を
高める。以上の処理が終了したら画像処理コンピュータ
２はロボット制御用コンピュータ１にその終了を通知す
るとともに，算出されたカメラ座標系における平行線群
６２１の各線分の両端の座標位置をロボット制御用コン
ピュータ１に伝送する。

【手続補正５】

【補正対象書類名】図面

【補正対象項目名】図５

【補正方法】変更

【補正内容】

【図５】

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ロボットの所定部分に較正用マークを付
   し，上記ロボットの各部を撮影してその座標を算出する
   視覚認識系で認識可能な部分に上記較正用マークが位置
   するようにロボットの所定部分または視覚認識系の撮像
   系の位置制御を行い，上記撮像系で上記較正用マーク部
   分を立体的に撮影し，該撮影された画像データを画像処
   理して較正用マークを抽出し，該抽出較正マークの視覚
   認識系における座標を算出し，該視覚認識系における座
   標と上記ロボット制御系における上記較正用マークの座
   標とから，これらの座標の間の座標変換マトリクスを算
   出することを特徴とする産業用ロボットシステムの座標
   系較正方法。
2. 【請求項２】 上記較正用マークの全体が１度で上記視
   覚認識系で撮影できる位置に姿勢制御され，上記較正用
   マークが上記ロボットの所定部分の基準位置に対して所
   定の位置にあることを特徴とする請求項１記載の産業用
   ロボットシステムの座標系較正方法。