JPH1063317A - ロボット−視覚センサシステムにおける座標系結合方法 - Google Patents

Abstract

(57)【要約】 【課題】 ロボット手先部と視覚センサのセンサ座標系
の間の関係を結合する簡便な方法。 【解決手段】 ロボット２０を移動させて複数の計測位
置Ｒ1 〜Ｒ4 に順次位置決めし、センサ部１０の投光器
１１からレーザスリット光を位置が未知の対象物５の面
上に投光する。レーザスリット光像６１，６２の画像を
画像処理装置２で解析し、点Ｐ1 ，Ｑ1 ，Ｐ2 ，Ｑ2 の
３次元位置を計測し、穴の中心５４のセンサ座標系上の
位置を求める。各計測位置Ｒ1 〜Ｒ4 におけるロボット
の現在位置データと穴の中心５４の計測結果とを併せ、
ロボット手先部と視覚センサのセンサ座標系の関係を表
わす同次変換行列Ｘの行列要素を未知数とする連立方程
式を解くことで、ロボット手先部と視覚センサのセンサ
座標系の間の関係を定めることが出来る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ワーク等の対象物
の位置あるいは位置と姿勢（以下、適宜両者を「位置」
で表わす。）を計測する視覚センサをロボットの手先部
に取り付けて使用する型のロボット−視覚センサシステ
ムにおいて、ロボットの手先部に固定された座標系とセ
ンサ側で得られる位置データの表現に使用されるセンサ
座標系とを結合する為の方法に関する。本発明は、例え
ば、工場の製造ラインにおける組み立て作業、加工作業
等に利用されるロボット−視覚センサに適用される。

【０００２】

【従来の技術】工場の製造ラインにおける組み立て作
業、加工作業等においては、作業の自動化・省力化を図
る為に、ロボット等の自動機械と視覚センサとを組み合
わせたシステムが利用されている。視覚センサには、単
体のカメラで撮影された対象物の画像から主に対象物の
２次元的な位置ずれを計測するものや、スリット光やス
ポット光を対象物に投射し、対象物面上に周辺よりも高
輝度の光帯あるいは光点を形成し、これをＣＣＤカメラ
等のカメラ手段によって観測し、三角測量の原理によっ
て対象物の３次元計測を行なう３次元視覚センサが知ら
れている。また、２台のカメラを用いたステレオ視の原
理によって対象物の位置を３次元的に計測する３次元視
覚センサもある。

【０００３】これら視覚センサの設置形態の一つにハン
ドアイと呼ばれる方式がある。この方式は、ロボットの
手先部（フェイスプレート）にカメラを取り付け、カメ
ラにロボットの手先部と同一の動きをさせるもので、カ
メラ台数を増やすことなく複数の位置で計測が可能なこ
とから、コスト面や作業スペース節約の面から見て非常
に有利である。

【０００４】ところで、視覚センサを用いて対象物の位
置を計測し、それに基づいてロボットの動作（位置）を
補正するには、視覚センサの出力する対象物の位置デー
タをロボットが動作する座標系上のデータに変換する必
要が生じる。即ち、視覚センサの出力データの表現に使
用される座標系（以下、「センサ座標系」と言う。）
と、ロボットが動作する座標系（以下、「ロボット座標
系」と言う。）の間の関係を予め求めておかなければな
らない。

【０００５】ハンドアイ方式を採用したシステムにおい
ては、カメラを固定したロボット手先部とセンサ座標系
の空間的位置関係が既知、言い換えれば、ロボット手先
部に固定された座標系（以下、「フェイスプレート座標
系」と言う。）とセンサ座標系が結合されていれば、こ
の問題は解決する。何故ならば、ロボットは常にロボッ
ト手先部の位置（フェイスプレート座標系の位置と姿
勢）をロボット座標系上で表わす現在位置データを持っ
ており、そのデータと上記既知の関係を用いればセンサ
座標系上で表現されたデータをロボット座標系上で表現
されたデータに変換することが可能になるからである。

【０００６】実際にロボット手先部とセンサ座標系の関
係を求める方法としては、次の２つの方法が知られてい
る。 （１）ロボットの手先（フェイスプレート）に対して既
知の位置にセンサに取り付ける方法。 （２）座標系結合用にロボット座標系上で位置や姿勢が
既知の物体あるいはマークを複数個用意する方法。

【０００７】（１）の方法は、ロボット手先に対するセ
ンサ取り付け位置（正確に言えば、センサ座標系の原点
位置）が既知となるようにセンサを取り付ける方法で、
センサ座標系とロボット座標系の関係は、取り付け位置
に関する幾何学的なデータで表わされる。このデータと
して通常使われるのは、設計データ（設計図面上のデー
タ）である。その為、当初は設計データが正確にセンサ
の取り付け位置を表わしていたとしても、ロボットとワ
ーク等の衝突等の原因でセンサの取り付け位置に狂いが
生じた場合に適切な対処法が無い。一旦狂ったセンサの
取り付け位置を元の状態に復元することや、元の状態か
らのずれ量を知ることは極めて困難である。

【０００８】また、実際のセンサ座標系はカメラの光学
系を基準とした座標系であり、その座標系の原点はカメ
ラの内部（レンズ系の焦点位置）に存在するから、レン
ズ系の焦点調整を行なうだけでセンサ座標系の位置が変
化する。従って、設計データで表わされたロボット手先
に対するセンサ取り付け位置からロボット座標系とセン
サ座標系の位置関係を正確に知ることは実際には困難で
ある。

【０００９】（２）の方法では、キャリブレーション用
の治具として用意された物体あるい治具上のマークにつ
いて複数点の位置を視覚センサで計測する一方、それら
複数点の位置がタッチアップツールを取り付けたロボッ
トのタッチアップによって求められる。そして、これら
データからロボット座標系上のセンサ座標系の位置が求
められる。これに視覚センサによる計測時のロボットの
現在位置データを併せれば、フェイスプレート座標系と
センサ座標系の関係が求められる。

【００１０】この方法ではロボットによるタッチアップ
が不可欠であるから、最終的な精度がタッチアップの精
度に依存する。そのため、精密に加工したタッチアップ
ツールをロボット手先部に注意深く取り付ける必要があ
る。また、タッチアップ動作を自動化することは困難で
あり、熟練したオペレータによる手動操作で行なわれ必
要がある。

【００１１】更に、座標系結合後にロボットをワークな
どにぶつけるなどの理由でセンサ座標系の位置に狂いが
生じた場合には座標系結合をやり直す必要があるが、工
場の生産現場において、専用のジグを設置して上記操作
を支障なく再実行する為のスペース（ジグ設置の為のス
ペースとロボットにタッチアップ動作を安全に行なわせ
る為のスペース）を確保することは容易ではない。

【００１２】

【発明が解決しようとする課題】本発明の目的は、ハン
ドアイ方式を採用したロボット−視覚センサシステムに
おいて、ロボット手先部とセンサ座標系の位置関係を簡
便に割り出すことが出来る座標系結合方法を提供するこ
とにある。より具体的に言えば、本発明はハンドアイ方
式を採用したロボット−視覚センサシステムにおいて、
下記要件を満たすフェイスプレート座標系−センサ座標
系結合方法を提供することにある。

【００１３】（１）視覚センサの設計図面上のデータに
依存しない。 （２）高精度に製作された特別な治具のようなものは使
用しない。 （３）ロボットによるタッチアップ作業を必要としな
い。従って、タッチアップツールも要らない。

【００１４】（４）これら（１）〜（３）の結果とし
て、煩雑で時間のかかるキャリブレーションの作業から
オペレータを解放することが出来る。また、システム稼
働後に干渉事故などによってカメラ位置がずれてしまっ
た場合でも、フェイスプレート座標とセンサ座標系を再
結合してシステムを短時間で復旧出来る。

【００１５】

【課題を解決するための手段】本発明によれば、ハンド
アイ方式のロボット−視覚センサシステムにおける上記
技術課題が、ロボットを複数の異なる計測位置に順次位
置決めし、各計測位置において、位置が未知の同一対象
物に関する位置計測を３次元視覚センサを用いて実行
し、それら位置計測結果をセンサ座標系上で表わすデー
タと、ロボット手先部に固定された座標系の各計測時の
位置を表わすデータとに基づいて、ロボットの手先部に
固定された座標系とセンサ座標系の相対的な位置関係を
ロボット−視覚センサシステム内部のソフトウェア処理
で求めることによって解決される。

【００１６】複数の計測位置を辿るロボット動作と各計
測位置における位置計測の動作は、予めロボット−視覚
センサシステムに教示しておくことが好ましい。ロボッ
ト手先部に固定された座標系は、一般にフェイスプレー
ト座標系と呼ばれるもので、通常のロボットに設定され
ている。従って、各計測時のロボット手先部の位置を表
わすデータとしては、フェイスプレート座標系の現在位
置データを用いることが出来る。

【００１７】本発明の方法は、ロボット手先部とセンサ
座標系の関係を求めるために視覚センサで計測する対象
物に要求される条件を大幅に緩和し、座標系結合の作業
を簡素化することが出来る。即ち、本発明では、計測対
象の位置が既知である必要がなく、ロボットによるタッ
チアップも不要である。また、計測対象は１個所で良
く、特別な治具も一切不要である。

【００１８】

【発明の実施の形態】図１は、本発明が適用されるロボ
ット−視覚センサシステムの構成の概略を例示した要部
ブロック図である。システム全体は、ロボットコントロ
ーラ１、画像処理装２、センサ部コントローラ３、セン
サ部１０、ロボット２０から構成されている。ロボット
コントローラ１にはロボット２０と画像処理装２が接続
され、画像処理装置２にはセンサ部コントローラ３が接
続されている。更に、センサ部コントローラ３はセンサ
部１０に接続されており、センサ部１０に装備された投
光器１１を制御するための指令を出力する。以下、各部
分について個別に説明する。

【００１９】［視覚センサ部］センサ部１０は、投光器
１１とカメラ１２から構成された周知のものである。投
光器１１はレーザ発振器、円筒レンズ及び偏向ミラーを
内蔵し、レーザ発振器の出力光を円筒レンズを介してス
リット状のレーザ光に変換し、これを偏向ミラーで対象
物４上の希望個所に投光するものである。カメラ１２は
典型的にはＣＣＤカメラであり、スリット光投光時／非
投光時に応じて２種類の撮影方式が選択出来るようにな
ている。前者の方式では対象物４上に投光されたスリッ
ト光像１４が撮影され、前者の方式では対象物４の通常
の明暗像が撮影される。

【００２０】本発明を実施する際には、前者の方式が適
用される。即ち、ロボットコントローラ１から画像処理
装置２に伝えられた投光指令がセンサ部コントローラ３
を介して投光器１１に送られると、投光器１１が点灯さ
れてレーザスリット光１３が対象物４上に投光される。
更に、ロボットコントローラ１から画像処理装置２、セ
ンサ部コントローラ３を介してカメラ１２に撮影指令が
送られると、対象物４上に形成されたスリット光像１４
が反射光１５の形でカメラ１２に捉えられ、カメラ１２
から出力された画像信号は、センサ部コントローラ３を
介して画像処理装置２へ送られる。

【００２１】画像処理装置２は、ＣＰＵ、カメラインタ
ーフェイス、フレームメモリ、画像処理プロセッサ、ロ
ボットコントローラとの間の通信インターフェイス等を
内蔵した通常の型のものであり、カメラインターフェイ
スを介して取り込まれた画像信号を濃淡グレイスケール
による明暗信号に変換した上でフレームメモリに格納す
る。画像処理装置２は更に画像処理プロセッサを利用し
てレーザスリット光像を解析し、三角測量の原理に基づ
いて、その屈曲点、端点等に対応した対象物４上の点の
３次元位置を算出する。このような３次元位置計測方法
自体は既に知られているものであるから、詳しい説明は
省略する。

【００２２】投光器１１によるレーザスリット光１３の
投光方向の制御は、投光器１１に内蔵された偏向ミラー
の角度位置を制御する指令に基づいて行なわれる。偏向
ミラーの角度位置を定める指令は、画像処理装置２から
センサ部コントローラ３を介して投光器１１に与えられ
る。偏向ミラーの角度位置を変更することにより、対象
物４上の異なる位置にレーザスリット光像１４を形成す
ることが出来る。

【００２３】［ロボットコントローラ及びロボット］ロ
ボットコントローラ１も通常の型のものを用いることが
出来る。マイクロプロセッサからなる中央演算処理装置
（以下、「ＣＰＵ」と言う。）と、ＣＰＵにバス結合さ
れたＲＯＭメモリ、ＲＡＭメモリ、不揮発性メモリ、教
示操作盤、ロボットの軸制御のためのディジタルサーボ
回路と、サーボアンプ、外部信号の入出力装置、画像処
理装置２と結ばれた通信インターフェイス等を備えてい
る。

【００２４】ＲＯＭメモリにはシステムを制御するシス
テムプログラムが格納され、ＲＡＭメモリはＣＰＵが行
なう処理のためのデータの一時記憶等に使用される。ま
た、不揮発性メモリには動作プログラムのデータや、シ
ステムの動作に必要な各種設定値が格納される。特に後
者には、ロボットの現在位置データとして、ロボット手
先部に固定された座標系であるフェイスプレートの原点
の位置・姿勢をロボット座標系上で表わすデータを計算
するための構造パラメータが含まれる。

【００２５】動作プログラムには、ロボット２０の動作
の他にセンサ部１０の動作を制御するための処理を定め
たプログラムデータが含まれる。本発明実施時の処理内
容については後述する。ロボット２０は、アーム２１，
２２，２３を備え、アーム２３の先端にセンサ部１０が
装着されている。ロボット２０を動作させることによ
り、センサ部１０をロボット２０の動作範囲内の任意の
位置に任意の姿勢で位置決めすることが出来る。なお、
アーム２３の先端には、センサ部１０と並んで作業用の
ハンドが装着されているが、ここでは図示を省略した。

【００２６】次に、図２は上記の構成と機能を有するロ
ボット−視覚センサシステムを小型ロボットの組み立て
作業に利用するケースを例にとり、本発明の方法を適用
してセンサ座標系とロボット座標系の関係を求めるプロ
セスを説明する為の全体配置である。

【００２７】同図において、図１と共通の符号をもって
指示した要素、即ち、ロボットコントローラ１、画像処
理装２、センサ部コントローラ３、センサ部１０及びロ
ボット２０の構成、機能及び接続関係については、既に
説明した通りである。

【００２８】先ず、ここで作業例として取り上げられた
小型ロボットの組み立て作業の概要について簡単に説明
する。計測対象物４は、ここでは作業空間内に次々と供
給される組み立て工程中の小型ロボットの機構部の一部
分５（以下、「機構部５」と略称する。）として示され
ている。機構部５は、ベース５０とその回転軸５１の周
りに回転するアーム５２を含んでいる。その為、ロボッ
トハンドＨに把持された減速機、モータ等の部品６（以
下、「取り付け部品」と言う。）が取り付けられる取り
付け面５３の位置・姿勢が供給される機構部５毎にばら
つく。同時に、取り付け部品の凸部が差し込まれる円形
穴（中心５４で代表）の位置・姿勢にも同様のばらつき
による位置ずれが発生する。

【００２９】そこで、図２中、位置ずれを補正して部品
６の組み付け作業を実行する為に、スリット光を投光し
た下で行なわれる３次元計測と通常撮影による画像の解
析を組み合わせて、機構部５の穴の中心５４の位置・姿
勢が求められ、それに基づいてロボットの動作が補正さ
れる。

【００３０】機構部５０の取り付け面５３上にレーザス
リット光像６１，６２が順次形成され、カメラ１２によ
る撮影が各１回実行される。レーザスリット光像６１，
６２の画像は画像処理装置２内で解析され、取り付け面
５３の穴円形の外縁上の諸点に対応した屈曲点Ｐ1 ，Ｐ
2 及び端点Ｑ1 ，Ｑ2 の３次元位置が計算される。その
結果に基づいて取り付け面５３の位置・方向が計算さ
れ、更に、基準位置・方向からのずれが計算される。ま
た、本実施例で座標系結合のために着目される特徴点は
円形穴の中心５４であり、その位置はＰ1 ，，Ｑ1 ，Ｐ
2 ，Ｑ2 の４点を通る円Ｃの中心として求められる。な
お、一般に被計測点は同一円弧Ｃ上で最小３点あれば良
い。

【００３１】次いで、ロボット２０を取り付け面５３に
正対する位置に移動させ、通常撮影を行なう。画像処理
装置２に取り込まれた通常画像は画像処理プロセッサを
用いて解析され、穴の中心５４の位置を求める。その結
果と取り付け面５３の位置・姿勢に基づき、穴の３次元
的な位置・姿勢と基準位置・姿勢からのずれが算出さ
れ、ロボットの位置・姿勢（即ち、ツール先端点Ｔの位
置・姿）を補正した動作が実行される。

【００３２】上記プロセスの中で、視覚センサ側（画像
処理装置内）で得られる取り付け面５３や穴の中心５４
の位置・姿勢あるいはそのずれ量を表わすデータ（セン
サ座標系上で表現されたデータ）をロボット座標系上で
表現されたデータに変換する処理が実行される。

【００３３】既に述べたように、センサ座標系上で表現
されたセンサ出力をロボット座標系上のデータに変換す
るためには、ロボット手先部に固定されたフェイスプレ
ート座標系Σf （原点をＯf で表示）とセンサ座標系Σ
s （原点をＯs で表示）の関係を求めておけば良い。以
下、その為に必要なプロセスの概要を図３及び図４を参
照図に加えて説明する。

【００３４】先ず、本発明を適用するための準備とし
て、例えば最初の組立対象とされる機構部５を適当な位
置に置く。位置計測が終わるまで面５３の向きが変わら
ないように注意する必要があるが、機構部５あるいは面
５３の位置や向きに関するデータを予め用意する必要は
全くない。即ち、対象物の位置は未知で良い。次いで、
図３のフローチャートに記した処理に基づいて座標系結
合を実行する。処理に含まれる諸ステップの要点は次の
通りである。

【００３５】〔Ｓ１〕ロボット２０のツール先端点Ｔを
第１の計測位置Ｒ1 に移動させ、センサ部１０を位置決
めする。

【００３６】〔Ｓ２〕第１の計測位置Ｒ1 を表わすデー
タとして、ロボット座標系Σr 上で見たフェイスプレー
ト座標系Σf の原点Ｏf の位置を記憶する。このデータ
は、下記（１）式で表わされる同次変換行列Ｒ[i] につ
いて、ｉ＝１とした時の各行列要素ｒ(1)11 〜ｒ(1)34
の値を定めるものである。

【００３７】

【数１】 〔Ｓ３〕センサ部１０を動作させ、円弧Ｃ上の少なくと
も３点の３次元位置計測を行ない、被計測点の位置をセ
ンサ座標系Σs 上で表わすデータを記憶する。ここでは
４点Ｐ1 ，Ｑ1 ，，Ｐ2 ，Ｑ2 の位置を計測する。

【００３８】〔Ｓ４〕これら４点Ｐ1 ，Ｑ1 ，Ｐ2 ，Ｑ
2 が通る円の中心５４の位置を計算して第１の計測結果
データとして記憶する。このデータは下記（２）式でｉ
＝１とした場合の中心５４の位置をセンサ座標系Σs 上
で表わすベクトルｐ1 について、ｘ，ｙ，ｚ各成分ｐ
(1)x，ｐ(1)y，ｐ(1)zの値を定めるものである。

【００３９】

【数２】 〔Ｓ５〕ロボット２０を第２の計測位置Ｒ2 に移動さ
せ、センサ部１０を位置決めする。

【００４０】〔Ｓ６〕第２の計測位置Ｒ2 を表わすデー
タとして、ロボット座標系Σr 上で見たフェイスプレー
ト座標系Σf の原点Ｏf の位置を記憶する。このデータ
は、前記（１）式でｉ＝２とした時の各行列要素ｒ(2)1
1 〜ｒ(2)34 の値を定めるものである。

【００４１】〔Ｓ７〕センサ部１０を動作させ、ステッ
プＳ３と同様に、円弧Ｃ上の３点以上の３次元位置計測
を行ない、被計測点の位置をセンサ座標系Σs 上で表わ
すデータを記憶する。なお、これら被計測点はステップ
Ｓ３における被計測点Ｐ1 ，Ｑ2 ，Ｐ1 ，Ｑ2 と同じで
ある必要はない。

【００４２】〔Ｓ８〕ステップＳ７における４個の被計
測点が通る円弧の中心５４の位置を計算して第２の計測
結果データとして記憶する。このデータは前記（２）式
でｉ＝２とした場合の中心５４の位置をセンサ座標系Σ
s 上で表わすベクトルｐ2 について、ｘ，ｙ，ｚ各成分
ｐ(2)x，ｐ(2)y，ｐ(2)zの値を定めるものである。

【００４３】〔Ｓ９〕ロボット２０を第３の計測位置Ｒ
3 に移動させ、センサ部１０を位置決めする。

【００４４】〔Ｓ１０〕第３の計測位置Ｒ3 を表わすデ
ータとして、ロボット座標系Σr 上で見たフェイスプレ
ート座標系Σf の原点Ｏf の位置を記憶する。このデー
タは、前記（１）式でｉ＝３とした時の各行列要素ｒ
(3)11 〜ｒ(3)34 の値を定めるものである。

【００４５】〔Ｓ１１〕センサ部１０を動作させ、ステ
ップＳ３，Ｓ７と同様に、円弧Ｃ上の３点以上に３次元
位置計測を行ない、被計測点の位置をセンサ座標系Σs
上で表わすデータを記憶する。これら被計測点について
もステップＳ３，Ｓ７における被計測点と同じである必
要はない。

【００４６】〔Ｓ１２〕ステップＳ１１における４個の
被計測点が通る円弧Ｃの中心５４の位置を計算して第３
の計測結果データとして記憶する。このデータは前記
（２）式でｉ＝３とした場合の中心５４の位置をセンサ
座標系Σs 上で表わすベクトルｐ3 について、ｘ，ｙ，
ｚ各成分ｐ(3)x，ｐ(3)y，ｐ(3)zの値を定めるものであ
る。

【００４７】〔Ｓ１３〕ロボット２０を第４の計測位置
Ｒ4 に移動させ、センサ部１０を位置決めする。

【００４８】〔Ｓ１４〕第４の計測位置Ｒ4 を表わすデ
ータとして、ロボット座標系Σr 上で見たフェイスプレ
ート座標系Σf の原点Ｏf の位置を記憶する。このデー
タは、前記（１）式でｉ＝４とした時の各行列要素ｒ
(4)11 〜ｒ(4)34 の値を定めるものである。

【００４９】〔Ｓ１５〕センサ部１０を動作させ、ステ
ップＳ３，Ｓ７と同様に、円弧Ｃ上の３点以上の３次元
位置計測を行ない、被計測点の位置をセンサ座標系Σs
上で表わすデータを記憶する。これら被計測点について
もステップＳ３，Ｓ７，Ｓ１１における被計測点と同じ
である必要はない。

【００５０】〔Ｓ１６〕ステップＳ１５における４個の
被計測点が通る円弧Ｃの中心５４の位置を計算して第４
の計測結果データとして記憶する。このデータは前記
（２）式でｉ＝４とした場合の中心５４の位置をセンサ
座標系Σs 上で表わすベクトルｐ4 について、ｘ，ｙ，
ｚ各成分ｐ(4)x，ｐ(4)y，ｐ(4)zの値を定めるものであ
る。

【００５１】〔Ｓ１７〕ステップＳ２，Ｓ６，Ｓ１０，
Ｓ１４で記憶された各計測位置Ｒ1〜Ｒ4 のデータｒ(1)
11 ，ｒ(1)12 ・・・ｒ(4)34 と、ステップＳ４，Ｓ
８，Ｓ１２，Ｓ１６で記憶された点５４の位置を表わす
データｐ(1)x，ｐ(2)y・・・ｐ(4)zの値から、フェイス
プレート座標系Σf とセンサ座標系Σs の関係を表わす
下記（３）の同次変換行列Ｘの各行列要素ｘ(1)11 ，ｘ
(1)12 ・・・ｘ(4)34 を求めて記憶し、処理を終了す
る。

【００５２】

【数３】 同次変換行列Ｘの各行列要素ｘ(1)11 ，ｘ(1)12 ・・・
ｘ(4)34 を求めるための計算法について、図４を参照し
て説明すれば次のようになる。先ず重要なことは、穴の
中心５４のロボット座標系Σr 上での位置は未知ではあ
るが不動であるということである。そこで、このロボッ
ト座標系Σr 上で不動の位置に面５３の向きと一致した
姿勢を与え未知行列Ｐで表わすことにすれば、ロボット
のフェイスプレート座標系Σf が任意の一つの位置Ｒ
[i] にある時、次式の関係が成立する。 Ｒ[i] Ｘｐ[i] ＝Ｐ ・・・（４） ここで、ｐ[i] はフェイスプレート座標系Σf が位置Ｒ
[i] にある時の点５４のセンサ座標系Σs 上の位置であ
る。

【００５３】同様に、ロボットのフェイスプレート座標
系Σf が位置Ｒ[i] とは異なる任意の一つの位置Ｒ[j]
（ｉ≠ｊ）にある時、次式の関係が成立する。 Ｒ[j] Ｘｐ[j] ＝Ｐ ・・・（５） ここで、ｐ[j] はフェイスプレート座標系Σf が位置Ｒ
[j] にある時の点５４のセンサ座標系Σs 上の位置であ
る。

【００５４】（４），（５）式から、任意の２つのフェ
イスプレート座標系Σf の位置Ｒ[i]，Ｒ[j] （Ｒ[i]
≠Ｒ[j] ）に関して次式（６）が成立する。

【００５５】 Ｒ[i] Ｘｐ[i] ＝Ｒ[j] Ｘｐ[j] ＝Ｐ ・・・（６） １組に異なる（ｉ，ｊ）の組について上記の（６）式を
展開、整理すれば、求めるべき行列Ｘの要素ｘ11，ｘ12
・・・ｘ34を未知数とする３個の一次方程式が得られ
る。各方程式において未知数ｘ11，ｘ12・・・ｘ34にか
かる係数はいずれもＲ[i] あるいはｐ[i] のいずれかの
成分（既知）である。例えば第１行について展開、整理
するとすれば次の方程式（７）が得られる。

【００５６】

【数４】 従って、本事例のように、異なる４個の計測位置Ｒ1 〜
Ｒ4 で同一点５４の位置計測を行なった場合には、最大
５組の異なる（ｉ，ｊ）の組について前記（６）式を立
て、そこから最大１５個（未知数の数以上）の方程式を
導出し、これら全部または一部（但し、１２個以上）の
方程式を１２個の未知数ｘ11，ｘ12・・・ｘ34に関する
連立方程式とみて解く計算処理を行なえば、前記（３）
式の形を持つ同次変換行列Ｘが決定される。

【００５７】また、計測の信頼性を高めるために、５個
所以上の計測位置で同一対象の計測を行なって多数の方
程式を立て、最小２乗法などを適用して未知数ｘ11，ｘ
12・・・ｘ34を決定する処理を行なっても良い。

【００５８】更に、同次変換行列Ｘに含まれる下記
（８）式の部分行列Ｘ’が回転移動を表わす直交行列で
あることに着目すれば、全ての行ベクトル及び列ベクト
ルのノルムが１であり、且つ、行ベクト同士及び列ベク
トル同士はすべて直交する（内積が０）という条件を利
用して、ラグランジェの未定係数法によって同次変換行
列Ｘを定めることも出来る。

【００５９】

【数５】 なお、以上の説明において、ロボット２０の移動はジョ
グ送り操作で行なっても良いし、予め計測位置Ｒ1 ，Ｒ
2 ，Ｒ3 ，Ｒ4 を辿るロボット移動を動作プログラムで
教示しておき、計測位置Ｒ1 ，Ｒ2 ，Ｒ3 ，Ｒ4 に位置
決めされる毎にマニュアル指令で３次元視覚センサを動
作（カメラ撮影と画像処理）させても良い。動作プログ
ラムによる教示内容に３次元視覚センサの動作（カメラ
撮影と画像処理のタイミンッグ）を含めれば、上記諸ス
テップＳ１〜Ｓ１７のすべてを動作プログラムの再生運
転の形で実行出来る。

【００６０】更に、本実施形態では３次元視覚センサと
してスリット光投光器と１台のカメラとを組み合わせた
ものを使用したが、これに代えて、他の型の３次元視覚
センサ（例えば、２台の視線方向の異なるカメラを使用
したものやスポット光投光型の３次元視覚センサ）を用
いても構わない。

【００６１】

【発明の効果】本発明の方法は、ロボット手先部とセン
サ座標系の関係を求めるために視覚センサで計測する対
象物に要求される条件を大幅に緩和した。即ち、本発明
で使用される対象物（実施形態ではロボット機構部組立
部品）について、次のような条件緩和が実現されてい
る。 （１）計測対象の位置（ロボット座標系上）が既知であ
る必要がない。従って、ロボットによるタッチアップも
不要である。 （２）計測対象は１個所で良い。 （３）計測対象あるいはタッチアップア用に用意される
特別な治具が不要である。

【００６２】また、ロボット移動や３次元視覚センサの
動作を予め教示しておけば、座標系結合作業を自動化出
来る。そして、一旦座標系結合を行なった後に干渉事
故、センサの故障（センサ交換）などでセンサ座標系の
位置がずれてしまっても、復旧作業を極めて簡単に済ま
せることが出来る。

【図面の簡単な説明】

【図１】本発明が適用されるロボット−視覚センサシス
テムの構成の概略を例示した要部ブロック図である。

【図２】図１に示した構成と機能を有するロボット−視
覚センサステムを小型ロボットの組み立て作業に利用す
るケースを例にとり、本発明の方法に従った座標系結合
のプロセスを説明する為の全体配置である。

【図３】本実施形態における座標系結合のための処理の
概要を説明する為のフローチャートである。

【図４】同次変換行列Ｘの各行列要素を求めるための計
算法について説明するための概念図である。

【符号の説明】

１ ロボットコントローラ ２ 画像処理装置 ３ センサ部コントローラ ４ 被計測対象物 ５ 機構部 ６ 組み付け部品 １０ センサ部 １１ 投光器 １２ ＣＣＤカメラ ２０ ロボット ２１〜２３ ロボットアーム ５０ ベース ５１ 回転軸 ５２ アーム ５３ 取り付け面 ５４ 穴 ６１，６２ レーザスリット光像 Ｈ ハンド Ｒ1 〜Ｒ4 計測位置 Ｔ ツール先端点

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ロボットと、該ロボットの手先部に固定
   されたカメラ手段を含む３次元視覚センサを備えたロボ
   ット−視覚センサシステムにおける座標系結合方法であ
   って、 複数の異なる計測位置に前記ロボットを順次位置決め
   し、前記複数の異なる計測位置の各々において、位置が
   未知の同一対象物に関する位置計測を前記３次元視覚セ
   ンサを用いて実行し、 前記複数の異なる計測位置を前記ロボットの手先部に固
   定された座標系の位置として表わすデータと、前記複数
   の異なる計測位置において実行された前記位置計測の結
   果を前記３次元視覚センサに設定されたセンサ座標系上
   で表わすデータとに基づいて、前記ロボットの手先部に
   固定された座標系と前記センサ座標系の相対的な位置関
   係を前記ロボット−視覚センサシステム内部のソフトウ
   ェア処理で求めるようにした前記座標系結合方法。
2. 【請求項２】 前記複数の計測位置を辿る移動経路が予
   め前記ロボット−視覚センサシステムに教示されてお
   り、前記ロボットの移動と位置決めが前記ロボット動作
   の教示に基づく再生運転によって実行される、請求項１
   に記載されたロボット−視覚センサシステムにおける座
   標系結合方法。
3. 【請求項３】 前記複数の計測位置における前記位置計
   測の動作が予め前記ロボット−視覚センサシステムに教
   示されており、前記複数の計測位置における前記位置計
   測動作が前記位置計測動作の教示に基づく再生運転によ
   って実行される、、請求項１または請求項２に記載され
   たロボット−視覚センサシステムにおける座標系結合方
   法。