JP5573537B2 - ロボットのティーチングシステム - Google Patents

Description

本発明は、多関節型ロボットに対して、基準となる位置及び姿勢をティーチングするシステムに関する。

従来、多関節型ロボットのアームの先端部にカメラを取り付け、カメラにより円形のマークを撮像して画像を取得し、取得される円形のマークの画像が所定の状態となるようにロボットを制御することにより、基準となる位置及び姿勢をロボットにティーチングするものがある（例えば、特許文献１参照）。

特許第４２６７００５号公報

ところで、ロボットに対してティーチングする際には、安全面を考慮してロボットの動作範囲内に作業者が入らないようにする必要がある。このため、特許文献１に記載のものでは、マークの設置状態（位置や傾き）が適切でなかった場合には、その都度ロボットを停止させて作業者がマークの設置状態を修正する必要がある。

また、ティーチング棒と呼ばれる、ロボットの移動先を現実空間でダイレクトに指定するための棒の先端にマークを付けて、ロボットから離れた位置で作業者がマークの位置や向きを変更することも考えられる。しかしながら、この場合には、マークをカメラにより撮像できる状態でティーチング棒の先端を操作する必要があり、ロボット周囲の設備とティーチング棒との干渉により、ティーチング棒の先端を所望の位置まで伸ばせなかったり、ティーチング棒を所望の向きまで回転させられなかったりするおそれがある。

本発明は、こうした実情に鑑みてなされたものであり、所定図形を撮像して取得される画像に基づいてロボットを制御するティーチングシステムにおいて、ロボット周囲の設備から制約を受ける場合であっても、ティーチング棒により適切にロボットを誘導できるようにすることを主たる目的とするものである。

本発明は、上記課題を解決するために、以下の手段を採用した。

第１の発明は、複数の関節を有するアームを動作させる多関節型ロボットと、前記ロボットの誘導に用いられるティーチング棒と、前記ティーチング棒に設けられ所定図形の映像を表示する映像表示部と、前記アームに設けられ対象を撮像して画像を取得する画像取得部と、前記所定図形の映像が前記画像取得部により所定の目標画像として取得されるように前記アームの動作を追従制御する制御手段と、前記映像表示部により表示される前記所定図形の映像の大きさ及び向きの少なくとも一方を、前記映像表示部から離れた位置で変更可能とする映像変更手段と、所定の終了条件が成立した場合に前記アームの位置及び姿勢を記憶する記憶手段と、を備えることを特徴とする。

上記構成によれば、多関節型ロボットにおいて、複数の関節を有するアームが動作される。ロボットの誘導に用いられるティーチング棒に映像表示部が設けられており、この映像表示部により所定図形の映像が表示される。アームには、対象を撮像して画像を取得する画像取得部が設けられており、アームの動作に伴って画像取得部が移動される。そして、所定図形の映像が画像取得部により所定の目標画像として取得されるように、アームの動作が追従制御される。すなわち、所定図形の映像を映像表示部が目標位置及び姿勢で撮像するように、ひいては所定図形の映像に対してアームが基準位置及び姿勢となるように、アームの動作が追従制御される。

ここで、映像表示部により表示される所定図形の映像の大きさ及び向きの少なくとも一方を、映像表示部から離れた位置で変更することができる。このため、この変更された所定図形の映像が所定の目標画像として取得されるようにアームの動作が追従制御されることにより、アームの位置及び姿勢を変更することができる。例えば、所定図形の映像の大きさを小さくした場合には、この映像に画像取得部が近付くように、アームの位置及び姿勢が追従制御される。また、所定図形の映像の向きが変更された場合には、この映像に対する画像取得部の向きが目標の向きとなるように、アームの位置及び姿勢が追従制御される。

そして、所定の終了条件が成立した場合に、アームの位置及び姿勢が記憶される。したがって、作業者がロボットに近付くことなく、ティーチングする基準位置及び姿勢を柔軟に変更することができる。さらに、映像表示部により表示される所定図形の映像を変更することにより、アームの位置及び姿勢を変更することができるため、ティーチング棒自体の位置や向きを変更する場合と比較して、ロボット周囲の設備から制約を受けることを抑制することができる。その結果、ティーチング棒により適切にロボットを誘導することができる。

なお、ティーチング開始時に、映像表示部により表示される所定図形の映像が、画像取得部の視野に入っていない場合には、その映像が視野に入るように予めアームを動作させてもよいし、ティーチング棒を移動させて映像が視野に入るようにしてもよい。いずれにしても、そうした準備工程の後には、上記のように映像表示部により表示される所定図形の映像を変更することにより、アームの位置及び姿勢を変更することができる。

第２の発明では、第１の発明において、前記ティーチング棒に対して前記映像表示部をその表裏が入れ替わる方向に回転させる回転機構と、前記回転機構により回転させられる前記映像表示部の角度を、前記映像表示部から離れた位置で変更可能とする角度変更手段と、を備える。

上記構成によれば、ティーチング棒に対して映像表示部を回転させる回転機構を備えており、映像表示部はその表裏が入れ替わる方向に回転させられる。そして、回転機構により回転させられる映像表示部の角度を、映像表示部から離れた位置で変更することができる。このため、映像表示部が配置される角度、すなわち所定図形の映像が配置される角度を変更することができる。したがって、ティーチングする基準位置及び姿勢を、より柔軟に変更することができる。

第３の発明では、第２の発明において、前記ティーチング棒は、円盤状の回転部を備え、前記映像表示部は、前記回転部に取り付けられており、前記回転機構は、前記回転部を回転させるものであり、前記制御手段は、前記追従制御に先立って、前記画像取得部による撮像の露光時間を一時的に延長し且つ前記回転機構により前記回転部を連続的に回転させ、前記回転部が前記画像取得部により所定の直径の円の画像として取得されるように前記アームの動作を予備制御する。

上記構成によれば、映像表示部は、ティーチング棒の備える円盤状の回転部に取り付けられており、この回転部が回転機構により回転させられる。画像取得部による撮像の露光時間が一時的に延長され、且つ回転機構により回転部が連続的に回転させられている状態では、円盤状の回転部を画像取得部により撮像すると、残像によって球状の物体を撮像した場合と同様の画像が取得される。したがって、円盤状の回転部は、どの方向から撮像されたとしても、円の画像として取得される。そして、回転部が画像取得部により所定の直径の円の画像として取得されるようにアームの動作が予備制御されるため、上記追従制御に先立って、円盤状の回転部と画像取得部との距離、すなわち映像表示部と画像取得部との距離を調節することができる。その結果、予備制御から追従制御へ円滑に移行させることができる。

第４の発明では、第３の発明において、前記制御手段は、前記予備制御の後に前記回転機構による前記回転部の回転を停止させ、前記追従制御に先立って、前記所定図形の映像の画像が前記画像取得部により取得されるように、前記回転機構により前記回転部の角度を調節させる。

第６の発明では、第３の発明において、前記制御手段は、前記予備制御の後に前記回転機構による前記回転部の回転を停止させ、前記追従制御に先立って、前記所定図形の映像の画像が前記画像取得部により取得されるように、前記アームの動作を制御する。

上記予備制御により映像表示部と画像取得部との距離が調節された状態において、回転機構による回転部の回転が停止された時に、映像表示部の裏側が画像取得部に向いている場合がある。この場合には、映像表示部により表示される所定図形の映像を、画像取得部により撮像できないおそれがある。

この点、第４の発明によれば、追従制御に先立って、所定図形の映像の画像が画像取得部により取得されるように、回転機構により回転部の角度が調節される。また、第６の発明によれば、所定図形の映像の画像が画像取得部により取得されるように、アームの動作が制御される。したがって、回転機構による回転部の回転が停止させられた時に映像表示部の裏側が画像取得部に向いていたとしても、映像表示部の表側が画像取得部に向くようにすることができる。その結果、回転部の回転が停止させられた時の映像表示部の角度にかかわらず、所定図形の映像の画像を画像取得部により取得することができる。

第５の発明では、第４の発明において、前記制御手段は、前記回転部の角度を調節した後に前記追従制御に先立って、前記所定図形の映像が前記画像取得部により前記所定の目標画像として取得されるように、前記回転機構により前記回転部の角度を調節させるとともに前記映像表示部により前記所定図形の映像の向きを変更させる。

上記予備制御において映像表示部と画像取得部との距離が調節され、その後に回転部の角度が調節されて所定図形の映像が画像取得部により取得される状態となっている。上記構成によれば、このような状態において、回転部の角度が調節されるとともに所定図形の映像の向きが変更されることにより、所定図形の映像が画像取得部により上記所定の目標画像として取得される状態にされる。その結果、予備制御から追従制御で維持される状態まで移行させることができる。

第７の発明では、第６の発明において、前記制御手段は、前記所定図形の映像が前記画像取得部により取得されるように前記アームの動作を制御できない場合には、前記回転機構により前記回転部の角度を調節させた後に、再度前記アームの動作を制御する。

回転機構による回転部の回転が停止させられた時に映像表示部の裏側が画像取得部に向いていた場合に、映像表示部とアームとの位置関係によっては、所定図形の映像が画像取得部により取得されるようにアームの動作を制御できないおそれがある。

この点、上記構成によれば、所定図形の映像が画像取得部により取得されるようにアームの動作を制御できない場合には、回転機構により回転部の角度が調節された後に、再度前記アームの動作が制御される。したがって、映像表示部とアームとの位置関係にかかわらず、所定図形の映像を画像取得部により取得することができる。

ロボットのティーチングシステムの概要を示す模式図。 ロボットコントローラを示すブロック図。 画像処理装置を示すブロック図。 ティーチング棒を示す斜視図。 ティーチング処理全体の手順を示すフローチャート。 表示器とロボットとの距離調節の処理手順を示すフローチャート。 連続回転中の第２円盤部を撮像した画像を示す図。 表示器とロボットとの距離調節の態様を示す斜視図。 キャリブレーションボードの画像取得の処理手順を示すフローチャート。 第２円盤部の角度と取得される画像との関係を示す図。 ロボットの追従制御の処理手順を示すフローチャート。 ロボットのアームを誘導する態様を示す斜視図。 キャリブレーションボードの画像取得の変形例の処理手順を示すフローチャート。

以下、一施形態について、図面を参照しつつ説明する。本実施形態は、機械組立工場等において、機械等の組み立てを行う産業用ロボットのティーチングシステムとして具体化している。

図１は、ロボットのティーチングシステムの概要を示す模式図である。同図に示すように、このロボットのティーチングシステムは、ロボット１０、カメラ１４、ロボットコントローラ２０、ティーチングペンダント３０、画像処理装置４０、及びティーチング棒６０を備えている。

ロボット１０は、複数の関節を有するアームを動作させる垂直多関節型のロボットであり、ベース１１及びアーム１２を備えている。ロボット１０には、ロボット１０の動作を制御するロボットコントローラ２０が接続されている。アーム１２の先端部、すなわちツール取付面１３には、カメラ１４が取り付けられている。

ロボット１０には、ロボットのベース１１に固定されたロボット座標系Σｂと、ツール取付面１３に固定されたメカニカルインターフェース座標系Σｆとが設定されている。ロボットコントローラ２０は、随時、メカニカルインターフェース座標系Σｆの原点の位置及び姿勢（現在位置）を取得することができる。

ロボットコントローラ２０には、手動操作キー等を備えたティーチングペンダント３０（教示操作器）が接続されている。その手動操作キー等をオペレータ（作業者）が操作することにより、ロボット１０の動作が操作される。

カメラ１４（画像取得部）は、例えばＣＣＤカメラにより構成されており、撮像により２次元画像を受光面（ＣＣＤアレイ面上）で検出する機能を有する受光デバイスである。カメラ１４は、画像処理装置４０に接続されている。画像処理装置４０は、ＬＣＤ、ＣＲＴ等からなるモニタ４０ａを備えている。本実施形態では、カメラ１４は、ティーチング棒６０に設けられた表示器により表示されるキャリブレーションボードＣ（所定図形）の映像を撮像する。ティーチング棒６０は、ロボット１０を誘導する際に、ロボット座標系Σｂで表わされる空間内を、オペレータにより移動させられる。ティーチング棒６０は、ロボットコントローラ２０に接続されている。

図２は、ロボットコントローラ２０を示すブロック図である。同図に示すように、ロボットコントローラ２０は、メインＣＰＵ２１（制御手段）、バス２２、メモリ２３、ティーチングペンダント用インターフェース２４、外部装置用インターフェース２５、サーボ制御部２６、及び通信インターフェース２７等を備えている。メインＣＰＵ２１（以下、単に「ＣＰＵ」と称する）は、バス２２に接続されている。バス２２には、ＲＡＭ、ＲＯＭ、不揮発性メモリ等からなるメモリ２３、ティーチングペンダント用インターフェース２４、外部装置用インターフェース２５、サーボ制御部２６、及び通信インターフェース２７が並列に接続されている。

ティーチングペンダント３０は、ティーチングペンダント用インターフェース２４に接続されている。ティーチングペンダント３０は、ＣＰＵ、ＲＡＭ及びＲＯＭを含むマイクロコンピュータから構成さる制御部、各種の手動操作キー、ディスプレイ等を備えている。そして、ロボット１０の操作に関する情報がディスプレイに表示される。オペレータは、このティーチングペンダント３０を手動操作して、ロボットの動作プログラムの作成、修正、登録、また各種パラメータの設定、ティーチングされた動作プログラムの実行、ジョグ送り等を実行する。

メモリ２３のＲＯＭには、ロボット１０及びロボットコントローラ２０の基本機能を実行するシステムプログラムが格納されている。メモリ２３の不揮発性メモリ（記憶手段）には、アプリケーションに応じてティーチングされるロボット１０の動作プログラム、及び関連する設定デーが格納される。メモリ２３のＲＡＭは、ＣＰＵ２１が行なう各種演算処理において、データを一時記憶する記憶領域として使用される。

サーボ制御部２６は、サーボ制御器＃１〜＃ｎ（ｎはロボットの総軸数、ｎ＝６）を備えている。サーボ制御部２６は、ロボット制御のための演算処理（軌道作成とそれに基づく補間、逆変換等）によって作成された移動指令を受ける。そして、サーボ制御部２６は、各軸の回転角度を検出するエンコーダから検出信号を入力するとともに、サーボアンプＡ１〜Ａｎにトルク指令を出力する。各サーボアンプＡ１〜Ａｎは、各トルク指令に基づいて、各軸のサーボモータに電流を供給してそれらを駆動する。

通信インターフェース２７は、画像処理装置４０（図１参照）に接続されている。この通信インターフェース２７を介して、画像処理装置４０とロボットコントローラ２０との間で、計測に関連する指令、計測結果データ等の受渡しが行なわれる。

図３は、画像処理装置４０を示すブロック図である。同図に示すように、画像処理装置４０は、マイクロプロセッサにより構成されるＣＰＵ４１を備えている。ＣＰＵ４１には、バスライン４２を介して、ＲＯＭ４３、画像処理プロセッサ４４、カメラインターフェース４５、モニタインターフェース４６、入出力機器（Ｉ／Ｏ）４７、フレームメモリ４８（画像メモリ）、不揮発性メモリ４９、ＲＡＭ５０、及び通信インターフェース５１がそれぞれ接続されている。

カメラインターフェース４５には、カメラ１４が接続されている。カメラインターフェース４５を介して撮影指令がカメラ１４へ送られた時に、カメラ１４の有する電子シャッタ機能により撮影が実行される。そして、カメラインターフェース４５を介して、映像信号がグレイスケール信号の形でフレームメモリ４８に格納される。

モニタインターフェース４６には、モニタ４０ａ（図１参照）としてＣＲＴ、ＬＣＤ等のディスプレイが接続されている。そして、モニタ４０ａには、カメラ１４が撮像中の対象の画像、フレームメモリ４８に格納された過去の画像、画像処理プロセッサ４４により処理された画像等が必要に応じて表示される。

図１に示すように、カメラ１４は、ロボット座標系Σｂで表わされる空間内に配置されたティーチング棒６０のキャリブレーションボードＣを撮像する。フレームメモリ４８に格納されたキャリブレーションボードＣの映像信号は、画像処理プロセッサ４４により解析され、その２次元位置及び大きさ等が求められる。なお、そのためのプログラム、パラメータ等は、不揮発性メモリ４９に格納されている。また、ＲＡＭ５０は、ＣＰＵ４１が実行する各種処理に必要なデータを一時記憶する。通信インターフェース５１は、上述したロボットコントローラ２０の通信インターフェース２７を介して、ロボットコントローラ２０に接続されている。

また、図１に破線で示すカメラ１４の視線Ｅは、カメラ１４の代表点（例えばカメラレンズの中心）からキャリブレーションボードＣに向かう直線である。視線Ｅに関連して、図１に示すカメラ座標系Σｖは、カメラ１４の代表点（例えばカメラレンズの中心）からキャリブレーションボードＣに向かう視線Ｅを表わす座標系であり、その原点は視線Ｅ上に位置し、１つの座標軸（例えばＺ軸）が視線Ｅに一致している。キャリブレーションボード座標系Σｃは、キャリブレーションボードＣに固定された座標系である。

なお、メカニカルインターフェース座標系Σｆは、ツール取付面１３の位置及び姿勢を代表する座標系であると同時に、ロボット１０の位置及び姿勢を代表する座標系でもある。すなわち、特に断わりのない限り、「ロボット位置」とは「ロボット座標系Σｂ上での、メカニカルインターフェース座標系Σｆの原点の位置」であり、姿勢を含めて考える時には、「ロボット座標系Σｂ上での、メカニカルインターフェース座標系Σｆの原点の位置及び姿勢」を指すものとする。

また、一連の処理を開始する前に、ロボット１０のアーム１２とカメラ１４との位置調整、及びキャリブレーションボードＣによるカメラ１４のキャリブレーションを行う。そして、画像上のキャリブレーションボードＣを意図する方向に意図する距離だけ移動させるためには、ロボット１０のアーム１２をどう動かせばよいかを求めておく必要がある。すなわち、画像上のキャリブレーションボードＣの移動方向及び移動距離と、ロボット１０のアーム１２の移動方向及び移動距離との関係を事前に求めておく必要がある。詳細説明は省略するが、例えば、図１におけるメカニカルインターフェース座標系ΣｆのＸＹＺの任意方向にアーム１２を複数回動かし、その都度、受光面上に結像したキャリブレーションボードＣの特徴値を検出し、アーム１２の各軸の移動方向及び移動距離とこの特徴値の変化との関係を求める方法等を採用することができる。

図４は、ティーチング棒６０を示す斜視図である。同図に示すように、ティーチング棒６０は、支持棒６１、第１円盤部６２、第２円盤部６３、及び表示器６４を備えている。

支持棒６１は、長尺状、詳しくは円柱状に形成されており、ロボット１０のアーム１２の長さよりも長く形成されている。支持棒６１の先端には、第１円盤部６２が設けられている。第１円盤部６２は、円形板状に形成されており、その直径の延長上に支持棒６１が配置されている。第１円盤部６２には、円形の孔６２ａが同心状に設けられている。

孔６２ａの内部には、第２円盤部６３が設けられている。第２円盤部６３（回転部）は、円形板状（円盤状）に形成されており、第２円盤部６３の外径は孔６２ａの内径よりも若干小さくなっている。第２円盤部６３において、支持棒６１に垂直な方向の両端部が第１回転軸６２ｂによって支持されている。第１回転軸６２ｂは、モータやギア等で構成される回転機構６５により、任意の角度に回転可能とされている。そして、第２円盤部６３は、第１回転軸６２ｂを中心軸として、その表裏が入れ替わる方向に回転させられる。回転機構６５による第２円盤部６３の回転は、上述したティーチングペンダント３０（角度変更手段）の操作や、ロボットコントローラ２０の指令を通じて制御される。

第２円盤部６３には、矩形の孔６３ａが中央に設けられている。孔６３ａの内部には、表示器６４が設けられている。表示器６４（映像表示部）は、矩形板状に形成されており、表示器６４の外寸法は孔６３ａの内寸法よりも若干小さくなっている。表示器６４において、支持棒６１の延びる方向の両端部中央が第２回転軸６３ｂによって支持されている。第２回転軸６３ｂは、モータやギア等で構成される回転機構６５により、任意の角度に回転可能とされている。そして、表示器６４は、第２回転軸６３ｂを中心軸として、その表裏が入れ替わる方向に回転させられる。回転機構６５による表示器６４の回転は、ティーチングペンダント３０（角度変更手段）の操作や、ロボットコントローラ２０の指令を通じて制御される。

表示器６４（映像表示部）は、液晶ディスプレイにより構成されており、キャリブレーションボードＣ（所定図形）の映像を表示する。キャリブレーションボードＣでは、白黒の正方形の升目が、縦方向及び横方向にそれぞれ交互に配置されている。表示器６４により表示される映像は、ティーチングペンダント３０（映像変更手段）の操作や、ロボットコントローラ２０の指令を通じて制御される。具体的には、表示器６４により表示されるキャリブレーションボードＣの映像について、その大きさ（升目の大きさ）及び向き（表示器６４内での表示角度）が変更される。

ここで、画像上のキャリブレーションボードＣの移動方向及び移動距離と、ロボット１０のアーム１２の移動方向及び移動距離との関係を事前に求める場合と同様に、画像上のキャリブレーションボードＣの移動方向及び移動距離と、第２円盤部６３及び表示器６４の回転方向及び回転角度との関係を事前に求めておく。さらに、画像上のキャリブレーションボードＣの大きさ及び向きと、表示器６４により表示されるキャリブレーションボードＣの映像の大きさ及び向きとの関係を事前に求めておく。

次に、上記ティーチング棒６０を用いて、ロボット１０に基準となる位置及び姿勢をティーチングする処理全体の手順について説明する。図５は、このティーチングの処理手順を示すフローチャートである。

まず、オペレータは、カメラ１４の視野内に含まれる位置まで表示器６４を移動させる（Ｓ１０）。具体的には、オペレータは、ティーチング棒６０の支持棒６１の手元部分を支持して、先端部分に設けられた表示器６４を移動させ、カメラ１４の視野内に表示器６４が含まれるようにする。

続いて、ロボットコントローラ２０は、表示器６４とロボット１０のアーム１２との距離が所定距離となるように、アーム１２の動作を予備制御する（Ｓ２０）。具体的には、ロボットコントローラ２０は、ティーチング棒６０の第２円盤部６３を連続的に回転させ、第２円盤部６３がカメラ１４により所定の直径の円の画像として取得されるように、ロボット１０のアーム１２の動作を予備制御する。

続いて、ロボットコントローラ２０は、カメラ１４によりキャリブレーションボードＣの映像の画像を取得させる（Ｓ３０）。具体的には、ロボットコントローラ２０は、キャリブレーションボードＣの映像の画像がカメラ１４により取得されるように、ティーチング棒６０の第２円盤部６３の角度を回転機構６５により調節させる。

続いて、ロボットコントローラ２０は、ロボット１０のアーム１２の動きを、オペレータによる表示器６４の動きに追従させる（Ｓ４０）。具体的には、ロボットコントローラ２０は、オペレータによる表示器６４の角度調節並びにキャリブレーションボードＣの映像の大きさ及び向きの調節に対して、キャリブレーションボードＣの映像がカメラ１４により所定の目標画像として取得されるように、ロボット１０のアーム１２の動作を追従制御する。

そして、オペレータは、ロボット１０がティーチングする基準位置及び姿勢になったか否か判定する（Ｓ５０）。この判定において、オペレータは、ロボット１０がティーチングする基準位置及び姿勢になっていないと判定した場合には（Ｓ５０：ＮＯ）、再度、オペレータは表示器６４の角度調節及びキャリブレーションボードＣの映像調節を行い、ロボットコントローラ２０は、キャリブレーションボードＣの映像がカメラ１４により所定の目標画像として取得されるように、ロボット１０のアーム１２の動作を追従制御する（Ｓ４０）。

一方、上記判定において、オペレータは、ロボット１０がティーチングする基準位置及び姿勢になったと判定した場合には（Ｓ５０：ＹＥＳ）、オペレータは、ティーチングを終了させる。その場合には、ロボットコントローラ２０は、ロボット１０の位置及び姿勢をメモリ２３に記憶させる。そして、この一連の処理は終了される（ＥＮＤ）。

次に、図５で説明したティーチングの各処理の内容を詳細に説明する。

図６は、表示器６４とロボット１０のアーム１２との距離が所定距離となるように、アーム１２の動作を予備制御する処理（図５のＳ２０）について、その詳細な手順を示すフローチャートである。

まず、ロボットコントローラ２０は、第２円盤部６３を連続的に回転させる（Ｓ２１）。具体的には、ロボットコントローラ２０は、ティーチング棒６０の回転機構６５により、第１回転軸６２ｂを中心軸として、第２円盤部６３をその表裏が入れ替わる方向に回転させる。

このように第２円盤部６３を連続的に回転させている状態において、ロボットコントローラ２０は、カメラ１４により第２円盤部６３を撮像させて画像を取得させる（Ｓ２２）。具体的には、ロボットコントローラ２０は、カメラ１４による撮像の露光時間を一時的に延長させた状態で、連続的に回転している第２円盤部６３をカメラ１４により撮像させて画像を取得させる。このとき、第２円盤部６３の残像によって、球状の物体を撮像した場合と同様の画像が取得される。

図７は、連続回転中の第２円盤部６３を撮像した画像を示す図である。同図に示すように、第１回転軸６２ｂを中心軸として、円形板状の第２円盤部６３を連続的に回転させると、第２円盤部６３が移動する際の軌跡は球を描く。ここで、カメラ１４による撮像の露光時間が一時的に延長されているため、第２円盤部６３の軌跡は残像となって画像に記録される。その結果、第２円盤部６３は、カメラ１４が第２円盤部６３を撮像する方向にかかわらず、カメラ１４により取得される二次元画像上において円の画像として記録される。

図６に戻り、続いてロボットコントローラ２０は、画像処理装置４０により上記円の直径と重心位置とを算出させる（Ｓ２３）。具体的には、ロボットコントローラ２０は、画像処理装置４０の画像処理プロセッサ４４によって、カメラ１４により取得された上記画像を解析させ、上記円の直径と重心位置（中心位置）とを算出させる。

そして、ロボットコントローラ２０は、この算出された円の直径と重心位置とが、それぞれ所定の直径と所定の重心位置とになっているか否か判定する（Ｓ２４）。具体的には、キャリブレーションボードＣの映像（具体的には第２円盤部６３の中心）とカメラ１４との距離が焦点距離Ｌ（所定距離）となるように、上記所定の直径が設定されている。また、上述したカメラ１４の視線Ｅが第２円盤部６３の中心に一致するように、上記所定の重心位置が設定されている。

この判定において、算出された円の直径が所定の直径になっていない、又は算出された重心位置が所定の重心位置になっていないと判定した場合には（Ｓ２４：ＮＯ）、ロボットコントローラ２０は、ロボット１０のアーム１２を移動させる（Ｓ２５）。具体的には、ロボットコントローラ２０は、算出される円の直径と重心位置とが、それぞれ所定の直径と所定の重心位置とになるように、ロボット１０のアーム１２を移動させる。詳しくは、画像上のキャリブレーションボードＣの移動方向及び移動距離と、ロボット１０のアーム１２の移動方向及び移動距離との関係に基づいて、ロボット１０のアーム１２を移動させる。

一方、この判定において、算出された円の直径と重心位置とが、それぞれ所定の直径と所定の重心位置とになっていると判定した場合には（Ｓ２４：ＹＥＳ）、ロボットコントローラ２０は、ティーチング棒６０の回転機構６５による第２円盤部６３の回転を停止させ、図５のＳ２０以降の処理に戻る（ＲＥＴ）。

図８は、表示器６４とロボット１０との距離調節の態様を示す斜視図である。図８（ａ）に示すように、上述した図５のＳ１０の処理によって、カメラ１４の視野内に含まれる位置まで表示器６４が移動させられている。ここでは、カメラ１４により撮像される第２円盤部６３の画像において、その画像上の円の直径は上記所定の直径よりも小さくなっており、円の重心位置は所定の重心位置からずれた状態となっている。

したがって、図８（ｂ）に示すように、算出される円の直径と重心位置とが、それぞれ所定の直径と所定の重心位置とになるように、ロボット１０のアーム１２が移動させられる。その結果、第２円盤部６３の中心（第２円盤部６３の軌跡により描かれる球の中心）とカメラ１４との距離が焦点距離Ｌになるとともに、カメラ１４の視線Ｅが第２円盤部６３の中心に一致する。

図９は、カメラ１４によりキャリブレーションボードＣの映像の画像を取得させる処理（図５のＳ３０）について、その詳細な手順を示すフローチャートである。

まず、ロボットコントローラ２０は、第２円盤部６３を一定角度回転させる（Ｓ３１）。具体的には、ロボットコントローラ２０は、ティーチング棒６０の回転機構６５により、第２円盤部６３を一定角度、例えば９０°回転させる。したがって、上記予備制御が終了して回転機構６５による第２円盤部６３の回転が停止された時に、表示器６４の裏側がカメラ１４に向いている場合であっても、表示器６４の向きを変えることができる。また、表示器６４とアーム１２との位置関係によっては、キャリブレーションボードＣの映像がカメラ１４により取得されるようにアーム１２の動作を制御できない場合であっても、表示器６４の向きを変えることにより、キャリブレーションボードＣの映像をカメラ１４により取得させることができる。

続いて、ロボットコントローラ２０は、カメラ１４により表示器６４を撮像させて画像を取得させる（Ｓ３２）。具体的には、ロボットコントローラ２０は、表示器６４により表示されるキャリブレーションボードＣの映像を、カメラ１４により撮像させて画像を取得させる。

その撮像後に、ロボットコントローラ２０は、画像処理装置４０によりキャリブレーションボードＣの画像を認識できるか否か判定させる（Ｓ３３）。具体的には、ロボットコントローラ２０は、画像処理装置４０の画像処理プロセッサ４４によって、カメラ１４により取得された上記画像を解析させ、画像中のキャリブレーションボードＣを認識できるか否か判定させる。この判定において、画像処理装置４０によりキャリブレーションボードＣの画像を認識できないと判定された場合には（Ｓ３３：ＮＯ）、ロボットコントローラ２０は、再度、第２円盤部６３を一定角度回転させる（Ｓ３１）。

一方、上記判定において、画像処理装置４０によりキャリブレーションボードＣの画像を認識できると判定された場合には（Ｓ３３：ＹＥＳ）、ロボットコントローラ２０は、キャリブレーションボード座標系ΣｃのＺ軸とメカニカルインターフェース座標系ΣｆのＺ軸とを一致させるように、第２円盤部６３及び表示器６４を回転させる（Ｓ３４）。具体的には、ロボットコントローラ２０は、ティーチング棒６０の回転機構６５により、第１回転軸６２ｂを中心軸として第２円盤部６３を回転させるとともに、第２回転軸６３ｂを中心軸として表示器６４を回転させる。詳しくは、画像上のキャリブレーションボードＣの移動方向及び移動距離と、第２円盤部６３及び表示器６４の回転方向及び回転角度との関係に基づいて、第２円盤部６３及び表示器６４を回転させる。

続いて、ロボットコントローラ２０は、キャリブレーションボード座標系ΣｃのＸＹ軸とメカニカルインターフェース座標系ΣｆのＸＹ軸とを一致させるように、表示器６４内のキャリブレーションボードＣの映像を回転させる（Ｓ３５）。具体的には、ロボットコントローラ２０は、画像上のキャリブレーションボードＣの向きと、表示器６４により表示されるキャリブレーションボードＣの映像の向きとの関係に基づいて、表示器６４により表示されるキャリブレーションボードＣの映像を回転させる。そして、ロボットコントローラ２０は、図５のＳ３０以降の処理に戻る（ＲＥＴ）。

図１０は、第２円盤部６３の角度と取得される画像との関係を示す図である。図１０（ａ１）に示すように、第２円盤部６３を回転させる前においては、キャリブレーションボード座標系ΣｃのＺ軸とメカニカルインターフェース座標系ΣｆのＺ軸とが一致していない状態となっている。なお、ここでは、キャリブレーションボード座標系ΣｃのＸＹ軸とメカニカルインターフェース座標系ΣｆのＸＹ軸とは一致しているものとする。この場合には、図１０（ｂ１）に示すように、キャリブレーションボードＣの映像をカメラ１４により斜めに撮像した画像が取得される。

したがって、図１０（ａ２）に示すように、キャリブレーションボード座標系ΣｃのＺ軸とメカニカルインターフェース座標系ΣｆのＺ軸とを一致させるように、第２円盤部６３が回転させられる。その結果、図１０（ｂ２）に示すように、キャリブレーションボードＣの映像をカメラ１４により正面から撮像した画像が取得される。すなわち、キャリブレーションボードＣの映像の特徴を最も捉え易い状態で、カメラ１４によりキャリブレーションボードＣの映像が撮像される。

図１１は、ロボット１０のアーム１２の動きを、オペレータによる表示器６４の動きに追従させる処理（図５のＳ４０）について、その詳細な手順を示すフローチャートである。

まず、オペレータは、ロボット１０のアーム１２を基準となる位置及び姿勢に近付けるように、表示器６４を移動及び回転させるとともに、表示器６４内のキャリブレーションボードＣの映像を拡大縮小及び回転させる（Ｓ４１）。具体的には、オペレータは、ティーチング棒６０の支持棒６１の手元部分を支持して、先端部分に設けられた表示器６４を移動させる。また、オペレータは、ティーチングペンダント３０の操作を通じて、ティーチング棒６０の回転機構６５により第２円盤部６３及び表示器６４を回転させる。さらに、オペレータは、ティーチングペンダント３０の操作を通じて、表示器６４により表示されるキャリブレーションボードＣの映像を拡大縮小及び回転させる。オペレータは、これらの操作により、ロボット１０のアーム１２を基準となる位置及び姿勢に近付けるように誘導する。

続いて、ロボットコントローラ２０は、カメラ１４により表示器６４を撮像させて画像を取得させ（Ｓ４２）、画像処理装置４０によりキャリブレーションボードＣの画像を認識できるか否か判定させる（Ｓ４３）。これらの処理は、図９のＳ３２，３３の処理と同様であるため、詳細な説明は省略する。この判定において、画像処理装置４０によりキャリブレーションボードＣの画像を認識できないと判定された場合には（Ｓ４３：ＮＯ）、オペレータは、再度、表示器６４を移動及び回転させるとともに、表示器６４内のキャリブレーションボードＣの映像を拡大縮小及び回転させる（Ｓ４１）。

一方、上記判定において、画像処理装置４０によりキャリブレーションボードＣの画像を認識できると判定された場合には（Ｓ４３：ＹＥＳ）、ロボットコントローラ２０は、キャリブレーションボード座標系ΣｃのＸＹＺ軸とメカニカルインターフェース座標系ΣｆのＸＹＺ軸とを一致させ、且つキャリブレーションボード座標系Σｃの原点とカメラ１４との距離を焦点距離Ｌとするように、ロボット１０のアーム１２を移動させる（Ｓ４４）。具体的には、ロボットコントローラ２０は、画像上のキャリブレーションボードＣの移動方向及び移動距離と、ロボット１０のアーム１２の移動方向及び移動距離との関係に基づいて、ロボット１０のアーム１２を移動させる。そして、ロボットコントローラ２０は、図５のＳ４０以降の処理に戻る（ＲＥＴ）。

その後、オペレータは、ロボット１０がティーチングする基準位置及び姿勢になったか否か判定する（図５のＳ５０）。この判定において、ロボット１０がティーチングする基準位置及び姿勢になっていないと判定した場合には（Ｓ５０：ＮＯ）、再度、ロボット１０のアーム１２の動きを、オペレータによる表示器６４の動きに追従させる処理が実行される（図５のＳ４０）。このような処理が繰り返されることにより、ロボット１０のアーム１２が基準となる位置及び姿勢まで誘導される。そして、ティーチング終了時に、ロボット１０の位置及び姿勢がメモリ２３に記憶される。

図１２は、ロボット１０のアーム１２を誘導する態様を示す斜視図である。ここでは、図１０（ａ２）に示したように、キャリブレーションボード座標系ΣｃのＸＹＺ軸とメカニカルインターフェース座標系ΣｆのＸＹＺ軸とを一致させた状態から、表示器６４を回転させた場合について説明する。

図１２に示すように、キャリブレーションボードＣの映像を手前側に向けるように表示器６４を回転させると、それに追従してロボット１０のアーム１２が移動させられる。具体的には、回転後のキャリブレーションボード座標系ΣｃのＸＹＺ軸にメカニカルインターフェース座標系ΣｆのＸＹＺ軸を一致させるように、アーム１２の動作が制御される。なお、ティーチング棒６０の第２円盤部６３を回転させた場合や、表示器６４内のキャリブレーションボードＣの映像を拡大縮小及び回転させた場合も、それに追従してロボット１０のアーム１２が移動させられる。したがって、これらの操作が繰り返されることにより、ロボット１０のアーム１２を適切に誘導することができる。

以上詳述した本実施形態は以下の利点を有する。

・ロボット１０の誘導に用いられるティーチング棒６０に表示器６４が設けられており、この表示器６４によりキャリブレーションボードＣの映像が表示される。ロボット１０のアーム１２には、対象を撮像して画像を取得するカメラ１４が設けられており、アーム１２の動作に伴ってカメラ１４が移動される。そして、キャリブレーションボードＣの映像がカメラ１４により所定の目標画像として取得されるように、アーム１２の動作が追従制御される。すなわち、キャリブレーションボードＣの映像を表示器６４が目標位置及び姿勢で撮像するように、ひいてはキャリブレーションボードＣの映像に対してアーム１２が基準位置及び姿勢となるように、アーム１２の動作が追従制御される。

ここで、オペレータは、表示器６４により表示されるキャリブレーションボードＣの映像の大きさ及び向きの少なくとも一方を、ティーチングペンダント３０の操作を通じて、表示器６４から離れた位置で変更することができる。このため、この変更されたキャリブレーションボードＣの映像が所定の目標画像として取得されるようにアーム１２の動作が追従制御されることにより、アーム１２の位置及び姿勢を変更することができる。そして、オペレータが、ティーチングを終了させる時に、ロボット１０のアーム１２の位置及び姿勢がメモリ２３に記憶される。したがって、オペレータがロボット１０に近付くことなく、ティーチングする基準位置及び姿勢を柔軟に変更することができる。さらに、表示器６４により表示されるキャリブレーションボードＣの映像を変更することにより、アーム１２の位置及び姿勢を変更することができるため、ティーチング棒６０自体の位置や向きを変更する場合と比較して、ロボット１０周囲の設備から制約を受けることを抑制することができる。その結果、ティーチング棒６０により適切にロボット１０を誘導することができる。

・ティーチング棒６０に対して表示器６４を回転させる回転機構６５を備えており、表示器６４はその表裏が入れ替わる方向に回転させられる。そして、オペレータは、回転機構６５により回転させられる表示器６４の角度を、ティーチングペンダント３０の操作を通じて、表示器６４から離れた位置で変更することができる。このため、オペレータがロボット１０に近付くことなく、表示器６４が配置される角度、すなわちキャリブレーションボードＣの映像が配置される角度を変更することができる。したがって、ティーチングする基準位置及び姿勢を、より柔軟に変更することができる。

・表示器６４は、ティーチング棒６０の備える円盤状の第２円盤部６３に取り付けられており、この第２円盤部６３が回転機構６５により回転させられる。カメラ１４による撮像の露光時間が一時的に延長され、且つ回転機構６５により第２円盤部６３が連続的に回転させられている状態では、円盤状の第２円盤部６３をカメラ１４により撮像すると、残像によって球状の物体を撮像した場合と同様の画像が取得される。したがって、円盤状の第２円盤部６３は、どの方向から撮像されたとしても、円の画像として取得される。そして、第２円盤部６３がカメラ１４により所定の直径の円の画像として取得されるようにアーム１２の動作が予備制御されるため、上記追従制御に先立って、円盤状の第２円盤部６３とカメラ１４との距離、すなわち表示器６４とカメラ１４との距離を調節することができる。その結果、予備制御から追従制御へ円滑に移行させることができる。

・追従制御に先立って、キャリブレーションボードＣの映像の画像がカメラ１４により取得されるように、回転機構６５により第２円盤部６３の角度が調節される。したがって、回転機構６５による第２円盤部６３の回転が停止させられた時に表示器６４の裏側がカメラ１４に向いていたとしても、表示器６４の表側がカメラ１４に向くようにすることができる。その結果、第２円盤部６３の回転が停止させられた時の表示器６４の角度にかかわらず、キャリブレーションボードＣの映像の画像をカメラ１４により取得することができる。

・上記予備制御において表示器６４とカメラ１４との距離が調節され、その後に第２円盤部６３の角度が調節されてキャリブレーションボードＣの映像がカメラ１４により取得される状態となっている。そして、このような状態において、第２円盤部６３の角度が調節されるとともにキャリブレーションボードＣの映像の向きが変更されることにより、キャリブレーションボードＣの映像がカメラ１４により上記所定の目標画像として取得される状態にされる。その結果、予備制御から追従制御で維持される状態まで、自動的に移行させることができる。

上記実施形態を、以下のように変形して実施することもできる。

・ティーチング終了時に、ロボット１０の位置及び姿勢を、ティーチングペンダント３０（記憶手段）に記憶させるようにしてもよい。

・キャリブレーションボードＣとして、白黒の正方形の升目が縦方向及び横方向にそれぞれ交互に配置されている図形に限らず、白黒の三角形が交互に配置された図形や、円の図形等、その他の図形を採用することもできる。

・上記実施形態では、ティーチング開始時にオペレータは、カメラ１４の視野内に含まれる位置まで表示器６４を移動させるようにしたが、ティーチングペンダント３０を操作して、表示器６４がカメラ１４の視野内に含まれる位置までロボット１０のアーム１２を移動させてもよい。

・ロボットコントローラ２０が、カメラ１４によりキャリブレーションボードＣの映像の画像を取得させる処理（図５のＳ３０）として、図９のフローチャートに示した処理に代えて、図１３のフローチャートに示す処理を採用することもできる。なお、図９，１１のフローチャートに示した処理と同一の処理については、同一のステップ番号を付すことにより、説明を省略する。

まず、ロボットコントローラ２０は、ロボット１０のアーム１２を一定距離移動させる（Ｓ３１Ａ）。具体的には、ロボットコントローラ２０は、キャリブレーションボードＣの映像とカメラ１４との距離が焦点距離Ｌとなる状態を維持しつつ、キャリブレーションボードＣを中心としてアーム１２が一定の円弧、例えば中心角９０°の円弧を描くように移動させる。そして、ロボットコントローラ２０は、カメラ１４により表示器６４を撮像させて画像を取得させ（Ｓ３２）、画像処理装置４０によりキャリブレーションボードＣの画像を認識できるか否か判定させる（Ｓ３３）。

上記判定において、画像処理装置４０によりキャリブレーションボードＣの画像を認識できないと判定した場合には（Ｓ３３：ＮＯ）、ロボットコントローラ２０は、ロボット１０のアーム１２を再度一定距離移動させることができるか否か判定する（Ｓ３６）。この判定において、ロボット１０のアーム１２を一定距離移動させることができると判定した場合には（Ｓ３６：ＹＥＳ）、ロボット１０のアーム１２を再度一定距離移動させる（Ｓ３１Ａ）。一方、この判定において、ロボット１０のアーム１２を一定距離移動させることができないと判定した場合には（Ｓ３６：ＮＯ）、ロボットコントローラ２０は、第２円盤部６３を一定角度回転させるとともに、ロボット１０のアーム１２を初めてＳ３１Ａの処理を行う前の状態まで戻す（Ｓ３７）。

また、上記判定において、画像処理装置４０によりキャリブレーションボードＣの画像を認識できると判定した場合には（Ｓ３３：ＹＥＳ）、ロボットコントローラ２０は、キャリブレーションボード座標系ΣｃのＸＹＺ軸とメカニカルインターフェース座標系ΣｆのＸＹＺ軸とを一致させ、且つキャリブレーションボード座標系Σｃの原点とカメラ１４との距離を焦点距離Ｌとするように、ロボット１０のアーム１２を移動させる（Ｓ４４）。こうした構成によっても、回転機構６５による第２円盤部６３の回転が停止させられた時に表示器６４の裏側がカメラ１４に向いていたとしても、表示器６４の表側がカメラ１４に向くようにすることができる。その結果、第２円盤部６３の回転が停止させられた時の表示器６４の角度にかかわらず、キャリブレーションボードＣの映像の画像をカメラ１４により取得することができる。また、予備制御から追従制御で維持される状態まで、自動的に移行させることができる。

・上記実施形態では、オペレータが、ティーチングペンダント３０の操作を通じて、ティーチング棒６０を制御するようにしたが、ティーチング棒６０の支持棒６１の手元等に、ティーチング棒６０を制御する操作部（映像変更手段、角度変更手段）を設けてもよい。また、オペレータが、リモコン（映像変更手段、角度変更手段）によりティーチング棒６０を制御するようにしてもよい。

・カメラ１４は、ＣＣＤイメージセンサを備えるものに限らず、ＣＭＯＳイメージセンサを備えるもの等、その他の方式のデジタルカメラを備えるものでもよい。

・表示器６４（映像表示部）は、液晶ディスプレイにより構成されるものに限らず、有機ＥＬディスプレイや、プラズマディスプレイ等、その他のディスプレイにより構成されるものであってもよい。

・ロボット１０として、垂直多関節型のロボットに限らず、複数の関節を有するアームを動作させる任意の型式のロボットを採用することができる。

１０…ロボット、１２…アーム、１４…カメラ（画像取得部）、２０…ロボットコントローラ（制御手段）、３０…ティーチングペンダント（映像変更手段、角度変更手段）、４０…画像処理装置、６０…ティーチング棒、６３…第２円盤部（回転部）、６４…表示器（映像表示部）、６５…回転機構。

Claims (7)

1. 複数の関節を有するアームを動作させる多関節型ロボットと、
   前記ロボットの誘導に用いられるティーチング棒と、
   前記ティーチング棒に設けられ所定図形の映像を表示する映像表示部と、
   前記アームに設けられ対象を撮像して画像を取得する画像取得部と、
   前記所定図形の映像が前記画像取得部により所定の目標画像として取得されるように前記アームの動作を追従制御する制御手段と、
   前記映像表示部により表示される前記所定図形の映像の大きさ、及び前記映像表示部により表示される前記所定図形の映像の前記映像表示部内での表示角度の少なくとも一方を、前記映像表示部から離れた位置で作業者の操作により変更可能とする映像変更手段と、
   所定の終了条件が成立した場合に前記アームの位置及び姿勢を記憶する記憶手段と、
   を備えることを特徴とするロボットのティーチングシステム。
2. 前記ティーチング棒に対して前記映像表示部をその表裏が入れ替わる方向に回転させる回転機構と、
   前記回転機構により回転させられる前記映像表示部の角度を、前記映像表示部から離れた位置で前記作業者の操作により変更可能とする角度変更手段と、
   を備える請求項１に記載のロボットのティーチングシステム。
3. 前記ティーチング棒は、円盤状の回転部を備え、
   前記映像表示部は、前記回転部に取り付けられており、
   前記回転機構は、前記回転部を回転させるものであり、
   前記制御手段は、前記追従制御に先立って、前記画像取得部による撮像の露光時間を一時的に延長し且つ前記回転機構により前記回転部を連続的に回転させ、前記回転部が前記画像取得部により所定の直径の円の画像として取得されるように前記アームの動作を予備制御する請求項２に記載のロボットのティーチングシステム。
4. 前記制御手段は、前記予備制御の後に前記回転機構による前記回転部の回転を停止させ、前記追従制御に先立って、前記所定図形の映像の画像が前記画像取得部により取得されるように、前記回転機構により前記回転部の角度を調節させる請求項３に記載のロボットのティーチングシステム。
5. 前記制御手段は、前記回転部の角度を調節した後に前記追従制御に先立って、前記所定図形の映像が前記画像取得部により前記所定の目標画像として取得されるように、前記回転機構により前記回転部の角度を調節させるとともに前記映像表示部により前記所定図形の映像の向きを変更させる請求項４に記載のロボットのティーチングシステム。
6. 前記制御手段は、前記予備制御の後に前記回転機構による前記回転部の回転を停止させ、前記追従制御に先立って、前記所定図形の映像の画像が前記画像取得部により取得されるように、前記アームの動作を制御する請求項３に記載のロボットのティーチングシステム。
7. 前記制御手段は、前記所定図形の映像が前記画像取得部により取得されるように前記アームの動作を制御できない場合には、前記回転機構により前記回転部の角度を調節させた後に、再度前記アームの動作を制御する請求項６に記載のロボットのティーチングシステム。

Images