JP7306871B2 - ロボット操作装置、ロボット、ロボット操作方法、プログラムおよびロボット制御装置 - Google Patents

Description

本発明は、ロボット操作装置、ロボットおよびロボット操作方法に関するものである。

ロボットに作業を実行させるためには、作業内容に応じた動作をロボットに教示する教示操作が必要である（例えば、特許文献１から４参照。）。

特開平０６－１９０７５６号公報 特開２００６－２８９５３１号公報 特開２０１８－１２６８５７号公報 特開２００９－２４１２４７号公報

ロボットの一般的な教示方法には、操作者が可搬式の教示操作装置を用いてロボットを遠隔操作するリモートティーチと、操作者がロボットの一部を持ちロボットを直接操作するダイレクトティーチとがある。これらの教示方法において、操作者は、ロボットと周辺機器や作業対象物との相対位置を目視で確認しながら、ロボットを目標位置へ移動させる。作業対象物がロボットまたは周辺機器等によって遮られて見えない場合、操作者は、姿勢を変更したり他の位置に移動したりして視点を変更しなければならない。周辺機器が多い場合には、視点を頻繁に変更する必要がある。

本開示の一態様は、ロボットアームに取り付けられ、画像を取得するカメラと、該カメラによって取得された前記画像を表示する表示部と、該表示部に表示された前記画像に対する操作を受け付ける操作受付部と、該操作受付部が受け付けた前記操作に基づいて前記ロボットアームを動作させる制御部と、を備え、前記操作受付部が、前記画像内の任意の位置を指示する操作を受け付けた際に、前記制御部は、前記ロボットアームの座標系における前記ロボットアームの先端および前記カメラのうち少なくとも一方の位置または姿勢と前記位置を指示する操作とに基づいて前記ロボットアームを動作させることによって、前記指示された位置を前記画像内の所定位置に向かって移動させるロボット操作装置である。

一実施形態に係るロボットの全体構成図である。 ロボット制御装置の操作盤の一例を示す図である。 ロボット制御装置の動作を示すフローチャートである。 （ａ）画像に対するタップ操作と、（ｂ）タップ操作に基づく画像の変化とを説明する図である。 （ａ）画像に対するピンチアウト操作と、（ｂ）ピンチアウト操作による画像の変化とを説明する図である。 （ａ）画像に対する回転操作と、（ｂ）回転操作に基づく画像の変化とを説明する図である。

以下に、一実施形態に係るロボット操作装置およびロボット１００について図面を参照して説明する。
図１に示されるように、ロボット１００は、ロボット機構部２と、ロボット機構部２を制御するロボット制御装置１と、ロボット機構部２に取り付けられるカメラ３と、を備える。ロボット操作装置は、少なくともロボット制御装置１およびカメラ３から構成される。

ロボット機構部２は、少なくとも１つの関節を有するロボットアーム２ａを備え、ロボットアーム２ａの先端の手首フランジ２ｂには作業用のツール２ｃが接続されている。例えば、ロボット機構部２は、６軸Ｊ１～Ｊ６の垂直多関節ロボットであり、ロボットアーム２ａの各関節を駆動するためのサーボモータと、各関節の回転角度を検出するエンコーダと、を備える。ツール２ｃは、例えば、作業対象物Ａを把持するハンド、または、作業対象物Ａに対して加工、検査または溶接等の作業を行うツールである。

カメラ３は、２次元カメラである。カメラ３は、手首フランジ２ｂまたは手首フランジ２ｂの近傍に取り付けられ、例えば、ツール２ｃに取り付けられる。カメラ３は、ツール２ｃの前方を含むツール２ｃの周辺のライブビュー画像Ｂを取得する。カメラ３は、視野内の作業対象物Ａ等の物体に焦点を自動で合わせるオートフォーカス機能を有していてもよい。カメラ３は、３次元カメラであってもよい。
カメラ３は、教示モードの実行時に手首フランジ２ｂまたはツール２ｃに一時的に取り付けられる。あるいは、カメラ３は、ロボット機構部２の作業中に作業対象物Ａを認識するためにロボットアーム２ａの先端部またはツール２ｃに常時取り付けられるカメラであってもよい。

ロボット制御装置１は、ロボット機構部２およびカメラ３と接続されロボット機構部２およびカメラ３とを制御する制御部４と、制御部４に接続され操作者によって操作される可搬式の操作盤５と、を備える。
制御部４は、プロセッサ（図示略）と、ＲＡＭおよびＲＯＭ等を有する記憶部（図示略）と、を備える。制御部４は、各サーボモータに制御指令を送信することによって、ロボットアーム２ａを動作させる。また、制御部４は、各エンコーダからの検出値に基づき、手首フランジ２ｂの位置および姿勢を算出することができる。制御部４は、自動モードおよび教示モードのいずれかでロボット機構部２を制御する。自動モードは、記憶部に記憶された動作プログラムに従ってロボット機構部２を制御するモードである。教示モードは、操作盤５を用いてロボット機構部２の動作を教示するモードである。

操作盤５は、カメラ３によって取得された画像Ｂを表示する表示部６と、表示部６に表示された画像Ｂに対する操作者の操作を受け付ける操作受付部７と、を備える。
図２は、操作盤５の一例を示している。操作盤５は、タッチディスプレイ８と、ジョグボタン９と、を備える。タッチディスプレイ８およびジョグボタン９は、教示モードにおいて、操作者によるロボットアーム２ａの手動操作に使用される。操作者は、後述するように、タッチディスプレイ８へのタッチ操作によって、手首フランジ２ｂを所望の方向に移動させることができる。また、操作者は、ジョグボタン９を押下することによって、手首フランジ２ｂを所望の方向に所定距離ずつ移動させたり、手首フランジ２ｂを所望の方向に所定角度ずつ回転させたりすることができる。また、操作者は、別途用意したジョイスティック（図示略）を傾斜させることによって、手首フランジ２ｂを所望の方向に移動させてもよい。

操作盤５に、タッチディスプレイ８およびジョグボタン９によるロボットアーム２ａの操作の有効と無効とを切り替える切替スイッチ１１が設けられていてもよい。例えば、タッチディスプレイ８およびジョグボタン９の内、切替スイッチ１１によって選択された一方のみが有効化され、他方が無効化されるように構成されていてもよい。
操作盤５に、ロボットアーム２ａの手動操作の有効と無効とを切り替えるデッドマンスイッチ１２が設けられていてもよい。操作盤５を把持する操作者の手によってデッドマンスイッチ１２が押下されているときのみ、ロボットアーム２ａの手動操作が有効化される。

表示部６および操作受付部７は、タッチディスプレイ８である。すなわち、表示部６は、液晶パネルまたは有機ＥＬパネルのような表示パネルであり、操作受付部７は、表示パネル上に配置された透明なタッチパネル（タッチ操作部）である。
カメラ３によって取得されたライブビュー画像Ｂは、カメラ３から制御部４を経由して操作盤５に送信され、表示部６に表示される。
操作受付部７は、表示部６に表示された画像Ｂに対する操作者の指Ｆのタップ操作を受け付け、画像Ｂ内の指Ｆのタップ位置の情報を含む移動操作信号を制御部４に送信する。

教示モードにおいて、制御部４は、操作受付部７からの移動操作信号に基づき、ロボット機構部２およびカメラ３を制御する。次に、教示モードでのロボット制御装置１によるロボット機構部２の操作方法（ロボット操作方法）について、図３を参照して説明する。制御部４による以下の処理および制御は、記憶部に記憶された操作プログラムに従ってプロセッサが処理を実行することによって実現される。

制御部４は、例えば、操作盤５の起動時に、または操作者の所定の操作に基づいて、カメラ３に画像Ｂの取得を開始させる。
まず、操作者は、ロボットアーム２ａを移動させ、教示すべき目標位置が表示部６の画像Ｂ内に観察される位置にロボットアーム２ａを配置する。例えば、コンベアＣ上の作業対象物Ａをツール２ｃによって把持するときの位置が目標位置である場合、操作者は、作業対象物Ａが画像Ｂ内に観察される位置にロボットアーム２ａを配置する。このときのロボットアーム２ａの操作は、タッチディスプレイ８、ジョグボタン９またはジョイスティックのいずれの操作によって行われてもよい。あるいは、操作者がロボットアーム２ａの一部を把持してロボットアーム２ａを直接移動させてもよい。

次に、操作者は、図４（ａ）に示されるように、表示部６に表示されている画像Ｂ内の作業対象物Ａの位置をタップする。画像Ｂに対する操作者のタップ操作は、操作受付部７によって受け付けられ、操作受付部７から制御部４に移動操作信号が送信される（ステップＳ１）。
制御部４は、操作受付部７から移動操作信号に応答し、カメラ３に静止画像を取り込ませる（ステップＳ２）。次に、制御部４は、カメラ３から静止画像を受信し、静止画像を記憶する。また、制御部４は、タップ位置を含むタップ位置の周辺画像をテンプレート画像として静止画像から切り出し、テンプレート画像を記憶する（ステップＳ３）。

次に、制御部４は、タップ位置が画像Ｂ内の所定位置に配置されるように、ロボットアーム２ａを移動させる（ステップＳ４～Ｓ７）。所定位置は、画像Ｂ内の任意の位置であり、例えば、画像Ｂの中心である。以下、所定位置が画像Ｂの中心である場合について説明する。
制御部４は、静止画像内のタップ位置と中心位置との差に基づき、タップ位置を中心に移動させるために必要なロボットアーム２ａの移動量を計算する（ステップＳ４）。例えば、制御部４は、予め設定された１画素当たりのロボットアーム２ａの移動量と、タップ位置と中心位置との間の画素数とに基づき、手首フランジ２ｂの移動量を計算し、算出された移動量だけ手首フランジ２ｂを移動させるための各関節の回転量を計算する。次に、制御部４は、算出された移動量だけロボットアーム２ａを移動させる（ステップＳ５）。

ステップＳ５のロボットアーム２ａの移動によってカメラ３が移動するので、図４（ｂ）に示されるように、表示部６に表示される画像Ｂにおいて作業対象物Ａが中心に向かって移動する。このときに、カメラ３と作業対象物Ａとの間の距離に応じて、ロボットアーム２ａの移動による画像Ｂ内の作業対象物Ａの移動量は異なる。したがって、ロボットアーム２ａの移動後、タップ位置の作業対象物Ａが必ずしも画像Ｂの中心に位置するとは限らない。

次に、制御部４は、ロボットアーム２ａの移動後の静止画像をカメラ３に取り込ませ（ステップＳ６）、カメラ３から静止画像を受信する。次に、制御部４は、ロボットアーム２ａの移動後の静止画像から、中心位置を含む中心位置の周辺画像を切り出し、切り出した周辺画像をテンプレート画像と比較することによって、タップ位置が中心に移動したか否かを判断する（ステップＳ７）。例えば、制御部４は、切り出した周辺画像とテンプレート画像との位置ずれ量が所定値以下である場合には、タップ位置が中心に移動したと判断し、位置ずれ量が所定値よりも大きい場合には、タップ位置が中心に移動していないと判断する。

タップ位置が中心に移動していない場合（ステップＳ７のＮＯ）、制御部４は、ステップＳ６で受信した静止画像内のタップ位置と中心位置との差に基づき、タップ位置を中心に移動させるために必要なロボットアーム２ａの移動量を計算し（ステップＳ４）、続いてステップＳ５～Ｓ７を実行する。制御部４は、タップ位置が中心に移動するまで（ステップＳ７のＹＥＳ）、ステップＳ４～Ｓ７を繰り返す。

ステップＳ４～Ｓ７の結果、画像Ｂ内において作業対象物Ａが中心または中心近傍に配置されたときに、ロボットアーム２ａは停止する。
次に、操作者は、操作盤５に設けられた記憶ボタン（図示略）を押下する。記憶ボタンの押下によって、画像Ｂの中心に作業対象物Ａが位置するときのロボットアーム２ａの位置および姿勢が制御部４に記憶される。

このように、本実施形態によれば、操作者は、作業対象物Ａの画像Ｂを可搬式の操作盤５上で観察し、画像Ｂ内の作業対象物Ａの位置を指Ｆでタップするだけの簡単な操作によって、ロボットアーム２ａを目標位置に移動させることができる。すなわち、操作者は、作業対象物Ａを直接視認できない位置においてもカメラ３を介して作業対象物Ａを観察することができるので、ロボットアーム２ａと作業対象物Ａとの相対位置を観察するために移動したり姿勢を変更したりする必要がない。したがって、例えば、操作者の作業空間とロボット機構部２の作業空間とが壁で隔離されている状況や、ロボット機構部２が多数の周辺機器で囲まれている状況においても、操作者は、ロボット機構部２の教示操作を楽に行うことができる。

また、操作者は、ロボット機構部２に近付く必要がないので、ロボット機構部２から離れた位置においてロボット機構部２の教示操作を行うことができる。大型のロボット機構部２の場合、動作するロボット機構部２の近くでの教示操作は、操作者にとって心理的負担が大きい。本実施形態によれば、このような操作者の心理的負担を軽減することができる。

操作者は、タッチディスプレイ８のタップ操作によってロボットアーム２ａを移動させた後に、ジョグボタン９またはジョイスティックによって、作業対象物Ａに対してツール２ｃをさらに精密に位置合わせしてもよい。
前述したように、カメラ３と作業対象物Ａとの間の距離に応じて、ロボットアーム２ａの移動量と画像Ｂ内の作業対象物Ａの移動量との関係が異なる。さらに、カメラ３の位置とツール２ｃの位置との間には空間的なずれがある。これらの理由により、画像Ｂのタップ操作によって、作業対象物Ａに対してツール２ｃを精密に位置合わせすることは難しい。したがって、タッチディスプレイ８のタップ操作によるロボットアーム２ａの大まかな位置合わせと、ジョグボタン９またはジョイスティックの操作によるロボットアーム２ａの精密な位置合わせとを組み合わせて用いてもよい。

上記実施形態において、制御部４によるステップＳ６およびＳ７の処理は、省略されてもよい。すなわち、制御部４は、ステップＳ４で算出された移動量だけロボットアーム２ａを一度だけ移動させてもよい。
この場合、操作者は、表示部６に表示された画像Ｂにおいて、作業対象物Ａが中心に移動したか否かを判断する。作業対象物Ａが中心に移動していない場合、操作者は、画像Ｂ内の作業対象物Ａの位置を再びタップすることによって、ロボットアーム２ａを再び移動させる。これにより、画像Ｂ内で作業対象物Ａが中心により近付く。タップを複数回繰り返すことによって、操作者は、画像Ｂの中心に作業対象物Ａを移動させることができる。

ステップＳ４において、制御部４は、ロボットアーム２ａの移動量と画像Ｂ内の物体の移動量との関係を算出し、算出された関係に基づいてロボットアーム２ａの移動量を算出してもよい。
例えば、制御部４は、ステップＳ５において、前記関係を算出するキャリブレーション処理を最初に実行する。キャリブレーション処理の一例において、制御部４は、手首フランジ２ｂを所定量だけ移動させ、手首フランジ２ｂの移動開始時および終了時の静止画像間の物体の移動量を算出し、手首フランジ２ｂの単位移動量当たりの画像Ｂ内の物体の移動量を算出する。
これにより、タップ位置を中心に移動させるために必要なロボットアーム２ａの移動量をより正確に算出することができる。特に、画像Ｂ内の物体の移動量として、タップ位置の物体である作業対象物Ａの移動量を用いることによって、ロボットアーム２ａの必要な移動量をさらに正確に算出することができる。

ロボットアーム２ａの移動に伴って作業対象物Ａの位置が画像Ｂの奥行方向にも変化する場合、ロボットアーム２ａの移動量と画像Ｂ内の物体の移動量との関係が経時変化する。ロボットアーム２ａの移動中、ロボット制御装置１は、カメラ３によって取得された画像Ｂ内の物体の移動量を逐次計算することによって、ロボットアーム２ａの移動量と画像Ｂ内の物体の移動量との関係を逐次更新し、更新された関係に基づいてロボットアーム２ａの移動量を計算し直してもよい。これにより、タップ位置を中心に移動させるために必要なロボットアーム２ａの移動量をさらに正確に算出することができる。

このときに、制御部４は、操作者によって指定された物体の画像内の移動量を計算してもよい。例えば、操作者は、表示部６に表示された画像Ｂ内の複数の物体の内、作業対象物Ａをタッチすることによって、作業対象物Ａを指定する。これにより、制御部４は、画像Ｂ内の作業対象物Ａの移動量に基づいてロボットアーム２ａの移動量を適切に算出することができる。

表示部６に表示される画像Ｂに、画像Ｂの縮尺を表すスケール１４が表示されていてもよい。例えば、ロボット制御装置１は、ロボットアーム２ａの移動量と画像Ｂ内の物体の移動量との関係に基づいて、実際の距離を表すスケール１４を作成し、スケール１４を表示部６に表示されている画像Ｂ上に重畳させてもよい。

上記実施形態において、操作受付部７が、画像Ｂ内の任意の位置を指示する操作としてタップ操作を受け付けることとしたが、これに代えて、他のタッチ操作を受け付けてもよい。
例えば、操作受付部７は、画像Ｂに対するスワイプ操作を受け付けてもよい。この場合、操作受付部７は、スワイプ操作の始点および終点を含む移動操作信号をロボット制御装置１に送信し、ロボット制御装置１は、始点を終点（所定位置）に向かって移動させるようにロボットアーム２ａを移動させてもよい。

上記実施形態において、操作受付部７が、画像Ｂ内の任意の位置を指示するタップ操作を受け付けることとしたが、これに加えて、またはこれに代えて、画像Ｂに対するズーム指示の操作を受け付けてもよい。

例えば、図５（ａ）に示されるように、操作受付部７は、表示部６に表示された画像Ｂに対するピンチアウト操作（タッチ操作）およびピンチイン操作（タッチ操作）をズームイン指示およびズームアウト指示としてそれぞれ受け付ける。ピンチアウト操作は、タッチディスプレイ８に接触する２本の指Ｆ１，Ｆ２間の距離を広げる操作であり、ピンチイン操作は、タッチディスプレイ８に接触する２本の指Ｆ１，Ｆ２間の距離を縮める操作である。操作受付部７は、ズームイン操作信号またはズームアウト操作信号を制御部４に送信する。

制御部４は、操作受付部７からのズームイン操作信号に応答して、手首フランジ２ｂを作業対象物Ａに近付けるようにロボットアーム２ａを移動させる。これにより、カメラ３が作業対象物Ａに向かって光軸方向に移動し、図５（ｂ）に示されるように、表示部６に表示される画像Ｂ内の作業対象物Ａが拡大される。
また、制御部４は、操作受付部７からのズームアウト操作信号に応答して、手首フランジ２ｂを作業対象物Ａから遠ざけるようにロボットアーム２ａを移動させる。これにより、カメラ３が作業対象物Ａとは反対側に向かって光軸方向に移動し、表示部６に表示される画像Ｂ内の作業対象物Ａが縮小される。

ツール２ｃと作業対象物Ａとの相対位置を操作者が目視で確認する場合、作業対象物Ａに対するツール２ｃの精密な位置合わせの際に、操作者は、ツール２ｃおよび作業対象物Ａのすぐ近くに寄る必要がある。
本実施形態によれば、作業対象物Ａをカメラ３によって拡大観察することによって、ツール２ｃおよび作業対象物Ａから離れた位置において、作業対象物Ａに対してツール２ｃを精密に位置合わせすることができる。

ロボットアーム２ａの移動量と画像Ｂ内の物体の移動量との関係は、ズームによって変化する。したがって、制御部４は、ズームによる画像Ｂ内の物体の倍率の変化に応じて、ロボットアーム２ａの移動量を変更してもよい。例えば、ズームインによって画像Ｂ内の物体が３倍に拡大された場合、制御部４は、ロボットアーム２ａの移動量をズームイン前の３分の１に低下させてもよい。

カメラ３が、ズーム機能を有する場合、制御部４は、ロボットアーム２ａの移動によってカメラ３を光軸方向に移動させることに代えて、カメラ３を制御してカメラ３のズーム倍率を変更してもよい。すなわち、制御部４は、ズームイン指示に応答してカメラ３のズーム倍率を増大させ、ズームアウト指示に応答してカメラ３のズーム倍率を低下させてもよい。

操作受付部７は、画像Ｂに対する回転指示の操作を受け付けてもよい。
例えば、図６（ａ）に示されるように、操作受付部７は、タッチディスプレイ８に接触する２本の指Ｆ１，Ｆ２を時計回りまたは反時計回りに回転させる操作（タッチ操作）を回転指示として受け付ける。操作受付部７は、指Ｆ１，Ｆ２の回転方向および回転角度の情報を含む回転操作信号を制御部４に送信する。
制御部４は、操作受付部７からの回転操作信号に応答して、指Ｆ１，Ｆ２の回転方向と対応する方向に、指Ｆ１，Ｆ２の回転角度と同一角度だけ、手首フランジ２ｂを回転させる。これにより、カメラ３が光軸回りまたは光軸に平行な軸回りに回転し、図６（ｂ）に示されるように、表示部６に表示される画像Ｂにおいて作業対象物ＡおよびコンベアＣが時計回りまたは反時計回りに回転する。

カメラ３の光軸が手首フランジ２ｂの回転軸Ｊ６に対して偏心し回転軸Ｊ６との間に距離がある場合、手首フランジ２ｂが回転軸Ｊ６回りに回転したときに、画像Ｂは、画像Ｂの中心ではなく、回転軸Ｊ６回りに回転する。制御部４は、回転軸Ｊ６回りにカメラ３を回転させてもよい。あるいは、画像Ｂ内の作業対象物Ａを画像Ｂの中心回りに回転させるために、制御部４は、カメラ３の光軸と回転軸Ｊ６との位置関係に基づき、カメラ３の光軸回りにカメラ３が回転するように、ロボットアーム２ａを移動させてもよい。

上記実施形態において、表示部６に表示された画像Ｂのタッチ操作によるロボットアーム２ａの操作の有効と無効とを切り替えるスイッチが、操作盤５に設けられていてもよい。このスイッチは、例えば、デッドマンスイッチ１２のように、操作者の手によって押下されているときにのみ、画像Ｂのタッチ操作によるロボットアーム２ａの操作を有効化してもよい。また、スイッチは、移動、ズームおよび回転の各々の操作に対して設けられていてもよい。

上記実施形態において、画像Ｂに対する操作に基づき、表示部６に表示されている画像Ｂがデジタル処理によって移動、ズームおよび回転するように構成されていてもよい。
この場合、上記のタッチ操作によるロボットアーム２ａの操作の有効と無効とを切り替えるスイッチが設けられる。ロボットアーム２ａの操作が無効であるとき、操作盤５は、画像Ｂに対する操作に基づくデジタル処理を画像Ｂに施し、デジタル処理された画像Ｂを表示部６に表示させる。

上記実施形態において、操作受付部７が、タッチパネルであり、画像Ｂに対するタッチ操作を受け付けることとしたが、これに代えて、マウス等の他のデバイスによる操作を受け付けてもよい。
例えば、操作受付部７は、画像Ｂの位置を指示する操作として、操作盤５に接続されたマウスのクリック操作を受け付けてもよい。この場合、制御部４は、タップ位置に代えて、画像Ｂ内のクリック位置を用いる。また、操作受付部７は、画像Ｂのズーム指示の操作として、マウスのホイールの回転操作を受け付けてもよい。

上記実施形態において、制御部４は、ロボットアーム２ａの動作に所定の制限をかけながらロボットアーム２ａを制御してもよい。例えば、制御部４は、手首フランジ２ｂの鉛直方向の位置を一定に維持しながらロボットアーム２ａを動作させることによって、手首フランジ２ｂおよびカメラ３を水平方向にのみ移動させてもよい。あるいは、制御部４は、一部の所定の関節のみを回転させることによって、手首フランジ２ｂおよびカメラ３を所定の軸回りにのみ移動させてもよい。

６軸Ｊ１～Ｊ６の垂直多関節ロボット２の場合、ロボットアーム２ａの動きの自由度が高いため、操作者は、ロボットアーム２ａの動きを予測し難いことがある。ロボットアーム２ａの動作に制限をかけ手首フランジ２ｂおよびカメラ３の動きを単純化することによって、操作者は、画像Ｂに対して操作したときのロボットアーム２ａの動作を容易に予測することができ、ロボットアーム２ａの操作性を向上することができる。

上記実施形態において、ロボット制御装置１が、図１に示されるように、カメラ３に取り付けられた９軸センサ１３をさらに備えていてもよい。
９軸センサ１３は、３軸加速度センサ、３軸角速度センサおよび３軸地磁気センサを含み、センサ座標系でのカメラ３の位置および姿勢に加えて、ワールド座標系でのカメラ３の姿勢を検出する。センサ座標系は、９軸センサ１３に対して固定された座標系である。ワールド座標系は、ロボット機構部２のベース２ｄに対して（すなわち、地面または床面に対して）固定された座標系であり、制御部４がロボットアーム２ａの制御に用いるロボットアーム２ａの座標系である。したがって、制御部４は、９軸センサ１３の検出値から、ワールド座標系でのカメラ３の動き（移動軌跡）および姿勢を推定することができる。

９軸センサ１３が設けられている場合、制御部４は、９軸センサ１３の検出値から推定されるカメラ３の姿勢に基づき、カメラ３が所定の姿勢で所定の方向に移動するように、ロボットアーム２ａを制御してもよい。例えば、制御部４は、カメラ３を鉛直下方に向けたまま水平方向に並進移動させるように、ロボットアーム２ａを制御してもよい。

手首フランジ２ｂから離れた位置にカメラ３が取り付けられている場合、手首フランジ２ｂの動きとカメラ３の動きとの間に差が生じる。９軸センサ１３を用いてカメラ３の動きを直接検出することによって、制御部４は、手首フランジ２ｂの動きとカメラ３の動きとの関係を把握し、カメラ３の動きをロボットアーム２ａの動きによって制御することができる。
例えば、前述したように、手首フランジ２ｂの回転軸Ｊ６とカメラ３の光軸との間に距離がある場合、手首フランジ２ｂが回転したときに画像Ｂは手首フランジ２ｂの回転軸Ｊ６回りに回転する。画像Ｂを中心回りに回転させるために、制御部４は、手首フランジ２ｂの動きとカメラ３の動きとの関係に基づき、カメラ３が光軸回りに回転するようにロボットアーム２ａを移動させてもよい。

例えば、カメラ３が着脱式である場合、ロボットアーム２ａまたはツール２ｃにカメラ３を取り付ける度に、手首フランジ２ｂに対するカメラ３の位置および姿勢が異なり得る。９軸センサ１３を用いることによって、ロボット制御装置１は、ワールド座標系でのカメラ３の動きおよび姿勢を推定することができるので、手首フランジ２ｂに対するカメラ３の位置および姿勢を設定するための煩雑なキャリブレーションが不要である。したがって、簡単な設定のみで制御部４によってカメラ３の動きを正確に制御することができる。

ロボットアーム２ａの動作可能範囲内に、ロボットアーム２ａの侵入を禁止する侵入禁止領域が設定されていることがある。このような場合、ロボット制御装置１は、操作盤５を介して侵入禁止領域を操作者に報知してもよい。例えば、タップ位置が侵入禁止領域内の位置である場合、ロボット制御装置１は、その旨を示す表示を表示部６に表示させてもよい。

上記実施形態において、ロボット操作装置が、カメラ３を１つのみ備えることとしたが、これに代えて、複数のカメラ３を備えていてもよい。この場合、表示部６は、複数のカメラ３によって取得された画像Ｂを表示してもよい。
上記実施形態において、ロボット機構部２は、６軸の垂直多関節ロボットであることとしたが、これに代えて、他の種類のロボットであってもよい。例えば、ロボット機構部２は、６軸以外の軸数の垂直多関節ロボット、水平多関節ロボットまたはパラレルリンクロボットであってもよい。

１ ロボット制御装置（ロボット操作装置）
２ ロボット機構部
２ａ ロボットアーム
３ カメラ（ロボット操作装置）
４ 制御部
６ 表示部
７ 操作受付部、タッチセンサ（タッチ操作部）
８ タッチディスプレイ（表示部、操作受付部）
１３ ９軸センサ
１００ ロボット
Ｂ 画像

Claims (14)

1. ロボットアームに取り付けられ、画像を取得するカメラと、
   該カメラによって取得された前記画像を表示する表示部と、
   該表示部に表示された前記画像に対する操作を受け付ける操作受付部と、
   該操作受付部が受け付けた前記操作に基づいて前記ロボットアームを動作させる制御部と、を備え、
   前記操作受付部が、前記画像内の任意の位置を指示する操作を受け付けた際に、
   前記制御部は、前記ロボットアームの座標系における前記ロボットアームの先端および前記カメラのうち少なくとも一方の位置または姿勢と前記位置を指示する操作とに基づいて前記ロボットアームを動作させることによって、前記指示された位置を前記画像内の所定位置に向かって移動させるロボット操作装置。
2. 前記制御部が、
   前記ロボットアームの移動量と前記画像内の物体の移動量との関係を算出し、
   算出された前記関係に基づいて、前記指示された位置を前記所定位置に移動させるために必要な前記ロボットアームの移動量を算出する、請求項１に記載のロボット操作装置。
3. 前記操作受付部が、前記表示部に表示された前記画像のズーム指示の操作を受け付け、
   前記制御部は、前記操作受付部が受け付けた前記ズーム指示の操作に基づき、前記カメラを該カメラの光軸方向に移動させるように前記ロボットアームを動作させる、請求項１または請求項２に記載にロボット操作装置。
4. 前記操作受付部が、前記表示部に表示された前記画像の回転指示の操作を受け付け、
   前記制御部は、前記操作受付部が受け付けた前記回転指示の操作に基づき、前記カメラを該カメラの光軸回りまたは該光軸に平行な軸回りに回転させるように前記ロボットアームを動作させる、請求項１から請求項３のいずれかに記載にロボット操作装置。
5. 前記操作受付部が、前記表示部に設けられ、タッチ操作を受け付けるタッチ操作部を備え、
   前記画像内の任意の位置を指示する操作が、該任意の位置のタップ操作である、請求項１から請求項４のいずれかに記載のロボット操作装置。
6. 前記カメラに取り付けられた９軸センサを備え、
   前記制御部が、前記９軸センサによって検出された検出値に基づいて、前記ロボットアームの座標系における前記カメラの姿勢を推定し、該カメラの姿勢に基づいて前記ロボットアームを制御する、請求項１から請求項５のいずれかに記載のロボット操作装置。
7. 前記画像内の所定位置は、前記画像の中心位置である、請求項１から請求項６のいずれかに記載のロボット操作装置。
8. ロボット機構部と、
   請求項１から請求項７のいずれかに記載されたロボット操作装置と、を備えるロボット。
9. ロボットアームに設けられたカメラによって取得された画像を表示部に表示させるステップと、
   表示された前記画像に対する操作を受け付けるステップと、
   前記操作に基づいて前記ロボットアームを制御するステップと、を備え、
   前記操作を受け付けるステップが、前記画像内の任意の位置を指示する操作を受け付けた際に、
   前記制御するステップは、前記ロボットアームの座標系における前記ロボットアームの先端および前記カメラのうち少なくとも一方の位置または姿勢と前記位置を指示する操作とに基づいて、前記指示された位置を前記画像内の所定位置に向かって移動するように前記ロボットアームを動作させる、方法。
10. 前記操作を受け付けるステップが、前記表示部に表示された前記画像のズーム指示の操作を受け付け、
    前記制御するステップは、前記ズーム指示の操作に基づき、前記カメラを該カメラの光軸方向に移動させるように前記ロボットアームを動作させる、請求項９に記載の方法。
11. 前記操作を受け付けるステップが、前記表示部に表示された前記画像の回転指示の操作を受け付け、
    前記制御するステップは、前記回転指示の操作に基づき、前記カメラを該カメラの光軸回りまたは該光軸に平行な軸回りに回転させるように前記ロボットアームを動作させる、請求項９または請求項１０に記載の方法。
12. 前記画像内の所定位置は、前記画像の中心位置である、請求項９から請求項１１のいずれかに記載の方法。
13. 請求項９から請求項１２のいずれかに記載の方法を少なくとも１つのプロセッサに実行させるプログラム。
14. 少なくとも１つのメモリと、
    少なくとも１つのプロセッサと、を備え、
    該少なくとも１つのプロセッサは、請求項９から請求項１２のいずれかに記載の方法を実行する、ロボット制御装置。

Images