JP7423726B2 - ロボットシステム、ロボットシステムの制御方法、ロボットシステムを用いた物品の製造方法、制御装置、操作装置、操作装置の制御方法、撮像装置、撮像装置の制御方法、制御プログラム及び記録媒体 - Google Patents

Description

本発明は、ロボットシステムに関する。

近年、工場の生産ラインにおいて組立・搬送・塗布といった作業はロボット装置を用いたロボットシステムによって自動化が行われている。ロボット装置には回転駆動する関節を複数有するロボットアームを用いた多関節ロボットや、水平に駆動するアームリンクを複数有するロボットアームを用いた垂直多関節ロボットなどが挙げられる。

このようなロボットシステムでは制御技術の進歩によって、遠隔地からロボット装置に対して所望の動作指令を与えることが可能となっている。例えば、ロボット装置を制御する制御装置と、遠隔地にいる作業者が操作するコンピュータの２つをネットワークに接続し、ネットワークカメラのような撮像装置によりロボット装置をコンピュータの画面上に映す。こうすることで、作業者が遠隔地にいてもコンピュータの画面上でロボット装置を操作することが可能となる。

これにより工場のロボット装置が異常をきたし、作業者の視認によるロボット装置のメンテナンスが必要になった場合でも、遠隔地から撮像装置を用いてメンテナンスを実行することができる。よって工場の生産ラインの自動化だけでなく、無人化を図ることができる。

以上のような、工場の生産ラインの無人化は、人的コストの削減だけでなく、工場の環境によって作業者の立ち入りが、はばかられる場合であっても工場の監視を行うことができるため、工場の無人化が多く望まれている。

上記のように撮像装置を用い、遠隔地からの視認によりロボット装置を操作するにあたり、重要となるのが撮像装置の視点である。先ほど述べたようにロボット装置が異常をきたした際に、遠隔地から視認でメンテナンスを行う為に、ロボット装置に所定の動作を実行させる場合、ロボット装置の動作によって作業者が注視したい視点がある。

例えば、ロボットアームの先端にロボットハンドが設けられたロボット装置を用い、ロボットハンドにより対象物を把持するような動作のメンテナンスであれば、ロボットハンドや作業物を注視しなければならない。

また、ロボット装置のロボットアームが異常をきたしたことで停止し、その停止したロボットアームの姿勢から、所定の姿勢に復帰させる場合、ロボットアームの特定部位が周辺の障害物の近傍を通過するような動作となる場合がある。この場合、ロボットアームの特定部位が周辺の障害物と接触しそうになればロボットアームを非常停止できるように、ロボットアームを復帰させる動作をさせながら、特定部位の近傍を注視し続けるように撮像装置の視点を制御させたい。

特許文献１では、撮像装置により注視したい対象物の動作軌跡を、撮像装置により撮像された映像から検出することで、撮像装置の追従制御を容易に行う方法が提案されている。

特開２０１６－１１１６４９号公報

特許文献１の記載の技術は、撮像装置により撮像された映像に対して対象物の位置を検出する処理（画像マッチング）を行うことで、撮像装置の視点を対象物に追従させる制御を行うことを可能としている。そのためロボット装置の動作に対して、撮像装置の視点を追従するような制御を行う場合、ロボットの部位に対して予め複数の追跡マーカーを備えておく必要がある。工場で用いられるロボット装置には、様々な周辺機器が設置されている場合が多く、追跡マーカーが他の周辺機器の影に隠れてしまっている場合には、撮像装置の視点の追従制御を行うことが困難となる。

本発明は、このような課題に鑑みてなされたものであり、周辺機器が設置されているロボット装置を撮像装置の撮像により操作する際、追跡マーカーを用いることなく、撮像装置の視点の制御を行うことができるロボットシステムを提供する。

上記課題を解決するために本発明は、ロボットと撮像装置とを備えたロボットシステムであって、前記ロボットシステムは、前記ロボットと前記撮像装置とを制御する制御装置を有し、前記制御装置は、前記ロボットにおける所定部位が移動する予定となっている経路に基づき、前記所定部位が移動しても前記所定部位を撮像するように前記撮像装置を制御する制御データを取得する、ことを特徴とするロボットシステムを採用した。

本発明によれば、注視したい対象物の経路を演算する。そして、注視したい対象物の経路を基に、撮像装置の撮像視点を設定する。これにより、追跡マーカーを用いることなく、撮像装置の視点の制御を行うことができる。

実施形態におけるロボットシステム１０００の構成を示した図である。 実施形態におけるロボット装置１の構成を示した図である。 実施形態における撮像装置２の構成を示した図である。 実施形態におけるコンピュータ３の構成を示した図である。 実施形態における制御方法のフローチャートである。 実施形態におけるロボット装置１が異常停止した際の図である。 実施形態における演算された経路と撮像視点を示す図である。 実施形態における撮像装置２により撮像されているロボット装置１を監視する際の画面構成を示した図である。 実施形態における撮像装置２により撮像されているロボット装置１を監視する際の画面構成の変形例を示した図である。 実施形態における撮像装置４の構成を示した図である。 実施形態における撮像装置４により撮像されているロボット装置１を監視する際の画面構成を示した図である。 実施形態における撮像装置２により撮像されているロボット装置１を監視する際の画面構成の変形例を示した図である。

以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す実施形態はあくまでも一例であり、細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更できる。また、本実施形態で取り上げる数値は参考数値であって本発明を限定するものではない。

（第１の実施形態）
図１は本実施形態のおけるロボットシステム１０００の概略構成を示した図である。本実施形態ではロボット装置１がベルトコンベア１５０から矢印Ｐ方向に流れてくるワークＷａからＷｄを、トレイ１５２へ並べる作業を例にとり説明する。

ロボットシステム１０００は、ロボット装置１とロボット装置１の状況を撮像するための撮像装置２、ロボット装置１と撮像装置２を制御するロボットシステム制御装置１３、遠隔地から作業者が撮像装置２の映像を閲覧するためのコンピュータ３から成る。コンピュータ３とロボットシステム制御装置１３は、通信装置６０を介して接続されており、遠隔通信可能に構成されている。

ここで、遠隔地とは操作対象となるロボット装置１を作業者が直接視認することができず、撮像装置２を用いることで視認できる場所のことを指す。

図１より、撮像装置２は柱１５５に設けられており、この撮像装置２がロボット装置１の動作を撮像し、遠隔地に設けられたコンピュータ３のディスプレイ３１にロボット装置１の画像を表示する。また、ロボット装置１の周りに防護壁１５３、１５４が設置されている。防護壁１５３、１５４はワークや現場の作業者がロボット装置１とぶつからないよう、安全のために設けられている。

図２は本実施形態におけるロボット装置１の構成を示した図である。本実施形態ではロボット装置として６軸多関節ロボットを例に説明する。

図２より、ロボット装置１は基台１０、６つの関節Ｊ１からＪ６を有するロボットアーム本体５０、ワークを把持するエンドエフェクタ１１を備える。また、ロボット装置１はケーブル１２を介してロボットシステム制御装置１３に接続される。更に、ロボットシステム制御装置１３は外部ネットワークに接続するためのネットワークカードを備え、外部ネットワークに接続するための通信装置６０にケーブル１４を介して接続されている。

本実施形態ではエンドエフェクタ１１として、３つの指部を備えたロボットハンドを例に説明する。なお、本実施形態では指部を備えたロボットハンドを例にとるが、例えば指部の代わりに吸着機構を設けワークの保持を行うエンドエフェクタ等、ワークに作業を行うことができる機構を別途用いても良い。

ロボットシステム制御装置１３はマイクロプロセッサなどから成るＣＰＵなどによって構成されている。ロボットシステム制御装置１３には外部入力装置が接続されていても良い。例えば教示者がロボット装置１の近辺で直接ロボット装置１の教示を行うためのティーチングペンダント等が外部入力装置の例として挙げられる。

教示者により外部入力装置を用いて指令値をロボット制御装置１３に入力し、制御装置１３からの制御値がロボットアーム本体５０及びエンドエフェクタ１１に渡されることでワークをトレイ１５２に並べる等の動作がロボット装置１により行われる。

またロボットシステム制御装置１３は、ロボットアーム本体５０の各種動作に応じて対応する駆動部を制御するためのプログラムや、それらの制御に必要なデータ等を記憶したＲＯＭを有する。さらにロボットアーム本体５０を制御する上で必要なデータ、設定値、プログラム等を展開するとともにＣＰＵの作業領域として使用するＲＡＭを備えている。

図２よりロボットアーム本体５０は、複数リンク、例えばシリアルリンク形式で複数の関節（６軸）を介して相互に接続した構成を有する。ロボットアーム本体５０のリンク５１、５２、５３、５４、５５、および５６は、関節Ｊ１、Ｊ２、Ｊ３、Ｊ４、Ｊ５、およびＪ６を介して駆動される。駆動源として各々の関節には不図示のモータを有している。

同図より、ロボットアーム本体５０の基台１０とリンク５１はＺ軸方向の回転軸の周りで回転する関節Ｊ１で接続されている。関節Ｊ１は、例えば初期姿勢から約±１８０度の可動範囲を有するものとする。

ロボットアーム本体５０のリンク５１とリンク５２は関節Ｊ２で接続されている。関節Ｊ２の回転軸は、図示の状態ではＸ軸方向に一致している。この関節Ｊ２は、例えば初期姿勢から約±８０度の可動範囲を有するものとする。

ロボットアーム本体５０のリンク５２とリンク５３は関節Ｊ３で接続されている。この関節Ｊ３の回転軸は、図示の状態ではＸ軸方向に一致している。関節Ｊ３は、例えば初期姿勢から約±７０度の可動範囲を有するものとする。

ロボットアーム本体５０のリンク５３とリンク５４とは、関節Ｊ４で接続されている。この関節Ｊ４の回転軸は、図示の状態ではＹ軸方向に一致している。関節Ｊ４は、例えば初期姿勢から約±１８０度の可動範囲を有するものとする。

ロボットアーム本体５０のリンク５４とリンク５５は関節Ｊ５で接続されている。関節Ｊ５の回転軸はＸ軸方向に一致している。この関節Ｊ５は、初期姿勢から約±１２０度の可動範囲を有するものとする。

ロボットアーム本体５０のリンク５５とリンク５６は関節Ｊ６で接続されている。関節Ｊ６の回転軸はＺ軸方向に一致している。この関節Ｊ６は、初期姿勢から約±２４０度の可動範囲を有するものとする。

また、ロボットアーム本体５０の先端に接続されるエンドエフェクタ１１は生産ラインにおいて組み立て作業や移動作業を行うためのロボットハンドが適用されている。

このエンドエフェクタ１１は、リンク５６に対してビス止めなどの半固定的な手段によって装着されるか、あるいは、ラッチ止めなどの着脱手段によって装着可能であるものとする。

特に、エンドエフェクタ１１が着脱可能である場合は、ロボットアーム本体５０を制御して、ロボットアーム本体５０自身の動作によって、供給位置に配置された他のエンドエフェクタ１１を着脱ないし交換する方式も考えられる。

さらに本実形態では、関節Ｊ１～Ｊ６の駆動をフィードバック制御できるように各関節にそれぞれ不図示のトルクセンサとエンコーダを各々配置しているものとする。

図３は撮像装置２の構成を示した図である。本実施形態ではパン・チルト・ズームが可能な撮像装置を例に説明する。

撮像装置２はカメラベース２０と可動部２１、また可動部２１内には撮像部２２を備えている。

可動部２１は、チルトモーターを有しており、シャフトやベアリング等の伝達機構を介して撮像部２２を設けることで、撮像部２２を矢印Ａのチルト方向に回転できるようにしている。

同様に可動部２１は、パンモーターを有しており、シャフトやベアリング等の伝達機構を介して撮像部２２を設けることで、撮像部２２を矢印Ｂのパン方向に回転できるようにしている。

更に、撮像装置２は外部ネットワークに接続するためのネットワークカードを備え、外部ネットワークに接続するための通信装置６０にケーブル２３を介して接続されている。

以上により、撮像装置２は可動部２１によりロボット装置１および周りの所定の位置を撮像することができ、撮像画像を、通信装置６０を介して遠隔地にあるコンピュータ３のディスプレイ３１に表示することができる。

図４は遠隔地において、作業者が撮像装置２から撮像画像を基にロボット装置１の操作を行うためのコンピュータ３を示した図である。コンピュータ３はＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）３０、ディスプレイ３１、キーボード３２、マウス３３を備える。

ディスプレイ３１には遠隔地にあるロボット装置１を制御するためのインターフェースや、撮像装置２から撮像された撮像画像などが表示される。

更に、ＯＳ３０は外部ネットワークに接続するためのネットワークカードを備え、外部ネットワークに接続するための通信装置６０にケーブル３４を介して接続されている。

以上により作業者は、ディスプレイ３１に表示された情報を基に、キーボード３２、マウス３３を用いて指令値を入力し、遠隔地からロボット装置１および撮像装置２を操作することができる。

本実施形態ではロボット装置１がベルトコンベア１５０から矢印Ｐ方向に流れてくるワークＷａからＷｄを、トレイ１５２へ並べる作業を例にとり説明したが、ワークを並べるためのロボット装置１の動作は予め作成された動作プログラムによって実施される。本実施形態ではこの動作を定常動作と呼ぶ。

しかし何らかの異常が発生し、ロボット装置１の動作が停止してしまうことがある。例えば現場の作業者がロボット装置１付近に立ち入ったことでロボット装置１を非常停止させた場合や、ベルトコンベア１５０上に異種のワークが流れてきたことにより定常動作時に異常が発生するような場合である。

このとき、ロボット装置１が停止している位置を異常停止位置と呼ぶ。一般的に、ロボット装置１が定常動作を再開するためにはロボット装置１を定常動作内の最初の始点となる位置へと動かさなければならない。この位置を復帰位置と呼び、異常停止位置から復帰位置へのロボット装置１の動作のことを復帰と呼ぶ。

この復帰を行うために、本実施形態では作業者が遠隔地から撮像装置２を使用してロボット装置１の状態を確認し、更にロボット装置１の復帰の軌道の作成および復帰軌道の実行、動作中のロボット装置１の監視までを行う。

その際、ロボット装置１が周辺機器と接触することが無いよう、ロボット装置１を撮像装置２の撮像により操作する際、追跡マーカーを用いることなく、容易に安全確認を行いながら上記を行うことができるようにする。以下で詳述する。

図５は本実施形態におけるロボット装置１と撮像装置２の制御方法のフローチャートである。制御方法はＳ１００からＳ１０７の８工程から成る。各工程の具体的な方法については図を参照しながら後述する。

まず前提として、ロボット装置１が上述した異常状態となり、異常停止位置で停止している状態から本フローがスタートするものとする。

図６（ａ）は動作中のロボット装置１が異常停止した際のロボット装置１の異常停止位置と復帰位置を示した図である。図６（ｂ）は作業者がコンピュータ３のディスプレイ３１にて異常状態となったロボット装置１をシミュレーション上で表示した際の画面構成を示した図である。

図６（ａ）（ｂ）より、ロボット装置１はエンドエフェクタ１１が異常停止位置７０にて停止している状態を表しており、エンドエフェクタ１１をワークＷａの上空にある復帰位置７１へと復帰させる必要がある。本実施形態では始点と終点の情報からロボット装置１の軌道を自動で生成する機能を持っている。

図６（ｂ）よりコンピュータ３の画面内では３Ｄの画面表示を行うための３Ｄモデル表示部８０と、ロボット装置１の軌道を作成するための軌道生成表示部９０を表示している。

３Ｄモデル表示部８０内には実際に配置されているロボット装置１やワークなどが３Ｄモデルのシミュレーションとして表示されている。

ロボット装置１やベルトコンベア１５０といった可動物は適宜作業者が、キーボード３２およびマウス３３を用いて動かすことが出来る。３Ｄモデル表示部８０内に表示されるものは説明の便宜上「´」記号を付ける。

軌道生成表示部９０には、始点設定用の始点選択ボックス９１と、終点設定用の終点選択ボックス９２を備える。始点選択ボックス９１と終点選択ボックス９２内には作業者が作成した教示点が表示され、作業者が選択することが出来る。

また軌道生成表示部９０には、軌道生成ボタン９３、軌道再生ボタン９４、一時停止ボタン９５、停止ボタン９６を備える。

軌道生成ボタン９３を作業者がクリックすると、始点選択ボックス９１で選択された教示点から、終点選択ボックス９２で選択された教示点までのロボット装置１の軌道の計算が処理される。

軌道の計算はＲＲＴ（Ｒａｐｉｄｌｙ－Ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅｓ）といった技術を利用し行われる。軌道の計算が終了すると、軌道再生ボタン９４をクリックすることで、実際にロボット装置１とエンドエフェクタ１１がどのような動作をするかを３Ｄモデル表示部８０内で確認することが出来る。

ここで言う軌道とは、ロボット装置１の各関節Ｊ１～Ｊ６の制御周期毎の変位値を表すものとする。例えばロボット装置１の制御周期が４ｍｓで、２０００ｍｓの時間がかかる動作をロボット装置１が行う場合には、全部で５００組の各関節Ｊ１～Ｊ６の変位値で表される。

図５に戻り、ロボット装置１に異常状態が発生し、ロボット装置１が異常停止位置で停止すると、本フローがスタートし、Ｓ１００に進む。

Ｓ１００では、実際に配置されているロボット装置１に異常が発生した段階でロボットシステム制御装置１３とＯＳ３０とが通信し、３Ｄモデル表示部８０内のロボット装置１´が、ロボット装置１と同じ姿勢となるように表示する。

この際、ＯＳ３０は、異常状態におけるロボット装置１の各関節Ｊ１～Ｊ６に設けられたエンコーダの検出値をロボットシステム制御装置１３から受け取り、エンコーダの検出値を基にモデリングされたロボット装置１´を表示する。これにより３Ｄモデル表示部８０内のロボット装置１´を、異常が発生した段階のロボット装置１と同じ姿勢となるように表示することができる。

次にＳ１０１に進み、遠隔地にいる作業者から受信した所定の指令を基に、エンドエフェクタ１１を異常停止位置から復帰位置へ移動させるためのロボット装置１の軌道をシミュレーション上で作成する。ここでは、始点は異常停止位置７０の位置、終点は復帰位置７１の位置が作業者により入力される。

次にＳ１０２に進み、Ｓ１０１で演算されたロボット装置１の軌道を基にエンドエフェクタ１１の経路を演算する。ここで経路とは、ロボット装置１を軌道に沿って動作させた際に、ロボット装置１に係わる特定部位が軌道の制御周期毎に配置される位置の遷移のことを表すものとする。

本実施形態では特定部位としてエンドエフェクタ１１を設定しており、ロボット装置１の制御周期を４ｍｓ、ロボット装置１の動作が２０００ｍｓかかる時、エンドエフェクタ１１は２０００ｍｓ／４ｍｓより全部で５００個の位置を順に遷移していくことになる。

本実施形態ではロボット装置１に係わる特定部位としてエンドエフェクタ１１を例にしているが、ロボットアーム本体５０の関節であるＪ１からＪ６など所定の場所を指定することが出来る。

特定部位として選択された場所は撮像装置２が撮像する位置になるため、例えばロボット装置１において、防護壁１５３、１５４に接触しそうな箇所があれば、その部位を特定部位として選択するような使い方が出来る。

経路は、軌道すなわちロボットの各関節Ｊ１～Ｊ６の変位をもとに、ロボットの順運動学を解いていくことで、エンドエフェクタ１１の位置を演算でき、エンドエフェクタ１１の経路を演算することが出来る。Ｓ１０２は経路演算工程となる。

Ｓ１０１でロボット装置１の軌道が計算され、Ｓ１０２でエンドエフェクタ１１の経路が計算されると、３Ｄモデル表示部８０内に経路８１が表示される（図６（ｂ））。なお、作業者は経路８１と撮像装置２により撮像される撮像画像を確認しながら、Ｓ１０１で生成されたロボット装置１の軌道に対して修正を加えても良い。

次にＳ１０３に進み、撮像装置２の可動部２１の制御を行うための撮像視点を演算する。撮像装置２を遠隔地から制御する場合、遠隔地から撮像装置２までの通信の遅延を考慮しなければならない。撮像装置２が撮像しているロボット装置１の動作と、実際に動作しているロボット装置１の動作がズレるためである。ズレが生じた場合、遠隔地に居る作業者は、撮像装置２により撮像された撮像画像に基づいてロボット装置１を操作するため、作業者の意に沿わないロボット装置１の動作を実行してしまい、トラブルの原因となり得る。

そこで本実施形態では、遠隔地から撮像装置２までにかかる通信の応答時間の値を周期として、経路８１から撮像視点を抽出する。ここで応答時間とは、遠隔地に居る教示者がＯＳ３０により撮像装置２への指令値を入力した時点から、指令値を基に撮像装置２が駆動されるまでの時間のことを指す。

例えばロボット装置１の制御周期を４ｍｓとし、エンドエフェクタ１１の経路８１を動作させる際２８０ｍｓかかるとする。このとき２８０ｍｓ／４ｍｓより、経路８１におけるエンドエフェクタ１１の位置は７０個となる。

しかしながら、撮像装置２と遠隔地にあるＯＳ３０との応答時間は、ロボット装置１の制御周期４ｍｓよりも大きい。例えば撮像装置２とＯＳ３０との応答時間は４０ｍｓかかるとする。

先ほどの計算より経路８１におけるエンドエフェクタ１１の位置は７０個あるため、この位置を全て教示者からの指令値により撮像装置２を駆動させて撮像するためには４０ｍｓ×７０個より最低でも２８００ｍｓかかる。経路８１におけるロボット装置１の動作時間は２８０ｍｓであるため、このままでは撮像装置２で撮像しているロボット装置１と、実際に動作しているロボット装置１がズレてしまう。

そこで、撮像装置２とＯＳ３０との通信にかかる応答時間で、エンドエフェクタ１１の経路８１における動作時間を分割し、撮像視点を演算する。

エンドエフェクタ１１の経路８１における動作時間は２８０ｍｓ、撮像装置２とＯＳ３０との通信にかかる応答時間は４０ｍｓであるため、２８０ｍｓ／４０ｍｓより７個の、経路８１におけるエンドエフェクタ１１の位置を抽出し、撮像視点を演算する。これにより、エンドエフェクタ１１の動作時間と、撮像装置２の撮像時間をほぼ一致させることができ、上述したズレを低減することができる。Ｓ１０３は撮像視点演算工程となる。

図７はＳ１０３で演算された、経路８１を撮像装置２により撮像するための複数の撮像視点を示した図である。エンドエフェクタ１１が動作する経路８１上に、撮像視点８２から８７の６個と、復帰位置７１を足した計７個の撮像視点が示されている。異常停止位置７０も加えると、撮像視点は全部で８個となる。

次にＳ１０４に進み、撮像視点に対応する撮像装置２の制御指令値を演算する。撮像装置２の制御指令は、パンモーターの回転量およびチルトモーターの回転量の組み合わせから成るものとする。これらはＯＳ３０による、ロボット装置１や周辺機器がモデリングされたシミュレータを使って演算されるものとする。パン・チルト回転量は撮像視点と撮像装置の相対位置関係から演算することが出来る。また、撮像視点と撮像装置２の距離から撮像装置２のズーム量を調整しても良い。

上記の制御指令値をＯＳ３０及び制御装置１３を介して撮像装置２に対して送信することで、撮像装置２をＳ１０３で演算した撮像視点を撮像するように動かすことが出来る。なお、撮像装置２の制御指令値は一括で送信することができず、撮像装置２を動かし続けるには継続的に制御指令値を送信し続けなければならないものとする。

次にＳ１０５に進み、Ｓ１０２で求めた軌道に対応するロボット装置１の制御指令値を演算する。ロボット装置１の制御指令は様々な形式が考えられるが、本実施形態では制御周期毎の各関節Ｊ１～Ｊ６の変位値、すなわち軌道そのものがロボット装置１の制御指令値であるとする。

この制御指令値をロボットシステム制御装置１３へ送信することで、ロボット装置１を遠隔地から操作することが出来る。またロボット装置１の制御指令値は、ロボット装置１が始点位置から終点位置まで動作する全ての制御指令値を事前に一括で送信できるものとする。

次にＳ１０６に進み、撮像装置２の撮像部２２が撮像するべき最初の撮像視点を設定する。本実施形態では、ロボット装置１が現在異常停止している位置、すなわち異常停止位置７０を最初の撮像視点として設定する。

最後にＳ１０７に進み、Ｓ１０４で演算した撮像装置２の制御指令値と、Ｓ１０５で演算したロボット装置１の制御指令値を、ロボットシステム制御装置１３へと送信する。ロボット装置１の制御指令値は一括で送信できるが、撮像装置２の制御指令値は一括で送信できないため、Ｓ１０３で定めた周期毎に制御指令値を送信する必要がある。これにより、ロボット装置１の動作に追従した撮像装置２の視点の制御を容易に実行することができる。

図８は作業者がロボット装置１の動作を監視する際のコンピュータ３の画面構成を示した図である。Ｓ１０７までの工程が終了すると、ディスプレイ３１に表示されていた３Ｄモデルの表示から、撮像装置２が撮像している撮像画像の表示に切り換わる。この表示の切換は作業者により任意のタイミングで切り換えることができるように設定されているものとする。

図８より、撮像装置２によりロボット装置１の動作を監視する際、ディスプレイ３１内には撮像表示部１００と、ロボット装置操作部１１０と、撮像操作部１２０が表示されている。

撮像表示部１００は撮像装置２が撮像している撮像画像を表示するための表紙部、ロボット装置操作部１１０はロボット装置１を操作するための操作部、撮像操作部１２０は撮像装置２を操作するための操作部である。

ロボット装置操作部１１０にはロボット装置１を手動で操作する場合と自動で操作する場合に用いられる２つの操作部から成る。

手動操作の方法としては、ロボット装置１のエンドエフェクタ１１を任意の座標系におけるＸＹＺ方向に移動させるためのエンドエフェクタ操作ボタン１１１と、各関節Ｊ１～Ｊ６毎に回転量を操作するための関節操作ボタン１１２を備えている。

また自動操作を行う場合は、工程Ｓ１０１にて演算した軌道を実際のロボット装置１で実行するための実行ボタン１１３や、一時停止ボタン１１４、非常停止ボタン１１５を備える。

撮像操作部１２０にも、撮像装置２を手動で操作する場合と自動で操作する場合に用いられる２つの操作部から成る。

手動操作は撮像装置２のパン・チルト操作を行うための視点操作ボタン１２１や、ズームイン・ズームアウト操作を行うためのズーム操作ボタン１２２を備える。

また、自動操作を行うための表示部には撮像装置２の撮像対象を指定するための撮像対象ボックス１２３がある。ここにはロボット装置１に係わる部位が表示され、ここで選択された部位からＳ１０２の経路が計算される。

撮像装置２をＳ１０３で演算した撮像視点を基に自動で撮像制御させたい場合は、追従ＯＮボタン１２４をクリックする。撮像装置２の追従が不要な場合は、追従ＯＦＦボタン１２５をクリックする。

以上が、本実施形態に係わるロボット装置１の動作に追従した撮像装置１の視点操作の制御方法である。追従ボタン１２４をＯＮの状態にし、ロボット装置１の自動操作を実行する実行ボタン１１３を押すことで、追跡マーカーの設置などの事前準備なく、ロボット装置１の動作に追従したカメラの制御を容易に行うことが出来る。これにより追跡マーカーが他の周辺機器の影に隠れてしまい、撮像装置の視点の制御を行うことが困難となることを防ぐことができる。

また、ロボット装置１を実際に動作させる際、作業者が予期しない事態が発生する恐れがある。しかしロボット装置１の動作に追従して撮像装置２の視点が自動で制御されることで、ロボット装置１の操作に集中できる。よって予期しない事態が発生したとしても、作業者は瞬時に非常停止などの措置を取ることが出来、ロボット装置１と周辺機器との接触を未然に防ぐことができる。

また、撮像装置２の撮像視点を設定する際、撮像装置２とＯＳ３０との通信にかかる応答時間で、エンドエフェクタ１１の経路８１における動作時間を分割し、撮像視点を演算している。これによりエンドエフェクタ１１の動作時間と、撮像装置２の撮像時間を一致させることができ、動作の同期ズレを防止することができる。

撮像装置２がエンドエフェクタ１１とその周辺をある程度撮像できるほどの画角があれば、Ｓ１０６で異常停止位置７０の次の撮像視点８２を最初の撮像視点として設定してもよい。このようにすれば、ロボット装置１の動作を先回りして監視することができ、ロボット装置１の動作により、ロボット装置１における所定の位置が周辺機器と接触することをより確実に防止することができる。

また先回りの動作は、撮像装置２を撮像視点を基に先に動作させてから、所定のタイミングで経路８１におけるロボット装置１の動作を開始させることで実現しても良い。

また図９に示すように、撮像表示部１００にＳ１０２で演算した経路８１とＳ１０３で演算した撮像視点を、撮像装置２が撮像している撮像画像に同時に表示させてもよい。これにより、次はどのようにロボット装置１が動作するのか想定できるので、ロボット装置１における所定の位置が周辺機器と接触することをさらに防止することができる。

（第２の実施形態）
本発明の第２の実施形態における撮像装置を用いたロボットシステムの制御方法について図面を用いて説明する。第１の実施形態では、パン・チルト回転により視点を操作可能なパン・チルト・ズームカメラを例に説明した。本実施形態では周囲３６０度を撮像可能なカメラも好ましい。以下詳述する。

以下では、第１の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第１の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図１０は本実施形態における撮像装置４の構成を示した図である。撮像装置４は全方位カメラであり、カメラベース４０と撮像部４１、ネットワーク接続用のケーブル４２を備えている。撮像部４１により撮像装置４が設置されている場所を基準として３６０度の方向を撮像することが可能な構成になっている。また、撮像装置４は外部ネットワークに接続するためのネットワークカードを備え、外部ネットワークに接続するための通信装置６０にケーブル４２を介して接続されている。

本実施形態の撮像装置４は第１の実施形態のように撮像部の視点を可動させる機構も、ズームさせる機構も持たないが、撮像された撮像画像の一部を局所的に拡大させるデジタルズームが可能である。よって本実施形態における撮像装置４の制御は、撮像視点に対応する位置にデジタルズームを行うように制御することで、注視したい対象物に追従した視点の制御を行うことができる。

本実施形態における撮像装置４の制御方法は第１の実施形態と同様に、図５に示すフローチャートの通りであるため説明を省略する。

図１１は本実施形態における撮像装置４によって撮像されている撮像画像を表示する撮像表示部１００を示した図である。図１１（ａ）は撮像装置４が通常通り撮像している撮像画像を示している。図１１（ｂ）は、第１の実施形態のＳ１０３で演算した撮像視点に対応する位置に対してデジタルズームを行った場合の撮像画像を示している。

図１１（ｂ）のように、ロボット装置の経路や、撮像装置との通信ラグを加味して演算した撮像視点にデジタルズームを行うように撮像装置４を制御すれば、第１の実施形態と同様の効果を得ることが出来る。パン・チルト・ズームカメラでは、パンモーターやチルトモーター等の駆動源が必要となるためコストが大きくなる恐れがあるが、全方位カメラにはモータ等が設けられていないためコストを抑えることができる。

なお、上記のような画像処理に基づくデジタルズームの他に、撮像装置４が映し出す画像の拡大率をレンズにより合わせて、撮像視点を表示してもよい。

また図１２のように、演算された撮像視点に対応する位置に対して、撮像画像上でマーカーを追加するような処理を施しても良い。図１１は撮像装置が撮像した撮像画像において撮像視点に対応する位置にマーカー１４１を表示している。

作業者が押すことで、マーカー１４１に対して自動でデジタルズームを施すボタンを設けておけば、ロボット装置１の全体を見つつ、特定部位を注視することができるので、容易にロボット装置１の動作の監視を遠隔地から行うことができる。

上述した第１の実施形態、第２の実施形態の処理手順は具体的には制御装置１３、ＯＳ３０により実行されるものである。従って上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体は本発明を構成することになる。

また、上記実施形態では、コンピュータで読み取り可能な記録媒体がＲＯＭ或いはＲＡＭであり、ＲＯＭ或いはＲＡＭに制御プログラムが格納される場合について説明したが、本発明はこのような形態に限定されるものではない。本発明を実施するための制御プログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、制御プログラムを供給するための記録媒体としては、ＨＤＤ、外部記憶装置、記録ディスク等を用いてもよい。

（その他の実施形態）
上記第１の実施形態、第２の実施形態では、ロボットアーム本体５０が６つの関節を有する６軸多関節ロボットである場合を説明したが、関節の数はこれに限定されるものではない。ロボットアーム本体５０の形式として、垂直多軸構成を示したが、パラレルリンク型など異なる形式のロボットアーム本体５０の関節においても上記と同等の構成を実施することができる。

ロボットアーム本体５０の構成例を図２により示したが、これに限定されるものではなく、当業者において任意に設計変更が可能である。また、ロボットアーム本体５０の各モータは、上述の構成に限定されるものではなく、各関節を駆動する駆動源は例えば人工筋肉のようなデバイス等であってもよい。

また、上記第１の実施形態、第２の実施形態の撮像装置２、撮像装置４は単数であったが、撮像装置を複数用い、撮像装置を連動して制御し、撮像視点を撮像しても構わない。

また、上記第１の実施形態、第２の実施形態では、図８、図９、図１１、図１２を用いて撮像装置により撮像されているロボット装置の動作を監視するための画面構成をコンピュータ３のディスプレイ３１に表示したがこれに限られない。例えば、ティーチングペンダント等の外部入力装置や、アプリ等によりロボット装置を操作できるような携帯端末等、種々のインターフェースに表示しても構わない。

１ ロボット装置
２、４ 撮像装置
３ コンピュータ
１０ 基台
１１ エンドエフェクタ
１２、１４、２３、３４、４２ ケーブル
１３ ロボットシステム制御装置
２０、４０ カメラベース
２１ 可動部
２２、４１ 撮像部
３０ ＯＳ
３１ ディスプレイ
３２ キーボード
３３ マウス
５０ ロボットアーム本体
６０ 通信装置
７０ 異常停止位置
７１ 復帰位置
８０ ３Ｄモデル表示部
８１ 経路
８２～８７ 撮像視点
９０ 軌道生成表示部
９１ 始点設定ボックス
９２ 終点設定ボックス、
９３ 軌道生成ボタン
９４ 軌道再生ボタン
９５ 一時停止ボタン
９６ 停止ボタン
１００ 撮像表示部
１１０ ロボット装置操作部
１１１ エンドエフェクタ操作ボタン
１１２ 関節操作ボタン
１１３ 実行ボタン
１１４ 一時停止ボタン
１１５ 非常停止ボタン
１２０ 撮像操作部
１２１ 視点操作ボタン
１２２ ズーム操作ボタン
１２３ 撮像対象ボックス
１２４ 追従ＯＮボタン
１２５ 追従ＯＦＦボタン
１５０ ベルトコンベア
Ｗａ、Ｗｂ、Ｗｃ、Ｗｄ ワーク
１５２ トレイ
１５３、１５４ 防護壁
１５５ 柱

Claims (39)

1. ロボットと撮像装置とを備えたロボットシステムであって、
   前記ロボットシステムは、前記ロボットと前記撮像装置とを制御する制御装置を有し、
   前記制御装置は、
   前記ロボットにおける所定部位が移動する予定となっている経路に基づき、前記所定部位が移動しても前記所定部位を撮像するように前記撮像装置を制御する制御データを取得する、
   ことを特徴とするロボットシステム。
2. 請求項１に記載のロボットシステムにおいて、
   前記撮像装置は、前記制御データにより、前記ロボットとは独立して制御される、
   ことを特徴とするロボットシステム。
3. 請求項１または２に記載のロボットシステムにおいて、
   前記制御装置は、
   前記制御データを、前記撮像装置と前記制御装置との通信における通信周期ごとに前記撮像装置に送信する、
   ことを特徴とするロボットシステム。
4. 請求項１から３のいずれか１項に記載のロボットシステムにおいて、
   前記撮像装置は、撮像部と、前記撮像部を駆動する駆動部と、を備えており、
   前記制御装置は、
   前記制御データを、前記撮像部により前記所定部位を撮像させるために前記駆動部を駆動させるための駆動量に基づき取得する、
   ことを特徴とするロボットシステム。
5. 請求項４に記載のロボットシステムにおいて、
   前記制御装置は、
   前記制御データを、前記ロボットがモデリングされたシミュレータに基づき取得する、
   ことを特徴とするロボットシステム。
6. 請求項４または５に記載のロボットシステムにおいて、
   前記撮像装置は、前記駆動部としてパンモーターとチルトモーターとを備えており、
   前記駆動量は、前記パンモーターの回転量または前記チルトモーターの回転量である、
   ことを特徴とするロボットシステム。
7. 請求項１から６のいずれか１項に記載のロボットシステムにおいて、
   前記撮像装置はズーム機能を備えており、
   前記制御データは、前記ズーム機能におけるズーム量を含む、
   ことを特徴とするロボットシステム。
8. 請求項１から３のいずれか１項に記載のロボットシステムにおいて、
   前記撮像装置はデジタルズーム機能を備えており、
   前記制御データは、前記デジタルズーム機能におけるズーム量を含む、
   ことを特徴とするロボットシステム。
9. 請求項８に記載のロボットシステムにおいて、
   前記撮像装置は全方位カメラであり、
   前記所定部位を拡大して撮像するように前記全方位カメラを制御する、
   ことを特徴とするロボットシステム。
10. 請求項１から９のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記経路に基づき、前記所定部位の移動を先回りして撮像するように前記撮像装置を制御する、
    ことを特徴とするロボットシステム。
11. 請求項１から１０のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記経路に基づき、前記撮像装置が撮像すべき撮像視点を取得する、
    ことを特徴とするロボットシステム。
12. 請求項１１に記載のロボットシステムにおいて、
    前記制御装置は、
    表示装置に、
    前記撮像装置が撮像している画像を表示すると共に、前記経路およびまたは前記撮像視点を表示する、
    ことを特徴とするロボットシステム。
13. 請求項１２に記載のロボットシステムにおいて、
    前記制御装置は、
    前記ロボットを操作するロボット操作部を前記表示装置に表示する、
    ことを特徴とするロボットシステム。
14. 請求項１２または１３に記載のロボットシステムにおいて、
    前記制御装置は、
    前記ロボットを手動で操作する第１操作部と、
    前記ロボットを自動で操作する第２操作部と、を前記表示装置に表示する、
    ことを特徴とするロボットシステム。
15. 請求項１４に記載のロボットシステムにおいて、
    前記制御装置は、
    前記第１操作部として、前記所定部位を３軸の方向に操作するボタンと、前記ロボットが有する関節の回転角度を操作するボタンと、を前記表示装置に表示する、
    ことを特徴とするロボットシステム。
16. 請求項１４または１５に記載のロボットシステムにおいて、
    前記制御装置は、
    前記第２操作部として、前記ロボットを自動で動作させることを実行する実行ボタンと、一時停止ボタンと、非常停止ボタンと、を前記表示装置に表示する、
    ことを特徴とするロボットシステム。
17. 請求項１２から１６のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記撮像装置を手動で操作するための第３操作部と、
    前記撮像装置を自動で操作するための第４操作部と、を前記表示装置に表示する、
    ことを特徴とするロボットシステム。
18. 請求項１７に記載のロボットシステムにおいて、
    前記制御装置は、
    前記第３操作部として、前記撮像装置をパン方向に操作するボタンと、前記撮像装置をチルト方向に操作するボタンと、前記撮像装置のズームを設定するボタンと、を前記表示装置に表示する、
    ことを特徴とするロボットシステム。
19. 請求項１２から１８のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記経路と前記撮像視点とに基づき、前記ロボットが動作しても前記所定部位を撮像するように前記撮像装置の動作を制御するモードをОＮにするボタンを前記表示装置に表示する、
    ことを特徴とするロボットシステム。
20. 請求項１２から１９のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記所定部位を設定する設定画面を前記表示装置に表示する、
    ことを特徴とするロボットシステム。
21. 請求項１２から２０のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    シミュレータを用いて前記経路を取得し、
    前記制御装置は、
    前記表示装置において、前記撮像装置が撮像している画像と、シミュレータにおける画像と、を切り換える、
    ことを特徴とするロボットシステム。
22. 請求項１２から２１のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記表示装置において、前記撮像装置が撮像している画像に、前記撮像視点として複数のポイントを表示する、
    ことを特徴とするロボットシステム。
23. 請求項１２から２１のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記表示装置において、前記撮像装置が撮像している画像のズーム倍率を制御することで前記撮像視点を表示する、
    ことを特徴とするロボットシステム。
24. 請求項１２から２１のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記表示装置において、前記撮像装置が撮像している画像に、前記撮像視点として１つのマーカーを表示する、
    ことを特徴とするロボットシステム。
25. 請求項１２から２１のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記表示装置において、前記撮像装置が撮像している画像に、前記経路およびまたは前記撮像視点を表示する、
    ことを特徴するロボットシステム。
26. 請求項１１から２５のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記撮像視点を、前記所定部位が前記経路を移動するのにかかる時間を、前記撮像装置の応答時間で分割して取得する、
    ことを特徴とするロボットシステム。
27. 請求項１から２６のいずれか１項に記載のロボットシステムにおいて、
    前記撮像装置は、ネットワークに接続されており、前記ネットワークを介して操作可能となっている、
    ことを特徴とするロボットシステム。
28. 請求項１から２７のいずれか１項に記載のロボットシステムにおいて、
    前記ロボットは、複数の関節を有するロボットアームであり、
    前記制御装置は、
    前記関節が位置する値に基づき、前記経路を取得する、
    ことを特徴とするロボットシステム。
29. 請求項１から２８のいずれか１項に記載のロボットシステムにおいて、
    前記制御装置は、
    前記所定部位が位置する第１位置と、前記第１位置の後に前記所定部位が位置する第２位置とに基づき、前記経路を取得する、
    ことを特徴とするロボットシステム。
30. 請求項２９に記載のロボッシステムにおいて、
    前記制御装置は、
    前記第１位置およびまたは前記第２位置の入力を受け付ける、
    ことを特徴とするロボットシステム。
31. 請求項１から３０のいずれか１項に記載のロボットシステムを用いて物品の製造を行うことを特徴とする物品の製造方法。
32. ロボットと撮像装置とを備えたロボットシステムの制御方法であって、
    前記ロボットシステムは、前記ロボットと前記撮像装置とを制御する制御装置を有し、
    前記制御装置は、
    前記ロボットにおける所定部位が移動する予定となっている経路に基づき、前記所定部位が移動しても前記所定部位を撮像するように前記撮像装置を制御する制御データを取得する、
    ことを特徴とするロボットシステムの制御方法。
33. ロボットと撮像装置とを備えたロボットシステムを制御する制御装置であって、
    前記ロボットにおける所定部位が移動する予定となっている経路に基づき、前記所定部位が移動しても前記所定部位を撮像するように前記撮像装置を制御する制御データを取得する、
    ことを特徴とする制御装置。
34. ロボットと撮像装置とを備えたロボットシステムを操作する操作装置であって、
    前記ロボットにおける所定部位が移動する予定となっている経路に基づき、前記所定部位が移動しても前記所定部位を撮像するように前記撮像装置を制御する制御データを取得する、
    ことを特徴とする操作装置。
35. ロボットと撮像装置とを備えたロボットシステムを操作する操作装置の制御方法であって、
    前記ロボットにおける所定部位が移動する予定となっている経路に基づき、前記所定部位が移動しても前記所定部位を撮像するように前記撮像装置を制御する制御データを取得する、
    ことを特徴とする制御方法。
36. ロボットを撮像する撮像装置であって、
    前記ロボットにおける所定部位が移動する予定となっている経路に基づき、前記所定部位が移動しても前記所定部位を撮像するように前記撮像装置を制御する制御データを取得する、
    ことを特徴とする撮像装置。
37. ロボットを撮像する撮像装置の制御方法であって、
    前記ロボットにおける所定部位が移動する予定となっている経路に基づき、前記所定部位が移動しても前記所定部位を撮像するように前記撮像装置を制御する制御データを取得する、
    ことを特徴とする制御方法。
38. 請求項３２、３５、３７のいずれか１項に記載の制御方法を実行可能な制御プログラム。
39. 請求項３８に記載の制御プログラムを記録した、コンピュータで読み取り可能な記録媒体。

Images