JP7272825B2 - ロボットシステム - Google Patents

Description

本発明は、ロボットシステムに関する。

生産現場での作業にロボットを使用する場合、ロボットのオペレータは、ロボット制御装置に接続された教示装置を使って実際にロボットを操作して、ロボットに所望の作業動作を教示することがある。特許文献１は、ロボットと、制御装置と、教示装置と、教示装置に接続された撮像部とを備えるロボットシステムを記載する。特許文献１のロボットシステムでは、撮像部により撮像された撮像画像に基づいてワークの位置を検出し、教示装置により教示された情報に基づいてロボットの把持部がワークを把持する直前の把持部の位置姿勢を算出する。特許文献２は、ロボットに搭載した視覚センサの計測情報を参照することで、ロボットの作業経路を修正可能なロボットシステムについて記載する。

特開２０１６－０１３５９０号公報 特開平９－２９７６１１号公報

一般に生産現場では、安全上の配慮からロボットは柵内で使用される場合がある。したがって、携帯情報端末等の一般的な情報端末を教示装置として利用する場合、柵内で使用するためには安全上、情報端末に非常停止ボタン及びデッドマンスイッチを含むハードウェアを追加することが要求される。他方、柵外からであれば上記のようなハードウェアを追加することなしに一般的な情報端末を用いて教示を行うことが可能になるが、オペレータが柵外からロボットの動きを視認することは難しい。柵外からといったオペレータがロボットの動きを直接視認することが難しい環境においても、柵内でロボット教示を行う場合に相当するロボット教示を行うことが可能なロボットシステムが望まれている。

本開示の一態様は、ロボットと、前記ロボットを制御するロボット制御装置と、オペレータの教示入力に応じて前記ロボットの教示信号を前記ロボット制御装置に送る教示装置と、撮像装置を備えた無人飛行機と、前記教示信号に従って前記ロボットが動作する間、前記教示信号に基づいて、教示に必要な物体の画像を前記撮像装置が継続して取得するように前記無人飛行機の飛行を制御する飛行制御部と、を具備するロボットシステムである。

上記構成によれば、柵外からといったオペレータがロボットの動きを直接視認することが難しい環境においても、柵内でロボット教示を行う場合に相当するロボット教示を行うことが可能となる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係るロボットシステムの全体構成を表す図である。 ロボット制御装置の機能ブロック図である。 教示装置の機能ブロック図である。 無人飛行機の機能ブロック図である。 ロボットシステムにおいて実行される教示処理を表すフローチャートである。 ロボットシステムにおいて実行される教示処理を表すフローチャートである。 教示処理中の教示装置上のユーザインタフェース画面の例である。 教示処理中の教示装置上のユーザインタフェース画面の例である。 教示処理中に無人飛行機の撮像装置により撮像される画像の例である。 教示処理中に無人飛行機の撮像装置により撮像される画像の例である。 教示処理が実行される場合における教示装置における処理を表すフローチャートである。 教示処理が実行される場合におけるロボット制御装置における処理を表すフローチャートである。 教示処理が実行される場合における無人飛行機における処理を表すフローチャートである。 調整飛行モードにおける無人飛行機の円弧状の飛行に軌跡の例を示す図である。

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は、一実施形態に係るロボットシステム１００の全体構成を表す図である。図２～図４は、それぞれ、ロボット制御装置５０、教示装置３０、無人飛行機７０の機能ブロック図である。図１に示されるように、ロボットシステム１００は、ロボット１０と、ロボット制御装置５０と、オペレータの教示入力に応じてロボット１０の教示信号をロボット制御装置５０に送る教示装置３０と、撮像装置７２（図４参照）を備える無人飛行機７０と、教示信号に従ってロボット１０が動作する間、教示信号に基づいて、教示に必要な物体の画像を撮像装置７２が継続して取得するように無人飛行機７０の飛行を制御する飛行制御部６１（図２参照）とを具備する。本実施形態では、飛行制御部６１は、ロボット制御装置５０の制御部５１（図２参照）の機能の一つとして実現されるものとして説明するが、飛行制御部６１は、例えば無人飛行機７０内に備えられていても良い。ロボット１０は、垂直多関節ロボットであり、アーム先端に各種ツールを装着することで様々な作業を実行する。なお、ロボット１０として他のタイプのロボットが用いられても良い。

教示装置３０としては、携帯型情報端末等の各種情報処理装置を用いることができる。本実施形態では、一例として、教示装置３０をタブレット端末により構成し、無人飛行機７０が撮像した、教示に必要な物体の画像を教示装置３０の表示画面に表示する構成とする。教示に必要な物体の画像は、ロボット１０、ツール、ワーク、周辺機器等の少なくともいずれかを含む画像である。この構成により、オペレータは、その内側にロボット１０や周辺機器が配置された柵の外から、教示に必要な物体の画像を見ながら教示操作を行うことができる。

図２に示されるように、ロボット制御装置５０は、制御部５１と、操作部５２と、３Ｄモデル格納部５３と、演算部５４と、有線又は無線による通信を制御する通信部５５とを備える。制御部５１は、通信部５５を介して教示装置３０から受信した教示指示に従ってロボット１０の動作を制御する機能を有する。制御部５１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されていても良い。操作部５２は、ロボット制御装置５０の各種動作を設定する操作ボタン（例えば、ロボットの停止ボタン、運転モードの切り替えボタン）を有する。３Ｄモデル格納部５３は、ロボット１０、無人飛行機７０及び周辺機器等の物体の３次元モデルデータを格納する。演算部５４は、制御部５１が、ロボット制御、シミュレーション、位置計算等を実行する上で必要な各種演算処理を制御部５１と協働して実行する。本実施形態では、通信部５５は、ロボット制御装置５０を無線により教示装置３０及び無人飛行機７０に接続する。また、制御部５１は、入出力インタフェース（不図示）を介してロボット１０と接続する。

制御部５１の機能として、飛行制御部６１が構成されると共に、教示信号に基づいてロボット１０の動作シミュレーションを実行するシミュレーション実行部６２が構成される。

図３に示すように、教示装置３０は、制御部３１と、操作部３２と、表示部３３と、有線又は無線による通信を制御する通信部３４とを備える。制御部３１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されていても良い。表示部３３には、教示点の情報その他の教示に関する各種情報が画像として表示されると共に、無人飛行機７０に搭載された撮像装置７２からの画像が表示される。操作部３２は、表示部３３と一体に構成されたタッチパネルを有する。この構成において、ロボット１０を教示するための教示操作ボタン、無人飛行機７０の操作を行うための操作ボタン等は、表示部３３にユーザインタフェース画面として表示される。

無人飛行機７０は、いわゆるドローンと呼ばれる小型無人飛行機であり、飛行制御部６１からの指令に従って飛行を行う。図４に示すように、無人飛行機７０は、制御部７１と、撮像装置７２と、制御部７１からの制御に従いローターを駆動する駆動部７３と、無線通信を制御する通信部７７とを備える。また、図４に示すように、無人飛行機７０は、更に、距離検出部７８と、ＧＰＳ機能部７６とを備えていても良い。制御部７１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されていても良い。制御部７１は、ロボット制御装置５０の飛行制御部６１からの指令に応じて無人飛行機７０の位置や姿勢を制御する為の信号を駆動部７３に送り、無人飛行機７０を飛行制御部６１からの指令に従って制御する。

距離検出部７８は、センサ部７４と、センサ部７４の出力に基づき各種演算を実行するセンサ演算部７５とを有する。センサ部７４は、測距センサを有する。測距センサとしては、赤外線側距センサ、レーザ測距センサ、距離測定カメラ等の各種センサを用いることができる。センサ部７４の出力をセンサ演算部７５で演算することにより、無人飛行機７０と物体（ロボット１０、ツール、ワーク、周辺機器、設置フロア等）との間の距離を算出する。ＧＰＳ機能部７６は、ＧＰＳ信号を受信して測位演算を実行し、無人飛行機７０の絶対位置を取得する。ＧＰＳ測位の結果得られた絶対位置は、例えば、ロボット制御装置５０に送信され、飛行制御部６１による無人飛行機７０の位置の検証に用いられても良い。

図５Ａ及び図５Ｂは、ロボットシステム１００により実行される教示処理を表すフローチャートである。教示装置３０に対する所定の操作を行うことにより教示処理が起動される。図６は、教示処理を開始することによって教示装置３０の表示部３３に表示されるユーザインタフェース画面１０１を示す。ユーザインタフェース画面１０１は、無人飛行機７０からの映像を表示する撮像動画表示領域１１１と、教示に関する各種情報が画像として表示される教示画像表示領域１１２とを有する。ユーザインタフェース画面１０１は、更に、ロボット教示用ボタン群１１３と、準備指示ボタン、開始指示ボタン、調整飛行モード（後述）を選択可能な選択ボタンその他の各種操作ボタンが含まれる操作ボタン群１１４とを有する。ロボット教示用ボタン群１１３は、ジョグ操作ボタンその他の教示に必要な各種操作ボタンが含まれる。

操作ボタン群１１４には、無人飛行機７０の飛行の三次元的方向を指示する操作入力を行うための移動操作ボタン２１１ａ－２１１ｆを含む無人飛行機操作部１１５Ａが配置されていても良い。無人飛行機操作部１１５Ａには、前後方向への移動操作ボタン２１１ａ、２１１ｂ、左右方向への移動操作ボタン２１１ｃ－２１１ｄ、上下方向の移動操作ボタン２１１ｅ－２１１ｆが含まれる。この構成において、無人飛行機操作部１１５Ａを介した操作信号がロボット制御装置５０に送信され、飛行制御部６１により解析される。そして、飛行制御部６１は、操作信号に従って無人飛行機７０の飛行を制御する。無人飛行機操作部１１５Ａを介して無人飛行機７０の飛行の三次元的方向を指示する場合の動作モードを通常飛行モードと称する。

図５Ａの教示処理が開始されると、はじめに、教示装置３０は使用可能な複数のロボットを教示画像表示領域１１２に表示し、オペレータによるロボットの選択操作を受け付ける（ステップＳ１）。ここでは、オペレータによりロボット１０が選択されたものとする。ロボットの選択が行われた段階で、教示装置３０は、ロボット制御装置５０に対し指令を送り、ロボット制御装置５０に、予めロボット制御装置５０内に登録しておいたルートに沿って無人飛行機７０を待機位置まで移動させても良い。待機位置は、例えば、ロボット１０の上空の安全な位置である。ロボット制御装置５０（飛行制御部６１）は、ロボット１０、無人飛行機７０及び周辺機器のモデルを含む三次元マップを作成し、三次元マップ内での無人飛行機７０の位置の管理を開始する。

次に、ステップＳ２において、飛行制御部６１は、準備動作を実行する。準備動作は、次の動作（１）－（２）を含む。（１）飛行制御部６１は、教示信号に従ってロボット１０が動作する前に、教示装置３０からの指令に従って、無人飛行機７０を待機位置から、撮像装置７２が画像の取得を開始する準備位置（撮影ポイント）まで飛行させる。（２）そして、飛行制御部６１は、準備位置で撮像装置７２に画像を取得させる。上記において、待機位置は、例えば地上の停止位置又はロボット上空の待機位置である。一例として、操作ボタン群１１４の準備指示ボタンが操作されると、教示装置３０は、準備指示信号をロボット制御装置５０に送信する。準備指示信号を受信すると、ロボット制御装置５０は、現在のロボット１０の位置及び周辺機器の位置を用いて、無人飛行機７０を待機位置から撮影ポイントに移動させるルートを算出し、無人飛行機７０を当該ルートに沿って撮影ポイントまで移動させる。なお、撮影ポイントは予めロボット制御装置５０に登録しておいても良い。この場合、ロボット制御装置５０は、開始指示に応じて無人飛行機を、登録された撮影ポイントに移動させる。撮影ポイントは、例えば、ロボット１０のアーム先端に装着されたハンドの正面の位置である。

次に、操作ボタン群１１４の開始指示ボタンが操作されることに応じて、教示装置３０は、教示の開始を指示する開始指示信号をロボット制御装置５０及び無人飛行機７０に送信する（ステップＳ３）。次に、ステップＳ４では、オペレータによる教示装置３０を用いた教示操作を示す教示信号が教示装置３０からロボット制御装置５０に送信される。

以下では、教示に必要とされる物体が、ロボット１０のアーム先端に装着されたツールの一例としてのハンド１２（図８参照）であるものとして説明する。ステップＳ５では、飛行制御部６１は、教示装置３０からの教示信号に基づいて無人飛行機７０とハンド１２との相対位置関係を求め、相対位置関係を維持するように飛行を制御する。ステップＳ５において、無人飛行機７０の撮像装置７２により得られる画像の例を図８及び図９に示す。図８及び図９の画面には、アーム先端部１０ａ、ハンド１２、及びワークＷが含まれる。図８及び図９の例では、飛行制御部６１は、ハンド１２及び無人飛行機７０の位置及姿勢に基づいて、ハンド１２の撮像される側の面（図８において面１２ａ）に対する撮像の向きが一定となり、且つ、無人飛行機７０とハンド１２との距離が一定となるように、無人飛行機７０の位置及び姿勢を制御する。オペレータは、撮像動画表示領域１１１に表示された図８のような映像をみながら、ハンド１２でワークＷを把持する動作をロボット１０に教示する。図９は、図８の状態からオペレータがハンド１２を別の位置に移動させた状態を示している。図９の画像においても、無人飛行機７０とハンド１２との相対位置関係は、図８の状態に維持されている。

なお、無人飛行機７０が距離検出部７８を有する構成である場合には、飛行制御部６１は、次のように動作しても良い。すなわち、飛行制御部６１は、距離検出部７８により得られたハンド１２と無人飛行機７０との距離を取得する。そして、飛行制御部６１は、取得した距離を用いて無人飛行機７０とハンド１２との距離が一定となるように無人飛行機７０の制御を行っても良い。

次に、ステップＳ６においてロボット制御装置５０は、無人飛行機７０がロボット１０の動作軌跡と干渉する可能性が有るか否かを判断する。例えば、教示装置３０のロボット教示用ボタン群１１３のうちロボット１０のアーム先端を移動させるジョグ操作が行われたことが検出された場合に、ロボット制御装置５０は無人飛行機７０がロボット１０と干渉する可能性が有ると判断する（Ｓ６：ＹＥＳ）。

無人飛行機７０がロボット１０と干渉する可能性が有ると判断された場合（Ｓ６：ＹＥＳ）、ロボット制御装置５０は、教示信号に基づいてロボット１０が動作する向きを解析する（ステップＳ７）。そして、ロボット制御装置５０は、解析結果に基づいてロボット１０の軌跡をシミュレーション実行部６２に求めさせる（ステップＳ８）。例えば、シミュレーション実行部６２は、教示信号に応じた向きにアーム先端を移動させた場合の動作軌跡を算出する。次に、ロボット制御装置５０は、無人飛行機７０がステップＳ８で求められた動作軌跡と干渉する位置にある場合には、無人飛行機７０がロボット１０の動作軌跡と干渉しない安全な領域を求める。そして、ロボット制御装置５０は、求められた安全な領域に無人飛行機７０を予め移動させた上で、ロボット１０を教示入力に従って動作させる（ステップＳ９）。なお、ステップＳ６において、無人飛行機７０がロボット１０と干渉する可能性がないと判断される場合（Ｓ６：ＮＯ）、処理はステップＳ１０に進む。

次に、教示装置３０は、無人飛行機７０の位置を調整する調整飛行モードに入るか否かを判断する（ステップＳ１０）。教示装置３０の操作ボタン群１１４に配置された選択ボタンにより調整飛行モードが指定されると、通常飛行モードから調整飛行モードに入る（ステップＳ１０：ＹＥＳ）。調整飛行モードでは、飛行制御部６１は、飛行の二次元的方向を指示する操作入力に応じて無人飛行機を円弧状に飛行させる。図７は、教示装置３０が調整飛行モードに入った場合のユーザインタフェース画面１０２を示している。図７に示すように調整飛行モードでは、表示部３３の画面下部の左側に、無人飛行機７０の飛行の二次元的方向を指示する移動操作ボタン２１５ａ－２１５ｄが無人飛行機操作部１１５Ｂとして配置される。一例として、移動操作ボタン２１５ａ－２１５ｄにより、鉛直方向又は左右方向の飛行の操作が可能であっても良い。

調整飛行モードでは、ロボット制御装置５０は、無人飛行機７０が移動操作ボタン２１５ａ－２１５ｄで指定された移動方向に、ハンド１２又はワークＷ上に定めた基準点を中心とする円弧状の軌跡に沿って移動するように無人飛行機７０の飛行を制御しても良い。一例として、ロボット制御装置５０は、図１３に示すように基準点Ｐからの距離が等しい左右方向の軌跡Ｔ１又は鉛直方向の円弧状の軌跡Ｔ２に沿って無人飛行機７０を移動させる。また、このとき、ロボット制御装置５０は、教示入力を所定の許容動作に制限しても良い。例えば、ロボット制御装置５０は、ロボット１０の速度或いは移動方向を制限するようにしても良い。一例として、ロボット１０は、ロボット１０の速度オーバライドを固定し、アーム先端部が一方向（例えば鉛直方向）にのみ移動可能となるようにロボット１０の制御を行う。これにより、調整飛行モードにおける無人飛行機７０とロボット１０（ハンド１２）との干渉の可能性をいっそう低減させ、より詳細な教示を行うことが可能になる。オペレータにより、調整飛行モードでのワークＷのハンドリングの教示が行われる（ステップＳ１２）。なお、調整飛行モードへのモード変更が選択されない場合（Ｓ１０：ＮＯ）、処理はステップＳ４に戻り教示操作が行われる。

次に、教示装置３０は、ロボット１０の教示を終了するか否かを判断する（ステップＳ１３）。例えば、ロボット教示用ボタン群１１３中の教示終了を指定するボタンが操作されると（Ｓ１３：ＹＥＳ）、教示装置３０は教示を終了すると判断する。この場合、ロボット制御装置５０は、無人飛行機７０を元の停止場所に移動させるルートを求め、求められたルートに沿って無人飛行機７０を移動させる。教示終了が指示されていない場合（Ｓ１３：ＮＯ）、処理はステップＳ１に戻る。

図５Ａ及び図５Ｂに示した教示処理が実行される場合の、教示装置３０、ロボット制御装置５０、及び無人飛行機７０それぞれにおいて実行される処理を図１０－１２を参照して説明する。

図１０は、図５Ａ－５Ｂの教示処理が実行される場合における教示装置３０における処理（以下、教示装置側処理とも記載する）を表すフローチャートである。はじめに、制御部３１は、操作ボタン群１１４を介したロボットの選択操作を受け付ける（ステップＳ１０１；図５ＡのＳ１）。次に、操作ボタン群１１４の準備指示ボタンが操作されると、教示装置３０は、準備指示信号をロボット制御装置５０に送信する（ステップＳ１０２；図５ＡのＳ２）。無人飛行機７０が準備位置まで移動したことを例えばロボット制御装置５０から通知を受けると、制御部３１は、操作ボタン群１１４を介した撮像の開始指示を受け付ける。操作ボタン群１１４の開始指示ボタンが操作されると、制御部３１は、教示の開始を指示する開始指示信号をロボット制御装置５０及び無人飛行機７０に送信する（ステップＳ１０３；図５ＡのＳ３）。

次に、制御部３１は、撮像装置７２が撮像した映像の画像データの取得を開始し、教示画像表示領域１１２に画像を表示させる（ステップＳ１０４）。そして、制御部３１は、ロボット教示用ボタン群１１３を介した教示操作を受け付け（ステップＳ１０５）、受け付けた教示操作を表す教示信号をロボット制御装置５０に送信する（ステップＳ１０６；図５ＡのＳ４）。調整飛行モードへ変更する操作が行われない限り、制御部３１は、無人飛行機７０からの画像を表示しつつ教示操作を受け付ける処理を繰り返す（Ｓ１０７：ＮＯ）。この間、撮像動画表示領域１１１には、図８のような画像が表示され続けている。

操作ボタン群１１４に配置された調整飛行モードに入るボタンが操作されると（Ｓ１０７：ＹＥＳ）、制御部３１は、表示部３３に表示する画面をユーザインタフェース画面１０２に切り替え、移動操作ボタン２１５ａ－２１５ｄによる移動操作を受け付ける。そして、制御部３１は、受け付けた移動操作を表す信号（無人飛行機調整指示）をロボット制御装置５０に送信する（ステップＳ１０８）。次に、制御部３１は、画像データを取得して撮像動画表示領域１１１に画像を表示しつつ（ステップＳ１０９）、教示操作を受け付け（ステップＳ１１０）、受け付けた教示操作を表す教示信号をロボット制御装置５０に送信する（ステップＳ１１１）。制御部３１は、ステップＳ１０９からＳ１１１の一連の処理を、教示処理の終了を指示する操作がなされるまで継続する（Ｓ１１２：ＮＯ）。教示処理の終了を指示する操作がなされると（Ｓ１１２：ＹＥＳ）、本教示装置側処理は終了する。

図１１は、図５Ａ－５Ｂの教示処理が実行される場合におけるロボット制御装置５０における処理（以下、ロボット制御装置側処理とも記載する）を表すフローチャートである。はじめに、制御部５１は、教示装置３０から準備指示信号（無人飛行機準備指示）を受信する（ステップＳ２０１）。準備指示信号を受信すると、制御部５１は、現在のロボット１０の位置及び周辺機器の位置を用いて、無人飛行機７０を待機位置から準備位置（撮影ポイント）に移動させるルートを算出する。そして、制御部５１は、無人飛行機７０を当該ルートに沿って撮影ポイントまで移動させる指令（無人飛行機準備指示）を、無人飛行機７０に対して送信する（ステップＳ２０２）。

次に、制御部５１は、教示装置３０から開始指示信号（無人飛行機開始指示）を受信する（ステップＳ２０３）。開始指示信号を受信すると、制御部５１は、ロボット１０及び周辺機器のモデルデータを３Ｄモデル格納部５３から取得すると共にロボット１０及び周辺機器の位置データを取得する（ステップＳ２０４）。そして、制御部５１は、無人飛行機７０を配置すべき位置を演算し（ステップＳ２０５）、演算の結果にしたがって無人飛行機７０を操作する（ステップＳ２０６）。そして、制御部５１は、教示装置３０からの教示信号の受信を待つ（Ｓ２０７：ＮＯ）。

教示装置３０から教示信号が受信されると（Ｓ２０７：ＹＥＳ）、制御部５１は、教示信号に従ってロボット１０を動作させる（ステップＳ２０８）。また、制御部５１は、無人飛行機７０をロボット１０の動きに追従するように移動させる（ステップＳ２０９；図５のステップＳ５）。これらの処理は、教示装置３０から調整飛行モードにモード変更することを示す信号が受信されるまで行われる（Ｓ２１０：ＮＯ）。なお、ステップＳ２０８及びＳ２０９での処理は、図５Ａ及び図５ＢにおけるステップＳ６～Ｓ９に示した処理を含む。

教示装置３０から調整飛行モードにモード変更することを示す信号が受信されると（Ｓ２１０：ＹＥＳ）、制御部５１は、教示装置３０からの教示信号に従ってロボット１０を動作させる（ステップＳ２１１）。また、制御部５１は、教示装置３０からの無人飛行機７０の移動操作指令に従って無人飛行機７０を移動させる（ステップＳ２１２）。これらの処理は、教示処理の終了を示す信号が教示装置３０から送信されて来るまで継続する（Ｓ２１３：ＮＯ）。教示装置３０から、教示処理の終了を示す信号が受信されると（Ｓ２１３：ＮＯ）、ロボット制御装置側処理は終了する。

図１２は、図５Ａ－５Ｂの教示処理が実行される場合における無人飛行機７０における処理（以下、無人飛行機側処理とも記載する）を表すフローチャートである。はじめに、制御部７１は、ロボット制御装置５０から、準備指示（無人飛行機準備指示）として、待機位置から準備位置までの移動するための移動指令を受信する（ステップＳ３０１）。準備指示を受信すると、制御部７１は、準備指示に従って駆動部７３を制御して、無人飛行機７０を指定位置（準備位置）に移動させる（ステップＳ３０２）。次に、制御部７１は、ロボット制御装置５０から、開始指示（無人飛行機開始指示）を受信する（ステップＳ３０３）。

次に、制御部７１は、無人飛行機７０をロボット１０の動作に従って移動させ（Ｓ３０４）、無人飛行機７０をホバリングさせながら（ステップＳ３０５）、撮像装置７２による撮像を行う（ステップＳ３０６）。

次に、ステップＳ３０７～Ｓ３０９は、センサ部７４による画像内の対象物（例えばハンド１２）との距離の測定結果を用いて無人飛行機７０の位置を調整する場合の処理である。これらの処理は、次のように実行されても良い。すなわち、センサ部７４の測定結果をロボット制御装置５０に送ってロボット制御装置５０側で、測定された距離が所定の範囲にあるか判断する（Ｓ３０８）。そして、測定された距離が所定の範囲にない場合に（Ｓ３０８：ＮＯ）、位置調整のための移動指示をロボット制御装置５０から無人飛行機７０に対して指示する（ステップＳ３０９）。或いは、無人飛行機７０が、センサ部７４による測定結果を用いて、測定された距離が所定の範囲にない場合に（Ｓ３０８：ＮＯ）、対象物と無人飛行機７０との距離が所定の範囲内に維持されるように位置調整を行っても良い（Ｓ３０９）。

測定された距離が所定の範囲にある場合（Ｓ３０８：ＹＥＳ）或いは位置調整（Ｓ３０９）が終了すると、制御部７１は、ロボット制御装置５０から、無人飛行機７０の移動指令が受信されたか否かを判断する（ステップＳ３１０）。移動指令が受信されるまでステップＳ３０５からの処理を繰り返す（Ｓ３１０：ＮＯ）。移動指令が受信されると（Ｓ３１０：ＹＥＳ）、制御部７１は、移動指令で指定された位置まで無人飛行機７０を移動させる（ステップＳ３１１）。以降、制御部７１は、ステップＳ３０５～Ｓ３０９と同様の処理を実行する（ステップＳ３１２～Ｓ３１６）。ステップＳ３１２～Ｓ３１６の処理は、調整飛行モードへのモード変更を指示する信号がロボット制御装置５０から受信されるまで繰り返される（Ｓ３１７：ＮＯ）。

調整飛行モードへのモード変更を指示する指令がロボット制御装置５０から受信されると（Ｓ３１７：ＹＥＳ）、制御部７１は、調整飛行モードにおけるロボット制御装置５０からの移動指令で指定された位置に無人飛行機７０を移動させる（ステップＳ３１８）。以降、制御部７１は、ステップＳ３０５～Ｓ３０９と同様の処理を実行する（ステップＳ３１９～Ｓ３２３）。ステップＳ３１９～Ｓ３２３の処理は、教示処理の終了を指示する信号がロボット制御装置５０から受信されるまで繰り返される（Ｓ３２４：ＮＯ）。教示処理の終了を指示する信号がロボット制御装置５０から受信されると（Ｓ３２４：ＹＥＳ）、無人飛行機側処理は終了する。

以上説明したように本実施形態によれば、柵外からといったオペレータがロボットの動きを直接視認するっことが難しい環境においても、柵内でロボット教示を行う場合に相当するロボット教示を行うことが可能となる。それにより、携帯情報端末等の一般的な情報端末を教示に用いる場合に、情報端末に非常停止ボタン及びデッドマンスイッチを含むハードウェアを追加して柵内で使用する必要性を解消することができる。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

教示に必要な物体の画像の例は、図５ＡのステップＳ５に関して説明したような、無人飛行機７０と物体（例えばハンド１２）との相対位置関係を維持するように無人飛行機７０を飛行させて画像を取得する例に限られない。例えば、教示に必要な物体の画像の例としては、ロボットの全体的な動きを捉えるような画像、ロボットの一関節部位の動きを注視する画像、ワークを注視するような画像など、様々な例が有り得る。

上述の実施形態ではユーザインタフェース画面１０１が通常飛行モードでの飛行の操作を行うため無人飛行機操作部１１５Ａを有する例を記載したが、ユーザインタフェース画面１０１には無人飛行機操作部１１５Ａは設けられていなくても良い。

上述の実施形態では、無人飛行機７０が距離検出部７８としてセンサ部７４及びセンサ演算部７５を有する例を示したが、撮像装置７２で撮像した画像を解析して対象物までの距離測定を行っても良い。この場合は、センサ部７４及びセンサ演算部７５は省略することができる。

上述の実施形態における、無人飛行機を準備位置まで移動させる操作（図５ＡのＳ２）、及び無人飛行機７０をロボット１０の動作軌跡から回避させる操作（図５ＢのＳ９）を、オペレータが無人飛行機操作部１１５Ａを操作して行っても良い。

上述の実施形態では、教示装置３０の表示部に無人飛行機からの映像が表示されるものとして説明したが、無人飛行機からの映像を表示する表示装置が教示装置とは別体の装置としてロボットシステム内に設けられても良い。このような構成の場合にも、オペレータは、表示装置に表示された画像をみながら教示操作を行うことができ、上述の実施形態と同様の効果を得ることができる。

図５Ａ－５Ｂ、図１０－１２に示した各種処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

ロボット制御装置５０（飛行制御部６１）は、無人飛行機７０に搭載している撮像装置７２の方向（すなわち、視線または向き）を、作成された三次元マップによって管理するように構成されていても良い。ロボット１０と無人飛行機７０（撮像装置７２）の位置や姿勢及び方向などを三次元マップによって管理することで、ロボット制御装置５０（飛行制御部６１）は、撮像装置７２が常にロボット１０（或いはその他の物体）を撮像するように飛行の制御を行うことが可能となる。また、画像検出によってロボット１０（或いはその他の物体）を認識して、撮像装置７２の方向を調整しても良い。この場合、撮像した画像を解析し、ロボット１０（或いはその他の物体）を検出して、撮像装置７２の向きを調整することで、撮像装置７２で常にロボット１０（或いはその他の物体）を撮像することが可能になる。このような画像の解析は、ロボット制御装置５０において実行する構成としても良いし、或いは、無人飛行機７０において実行する構成としても良い。

距離検出部７８のセンサ部７４は、無人飛行機７０の下方向に向けられたセンサ（測距センサ）を有していても良い。下方向に向けられたセンサの出力をセンサ演算部７５で演算することにより、無人飛行機７０の高度（すなわち、設置フロアとの距離）を得る。算出された高度のデータを三次元マップに反映させることで、ロボット制御装置５０において無人飛行機７０の高度を管理し、この高度に基づいて無人飛行機７０の飛行を制御することが可能になる。或いは、無人飛行機７０が、距離検出部７８によって算出された高度を用いて、無人飛行機７０の高度を調整するように構成されても良い。

１０ ロボット
３０ 教示装置
３１ 制御部
３２ 操作部
３３ 表示部
３４ 通信部
５０ ロボット制御装置
５１ 制御部
５２ 操作部
５３ ３Ｄモデル格納部
５４ 演算部
５５ 通信部
６１ 飛行制御部
６２ シミュレーション実行部
７０ 無人飛行機
７１ 制御部
７２ 撮像装置
７３ 駆動部
７４ センサ部
７５ センサ演算部
７６ ＧＰＳ機能部
７７ 通信部
７８ 距離検出部
１００ ロボットシステム
１１５Ａ，１１５Ｂ 無人飛行機操作部

Claims (13)

1. ロボットと、
   前記ロボットを制御するロボット制御装置と、
   オペレータの教示入力に応じて前記ロボットの教示信号を前記ロボット制御装置に送る教示装置と、
   撮像装置を備えた無人飛行機と、
   前記教示信号に従って前記ロボットが動作する間、前記教示信号に基づいて、教示に必要な物体の画像を前記撮像装置が継続して取得するように前記無人飛行機の飛行を制御する飛行制御部と、
   を具備するロボットシステム。
2. 前記飛行制御部は、前記教示信号に基づいて前記無人飛行機と前記物体との相対位置関係を求め、前記相対位置関係を維持するように前記飛行を制御する、請求項１に記載のロボットシステム。
3. 前記飛行制御部は、前記無人飛行機と前記物体との距離を一定に維持する、請求項２に記載のロボットシステム。
4. 前記無人飛行機は、前記距離を検出する距離検出部を備え、
   前記飛行制御部は前記距離検出部の出力に基づいて前記飛行を制御する、請求項３に記載のロボットシステム。
5. 前記教示信号に従う前記ロボットの動作軌跡をシミュレーションにより求めるシミュレーション実行部をさらに備え、
   前記飛行制御部は、前記無人飛行機が前記動作軌跡と干渉しないように前記飛行を制御する、請求項１から４のいずれか一項に記載のロボットシステム。
6. 前記教示装置は、オペレータの操作入力に応じて前記飛行を指令する操作信号を出力する無人飛行機操作部を備え、
   前記飛行制御部は、前記操作信号に基づいて前記飛行を制御する、請求項１から５のいずれか一項に記載のロボットシステム。
7. 前記飛行制御部は、前記操作信号に基づいて前記無人飛行機を、前記物体に定めた基準点を中心として円弧状に飛行させる、請求項６に記載のロボットシステム。
8. 前記教示装置は、前記教示入力及び前記飛行の三次元的方向を指示する前記操作入力のいずれかに応じて前記無人飛行機を飛行させる通常飛行モードと、前記飛行の二次元的方向を指示する前記操作入力に応じて前記無人飛行機を前記円弧状に飛行させる調整飛行モードとを選択可能に構成される、請求項７に記載のロボットシステム。
9. 前記教示装置は、前記調整飛行モードが選択されたときに、前記教示入力を所定の許容動作に制限する、請求項８に記載のロボットシステム。
10. 前記教示装置は、前記画像を表示する表示部を更に備える、請求項１から９のいずれか一項に記載のロボットシステム。
11. 前記ロボット制御装置が前記飛行制御部を備える、請求項１から１０のいずれか一項に記載のロボットシステム。
12. 前記飛行制御部は、前記教示信号に従って前記ロボットが動作する前に、前記教示装置からの指令に従って、前記無人飛行機を待機位置から前記撮像装置が前記画像の取得を開始する準備位置まで飛行させるとともに前記準備位置で前記撮像装置に前記画像を取得させる準備動作を実行する、請求項１から１１のいずれか一項に記載のロボットシステム。
13. 前記ロボット制御装置は、前記撮像装置の方向を管理する、請求項１から１２のいずれか一項に記載のロボットシステム。

Images