JP7272825B2 - ロボットシステム - Google Patents

ロボットシステム Download PDF

Info

Publication number
JP7272825B2
JP7272825B2 JP2019040755A JP2019040755A JP7272825B2 JP 7272825 B2 JP7272825 B2 JP 7272825B2 JP 2019040755 A JP2019040755 A JP 2019040755A JP 2019040755 A JP2019040755 A JP 2019040755A JP 7272825 B2 JP7272825 B2 JP 7272825B2
Authority
JP
Japan
Prior art keywords
robot
teaching
flight
unmanned airplane
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019040755A
Other languages
English (en)
Other versions
JP2020142326A (ja
Inventor
拓也 寺岡
智樹 大家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2019040755A priority Critical patent/JP7272825B2/ja
Publication of JP2020142326A publication Critical patent/JP2020142326A/ja
Application granted granted Critical
Publication of JP7272825B2 publication Critical patent/JP7272825B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Numerical Control (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、ロボットシステムに関する。
生産現場での作業にロボットを使用する場合、ロボットのオペレータは、ロボット制御装置に接続された教示装置を使って実際にロボットを操作して、ロボットに所望の作業動作を教示することがある。特許文献1は、ロボットと、制御装置と、教示装置と、教示装置に接続された撮像部とを備えるロボットシステムを記載する。特許文献1のロボットシステムでは、撮像部により撮像された撮像画像に基づいてワークの位置を検出し、教示装置により教示された情報に基づいてロボットの把持部がワークを把持する直前の把持部の位置姿勢を算出する。特許文献2は、ロボットに搭載した視覚センサの計測情報を参照することで、ロボットの作業経路を修正可能なロボットシステムについて記載する。
特開2016-013590号公報 特開平9-297611号公報
一般に生産現場では、安全上の配慮からロボットは柵内で使用される場合がある。したがって、携帯情報端末等の一般的な情報端末を教示装置として利用する場合、柵内で使用するためには安全上、情報端末に非常停止ボタン及びデッドマンスイッチを含むハードウェアを追加することが要求される。他方、柵外からであれば上記のようなハードウェアを追加することなしに一般的な情報端末を用いて教示を行うことが可能になるが、オペレータが柵外からロボットの動きを視認することは難しい。柵外からといったオペレータがロボットの動きを直接視認することが難しい環境においても、柵内でロボット教示を行う場合に相当するロボット教示を行うことが可能なロボットシステムが望まれている。
本開示の一態様は、ロボットと、前記ロボットを制御するロボット制御装置と、オペレータの教示入力に応じて前記ロボットの教示信号を前記ロボット制御装置に送る教示装置と、撮像装置を備えた無人飛行機と、前記教示信号に従って前記ロボットが動作する間、前記教示信号に基づいて、教示に必要な物体の画像を前記撮像装置が継続して取得するように前記無人飛行機の飛行を制御する飛行制御部と、を具備するロボットシステムである。
上記構成によれば、柵外からといったオペレータがロボットの動きを直接視認することが難しい環境においても、柵内でロボット教示を行う場合に相当するロボット教示を行うことが可能となる。
添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。
一実施形態に係るロボットシステムの全体構成を表す図である。 ロボット制御装置の機能ブロック図である。 教示装置の機能ブロック図である。 無人飛行機の機能ブロック図である。 ロボットシステムにおいて実行される教示処理を表すフローチャートである。 ロボットシステムにおいて実行される教示処理を表すフローチャートである。 教示処理中の教示装置上のユーザインタフェース画面の例である。 教示処理中の教示装置上のユーザインタフェース画面の例である。 教示処理中に無人飛行機の撮像装置により撮像される画像の例である。 教示処理中に無人飛行機の撮像装置により撮像される画像の例である。 教示処理が実行される場合における教示装置における処理を表すフローチャートである。 教示処理が実行される場合におけるロボット制御装置における処理を表すフローチャートである。 教示処理が実行される場合における無人飛行機における処理を表すフローチャートである。 調整飛行モードにおける無人飛行機の円弧状の飛行に軌跡の例を示す図である。
次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。
図1は、一実施形態に係るロボットシステム100の全体構成を表す図である。図2~図4は、それぞれ、ロボット制御装置50、教示装置30、無人飛行機70の機能ブロック図である。図1に示されるように、ロボットシステム100は、ロボット10と、ロボット制御装置50と、オペレータの教示入力に応じてロボット10の教示信号をロボット制御装置50に送る教示装置30と、撮像装置72(図4参照)を備える無人飛行機70と、教示信号に従ってロボット10が動作する間、教示信号に基づいて、教示に必要な物体の画像を撮像装置72が継続して取得するように無人飛行機70の飛行を制御する飛行制御部61(図2参照)とを具備する。本実施形態では、飛行制御部61は、ロボット制御装置50の制御部51(図2参照)の機能の一つとして実現されるものとして説明するが、飛行制御部61は、例えば無人飛行機70内に備えられていても良い。ロボット10は、垂直多関節ロボットであり、アーム先端に各種ツールを装着することで様々な作業を実行する。なお、ロボット10として他のタイプのロボットが用いられても良い。
教示装置30としては、携帯型情報端末等の各種情報処理装置を用いることができる。本実施形態では、一例として、教示装置30をタブレット端末により構成し、無人飛行機70が撮像した、教示に必要な物体の画像を教示装置30の表示画面に表示する構成とする。教示に必要な物体の画像は、ロボット10、ツール、ワーク、周辺機器等の少なくともいずれかを含む画像である。この構成により、オペレータは、その内側にロボット10や周辺機器が配置された柵の外から、教示に必要な物体の画像を見ながら教示操作を行うことができる。
図2に示されるように、ロボット制御装置50は、制御部51と、操作部52と、3Dモデル格納部53と、演算部54と、有線又は無線による通信を制御する通信部55とを備える。制御部51は、通信部55を介して教示装置30から受信した教示指示に従ってロボット10の動作を制御する機能を有する。制御部51は、CPU、ROM、RAM等から構成されていても良い。操作部52は、ロボット制御装置50の各種動作を設定する操作ボタン(例えば、ロボットの停止ボタン、運転モードの切り替えボタン)を有する。3Dモデル格納部53は、ロボット10、無人飛行機70及び周辺機器等の物体の3次元モデルデータを格納する。演算部54は、制御部51が、ロボット制御、シミュレーション、位置計算等を実行する上で必要な各種演算処理を制御部51と協働して実行する。本実施形態では、通信部55は、ロボット制御装置50を無線により教示装置30及び無人飛行機70に接続する。また、制御部51は、入出力インタフェース(不図示)を介してロボット10と接続する。
制御部51の機能として、飛行制御部61が構成されると共に、教示信号に基づいてロボット10の動作シミュレーションを実行するシミュレーション実行部62が構成される。
図3に示すように、教示装置30は、制御部31と、操作部32と、表示部33と、有線又は無線による通信を制御する通信部34とを備える。制御部31は、CPU、ROM、RAM等から構成されていても良い。表示部33には、教示点の情報その他の教示に関する各種情報が画像として表示されると共に、無人飛行機70に搭載された撮像装置72からの画像が表示される。操作部32は、表示部33と一体に構成されたタッチパネルを有する。この構成において、ロボット10を教示するための教示操作ボタン、無人飛行機70の操作を行うための操作ボタン等は、表示部33にユーザインタフェース画面として表示される。
無人飛行機70は、いわゆるドローンと呼ばれる小型無人飛行機であり、飛行制御部61からの指令に従って飛行を行う。図4に示すように、無人飛行機70は、制御部71と、撮像装置72と、制御部71からの制御に従いローターを駆動する駆動部73と、無線通信を制御する通信部77とを備える。また、図4に示すように、無人飛行機70は、更に、距離検出部78と、GPS機能部76とを備えていても良い。制御部71は、CPU、ROM、RAM等から構成されていても良い。制御部71は、ロボット制御装置50の飛行制御部61からの指令に応じて無人飛行機70の位置や姿勢を制御する為の信号を駆動部73に送り、無人飛行機70を飛行制御部61からの指令に従って制御する。
距離検出部78は、センサ部74と、センサ部74の出力に基づき各種演算を実行するセンサ演算部75とを有する。センサ部74は、測距センサを有する。測距センサとしては、赤外線側距センサ、レーザ測距センサ、距離測定カメラ等の各種センサを用いることができる。センサ部74の出力をセンサ演算部75で演算することにより、無人飛行機70と物体(ロボット10、ツール、ワーク、周辺機器、設置フロア等)との間の距離を算出する。GPS機能部76は、GPS信号を受信して測位演算を実行し、無人飛行機70の絶対位置を取得する。GPS測位の結果得られた絶対位置は、例えば、ロボット制御装置50に送信され、飛行制御部61による無人飛行機70の位置の検証に用いられても良い。
図5A及び図5Bは、ロボットシステム100により実行される教示処理を表すフローチャートである。教示装置30に対する所定の操作を行うことにより教示処理が起動される。図6は、教示処理を開始することによって教示装置30の表示部33に表示されるユーザインタフェース画面101を示す。ユーザインタフェース画面101は、無人飛行機70からの映像を表示する撮像動画表示領域111と、教示に関する各種情報が画像として表示される教示画像表示領域112とを有する。ユーザインタフェース画面101は、更に、ロボット教示用ボタン群113と、準備指示ボタン、開始指示ボタン、調整飛行モード(後述)を選択可能な選択ボタンその他の各種操作ボタンが含まれる操作ボタン群114とを有する。ロボット教示用ボタン群113は、ジョグ操作ボタンその他の教示に必要な各種操作ボタンが含まれる。
操作ボタン群114には、無人飛行機70の飛行の三次元的方向を指示する操作入力を行うための移動操作ボタン211a-211fを含む無人飛行機操作部115Aが配置されていても良い。無人飛行機操作部115Aには、前後方向への移動操作ボタン211a、211b、左右方向への移動操作ボタン211c-211d、上下方向の移動操作ボタン211e-211fが含まれる。この構成において、無人飛行機操作部115Aを介した操作信号がロボット制御装置50に送信され、飛行制御部61により解析される。そして、飛行制御部61は、操作信号に従って無人飛行機70の飛行を制御する。無人飛行機操作部115Aを介して無人飛行機70の飛行の三次元的方向を指示する場合の動作モードを通常飛行モードと称する。
図5Aの教示処理が開始されると、はじめに、教示装置30は使用可能な複数のロボットを教示画像表示領域112に表示し、オペレータによるロボットの選択操作を受け付ける(ステップS1)。ここでは、オペレータによりロボット10が選択されたものとする。ロボットの選択が行われた段階で、教示装置30は、ロボット制御装置50に対し指令を送り、ロボット制御装置50に、予めロボット制御装置50内に登録しておいたルートに沿って無人飛行機70を待機位置まで移動させても良い。待機位置は、例えば、ロボット10の上空の安全な位置である。ロボット制御装置50(飛行制御部61)は、ロボット10、無人飛行機70及び周辺機器のモデルを含む三次元マップを作成し、三次元マップ内での無人飛行機70の位置の管理を開始する。
次に、ステップS2において、飛行制御部61は、準備動作を実行する。準備動作は、次の動作(1)-(2)を含む。(1)飛行制御部61は、教示信号に従ってロボット10が動作する前に、教示装置30からの指令に従って、無人飛行機70を待機位置から、撮像装置72が画像の取得を開始する準備位置(撮影ポイント)まで飛行させる。(2)そして、飛行制御部61は、準備位置で撮像装置72に画像を取得させる。上記において、待機位置は、例えば地上の停止位置又はロボット上空の待機位置である。一例として、操作ボタン群114の準備指示ボタンが操作されると、教示装置30は、準備指示信号をロボット制御装置50に送信する。準備指示信号を受信すると、ロボット制御装置50は、現在のロボット10の位置及び周辺機器の位置を用いて、無人飛行機70を待機位置から撮影ポイントに移動させるルートを算出し、無人飛行機70を当該ルートに沿って撮影ポイントまで移動させる。なお、撮影ポイントは予めロボット制御装置50に登録しておいても良い。この場合、ロボット制御装置50は、開始指示に応じて無人飛行機を、登録された撮影ポイントに移動させる。撮影ポイントは、例えば、ロボット10のアーム先端に装着されたハンドの正面の位置である。
次に、操作ボタン群114の開始指示ボタンが操作されることに応じて、教示装置30は、教示の開始を指示する開始指示信号をロボット制御装置50及び無人飛行機70に送信する(ステップS3)。次に、ステップS4では、オペレータによる教示装置30を用いた教示操作を示す教示信号が教示装置30からロボット制御装置50に送信される。
以下では、教示に必要とされる物体が、ロボット10のアーム先端に装着されたツールの一例としてのハンド12(図8参照)であるものとして説明する。ステップS5では、飛行制御部61は、教示装置30からの教示信号に基づいて無人飛行機70とハンド12との相対位置関係を求め、相対位置関係を維持するように飛行を制御する。ステップS5において、無人飛行機70の撮像装置72により得られる画像の例を図8及び図9に示す。図8及び図9の画面には、アーム先端部10a、ハンド12、及びワークWが含まれる。図8及び図9の例では、飛行制御部61は、ハンド12及び無人飛行機70の位置及姿勢に基づいて、ハンド12の撮像される側の面(図8において面12a)に対する撮像の向きが一定となり、且つ、無人飛行機70とハンド12との距離が一定となるように、無人飛行機70の位置及び姿勢を制御する。オペレータは、撮像動画表示領域111に表示された図8のような映像をみながら、ハンド12でワークWを把持する動作をロボット10に教示する。図9は、図8の状態からオペレータがハンド12を別の位置に移動させた状態を示している。図9の画像においても、無人飛行機70とハンド12との相対位置関係は、図8の状態に維持されている。
なお、無人飛行機70が距離検出部78を有する構成である場合には、飛行制御部61は、次のように動作しても良い。すなわち、飛行制御部61は、距離検出部78により得られたハンド12と無人飛行機70との距離を取得する。そして、飛行制御部61は、取得した距離を用いて無人飛行機70とハンド12との距離が一定となるように無人飛行機70の制御を行っても良い。
次に、ステップS6においてロボット制御装置50は、無人飛行機70がロボット10の動作軌跡と干渉する可能性が有るか否かを判断する。例えば、教示装置30のロボット教示用ボタン群113のうちロボット10のアーム先端を移動させるジョグ操作が行われたことが検出された場合に、ロボット制御装置50は無人飛行機70がロボット10と干渉する可能性が有ると判断する(S6:YES)。
無人飛行機70がロボット10と干渉する可能性が有ると判断された場合(S6:YES)、ロボット制御装置50は、教示信号に基づいてロボット10が動作する向きを解析する(ステップS7)。そして、ロボット制御装置50は、解析結果に基づいてロボット10の軌跡をシミュレーション実行部62に求めさせる(ステップS8)。例えば、シミュレーション実行部62は、教示信号に応じた向きにアーム先端を移動させた場合の動作軌跡を算出する。次に、ロボット制御装置50は、無人飛行機70がステップS8で求められた動作軌跡と干渉する位置にある場合には、無人飛行機70がロボット10の動作軌跡と干渉しない安全な領域を求める。そして、ロボット制御装置50は、求められた安全な領域に無人飛行機70を予め移動させた上で、ロボット10を教示入力に従って動作させる(ステップS9)。なお、ステップS6において、無人飛行機70がロボット10と干渉する可能性がないと判断される場合(S6:NO)、処理はステップS10に進む。
次に、教示装置30は、無人飛行機70の位置を調整する調整飛行モードに入るか否かを判断する(ステップS10)。教示装置30の操作ボタン群114に配置された選択ボタンにより調整飛行モードが指定されると、通常飛行モードから調整飛行モードに入る(ステップS10:YES)。調整飛行モードでは、飛行制御部61は、飛行の二次元的方向を指示する操作入力に応じて無人飛行機を円弧状に飛行させる。図7は、教示装置30が調整飛行モードに入った場合のユーザインタフェース画面102を示している。図7に示すように調整飛行モードでは、表示部33の画面下部の左側に、無人飛行機70の飛行の二次元的方向を指示する移動操作ボタン215a-215dが無人飛行機操作部115Bとして配置される。一例として、移動操作ボタン215a-215dにより、鉛直方向又は左右方向の飛行の操作が可能であっても良い。
調整飛行モードでは、ロボット制御装置50は、無人飛行機70が移動操作ボタン215a-215dで指定された移動方向に、ハンド12又はワークW上に定めた基準点を中心とする円弧状の軌跡に沿って移動するように無人飛行機70の飛行を制御しても良い。一例として、ロボット制御装置50は、図13に示すように基準点Pからの距離が等しい左右方向の軌跡T1又は鉛直方向の円弧状の軌跡T2に沿って無人飛行機70を移動させる。また、このとき、ロボット制御装置50は、教示入力を所定の許容動作に制限しても良い。例えば、ロボット制御装置50は、ロボット10の速度或いは移動方向を制限するようにしても良い。一例として、ロボット10は、ロボット10の速度オーバライドを固定し、アーム先端部が一方向(例えば鉛直方向)にのみ移動可能となるようにロボット10の制御を行う。これにより、調整飛行モードにおける無人飛行機70とロボット10(ハンド12)との干渉の可能性をいっそう低減させ、より詳細な教示を行うことが可能になる。オペレータにより、調整飛行モードでのワークWのハンドリングの教示が行われる(ステップS12)。なお、調整飛行モードへのモード変更が選択されない場合(S10:NO)、処理はステップS4に戻り教示操作が行われる。
次に、教示装置30は、ロボット10の教示を終了するか否かを判断する(ステップS13)。例えば、ロボット教示用ボタン群113中の教示終了を指定するボタンが操作されると(S13:YES)、教示装置30は教示を終了すると判断する。この場合、ロボット制御装置50は、無人飛行機70を元の停止場所に移動させるルートを求め、求められたルートに沿って無人飛行機70を移動させる。教示終了が指示されていない場合(S13:NO)、処理はステップS1に戻る。
図5A及び図5Bに示した教示処理が実行される場合の、教示装置30、ロボット制御装置50、及び無人飛行機70それぞれにおいて実行される処理を図10-12を参照して説明する。
図10は、図5A-5Bの教示処理が実行される場合における教示装置30における処理(以下、教示装置側処理とも記載する)を表すフローチャートである。はじめに、制御部31は、操作ボタン群114を介したロボットの選択操作を受け付ける(ステップS101;図5AのS1)。次に、操作ボタン群114の準備指示ボタンが操作されると、教示装置30は、準備指示信号をロボット制御装置50に送信する(ステップS102;図5AのS2)。無人飛行機70が準備位置まで移動したことを例えばロボット制御装置50から通知を受けると、制御部31は、操作ボタン群114を介した撮像の開始指示を受け付ける。操作ボタン群114の開始指示ボタンが操作されると、制御部31は、教示の開始を指示する開始指示信号をロボット制御装置50及び無人飛行機70に送信する(ステップS103;図5AのS3)。
次に、制御部31は、撮像装置72が撮像した映像の画像データの取得を開始し、教示画像表示領域112に画像を表示させる(ステップS104)。そして、制御部31は、ロボット教示用ボタン群113を介した教示操作を受け付け(ステップS105)、受け付けた教示操作を表す教示信号をロボット制御装置50に送信する(ステップS106;図5AのS4)。調整飛行モードへ変更する操作が行われない限り、制御部31は、無人飛行機70からの画像を表示しつつ教示操作を受け付ける処理を繰り返す(S107:NO)。この間、撮像動画表示領域111には、図8のような画像が表示され続けている。
操作ボタン群114に配置された調整飛行モードに入るボタンが操作されると(S107:YES)、制御部31は、表示部33に表示する画面をユーザインタフェース画面102に切り替え、移動操作ボタン215a-215dによる移動操作を受け付ける。そして、制御部31は、受け付けた移動操作を表す信号(無人飛行機調整指示)をロボット制御装置50に送信する(ステップS108)。次に、制御部31は、画像データを取得して撮像動画表示領域111に画像を表示しつつ(ステップS109)、教示操作を受け付け(ステップS110)、受け付けた教示操作を表す教示信号をロボット制御装置50に送信する(ステップS111)。制御部31は、ステップS109からS111の一連の処理を、教示処理の終了を指示する操作がなされるまで継続する(S112:NO)。教示処理の終了を指示する操作がなされると(S112:YES)、本教示装置側処理は終了する。
図11は、図5A-5Bの教示処理が実行される場合におけるロボット制御装置50における処理(以下、ロボット制御装置側処理とも記載する)を表すフローチャートである。はじめに、制御部51は、教示装置30から準備指示信号(無人飛行機準備指示)を受信する(ステップS201)。準備指示信号を受信すると、制御部51は、現在のロボット10の位置及び周辺機器の位置を用いて、無人飛行機70を待機位置から準備位置(撮影ポイント)に移動させるルートを算出する。そして、制御部51は、無人飛行機70を当該ルートに沿って撮影ポイントまで移動させる指令(無人飛行機準備指示)を、無人飛行機70に対して送信する(ステップS202)。
次に、制御部51は、教示装置30から開始指示信号(無人飛行機開始指示)を受信する(ステップS203)。開始指示信号を受信すると、制御部51は、ロボット10及び周辺機器のモデルデータを3Dモデル格納部53から取得すると共にロボット10及び周辺機器の位置データを取得する(ステップS204)。そして、制御部51は、無人飛行機70を配置すべき位置を演算し(ステップS205)、演算の結果にしたがって無人飛行機70を操作する(ステップS206)。そして、制御部51は、教示装置30からの教示信号の受信を待つ(S207:NO)。
教示装置30から教示信号が受信されると(S207:YES)、制御部51は、教示信号に従ってロボット10を動作させる(ステップS208)。また、制御部51は、無人飛行機70をロボット10の動きに追従するように移動させる(ステップS209;図5のステップS5)。これらの処理は、教示装置30から調整飛行モードにモード変更することを示す信号が受信されるまで行われる(S210:NO)。なお、ステップS208及びS209での処理は、図5A及び図5BにおけるステップS6~S9に示した処理を含む。
教示装置30から調整飛行モードにモード変更することを示す信号が受信されると(S210:YES)、制御部51は、教示装置30からの教示信号に従ってロボット10を動作させる(ステップS211)。また、制御部51は、教示装置30からの無人飛行機70の移動操作指令に従って無人飛行機70を移動させる(ステップS212)。これらの処理は、教示処理の終了を示す信号が教示装置30から送信されて来るまで継続する(S213:NO)。教示装置30から、教示処理の終了を示す信号が受信されると(S213:NO)、ロボット制御装置側処理は終了する。
図12は、図5A-5Bの教示処理が実行される場合における無人飛行機70における処理(以下、無人飛行機側処理とも記載する)を表すフローチャートである。はじめに、制御部71は、ロボット制御装置50から、準備指示(無人飛行機準備指示)として、待機位置から準備位置までの移動するための移動指令を受信する(ステップS301)。準備指示を受信すると、制御部71は、準備指示に従って駆動部73を制御して、無人飛行機70を指定位置(準備位置)に移動させる(ステップS302)。次に、制御部71は、ロボット制御装置50から、開始指示(無人飛行機開始指示)を受信する(ステップS303)。
次に、制御部71は、無人飛行機70をロボット10の動作に従って移動させ(S304)、無人飛行機70をホバリングさせながら(ステップS305)、撮像装置72による撮像を行う(ステップS306)。
次に、ステップS307~S309は、センサ部74による画像内の対象物(例えばハンド12)との距離の測定結果を用いて無人飛行機70の位置を調整する場合の処理である。これらの処理は、次のように実行されても良い。すなわち、センサ部74の測定結果をロボット制御装置50に送ってロボット制御装置50側で、測定された距離が所定の範囲にあるか判断する(S308)。そして、測定された距離が所定の範囲にない場合に(S308:NO)、位置調整のための移動指示をロボット制御装置50から無人飛行機70に対して指示する(ステップS309)。或いは、無人飛行機70が、センサ部74による測定結果を用いて、測定された距離が所定の範囲にない場合に(S308:NO)、対象物と無人飛行機70との距離が所定の範囲内に維持されるように位置調整を行っても良い(S309)。
測定された距離が所定の範囲にある場合(S308:YES)或いは位置調整(S309)が終了すると、制御部71は、ロボット制御装置50から、無人飛行機70の移動指令が受信されたか否かを判断する(ステップS310)。移動指令が受信されるまでステップS305からの処理を繰り返す(S310:NO)。移動指令が受信されると(S310:YES)、制御部71は、移動指令で指定された位置まで無人飛行機70を移動させる(ステップS311)。以降、制御部71は、ステップS305~S309と同様の処理を実行する(ステップS312~S316)。ステップS312~S316の処理は、調整飛行モードへのモード変更を指示する信号がロボット制御装置50から受信されるまで繰り返される(S317:NO)。
調整飛行モードへのモード変更を指示する指令がロボット制御装置50から受信されると(S317:YES)、制御部71は、調整飛行モードにおけるロボット制御装置50からの移動指令で指定された位置に無人飛行機70を移動させる(ステップS318)。以降、制御部71は、ステップS305~S309と同様の処理を実行する(ステップS319~S323)。ステップS319~S323の処理は、教示処理の終了を指示する信号がロボット制御装置50から受信されるまで繰り返される(S324:NO)。教示処理の終了を指示する信号がロボット制御装置50から受信されると(S324:YES)、無人飛行機側処理は終了する。
以上説明したように本実施形態によれば、柵外からといったオペレータがロボットの動きを直接視認するっことが難しい環境においても、柵内でロボット教示を行う場合に相当するロボット教示を行うことが可能となる。それにより、携帯情報端末等の一般的な情報端末を教示に用いる場合に、情報端末に非常停止ボタン及びデッドマンスイッチを含むハードウェアを追加して柵内で使用する必要性を解消することができる。
以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
教示に必要な物体の画像の例は、図5AのステップS5に関して説明したような、無人飛行機70と物体(例えばハンド12)との相対位置関係を維持するように無人飛行機70を飛行させて画像を取得する例に限られない。例えば、教示に必要な物体の画像の例としては、ロボットの全体的な動きを捉えるような画像、ロボットの一関節部位の動きを注視する画像、ワークを注視するような画像など、様々な例が有り得る。
上述の実施形態ではユーザインタフェース画面101が通常飛行モードでの飛行の操作を行うため無人飛行機操作部115Aを有する例を記載したが、ユーザインタフェース画面101には無人飛行機操作部115Aは設けられていなくても良い。
上述の実施形態では、無人飛行機70が距離検出部78としてセンサ部74及びセンサ演算部75を有する例を示したが、撮像装置72で撮像した画像を解析して対象物までの距離測定を行っても良い。この場合は、センサ部74及びセンサ演算部75は省略することができる。
上述の実施形態における、無人飛行機を準備位置まで移動させる操作(図5AのS2)、及び無人飛行機70をロボット10の動作軌跡から回避させる操作(図5BのS9)を、オペレータが無人飛行機操作部115Aを操作して行っても良い。
上述の実施形態では、教示装置30の表示部に無人飛行機からの映像が表示されるものとして説明したが、無人飛行機からの映像を表示する表示装置が教示装置とは別体の装置としてロボットシステム内に設けられても良い。このような構成の場合にも、オペレータは、表示装置に表示された画像をみながら教示操作を行うことができ、上述の実施形態と同様の効果を得ることができる。
図5A-5B、図10-12に示した各種処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体(例えば、ROM、EEPROM、フラッシュメモリ等の半導体メモリ、磁気記録媒体、CD-ROM、DVD-ROM等の光ディスク)に記録することができる。
ロボット制御装置50(飛行制御部61)は、無人飛行機70に搭載している撮像装置72の方向(すなわち、視線または向き)を、作成された三次元マップによって管理するように構成されていても良い。ロボット10と無人飛行機70(撮像装置72)の位置や姿勢及び方向などを三次元マップによって管理することで、ロボット制御装置50(飛行制御部61)は、撮像装置72が常にロボット10(或いはその他の物体)を撮像するように飛行の制御を行うことが可能となる。また、画像検出によってロボット10(或いはその他の物体)を認識して、撮像装置72の方向を調整しても良い。この場合、撮像した画像を解析し、ロボット10(或いはその他の物体)を検出して、撮像装置72の向きを調整することで、撮像装置72で常にロボット10(或いはその他の物体)を撮像することが可能になる。このような画像の解析は、ロボット制御装置50において実行する構成としても良いし、或いは、無人飛行機70において実行する構成としても良い。
距離検出部78のセンサ部74は、無人飛行機70の下方向に向けられたセンサ(測距センサ)を有していても良い。下方向に向けられたセンサの出力をセンサ演算部75で演算することにより、無人飛行機70の高度(すなわち、設置フロアとの距離)を得る。算出された高度のデータを三次元マップに反映させることで、ロボット制御装置50において無人飛行機70の高度を管理し、この高度に基づいて無人飛行機70の飛行を制御することが可能になる。或いは、無人飛行機70が、距離検出部78によって算出された高度を用いて、無人飛行機70の高度を調整するように構成されても良い。
10 ロボット
30 教示装置
31 制御部
32 操作部
33 表示部
34 通信部
50 ロボット制御装置
51 制御部
52 操作部
53 3Dモデル格納部
54 演算部
55 通信部
61 飛行制御部
62 シミュレーション実行部
70 無人飛行機
71 制御部
72 撮像装置
73 駆動部
74 センサ部
75 センサ演算部
76 GPS機能部
77 通信部
78 距離検出部
100 ロボットシステム
115A,115B 無人飛行機操作部

Claims (13)

  1. ロボットと、
    前記ロボットを制御するロボット制御装置と、
    オペレータの教示入力に応じて前記ロボットの教示信号を前記ロボット制御装置に送る教示装置と、
    撮像装置を備えた無人飛行機と、
    前記教示信号に従って前記ロボットが動作する間、前記教示信号に基づいて、教示に必要な物体の画像を前記撮像装置が継続して取得するように前記無人飛行機の飛行を制御する飛行制御部と、
    を具備するロボットシステム。
  2. 前記飛行制御部は、前記教示信号に基づいて前記無人飛行機と前記物体との相対位置関係を求め、前記相対位置関係を維持するように前記飛行を制御する、請求項1に記載のロボットシステム。
  3. 前記飛行制御部は、前記無人飛行機と前記物体との距離を一定に維持する、請求項2に記載のロボットシステム。
  4. 前記無人飛行機は、前記距離を検出する距離検出部を備え、
    前記飛行制御部は前記距離検出部の出力に基づいて前記飛行を制御する、請求項3に記載のロボットシステム。
  5. 前記教示信号に従う前記ロボットの動作軌跡をシミュレーションにより求めるシミュレーション実行部をさらに備え、
    前記飛行制御部は、前記無人飛行機が前記動作軌跡と干渉しないように前記飛行を制御する、請求項1から4のいずれか一項に記載のロボットシステム。
  6. 前記教示装置は、オペレータの操作入力に応じて前記飛行を指令する操作信号を出力する無人飛行機操作部を備え、
    前記飛行制御部は、前記操作信号に基づいて前記飛行を制御する、請求項1から5のいずれか一項に記載のロボットシステム。
  7. 前記飛行制御部は、前記操作信号に基づいて前記無人飛行機を、前記物体に定めた基準点を中心として円弧状に飛行させる、請求項6に記載のロボットシステム。
  8. 前記教示装置は、前記教示入力及び前記飛行の三次元的方向を指示する前記操作入力のいずれかに応じて前記無人飛行機を飛行させる通常飛行モードと、前記飛行の二次元的方向を指示する前記操作入力に応じて前記無人飛行機を前記円弧状に飛行させる調整飛行モードとを選択可能に構成される、請求項7に記載のロボットシステム。
  9. 前記教示装置は、前記調整飛行モードが選択されたときに、前記教示入力を所定の許容動作に制限する、請求項8に記載のロボットシステム。
  10. 前記教示装置は、前記画像を表示する表示部を更に備える、請求項1から9のいずれか一項に記載のロボットシステム。
  11. 前記ロボット制御装置が前記飛行制御部を備える、請求項1から10のいずれか一項に記載のロボットシステム。
  12. 前記飛行制御部は、前記教示信号に従って前記ロボットが動作する前に、前記教示装置からの指令に従って、前記無人飛行機を待機位置から前記撮像装置が前記画像の取得を開始する準備位置まで飛行させるとともに前記準備位置で前記撮像装置に前記画像を取得させる準備動作を実行する、請求項1から11のいずれか一項に記載のロボットシステム。
  13. 前記ロボット制御装置は、前記撮像装置の方向を管理する、請求項1から12のいずれか一項に記載のロボットシステム。
JP2019040755A 2019-03-06 2019-03-06 ロボットシステム Active JP7272825B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019040755A JP7272825B2 (ja) 2019-03-06 2019-03-06 ロボットシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019040755A JP7272825B2 (ja) 2019-03-06 2019-03-06 ロボットシステム

Publications (2)

Publication Number Publication Date
JP2020142326A JP2020142326A (ja) 2020-09-10
JP7272825B2 true JP7272825B2 (ja) 2023-05-12

Family

ID=72355320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019040755A Active JP7272825B2 (ja) 2019-03-06 2019-03-06 ロボットシステム

Country Status (1)

Country Link
JP (1) JP7272825B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107760A1 (ja) * 2020-11-20 2022-05-27 ファナック株式会社 数値制御装置、及び記憶媒体
WO2022107761A1 (ja) 2020-11-20 2022-05-27 ファナック株式会社 無人飛行機制御装置、及び記憶媒体
US20240019874A1 (en) 2020-11-20 2024-01-18 Fanuc Corporation Flight path specification device and computer readable storage medium
CN112947536B (zh) * 2021-04-25 2022-10-28 中国人民解放军空军工程大学航空机务士官学校 一种固定翼飞机典型飞行模式教学演示装置控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009279706A (ja) 2008-05-22 2009-12-03 Shibuya Kogyo Co Ltd ロボット制御装置
JP2010089222A (ja) 2008-10-09 2010-04-22 Hitachi Engineering & Services Co Ltd 作業ロボットと、ティーチング方法
JP2012171024A (ja) 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
JP2013521137A (ja) 2010-03-02 2013-06-10 コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ 輻輳した環境におけるロボット型機械の操縦を支援する方法及びシステム
JP2017504851A (ja) 2014-09-05 2017-02-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人航空機の速度を制御する方法、及びシステム
JP2017130121A (ja) 2016-01-22 2017-07-27 株式会社ダイヘン 移動体、及びサーバ
US20170225680A1 (en) 2015-05-12 2017-08-10 SZ DJI Technology Co., Ltd Apparatus and methods for obstacle detection
JP2019093471A (ja) 2017-11-22 2019-06-20 川崎重工業株式会社 ロボットシステム及びそれを用いて物を作る方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272424A (ja) * 1995-04-03 1996-10-18 Amada Metrecs Co Ltd 産業用ロボットの数値制御装置
JPH0976063A (ja) * 1995-09-16 1997-03-25 Sanshiyuuzen Kogyo Kk 溶接装置
JP3655083B2 (ja) * 1998-02-25 2005-06-02 富士通株式会社 ロボットの位置決めを行うインタフェース装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009279706A (ja) 2008-05-22 2009-12-03 Shibuya Kogyo Co Ltd ロボット制御装置
JP2010089222A (ja) 2008-10-09 2010-04-22 Hitachi Engineering & Services Co Ltd 作業ロボットと、ティーチング方法
JP2013521137A (ja) 2010-03-02 2013-06-10 コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ 輻輳した環境におけるロボット型機械の操縦を支援する方法及びシステム
JP2012171024A (ja) 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
JP2017504851A (ja) 2014-09-05 2017-02-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人航空機の速度を制御する方法、及びシステム
US20170225680A1 (en) 2015-05-12 2017-08-10 SZ DJI Technology Co., Ltd Apparatus and methods for obstacle detection
JP2017130121A (ja) 2016-01-22 2017-07-27 株式会社ダイヘン 移動体、及びサーバ
JP2019093471A (ja) 2017-11-22 2019-06-20 川崎重工業株式会社 ロボットシステム及びそれを用いて物を作る方法

Also Published As

Publication number Publication date
JP2020142326A (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
JP7272825B2 (ja) ロボットシステム
JP6250228B2 (ja) 構造物の形状測定用の画像撮影システム、遠隔制御装置、機上制御装置、プログラムおよび記録媒体
US10932874B2 (en) Remote control robot system
CN110325939B (zh) 用于操作无人驾驶飞行器的系统和方法
JP5618840B2 (ja) 飛行体の飛行制御システム
JP6601554B2 (ja) 無人航空機、無人航空機制御システム、飛行制御方法およびコンピュータプログラム
JP4012749B2 (ja) 遠隔操縦システム
JP4844453B2 (ja) ロボットの教示装置及び教示方法
JP4167954B2 (ja) ロボット及びロボット移動方法
US8942850B2 (en) Method and system for assisting in the handling of robotized machines in a congested environment
KR101615687B1 (ko) 충돌 예측 로봇 원격 제어 시스템 및 그 방법
JP2006113858A (ja) 移動体の遠隔操作支援方法及びシステム
JP2015037937A (ja) 飛行体の飛行制御システム
JP2007196300A (ja) ロボット制御システム
JP2019101765A (ja) 移動体の追従画像提示システム
CN113287077B (zh) 信息处理装置、信息处理方法以及无人飞行器
JP7428461B2 (ja) 無人航空機システムおよび飛行制御方法
JP4558682B2 (ja) 移動型ロボットシステムにおけるマニピュレータ遠隔操作方法
JP6368503B2 (ja) 障害物監視システム及びプログラム
US11926064B2 (en) Remote control manipulator system and remote control assistance system
JP6699944B2 (ja) 表示システム
CN114842056A (zh) 多机位第一机器视角追随方法、系统、装置及设备
JP3376029B2 (ja) ロボットの遠隔操作装置
US11586225B2 (en) Mobile device, mobile body control system, mobile body control method, and program
WO2021039387A1 (ja) 制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230427

R150 Certificate of patent or registration of utility model

Ref document number: 7272825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150