JP7066357B2 - ロボットシステム及びその運転方法 - Google Patents

Description

本発明は、ロボットシステム及びその運転方法に関する。

拡張現実対応ディスプレイを用いて、実映像又は実環境にロボットの状態や操作ガイドに関する情報をロボットの使用者に提供しているロボットシステムが知られている（例えば、特許文献１参照）。特許文献１に開示されているロボットシステムでは、ディスプレイにロボットの状態又は操作ガイドを視覚的に示す付加情報を重畳して表示している。

特開２０１６－１０７３７９号公報

ところで、保持したワークを嵌合部に嵌合させる動作を操作者が教示・操作するような場合には、ワークを他の部分と接触させないようにする等、ロボットの位置決めを慎重に行う必要がある。

上記特許文献１に開示されているロボットシステムでは、ロボットの先端部を原点とした直交座標系が表示されているが、当該情報だけでは、位置決めを行うには不充分であり、操作者への負担が大きく、作業効率の向上の観点から未だ改善の余地があった。

本発明は、上記従来の課題を解決するもので、操作者の負担を軽減して、作業効率を向上させることができる、ロボットシステム及びその運転方法を提供することを目的とする。

上記従来の課題を解決するために、本発明に係るロボットシステムは、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行う実ロボットと、前記実ロボットを撮影するように構成されているカメラと、前記カメラが撮影した前記実ロボットの映像情報と仮想ロボットを表示するように構成されている表示装置と、制御装置と、を備え、前記制御装置は、前記カメラが撮影した前記実ロボットの映像情報と前記仮想ロボットを前記表示装置に表示させた状態で、前記操作器から入力された指示情報を基に、前記表示装置に表示されている前記仮想ロボットを動作させ、その後、前記操作器から前記実ロボットの動作を実行させる動作実行情報が入力されると、前記表示装置に前記仮想ロボットを表示させた状態で、前記実ロボットを動作させるように構成されている。

これにより、仮想ロボットが実ロボットの動作前に、指示情報を基に動作するので、動作後の位置を視覚的に把握することができる。このため、例えば、実ロボット本体及び／又は実ロボットが把持しているワークが、作業空間内に配置されている機器等と接触等するか否かを容易に判断することができ、実ロボット先端部の位置決めを容易に行うことができる。したがって、操作者の負担を軽減して、作業効率を向上させることができる。

また、本発明に係るロボットシステムの運転方法は、前記ロボットシステムが、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行う実ロボットと、前記作業空間内に設置され、前記実ロボットを撮影するように構成されているカメラと、前記カメラが撮影した前記実ロボットの映像情報と仮想ロボットを表示するように構成されている表示装置と、を備え、前記表示装置が、前記カメラが撮影した前記実ロボットの映像情報と前記仮想ロボットを表示する（Ａ）と、前記表示装置が、前記（Ａ）の後に、前記操作器から入力された指示情報を基に、前記仮想ロボットの動作を表示する（Ｂ）と、前記（Ｂ）の後に、前記操作器から前記実ロボットの動作を実行させる動作実行情報が入力されると、前記表示装置が、前記仮想ロボットを表示した状態で、前記実ロボットが、前記操作器から入力された指示情報を基に動作する（Ｃ）と、を備える。

これにより、仮想ロボットが実ロボットの動作前に、指示情報を基に動作するので、動作後の位置を視覚的に把握することができる。このため、例えば、実ロボット本体及び／又は実ロボットが把持しているワークが、作業空間内に配置されている機器等と接触等するか否かを容易に判断することができ、実ロボット先端部の位置決めを容易に行うことができる。したがって、操作者の負担を軽減して、作業効率を向上させることができる。

本発明のロボットシステム及びその運転方法によれば、操作者の負担を軽減して、作業効率を向上させることができる。

図１は、本実施の形態１に係るロボットシステムの概略構成を示すブロック図である。 図２は、図１に示すロボットシステムにおける、実ロボットの概略構成を示す模式図である。 図３は、本実施の形態１に係るロボットシステムの動作の一例を示すフローチャートである。 図４は、本実施の形態１に係るロボットシステムにおける表示装置に表示されている映像情報を示す模式図である。 図５は、本実施の形態１に係るロボットシステムにおける表示装置に表示されている映像情報を示す模式図である。 図６は、本実施の形態１に係るロボットシステムにおける表示装置に表示されている映像情報を示す模式図である。 図７は、本実施の形態１に係るロボットシステムにおける表示装置に表示されている映像情報を示す模式図である。 図８は、本実施の形態２に係るロボットシステムの概略構成を示すブロック図である。 図９は、図８に示すロボットシステムの透過型表示装置の一例を示す模式図である。 図１０は、本実施の形態２に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１１は、本実施の形態２に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１２は、本実施の形態３に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１３は、本実施の形態３に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１４は、本実施の形態３に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１５は、本実施の形態４に係るロボットシステムの概略構成を示すブロック図である。 図１６は、本実施の形態４に係るロボットシステムにおける表示装置に表示されている映像情報を示す模式図である。

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、全ての図面において、同一又は相当部分には同一符号を付し、重複する説明は省略する。また、全ての図面において、本発明を説明するための構成要素を抜粋して図示しており、その他の構成要素については図示を省略している場合がある。さらに、本発明は以下の実施の形態に限定されない。

（実施の形態１）
本実施の形態１に係るロボットシステムは、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行う実ロボットと、実ロボットを撮影するように構成されているカメラと、カメラが撮影した実ロボットの映像情報と仮想ロボットを表示するように構成されている表示装置と、制御装置と、を備え、制御装置は、カメラが撮影した実ロボットの映像情報と仮想ロボットを表示装置に表示させた状態で、操作器から入力された指示情報を基に、表示装置に表示されている仮想ロボットを動作させ、その後、操作器から実ロボットの動作を実行させる動作実行情報が入力されると、表示装置に仮想ロボットを表示させた状態で、実ロボットを動作させるように構成されている。

また、本実施の形態１に係るロボットシステムでは、制御装置は、仮想ロボットとカメラで撮影した実ロボットの映像情報とが重なるように、表示装置に表示させ、操作器から指示情報が入力されると、当該指示情報を基に、仮想ロボットを動作させるように構成されていてもよい。

さらに、本実施の形態１に係るロボットシステムでは、操作器は、携帯端末、タッチパネル、マスターアーム、ティーチングペンダント、ジョイスティック、及び音声入力器のうち、少なくともいずれか１つの機器で構成されていてもよい。

以下、本実施の形態１に係るロボットシステムの一例について、図１～図７を参照しながら説明する。

［ロボットシステムの構成］
図１は、本実施の形態１に係るロボットシステムの概略構成を示すブロック図である。

図１に示すように、本実施の形態１に係るロボットシステム１００は、実ロボット１、操作器２、制御装置４、記憶装置５、表示装置６、及びカメラ８を備えていて、操作者が操作器２を操作することにより、実ロボット１が動作するように構成されている。また、本実施の形態１に係るロボットシステム１００は、操作者が操作器２を操作すると、制御装置４は、表示装置６に表示されている仮想ロボット３（図５参照）を動作させ、その後、操作器２から実ロボット１の動作を実行させる動作実行情報が入力されると、表示装置６に仮想ロボット３を表示させた状態で、実ロボット１の動作を実行させるように構成されている。

以下、本実施の形態１に係るロボットシステム１００が備える、各機器について、説明する。

実ロボット１は、作業空間内に設置され、複数の工程からなる一連の作業を行うように構成されている。なお、複数の工程からなる一連の作業としては、製品に対する部品の組付、塗装等の作業が例示できる。

本実施の形態１に係る実ロボット１は、ライン生産方式又はセル生産方式で、電気・電子部品等を組み立てて製品を生産する生産工場で利用され、この生産工場に設けられた作業台に沿って配置され、作業台上のワークに対して、移送、パーツの組み付け又は配置換え、姿勢変換等の作業のうち少なくとも１つを行うことができる多関節ロボットである。但し、実ロボット１の実施態様は上記に限定されず、水平多関節型・垂直多関節型を問わず多関節ロボットに広く適用することができる。

ここで、図２を参照しながら、実ロボット１の具体的な構成について説明する。

図２は、図１に示すロボットシステムにおける、実ロボットの概略構成を示す模式図である。

図２に示すように、実ロボット１は、複数のリンク（ここでは、第１リンク１１ａ～第６リンク１１ｆ）の連接体と、複数の関節（ここでは、第１関節ＪＴ１～第６関節ＪＴ６）と、これらを支持する基台１５と、を有する多関節ロボットアームである。

第１関節ＪＴ１では、基台１５と、第１リンク１１ａの基端部とが、鉛直方向に延びる軸回りに回転可能に連結されている。第２関節ＪＴ２では、第１リンク１１ａの先端部と、第２リンク１１ｂの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。第３関節ＪＴ３では、第２リンク１１ｂの先端部と、第３リンク１１ｃの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。

また、第４関節ＪＴ４では、第３リンク１１ｃの先端部と、第４リンク１１ｄの基端部とが、第４リンク１１ｄの長手方向に延びる軸回りに回転可能に連結されている。第５関節ＪＴ５では、第４リンク１１ｄの先端部と、第５リンク１１ｅの基端部とが、第４リンク１１ｄの長手方向と直交する軸回りに回転可能に連結されている。第６関節ＪＴ６では、第５リンク１１ｅの先端部と第６リンク１１ｆの基端部とが、捻れ回転可能に連結されている。

そして、第６リンク１１ｆの先端部には、メカニカルインターフェースが設けられている。このメカニカルインターフェースには、作業内容に対応したエンドエフェクタ１２が着脱可能に装着される。

また、第１関節ＪＴ１～第６関節ＪＴ６には、それぞれ、各関節が連結する２つの部材を相対的に回転させるアクチュエータの一例としての駆動モータが設けられている（図示せず）。駆動モータは、例えば、制御装置４によってサーボ制御されるサーボモータであってもよい。また、第１関節ＪＴ１～第６関節ＪＴ６には、それぞれ、駆動モータの回転位置を検出する回転センサと、駆動モータの回転を制御する電流を検出する電流センサと、が設けられている（それぞれ、図示せず）。回転センサは、例えば、エンコーダであってもよい。

操作器２は、操作者からの操作指示を受け付ける装置である。操作器２としては、例えば、携帯端末、タッチパネル、マスターアーム、ティーチングペンダント、ジョイスティック、又は音声入力器等が挙げられる。携帯端末としては、例えば、タブレット、スマートフォン、ノートパソコン等が挙げられる。また、操作器２は、表示装置６に仮想ロボット３の表示／非表示を切り替えるための切替器（例えば、ボタン等）を備えていてもよい。

記憶装置５は、読み書き可能な記録媒体であり、タスクプログラム５１とロボットシステム１００の動作シーケンス情報５２が記憶されている。なお、本実施の形態１に係るロボットシステム１００では、記憶装置５は、制御装置４と別体に設けられているが、制御装置４と一体として設けられていてもよい。

タスクプログラム５１は、例えば、操作者がティーチングペンダント等から構成されている操作器２を用いて、ティーチングすることにより作成され、実ロボット１の識別情報とタスクとに対応付けられて、記憶装置５に格納されている。なお、タスクプログラム５１は、作業ごとの動作フローとして作成されてもよい。

動作シーケンス情報５２とは、作業空間内で実ロボット１によって実施される一連の作業工程を規定した動作シーケンスに関する情報である。動作シーケンス情報５２では、作業工程の動作順と、実ロボット１の制御モードと、が対応付けられている。また、動作シーケンス情報５２では、各作業工程に対し、実ロボット１にその作業を自動的に実行させるためのタスクプログラムが対応付けられている。なお、動作シーケンス情報５２は、各作業工程に対し、実ロボット１にその作業を自動的に実行させるためのプログラムを含んでいてもよい。

また、本実施の形態１においては、作業空間内には、カメラ８が配設されている。具体的には、カメラ８は、作業空間を構成する壁面（側壁面）に配設されている。カメラ８は、撮影した実ロボット１を含む映像情報を制御装置４に出力するように構成されている。なお、カメラ８は、作業空間内に配設されていなくてもよい。例えば、カメラ８は、操作者が携帯している携帯端末又はヘッドマウントディスプレイ等に設置されているカメラであってもよい。

制御装置４は、実ロボット１の動作を制御するものである。制御装置４は、例えば、マイクロコントローラ、ＭＰＵ、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）、論理回路等からなる演算部（図示せず）と、ＲＯＭ又はＲＡＭ等からなるメモリ部（図示せず）と、により構成することができる。また、制御装置４が備える各機能ブロックは、制御装置４の演算部が、メモリ部（記憶器）又は記憶装置５に格納されているプログラムを読み出し実行することにより実現できる。

なお、制御装置４は、単独の制御装置で構成される形態だけでなく、複数の制御装置が協働して、実ロボット１（ロボットシステム１００）の制御を実行する制御装置群で構成される形態であっても構わない。

また、制御装置４は、予め３次元ＣＡＤにより作成された、実ロボット１の３次元モデルを示すデータを用いて、表示装置６に仮想ロボット３を表示させてもよい。また、制御装置４は、実ロボット１を３次元スキャナ等によりスキャンした画像データを用いて、表示装置６に仮想ロボット３を表示させてもよい。

表示装置６は、作業空間内（例えば、天井、側壁面、実ロボット１の先端部等）に設置されているカメラ８で撮影した映像（映像情報）と、制御装置４から出力された映像情報（例えば、仮想ロボット３）と、を表示するように構成されている。表示装置６は、机、床等に据え置いて使用する、据え置き型のディスプレイで構成されていてもよい。また、表示装置６は、操作者が物理的な実世界を視認可能に構成されている、透過型表示装置であってもよい。なお、本実施の形態１においては、表示装置６は、据え置き型のディスプレイで構成されている。

［ロボットシステムの動作及び作用効果］
次に、本実施の形態１に係るロボットシステム１００の動作及び作用効果について、図１～図７を参照しながら説明する。なお、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行される。また、以下においては、図４～図７に示すように、本実施の形態１に係るロボットシステム１００の動作の具体例として、実ロボット１が保持している筒状ワーク２０を基台２１に設けられている突起部２１ａに嵌挿させる動作について、説明する。

図３は、本実施の形態１に係るロボットシステムの動作の一例を示すフローチャートである。図４～図７は、本実施の形態１に係るロボットシステムにおける表示装置に表示されている映像情報を示す模式図である。

なお、図４、７においては、仮想ロボット３及び仮想ワークを一点鎖線で示し、実ロボット１の映像情報１Ａと仮想ロボット３とを見やすくするために、仮想ロボット３を実ロボット１の映像情報１Ａとずれるように表示している。

図３に示すように、制御装置４は、操作器２から実ロボット１の操作を開始することを示す操作開始情報（操作開始信号）が入力されたか否かを判定する（ステップＳ１０１）。

制御装置４は、操作器２から操作開始情報が入力されていないと判定した場合（ステップＳ１０１でＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。一方、制御装置４は、操作器２から操作開始情報が入力されたと判定した場合（ステップＳ１０１でＹｅｓ）には、ステップＳ１０２の処理を実行する。

ステップＳ１０２において、制御装置４は、表示装置６に仮想ロボット３、仮想ワーク、及びカメラ８が撮影した実ロボット１を含む映像情報１Ａを表示させる。このとき、制御装置４は、実ロボット１が保持しているワーク２０に対応する仮想ワークを表示装置６に表示させてもよい。また、制御装置４は、操作者が視認している実ロボット１に仮想ロボット３が重なるように、表示装置６に仮想ロボット３を表示させてもよい。

なお、制御装置４は、仮想ロボット３が実ロボット１に完全に重なるように、表示装置６に仮想ロボット３を表示させてもよく、仮想ロボット３と実ロボット１がわずかにずれるように、表示装置６に仮想ロボット３を表示させてもよく、仮想ロボット３が実ロボット１と全く重ならないように、表示装置６に仮想ロボット３を表示させてもよい。

次に、制御装置４は、操作器２から実ロボット１への指示情報が入力されたか否かを判定する（ステップＳ１０３）。ここで、指示情報としては、例えば、実ロボット１の先端部の位置座標、実ロボット１を構成する各軸の回転角度等が挙げられる。

制御装置４は、操作器２から指示情報が入力されたと判定した場合（ステップＳ１０３でＹｅｓ）には、ステップＳ１０３で入力された指示情報を基に、表示装置６に表示されている仮想ロボット３を動作させる（ステップＳ１０４）。ついで、制御装置４は、実ロボット１を動作させるか否かを操作者に問い合わせるための問い合わせ情報を表示装置６に表示させる（ステップＳ１０５）。問い合わせ情報としては、例えば、「実ロボット１を動作させますか？」等の文字情報が挙げられる。

次に、制御装置４は、操作器２から実ロボット１の動作を実行することを示す動作実行情報、又は実ロボット１の動作を実行させないことを示す動作不実行情報が入力されたかを判定する（ステップＳ１０６）。

ここで、図５に示すように、ステップＳ１０３で入力された指示情報を基に、表示装置６に表示されている仮想ロボット３を動作させた結果、筒状ワーク２０が突起部２１ａと衝突したとする。このような場合、作業者は、ステップＳ１０３で入力された指示情報に従って、実ロボット１を実際に動作させると、筒状ワーク２０が突起部２１ａと衝突することを容易に理解することができる。

このため、操作者は、ステップＳ１０３で入力された指示情報を基に、実ロボット１が動作しないように、操作器２を操作する。これにより、制御装置４には、操作器２から動作不実行情報が入力され（ステップＳ１０６で動作不実行）、制御装置４は、ステップＳ１０３に戻り、操作器２から再度指示情報が入力される（ステップＳ１０３）と、仮想ロボット３を動作させる（ステップＳ１０４）といった、ステップＳ１０３～ステップＳ１０６の処理を繰り返す。

一方、図６に示すように、ステップＳ１０３で入力された指示情報を基に、表示装置６に表示されている仮想ロボット３を動作させた結果、筒状ワーク２０が突起部２１ａの上方（真上）に位置したとする。このような場合には、操作者は、ステップＳ１０３で入力された指示情報に従って、実ロボット１を実際に動作させても、問題が発生しないことを容易に理解することができる。

このため、操作者は、ステップＳ１０３で入力された指示情報を基に、実ロボット１が動作するように、操作器２を操作する。これにより、制御装置４には、操作器２から動作実行情報が入力され（ステップＳ１０６で動作実行）、制御装置４は、実ロボット１をステップＳ１０３で入力された指示情報を基に、実ロボット１を動作させる（ステップＳ１０７）。この結果、図７に示すように、実ロボット１は、筒状ワーク２０が突起部２１ａの上方（真上）に位置するように、動作する。

次に、制御装置４は、操作器２から、実ロボット１の操作を続行することを示す操作続行情報が入力されたか、又は実ロボット１の操作を終了することを示す操作終了情報が入力されたかを判定する（ステップＳ１０８）。

制御装置４は、操作器２から、操作続行情報が入力されたと判定した場合（ステップＳ１０８で操作続行情報入力）には、操作終了情報が入力されたと判定するまで、ステップＳ１０３～ステップＳ１０８の各処理を実行する。一方、制御装置４は、操作器２から、操作終了情報が入力されたと判定した場合（ステップＳ１０８で操作終了情報入力）には、本プログラムを終了する。

なお、本実施の形態１においては、制御装置４は、ステップＳ１０２において、仮想ロボット３とカメラ８で撮影した実ロボット１を含む映像情報１Ａを表示装置６に表示させる形態を採用したが、これに限定されない。制御装置４は、本プログラムを開始する前、又は本プログラムを開始した直後に、カメラ８で撮影した実ロボット１を含む映像情報１Ａを表示装置６に表示させる形態を採用してもよい。

このように構成された、本実施の形態１に係るロボットシステム１００では、制御装置４が、操作器２から指示情報が入力されると、実ロボット１を動作させる前に、表示装置６に表示されている仮想ロボット３を動作させる。これにより、操作者は、入力した指示情報を基に実ロボット１が動作した場合に、実ロボット１の動作後の状態を容易に理解することができ、実ロボット１が、作業空間内に配置されている機器等と接触等するか否かを容易に理解することができる。

このため、操作者は、作業空間内に配置されている機器等と接触等しないように、実ロボット１を少しずつ動作させる（操作する）必要がなくなり、操作者の作業負担を軽減することができ、作業効率を向上させることができる。

（実施の形態２）
本実施の形態２に係るロボットシステムは、実施の形態１に係るロボットシステムにおいて、表示装置が、操作者が実世界を視認可能に構成されている、透過型表示装置で構成されている。

また、本実施の形態２に係るロボットシステムでは、表示装置は、操作者に装着可能に構成されていてもよい。

以下、本実施の形態２に係るロボットシステムの一例について、図８～図１１を参照しながら説明する。

［ロボットシステムの構成］
図８は、本実施の形態２に係るロボットシステムの概略構成を示すブロック図である。図９は、図８に示すロボットシステムの透過型表示装置の一例を示す模式図である。図１０及び図１１は、本実施の形態２に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。

図８に示すように、本実施の形態２に係るロボットシステム１００は、実施の形態１に係るロボットシステム１００と基本的構成は同じであるが、表示装置６が、操作者が物理的な実世界を視認可能に構成されている、透過型表示装置６Ａで構成されている点が異なる。

透過型表示装置６Ａは、図９に示すように、制御装置４から出力された映像情報を映すための表示部６１を有し、操作者が身に着けて使用するヘッドマウントディスプレイ又はメガネで構成されていてもよい。また、図９に示すように、透過型表示装置６Ａには、操作者が視認している実世界の情報を取得するカメラ６２が設けられていてもよい。なお、透過型表示装置６Ａに設けられているカメラ６２が、カメラ８として機能してもよい。

また、図１０及び図１１に示すように、透過型表示装置６Ａの表示部６１には、カメラ８が撮影した実ロボット１を含む映像情報１Ａと仮想ロボット３が、映像画面３０として、表示される。

[ロボットシステムの動作及び作用効果]
まず、図１０及び図１１に示すように、実ロボット１が配置されている作業空間内には、前方が開放されている容器４０が、実ロボット１の基台１５の奥に配置されている。また、カメラ８は、作業空間を構成する天井に配設されている。

このような状態において、以下では、本実施の形態２に係るロボットシステム１００の動作の具体例として、実ロボット１が保持している板状のワーク２０を筐体４０内に搬送する動作について、説明する。

なお、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行され、また、制御装置４の演算部が読み出すプログラムの内容は、実施の形態１に係るロボットシステム１００と同じであるので、そのフローの説明は省略する。

まず、操作者が、操作器２を操作して、第１関節ＪＴ１をその軸心回りに回動させる指示情報（以下、第１指示情報ということもある）を入力したとする。すると、制御装置４は、入力された第１指示情報に従って、仮想ロボット３を動作させるが、図１０に示すように、実ロボット１が把持しているワーク２０が容器４０と衝突してしまう。

このため、操作者は、上記第１指示情報を基に、実ロボット１を実際に動作させると、ワーク２０が容器４０と衝突することを容易に理解することができる。また、操作者は、ワーク２０の容器４０との衝突を避けるには、基台１５とワーク２０の間の（水平方向における）距離が、基台１５と容器４０との間の（水平方向における）距離よりも、小さくする必要があることを容易に理解することができる。そして、操作者は、基台１５とワーク２０との距離を小さくするためには、第２関節ＪＴ２をその軸心周りに回動させて、第２リンク１１ｂを鉛直方向に略平行となるように動作させる必要があることを容易に理解することができる。

これにより、操作者は、操作器２を操作して、第１関節ＪＴ１をその軸心回りに回動させるとともに、第２関節ＪＴ２をその軸心周りに回動させる指示情報（以下、第２指示情報ということもある）を制御装置４に入力する。そして、制御装置４が、入力された第２指示情報に従って、仮想ロボット３を動作させると、図１１に示すように、実ロボット１が把持しているワーク２０が容器４０と衝突することなく、容器４０の前方に位置することとなる。

この結果により、操作者は、操作器２を操作して、第２指示情報を基に、実ロボット１が動作するように、動作実行情報を制御装置４に入力する。制御装置４は、映像画面３０に仮想ロボット３を表示させた状態で、第２指示情報を基に、実ロボット１を動作させる。

このように構成された、本実施の形態２に係るロボットシステム１００であっても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

（実施の形態３）
本実施の形態３に係るロボットシステムは、実施の形態１又は２に係るロボットシステムにおいて、カメラが、実ロボットの先端部に配設されている。

以下、本実施の形態３に係るロボットシステムの一例について、図１２～図１４を参照しながら説明する。

［ロボットシステムの構成］
図１２～１４は、本実施の形態３に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。なお、図１２～図１４においては、仮想ロボット３及び仮想ワーク２０Ａを一点鎖線で示し、実ロボット１と仮想ロボット３を見やすくするために、仮想ロボット３を実ロボット１とずれるように表示している。

図１２～１４に示すように、本実施の形態３に係るロボットシステム１００は、実施の形態１に係るロボットシステム１００と基本的構成は同じであるが、カメラ８が実ロボット１の先端部（第６リンク１１ｆ）に配設されている点が異なる。

また、本実施の形態３においては、表示装置６として、透過型表示装置６Ａを用いている。透過型表示装置６Ａとしては、操作者が身に着けて使用するヘッドマウントディスプレイ又はメガネで構成されていてもよく、据え置き型のディスプレイであってもよい。なお、表示装置６として、透過型ではない据え置き型のディスプレイを用いてもよい。

［ロボットシステムの動作及び作用効果］
次に、本実施の形態３に係るロボットシステム１００の動作及び作用効果について、図１２～図１４を参照しながら説明する。

なお、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行されるが、制御装置４の演算部が読み出すプログラムの内容は、実施の形態１に係るロボットシステム１００と同じであるので、そのフローの説明は省略する。

また、以下においては、図１２～図１４に示すように、本実施の形態３に係るロボットシステム１００の動作の具体例として、実施の形態１に係るロボットシステム１００の動作と同様に、実ロボット１が保持している筒状ワーク２０を基台２１に設けられている突起部２１ａに嵌挿させる動作について、説明する。

まず、図１２に示すように、透過型表示装置６Ａの表示部６１には、カメラ８が撮影した実ロボット１のエンドエフェクタ１２、ワーク２０を含む映像情報１Ａと、仮想ロボット３及び仮想ロボット３が把持している仮想ワーク２０Ａが、映像画面３０内に表示されている。なお、図１２では、ワーク２０が突起部２１ａの上方に位置していない状態となっている。

操作者は、ワーク２０が突起部２１ａの上方に位置するように、操作器２を操作して、第１関節ＪＴ１～ＪＴ５をその軸心回りに回動させる指示情報（以下、第３指示情報ということもある）を制御装置４に入力する。そして、制御装置４は、第３指示情報を基に、映像画面３０に表示されている仮想ロボット３を動作させる。その結果を示したのが、図１３である。

図１３に示すように、操作者は、第３指示情報を基に、仮想ロボット３を動作させた結果、仮想ワーク２０Ａが、仮想突起部２１０ａの上方に位置していることが容易に理解することができる。

このため、操作者は、操作器２を操作して、第３指示情報を基に、実ロボット１が動作するように、動作実行情報を制御装置４に入力する。そして、制御装置４は、図１４に示すように、映像画面３０に仮想ロボット３を表示させた状態で、第３指示情報を基に、実ロボット１を動作させる。

このように構成された、本実施の形態３に係るロボットシステム１００であっても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

（実施の形態４）
本実施の形態４に係るロボットシステムは、実施の形態１～３のいずれかに係るロボットシステムにおいて、操作器は、操作者の手の動きを計測する計測器で構成されていて、制御装置は、計測器により計測された操作者の手の動きに対応するように、仮想ハンドを表示装置に表示させるように構成されている。

以下、本実施の形態４に係るロボットシステムの一例について、図１５及び図１６を参照しながら説明する。

［ロボットシステムの構成］
図１５は、本実施の形態４に係るロボットシステムの概略構成を示すブロック図である。図１６は、本実施の形態４に係るロボットシステムにおける表示装置に表示されている映像情報を示す模式図である。

図１５に示すように、本実施の形態４に係るロボットシステム１００は、実施の形態１に係るロボットシステム１００と基本的構成は同じであるが、操作器２が、操作者の手の動きを計測する計測器で構成されている点が異なる。操作者の手の動きを計測する計測器としては、各種のセンサ（例えば、加速度センサ、ジャイロセンサ）が設けられているグローブ（データグローブ）であってもよく、操作者に赤外線センサ等のセンサを取り付けて、当該センサが操作者の手の動きを計測する、Ｌｅａｐ Ｍｏｒｔｉｏｎ等の機器であってもよい。

また、図１６に示すように、本実施の形態４に係るロボットシステム１００では、制御装置４が、計測器により計測された操作者の手の動きに対応するように、仮想ハンド７を表示装置６に表示させるように構成されている。これにより、操作者は、仮想ハンド７により、仮想ロボット３を保持して、動かす（ダイレクトティーチする）ことができる。

このように構成された、本実施の形態４に係るロボットシステム１００であっても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

上記説明から、当業者にとっては、本発明の多くの改良又は他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。

本発明のロボットシステム及びその運転方法によれば、操作者の負担を軽減して、作業効率を向上させることができるため、ロボットの分野において有用である。

１ 実ロボット
１Ａ 映像情報
２ 操作器
３ 仮想ロボット
４ 制御装置
５ 記憶装置
６ 表示装置
６Ａ 透過型表示装置
８ カメラ
１１ａ 第１リンク
１１ｂ 第２リンク
１１ｃ 第３リンク
１１ｄ 第４リンク
１１ｅ 第５リンク
１１ｆ 第６リンク
１２ エンドエフェクタ
１５ 基台
２０ ワーク
２０Ａ 仮想ワーク
２１ 基台
２１ａ 突起部
３０ 映像画面
４０ 容器
５１ タスクプログラム
５２ 動作シーケンス情報
６１ 表示部
６２ カメラ
１００ ロボットシステム
２１０ａ 仮想突起部
ＪＴ１ 第１関節
ＪＴ２ 第２関節
ＪＴ３ 第３関節
ＪＴ４ 第４関節
ＪＴ５ 第５関節
ＪＴ６ 第６関節

Claims (12)

1. 操作者からの操作指示を受け付け、前記操作者の手の動きを計測する計測器で構成されている操作器と、
   作業空間内に設置され、複数の工程からなる一連の作業を行う実ロボットと、
   前記実ロボットを撮影するように構成されているカメラと、
   前記カメラが撮影した前記実ロボットの映像情報と仮想ロボットを表示するように構成されている表示装置と、
   制御装置と、を備え、
   前記制御装置は、前記カメラが撮影した前記実ロボットの映像情報と前記仮想ロボットを前記表示装置に表示させた状態で、前記操作器から入力された指示情報を基に、前記表示装置に表示されている前記仮想ロボットを動作させ、前記計測器により計測された前記操作者の手の動きに対応するように、仮想ハンドを前記表示装置に表示させ、その後、前記操作器から前記実ロボットの動作を実行させる動作実行情報が入力されると、前記表示装置に前記仮想ロボットを表示させた状態で、前記実ロボットを動作させるように構成されている、ロボットシステム。
2. 前記制御装置は、前記仮想ロボットと前記カメラで撮影した前記実ロボットの映像情報とが重なるように、前記表示装置に表示させ、前記操作器から前記指示情報が入力されると、当該指示情報を基に、前記仮想ロボットを動作させるように構成されている、請求項１に記載のロボットシステム。
3. 前記カメラは、前記実ロボットの先端部に配設されている、請求項１又は２に記載のロボットシステム。
4. 前記操作器は、携帯端末、タッチパネル、マスターアーム、ティーチングペンダント、ジョイスティック、及び音声入力器のうち、少なくともいずれか１つの機器で構成されている、請求項１～３のいずれか１項に記載のロボットシステム。
5. 前記表示装置は、前記操作者が実世界を視認可能に構成されている、透過型表示装置で構成されている、請求項１～４のいずれか１項に記載のロボットシステム。
6. 前記表示装置は、前記操作者に装着可能に構成されている、請求項５に記載のロボットシステム。
7. ロボットシステムの運転方法であって、
   前記ロボットシステムは、
   操作者からの操作指示を受け付け、前記操作者の手の動きを計測する計測器で構成されている操作器と、
   作業空間内に設置され、複数の工程からなる一連の作業を行う実ロボットと、
   前記実ロボットを撮影するように構成されているカメラと、
   前記カメラが撮影した前記実ロボットの映像情報と仮想ロボットを表示するように構成されている表示装置と、を備え、
   前記表示装置が、前記カメラが撮影した前記実ロボットの映像情報と前記仮想ロボットを表示する（Ａ）と、
   前記表示装置が、前記（Ａ）の後に、前記操作器から入力された指示情報を基に、前記仮想ロボットの動作を表示する（Ｂ）と、
   前記（Ｂ）の後に、前記操作器から前記実ロボットの動作を実行させる動作実行情報が入力されると、前記表示装置が、前記仮想ロボットを表示した状態で、前記実ロボットが、前記操作器から入力された指示情報を基に動作する（Ｃ）と、を備え、
   前記（Ｂ）において、前記表示装置は、前記計測器により計測された前記操作者の手の動きに対応するように、仮想ハンドを表示して、前記仮想ロボットの動作を表示する、ロボットシステムの運転方法。
8. 前記（Ａ）において、前記表示装置は、前記仮想ロボットを前記実ロボットの映像情報と重なるように表示している、請求項７に記載のロボットシステムの運転方法。
9. 前記カメラは、前記実ロボットの先端部に配設されている、請求項７又は８に記載のロボットシステムの運転方法。
10. 前記操作器は、携帯端末、タッチパネル、マスターアーム、ティーチングペンダント、ジョイスティック、及び音声入力器のうち、少なくともいずれか１つの機器で構成されている、請求項７～９のいずれか１項に記載のロボットシステムの運転方法。
11. 前記表示装置は、前記操作者が実世界を視認可能に構成されている、透過型表示装置で構成されている、請求項７～１０のいずれか１項に記載のロボットシステムの運転方法。
12. 前記表示装置は、前記操作者に装着可能に構成されている、請求項１１に記載のロボットシステムの運転方法。

Images