JP7462046B2

JP7462046B2 - ロボットシステム

Info

Publication number: JP7462046B2
Application number: JP2022534073A
Authority: JP
Inventors: 雅幸掃部; 裕和杉山
Original assignee: Kawasaki Jukogyo KK
Current assignee: Kawasaki Motors Ltd
Priority date: 2020-07-02
Filing date: 2021-06-30
Publication date: 2024-04-04
Anticipated expiration: 2041-06-30
Also published as: WO2022004774A1; JPWO2022004774A1; TW202206242A

Description

本開示は、表示システム及びロボットシステムに関する。

種々の携帯端末に、ロボットのワークセルを表す３次元画像を表示する表示システムが知られている（例えば、特許文献１参照）。特許文献１に開示されている表示システムでは、３次元ロボットモデル及びワークセルの他の構造のモデルを含むロボットワークセルデータを生成し、生成した３次元ロボットモデル等の３次元レンダリングを表示するディスプレイを有している。

また、特許文献１に開示されている、表示システムでは、ユーザ（操作者）が、操作手段を用いて、ディスプレイに表示されているロボットを操作するときに、当該ロボットが動作を実行する前に、ディスプレイ内に衝突物（例えば、セーフティウォール）を示している。そして、ユーザの操作によって、物理的なロボットと衝突物とが衝突する場合には、その衝突をディスプレイに表示するように構成されている。

特開２０１９－１７７４７７号公報

しかしながら、上記特許文献１に開示されている表示システムでは、プログラマが、３次元ロボットモデル、アニメ化された３次元ロボットモデル等の３次元データを作成する必要がある。このため、ロボットの作業対象となるワークの種類が多くなると、その作成するデータ数が膨大となり、データの作成費用が増加する。特に、ワークが少量である場合には、生産コストにおけるデータの作成費用の割合が大きくなる。

したがって、上記特許文献１に開示されている表示システムには、生産効率の向上の観点から未だ改善の余地があった。

本開示は、上記課題を解決するもので、従来の表示システムに比して、生産効率を向上させることができる、表示システム及びロボットシステムを提供することを目的とする。

上記課題を解決するために、本開示に係る表示システムは、作業空間内に配置される３Ｄカメラと、前記３Ｄカメラにより得られる画像情報に基づき、前記作業空間内の第１作業空間の３Ｄモデルを形成し、仮想的なカメラである仮想カメラが、前記仮想カメラの位置である仮想視点から、前記仮想カメラの向きである仮想視線で、前記３Ｄモデルを撮影したときに得られる仮想画像情報をさらに形成する第１制御装置と、前記仮想カメラへの操作指示の入力を受け付ける第１操作器と、前記仮想画像情報を表示する表示装置と、を備え、前記第１制御装置は、前記画像情報に基づき、前記３Ｄモデルをリアルタイムで形成し、前記操作指示の操作量に連動するように、前記仮想視点を移動し、又は前記仮想視線を変更し、前記仮想画像情報を前記表示装置に表示させる。

これにより、プログラマにより、ワークの３Ｄモデルを作成する必要がないため、データ作成にかかる費用を低減することができる。このため、上記特許文献１に開示されている表示システムに比して、生産効率を向上させることができる。

上記課題を解決するために、本開示に係るロボットシステムは、前記表示システムと、前記作業空間内に配置され、前記第１作業空間内に配置されるワークに対して作業を行うロボットと、前記ロボットへの操作指示の入力を受け付ける第２操作器と、前記第２操作器により受け付けた前記操作指示に基づき、前記ロボットの動作を制御する第２制御装置と、を備える。

本開示の上記目的、他の目的、特徴、及び利点は、添付図面参照の下、以下の好適な実施形態の詳細な説明から明らかにされる。

本開示の表示システム及びロボットシステムによれば、従来の表示システムに比して、生産効率を向上させることができる。

図１は、本実施の形態１に係る表示システム及びロボットシステムの概略構成を示す模式図である。図２は、図１に示す表示システム及びロボットシステムの作業空間内に配置されている機器の概略構成を示す模式図である。図３は、図１に示す表示システム及びロボットシステムが備える表示装置に、第１作業空間の仮想画像情報の第１例が表示されている様子を示す模式図である。図４は、図１に示す表示システム及びロボットシステムが備える表示装置に、第１作業空間の仮想画像情報の第２例が表示されている様子を示す模式図である。図５は、図１に示す表示システム及びロボットシステムが備える表示装置に、第１作業空間の仮想画像情報の第３例が表示されている様子を示す模式図である。図６は、図１に示す表示システム及びロボットシステムが備える表示装置に、第１作業空間の仮想画像情報の第４例が表示されている様子を示す模式図である。図７は、本実施の形態２に係る表示システム及びロボットシステムの概略構成を示す模式図である。

以下、本開示の実施の形態を、図面を参照しながら説明する。なお、全ての図面において、同一又は相当部分には同一符号を付し、重複する説明は省略する。また、全ての図面において、本開示を説明するための構成要素を抜粋して図示しており、その他の構成要素については図示を省略している場合がある。さらに、本開示は以下の実施の形態に限定されない。

（実施の形態１）
以下、本実施の形態１に係る表示システム及びロボットシステムの一例について、図１～図５を参照しながら説明する。

［表示システム及びロボットシステムの構成及び作用効果］
図１は、本実施の形態１に係る表示システム及びロボットシステムの概略構成を示す模式図である。

図１に示すように、本実施の形態１に係る表示システム１００は、３Ｄカメラ１０２、表示装置１０３、第１操作器１０４、及び第１制御装置１１１を備えている。また、本実施の形態１に係るロボットシステム２００は、表示システム１００、ロボット１０１、第２操作器１０５、及び第２制御装置１１２を備える。

ロボット１０１、３Ｄカメラ１０２、及び第２制御装置１１２は、作業空間２０１内に配置され、表示装置１０３、第１操作器１０４、第２操作器１０５、及び第１制御装置１１１は、操作空間２０２内に配置される。なお、第２制御装置１１２は、操作空間２０２内に配置されてもよい。

作業空間２０１は、ロボット１０１が設置される空間であり、少なくともロボット１０１の動作範囲内の空間を含む。また、操作空間２０２は、作業空間２０１とは異なる空間であり、作業空間２０１から切り離された空間である。

なお、作業空間２０１と操作空間２０２は、隔壁部材２１０により、隔離されてもよい。隔壁部材２１０は、その一部が、ガラス板等の透明な部材であり、操作者が外部から作業空間２０１内を視認可能であってもよい。

図２は、図１に示す表示システム及びロボットシステムの作業空間内に配置されている機器の概略構成を示す模式図である。まず、図２を参照しながら、作業空間２０１内に配置されている機器について説明する。

図２に示すように、３Ｄカメラ１０２は、作業空間２０１内に配置される。具体的には、３Ｄカメラ１０２は、第１作業空間２２０を撮影できる位置に配置される。３Ｄカメラ１０２は、本実施の形態１においては、ロボット１０１（ワークＷ１～ワークＷ５）の前方に配置される。なお、第１作業空間２２０は、ロボット１０１の動作範囲内の空間をいう。

また、３Ｄカメラ１０２は、作業空間２０１内を撮影することにより得られた画像情報を第１制御装置１１１に出力する。３Ｄカメラ１０２は、撮影範囲を広げる観点から、画角が大きくてもよい。３Ｄカメラ１０２の画角は、例えば、１００°以上１２５°以下であってもよい。３Ｄカメラ１０２の画角は、例えば、１２０°であってもよい。なお、第１制御装置１１１の構成については、後述する。

ロボット１０１は、作業空間２０１内に配置され、第１作業空間２２０内に配置されるワークＷ１～ワークＷ５に対して作業を行う。ロボット１０１は、移動体６０上に載置される。移動体６０は、左右方向に延びるレール部材３０１Ａ、３０１Ｂ上に配置され、適宜なアクチュエータにより、左右方向に移動可能である。

また、ロボット１０１は、複数のリンク（ここでは、第１リンク１１ａ～第６リンク１１ｆ）の連接体と、複数の関節（ここでは、第１関節ＪＴ１～第６関節ＪＴ６）と、これらを支持する基台１５と、を備える、垂直多関節ロボットである。なお、本実施の形態１においては、ロボット１０１として、垂直多関節型ロボットを採用したが、これに限定されず、水平多関節型ロボットを採用してもよい。

第１関節ＪＴ１では、基台１５と、第１リンク１１ａの基端部とが、鉛直方向に延びる軸回りに回転可能に連結される。第２関節ＪＴ２では、第１リンク１１ａの先端部と、第２リンク１１ｂの基端部とが、水平方向に延びる軸回りに回転可能に連結される。第３関節ＪＴ３では、第２リンク１１ｂの先端部と、第３リンク１１ｃの基端部とが、水平方向に延びる軸回りに回転可能に連結される。

また、第４関節ＪＴ４では、第３リンク１１ｃの先端部と、第４リンク１１ｄの基端部とが、第４リンク１１ｄの長手方向に延びる軸回りに回転可能に連結される。第５関節ＪＴ５では、第４リンク１１ｄの先端部と、第５リンク１１ｅの基端部とが、第４リンク１１ｄの長手方向と直交する軸回りに回転可能に連結される。第６関節ＪＴ６では、第５リンク１１ｅの先端部と第６リンク１１ｆの基端部とが、捻れ回転可能に連結される。

そして、第６リンク１１ｆの先端部には、メカニカルインターフェース１２が設けられる。このメカニカルインターフェース１２には、ハンド２０が着脱可能に装着される。ハンド２０は、一対の指部材３０Ａ、３０Ｂを有し、ワークＷ１～ワークＷ５を保持可能であり、保持したワークＷ１～ワークＷ５を解放可能である。

また、第１関節ＪＴ１～第６関節ＪＴ６には、それぞれ、各関節が連結する２つの部材を相対的に回転させるアクチュエータの一例としての駆動モータが設けられる。駆動モータは、例えば、第２制御装置１１２によってサーボ制御されるサーボモータであってもよい。また、第１関節ＪＴ１～第６関節ＪＴ６には、それぞれ、駆動モータの回転位置を検出する回転センサと、駆動モータの回転を制御する電流を検出する電流センサと、が設けられる。回転センサは、例えば、エンコーダであってもよい。

第２制御装置１１２は、第２操作器１０５により受け付けた前記操作指示に基づき、ロボット１０１の動作を制御する。第２制御装置１１２は、マイクロプロセッサ、ＣＰＵ等の演算処理器と、ＲＯＭ、ＲＡＭ等の記憶器と、を備える。記憶器は、基本プログラム、各種固定データ等の情報を記憶する。演算処理器は、記憶器に記憶された基本プログラム等のソフトウェアを読み出して実行することにより、ロボット１０１の各種の動作を実行する。また、第２制御装置１１２は、第２操作器１０５から入力されたロボット１０１に対する操作指令情報に基づいて、ロボット１０１を動作させる。

なお、第２制御装置１１２は、集中制御する単独の制御装置であってもよいし、互いに協働して分散制御する複数の制御装置であってもよい。また、第２制御装置１１２は、マイクロコンピュータであってもよく、ＭＰＵ、ＰＬＣ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＣｏｎｔｒｏｌｌｅｒ）、論理回路等であってもよい。

次に、図１を参照しながら、操作空間２０２内に配置されている機器について説明する。

表示装置１０３は、後述する仮想画像情報を表示する。具体的には、表示装置１０３は、第１制御装置１１１から出力されたワークＷ１～Ｗ５及びロボット１０１等の第１作業空間２２０内に配置されている機器の３Ｄモデルを表示する。なお、表示装置１０３は、３Ｄカメラ１０２により得られるワークＷ１～Ｗ５及びロボット１０１等の後述する仮想画像情報を表示してもよい。

表示装置１０３は、例えば、机、床等に据え置いて使用する、据え置き型のディスプレイであってもよいし、操作者が身に着けて使用するヘッドマウントディスプレイ又はメガネであってもよい。

第１操作器１０４は、仮想カメラへの操作指示の入力を受け付ける。ここで、仮想カメラとは、作業空間２０１内に実際に配置される３Ｄカメラ１０２とは異なる仮想的なカメラであって、後述する仮想画像情報の形成に係る仮想視点および仮想視線を便宜的に説明するための概念的なモジュールのことである。前記仮想視点とは、前記仮想カメラの位置のことであり、前記仮想視線とは、前記仮想カメラの向きのことである。

具体的には、第１操作器１０４を操作者が操作することにより、第１操作器１０４から操作信号が第１制御装置１１１に入力される。第１操作器１０４としては、例えば、ジョイスティック、キーボード、テンキー、マウス等の公知の操作器を用いることができる。

第２操作器１０５は、ロボット１０１への操作指示の入力を受け付ける。第２操作器１０５としては、例えば、ジョイスティック、キーボード、テンキー、マウス、ティーチペンダント等の公知の操作器を用いることができる。

また、第２操作器１０５には、ロボット１０１のハンド２０に設けられた力覚センサが検知した力覚情報、又は音声情報を操作者に伝達する機器を配置してもよい。当該機器としては、例えば、振動モータ、スピーカー、把持部を構成する筐体を伸縮させる機構等が挙げられる。

なお、第２操作器１０５は、操作者が携帯して、持ち運び可能であってもよい。また、ロボット１０１と第２操作器１０５は、マスタースレーブ方式であってもよい。

第１制御装置１１１は、マイクロプロセッサ、ＣＰＵ等の演算処理器と、ＲＯＭ、ＲＡＭ等の記憶器と、を備える。記憶器は、基本プログラム、各種固定データ等の情報を記憶する。演算処理器は、記憶器に記憶された基本プログラム等のソフトウェアを読み出して実行することにより、表示システム１００の各種動作を実行する。

第１制御装置１１１は、３Ｄカメラ１０２により得られる画像情報に基づき、作業空間２０１内の第１作業空間２２０の３Ｄモデルを形成し、概念的なモジュールである仮想カメラが、前記仮想カメラの位置である仮想視点から、前記仮想カメラの向きである仮想視線で、前記３Ｄモデルを撮影したときに得られる仮想画像情報をさらに形成する。

そして、第１制御装置１１１は、３Ｄカメラ１０２により得られる画像情報に基づき、前記３Ｄモデルをリアルタイムで形成し、第１操作器１０４により受け付けた操作指示の操作量に連動するように、前記仮想視点を移動し、又は前記仮想視線を変更し、前記仮想画像情報を表示装置１０３に表示させる。ここで、第１制御装置１１１が３Ｄモデルをリアルタイムに形成するとは、第１制御装置１１１が３Ｄモデルの形成要求を受信したとき、即座に３Ｄモデルの形成処理を実行することをいう。なお、第１制御装置１１１が、３Ｄモデルの形成要求を受信してから、前記仮想画像情報を表示装置１０３に表示させるまでをリアルタイムで行ってもよい。また、第１制御装置１１１が、３Ｄモデルの形成要求を受信してから、前記仮想画像情報を表示装置１０３に表示させるまでに生じるタイムラグの許容範囲を予め定めておいてもよい。そして、この許容範囲よりも大きな遅延が生じたとき、第１制御装置１１１は、表示装置１１１にエラー情報を表示させてもよい。

上記構成により、操作者は、第１操作器１０４を操作し、表示装置１０３に表示されている３Ｄモデルの仮想視点を移動させ、または仮想視線を変更することができる。また、プログラマにより、ワークの３Ｄモデルを作成する必要がないため、データ作成にかかる費用を低減することができる。このため、上記特許文献１に開示されている表示システムに比して、生産効率を向上させることができる。

図３は、図１に示す表示システム及びロボットシステムが備える表示装置に、第１作業空間の仮想画像情報の第１例が表示されている様子を示す模式図である。例えば、第１制御装置１１１は、作業空間２０１内の３Ｄカメラ１０２の位置を３Ｄモデル内の仮想カメラの位置とした場合に、図３に示すように、ロボット１０１の３Ｄモデルである３Ｄロボット１０１Ａ、及びワークＷ１～ワークＷ５の３Ｄモデルである３ＤワークＷ１Ａ～３ＤワークＷ５Ａを、表示装置１０３に表示させる。

図４は、図１に示す表示システム及びロボットシステムが備える表示装置に、第１作業空間の仮想画像情報の第２例が表示されている様子を示す模式図である。操作者が、３Ｄモデル内の仮想カメラをズームアップするように、第１操作器１０４を操作した場合には、第１制御装置１１１は、図４に示すように、ハンド２０の３Ｄモデルである３Ｄハンド２０Ａ、３ＤワークＷ１Ａ～３ＤワークＷ５Ａを拡大した３Ｄモデルを表示装置１０３に表示させる。

また、図１及び図２に示すワークＷ５をロボット１０１に保持させる場合には、図４に示すような、表示装置１０３に表示される仮想画像情報では、ワークＷ１～ワークＷ５（３ＤワークＷ１Ａ～３ＤワークＷ５Ａ）のそれぞれの位置関係（距離感、奥行感）、ワークＷ１～ワークＷ５（３ＤワークＷ１Ａ～３ＤワークＷ５Ａ）と、ハンド２０（３Ｄハンド２０Ａ）と、の位置関係（距離感、奥行感）がつかみにくい場合がある。

図５は、図１に示す表示システム及びロボットシステムが備える表示装置に、第１作業空間の仮想画像情報の第３例が表示されている様子を示す模式図である。上記のように位置関係がつかみにくい場合には、操作者が、３Ｄモデル内の仮想カメラを３Ｄロボット１０１Ａの右側へトラックさせるように、第１操作器１０４を操作させることで、図５に示すような仮想画像情報を第１制御装置１１１が表示装置１０３に表示させる。

また、このとき、操作者が、第２操作器１０５を操作して、ロボット１０１を動作させた場合には、第２操作器１０５から第２制御装置１１２に入力された操作指令情報を第１制御装置１１１が取得してもよい。そして、第１制御装置１１１は、取得した操作指令情報を基に、３Ｄロボット１０１Ａを動作（３Ｄロボット１０１Ａを移動）させてもよい。

図６は、図１に示す表示システム及びロボットシステムが備える表示装置に、第１作業空間の仮想画像情報の第４例が表示されている様子を示す模式図である。操作者が、３Ｄモデル内の仮想カメラを３Ｄロボット１０１Ａの左側へトラックさせるように、第１操作器１０４を操作させると、図６に示すような仮想画像情報を第１制御装置１１１が表示装置１０３に表示させる。

これにより、操作者は、ワークＷ１～ワークＷ５（３ＤワークＷ１Ａ～３ＤワークＷ５Ａ）のそれぞれの位置関係（距離感、奥行感）、ワークＷ１～ワークＷ５（３ＤワークＷ１Ａ～３ＤワークＷ５Ａ）と、ハンド２０（３Ｄハンド２０Ａ）と、の位置関係（距離感、奥行感）を容易に把握することができる。

このため、操作者は、表示装置１０３に表示されている３Ｄモデルの仮想画像情報を見ながら、第２操作器１０５によるロボット１０１の遠隔操作を容易に実行することができる。

例えば、ロボット１０１によりワークＷ１を保持させる場合、図４で表示装置１０３に表示されている仮想画像では、奥行き方向に関して３Ｄハンド２０Ａと３ＤワークＷ１Ａとの位置関係を操作者が判断しにくい。そこで、操作者は、第１操作器１０４に操作指示を入力して、図５に示すように仮想視線を３Ｄロボット１０１Ａの右側へトラックさせる。これにより、奥行き方向に関して３Ｄハンド２０Ａと３ＤワークＷ１Ａとの位置関係を操作者が容易に判断できる。その結果、操作者は、第２操作器１０５に操作指示を入力して、ロボット１０１にワークＷ１を確実に保持させることができる。

（実施の形態２）
以下、本実施の形態２に係る表示システム及びロボットシステムの一例について、図７を参照しながら説明する。

［表示システム及びロボットシステムの構成］
図７は、本実施の形態２に係る表示システム及びロボットシステムの概略構成を示す模式図である。図７に示すように、本実施の形態２に係る表示システム１００及びロボットシステム２００は、実施の形態１に係る表示システム１００及びロボットシステム２００と基本的構成は同じであるが、３Ｄカメラ１０２が複数台、設置されている点が異なる。

具体的には、３台の３Ｄカメラ１０２Ａ～１０２Ｃが、それぞれ、第１作業空間２２０を互いに異なる方向から撮影するように配置される。

また、第１制御装置１１１は、３Ｄカメラ１０２Ａにより得られる画像情報に基づき、第１作業空間２２０内に配置されるワークＷ１～ワークＷ５、ロボット１０１等の各種機器の３Ｄモデルをリアルタイムで形成する。同様に、第１制御装置１１１は、３Ｄカメラ１０２Ｂ、１０２Ｃにより得られる画像情報に基づき、第１作業空間２２０内に配置されるワークＷ１～ワークＷ５、ロボット１０１等の各種機器の３Ｄモデルをリアルタイムで形成する。

第１制御装置１１１は、形成した３つの３Ｄモデルに基づき、例えば、形成した３つの３Ｄモデルを合成して、第１作業空間２２０内に配置されるワークＷ１～ワークＷ５、ロボット１０１等の各種機器の３Ｄモデルを再形成する。

これにより、１台の３Ｄカメラ１０２でロボット１０１の正面から第１作業空間２２０を撮影した場合に比して、撮影できる領域（範囲）を広げることができる。このため、第１作業空間２２０内に配置されるワークＷ１～ワークＷ５、ロボット１０１等の各種機器の３Ｄモデルをより正確に形成することができる。

したがって、本実施の形態２に係る表示システム１００及びロボットシステム２００では、第１作業空間２２０の３Ｄモデルをより正確に形成することができるため、操作者は、より正確に、かつ、より早く、ロボット１０１のハンド２０でワークＷ１～ワークＷ５を保持、搬送する作業を実行することができる。

また、上記構成を備える、本実施の形態２に係る表示システム１００及びロボットシステム２００であっても、実施の形態１に係る表示システム１００及びロボットシステム２００と同様の作用効果を奏する。

なお、本実施の形態１及び２に係るロボットシステム２００では、ロボット１０１がワークＷ１～ワークＷ５を保持、搬送する作業を実行する形態を採用したが、ロボット１０１が実行する作業は、これに限定されない。ロボット１０１は、例えば、ワークに塗装する作業、ワークを研磨する作業、ワークを切削する作業、ワークを溶接する作業等、種々の作業を実行することができる。

上記説明から、当業者にとっては、本発明の多くの改良又は他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。

［まとめ］
上記課題を解決するために、本開示に係る表示システムは、作業空間内に配置される３Ｄカメラと、前記３Ｄカメラにより得られる画像情報に基づき、前記作業空間内の第１作業空間の３Ｄモデルを形成し、仮想的なカメラである仮想カメラが、前記仮想カメラの位置である仮想視点から、前記仮想カメラの向きである仮想視線で、前記３Ｄモデルを撮影したときに得られる仮想画像情報をさらに形成する第１制御装置と、前記仮想カメラへの操作指示の入力を受け付ける第１操作器と、前記仮想画像情報を表示する表示装置と、を備え、前記第１制御装置は、前記画像情報に基づき、前記３Ｄモデルをリアルタイムで形成し、前記操作指示の操作量に連動するように、前記仮想視点を移動し、又は前記仮想視線を変更し、前記仮想画像情報を前記表示装置に表示させる。

これにより、プログラマにより、ワークの３Ｄモデルを作成する必要がないため、データ作成にかかる費用を低減することができる。このため、従来の表示システムに比して、生産効率を向上させることができる。

例えば、複数の前記３Ｄカメラが、前記作業空間内に配置されてもよい。

例えば、複数の前記３Ｄカメラは、それぞれ、前記第１作業空間を互いに異なる方向から撮影するように配置されてもよい。

前記第１制御装置は、複数の前記３Ｄカメラごとに前記３Ｄモデルを形成し、形成した複数の前記３Ｄモデルに基づき、前記仮想カメラにより撮影される前記３Ｄモデルを再形成してもよい。

これにより、第１作業空間の３Ｄモデルをより正確に形成することができる。

上記課題を解決するために、本開示に係るロボットシステムは、上記構成のいずれかを備える表示システムと、前記作業空間内に配置され、前記第１作業空間内に配置されるワークに対して作業を行うロボットと、前記ロボットへの操作指示の入力を受け付ける第２操作器と、前記第２操作器により受け付けた前記操作指示に基づき、前記ロボットの動作を制御する第２制御装置と、を備える。

本開示の表示システム及びロボットシステムによれば、従来の表示システムに比して、生産効率を向上させることができるため、ロボットの分野において有用である。

１１ａ第１リンク
１１ｂ第２リンク
１１ｃ第３リンク
１１ｄ第４リンク
１１ｅ第５リンク
１１ｆ第６リンク
１２メカニカルインターフェース
１５基台
２０ハンド
３０Ａ指部材
３０Ｂ指部材
６０移動体
１００表示システム
１０１ロボット
１０２３Ｄカメラ
１０２Ａ３Ｄカメラ
１０２Ｂ３Ｄカメラ
１０２Ｃ３Ｄカメラ
１０３表示装置
１０４第１操作器
１０５第２操作器
１０６台部材
１１１第１制御装置
１１２第２制御装置
２００ロボットシステム
２０１作業空間
２０２操作空間
２１０隔壁部材
２２０第１作業空間
３０１Ａレール部材
３０１Ｂレール部材
ＪＴ１第１関節
ＪＴ２第２関節
ＪＴ３第３関節
ＪＴ４第４関節
ＪＴ５第５関節
ＪＴ６第６関節
Ｗ１ワーク
Ｗ２ワーク
Ｗ３ワーク
Ｗ４ワーク
Ｗ５ワーク

Claims

作業空間内に配置される３Ｄカメラと、
前記３Ｄカメラにより得られる画像情報に基づき、前記作業空間内の第１作業空間の３Ｄモデルを形成し、仮想的なカメラである仮想カメラが、前記仮想カメラの位置である仮想視点から、前記仮想カメラの向きである仮想視線で、前記３Ｄモデルを撮影したときに得られる仮想画像情報をさらに形成する第１制御装置と、
前記作業空間内に配置され、前記第１作業空間内に配置されるワークに対して作業するロボットと、
操作空間内に配置され、前記仮想カメラへの操作指示の入力を受け付ける第１操作器と、
前記操作空間内に配置され、前記ロボットへの操作指示の入力を受け付ける第２操作器と、
前記操作空間内に配置され、前記仮想画像情報を表示する表示装置と、
前記第２操作器により受け付けた前記ロボットへの操作指示に基づき、前記ロボットの動作を制御する第２制御装置と、を備え、
前記第１制御装置は、前記画像情報に基づき、前記３Ｄモデルをリアルタイムで形成し、前記第１操作器により受け付けた前記仮想カメラへの操作指示の操作量に連動するように、前記仮想視点を移動し、又は前記仮想視線を変更し、前記仮想画像情報を前記表示装置に表示させる、ロボットシステム。
複数の前記３Ｄカメラが、前記作業空間内に配置される、請求項１に記載のロボットシステム。
複数の前記３Ｄカメラは、それぞれ、前記第１作業空間を互いに異なる方向から撮影するように配置される、請求項１又は２に記載のロボットシステム。
前記第１制御装置は、複数の前記３Ｄカメラごとに前記３Ｄモデルを形成し、形成した複数の前記３Ｄモデルに基づき、前記仮想カメラにより撮影される前記３Ｄモデルを再形成する、請求項２又は３に記載のロボットシステム。
前記第１制御装置は、前記第２操作器により受け付けた前記ロボットへの操作指示を取得し、取得した前記ロボットへの操作指示に基づき、前記ロボットの前記３Ｄモデルである３Ｄロボットを動作させる、請求項１～４のいずれかに記載のロボットシステム。