JP6905651B1 - ロボットシステム及びワークの３次元モデルの形成方法 - Google Patents

Abstract

本開示のロボットシステム（１００）は、作業エリア（２０１）内に設置され、第２制御装置（１１２）により制御されるロボット（１０１）と、操作者により操作される３Ｄカメラ（１０３）と、作業エリア（２０１）とは異なる空間である操作エリア（２０２）に配置され、３Ｄカメラ（１０３）の位置情報及び姿勢情報を無線により検出するセンサ（１０４）と、表示装置（１０５）と、第１制御装置（１１１）と、を備え、第１制御装置（１１１）は、３Ｄカメラ（１０３）により撮影されたワーク（３００）の画像情報を取得し、３Ｄカメラ（１０３）によりワーク（３００）が撮影されたときにおける位置情報及び姿勢情報をセンサ（１０４）から取得し、取得された画像情報を表示装置（１０５）に表示させ、画像情報と、取得された位置情報及び姿勢情報と、を基に、ワーク（３００）の３次元モデルを形成し、形成された３次元モデルを表示装置（１０５）に表示させ、形成された３次元モデルのデータである第１データを第２制御装置（１１２）に出力する。

Description

関連出願への相互参照

本件出願は、２０１９年１２月１３日に日本特許庁に出願された特願２０１９−２２５５６２号の優先権を主張するものであり、その全体を参照することにより本件出願の一部となすものとして引用する。

本開示は、ロボットシステム及びワークの３次元モデルの形成方法に関する。

種々の携帯端末に、ロボットのワークセルを表す３次元画像を表示する表示システムが知られている（例えば、特許文献１参照）。特許文献１に開示されている表示システムでは、３次元ロボットモデル及びワークセルの他の構造のモデルを含むロボットワークセルデータを生成し、生成した３次元ロボットモデル等の３次元レンダリングを表示するディスプレイを有している。

また、特許文献１に開示されている、表示システムでは、ユーザ（操作者）が、操作手段を用いて、ディスプレイに表示されているロボットを操作するときに、当該ロボットが動作を実行する前に、ディスプレイ内に衝突物（例えば、セーフティウォール）を示している。そして、ユーザの操作によって、物理的なロボットと衝突物とが衝突する場合には、その衝突をディスプレイに表示する。

特開２０１９−１７７４７７号公報

しかしながら、上記特許文献１に開示されている表示システムでは、プログラマが、３次元ロボットモデル、アニメ化された３次元ロボットモデル等の３次元データを作成する必要がある。このため、ロボットの作業対象となるワークの種類が多くなると、その作成するデータ数が膨大となり、データの作成費用が増加する。特に、ワークが少量である場合には、生産コストにおけるデータの作成費用の割合が大きくなる。

したがって、上記特許文献１に開示されている表示システムには、生産効率の向上の観点から未だ改善の余地があった。

本開示は、上記課題を解決するもので、従来の表示システムに比して、生産効率を向上させることができる、ロボットシステム及びワークの３次元モデルの形成方法を提供することを目的とする。

本開示に係るロボットシステムは、作業エリア内に設置され、第２制御装置により制御されるロボットと、操作者により操作される３Ｄカメラと、前記作業エリアとは異なる空間である操作エリアに配置され、前記３Ｄカメラの位置情報及び姿勢情報を無線により検出するセンサと、表示装置と、第１制御装置と、を備え、前記第１制御装置は、前記３Ｄカメラにより撮影されたワークの画像情報を取得し、前記３Ｄカメラにより前記ワークが撮影されたときにおける前記位置情報及び前記姿勢情報を前記センサから取得し、取得された前記画像情報を前記表示装置に表示させ、取得された前記画像情報と、取得された前記位置情報及び前記姿勢情報と、を基に、前記ワークの３次元モデルを形成し、形成された前記３次元モデルを前記表示装置に表示させ、形成された前記３次元モデルのデータである第１データを前記第２制御装置に出力する。

この形態のロボットシステムによれば、プログラマにより、ワークの３次元モデルデータを作成する必要がないため、データ作成にかかる費用を低減することができる。このため、従来の表示システムに比して、生産効率を向上させることができる。

本開示に係るワークの３次元モデルの形成方法は、ロボットが設置されている作業エリアとは異なる空間である操作エリアに配置されているワークが前記３Ｄカメラにより撮影されたときにおける、前記３Ｄカメラの位置情報及び姿勢情報を検出し、撮影された前記ワークの画像情報を取得し、検出された前記位置情報及び前記姿勢情報を取得し、取得された前記画像情報を前記表示装置に表示させ、取得された前記画像情報と、取得された前記位置情報及び前記姿勢情報と、を基に、前記ワークの３次元モデルを形成する。

この形態のワークの３次元モデルの形成方法によれば、プログラマにより、ワークの３次元モデルデータを作成する必要がないため、データ作成にかかる費用を低減することができる。このため、従来の表示システムに比して、生産効率を向上させることができる。

図１は、本実施の形態１に係るロボットシステムの概略構成を示す模式図である。 図２は、図１に示すロボットシステムにおけるロボットの概略構成を示す模式図である。 図３は、本実施の形態１に係るロボットシステムの動作の一例を示すフローチャートである。 図４は、図３に示すフローチャートに沿って、ロボットシステムが動作しているときの操作エリア内の状態を示す模式図である。 図５は、図３に示すフローチャートに沿って、ロボットシステムが動作しているときの操作エリア内の状態を示す模式図である。 図６は、図３に示すフローチャートに沿って、ロボットシステムが動作しているときの操作エリア内の状態を示す模式図である。 図７は、図３に示すフローチャートに沿って、ロボットシステムが動作しているときの操作エリア内の状態を示す模式図である。 図８は、図３に示すフローチャートに沿って、ロボットシステムが動作しているときの操作エリア内の状態を示す模式図である。 図９は、図３に示すフローチャートに沿って、ロボットシステムが動作しているときの操作エリア内の状態を示す模式図である。 図１０は、本実施の形態１における変形例１のロボットシステムの概略構成を示す模式図である。 図１１は、本実施の形態１における変形例２のロボットシステムの概略構成を示す模式図である。 図１２は、本実施の形態２に係るロボットシステムの概略構成を示す模式図である。 図１３は、図１２に示すロボットシステムにおいて、窓から作業エリアを見た状態を示す模式図である。 図１４は、本実施の形態２に係るロボットシステムの動作の一例を示すフローチャートである。 図１５は、本実施の形態２における変形例１のロボットシステムの概略構成を示す模式図である。 図１６は、本実施の形態２における変形例１のロボットシステムの動作の一例を示すフローチャートである。 図１７は、本実施の形態２における変形例２のロボットシステムの概略構成を示す模式図である。 図１８は、本実施の形態２における変形例２のロボットシステムの概略構成を示す模式図である。 図１９は、本実施の形態３に係るロボットシステムの概略構成を示す模式図である。 図２０Ａは、本実施の形態３に係るロボットシステムの動作の一例を示すフローチャートである。 図２０Ｂは、本実施の形態３に係るロボットシステムの動作の一例を示すフローチャートである。

以下、本開示の実施の形態を、図面を参照しながら説明する。なお、全ての図面において、同一又は相当部分には同一符号を付し、重複する説明は省略する。また、全ての図面において、本開示を説明するための構成要素を抜粋して図示しており、その他の構成要素については図示を省略している場合がある。さらに、本開示は以下の実施の形態に限定されない。

（実施の形態１）
［ロボットシステムの構成］
図１は、本実施の形態１に係るロボットシステムの概略構成を示す模式図である。ロボットシステム１００は、ロボット１０１、第１操作器１２１、３Ｄカメラ１０３、センサ１０４、表示装置１０５、第１制御装置１１１、及び第２制御装置１１２を備える。ロボット１０１及び第２制御装置１１２は、作業エリア２０１内に設置され、センサ１０４、表示装置１０５、及び第１制御装置１１１は、操作エリア２０２に配置されている。また、第１操作器１２１は、操作エリア２０２内において操作者に把持（保持）されて操作される。第１操作器１２１の先端部には、３Ｄカメラ１０３が配設されている。

なお、本実施の形態１においては、３Ｄカメラ１０３は、第１操作器１２１の先端部に設けられているが、３Ｄカメラ１０３は、第１操作器１２１に設けられていなくてもよく、３Ｄカメラ１０３と第１操作器１２１とが、別体として構成されていてもよい。

作業エリア２０１は、ロボット１０１が設置されている空間であり、少なくともロボット１０１の動作範囲内の空間を含む。また、操作エリア２０２は、作業エリア２０１から切り離された空間（作業エリア２０１とは異なる空間）である。作業エリア２０１と操作エリア２０２は、壁部材２０３により、区画されていてもよい。

壁部材２０３には、窓２０４が設けられており、操作者は、作業エリア２０１内に配置されているロボット１０１を視認できる。なお、作業エリア２０１は、防爆仕様が施されている防爆エリアであってもよく、操作エリア２０２は、防爆仕様が施されていない非防爆エリアであってもよい。

センサ１０４は、３Ｄカメラ１０３（例えば、レンズ）の位置情報及び姿勢情報を無線で検出し、第１制御装置１１１に出力する。また、センサ１０４は、第１操作器１２１の先端部の位置情報及び姿勢情報を無線で検出し、第２制御装置１１２に出力する。なお、センサ１０４は、第１制御装置１１１及び／又は第２制御装置１１２への出力は無線で行ってもよく、有線で行ってもよい。

センサ１０４は、例えば、赤外線センサや、カメラであってもよい。なお、センサ１０４が、カメラである場合には、センサ１０４は操作エリア２０２内に配置されていなくてもよい。例えば、カメラは、操作者が携帯している携帯端末又はヘッドマウントディスプレイ等に設置されているカメラであってもよい。また、３Ｄカメラ１０３の位置情報等を検出するセンサ１０４と、第１操作器１２１の先端部の位置情報等を検出するセンサ１０４と、は、同じセンサで構成されていてもよく、異なるセンサで構成されていてもよい。

第１操作器１２１は、操作者が把持部１２１Ａを把持して、ロボット１０１を操作する。具体的には、把持している第１操作器１２１における本体部１２１Ｅの先端部の軌跡を追従するように、ロボット１０１が動作することで、操作者は、操作エリア２０２内で第１操作器１２１により、ロボット１０１を直感的に操作することができる。

把持部１２１Ａには、後述するロボット１０１のエンドエフェクタ２０に設けられた力覚センサが検知した力覚情報、又は音声情報を操作者に伝達する機器を配置してもよい。当該機器としては、例えば、振動モータ、スピーカー、把持部を構成する筐体を伸縮させる機構等が挙げられる。

また、第１操作器１２１には、ワーク３００に粒体、液体、又は気体を噴霧又は噴射、又はワーク３００を切削又は研磨の開始／停止するスイッチ１２１Ｂが設けられていてもよい。

なお、第１操作器１２１は、操作者が携帯して、持ち運び可能に構成されていてもよい。また、第１操作器１２１の本体部１２１Ｅは、ロボット１０１のエンドエフェクタ２０と同様の形状に形成されていてもよい。さらに、第１操作器１２１は、例えば、ジョイスティック、キーボード、テンキー、ティーチペンダント等の公知の操作器を用いてもよい。

３Ｄカメラ１０３は、操作エリア２０２内で撮影した画像情報を第１制御装置１１１に出力する。なお、ここでいう「画像情報」には、静止画情報、動画情報及び映像情報のうちの少なくとも一つが含まれる。また、以降の説明における「画像情報」という用語についても同様である。そして、３Ｄカメラ１０３が、操作エリア２０２内でワーク３００等を撮影したときに、センサ１０４が、３Ｄカメラ１０３の位置情報及び姿勢情報を無線で検出し、第１制御装置１１１に出力する。

表示装置１０５は、第１制御装置１１１から出力されたワーク３００及びロボット１０１等の３次元モデル、３Ｄカメラ１０３が撮影したワーク３００等の画像情報と、を表示する。表示装置１０５としては、例えば、机、床等に据え置いて使用する、据え置き型のディスプレイで構成されていてもよい。また、表示装置１０５は、操作者が身に着けて使用するヘッドマウントディスプレイ又はメガネで構成されていてもよい。

ロボット１０１のエンドエフェクタ２０は、ワーク３００に粒体、液体、又は気体を噴霧又は噴射可能な構造であってもよいし、ワーク３００を切削又は研磨可能な構造であってもよいし、ワーク３００を溶接可能な構造であってもよいし、又はワーク３００を洗浄可能な構造であってもよい。ここで、図２を参照しながら、ロボット１０１の構成について、詳細に説明する。

図２は、図１に示すロボットシステムにおけるロボットの概略構成を示す模式図である。

図２に示すように、ロボット１０１は、複数のリンク（ここでは、第１リンク１１ａ、第２リンク１１ｂ、第３リンク１１ｃ、第４リンク１１ｄ、第５リンク１１ｅおよび第６リンク１１ｆ）の連接体と、複数の関節（ここでは、第１関節ＪＴ１、第２関節ＪＴ２、第３関節ＪＴ３、第４関節ＪＴ４、第５関節ＪＴ５および第６関節ＪＴ６）と、これらを支持する基台１５と、を備える、垂直多関節ロボットアームである。なお、本実施の形態１においては、ロボット１０１として、垂直多関節型ロボットを採用したが、これに限定されず、水平多関節型ロボットを採用してもよい。

第１関節ＪＴ１では、基台１５と、第１リンク１１ａの基端部とが、鉛直方向に延びる軸回りに回転可能に連結されている。第２関節ＪＴ２では、第１リンク１１ａの先端部と、第２リンク１１ｂの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。第３関節ＪＴ３では、第２リンク１１ｂの先端部と、第３リンク１１ｃの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。

また、第４関節ＪＴ４では、第３リンク１１ｃの先端部と、第４リンク１１ｄの基端部とが、第４リンク１１ｄの長手方向に延びる軸回りに回転可能に連結されている。第５関節ＪＴ５では、第４リンク１１ｄの先端部と、第５リンク１１ｅの基端部とが、第４リンク１１ｄの長手方向と直交する軸回りに回転可能に連結されている。第６関節ＪＴ６では、第５リンク１１ｅの先端部と第６リンク１１ｆの基端部とが、捻れ回転可能に連結されている。

そして、第６リンク１１ｆの先端部には、メカニカルインターフェースが設けられている。このメカニカルインターフェースには、作業内容に対応したエンドエフェクタ２０が着脱可能に装着される。

エンドエフェクタ２０は、ここでは、ワーク３００に液体（例えば、塗料等）を噴霧又は噴射する。また、エンドエフェクタ２０には、液体を当該エンドエフェクタ２０に供給する配管２１が接続されている。

また、第１関節ＪＴ１、第２関節ＪＴ２、第３関節ＪＴ３、第４関節ＪＴ４、第５関節ＪＴ５および第６関節ＪＴ６には、それぞれ、各関節が連結する２つの部材を相対的に回転させるアクチュエータの一例としての駆動モータが設けられている（図示せず）。駆動モータは、例えば、第２制御装置１１２によってサーボ制御されるサーボモータであってもよい。また、第１関節ＪＴ１、第２関節ＪＴ２、第３関節ＪＴ３、第４関節ＪＴ４、第５関節ＪＴ５および第６関節ＪＴ６には、それぞれ、駆動モータの回転位置を検出する回転センサと、駆動モータの回転を制御する電流を検出する電流センサと、が設けられている（図示せず）。回転センサは、例えば、エンコーダであってもよい。

第１制御装置１１１は、マイクロプロセッサ、ＣＰＵ等の演算処理器１１１ａと、ＲＯＭ、ＲＡＭ等の記憶器１１１ｂと、を備えている。記憶器１１１ｂには、基本プログラム、各種固定データ等の情報が記憶されている。演算処理器１１１ａは、記憶器１１１ｂに記憶された基本プログラム等のソフトウェアを読み出して実行する。

また、演算処理器１１１ａは、３Ｄカメラ１０３から入力された画像情報と、センサ１０４から入力された３Ｄカメラ１０３がワーク３００を撮影したときの位置情報及び姿勢情報と、から、ワーク３００の３次元モデル（３Ｄコンピュータグラフィックス又は３ＤＣＡＤデータ）を形成する。記憶器１１１ｂは、演算処理器１１１ａが形成したワーク３００の３次元モデルを記憶する。

さらに、演算処理器１１１ａは、形成したワーク３００の３次元モデルを表示装置１０５に出力する。表示装置１０５は、演算処理器１１１ａから入力されたワーク３００の３次元モデルを３Ｄワーク３０１として表示する（図６等参照）。

第２制御装置１１２は、第１制御装置１１１と同様に、マイクロプロセッサ、ＣＰＵ等の演算処理器１１２ａと、ＲＯＭ、ＲＡＭ等の記憶器１１２ｂと、を備えている。記憶器１１２ｂには、基本プログラム、各種固定データ等の情報が記憶されている。演算処理器１１２ａは、記憶器１１２ｂに記憶された基本プログラム等のソフトウェアを読み出して実行することにより、ロボット１０１の各種の動作を実行する。

なお、第１制御装置１１１及び／又は第２制御装置１１２は、集中制御する単独の制御装置によって構成されていてもよいし、互いに協働して分散制御する複数の制御装置によって構成されていてもよい。また、第１制御装置１１１及び／又は第２制御装置１１２は、マイクロコンピュータで構成されていてもよく、ＭＰＵ、ＰＬＣ(Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ)、論理回路等によって構成されていてもよい。

また、本実施の形態１に係るロボットシステム１００においては、第１制御装置１１１と第２制御装置１１２の両方を備える形態を採用したが、これに限定されない。第１制御装置１１１が、第２制御装置１１２の機能を兼用する、すなわち、ロボットシステム１００は、第１制御装置１１１のみを備える形態を採用してもよい。同様に、第２制御装置１１２が、第１制御装置１１１の機能を兼用する、すなわち、ロボットシステム１００は、第２制御装置１１２のみを備える形態を採用してもよい。

［ロボットシステムの動作（ワークの３次元モデル形成方法）及び作用効果］
次に、本実施の形態１に係るロボットシステム１００の動作及び作用効果について、図１から図９を参照しながら、詳細に説明する。なお、以下の動作は、第１制御装置１１１の演算処理器１１１ａが、記憶器１１１ｂに格納されているプログラムを読み出すことにより実行される。

図３は、本実施の形態１に係るロボットシステムの動作の一例（ワークの３次元モデル形成方法）を示すフローチャートである。図４から図９は、図３に示すフローチャートに沿って、ロボットシステムが動作しているときの操作エリア内の状態を示す模式図である。なお、図４から図９においては、ワークにおける前後方向、左右方向、及び上下方向を図における前後方向、左右方向、及び上下方向として表している。

まず、図４に示すように、操作エリア２０２内には、上部が開口している箱状のワーク３００が配置されているとする。そして、図５に示すように、操作者（作業者）が、当該ワーク３００の３次元モデルを作成するために、３Ｄカメラ１０３が設置されている第１操作器１２１を把持して、ワーク３００の前方から当該ワーク３００を撮影したとする。

このとき、操作者は、３Ｄカメラ１０３により、１つのワーク３００の画像情報を取得（撮影）してもよく、不連続で、複数のワーク３００の画像情報を取得（撮影）してもよく、ワーク３００の映像情報を取得（撮影）してもよい。また、操作者は、３Ｄカメラ１０３により、ワーク３００の前方以外の方向から当該ワーク３００を撮影してもよい。

すると、第１制御装置１１１は、３Ｄカメラ１０３から、当該３Ｄカメラ１０３が撮影したワーク３００の画像情報を取得する（ステップＳ１０１）。ついで、第１制御装置１１１は、ステップＳ１０１で取得した画像情報を撮影したときの３Ｄカメラ１０３の位置情報及び姿勢情報をセンサ１０４から取得する（ステップＳ１０２）。

次に、第１制御装置１１１は、ステップＳ１０１で取得したワーク３００の画像情報をワーク画像３０２Ａとして、表示装置１０５に表示させる（ステップＳ１０３；図５参照）。

次に、第１制御装置１１１は、操作者から、ワーク３００の画像情報の取得終了指示指令（ワーク３００の撮影終了情報）が、図示されない入力器等から入力されたか否かを判定する（ステップＳ１０４）。

第１制御装置１１１は、入力器等から、ワーク３００の撮影終了情報が入力されたと判定した場合（ステップＳ１０４でＹｅｓ）には、ステップＳ１０１で取得したワーク３００の画像情報と、ステップＳ１０２で取得した３Ｄカメラ１０３の位置情報及び姿勢情報と、を基に、ワーク３００の３次元モデル（３Ｄコンピュータグラフィックス又は３ＤＣＡＤ）を形成する（ステップＳ１０５）。

次に、第１制御装置１１１は、ステップＳ１０５で形成したワーク３００の３次元モデルを３Ｄワーク３０１Ａとして、表示装置１０５に表示させる（ステップＳ１０６；図６参照）。

次に、第１制御装置１１１は、操作者から、ワーク３００の３次元モデルの形成終了指示（３次元モデル形成終了情報）が、図示されない入力器等から入力されたか否かを判定する（ステップＳ１０７）。

第１制御装置１１１は、入力器等から、３次元モデル形成終了情報が入力されていないと判定した場合（ステップＳ１０７でＮｏ）には、ステップＳ１０１の処理に戻る。一方、第１制御装置１１１は、入力器等から、３次元モデル形成終了情報が入力されたと判定した場合（ステップＳ１０７でＹｅｓ）には、ステップＳ１０８の処理に進む。

ステップＳ１０８では、第１制御装置１１１は、ステップＳ１０５で形成したワーク３００の３次元モデルを第２制御装置１１２に出力し、本プログラムを終了する。これにより、第２制御装置１１２は、ワーク３００の３次元モデルデータを基に、ロボット１０１の動作の制御を実行することができる。

一方、ステップＳ１０４において、第１制御装置１１１は、例えば、ワーク画像３０２Ａを表示装置１０５に表示した後に、操作者がワーク３００をさらに撮影し、３Ｄカメラ１０３から撮影したワーク３００の画像情報が、入力された場合には、入力器等から、ワーク３００の撮影終了情報が、入力されていないと判定してもよい。

第１制御装置１１１は、ワーク３００の撮影終了情報が入力されていないと判定した場合（ステップＳ１０４でＮｏ）には、ステップＳ１０１の処理に戻る。

例えば、図７に示すように、操作者が、ワーク３００の右側の後方から当該ワーク３００をさらに撮影したとすると、撮影したワーク３００の画像情報が第１制御装置１１１に入力される（ステップＳ１０１）。

次に、第１制御装置１１１は、２回目のステップＳ１０１で取得した画像情報を撮影したときの３Ｄカメラ１０３の位置情報及び姿勢情報をセンサ１０４から取得する（ステップＳ１０２）。

次に、第１制御装置１１１は、２回目のステップＳ１０１で取得したワーク３００の画像情報をワーク画像３０２Ｂとして、表示装置１０５に表示させる（ステップＳ１０３；図７参照）。これにより、ワーク３００の後面下部には、矩形の貫通孔が形成されていることがわかる。

そして、再び、第１制御装置１１１は、ワーク３００の画像情報の取得終了指示指令が、図示されない入力器等から入力されたか否かを判定する（ステップＳ１０４）。

次に、例えば、図８に示すように、操作者が、ワーク３００の上方から当該ワーク３００をさらに撮影したとすると、撮影したワーク３００の画像情報が第１制御装置１１１に入力される（ステップＳ１０１）。

次に、第１制御装置１１１は、３回目のステップＳ１０１で取得した画像情報を撮影したときの３Ｄカメラ１０３の位置情報及び姿勢情報をセンサ１０４から取得する（ステップＳ１０２）。

次に、第１制御装置１１１は、３回目のステップＳ１０１で取得したワーク３００の画像情報をワーク画像３０２Ｃとして、表示装置１０５に表示させる（ステップＳ１０３；図８参照）。これにより、ワーク３００の下面には、矩形の貫通孔が形成されていることがわかる。また、操作者は、ワーク３００のすべての部分についての撮影が終了したことがわかる。このため、操作者は、入力器等からワーク３００の撮影終了情報を第１制御装置１１１に出力させる。

これにより、第１制御装置１１１は、入力器等から、ワーク３００の撮影終了情報が入力されたと判定し（ステップＳ１０４でＹｅｓ）、ステップＳ１０１で取得したワーク３００の画像情報と、ステップＳ１０２で取得した３Ｄカメラ１０３の位置情報及び姿勢情報と、を基に、ワーク３００の３次元モデルを形成する（ステップＳ１０５）。

このとき、第１制御装置１１１は、例えば、各回で取得したワーク３００の画像情報と、各回で取得した３Ｄカメラ１０３の位置情報及び姿勢情報と、を基に、ワーク３００の３次元モデルを形成してもよい。

また、第１制御装置１１１は、例えば、それぞれの回において、ワーク３００の画像情報と３Ｄカメラ１０３の位置情報及び姿勢情報を基に、ワーク３００の３次元モデルを形成し、形成したワーク３００の３次元モデル群を基に、ワーク３００の３次元モデルを再形成してもよい。

また、第１制御装置１１１は、例えば、Ａ回目（例えば、１回目）に取得したワーク３００の画像情報と、３Ｄカメラ１０３の位置情報及び姿勢情報と、を基にワーク３００の３次元モデルを形成する処理（ステップＳ１０５）と、当該３次元モデルを形成する処理（ステップＳ１０５）で形成したワーク３００の３次元モデルと、Ｂ回目（Ｂ≠Ａ；例えば、２回目と３回目）に取得したワーク３００の画像情報と、３Ｄカメラ１０３の位置情報及び姿勢情報と、を基に、ワーク３００の３次元モデルを再形成する処理と、を実行してもよい。

同様に、第１制御装置１１１は、例えば、Ａ回目（例えば、１回目と２回目）に取得したワーク３００の画像情報と、３Ｄカメラ１０３の位置情報及び姿勢情報と、を基にワーク３００の３次元モデルを形成する処理（ステップＳ１０５）と、当該３次元モデルを形成する処理（ステップＳ１０５）で形成したワーク３００の３次元モデルと、Ｂ回目（Ｂ≠Ａ；例えば、３回目）に取得したワーク３００の画像情報と、を基に、ワーク３００の３次元モデルを再形成する処理と、を実行してもよい。

また、第１制御装置１１１は、例えば、Ｃ回目（例えば、１回目）に取得したワーク３００の画像情報と、３Ｄカメラ１０３の位置情報及び姿勢情報と、を基に、ワーク３００の３次元モデルを形成する処理（ステップＳ１０５）と、Ｄ回目（Ｄ≠Ｃ；例えば、２回目と３回目）に取得したワーク３００の画像情報と、３Ｄカメラ１０３の位置情報及び姿勢情報と、を基にワーク３００の３次元モデルを形成する処理（ステップＳ１０５）と、Ｃ回目に取得したワーク３００の画像情報、及び３Ｄカメラ１０３の位置情報及び姿勢情報に基づきステップＳ１０５で形成したワーク３００の３次元モデルと、Ｄ回目に取得したワーク３００の画像情報、及び３Ｄカメラ１０３の位置情報及び姿勢情報に基づきステップＳ１０５で形成したワーク３００の３次元モデルと、を基に、ワーク３００の３次元モデルを再形成する処理と、を実行してもよい。

同様に、第１制御装置１１１は、例えば、Ｃ回目（例えば、１回目と２回目）に取得したワーク３００の画像情報と、３Ｄカメラ１０３の位置情報及び姿勢情報と、を基に、ワーク３００の３次元モデルを形成する処理（ステップＳ１０５）と、Ｄ回目（Ｄ≠Ｃ；例えば、３回目）に取得したワーク３００の画像情報と、３Ｄカメラ１０３の位置情報及び姿勢情報と、を基にワーク３００の３次元モデルを形成する処理（ステップＳ１０５）と、Ｃ回目に取得したワーク３００の画像情報、及び３Ｄカメラ１０３の位置情報及び姿勢情報に基づきステップＳ１０５で形成したワーク３００の３次元モデルと、Ｄ回目に取得したワーク３００の画像情報、及び３Ｄカメラ１０３の位置情報及び姿勢情報に基づきステップＳ１０５で形成したワーク３００の３次元モデルと、を基に、ワーク３００の３次元モデルを再形成する処理と、を実行してもよい。

さらに、第１制御装置１１１は、上記した、Ａ回目に取得したワーク３００の画像情報と、３Ｄカメラ１０３の位置情報及び姿勢情報と、を基にワーク３００の３次元モデルを形成する処理（ステップＳ１０５）と、当該３次元モデルを形成する処理（ステップＳ１０５）で形成したワーク３００の３次元モデルと、Ｂ回目に取得したワーク３００の画像情報と、３Ｄカメラ１０３の位置情報及び姿勢情報と、を基に、ワーク３００の３次元モデルを再形成する処理で再形成したワーク３００の３次元モデルと、上記した、Ｃ回目に取得したワーク３００の画像情報、及び３Ｄカメラ１０３の位置情報及び姿勢情報に基づきステップＳ１０５で形成したワーク３００の３次元モデルと、Ｄ回目に取得したワーク３００の画像情報、及び３Ｄカメラ１０３の位置情報及び姿勢情報に基づきステップＳ１０５で形成したワーク３００の３次元モデルと、を基に、ワーク３００の３次元モデルを再形成する処理で再形成したワーク３００の３次元モデルと、を基に、ワーク３００の３次元モデルを再形成する処理を実行してもよい。

次に、第１制御装置１１１は、ステップＳ１０５の処理で形成したワーク３００の３次元モデルを３Ｄワーク３０１Ｃとして、表示装置１０５に表示させる（ステップＳ１０６；図９参照）。これにより、ワーク３００の左右の側面下部、後面下部、及び下面に矩形の貫通孔が形成された３Ｄワーク３０１Ｃが、表示装置１０５に表示される。このため、操作者は、ワーク３００の３次元モデルの形成が完了したことがわかり、入力器等から３次元モデル形成終了情報を第１制御装置１１１に出力させる。

これにより、第１制御装置１１１は、入力器等から、モデル形成終了情報が入力されたと判定し（ステップＳ１０７でＹｅｓ）、ステップＳ１０５で形成したワーク３００の３次元モデルを第２制御装置１１２に出力し、本プログラムを終了する。

なお、第１制御装置１１１の演算処理器１１１ａは、ステップＳ１０５で形成した形成したワーク３００の３次元モデルのデータ（３Ｄワーク３０１Ｃ）を第１データとして、記憶器１１１ｂに記憶してもよい。

本実施の形態１に係るロボットシステム１００では、第１制御装置１１１が、３Ｄカメラ１０３で撮影されたワーク３００の画像情報と、３Ｄカメラ１０３がワーク３００を撮影したときの３Ｄカメラ１０３の位置情報及び姿勢情報と、を基に、ワークの３次元モデルを形成するので、プログラマにより、ワークの３次元モデルデータを作成する必要がないため、データ作成にかかる費用を低減することができる。このため、従来の表示システムに比して、生産効率を向上させることができる。

また、本実施の形態１に係るロボットシステム１００では、第１制御装置１１１が、形成されたワーク３００の３次元モデルを表示装置１０５に表示させるので、操作者は、ワーク３００に撮影されていない部分が存在するか否かを判定できる。また、操作者は、表示装置１０５に表示されたワーク３００の３次元モデルにより、どの方向からワーク３００を撮影すればワーク３００の撮影を効率よく実行できるかを理解できる。

したがって、従来の表示システムに比して、ワーク３００の３次元モデルの形成の効率を向上させることができる。

さらに、本実施の形態１に係るロボットシステム１００では、第１制御装置１１１が、撮影されたワーク３００（ワーク画像３０２Ａ等）を表示装置１０５に表示させるので、操作者は、ワーク３００に撮影されていない部分が存在するか否かを判定できる。また、操作者は、表示装置１０５に表示されたワーク３００（ワーク画像３０２Ａ等）により、どの方向からワーク３００を撮影すればワーク３００の撮影を効率よく実行できるかを理解できる。

したがって、従来の表示システムに比して、ワーク３００の３次元モデルの形成の効率を向上させることができる。

ワーク３００の画像情報の取得、３Ｄカメラ１０３の位置情報および姿勢情報の取得をそれぞれ一度だけ実行し得られた情報のみを用いて、ワーク３００の画像を表示する場合や、ワーク３００の３次元モデルを形成する場合には、ワーク３００を完全な形で表示することができず、また、３次元モデルを完全な形で形成できないことがある。より完全な形でワーク３００の画像を表示したり、ワーク３００の３次元モデルを形成するためには、ワーク３００の画像情報の取得、３Ｄカメラ１０３の位置情報および姿勢情報の取得、ワーク３００の画像情報の表示を繰り返し実行し、これらの処理を繰り返し実行することにより取得されるワーク３００の画像情報、３Ｄカメラ１０３の位置情報および姿勢情報を利用して３次元モデルを再形成することが好ましい。そのための種々の態様を以下に説明する。

本実施形態では、第１制御装置１１１は、３Ｄカメラ１０３により撮影されたワーク３００の画像情報を取得する処理（ステップＳ１０１）と、３Ｄカメラ１０３によりワーク３００が撮影されたときにおける位置情報及び姿勢情報をセンサ１０４から取得する処理（ステップＳ１０２）と、取得された画像情報を表示装置１０５に表示させる処理（ステップＳ１０３）とを繰り返し実行した後、取得された画像情報、取得された位置情報及び記姿勢情報とに基づいてワーク３００の３次元モデルを形成する処理（ステップＳ１０５）と、形成された３次元モデルを表示装置１０５に表示させる処理（ステップＳ１０６）と、形成された３次元モデルのデータである第１データを第２制御装置１１２に出力する処理（ステップＳ１０８）とを実行してもよい。

また、本実施形態では、第１制御装置１１１は、画像情報を取得する処理（ステップＳ１０１）と、位置情報及び姿勢情報をセンサ１０４から取得する処理（ステップＳ１０２）と、取得された画像情報を表示装置１０５に表示させる処理（ステップＳ１０３）と、３次元モデルを形成する処理（ステップＳ１０５）と、３次元モデルを表示装置１０５に表示させる処理（ステップＳ１０６）とを実行した後、画像情報を取得する処理（ステップＳ１０１）と、位置情報及び姿勢情報をセンサ１０４から取得する処理（ステップＳ１０２）と、取得された画像情報を表示装置１０５に表示させる処理（ステップＳ１０３）とを１回以上繰り返し実行した後、３次元モデルを形成する処理（ステップＳ１０５）において、Ａ回目に取得された画像情報と、取得された位置情報及び姿勢情報と、を基に、３次元モデルを形成する処理と、当該３次元モデルを形成する処理で形成された３次元モデルと、Ｂ回目（Ｂ≠Ａ）に取得された画像情報と、を基に、３次元モデルを再形成する処理とを実行し、その後、３次元モデルを表示装置１０５に表示させる処理（ステップＳ１０６）と、第１データを第２制御装置１１２に出力する処理（ステップＳ１０８）とを実行してもよい。

さらに、本実施形態では、第１制御装置１１１は、画像情報を取得する処理（ステップＳ１０１）と、位置情報及び姿勢情報をセンサ１０４から取得する処理（ステップＳ１０２）と、取得された画像情報を表示装置１０５に表示させる処理（ステップＳ１０３）と、３次元モデルを形成する処理（ステップＳ１０５）と、３次元モデルを表示装置１０５に表示させる処理（ステップＳ１０６）と、を実行した後、画像情報を取得する処理（ステップＳ１０１）と、位置情報及び姿勢情報をセンサ１０４から取得する処理（ステップＳ１０２）と、取得された画像情報を表示装置１０５に表示させる処理（ステップＳ１０３）と、を１回以上繰り返し実行した後、３次元モデルを形成する処理（ステップＳ１０５）において、Ｃ回目に取得された画像情報と、取得された位置情報及び姿勢情報と、を基に、３次元モデルを形成する処理と、Ｄ回目（Ｄ≠Ｃ）に取得された画像情報を基に、３次元モデルを形成する処理と、Ｃ回目に取得された画像情報と、取得された位置情報及び姿勢情報とに基づき形成された３次元モデルと、Ｄ回目（Ｄ≠Ｃ）に取得された画像情報に基づき形成された３次元モデルと、を基に、３次元モデルを再形成する処理と、を実行し、その後、３次元モデルを表示装置１０５に表示させる処理（ステップＳ１０６）と、第１データを第２制御装置１１２に出力する処理（ステップＳ１０８）とを実行してもよい。

なお、本実施形態では、作業エリア２０１は、防爆エリアであり、操作エリア２０２は、非防爆エリアであってもよい。これにより、第１操作器１２１や３Ｄカメラ１０３を操作エリア２０２で使用する場合、それら装置を防爆仕様にする必要がなくなる。

なお、本実施の形態１においては、第１制御装置１１１が、ステップＳ１０７の処理において、３次元モデル形成終了情報が入力されたか否かを判定する形態を採用したが、これに限定されない。第１制御装置１１１が、ステップＳ１０７の処理を実行しない形態を採用してもよい。

［変形例１］
図１０は、本実施の形態１における変形例１のロボットシステムの概略構成を示す模式図である。本変形例１のロボットシステム１００は、第１操作器１２１に検出器１２および送信器１３が設けられている点において、実施の形態１に係るロボットシステム１００と異なる。検出器１２は、第１操作器１２１及び３Ｄカメラ１０３の位置情報と姿勢情報とを無線通信により検出する。検出器１２は、例えば、ジャイロセンサや、カメラである。送信器１３は、検出器１２により検出された位置情報と姿勢情報とを第１制御装置１１１に送信する本変形例１においては、検出器１２と送信器１３とがセンサ１０４に相当する。なお、検出器１２は、位置情報と姿勢情報とを検出しなくてもよく、検出器１２は、位置情報のみを検出してもよいし、姿勢情報のみを検出してもよい。

本変形例１のロボットシステム１００においても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

［変形例２］
図１１は、本実施の形態１における変形例２のロボットシステムの概略構成を示す模式図である。本変形例２のロボットシステム１００は、３Ｄカメラ１０３がロボットアーム１０２の先端部に設けられている点と、第２操作器１２２を追加して備える点とにおいて、実施の形態１に係るロボットシステム１００と異なる。

ロボットアーム１０２は、垂直多関節ロボットアームであってもよく、水平多関節型ロボットであってもよい。ロボットアーム１０２は、第２操作器１２２により操作される。第２操作器１２２は、例えば、ジョイスティック、キーボード、テンキー、ティーチペンダント等の公知の操作器を用いてもよい。第２操作器１２２には、３Ｄカメラ１０３による撮影の開始及び停止を指示するためのスイッチ１２２Ｂが設けられている。

なお、第１操作器１２１が第２操作器１２２を兼ねる形態を採用してもよい。この場合、ロボット１０１の操作と、ロボットアーム１０２の操作と、を切り替える切替器（切替スイッチ）が第１操作器１２１に設けられていてもよい。

本変形例２のロボットシステム１００においても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

本変形例２では、３Ｄカメラ１０３は、ロボットアーム１０２の先端部に設けられていて、ロボットアーム１０２を操作する第２操作器１２２をさらに備えているので、ロボット１０１近傍にあるワーク３００の画像情報を取得しやすくなる。

また、本変形例２では、第１制御装置１１１は、第２制御装置１１２を兼ねている。すなわち、第１制御装置１１１は、第２制御装置１１２の機能も実現する。これにより、２種類の制御装置の機能を単一の制御装置で実行できるので、配線等の構成が簡素化される。

（実施の形態２）
［ロボットシステムの構成］
図１２は、本実施の形態２に係るロボットシステムの概略構成を示す模式図である。なお、図１２においては、ロボットの方向を、便宜上、図に示す、三次元直交座標系のＸ軸、Ｙ軸及びＺ軸の方向で表わしている。本実施の形態２に係るロボットシステム１００は、搬送装置１０６を追加して備える点と、において、実施の形態１（変形例を含む）に係るロボットシステムと異なる。搬送装置１０６は、ワークを操作エリアから作業エリアの予め設定されている第１位置に搬送する。搬送装置１０６は、ベルトコンベア等、公知の搬送装置である。

なお、本実施の形態２に係るロボットシステム１００では、ワーク３００の操作エリア２０２から作業エリア２０１への移動を許可／禁止するシャッター１０７等を備えていてもよい。

また、本実施の形態２においては、第１操作器１２１はジョイスティックであり、第１操作器１２１と３Ｄカメラ１０３とは、別体として構成されている。

さらに、第２制御装置１１２の記憶器１１２ｂには、予め設定されている所定の第１範囲を示す、スケールの３次元モデル情報が記憶されていてもよい。スケールの３次元モデル情報としては、例えば、ロボット１０１の先端からの距離を測るための物差しの情報であってもよく、粒体、液体又は気体が噴射される範囲を示す円錐（円錐台）形状の情報であってもよい。

［ロボットシステムの動作及び作用効果］
次に、本実施の形態２に係るロボットシステム１００の動作及び作用効果について、図１２から図１４を参照しながら、詳細に説明する。なお、以下の動作は、第２制御装置１１２の演算処理器１１２ａが、記憶器１１２ｂに格納されているプログラムを読み出すことにより実行される。

図１３は、図１２に示すロボットシステムにおいて、窓から作業エリアを見た状態を示す模式図である。図１４は、本実施の形態２に係るロボットシステムの動作の一例を示すフローチャートである。図１３に示すように、操作者が、窓２０４から作業エリア２０１を見たとき、ワーク３００とロボット１０１とが重なる場合がある。また、ロボット１０１（エンドエフェクタ２０）の先端部とワーク３００の位置関係が把握しにくい場合がある。この場合、作業エリア２０１内にカメラを設置し、ロボット１０１（エンドエフェクタ２０）の先端部とワーク３００とを撮影して、撮影した映像を操作者に表示することが考えられる。

しかしながら、ロボット１０１が、ワーク３００に塗装する場合、又は溶接作業を実行する場合には、作業エリア２０１に設置するカメラを防爆仕様にする必要がある。防爆仕様のカメラは高額であり、設備コストが増加する。また、塗装されるワークの大きさが変わると、カメラの撮影位置を変更する必要がある場合もあり、作業者の作業負担が増加する。

このため、本実施の形態２に係るロボットシステム１００では、第２制御装置１１２は、第１制御装置１１１が作成したワーク３００の３次元モデルを用いて、以下のような動作（処理）を実行する。

まず、第２制御装置１１２に、操作者から図示されない入力器等を介して、ワーク３００に対して作業（例えば、塗装作業）を実行することを示す指示情報が入力されたとする。図１４に示すように、第２制御装置１１２の演算処理器１１２ａは、第１制御装置１１１の記憶器１１１ｂから、ワーク３００の３次元モデルデータである第１データを取得する（ステップＳ２０１）。なお、演算処理器１１２ａは、記憶器１１２ｂに第１データが記憶されている場合には、記憶器１１２ｂから第１データを取得してもよい。

次に、第２制御装置１１２の演算処理器１１２ａは、ワーク３００の作業エリア２０１内の搬送位置である第１位置の位置情報を記憶器１１２ｂから取得する（ステップＳ２０２）。

次に、第２制御装置１１２の演算処理器１１２ａは、ロボット１０１の３次元モデルデータである第２データを記憶器１１２ｂから取得する（ステップＳ２０３）。なお、第２データは、予め、プログラマがロボット１０１の３次元モデルを形成したデータを記憶器１１２ｂに記憶させていてもよい。また、第２データは、実施の形態１に係るロボットシステム１００の動作で説明したように、第１操作器１２１に設置されている３Ｄカメラ１０３を用いて、第１制御装置１１１が、ロボット１０１の３次元モデルを形成し、当該３次元モデルデータを記憶器１１２ｂに記憶させてもよい。

次に、第２制御装置１１２の演算処理器１１２ａは、搬送装置１０６に操作エリア２０２に配置されているワーク３００を作業エリア２０１の第１位置に搬送させる（ステップＳ２０４）。なお、第２制御装置１１２は、ステップＳ２０１からステップＳ２０３の処理を入力器等から指示情報が入力される前に予め実行していてもよく、ステップＳ２０４の処理の後に実行してもよい。

次に、第２制御装置１１２の演算処理器１１２ａは、操作者が第１操作器１２１を操作することにより、第１操作器１２１から出力される、ロボット１０１の操作情報（動作情報）を取得する（ステップＳ２０５）。ついで、第２制御装置１１２の演算処理器１１２ａは、第２制御装置１１２の演算処理器１１２ａは、ステップＳ２０５で取得した操作情報を基に、ロボット１０１を動作させる（ステップＳ２０６）。

次に、第２制御装置１１２の演算処理器１１２ａは、ステップＳ２０１からステップＳ２０３の処理で取得した、第１データ、第１位置、及び第２データと、ステップＳ２０５で取得した操作情報と、を基に、ロボット１０１（エンドエフェクタ２０）の先端部と、ワーク３００と、の位置関係を、３次元モデルで表示装置１０５に表示させる（ステップＳ２０７）。

具体的には、第２制御装置１１２の演算処理器１１２ａは、操作者が操作エリア２０２からロボット１０１を見ている方向とは異なる方向から見た場合の３Ｄワーク３０１と、３Ｄロボット１０１Ａを表示装置１０５に表示させる。

ここで、操作者が操作エリア２０２からロボット１０１を見ている方向とは、例えば、操作者が操作エリア２０２の窓２０４からロボット１０１を見ている方向（ここでは、Ｘ方向）であってもよい。また、例えば、操作エリア２０２に人感センサを配置しておき、当該人感センサが検知した操作者の位置座標とロボット１０１の位置座標とを結ぶ直線方向であってもよい。

さらに、操作者が操作エリア２０２からロボット１０１を見ている方向と異なる方向とは、本実施の形態２においては、Ｘ方向以外の方向であれば、どの方向であってもよく、例えば、Ｘ方向と直交する方向（ここでは、Ｙ方向又はＺ方向）であってもよい。

このため、第２制御装置１１２の演算処理器１１２ａは、例えば、操作者が操作エリア２０２の窓２０４からロボット１０１を見ている方向（ここでは、Ｘ方向）とは異なる方向から見た場合の３Ｄワーク３０１と、３Ｄロボット１０１Ａを表示装置１０５に表示させてもよい。

より詳細には、第２制御装置１１２の演算処理器１１２ａは、図１２に示すように、Ｙ方向から見た場合のロボット１０１（エンドエフェクタ２０）の先端部と、ワーク３００と、の位置関係を表示装置１０５に表示させてもよい。

なお、第２制御装置１１２の演算処理器１１２ａは、ステップＳ２０７の処理において、ロボット１０１のエンドエフェクタ２０（３Ｄロボット１０１Ａ）の先端にスケールの３次元モデルである３Ｄスケール２０Ａを表示装置１０５に表示させてもよい（図１２参照）。

次に、第２制御装置１１２の演算処理器１１２ａは、操作者から図示されない入力器等を介して、ワーク３００に対して作業の終了を示す指示情報が入力されたか否かを判定する（ステップＳ２０８）。

第２制御装置１１２の演算処理器１１２ａは、ワーク３００に対して作業の終了を示す指示情報が入力されていないと判定した場合（ステップＳ２０８でＮｏ）には、ワーク３００に対して作業の終了を示す指示情報が入力されたと判定するまで、ステップＳ２０５からステップＳ２０８の処理を繰り返す。

一方、第２制御装置１１２の演算処理器１１２ａは、ワーク３００に対して作業の終了を示す指示情報が入力されたと判定した場合（ステップＳ２０８でＹｅｓ）には、本プログラムを終了する。

このように構成された、本実施の形態２に係るロボットシステム１００では、第２制御装置１１２が、第１制御装置１１１が作成したワーク３００の３次元モデルを用いて、ロボット１０１（エンドエフェクタ２０）の先端部と、ワーク３００と、の位置関係を、３次元モデルで表示装置１０５に表示させる。

これにより、プログラマにより、ワークの３次元モデルデータを作成する必要がないため、データ作成にかかる費用を低減することができる。このため、従来の表示システムに比して、生産効率を向上させることができる。

さらに、本実施の形態２に係るロボットシステム１００では、第２制御装置１１２が、ロボット１０１のエンドエフェクタ２０（３Ｄロボット１０１Ａ）の先端に３Ｄスケール２０Ａを表示装置１０５に表示させるので、操作者の負担を軽減して、作業効率を向上させることができる。

本実施形態では、ワーク３００を操作エリア２０２から作業エリア２０１の予め設定されている第１位置に搬送する、搬送装置１０６をさらに備える。これにより、操作エリア２０２において３Ｄカメラ１０３で撮影されたワーク３００を作業に適した正確な位置に移動させることができる。

また、本実施形態では、ロボット１０１を操作し、操作エリア２０２に配置されている第１操作器１２１をさらに備え、第２制御装置１１２は、ロボット１０１の３次元モデルのデータである第２データが記憶されている記憶器１１２ｂを有する、さらに、第２制御装置１１２は、操作者が第１操作器１２１を操作して、ロボット１０１を動作させて、ワーク３００に対して作業を実行させているときに、第２制御装置１１２への第１データの出力で入力された第１データと、搬送されたワークの第１位置の位置情報と、第２データと、第１操作器１２１から入力されたロボット１０１の操作情報と、に基づいて、操作者が操作エリア２０２からロボット１０１を見た方向とは異なる方向から見た場合のワーク３００とロボット１０１の先端部の位置関係を表示装置１０５に表示させる。上記によれば、ロボット１０１やワーク３００を直接視認するだけではわからないような、ワーク３００とロボット１０１先端部との位置関係を操作者が理解できるようになる。

さらに、本実施形態では、第１操作器１２１には、３Ｄカメラ１０３が取り付けられる。これによれば、操作者が把持すべき装置が単一ものですむので、第１操作器１２１の操作や３Ｄカメラ１０３の操作が容易になる。

そして、本実施形態では、センサ１０４は、第１操作器１２１からの位置情報及び姿勢情報を無線により検出し、第２制御装置１１２は、センサ１０４により検出された第１操作器１２１からの位置情報及び姿勢情報を基に、第１操作器１２１の軌跡を算出し、算出された軌跡に基づいて、リアルタイムでロボット１０１を動作させる処理（ステップＳ２０６）を実行してもよい。これにより、第１操作器１２１を移動させやすくなるので、ロボット１０１の動作を正確に行わせることができる。

なお、第２制御装置１１２は、操作者が、第１操作器１２１を操作することにより生じる、操作情報に基づいて、ロボット１０１に実行させた作業（第１操作器１２１の操作情報）を記憶器１１２ｂに記憶させてもよい。また、第２制御装置１１２は、記憶器１１２ｂに記憶された第１操作器１２１の操作情報に従って、ロボット１０１を自動で動作させてもよい。

［変形例１］
［ロボットシステムの構成］
図１５は、本実施の形態２における変形例１のロボットシステムの概略構成を示す模式図である。本変形例１のロボットシステム１００は、第２制御装置１１２が、センサ１０４から入力された第１操作器１２１の位置情報及び姿勢情報を基に、第１操作器１２１の先端部の動きに追従するように、ロボット１０１（エンドエフェクタ２０）を動作させる点において、実施の形態２に係るロボットシステム１００と異なる。

すなわち、本変形例１では、第２制御装置１１２は、センサ１０４が検出した第１操作器１２１の位置情報及び姿勢情報を基に、第１操作器１２１の軌跡を算出し、リアルタイムでロボット１０１を動作させる。第２制御装置１１２は、センサ１０４が検出した第１操作器１２１の３次元空間上の位置情報及び姿勢情報を基に、第１操作器１２１の軌跡を算出し、算出した軌跡に基づいて、リアルタイムでワーク３００に液体又は気体を噴射する噴射作業、ワーク３００を切削する切削作業、ワーク３００を研磨する研磨作業、ワーク３００を溶接する溶接作業、ワーク３００を洗浄する洗浄作業の内、いずれかの作業をロボット１０１に実行させるように構成されていてもよい。噴射作業、切削作業、研磨作業、溶接作業、及び洗浄作業の「作業」とは、ロボット１０１が、ワーク３００に対して実行する一連の動作を言い、複数の動作を含む概念である。作業は、例えば、ロボット１０１が、ワーク３００に近接する動作、ワーク３００に対して、液体の噴射等を開始する動作、液体の噴射等を停止する動作、及びワーク３００から離間する動作を含む。

［ロボットシステムの動作及び作用効果］
本実施の形態２における変形例１のロボットシステム１００の動作及び作用効果について、図１５及び図１６を参照しながら、詳細に説明する。なお、以下の動作は、第２制御装置１１２の演算処理器１１２ａが、記憶器１１２ｂに格納されているプログラムを読み出すことにより実行される。

図１６は、本実施の形態２における変形例１のロボットシステムの動作の一例を示すフローチャートである。図１６に示すように、本変形例１のロボットシステム１００の動作は、ステップＳ２０５の処理に代えて、ステップＳ２０５Ａ及びステップＳ２０５Ｂの処理（動作）を実行する点において、実施の形態２に係るロボットシステム１００の動作と異なる。

具体的には、第２制御装置１１２の演算処理器１１２ａは、センサ１０４から当該センサ１０４が検出した第１操作器１２１の位置情報及び姿勢情報を取得する（ステップＳ２０５Ａ）。ついで、第２制御装置１１２の演算処理器１１２ａは、ステップＳ２０５で取得した第１操作器１２１の位置情報及び姿勢情報を基に、第１操作器１２１の軌跡を算出する（ステップＳ２０５Ｂ）。

次に、第２制御装置１１２の演算処理器１１２ａは、ステップＳ２０５Ｂで算出した第１操作器１２１の軌跡を基に、リアルタイムでロボット１０１を動作させる（ステップＳ２０６）。

次に、第２制御装置１１２の演算処理器１１２ａは、ステップＳ２０１からステップＳ２０３の処理で取得した、第１データ、第１位置、及び第２データと、ステップＳ２０５Ｂで算出した第１操作器１２１の軌跡と、を基に、ロボット１０１（エンドエフェクタ２０）の先端部と、ワーク３００と、の位置関係を、３次元モデルで表示装置１０５に表示させる（ステップＳ２０７）。具体的には、図１５に示すように、第２制御装置１１２は、３Ｄワーク３０１と、３Ｄロボット１０１Ａを表示装置１０５に表示させる。

次に、第２制御装置１１２の演算処理器１１２ａは、操作者から図示されない入力器等を介して、ワーク３００に対して作業の終了を示す指示情報が入力されたか否かを判定する（ステップＳ２０８）。

第２制御装置１１２の演算処理器１１２ａは、ワーク３００に対して作業の終了を示す指示情報が入力されていないと判定した場合（ステップＳ２０８でＮｏ）には、ワーク３００に対して作業の終了を示す指示情報が入力されたと判定するまで、ステップＳ２０５ＡからステップＳ２０８の処理を繰り返す。

一方、第２制御装置１１２の演算処理器１１２ａは、ワーク３００に対して作業の終了を示す指示情報が入力されたと判定した場合（ステップＳ２０８でＹｅｓ）には、本プログラムを終了する。

本変形例１のロボットシステム１００では、第２制御装置１１２が、センサ１０４が検出した第１操作器１２１の位置情報及び姿勢情報を基に、第１操作器１２１の軌跡を算出し、リアルタイムでロボット１０１を動作させる。

これにより、操作者は、リアルタイムでロボット１０１を操作させることができるので、直感的にロボット１０１を操作することができる。また、ロボット１０１によるワーク３００への作業動作が正確に実行されているか否かを瞬時に判断することができる。

また、本変形例１のロボットシステム１００では、第２制御装置１１２が、第１制御装置１１１が作成したワーク３００の３次元モデルを用いて、ロボット１０１（エンドエフェクタ２０）の先端部と、ワーク３００と、の位置関係を、３次元モデルで表示装置１０５に表示させる。

これにより、プログラマにより、ワークの３次元モデルデータを作成する必要がないため、データ作成にかかる費用を低減することができる。このため、従来の表示システムに比して、生産効率を向上させることができる。

本変形例１では、第２制御装置１１２は、ロボット１０１の３次元モデルのデータである第２データが記憶されている記憶器１１２ｂを有し、第２制御装置１１２は、第１データを第２制御装置１１２に出力する処理（ステップＳ１０８）で入力された第１データと、搬送されたワーク３００の第１位置の位置情報と、第２データと、リアルタイムでロボット１０１を動作させる処理（ステップＳ２０６）で算出された軌跡と、に基づいて、操作者が操作エリア２０２からロボット１０１を見た方向とは異なる方向から見た場合のワーク３００とロボット１０１の先端部の位置関係を表示装置１０５に表示させてもよい。これにより、ロボット１０１やワーク３００を直接視認するだけではわからないような、ワーク３００とロボット１０１先端部との位置関係を操作者が理解できるようになる。

なお、第２制御装置１１２は、操作者が、第１操作器１２１を移動させる（操作する）ことにより生じる、第１操作器１２１の軌跡を算出し、算出した算出した軌跡に基づいて、ロボット１０１に実行させた作業（第１操作器１２１の軌跡情報）を記憶器１１２ｂに記憶させてもよい。また、第２制御装置１１２は、記憶器１１２ｂに記憶された第１操作器１２１の軌跡情報に従って、ロボット１０１を動作させてもよい。

［変形例２］
図１７及び図１８は、本実施の形態２における変形例２のロボットシステムの概略構成を示す模式図である。なお、図１７及び図１８においては、ロボットの方向を、便宜上、図に示す、三次元直交座標系のＸ軸、Ｙ軸及びＺ軸の方向で表わしている。図１７及び図１８に示すように、本変形例２のロボットシステム１００は、第２制御装置１１２が、ワーク３００の３次元モデル情報に基づいて、当該ワーク３００の予め設定されている所定の第１部分に対する法線方向を示すライン３０を表示装置１０５に表示させる点において、実施の形態２に係るロボットシステム１００と異なる。第１部分は、ロボット１０１のエンドエフェクタ２０の先端と対向する部分であってもよい。

本変形例２のロボットシステム１００では、報知器１５０をさらに備えていてもよい。報知器１５０としては、表示装置１０５に、文字データ又は画像データ等を表示させる態様であってもよく、スピーカー等により音声で知らせる態様であってもよく、光又は色で知らせるような態様であってもよい。また、通信ネットワークを介してスマートフォン、携帯電話、又はタブレット型コンピュータ等にメール又はアプリで知らせる態様であってもよい。

さらに、本変形例２のロボットシステム１００では、第２制御装置１１２が、ライン３０とロボット１０１のエンドエフェクタ２０（３Ｄロボット１０１Ａにおけるエンドエフェクタ２０）の軸心方向とが一致すると、ライン３０の色及び／又は線の太さを変更して、表示装置１０５に表示させるように構成されていてもよい（図１８参照）。

また、第２制御装置１１２は、ライン３０とロボット１０１のエンドエフェクタ２０（３Ｄロボット１０１Ａにおけるエンドエフェクタ２０）の軸心方向とが一致すると、報知器１５０を作動させて、一致したことを報知させてもよい。

本変形例２のロボットシステム１００においても、実施の形態２に係るロボットシステム１００と同様の作用効果を奏する。

（実施の形態３）
［ロボットシステムの構成］
図１９は、本実施の形態３に係るロボットシステムの概略構成を示す模式図である。なお、図１９においては、ロボットの方向を、便宜上、図に示す、三次元直交座標系のＸ軸、Ｙ軸及びＺ軸の方向で表わしている。

図１９に示すように、本実施の形態３に係るロボットシステム１００は、操作エリア２０２に報知器１５０が配置されている点において、実施の形態２に係るロボットシステム１００と異なる。報知器１５０としては、表示装置１０５に、文字データ又は画像データ等を表示させる態様であってもよく、スピーカー等により音声で知らせる態様であってもよく、光又は色で知らせるような態様であってもよい。また、通信ネットワークを介してスマートフォン、携帯電話、又はタブレット型コンピュータ等にメール又はアプリで知らせる態様であってもよい。

［ロボットシステムの動作及び作用効果］
次に、本実施の形態３に係るロボットシステム１００の動作及び作用効果について、図１９、図２０Ａ、及び図２０Ｂを参照しながら、詳細に説明する。なお、以下の動作は、第２制御装置１１２の演算処理器１１２ａが、記憶器１１２ｂに格納されているプログラムを読み出すことにより実行される。

図２０Ａ及び図２０Ｂは、本実施の形態３に係るロボットシステムの動作の一例を示すフローチャートである。図２０Ａ及び図２０Ｂに示すように、本実施の形態３に係るロボットシステム１００の動作は、ステップＳ２０７とステップＳ２０８との間に、ステップＳ２０７ＡからステップＳ２０７Ｃの処理を実行する点において、実施の形態２に係るロボットシステム１００の動作と異なる。

具体的には、第２制御装置１１２の演算処理器１１２ａは、ステップＳ２０１からステップＳ２０３の処理で取得した第１データ、第１位置、及び第２データと、ステップＳ２０５で取得した操作指令情報と、を基に、ロボット１０１（エンドエフェクタ２０）の先端部と、ワーク３００と、の位置関係を、３次元モデルで表示装置１０５に表示させる（ステップＳ２０７）。

次に、第２制御装置１１２の演算処理器１１２ａは、第１データ及び第２データと、ステップＳ２０５で取得した操作指令情報と、を基に、ロボット１０１（３Ｄロボット１０１Ａ）とワーク３００（３Ｄワーク３０１）の距離Ａを算出する（ステップＳ２０７Ａ）。

このとき、第２制御装置１１２の演算処理器１１２ａは、ロボット１０１（３Ｄロボット１０１Ａ）におけるワーク３００（３Ｄワーク３０１）に最も近い部分と、ワーク３００（３Ｄワーク３０１）と、の距離を算出してもよい。

すなわち、ロボット１０１のエンドエフェクタ２０の先端が、ワーク３００と最も近い位置に位置している場合には、第２制御装置１１２の演算処理器１１２ａは、エンドエフェクタ２０の先端とワーク３００との距離を算出すればよい。また、ロボット１０１のある部分が、ワーク３００と最も近い位置に位置している場合には、第２制御装置１１２の演算処理器１１１２は、ロボット１０１の当該部分と、ワーク３００との距離を算出すればよい。

次に、第２制御装置１１２の演算処理器１１２ａは、ステップＳ２０７Ａで算出した距離Ａが、予め設定されている所定の第１距離以下であるか否かを判定する（ステップＳ２０７Ｂ）。ここで、第１距離は、ロボット１０１の動作速度、及びワーク３００に対する作業内容等から設定することができる。

ロボット１０１の動作速度が小さい場合には、第１距離を小さく設定してもよい。また、ワーク３００に対する作業が、溶接、切削、洗浄、及び研磨作業である場合にも、第１距離を小さく設定してもよい。

一方、ロボット１０１の動作速度が大きい場合には、第１距離を大きく設定してもよい。また、ワーク３００に対する作業が、液体等の噴射／噴霧作業である場合にも、第１距離を大きく設定してもよい。

第１距離としては、例えば、ワーク３００との衝突を抑制する観点から０．５ｃｍ以上であってもよく、ワーク３００に作業を実行する観点から３０ｃｍであってもよい。

第２制御装置１１２の演算処理器１１２ａは、距離Ａが、第１距離以下であると判定した場合（ステップＳ２０７ＢでＹｅｓ）には、報知器１５０を動作させて、ワーク３００と衝突するおそれがあるという警告を報知させる（ステップＳ２０７Ｃ）。このとき、第２制御装置１１２の演算処理器１１２ａは、ロボット１０１の動作速度を小さくしてもよく、ロボット１０１を停止させてもよい。

これにより、操作者は、ロボット１０１が、ワーク３００と衝突するおそれがあることを認識することができ、操作器１０２により、ワーク３００と衝突しないように、ロボット１０１を操作させることができる。

このため、第２制御装置１１２の演算処理器１１２ａは、操作器１０２から入力された操作指令情報を取得する。すなわち、第２制御装置１１２の演算処理器１１２ａは、ステップＳ２０５の処理に戻る。

一方、第２制御装置１１２の演算処理器１１２ａは、距離Ａが、第１距離以下ではないと判定した場合（ステップＳ２０７ＢでＮｏ）には、操作者から図示されない入力器等を介して、ワーク３００に対して作業の終了を示す指示情報が入力されたか否かを判定する（ステップＳ２０８）。

第２制御装置１１２の演算処理器１１２ａは、ワーク３００に対して作業の終了を示す指示情報が入力されていないと判定した場合（ステップＳ２０８でＮｏ）には、ワーク３００に対して作業の終了を示す指示情報が入力されたと判定するまで、ステップＳ２０５からステップＳ２０８の処理を繰り返す。

一方、第２制御装置１１２の演算処理器１１２ａは、ワーク３００に対して作業の終了を示す指示情報が入力されたと判定した場合（ステップＳ２０８でＹｅｓ）には、本プログラムを終了する。

本実施の形態３に係るロボットシステム１００においても、実施の形態２に係るロボットシステム１００と同様の作用効果を奏する。

本実施形態では、ワーク３００を操作エリア２０２から作業エリア２０１の予め設定されている第１位置に搬送する、搬送装置１０６をさらに備える。これにより、操作エリア２０２において３Ｄカメラ１０３で撮影されたワーク３００を作業に適した正確な位置に移動させることができる。

また、本実施形態では、ロボット１０１を操作し、操作エリア２０２に配置されている第１操作器１２１をさらに備え、第２制御装置１１２は、ロボット１０１の３次元モデルのデータである第２データが記憶されている記憶器１１２ｂを有する、さらに、第２制御装置１１２は、操作者が第１操作器１２１を操作して、ロボット１０１を動作させて、ワーク３００に対して作業を実行させているときに、第２制御装置１１２への第１データの出力で入力された第１データと、搬送されたワークの第１位置の位置情報と、第２データと、第１操作器１２１から入力されたロボット１０１の操作情報と、に基づいて、操作者が操作エリア２０２からロボット１０１を見た方向とは異なる方向から見た場合のワーク３００とロボット１０１の先端部の位置関係を表示装置１０５に表示させる。上記によれば、ロボット１０１やワーク３００を直接視認するだけではわからないような、ワーク３００とロボット１０１先端部との位置関係を操作者が理解できるようになる。

さらに、本実施形態では、第１操作器１２１には、３Ｄカメラ１０３が取り付けられる。これによれば、操作者が把持すべき装置が単一ものですむので、第１操作器１２１の操作や３Ｄカメラ１０３の操作が容易になる。

そして、本実施形態では、センサ１０４は、第１操作器１２１からの位置情報及び姿勢情報を無線により検出し、第２制御装置１１２は、センサ１０４により検出された第１操作器１２１からの位置情報及び姿勢情報を基に、第１操作器１２１の軌跡を算出し、算出された軌跡に基づいて、リアルタイムでロボット１０１を動作させる処理（ステップＳ２０６）を実行してもよい。これにより、第１操作器１２１を移動させやすくなるので、ロボット１０１の動作を正確に行わせることができる。

上記説明から、当業者にとっては、本発明の多くの改良又は他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。

１１ａ 第１リンク
１１ｂ 第２リンク
１１ｃ 第３リンク
１１ｄ 第４リンク
１１ｅ 第５リンク
１１ｆ 第６リンク
１２ 検出器
１３ 送信器
１５ 基台
２０ エンドエフェクタ
２１ 配管
１００ ロボットシステム
１０１ ロボット
１０１Ａ ３Ｄロボット
１０２ ロボットアーム
１０３ ３Ｄカメラ
１０４ センサ
１０５ 表示装置
１０６ 搬送装置
１０７ シャッター
１１１ 第１制御装置
１１１ａ 演算処理器
１１１ｂ 記憶器
１１２ 第２制御装置
１１２ａ 演算処理器
１１２ｂ 記憶器
１２１ 第１操作器
１２１Ａ 把持部
１２１Ｂ スイッチ
１２１Ｅ 本体部
１２２ 第２操作器
１２２Ｂ スイッチ
１５０ 報知器
２０１ 作業エリア
２０２ 操作エリア
２０３ 壁部材
２０４ 窓
３００ ワーク
３０１ ３Ｄワーク
３０１Ａ ３Ｄワーク
３０１Ｂ ３Ｄワーク
３０１Ｃ ３Ｄワーク
３０２Ａ ワーク画像
３０２Ｂ ワーク画像
３０２Ｃ ワーク画像
ＪＴ１ 第１関節
ＪＴ２ 第２関節
ＪＴ３ 第３関節
ＪＴ４ 第４関節
ＪＴ５ 第５関節
ＪＴ６ 第６関節

Claims (13)

1. 作業エリア内に設置され、第２制御装置により制御されるロボットと、
   操作者により操作される３Ｄカメラと、
   前記作業エリアとは異なる空間である操作エリアに配置され、前記３Ｄカメラの位置情報及び姿勢情報を無線により検出するセンサと、
   表示装置と、
   第１制御装置と、を備え、
   前記第１制御装置は、
   前記３Ｄカメラにより撮影されたワークの画像情報を取得し、
   前記３Ｄカメラにより前記ワークが撮影されたときにおける前記位置情報及び前記姿勢情報を前記センサから取得し、
   取得された前記画像情報を前記表示装置に表示させ、
   前記画像情報と、取得された前記位置情報及び前記姿勢情報と、を基に、前記ワークの３次元モデルを形成し、
   形成された前記３次元モデルを前記表示装置に表示させ、
   形成された前記３次元モデルのデータである第１データを前記第２制御装置に出力する、ロボットシステム。
2. 前記第１制御装置は、
   前記画像情報の取得と、前記センサからの前記位置情報および前記姿勢情報の取得と、前記表示装置への前記画像情報の表示とを繰り返し実行した後、前記３次元モデルの形成と、前記表示装置への形成された前記３次元モデルの表示と、前記第２制御装置への前記第１データの出力とを実行する、請求項１に記載のロボットシステム。
3. 前記第１制御装置は、
   前記画像情報の取得と、前記センサからの前記位置情報および前記姿勢情報の取得と、前記表示装置への前記画像情報の表示と、前記３次元モデルの形成と、前記表示装置への形成された前記３次元モデルの表示とを実行した後、前記画像情報の取得と、前記センサからの前記位置情報および前記姿勢情報の取得と、前記表示装置への前記画像情報の表示とを１回以上繰り返し実行した後、
   前記３次元モデルの形成において、Ａ回目に取得された前記画像情報と、取得された前記位置情報及び前記姿勢情報と、を基に、前記３次元モデルを形成し、
   形成された前記３次元モデルと、Ｂ回目（Ｂ≠Ａ）に取得された前記画像情報と、を基に、前記３次元モデルを再形成し、
   その後、前記表示装置への形成された前記３次元モデルの表示と、前記第２制御装置への前記第１データの出力とを実行する、請求項１又は請求項２に記載のロボットシステム。
4. 前記第１制御装置は、
   前記画像情報の取得と、前記センサからの前記位置情報および前記姿勢情報の取得と、前記表示装置への前記画像情報の表示と、前記３次元モデルの形成と、前記表示装置への形成された前記３次元モデルの表示と、を実行した後、前記画像情報の取得と、前記センサからの前記位置情報および前記姿勢情報の取得と、前記表示装置への前記画像情報の表示と、を１回以上繰り返し実行した後、
   前記３次元モデルの形成において、Ｃ回目に取得された前記画像情報と、取得された前記位置情報及び前記姿勢情報と、を基に、前記３次元モデルを形成し、
   Ｄ回目（Ｄ≠Ｃ）に取得された前記画像情報を基に、前記３次元モデルを形成し、
   前記Ｃ回目に取得された前記画像情報と、取得された前記位置情報及び前記姿勢情報とに基づき形成された前記３次元モデルと、前記Ｄ回目（Ｄ≠Ｃ）に取得された前記画像情報に基づき形成された前記３次元モデルと、を基に、前記３次元モデルを再形成し、
   その後、前記表示装置への形成された前記３次元モデルの表示と、前記第２制御装置への前記第１データの出力とを実行する、請求項１から請求項３までのいずれか１項に記載のロボットシステム。
5. 前記ワークを前記操作エリアから前記作業エリアの予め設定されている第１位置に搬送する、搬送装置をさらに備える、請求項１から請求項４までのいずれか１項に記載のロボットシステム。
6. 前記ロボットを操作し、前記操作エリアに配置されている第１操作器をさらに備え、
   前記第２制御装置は、前記ロボットの３次元モデルのデータである第２データが記憶されている記憶器を有し、
   前記第２制御装置は、
   前記操作者が前記第１操作器を操作して、前記ロボットを動作させて、前記ワークに対して作業を実行させているときに、前記第２制御装置への前記第１データの出力で入力された前記第１データと、前記搬送された前記ワークの第１位置の位置情報と、前記第２データと、前記第１操作器から入力された前記ロボットの操作情報と、に基づいて、前記操作者が前記操作エリアから前記ロボットを見た方向とは異なる方向から見た場合の前記ワークと前記ロボットの先端部の位置関係を前記表示装置に表示させる、請求項１から請求項５までのいずれか１項に記載のロボットシステム。
7. 前記第１操作器には、前記３Ｄカメラが取り付けられている、請求項６に記載のロボットシステム。
8. 前記センサは、前記第１操作器からの前記位置情報及び前記姿勢情報を無線により検出し、
   前記第２制御装置は、
   前記センサにより検出された前記第１操作器からの前記位置情報及び前記姿勢情報を基に、前記第１操作器の軌跡を算出し、算出された前記軌跡に基づいて、リアルタイムで前記ロボットを動作させる、請求項７に記載のロボットシステム。
9. 前記第２制御装置は、前記ロボットの３次元モデルのデータである第２データが記憶されている記憶器を有し、
   前記第２制御装置は、
   前記第２制御装置への前記第１データの出力で入力された前記第１データと、前記搬送された前記ワークの第１位置の位置情報と、前記第２データと、前記リアルタイムでの前記ロボットの動作で算出された前記軌跡と、に基づいて、前記操作者が前記操作エリアから前記ロボットを見た方向とは異なる方向から見た場合の前記ワークと前記ロボットの先端部の位置関係を前記表示装置に表示させる、請求項８に記載のロボットシステム。
10. 前記作業エリアは、防爆エリアであり、前記操作エリアは、非防爆エリアである、請求項１から請求項９までのいずれか１項に記載のロボットシステム。
11. 前記３Ｄカメラは、ロボットアームの先端部に設けられていて、
    前記ロボットアームを操作する第２操作器をさらに備える、請求項１から請求項１０までのいずれか１項に記載のロボットシステム。
12. 前記第１制御装置は、前記第２制御装置を兼ねる、請求項１から請求項１１までのいずれか１項に記載のロボットシステム。
13. ロボットが設置されている作業エリアとは異なる空間である操作エリアに配置されているワークが、操作者により操作される３Ｄカメラにより撮影されたときにおける、前記３Ｄカメラの位置情報及び姿勢情報を検出し、
    撮影された前記ワークの画像情報を取得し、
    検出された前記位置情報及び前記姿勢情報を取得し、
    取得された前記画像情報を前記表示装置に表示させ、
    取得された前記画像情報と、取得された前記位置情報及び前記姿勢情報と、を基に、前記ワークの３次元モデルを形成する、ワークの３次元モデル形成方法。

Images