JP6193554B2 - ３次元表示部を備えたロボット教示装置 - Google Patents

Description

関連出願の参照
本願は、２０１１年１１月４日に出願された米国仮特許出願シリアルＮｏ．６１／５５５，６７５号の利益を請求するものである。

本発明は、ロボットおよびプログラムの特定データを、ロボット教示装置上に３次元画像で表示することに関する。

ロボットおよびプログラムの特定データを表示する、従来技術に係る方法および装置は、パーソナルコンピュータ（ＰＣ）上で動作するオフラインシミュレーションソフトウェアと、ＰＣまたは非取り付け型の他のプログラミング装置上におけるオフラインプログラミング／シミュレーションシステムの使用を含む。

現在、３次元の作業セルデータを高品質３次元画像として表示するために、高性能なパーソナルコンピュータが、求められている。また、カスタマイズされたプログラミングコード（例えば、Ｃ言語）が、各表示装置用に求められている。したがって、特定の装置（例えば、コンピュータ）に、作業セルの３次元画像を表示させるのを可能とするために、特定の装置は、カスタマイズされたソフトウェアプログラムを備える必要がある。

米国特許Ｎｏ．５，９３７，１４３号は、ロボット工具、工具座標系における工具座標、および、使用者または世界座標系における教示ポイントの画像を表示するために、ロボット教示ペンダントを用いた実施例である。しかしながら、このペンダントは、２次元フォーマットのロボットプログラムからの３次元データを、ペンダントスクリーン上に表示するものである。米国特許出願２００５／０２８５８５４号公報と、米国特許出願２００７／０１６７７０２号公報は、作業ステーションに、リアルタイムの３次元画像を生成させるシステムの例である。米国特許Ｎｏ．６，１６７，３２８号と、米国特許出願２００９／０２０４２５７号公報は、ロボット用に教示された経路の、簡単な３次元グラフィック表示を生成するための教示ペンダントを示している。このように、従来技術に係る教示ペンダントは、ロボット作業セルの、高品質且つ操作可能な３次元画像を生成するものではない。

典型的には、ロボットのオペレータは、不可視なパラメータの位置を視覚可能とするために、専用のコンピュータにアクセスすることを求められる。なお、このパラメータの位置は、例えば、安全領域および干渉領域のように、ロボットの操作または移動を制限するものである。したがって、作業セルの３次元画像は、ロボットのオペレータの手において、容易に利用可能となっていない。

従来技術は、プログラマー／オペレータが、（例えば、ある特定の角度が、３次元空間において、ロボット工具の角度および他の要素に、どのように関連しているかといった）難解な数学の概念を理解することを必要とする。物理的な位置に関して、オペレータは、物理的な機械を視認し、物理的な位置に従って、ポイントをプログラムすることができる。しかしながら、オペレータが従来技術によっては見ることのできない、より実質的な特別の関係性が存在する。安全壁のような要素や、ロボット動作範囲、特定の動作においてロボットが操作領域と重なってしまう領域は、３次元モデルによらずに視覚化することは、困難である。オペレータは、これら要素を表したテキストを物理的世界に関連付けるためには、高度に経験豊富である必要がある。

ロボットをジョグするための従来技術は、如何にしてジョグボタンが物理的世界にマップするのかを認知している、経験のあるオペレータを必要とする。典型的には、オペレータは、特定のキーを操作することに応じて、得られる結果を思考の中で視覚化することが求められる。しかしながら、経験のあるオペレータでさえ、所望でないキーを偶発的に操作してしまうこともあり、その結果、ロボットと周辺装置を損傷させてしまう。例えばアーク溶接のような特定のアプリケーションに関して、オペレータは、例えばリード角や遅れ角のような、従来提供されていたテキスト情報から明確とはならない特定の事項を熟知している必要がある。

従来技術は、以下の欠点を有する。
１．ロボットのシミュレーションが、ロボットの実行と直接的に繋がっていない。
２．機能が、確立されたシミュレーションと、ＣＡＤ−ＣＡＭ環境からの概念とに基づいているため、該機能は、限定されてしまう。
３．操作可能な高品質３次元（３Ｄ）画像が、ロボットと関連付けられた手持ちペンダント上にて利用することができない。このような画像は、通常、操作するためには、大型の表示装置と、ＰＣまたは他の進歩的な演算装置とを要する。

本発明によれば、ロボット環境における３次元グラフィックデータの３次元表示を表示するためのシステムおよび方法は、従来技術の欠点を、以下のように克服することができる。

本発明によれば、ロボットおよびプログラムの特定データの表示が、ロボットの実行と直接的に繋がっている。すなわち、シミュレーションではなく、ロボットの実行に対してリアルタイムでアップデートまたは表示される、実際のロボットデータを反映している。ロボットとロボットプログラムの実行に固有の情報を、グラフィックの態様で表示するための新たな機能が、手持ち式の装置に提供される。グラフィック機能を、ロボットプログラムの実行に結合させる、新たなナビゲーション機能が、利用可能となる。プロセス情報を、ロボットおよびロボット経路の実行のグラフィック表示に結合させる、新たなグラフィック機能が、提供される。オフラインのシミュレーションから、ロボットペンダントにおける表示用のグラフィック情報へと、作業セル情報を準備するための新たな方法が、利用可能となる。

本発明に係る、３次元の作業セルデータを表示するための方法は、データソースから、作業セルにおける機械および関連するコンポーネントのモデルを示す３次元作業セルデータを提供するステップと、手持ち式の表示装置を準備し、該表示装置を、データソースとデータ通信するように設置するステップと、作業セルデータを、データソースから表示装置に通信するステップと、作業セルデータの３次元の視覚的表示を、表示装置上に生成するステップと、表示装置を操作して、視覚的表示を操作するステップとを備える。

本発明に係る、ロボット制御装置と通信するための手持ち式のペンダントは、３次元グラフィック画像を表示するのに十分に高い解像度を有する表示部と、データソースから、作業セルにおけるロボットおよび関連するコンポーネントのモデルを示す３次元作業セルデータを受信するための入力／出力ポートと、３次元作業セルデータと、ペンダントの動作プログラムとを記録するためのデータ記録装置と、表示部、入力／出力ポート、およびデータ記録装置に接続され、３次元作業セルデータの３次元視覚的表示を表示部上に生成するように動作プログラムを実行し、且つ、視覚的表示を操作するためのユーザ入力に応答する、プロセッサとを備える。

本発明に係るロボットペンダントの２つの実施形態の図であって、該ロボットペンダントは、ロボット制御装置と通信する。 図１に示すペンダントによって生成された３次元画像の概略図である。 図３は、本発明に係る方法のフローチャートである。 本発明の一実施形態に係る、３次元作業セルデータを表示するためのシステムのブロック図である。

本発明の上述した利点、および他の利点は、添付の図面を参照して、好ましい実施形態に関する以下の詳細な説明から、当業者にとって容易に明らかとなるであろう。

２０１１年１１月４日に出願された米国仮特許出願シリアルＮｏ．６１／５５５，６７５号は、この参照により本稿に含まれるものとし、以下において「６７５仮出願」として表される。

以下の詳細な説明と添付図面は、本発明の種々の例示的実施形態に関して、説明および図示している。説明および図面は、当業者が本発明を製造し、使用することを可能とするのに有益となるものであって、本発明の範囲を、如何なる方法であれ、限定することを意図したものではない。開示された方法に関して、提示されたステップは、本質的に一例となるものであって、それ故に、ステップの順序は、必須または重要となるものではない。

図１において、本発明に係るロボットペンダント１０が示されている。このロボットペンダント１０は、イーサネットローカルエリアネットワーク接続を提供するケーブル１４を介して、ロボット制御装置１２と通信する。イーサネット接続は、例えば、１００Ｍｂｐｓのデータ伝送速度を支援する、１００ＢＡＳＥ−Ｘ（または、高速イーサネット）であってもよい。代替バージョンのロボットペンダント１０ａは、ＷＩＦＩ無線伝送を介して、ロボット制御装置１２と通信する。しかしながら、いずれの適当な高速インターフェースも、ペンダントと制御装置との間でデータを交換するために用いられてもよい。インターネット対応型の教示ペンダントユニットによって、ユーザは、インターネット／イントラネット上で利用可能な情報を閲覧可能となる。

ペンダント１０および１０ａの各々は、表示部１６を備える。表示部１６は、ユーザに対して、少なくとも簡単な影付き３次元グラフィックを表示することができ、タッチスクリーン機能を備えている。例えば、表示部１６は、６００×８００の解像度を有してもよい。図示されているように、ペンダント１０または１０ａによって制御されるべきロボットの、フルスクリーンの３次元画像２０は、表示部１６によって生成され得る。生成可能な他の画像２２は、第１の領域２２ａを有し、該第１の領域２２ａは、カメラから受信された４つのライブビデオ画像を表示する。これらライブビデオ画像は、ロボットに取り付けられた工具、および／または、該ロボットによって処理されている部材を示している。画像２２は、第２の領域２２ｂを有し、該第２の領域２２ｂは、表示部１６の右側部に沿って垂直方向に延在しており、画像工具および画像プロセス情報を示している。画像２２は、第３の領域２２ｃをさらに有し、該第３の領域２２ｃは、第１の領域２２ａの下側において水平方向に延在しており、カメラビューの結果を示すデータを表示する。画像２０は、簡単な影付き３次元グラフィック画像を生成するためのペンダント１０および１０ａの能力を示すものである。画像２２は、視覚的画像（特に、ライブビデオ）と、関連するロボットの動作に関する多くの情報とを含む、複雑なページを生成するためのペンダント１０および１０ａの能力を示すものである。このように、ペンダント１０および１０ａは、ロボット構成のためにＰＣを用いる必要性を排除する。

ペンダント１０および１０ａは、使用する制御装置１２上で動作するアプリケーション用の３次元インターフェースを提供する。制御装置における機能は、「旧式」を表示するためのペンダントにおけるより高いレベルの機能を要求する。これらは、球およびボックスのような、より高いレベルの形状である。

ペンダント１０および１０ａによって支援される他の重要な例示的機能は、グラフィックファイルをロードする能力である。システムを操作するペンダントは、これらファイルをロードするためのメカニズムを提供する。これにより、アプリケーションが、例えば、位置、色、または名前付き要素の各々の視認性を変更可能となる。システムは、形状が３次元世界のデータベースに規定されたアプリケーションを格納する。このデータベースは、規定された全ての要素のペイントおよび配置のためのアクセスを提供するために用いられる。

システムは、３次元データベースを、異なる視点から見るための手段を提供する。また、システムは、対象物を視覚化する、またはビューに依存しないようにするための手段を提供する。例えば、デュアルモードにおいて、ユーザは、左側のウィンドウからＰＲＯＧＡ（プログラムＡ）を視認し、右側のウィンドウからＰＲＯＧＢ（プログラムＢ）を視認してもよい。双方のプログラムは、１つのデータベースに存在するものであるが、各ウィンドウにおいて、そのうちの１つのみが視認可能となっている。

図２において、画像２４が示されており、該画像２４は、ペンダント１０および１０ａによって、表示部１６上に生成されている。画像２４は、全幅に亘る中央領域２４ａを有しており、該中央領域２４ａは、ロボット２６の３次元表示を示している。なお、ロボット２６は、図１の制御装置１２を介して、ペンダントに接続されている。画像２４は、複数のソフトキー２４ｃを有し、該ソフトキー２４ｃは、底端部に沿って配置され、ペンダントのタッチスクリーン機能によって実行可能とされている。実施例として、[場面]、選択、ズーム、パン、回転のソフトキーが、示されている。ロボット２６は、アーム２８を備え、該アーム２８は、Ｊ１からＪ６の６つの軸の周りに回転可能である。例えば、トレーニング、診療、設定、および編集といったタスクの補助として、ペンダント１０および１０ａは、Ｊ１からＪ６の軸の各々の周りにおけるアーム２８の移動を表す表示３０ａから３０ｆを生成する。表示３０ａから３０ｆは、関連する回転軸を横断する平面における、ロボット２６の関連する部材の移動を表しており、移動の方向を示す矢印を含み得る。

３次元場面は、視点と、一連の視覚アイテムとからなる。この場面は、３つの異なるレベルに設定される。
１．プリセット場面は、アイテムの論理的な組み合わせを有する。
２．アプリケーション場面は、アプリケーションによって生成される。例えば、採集アプリケーションは、場面に依って、近隣のロボットまたはセル全体を表示してもよい。
３．ユーザは、視認性および視点を設定した後に、場面を記録し、次いで、その場面に名称を付けることができる。

典型的には、ユーザは、場面内で働いているように、ビューを調整する。このビューは、場面と関連付けられ、この場面が表示されたときには何時でも使用され得る。したがって、ユーザが異なるビューからの場面を「記録」していなかったとしても、調整されたビューが常に用いられ、ビューは、場面とともに記録されることになる。場面メニューは、プロンプト ボックスであってもよく、該プロンプト ボックスは、場面を記録し、デフォルトし、および削除するためのオプションを含む。場面メニューは、図２に示す［場面］のソフトキー２４ｂを作動することによって、表示することができる。プロンプト ボックスに対する代替として、ユーザは、表示された３次元グラフィックのサムネイルに基づいて、場面を選択することができる。

本発明のシステムおよび方法は、手持ち式ロボットペンダント上に３次元の作業セルデータを表示させるための手段を提供する。したがって、ユーザは、ロボットを教示し、または維持するための補助として、信頼性のある３次元表示部にアクセスすることができる。

本発明に係る方法および装置は、以下に説明するように、種々の機能および利点を提供する。「６７５仮出願」の段落［００１４］および関連する表示画像で説明されているように、ペンダント１０および１０ａは、３次元におけるプログラムを介して、ロボットの経路として、ＴＣＰ（ｔｏｏｌ ｃｅｎｔｅｒ ｐｏｉｎｔ：工具中心点）軌跡を表示する。

「６７５仮出願」の段落［００１５］および関連する表示画像で説明されているように、ペンダント１０および１０ａは、位置登録の視覚化を示しており、該位置登録の視覚化は、ソフトウェア内におけるロボット位置を表示するプログラムまたは非プログラムの値に基づいて、ロボット位置を表示する。

「６７５仮出願」の段落［００１６］および関連する表示画像で説明されているように、ペンダント１０および１０ａは、ペンダントのジョグキーまたは他のユーザインターフェース装置を用いて、ロボットが移動された場合に、該ロボットが向かう方向を表すグラフィック態様で、ジョグ視覚化表示を示す。この画像は、上述した画像２４に対応する。

「６７５仮出願」の段落［００１７］および関連する表示画像で説明されているように、ペンダント１０および１０ａは、空間におけるロボットの位置に対する該ロボットの動作の事象の発生をグラフィックで示すために、アラーム視覚化表示を示している。

「６７５仮出願」の段落［００１８］および関連する表示画像で説明されているように、ペンダント１０および１０ａは、制御装置１２に格納されたプログラムの少なくとも一部の実行によってロボットによって占有された総空間の干渉視覚化画像を示している。この総空間は、制御装置に格納された全てのプログラムの実行によって占有された空間によって、規定される。表示方法は、複数のロボットの視覚化を含む。視覚化は、総占有空間の交差部分に設けられる。視覚化された種々の要素を差別化するために、色および透明色が使用される。空間の視覚化は、許容されたロボット動作の境界を表す面を含む。この境界は、複数のロボットのうち、１つのロボットのみの入域を許容する。色および透明色は、入域を許容されたロボットを識別するために用いられる。

「６７５仮出願」の段落［００１９］および関連する表示画像で説明されているように、ペンダント１０および１０ａは、溶接手順の視覚化画像を示している。この溶接手順の視覚化画像は、プロセスデータをグラフィックで表示し、該プロセスデータを、ロボットのグラフィック表示に関連付けている。本発明に係る方法および装置は、ロボットのグラフィック表示上のデータを選択し、該データを、データのグラフィック表示と関連付ける。また、本方法および本装置は、データのグラフィック表示上のデータを選択し、該データを、ロボットのグラフィック表示と関連付ける。

「６７５仮出願」の段落［００２０］および関連する表示画像で説明されているように、ペンダント１０および１０ａは、ＴＣＰ軌跡に重ねて、プロセス条件のグラフィック表示を示す。本発明に係る方法は、プロセス情報を、ロボットプログラムのＴＣＰ軌跡とともにプロットする。

「６７５仮出願」の段落［００２１］および関連する表示画像で説明されているように、ペンダント１０および１０ａは、プロセス境界の視覚化画像を示す。本発明に係る方法は、ロボット動作の間のロボットの移動を規制または限定するための領域のパラメータと関連付けられた不可視領域、および／または、視覚システムの待ち行列処理境界を、グラフィックで表示する。

本発明に係る方法および装置は、視覚カメラビューおよびライブカメラデータを、３次元世界とともに用いる。本方法は、ライブの、または予め取得されたカメラ情報からの画像表示とともに、３次元の作業セルモデルにおけるカメラ視点を表示する。図１の第１の領域２２ａを参照されたい。

本発明に係る方法および装置は、グラフィック表示における機能を、システム全体内におけるメニューに結合させる。例えば、溶接アプリケーションにおいて、ユーザがトーチを選択すると、ペンダントは、ユーザをアーク設定ページへと導く。本方法は、ロボットペンダント１０および１０ａ上において、メニューまたは選択ページに表示を変更するために、ロボット／ロボットセルのグラフィック表示内の機能を用いる。

本発明に係る方法および装置は、オフラインまたは他のロボット上で再生するために、３次元位置データを、プロセスデータおよびロボットプログラム情報のチャートに統合する。本方法は、ロボット位置の３次元表示を、第２の情報のグラフと結合させる。本方法は、一連のロボット位置、および第２の情報を収集し、情報の進行を、教示ペンダント１０および１０ａの表示部１６（または、第２の表示装置）上にて再生する。

ペンダント１０および１０ａは、代替機能の操作用の「タッチとホールド」、または「ダブルクリック」を提供する。使用者は、値がどこに設定されているか、および、該値がプロセス内で何と関連しているかを示している、プロセス装置の画像またはモデルを提示するために、表示された命令を接触操作する。また、本方法は、ペンダントの表示部上において、関心のある３次元アイテムを押下してホールドし、または、関心のあるアイテムをダブルクリックすることによって、代替機能を選択する操作を提供する。

本発明に係る方法および装置は、ロボット制御装置１２（または、接続された記録装置）内に格納されたプログラムを視覚的に選択し、グラフィック環境からの容易な選択を可能とするロボットのノードマップをプレビューする、グラフィック方法を用いる。本方法は、ロボットによって実行するためのプログラムの選択を補助するために、ロボットプログラム内に含まれた位置のグラフィック表示を示す。

ペンダント１０および１０ａは、３次元グラフィック環境にてオフラインのロボットシミュレーションセル情報を構築および使用するための、オフライングラフィックの作製を提供する。本方法は、ペンダント１０および１０ａ上に表示し、このデータをロボットに送信するためのグラフィックセル情報を構築する。

本発明に係る方法および装置は、ペンダント１０および１０ａ上の３次元世界内にてアイテムをモデリングする能力を提供する。本方法は、グラフィック表示構造内で表示するためのセルコンポーネントを構築する。

本発明に係る方法および装置は、セルのグラフィックモデルのシミュレ−ションを実行し、視覚化を（Ｉ／Ｏポイントのような）物理アイテムと結合させる能力を提供する。本方法は、教示ペンダント１０および１０ａ（または、他の表示装置）上に表示されたグラフィック表示において変更するために、実際の事象と結合された事象を示す。

本発明に係る方法および装置は、ロボットプログラムの動作（Ｉ／Ｏポイントは、モデル化されたコンポーネントのビューを変更する）と結合された機械のオフライン構築を実行する能力を提供する。

本発明に係る方法および装置は、ペンダント上のモデリング環境を通して、部材の進行を示す能力を提供する。ここで、このモデリング環境は、実際のセル動作と、物理セルに適合するためのオフラインまたはオンライン設定に結合されている。本方法は、教示ペンダント１０および１０ａ上において、ロボット内における移動または変更と結合された、要素移動のグラフィック表示を示す。

本発明に係る方法および装置は、ロボット上の物理的プロセスに結合されたプロセスの動作を示す（例えば、ロボットが溶接している場合は、アークスパークを示す）。本方法は、３次元要素を選択し、例えばテキストアイテムのような、対応する２次元アイテムを指示または表示する。

「６７５仮出願」の段落［００３３］および関連する表示画像で説明されているように、ペンダント１０および１０ａは、ノードマップを示す。本方法は、プログラムされた、もしくは実際のロボット経路、または、ロボットプログラムのグラフィック表示を、ロボットのペンダント上にて生成する。

本発明に係る方法および装置は、例えばテキストアイテムのような２次元アイテムを選択し、対応する３次元要素を、ペンダント１０および１０ａ上にて示す、または表示する。

本発明に係る方法および装置は、ユーザの視点、または３次元レンダリングを選択または操作する能力を提供する。

本発明に係る方法および装置は、メニュー、または、例えばプログラムのような他のロボットテキストデータを、半透明なウィンドウにおいて、その下側に３次元要素を視認可能に示しつつ、表示する能力を提供する。本発明に係る方法および装置は、３次元レンダリングがテキストのバックグランドを提供した場合に、テキストの透明色を、不可視なものから透明でないものまで、入力手段のいずれかを介して操作する能力を提供する。本発明に係る方法および装置は、３次元画像上に２次元メニューのオーバーレイを表示するために、３次元レンダリング上にオーバーレイされた半透明スプライトから、メニューアクションを選択する能力を提供する。

本発明に係る方法および装置は、一群の３次元要素を選択し、例えばプログラムポイントのような、対応する２次元アイテムを指示または表示する能力を提供する。本発明に係る方法および装置は、例えばプログラムポイントのような、一群の２次元アイテムを選択し、対応する３次元要素を示し、または表示する能力を提供する。

本発明に係る方法および装置は、３次元世界の複数のビューを、教示装置上に同時に表示する能力を提供する。これは、分割スクリーンまたはピクチャー イン ピクチャーであってもよい。

「６７５仮出願」の段落［００４２］および関連する表示画像で説明されているように、ペンダント１０および１０ａは、ロボット依存データのグラフィック表示を、ＴＣＰ軌跡に重ねて示す能力を提供する。本発明に係る方法は、例えば、速度情報および加速度情報のようなロボット依存データを、ロボットプログラムのＴＣＰ軌跡とともにプロットする。

本発明に係る方法および装置は、ユーザのそれぞれの眼に、異なる（または、同じ）画像を表示する能力を提供する。本方法は、３次元動画のような「真の」３次元ビューのために、それぞれの眼に異なる画像を表示する。本方法が双方の眼に同じ画像を表示した場合、この画像は、従来のＣＡＤ／ＣＡＭ画像のような３次元レンダリングとなる。

３次元作業セルデータ（例えば、作業セルデータの３次元レンダリング）を表示するための、本発明に係る方法は、作業セルデータを提供するステップを備える。図３のフローチャートに示すように、第１のステップ４０において、機械（例えば、ロボット）および関連するコンポーネントのモデルが、ロボット制御装置から、通信プロトコルを使用して、手持ち式の表示装置（ペンダント１０および１０ａ）へとダウンロードするために、利用可能となる。第２のステップ４２において、表示装置は、準備され、作業セルデータのソースとデータ通信するように設置される。第３のステップ４４において、作業セルデータは、表示装置へ通信される。第４のステップ４６において、表示装置は、作業セルデータの視覚的表示（すなわち、視覚的出力）を表示する。非限定的な実施例として、表示装置によって、ユーザは、操作用の手段を操作する（例えば、移動キーを押す）ことにより機械の動きをグラフィックとしてプレビューすることが可能となる。ここで、表示装置は、実際にメカニズムを移動させる前に、動きをグラフィックで表示する。さらなる非限定的実施例として、表示装置に表示された視覚的出力は、移動を実行する前に、衝突物（例えば、安全壁）を示し、物理的ロボットと衝突物との衝突を表示するように構成されてもよい。

第５のステップ４８において、表示装置によって表示された視覚的出力が、操作される。ある実施形態においては、ユーザは、視覚ポイントを、単体またはグループとして、選択することができる。ここで、視覚ポイントは、プログラムされたシーケンスに関連付けられてもよい。非限定的な実施例として、ユーザは、３次元空間において、視覚ポイントを移動および構成することができる。さらなる非限定的実施例として、ユーザは、特定のビューを、回転、ズーム、傾斜、パンすることができる。ユーザは、基本的なソフトウェアを介して利用可能な方法のいずれかで、視覚的出力を操作することができる。

グラフィック機能への迅速なアクセスは、表示装置のハードキーを介して提供されてもよい。例えば、多くのグラフィック機能へのアクセスは、「シフト（ｓｈｉｆｔ）」機能を介して提供されてもよい。このグラフィックキーが、関連するテキスト機能用に設けられたハードキーと組み合わせて押された場合、適切なグラフィック表示が、即座に視覚可能となる。表示部上に生成されたソフトキーも、用いることができる。

図４は、本発明の一実施形態に係る、３次元作業セルデータを表示するためのシステムのブロック図である。ペンダント１０（および、ペンダント１０ａ）は、制御装置１２、または、３次元作業セルデータの他のソースのいずれかと通信するための、少なくとも１つのＩ／Ｏポート５０を備える。入力／出力ポート５０は、プロセッサ５２に接続されている。このプロセッサ５２は、プログラムを動作させるソフトウェアを実行する。このプログラムは、ペンダントの上述した機能を提供する。プロセッサ５２は、データ記録装置５４に接続されており、該データ記録装置５４は、動作プログラムと、受信した作業セルデータとを記録する。プロセッサ５２は、３次元画像および関連する情報の視覚化を生成し、図２に示すソフトキー２４ｂから信号を受信するために、表示部１６に接続されている。

特許法の規定に従って、本発明は、その好ましい実施形態を示すように考慮されるものとして、説明されてきた。しかしながら、本発明は、その概念と範囲を逸脱することなく、特に説明および図示されたもの以外のものとして実施され得ることを、理解すべきである。

Claims (20)

1. ３次元の作業セルデータを表示するための方法であって、
   データソースから、作業セルにおける機械および関連するコンポーネントの３次元モデルを有する作業セルデータであって、前記機械を制御する制御装置が該機械を動作させるために実行するソフトウェアプログラムに関連付けられ、該ソフトウェアプログラムは、前記データソースに格納される、作業セルデータを提供することと、
   手持ち式の表示装置を準備し、該表示装置を、前記データソースとデータ通信するように設置することと、
   前記作業セルデータを、前記データソースから前記表示装置に通信することと、
   前記機械および前記コンポーネントの前記３次元モデルと前記ソフトウェアプログラムとが示されている、前記作業セルデータの視覚的表示を、前記表示装置に表示することと、
   前記表示装置に設けられたユーザインターフェースから、前記表示装置に表示された前記視覚的表示を操作するためのユーザ入力を受け付けることと、
   前記表示装置に表示された前記視覚的表示に示されている前記ソフトウェアプログラムを選択する前記ユーザ入力を受け付けたときに、選択された前記ソフトウェアプログラムに含まれる情報を表示し、または、該選択されたソフトウェアプログラムの命令に応じて前記機械の前記３次元モデルを動作させるように、前記視覚的表示を変化させることと、を備える、方法。
2. 前記機械は、ロボットであり、前記ソフトウェアプログラムは、前記ロボットを制御するためのロボットプログラムであり、
   受け付けた前記ユーザ入力に応じて、前記ロボットプログラム内の、ロボット位置を表示するプログラムまたは非プログラムの値に基づいて、前記ロボット位置の視覚的表示を表示することを備える、請求項１に記載の方法。
3. 前記ユーザインターフェースは、ジョグキーを有し、
   前記ジョグキーから受け付けた前記ユーザ入力に応じて、前記ロボットが前記ジョグキーの作動に応じて移動された場合に向かう方向を表示することを備える、請求項２に記載の方法。
4. 前記視覚的表示は、前記ロボットプログラムの少なくとも一部の実行によって前記ロボットによって占有された総空間を含む、請求項２に記載の方法。
5. 受け付けた前記ユーザ入力に応じて、前記ロボットプログラムのＴＣＰ軌跡とともにプロセス情報をプロットすることを備える、請求項２に記載の方法。
6. 一連の前記ロボット位置からのデータと、関連する第２の情報とを記録し、
   受け付けた前記ユーザ入力に応じて、前記視覚的表示として、前記関連する第２の情報とともに、前記ロボット位置の進行を再生することを備える、請求項２に記載の方法。
7. 前記作業セルにおける、少なくとも他の機械のために、前記作業セルデータを提供すること、前記表示装置を準備して設置すること、前記作業セルデータを通信すること、前記視覚的表示を前記表示装置に表示すること、および、前記ユーザ入力を受け付けることを実行する、請求項１に記載の方法。
8. それぞれの前記機械のための前記視覚的表示は、前記ソフトウェアプログラムの少なくとも一部の実行によって前記機械によって占有された総空間を含み、
   前記ソフトウェアプログラムは、前記総空間の如何なる交差部分の視覚表示を含む、請求項７に記載の方法。
9. 前記視覚的表示において種々の要素を区別するために、色および透明色を用いることを備える、請求項１に記載の方法。
10. 受け付けた前記ユーザ入力に応じて、前記視覚的表示における前記機械の動作に関連するプロセスデータを提供し、前記プロセスデータを前記機械に関連付けることを備える、請求項１に記載の方法。
11. 受け付けた前記ユーザ入力に応じて、前記機械の動作の間に前記機械の移動を規制または限定するために、前記手持ち式の表示装置のユーザに不可視な領域を、前記視覚的表示において組み込むことを備える、請求項１に記載の方法。
12. 受け付けた前記ユーザ入力に応じて、前記作業セルにおけるカメラの視点からのビデオデータを、前記視覚的表示に組み込むことを備える、請求項１に記載の方法。
13. 受け付けた前記ユーザ入力に応じて、前記視覚的表示において前記機械の要素の移動を示すことを備える、請求項１に記載の方法。
14. 前記ユーザ入力によって前記視覚的表示の３次元要素が選択されたときに、対応する２次元アイテムを前記表示装置上に自動的に指示または表示することを備える、請求項１に記載の方法。
15. 受け付けた前記ユーザ入力に応じて、異なるユーザの視点を提供するために前記視覚的表示を変更することを備える、請求項１に記載の方法。
16. 受け付けた前記ユーザ入力に応じて、メニューおよびロボットテキストデータの少なくとも一方を、半透明なウィンドウにおいて、その下側に前記３次元モデルを視認可能に示しつつ、表示し、不可視な透明色から不透明な色となるように透明色を操作することを備える、請求項１に記載の方法。
17. 受け付けた前記ユーザ入力に応じて、分割スクリーンまたはピクチャー イン ピクチャーとして、前記視覚的表示において、複数の３次元ビューを表示することを備える、請求項１に記載の方法。
18. ユーザのそれぞれの眼に対して、個別の画像として前記視覚的表示を表示することを備え、
    前記個別の画像は、３次元動画効果のために異なっているか、または、同じである、請求項１に記載の方法。
19. ロボット制御装置と通信するための手持ち式のペンダントであって、
    ３次元グラフィック画像を表示するのに十分に高い解像度を有する表示部と、
    データソースから、作業セルにおけるロボットおよび関連するコンポーネントの３次元モデルを有する作業セルデータであって、前記ロボット制御装置が前記ロボットを動作させるために実行するロボットプログラムに関連付けられ、該ロボットプログラムは、前記データソースに格納される、作業セルデータを受信するための入力／出力ポートと、
    前記作業セルデータと、前記ペンダントの動作プログラムとを記録するためのデータ記録装置と、
    前記表示部、前記入力／出力ポート、および前記データ記録装置に接続されたプロセッサであって、前記動作プログラムを実行して、前記ロボットおよび前記コンポーネントの前記３次元モデルと前記ロボットプログラムとが示されている、前記作業セルデータの視覚的表示を、前記表示部に表示する、プロセッサと、
    前記表示部に表示された前記視覚的表示を操作するためのユーザ入力を受け付けるユーザインターフェースと、を備え、
    前記プロセッサは、前記ユーザインターフェースが受け付けた、前記表示装置に表示された前記視覚的表示に示されている前記ロボットプログラムを選択する前記ユーザ入力に応じて、選択された前記ロボットプログラムに含まれる情報を表示し、または、該選択されたロボットプログラムの命令に応じて前記ロボットの前記３次元モデルを動作させるように、前記表示部に表示された前記視覚的表示を変化させる、ペンダント。
20. 前記データソースは、前記ロボット制御装置である、請求項１９に記載のペンダント。