JP2023505322A - ロボットをプログラムするための方法及びシステム - Google Patents

Abstract

ロボット・デバイス及びロボット・デバイスの近傍における較正フィクスチャを識別することと、ロボット・デバイスの第１の姿勢を決定するために、較正フィクスチャをロボット・デバイスのベースに基準化することと、環境の３Ｄ画像を受信することであって、３Ｄ画像が較正フィクスチャを含む、受信することと、センサに対する較正フィクスチャの第２の姿勢を決定することと、第１の姿勢及び第２の姿勢に基づいて、センサに対するロボット・デバイスの第３の姿勢を決定することと、複数の軌道点を受信することと、３Ｄ画像及び第３の姿勢に基づいて、複数の軌道点に対応する複数の仮想軌道点を決定することと、複数の仮想軌道点の表示を提供することと、仮想軌道点を操作するためのインターフェースを提供することとを含む方法。

Description

本発明は、軌道点のシーケンスを実施するようにロボットをプログラムするためのシステム及び方法に関する。より詳細には、本発明は、動作環境においてロボットが視覚的にプログラムされるやり方に関する。

ロボットは、オブジェクトの表面を処理するためにしばしば使用されている。ロボットをプログラムするための既存の実践は、ロボットに軌道点のシーケンスを教示することを伴う。ロボットは、プログラミング中、所望の動作パスに沿った様々な軌道点を通してガイドされることによって、どのようにタスクを実施するのかを教示される。代替として、オブジェクトの３次元（３Ｄ：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）ＣＡＤモデルが存在する場合、ロボット・シミュレーション・システム、いわゆるオフライン・プログラミングにおいて、ロボット工学バックグラウンドを持つ人物が、軌道点を教示する。

本発明は、環境内で、ロボット・デバイス及びロボット・デバイスの近傍における較正フィクスチャを識別すること、較正フィクスチャに対するロボット・デバイスの第１の姿勢を決定するために、較正フィクスチャをロボット・デバイスの所定の部分に基準化すること、センサから環境の３Ｄ画像を受信することであって、３Ｄ画像が較正フィクスチャを含む、受信すること、３Ｄ画像に基づいて、センサに対する較正フィクスチャの第２の姿勢を決定すること、第１の姿勢及び第２の姿勢に基づいて、センサに対するロボット・デバイスの第３の姿勢を決定すること、表示インターフェース又はデバイス・インターフェースから、複数の軌道点を受信すること、３Ｄ画像及び第３の姿勢に基づいて、複数の軌道点に対応する複数の仮想軌道点を決定することを含むコンピュータ実装方法に関する。

本発明は、ロボット・デバイスをプログラムするためのシステムに更に関する。システムは、センサと、センサに通信可能に結合され、本明細書で開示される実施例のうちのいずれか１つによる方法を実施するように構成された、コンピューティング・システムとを備える。

本発明は、コンピューティング・システムによって実行されるときに、本明細書に開示される実施例のうちのいずれか１つによる方法をコンピューティング・システムに実施させる命令を、その中に記憶している非一時的なコンピュータ可読媒体に更に関する。

本明細書で説明される例示的な実施例は、限定することを意味していない。開示される方法及びシステムの一定の態様を、広く多様な異なる構成において配置し、組み合わせることができ、それらのすべてが本明細書で企図されていることが容易に理解されるであろう。

更に、図に示された特定の配置を、限定するものとして見るべきではない。他の実施例は、所与の図に示された各要素よりも多い、又は少ない要素を含むことがあることが理解されるべきである。更に、例証した要素のうちのいくつかは、組み合わされる、又は省略されることがある。それでもなお、例示的な実施例は、図に例証した要素を含むことができる。

表示インターフェースに結合され得るセンサを使用して環境の３Ｄ画像を取得する例示的なシステム及び方法が提供され、ここで、３Ｄ画像は、ロボット、オブジェクト、及び較正フィクスチャを含む。３Ｄ画像は、ロボットの軌道点を作成する、操作する、及び／又は管理するために使用される。環境の画像は、表示インターフェース上の２Ｄ画像を指す。センサと結合された表示インターフェースは、ロボットの環境の実際の画像内で、ロボットについての軌道点を視覚化し、管理するために使用される。

一実施例によれば、環境内で、ロボット・デバイス及びロボット・デバイスの近傍における較正フィクスチャを識別することを含む方法が提供される。ロボット・デバイスはまた、ロボットとも呼ばれる。例えば、ロボット・デバイスが産業用ロボットである場合、ロボット・デバイスは、処理を実施するためのツール、例えば、溶接ツール又は塗装ツールを含むエンド・エフェクタを持っている。ロボット・デバイスを識別することは、ロボット・デバイスの存在を識別することを指す。識別することは、ロボット・デバイスを指す更なる情報、例えば、ロボット・デバイスの識別番号、型、モデル、位置、向き、及び／又は状態を識別することを更に含むことができる。識別することは、ロボット・デバイスを提供することを含むことができる。代替として、又は追加として、識別することは、センサ・データ、例えば、画像データ、磁界データ、電界データ、ケーブルを介して送信された信号、ワイヤレスで送信された信号、又はロボット・デバイスを識別するために使用され得る任意の他のデータにおけるロボット・デバイスの位置を識別することを指すことができる。較正フィクスチャは、視覚的に独特であるように、例えば、カラー・マーキング、バー・コード、２次元コード、又は独特なコーティングでマークされていてよい。

更に、本方法は、較正フィクスチャに対するロボット・デバイスの第１の姿勢を決定するために、較正フィクスチャをロボット・デバイスの所定の部分（例えば、ベース）に基準化することを含む。基準化することは、基準化信号に基づくことができる。例えば、基準化することは、基準化レール、距離確保デバイス（例えば、レーザ・ベースの距離確保デバイス）、画像センサ、又は較正フィクスチャをロボット・デバイスのベースに基準化するために使用され得る別の信号を使用することを含むことができる。

更に、本方法は、センサから環境の３Ｄ画像を受信することを含み、ここで、３Ｄ画像は較正フィクスチャを含む。３Ｄ画像は、ロボット、オブジェクト、及び較正フィクスチャを示すことができる。３Ｄ画像は、軌道点を作成する、操作する、及び／又は管理するために使用される。３Ｄ画像は、一連の赤外線画像、一連の構造化光画像、一連の静止画像、一連のダイナミック・レンジ画像、一連のショット・ノイズ画像、一連のレッド・ノイズ画像、一連のダーク・ノイズ画像、及び／又はビデオ・ストリームを含むことができる。３Ｄ画像をキャプチャするセンサは、深度センサ及び／又は３Ｄセンサであってよい。センサは、３Ｄ画像を示すための表示インターフェースに結合されてよい。較正フィクスチャは、センサを使用することによって、その環境におけるロボットの姿勢、及び一般に動き（並進及び回転）を算出し、検出するために使用される３次元（３Ｄ）オブジェクトであってよい。

本方法は、完全に仮想的な３Ｄモデル（例えば、コンピュータ支援設計（ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ ｄｅｓｉｇｎ）すなわち「ＣＡＤ」モデル）を使用することには頼らないので、不正確な３Ｄモデルは、予期せずにロボットをオブジェクト又は環境と衝突させる軌道がコマンドされている状態に至ることができる。したがって、本方法は、より安全である。

更に、本方法は、３Ｄ画像に基づいて、センサに対する較正フィクスチャの第２の姿勢を決定することを含む。その点で、決定することは、較正フィクスチャの位置及び／若しくは向き、並びに／又は、ロボット・デバイスの位置及び／若しくは向きを推定することにおいて、１つ又は複数のフィデューシャル・マーカを識別することを含むことができる。フィデューシャルともまた呼ばれ得るフィデューシャル・マーカは、基準又は尺度の点として使用するために、生み出された画像の中に現れる、センサの視野に置かれたオブジェクトである。例えば、フィデューシャル・マーカは、カラー・ドッド、バーコード、又は認識可能なオブジェクトであってよい。例えば、フィデューシャル・マーカは、較正フィクスチャ及び／又はロボット・デバイスの上に塗装される、それらに取り付けられる、又はそれらの上に置かれる。追加として、又は代替として、決定することは、較正マーカの３Ｄ形状認識に基づくことができる。その点で、較正マーカは、較正フィクスチャに取り付けられた、若しくは較正フィクスチャの一部を形成する、３Ｄ構造又はオブジェクトであってよい。代替として、較正フィクスチャは、全体として較正マーカであってもよい。更に、較正マーカは、ロボット・デバイスに取り付けられた、又はロボット・デバイスの一部を形成する、３Ｄ構造であってもよい。代替として、ロボット・デバイスは、全体として較正マーカであってもよい。その点で、３Ｄ形状認識は、パターン認識、パターン・マッチング、機械学習、又は任意の他の好適な形状認識技法を含むことができる。

本方法は、３Ｄ画像に基づいて、センサに対する較正フィクスチャの第２の姿勢を決定することを含むので、追加の機器を必要とすることなく、第２の姿勢を迅速に決定することができる。第２の姿勢が３Ｄ形状認識に基づいて決定されるときには、決定することの精度が、なお一層向上する。

更に、本方法は、第１の姿勢に基づいて、センサに対するロボット・デバイスの第３の姿勢を決定することを含む。代替として、第３の姿勢を決定することは、第１の姿勢及び第２の姿勢に基づくことができる。

更に、本方法は、複数の軌道点を受信することを含む。ウェイポイントともまた呼ばれてよい軌道点は、オブジェクトの処理中にロボットが辿ることになっているパスを定義する。軌道点は、３次元位置情報及び３次元向き情報を含む。これらの軌道点は、ロボットのロボット制御ユニット若しくはコンピューティング・システムにおける、又はそれらに結合された、メモリの中に命令として記憶される。ロボットの動作中、プログラム命令が実行され、それによって、所望の通りにロボットを動作させる。軌道点は、表示インターフェースを介したユーザ・エントリの形式で、又はデバイス・インターフェースを介したロボット・スクリプトの形式で提供されてよい。

更に、本方法は、３Ｄ画像及び第３の姿勢に基づいて、複数の軌道点に対応する複数の仮想軌道点を決定することを含む。軌道点は、ロボットの現在の環境の知識なしに、ロボットの所定の部分（例えば、ベース）に対する３次元点として、ユーザによって事前にプログラムされていてもよい。

本方法は、３Ｄ画像及び第３の姿勢に基づいて、複数の軌道点に対応する複数の仮想軌道点を決定することを含むので、本方法は、ロボットをプログラムしているユーザ又はオペレータが、コンピュータ・サイエンスについての知識を有することを必要としない。したがって、ロボットをプログラムしているオペレータは、ロボットによって実施される動き及びプロセスの十分な暗黙知を有する人物であればよい。したがって、本方法は、よりコストがかからず、オブジェクトの３Ｄ ＣＡＤモデルを必要とせず、直観的に使用できる。

更に、オプションとして、本方法は、環境の２Ｄ画像を受信することを含む。その点で、環境の２Ｄ画像は、表示デバイスに含まれた、又は表示デバイスに結合された、カメラから受信されてよい。代替として、環境の２Ｄ画像は、センサに含まれた、又はセンサに結合された、カメラから受信されてもよい。

更に、オプションとして、本方法は、複数の仮想軌道点でオーバーレイされた環境の２Ｄ画像の表示を提供することを含む。

本方法は、複数の仮想軌道点でオーバーレイされた環境の２Ｄ画像の表示を提供することを含むので、環境の３Ｄモデルが正確ではない、又は環境が変化した場合に、予期せずにロボットを環境におけるオブジェクトと衝突させる軌道、又は他の予期しない結果を生み出す軌道を、たやすく判定することができる。したがって、本方法は、より安全で予測可能である。更に、本方法は、複数の仮想軌道点でオーバーレイされた環境の２Ｄ画像の表示を提供することを含むので、オペレータは、テストのためのプログラムを稼働することなく、プロセスのなんらかの部分、例えば、塗装動作における表面のなんらかの部分を見逃しているかどうかを判定することができる。よって、満足のいく品質のプログラミングを実現するのに、単一の反復で事足りることができる。

更に、オプションとして、本方法は、表示インターフェースを通して仮想軌道点を操作するためのインターフェースを提供することを含む。

本方法は、表示インターフェースを通して仮想軌道点を操作するためのインターフェースを提供することを含むので、本方法は、ロボットの物理的な動きを必要としない。したがって、本方法は、より時間がかからず、より面倒がかからず、よりエラーが起きにくい。更に、許容できるプログラムを、ただ１つの、又はほんのいくつかの反復で実現することができる。

よって、この方法は、ロボット軌道点の直観的な視覚化を提供し、ロボット・プログラミングを簡略化する。

本方法はまた、環境の２Ｄ画像の上に重ね合わせられていても、いなくてもよい３Ｄ画像の表示を提供することを含むことができる。

ロボットの軌道点を表示インターフェース上の画像の中に投影するための場所を決定するために、センサに対するロボットの姿勢（位置及び向き）が決定されてよい。ロボットの姿勢は、較正フィクスチャの３Ｄ画像を処理することによって決定されてよい。センサに対するロボットの姿勢が決定されると、１つ又は複数の軌道点の姿勢が、表示インターフェース上に投影されても、又はオプションとして表示インターフェース上の拡張現実プレゼンテーションの中に投影されてもよく、ユーザがその所与の環境内でロボットの軌道を視覚化するのを可能にする。

較正フィクスチャは、センサに対するロボットの姿勢を決定するために使用される３Ｄ特徴を有するオブジェクトである。較正フィクスチャは、ロボットと較正フィクスチャとの間で決定された相対姿勢で、ロボットの環境内に置かれてよい。それによって、較正フィクスチャの表現を含む、環境の３Ｄ画像をセンサが取得するとき、センサに対するロボットの姿勢を決定することができる。

別の実施例において、本方法は、デバイス・インターフェースから、複数の仮想軌道点のうちの１つ又は複数の、１つ又は複数のプロパティへの１つ又は複数の調整を示す入力データを受信することを更に含むことができる。その点で、プロパティは、軌道位置、軌道向き、エンド・エフェクタ状態、軌道速度、電子信号入力、及び電子信号出力から成るグループから選択される１つ又は複数である。デバイス・インターフェースは、表示デバイスの表示インターフェース、又は、モバイル、ラップトップ、ノートブック、若しくはデスクトップ・コンピュータの入力インターフェースであってよい。入力データは、調整を示し、ここで、各調整は、仮想軌道点のうちの１つ又は複数の、１つ又は複数のプロパティに関する。例えば、入力データは、１つの軌道点の１つのプロパティ、例えば、１つの軌道点の軌道向きへの、調整を示すデータを含むことができる。別の実例として、入力データは、１つの軌道点の軌道向きへの調整を示すデータと、別の軌道点の軌道速度への調整を示すデータとを含むことができる。更に、この実施例による方法は、デバイス・インターフェースから、仮想軌道点のうちの１つ又は複数を作成する、複製する、又は削除するための入力データを受信することを含むことができる。更に、本方法は、表示インターフェース上で受信された入力データに基づいて、複数の仮想軌道点のうちの１つ又は複数に対応する軌道点のうちの１つ又は複数の、１つ又は複数の調整されたプロパティを決定することを含むことができる。

別の実施例において、本方法は、センサを含むデバイスのインターフェースから、軌道点又は仮想軌道点のうちの１つ若しくは複数及びそれらのそれぞれのプロパティに従ってロボット・デバイスが動くための命令を提供する入力データを受信すること、上述した命令をロボット・デバイスに送信することを更に含むことができる。

前述の受信された軌道点は、様々な座標のうちの１つへの参照を含む、又は様々な座標のうちの１つに基づくことができる。例えば、表示インターフェースを介してユーザ入力から受信されてもよい軌道点は、仮想座標に基づくことができ、したがって、仮想軌道点と呼ばれてもよい。別の実例において、ロボット・スクリプトとして受信された軌道点は、物理座標又はロボット座標に基づくことができ、したがって、物理軌道点と呼ばれてもよい。仮想座標は、ロボット・デバイスによって使用される物理座標又はロボット座標とは別個である可能性があるので、受信された軌道点が仮想軌道点である場合、軌道点は、物理軌道点への転換又は変換を必要とすることになり、次いで物理軌道点は、実行のためにロボット・デバイスに送信される。それに応じて、上述した命令をロボット・デバイスに送信するステップは、仮想軌道点を物理軌道点に転換し、物理軌道点をロボット・デバイスに送ることを含むことができる。

別の実施例において、本方法は、仮想軌道点を操作するための表示インターフェースを提供すること、表示インターフェースから、指定されたパターンで配置された複数の仮想軌道点を含む軌道パターンの作成及び／又は軌道パターンへの調整を示す入力データを受信することを更に含むことができる。更に、本方法は、作成された、又は調整された軌道パターンに基づいて、２次元軌道パターンを、表示インターフェース上で３次元軌道パターンに変換することを含むことができる。更に、本方法は、表示インターフェースから、表示インターフェース上で３次元軌道パターンを並進させる、及び／又は回転させるための入力データを受信することを含むことができる。更に、本方法は、表示インターフェースから、３次元軌道パターンを３Ｄ画像の一部の上に投影するための入力データを受信することを含むことができる。その点で、一実施例において、３Ｄ画像は、表示インターフェース上の２Ｄ画像の上に重ね合わせられてよい。代替として、３Ｄ画像は、２Ｄ画像なしに表示されてもよい。

別の実施例によれば、ロボット・デバイスをプログラムするためのシステムが提供される。システムは、センサと、センサに通信可能に結合され、一実施例による方法を実施するように構成されたコンピューティング・システムとを含む。

更に、本システムは、メモリの中に軌道点を記憶するために、ロボット・デバイスのメモリに結合又は接続されてよい。代替として、本システムが軌道点の通りにロボット・デバイスを動作させることができるように、本システムは、ロボット・デバイスの制御に結合又は接続されてもよい。

別の実施例によれば、非一時的なコンピュータ可読媒体が提供される。コンピュータ可読媒体は、コンピューティング・システムによって実行されるときに、本明細書で説明された方法の一実施例による機能をコンピューティング・システムに実施させる命令を、その中に記憶している。

別の実施例によれば、方法が提供される。本方法は、環境内で、ロボット・デバイス及びロボット・デバイスの近傍における較正フィクスチャを識別することと、較正フィクスチャに対するロボット・デバイスの第１の姿勢を決定するために、較正フィクスチャをロボット・デバイスの所定の部分（例えば、ベース）に基準化することと、センサから環境の３Ｄ画像を受信することであって、３Ｄ画像が較正フィクスチャを含む、受信することと、３Ｄ画像に基づいて、センサに対する較正フィクスチャの第２の姿勢を決定することと、第１の姿勢及び第２の姿勢に基づいて、センサに対するロボット・デバイスの第３の姿勢を決定することと、仮想軌道点を作成するためのインターフェースを提供することと、３Ｄ画像及び第３の姿勢に基づいて、仮想軌道点に対応する軌道点を決定することとを含む。

本明細書で開示される実施例のうちのいずれか１つによる方法、システム、及び／又は非一時的なコンピュータ可読媒体を含む実施例において、複数の軌道点は、わずか１つの軌道点であり、複数の仮想軌道点は、わずか１つの仮想軌道点である。

実施例のよりよい理解のために、実施例の他の、並びに更なる特徴及び利点と共に、付属する図面と併用して以下の説明への参照が行われる。本発明の範囲は、添付の請求項において指摘されることになる。

一実施例による方法を例証する流れ図である。 一実施例によるシステムを例証する図である。 表示インターフェースの２Ｄ画像を例証する図である。 一実施例による方法を使用して、オブジェクトの３Ｄ画像の上に投影されている軌道パターンの画像を例証する図である。

図を参照すると、図１は、センサによって取得された３Ｄ画像を使用して、第３の姿勢（ロボットとセンサとの相対姿勢）の決定、及び／又は、ロボット軌道点の作成若しくは管理を考慮することができる方法１００を示す流れ図を例証する。方法１００は、タブレット・デバイス、スマートフォン、ヘッド・マウント・ディスプレイ（ＨＭＤ）などの、カメラを含む表示デバイスを使用して、又は、モバイル、ラップトップ、ノートブック、若しくはデスクトップ・コンピュータを使用して遂行することができる。表示デバイスとは別々であるセンサが使用されてもよく、しかしながら、センサは、物理的なフィクスチャ又は接着媒体を通して表示デバイスに結合されてもよい。センサは更に、又は代替として、ケーブル（有線）又は無線の接続を通して、表示デバイスに通信可能に結合されてもよい。

図１のブロック１０２によって示されるように、方法１００は、センサから、環境の３Ｄ画像を受信することを含む。センサは、深度センサ及び／又は３Ｄセンサであってよい。３Ｄ画像は、一連の赤外線画像、一連の構造化光画像、一連の静止画像、及び／又はビデオ・ストリームの合成であってよい。３Ｄ画像は、単一の静止赤外線画像及び／又は構造化光画像であってもよい。環境は、少なくとも１つのロボット・デバイスと、較正フィクスチャとを含むことができる。

図１を参照すると、方法１００は、ブロック１０４によって例証されるように、センサに対するロボット・デバイスの姿勢を決定することを更に含む。環境の３Ｄ画像は、センサに対して、環境内でロボット・デバイスがどこに設置されるのかを決定するように処理されてよい。ロボット・デバイスの姿勢を決定することは、センサに対するロボット・デバイスの位置（Ｘ、Ｙ、Ｚ）及び向き（ロール、ピッチ、ヨー）を決定することを含む。センサに対するロボット・デバイスの姿勢は、較正フィクスチャを含む３Ｄ画像を処理することによって決定されてよい。３Ｄ画像における較正フィクスチャ上の３次元特徴を認識することによって、センサからのロボット・デバイスの並進及び回転を決定することができる。システムは、ロボット・デバイスと較正フィクスチャとの相対姿勢の予備知識を有していてもよく、それによって、センサに対するロボット・デバイスの姿勢が決定されるのを可能にする。

方法１００は、拡張現実プレゼンテーションが所望される場合、ブロック１０６に示されるように、オプションとして、センサに対するロボット・デバイスについての軌道点の姿勢を決定することを更に含む。センサに対するロボット・デバイスの姿勢が決定されるとき、ロボットは、オプションの拡張現実プレゼンテーションの一部として、軌道点を仮想的にオーバーレイする場所を決定するための基準点として使用されてよい。センサは既知の相対変位で表示デバイスに結合されているので、表示デバイス上のセンサと視覚カメラとの既知の相対変位に基づいた姿勢補償を通して、視覚カメラとセンサとの相対姿勢から、ロボットと視覚カメラとの相対姿勢を導き出すことができる。その点で、表示デバイスの視覚カメラに対する軌道点の姿勢は、ロボット・デバイスとセンサとの相対姿勢に基づいて決定され得る。これらのロケーション、例えば、表示デバイス上のセンサと視覚カメラとの相対変位は、軌道点を、表示デバイスの視覚カメラによってキャプチャされた２Ｄ画像の中に仮想的にオーバーレイするために使用されてよい。

簡略化のために図１に図示されていないステップにおいて、方法１００は、オプションとして、環境の２Ｄ画像を受信することを含む。その点で、２Ｄ画像は、センサから受信される。代替実施例において、２Ｄ画像は、好ましくはセンサに近い位置に設置された、その向きがセンサの向きと同一である、更なるカメラによって受信されてもよい。

ブロック１０８に示されるように、方法１００は、ブロック１０２で受信された３Ｄ画像の表示を提供するステップを含む。オプションとして、３Ｄ画像は、環境の２Ｄ画像の上に重ね合わせられてもよい。

簡略化のために図１に図示されていないステップにおいて、方法１００は、複数の軌道点を受信することを含む。更に、方法１００は、３Ｄ画像、及びブロック１０６で決定されたセンサに対するロボット・デバイスの位置に基づいて、複数の軌道点に対応する複数の仮想軌道点を決定することを含む。その点で、各仮想軌道点は、対応する３Ｄ画像において、その対応する軌道点の厳密な位置と重ね合わせられるようなやり方で、３Ｄ画像の中に位置付けられる。すなわち、例えば、ある軌道点がロボット・デバイスの下部接合部に位置付けられている場合、その対応する仮想軌道点は、３Ｄ画像におけるロボット・デバイスの下部接合部の３Ｄ表現に位置付けられる。オプションとして、各仮想軌道点は、対応する３Ｄ画像において、その対応する軌道点の厳密な位置と重ね合わせられるようなやり方で、２Ｄ画像の中に位置付けられる。

ブロック１１０に示されるように、方法１００は、決定された複数の仮想軌道点でオーバーレイされた３Ｄ画像の表示を提供することを更に含む。オプションとして、方法１００は、決定された複数の仮想軌道点でオーバーレイされた、環境の２Ｄ画像の表示を提供することを更に含む。

図１のブロック１１２によって示されるように、方法１００は、表示インターフェース上に提示された３Ｄ画像上の仮想軌道点のオーバーレイを含むことができる。オプションとして、方法１００のブロック１１２は、表示インターフェース上に提示された、環境の２Ｄ画像上の仮想軌道点のオーバーレイを含むことができる。環境の画像は、表示デバイス上の視覚カメラによって取得された２Ｄ画像であってよい。環境の画像は、ロボット・デバイス全体を含んでも、ロボット・デバイスの一部を含んでも、又はロボット・デバイスのどこも含まなくてもよい。追加として、環境の画像は、較正フィクスチャ全体を含んでも、較正フィクスチャの一部を含んでも、又は較正フィクスチャのどこも含まなくてもよい。追加として、環境の画像は、単一の静止２Ｄ画像、一連の静止２Ｄ画像、及び／又はビデオ・ストリームであってよい。

図１のブロック１１２によって示されるように、方法１００は、表示インターフェースを通して、仮想軌道点を作成すること、及び／又は管理することを更に含むことができる。言い換えれば、ロボット・デバイスによって実行若しくは実施されることになる軌道又は軌道パターンが生成されてよい。表示インターフェースに関連付けられたユーザ・インターフェースは、ロボット・デバイスの仮想軌道への１つ又は複数の変更を示す入力データを受信することができる。例えば、表示インターフェースは、３Ｄ画像に、及び／又はオプションとして２Ｄ画像に調節された、タッチ・ベースのインターフェースを含むことができる。仮想軌道点は、表示インターフェース上で入力データを通して、作成されても、削除されても、及び／又は複製されてもよい。位置、向き、エンド・エフェクタ状態、軌道速度、電子信号入力、及び電子信号出力などの、各仮想軌道点のプロパティが、表示インターフェース上で入力データを通して調整されてよい。ロボット・デバイスの軌道点は、表示インターフェース上での仮想軌道点に対応する。ロボット・デバイスは、軌道を実行するようにコマンドされてよく、ここで、軌道は、複数の軌道点のうちの少なくともいくつかのシーケンスを含む。ロボット・デバイスは、軌道に沿った各軌道点のプロパティを実行するようにコマンドされてもよい。例えば、表示インターフェース上で入力データを通して命令された通りに、エンド・エフェクタが軌道の途中でアクティブにされるようにコマンドされてもよい。

本明細書で説明される流れ図に関連して説明された機能性は、特殊機能及び／若しくは構成された一般機能のハードウェア・モジュール、図１に示された流れ図に関連して説明された具体的な論理機能、決定、並びに／又はステップを実現するためのプログラム・コードの部分として、実装することができる。使用される場合、プログラム・コードを、例えば、ディスク又はハード・ドライブを含むストレージ・デバイスなどの、任意のタイプのコンピュータ可読媒体上に記憶することができる。

図１に示された流れ図における機能は、説明された方法の機能性全体が維持される限り、別々に説明された機能の並列実行又は逆の順序さえも含む、示された又は議論されたものとは順不同で実行されてもよい。図１に示された流れ図における機能は、選択的に実行されてもよい。例えば、一実施例は、ロボット相対センサの較正を実施することができ、別の実施例は、較正に加えて、拡張現実プレゼンテーションを通してロボットについての仮想軌道点の視覚化を実施することができ、別の実施例は、較正に加えて、３Ｄ画像を使用してロボットについての仮想軌道点の視覚化を実施することができ、別の実施例は、較正と、拡張現実における及び／又は３Ｄ画像を使用した前述の視覚化とに加えて、センサによって取得された３Ｄ画像を使用して、ロボット軌道点の作成又は管理を実施することができる。他の組合せもまた可能であってよい。

図２は、ロボット・デバイス２０２、較正フィクスチャ２２８、表示デバイス２２２、及びセンサ２２４から成り立つシステムを例証する。

ロボット・デバイス２０２は、所定の部分、例えば、ベース２０４を含み、ベース２０４は、定置ベースであっても、又はモバイル・ベースであってもよい。ロボット・デバイスは、軌道点２１０～２１８を含む軌道２２０に沿って動作し、動くように制御されてよい。追加として、ロボット・デバイスは、エンド・エフェクタ２２６を含むことができ、エンド・エフェクタ２２６は、指グリッパ、又は吸着グリッパなどの異なるタイプのグリッパなどの、グリッパの形態を取ることができる。エンド・エフェクタは、ドリル、ブラシ、又は塗装ガンなどのツールの形態を取ってもよい。エンド・エフェクタは、力センサ、近接センサ、又はカメラなどのセンサを含むことができる。他の実例もまた可能であってよい。

表示デバイス２２２は、インターフェース、及びオプションとして、環境の２Ｄ画像をキャプチャする視覚カメラを含むデバイスであってよい。例えば、表示デバイスは、タブレット・コンピュータ、ハンドヘルド・スマートフォン、又はモバイル、ラップトップ、ノートブック若しくはデスクトップ・コンピュータの一部であってよい。

センサ２２４は、環境の３Ｄ画像を取得する、深度センサ及び／又は３Ｄセンサであってよい。３Ｄ画像は、一連の赤外線画像、一連の構造化光画像、一連の静止画像、及び／又はビデオ・ストリームの合成であってよい。３Ｄ画像は、単一の静止赤外線画像及び／又は構造化光画像であってもよい。センサ２２４は、フィクスチャ又は接着媒体を通して表示デバイス２２２に物理的に固定されていてよい。センサを表示デバイスに結合するためのフィクスチャは、取り外し可能な機構、又は取り外し不可能な機構を持っていてよい。表示デバイス２２２がセンサ２２４から３Ｄ画像を受信するために、センサ２２４は、ケーブル（有線）又は無線の接続を通して、表示デバイス２２２に接続されてもよい。

較正フィクスチャ２２８は、ロボット・デバイスの環境に置かれる、３次元特徴を有するオブジェクトである。図２の例示的な実施例によれば、較正フィクスチャ２２８は、ベース２０６と、ベースに取り付けられた非対称幾何学的特徴２０８とを有することができる。ベース２０６は、較正フィクスチャ２２８を、テーブル、壁、又はオブジェクトなどの、環境における表面の上に設置する、又は接着するために使用されてよい。例示的な実施例において、非対称幾何学的特徴２０８は、異なるサイズ及び／又は異なる位置を有する２つの球形オブジェクトを含むことができる。しかしながら、本明細書で説明される例示的な実施例は、限定することを意味しない。非対称幾何学的特徴は、例示的な実施例に示されていない構成によって実現されてもよい。例えば、較正フィクスチャ上の非対称幾何学的特徴は、半球形、円柱形、円錐形、矩形、三角形、台形、楕円形、正弦曲線、凹型、凸型、又はその組合せ若しくは変形であってもよい追加の形状又は特徴から成り立ってもよい。

センサ２２４によって取得された３Ｄ画像において、較正フィクスチャ２２８上の非対称幾何学的特徴２０８を認識することによって、センサ２２４に対する較正フィクスチャ２２８の姿勢が決定されてよい。較正フィクスチャ２２８に対するロボット・デバイス２０２の姿勢は既知であり得るので、それによって、センサ２２４に対するロボット・デバイス２０２の姿勢が、３Ｄ画像において較正フィクスチャ２２８を認識することによって決定されてよい。

代替実施例において、較正フィクスチャは、ベースと、ベースに取り付けられた３Ｄ対称幾何学的特徴とを有することができる。対称幾何学的特徴の実例は、非対称幾何学的特徴に適用可能な上述した形状又は特徴を含むことができる。代替実施例において、較正フィクスチャは、ベースと、ベースに取り付けられた３Ｄの非幾何学的な、又は不規則な形状の特徴を有することができる。そのような非幾何学的特徴は、対称であっても、又は非対称であってもよい。代替実施例において、３Ｄ特徴の総数は、１つであっても、又は２つ以上であってもよい。

図３は、表示インターフェース３３０の２Ｄ画像を例証し、ここで、仮想軌道点３１０～３２８は、オブジェクト３３２の上に置かれている。表示インターフェース３３０は、表示デバイス２２２のインターフェースであってよい。表示インターフェース３３０の２Ｄ画像は、単一の静止画像、又は表示デバイス２２２の視覚カメラから連続して受信されるビデオ・ストリームであってよい。表示デバイス２２２の向きが変化するにつれて、表示インターフェース３３０上の２Ｄ画像は、対応する視点からの環境の部分を表示するように更新されてよい。

図３を参照すると、仮想軌道点３１０～３２８は、表示インターフェース３３０上に、又はオプションとして表示インターフェース３３０上の拡張現実プレゼンテーションに、投影されていてよい。仮想軌道点は、ロボット・デバイス３０２の軌道点に対応する。センサに対するロボット・デバイス３０２についての軌道点３１０～３２８の姿勢は、図１のブロック１０６に基づいて決定される。仮想軌道点は、図１のブロック１１２に基づいて、表示インターフェース３３０の上にオーバーレイされる。表示デバイス２２２の向きに応じて、仮想軌道点３１０～３２８によって映し出された軌道点のサブセットのみが、表示インターフェース３３０上に投影されてもよい。ロボット・デバイスは、表示インターフェース３３０上に示された仮想軌道点３１０～３２８によって映し出された通りに、軌道点のシーケンスを通して動くようにコマンドされてよい。

図１のブロック１０８を参照して、センサ２２４によって取得された３Ｄ画像が、表示インターフェース３３０上に、又はオプションとして表示インターフェース３３０上の環境の２Ｄ画像と、重ね合わせられてよい。表示インターフェース３３０上の環境の２Ｄ画像の上に重ね合わせられている間、３Ｄ画像は、可視であっても、又は不可視であってもよい。図１のブロック１１２は、表示インターフェース上で仮想軌道点を作成すること、及び／又は管理することを含む。仮想軌道点の作成及び／又は管理は、３Ｄ画像上で実施されてよく、３Ｄ画像は、表示インターフェース３３０上の環境の２Ｄ画像の上に重ね合わせられていても、いなくてもよい。例えば、表示インターフェース３３０上の入力の位置は、３Ｄ画像の上に投影され、その後、表示インターフェース３３０上の入力位置からのレイ・キャストが３Ｄ画像と交差する位置に、対応する仮想軌道点を作成する。このようにして、仮想軌道点、よって軌道点は、環境及びロボット・デバイス３０２に関して正確に作成される、及び／又は管理されてよい。図３に示されるように、仮想軌道点３１２～３２８は、オブジェクト３３２の３Ｄ画像の上に置かれており、オブジェクト３３２の３Ｄ画像は、デバイス・インターフェース３３０上でオブジェクト３３２の２Ｄ画像の上に重ね合わせられていても、いなくてもよく、ここで、仮想軌道点３１２～３２８は、デバイス・インターフェース３３０上でオブジェクト３３２の表面上に位置付けられるように現れてよい。

図３を参照すると、較正フィクスチャ３３４は、センサ２２４に対するロボット・デバイス３０２の姿勢を決定するために使用されてよい。較正フィクスチャ３３４は、表示インターフェース３３０上の仮想軌道点の適切なオーバーレイのために、表示デバイス２２２のセンサ２２４及び視覚カメラによって常にキャプチャされている必要はなくてもよい。較正フィクスチャは、非対称幾何学的特徴３０８、及びベース３０６から成り立ってよい。

図４は、オブジェクト４１２の３Ｄ画像の上に投影されている軌道パターンの画像を例証する。表示インターフェース４３０は、ユーザが軌道パターン４０４を定義するのを可能にすることができるユーザ・インターフェース４０２のサブセットを含むことができる。例えば、ユーザ・インターフェース４０２は、ユーザが軌道パターンのプロパティを定義するのを可能にすることができる。上述したプロパティは、軌道パターン４０４の寸法（垂直及び水平の長さ）、軌道パターン４０４に沿った軌道点の数及び／若しくは密度、並びにステップオーバの頻度を含むことができる。ユーザ・インターフェース４０２は、ユーザによって定義された軌道パターン４０４のプレビューを提供することができる。軌道パターンは、例示的な実施例に例証されたラスタ・パターンに限定されなくてもよく、軌道パターンは、ジグザグ状、らせん状、等高線状、及び魚尾状を含む他のパターンであってもよい。

軌道パターン４０４は、ユーザ・インターフェース４０２上の２次元軌道パターン４０４を、３次元軌道パターン４０８に変換するプロセス４０６にかけられてよい。３次元軌道パターン４０８は、表示インターフェース４３０上で入力データが受信されると、その３次元座標フレームに沿って並進及び回転することができる。３次元軌道パターン４０８は、オブジェクト４１２の３Ｄ画像の上に投影されて、オブジェクト４１２の表面に一致する投影された軌道パターン４１４をもたらすことができる。３次元パターン４０８上の各仮想軌道点は、それぞれの投影パス４１０を介して、オブジェクト４１２の表面の上に投影されてよく、ここで、投影パス４１０は、３次元軌道パターン４０８上のそれらのそれぞれの位置での起点と、３次元軌道パターン４０８の平面に対して直交であってよい投影向きとを含む。３次元軌道パターン４０８の投影は、例示的な実施例に示されたオブジェクト４１２に限定していなくてもよい。例えば、３次元軌道パターン４０８は、タービン翼、エアロフォイル、金属シート、又は他の製造部品などの、例示的な実施例には示されていない他のオブジェクト上に投影されてもよい。３次元軌道パターン４０８は、環境の上に投影されてもよく、ここでの環境は、オブジェクト４１２又はロボット・デバイスを含まない、例えば、テーブル、床、壁、フィクスチャ、又はコンベア・システムである。

本開示は、様々な態様の例証として意図される、本出願で説明された特定の実施例に関して限定されないことになる。当業者には明らかであるように、その趣旨及び範囲から逸脱することなく、多くの修正及び変形を行うことができる。本明細書で挙げたものに加えて、本開示の範囲内で機能的に等価である方法及び装置は、上記の説明から当業者には明らかであろう。そのような修正及び変形は、添付の請求項の範囲内に入ることが意図される。

上の詳細な説明は、付属の図を参照して開示されたシステム及び方法の様々な特徴及び機能を説明している。図において、同様の記号は、通常、文脈がそうでないと指示しない限り、同様の部品を識別する。本明細書及び図において説明された例示的な実施例は、限定することを意味していない。本明細書で提示された主題の趣旨又は範囲から逸脱することなく、他の実施例を利用することができ、他の変更を行うことができる。本開示の態様は、本明細書で広く説明され、図において例証されたように、多様に異なる構成において配置し、置換し、組み合わせ、分離し、設計することができ、それらのすべてが本明細書で明示的に企図されることが容易に理解されるであろう。

上で説明された方法のブロックなどの情報の処理を表現するブロックは、本明細書で説明された方法又は技法の具体的な論理機能を実施するように構成され得る回路に対応していてよい。代替として、又は追加として、情報の処理を表現するブロックは、モジュール、セグメント、又はプログラム・コード（関連データを含む）の一部に対応していてもよい。プログラム・コードは、方法又は技法における具体的な論理機能又はアクションを実装するための、プロセッサによって実行可能な１つ又は複数の命令を含むことができる。プログラム・コード及び／又は関連データは、ディスク若しくはハード・ドライブ、又は他のストレージ媒体を含むストレージ・デバイスなどの、任意のタイプのコンピュータ可読媒体上に記憶されてよい。

１つ又は複数の情報送信を表現するブロックは、同じ物理デバイスにおけるソフトウェア及び／又はハードウェア・モジュールの間の情報送信に対応していてよい。しかしながら、他の情報送信は、異なる物理デバイスにおけるソフトウェア・モジュール及び／又はハードウェア・モジュールの間であってもよい。

コンピュータ可読媒体はまた、レジスタ・メモリ、プロセッサ・キャッシュ、及びランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）のような短い時間の期間にわたってデータを記憶するコンピュータ可読媒体などの、非一時的なコンピュータ可読媒体を含むことができる。コンピュータ可読媒体はまた、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、光学又は磁気ディスク、コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ：ｃｏｍｐａｃｔ－ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）のような、二次的な又は永続的な長期ストレージなどの、より長い時間の期間にわたってプログラム・コード及び／又はデータを記憶する非一時的なコンピュータ可読媒体を含むことができる。コンピュータ可読媒体は、コンピュータ可読ストレージ媒体又は有形なストレージ・デバイスと考えられてよい。

図に示された特定の配置は、限定するものとして見られるべきではない。他の実施例は、所与の図に示された各要素よりも多い、又は少ない要素を含むことができることが理解されるべきである。例証された要素のうちのいくつかを、組み合わせる、又は省略することができる。

冠詞「ａ」、「ａｎ」、及び「ｔｈｅ」は、特徴又は要素に関して使用されるとき、特徴又は要素のうちの１つ若しくは複数への参照を含むことが理解されるべきである。用語「及び／又は」は、関連付けられた特徴又は要素のうちの１つ又は複数のいずれか及びすべての組合せを含む。用語「備える」、「含む」、「伴う」、及び「有する」は、オープン・エンドであることが意図され、列挙されたもの以外に追加の特徴又は要素が存在してもよいことを意味する。「第１の」、「第２の」、及び「第３の」などの識別子は、単なるラベルとして使用されているにすぎず、それらのオブジェクトに数量的な要件を課すように意図されることも、制限事項の間にいかなる相対位置又は時間系列を課すようにして解釈されることもない。用語「結合される」は、物理的に結合すること、電気的に結合すること、及び／又は通信可能に結合することを指すことができる。用語「結合される」は、２つのオブジェクトに適用されるとき、２つのオブジェクトが、直接、又は第３のオブジェクトを通して間接的に結合されていることを指すことができる。

様々な態様及び実施例が本明細書で開示されてきたが、当業者には、他の態様及び実施例が明らかであろう。本明細書で開示された様々な態様及び実施例は、例証の目的のためであり、限定することは意図されず、真の範囲は、以下の請求項によって示されている。

１００ 方法
１０２ ブロック
１０４ ブロック
１０６ ブロック
１０８ ブロック
１１０ ブロック
１１２ ブロック
２０２ ロボット・デバイス
２０４ ベース
２０６ ベース
２０８ 非対称幾何学的特徴
２１０～２１８ 軌道点
２２０ 軌道
２２２ 表示デバイス
２２４ センサ
２２６ エンド・エフェクタ
２２８ フィクスチャ
３０２ ロボット・デバイス
３０６ ベース
３０８ 非対称幾何学的特徴
３１０～３２８ 仮想軌道点
３３０ 表示インターフェース
３３２ オブジェクト
３３４ 較正フィクスチャ
４０２ ユーザ・インターフェース
４０４ 軌道パターン
４０６ プロセス
４０８ 軌道パターン
４１０ 投影パス
４１２ オブジェクト
４１４ 軌道パターン
４３０ 表示インターフェース

Claims (21)

1. 環境内で、ロボット・デバイス及び前記ロボット・デバイスの近傍における較正フィクスチャを識別すること、
   前記較正フィクスチャに対する前記ロボット・デバイスの第１の姿勢を決定するために、前記較正フィクスチャを前記ロボット・デバイスの所定の部分に基準化すること、
   センサから前記環境の３Ｄ画像を受信することであって、前記３Ｄ画像が前記較正フィクスチャを含む、受信すること、
   前記３Ｄ画像に基づいて、前記センサに対する前記較正フィクスチャの第２の姿勢を決定すること、
   前記第１の姿勢及び前記第２の姿勢に基づいて、前記センサに対する前記ロボット・デバイスの第３の姿勢を決定すること、
   表示インターフェース又はデバイス・インターフェースから、複数の軌道点を受信すること、
   前記３Ｄ画像及び前記第３の姿勢に基づいて、前記複数の軌道点に対応する複数の仮想軌道点を決定すること
   を含むコンピュータ実装方法。
2. 前記センサに対する較正フィクスチャの第２の姿勢を前記決定することが、前記３Ｄ画像における前記較正フィクスチャの３次元特徴を認識することに基づく、請求項１に記載の方法。
3. 前記ロボット・デバイスについての軌道のオーバーレイされた仮想表現の表示を提供することであって、前記軌道が、前記複数の軌道点のうちの少なくともいくつかのシーケンスを含む、提供すること
   を更に含む請求項１又は２に記載の方法。
4. 前記仮想軌道点のうちの１つ又は複数における軌道向きのグラフィカル表現を生成し、表示すること、
   前記軌道に沿ってプロセスを実施するツールのグラフィカル表現を生成し、表示すること
   を更に含む請求項１から３までのいずれか一項に記載の方法。
5. 前記表示インターフェースから、前記複数の前記仮想軌道点のうちの１つ又は複数の、１つ又は複数のプロパティへの１つ又は複数の調整を示す入力データを受信することであって、前記プロパティが、軌道位置、軌道向き、エンド・エフェクタ状態、軌道速度、電子信号入力、及び電子信号出力から成るグループから選択される１つ又は複数である、受信すること、
   前記表示インターフェースから、前記仮想軌道点のうちの１つ又は複数を作成する、複製する、又は削除するための入力データを受信すること、
   前記表示インターフェース上で受信された入力データに基づいて、前記複数の仮想軌道点のうちの前記１つ又は複数に対応する前記軌道点のうちの１つ又は複数の、１つ又は複数の調整されたプロパティを決定すること
   を更に含む請求項１から４までのいずれか一項に記載の方法。
6. 前記表示インターフェース又は前記デバイス・インターフェースから、前記軌道点又は前記仮想軌道点のうちの１つ若しくは複数及びそれらのそれぞれのプロパティに従って前記ロボット・デバイスが動くための命令を提供する入力データを受信すること、
   前記命令を前記ロボット・デバイスに送信すること
   を更に含む請求項１から５までのいずれか一項に記載の方法。
7. 前記命令を前記ロボット・デバイスに送信することが、
   前記仮想軌道点を物理軌道点に転換し、前記物理軌道点を前記ロボット・デバイスに送ること
   を含む、請求項６に記載の方法。
8. 前記仮想軌道点を操作するための前記表示インターフェースを提供すること、
   前記表示インターフェースから、指定されたパターンで配置された前記複数の仮想軌道点を含む軌道パターンの作成及び／又は軌道パターンへの調整を示す入力データを受信すること、
   作成された、又は調整された前記軌道パターンに基づいて、２次元軌道パターンを、前記表示インターフェース上で３次元軌道パターンに変換すること、
   前記表示インターフェースから、前記表示インターフェース上で前記３次元軌道パターンを並進させる、及び／又は回転させるための入力データを受信すること、
   前記表示インターフェースから、前記３次元軌道パターンを、前記表示インターフェース上に示された前記３Ｄ画像の一部の上に投影するための入力データを受信すること
   を更に含む請求項１から７までのいずれか一項に記載の方法。
9. 前記軌道点が、前記表示インターフェースを介したユーザ・エントリの形式である、又は前記デバイス・インターフェースを介したロボット・スクリプトの形式である、請求項１から８までのいずれか一項に記載の方法。
10. 前記３Ｄ画像に基づいて、オブジェクトの表面及び環境に沿った１つ又は複数の軌道点を内挿する、又は外挿すること
    を更に含む請求項１から９までのいずれか一項に記載の方法。
11. 前記ロボット・デバイスからの、ロボット関節角度、ロボット・ステータス、及びエンド・エフェクタ状態などのロボット情報を、モバイル・デバイス、ラップトップ、又はデスクトップ・コンピュータに送信すること、
    前記表示インターフェース上で、現実のロボット・デバイスの表現の上にオーバーレイされた仮想ロボットについての受信されたロボット情報を生成し、表示すること
    を更に含む請求項１から１０までのいずれか一項に記載の方法。
12. 前記環境の２Ｄ画像を受信すること、
    前記仮想軌道点でオーバーレイされた前記環境の前記２Ｄ画像の表示を提供すること
    を更に含む請求項１から１１までのいずれか一項に記載の方法。
13. 前記センサから受信された前記３Ｄ画像と重ね合わせられた前記環境の前記２Ｄ画像の表示を提供することであって、前記環境の前記２Ｄ画像の上に重ね合わせられた前記３Ｄ画像が、前記表示インターフェース上で可視又は不可視に現れることができる、提供すること、
    表示デバイスの向きの変化に応答して、対応する視点からの、３Ｄ画像と重ね合わせられた前記２Ｄ画像の少なくとも一部を示すように前記表示を更新すること
    を更に含む請求項１２に記載の方法。
14. センサと、
    前記センサに通信可能に結合されたコンピューティング・システムと
    を備える、ロボット・デバイスをプログラムするためのシステムであって、
    前記コンピューティング・システムが、
    環境内で、ロボット・デバイス及び前記ロボット・デバイスの近傍における較正フィクスチャを識別すること、
    前記較正フィクスチャに対する前記ロボット・デバイスの第１の姿勢を決定するために、前記較正フィクスチャを前記ロボット・デバイスの所定の部分に基準化すること、
    前記センサから前記環境の３Ｄ画像を受信することであって、前記３Ｄ画像が前記較正フィクスチャを含む、受信すること、
    前記３Ｄ画像に基づいて、前記センサに対する前記較正フィクスチャの第２の姿勢を決定すること、
    前記第１の姿勢及び前記第２の姿勢に基づいて、前記センサに対する前記ロボット・デバイスの第３の姿勢を決定すること、
    表示インターフェース又はデバイス・インターフェースから、複数の軌道点を受信すること、
    前記３Ｄ画像及び前記第３の姿勢に基づいて、前記複数の軌道点に対応する複数の仮想軌道点を決定すること
    を行うように構成された、システム。
15. 前記コンピューティング・システムが、
    前記３Ｄ画像における前記較正フィクスチャの３Ｄ特徴の認識に基づいて、前記センサに対する前記較正フィクスチャの前記第２の姿勢を決定すること
    を行うように更に構成された、請求項１４に記載のシステム。
16. 前記コンピューティング・システムが、
    前記複数の仮想軌道点のうちの１つ又は複数の、１つ又は複数のプロパティを調整するために前記表示インターフェースを提供することであって、前記プロパティが、軌道位置、軌道向き、エンド・エフェクタ状態、軌道速度、電子信号入力、及び電子信号出力から成るグループから選択される１つ又は複数である、提供すること、
    前記仮想軌道点を作成する、複製する、又は削除するために前記表示インターフェースを提供すること、
    前記複数の仮想軌道点のうちの前記１つ又は複数に対応する前記軌道点のうちの１つ又は複数の、１つ又は複数の調整されたプロパティを決定すること
    を行うように更に構成された、請求項１４又は１５に記載のシステム。
17. 前記コンピューティング・システムが、
    前記仮想軌道点のうちの１つ又は複数における軌道向きのグラフィカル表現を生成し、表示することと、
    軌道に沿ってプロセスを実施するツールのグラフィカル表現を生成し、表示することと
    を行うように更に構成された、請求項１４から１６までのいずれか一項に記載のシステム。
18. 前記コンピューティング・システムが、
    前記仮想軌道点を操作するための前記表示インターフェースを提供すること、
    前記表示インターフェースから、指定されたパターンで配置された前記複数の仮想軌道点を含む軌道パターンの作成及び／又は軌道パターンへの調整を示す入力データを受信すること、
    作成された、又は調整された前記軌道パターンに基づいて、２次元軌道パターンを、前記表示インターフェース上で３次元軌道パターンに変換すること、
    前記表示インターフェースから、前記表示インターフェース上で前記３次元軌道パターンを並進させる、及び／又は回転させるための入力データを受信すること、
    前記表示インターフェースから、前記３次元軌道パターンを、前記表示インターフェース上に示された前記３Ｄ画像の一部の上に投影するための入力データを受信すること
    を行うように更に構成された、請求項１４から１７までのいずれか一項に記載のシステム。
19. 前記表示インターフェース又は前記デバイス・インターフェースから、前記軌道点又は前記仮想軌道点のうちの１つ若しくは複数及びそれらのそれぞれのプロパティに従って前記ロボット・デバイスが動くための命令を提供する入力データを受信すること、
    前記仮想軌道点を物理軌道点に転換し、前記物理軌道点を前記ロボット・デバイスに送ることを含む、前記命令を前記ロボット・デバイスに送信すること
    を更に含む、請求項１４から１８までのいずれか一項に記載のシステム。
20. コンピューティング・システムによって実行されるときに、請求項１から１３までのいずれか一項に記載の方法を前記コンピューティング・システムに実施させる命令を、その中に記憶している非一時的なコンピュータ可読媒体。
21. 環境内で、ロボット・デバイス及び前記ロボット・デバイスの近傍における較正フィクスチャを識別することと、
    前記較正フィクスチャに対する前記ロボット・デバイスの第１の姿勢を決定するために、前記較正フィクスチャを前記ロボット・デバイスの所定の部分に基準化することと、
    センサから前記環境の３Ｄ画像を受信することであって、前記３Ｄ画像が前記較正フィクスチャを含む、受信することと、
    前記３Ｄ画像に基づいて、前記センサに対する前記較正フィクスチャの第２の姿勢を決定することと、
    前記第１の姿勢及び前記第２の姿勢に基づいて、前記センサに対する前記ロボット・デバイスの第３の姿勢を決定することと、
    仮想軌道点を作成するための表示インターフェースを提供することと、
    前記３Ｄ画像及び前記第３の姿勢に基づいて、前記仮想軌道点に対応する軌道点を決定することと
    を含む方法。

Images