JPWO2021016394A5 - - Google Patents

Description

特許請求の範囲は上記に示された正確な構成及び構成要素に限定されないことが理解されるべきである。上に説明した方法及び装置の配置、操作、並びに詳細に対して、特許請求の範囲から逸脱せずに、様々な修正、変更及び変形がなされ得る。
本明細書に開示される発明は以下の態様を含む。
〔態様１〕
ロボット装置をタスク環境に配置することと、
タスク環境中の風景のタスク画像のディスクリプタを教示環境の教示画像にマッピングすることと、
前記マッピングに基づいて前記タスク画像と前記教示画像との間の相対変換を定義することと、
前記教示画像に対応するタスクを実行するために、前記相対変換に基づいてパラメーター化された動作のセットのパラメーターを更新することと、
を含む、ロボット装置の制御方法。
〔態様２〕
前記パラメーター化された動作のセットは、前記ロボット装置が前記タスクを実行するように仮想現実インターフェースを用いて訓練されている間にユーザーにより実行される動作を含む、態様１に記載の方法。
〔態様３〕
前記タスク画像の現在の風景からの前記ディスクリプタを前記教示画像からのディスクリプタにインターバルを空けてマッピングすることを更に含む、態様１に記載の方法。
〔態様４〕
前記ロボット装置は、教示環境内での訓練中に使用されたスタート状況又は位置から逸脱して配置され、
前記タスク環境は、前記教示環境と類似しているか、又は同じである、
態様１に記載の方法。
〔態様５〕
スタート時の状況又は位置からの逸脱は、前記ロボット装置の異なるスタート位置及び／又は姿勢を含む、態様４に記載の方法。
〔態様６〕
スタート時の状況又は位置からの逸脱は、前記タスクが実行される対象である物体の異なるスタート位置及び／又は姿勢を含む、態様４に記載の方法。
〔態様７〕
前記ディスクリプタは、ピクセルディスクリプタ又はニューラルネットワークディスクリプタを有する、態様１に記載の方法。
〔態様８〕
メモリと、
前記メモリに接続された少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、
ロボット装置をタスク環境に配置し、
タスク環境中の風景のタスク画像のディスクリプタを教示環境の教示画像にマッピングし、
前記マッピングに基づいて前記タスク画像と前記教示画像との間の相対変換を定義し、
前記教示画像に対応するタスクを実行するために、前記相対変換に基づいてパラメーター化された動作のセットのパラメーターを更新する、
ように構成されている、ロボット装置を制御する装置。
〔態様９〕
前記パラメーター化された動作のセットは、前記ロボット装置が前記タスクを実行するように仮想現実インターフェースを用いて訓練されている間にユーザーにより実行される動作を含む、態様８に記載の装置。
〔態様１０〕
前記少なくとも１つのプロセッサは更に、前記タスク画像の現在の風景からの前記ディスクリプタを前記教示画像からのディスクリプタにインターバルを空けてマッピングするように構成されている、態様８に記載の装置。
〔態様１１〕
前記ロボット装置は、教示環境内での訓練中に使用されたスタート状況又は位置から逸脱して配置され、
前記タスク環境は、前記教示環境と類似しているか、又は同じである、
態様８に記載の装置。
〔態様１２〕
スタート時の状況又は位置からの逸脱は、前記ロボット装置の異なるスタート位置及び／又は姿勢を含む、態様１１に記載の装置。
〔態様１３〕
スタート時の状況又は位置からの逸脱は、前記タスクが実行される対象である物体の異なるスタート位置及び／又は姿勢を含む、態様１１に記載の装置。
〔態様１４〕
前記ディスクリプタは、ピクセルディスクリプタ又はニューラルネットワークディスクリプタを有する、態様８に記載の装置。
〔態様１５〕
ロボット装置を制御するためのプログラムコードを記録した非一時的なコンピュータ可読媒体であって、
前記プログラムコードはプロセッサにより実行され、
前記ロボット装置をタスク環境に配置するプログラムコードと、
タスク環境中の風景のタスク画像のディスクリプタを教示環境の教示画像にマッピングするプログラムコードと、
前記マッピングに基づいて前記タスク画像と前記教示画像との間の相対変換を定義するプログラムコードと、
前記教示画像に対応するタスクを実行するために、前記相対変換に基づいてパラメーター化された動作のセットのパラメーターを更新するプログラムコードと、
を含む、非一時的なコンピュータ可読媒体。
〔態様１６〕
前記パラメーター化された動作のセットは、前記ロボット装置が前記タスクを実行するように仮想現実インターフェースを用いて訓練されている間にユーザーにより実行される動作を含む、態様１５に記載の非一時的なコンピュータ可読媒体。
〔態様１７〕
前記プログラムコードは更に、タスク画像中の現在の風景からの前記ディスクリプタを前記教示画像からのディスクリプタへ、インターバルを空けてマッピングするプログラムコードを含む、態様１５に記載の非一時的なコンピュータ可読媒体。
〔態様１８〕
前記ロボット装置は、教示環境内での訓練中に使用されたスタート状況又は位置から逸脱して配置され、
前記タスク環境は、前記教示環境と類似しているか、又は同じである、
態様１５に記載の非一時的なコンピュータ可読媒体。
〔態様１９〕
スタート時の状況又は位置からの逸脱は、前記ロボット装置の異なるスタート位置及び／又は姿勢を含む、態様１８に記載の非一時的なコンピュータ可読媒体。
〔態様２０〕
スタート時の状況又は位置からの逸脱は、前記タスクが実行される対象である物体の異なるスタート位置及び／又は姿勢を含む、態様１８に記載の非一時的なコンピュータ可読媒体。

Claims (20)

1. ロボット装置を制御する方法であって、
   前記ロボット装置をタスク環境に配置することと、
   タスク環境中の風景のタスク画像内の第１のピクセルグループに関連付けられた複数のタスク画像ピクセルディスクリプタを、教示環境の教示画像内の第２のピクセルグループに関連付けられた複数の教示画像ピクセルディスクリプタにマッピングすることであって、複数のタスク画像ピクセルディスクリプタの各タスク画像ピクセルディスクリプタは、第１のピクセルグループ内のピクセルに関連付けられた第１のピクセル値を含み、複数の教示画像ピクセルディスクリプタの各教示画像ピクセルディスクリプタは、第２のピクセルグループ内のピクセルに関連付けられた第２のピクセル値を含み、各タスク画像ピクセルディスクリプタに関連付けられた第１のピクセル値は、各タスク画像ピクセルディスクリプタにマッピングされた教示画像ピクセルディスクリプタに関連付けられた第２のピクセル値と同じ値を有する、ことと、
   複数のタスク画像ピクセルディスクリプタのマッピングに基づいて、タスク画像と教示画像との間の相対変換であって、前記タスク画像と前記教示画像との間のX軸、Y軸、Z軸、ロール、ピッチ、またはヨーのうちの1つまたは複数の変化を示す相対変換を定義することと、
   前記教示画像に対応するタスクを実行するために、前記相対変換に基づいてパラメーター化された動作のセットのパラメーターを更新することと、
   を含む、方法。
2. 前記パラメーター化された動作のセットは、前記ロボット装置が前記タスクを実行するように仮想現実インターフェースを用いて訓練されている間にユーザーにより実行される動作を含む、請求項１に記載の方法。
3. 前記複数のタスク画像ピクセルディスクリプタは、前記複数の教示画像ピクセルディスクリプタにインターバルを空けてマッピングされる、請求項１に記載の方法。
4. 前記タスク環境内の前記ロボット装置の第１の位置は、前記教示環境内での訓練中の前記ロボット装置の第２の位置とは異なる、請求項１に記載の方法。
5. 前記第１の位置と前記第２の位置とは、前記ロボット装置のスタート位置または姿勢の一方あるいは両方と関連付けられる、請求項４に記載の方法。
6. 前記第１の位置と前記第２の位置とは、前記タスクが実行される対象である物体のスタート位置または姿勢の一方または両方と関連付けられる、請求項４に記載の方法。
7. ロボット装置を制御する装置であって、
   メモリと、
   前記メモリに接続された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、
   ロボット装置をタスク環境に配置し、
   タスク環境中の風景のタスク画像内の第１のピクセルグループに関連付けられた複数のタスク画像ピクセルディスクリプタを、教示環境の教示画像内の第２のピクセルグループに関連付けられた複数の教示画像ピクセルディスクリプタにマッピングすることであって、複数のタスク画像ピクセルディスクリプタの各タスク画像ピクセルディスクリプタは、第１のピクセルグループ内のピクセルに関連付けられた第１のピクセル値を含み、複数の教示画像ピクセルディスクリプタの各教示画像ピクセルディスクリプタは、第２のピクセルグループ内のピクセルに関連付けられた第２のピクセル値を含み、各タスク画像ピクセルディスクリプタに関連付けられた第１のピクセル値は、各タスク画像ピクセルディスクリプタにマッピングされた教示画像ピクセルディスクリプタに関連付けられた第２のピクセル値と同じ値を有し、
   複数のタスク画像ピクセルディスクリプタのマッピングに基づいて、タスク画像と教示画像との間の相対変換であって、前記タスク画像と前記教示画像との間のX軸、Y軸、Z軸、ロール、ピッチ、またはヨーのうちの1つまたは複数の変化を示す相対変換を定義し、
   前記教示画像に対応するタスクを実行するために、前記相対変換に基づいてパラメーター化された動作のセットのパラメーターを更新する、
   ように構成されている、装置。
8. 前記パラメーター化された動作のセットは、前記ロボット装置が前記タスクを実行するように仮想現実インターフェースを用いて訓練されている間にユーザーにより実行される動作を含む、請求項７に記載の装置。
9. 前記複数のタスク画像ピクセルディスクリプタは、前記複数の教示画像ピクセルディスクリプタにインターバルを空けてマッピングされる、請求項７に記載の装置。
10. 前記タスク環境内の前記ロボット装置の第１の位置は、前記教示環境内での訓練中の前記ロボット装置の第２の位置とは異なる、請求項７に記載の装置。
11. 前記第１の位置と前記第２の位置とは、前記ロボット装置のスタート位置または姿勢の一方あるいは両方と関連付けられる、請求項１０に記載の装置。
12. 前記第１の位置と前記第２の位置とは、前記タスクが実行される対象である物体のスタート位置または姿勢の一方または両方と関連付けられる、請求項１０に記載の装置。
13. ロボット装置を制御するためのプログラムコードを記録した非一時的なコンピュータ可読媒体であって、
    前記プログラムコードがプロセッサにより実行され、
    前記ロボット装置をタスク環境に配置するプログラムコードと、
    タスク環境中の風景のタスク画像内の第１のピクセルグループに関連付けられた複数のタスク画像ピクセルディスクリプタを、教示環境の教示画像内の第２のピクセルグループに関連付けられた複数の教示画像ピクセルディスクリプタにマッピングするプログラムコードであって、複数のタスク画像ピクセルディスクリプタの各タスク画像ピクセルディスクリプタは、第１のピクセルグループ内のピクセルに関連付けられた第１のピクセル値を含み、複数の教示画像ピクセルディスクリプタの各教示画像ピクセルディスクリプタは、第２のピクセルグループ内のピクセルに関連付けられた第２のピクセル値を含み、各タスク画像ピクセルディスクリプタに関連付けられた第１のピクセル値は、各タスク画像ピクセルディスクリプタにマッピングされた教示画像ピクセルディスクリプタに関連付けられた第２のピクセル値と同じ値を有する、プログラムコードと、
    複数のタスク画像ピクセルディスクリプタのマッピングに基づいて、タスク画像と教示画像との間の相対変換であって、前記タスク画像と前記教示画像との間のX軸、Y軸、Z軸、ロール、ピッチ、またはヨーのうちの1つまたは複数の変化を示す相対変換を定義するプログラムコードと、
    前記教示画像に対応するタスクを実行するために、前記相対変換に基づいてパラメーター化された動作のセットのパラメーターを更新するプログラムコードと、
    を含む、非一時的なコンピュータ可読媒体。
14. 前記パラメーター化された動作のセットは、前記ロボット装置が前記タスクを実行するように仮想現実インターフェースを用いて訓練されている間にユーザーにより実行される動作を含む、請求項１３に記載の非一時的なコンピュータ可読媒体。
15. 前記複数のタスク画像ピクセルディスクリプタは、前記複数の教示画像ピクセルディスクリプタにインターバルを空けてマッピングされる、請求項１３に記載の非一時的なコンピュータ可読媒体。
16. 前記タスク環境内の前記ロボット装置の第１の位置は、前記教示環境内での訓練中の前記ロボット装置の第２の位置とは異なる、請求項１３に記載の非一時的なコンピュータ可読媒体。
17. 前記第１の位置と前記第２の位置とは、前記ロボット装置のスタート位置または姿勢の一方あるいは両方と関連付けられる、請求項１６に記載の非一時的なコンピュータ可読媒体。
18. 前記第１の位置と前記第２の位置とは、前記タスクが実行される対象である物体のスタート位置または姿勢の一方または両方と関連付けられる、請求項１６に記載の非一時的なコンピュータ可読媒体。
19. 前記タスク環境と前記教示環境とは、同じ環境に関連付けられる、請求項１に記載の方法。
20. 前記タスク環境と前記教示環境とは、同じ環境に関連付けられる、請求項７に記載の装置。