JPWO2021015883A5 - - Google Patents

Description

特許請求の範囲は上記に示された正確な構成及び構成要素に限定されないことが理解されるべきである。上に説明した方法及び装置の配置、操作、並びに詳細に対して、特許請求の範囲から逸脱せずに、様々な修正、変更及び変形がなされ得る。
本明細書に開示される発明は以下の態様を含む。
〔態様１〕
ロボット装置の現在の視覚に対応する画像を撮影することと、
前記画像の第２のピクセルのセットに一致する第１のピクセルのセットを有するキーフレーム画像を識別することと、
前記ロボット装置により前記キーフレーム画像に対応するタスクを実行することと、
を含む、ロボット装置を制御する方法。
〔態様２〕
前記ロボット装置が前記タスクを実行するように訓練されている間に前記キーフレーム画像を撮影することを更に含む、態様１に記載の方法。
〔態様３〕
前記第１のピクセルのセット及び前記第２のピクセルのセット中の各ピクセルにピクセルディスクリプタを割り当てることを更に含む、態様１に記載の方法。
〔態様４〕
前記ピクセルディスクリプタはピクセルレベル情報及び奥行情報に対応する値のセットを有する、態様３に記載の方法。
〔態様５〕
距離、姿勢、又は前記キーフレーム画像と前記画像の間の組み合わせのうちの１つの相違点を判断することと、
前記判断した相違点に基づいて前記タスクを調整することと、
を更に含む、態様１に記載の方法。
〔態様６〕
前記タスクは、物体と相互作用することと、環境中を走行することと、又はそれらの組み合わせと、のうちの少なくとも１つを有する、態様１に記載の方法。
〔態様７〕
前記第１のピクセルのセットに対応する領域はユーザーによって選択される、態様１に記載の方法。
〔態様８〕
メモリと、
少なくとも１つのプロセッサと、を備え、前記少なくとも１つのプロセッサは、
ロボット装置の現在の視覚に対応する画像を撮影し、
前記画像の第２のピクセルのセットに一致する第１のピクセルのセットを有するキーフレーム画像を識別し、
前記キーフレーム画像に対応するタスクを実行する、
ように構成されている、ロボット装置。
〔態様９〕
前記少なくとも１つのプロセッサは更に、前記ロボット装置が前記タスクを実行するように訓練されている間に前記キーフレーム画像を撮影するように構成されている、態様８に記載のロボット装置。
〔態様１０〕
前記少なくとも１つのプロセッサは更に、前記第１のピクセルのセット及び前記第２のピクセルのセット中の各ピクセルにピクセルディスクリプタを割り当てるように構成されている、態様８に記載のロボット装置。
〔態様１１〕
前記ピクセルディスクリプタは、ピクセルレベル情報及び奥行情報に対応する値のセットを有する、態様１０に記載のロボット装置。
〔態様１２〕
前記少なくとも１つのプロセッサは更に、
距離、姿勢、又は前記キーフレーム画像と前記画像の間の組み合わせのうちの１つの相違点を判断し、
前記判断した相違点に基づいて前記タスクを調整する、
ように構成されている、態様８に記載のロボット装置。
〔態様１３〕
前記タスクは、物体と相互作用することと、環境中を走行することと、又はそれらの組み合わせと、のうちの少なくとも１つを有する、態様８に記載のロボット装置。
〔態様１４〕
前記第１のピクセルのセットに対応する領域は、ユーザーによって選択される、態様８に記載のロボット装置。
〔態様１５〕
ロボット装置を制御するためのプログラムコードを記録した非一時的なコンピュータ可読媒体であって、
前記プログラムコードは、
前記ロボット装置の現在の視覚に対応する画像を撮影するプログラムコードと、
前記画像の第２のピクセルのセットに一致する第１のピクセルのセットを有するキーフレーム画像を識別するプログラムコードと、
前記ロボット装置により前記キーフレーム画像に対応するタスクを実行するプログラムコードと、
を含む、非一時的なコンピュータ可読媒体。
〔態様１６〕
前記プログラムコードは更に、前記ロボット装置が前記タスクを実行するように訓練されている間に前記キーフレーム画像を撮影するプログラムコードを含む、態様１５に記載の非一時的なコンピュータ可読媒体。
〔態様１７〕
前記プログラムコードは更に、前記第１のピクセルのセット及び前記第２のピクセルのセット中の各ピクセルにピクセルディスクリプタを割り当てるプログラムコードを含む、態様１５に記載の非一時的なコンピュータ可読媒体。
〔態様１８〕
前記ピクセルディスクリプタは、ピクセルレベル情報及び奥行情報に対応する値のセットを有する、態様１７に記載の非一時的なコンピュータ可読媒体。
〔態様１９〕
前記プログラムコードは更に、
距離、姿勢、又は前記キーフレーム画像と前記画像の間の組み合わせのうちの１つの相違点を判断するプログラムコードと、
前記判断した相違点に基づいて前記タスクを調整するプログラムコードと、
を含む、態様１５に記載の非一時的なコンピュータ可読媒体。
〔態様２０〕
前記タスクは、物体と相互作用することと、環境中を走行することと、又はそれらの組み合わせと、のうちの少なくとも１つを有する、態様１５に記載の非一時的なコンピュータ可読媒体。

Claims (20)

1. ロボット装置の現在の視覚に対応する画像を撮影することと、
   キーフレーム画像の第１のピクセルのセットの各ピクセルのＲＧＢ(赤-緑-青)値が前記画像の第２のピクセルのセットの対応するピクセルのＲＧＢ値に一致することに基づいてキーフレーム画像を識別することと、
   前記キーフレーム画像の第１の物体に対する前記ロボット装置の第１の姿勢と、前記画像の第２の物体に対する前記ロボット装置の第２の姿勢との間の第１の相違点、または、前記ロボット装置の第１の物体に対する第１の距離と、前記ロボット装置の第２の物体に対する第２の距離との間の第２の相違点の一方または両方を判定することと、
   前記第１の相違点または前記第２の相違点の一方または両方を判定することに基づいて、前記ロボット装置のエフェクタによって実行されるタスクであって前記キーフレーム画像に関連付けられタスクに関連する速度または位置の一方または両方を調整することと、
   前記ロボット装置の前記エフェクタを介して、前記エフェクタの速度または位置の一方または両方を調整することに基づいて前記タスクを実行することと、
   を含む、ロボット装置を制御する方法。
2. 前記ロボット装置が前記タスクを実行するように訓練されている間に前記キーフレーム画像を撮影することを更に含む、請求項１に記載の方法。
3. 前記第１のピクセルのセット及び前記第２のピクセルのセットの各ピクセルは、ピクセルディスクリプタに関連付けられる、請求項１に記載の方法。
4. 各ピクセルディスクリプタは、ピクセルレベル情報及び奥行情報に対応する値のセットを有し、前記ピクセルレベル情報は前記ピクセルディスクリプタに関連付けられたピクセルのＲＧＢ値を有する、請求項３に記載の方法。
5. 前記タスクは、物体と相互作用することと、環境中を走行することと、又はそれらの組み合わせと、のうちの少なくとも１つを有する、請求項１に記載の方法。
6. 前記第１のピクセルのセットに対応する領域は、ユーザーによって選択される、請求項１に記載の方法。
7. メモリと、
   少なくとも１つのプロセッサと、を備え、前記少なくとも１つのプロセッサは、
   ロボット装置の現在の視覚に対応する画像を撮影し、
   キーフレーム画像の第１のピクセルのセットの各ピクセルのＲＧＢ(赤-緑-青)値が前記画像の第２のピクセルのセットの対応するピクセルのＲＧＢ値に一致することに基づいて前記キーフレーム画像を識別し、
   前記キーフレーム画像の第１の物体に対する前記ロボット装置の第１の姿勢と、前記画像の第２の物体に対する前記ロボット装置の第２の姿勢との間の第１の相違点、または、前記ロボット装置の第１の物体に対する第１の距離と、前記ロボット装置の第２の物体に対する第２の距離との間の第２の相違点の一方または両方を判定し、
   前記第１の相違点または前記第２の相違点の一方または両方を判定することに基づいて、前記ロボット装置のエフェクタによって実行されるタスクであってキーフレーム画像に関連付けられるタスクに関連する速度または位置の一方または両方を調整し、
   前記ロボット装置の前記エフェクタを介して、前記エフェクタの速度または位置の一方または両方を調整することに基づいて前記タスクを実行する、
   ように構成されている、ロボット装置。
8. 前記少なくとも１つのプロセッサは更に、前記ロボット装置が前記タスクを実行するように訓練されている間に前記キーフレーム画像を撮影するように構成されている、請求項７に記載のロボット装置。
9. 前記第１のピクセルのセット及び前記第２のピクセルのセットの各ピクセルは、ピクセルディスクリプタに関連付けられる、請求項７に記載のロボット装置。
10. 各ピクセルディスクリプタは、ピクセルレベル情報及び奥行情報に対応する値のセットを有し、前記ピクセルレベル情報は前記ピクセルディスクリプタに関連付けられたピクセルのＲＧＢを有する、請求項９に記載のロボット装置。
11. 前記タスクは、物体と相互作用することと、環境中を走行することと、又はそれらの組み合わせと、のうちの少なくとも１つを有する、請求項７に記載のロボット装置。
12. 前記第１のピクセルのセットに対応する領域は、ユーザーによって選択される、請求項７に記載のロボット装置。
13. ロボット装置を制御するためのプログラムコードを記録した非一時的なコンピュータ可読媒体であって、
    前記プログラムコードは、
    前記ロボット装置の現在の視覚に対応する画像を撮影するプログラムコードと、
    キーフレーム画像の第１のピクセルのセットの各ピクセルのＲＧＢ(赤-緑-青)値が前記画像の第２のピクセルのセットの対応するピクセルのＲＧＢ値に一致することに基づいてキーフレーム画像を識別するプログラムコードと、
    前記キーフレーム画像の第１の物体に対する前記ロボット装置の第１の姿勢と、前記画像の第２の物体に対する前記ロボット装置の第２の姿勢との間の第１の相違点、または、前記ロボット装置の第１の物体に対する第１の距離と、前記ロボット装置の第２の物体に対する第２の距離との間の第２の相違点の一方または両方を判定するプログラムコードと、
    前記第１の相違点または前記第２の相違点の一方または両方を判定することに基づいて、前記ロボット装置のエフェクタによって実行されるタスクであって前記キーフレーム画像に関連付けられタスクに関連する速度または位置の一方または両方を調整するプログラムコードと、
    前記ロボット装置の前記エフェクタを介して、前記エフェクタの速度または位置の一方または両方を調整することに基づいて前記タスクを実行するプログラムコードと、
    を含む、非一時的なコンピュータ可読媒体。
14. 前記プログラムコードは更に、前記ロボット装置が前記タスクを実行するように訓練されている間に前記キーフレーム画像を撮影するプログラムコードを含む、請求項１３に記載の非一時的なコンピュータ可読媒体。
15. 前記第１のピクセルのセット及び前記第２のピクセルのセットの各ピクセルは、ピクセルディスクリプタに関連付けられる、請求項１３に記載の非一時的なコンピュータ可読媒体。
16. 各ピクセルディスクリプタは、ピクセルレベル情報及び奥行情報に対応する値のセットを有し、前記ピクセルレベル情報は前記ピクセルディスクリプタに関連付けられたピクセルのＲＧＢ値を有する、請求項１５に記載の非一時的なコンピュータ可読媒体。
17. 前記タスクは、物体と相互作用することと、環境中を走行することと、又はそれらの組み合わせと、のうちの少なくとも１つを有する、請求項１３に記載の非一時的なコンピュータ可読媒体。
18. 前記ロボット装置は、人間によるデモンストレーションに基づいて前記タスクを実行するように訓練される、請求項１に記載の方法。
19. 前記ロボット装置は、人間によるデモンストレーションに基づいて前記タスクを実行するように訓練される、請求項７に記載のロボット装置。
20. 前記ロボット装置は、人間によるデモンストレーションに基づいて前記タスクを実行するように訓練される、請求項１３に記載の非一時的なコンピュータ可読媒体。