JP2024001106A5

JP2024001106A5 -

Info

Publication number: JP2024001106A5
Application number: JP2023171232A
Authority: JP
Filing date: 2023-10-02
Publication date: 2024-05-07

Claims

メモリと、
プロセッサと、
操作要素と、
１組のセンサと、を備え、
前記プロセッサは、前記メモリ、前記操作要素及び前記１組のセンサに動作可能に結合され、前記プロセッサは、
前記１組のセンサのうちのセンサの第１サブセットを介して、環境の表現を取得することと、
視覚的マーカ又は物体情報に基づく物体認識を使用して前記環境の表現内の複数のマーカを識別することであって、前記複数のマーカのうちの各マーカには、前記環境内に配置された複数の物理的物体のうちの物理的物体が関連付けられる、識別することと、
ユーザインターフェースを介してユーザに、前記環境の表現内の前記複数のマーカのうちの各マーカの位置を示す情報を提示することと、
前記ユーザインターフェースを介して前記ユーザから、前記複数の物理的物体のうちの１組の物理的物体に関連付けられた前記複数のマーカのうちの１組のマーカの選択を受信することと、
前記ユーザが、前記操作要素と前記１組の物理的物体との物理的相互作用を含む技能の実演を通じて前記操作要素を移動させる場合、前記１組のセンサのうちのセンサの第２サブセットを介して、該実演中に複数のキーフレームのうちの各キーフレームでセンサ情報を取得することであって、前記センサ情報は、前記操作要素の１組の特徴に関連付けられたセンサデータを含み、前記複数のキーフレームのうちの各キーフレームは、前記技能の前記実演中の特定のポイントを示す、取得することと、
前記ユーザインターフェースを介して前記ユーザに、前記１組の特徴から前記技能の学習に関連する特徴のサブセットを前記ユーザが選択することができるように、前記１組の特徴を提示することと、
前記ユーザによって選択された前記特徴のサブセットに関連付けられたセンサデータを使用して前記技能のモデルを生成することと、
前記１組のマーカを示すマーカ情報及び前記センサ情報を前記モデルに関連付けることと、を行うように構成される、ロボットデバイス。
前記操作要素は、前記１組の物理的物体のうちの物理的物体のサブセットに係合するように構成されたエンドエフェクタを含む、請求項１に記載のロボットデバイス。
前記センサの第２サブセットは前記センサの第１サブセットと異なる、請求項１に記載のロボットデバイス。
前記操作要素は、複数のジョイントを介して連結された複数の可動構成要素を含み、
前記１組のセンサは、
前記複数のジョイントのうちのジョイントに作用する力を測定するように構成された第１センサ、又は
前記複数の可動構成要素のうちの可動構成要素と前記１組の物理的物体のうちの物理的物体との係合を検出するように構成された第２センサの少なくとも１つを含み、
前記プロセッサは、前記第１センサによって測定された力又は前記第２センサによって検出された係合を示すセンサデータを少なくとも使用して前記技能を実行するための前記モデルを生成するように構成される、請求項１に記載のロボットデバイス。
前記操作要素は、（ｉ）複数のジョイントと、（ｉｉ）前記１組の物理的物体のうちの物理的物体を移動させるように構成されたエンドエフェクタと、を含み、
前記１組のセンサは、前記エンドエフェクタが前記物理的物体を移動させる場合、前記エンドエフェクタ又は前記エンドエフェクタに結合された前記複数のジョイントのうちのジョイントの少なくとも１つにかけられる力を測定するように構成されたセンサを含み、
前記プロセッサは、前記センサによって測定された力を示すセンサデータを少なくとも使用して前記技能を実行するための前記モデルを生成するように構成される、請求項１に記載のロボットデバイス。
前記プロセッサは、
前記メモリに記憶された機械学習ライブラリから隠れマルコフモデル（ＨＭＭ）又はサポートベクターマシーン（ＳＶＭ）アルゴリズムを選択し、
前記ユーザによって選択された前記特徴のサブセットに関連付けられた前記センサデータを使用して前記ＨＭＭ又はＳＶＭアルゴリズムの１以上のパラメータを設定することによって、前記技能を実行するための前記モデルを生成するように構成される、請求項１に記載のロボットデバイス。
前記環境の表現は前記環境の第１表現であり、前記複数のマーカは複数の第１マーカであり、
前記プロセッサは、前記技能を実行するための前記モデルの生成後に、
前記センサの第２サブセットを介して、前記環境の第２表現を取得することと、
視覚的マーカ又は物体情報に基づく物体認識を介して、前記環境の第２表現内の複数の第２マーカを識別することであって、前記複数の第２マーカのうちの各マーカには、前記環境内に配置された複数の物理的物体のうちの物理的物体が関連付けられる、識別することと、
前記モデル及び前記複数の第２マーカのうちの１組のマーカを使用して、前記操作要素を使用して前記技能を実行するための軌道を生成することと、を行うように更に構成される、請求項１に記載のロボットデバイス。
前記プロセッサは、
前記ユーザインターフェースを介して前記ユーザに、前記ユーザが前記軌道を許容する又は拒絶することができるように前記軌道を提示することと、
前記軌道の拒絶を示す前記ユーザからの入力を受信することに応答して、前記モデルの１以上のパラメータを変更することと、を行うように更に構成される、請求項７に記載のロボットデバイス。
前記プロセッサは、
前記操作要素を使用して前記技能を実行することと、
前記１組のセンサを使用して、前記技能の実行中にデータを取得することと、
前記ユーザインターフェースを介して前記ユーザから、前記技能の実行が成功したかどうかを示す入力を受信することと、
前記技能の実行が成功したことを示す前記入力に応答して、前記メモリに前記技能の成功した実行に関連付けられた前記データを記憶することと、
前記技能の実行が成功しなかったことを示す前記入力に応答して、前記モデルの１以上のパラメータを変更することと、を行うように更に構成される、請求項７に記載のロボットデバイス。
ロボットデバイスのプロセッサにより実行される命令を表すコードを記憶した非一時的プロセッサ可読媒体であって、前記コードは、前記プロセッサに、
前記ロボットデバイスの１組のセンサを介して環境の表現を取得することと、
視覚的マーカ又は物体情報に基づく物体認識を使用して前記環境の表現内の複数のマーカを識別することであって、前記複数のマーカのうちの各マーカには、前記環境内に配置された複数の物理的物体のうちの物理的物体が関連付けられる、識別することと、
前記ロボットデバイスのユーザインターフェースを介してユーザに、前記複数の物理的物体のうちの１組の物理的物体に関連付けられた前記複数のマーカのうちの１組のマーカを前記ユーザが選択することができるように前記環境の表現内の前記複数のマーカのうちの各マーカの位置を示す情報を提示することと、
前記１組のマーカの選択を受信することに応答して、前記ロボットデバイスの操作要素と前記１組の物理的物体との物理的相互作用の実行に関連付けられたモデルを識別することであって、前記操作要素は複数のジョイント及びエンドエフェクタを含む、識別することと、
前記モデルを使用して、前記物理的相互作用の実行に関連付けられた前記複数のジョイント及び前記エンドエフェクタの移動を含む軌道を生成することと、
前記ユーザインターフェースを介して前記ユーザに、前記ユーザが前記軌道を許容する又は拒絶することができるように前記軌道を提示することと、
前記軌道の許容を示す前記ユーザからの入力を受信することに応答して、前記複数のジョイント及び前記エンドエフェクタの移動を実施して前記物理的相互作用を実行することと、
前記軌道の拒絶を示す前記ユーザからの入力を受信することに応答して、前記モデルの１以上のパラメータを変更して変更モデルを生成し、前記変更モデルを使用して第２軌道を生成することと、を行わせるコードを含む、非一時的プロセッサ可読媒体。
前記プロセッサに、前記軌道の許容を示す前記ユーザからの前記入力を受信することに応答して、
前記１組のセンサを介して、前記物理的相互作用の前記実行に関連付けられたセンサ情報を取得することと、
前記センサ情報に基づいて、前記物理的相互作用の前記実行が成功基準を満たすかどうかを判断することと、を行わせるコードを更に含む、請求項１０に記載の非一時的プロセッサ可読媒体。
前記プロセッサに、
前記物理的相互作用の前記実行が前記成功基準を満たすとの判断に応答して、前記物理的相互作用が成功したことを示す信号を生成することと、
前記物理的相互作用の前記実行が前記成功基準を満たさないとの判断に応答して、
前記センサ情報に基づいて前記モデルを変更して変更モデルを生成することと、
前記変更モデルを使用して、前記操作要素の第２軌道を生成することと、を行わせるコードを更に含む、請求項１１に記載の非一時的プロセッサ可読媒体。
前記モデルには、（ｉ）記憶された１組のマーカ、（ｉｉ）前記記憶された１組のマーカに関連付けられた前記操作要素の記憶された軌道に沿ったポイントにおける前記操作要素の位置又は向きの少なくとも一方を示すセンサ情報、及び（ｉｉｉ）前記記憶された軌道に沿った前記ポイントにおける前記複数のジョイントの構成を示すセンサ情報が関連付けられ、
前記プロセッサに前記軌道を生成させる前記コードは、前記プロセッサに、
前記１組のマーカと前記記憶された１組のマーカとの間の変換関数を計算することと、
各ポイントについて、前記変換関数を使用して、前記操作要素の前記位置又は前記向きの少なくとも一方を変換することと、
各ポイントについて、前記記憶された軌道に沿った前記ポイントにおける前記複数のジョイントの前記構成に基づいて、前記複数のジョイントの計画構成を決定することと、
各ポイントについて、そのポイントの前記複数のジョイントの前記計画構成に基づいて、そのポイントと連続ポイントとの間の前記軌道の部分を特定することと、を行わせるコードを含む、請求項１０に記載の非一時的プロセッサ可読媒体。
前記プロセッサに、
前記１組のマーカの選択を受信することに応答して、前記ユーザによって選択された前記１組のマーカに対して前記ロボットデバイスを移動させるかどうかを決定することと、
前記１組のマーカに対して前記ロボットデバイスを移動させる決定に応答して、前記ロボットデバイスの搬送要素を使用して前記ロボットデバイスを移動させて、前記操作要素の位置又は向きを調整し、前記軌道を生成する前に前記環境の第２表現を取得することと、を行わせるコードを更に含む、請求項１０に記載の非一時的プロセッサ可読媒体。
前記プロセッサは、
前記ユーザが、前記技能の実演を通じて前記操作要素を移動させる場合、前記操作要素の変化をモニターし、
前記操作要素における方向変更に応答して、該方向変更に関連付けられたポイントをキーフレームとして選択する、ように更に構成される、請求項１に記載のロボットデバイス。
前記環境を動き回る搬送要素を更に備え、
前記プロセッサは、前記モデル及び／又は前記１組のマーカに基づいて当該ロボットデバイスを移動させるように構成される、請求項１に記載のロボットデバイス。