JP7338034B2 - リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 - Google Patents
リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 Download PDFInfo
- Publication number
- JP7338034B2 JP7338034B2 JP2022503961A JP2022503961A JP7338034B2 JP 7338034 B2 JP7338034 B2 JP 7338034B2 JP 2022503961 A JP2022503961 A JP 2022503961A JP 2022503961 A JP2022503961 A JP 2022503961A JP 7338034 B2 JP7338034 B2 JP 7338034B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- remote client
- client device
- data
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36422—During teaching shut off, disable motor to move arm easy
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39536—Planning of hand motion, grasping
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Description
うわけではない配置を示した場合は「0.7」)を含む。
101B ロボット作業空間
101C 領域
103A コンベヤ部分
103B コンベヤ部分
103C コンベヤ部分
110 システム、リアルエピソードシステム
112 予測エンジン
113 予測された物体操作パラメータ
114 視覚的表現エンジン
115 視覚的表現
116 操作パラメータエンジン
117 物体操作パラメータ
120 シミュレータ
130 リモートクライアントデバイス、シム差分エンジン
132 表示エンジン
134 入力エンジン
135 入力データ
136 入力デバイス
140 シム訓練データシステム
143 訓練データエンジン
144 訓練インスタンス
145 訓練エンジン
152 訓練データデータベース
165 機械学習モデル
170A 第1のロボット
170B 第2のロボット
172A エンドエフェクタ
172B エンドエフェクタ
174A 関連するロボットビジョン構成要素
174B 関連するロボットビジョン構成要素
194 追加のビジョン構成要素
192A サングラス
192B ステープラ
192C へら
193A コンテナ
193B コンテナ
270A ロボットのシミュレーション
270B ロボットのシミュレーション
270C ロボットのシミュレーション
282A1 仮想ボタン
282A2 仮想ボタン
282A3 仮想ボタン
282E1 インジケーション
282E2 インジケーション
288E インジケーション
289A1 経路、軌跡
289B1 中間地点
289B2 中間地点
289B3 把持姿勢
289C1 把持姿勢
289D1 点
289D2 点
289F1 点
289F2 点
292A 物体表現
292B 物体表現
292C 物体表現
292D 物体表現
292E 物体表現
292F 物体表現
300 方法
400 方法
500 方法
600 方法
725 ロボット
740a~740n 動作構成要素
742a~742m センサ
760 制御システム
810 コンピューティングデバイス
812 バスサブシステム
814 プロセッサ
816 ネットワークインターフェースサブシステム
820 ユーザインターフェース出力デバイス
822 ユーザインターフェース入力デバイス
824 ストレージサブシステム
825 メモリサブシステム
826 ファイルストレージサブシステム
830 主ランダムアクセスメモリ(RAM)
832 読み出し専用メモリ(ROM)
Claims (22)
- コンピュータ実装方法であって、
環境の第1の領域内の1つまたは複数のビジョン構成要素から、第1の時間の前記第1の領域内にある物体の物体特徴を含む、前記第1の時間の前記第1の領域の特徴を取り込むビジョンデータを受信するステップと、
複数のリモートクライアントデバイスの各々に関して、未処理のロボット操作アシスタント要求の量および/または持続期間を定義する対応するキューデータにアクセスするステップと、
リモートクライアントデバイスに関する対応するクエリデータに基づいて、前記複数のリモートクライアントデバイスから前記リモートクライアントデバイスを選択するステップと、
前記第1の領域から前記ビジョンデータによって取り込まれない、前記環境の異なるロボット作業空間への前記物体の搬送の完了前に、
前記ビジョンデータに基づいて生成される視覚的表現を、1つまたは複数のネットワークを介して前記リモートクライアントデバイスに送信するステップであって、前記視覚的表現が、前記物体特徴に基づいて生成された物体表現を含み、前記リモートクライアントデバイスに前記視覚的表現を送信することが、前記リモートクライアントデバイスを選択したことに応答したものである、ステップと、
前記リモートクライアントデバイスにおいてレンダリングされるときの前記視覚的表現を対象とする前記リモートクライアントデバイスにおける1つまたは複数のユーザインターフェース入力に基づいて生成されるデータを、前記1つまたは複数のネットワークを介して前記リモートクライアントデバイスから受信するステップと、
前記データに基づいて、前記ロボット作業空間内で動作するロボットによる前記物体の操作のための1つまたは複数の物体操作パラメータを決定するステップと、
前記物体が前記ロボット作業空間内にあることを検出したことに応答して、前記1つまたは複数の物体操作パラメータに従って、前記ロボットに前記物体を操作させるステップであって、前記物体が、前記第1の領域から前記ロボット作業空間への前記物体の搬送の後、前記第1の時間に続く第2の時間に前記ロボット作業空間内にある、ステップとを含む、コンピュータ実装方法。 - 前記1つまたは複数の物体操作パラメータを決定するステップも、前記第1の領域から前記ロボット作業空間への前記物体の搬送の完了前である請求項1に記載のコンピュータ実装方法。
- コンピュータ実装方法であって、
環境の第1の領域内の1つまたは複数のビジョン構成要素から、第1の時間の前記第1の領域内にある物体の物体特徴を含む、前記第1の時間の前記第1の領域の特徴を取り込むビジョンデータを受信するステップと、
前記第1の領域から前記ビジョンデータによって取り込まれない、前記環境の異なるロボット作業空間への前記物体の搬送の完了前に、
前記ビジョンデータに基づいて生成される視覚的表現を、1つまたは複数のネットワークを介してリモートクライアントデバイスに送信するステップであって、前記視覚的表現が、前記物体特徴に基づいて生成された物体表現を含む、ステップと、
前記リモートクライアントデバイスにおいてレンダリングされるときの前記視覚的表現を対象とする前記リモートクライアントデバイスにおける1つまたは複数のユーザインターフェース入力に基づいて生成されるデータを、前記1つまたは複数のネットワークを介して前記リモートクライアントデバイスから受信するステップと、
前記データに基づいて、前記ロボット作業空間内で動作するロボットによる前記物体の操作のための1つまたは複数の物体操作パラメータを決定するステップと、
前記物体が前記ロボット作業空間内にあることを検出したことに応答して、前記1つまたは複数の物体操作パラメータに従って、前記ロボットに前記物体を操作させるステップであって、前記物体が、前記第1の領域から前記ロボット作業空間への前記物体の搬送の後、前記第1の時間に続く第2の時間に前記ロボット作業空間内にある、ステップと
を含み、
前記1つまたは複数の物体操作パラメータが、前記物体の把持のための把持姿勢を含み、前記搬送の後に前記物体が前記ロボット作業空間内で検出されたことに応答して、前記1つまたは複数の物体操作パラメータに従って、前記ロボットに前記物体を操作させるステップが、
前記ロボットのエンドエフェクタに前記把持姿勢までトラバースさせ、前記把持姿勢までトラバースした後に前記物体の把持を試みさせることを含む、コンピュータ実装方法。 - 前記データが、第1の基準座標系に対して1つもしくは複数の姿勢および/または1つもしくは複数の点を定義し、前記1つまたは複数の物体操作パラメータを生成することが、
前記1つもしくは複数の姿勢および/または前記1つもしくは複数の点を前記基準座標系とは異なるロボット座標系に変換することと、
前記物体操作パラメータを生成する際に、変換された姿勢および/または点を使用することとを含む請求項1から3のいずれか一項に記載のコンピュータ実装方法。 - 前記ロボットに前記物体を操作させた後、
1つまたは複数の追加のセンサからの追加のセンサデータに基づいて、前記操作の成功の測定値を決定するステップと、
成功の前記測定値が閾値を満たすことに基づいて正の訓練インスタンスを生成するステップと、
前記正の訓練インスタンスに基づいて機械学習モデルを訓練するステップとをさらに含む請求項1から4のいずれか一項に記載のコンピュータ実装方法。 - 前記1つまたは複数の追加のセンサが、ロボットビジョン構成要素、前記ロボットのトルクセンサ、および前記環境内の重量センサのうちの1つまたは複数を含む請求項5に記載のコンピュータ実装方法。
- 前記正の訓練インスタンスを生成するステップが、前記ビジョンデータに基づいてまたは前記ロボットの1つもしくは複数のロボットビジョン構成要素からのロボットビジョンデータに基づいて、前記正の訓練インスタンスの訓練インスタンスの入力を生成することを含む請求項5または請求項6に記載のコンピュータ実装方法。
- 前記正の訓練インスタンスを生成するステップが、前記物体操作パラメータに基づいて、前記正の訓練インスタンスの訓練インスタンスの出力を生成することを含む請求項7に記載のコンピュータ実装方法。
- コンピュータ実装方法であって、
環境の第1の領域内の1つまたは複数のビジョン構成要素から、第1の時間の前記第1の領域内にある物体の物体特徴を含む、前記第1の時間の前記第1の領域の特徴を取り込むビジョンデータを受信するステップと、
前記第1の領域から前記ビジョンデータによって取り込まれない、前記環境の異なるロボット作業空間への前記物体の搬送の完了前に、
前記ビジョンデータに基づいて生成される視覚的表現を、1つまたは複数のネットワークを介してリモートクライアントデバイスに送信するステップであって、前記視覚的表現が、前記物体特徴に基づいて生成された物体表現を含む、ステップと、
前記リモートクライアントデバイスにおいてレンダリングされるときの前記視覚的表現を対象とする前記リモートクライアントデバイスにおける1つまたは複数のユーザインターフェース入力に基づいて生成されるデータを、前記1つまたは複数のネットワークを介して前記リモートクライアントデバイスから受信するステップと、
前記データに基づいて、前記ロボット作業空間内で動作するロボットによる前記物体の操作のための1つまたは複数の物体操作パラメータを決定するステップと、
前記物体が前記ロボット作業空間内にあることを検出したことに応答して、前記1つまたは複数の物体操作パラメータに従って、前記ロボットに前記物体を操作させるステップであって、前記物体が、前記第1の領域から前記ロボット作業空間への前記物体の搬送の後、前記第1の時間に続く第2の時間に前記ロボット作業空間内にある、ステップと、
前記ロボットに前記物体を操作させた後、
1つまたは複数の追加のセンサからの追加のセンサデータに基づいて、前記操作の成功の測定値を決定するステップと、
成功の前記測定値が閾値を満たすことに基づいて正の訓練インスタンスを生成するステップと、
前記正の訓練インスタンスに基づいて機械学習モデルを訓練するステップと、
前記正の訓練インスタンスに基づいて前記機械学習モデルを訓練した後、
前記機械学習モデルを使用して、追加の物体を取り込む追加のビジョンデータを処理するステップと、
前記処理に基づいて、前記追加の物体に関する1つまたは複数の予測された物体操作パラメータを生成するステップと、
前記1つまたは複数の予測された物体操作パラメータに従って、前記ロボットに前記追加の物体を操作させるステップと
を含む、コンピュータ実装方法。 - 前記予測された物体操作パラメータの視覚的インジケーションを、前記リモートクライアントデバイスまたは追加のリモートクライアントデバイスに送信するステップ、
前記リモートクライアントデバイスまたは前記追加のリモートクライアントデバイスから、前記予測された物体操作パラメータの前記視覚的インジケーションの提示に応答して肯定的なユーザインターフェース入力が受け取られたというインジケーションを受信するステップをさらに含み、
前記1つまたは複数の予測された物体操作パラメータに従って、前記ロボットに前記追加の物体を操作させるステップが、肯定的なユーザインターフェース入力が受け取られたという前記インジケーションを受信したことに応答したものである請求項9に記載のコンピュータ実装方法。 - 前記処理に基づいて、前記1つまたは複数の予測された物体操作パラメータの信頼性の測定値を生成するステップをさらに含み、
前記予測された物体操作パラメータの視覚的インジケーションを送信するステップが、前記信頼性の測定値が閾値の信頼性の測定値を満たすことができないことに応答したものである請求項10に記載のコンピュータ実装方法。 - コンピュータ実装方法であって、
環境の第1の領域内の1つまたは複数のビジョン構成要素から、第1の時間の前記第1の領域内にある物体の物体特徴を含む、前記第1の時間の前記第1の領域の特徴を取り込むビジョンデータを受信するステップと、
前記第1の領域から前記ビジョンデータによって取り込まれない、前記環境の異なるロボット作業空間への前記物体の搬送の完了前に、
前記ビジョンデータに基づいて生成される視覚的表現を、1つまたは複数のネットワークを介してリモートクライアントデバイスに送信するステップであって、前記視覚的表現が、前記物体特徴に基づいて生成された物体表現を含む、ステップと、
前記リモートクライアントデバイスにおいてレンダリングされるときの前記視覚的表現を対象とする前記リモートクライアントデバイスにおける1つまたは複数のユーザインターフェース入力に基づいて生成されるデータを、前記1つまたは複数のネットワークを介して前記リモートクライアントデバイスから受信するステップと、
前記データに基づいて、前記ロボット作業空間内で動作するロボットによる前記物体の操作のための1つまたは複数の物体操作パラメータを決定するステップと、
前記物体が前記ロボット作業空間内にあることを検出したことに応答して、前記1つまたは複数の物体操作パラメータに従って、前記ロボットに前記物体を操作させるステップであって、前記物体が、前記第1の領域から前記ロボット作業空間への前記物体の搬送の後、前記第1の時間に続く第2の時間に前記ロボット作業空間内にある、ステップと、
前記ロボットに前記物体を操作させた後、
1つまたは複数の追加のセンサからの追加のセンサデータに基づいて、前記操作の成功の測定値を決定するステップと、
成功の前記測定値が閾値を満たすことに基づいて正の訓練インスタンスを生成するステップと、
前記正の訓練インスタンスに基づいて機械学習モデルを訓練するステップと、
前記正の訓練インスタンスに基づいて前記機械学習モデルを訓練した後、
前記機械学習モデルを使用して、追加の物体を取り込む追加のビジョンデータを処理するステップと、
前記処理に基づいて、前記追加の物体に関する1つまたは複数の予測された物体操作パラメータを生成するステップと、
前記予測された物体操作パラメータの視覚的インジケーションを、前記リモートクライアントデバイスまたは追加のリモートクライアントデバイスに送信するステップと、
前記リモートクライアントデバイスまたは前記追加のリモートクライアントデバイスから、前記予測された物体操作パラメータの前記視覚的インジケーションの提示に応答して受け取られたユーザインターフェース入力によって定義された代替的な物体操作パラメータのインジケーションを受信するステップと、
前記代替的な物体操作パラメータを受信したことに応答して、1つまたは複数の代替的な物体操作パラメータに従って、前記ロボットに前記追加の物体を操作させるステップと
を含む、コンピュータ実装方法。 - 前記代替的な物体操作パラメータに基づくラベル付けされた出力を有する訓練インスタンスを使用して前記機械学習モデルをさらに訓練するステップをさらに含む請求項12に記載のコンピュータ実装方法。
- 前記ロボットが前記物体を操作する前に、
前記第1の領域内の前記1つまたは複数のビジョン構成要素から、前記第1の時間の後であるが前記第2の時間の前である第3の時間の前記第1の領域の特徴を取り込むビジョンデータを受信するステップであって、前記ビジョンデータが、前記第3の時間の第1の領域内にある新しい物体の新しい物体特徴を含む、ステップと、
新しいビジョンデータに基づいて生成される新しい視覚的表現を前記リモートクライアントデバイスに送信するステップであって、前記新しい視覚的表現が、前記新しい物体特徴に基づいて生成された新しい物体表現を含む、ステップと、
前記リモートクライアントデバイスにおいてレンダリングされるときの前記新しい視覚的表現を対象とする前記リモートクライアントデバイスにおける1つまたは複数の新しいユーザインターフェース入力に基づいて生成される新しいデータを、前記リモートクライアントデバイスから受信するステップと、
前記データに基づいて、前記ロボット作業空間内で動作するロボットによる前記新しい物体の操作のための1つまたは複数の新しい物体操作パラメータを決定するステップとをさらに含む請求項1に記載のコンピュータ実装方法。 - 前記ロボットが前記物体を操作した後に、
前記新しい物体が前記ロボット作業空間内にあることを1つまたは複数のロボットビジョン構成要素によって前記ロボットが検出したことに応答して、前記1つまたは複数の新しい物体操作パラメータに従って、前記ロボットに前記新しい物体を操作させるステップであって、前記新しい物体が、前記新しい物体の搬送の後、前記第2の時間に続く第4の時間に前記ロボット作業空間内にある、ステップをさらに含む請求項14に記載のコンピュータ実装方法。 - 前記第1の領域から前記ロボット作業空間への前記物体の前記搬送が、1つまたは複数のコンベヤによる請求項1から15のいずれか一項に記載のコンピュータ実装方法。
- 前記物体表現が、前記物体のレンダリングであり、前記レンダリングが、前記物体特徴に基づいて生成され、前記ビジョンデータ内で可視である前記物体の1つまたは複数の特徴を省略する請求項1から16のいずれか一項に記載のコンピュータ実装方法。
- 前記物体が前記ロボット作業空間内にあることを検出することが、前記ロボットの1つまたは複数のロボットビジョン構成要素からのロボットビジョンデータに基づく前記ロボットによる請求項1から17のいずれか一項に記載のコンピュータ実装方法。
- 環境内の1つまたは複数のビジョン構成要素から、前記環境内にある物体の物体特徴を含む前記環境の特徴を取り込むビジョンデータを受信するステップと、
機械学習モデルを使用して前記ビジョンデータを処理することに基づいて、
前記物体に関する予測された物体操作パラメータ、および
前記予測された物体操作パラメータの信頼性の測定値
を生成するステップと、
前記予測された物体操作パラメータの前記信頼性の測定値が閾値の信頼性の測定値を満たすかどうかを判定するステップと、
前記信頼性の測定値が前記閾値の信頼性の測定値を満たすことができないと判定したことに応答して、
1つまたは複数のネットワークを介してリモートクライアントデバイスに、前記物体特徴に基づいて生成される前記物体の物体表現、および前記予測された物体操作パラメータの視覚的インジケーションを送信するステップと、
前記リモートクライアントデバイスにおいて前記物体表現および前記視覚的インジケーションをレンダリングすることに応答して前記リモートクライアントデバイスにおける1つまたは複数のユーザインターフェース入力に基づいて生成されるデータを、前記1つまたは複数のネットワークを介して前記リモートクライアントデバイスから受信するステップと、
前記データに基づいて、前記物体操作パラメータかまたは代替的な物体操作パラメータかのどちらかを利用すると決定するステップと、
決定された物体操作パラメータまたは前記代替的な物体操作パラメータに従って、ロボットに前記物体を操作させるステップと、
前記信頼性の測定値が前記閾値の信頼性の測定値を満たすと判定したことに応答して、
前記物体操作パラメータに従って前記物体を操作する前に確認のために前記視覚的インジケーションをいかなるリモートクライアントデバイスにも送信することなく、前記物体操作パラメータに従って前記ロボットに前記物体を操作させるステップとを含むコンピュータ実装方法。 - 前記ビジョン構成要素が、前記環境の第1の領域内にあり、前記予測された物体操作パラメータに関する前記信頼性の測定値が前記閾値の信頼性の測定値を満たすかどうかを判定するステップが、前記ロボットの異なるロボット作業空間への前記物体の搬送前に行われる請求項19に記載のコンピュータ実装方法。
- 請求項1から20のうちのいずれか一項に記載のコンピュータ実装方法を実行するように構成されたコンピューティングデバイス。
- 請求項1から20のうちのいずれか一項に記載のコンピュータ実装方法を実行するための命令を含む、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023135523A JP7512491B2 (ja) | 2019-07-26 | 2023-08-23 | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/523,655 | 2019-07-26 | ||
US16/523,655 US11213953B2 (en) | 2019-07-26 | 2019-07-26 | Efficient robot control based on inputs from remote client devices |
PCT/US2020/043502 WO2021021630A1 (en) | 2019-07-26 | 2020-07-24 | Efficient robot control based on inputs from remote client devices |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023135523A Division JP7512491B2 (ja) | 2019-07-26 | 2023-08-23 | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022544005A JP2022544005A (ja) | 2022-10-17 |
JP7338034B2 true JP7338034B2 (ja) | 2023-09-04 |
Family
ID=72047116
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022503961A Active JP7338034B2 (ja) | 2019-07-26 | 2020-07-24 | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 |
JP2023135523A Active JP7512491B2 (ja) | 2019-07-26 | 2023-08-23 | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023135523A Active JP7512491B2 (ja) | 2019-07-26 | 2023-08-23 | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11213953B2 (ja) |
EP (1) | EP3983857A1 (ja) |
JP (2) | JP7338034B2 (ja) |
CN (1) | CN114206558A (ja) |
WO (1) | WO2021021630A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11544594B2 (en) * | 2019-04-11 | 2023-01-03 | Sunghee Woo | Electronic device comprising user interface for providing user-participating-type AI training service, and server and method for providing user-participating-type AI training service using the electronic device |
US11213953B2 (en) | 2019-07-26 | 2022-01-04 | Google Llc | Efficient robot control based on inputs from remote client devices |
US11203116B2 (en) * | 2019-08-02 | 2021-12-21 | Teradyne, Inc. | System and method for predicting robotic tasks with deep learning |
JP7339806B2 (ja) * | 2019-08-05 | 2023-09-06 | 川崎重工業株式会社 | 制御システム、ロボットシステム及び制御方法 |
KR20190098936A (ko) * | 2019-08-05 | 2019-08-23 | 엘지전자 주식회사 | 쿠킹 로봇 시스템 및 그 제어 방법 |
JP2021091055A (ja) * | 2019-12-12 | 2021-06-17 | 株式会社キーエンス | 測定装置 |
US11587302B2 (en) * | 2019-12-17 | 2023-02-21 | X Development Llc | Shared dense network with robot task-specific heads |
US11530052B1 (en) | 2020-02-17 | 2022-12-20 | Amazon Technologies, Inc. | Systems and methods for automated ground handling of aerial vehicles |
US11597092B1 (en) * | 2020-03-26 | 2023-03-07 | Amazon Technologies, Ine. | End-of-arm tool with a load cell |
US11826908B2 (en) | 2020-04-27 | 2023-11-28 | Scalable Robotics Inc. | Process agnostic robot teaching using 3D scans |
US11534924B1 (en) | 2020-07-21 | 2022-12-27 | Amazon Technologies, Inc. | Systems and methods for generating models for automated handling of vehicles |
US11534915B1 (en) | 2020-08-05 | 2022-12-27 | Amazon Technologies, Inc. | Determining vehicle integrity based on observed behavior during predetermined manipulations |
CN117062695A (zh) * | 2021-03-04 | 2023-11-14 | 特优英特智能公司 | 机器人系统 |
US11772272B2 (en) * | 2021-03-16 | 2023-10-03 | Google Llc | System(s) and method(s) of using imitation learning in training and refining robotic control policies |
WO2022212916A1 (en) * | 2021-04-01 | 2022-10-06 | Giant.Ai, Inc. | Hybrid computing architectures with specialized processors to encode/decode latent representations for controlling dynamic mechanical systems |
EP4323934A1 (en) * | 2021-04-12 | 2024-02-21 | Plus One Robotics, Inc. | Dynamic machine learning systems and methods for identifying pick objects based on incomplete data sets |
WO2023039088A1 (en) | 2021-09-08 | 2023-03-16 | Acumino | Wearable robot data collection system with human-machine operation interface |
CN113927596B (zh) * | 2021-10-07 | 2023-08-01 | 西北工业大学 | 一种基于宽度神经学习的时变输出约束机器人遥操作有限时间控制方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012192466A (ja) | 2011-03-15 | 2012-10-11 | Omron Corp | 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置 |
JP2012230041A (ja) | 2011-04-27 | 2012-11-22 | Seiko Epson Corp | 位置検出方法、位置検出装置、ロボットシステム |
JP2017185578A (ja) | 2016-04-05 | 2017-10-12 | 株式会社リコー | 物体把持装置及び把持制御プログラム |
JP2018024045A (ja) | 2016-08-09 | 2018-02-15 | オムロン株式会社 | 情報処理システム、情報処理装置、ワークの位置特定方法、およびワークの位置特定プログラム |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU7251591A (en) | 1990-01-29 | 1991-08-21 | Technistar Corporation | Automated assembly and packaging system |
JP3187999B2 (ja) * | 1992-12-22 | 2001-07-16 | 三洋電機株式会社 | 産業用ロボット |
JP2005111607A (ja) | 2003-10-07 | 2005-04-28 | Fanuc Ltd | ロボット物流トラッキング装置 |
US20090306825A1 (en) * | 2008-04-21 | 2009-12-10 | Ying Li | Manipulation system and method |
JP5479312B2 (ja) | 2010-12-07 | 2014-04-23 | 本田技研工業株式会社 | ワークの特定部位認識方法及びその装置 |
JP5316563B2 (ja) * | 2011-02-15 | 2013-10-16 | オムロン株式会社 | 画像処理装置および画像処理システム |
US9092698B2 (en) * | 2012-06-21 | 2015-07-28 | Rethink Robotics, Inc. | Vision-guided robots and methods of training them |
JP5824173B1 (ja) | 2014-02-28 | 2015-11-25 | ファナック株式会社 | ロボットを用いて物品を整列させる物品整列装置及び物品整列方法、並びに物品整列装置を備えた物品移送システム |
US9486921B1 (en) * | 2015-03-26 | 2016-11-08 | Google Inc. | Methods and systems for distributing remote assistance to facilitate robotic object manipulation |
US9802317B1 (en) * | 2015-04-24 | 2017-10-31 | X Development Llc | Methods and systems for remote perception assistance to facilitate robotic object manipulation |
CN105563484B (zh) * | 2015-12-08 | 2018-04-10 | 深圳达闼科技控股有限公司 | 一种云机器人系统、机器人和机器人云平台 |
CN111832702A (zh) * | 2016-03-03 | 2020-10-27 | 谷歌有限责任公司 | 用于机器人抓取的深度机器学习方法和装置 |
US10131051B1 (en) * | 2016-08-12 | 2018-11-20 | Amazon Technologies, Inc. | Anticipation-based robotic object grasping |
CA2977077C (en) * | 2017-06-16 | 2019-10-15 | Robotiq Inc. | Robotic arm camera system and method |
JP2019016294A (ja) | 2017-07-10 | 2019-01-31 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム、及びシステム |
US12005566B2 (en) * | 2017-10-18 | 2024-06-11 | Congruens Group, Llc | On-demand robotic food assembly equipment, and related systems and methods |
EP3704626A1 (en) | 2017-11-02 | 2020-09-09 | Amp Robotics Corporation | Systems and methods for optical material characterization of waste materials using machine learning |
US10766137B1 (en) * | 2017-11-03 | 2020-09-08 | Amazon Technologies, Inc. | Artificial intelligence system for modeling and evaluating robotic success at task performance |
CN107891425B (zh) * | 2017-11-21 | 2020-05-12 | 合肥工业大学 | 智能双臂安全协作人机共融型机器人系统的控制方法 |
US10843333B2 (en) * | 2018-03-05 | 2020-11-24 | Berkshire Grey, Inc. | Systems and methods for processing objects, including automated re-circulating processing stations |
US11584016B2 (en) * | 2018-04-24 | 2023-02-21 | Fanuc Corporation | Robot controller and system |
US10824142B2 (en) * | 2018-05-01 | 2020-11-03 | Dexterity, Inc. | Autonomous robot with on demand teleoperation |
US11213953B2 (en) | 2019-07-26 | 2022-01-04 | Google Llc | Efficient robot control based on inputs from remote client devices |
US11318499B2 (en) * | 2019-12-19 | 2022-05-03 | Nimble Robotics, Inc. | Robotic system having shuttle |
-
2019
- 2019-07-26 US US16/523,655 patent/US11213953B2/en active Active
-
2020
- 2020-07-24 CN CN202080053232.7A patent/CN114206558A/zh active Pending
- 2020-07-24 JP JP2022503961A patent/JP7338034B2/ja active Active
- 2020-07-24 EP EP20754540.1A patent/EP3983857A1/en active Pending
- 2020-07-24 WO PCT/US2020/043502 patent/WO2021021630A1/en unknown
-
2021
- 2021-11-24 US US17/535,393 patent/US11724398B2/en active Active
-
2023
- 2023-08-11 US US18/233,261 patent/US20230398690A1/en active Pending
- 2023-08-23 JP JP2023135523A patent/JP7512491B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012192466A (ja) | 2011-03-15 | 2012-10-11 | Omron Corp | 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置 |
JP2012230041A (ja) | 2011-04-27 | 2012-11-22 | Seiko Epson Corp | 位置検出方法、位置検出装置、ロボットシステム |
JP2017185578A (ja) | 2016-04-05 | 2017-10-12 | 株式会社リコー | 物体把持装置及び把持制御プログラム |
JP2018024045A (ja) | 2016-08-09 | 2018-02-15 | オムロン株式会社 | 情報処理システム、情報処理装置、ワークの位置特定方法、およびワークの位置特定プログラム |
Also Published As
Publication number | Publication date |
---|---|
US11724398B2 (en) | 2023-08-15 |
US20220152833A1 (en) | 2022-05-19 |
CN114206558A (zh) | 2022-03-18 |
US11213953B2 (en) | 2022-01-04 |
JP2023164459A (ja) | 2023-11-10 |
US20210023711A1 (en) | 2021-01-28 |
US20230398690A1 (en) | 2023-12-14 |
JP7512491B2 (ja) | 2024-07-08 |
JP2022544005A (ja) | 2022-10-17 |
WO2021021630A1 (en) | 2021-02-04 |
EP3983857A1 (en) | 2022-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7338034B2 (ja) | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 | |
JP6921151B2 (ja) | ロボットの把持のための深層機械学習方法および装置 | |
US11640517B2 (en) | Update of local features model based on correction to robot action | |
EP3621773B1 (en) | Viewpoint invariant visual servoing of robot end effector using recurrent neural network | |
US11780083B2 (en) | Determining and utilizing corrections to robot actions | |
US11919169B2 (en) | Optimization of motion paths of a robot using vision data | |
US10166676B1 (en) | Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot | |
JP2022541352A (ja) | 形状制約付きの非線形ロボットシステムの軌道最適化のための方法およびシステム | |
US11823048B1 (en) | Generating simulated training examples for training of machine learning model used for robot control | |
US20220355483A1 (en) | Methods and Systems for Graphical User Interfaces to Control Remotely Located Robots | |
CN116600945A (zh) | 用于抓取生成的像素级预测 | |
JP2023545109A (ja) | 仮想環境における複数のロボットのシミュレーション | |
RU2813444C1 (ru) | Система взаимодействия человек-робот на основе смешанной реальности | |
US11654550B1 (en) | Single iteration, multiple permutation robot simulation | |
CN114728412B (zh) | 使用视觉数据的机器人的运动路径的优化 | |
Gwozdz et al. | Enabling semi-autonomous manipulation on Irobot’s Packbot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7338034 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |