JP2024517361A - 相補性制約を使用して衝突を回避する物体操作 - Google Patents

相補性制約を使用して衝突を回避する物体操作 Download PDF

Info

Publication number
JP2024517361A
JP2024517361A JP2024513569A JP2024513569A JP2024517361A JP 2024517361 A JP2024517361 A JP 2024517361A JP 2024513569 A JP2024513569 A JP 2024513569A JP 2024513569 A JP2024513569 A JP 2024513569A JP 2024517361 A JP2024517361 A JP 2024517361A
Authority
JP
Japan
Prior art keywords
obstacle
complementarity
constraints
polytope
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024513569A
Other languages
English (en)
Inventor
ラフナサン，アルビンド
ジャー，デベシュ
ロメレス，ディエゴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2024517361A publication Critical patent/JP2024517361A/ja
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40475—In presence of moving obstacles, dynamic environment
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40476—Collision, planning for collision free path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40517—Constraint motion planning, variational dynamic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Feedback Control In General (AREA)

Abstract

コントローラは、最適軌道に従い物体が障害物と衝突することを回避しつつ物体の状態を開始状態から終了状態まで変化させるタスクを実行する物体の運動を制御し、最適軌道は、相補性制約を用いて物体の凸包と障害物の凸包との間の最小距離をモデル化する一次停留条件の解に対する制約の下でタスクを実行するための最適軌道を生成する物体の力学の最適化問題を解くことにより、決定される。

Description

本開示は、軌道に沿って所望のタスクを実行する物体の制御および最適化のためのシステムおよび方法に関し、より具体的には相補性制約を使用して衝突を回避する物体操作のためのシステムおよび方法に関する。
多くの実用的用途において、機械および物体は、障害物が散乱していることが多くそのために衝突が起こりやすい環境で動作する。そのような環境は、制約のある環境とみなされる。障害物は、他の物体、機械、生物などの場合がある。動作条件次第で、そのような制約のある環境で動作するシステムは、静止および／または動的障害物を包含する可能性がある。そのようなシステムは、動的システムとみなすことができ、非線形微分代数方程式（ＤＡＥ：Differential Algebraic Equation）を使用して記述することができる。そのようなシステムにおいて、物体が通ることになる軌道は、異なる動作シナリオに適合するように最適化される必要がある。そのようなシステムの一例は、ロボット操作のためのシステムである。
ロボットシステムは、ロボットアーム（マニピュレータとも呼ばれる）を含むロボット装置を制御するように構成することができる。たとえば、ロボットシステムは、入力信号を受けて制御信号を生成するコントローラを含み得るものであり、ロボットアームは、コントローラにフィードバック信号を提供し得るものである。そのようなシステムの一例は、他のロボットおよびそれらの作業環境との衝突を回避しつつ、製品を組み立てるためにロボットマニピュレータが使用される、産業用組立タスクである。
マニピュレータの最適軌道の計画は、所望のタスクを実行する時間を最小にしつつ障害物を回避することを含み、一般的には難しい最適化問題である。どの軌道最適化アルゴリズムも、マニピュレータの力学の制約および衝突回避に起因する制約を満たしつつ、タスクを実行するために必要とされる時間を最小にしなければならない。障害物を回避するという要件は、一組の非平滑・非凸制約につながり、一組の非平滑制約に対する連続時間動的システムの最適化は、解決するのが困難な問題である。障害物回避に起因する非平滑・非凸制約は、軌道生成および最適化中に実施される必要がある。また、最適化問題は非凸であるため、複数の極小値が存在することがわかるが、最適化アルゴリズムは最小値の発見を保証されない。結果として、そのようなアルゴリズムから返される解が実際に障害物を回避するという保証はない。そのような障害物回避制約の一例は、衝突回避が所望される２つの物体間の距離である。障害物回避の問題を最適化するために、物体間の距離は常に非ゼロであることが望ましい。いくつかの従来の方法は、障害物回避を伴う軌道計画を最適化問題としても定式化する。たとえば、米国特許第７，２４８，９５２に記載されている方法は、最適化問題として定式化された物体間の距離制約を伴う混合整数線形計画問題として軌道計画を定式化する。
そのような定式化の欠点は、距離制約が、良くても一度微分可能、または、全く微分可能でない点である。たとえば、従来の軌道計画アルゴリズムは、制約が少なくとも一度連続微分可能であると仮定する、非線形計画アルゴリズムを使用する。これは、コンピューティング制御のための最適化問題が微分不能になるという状況につながる。そのため、障害物回避制約の賢明な定式化が、その定式化が非線形計画アルゴリズムに従うために、必要である。
したがって、少なくとも１つの障害物を回避しつつ物体の軌道を最適化することが必要であり、この最適化は平滑制約を受ける。
いくつかの実施形態は、物体が障害物に衝突することを回避しつつ、開始状態から終了状態まで物体の状態を変化させるタスクを実行する物体の運動を制御するためのシステムおよび方法を提供することに向けられている。開始状態から終了状態までの物体の状態の変化は、一連の状態を通る軌道を包含し得る。それに加えてまたはその代わりとして、いくつかの実施形態の目的は、タスクを実行する物体の状態の軌道を最適化することにより、全体としてタスクの性能を最適化することである。そのような被制御物体の例は、ロボットマニピュレータ、自動運転車、ドローンなどを含む。
いくつかの実施形態は、軌道最適化アルゴリズムがシステムのいくつかの制約を満たす必要がある、という認識に基づいている。これらの制約は、システムの力学モデルやシステムの状態および制御範囲に起因して、または障害物回避制約に起因して、生じる可能性がある。ＤＡＥは、平滑力学システムを表すには十分である。残念ながら、いくつかのシステムについての力学は、常に平滑であるとは限らないため、ＤＡＥによって全体を表現することはできない。しかしながら、いくつかの実施形態は、いくつかの非平滑力学を、ある状態変数に対する相補性条件を使用することによって表すことができる、という認識に基づいている。非平滑力学を表現するために相補性条件が使用されるシステムのいくつかの例は、摩擦相互作用を伴うシステムであり、この摩擦相互作用は相補性条件として表される。いくつかの実施形態は、相補性条件を使用して非平滑力学を定式化することが、非線形計画アルゴリズムで解くことができる最適化問題の作成を可能にする、という認識に基づいている。
いくつかの実施形態の例は、凸最適化問題としての障害物回避制約の定式化に基づく。いくつかの実施形態の例は、障害物回避を、十分な平滑度を伴う最適化における制約として定式化しなければならない、という理解に基づいている。そのような定式化は、実現可能ないかなる軌道も障害物を回避すること、および、制約の平滑度が非線形計画アルゴリズムの採用を可能にすることを、確実にする。さらに、最適化の定式化のいかなる極小値も障害物の回避を充足し、それにより、最小値を得る必要性を回避する。
いくつかの実施形態は、制御問題についてのそのような定式化において、タスクを実行するための制御は主制御問題とみなすことができ、衝突回避は従属制御問題である、という理解に基づいている。この主制御問題は最適化問題である。しかしながら、衝突回避問題も最適化問題である、なぜなら、さまざまな形状の異なる物体の２点間の衝突を調べるためにはこれらの物体間の最も近い点を見つける必要があり、最も近い点の探索は、２つの物体のさまざまな点のすべての間の距離の最適化、すなわち最小化の問題であるためである。そのため、衝突を回避する最適な物体制御は、ネスト化された最適化問題を、すなわち、基準軌道の最適化および衝突回避に必要な最適化を解くことを含む。
ネスト化された最適化を解くことは、それ自体が難しい問題であるが、衝突回避アプリケーションの文脈においては一層難しい問題である。その理由は、衝突回避に必要な最適化が不良設定問題（ill-posed problem）であることにある。結局のところ、異なる物体の複数対の点は、同一距離を有し得る。最小距離を有するすべての対の点について衝突を回避することが望ましいが、この曖昧さが衝突回避最適化を微分不能にし、このことが、ネスト化された最適化が主制御目的を達成することを妨げる場合がある。
したがって、いくつかの実施形態の目的は、衝突を回避する最適な制御アプリケーションのネスト化された最適化の計算上の問題に対処することである。いくつかの実施形態は、衝突回避最適化は主制御問題に従属するので、その解を主制御問題の解に対するテストに置き換えることができる、という認識に基づいている。このテストの特性は、このテストが充足される場合、主制御最適化の解が、異なる物体のすべての異なる対の点について衝突なしである、というような特性である。加えて、さまざまな微分可能技術によって制御対象物の状態の変化の最適化を制御するという文脈において、そのようなテストは、物体の状態に対して微分可能な態様で依存していなければならない。そのようなテストは相補性制約の助けを借りて定義できることがさらに認識された。
いくつかの実施形態は、物体の点間の距離が、その点すべての間の差の距離関数として表される場合、物体間の最小距離は、この関数の停留点に対応する、という認識に基づいている。本明細書で使用される、距離のような１つの変数の微分可能関数の停留点は、この関数の導関数が実現可能な運動方向に沿って非負である関数のグラフ上の点である。そのような距離関数のすべての一次停留点はミニマイザであり、距離関数の曖昧さは、そのような関数が複数の停留点を有し得ることを示唆する。いずれにしても、そのような定式化に従うと、最適最小化問題は、そのような距離関数の一次停留条件の解によって置き換えることができる。有利なことに、そのような解は、微分可能な態様で発見することができ、さまざまな非線形計画アルゴリズムの適用可能性を保証する。
いくつかの実施形態は、制御下の物体の形状および衝突を引き起こし得る障害物の形状を凸包として表すことができ、そのため、これらの物体内の各点は、対応する包の頂点の非負の重みのベクトルであるという、別の認識に基づいている。有利なことに、そのような表現は、物体の状態からこれらのベクトルの重みを分離することを可能にする。具体的には、凸包によって表される物体の位置は状態に依存するが、包内の異なる点を定義する重み自体は状態とは無関係である。そのような表現は、物体の点および障害物の点の間の距離の定式化を、重みが単体上にあることが要求される凸問題にする。単体は、その要素、重みが非負であり、合計が１である凸集合である。最小距離最適化の凸性は、相補性制約を受ける一次停留条件を使用して再定式化することを可能にする。
このようにして、いくつかの実施形態は、ネスト化された最適化問題を、相補性制約を使用して物体の凸包と障害物の凸包との間の最小距離をモデル化する一次停留条件の解に対する制約を受ける単一の最適化問題に、変換する。最小距離に対する制約を一次停留条件の解として表現することで、このような表現を微分可能にする。
ネスト化された最適化問題を単一の最適化問題に変換することは、より少ない反復を必要とし、よって、ネスト化された問題によって消費されたであろうものと比較して、より少ないリソースを消費する。そのため、いくつかの実施形態の例は、より高速な最適化プロセスにつながり、このプロセスについて実現されるいくつかの有益な態様は、プロセスを実行するときの全体的なリソース消費、ＣＰＵ時間、およびクロックサイクルの著しい改善を含む。そのような技術的利益は、最適化問題が、自動運転、ロボット、ドローンなどのようなリソース不足の用途の一部として実現されるときに、さらに拡大され、より実用的な利益に変換される。
さらに、いくつかの実施形態の例は、制約に導入される平滑さのために、この問題の根底にある変換が、多くの仮定または近似を行う必要がないので、精度の点で一層最適化された軌道をもたらす。その理由は、制約を相補性条件として表現することにより、従来の最適化アルゴリズムを使用してロバストに解くことを可能にし、したがって、より高い品質の解をもたらす、調整された緩和を使用することが可能になることにある。
いくつかの実施形態は、衝突を回避する制御最適化が、自動運転車の組立、駐車または制御を実行するロボット、ドローンの自律運動等の、多くの制御用途に役立ち得る、という理解に基づいている。特に、いくつかの実施形態は、相補性制約を用いて衝突回避問題を定式化することは、ロボット用途において特に有益となり得る、という認識に基づいている。ほとんどのロボット用途は、コンタクトリッチ（contact-rich）マルチボディ相互作用を引き起こす、片側接触、摩擦接触、衝撃、および変形のような、根底にある難しい現象に対処しつつ、制約のある環境の存在によって特徴付けられる。これらのコンタクトリッチマルチボディ摩擦相互作用システムは、一般的に、相補性条件を使用して表すことができる非平滑力学によって説明される。したがって、衝突回避も相補性制約によって定式化される場合、そのような定式化は、接触および衝突回避を統一的に扱うことを可能にする。
いくつかの有益な態様は、実現された多くの有益な態様の中でもとりわけ、本開示の実施形態が、衝突確認／回避モジュールを明確に必要とすることなく、または実現可能な初期解を与えることなく、剛体のための連続時間無衝突動的軌道を生成できることである。
本明細書に記載される本開示の実施形態のいくつかの特徴は、自動車産業、航空宇宙産業、非線形制御システム、およびプロセスエンジニアリングにおいて使用することができる。また、本開示の実施形態のいくつかの特徴は、半導体ウェハ処理システムにおける用途に適した複数のエンドエフェクタを有する材料ハンドリングロボットに使用することが可能である。たとえば、上記動作を利用して、ウェハまたは基板をオフセットステーションから持ち上げ／設置することができる。１つのエンドエフェクタによる持ち上げ動作と、それに続く、別のエンドエフェクタによる設置動作とのシーケンスは、オフセットステーションにおいてウェハ／基板を迅速に交換するために使用することができる（迅速交換動作）。ロボット駆動ユニットは、ロボットアームの鉛直方向の高さを制御するための１つ以上の垂直リフト機構を含み得るものであり、この機構は、異なる高さのステーションにアクセスし、ロボットアームのエンドエフェクタ間の鉛直方向の距離を補償し、材料の持ち上げ／設置動作を容易にするために、使用することができる。意図されているのは、ロボット装置が、モータ駆動ボールねじを利用できること、または、リードねじ、リニアモータ、リンク機構、はさみ機構、油圧アクチュエータ、空気圧アクチュエータ、およびそれらの組み合わせを含むがそれらに限定されない、任意の他の適切な作動機構を利用できること、である。２つ以上のロボットアームの場合、構成は、一方のアームの場所が他方のアームと同一面または異なる面のいずれかにある、上側アームと下側アームとを含み得ることに、注意されたい。
したがって、一実施形態は、物体が障害物と衝突することを回避しつつ、物体の状態を開始状態から終了状態まで変化させるタスクを実行する物体の運動を制御するためのコントローラを開示し、コントローラは、少なくとも１つのプロセッサと、命令が格納されたメモリとを備え、命令は、少なくとも１つのプロセッサによって実行されると、コントローラに、物体および障害物の力学ならびに物体および障害物の幾何学的形状を示すデータを取得することを、実行させ、物体の幾何学的形状は、物体の実際の形状を取り囲む凸形状を含み、障害物の幾何学的形状は、障害物の実際の形状を取り囲む凸形状を含み、さらに、相補性制約を用いて物体の凸形状と障害物の凸形状との間の最小距離をモデル化する一次停留条件の解に対する制約の下でタスクを実行するための最適軌道を生成する物体の力学の最適化問題を解くことと、最適軌道に従って物体の運動を制御することとを、実行させる。
別の実施形態は、物体が障害物と衝突することを回避しつつ、物体の状態を開始状態から終了状態まで変化させるタスクを実行する物体の運動を制御するための方法を開示し、方法は、この方法を実現する格納された命令と結合されたプロセッサを使用し、命令は、プロセッサによって実行されると、方法のステップを実行し、方法のステップは、物体および障害物の力学ならびに物体および障害物の幾何学的形状を示すデータを取得するステップを含み、物体の幾何学的形状は、物体の実際の形状を取り囲む凸形状を含み、障害物の幾何学的形状は、障害物の実際の形状を取り囲む凸形状を含み、さらに、相補性制約を用いて物体の凸形状と障害物の凸形状との間の最小距離をモデル化する一次停留条件の解に対する制約の下でタスクを実行するための最適軌道を生成する物体の力学の最適化問題を解くステップと、最適軌道に従って物体の運動を制御するステップとを含む。
さらに別の実施形態は、物体が障害物と衝突することを回避しつつ、物体の状態を開始状態から終了状態まで変化させるタスクを実行する物体の運動を制御するための方法を実行するための、プロセッサによって実行可能なプログラムが実装された非一時的なコンピュータ読取可能記憶媒体を開示し、この方法は、物体および障害物の力学ならびに物体および障害物の幾何学的形状を示すデータを取得するステップを含み、物体の幾何学的形状は、物体の実際の形状を取り囲む凸形状を含み、障害物の幾何学的形状は、障害物の実際の形状を取り囲む凸形状を含み、さらに、相補性制約を用いて物体の凸形状と障害物の凸形状との間の最小距離をモデル化する一次停留条件の解に対する制約の下でタスクを実行するための最適軌道を生成する物体の力学の最適化問題を解くステップと、最適軌道に従って物体の運動を制御するステップとを含む。
ここに開示される実施形態について添付の図面を参照しつつさらに説明する。示される図面は必ずしも正しい縮尺ではなく、代わりに、一般的にここに開示される実施形態の原理の説明に対して強調が加えられる。
いくつかの実施形態に係る、軌道最適化問題の概要を示す図である。 いくつかの実施形態の原理を使用して平面内で軌道を計画するための例を示す概略図である。 いくつかの実施形態に係る、物体が障害物に衝突することを回避しつつ、物体の状態を開始状態から終了状態まで変化させるタスクを実行する物体の運動を制御するための方法のブロック図を示す。 一実施形態に係る、最適化を解くための最適化ソルバの逐次ワークフローを示す図である。 いくつかの実施形態に係る、物体と障害物との間の最小距離に対して相補性制約を課すための原理の概略図を示す。 いくつかの実施形態に係る、図３Ａの原理を使用して物体の制御を実行するための原理の概略図を示す。 いくつかの実施形態に係る、図３Ａの原理を使用して物体の制御を実行するための原理の概略図を示す。 ポリトープを使用して物体および障害物をパラメータ化する１つの例を示す図である。 いくつかの実施形態に係る、ポリトープの頂点に関して物体の任意の点をパラメータ化する１つの例を示す図である。 いくつかの実施形態に係る、ポリトープの頂点に関して物体の任意の点をパラメータ化する１つの例を示す図である。 いくつかの実施形態に係る、ポリトープの頂点に関して物体の任意の点をパラメータ化する１つの例を示す図である。 いくつかの実施形態に係る、ポリトープの頂点に関して物体の任意の点をパラメータ化する１つの例を示す図である。 ネスト化された最適化問題を凸／二次計画に変換し、相補性制約を受ける一次最適条件を識別することを説明する図である。 いくつかの実施形態に係る、ロボット操作のシナリオの例の概略図を示す。 いくつかの実施形態に係る、スライダ－プッシャシステムが障害物の存在下で機能するシナリオの例を示す図である。 いくつかの実施形態に係る、衝突回避問題の定式化の概略図を示す。 いくつかの実施形態の例に係る、ロボットを使用して物体を制御するための方法の例を示す図である。 本開示のいくつかの実施形態に係る、ロボット装置に関連付けられるいくつかの方法を実現するために使用されるいくつかのステップを示すフロー図である。 いくつかの実施形態に従って動作するロボットマニピュレータを含むホロノミックカートを示す図である。 本開示のいくつかの実施形態に係る、いくつかの方法を実現するために使用されるデータ処理システムのいくつかの構成要素を示すブロック図である。 いくつかの実施形態に係る、ロボット装置に関連付けられる軌道コントローラを実現するために使用されるいくつかのモジュールのフロー図である。 本開示のいくつかの実施形態に係る、いくつかの方法を実現するために使用されるいくつかの構成要素を示すブロック図である。 いくつかの実施形態に係る、ロボットアームを使用する制御システムの一例を示す図である。 一実施形態に係るシステムの概略図を示す。
本明細書に記載される実施形態の例は、衝突が起こり易い軌道において移動するように構成された物体の制御および最適化のためのシステムおよび方法に向けられている。日常的な物体に関連するいくつかのタスクの自動化は、時間の経過に伴って何倍にも増加しており、今日の自動化システムは、日々の生活に非常に多く浸透しているので、至る所で人間とほぼ共存している。多くの場合、ある種の自動化システムは、タスクを実行することが周囲環境の理解によって大きく制約される、非常に混乱した環境で動作する。特に、そのような環境は、多くの場合、多数の障害物を含み、タスクは、障害物の存在下において、障害物との接触を回避しつつ、実行される必要がある。そのため、タスクを実行する目的は、所望のタスク目的を同時に達成しつつ、障害物と衝突することなくタスクを実行することに、変換される。さらに、衝突回避を保証しつつ障害物を通り抜けるためには所望のタスクを実行するための最適軌道の生成が必要とされるシナリオが発生する。これらのタスクの例は、ロボット操作タスク（自動化された組立、ロボットキッティングなど）、車両の自動駐車、無人航空機による自動監視および配達などを含む。
ロボット操作タスクという文脈において、１つ以上のロボットが、そのような混乱した環境で操作タスクを実行する。ロボットシステムは、物体の把持、ピックアップ、または移動を含む用途に使用されるエンドエフェクタまたはグリッパを含む、ロボットアームを含み得る。例として、ロボット装置は、タスクまたは一連のタスクを完了するために使用することができる。そのようなタスクは、ロボットシステムが、環境内のどこに物体が位置するかについての所与の知識に基づいて物体を持ち上げるよう、ロボットアームに指示できるようにして、物体を移動させることを含み得る。一般的に、マニピュレータのアームに対する制御入力は、初期姿勢から所望の姿勢に移るためにロボットが関節の各々に与えなければならないモータトルクである。
操作問題は、ロボットが操作対象の物体の所望の構成を実現するために外部環境との所望の接触シーケンスを計画し制御しなければならない問題である。これらのタスクの計画は、環境内の障害物を回避しつつ、接触による軌道最適化を必要とする。いくつかの実施形態の例は、接触力学に従い衝突を回避する軌道を計算するための新たな方法を開示する。特に、いくつかの実施形態の例は、相補性制約を使用して接触および障害物回避の両方をモデル化する。これは、統合されたフレームワークにおいてロボット操作タスクを計画することを可能にする。軽微な修正を伴う同様のアプローチを、自動駐車、ＵＡＶの自動飛行等の他の用途分野に適用することができる。
いくつかの実施形態の例は、従来の手法の欠点を取り除き、最適軌道の計算において行われる仮定の量を低減することにより、制御対象と障害物との間および障害物または制御対象間の衝突回避をより効率的に扱うことができる。いくつかの実施形態の例は、全次元障害物および制御対象の物体を、楕円体またはポリトープのような任意の凸状体としてモデルし得る、という認識に基づいている。加えて、いくつかの実施形態の例は、平滑であり汎用非線形計画法（ＮＬＰ：nonlinear programming）アルゴリズムを使用して扱うことができる手法に基づく。
本明細書に開示される実施形態の例は、接触および障害物の存在下で物体制御タスクを計画するという問題に関する。複数の物体間の摩擦接触のモデル化は、接触している物体の摩擦および剛性が原因で、非平滑力学につながる。これらの非平滑現象は、相補性制約を使用して数学的に表すことができる。障害物の存在下での摩擦相互作用を伴う物体の制御は困難である。衝突回避問題は、相補性制約を使用してモデル化される。実施形態の例のいくつかの有益な態様のうちのいくつかは、衝突回避問題の定式化が微分可能になることを含み、ＮＬＰソルバの使用を可能にし、処理は、物体と静止障害物との間、および物体と物体との間の衝突回避について同一である。物体という用語は、複数形で使用される場合、静止障害物を意味する場合もある。以下の部分において、上記およびいくつかの他の態様について、特に図面を参照しながらより詳細に説明する。
図１Ａは、いくつかの実施形態に係る、軌道最適化問題の概要を示す図である。物体１０は、たとえばロボットマニピュレータ２０によって制御される。物体制御は、物体１０の軌道３０が、物体１０の環境にも存在し得る１つ以上の障害物４０との接触／衝突を回避するように、計画されなければならない。物体１０の軌道はいくつかの状態（Ｃｉ，Ｃ１，Ｃ２，Ｃｆ）を含み得るものであって、これらの状態の各々は、物体１０の特定の位置、向き、および形態を指定する。この点に関して、物体１０の軌道３０は、２つ以上の状態間を遷移する物体１０が辿る経路を定めることができる。軌道３０はまた、ロボットマニピュレータ２０に関連付けられたコントローラのようなコントローラが物体１０に対して実行する制御のセットに対応し得る。１つ以上の障害物４０は、物体１０の環境内の他の物体、たとえば物体１０が通ることが制限され得る、物体、生物、または空間であってもよい。軌道３０のような軌道を最適化するために、コントローラは、システムのすべての制約を考慮しながら、所望の目的関数を最適化する状態および入力のシーケンスを生成する。障害物を回避するという要件は、非凸制約のセットをもたらし、非凸制約のセットに対する連続時間動的システムの最適化は、解くのが難しい問題をもたらす。障害物回避に起因する非凸制約は、軌道最適化中に実施される必要がある。
物体を移動させるように構成されたマニピュレータのモーションプランニングは、多くのロボットプロセスにおいて反復性要素である。たとえば、いくつかのモーションプランニング実行は、マニピュレータが、完全問題を運動学的計画および軌道追跡という２つのステップに分解することによって開始状態から目標状態に到達するためのものである。しかしながら、問題を２つのステップに分けることは、最適性という点で、得ることができる解の品質を制限する。特に、この問題が同時に解決されるとき、最適化アルゴリズムは、ロボットシステム上でアクティブなすべての制約を考慮しながら労力を最小限に抑える解を発見することを強いられる。多くの有益な態様のうち、最小限の労力は、処理要件の大幅な低減をもたらし、ひいてはプロセス全体をより少ないリソース消費にする。そうすると、プロセスを、低コストでリソースが少ないプロセッサで実行することが可能になり、それにより、オンボードリソース可用性が常に希少である自動運転、自動駐車、ドローンなどのような分野にプロセスを適用する可能性を高める。
いくつかの実施形態の例は、軌道最適化が、システムのすべての制約を考慮しつつ、所望の目的関数を最適化する状態および入力のシーケンスを生成する手順である、という認識に基づいている。１つの実験は、問題を、動的計画が後に続く運動学的計画に分解することを使用するように軌道計画を構成した軌道最適化のための軌道計画アプローチを含んでいた。運動学的計画は、環境に存在する障害物との衝突の可能性を確認しつつ、ロボットの構成空間内に経路を配置するように設定された。しかしながら、実験中のいくつかのテストは、多くの場合、実行不可能な軌道、または、準最適であり後に力学にとって実行不可能であると認識された軌道をもたらした。得られたまたは学習されたものは、運動学的計画モジュールは力学を考慮しておらずその結果として計画モジュールがシステムの力学および制御飽和限界を認識していなかった、ということであった。これは、システムの制御限界を飽和させる軌道をもたらした、または、望ましくないことが証明された動的非平滑性をもたらした（すなわちロボットは多くの場合移動中に非常に高い加速度を経験した）。このように、本開示のある認識は、幾何学的制約と状態および入力制約とを取り入れることにより、ロボットシステムのための衝突のない最適な軌道を自動的に生成することが、非常に望ましいということである。この認識はさらに、最適化中の制約として実施されるので、ロボットと障害物との間の衝突確認を必要とすることなく、軌道最適化を可能にした。
いくつかの実施形態の例は、状態および制御制約の存在下でのほとんどの軌道最適化問題を、非線形最適化技術を使用して解くことができる、という認識に基づいている。しかしながら、環境内の障害物の存在下でのマニピュレータのアームの移動が原因で課される幾何学的制約は、結果として非凸かつ微分不能な制約をもたらし、その理由は、一般的に最小関数が数学的微分不能であることにある。障害物との衝突を回避するために、最適化アルゴリズムは、すべての障害物からのリンクの各々の最小距離がリンクの運動中に常に正であることを保証する必要がある。
したがって、いくつかの実施形態は、非線形制約１３０を受けて最小化される非線形目的関数１２０によって定義される汎用非線形計画（ＮＬＰ）１１０を使用して、最適化問題を解くことにより、動作軌道を決定し、決定変数は、指定された間隔またはセット１４０内にある。最適な決定変数は、非線形制約１３０を受ける目的関数１２０を最小化することにより、指定範囲１４０内で得られる。いくつかの実施形態の目的は、ＮＬＰ１１０に対する微分解を提供することである。
図１Ｂは、いくつかの実施形態の原理を使用して平面内で軌道を計画するための例を示す概略図である。たとえば、一方の方向（たとえばｙ方向）の物体の運動が固定され、直交する他方の方向（たとえばｘ方向）の動きを最適化する必要があると仮定することにより、最適化問題を解くことが可能である。そのような仮定は、より多くの時間およびリソースを消費し、ミッションクリティカルであるアプリケーションには適さない、反復プロセスにつながる。たとえば、図１Ｂの例に示されるように、位置１０６のｘ運動は、障害物回避制約を満たさなければならないので、ｘ方向における位置の運動は、位置１０６を通過し２つの障害物１０４および１０５の間で境界が定められる短い水平セグメント１２１に限定される。
Figure 2024517361000002
しかしながら、本明細書に開示される実施形態の例は、代わりに、両方の軸に沿った物体の移動を同時に考慮する最小距離制約を利用する。そのような距離制約は、軌道最適化問題に、微分不可能な制約を導入する。いくつかのシナリオにおいて、最小距離制約は、ミニマイザが固有である場合にも最大で１回微分可能となり得る。しかしながら、物体がポリトープとしてモデル化される場合、ミニマイザの固有性を保証することはできない。たとえば、図１Ｂに示されるように、２つの障害物１０４と１０５との間の距離（両矢印として示される）は、障害物を質点として考慮するのではなく障害物の正確な幾何学的形状を考慮する場合、固有ではない。同様の理由から、操作対象の物体の軌跡１０３が２つの障害物１０４と１０５との間を通る場合、物体と障害物１０４、１０５のうちのいずれかとの間の距離は、必ずしも固有ではない。
このように、最小距離制約を使用して定義される軌道問題を解くためのＮＬＰソルバ１１０の有用性は、これらの制約が微分不能であること、および、これらの制約のミニマイザの固有性が保証されないことが原因で、問題となる。いくつかの実施形態の例は、微分不可能な制約ベースの問題を、固有のミニマイザを有する、微分可能で相補性条件ベースの最適化問題に変換する。
いくつかの実施形態は、物体の点間の距離が、その点すべての間の差の距離関数として表される場合、物体間の最小距離は、この関数の停留点に対応する、という認識に基づいている。本明細書で使用される、距離のような１つの変数の微分可能関数の停留点は、この関数の導関数が実現可能な運動方向に沿って非負である関数のグラフ上の点である。そのような距離関数のすべての一次停留点はミニマイザであり、距離関数の曖昧さは、そのような関数が複数の停留点を有し得ることを示唆する。いずれにしても、そのような定式化に従うと、最適最小化問題は、そのような距離関数の一次停留条件の解によって置き換えることができる。有利なことに、そのような解は、微分可能な態様で発見することができ、さまざまな非線形計画アルゴリズムの適用可能性を保証する。
いくつかの実施形態は、制御下の物体の形状および衝突を引き起こし得る障害物の形状を凸包として表すことができ、そのため、これらの物体内の各点は、対応する包の頂点の非負の重みのベクトルであるという、別の認識に基づいている。有利なことに、そのような表現は、物体の状態からこれらのベクトルの重みを分離することを可能にする。具体的には、凸包によって表される物体の位置は状態に依存するが、包内の異なる点を定義する重み自体は状態とは無関係である。そのような表現は、物体の点および障害物の点の間の距離の定式化を、重みが単体上にあることが要求される凸問題にする。単体は、その要素、重みが非負であり、合計が１である凸集合である。最小距離最適化の凸性は、相補性制約を受ける一次停留条件を使用して再定式化することを可能にする。
このようにして、いくつかの実施形態は、ＮＬＰのネスト化された最適化問題１１０を、相補性制約を使用して物体の凸包と障害物の凸包との間の最小距離をモデル化する一次停留条件の解に対する制約を受ける単一の最適化問題１１５に、変換する。最小距離に対する制約を一次停留条件の解として表現することが、このような表現を微分可能にするが、最適化問題１１５の解を相補性制約付き数理計画（ＭＰＣＣ：Mathematical Program with Complementarity Constraints）として定式化することを必要とする場合がある。
言い換えると、相補性制約付きのＮＬＰはＭＰＣＣである。相補性制約は、ｇ（ｘ）＝０またはｈ（ｘ）＝０のいずれかを必要とするスカラーのセットにマッピングする関数ｇ（ｘ）≧０，ｈ（ｘ）≧０間の数学的関係である。これはｇ（ｘ）≧０⊥ｈ（ｘ）≧０としてコンパクトに表される。関数ｇ（ｘ）、ｈ（ｘ）が等次元のベクトル関数である場合、表記ｇ（ｘ）≧０⊥ｈ（ｘ）≧０は、ｉ番目の成分ｇｉ（ｘ）≧０⊥ｈｉ（ｘ）≧０の各々について成り立つと理解される。
図２Ａは、いくつかの実施形態に係る、物体が障害物に衝突することを回避しつつ、物体の状態を開始状態から終了状態まで変化させるタスクを実行する物体の運動を制御するための方法２００のブロック図を示す。この方法は、この方法を実現する格納された命令と結合されたプロセッサを使用するコントローラによって実行され、命令はプロセッサによって実行されるとこの方法のステップを実行する。
この方法は、物体および障害物の力学および幾何学的形状を示すデータを取得するステップ２０１を含む。データ２０１は、当技術分野で利用可能な有線または無線通信を介して受信することができる。たとえば、物体の力学は、物体のアクチュエータの１つ以上の力の適用に応じた物体の状態の変化を記述する方程式のセットを含み得る。これらの力学は、モータまたはロボットアームのマニピュレータ等のアクチュエータによって作動させる物体の運動を計画することを可能にする。
さまざまな実施形態において、障害物は静止または移動している可能性がある。静止障害物の力学は、この障害物の固定された姿勢を示す。静止障害物の力学は、障害物の状態を時間の関数として定義する障害物の軌道を示す。このようにして、物体の最適軌道を計画する際に、最適化ソルバによって障害物の力学を考慮することができる。
物体および障害物の幾何学的形状は、物体および障害物の凸包を示す。凸包は、幾何学的形状の一部として受ける、または幾何学的形状に基づいて計算することができる。いくつかの実施形態において、幾何学的形状は３次元（３Ｄ）情報を含む。凸包の形状の一例は、ポリトープを含む。物体および障害物の幾何学的形状の表現を凸包として有することは、物体の凸包の頂点と障害物の凸包の頂点との重み付けされた組み合わせとして凸包内の点を定義することを可能にする。そのような表現は、物体および障害物の凸包の頂点に対する重みに対して相補性制約を課すことを可能にし、それにより、物体および障害物の状態から切り離された方法で最小距離を実現する。
次に、この方法は、相補性制約を使用して物体の凸包と障害物の凸包との間の最小距離をモデル化する一次停留条件の解に対する制約を受けるタスクを実行するための最適軌道を生成する物体の力学の最適化問題を解く（２０２）。いくつかの実装形態において、相補性制約によって支配される重みは、物体の状態および障害物の状態から独立しているので、最適化問題は、物体および障害物の凸包の頂点の位置をそれらの対応する状態に従って変化させることにより、最小距離をモデル化する。
異なる実施形態において、最適化問題の解は、最小時間問題、物体操作問題、または目的関数の数学的構造のうちの１つ以上を定義する目的関数を最適化する。これらの実施形態において、ＮＬＰソルバ１１０は、ネスト化された最適化問題を回避するために、相補性制約に起因して、ＭＰＣＣ１１５に変換される。
次に、この方法は、最適軌道に従って物体の運動を制御する（２０３）。たとえば、物体の運動を制御するために、コントローラは、最適な軌道を辿るように物体を移動させるようアクチュエータに指示する制御コマンドを生成するように構成される。加えて、コントローラをさらに、アクチュエータに最適軌道力を生成させるように構成することができる。
ネスト化された最適化問題を単一の最適化問題に変換することは、より少ない反復を必要とし、よって、ネスト化された問題によって消費されたであろうものと比較して、より少ないリソースを消費する。そのため、いくつかの実施形態の例は、より高速な最適化プロセスにつながり、このプロセスについて実現されるいくつかの有益な態様は、プロセスを実行するときの全体的なリソース消費、ＣＰＵ時間、およびクロックサイクルの著しい改善を含む。そのような技術的利益は、最適化問題が、自動運転、ロボット、ドローンなどのようなリソース不足の用途の一部として実現されるときに、さらに拡大され、より実用的な利益に変換される。
図２Ｂは、一実施形態に係る、最適化を解く（２０２）ための最適化ソルバの逐次ワークフローを示す。この実施形態において、コントローラ５０は、物体および障害物がポリトープとしてモデル化される場合であっても、ＮＬＰソルバ２１０などのＮＬＰソルバを使用して軌道最適化問題を解く。コントローラ５０は、物体に対するタスクを実行するまたは物体を使用するマシンの一部であってもよい。たとえば、コントローラ５０は、物体に対してロボット操作を実行するロボットに常駐していてもよい。代わりに、コントローラ５０は、自動駐車を行う車両に、または自動監視、配送等を行うＵＡＶに常駐していてもよい。そのような用途の例の各々において、コントローラ５０は、物体に対する制御を実行し、たとえば、場合によっては、この制御はロボットマニピュレータの場合のように接触ベースの操作であってもよく、車両の場合のように物体の運動の非接触ベースの制御であってもよい。よって、物体の制御は所望のタスクの実行に向けられるとみなすことができる。そのようなタスクの各々は、１つ以上の目的関数に関連付けられている場合がある。
ＮＬＰソルバ２１０は、コントローラ５０に関連付けられたメモリ内に常駐していてもよく、コントローラ５０によってオンデマンドで呼び出されてもよい。この点に関して、図２は、コントローラ５０のＮＬＰソルバの逐次ワークフローを示す。
ＮＬＰソルバ２１０は、（いくつかのうちでも特に）入力として、物体の力学の記述２２０と、相補性変数２３０と、衝突変数２４０と、所望のタスクまたは目的関数の定義２５０とを取得する。力学の記述２２０は、１つ以上の力を受けたときに物体がどのように移動するかを記述する方程式のセットを定義することができる。すなわち、力学の記述は、物体の動的挙動を定義することができる。コントローラ５０は、インターフェイスを介してユーザから力学の記述を受けることができる。代わりに、コントローラ５０は、そのような情報を格納するデータベースから力学の記述を取得してもよい。
目的関数２５０は、タスクに関連付けられるエンドユーザの目標を定義する。たとえば、目的関数は、タスクに関連付けられる最小時間問題、物体の目的地、または場合によっては追加的に目的関数の構造（二次または非線形）を定義することができる。非線形最適化計画ソルバによって提供される出力は、最適軌道、すなわち、物体の状態のシーケンス、および操作される物体に加えられるまたは適用される力またはトルク２６０を含み得る、制御入力である。これにより、コントローラ５０は、障害物１０４、１０５との衝突を回避しつつ、生成した最適軌道力２６０の値を用いて物体（この場合は物体の運動）を制御することができる。
図３Ａは、いくつかの実施形態に係る、物体と障害物との間の最小距離に相補性制約を課すための原理の概略図を示す。いくつかの実施形態は、物体および／または障害物の実際の形状を定義する幾何学的形状３３０が凸状であってもなくてもよい、という認識に基づいている。形状が凸状である場合、結果として生じる最適化問題が凸ではない可能性もあり、非凸最適化を解くことは難しい。
そのために、いくつかの実施形態は、物体および障害物の実際の形状を凸形状で取り囲み（３４０）、それらの凸形状に対する最小距離を実現する相補性制約３５０を定義するが、必ずしも物体および障害物の実際の形状ではない。このように、相補性制約を受ける、いくつかの実施形態によって解かれる、結果として得られた最適化問題は、凸である。
図３Ｂおよび図３Ｃは、いくつかの実施形態に係る、図３Ａの原理を使用して物体の制御を実行するための原理の概略図を示す。たとえば、図３Ｂの実施形態において、物体および障害物の凸形状の各々は、物体の凸包内の点を定義する不等式のセットと、障害物の凸包内の点を定義する不等式のセットとによって定義される凸包であり、相補性制約は、物体と障害物との間の最小距離を実現するために、物体と障害物との不等式のセットに課される。
Figure 2024517361000003
Figure 2024517361000004
（６）に対する最適解ｑ＊ｉｊ，ｉおよびｑ＊ｉｊ，ｊは、それぞれ、物体間の最短距離を与える物体ｉ；ｊにおける点である。（６）の最適化問題は凸問題である。（６）のすべての一次停留点はミニマイザである。
Figure 2024517361000005
Figure 2024517361000006
Figure 2024517361000007
図３Ｃは、別の実施形態に係る、コントローラ５０によって採用される物体の制御を行うための原理の概略図を示す。この実施形態において、物体および障害物の凸形状の各々は、頂点のセットによって定義されるポリトープであり、物体のポリトープ内の点は、物体のポリトープの頂点の重み付けされた組み合わせとして定義され、障害物のポリトープ内の点は、障害物のポリトープの頂点の重み付けされた組み合わせとして定義され、相補性制約は、物体と障害物との間の最小距離を実現するために物体および障害物のポリトープの頂点の重みに課される。このことは、任意の物体に対して凸状ポリトープを発見することは計算効率が良いタスクなので、有利である。
３０２において、コントローラ５０は、封入ポリトープを使用して関心空間内の各物体の物体範囲をモデル化する。この点に関して、コントローラ５０は、任意の適切な撮像および関連する画像処理技術を使用して、ポリトープを境界ポリトープとして定義してもよい。すなわち、コントローラ５０は、関心空間内の各エンティティに対する封入ポリトープのそのような実現を提供する１つ以上の適切な装置（撮像装置など）に通信可能に結合される。関心空間内の各エンティティは、別個の封入ポリトープを使用してモデル化されてもよい。
図４は、ポリトープを使用して物体および障害物をパラメータ化する１つの例を示す。物体または障害物の内側のすべての点は、物体または障害物を取り囲むポリトープの頂点に関して表すことができる。この説明のために、物体および障害物は同様に扱うことができ、したがって、物体に関する説明は、障害物にも等しく適用可能であるものとする。ｘ軸に沿う第１の寸法を２ｌとし、ｙ軸に沿う第２の寸法を２ｗとする矩形の物体を考慮し、中心がｘｙ平面内において座標（ｘｃ，ｙｃ）を有すると仮定する。そのような場合、物体の頂点は、ｘｙ平面の４象限においてそれぞれ座標（ｘｃ＋ｌ，ｙｃ＋ｗ），（ｘｃ－ｌ，ｙｃ＋ｗ），（ｘｃ－ｌ，ｙｃ－ｗ），および（ｘｃ＋ｌ，ｙｃ－ｗ）を有する。したがって、物体の内側の点は、封入ポリトープの頂点に関して表現することができ、物体は、質点として近似するのではなく、連続質体としてモデル化することができる。
Figure 2024517361000008
ｌｎｖｉ∈Ｒｎｖｉはすべて１のベクトルであり、α∈Ｒｎｖｉは頂点の凸包を生成する非負ベクトルである。座標の頂点の、物体の位置、向きに対する依存性は、ｘ（ｔ）、ｙ（ｔ）に対するＶｉの関数依存性によってモデル化される。静止障害物の頂点座標は、ｘ（ｔ）、ｙ（ｔ）とは無関係であることに注意されたい。ここでは物体の処理と静止障害物の処理との間に差異がある。
Figure 2024517361000009
Figure 2024517361000010
Figure 2024517361000011
Figure 2024517361000012
Figure 2024517361000013
Figure 2024517361000014
Figure 2024517361000015
このようにして、ポリトープ内のすべての点を、物体を取り囲むポリトープの頂点の凸組み合わせとしてパラメータ化することができる。
Figure 2024517361000016
Figure 2024517361000017
上記定式は、（１）のミニマイザが固有である場合、最大で１回微分可能である。しかしながら、物体が上記のようにポリトープとしてモデル化される場合は固有性を保証できない。結果として、（２）における定式化をＮＬＰソルバに直接提供することができない。
Figure 2024517361000018
式中、αｉｊ；ｉおよびαｉｊ；ｊは、物体ｉ、ｊの境界を定めるポリトープの頂点の凸組み合わせを示す変数である。（３）に対する最適解α＊ｉｊ；ｉおよびα＊ｉｊ；ｊにおいて、点Ｖｉ（ｘ（ｔ），ｙ（ｔ））α＊ｉｊ；ｉおよびＶｊ（ｘ（ｔ），ｙ（ｔ））α＊ｉｊ；ｊは、それぞれ、物体間の最短距離を与える物体ｉ；ｊ内の点である。（３）における最適化問題は凸問題である。（３）のすべての一次停留点がミニマイザである。
Figure 2024517361000019
Figure 2024517361000020
Figure 2024517361000021
３１０において、コントローラは、（４ａ）～（４ｅ）において定義された制約を利用し、これらの制約を「制御を決定するための最適化問題」に追加して、微分可能な定式を得る。平滑問題は、コントローラ５０に関連付けられるメモリに格納されたＮＬＰソルバに与えることができ、したがって、物体を操作するために必要な軌道力の値を求めることができる。このようにして、実施形態の例は、問題の複雑さを低減することにより、処理速度に関する利点を提供する。力の値を計算するのに要する時間は、衝突回避問題の平滑化によりかなり短縮される。計算時間の短縮は、物体を制御するためのプロセス全体に対して広範囲に及ぶ影響を有する。したがって、実施形態の例は、ロボットマニピュレータ等の自動化装置の著しい改善をもたらす。
図６は、ネスト化された最適化問題を凸／二次計画に変換し、相補性制約を受ける一次最適条件を識別することを説明する図である。この例において、物体６１０と６２０との間の距離６３０は、内部最適化６４０から相補性制約６５０に変換される（６６０）。このようにして、ネスト化された最適化問題が回避される。
ネスト化された最適化問題を単一の最適化問題に変換することは、より少ない反復を必要とし、よって、ネスト化された問題によって消費されたであろうものと比較して、より少ないリソースを消費する。そのため、いくつかの実施形態の例は、より高速な最適化プロセスにつながり、このプロセスについて実現されるいくつかの有益な態様は、プロセスを実行するときの全体的なリソース消費、ＣＰＵ時間、およびクロックサイクルの著しい改善を含む。そのような技術的利益は、最適化問題が、自動運転、ロボット、ドローンなどのようなリソース不足の用途の一部として実現されるときに、さらに拡大され、より実用的な利益に変換される。
さらに、いくつかの実施形態の例は、制約に導入される平滑さのために、この問題の根底にある変換が、多くの仮定または近似を行う必要がないので、精度の点で一層最適化された軌道をもたらす。その理由は、制約を相補性条件として表現することにより、従来の最適化アルゴリズムを使用してロバストに解くことを可能にし、したがって、より高い品質の解をもたらす、調整された緩和を使用することが可能になることにある。
いくつかの実施形態は、衝突を回避する制御最適化が、自動運転車の組立、駐車または制御を実行するロボット、ドローンの自律運動等の、多くの制御用途に役立ち得る、という理解に基づいている。特に、いくつかの実施形態は、相補性制約を用いて衝突回避問題を定式化することは、ロボット用途において特に有益となり得る、という認識に基づいている。ほとんどのロボット用途は、コンタクトリッチマルチボディ相互作用を引き起こす、片側接触、摩擦接触、衝撃、および変形のような、根底にある難しい現象に対処しつつ、制約のある環境の存在によって特徴付けられる。これらのコンタクトリッチマルチボディ摩擦相互作用システムは、一般的に、相補性条件を使用して表すことができる非平滑力学によって説明される。したがって、衝突回避も相補性制約によって定式化される場合、そのような定式化は、接触および衝突回避を統一的に扱うことを可能にする。
Figure 2024517361000022
相補性変数２３０は、接触または任意の他の不連続性のような現象に起因して生じ得る物体の力学を記述するのに役立つパラメータを定義することができる。これらの変数間の関係は相補性制約である。これらの相補性制約は、プログラムされたインターフェイスを使用するユーザによってコントローラに提供される必要がある。衝突変数２４０は、物体の環境に存在し得る障害物の頂点である。これらは、物体の環境をマッピングすることができるカメラまたはライダ（ｌｉｄａｒ）のようないくつかのセンサを介してユーザに提供される。
図７Ｂは、いくつかの実施形態に係る、スライダ７１０ｂプッシャ７２０ｂシステムが障害物７６０ｂおよび７７０ｂの存在下で機能するシナリオの例を示す。この概略図は、プッシャの状態７３０ｂのシーケンスを含む可能な最適軌道７４０ｂを示す。軌道７４０ｂとは別に、オプティマイザが、スライダの表面上の制御力およびプッシャ速度の最適なシーケンスも見出す。
図７Ｃは、いくつかの実施形態に係る、衝突回避問題の定式化の概略図を示す。衝突回避問題の目的は、最適な衝突のない軌道７１０ｃを生成することである。本開示で提示される定式化は、物体７５０ｃおよび障害物７４０ｃのポリトープ表現７７０ｃを考慮する。最小距離関数７３０ｃは、障害物および物体のポリトープ表現を使用して二次計画として定式化することができる。一次停留条件を使用する再定式化７２０ｃは、相補性条件をもたらし、次に、相補性条件を、本開示において説明される最適化問題によってロバストに解くことができる。
図７Ｄは、いくつかの実施形態の例に係る、ロボットを使用して物体を制御するための方法の例を示す。７０２ｄにおいて、方法は、ロボット状態、操作対象の物体の姿勢、環境内の障害物の位置、および操作対象の物体の目標姿勢の値を含むデータを受けるステップを含む。これらのデータのうちのいくつか、たとえば、操作対象の物体の姿勢、障害物の位置は、物体およびその周囲の３次元情報として取得されてもよい。物体の目標姿勢は、目的関数とともに、たとえばユーザによって提供されてもよく、またはデータベースにおいて事前に定義されてもよい。
７０４ｄにおいて、方法は、障害物の形状および頂点の知識を使用して障害物をポリトープとしてモデル化するステップを含む。７０２ｄで受け入れられたデータを使用して、障害物を、図５Ａ～図５Ｄを参照して説明した例示方式に従ってモデル化することができる。それに応じて、各ポリトープ内のすべての点の状態の行列を定義することができる。
７０６ｄにおいて、方法は、障害物の存在下における操作対象の物体とその環境との相互作用の力学モデル、および摩擦のような他のパラメータを受けることを含む。上述のように、操作対象の物体の力学の記述は、ユーザによって提供されてもよく、またはロボットマニピュレータによってデータベースから取り出されてもよい。
７０８ｄにおいて、衝突回避制約は、線形相補性制約として受けることができる。たとえば、式（１）および（２）を衝突回避制約として決定してもよい。７１０ｄにおいて、接触ベースのシステムに関する記述は、線形相補性制約を使用して受けることができる。すなわち、最小化問題は、ポリトープの頂点のパラメータ化を考慮する定式化（３）として再度提示されてもよい。
７１２ｄにおいて、方法は、適切な目的関数を使用するシステムの所望の挙動の指定と、ロボットおよび操作対象の物体の対応する状態および制御制約とを受けることを含む。目的関数は、タスクに関連付けられる最小時間問題、物体の目的地、または場合によっては追加的に目的関数の構造（二次または非線形）を定義することができる。
７１４ｄにおいて、方法は、ロボットの状態および制御のシーケンスを取得するために、提案された数理計画法（図３参照）を使用して衝突回避のための最適化問題を解くことを含む。非平滑最適化問題を、一次停留条件を使用して変換し、次に、式（５）に従って解くことにより、ロボットの状態および制御のシーケンスのための値を得る。
７１６ｄにおいて、方法は、取得された制御コマンドをロボットシステム（ロボットマニピュレータ）に対して実施することにより、いかなる障害物とも衝突せずに物体を操作することを含む。
図８Ａは、本開示のいくつかの実施形態に係る、ロボット装置に関連付けられるいくつかの方法を実現するために使用されるいくつかのステップを示すフロー図である。
Figure 2024517361000023
図８Ｂは、いくつかの実施形態に従って動作するロボットマニピュレータを含む具体例としてのホロノミックカートを示す。いくつかの実施形態において、可動カート８３２を有するロボット８０２は、カート８３２に搭載された、リンク８２３、８２５を有するロボットアーム８２２と、グリッパ８２７とを有する。グリッパ８２７は、環境内の物体を把持することができる。カート８３２は、２つの自由度で動作するホロノミックホイールであってもよい１つ以上のホイール８１１、８１２を含み得る。さらに他の実施形態において、巻き付けられたフロントコンベヤベルト８１３がホロノミックカート８３２上に含まれてもよい。いくつかの例において、巻き付けられたフロントコンベヤベルト８１３は、ロボット８０２がトラックコンテナまたはパレット（図示せず）から箱を荷下ろしまたは積み込むときに、そのグリッパ８２７を左または右に回転させる必要をなくすことができる。機械システムは、ロボットアーム８２２、グリッパ８２７、コンベヤベルト８１３、（可動またはホロノミック）カート８３２、および１つ以上のホイール８１１、８１２を含む、構成要素を含み得る。感知システムは、ロボットアーム８２２が移動するときに環境に関する情報を感知する２Ｄセンサおよび／または３Ｄ深度センサ（図示せず）のような、ロボットアーム８２２に取り付けられた１つ以上のセンサを有することができる。さらに、ライト８３７を、カート８３２またはグリッパ８２７の前方、側方、後方、下方、またはどこにでも配置することができる。
図９は、本開示のいくつかの実施形態に係る、いくつかの方法を実現するために使用されるデータ処理システムのいくつかの構成要素を示すブロック図である。
たとえば、データ処理システム９００は、環境９７３のデータを含むデータを収集する、センサ９７２または複数のセンサと通信するハードウェアプロセッサ９７１を含み得る。センサデータは、ロボット、車両、機械などに関連するデータ、および同様のタイプのデータ、または非線形制約を有する動的システムのための軌道最適化技術に関連付けられたデータを含み得る。さらに、センサ９７２は、ビデオまたはカメラ入力を信号データに変換することができる。ハードウェアプロセッサ９７１は、メモリ９７９が、ハードウェアプロセッサ９７１によって実現され得るアルゴリズム、命令、および他のデータを含む、格納されたデータを含むように、コンピュータ記憶メモリ、すなわち、メモリ１５７９と通信することができる。たとえば、メモリに格納されているものは、マルチリンク動的モデル、非線形計画、および目的関数を含み得る。
引続き図９を参照すると、有線接続または無線接続を介して環境内の少なくとも１つのセンサから取得することができるセンサデータをメモリ９７９に格納することができ、センサデータは、データを出力しデータを受信するように構成されたトランシーバを介してメモリに格納され、その結果、各時間間隔の後に、センサデータは少なくとも１つのセンサによって更新される。また、メモリに格納されるものは、ロボットアーム情報を含み得る車両および機械の動作および力学データを含み得るものであり、ロボットアーム情報は、ロボットアームの動作のシミュレーションを可能にするロボットアームのモデルを、ロボットアームの各関節を動かすためにロボットドライブを介してモータから加えられるトルク等の動作制御入力とともに、含み得る。マルチリンク動的モデル、非線形計画、または目的関数等のソフトウェア９９７をメモリ９７９に格納することが可能である。格納されるデータは、ロボット、車両、機械など、または同様のタイプのデータ、または非線形制約付きの動的システムのための軌道最適化技術に関連するデータを含み得る。
任意で、ハードウェアプロセッサ９７１は、データソース９９８、コンピュータ装置９８４、携帯電話装置９８５、および記憶装置９８６と通信する、ネットワーク９７７に接続することができる。また、任意で、ハードウェアプロセッサ９７１は、ネットワーク９７７を介して、クライアントデバイス（図示せず）に接続されたネットワーク対応サーバ（図示せず）に接続することができる。ハードウェアプロセッサ９７１は、任意で、外部メモリデバイス９９１、送信機９９２、およびコントローラ９９４に接続することができる。トランシーバを、拡張バスインターフェイス９９５を介してハードウェアプロセッサ９７１に接続することができる。トランシーバ９９６によって受信されたいくつかの種類の出力は、モニタまたは画面等のユーザの１つ以上の表示装置に表示するおよび／またはさらに他の分析などのために他のコンピュータ関連装置に入力することが可能な、（本開示の方法から得られた）経路に沿う計算された軌道に関する要求（トランシーバ９９６によって受信される）への応答を受信することに関心がある、ユーザの意図に、関連する可能性がある。
引続き図９を参照すると、ハードウェアプロセッサ９７１は、特定の用途の要件に応じて、２つ以上のハードウェアプロセッサを含み得るものであり、プロセッサは内部または外部のいずれかであり得ることが、意図されている。当然、他の構成要素が組み込まれてもよい。
ネットワーク９７７は、非限定的な例として、１つ以上のローカルエリアネットワーク（ＬＡＮ）および／またはワイドエリアネットワーク（ＷＡＮ）を含むことが可能である。ネットワーキング環境は、企業規模のコンピュータネットワーク、イントラネットおよびインターネットと同様であってもよい。上記構成要素のすべてについて、本開示のシステム内で使用される任意の数のクライアントデバイス、記憶装置構成要素、およびデータソースが存在し得ることが意図されている。各々は、分散環境において協働する単一の装置または複数の装置を含み得る。さらに、データソース９８３は、ネットワークを訓練するためのデータリソースを含み得る。たとえば、ある実施形態において、訓練データは記憶装置９８６に格納することができる。訓練データは、他の環境の信号を含むこともできる。データソース９８３はまた、ネットワークを訓練するためのデータリソースを含み得る。データソース９８３によって提供されるデータは、環境、ロボットアームなどに対応する他のセンサ関連データ等の、他のデータを含み得る。
引続き図９を参照すると、データソース９８３内のいくつかのデータは、１つ以上のフィードバックループによって提供することができる。データソースの他の例は、限定ではなく例として、ストリーミングビデオ、ウェブクエリ、モバイルデバイスカメラまたは他の情報、ウェブカムフィード、スマートグラスおよびスマートウォッチフィード、顧客ケアシステム、セキュリティカメラフィード、ウェブドキュメント、カタログ、ユーザフィード、ＳＭＳログ、インスタントメッセージングログ、話し言葉トランスクリプト、ゲームシステムユーザ対話、たとえば音声コマンドまたはデータを含む、さまざまなソースを含み得る（たとえば、データは、ロボット、車両、環境などのタイプのデータ、または非線形制約付き動的システムのための軌道最適化技法に関連付けられたデータを含み得る）。使用される特定のデータソース９８３は、データが特定のクラスのデータ（たとえば、ロボット、車両、環境などに関連付けられるしきい値、性能、安全性などに関連するデータ、または、非線形制約付きの動的システムのための軌道最適化技法に関連付けられたデータ）であるか、または本質的に汎用（非クラス固有）であるかを含む、アプリケーションに基づいて決定されてもよい。
第三者装置９８４、９８５は、コンピュータデバイス９８４またはモバイルデバイス９８５を含む任意のタイプのコンピューティングデバイスからなるものであってもよい。ユーザデバイスが、携帯情報端末（ＰＤＡ）、スマートフォンなどのモバイルデバイス、スマートウォッチ、スマートグラス（または他のウェアラブルスマートデバイス）、拡張現実ヘッドセット、仮想現実ヘッドセットとして具体化されることが、意図されている。さらに、ユーザ装置は、タブレット、リモートコントロール、エンターテイメントシステム、車両コンピュータシステム、組み込みシステムコントローラ、アプライアンス、ホームコンピュータシステム、セキュリティシステム、消費者電子装置、または他の同様の電子装置等のラップトップであり得る。一実施形態では、クライアント装置は、本開示の方法およびシステムによって使用可能なオーディオおよび情報などの入力データを受信することが可能である。たとえば、第三者装置は、データ、すなわち、ロボット、車両、環境などに関連するデータ、または同様のタイプのデータ、または非線形制約付きの動的システムのための軌道最適化技術に関連付けられるデータ、オーディオ情報を受信するためのマイクロフォンまたはラインイン、ビデオまたは画像情報を受信するためのカメラ、または、インターネットもしくはデータソース等の別のソースからそのような情報を受信するための通信構成要素（たとえばＷｉ－Ｆｉ（登録商標）機能）であってもよい。
引続き図９を参照すると、記憶装置９８６は、データ、コンピュータ命令（たとえばソフトウェアプログラム命令、ルーチン、またはサービス）、および／または本明細書に記載される技術の実施形態で使用されるモデルを含む、情報を格納することができる。たとえば、記憶装置９８６は、１つ以上のデータソース９８３からのデータ、１つ以上のディープニューラルネットワークモデル、ディープニューラルネットワークモデルを生成および訓練するための情報、ならびに１つ以上のディープニューラルネットワークモデルによって出力されたコンピュータ使用可能情報を格納することができる。
Figure 2024517361000024
Figure 2024517361000025
図１１は、本開示のいくつかの実施形態に係る、いくつかの方法を実現するために使用されるいくつかの構成要素を示すブロック図である。本開示の実施形態に従うと、ロボット装置１１５０は、機械システム１１６０、センサ１１７０、制御システム１１８０、ネットワーク１１９３、および電源１１９５からなる。機械システム１１６０は、ロボットアーム１１６１、グリッパ１１６３、およびグリッパ用ベース１１６５からなる。センサは、環境センサ１１７１、位置センサ１１７３、および速度センサ１１７４からなるものであってもよい。制御システムは、データ処理システム１１８１からなる。
図１２は、いくつかの実施形態に係る、ロボットアームを使用する制御システムの一例を示す図である。以下、制御システムを、ロボットシステム１２００に適用される例として説明するが、制御システムおよびコンピュータにより実現される方法は、ロボットシステムに限定されないことに注意されたい。ロボットアーム１２０２は、システム１２６０に外部から供給されてもよいコマンドまたはタスクを受信するロボット制御システム１２００を使用して制御される。コマンドまたはタスクの例は、ロボットアーム１２０２のグリッパ１２１２を使用して物体１２１１に触れることまたは把持することであってもよい。ロボット制御システム１２６０は、制御信号１２７０をマニピュレータに送信する。制御信号１２７０は、ロボットアームの関節１２１４、１２１６、１２１８の各々に加えられるトルク、およびグリッパ１２１２の開閉とすることができる。ロボットシステム１２１５の状態は、センサを使用して導出される。これらのセンサは、ロボット１２１４、１２１６、１２１８の関節におけるエンコーダと、ロボットの環境を観察することができるカメラ１２１０と、グリッパ１２１２のフィンガに取り付けることができる触覚センサとを含み得る。センサ１２１５からの状態測定値は、センサから受信したデータを格納するデータ入／出力ユニット１２２０に送られる。ロボット制御システム１２６０は、何らかのタスクまたはコマンドを達成するためのポリシーを実行すると言われている。プログラム１２４０は、データ入出力ユニット４２０からの入力を取り込み、コントローラ更新システム４５０を使用して制御ポリシーへの更新を判断する。次に、コントローラ更新システム４５０は、更新されたポリシー４３０をロボット制御システム４６０に送信する。ポリシー４３０およびロボット制御システム４６０はまた、グリッパフィンガ３３０および３４０の開閉の量を制御することもできる。閉じる量または把持の強さは、制御ポリシー４３０によって決定することができる。好ましい実施形態において把持強度はセンサ４１５からの状態測定値の一部である触覚センサ３６０の信号から求められる。
好ましい実施形態において、カメラ１２１０は、ＲＧＢカラー画像および深度画像の両方を供給することができるＲＧＢＤカメラである。ＲＧＢＤカメラからの内部情報は、深さを３Ｄ点群に変換するために使用することができる。別の実施形態において、カメラは、深さおよび３Ｄ点群を計算することができる２つのカラーカメラからなるステレオカメラとすることができる。さらに別の実施形態では、カメラは、単一のＲＧＢカメラであってもよく、３Ｄ点群は、機械学習を使用して直接推定されることができる。別の実施形態では、複数のカメラ１２１０があってもよい。最後に、別の実施形態では、カメラ１２１０は、ロボットアーム１２０２またはグリッパ１２１２上のある点に装着することができる。
図１３は、一実施形態に係るシステムの概略図を示す。システムは、自動駐車１３５０を実行するように構成されたプロセッサ１３０２を含む車両１３０１を含む。車両はまた、ＬＩＤＡＲ１３１０および／またはカメラ１３２０等の少なくとも１つのセンサを含む。ＬＩＤＡＲセンサ１３１０は低分解能の第１のセンサであり、カメラ１３２０は高分解能の第２のセンサである。センサ１３１０および／または１３２０は、プロセッサ１３０２に動作可能に接続され、駐車スペースの少なくとも一部の幾何学的形状を示す情報を感知するように構成される。この情報を使用して、プロセッサ１３０２は、駐車スペース１３０の地図を決定および／または更新する。そのために、プロセッサ１３０２は、マップ１３３０を使用して自動駐車１３５０を実行する。
本開示の上記実施形態は、非常に多くのやり方のうちのいずれかのやり方で実現することができる。たとえば、実施形態は、ハードウェア、ソフトウェア、またはその組み合わせを用いて実現してもよい。ソフトウェアで実現する場合、ソフトウェアコードは、任意の適切なプロセッサ上で、または、１つのコンピュータに設けられていても複数のコンピュータに分散されていてもよいプロセッサの集合体上で、実行することができる。このようなプロセッサは、１つ以上のプロセッサが集積回路構成要素内にある集積回路として実現されてもよい。とはいえ、プロセッサは、任意の適切なフォーマットの回路を用いて実現されてもよい。
また、本明細書で概要を述べた各種方法またはプロセスは、さまざまなオペレーティングシステムまたはプラットフォームのうちのいずれか１つを採用した１つ以上のプロセッサ上で実行可能なソフトウェアとして符号化されてもよい。加えて、このようなソフトウェアは、複数の適切なプログラミング言語および／またはプログラミングもしくはスクリプトツールのうちのいずれかを用いて記述されてもよく、また、フレームワークもしくは仮想マシン上で実行される、実行可能な機械言語コードまたは中間符号としてコンパイルされてもよい。典型的に、プログラムモジュールの機能は、各種実施形態において所望される通りに組み合わせても分散させてもよい。さらに、請求項において、ある請求項の要素を修飾する「第１」、「第２」のような順序を表す用語は、それ自体が、請求項のある要素の、別の要素に対する優位、先行、もしくは順序、または、方法の動作を実行する時間的順序を内包している訳ではなく、単に、請求項の要素を区別するために、（順序を表す用語が使用されていない場合に）特定の名称を有する請求項のある要素を同じ名称を有する別の要素と区別するためのラベルとして使用されているにすぎない。
また、本開示の実施形態は方法として実施されてもよく、その一例が提供されている。この方法の一部として実行される動作の順序は任意の適切なやり方で決定されてもよい。したがって、実施形態は、例示されている順序と異なる順序で動作が実行されるように構成されてもよく、これは、いくつかの動作を、例示の実施形態では一連の動作として示されているが、同時に実行することを含み得る。さらに、請求項の要素を修正するための請求項における第１、第２などの序数の用語の使用は、それ自体では、ある請求項の要素が別の請求項の要素よりも優先するか、優先するか、または順序するか、あるいは方法の動作が実行される時間的な順序を意味するものではない。しかし、単に、ある名前を有するある請求項の要素を、請求項の要素を区別するために同じ名前を有する（ただし序数の用語を使用するための）別の要素から区別するためのラベルとして使用される。
本開示をいくつかの好ましい実施形態を参照しながら説明してきたが、本開示の精神および範囲の中でその他さまざまな適合化および修正が可能であることが理解されるはずである。したがって、添付の請求項の目的は、本発明の真の精神および範囲に含まれるこのような変形および修正すべてをカバーすることである。

Claims (17)

  1. 物体が障害物と衝突することを回避しつつ、前記物体の状態を開始状態から終了状態まで変化させるタスクを実行する前記物体の運動を制御するためのコントローラであって、前記コントローラは、少なくとも１つのプロセッサと、命令が格納されたメモリとを備え、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記コントローラに、
    前記物体および前記障害物の力学ならびに前記物体および前記障害物の幾何学的形状を示すデータを取得することを、実行させ、前記物体の幾何学的形状は、前記物体の実際の形状を取り囲む凸形状を含み、前記障害物の幾何学的形状は、前記障害物の実際の形状を取り囲む凸形状を含み、さらに、
    相補性制約を用いて前記物体の凸形状と前記障害物の凸形状との間の最小距離をモデル化する一次停留条件の解に対する制約の下で前記タスクを実行するための最適軌道を生成する前記物体の力学の最適化問題を解くことと、
    前記最適軌道に従って前記物体の運動を制御することとを、実行させる、コントローラ。
  2. 前記物体の凸形状および前記障害物の凸形状の各々は、前記物体の凸包内の点を定義する不等式のセットと、前記障害物の凸包内の点を定義する不等式のセットとによって定義される凸包であり、前記相補性制約は、前記物体と前記障害物との間の前記最小距離を実現するために、前記物体および前記障害物の前記不等式のセットに課される、請求項１に記載のコントローラ。
  3. 前記物体の凸形状および前記障害物の凸形状の各々は、頂点のセットによって定義されるポリトープであり、前記物体のポリトープ内の点は、前記物体のポリトープの頂点の重み付けされた組み合わせとして定義され、前記障害物のポリトープ内の点は、前記障害物のポリトープの頂点の重み付けされた組み合わせとして定義され、前記相補性制約は、前記物体と前記障害物との間の前記最小距離を実現するために、前記物体および前記障害物の前記ポリトープの頂点の重みに対して課される、請求項１に記載のコントローラ。
  4. 前記物体の力学に対応するデータは、前記物体のアクチュエータの１つ以上の力の適用に応じた前記物体の状態の変化を記述する方程式のセットを含み、前記障害物の力学に対応するデータは、時間の関数として前記障害物の状態を定義する前記障害物の軌道を含み、前記相補性制約によって支配される重みは、前記物体の状態および前記障害物の状態とは無関係であり、前記最適化問題は、前記物体および前記障害物の前記ポリトープの頂点の位置をそれらの対応する状態に従って変化させることにより、前記最小距離をモデル化する、請求項３に記載のコントローラ。
  5. 前記コントローラは、前記最適化問題を、相補性制約付き数理計画（ＭＰＣＣ）として解くように構成され、前記最適化問題の解は、最小時間問題、物体操作問題、または目的関数の数学的構造のうちの１つ以上を定義する目的関数を最適化する、請求項１に記載のコントローラ。
  6. 前記コントローラはさらに、前記最小距離での衝突回避に関する制約を受け取るように構成され、前記衝突回避に関する制約は、前記物体の経路制約ならびに前記物体および前記障害物の距離制約のうちの１つまたは組み合わせを含む、請求項１に記載のコントローラ。
  7. 前記物体の運動を制御するために、前記コントローラはさらに、前記最適軌道を辿るように前記物体を移動させるよう少なくとも１つのアクチュエータに指示する制御コマンドを生成するように構成される、請求項１に記載のコントローラ。
  8. 前記コントローラはさらに、前記アクチュエータに最適軌道力を生成させるように構成される、請求項７に記載のコントローラ。
  9. 前記物体の運動は、相補性制約を介したコンタクトリッチマルチボディ相互作用として物体モデルの本体に対して力を加える接触によって制御され、前記最適化問題は、前記マルチボディ相互作用の前記相補性制約および前記一次停留条件に対する前記相補性制約の下で解かれる、請求項１に記載のコントローラ。
  10. 前記物体の運動を制御して自動組立のタスクを達成することは、相補性条件を使用して異なる部品間の所望の接触状態を制御することによって行われ、環境との望ましくない衝突は、相補性条件として表される最小距離関数をモデル化することによって回避される、請求項１に記載のコントローラ。
  11. 前記物体の凸包と前記障害物の凸包との間の最小距離は、
    Figure 2024517361000026
    として定義され、Ｏｉ（ｔ）は、時点ｔにおける前記物体の凸形状をモデル化するポリトープに対応し、Ｏｊ（ｔ）は、時点ｔにおける前記障害物の凸形状をモデル化するポリトープに対応する、請求項１に記載のコントローラ。
  12. 物体が障害物と衝突することを回避しつつ、前記物体の状態を開始状態から終了状態まで変化させるタスクを実行する前記物体の運動を制御するための方法であって、前記方法は、前記方法を実現する格納された命令と結合されたプロセッサを使用し、前記命令は、前記プロセッサによって実行されると、前記方法のステップを実行し、前記方法のステップは、
    前記物体および前記障害物の力学ならびに前記物体および前記障害物の幾何学的形状を示すデータを取得するステップを含み、前記物体の幾何学的形状は、前記物体の実際の形状を取り囲む凸形状を含み、前記障害物の幾何学的形状は、前記障害物の実際の形状を取り囲む凸形状を含み、さらに、
    相補性制約を用いて前記物体の凸形状と前記障害物の凸形状との間の最小距離をモデル化する一次停留条件の解に対する制約の下で前記タスクを実行するための最適軌道を生成する前記物体の力学の最適化問題を解くステップと、
    前記最適軌道に従って前記物体の運動を制御するステップとを含む、方法。
  13. 前記物体の凸形状および前記障害物の凸形状の各々は、前記物体の凸包内の点を定義する不等式のセットと、前記障害物の凸包内の点を定義する不等式のセットとによって定義される凸包であり、前記相補性制約は、前記物体と前記障害物との間の前記最小距離を実現するために、前記物体および前記障害物の前記不等式のセットに課される、請求項１２に記載の方法。
  14. 前記物体の凸形状および前記障害物の凸形状の各々は、頂点のセットによって定義されるポリトープであり、前記物体のポリトープ内の点は、前記物体のポリトープの頂点の重み付けされた組み合わせとして定義され、前記障害物のポリトープ内の点は、前記障害物のポリトープの頂点の重み付けされた組み合わせとして定義され、前記相補性制約は、前記物体と前記障害物との間の前記最小距離を実現するために、前記物体および前記障害物の前記ポリトープの頂点の重みに対して課される、請求項１２に記載の方法。
  15. 前記物体の力学に対応するデータは、前記物体のアクチュエータの１つ以上の力の適用に応じた前記物体の状態の変化を記述する方程式のセットを含み、前記障害物の力学に対応するデータは、時間の関数として前記障害物の状態を定義する前記障害物の軌道を含み、前記相補性制約によって支配される重みは、前記物体の状態および前記障害物の状態とは無関係であり、前記最適化問題は、前記物体および前記障害物の前記ポリトープの頂点の位置をそれらの対応する状態に従って変化させることにより、前記最小距離をモデル化する、請求項１４に記載の方法。
  16. 前記物体の運動は、相補性制約を介したコンタクトリッチマルチボディ相互作用として物体モデルの本体に対して力を加える接触によって制御され、前記最適化問題は、前記マルチボディ相互作用の前記相補性制約および前記一次停留条件に対する前記相補性制約の下で解かれる、請求項１２に記載の方法。
  17. 物体が障害物と衝突することを回避しつつ、前記物体の状態を開始状態から終了状態まで変化させるタスクを実行する前記物体の運動を制御するための方法を実行するための、プロセッサによって実行可能なプログラムが実装された非一時的なコンピュータ読取可能記憶媒体であって、前記方法は、
    前記物体および前記障害物の力学ならびに前記物体および前記障害物の幾何学的形状を示すデータを取得するステップを含み、前記物体の幾何学的形状は、前記物体の実際の形状を取り囲む凸形状を含み、前記障害物の幾何学的形状は、前記障害物の実際の形状を取り囲む凸形状を含み、さらに、
    相補性制約を用いて前記物体の凸形状と前記障害物の凸形状との間の最小距離をモデル化する一次停留条件の解に対する制約の下で前記タスクを実行するための最適軌道を生成する前記物体の力学の最適化問題を解くステップと、
    前記最適軌道に従って前記物体の運動を制御するステップとを含む、非一時的なコンピュータ読取可能記憶媒体。
JP2024513569A 2021-05-28 2022-02-25 相補性制約を使用して衝突を回避する物体操作 Pending JP2024517361A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/333,530 2021-05-28
US17/333,530 US11883962B2 (en) 2021-05-28 2021-05-28 Object manipulation with collision avoidance using complementarity constraints
PCT/JP2022/011154 WO2022249649A1 (en) 2021-05-28 2022-02-25 Object manipulation with collision avoidance using complementarity constraints

Publications (1)

Publication Number Publication Date
JP2024517361A true JP2024517361A (ja) 2024-04-19

Family

ID=81327322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024513569A Pending JP2024517361A (ja) 2021-05-28 2022-02-25 相補性制約を使用して衝突を回避する物体操作

Country Status (5)

Country Link
US (1) US11883962B2 (ja)
EP (1) EP4347193A1 (ja)
JP (1) JP2024517361A (ja)
CN (1) CN117377560A (ja)
WO (1) WO2022249649A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240036186A1 (en) * 2022-07-22 2024-02-01 Numerica Corporation Multi-target detection using convex sparsity prior

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7248952B2 (en) 2005-02-17 2007-07-24 Northrop Grumman Corporation Mixed integer linear programming trajectory generation for autonomous nap-of-the-earth flight in a threat environment
JP5144785B2 (ja) * 2011-04-18 2013-02-13 ファナック株式会社 ロボットの着目部位と周辺物との干渉を予測する方法及び装置
CN104155974B (zh) * 2013-07-29 2017-05-17 深圳信息职业技术学院 一种用于机器人快速避碰的路径规划方法及设备
US9981383B1 (en) * 2016-08-02 2018-05-29 X Development Llc Real-time trajectory generation for actuators of a robot to reduce chance of collision with obstacle(s)
JP6879464B2 (ja) * 2017-08-02 2021-06-02 オムロン株式会社 干渉判定方法、干渉判定システム及びコンピュータプログラム
US11597084B2 (en) * 2018-09-13 2023-03-07 The Charles Stark Draper Laboratory, Inc. Controlling robot torque and velocity based on context
US20220204029A1 (en) * 2020-12-30 2022-06-30 Zoox, Inc. Collision avoidance using an object contour

Also Published As

Publication number Publication date
US20220379478A1 (en) 2022-12-01
EP4347193A1 (en) 2024-04-10
CN117377560A (zh) 2024-01-09
WO2022249649A1 (en) 2022-12-01
US11883962B2 (en) 2024-01-30

Similar Documents

Publication Publication Date Title
Liu et al. Algorithmic safety measures for intelligent industrial co-robots
JP7399287B2 (ja) 形状制約付きの非線形ロボットシステムの軌道最適化のための方法およびシステム
EP2657863B1 (en) Methods and computer-program products for generating grasp patterns for use by a robot
US9149932B2 (en) Robot picking system, control device, and method of manufacturing a workpiece
CN107548336B (zh) 控制和/或调节机器人的电机
Cherubini et al. A collaborative robot for the factory of the future: Bazar
Petrič et al. Smooth continuous transition between tasks on a kinematic control level: Obstacle avoidance as a control problem
Ichnowski et al. GOMP: Grasp-optimized motion planning for bin picking
Sayour et al. Autonomous robotic manipulation: Real-time, deep-learning approach for grasping of unknown objects
Wang et al. Real-time process-level digital twin for collaborative human-robot construction work
US20220105637A1 (en) Device and method for controlling one or more robots
CN115351780A (zh) 用于控制机器人设备的方法
Urrea et al. Design and validation of a dynamic parameter identification model for industrial manipulator robots
CN114516060A (zh) 用于控制机器人装置的设备和方法
Banerjee et al. An ontology to enable optimized task partitioning in human-robot collaboration for warehouse kitting operations
Huang et al. A coarse-to-fine framework for accurate positioning under uncertainties—from autonomous robot to human–robot system
US20220375210A1 (en) Method for controlling a robotic device
Liu et al. Robot safe interaction system for intelligent industrial co-robots
JP2024517361A (ja) 相補性制約を使用して衝突を回避する物体操作
Kumar et al. Sensor-based estimation and control of forces and moments in multiple cooperative robots
Shukla et al. Robotized grasp: grasp manipulation using evolutionary computing
Wnuk et al. Challenges in robotic soft tissue manipulation—Problem identification based on an interdisciplinary case study of a teleoperated drawing robot in practice
Pajak et al. Planning of a point to point collision-free trajectory for mobile manipulators
WO2022201365A1 (ja) 動作計画装置、動作計画方法及び記憶媒体
Prasada Rao Borra et al. Towards Human-Like Robotic Grasping for Industrial Applications Using Computer Vision

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231108