JP7050740B2 - 物体を把持するための奥行知覚モデリング - Google Patents

Description

本開示の態様は、概して、ロボットを制御することに関し、より具体的には、物体を把持する際にロボットを支援するための奥行知覚モデリングの使用に関する。

ロボットは、物体を操作するための物体把持動作を実行する。把持動作は、ロボットが物体の表面に接触し、どのように物体を把持するかを決定することを可能にするための触覚データの使用を含み得る。触覚データは、物体に接触するためのロボットによる反復的な試行によって蓄積されたデータを含み得る。物体に接触しようとするこれらの反復的な試行は、ロボットが、物体の形状及び材料などの、物体の特性を学習すること、並びに物体を把持するためにロボットに最も好適である物体のエリアを識別することを支援し得る。触覚データを生成するための複数の接触試行を含む把持動作は、ロボットにとって時間がかかり、かつ非効率的であり得、物体に損傷を与える場合もある。それゆえに、ロボットによって使用される把持動作を改善するための方法及びシステムのために、未解決の必要性が当該技術分野に残っている。

以下は、そのような態様の基本的な理解を提供するために、本開示の１つ以上の態様の概要を提示する。この概要は、全ての想到される態様の広範な概要ではなく、全ての態様の基本的又は決定的な要素を識別することも、任意の又は全ての態様の範囲を描写することも意図されていない。その唯一の目的は、本開示の１つ以上の態様のいくつかの概念を、後に提示されるより詳細な説明の前置きとして、簡略化された形態で提示することである。

一例では、把持システムによって物体を把持するための方法が開示される。方法は、物体の奥行画像を取得することを含み得る。方法はまた、奥行画像に基づいて、物体の潜在的把持点を決定することを含み得る。方法は、奥行画像からのデータに基づいて、潜在的把持点に対応する触覚出力を推定することを更に含み得る。方法はまた、推定された触覚出力に基づいて、潜在的把持点で物体を把持するように把持システムを制御することを含み得る。

別の例では、物体を把持するための把持システムが提供される。把持システムは、メモリ、及びメモリと連結された少なくとも１つのプロセッサを含み得る。少なくとも１つのプロセッサは、物体の奥行画像を取得するように構成され得る。少なくとも１つのプロセッサはまた、奥行画像に基づいて物体の潜在的把持点を決定するように構成され得る。少なくとも１つのプロセッサは、奥行画像からのデータに基づいて、潜在的把持点に対応する触覚出力を推定するように更に構成され得る。少なくとも１つのプロセッサはまた、推定された触覚出力に基づいて、潜在的把持点で物体を把持するように把持システムを制御するように構成され得る。

別の例では、把持システムによって物体を把持するためのコンピュータ実行可能コードを記憶するコンピュータ可読媒体が提供される。コンピュータ可読媒体は、物体の奥行画像を取得するためのコードを含み得る。コンピュータ可読媒体はまた、奥行画像に基づいて、物体の潜在的把持点を決定するためのコードを含み得る。コンピュータ可読媒体は、奥行画像からのデータに基づいて、潜在的把持点に対応する触覚出力を推定するためのコードを更に含み得る。コンピュータ可読媒体はまた、推定された触覚出力に基づいて、潜在的把持点で物体を把持するように把持システムを制御するためのコードを含み得る。

上述の及び関連する目標の達成のために、本開示の１つ以上の態様は、以下に完全に説明され、特許請求の範囲に特に指摘される特徴を含む。以下の説明及び添付図面は、１つ以上の態様の特定の例示的な特徴を詳細に明らかにする。しかしながら、これらの特徴は、様々な態様の原理が用いられ得る様々な手段のうちのいくつかを示すが、この説明は、全てのそのような態様及びそれらの等価物を含むことを意図する。

本明細書に説明される態様に特徴的であると考えられる新規な特徴は、添付の特許請求の範囲に規定される。以下の説明において、明細書及び図面を通して、同様の部分にはそれぞれ同一の符号を付す。図面は必ずしも縮尺どおりに描画されておらず、明確性及び簡潔さのために、特定の図面は、誇張された又は一般化された形態で示され得る。しかしながら、本開示自体、並びにその好ましい使用形態、更なる目的及び進歩は、添付図面と併せて読むと、例示的な変形例の以下の詳細な説明を参照することによって、最も良く理解されるであろう。

本開示の態様による、例示的な把持システムの概念図を例示する。

本開示の態様による、図１の把持システムによる例示的な推定動作の概念図を例示する。

本開示の態様による、図１の把持システムの例示的な把持構成要素の概略図を例示する。

本開示の態様による、把持動作を実行するための例示的な方法のフローチャートを例示する。

本開示の態様による、様々なハードウェア構成要素及び他の特徴の例示的なシステム図を例示する。

本開示の態様による、様々な例示的なシステム構成要素のブロック図を例示する。

添付図面に関連して以下に明らかにされる詳細な説明は、様々な構成の説明として意図され、本明細書に説明される概念を実践することができる唯一の構成を表すことを意図するものではない。詳細な説明は、様々な概念の完全な理解を提供する目的のための具体的な詳細を含む。しかしながら、これらの概念が、これらの具体的な詳細を伴わずに実践することができることは、当業者には明らかであろう。いくつかの例では、そのような概念を不明瞭にすることを避けるために、周知の構成要素がブロック図の形態で示されている。

本明細書では、物体を把持する際にロボットを支援するための奥行知覚モデリングの使用に関する態様が説明される。ロボットによる物体との直接的な接触の複数の試行を回避するために、本開示は、深層学習によって訓練されたニューラルネットワークの使用を通じて、物体の表面に対応する奥行データに基づいて、触覚センサの出力を推定し得る。推定された触覚出力は、ロボットが物体の表面に接触しようとする試行の前に決定され得る。

ロボットは、物体の表面の構造を検知する奥行センサを介して奥行データを取得するための把持システムを含み得る。ロボットは、奥行データに基づいて、触覚センサのサイズに等しい対象領域を選択し得る。対象領域からの奥行センサデータは、ニューラルネットワークの入力として使用され得る。ニューラルネットワークは、ロボットが物体に接触した場合に触覚センサが生成するであろう出力を推定し得る。言い換えると、ニューラルネットワークは、ロボットが物体と物理的に接触することなく、触覚データを生成し得る。

そのようなシステムは、物体を把持する前にロボットが物体に接触する必要性を低減又は排除することによって、ロボット操作に著しい恩恵を与え得る。代わりに、ロボットは、ニューラルネットワークからのデータに基づいて、第１の試行で物体を把持することができ得る。

本明細書で使用される場合、「メモリ」という用語は、揮発性メモリ及び／又は不揮発性メモリを含み得る。不揮発性メモリとしては、例えば、ＲＯＭ（読み取り専用メモリ）、ＰＲＯＭ（プログラム可能な読み取り専用メモリ）、ＥＰＲＯＭ（消去可能なＰＲＯＭ）、及びＥＥＰＲＯＭ（電気的に消去可能なＰＲＯＭ）を挙げることができる。揮発性メモリとしては、例えば、ＲＡＭ（ランダムアクセスメモリ）、同期型ＲＡＭ（synchronous RAM、ＳＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、同期型ＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（double data rate SDRAM、ＤＤＲ ＳＤＲＡＭ）、及びダイレクトＲＡＭバスＲＡＭ（direct RAM bus RAM、ＤＲＲＡＭ）を挙げることができる。

本明細書で使用される場合、「動作可能な接続」という用語は、エンティティが「動作可能に接続される」接続を含み得、これは、信号、物理的通信、及び／又は論理的通信が、送信及び／又は受信され得るものである。動作可能な接続は、物理的インターフェース、データインターフェース、及び／又は電気インターフェースを含んでもよい。

本明細書で使用される場合、「プロセッサ」という用語は、信号を処理し、一般的なコンピューティング及び演算機能を実行するデバイスを指し得る。プロセッサによって処理された信号は、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は受信、送信、及び／若しくは検出され得る他のコンピューティングを含んでもよい。プロセッサは、例えば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）、プログラマブル論理デバイス（programmable logic device、ＰＬＤ）、状態マシン、ゲート論理、別個のハードウェア回路、システムオンチップ（system-on-a-chip、ＳｏＣ）、及び本明細書に説明される様々な機能を実行するように構成された他の好適なハードウェアを含み得る。

特定のシステムのいくつかの態様が、ここで、様々な装置及び方法を参照して提示されることになる。これらの装置及び方法は、様々なブロック、モジュール、構成要素、回路、ステップ、プロセス、アルゴリズムなど（総称して「要素」と呼ばれる）によって、以下の詳細な説明で説明され、添付図面に例示されることになる。これらの要素は、電子ハードウェア、コンピュータソフトウェア、又はそれらの任意の組み合わせを使用して実装され得る。そのような要素がハードウェア又はソフトウェアとして実装されるか否かは、システム全体に課される特定のアプリケーション及び設計上の制約に依存する。

例として、要素、若しくは要素の任意の部分、又は要素の任意の組み合わせは、１つ以上のプロセッサを含む「処理システム」で実装され得る。処理システム内の１つ以上のプロセッサは、ソフトウェアを実行することができる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又は別様に称されるか否かにかかわらず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行のスレッド、手順、機能などを意味するように広範に解釈されるべきである。

したがって、１つ以上の態様では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。ソフトウェアにおいて実装される場合、機能は、コンピュータ可読媒体上の１つ以上の命令又はコードに記憶されるか、又はそれらとしてコード化され得る。コンピュータ可読媒体は、コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体とすることができる。例として、限定されないが、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ若しくは他の光ディスク記憶デバイス、磁気ディスク記憶デバイス若しくは他の磁気記憶デバイス、又は命令若しくはデータ構造の形態で所望のプログラムコードを搬送若しくは記憶するために使用され得、かつコンピュータによってアクセスされ得る任意の他の媒体を含み得る。

図１は、本開示の態様による、例示的な把持システム１００の概念図を例示する。把持システム１００の一部又は全部が、限定されないが、人型ロボットなどのより大きいロボットデバイスの一部であってもよいことが、当業者には明らかであろう。この概念図では、把持システム１００は、表面１５５の上に置かれた物体１５０を把持するタスクを課され得る。

把持システム１００は、物体１５０を把持するように構成された把持デバイス１０２を含み得る。把持ユニット１０２の例としては、ロボットハンド、ピンサー、爪、又は物体を把持することができる任意の他のロボットデバイスが挙げられ得る。把持デバイス１０２は、肩部として例示されている、本体１０６に接続され得るロボットのロボットアームなどの延伸ユニット１０４に接続されてもよい。把持システム１００はまた、把持デバイス１０２を制御する把持制御システム１０８を含み得る。更に、いくつかの例では、把持システム１００は、物体１５０に物理的に接触する把持デバイス１０２に基づいて、触覚データを生成するための１つ以上の触覚センサ１１０を含み得る。

一例では、把持システム１００は、物体１５０に接触する前に触覚出力（例えば、物体１５０のテクスチャ、縁、又は輪郭）を推定することによって、物体１５０を操作し得る。より詳細に以下に説明されるように、把持デバイス１０２は、物体１５０に接触する前に触覚出力を推定するために、奥行データを取得し得る。把持制御システム１０８は、次いで、把持動作１２０中に、物体１５０に接触させるように把持デバイス１０２を制御するために、推定された触覚出力を利用し得る。推定された触覚出力の使用は、物体１５０との把持デバイス１０２による反復的な物理的接触を防止することができ、それゆえに、把持の失敗及び／又は物体１５０への損傷を防止することができる。更に、場合によっては、推定された触覚出力の使用はまた、把持システム１００が物体を物理的に把持することを必要とする時間量を低減し得る。

図１の把持システム１００と併せて説明される、図２及び図３を参照すると、把持制御システム１０８は、把持デバイス１０２が物体１５０に物理的に接触する前に触覚センサの触覚出力を推定し得る。図２は、本開示の態様による、図１の把持システム１００による例示的な推定動作の概念図を例示する。図３は、本開示の態様による、図１の把持システム１００の例示的な把持構成要素の概略図を例示する。把持制御システム１０８は、本明細書に説明される特定の行動を実施するために通信する、１つ以上のプロセッサ２０２及び１つ以上のメモリ２０４を含み得るか、又はそれらと動作可能に連結され得る（又はそれらによって実行され得る）。例えば、１つ以上のプロセッサ２０２及び／又は１つ以上のメモリ１０４は、把持する物体（例えば、物体１５０）を識別する物体識別構成要素２０６、把持する物体の奥行画像３０２を取得するための奥行センサ２０８、把持する物体に対応する触覚出力を推定するための把持推定構成要素２１２、推定された触覚出力に基づいて、物体１５０を把持するように把持デバイス１０２及び／若しくは把持システム１００を制御するための把持コントローラ２１４、並びに／又は物体１５０の触覚データを取得するための触覚センサ１１０を実行するための命令、パラメータなどを実行、及び／又は記憶し得る。

プロセッサ２０２、メモリ２０４、並びに構成要素２０６、２０８、２１２及び２１４のうちの様々なものは、バス２１０を介して動作可能に連結され得る。別の例では、プロセッサ（単数又は複数）２０２は、バス２１０を介してメモリ２０４及び／又は他の構成要素に動作可能に連結されつつ、本明細書に説明される機能を実行するために、様々な構成要素２０６、２０８、２１２、２１４及び１１０のうちの１つ以上を実行し得る。

一例では、物体識別構成要素２０６は、把持システム１００の動作中に、シーンの画像及び／又は映像を取り込み、シーンから把持する物体を決定し得る。一例では、メモリ２０４は、シーン内の１つ以上の物体を識別することを容易にするための物体識別データセットを含み得る。この例では、物体識別構成要素２０６は、物体識別データセットの１つ以上の物体に対応する１つ以上の物体に基づいて、シーンにおける把持する１つ以上の物体（例えば、物体１５０）を識別し得る。

奥行センサ２０８は、把持するように識別された物体の奥行画像３０２を取り込み得る。把持推定構成要素２１２は、奥行センサ２０８から奥行データを受信し、かつ把持する物体を把持するための奥行画像の１つ以上の潜在的把持点３０４又は関心領域を選択するための領域選択構成要素２２０を含み得る。一例では、把持点を生成するために把持提案システムが使用され得る。把持提案システムは、物体の凸包上の１つ以上の点を均一にサンプリングし得る。

把持推定構成要素２１２はまた、１つ以上の潜在的把持点３０４に対応する触覚出力を推定するための触覚推定構成要素２２２を含み得る。一態様では、触覚推定構成要素２２２は、以下に説明されるように、触覚経験データを介して訓練されたニューラルネットワーク３１０を含み得る。ニューラルネットワーク３１０は、１つ以上の潜在的把持点３０４を受信し、１つ以上の潜在的把持点３０４に基づいて、触覚センサの触覚出力に対応する触覚出力を推定し得る。言い換えると、ニューラルネットワーク３１０は、把持システム１００が物体１５０と接触することなく、物体１５０の触覚データを推定し得る。一例では、ニューラルネットワーク３１０は、奥行センサ２０８から奥行データを受信し、奥行データを推定された触覚出力にマッピングし得る。

把持推定構成要素２１２はまた、推定された触覚出力に基づいて、潜在的把持点の接触の質を決定するための安定性推定構成要素２２４を含み得る。一例では、安定性推定構成要素２２４は、推定された出力の接触エリアの割合を計算することによって、潜在的把持点の接触の質を決定し得る。

安定性推定構成要素２２４はまた、推定された触覚出力に基づいて、潜在的把持点の各々で物体１５０を把持する成功確率を推定し得る。一例では、安定性推定構成要素２２４は、教師あり学習方法に基づいて、物体１５０を把持する成功確率を推定し得る。例えば、安定性推定構成要素２２４は、入力として触覚センサ推定値（又はその潜在的反復）を有するニューラルネットワークを使用し得る。ニューラルネットワークによって使用される学習方法の間、把持デバイスは、試験物体を持ち上げるために把持行動を実行し得る。試験物体の持ち上げ成功率が、物体を把持する確率を決定するために使用され得る。したがって、安定性推定構成要素２２４は、ニューラルネットワーク及び奥行データを介して取得されたデータを使用して、潜在的把持点の各々での物体１５０を把持する成功確率を推定し得る。

把持推定構成要素２１２は、物体１５０を把持するための最良の場所を決定する把持合成器を含み得る。把持合成器の例としては、Ｄｅｘ－Ｎｅｔが挙げられ得、これは、奥行センサを使用して物体１５０の潜在的把持点をランク付けし、物体１５０を把持するための１つの把持点を選択する。

把持コントローラ２１４は、物体１５０を把持するために把持システム１００の１つ以上の構成要素又はシステムを制御し得る。一例では、把持コントローラ２１４は、推定された触覚出力、潜在的把持点の決定された接触の質、又は潜在的把持点での物体１５０を把持する成功確率のうちの１つ以上に基づいて、把持システム１００を制御し得る。

いくつかの例では、触覚センサ１１０は、物体１５０に物理的に接触することによって物体１５０の触覚データを取り込み得る。触覚センサ１１０からの触覚データは、物体１５０の推定された触覚出力と共に把持コントローラ２１４によって、物体１５０を把持するように把持システム１００を制御するために使用され得る。一例では、触覚センサ１１０からの触覚データは、物体１５０を把持するために、推定された触覚出力に加えて情報が必要であるという把持コントローラ２１４による決定に基づいて取得され得る。例えば、把持コントローラ２１４は、潜在的把持点の接触の質、又は潜在的把持点での物体１５０を把持する成功確率のうちの１つ以上が閾値未満であるときに、触覚センサ１１０からの触覚データを必要とし得る。

一態様では、把持制御システム１０８はまた、ネットワーク２３０に接続され得る。いくつかの例では、構成要素のうちの任意の１つは、上記に提供された機能のうちの１つ以上を実行するために、ネットワーク２３０を介して１つ以上の他のデバイスに／から、データを提供又は受信し得る。
ニューラルネットワークの訓練

図３を参照すると、一態様では、ニューラルネットワーク３１０は、訓練物体の状態に基づいて、触覚センサの触覚出力を推定するために、教師あり深層学習を介して訓練され得る。推定は、奥行センサ（例えば、奥行センサ２０８）からのデータ、又は視覚センサ若しくは力センサなどの１つ以上のセンサからのデータに基づき得る。いくつかの例では、ニューラルネットワーク３１０は、他の把持システム（図示せず）からのセンサからデータを取得し得る。ニューラルネットワーク３１０は、自然及び合成の訓練物体、異なる形状の訓練物体、及び／又は異なる表面特性を有する訓練物体を含む、様々な訓練物体との接触を繰り返し行うことによって、触覚経験データを収集し得る。触覚経験データは、２つの時点での環境の記録された状態を含み得る。第１の時点は、把持システムが訓練物体と接触する直前の時点であり得る。第１の時点では、把持デバイス、及び／又は延伸デバイスは、把持する物体と接触しておらず、把持デバイス及び延伸デバイスは、奥行センサと把持物体との間にない。第１の時点では、奥行センサは、奥行画像を取り込み得る。第２の時点は、訓練物体が把持される時点であり得る。第２の時点では、奥行センサによって検知された訓練物体の表面に対応する触覚センサからの触覚出力が登録され得る。

ニューラルネットワーク３１０を訓練する次のステップは、ニューラルネットワーク３１０を訓練するための記録された状態を分析することを含み得る。例えば、奥行センサは、奥行センサの視線内で、訓練物体の全ての表面の点を出力し得る。物体と接触する触覚センサのアクティブエリアは、一般に、物体上の表面よりも小さい場合がある。例えば、物体の表面は、３０ｃｍ×３０ｃｍであり得るが、触覚センサは、３ｃｍ×４ｃｍのアクティブエリアを有し得る。奥行センサからのデータは、触覚センサが訓練物体と接触していた訓練物体上の点のみを含むようにフィルタリングされ得る。フィルタリングされた点は、アクティブエリアに対応する体積（例えば、３ｃｍ×４ｃｍ×１ｃｍの体積）を形成し得る。

一例では、ニューラルネットワーク３１０の入力層内のニューロンの数は、一定である必要があり得る。しかしながら、奥行点群は、典型的には、様々な数の点を有する。この目的のために、体積は、ボクセルに量子化されてもよく、ボクセルは、そのボクセル内に収まる接触点の最小（又は平均）値をとる。ボクセルの形態の量子化された体積は、ニューラルネットワーク３１０を訓練するために使用され得る。

ニューラルネットワークの例としては、条件付きの敵対的生成ネットワーク（generative adversarial network、ＧＡＮ）が挙げられ得る。ＧＡＮは、画像レベルとして、また潜在的空間レベルでの触覚センサの推定値を生成するために使用され得る。画像レベルは、触覚センサ推定値の可視化のために使用され得る。潜在的空間レベルは、触覚センサ推定値の簡潔表現として使用され得る。ニューラルネットワーク３１０が触覚経験モデルを学習又は組み込むと、ニューラルネットワーク３１０は、物体（例えば、物体１５０）と接触することなく、触覚センサの触覚出力を推定するように把持システム（例えば、把持システム１００）によって使用され得る。

ここで、図１～図３に関連して説明される図４を参照すると、把持動作１２０を実行するための方法４００の一例が例示されている。一態様では、方法４００は、本明細書に説明される把持システム１００によって実行され得る。例えば、本明細書に説明されるブロックのうちの１つ以上は、把持制御システム１０８の構成要素及び／又は下位構成要素のうちの１つ以上によって実行されてもよく（例えば、１つ以上のプロセッサ２０２、１つ以上のメモリ２０４、物体識別構成要素２０６、奥行センサ２０８、把持推定構成要素２１２、及び把持コントローラ２１４）、把持制御システム１０８は、単一のコンピューティングデバイス、複数のコンピューティングデバイスにわたって分散されたものなどであってもよく、把持制御判断又は決定を行うために把持システム（例えば、把持システム１００）内に組み込まれるか、又は別様にそれと関連付けられ得る。この点に関して、方法４００の１つ以上のブロックは、所与のコンピューティングデバイス上、遠隔場所のデバイス上（結果が所与のコンピューティングデバイスと共有され得るように）などで実行され得る。

ブロック４０２では、方法４００は、任意選択的に、把持する物体として物体を識別することを含み得る。一態様では、物体識別構成要素２０６は、把持する物体としてシーンからの物体を識別する。物体識別構成要素２０６は、シーン内に物体１５０を有するシーンの画像及び／又は映像を取り込み得る。物体識別構成要素２０６は、メモリ２０４によって記憶された物体識別データセット内の識別された物体との比較に基づいて、物体１５０を把持することを決定し得る。

ブロック４０４では、方法４００は、物体の奥行画像を取得することを含み得る。一態様では、奥行センサ２０８は、物体の奥行画像を取得するように構成され得る。ブロック４０６では、方法４００は、奥行画像に基づいて、物体の潜在的把持点を決定することを含み得る。一態様では、把持推定構成要素２１２及び／又は領域選択構成要素２２０は、奥行画像に基づいて、物体の潜在的把持点を決定し得る。

ブロック４０８では、方法４００は、奥行画像からのデータに基づいて、潜在的把持点に対応する触覚出力を推定することを含み得る。一態様では、把持推定構成要素２１２及び／又は触覚推定構成要素２２２は、奥行画像からのデータに基づいて、潜在的把持点に対応する触覚出力を推定し得る。例えば、把持推定構成要素２１２及び／又は触覚推定構成要素２２２は、触覚経験データを介して訓練されたニューラルネットワーク３１０を含み得る。一例では、ニューラルネットワーク３１０は、１つ以上の潜在的把持点３０４を受信し、１つ以上の潜在的把持点３０４に基づいて、触覚センサの触覚出力に対応する触覚出力を推定し得る。

ブロック４１０では、方法４００は、任意選択的に、推定された触覚出力に基づいて、潜在的把持点の接触の質を決定することを含み得る。一態様では、把持推定構成要素２１２及び／又は安定性推定構成要素２２４は、推定された触覚出力に基づいて潜在的把持点の接触の質を決定するように構成され得る。例えば、把持推定構成要素２１２及び／又は安定性推定構成要素２２４は、奥行センサに基づいて、潜在的把持点を決定するために、Ｄｅｘ－Ｎｅｔなどの把持合成器を含み得る。

ブロック４１２では、方法４００は、任意選択的に、推定された触覚出力に基づいて、潜在的把持点での物体の把持の成功確率を推定することを含み得る。一態様では、把持推定構成要素２１２及び／又は安定性推定構成要素２２４は、推定された触覚出力に基づいて、潜在的把持点での物体１５０の把持の成功確率を推定するように構成され得る。

ブロック４１４では、方法４００は、任意選択的に、複数の潜在的把持点から、複数の潜在的把持点の各々での物体の把持の成功確率に基づいて潜在的把持点を選択することを含み得る。一態様では、把持推定構成要素２１２及び／又は安定性推定構成要素２２４は、複数の潜在的把持点から、複数の潜在的把持点の各々での物体１５０の把持の成功確率に基づいて潜在的把持点を選択するように構成され得る。

ブロック４１６では、方法４００は、推定された触覚出力に基づいて、潜在的把持点で物体を把持するように把持システムを制御することを含み得る。一態様では、把持コントローラ２１４は、推定された触覚出力に基づいて、潜在的把持点で物体を把持するように、把持デバイス１０２及び／又は延伸デバイス１０４を含む把持システム１００を制御し得る。

いくつかの例では、把持コントローラ２１４は、潜在的把持点での接触の質に基づいて、潜在的把持点で物体を把持するように、把持デバイス１０２及び／又は延伸デバイス１０４を含む把持システム１００を制御し得る。

いくつかの例では、把持コントローラ２１４は、物体の把持の成功確率に基づいて、潜在的把持点で物体を把持するように、把持デバイス１０２及び／又は延伸デバイス１０４を含む把持システム１００を制御し得る。

本開示の態様は、ハードウェア、ソフトウェア、又はそれらの組み合わせを使用して実装されてもよく、１つ以上のコンピュータシステム又は他の処理システムにおいて実装されてもよい。一態様では、本開示は、本明細書に記載される機能を実行することができる、１つ以上のコンピュータシステムを対象とする。そのようなコンピュータシステム５００の例が図５に示される。

図５は、本開示の一態様による使用のための、様々なハードウェア構成要素及び他の特徴の例示的なシステム図を提示する。コンピュータシステム５００は、プロセッサ５０４などの１つ以上のプロセッサを含む。プロセッサ５０４は、通信インフラストラクチャ５０６（例えば、通信バス、クロスオーバーバー、又はネットワーク）に接続されている。一例では、プロセッサ２０２は、プロセッサ５０４を含み得る。この例示的なコンピュータシステム５００に関して、様々なソフトウェア態様が説明される。この説明を読んだ後、他のコンピュータシステム及び／又はアーキテクチャを使用して本明細書に説明される態様を実施する手法が当業者には明らかとなるであろう。

コンピュータシステム５００は、表示ユニット５３０上に表示するために、通信インフラストラクチャ５０６から（又は図示されないフレームバッファから）グラフィック、テキスト、及び他のデータを転送する、表示インターフェース５０２を含み得る。コンピュータシステム５００はまた、メインメモリ５０８、好ましくはランダムアクセスメモリ（random access memory、ＲＡＭ）を含み、二次メモリ５１０も含み得る。二次メモリ５１０は、例えば、ハードディスクドライブ５１２、及び／又はフロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブなどを表す取り外し可能な記憶ドライブ５１４を含んでもよい。取り外し可能な記憶ドライブ５１４は、周知の様式で、取り外し可能な記憶ユニット５１８から読み取り、及び／又はそこに書き込む。取り外し可能な記憶ユニット５１８は、フロッピーディスク、磁気テープ、光ディスクなどを表し、これは取り外し可能な記憶ドライブ５１４によって読み取られ、そこに書き込まれる。理解されるように、取り外し可能な記憶ユニット５１８は、その中にコンピュータソフトウェア及び／又はデータを記憶する、コンピュータ使用可能な記憶媒体を含む。

代替的な態様では、二次メモリ５１０は、コンピュータプログラム又は他の命令を、コンピュータシステム５００にロードすることを可能にするための他の同様のデバイスを含んでもよい。このようなデバイスは、例えば、取り外し可能な記憶ユニット５２２及びインターフェース５２０を含み得る。このような例としては、プログラムカートリッジ及びカートリッジインターフェース（ビデオゲームデバイスに見られるものなど）、取り外し可能なメモリチップ（消去可能プログラマブル読み取り専用メモリ（erasable programmable read only memory、ＥＰＲＯＭ）又はプログラム可能な読み取り専用メモリ（programmable read only memory、ＰＲＯＭ）など）、及び関連するソケット、並びにソフトウェア及びデータが、取り外し可能な記憶ユニット５２２からコンピュータシステム５００に転送されることを可能にする、他の取り外し可能な記憶ユニット５２２及びインターフェース５２０が挙げられ得る。一例では、メモリ２０４は、メインメモリ５０８、二次メモリ５１０、取り外し可能な記憶ドライブ５１４、取り外し可能な記憶ユニット５１８、取り外し可能な記憶ユニット５２２などのうちの１つ以上を含み得る。

コンピュータシステム５００はまた、通信インターフェース５２４を含み得る。通信インターフェース５２４は、ソフトウェア及びデータが、コンピュータシステム５００と外部デバイスとの間で転送されることを可能にする。通信インターフェース５２４の例としては、モデム、ネットワークインターフェース（イーサネットカードなど）、通信ポート、パーソナルコンピュータメモリカード国際協会（Personal Computer Memory Card International Association、ＰＣＭＣＩＡ）スロット及びカードなどを含むことができる。通信インターフェース５２４を介して転送されるソフトウェア及びデータは、通信インターフェース５２４によって受信されることが可能な電子、電磁気、光学、又は他の信号であり得る、信号５２８の形態である。これらの信号５２８は、通信経路（例えば、チャネル）５２６を介して、通信インターフェース５２４に提供される。この通信経路５２６は、信号５２８を搬送し、ワイヤ若しくはケーブル、光ファイバ、電話線、セルラリンク、無線周波数（radio frequency、ＲＦ）リンク、及び／又は他の通信チャネルを使用して、実装されてもよい。本明細書では、「コンピュータプログラム媒体」及び「コンピュータ使用可能媒体」という用語は、一般に、取り外し可能な記憶ドライブ５８０、ハードディスクドライブ５７０に取り付けられたハードディスク、及び信号５２８などの媒体を指すために使用される。コンピュータプログラム製品は、コンピュータシステム５００にソフトウェアを提供する。本明細書に説明される態様は、そのようなコンピュータプログラム製品を対象とし得る。

コンピュータプログラム（コンピュータ制御ロジックとも称される）は、メインメモリ５０８及び／又は二次メモリ５１０に記憶される。コンピュータプログラムはまた、通信インターフェース５２４を介して受信されてもよい。そのようなコンピュータプログラムは、実行されると、コンピュータシステム５００が、本明細書に説明された態様に従って様々な機能を実行することを可能にする。具体的には、コンピュータプログラムは、実行されると、プロセッサ５０４がそのような機能を実行することを可能にする。したがって、そのようなコンピュータプログラムは、コンピュータシステム５００のコントローラを表す。コンピュータプログラムは、本明細書に説明されるように、物体識別構成要素２０６、把持推定構成要素２１２、把持コントローラ２１４、及び／又はこれらの構成要素の下位構成要素を含み得る。

本明細書に説明される態様がソフトウェアを使用して実装される変形例では、ソフトウェアは、コンピュータプログラム製品に記憶され、取り外し可能な記憶ドライブ５１４、ハードディスクドライブ５１２又は通信インターフェース５２０を使用して、コンピュータシステム５００にロードされてもよい。制御ロジック（ソフトウェア）は、プロセッサ５０４によって実行されると、プロセッサ５０４に、本明細書に説明されるような本明細書に説明される態様に従って機能を実行させる。別の変形例では、態様は、例えば、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）などのハードウェア構成要素を使用して、主にハードウェアにおいて実装される。本明細書に記載される機能を実行するためのハードウェア状態マシンの実装は、当業者（複数可）には明らかとなるであろう。

更に別の例示的な変形例では、本明細書に説明される態様は、ハードウェア及びソフトウェアの両方の組み合わせを使用して実装される。

図６は、一態様による、様々な例示的なシステム構成要素のブロック図である。図６は、本明細書に説明される態様に従って使用可能な通信システム６００を示す。通信システム６００は、１つ以上のアクセッサ６６０、６６２（本明細書では、１以上の「ユーザ」とも互換的に称される）及び１つ以上の端末６４２、６６６を含む。例えば、端末６４２、６６６は、プロセッサ（例えば、プロセッサ２０２）、メモリ（例えば、メモリ２０４）を含み得るコンピューティングデバイスであり得る。一態様では、本明細書に説明される態様に従って使用するためのデータは、例えば、パーソナルコンピュータ（personal computer、ＰＣ）、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、電話デバイスなどの端末６４２、６６６、又はＰＣ、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、若しくはプロセッサ及びデータ用のリポジトリ、並びに／又は例えば、インターネット若しくはイントラネットなどのネットワーク６４４、及びカップリング６４５、６４６、６６４を介した、データ用のリポジトリへの接続を有する他のデバイスなどのサーバー６４３に連結されたパーソナルデジタルアシスタント（personal digital assistant、「ＰＤＡ」）若しくはハンドヘルド無線デバイスなどの無線デバイスを介して、アクセッサ６６０、６６２によって入力及び／又はアクセスされる。カップリング６４５、６４６、６６４は、例えば、有線、無線、又は光ファイバリンクを含む。別の例示的な変形例では、本明細書に説明される態様による方法及びシステムは、単一端末上などの独立型環境で動作する。

本明細書で考察される態様はまた、コンピュータ実行可能命令を記憶するコンピュータ可読記憶媒体のコンテキストにおいて、説明及び実施され得る。コンピュータ可読記憶媒体は、コンピュータ記憶媒体及び通信媒体を含む。例えば、フラッシュメモリドライブ、デジタル多用途ディスク（digital versatile disc、ＤＶＤ）、コンパクトディスク（compact disc、ＣＤ）、フロッピーディスク、及びテープカセットである。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、モジュール、又は他のデータなどの情報を記憶するための任意の方法又は技術において実装される、揮発性及び不揮発性、取り外し可能及び取り外し不可能な媒体を含んでもよい。

上記に開示された及び他の特徴並びに機能又はこれらの代替物若しくは変形の様々な実装が、望ましくは多くの他の異なるシステム又はアプリケーションに組み合わされ得ることが理解されるであろう。また、当業者であれば、添付の特許請求の範囲によって包含されることも意図される、現在予測又は予期されていない様々な代替、修正、変形、又は改良を今後行うことができる。

Claims (15)

1. 把持システムによって物体を把持するための方法であって、
   メモリに記憶された物体識別データセット内の物体との比較に基づいて、把持する物体として前記物体を識別することと、
   前記把持する物体として前記物体を識別することに応答して、前記物体の奥行画像を取得することと、
   前記奥行画像に基づいて、前記物体の潜在的把持点を決定することと、
   前記奥行画像からのデータに基づいて、前記潜在的把持点が前記物体と接触する前に、前記潜在的把持点に対応する触覚出力を推定することと、
   前記推定された触覚出力に基づいて、前記潜在的把持点の接触の質を決定することと、
   前記推定された触覚出力及び前記潜在的把持点の接触の質に基づいて、前記潜在的把持点で前記物体を把持するように前記把持システムを制御することと、を含む、方法。
2. 前記触覚出力の前記推定が、
   前記奥行画像からの前記データを、触覚経験データを用いて訓練されたニューラルネットワークに供給することと、
   前記ニューラルネットワークによって、前記奥行画像からの前記データを前記推定された触覚出力にマッピングすることと、を含む、請求項１に記載の方法。
3. 前記触覚経験データは、１つ以上の把持デバイスが１つ以上の訓練物体に接触する前後の環境の記録された状態に対応するデータを含む、請求項２に記載の方法。
4. 前記推定された触覚出力に基づいて、前記潜在的把持点での前記物体の把持の成功確率を推定することを更に含み、
   前記物体を把持するための前記把持システムの前記制御が、前記物体の把持の前記成功確率に更に基づく、請求項１に記載の方法。
5. 複数の潜在的把持点から、前記複数の潜在的把持点の各々での前記物体の把持の前記成功確率に基づいて前記潜在的把持点を選択することを更に含む、請求項４に記載の方法。
6. 物体を把持するための把持システムであって、
   メモリと、
   前記メモリと連結された少なくとも１つのプロセッサと、を備え、前記少なくとも１つのプロセッサが、
   前記メモリに記憶された物体識別データセット内の物体との比較に基づいて、把持する物体として前記物体を識別することと、
   前記把持する物体として前記物体を識別することに応答して、前記物体の奥行画像を取得することと、
   前記奥行画像に基づいて、前記物体の潜在的把持点を決定することと、
   前記奥行画像からのデータに基づいて、前記潜在的把持点が前記物体と接触する前に、前記潜在的把持点に対応する触覚出力を推定することと、
   前記推定された触覚出力に基づいて、前記潜在的把持点の接触の質を決定することと、
   前記推定された触覚出力及び前記潜在的把持点の接触の質に基づいて、前記潜在的把持点で前記物体を把持するように前記把持システムを制御することと、を行うように構成されている、把持システム。
7. 前記少なくとも１つのプロセッサが、
   前記奥行画像からの前記データを、触覚経験データを用いて訓練されたニューラルネットワークに供給することと、
   前記ニューラルネットワークによって、前記奥行画像からの前記データを前記推定された触覚出力にマッピングすることと、を行うように更に構成されている、請求項６に記載の把持システム。
8. 前記触覚経験データは、１つ以上の把持デバイスが１つ以上の訓練物体に接触する前後の環境の記録された状態に対応するデータを含む、請求項７に記載の把持システム。
9. 前記少なくとも１つのプロセッサが、
   前記推定された触覚出力に基づいて、前記潜在的把持点での前記物体の把持の成功確率を推定することと、
   前記物体の把持の前記成功確率に基づいて、前記物体を把持するように前記把持システムを制御することと、を行うように更に構成されている、請求項６に記載の把持システム。
10. 前記少なくとも１つのプロセッサが、
    複数の潜在的把持点から、前記複数の潜在的把持点の各々での前記物体の把持の前記成功確率に基づいて前記潜在的把持点を選択するように更に構成されている、請求項９に記載の把持システム。
11. 把持システムによって物体を把持するためのコンピュータ実行可能コードを記憶するコンピュータ可読媒体であって、前記コードが、
    メモリに記憶された物体識別データセット内の物体との比較に基づいて、把持する物体として前記物体を識別するコードと、
    前記把持する物体として前記物体を識別することに応答して、前記物体の奥行画像を取得するためのコードと、
    前記奥行画像に基づいて、前記物体の潜在的把持点を決定するためのコードと、
    前記奥行画像からのデータに基づいて、前記潜在的把持点が前記物体と接触する前に、前記潜在的把持点に対応する触覚出力を推定するためのコードと、
    前記推定された触覚出力に基づいて、前記潜在的把持点の接触の質を決定するためのコードと、
    前記推定された触覚出力及び前記潜在的把持点の接触の質に基づいて、前記潜在的把持点で前記物体を把持するように前記把持システムを制御するためのコードと、を含む、コンピュータ可読媒体。
12. 前記奥行画像からの前記データを、触覚経験データを用いて訓練されたニューラルネットワークに供給するためのコードと、
    前記ニューラルネットワークによって、前記奥行画像からの前記データを前記推定された触覚出力にマッピングするためのコードと、を更に含む、請求項１１に記載のコンピュータ可読媒体。
13. 前記触覚経験データは、１つ以上の把持デバイスが１つ以上の訓練物体に接触する前後の環境の記録された状態に対応するデータを含む、請求項１２に記載のコンピュータ可読媒体。
14. 前記推定された触覚出力に基づいて、前記潜在的把持点での前記物体の把持の成功確率を推定するためのコードと、
    前記物体の把持の前記成功確率に更に基づいて、前記物体を把持するように前記把持システムを制御するためのコードと、を更に含む、請求項１１に記載のコンピュータ可読媒体。
15. 複数の潜在的把持点から、前記複数の潜在的把持点の各々での前記物体の把持の前記成功確率に基づいて前記潜在的把持点を選択するためのコードを更に含む、請求項１４に記載のコンピュータ可読媒体。

Images