JP7278493B2 - 触覚センサ - Google Patents

Description

本開示は、触覚感知に関し、より詳細には、エラストマーキャップの下側に取り付けられ、上面に加えられた外部力に応じて、力のパターンを測定可能な量に変換する複数の微小機械ピンを有する触覚センサに関する。

ロボットは組み立てに用いられるが、適切な組み立ては、ロボットが部品を常に同じ位置および向きで把持することに依存する。把持ミスは、組み立てが失敗し、部品が損傷し、グリッパまたはロボット自体が損傷するに至る。部品が正しく把持されていても、受ける部品が正しくない場合（または受ける部品が汚染もしくは歪んでいる場合）、ロボットは、組み立てを強行しようとすることになり、組み立てが悪くなるか、部品が損傷するか、またはロボットもしくはロボットグリッパが損傷する。この理由から、触覚センサが、例えば、適切な組み立て、およびモデムデバイスのための様々な作業を補助するために、ロボット用途において用いられる。

ロボティクスでは、触覚センサは、物体を保持する際にロボットハンドと物体との接触状態に関する有益なデータを提供する。ロボットハンドまたはグリッパによって物体を保持する動作は、グリッパと把持される物体との間の安定した把持を保証するために用いられる異なる物理的効果を含み得る。例えば、いくつかの効果は、以下を含むことができ、すなわち、（ａ）衝撃効果、すなわち、物体に対する直接的な衝撃によって物理的に把持する顎のような効果；（ｂ）進入効果、すなわち物体の表面を物理的に貫通するハックル；（ｃ）制限効果、すなわち真空効果のような物体表面に加えられる引力；（ｄ）または、接合効果、すなわち接着剤のように、接着が生じるのに直接的な接触を必要とする。

触覚センサは、物体の存在および圧力の量、ならびに組み立てを含むロボット用途のためのグリッパ内の物体の位置を特定することができる。しかしながら、ほとんどのロボットセンサは、圧力センサのような設計に基づき、剪断運動または他の種類の力もしくは圧力に関わらず、圧縮力のみを測定する。剪断センサは、とりわけ、把持された物体の運動を検出するために有用である。

本開示は、触覚感知に関し、より詳細には、エラストマーキャップの下側に取り付けられた複数の微小機械ピンを有する触覚センサに関し、キャップの外側衝撃面に加えられた外部力に応じて、微小機械ピンは、力のパターンを測定可能な量に変換する。

エラストマーキャップのいくつかの実施形態は、機械的たわみ増幅ピン、すなわち、圧力、剪断、およびトルクの下で屈曲する微小機械ピン（以下、「ピン」）を含む。ピンの各先端は、暗い背景に対して白色もしくは着色塗料または再帰反射塗料などの少なくとも１つのマークまたは基準マーカーを担持し、これらのマークは、機械視覚アルゴリズムで追跡することが容易である。圧力、オフセット圧力、剪断力、またはトルク下でのエラストマーキャップのたわみの動きを記録することができ、従来の触覚センサの感度のレベルと比較して、より高い感度のレベルをもたらすことができる。実際、ピンは、ピンから遠ざかるように延びる、すなわちツリー状の形状と同様の、１つ以上のレバーアームを含むように修正することができ；各レバーアームの先端は、少なくとも１つの追跡可能なマークを含むことができる。実験に基づいて、１つ以上のレバーアームをピンに追加すると、１つ以上のレバーアームのないピンの感度の倍率より高い感度の倍率のレベルがもたらされた。したがって、１つ以上のレバーアームは、各ピンの感度の倍率のレベルを増幅し、より高いエラストマーキャップの感度をもたらした。

剪断運動または他の種類の力もしくは圧力に関係なく圧縮力のみを記録または測定することができる従来の触覚センサとは異なり、本開示は、エラストマーキャップ上の圧縮力、剪断力、トルク、挟む力、および広げる力に敏感である。本開示の実施形態は、外側衝撃面に作用し、それのたわみの動きを引き起こす力のパターンを記録および測定するように構成される。例えば、記録または測定される力のパターンは、１つ以上のビデオカメラまたはウェブカメラを用いての、圧力、オフセット圧力、剪断力、またはトルク力下での外側衝撃面のたわみの動きを含む。１つ以上のビデオカメラは、非限定的な例として、斜め（０から約２０度）の角度で、または何らかの他の角度で、マークまたは基準マークを観察する。本開示の少なくとも１つの実施形態は、必要な場合、補間を用いて、マークの動きを格納済みまたは事前学習済みのマークたわみのセットにマッチングする機械視覚アルゴリズムを用いてエラストマーキャップの外側衝撃面上の力のパターンまたは正味の力テンソルを判断することを含む。

より詳しくは、簡単な好ましい実施形態では、触覚センサ、すなわちロボットグリッパの指に埋め込まれたエラストマー触覚センサとすることができ；好ましくは、このロボットグリッパは、「全力で開放」制御とともに単一ビットの「全力で閉鎖」ではなく、制御可能な力能力を含む。例えば、グリッパが閉じ、外側衝撃面に力のパターンを生じさせると、ビデオカメラは、マークもしくは微小機械ピン上に位置決めされたマークを含むエラストマーキャップまたはキャップの下側の画像を記録する。微小機械ピンは、非常に低い質量であり、その直径と比較して非常に長く、自由に動くことができるので、エラストマーキャップのひずみによって誘発される運動の３～３０倍の拡張を与え、これは、小さな角度歪みさえも、高度に視認可能に、したがって高度に測定可能にする。より詳細に説明されるように、エラストマーキャップ、特に、マークを有するピンおよびレバーアームは、キャップの外側衝撃面に加えられる力のパターンの種類に依存し得る、異なる種類の意図された測定可能な感度に従ってカスタマイズされ得る。

例えば、異なる測定可能な感度を得るためのカスタマイズの態様は、外側衝撃面（属性）または下面上のピン構成のパターンおよび構造構成の組み合わせを含む、エラストマーキャップの異なる構造構成のカスタマイズを含むことができる。カスタマイズの少なくとも１つのサンプルは、属性、すなわち特定のロボット作業で組み立てられる特定の品目に適合可能に適合し、特に外側衝撃面上にパターン化される隆起、円錐、滑らかさ、粗いテクスチャ、カスタマイズされた部品固有の形状の組み合わせを、ピン構造設計、すなわちキャップの下側上における、下面上の各ピン位置、ピン直径、各ピンの弾性の量、ピン長さ、ピン当たりのレバーの量、ピン構造設計のパターンと組み合わせて含むことができる。カスタマイズの理由は、ユーザ指定の用途に従って、特定の力のパターンまたは単一の力の測定可能な感度の高いレベルを決定することであり得る。例えば、グリッパが剪断力に向けられた一連の作業または運動を行うように構成された場合、ユーザは、属性およびピンの構造設計の組み合わせを構造的に一緒に構成することができ、その結果、剪断力に特有のより高いレベルの測定可能な感度および必要に応じて力のパターンを記録することになるであろう。

少なくとも１つの認識は、特定の力のパターンまたは単一の力に対するカスタマイズされた測定可能な感度の、発見された態様が、キャップの下側の平坦セクションと半径セクションとの間の接合ゾーンに取り付けられるかまたは位置決めされる微小機械レバーを含むことが、実験から得られた。キャップが０．１ｍｍ押し下げられると、半径セクションは、曲率を変化させ、より緊密に湾曲するように強制されることが発見された。より正確には、半径セクションは半径１０ｍｍから半径９．９ｍｍに歪んだ。キャップ材料が比較的非圧縮的に作用し、膨らむよりもむしろ曲がると仮定すると、これは、キャップの弧の長さにおける変化を、正確に９０度および歪みのない１５．７０７９ｍｍの長さから、半径９．９ｍｍにわたって１５．７０７９ｍｍの一定の長さに変換し、したがって、１５．７０７９＝９．９ｍｍ＊新たな角度であり、新たな角度は１．５８６６ラジアンまたは９９．０９０５度であり、これは半径における０．９０５度の歪みである。キャップの外側衝撃面の平坦な頂部は、押圧物体によって支持されるので、外側衝撃面の平坦な頂部は、大部分は平坦のままであり、収容の大部分は、側壁にある。したがって、微小機械ピンは、（キャップとともに）上方に０．１ｍｍ移動するが、約０．９度外側へも曲がることになる。

我々の微小機械ピンの長さが２０ｍｍであると仮定すると、我々が実験するものと一貫して、マイクロ機械式ピンの傾斜によるｓｉｎ（０．９度）*２０ｍｍ＝０．３１ｍｍの横方向変位である。ピンはまた、０．４ｍｍ未満の全体的な運動について、垂直にも移動する。これは、約４ｘの利得を示し、これは顕著であり、キャップの外側衝撃面に加えられる力のパターンに特有のピン上のマークを介して測定可能な感度を増加させる。

もちろん、これは、例の二次元的性質のために過剰に単純化される。２つの影響に対処する必要がある：第１に、半径の基部におけるエラストマーキャップのリムは、カメラに対して位置および角度の両方で固定され、第２に、キャップの基部リムは、キャップ上部平坦部の接合部と比較してはるかに大きい応力支持断面を有し、第１の近似に対して、エラストマーキャップの固定された根元に平坦上部の約２倍の断面が存在し、微小レバーが経験したひずみ（および歪み、ならびに傾斜）を２倍にする。第２に、固定されるキャップのリムは、歪みをキャップの中心領域内に押し込み、再び微小レバーの基部で受けるひずみ（および歪み、ならびに傾斜）を２倍にする。

要するに、エラストマーキャップの外側衝撃面上の０．１ｍｍ歪みについては、約１．６ｍｍの動きを経験する微小レバー先端の先端運動があり、これは、手動計算および有限要素モデリングから予測され、後で、微小レバーおよび基準マークを有する３Ｄ印刷エラストマーキャップを用いる実際の実験によって確認される。この運動の増幅の大部分は、微小レバーの基部で経験される倒れおよび傾斜によるものであり、補強または支持ゲルなどの外部表面力に応答する先端、傾斜、および回転の所望の態様に対するいかなる妨害もないことは、本開示の少なくとも１つの重要な態様である。

観察される１．６ｍｍの基準マーク運動は、ピン自体の直径より大きく、０．１ｍｍで運動する表面の直接観察よりもはるかに大きい運動である。これは、本開示における自由に動く微小レバーの正当化および目的であり；これは、エラストマーキャップのひずみ歪みによる観察された変位において１６ｘという非常に大きな利得である。この観察された変位は顕著であり、ウェブカメラのような単純なビデオカメラを用いて測定することができる。

この微小レバー歪み利得のために、ビデオカメラによって撮像される画像は、基準マークにおいて大きな動きを有し、これは、かすめ照明によって、または半球状ゲルの代用物を通して、接触面の上面を直接画像化する従来の触覚センサ方法と比較して、かなり良好な信号対ノイズ比を有する。

独立して運動する微小レバーの使用はまた、キャップの異なる部分が、劇的に異なる局所ひずみおよび力を経験し、報告することを可能にする。例えば、キャップの一部は左から右への剪断にあり得、キャップの他方の側は右から左への剪断にあり得、微小レバーは連続的なゲル内に捕らえられるのではなく、自由に動くので、センサの特注構成は、この状況を、半球状ゲルがこれらの特定のセットの力に非敏感であろうように、その特定のセットの力に非敏感であるのではなく、表面トルクとして正確に検出することができる。

これらの微小レバーで増幅された基準マークの動きを利用して力信号出力を生成するために、いくつかの実験を行った。考えられるいくつかの態様は、グリッパのキャビティ内の異なる位置に固定カメラを構造的に配置することを含んだ。例えば、固定カメラは、ピンに取り付けられた基準マークの画像を撮像する。画像はコンピュータに送られ、少なくとも１つの実験に従って、安価なウェブカムカメラが、ＵＳＢを介して、Debian Linux（登録商標）ソフトウェアを実行するコンピュータに接続されるが、明らかに、他の実験は、異なる種類のカメラ、カメラ位置、カメラ搭載構成、および他の種類のソフトウェアを含んだ。

コンピュータ上では、画像処理ソフトウェアを用いて、各基準マーカーのＸＹ位置を抽出することができる。明らかに、多くの異なるが同様の画像処理ソフトウェア方法が存在するが、好ましい方法は、オープンソースパッケージ「ＯｐｅｎＣＶ」を用いることを含んだ。得られた少なくとも１つの認識は、すべてのマークがカメラの視界にある必要はないことであり、そのすべては特定の用途に依存する、ということである。

そのようなＸＹペアの数は基準マークの数に等しく、小さい（少なくともこれらの特定の実験のいくつかについて、基準マークを担持する７つのピンだけを用いた）ので、次のステップは、基準マークＸＹ位置の事前格納済みライブラリに対する観察された基準マークＸＹ位置のセットのペア単位マッチングを行うことであった。基準マークＸＹ位置の事前格納済みライブラリは、エラストマーキャップ上に既知の制御された力を与え、画像処理チェーンによって見出される基準マークのＸＹ位置を記録することによって、早期に生成された。例えば、我々は、キャップ上の６つの位置（「ゾーン」として定義する）の各々における０，１，２，５，１０，１５，および２０ニュートンの圧縮力、４つの主要な面内方向の各々において１、２、５、および１０ニュートンのキャップ全般剪断力、－１０，－５，－２，－１，１，２，５，および１０ニュートンメートルのトルクを印加し、軸方向に２、５、および１０ニュートンで挟み、ならびに３つの異なる軸方向位置（ゾーン１～ゾーン２、ゾーン３～ゾーン４、およびゾーン５～ゾーン６）で２、５、および１０ニュートンで横方向に挟んで広げ、合計で７＋４＊４＋８＋２＊（３＋３＊３）＝５５個の異なるＸＹ位置セットであり、各セットは複数の個々のＸＹ位置を、各基準マークについて１つの位置で、含む。７つのピンを有するエラストマーキャップを用いる実験では、各ピンが１つの基準マークを支持しており、結果として、７つのＸＹ位置が５５の既知の制御された力設定の各々に関連付けられる。

特定の既知の制御された力設定に関連付けられるＸＹ位置の各セットはラベル付けされ；このラベルは、NO_CONTACT, 10_NT_COMPRESSION, 2_NT_SHEAR_EAST, 2_NT_CENTRAL_PINCH,などの人間が認識可能な文字列とすることができる。ＸＹ位置の各セットはまた、力のベクトル、つまり、例えば、Ｚ１（ゾーン１における圧縮）、Ｚ２（ゾーン２における圧縮）～Ｚ６（ゾーン６における圧縮）における力、Ｘ剪断（剪断の反対方向を示す負の数）、Ｙ（剪断）、Ａ（Ｘ軸上の全体的なトルク、ならびにＰ（挟む）０（軸方向に挟む）およびＰ１～Ｐ３（ゾーン１／ゾーン２挟む／広げる、ゾーン３／ゾーン４挟む／広げる、ゾーン５／ゾーン６挟む／広げる）と関連付けられてもよい。

実験のこの特定のセットについては、５０未満の事前格納済みＸＹセットが、事前格納済みライブラリデータベース内のメモリに格納される場合に、優れた解像度およびユーザビリティを与える結果となった。もちろん、５０個より多い事前格納済みＸＹセットを事前格納済みライブラリデータベースに格納することができるが、これらの実験セットについては、５０個の事前格納済みＸＹセットは、本開示のいくつかの態様による目標のいくつかに達するのに十分であると思われた。

次のステップは、ピタゴラス計量（ＸおよびＹの差の二乗の和の平方根）を用いて、ライブラリにおける事前格納済みＸＹセットに対する観察された基準ＸＹ位置の最良マッチを判断することを含んだ。少なくとも１つの驚くべき結果は、この計算が非常に速いことであった。観察されたＸＹ位置の各々を、事前格納済みライブラリ内の予め格納されたすべてのＸＹ位置と比較した。５０個ほどの事前格納済みセットの各々に対する「実行タリー」が、すべての各基準マークが事前格納済みセットの各々において一回だけ表現されるという仮定のもと維持され、各事前格納済みセット実行タリーは、観察されたＸＹ基準位置と任意の所与の事前格納済みセット内の任意の基準の最も近い事前格納済みＸＹ位置との間のピタゴラス距離だけ増分された。いくつかの用途では、我々は、実験中に、どの観察されたＸＹ基準位置がどのＸＹピンに対応するかを追跡する必要がないことを発見し、単に「いくつかの用途では重複または再使用に関して注意を払わなかった、最も近いＸＹ」は極度のコード化の単純さで優れた結果を与える結果となった。

より厳密な用語では、好ましい実施形態の作業におけるピタゴラス計量は、ｋ個の基準ピンを有するキャップについて以下のように記述することができる：
●任意の観察されたＸＹセットについて、ＯＢＳはｋ個のＸＹペアOBS_X[0...k-1], OBS_Y[0...k-1] を含み、
任意の格納されたＸＹ位置セットについて、ＳＴＯはSTO_X[0...j-1],STO_Y[0...j-1] を含み、
関数PDIST(arg1, arg2, arg3, arg4)を用い、この関数は、(arg1－arg2)の二乗＋(arg3－arg4)の二乗の和の平方根（つまり、SQRT ((arg1 - arg2)^2 + (arg3 - arg4)^2として定義され、これはピタゴラス距離式である。

次いで、任意の観察された（ＯＢＳ）ＸＹセットと任意の格納された（ＳＴＯ）セットとの間の好ましい距離値は、以下の通りである：
●Preferred_Distance（好ましい距離値）＝SUM_over_all k (MIN_over_all_j (PDIST (OBS_X[k], STO_X[k], OBS_Y[k], STO_Y[k] )))

上述したように、この実験からの驚くべき結果は、この計算が例外的に速いことであった。１０個の基準マークおよび１００個の事前格納済みライブラリセットでは、１０００個のＸＹペア対ペア比較があり、これは、全部で、２０００個の二乗、１０００個の加算、１０００個の平方根、または約４０００個の浮動小数点演算である。これは、最も安価なマイクロプロセッサがカメラのフレームレートを十分超えて実行するためのプロセス構成に鑑みても、素晴らしい結果を伴う非常に扱いやすい方法であることを意味し、認識された。もちろん、１０個を超えるマークを試験することができるが、この特定の量を実験に用いた。

次のステップは、ピタゴラス距離実行タリーの合計を用いて、事前格納済みＸＹ位置セットのリストを、最低のピタゴラス距離（最良マッチ）から最低のピタゴラス距離（最悪マッチ）まで順に、マッチリストのランク付けされた品質にソートすることを含んだ。

いくつかの用途では、単一の最良マッチは、所望され、センサ処理によって出力される唯一のものであり得る。例えば、「GRIP OK（把持ＯＫ）」対「NO OBJECT FOUND（物体見つからず）」対「GRIP TOO TIGHT（把持が強すぎる）」対「GRIP ON EDGE（縁部を把持）」は、格納されたＸＹ位置セットのいくつかに対するラベルであるかもしれず、したがって、それらはセンサプロセッサによって出力されるであろう。同じラベルを有する複数の格納されたＸＹ位置セットを有することに対する禁止はないことに留意されたい。５個または１０個の「GRIP ON EDGE」可能性があるかもしれず、用途に基づいて、下流のシステムが正確にどれが最良の一致であったか－すべてのそのような事項はそれが縁部把持であった－を知る必要はないか、または有用でさえないかもしれない。

他の用途では、何らかの特定の重み付け、逆重み付け、または特定の格納されたＸＹ位置セットが記録されたときに有効であった力の線形結合であるセンサ結果を出力することを選択することに依存し得る。

また、重み付け、逆重み付け、または線形補間において評価されるべき格納されたＸＹセットの数を制限することも妥当であり、典型的には、最良にマッチする（最小のピタゴラス距離）２つまたは３つの格納されたＸＹ位置セットは、１次元問題に対して最良の精度を与え、４つから６つの格納されたＸＹ位置セットは、２次元問題に対して最良の精度を与え、６つから８つの格納されたＸＹ位置セットは、３次元問題に対して最良の精度を与える、などである。実験から認識される本開示の方法は、ユーザの特定の用途のニーズ／要件、すなわち異なる種類の力のパターンまたは単一の力に関する測定可能な感度の種類に高度にカスタマイズ可能であり、その間ずっと、安価なマイクロプロセッサを用いながらカメラフレームレートをかなり超えて実行することを含む、非常に安価な構成要素を用いる。

上述したように、ピンは、あるパターンの力または正味の力テンソルのような測定が困難なものを、測定が容易なものに変換する。すなわち、測定は、自由微小機械ピン先端または端部の画像の動きに基づいて、より容易になされ、すなわち、ピンの最外端部におけるマークの画像の動きは、ある角度でピン先端を観察する安価なウェブカムなどのカメラによって追跡される。ピン先端は、ピン先端の動きの前、すなわち力がエラストマーキャップの外側衝撃面に加えられる前、ピン先端の動きの間、すなわち力がエラストマーキャップの外側衝撃に加えられる間、およびピン先端の動きが停止した後、すなわち外部から加えられる力が停止した後、カメラによって連続的に見ることができる。

外側衝撃面の属性の異なる組み合わせとピン構成の組み合わせとで実験しながらわかったいくつかの他の態様は、以下の有用な認識をもたらした。すなわち、
Ａ）本開示のピンが対称的な力の下でも実質的に非平行になることを意図的に可能にすることは、後に、ピン先端上の非対称な力、剪断、およびトルクを検出する際の少なくとも１つの重要な態様として、発見された。
Ｂ）本開示のエラストマーキャップのいくつかの構成を、より少ないピン、非限定的な例として、親指サイズのセンサ用の５～１０ピンの範囲のピンの数で構成すると、かなりの測定可能な力テンソルがもたらされた。１００または２００を超えるなど、ピンの数が多いほど、本開示の目的のいくつかを満足させる測定可能な感度のレベルを提供せず、したがって、本開示のいくつかの実施形態については、はるかにより少ない数のピンを標的とした。
Ｃ）非対称ピン：本開示のいくつかの実施形態は、キャップの下側に、非対称的に、より少ない数のピンを意図的に配置または配置する。いくつかのピンは、非対称のキャップのより低い角度において、またはキャップの縁部において、丸みを帯びたフィレットとキャップの平坦面との間に配置された。いくつかの実験結果は、キャップの中央に位置するピン、すなわち、縁部上にないピンと比較して、キャップの感度の量がより大きいことを示した。加えて、ピンの長さは、互い違いにすることができ、高度に最適化されたセンサの場合、例えば、有限要素モデリング（ＦＥＭ）を用いる場合、ＦＥＭは、いくつかのピンが非対称の（非常に楕円形の、またはさらには飛控え状の）基部を有することを示すことができる。したがって、これは、対称的な力に対しても非平行運動を支援する。
Ｄ）斜めのカメラ角度：Ｚ軸に沿って見る（７５～１００ｍｍ垂直高さを必要とする）代わりに、斜めに見る（通常、１０度程度では、互い違いのピン長で、グリッパ先端の面と平行に、０度の視角が可能になる）。結果として、これは、力、剪断、およびトルクに対する感度を失うことなく、厚みわずか約１０ｍｍ～２０ｍｍのセンサを用いる機会を提示し、ならびに、緊密空間および緊密空間アセンブリの両方に本開示のエラストマーキャップセンサを用いることを可能にすることが明らかになった。他の恩恵／利点は、センサが、非限定的な例として、ロボット組み立て作業中に加えられるべき適切な力テンソルを記録する、人間が着用する「ティーチグローブ」において用いられ得ることである。０度～１０度、１０度～１５度、１０度～２０度および１５度～３０度を含む他のカメラ角度を利用することができることに留意されたい。

要するに、発見されたキャップの認識された構造的構成のいくつかは、非限定的な例として、（１）外側衝撃面の均一な厚みまたは不均一な厚みなどの寸法厚み；（２）楕円キャップ形状、半円キャップ形状、半球キャップ形状等の均一なキャップ形状、不均一形状等の寸法形状；（３）キャップの寸法高さ、幅、長さおよび深さ；（４）キャップの材料の種類およびキャップを構成する異なる種類の材料の位置；ならびに（５）三次元（３Ｄ）印刷、成形製造プロセスの種類等を含んで、キャップがどのように構築／製造されるか、を含むことができる。また、エラストマーキャップの下側に搭載／取り付け／成形されるピンの数は、（実験からわかるように）多くの因子に依存し得、例えば、認識されたのは、所定のレベルの感度、耐久性などを達成する観点から、ピンの数が、ユーザの意図および目標に基づく特定の用途に依存し得ることである。

本開示のいくつかの実施形態で実験され用いられる別の画像処理方法は、有限要素モデル化（ＦＥＭ）方法であり得る。例えば、ピンの動きを含む、カメラの撮像された画像から生成されたデータを処理するために、メタマテリアル設計としてデータを処理するよう、ＦＥＭ法を用いることができる。メタマテリアルは、内部構造が、その物理的特性（電気的、磁気的、機械的、熱的特性）が、それを構成する「実際の」材料のバルク特性、すなわち、負のε、μ、ほぼ任意の光速ｃ、ポアソン比ν、または熱伝導率κと著しく異なる最終物体を生成する物体である。キャップは、適度に剛性のゴムとして振る舞うエラストマー外側表面を有する（ゴムに典型的には、ポアソン比は１．０に近く、弾性率は０．０１ＧＰａｉ程度である）が、内側微小レバーは、視域内で自由に運動し、ほぼ０．０のポアソン比および同様に０に近い弾性率を有する材料にほぼ匹敵するので、ユニットとしてのキャップの分析は、多成分メタマテリアルとしてキャップにほぼ匹敵するに違いないか、または、キャップ、キャップリムアタッチメント、キャップテクスチャおよび表面特徴要素、ならびに微小レバーの詳細を含むに違いない。この第２の方法が好ましい。

この第２の方法を用いて、ＦＥＭモデルは、異なる負荷下でエラストマー変形を予測することができる。さらに、エラストマーピンは、表面プロファイルを上昇させ、表面傾斜を画像化しやすいＸＹ運動に変換し、すなわち、ピン先端の低コストウェブカム画像を用いる。さらに、より少ない基準マークを有するキャップの構造設計は、単純な画像閾値付けを提供し、フレーム間追跡／曖昧さがない。実際、ＯｐｅｎＣＶを用いて、力マップに変換されるピン先端の動きを追跡することが可能である。これは、計算費用を最小化し、高いフレームレートを維持する。

実験中、逆ＦＥＭは計算上高価であることが証明された。認識されたのは、モデルの学習が実データとともにあるべきであることであった。実験からさらにわかった態様は、１４次元空間におけるユークリッド距離を用いて、状況を、把持位置、角度姿勢、剪断およびトルクとともにラベル付けすることが有益であることが証明されたことである。例えば、計算時間は非常に速く、すなわち、計算コストの量は非常に低いことが証明され、その結果、１つの１ＧＨｚ ｃｐｕ（例えば、Raspberry Pi Zero）上で優れた視覚化を伴うリアルタイムでの処理能力がもたらされた。

場合によっては、実際の力テンソルまたは力のパターンを計算することは不要であり得、正しい画像および不正確な画像の既定のライブラリに対するピン先端位置の単純な比較が、適切なまたは不適切なロボット把持を判断するのに十分であるか、または既知の歪みのライブラリに対して補間されて、リアルタイムでセンサ上の実際の力テンソルの良好な推定値をもたらす。

本開示の他の実施形態はまた、エラストマー触覚センサに加えられた外力の高感度の感知を提供しながら、単純なコンパクトな触覚センサを、浅いプロファイルとともに、低コスト、低質量で提供するなどの利益を提供することによって、今日の産業的必要性に対処する。これらの利点のいくつかは、本開示のコンパクトな触覚センサが、以前の従来の触覚センサの使用が異なる技術産業にとって高価すぎることがわかった技術において用いられることを可能にする。例えば、果物、寿司、または焼き物のような繊細な食材を単に置くことは、人間の従業員が行えばそのような人間の労力は高価であるレベルのタッチコントロールを必要とするが、エラストマーセンサを備えたロボットは、はるかに低コストの場となる。

上述したように、ほとんどの従来のロボットグリッパは、柔軟な組み立てラインに用いられる従来のロボットにとって問題を生じる、触覚をほとんどまたはまったく含まないことを含む、多くの問題を有する。少なくとも１つの理由は、多くの中でも特に、高精度部品把持および把持検証に用いられるこれらの従来の特殊なグリッパフィンガーは、予測されるか予測されないかにかかわらず、変更の場合にグリッパが反応することを可能にする量の柔軟性を動作的に組み込むことができないため、柔軟な組み立てラインに使用できないことである。同様に、従来のロボットは、実際の組み立て作業が成功したか否かを知る能力のレベルが低い。従来のロボットのこれらの問題を克服するために、本開示のいくつかの実施形態は、圧力、並進、回転、剪断、挟み、および伸張に関して設定される力のパターン、単一の力、充分な力の、記録可能な測定可能な感度を提供し、非限定的な例として柔軟な組み立てラインのために用いることができる、機械的に堅牢な汎用グリッパ指先として構成される。

本開示の実施形態によれば、ロボット用の触覚センサは、外側衝撃面と、ピン、隆起部、またはそれら両方を有する下面とを含む弾性変形可能な要素を含む。各下面ピンまたは隆起部はマークを含み、弾性変形可能な要素はロボットのグリッパに取り付けられる。カメラは、マークの画像を撮像するためにグリッパのキャビティ内に配置される。メモリは、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに記憶し、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。画像プロセッサは、カメラおよびメモリに動作可能に接続される。画像プロセッサは、撮像された画像におけるマークの位置を検出するように構成される。前記撮像された画像における前記検出した前記マークの位置を、距離関数に基づいて、前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断する。前記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、前記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算する。判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な要素に作用する力のパターンを特定する。特定された力のパターンを出力し、変形可能な要素に作用する特定された力のパターンに基づいてグリッパのグリッパ動作を開始する。

本開示の別の実施形態によれば、ロボット用の触覚センサは、外側衝撃面と、ピン、隆起部、またはそれら両方を有する下面とを含む弾性変形可能な要素を有する。各下面ピンまたは隆起部はマークを含み、弾性変形可能な要素はロボットのグリッパに取り付けられる。カメラは、マークの画像を撮像するためにグリッパのキャビティ内に配置される。メモリは、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに記憶し、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。触覚センサは、カメラおよびメモリに動作可能に接続される画像プロセッサを備える。画像プロセッサは、撮像された画像におけるマークの位置を検出するように構成される。前記撮像された画像における前記検出した前記マークの位置を、距離関数に基づいて、前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断する。ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断する。判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な要素に作用する力のパターンを特定する。特定された力のパターンを出力し、変形可能な要素に作用する特定された力のパターンに基づいてグリッパのグリッパ動作を開始する。

本開示の別の実施形態は、外側衝撃面と、ピン、隆起、またはそれらの両方を有する下面とを含む弾性変形可能な要素を有する、触覚感知のための方法である。下面ピンまたは隆起部はマークを含む。弾性変形可能な要素は、ロボットのグリッパに取り付けられる。カメラは、マークの画像を撮像するためにグリッパのキャビティ内に配置される。本方法は、カメラから画像を撮像することを含む。事前学習済みのマークの位置のセットの画像データを含むデータを事前学習済みの力のパターンとともに格納するメモリにアクセスし、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。撮像された画像において前記マークの位置を検出する。前記撮像された画像を評価して前記撮像された画像における各マークの位置を検出し、前記撮像された画像における前記検出された前記マークの位置を、距離関数に基づいて、前記画像データの前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにある品質のマッチ値を得る。ユーザが選択した最良マッチング関数を前記ある品質のマッチ値に適用して、前記事前学習済みのマークの位置の最良にマッチするセット、および対応する最良品質マッチの事前学習済みの力のパターンを計算する。判断された最良マッチの事前学習済みの力のパターンに基づいて、弾性変形可能な要素に作用する力のパターンを特定する。前記特定された力のパターンを出力し、前記弾性変形可能な要素に作用する前記特定された力のパターンに基づいて前記グリッパのグリッパ動作を開始する。

本開示の別の実施形態は、外側衝撃面と、ピン、隆起部、またはそれら両方を有する下面とを含む変形可能な要素を有するロボット用の触覚センサを含む。各下面ピンまたは隆起部はマークを含む。変形可能な要素は、ロボットのグリッパに取り付けられる。カメラは、マークの画像を撮像するためにグリッパのキャビティ内に配置される。メモリは、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに記憶し、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。触覚センサは、カメラおよびメモリに動作可能に接続される画像プロセッサを備える。画像プロセッサは、撮像された画像におけるマークの位置を検出するように構成される。前記撮像された画像における前記検出した前記マークの位置を、距離関数に基づいて、前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断する。ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断する。判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な要素に作用する力のパターンを特定する。前記変形可能な要素に作用する前記特定された力のパターンに基づいて前記グリッパのためのグリッパ動作を開始するよう、前記特定された力のパターンを出力し、前記特定された力のパターンは、垂直圧力Ｚ、中心圧力、オフセット圧力、横方向力Ｘ、剪断力Ｙ、ピッチ、ヨー、もしくはロールにおけるトルク、挟む力、すなわち、挟む横方向力Ｘ、挟む剪断力Ｙ、および広げる力の１つまたは組み合わせを含む。

添付の図面を参照して、ここに開示される実施形態について説明する。示される図面は、必ずしも一定の縮尺ではなく、代わりに、ここに開示される実施形態の原理を例示することに概して強調がおかれる。

本開示の実施形態による、グリッパを用いて構成されたエラストマーキャップの実施形態を示す概略図である。 本開示のいくつかの実施形態による、エラストマーキャップに接続され、キャップはグリッパに取り付けられ、グリッパはロボットアセンブリの一部である、センサ制御コンピュータを含むいくつかの構成要素を示す概略図である。 本開示のいくつかの実施形態によるエラストマーキャップの実施形態を示す概略図である。 本開示の実施形態による、グリッパを用いて構成されたエラストマーキャップの実施形態を示す概略図である。 本開示のいくつかの実施形態による、方法を実施するためのいくつかのステップの実施形態を示す流れ図である。 本開示のいくつかの実施形態による、方法を実施するためのいくつかのステップの実施形態を示す流れ図である。 本開示のいくつかの実施形態による、図２Ａのステップ２２５のメモリに格納されたＸＹ位置の事前格納済みライブラリに対する観察された基準マークＸＹ位置のセットのペア単位マッチングを実行するためのいくつかのステップを示すブロック図である。 本開示のいくつかの実施形態による、ＸＹ位置の事前格納済みライブラリを生成するためのいくつかのステップを示すブロック図である。 本開示のいくつかの実施形態による、画像測定機能を用いるためのいくつかのステップを示すブロック図である。 本開示のいくつかの実施形態による、有限要素モデル化（ＦＥＭ）のいくつかのステップを示す流れ図である。 本開示のいくつかの実施形態による、図３ＡのＦＥＭを用いる一態様を示す概略図である。 本開示のいくつかの実施形態による、図３ＡのＦＥＭを用いる一態様を示す概略図である。 本開示のいくつかの実施形態による、グリッパおよび２つのエラストマーセンサを含むロボットアセンブリの実施形態を示す概略図である。 本開示のいくつかの実施形態による、エラストマーキャップの内面上のピンと、エラストマーキャップの外側衝撃面上の位置に取り付けられた隆起部とを有する、エラストマーキャップの実施形態を示す概略図である。 本開示のいくつかの実施形態による、エラストマーキャップの内面上のピンと、エラストマーキャップの外側衝撃面上の位置に取り付けられた円錐とを有する、エラストマーキャップの実施形態を示す概略図である。 本開示のいくつかの実施形態による、エラストマーキャップの実施形態であって、エラストマーキャップは、ピンを有し、微小レバーまたは微小アームがピンに沿って取り付けられかつピンから延び、各微小レバーまたは微小アームはマークを含むことができることを示す概略図である。 本開示のいくつかの実施形態による、グリッパの構造に関して真っ直ぐなグリッパキャビティ構成とともに構成されたエラストマーキャップの実施形態を示す概略図である。 本開示のいくつかの実施形態による、グリッパの構造に関して屈曲したまたは湾曲したグリッパキャビティ構成とともに構成されたエラストマーキャップの実施形態を示す概略図である。 本開示のいくつかの実施形態による、グリッパの構造に関して真っ直ぐなグリッパキャビティ構成に取り付けられたエラストマーキャップの一実施形態を、ピンを示すために下側が上を向いている別のエラストマーキャップとともに示す写真である。 本開示のいくつかの実施形態による、グリッパの構造に関して屈曲または湾曲したグリッパキャビティ構成に取り付けられたエラストマーキャップの一実施形態を、人間が着用している「ティーチグローブ」とともに示す写真である。 本開示のいくつかの実施形態による、エラストマーキャップの外側衝撃面（図示せず）に圧力または力が加えられていないピンの照明された図を伴うエラストマーキャップの実施形態を示す写真である。 本開示のいくつかの実施形態による、検出されたＸＹ特徴のセットが灰色の円としてマークされている、画像処理後の同じ図である。 本開示のいくつかの実施形態による、エラストマーキャップの外側衝撃面（図示せず）に力が加えられた状態でのピンの照明された図を伴うエラストマーキャップの実施形態を示す写真である。 本開示のいくつかの実施形態による、検出されたＸＹ特徴のセットが灰色の円としてマークされている、画像処理後の同じ図である。 本開示のいくつかの実施形態による、エラストマーキャップの外側衝撃面（図示せず）にトルク力が加えられた状態でのピンの照明された図を伴うエラストマーキャップの実施形態を示す写真である。 本開示のいくつかの実施形態による、検出されたＸＹ特徴のセットが灰色の円としてマークされている、画像処理後の同じ図である。 本開示のいくつかの実施形態による、エラストマーキャップの外側衝撃面（図示せず）に近傍圧力が加えられた状態でのピンの照明された図を伴うエラストマーキャップの実施形態を示す写真である。 本開示のいくつかの実施形態による、検出されたＸＹ特徴のセットが灰色の円としてマークされている、画像処理後の同じ図である。 本開示のいくつかの実施形態による、エラストマーキャップの外側衝撃面（図示せず）に横方向剪断力が加えられた状態でのピンの照明された図を伴うエラストマーキャップの実施形態を示す写真である。 本開示のいくつかの実施形態による、検出されたＸＹ特徴のセットが灰色の円としてマークされている、画像処理後の同じ図である。 本開示のいくつかの実施形態による、エラストマーキャップの外側衝撃面（図示せず）に、中心から外れた、遠い軸方向の外剪断力が加えられた状態での、ピンの照明された図を伴うエラストマーキャップの実施形態を示す写真である。 本開示のいくつかの実施形態による、検出されたＸＹ特徴のセットが灰色の円としてマークされている、画像処理後の同じ図である。 本開示のいくつかの実施形態による、弾性変形可能なキャップを有するグリッパを有するロボットを含む代替ロボットシステムのいくつかの構成要素および様々なサブシステムを示す概略図である。 本開示のいくつかの実施形態による、代替プロセッサを示す概略図である。

上記で特定された図面は、ここに開示されている実施形態を記載しているが、議論に記載するように、他の実施形態も企図される。本開示は、限定ではなく代表として例示的な実施形態を提示する。当業者は、本開示の実施形態の原理の範囲および精神に含まれる多数の他の修正および実施形態を考案することができる。

本開示は、触覚感知に関し、より詳細には、エラストマーキャップの下側に取り付けられ、上面に加えられた外部力に応じて、力のパターンを測定可能な量に変換する複数の微小機械ピンを有する触覚センサまたはエラストマー触覚センサに関する。

図１Ａは、本開示の実施形態によるエラストマーキャップの実施形態を示す概略図である。触覚センサは、上面１６および下面１７を有する弾性変形可能なキャップ１８を含む。下面１７は複数のピン１３を含み、各ピン１３は基準先端マーカー１５を含む。上面１６に力が加えられると、弾性変形可能なキャップ１８は変形し、ピン１３が動かされ、基準先端マーカー１５は屈曲運動する。エラストマー触覚センサは、管１１に入り、グリッパ８のキャビティ１２Ａに入るカメラ１０を含むことができる。エラストマーキャップ１８はグリッパのキャビティ開口部１２Ｂに接続され、基準先端マーカー１５のうちの１つまたはすべて、すなわちピン１３に取り付けられたものが、カメラ１０の視界にある。

カメラ１０は、基準先端マーカー１５が動かされる際に、動かされる前、動かされる間、および動かされた後に撮像するよう、斜めの角度で基準先端マーカー１５の視野内に位置決めされることができる。動かされる際のマーカー１５は、あるパターンの力または正味の全力テンソルによって動かされるが、そのとき、圧力、力、トルク、狭窄、伸張などが外側衝撃面１６に加えられ、それがピン１３を動かすことに対応し、それがマーカー１５を動かす。

図１Ｂは、本開示のいくつかの実施形態による、図１Ａのエラストマーキャップ１６に接続され、キャップは図１Ａのグリッパ８に取り付けられ、グリッパはロボットアセンブリの一部である、センサ制御コンピュータ１１３を含むいくつかの構成要素を示す概略図である。センサ制御コンピュータ１１３は、バス１０６を介してストレージ１３０に接続されるハードウェアプロセッサ１２０を含むことができる。ハードウェアプロセッサは、メモリ１２２またはストレージ１３０に格納された命令を実現または実行することができ、特に、ハードウェアプロセッサ１２０は、予め格納されたＸＹセット１３１にアクセスすることができる。ストレージ１３０は、ラベルおよび力の値を含む事前格納済みＸＹセット１３１を格納することができる。プロセッサ１２０は、バス１０６を介してメモリ１２２に接続される。任意選択で、ラベルおよび力の値を有する事前格納済みＸＹセットは、ストレージ１０３、メモリ１２２のいずれか、またはそれらの両方に格納されてもよく、そのすべては、ユーザによって予め定められた特定の用途に依存する。

バス１０６を介して接続された制御モジュール１４０はロボット制御コンピュータ１４２に接続され、ロボット制御コンピュータ１４３は、１４３を介して制御モジュール１４０に通信し返すことができる。例えば、制御モジュール１４０は、ロボット制御コンピュータから構成され、グリッパ力ステータスを１回チェックして報告し返し、それによって、グリップを確認もしくは否認するか、または、グリッパステータスをフレームレートで継続的に監視し、グリッパが良好なグリップもしくは無効なグリップのいずれかを示す場合に、ロボット制御を中断することができる。

さらに図１Ｂを参照すると、ロボット制御コンピュータ１４２はロボット１４４に接続し、ロボット１４４は、１４５を介してロボット制御コンピュータ１４２に通信し返すことができる。例えば、ロボット制御コンピュータ１４２は、グリッパを移動、開放または閉鎖するように、ロボット１４４に命令することができる。

さらに、ロボット１４４は、外側衝撃面１４８の歪みに接続され、物理的環境１４６も、外側衝撃面１４８の歪みに接続される。さらに、外側衝撃面１４８の歪みは、ピンの動きを引き起こす力のパターンまたは正味の力テンソルを形成する外部圧力または力である。ここで、少なくとも１つのビデオカメラ１３３は、マークおよびピン位置の画像を撮影してビデオ画像データを得る。例えば、外側衝撃面１４８の歪みは、図１Ａの外側衝撃面１６に加えられる外部圧力、力などによるものであり得る。外部のまたは外部圧力、力などは、本開示の実施形態が図１Ａの外側衝撃面１６に外部から印加される力のパターンの各圧力または力について測定可能な感度の量を判断することができる力のパターンとすることができる。

さらに図１Ｂを参照すると、任意選択で、センサ制御コンピュータ１１３は、制御システム１００を、マークおよびピン位置の撮像された画像のビデオカメラ画像データ１３３ならびに他のデータをワイヤレスで受信することができるワイヤレスシステムと接続するネットワーク１５１に、バス１０６を介して、制御システム１００を接続するように適合されたネットワークインターフェースコントローラ１５０を含むことができる。また、任意選択で、バス１０６を介したセンサ制御システムは、遠隔ロボット制御コンピュータ（図示せず）、遠隔ロボット（図示せず）、またはさらに遠隔制御モジュール（図示せず）に無線でデータを送信するために、送信機１６５に接続された送信機インターフェース１６０を含むことができる。さらに、バス１０６を介するセンサ制御システム１１３は、１つ以上の電源１２８に接続される制御インターフェース１７０に接続され得る。制御インターフェース１７０は、アクションコマンドを含むデータを電源または他のデバイスに提供することができる。企図されるのは、電源１２８は、バッテリー、代替電源、１２０ボルト電源、代替エネルギー源（すなわち、太陽、水、風など）の１つまたは組み合わせであり得ることである。さらに、バス１０６を介したセンサ制御コンピュータは、ビデオ画像データまたは他のデータを受信するために、受信機１８５に接続された受信機インターフェース１８０を含むことができる。

図１Ｃは、本開示のいくつかの実施形態による、図１Ａのエラストマーキャップの実施形態を示す概略図である。エラストマーキャップ１８は、外側衝撃面１６、下面１７、ピン１３Ａ～１３Ｇ、およびピン１３Ａ～１３Ｇ上に位置するマーカー１５Ａ～１５Ｇを含む。リム１９またはエラストマーキャップ１８の半径は、グリッパ取り付け面（図１Ｄ参照）に取り付けるように構成され得ることが企図される。もちろん、リムまたは半径は、ユーザによって予め定められた特定の用途に応じて、別の種類の取り付け構造に取り付け可能な異なる構造構成で構成することができる。

いくつかの実施形態によるいくつかのエラストマーキャップ１８の構成に関して、エラストマーキャップ１８は、エラストマーキャップ１７の下側に配置された複数の微小機械ピン１３Ａ～１３Ｇを含む。各微小機械ピン（以下、「ピン」）１３Ａ～１３Ｇは、キャップの下側１７から遠ざかるように外向きに延びることができる。ピン１３Ａ～１３Ｇで（下面から遠ざかる）最外端に位置決めされたマークまたは基準先端マーカー（白色もしくは着色塗料または再帰反射塗料）１５Ａ～１５Ｇは、動きが空気によってのみ減衰される。マーカー１５Ａ～１５Ｇは、具体的な用途に応じて、ピン上のどこにでも位置決めすることができる。

さらに図１Ｃを参照すると、ピン１３Ａ～１３Ｇは、シリコーンゴム、ポリウレタン、熱可塑性エラストマー、天然ゴム、ポリイソプレン、ポリアミド（ナイロン）、ポリエチレン、ポリプロピレンポリビニルクロリド、可塑化光重合アクリル、またはそれらの混合物などのエラストマー材料で作製され得る。エラストマーキャップ１８の外側衝撃面１７は、変形可能な１つまたは複数の材料で形成することができる。非限定的な例として、エラストマーキャップ１８は、シリコーンゴム、ポリウレタン、熱可塑性エラストマー、天然ゴム、ポリイソプレン、ポリ塩化ビニル、可塑化光重合アクリルなどから形成することができ、ピン１３Ａ～１３Ｇは、エラストマーキャップ１８と同じ材料から作ることができ、または異なる材料もしくは材料の組み合わせから形成することができることが企図される。例えば、ピン１３Ａ～１３Ｇはナイロンで作製されてもよく、キャップ１８の本体および衝撃面１６はポリウレタンで作製され、ダブルショット射出成形として作製されてもよい。

上述のように、ピン１３Ａ～１３Ｇは、力のパターンまたは正味の力テンソルなど、測定が困難なものを、測定が容易なものに変換する。すなわち、測定は、自由微小機械ピン先端または端部１５Ａ～１５Ｇの画像の動きに基づいて、より容易になされ、すなわち、ピンの最外端部におけるマーク１５Ａ～１５Ｇの画像の動きは、ある角度でピン先端を観察する安価なウェブカムなどのカメラによって追跡される。ピン先端１５Ａ～１５Ｇは、ピン先端の動きの前、すなわち力がエラストマーキャップの外側衝撃面に加えられる前、ピン先端の動きの間、すなわち力がエラストマーキャップ１８の外側衝撃面１６に力が加えられる間、およびピン先端の動きが停止した後、すなわち外部から加えられる力が停止した後、カメラによって連続的に見ることができる。

図１Ｄは、本開示の実施形態による、グリッパを用いて構成されたエラストマーキャップの実施形態を示す概略図である。グリッパアセンブリ４３は、２つのフィンガーまたはグリッパ３８Ａ、３８Ｂを含むことができ、各グリッパは、グリッパ３８Ａ、３８Ｂに取り付けられるエラストマーキャップ２８Ａ、２８Ｂを含む。グリッパアセンブリ４３は、フィンガーまたはグリッパ３８Ａ、３８Ｂをグリッパアセンブリ４３に取り付けるための、延在する取り付け構造４２Ａ、４２Ｂを有することができる。取り付けは、ボルト、ねじ等を含む機械的装置によって、または磁気装置によって、または何らかの他の取り付け構成によって行うことができる。加えて、グリッパ３８Ｂは、カメラ３０をチャネル３１に挿入してグリッパ３８Ｂ内に位置決めして、エラストマーキャップ２８Ｂのピン２６を視認して、ピン２６およびマーカー２７の位置の画像を撮像することができることを示している。

各々がマークの重複ビューを有する複数のカメラがあり得、カメラは照明源を含むことが企図される。照明源は、可視照明の人工光源、またはカメラの一部であるかもしくはカメラの一部ではなく別途取り付けられる光の観察可能な特性および効果である。さらに、ユーザによって予め定められた用途に応じて、マーカーは、異なるサイズ、形状、または色を含む異なるマークタイプを含むことができる。例えば、マーカーは、（発明者らの実験のいくつかにおいて用いられるような）白色の「液体紙」塗料などの白色、または放射（通常は光）を最小の散乱でその光源（またはカメラ）に反射して戻す装置または表面とすることができるある種類の再帰反射体（レトロフレクタまたはカタフォトと呼ばれることもある）とすることができる。再帰反射体では、放射の波面は、波源またはカメラに真っ直ぐに反射される。これは、平面ミラーとは異なり、広範な入射角で機能する。平面ミラーがそのように機能するのは、それが波面に厳密に垂直であり、ゼロの入射角を有する場合のみである。指向されると、再帰反射体の反射は拡散反射体の反射よりも明るい。マイクロビーズ塗料およびコーティングが、しばしば、安全ベスト、ジョギング用衣類、バックパック、および高視認度高速道路標識において、可撓性または塗料塗布再帰反射体材料として使用されている。

さらに図１Ｄを参照すると、異なる種類のマークのいくつかの態様は、異なる種類の照明を用いてマークの動きを照明または測定することができることである。例えば、異なる種類の照明は、各々、カメラから画像を撮像することによってマークの測定を可能にする対応するマークに関連付けられ得る。さらに、照明は、人間の目およびカメラに可視である可視スペクトルを含むことができる。可視光線は、通常、（より長い波長を有する）赤外線と（より短い波長を有する）紫外線との間で、４００～７００ナノメートル（ｎｍ）、または４．００×１０^－７～７．００×１０^－７ｍの範囲の波長を有するものとして定義される。この波長は、およそ４３０～７５０テラヘルツ（ＴＨｚ）の周波数範囲を意味する。特定の用途に応じて、照明は、すべてのタイプの電磁放射（ＥＭＲ）とすることができ、ユーザが無制限の経費口座を有する場合、特定の用途に応じて、ＥＭＲのタイプを利用するために、他の構成要素を用いることができる。

図２Ａおよび図２Ｂは、本開示のいくつかの実施形態による、方法を実施するためのいくつかのステップの実施形態を示す流れ図である。

図２Ａのステップ２１５は、カメラ、ビデオカメラ、またはウェブカムを用いて、開始点から最終終了点まで動いている基準先端マーカーの画像を撮像することを含む。例えば、固定カメラは、基準マークを担持する微小レバーピンの画像を撮像する。画像はコンピュータまたはプロセッサに送信され、少なくとも１つの実験に従って、安価なウェブカムカメラが、ＵＳＢを介して、Debian Linuxソフトウェアなどのソフトウェアを実行するコンピュータに接続され得る。しかしながら、明らかに、他の実験は、異なる種類のカメラ、カメラ位置、カメラ搭載構成、および他の種類のソフトウェアを含むことができる。

図２Ａのステップ２２０は、撮像された画像の画像において測定された位置の画像座標を特定することを含む。コンピュータ上では、画像処理ソフトウェアを用いて、キャップの下面に位置する各基準マーカーのＸＹ位置を抽出することができる。明らかに、多くの異なるが同様の方法が存在するが、好ましい方法は、オープンソースパッケージ「ＯｐｅｎＣＶ」を用いることを含んだ。特定の用途に応じて、すべてのマークがカメラの視界にある必要はないことが認識される。まず、この実験中、色、ウェブカム画像はグレースケール画像にいくらか低減されていたが、これは必須ではなく、任意選択である。

図２Ｂを参照すると、任意選択で、ステップ２２１は、画像を閾値化するために用いられる方法ステップを含むことができる。このとき、黒または白の画素として黒（背景）および白（基準マーク）のみが残る。好ましい閾値化のレベルは、非限定的な例として、０から２５５のスケールで２４５の画素輝度値である。このアプローチは、基準を、黒いフィールドにおいて白い不規則な塊として、センサにおけるノイズまたは布けば汚染からの白い微小斑点とともに、示すようであった。

また、図２Ｂを参照すると、任意選択で、ステップ２２２は、白塊をノイズ除去するために用いられる方法ステップを含むことができ、ＯｐｅｎＣＶ「浸食」演算子による第１のアプローチは、各画素値を、各画素のまわりを中心とする３×３領域内で見出される最低画素値と置き換えた。この浸食アプローチを３回行い、ノイズ画素およびけば汚染を画像から除去した。これは、これらのノイズ特徴が一般に幅が６画素未満であるためであった。

また、図２Ｂを参照すると、任意選択で、ステップ２２３は、ＯｐｅｎＣＶ「拡張」と呼ばれる浸食の逆数によって残りの白塊を再拡張するために用いられる方法ステップを含むことができる。これは、各画素値を、画素を中心とする３×３領域において見出された最も高い画素値と置き換えた。その結果、残りの白塊を、基準マークが存在する領域を中心にして、比較的安定した比較的円形のマスクに拡大した。次いで、このマスク画像をグレースケール画像とともに用いて、グレースケール画像からノイズおよび汚染の本質的にすべてを排除し、なぜならば、処理された浸食／拡張が安定した領域を回復しなかった面積／領域／場所は黒（０）であり、元の画像と論理ＡＮＤされたときに、マーカー検出を速くかつ非常に低いノイズで行う黒い背景を生じるからである。

また、図２Ｂを参照すると、任意選択で、ステップ２２４は、標準的なＯｐｅｎＣＶ塊検出器「Simple Blob Detector」を用いて、微小レバーピンの端部上の基準マークのＸＹ位置であるこれらの塊の中心を見つける方法ステップを含むことができる。

塊検出を実施するには多くの方法がある。容易に理解される例のために、暗い背景上で明るい丸い塊を見つける図２Ｂのステップ２２４に好適な単純な丸い塊検出器を検討する。

単純塊検出器は以下のように動作する：入力画像の各画素について、円形半径Ｒ１画素の内側のすべての画素の値を加算し；この和をＳＵＭ１と称する。次に、半径Ｒ２画素内であるがＲ１半径外のすべての画素の値の加算し；すなわち、それは、Ｒ１～Ｒ２環内のすべての画素値の和である。この和をＳＵＭ２と称する。元の画素に対する出力値は、ＳＵＭ１－ＳＵＭ２である。この加算処理を入力画像内の各画素について繰り返す。

ここで、Ｒ２を２の平方根（約１．４１４）×Ｒ１とすると、Ｒ１円およびＲ２環輪の面積は等しいことがわかる。Ｒ１円の面積とＲ２－Ｒ１環の面積とは等しいので、平均して、均一な（しかしノイズの多い）画像については、Ｒ１円ＳＵＭ１およびＲ２－Ｒ１環ＳＵＭ２の和は非常にほぼ等しくなり、値ＳＵＭ１－ＳＵＭ２はゼロに非常に近くなる。

便宜上、画像上のこの中心－輪加算演算を、円－輪フィルタリング、すなわちＣＭＲＦと呼び；それは、入力画像を受け付け、各画素を中心とする円－輪演算を行い、その結果を返す。特に断らない限り、半径Ｒ１に対するＣＭＲＦ関数は、デフォルトでＲ２＝ＳＱＲＴ（２）＊Ｒ１となる。なお、ＣＭＲＦ画素の生の返送結果は、８ビット（２５５の値）を超える場合があり；この説明の目的のため、返された画像はマルチバイトの値を可能にする、と仮定する。他の、より進んだ方法は、スケーリングまたは再正規化することができるが、それらの方法の考察は、両方とも、本説明の範囲を越えており、公開文献において入手可能である。

次いで、１つの単一の白色画素を有する入力画像上で我々のＣＭＲＦを試験し、我々の元の白色画素上およびその周辺の出力画素を観察する。Ｒ１＝１の場合、Ｒ１円は５つの画素を含み、Ｒ２は１．４１４であり、Ｒ１－Ｒ２輪内には４つの画素があり、我々の出力塊検出画像ＳＵＭ１－ＳＵＭ２は、我々の試験白画素の１つの画素内の領域内（そこでは、それは（画素につき１バイトの白黒画像では２５５となる）白の値を有する）を除く、あらゆる場所で黒（０）である。

ここで、Ｒ２を値Ｒ１＊ＳＱＲＴ（２）に保ちながらＲ１およびＲ２を増大させるときのこの検出器の挙動に注目されたい。Ｒ１円およびＲ２－Ｒ１環の半径を大きくするにつれて、単一の白画素を中心にして、より大きな白色円が現れる。しかしながら、ＣＭＲＦ値ＳＵＭ１－ＳＵＭ２は、Ｒ１の増加とともに増加せず；それは２５５のままである。

黒い背景上の半径５の白い円でこの実験を繰り返し、Ｒ１（およびＲ２）の値を１～２～３…と増加させる。次いで、１から５までのＲ１の値について、見出されたＳＵＭ１－ＳＵＭ２の最大ＣＭＲＦ値は、（円描画アルゴリズムに依って）１から約２０，０００まで増加し、６以上のＲ１については、ＣＭＲＦ ＳＵＭ１－ＳＵＭ２においてそれ以上の増加は見られないことがわかる。

また、ＳＵＭ１－ＳＵＭ２の最大値における画素は我々の塊の中心であることにも注目されたい。１画素ステップでも移動させることは、いくつかの白色（値２５５）画素を、ＣＭＲＦのＳＵＭ１（正の寄与）領域から、ＳＵＭ２（負の寄与）領域内へと移動させる。したがって、最大ＣＭＲＦ値を有する画素を見つけることは、塊の中心を見つけることになる。

これから、我々は、単一の塊を検出する方法を見る。我々は、Ｒ１を、予め選択された最小塊半径Ｒ１ｍｉｎよりもわずかに下から、予め選択された最大塊半径Ｒ１ｍａｘよりもわずかに上に変化させて、ＣＭＲＦを繰り返し実行する。最大ＣＭＲＦ値を有する画素は塊の中心であり；その値が見つかったときのＲ１の値は、塊の半径である。

複数の塊の場合、同じプロセスでよいが、１つの変更を伴う。画像全体にわたって最大ＣＭＲＦ値を有する単一の画素を選択する代わりに、特定の半径Ｒ排他内で、都合のよい閾値Ｔパーセントを超える最大ＣＭＲＦ値を探す。したがって、２つ以上の塊が見つかるか、または塊がまったくない可能性がある。

我々の実験では、約５画素のＲｍｉｎ、約２０のＲｍａｘ、Ｒｍａｘの塊排他半径、および９０％のＴパーセント閾値（すなわち、塊ＣＭＲＦ値は、全白色円形塊について可能な最大の少なくとも９０％でなければならない）。

これは、完全性のために与えられる非常に単純化された方法にすぎないことを我々は強調し、よりよい（しかしながら、より複雑な）方法が、公開文献において公開され、ステップ２２４において使用され得るＯｐｅｎＣＶオープンソースソフトウェアにおいて利用可能である。

図２Ａを参照すると、ステップ２２５は、撮像された画像における基準マークの相対位置のセットを判断することを含む。例えば、このようなＸＹペアの数は基準マークの数に等しく、小さい（これらの実験ではわずか７つの基準ピンが用いられた）ので、次のステップ２２５は、ＸＹ位置の事前格納済みライブラリに対する観察された基準マークＸＹ位置のセットのペア単位マッチングを行うこととすることができる。

ＸＹ位置の事前格納済みライブラリは、多くの実験の過程を通して早期に生成された。
実験のこの特定のセットについては、５０未満の事前格納済みＸＹセットが、事前格納済みライブラリデータベース内のメモリに格納される場合に、優れた解像度およびユーザビリティを与える結果となった。もちろん、５０個より多い事前格納済みＸＹセットを事前格納済みライブラリデータベースに格納することができるが、これらの実験セットについては、５０個の事前格納済みＸＹセットは、本開示のいくつかの態様による目標のいくつかに達するのに十分であると思われた。

図２Ａのステップ２３０は、どのように力のパターンを見つけるか、または弾性変形可能なキャップの上面に作用する正味の力テンソルを判断するかのステップを含む。概観として、力のパターンは、基準先端マーカーの相対位置のセットを、動かされる基準先端マーカーの事前学習済みの相対位置の格納されたセットにマッチングし、次いで、基準先端マーカーの事前学習済みの相対位置の格納されたセットに関連付けられる力のパターンを特定することによって、判断することができる。

したがって、図２Ａのステップ２３０は、ピタゴラス計量（ＸとＹとの差の二乗の和の平方根）を用いる方法ステップで始まって、ライブラリ内の事前格納済みＸＹセットに対する観察された基準ＸＹ位置の最良マッチを判断する。この計算は非常に高速であった。観察されたＸＹ位置の各々を、事前格納済みライブラリ内の事前格納済みのすべてのＸＹ位置と比較した。５０個ほどの事前格納済みセットの各々に対する「実行タリー」が、すべての各基準マークが事前格納済みセットの各々において一回だけ表現されるという仮定のもと維持され、各事前格納済みセット実行タリーは、観察されたＸＹ基準位置と任意の所与の事前格納済みセット内の任意の基準の最も近い事前格納済みＸＹ位置との間のピタゴラス距離だけ増分された。このステップについて実験を行ったが、最初に、個々のマークを経時的に追跡するニーズまたは必要性に対する仮定があった（すなわち、前の行の最も左のマークは、第４の事前格納済みライブラリセットの第４のＸＹ座標に対応する等）。しかしながら、後の実験で、この仮定は完全に不必要な計算であり、精度を失うことなくこれを省略することができることが示された。

さらに図２Ａのステップ２３０を参照すると、この実験からの驚くべき結果は、この計算が例外的に速いことである。１０個の基準マークおよび１００個の事前格納済みライブラリセットでは、１０００個のＸＹペア対ペア比較があり、これは、全部で、２０００個の二乗、１０００個の加算、１０００個の平方根、または約４０００個の浮動小数点演算である。これは、最も安価なマイクロプロセッサがカメラのフレームレートを十分超えて実行するためのプロセス構成に鑑みても、素晴らしい結果を伴う非常に扱いやすい方法であることを意味し、認識された。

図２Ａのステップ２３５は、ピタゴラス距離実行タリーの和を用いて、事前格納済みＸＹ位置セットのリストを、マッチリストのランク付けされた品質にソートする方法ステップを含むことができる。

いくつかの用途では、単一の最良マッチは、所望され、センサ処理によって出力される唯一のものである。例えば、「GRIP OK（把持ＯＫ）」対「NO OBJECT FOUND（物体見つからず）」対「GRIP TOO TIGHT（把持が強すぎる）」対「GRIP ON EDGE（縁部を把持）」は、格納されたＸＹ位置セットのいくつかに対するラベルであるかもしれず、したがって、それらはセンサプロセッサによって出力されるであろう。同じラベルを有する複数の格納されたＸＹ位置セットを有することに対する禁止はないことに留意されたい。５個または１０個の「GRIP ON EDGE」可能性があるかもしれず、用途に基づいて、下流のシステムが正確にどれかを知る必要はないか、または有用でさえないかもしれない。

さらに図２Ａのステップ２３０を参照すると、他の用途では、何らかの特定の重み付け、逆重み付け、または特定の格納されたＸＹ位置セットが記録されたときに有効であった力の線形結合であるセンサ結果を出力することを選択することに依存し得る。例えば、１、２、５、および１０ニュートンの下向きの力が記録され、対応する基準ＸＹ位置セットが格納され、次いでセンサが未知の力を受けた場合、ある画像が撮像されるかもしれず、その画像は、ピタゴラス距離を得るために上記のように処理され、次いで、以下のように進行され得る：
ＸＹセットを格納した１ニュートンに対するピタゴラス距離＝３５０
ＸＹセットを格納した２ニュートンに対するピタゴラス距離＝１００
ＸＹセットを格納した５ニュートンに対するピタゴラス距離＝５０
ＸＹセットを格納した１０ニュートンに対するピタゴラス距離＝４００
...これは次いで以下のように計算されるかもしれない：
重みの逆数の和＝１／３５０＋１／１００＋１／５０＋１／４００＝０．０３５３
１ニュートンの重み付けサンプル＝１＊［１／３５０］／０．０３５３＝０．０８０
２ニュートンの重み付けサンプル＝２＊［１／１００］／０．０３５３＝０．５６６
５ニュートンの重み付けサンプル＝５＊［１／５０］／０．０３５３＝２．８３２
１０ニュートンの重み付けサンプル＝１０＊［１／４００］／０．０３５３＝０．７０８
総重み付け和：４．１８６
...弾性変形可能なキャップの感知表面上の概算で４．１８６ニュートンの力を示す。

この同じプロセスは、１、２、５、１０ニュートンの下向きの力、－１０、－５、－２、－１、０、１、２、５および１０ニュートンのＸにおける剪断、－１０、－２、２および１０ニュートンのＹにおける剪断、ならびに－１０、－２、＋２および＋１０ニュートンのＺにおけるトルクなどのように、単独または組み合わせて動作する複数の力に拡張することができる。

さらに図２Ａのステップ２３０を参照すると、重み付け、逆重み付け、線形補間において評価されるべき格納されたＸＹセットの数を制限することも妥当であり、典型的には、最良にマッチする（最小のピタゴラス距離）２つまたは３つの格納されたＸＹ位置セットは、１次元問題に対して最良の精度を与え、４つから６つの格納されたＸＹ位置セットは、２次元問題に対して最良の精度を与え、６つから８つの格納されたＸＹ位置セットは、３次元問題に対して最良の精度を与える、などである。お分かりのように、本開示の方法は、ユーザの特定の用途のニーズ／要件に対し、すべて、カメラフレームレートをかなり超えて、実行するのに安価なマイクロプロセッサを用いるとともに、非常に安価な構成要素を用いながら、高度にカスタマイズ可能である。

さらに図２Ａのステップ２３０を参照すると、ある態様は、この問題は逆有限要素モデリングであるかもしれないように見え得るが、後の実験では、人の親指のスケール上のロボットグリッパキャップに対して、３００から１０００の間のメッシュポイント（各々３つの自由度を有する）が、線形有限要素モデルにおける十分な忠実度のために（および非線形性を許容する場合にはもっと多く）必要であることが示された。これは、計算段階が、ビデオカメラのフレームレートで３０００×３０００までの線形方程式系を解くことを含み、これは、現在の従来の触覚センサ技術では非常に不可能ではないにしても、確実に計算的に高価であることを意味する。

図２Ｃは、本開示のいくつかの実施形態による、図２Ａのステップ２２５のメモリに格納されたＸＹ位置の事前格納済みライブラリに対する観察された基準マークＸＹ位置のセットのペア単位マッチング（図２Ａのステップ２２５）を実行するためのいくつかのステップを示すブロック図である。以下のステップに基づいて、メモリに格納されたＸＹ位置の事前格納済みライブラリに対する、観察されたマークＸＹ位置の、ペアごとのマッチする距離（ＰＢＰＭＤ）を計算する。

図２Ｃのステップ２５１は、現在の格納されたＸＹ位置セットを、上述の格納されたＸＹ位置のセットに設定することを含む。

図２Ｃのステップ２５３は、現在の格納されたＸＹ位置セットに対する観察されたＸＹ位置セットのペアごとのマッチする距離を見つけて、その観察されたＸＹ位置セットの、観察されたＸＹ位置セットに対する、ペアごとのマッチ距離を得るために、以下のルーチンＰＢＰＭＤを実行すること含む。

図２Ｃのステップ２５５は、現在の格納されたＸＹ位置セット対観察されたＸＹ位置セットのＰＢＰＭＤを計算することを含む：

図２Ｃのステップ２５７は、以下を含む：

図２Ｄは、本開示のいくつかの実施形態による、ＸＹ位置の事前格納済みライブラリを生成するためのいくつかのステップを示すブロック図である。ＸＹ位置の事前格納済みライブラリを作成すること２６０は、キャップの外面に圧力、剪断力、トルク、挟む力、または広げる力などの公知の力を加えることを含むステップ２６１を含むことができる。

図２Ｄのステップ２６３は、加えられる力に対して、「ＧＲＩＰ ＯＫ」または「Ｙ ＳＨＥＡＲ＝３０ニュートン」などのラベルを定義することを含む。

図２Ｄのステップ２６５は、キャップの内部のマークの画像を撮像することを含む。

図２Ｄのステップ２６７は、ＸＹ位置のセットをもたらす、ステップ２２１（閾値）、２２２（浸食）、２２３（拡張）、および２２４（塊検出）と同じ順序で、同じ動作に従って画像を処理することを含む。

図２Ｄのステップ２６９は、定義されたラベルを有するＸＹ位置のセットを、メモリに格納されるＸＹ位置セットの事前格納済みライブラリの１つとして格納することを含む。

図２Ｅは、本開示のいくつかの実施形態による、画像測定機能を用いる（２７０）ためのいくつかのステップを示すブロック図である。ステップ２７１は、撮像された画像のうちのある撮像された画像からマークの開始位置を特定するステップを含む。

図２Ｅのステップ２７３は、撮像された画像のうちの他の撮像された画像からマークの最終位置を特定することを含む。

図２Ｅのステップ２７５は、特定されたマークの開始位置を、撮像された画像内の測定された画像座標に関連付けることを含む。

図２Ｅのステップ２７７は、特定されたマークの最終位置を他の撮像された画像における測定された画像座標に関連付けることを含む。

図２Ｅのステップ２７９は、開始位置測定座標から最終位置測定座標までの基準マークの測定された画像座標を比較して、動いている基準マークの相対位置のセットを特定することを含む。

図２Ｅのステップ２８０は、画像プロセッサを用いて、撮像された画像と他の撮像された画像との間の画像座標において測定された各マークの相対位置を変換することを含み、相対位置は、ユークリッド距離として合計され、それによって、撮像された画像と他の撮像された画像との間のマッチ距離を形成する。

図３Ａは、本開示のいくつかの実施形態による、有限要素モデル化（ＦＥＭ）３１０を用いるいくつかのステップを示す流れ図である。ＦＥＭは、エラストマーキャップの上面の弾性変形の感度の尺度は、エラストマーキャップの下面上の複数のピンを用いると、エラストマーキャップの外側衝撃面「のみ」のたわみの動きの測定可能な感度の量と比較した場合に、拡大され、より大きくなることを示すまたは例証するための優れた場である。例えば、ステップ３１５は、内面、外面、リム、微小レバー、およびマークを含むエラストマーキャップのＣＡＤモデルを作成することを含む。

図３Ａのステップ３２０は、ＣＡＤモデルをＦＥＭソフトウェアパッケージに適したメッシュに変換することを含む。

図３Ａのステップ３２５は、典型的にはエラストマーキャップのリムに対応するメッシュの固定部分を規定することを含む。

図３Ａのステップ３３０は、典型的には、キャップに加えられる圧力、剪断、トルク、挟む力、または広げる力に対応する試験力を規定することを含む。

図３Ａのステップ３３５は、キャップを構成する各材料のヤング率および任意選択で降伏強度を規定することを含む。

図３Ａのステップ３４０は、メッシュ、固定部分、および試験力上でＦＥＭソフトウェアパッケージを実行することを含み、これは、典型的には、各メッシュポイント（１つが各々Ｘ力、Ｙ力、およびＺ力に対する）について３つの同時の力－平衡方程式の解を伴う。

図３Ａのステップ３４５は、ＦＥＭ解の結果を解釈することを含み、これは一般に、試験力を受けたときに各メッシュポイントが経るＸ、Ｙ、およびＺ変位である。

図３Ｂおよび図３Ｃは、本開示のいくつかの実施形態による、図３Ａの有限要素モデリング（ＦＥＭ）を用いる態様を示す概略図である。例えば、図３Ｂは、エラストマーキャップのＣＡＤモデルを示し、細い線のメッシュは、有限要素モデリングに用いられるメッシュを示す。メッシュの各短い線内では、材料の挙動は線形であると仮定される。

図３Ｃは、材料がエラストマーに設定され、ショアデュロメータの硬さが８０Ａ（ハイキングブーツの靴底に用いられるゴムとほぼ等しい）であり、メッシュの固定部分がキャップのリムであり、試験力が最も右側の最前面の微小レバーピンの下で垂直に上向きである、３ＢのＣＡＤモデルのＦＥＭ解の結果を示す。最も右側の最前面の微小レバー先端は大きな動きを有するが、隣接する左側の最前面の微小レバー先端はさらに大きな動きを有することに留意されたい。これは、試験力の応力による、キャップにおける倒れおよび傾斜歪みによるものである。左側の微小レバーの基部は、右側の微小レバーの基部と比べて、垂直方向の移動ははるかにより少ないが、全体的な動きははるかに大きく、それは大部分は－Ｘ方向である。これは、異なる力の曖昧性除去を可能にする。

図４Ａは、本開示のいくつかの実施形態による、グリッパ４０８Ａ、４０８Ｂおよび２つのエラストマーセンサ４１８Ａ、４１８Ｂを含むロボットアセンブリの実施形態を示す概略図である。この特定の用途では、少なくとも１つの目標は、物体姿勢２９７に基づいてビン４９６から物体４９５を摘まむことであり得る。システムは、グリッパ４０８Ａ、４０８Ｂを有する６軸ロボットアーム４０４を含む。物体４９５およびビン４９６を含むシーンのデータを取得するために、アーム４０４上に３Ｄセンサ４０９を配置することができる。次いで、グリッパ４０８Ａ、４０８Ｂは、物体４９５をその姿勢に応じてビン４９６から摘まみ上げることができる。ビンは異なる物体を含むことができることに留意されたい。

図２Ａのステップ２３５で言及されるように、センサ処理による出力として、単一の最良マッチが望ましい場合がある。例えば、「GRIP OK（把持ＯＫ）」対「NO OBJECT FOUND（物体見つからず）」対「GRIP TOO TIGHT（把持が強すぎる）」対「GRIP ON EDGE（縁部を把持）」は、格納されたＸＹ位置セットのいくつかに対するラベルであるかもしれず、したがって、それらはセンサプロセッサによって出力されるであろう。

１つの例示的な３Ｄセンサは、プロジェクタによって生成される構造化光を用いる。ステレオカメラおよび飛行時間距離センサなどの他のセンサも可能である。センサは、３Ｄシーンデータ、例えばポイントクラウドを取得する。３Ｄセンサは、ロボットアーム４０４に対して較正される。したがって、ロボットアーム４０４の座標系に変換できる３Ｄセンサの座標系において物体４９５の姿勢を推定することができ、ロボット制御コンピュータ４０３を介して姿勢に応じてロボットアーム４０４を制御することにより物体を把持し、摘まむことができる。シーンデータは、センサ制御コンピュータ４０１において実行されるべき判断された方法を実現し得る制御モジュールによって処理され得る。センサ制御コンピュータ４０１は、当技術分野で公知のメモリおよび入力／出力インターフェースを含むことができる。

しかしながら、従来のロボットアセンブリに対して新規な差別化因子は、エラストマーキャップ４１８Ａ、４１８Ｂを含むエラストマーセンサである。例えば、今日の製造設備は柔軟な組み立てラインを含むが、ほとんどの従来のロボットグリッパは、触覚をほとんどまたはまったく含まないといった、多くの問題を有し、これは、これらの従来のロボットが柔軟な組み立てラインに用いられることに問題をもたらす。少なくとも１つの理由は、高精度の部品把持および把持検証のために設計されたこれらの従来の専用グリッパフィンガーは、柔軟な組み立てラインには使用できないことである。これは、これらの従来の専用グリッパフィンガが、予測されるか予測されないかにかかわらず、変更の場合にグリッパが反応することを可能にする量の柔軟性を組み込むことが動作上可能ではないためである。同様に、従来のロボットは、実際の組み立て動作が成功したかどうか、すなわち、グリッパの把持が「GRIP OK」対「NO OBJECT FOUND」対「GRIP TOO TIGHT」対「GRIP ON EDGE」であるなどを知る能力のレベルが低い。従来のロボットのこれらの問題を克服するために、図４Ａを含む本開示のいくつかの実施形態は、圧力、並進、回転、および剪断における充分な力セットを提供し、非限定的な例として柔軟な組み立てラインのために用いることができる、機械的に堅牢な汎用グリッパ指先４１８Ａ、４１８Ｂとして構成される。

図４Ｂは、本開示のいくつかの実施形態による、エラストマーキャップのピンと、エラストマーキャップの外側衝撃面４２７上の位置に取り付けられた隆起部とを有する、エラストマーキャップの実施形態を示す概略図である。例えば、隆起部４２０Ａ、４２０Ｂ、４２０Ｃは、キャップ４２８の長さの一部またはキャップ４２８の全長を延びることができる。さらに、隆起部４２０Ａ、４２０Ｂ、４２０Ｃは、ユーザによって予め定められた特定のレベルの意図された測定可能な感度に向けられた特定の用途に応じて、異なる長さ、異なる隆起部高さ、または異なる隆起部厚みとすることができる。隆起部４２０Ａ、４２０Ｂ、４２０Ｃは、幅または狭い領域に沿って延びる隆起部とともに、長さに沿って延びることが可能である。上述したように、隆起部４２０Ａ、４２０Ｂ、４２０Ｃは、ピン４２３Ａ、４２３Ｂ、４２３Ｃと組み合わせて構造化および設計することができ、測定可能な感度の意図されたレベルに応じて、特定の用途がユーザによって予め定められたように達成されるように設計される。

図４Ｃは、本開示のいくつかの実施形態による、ピン４５３Ａ～４５３Ｃと、エラストマーキャップ４３８の外側衝撃面４３７上の位置に取り付けられた円錐４２２Ａ～４２２Ｌとを有する、エラストマーキャップ４３８の実施形態を示す概略図である。例えば、円錐４２２Ａ～４２２Ｌは、キャップ４３８全体、またはキャップ４３８の異なる部分の領域のみを覆うことができる。さらに、円錐４２２Ａ～４２２Ｌは、ユーザによって予め定められた特定のレベルの意図された測定可能な感度に向けられた特定の用途に応じて、異なる底面直径、異なる円錐高さ、または異なる円錐厚みとすることができる。円錐４２２Ａ～４２２Ｌは、縁の長さに沿って、またはキャップ４３８の外周の周りに延在することができる。

図４Ｄは、本開示のいくつかの実施形態による、エラストマーキャップ４４８の実施形態を示す概略図であり、エラストマーキャップ４４８は、ピン４６４Ａ～４６４Ｇを有し、微小レバーまたは微小アーム４６３Ａ～４６３Ｊがピンに沿って取り付けられかつピンから延び、各微小レバーまたは微小アーム４６３Ａ～４６３Ｊは下面４４９から最も離れた端部に取り付けられたマークを含むことができる。レバーアーム４６３Ａ～４６３Ｊを含むいくつかのピン４６４Ａ～４６４Ｇは、エラストマーキャップ４４８の下面４４９上の位置、下面４４９の側壁上の位置に取り付けることができる。実験から、そのようなピンの位置は、ピン４６４Ａ～４６４Ｇの測定可能な動きの感度のレベルを増加させ、ならびに、ピンにレバーアーム４６３Ａ～４６３Ｊが取り付けられたときに、そのような位置においてレバーアームが取り付けられずに取り付けられたピン４６４Ａ～４６４Ｇと比較して、測定可能な動きの感度のレベルをさらに増加させることができる。

図１Ｃ、図４Ｂおよび図４Ｃを参照すると、外側衝撃面は属性を含むことができ、属性は、滑らかなテクスチャ、粗いテクスチャなどの少なくとも１つのテクスチャ、対称な突起、非対称な突起、もしくは少なくとも１つのテクスチャを有するかもしくは有さない突起のパターンの１つまたは組み合わせを含むことが企図される。属性は、図４Ｂの隆起、図４Ｃの円錐、または他の同様の突起を含むことができる。実験から認識されるのは、属性と、レバーアームを有するかまたは有さないピンの特定の構造的構成との特定の組み合わせが、圧力、力、またはそれら両方の意図されたパターンに特有の測定可能な動きの感度のレベルを増大させることができることである。

具体的には、前記属性は、円錐形状突起、対称突起、もしくは非対称突起のうちの１つの組み合わせを含むように構造化および構成されることができ、測定可能な力のセットに向けられるユーザ指定の用途に従って、前記エラストマー触覚センサを横切る前記外側衝撃面に対する測定可能な面内力、剪断力、およびトルク力の量を検出することを含む、前記力のパターンの測定可能な感度の、ユーザが好む増加を提供する。

図５Ａは、本開示のいくつかの実施形態による、グリッパの構造に関して真っ直ぐなグリッパキャビティ構成とともに構成されたエラストマーキャップの実施形態を示す概略図である。例えば、グリッパ５２０は、エラストマーキャップ５２４が取り付けられるグリッパキャビティ５２２を含み、エラストマーキャップ５２４は、真っ直ぐなグリッパキャビティ５２２に沿って配置される。

図５Ｂは、本開示のいくつかの実施形態による、グリッパの構造に関して屈曲または湾曲したグリッパキャビティ構成とともに構成されたエラストマーキャップの実施形態を示す概略図である。例えば、グリッパ５４０は、エラストマーキャップ５４４が取り付けられるグリッパキャビティ５４２を含み、エラストマーキャップ５４４は、グリッパキャビティ５４２の屈曲または湾曲構成に沿って配置される。

図５Ｃは、本開示のいくつかの実施形態による、グリッパ５５４の構造に関して真っ直ぐなグリッパキャビティ構成５５２に取り付けられたエラストマーキャップ５５０の一実施形態を、マーク５６５を示すために下側５７０が上を向いている別のエラストマーキャップ５６０とともに示す写真である。

図５Ｄは、本開示のいくつかの実施形態による、グリッパ５９０の構造に関して屈曲または湾曲したグリッパキャビティ構成５８７に取り付けられたエラストマーキャップ５８５の一実施形態を、人間が着用している「ティーチグローブ」５８９とともに示す写真である。エラストマーセンサまたはエラストマーキャップ５８５が人に着用される「ティーチグローブ」５８９で用いられるいくつかの恩恵／利点は、グローブ５８９を着用している人の指の動きを、後のロボット組み立て作業中に加えられる適切な力テンソルとともに記録することができることである。グリッパ５９０内のカメラ（図示せず）のために、０度～１０度、１０度～１５度、１０度～２０度および１５度～３０度を含む他のカメラ角度を利用することができることに留意されたい。

図６Ａおよび図６Ｂにおいて、図６Ａは、本開示のいくつかの実施形態による、エラストマーキャップ６１０の外側衝撃面（図示せず）に圧力または力が加えられていない状態でのピン６１２の照明された図を伴うエラストマーキャップ６１０の実施形態を示す写真であり、図６Ｂは、本開示のいくつかの実施形態による、照明がより少ないピン６１２の同じ図である。

図６Ｃおよび図６Ｄにおいて、図６Ｃは、本開示のいくつかの実施形態による、エラストマーキャップ６２０の外側衝撃面（図示せず）に圧力または力が加えられた状態でのピン６２２の照明された図を伴うエラストマーキャップ６２０の実施形態を示す写真であり、図６Ｄは、本開示のいくつかの実施形態による、照明がより少ないピン６２２の同じ図である。

図６Ｅおよび図６Ｆにおいて、図６Ｅは、本開示のいくつかの実施形態による、エラストマーキャップ６３０の外側衝撃面（図示せず）にトルク力が加えられた状態でのピン６３２の照明された図を伴うエラストマーキャップ６３０の実施形態を示す写真であり、図６Ｆは、本開示のいくつかの実施形態による、照明がより少ないピン６３２の同じ図である。

図６Ｇおよび図６Ｈにおいて、図６Ｇは、本開示のいくつかの実施形態による、エラストマーキャップ６４０の外側衝撃面（図示せず）に近傍圧力が加えられた状態でのピン６４２の照明された図を伴うエラストマーキャップ６４０の実施形態を示す写真であり、図６Ｈは、本開示のいくつかの実施形態による、照明がより少ないピン６４２の同じ図である。

図６Ｉおよび図６Ｊにおいて、図６Ｉは、本開示のいくつかの実施形態による、エラストマーキャップ６５０の外側衝撃面（図示せず）に横方向剪断力が加えられた状態でのピン６５２の照明された図を伴うエラストマーキャップ６５０の実施形態を示す写真であり、図６Ｊは、本開示のいくつかの実施形態による、照明がより少ないピン６５２の同じ図である。

図６Ｋおよび図６Ｌにおいて、図６Ｋは、本開示のいくつかの実施形態による、エラストマーキャップ６６０の外側衝撃面（図示せず）に中心から外れた遠い軸方向剪断力が加えられた状態でのピン６６２の照明された図を伴うエラストマーキャップ６６０の実施形態を示す写真であり、図６Ｌは、本開示のいくつかの実施形態による、照明がより少ないピン６６２の同じ図である。
実験

実験から得られた少なくとも１つの認識は、キャップの下側の平坦セクションと半径セクションとの間の接合ゾーンに取り付けられた微小機械レバーを含むことである。キャップが０．１ｍｍ押し下げられると、半径セクションは、曲率を変化させ、より緊密に湾曲するように強制されることになる。より正確には、半径セクションは半径１０ｍｍから半径９．９ｍｍに歪むことになる。キャップ材料が比較的非圧縮的に作用し、膨らむよりもむしろ曲がると仮定すると、これは、キャップの弧の長さにおける変化を、正確に９０度および歪みのない１５．７０７９ｍｍの長さから、半径９．９ｍｍにわたって１５．７０７９ｍｍの一定の長さに変換し、したがって、１５．７０７９＝９．９ｍｍ＊新たな角度であり、新たな角度は１．５８６６ラジアンまたは９９．０９０５度であり、これは半径における０．９０５度の歪みである。

キャップの平坦な頂部は、押圧物体によって支持されるので、平坦な頂部は、大部分は平坦のままであることになり、収容の大部分は、側壁にあることになる。したがって、微小機械ピンは、（キャップとともに）上方に０．１ｍｍ移動するが、約０．９度外側へも曲がることになる。

我々の微小機械ピンの長さが２０ｍｍであると仮定すると、我々が実験するものと一貫して、マイクロ機械式ピンの傾斜によるｓｉｎ（０．９度）*２０ｍｍ＝０．３１ｍｍの横方向変位である。ピンはまた、０．４ｍｍ未満の全体的な運動について、垂直にも移動する。これは、約４倍の利得を示す。

もちろん、これは、例の二次元的性質のために過剰に単純化される。２つの影響に対処する必要がある：第１に、半径の基部におけるエラストマーキャップのリムは、カメラに対して位置および角度の両方で固定され、第２に、キャップの基部リムは、キャップ上部平坦部の接合部と比較してはるかに大きい応力支持断面を有し、第１の近似に対して、エラストマーキャップの固定された根元に平坦上部の約２倍の断面が存在し、微小レバーが経験したひずみ（および歪み、ならびに傾斜）を２倍にする。第２に、固定されるキャップのリムは、歪みをキャップの中心領域内に押し込み、再び微小レバーの基部で受けるひずみ、歪み、および傾斜を２倍にする。

要するに、約１．６ｍｍの動きを経験する微小レバー先端の先端運動があり、これは、大まかな計算および有限要素モデリングから予測され、後で、３Ｄ印刷されたエラストマーキャップを用いる実際の実験によって確認される。

観察される１．６ｍｍの基準マーク運動は、ピン自体の直径より大きく、０．１ｍｍで運動する表面の直接観察よりもはるかに大きい運動である。これは、本開示における自由に動く微小レバーの正当化および目的であり；これは、エラストマーキャップのひずみ歪みによる観察された位置において１６倍という非常に大きな利得である。この観察された位置は顕著であり、ウェブカメラのような単純なビデオカメラを用いて測定することができる。

この微小レバー歪み利得のために、ビデオカメラによって撮像される画像は、基準マークにおいて大きな動きを有し、これは、かすめ照明によって、または半球状ゲルの代用物を通して、接触面の上面を直接画像化する従来の触覚センサ方法と比較して、かなり良好な信号対ノイズ比を有する。

独立して運動する微小レバーの使用はまた、キャップの異なる部分が、劇的に異なる局所ひずみおよび力を経験し、報告することを可能にする。例えば、キャップの一部は左から右への剪断にあり得、キャップの他方の側は右から左への剪断にあり得、微小レバーは連続的なゲル内に捕らえられるのではなく、自由に動くので、センサの特注構成は、この状況を、半球状ゲルがこれらの特定のセットの力に非敏感であろうように、その特定のセットの力に非敏感であるのではなく、表面トルクとして正確に検出することができる。

これらの微小レバーで増幅された基準マークの動きを利用して力信号出力を生成するために、いくつかの実験を行った。考えられるいくつかの態様は、グリッパのキャビティ内の異なる位置に固定カメラを構造的に配置することを含む。

実験に基づいて、０から２０度（０～約２０）の間の視野角、すなわち斜角で位置決めされた１つ以上のビデオカメラを有するとき、この１つ以上のビデオカメラ構成は、低プロファイルの、感度の高いエラストマー触覚センサをもたらした。本開示の低プロファイルエラストマーセンサのいくつかの利益および利点は、非限定的な例として、大きなプロファイルを有する従来の触覚センサの今日の技術的問題のいくつかに対する解決を提供する。例えば、本開示の低プロファイルエラストマーセンサは、ロボットグリッパ産業だけでなく、非限定的な例として、ロボットが組み立て作業を実行する際に期待すべき典型的な力を捕捉することができる、人間が着用するための「ティーチグローブ」への設置に関連する用途にも適している。

感度、耐久性、ならびに従来の射出成形およびポリマー－ＳＬＡなどの３Ｄ印刷の両方によって製造される能力のレベルに基づいて、エラストマーキャップを設計および構造化する方法を判断するために、多くの試験を行った。実験試験は、アームモータトルクセンサ、把持後検証センサ、手首力センサ、グリッパモータ位置およびトルクセンサを用いて行った。把持後検証実験から、ロボットは、部品把持動作を実行後、通常、機械視覚ステーションに部品を移動させることがわかった。機械視覚ステーションは、グリッパが所望の部品を所望の向きに保持していることを検証する機械視覚システムを有し、何らかの修正が必要である場合、修正が実行される。次いで、部品は、組み立てられるか、または人間の再配向および検証のために「再試行」ビンに移動される。この動きは、部品が送り治具から取り外された後、部品が組み立て領域に移動される前に生じ；これは、この１つの時点においてのみ把持ミスを検出することができる。

グリッパフィンガひずみゲージセンサを用いた実験からわかったのは、これらのセンサがひずみゲージをグリッパフィンガに統合し、グリッパフィンガの指先力だけが登録され、それは「Ｚ」圧力だけを感知することと等価であると思われたことである。しかしながら、これらのセンサは、中心圧力、オフセット圧力、横方向力Ｘ、剪断力Ｙ、ピッチ、ヨー、もしくはロールにおけるトルク、挟む横方向力Ｘ、または挟む剪断力Ｙなどの他の力を感知することを可能にできなかった。

公開文献を介してレビューされた別のセンサは、GelSightセンサであった。このセンサは、片面に可撓性の不透明なコーティングを有する透明なゲルの厚いブロックを使用した。ブロックのコーティングされた側を表面に押し付け、歪んだ塗料を、いくつかの異なる角度のかすめ照明下で照明しながら垂直に観察した。わかったことは、このセンサが、表面上で上向きに衝突するテクスチャ（バー）を見つける能力が高いことであった。しかしながら、このセンサは、不透明コーティングがボイドおよびピンホールを跨ぐため、ボイドまたはピンホールには有用ではなく、センサは非常に低いレベルの損傷力閾値を有し、表面摩擦からの損傷が一般的であった。多くの発見された中の別の欠点は、このセンサは、カメラが動作するのに約１００ｍｍのＺ軸クリアランスを必要としたことである。カメラのそのような大きなクリアランスに起因して、このセンサは、低プロファイル構成を確かに有することができず、任意のタイプの低プロファイル用途ではなく、テクスチャ加工された表面のロボット検査に、より適しているようであった。さらに、低レベルの力損傷閾値および表面摩耗は、このセンサをロボットアセンブリに適さないものとした。

異なる種類のセンサ実験からわかったいくつかの態様は、ロボットは組み立てに用いられるが、適切な組み立ては、ロボットが常に正確に同じ位置および向きで部品を把持することに依存することである。把持ミスは、組み立てが失敗し、部品が損傷し、およびグリッパまたはロボット自体が損傷するに至る。部品が正しく把持されていても、受ける部品が正しくない場合、または汚染もしくは歪んでいる場合、ロボットは、組み立てを強行しようとすることになり、組み立てが悪くなるか、部品が損傷するか、またはロボットもしくはロボットグリッパが損傷する。上記の実験による知見を考慮すると、多くの他の要素の中でも特に、本開示所望の感度のレベル、耐久性、製造コストを満たすために、実験されたセンサを修正またはさらに開発することはできず、したがって、それらはさらに分析されなかった。

広範な実験、ならびに感度、耐久性、製造コスト、および他の要因の所望のレベルに基づいて、本開示のいくつかの実施形態を設計および構築するための多くの認識が得られた。いくつかの実施形態についてのこれらの認識のうちのいくつかは、ピンが下側から遠ざかるように延在するようにキャップの下側を延在することを含んだ。この構成は、外力テンソルによるピンの変形量を記録するように変形できるようにするために、ある強度レベルを満たすが、ある変形性レベルも満たすピンを設計する必要があることを含んだ。特に、ピンのいくつかの構成は、特に、ピン間の相対角度および位置を略一定に保つように設計された。例えば、オプティカルフロー分析による実験についての公開文献からわかったことだが、実験用キャップ内にピンを平行に配置し、高度に可撓性の透明なシリコーンをキャップに充填した。組み立ては、適切な一定の強度レベル、すなわち、外力が加えられたときにピンの形状異常に影響を及ぼす強度レベルを示した。この実験用キャップは、許容可能な測定可能なレベルの垂直力をもたらした。しかしながら、この同じ実験用キャップ構成は、ピン先端の垂直（ｚ軸）カメラを用いて得られた画像の動きに基づいて、許容可能なレベルの測定可能な剪断およびトルク感知／力を提供することができなかった。この実験構成からわかったのは、少なくとも本開示の測定可能な感度目標の所望のレベルを考慮して、測定可能な力テンソルを達成するために、ピン強度のレベルが、ピン移動性のレベルを制限するよう高すぎてはならないことである。また、この実験からわかったのは、ピンの強度レベルが高すぎることと組み合わせてピンを実質的に平行に保つことは、ピンの倒れおよび傾斜を妨げる結果となり、これは、剪断（ＸおよびＹ圧力）に敏感ではなく、Ｘ、ＹおよびＺにおけるトルクに敏感ではなく、ならびにＸおよびＹにおける挟む力に敏感でない実験ピン構成をもたらしたことである。

エラストマーキャップの下側に搭載／取り付け／成形されるピンの数は、（実験からわかるように）多くの因子に依存し得、例えば、認識されたのは、所定のレベルの感度、耐久性などを達成する観点から、ピンの数が、ユーザの意図および目標に基づく特定の用途に依存し得ることである。

例えば、エラストマーキャップの外側衝撃面に加えられる、適用された外力、すなわち完全な力テンソル（垂直の「Ｚ」圧力、中心およびオフセットの両方の横方向の「Ｘ」および「Ｙ」剪断、ならびにピッチ、ヨー、およびロールにおけるトルク）は、すべて、エラストマー触覚センサによって感知することができる。本開示の単純でコンパクトな触覚センサ設計は、ロボット補綴用途、コンピュータ用途、人間に安全な協調ロボット安全センサ、および自動車関連用途とともに用いることができる。さらに、本開示のいくつかの実施形態の高解像度触覚センサは、高密度小型コンピュータ製品などの正確な制御デバイス、高感度ロボットキャップ感知、遠隔オペレータによって着用されるコントロールグローブのようなタッチセンシティブ仮想現実デバイス、および患者の外科手術に用いられるロボットの指にも有用である。

カメラからのピンの動きの画像から生成されたデータを処理するために、有限要素モデリング（ＦＥＭ）を用いて、キャップのデータをメタマテリアル設計として処理することができる。メタマテリアルは、内部構造が、その物理的特性（電気的、磁気的、機械的、熱的特性）が、それを構成する「実際の」材料のバルク特性、すなわち、負のε、μ、ほぼ任意の光速ｃ、ポアソン比ν、または熱伝導率κと著しく異なる最終物体を生成する物体である。ＦＥＭモデルは、異なる負荷下でエラストマー変形を予測することができる。さらに、エラストマーピンは、表面プロファイルを上昇させ、表面傾斜を画像化しやすいＸＹ運動に変換し、すなわち、ピン先端の低コストウェブカム画像を用いる。さらに、より少ない基準マークを有するキャップの構造設計は、単純な画像閾値付けを提供し、フレーム間追跡／曖昧さがない。実際、ＯｐｅｎＣＶを用いて、力マップに変換されるピン先端の動きを追跡することが可能である。これは、計算費用を最小化し、高いフレームレートを維持する。

実験中、逆ＦＥＭは計算上高価であることが証明された。認識されたのは、モデルの学習が実データとともにあるべきであることであった。実験からさらにわかった態様は、１４次元空間におけるユークリッド距離を用いて、状況を、把持位置、角度姿勢、剪断およびトルクとともにラベル付けすることが有益であることが証明されたことである。例えば、計算時間は非常に速く、すなわち、計算コストの量は非常に低いことが証明され、その結果、１つの１ＧＨｚ ｃｐｕ（例えば、Raspberry Pi Zero）上で優れた視覚化を伴うリアルタイムでの処理能力がもたらされた。

本開示の実施形態を利用することができるいくつかの技術は、ＦＥＭ、微小機械エラストマーアセンブリの３Ｄ印刷、小さな（５．５ｍｍ直径）ウェブカムを含む。ウェブカムは、安価に、すなわち２０ドル以下で購入することができる。実施形態はまた、３０Ｈｚでの把持姿勢、角度、重心、および力テンソルの検証を提供するロボット把持のために使用され得る。また、ロボット教育は、把持がどのように感じるべきか、どのくらい把持するのが困難であるか、およびスリップがどのように感じるかを制御プログラムが記録することができるように、行われる。

ＦＥＭおよび３Ｄ印刷を用いるいくつかの他の利点は、エラストマーキャップの設計および製造が多くの属性を有することを可能にすることができる。例えば、いくつかの属性は、エラストマーキャップに所望の量の感度もしくは損傷閾値を与えるか、またはエラストマーキャップを特定の量の力の方向に提供することを含み得る。ここで、キャップ、ピン高さ、ピン位置、および取り付け構成における非対称性は、異なる力方向間の区別を可能にする。加えて、キャップの低プロファイルは、触覚センサを、ロボットグリッパと、ロボットを教育する人間によって着用される「ティーチグローブ」との両方で用いることを可能にし、それによって、実行される作業のための正しい力テンソルを捕捉することができる。多くの場合、実際の力テンソルを計算することは不要であり、正しい画像および不正確な画像の予め設定されたライブラリに対するピン先端位置の単純な比較が、適切なまたは不適切なロボット把持を判断するのに十分であり、または既知の歪みのライブラリに対して補間されて、センサ上の実際の力テンソルの良好な推定値をリアルタイムでもたらす。

本開示の他の実施形態はまた、エラストマー触覚センサに加えられた外力の高感度の感知を提供しながら、単純なコンパクトな触覚センサを、浅いプロファイルとともに、低コスト、低質量で提供するなどの利益を提供することによって、今日の産業的必要性に対処する。これらの利点のいくつかは、本開示のコンパクトな触覚センサが、以前の従来の使用が異なる技術産業にとって費用がかかりすぎることがわかった技術において用いられることを可能にする。例えば、果物、寿司、または焼き物のような繊細な食材を単に置くことは、人間の従業員を、ロボットに代わる、より安価な代替物とする、タッチコントロールのレベルを必要とする。
特徴

本開示の別の実施形態によれば、ロボット用の触覚センサは、外側衝撃面と、ピン、隆起部、またはそれら両方を有する下面とを含む弾性変形可能な要素を含む。各下面ピンまたは隆起部はマークを含み、弾性変形可能な要素はロボットのグリッパに取り付けられる。カメラは、マークの画像を撮像するためにグリッパのキャビティ内に配置される。メモリは、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに記憶し、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応する。画像プロセッサは、カメラおよびメモリに動作可能に接続される。画像プロセッサは、撮像された画像におけるマークの位置を検出するように構成される。前記撮像された画像における前記検出した前記マークの位置を、距離関数に基づいて、前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断する。前記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、前記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算する。判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な要素に作用する力のパターンを特定する。特定された力のパターンを出力し、変形可能な要素に作用する特定された力のパターンに基づいてグリッパのグリッパ動作を開始する。ここで、上記実施形態の変形例を構成するものとして、以下の態様が企図される。

本開示の態様によれば、画像プロセッサは、画像測定機能を用いて、撮像された画像の画像内の測定された位置の画像座標を特定することによって、撮像された画像内の検出された各マークの位置を変換して、検出されたマークの位置を求め、撮像された画像は、マーク毎に開始位置画像と最終位置画像とを含む。ここで、検出された各マークの位置をユークリッド距離として加算することにより、マークの開始位置画像と最終位置画像とのマッチ距離が形成される。

本態様の少なくとも１つの利点は、前記弾性変形可能な要素に作用する前記力のパターンを判断することは、機械視覚アルゴリズムを用いることを含む。また、ある態様では、弾性変形可能な要素に作用する力のパターンは、垂直圧力Ｚ、中心圧力、オフセット圧力、横方向剪断力Ｘ、横方向剪断力Ｙ、ピッチ、ヨー、もしくはロールにおける中心のもしくはオフセットされたトルク、中心のもしくはオフセットされた挟む力Ｘ、中心のもしくはオフセットされた挟む力Ｙ、中心のもしくはオフセットされた広げる横方向力Ｘ、もしくは中心のもしくはオフセットされた広げる横方向力Ｙ、のうちの１つまたは組み合わせを含む。別の態様は、ロボットが動的ロボットであり、画像プロセッサにおいて判断される外側衝撃面に作用する特定された力のパターンに応答してグリッパが制御されることであり得る。

別の態様では、力が前記外側衝撃面に加えられると、前記外側衝撃面は弾性変形し、前記下面ピン、隆起部、またはそれらの両方を屈曲運動させ、前記マークを検出する。さらに、ある態様では、前記事前学習済みのマークの位置の最良マッチのセットは、前記ユーザが選択したマッチング関数を用いて判断され、前記マッチング関数は、（１）前記距離関数による最良品質のマッチ、（２）前記距離関数を介するユーザが選択した数の最良品質のマッチ値間の所定の加重平均、または（３）すべての品質のマッチした値の所定の加重和を含む、ということであり得る。別の態様は、各力のパターンが、外側衝撃面に垂直な力のセット、トルク力、および剪断力を含むことである。

一態様では、前記外側衝撃面は、前記外側衝撃面に力が加わらない非変形状態と、前記外側衝撃面に力が加わったときの弾性変形状態との間で変化し、前記弾性変形状態は、前記外側衝撃面を弾性変形させ、前記下面ピン、隆起部またはそれらの両方を屈曲運動させ、前記マークを検出し、前記画像プロセッサは、前記非変形状態と前記弾性変形状態との間の前記下面ピン、隆起部、またはそれらの両方の相対位置を評価することによって、前記撮像された画像における前記マークの位置を比較することを含み得る。

さらに別の態様では、前記外側衝撃面は属性を含み、前記属性は、滑らかなテクスチャまたは粗いテクスチャなどの少なくとも１つのテクスチャ、対称な突起、非対称な突起、もしくは前記少なくとも１つのテクスチャを有するかもしくは有さない突起のパターンのうちの１つまたは組み合わせを含み、測定可能な力のセットに向けられるユーザ指定の用途に従って、前記力のパターンの、ユーザが好む測定可能な感度を提供するために、前記下面ピン、隆起、またはそれらの両方と組み合わせて構造化および配置されることであり得る。該態様では、前記ユーザが選択した最良マッチング関数は、前記判断された品質のマッチ値に適用され、前記事前学習済みのマークの位置の最良にマッチするセット、および対応する最良品質マッチの事前学習済みの力のパターンを計算することが可能である。
さらに、別の態様では、前記外側衝撃面は属性を含み、前記属性は、測定可能な力のセットに向けられるユーザ指定の用途に従って、前記弾性変形可能な要素を横切る前記外側衝撃面に対する測定可能な垂直力の量を検出することを含む、力のパターンの、ユーザが好む増加および均一な測定可能な感度を提供する粗いテクスチャの少なくとも１つの領域を含むように構造化および構成される。ある態様では、前記属性は、円錐形状突起、対称突起、もしくは非対称突起のうちの１つの組み合わせを含むように構造化および構成され、測定可能な力のセットに向けられるユーザ指定の用途に従って、前記エラストマー触覚センサを横切る前記外側衝撃面に対する測定可能な面内力、剪断力、およびトルク力の量を検出することを含む、前記力のパターンの測定可能な感度の、ユーザが好む増加を提供することが可能である。さらに、ある態様では、前記属性は、測定可能な力のセットに向けられるユーザ指定の用途に従って、前記力のパターンの測定可能な力またはトルクに対するユーザの好む測定可能な感度の軸に対して垂直に位置決めされた隆起状突起の少なくとも１つの領域を含むように構造化および構成される。さらに、ある態様では、前記属性は、測定可能な力のセットに向けられるユーザ指定の用途に従って、力のパターンの、ユーザの好む測定可能な感度を提供する、好ましい測定可能な感度の軸に対して垂直に位置決めされた、粗いテクスチャ、円錐形状突起、対称突起、非対称突起、隆起状突起のうちの１つまたは組み合わせの、ユーザにより予め定められたパターンを含む。

以下のこれらの態様は、上記のデバイス、方法、およびシステムのいずれかに組み込むことができる。例えば、一態様は、画像プロセッサが、画像測定機能を用いて、撮像された画像のうちの画像内において測定された位置の画像座標を特定することによって、撮像された画像内の各基準先端マーカーの相対位置を変換して、基準先端マーカーの相対位置のセットを得、撮像された画像と他の撮像された画像との間の画像座標において測定された各基準マークが相対位置をユークリッド距離として加算されるようにし、それによって、撮像された画像と他の撮像された画像とのあいだのマッチ距離を形成することであり得る。

別の態様として、撮像された画像におけるマークの位置の検出は、画像測定機能によって行われる。画像プロセッサは、事前学習済みのマークの位置のセットを事前学習済みの力のパターンとともにメモリから取得することを含む画像測定機能のステップを実行する。画像データから、事前学習済みのマークの位置の対応するセットを特定して、撮像された画像におけるマークの位置を検出する。画像測定機能を用いて撮像された画像のうちの画像中の測定された位置の画像座標を特定して、マークの検出位置を求め、撮像された画像は、各マークの開始位置画像と最終位置画像とを含み、各マークの検出位置をユークリッド距離として合計することにより、マークの開始位置画像と最終位置画像との間のマッチ距離を形成する。

さらに別の態様では、カメラは、基準マークを斜角で見る１つ以上のカメラを含み、斜角は、０度の角度から１０度の角度まで、０度の角度から２０度の角度まで、または２１度の角度から３０度の角度までのうちの１つの範囲を含む。

一態様は、ピンが機械的運動増幅ピンであるように、少なくとも１つの位置がエラストマーキャップの下面の側壁上にあることを含んで、各ピンが、エラストマーキャップの下面上の位置に取り付けられるレバーアームを含み、ピンの動き感度のレベルは、レバーがエラストマーキャップの下面上の位置に取り付けられていない、単一の位置に取り付けられたピンと比較して、下面上の位置に取り付けられたレバーアームによって増大されることが可能である。

さらに別の態様は、エラストマーキャップの上面の弾性変形の感度の尺度が複数のピンを用いて拡大され、複数のピンのたわみの動きの測定可能な感度の量が、エラストマーキャップの上面のたわみの動きの測定可能な感度の量と比較して大きいということであり得る。

また、一態様は、各基準マークが、色、バーコード、ＱＲ状ドットコード、または他のタイプのコーディングのうちの１つによってコーディングされ、それによって、撮像された画像内のある位置における基準マークと、事前学習済みの撮像された画像のサブセットのうちの事前学習済みの撮像された画像の最も近い位置における基準マークとの間のマッチが、撮像された画像の基準マークの基準マーク位置と比較して、判断可能である。

一態様は、画像測定機能が、撮像された画像のうちのある撮像された画像から基準マークの最終位置を特定することによって、動いている基準マークの各基準マークの相対位置を判断することを含み得る。特定された基準マークの最終位置を、撮像された画像内の測定された画像座標に関連付ける。最終位置測定座標を、格納されたデータからのエラストマーキャップの基準マークの事前学習済みの撮像された画像のセットと比較して、撮像された画像から特定された最終測定画像座標を有する基準マークを含む対応する事前学習済みの基準マークを含む事前学習済みの撮像された画像のサブセットを特定する。対応する格納済みの基準マークを格納済みの撮像された画像のサブセットと比較して、格納済みの開始位置を有する事前学習済みの撮像された画像を特定する。特定された格納済みの開始位置を測定された画像座標と関連付けて、格納済みの開始位置測定画像座標を得る。格納済みの開始位置測定座標からの測定された基準マークの画像座標を、最終位置測定座標と比較して、動いている基準マークの相対位置のセットを特定する。

さらに別の態様は、基準マークの相対位置がユークリッド距離として合計され、それによって、撮像された画像と事前学習済みの撮像された画像のサブセットとの間のマッチ距離を形成することである。次いで、画像プロセッサは、最も近いユークリッドマッチ距離を有する事前学習済みの画像の、事前学習済みの許容可能なラベルまたは事前学習済みの許容不可能なラベルに基づいて、撮像された画像を許容可能または許容不能とラベル付けされるとおりに分類する。
定義

本開示の態様によれば、実験に基づいて、以下の定義が確立されているが、それらは、もちろん、各表現または用語の完全な定義ではない。ここで、与えられる定義は、実験からの学習に基づいて単なる例として提供され、他の解釈、定義、および他の態様が関連し得る。しかしながら、提示される語句または用語の少なくとも単なる基本的なプレビューのために、そのような定義が提供されている。

テンソル：数学では、テンソルは、いくつかの異なる方法で定義され得るベクトル空間およびその二重空間に関連する代数的オブジェクトであり、いくつかの異なる態様で、しばしば、スカラー、ある点における正接ベクトル、ある点における余接ベクトル（二重ベクトル）、またはベクトル空間から得られたベクトル空間への多線形マップで定義され得る。（一般相対性理論が無関係である物理学および工学用途においてしばしば用いられる）ユークリッドベクトルおよびスカラーは最も単純なテンソルである。テンソルはどのような基礎とも無関係に定義されるが、物理学の文献はしばしば、それらを、特定の座標系に関連する基礎におけるそれらの成分によって指す。

有限要素モデル化（ＦＥＭ）：本開示のいくつかの実施形態によれば、ＦＥＭは、全ドメインの、より単純な部分への細分化であり得、いくつかの利点、すなわち、（Ａ）複雑な幾何学的形状の正確な表現；（Ｂ）非類似材料特性の包含；（Ｃ）全体の解の簡単な表現；（Ｄ）局所的効果の捕捉、を有する。

本方法の検定は、（１）問題のドメインをサブドメインの集まりに分割し、各サブドメインは元の問題に対する要素方程式のセットによって表され、その後、（２）要素方程式のすべてのセットを、最終計算のための大域的方程式系に系統的に再結合することを含むことができる。大域的方程式系は、公知の解法を有し、元の問題の初期値から計算して数値回答を得ることができる。

さらにＦＥＭを参照すると、上記の第１のステップにおいて、要素方程式は、調べられるべき元の複素方程式を局所的に近似する単純な方程式であり、元の方程式はしばしば部分微分方程式（ＰＤＥ）である。このプロセスにおける近似を説明するために、ガレルキン法の特別なケースとして、ＦＥＭが一般に導入される。このプロセスは、数学的言語では、残差関数と重み関数との内積の積分を構築し、その積分を０に設定することである。簡単に言えば、ある手順は、試行関数をＰＤＥに当てはめることによって近似の誤差を最小化する。残差は試行関数による誤差であり、重み関数は残差を射影する多項式近似関数である。このプロセスは、ＰＤＥからすべての空間導関数を排除し、したがって、定常状態問題のための代数方程式のセット、および過渡問題のための通常の微分方程式のセットで、ＰＤＥを局所的に近似する。

これらの方程式セットは要素方程式である。それらは、基底のＰＤＥが線形である場合は線形であり、逆もまた同様である。定常状態問題において生じる代数方程式セットは、数値線形代数法を用いて解かれ、一方、過渡問題において生じる通常の微分方程式セットは、オイラー法またはルンゲ・クッタ法などの標準的な技術を用いて数値積分によって解かれる。

さらにＦＥＭを参照すると、上記のステップ（２）において、大域的方程式系が、サブドメインの局所ノードからドメインの大域ノードへの座標の変換を通じて要素方程式から生成される。この空間変換は、参照座標系に関係して適用されるような適切な配向調整を含む。このプロセスは、サブドメインから生成された座標データを用いてＦＥＭソフトウェアによって実行されることが多い。

図７Ａは、本開示のいくつかの実施形態による、弾性変形可能なキャップを有するグリッパを有するロボットを含む代替ロボットシステムのいくつかの構成要素および様々なサブシステムを示す概略図である。例えば、図７Ａは、本開示のいくつかの実施形態による、ロボット７８２に接続されるセンサ制御コンピュータ７７０を含むことができる。センサ制御コンピュータ７７０は、格納されたソフトウェア７７４と、ラベルおよび表面力値を含む事前学習済みのＸＹセットデータベースとを含むメモリ７７２に接続されるハードウェアプロセッサ７７７を含むことができる。ハードウェアプロセッサ７７７は、メモリ７７２に格納された命令を実現または実行することができる。プロセッサ７７７は、ロボット制御コンピュータ７８０に接続される制御モジュール７７８に接続される。ロボット制御コンピュータ７８０は、７７９を介して制御モジュールに通信し返すことができる。ロボット制御コンピュータ７８０はロボット７８２に接続され、ロボット７８２はロボット制御コンピュータ７８０に接続し返される。

さらに図７Ａを参照すると、ロボット７８２は、外側衝撃面７８５の歪みに接続され、物理的環境７８４は、外側衝撃面７８５の歪みに接続される。例えば、物理的環境７８４は、外側衝撃表面に衝撃を引き起こし得る物体または何かを含むことができる。さらに、外側衝撃面７８５の歪みは、ピンの動きを引き起こす力のパターンまたは正味の力テンソルを形成する外部圧力または力であることができる。ここで、少なくとも１つのビデオカメラ７６９は、マークおよびピン位置の画像を撮影してビデオ画像データを得る。例えば、外側衝撃面７８５の歪みは、図１Ａの外側衝撃面１６に加えられる外部圧力、力などによるものであり得る。外部のまたは外部圧力、力などは、本開示の実施形態が図１Ａの外側衝撃面１６に外部から印加される力のパターンの各圧力または力について測定可能な感度の量を判断することができる力のパターンとすることができる。

さらに図７Ａを参照すると、任意選択で、他のデータを、他のセンサから、ハードウェアプロセッサ７７７に、得ることができる。例えば、他のデータは、環境データ、履歴データ、またはロボットアクションの実施に関連するデータを含むことができる。

図７Ｂは、本開示の実施形態による、方法およびシステムのいくつかの技法を実現するために用いることができるコンピューティング装置７００を非限定的な例として示す概略図である。コンピューティング装置またはデバイス７００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表す。

コンピューティングデバイス７００は、すべてバス７７０に接続された、電源７０８、プロセッサ７０９、メモリ７１０、記憶装置７１１を含むことができる。また、バス７５０には、高速インターフェース７１２、低速インターフェース７１３、高速拡張ポート７１４、および低速接続ポート７１５が接続され得る。加えて、バス７５０には低速拡張ポート７１６が接続されている。特定の用途に応じて、非限定的な例７３０によって、共通のマザーボード上に搭載され得る様々なコンポーネント構成が企図される。さらに、入力インターフェース７１７は、バス７５０を介して外部受信機７０６および出力インターフェース７１８に接続され得る。受信機７１９は、バス７５０を介して外部送信機７０７および送信機７２０に接続され得る。また、バス７５０には、外部メモリ７０４、外部センサ７０３、マシン７０２、および環境７０１が接続され得る。また、バス７５０には、１つ以上の外部入出力装置７０５が接続され得る。ネットワークインターフェースコントローラ（ＮＩＣ）７２１は、バス７５０を介してネットワーク７２２に接続するように適合され得、とりわけ、データまたは他のデータは、コンピュータデバイス７００の外部のサードパーティ表示装置、サードパーティ撮像装置、および／またはサードパーティ印刷装置上でレンダリングされ得る。

メモリ７１０は、コンピュータデバイス７００によって実行可能な命令、履歴データ、ならびに本開示の方法およびシステムによって利用できる任意のデータを格納することができることが企図される。メモリ７１０は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、または任意の他の好適なメモリシステムを含み得る。メモリ７１０は、１つ以上の揮発性メモリユニット、および／または１つ以上の不揮発性メモリユニットとすることができる。メモリ７１０はまた、磁気または光ディスクなどの別の形態のコンピュータ可読媒体であり得る。

さらに図７Ｂを参照すると、記憶装置７１１は、コンピュータデバイス７００によって用いられる補助データおよび／またはソフトウェアモジュールを格納するように適合され得る。例えば、記憶装置７１１は、本開示に関して上述したように、履歴データおよび他の関連データを格納することができる。追加的または代替的に、記憶装置７１１は、本開示に関して上述したデータと同様の履歴データを格納することができる。記憶装置７１１は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、またはそれらの任意の組合せを含むことができる。さらに、記憶装置７１１は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイスなどのコンピュータ可読媒体、フラッシュメモリもしくは他の同様の固体メモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイなどを含み得る。命令は、情報担体に格納することができる。命令は、１つ以上の処理装置（たとえば、プロセッサ７０９）によって実行されると、上述の方法などの１つ以上の方法を実行する。

システムは、バス７５０を介して、任意選択で、システムを表示装置７２５およびキーボード７２４に接続するように適合された表示インターフェースまたはユーザインターフェース（ＨＭＩ）７２３にリンクされることができ、表示装置７２５は、とりわけ、コンピュータモニタ、カメラ、テレビ、プロジェクタ、またはモバイルデバイスを含むことができる。

さらに図７Ｂを参照して、コンピュータデバイス７００は、プリンタインタフェース（図示せず）に適合されたユーザ入力インタフェース７１７を含むことができ、プリンタインタフェースも、バス７５０を介して接続されることができ、印刷装置（図示せず）に接続するように適合されることができ、印刷装置は、とりわけ、液体インクジェットプリンタ、固体インクプリンタ、大規模商業プリンタ、熱プリンタ、ＵＶプリンタ、または色素昇華プリンタを含み得る。

高速インターフェース７１２は、コンピューティングデバイス７００のための帯域幅集中型動作を管理する一方、低速インターフェース７１３は、より低い帯域幅集中型動作を管理する。このような機能の割り当ては一例にすぎない。いくつかの実現例では、高速インターフェース７１２は、メモリ７１０、ユーザインターフェース（ＨＭＩ）７２３、（例えば、グラフィックプロセッサまたはアクセラレータを介して）キーボード７２４およびディスプレイ７２５、ならびにバス７５０を介して様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート７１４に結合され得る。実現例では、低速インタフェース７１３は、バス７５０を介して記憶装置７１１および低速拡張ポート７１５に結合される。様々な通信ポート（例えば、ＵＳＢ、ブルートゥース、イーサネット（登録商標）、ワイヤレスイーサネット（登録商標））を含み得る低速拡張ポート７１５は、１つまたは複数の入力／出力装置７０５、およびキーボード７２４、ポインティングデバイス（図示せず）、スキャナ（図示せず）、またはスイッチもしくはルータなどのネットワーキングデバイスを含む他のデバイスに、たとえばネットワークアダプタを介して結合され得る。

さらに図７Ｂを参照すると、コンピューティングデバイス７００は、図に示されるように、いくつかの異なる形態で実現され得る。例えば、標準サーバ７２６として、またはそのようなサーバのグループにおいて複数回実現されてもよい。加えて、ラップトップコンピュータ７２７などのパーソナルコンピュータにおいて実現することもできる。また、ラックサーバシステム７２８の一部として実現されてもよい。代替的に、コンピューティングデバイス７００からのコンポーネントは、モバイルデバイス（図示せず）内の他のコンポーネントと組み合わされてもよい。そのようなデバイスの各々は、コンピューティングデバイスおよびモバイルコンピューティングデバイスのうちの１つまたは複数を含み得、システム全体が、互いに通信する複数のコンピューティングデバイスから構成され得る。
実施形態

以下の説明は、例示的な実施形態のみを提供するものであり、本開示の範囲、適用可能性、または構成を制限することを意図していない。むしろ、例示的な実施形態の以下の記載は、当業者に、１つ以上の例示的な実施形態を実現することに対する実施可能な記載を提供するであろう。企図されるのは、特許請求の範囲に記載されるように開示される主題の精神および範囲から逸脱することなく、要素の機能および構成において行われ得るさまざまな変更である。

実施形態の完全な理解を与えるために、具体的な詳細が以下の記載において与えられる。しかしながら、当業者によって理解されることは、実施形態がこれらの具体的な詳細なしで実施され得ることであり得る。例えば、開示された主題におけるシステム、プロセス、および他の要素は、不必要な詳細で実施形態を不明瞭にしないために、ブロック図形式でコンポーネントとして示され得る。他の例では、周知のプロセス、構造、および技法は、実施形態を不明瞭にすることを回避するために、不必要な詳細なしで示され得る。さらに、さまざまな図面における同様の参照番号および名称は、同様の要素を示した。

また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明され得る。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは、並列にまたは同時に実行することができる。加えて、動作の順序を入れ替えてもよい。プロセスは、その動作が完了したときに終了され得るが、論じられていない、または図に含まれていない追加のステップを有し得る。さらに、任意の特に説明されるプロセスにおけるすべての動作が、すべての実施形態において起こり得るわけではない。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、呼び出し関数またはメイン関数への関数の復帰に対応することができる。

さらに、開示される主題の実施形態は、少なくとも部分的に、手動または自動のいずれかで実現され得る。手動または自動の実現は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、もしくはそれらの任意の組み合わせで実行され得るか、または少なくとも支援され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実現される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、機械可読媒体に格納され得る。プロセッサが必要なタスクを実行してもよい。

さらに、本開示の実施形態および本明細書で説明される機能動作は、デジタル電子回路、有形に具現化されたコンピュータソフトウェアもしくはファームウェア、本明細書で開示される構造およびそれらの構造的均等物を含むコンピュータハードウェア、またはそれらの１つもしくは複数の組合せにおいて実装され得る。さらに、本開示のいくつかの実施形態は、１つまたは複数のコンピュータプログラム、すなわち、データ処理装置によって実行するために、またはデータ処理装置の動作を制御するために有形の非一時的プログラム担体上に符号化されたコンピュータプログラム命令の１つまたは複数のモジュールとして実装され得る。さらに、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理装置による実行のために適切な受信装置への送信のために情報を符号化するよう生成される機械生成された電気、光、または電磁信号上に符号化することができる。コンピュータ記憶媒体は、機械可読記憶装置、機械可読記憶基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらの１つ以上の組合せとすることができる。

本開示の実施形態によれば、用語「データ処理装置」は、例として、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのすべての種類の装置、デバイス、およびマシンを包含することができる。装置は、専用論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含むことができる。本装置はまた、ハードウェアに加えて、当該コンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの１つ以上の組合せを構成するコードを含むことができる。

コンピュータプログラム（これらは、プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードとも呼ばれ、または記載され得る）は、コンパイルされたもしくは解釈された言語、または宣言型言語もしくは手続き型言語を含む任意の形態のプログラミング言語で記述することができ、独立型プログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットとして含む任意の形態で展開することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応し得るが、対応する必要はない。プログラムは、他のプログラムまたはデータを保持するファイルの一部、例えばマークアップ言語ドキュメントに格納された１つ以上のスクリプト、問題のプログラム専用の単一のファイル、または複数の協調ファイル、例えば１つ以上のモジュール、サブプログラムもしくはコードの一部を格納するファイルに格納することができる。コンピュータプログラムは、１つのコンピュータ上、または１つのサイトに位置するか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。コンピュータプログラムの実行に適したコンピュータは、一例として、汎用マイクロプロセッサもしくは専用マイクロプロセッサもしくはその両方、または任意の他の種類の中央処理ユニットを含み、例えばそれらに基づくことができる。一般に、中央処理ユニットは、読み取り専用メモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実行するための中央処理ユニット、ならびに命令およびデータを格納するための１つ以上のメモリデバイスである。一般に、コンピュータはまた、データを格納するための１つ以上の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク、もしくは光ディスクを含むか、またはそれらからデータを受信するか、もしくはそれらにデータを転送するか、もしくはその両方を行うように動作可能に結合されることにもなる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、数例を挙げると、別のデバイス、例えば、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、または携帯型記憶装置、例えばユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブに組み込むことができる。

ユーザとの対話を提供するために、本明細書で説明される主題の実施形態は、ユーザに情報を表示する表示装置、例えばＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ、ならびにキーボードおよびポインティングデバイス、例えばマウスまたはトラックボールを有するコンピュータ上で実現され得、これにより、ユーザは、コンピュータに入力を提供することができる。他の種類のデバイスも、ユーザとの相互作用を提供するために用いることができ；例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ；ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信され得る。さらに、コンピュータは、ユーザによって用いられるデバイスにドキュメントを送信し、デバイスからドキュメントを受信することによって、例えば、ウェブブラウザから受信された要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。

本明細書で説明する主題の実施形態は、例えばデータサーバとしてバックエンドコンポーネントを含む、または例えばアプリケーションサーバなどのミドルウェアコンポーネントを含む、またはフロントエンドコンポーネント、例えばユーザが本明細書に記載される主題の実現例と対話できるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ、または１つもしくは複数のそのようなバックエンドコンポーネント、ミドルウェアコンポーネントもしくはフロントエンドコンポーネントの任意の組合せを含む計算システムにおいて実現され得る。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信、例えば通信ネットワークによって相互接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、例えばインターネットを含む。

コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に、互いに遠隔であり、一般に、通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

本開示は特定の好ましい実施形態を参照して説明されたが、本開示の精神および範囲内でさまざまな他の適合および変更を行うことができることを理解されたい。したがって、本開示の真の精神および範囲内に入るそのようなすべての変形および修正を包含することは、特許請求の範囲の態様である。

Claims (20)

1. ロボット用の触覚センサであって、
   外側衝撃面と、ピン、隆起部、またはそれら両方を有する下面とを含む弾性変形可能な要素を備え、各下面ピンまたは隆起部はマークを含み、前記弾性変形可能な要素はグリッパに取り付けられ、前記触覚センサはさらに、
   マークの画像を撮像するよう前記グリッパのキャビティ内に配置されるカメラと、
   事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに格納するメモリとを備え、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応し、前記触覚センサはさらに、
   前記カメラおよび前記メモリに動作可能に接続される画像プロセッサを備え、前記画像プロセッサは、
   撮像された画像において前記マークの位置を検出し、
   前記撮像された画像における前記検出した前記マークの位置を、距離関数に基づいて、前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断し、
   前記判断されたマッチ値の品質に適用される、ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断して、前記事前学習済みのマークの位置の最良にマッチするセットおよび対応する最良品質マッチの事前学習済みの力のパターンを計算し、
   前記判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な要素に作用する力のパターンを特定し、
   前記特定された力のパターンを出力し、前記変形可能な要素に作用する前記特定された力のパターンに基づいて前記グリッパのグリッパ動作を開始するよう構成される、ロボット用の触覚センサ。
2. 画像処理部は、画像測定機能を用いて、撮像された画像における測定された位置の画像座標を特定することで、撮像された画像における各マークの位置を変換する、請求項１に記載の触覚センサ。
3. 検出される各マークの位置は、前記検出されるマークの位置と前記事前学習済みのマークの位置とのユークリッド距離として加算されることにより、前記撮像されたマークの画像と前記事前学習済みのマークの画像とのマッチ距離が形成される、請求項２に記載の触覚センサ。
4. 前記弾性変形可能な要素に作用する前記力のパターンを判断することは、機械視覚アルゴリズムを用いることを含む、請求項１に記載の触覚センサ。
5. 前記弾性変形可能要素に作用する前記力のパターンは、垂直圧力Ｚ、中心圧力、オフセット圧力、横方向剪断力Ｘ、剪断力Ｙ、ピッチ、ヨー、もしくはロールにおけるトルク、挟む横方向力Ｘ、広げる横方向力Ｘ、広げる横方向力Ｙ、もしくは挟む剪断力Ｙのうちの１つまたはそれらの組み合わせを含む、請求項１に記載の触覚センサ。
6. 前記グリッパは、移動するように構成された動的ロボットであるロボットに取り付けられ、前記グリッパは、前記グリッパ動作に基づいて制御され、前記グリッパは、前記画像プロセッサと通信している他のセンサから、または前記グリッパのユーザによって取得された他のセンサデータを介して前記画像プロセッサによって判断された他のグリッパ動作を受け入れるように構成される、請求項１に記載の触覚センサ。
7. 前記検出された前記マークの位置と前記事前学習済みのマークの位置のセットとを比較
   するために用いられる前記距離関数は、ユークリッド距離関数に基づく、請求項１に記載の触覚センサ。
8. 前記事前学習済みのマークの位置の最良マッチのセットは、前記ユーザが選択したマッチング関数を用いて判断され、前記マッチング関数は、（１）前記距離関数による最良品質のマッチ、（２）ユーザが選択した数の最良品質のマッチ値間の所定の重み付けされた平均、または動的に更新可能なマッチした値のすべての品質のユーザにより指定された重み付け関数；または（３）すべての品質のマッチした値の所定の重み付けされた和を含む、請求項１に記載の触覚センサ。
9. 各力のパターンは、前記外側衝撃面に垂直な力、トルク力、および剪断力のセットを含み、力が前記外側衝撃面に加えられると、前記外側衝撃面は弾性変形し、前記下面ピン、隆起部、またはそれらの両方を屈曲運動させ、前記マークを変位させる、請求項１に記載の触覚センサ。
10. 前記外側衝撃面は、前記外側衝撃面に力が加わらない非変形状態と、前記外側衝撃面に力が加わったときの弾性変形状態との間で変化し、前記弾性変形状態は、前記外側衝撃面を弾性変形させ、前記下面ピン、隆起部またはそれらの両方を屈曲運動させ、前記マークを変位させ、前記画像プロセッサは、前記非変形状態と前記弾性変形状態との間の前記下面ピン、隆起部、またはそれらの両方の相対位置を評価することによって、前記撮像された画像における前記マークの位置を比較する、請求項１に記載の触覚センサ。
11. 前記外側衝撃面は属性を含み、前記属性は、滑らかなテクスチャまたは粗いテクスチャの少なくとも１つのテクスチャ、対称な突起、非対称な突起、もしくは前記少なくとも１つのテクスチャを有するかもしくは有さない突起のパターンのうちの１つまたは組み合わせを含み、測定可能な力のセットに向けられるユーザ指定の用途に従って、前記力のパターンの、ユーザが好む測定可能な感度を提供するために、前記下面ピン、隆起、またはそれらの両方と組み合わせて構造化および配置される、請求項１に記載の触覚センサ。
12. ロボット用の触覚センサであって、外側衝撃面と、ピン、隆起部、またはそれらの両方を有する下面とを含む変形可能な要素を有し、各下面ピンまたは隆起部はマークを含み、前記変形可能な要素は前記ロボットのグリッパに取り付けられ、前記触覚センサはさらに、前記マークの画像を撮像するために前記グリッパのキャビティ内に配置されるカメラと、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに格納するメモリとを有し、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応し、前記触覚センサは、
    前記カメラおよび前記メモリに動作可能に接続される画像プロセッサを備え、前記画像プロセッサは、
    撮像された画像において前記マークの位置を検出し、
    前記撮像された画像における前記検出した前記マークの位置を、距離関数に基づいて、前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断し、
    ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断し、
    前記判断された最良マッチの事前学習済みの力のパターンに基づいて、前記変形可能な要素に作用する力のパターンを特定し、
    前記特定された力のパターンを出力し、前記変形可能な要素に作用する前記特定された力のパターンに基づいて前記グリッパのグリッパ動作を開始するよう構成される、ロボット用の触覚センサ。
13. 前記ユーザが選択した最良マッチング関数は、前記判断された品質のマッチ値に適用され、前記事前学習済みのマークの位置の最良にマッチするセット、および対応する最良品質マッチの事前学習済みの力のパターンを計算する、請求項１２に記載の触覚センサ。
14. 前記外側衝撃面は属性を含み、前記属性は、滑らかなテクスチャまたは粗いテクスチャの少なくとも１つのテクスチャ、対称な突起、非対称な突起、もしくは前記少なくとも１つのテクスチャを有するかもしくは有さない突起のパターンのうちの１つまたは組み合わせを含み、測定可能な力のセットに向けられるユーザ指定の用途に従って、前記力のパターンの、ユーザが好む測定可能な感度を提供するために、前記下面ピン、隆起、またはそれらの両方と組み合わせて構造化および配置される、請求項１３に記載の触覚センサ。
15. 前記外側衝撃面は属性を含み、前記属性は、測定可能な力のセットに向けられるユーザ指定の用途に従って、前記変形可能な要素を横切る前記外側衝撃面に対する測定可能な垂直力の量を検出することを含む、力のパターンの、ユーザが好む増加および均一な測定可能な感度を提供する粗いテクスチャの少なくとも１つの領域を含むように構造化および構成される、請求項１２に記載の触覚センサ。
16. 前記属性は、円錐形状突起、対称突起、もしくは非対称突起のうちの１つの組み合わせを含むように構造化および構成され、測定可能な力のセットに向けられるユーザ指定の用途に従って、前記触覚センサを横切る前記外側衝撃面に対する測定可能な面内力、剪断力、およびトルク力の量を検出することを含む、前記力のパターンの測定可能な感度の、ユーザが好む増加を提供する、請求項１５に記載の触覚センサ。
17. 前記属性は、測定可能な力のセットに向けられるユーザ指定の用途に従って、前記力のパターンの測定可能な力またはトルクに対するユーザの好む測定可能な感度の軸に対して垂直に位置決めされた隆起状突起の少なくとも１つの領域を含むように構造化および構成される、請求項１５に記載の触覚センサ。
18. 前記属性は、測定可能な力のセットに向けられるユーザ指定の用途に従って、力のパターンの、ユーザの好む測定可能な感度を提供する、好ましい測定可能な感度の軸に対して垂直に位置決めされた、粗いテクスチャ、円錐形状突起、対称突起、非対称突起、隆起状突起のうちの１つまたは組み合わせの、ユーザにより予め定められたパターンを含む、請求項１５に記載の触覚センサ。
19. 触覚感知の方法であって、外側衝撃面と、ピン、隆起部、またはそれら両方を有する下面とを含む弾性変形可能な要素を有し、前記下面ピンまたは隆起部はマークを含み、前記弾性変形可能な要素はロボットのグリッパに取り付けられ、さらに、前記マークの画像を撮像するよう前記グリッパのキャビティ内に配置されるカメラを有し、前記方法は、
    前記カメラから画像を撮像することと、
    事前学習済みのマークの位置のセットの画像データを含むデータを事前学習済みの力のパターンとともに格納するメモリにアクセスすることとを含み、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応し、前記方法はさらに、
    撮像された画像において前記マークの位置を検出することと、
    前記撮像された画像を評価して前記撮像された画像における各マークの位置を検出し、前記撮像された画像における前記検出された前記マークの位置を、距離関数に基づいて、前記画像データの前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにある品質のマッチ値を得ることと、
    ユーザが選択した最良マッチング関数を前記ある品質のマッチ値に適用して、前記事前学習済みのマークの位置の最良にマッチするセット、および対応する最良品質マッチの事
    前学習済みの力のパターンを計算することと、
    判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な要素に作用する力のパターンを特定することと、
    前記特定された力のパターンを出力し、前記弾性変形可能な要素に作用する前記特定された力のパターンに基づいて前記グリッパのグリッパ動作を開始することとを含む、触覚感知の方法。
20. ロボット用のエラストマー触覚センサであって、外側衝撃面と、ピン、隆起部、またはそれら両方を有する下面とを含む弾性変形可能な要素を有し、各下面ピンまたは隆起部はマークを含み、前記弾性変形可能な要素は前記ロボットのグリッパに取り付けられ、さらに、前記マークの画像を撮像するよう前記グリッパのキャビティ内に配置されるカメラと、事前学習済みのマークの位置のセットの画像データを含むデータを、対応する事前学習済みの力のパターンとともに格納するメモリとを有し、事前学習済みのマークの位置の各セットは、事前学習済みの力のパターンに対応し、前記触覚センサは、
    前記カメラおよび前記メモリに動作可能に接続される画像プロセッサを備え、前記画像プロセッサは、
    撮像された画像において前記マークの位置を検出し、
    前記撮像された画像における前記検出した前記マークの位置を、距離関数に基づいて、前記事前学習済みのマークの位置のセットと比較して、前記事前学習済みのマークの位置のセットごとにマッチ値の品質を判断し、
    ユーザが選択した最良マッチング関数を用いて、最良品質マッチの事前学習済みの力のパターンを判断し、
    前記判断された最良マッチの事前学習済みの力のパターンに基づいて、前記弾性変形可能な要素に作用する力のパターンを特定し、
    前記変形可能な要素に作用する前記特定された力のパターンに基づいて前記グリッパのためのグリッパ動作を開始するよう、前記特定された力のパターンを出力するように構成され、前記特定された力のパターンは、垂直圧力Ｚ、中心圧力、オフセット圧力、横方向力、すなわち横方向剪断力Ｘ、横方向剪断力Ｙ、ピッチ、ヨー、もしくはロールにおける中心トルクまたはオフセットトルク、中心の挟む力またはオフセットされた挟む力Ｘ、中心の挟む力またはオフセットされた挟む力Ｙ、中心の広げる横方向力またはオフセットされた広げる横方向力Ｘ、中心の広げる横方向力またはオフセットされた広げる横方向力Ｙ、のうちの１つまたは組み合わせを含む、ロボット用のエラストマー触覚センサ。

Images