JP7242036B2 - 触覚検知装置及び触覚検知方法 - Google Patents

触覚検知装置及び触覚検知方法 Download PDF

Info

Publication number
JP7242036B2
JP7242036B2 JP2019018391A JP2019018391A JP7242036B2 JP 7242036 B2 JP7242036 B2 JP 7242036B2 JP 2019018391 A JP2019018391 A JP 2019018391A JP 2019018391 A JP2019018391 A JP 2019018391A JP 7242036 B2 JP7242036 B2 JP 7242036B2
Authority
JP
Japan
Prior art keywords
wall surface
markers
image
marker
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019018391A
Other languages
English (en)
Other versions
JP2020125973A (ja
Inventor
アンヴァン ホ
ヴァン ラク ヅオン
励 朝比奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Advanced Institute of Science and Technology
Original Assignee
Japan Advanced Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Advanced Institute of Science and Technology filed Critical Japan Advanced Institute of Science and Technology
Priority to JP2019018391A priority Critical patent/JP7242036B2/ja
Publication of JP2020125973A publication Critical patent/JP2020125973A/ja
Application granted granted Critical
Publication of JP7242036B2 publication Critical patent/JP7242036B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Force Measurement Appropriate To Specific Purposes (AREA)

Description

本発明は、触覚検知装置及び触覚検知方法に関する。
物体の接触を検知する触覚検知装置として、抵抗センサ、容量性センサ、圧電センサ等の各種センサを用いたものや、光学的手法を用いて物体の接触を検知するものがある。
光学的手法を用いて物体の接触を検知する触覚検知装置として、特許文献1及び非特許文献1に示すような光学式触覚検知装置が知られている。
特許文献1に記載されている光学式触覚検知装置においては、透明な弾性体に複数のマーカが埋め込まれている。1つのカメラがこれらのマーカの画像を取得し、コンピュータがこれらの画像の情報と予め記憶されたマーカの位置とを比較して、弾性体に作用している力のベクトル分布を計算することで、物体の接触の有無及びその位置を検知する。
非特許文献1に記載されている柔軟光学触覚装置においては、筒状弾性体内に多数のピンが配置されている。1つのカメラが光学屈折レンズを通してこれらのピンの画像を取得し、コンピュータがこれらの画像の情報に基づいて筒状弾性体のたわみを計算し、たわみの生じている位置を計算することで、物体の接触の有無及びその位置を検知する。
特開2009-288033号公報
Ward-Cherrier, Pestell, Cramphorn, Winstone, Giannaccini, Rossiter, Lepora NF, "The TacTip Family: Soft Optical Tactile sensors with 3D-Printed Biomimetic Morphologies", Soft Robotics, Volume 5, No 2, p.216-227, April, 2018.
特許文献1及び非特許文献1に記載された装置は、カメラを1つしか用いない。このため、検知部である弾性体の歪みが大きくなると、目印となるマーカやピンを認識できなくなりやすく、触覚検知精度が低いという問題がある。
また、非特許文献1に記載の柔軟光学触覚装置においては、それぞれのピンの3次元の変位を推定できないため、3次元の触覚センサとしての触覚検知精度が低いという問題がある。
本発明は、上記の問題点に鑑み、検知精度の高い触覚検知装置及び触覚検知方法を提供することを目的とする。
上記目的を達成するため、本発明の第1の観点に係る触覚検知装置は、
複数のマーカを有する壁面を含む膜と、
前記複数のマーカの第1の画像を取得する第1のマーカ画像取得部と、
前記第1のマーカ画像取得部と対向して配置され、前記第1のマーカ画像取得部とは異なる視点から前記複数のマーカの第2の画像を取得する第2のマーカ画像取得部と、
前記第1の画像に含まれる前記複数のマーカと前記第2の画像に含まれる前記複数のマーカとを対応付けるマーカマッチング部と、
前記マーカマッチング部によって対応付けられた前記マーカの対応関係と、前記第1の画像と、前記第2の画像と、に基づいて前記複数のマーカの3次元空間における位置を算出するマーカ位置算出部と、
前記複数のマーカの3次元空間における前記位置に基づいて前記膜の変位を算出し、当該膜の変位が閾値を超えた場合に物体の接触があると判別する接触判別部と、
を備える。
また、本発明の第2の観点に係る触覚検知方法は、
第1の視点と、当該第1の視点からの視線上に第2の視点を配置し、当該第2の視点の視線の方向を前記第1の視点からの視線と反対方向に位置付けるステップと、
同時に前記第1の視点及び前記第2の視点から壁面に設けられた複数のマーカの画像を第1の画像及び第2の画像として取得するステップと、
前記第1の画像と前記第2の画像の両方に基づいて、前記複数のマーカの位置を算出するステップと、
前記複数のマーカの算出された位置から前記壁面の形状を算出し、算出された前記壁面の形状の変位が閾値を超えた場合に物体の接触があると判別するステップと、
を含む。
また、本発明の第3の観点に係る触覚検知方法は、
同時に異なる視点から壁面に設けられた複数のマーカの画像を第1の画像及び第2の画像として取得するステップと、
前記第1の画像と前記第2の画像の両方に基づいて、前記複数のマーカの位置を算出するステップと、
前記複数のマーカの算出された位置から前記壁面の形状を算出し、算出された前記壁面の形状の変位が閾値を超えた場合に物体の接触があると判別するステップと、を含み、
前記複数のマーカの算出された位置から前記壁面の形状を算出し、算出された前記壁面の形状の変位が閾値を超えた場合に物体の接触があると判別するステップは、
前記壁面の内側の気体の圧力と、前記壁面の形状の変位と、前記壁面に外側から加えられた圧力との対応関係に基づいて、前記算出された前記壁面の形状の変位に応じて前記壁面に外側から加えられた圧力を算出するステップを含む。
本発明によれば、検知精度の高い触覚検知装置及び触覚検知方法が提供される。
(A)は本発明の第1の実施の形態に係る触覚検知装置の構成を示す図であり、(B)は(A)のA-A’矢視図である。 図1に示す触覚検知装置のシステム構成図である。 図1に示す触覚検知装置を用いた検知処理のフローチャートである。 (A)は図1に示す触覚検知装置の2つカメラを用いて取得したマーカの元画像であり、(B)は(A)の歪み除去後の画像である。 (A)は第1のカメラと第2のカメラによってそれぞれ抽出されたマーカの位置と番号の対応を示す図であり、(B)はそれらの対応を直線で結んだ説明図であり、(C)は、マーカ、第1のカメラ、第2のカメラの3次元空間における位置関係を示す図であり、(D)は(C)の一部を取り出した説明図である。 (A)は図1に示す触覚検知装置によって取得されたマーカの3次元空間上の分布を示す図であり、(B)は(A)のマーカに内膜を対応付けて示した図である。 (A)は第1の実験の測定対象である4つのマーカの位置を示す図であり、(B)はそれらのマーカの径方向の変位を示す図であり、(C)はそれらのマーカのZ軸方向の変位を示す図である。 (A)は第2の実験の測定対象であるマーカの番号を示す図であり、(B)はX軸方向の変位を示す図、(C)はY軸方向の変位を示す図、(D)はZ軸方向の変位を示す図、(E)は3次元的な変位を示す図である。 本発明の第2の実施の形態に係る触覚検知装置の概略説明図である。 (A)は本発明の第3の実施の形態に係る触覚検知装置の概略断面図であり、(B)は(A)の触覚検知装置を内側から第1の基部に向けて見た場合のカメラの配置図であり、(C)は(A)の触覚検知装置を内側から第2の基部に向けて見た場合のカメラの配置図である。 (A)は本発明の変形例に係る触覚検知装置の概略断面図であり、(B)は(A)の触覚検知装置を内側から第1の基部に向けて見た場合のカメラの配置図である。
以下に、本発明の実施の形態に係る触覚検知装置1を、図面を参照しつつ説明する。
(第1の実施の形態)
本実施の形態に係る触覚検知装置1は、例えば、ロボットアームの腕の一部を構成して他の物体との接触の有無、その位置及び他の物体と接触していない状態である通常状態からの変位又は圧力を検知するものである。
触覚検知装置1は、図1(A)に示すように、他のジョイントと結合する第1のジョイント部21と、第1のジョイント部21から延びて形成される第1の連結軸22と、第1の連結軸22の軸に対して垂直に設けられ、後述する第1のカメラ34a、LED36等を固定する第1の基部23と、第1の基部23に対向して配置され、後述する第2のカメラ34b、LED36等を固定する第2の基部26と、第2の基部26に固定された第2の連結軸25と、第2の連結軸25と接続された第2のジョイント部24と、第1の基部23と第2の基部26との間に配置され、物体の接触部位及び圧力を検知する検知部30と、を備える。
図1(B)は、触覚検知装置1の内部構造を示す(A)のA-A’矢視図である。
以下、第1のジョイント部21から第2のジョイント部24に向かう方向を+Z方向とし、図1(B)の手前から奥へ向かう方向を+X方向、左から右へ向かう方向を+Y方向として説明する。
検知部30は、接触及びその圧力を検知するために柔軟性を有する略円筒状の内膜31を備える。内膜31には、規則的に間隔を空けて複数のマーカ32が配置されている。検知部30は、内膜31を支持する透明のアクリル樹脂の円筒を含む透明筒33を備える。検知部30は、第1の基部23及び第2の基部26のそれぞれ向き合う面に、マーカ32の画像を取得する第1のカメラ34a及び第2のカメラ34bと、第1のカメラ34a及び第2のカメラ34bがマーカ32の明瞭な画像を取得するため検知部30の内部を照らす複数の発光ダイオード(LED)36と、を備える。第1のカメラ34aと第2のカメラ34bは互いに向き合う方向に配置され、第1のカメラ34aの光軸と第2のカメラ34bの光軸は共通であり、かつ、Z方向と平行である。LED36は、第1の基部23の表面上に、第1のカメラ34aを取り囲むように複数配置されている。LED36は、第2の基部26の表面上にも、第2のカメラ34bを取り囲むように複数配置されている。さらに、触覚検知装置1は、非接触状態で検知部30が透明筒33に向かって凹まないように圧縮空気を導入する圧縮空気孔41を第2の基部26の側面に備えており、この圧縮空気孔41には、圧縮空気チューブ42が接続されている。また、検知部30内の圧縮空気が漏れないよう、内膜31のZ方向の両端には、シリコン樹脂の膜である第1の密閉フィルタ35a、第2の密閉フィルタ35bが張られている。第1の密閉フィルタ35a及び第2の密閉フィルタ35bは、それぞれ、Z方向においてLED36よりも検知部30の中央側に配置されている。
第1の密閉フィルタ35a及び第2の密閉フィルタ35bは半透明であるため、LED36の発する光は、第1の密閉フィルタ35a又は第2の密閉フィルタ35bを通して拡散(散乱)される。
また、図1(B)に示すように、透明筒33の両端と中央には、黒色の遮光テープ37が筒の側面に沿って貼り付けられている。透明筒33の内部の中央には、黒色の塗料を混ぜたシリコン樹脂の膜である反射防止フィルタ38が張られている。
このため、第1のカメラ34a及び第2のカメラ34bが透明筒33の内側で反射された光を受けたりLED36の光を直接受けたりすることがなく、マーカ32の認識精度が向上する。
なお、内膜31及びマーカ32は、例えば、以下のようにして構成されている。内膜31は、黒色の塗料を混ぜたシリコーンゴムを長軸の中央に向けて半径が大きくなる略円筒形状の型に流し込んで乾燥させた後、型から外し、再起反射塗料を塗布したマーカ32を内側に規則的に間隔を空けて貼り付けて形成されている。なお、マーカ32は直径6mmの円柱形状に形成されており、隣接するマーカ32同士の間隔は、Z方向に15mm、内膜31の周方向に20mmである。
マーカ32が再起反射性を有すること、マーカ32が黒色の内膜31と高いコントラストをなすこと、遮光性を備えた内膜31に外光が遮断されること等により、マーカ32は、第1のカメラ34a及び第2のカメラ34bにサブピクセルオーダーの高い精度で認識される。
次に、触覚検知装置1のシステム構成を図2に示す。
触覚検知装置1は、各種の情報処理を行う情報演算装置10と、第1のカメラ34aと、第2のカメラ34bと、を備える。
情報演算装置10は、例えば、コンピュータから構成されており、算術演算や論理演算を行う演算部11と、外部機器と情報をやり取りする通信部18と、画像データや処理プログラムを一時的又は永続的に記憶する記憶部19と、を備える。演算部11は、後述する触覚検知処理を行うものであり、画像の歪みを除去する画像の歪み除去部12と、画像からマーカ32の領域を抽出するマーカ抽出部13と、マーカ32の重心を計算するマーカ重心計算部14と、異なる画像における同一のマーカ32を対応付けるマーカマッチング部15と、マーカ32の3次元空間における位置を算出するマーカ位置算出部16と、検知部30への物体の接触を判別する接触判別部17と、を含む。
通信部18は、例えば、通信インタフェースであり、記憶部19は、例えば、ランダムアクセスメモリ(RAM)、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)である。
次に、上述した構成の触覚検知装置1を用いて触覚を検知する触覚検知処理の考え方を、図3のフローチャートを参照して説明する。触覚検知処理は、図3に示したステップS1~S8を繰り返すことで実行される。
まず、情報演算装置10は、通信部18を介して、第1のカメラ34aと第2のカメラ34bから、マーカ32のステレオ画像を取得する(ステップS1)。ここで、ステレオ画像とは、同じタイミングで異なる視点又は視線の方向から取得された2次元の画像をいう。
ステップS1で取得されたステレオ画像には、透明筒33を通して取得されていること、撮像素子の特性、光学系の構造等に起因する歪みが含まれている可能性があるため、この画像の歪みを除去する(ステップS2)。
なお、触覚検知処理に先立ち、第1のカメラ34aと第2のカメラ34bとを一定の間隔に離間して保持し、両方のカメラから同一の市松模様を撮影して、画像の歪みを除去するための補正パラメータを求めるカメラキャリブレーションを事前に行い、この補正パラメータのデータを、記憶部19に記憶しておく。
ステップS2では、画像の歪み除去部12は、記憶部19から補正パラメータのデータを読み出して、このパラメータに基づいて、第1のカメラ34aと第2のカメラ34bから取得されたステレオ画像を補正する。
図4(A)、(B)は、第1のカメラ34a及び第2のカメラ34bがLED36に照らされた複数のマーカ32を撮影して取得したステレオ画像である。図4(A)は、歪みを除去する前のステレオ画像であり、(B)は歪みを除去した後のステレオ画像である。図4(A)、(B)に示すように、第1のカメラ34aと第2のカメラ34bとは互いにZ方向において対向して配置されているため、第1のカメラ34aに取得された画像と第2のカメラ34bに取得された画像とでX軸が反転している。画像の歪みの除去の処理が行われた結果、図4(B)に示すように画像における複数のマーカ32のそれぞれの位置が、図4(A)に比べて正確になっている。
続いて、2次元のステレオ画像から、マーカ32の領域を抽出する(ステップS3)。
具体的には、マーカ抽出部13は、例えば、特徴点抽出、輪郭検出、パターンマッチング、ニューラルネットワークを用いたパターン認識等の手法を用いて、ステップS2で歪みを除去された2次元のステレオ画像から、マーカ32の存在する領域のピクセルにフラグを立てる。
次に、ステレオ画像には複数のマーカ32が含まれているため、それらの重心を計算する(ステップS4)。
マーカ32はLED36の発した光を反射するが、それ以外の部分は光を反射しないようにされているため、2次元のステレオ画像において、マーカ32の存在する領域のみが、高い輝度を有する一定の範囲の領域として表れる。そこで、マーカ重心計算部14は、歪みの除去されたステレオ画像を2値画像に変換した上で、それぞれのマーカ32について、重心の座標を求める。なお、1つのマーカ32の重心の座標は、ステップS3においてフラグの立てられたピクセルの座標の平均を計算することで求められる。マーカ重心計算部14は、求められた重心の座標データを記憶部19に記憶する。
このようにすることで、マーカ32が第1のカメラ34a又は第2のカメラ34bによって斜め方向から撮影されているマーカ32のステレオ画像における位置を、後続の処理に用いるのに適した座標として正確に求めることができる。
計算された重心の情報を基に、マーカ32のマッチングを行う(ステップS5)。
マーカ32は、内膜31が変形していることにより、標準状態における位置からずれた位置にある可能性がある。また、次のステップS6で、それぞれのマーカ32の視差のデータを必要とする。そこで、マーカマッチング部15は、複数のマーカ32のそれぞれについて、第1のカメラ34aと第2のカメラ34bによって取得された2次元のステレオ画像において、同一のマーカ32同士を対応付ける。
具体的には、まず、マーカマッチング部15は、マッチングの処理を容易にするため、ステレオ画像の座標をデカルト座標(x、y)から極座標(r、θ)に変換する。次に、極座標のr又はθを増加させながら、すべてのマーカ32に、規則的に一意の番号を割り振る。次に、マーカマッチング部15は、第1のカメラ34aに取得された画像におけるマーカ32と第2のカメラ34bに取得された画像におけるマーカ32のうち、同一であるものに同一の番号が割り振られるよう、番号の並び替えを行う。番号の並び替えを行った直後の画像の一例を図5(A)に示し、マッチングを行って対応するマーカ32同士を直線で結んだ一例を図5(B)に示す。図5(B)において、例えば、1番に相当するマーカ32は、第1のカメラ34aで撮影された画像においては、左端中央に位置しているが、第2のカメラ34bで撮影された画像においては、中央付近に位置しており、適切な対応関係が求められていることが理解される。
ステップS5でマーカ32の対応付けが完了しているため、対応データとともに、ステップS4で求められたマーカ32の2次元のステレオ画像における重心の座標をも用いて、マーカ32の3次元空間における実際の位置を算出する(ステップS6)。
詳細には、マーカ位置算出部16は、三角測量の原理によって、3次元空間におけるすべてのマーカ32の座標を算出する。すなわち、マーカ位置算出部16は、予め記憶部19に記憶されている第1のカメラ34aと第2のカメラ34bとの距離と、歪みを除去され、対応付けられたステレオ画像におけるマーカ32の重心の座標と、を用いて、マーカ32の3次元空間における座標を算出する。
例えば、3次元空間における、マーカ32をP(Xr、Yr、Zr)とし、第1のカメラ34a、第1のカメラ34aによって取得される画像のなす仮想平面S1、第2のカメラ34b、第2のカメラ34bによって取得される画像のなす仮想平面S2の位置関係を図5(C)に示す。図(C)に示すように、第1のカメラ34a、第2のカメラ34bと、点Pは、一辺をZ軸とする三角形Tを形成する。三角形Tを取り出して紙面に投影した説明図を図5(D)に示す。図5(D)に示すように、三角形Tには、2つの直角三角形が含まれており、dの値が以下のように計算される。
Z軸とPとの距離dは、L1=d/tanθ1であり、L2=d/tanθ2であり、L=L1+L2であることから、d=L・tanθ1・tanθ2/(tanθ1+tanθ2)で求められる。
なお、θ1は、第1のカメラ34aによって取得された画像におけるマーカ32のS1平面上の2次元座標と、焦点距離から求められる第1のカメラ34aとS1との距離と、から計算可能である。同様に、θ2は、第2のカメラ34bによって取得された画像におけるマーカ32のS2平面上の2次元座標と、焦点距離から求められる第2のカメラ34bとS2との距離と、から計算可能である。
そして、Pの3次元空間における座標(Xr、Yr、Zr)のうち、XrとYrは、上記のように求められたdの値と、図(C)の平面S1上の角度φと、から求められる。
さらに、Zrは、dの値がすでに求められていることから、例えば、L1=d/tanθ1の式を用いて求められる。
このようにして、3次元空間におけるマーカ32の座標(Xr、Yr、Zr)が算出される。
ステップS6で求められたマーカ32の3次元空間における位置に基づいて、物体の接触を判別する(ステップS7)。
より詳細には、まず、接触判別部17は、すべてのマーカ32が内膜31上にあることを利用し、マーカ32の変位がそのマーカ32位置における内膜31の変位に相当するとして、内膜31のすべての位置における変位を算出する。すなわち、マーカ32のそれぞれの位置は、図6(A)に示すように、3次元空間に分布している。なお、これらのマーカ32の位置に関する情報に、触覚検知範囲としての内膜31を被せて面の3次元的な変位を示したものを図6(B)に示す。
次に、接触判別部17は、内膜31の3次元的な変位が閾値を超えた場合に物体の接触があるものと判別する。なお、閾値を0としてもよく、この場合には、接触判別部17は、変位があっただけで、物体の接触があるものと判別する。また、触覚検知装置1は、複数のマーカ32の変位を同時に算出しているから、内膜31の複数の箇所に同時に接触がある場合においても、それぞれの接触の位置を判別することができる。さらに、予め検知部30内の圧縮空気の圧力と、内膜31の変位と、接触の圧力との対応関係を求めて記憶部19に記憶しておき、ステップS7でこの圧縮空気の圧力と接触の圧力との対応関係を用いることで、接触判別部17は、接触の圧力を判別することもできる。
最後に、触覚検知処理を終了するか判断する(ステップS8)。具体的には、検知処理を終了しない場合には、ステップS1に戻って上記の処理を繰り返し、検知処理を終了する場合には、終了する。
以上述べたように、触覚検知装置1は、対向して配置された2つのカメラ、第1のカメラ34a及び第2のカメラ34bによって取得された画像をもとに内膜31の変位を算出する。2つのカメラ、第1のカメラ34a及び第2のカメラ34bの両方の情報を用いてマーカ32の変位を算出するため、1つのカメラしか用いない場合に比べて、触覚検知の精度を高くすることができる。
以下、触覚検知装置1の特性を調べた実験について説明する。
(第1の実験)
圧縮空気孔41から充填する空気の量を制御し、内膜31内の空気圧を1kPa、2kPa、3kPa、4kPaと変化させた場合のマーカ32の変位を計測する実験を行った。なお、複数のマーカ32のうち、図7(A)に示す代表的な4点(Z軸方向の順に、point2、point4、point6、point8)を選び、これらの点の変位を測定した。
図7(B)に示すように、内膜31内の空気圧が上昇するにつれて、半径方向の変位Rが大きくなるという結果が得られた。しかし、図7(C)に示すように、Z軸方向の変位は生じないという結果が得られた。
第1の実験の結果から、内膜31内の空気圧を上昇させてもZ軸方向の変位に影響しないため、同じ内膜31を用いる場合でも、接触時に感じられる硬さを変更することができることが理解される。
(第2の実験)
次に、検知部30を指で触れて接触時の応答性を確認する実験を行った。マーカ32には、図8(A)に示すように番号を割り振った。
図8(B)~(D)に示すように、検知部30に指で触れると、その付近のマーカ32に対応する内膜31のX軸方向、Y軸方向、Z軸方向の変位が大きく変化した。その範囲は、X軸方向で-3mmから+2mm、Y軸方向で-7mmから+4mm、Z軸方向で-2mmから+2mmの範囲であった。また、図8(E)に示すように、3次元の変位は、0mmから+7mmの範囲であり、非接触時の変位は0.2mm以下であった。
第2の実験の結果から、触覚検知装置1の検知部30に対する接触は、3次元的にリアルタイムに正確に検知されることが理解される。
(第2の実施の形態)
触覚検知装置1では、第1のカメラ34aと第2のカメラ34bとを対にしたが、本発明の実施の形態は、これに限られない。第2の実施の形態に係る触覚検知装置100は、2つの触覚検知装置1を組み合わせ、第1のカメラ134a、第2のカメラ134b、第3のカメラ134cを用いる。
図9に概略を示したように、Z軸方向の一端には、共通の第1のジョイント部121と、第1の連結軸122と、第1の基部123と、を備え、破線で示したように、第1の基部123上に、第1のカメラ134aと複数のLEDを備える。第1のカメラ134aと第1の連結軸122の長手方向はZ軸と平行である。
触覚検知装置100は、第2のジョイント部124と、第2の連結軸125と、第2の基部126と、を備え、第2の基部126上に、第2のカメラ134bが配置されている。また、触覚検知装置100は、第3のジョイント部127と、第3の連結軸128と、第3の基部129と、を備え、第2のジョイント部124等と第3のジョイント部127等は、第1のジョイント部121とZ方向の反対側にあり、かつ、第2の連結軸125と第3の連結軸128の長手方向は、いずれもZ軸方向に対して傾斜している。
なお、図示しないマーカ32、透明筒33、内膜31、圧縮空気孔41、圧縮空気チューブ42等の構造は、触覚検知装置1と同様である。
マーカ32の抽出等の検知処理は、触覚検知装置1におけるものと同様である。具体的には、第1のカメラ134aによって取得された画像と第2のカメラ134bによって取得された画像、第1のカメラ134aによって取得された画像と第3のカメラ134cによって取得された画像、に基づいて検知処理を行うことになる。
このようにすることで、検知部130の実効的な面積を2倍にしつつ、カメラ等の部品数の増加を抑制することができる。
(第3の実施の形態)
触覚検知装置1においては、検知部30をZ軸方向に貫く棒状(円筒形状)部材として、透明筒33を用いたが、本発明の実施の形態はこれに限られない。
触覚検知装置200においては、検知部230をZ軸方向に貫く棒状(円筒形状)部材として、透明ではない円筒233を用いる。
触覚検知装置200を円筒233の中心軸を含む平面で切断した場合の概略断面図を図10(A)に、内側から第1の基部223に向けて見た場合のカメラの配置図を図10(B)に、内側から第2の基部226に向けて見た場合のカメラの配置図を図10(C)に示す。図10(A)、(B)、(C)では、理解を促進するため、触覚検知装置1におけるジョイント部21、24、密閉フィルタ35a、35b、LED36、圧縮空気孔41、圧縮空気チューブ42等を省略した。
図10(A)、(B)に示すように、触覚検知装置200は、第1の基部223に、4つのカメラ234a、234b、234c及び234dを周方向に等間隔に備える。また、図10(A)、(C)に示すように、触覚検知装置200は、第2の基部226に、別の4つのカメラ234e、234f、234g及び234hを周方向に等間隔に備える。これらのカメラ234a~234hは、マーカ32を撮影しやすいように、円筒233に対して傾斜して離れる光軸を有する向きに固定されている。また、Z軸方向について同じ位置に配置されているカメラ、すなわち、234aと234e、234bと234f、234cと234g、234dと234hがそれぞれ一組となっており、この組ごとに、触覚検知装置1と同様の方法で、マーカ32の位置が算出され、内膜231の形状が算出される。最後に、組ごとに算出された内膜231の形状が併合され、内膜231の全体の形状が求められる。
このように、触覚検知装置200によれば、透明でない円筒233を用いる場合であっても、複数のカメラの組が補完し合い、マーカ32の位置の算出及び内膜231の形状の算出をすることが可能である。
(変形例1)
触覚検知装置1においては、検知部30の両端に第1のカメラ34aと第2のカメラ34bを配置したが、両端からのステレオ画像を取得することができれば、そのような構成に限定されない。
変形例1に係る触覚検知装置300は、検知部330の一端に、反射鏡338を備える。
具体的には、図11(A)、(B)に示すように、触覚検知装置300は、触覚検知装置200と同様に、内膜331と、透明でない円筒333と、第1の基部323と、第2の基部326と、を備える。第1の基部323には、4つのカメラ334a、334b、334c、334dが配置されている。一方、第2の基部326には、触覚検知装置200と異なり、平面の円盤状の反射鏡338がZ軸に対して垂直に配置されている。
なお、図11(A)、(B)では、理解を促進するため、触覚検知装置1におけるジョイント部21、24、密閉フィルタ35a、35b、LED36、圧縮空気孔41、圧縮空気チューブ42等を省略した。
触覚検知装置300においては、各カメラ334a~334dは、マーカ32の画像を直接取得するだけでなく、平面鏡に映ったマーカ32の画像をも同時に取得する。
従って、触覚検知装置300は、第2の基部326の側にもカメラを備えているかのように、マーカの画像を取得する。このため、触覚検知装置300は、マーカ32の位置を算出し、内膜331の変位を算出することができる。
このように、触覚検知装置300によれば、透明でない円筒333を用いる場合であっても、触覚検知装置200に比べて少数のカメラを用いて、マーカ32の位置の算出及び内膜331の形状の算出をすることが可能である。
(変形例2)
触覚検知装置1は、主としてロボットのアームの腕の一部を構成することを想定し、骨に相当する棒状(円筒形状)の透明筒33を検知部30の内部に備えていたが、検知部30を支持することができる構成であれば、触覚検知装置1の構成に限られない。
変形例2に係る触覚検知装置400は、触覚検知装置1と異なり、検知部30を貫く透明筒33を備えない。
触覚検知装置400は、装置全体としての形状を維持するのに十分な強度を有する内膜431を備える。
このため、触覚検知装置400においては、マーカ32以外の部分による光の反射が生じず、透明筒33等を用いる場合に比べ、高い精度で触覚を検知することができる。
また、棒状の部材が不要となるため、装置全体を軽量化することができる。
なお、以上の説明においては、カメラ34a等の個数は、2個、3個、8個であったが、これらに限られるものではない。内膜31の形状を算出することができる限り、カメラ34a等の個数は適宜変更されてもよい。透明筒33、円筒233の形状についても、適宜変更されてよい。
また、マーカ32の配置される位置は、内膜31の一部分であってもよい。
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
1 触覚検知装置
10 情報演算装置
11 演算部
12 画像の歪み除去部
13 マーカ抽出部
14 マーカ重心計算部
15 マーカマッチング部
16 マーカ位置算出部
17 接触判別部
18 通信部
19 記憶部
21 第1のジョイント部
22 第1の連結軸
23 第1の基部
24 第2のジョイント部
25 第2の連結軸
26 第2の基部
30 検知部
31 内膜
32 マーカ
33 透明筒
34a 第1のカメラ
34b 第2のカメラ
35a 第1の密閉フィルタ
35b 第2の密閉フィルタ
36 発光ダイオード(LED)
37 遮光テープ
38 反射防止フィルタ
41 圧縮空気孔
42 圧縮空気チューブ
100 触覚検知装置
121 第1のジョイント部
122 第1の連結軸
123 第1の基部
124 第2のジョイント部
125 第2の連結軸
126 第2の基部
127 第3のジョイント部
128 第3の連結軸
129 第3の基部
134a 第1のカメラ
134b 第2のカメラ
134c 第3のカメラ
200 触覚検知装置
223 第1の基部
226 第2の基部
230 検知部
231 内膜
233 円筒
234a、234b、234c、234d、234e、234f、234g、234h カメラ
300 触覚検知装置
323 第1の基部
326 第2の基部
330 検知部
331 内膜
333 円筒
334a、334b、334c、334d カメラ
338 反射鏡
400 触覚検知装置
431 内膜

Claims (5)

  1. 複数のマーカを有する壁面を含む膜と、
    前記複数のマーカの第1の画像を取得する第1のマーカ画像取得部と、
    前記第1のマーカ画像取得部と対向して配置され、前記第1のマーカ画像取得部とは異なる視点から前記複数のマーカの第2の画像を取得する第2のマーカ画像取得部と、
    前記第1の画像に含まれる前記複数のマーカと前記第2の画像に含まれる前記複数のマーカとを対応付けるマーカマッチング部と、
    前記マーカマッチング部によって対応付けられた前記マーカの対応関係と、前記第1の画像と、前記第2の画像と、に基づいて前記複数のマーカの3次元空間における位置を算出するマーカ位置算出部と、
    前記複数のマーカの3次元空間における前記位置に基づいて前記膜の変位を算出し、当該膜の変位が閾値を超えた場合に物体の接触があると判別する接触判別部と、を備える、
    触覚検知装置。
  2. 前記壁面は、柔軟性を有する円筒状の膜の内面である、
    請求項1に記載の触覚検知装置。
  3. 第1の視点と、当該第1の視点からの視線上に第2の視点を配置し、当該第2の視点の視線の方向を前記第1の視点からの視線と反対方向に位置付けるステップと、
    同時に前記第1の視点及び前記第2の視点から壁面に設けられた複数のマーカの画像を第1の画像及び第2の画像として取得するステップと、
    前記第1の画像と前記第2の画像の両方に基づいて、前記複数のマーカの位置を算出するステップと、
    前記複数のマーカの算出された位置から前記壁面の形状を算出し、算出された前記壁面の形状の変位が閾値を超えた場合に物体の接触があると判別するステップと、を含む、
    触覚検知方法。
  4. 前記複数のマーカの算出された位置から前記壁面の形状を算出し、算出された前記壁面の形状の変位が閾値を超えた場合に物体の接触があると判別するステップは、
    前記壁面の内側の気体の圧力と、前記壁面の形状の変位と、前記壁面に外側から加えられた圧力との対応関係に基づいて、前記算出された前記壁面の形状の変位に応じて前記壁面に外側から加えられた圧力を算出するステップを含む、
    請求項に記載の触覚検知方法。
  5. 同時に異なる視点から壁面に設けられた複数のマーカの画像を第1の画像及び第2の画像として取得するステップと、
    前記第1の画像と前記第2の画像の両方に基づいて、前記複数のマーカの位置を算出するステップと、
    前記複数のマーカの算出された位置から前記壁面の形状を算出し、算出された前記壁面の形状の変位が閾値を超えた場合に物体の接触があると判別するステップと、を含み、
    前記複数のマーカの算出された位置から前記壁面の形状を算出し、算出された前記壁面の形状の変位が閾値を超えた場合に物体の接触があると判別するステップは、
    前記壁面の内側の気体の圧力と、前記壁面の形状の変位と、前記壁面に外側から加えられた圧力との対応関係に基づいて、前記算出された前記壁面の形状の変位に応じて前記壁面に外側から加えられた圧力を算出するステップを含む、
    触覚検知方法。
JP2019018391A 2019-02-05 2019-02-05 触覚検知装置及び触覚検知方法 Active JP7242036B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019018391A JP7242036B2 (ja) 2019-02-05 2019-02-05 触覚検知装置及び触覚検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019018391A JP7242036B2 (ja) 2019-02-05 2019-02-05 触覚検知装置及び触覚検知方法

Publications (2)

Publication Number Publication Date
JP2020125973A JP2020125973A (ja) 2020-08-20
JP7242036B2 true JP7242036B2 (ja) 2023-03-20

Family

ID=72083818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019018391A Active JP7242036B2 (ja) 2019-02-05 2019-02-05 触覚検知装置及び触覚検知方法

Country Status (1)

Country Link
JP (1) JP7242036B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230251149A1 (en) * 2022-02-04 2023-08-10 Massachusetts Institute Of Technology Flexible optical tactile sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104395A1 (en) 2012-10-17 2014-04-17 Gelsight, Inc. Methods of and Systems for Three-Dimensional Digital Impression and Visualization of Objects Through an Elastomer
JP2018088254A (ja) 2016-03-29 2018-06-07 株式会社齋藤創造研究所 入力装置および画像表示システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104395A1 (en) 2012-10-17 2014-04-17 Gelsight, Inc. Methods of and Systems for Three-Dimensional Digital Impression and Visualization of Objects Through an Elastomer
JP2018088254A (ja) 2016-03-29 2018-06-07 株式会社齋藤創造研究所 入力装置および画像表示システム

Also Published As

Publication number Publication date
JP2020125973A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
US10088296B2 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
US9915521B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US8107721B2 (en) Method and system for determining poses of semi-specular objects
McNeill et al. Measurement of surface profile using digital image correlation
JP6615165B2 (ja) 物体の空間構造を求める方法及びシステム
US20170188015A1 (en) Calibration plate and method for calibrating a 3d measurement device
JP6475311B1 (ja) オプティカルトラッキングシステム及びオプティカルトラッキング方法
US10068348B2 (en) Method and apparatus for indentifying structural elements of a projected structural pattern in camera images
JP2011516849A (ja) 3d撮像システム
CN102713671A (zh) 点群数据处理装置、点群数据处理方法和点群数据处理程序
JP6453908B2 (ja) 4カメラ組の平面アレイの特徴点のマッチング方法、及びそれに基づく測定方法
JP2021193400A (ja) アーチファクトを測定するための方法
JP7242036B2 (ja) 触覚検知装置及び触覚検知方法
WO2016040229A1 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
WO2016040271A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
Karami et al. Exploiting light directionality for image‐based 3d reconstruction of non‐collaborative surfaces
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20220357153A1 (en) Calibration method for computer vision system and three-dimensional reference object for use in same
US20180238677A1 (en) Method, kit and target for multimode 3d imaging systems
JP2006308452A (ja) 3次元形状計測方法および装置
JP2006329817A (ja) 3次元計測におけるターゲット座標の取得方法およびそれに用いられるターゲット
BR112020024006A2 (pt) codificador de movimento
JP2020197495A (ja) 情報処理装置、計測装置、情報処理方法、プログラム、システム及び物品の製造方法
KR102253350B1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
US11644303B2 (en) Three-dimensional coordinate measuring instrument coupled to a camera having a diffractive optical element

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230301

R150 Certificate of patent or registration of utility model

Ref document number: 7242036

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150