JP5449336B2 - 弾性撮像を使用する接触センサ - Google Patents

弾性撮像を使用する接触センサ Download PDF

Info

Publication number
JP5449336B2
JP5449336B2 JP2011514834A JP2011514834A JP5449336B2 JP 5449336 B2 JP5449336 B2 JP 5449336B2 JP 2011514834 A JP2011514834 A JP 2011514834A JP 2011514834 A JP2011514834 A JP 2011514834A JP 5449336 B2 JP5449336 B2 JP 5449336B2
Authority
JP
Japan
Prior art keywords
elastomer
light
contact sensor
reflective coating
reflective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011514834A
Other languages
English (en)
Other versions
JP2011525284A (ja
Inventor
エドワード エイチ アデルソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Massachusetts Institute of Technology
Original Assignee
Massachusetts Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Massachusetts Institute of Technology filed Critical Massachusetts Institute of Technology
Publication of JP2011525284A publication Critical patent/JP2011525284A/ja
Application granted granted Critical
Publication of JP5449336B2 publication Critical patent/JP5449336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172—Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/02—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring forces exerted by the fluid on solid bodies, e.g. anemometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/14—Coupling media or elements to improve sensor contact with skin or tissue
    • A61B2562/146—Coupling media or elements to improve sensor contact with skin or tissue for optical coupling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Position Input By Displaying (AREA)
  • Push-Button Switches (AREA)

Description

本願は、２００８年６月１９日付米国暫定特許出願第６１／０７３９０４号に基づく優先権主張を伴う出願である。当該暫定特許出願の内容をこの参照を以て本願に繰り入れることとする。
本発明はセンサ、特に接触センサに関する。
本件技術分野では様々な二次元接触センサが既に公表されている。その多くは、加圧に応じ個々の素子の電気特性、例えば抵抗や静電容量が変化する素子アレイを使用するものであり、電気特性の変化を検知し配線等の電気的手段でコントローラやユーザに届ける仕組みを採っている。その他の接触センサとしては光学式のものがある。これは、加圧に応じた光学特性、例えば輝度や反射率の変化を光検知システムで検知し、その結果を示す信号をコントローラやユーザに届ける仕組みを採っている。
米国特許第５６１６８３９号明細書 米国特許第５３５７７９９号明細書 米国特許第５９６７９４０号明細書 米国特許第５９６７９９０号明細書 米国特許第４５４９０９３号明細書 米国特許第４７７５９６１号明細書 米国特許第４４８１８１５号明細書 米国特許第４５８４６２５号明細書 米国特許第４１２０５８５号明細書 米国特許第４３４０３００号明細書 米国特許第４５８８３４８号明細書 米国特許第５４４８６４９号明細書 米国特許出願公開第２００８／０１０６２５８号明細書 米国特許出願公開第２００７／０２８８１８６号明細書 米国特許出願公開第２００３／０１７８５５６号明細書
MAEKAWA et al., "Development of a Finger-Shaped Tactile Sensor and its Evaluation by Active Touch", Proceedings of the 1992 IEEE International Conference on Robotics and Automation, Nice, France, May 1992, pages 1327-1334. LEE et al., "A Modular Expandable Tactile Sensor Using Flexible Polymer", 18th IEEE International Conference 2005, pages 642-645. BEGEJ, "Planar and Finger-Shaped Optical Tactile Sensors for Robotic Applications", IEEE Journal of Robotics and Automation, Vol.4, No.5, October 1988, pages 472-484. HRITSU et al., "The performance of a deformable-membrane tactile sensor : basic results on geometrically-defined tasks", IEEE International Conference on Robotics and Automation 2000, pages 508-513. HEO et al., "Tactile Sensor arrays using fiber Bragg grating sensors", Sensors and Actuators A 126, 2006, pages 312-327. MAHESHWARI et al., "Tactile Sensors to Sense Touch on a Par with a Human Finger", Angewandte Chem. Int. Ed. 2008, 47, pages 7808-7826. MAHESHWARI et al., "High-Resolution Thin Film Device to Sense Texture by Touch", Science, Vol.312, June 9, 2006, pages 1501-1504. FULL et al., "Maximun single leg force production : Cockroaches Righting on Photoelastic Gelatin", The Journal of Experimental Biology 198, 1995, pages 2441-2452. O'GORMAN et al., "Fingerprint Verification", Chapter 2, Biometrics : Personal Identification in Networked Society 1999, pages 1-22. GRAZ et al., "Flexible ferroelectret field-effect transistor for large-area sensor skins and microphones", Applied Physics Letters, 89, 2006, pages 073501-1-073501-3. NODA, "300nm-Thick Cantilever in PDMS for Tactile Sensing", 2005 IEEE, pages 283-286.
ロボット用フィンガーパッド等の用途では接触センサに対し様々な特性が求められる。まず、精細な空間認識を可能にする高い分解能、小幅な圧力偏差を検知可能にする高い感度、並びに加圧に応じ弾性変形する柔軟性を備えていることが求められる。十分に大面積なものを製造できることも求められる。安価な素材を用い容易に製造できることも求められる。従来は、こうした要請に対しそれ１個で応えうるセンサが存在していなかった。
ここに、本発明の一実施形態に係る接触センサは、１個又は複数個の光源によって照明されており透光性を備えている塊状のエラストマと、そのエラストマを覆っており含有する反射粒子でエラストマの内部からの入射光を反射させる反射皮膜と、その反射光の一部を受光しうるよう配置された光検知機構と、を備える。本実施形態では、その反射皮膜に物体が接触し圧力が加わったときに、反射皮膜が幾何学的に変形してその面法線が局所的に変化し、その変化に伴い反射皮膜から光検知機構に向かう反射光の量が局所的に変化し、圧力を及ぼしている物体に備わる１個又は複数個の特徴を示す画像状の反射光が光検知機構に入射する。
また、本発明の他の実施形態に係る方法は、接触検知を実行する方法であって、１個又は複数個の光源によって照明されるよう透光性のある塊状のエラストマを設けるステップと、エラストマの内部からの入射光を反射する反射粒子入りの反射皮膜でエラストマを覆うステップと、その反射皮膜に物体を接触させて圧力により幾何学的に変形させることで、その反射皮膜の面法線、ひいてはその反射皮膜から光検知機構に向かう反射光の量を局所的に変化させるステップと、その反射光の一部を受光しうるよう且つその反射光が圧力を及ぼしている物体に備わる１個又は複数個の特徴を示す画像状の反射光となるよう光検知機構を配置するステップと、を有する。
本発明の一実施形態に係り透明エラストマ、反射皮膜、光源及びカメラを備えるセンサの構成を示す模式図である。 微細金色片含有皮膜で覆われたスラブ状の透明エラストマを２０ドル紙幣で押圧している状態を捉えた写真である。 微細金色片含有皮膜で覆われたスラブ状の透明エラストマをウニの殻で押圧している状態を捉えた写真である。 小型構造物用撮像系の構成を示す模式図である。 小型構造物用撮像系の構成を示す模式図である。 小型構造物用撮像系の構成を示す模式図である。 小型構造物用撮像系の構成を示す模式図である。 本発明の一実施形態に係り散光性光源を使用する撮像系の構成を示す模式図である。 本発明の一実施形態に係りエッジ照明を使用する撮像系の構成を示す模式図である。 本発明の一実施形態に係る変形計測方法を示す模式図である。 本発明の一実施形態に係る剪断力計測方法を示す模式図である。 本発明の一実施形態に係る接触センサの構成を示す模式図である。 本発明の一実施形態に係る接触センサの構成を示す模式図である。 物体三次元形状再構築機構を示す模式図である。 小型センサをタイル状に配置することで形成された大面積高分解能センサを示す模式図である。 本発明の一実施形態に係りＣＩＳ（接触イメージセンサ）リニアアレイをそのまま使用している接触センサを示す模式図である。 布で覆われた反射皮膜を示す模式図である。 本発明の一実施形態に係りその上に毛又は髭状の部材が設けられている接触センサを示す模式図である。
本発明に係る接触センサ形成手法は、感度向上、空間分解能向上及びコスト低減に資する新規な手法である。しかも、本発明では、柔軟でロボットフィンガーに組み込めるセンサを形成することができ、ひいては深さ方向に弾性変形可能でその輪郭に従い操作対象物体を好適に制御可能なロボットフィンガーを得ることができる。
図１に、本発明の一実施形態として、ガラス等、堅固な透明素材で形成されたシート状の硬質支持材７でスラブ状の透明エラストマ３を支持し、そのエラストマ３の表面を層状の反射皮膜２で覆った構成を示す。皮膜２は例えば弾性素材に金属粉体を入れた弾性塗料で形成されており、エラストマ３に面する面（内面）と外界に面する面（外面）とを有している。照明器５で支持材７及びエラストマ３越しに皮膜２を照らしている状態で、指等の物体１によりその外面を加圧して皮膜２を歪ませると、それによる局所的な圧力変化に応じ皮膜２の面法線、ひいてはカメラ方向に向かう反射光の量に局所的な変化が生じ、皮膜２の内面を向いているカメラ４によってその反射光が捉えられ、パターン状の画像として記録されることとなる。その画像のパターンは加圧に伴い生じたパターンであるので、その画像のパターンから加圧のパターンを知ることができる。なお、その画像の画素値は圧力値そのものではなく、その空間的偏差、ひいては面法線の角度を反映している。
透明エラストマは様々な素材で形成することができる。例えば、シリコーンラバー、ポリウレタン、熱可塑性エラストマ、プラスチゾル、天然ゴム、ポリイソプレン、ポリ塩化ビニル、その混合物等を用い、そのショアＡ硬度が５〜９０となるよう形成するとよい。反射皮膜も弾性を有するもの、例えば透明エラストマの躯体と同じかそれ以上の硬度を有するもので形成するのが望ましい。透明エラストマの素材と反射皮膜の基材を同じにすることも違えることも可能である。
反射皮膜内の反射粒子は指向性反射粒子か否かを問わない。非指向性反射粒子であれば、その入射角によらずどの方向にも均一に光が反射されるので、ランベルト面のように全く指向性のない反射皮膜が得られる。例えば、白色塗料に倣い二酸化チタン粉体を使用すれば、反射はほぼランベルト状の反射となる。また、微細な金属片を反射粒子として使用し互いに幾らかでも整列させれば、指向性反射皮膜、即ち光の入射角によって反射光の分布が変わる反射皮膜が得られる。その金属片が平坦ミラー状で並び方も精密であれば反射光の分布に顕著な指向性が現れるが、金属片が大粒、不規則形状乃至不規則配列であれば弱めの指向性が現れ、サンドブラストを浴びた金属のような画像が生じる。金属以外、例えば雲母等の素材片でも指向性反射を実現することができる。光の波長により指向性が変わる多層干渉被覆で覆われた素材片を含有する顔料もある。
強い指向性反射を呈する反射皮膜を強い指向性を有する光源で照らすことで、小規模な圧力偏差を感知しうる装置を実現することもできる。非加圧時の反射皮膜を捉えた画像を基準画像として記録しておき、反射皮膜を加圧したときに記録される画像からその基準画像を差し引くようにすることで、圧力偏差に対する感度を更に高くすることもできる。柔軟なエラストマを使用すれば低振幅加圧パターンに対する感度が高い装置が得られる。
図２に、指向性を有する微細金色青銅片含有反射皮膜を捉えた画像を示す。この画像は、ガラスシート上に実装されており且つ薄い微細金色片含有反射皮膜で覆われている約１ｃｍ厚のスラブ状透明エラストマを、２０ドル紙幣で押圧したところを、ガラスシート及びエラストマ越しに捉えたものである。２０ドル紙幣は一部のパターンが浮き上がるように印刷されているので、２０ドル紙幣で反射皮膜を加圧するとその表面が紙幣表面の凹凸に従い変形する。その変形に伴いカメラに向かう反射光の量が変化するため、紙幣表面の細部を読み取れる画像が得られることとなる。
図３に別の例を示す。この画像は、青銅片含有反射皮膜で覆われているスラブ状の透明エラストマが、その皮膜を上に向けフラットベッドスキャナのプラテンに載っている状態で、ウニの殻で押圧されているところを捉えたものである。接触域６では三次元的な変形が生じており、平坦なままの非接触域８からは元来の平坦な姿を示す画像が得られている。スキャナの内蔵光源から発せられた光が反射皮膜の面法線に応じ様々に反射されるため、このようにウニの殻の姿が陰影付で浮き上がって見える画像が得られることとなる。
これらの画像の画素値は圧力そのものを表すものではない。反射皮膜に加わる圧力の空間分布が皮膜全体に亘り均一であると、面法線が一定になるので、画像の外観には変化が現れない。これは、画素値が面法線、ひいては圧力の空間微分を反映しているからである。即ち、画像となって現れているのは反射皮膜表面における圧力分布のパターンである。
反射皮膜に圧力を加える物体は堅固か否かを問わない。堅固でない物体例えば指先の場合、物体及び反射皮膜が共に変形するので、反射皮膜がどのような形状になるかは、その反射皮膜に作用する圧力と物体に作用する圧力とのバランスで左右される。液体や気体で加圧すること、例えば反射皮膜に水流を当てて変形させそのパターンを画像として捉えることもできる。反射皮膜及びエラストマを非常に柔軟なゲル状素材で形成すれば、反射皮膜に石鹸泡を接触させ、その泡壁から作用する力を画像化することもできる。
図４Ａ〜図４Ｄに、本発明の他の実施形態として、丸片状のエラストマを堅固な部材上に搭載し、小型構造物例えばロボットフィンガーチップ向けの撮像系に適する構成にした例を示す。
まず、図４Ａでは、一対のＬＥＤ１２及び小型のカメラ１４を、硬質支持材１７上に位置する丸片状のエラストマ１６越しに反射皮膜１８に向け、その皮膜１８の内面をカメラ１４により画像として捉えるようにしている。図４Ｂではそのカメラとしてピンホールカメラ２０を使用している。図４Ｃでは、反射皮膜からの反射光を湾曲ミラー２２で反射させてカメラ２４に届ける光路屈曲型光学系を使用している。図４Ｄでは、反射皮膜を内視鏡２６（ビデオ内視鏡、硬視鏡、ファイバスコープ等の近縁装置でもよい）で撮像しているので、カメラ２８をセンサから離れた場所に配置することができる。
図５Ａに、本発明の他の実施形態として、センサ３０に長尺散光性光源３１を搭載した構成を示す。その光源３１はカメラ３６と共に硬質支持材３２上に配置されており、その支持材３２上には塊状の透明エラストマ３４も配置されている。
図５Ｂに、本発明の他の実施形態として、コンパクトな構成にするため光を支持材の縁から入射するようにした構成を示す。この実施形態では、１個又は複数個の光源３３を用い、ガラス等の透明素材で形成されている硬質支持材３２の縁即ちエッジから、そのセンサ内を照明する。光は支持材３２の背面による内部全反射、並びに反射皮膜３８の表面による通常反射により反射され、その光線の多くがガラス及びエポキシの塊のなかに留まり皮膜３８の表面を照らすので、それらの光線で照らされている面をカメラ３６で捉えることができる。また、通常のガラスシートを用いるよりガラスウェッジを用いた方がよい。ガラスウェッジ、例えばライトウェッジブックライトを用いると、その前面及び背面で光が交互に反射され、反射のたびに大きな角度になるので、光源から遠い部位からの出射光を多めにすることができる。
図６Ａ及び図６Ｂに、本発明の他の実施形態として、変形や剪断力を計測する手法を示す。まず、変形、特に面法線の変化を伴うものを検知するには、図６Ａに示すように、ワークピース４６からの作用で皮膜４４上の諸点に生じる反射強度変化を計測すればよい。次に、図６Ｂに示すように面４８からエラストマ及び皮膜５０に対し剪断力が作用しているときには、面法線は変化しないものの横方向変位が発生する。通常、反射粒子によるランダムなパターンが影響して皮膜５０上には可視的な微細模様が現れているので、剪断力が作用するとその微細模様が変位する。従って、モーション解析法を用いることで剪断力を推定することができる。
図７Ａに、本発明の他の実施形態として、非加圧時の入射角と反射角が平行になるよう光源・カメラ間の光学的距離を無限遠にし、記録される画像全体に亘り空間的に均一な光学特性を呈するようにした装置を示す。この実施形態では、反射皮膜１３４で覆われているスラブ状のエラストマ１３６にレンズ１４６を装着してある。１３８は皮膜１３４を加圧する物体である。レンズ１４６の焦点距離は、光源１４６から発せられた光線が屈折し互いに平行になって皮膜１３４に入射するよう設計されている。カメラ１４４はそのレンズ１４６越しに皮膜１３４を捉えるので、カメラ１４４で捉えられる皮膜１３４の光学特性は画像全体に亘りほぼ均一になる。
図７Ｂに、本発明の他の実施形態として、反射皮膜１５２で覆われているスラブ状のエラストマ１６０に直角プリズム１６２を装着した構成を示す。この実施形態では、光源１５６から発せられレンズ１６４を通ることで平行になった光線が、プリズム１６２を介し皮膜１５２に入射する。物体１５４で皮膜１５２を加圧すると面法線に局所的な変化が生じる。レンズ１６６は、カメラ１５８から見た皮膜１５２の光学的位置が無限遠になるよう配してある。カメラ１５８はそのレンズ１６６越しに皮膜１５２を捉えるので、カメラ１５８で捉えられる皮膜１５２の光学特性は画像全体に亘りほぼ均一になる。
図８に、本発明の他の実施形態として、面の変形を捉えてその三次元形状を再構築することができる構成を示す。この実施形態では、２個の光源８０及び８２を用いスラブ状のエラストマ７９越しに皮膜８４を照明する。一方がエラストマ７９のｘ軸沿いに、他方がｙ軸沿いに、というように、皮膜８４の表面を照明する方位を光源８０と光源８２とで違えるのが望ましい。この実施形態では、光源８０及び８２を１個ずつ点灯させてカメラ７８で撮像することで二種類の画像を取得し、それらの画像を既知の測光立体視法に従い解析することで、諸部位の面法線及び面高を推定することができる。光源８０及び８２を互いに異なる色、例えば赤と青にし、カメラ７８としてカラーカメラを用いることで、別々の色チャネルに係る二種類の画像を同時に記録することができる。測光立体視を好適に行うには画像の種類が多い方がよい。使用するカメラがカラーカメラであれば、三種類の光源を使用し色チャネル毎に分離することで、難なく三種類の画像を得ることができる。無論、１個ずつ点灯させる光源の個数は任意に決めることができる。
複数の光源を使用して複数種類の画像を得ることは、三次元再構築を行わない場合でも有益である。即ち、一種類の光で判るのはある一軸に沿った面法線の変化のみであり、それに直交する軸に沿った面法線の変化は判らない。複数種類の光をうまく用いれば、ある一種類の光で捉えきれなかった凹凸を別の種類の光で捉えることができるので、様々な面法線を様々な方向から識別することができる。特に、使用する複数種類の光を互いに異なる色とすれば、カラーカメラを用い色チャネル別に分離することで、それら複数種類の光についての情報を互いに分離させることができる。
図９に、本発明の他の実施形態として、センサ１個で大きな面積をカバーできるようにした構成を示す。まず、デスクトップ全体をカバーするタッチパッドが必要な場合等には、装置を単純に大きくしたのではカメラをその面から遠く離れた場所におかねばならず、装置構成が不本意に大きくなってしまう。この問題を軽減する策としては、多くの背面投写型テレビジョン受像機に倣い光路屈曲型の光学系を使用する策もあるが、この実施形態ではカメラをタイル状に並べる策を採っている。即ち、堅固で透明な支持材１８４上に実装されている透明エラストマ１８２を反射皮膜１８０で覆う一方、それらエラストマ１８２及び皮膜１８０からあまり離れていない部位に複数個のカメラ１８６をアレイ状に配置してある。その視野が僅かずつ重複するようカメラ１８６を配置すれば、それらで得られる複数種類の画像を一般的な画像継ぎ合わせ手法に従い結合させて１枚の大きな画像を得ることができる。
本発明は、凹凸のない皮膜ではなく模様のある皮膜を使用する形態で実施することも可能である。この実施形態が役立つのは、人肌の一部に加わる圧力の分布を調べたい場合等である。例えば、スキンケア製品を皮膚に塗る過程で皮膚に加わる圧力分布がどのように経時変化するかを推定するには、その模様、弾性等を含め人肌を模した特性を有する皮膜（人工皮膚）を備える接触センサを作成し、例えばスキンケア製品を塗りつけたときに人肌と同様の形態で歪むようにすればよい。そのセンサの機械特性が人肌のそれに似ていれば、圧力分布のパターンを調べるのに使用することができる。そうしたセンサを実現するには、反射皮膜の模様及び弾性を人肌表層のそれに似せ、その皮膜の下にある透明エラストマの機械特性を人肌深層のそれに似せればよい。人肌に備わる複雑な特性を模した透明エラストマを得るには、層毎に機械特性が異なる多層透明エラストマにすればよい。そうして実現される装置にスキンケア製品を塗り、多層透明エラストマ越しにカメラで撮像すれば、それに加わる機械力に応じ反射皮膜に生じる歪を捉えることができる。
本発明は、タイヤ、靴のソール等、特定物体の表面における圧力分布を調べるのに役立つ形態で実施することも可能である。例えば、接触センサの形状をその物体の形状を模した形状にすると共に、硬度その他の物理特性をその物体の物理特性を模した特性にするとよい。
図１０に、本発明の他の実施形態として、撮像用のカメラや像形成用のレンズが必要ない構成を示す。これは、フラットベッドスキャナの多くでスキャン対象物体のすぐそばに配置されるＣＩＳ、即ち複数個のレンズ及び光センサからからなるリニアアレイを使用する実施形態であり、反射皮膜１９２で覆われたストリップ状のエラストマ１９８をＣＩＳ１９４上に実装した構成を有している。物体１９６で皮膜１９２を加圧するとその面法線が変化し、それに面している光検知素子に向かい反射される光の量が変化するので、その結果得られるＩＤ画像から、皮膜１９２のうち圧力変化が生じた部位及びその圧力変化の振幅についての情報を得ることができる。
本発明は、フラットパネル型ＬＥＤディスプレイと併用されるマルチタッチ型タッチスクリーンデバイスの形態で実施することも可能である。例えば、薄いシート状の透明エラストマを半反射性の皮膜で覆い、そのエラストマでＬＥＤディスプレイの前面を覆った構成である。この構成では、ＬＥＤから発せられた光の大部分が皮膜を透過しユーザの目に到達する一方、一部の光がその皮膜によって反射されてＬＥＤに戻り、ＬＥＤに備わる光センサ機能によってその量が計測される。ユーザがスクリーンに触れると、皮膜に加わる圧力ひいては面法線に局所的な変化が生じ、アレイを構成しているＬＥＤに向かい反射される光の量がＬＥＤ毎にばらつくので、ＬＥＤからの光検知応答出力として、皮膜に対する加圧パターンを示す画像を得ることができる。得られる画像は生得的に高解像度な画像であるので、その画像から、ユーザが触れた部位を知ることだけでなく、ユーザの指紋を検知し人別、指別の識別を行うこともできる。
図１１に、本発明の他の実施形態として、伸縮性のある布を反射皮膜の上方に配した接触センサ２０２を示す。こうした布を配するのは、ロボット用マニピュレータ等の用途に適した機械的性質を有する面、例えば優れた摩擦特性や産業用機器で発生する力に耐えうる性質を備えた面を提供するためである。この断面図に示す通り、その布カバー２０４は透明エラストマ２０８上の反射皮膜２０６に装着されており、何かの物体２１４で押されるとそのカバー２０４の模様２１０が皮膜２０６上に映り込む。織布の場合、その模様２１０はカバー２０４のそれに対応する格子状の模様となる。圧力が強ければ強いほど、カメラ２１２に写る布模様２１０のコントラストは強くなる。その布模様２１０の局所的変化、例えば平均値やコントラストから、その部位に加わった圧力を知ることができる。
図１２に、本発明の他の実施形態として、流体の流れを計測できる装置を示す。図示の通り、その反射皮膜２２４には毛又は髭状の部材２２０が装着されている。その装着に使用されている点状取付具２２２は小さなパッドであり、髭２２０はその取付具２２２に対し堅固に固定されている。髭２２０に流体の流れがぶつかるとその髭２２０が撓んで取付具２２２が傾斜し、皮膜２２４の面法線が変化する。その皮膜２２４をカメラで捉えたときに得られる画像は、面法線ばらつきに伴う諸点間の画像輝度ばらつきを示す画像となる。その画像を調べることで、髭２２０に対する流体の流速及び流動方向を知ることができる。
本発明は、高い分解能が不要又は有害な用途向けに実施することもできる。皮膜の上にエラストマ層を追加し、機械的ローパスフィルタとして機能させればよい。例えば、１ｍｍ厚の層を追加することで、得られる分解能を１ｍｍオーダに抑えることができる。
以上、好適な実施形態を幾つか示すことで本発明について説明したが、本発明の技術的範囲を逸脱することなく、その形態及び細部に対し変形、省略及び追加を施すことも可能である。

Claims (28)

  1. １個又は複数個の光源によって照明されており透光性を備えている塊状のエラストマと、そのエラストマを覆っており含有する反射粒子によりエラストマの内部からの入射光を弱めの指向性または無指向性で反射するようにされた反射皮膜と、その反射光の一部を受光しうるよう配置された光検知機構と、を備え、
    その反射皮膜に物体が接触し圧力が加わったときに、反射皮膜が幾何学的に変形してその面法線が局所的に変化し、その変化に伴い反射皮膜から光検知機構に向かう反射光の量が局所的に変化し、圧力を及ぼしている物体に備わる１個又は複数個の特徴を示す画像状の反射光が光検知機構に入射する接触センサ。
  2. 請求項１記載の接触センサであって、上記エラストマがシリコーンラバー、ポリウレタン、プラスチゾル、熱可塑性エラストマ、天然ゴム、ポリイソプレン、ポリ塩化ビニル又はその混合物を含む接触センサ。
  3. 請求項１記載の接触センサであって、上記エラストマのショアＡ硬度が５〜９０である接触センサ。
  4. 請求項１記載の接触センサであって、上記エラストマがスラブ状である接触センサ。
  5. 請求項１記載の接触センサであって、上記光検知機構がカメラを有する接触センサ。
  6. 請求項１記載の接触センサであって、上記光検知機構が検知素子のアレイを有する接触センサ。
  7. 請求項１記載の接触センサであって、上記特徴の一つが上記物体の粗さである接触センサ。
  8. 請求項１記載の接触センサであって、上記特徴の一つが上記圧力の印加部位、振幅又は印加方向である接触センサ。
  9. 請求項１記載の接触センサであって、上記特徴の一つが、上記圧力をもたらした物体の形状、寸法又は輪郭である接触センサ。
  10. 請求項１記載の接触センサであって、上記特徴の一つが、上記反射皮膜に接触している面の動き又は滑りである接触センサ。
  11. 請求項１記載の接触センサであって、人肌を模した弾性を有する接触センサ。
  12. 請求項１記載の接触センサであって、上記反射皮膜が凹凸模様を有する接触センサ。
  13. 請求項１記載の接触センサであって、上記反射皮膜が、その色が異なる複数個の光源で照明される接触センサ。
  14. 請求項１記載の接触センサであって、上記反射皮膜が、上記反射粒子として指向性反射粒子を含有する接触センサ。
  15. 接触検知を実行する方法であって、
    １個又は複数個の光源によって照明されるよう透光性のある塊状のエラストマを設けるステップと、
    エラストマの内部からの入射光を、含有する反射粒子により弱めの指向性または無指向性で反射するようにされた反射皮膜でエラストマを覆うステップと、
    その反射皮膜に物体を接触させて圧力により幾何学的に変形させることで、その反射皮膜の面法線、ひいてはその反射皮膜から光検知機構に向かう反射光の量を局所的に変化させるステップと、
    その反射光の一部を受光しうるよう且つその反射光が圧力を及ぼしている物体に備わる１個又は複数個の特徴を示す画像状の反射光となるよう光検知機構を配置するステップと、
    を有する方法。
  16. 請求項１５記載の方法であって、上記エラストマがシリコーンラバー、ポリウレタン、プラスチゾル、熱可塑性エラストマ、天然ゴム、ポリイソプレン、ポリ塩化ビニル又はその混合物を含む方法。
  17. 請求項１５記載の方法であって、上記エラストマのショアＡ硬度が５〜９０である方法。
  18. 請求項１５記載の方法であって、上記エラストマがスラブ状である方法。
  19. 請求項１５記載の方法であって、上記光検知機構がカメラを有する方法。
  20. 請求項１５記載の方法であって、上記光検知機構が検知素子のアレイを有する方法。
  21. 請求項１５記載の方法であって、上記特徴の一つが上記物体の粗さである方法。
  22. 請求項１５記載の方法であって、上記特徴の一つが上記圧力の印加部位、振幅又は印加方向である方法。
  23. 請求項１５記載の方法であって、上記特徴の一つが、上記圧力をもたらした物体の形状、寸法又は輪郭である方法。
  24. 請求項１５記載の方法であって、上記特徴の一つが、上記反射皮膜に接触している面の動き又は滑りである方法。
  25. 請求項１５記載の方法であって、人肌を模した弾性を有するセンサを使用する方法。
  26. 請求項１５記載の方法であって、上記反射皮膜が凹凸模様を有するセンサを使用する方法。
  27. 請求項１５記載の方法であって、上記反射皮膜が、その色が異なる複数個の光源で照明される方法。
  28. 請求項１５記載の方法であって、上記反射皮膜が、上記反射粒子として指向性反射粒子を含有する方法。
JP2011514834A 2008-06-19 2009-06-19 弾性撮像を使用する接触センサ Active JP5449336B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US7390408P 2008-06-19 2008-06-19
US61/073,904 2008-06-19
PCT/US2009/047930 WO2009155501A2 (en) 2008-06-19 2009-06-19 Tactile sensor using elastomeric imaging

Publications (2)

Publication Number Publication Date
JP2011525284A JP2011525284A (ja) 2011-09-15
JP5449336B2 true JP5449336B2 (ja) 2014-03-19

Family

ID=41430812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011514834A Active JP5449336B2 (ja) 2008-06-19 2009-06-19 弾性撮像を使用する接触センサ

Country Status (4)

Country Link
US (6) US8411140B2 (ja)
EP (2) EP2294375B8 (ja)
JP (1) JP5449336B2 (ja)
WO (1) WO2009155501A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020111141A1 (ja) 2018-11-28 2020-06-04 モメンティブ・パフォーマンス・マテリアルズ・ジャパン合同会社 硬化性ポリオルガノシロキサン組成物、およびポリオルガノシロキサン硬化物

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2944901B1 (fr) * 2009-04-27 2011-05-20 Sagem Securite Dispositif d'identification (100)d'une personne par son empreinte.
US9092737B2 (en) * 2009-07-30 2015-07-28 Northwestern University Systems, methods, and apparatus for 3-D surface mapping, compliance mapping, and spatial registration with an array of cantilevered tactile hair or whisker sensors
JP5930166B2 (ja) * 2009-12-07 2016-06-08 日本電気株式会社 偽指判別装置
WO2011069435A1 (zh) * 2009-12-07 2011-06-16 北京联想软件有限公司 操作对象的操作控制的方法及终端设备
WO2011128266A1 (en) * 2010-04-12 2011-10-20 Imec Optical shear sensor and method of producing such an optical shear sensor
US8890016B2 (en) * 2010-12-21 2014-11-18 Stilotech Inc. Touch pad device
CN103429138B (zh) 2011-02-16 2016-09-07 通用医疗公司 用于内窥镜的光耦合器
WO2012129410A2 (en) * 2011-03-23 2012-09-27 University Of Southern California Elastomeric optical tactile sensor
US9082188B2 (en) * 2011-04-11 2015-07-14 Hid Global Corporation Optical topographic imaging
US8966999B2 (en) * 2011-06-17 2015-03-03 Microsoft Corporation Pressure sensor linearization
US9720525B2 (en) * 2011-06-29 2017-08-01 Wen-Chieh Geoffrey Lee High resolution and high sensitivity optically activated cursor maneuvering device
KR20140041890A (ko) * 2011-07-28 2014-04-04 메사추세츠 인스티튜트 오브 테크놀로지 고해상도 표면 측정 시스템 및 방법
US8971593B2 (en) * 2011-10-12 2015-03-03 Lumidigm, Inc. Methods and systems for performing biometric functions
US10555697B2 (en) 2011-10-17 2020-02-11 Massachusetts Institute Of Technology Digital image correlation for measuring skin strain and deformation
US9149224B1 (en) * 2011-10-17 2015-10-06 Massachusetts Institute Of Technology System and method for measuring skin movement and strain and related techniques
HUP1100633A2 (en) * 2011-11-17 2013-06-28 Pazmany Peter Katolikus Egyetem Device with optical feedback for measuring force and pressure
US8994694B2 (en) 2011-11-30 2015-03-31 Blackberry Limited Optical interference based user input device
EP2600229A1 (en) * 2011-11-30 2013-06-05 Research In Motion Limited Optical interference based user input device
WO2013096499A1 (en) * 2011-12-19 2013-06-27 The Regents Of The University Of California System for and method of quantifying on-body palpitation for improved medical diagnosis
US9480529B2 (en) 2012-06-22 2016-11-01 S & Y Enterprises Llc Aesthetic treatment device and method
US9364684B2 (en) 2012-06-22 2016-06-14 S & Y Enterprises Llc Aesthetic treatment device and method
US20160157724A1 (en) * 2012-07-10 2016-06-09 Delaval Holding Ab Registering of physiological parameters based on image analysis of light reflection
EP2910009A4 (en) * 2012-10-17 2016-07-27 Gelsight Inc THREE DIMENSIONAL DIGITAL PRINTING AND VISUALIZATION OF OBJECTS
CN103892841B (zh) * 2012-12-26 2016-12-28 大连恒锐科技股份有限公司 一种压感光影成像系统及其成像方法
US9323346B2 (en) * 2012-12-31 2016-04-26 Futurewei Technologies, Inc. Accurate 3D finger tracking with a single camera
US10574944B2 (en) * 2013-03-08 2020-02-25 Gelsight, Inc. Continuous contact-based three-dimensional measurement
US10055562B2 (en) * 2013-10-23 2018-08-21 Intel Corporation Techniques for identifying a change in users
US10114510B2 (en) * 2013-12-23 2018-10-30 Samsung Display Co., Ltd. Apparatus and method for detecting surface shear force on a display device
US9977543B2 (en) * 2014-02-27 2018-05-22 Samsung Display Co., Ltd. Apparatus and method for detecting surface shear force on a display device
JP6321474B2 (ja) * 2014-07-04 2018-05-09 京セラ株式会社 センサ、センサ装置および光学式操作装置
JP6528774B2 (ja) * 2014-07-30 2019-06-12 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6149825B2 (ja) * 2014-08-22 2017-06-21 トヨタ自動車株式会社 車両用操作装置
US9459442B2 (en) 2014-09-23 2016-10-04 Scott Miller Optical coupler for optical imaging visualization device
US9757862B2 (en) * 2014-10-16 2017-09-12 Technische Universität München Tactile sensor
JP6561400B2 (ja) * 2015-02-10 2019-08-21 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6534011B2 (ja) 2015-02-10 2019-06-26 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
CN104794466A (zh) * 2015-05-19 2015-07-22 深圳市恒睿智达科技有限公司 活体生物特征信息光学图像采集模组及移动终端
CN104794471A (zh) * 2015-05-19 2015-07-22 深圳市恒睿智达科技有限公司 基于玻璃面板生物特征光学图像采集模组及移动终端
US10548467B2 (en) 2015-06-02 2020-02-04 GI Scientific, LLC Conductive optical element
JP6935100B2 (ja) 2015-07-21 2021-09-15 ジーアイ・サイエンティフィック・リミテッド・ライアビリティ・カンパニーＧｉ Ｓｃｉｅｎｔｉｆｉｃ， Ｌｌｃ 角度調整可能な出口ポータルを有する内視鏡付属物
US9870499B2 (en) 2015-08-12 2018-01-16 Nec Corporation Biometric collection device
US10038854B1 (en) * 2015-08-14 2018-07-31 X Development Llc Imaging-based tactile sensor with multi-lens array
US10893814B2 (en) 2015-10-06 2021-01-19 Koninklijke Philips N.V. System and method for obtaining vital sign related information of a living being
DE102016108966B4 (de) * 2016-05-13 2017-11-30 Technische Universität München Visuell-haptischer Sensor für 6D-Kraft/Drehmoment
WO2017196282A2 (en) * 2016-05-13 2017-11-16 Buyuksahin Utku A practical sensing system
TR201606363A2 (tr) * 2016-05-13 2017-11-21 Sensobright Ind Llc Çok işlevli bir algılama sistemi.
US10663361B2 (en) * 2016-10-13 2020-05-26 The Trustees Of Columbia University In The City Of New York Systems and methods for tactile sensing
CN108534928A (zh) * 2017-03-06 2018-09-14 王永华 压力分布传感器
EP4142284A1 (en) * 2017-03-06 2023-03-01 Gelsight, Inc. Surface topography measurement systems
US10837916B2 (en) 2017-03-09 2020-11-17 Spirit Aerosystems, Inc. Optical measurement device for inspection of discontinuities in aerostructures
EP3643459A4 (en) * 2017-06-21 2020-12-16 Saito Inventive Corp. MANIPULATOR AND ROBOT
US11060214B2 (en) 2017-08-11 2021-07-13 Northwestern University Processing methods and apparatus to manufacture a functional, multi-scale, tapered fiber from polymer filament
CN209460748U (zh) * 2017-08-17 2019-10-01 深圳信炜科技有限公司 显示模组及电子设备
DE102018123546A1 (de) 2017-09-26 2019-03-28 Toyota Research Institute, Inc. Verformbare sensoren und verfahren zur erfassung der pose und kraft an einem objekt
US10668627B2 (en) * 2017-09-26 2020-06-02 Toyota Research Institute, Inc. Deformable sensors and methods for detecting pose and force against an object
CN108072464B (zh) * 2017-11-30 2019-10-29 东南大学 一种仿人手指端滑动触觉传感器
CN108089774B (zh) * 2018-02-09 2021-01-26 京东方科技集团股份有限公司 一种触控设备
EP4434472A2 (en) 2018-04-03 2024-09-25 Trustees of Tufts College Tactile blood pressure imager
JP7005429B2 (ja) * 2018-05-31 2022-02-04 株式会社東海理化電機製作所 表示入力装置
EP3801219A4 (en) * 2018-06-01 2022-07-20 Cardio Ring Technologies, Inc. OPTICAL BLOOD PRESSURE MEASUREMENT DEVICES AND METHODS
CN112203824B (zh) * 2018-06-07 2022-04-19 指纹卡安娜卡敦知识产权有限公司 包括指纹传感器的智能卡以及用于制造智能卡的方法
CN108705537A (zh) * 2018-08-08 2018-10-26 中国科学技术大学 一种光栅式触觉传感器及相关装置
CA3111989A1 (en) * 2018-09-06 2020-03-12 Gelsight, Inc. Retrographic sensors
US11337609B2 (en) * 2019-01-25 2022-05-24 Samsung Electronics Co., Ltd. Texture interface for measuring bio-signal and bio-signal measuring apparatus including the same
NL2022901B1 (en) * 2019-04-09 2020-10-20 Univ Delft Tech Pressure-difference sensitive stack
GB201907744D0 (en) 2019-05-31 2019-07-17 The Shadow Robot Company Ltd Tactile sensor
CN112097675A (zh) 2019-06-17 2020-12-18 香港科技大学 触觉传感器
EP3995268A4 (en) * 2019-07-04 2023-04-12 FingerVision Co., Ltd. TOUCH SENSOR, TOUCH SENSOR SYSTEM AND PROGRAM
WO2021076697A1 (en) * 2019-10-15 2021-04-22 Massachusetts Institute Of Technology Retrographic sensors with compact illumination
WO2021081084A1 (en) * 2019-10-21 2021-04-29 The Regents Of The University Of California Multi-directional high-resolution optical tactile sensors
JP7520867B2 (ja) * 2019-10-30 2024-07-23 ソニーグループ株式会社 光学式センサおよび光学式センサモジュール
US20230294300A1 (en) * 2020-07-30 2023-09-21 Abb Schweiz Ag Diffractive Visual-Tactile Sensing in Robotic Grippers
KR20230104857A (ko) * 2020-08-10 2023-07-11 다이노카디아, 인코포레이티드 동맥 맥박 측정 및 심폐 혈역학 평가를 위한 광기계식 방법
JP6864401B1 (ja) * 2020-08-17 2021-04-28 株式会社ＳｅｎｓＡＩ 触覚センサ
EP3957947B1 (en) * 2020-08-18 2023-10-04 Sony Group Corporation Electronic device and method to reconstruct the shape of a deformable object
KR20220028348A (ko) * 2020-08-28 2022-03-08 삼성전자주식회사 연신 스트레인 센서, 복합 센서, 표시 패널 및 장치
WO2022132300A2 (en) * 2020-12-15 2022-06-23 Massachusetts Institute Of Technology Retrographic sensors with fluorescent illumination
FR3117592B1 (fr) 2020-12-16 2022-12-16 Commissariat Energie Atomique Capteur de force
CN112595264A (zh) * 2020-12-29 2021-04-02 苏州星祥益精密制造有限公司 一种视触觉汽车高反光表面三维形貌测量方法及系统
CN112652060A (zh) * 2021-01-06 2021-04-13 上海交通大学 一种基于粒子图像测速法的多模态视触觉传感系统及方法
US20240060836A1 (en) * 2021-01-08 2024-02-22 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e. V. Sensor arrangement for sensing forces and methods for fabricating a sensor arrangement and parts thereof
US20240153115A1 (en) * 2021-03-08 2024-05-09 Massachusetts Institute Of Technology Enhanced depth estimation using deep learning
GB2605423B (en) * 2021-03-31 2023-09-27 Ocado Innovation Ltd Tactile Sensor
US11472039B1 (en) * 2021-04-23 2022-10-18 Toyota Research Institute, Inc. Deformable sensor with rotatable sensing components for detecting deformation levels
USD989637S1 (en) 2021-06-16 2023-06-20 Gelsight, Inc. Retrographic sensor cartridge
US11686574B2 (en) * 2021-07-20 2023-06-27 Toyota Research Institute, Inc Deformable sensors and methods for modifying run-time membrane stiffness
CN113520617B (zh) * 2021-07-21 2023-10-20 天津大学 一种无源式三维力传感测头及光学式力传感器
WO2023014693A1 (en) 2021-08-02 2023-02-09 Gelsight, Inc. Abrasion-resistant composite
CN113686881A (zh) * 2021-09-23 2021-11-23 云智汇（深圳）高新科技服务有限公司 一种高反光镜面环境的视觉全角度成像装置
EP4399481A1 (en) 2021-10-08 2024-07-17 Gelsight, Inc. Retrographic sensing
CN114113008B (zh) * 2021-10-22 2023-12-22 清华大学深圳国际研究生院 一种基于结构光的人工触觉设备和方法
WO2023081342A1 (en) * 2021-11-05 2023-05-11 Board Of Regents, The University Of Texas System Four-dimensional tactile sensing system, device, and method
JPWO2023100483A1 (ja) * 2021-11-30 2023-06-08
JPWO2023100515A1 (ja) * 2021-12-02 2023-06-08
CN114147750B (zh) * 2021-12-03 2024-04-09 廊坊晶正光电技术有限公司 一种图像化感知压力的机器人触觉感知系统及触觉感知方法
US20230251149A1 (en) * 2022-02-04 2023-08-10 Massachusetts Institute Of Technology Flexible optical tactile sensor
WO2023158840A1 (en) 2022-02-18 2023-08-24 Gelsight, Inc. Fluid tactile sensors
WO2023168463A2 (en) * 2022-03-04 2023-09-07 Gelsight, Inc. Systems and methods for tactile intelligence
CN114659679B (zh) * 2022-04-12 2024-09-03 深圳市松果体机器人科技有限公司 柔性触觉传感器
WO2023210376A1 (ja) * 2022-04-28 2023-11-02 富士フイルム株式会社 圧力センサおよびロボット
WO2023228527A1 (ja) * 2022-05-27 2023-11-30 パナソニックＩｐマネジメント株式会社 光学式触覚センサ及びセンサシステム
CN115144117A (zh) * 2022-06-15 2022-10-04 复旦大学 基于光学的柔性高分辨率多维力触觉传感器及其制备方法
GB2620729B (en) * 2022-06-24 2024-08-07 Stellar Advanced Concepts Ltd Sensor for sensing fluid flow, touch and/or vibration
USD1043990S1 (en) * 2022-08-30 2024-09-24 Gelsight, Inc. Retrographic sensor cartridge

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4120585A (en) * 1976-11-19 1978-10-17 Calspan Corporation Fingerprint identification system using a pliable optical prism
US4340300A (en) * 1980-08-11 1982-07-20 Siemens Corporation Input sensor unit for a fingerprint identification system
EP0107898B1 (en) * 1982-09-29 1987-07-08 EMI Limited A tactile array sensor
US4481815A (en) * 1982-12-23 1984-11-13 Overton Kenneth J Tactile sensor
US4588348A (en) * 1983-05-27 1986-05-13 At&T Bell Laboratories Robotic system utilizing a tactile sensor array
US4584625A (en) * 1984-09-11 1986-04-22 Kellogg Nelson R Capacitive tactile sensor
US4668861A (en) * 1984-12-12 1987-05-26 The Regents Of The University Of California Tactile sensor employing a light conducting element and a resiliently deformable sheet
US4599908A (en) * 1985-03-18 1986-07-15 Sheridan Thomas B Opto-mechanical touch sensor
CS267053B1 (en) * 1985-06-24 1990-02-12 Capek Jan Palpable sensing element for robot
US4814562A (en) * 1987-11-13 1989-03-21 University Of Arkansas Electro-optic force and pressure transducer and sensor
US5357799A (en) * 1992-07-14 1994-10-25 Bridgestone Corporation Method and apparatus for determining abrasion potential of tire treads
US5986746A (en) * 1994-02-18 1999-11-16 Imedge Technology Inc. Topographical object detection system
JPH07260456A (ja) * 1994-03-17 1995-10-13 Nissan Motor Co Ltd 凹凸検出方法および装置
US5448649A (en) * 1994-05-24 1995-09-05 Chen; Wang S. Apparatus for imaging fingerprint or topographic relief pattern on the surface of an object
US5616839A (en) * 1996-01-29 1997-04-01 Ford Motor Company Apparatus and method for measuring contact force distribution of a tire
US5737071A (en) * 1996-08-16 1998-04-07 Identicator Corporation Method and apparatus for enhancing live-scan fingerprint reader images
JP2947210B2 (ja) * 1997-02-28 1999-09-13 日本電気株式会社 生体識別装置
JP3011126B2 (ja) * 1997-03-27 2000-02-21 日本電気株式会社 指紋検知装置
JP3262046B2 (ja) * 1997-09-17 2002-03-04 トヨタ自動車株式会社 ギヤ機構における歯打ち音の低減方法、動力出力装置およびこの動力出力装置を搭載したハイブリッド車輌
JP3102395B2 (ja) * 1997-11-27 2000-10-23 日本電気株式会社 指紋検出装置
US5879454A (en) * 1998-07-15 1999-03-09 Aetex Biometric Corporation Finger-moistening means for fingerprint recognizing apparatus
US5967990A (en) * 1998-08-13 1999-10-19 President And Fellows Of Harvard College Surgical probe comprising visible markings on an elastic membrane
US6368684B1 (en) * 1998-08-28 2002-04-09 Dai Nippon Printing Co., Ltd. Fluorescent latent image transfer film, fluorescent latent image transfer method using the same, and security pattern formed matter
US6154285A (en) * 1998-12-21 2000-11-28 Secugen Corporation Surface treatment for optical image capturing system
JP4164968B2 (ja) * 1999-11-15 2008-10-15 Ｎｏｋ株式会社 接触状態観察方法および接触状態観察装置
US20040252867A1 (en) * 2000-01-05 2004-12-16 Je-Hsiung Lan Biometric sensor
KR100349113B1 (ko) * 2000-01-10 2002-08-17 테스텍 주식회사 지문 인식센서의 제조방법과 지문인식 시스템
KR100846305B1 (ko) * 2000-08-31 2008-07-16 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서
US20030068470A1 (en) * 2001-08-17 2003-04-10 Eastman Kodak Company Combination of imaging member and functional base for new utility
US6965685B1 (en) * 2001-09-04 2005-11-15 Hewlett-Packard Development Company, Lp. Biometric sensor
US7016520B2 (en) * 2002-03-07 2006-03-21 Mark Melvin Butterworth Electronic device with digital camera for general-purpose photography and fingerprint sensing
JP2004342073A (ja) * 2003-04-25 2004-12-02 Nec Corp 指紋認証システム及び指紋認証方法
CA2430317A1 (en) * 2003-05-29 2004-11-29 Vincent Hayward Method and apparatus to record and reproduce tactile sensations
JP4423924B2 (ja) * 2003-10-16 2010-03-03 凸版印刷株式会社 反射シート
FR2861472B1 (fr) * 2003-10-24 2006-01-20 Eastman Kodak Co Appareil de prise de vue avec des moyens de detection de lumiere
US20080232114A1 (en) 2004-01-28 2008-09-25 Koninklijke Philips Electronic, N.V. Luminaire
US7295724B2 (en) 2004-03-01 2007-11-13 University Of Washington Polymer based distributive waveguide sensor for pressure and shear measurement
JP4621827B2 (ja) * 2004-03-09 2011-01-26 財団法人名古屋産業科学研究所 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
US8447077B2 (en) * 2006-09-11 2013-05-21 Validity Sensors, Inc. Method and apparatus for fingerprint motion tracking using an in-line array
US8229184B2 (en) * 2004-04-16 2012-07-24 Validity Sensors, Inc. Method and algorithm for accurate finger motion tracking
JP2006003137A (ja) * 2004-06-16 2006-01-05 Toudai Tlo Ltd 光学式触覚センサ及び該センサにおける情報取得方法
KR100630688B1 (ko) * 2004-07-07 2006-10-02 삼성전자주식회사 지문 정보를 이용한 보안 기능을 가지는 카메라를 구비한휴대폰과 이에 대한 지문 등록 및 인증 제어 방법
US7787110B2 (en) * 2004-10-16 2010-08-31 Aprilis, Inc. Diffractive imaging system and method for the reading and analysis of skin topology
WO2006098719A1 (en) * 2005-03-09 2006-09-21 The Procter & Gamble Company Sensor responsive electric toothbrushes and methods of use
US8417474B2 (en) * 2006-02-10 2013-04-09 The Procter & Gamble Company Methods of use of substrate having properties of keratinous tissue
JP5013507B2 (ja) 2006-06-29 2012-08-29 国立大学法人東北大学 反射像を用いた触覚センサ
WO2008017077A2 (en) * 2006-08-03 2008-02-07 Perceptive Pixel, Inc. Multi-touch sensing display through frustrated total internal reflection
US8144271B2 (en) * 2006-08-03 2012-03-27 Perceptive Pixel Inc. Multi-touch sensing through frustrated total internal reflection
US7701202B2 (en) * 2006-11-02 2010-04-20 Massachusetts Institute Of Technology Compliant tactile sensor that delivers a force vector
JP2008256413A (ja) * 2007-04-02 2008-10-23 Nissan Motor Co Ltd 断面形状測定装置および断面形状測定方法
WO2012006431A2 (en) * 2010-07-09 2012-01-12 Temple University - Of The Commonwealth System Of Higher Education Apparatus and method for surface and subsurface tactile sensation imaging
EP2910009A4 (en) * 2012-10-17 2016-07-27 Gelsight Inc THREE DIMENSIONAL DIGITAL PRINTING AND VISUALIZATION OF OBJECTS

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020111141A1 (ja) 2018-11-28 2020-06-04 モメンティブ・パフォーマンス・マテリアルズ・ジャパン合同会社 硬化性ポリオルガノシロキサン組成物、およびポリオルガノシロキサン硬化物

Also Published As

Publication number Publication date
USRE45541E1 (en) 2015-06-02
EP4321975A3 (en) 2024-06-05
EP2294375A4 (en) 2017-05-03
EP2294375B1 (en) 2023-12-20
USRE45266E1 (en) 2014-12-02
USRE45578E1 (en) 2015-06-23
WO2009155501A3 (en) 2010-03-11
WO2009155501A2 (en) 2009-12-23
US8411140B2 (en) 2013-04-02
JP2011525284A (ja) 2011-09-15
EP2294375B8 (en) 2024-02-14
USRE45176E1 (en) 2014-10-07
EP2294375A2 (en) 2011-03-16
USRE44856E1 (en) 2014-04-22
US20090315989A1 (en) 2009-12-24
EP4321975A2 (en) 2024-02-14

Similar Documents

Publication Publication Date Title
JP5449336B2 (ja) 弾性撮像を使用する接触センサ
Abad et al. Visuotactile sensors with emphasis on gelsight sensor: A review
US9538056B2 (en) High-resolution surface measurement systems and methods
US4668861A (en) Tactile sensor employing a light conducting element and a resiliently deformable sheet
US12025525B2 (en) Tactile sensor
Shimonomura Tactile image sensors employing camera: A review
Lin et al. Sensing the frictional state of a robotic skin via subtractive color mixing
US5233404A (en) Optical scanning and recording apparatus for fingerprints
Winstone et al. TACTIP-tactile fingertip device, texture analysis through optical tracking of skin features
WO2016183537A1 (en) Handheld biometric scanner device
KR20080005972A (ko) 다중분광 생체계측 센서
CN1411553A (zh) 具有全息多重图像显示的传感器
Roberge et al. StereoTac: A novel visuotactile sensor that combines tactile sensing with 3D vision
US7180643B2 (en) Live print scanner with holographic imaging a different magnifications
CN112652060A (zh) 一种基于粒子图像测速法的多模态视触觉传感系统及方法
JPH08154921A (ja) 指紋撮像装置
Fan et al. MagicTac: A Novel High-Resolution 3D Multi-layer Grid-Based Tactile Sensor
KR101586665B1 (ko) 접촉면 계측이 가능한 유체형 촉각센서
JP7176900B2 (ja) 変形撮影装置、変形撮影支援装置および変形撮影方法
CN1920477A (zh) 接触面形变的传感方法和装置
Adelson et al. Visualizing and measuring detailed shape and texture with an elastomeric sensor
Nicholls Tactile sensing for robotics
JP6750039B2 (ja) 実用検知システム
Nomura et al. Estimation and rendering of tactile information based on photometric images
RU2306602C1 (ru) Устройство для регистрации папиллярного узора

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131224

R150 Certificate of patent or registration of utility model

Ref document number: 5449336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250