JP2024501926A - 力の推論の方法、順伝播型ニューラルネットワークの訓練方法、力の推論のモジュール及びセンサの構成 - Google Patents

力の推論の方法、順伝播型ニューラルネットワークの訓練方法、力の推論のモジュール及びセンサの構成 Download PDF

Info

Publication number
JP2024501926A
JP2024501926A JP2023535669A JP2023535669A JP2024501926A JP 2024501926 A JP2024501926 A JP 2024501926A JP 2023535669 A JP2023535669 A JP 2023535669A JP 2023535669 A JP2023535669 A JP 2023535669A JP 2024501926 A JP2024501926 A JP 2024501926A
Authority
JP
Japan
Prior art keywords
force
simulated
neural network
sensor
forward propagation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023535669A
Other languages
English (en)
Inventor
ソン・ファンボ
マルティウス・ゲオルグ
クーヘンベッカー・カテリーネ・ヨット
Original Assignee
マックス-プランク-ゲゼルシヤフト・ツーア・フェルデルング・デア・ヴィッセンシャフテン・アインゲトラーゲナー・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マックス-プランク-ゲゼルシヤフト・ツーア・フェルデルング・デア・ヴィッセンシャフテン・アインゲトラーゲナー・フェライン filed Critical マックス-プランク-ゲゼルシヤフト・ツーア・フェルデルング・デア・ヴィッセンシャフテン・アインゲトラーゲナー・フェライン
Publication of JP2024501926A publication Critical patent/JP2024501926A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/24Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G01L5/226Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
    • G01L5/228Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping using tactile array force sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Abstract

【課題】ロボティクス向けセンサの構成を改良する。【解決手段】本発明は、画像データを使うセンサの構成の力の推論の方法と、対応する順伝播型ニューラルネットワークの訓練方法と、対応する力の推論のモジュールと、対応するセンサの構成に関する。

Description

本発明は、画像データを使うセンサの構成の力の推論の方法と、対応する順伝播型ニューラルネットワークの訓練方法と、対応する力の推論のモジュールと、対応するセンサの構成に関する。
ロボットのような用途を開発するとき、ロボットの手、もしくは脚や操作装置のようなロボットの別の部分に加えられる力の検知は、ロボットが動き回ったり、物体を操作したりする機能を高めるのに重要である。加えられた力に関するフィードバックを得るためにロボット用途で使用できるセンサの構成の既知の実装は、非常に高価であり、十分な分解能を持っていない。
本発明の課題は、よって、既存の方法の代替又は既存の方法と比較して改良された、力の推論の方法の提供である。本発明のさらなる課題は、左記の力の推論の方法に対応する、順伝播型ニューラルネットワークの訓練方法の提供である。本発明のさらなる課題は、左記の力の推論の方法に対応する、力の推論のモジュールの提供と、センサの構成の提供である。
課題は、主な請求項の主題で達成される。好ましい実施形態は、例えば、従属請求項から導出できる。特許請求の範囲の内容は、明示的な参照により記載の内容となる。
本発明は、力を検知するセンサの構成の力の推論の方法に関する。
センサの構成は、例えば、本方法が適用され得るセンサの構成であって、特には、少なくとも以下を備える。
弾性的に変形可能な壁であって、壁は外側の計測表面と内側の反射表面をそなえ、ここでは反射表面は内部空間を部分的に区切っている、前記壁と、
内部空間に向かって光を放つように構成された複数の光源を備える光源の構成と、
内部空間内に取り付けられたイメージセンサ
である。
センサの構成に関しては、本明細書内の他のところの記載が参照される。全ての実施形態及び変形例を適用してよい。
力を推論する方法が、以下のステップを備える。
イメージセンサから画像データを読み出すステップと、
画像データに基づいて計測表面上に力のマップを計算するステップであって、好ましくは順伝播型ニューラルネットワークを使い、力のマップが複数の力のベクトルを備える、力のマップを計算するステップと
である。
そのような方法は、画像検出に基づく非常に正確な力の推論を提供する。順伝播型ニューラルネットワークを使用すると、分析力評価の実装が必要なくなる。ニューラルネットワークは、特に本明細書に開示されるように訓練され得る。訓練は、複数の圧子を検出可能であり、圧子の位置と、力の方向と、圧子の形状との特定も可能であり、非常に正確で細かい力の推論につながることがわかっている。
力のマップは、特に、実際の計測表面上で定義されたマップであってもよく、ここで、力のマップは、複数のマップの点を備えてよい。各マップの点において、いくつかの情報、例えば、以下でさらに説明するように力のベクトルを決定し得る。力のマップは典型的には、計測表面に適用される力に関する情報を提供する。例えば、そのような力は、計測表面を押す1圧子又は複数の圧子が発生源であるか、もしくはセンサの構成によって現在操作されている物体(例えば、センサの構成がロボットの指先である場合)が発生源である。
順伝播型ニューラルネットワークは、特に人工ニューラルネットワークであってよい。画像データを入力として取得し、力のマップを出力として送り出す。原則として、順伝播型ニューラルネットワークは、ノード間の接続がサイクルを形成しない人工ニューラルネットワークである。
以下では、ネットワークの訓練態様について説明する。この記載範囲で言及されている訓練の手順は、特に実際の力計測の力の推論が実行される前に実行されたステップと考えるものとする。よって、力の推論の方法は、力の推論の前に実行される訓練ステップと、訓練されたネットワークを用いた力の推論との組み合わせと考えられる。力の推論の方法は、それに応じて訓練されたネットワークを使用して、力の推論自体と見なせる。さらに以下では、別の訓練方法について説明する。この訓練方法は、任意の力の推論とは独立して実行してよい。典型的には、イメージセンサが読み出されて、力のマップが生成される力の推論は、ある使用(ユースケース、すなわち、センサの構成が計測表面にかかる力の計測又は評価に使用される場合)で実行される行為と見なされる。センサの構成が計測表面にかかる力の計測又は評価に使用される場合とは、例えば、センサの構成が現在物体を操作しているがゆえ、そうでなければ計測表面に圧力をかける物体と接触しているがゆえの場合である。
好ましい1実装によれば、順伝播型ニューラルネットワークは、力の推論の前に実行される以下のステップで訓練された。
- センサの構成に対して複数の力の試験を行うステップであって、各力の試験が、
前記センサの構成の計測表面上の位置に1つの圧子により力を加えることと、前記圧子によって加えられる力を同時に計測することと、
イメージセンサから画像データを同時に読み出すことを備える、複数の力の試験を行うステップと、
- 各力の試験について、センサの構成の1モデルで対応する模擬試験を実行するステップであって、
各模擬試験は、モデルの模擬計測表面に模擬力を適用することを備え、それによって、模擬計測表面上の模擬力のマップを計算し、
模擬力のマップは、複数の模擬力のベクトルを備え、
模擬力は、計測された力に相当し、前記計測表面上の位置に対応する前記模擬計測表面上の位置に加えられる、模擬試験を実行するステップと、
- 画像データと対応する計算された模擬力のマップを使用して順伝播型ニューラルネットワークを訓練するステップと
である。
このような訓練ステップは、順伝播型ニューラルネットワークの適切な訓練を提供できる。順伝播型ニューラルネットワークは、実際の力と対応する力マップを学習でき、前者は計測から、後者は模擬試験から得られる。
力の計測及び画像データの読み出しは、典型的には、力が実際に加えられている間、好ましくは静止状態で行われる。その後、力が模擬試験で使われる。
「模擬」(試験された)と表される全ての用語は、典型的には模擬試験に関連することに留意されたい。例えば、模擬計測表面は、模擬試験でのみ存在する計測表面である。モデルは、適用された模擬力から決定論的な方法で力マップを計算できる。例えば、ヘルツ接触理論を用いた力の点周辺の単純な空間分布が使われ得る。代替例として、有限要素モデルを使用可能である。
模擬力は、計測された力と同じあってよい。これは、模擬力が3次元で同じ成分を持つこと、それが同じ方向と絶対値を持つことの少なくとも一方を意味してよい。しかしながら、模擬力は、事前定義された関係によって計測された力に相当してもよい。
好ましくは、順伝播型ニューラルネットワークを訓練の力の試験は、各圧子がそれぞれの圧子形状を持つ複数の圧子を用いて実行される。特には、圧子の形状が異なり得る。よって、順伝播型ニューラルネットワークは、異なる圧子形状を区別できる、すなわち、異なる圧子が適用されたときに異なる力マップを生成するように、訓練され得る。
例えば、圧子形状は、先端、円形、三角形断面、正方形断面、半球、立方体、及び円柱を少なくとも備える群から選択される。上記の全ての圧子形状は、訓練工程で使用することも、一部セット(サブセット)のみを使ってよい。また、他の圧子形状も使ってよい。
好ましくは、模擬試験は、対応する力の試験で使用される実際の圧子形状に対応するそれぞれの模擬圧子形状を持つ模擬圧子に基づく模擬力で実行される。このような複数の模擬圧子が、対応する力の試験で用いられる実際の圧子形状に対応する模擬圧子形状をそれぞれ持ってもよい。よって、模擬計測表面に加えられる模擬力は、圧子の形状も似ているため、実際の力により近く相当する。これにより、順伝播型ニューラルネットワークの訓練が改善される。
好ましくは、順伝播型ニューラルネットワークは、複数の異なる圧子形状を用いて訓練された。これにより、異なる圧子形状によって生成される力を区別できるように、順伝播型ニューラルネットワークの訓練が可能になる。
1実装では、順伝播型ニューラルネットワークは、複数の異なるサイズの複数の圧子を用いて訓練された。これにより、異なる圧子のサイズによって生成される力を区別できるように、順伝播型ニューラルネットワークの訓練が可能になる。
好ましくは、順伝播型ニューラルネットワークは、順伝播型ニューラルネットワークを訓練する力の試験の少なくとも一部について、各せん断力で適用されている圧子で訓練された。これにより、計測表面に加えられる異なるせん断力を区別可能に順伝播型ニューラルネットワークを訓練できる。例えば、力のマップは、模擬試験されたせん断力も備え得る。特に、せん断力が異なると、力マップも異なってよい。
好ましくは、計測された力は、それぞれ、垂直抗力成分、第1せん断力成分及び第2せん断力成分を備える。これは、座標系における力の強さと方向を定義する。特に、グローバル座標系を用いてもよい。しか、他の力の表現も使ってよい。
好ましくは、計測された力の中で、第1せん断力成分は第1せん断力に対応し、第2せん断力成分は第2せん断力に対応する。特に、第1せん断力は第2せん断力に垂直である。
各計測された力は、基準座標系の3つの成分を備えてよい。基準座標系は、グローバル座標系であってもよい。標準的な数学的変換のみを必要とする異なる表現は、同等と見なされる。
好ましくは、順伝播型ニューラルネットワークは、異なるせん断力成分を持つ複数の力を使って訓練された。これは、異なるせん断力の区別に順伝播型ニューラルネットワークを特異的に訓練し得る。特には、実際に加えられた力のせん断力が異なると、力のマップも異なることになり得る。
好ましくは、順伝播型ニューラルネットワークは、異なる垂直抗力成分を持つ複数の力を使って訓練された。これにより、順伝播型ニューラルネットワークを訓練して、さまざまな垂直抗力を区別できる。垂直抗力成分は、表面に局所的に垂直な力の成分であり得る。
力は、圧子内又は圧子の隣に配置した力のセンサを使って計測してよい。これにより、直接力の計測が可能になる。特に、力のセンサは、力の絶対値だけでなく、対応する向きも計測できる。配向により、せん断力を導き出せる。
好ましくは、各模擬力のベクトルは、垂直抗力成分、第1せん断力成分及び第2せん断力成分を備える。よって、模擬力のベクトルは、順伝播型ニューラルネットワークの訓練に使用可能な模擬力マップ上のせん断力成分に類似し得る。
好ましくは、模擬力のベクトルのうち、第1せん断力成分は第1せん断力に対応し、第2せん断力成分は第2せん断力に対応する。特に、第1せん断力は第2せん断力に垂直である。
好ましくは、各模擬力のベクトルは、基準座標系における3つの成分を備える。基準座標系は、方法内の全ての力の表現に使ってよい。しかしながら、他の表現も使ってよい。
好ましくは、計算された力のマップが基づく画像データは、イメージセンサから読み出された画像データに加えて、いくつかの不変画像、好ましくは3つの不変画像を備える。イメージセンサから読み出された画像データは、可変画像と表記されてもよい。不変画像は、以下のように設定できる。これにより、順伝播型ニューラルネットワークの結果の改善が示されている。不変画像は、全ての訓練のステップと力の推論のステップで変更なしで使ってよい。
好ましくは、不変画像は、グレースケールの勾配の画像と、躯体の画像と、基準光パターンとの中の少なくとも一種類である。このような画像は、典型的な力の推論の用途に適していることが証明されている。
好ましくは、画像データの一部としての可変の画像は、力のマップを計算する直前に撮影された。よって、力のマップは、センサの構成の実際の状態に相当する。
好ましい実装では、力のマップは、mm(1×10-6)当たり少なくとも0.25の力のベクトル、mm当たり少なくとも0.5の力のベクトル、mm当たり少なくとも0.75の力のベクトル、mm当たり少なくとも1の力のベクトル、mm当たり少なくとも1.5の力のベクトル、又はmm当たり少なくとも2の力のベクトルを備える。
好ましい実装では、力のマップは、mm当たり最大0.25の力のベクトル、mm当たり最大0.5の力のベクトル、mm当たり最大0.75の力のベクトル、mm当たり最大1の力のベクトル、mm当たり最大1.5の力のベクトル、又はmm当たり最大2の力のベクトルを備える。適切な間隔をなすべく、比較的低い値はそれぞれ比較的高い値に組み合わせてよい。しかしながら他の値も使用できる。
好ましくは、各力のベクトルは、垂直抗力成分、第1せん断力成分及び第2せん断力成分を備える。よって、力のベクトルは、垂直抗力のみならず、せん断力成分も与え得る。
好ましくは、第1せん断力成分は第1せん断力に対応し、第2せん断力成分は第2せん断力に対応する。第1せん断力は、第2せん断力に対して特には垂直であってもよい。
好ましくは、各の力ベクトルは、基準座標系において3つの成分を備える。これはまた、力の方向を示せるので、よってせん断力を示せる。局所表面に垂直でない力のベクトルは、典型的にはせん断力を備えることに留意されたい。
好ましくは、画像データの一部として外部からの衝撃なしにセンサの構成の反射表面の追加の画像を用いて、順伝播型ニューラルネットワークが訓練されたか、又は力のマップの計算が行われる。これにより、検出精度が向上し得る。
好ましくは、センサの構成の壁の躯体の画像を画像データの一部として使って、順伝播型ニューラルネットワークが訓練されたか、又は力のマップの計算を行う。これにより、検出精度も向上し得る。
好ましくは、位置のコード化のためのグレースケールの勾配の画像を画像データの一部として使って、順伝播型ニューラルネットワークが訓練されたか、又は力のマップの計算を行う。これにより、検出精度も向上し得る。
このような追加の画像、例えば、外部からの衝撃のない反射表面の画像、躯体の画像、及びグレースケールの勾配の画像は、検出精度を高めることと、より良い訓練との少なくとも一方を提供し得る。これらの画像は、不変画像であってもよく、イメージセンサから読み出されてもよい可変画像に加えて、画像データの一部として使用され得る。外部からの衝撃のない反射表面の画像は、特に、計測表面に力をかけなかったときに撮影された反射表面の画像であってもよい。
以下では、順伝播型ニューラルネットワークの訓練用の別の方法について説明する。この方法は、力の推論の方法の一部ではないが、ネットワークの訓練に個別に実行される。それぞれの特徴に関しては、繰り返しを避けるため、ネットワークの訓練及び力の推論の方法に関し既述の記載が参照される。
本発明は、順伝播型ニューラルネットワークを訓練する方法に関し、
前記順伝播型ニューラルネットワークは、好ましくは、イメージセンサの画像データに基づいてセンサの構成の計測表面上の力のマップを計算し、前記力のマップは複数の力のベクトルを備え、
ここで、順伝播型ニューラルネットワークは、次のステップで訓練される。
- 前記センサの構成に対して複数の力の試験を行うステップであって、
各力の試験が、前記センサの構成の計測表面上の位置に1つの圧子により力を加え、圧子によって加えられた力を同時に計測し、同時にイメージセンサから画像データを読み出すことを備える、複数の力の試験を行うステップと、
- 各力の試験について、センサの構成の1モデルで、対応する模擬試験を実行するステップであって、
各模擬試験は、モデルの模擬計測表面に模擬力を適用することを備え、それによって、模擬計測表面上の模擬力のマップを計算し、
模擬力のマップは、複数の模擬力のベクトルを備え、
模擬力は、計測された力に相当し、前記計測表面上の位置に対応する前記模擬計測表面上の位置に加えられる、
模擬試験を実行するステップと、
- 順伝播型ニューラルネットワークを、画像データと対応する模擬力のマップを使用して訓練するステップと
である。
1実装では、順伝播型ニューラルネットワークを訓練する力の試験は、各圧子がそれぞれの圧子形状を持つ複数の圧子を用いて実行される。
1実装では、圧子形状は、先端、円形、三角形断面、正方形断面、半球、立方体、及び円柱を少なくとも備える群から選択される。
1実装では、模擬試験は、対応する力の試験で使用される実際の圧子形状に相当するそれぞれの模擬圧子形状を好ましくは持つ、複数の模擬圧子で加えられるか、模擬圧子に基づく複数の模擬力で実行される。
1実装では、模擬試験は、対応する力の試験で使用される実際の圧子形状に相当するそれぞれの模擬圧子形状を持つ複数の模擬圧子に基づく複数の模擬力で実行される。
1実装では、順伝播型ニューラルネットワークは、異なるサイズを持つ複数の圧子を使用して訓練される。
1実装では、順伝播型ニューラルネットワークは、順伝播型ニューラルネットワークを訓練する力の試験の少なくとも一部について、それぞれのせん断力を持つ複数の圧子で訓練される。
1実装では、各計測された力は、垂直抗力成分、第1せん断力成分及び第2せん断力成分を備える。
1実装では、複数の計測された力の中では、第1せん断力成分が第1せん断力に対応し、第2せん断力成分が第2せん断力に対応し、そして第1せん断力は第2せん断力に垂直であってよい。
1実装では、各計測された力は、基準座標系内の3つの成分を備える。
1実装では、順伝播型ニューラルネットワークは、異なるせん断力成分を持つ複数の力を使って訓練される。
1実装では、順伝播型ニューラルネットワークは、異なる垂直抗力成分を持つ複数の力を使って訓練される。
1実装では、力は、圧子内又は圧子の隣に配置された力のセンサを使用して計測される。
1実装では、模擬力の各ベクトルは、垂直抗力成分、第1せん断力成分及び第2せん断力成分を持つ。
1実装では、模擬力の複数ベクトルの中で、第1せん断力成分が第1せん断力に対応し、第2せん断力成分が第2せん断力に対応し、そして第1せん断力が特には第2せん断力に垂直であってよい。
1実装では、各模擬力のベクトルが、基準座標系内の3つの成分を備える。
1実装によれば、順伝播型ニューラルネットワークは、本明細書に記載される力の推論の方法で使われる。力の推論の方法に関して、全ての実施形態及び変形例を適用してよい。
各実装では、力のマップは、mm当たり少なくとも0.25の力のベクトル、mm当たり少なくとも0.5の力のベクトル、mm当たり少なくとも0.75の力のベクトル、mm当たり少なくとも1の力のベクトル、mm当たり少なくとも1.5の力のベクトル、又はmm当たり少なくとも2の力のベクトルを備えてよい。
各実装では、力のマップは、mm当たり最大0.25の力のベクトル、mm当たり最大0.5の力のベクトル、mm当たり最大0.75の力のベクトル、mm当たり最大1の力のベクトル、mm当たり最大1.5の力のベクトル、又はmm当たり最大2の力のベクトルを備えてよい。
1実装では、各力のベクトルが、垂直抗力成分、第1せん断力成分及び第2せん断力成分を備える。
1実装では、第1せん断力成分が第1せん断力に対応し、第2せん断力成分が第2せん断力に対応してもよい。第1せん断力は、特に第2せん断力に対して垂直であってもよい。
1実装では、各力のベクトルが、基準座標系内の3つの成分を備える。
1実装では、順伝播型ニューラルネットワークが、画像データに加えて、外部からの衝撃なしにセンサの構成の反射表面の追加画像を用いて訓練される。
1実装では、順伝播型ニューラルネットワークが、画像データの一部としてセンサの構成の壁の躯体の画像を用いて訓練される。
1実装では、順伝播型ニューラルネットワークが、画像データの一部としての位置のコード化用のグレースケールの勾配の画像で訓練される。
1実装では、順伝播型ニューラルネットワークが、グレースケールの勾配の画像と、躯体の画像と、基準光パターンとの中、1つ又はそれより多いもので訓練される。
1実装では、センサの構成は、力を検知するセンサの構成である。センサの構成が、以下の1つ又はそれより多くのものを特には備え得る。
弾性的に変形可能な壁であって、壁は外側の計測表面と内側の反射表面を備え、ここでは反射表面は内部空間を部分的に区切っている、前記壁と、
複数の光源を備えかつ内部空間に向かって光を放つように構成された光源の構成と、
内部空間内に取り付けられたイメージセンサ
である。
本明細書の他のところのセンサの構成の説明をさらに参照する。記載された実施形態及び変形例の全てが適用され得る。
1実装では、センサの構成は、力を検知するセンサの構成である。センサの構成は、以下の1つ又はそれより多くを特には備え得る。
- 基部と、
- 弾性的に変形可能な壁を備える頂部であって、頂部は、頂部及び基部が内部空間を画定するように基部に取り付けられていて、壁は外側の計測表面と内側の反射表面を備え、そこでは反射表面は内部空間を部分的に区切っている、頂部と、
- 基部に取り付けられている複数の光源を備えて、内部空間に向かって光を放つように構成されている光源の構成と、
- 内部空間内の基部に取り付けられたイメージセンサと
である。
センサの構成のさらなる可能な観点に関して、本明細書の他のところの記載が参照される。全ての実施形態及び変形例を適用し得る。
センサの構成は、特にロボットの先端と、ロボットの操作要素との少なくとも一方であってもよい。これにより、ロボットに機能を統合できるようになる。しかしながら、他の実装や用途も可能である。
本発明はさらに、力を検知するセンサの構成の力の推論用の力の推論のモジュールに関し、力の推論のモジュールは、本明細書に記載される力の推論の方法を実行するように構成される。この方法に関して、全ての実装と変形例を適用し得る。
力の推論のモジュールは、例えば、マイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、又はコンピュータとして実装され得る。特には、処理手段及び記憶手段を備えてもよい。ここで、記憶手段には、本明細書に開示される方法を実行するように処理手段を作るプログラムコードが記憶される。
本発明はさらに、力を検知するセンサの構成に関し、センサの構成は、以下の1つ又はそれより多くを備える。
- 基部と、
- 弾性的に変形可能な壁を備える頂部であって、頂部は、頂部及び基部が内部空間を画定するように基部に取り付けられていて、壁は外側の計測表面と内側の反射表面を備え、そこでは反射表面は内部空間を部分的に区切っている、頂部と、
- 基部に取り付けられている複数の光源を備えて、内部空間に向かって光を放つように構成されている光源の構成と、
- 内部空間内の基部に取り付けられたイメージセンサと、
- ここに記載される力の推論のモジュールと
である。
力の推論のモジュールに関して、本明細書に記載される全ての実施形態及び変形を適用し得る。
本発明はさらに、本明細書に開示される方法を実行するコンピュータプログラム製品に関する。本発明はさらに、本明細書に開示される方法を実行するプログラムコードに関する。本発明はさらに、プログラムコードが格納される不揮発性コンピュータ可読記憶媒体に関する。ここで、プログラムコードは、プロセッサによって実行されると、プロセッサに本明細書に開示される方法を実行させる。方法に関しては、本明細書に開示される全ての実施形態及び変形を適用し得る。
以下では、さらなる発明の観点について説明する。このような観点は、単独で例えば組み合わせて、本明細書に開示される他の特徴と組み合わせられる。それらはまた、別々の発明的側面と見なせて、請求項の主題になり得る。
本発明は、力を検知するセンサの構成に関する。センサの構成は基部を備える。センサの構成は、弾性的に変形可能な壁を備える頂部を備える。頂部は、頂部及び基部が内部空間を画定するように基部に取り付けられている。壁は外側の計測表面と内側の反射表面を備え、そこでは反射表面は内部空間を部分的に区切っている。
センサの構成は、基部に取り付けられ、反射表面に向かって光を放つように配置された複数の光源を備える光源の構成を備える。センサの構成は、反射表面の少なくとも一部を観察する検出表面を備えるイメージセンサを備える。
このようなセンサの構成を用いると、計測表面に加わる力を光学画像認識により検知できる。反射表面で反射された光は、計測表面に加えられる力に非常に敏感な方法で依存するパターンをイメージセンサに生成する。したがって、このような光のパターンは、非常に敏感な力の推論の実行に使用できる。
特に、光源は、内部空間の内に構造化された光を生成し得る。
基部は、典型的には、センサの構成の基礎を画定する構成要素である。例えば、それは何らかの保持手段、特にロボットの構成要素に固定できる。頂部は典型的には、力が加えられる物体と接触する構成要素、又はセンサの構成に力を適用する構成要素である。
要素が基部に取り付けられている場合、それは基部の別の要素に取り付けられていることと、基部の一部であることとの少なくとも一方を意味する場合もある。これは、例えば、光源の構成、コリメータ、イメージセンサのような要素に当てはまる場合がある。例えば、基部に取り付けられた要素は、支持構造に取り付ける可能で、それは、例えば、安定性を与え、他の要素への接続可能性を提供するだろう。
壁は典型的には、外部物体と接触し、物体が力を加える又は力が物体に加わると変形する構成要素であり、その逆も同様である。壁の可能な実装については、以下でさらに説明する。
内部空間は、典型的には、頂部及び基部によって完全に囲まれていることと、画定されていることとの少なくとも一方である。内部空間は中空内部であり得る。しかしながら、物質を充填してもよい。典型的には、光源の構成から出た光は、反射表面に向かって内部空間を伝搬し、反射表面で反射されて、イメージセンサに伝搬する。
用語「センサの構成」は、特に力の検知に、センサの機能を持つ複数の構成要素の構成(装置)として特に理解されるべきである。
特に、各光源はそれぞれの色を持っていてよい。光源の構成は好ましくは、少なくとも2色又は3色の異なる色を持つ光源を備える。これにより、検出表面に異なる色の光のパターンが得られ、したがって、光が1つ又は少なくとも一部の光源から発生するものとして識別できるため、より良い評価の可能性が得られる。しかしながら、光源にも同じ色を使用してよい。
光源及び検出表面は、光源から出されて、反射表面で反射された光が検出表面に光のパターンを発生するように、好ましくは配置される。この光のパターンは、特にニューラルネットワークを使用して、評価目的に使用できる。光のパターンは、計測表面に加えられる力に非常に敏感であることが証明されている。これは、圧子の力の方向や形状にも関係している。したがって、そのような光のパターンは、加えられた力の強力な指標を構成することが見出された。
特に、検出表面の光のパターンは、計測表面の変形に伴って変化する。このような変化は、力又は力のマップの推測用に評価できる。
特に、反射表面から検出表面で反射した光の色分布は、計測表面の変形に伴って変化する。このような色分布は、光源に異なる色が使用されている場合に特に変化する可能性がある。色分布の変化は、加えられた力に非常に敏感であることが示されている。
1実装では、反射表面は拡散反射である。これは特に、反射表面に当たる光が鏡の場合のように反射されるのではなく、少なくともわずかに粗い表面のように反射されることを意味する場合がある。光は、拡散反射表面での反射でわずかに減衰し得る。代替的な1実装では、鏡状の反射表面も使用され得る。
特に、イメージセンサは、基部と内部空間の少なくとも一方に搭載できる。これは簡単で信頼性の高い実装であり、反射表面までの距離を短くする。しかしながら、イメージセンサは他の場所に搭載してもよい。
1個、いくつか、又は全ての光源は、調整可能な色を持ってよい。これは、セットアップ手順中の色の設定に特に使用できる。しかしながら、固定色も使用できる。
1個、いくつか、又は全ての光源は、調整可能な明るさを持ってよい。これは、セットアップ手順中の明るさの設定に特に使用できる。しかしながら、固定輝度も使用できる。
好ましくは、光源は、イメージセンサの周囲に配置される。これは、内部空間内の光の好ましい分布につながる可能性がある。
好ましくは、光源は、飽和密度を超える強度を生じない検出表面上の反射光の分布をもたらすように光を出すように配置される。これにより、力の推測のときにエラーにつながる可能性のある過飽和を防ぐ。例えば、過飽和を防ぐために調整する変数は、光源の明るさ、コリメータの位置とサイズ、カメラの露光時間、レンズである。しかしながら、その目的のために他の変数も使える。
好ましい実施形態によれば、光源は発光ダイオードである。このような発光ダイオードは信頼性の高い光源である。しかしながら、他の型も使用できる。
好ましくは、センサの構成は、複数のコリメータを備え、各コリメータが1つの光源に割り当てられていて、かつ各照射角度と、放出光の円錐との少なくとも一方を画定している。このようなコリメータを使用すると、反射表面への光線の伝播を非常に正確に制御できる。
1個、いくつか又は全てのコリメータは、割り当てられた光源に対して中心を外して(アセントリック)に配置されてもよい。これにより、多くの用途で適切な配光が得られる。しかしながら、中心を持つ配置を使ってもよい。
コリメータは、特にコリメータ環内の穴として具現化できる。これは、コリメータの容易な実現であることを示す。コリメータ環は、穴を通過する光以外の光を遮断してよい。
光源とコリメータの少なくとも一方は、特に、反射表面、又は意図された計測領域、又は計測表面又は意図された計測表面の内側にある領域の少なくとも80%、少なくとも85%、少なくとも90%、又は100%を光で覆うように配置できる。よって、そのような表面又は面積の大部分を使用できる。意図された計測域は、特に、ある域、すなわち、計測表面の一部分(サブパート)であり得る。計測表面の内側域は、壁面上の計測表面とは反対側の域であってもよい。意図された計測表面は、計測表面の一部分(サブパート)であってもよく、ここで、計測表面は、原理的に力の推論に使用できる表面として定義され得る。
光源とコリメータの少なくとも一方は、反射表面の少なくとも60%、少なくとも70%、少なくとも80%、少なくとも90%、又は100%が、最大4つの光源から出された光と少なくとも2つの光源から出された光との少なくとも一方で直接照らされるように配置できる。これにより、検出表面に光のパターンが生まれ、かなり優れた力の推論に使用できることが証明されている。直接照らされる部品は、特に、光線が反射表面の別の部品から反射されることなく、光源から部品に直接伝播する部品である。
1実装によれば、コリメータは、少なくとも0.8mmのコリメータ穴径を持つ。実装によれば、コリメータは、最大4mmのコリメータ穴径を持つ。このような直径は、典型的な用途に適していることが証明されている。しかしながら、丸穴以外の直径や形状も使用できる。
光源は、基部に円形に配置されていてもよい。したがって、光源は円を形成又は画定し得る。これにより、予測可能な光のパターンが得られ、頂部が円対称である典型的な実装に特に適している。
検出表面は、少なくとも70%、少なくとも80%、少なくとも90%、又は反射表面全体を見るように構成及び配置されてもよい。これは、特に、検出表面が反射表面のそのような部分から反射された光を検出できることを意味し得る。これにより、高い計測精度が得られる。
特には、イメージセンサは、カラーカメラセンサであるか、又はカラーセンシティブであってもよい。これにより、白黒又はグレースケールセンサと比較して計測機能が強化され、イメージセンサを原則的には使える。
特には、イメージセンサは、複数の画素を備えてもよく、各画素は、個別に光を検出するように構成される。したがって、画素が、光検出器の解像度を決め得る。
検出表面は反射表面の方を向いていてもよい。したがって、反射表面で反射された光は、検出表面に直接伝播できて、最終的には本明細書に記載されるような広角レンズのような何らかの光学的手段を介してもよい。しかしながら、他の実装も可能である。
検出表面は、基部の内面と平行であってもよい。これにより、簡単な実装が可能になる。しかしながら、他の向きも可能である。
検出表面は、光のパターンと画像の少なくとも一方を検出するように構成されてもよい。このような光のパターン又は画像は、本明細書に記載されるように、力の推論のために使用され得る。
イメージセンサは、光のパターンと画像の少なくとも一方をフレームレートで検出するように構成されてもよい。よって、フレームは、典型的には、それらの間に一定の時間間隔で連続して検出される。
特には、フレームレートは、少なくとも10fps(フレーム毎秒)、少なくとも20fps、少なくとも30fps、少なくとも50fps、又は少なくとも100fpsであり得る。特に、フレームレートは最大30fps、最大50fps、最大100fps、又は最大200fpsである可能性がある。このような値は、一般的な用途に適していることが証明されている。それぞれ低い値をより高い値と組み合わせて、適切な間隔を形成できる。しかしながら、他の値も使ってよい。
イメージセンサは、反射表面と検出表面との間に光学的に配置される広角レンズ、又は魚眼レンズを備えてもよい。これにより、画像検出が向上する可能性がある。例えば、画像検出器が反射表面の特定の部分の観察を確実にしてもよい。
特には、内部空間は、中空の空間であってもよい。これは空間が空気で満たされていることを意味してよい。しかしながら、別の物質、特に、流体、固体、ガラス、エラストマーのような光学的に透明な物質を充填可能である。
光源とコリメータの少なくとも一方は、各円錐に光を出するように構成されてもよい。このような円錐は、円錐の外形寸法を区切るそれぞれの円錐の角度によって画定され得る。光の円錐は、光源からの距離の増加とともに一定増加していく断面積を持ち得る。コリメータは、光がコリメータを通過した後のそのような形状を決めるのにも使用され得る。
特には、1個、いくつか又は全ての円錐は、共通軸線と、基部に垂直な軸線との少なくとも一方に対して0°より大きく外側に傾斜している円錐軸線を持ち得る。これにより、頂部の先端部における過飽和の防止につながり得る。これにより、先端付近の力の計測性が向上する可能性がある。基部は、特に平面に沿って延在してよく、これに対して軸は垂直、すなわち垂直であり得る。
特には、1個、いくつか又は全ての円錐は、共通軸線と基部に垂直な軸線との少なくとも一方に対して最大10°外側に傾斜している円錐軸線を有し得る。これは、一般的な用途に適していることが証明されている。しかしながら、より大きな角度も使える。
特には、1個、一部又は全ての円錐は、少なくとも35°と最大80°との少なくとも一方の外側の円錐角度を持ち得る。外側の円錐角度は、特に円錐軸線と中心伝播方向との少なくとも一方に対する円錐の外側境界の角度であり得る。円錐軸線は、円錐の中心と光の伝播方向との少なくとも一方を画定してよい。
特には、円錐は、共通軸線に垂直な平面内で部分的に重なり合ってもよい。ここで、重なりは、平面と基部との距離に依存する。これにより、照らされていない反射表面の部分が省略され、よって力の推論に使用できなくなるだろう。特には、光源及びイメージセンサは、光源により出され、反射表面で反射される光がイメージセンサによって検出されるように配置されていてもよい。
1実装によれば、反射表面は、パターンと複数の追跡可能な物体との少なくとも一方で覆われる。これにより、力の推論の精度が向上するだろう。代替的な1実装によれば、反射表面は滑らかな表面である。
1実施形態によれば、センサの構成は、共通軸線を備える。特には、頂部は、共通軸線を中心に完全に円形であってもよい。これは単純な実装に対応する。代替的に、頂部は、共通軸線を中心に部分的に円形であってもよい。これにより、特定の構造、例えば本明細書に記載されるような薄い区域を可能にするだろう。
検出表面は、特には、共通軸線に対して垂直であってもよい。
光源は、共通軸線に平行な光を出すように配置されていてもよい。これにより、幾何学的に単純な1実装が得られだろう。この発光は、特にコリメータによる可能な偏向又は閉塞前の発光である。
特には、反射表面の異なる部分は、異なる方向からの異なる色の光源によって照明されてもよい。これにより、力の推論の能力が向上する。
1実施形態によれば、頂部は、基部からの距離の増加に伴って減少する外径でテーパとできる。これにより、先端のあるものを操作目的又は特定の力計測に使用する典型的な使用(ユースケース)に適した外形が得られるだろう。
特には、頂部と壁の少なくとも一方は円錐の形であってもよい。
特には、壁は、計測表面からの変形を反射表面に中継するように構成されていてもよい。これは特に、計測表面に加えられた力が計測表面の変形を誘発し、この変形が壁の内側部分を通って反射表面に中継され、反射表面も変形を受けて特定の点又は領域で異なる光の反射をもたらすことを意味してよい。この異なる反射は、検出表面上の異なる光のパターンをもたらすだろうから、それを計測及び評価してもよい。
好ましくは、頂部は、基部に取り外し可能に取り付けられる。これにより、例えば頂部が破損したり、計測目的に関連する特性が失われたりした場合など、異なる頂部で基部を再利用できる。例えば、基部はロボット又は他の構成要素の一部に固定されたままでもよく、頂部は必要に応じて交換されてもよい。
取り外し可能な取り付けは、特に、構成要素の破損なしに基部から頂部を解放する特定の手段が提供されることを意味してよい。
特には、頂部は、頂部を交換可能に基部に取り付けられていてもよい。
頂部は、バヨネット取り付けとねじ接続との少なくとも一方によって、加えて又は代替的に一対のタング及び対応するノッチによって、基部に解放可能に取り付けてよい。このような接続は、簡単な交換性と安全な接続を提供することが証明されている。しかしながら、他の接続方式も使用できる。
1実装によれば、頂部は壁のみを備える。その場合、壁は典型的には、それ自体で十分な安定性を提供する。特には、壁は、別の材料からなる支持構造を伴わない場合は特に、均質な壁材料のみを含有してよい。
1実装によれば、頂部は、壁の内側に位置する躯体を備える。このような躯体は、追加の剛性を与えられるだろう。壁とは異なる素材でできていてもよい。特には、躯体は、複数のワイヤ又はワイヤ状要素を備えてよい。
好ましくは、躯体は格子状である。これは、躯体が比較的細いワイヤ又はそれらの間に空間を残す他の要素でできていることを意味してよい。この空間は典型的には、壁材で満たされている。さらに、躯体は、典型的には、完全に又は部分的に壁材によって囲まれている。
躯体は、好ましくは、鋼、ステンレス鋼、又はアルミニウムからなるものでよい。そのような材料は十分な安定性を提供する。しかしながら、他の材料も使用できる。特に、所望の最大力に耐えられる材料と、必要な形状に製造できる(例えば三次元造形で)材料との少なくとも一方の任意の材料を使用できる。
例えば、アルミニウム又はステンレス鋼を躯体に使用できる。銅、青銅、真ちゅう、炭素繊維などの他の材料も可能である。
特に、躯体は剛性又は半剛性である。これにより、十分な剛性が得られる。
特には、壁は壁材料を備えてよい。これは、計測表面から反射表面に変形を伝えるのに適している場合がある。
好ましくは、壁材料はエラストマーを含有する。例えば、スムースオン(Smooth-On)社のエコフレックス00-30、エコフレックス00-35、エコフレックス00-50などを使用できる。特に伸び率の高い軟質エラストマーが使用できる。例えば、壁材料の伸び率は、少なくとも800%と、最大1,000%又は900%との少なくとも一方であり得る。
好ましくは、壁材料は、アルミニウム粉末とアルミニウムフレークの少なくとも一方を含有する。このことは、反射表面の好ましい反射率を与えることを示している。例えば、粉末とフレークの少なくとも一方は、適切なタイプの反射表面の作成に存在する。変形したり、光源に対する角度が変化したりすると、陰影に変化が生じる場合がある。特に、周囲光を離すのにアルミニウム粉末を使用し、反射率を高めるためにアルミニウムフレークを使用できる。粉末は典型的には、フレークよりも直径が小さくなる。
躯体は、好ましくは壁材料によって囲まれている。これにより、壁材の安定性が向上する。
特には、躯体は壁材料によって完全にオーバーモールドされていてもよい。代替的に、躯体は、壁材料によって部分的にオーバーモールドされてもよい。
躯体は特に再利用可能でよい。これは、例えば、躯体を囲む壁材を何らかの溶媒に溶解し、周囲の壁材料なしで躯体を残せることを意味してよい。次に、新しい壁材料をオーバーモールドできる。
特には、壁の厚さは少なくとも0.8mm又は少なくとも1.2mmであってよい。
特には、壁の厚さは最大4mm又は最大5mmである。
このような値が一般的な用途に適しているが、他の値も使用できる。所与の値は、特に薄い区域の外側の壁の部分に関連してよい。
1実装によれば、壁は、壁の他の部分よりも薄い厚さを持つ薄い区域を備える。このような薄い区域は、この局所領域で特に高い感度を与えるだろう。
薄い区域は、特には基部と反対側に配置されてもよい。このような場所では、高感度が好ましいだろう。
薄い区域は、指爪(区域)に従って形を作ってよい。例えば、センサの構成は、親指又は別の指のような形状であってもよい。薄い区域は、指爪(区域)の位置に置いてもよい。薄い区域は、完全に又は少なくとも実質的に平らであるか、又はわずかに曲げられているだけでよい。一般に、薄い区域は任意の形をしてよい。
特には、薄い区域は、計測表面の4分の1未満を持ってよい。それにより、安定性が損なわれることなく、適切な、増大した計測能力を与える。
好ましくは、薄い区域は、せいぜい0.8mm又は最大1.2mmの厚さを持つことと、薄い区域の外側の壁の厚さの少なくとも30%又は最大50%の厚さを持つこととの少なくとも一方である。これにより、適切な計測感度の向上が得られる。しかしながら、他の値も使用できる。壁は、薄い区域の外側で均一な厚さを有し得る。しかしながら、壁の厚さが均一でない場合、薄い区域の相対的な厚さを定義する基準は平均値であってもよい。
センサの構成は、指先とロボットの操作要素との少なくとも一方であり得る。したがって、センサの構成は、要素の操作及び適用された力の計測という2つの機能を持てる。しかしながら、他の実装も可能である。
本発明はさらに、センサの構成用の頂部を作製する方法に関し、この方法は、以下の工程を備える。
- 躯体材料でできた躯体を提供する工程。躯体は内部空間を囲む。
- 壁材料が、外側の計測表面と内側の反射表面とを画定する弾性変形可能な壁を形成するように、前記躯体を壁材で覆う工程。反射表面が内部空間を区切る。
これにより、頂部を簡単かつ確実に製造できる。要素の詳細に関しては、本明細書の他のところで与えられた説明が参照される。方法の側面に関して与えられた全ての記載は、原則として構造的側面に適用でき、その逆も同様である。
特には、躯体材料は壁材料よりも強くてよい。したがって、躯体は安定性を提供する。躯体は、壁材よりも剛性が高くてもよい。
躯体を提供する工程は、躯体の三次元造形を備えてよい。言い換えれば、躯体は三次元造形されてよい。これにより、躯体の設計に関する柔軟性が向上する。しかしながら、他の処理も使用できる。
躯体は、間に開口が形成された複数のワイヤ(配線)からなるものであってよい。このような開口は、壁材で満たされていてもよい。
好ましくは、躯体はドーム又は円錐の形であり得る。
覆うことは、特にオーバーモールドによって作られ得る。これは、エラストマーのような材料を躯体の周りに配置する信頼性の高い方法である。しかしながら、他の方法も使用できる。
内部空間は、頂部内部が中空であってもよい。しかしながら、例えば光学的に透明な材料で充填してもよい。
この方法は、反射表面をパターンといくつかの追跡可能な物体との少なくとも一方で覆うステップ(工程)をさらに含み得る。代替的に、反射表面を滑らかなままにしてもよい。
特に、パターンを生成するために構造化したキャストを適用してもよい。そのような構造化したキャストは、パターンに対応してよい。
躯体は共通軸線を備えていてもよい。躯体は、共通軸線を中心に部分的又は完全に円形であってもよい。
躯体は、外径が先端に向かって外側の直径が小さくなっていくテーパがつけられていてよい。これは、頂部の好ましい形状に対応し得る。
壁材料は、計測表面から反射表面に変形を中継する構成であってもよい。
躯体は格子状であってもよい。
躯体は、鋼、ステンレス鋼、又はアルミニウムでできていてもよい。さらなる代替に関しては、本明細書の他の箇所で与えられた記述が参照される。
躯体は剛体又は半剛体でよい。
壁材料は、エラストマーを含んでもよい。
壁材料は、アルミニウム粉末とアルミニウムフレークの少なくとも一方を含有してよい。
躯体は、壁材料が躯体を取り囲むように壁材料で覆われてよい。
壁材料は、少なくとも0.8mm又は少なくとも1.2mmの厚さに形成されることと、最大4mm又は最大5mmの厚さを持つように形成されることとの少なくとも一方である。
壁材料は、壁材料の他の部分(薄い区域以外の部分)よりも薄い厚さを持つ薄い区域を備えるように形成されてよい。これは、特にライトタッチ(軽い接触)検出と形状識別に使用できる。
薄い区域は、躯体の先端の近くに配置されてよい。
薄い区域は、指爪(区域)に従って形を作ってよい。
薄い区域は、計測表面の4分の1未満を含んでもよい。
薄い区域の厚さは、最大0.8mm又は最大1.2mmであることと、厚さが最大30%又は最大50%の厚さであることとの少なくとも一方でよい。
躯体は、壁材料が躯体から着脱可能に覆われていてよい。
本発明はさらに、センサの構成を作製する方法に関し、この方法は、以下のステップを備える。
基部を提供するステップと、
内部空間を持つ頂部を作製するステップと、
複数の光源を備える光源の構成を基部に取り付けるステップと、
基部にイメージセンサを取り付けるステップと、
光源が内部空間に向かって光を出すように配置され、イメージセンサが内部空間に配置されるように、基部を頂部で覆うステップと
である。
この方法は、センサの構成の信頼性の高い製造を提供する。
特には、頂部は、本明細書に開示されるように作製されてもよい。全ての実装と変形例が適用され得る。
光源は、イメージセンサを取り囲むように取り付けられていてもよい。
この方法は、出された光の各照射角度と、出された光の円錐との少なくとも一方を画定する、複数のコリメータを光源上全体に配置するステップをさらに備えてよい。例えば、このようなコリメータは、コリメータ環内に形成されてもよい。これにより、実際にはコリメータ環が配置されることになる。
作製されたセンサの構成は、本明細書に記載されるように特には具体化されてよい。全ての実施形態及び変形例が適用され得る。
本発明はさらに、本明細書に開示されるようなセンサの構成、又は本明細書に開示されるように製造されたセンサの構成に関する。本発明は、センサの構成の力の推論の方法を実行するように構成された電子制御モジュールをさらに備える。
よって、センサの構成は、それ自体の制御モジュールを持ち得る。例えば、制御モジュールは、基部内側の電子的実体(エンティティ)又は基部の他の部分近くに位置する電子的実体であり得る。代替的に、制御モジュールは、基部及び頂部から離れた位置に配置されてもよく、例えばコンピュータであってもよい。
制御モジュールは、計測表面の力のマップと、複数の力ベクトルを備える力のマップを提供する力の推論の方法を実行するように構成され得る。力の推論の方法に関しては、本明細書の他のところで与えられた説明が参照される。全ての実施形態及び変形例が適用され得る。
特には、力のマップは、
mm(1×10-6)当たり少なくとも0.25の力のベクトル、mm当たり少なくとも0.5の力のベクトル、mm当たり少なくとも0.75の力のベクトル、mm当たり少なくとも1の力のベクトル、mm当たり少なくとも1.5の力のベクトル、又はmm当たり少なくとも2の力のベクトルを備えることと、
mm当たり最大0.25の力のベクトル、mm当たり最大0.5の力のベクトル、mm当たり最大0.75の力のベクトル、mm当たり最大1の力のベクトル、mm当たり最大1.5の力のベクトル、例えばmm当たり最大2の力のベクトルを備えることと
の少なくとも一方を備えてよい。また、他の値を使ってよい。
特には、各力のベクトルは、垂直抗力成分、第1せん断力成分及び第2せん断力成分を備える。
特には、第1せん断力成分は第1せん断力に相当し、第2せん断力成分は第2せん断力に相当してよい。第1せん断力は第2せん断力に垂直である。
特には、本明細書に開示されるセンサの構成は、指の形をしてよい。センサの構成は、柔らかいセンサであることと、全周の力の感知能力を持っていることとの少なくとも一方である。センシング機能は、機械学習によって可能となってよい。センサの配置は、正確で、感度が高く、耐久性があり、手頃な価格である。
開示されたセンサの構成と共に好適に使用できる単一のカメラから三次元(3D)情報を得るには2つの主要な技術がある。
フォトメトリックステレオ(照射度ステレオ、PS)方式の技術は、陰影情報から3D形状を推測するために、異なり分散した光源を持つ同じシーンの複数の画像を使用する。
ストラクチャードライト(SL)方式の技術は、独自の光のパターンと、3D表面に異なる方法で投影されるという事実を使用する、単一ショットの3D表面の再構築手法である。
一般的に、SLは典型的には、グローバルな再構築で使用されるが、PSは局所(ローカル)の詳細の捕捉に強みがある。洞察(インサイト)は、PSとSLを組み合わせて、単一カメラの単一画像設定で完全な3Dドーム型の表面の変形再構成を行う。カメラ又は画像検出器の隣には、光の円錐を生成するいくつかの光源がある。計測表面のある域が接触して変形すると、接触域が動き、陰影による色の違いと、光の円錐による光の強度が異なる色区域間の動きの2つの効果により、目に見える色が変化する。
頂部と基部との少なくとも一方は、特には周囲光が内部空間に入るのを防ぐように設計されてもよい。これにより、このような周囲光による計測値の歪みが防止される。
さらなる態様及び有利点は、同封された図面の以下の説明から当業者には明らかであろう。これら図面は次のことを示している。
図1はセンサの構成の展開図を示す。 図2はセンサの構成の断面図を示す。 図3は頂部を示す。 図4は躯体を示す。 図5は別の躯体を示す。 図6は光のパターンのある検出表面を示す。 図7は別の光のパターンのある検出表面を示す。 図8は強度の線のある検出表面を示す。 図9は別の強度の線のある検出表面を示す。 図10はコリメータの付いた複数の光源を示す。 図11は躯体とモールドを示す。 図12はさらなるモールドを示す。 図13は複数の異なる種類の中のキャストの1つを示す。 図14は複数の異なる種類の中のキャストの1つを示す。 図15は複数の異なる種類の中のキャストの1つを示す。 図16は複数の異なる種類の中のキャストの1つを示す。 図17は複数の異なる種類の中のキャストの1つを示す。 図18はキャストの外形を示す。 図19は力のマップの生成を示す。 図20は力のマップを作る方法を示す。 図21は力の試験用の構成を示す。 図22は圧子となり得るものを示す。 図23は力のマップを示す。 図24は模擬力のマップを示す。
図1は、力を検知するセンサの構成10(センサ装置10)を示す。センサの構成10は、基部100と頂部200とを備える。
基部100は、支持構造110を備える。この支持構造110は、センサの構成10を別の実体、例えばロボットへの取り付けに特に使用できる。基部100は、印刷回路基板120をさらに備えていて、この上にセンサの構成10を制御する電子部品が取り付けられている。
基部100は、印刷回路基板120の直上に位置するイメージセンサ130をさらに備える。イメージセンサ130は、光を検出し、それに応答して画像データを生成できるカラーカメラとして具現化され、ここで、典型的には、イメージセンサ130によって生成された画像データは、印刷回路基板120上に配置されている電子部品によってさらに処理されるであろう。
基部100は、イメージセンサ130の直上に位置する広角レンズ140をさらに備える。広角レンズ140は、イメージセンサ130に衝突する全ての光が広角レンズ140を通過するような位置にある。これにより、広角レンズ140は、イメージセンサ130の視野を画定できる。広角レンズ140は、イメージセンサ130の一部とみてもよい。
基部100は、さらに、取付構造150を備える。取付構造150は、頂部200が基部100から取り外し可能となるように、頂部200を基部100への固定に用いられる複数のねじ152を用いて、支持構造110に直接取り付けられる。頂部200と基部100との接続がどのようになされるかをさらに以下に示す。
基部100は、光源の構成160をさらに備える。光源の構成160は、取付構造150に取り付けられた支持環162を備える。光源の構成160は、複数の光源164を備える。これらの光源164は、本実施形態における発光ダイオードとして具現化される。光源164は、図2に関して以下でさらに説明する頂部200の内部空間に向けて光を出すように配置されている。
光源164は、異なる色を持つ。例えば、赤、青、緑の色がある。センサの構成10に加えられた力の検出に光源から放出された光をどのように使用できるかについて、以下でさらに説明する。
光源の構成160のすぐ上にはコリメータ環175がある。コリメータ環175は、コリメータ環175を通って垂直に突出する孔として具現化された複数のコリメータ170を備える。各コリメータ170は、1つの光源164のすぐ上に位置する。これにより、コリメータ170を通過した光のみが、頂部200の内部空間に到達できる。コリメータ170は、このように、内部空間内の複数の光の円錐を画定してよい。特には、各光の円錐がそれぞれの円錐の軸線及び外側の円錐角度を持つ。
頂部200は、弾性変形可能な壁210を備える。弾性変形可能な壁210は、センサの構成10の外側に計測表面220を提示している。計測表面220は、力をかける表面である。ここで、その力は、例えば、実際に加えられた力に依存する力のマップを提供するように計測されるべきである。力の実際の推論については、以下でさらに説明する。
頂部200は、躯体240を備える。躯体240は壁210に囲まれている。図1では、躯体240と壁210とが互いに別々に示されている。
躯体240は、底環242と、底環242の上方に位置する格子244とを備える。躯体240の詳細な構造については、以下でさらに説明する。底環242は、放射状に外側に配置され、基部100に対して垂直に配向された複数の突起246を備える。このような突起246は、垂直方向に延びる複数のねじ152用のそれぞれのねじ穴を備える。これらのねじ穴を通して、各ねじ152を下方から適用できる。ここで、ねじ152は、基部100の取付構造150内のそれぞれの穴に固定される。これにより、頂部200を基部100上で取り外し可能な取り付けが可能になる。
図2は、取付状態のセンサの構成10の断面図を示す。躯体240は、壁210に囲まれているが、壁210の内部に見える。これは説明用のためだけである。実際には、壁210によって囲まれている躯体240は、見えないか、又は少なくともはっきりは見えないであろう。
図2は、センサの構成10の全ての構成要素がそれらの最終位置にある状態を示す。例外として、コリメータ環175は、光源の構成160を見やすさを目的として図2には示されていない。
図2に示すように、頂部200と基部100が内部空間12を画定している。内部空間12は、壁210に囲まれている。壁210は、内部空間12を囲む内側の反射表面230を画定する。
図2に示すように、光源164は、内部空間12に向けて発光するように基部100に配置されている。
光源164から出た光は、まずコリメータ170を通過することになるが、それは図2には示されていない。コリメータ170は、光のさらなる伝搬(特に、光の円錐(複数)の、個々の伝播方向と外側の円錐角度)を画定している。それから、光は内部空間12を通っていって、反射表面230に到達する。反射表面230は拡散反射であるため、入射光は特定の角度依存強度で全方向に反射され、反射は鏡のようではない。
図2に示すように、反射表面230は、計測表面220から壁210によってのみ分離されている。壁210は、計測表面220から反射表面230に変形を中継する弾性材料で形成されている。これは、計測表面220にかかったいかなる力も、外側の計測表面220で壁210を変形させるだけでなく、内側の反射表面230でも変形させることを意味する。反射表面230のこのような変形は、光線の反射を局所的に歪める。そのように、センサの構成10内部の光線の計測が、計測表面220にかかった力の推測に使用できる。
イメージセンサ130はセンサの構成10の内部にも位置している。光源164から出て、反射表面230からの反射される光がイメージセンサ130に伝播するように、イメージセンサ130は光源164に囲まれている。イメージセンサ130の検出表面上で、光は、かかっている力を示す光のパターンを生成する。そのような光のパターンは、力の位置と振幅と方向、さらには適用された圧子の形状とサイズの指標となることがわかっている。複数の力も評価可能である。
格子244は、主要部248と指爪区域249とを備える。指爪区域249は、以下でさらに説明する薄い部分を保持している。主要部248は、壁210がより大きな力に耐えられ、外力及び重力の影響下で実質的に変形しないように、壁210に増大した安定性を与える。しかしながら、躯体240にもかかわらず、計測表面220から反射表面230への変形をわずかに変形及び中継する能力は有効のままである。
図3は、壁面210を別々に示している。壁210は、図示のような円錐の形をしている。壁210の先端では丸い形になっている。この形状は、複数の用途に適していることが証明されている代表的な形の1つであることに留意されたい。しかしながら、可能な形状はそれだけではない。むしろ、全ての適切な形状が使える。計測表面220は、壁210の外側を画定いている。計測表面220に力をかけるならば、壁210が変形する。
図4は、躯体240を他から分けて示す。既に説明した構成要素に関しては、図1の説明を参照する。特には、格子244が、それらの間に比較的大きな空間を持つ複数のワイヤから形成されていることがわかる。これらの空間が壁210の材料で埋められると、壁210が躯体240を囲む。そのようにして、躯体240が壁210に適切な安定性を与える。
図5は、第2実施形態に係る壁210を示す。図3に示す実施形態とは対照的に、図5に示す壁210は、薄い区域250を持つ。薄い区域250は、壁210の他の部分に比べて厚みが薄い。薄い区域250は縁255に囲まれている。
図4と図5を併せて見ると、躯体240の指爪区域249が壁210の薄い区域250を支えていることがはっきりする。支持がほぼ縁255に沿って存在する。この策が薄い区域250の安定性をより大きくする。しかしながら、薄い区域250のない頂部200にも、同じ設計の躯体を使えることに留意されたい。
薄い区域250は、特に、力検出に関して感度の局所的な増加をもたらす。例えば、薄い区域250にかかった力が、壁210のより大きな変形になり、したがって反射表面230のより大きな変形にもつながる。したがって、薄い区域250にかかる力が、イメージセンサ130によって検出される光のパターンの大きな変化にもつながる。
図6は、イメージセンサ130の検出表面131上の光のパターン132を示す。検出表面131は、典型的には、図6には示されていない複数の画素を備える。
図6に示されるように、例示的な光のパターン132は、参照符号133、134、135で示される8個の光のスポットを備える。光のスポット133、134、135は、少なくともおおよそ、楕円形を持つ。3つの光のスポット133は、第1色、例えば青色を持つ光源から生じる。3つの光のスポット134は、第2色、例えば赤色を持つ光源から生じる。2つの光のスポット135は、第3色、例えば緑色を持つ光源から生じる。3つの異なる色を持つ8つの光のスポット133、134、135の数は、ここでは例示のみを目的としていて、他の任意の数の光のスポット及び色を使えることに留意されたい。特には、光源164から出た光が内部空間12を通って円錐状に伝搬し、反射表面230で反射され、さらに検出表面131まで伝搬することになって、各光のスポット133,134,135が1つの光源164に対応してよい。
図6は、変形していない状態での、典型的な光のパターン132を示す。すなわち、このような光のパターン132は、計測表面220に力がかかっていなければ、検出表面131で見ればよい。例えば、ニューラルネットワークであり得る任意の力の推論の手段は、図6のイメージセンサ130による光のパターン132の検出時、力がかかっていないことを検出するように訓練され得る。
図7は、検出表面131上のさらなる光のパターン132を示す。図7の光のパターン132は、計測表面220に力がかかっている状態に相当する。図から分かるように、2つの光のスポット133、135は、加えられた力に対する反射表面230内部の異なる反射特性に起因する局所的な色変化がある変形部分136を持つ。図7の状況は、力が加えられたという推論を起動可能である。特に光のパターン132の変化は、力の強さだけでなく、その位置、方向、力をかける圧子の形状と大きさにも特徴的である。同時適用し得る2つ又はそれより多い力についてもこのことは、真である。
図8は、検出表面131上の強度パターン137の強度の線138を模式的に示す。強度の線138それぞれが、検出表面131上の一定の光強度の線に相当する。図8は、図6に示す状態に相当する変形していない状態を示す。図9は、反射表面230の局所的に異なる反射特性のために強度の異なる強度を持つ強度の線138を持つ変形状態を示す。このことは、かけた力にも特徴的であり、したがって力の推論に使用できる。
図10は、検出表面131を持つイメージセンサ130を純粋に概略的に示し、イメージセンサ130は、支持環162と共にある光源の構成160と、コリメータ170及びコリメータ環175と共にある光源164との間に位置する。
図示するように、光源164から出た光はコリメータ170を通過し、さらに各円錐166において内部空間12に伝播する。これらの円錐166は、円錐軸線ともみなせる中央の伝搬方向167と、中央の伝搬方向167に対する水平方向の光の最大範囲を画定する外側の円錐角度168によって画定される。図示のように、コリメータ170は、中央の伝搬方向167が垂直ではなく、わずかに外側を向くように、光源164から光が出る点に対してわずかに外側に配置されている。これにより、頂部200の先端部における過飽和の防止が確保される。この実装により、内部空間12の内部に画定した光の構造を得られる。図8には示されていない反射表面230からの反射光が検出表面131に伝搬して、その光を力の推論用に検出してもよい。
図11は、センサの構成10用の頂部の作製用モールド600を示す。モールド600は、開口610が形成されたモールド本体620を備える。図12は、さらなるモールド605を示し、これもまた、その中に形成された開口610を持つモールド本体620を持つ。モールド600とさらなるモールド605とを一緒にすると、開口610は1つだけ残る。開口610は、躯体240をオーバーモールディングによる頂部200の作製用に使われ得る。
図11は、頂部200の製造工程の1状態を示す。開口610には躯体240が入れられる。図12に示されるさらなるモールド605は、1つの単一の開口610の形成に使われることになる。躯体240は、躯体240を囲む壁210を形成するために、壁材料によってオーバーモールドされる。
形成される壁210の外側は、後に計測表面220になるところで、開口610によって画定される。換言すると、計測表面220は開口610の形状に適合する。
後に反射表面230となる内部形状の画定に、キャスト700が使われる。キャスト700のあり得る実施形態が図13から図17に示されている。
図13は、第1実施形態に係るキャスト700を示す。キャスト700は、支持環720を備える。支持環720から、主要部分710は、先端に向かって小さくなっていく丸い断面を持つ。図13の実施形態では、主要部分710は平らな外表面を持つので、図11に示す躯体240の内側にキャスト700を用いて壁210の内側反射表面230を画定すると、平らな反射表面230が形成される。
図14は、第2実施形態によるキャスト700を示す。図13に示す実施形態とは対照的に、図14のキャスト700は、反射表面230上に特定の相補構造の提供に使われ得る複数の溝716を持つ。溝716は、反射表面230内に相補的な突起を形成し、これは、光のパターン132の変化をより顕著に増大させ得る。図14に示すように、溝716は、主要部分710の先端付近に位置する。例えば、溝716は、図5に示すように壁210の薄い区域250に適用され得る。
図15は、第3実施形態によるキャスト700を示す。図15の実施形態では、キャスト700は、外側の格子構造712を持つ。この外側の格子構造712は、反射表面230上の相補的な構造につながる。これにより、多くの状況で力の検出機能が向上する。
図16は、第4実施形態によるキャスト700を示し、図15の実施形態と同様に具体化されているが、このキャスト700はより微細な格子構造712を持つ。
図17は、第6実施形態に係るキャスト700を示す。外側の格子構造712又は図16に加えて、図17に示す実施形態は格子構造を持たない平らな部分714を持つ。平らな部分714も先端付近に位置する。それは局所的に平らな反射表面230につながる。このような局所的に平らな反射表面230は、例えば、薄い区域250にて適用できる。
図18は、例えば図16に示されるようなキャスト700の典型的な断面形状(外形、プロファイル)を示す。断面形状は、(複数の)突起713を持つ外側の格子構造712を備える。(複数の)突起713の間には、反射表面230においても平らなところにつながる平らなところがある。突起713は、図示の実施形態では、半円の外形を持つ。例えば、突起713間の距離は、少なくとも0.1mm、少なくとも0.5mm、少なくとも1mm、又は少なくとも2mmであり得る。突起713間の距離は、最大0.5mm、最大1mm、最大2mm、又は最大5mmであり得る。したがって、それはサブミリメートルから数ミリメートルであり得る。突起713の半径についても、同じ値又は範囲が適用され得る。しかしながら、他の値も使用できる。
図19は、力の推論の概略図を示している。
既に上述したように、イメージセンサ130は、検出表面131を備える。検出表面131は、複数の画素Pを持つ。各画素はP1、P2、...Pxと示される。各画素Pは、画素に入射する光を、個別に感色的に検出可能である。これにより、イメージセンサ130上の光のパターン132を検出できる。
イメージセンサ130の出力データは、順伝播型ニューラルネットワークFFNNに供給される。これは、イメージセンサ130からの画像データを力のマップFMに図示(マッピング)する人工ニューラルネットワークである。力のマップFMは、複数の力のベクトルF1、F2、...Fxを備える。力のマップFMの力ベクトルFについては、以下でさらに説明する。
順伝播型ニューラルネットワークFFNNは、訓練方法Tによって訓練されてもよい。適切な訓練について、図20を参照して以下でさらに説明する。
原理的には、順伝播型ニューラルネットワークFFNNは、イメージセンサ130から受信した画像データから力を検出できる。これは、機械学習技術によって強化され得る。適切な訓練された順伝播型ニューラルネットワークFFNNは、力の位置、振幅、方向、さらには圧子の形状とサイズを推測できることが証明されている。このような推論は、複数の力の同時適用の場合にも可能である。
力の推論の強化用に、照らされた反射表面の非変形の観察と、グレースケールでの勾配画像と、躯体の画像との中で少なくとも1種類を持つさらなる画像データを各ケースで順伝播型ニューラルネットワークFFNNに入力して、力の推論と訓練ステップの少なくとも一方が行われるべきである。
図20は、順伝播型ニューラルネットワークFFNNを訓練する方法Tを示す。
第1ステップT_1では、図21を参照してさらに説明されるように、センサの構成10を用いて複数の力の試験が行われる。各力の試験において、適用された力が計測され、さらに計測表面220上の力の位置が計測される。さらに、光のパターン132に対応する画像データがイメージセンサ130から読み出される。
第2ステップT_2では、各模擬試験が1つの力の試験に対応するように複数の模擬試験が行われる。各模擬試験は、力が適用されたときの構成要素、特に壁210の挙動を模擬試験するセンサの構成10のモデルを用いて行われる。そのようにして、模擬力のマップFM’が各模擬試験で計算される。
第3ステップT_3では、順伝播型ニューラルネットワークFFNNは、力の試験の画像データと、対応する模擬試験で計算された模擬力のマップFM’で訓練される。詳細には、各訓練の下位の(サブ)ステップは、光のパターン132及び対応する模擬力のマップFM’を持つ順伝播型ニューラルネットワークの訓練を含み得る。これにより、順伝播型ニューラルネットワークFFNNは、光のパターン132を力のマップFMに図示する方法を学習する。
模擬力のマップFM’は、センサの構成10のモデルに基づく模擬試験においてのみ存在することに留意されたい。力のマップFMは、実際の計測表面220上に存在する。
図21は、力の試験を実施する力の試験用の配置500を示す。力の試験用の配置500は、基部510を備える。基部510上には、第1腕520が配置されていて、これは関節530で接続されている。関節530では、第2腕540が位置決めされる。図示しない電気駆動手段によって、第1腕520が基部510上で回転され、そして第2腕540が関節530の周りを振り回されるようにしてよい。
第2腕540には、上述したセンサの構成10が取り付けられている。第2腕540の軸を中心に回転させてもよい。センサの構成10は、そのように、力の試験用の配置500によって位置決めされ得る。
頂部550もあり、そこには力のセンサ560が取り付けられている。力のセンサ560は圧子800で接続されている。圧子800は、実質的に変化しない位置に留まる。力の試験用の配置500では、センサの構成10、特にその計測表面220を圧子800に接触させられるので、力を適用可能となっている。この力は、力のセンサ560によって計測できる。
好ましい1実装では、腕520、540は、圧子800が計測表面220と接触されるべき計測表面220上の意図された位置の選択に使用される。圧子800は、それから、頂部550を3次元的に移動させることで動かし、したがって、垂直抗力成分及びせん断力成分の両方を持ち得る計測表面220に力を適用できる。センサの構成10は、その力の適用の間、所定の位置に残されていてよい。しかしながら、特に部品の動きに関して、力の試験の他の実装も可能である。例えば、頂部550は、腕520、腕540と同時に移動されてもよい。また、力の適用に腕520と腕540だけを使ってもよい。
圧子800が計測表面220に接触する位置は、機械変数又は運動学的モデルを使って計算され得る。しかしながら、カメラで観察もなされてよい。
図22は、力の試験用の配置500での使用用の物理的な圧子800とし得る、又は図24に関して以下でさらに説明するように模擬試験で模擬圧子800’とし得る4つの異なる圧子800の形状を概略的に示す。
図22aは、計測表面220に対するその接触部分に平らな形状を持つ圧子800を示す。図22bは、先端の形の接触部を持つ圧子800を示す。図22cは、半球状の形の接触部を持つ圧子800を示す。図22dは、図1に示した圧子800と同型であるがサイズが小さな接触部を持つ圧子800を示す。このような異なる圧子800を使用すると、このような異なる形状に関して順伝播型ニューラルネットワークFFNNの訓練を最適化でき、これは、そのような異なる圧子800で訓練された順伝播型ニューラルネットワークFFNNの能力が、異なる圧子形状を持つ圧子800によって加えられる再構成の力に関して増加することを意味する。一例として換言すると、平らな形状の圧子800を適用した後に再構成された力のマップFMは、半球形状の圧子800を適用した後に再構成された力のマップFMとは異なることになる。
図23は、力のマップFMの概略説明図を持つセンサの構成10を示す。力のマップFMは、計測表面220の周囲全体に位置する複数の力のベクトルFを備える。2つの力のベクトルFが図23に示されているが、典型的な実装でははるかに多くの力のベクトルFを使用できる。例えば、mm当たり1個の力のベクトルFを例示的な実装で使用できる。
各力のベクトルFは、垂直力成分F、第1せん断力成分FS1及び第2せん断力成分FS2を持つ。垂直力成分Fは、加えられた力、すなわち、計測表面220の局所的な向きに垂直な成分の垂直力の値を与える。せん断力成分FS1、FS2は、それぞれの点において計測表面220に加わるせん断力の値を与える。せん断力は、典型的には、計測表面220の局所的な配向に平行であり、典型的には、互いに垂直であり、垂直抗力に対して垂直である。これは特に、力のベクトルF、特にその法線成分の向きを定義し得る計測表面220の非変形の配向に関係し得る。
よって、各力ベクトルFは、計測表面220上の特定の点に適用される力の強さ及び方向を与える。そのような力は、例えば、圧子800から生じ得るが、一方、そのような圧子800の1つは、図23に例として示されている。力がかかると、計測表面220がわずかに変形する。
力のベクトルFの他の定義も使い得る、例えば、垂直抗力成分のみを評価し得る、又はせん断力は代替の定義を持ち得ることに留意されたい。
図24は、模擬力のマップFM’を使用した対応するケースを示している。参照記号はアポストロフィ(’)で示される。模擬力のマップFM’ の場合、模擬計測表面220’上のこのような模擬力のマップFM’の模擬力のベクトルF’は、それぞれ模擬成分、例えば垂直力成分F’N、第1せん断力成分F’S1及び第2せん断力成分F’S2を持ち得る。このような模擬力のマップFM’は、特に、上述したようにモデルに対して実行される模擬試験において計算される。
図24に示す模擬圧子800’もある。模擬圧子800’は、対応する力の試験において実際の圧子800と同じ大きさ及び方向及び同じ位置で模擬試験に適用される。モデルを使用して、模擬力のマップFM’が計算され、順伝播型ニューラルネットワークFFNNの訓練に使用される。
本発明の方法の言及されたステップ(工程)は、所与の順序で実行できる。しかしながら、技術的に合理的である限り、別の順序で実行し得る。本発明の方法は、実施形態では、例えばステップの特定の組み合わせを用いて、さらなるステップが実行されないように実施できる。しかしながら、言及されていないステップを備える他のステップも実行されてよい。
(本発明の)複数の特徴は互いに独立して使われ、又は実装されてよいのであるが、例えば、よりわかりやすくするために、請求項及び明細書の記載内で、組み合わせて特徴が記載されていることには留意されたい。当業者は、そのような特徴を他の特徴と組み合わせ可能、又は互いに独立した特徴の組み合わせがあり得ることに気が付くだろう。
従属請求項内の参照は、それぞれの特徴の好ましい組み合わせを示し得るが、他の特徴の組み合わせを排除するものではない。
10 センサの構成
12 内部空間
100 基部
110 支持構造
120 印刷回路基板
130 イメージセンサ
131 検出表面
132 光のパターン
133 光のスポット
134 光のスポット
135 光のスポット
136 変形部分
137 光強度のパターン
138 強度の線
139 変形域
140 広角レンズ
150 取付構造
152 ねじ
160 光源の構成
162 支持環
164 光源l
166 円錐
167 中央の伝播方向
168 外側の円錐角度
170 コリメータ
175 コリメータ環
200 頂部
210 壁
220 計測表面
230 反射表面
240 躯体
242 底環
244 格子
246 突起(複数)
248 主要部
249 指爪区域
250 薄い区域
255 縁
500 力の試験用の配置
510 基部
520 第1腕
530 関節
540 第2腕
550 頂部
560 力のセンサ
600 モールド
605 さらなるモールド
610 開口
620 モールド本体
700 (鋳造)キャスト
710 主要部
712 格子構造
713 突起(複数)
714 平らな部分
716 溝(複数)
720 支持環
800 圧子
P 画素
FFNN 順伝播型ニューラルネットワーク
FM 力のマップ
T 訓練方法
F 力のベクトル
垂直抗力成分
せん断力成分
アポストロフィ「’」 模擬試験の要素
従属請求項内の参照は、それぞれの特徴の好ましい組み合わせを示し得るが、他の特徴の組み合わせを排除するものではない。
本願は例えば以下の観点を提供する。
(観点1)
力を測るセンサの構成(10)の力の推論の方法であって、
前記センサの構成(10)が、
弾性的に変形可能な壁(210)であって、前記壁(210)は外側の計測表面(220)と内側の反射表面(230)を備え、ここでは前記反射表面(230)は内部空間(12)を部分的に区切っている、前記壁(210)と、
内部空間に向かって光を放つように構成された複数の光源(164)を備える光源の構成(160)と、
前記内部空間(12)内に取り付けられたイメージセンサ(130)と
を備え、前記力の推論の方法が、
前記イメージセンサ(130)から画像データを読み出すステップと、
順伝播型ニューラルネットワーク(FFNN)を使って前記画像データに基づいて前記計測表面(220)上に力のマップ(FM)を計算するステップであって、前記力のマップ(FM)が複数の力のベクトル(F)を備える、力のマップを計算するステップと
を備える、前記力の推論の方法。
(観点2)
前記順伝播型ニューラルネットワーク(FFNN)は、力の推論の前に実行される以下のステップで訓練されて、
- センサの構成(10)に対して複数の力の試験を行うステップ(T_1)であって、各力の試験が、
前記センサの構成(10)の計測表面(220)上の位置に1つの圧子(800)により力を加えることと、前記圧子(800)によって加えられる力を同時に計測することと、
前記イメージセンサ(130)から画像データを同時に読み出すことを備える、複数の力の試験を行うステップ(T_1)と、
- 各力の試験について、前記センサの構成(10)の1モデル(10’)で対応する模擬試験を実行するステップ(T_2)であって、
各模擬試験は、前記モデル(10’)の模擬計測表面(220’)に模擬力を適用することを備え、それによって、前記模擬計測表面(220’)上の模擬力のマップ(FM’)を計算し、
前記模擬力のマップ(FM’)は、複数の模擬力のベクトル(F’)を備え、
前記模擬力は、計測された力に相当し、前記計測表面(220)上の位置に対応する前記模擬計測表面(220’)上の位置に加えられる、模擬試験を実行するステップ(T_2)と、
- 前記画像データと、対応する計算された模擬力のマップ(FM’)を使用して順伝播型ニューラルネットワーク(FFNN)を訓練するステップ(T_3)と
を備える、観点1に記載の方法。
(観点3)
前記順伝播型ニューラルネットワーク(FFNN)を訓練の力の試験は、各圧子がそれぞれ圧子形状を持つ複数の圧子(800)を用いて実行される、観点2に記載の方法。
(観点4)
前記圧子形状は、先端、円形、三角形断面、正方形断面、半球、立方体、及び円柱を少なくとも備える群から選択される、観点3に記載の方法。
(観点5)
前記模擬試験が、対応する力の試験で使用される実際の複数の圧子形状に対応するそれぞれの模擬圧子形状を持つ模擬圧子(800)によって適用される模擬力で実行される、観点3又は4に記載の方法。
(観点6)
前記順伝播型ニューラルネットワーク(FFNN)が複数の異なる圧子形状を使って訓練された、観点2から5のいずれか一つに記載の方法。
(観点7)
前記順伝播型ニューラルネットワーク(FFNN)が複数の異なるサイズを持つ複数の圧子(800)を使って訓練された、観点2から6のいずれか一つに記載の方法。
(観点8)
前記順伝播型ニューラルネットワークは、前記順伝播型ニューラルネットワークを訓練する力の試験の少なくとも一部について、各せん断力で適用された前記圧子(800)で訓練された、観点2から7のいずれか一つに記載の方法。
(観点9)
各前記計測された力は、垂直抗力成分、第1せん断力成分及び第2せん断力成分を備える、観点2から8のいずれか一つに記載の方法。
(観点10)
前記計測された力の中で、前記第1せん断力成分は第1せん断力に対応し、前記第2せん断力成分は第2せん断力に対応し、そして
前記第1せん断力は前記第2せん断力に垂直である、観点9に記載の方法。
(観点11)
各前記計測された力は、基準座標系内の3つの成分を備える、観点2から10のいずれか一つに記載の方法。
(観点12)
前記順伝播型ニューラルネットワーク(FFNN)は、異なるせん断力成分を持つ複数の力を使って訓練された、観点2から11のいずれか一つに記載の方法。
(観点13)
前記順伝播型ニューラルネットワーク(FFNN)は、異なる垂直抗力成分を持つ複数の力を使って訓練された、観点2から12のいずれか一つに記載の方法。
(観点14)
前記力が前記圧子(800)内又は前記圧子(800)の隣に配置された力のセンサ(560)を使って計測される、
観点2から13のいずれか一つに記載の方法。
(観点15)
各前記模擬力のベクトル(F’)は、垂直抗力成分(F’ )、第1せん断力成分(F’ S1 )及び第2せん断力成分(F’ S2 )を備える、観点2から14のいずれか一つに記載の方法。
(観点16)
各前記模擬力のベクトル(F’)は、基準座標系における3つの成分を備える、観点2から14のいずれか一つに記載の方法。
(観点17)
計算された前記力のマップ(FM)が基づく画像データは、前記イメージセンサから読み出された画像データに加えて、いくつかの不変画像、又は3つの不変画像を備える、観点1から16のいずれか一つに記載の方法。
(観点18)
前記不変画像は、グレースケールの勾配の画像と、躯体の画像と、基準光パターンと中の少なくとも一種類である、観点17に記載の方法。
(観点19)
前記画像データの一部としての可変の画像は、前記力のマップ(FM)を計算する直前に撮影された、観点17又は18に記載の方法。
(観点20)
前記力のマップ(FM)が、mm (1×10 -6 )当たり少なくとも0.25の力のベクトル(F)、mm 当たり少なくとも0.5の力のベクトル(F)、mm 当たり少なくとも0.75の力のベクトル(F)、mm 当たり少なくとも1の力のベクトル(F)、mm 当たり少なくとも1.5の力のベクトル(F)、又はmm 当たり少なくとも2の力のベクトルを備えることと、
前記力のマップ(FM)が、mm 当たり最大0.25の力のベクトル、mm 当たり最大で0.5の力のベクトル、mm 当たり最大で0.75の力のベクトル、mm 当たり最大で1の力のベクトル、mm 当たり最大で1.5の力のベクトル、又はmm 当たり最大で2の力のベクトルを備えることと
の少なくとも一方である、観点1から19のいずれか一つに記載の方法。
(観点21)
各前記力のベクトル(F)が、垂直抗力成分(F )と、第1せん断力成分(F S1 )と、第2せん断力成分(F S2 )と、を備える、観点1から20のいずれか一つに記載の方法。
(観点22)
前記第1せん断力成分(F S1 )は第1せん断力に対応し、前記第2せん断力成分(F S2 )は第2せん断力に対応して、そして、
前記第1せん断力は前記第2せん断力に対して垂直である、観点21に記載の方法。
(観点23)
各前記力のベクトル(F)が、基準座標系内の3つの成分を備える、観点1から20のいずれか一つに記載の方法。
(観点24)
前記画像データの一部として外部からの衝撃なしに前記センサの構成(10)の前記反射表面(230)の追加画像を用いて、
前記順伝播型ニューラルネットワーク(FFNN)が訓練されたか、もしくは前記力のマップ(FM)の計算が実行される、観点1から23のいずれか一つに記載の方法。
(観点25)
前記センサの構成(10)の壁(210)の躯体(240)の画像を前記画像データの一部として使って、前記順伝播型ニューラルネットワーク(FFNN)が訓練されたか、又は前記力のマップ(FM)の計算を行う、観点1から24のいずれか一つに記載の方法。
(観点26)
位置のコード化のためのグレースケールの勾配の画像を前記画像データの一部として使って、前記順伝播型ニューラルネットワーク(FFNN)が訓練されたか、又は前記力のマップ(FM)の計算を行う、観点1から25のいずれか一つに記載の方法。
(観点27)
順伝播型ニューラルネットワーク(FFNN)を訓練する方法(T)であって、
前記順伝播型ニューラルネットワークは、イメージセンサ(130)の画像データに基づいてセンサの構成(10)の計測表面(220)上の力のマップ(FM)を計算し、前記力のマップ(FM)は複数の力のベクトル(F)を備え、
前記順伝播型ニューラルネットワーク(FFNN)は、次のステップ、
- 前記センサの構成(10)に対して複数の力の試験を行うステップ(T_1)であって、
各力の試験が、前記センサの構成(10)の計測表面(220)上の位置に1つの圧子(800)により力を加え、前記圧子(800)によって加えられた力を同時に計測し、同時に前記イメージセンサ(130)から画像データを読み出すことを備える、
前記複数の力の試験を行うステップ(T_1)と、
- 各前記力の試験について、前記センサの構成(10)の1モデル(10’)で、対応する模擬試験を実行するステップ(T_2)であって、
各模擬試験は、前記モデル(10’)の模擬計測表面(220’)に模擬力を適用することを備え、それによって、前記模擬計測表面(220’)上の模擬力のマップ(FM’)を計算し、
前記模擬力のマップ(FM’)は、複数の模擬力のベクトル(F’)を備え、
模擬力は、計測された力に相当し、前記計測表面(220)上の位置に対応する前記模擬計測表面(220’)上の位置に加えられる、
前記模擬試験を実行するステップ(T_2)と、
- 前記順伝播型ニューラルネットワーク(FFNN)を、前記画像データと、対応する模擬力のマップ(FM’)を使用して訓練するステップ(T_3)と
で訓練される、順伝播型ニューラルネットワーク(FFNN)を訓練する方法。
(観点28)
前記順伝播型ニューラルネットワーク(FFNN)を訓練する前記力の試験は、各圧子がそれぞれの圧子形状を持つ複数の圧子(800)を用いて実行される、観点27に記載の方法。
(観点29)
前記圧子形状は、先端、円形、三角形断面、正方形断面、半球、立方体、及び円柱を少なくとも備える群から選択される、観点28に記載の方法。
(観点30)
前記模擬試験は、対応する前記力の試験で使われる実際の圧子形状に相当する各模擬圧子形状を持つ、複数の模擬圧子(800’)で加えられる模擬力で実行される、観点28又は29に記載の方法。
(観点31)
前記順伝播型ニューラルネットワーク(FFNN)は、複数の異なる圧子形状を使って訓練される、観点27から30のいずれか一つに記載の方法。
(観点32)
前記順伝播型ニューラルネットワーク(FFNN)は、異なるサイズを持つ複数の前記圧子(800)を使用して訓練される、観点27から31のいずれか一つに記載の方法。
(観点33)
前記順伝播型ニューラルネットワーク(FFNN)は、前記順伝播型ニューラルネットワーク(FFNN)を訓練する前記力の試験の少なくとも一部について、それぞれのせん断力を持つ複数の前記圧子(800)で訓練される、観点27から32のいずれか一つに記載の方法。
(観点34)
各計測された前記力は、垂直抗力成分と、第1せん断力成分と、第2せん断力成分を備える、観点27から33のいずれか一つに記載の方法。
(観点35)
複数の計測された前記力の中で、前記第1せん断力成分が第1せん断力に対応し、前記第2せん断力成分が第2せん断力に対応し、そして
前記第1せん断力が前記第2せん断力に垂直である、観点34に記載の方法。
(観点36)
各計測された前記力が、基準座標系内の3つの成分を備える、観点27から33のいずれか一つに記載の方法。
(観点37)
前記順伝播型ニューラルネットワーク(FFNN)が、異なるせん断力成分を持つ複数の力を使って訓練される、観点27から36のいずれか一つに記載の方法。
(観点38)
前記順伝播型ニューラルネットワーク(FFNN)が、異なる垂直抗力成分を持つ複数の力を使って訓練される、観点27から37のいずれか一つに記載の方法。
(観点39)
前記力が、前記圧子(800)内又は前記圧子(800)の隣に配置された力のセンサ(560)を使用して計測される、観点27から38のいずれか一つに記載の方法。
(観点40)
前記模擬力の各ベクトル(F’)が、垂直抗力成分(F’ )と、第1せん断力成分(F’ S1 )と、第2せん断力成分(F’ S2 )とを持つ、観点27から39のいずれか一つに記載の方法。
(観点41)
前記模擬力の複数ベクトル(F’)の中で、前記第1せん断力成分(F’ S1 )が第1せん断力に対応し、前記第2せん断力成分(F’ S2 )が第2せん断力に対応し、そして
前記第1せん断力が前記第2せん断力に垂直である、観点40に記載の方法。
(観点42)
各前記模擬力のベクトル(F’)が、基準座標系内の3つの成分を備える、観点27から39のいずれか一つに記載の方法。
(観点43)
前記順伝播型ニューラルネットワーク(FFNN)が、観点1に記載の方法又は観点1に従属する1観点に記載の方法で使われる、観点27から42のいずれか一つに記載の方法。
(観点44)
前記力のマップ(FM)が、mm 当たり少なくとも0.25の力のベクトル(F)、mm 当たり少なくとも0.5の力のベクトル(F)、mm 当たり少なくとも0.75の力のベクトル(F)、mm 当たり少なくとも1の力のベクトル(F)、mm 当たり少なくとも1.5の力のベクトル(F)、又はmm 当たり少なくとも2の力のベクトル(F)を備えることと、
前記力のマップ(FM)が、mm 当たり最大0.25の力のベクトル(F)、mm 当たり最大0.5の力のベクトル(F)、mm 当たり最大0.75の力のベクトル(F)、mm 当たり最大で1の力のベクトル(F)、mm 当たり最大で1.5の力のベクトル(F)、又はmm 当たり最大で2の力のベクトル(F)を備えることと
の少なくとも一方である、観点27から43のいずれか一つに記載の方法。
(観点45)
各前記力のベクトル(F)が、垂直抗力成分(F )と、第1せん断力成分(F S1 )と、第2せん断力成分(F S2 )とを備える、観点27から44のいずれか一つに記載の方法。
(観点46)
前記第1せん断力成分(F S1 )が第1せん断力に対応し、前記第2せん断力成分(F S2 )が第2せん断力に対応し、そして
前記第1せん断力が前記第2せん断力に対して垂直である、観点45に記載の方法。
(観点47)
各前記力のベクトル(F)が、基準座標系内の3つの成分を備える、観点27から44のいずれか一つに記載の方法。
(観点48)
前記順伝播型ニューラルネットワーク(FFNN)が、画像データの一部として外部からの衝撃なしに前記センサの構成(10)の前記反射表面(230)の追加画像を用いて訓練される、観点27から47のいずれか一つに記載の方法。
(観点49)
前記順伝播型ニューラルネットワーク(FFNN)が、前記画像データの一部として前記センサの構成(10)の壁(210)の躯体の画像を用いて訓練される、観点27から48のいずれか一つに記載の方法。
(観点50)
前記順伝播型ニューラルネットワーク(FFNN)が、前記画像データの一部として位置のコード化用のグレースケールの勾配の画像で訓練される、観点27から49のいずれか一つに記載の方法。
(観点51)
前記順伝播型ニューラルネットワーク(FFNN)が、グレースケールの勾配の画像と、躯体の画像と、基準光パターンとの中、1つ又はそれより多いもので訓練される、観点27から50のいずれか一つに記載の方法。
(観点52)
前記センサの構成(10)が、力を検知するセンサの構成(10)であって、
前記センサの構成(10)が、
弾性的に変形可能な壁(210)であって、前記壁(210)は外側の計測表面(220)と内側の反射表面(230)を備え、ここでは前記反射表面(230)が内部空間(12)を部分的に区切っている、前記壁(210)と、
複数の光源(164)を備えてかつ前記内部空間(12)に向かって光を放つように構成された光源の構成(160)と、
前記内部空間(12)内に取り付けられたイメージセンサ(130)と
を備える、観点27から51のいずれか一つに記載の方法。
(観点53)
前記センサの構成(10)が、力を検知するセンサの構成(10)であって、
前記センサの構成(10)が、
- 基部(100)と、
- 弾性的に変形可能な壁(210)を備える頂部(200)であって、前記頂部(200)は、前記頂部(200)及び前記基部(100)が内部空間(12)を画定するように前記基部(100)に取り付けられていて、前記壁(210)は外側の計測表面(220)と内側の反射表面(230)を備え、そこでは前記反射表面(230)が前記内部空間(12)を部分的に区切っている、前記頂部(200)と、
- 前記基部(100)に取り付けられている複数の光源(164)を備えて、前記内部空間(12)に向かって光を放つように構成されている光源の構成(160)と、
- 前記内部空間(12)内の前記基部(100)に取り付けられたイメージセンサ(130)と
を備える、観点1から52のいずれか一つに記載の方法。
(観点54)
前記センサの構成(10)が、ロボットの先端と、ロボットの操作要素との少なくとも一方である、観点1から53のいずれか一つに記載の方法。
(観点55)
力を検知するセンサの構成(10)の力の推論用の力の推論のモジュールであって、観点1から54のいずれか一つに記載の方法を実行するように構成された、力の推論のモジュール。
(観点56)
力を検知するセンサの構成(10)であって、前記センサの構成(10)が、
- 基部(100)と、
- 弾性的に変形可能な壁(210)を備える頂部(200)であって、前記頂部(200)は、前記頂部(200)及び前記基部(100)が内部空間(12)を画定するように前記基部(100)に取り付けられていて、前記壁(210)は外側の計測表面(220)と内側の反射表面(230)を備え、そこでは前記反射表面(230)が前記内部空間(12)を部分的に区切っている、前記頂部(200)と、
- 前記基部(100)に取り付けられている複数の光源(164)を備えて、前記内部空間(12)に向かって光を放つように構成されている光源の構成(160)と、
- 前記内部空間(12)内の前記基部(100)に取り付けられたイメージセンサ(130)と、
観点55に記載の力の推論のモジュールと
を備える、センサの構成(10)。

Claims (56)

  1. 力を測るセンサの構成(10)の力の推論の方法であって、
    前記センサの構成(10)が、
    弾性的に変形可能な壁(210)であって、前記壁(210)は外側の計測表面(220)と内側の反射表面(230)を備え、ここでは前記反射表面(230)は内部空間(12)を部分的に区切っている、前記壁(210)と、
    内部空間に向かって光を放つように構成された複数の光源(164)を備える光源の構成(160)と、
    前記内部空間(12)内に取り付けられたイメージセンサ(130)と
    を備え、前記力の推論の方法が、
    前記イメージセンサ(130)から画像データを読み出すステップと、
    順伝播型ニューラルネットワーク(FFNN)を使って前記画像データに基づいて前記計測表面(220)上に力のマップ(FM)を計算するステップであって、前記力のマップ(FM)が複数の力のベクトル(F)を備える、力のマップを計算するステップと
    を備える、前記力の推論の方法。
  2. 前記順伝播型ニューラルネットワーク(FFNN)は、力の推論の前に実行される以下のステップで訓練されて、
    - センサの構成(10)に対して複数の力の試験を行うステップ(T_1)であって、各力の試験が、
    前記センサの構成(10)の計測表面(220)上の位置に1つの圧子(800)により力を加えることと、前記圧子(800)によって加えられる力を同時に計測することと、
    前記イメージセンサ(130)から画像データを同時に読み出すことを備える、複数の力の試験を行うステップ(T_1)と、
    - 各力の試験について、前記センサの構成(10)の1モデル(10’)で対応する模擬試験を実行するステップ(T_2)であって、
    各模擬試験は、前記モデル(10’)の模擬計測表面(220’)に模擬力を適用することを備え、それによって、前記模擬計測表面(220’)上の模擬力のマップ(FM’)を計算し、
    前記模擬力のマップ(FM’)は、複数の模擬力のベクトル(F’)を備え、
    前記模擬力は、計測された力に相当し、前記計測表面(220)上の位置に対応する前記模擬計測表面(220’)上の位置に加えられる、模擬試験を実行するステップ(T_2)と、
    - 前記画像データと、対応する計算された模擬力のマップ(FM’)を使用して順伝播型ニューラルネットワーク(FFNN)を訓練するステップ(T_3)と
    を備える、請求項1に記載の方法。
  3. 前記順伝播型ニューラルネットワーク(FFNN)を訓練の力の試験は、各圧子がそれぞれ圧子形状を持つ複数の圧子(800)を用いて実行される、請求項2に記載の方法。
  4. 前記圧子形状は、先端、円形、三角形断面、正方形断面、半球、立方体、及び円柱を少なくとも備える群から選択される、請求項3に記載の方法。
  5. 前記模擬試験が、対応する力の試験で使用される実際の複数の圧子形状に対応するそれぞれの模擬圧子形状を持つ模擬圧子(800)によって適用される模擬力で実行される、請求項3又は4に記載の方法。
  6. 前記順伝播型ニューラルネットワーク(FFNN)が複数の異なる圧子形状を使って訓練された、請求項2から5のいずれか一項に記載の方法。
  7. 前記順伝播型ニューラルネットワーク(FFNN)が複数の異なるサイズを持つ複数の圧子(800)を使って訓練された、請求項2から6のいずれか一項に記載の方法。
  8. 前記順伝播型ニューラルネットワークは、前記順伝播型ニューラルネットワークを訓練する力の試験の少なくとも一部について、各せん断力で適用された前記圧子(800)で訓練された、請求項2から7のいずれか一項に記載の方法。
  9. 各前記計測された力は、垂直抗力成分、第1せん断力成分及び第2せん断力成分を備える、請求項2から8のいずれか一項に記載の方法。
  10. 前記計測された力の中で、前記第1せん断力成分は第1せん断力に対応し、前記第2せん断力成分は第2せん断力に対応し、そして
    前記第1せん断力は前記第2せん断力に垂直である、請求項9に記載の方法。
  11. 各前記計測された力は、基準座標系内の3つの成分を備える、請求項2から10のいずれか一項に記載の方法。
  12. 前記順伝播型ニューラルネットワーク(FFNN)は、異なるせん断力成分を持つ複数の力を使って訓練された、請求項2から11のいずれか一項に記載の方法。
  13. 前記順伝播型ニューラルネットワーク(FFNN)は、異なる垂直抗力成分を持つ複数の力を使って訓練された、請求項2から12のいずれか一項に記載の方法。
  14. 前記力が前記圧子(800)内又は前記圧子(800)の隣に配置された力のセンサ(560)を使って計測される、
    請求項2から13のいずれか一項に記載の方法。
  15. 各前記模擬力のベクトル(F’)は、垂直抗力成分(F’)、第1せん断力成分(F’S1)及び第2せん断力成分(F’S2)を備える、請求項2から14のいずれか一項に記載の方法。
  16. 各前記模擬力のベクトル(F’)は、基準座標系における3つの成分を備える、請求項2から14のいずれか一項に記載の方法。
  17. 計算された前記力のマップ(FM)が基づく画像データは、前記イメージセンサから読み出された画像データに加えて、いくつかの不変画像、又は3つの不変画像を備える、請求項1から16のいずれか一項に記載の方法。
  18. 前記不変画像は、グレースケールの勾配の画像と、躯体の画像と、基準光パターンと中の少なくとも一種類である、請求項17に記載の方法。
  19. 前記画像データの一部としての可変の画像は、前記力のマップ(FM)を計算する直前に撮影された、請求項17又は18に記載の方法。
  20. 前記力のマップ(FM)が、mm(1×10-6)当たり少なくとも0.25の力のベクトル(F)、mm当たり少なくとも0.5の力のベクトル(F)、mm当たり少なくとも0.75の力のベクトル(F)、mm当たり少なくとも1の力のベクトル(F)、mm当たり少なくとも1.5の力のベクトル(F)、又はmm当たり少なくとも2の力のベクトルを備えることと、
    前記力のマップ(FM)が、mm当たり最大0.25の力のベクトル、mm当たり最大で0.5の力のベクトル、mm当たり最大で0.75の力のベクトル、mm当たり最大で1の力のベクトル、mm当たり最大で1.5の力のベクトル、又はmm当たり最大で2の力のベクトルを備えることと
    の少なくとも一方である、請求項1から19のいずれか一項に記載の方法。
  21. 各前記力のベクトル(F)が、垂直抗力成分(F)と、第1せん断力成分(FS1)と、第2せん断力成分(FS2)と、を備える、請求項1から20のいずれか一項に記載の方法。
  22. 前記第1せん断力成分(FS1)は第1せん断力に対応し、前記第2せん断力成分(FS2)は第2せん断力に対応して、そして、
    前記第1せん断力は前記第2せん断力に対して垂直である、請求項21に記載の方法。
  23. 各前記力のベクトル(F)が、基準座標系内の3つの成分を備える、請求項1から20のいずれか一項に記載の方法。
  24. 前記画像データの一部として外部からの衝撃なしに前記センサの構成(10)の前記反射表面(230)の追加画像を用いて、
    前記順伝播型ニューラルネットワーク(FFNN)が訓練されたか、もしくは前記力のマップ(FM)の計算が実行される、請求項1から23のいずれか一項に記載の方法。
  25. 前記センサの構成(10)の壁(210)の躯体(240)の画像を前記画像データの一部として使って、前記順伝播型ニューラルネットワーク(FFNN)が訓練されたか、又は前記力のマップ(FM)の計算を行う、請求項1から24のいずれか一項に記載の方法。
  26. 位置のコード化のためのグレースケールの勾配の画像を前記画像データの一部として使って、前記順伝播型ニューラルネットワーク(FFNN)が訓練されたか、又は前記力のマップ(FM)の計算を行う、請求項1から25のいずれか一項に記載の方法。
  27. 順伝播型ニューラルネットワーク(FFNN)を訓練する方法(T)であって、
    前記順伝播型ニューラルネットワークは、イメージセンサ(130)の画像データに基づいてセンサの構成(10)の計測表面(220)上の力のマップ(FM)を計算し、前記力のマップ(FM)は複数の力のベクトル(F)を備え、
    前記順伝播型ニューラルネットワーク(FFNN)は、次のステップ、
    - 前記センサの構成(10)に対して複数の力の試験を行うステップ(T_1)であって、
    各力の試験が、前記センサの構成(10)の計測表面(220)上の位置に1つの圧子(800)により力を加え、前記圧子(800)によって加えられた力を同時に計測し、同時に前記イメージセンサ(130)から画像データを読み出すことを備える、
    前記複数の力の試験を行うステップ(T_1)と、
    - 各前記力の試験について、前記センサの構成(10)の1モデル(10’)で、対応する模擬試験を実行するステップ(T_2)であって、
    各模擬試験は、前記モデル(10’)の模擬計測表面(220’)に模擬力を適用することを備え、それによって、前記模擬計測表面(220’)上の模擬力のマップ(FM’)を計算し、
    前記模擬力のマップ(FM’)は、複数の模擬力のベクトル(F’)を備え、
    模擬力は、計測された力に相当し、前記計測表面(220)上の位置に対応する前記模擬計測表面(220’)上の位置に加えられる、
    前記模擬試験を実行するステップ(T_2)と、
    - 前記順伝播型ニューラルネットワーク(FFNN)を、前記画像データと、対応する模擬力のマップ(FM’)を使用して訓練するステップ(T_3)と
    で訓練される、順伝播型ニューラルネットワーク(FFNN)を訓練する方法。
  28. 前記順伝播型ニューラルネットワーク(FFNN)を訓練する前記力の試験は、各圧子がそれぞれの圧子形状を持つ複数の圧子(800)を用いて実行される、請求項27に記載の方法。
  29. 前記圧子形状は、先端、円形、三角形断面、正方形断面、半球、立方体、及び円柱を少なくとも備える群から選択される、請求項28に記載の方法。
  30. 前記模擬試験は、対応する前記力の試験で使われる実際の圧子形状に相当する各模擬圧子形状を持つ、複数の模擬圧子(800’)で加えられる模擬力で実行される、請求項28又は29に記載の方法。
  31. 前記順伝播型ニューラルネットワーク(FFNN)は、複数の異なる圧子形状を使って訓練される、請求項27から30のいずれか一項に記載の方法。
  32. 前記順伝播型ニューラルネットワーク(FFNN)は、異なるサイズを持つ複数の前記圧子(800)を使用して訓練される、請求項27から31のいずれか一項に記載の方法。
  33. 前記順伝播型ニューラルネットワーク(FFNN)は、前記順伝播型ニューラルネットワーク(FFNN)を訓練する前記力の試験の少なくとも一部について、それぞれのせん断力を持つ複数の前記圧子(800)で訓練される、請求項27から32のいずれか一項に記載の方法。
  34. 各計測された前記力は、垂直抗力成分と、第1せん断力成分と、第2せん断力成分を備える、請求項27から33のいずれか一項に記載の方法。
  35. 複数の計測された前記力の中で、前記第1せん断力成分が第1せん断力に対応し、前記第2せん断力成分が第2せん断力に対応し、そして
    前記第1せん断力が前記第2せん断力に垂直である、請求項34に記載の方法。
  36. 各計測された前記力が、基準座標系内の3つの成分を備える、請求項27から33のいずれか一項に記載の方法。
  37. 前記順伝播型ニューラルネットワーク(FFNN)が、異なるせん断力成分を持つ複数の力を使って訓練される、請求項27から36のいずれか一項に記載の方法。
  38. 前記順伝播型ニューラルネットワーク(FFNN)が、異なる垂直抗力成分を持つ複数の力を使って訓練される、請求項27から37のいずれか一項に記載の方法。
  39. 前記力が、前記圧子(800)内又は前記圧子(800)の隣に配置された力のセンサ(560)を使用して計測される、請求項27から38のいずれか一項に記載の方法。
  40. 前記模擬力の各ベクトル(F’)が、垂直抗力成分(F’)と、第1せん断力成分(F’S1)と、第2せん断力成分(F’S2)とを持つ、請求項27から39のいずれか一項に記載の方法。
  41. 前記模擬力の複数ベクトル(F’)の中で、前記第1せん断力成分(F’S1)が第1せん断力に対応し、前記第2せん断力成分(F’S2)が第2せん断力に対応し、そして
    前記第1せん断力が前記第2せん断力に垂直である、請求項40に記載の方法。
  42. 各前記模擬力のベクトル(F’)が、基準座標系内の3つの成分を備える、請求項27から39のいずれか一項に記載の方法。
  43. 前記順伝播型ニューラルネットワーク(FFNN)が、請求項1に記載の方法又は請求項1に従属する1請求項に記載の方法で使われる、請求項27から42のいずれか一項に記載の方法。
  44. 前記力のマップ(FM)が、mm当たり少なくとも0.25の力のベクトル(F)、mm当たり少なくとも0.5の力のベクトル(F)、mm当たり少なくとも0.75の力のベクトル(F)、mm当たり少なくとも1の力のベクトル(F)、mm当たり少なくとも1.5の力のベクトル(F)、又はmm当たり少なくとも2の力のベクトル(F)を備えることと、
    前記力のマップ(FM)が、mm当たり最大0.25の力のベクトル(F)、mm当たり最大0.5の力のベクトル(F)、mm当たり最大0.75の力のベクトル(F)、mm当たり最大で1の力のベクトル(F)、mm当たり最大で1.5の力のベクトル(F)、又はmm当たり最大で2の力のベクトル(F)を備えることと
    の少なくとも一方である、請求項27から43のいずれか一項に記載の方法。
  45. 各前記力のベクトル(F)が、垂直抗力成分(F)と、第1せん断力成分(FS1)と、第2せん断力成分(FS2)とを備える、請求項27から44のいずれか一項に記載の方法。
  46. 前記第1せん断力成分(FS1)が第1せん断力に対応し、前記第2せん断力成分(FS2)が第2せん断力に対応し、そして
    前記第1せん断力が前記第2せん断力に対して垂直である、請求項45に記載の方法。
  47. 各前記力のベクトル(F)が、基準座標系内の3つの成分を備える、請求項27から44のいずれか一項に記載の方法。
  48. 前記順伝播型ニューラルネットワーク(FFNN)が、画像データの一部として外部からの衝撃なしに前記センサの構成(10)の前記反射表面(230)の追加画像を用いて訓練される、請求項27から47のいずれか一項に記載の方法。
  49. 前記順伝播型ニューラルネットワーク(FFNN)が、前記画像データの一部として前記センサの構成(10)の壁(210)の躯体の画像を用いて訓練される、請求項27から48のいずれか一項に記載の方法。
  50. 前記順伝播型ニューラルネットワーク(FFNN)が、前記画像データの一部として位置のコード化用のグレースケールの勾配の画像で訓練される、請求項27から49のいずれか一項に記載の方法。
  51. 前記順伝播型ニューラルネットワーク(FFNN)が、グレースケールの勾配の画像と、躯体の画像と、基準光パターンとの中、1つ又はそれより多いもので訓練される、請求項27から50のいずれか一項に記載の方法。
  52. 前記センサの構成(10)が、力を検知するセンサの構成(10)であって、
    前記センサの構成(10)が、
    弾性的に変形可能な壁(210)であって、前記壁(210)は外側の計測表面(220)と内側の反射表面(230)を備え、ここでは前記反射表面(230)が内部空間(12)を部分的に区切っている、前記壁(210)と、
    複数の光源(164)を備えてかつ前記内部空間(12)に向かって光を放つように構成された光源の構成(160)と、
    前記内部空間(12)内に取り付けられたイメージセンサ(130)と
    を備える、請求項27から51のいずれか一項に記載の方法。
  53. 前記センサの構成(10)が、力を検知するセンサの構成(10)であって、
    前記センサの構成(10)が、
    - 基部(100)と、
    - 弾性的に変形可能な壁(210)を備える頂部(200)であって、前記頂部(200)は、前記頂部(200)及び前記基部(100)が内部空間(12)を画定するように前記基部(100)に取り付けられていて、前記壁(210)は外側の計測表面(220)と内側の反射表面(230)を備え、そこでは前記反射表面(230)が前記内部空間(12)を部分的に区切っている、前記頂部(200)と、
    - 前記基部(100)に取り付けられている複数の光源(164)を備えて、前記内部空間(12)に向かって光を放つように構成されている光源の構成(160)と、
    - 前記内部空間(12)内の前記基部(100)に取り付けられたイメージセンサ(130)と
    を備える、請求項1から52のいずれか一項に記載の方法。
  54. 前記センサの構成(10)が、ロボットの先端と、ロボットの操作要素との少なくとも一方である、請求項1から53のいずれか一項に記載の方法。
  55. 力を検知するセンサの構成(10)の力の推論用の力の推論のモジュールであって、請求項1から54のいずれか一項に記載の方法を実行するように構成された、力の推論のモジュール。
  56. 力を検知するセンサの構成(10)であって、前記センサの構成(10)が、
    - 基部(100)と、
    - 弾性的に変形可能な壁(210)を備える頂部(200)であって、前記頂部(200)は、前記頂部(200)及び前記基部(100)が内部空間(12)を画定するように前記基部(100)に取り付けられていて、前記壁(210)は外側の計測表面(220)と内側の反射表面(230)を備え、そこでは前記反射表面(230)が前記内部空間(12)を部分的に区切っている、前記頂部(200)と、
    - 前記基部(100)に取り付けられている複数の光源(164)を備えて、前記内部空間(12)に向かって光を放つように構成されている光源の構成(160)と、
    - 前記内部空間(12)内の前記基部(100)に取り付けられたイメージセンサ(130)と、
    請求項55に記載の力の推論のモジュールと
    を備える、センサの構成(10)。
JP2023535669A 2021-01-08 2021-01-08 力の推論の方法、順伝播型ニューラルネットワークの訓練方法、力の推論のモジュール及びセンサの構成 Pending JP2024501926A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2021/050231 WO2022148542A1 (en) 2021-01-08 2021-01-08 Method for force inference, method for training a feed-forward neural network, force inference module, and sensor arrangement

Publications (1)

Publication Number Publication Date
JP2024501926A true JP2024501926A (ja) 2024-01-17

Family

ID=74191709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023535669A Pending JP2024501926A (ja) 2021-01-08 2021-01-08 力の推論の方法、順伝播型ニューラルネットワークの訓練方法、力の推論のモジュール及びセンサの構成

Country Status (6)

Country Link
US (1) US20240053212A1 (ja)
EP (1) EP4275024A1 (ja)
JP (1) JP2024501926A (ja)
KR (1) KR20230128539A (ja)
CN (1) CN116710743A (ja)
WO (1) WO2022148542A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118329246A (zh) * 2023-01-10 2024-07-12 肯塔泰尔私人有限公司 感测布置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661169B (zh) * 2019-05-16 2024-08-13 腾讯科技(深圳)有限公司 基于视觉的触觉测量方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022148542A1 (en) 2022-07-14
CN116710743A (zh) 2023-09-05
US20240053212A1 (en) 2024-02-15
EP4275024A1 (en) 2023-11-15
KR20230128539A (ko) 2023-09-05

Similar Documents

Publication Publication Date Title
JP6635690B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6238521B2 (ja) 3次元計測装置およびその制御方法
US20110080471A1 (en) Hybrid method for 3D shape measurement
US20030112448A1 (en) Method and device for determining the 3d profile of an object
CN109426818B (zh) 用于识别视线外对象的装置
CN110910506B (zh) 基于法线检测的三维重建方法、装置、检测装置及系统
JP2011027734A (ja) 肌理のある面の検査のための装置
JP2016109669A (ja) 情報処理装置、情報処理方法、プログラム
Rajendran et al. PIV/BOS synthetic image generation in variable density environments for error analysis and experiment design
US20160307322A1 (en) Image recording simulation in a coordinate measuring machine
JP2024501926A (ja) 力の推論の方法、順伝播型ニューラルネットワークの訓練方法、力の推論のモジュール及びセンサの構成
JP2014081216A (ja) 波面光学測定装置
KR100483666B1 (ko) 광막을 이용한 원형물체의 비행 속도 및 위치 측정 시스템
JP2024501925A (ja) 力を検知するセンサの構成と、センサの構成及びセンサの構成の部品を製造する方法
CN103968787B (zh) 用于对结构的元件的位置进行测量的测量方法和系统
JP2008196916A (ja) 光学素子評価方法、光学面評価方法および光学面評価装置
Bader et al. Quadrant detector-based method for eye point alignment of augmented and virtual reality head mounted displays
JP6381262B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2005106491A (ja) 頭部の三次元形状計測システム
KR100544979B1 (ko) 물체의 반사율 획득 시스템 및 물체 표현 방법
JP6822086B2 (ja) シミュレーション装置、シミュレーション方法およびシミュレーションプログラム
JP7558726B2 (ja) 測定プログラムおよび測定装置
JP7249342B2 (ja) マルチビュー眼科診断システム
JP2004526972A (ja) 測定空間内の点の特定方法
Sun et al. Illumination compensation for nominally planar surface recovery

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231225