KR20230128539A - 힘 추론을 위한 방법, 피드포워드 신경망을 트레이닝하기위한 방법, 힘 추론 모듈, 및 센서 배열체 - Google Patents
힘 추론을 위한 방법, 피드포워드 신경망을 트레이닝하기위한 방법, 힘 추론 모듈, 및 센서 배열체 Download PDFInfo
- Publication number
- KR20230128539A KR20230128539A KR1020237026751A KR20237026751A KR20230128539A KR 20230128539 A KR20230128539 A KR 20230128539A KR 1020237026751 A KR1020237026751 A KR 1020237026751A KR 20237026751 A KR20237026751 A KR 20237026751A KR 20230128539 A KR20230128539 A KR 20230128539A
- Authority
- KR
- South Korea
- Prior art keywords
- force
- neural network
- simulated
- ffnn
- feedforward neural
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000012549 training Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims description 103
- 238000005259 measurement Methods 0.000 claims description 66
- 238000012360 testing method Methods 0.000 claims description 38
- 238000004088 simulation Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 description 43
- 238000001514 detection method Methods 0.000 description 42
- 239000003086 colorant Substances 0.000 description 10
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 229910052782 aluminium Inorganic materials 0.000 description 6
- 210000000282 nail Anatomy 0.000 description 6
- 229920001971 elastomer Polymers 0.000 description 5
- 239000000806 elastomer Substances 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 229920005839 ecoflex® Polymers 0.000 description 3
- 229910001220 stainless steel Inorganic materials 0.000 description 3
- 239000010935 stainless steel Substances 0.000 description 3
- 238000010146 3D printing Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- 229910001369 Brass Inorganic materials 0.000 description 1
- 229910000906 Bronze Inorganic materials 0.000 description 1
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000010951 brass Substances 0.000 description 1
- 239000010974 bronze Substances 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- KUNSUQLRTQLHQQ-UHFFFAOYSA-N copper tin Chemical compound [Cu].[Sn] KUNSUQLRTQLHQQ-UHFFFAOYSA-N 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 210000004905 finger nail Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011796 hollow space material Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
- G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
- G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
- G01L5/228—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping using tactile array force sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Force Measurement Appropriate To Specific Purposes (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 이미지 데이터를 사용하여 센서 배열체의 힘 추론을 위한 방법, 피드포워드 신경망을 트레이닝하기 위한 대응하는 트레이닝 방법, 대응하는 힘 추론 모듈 및 대응하는 센서 배열체에 관한 것이다.
Description
본 발명은 힘들을 감지하기 위한 센서 배열체의 힘 추론을 위한 방법, 피드포워드 신경망 트레이닝 방법, 힘 추론 모듈, 및 센서 배열체에 관한 것이다.
로봇들과 같은 애플리케이션들을 개발할 때, 로봇 핸드 또는 다리와 같은 로봇의 다른 부분 또는 조작 디바이스에 가해지는 힘들의 감지는 로봇들에게 객체들을 움직이고 그리고/또는 조작하기 위한 증가된 능력들을 제공하는데 중요하다. 인가된 힘들에 관해 피드백을 갖기 위해 로봇 애플리케이션들에서 사용될 수 있는 센서 배열들에 대한 알려진 구현들은 충분한 분해능을 갖지 않거나 취약하다.
따라서, 본 발명의 목적은 공지된 방법들과 비교하여 대안적이거나 향상된 힘 추론을 위한 방법을 제공하는 것이다. 본 발명의 다른 목적은 피드포워드 신경망을 트레이닝하기 위한 대응하는 방법을 제공하는 것이다. 본 발명의 다른 목적은 대응하는 힘 추론 모듈 및 대응하는 센서 배열체를 제공하는 것이다.
그 목적들은 주 청구항들의 주제로 달성된다. 바람직한 실시양태들은 예를 들어, 종속 청구항들로부터 도출될 수 있다. 상세 설명의 내용은 명시적 참조에 의해 청구항들의 내용으로 이루어진다.
본 발명은 힘들을 감지하기 위한 센서 배열체의 힘 추론을 위한 방법에 관한 것이다.
센서 배열체, 예를 들어, 상기 방법이 적용될 수도 있는 센서 배열체는 특히 적어도 다음을 포함할 수도 있다:
- 외부 측정면 및 내부 반사면을 포함하는 탄성 변형 가능한 벽 - 반사면은 내부 공간을 부분적으로 한정함 -,
- 내부 공간을 향해 광을 방출하도록 배열되는 여러 개의 광원을 포함하는 광원 배열체, 및
- 내부 공간에 장착되는 이미지 센서.
센서 배열체와 관련하여, 본 명세서의 다른 곳에 주어진 설명에 대한 참조가 이루어진다. 개시된 모든 실시양태들 및 변형들이 적용될 수도 있다.
힘 추론을 위한 방법은 다음 단계들을 포함한다:
- 이미지 센서로부터 이미지 데이터를 판독하는 단계, 및
- 이미지 데이터에 기초하여, 바람직하게는 피드포워드 신경망(feed-forward neural network)을 사용하여, 측정면 상의 힘 맵을 계산하는 단계 - 힘 맵은 복수의 힘 벡터들을 포함함-.
그러한 방법은 이미지 검출에 기초하는 매우 정확한 힘 추론을 제공한다. 피드포워드 신경망의 사용은 분석력 평가를 구현하기 위한 필요성을 생략한다. 신경망은 특히 본 명세서에 개시된 바와 같이 트레이닝될 수도 있다. 트레이닝은 다수의 인덴터들을 검출하고 심지어 인덴터들의 위치들, 힘들의 방향 및 형상들을 식별할 수 있는 매우 정확하고 정세한 힘 추론을 초래한다는 것이 발견되었다.
힘 맵은 특히 실제 측정면 상에서 정의되는 맵일 수도 있으며, 여기서 힘 맵은 여러 맵 포인트들을 포함할 수도 있다. 각각의 맵 포인트에서, 일부 정보는, 예를 들어 아래에 추가로 설명되는 바와 같은 힘 벡터가 정의될 수도 있다. 힘 맵은 통상적으로는 측정면에 가해지는 힘들에 대한 정보를 제공한다. 예를 들어, 그러한 힘들은, 예를 들어, 센서 배열체가 로봇 손가락 팁일 때, 측정면 상에서 가압하는 인덴터 또는 수개의 인덴터들로부터 또는 센서 배열체에 의해 현재 조작되는 객체로부터 유래할 수도 있다.
피드포워드 신경망은 특히 인공 신경망일 수도 있다. 그것은 이미지 데이터를 입력으로 얻고 힘 맵을 출력으로 전달한다. 원칙적으로, 피드포워드 신경망은 노드들 사이의 연결들이 사이클을 형성하지 않는 인공 신경망이다.
이하에서, 네트워크의 트레이닝 양태들이 설명될 것이다. 이 섹션에서 언급된 트레이닝을 위한 단계들은 특히, 실제 힘 측정치들의 힘 추론이 수행되기 전에 수행된 단계들로서 고려되어야 한다. 따라서, 힘 추론을 위한 방법은 힘 추론 전에 수행되는 트레이닝 단계들 및 트레이닝된 네트워크를 사용하는 힘 추론의 조합으로 간주될 수 있다. 힘 추론을 위한 방법은 그에 따라 트레이닝된 네트워크를 사용하여, 힘 추론 자체로서 간주될 수 있다. 이하, 별도의 트레이닝 방법에 대해 설명한다. 이 트레이닝 방법은 임의의 힘 추론으로부터 독립적으로 수행될 수 있다. 전형적으로 이미지 센서가 판독되고 힘 맵이 생성되는 힘 추론은 사용 사례에서, 즉, 예를 들어 센서 배열체가 현재 객체를 조작하고 있거나 그렇지 않으면 측정면에 압력을 인가하는 객체와 접촉하고 있기 때문에, 센서 배열체가 측정면에 인가되는 힘을 측정 또는 평가하기 위해 사용될 때 수행될 액션으로서 고려되어야 한다.
바람직한 구현에 따르면, 피드포워드 신경망은 힘 추론 전에 수행되는 다음의 단계들로 트레이닝되었다:
- 센서 배열체에 대해 복수의 힘 테스트를 수행하는 단계 - 각각의 힘 테스트는 센서 배열체의 측정면 상의 위치 상에 하나의 인덴터에 의한 힘의 인가, 인덴터에 의해 인가된 힘을 동시에 측정하는 것 및 이미지 센서로부터 이미지 데이터를 동시에 판독하는 것을 포함함 -,
- 각각의 힘 테스트에 대해, 센서 배열체의 모델로 대응하는 시뮬레이션을 수행하는 단계 - 각각의 시뮬레이션은 모델의 시뮬레이션된 측정면 상에 시뮬레이션된 힘의 인가를 포함하고, 그에 의해 시뮬레이션된 측정면 상의 시뮬레이션된 힘 맵을 계산하며, 시뮬레이션된 힘 맵은 복수의 시뮬레이션된 힘 벡터들을 포함하고, 시뮬레이션된 힘은 측정된 힘에 대응하고 측정면 상의 위치에 대응하는 시뮬레이션된 측정면 상의 위치 상에 인가됨 -; 및
- 이미지 데이터 및 대응하는 계산된 시뮬레이션된 힘 맵들로 피드포워드 신경망을 트레이닝하는 단계.
이러한 트레이닝 단계들은 피드포워드 신경망의 적절한 트레이닝을 제공할 수 있다. 피드포워드 신경망은 실제 힘들 및 대응하는 힘 맵들을 학습할 수 있으며, 전자는 측정들로부터 나오고 후자는 시뮬레이션들로부터 나온다.
힘의 측정 및 이미지 데이터의 판독은 통상적으로 힘이 실제로 인가되는 동안, 바람직하게는 정지 상태에서 수행된다. 그런 다음 힘이 시뮬레이션에 사용된다.
"시뮬레이션된"으로 표시된 모든 용어는 통상적으로 시뮬레이션과 관련된다는 점에 유의한다. 예를 들어, 시뮬레이션된 측정면은 시뮬레이션에만 존재하는 측정면이다. 모델은 결정론적 방식으로 인가된 시뮬레이션된 힘으로부터 힘 맵을 계산할 수 있다. 예를 들어, 헤르츠 접촉 이론(Hertz Contact Theory)을 사용하는 힘 포인트 주위의 간단한 공간 분포가 사용될 수 있다. 대안적인 예로서, 유한 요소 모델(finite element model)이 사용될 수 있다.
시뮬레이션된 힘은 측정된 힘과 동일할 수도 있다. 이는 시뮬레이션된 힘이 3차원에서 동일한 성분들을 가질 수 있다는 것, 및/또는 동일한 배향 및 절대 값을 갖는다는 것을 의미할 수도 있다. 그러나, 시뮬레이션된 힘은 또한 미리 정의된 관계에 의해 측정된 힘에 대응할 수도 있다.
바람직하게는, 피드포워드 신경망을 트레이닝하기 위한 힘 테스트들은 각각의 인덴터 형상을 각각 갖는 복수의 인덴터들로 수행된다. 특히, 인덴터 형상들은 상이할 수도 있다. 따라서, 피드포워드 신경망은 상이한 인덴터 형상들을 구별할 수 있는, 즉 상이한 인덴터들이 적용될 때 상이한 힘 맵들을 생성하는 방식으로 트레이닝될 수도 있다.
예를 들어, 인덴터 형상들은 팁(tip), 라운드(round), 삼각형 단면, 정사각형 단면, 반구, 큐브 및 원통 중 적어도 하나를 포함하는 그룹으로부터 선택될 수도 있다. 모든 언급된 인덴터 형상들이 트레이닝 프로세스에서 사용될 수도 있거나, 단지 서브세트만이 사용될 수도 있다. 또한, 다른 인덴터 형상들이 사용될 수 있다.
바람직하게는, 시뮬레이션들은 시뮬레이션된 인덴터들에 의해 또는 이에 기초하여 인가되는 시뮬레이션된 힘들로 수행된다. 이러한 시뮬레이션된 인덴터들은 대응하는 힘 테스트에서 사용되는 실제 인덴터 형상들에 대응하는 각각의 시뮬레이션된 인덴터 형상들을 가질 수도 있다. 따라서, 시뮬레이션된 측정면 상에 인가된 시뮬레이션된 힘은 또한 인덴터 형상이 유사해짐에 따라 실제 힘에 더 가깝게 대응할 수 있다. 이는 피드포워드 신경망의 트레이닝(training)을 향상시킨다.
바람직하게는, 피드포워드 신경망은 복수의 상이한 인덴터 형상들을 사용하여 트레이닝되었다. 이는 상이한 인덴터 형상들을 더 양호하게 구별하기 위해 피드포워드 신경망을 트레이닝시킬 수 있다.
바람직하게는, 피드포워드 신경망은 상이한 사이즈들을 갖는 복수의 인덴터들을 사용하여 트레이닝되었다. 이는 상이한 인덴터 사이즈들을 구별하기 위한 피드포워드 신경망의 트레이닝을 허용한다.
바람직하게는, 피드포워드 신경망은, 피드포워드 신경망을 트레이닝하기 위한 힘 테스트들의 적어도 일부에 대해, 각각의 전단력들이 인가되는, 인덴터들로 트레이닝되었다. 이는 전단력을 구별할 수 있도록 피드포워드 신경망을 트레이닝시키는 것을 허용한다. 예를 들어, 힘 맵은 또한 시뮬레이션된 전단력들을 포함할 수도 있다. 특히, 상이한 전단력들은 상이한 힘 맵들을 초래할 수도 있다.
바람직하게는, 측정된 힘들 각각은 수직력 성분, 제 1 전단력 성분 및 제 2 전단력 성분을 포함한다. 이는 좌표계에서 힘의 강도와 배향을 정의한다. 특히, 글로벌 좌표계(global coordinate system)가 사용될 수도 있다. 그러나, 또한 다른 힘의 표현이 사용될 수 있다.
바람직하게는, 측정된 힘들의, 제 1 전단력 성분은 제 1 전단력에 대응하고, 제 2 전단력 성분은 제 2 전단력에 대응한다. 특히, 제 1 전단력은 제 2 전단력에 수직이다.
측정된 힘들의 각각은 기준 좌표계에서 3개의 성분을 포함할 수도 있다. 기준 좌표계는 글로벌 좌표계일 수도 있다. 일부 표준 수학적 변환만을 필요로 하는 임의의 다른 표현은 동등한 것으로 간주되어야 한다.
바람직하게는, 피드포워드 신경망은 상이한 전단력 성분들을 갖는 복수의 힘을 사용하여 트레이닝되었다. 이는 구체적으로 피드포워드 신경망을 상이한 전단력들을 구별하도록 트레이닝시킬 수도 있다. 특히, 실제 인가된 힘들에서 상이한 전단력들은 상이한 힘 맵들을 초래할 수도 있다.
바람직하게는, 피드포워드 신경망은 상이한 수직력 성분들을 갖는 복수의 힘을 사용하여 트레이닝되었다. 이는 피드포워드 신경망이 상이한 수직력들을 구별하도록 트레이닝하는 것을 허용한다. 수직력 성분은 표면에 국부적으로 수직인 힘의 성분일 수도 있다.
힘들은 인덴터 내의 또는 인덴터에 인접하게 위치된 힘 센서를 이용하여 측정될 수도 있다. 이는 직접적인 힘 측정을 허용한다. 특히, 힘 센서는 힘들의 절대값뿐만 아니라 대응하는 배향을 측정할 수도 있다. 그 배향에 의해, 전단력들이 도출될 수 있다.
바람직하게는, 시뮬레이션된 힘 벡터들 각각은 수직력 성분, 제 1 전단력 성분, 및 제 2 전단력 성분을 포함한다. 따라서, 시뮬레이션된 힘 벡터들은 피드포워드 신경망을 트레이닝하기 위해 사용될 수 있는 시뮬레이션된 힘 맵 상의 전단력 성분들과 유사할 수도 있다.
바람직하게는, 시뮬레이션된 힘 벡터들의, 제 1 전단력 성분은 제 1 전단력에 대응하고, 제 2 전단력 성분은 제 2 전단력에 대응한다. 특히, 제 1 전단력은 제 2 전단력에 수직이다.
바람직하게는, 시뮬레이션된 힘 벡터들 각각은 기준 좌표계에서 3개의 성분을 포함한다. 기준 좌표계는 방법에서 모든 힘 표현들에 대해 사용될 수도 있다. 그러나, 다른 표현들이 또한 사용될 수 있다.
바람직하게는, 계산된 힘 맵이 기초하는 이미지 데이터는 이미지 센서로부터 판독된 이미지 데이터에 추가하여, 여러 개의 불변 이미지, 바람직하게는 3개의 불변 이미지를 포함한다. 이미지 센서로부터 판독된 이미지 데이터를 가변 이미지(variable image)라고 칭할 수도 있다. 불변 이미지들(invariant images)은 다음과 같이 설정될 수도 있다. 이는 피드포워드 신경망으로부터의 결과들을 개선하는 것으로 나타났다. 불변 이미지들은 모든 트레이닝 단계들 및 힘 추론 단계들에서 변동 없이 사용될 수 있다.
바람직하게는, 불변 이미지들은 그레이스케일 그래디언트 이미지(greyscale gradient image), 골격의 이미지, 및/또는 기준 광 패턴이다. 이러한 이미지들은 전형적인 힘 추론 애플리케이션들에 적합한 것으로 입증되었다.
바람직하게는, 이미지 데이터의 일부로서 가변 이미지가 힘 맵을 계산하기 직전에 취해졌다. 따라서, 힘 맵은 센서 배열체의 실제 상태에 대응한다.
바람직한 구현들에 따르면, 힘 맵은 적어도 0.25 힘 벡터/mm2, 적어도 0.5 힘 벡터/mm2, 적어도 0.75 힘 벡터/mm2, 적어도 1 힘 벡터/mm2, 적어도 1.5 힘 벡터/mm2, 또는 적어도 2 힘 벡터/mm2를 포함할 수도 있다. 바람직한 구현들에 따르면, 힘 맵은 최대 0.25 힘 벡터/mm2, 최대 0.5 힘 벡터/mm2, 최대 0.75 힘 벡터/mm2, 최대 1 힘 벡터/mm2, 최대 1.5 힘 벡터/mm2, 또는 최대 2 힘 벡터/mm2를 포함한다. 각각의 더 낮은 값은 적절한 간격을 형성하기 위해 더 높은 값과 결합될 수 있다. 그러나, 다른 값들 또한 사용될 수 있다.
바람직하게는, 각각의 힘 벡터는 수직력 성분, 제 1 전단력 성분 및 제 2 전단력 성분을 포함한다. 따라서, 힘 벡터는 법선 성분들 뿐만 아니라 전단력 성분들을 제공할 수도 있다.
바람직하게는, 제 1 전단력 성분은 제 1 전단력에 대응하고, 제 2 전단력 성분은 제 2 전단력에 대응한다. 제 1 전단력은 특히 제 2 전단력에 수직일 수도 있다.
바람직하게는, 각각의 힘 벡터는 기준 좌표계에서 3개의 성분을 포함한다. 이는 또한 힘의 배향을 제공할 수 있고 따라서 전단력들을 제공할 수 있다. 국소 표면에 수직이 아닌 힘 벡터는 전형적으로 전단력들을 포함한다는 것에 주목해야 한다.
바람직하게는, 피드포워드 신경망은 이미지 데이터의 일부로서 외부 영향(external impact) 없이 센서 배열체의 반사면의 추가적 이미지로 트레이닝되거나, 힘 맵의 계산이 수행된다. 이는 검출 정확도를 증가시킬 수도 있다.
바람직하게는, 피드포워드 신경망은 이미지 데이터의 일부로서 센서 배열체의 벽의 골격의 이미지로 트레이닝되거나, 힘 맵의 계산이 수행된다. 이는 또한 검출 정확도를 증가시킬 수도 있다.
바람직하게는, 피드포워드 신경망은 이미지 데이터의 일부로서 위치 인코딩을 위한 그레이스케일 그래디언트 이미지로 트레이닝되거나, 힘 맵의 계산이 수행된다. 이는 또한 검출 정확도를 증가시킬 수도 있다.
이러한 추가적인 이미지들, 예를 들어, 골격의, 외부 영향 없는 반사면의 이미지들, 및 그레이스케일 그래디언트 이미지는 검출 정확도를 증가시키고/시키거나 더 나은 트레이닝을 제공할 수도 있다. 이러한 이미지들은 불변 이미지들일 수도 있고, 이미지 센서로부터 판독될 수도 있는 가변 이미지에 추가하여 이미지 데이터의 일부로서 사용될 수도 있다. 외부 영향이 없는 반사면의 이미지는 특히 측정면에 힘이 가해지지 않았을 때 촬영된 반사면의 이미지일 수도 있다.
이하에서는 피드포워드 신경망의 트레이닝을 위한 별도의 방법이 설명될 것이다. 이 방법은 힘 추론을 위한 방법의 일부가 아니라, 네트워크를 트레이닝하기 위해 별도로 수행된다. 각각의 특징들에 관하여, 반복을 회피하기 위해, 네트워크의 트레이닝 및 힘 추론을 위한 방법에 관하여 앞서 이미 주어진 진술들을 참조한다.
본 발명은 피드포워드 신경망을 트레이닝하기 위한 방법에 관한 것으로,
- 피드포워드 신경망은 바람직하게는 이미지 센서의 이미지 데이터에 기초하여 센서 배열체의 측정면 상의 힘 맵을 계산하고, 그 힘 맵은 복수의 힘 벡터들을 포함하며,
- 피드포워드 신경망은 다음 단계들로 트레이닝된다:
- 센서 배열체에 대해 복수의 힘 테스트를 수행하는 단계 - 각각의 힘 테스트는 센서 배열체의 측정면 상의 위치 상에 하나의 인덴터에 의한 힘의 인가, 인덴터에 의해 인가된 힘을 동시에 측정하는 것 및 이미지 센서로부터 이미지 데이터를 동시에 판독하는 것을 포함함 -,
- 각각의 힘 테스트에 대해, 센서 배열체의 모델로 대응하는 시뮬레이션을 수행하는 단계 - 각각의 시뮬레이션은 모델의 시뮬레이션된 측정면 상에 시뮬레이션된 힘의 인가를 포함하고, 그에 의해 시뮬레이션된 측정면 상의 시뮬레이션된 힘 맵을 계산하며, 시뮬레이션된 힘 맵은 복수의 시뮬레이션된 힘 벡터들을 포함하고, 시뮬레이션된 힘은 측정된 힘에 대응하고 측정면 상의 위치에 대응하는 시뮬레이션된 측정면 상의 위치 상에 인가됨 -; 및
- 이미지 데이터 및 대응하는 계산된 시뮬레이션된 힘 맵들로 피드포워드 신경망을 트레이닝하는 단계.
일 구현에 따르면, 피드포워드 신경망을 트레이닝하기 위한 힘 테스트들은 각각의 인덴터 형상을 각각 갖는 복수의 인덴터들로 수행된다.
일 구현에 따르면, 인덴터 형상들은 적어도 팁, 라운드, 삼각형 단면, 정사각형 단면, 반구, 큐브, 및 원통을 포함하는 그룹으로부터 선택된다.
일 구현에 따르면, 시뮬레이션들은 시뮬레이션된 인덴터들에 의해 또는 그에 기초하여 인가되는 시뮬레이션된 힘들로, 바람직하게는 대응하는 힘 테스트에서 사용되는 실제 인덴터 형상들에 대응하는 각각의 시뮬레이션된 인덴터 형상들로 수행된다.
일 구현에 따르면, 피드포워드 신경망은 복수의 상이한 인덴터 형상들을 사용하여 트레이닝된다.
일 구현에 따르면, 피드포워드 신경망은 상이한 사이즈들을 갖는 복수의 인덴터들을 사용하여 트레이닝된다.
일 구현에 따르면, 피드포워드 신경망은, 적어도 피드포워드 신경망을 트레이닝하기 위한 힘 테스트들의 일부에 대해, 각각의 전단력들로 가해지는 인덴터들로 트레이닝된다.
일 구현에 따르면, 측정된 힘들 각각은 수직력 성분, 제 1 전단력 성분 및 제 2 전단력 성분을 포함한다.
일 구현에 따르면, 측정된 힘들의, 제 1 전단력 성분은 제 1 전단력에 대응하고 제 2 전단력 성분은 제 2 전단력에 대응한다. 제 1 전단력은 특히 제 2 전단력에 수직일 수도 있다.
일 구현에 따르면, 측정된 힘들의 각각은 기준 좌표계에서 3개의 성분들을 포함한다.
일 구현에 따르면, 피드포워드 신경망은 상이한 전단력 성분들을 갖는 복수의 힘들을 사용하여 트레이닝된다.
일 구현에 따르면, 피드포워드 신경망은 상이한 수직력 성분들을 갖는 복수의 힘들을 사용하여 트레이닝된다.
일 구현에 따르면, 힘들은 인덴터 내의 또는 인덴터에 인접하게 포지셔닝된 힘 센서를 사용하여 측정된다.
일 구현에 따르면, 시뮬레이션된 힘 벡터들의 각각은 수직력 성분, 제 1 전단력 성분 및 제 2 전단력 성분을 포함한다.
일 구현에 따르면, 시뮬레이션된 힘 벡터들의, 제 1 전단력 성분은 제 1 전단력에 대응하고 제 2 전단력 성분은 제 2 전단력에 대응한다. 제 1 전단력은 특히 제 2 전단력에 수직일 수도 있다.
일 구현에 따르면, 시뮬레이션된 힘 벡터들 각각은 기준 좌표계에서 3개의 성분들을 포함한다.
구현에 따르면, 피드포워드 신경망은 본 명세서에 설명된 바와 같은 힘 추론을 위한 방법에서 사용된다. 힘 추론을 위한 방법과 관련하여, 모든 구현들 및 변형들이 적용될 수 있다.
각각의 구현들에 따르면, 힘 맵은 적어도 0.25 힘 벡터/mm2, 적어도 0.5 힘 벡터/mm2, 적어도 0.75 힘 벡터/mm2, 적어도 1 힘 벡터/mm2, 적어도 1.5 힘 벡터/mm2, 또는 적어도 2 힘 벡터/mm2를 포함할 수도 있다.
각각의 구현들에 따르면, 힘 맵은 최대 0.25 힘 벡터/mm2, 최대 0.5 힘 벡터/mm2, 최대 0.75 힘 벡터/mm2, 최대 1 힘 벡터/mm2, 최대 1.5 힘 벡터/mm2, 또는 최대 2 힘 벡터/mm2를 포함한다.
구현들에 따르면, 각각의 힘 벡터는 수직력 성분, 제 1 전단력 성분 및 제 2 전단력 성분을 포함한다.
일 구현에 따르면, 제 1 전단력 성분은 제 1 전단력에 대응하고, 제 2 전단력 성분은 제 2 전단력에 대응한다. 제 1 전단력은 특히 제 2 전단력에 수직일 수도 있다.
일 구현에 따르면, 각각의 힘 벡터는 기준 좌표계에서 3개의 성분을 포함한다.
일 구현에 따르면, 피드포워드 신경망은 이미지 데이터에 추가하여 외부 영향 없이 센서 배열체의 반사면의 추가적인 이미지로 트레이닝된다.
일 구현에 따르면, 피드포워드 신경망은 이미지 데이터의 일부로서 센서 배열체의 벽의 골격의 이미지로 트레이닝된다.
일 구현에 따르면, 피드포워드 신경망은 이미지 데이터의 일부로서 위치 인코딩을 위한 그레이스케일 그래디언트 이미지로 트레이닝된다.
일 구현에 따르면, 피드포워드 신경망은 그레이스케일 그래디언트 이미지, 골격의 이미지, 및/또는 기준 광 패턴 중 하나 이상으로 트레이닝된다.
일 구현에 따르면, 센서 배열체는 힘들을 감지하기 위한 센서 배열체이다. 센서 배열체는 특히 다음 중 하나 이상을 포함할 수도 있다:
- 외부 측정면 및 내부 반사면을 포함하는 탄성 변형 가능한 벽 - 반사면은 내부 공간을 부분적으로 한정함 -,
- 여러 개의 광원들을 포함하고 내부 공간을 향해 광을 방출하도록 배열된 광원 배열체, 및
- 내부 공간에 장착되는 이미지 센서.
본 명세서의 다른 곳에서 주어진 센서 배열의 설명에 대해 추가적인 참조가 이루어진다. 모든 설명된 실시양태들 및 변형들이 적용될 수 있다.
일 구현에 따르면, 센서 배열체는 힘들을 감지하기 위한 센서 배열체이다. 센서 배열체는 특히 다음 중 하나 이상을 포함할 수도 있다:
- 베이스 부분,
- 탄성 변형 가능한 벽을 포함하는 상부 부분 - 상부 부분은 그 상부 부분 및 베이스 부분이 내부 공간을 정의하도록 베이스 부분 상에 장착되고, 벽은 외부 측정면 및 내부 반사면을 포함하며, 반사면은 내부 공간을 부분적으로 한정함 -;
- 베이스 부분 상에 장착되고 내부 공간을 향해 광을 방출하도록 배열된 여러 개의 광원들을 포함하는 광원 배열체, 및
- 내부 공간의 베이스 부분에 장착되는 이미지 센서.
센서 배열체의 추가적인 가능한 양태들과 관련하여, 본 명세서의 다른 곳에 주어진 진술들에 대한 참조가 이루어진다. 모든 실시양태들 및 변형들이 적용될 수 있다.
센서 배열체는 특히 로봇의 손가락 팁 및/또는 로봇의 조작 요소일 수도 있다. 이는 로봇에서의 기능의 통합을 허용한다. 그러나, 또한 다른 구현들 및 애플리케이션들이 가능하다.
본 발명은 또한 힘들을 감지하기 위한 센서 배열체의 힘 추론을 위한 힘 추론 모듈에 관한 것으로, 그 힘 추론 모듈은 본 명세서에 설명된 바와 같은 힘 추론을 위한 방법을 수행하도록 구성된다. 상기 방법과 관련하여, 모든 구현들 및 변형들이 적용될 수 있다.
힘 추론 모듈은, 예를 들어, 마이크로제어기, 마이크로프로세서, 필드 프로그래밍가능 게이트 어레이, 주문형 집적 회로(application specific integrated circuit)로서, 또는 컴퓨터로서 구현될 수도 있다. 특히, 이는 프로세싱 수단 및 메모리 수단을 포함할 수도 있으며, 여기서 메모리 수단에는 프로세싱 수단이 본 명세서에 개시된 바와 같은 방법을 수행하게 하는 프로그램 코드가 저장된다.
본 발명은 또한 힘들을 감지하기 위한 센서 배열체에 관한 것으로, 센서 배열체는 다음 중 하나 이상을 포함한다:
- 베이스 부분,
- 탄성 변형 가능한 벽을 포함하는 상부 부분 - 상부 부분은 그 상부 부분 및 베이스 부분이 내부 공간을 정의하도록 베이스 부분 상에 장착되고, 벽은 외부 측정면 및 내부 반사면을 포함하며, 반사면은 내부 공간을 부분적으로 한정함 -;
- 베이스 부분 상에 장착되고 내부 공간을 향해 광을 방출하도록 배열된 여러 개의 광원들을 포함하는 광원 배열체,
- 내부 공간에서 베이스 부분 상에 장착되는 이미지 센서, 및
- 본 명세서에 설명된 바와 같은 힘 추론 모듈.
힘 추론 모듈과 관련하여, 본 명세서에 설명된 바와 같은 모든 실시양태들 및 변형들이 적용될 수 있다.
본 발명은 또한 본 명세서에 개시된 바와 같은 방법을 수행하기 위한 컴퓨터 프로그램 제품에 관한 것이다. 본 발명은 또한 본 명세서에 개시된 바와 같은 방법을 수행하기 위한 프로그램 코드에 관한 것이다. 본 발명은 또한 프로그램 코드가 저장되는 비휘발성 컴퓨터 판독가능 저장 매체에 관한 것이며, 여기서 프로그램 코드는 프로세서에 의해 실행될 때 그 프로세서로 하여금 본 명세서에 개시된 바와 같은 방법을 수행하게 한다. 그 방법과 관련하여, 본 명세서에 개시된 바와 같은 모든 실시양태들 및 변형들이 적용될 수 있다.
이하에서, 추가 발명적 양태들이 설명된다. 이러한 양태들은 본 명세서에 개시된 다른 특징들과, 조합하여 또는 단독으로, 조합될 수도 있다. 이들은 별개의 발명적 양태들로서 간주될 수 있고, 청구항들의 대상이 될 수 있다.
본 발명은 힘들을 감지하기 위한 센서 배열체에 관한 것이다. 센서 배열체는 베이스 부분(base portion)을 포함한다. 이는 탄성 변형 가능한 벽(elastically deformable wall)을 포함하는 상부 부분(top portion)을 포함하고, 그 상부 부분은 상부 부분 및 베이스 부분이 내부 공간을 정의(define)하도록 베이스 부분 상에 장착된다. 벽은 외부 측정면(outside measurement surface) 및 내부 반사면(inside reflective surface)을 포함하고, 그 반사면은 내부 공간을 부분적으로 한정(delimit)한다.
센서 배열체는 베이스 부분 상에 장착되고 반사면을 향해 광을 방출하도록 배열되는 여러(several) 광원들을 포함하는 광원 배열체(light source arrangement)를 포함한다. 센서 배열체는 반사면의 적어도 일부를 보는 검출면을 포함하는 이미지 센서를 포함한다.
이러한 센서 배열체로, 측정면에 인가되는 힘들이 광학 이미지 인식으로 감지될 수 있다. 반사면에서 반사된 광은 매우 민감한 방식으로 측정면에 인가되는 힘들에 의존하는 이미지 센서 상의 패턴을 산출한다. 따라서, 이러한 광 패턴은 매우 민감한 힘 추론(force inference)을 수행하는 데 사용될 수 있다.
특히, 광원들은 내부 공간 내에서 구조화된 광(structured light)을 생성할 수도 있다.
베이스 부분은 전형적으로 센서 배열체의 베이스를 정의하는 컴포넌트이다. 예를 들어, 일부 유지 수단, 특히 로봇의 컴포넌트에 고정될 수 있다. 상부 부분은 전형적으로 힘이 인가되거나 센서 배열체에 힘들을 인가하는 객체(object)와 접촉하게 되는 컴포넌트이다.
요소가 베이스 부분에 장착되는 경우, 그것은 또한 그것이 베이스 부분의 다른 요소에 장착되는 것 및/또는 그것이 베이스 부분의 일부인 것을 의미할 수 있다. 이것은 예를 들어 광원 배열체, 콜리메이터(collimator)들, 또는 이미지 센서와 같은 요소들에 적용될 수도 있다. 예를 들어, 베이스 부분에 장착된 요소는, 예를 들어 안정성을 제공하고 다른 요소들에 대한 연결 가능성들을 제공할 수도 있는 지지 구조체(support structure)에 장착될 수 있다.
벽은 전형적으로, 외부 객체와 접촉하게 되고 객체가 그 위에 힘을 가하거나 그 반대일 때 변형되는 컴포넌트이다. 벽의 가능한 구현들이 아래에서 추가로 설명된다.
내부 공간은 전형적으로 상부 부분 및 베이스 부분에 의해 완전히 둘러싸이고 및/또는 정의된다. 내부 공간은 중공 내부(hollow interior)일 수 있다. 그러나, 그것은 또한 물질로 채워질 수 있다. 전형적으로, 광원 배열체로부터 방출된 광은 내부 공간에서 반사면을 향해 전파되고, 반사면에서 반사되어 이미지 센서로 전파된다.
용어 "센서 배열체(sensor arrangement)"는 특히 힘들을 감지하기 위한 센서의 기능성을 갖는 컴포넌트들의 배열로서 이해되어야 한다.
특히, 각각의 광원은 각각의 컬러를 가질 수도 있다. 광원 배열체는 바람직하게는 적어도 2개 또는 3개의 상이한 컬러를 갖는 광원들을 포함할 수도 있다. 이는 상이한 컬러들을 갖는 검출면 상의 광 패턴을 생성하고, 따라서 광이 광원들 중 하나 또는 적어도 일부로부터 발생하는 것으로 식별될 수 있기 때문에 더 양호한 평가 가능성들을 제공한다. 그러나, 또한 광원들에 대해 동일한 컬러가 사용될 수 있다.
광원들 및 검출면은 바람직하게는 광원들에 의해 방출되고 반사면에 의해 반사된 광이 검출면 상에 광 패턴을 생성하도록 배열된다. 이러한 광 패턴은 특히 신경망을 이용하여 평가 목적들을 위해 이용될 수 있다. 광 패턴은 측정면 상에 가해지는 힘들에 매우 민감한 것으로 입증되었다. 이는 심지어 인덴터들의 힘들 및 형상들의 방향에 관계된다. 따라서, 이러한 광 패턴은 인가된 힘들의 강력한 표시를 구성하는 것으로 밝혀졌다.
특히, 검출면의 광 패턴은 측정면의 변형(deformation)에 따라 변화한다. 이러한 변화들은 힘들 또는 힘 맵(force map)을 추론하기 위해 평가될 수 있다.
특히, 측정면의 변형에 따라 반사면에서 반사된 광의 검출면 상에서의 컬러 분포가 변화한다. 이러한 컬러 분포는 특히 광원에 대해 상이한 컬러가 사용될 때 변화할 수 있다. 컬러 분포 변화는 가해지는 힘들에 매우 민감한 것으로 나타났다.
일 구현에 따르면, 반사면은 확산 반사성이다. 이는 특히 반사면에 충돌하는 광이 미러의 경우와 같이 반사되지 않고 적어도 약간 거친 표면과 같은 것을 의미할 수도 있다. 광은 확산 반사면에서의 반사로 약간 감쇠될 수도 있다. 대안적인 구현에서, 또한 미러형 반사면이 사용될 수도 있다.
특히, 이미지 센서는 베이스 부분 상에 및/또는 내부 공간에 장착될 수도 있다. 이것은 반사면까지의 짧은 거리를 제공하는 쉽고 신뢰성 있는 구현이다. 그러나, 이미지 센서는 다른 곳에 장착될 수도 있다.
하나의, 일부 또는 모든 광원은 조정 가능한 컬러를 가질 수도 있다. 이것은 특히 셋업 절차 동안 컬러를 설정하기 위해 사용될 수 있다. 그러나, 또한 고정된 컬러들이 사용될 수 있다.
하나의, 일부 또는 모든 광원들은 조정 가능한 밝기(brightness)를 가질 수도 있다. 이것은 특히 셋업 절차 동안 밝기를 설정하기 위해 사용될 수 있다. 그러나, 또한 고정된 밝기가 사용될 수 있다.
바람직하게는, 광원들은 이미지 센서를 둘러싸도록 배열된다. 이는 내부 공간 내부에서의 광의 바람직한 분포를 초래할 수도 있다.
바람직하게는, 광원들은 포화 밀도(saturation density)를 넘는 강도를 산출하지 않는 검출면 상의 반사된 광의 분포를 산출하도록 광을 방출하도록 배열된다. 이는 힘들을 추론할 때 에러들을 초래할 수 있을 과포화(oversaturation)를 방지한다. 예를 들어, 과포화를 방지하기 위해 조절해야 할 파라미터들은 광원들의 밝기, 콜리메이터들의 위치 및 사이즈, 카메라 노출 시간 및 렌즈들이다. 그러나, 또한 다른 파라미터들이 그 목적을 위해 사용될 수 있다.
바람직한 실시양태에 따르면, 광원들은 발광 다이오드들이다. 이러한 발광 다이오드들은 신뢰성 있는 광원들이다. 그러나, 또한 다른 유형들이 사용될 수 있다.
바람직하게는, 센서 배열체는 여러 개의 콜리메이터들을 포함하고, 각각의 콜리메이터는 광원에 할당되고 바람직하게는 각각의 방사각 및/또는 방출된 광의 원뿔을 정의한다. 그러한 콜리메이터들로, 반사면을 향한 광선들의 전파가 매우 정확하게 제어될 수 있다.
하나의, 일부 또는 모든 콜리메이터는 할당된 광원에 대해 중심을 벗어나 위치될 수도 있다. 이것은 많은 애플리케이션들에서 적절한 광 분포를 제공한다. 그러나, 또한 중심 포지셔닝이 사용될 수 있다.
콜리메이터들은 특히 콜리메이터 링(collimator ring)에서의 홀들로서 구현될 수도 있다. 이것은 콜리메이터들의 쉬운 실현인 것으로 나타났다. 콜리메이터 링은 홀들을 통과하는 광 이외의 광을 차단할 수도 있다.
광원들 및/또는 콜리메이터들은 특히 반사면의, 또는 의도된 측정 영역의, 또는 측정면 또는 의도된 측정면의 내측에 있는 영역의 적어도 80%, 적어도 85%, 적어도 90%, 또는 100%를 광으로 커버(cover)하도록 배열될 수도 있다. 따라서, 이러한 표면 또는 영역의 많은 부분이 사용될 수 있다. 의도된 측정 영역은 특히 영역, 즉, 측정면의 하위부분일 수도 있다. 측정면에 대해 내측 영역은 벽에서 그 측정면의 반대 영역일 수도 있다. 의도된 측정면은 측정면의 하위부분일 수도 있으며, 여기서 측정면은 원칙적으로 힘 추론을 위해 사용될 수 있는 표면으로서 정의될 수도 있다.
광원들 및/또는 콜리메이터들은 반사면의 적어도 60%, 적어도 70%, 적어도 80%, 적어도 90%, 또는 100%가 단지 최대 4개의 광원으로부터 방출된 광으로 및/또는 적어도 2개의 광원으로부터 방출된 광으로 직접 덮이도록 배열될 수도 있다. 이는 상당히 양호한 힘 추론을 위해 사용될 수 있는 검출면 상의 광 패턴을 생성하는 것으로 입증되었다. 부분 직접 덮개는 특히 광선이 반사면의 다른 부분으로부터 반사됨이 없이, 광원으로부터 그 부분으로 직접 전파하는 부분이다.
일 구현에 따르면, 콜리메이터들은 적어도 0.8 mm의 콜리메이터 홀 직경을 갖는다. 일 구현에 따르면, 콜리메이터들은 최대 4 ㎜의 콜리메이터 홀 직경을 갖는다. 이러한 직경들은 전형적인 애플리케이션들에 적합한 것으로 입증되었다. 그러나, 또한 둥근 홀 이외의 다른 직경들 및 심지어 다른 형상들이 사용될 수 있다.
광원들은 베이스 부분 상에 원형으로 배열될 수도 있다. 따라서, 광원들은 원을 형성하거나 정의할 수도 있다. 이는 상부 부분이 일부 원형 대칭을 갖는 전형적인 구현들에 특히 적합한 예측가능한 광 패턴을 제공한다.
검출면은 적어도 70%, 적어도 80%, 적어도 90%, 또는 전체 반사면을 보도록 구성되고 배열될 수도 있다. 이는 특히 검출면이 반사면의 이러한 부분으로부터 반사된 광을 검출할 수 있다는 것을 의미할 수도 있다. 이는 높은 측정 정확도를 제공한다.
특히, 이미지 센서는 컬러 카메라 센서일 수도 있거나 이를 포함할 수도 있고/있거나 컬러에 민감할 수도 있다. 이것은 원칙적으로 또한 사용될 수 있는 흑백 또는 그레이스케일 센서들에 비해 향상된 측정 능력들을 제공한다.
특히, 이미지 센서는 복수의 픽셀들을 포함할 수도 있고, 각각의 픽셀은 개별적으로 광을 검출하도록 구성된다. 따라서, 픽셀들은 광 검출기의 분해능(resolution)을 정의할 수도 있다.
검출면은 반사면을 향할 수도 있다. 따라서, 반사면에서 반사된 광은 결국 본 명세서에 설명된 바와 같은 광각 렌즈와 같은 일부 광학 수단을 통해 검출면으로 직접 전파될 수도 있다. 그러나, 다른 구현들도 가능하다.
검출면은 베이스 부분의 내면과 평행할 수도 있다. 이것은 단순한 구현을 제공한다. 그러나, 다른 배향들도 가능하다.
검출면은 광 패턴들 및/또는 이미지들을 검출하도록 구성될 수도 있다. 이러한 광 패턴들 또는 이미지들은 본 명세서에 설명된 바와 같이 힘 추론을 위해 사용될 수도 있다.
이미지 센서는 프레임 레이트로 광 패턴들 및/또는 이미지들을 검출하도록 구성될 수도 있다. 따라서, 프레임들은 통상적으로 그들 사이에 고정된 시간 간격들로 연속적으로 검출된다.
특히, 프레임 레이트는 적어도 10 fps(frame per second), 적어도 20 fps, 적어도 30 fps, 적어도 50 fps, 또는 적어도 100 fps일 수도 있다. 특히, 프레임 레이트는 최대 30 fps, 최대 50 fps, 최대 100 fps, 또는 최대 200 fps일 수도 있다. 이러한 값들은 전형적인 애플리케이션들에 적합한 것으로 입증되었다. 각각의 더 낮은 값은 적절한 간격을 형성하기 위해 더 높은 값과 결합될 수 있다. 그러나, 다른 값들 또한 사용될 수 있다.
이미지 센서는 반사면과 검출면 사이에 광학적으로 위치되는 광각 렌즈 또는 어안 렌즈를 포함할 수도 있다. 이는 이미지 검출을 향상시킬 수도 있다. 예를 들어, 그것은 이미지 검출기가 반사면의 특정 부분을 관찰하는 것을 보장할 수도 있다.
특히, 내부 공간은 중공 공간일 수도 있다. 이는 공기로 채워진 것을 의미할 수도 있다. 하지만 그것은 또한 다른 물질, 특히 유체, 고체, 유리 또는 엘라스토머와 같은 광학적으로 투명한 물질로 채워질 수도 있다.
광원들 및/또는 콜리메이터들은 각각의 원뿔들에서 광을 방출하도록 구성될 수도 있다. 이러한 원뿔들은 원뿔(cone)의 외측 치수들을 한정하는 각각의 원뿔 각도들에 의해 정의될 수도 있다. 광의 원뿔들은 광원으로부터 멀어짐에 따라 일정하게 증가하는 단면적을 가질 수도 있다. 콜리메이터들은 또한 광이 콜리메이터를 통과한 후에 그러한 형상을 정의하기 위해 사용될 수도 있다.
특히 하나의, 일부 또는 모든 원뿔은 공통 축에 대해 및/또는 베이스 부분에 수직인 축에 대해 외측으로 0°초과만큼 경사진 원뿔 축을 가질 수도 있다. 이는 상부 부분의 팁에서의 과포화의 방지를 이끌 수도 있다. 따라서, 팁(tip) 부근에서의 힘들의 측정이 개선될 수도 있다. 베이스 부분은 특히 축이 직각, 즉 수직일 수도 있는 평면을 따라 연장될 수도 있다.
특히 하나의, 일부 또는 모든 원뿔은 공통 축에 대해 및/또는 베이스 부분에 수직인 축에 대해 외측으로 최대 10° 만큼 경사진 원뿔 축을 가질 수도 있다. 이는 일반적인 애플리케이션들에 적합한 것으로 입증되었다. 그러나, 또한 더 큰 각도들이 사용될 수도 있다.
특히 하나의, 일부 또는 모든 원뿔은 적어도 35° 및/또는 최대 80°의 외측 원뿔 각도를 가질 수도 있다. 외측 원뿔 각도는 특히 원뿔 축 및/또는 중심 전파 방향에 대한 원뿔의 외측 경계의 각도일 수도 있다. 원뿔 축은 원뿔의 중심 및/또는 광의 전파 방향을 정의할 수도 있다.
특히, 원뿔들은 공통 축에 수직인 평면들에서 부분적으로 중첩될 수도 있으며, 여기서 중첩들은 평면과 베이스 부분 사이의 거리에 의존한다. 이는 덮개가 아니며 따라서 힘 추론을 위해 사용될 수 없을 반사면의 부분들을 생략할 수도 있다. 특히, 광원들과 이미지 센서는 광원들에 의해 방출되어 반사면에 의해 반사된 광이 이미지 센서에 의해 검출되도록 배열될 수도 있다.
일 구현에 따르면, 반사면은 패턴 및/또는 여러 추적가능 객체들에 의해 커버된다. 이는 힘 추론 정확도를 증가시킬 수도 있다. 대안적인 구현에 따르면, 반사면은 매끄러운 표면이다.
실시양태에 따르면, 센서 배열체는 공통 축을 포함한다. 특히, 상부 부분은 공통 축 주위에서 완전히 원형일 수도 있다. 이는 단순한 구현에 해당한다. 대안적으로, 상부 부분은 공통 축 주위에서 부분적으로 원형일 수도 있다. 이는 특정 구조들, 예를 들어 본원에 기재된 바와 같은 박형화된 섹션을 허용할 수도 있다.
검출면은 특히 공통 축에 수직일 수도 있다.
광원들은 공통 축에 평행한 광을 방출하도록 배열될 수도 있다. 이는 기하학적으로 단순한 구현을 산출할 수도 있다. 이 방출은 특히 콜리메이터들에 의한 가능한 편향 또는 방해 전의 광 방출이다.
특히, 반사면의 상이한 부분들은 상이한 방향들로부터 상이한 컬러들을 갖는 광원들에 의해 조명될 수도 있다. 이는 증가된 힘 추론 능력들을 제공한다.
일 구현에 따르면, 상부 부분은 베이스 부분으로부터 거리가 증가함에 따라 외경이 감소하면서 테이퍼질 수도 있다. 이는 조작 목적들 또는 특정 힘 측정을 위해 팁이 사용되는 전형적인 사용 사례에 적합한 외부 형상을 산출할 수도 있다.
특히, 상부 및/또는 벽은 원뿔 형상일 수도 있다.
특히, 벽은 측정면으로부터 반사면으로 변형들을 전달하도록 구성될 수도 있다. 이는 특히 측정면에 가해지는 힘이 측정면의 변형을 유도하고 이 변형이 벽의 내부 부분을 통해 반사면으로 전달되며, 또한 특정 지점 또는 영역에서 광의 상이한 반사를 초래하는 변형을 겪는다는 것을 의미할 수도 있다. 이러한 상이한 반사는 측정 및 평가될 수도 있는 검출면 상의 상이한 광 패턴을 초래할 수도 있다.
바람직하게는, 상부 부분은 베이스 부분 상에 해제 가능하게 장착된다. 이는, 예를 들어 상부 부분이 손상되었거나 측정 목적에 관련된 그 특성들을 상실한 경우에, 상이한 상부 부분을 갖는 베이스 부분의 재사용을 허용한다. 예를 들어, 베이스 부분은 로봇의 일부 또는 다른 컴포넌트에서 고정된 채로 유지될 수도 있는 반면, 상부 부분은 필요할 때 교환될 수도 있다.
해제 가능한 장착(mount)은 특히 컴포넌트들의 손상 없이 베이스 부분으로부터 상부 부분을 해제하기 위한 특정 수단이 제공되는 것을 의미할 수도 있다.
특히, 상부 부분은 상부 부분을 교환 가능하게 하는 방식으로 베이스 부분 상에 장착될 수도 있다.
상부 부분은 베이요넷(bayonet) 마운트 및/또는 나사 연결에 의해 그리고/또는 텅들(tongues) 및 대응하는 노치들(notches)의 쌍들에 의해 베이스 부분에 해제 가능하게 장착될 수도 있다. 이러한 연결들은 단순한 교환성 및 안전한 연결을 제공하는 것으로 입증되었다. 그러나, 다른 연결 유형들이 또한 사용될 수 있다.
일 구현에 따르면, 상부 부분은 벽만을 포함한다. 그 경우, 벽은 전형적으로 그 자체에 충분한 안정성을 제공할 것이다. 벽은 특히 다른 재료로 만들어진 지지 구조체 없이 특히 균질한 벽 재료만을 포함할 수도 있다.
일 구현에 따르면, 상부 부분은 벽 내부에 위치된 골격(skeleton)을 포함한다. 이러한 골격은 추가적인 강성(stiffness)을 제공할 수도 있다. 그것은 벽과 비교하여 다른 재료로 만들어질 수도 있다. 특히, 골격은 다수의 와이어 또는 와이어형 요소들을 포함할 수도 있다.
바람직하게는, 골격은 격자 형상이다. 이는 골격이 비교적 얇은 와이어들 또는 그 사이에 공간을 남기는 다른 요소들로 이루어진다는 것을 의미할 수도 있다. 이 공간은 전형적으로 벽 재료로 채워진다. 또한, 골격은 전형적으로 벽 재료에 의해 완전히 또는 부분적으로 둘러싸인다.
골격은 바람직하게는 강, 스테인레스 강 또는 알루미늄으로 만들어질 수도 있다. 이러한 재료는 충분한 안정성을 제공한다. 그러나, 다른 재료들이 또한 사용될 수 있다. 특히, 원하는 최대 힘을 견딜 수 있고/있거나 예를 들어 3D 프린팅에 의해 요구되는 형상으로 제조될 수 있는 임의의 다른 재료가 사용될 수 있다.
예를 들어, 알루미늄 또는 스테인리스 강이 골격에 사용될 수 있다. 구리, 청동, 황동 또는 탄소 섬유와 같은 다른 재료들이 또한 가능하다.
특히, 골격은 강체(rigid) 또는 반강체(semi-rigid)이다. 이는 충분한 강성을 제공한다.
특히, 벽은 벽 재료를 포함할 수도 있다. 이는 변형들을 측정면으로부터 반사면으로 전달하기에 적합할 수도 있다.
바람직하게는, 벽 재료는 엘라스토머(elastomer)를 포함한다. 예를 들어, 스무스-온 에코플렉스(Smooth-On Ecoflex) 00-30, 에코플렉스 00-35, 에코플렉스 00-50 등이 사용될 수 있다. 특히 연신율이 높은 연질 엘라스토머가 사용될 수 있다. 예를 들어, 벽 재료의 연신율(elongation rate)은 적어도 800% 및/또는 최대 1,000%, 또는 900%일 수도 있다.
바람직하게는, 벽 재료는 알루미늄 분말 및/또는 알루미늄 플레이크를 포함한다. 이는 반사면의 바람직한 반사율을 제공하는 것으로 나타났다. 예를 들어, 분말 및/또는 플레이크는 적절한 유형의 반사면을 생성하기 위해 존재한다. 그것들은 변형될 때 및/또는 광원에 대한 각도가 변할 때 음영에 변화들을 생성할 수도 있다. 특히, 주변 광을 차단하기 위해 알루미늄 분말을 사용하고, 반사율을 높이기 위해 알루미늄 플레이크를 사용할 수도 있다. 분말은 전형적으로 플레이크보다 더 낮은 직경을 갖는다.
골격은 바람직하게는 벽 재료에 의해 둘러싸인다. 이는 벽 재료에 증가된 안정성을 제공한다.
특히, 골격은 벽 재료에 의해 완전히 오버몰딩될 수도 있다. 대안적으로, 골격은 벽 재료에 의해 부분적으로 오버몰딩될 수도 있다.
골격은 특히 재사용가능할 수도 있다. 이는, 예를 들어, 골격을 둘러싸는 벽 재료가 일부 용매에 용해되어, 벽 재료를 둘러싸지 않고 골격을 남길 수 있다는 것을 의미할 수도 있다. 그러면, 새로운 벽 재료가 오버몰딩될 수 있다.
특히, 벽은 적어도 0.8mm 또는 적어도 1.2mm의 두께를 가질 수도 있다.
특히, 벽은 최대 4 mm 또는 최대 5 mm의 두께를 가질 수도 있다.
이러한 값들은 전형적인 애플리케이션들에 대해 적합하지만, 또한 다른 값들이 사용될 수 있다. 주어진 값들은 특히 박형화된 부분 외부의 벽의 부분들과 관련될 수도 있다.
일 구현에 따르면, 벽은 벽의 나머지 부분보다 더 낮은 두께를 갖는 박형화된 섹션(thinned section)을 포함한다. 그러한 박형화된 섹션은 특히 이 국소 영역에서 더 높은 감도(sensitivity)를 부여할 수도 있다.
박형화된 섹션은 특히 베이스 부분에 대향하여 위치될 수도 있다. 이러한 위치에서, 높은 감도가 바람직할 수도 있다.
박형화된 섹션은 손톱에 따라 형상화될 수도 있다. 예를 들어, 센서 배열체는 엄지 또는 다른 손가락과 같이 형상화될 수도 있다. 박형화된 섹션은 손가락에서 손톱의 위치에 배치될 수도 있다. 박형화된 섹션은 전체적으로 또는 적어도 실질적으로 편평하거나 단지 약간 구부러질 수도 있다. 일반적으로, 그것은 임의의 형상을 가질 수도 있다.
특히, 박형화된 섹션은 측정면의 1/4 미만을 포함할 수도 있다. 따라서, 적절하게 증가된 측정 능력을 제공하면서도, 안정성은 손상되지 않는다.
바람직하게는, 박형화된 섹션은 박형화된 섹션 외부의 벽의 두께의 최대 0.8 mm 또는 최대 1.2 mm의 두께를 갖고/갖거나 최대 30% 또는 최대 50%의 두께를 갖는다. 이는 적합한 증가된 측정 감도를 제공한다. 그러나, 다른 값들 또한 사용될 수 있다. 벽은 박형화된 섹션 외부에서 균일한 두께를 가질 수도 있다. 다만, 벽이 균일한 두께를 갖지 않는 경우, 박형화된 섹션의 상대적인 두께를 정의하기 위한 기준은 평균값일 수도 있다.
센서 배열체는 로봇의 손가락 팁(fingertip) 및/또는 조작 요소(manipulation element)일 수도 있다. 따라서, 센서 배열체는 2개의 기능들, 즉 요소의 조작 및 인가된 힘들의 측정을 가질 수 있다. 그러나, 다른 구현들도 가능하다.
본 발명은 또한 센서 배열체를 위한 상부 부분을 제조하기 위한 방법에 관한 것으로, 그 방법은 다음의 단계들을 포함한다:
- 골격 재료로 만들어진 골격을 제공하는 단계 - 그 골격은 내부 공간을 둘러쌈 -, 및
- 벽 재료가 외부 측정면 및 내부 반사면을 정의하는 탄성 변형 가능한 벽을 형성하도록 벽 재료로 골격을 덮는 단계 - 반사면은 내부 공간을 한정함.
이는 상부 부분의 단순하고 신뢰성 있는 제조를 제공한다. 요소들의 세부사항들에 관하여, 본 명세서의 다른 곳에서 주어진 설명에 대한 참조가 이루어진다. 방법 양태들에 관하여 주어진 모든 진술은 원칙적으로 구조적 양태들에 적용될 수 있고, 그 반대도 가능하다.
특히, 골격 재료는 벽 재료보다 강할 수도 있다. 따라서, 골격은 안정성을 제공한다. 골격은 벽 재료보다 더 강성으로 만들어질 수도 있다.
골격을 제공하는 단계는 골격의 3D 프린팅을 포함할 수도 있다. 즉, 골격은 3D 프린팅될 수도 있다. 이는 골격의 설계에 관한 증가된 유연성을 제공한다. 그러나, 다른 프로세스들이 또한 사용될 수 있다.
골격은 그 사이에 개구들이 형성된 복수개의 와이어로 이루어질 수도 있다. 이러한 개구들은 벽 재료로 채워질 수도 있다.
바람직하게는, 골격은 돔 형상 또는 원뿔 형상일 수도 있다.
커버링은 특히 오버몰딩에 의해 제조될 수도 있다. 이것은 엘라스토머와 같은 물질을 골격 주위에 배치하기 위한 신뢰성 있는 방법이다. 그러나, 다른 방법들이 또한 사용될 수 있다.
내부 공간은 상부 부분의 내부에 중공(hollow)일 수도 있다. 하지만, 그것은 또한 예를 들어 광학적으로 투명한 물질로 충전될 수도 있다.
방법은 패턴 및/또는 여러 개의 추적가능한 객체들로 반사면을 덮는 단계를 더 포함할 수도 있다. 대안적으로, 반사면은 매끄럽게 남겨질 수도 있다.
특히, 패턴을 생성하기 위해 구조화된 캐스트(structured cast)가 적용될 수도 있다. 이러한 구조화된 캐스트는 패턴에 대한 대응물일 수도 있다.
골격은 공통 축을 포함할 수도 있다. 골격은 공통 축 주위에서 부분적으로 또는 완전히 원형일 수도 있다.
골격은 팁 쪽으로 감소하는 외경을 갖도록 테이퍼질 수도 있다. 이는 상부 부분의 바람직한 형상에 대응할 수도 있다.
벽 재료는 측정면으로부터 반사면으로 변형들을 전달하도록 구성될 수도 있다.
골격은 격자 형상일 수도 있다.
골격은 강, 스테인레스 강 또는 알루미늄으로 만들어질 수도 있다. 추가적인 대안들과 관련하여, 본 명세서의 다른 곳에서 주어진 진술들을 참조한다.
골격은 강성 또는 반강성일 수도 있다.
벽 재료는 엘라스토머를 포함할 수도 있다.
벽 재료는 알루미늄 분말 및/또는 알루미늄 플레이크를 포함할 수도 있다.
골격은 벽 재료가 골격을 둘러싸도록 벽 재료로 덮일 수도 있다.
벽 재료는 적어도 0.8 mm 또는 적어도 1.2 mm의 두께를 갖도록 형성될 수도 있고/있거나 벽 재료는 최대 4 mm 또는 최대 5 mm의 두께를 갖도록 형성될 수도 있다.
벽 재료는 벽 재료의 나머지보다 더 낮은 두께를 갖는 박형화된 섹션을 포함하도록 형성될 수도 있다. 이는 특히 광-터치 검출 및 형상 판별에 사용될 수도 있다.
박형화된 섹션은 골격의 팁 근처에 위치될 수도 있다.
박형화된 섹션은 손톱에 따라 형상화될 수도 있다.
박형화된 섹션은 측정면의 1/4 미만을 포함할 수도 있다.
박형화된 섹션은 최대 0.8 mm 또는 최대 1.2 mm의 두께를 가질 수도 있고/있거나 박형화된 섹션 외부의 벽의 두께의 최대 30% 또는 최대 50%의 두께를 가질 수도 있다.
골격은 벽 재료가 골격으로부터 탈착 가능하도록 피복될 수도 있다.
본 발명은 또한 센서 배열체를 제조하기 위한 방법에 관한 것으로, 그 방법은 다음의 단계들을 포함한다:
- 베이스 부분을 제공하는 단계,
- 내부 공간을 갖는 상부 부분을 제조하는 단계,
- 베이스 부분 상에 복수의 광원을 포함하는 광원 배열체를 장착하는 단계,
- 베이스 부분에 이미지 센서를 장착하는 단계, 및
- 광원들이 내부 공간을 향해 광을 방출하도록 배열되고 이미지 센서가 내부 공간에 위치되도록 베이스 부분을 상부 부분으로 덮는 단계.
이 방법은 센서 배열체의 신뢰성 있는 제조를 제공한다.
특히, 상부 부분은 본 명세서에 개시된 바와 같이 제조될 수도 있다. 모든 구현들 및 변형들이 적용될 수 있다.
광원들은 이미지 센서를 둘러싸도록(surround) 장착될 수도 있다.
방법은 각각의 방사 각도들 및/또는 방출된 광의 원뿔들을 정의하는 광원들 위에 여러 개의 콜리메이터들을 배열하는 단계를 더 포함할 수도 있다. 예를 들어, 이러한 콜리메이터들은 콜리메이터 링 내에 형성될 수도 있어서, 사실상 콜리메이터 링이 배열된다.
제조된 센서 배열체는 특히 본 명세서에 설명된 바와 같이 구현될 수도 있다. 모든 실시양태들 및 변형들이 적용될 수 있다.
본 발명은 또한 본 명세서에 개시된 바와 같은 또는 본 명세서에 개시된 바와 같이 제조된 센서 배열체에 관한 것으로, 센서 배열체의 힘 추론(force inference)을 위한 방법을 수행하도록 구성된 전자 제어 모듈을 더 포함한다.
따라서, 센서 배열체는 그 자신의 제어 모듈을 가질 수도 있다. 예를 들어, 제어 모듈은 베이스 부분의 나머지의 내부 또는 근처에 위치된 전자 개체일 수 있다. 대안적으로, 제어 모듈은 또한 베이스 부분 및 상부 부분으로부터 멀리 위치될 수도 있으며, 예를 들어 컴퓨터일 수도 있다.
제어 모듈은 측정면의 힘 맵을 제공하기 위해 힘 추론을 위한 방법을 수행하도록 구성될 수도 있으며, 힘 맵은 복수의 힘 벡터들을 포함한다. 힘 추론을 위한 방법에 관하여, 본 명세서의 다른 곳에 주어진 설명에 대한 참조가 이루어진다. 모든 실시양태들 및 변형들이 적용될 수 있다.
특히, 힘 맵은 적어도 0.25 힘 벡터/mm2, 적어도 0.5 힘 벡터/mm2, 적어도 0.75 힘 벡터/mm2, 적어도 1 힘 벡터/mm2, 적어도 1.5 힘 벡터/mm2, 또는 적어도 2 힘 벡터/mm2 를 포함할 수도 있고,
및/또는, 힘 맵은 최대 0.25 힘 벡터/mm2, 최대 0.5 힘 벡터/mm2, 최대 0.75 힘 벡터/mm2, 최대 1 힘 벡터/mm2, 최대 1.5 힘 벡터/mm2, 또는 최대 2 힘 벡터/mm2 를 포함할 수도 있다. 또한 다른 값들이 사용될 수 있다.
특히, 각각의 힘 벡터는 수직력(normal force) 성분, 제 1 전단력(shear force) 성분 및 제 2 전단력 성분을 포함할 수도 있다.
특히, 제 1 전단력 성분은 제 1 전단력에 대응할 수도 있고 제 2 전단력 성분은 제 2 전단력에 대응할 수도 있다. 제 1 전단력은 제 2 전단력에 수직일 수도 있다.
특히, 본 명세서에 개시된 센서 배열체는 손가락 형상일 수도 있다. 그것은 소프트 센서일 수도 있고/있거나 전방위적 힘 감각 능력들을 가질 수도 있다. 감지 능력들은 머신 러닝에 의해 인에이블될 수도 있다. 센서 배열체는 정확하고 민감하며 내구성이 뛰어나며 경제적이다.
개시된 센서 배열체와 함께 바람직하게 사용될 수 있는 단일 카메라로부터 3D 정보를 획득하기 위한 두 가지 주요 기법들이 존재한다:
포토메트릭 스테레오(photometric stereo; PS)는 음영 정보로부터 3D 형상을 추론하기 위해 변화하는 이종 광원들로 동일한 장면의 다수의 이미지들을 사용한다.
구조화된 광 (structured light; SL) 은 3D 표면에 다르게 투사된다는 점과 고유한 광 패턴을 사용하는 단일 샷 3D 표면 재구성 기법이다.
일반적으로, SL은 전형적으로 글로벌 재구성에 사용되는 반면, PS는 로컬 디테일들을 캡처하는 데 강점이 있다. 통찰력은 단일 카메라 단일 이미지 설정에서 전체 3D 돔 형상 표면의 변형 재구성을 위해 PS와 SL을 결합한다. 카메라 또는 이미지 검출기 옆에 여러 개의 광원이 있는데, 이는 광 원뿔들을 생성한다. 측정면의 영역이 접촉하여 변형될 때, 접촉된 영역은 이동할 것이고, 가시 컬러는 2개의 효과: 음영을 통한 컬러에서의 차이 및 광 원뿔들로 인한 광의 강도가 상이한 컬러 구역들 사이의 이동으로 인해 변화할 것이다
상부 부분 및/또는 베이스 부분은 특히 주변 광이 내부 공간에 들어가는 것을 방지하도록 설계될 수도 있다. 이는 그러한 주변 광에 의한 측정들의 왜곡들을 방지한다.
추가적인 이점들 및 변형들은 첨부된 도면과 관련하여 제공될 실시양태들의 다음의 설명으로부터 명백할 것이다. 자세히,
도 1은 센서 배열체의 전개도를 도시한다.
도 2는 센서 배열체의 단면도를 도시한다.
도 3은 상부 부분을 도시한다.
도 4는 골격을 도시한다.
도 5는 다른 상부 부분을 도시한다.
도 6은 광 패턴을 갖는 검출면을 도시한다.
도 7은 다른 광 패턴을 갖는 검출면을 도시한다.
도 8은 강도 라인들을 갖는 검출면을 도시한다.
도 9는 다른 강도 라인들을 갖는 검출면을 도시한다.
도 10은 콜리메이터들을 갖는 광원들을 도시한다.
도 11은 골격을 갖는 몰드를 도시한다.
도 12는 추가 몰드를 도시한다.
도 13 내지 도 17 은 상이한 버전들의 캐스트들을 도시한다.
도 18은 캐스트의 프로파일을 도시한다.
도 19는 힘 맵의 생성을 도시한다.
도 20은 힘 맵을 생성하는 방법을 도시한다.
도 21은 힘 테스트 배열을 도시한다.
도 22는 가능한 인덴터들을 도시한다.
도 23은 힘 맵을 도시한다.
도 24는 시뮬레이션된 힘 맵을 도시한다.
도 1은 센서 배열체의 전개도를 도시한다.
도 2는 센서 배열체의 단면도를 도시한다.
도 3은 상부 부분을 도시한다.
도 4는 골격을 도시한다.
도 5는 다른 상부 부분을 도시한다.
도 6은 광 패턴을 갖는 검출면을 도시한다.
도 7은 다른 광 패턴을 갖는 검출면을 도시한다.
도 8은 강도 라인들을 갖는 검출면을 도시한다.
도 9는 다른 강도 라인들을 갖는 검출면을 도시한다.
도 10은 콜리메이터들을 갖는 광원들을 도시한다.
도 11은 골격을 갖는 몰드를 도시한다.
도 12는 추가 몰드를 도시한다.
도 13 내지 도 17 은 상이한 버전들의 캐스트들을 도시한다.
도 18은 캐스트의 프로파일을 도시한다.
도 19는 힘 맵의 생성을 도시한다.
도 20은 힘 맵을 생성하는 방법을 도시한다.
도 21은 힘 테스트 배열을 도시한다.
도 22는 가능한 인덴터들을 도시한다.
도 23은 힘 맵을 도시한다.
도 24는 시뮬레이션된 힘 맵을 도시한다.
도 1은 힘들을 감지하기 위한 센서 배열체(10)를 도시한다. 센서 배열체(10)는 베이스 부분(100) 및 상부 부분(200)을 포함한다.
베이스 부분(100)은 지지 구조체(110)를 포함한다. 이러한 지지 구조체(110)는 센서 배열체(10)를 다른 엔티티, 예를 들어 로봇에 장착하기 위해 특히 사용될 수 있다. 베이스 부분(100)은 인쇄 회로 기판(120)을 더 포함하고, 그 위에 센서 배열체(10)를 제어하기 위한 전자 컴포넌트들이 장착된다.
베이스 부분(100)은 인쇄 회로 기판(120) 바로 위에 위치되는 이미지 센서(130)를 더 포함한다. 이미지 센서(130)는 광을 검출하고 이에 응답하여 이미지 데이터를 생성할 수 있는 컬러 카메라로서 구현되며, 여기서 일반적으로 이미지 센서(130)에 의해 생성된 이미지 데이터는 인쇄 회로 기판(120) 상에 위치되는 전자 컴포넌트들에 의해 추가로 프로세싱될 것이다.
베이스 부분(100)은 이미지 센서(130) 바로 위에 위치되는 광각 렌즈(140)를 더 포함한다. 광각 렌즈(140)는 이미지 센서(130)에 충돌하는 모든 광이 광각 렌즈(140)를 통과하도록 위치된다. 따라서, 광각 렌즈(140)는 이미지 센서(130)의 시야(field of view)를 정의할 수도 있다. 광각 렌즈(140)는 이미지 센서(130)의 일부로도 볼 수 있다.
베이스 부분(100)은 장착 구조체(150)를 더 포함한다. 장착 구조체(150)는 상부 부분(200)이 베이스 부분(100)으로부터 해제가능한 방식으로 베이스 부분(100)에 상부 부분(200)을 고정하는데 사용되는 복수의 나사(152)를 사용하여 지지 구조체(110)에 직접 장착된다. 어떻게 상부 부분(200)과 베이스 부분(100)의 연결이 이루어지는지 이하에서 추가로 나타내어질 것이다.
베이스 부분(100)은 광원 배열체(160)를 더 포함한다. 광원 배열체(160)는 장착 구조체(150) 상에 장착되는 지지 링(162)을 포함한다. 광원 배열체(160)는 복수의 광원들(164)을 포함한다. 이들 광원들(164)은 본 실시양태에서는 발광 다이오드들로 구현된다. 광원들(164)은 도 2와 관련하여 아래에서 더 설명될 상부 부분(200)의 내부 공간에 광을 방출하도록 배열된다.
광원들(164)은 상이한 컬러들을 갖는다. 예를 들어, 적색, 청색 및 녹색이 있을 수도 있다. 광원들로부터 방출된 광이 센서 배열체(10) 상에 인가된 힘을 검출하기 위해 어떻게 사용될 수 있는지에 대해 아래에서 추가로 설명될 것이다.
광원 배열체(160) 바로 위에는 콜리메이터 링(175)이 있다. 콜리메이터 링(175)은 콜리메이터 링(175)을 통해 수직으로 돌출하는 홀들로서 구현되는 복수의 콜리메이터들(170)을 포함한다. 각각의 콜리메이터(170)는 하나의 광원(164) 바로 위에 위치된다. 따라서, 콜리메이터(170)를 통과한 광만이 상부 부분(200) 내부의 내부 공간에 도달할 수 있다. 따라서, 콜리메이터들(170)은 특히 각각의 원뿔 축들 및 외측 원뿔 각도들을 갖는 내부 공간에 광 원뿔들을 정의할 수도 있다.
상부 부분(200)은 탄성 변형 가능한 벽(210)을 포함한다. 탄성 변형 가능 벽(210)은 센서 배열체(10)의 외부에 측정면(220)을 제공한다. 측정면(220)은 힘이 인가될 수 있는 표면이며, 여기서 그 힘은 예를 들어, 실제로 인가된 힘에 의존하는 힘 맵을 제공함으로써 측정된다. 힘의 실제 추론은 아래에서 더 설명될 것이다.
상부 부분(200)은 골격(240)을 포함한다. 골격(240)은 벽(210)에 의해 둘러싸인다. 도 1에서는 골격(240)과 벽(210)을 서로 분리하여 도시하였다.
골격(240)은 바닥 링(242) 및 그 바닥 링(242) 위에 위치되는 그리드(244)를 포함한다. 골격(240)의 상세한 구조에 대해서는 아래에서 추가로 설명될 것이다. 바닥 링(242)은 방사상 외측으로 배열되고 베이스 부분(100)에 수직으로 배향된 복수의 돌출부들(246)을 포함한다. 이러한 돌출부들(246)은 수직으로 연장되는 나사들(152)을 위한 각각의 나사 홀들을 포함한다. 이들 나사 홀들을 통해, 각각의 나사들(152)이 아래로부터 적용될 수 있으며, 여기서 나사들(152)은 베이스 부분(100)의 장착 구조체(150) 내의 각각의 홀들에 고정된다. 이는 베이스 부분(100) 상에 상부 부분(200)의 해제 가능한 장착을 허용한다.
도 2는 장착된 상태의 센서 배열체(10)의 단면도를 도시한다. 골격(240)은 벽(210)에 의해 둘러싸이더라도 벽(210) 내부에서 가시적이다. 이것은 단지 설명을 위한 것이다. 실제로, 벽(210)에 의해 둘러싸이는 골격(240)은 보이지 않거나 적어도 명확하게 보이지 않을 것이다.
도 2 는 센서 배열체 (10)의 모든 컴포넌트들이 그것들의 최종 위치에 있는 상태를 나타낸다. 예외로서, 콜리메이터 링(175)은 광원 배열체(160) 상에서 더 양호한 시야를 가질 목적으로 도 2에 도시되지 않는다.
도 2에 도시된 바와 같이, 상부 부분(200) 및 베이스 부분(100)은 내부 공간(12)을 정의한다. 내부 공간(12)은 벽(210)에 의해 둘러싸인다. 벽(210)은 내부 공간(12)을 둘러싸는 내부 반사면(230)을 정의한다.
도 2에 도시된 바와 같이, 광원들(164)은 내부 공간(12)을 향해 광을 방출하도록 베이스 부분(100)에 배열된다.
광원들(164)로부터 방출된 광은 먼저 도 2에 도시되지 않은 콜리메이터들(170)을 통과할 것이다. 콜리메이터들(170)은 광의 추가 전파, 특히 광 원뿔들의 외측 원뿔 각도들 및 각각의 전파 방향들을 정의한다. 이어서, 광은 내부 공간(12)을 통해 이동하고 반사면(230)에 도달한다. 반사면(230)은 확산 반사성(diffuse reflective)이므로, 입사광은 특정한 각도 의존적인 세기로 모든 방향으로 반사되므로, 거울에서와 같은 반사가 아니다.
도 2에 도시된 바와 같이, 반사면(230)은 측정면(220)으로부터 벽(210)에 의해서만 분리된다. 벽(210)은 측정면(220)으로부터 반사면(230)으로 변형들을 전달하는 탄성 재료(elastic material)로 형성된다. 이는, 측정면(220)에 가해지는 임의의 힘이 외부 측정면(220)에서 뿐만 아니라 내측 반사면(230)에서도 벽(210)을 변형시킴을 의미한다. 이러한 반사면(230)의 변형은 광 빔들의 반사를 국부적으로 왜곡시킨다. 따라서, 측정면(220) 상에 인가된 힘들을 추론하기 위해 센서 배열체(10) 내부의 광 빔들의 측정이 사용될 수 있다.
이미지 센서(130)는 또한 센서 배열체(10) 내부에 위치된다. 이는 광원들(164)에 의해 둘러싸여서 광원들(164)로부터 방출되어 반사면(230)으로부터 반사된 광이 이미지 센서(130)로 진행하도록 한다. 이미지 센서(130)의 검출면 상에서, 광은 인가된 힘을 나타내는 광 패턴을 생성한다. 심지어 이러한 광 패턴은 힘의 위치 및 크기 및 방향에 대해, 그리고 심지어 인가된 인덴터의 형상 및 사이즈에 대해 또한 나타내는 것으로 밝혀졌다. 심지어 복수의 힘이 평가될 수 있다.
그리드(244)는 주요 부분(248) 및 손톱 섹션(249)을 포함한다. 손톱 섹션(249)은 아래에서 추가로 설명될 얇은 부분을 유지할 수도 있다. 주요 부분(248)은 벽(210)에 증가된 안정성을 제공하여, 그것이 더 큰 힘들을 견딜 수 있고 외력 및 중력의 영향 하에서 실질적으로 변형되지 않도록 한다. 그러나, 약간 변형하고 측정면(220)으로부터 반사면(230)으로 변형들을 전달하는 능력은 골격(240)에도 불구하고 활성으로 유지된다.
도 3 은 벽(210)을 분리하여 보여준다. 벽(210)은 도시된 바와 같이 원뿔 형상을 갖는다. 팁 부분에서, 그것은 둥근 형상을 가지고 있다. 이 형상은 복수의 애플리케이션들에 적합한 것으로 입증된 전형적인 형상임에 유의해야 한다. 그러나 그것이 유일하게 가능한 형상은 아니다. 오히려, 모든 적합한 형상들이 사용될 수 있다. 측정면(220)은 벽(210)의 외부를 정의한다. 벽(210)이 변형되도록 힘들이 측정면(220) 상에 인가될 수 있다.
도 4 는 골격(240)을 분리하여 보여준다. 이미 설명한 컴포넌트들에 대해서는, 도 1의 설명을 참조한다. 특히, 그리드(244)는 비교적 간격이 큰 복수의 와이어로 구성되어 있음을 알 수 있다. 이들 공간은 벽(210)이 골격(240)을 둘러싸도록 벽(210)의 재료에 의해 채워질 것이다. 따라서, 골격(240)은 벽(210)에 적합한 안정성을 제공한다.
도 5는 제 2 실시양태에 따른 벽(210)을 도시한다. 도 3에 도시된 실시양태와 대조적으로, 도 5에 도시된 벽(210)은 박형화된 섹션(250)을 갖는다. 박형화된 섹션(250)은 벽(210)의 다른 부분에 비해 더 작은 두께를 갖는다. 그것은 에지(255)에 의해 둘러싸인다.
도 4 및 도 5를 함께 볼 때, 골격(240)의 손톱 섹션(249)이 벽(210)의 박형화된 섹션(250)을 지지하는 것이 명백하다. 지지체는 대략 에지(255)를 따라 존재한다. 이 조치는 박형화된 섹션(250)에 증가된 안정성을 제공한다. 그러나, 박형화된 섹션(250)을 갖지 않는 상부 부분(200)에 대해서도 동일한 디자인의 골격을 사용할 수 있다는 것에 유의해야 한다.
박형화된 섹션(250)은 특히 힘 검출에 관하여 국부적으로 증가된 감도를 초래한다. 예를 들어, 박형화된 섹션(250) 상에 인가된 힘은 벽(210)의 더 큰 변형을 초래하고 따라서 또한 반사면(230)의 더 큰 변형을 초래한다. 따라서, 박형화된 섹션(250) 상에 가해지는 힘은 또한 이미지 센서(130)에 의해 검출되는 광 패턴의 더 큰 변화를 야기한다.
도 6은 이미지 센서(130)의 검출면(131) 상의 광 패턴(132)을 도시한다. 검출면(131)은 전형적으로 복수의 픽셀을 포함하며, 이는 도 6에 도시되지 않는다.
도 6에 도시된 바와 같이, 예시적인 광 패턴(132)은 참조 부호들(133, 134, 135)로 표시된 8개의 광 스폿들(light spots)을 포함한다. 광 스폿들(133, 134, 135)은 적어도 대략 타원 형상을 갖는다. 3개의 광 스폿들(133)은 제 1 컬러, 예를 들어 청색을 갖는 광원으로부터 비롯된다. 3개의 광 스폿들(134)은 제 2 컬러, 예를 들어 적색을 갖는 광원들로부터 비롯된다. 2개의 광 스폿들(135)은 제 3 컬러, 예를 들어, 녹색을 갖는 광원들로부터 비롯된다. 3개의 상이한 컬러들을 갖는 8개의 광 스폿들(133, 134, 135)의 수는 여기에서의 예시적인 목적들을 위한 것일 뿐이며, 임의의 다른 수의 광 스폿들 및 컬러들이 사용될 수 있다는 것에 유의해야 한다. 특히, 각각의 광 스폿(133, 134, 135)은, 광원(164)으로부터 방출된 광이 내부 공간(12)을 통해 원뿔 형상에서 전파되고, 반사면(230)에서 반사되어 검출면(131)으로 더 전파되는 방식으로 하나의 광원(164)에 대응할 수도 있다.
도 6은 변형되지 않은 상태에 대해 전형적인 광 패턴(132)을 도시한다. 즉, 이러한 광 패턴(132)은 측정면(220)에 힘이 가해지지 않는 경우에 검출면(131)에 의해 보일 수도 있다. 예를 들어, 신경망일 수 있는 임의의 힘 추론 수단은 도 6의 광 패턴(132)이 이미지 센서(130)에 의해 검출될 때 힘이 인가되지 않는 것을 검출하도록 트레이닝될 수 있다.
도 7은 검출면(131) 상의 추가 광 패턴(132)을 도시한다. 도 7의 광 패턴(132)은 측정면(220)에 힘이 가해진 상태에 해당한다. 알 수 있는 바와 같이, 광 스폿들(133, 135) 중 2개는 이제, 인가된 힘에 대해 내부인 반사면(230)의 상이한 반사 특성들로 인해 국부적인 컬러 변화가 있는 변형된 부분(136)을 갖는다. 도 7의 상황은 힘이 가해졌다는 추론을 촉발할 수 있다. 특히, 광 패턴(132)에서의 변화는 힘의 강도 뿐만 아니라, 그 위치, 방향 및 힘을 가하는 인덴터의 형상 및 사이즈에 대해서도 특유한 것이다. 동시에 적용될 수 있는 둘 이상의 힘에 대해서도 마찬가지이다.
도 8은 검출면(131) 상의 강도 패턴(137)의 강도 라인(138)을 개략적으로 도시한다. 강도 라인들(138) 각각은 검출면(131) 상의 일정한 광 강도의 라인에 대응한다. 도 8 은 변형되지 않은 상태를 나타내며, 도 6 에 도시된 상태에 해당한다. 도 9는 반사면(230)의 국부적으로 상이한 반사 특성들로 인해 강도 라인들(138)이 상이한 강도를 갖는 변형 구역(139)을 갖는 변형 상태를 도시한다. 이는 또한 인가된 힘에 대해 특유하며, 따라서 힘 추론을 위해 사용될 수 있다.
도 10은 콜리메이터 링(175)과 그것의 콜리메이터들(170)과 함께 광원들(164)과 지지 링(162)을 갖는 광원 배열체(160) 사이에 위치된 검출면(131)을 갖는 이미지 센서(130)를 순수하게 개략적으로 도시한다.
도시된 바와 같이, 광원들(164)로부터 방출된 광은 콜리메이터들(170)을 통과하고 각각의 원뿔들(166)에서 내부 공간(12)으로 추가로 전파된다. 이들 원뿔들(166)은 원뿔 축으로도 간주될 수 있는 중심 전파 방향(167)에 의해, 그리고 중심 전파 방향(167)에 대해 수평 방향으로 광의 최대 범위를 정의하는 외측 원뿔 각도들(168)에 의해 정의된다. 도시된 바와 같이, 콜리메이터들(170)은 중심 전파 방향(167)이 수직이 아니라 약간 외측으로 지향되도록 광원들(164)로부터 광이 방출되는 지점에 대해 약간 바깥쪽으로 위치된다. 이는 상부 부분(200)의 팁에서의 과포화가 방지되도록 보장한다. 이러한 구현에 의해, 정의된 광 구조가 내부 공간(12) 내부에서 획득될 수 있다. 반사면(230)에서 반사된 광은, 도 8에 도시되지 않았으나, 검출면(131)으로 전파되어 힘 추론을 위해 검출될 수도 있다.
도 11은 센서 배열체(10)를 위한 상부 부분을 제조하기 위한 몰드(600)를 도시한다. 몰드(600)는 개구(610)가 형성되는 몰드 본체(620)를 포함한다. 도 12는 개구(610)가 형성된 몰드 본체(620)를 또한 갖는 추가 몰드(605)를 도시한다. 몰드(600) 및 추가 몰드(605)가 함께 놓일 때, 단지 하나의 개구(610)만이 남는다. 개구(610)는 골격(240)을 오버몰딩(overmolding)함으로써 상부 부분(200)을 제조하는 데 사용될 수도 있다.
도 11은 상부 부분(200)의 생산 공정에서의 상태를 나타낸다. 골격(240)은 개구(610)에 놓인다. 도 12에 도시된 추가 몰드(605)는 하나의 단일 개구(610)를 형성하기 위해 사용될 것이다. 골격(240)은 골격(240)을 둘러싸는 벽(210)을 형성하기 위해 벽 재료에 의해 오버몰딩될 것이다.
나중에 측정면(220)이 될 벽(210)의 외측은 개구(610)에 의해 정의된다. 즉, 측정면(220)은 개구(610)의 형상에 적응될 것이다.
나중에 반사면(230)이 될 내부 형상을 정의하기 위해, 캐스트(700)가 사용될 수 있다. 가능하게는 캐스트(700)의 실시양태들이 도 13 내지 도 17 에 도시되어 있다.
도 13은 제 1 실시양태에 따른 캐스트(700)를 도시한다. 캐스트(700)는 지지 링(720)을 포함한다. 지지 링(720)으로부터, 주요 부분(710)은 팁을 향해 감소하는 둥근 단면으로 연장된다. 도 13의 실시양태에서, 주요 부분(710)은 편평한 외부 표면을 갖고, 따라서, 편평한 반사면(230)은 벽(210)의 내부 반사면(230)을 정의하기 위해 도 11에 도시된 골격(240) 내부에 캐스트(700)가 사용될 때 형성된다.
도 14는 제 2 실시양태에 따른 캐스트(700)를 도시한다. 도 13에 도시된 실시양태와 대조적으로, 도 14의 캐스트(700)는 반사면(230) 상에 특정한 상보적 구조를 제공하기 위해 사용될 수 있는 복수의 리세스(716)를 갖는다. 리세스들(716)은 반사면(230)에 상보적인 돌출부들을 형성하여, 광 패턴(132)의 변화를 더 크게 증가시킬 수도 있다. 도 14에 도시된 바와 같이, 리세스들(716)은 주요 부분(710)의 팁 부근에 위치된다. 예를 들어, 리세스들(716)은 도 5에 도시된 바와 같이 벽(210)의 박형화된 섹션(250)에 적용될 수도 있다.
도 15는 제 3 실시양태에 따른 캐스트(700)를 도시한다. 도 15의 실시양태에서, 캐스트(700)는 외부 그리드 구조체(712)를 갖는다. 이러한 외부 그리드 구조체(712)는 반사면(230) 상의 상보적인 구조로 이어진다. 이는 많은 상황에서 증가된 힘 검출 능력들을 야기한다.
도 16은 도 15의 실시양태와 유사하게 구현되지만 더 미세한 그리드 구조체(712)를 갖는 제 4 실시양태에 따른 캐스트(700)를 도시한다.
도 17은 제 6 실시양태에 따른 캐스트(700)를 도시한다. 외부 그리드 구조체(712) 또는 도 16에 추가하여, 도 17에 도시된 실시양태는 그리드 구조를 갖지 않는 편평한 부분(714)을 갖는다. 편평한 부분(714)은 또한 팁 부근에 위치된다. 이는 국부적으로 편평한 반사면(230)을 초래한다. 그러한 국부적으로 편평한 반사면(230)은 예를 들어, 박형화된 섹션(250)에서 적용될 수 있다.
도 18은 예를 들어 도 16에 도시된 바와 같은 캐스트(700)의 전형적인 프로파일을 도시한다. 프로파일은 돌출부들(713)을 갖는 외부 그리드 구조체(712)를 포함한다. 돌출부들(713) 사이에, 반사면(230)에서 평탄한 영역을 또한 초래하는 평탄한 영역이 있다. 돌출부들(713)은 도시된 실시양태에서 반원(halve circle)의 외형을 갖는다. 예를 들어, 돌출부들(713) 사이의 거리는 적어도 0.1 mm, 적어도 0.5 mm, 적어도 1 mm, 또는 적어도 2 mm일 수도 있다. 돌출부들(713) 사이의 거리는 최대 0.5 mm, 최대 1 mm, 최대 2 mm, 또는 최대 5 mm일 수도 있다. 따라서, 그것은 서브밀리미터 내지 수 밀리미터일 수도 있다. 돌출부들(713)의 반경에 대해 동일한 값들 또는 범위들이 적용될 수도 있다. 그러나, 다른 값들 또한 사용될 수 있다.
도 19는 힘 추론의 개략적인 개요를 보여준다.
이미 전술한 바와 같이, 이미지 센서(130)는 검출면(131)을 포함한다. 검출면(131)은 복수의 픽셀들(P)을 갖는다. 그것들은 P1, P2,...Px로 표시된다. 각각의 픽셀(P)은 컬러 감응 방식으로 픽셀에 충돌하는 광을 개별적으로 검출할 수 있다. 따라서, 이미지 센서(130) 상의 광 패턴(132)이 검출될 수 있다.
이미지 센서(130)의 출력 데이터는 피드포워드 신경망(FFNN)에 공급된다. 이는 이미지 센서(130)로부터의 이미지 데이터를 힘 맵(force map; FM)에 맵핑하는 인공 신경망이다. 힘 맵(FM)은 복수의 힘 벡터들(F1, F2, ... Fx)을 포함한다. 힘 맵(FM)의 힘 벡터들(F)에 대해서는 아래에서 더 설명될 것이다.
피드포워드 신경망(FFNN)은 트레이닝 방법(T)에 의해 트레이닝될 수도 있다. 적합한 트레이닝이 도 20 을 참조하여 아래에서 추가로 설명될 것이다.
원칙적으로, 피드포워드 신경망(FFNN)은 이미지 센서(130)로부터 수신된 이미지 데이터에서 나오는 힘들을 검출할 수 있다. 이는 머신 러닝 기법들에 의해 향상될 수도 있다. 적합한 트레이닝된 피드포워드 신경망(FFNN)은 힘들의 위치, 크기, 및 방향 그리고 심지어 인덴터들의 형상 및 사이즈를 추론할 수 있다는 것이 입증되었다. 이러한 추론은 복수의 힘이 동시에 가해질 때에도 가능하다.
힘 추론을 향상시키기 위해, 조명된 반사면의 변형되지 않은 뷰, 그레이스케일 그래디언트 이미지, 및/또는 골격의 이미지를 갖는 추가의 이미지 데이터가 각각의 경우에 힘 추론 및/또는 트레이닝 단계가 수행되어야 하는 피드포워드 신경망(FFNN)에 입력될 수 있다.
도 20은 피드포워드 신경망 FFNN을 트레이닝하기 위한 방법(T)을 도시한다.
제 1 단계(T_1)에서, 도 21을 참조하여 추가로 설명되는 바와 같이, 센서 배열체(10)를 이용한 복수의 힘 테스트들이 수행된다. 각각의 힘 테스트에서, 인가된 힘이 측정되고, 또한 측정면(220) 상의 힘의 위치가 측정된다. 또한, 이미지 센서(130)로부터 광 패턴(132)에 대응하는 이미지 데이터가 독출된다.
제 2 단계(T_2)에서는, 각각의 시뮬레이션이 하나의 힘 테스트에 대응하도록 복수의 시뮬레이션이 행해진다. 각각의 시뮬레이션은 힘이 인가될 때, 컴포넌트들, 특히 벽(210)의 거동을 시뮬레이션하는 센서 배열체(10)의 모델로 이루어진다. 따라서, 시뮬레이션된 힘 맵(FM')이 각각의 시뮬레이션에서 계산된다.
제 3 단계(T_3)에서, 피드포워드 신경망(FFNN)은 힘 테스트들의 이미지 데이터와, 대응하는 시뮬레이션들에서 계산된 시뮬레이션된 힘 맵들(FM')로 트레이닝된다. 상세하게, 각각의 트레이닝 단계는 광 패턴(132) 및 대응하는 시뮬레이션된 힘 맵(FM')으로 피드포워드 신경망을 트레이닝시키는 단계를 포함할 수도 있다. 따라서, 피드포워드 신경망(FFNN)은 광 패턴(132)을 힘 맵(FM)에 맵핑하는 방법을 학습한다.
시뮬레이션된 힘 맵(FM')은 센서 배열체(10)의 모델에 기초한 시뮬레이션에만 존재한다는 것을 유의해야 한다. 힘 맵(FM)은 실제 측정면(220) 상에 존재한다.
도 21은 힘 테스트들을 수행하기 위한 힘 테스트 배열체(500)를 도시한다. 힘 테스트 배열체(500)는 베이스(510)를 포함한다. 베이스(510) 상에, 관절(530)과 연결되는 제 1 아암(arm)(520)이 위치된다. 관절(530)에서, 제 2 아암(540)이 위치된다. 제 1 아암(520)은 베이스(510) 상에서 회전될 수도 있고, 제 2 아암(540)은 도시되지 않은 전기적 구동 수단에 의해 관절(530) 주위로 스윙될 수도 있다.
제 2 아암(540) 상에는 전술한 바와 같은 센서 배열체(10)가 장착된다. 그것은 제 2 아암(540)의 축 주위로 회전될 수도 있다. 따라서, 센서 배열체(10)는 힘 테스트 배열체(500)에 의해 위치될 수도 있다.
또한, 힘 센서(560)가 장착되는 상부 부분(550)이 있다. 힘 센서(560)는 인덴터(800)와 연결된다. 인덴터(800)는 실질적으로 변경되지 않은 위치에 유지된다. 힘 테스트 장치(500)에 의해, 센서 배열체(10), 특히 그 측정면(220)은 인덴터(800)와 접촉하게 되어, 힘이 인가될 수 있다. 이 힘은 힘 센서(560)에 의해 측정될 수 있다.
바람직한 구현양태에서, 아암들(520, 540)은 인덴터(800)가 측정면(220)과 접촉하게 되어야 하는 측정면(220) 상의 의도된 위치를 선택하기 위해 사용된다. 인덴터(800)는 이어서 상부 부분(550)을 3차원으로 이동시킴으로써 이동될 수도 있고, 따라서 수직 성분 및 전단력 성분들 양자 모두를 가질 수도 있는 힘을 측정면(220) 상에 인가한다. 센서 배열체(10)는 그 힘 인가 동안 제자리에 남겨질 수도 있다. 그러나, 특히 부품들의 이동과 관련하여 힘 테스트의 다른 구현들도 가능하다. 예를 들어, 상부 부분(550)은 아암(520, 540)과 동시에 이동될 수도 있다. 또한, 힘을 가하기 위해 아암들(520, 540)만이 사용될 수도 있다.
인덴터(800) 측정면(220)과 접촉하는 위치는 머신 파라미터들 또는 운동학적 모델을 사용하여 계산될 수도 있다. 그러나, 그것은 또한 카메라에 의해 관찰될 수도 있다.
도 22는 힘 테스트 배열체(500)에서 사용하기 위한 물리적 인덴터들(800)일 수 있거나, 도 24와 관련하여 아래에서 추가로 설명되는 바와 같이 시뮬레이션에서 시뮬레이션된 인덴터들(800')일 수 있는 4개의 상이한 인덴터들(800)의 형상들을 개략적으로 도시한다.
도 22a는 측정면(220)에 대해 접촉 부분에서 편평한 형상을 갖는 인덴터(800)를 도시한다. 도 22b는 팁 형상의 접촉 부분을 갖는 인덴터(800)를 도시한다. 도 22c는 반구 같은 형상의 접촉 부분을 갖는 인덴터(800)를 도시한다. 도 22d는 도 22c에 도시된 인덴터(800)와 동일한 타입의 접촉 부분을 갖지만 더 작은 사이즈를 갖는 인덴터(800)를 도시한다. 이러한 상이한 인덴터들(800)을 사용하는 것은 이러한 상이한 형상들에 대해 피드포워드 신경망(FFNN)의 트레이닝을 최적화할 수 있으며, 이는 이러한 상이한 인덴터들(800)로 트레이닝된 피드포워드 신경망(FFNN)의 능력들이 상이한 인덴터 형상들을 갖는 인덴터들(800)에 의해 인가되는 복원력들에 대해 증가된다는 것을 의미한다. 예로서 달리 말하면, 편평한 형상을 갖는 인덴터(800)의 인가 후에 복원된 힘 맵(FM)은 반구 형상을 갖는 인덴터(800)의 인가 후에 복원된 힘 맵(FM)과 상이할 것이다.
도 23은 힘 맵(FM)의 개략적인 예시와 함께 센서 배열체(10)를 도시한다. 힘 맵(FM)은, 측정면(220) 주위의 전체에 위치되는 복수의 힘 벡터들(F)을 포함한다. 2개의 힘 벡터(F)가 도 23에 도시되어 있지만, 훨씬 더 많은 힘 벡터(F)가 전형적인 구현들에서 사용될 수 있다. 예를 들어, 1 힘 벡터(F)/mm2가 예시적인 구현에서 사용될 수 있다.
각각의 힘 벡터(F)는 수직력 성분(FN), 제 1 전단력 성분(FS1) 및 제 2 전단력 성분(FS2)을 갖는다. 수직력 성분(FN)은 인가된 힘의 수직력, 즉 측정면(220)의 국부적 배향에 수직인 성분의 값을 제공한다. 전단력 성분들(FS1, FS2)은 각각의 포인트에서 측정면(220)에 가해지는 전단력들의 값들을 제공한다. 전단력들은 전형적으로 측정면(220)의 국부적 배향에 평행하고, 전형적으로 서로에 대해 그리고 수직력에 대해 수직이다. 이는 특히 측정면(220)의 변형되지 않은 배향에 관련될 수도 있으며, 이는 힘 벡터들(F)의, 특히 그의 법선 성분들의 배향을 정의할 수도 있다.
따라서, 각각의 힘 벡터(F)는 측정면(220) 상의 특정 포인트에 가해지는 힘의 강도 및 배향을 제공한다. 이러한 힘은, 예를 들어, 인덴터(800)로부터 유래할 수도 있는 반면, 하나의 이러한 인덴터(800)가 도 23에 예로서 도시되어 있다. 힘을 가함에 따라, 측정면(220)은 약간 변형된다.
힘 벡터(F)의 다른 정의들이 또한 사용될 수 있으며, 예를 들어 단지 수직력 성분만이 평가될 수 있거나 전단력들이 대안적인 정의들을 가질 수 있다는 것에 유의해야 한다.
도 24 는 해당 케이스를 시뮬레이션된 힘 맵(FM')으로 나타낸다. 참조 부호들은 아포스트로피(')로 표시된다. 시뮬레이션된 힘 맵(FM')의 경우, 시뮬레이션된 측정면(220') 상의 이러한 시뮬레이션된 힘 맵(FM')의 시뮬레이션된 힘 벡터들(F')은 각각의 시뮬레이션된 성분들, 예를 들어 수직력 성분(F'N), 제 1 전단력 성분(F'S1) 및 제 2 전단력 성분(F'S2)을 가질 수도 있다. 이러한 시뮬레이션된 힘 맵들(FM')은 특히 전술한 바와 같이 모델 상에서 수행되는 시뮬레이션들에서 계산된다.
도 24에 도시된 시뮬레이션된 인덴터(800')도 있다. 시뮬레이션된 인덴터(800')는 대응하는 힘 테스트에서 실제 인덴터(800)와 동일한 크기 및 방향을 갖는 시뮬레이션으로 그리고 동일한 위치에 적용된다. 모델을 사용하여, 시뮬레이션된 힘 맵(FM')이 계산되고, 이어서 피드포워드 신경망(FFNN)을 트레이닝하는 데 사용된다.
본 발명의 방법의 언급된 단계들은 주어진 순서로 수행될 수 있다. 그러나, 그것들은 또한 기술적으로 합리적인 한 다른 순서로 수행될 수 있다. 본 발명의 방법은, 일 실시양태에서, 예를 들어 단계들의 특정 조합으로, 추가 단계들이 수행되지 않는 방식으로 수행될 수도 있다. 그러나, 언급되지 않은 단계들을 포함하는 다른 단계들이 또한 수행될 수도 있다.
특징들은, 예를 들어 이들 특징들이 서로 독립적으로 사용 또는 구현될 수도 있다는 사실에도 불구하고 더 나은 이해가능성을 제공하기 위해, 청구항들에서 그리고 설명에서 조합하여 설명될 수도 있다는 것에 유의해야 한다. 당업자는 이러한 특징들이 다른 특징들과 조합되거나 서로 독립적인 특징 조합들과 조합될 수 있다는 것에 유의할 것이다.
종속항들에서의 참조들은 각각의 특징들의 바람직한 조합들을 나타낼 수도 있지만, 다른 특징 조합들을 배제하지 않는다.
참조 부호들의 리스트
10 센서 배열체
12 내부 공간
100 베이스 부분
110 지지 구조체
120 인쇄 회로 기판
130 이미지 센서
131 검출면
132 광 패턴
133 광 스폿
134 광 스폿
135 광 스폿
136 변형된 부분
137 광 강도 패턴
138 강도 라인들
139 변형 구역
140 광각 렌즈
150 장착 구조체
152 나사들
160 광원 배열체
162 지지 링
164 광원들
166 원뿔들
167 중심 전파 방향
168 외측 원뿔 각도들
170 콜리메이터
175 콜리메이터 링
200 상부 부분
210 벽
220 측정면
230 반사면
240 골격
242 바닥 링
244 그리드
246 돌출부들
248 주요 부분
249 손톱 섹션
250 박형화된 섹션
255 에지
500 힘 테스트 배열체
510 베이스
520 제 1 아암
530 관절
540 제 2 아암
550 상부 부분
560 힘 센서
600 몰드
605 추가 몰드
610 개구
620 몰드 바디
700 캐스트
710 주요 부분
712 그리드 구조체
713 돌출부들
714 편평 부분
716 리세스들
720 지지 링
800 인덴터
P 픽셀
FFNN 피드포워드 신경망
FM 힘 맵
T 트레이닝 방법
F 힘 벡터
FN 수직 성분
FS 전단력 성분
아포스트로피: 시뮬레이션의 요소들
10 센서 배열체
12 내부 공간
100 베이스 부분
110 지지 구조체
120 인쇄 회로 기판
130 이미지 센서
131 검출면
132 광 패턴
133 광 스폿
134 광 스폿
135 광 스폿
136 변형된 부분
137 광 강도 패턴
138 강도 라인들
139 변형 구역
140 광각 렌즈
150 장착 구조체
152 나사들
160 광원 배열체
162 지지 링
164 광원들
166 원뿔들
167 중심 전파 방향
168 외측 원뿔 각도들
170 콜리메이터
175 콜리메이터 링
200 상부 부분
210 벽
220 측정면
230 반사면
240 골격
242 바닥 링
244 그리드
246 돌출부들
248 주요 부분
249 손톱 섹션
250 박형화된 섹션
255 에지
500 힘 테스트 배열체
510 베이스
520 제 1 아암
530 관절
540 제 2 아암
550 상부 부분
560 힘 센서
600 몰드
605 추가 몰드
610 개구
620 몰드 바디
700 캐스트
710 주요 부분
712 그리드 구조체
713 돌출부들
714 편평 부분
716 리세스들
720 지지 링
800 인덴터
P 픽셀
FFNN 피드포워드 신경망
FM 힘 맵
T 트레이닝 방법
F 힘 벡터
FN 수직 성분
FS 전단력 성분
아포스트로피: 시뮬레이션의 요소들
Claims (56)
- 힘들을 측정하기 위한 센서 배열체(10)의 힘 추론을 위한 방법으로서,
상기 센서 배열체(10)는 적어도,
- 탄성 변형 가능한 벽(210)으로서, 상기 벽(210)은 외부 측정면(220) 및 내부 반사면(230)을 포함하고, 상기 반사면(230)은 내부 공간(12)을 부분적으로 한정하는, 상기 탄성 변형 가능한 벽(210),
- 상기 내부 공간(12)을 향해 광을 방출하도록 배열되는 다수의 광원들(164)을 포함하는 광원 배열체(160), 및
- 상기 내부 공간(12)에 장착되는 이미지 센서(130)
를 포함하고;
상기 힘 추론을 위한 방법은:
- 상기 이미지 센서(130)로부터 이미지 데이터를 판독하는 단계, 및
- 피드포워드 신경망(FFNN)을 사용하여 상기 이미지 데이터에 기초하여 상기 측정면(220) 상의 힘 맵(FM)을 계산하는 단계로서, 상기 힘 맵(FM)은 복수의 힘 벡터들(F)을 포함하는, 상기 힘 맵(FM)을 계산하는 단계
를 포함하는, 방법. - 제 1 항에 있어서,
상기 피드포워드 신경망(FFNN)은 상기 힘 추론 전에 수행되는 다음의 단계들:
- 상기 센서 배열체(10)에 대해 복수의 힘 테스트들을 수행하는 단계(T_1)로서, 각각의 힘 테스트는 상기 센서 배열체(10)의 상기 측정면(220) 상의 위치에 하나의 인덴터(800)에 의한 힘의 인가, 상기 인덴터(800)에 의해 인가된 힘의 동시 측정 및 상기 이미지 센서(130)로부터 이미지 데이터의 동시 판독을 포함하는, 상기 복수의 힘 테스트들을 수행하는 단계(T_1),
- 각각의 힘 테스트에 대해, 상기 센서 배열체(10)의 모델(10')로 대응하는 시뮬레이션을 수행하는 단계(T_2)로서, 각각의 시뮬레이션은 상기 모델(10')의 시뮬레이션된 측정면(220') 상에 시뮬레이션된 힘의 인가를 포함하고, 이에 의해, 상기 시뮬레이션된 측정면(220') 상의 시뮬레이션된 힘 맵(FM')을 계산하며, 상기 시뮬레이션된 힘 맵(FM')은 복수의 시뮬레이션된 힘 벡터들(F')을 포함하고, 상기 시뮬레이션된 힘은 측정된 힘에 대응하고 상기 측정면(220) 상의 위치에 대응하는 상기 시뮬레이션된 측정면(220') 상의 위치에 인가되는, 상기 대응하는 시뮬레이션을 수행하는 단계(T_2), 및
- 상기 이미지 데이터 및 대응하는 계산된 상기 시뮬레이션된 힘 맵들(FM')로 피드포워드 신경망(FFNN)을 트레이닝하는 단계(T_3)
로 트레이닝된, 방법. - 제 2 항에 있어서,
- 상기 피드포워드 신경망(FFNN)을 트레이닝하기 위한 상기 힘 테스트들은, 각각의 인덴터 형상을 각각 갖는 복수의 인덴터들(800)로 수행되는, 방법. - 제 3 항에 있어서,
- 상기 인덴터 형상들은 적어도 팁, 라운드, 삼각형 단면, 정사각형 단면, 반구, 큐브, 및 원통을 포함하는 그룹에서 선택되는, 방법. - 제 3 항 또는 제 4 항에 있어서,
- 상기 시뮬레이션들은 대응하는 힘 테스트에서 사용된 실제 인덴터 형상들에 대응하는 각각의 시뮬레이션된 인덴터 형상들을 갖는 시뮬레이션된 인덴터들(800)에 의해 인가된 시뮬레이션된 힘들로 수행되는, 방법. - 제 2 항 내지 제 5 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 복수의 상이한 인덴터 형상들을 사용하여 트레이닝된, 방법. - 제 2 항 내지 제 6 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 상이한 사이즈들을 갖는 복수의 인덴터들(800)을 사용하여 트레이닝된, 방법. - 제 2 항 내지 제 7 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은, 적어도 상기 피드포워드 신경망(FFNN)을 트레이닝하기 위한 상기 힘 테스트들의 일부에 대해, 각각의 전단력들로 인가되는 상기 인덴터들(800)로 트레이닝된, 방법. - 제 2 항 내지 제 8 항 중 어느 한 항에 있어서,
- 상기 측정된 힘들 각각은 수직력 성분, 제 1 전단력 성분 및 제 2 전단력 성분을 포함하는, 방법. - 제 9 항에 있어서,
- 상기 측정된 힘들의, 상기 제 1 전단력 성분은 제 1 전단력에 대응하고 상기 제 2 전단력 성분은 제 2 전단력에 대응하며, 그리고
- 상기 제 1 전단력은 상기 제 2 전단력에 수직인, 방법. - 제 2 항 내지 제 10 항 중 어느 한 항에 있어서,
- 상기 측정된 힘들의 각각은 기준 좌표계에서 3개의 성분들을 포함하는, 방법. - 제 2 항 내지 제 11 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 상이한 전단력 성분들을 갖는 복수의 힘들을 사용하여 트레이닝된, 방법. - 제 2 항 내지 제 12 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 상이한 수직력 성분들을 갖는 복수의 힘들을 사용하여 트레이닝된, 방법. - 제 2 항 내지 제 13 항 중 어느 한 항에 있어서,
- 상기 힘들은 상기 인덴터(800)에서의 또는 상기 인덴터(800)에 인접하게 위치되는 힘 센서(560)를 사용하여 측정되는, 방법. - 제 2 항 내지 제 14 항 중 어느 한 항에 있어서,
- 상기 시뮬레이션된 힘 벡터들(F')의 각각은 수직력 성분(F'N), 제 1 전단력 성분(F'S1) 및 제 2 전단력 성분(F'S2)을 포함하는, 방법. - 제 2 항 내지 제 14 항 중 어느 한 항에 있어서,
- 상기 시뮬레이션된 힘 벡터들(F') 각각은 기준 좌표계에서 3개의 성분들을 포함하는, 방법. - 제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
- 계산된 힘 맵(FM)의 기초가 되는 이미지 데이터는 상기 이미지 센서로부터 판독되는 이미지 데이터에 추가하여, 다수의 불변 이미지들, 또는 3개의 불변 이미지들을 포함하는, 방법. - 제 17 항에 있어서,
- 상기 불변 이미지들은 그레이스케일 그래디언트 이미지, 골격의 이미지, 및/또는 기준 광 패턴인, 방법. - 제 17 항 또는 제 18 항에 있어서,
- 상기 이미지 데이터의 일부로서의 가변 이미지는 상기 힘 맵(FM)을 계산하기 직전에 취해진, 방법. - 제 1 항 내지 제 19 항 중 어느 한 항에 있어서,
- 상기 힘 맵(FM)은 적어도 0.25 힘 벡터(F)/mm2, 적어도 0.5 힘 벡터(F)/mm2, 적어도 0.75 힘 벡터(F)/mm2, 적어도 1 힘 벡터(F)/mm2, 적어도 1.5 힘 벡터(F)/mm2, 또는 적어도 2 힘 벡터(F)/mm2를 포함하고,
그리고/또는
- 상기 힘 맵(FM)은 최대 0.25 힘 벡터(F)/mm2, 최대 0.5 힘 벡터(F)/mm2, 최대 0.75 힘 벡터(F)/mm2, 최대 1 힘 벡터(F)/mm2, 최대 1.5 힘 벡터(F)/mm2, 또는 최대 2 힘 벡터(F)/mm2를 포함하는, 방법. - 제 1 항 내지 제 20 항 중 어느 한 항에 있어서,
- 각각의 힘 벡터(F)는 수직력 성분(FN), 제 1 전단력 성분(FS1) 및 제 2 전단력 성분(FS2)을 포함하는, 방법. - 제 21 항에 있어서,
- 상기 제 1 전단력 성분(FS1)은 제 1 전단력에 대응하고 상기 제 2 전단력 성분(FS2)은 제 2 전단력에 대응하며, 그리고
- 상기 제 1 전단력은 상기 제 2 전단력에 수직인, 방법. - 제 1 항 내지 제 20 항 중 어느 한 항에 있어서,
- 각각의 힘 벡터(F)는 기준 좌표계에서 3개의 성분들을 포함하는, 방법. - 제 1 항 내지 제 23 항 중 어느 한 항에 있어서,
- 상기 이미지 데이터의 일부로서 외부 영향 없이 상기 센서 배열체(10)의 상기 반사면(230)의 추가 이미지로 상기 피드포워드 신경망(FFNN)이 트레이닝되었거나, 상기 힘 맵(FM)의 계산이 수행되는, 방법. - 제 1 항 내지 제 24 항 중 어느 한 항에 있어서,
- 상기 이미지 데이터의 일부로서 상기 센서 배열체(10)의 벽(210)의 골격(240)의 이미지로 상기 피드포워드 신경망(FFNN)이 트레이닝되었거나, 상기 힘 맵(FM)의 계산이 수행되는, 방법. - 제 1 항 내지 제 25 항 중 어느 한 항에 있어서,
- 상기 이미지 데이터의 일부로서 위치 인코딩을 위한 그레이스케일 그래디언트 이미지로 상기 피드포워드 신경망(FFNN)이 트레이닝되었거나, 상기 힘 맵(FM)의 계산이 수행되는, 방법. - 피드포워드 신경망(FFNN)을 트레이닝하기 위한 방법(T)으로서,
- 상기 피드포워드 신경망(FFNN)은 이미지 센서(130)의 이미지 데이터에 기초하여 센서 배열체(10)의 측정면(220) 상의 힘 맵(FM)을 계산하고, 상기 힘 맵(FM)은 복수의 힘 벡터들(F)을 포함하며,
상기 피드포워드 신경망(FFNN)은 다음 단계들:
- 상기 센서 배열체(10)에 대해 복수의 힘 테스트들을 수행하는 단계(T_1)로서, 각각의 힘 테스트는 상기 센서 배열체(10)의 상기 측정면(220) 상의 위치에 하나의 인덴터(800)에 의한 힘의 인가, 상기 인덴터(800)에 의해 인가된 힘의 동시 측정 및 상기 이미지 센서(130)로부터 이미지 데이터의 동시 판독을 포함하는, 상기 복수의 힘 테스트들을 수행하는 단계(T_1),
- 각각의 힘 테스트에 대해, 상기 센서 배열체(10)의 모델(10')로 대응하는 시뮬레이션을 수행하는 단계(T_2)로서, 각각의 시뮬레이션은 상기 모델(10')의 시뮬레이션된 측정면(220') 상에 시뮬레이션된 힘의 인가를 포함하고, 이에 의해, 상기 시뮬레이션된 측정면(220') 상의 시뮬레이션된 힘 맵(FM')을 계산하며, 상기 시뮬레이션된 힘 맵(FM')은 복수의 시뮬레이션된 힘 벡터들(F')을 포함하고, 상기 시뮬레이션된 힘은 측정된 힘에 대응하고 상기 측정면(220) 상의 위치에 대응하는 상기 시뮬레이션된 측정면(220') 상의 위치에 인가되는, 상기 대응하는 시뮬레이션을 수행하는 단계(T_2), 및
- 상기 이미지 데이터 및 대응하는 계산된 상기 시뮬레이션된 힘 맵들(FM')로 상기 피드포워드 신경망(FFNN)을 트레이닝하는 단계(T_3)
로 트레이닝되는, 방법. - 제 27 항에 있어서,
- 상기 피드포워드 신경망(FFNN)을 트레이닝하기 위한 힘 테스트들은, 각각의 인덴터 형상을 각각 갖는 복수의 인덴터들(800)로 수행되는, 방법. - 제 28 항에 있어서,
- 상기 인덴터 형상들은 적어도 팁, 라운드, 삼각형 단면, 정사각형 단면, 반구, 큐브, 및 원통을 포함하는 그룹에서 선택되는, 방법. - 제 28 항 또는 제 29 항에 있어서,
- 상기 시뮬레이션들은 대응하는 힘 테스트에서 사용된 실제 인덴터 형상들에 대응하는 각각의 시뮬레이션된 인덴터 형상들을 갖는 시뮬레이션된 인덴터들(800')에 의해 인가된 시뮬레이션된 힘들로 수행되는, 방법. - 제 27 항 내지 제 30 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 복수의 상이한 인덴터 형상들을 사용하여 트레이닝되는, 방법. - 제 27 항 내지 제 31 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 상이한 사이즈들을 갖는 복수의 인덴터들(800)을 사용하여 트레이닝되는, 방법. - 제 27 항 내지 제 32 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은, 적어도 상기 피드포워드 신경망(FFNN)을 트레이닝하기 위한 상기 힘 테스트들의 일부에 대해, 각각의 전단력들로 인가되는 상기 인덴터들(800)로 트레이닝되는, 방법. - 제 27 항 내지 제 33 항 중 어느 한 항에 있어서,
- 상기 측정된 힘들 각각은 수직력 성분, 제 1 전단력 성분 및 제 2 전단력 성분을 포함하는, 방법. - 제 34 항에 있어서,
- 상기 측정된 힘들의, 상기 제 1 전단력 성분은 제 1 전단력에 대응하고 상기 제 2 전단력 성분은 제 2 전단력에 대응하며, 그리고
- 상기 제 1 전단력은 상기 제 2 전단력에 수직인, 방법. - 제 27 항 내지 제 33 항 중 어느 한 항에 있어서,
- 상기 측정된 힘들의 각각은 기준 좌표계에서 3개의 성분들을 포함하는, 방법. - 제 27 항 내지 제 36 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 상이한 전단력 성분들을 갖는 복수의 힘들을 사용하여 트레이닝되는, 방법. - 제 27 항 내지 제 37 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 상이한 수직력 성분들을 갖는 복수의 힘들을 사용하여 트레이닝되는, 방법. - 제 27 항 내지 제 38 항 중 어느 한 항에 있어서,
- 상기 힘들은 상기 인덴터(800)에서의 또는 상기 인덴터(800)에 인접하게 위치되는 힘 센서(560)를 사용하여 측정되는, 방법. - 제 27 항 내지 제 39 항 중 어느 한 항에 있어서,
- 상기 시뮬레이션된 힘 벡터들(F')의 각각은 수직력 성분(F'N), 제 1 전단력 성분(F'S1) 및 제 2 전단력 성분(F'S2)을 포함하는, 방법. - 제 40 항에 있어서,
- 상기 시뮬레이션된 힘 벡터들(F')의, 상기 제 1 전단력 성분(F'S1)은 제 1 전단력에 대응하고 상기 제 2 전단력 성분(F'S2)은 제 2 전단력에 대응하며, 그리고
- 상기 제 1 전단력은 상기 제 2 전단력에 수직인, 방법. - 제 27 항 내지 제 39 항 중 어느 한 항에 있어서,
- 시뮬레이션된 힘 벡터들(F') 각각은 기준 좌표계에서 3개의 성분들을 포함하는, 방법. - 제 27 항 내지 제 42 항 중 어느 한 항에 있어서,
- 상기 피드포워드 네트워크(FFNN)는 제 1 항 또는 제 1 항에 종속하는 청구항에 따른 방법에서 사용되는, 방법. - 제 27 항 내지 제 43 항 중 어느 한 항에 있어서,
- 상기 힘 맵(FM)은 적어도 0.25 힘 벡터(F)/mm2, 적어도 0.5 힘 벡터(F)/mm2, 적어도 0.75 힘 벡터(F)/mm2, 적어도 1 힘 벡터(F)/mm2, 적어도 1.5 힘 벡터(F)/mm2, 또는 적어도 2 힘 벡터(F)/mm2를 포함하고,
그리고/또는
- 상기 힘 맵(FM)은 최대 0.25 힘 벡터(F)/mm2, 최대 0.5 힘 벡터(F)/mm2, 최대 0.75 힘 벡터(F)/mm2, 최대 1 힘 벡터(F)/mm2, 최대 1.5 힘 벡터(F)/mm2, 또는 최대 2 힘 벡터(F)/mm2를 포함하는, 방법. - 제 27 항 내지 제 44 항 중 어느 한 항에 있어서,
- 각각의 힘 벡터(F)는 수직력 성분(FN), 제 1 전단력 성분(FS1) 및 제 2 전단력 성분(FS2)을 포함하는, 방법. - 제 45 항에 있어서,
- 상기 제 1 전단력 성분(FS1)은 제 1 전단력에 대응하고 상기 제 2 전단력 성분(FS2)은 제 2 전단력에 대응하며, 그리고
- 상기 제 1 전단력은 상기 제 2 전단력에 수직인, 방법. - 제 27 항 내지 제 44 항 중 어느 한 항에 있어서,
- 각각의 힘 벡터(F)는 기준 좌표계에서 3개의 성분들을 포함하는, 방법. - 제 27 항 내지 제 47 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 상기 이미지 데이터의 일부로서 외부 영향 없이 상기 센서 배열체(10)의 상기 반사면(230)의 추가 이미지로 트레이닝되는, 방법. - 제 27 항 내지 제 48 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 상기 이미지 데이터의 일부로서 상기 센서 배열체(10)의 벽(210)의 골격의 이미지로 트레이닝되는, 방법. - 제 27 항 내지 제 49 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 상기 이미지 데이터의 일부로서 위치 인코딩을 위한 그레이스케일 그래디언트 이미지로 트레이닝되는, 방법. - 제 27 항 내지 제 50 항 중 어느 한 항에 있어서,
- 상기 피드포워드 신경망(FFNN)은 그레이스케일 그래디언트 이미지, 골격의 이미지, 및/또는 기준 광 패턴 중 하나 이상으로 트레이닝되는, 방법. - 제 27 항 내지 제 51 항 중 어느 한 항에 있어서,
상기 센서 배열체(10)는 힘들을 감지하기 위한 센서 배열체(10)이고,
상기 센서 배열체(10)는:
- 탄성 변형 가능한 벽(210)으로서, 상기 벽(210)은 외부 측정면(220) 및 내부 반사면(230)을 포함하고, 상기 반사면(230)은 내부 공간(12)을 부분적으로 한정하는, 상기 탄성 변형 가능한 벽(210),
- 다수의 광원들(164)을 포함하고 상기 내부 공간(12)을 향해 광을 방출하도록 배열된 광원 배열체(160), 및
- 상기 내부 공간(12)에 장착되는 이미지 센서(130)
를 포함하는, 방법. - 제 1 항 내지 제 52 항 중 어느 한 항에 있어서,
상기 센서 배열체(10)는 힘들을 감지하기 위한 센서 배열체(10)이고, 상기 센서 배열체(10)는:
- 베이스 부분(100),
- 탄성 변형 가능한 벽(210)을 포함하는 상부 부분(200)으로서, 상기 상부 부분(200)은 상기 상부 부분(200) 및 상기 베이스 부분(100)이 내부 공간(12)을 정의하도록 상기 베이스 부분(100) 상에 장착되고, 상기 벽(210)은 외부 측정면(220) 및 내부 반사면(230)을 포함하고, 상기 반사면(230)은 상기 내부 공간(12)을 부분적으로 한정하는, 상기 상부 부분(200),
- 상기 베이스 부분(100) 상에 장착되어 상기 내부 공간(12)을 향해 광을 방출하도록 배열된 다수의 광원들(164)을 포함하는 광원 배열체(160), 및
- 상기 내부 공간(12)에서 상기 베이스 부분(100) 상에 장착되는 이미지 센서(130)
를 포함하는, 방법. - 제 1 항 내지 제 53 항 중 어느 한 항에 있어서,
- 상기 센서 배열체(10)는 로봇의 손가락 팁 및/또는 로봇의 조작 요소인, 방법. - 힘들을 감지하기 위한 센서 배열체(10)의 힘 추론을 위한 힘 추론 모듈로서,
상기 힘 추론 모듈은 제 1 항 내지 제 54 항 중 어느 한 항에 따른 방법을 수행하도록 구성되는, 힘 추론 모듈. - 힘들을 감지하기 위한 센서 배열체(10)로서,
상기 센서 배열체(10)는:
- 베이스 부분(100),
- 탄성 변형 가능한 벽(210)을 포함하는 상부 부분(200)으로서, 상기 상부 부분(200)은 상기 상부 부분(200) 및 상기 베이스 부분(100)이 내부 공간(12)을 정의하도록 상기 베이스 부분(100) 상에 장착되고, 상기 벽(210)은 외부 측정면(220) 및 내부 반사면(230)을 포함하고, 상기 반사면(230)은 상기 내부 공간(12)을 부분적으로 한정하는, 상기 상부 부분(200),
- 상기 베이스 부분(100) 상에 장착되어 상기 내부 공간(12)을 향해 광을 방출하도록 배열된 다수의 광원들(164)을 포함하는 광원 배열체(160),
- 상기 내부 공간(12)의 상기 베이스 부분 상에 장착되는 이미지 센서(130), 및
- 제 55 항에 따른 힘 추론 모듈
을 포함하는, 센서 배열체.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2021/050231 WO2022148542A1 (en) | 2021-01-08 | 2021-01-08 | Method for force inference, method for training a feed-forward neural network, force inference module, and sensor arrangement |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230128539A true KR20230128539A (ko) | 2023-09-05 |
Family
ID=74191709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237026751A KR20230128539A (ko) | 2021-01-08 | 2021-01-08 | 힘 추론을 위한 방법, 피드포워드 신경망을 트레이닝하기위한 방법, 힘 추론 모듈, 및 센서 배열체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240053212A1 (ko) |
| EP (1) | EP4275024A1 (ko) |
| JP (1) | JP2024501926A (ko) |
| KR (1) | KR20230128539A (ko) |
| CN (1) | CN116710743A (ko) |
| WO (1) | WO2022148542A1 (ko) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114661169A (zh) * | 2019-05-16 | 2022-06-24 | 腾讯科技（深圳）有限公司 | 基于视觉的触觉测量方法、装置、设备及存储介质 |
-
2021
- 2021-01-08 KR KR1020237026751A patent/KR20230128539A/ko unknown
- 2021-01-08 CN CN202180080971.XA patent/CN116710743A/zh active Pending
- 2021-01-08 EP EP21700842.4A patent/EP4275024A1/en active Pending
- 2021-01-08 US US18/271,371 patent/US20240053212A1/en active Pending
- 2021-01-08 JP JP2023535669A patent/JP2024501926A/ja active Pending
- 2021-01-08 WO PCT/EP2021/050231 patent/WO2022148542A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024501926A (ja) | 2024-01-17 |
| EP4275024A1 (en) | 2023-11-15 |
| WO2022148542A1 (en) | 2022-07-14 |
| US20240053212A1 (en) | 2024-02-15 |
| CN116710743A (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210148699A1 (en) | Device and method for measuring a surface topography, and calibration method | |
| EP2800946B1 (en) | Arrangement for optical measurements and related method | |
| US20140326882A1 (en) | Electrically Insulated Screen and Method of Erecting an Electrically Insulated Screen | |
| CN109426818B (zh) | 用于识别视线外对象的装置 | |
| NL2005710C2 (en) | Color coded topographer. | |
| US20210281776A1 (en) | Eye model | |
| CN110910506B (zh) | 基于法线检测的三维重建方法、装置、检测装置及系统 | |
| KR100483666B1 (ko) | 광막을 이용한 원형물체의 비행 속도 및 위치 측정 시스템 | |
| KR20230128539A (ko) | 힘 추론을 위한 방법, 피드포워드 신경망을 트레이닝하기위한 방법, 힘 추론 모듈, 및 센서 배열체 | |
| KR20230128538A (ko) | 힘을 감지하기 위한 센서 배열체 및 센서 배열체 및그 부품들을 제조하기 위한 방법들 | |
| JP2008196916A (ja) | 光学素子評価方法、光学面評価方法および光学面評価装置 | |
| Bader et al. | Quadrant detector-based method for eye point alignment of augmented and virtual reality head mounted displays | |
| JP6946345B2 (ja) | マルチファンクションセンシングシステム | |
| US20160021305A1 (en) | Method and apparatus for measuring optical systems and surfaces with optical ray metrology | |
| JP6381262B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| CN115436018A (zh) | 光学检测系统 | |
| KR102087596B1 (ko) | 코로나그라피 영상을 획득하는 장치 및 방법 | |
| JP6750039B2 (ja) | 実用検知システム | |
| RU155206U1 (ru) | Имитатор звездного неба | |
| Matsubara et al. | A three-dimensional position measurement method using two pan-tilt cameras | |
| Parker et al. | A numerical investigation of diffuse images for effective defect detection | |
| KR20210093142A (ko) | 렌즈 모듈의 해상력 검사 차트 및 이를 포함하는 해상력 검사 장치 | |
| WO2018074907A1 (ko) | 복수의 상이한 패턴 광원의 설치가 가능한 패턴 광 조사 장치 및 검사 장치 | |
| Solomon et al. | An illumination planner for convex and concave lambertian polyhedral objects | |
| CN115861155A (zh) | 一种测量光滑表面形状的设备及测量方法 |