KR102529082B1 - 촉각 감지 방법 및 장치 - Google Patents
촉각 감지 방법 및 장치 Download PDFInfo
- Publication number
- KR102529082B1 KR102529082B1 KR1020210052306A KR20210052306A KR102529082B1 KR 102529082 B1 KR102529082 B1 KR 102529082B1 KR 1020210052306 A KR1020210052306 A KR 1020210052306A KR 20210052306 A KR20210052306 A KR 20210052306A KR 102529082 B1 KR102529082 B1 KR 102529082B1
- Authority
- KR
- South Korea
- Prior art keywords
- tactile
- subnetwork
- sensing
- user
- simulation model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000004088 simulation Methods 0.000 claims abstract description 38
- 230000015541 sensory perception of touch Effects 0.000 claims description 34
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000003746 surface roughness Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000003825 pressing Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000035807 sensation Effects 0.000 description 13
- 239000000463 material Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- VZCCETWTMQHEPK-QNEBEIHSSA-N gamma-linolenic acid Chemical compound CCCCC\C=C/C\C=C/C\C=C/CCCCC(O)=O VZCCETWTMQHEPK-QNEBEIHSSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/20—Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress
- G01L1/22—Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress using resistance strain gauges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
- G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Manipulator (AREA)
Abstract
촉각 감지 장치가 개시된다. 본 장치는 기 학습된 촉각 모사 모델을 저장하는 메모리 및 감지 타깃으로부터 획득한 시계열적 터치 신호 및 슬라이딩 신호를 촉각 모사 모델에 입력하여, 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 제공하는 제어부를 포함한다. 상기 장치가 제공됨에 따라 사용자 편의가 제공될 수 있다.
Description
본 개시는 사용자의 촉각을 모사하여 촉각을 감지하는 방법과 장치 및 해당 촉각 감지 방법을 수행하는 프로그램을 저장한 기록 매체에 관한 것이다.
오감 기반의 디지털 체험은 전자 디바이스 제조 기술 및 신호 처리 기술의 진보에 힘입어 계속 발전하고 있다. VR(Virtual Reality) 기술은 시각 및 청각 센세이션(Sensation)을 불러 일으켰으며, 3 차원 상의 영상 및 스테레오 사운드를 제공하는 개인화 서비스가 VR 기술 및 AR(Augmented Reality) 기술을 통해 제공되고 있는 실정이다.
몰입감 있는 디지털 체험을 위해, 정확하게 촉각을 감지하고 이를 효과적으로 전달하는 것이 핵심인데, 시각 및 청각과는 다르게, 촉각을 감지하여 표현하고 전달하는데 기술적 어려움이 있었다.
아울러, 사용자 별 촉각은 개인차가 있으므로, 단순히 촉각을 감지하더라도 특정 사용자의 촉각을 모사하는데는 기술적 어려움이 있었다. 이에, 사용자 맞춤형으로 촉각을 감지하는 방법이 필요하다.
한편, 상기와 같은 정보는 본 발명의 이해를 돕기 위한 백그라운드(background) 정보로서만 제시될 뿐이다. 상기 내용 중 어느 것이라도 본 발명에 관한 종래 기술로서 적용 가능할지 여부에 관해, 어떤 결정도 이루어지지 않았고, 또한 어떤 주장도 이루어지지 않는다.
본 발명이 해결하고자 하는 일 과제는 사용자 별 촉각을 모사하여 촉각을 감지하는 장치 및 방법을 제공하는 데에 있다.
본 발명의 또 다른 과제는, 신경망 알고리즘을 이용하여 사용자 또는 사용자 그룹에 매핑하는 촉각 레벨에 대응하는 촉각 정보를 제공하는 장치 및 방법을 제공하는 데에 있다.
본 발명의 또 다른 과제는, 촉각 재현 장치에 사용자에 대응하는 촉각 정보를 제공하는 장치 및 방법을 제공하는 데에 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 촉각 감지 장치는 기 학습된 촉각 모사 모델을 저장하는 메모리; 및 감지 타깃(Target)으로부터 획득한 시계열적 터치 신호 및 슬라이딩 신호를 상기 촉각 모사 모델에 입력하여, 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 제공하는 제어부;를 포함할 수 있다.
본 발명의 일 실시 예에 따른 프로세서에 의해 수행되는 촉각 감지 방법은 감지 타깃(Target)으로부터 획득한 시계열적 터치 신호 및 슬라이딩 신호를 기 학습된 촉각 모사 모델에 입력하는 단계; 및 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 제공하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 촉각 감지 방법은 컴퓨터상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 내에 저장될 수 있다.
상기 프로그램은, 프로세서에 의한 실행 시, 상기 프로세서가, 감지 타깃(Target)으로부터 획득한 시계열적 터치 신호 및 슬라이딩 신호를 기 학습된 촉각 모사 모델에 입력하는 동작; 및 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 출력하는 동작을 수행하도록 하는 실행 가능한 명령을 포함할 수 있다.
본 발명에서 이루고자 하는 기술적 과제들의 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 다양한 실시 예에 의해, 사용자 별 촉각을 모사하여 촉각을 감지하는 장치가 제공됨으로써, 사용자 편의가 제고될 수 있으며, 사용자 별로 정확한 촉각 감지 프로세스가 수행될 수 있다.
본 발명의 효과는 이상에서 언급한 발명의 효과들로 제한되지 않으며, 언급하지 않은 또 다른 발명의 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 감지 대상으로부터 촉각을 감지하는 장치를 개략적으로 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 촉각 감지 장치의 구성을 나타내는 블록도,
도 3은 본 발명의 일 실시 예에 따른 촉각 센서를 탑재한 촉각 감지 장치의 구성을 나타내는 블록도,
도 4는 본 발명의 일 실시 예에 따른 학습 단계에서 촉각 모사 모델에 입력되는 레이블 정보를 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 촉각 모사 모델의 작동을 설명하기 위한 알고리즘을 나타내며,
도 6(a) 내지 도 6(c)는 본 발명의 다양한 실시 예에 따른 복수 참가자의 촉각 결정을 설명하기 위한 도면들,
도 7은 본 발명의 일 실시 예에 따른 Tolerance 범위의 변화에 따른 정확도의 변화를 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따른 학습 전후로 사용자 및 사용자에 대응하는 촉각 감지 장치의 촉각 결정을 비교한 그래프, 그리고,
도 9는 본 발명의 일 실시 예에 따른 촉각 감지 방법을 설명하기 위한 시퀀스도이다.
도 2는 본 발명의 일 실시 예에 따른 촉각 감지 장치의 구성을 나타내는 블록도,
도 3은 본 발명의 일 실시 예에 따른 촉각 센서를 탑재한 촉각 감지 장치의 구성을 나타내는 블록도,
도 4는 본 발명의 일 실시 예에 따른 학습 단계에서 촉각 모사 모델에 입력되는 레이블 정보를 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 촉각 모사 모델의 작동을 설명하기 위한 알고리즘을 나타내며,
도 6(a) 내지 도 6(c)는 본 발명의 다양한 실시 예에 따른 복수 참가자의 촉각 결정을 설명하기 위한 도면들,
도 7은 본 발명의 일 실시 예에 따른 Tolerance 범위의 변화에 따른 정확도의 변화를 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 따른 학습 전후로 사용자 및 사용자에 대응하는 촉각 감지 장치의 촉각 결정을 비교한 그래프, 그리고,
도 9는 본 발명의 일 실시 예에 따른 촉각 감지 방법을 설명하기 위한 시퀀스도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 예시적인 실시예들에 대하여 설명한다. 본 발명은 서로 다른 다양한 형태들로 구현될 수 있으며, 본 명세서에 설명된 실시예들로 한정되는 것으로 해석되어서는 안 된다. 도면에서 구성요소들, 계층들 및 영역들의 상대적인 크기는 설명의 명확성을 위해 과장될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 감지 대상으로부터 촉각을 감지하는 장치(Ro 1, Ro N)를 개략적으로 설명하기 위한 도면이다.
촉각 감지 장치(Ro 1, Ro N)는 사용자 각각(USER 1, USER N)에 대응될 수 있으며, 사용자 각각(USER 1, USER N)의 촉각 특성을 모사하여 감지 타깃(Ta, Target)으로부터 촉각 정보를 추출할 수 있다.
촉각 감지 장치(Ro 1, Ro N)는 사용자 맞춤형 아바타 로봇으로 구현될 수 있으며, 대표적으로 제1 촉각 감지 장치(Ro1)로 구성 및 기능을 개략적으로 설명하기로 한다.
제1 촉각 감지 장치(Ro 1)는 로봇 암(Ar 1)에 배치된 촉각 센서(Se 1)를 이용하여, 감지 타깃(Ta)의 촉각 정보를 추출하며, 추출된 촉각 정보는 제1 사용자(USER 1)의 촉각 레벨에 대응하는 촉각 정보일 수 있다.
여기서, 촉각 센서(Se 1)는 하나 이상의 촉각 센서가 레이어를 형성하여 배치될 수 있다. 특히, 촉각 센서(Se 1)는 열과 행으로 구성된 촉각 센서 어레이를 포함할 수 있다. 제1 촉각 감지 장치(Ro 1)는 로봇 암(Ar 1)이 수직 및/또는 수평 운동하도록 로봇 암(Ar 1)을 구동시킬 수 있다.
제1 촉각 감지 장치(Ro 1)는 감지 타깃(Ta)에 대해, 터치 입력을 통해, 감지 타깃(Ta)의 단단함 정도(경도, Hardness)를 측정할 수 있으며, 슬라이딩 입력을 통해 감지 타깃(Ta)의 거칠기 정도(표면 지형)를 측정할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 촉각 감지 장치(100)(100A)의 구성을 나타내는 블록도이다.
촉각 감지 장치(100)(100A)는 도 1과 같이 로봇으로 구현될 수 있으며, 촉각 감지 로봇을 포함하지 않고 연산을 주로 수행하는 장치로 구현될 수 있다. 도 2의 촉감 감지 장치(100)(100A)는 연산을 주로 수행하는 장치로 상정하여 대표적으로 설명하기로 한다.
촉각 감지 장치(100)는 메모리(150) 및 연산을 수행하는 제어부(190)를 포함할 수 있다.
우선, 메모리(150)는 다양한 반도체를 이용하여 구현될 수 있으며, 미리 학습된 촉각 모사 모델(TM)을 저장할 수 있다. 촉각 모사 모델(TM)은 학습이 완료된 모델일 수 있으며, 학습 과정에 있는 모델일 수도 있다. 선택적 실시 예로, 메모리(150)가 필요 연산 수행에 필요한 촉각 모사 모델(TM)의 데이터만 저장하고, 외부 기기에 저장된 추가 데이터가 필요 시점에 수신되어 연산에 이용될 수도 있다.
촉각 모사 모델(TM)은 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 출력하도록 이미 학습된 신경망 기반의 모델일 수 있다.
여기서, 사용자에 매핑된 촉각 레벨은 해당 사용자의 촉각을 소정 수준(가령, 유사도 5% 범위 내)에서 모사한 촉각 레벨(촉각 감지 수준)이며, 사용자 그룹에 매핑된 촉각 레벨은 소정 범위 내에서 동일 또는 유사한 촉각 레벨을 지닌 사용자 그룹의 촉각 레벨(촉각 감지 수준)일 수 있다.
또한, 촉각 정보는 특정 감지 타깃의 결정된 경도 정보 및 거칠기 정보일 수 있으며, 이를 표현한 확률 분포 정보를 포함할 수 있다. 확률 분포 정보는 히스토그램으로 표현될 수 있으며, 특정 감지 타깃의 부드러운 정도 및 거친 정도를 나타낼 수 있다.
제어부(190)는 감지 타깃(Target)으로부터 획득한 시계열적 터치 신호 및 슬라이딩 신호를 촉각 모사 모델(TM)에 입력하여, 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 제공할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 촉각 센서를 탑재한 촉각 감지 장치(100)(100B)의 구성을 나타내는 블록도이다. 도 3에 도시된 촉각 감지 장치(100)(100B)는 연산 수행뿐만 아니라, 감지 타깃으로 촉각 정보를 다이렉트로 수집하는 장치일 수 있다.
촉각 감지 장치(100)는 촉각 센서(110), 로봇 암(120), 디스플레이(130), 촉각 모사 모델(TM)을 저장한 메모리(150) 및 제어부(190)를 포함할 수 있다.
촉각 센서(110)는 촉각을 감지하는 센서로, 로봇 암(120)의 소정 위치에 배치될 수 있다. 실시 예에서, 촉각 센서(110)는 로봇 암(120)의 손(Hand) 영역에 배치될 수 있다.
로봇 암(120, Arm)은 촉각 센서(110)를 물리적으로 이동시킬 수 있는 모듈로, 제어부(190)의 제어 신호에 따라 구동될 수 있다.
제어부(190)는 촉각 센서(110)가 감지 타깃에 압력을 가하여 시계열적 터치 신호를 획득하도록 로봇 암(120)을 제어할 수 있다. 시계열적 터치 신호는 감지 타깃의 딱딱함 정도 즉, 경도(Hardness)를 측정한 시계열적 전압값에 관련된 신호일 수 있다.
또한, 제어부(190)는 촉각 센서(110)가 감지 타깃에 터치된 상태로 수평 이동하여 슬라이딩 신호를 획득하도록 로봇 암(120)을 제어할 수 있다. 즉, 슬라이딩 신호는 촉각 센서(110)가 감지 타깃의 표면을 소정의 속도 및 소정의 세기에 따라 터치된 상태로 수평 이동하면서 측정한, 울퉁불퉁 정도 즉, 표면 거칠기에 대한 신호일 수 있다.
다만, 제어부(190)는 촉각 모사 모델(TM)에 슬라이딩 신호를 입력할 때, 수평 방향으로 이동하면서 획득한 전압값이 아닌, 획득한 전압값을 푸리에 변환(Fourier Transform)하여(주파수 도메인 상의 값으로 변환하여) 입력할 수 있다. 이는, 사람의 촉감이 인지할 수 있는 진동 주파수 범위(가령, 1KHz 내)의 신호만 획득하기 위함이며, 콤플렉스(Complex)를 달성하기 위함이기도 하며, 거칠기 정보의 취득을 보다 효과적으로 하기 위함이다.
촉각 감지 장치(100)는 디스플레이(130)를 포함할 수 있다. 디스플레이(130)는 다양한 정보를 출력할 수 있는 모듈인데, 제어부(190)는 소정의 사용자 또는 사용자 그룹에 대한 정보 및 촉각 정보를 디스플레이(130)를 통해 출력할 수 있다.
메모리(150)는 상술한 바와 같이 촉각 모사 모델(TM)을 저장하는데, 촉각 모사 모델(TM)은 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 레이블(Label) 정보로 사용하여 훈련될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 학습 단계에서 촉각 모사 모델(TM)에 입력되는 레이블 정보를 설명하기 위한 도면이다.
도 4를 참고하면, 감지 타깃(N1, N2~NZ)은 제1 감지 타겟(N1)이 가장 부드럽고(Soft), 제Z 감지 타깃(NZ)이 가장 거칠다(Rough). 감지 타깃(N1~NZ)의 촉각을 감지하는 사용자는 복수이며, 사용자 별로 제1 감지 타깃(N1) 내지 제Z 감지 타깃(NZ)을 만질 수 있다.
여기서, 제1 감지 타깃(N1) 내지 제Z 감지 타깃(NZ)을 한번 만지는 것을 1 트라이얼이라 할 수 있다. 사용자는 N 트라이얼에 대해 반복(1T~NT)할 수 있다. 상기 제1 감지 타깃(N1) 내지 제 N 감지 타깃(NZ)은 LMT Haptic Texture 일 수 있으나, 선택적 실시 예로, 다른 재료로 구현될 수 있다.
선택적 실시 예로, 사용자는 제1 감지 타깃(N1)부터 제Z 감지 타깃(NZ)까지 소정 속도 및 소정 세기로 순차적으로 감지 타깃을 만질 수 있다. 또는, 사용자는 제1 감지 타깃(N1) 내지 제Z 감지 타깃(NZ)을 무작위 순서로 만질 수 있다.
사용자는 특정 감지 타깃(가령, N3)에 대해 N번 만지는 테스트를 수행할 수 있으며, 트라이얼마다 동일 또는 다른 결과에 따라, 이를 히스토그램(Hist)으로 표시될 수 있다. 히스토그램(Hist)은 특정 사용자(또는 사용자 그룹)의 특정 감지 타깃(가령, N3)에 대한 촉각 레벨을 확률 분포로 나타낸 것일 수 있다.
촉감 감지 장치(100)는 사용자(또는 사용자 그룹) 별 촉각 레벨에 대응하는 촉각 정보를 출력하도록 사용자(또는 사용자 그룹)에 매핑되는 촉각 모사 모델(TM)을 훈련(학습)시킬 수 있다.
즉, 촉감 감지 장치(100)는 각 사용자(또는 사용자 그룹) 별 촉각 레벨을 모사하여 해당 사용자의 촉각 능력을 모사할 수 있다. 이에 따라, 사용자 맞춤형 촉각 감지가 수행될 수 있으므로, 사용자 편의가 제고될 수 있으며, 촉각 신뢰도가 향상될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 촉각 모사 모델(TM)의 작동을 설명하기 위한 알고리즘을 나타낸다.
촉각 모사 모델(TM)은 지도 학습(Supervised Learning) 기반의 신경망 모델일 수 있으며, 제1 서브 네트워크(1S), 제2 서브 네트워크(2S) 및 제3 서브 네트워크(3S)를 포함할 수 있다.
먼저, 제1 서브 네트워크(1S)는 시계열적 터치 신호(가령, 전압값)를 입력받아, 시계열적 터치 신호의 전압 기울기를 획득하기 위한 서브 네트워크일 수 있다. 제1 서브 네트워크(1S)는 터치 신호의 전압값이 높을수록 경도값이 높아지는 성질을 이용하는 신경망 기반의 네트워크이다. 즉, 터치 신호의 전압값이 높을수록 단단한 재료이며, 제1 서브 네트워크(1S)는 이를 결정할 수 있다.
제1 서브 네트워크(1S)는 1 차원의 컨볼루션 레이어 및 맥스 풀링 레이어를 포함할 수 있는데, 제1 서브 네트워크(1S)는 전압값의 기울기만 확인하면 되므로, 특징 추출에 있어 간단한 구조만을 포함한 것이다. 여기서, 맥스 풀링 레이어는 피크 전압값을 효율적으로 구하기 위한 레이어이다.
제2 서브 네트워크(2S)는 입력되는 주파수 신호에 기초하여, 감지 타깃의 표면 거칠기 정보를 추출하기 위한 서브 네트워크이며, DNN(Deep Neural Network, 심층 신경망 네트워크)으로 구성될 수 있다.
제2 서브 네트워크(2S)는 슬라이딩 신호를 입력받을 때, 문지르는 입력을 보다 수월하게 구별하고, 복잡함을 해결하며, 사람의 촉감이 감지할 수 있는 진동 주파수의 범위를 구별하도록, 측정되는 전압값을 주파수 도메인으로 변환하는 푸리에 트랜스폼을 적용하여 값을 추출할 수 있다. 또한, 추출된 슬라이딩 신호가 제2 서브 네트워크(2S)에 입력될 수 있다.
제3 서브 네트워크(3S)는 제1 서브 네트워크(1S)의 출력값 및 제2 서브 네트워크(2S)의 출력값을 입력받으며, 제1 서브 네트워크(1S) 및 제2 서브 네트워크(2S)를 통합할 수 있다.
제3 서브 네트워크(3S)는 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 보다 정교하게 구분하기 위한 서브 네트워크이며, 특히, 슬라이딩 신호를 보다 정교하게 구분하기 위해, 두 번??의 풀리 커넥티드(Fully Connected) 신경망을 포함할 수 있다.
촉각 모사 모델(TM)은 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 출력하도록, 제1 서브 네트워크(1S) 내지 제3 서브 네트워크(3S)의 파라미터가 반복 구간 마다 업데이트될 수 있다. 상기 파라미터는 CNN 알고리즘 또는 DNN 알고리즘의 파라미터이며, 반복시마다 업데이트될 수 있으며, 마지막 반복시(EPOC)까지 업데이트될 수 있다.
촉각 모사 모델(TM)은 사용자에 매핑하는 촉각 레벨(특정 감지 타깃에 대해 특정 감지 특성을 갖는 레벨)에 대응하는 촉각 정보를 제공할 수 있다. 촉각 정보는 확률 분포에 기반하여 제공될 수 있다.
또한, 촉각 감지 장치(100)는 출력된 사용자(또는 사용자 그룹)에 매핑된 촉각 레벨에 대응하는 촉각 정보를 촉각 재현 장치에 제공할 수 있으며, 해당 촉각 재현 장치가 해당 촉각 정보를 출력하도록, 경도 정보 및 진동 주파수 정보를 제공할 수 있다.
촉각 모사 모델(TM)은 사용자의 촉각 레벨에 대응하는 촉각 정보와 촉감 감지 장치(100)가 사용자를 모사하여 촉각 정보를 출력할 때, 두 촉각 정보의 비교 Tolerance 를 설정할 수 있으며, 해당 Tolerance 에 부합하도록 촉감 감지 장치(100)의 촉각 정보가 사용자의 촉각 정보를 따라가도록 설정할 수 있으며, 관련 파라미터가 반복적으로 업데이트될 수 있다.
도 6(a) 내지 도 6(c)는 본 발명의 다양한 실시 예에 따른 복수 참가자의 촉각 결정을 설명하기 위한 도면들이다. 구체적으로, 도 6(a)는 본 발명의 일 실시 예에 따른 복수의 감지 타깃을 감지한 복수 사용자 각각이 제공한 촉각 정보의 평균을 나타내며, 도 6(b)는 본 발명의 일 실시 예에 따른 복수 참가자 전체의 촉각 결정에 대한 평균 제곱근 편차(RMSE) 대비 복수 참가자 각각의 RMSE를 함께 도시한 그래프이고, 도 6(c)는 본 발명의 일 실시 예에 따른 사용자 그룹 별 촉각 결정 표준 편차를 나타내는 그래프이다.
도 6(a)에서 복수의 참가자 각각은 복수의(가령, 42 종류) 감지 타깃을 멀티 트라이얼에 기반하여 촉각 감지 테스트할 수 있다. 복수의 참가자는 촉각 정보가 서로 다른 감지 타깃을 몇 번째의 감지 타깃으로 설정하는지 실험할 수 있다. 가령, 제1 참가자는 25 번째 경도와 거칠기를 갖는 감지 타겟을 23 번째 내지 27 번째로 결정한 것으로 가정하면, Tolerance를 2 로 설정하면, 이는 정답이나, Tolerance 가 1로 설정되면, 범위를 벗어난 감지일 수 있다. 또한, 중복되는 스코어는 그래프 상에 색상 차이로 구분될 수 있다.
도 6(b)를 참고하면, 촉각 결정에 대한 RMSE는 아래 [식 1]으로 도출될 수 있다. 여기서, 
는 촉각 결정 정보이며, i 는 l 번째까지 수행하는 실험(Trial) 인덱스이며, s는 참가자의 수(S)이며, m은 감지 타깃의 수(M)이다. k는 최대 K이며, m 또는 s 나타낼 수 있다.
[식 1]
도 6(b)를 참고하면, 참가자의 평균 촉각 결정 RMSE 를 기준으로 S 그룹 및 D 그룹으로 구분될 수 있다. S 그룹은 사용자의 대다수를 차지하는 그룹일 수 있으며, D 그룹은 S 그룹과 소정 범위 내에서 차이를 두는 그룹일 수 있다.
도 6(c)를 참고하면, S 그룹 및 D 그룹의 촉각 결정 정보의 표준 편차가 다르게 산출될 수 있다. 대체로, 거칠거나 부드러운 감지 타깃에서는 유사한 패턴을 보이나, 거칠수도 부드러울 수도 있는 감지 타깃에서는 패턴이 편차를 이룰 수 있다. 즉, 복수 참가자가 거칠기 정보를 헷갈릴 수 있는 너무 거칠거나 너무 부드럽지 않은 재료들에서 촉각 결정에 있어 편차가 클 수 있다.
도 7은 본 발명의 일 실시 예에 따른 Tolerance 범위의 변화에 따른 정확도의 변화를 설명하기 위한 도면이다.
도 7을 참고하면, Tolerance 의 범위가 넓게 설정될수록 사용자 촉각 결정의 정확도, 레이블 정보의 정확도 및 히스토그램의 정확도가 높게 설정될 수 있다.
아울러, Tolerance 의 범위가 넓게 설정될수록 사용자 촉각 결정의 정확도, 레이블 정보의 정확도 및 히스토그램의 정확도가 유사하게 수렴되는 것도 관찰될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 학습 전후로 사용자 및 사용자에 대응하는 촉각 감지 장치의 촉각 결정을 비교한 그래프이다.
일단, 복수 참가자의 촉각 정보(촉각 결정 정보) 및 촉각 감지 장치의 촉각 정보(촉각 결정 정보)의 차이를 나타내는 RMSE 는 아래 [식 2]와 같이 도출될 수 있다. 여기서, 
는 촉감 감지 장치(100)가 제공하는 촉감 정보(촉감 결정 정보)이다.
[식 2]
도 8을 참고하면, 학습 이전의 사이즈 재료 및 중간 재료의 촉각 결정에 대한 RMSE 는 높게 측정되나, 학습 이후의 사이즈 재료 및 중간 재료의 촉각 결정에 대한 RMSE 는 이보다 낮게 측정될 수 있다.
즉, 본 발명의 일 실시 예에 따른 기 학습된 촉각 모사 모델(TM)이 적용되면, 촉각 정보(촉각 결정 정보)가 보다 정확해질 수 있다.
도 9는 본 발명의 일 실시 예에 따른 촉각 감지 방법을 설명하기 위한 시퀀스도이다.
촉각 감지 방법은 촉각 감지 장치(100)의 제어부(190)에 의해 수행될 수 있으며, 제어부(190)는 하나 이상의 프로세서를 포함할 수 있다.
촉각 감지 방법은 감지 타깃(Target)으로부터 획득한 시계열적 터치 신호 및 슬라이딩 신호를 기 학습된 촉각 모사 모델에 입력한다(S910).
그 다음, 촉각 감지 방법은 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 제공한다(S920).
S910 단계 이전에, 촉각 감지 방법은 촉각 센서를 이용하여 감지 타깃에 압력을 가하여, 시계열적 터치 신호를 획득한다(S901). 그 후에, 촉각 감지 방법은 촉각 센서가 감지 타깃에 터치된 상태로 수평 이동하여, 슬라이딩 신호를 획득한다(S903). 상기 S901 단계 및 S903 단계는 동시에 또는 순서를 달리하여 수행될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 컴퓨터는 촉각 감지 장치(100)의 제어부(190)를 포함할 수도 있다.
앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 이 기술 분야에서 통상의 지식을 가진 자는 본 발명의 사상 및 범위를 벗어나지 않고서 다른 구체적인 실시예로 다양하게 수정 및 변형할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고 청구범위에 기재된 기술적 사상에 의해 정하여져야 할 것이다.
Claims (18)
- 촉각 감지 장치로서,
기 학습된 촉각 모사 모델을 저장하는 메모리; 및
감지 타깃(Target)으로부터 획득한 시계열적 터치 신호 및 슬라이딩 신호를 상기 촉각 모사 모델에 입력하여, 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 제공하는 제어부를 포함하며,
상기 촉각 모사 모델은 지도 학습 기반의 신경망 모델이며, 제1 내지 제3 서브 네트워크를 포함하며,
상기 제1 서브 네트워크의 출력값 및 상기 제2 서브 네트워크의 출력값이 상기 제3 서브 네트워크의 입력값으로 사용되며,
소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 출력하도록, 상기 제1 서브 네트워크 내지 제3 서브 네트워크의 파라미터가 반복 구간 마다 업데이트되고,
상기 제1 서브 네트워크는,
시계열적 터치 신호의 전압 기울기를 획득하기 위한 서브 네트워크이며, 1차원 컨볼루션 레이어 및 맥스 풀링 레이어를 포함하는, 촉각 감지 장치. - 제1항에 있어서,
촉각 센서; 및
상기 촉각 센서가 소정의 위치에 배치되며, 상기 촉각 센서를 물리적으로 이동시키는 로봇 암(Arm)을 더 포함하며,
상기 제어부는,
상기 촉각 센서가 감지 타깃에 압력을 가하여 시계열적 터치 신호를 획득하도록 상기 로봇 암을 제어하고, 상기 촉각 센서가 상기 감지 타깃에 터치된 상태로 수평 이동하여 슬라이딩 신호를 획득하도록 상기 로봇 암을 제어하도록 구성되는, 촉각 감지 장치. - 제1항에 있어서,
상기 시계열적 터치 신호는 상기 감지 타깃의 경도(Hardness)를 측정하기 위한 시계열적 전압값에 관련되고,
상기 슬라이딩 신호는,
상기 감지 타깃의 표면 거칠기 정보를 추출하기 위해, 측정된 전압값이 주파수 신호로 푸리에 변환(Fourier Transform)되어 상기 촉각 모사 모델에 입력되는, 촉각 감지 장치. - 제1항에 있어서,
상기 촉각 모사 모델은,
소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 레이블(Label) 정보로 사용하여 훈련되는, 촉각 감지 장치. - 삭제
- 삭제
- 제1항에 있어서,
상기 제2 서브 네트워크는,
입력되는 주파수 신호에 기초하여, 감지 타깃의 표면 거칠기 정보를 추출하기 위한 서브 네트워크이며, DNN(Deep Neural Network)으로 구성되는, 촉각 감지 장치. - 제7항에 있어서,
상기 제3 서브 네트워크는,
상기 제1 서브 네트워크 및 상기 제2 서브 네트워크를 통합하는 서브 네트워크이며,
소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 보다 정교하게 구분하기 위한 서브 네트워크인, 촉각 감지 장치. - 제1항에 있어서,
디스플레이를 더 포함하며,
상기 촉각 모사 모델이 출력하는 촉각 정보는, 소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 나타내는 확률 분포를 포함하며,
상기 제어부는,
상기 소정의 사용자 또는 사용자 그룹에 대한 정보 및 상기 촉각 정보를 상기 디스플레이를 통해 출력하도록 구성되는, 촉각 감지 장치. - 프로세서에 의해 수행되는 촉각 감지 방법으로서,
감지 타깃(Target)으로부터 획득한 시계열적 터치 신호 및 슬라이딩 신호를 기 학습된 촉각 모사 모델에 입력하는 단계; 및
소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 제공하는 단계를 포함하며,
상기 촉각 모사 모델은 지도 학습 기반의 신경망 모델이며, 제1 내지 제3 서브 네트워크를 포함하며,
상기 제1 서브 네트워크의 출력값 및 상기 제2 서브 네트워크의 출력값이 상기 제3 서브 네트워크의 입력값으로 사용되며,
소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 출력하도록, 상기 제1 서브 네트워크 내지 제3 서브 네트워크의 파라미터가 반복 구간 마다 업데이트되고,
상기 제1 서브 네트워크는,
시계열적 터치 신호의 전압 기울기를 획득하기 위한 서브 네트워크이며, 1차원 컨볼루션 레이어 및 맥스 풀링 레이어를 포함하는, 촉각 감지 방법. - 제10항에 있어서,
상기 입력하는 단계 이전에,
촉각 센서를 이용하여 감지 타깃에 압력을 가하여, 시계열적 터치 신호를 획득하는 단계; 및
상기 촉각 센서가 상기 감지 타깃에 터치된 상태로 수평 이동하여, 슬라이딩 신호를 획득하는 단계를 더 포함하는, 촉각 감지 방법. - 제10항에 있어서,
상기 시계열적 터치 신호는 상기 감지 타깃의 경도(Hardness)를 측정하기 위한 시계열적 전압값에 관련되고,
상기 슬라이딩 신호는,
상기 감지 타깃의 표면 거칠기 정보를 추출하기 위해, 측정된 전압값이 주파수 신호로 푸리에 변환(Fourier Transform)되어 상기 촉각 모사 모델에 입력되는, 촉각 감지 방법. - 제10항에 있어서,
상기 촉각 모사 모델은,
소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 레이블(Label) 정보로 사용하여 훈련되는, 촉각 감지 방법. - 삭제
- 삭제
- 제10항에 있어서,
상기 제2 서브 네트워크는,
입력되는 주파수 신호에 기초하여, 감지 타깃의 표면 거칠기 정보를 추출하기 위한 서브 네트워크이며, DNN(Deep Neural Network)으로 구성되는, 촉각 감지 방법. - 제16항에 있어서,
상기 제3 서브 네트워크는,
상기 제1 서브 네트워크 및 상기 제2 서브 네트워크를 통합하는 서브 네트워크이며,
소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 보다 정교하게 구분하기 위한 서브 네트워크인, 촉각 감지 방법. - 컴퓨터상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 있어서,
상기 프로그램은, 프로세서에 의한 실행 시, 상기 프로세서가,
감지 타깃(Target)으로부터 획득한 시계열적 터치 신호 및 슬라이딩 신호를 기 학습된 촉각 모사 모델에 입력하는 동작; 및
소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 출력하는 동작을 수행하도록 하는 실행 가능한 명령을 포함하며,
상기 촉각 모사 모델은 지도 학습 기반의 신경망 모델이며, 제1 내지 제3 서브 네트워크를 포함하며,
상기 제1 서브 네트워크의 출력값 및 상기 제2 서브 네트워크의 출력값이 상기 제3 서브 네트워크의 입력값으로 사용되며,
소정의 사용자 또는 사용자 그룹에 매핑된 촉각 레벨에 대응하는 촉각 정보를 출력하도록, 상기 제1 서브 네트워크 내지 제3 서브 네트워크의 파라미터가 반복 구간 마다 업데이트되고,
상기 제1 서브 네트워크는,
시계열적 터치 신호의 전압 기울기를 획득하기 위한 서브 네트워크이며, 1차원 컨볼루션 레이어 및 맥스 풀링 레이어를 포함하는, 컴퓨터 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210052306A KR102529082B1 (ko) | 2021-04-22 | 2021-04-22 | 촉각 감지 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210052306A KR102529082B1 (ko) | 2021-04-22 | 2021-04-22 | 촉각 감지 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220145570A KR20220145570A (ko) | 2022-10-31 |
| KR102529082B1 true KR102529082B1 (ko) | 2023-05-03 |
Family
ID=83803153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210052306A KR102529082B1 (ko) | 2021-04-22 | 2021-04-22 | 촉각 감지 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102529082B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017033381A1 (ja) | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | ロボットシステム |
| JP2017119336A (ja) | 2015-12-28 | 2017-07-06 | ヴイストン株式会社 | ロボット、ロボット制御方法並びにロボットプログラム |
| KR102124844B1 (ko) * | 2018-12-31 | 2020-06-22 | 재단법인 대구경북과학기술원 | 촉감인식장치, 시스템 및 방법 |
| JP2021022005A (ja) | 2019-07-24 | 2021-02-18 | トヨタ紡織株式会社 | 情報処理装置および制御方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101926074B1 (ko) | 2017-02-28 | 2018-12-06 | 주식회사 비햅틱스 | 촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체 |
| KR102039002B1 (ko) * | 2018-01-17 | 2019-10-31 | 재단법인대구경북과학기술원 | 촉감검출장치 및 방법 |
| KR102474246B1 (ko) * | 2018-01-23 | 2022-12-06 | 삼성전자주식회사 | 복수 개의 전자 디바이스를 이용하여 신경망 모델을 처리하는 방법 및 시스템 |
| KR102165883B1 (ko) * | 2018-08-17 | 2020-10-14 | 재단법인대구경북과학기술원 | 촉각 감지 장치, 촉각 감지 방법 및 촉각 학습 방법 |
-
2021
- 2021-04-22 KR KR1020210052306A patent/KR102529082B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017033381A1 (ja) | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | ロボットシステム |
| JP2017119336A (ja) | 2015-12-28 | 2017-07-06 | ヴイストン株式会社 | ロボット、ロボット制御方法並びにロボットプログラム |
| KR102124844B1 (ko) * | 2018-12-31 | 2020-06-22 | 재단법인 대구경북과학기술원 | 촉감인식장치, 시스템 및 방법 |
| JP2021022005A (ja) | 2019-07-24 | 2021-02-18 | トヨタ紡織株式会社 | 情報処理装置および制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220145570A (ko) | 2022-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Culbertson et al. | Modeling and rendering realistic textures from unconstrained tool-surface interactions | |
| Culbertson et al. | Generating haptic texture models from unconstrained tool-surface interactions | |
| CN110413190B (zh) | 为触摸屏交互确定俯仰和偏航 | |
| US8402393B2 (en) | Apparatus and method for manipulating virtual object | |
| CN105144072B (zh) | 在多点触控装置上对压感进行模拟 | |
| WO2017114062A1 (zh) | 基于终端设备的指纹测压方法及其应用方法和对应装置 | |
| CN107077242A (zh) | 通过使用时空触摸图案来提高触摸屏事件分析的准确性的方法 | |
| US10909224B2 (en) | Information processing device, information processing method, and program for tampering detection | |
| Shin et al. | Geometry-based haptic texture modeling and rendering using photometric stereo | |
| KR20180020123A (ko) | 비동기 신호 처리 방법 | |
| KR102529082B1 (ko) | 촉각 감지 방법 및 장치 | |
| JP6986160B2 (ja) | 画像処理方法および画像処理装置 | |
| KR102010129B1 (ko) | 로봇의 행동 모방 장치 및 그 방법 | |
| Abdulali et al. | Sample selection of multi-trial data for data-driven haptic texture modeling | |
| US9384729B2 (en) | Method and system for detecting boundary of coarticulated units from isolated speech | |
| TW201248456A (en) | Identifying contacts and contact attributes in touch sensor data using spatial and temporal features | |
| Junput et al. | Touch it, rub it, feel it! haptic rendering of physical textures with a low cost wearable system | |
| KR20200020426A (ko) | 촉각 감지 장치, 촉각 감지 방법 및 촉각 학습 방법 | |
| US10399327B2 (en) | Designing customized deformable input devices using simulated piezoelectric sensor responses | |
| US20170024051A1 (en) | Multitouch frame matching with distance fields | |
| KR102542481B1 (ko) | 촉각 재현 방법, 장치 및 시스템 | |
| Savaris et al. | Comparative evaluation of static gesture recognition techniques based on nearest neighbor, neural networks and support vector machines | |
| CN114202778B (zh) | 一种由平面指纹估计手指三维姿态的方法和系统 | |
| US11762515B1 (en) | Touch and hover sensing on single-layer segmented sheets | |
| Ma et al. | A data-driven robotic tactile material recognition system based on electrode array bionic finger sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |