KR20190087892A - 촉감검출장치 및 방법 - Google Patents

촉감검출장치 및 방법 Download PDF

Info

Publication number
KR20190087892A
KR20190087892A KR1020180006265A KR20180006265A KR20190087892A KR 20190087892 A KR20190087892 A KR 20190087892A KR 1020180006265 A KR1020180006265 A KR 1020180006265A KR 20180006265 A KR20180006265 A KR 20180006265A KR 20190087892 A KR20190087892 A KR 20190087892A
Authority
KR
South Korea
Prior art keywords
tactile
tactile input
medium
action
sensors
Prior art date
Application number
KR1020180006265A
Other languages
English (en)
Other versions
KR102039002B1 (ko
Inventor
최지웅
김경수
장재은
임성호
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020180006265A priority Critical patent/KR102039002B1/ko
Publication of KR20190087892A publication Critical patent/KR20190087892A/ko
Application granted granted Critical
Publication of KR102039002B1 publication Critical patent/KR102039002B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06K9/00201
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06K9/6267

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Manipulator (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, 촉감검출장치는 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하여 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 것을 특징으로 하낟.

Description

촉감검출장치 및 방법{Device and Method for detecting tactile sense}
본 발명은 촉감검출장치에 관한 것이다. 보다 상세히, 복수의 방법으로 매질 표면을 센싱하여 적어도 하나의 매질을 검출하는 촉감검출장치에 관한 것이다.
햅틱은 힘, 진동 및 모션들과 같은 햅틱 피드백 효과(즉, "햅틱 효과")들을 사용자에게 적용함으로써 사용자의 터치 감을 이용하는 촉각 및 힘 피드백 기술이다. 모바일 디바이스들, 터치스크린 디바이스들 및 개인용 컴퓨터들과 같은 디바이스들은 햅틱 효과들을 생성하도록 구성될 수 있다. 일반적으로, 햅틱 효과들을 생성할 수 있는 내장된 하드웨어(예를 들어, 액추에이터)에 대한 호출(call)들은 디바이스의 운영 체제(OS) 내에 프로그램되어 있을 수 있다. 이러한 호출들은 어떤 햅틱 효과를 재생할지 지정한다. 예를 들어, 사용자가 예컨대, 버튼, 터치스크린, 레버, 조이스틱, 휠, 또는 소정의 다른 컨트롤을 이용하여 디바이스와 상호작용할 때, 디바이스의 OS는 재생 커맨드를 제어 회로를 통해 내장된 하드웨어에 송신할 수 있다. 그 후, 내장된 하드웨어는 사용자에 의해 인식되는 적절한 햅틱 효과를 생성한다.
모바일 폰, 스마트폰, 카메라 폰, 카메라, 개인 휴대 단말기("PDA")(personal digital assistant)들과 같은 휴대용/모바일 전자 디바이스들은 전형적으로, 디바이스들에 대해 발생하는 소정 이벤트들을 사용자에게 경고하는 출력 메커니즘들을 포함한다. 예를 들어, 셀 폰(cell phone)은 통상적으로 착신 전화 콜 이벤트를 사용자에게 들을 수 있게 통지하기 위한 스피커를 포함한다. 일부 모바일 디바이스에서, 운동감각 피드백(예컨대, 활성력(active force) 및 저항력 피드백) 및/또는 촉각 피드백(예컨대, 진동, 질감, 및 열)이 또한 사용자에게 제공될 수 있다.
KR 10-1791927 KR 10-2017-0098681
1. Zheng, Haitian, et al. "Deep learning for surface material classification using haptic and visual information." IEEE Transactions on Multimedia 18.12 (2016): 2407-2416. 2. Fishel, Jeremy A., and Gerald E. Loeb. "Bayesian exploration for intelligent identification of textures." Frontiers in neurorobotics 6 (2012). 3. Strese, Matti, et al. "Multimodal feature-based surface material classification." IEEE transactions on haptics (2017).
종래에는 햅틱센서 또는 이미지센서를 이용하여 정해진 시간에 입력되는 촉감에 대해 구분하는 방법을 개시하고 있으나, 임의의 시간에 인식되는 촉감에 대해서는 검출방안이 없는 문제가 있다. 또한 기존 기술의 경우 단일 매질에 대한 촉감 구분은 로봇 손에 구현되어 동작 될 경우 천, 나무, 플라스틱, 그리고 금속과 같은 단일 매질을 구분하는데 효과적으로 사용이 가능하다. 하지만, 일상생활에서 접하는 물체들은 대부분 복합 매질로 구성되어 있어 기존의 기술로는 구체적인 물체의 정보를 얻는데 한계가 있었다.
본 발명의 바람직한 일 실시예에서는 임의의 시간에 입력되는 촉감을 인식하고 구분하며, 또한 단일 매질의 촉감만이 아니라 복수 매질의 촉감을 분류하는 방법을 제시하고자 한다.
또한 본 발명의 바람직한 일 실시예에서는 복수 매질의 촉감을 분류하며, 서로 다른 매질의 영역이 어떻게 구분되어 있는지를 나타내는 공간적 정보를 인식하는 방법을 제공하고자 한다.
본 발명의 바람직한 일 실시예로서, 촉감검출장치는 n*m 개(n,m 은 임의의 자연수)의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하는 촉감입력수신부; 상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 촉감신호검출부; 상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 촉감분류부;를 포함하며, 상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하는 것을 특징으로 한다.
바람직하게, 상기 제 1 액션은 두드리기 동작, 상기 제 2 액션은 문지르기 동작인 것을 특징으로 한다.
바람직하게, 상기 멀티어레이촉감센서는 동시에 복수의 매질로부터 촉감입력신호를 입력받을 수 있는 것을 특징으로 한다. 멀티어레이촉감센서를 구성하는 n*m 개의 촉감센서 각각은 시간에 따라 상기 매질 표면상에서의 위치 및 해당 위치에서 검출한 촉감입력신호를 포함한 n*m 개의 시계열 데이터를 전송하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 촉감신호검출부는 상기 매질 표면을 상기 제 1 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 또한 상기 매질 표면을 상기 제 2 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 상기 매질 표면의 위치좌표를 기준으로 상기 제 1 액션을 통해 획득한 촉감입력신호와 상기 제 2 액션을 통해 획득한 촉감입력신호를 매핑하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 촉감검출방법은 촉감입력수신부에서 n*m 개의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하는 단계; 촉감신호검출부에서 상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 단계; 촉감분류부에서 상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 단계;를 포함하며, 상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예에서는 임의의 시간에 입력되는 촉감을 인식하고 구분하며, 또한 단일 매질의 촉감만이 아니라 복수 매질의 촉감을 분류하는 효과가 있다. 특히, 일상생활에서 접하는 물체들은 대부분 복합 매질로 구성되어 있으며, 각 제품마다 매질들이 조합된 구조도 달라 그 정보를 모두 얻을 수 있는 효과가 있다.
또한 본 발명의 바람직한 일 실시예에서멀티 어레이 촉감 센서를 이용해 공간적인 신호를 측정하여 두 가지 이상이 복합적으로 존재하는 촉감을 구분할 수 있고, 또한 각 촉감 매질이 어떠한 구조로 구분이 되어 있는지도 추정 할 수 있는 효과가 있다.
도 1 은 본 발명의 바람직한 일 실시예로서, 촉감검출장치의 내부 구성도를 도시한다.
도 2(a) 및 (b)는 본 발명의 바람직한 일 실시예로서, 촉감검출장치에서 매질표면의 스캐닝을 수행하는 예를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 촉감검출장치의 멀티어레이촉감센서에서 수신하는 복수의 채널 신호의 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 촉감검출장치에서 촉감신호를 인식하고 분류하여 촉감 분류결과를 출력한 일 예를 도시한다.
이하, 본 발명의 바람직한 실시예를 첨부도면을 참조로 상세하게 설명하기로 한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 촉감검출장치의 내부 구성도를 도시한다.
촉감검출장치(100)는 촉감입력수신부(110), 촉감신호검출부(120) 및 촉감분류부(130)를 포함한다. 촉감입력수신부(110)는 매질표면을 스캐닝하여 획득하는 촉감입력(S110) 또는 임의의 시간에 간헉적으로 획득하는 비의도적촉감입력(S112)를 수신할 수 있다. 비의도적촉감입력(S112)의 예로는 로봇 팔을 구동 중 의도하지 않게 매질과 접촉하는 등의 예를 포함하며, 본 발명에서는 멀티어레이촉감센서(210)에서 수신된 센서값을 제 1 액션 또는 제 2 액션 값 중 하나로 분류하여 매핑한다.
촉감입력수신부(110)는 n*m 개(n,m 은 임의의 자연수)의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신한다.
촉감입력수신부(110)는 제 1 액션 및 제 2 액션을 통해 매질 표면을 스캐닝할 수 있다. 제 1 액션은 3차원 형태의 액션이고, 제 2 액션은 2차원 형태의 액션일 수 있다. 또한, 제 1 액션은 촉감 매질의 강도를 측정하는 액션이고, 제 2 액션은 매질의 거칠기를 측정하는 액션일 수 있다. 본 발명의 바람직한 일 실시예로서, 제 1 액션은 두드리기, 제 2 액션은 문지르기일 수 있다. 도 2 (a) 내지 (b)는 촉감입력수신부(110)에서 매질 표면을 스캐닝 하는 일 예를 도시한다.
도 2(a)는 로봇의 팔(200)에 부착된 멀티어레이촉감센서(210)에서 매질표면(220)을 두드리기(S230) 방식으로 스캐닝하는 일 예를 나타낸다. 두드기리 동작은 센서를 매질 표면 위에서 누르는 동작을 통해 매질 표면의 강도를 측정하는 동작이다. 이때 매질 표면의 전영역에서의 강도를 측정하기 위해 행렬형 멀티 어레이 센서의 두드리기 동작을 평면좌표 상으로 이동하면서 여러 번 수행하여 촉감 매질의 강도를 모두 측정할 수 있다.
도 2(b)는 문지르기(S240) 방식으로 스캐닝하는 일 예를 도시한다. 문지르기 동작은 멀티어레이촉감센서(210)를 매질 표면의 일 지점에서 다른 지점으로 이동하면서 매질 표면의 전체 영역을 스캔하는 동작으로 매질의 거칠기를 측정할 수 있다.
본 발명의 바람직한 일 실시예에서, 멀티어레이촉감센서(210)는 두드리기(S230) 또는 문지르기(S240)를 수행하는 경우, 멀티어레이촉감센서(210)를 구성하는 n*m 개의 센서 각각이 매질표면과 터치되는 위치와, 해당 위치에서 수신한 촉감입력 데이터값을 실시간으로 수신한다. 본 발명의 바람직한 일 실시예로서, 멀티어레이촉감센서(210)는 매질표면의 위치에 따라 동시에 복수의 매질을 검출할 수 있다. 도 2b를 참고하면, 매질표면(220)이 제 1 매질(221)과 제 2 매질(222)로 구성되어 있는 경우, 멀티어레이촉감센서(210)는 제 1 매질(221)과 제 2매질(222)의 경계점을 문지르거나 또는 두드리는 경우 동시에 제 1 매질(221)과 제 2매질(222)을 검출할 수 있다.
촉감신호검출부(120)는 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 매질 표면(도 2, 220)의 어느 위치에서 발생되었는지 검출한다.
촉감신호검출부(120)는 매질 표면을 제 1 액션을 통해 스캐닝하고, n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 또한 매질 표면을 제 2 액션을 통해 스캐닝하고, n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 매질 표면의 위치좌표를 기준으로 제 1 액션을 통해 획득한 촉감입력신호와 상기 제 2 액션을 통해 획득한 촉감입력신호를 매핑한다. 또한 비의도적 촉감입력신호가 검출되는 경우, 검출된 비의도적촉감입력신호를 더 매핑할 수 있다.
촉감신호검출부(120)는 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단한다. 도 3 을 참고하면, 촉감검출장치는 멀티어레이촉감센서에서 n*m개의 채널 신호를 실시간으로 수신한다.
도 3을 참고하면, 멀티어레이촉감센서(310)는 촉각 매질1(301) 및 촉각 매질2(302)로 구성된 매질 표면(300)을 문지르기 방식으로 스캐닝하면서, n*m 개의 채널 신호(S330)를 실시간으로 발생시키며, 촉감신호검출부(120)에서는 n*m개의 채널 신호를 수신한다.
촉감신호검출부(120)는 수신한 채널 신호가 기설정된 임계값을 초과하는 구간(S340)을 검출한다. 촉감신호검출부(120)는 다양한 매질에 대해 기학습된 임계값을 기저장하고 있을 수 있다. 기학습된 임계값은 제 1 임계값, 제 2 임계값, 제 3 임계값 등일 수 있으며, 각각의 임계값은 일정 범위 이내이거나, 일정 범위 초과이거나, 일정 값 이상이거나, 일정 값 이하 등으로 설정될 수 있다. 촉감신호검출부(120)는 다양한 임계값이 있는 경우, 임계값과 교차점(341, 342, 343, 344, 345, 346)을 추출하여 촉감입력감지구간(S340)을 설정할 때 참고할 수 있다. 촉감입력감지구간(S340)은 일 예로, 최초의 임계값과 교차점(341)부터 마지막 임계값과의 교차점(346) 구간을 설정할 수 있다.
촉감신호검출부(120)는 수신한 채널 신호가 기설정된 임계값을 초과하는지 판단하기 위하여, n*m 개의 센서로부터 실시간으로 입력되는 시계열데이터를 실시간으로 모니터링한다.
본 발명의 바람직한 일 실시예로서, 촉감신호검출부(120)는 두드리기 동작의 경우 아래의 수식을 통해 촉감입력의 존재를 판단할 수 있다.
Figure pat00001
, 이 경우 k는 n보다 작은 수이며, 신호의 변화에 민감하게 반응하고, 노이즈 효과를 상쇄 할 수 있는 특정 윈도우 값을 나타낸다. 샘플링 주파수를 고려하여, 일 예로 샘플링 주파수의 반 또는 그보다 작은 수를 고려한다. 이 값은 센서의 민감도와 노이즈 정도에 따라 유동적으로 바뀔 수 있다. 이렇게 구해진 두드리기에 대한 특이값
Figure pat00002
을 특정 임계값과 비교를 하여 임계값을 초과하였을 시에 촉감이 입력되었음을 인지할 수 있다. 임계값은 촉감 입력이 없을 때의 특이값 검출값 hb에 조절값 α를 곱한값 α*hb을 사용한다.
본 발명의 바람직한 일 실시예로서, 촉감신호검출부(120)는 문지르기 동작의 경우 아래의 수식을 통해 촉감입력의 존재를 판단할 수 있다. rx(n)은 특이값을 나타낸다.
Figure pat00003
, 이 경우 임계값은 두드리기 동작과 비슷하게 문지르기 동작이 없고, 입력이 없을 때 특이값 검출값 rb에 조절값 β를 곱한값 β*rb을 이용한다.
본 발명의 바람직한 일 실시예로서, 촉감신호검출부(120)는 두드리기와 문지르기에 대한 촉감 입력 검출의 시작지점은 n*m 개의 모든 채널에서 임계값을 넘기는 채널이 한 개 이상 존재하는 경우, 해당 시간을 검출 시작 시점으로 고려하고, 촉각 입력 검출의 종료시점은 n*m 개의 모든 채널에서 촉감입력이 사라지는 시점으로 설정할 수 있다.
촉감분류부(130)는 촉감신호검출부(120)에서 촉감입력이 존재하는 것으로 판단되면 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력한다. 도 4 는 본 발명의 바람직한 일 실시예로서, 촉감검출장치에서 촉감신호를 인식하고 분류하여 촉감 분류결과를 출력한 일 예를 도시한다.
본 발명의 바람직한 일 실시예로서, 촉감분류부(130)는 촉감검출부(120)에서 매질 표면의 좌표마다 n*m개의 센서로부터 두드리기 또는 문지르기 동작을 통해 획득한 센서데이터를 매핑한 데이터를 재조합하여 촉감 분류를 수행한다.
촉감분류부(130)는 딥러닝의 기본구조에서 컨볼류션 뉴럴 네트워크를 활용한 디컨볼루션(440)을 기본으로 동작하도록 구현된다. 먼저 두드리기 동작(S430)과 문지르기 동작(S440)에 의해 각각 공간적으로 재조합된 데이터를 바탕으로 딥러닝기술의 컨볼루션 필터를 이용하여 다음 레이어를 구성한다.
두드리기와 문지르기의 입력 크기는 검출된 시계열 신호의 크기에 따라 달라지나 컨볼루션 레이어(430)의 크기 및 구조는 동일한 크기로 한다. 그 후, 평탄화(flatten)을 통해(431) 컨볼루션 레이어(430)의 각 노드를 평탄화시키고, 완전히 연결된 레이어(fully connected layer)(431)를 통과시킨다. 이 경우에도, 두드리기와 문지르기의 완전히 연결된 레이어(fully connected layer)(431) 구조와 크기를 동일하게 한다. 그 후 두드리기와 문지르기의 뉴럴 네트워크를 통합하여 하나의 완전히 연결된 레이어(fully connected layer)(432) 구조와 같은 구조로 연결한 후, 두드리기와 문지르기에 각각 사용하였던 컨볼루션 레이어와 같은 구조를 연결한다(440).
촉감분류부(130)는 그 후 기계학습 등을 통해 기학습된 매질 분류 기준에 따라 촉감입력을 분류하여 출력한다(450). 촉감분류부(130)는 촉감입력이 복수의 매질(451, 452)로 분류되는 경우, 각 매질의 영역이 공간적으로 구분되도록 출력한다. 도 4를 참고하면, 제 1 매질(451)과 제 2 매질(452)을 각각 다른 형태로 표현하여 공간적으로 구분되도록 출력하였다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. n*m 개(n,m 은 임의의 자연수)의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하는 촉감입력수신부;
    상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 촉감신호검출부;
    상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 촉감분류부;를 포함하며,
    상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하는 것을 특징으로 하는 촉감검출장치.
  2. 제 1 항에 있어서,
    상기 제 1 액션은 두드리기 동작, 상기 제 2 액션은 문지르기 동작인 것을 특징으로 하는 촉감검출장치.
  3. 제 1 항에 있어서, 상기 멀티어레이촉감센서는
    동시에 복수의 매질로부터 촉감입력신호를 입력받을 수 있는 것을 특징으로 하는 촉감검출장치.
  4. 제 1 항에 있어서, 상기 촉감신호검출부는
    상기 매질 표면을 상기 제 1 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며
    또한 상기 매질 표면을 상기 제 2 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며,
    상기 매질 표면의 위치좌표를 기준으로 상기 제 1 액션을 통해 획득한 촉감입력신호와 상기 제 2 액션을 통해 획득한 촉감입력신호를 매핑하는 것을 특징으로 하는 촉감검출장치.
  5. 제 1 항에 있어서, 상기 멀티어레이촉감센서를 구성하는
    n*m 개의 촉감센서 각각은 시간에 따라 상기 매질 표면상에서의 위치 및 해당 위치에서 검출한 촉감입력신호를 포함한 n*m 개의 시계열 데이터를 전송하는 것을 특징으로 하는 것을 특징으로 하는 촉감검출장치.
  6. 제 5 항에 있어서, 상기 촉감분류부는
    상기 멀티어레이촉감센서를 구성하는 n*m 개의 시계열데이터 출력으로부터 적어도 하나 이상의 매질을 분류하는 것을 특징으로 하는 촉감검출장치.
  7. 제 1 항에 있어서, 상기 멀티어레이촉감센서는
    로봇 손가락에 부착되는 것을 특징으로 하는 촉감검출장치.
  8. 제 1 항에 있어서, 상기 촉감신호검출부는
    상기 멀티어레이촉감센서에서 감지된 임의의 시간의 비의도촉감입력신호가 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하는 비의도촉감신호검출부;를 더 포함하는 것을 특징으로 하는 촉감검출장치.
  9. 제 1 항에 있어서, 상기 촉감분류부는
    상기 촉감입력이 복수의 매질로 분류되는 경우, 각 매질의 영역이 공간적으로 구분되도록 출력하는 것을 특징으로 하는 촉감검출장치.
  10. 제 1 항에 있어서,
    상기 제 1 액션은 상기 매질 표면의 강도를 측정하는 액션이고, 제 2 액션은 상기 매질 표면의 거칠기를 측정하는 액션인 것을 특징으로 하는 촉감검출장치.
  11. 촉감입력수신부에서 n*m 개의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하는 단계;
    촉감신호검출부에서 상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 단계;
    촉감분류부에서 상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 단계;를 포함하며,
    상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하는 것을 특징으로 하는 촉감검출방법.
KR1020180006265A 2018-01-17 2018-01-17 촉감검출장치 및 방법 KR102039002B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180006265A KR102039002B1 (ko) 2018-01-17 2018-01-17 촉감검출장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180006265A KR102039002B1 (ko) 2018-01-17 2018-01-17 촉감검출장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190087892A true KR20190087892A (ko) 2019-07-25
KR102039002B1 KR102039002B1 (ko) 2019-10-31

Family

ID=67468678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180006265A KR102039002B1 (ko) 2018-01-17 2018-01-17 촉감검출장치 및 방법

Country Status (1)

Country Link
KR (1) KR102039002B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220145570A (ko) * 2021-04-22 2022-10-31 재단법인대구경북과학기술원 촉각 감지 방법 및 장치
KR20220148626A (ko) * 2021-04-29 2022-11-07 재단법인대구경북과학기술원 촉각 재현 방법, 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452343B1 (ko) * 2014-05-02 2014-10-22 박준호 웨어러블 디바이스
KR20160036383A (ko) * 2014-09-25 2016-04-04 한국과학기술원 촉감 서비스 제공 장치
KR20160071264A (ko) * 2014-12-11 2016-06-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20170098681A (ko) 2016-02-22 2017-08-30 임머숀 코퍼레이션 햅틱 효과 충돌 회피
KR101791927B1 (ko) 2016-06-10 2017-11-01 인천대학교 산학협력단 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452343B1 (ko) * 2014-05-02 2014-10-22 박준호 웨어러블 디바이스
KR20160036383A (ko) * 2014-09-25 2016-04-04 한국과학기술원 촉감 서비스 제공 장치
KR20160071264A (ko) * 2014-12-11 2016-06-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20170098681A (ko) 2016-02-22 2017-08-30 임머숀 코퍼레이션 햅틱 효과 충돌 회피
KR101791927B1 (ko) 2016-06-10 2017-11-01 인천대학교 산학협력단 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
1. Zheng, Haitian, et al. "Deep learning for surface material classification using haptic and visual information." IEEE Transactions on Multimedia 18.12 (2016): 2407-2416.
2. Fishel, Jeremy A., and Gerald E. Loeb. "Bayesian exploration for intelligent identification of textures." Frontiers in neurorobotics 6 (2012).
3. Strese, Matti, et al. "Multimodal feature-based surface material classification." IEEE transactions on haptics (2017).

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220145570A (ko) * 2021-04-22 2022-10-31 재단법인대구경북과학기술원 촉각 감지 방법 및 장치
KR20220148626A (ko) * 2021-04-29 2022-11-07 재단법인대구경북과학기술원 촉각 재현 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR102039002B1 (ko) 2019-10-31

Similar Documents

Publication Publication Date Title
CN104956292B (zh) 多个感知感测输入的交互
KR101932210B1 (ko) 터치 신호에 의하여 이동 단말기의 조작을 실현하는 방법, 시스템 및 이동 단말기
US11237660B2 (en) Electronic device response to force-sensitive interface
US10719162B2 (en) Force sensing bezel touch interface
CN105683882B (zh) 等待时间测量与测试系统和方法
US8402393B2 (en) Apparatus and method for manipulating virtual object
KR102225402B1 (ko) 상호작용 감지
US10514797B2 (en) Force-sensitive user input interface for an electronic device
KR20210158421A (ko) 터치 센서 상의 입력을 검출하고 특징화하기 위한 시스템
US20070018966A1 (en) Predicted object location
US20100071965A1 (en) System and method for grab and drop gesture recognition
US9632592B1 (en) Gesture recognition from depth and distortion analysis
WO2010146580A1 (en) Finger-operated input device
KR20120113253A (ko) 힘 감응 입력을 제공하는 사용자 인터페이스 방법 및 시스템
CA2481396A1 (en) Gesture recognition method and touch system incorporating the same
US9047504B1 (en) Combined cues for face detection in computing devices
CN105814524A (zh) 光学传感器系统中的对象检测
CN107219993A (zh) 显示方法及相关电子装置
KR102140927B1 (ko) 공간 터치 제어방법
CN106393113A (zh) 机器人和机器人的交互控制方法
CN110045829A (zh) 利用用户接口的事件的设备和方法
US20070257887A1 (en) Apparatus and method for cursor control
US20220353360A1 (en) Control of a user device under wet conditions
KR20190087892A (ko) 촉감검출장치 및 방법
CN110275658A (zh) 显示控制方法、装置、移动终端以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right