KR101904085B1 - 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법 - Google Patents

신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법 Download PDF

Info

Publication number
KR101904085B1
KR101904085B1 KR1020170070806A KR20170070806A KR101904085B1 KR 101904085 B1 KR101904085 B1 KR 101904085B1 KR 1020170070806 A KR1020170070806 A KR 1020170070806A KR 20170070806 A KR20170070806 A KR 20170070806A KR 101904085 B1 KR101904085 B1 KR 101904085B1
Authority
KR
South Korea
Prior art keywords
neural
tactile
generating
pattern
modeling
Prior art date
Application number
KR1020170070806A
Other languages
English (en)
Inventor
김성필
박지성
장동표
정승준
Original Assignee
울산과학기술원
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원, 한양대학교 산학협력단 filed Critical 울산과학기술원
Priority to KR1020170070806A priority Critical patent/KR101904085B1/ko
Priority to PCT/KR2018/006414 priority patent/WO2018226018A1/ko
Application granted granted Critical
Publication of KR101904085B1 publication Critical patent/KR101904085B1/ko
Priority to US16/706,614 priority patent/US11003251B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0048Detecting, measuring or recording by applying mechanical forces or stimuli
    • A61B5/0051Detecting, measuring or recording by applying mechanical forces or stimuli by applying vibrations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0048Detecting, measuring or recording by applying mechanical forces or stimuli
    • A61B5/0053Detecting, measuring or recording by applying mechanical forces or stimuli by applying pressure, e.g. compression, indentation, palpation, grasping, gauging
    • A61B5/04001
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4824Touch or pain perception evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/02Details
    • A61N1/04Electrodes
    • A61N1/0404Electrodes for external use
    • A61N1/0408Use-related aspects
    • A61N1/0456Specially adapted for transcutaneous electrical nerve stimulation [TENS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hospice & Palliative Care (AREA)
  • Pain & Pain Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법에 대한 것으로, 특정 압력에 반응하는 신경(nerve)의 활동 전위(action potential) 발화(spike) 시점들을 순차적으로 나열하여 신경 발화 패턴(nerve spike pattern)을 생성하는 단계 및 상기 생성된 신경 발화 패턴에 기초하여 상기 압력에 대한 압감을 모델링(modeling) 하는 단계를 포함할 수 있다.
본 발명에 의하면, 촉감 정보가 신경 발화 패턴에 어떻게 반영되는지를 확인함으로써, 다양한 촉감을 신경 발화 패턴을 이용하여 모델링 할 수 있는 방법을 제공할 수 있다.

Description

신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법 {Modeling Method of Tactility using Nerve Spike Pattern, Tactility Model and Manufacturing Method of Tactility using Nerve Spike Pattern}
본 발명은 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법에 대한 것으로, 상세하게는 다양한 자극에 의한 촉감을 신경 발화 패턴을 이용하여 모델링 하고, 이로부터 촉감을 생성할 수 있는 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법에 대한 것이다.
가상현실이란, 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정 환경, 상황 또는 기술 그 자체를 의미한다. 만들어진 가상의 상황, 환경 등은 사용자의 오감을 자극하며, 실제와 유사한 공간적, 시각적 체험을 가능하게 한다.
가상현실 구현과 관련하여, 가상공간 상에서 사용자에게 직접 물리적 충격을 가하여, 물건을 잡는 느낌, 물건의 온도 등을 느낄 수 있도록, 가상현실에서 촉감을 구현할 수 있도록 하는 기술 및 출력장비 등도 활발하게 연구 및 발전하고 있다. 예를 들어, 3차원 햅틱 장치 및 3차원 영상 디스플레이 장치를 컴퓨터로 통합 제어함으로써 물리적 시뮬레이션을 제공할 수 있는 가상현실 기반의 햅틱 시스템[특허문헌 1] 이 개시된 바 있다.
이렇게, 촉감 구현에 대한 관심이 증가하고 있고, 햅틱 장치가 여러 분야에 활용되고 있는 등 관련 기술에 대한 관심 및 중요성이 증가하고 있으나, 시각 등의 다른 감각에 비하여 촉감에 대한 신경과학적 기전에 대하여는 알려진 바가 별로 없는 실정이다.
현재까지는 자극과 말초신경수용체의 일대일 신경 반응 매핑에 의하여 촉감정보가 분류된다는 "Labelled-line Theory" 에 입각하여 촉감 전달기전이 이해되어 왔다[비특허문헌 1]. 그러나, 말초신경의 발화패턴이 촉감 정보를 어떻게 반영, 즉 어떻게 부호화 하고 있는지에 대하여는 명확하게 알려진 바 없었다.
[특허문헌 1] 한국공개특허 제 10-2009-0014321 호
[비특허문헌 1] Pereira J. C., Jr., Alves R. C. (2011). The labelled-lines principle of the somatosensory physiology might explain the phantom limb phenomenon. Med. Hypotheses 77, 853-856. 10.1016/j.mehy.2011.07.054.
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 촉감 정보가 신경 발화 패턴에 어떻게 반영되는지를 확인함으로써, 다양한 촉감을 신경 발화 패턴을 이용하여 모델링 할 수 있는 방법을 제공하는 것을 그 목적으로 한다.
또한, 다양한 촉감에 대한 정보를 가지고 있는 촉감 모델을 모델링 할 수 있도록 함으로써, 다양한 촉감에 대한 촉감 지도(map)를 작성할 수 있는 원천기술을 제공하는 것을 그 목적으로 한다.
또한, 촉감 모델로부터 생성하고자 하는 촉감에 대응되는 신경 발화 패턴을 생성할 수 있도록 함으로써, 가상현실 등에서 촉감을 구현할 수 있는 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 신경 발화 패턴을 이용한 촉감의 모델링 방법은, 특정 압력에 반응하는 신경(nerve)의 활동 전위(action potential) 발화(spike) 시점들을 순차적으로 나열하여 신경 발화 패턴(nerve spike pattern)을 생성하는 단계; 및 상기 생성된 신경 발화 패턴에 기초하여 상기 압력에 대한 압감을 모델링(modeling) 하는 단계; 를 포함할 수 있다.
상기 모델링 하는 단계는, 상기 생성된 신경 발화 패턴에서 발생된 발화들의 총 개수(N) 및 발화 시점들 간의 시간 간격(Inter Spike Interval; ISI)을 측정하는 단계; 및 상기 측정된 발화들의 총 개수 및 발화 시점들 간의 시간 간격을 통해 상기 압감을 모델링 하는 단계; 를 포함할 수 있다.
상기 측정하는 단계는, 상기 측정된 시간 간격들은 시변(time varying)하며, 상기 측정된 특정 시간에서의 시간 간격을 이용하여, 시간의 변화에 따른 시간 간격들의 변화를 함수화(functionalize) 하는 단계; 를 더 포함할 수 있다.
상기 함수화 하는 단계에서, 상기 함수화 된 함수는
Figure 112017054137439-pat00001
이고, 여기서, x는 시간, y는 발화 시점들의 시간 간격이며, 상기 x 값 및 y 값에 따라 상기 함수의 a 값과 b 값을 연산하는 단계; 를 더 포함할 수 있다.
상기 함수화 하는 단계는, 복수로 분할된 시간 구간들에서 별개로 수행될 수 있다.
상기 연산하는 단계는, 복수로 분할된 시간 구간들에서 별개로 수행될 수 있다.
상기 특정 압력에 대한 압감의 모델링 이후, 상기 특정 압력과 상이한 압력에 대하여, 상기 생성하는 단계 및 상기 모델링 하는 단계를 반복 수행 할 수 있다.
본 발명의 다른 실시예에 따른 신경 발화 패턴을 이용한 촉감의 모델링 방법은, 특정 진동 자극에 반응하는 신경(nerve)의 활동 전위(action potential) 발화(spike) 시점들을 순차적으로 나열하여 신경 발화 패턴(nerve spike pattern)을 생성하는 단계; 및 상기 생성된 신경 발화 패턴에 기초하여 상기 진동 자극에 대한 진동감을 모델링(modeling) 하는 단계; 를 포함할 수 있다.
상기 모델링 하는 단계는, 상기 생성된 신경 발화 패턴에서 발화들이 발생하는 상기 진동 자극의 위상들을 측정하는 단계; 및 상기 측정된 위상들 각각에서의 발화 발생 확률을 계산하는 단계; 를 포함할 수 있다.
상기 측정하는 단계에서, 상기 위상들은 힐베르트 변환(Hilbert transform)에 의해 측정될 수 있다.
상기 계산하는 단계는, 0 내지 2π의 위상 구간을 복수의 위상 구간들로 등분하는 단계; 및 상기 측정된 위상들 각각이 상기 복수의 위상 구간들 중 어느 하나에 속할 확률을 계산하는 단계; 를 포함할 수 있다.
상기 계산하는 단계는, 상기 복수의 위상 구간들 각각 별로, 상기 측정된 위상들이 속하는 개수를 카운트(count) 하여, 상기 복수의 위상 구간들 각각에 대한 발화 발생 확률을 계산하는 단계; 를 포함할 수 있다.
상기 특정 진동 자극에 대한 진동감의 모델링 이후, 상기 특정 진동 자극과 상이한 진동 자극에 대하여, 상기 생성하는 단계 및 상기 모델링 하는 단계를 반복 수행 할 수 있다.
본 발명의 다른 실시예에 따른 촉감 모델은 상기 신경 발화 패턴을 이용한 촉감의 모델링 방법으로 모델링 될 수 있다.
본 발명의 다른 실시예에 따른 신경 발화 패턴을 이용한 촉감의 생성 방법은, 압감 모델에서 특정 압감에 대응되는 신경 발화 패턴을 생성하는 단계; 를 포함할 수 있다.
상기 신경 발화 패턴을 이용한 촉감의 생성 방법은, 상기 생성된 신경 발화 패턴에 대응되는 신호를 대뇌에 전달하는 단계; 를 더 포함할 수 있다.
상기 생성하는 단계는, 상기 촉감 모델에 기초하여 상기 신경 발화 패턴을 구성하는 발화들의 총 개수 및 발화 시점들 간의 시간 간격들을 결정하는 단계; 및 상기 결정된 발화들의 총 개수 만큼의 발화들을 각각 상기 결정된 시간 간격 만큼 이격 되도록 배치하는 단계; 를 포함할 수 있다.
상기 결정하는 단계에서, 상기 시간 간격들은, 설정된 평균값과 기설정된 분산을 갖는 확률 분포에 의해 결정되며, 상기 평균값은 상기 촉감 모델에서 특정 시간에 대응되는 시간 간격 값 일 수 있다.
상기 확률 분포는, 푸아송 분포(Poisson Distribution) 또는 감마 분포(Gamma Distribution)일 수 있다.
본 발명의 다른 실시예에 따른 신경 발화 패턴을 이용한 촉감의 생성 방법은, 진동감 모델에서 특정 진동감에 대응되는 신경 발화 패턴을 생성하는 단계; 를 포함할 수 있다.
상기 신경 발화 패턴을 이용한 촉감의 생성 방법은, 상기 생성된 신경 발화 패턴에 대응되는 신호를 대뇌에 전달하는 단계; 를 더 포함할 수 있다.
상기 생성하는 단계는, 상기 특정 진동감에 대응되는 주기함수를 결정하는 단계; 및 상기 촉감 모델 및 상기 결정된 주기함수에 기초하여 상기 신경 발화 패턴을 생성하는 단계; 를 포함할 수 있다.
상기 생성하는 단계는, 상기 촉감 모델로부터 상기 신경 발화 패턴을 구성하는 발화들에 대응되는 상기 주기함수의 위상들을 결정하는 단계; 상기 촉감 모델로부터 상기 결정된 위상들 각각에서의 발화 발생 확률을 결정하는 단계; 및 상기 결정된 위상들 및 상기 결정된 발생 확률에 기초하여 상기 신경 발화 패턴을 생성하는 단계; 를 포함할 수 있다.
상기 생성하는 단계는, 상기 결정된 위상들과 대응되도록 상기 결정된 발생 확률에 따라 발화들을 배치하는 단계; 를 포함할 수 있다.
상기 목적을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명에 의하면, 촉감 정보가 신경 발화 패턴에 어떻게 반영되는지를 확인함으로써, 촉감에 대한 신경과학적 기전에 대하여 보다 명확하게 이해할 수 있는 효과가 있다.
또한, 다양한 촉감에 대한 촉감 지도(map)를 작성할 수 있도록 하고, 이를 이용하여 가상현실 등에서 촉감을 구현할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 압감의 모델링 방법 및 압감의 생성 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 압감의 모델링 방법을 도시한 순서도이다.
도 3은 발화들의 총 개수를 압력의 세기에 따라 도시한 그래프이다.
도 4a 내지 c는 본 발명의 일 실시예에 따라 생성된 압감 모델의 발화 모델 파라미터를 압력의 세기에 따라 도시한 그래프 및 테이블이다.
도 5는 본 발명의 일 실시예에 따른 압감의 생성 방법을 도시한 순서도이다.
도 6은 본 발명의 일 실시예에 따라 압감을 모델링 하고, 그 모델로부터 신경 발화 패턴을 생성하고 비교하여 그 정확도를 확인하는 실험예를 도시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 진동감의 모델링 방법 및 진동감의 생성 방법을 도시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 진동감의 모델링 방법을 도시한 순서도이다.
도 9a 및 b는 진동 자극에 대한 신경 발화 패턴의 일 예를 도시한 도면이다.
도 10a 및 b는 발화가 발생한 진동 자극의 위상 및 그 위상 별 발화 발생 확률을 도시한 도면이다.
도 11은 본 발명의 다른 실시예에 따른 진동감의 생성 방법을 도시한 순서도이다.
도 12a 및 b는 본 발명의 다른 실시예에 따라 진동감을 모델링하고, 그 모델로부터 신경 발화 패턴을 생성하고 비교하여 그 정확도를 확인하는 실험예를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능 상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 첨부된 도면들을 참조하여, 본 발명에 따른 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법을 설명한다. 촉감은 압감 또는 진동감 일 수 있다.
우선, 본 발명의 일 실시예에 따른 신경 발화 패턴을 이용한 압감의 모델링 방법, 압감 모델 및 압감의 생성 방법을 설명한다.
도 1은 본 발명의 일 실시예에 따른 압감의 모델링 방법 및 압감의 생성 방법을 도시한 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 압감의 모델링 방법을 도시한 순서도이고, 도 3은 발화들의 총 개수를 압력의 세기에 따라 도시한 그래프이고, 도 4a 내지 c는 본 발명의 일 실시예에 따라 생성된 압감 모델의 발화 모델 파라미터를 압력의 세기에 따라 도시한 그래프 및 테이블이고, 도 5는 본 발명의 일 실시예에 따른 압감의 생성 방법을 도시한 순서도이다.
본 실시예는 신경 발화 패턴을 모델링 하여 촉감 중 압감을 모델링 하는 방법과, 그 모델을 이용하여 신경 발화 패턴을 생성함으로써 촉감 중 압감을 생성하는 방법에 대한 것으로, 그 흐름도는 도 1에 제시되어 있다.
도 2를 참조하면, 본 실시예에 따른 압감의 모델링 방법은, 압력을 가하여 피부를 자극하는 단계(S210), 압력에 반응하는 신경(nerve)의 활동 전위(action potential) 발화(spike) 시점들을 순차적으로 나열하여 신경 발화 패턴(nerve spike pattern, nerve spike train)을 생성하는 단계(S220), 신경 발화 패턴으로부터 발생된 발화들의 총 개수(N)를 측정하는 단계(S230), 신경 발화 패턴으로부터 발화 시점들 간의 시간 간격(Inter Spike Interval; ISI)을 측정하는 단계(S240) 및 측정된 발화 시점들 간의 시간 간격을 함수화(functionalize) 하는 단계(S250)를 포함할 수 있다.
S210 단계는, 특정 압력을 가하여 피부를 자극하는 단계로써, 소정의 세기의 압력을 소정의 시간 동안 가하여 피부를 자극하는 단계이다. 피부를 자극하는 압력의 초기 세기는 특정되지 않으며, 사용 목적과 환경에 따라 적절하게 설정될 수 있다. 압력을 가하는 시간은 특정되지 않으며, 이 또한 사용 목적과 환경에 따라 적절하게 설정될 수 있다. 피부는 사람 또는 동물의 것일 수 있다.
S220 단계는, 압력에 반응하는 신경의 활동 전위 발화 시점들을 순차적으로 나열하여 신경 발화 패턴을 생성하는 단계이다. 이때, 압감에 반응하는 신경은 SA(Slowly Adapting) 구심 신경이다. S220 단계에서 생성된 신경 발화 패턴에 기초하여, 특정 압력에 대한 압감을 모델링 할 수 있다.
S230 단계는, 신경 발화 패턴에 나타난 발화 시점들로부터, 발생된 발화들의 총 개수(이하, 발화들의 총 개수를 "N" 이라 함)를 측정하는 단계이다. 즉, N은 압력이 가해진 시간 동안 발생한 총 발화 개수를 의미한다. 신경 발화 패턴은 발화 시점들을 나열하여 생성된 것이므로, 신경 발화 패턴으로부터 발생된 발화들의 총 개수를 측정할 수 있다.
S240 단계는, 신경 발화 패턴으로부터 발화 시점들 간의 시간 간격을 계산하는 단계, 즉, 신경 발화 패턴에 나타난 발화 시점들 간의 시간 간격(Inter Spike Interval; ISI, 이하, 발화 시점들 간의 시간 간격을 "ISI" 라 함)을 측정하는 단계이고, S250 단계는 ISI를 함수화 하는 단계이다.
SA 구심 신경의 신경 발화 패턴은, 압력이 가해진 직후 짧은 시간 내에 많은 양의 발화가 발생하며, 압력이 지속적으로 가해짐에 따라 발화의 양이 감소하는 특성이 있다. 즉, 압력이 가해진 시간의 흐름에 따라 발화의 발생 정도가 달라지는 특성이 있다.
이에 따라, ISI 또한, 압력이 가해진 시간의 흐름에 따라 변하게 된다(시변, time varying). 즉, 피부에 일정 세기의 압력을 가하면서 SA 구심 신경의 신경 발화 패턴을 관찰하면, 압력이 가해진 직후 짧은 시간 내에 많은 양의 발화가 발생하고, 압력이 지속적으로 가해짐에 따라 발화의 양이 감소하는 바, ISI 또한 압력이 가해진 시간의 흐름에 따라 증감하는 양상이 나타날 수 있다.
이러한 ISI의 시간에 따른 변화를 소정의 시간에 대한 함수로 함수화 할 수 있다. 함수화 하는 방법은 특정되지 않으며, 사용 목적과 환경에 따라 적절한 방법이 선택될 수 있다.
바람직하게는, 소정의 시간에 대한 함수를 사용하여 데이터 피팅(data fitting)하는 방법을 통해 함수화 할 수 있다. ISI는 특정 세기를 갖는 압력이 지속됨에 따라 점점 증가하는 양상을 보이는 바, 데이터 피팅을 할 때는 증가함수가 이용되는 것이 바람직하다. 더욱 바람직하게는, 하기 수학식 1로 정의되는 5차 다항함수가 사용될 수 있으며, 이때, 압력에 대한 신경 발화 패턴을 가장 정확하게 모델링 할 수 있다.
Figure 112017054137439-pat00002
여기서 x는 시간, y는 ISI를 의미한다. (이하, 수학식 1의 계수 a, b를 이하 "발화 모델 파라미터" 라 하며, 발화 모델 파라미터의 값은 압력의 세기에 따라 달라질 수 있다.)
S250 단계는, x 값 및 y 값에 따라 수학식 1의 계수 a, b, 즉 발화 모델 파라미터를 연산하는 단계를 포함할 수 있다. 즉, 수학식 1을 이용하여 ISI의 시간에 따른 변화를 데이터 피팅 함으로써 발화 모델 파라미터가 결정될 수 있다. 이로부터, 시간과 ISI의 대응관계를 얻을 수 있다. (이하, 시간과 ISI의 대응관계를 "ISI 모델" 이라 한다.)
예를 들어, 10mN의 세기를 갖는 압력이 20초 동안 가해진 경우, 20초 동안 발생한 발화들의 총 개수 N을 계산한다. 또한, 20초 동안 발생한 발화 시점들 간의 시간 간격 ISI를 계산할 수 있다. 그 데이터를 수학식 1을 이용하여 데이터 피팅함으로써, 발화 모델 파라미터(a, b)를 결정하여, ISI 모델을 얻을 수 있다.
한편, 함수화는 시간 구간 전체에서 수행될 수 있고, 시간 구간을 복수의 시간 구간으로 나누어 시간 구간들 마다 별개로 수행될 수도 있다. 예를 들어, 20초 동안 압력이 가해진 경우, 압력이 가해지기 시작한 시점을 0sec로 하고, 1) 0~0.8sec 2) 0.8sec~20sec 두 시간 구간으로 나누어, 각 구간 마다 데이터 피팅 함으로써 함수화 할 수 있다. 시간 구간을 분할 하는 방법은 특정되지 않으며, 사용 목적과 환경에 따라 적절한 방법이 이용될 수 있다.
다만, S240 단계 및 S250 단계는 S230 단계 이전에 수행될 수 있고, S230 단계와 동시에 수행될 수도 있다. 즉, 상기 예에서, ISI 모델을 먼저 얻고 발화들의 총 개수 N을 계산할 수도 있고, 동시에 계산할 수도 있다.
특정 압력에 대하여 S210 단계 내지 S250 단계를 수행한 뒤, 상이한 압력에 대하여, 즉, 압력의 세기를 변화시키고 S210 단계 내지 S250 단계를 반복 수행한다. 이 과정을 반복하면 다양한 세기의 압력에 대응하는 ISI 모델을 얻을 수 있다.
또한, 변화된 압력에 대하여 반복하여 S230 단계를 수행함으로써, 압력의 세기와 N의 대응관계를 얻을 수 있다. (이하, 압력의 세기와 N의 대응관계를 "N 모델" 이라 한다.)
도 3은 압력의 세기와 N의 대응 관계를 나타낸 그래프이다. 도 3을 참조하면 N은 특정 세기의 압력에서 최대가 되고, 압력이 더 증가함에 따라 다시 감소하는 경향이 나타난다는 것을 확인할 수 있다.
이러한 경향성이 발화 모델 파라미터 a 에 반영된다. 즉, N이 많아지게 되면, N이 적을 때에 비하여 상대적으로 ISI가 작아지며, 더 긴 시간 동안 발화가 발생하기 때문에, 발화 모델 파라미터 a는 작아진다. 도 4a는 압력 세기에 따른 SA1 구심 신경의 발화 모델 파라미터 a를 도시한 것으로, 도 4c의 SA1 항목을 함께 참조하면, 값이 작아지다가 다시 증가하는 형태가 나타나는 것을 확인할 수 있다.
도 4b는 압력 세기에 따른 SA1 구심 신경의 발화 모델 파라미터 b를 도시한 것이며, 일정 구간 증가하다가 이후 감소하는 경향이 나타나는 것을 확인할 수 있다. 또한, 도 4c의 SA2 항목은 압력 세기에 따른 SA2 구심 신경의 발화 모델 파라미터 a를 나타낸 것이다. SA2 구심 신경은 압력이 증가함에 따라 N도 증가하는 경향을 보이기 때문에, 전술한 바와 같은 원리로 발화 모델 파라미터 a는 점점 작아지는 경향이 나타난다.
한편, 상기한 방법으로 얻은 N 모델 및 ISI 모델을 이용하여, 원하는 특정 세기를 갖는 압력에 대응하는 신경 발화 패턴을 생성하고, 이를 통해 가상 촉감을 생성할 수도 있다. 이하, 도 1을 다시 참조하고, 도 5를 참조하여 구체적으로 그 방법을 설명한다.
도 5를 참조하면, 본 실시예에 따른 압감의 생성 방법은, 압감 모델을 이용하여 생성될 신경 발화 패턴의 N 및 ISI를 결정하는 단계(S510), 결정된 N 및 ISI에 기초하여 신경 발화 패턴을 생성하는 단계(S520) 및 생성된 신경 발화 패턴에 대응되는 신호를 대뇌에 전달하는 단계(S530)를 포함할 수 있다.
S510 단계는 생성된 압감 모델을 이용하여 생성될 신경 발화 패턴의 N 및 ISI 값을 결정하는 단계이다. 즉, 생성하고자 하는 세기의 가상 압감에 대응되는 신경 발화 패턴의 N과 ISI를 압감 모델을 이용하여 결정할 수 있다.
우선, N 모델을 이용하여 생성될 신경 발화 패턴을 구성하는 발화들의 총 개수를 결정할 수 있으며, 이는 특정 압력의 세기에 대한 N값과 같다. 도 3을 다시 참조하면, 압력의 세기와 N은 대응 관계를 갖고 있기 때문에, 압력의 세기를 알면 N 모델을 이용하여 생성될 신경 발화 패턴을 구성하는 발화들의 총 개수를 결정할 수 있음을 알 수 있다.
그리고, ISI 모델을 이용하여, 특정 세기의 압력에 대응하는 신경 발화 패턴을 구성하는 발화 시점들 간의 시간 간격을 결정할 수 있으며, 이는 특정 압력 세기에 대한 ISI 모델로부터 추출할 수 있다. 도 4a 내지 c를 다시 참조하면, 발화 모델 파라미터 a, b 또한 압력의 세기와 대응 관계를 갖고 있기 때문에, 특정 세기의 압력에 대응하는 ISI 모델을 결정할 수 있으며, 결정된 ISI 모델을 이용하여 신경 발화 패턴을 구성하는 발화 시점들 간의 시간 간격을 추출할 수 있음을 알 수 있다.
이때, ISI 모델로부터 신경 발화 패턴에 나타날 발화 시점들 간의 시간 간격을 추출하는 방법은 특정되지 않으며, 사용 목적과 환경에 따라 적절한 방법이 이용될 수 있다.
예를 들어, 우선, 촉감 모델로부터 특정 시간에서 특정 시간에 대응되는 시간 간격 값을 추출하여 평균값으로 설정한다. 즉, 각 x 값(시간 값)에 대응하는 y 값(ISI 값)을 평균값으로 설정한다. 그리고 기설정된 상수값을 분산으로 설정한다. 분산을 설정하는 방법 및 그 값은 특정되지 않으며 사용 목적과 환경에 따라 적절하게 설정될 수 있다.
그리고, 설정된 평균값 및 분산으로 정의되는 확률 분포를 얻는다. 바람직하게는 확률 분포는 푸아송 분포(Poisson Distribution) 또는 감마 분포(Gamma Distribution)일 수 있다. 그리고, 확률 분포를 이용하여 랜덤(random) 값을 추출하고, 추출된 값을 ISI로 결정할 수 있다. 바람직하게는, 감마 분포를 이용하여 값을 추출할 수 있으며, 이 경우 더 정확하게 신경 발화 패턴을 생성할 수 있다.
S520 단계는, 결정된 N 및 ISI를 이용하여 신경 발화 패턴을 생성하는 단계이다. ISI 값은 발화 시점들 간의 시간 간격을 의미하므로, 첫 발화 시점을 설정하고, 결정된 개수 만큼, 결정된 간격으로 발화 시점을 배치(나열)함으로써 신경 발화 패턴을 생성할 수 있다. 즉, 결정된 발화들의 총 개수(N)만큼의 발화 시점을, 결정된 발화 시점들 간의 시간 간격(ISI) 만큼 이격 되도록 일렬로 배치하여, 신경 발화 패턴을 생성할 수 있다.
한편, ISI 모델로부터 특정 세기의 압력에 대응하는 신경 발화 패턴을 구성하는 발화 시점들 간의 시간 간격을 먼저 결정하고, N 모델을 이용하여 생성될 신경 발화 패턴을 구성하는 발화들의 총 개수를 결정한 뒤 신경 발화 패턴을 생성할 수도 있다.
S530 단계는, 생성된 신경 발화 패턴에 대응되는 신호를 생성하여 대뇌에 전달하는 단계이다. 신호의 생성 방법 및 전달 방법은 특정되지 않으며, 사용 목적과 환경에 따라 적절한 방법이 이용될 수 있다.
이하, 도 6을 참조하여, 본 발명의 일 실시예에 따른 실험예를 설명한다. 본 실험예에서는 동물의 발바닥 피부에 압력을 가하면서 신경 발화 패턴을 생성하여 압감을 모델링하고, 그 모델을 이용하여 신경 발화 패턴을 생성하여, 그 정확성을 검증하였다. 이하에서 전술한 것과 중복되는 내용은 그 설명을 생략한다.
[실험예 1]-압감의 모델링 및 모델을 이용한 신경 발화 패턴 생성 실험
도 6은 본 발명의 일 실시예에 따라 압감을 모델링 하고, 그 모델로부터 신경 발화 패턴을 생성하고 비교하여 그 정확도를 확인하는 실험예를 도시한 도면이다. 각 열마다 서로 다른 크기의 압력을 가하며 실험을 수행하였다.
도 6을 참조하면, 첫 번째 행은 각 압력이 지속될 때, 시간에 따른 ISI의 변화를 도시한 것이다. 예를 들어, 가장 우측에 도시된 도면은 가장 큰 압력(300mN)이 지속될 때, 시간에 따른 ISI의 변화를 도시한 것이다.
이러한 시간에 따른 ISI의 변화 데이터를 수학식 1을 이용하여 데이터 피팅 할 수 있다. 첫 번째 행 각 그림의 빨간색 라인은 데이터 피팅 결과(fitting line)를 나타낸다.
두 번째 행은 데이터 피팅 결과를 이용하여 특정 압력에 대응하는 신경 발화 패턴을 생성할 때 사용할 ISI 값을 결정한 결과를 도시한 것이다. 구체적으로, fitting line에서 각 x 값(시간 값)에 대응하는 y 값(ISI 값)을 평균값으로 설정하고 분산은 상수로 설정한다. 그리고 감마 분포(Gamma Distribution)를 이용하여 값을 추출하고, 추출된 값을 신경 발화 패턴 생성시 사용할 ISI 값으로 결정할 수 있다.
세 번째 행은 압력을 가하면서 생성한 실제 신경 발화 패턴을 도시한 것이고, 네 번째 행은 신경 발화 패턴 모델을 이용하여 생성한 신경 발화 패턴을 도시한 것이다.
한편, 발화율은 단위 시간 당 발화 횟수로 정의되며, 이는 특정 시간 구간 내에서 발생한 발화 횟수를 카운트(count)하여 계산할 수 있다. 압감이 정확하게 모델링 되었다면, 그 모델로부터 생성된 신경 발화 패턴으로부터 발화율을 계산하였을 때, 실제 신경 발화 패턴으로부터 발화율을 계산한 결과와 유사한 값 또는 형태를 가질 것이다.
다섯 번째 행은 실제 신경 발화 패턴으로부터 발화율을 계산한 결과, 여섯 번째 행은 추출된 ISI 값을 이용하여 생성한 신경 발화 패턴으로부터 발화율을 계산한 결과를 나타낸 것이며, 유사한 형태를 가진다는 것을 확인할 수 있다. 본 발명에 의하면, 압감 모델을 사용하여 특정 압력에 대응하는 신경 발화 패턴을 매우 정확하게 생성할 수 있다는 것을 확인할 수 있다.
이하, 본 발명의 다른 실시예에 따른 신경 발화 패턴을 이용한 진동감의 모델링 방법, 진동감 모델 및 진동감의 생성 방법을 설명한다.
도 7은 본 발명의 다른 실시예에 따른 진동감의 모델링 방법 및 진동감의 생성 방법을 도시한 도면이고, 도 8은 본 발명의 다른 실시예에 따른 진동감의 모델링 방법을 도시한 순서도이고, 도 9a 및 b는 진동 자극에 대한 신경 발화 패턴의 일 예를 도시한 도면이고, 도 10a 및 b는 발화가 발생한 진동 자극의 위상 및 그 위상 별 발화 발생 확률을 도시한 도면이고, 도 11은 본 발명의 다른 실시예에 따른 진동감의 생성 방법을 도시한 순서도이다.
본 실시예는 신경 발화 패턴을 모델링 하여 촉감 중 진동감을 모델링 하는 방법과, 그 모델을 이용하여 신경 발화 패턴을 생성함으로써 촉감 중 진동감을 생성하는 방법에 대한 것으로, 그 흐름도는 도 7에 제시되어 있다.
도 8을 참조하면, 본 실시예에 진동감의 모델링 방법은, 진동 자극을 가하여 피부를 자극하는 단계(S810), 진동 자극에 반응하는 신경(nerve)의 활동 전위(action potential) 발화(spike) 시점들을 순차적으로 나열하여 신경 발화 패턴(nerve spike pattern, nerve spike train)을 생성하는 단계(S820), 신경 발화 패턴으로부터 발화가 발생한 진동 자극의 위상을 측정하는 단계(S830) 및 측정된 위상 별로 발화 발생 확률을 계산하는 단계(S840)를 포함할 수 있다.
S810 단계는, 특정 진동 자극을 가하여 피부를 자극하는 단계로써, 소정의 진동 자극을 소정의 시간 동안 가하여 피부를 자극하는 단계이다. 진동 자극은 소정의 주파수 및 진폭을 갖는 자극으로써 주기함수의 형태를 가질 수 있다. 예를 들어, sine 파의 형태로 진동하며 자극의 세기가 커졌다 작아졌다 하는 형태를 반복할 수 있다. 주파수 및 진폭의 초기값은 특정되지 않으며, 사용 목적과 환경에 따라 적절하게 설정될 수 있다. 진동 자극을 가하는 시간은 특정되지 않으며, 이 또한 사용 목적과 환경에 따라 적절하게 설정될 수 있다. 피부는 사람 또는 동물의 것일 수 있다.
S820 단계는, 진동 자극에 반응하는 신경의 활동 전위 발화 시점들을 순차적으로 나열하여 신경 발화 패턴을 생성하는 단계이다. 이때, 진동 자극에 반응하는 신경은 FA(Fast Adapting) 구심 신경이다. S820 단계에서 생성된 신경 발화 패턴에 기초하여, 특정 진동 자극에 대한 진동감을 모델링 할 수 있다.
한편, 도 9a는 5Hz의 주파수, 50mN의 진폭을 갖는 진동 자극에 대한 신경 발화 패턴 및 진동 자극 위상 및 발화 시점을 도시한 것이다.
도 9a를 참조하면, 정사각형 ①로 표시되어 있는 영역의 위상에서 발화가 주기적으로 발생하고 있다는 점을 확인할 수 있다. 한편, 정사각형 ②로 표시되어 있는 영역의 위상에서도 발화가 발생하였으나, 동일 위상을 나타낸 정사각형 ③으로 표시된 영역의 위상에서는 발화가 발생하지 않았다는 것을 확인할 수 있다. 이는 진동 자극의 각 위상 별로 확률적으로 발화가 발생하기 때문이다. 즉, FA 구심 신경의 신경 발화 패턴은, 특정 위상에서 발화가 발생하며, 또한 그 발화는 확률적으로 발생하는 특성이 있다.
한편, 도 9b는 5Hz의 주파수, 200mN의 진폭을 갖는 진동 자극에 대한 신경 발화 패턴 및 진동 자극 위상 및 발화 시점을 도시한 것이다.
도 9b를 참조하면, 진동 자극의 진폭이 달라짐에 따라, 발화가 발생하는 위상이 변한다는 것을 확인할 수 있다. 즉, 진동 자극의 진폭에 따라 발화가 발생하는 위상 및 그 위상에서 발화가 발생할 확률이 달라진다는 것을 확인할 수 있다. 이는 진동 자극의 주파수가 달라지는 경우에도 동일하다.
따라서, 진동 자극에 의한 진동감을 모델링 하기 위해서는, 신경 발화 패턴으로부터 발화가 발생한 위상을 측정하고, 그 측정된 위상 별로 발화가 발생할 확률을 계산하여야 한다. 이는 S830 단계 및 S840 단계에서 수행된다.
S830 단계는 신경 발화 패턴으로부터 발화가 발생한 위상을 측정하는 단계이고, S840 단계는 측정된 위상 별로 발화가 발생할 확률을 계산하는 단계이다.
신경 발화 패턴으로부터 발화가 발생한 위상을 측정하는 방법은 특정되지 않으며, 사용 목적과 환경에 따라 적절한 방법이 선택될 수 있다. 예를 들어, 힐베르트 변환(Hilbert transform)을 이용하여 발화가 발생한 진동 자극의 위상을 추출함으로써 측정될 수 있다.
한편, 위상은 0 부터 2π까지의 값을 가질 수 있는 바, 이를 소정의 길이(크기)를 갖는 복수의 위상 구간으로 등분한 뒤, 위상 구간 별 발화 발생 확률을 계산할 수도 있다. 즉, 측정된 위상들 각각이 복수의 위상 구간들 중 어느 하나에 속할 확률을 계산할 수도 있다.
예를 들어, 0 부터 2π를 40개의 위상 구간으로 등분하고, 측정된 위상들이 어느 구간에 속하는 지 확인하고, 각 구간 별로 속한 위상의 개수를 카운트(count) 함으로써, 위상 구간 별 발화 발생 확률을 계산할 수도 있다.
진동 자극이 가해진 시간과 진동 자극의 주파수를 알면, 각 구간에서 발화가 발생한 확률을 계산할 수 있다. 예를 들어, 5Hz의 주파수를 갖는 진동 자극을 11초 동안 가했다고 가정한다. 이 경우, 진동 자극은 초당 5번 진동하므로, 총 55번의 자극을 가하게 된다. 이때, 특정 위상 구간에서 20회의 발화가 발생하였다면, 그 위상 구간에서 발화가 발생할 확률은 20/55=4/11 가 된다.
특정 진동 자극에 대하여 S810 단계 내지 S840 단계를 수행한 뒤, 상이한 진동 자극에 대하여, 즉, 주파수 및/또는 진폭을 변화시키고 S810 단계 내지 S840 단계를 반복 수행한다. 이 과정을 반복하면 다양한 주파수 및 진폭을 갖는 진동 자극에 대하여, 발화가 발생한 진동 자극의 위상 데이터 및 그 위상에서 발화가 발생할 확률 데이터를 추출할 수 있다. (이하, 추출된 데이터를 "위상 확률 분포 모델" 이라 한다.)
도 10a 및 b는 발화가 발생한 진동 자극의 위상 및 그 위상 별 발화 발생 확률을 도시한 도면으로, 위상 확률 분포 모델의 예시들에 해당한다. 위상 확률 분포 모델은 표(table)로만 작성되는 것은 아니며, 사용 목적과 환경에 따라 적절한 형태로 작성될 수 있다.
도 10을 참조하면, 진동 자극의 주파수가 커질수록, 진동 자극의 진폭이 커질수록 발생하는 발화의 개수가 증가하는 경향이 나타나는 것을 확인할 수 있다. 또한, 특정 경우 즉, 15Hz의 주파수 및 100mN의 진폭을 갖는 진동 자극이 가해진 경우와 20Hz의 주파수 및 200mN의 진폭을 갖는 진동 자극이 가해진 경우에는 FA 구심 신경이 반응하지 않는다(N/A)는 것을 확인할 수 있다.
한편, 상기한 방법으로 얻은 위상 확률 분포 모델, 즉, 진동감 모델을 이용하여, 원하는 특정 주파수 및 진폭을 갖는 진동 자극에 대응하는 신경 발화 패턴을 생성하고, 이를 통해 가상 촉감을 생성할 수도 있다. 이하, 도 7을 다시 참조하고, 도 11을 참조하여, 구체적으로 그 방법을 설명한다.
도 11을 참조하면, 본 실시예에 따른 진동감의 생성 방법은, 진동 자극에 대응하는 주기함수를 결정하는 단계(S1110), 진동감 모델을 이용하여 발화 발생 위상을 결정하는 단계(S1120), 진동감 모델을 이용하여 발화 발생 위상 별 발화 발생 확률을 결정하는 단계(S1130), 결정된 발화 발생 위상 및 발화 발생 확률에 기초하여 신경 발화 패턴을 생성하는 단계(S1140) 및 생성된 신경 발화 패턴에 대응되는 신호를 대뇌에 전달하는 단계(S1150)를 포함할 수 있다.
S1110 단계는, 진동 자극에 대응하는 주기함수를 결정하는 단계이다. 원하는 특정 주파수 및 진폭을 갖는 진동 자극에 대응하는 주기함수를 결정한다. 즉, 원하는 특정 주파수 및 진폭을 갖는 진동 자극에 대응하는 주기성 모델(도 9의 검정색 선에 대응함)을 결정한다. 주기성 모델은 원하는 특정 주파수에 정규화(normalization)될 수 있다. 예를 들어, 소정의 주파수 및 진폭을 갖는 sine 파로 설정할 수 있다.
S1120 단계는, 진동감 모델을 이용하여 발화 발생 위상을 결정하는 단계이다. 촉감 모델로부터 생성될 신경 발화 패턴을 구성하는 발화들에 대응되는 위상들을 결정한다. 즉, 위상 확률 분포 모델을 이용하여, 실제로 진동 자극을 가했을 때 발화가 발생될 것으로 예측되는 위상을 예측하고, 이를 생성될 신경 발화 패턴을 구성하는 발화들에 대응되는 위상들로 결정한다.
S1130 단계는, 진동감 모델을 이용하여 발화 발생 위상 별 발화 발생 확률을 결정하는 단계이다. 도 9a를 다시 참조하면, FA 구심 신경의 신경 발화 패턴은, 특정 위상에서 발화가 발생하며, 또한 그 발화는 확률적으로 발생하는 특성이 있는 바, 결정된 발화 발생 위상 각각에 대한 발화 발생 확률 또한 결정되어야 신경 발화 패턴을 생성할 수 있다.
S1140 단계는, 결정된 발화 발생 위상 및 발화 발생 확률에 기초하여 신경 발화 패턴을 생성하는 단계이다. 결정된 주기성 모델, 발화가 발생할 것으로 예측되는 주기함수의 위상 및 추출된 위상 별 발화 발생 확률을 이용하여, 특정 주파수 및 진폭을 갖는 진동 자극에 대응하는 신경 발화 패턴을 생성한다. 즉, 추출된 발화 발생 확률을 이용하여 추출된 위상에 대응되도록 발화 시점을 배치함으로써 신경 발화 패턴을 생성할 수 있다.
이때, 발화 시점을 배치하는 방법은 특정되지 않으며, 사용 목적과 환경에 따라 적절한 방법이 이용될 수 있다. 예를 들어, 확률 분포가 이용될 수 있으며, 바람직하게는 푸아송 분포(Poisson Distribution)를 이용할 수 있다.
예를 들어, 5Hz의 주파수 및 50mN의 진폭을 갖는 진동 자극에 대응하는 신경 발화 패턴 생성 과정을 설명한다.
우선 5Hz의 주파수 및 50mN의 진폭을 갖는 sine 함수를 설정한다. 그리고, 도 10을 다시 참조하면, 5Hz의 주파수 및 50mN의 진폭을 갖는 진동 자극의 경우, 1.62 위상값에서 46% 확률로 발화가 발생하며, 5.00 위상값에서 84% 확률로 발화가 발생한다는 것을 알 수 있다. 이 데이터를 이용하여 발화 시점을 배치함으로써, 신경 발화 패턴을 생성할 수 있다.
S1150 단계는, 생성된 신경 발화 패턴에 대응되는 신호를 생성하여 대뇌에 전달하는 단계이다. 신호의 전달 방법은 특정되지 않으며, 사용 목적과 환경에 따라 적절한 방법이 이용될 수 있다.
이하, 도 11을 참조하여, 본 발명의 다른 실시예에 따른 실험예를 설명한다. 본 실험예에서는 동물의 발바닥 피부에 진동 자극을 가하면서 신경 발화 패턴을 생성하여 진동감을 모델링하고, 그 모델을 이용하여 신경 발화 패턴을 생성하여, 그 정확성을 검증하였다. 이하에서, 전술한 것과 중복되는 내용은 그 설명을 생략한다.
[실험예 2]-진동감 모델링 및 그 모델을 이용한 신경 발화 패턴 생성 실험
도 12는 본 발명의 다른 실시예에 따라 진동감을 모델링하고, 그 모델로부터 신경 발화 패턴을 생성하고 비교하여 그 정확도를 확인하는 실험예를 도시한 도면이다. 진동 자극의 주파수는 5Hz로 고정하고, 그 세기만 50mN, 200mN으로 변경하면서 얻은 실제 신경 발화 패턴(true spike)과, 신경 발화 패턴 모델을 이용하여 생성한 신경 발화 패턴(simulated spike by model)을 각각 도시하였다.
진동감이 정확하게 모델링 되었다면, 그 모델로부터 생성된 신경 발화 패턴은 실제 신경 발화 패턴과 유사한 형태를 가지게 될 것이다.
도 12a, b를 각각 참조하면, 실제 신경 발화 패턴과, 진동감 모델을 이용하여 생성된 신경 발화 패턴이 매우 유사한 형태를 가진다는 것을 확인할 수 있다. 즉, 본 발명에 의하면, 진동감 모델을 이용하여 소정의 진동에 대응하는 신경 발화 패턴을 매우 정확하게 생성할 수 있어, 가상 진동감을 정확하게 구현할 수 있는 효과가 있음을 확인할 수 있다.
이상에서 설명한 본 발명에 따르면, 촉감 정보가 신경 발화 패턴에 어떻게 반영되는지를 확인함으로써, 다양한 촉감을 신경 발화 패턴을 이용하여 모델링 할 수 있는 방법을 제공할 수 있는 효과가 있다.
또한, 다양한 촉감에 대한 정보를 가지고 있는 촉감 모델을 모델링 할 수 있도록 함으로써, 다양한 촉감에 대한 촉감 지도(map)를 작성할 수 있는 원천기술을 제공할 수 있는 효과가 있다.
또한, 촉감 모델로부터 생성하고자 하는 촉감에 대응되는 신경 발화 패턴을 생성할 수 있도록 함으로써, 가상현실 등에서 촉감을 구현할 수 있는 방법을 제공할 수 있는 효과가 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
N : 발화들의 총 개수
ISI : 발화 시점들 간의 시간 간격

Claims (25)

  1. 특정 압력에 반응하는 신경(nerve)의 활동 전위(action potential) 발화(spike) 시점들을 순차적으로 나열하여 신경 발화 패턴(nerve spike pattern)을 생성하는 단계;
    상기 생성된 신경 발화 패턴에서 발생된 발화들의 총 개수 및 발화 시점들 간의 시간 간격(Inter Spike Interval; ISI)을 측정하는 단계; 및
    상기 측정된 발화들의 총 개수 및 발화 시점들 간의 시간 간격을 통해 압감을 모델링 하는 단계;
    를 포함하는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 측정하는 단계에서,
    상기 측정된 시간 간격들은 시변(time varying)하며,
    상기 측정된 특정 시간에서의 시간 간격을 이용하여, 시간의 변화에 따른 시간 간격들의 변화를 함수화(functionalize) 하는 단계;
    를 더 포함하는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  4. 제3항에 있어서,
    상기 함수화 하는 단계에서,
    상기 함수화 된 함수는
    Figure 112018061529332-pat00021
    이고,
    여기서, x는 시간, y는 발화 시점들의 시간 간격이며,
    상기 x 값 및 y 값에 따라 상기 함수의 a 값과 b 값을 연산하는 단계;
    를 더 포함하는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  5. 제3항에 있어서,
    상기 함수화 하는 단계는,
    복수로 분할된 시간 구간들에서 별개로 수행되는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  6. 제4항에 있어서,
    상기 연산하는 단계는,
    복수로 분할된 시간 구간들에서 별개로 수행되는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  7. 제1항에 있어서,
    상기 특정 압력에 대한 압감의 모델링 이후,
    상기 특정 압력과 상이한 압력에 대하여,
    상기 생성하는 단계 및 상기 모델링 하는 단계를 반복 수행하는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  8. 특정 진동 자극에 반응하는 신경(nerve)의 활동 전위(action potential) 발화(spike) 시점들을 순차적으로 나열하여 신경 발화 패턴(nerve spike pattern)을 생성하는 단계;
    상기 생성된 신경 발화 패턴에서 발화들이 발생하는 상기 진동 자극의 위상들을 측정하는 단계; 및
    상기 측정된 위상들 각각에서의 발화 발생 확률을 계산하는 단계;
    를 포함하는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 측정하는 단계에서,
    상기 위상들은 힐베르트 변환(Hilbert transform)에 의해 측정되는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  11. 제8항에 있어서,
    상기 계산하는 단계는,
    0 내지 2ππ의 위상 구간을 복수의 위상 구간들로 등분하는 단계; 및
    상기 측정된 위상들 각각이 상기 복수의 위상 구간들 중 어느 하나에 속할 확률을 계산하는 단계;
    를 포함하는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  12. 제11항에 있어서,
    상기 계산하는 단계는,
    상기 복수의 위상 구간들 각각 별로, 상기 측정된 위상들이 속하는 개수를 카운트(count) 하여, 상기 복수의 위상 구간들 각각에 대한 발화 발생 확률을 계산하는 단계;
    를 포함하는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  13. 제8항에 있어서,
    상기 특정 진동 자극에 대한 진동감의 모델링 이후,
    상기 특정 진동 자극과 상이한 진동 자극에 대하여,
    상기 생성하는 단계 및 상기 모델링 하는 단계를 반복 수행하는,
    신경 발화 패턴을 이용한 촉감의 모델링 방법.
  14. 제1항에 따른 신경 발화 패턴을 이용한 촉감의 모델링 방법으로 모델링 된 촉감 모델.
  15. 제8항에 따른 신경 발화 패턴을 이용한 촉감의 모델링 방법으로 모델링 된 촉감 모델.
  16. 제1항의 방법에 따라 모델링 된 촉감 모델에서 특정 압감에 대응되는 신경 발화 패턴을 생성하는 단계;
    를 포함하는,
    신경 발화 패턴을 이용한 촉감의 생성 방법.
  17. 제16항에 있어서,
    상기 신경 발화 패턴을 이용한 촉감의 생성 방법은,
    상기 생성된 신경 발화 패턴에 대응되는 신호를 대뇌에 전달하는 단계;
    를 더 포함하는,
    신경 발화 패턴을 이용한 촉감의 생성 방법.
  18. 제16항에 있어서,
    상기 생성하는 단계는,
    상기 촉감 모델에 기초하여 상기 신경 발화 패턴을 구성하는 발화들의 총 개수 및 발화 시점들 간의 시간 간격들을 결정하는 단계; 및
    상기 결정된 발화들의 총 개수 만큼의 발화들을 각각 상기 결정된 시간 간격 만큼 이격 되도록 배치하는 단계;
    를 포함하는,
    신경 발화 패턴을 이용한 촉감의 생성 방법.
  19. 제18항에 있어서,
    상기 결정하는 단계에서, 상기 시간 간격들은,
    설정된 평균값과 기설정된 분산을 갖는 확률 분포에 의해 결정되며,
    상기 평균값은 상기 촉감 모델에서 특정 시간에 대응되는 시간 간격 값인,
    신경 발화 패턴을 이용한 촉감의 생성 방법.
  20. 제19항에 있어서,
    상기 확률 분포는,
    푸아송 분포(Poisson Distribution) 또는 감마 분포(Gamma Distribution)인,
    신경 발화 패턴을 이용한 촉감의 생성 방법.
  21. 제8항의 방법에 따라 모델링 된 촉감 모델에서 특정 진동감에 대응되는 신경 발화 패턴을 생성하는 단계;
    를 포함하는,
    신경 발화 패턴을 이용한 촉감의 생성 방법.
  22. 제21항에 있어서,
    상기 신경 발화 패턴을 이용한 촉감의 생성 방법은,
    상기 생성된 신경 발화 패턴에 대응되는 신호를 대뇌에 전달하는 단계;
    를 더 포함하는,
    신경 발화 패턴을 이용한 촉감의 생성 방법.
  23. 제21항에 있어서,
    상기 생성하는 단계는,
    상기 특정 진동감에 대응되는 주기함수를 결정하는 단계; 및
    상기 촉감 모델 및 상기 결정된 주기함수에 기초하여 상기 신경 발화 패턴을 생성하는 단계;
    를 포함하는,
    신경 발화 패턴을 이용한 촉감의 생성 방법.
  24. 제23항에 있어서,
    상기 생성하는 단계는,
    상기 촉감 모델로부터 상기 신경 발화 패턴을 구성하는 발화들에 대응되는 상기 주기함수의 위상들을 결정하는 단계;
    상기 촉감 모델로부터 상기 결정된 위상들 각각에서의 발화 발생 확률을 결정하는 단계; 및
    상기 결정된 위상들 및 상기 결정된 발생 확률에 기초하여 상기 신경 발화 패턴을 생성하는 단계;
    를 포함하는,
    신경 발화 패턴을 이용한 촉감의 생성 방법.
  25. 제24항에 있어서,
    상기 생성하는 단계는,
    상기 결정된 위상들과 대응되도록 상기 결정된 발생 확률에 따라 발화들을 배치하는 단계;
    를 포함하는,
    신경 발화 패턴을 이용한 촉감의 생성 방법.
KR1020170070806A 2017-06-07 2017-06-07 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법 KR101904085B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170070806A KR101904085B1 (ko) 2017-06-07 2017-06-07 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법
PCT/KR2018/006414 WO2018226018A1 (ko) 2017-06-07 2018-06-05 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법
US16/706,614 US11003251B2 (en) 2017-06-07 2019-12-06 Modeling method of tactility using nerve spike pattern, tactility model and manufacturing method of tactility using nerve spike pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170070806A KR101904085B1 (ko) 2017-06-07 2017-06-07 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법

Publications (1)

Publication Number Publication Date
KR101904085B1 true KR101904085B1 (ko) 2018-11-22

Family

ID=64557888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170070806A KR101904085B1 (ko) 2017-06-07 2017-06-07 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법

Country Status (3)

Country Link
US (1) US11003251B2 (ko)
KR (1) KR101904085B1 (ko)
WO (1) WO2018226018A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210103924A (ko) * 2020-11-20 2021-08-24 한국과학기술원 신경 발화 데이터 프로파일링 및 컨텐츠 추출을 위한 컴퓨터 시스템, 및 그의 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100626683B1 (ko) * 2005-03-17 2006-09-22 한국과학기술원 촉감전달이 가능한 컴퓨터용 마우스 시스템 및 이를 이용한입체영상의 질감전달 방법
KR100893669B1 (ko) 2007-08-05 2009-04-17 강원대학교산학협력단 가상현실 기반의 햅틱 시스템
US8988191B2 (en) * 2009-08-27 2015-03-24 Symbol Technologies, Inc. Systems and methods for pressure-based authentication of an input on a touch screen
KR20120047493A (ko) 2010-11-04 2012-05-14 주식회사 코윈디에스티 터치패널
JP6155448B2 (ja) * 2012-11-01 2017-07-05 アイカム エルエルシー 3d撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
CA2925692C (en) * 2013-09-27 2021-09-21 Sensel, Inc. Touch sensor detector system and method
US20150134582A1 (en) * 2013-11-08 2015-05-14 Qualcomm Incorporated Implementing synaptic learning using replay in spiking neural networks
US10166394B1 (en) * 2015-10-15 2019-01-01 Hrl Laboratories, Llc Device and method to automatically tune the nerve stimulation pattern of a sensory-feedback capable prosthesis
US10802598B2 (en) * 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210103924A (ko) * 2020-11-20 2021-08-24 한국과학기술원 신경 발화 데이터 프로파일링 및 컨텐츠 추출을 위한 컴퓨터 시스템, 및 그의 방법
KR102558169B1 (ko) * 2020-11-20 2023-07-24 한국과학기술원 신경 발화 데이터 프로파일링 및 컨텐츠 추출을 위한 컴퓨터 시스템, 및 그의 방법

Also Published As

Publication number Publication date
WO2018226018A1 (ko) 2018-12-13
US11003251B2 (en) 2021-05-11
US20200110467A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
US10591996B1 (en) Machine translation of consonant-vowel pairs and syllabic units to haptic sequences for transmission via haptic device
Israr et al. Tactile brush: drawing on skin with a tactile grid display
KR101717711B1 (ko) 터치 감지 디바이스
Visell et al. Sound design and perception in walking interactions
Elliott et al. The cochlea as a smart structure
Hwang et al. Vibrotactile perceived intensity for mobile devices as a function of direction, amplitude, and frequency
KR20170037486A (ko) 햅틱 captcha
KR101904085B1 (ko) 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법
Turchet et al. Emotion rendering in plantar vibro-tactile simulations of imagined walking styles
Alonso et al. Motor control of sound frequency in birdsong involves the interaction between air sac pressure and labial tension
Young et al. Audio-tactile glove
US8583442B2 (en) Rhythm processing and frequency tracking in gradient frequency nonlinear oscillator networks
Lim et al. Effect of frequency difference on sensitivity of beats perception
Senkow et al. Computational and psychophysical experiments on the Pacinian corpuscle's ability to discriminate complex stimuli
JP2020078446A (ja) バイブレーション装置
Eid et al. Soa thresholds for the perception of discrete/continuous tactile stimulation
Shao Tactile Sensing, Information, and Feedback Via Wave Propagation
Kurzweg et al. Assignment of a Vibration to a Graphical Object Induced by Resonant Frequency
Shao Spatiotemporal Haptic Effects via Control of Cutaneous Wave Propagation
Shen et al. Controlled-STM: A Two-stage Model to Predict User’s Perceived Intensity for Multi-point Spatiotemporal Modulation in Ultrasonic Mid-air Haptics
KR20230149978A (ko) 가상 공간 물체의 임피던스와 신경 자극 패턴을 매칭하는 촉각 자극 장치 및 방법
Saghafifar Immersed boundary modelling of cochlear mechanics
Lim et al. An Interactive Tool for Simulating Mid-Air Ultrasound Tactons on the Skin
Ifukube et al. Tactile stimulation methods for the deaf and/or blind
Remache-Vinueza et al. Phantom sensation: Threshold and quality indicators of a tactile illusion of motion

Legal Events

Date Code Title Description
GRNT Written decision to grant