KR20180112847A - 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램 - Google Patents

촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램 Download PDF

Info

Publication number
KR20180112847A
KR20180112847A KR1020187026642A KR20187026642A KR20180112847A KR 20180112847 A KR20180112847 A KR 20180112847A KR 1020187026642 A KR1020187026642 A KR 1020187026642A KR 20187026642 A KR20187026642 A KR 20187026642A KR 20180112847 A KR20180112847 A KR 20180112847A
Authority
KR
South Korea
Prior art keywords
tactile
vibration
tactile information
force
presentation
Prior art date
Application number
KR1020187026642A
Other languages
English (en)
Inventor
수수무 타치
마사시 나카타니
카트선나리 사토
코우타 미나미자와
히로유키 카지모토
Original Assignee
재팬 사이언스 앤드 테크놀로지 에이전시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재팬 사이언스 앤드 테크놀로지 에이전시 filed Critical 재팬 사이언스 앤드 테크놀로지 에이전시
Publication of KR20180112847A publication Critical patent/KR20180112847A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B25J13/025—Hand grip control means comprising haptic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94—Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/96—Touch switches
    • H03K17/9618—Touch switches using a plurality of detectors, e.g. keyboard
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K2217/00—Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00
    • H03K2217/94—Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00 characterised by the way in which the control signal is generated
    • H03K2217/96—Touch switches
    • H03K2217/96062—Touch switches with tactile or haptic feedback

Abstract

전기, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 제시 목적으로 하는 촉감에 상응하여, 물리량 중 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 촉감을 제시하기 위한 촉각 정보를 작성하고, 작성된 촉각 정보를 출력부측에 출력하는 것을 특징으로 한다.

Description

촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램
본 발명은, 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램에 관한 것이다.
종래, 현실 또는 가상의 물체에 대해 이용자에게 촉각을 제시하는 촉각 제시 디바이스가 개발되어 있다.
예를 들면, 특허문헌 1에서는, 펜형의 역각 제시 장치이고, 이용자가 파지할 때 손끝이 접촉하는 가동부에 있어서, 왕복동, 요동, 경동, 회전 등의 움직임을 시키는 것에 의해, 손끝에 고유 수용 감각을 제시하는 것이 개시되어 있다.
또한, 비특허문헌 1에서는, 압력, 진동, 온도를 요소 촉각으로 하여, 촉각 맵을 작성하고, 그들의 요소 촉각을 합성하여 임의의 촉각을 제시하는 촉각 제시 장치에 대해 개시되어 있다.
또한, 비특허문헌 2에서는, 실제 환경하에서의 손가락으로 그리기 동작시에, 손톱측에 마련한 진동자를 진동시켜, 가상적인 요철감을 제시하는 것이 개시되어 있다.
일본국 특허공개공보 2010-287221호 공보
CHIKAI Manabu "새로운 촉각 제시 장치의 연구"Nagaoka University of Technology 박사 논문, 국립 대학 법인 Nagaoka University of Technology, 2014년 3월 25일, 13102갑 제702호, URL: http://hdl.handle.net/10649/719 ANDO Hideyuki, WATANABE Junji, INAMI Masahiko, SUGIMOTO Maki, MAEDA Taro "Augmented Reality를 위한 손톱 장착형 촉각 디스플레이의 연구", 전자정보통신 학회 논문지, 전자정보통신 학회, 2004년 11월 1일, Vol.J87-D2, No.11, pp.2025-2033
하지만, 종래의 촉각 제시 디바이스는, 각각의 촉감을 제시하기 위해 특화한 애드혹의 기술이고, 예를 들면 오노마토페로 표현되는 바와 같은 임의의 촉감을 선택하여 출력할 수 있는 것이 아니라는 문제가 있었다.
예를 들면, 특허문헌 1에서는, 왕복동, 요동, 경동, 회전 등의 움직임에 의해 고유 수용 감각을 제시할 수 있지만, 이들의 조합으로는 다양한 피부 감각이나 촉감을 제시할 수 없는 문제점이 있었다. 또한, 비특허문헌 1에서는, 압력과 온도와 진동의 3축으로 촉각 맵을 작성하여 임의의 촉각을 제시하고자 하는 것이지만, 이들의 조합으로는 끈적끈적감이나 쫀득쫀득감 등의 촉감을 제시하는 것은 원리적으로 할 수 없는 문제가 있었다. 또한, 비특허문헌 2에서는, 물체를 손가락으로 그릴 때 손톱 위에서 진동 자극을 가하는 것에 의해, 지복부에 적절한 임펄스 자극을 생성시켜 올록볼록한 에지 지각을 재현할 수 있지만, 피부 촉각 정보 중 요철각에 특화한 제시 방법이고, 다양한 촉감을 제시할 수 없는 문제점이 있었다.
본 발명은 상기한 문제점을 해결하기 위한 것으로서, 임의의 촉감을 제시 또는 센싱하여 범용적으로 사용할 수 있는, 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램을 제공하는 것이다.
이와 같은 목적을 달성하기 위해, 본 발명의 촉각 정보 변환 장치는, 적어도 전기를 포함하고, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 제어부를 적어도 구비한 촉각 정보 변환 장치이고, 상기 제어부는, 제시 목적으로 하는 촉감에 상응하여, 상기 물리량 중 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 작성부와, 상기 작성부에 의해 작성된 상기 촉각 정보를 상기 출력부측에 출력하는 출력 제어부를 구비한 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 상기한 촉각 정보 변환 장치에 있어서, 상기 물리량 중의 전기의 출력은, 촉수용기의 전기 자극 제시인 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 상기한 촉각 정보 변환 장치에 있어서, 상기 촉감은, 심리 질감인 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 상기한 촉각 정보 변환 장치에 있어서, 상기 작성부는, 힘의 시간 변화에 따른 촉감을 제시하는 경우, 적어도 전기 및 시공간의 상기 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 상기한 촉각 정보 변환 장치에 있어서, 상기 작성부는, 비접촉 상태로부터 접촉 상태로의 변이 과정 또는 신체의 변위 과정에 있어서, 경(硬)표면의 경우보다 강한 전기, 힘, 혹은 진동의 자극, 또는, 경표면의 경우보다 넓은 면적의 전기, 힘, 혹은 진동의 자극이 주어지도록 상기 촉각 정보를 작성하고, 상기 출력 제어부는, 상기 작성부에 의해 작성된 상기 촉각 정보에 기초하여, 부드러운 심리 질감을 제시하는 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 상기한 촉각 정보 변환 장치에 있어서, 상기 작성부는, 접촉 상태로부터 비접촉 상태로의 변이 과정 또는 신체의 변위 과정에 있어서, 경표면의 경우보다 강한 전기, 힘, 혹은 진동의 자극, 또는, 경표면의 경우보다 넓은 면적의 전기, 힘 혹은 진동의 자극이 주어지도록 상기 촉각 정보를 작성하고, 상기 출력 제어부는, 상기 작성부에 의해 작성된 상기 촉각 정보에 기초하여, 끈적거리는 심리 질감을 제시하는 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 상기한 촉각 정보 변환 장치에 있어서, 상기 신체는, 손가락인 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 상기한 촉각 정보 변환 장치에 있어서, 상기 심리 질감은, 인체의 복수의 상이한 촉각 수용기에서 얻어지는 정보로부터 뇌내에서 통합적으로 인지되는 심리량인 것을 특징으로 한다.
또한, 본 발명의 입력 장치는, 상기한 촉각 정보 변환 장치를 구비한 것을 특징으로 한다.
또한, 본 발명의 입력 장치는, 상기한 입력 장치에 있어서, 표층에, 다점 분포형 압각 계측 센서와, 중간층에, 온냉감 계측 센서와, 하층에, 진동감 계측 센서를 적어도 구비한 것을 특징으로 한다.
또한, 본 발명의 송신 장치는, 상기한 촉각 정보 변환 장치를 구비한 것을 특징으로 한다.
또한, 본 발명의 기억 장치는, 상기한 촉각 정보 변환 장치를 구비한 것을 특징으로 한다.
또한, 본 발명의 서버 장치는, 상기한 촉각 정보 변환 장치를 구비한 것을 특징으로 한다.
또한, 본 발명의 수신 장치는, 상기한 촉각 정보 변환 장치를 구비한 것을 특징으로 한다.
또한, 본 발명의 출력 장치는, 상기한 촉각 정보 변환 장치를 구비한 것을 특징으로 한다.
또한, 본 발명의 출력 장치는, 상기한 출력 장치에 있어서, 표층에, 다점 전기 촉각 자극에 의한 분포형 압력 제시부와, 중간층에, 펠티에 소자에 의한 고속 구동형 온냉감 제시부와, 하층에, 넓은 주파수 대역의 진동 제시부를 적어도 구비한 것을 특징으로 한다.
또한, 본 발명의 인터랙션 조작 시스템은, 상기한 촉각 정보 변환 장치를 구비한, 조작자가 조작하는 로봇 교시 장치를 사용하여 로봇에 동작을 교시하는 인터랙션 조작 시스템에 있어서, 상기 로봇은, 물체를 파지하기 위한 손가락부, 상기 물체 또는 상기 물체의 성상을 검출하고, 물체 검출 정보를 생성하는 물체 검출부이고, 상기 손가락부에 배치되는 물체 검출부, 상기 로봇을 구동시키는 로봇 구동 장치를 구비하고, 상기 로봇 교시 장치는, 상기 로봇으로부터 전송된 상기 물체 검출 정보에 기초하여 상기 촉각 정보 변환 장치에 의해 변환된 촉각 정보에 상응하여, 대응하는 촉감을 상기 조작자에게 제공하는 물체 검지 감각 제공부를 구비하는 것을 특징으로 한다.
또한, 본 발명의 촉각 제시 방법은, 적어도 전기를 포함하고, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 제어부를 적어도 구비한 촉각 정보 변환 장치에서 실행되는 촉각 정보 변환 방법이고, 상기 제어부에서 실행되는, 제시 목적으로 하는 촉감에 상응하여, 상기 물리량 중 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 작성 스텝; 및 상기 작성 스텝에서 작성된 상기 촉각 정보를 상기 출력부측에 출력하는 출력 제어 스텝을 포함하는 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 프로그램은, 적어도 전기를 포함하고, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 컴퓨터에 실행시키기 위한 프로그램이고, 제시 목적으로 하는 촉감에 상응하여, 상기 물리량 중 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 작성 스텝; 및 상기 작성 스텝에서 작성된 상기 촉각 정보를 상기 출력부측에 출력하는 출력 제어 스텝을 컴퓨터에 실행시키는 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 전기, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 제어부를 적어도 구비한 촉각 정보 변환 장치이고, 상기 제어부는, 제시 목적으로 하는 촉감에 상응하여, 상기 물리량 중 적어도 하나의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 작성부와, 상기 작성부에 의해 작성된 상기 촉각 정보를 상기 출력부측에 출력하는 출력 제어부를 구비하고, 상기 작성부는, 상기 제시 목적으로 하는 촉감에 상응하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상에 대응시켜, 상기 물리량을 선택하는 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 상기한 촉각 정보 변환 장치에 있어서, 상기 작성부는, 촉감이 기지의 샘플에 대해 상기 검출부에 의해 검출된 상기 물리량과, 해당 촉감을, 상기 적어도 2축의 맵 상에 대응시켜 갱신하는 것에 의해 학습을 하는 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 촉각 정보를 얻기 위해, 검출부와 제어부를 적어도 구비한 촉각 정보 변환 장치이고, 상기 검출부는, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 검출 가능하고, 상기 제어부는, 상기 검출부에 의해 검출된 상기 물리량에 기초하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상에 대응시키는 것에 의해, 대응하는 촉감을 제시하기 위한 상기 촉각 정보를 취득하는 것을 특징으로 한다.
또한, 본 발명의 촉각 정보 변환 장치는, 상기한 촉각 정보 변환 장치에 있어서, 상기 제어부는, 촉감이 기지의 샘플에 대해 상기 검출부에 의해 검출된 상기 물리량과, 해당 촉감을 대응시킨 상기 적어도 2축의 맵을 갱신하는 것에 의해 학습을 하는 것을 특징으로 한다.
본 발명에 의하면, 제시 목적으로 하는 촉감에 상응하여, 적어도 전기를 포함하고, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 기저로 하여 촉각 정보를 작성하고, 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 작성된 촉각 정보를 출력하기 때문에, 임의의 촉감을 제시하여 범용적으로 사용할 수 있는 효과를 발휘한다. 특히, 구동부에 의한 왕복동이나 회전 운동 등에서는 재현할 수 없는 피부 감각이나, 압력과 온도와 진동에 따라서는 재현할 수 없는 쫀득쫀득감이나 끈적끈적감 등의 심리 질감 등, 다양한 촉감을 제시할 수 있는 효과를 발휘한다.
또한, 본 발명에 의하면, 제시 목적으로 하는 촉감에 상응하여, 전기, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 기저로 하여 촉각 정보를 작성하는 경우에, 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 제시 목적으로 하는 촉감에 상응하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상에 대응시켜, 물리량을 선택하기 때문에, 예를 들면 오노마토페 맵 상의 다양한 임의의 촉감을 제시하여 범용적으로 사용할 수 있는 효과를 발휘한다. 또한, 반대로 출력과 입력을 바꿔 넣고, 검출부에 의한 물리량에 기초하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상에 대응시키는 것에 의해, 예를 들면 오노마토페 맵 상의 다양한 촉감을 센싱하는 것도 가능해진다.
도 1은, 손가락을 접촉시켜 물체 위를 슬라이딩시키는, 혹은 정지시키고 나서 떼었을 때의 각 세포의 반응을 나타내는 모식도이다.
도 2는, "힘", "진동" 및 "온도"의 3기저를 합성하여, 생리 공간의 촉각 7기저를 자극하는 제2의 방법을 모식적으로 나타낸 도면이다.
도 3은, 조도 축, 경도 축, 습도 축의 3축의 맵에 다양한 오노마토페를 위치시킨 심리 질감 맵의 일례를 나타내는 도면이다.
도 4는, 물리 공간에 있어서, "힘", "진동", "온도", 및 "전기"의 4기저에 기초하여 합성하고, 심리 공간의 다양한 촉감을 재현하는 본 실시예의 방법을 모식적으로 나타낸 도면이다.
도 5는, 본 발명의 실시예에 따른 촉각 정보 변환 장치를 포함하는 촉감 제시 시스템의 구성의 일례를 나타내는 블록도이다.
도 6은, 촉원색 원리에 기초한 일체형 촉각 계측 모듈의 구조를 나타내는 사시도이다.
도 7은, 촉원색 원리에 기초한 일체형 촉각 전송 모듈의 구조를 나타내는 사시도이다.
도 8은, 환상 감각(phantom sensation) 착각에 의한 지각점을 나타내는 도면이다.
도 9는, 본원 발명자들이 개발한 상술한 TELESAR V로 부르는 텔레이그지스턴스(telexistence) 로봇의 손가락 장착형 센서/액츄에이터의 외관을 나타내는 도면이다.
도 10은, 본원 발명자들이 개발한 상술한 TELESAR V로 부르는 텔레이그지스턴스 로봇의 손가락 장착형 센서/액츄에이터의 장착시의 외관을 나타내는 도면이다.
도 11은, 본 실시예의 촉감 제시 시스템에 있어서의 촉각 정보 변환 처리의 일례를 나타내는 플로우 차트이다.
도 12는, 본 실시예의 촉감 제시 시스템의 촉각 정보 변환 장치(100)에 있어서의 다점 자극 처리의 일례를 나타내는 플로우 차트이다.
도 13은, 본 실시예의 촉감 제시 시스템에 있어서의 원격 촉감 전송 처리의 일례를 나타내는 플로우 차트이다.
도 14는, 기계 학습 등에 의해 취득한 카테고리 정보의 변환 테이블 등에 기초하여, 센서 등의 입력 정보를 촉감 카테고리 정보로 분류하고, 분류한 촉감 카테고리 정보에 기초하여, 복수의 물리량을 합성하여 제시 출력하는 경우의 기능 개념 구성을 나타내는 도면이다.
도 15는, 경표면, 연(軟)표면, 점(粘)표면을 터치한 경우의 접촉면이나 압력의 변화를 모식적으로 나타낸 도면이다.
도 16은, 경표면, 연표면, 점표면을 터치했을 때에 큰 변형이 생긴 경우의 접촉면이나 압력의 변화를 모식적으로 나타낸 도면이다.
도 17은, 손가락의 변위량에 대한 경표면, 연표면, 점표면의 접촉 면적의 변화를 나타내는 도면이다.
도 18은, 본 실시예 1의 실험 1에서 사용한 실험 장치의 구성을 손끝측에서 모식적으로 나타낸 도면이다.
도 19는, 본 실시예 1의 실험 1에서 사용한 실험 장치를 손가락에 장착하기 전의 상태와 장착후의 상태를 나타낸 사진이다.
도 20은, 본 실시예 1의 실험 1에서, 부드러운감을 제시하기 위해 사용한 실험 조건(Press 조건)을 나타내는 도면이다.
도 21은, 본 실시예 1의 실험 1에서, 끈적감을 제시하기 위해 사용한 실험 조건(Release 조건)을 나타내는 도면이다.
도 22는, 본 실시예 1의 실험 1에 의한 주관 평가 실험 결과를 나타내는 도면이다.
도 23은, 본 실시예 1의 실험 2에서 사용한 실험 장치를 손가락에 장착한 상태를 나타내는 사진이다.
도 24는, 본 실시예 1의 실험 2의 실험 조건(Press 조건)을 나타내는 도면이다.
도 25는, 본 실시예 1의 실험예 2의 실험 조건(Release 조건)을 나타내는 도면이다.
도 26은, 본 실시예 1의 실험 2에 의한 주관 평가 실험 결과를 나타내는 도면이다.
도 27은, 전기 자극 매트릭스와 기계 자극 매트릭스를 조합한 고밀도 제시 디바이스의 구성예를 나타내는 도면이다.
도 28은, 상술한 오노마토페 맵(도 3)에 있어서의 실시예 1(축 1)의 범위를 나타내는 도면이다.
도 29는, 수평 방향의 저항력에 의해 표시되는 촉감 표현의 범위를 나타내는 도면이다.
도 30은, 실험에 사용한 디바이스를 나타내는 도면이다. 실험 디바이스 등의 상세는, 선행 지견(Kajimoto, et al. 1999, Sato et al. 2010)을 참조.
도 31은, "꺼칠꺼칠감" "거칠거칠감" "까칠까칠감"의 재현 실험의 결과를 나타내는 도면이다.
도 32는, 저항력과 온도에 의해 재현하는 촉각 표현의 범위를 나타내는 도면이다.
도 33은, 실험에 사용한 디바이스와 진동 파형을 나타내는 도면이다.
도 34는, "매끌매끌" "반질반질" "미끈미끈" "미끌미끌"의 재현 실험의 결과를 나타내는 도면이다.
도 35는, 심리 공간을 나타내는 오노마토페 맵과, 힘과 진동과 온도의 3축으로 표시되는 물리 공간의 자극 맵을 나타내는 도면이다.
도 36은, 본 실시예 2의 실험 장치(펠티에 소자)의 구성을 나타내는 도면이다.
도 37은, 본 실시예 2의 실험 환경과, 펠티에 소자의 장착예를 나타내는 도면이다.
도 38은, 손끝측에서 손가락을 본 경우의 온도 자극(Thermal stimulus)을 주는 위치를 모식적으로 나타낸 도면이다.
도 39는, 본 실시예 2의 실험 결과를 나타내는 그래프이다.
도 40은, 본 실시예 2의 실험 2의 실험 장치를 나타내는 도면이다.
도 41은, 손끝측에서 손가락을 본 경우의 온도 자극(Thermal stimulus)을 주는 위치를 모식적으로 나타낸 도면이다.
도 42는, 온(溫)자극의 경우의 본 실시예 2의 실험 2의 실험 결과를 나타낸 그래프이다.
도 43은, 냉 자극의 경우의 본 실시예 2의 실험 2의 실험 결과를 나타낸 그래프이다.
도 44는, 본 실험 3(a. 접촉의 유무+온도 자극)에 의해 접촉에 대한 온도 감각의 차이를 나타낸 도면이다.
도 45는, 본 실험 3(b. 진동 자극의 유무+온도 자극)에 의해 진동에 대한 온도 감각의 차이를 나타낸 도면이다.
이하에, 본 발명의 본 실시예에 따른 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램, 및, 기록 매체의 실시예를 도면에 기초하여 상세하게 설명한다. 한편, 이 실시예에 의해 본 발명이 한정되는 것은 아니다. 예를 들면, 이하의 실시예에 있어서는 본 발명에 따른 촉각 정보 변환 장치의 기능을, 센서 등의 입력부나, 촉각 자극 등을 출력하는 출력부에 접속한 예에 대해 설명하는 경우가 있지만, 본 발명은 이에 한정되지 않고, 예를 들면 입력부나 출력부에는 직접 접속되지 않는 독립된 서버 장치 등의 기능으로서 구성해도 좋다. 이외에, 본 발명을, 입력 장치, 송신 장치, 기억 장치, 수신 장치, 혹은, 출력 장치 등의 일부로서, 또는, 이들의 장치 사이에 설치되는 변환 장치로서 구성해도 좋다.
[본 실시예의 개요]
이하, 본 발명의 실시예의 개요를 설명하기 위해, 먼저 본 발명의 실시예를 고안하게 된 배경 및 개요에 대해 설명하고, 그 후, 본 실시예의 구성 및 처리 등에 대해 상세하게 설명한다. 한편, 본 실시예의 개요는, 본 발명의 실시예를 고안하게 된 배경 및 개요를 나타내는 것이고, 본 발명을 한정하는 것은 아니다.
본 발명의 실시예가 고안된 배경으로서, 종래, 인간의 감각은, "특수 감각"과 "체성 감각"으로 나눌 수 있는 것이 알려져 있었다. 특수 감각(specific sensation)이란, 시각이라면 안구, 청각이라면 귀 등과 같이, 대응한 특별한 감각기가 존재하는 감각을 가리킨다. 예를 들면, "가속도"라고 하는 감각은, 귀, 특히, 귀속의 전정인 삼반규관과 난형낭·구형낭이라고 하는 감각기에 대응하고 있다는 의미에서 특수 감각으로 분류된다.
한편, 체성 감각(somatic sensation)이란, 체분절성의 감각이라고 하는 의미이고, 크게 나누면, 피부에 유래하는 피부 감각(cutaneous sensation)과, 내부의 근이나 건에 유래하는 자세나 운동의 감각인 고유 수용 감각(proprioception)으로 나뉜다. 한편, 고유 수용 감각은 자기 수용 감각이라고도 불리고 있다.
넓은 의미의 "촉각"이란, 이들의 피부 감각과 고유 수용 감각이라고 하는 체성 감각의 전체를 의미하고 있고, 본 실시예에 있어서 "촉각"이라고 부르는 경우에는, 넓은 의미의 촉각을 가리킨다. 한편, 좁은 의미의 "촉각"은, 본래적으로는, 온·냉·통 등의 다양한 감각도 포함되는 피부 감각 중, 접촉각이나 압각만을 의미하고 있다. 이 접촉각이나 압각은, 피부 속에 있는 메르켈 세포, 마이스너 소체, 파치니 소체나 루피니 종말 등의 감각기에 대응하고 있다. 그리고, 피부 전체가 움푹 패이거나 당겨지거나 한 경우에는, 그 변형이나 진동이 감각기에 전해져 감각이 생긴다.
또한, 능동적 촉각이라고 하는, 스스로 몸을 움직여 접촉하는 것에 의해, 피부뿐만 아니라, 근의 근방추, 건의 골지 수용체 등의 감각 수용기가 자극받아 일어나는 고유 수용 감각과의 종합적인 감각도 있다. 따라서, 넓은 의미에서의 촉각은, 하나의 감각기에 대응한, 접촉하고 있는지 여부의 단순한 감각뿐만 아니라, 고유 수용 감각까지 포함한, 폭넓은 감각의 종합이라고도 할 수 있다. 일례로서, 인간이 넓은 의미의 촉각에 의해, 어떤 물체, 예를 들면 철의 옥을 인식하는 프로세스에 대해 설명한다. 먼저 접촉하는 것에 의해, 인간은 형상을 아는 것이지만, 바로 손가락으로 만지지 않고, 손가락에 두꺼운 장갑을 끼고, 그것을 통해 철의 옥에 접촉해도, 팔, 손, 손가락의 관절이 어떻게 움직이고, 어떤 모양이 되었는지의 정보로부터, "공"이라고 추측할 수 있다. 이로부터도 추측할 수 있는 바와 같이, 대체적인 형상의 인식은, 피부가 아니고, 근방추나 골지 수용기 등의 고유 수용 감각에 의하고 있다. 또한 대체적인 형상에 더하여, 경도라든가, 스프링과 같은 반발력을 느끼거나, 물속에서 팔을 움직이거나 할 때의 저항감 등의 감각 등도, 고유 수용 감각에 유래한다.
피부 감각은, 더욱 미세한 "텍스처"(질감)이라고 불리는 표면의 미세한 형상 패턴을 인식하는 것이다. 이 감각은, 두꺼운 장갑을 한 상태에서는 생기지 않고, 피부로 바로 만지는 것이 중요하다. 이 감각은, 전술한 능동적 촉각에 의해 더욱 인식 정밀도가 향상한다. 한편, 이 고유 수용과 피부 감각이 일체가 된 운동을 수반하는 촉각은, 햅틱(촉운동 지각: haptic perception, haptics)이라고 불리고 있다. 들고 접촉하는 것만으로는 철이라는 것까지는 판별할 수 없지만, 그것이 금속일 것이다라고 인식할 수 있는 것은, 텍스처에 더하여, 온냉을 느끼는 피부 감각에 의한 바가 크다. 한편, 이하의 본 실시예의 설명에 있어서, 촉각이란, 특히 피부 감각을 가리키는 경우가 있지만, 이에 한정되지 않고, 고유 수용 감각도 포함해도 좋다.
인간이 직접 어떤 물체를 손가락의 표면으로 만졌을 때의 감각을 전달하기 위해, 인간의 손가락의 표면에, 실제의 물체와 완전히 동일한 물체를 재현하지 못하면 촉각을 미디어로서 다루기는 어렵다. 예를 들면, 시각의 경우, 물체의 색은 실제의 스펙트럼과 달라도, 인간의 RGB의 3원색의 각각을 담당하는 추체 세포가 동일한 발화를 하면 같은 색으로 보이기 때문에, 이 원리를 사용하여, 오늘날의 텔레비전이나 컬러 사진이나 컬러 인쇄물에 응용되고 있다.
본원 발명자들은, 만약 빛의 3원색과 마찬가지로, 촉각에 관해서도 촉원색이 존재한다면, 시각의 경우와 마찬가지로 촉각을 정보 미디어화할 수 있을 것이라고 생각했다. 촉원색의 존재를 뒷받침하는 사실로서, 인간의 촉각에 있어서, 명확히 다른 종류의 피부 감각기가 존재하고 있는 것을 들 수 있다. 즉, 3원색에 대응하는 RGB의 추체 세포와 마찬가지로, 촉각에도 촉원색에 대응하는, 메르켈 세포, 마이스너 소체, 파치니 소체, 루피니 종말 등이 존재한다. 또한, 온/냉/통에 반응하는 자유 신경 종말도 존재한다. 종래의 신경 생리학 연구의 성과로서, 메르켈 세포와 루피니 종말은 압력과 절단력, 마이스너 소체는 저주파 진동, 파치니 소체는 고주파 진동을 검지하는 것이 알려져 있다. 여기서, 도 1은, 손가락을 접촉시켜 물체 위를 슬라이딩시키는, 혹은 정지시키고 나서 떼었을 때의 각 세포의 반응을 나타내는 모식도이다. 횡축은 시간이고, 각 세포에 대해 종축은 여기 상태를 나타내고 있다.
도 1에 나타내는 바와 같이, 물체에 접촉했을 때는, 메르켈 세포가 압력, 마이스너 소체가 저주파 진동, 파치니 소체가 고주파 진동을 검지하는 것에 의해, 메르켈 세포에서 변위, 마이스너 소체에서 속도, 파치니 소체에서 가속도에 의미를 부여하여 지각할 수 있다. 도시와 같은 평탄면에 한정되지 않고, 실물체에는, 요철 형상, 마찰, 열, 탄성과 같은 많은 물리 특성이 있다. 피부 감각이 생기는 상황을 고찰하면, 물체를 만지면 피부 표면에 힘과 진동과 온도 변화 등이 생기고, 그것이 피부의 내측에 전달되어, 상술한 감각기가 반응하여 촉각이 생긴다. 그 때문에, 본원 발명자들은, 물체의 요철 형상, 마찰, 열, 탄성과 같은 물리 특성의 여하에 관계없이, 각 감각기에, 그 물체를 터치한 경우와 동일한 반응을 일으킬 수 있다면, 실제의 물체에 접촉하고 있는 바와 동일한 촉각이 인간에게 생긴다고 생각했다. 즉, 촉각도 시각과 마찬가지로 촉원색에 대응하는 세포를 반응시킬 수 있다면, 실물체를 재현하여 제시할것 까지도 없이, 그 촉각만을 재현하여 시각과 마찬가지로 정보 미디어로 할 수 있다고 본원 발명자들은 생각했다.
이 경우, 감각기에 동일한 발화를 야기하기 위해서는 대별하여 2개의 방법이 있다. 제1의 방법은, 생리 공간에 기저를 구하고, 전기 자극으로 기저가 되는 감각기 자체를 선택적으로 발화시키는 방법이다. 여기서, 본 실시예에 있어서, "기저"란, 구성 단위나 요소와 같은 의미이다. 전극을 모든 감각기의 장소에 심어 자극하는 침습적인 방법은 실용적이지 않기 때문에, 피부 표면으로부터의 경피 전기 자극으로, 또한, 선택적으로 감각기(예를 들면 촉수용기)를 자극하는 방법이 생각된다(예를 들면 본원 발명자에 의한 특허 제3543097호 참조). 이 방법은, 본원 발명자에 의해 개발된 것이고, 예를 들면 양극 자극에 의해 마이스너 소체만을 선택 자극 가능하고, 음극의 전기 자극으로 피부 전극을 통해 메르켈 세포를 자극하여, 압각에 유사한 감각을 전달할 수 있다. 하지만, 파치니 소체를 선택적으로 자극할 수는 없고, 또한, 온냉도 선택적으로 자극할 수 없는 문제가 있었다. 또한, 반대로 본래는 통각을 발생시키지 않는 자극이라도, 전기 자극에 의해 통각을 수반해버리는 경우가 있다. 따라서, 제1의 방법은, 생리 공간의 기저가 되는 세포를 직접 선택적으로 자극하는 방법으로서, 범용적인 자극을 주는 데까지는 도달하지 못했다.
제2의 방법은, 시각의 RGB를 기저로 하는 방법과 등가인 방법으로서, 물리 공간에서 기저를 선택하는 방식이다. 여기서, 도 2는, "힘", "진동" 및 "온도"의 3기저를 합성하여, 생리 공간의 촉각 7기저를 자극하는 제2의 방법을 모식적으로 나타낸 도면이다. 메르켈 세포와 루피니 종말이 압력과 절단력, 마이스너 소체가 저주파 진동, 파치니 소체가 고주파 진동, 자유 신경 종말은, 온, 냉, 통에 응답하기 때문에, 실물체를 만졌을 때의 인간의 피부 표면에서의, 압력과 절단력, 즉 벡터력으로서의 "힘", 저주파에서 고주파까지의 "진동"과, "온도"가, 실제로 만지지 않았어도 동일하게 제시할 수 있다면, 인간은, 실제와 동일한 감각을 얻게 된다. 힘이나 진동 등은, 인간이 능동적인 운동에 의해 변화해 가는 경우가 많지만, 그 경우에는 인간의 움직임에 추종하여 재현하면 된다. 이는, 시각에 있어서, 빛의 모든 스펙트럼을 재현하지 않고, RGB에 대응한 스펙트럼만을 기저로 하여 사용하여, 그 기저에 기초한 합성으로서, 대부분 모든 시각 정보를 재현하고 있는 방식과 유사한 방식이라고 할 수 있다. 즉, 물체가 구비하는 요철 형상, 마찰, 열, 탄성과 같은 물리 특성을 모두 재현하는 것이 아니고, 그 물체와의 접촉에 의해 피부 표면에 생기고, 수용기의 세포가 포착하는, "힘", "진동", "온도"의 3개의 물리량만을 기저로 하여, 그들의 시간 변화를 기록하고, 전송하여, 그들의 기저를 기초로 합성하면 된다고 본원 발명자들은 생각했다. 즉, 본원 발명자들은, 이 제2의 방법을 촉원색 원리의 기본형으로 하여 개발을 진행했다.
여기서, "힘", "진동", "온도"를 기저로 하는 방법에는, 소형화에 향한 문제가 남겨지고 있어, 진일보의 예의 검토의 필요가 있다고 본원 발명자들은 생각했다. 즉, "힘"의 제시는, 힘이라고 하는 물리량이 갖는 특성으로부터, 힘을 가하는 점과는 다른 장소에, 힘을 미치기 위한 고정 장소(접지)를 준비할 필요가 있다. 예를 들면, 지복에 힘을 가하기 위해서는, 조갑 등의 부분에 접지시켜, 거기서부터 힘을 가해야만 한다. 이로서는, 제시 장치 자체를 제작할 때에, 그 자극 부위의 부근에만에 장치를 수용할 수 없다. 따라서, 필연적으로 비교적 큰 공간을 필요로 하고, 디바이스를 소형화할 때의 큰 제약이 된다. 또한, 일반적인 피부 표면에 대한 힘 제시로는, 누르는 방향으로의 압력은 제시 가능해도, 빼는 방향으로의 힘을 제시할 수 없는 문제도 남는다. 빼는 방향의 힘을 제시하지 못하면, 예를 들면 끈적끈적감 등의 오노마토페로 표현되는 다양한 심리 질감의 제시가 어려워진다. 여기서, 도 3은, 조도 축, 경도 축, 습도 축의 3축의 맵에 다양한 오노마토페를 위치시킨 심리 질감 맵의 일례를 나타내는 도면이다.
본 발명에 따른 1실시예는, 상술한 다양한 문제를 해결하기 위해, 본원 발명자들에 의해 예의 검토한 결과 고안된 것으로서, "힘", "진동", "온도"의 3기저에 더하여, "전기"를 기저에 포함시키는 것에 의해 해결하고자 한다. 즉, 제1의 방법과 제2의 방법을 조합하여, 서로 결점이 보완되도록 구성한다. 여기서, 도 4는, 물리 공간에 있어서, "힘", "진동", "온도", 및 "전기"의 4기저에 기초하여 합성하고, 심리 공간의 다양한 촉감을 재현하는 본 실시예의 방법을 모식적으로 나타낸 도면이다.
한편, 본 실시예는, "힘"을 모두 "전기"로 바꿔 놓고, 4기저 중 "힘"의 관여를 0으로 하여, 3기저에 기초하여 합성해도 좋다. 또한, 본 실시예는, 이에 한정되지 않고, "시간" 및/또는 "공간"의 시공간적 요소를 기저에 더욱 가해도 좋다. 전기는 실제의 통상의 물체와의 접촉에서는, 정전기를 느끼거나 하는 특별한 경우를 제외하고는 생기지 않지만, 버젓한 물리량이기 때문에, 물리 공간의 기저이다.
이 전기 자극이, 압각이나 진동각, 나아가 통각 등도 일으키기 때문에, 전기 자극의 부여 방법에 의해, 심리 공간에 있어서의 5기저의 촉감에 효과를 미치는 것이 본 실시예의 큰 특징이다. 즉, 물리 공간의 기저에 기초하여 생리 공간에 7기저의 촉각을 자극하는 어프로치가 아니고, 본 실시예는, 전기를 포함하는 물리 공간의 복수의 기저를 합성하여, 심리 공간에 5기저에 기초한 다양한 촉감을 재현하는 어프로치이다. 예를 들면, 전기를 포함하는 물리 공간의 복수의 기저를 적절하게 선택하는 한편, 선택된 물리량에 기초하여, 소정의 촉감을 제시하기 위한 촉각 정보를 작성하는 것에 의해, 오노마토페로 표현되는 바와 같은 심리 질감, 즉, 인체의 복수의 상이한 촉각 수용기에서 얻어지는 정보로부터 뇌내에서 통합적으로 인지되는 심리량을 재현할 수 있다. 이에 의해, 단순히 촉각을 자극하는 종래의 수법과는 달리, 멀티모달(다감각 형식)에 기초한 촉지성에 촉구하는 촉감 제시를 할 수 있다. 오노마토페로 표현되는 바와 같은 심리 질감을 제시하는 구체적 수법에 대해서는 후술한다.
본 발명의 일 실시예에 의하면, 특히, 경유(硬柔), 건습 등의 감각을 부여하여, 종래의 힘, 진동, 온도만으로 제시할 수 있는 감각의 범위를 대폭으로 넓힐 수 있다. 또한, 힘을 제시하기 어려운 경우에는, 힘의 제시를 전기에 의해 대체하여 할 수 있기 때문에, 소형화의 멀티모달(다감각 형식)의 디바이스를 제작할 수 있게 된다. 이 전기를 포함하는 물리 공간의 복수의 기저에 기초하여 합성하여 촉감을 제시하는 것이 본 실시예의 큰 특징의 하나이다.
한편, 본 발명에 따른 다른 실시예로서는, 꼭 전기를 사용할 필요는 없다. 즉, 본 발명의 다른 형태에 의하면, 제시 목적으로 하는 촉감에 상응하여, 전기, 힘, 온도, 진동, 및/또는, 시공간(예를 들면, 전기, 힘, 온도, 진동의 시간적 및/또는 공간적인 변화)을 포함하는 물리량을 기저로 하여 촉각 정보를 작성하는 경우에, 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 제시 목적으로 하는 촉감에 상응하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상에 대응시켜, 물리량을 선택한다. 이에 의해, 예를 들면 오노마토페 맵 상의 다양한 임의의 심리 촉감을 재현할 수 있다. 한편, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상의 맵을 사용하면, 검출부에 의해 검출되는 힘이나 진동이나 온도 등의 물리량으로부터, 대응하는 심리 촉감을 센싱하는 것도 가능해진다.
이상이 본 실시예의 개요이다. 이어서, 상술한 본 발명의 실시예를 실현하기 위한 장치 구성이나 처리의 상세한 예에 대해, 이하에 상세하게 설명한다.
[촉감 제시 시스템의 구성]
촉각 정보 변환 장치를 포함하는 촉감 제시 시스템의 구성에 대해 도면을 참조하면서 설명한다. 도 5는, 본 발명의 실시예에 따른 촉각 정보 변환 장치를 포함하는 촉감 제시 시스템의 구성의 일례를 나타내는 블록도 이고, 해당 구성 중 본 발명에 관계되는 부분만을 개념적으로 나타내고 있다.
도 5에 나타내는 바와 같이, 본 실시예에 있어서, 촉감 제시 시스템은, 촉각 정보 변환 장치(100)와, 각종 센서 등의 외부 입력 장치(120)와, 물리량을 출력 가능한 외부 출력 장치(140)와, 서버 등의 외부 기기(200)를, 네트워크(300)를 통해 접속하여 구성된다. 한편, 도 5에서는, 촉각 정보 변환 장치(100), 외부 입력 장치(120), 외부 출력 장치(140), 및, 외부 기기(200)는, 각 1대가 촉감 제시 시스템에 구비된 예가 도시되어 있지만, 이에 한정되지 않고, 촉감 제시 시스템은, 각 장치를 복수대 구비해도 좋다. 여기서, 촉각 정보 변환 장치(100)는, 컴퓨터나, 서버용 컴퓨터, 휴대 정보 단말(태블릿형 컴퓨터 등) 등이다. 네트워크(300)는, 촉각 정보 변환 장치(100)와 외부 입력 장치(120)와 외부 출력 장치(140)와 외부 기기(200)를 서로 접속하는 기능을 구비하고, 예를 들면, 유선 또는 무선의 LAN이나 인터넷 등이다.
여기서, 도 5에 있어서, 외부 입력 장치(120)는, 각종의 센서 등의 입력 수단이다. 예를 들면, 힘 센서나, 진동 센서, 온도 센서여도 좋고, 나아가, 요철 센서, 표면 거칠기 센서, 인장 센서, 마찰 센서, 습윤 센서, 열전도 센서, 점탄성 센서, 가속도 센서 등이어도 좋다. 그 이유로서, 대상물은, 요철 형상, 표면 거칠기, 마찰, 열전도율, 점성, 탄성, 관성, 습윤 등의 물리 특성을 갖고 있다. 그러나, 인간의 피부 감각기가 관지하는 것은, 기본적으로, 인간이 대상물을 자신의 손 등을 움직이는 것에 의해 대상물과 접촉하여, 그 때 생기는 손 등에 생기는 힘(피부의 변형), 진동, 온도 변화이고, 이에 의해 촉감을 얻고 있다. 따라서, 최적의 센서로서는, 그들을 직접적으로 센싱하는 힘 센서, 진동 센서, 온도 센서이다. 그러나, 로봇 핸드에는, 그들의 센서가 없는 경우도 있다. 그 경우에는, 예를 들면, 가속도 센서로부터, 힘 정보나 진동 정보로 변환하거나, 표면 거칠기 센서로부터 진동 정보로 변환하거나, 혹은, 각종의 센서 조합에 의해 연산하여 힘, 진동, 온도로 변환해도 좋다. 이들의 변환은, 센서측에서 진행하여 통신은, 표준적인 것으로 하는 것이 최적이지만, 그대로 통신하여, 촉각 정보 변환으로 해도 좋다.
여기서, 외부 입력 장치(120)는, 카메라나, 터치패널, 모션 센서 등의, 이용자의 움직임이나 물체를 인식하는 인식 장치이여도 좋다. 구체적으로는, 외부 입력 장치(120)는, 카메라나 압력 센서 등의 임의의 검출 수단에 의해, 인물의 신체의 움직임을 인식해도 좋다. 예를 들면, 외부 입력 장치(120)는, 공지의 제스처 인식 기술이나, 공지의 모션 센서 등을 사용하여 이용자의 신체의 움직임을 검출해도 좋다. 제스처는, 물리 공간에 있어서의 이용자의 위치 및 움직임으로부터 얻을 수 있고, 팔이나 다리의 움직임, 또는 정지 자세와 같은, 동적 또는 정적인, 임의의 이용자의 움직임을 포함할 수 있다.
본 실시예의 일례로서, 외부 입력 장치(120)에 있어서, 카메라와 같은 캡쳐·디바이스가, 유저 화상 데이터를 가져오고, 이 유저 화상 데이터로부터, 이용자의 제스처(1개 또는 복수)를 인식해도 좋다. 더욱 구체적으로는, 외부 입력 장치(120)는, 컴퓨터 환경을 사용하여, 이용자의 3차원 물리 공간에 있어서 이용자에 의해 진행된 제스처를 인식 및 분석하고, 해석한 이용자의 동작 데이터나 해석전 Raw 데이터 등을, 촉각 정보 변환 장치(100)에 송신해도 좋다. 일례로서, 외부 입력 장치(120)는, 손가락의 형상이나 신체의 자세, 접촉 개소, 접촉 면적, 압력, 진동 등을 검출하는 장착형 센서여도 좋다. 예를 들면, 본원 발명자들에 의해 개발된 손끝에 대한 반력이나 온도를 전달할 수 있는 텔레이그지스턴스 시스템인 TELESAR 시스템의 글로브형 센서 등의 센싱 기술을 사용해도 좋다. 여기서, 후술하는 일체형 촉각 계측 모듈 등과 같이, 외부 입력 장치(120)는, 2차원 배치된 복수의 힘 검출 센서나, 진동 발생원과 진동 검출 센서, 온도 센서, 타이머 등을 구비해도 좋다. 공지의 모션 인식 수단의 일례로서, 마이크로소프트사제의 Kinect 센서나, 인텔사제의 RealSense 센서 등을 사용해도 좋다. 이들 공지의 센싱 기술에 의하면, 전신이나 손가락의 스켈톤 동작 데이터나 접촉 데이터 등의 모션 데이터를 얻을 수 있다. 한편, 공지의 모션 센서에서는, 센서 내장의 제어 수단을 사용하여 인물의 움직임이 해석되거나, 혹은, 접속된 컴퓨터의 제어 수단에 의해 인물의 움직임이나 속성이 해석되지만, 본 실시예는 어느 것이어도 좋고, 예를 들면, 이들 해석 기능을, 외부 입력 장치(120)의 제어 수단(프로세서 등)에 의해 실현해도 좋고, 해석전 Raw 데이터를 수신한 촉각 정보 변환 장치(100)의 제어 수단에 의해 실현해도 좋고, 혹은 양자의 제어 수단에 의해 분산하여 해석 기능을 실현해도 좋다. 이외에, 비특허문헌 2 등에 기재된 공지의 필름 압력 센서 등을 사용해도 좋다.
상술한 바와 같이 외부 입력 장치(120)는, 카메라 등으로 촬상한 화상으로부터 물체를 인식하고, 인식한 물체에 상응한 촉감을 제시 목적으로 하기 위해 사용해도 좋고, 외부 입력 장치(120)는, 이용자의 신체의 자세나 움직임에 상응하여, 적당한 타이밍으로 촉각 자극을 제시하기 위해 사용해도 좋다. 이외에, 외부 입력 장치(120)는, 힘이나 진동이나 온도나, 그들의 시간적 변화나 공간적 분포와 같은 시공간적 변화량 등의 물리량, 촉각 혹은 촉감 자체를 검출하고, 검출한 물리량, 촉감 혹은, 검출한 촉각 정보로부터 학습 결과에 기초하여 인식된 촉감을 제시하기 위해 사용해도 좋고, 검출한 촉각이나 촉각에 기초하여 실제의 촉감이 제시되도록 감각량과의 오차를 보완하기 위한 기초 데이터로서 사용해도 좋다. 여기서, 도 6은, 촉원색 원리에 기초한 일체형 촉각 계측 모듈의 구조를 나타내는 사시도이다. 또한, 도 7은, 촉원색 원리에 기초한 일체형 촉각 전송 모듈의 구조를 나타내는 사시도이다.
촉원색 원리에서는, 촉각을, 압각/절단력(메르켈 세포·루피니 종말에 의해 지각)/저주파 진동각(마이스너 소체에 의해 지각)/고주파 진동각(파치니 소체에 의해 지각)/냉각/온각/통각(각각 자유 신경 종말에 의해 지각)의 각 요소간의 시공간적 관계성으로부터의 합성으로서 취하고, 촉각의 분해와 합성을 실현한다. 도 6 및 도 7에 나타내는 바와 같이, 본원 발명자들은, 이 촉원색 원리에 기초하여, 힘·진동각·냉온각의 각 요소를 일체적으로 취득하고 제시할 수 있는 모듈을 개발했다. 모두 길이 24mm, 폭 12mm, 높이 6mm이고, 지복부에 접촉시키는데 적합한 사이즈다.
도 6에 외부 입력 장치(120)의 일례로서 나타내는 일체형 촉각 계측 모듈에서는, 표층에 32점 분포형 압각 계측 센서(120a)를 배치하고, 그 하위의 중간층에는 체온 제시 기능을 구비하는 온냉감 계측 센서(120b)를 배치하고, 더 하층에 넓은 주파수 대역의 진동감 계측 센서(120c)를 배치하고 있다.
또한, 도 7에 외부 출력 장치(140)의 일례로서 나타내는 일체형 촉각 제시 모듈에서는, 표층에 32점 전기 촉각 자극에 의한 분포형 압력 제시부(140a)를 배치하고, 그 하위의 중간층에는 펠티에 소자 4장의 매트릭스에 의한 고속 구동형 온냉감 제시부(140b)를 배치하고 있다. 더 하층에 넓은 주파수 대역(HiFi)의 진동 제시부(140c)를 배치하고 있다.
이에 의해, 지금까지 개별의 물리 특성으로서 취급되고, 그 전송에는 다수의 소자를 조합할 것이 요구된 힘·진동·온도를 시공간적으로 통합하고, 높은 현장감을 구비하는 촉각의 전송을 실현할 수 있다. 종래, 소형의 촉각 전송 모듈을 실현함에 있어서는 몇 가지의 기술적 과제가 존재했었다. 먼저, 종래, 압각 및 저주파 진동각의 제시에는, 일반적으로는 모터나 공기압 등의 액츄에이터를 이용하여, 피부에 물리적인 힘을 발생시키지만, 이와 같은 방법으로는 일정 이상의 소형화는 바랄 수 없었다. 여기서, 본 실시예에서는, 경피 전기 자극에 의한 촉각 수용기의 선택적 자극을 이용하여, 압각을 지각하는 메르켈 세포, 및 저주파 진동각을 지각하는 마이스너 소체에 연결되는 신경을, 피부 위에서 전기적으로 자극하는 것에 의해, 물리적인 자극 없이 압각 및 저주파 진동각을 자유롭게 생성할 수 있다. 자극 패턴을 변화시키는 것에 의해, 압각/저주파 진동각 각각을 선택적으로 자극할 수 있는 것이 표시된다. 또한, 자극 전극에 관해서는, 플렉시블 프린트 기판을 사용한 박형·고밀도의 전기 촉각 디스플레이를 사용한다.
사람의 촉지각 특성상, 압각의 제시에 관해서는 가장 미세한 2점 변별역을 갖는 손끝이어도 2mm 피치로 충분한 것이 제시되어 있다. 본 실시예의 일체형 촉각 계측 모듈에서는, 플렉시블 기판을 사용하여, 일체형 촉각 제시 모듈의 전기 촉각 디스플레이에 대응한 다점 계측을 가능하게 하는 박형 압각 센서를 사용하여, 고밀도·다점의 압각을 취득하여 제시하는 박형의 센서 및 디스플레이를 구성한다. 즉, 분포형 압각 계측 센서(120a) 및 분포형 압력 제시부(140a)는, 3mm 이내의 간격으로 4행 8열의 32점의, 정밀도가 높은 압각 제시와 압각 계측이 실현된다. 한편, 이 모듈은, 소형화 일체화하는 것에 의해, 손끝에 한정되지 않고, 인간의 체표의 어느 부분에도 적용 가능하다. 또한, 촉원색의 원리에 기초한 인코딩을 하고 있기 때문에, 범용적인 사용이 가능해진다.
고주파 진동각의 제시에 관해서는, 종래, 많은 진동 액츄에이터가 개발되어 있지만, 그 대부분이 200Hz 전후의 사람이 가장 지각하기 쉬운 주파수대로 공진 주파수를 설정하여 설계되어 있다. 이는, 낮은 소비 전력으로 강한 자극을 제시하기 위해서는 유효하지만, 한편, 자연스러운 촉동작에 있어서 발생하는 다양한 진동 주파수를 포함하는 섬세한 촉감의 제시에는 적합하지 않는 문제가 있었다. 그 때문에, 일체형 촉각 제시 모듈의 진동 제시부(140c)에서는, 진동각 제시에 최적의 진동 액츄에이터를 실현하기 위해, 1Hz~1000Hz의 넓은 진동 주파수대에 있어서, 플랫한 특성에서의 진동각의 제시를 가능하게 하는 소형의 진동 액츄에이터를 사용한다. 촉각의 생리학적 지견으로서, 고주파 진동을 주로 지각하는 파치니 소체는, 1~2cm2 정도의 큰 수용야를 갖는 것이 알려져 있고, 이로부터, 진동 액츄에이터의 사이즈를 2cm2로 설계했다. 한편, 진동감 측정부(120c)에 의한 진동각의 취득에 관해서는, 진동 마이크를 사용하여 넓은 주파수대의 진동을 취득하는 기술이 확립되어 있어 이를 적용했다.
냉온각의 제시에 대해, 촉원색 원리에 있어서, 절대적인 온도를 재현하는 것이 아니고, 사람의 피부와 접촉 대상 사이의 열이동을 재현하는 것이 필요한 것이 알려져 있다. 그 때문에, 온냉감 계측 센서(120b) 및 온냉감 제시부(140b)는, 냉온각의 취득과 제시에 있어서의 양방향성, 즉 냉온각을 취득하는 센서가, 사람과 동등한 체온을 재현하는 디스플레이로서의 기능을 구비한다. 또한, 종래의 냉온각 전송에 있어서는 시간 응답성이 낮은 것이 과제였지만, 사람의 냉온각 지각 특성을 활용하여, 복수의 온도 제시 소자를 매트릭스 형태로 배치하여 제어하는 것에 의해 1Hz 정도의 온도 변화를 가능하게 하는 고속 냉온각 제시 수법에 의해, 시공간적으로 변화하는 온냉감의 전송을 가능하게 한다.
다시 도 5를 참조하여, 상기한 일체형 촉각 제시 모듈에 한정되지 않고, 외부 출력 장치(140)는, 전기, 힘, 온도, 진동, 시공간 등을 포함하는 물리량을 출력 가능한 출력부이다. 예를 들면, 외부 출력 장치(140)는, 전기 자극자나, 힘 제시 액츄에이터, 펠티에 소자, 진동 소자 등을, 매트릭스 형태로 배치하여 시공간적으로 출력 가능한 출력 디바이스여도 좋다. 진동자는, 음성 코일형 진동자, 피에조 소자, 또는, 바이브레이션 모터여도 좋다. 이외에, 외부 출력 장치(140)는, 공지의 전기 출력 수단, 힘 제시 수단, 온도 제시 수단, 진동 제시 수단, 시공간 배치 수단을 사용하여, 상술한 물리량을 출력해도 좋다. 일례로서, 외부 출력 장치(140)는, 상술한 일체형 촉각 제시 모듈 등과 같이, 2차원 배치된 복수의 가압 수단, 진동 발생 수단, 발열 수단, 타이머, 수신 장치 등을 구비해도 좋다. 예를 들면, 본원 발명자들에 의해 개발된 손끝에 대한 반력이나 온도를 전달할 수 있는 텔레이그지스턴스 시스템인 TELESAR 시스템의 물체검지 감각 제공 기술을 사용해도 좋다(예를 들면 일본국 특허공개공보 2013-91114호 공보 참조).
한편, 촉각 정보 변환 장치(100)가, 외부 입력 장치(120)나 외부 출력 장치(140)와 실시간으로 촉각 등의 입출력을 하지 않는 경우, 상시, 네트워크(300)에 접속될 필요는 없다. 예를 들면, 촉각 정보 변환 장치(100)는, 접속을 확립했을 때에, 외부 입력 장치(120)에 기억된 입력 데이터나, 외부 입력 장치(120)로부터 서버 등의 외부 기기(200) 등에 기억된 입력 데이터를 취득해도 좋다. 마찬가지로, 외부 출력 장치(140)는, 촉감 제시를 하는 경우에, 촉각 정보 변환 장치(100)나, 촉각 정보가 업로드된 외부 기기(200)에 접속하여, 촉각 정보를 취득해도 좋다.
[촉각 정보 변환 장치(100)의 구성]
이어서, 본 실시예의 촉각 정보 변환 장치(100)의 구성에 대해 상세하게 설명한다. 다시 도 5를 참조하여, 도시는, 본 실시예가 적용되는 촉각 정보 변환 장치(100)의 구성의 일례를 나타내는 블록도를 나타내고 있고, 해당 구성 중 본 실시예에 관계되는 부분을 중심으로 개념적으로 나타내고 있다. 한편, 본 실시예에 있어서, 촉각 정보 변환 장치(100)는, 입력부(112)나 출력부(114) 등을 구비한 예에 대해 설명하지만, 이에 한정되지 않고, 입력부(112)나 출력부(114) 등을 구비하지 않고, 외부로부터 요구에 상응하여 촉각 정보를 작성하여 출력 송신하는 서버 등으로서 기능해도 좋다.
도 5에 있어서, 촉각 정보 변환 장치(100)는, 개략적으로, 촉각 정보 변환 장치(100)의 전체를 통괄적으로 제어하는 프로세서(예를 들면 CPU) 등의 제어부(102)), 통신 회선 등에 접속되는 라우터 등의 통신 장치(미도시)에 접속되는 통신 제어 인터페이스부(104), 입력부(112)나 출력부(114)에 접속되는 입출력 제어 인터페이스부(108), 및, 각종의 데이터베이스나 테이블 등을 기억하는 기억부(106)를 구비하여 구성되어 있고, 이들의 각 부는 임의의 통신로를 통해 통신 가능하게 접속되어 있다. 한편, 각 부는, 입력부(112)나 출력부(114)에 의한 입출력의 필요에 상응하여, 일시적으로 임의의 통신로를 통해 통신 가능하게 접속되는 구성으로 되어 있어도 좋다. 예를 들면, USB 메모리 등의 기록 매체로, 일시적으로 각 부가 촉각 정보를 수수할 수 있도록 구성되어도 좋다.
기억부(106)에 기억되는 각종의 데이터베이스나 테이블(예를 들면, 촉각 정의 파일(106a), 물체 촉감 데이터베이스(106b) 등)은, SRAM(Static Random Access Memory) 등을 사용하여 구성되는 소용량 고속 메모리(예를 들면, 캐시 메모리) 등이나, HDD(Hard Disk Drive)나 SSD(Solid State Drive) 등의 고정 디스크 장치 등의 스토리지 수단이고, 각종 처리에 사용하는 각종의 프로그램이나 테이블이나 파일이나 데이터베이스나 웹페이지 등을 기억한다.
이 중, 촉각 정의 파일(106a)은, 제시하는 2 이상의 복수의 촉각 자극의 종류를 정의하는 촉각 정의 수단이다. 한편, 촉각 정의 파일(106a)은, 제1자극점과의 시간적 및/또는 공간적인 한계값을 기억해도 좋다. 예를 들면, 촉각 정의 파일(106a)은, 제1의 종류의 촉각 자극과 제2의 종류의 촉각 자극을 정의해도 좋다. 더욱 구체적으로는, 촉각 정의 파일(106a)은, 제2의 종류의 촉각 자극으로서, 제1의 종류의 촉각 자극보다도, 시간적 또는 공간적으로 생리적 변별이 어려운 종류의 촉각 자극을 정의해도 좋다. 이에 의해, 후술하는 출력 제어부(102c)의 처리에 의해, 제2의 종류의 촉각 자극을 제1자극점에 지각시킬 수 있다. 또한, 촉각 정의 파일(106a)은, 제1의 종류의 촉각 자극으로서, 제2의 종류의 촉각 자극보다도, 시간적 또는 공간적으로, 생리적 변별이 어려운 종류의 촉각 자극을 정의해도 좋다. 이에 의해, 후술하는 출력 제어부(102c)의 처리에 의해, 제1의 종류의 촉각 자극을 제2자극점에 지각시킬 수 있다. 일반적으로, 힘(특히 압력), 전기, 진동, 온도의 순으로 시공간적으로 변별이 어려워지는 것으로 생각된다.
일례로서, 촉각 정의 파일(106a)은, 제1의 종류의 촉각 자극으로서 힘 제시를 정의하고, 진동, 온도, 및, 전기 자극 중 하나 또는 복수를, 제2의 종류의 촉각 자극으로서 정의해도 좋다. 이에 의해, 진동, 온도, 및/또는, 전기 자극을, 힘 제시의 자극점에 정위하여 지각시킬 수 있다. 한편, 촉각 정의 파일(106a)이, 진동, 온도, 및, 전기 자극 중 하나 또는 복수를, 제1의 종류의 촉각 자극으로서 정의하고, 제2의 종류의 촉각 자극으로서 힘 제시를 정의하는 것에 의해도 동일한 효과를 얻을 수 있다.
다른 예로서, 촉각 정의 파일(106a)은, 제1의 종류의 촉각 자극으로서 진동 제시를 정의하고, 제2의 종류의 촉각 자극으로서 온도 자극을 정의해도 좋다. 이에 의해, 온도 자극을, 진동 제시의 자극점에 정위하여 지각시킬 수 있다. 한편, 촉각 정의 파일(106a)이, 제1의 종류의 촉각 자극으로서 온도 자극을 정의하고, 제2의 종류의 촉각 자극으로서 진동 제시를 정의하는 것에 의해도 동일한 효과를 얻을 수 있다.
다른 예로서, 촉각 정의 파일(106a)은, 제1의 종류의 촉각 자극으로서 전기 자극 제시를 정의하고, 진동 및/또는 온도를, 제2의 종류의 촉각 자극으로서 정의해도 좋다. 이에 의해, 진동 및/또는 온도의 자극을, 힘 제시의 자극점에 정위하여 지각시킬 수 있다. 한편, 촉각 정의 파일(106a)이, 진동 및/또는 온도를, 제1의 종류의 촉각 자극으로서 정의하고, 제2의 종류의 촉각 자극으로서 전기 자극 제시를 정의하는 것에 의해도 동일한 효과를 얻을 수 있다.
이어서, 물체 촉감 데이터베이스(106b)는, 물체와 촉감을 대응시켜 기억한 물체 촉감 축적 수단이다. 예를 들면, 물체 촉감 데이터베이스(106b)는, 공지의 물체 인식 수법에 의해 현실 세계속에서 물체가 인식된 경우에, 혹은 확장 현실 공간이나 가상 공간중의 가상의 물체에 대해, 그 물체에 상응하여, 제시해야 할 촉감을 정의하고 있다. 여기서, 물체 촉감 데이터베이스(106b)는, 제시해야 할 촉감으로서, 인체의 복수의 상이한 촉각 수용기에서 얻어지는 정보로부터 뇌내에서 통합적으로 인지되는 심리량 등과 같이, 심리 촉감을 정의해도 좋다. 물체 촉감 데이터베이스(106b)는, 상술한 도 3에서 나타낸 심리 촉감 맵(오노마토페 맵)과 같이, 소재나 물체 등을, 소정의 정량축 상에 위치시킨 맵을 사용하여, 물체 내지 소재에 대응하는 촉감을 정의해도 좋다.
여기서, 일례로서, 물체 촉감 데이터베이스(106b)는, 이하의 표와 같이, 대상물이나 촉감에 상응하여, 전기를 기저로 하여 포함하지 않는 입력용의 촉각 정보로부터, 전기를 기저로 하여 포함하는 출력용의 촉각 정보로 변환하는 변환 테이블을 기억해도 좋다. 이 변환 테이블을 사용하는 것에 의해, 예를 들면, 일반적인 피부 표면에 대한 힘 제시로는, 누르는 방향으로의 압력은 제시 가능해도, 빼는 방향으로의 힘을 제시할 수 없는 문제 등을 해결하고, 전기를 포함하는 자극 제시에 의해 빼는 방향의 힘을 재현하여, 예를 들면 끈적끈적감 등의 오노마토페로 표현되는 다양한 심리 질감의 제시를 할 수 있게 된다.
입력 출력
대상물 힘 온도 진동 오노마토페 전기 힘 온도 진동
두부 △ ◎ × 흐물흐물 ○ △ ◎ ×
전병 ◎ × ◎ 딱딱함 ◎ ◎ × ◎
곤약 ○ ○ ○ 탱탱함 ○ ○ ○ ○
낫토 ◎ △ ○ 끈적끈적 ◎ ○ △ ○
또한, 물체 촉감 데이터베이스(106b)는, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및/또는, 온도에 따른 건-습 축 상의 파라미터에, 오노마토페 등의 심리 촉감 등의 촉감을 대응시켜 기억해도 좋다. 예를 들면, 물체 촉감 데이터베이스(106b)는, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 2축~3축으로 구성되는 맵 상에, 촉감을 대응시킨 물리 공간 맵 등을 기억해도 좋다. 한편, 물체 촉감 데이터베이스(106b)가 정의하는 촉감과 물리량의 관계는, 미리 기억된 것이어도 좋고, 작성부(102b) 등에 의해 새로 작성되거나 갱신되는 것이어도 좋다. 예를 들면, 후술하는 작성부(102b)의 학습 처리에 의해, 촉감이 기지의 샘플에 대해 입력부(112)에 의해 검출된 물리량과 해당 촉감을, 상기 적어도 2축의 맵 상에 대응시켜 갱신되는 맵을 물체 촉감 데이터베이스(106b)는 기억해도 좋다. 한편, 상술한 물체 촉감 데이터베이스(106b)에, 물체와 그 촉감의 대응 관계가 기억되어 있는 경우에는, 샘플의 촉감이 기지로서, 샘플의 촉감의 교사 데이터로서 기계 학습 등에 사용해도 좋다.
여기서, 촉각 정의 파일(106a)이나 물체 촉감 데이터베이스(106b) 등에 기억되는 정보는, 외부 기기(200) 등으로부터 정기적으로 혹은 그때마다 다운로드해도 좋고, 기억부(106)는, 다운로드한 정보를 일시적으로 혹은 비일시적으로 기억해도 좋다.
또한, 도 5에 있어서, 입출력 제어 인터페이스부(108)는, 각종 센서 등의 입력부(112)나, 물리량 등을 출력 가능한 출력부 등의 출력부(114)의 제어를 한다. 각종 센서 등의 입력부(112)로서는, 상술한 외부 입력 장치(120)와 동일한 기능을 구비해도 좋다. 또한, 물리량 등을 출력 가능한 출력부 등의 출력부(114)로서는, 상술한 외부 출력 장치(140)와 동일한 기능을 구비해도 좋다. 이외에, 출력부(114)로서는, 모니터(가정용 텔레비전이나 터치스크린 모니터 등을 포함) 등을 사용할 수 있다. 또한, 입력부(112)로서는, 터치패널, 음성 마이크, 키보드 등을 사용할 수 있다. 일례로서, 입력부(112) 및 출력부(114)는, 액정 패널 등의 출력부(114)와, 터치 위치 입력 장치 등의 입력부(112)를 조합한 터치패널 등의 입출력 수단이어도 좋다. 또한, 입출력 제어 인터페이스부는, USB 메모리 등의 기록 매체와 접속하여 데이터를 수수하는 제어를 해도 좋다. 한편, 이하의 실시예에 있어서는, 입력 수단으로서, 입력부(112)를 사용해도 외부 입력 장치(120)를 사용해도, 어느 것이어도 좋고, 이 경우에, 통합하여 입력 수단(112, 120)이라고 부르는 경우가 있다. 마찬가지로, 출력 수단으로서는, 출력부(114)를 사용해도 외부 출력 장치(140)를 사용해도, 어느 것이어도 좋고, 통합하여 출력 수단(114, 140) 또는 출력부(114, 140)로 부르는 경우가 있다.
또한, 도 5에 있어서, 제어부(102)는, OS(Operating System) 등의 제어 프로그램, 각종의 처리 순서 등을 규정한 프로그램, 및 소요 데이터를 기억하기 위한 내부 메모리를 구비하고, 이들의 프로그램 등에 의해, 다양한 처리를 실행하기 위한 정보 처리를 하는 CPU 등의 프로세서이다. 제어부(102)는, 기능 개념적으로, 제시 촉감 설정부(102a), 작성부(102b), 및, 출력 제어부(102c)를 구비하여 구성되어 있다.
이 중, 제시 촉감 설정부(102a)는, 제시 목적으로 하는 촉감을 설정하는 제시 촉감설정 수단이다. 예를 들면, 제시 촉감 설정부(102a)는, 미리 정해진 촉감을 제시 목적으로 하여 설정해도 좋다. 다른 예로서, 제시 촉감 설정부(102a)는, 외부 입력 장치(120)나 입력부(112)로부터 얻어진 모션 데이터에 기초하여, 신체의 움직임에 대응하는 촉감을, 제시 목적으로 하여 설정해도 좋다. 또한, 제시 촉감 설정부(102a)는, 외부 입력 장치(120)나 입력부(112)로부터 얻어진 실물체의 물체 인식에 의해 인식된 물체 또는 가상의 물체에 관한 정보에 기초하여, 물체 촉감 데이터베이스(106b)로부터 해당 물체에 대응하는 촉감을 취득하는 것에 의해, 제시 목적으로 하는 촉감을 설정해도 좋다. 이외에, 제시 촉감 설정부(102a)는, 외부 입력 장치(120)나 입력부(112) 등을 통해, 이용자에게 제시 목적으로 하는 촉감을 설정시켜도 좋다. 일례로서, 제시 촉감 설정부(102a)는, 상술한 바와 같이 입력 수단(120, 112)의 플렉시블 기판을 사용하여 시간축에 다점 계측을 하고, 이 시간축을 가미한 접촉 면적이나 압력 분포의 변화 등으로부터, 끈적거리는 감각이나 쫀득쫀득감 등의 촉감을 판정해도 좋다. 한편, 판정한 촉감으로부터 제시하는 촉각 정보로의 변환은, 상술한 표 등의 변환 테이블을 사용하여 제어부(102)에 의해 변환되어도 좋다.
여기서, 제시 촉감 설정부(102a)는, 상술한 TELESAR 시스템 등의 로봇의 손가락부의 촉각 센서(힘 센서, 진동 센서, 온도 센서 등의 입력 수단(120, 112))의 정보를 취득하고, 기계 학습 등의 방법에 의해, 복수의 오노마토페 등의 촉감에 관한 카테고리 정보로 분류하고, 카테고리 정보로 표현되는 촉감과, 촉각 디스플레이(힘, 전기, 진동, 온도 등의 자극을 제시하는 출력 수단(140, 114)의 시공간적인 조합을 대응시켜, 물체 촉감 데이터베이스(106b)에 기억해도 좋다. 이에 의해, 이격된 장소에 있는 물체의 촉감을, 촉각 센서의 정보로부터 추측할 수 있고, 추측한 촉감을, 다른 장소에 있는 이용자에게 다감각 형식으로 제시할 수 있게 된다. 일례로서, 제시 촉감 설정부(102a)는, 입력부(112)나 외부 입력 장치(120)에 의해 검출된 물리량에 기초하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축의 맵이나 2축의 변환 테이블 상에 대응시키는 것에 의해, 대응하는 촉감(심리 촉감 등)을 검출해도 좋다. 한편, 제시 촉감 설정부(102a)는, 공지의 수법 등으로 입력 수단(120, 112)이나 출력 수단(140, 114)의 캘리브레이션을 진행해도 좋다. 예를 들면, 제시 촉감 설정부(102a)는, 외부 출력 장치(140)에 대해, 초기 동작 신호를 송신하고, 외부 출력 장치(140)가 초기 동작 신호에 상응하여 출력을 하는 것에 의해, 다양한 캘리브레이션을 실행해도 좋다.
또한, 작성부(102b)는, 제시 목적으로 하는 촉감에 상응하여, 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 촉감을 제시하기 위한 촉각 정보를 작성하는 작성부(102b)이다. 한편, 본 실시예에 있어서, 일례로서, 복수의 물리량을 기저로 하여 합성하기 위해, 작성부(102b)는, 제시 목적으로 하는 촉감에 상응하여, 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 촉감을 제시하기 위한 촉각 정보를 작성해도 좋다. 일례로서, 물리량은, 적어도 전기를 포함하고, 힘, 온도, 진동, 및/또는, 그들 전기나 힘이나 온도나 진동 등의 시공간적 변화를 포함하는 물리량이고, 작성부(102b)는, 이 중 적어도 2 이상의 복수의 물리량을 선택하여 촉각 정보를 작성해도 좋다. 다른 예로서, 작성부(102b)는, 제시 목적으로 하는 촉감에 상응하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상에 대응시키는 것에 의해, 물리량을 선택해도 좋다. 한편, 작성부(102b)는, 힘의 시간 변화에 따른 촉감을 제시하는 경우, 적어도 전기 및 시공간의 물리량을 선택하여 촉각 정보를 작성해도 좋다. 여기서, 작성부(102b)는, 촉각 정의 파일(106a)에 의해 정의된 제1 및 제2의 종류의 촉각 자극을, 복수의 물리량으로서 선택해도 좋다. 작성부(102b)는, 상술한 제시 촉감 설정부(102a)에 의해 설정된 촉감을 제시 목적으로 하여, 복수의 물리량을 선택하여 촉각 정보를 작성해도 좋다. 일례로서, 작성부(102b)는, 물체 촉감 데이터베이스(106b)를 참조하여, 입력 수단(120, 112)으로부터 얻어진 촉각 센서의 정보에 대응하는 촉감을 판단하고, 해당 촉감을 제시하기 위해 전기 자극 등의 복수 물리량에 기초한 촉각 정보를 작성해도 좋다.
여기서, 작성부(102b)에 의한 복수의 물리량 합성을 수반하는 인코딩에 대해 설명한다. 예를 들면, 손에 "부드러운" 촉감을 제시하고자 할 때, 상술한 촉각 제시 모듈 단체로 "부드러움"을 제시 가능한 촉각 신호는 존재하지 않고, 손이 물체를 어느 정도 눌렀는가의 운동 정보(모션 데이터 등)에 상응하여, 촉원색의 각 촉각 요소에 있어서 제시하는 촉각 신호를 시공간적으로 변화시킬 필요가 있다. 또한, 외부 입력 장치(120)나 입력부(112)에 의해, 신체적 경험을 기록하는 장면과, 외부 출력 장치(140)나 출력부(114)에 의해, 그것을 체험하는 장면에 있어서, 이용자의 신체 운동이 완전히 일치한다고는 할 수 없고, 상이한 운동 상태하에서 같은 촉각 제어 신호를 제시해서는, 상이한 촉감으로서 지각되어버린다. 그 때문에, 촉각 정보 변환 장치(100)는, 단순하게 기록한 촉각 정보를 그대로 제시하는 것이 아니고, 신체 운동의 차이에 상응한 적절한 변환을 하는 것이 중요하다.
도 4를 사용하여 상술한 바와 같이, 사람이 감성적으로 느끼는 촉감을 촉각의 심리 공간, 그 촉감을 구성하는 신경 펄스를 생성하는 촉각 수용기 등의 생리학적 요소를 촉각의 생리 공간, 촉각 수용기를 활동시키는 물리적인 자극을 촉각의 물리 공간으로 정의한다. 본 실시예의 촉각 전송 모듈(120, 112)은, 전기 자극에 의한 메르켈 세포와 마이스너 소체의 생리 공간에 있어서의 자극과, 진동과 온도의 물리 공간에 있어서의 자극의 하이브리드 구성으로 취급된다. 그 때문에, 촉각 전송 모듈(120, 112)을 사용하여 임의의 촉감을 제시하기 위해서는, 심리 공간 상의 임의의 "촉감"을, 촉각 제시 모듈(140, 114)의 각 감각 요소로 분해하고, 신체 운동에 상응하여 인터랙티브하게 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 알고리즘, 및 그것을 촉각 정보 변환 장치(100)에서 실행 가능한 소프트웨어 환경의 구축이 필요 불가결하게 된다. 여기서, 촉각 정보 변환 장치(100)의 제어부(102)가, 작성부(102b)나 출력 제어부(102c) 등의 처리에 의해, 실세계로부터 기록한 정보를 편집·가공하여 임의의 촉각 정보를 창조하고, 체험중의 신체 운동에 맞춰 적절한 촉각 제어 신호로 변환하는 알고리즘, 및, 실세계로부터 기록한 촉각 정보를 다른 신체 운동에 대응한 새로운 촉각 정보로 변환하는 알고리즘을 실행하고, 촉원색 인코더로서 기능한다.
다시 도 5를 참조하여, 작성부(102b)에 의한 복수의 물리량 합성의 구체적 알고리즘에 대해 설명한다. 예를 들면, 부드러운 심리 질감을 제시하는 경우, 즉 "쫀득쫀득감"을 제시하는 경우, 작성부(102b)는, 비접촉 상태로부터 접촉 상태로의 변이 과정 또는 신체의 변위 과정에 있어서, 경표면의 경우보다 강한 전기, 힘, 혹은 진동의 자극, 또는, 경표면의 경우보다 넓은 면적의 전기, 힘, 혹은 진동의 자극이 주어지도록 복수의 물리량에 의해 합성해도 좋다. 일례로서, 작성부(102b)는, 경표면에 대해 손가락 등을 접촉시킨 경우에 받는 촉각 자극의 강도보다도, 강한 전기 자극, 힘, 혹은 진동의 자극을 부여해도 좋다. 또한, 작성부(102b)는, 경표면에 대해 손가락 등을 접촉시킨 경우에 받는 촉각 자극의 접촉 면적보다도 넓은 면적의 전기, 힘, 혹은 진동의 자극을 주는 촉각 정보를 작성해도 좋다. 한편, 손가락 등의 비접촉 상태로부터 접촉 상태로의 변이 과정이나, 그 움직임을 나타내는 신체의 변위 과정은, 상술한 외부 입력 장치(120)나 입력부(112)에 의해 수신되는 모션 데이터에 기초하여 판정할 수 있다.
다른 예로서, 끈적거리는 심리 질감을 제시하는 경우, 즉 "끈적끈적감(stick feeling)"을 제시하는 경우, 작성부(102b)는, 접촉 상태로부터 비접촉 상태로의 변이 과정 또는 신체의 변위 과정에 있어서, 경표면의 경우보다 강한 전기, 힘, 혹은 진동의 자극, 또는, 경표면의 경우보다 넓은 면적의 전기, 힘 혹은 진동의 자극이 주어지도록 복수의 물리량에 의해 합성해도 좋다. 일례로서, 작성부(102b)는, 같은 압력으로 경표면으로부터 손가락 등을 접촉 상태로부터 떼는 경우에 받는 촉각 자극의 강도보다도, 강한 전기 자극, 힘, 혹은 진동의 자극을 부여해도 좋다. 또한, 작성부(102b)는, 같은 손가락 등의 움직임으로 경표면으로부터 손가락 등을 떼는 경우에 받는 촉각 자극의 접촉 면적보다도 넓은 면적의 전기 자극, 힘자극, 혹은 진동 자극을 주는 촉각 정보를 작성해도 좋다. 한편, 손가락 등의 접촉 상태로부터 비접촉 상태로의 변이 과정이나, 그 움직임을 나타내는 신체의 변위 과정은, 상술한 외부 입력 장치(120)나 입력부(112)에 의해 수신되는 모션 데이터에 기초하여 판정할 수 있다.
한편, 작성부(102b)는, 촉감으로부터 물리량으로 변환하는 것에 한정되지 않고, 물리량으로부터 촉감으로 변환하는 처리를 해도 좋다. 예를 들면, 상기에서는, 작성부(102b)는, 제시 목적으로 하는 촉감에 상응하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상에 대응시켜, 물리량을 선택하는 것에 대해 기재했지만, 이에 한정되지 않고 반대의 처리를 해도 좋다. 즉, 작성부(102b)는, 입력부(112) 등에 의해 검출된 물리량에 기초하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상에 대응시켜, 대응하는 촉감의 정보를 얻어도 좋다. 즉, 물리량과 촉감 사이의 변환 테이블 등이 기억부(106)에 기억되어 있으면, 작성부(102b)는, 양자의 변환을 어느 한쪽에서부터도 진행할 수 있다.
또한, 출력 제어부(102c)는, 외부 출력 장치(140)나 출력부(114) 등의 출력부측에 촉각 정보를 출력하는 출력 제어 수단이다. 구체적으로는, 출력 제어부(102c)는, 작성부(102b)에 의해 작성된 촉각 정보를 출력 수단(140, 114)측에 출력한다. 예를 들면, 출력 제어부(102c)는, 촉각 정보를 외부 출력 장치(140)에 송신해도 좋고, 입출력 제어 인터페이스부(108)를 통해 출력부(114)에 출력해도 좋다. 여기서, 도 5에 나타내는 바와 같이, 출력 제어부(102c)는, 제1자극부(102d)와 제2자극부(102e)를 더 구비해도 좋다.
제1자극부(102d)는, 제1의 종류의 촉각 자극이 생기는 제1자극점을 판정하는, 또는, 출력부(140, 114)를 통해 제1의 종류의 촉각 자극을 제1자극점에 발생시키는 제1자극 수단이다. 즉, 제1자극부(102d)는, 출력부(140, 114)를 통해 제1의 종류의 촉각 자극을 능동적으로 제1자극점에 발생시켜도 좋고, 이용자가 물체에 대해 상대적으로 움직이는 것에 의해 생긴 제1의 종류의 촉각 자극의 제1자극점을 판정해도 좋다. 여기서, 자극점은, 시간에 있어서의 시점 및/또는 공간에 있어서의 위치점(1차원선 상의 위치, 2차원 평면 상의 위치, 3차원 공간 상의 위치 등)을 의미한다. 한편, 제2자극부(102e)는, 제1자극부(102d)에 의해 판정 또는 발생되는 제1의 종류의 촉각 자극의 제1자극점으로부터, 시간적 및/또는 공간적으로 소정의 한계값 내에서 이격된 제2자극점에 있어서, 출력부(140, 114)를 통해 제2의 종류의 촉각 자극을 발생시키는 제2자극 수단이다. 시간적인 소정의 한계값이나, 공간적인 소정의 한계값은, 제시 목적으로 하는 촉각 자극에 따라 다르고, 미리 기억부(106)(촉각 정의 파일(106a) 등)에 기억되어 있어도 좋다. 한편, 시간적 및/또는 공간적으로 소정의 한계값으로서, 공지의 2점 변별역(공간적 2점 변별역이나 시간적 2점 변별역 등)을 사용해도 좋다.
힘 제시의 자극점에 다른 자극을 정위하여 지각시키는 경우, 일례로서, 제1자극부(102d)는, 제1의 종류의 촉각 자극으로서 힘 제시를, 판정 또는 발생시키고, 제2자극부(102e)는, 진동, 온도, 및, 전기 자극 중 하나 또는 복수를, 제2의 종류의 촉각 자극으로서 제2자극점에 발생시켜도 좋다. 다른 예로서, 제1자극부(102d)는, 진동, 온도, 및, 전기 자극 중 하나 또는 복수를, 제1의 종류의 촉각 자극으로서, 판정 또는 발생시키고, 제2자극부(102e)는, 제2의 종류의 촉각 자극으로서 힘 제시를, 제2자극점에 발생시키는 것에 의해서도, 동일한 효과를 발휘할 수 있다.
또한, 진동 제시의 자극점에 다른 자극을 정위하여 지각시키는 경우, 일례로서, 제1자극부(102d)는, 제1의 종류의 촉각 자극으로서 진동 제시를, 판정 또는 발생시키고, 제2자극부(102e)는, 온도 자극을, 제2의 종류의 촉각 자극으로서 제2자극점에 발생시켜도 좋다. 다른 예로서, 제1자극부(102d)는, 제1의 종류의 촉각 자극으로서 온도 제시를, 판정 또는 발생시키고, 제2자극부(102e)는, 진동 자극을, 제2의 종류의 촉각 자극으로서 제2자극점에 발생시키는 것에 의해서도, 동일한 효과를 발휘할 수 있다.
또한, 전기 자극 제시의 자극점에 다른 자극을 정위하여 지각시키는 경우, 제1자극부(102d)는, 제1의 종류의 촉각 자극으로서 전기 자극 제시를, 판정 또는 발생시키고, 제2자극부(102e)는, 진동 및/또는 온도를, 제2의 종류의 촉각 자극으로서 제2자극점에 발생시켜도 좋다. 다른 예로서, 제1자극부(102d)는, 진동 및/또는 온도를, 제1의 종류의 촉각 자극으로서, 판정 또는 발생시키고, 제2자극부(102e)는, 제2의 종류의 촉각 자극으로서 전기 자극 제시를, 제2자극점에 발생시키는 것에 의해서도, 동일한 효과를 발휘할 수 있다.
여기서, 제1자극점 및 제2자극점의 자극점은, 환상 감각(phantom sensation) 착각에 의한 지각점이어도 좋다. 여기서, 도 8은, 환상 감각 착각에 의한 지각점을 나타내는 도면이다. 실제로 인간이 실세계의 물체를 지복으로 터치한 경우에는, 지복의 피부 표면에 가해지는, 힘, 진동, 온도의 4자극의 작용점은 동일하다. 하지만, 사람에게 제시하는 촉각 제시 장치에 있어서, 각종 소자의 배치의 형편상, 힘, 진동, 온도, 전기의 작용점을 일치시키는 것은, 일반적으로 곤란하다.
한편, 인간의 감각을 조사하면, 작용점이 상이해도 동일한 감각을 일으킬 수 있다. 또한, 작용점과는 다른 곳에 감각을 일으키는 것도 가능하다. 후자의 좋은 예가, 환상 감각이다. 도 8의 흰 원은, 자극 부위를 나타내고, 사선의 원은, 환상 감각에 의한 지각점을 나타내고 있다. 환상 감각은, von Bekesy에 의해 확인된 양이청에 의한 소리의 정위와 동일한 피부 감각의 현상이다. 환상 감각에서는, 어떤 조건하에서, 2부위에 자극을 가하는 것에 의해, 자극상을 2부위간의 자극 부위와는 다른 부위에 줄 수 있다. 더욱이, 도 8(a)에 나타내는 바와 같이 3 이상의 부위에 자극을 가하는 것에 의해, 그 내측에 자극상을 정위시킬 수 있다. 더욱이, 도 8(b)에 나타내는 바와 같이, 복수의 자극 부위의 자극의 강도차에 의해, 그 상의 위치를 제어할 수 있다. 이는, 진동 자극에 대해서도, 또한 전기 자극에 대해서도 일어나는 것이 알려져 있다(TANIE Kazuo, TACHI▲Susumu▼, KOMORIYA Kiyoshi, ABA Minoru "전기 펄스 자극에 있어서의 강도차 환상 감각상의 위치 변별 특성", 계측 자동 제어 학회 논문집, Vol.15, No.4, p.505-512(1979.8), 및, Susumu Tachi, Kazuo Tanie, Kiyoshi Komoriya and Minoru Abe: Electrocutaneous Communication in a Guide Dog Robot(MELDOG), IEEE Transactions on Biomedical Engineering, Vol.BME-32, No.7, pp.461-469(1985) 참조).
이 환상 감각 현상의 존재는, 진동 자극을, 직접 자극 부위가 아닌 부위에 느낄 수 있음을 의미하고 있다. 도 9 및 도 10은, 본원 발명자들이 개발한 상술한 TELESAR V로 부르는 텔레이그지스턴스 로봇의 손가락 장착형 센서/액츄에이터와, 손가락 장착시의 외관을 나타내는 도면이다(장치 구성 등의 상세에 대해 일본국 특허공개공보 2013-91114호 공보 참조). 이 TELESAR V의 핸드로 계측한 압각 정보와 진동 정보를, 장갑에 장착한 도시된 제시 장치로 제시할 때에, 지복에는, 압력과 절단력을 가하고, 손가락의 옆의 양측으로부터 진동을 제시한 결과, 압각을 느끼는 지복에 진동 자극도 느끼는 것을 확인할 수 있었다. 환상 감각에 의해 진동 자극이 중앙에 느껴진 것으로 생각된다. 더욱이, 압각을 준 장소에, 자극을 느끼기 쉬워져 있는 효과도 있는 것으로 보여진다. 한편, 후술하는 검증 실험에 있어서도, (1) 양측을 동시에 자극한 경우와, 한쪽측만의 경우에 있어서의 자극을 느끼는 부위를 비교하고, (2) 압을 가하지 않고, 진동 자극을 주었을 때와, 압을 가하여 진동 자극을 가했을 때의, 진동 자극이 생기는 부위를 비교하여 조사하고 있다.
그 때문에, 힘의 제시 부분을, 전기 자극으로 바꾸어도, 동일하게, 전기 자극 부분에 진동 자극을 환상 감각에 의해 제시 가능하다. 또한, 그 환상 감각상은, 전기 자극에 의해, 더욱 선명하게 정위한다. 그 때문에, 환상 감각에 의해, 예를 들면, 진동 자극을 힘, 및 전기 자극의 부위에 정위시키고, 나아가, 힘 제시나 전기 제시에 의해, 진동 자극의 환상 감각상을 선명하게, 힘이나 전기 자극을 제시한 부위에 정위시킬 수 있다.
또한, 온도 제시에 관해서도, 온도 자극을, 측면에서 가한 경우, 한쪽측만으로는, 지복에는 정위하지 않지만, 진동 자극을 지복에 제시하면, 그 부위에 정위한다. 좌우로부터 가하면 중심에 정위하는 환상 감각이, 이 경우도 있는지를 실험으로 검증했다. 온도의 경우, 소자의 특성과 열의 성질로부터, 제시에 지연이 생긴다. 이 지연을, 보정하기 위해, 센서에 접촉형의 온도 센서에 더하여, 비접촉의 온도 센서를 도입할 수 있다.
여기서, 촉각 정보 변환 장치(100)는, 외부 입력 장치(120)나 외부 출력 장치(140) 이외에, 촉각 정보나 한계값 등을 기억하는 데이터베이스나, 촉각 정보 변환 프로그램 등의 외부 프로그램 등을 제공하는 외부 기기(200)와, 네트워크(300)를 통해 통신 가능하게 접속하여 구성되어도 좋다. 또한, 이 촉각 정보 변환 장치(100)는, 라우터 등의 통신 장치 및 전용선 등의 유선 또는 무선 통신 회선을 통해, 네트워크(300)에 통신 가능하게 접속되어도 좋다.
또한, 도 5에 있어서, 통신 제어 인터페이스부(104)는, 촉각 정보 변환 장치(100)와 네트워크(300)(또는 라우터 등의 통신 장치) 사이에 있어서의 통신 제어를 하는 장치이다. 즉, 통신 제어 인터페이스부(104)는, 다른 단말 또는 국과, 통신 회선(유/무선 무관)을 통해 데이터를 통신하는 기능을 구비한다. 본 실시예에 있어서, 통신 제어 인터페이스부(104)는, 외부 입력 장치(120)나, 외부 출력 장치(140), 외부 기기(200) 등과의 통신 제어를 한다.
여기서, 외부 기기(200)는, 네트워크(300)를 통해, 촉각 정보 변환 장치(100), 외부 입력 장치(120), 및, 외부 출력 장치(140)와 서로 접속되어, 각 단말에 대해 촉감 정의 파일이나 물체 촉감 데이터베이스 등에 기억되는 한계값이나 변환 테이블 등의 이외에 캘리브레이션에 관한 외부 데이터베이스나, 촉각 정보 변환 프로그램이나 인코딩 프로그램 등의 외부 프로그램 등을 실행하는 웹사이트를 제공하는 기능을 구비한다.
여기서, 외부 기기(200)는, 예를 들면, 컴퓨터나, 서버용의 컴퓨터 등의 하드웨어 요소와, 오퍼레이팅 시스템, 애플리케이션 프로그램, 기타의 데이터 등의 소프트웨어 요소로 실현되어도 좋다. 예를 들면, 외부 기기(200)는, WEB 서버나 ASP 서버 등으로서 구성하고 있어도 좋고, 그 하드웨어 구성은, 일반적으로 시판되는 워크스테이션, 컴퓨터 등의 정보 처리 장치치 및 그 부속 장치에 의해 구성하고 있어도 좋다. 또한, 외부 기기(200)의 각 기능은, 외부 기기(200)의 하드웨어 구성 중의 CPU 등의 프로세서, 디스크 장치, 메모리 장치, 입력 장치, 출력 장치, 통신 제어 장치 등 및 그들을 제어하는 프로그램 등에 의해 실현된다.
이상으로, 본 실시예의 촉감 제시 시스템의 각 구성의 설명을 마친다. 한편, 상술한 구성예에서는, 촉각 정보 변환 장치(100)가, 입력부(120, 112)나, 출력부(140, 114), 서버 등의 외부 기기(200)와는 별도의 케이스로서 구성된 예에 대해 설명을 했지만, 본 실시예는 이에 한정되지 않는다. 예를 들면, 촉각 정보 변환 장치(100)는, 입력 장치와 일체로 구성되어도 좋고, 송신 장치와 일체로 구성되어도 좋고, 기억 장치와 일체로 구성되어도 좋고, 서버 장치와 일체로 구성되어도 좋고, 수신 장치와 일체로 구성되어도 좋고, 혹은, 출력 장치와 일체로 구성되어도 좋다.
[촉감 제시 시스템의 처리]
다음으로, 이와 같이 구성된 본 실시예에 있어서의 촉감 제시 시스템의 처리의 일례에 대해, 이하에 도 11~도 13을 참조하여 상세하게 설명한다.
(촉감 제시 처리)
도 11은, 본 실시예의 촉감 제시 시스템에 있어서의 촉각 정보 변환 처리의 일례를 나타내는 플로우 차트이다.
도 11에 나타내는 바와 같이, 먼저, 본 촉감 제시 시스템의 입력부(120, 112)는, 이용자의 신체 운동을 검출하고, 촉각 정보 변환 장치(100)는, 작성부(102b)의 처리에 의해, 모션 데이터 등의 신체 운동 정보를 취득한다(스텝 SA-1). 일례로서, 입력부(120, 112)는, 터치 검출을 해도 좋고, 접촉 면적을 검출해도 좋고, 혹은, 손가락의 변위를 검출해도 좋다. 한편, 외부 출력 장치(120)가 예를 들면 신체 운동 정보를 취득한 경우에는, 촉각 정보 변환 장치(100)에 신체 운동 정보를 송신하고, 촉각 정보 변환 장치(100)가 신체 운동 정보를 수신한다.
그리고, 본 촉감 제시 시스템의 촉각 정보 변환 장치(100)는, 작성부(102b)의 처리에 의해, 제시 목적의 촉감에 상응하여, 전기, 힘, 온도, 진동, 시공간의 물리량 중, 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 촉감을 제시하기 위한 촉각 정보를 작성한다(스텝 SA-2). 예를 들면, 작성부(102b)는, 힘의 시간 변화에 따른 촉감을 제시하는 경우, 적어도 전기 및 시공간의 물리량에 의해 합성해도 좋다. 여기서, 작성부(102b)는, 촉각 정의 파일(106a)에서 제1 및 제2의 종류의 촉각 자극이 정의되어 있는 경우, 제1 및 제2의 종류의 촉각 자극에 기초하여 복수의 물리량으로서 합성해도 좋다.
그리고, 본 촉감 제시 시스템의 촉각 정보 변환 장치(100)는, 외부 출력 장치(140)나 출력부(114) 등의 출력부측에 촉각 정보를 출력한다(스텝 SA-3). 구체적으로는, 출력 제어부(102c)는, 작성부(102b)에 의해 작성된 촉각 정보를 출력부(140, 114)측에 출력한다. 한편, 출력처가 외부 출력 장치(140)인 경우, 촉각 정보 변환 장치(100)는, 출력 제어부(102c)의 제어에 의해, 촉각 정보를 외부 출력 장치(140)에 송신한다. 여기서, 출력 제어부(102c)는, 제1자극부(102d)와 제2자극부(102e)에 의한 처리를 실행해도 좋다(처리에 대해 후술한다).
그리고, 본 촉각 제시 시스템의 출력부(140, 114)는, 촉각 정보에 기초하여 출력부(140, 114)로부터 멀티모달(다감각 형식) 출력을 하여, 이용자의 촉지성에 촉구하는 촉감을 제시한다(스텝 SA-4).
이상이, 본 촉감 제시 시스템의 촉감 제시 처리의 일례이다. 이어서, 본 촉감 제시 시스템의 다점 자극 처리의 일례에 대해 이하에 설명한다.
(다점 자극 처리)
도 12는, 본 실시예의 촉감 제시 시스템의 촉각 정보 변환 장치(100)에 있어서의 다점 자극 처리의 일례를 나타내는 플로우 차트이다.
도 12에 나타내는 바와 같이, 먼저, 촉각 정보 변환 장치(100)의 출력 제어부(102c)는, 촉각 정의 파일(106a)을 참조하여, 정의된 제1의 종류의 촉각 자극과 제2의 종류의 촉각 자극을 설정한다(스텝 SB-1).
그리고, 촉각 정보 변환 장치(100)의 출력 제어부(102c)는, 제1자극부(102d)의 처리에 의해, 제1의 종류의 촉각 자극이 생기는 제1자극점을 판정한다(스텝 SB-2). 더욱 구체적으로는, 출력 제어부(102c)는, 이용자가 물체에 대해 접촉 등을 하는 것에 의해 생긴 제1의 종류의 촉각 자극의 시점이나 위치점 등을 판정해도 좋다. 혹은, 출력 제어부(102c)는, 제1자극부(102d)의 처리에 의해, 출력부(140, 114)를 통해 제1의 종류의 촉각 자극을 제1자극점에 발생시키는 자극 정보를 출력해도 좋다.
그리고, 촉각 정보 변환 장치(100)의 출력 제어부(102c)는, 제2자극부(102e)의 처리에 의해, 제1자극부(102d)에 의해 판정 또는 발생되는 제1의 종류의 촉각 자극의 제1자극점으로부터, 시간적 및/또는 공간적으로 소정의 한계값 내에서 이격된 제2자극점을 설정한다(스텝 SB-3). 여기서, 출력 제어부(102c)는, 제2자극부(102e)의 처리에 의해, 촉각 정의 파일(106a)에 미리 기억된 한계값을 참조하여, 제2자극점을 설정해도 좋다.
그리고, 촉각 정보 변환 장치(100)의 출력 제어부(102c)는, 제2자극부(102e)의 처리에 의해, 스텝 SB-3에서 설정된 제2자극점에 있어서, 출력부(140, 114)를 통해 제2의 종류의 촉각 자극을 발생시키는 촉각 정보를 출력한다(스텝 SB-4).
이상의 처리에 의해, 전기, 힘, 온도, 진동의 모두, 혹은, 그들의 임의의 조합의 제시 소자를, 인간의 피부 상의 다른 부위에 배치하면서, 1군데에 자극을 느끼도록 촉감을 제시할 수 있다. 그 수단의 일례로서, 환상 감각에 의한 제시 방법이나 다른 방법을 사용하는 것에 의해, 물리적으로는 다른 장소에 배치하고 있지만, 감각으로서는 1군데에 느끼도록 제시하는 것이 가능해진다.
예를 들면, 힘 제시를 자극의 작용점에 배치하고, 진동, 온도, 전기 자극의 임의의, 혹은 임의의 조합의 자극자를 물리적으로 떨어진 장소에 배치하고, 환상 감각에 의해, 그 자극의 감각을, 힘의 작용점에 정위시킬 수 있다. 또한, 힘의 제시에 의해, 환상 감각에 의한 정위상을 선명화하는 것에 의해, 힘·전기·진동·온도의 촉원색의 제시 부위를 일치시킬 수 있다.
다른 구체예로서, 힘 제시를 자극의 작용점에 배치하고, 진동, 온도의 임의의, 혹은 양자의 자극자를 물리적으로 떨어진 장소에 배치하고, 환상 감각에 의해, 그 자극의 감각을, 힘의 작용점에 정위시키는 것이나, 힘의 제시에 의해 환상 감각에 의한 정위상을 선명화하는 것에 의해, 힘·진동·온도의 촉원색의 제시 부위를 일치시킬 수 있다.
또한, 본 실시예에 의하면, 전기 자극 제시를 자극의 작용점에 배치하고, 진동, 온도의 임의의, 혹은 양자를 물리적으로 떨어진 장소에 배치하고, 환상 감각에 의해 힘의 작용점에 정위시킬 수 있다. 또한 전기 자극의 제시에 의해 환상 감각에 의한 정위상을 선명화하는 것에 의해, 전기·진동·온도의 촉원색의 제시 부위를 일치시키는 것도 가능해진다.
또한, 본 실시예에 의하면, 진동 제시를 자극의 작용점에 배치하고, 온도를 물리적으로 떨어진 장소에 배치하고, 환상 감각에 의해 진동의 작용점에 정위시킬 수 있다. 또한, 진동의 제시에 의해 환상 감각에 의한 정위상을 선명화하는 것에 의해, 진동과 온도의 촉원색의 제시 부위를 일치시킬 수 있다.
(원격 촉감 전송 처리)
여기서, 도 13은, 본 실시예의 촉감 제시 시스템에 있어서의 원격 촉감 전송 처리의 일례를 나타내는 플로우 차트이다. 한편, 본 촉감 제시 시스템의 일부 기능으로서, 상술한 TELESAR 시스템을 사용해도 좋다(예를 들면 일본국 특허공개공보 2013-91114호 공보 참조).
도 13에 나타내는 바와 같이, 먼저, 본 촉감 제시 시스템에 있어서, 제시 촉감 설정부(102a)는, 상술한 TELESAR 시스템 등의 로봇의 손가락부의 촉각 센서(힘 센서, 진동 센서, 온도 센서 등의 입력 수단(120, 112))의 정보를 취득한다(스텝 SC-1).
그리고, 본 촉감 제시 시스템의 제시 촉감 설정부(102a)는, 촉각 센서로부터의 정보와, 카메라 등으로 인식된 물체의 촉감에 관한 교사 데이터 등에 기초하여, 기계 학습을 한다(스텝 SC-2). 여기서, 촉각 정보 변환 장치(100)의 오퍼레이터가, 키보드 등의 입력부(112)를 통해 물체나 촉감에 관한 교사 데이터를 입력해도 좋다.
그리고, 본 촉감 제시 시스템의 제시 촉감 설정부(102a)는, 기계 학습 등의 결과로서, 촉각 센서의 정보 특징(시공간적인 변동 패턴 등)을, 오노마토페 등의 촉감 카테고리 정보(오노마토페 맵 등)로 분류한다(스텝 SC-3).
그리고, 본 촉감 제시 시스템의 제시 촉감 설정부(102a)는, 분류한 촉감 카테고리 정보와, 본 실시예의 촉감 제시 수법을, 대응시켜 물체 촉감 데이터베이스(106b)에 기억한다(스텝 SC-5). 여기서, 촉각 디스플레이(힘, 전기, 진동, 온도 등의 자극을 제시하는 외부 출력 장치(140))의 시공간적인 조합과 대응시켜, 물체 촉감 데이터베이스(106b)에 기억해도 좋다. 한편, 이상의 스텝 SC-1~SC-4의 처리는, 전 처리로서 미리 실행되고, 그 처리 결과가 미리 기억부(106)에 기억되어도 좋다.
이어서, 본 촉감 제시 시스템에 있어서, TELESAR 시스템 등을 사용하여, 실시간으로, 로봇 교시 장치의 이용자의 손의 운동에 추종하여, 로봇의 손가락부를 움직여, 물체와의 인터랙션에 의해 얻어지는 촉각 센서 정보를 취득하고, 물체 촉감 데이터베이스(106b)를 참조하여, 대응하는 촉감 카테고리로 분류한다(스텝 SC-6). 여기서, TELESAR 시스템의 로봇측의 손가락부와 물체 검출부를, 외부 출력 장치(140)와 외부 입력 장치(120)로 생각할 수 있다. 또한, TELESAR 시스템의 로봇 교시 장치측의 손의 운동의 검출 수단과 촉각 자극 수단을, 입력부(112)와 출력부(114)로 생각할 수 있다.
그리고, 본 촉감 제시 시스템의 작성부(102b) 및 출력 제어부(102c)는, 촉감 카테고리에 상응하여, 복수의 물리량을 선택하여 촉각 정보를 작성하여 출력부(114)에 출력한다(스텝 SC-7).
이에 의해, 이격된 장소에 있는 물체의 촉감을, 촉각 센서의 정보로부터 추측하고, 추측한 촉감을, 이용자에게, 전기 자극 등의 다감각 형식으로 제시할 수 있다(스텝 SC-8).
이상이, 본 실시예의 촉감 제시 시스템의 처리의 설명이다. 여기서, 상술한 바와 같이, 제시 촉감 설정부(102a)는, TELESAR 시스템 등의 로봇의 손가락부의 촉각 센서(힘 센서, 진동 센서, 온도 센서 등의 입력 수단(120, 112))의 정보를 취득하고, 기계 학습 등의 방법에 의해, 복수의 오노마토페 등의 촉감에 관한 카테고리 정보로 분류하고, 카테고리 정보로 표현되는 촉감과, 촉각 디스플레이(힘, 전기, 진동, 온도 등의 자극을 제시하는 출력 수단(140, 114)의 시공간적인 조합을 대응시켜, 물체 촉감 데이터베이스(106b)에 기억해도 좋다. 한편, 카테고리의 중심에 있는, 서로, 가장 떨어진 신호를, 그 카테고리의 대표 신호로서 등록하고, 그것을, 촉감 제시에 사용해도 좋다. 여기서, 도 14는, 기계 학습 등에 의해 취득한 카테고리 정보의 변환 테이블 등에 기초하여, 센서 등의 입력 정보를 촉감 카테고리 정보로 분류하고, 분류한 촉감 카테고리 정보에 기초하여, 복수의 물리량을 합성하여 제시 출력하는 경우의 기능 개념 구성을 나타내는 도면이다.
도 14에 나타내는 바와 같이, 미리, 촉각 정보 변환 장치(100)는, 로봇의 핸드 등에 배치한 촉각 센서(힘 센서(112-1), 진동 센서(112-2), 온도 센서(112-3))의 정보를, 기계 학습 등의 방법에 의해, 변환 테이블 등을 구축하고, 복수의 오노마토페 등의 카테고리 정보로 분류할 수 있도록 해 놓는다. 한편, 도면 중의 촉각 센서 이외에도, 다른 물리량의 센서로부터, 상기한 센서 정보로 변환할 수도 있다. 여기서, 학습은, 예를 들면, 진동 센서 정보를 단시간 푸리에 변환하여, 주파수 정보를 종축, 횡축은 시간으로서, 온도나 힘도 동일하게 변환하여 2차원의 화상으로 하여, 문자 식별 등에서 이용되고 있는 stacked auto-encoder 등을 사용하여 심층 학습시켜도 좋다. 그 때, 오노마토페를 알고 있는 샘플을 교사 신호로서 이용해도 좋다.
그리고, 촉각 정보 변환 장치(100)는, 식별 장치(102b')의 처리에 의해, 촉각 센서(힘 센서(112-1), 진동 센서(112-2), 온도 센서(112-3))로부터의 각종 촉각 신호(힘 정보나 진동 정보나 온도 정보 등)로부터, 학습 결과인 변환 테이블 등을 사용하여, 오노마토페 등의 촉감의 카테고리 정보로 분류한다.
그리고, 촉각 정보 변환 장치(100)는, 식별 장치(102b') 및 조정 장치(102c')의 처리에 의해, 분류한 촉감 카테고리 정보로부터, 촉감과 물리량의 대응 관계 테이블 등을 사용하여, 조정 신호로 가공한다. 예를 들면, 진동이라면 필터로 주파수 특성을 변화시키거나, 마르코프 과정의 주파수를 바꾸거나 하는 것에 의해 실현된다. 촉감과 물리량의 대응 관계 테이블 등을 얻기 위한 학습은, 예를 들면, 심층 학습으로, 조정 장치(102c')로부터 출력되는 신호를 분류하고, 그 정답율이, 조정 장치(102c')를 통하기 전보다도 올라가게 조정 장치(102c')를 학습시켜도 좋다. 더욱 구체적으로는, 식별 장치(102b')는, 제시 목적으로 하는 촉감에 상응하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상에 대응시키는 것에 의해, 최적의 물리량이 선택되도록 학습시켜도 좋다.
이와 같이, 촉각 정보 변환 장치(100)는, 입력된 힘 센서(112-1)나, 진동 센서(112-2), 온도 센서(112-3) 등의 정보를, 오노마토페 등의 카테고리 정보로 표현되는 촉감이 되도록 가공하는 구조를, 기계 학습 등의 방법으로 만들어 놓을 수 있다. 이에 의해, 상기한 학습이 종료되었을 때에, 촉각 정보 변환 장치(100)는, 실시간으로, 로봇의 핸드 등을, 사용자의 손 등의 운동에 추종하여 움직이고, 그 때 물체와의 인터랙션에 의해 얻어지는 촉각 센서 정보로부터, 실시간으로, 각종 센서로부터의 신호를 각각 식별 장치(102a')~조정 장치(102c')를 통해 대응하는 촉각 디스플레이(힘 디스플레이(114-1), 전기 디스플레이(114-2), 진동 디스플레이(114-3), 온도 디스플레이(114-4))로 제시할 수 있다. 한편, 동시에, 식별 장치(102a)에도, 같은 신호를 입력할 수 있고, 예를 들면, 척력 등의 힘 디스플레이(114-1)에서는 제시하기 어려운 촉각을, 전기 디스플레이(114-2)를 사용하여 제시하도록 조정 신호로 가공할 수 있다. 이외에, 인코딩에 의해, 힘 정보와 진동 정보의 양쪽을, 혹은, 진동만을, 전기로 변환해도 좋다.
한편, 본 실시예에 있어서, 식별 장치(102a', b')가 촉감을 식별할 때까지는, 조정 장치(102c')는, 아무것도 출력하지 않고, 촉각 센서(112-1~4)로부터의 정보를 그대로 출력한다. 그리고, 식별 장치(102a', b')에 의해 촉감이 식별되면, 그 식별 결과의 촉감의 분류에 따라, 조정 장치(102c')가 신호를 가공하고, 이용자는, 실제에 의거한 더욱 이해하기 쉬운 촉감을 얻을 수 있다. 즉, 촉각 정보를 촉감 정보로 변환하는 것에 의해, 실시간으로 오노마토페 등의 카테고리 정보로 표시되는 촉감을 얻을 수 있다.
[실시예 1]
여기서, 본 실시예의 촉감 제시 시스템의 효과를 실증한 실시예 1에 대해 이하에 설명한다. 실시예 1에서는, 끈적끈적감 등 본래, 흡착력을 필요로 하는 촉감의 제시를, 전자 자극으로 대체하여 제시할 수 있는 것을 실험에 의해 확인했다.
종래, 수많은 촉감 제시 장치가 개발되어 있지만, "끈적끈적" 등의 오노마토페로 대표되는 점착감의 제시에 관해서는 실용적인 수법은 제안되지 않았었다. 지금까지, 실제의 점착물에 접촉했을 때의 피부의 관찰로부터, 누름 동작시에는 힘과 접촉 면적의 관계는, 점착성의 유무와 관계가 없지만, 뗄 때에 큰 차이가 보인다는 보고가 있었다(Masaaki Yamaoka, Akio Yamamoto, Toshiro Higuchi "Basic Analysis of Stickiness sensation for Tactile Displays" EuroHaptics2008(일본어: YAMAOKA　VRSJ2007, VRSJ2008)URL: http://link.springer.com/chapter/10.1007/978-3-540-69057-3_56)
또한, 공기 흡인 구멍으로부터의 흡인으로 점착감을 제시하는 디바이스 "VacuumTouch"가 개발되어 있다(http://dl.acm.org/citation.cfm·id=2557252). 하지만, 모두 에어를 사용하여 물리적으로 흡인, 흡착력을 생성하는 것이고, 특정의 촉감을 제시하기 위해 특화한 애드혹 기술이고, 실용성이 결여된다.
여기서, 본 실시예의 실시예 1에서는, 전기 촉각 또는 기계 제시와의 조합에 의해, 점착감 등의 촉감을 제시하는 것을 목적으로 한다. 여기서, 도 15는, 경표면, 연표면, 점표면을 터치한 경우의 접촉면이나 압력의 변화를 모식적으로 나타낸 도면이다. 도면은, 손끝측에서 몸축 방향으로 손가락을 본 경우를 나타내고 있고, 양방향 화살표는, 접촉면의 폭을 나타내고 있다.
도 15에 나타내는 바와 같이, 연표면을 누를 때에는, 경표면의 경우보다 넓은 면적으로 접촉하게 된다. 그 때문에, 누를 때에, 경표면보다도 강한 자극 또는, 경표면보다도 큰 면적의 자극을 주는 것에 의해, 부드러운 촉감을 제시할 수 있다고 본원 발명자들은 생각했다. 한편, 일반적으로, 연표면의 경우에는, 누를 때에 자극이 저감한다고 생각하는 경향이 있지만, 손가락의 동일 변위에 대해서는 맞지만, 동일 힘에 대해서는 그렇게 되지 않는다.
또한, 도 15에 나타내는 바와 같이, 점표면으로부터 뗄 때에는, 경표면의 경우보다 넓은 면적으로 접촉한다. 그 때문에, 뗄 때에, 경표면보다도 강한 자극 또는, 경표면보다도 큰 면적의 자극을 주는 것에 의해 끈적감을 제시할 수 있다고 본원 발명자들은 생각했다. 도 15는 변형이 미소한 경우이지만, 여기서, 더 큰 변형의 경우를 생각한다. 도 16은, 경표면, 연표면, 점표면을 터치했을 때에 큰 변형이 생긴 경우의 접촉면이나 압력의 변화를 모식적으로 나타낸 도면이다.
도 16에 나타내는 바와 같이, 연표면에서는, 큰 변형하면 많은 경우, 소성 변형하여, 완전히는 원래로 돌아가지 않는다. 그 때문에, 본원 발명자들은, 한번 누르고 뗐을 때에, 히스테리시스를 마련하는 것에 의해 부드러움을 느낀다라는 가설을 세웠다. 또한, 점표면에서는, 뗄 때에, 경표면의 경우보다 넓은 면적으로 접촉이 생긴다. 그 때문에, 본원 발명자들은, 한번 누르고 뗐을 때에, 히스테리시스를 마련하는 것에 의해 끈적거림을 느낀다라는 가설을 세웠다.
즉, 본 실시예의 실험 1에서는, 손끝의 "힘"에 대해 자극을 변화시키는 것에 의해 끈적거림을 제시할 수 있는지 실험을 했다. 예를 들면, 유표면에서는, 누를 때에, 경표면의 경우보다 넓은 면적으로 접촉하기 때문에, 누를 때에 더욱 강한 자극을 주는 것에 의해 유연감을 느낀다라는 가설을 세워 실험을 했다. 한편, 점표면에서는, 뗄 때에, 경표면의 경우보다 넓은 면적으로 접촉하기 때문에, 뗄 때에, 더 강한 자극을 주는 것에 의해 끈적감을 제시할 수 있는지 실험을 했다.
또한, 본 실시예의 실험 2에서는, 손끝의 "변위"에 대해 자극을 변화시키는 것에 의해 끈적거림을 제시할 수 있는지 실험을 했다. 여기서, 도 17은, 손가락의 변위량에 대한 경표면, 연표면, 점표면의 접촉 면적의 변화를 나타내는 도면이다. 예를 들면, 연표면에서는, 큰 변형하는 연평면은, 많은 경우, 소성 변형하여, 접촉 면적이 감소하지만, 한번 누르고 뗐을 때에, 히스테리시스를 마련하는 것에 의해 부드러움을 느끼는지 실험을 했다. 또한, 점표면에서는, 뗄 때에, 경표면의 경우보다 넓은 면적으로 접촉하지만, 한번 누르고 뗐을 때에, 히스테리시스를 마련하는 것에 의해 끈적거림을 느끼는지 실험을 했다. 여기서, 도 18은, 본 실시예 1의 실험 1에서 사용한 실험 장치의 구성을 손끝측에서 모식적으로 나타낸 도면이다. 또한, 도 19는, 본 실시예 1의 실험 1에서 사용한 실험 장치를 손가락에 장착하기 전의 상태와 장착후의 상태를 나타낸 사진이다.
도 18 및 도 19에 나타내는 바와 같이, 본 실시예 1의 실험 1에서는, 입력부(112)로서, 필름 형태의 힘 센서를 사용했다. 또한, 출력부(114)로서는, 4×5 매트릭스, 2mm 간격으로 전기 자극자를 배치한, 1.4mm 지름의 전기 촉각 디스플레이를 사용했다. 또한, 도시한 바와 같이, 전기 자극을 위한 전극과 피부의 접촉을 유지하기 위해 손가락 고정구를 사용했다. 본 실험에서는, 특기하지 않는 한 모두 전기 자극의 극성은, 음극 자극을 사용했다. 또한, 전극을 1개씩, 20전극 모두를 펄스 주기 60pps(pulses per sec)로 자극했다. 여기서, 도 20은, 본 실시예 1의 실험 1에서, 부드러운감을 제시하기 위해 사용한 실험 조건(Press 조건)을 나타내는 도면이다. 또한, 도 21은, 본 실시예 1의 실험 1에서, 끈적감을 제시하기 위해 사용한 실험 조건(Release 조건)을 나타내는 도면이다.
원하는 촉감 제시를 할 수 있는지를 확인하기 위해, 7단계의 주관 평가 실험을 했다. 목표 가압압은, 1Hz에서 0g~500g 사이를 정현파 형태로 변화시킨다. 화면에 목표 가압압과 현재의 가압압이 표시되어 있고, 피험자에게는, 이에 맞춰 손가락을 판자에 누르는 힘을 변화시키도록 하여, 전기 자극의 자극을 명료하게 느끼도록 조정했다. 그리고, 이때 느낀 부드러운감을, "전혀 느끼지 않는다"~ "명료하게 느낀다"까지의 주관 7단계로 답하도록 했다. 마찬가지로, 끈적감에 대해서도, 주관 7단계로 답하도록 했다. 피험자는 6명으로 했다. 도 22는, 본 실시예 1의 실험 1에 의한 주관 평가 실험 결과를 나타내는 도면이다. 종축은, 7단계의 주관 평가의 수치를 나타내고 있다. 또한, 횡축은, 왼쪽부터 차례로, Press 조건에서의 부드러운감의 주관 평가 결과, Press 조건에서 끈적감의 주관 평가 결과, Release 조건에서의 부드러운감의 주관 평가 결과, 및, Release 조건에서의 끈적감의 주관 평가 결과를 나타낸다.
도 22에 나타내는 바와 같이, Press 조건에서는, 기대한 대로 부드러운감을 명료하게 제시할 수 있고, 끈적감은 생기지 않았다. 또한, Release 조건에서는, 부드러운감보다도 끈적감을 느끼는 결과가 얻어졌다. 부드러운감은, Press 조건쪽이 Release 조건보다 느끼고, 끈적감은 Release 조건쪽이 Press 조건보다 느끼는 결과가 얻어졌다. 따라서, 부드러운감, 끈적감 모두, 가압력에 상응한 전기 자극에 의한 피부 감각제시에 의해 제시 가능한 것이 나타났다. 즉, 실험 1에 있어서, 손끝의 힘에 대해 자극을 변화시키는 것에 의해 끈적거림을 제시할 수 있는지의 가설에 대해, 손끝의 "힘"에 대해 자극을 변화시키는 것에 의해 끈적거림을 제시할 수 있음을 확인할 수 있었다.
이어서, 본 실시예의 실험 2에 있어서, 손끝의 "변위"에 대해 자극을 변화시키는 것에 의해 끈적거림을 제시할 수 있는지 실험을 했다. 도 23은, 본 실시예 1의 실험 2에서 사용한 실험 장치를 손가락에 장착한 상태를 나타내는 사진이다. 도 23에 나타내는 바와 같이, 실험 1의 장치 구성과는 달리, 가속도 센서를 마련하고 있다. 이에 의해, 손가락의 기울기를 계측할 수 있고, 공중에서의 손가락의 움직임으로 자극을 변화시킬 수 있다. 한편, 실험 1의 책상 및 압력 센서는 사용하지 않는다. 여기서, 도 24는, 본 실시예 1의 실험 2의 실험 조건(Press 조건)을 나타내는 도면이다. 또한, 도 25는, 본 실시예 1의 실험예 2의 실험 조건(Release 조건)을 나타내는 도면이다.
도 24에 나타내는 바와 같이, Press 조건에서는, 누름 동작시에, 연직 하향에서의 각도 100도 이하로, 들어 올리는 동작을 하도록 하여, 각도 80도 이상으로, 볼륨으로 조정된 일정 전류값으로 자극을 했다. 한편, 도 25에 나타내는 바와 같이, Release 조건에서는, 누름 동작시는 연직 하향에서의 각도 100도 이하로, 들어 올림 동작시는 각도 80도 이상으로, 볼륨으로 조정된 일정 전류값으로 자극을 했다. 결과로서, Press 조건에서는 누름 동작시의 자극 범위가 들어 올림 동작시보다도 커지고, Release 조건에서는 반대로 들어 올림 동작시의 자극 범위가 누름 동작시보다도 커지기 때문에, 히스테리시스 특성을 모의하고 있다고 할 수 있다.
원하는 촉감 제시를 할 수 있는지를 확인하기 위해, 7단계의 주관 평가 실험을 했다. 손가락의 각도는 1.5초 주기로 60도~120도의 사이를 정현파 형태로 변화시킨다. 화면에 목표 가압압과 현재의 가압압이 표시되어 있고, 피험자에게는, 이에 맞춰 공중에서 손가락을 움직이도록 하여, 전기 자극의 자극을 명료하게 느끼도록 조정했다. 그리고, 이때 느낀 부드러운감을, "전혀 느끼지 않는다"~ "명료하게 느낀다"까지의 주관 7단계로 답하도록 했다. 마찬가지로, 끈적감에 대해서도, 주관 7단계로 답하도록 했다. 한편, 피험자는 6명으로 했다. 도 26은, 본 실시예 1의 실험 2에 의한 주관 평가 실험 결과를 나타내는 도면이다. 종축은, 7단계의 주관 평가의 수치를 나타내고 있다. 또한, 횡축은, 왼쪽부터 차례로, Press 조건에서의 부드러운감의 주관 평가 결과, Press 조건에서 끈적감의 주관 평가 결과, Release 조건에서의 부드러운감의 주관 평가 결과, 및, Release 조건에서의 끈적감의 주관 평가 결과를 나타낸다.
도 26에 나타내는 바와 같이, Press 조건에서는 부드러운감을 명료하게 느끼고, 끈적감은 느끼지 않는다는 결과가 얻어졌다. Release 조건에서는, 부드러운감과 끈적감의 차이가 거의 없었다. 끈적감은 Release 조건쪽이 Press 조건보다 느끼는 결과가 되었다. 결론으로서, 공중에서의 운동에 있어서의 전기 자극으로, 움직임에 대한 자극에 히스테리시스를 마련하는 것에 의해 끈적감을 제시할 수 있음을 확인할 수 있었다.
이상과 같이, 본 실시예 1에서는, 실험 1에 있어서, 손끝을 대상물에 눌러 붙힌 상황에서, 손끝의 힘에 대해 전기 자극을 변화시키는 수법에 의해, 누를 때에 더욱 강한 자극을 주는 것에 의해 부드러운감을 제시할 수 있었다. 또한, 뗄 때에, 더 강한 자극을 주는 것에 의해 끈적감을 제시할 수 있음을 알았다. 또한, 실험 2에 있어서, 손끝을 공중에서 움직이는 상황에 있어서, 손끝의 변위에 대해 전기 자극을 변화시키는 수법에 의해, 누를 때보다도 뗄 때에 더욱 긴 자극을 주는 히스테리시스를 마련하는 것에 의해 끈적감을 제시할 수 있음을 확인할 수 있었다.
기계적 핀 매트릭스 등에 의한 자극보다도 전기 자극이 우수한 메리트로서 이하를 들 수 있다. 끈적거림이 생겼을 때, 본래는 손가락을 위로 들어 올리고 있는데 압각이 생기는 상황을 재현해야 하지만, 기계 자극에서는 재현이 어렵다. 거치형(탁상형)의 촉각 디스플레이의 경우에는, 상하 운동하는 핀 매트릭스 자극에서는, 각 핀에서 피부에 대한 반력의 총량은 손가락의 가압력과 항상 동일해지기 때문에, 자극의 총량을 변화시킬 수 없는 문제가 있다. 전기 자극을 사용하는 것에 의해, 손가락의 가압력과는 독립으로 자극의 총량을 변화시킬 수 있어, 기계 자극의 문제점을 해소시킬 수 있다. 또한, 장착형(wearable)의 촉각 디스플레이의 경우, 상하 운동하는 핀 매트릭스 자극에서는, 각 핀에서 피부에 대한 반력의 총량은 장착하는 골무 내부에서 반력을 발생시키기 때문에, 지복에만 자극을 주고자 하는 경우에도 지배(指背)측에 반작용의 힘을 발생시키는 문제가 있다. 전기 자극을 사용하는 것에 의해 지복에 독립으로 자극을 줄 수 있다.
한편, 기계 자극인가 전기 자극인가의 양자 택일이 아니고, 양자의 특징을 살린 출력 디바이스를 구성해도 좋다. 여기서, 도 27은, 전기 자극 매트릭스와 기계 자극 매트릭스를 조합한 고밀도 제시 디바이스의 구성예를 나타내는 도면이다. 전기 자극은, 장시간의 자극에서는 감각의 안정성이나 감각의 질의 과제가 있다. 그러나, 전기 자극은, 단시간의 펄스 제시이면 극히 자연스러운 감각을 낼 수 있는 이점도 있다. 또한, 전기 자극은, 시간 분해능이 높은 자극(진동 감각 등)을 출력할 수 있는 이점도 있다. 한편, 기계 자극은, 특히 매트릭스 제시와 같이 소형화하는 경우, 시간 응답성이 나쁜 과제가 있다. 그리고, 시간 응답성을 높일 경우, 공진을 가지게 하는 설계가 되기 때문에 일정한 주파수에서밖에 제시할 수 없는 과제가 있다. 그러나, 일정한 압력을 계속 제시하는 것은 용이하고, 압각 제시는 용이한 이점도 있다. 따라서, 도 27에 나타내는 바와 같이, 양자의 득실을 조합하는 것에 의해, 전기 촉각 디스플레이로 촉각의 변동 성분을 제시하고, 기계 자극으로 촉각의 압력 분포 성분을 제시하는 수법을 사용할 수 있다. 본 구성예에서는, 기계 자극 매트릭스, 전기 자극 매트릭스를, 각각 3mm 간격으로 하고, 기계 자극 매트릭스는, KGS사제의 도트 매트릭스 디스플레이를 사용했다. 전극 사이즈는, 지름 2.4mm이다. 여기서, 도 28은, 상술한 오노마토페 맵(도 3)에 있어서의 실시예 1(축 1)의 범위를 나타내는 도면이다.
이상의 실시예에 의해, 도 28의 굵은 테두리의 범위에 나타내는 바와 같이, 수직 방향의 힘에 의한 표현을 할 수 있음이 표시되었다. 이 영역은, 수직 방향의 힘의 계속 시간으로 표현할 수 있는 영역이라고 할 수 있다. 즉, 이 영역은, 손가락의 "누르기, 떼기"동작중에, 상방향일수록 장시간의 수직 방향의 힘을 제시하는 것에 의해 표현할 수 있다. 예를 들면, 오노마토페 맵 상의 "쫀득쫀득", "끈적끈적"의 촉감은, 수직 방향의 힘의 계속 시간에 의해 구별하여 표현할 수 있다. 한편, 상술한 실시예에서는, 수직 방향의 힘에 대해 나타냈지만, 본원 발명자들의 선행 지견(Kajimoto et al. 1999)을 응용하면, 음극성 전기 자극으로 압각을 선택적으로 생기시켜, 이 음극전기 자극(압각 제시)을, 광범위하게 제시하고, 수평으로 이동시키면서 자극을 강화하면, 수평 방향의 힘으로서 느끼도록 할 수도 있다(Sato et al. 2010). 예를 들면, 수평 방향으로 손가락을 슬라이딩시킨 경우의 저항력(Frictional Force)을 표현하는 것도 가능해진다. 도 29는, 수평 방향의 저항력에 의해 표시되는 촉감 표현의 범위를 나타내는 도면이다.
이 조-활 축의 거친측의 오노마토페를 제시하기 위해서는 저항력을 제시할 필요가 있다(예를 들면, 꺼칠꺼칠감과 까칠까칠감의 차이). 한편, 저항력의 대부분은 수평력이지만, 일부의 오노마토페는, 상술한 바와 같이 수직 방향의 힘이 관여한다.
도 29에 나타내는, 조-활 축의 좌하측의 영역은, 주로 저항력과 진동의 조합에 의해 표현할 수 있다. 다만, 우하의 일부 영역(매끌매끌, 반질반질 등)은, 온도가 관여하고 있는 것으로 생각된다. 이 영역은, 도면의 좌상 방향일수록 강한 저항력을 제시하고, 좌하 방향일수록 낮은 중심 주파수의 진동을 제시하는 것에 의해 표현할 수 있는 것으로 생각되었다. 예를 들면, "꺼칠꺼칠", "거칠거칠", "까칠까칠"은, 저항력의 강도와 진동의 성분에 의해 구별하여 표현할 수 있다. 거칠거칠은, 꺼칠꺼칠보다도 낮은 주파수로 표현되고, 까칠까칠은, 꺼칠꺼칠보다도 약한 저항력으로 표현할 수 있는 것으로 생각된다.
여기서, 전기에 의한 수평력 표현과 진동을 조합하여, "꺼칠꺼칠" "거칠거칠" "까칠까칠"의 구별을 표현할 수 있는지 실험을 했다. 도 30은, 실험에 사용한 디바이스를 나타내는 도면이다. 실험 디바이스 등의 상세는, 선행 지견(Kajimoto, et al. 1999, Sato et al. 2010)을 참조하기 바란다.
실험 조건으로서, 전기 자극에 의한 수평력의 제시를, 유/무의 2조건으로 하고, 진동 자극의 제시 방법은, 화이트 노이즈(고), 핑크 노이즈(저), 없음의 3조건으로 했다. 그리고, 피험자 12명에게, 각 조건에 대해, "꺼칠꺼칠감" "거칠거칠감" "까칠까칠감"의 리얼감을 답하도록 했다. 도 31은, "꺼칠꺼칠감" "거칠거칠감" "까칠까칠감"의 재현 실험의 결과를 나타내는 도면이다.
도 31에 나타내는 바와 같이, 꺼칠꺼칠감은 진동 전반에서, 거칠거칠감은 핑크 노이즈에서, 까칠까칠감은 화이트 노이즈에서 생기는 것을 알았다. 또한, 꺼칠꺼칠감, 거칠거칠감은, 전기 자극(수평력 표현)에 의해 리얼함이 증가한 것을 알았다. 까칠까칠감은, 반대로 전기 자극(수평력 표현)이 없는 편이 리얼하게 느껴졌다. 이상의 결과에 의해, 꺼칠꺼칠, 거칠거칠, 까칠까칠은, 진동-힘 평면중에서 구별하여 표현 가능한 것이 증명되었다.
이어서, 저항력과 온도에 의한 표현에 대해 실험을 했다. 도 32는, 저항력과 온도에 의해 재현하는 촉각 표현의 범위를 나타내는 도면이다. 도면 중의 세로의 점선보다도 오른쪽의 영역은, 주로 저항력과 온도의 조합에 의해 표현할 수 있는 것으로 생각했다. 건-습 축은, 온도 저하에 의해 표현 가능하고, 본원 발명자의 선행 연구에서도, 천의 습기를 온도 저하에 의해 표현하고 있다(Sato et al. 2016). 반대로, 습도 자체를 지각하는 수용기는 존재하지 않는다. 한편, 경-유 축은, 주로 진동에 의해 표현 가능하고, 도면 중의 축을 따라, 좌하의 영역은 진동의 중심 주파수가 낮지만(예: 거칠거칠), 우상으로 진행함에 따라 중심 주파수가 높아진다(예: 꺼칠꺼칠, 까칠까칠).
도 32의 굵은 테두리로 나타내는 영역은, 도면의 오른쪽 방향일수록 큰 온도 저하를 제시하고, 좌상 방향(저항력의 축을 따른 방향)일수록 강한 저항력, 또는 장시간의 저항력을 제시하는 것에 의해 표현할 수 있는 것으로 생각된다. 이에 의해, 예를 들면 "미끈미끈", "미끌미끌", "반질반질", "매끌매끌"을 구별하여 표현할 수 있는지 실험을 했다. 영역의 오른쪽으로 이동함에 따라 큰 온도 저하가 필요한 것으로 생각된다(예: 미끈미끈 v.s 미끌미끌). 한편, 영역의 외측의 왼쪽은, 온도 저하는 관여하지 않고 있다. 온도 저하는 재질도 나타내기 때문에 인간에게도 구별은 어렵다(예: 금속에 접촉했을 때의 온도 저하). 이 때문에 이 축의 명칭은 가칭으로 건-습 축이라고 하고 있지만, 재질감의 표현도 포함된다(예: 반질반질 v.s. 사각사각).
일례로서, "반질반질"은, 저항력 없음, 온도 저하 있음, "매끌매끌"은, 저항력 없음, 온도 저하 없음, "미끈미끈"은, 저항력 있음, 온도 저하 없음, "미끌미끌"은, 저항력 있음, 온도 저하 있음의 표현에 의해 재현 가능하다고 생각했다. 도 33은, 실험에 사용한 디바이스와 진동 파형을 나타내는 도면이다.
여기서는, 예비적 검토를 위해 전기 자극이 아니고 실제의 수평 피부 변형 제시에 의한 표현을 진행했다. 손가락의 움직임에 대해, "지연(0, 100, 200ms)"과 "자극의 지속 시간(50, 250, 450ms)"을 바꿔 수평력 제시를 했다. 그리고, 3x3=9 조건에 대해, 피험자 9명에게, "매끌매끌" "반질반질" "미끈미끈" "미끌미끌"의 리얼감을 답하도록 했다. 도 34는, "매끌매끌" "반질반질" "미끈미끈" "미끌미끌"의 재현 실험의 결과를 나타내는 도면이다.
도 34에 나타내는 바와 같이, 미끈미끈감, 미끌미끌감 모두, 자극의 계속 시간이 길어짐에 따라 강하게 생기는 것을 알았다. 매끌매끌감, 반질반질감은, 변화 없이 일정한 낮은 값이었다. 즉, "미끈미끈, 미끌미끌"은, 저항력 제시에 의해, "매끌매끌, 반질반질"로 구별하여 표현할 수 있음을 알았다. 한편, 예비 검토에서는, 반질반질 매끌매끌은 온도 저하에 의해 구별하여 답하는 경향이 보였다. 여기서, 도 35는, 심리 공간을 나타내는 오노마토페 맵과, 힘과 진동과 온도의 3축으로 표시되는 물리 공간의 자극 맵을 나타내는 도면이다.
이상의 실험에서, "수직 방향의 힘의 계속 시간으로 표현할 수 있는 영역"(도면 중의 "실험1"), "저항력과 진동의 조합으로 표현할 수 있는 영역"(도면 중의 "실험2"), "저항력과 온도의 조합으로 표현할 수 있는 영역"(도면 중의 "실험3")의 3개에서, 오노마토페 맵의 전체 영역에 있어서 촉감의 표현이 가능한 것이 나타났다. 이 심리축은, 오노마토페 맵에 나타내는 바와 같이, 주로 조-활 축, 경-유 축, 건-습 축으로 나눌 수 있고, 도면의 우측에 나타내는 바와 같이, 물리 자극으로서, "힘"에 의한 조-활의 표현, "진동"에 의한 경-유의 표현, "온도"에 의한 건-습의 표현을 조합하는 것에 의해, 심리 공간(오노마토페 맵)에서 표현되는 촉감을 물리 공간(물리량의 조합)에서 표현할 수 있음이 나타났다.
즉, 저항력(수평력, 수직력), 진동, 온도에 의해, 오노마토페 맵의 조-활 축, 경-유 축, 건-습 축을 표현할 수 있음이 실험에 의해 검증되었다. 촉감의 심리 공간은, 다종의 소재를 터치했을 때에 표현되는 "오노마토페"의 해석으로부터, 주로 조-활 축, 경-유 축, 건-습 축에 의해 표현할 수 있음을 알았다. 특히, 전기 자극에 의한 수직, 수평 방향의 힘 제시 수단을 사용하면, 기계 자극과 비교하여, 콤팩트함뿐만 아니라, 생기 감각의 공간 분포의 자연스러움의 메리트를 가질 수 있게 되었다.
구체적으로는, 수직력에 의해 끈적끈적이나 쫀득쫀득을 표현할 수 있고, 수평력과 진동의 조합에 의해 거칠거칠, 까칠까칠, 꺼칠꺼칠을 표현할 수 있고, 수평력과 온도의 조합에 의해 매끌매끌, 반질반질, 미끈미끈, 미끌미끌을 제시할 수 있기 때문에, 저항력(수평력, 수직력), 진동, 온도에 의해, 오노마토페 맵의 조-활 축, 경-유 축, 건-습 축을 표현할 수 있음을 알았다.
[실시예 2]
여기서, 본 실시예의 촉감 제시 시스템에 의한 실시예 2에 대해 이하에 설명한다.
온도 제시는, 소자의 특성과 열의 성질로부터 제시에 지연이 생기기 쉽다. 또한, 인간의 생리학적 특성으로부터, 온도 자극의 시간적·공간적인 2점 변별역이 크고, 지각하기 어려운 문제도 있다. 실시예 2에서는, 주로 온도 제시에 대해, 시공간적으로 지각점을 선명화할 수 있는 것을 실험에 의해 확인했다.
즉, 본 실시예 2의 목적으로서, 지복부가 물체와 접촉함과 동시에 손가락 측면부에 온냉 자극을 제시하는 것에 의해, 물체로부터 얻어지는 온냉감을 변화시켜, 온냉감의 확장 현실감을 감득시킬 수 있는지를 확인했다. 피험자는, 18세~21세 여성 9명으로 했다. 한편, 전원 실험의 가설에 대해 예비 지식을 주지 않았다. 또한, 지복부의 피부 온도는, 32도로 조정한 후 실험을 했다. 여기서, 도 36은, 본 실시예 2의 실험 장치(펠티에 소자)의 구성을 나타내는 도면이고, 도 37은, 본 실시예 2의 실험 환경과, 펠티에 소자의 장착예를 나타내는 도면이다.
도 36 및 도 37(b)에 나타내는 바와 같이, 손가락 측면(a, b, c, d의 개소)에 펠티에 소자를 장착시켰다. 또한, 도 37(a)에 나타내는 바와 같이, 피부 온도는, 핫플레이트에 의해 조정했다. 핫플레이트 상에는, 촉대상의 펠티에 소자와, 휴식용의 알루미늄판(Platform)을 배치했다.
본 실시예 2의 실험 방법으로서, 신호와 동시에 촉대상에 접촉하는 것을, 인터벌 30초로 하여 실시했다. 피험자에게는, 촉대상에 접촉했을 때의, 랜덤으로 선택되는 자극을 2초간 느끼도록 하고, 지복부에 느낀 자극 강도를, 표준 자극에 대한 지각 강도를 100로 하여 수치로 답하도록 했다. 각 조건 3시행씩 실시하고, 평균값을 그 피험자의 지각 강도로서 채용했다.
본 실시예 2의 조건으로서, 자극의 종류를 온·냉의 2가지로 했다. 또한, 자극 제시 부위를, 도 38에 나타내는 바와 같이, Both(측면과 복부), Pad(복부만), Side(측면만)의 3가지로 했다. 도 38은, 손끝측에서 손가락을 본 경우의 온도 자극(Thermal stimulus)을 주는 위치를 모식적으로 나타낸 도면이다. 복부와 측면은, 각각 펠티에 소자를 2개씩 사용하여, 자극 강도 2가지(온·강 4℃/s, 온·약 3℃/s, 냉·강 3℃/s, 냉·약 2℃/s)로 했다. 한편, Pad(복부만)에 대한 강한 자극을 표준 자극으로서 사용하여, 표준 자극의 강도는 6시행마다 확인했다.
도 39는, 본 실시예 2의 실험 결과를 나타내는 그래프이다. 도 39(a)는 온 자극, (b)는 냉 자극의 경우를 나타내고 있고, p<0.05(ANOVA 및 Ryan법에 의한 다중 비교)로 하고, Pad(지복부만)와의 유의차만 도시하고 있다.
그 결과, 도 39에 나타내는 바와 같이, Both(측면과 복부)와 Pad(복부만)에서는, 온·냉 모두, Both쪽이 Pad보다 강하게 지각되었다. 또한, Pad(복부만)와 Side(측면만)에서는, 온 자극에서 Pad약과, Side강을 동등한 강도로 지각했다. 또한, 냉 자극에서도 동등한 강도로 지각되었다.
본 실시예 2의 본 실험 1의 고찰로서, 지복부가 물체와 접촉하는 순간에 손가락 측면부에 온냉 자극을 하는 것에 의해, 지복부의 온도가 실제로 변화한 경우와 동등한 지냉감을 지각시키는 것이 가능한 것을 확인할 수 있었다.
이어서, 본 실시예 2의 실험 2로서, 온 냉 자극의 제시 위치 및 압·진동 자극의 유무에 대해 검토를 했다. 본 실험 2의 목적은, 지복부가 미리 물체와 접하고 있은 경우 혹은 물체와 접하지 않고 있은 경우에, 지복부와 측면 각각에 지각하는 온냉감을 평가하는 것, 즉 압 자극의 유무에 의해 온냉감이 어떻게 영향을 받는지를 실험으로 확인했다.
물체에 접하고 있는 경우에는, 측면부에 있어서의 온냉 자극의 제시 위치(한쪽측과 양측)의 영향과, 진동 자극의 유무의 영향을 평가했다. 피험자는, 19세~21세의 여성 12명으로 하고, 전원 실험의 가설에 대해 예비 지식을 주지 않았다. 또한, 미리 지복부의 피부 온도는 32도로 조정했다.
도 40은, 본 실시예 2의 실험 2의 실험 장치를 나타내는 도면이다. 실험 1과 마찬가지로, 손가락 측면에 펠티에 소자를 장착시키고, 피부 온도는 핫플레이트에 의해 조정했다. 도 40에 나타내는 바와 같이, 핫플레이트 상에는, 촉대상의 펠티에 소자(e, b의 개소)와, 휴식용의 알루미늄판을 배치했다. 펠티에 소자의 아래에는 진동자(TECHTILE Toolkit)를 마련했다.
본 실시예 2의 실험 2의 실험 방법으로서, 신호와 동시에 촉대상에 접촉하도록 하거나, 혹은 손가락을 공중에 멈추는 것을, 인터벌 30초로 실시하도록 했다. 그리고, 랜덤으로 선택되는 자극을 2초간 느끼도록 하고, 손가락의 복부와 측면부에 느낀 자극 강도를, 표준 자극에 대한 지각 강도를 100로 하여 수치로 답하도록 했다. 실험은 각 조건 1시행씩 실시했다.
본 실시예 2의 실험 2의 실험 조건으로서, 자극의 종류는, 온·냉의 2가지로 했다. 또한, 자극 제시 조건은, 도 41에 나타내는 바와 같이, None(복부 접촉 없음), Pad(복부만), Side(측면만, 진동 없음), Vib(측면만, 진동 있음)의 4가지로 했다. 도 41은, 손끝측에서 손가락을 본 경우의 온도 자극(Thermal stimulus)을 주는 위치를 모식적으로 나타낸 도면이다. 도 41에 나타내는 바와 같이, 복부와 측면은 각각 펠티에 소자를 2개씩 사용하고 있다. 또한, 자극 강도는, 온·강 4℃/s, 온·약 3℃/s, 냉·강 3℃/s, 냉·약 2℃/s의 2가지로 했다. 진동 자극은, 온 냉 자극의 직전에, 지복부에 대해 200Hz, 0.1초간 주었다. 한편, Pad(지복부)에 대한 강한 자극을 표준 자극으로서 사용하여, 표준 자극의 강도는 8시행마다 확인했다.
도 42는, 온 자극의 경우의 본 실시예 2의 실험 2의 실험 결과를 나타낸 그래프이다. 도 43은, 냉 자극의 경우의 본 실시예 2의 실험 2의 실험 결과를 나타낸 그래프이다. 도 39과 마찬가지로, 강한 자극을 진한 막대 그래프로, 약한 자극을 연한 막대 그래프로 나타내고 있다.
도 42에 나타내는 바와 같이, 온 자극의 경우, 측면부에 대한 자극이 한쪽측·양측 모두, 접촉 없이는 복부에 온감은 지각되지 않았다. 또한, 지복부에만 자극을 한 경우에도, 측부에 약간의 온감을 지각했다. 복부의 지각 강도에 있어서, 측면부에 대한 자극 위치, 진동 자극의 유무, 자극 강도를 요인으로 하는 분산 분석을 한 결과, 자극 강도의 주효과에만 유의차가 있었다(F(1, 95)=10.16, p<.01). 한편, 자극 위치와 진동 자극의 유무의 주효와는 유의차가 없었다(F(1, 95)=0.80, p=0.39.F(1, 95)=1.131, p<0.31).
측부의 지각 강도에 있어서는, 위치와 강도의 교호작용에 유의차가 있고(F(1, 95)=4.85, p<.05), 다중 비교의 결과, 한쪽측 자극의 경우에 강도 사이에 유의차가 있었다(p<.05).
도 43에 나타내는 바와 같이, 냉 자극의 경우, 측면부에 대한 자극이 한쪽측·양측 모두, 접촉 없이도 복부에 약간의 냉감을 지각하는 경우가 있었다. 한편, 지복부에만 자극을 한 경우에는, 측부에는 냉감이 지각되지 않았다. 복부의 지각 강도에 있어서, 측면부에 대한 자극 위치, 진동 자극의 유무, 자극 강도를 요인으로 하는 분산 분석의 결과, 진동 자극의 유무와 자극 강도의 주효과에만 유의차가 있었다(F(1, 95)=5.55, p<.05, F(1, 95)=7.74, p<.05). 한편, 자극 위치의 주효과는 유의차가 없었다(F(1, 95)=0.76, p<0.40). 또한, 측부의 지각 강도에 있어서는, 강도한 주효과에 유의차가 있었다(F(1, 95)=10.45 p<.01).
이상의 실험 2에 의해, 지복부에 대한 온냉감 제시에 있어서 지복부의 촉 자극은 중요하다는 것을 알았다. 또한, 압 자극만인 경우에도, 복부에 온냉감을 제시 가능한 것을 알았다. 또한, 측면부 한쪽측에의 자극의 경우여도, 복부에 온냉감을 제시 가능한 것을 알았다. 즉, 한쪽측과 양측에 차이가 없고, 또한 접촉이 없는 경우에는 복부에 온냉감이 생기지 않은 것부터, 이는, 환상 감각 현상이 아니고, thermal referral에 가까운 현상이 생긴 것으로 생각되었다. 다만, 냉 자극의 경우에는 접촉 없이도 복부에 냉각이 지각되는 경우가 있었기 때문에, thermal referral와도 다른 전혀 새로운 현상일 가능성 있다.
본 실시예 2의 예비 실험(실험3)으로서, 이하에 3항목에 대해 기초적인 확인을 했다.
a. 접촉의 유무+온도 자극
b. 진동 자극의 유무+온도 자극
c. 압 자극+진동 자극+온도 자극
여기서, 피험자는, 19세 여성 2명으로 하고, 손가락의 피부 온도는 32도로 조정했다. 실험 장치는, 상술한 도 36에 나타낸 바와 같이, 손가락 측면에 펠티에 소자를 장착하고, 자극 강도를 약 3.5℃/s, 자극 시간: 2초간으로 했다. 진동 자극은, TECHTILE Toolkit를 사용하여, 주파수 200Hz로 했다.
본 실시예 2의 실험 3(a. 접촉의 유무+온도 자극)의 실험 방법으로서, 알람이 울리면 즉시 대상 물체(플라스틱 수지)에 접촉하도록 하고, 알람 전후의 특정의 시간에 온도 자극을 시작했다(-2초~+2초까지, 0.5초 단위의 9종류). 그리고, 지복부에 느낀 온도 감각을 수치로 답하도록 했다(차다:-3점~+3점:따뜻하다). 각 조건으로 2회씩 시행했다.
도 44는, 본 실험 3(a. 접촉의 유무+온도 자극)에 의해 접촉에 대한 온도 감각의 차이를 나타낸 도면이다. 도 44에 나타내는 바와 같이, ±2초 정도 차이나면, 지복부의 온도 감각은 생기지 않는 것을 알았다. 따뜻한 감각의 경우에는, 온도 자극을 진동 자극보다도 빨리, 찬 감각의 경우에는 온도 자극을 진동 자극과 동시에 제시하는 것이 바람직하다. 심리 물리학적 지견으로부터, 따뜻한 감각 쪽이 늦게 느끼는 것이 알려져 있고, 그것이 영향을 주고 있을 가능성도 생각되었다. 또한, 주관적인 인상으로서, 접촉과 동시에 피부의 온도가 변한 경우에 가장 강하게 느끼고, 따뜻한(또는 찬) 플라스틱 수지에 접촉하고 있는 바와 같은 감각이 되었다.
이어서, 본 실험 3(b. 진동 자극의 유무+온도 자극)에 의해 진동에 대한 온도 감각의 차이에 대해 실험을 했다. 실험 방법은, 플라스틱 수지에 접촉한 상태로 대기시키고, 플라스틱을 진동시켜 자극을 제시했다. 진동 자극 전후의 특정의 시간에 온도 자극을 시작했다(-2초~+2초까지, 0.5초 단위의 9종류). 그리고, 지복부에 느낀 온도 감각을 수치로 답하도록 했다(차다:-3점~+3점:따뜻하다). 각 조건으로 2회씩 시행했다.
도 45는, 본 실험 3(b. 진동 자극의 유무+온도 자극)에 의해 진동에 대한 온도 감각의 차이를 나타낸 도면이다. 실험의 결과, 실험 a에 비해, 시간차에 따른 온도 감각의 변화는 작았다. 진동자와의 접촉압의 영향에 의해, 진동 자극의 유무에 관계 없이, 어느 정도의 온도 감각이 생겨버릴 가능성이 있었다. 온 자극은 빨리, 냉 자극은 동시에 제시한 경우에 강한 감각이 얻어지는 것은, 실험 a와 동일했다.
이어서, 본 실험 3(c. 압 자극+진동 자극+온도 자극)에 의해, 압 자극과 진동 자극의 조합에 의한 온도 지각의 차이에 대해 검토를 했다. 실험 방법으로서, 플라스틱 수지에 약 20gw, 약 100gw, 약 250gw 중의 어느 하나의 힘으로 접촉시켜, 플라스틱을 진동시켜 자극을 제시했다. 또한, 진동 자극 전후의 특정의 시간에, 온도 자극을 시작했다(-2초~+2초까지, 0.5초 단위의 9종류). 그리고, 지복부에 느낀 온도 감각을 수치로 답하도록 했다(차다:-3점~+3점:따뜻하다). 각 조건으로 1회 시행했다.
표 2 압자극+진동자극+온도자극(중압값, 냉자극)
시간차[초] 약 20gw 약 100gw 약 250gw
-2 -0.5 -0.75 -0.75
0 -2.25 -1.75 -1.5
2 -1.25 -0.5 -1.25
표 2는, 냉 자극의 경우이고, 압 자극과 진동 자극의 조합에 의한 온도 지각의 차이를 나타낸 표이다. 또한, 표 3은, 온 자극의 경우이고, 압 자극과 진동 자극의 조합에 의한 온도 지각의 차이를 나타낸 표이다. 접촉압에 의한 영향은 약간이고, 접촉압이 약할수록 온도 감각을 얻기 쉬운 가능성도 있었다. 실험 a나 b와 마찬가지로, 온 자극은 일찍 제시해도 감각은 그다지 약해지지 않는 것으로 생각되었다.
표 3 압자극+진동자극+온도자극(중압값, 온자극)
시간차[초] 약 20gw 약 100gw 약 250gw
-2 1.75 2 1.5
0 2 2.25 2
2 1.5 1.25 1.25
이상의 실시예 2에 의해, 이하의 지견이 얻어졌다. 본 실시예 2에 의해, 촉 자극에 대해 냉 자극의 타이밍을 어긋나게 하는 것에 의해 얻어지는 감각은 약해지는 것을 알았다. 또한, ±2초 정도 어긋나게 한 경우에는, 감각을 얻기 어려워지는 것을 알았다. 촉 자극에 대한 열 자극의 타이밍은, 열 자극을 지각할 때까지 걸리는 시간에 의존할 가능성이 있고, 온 자극의 경우에는, 동시보다도 타이밍을 빠르게 하는 쪽이 얻어지는 감각이 강해지는 것을 알았다. 다만, 진동자와 항상 접촉 상태에 있는 상태에서 진동 자극을 하는 경우에는, 적지 않게 감각은 생겨버린다. 진동이 시작되면 물체와의 접촉이 생겼다는 문맥을 줄 필요성이 생각되었다. 압 자극의 강도는, 얻어지는 감각에 영향을 주지 않았다.
이상, 본 실시예 2를 포함하는 본 실시예에 의하면, 전기, 힘, 온도, 진동의 모두, 혹은, 그들의 임의의 조합의 제시 소자를, 인간의 피부 상의 다른 부위에 배치하면서, 효과로서는, 1군데에 자극을 느끼도록 한 촉각 제시 장치를 구성할 수 있다.
또한, 본 실시예에 의하면, 힘 제시를 자극의 작용점에 배치하고, 진동, 온도, 전기 자극의 임의의, 혹은 임의의 조합의 자극자를 물리적으로 떨어진 장소에 배치하고, 환상 감각 등의 현상에 의해, 그 자극의 감각을, 힘의 작용점에 정위시킬 수 있다. 또한, 힘의 제시에 의해 환상 감각 등에 의한 정위상을 선명화하는 것에 의해, 힘·전기·진동·온도의 촉원색의 제시 부위를 일치시킬 수 있다.
또한, 본 실시예에 의하면, 힘 제시를 자극의 작용점에 배치하고, 진동, 온도의 임의의, 혹은 양자의 자극자를 물리적으로 떨어진 장소에 배치하고, 환상 감각 등에 의해, 그 자극의 감각을, 힘의 작용점에 정위시킬 수 있게 된다. 또한, 힘의 제시에 의해, 환상 감각 등에 의한 정위상을 선명화하는 것에 의해, 힘·진동·온도의 촉원색의 제시 부위를 일치시킬 수 있다.
또한, 본 실시예에 의하면, 전기 자극 제시를 자극의 작용점에 배치하고, 진동, 온도의 임의의, 혹은 양자를 물리적으로 떨어진 장소에 배치하고, 환상 감각 등에 의해 힘의 작용점에 정위시킬 수 있다. 또한, 전기 자극의 제시에 의해 환상 감각 등에 의한 정위상을 선명화하는 것에 의해, 전기·진동·온도의 촉원색의 제시 부위를 일치시킬 수 있다.
또한, 본 실시예에 의하면, 진동 제시를 자극의 작용점에 배치하고, 온도를 물리적으로 떨어진 장소에 배치하고, 환상 감각 등에 의해 진동의 작용점에 정위시킬 수 있다. 또한, 진동의 제시에 의해 환상 감각 등에 의한 정위상을 선명화하는 것에 의해, 진동과 온도의 촉원색의 제시 부위를 일치시킬 수 있다.
이상으로, 본 실시예 1, 2를 포함하는 본 실시예의 설명을 마친다.
[다른 실시예]
지금까지 본 발명의 실시예에 대해 설명했지만, 본 발명은, 상술한 실시예 이외에도, 특허청구범위에 기재한 기술적 사상의 범위 내에서 다양한 다른 실시예로 실시되어도 좋다.
예를 들면, 촉각 정보 변환 장치(100)에 있어서, 입력부(112)나 출력부(114)를 구비하여 구성된 예에 대해 설명했지만, 이에 한정되지 않고, 입력부(112)나 출력부(114)를 구비하지 않고, 독립된 케이스로서 구성해도 좋다. 그 경우, 촉각 정보 변환 장치(100)는, 외부 기기(200) 등의 클라이언트 단말로부터의 요구에 상응하여 처리를 하고, 그 처리 결과를 해당 클라이언트 단말에 회신해도 좋다.
또한, 실시예에 있어서 설명한 각 처리 중, 자동적으로 이루어지는 것으로 설명한 처리의 전부 또는 일부를 수동적으로 할 수도 있고, 혹은, 수동적으로 이루어지는 것으로 설명한 처리의 전부 또는 일부를 공지의 방법으로 자동적으로 할 수도 있다.
이외에, 상기 문헌 중이나 도면 중에서 나타낸 처리 순서, 제어 순서, 구체적 명칭, 각 처리의 등록 데이터나 검색 조건 등의 파라미터를 포함하는 정보, 화면예, 데이터베이스 구성에 대해서는, 특기하는 경우를 제외하고 임의로 변경할 수 있다.
또한, 촉감 제시 시스템에 관하여, 도시한 각 구성 요소는 기능 개념적인 것이고, 반드시 물리적으로 도시한 바와 같이 구성되어 있는 것을 필요로 하지 않는다.
예를 들면, 촉각 정보 변환 장치(100)의 각 장치가 구비하는 처리 기능, 특히 제어부(102)에서 이루어지는 각 처리 기능에 대해서는, 그 전부 또는 임의의 일부를, CPU(Central Processing Unit) 등의 프로세서 및 해당 프로세서에 의해 해석 실행되는 프로그램에 의해 실현해도 좋고, 또한, wired logic에 의한 하드웨어 프로세서로서 실현해도 좋다. 한편, 프로그램은, 후술하는, 컴퓨터에 본 발명에 따른 방법을 실행시키기 위한 프로그램화된 명령을 포함하는, 일시적이지 않은 컴퓨터 판독 가능한 기록 매체에 기록되어 있고, 필요에 따라 촉각 정보 변환 장치(100)나 외부 기기(200)에 기계적으로 판독된다. 즉, ROM 또는 HDD(Hard Disk Drive) 등의 기억부(106) 등에는, OS(Operating System)와 협동하여 CPU에 명령을 주고, 각종 처리를 하기 위한 컴퓨터 프로그램이 기록되어 있다. 이 컴퓨터 프로그램은, RAM에 로드되는 것에 의해 실행되고, CPU와 협동하여 제어부를 구성한다.
또한, 이 컴퓨터 프로그램은, 촉각 정보 변환 장치(100)나 외부 기기(200)나 외부 입력 장치(120)나 외부 출력 장치(140)에 대해 임의의 네트워크(300)를 통해 접속된 애플리케이션 프로그램 서버에 기억되어 있어도 좋고, 필요에 따라 그 전부 또는 일부를 다운로드하는 것도 가능하다.
또한, 본 발명에 관한 프로그램을, 컴퓨터 판독 가능한 기록 매체에 기억해도 좋고, 또한, 프로그램 제품으로서 구성할 수도 있다. 여기서, 이 "기록 매체"란, 메모리 카드, USB 메모리, SD 카드, 플렉시블 디스크, 광자기 디스크, ROM, EPROM, EEPROM, CD-ROM, MO, DVD, 및, Blu-ray(등록 상표) Disc 등의 임의의 "운반 이동 가능한 물리 매체"를 포함하는 것으로 한다.
또한, "프로그램"이란, 임의의 언어나 기술 방법에 의해 기술된 데이터 처리 방법이고, 소스 코드나 이진 코드 등의 형식을 묻지 않는다. 한편, "프로그램"은 반드시 단일적으로 구성되는 것에 한정되지 않고, 복수의 모듈이나 라이브러리로서 분산 구성되는 것이나, OS(Operating System)로 대표되는 별개의 프로그램과 협동하여 그 기능을 달성하는 것도 포함한다. 한편, 실시예에 나타낸 각 장치에 있어서 기록 매체를 판독하기 위한 구체적인 구성, 판독 순서, 혹은, 판독 후의 인스톨 순서 등에 대해서는, 주지의 구성이나 순서를 사용할 수 있다. 프로그램이, 일시적이지 않은 컴퓨터 판독 가능한 기록 매체에 기록된 프로그램 제품으로서 본 발명을 구성해도 좋다.
기억부(106)에 기억되는 각종의 데이터베이스 등(촉각 정의 파일(106a), 물체 촉감 데이터베이스(106b) 등)은, RAM, ROM 등의 메모리 장치, 하드디스크 등의 고정 디스크 장치, 플렉시블 디스크, 및, 광디스크 등의 스토리지 수단이고, 각종 처리나 웹사이트 제공에 사용하는 각종의 프로그램, 테이블, 데이터베이스, 및, 웹페이지용 파일 등을 기억한다.
또한, 촉각 정보 변환 장치(100)나 외부 기기(200)나 외부 입력 장치(120)나 외부 출력 장치(140)는, 기지의 컴퓨터, 워크스테이션 등의 정보 처리 장치로서 구성해도 좋고, 또한, 해당 정보 처리 장치에 임의의 주변 장치를 접속하여 구성해도 좋다. 또한, 촉각 정보 변환 장치(100)나 외부 기기(200)나 외부 입력 장치(120)나 외부 출력 장치(140)는, 해당 정보 처리 장치에 본 발명의 방법을 실현시키는 소프트웨어(프로그램, 데이터 등을 포함)를 구현하는 것에 의해 실현해도 좋다.
또한, 장치의 분산·통합의 구체적 형태는 도시하는 것에 한정되지 않고, 그 전부 또는 일부를, 각종의 부가 등에 상응하여, 또는, 기능 부하에 상응하여, 임의의 단위로 기능적 또는 물리적으로 분산·통합하여 구성할 수 있다. 즉, 상술한 실시예를 임의로 조합하여 실시해도 좋고, 실시예를 선택적으로 실시해도 좋다.
(부기 1)
적어도 전기를 포함하고, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 제어부를 적어도 구비한 촉각 정보 변환 장치이고,
상기 제어부는,
제시 목적으로 하는 촉감에 상응하여, 상기 물리량 중 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 작성부와,
상기 작성부에 의해 작성된 상기 촉각 정보를 상기 출력부측에 출력하는 출력 제어부를 구비한 것을 특징으로 하는, 촉각 정보 변환 장치.
(부기 2)
부기 1에 기재된 촉각 정보 변환 장치에 있어서,
상기 물리량 중의 전기의 출력이란, 촉수용기의 전기 자극 제시인 것을 특징으로 하는, 촉각 정보 변환 장치.
(부기 3)
부기 1 또는 2에 기재된 촉각 정보 변환 장치에 있어서,
상기 촉감은, 심리 질감인 것을 특징으로 하는, 촉각 정보 변환 장치.
(부기 4)
부기 1 내지 3 중 어느 하나에 기재된 촉각 정보 변환 장치에 있어서,
상기 작성부는,
힘의 시간 변화에 따른 촉감을 제시하는 경우, 적어도 전기 및 시공간의 상기 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 것을 특징으로 하는, 촉각 정보 변환 장치.
(부기 5)
부기 1 내지 4 중 어느 하나에 기재된 촉각 정보 변환 장치이고,
상기 작성부는,
비접촉 상태로부터 접촉 상태로의 변이 과정 또는 신체의 변위 과정에 있어서, 경표면의 경우보다 강한 전기, 힘, 혹은 진동의 자극, 또는, 경표면의 경우보다 넓은 면적의 전기, 힘, 혹은 진동의 자극이 주어지도록 상기 촉각 정보를 작성하고,
상기 출력 제어부는,
상기 작성부에 의해 작성된 상기 촉각 정보에 기초하여, 부드러운 심리 질감을 제시하는 것을 특징으로 하는, 촉각 정보 변환 장치.
(부기 6)
부기 1 내지 5 중 어느 하나에 기재된 촉각 정보 변환 장치이고,
상기 작성부는,
접촉 상태로부터 비접촉 상태로의 변이 과정 또는 신체의 변위 과정에 있어서, 경표면의 경우보다 강한 전기, 힘, 혹은 진동의 자극, 또는, 경표면의 경우보다 넓은 면적의 전기, 힘 혹은 진동의 자극이 주어지도록 상기 촉각 정보를 작성하고,
상기 출력 제어부는,
상기 작성부에 의해 작성된 상기 촉각 정보에 기초하여, 끈적거리는 심리 질감을 제시하는 것을 특징으로 하는, 촉각 정보 변환 장치.
<산업상 이용가능성>
이상으로 상세하게 설명한 바와 같이, 본 발명에 의하면, 임의의 촉감을 제시하여 범용적으로 사용할 수 있는, 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램, 및, 기록 매체를 제공할 수 있어, 산업상의 유용성이 있다.
예를 들면, 본 발명을 사용하는 것에 의해, 예를 들면 원격지의 로봇을 자신의 분신으로서 움직여 체감하는 것에 의해 원격 작업·원격 취로 분야, 간병·헬스 분야, 숙련 기술의 전달·학습 분야, 미디어·방송 기술, 버추얼스포츠, 엔터테인먼트 분야, 모바일, 웨어러블 분야 등의 산업 분야에서 사용할 수 있다.
100: 촉각 정보 변환 장치
102: 제어부
102a: 제시 촉감 설정부
102b: 작성부
102c: 출력 제어부
102d: 제1자극부
102e: 제2자극부
104: 통신 제어 인터페이스부
106: 기억부
106a: 촉각 정의 파일
106b: 물체 촉감 데이터베이스
108: 입출력 제어 인터페이스부
112: 입력부
114: 출력부
120: 외부 입력 장치
120a: 분포형 압각 계측 센서
120b: 온냉감 계측 센서
120c: 진동감 계측 센서
140: 외부 출력 장치
140a: 분포형 압력 제시부
140b: 온냉감 제시부
140c: 진동 제시부
200: 외부 기기

Claims (20)

  1. 적어도 전기를 포함하고, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 제어부를 적어도 구비한 촉각 정보 변환 장치이고,
    상기 제어부는,
    제시 목적으로 하는 촉감에 상응하여, 상기 물리량 중 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 작성부; 및
    상기 작성부에 의해 작성된 상기 촉각 정보를 상기 출력부측에 출력하는 출력 제어부를 구비한 것을 특징으로 하는, 촉각 정보 변환 장치.
  2. 제1항에 있어서,
    상기 물리량 중의 전기의 출력은, 촉수용기의 전기 자극 제시인 것을 특징으로 하는, 촉각 정보 변환 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 촉감은, 심리 질감인 것을 특징으로 하는, 촉각 정보 변환 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 신체는, 손가락인 것을 특징으로 하는, 촉각 정보 변환 장치.
  5. 제3항에 있어서,
    상기 심리 질감은,
    인체의 복수의 상이한 촉각 수용기에서 얻어지는 정보로부터 뇌내에서 통합적으로 인지되는 심리량인 것을 특징으로 하는, 촉각 정보 변환 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 기재된 촉각 정보 변환 장치를 구비한 입력 장치.
  7. 제6항에 있어서,
    표층에, 다점 분포형 압각 계측 센서와,
    중간층에, 온냉감 계측 센서와,
    하층에, 진동감 계측 센서를 적어도 구비한 입력 장치.
  8. 제1항 내지 제5항 중 어느 한 항에 기재된 촉각 정보 변환 장치를 구비한 송신 장치.
  9. 제1항 내지 제5항 중 어느 한 항에 기재된 촉각 정보 변환 장치를 구비한 기억 장치.
  10. 제1항 내지 제5항 중 어느 한 항에 기재된 촉각 정보 변환 장치를 구비한 서버 장치.
  11. 제1항 내지 제5항 중 어느 한 항에 기재된 촉각 정보 변환 장치를 구비한 수신 장치.
  12. 제1항 내지 제5항 중 어느 한 항에 기재된 촉각 정보 변환 장치를 구비한 출력 장치.
  13. 제12항에 있어서,
    표층에, 다점 전기 촉각 자극에 의한 분포형 압력 제시부;
    중간층에, 펠티에 소자에 의한 고속 구동형 온냉감 제시부; 및
    하층에, 넓은 주파수 대역의 진동 제시부를 적어도 구비한 출력 장치.
  14. 제1항 내지 제5항 중 어느 한 항에 기재된 촉각 정보 변환 장치를 구비한, 조작자가 조작하는 로봇 교시 장치를 사용하여 로봇에 동작을 교시하는 인터랙션 조작 시스템에 있어서,
    상기 로봇은,
    물체를 파지하기 위한 손가락부;
    상기 물체 또는 상기 물체의 성상을 검출하고, 물체 검출 정보를 생성하는 물체 검출부이고, 상기 손가락부에 배치되는 물체 검출부; 및
    상기 로봇을 구동시키는 로봇 구동 장치를 구비하고,
    상기 로봇 교시 장치는,
    상기 로봇으로부터 전송된 상기 물체 검출 정보에 기초하여 상기 촉각 정보 변환 장치에 의해 변환된 촉각 정보에 상응하여, 대응하는 촉감을 상기 조작자에게 제공하는 물체 검지 감각 제공부를 구비하는 것을 특징으로 하는 인터랙션 조작 시스템.
  15. 적어도 전기를 포함하고, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 제어부를 적어도 구비한 촉각 정보 변환 장치에서 실행되는 촉각 정보 변환 방법이고,
    상기 제어부에서 실행되는,
    제시 목적으로 하는 촉감에 상응하여, 상기 물리량 중 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 작성 스텝; 및
    상기 작성 스텝에서 작성된 상기 촉각 정보를 상기 출력부측에 출력하는 출력 제어 스텝을 포함하는 것을 특징으로 하는, 촉각 정보 변환 방법.
  16. 적어도 전기를 포함하고, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 컴퓨터에 실행시키기 위한 프로그램이고,
    제시 목적으로 하는 촉감에 상응하여, 상기 물리량 중 적어도 2 이상의 복수의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 작성 스텝; 및
    상기 작성 스텝에서 작성된 상기 촉각 정보를 상기 출력부측에 출력하는 출력 제어 스텝을 컴퓨터에 실행시키기 위한 촉각 정보 변환 프로그램.
  17. 전기, 힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 출력 가능한 출력부측에 촉각 정보를 부여하기 위해, 제어부를 적어도 구비한 촉각 정보 변환 장치이고,
    상기 제어부는,
    제시 목적으로 하는 촉감에 상응하여, 상기 물리량 중 적어도 하나의 물리량을 선택하는 한편, 선택된 물리량에 기초하여, 소정의 상기 촉감을 제시하기 위한 촉각 정보를 작성하는 작성부; 및
    상기 작성부에 의해 작성된 상기 촉각 정보를 상기 출력부측에 출력하는 출력 제어부를 구비하고,
    상기 작성부는,
    상기 제시 목적으로 하는 촉감에 상응하여, 힘에 따른 조(粗)-활(滑) 축, 진동에 따른 경(硬)-유(柔) 축, 및, 온도에 따른 건(乾)-습(濕) 축 중 적어도 2축 상에 대응시켜, 상기 물리량을 선택하는 것을 특징으로 하는, 촉각 정보 변환 장치.
  18. 제17항에 있어서,
    상기 작성부는,
    촉감이 기지의 샘플에 대해 상기 검출부에 의해 검출된 상기 물리량과, 해당 촉감을, 상기 적어도 2축의 맵 상에 대응시켜 갱신하는 것에 의해 학습을 하는 것을 특징으로 하는, 촉각 정보 변환 장치.
  19. 촉각 정보를 얻기 위해, 검출부와 제어부를 적어도 구비한 촉각 정보 변환 장치이고,
    상기 검출부는,
    힘, 온도, 진동, 및/또는, 시공간을 포함하는 물리량을 검출 가능하고,
    상기 제어부는,
    상기 검출부에 의해 검출된 상기 물리량에 기초하여, 힘에 따른 조-활 축, 진동에 따른 경-유 축, 및, 온도에 따른 건-습 축 중 적어도 2축 상에 대응시키는 것에 의해, 대응하는 촉감을 제시하기 위한 상기 촉각 정보를 취득하는 것을 특징으로 하는, 촉각 정보 변환 장치.
  20. 제19항에 있어서,
    상기 제어부는,
    촉감이 기지의 샘플에 대해 상기 검출부에 의해 검출된 상기 물리량과, 해당 촉감을 대응시킨 상기 적어도 2축의 맵을 갱신하는 것에 의해 학습을 하는 것을 특징으로 하는, 촉각 정보 변환 장치.
KR1020187026642A 2016-04-07 2017-04-07 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램 KR20180112847A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016077692 2016-04-07
JPJP-P-2016-077692 2016-04-07
PCT/JP2017/014570 WO2017175867A1 (ja) 2016-04-07 2017-04-07 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム

Publications (1)

Publication Number Publication Date
KR20180112847A true KR20180112847A (ko) 2018-10-12

Family

ID=60000417

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187026642A KR20180112847A (ko) 2016-04-07 2017-04-07 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램

Country Status (5)

Country Link
US (2) US10739858B2 (ko)
JP (1) JP6875010B2 (ko)
KR (1) KR20180112847A (ko)
CN (1) CN108885500A (ko)
WO (1) WO2017175867A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101853706B1 (ko) * 2016-11-30 2018-05-02 (주)슈팅스 손가락 마디 간 착용형 반지 타입의 사용자 조작 센싱 장치
WO2018143015A1 (ja) * 2017-02-06 2018-08-09 アルプス電気株式会社 触覚呈示装置
JPWO2018143021A1 (ja) * 2017-02-06 2019-07-04 アルプスアルパイン株式会社 触覚呈示装置
US10627906B2 (en) * 2017-06-02 2020-04-21 International Business Machines Corporation Tactile display using microscale electrostatic accelerators
CN108153020B (zh) * 2018-01-02 2020-08-11 京东方科技集团股份有限公司 触控结构，触控面板及其制备方法、触控显示装置
US10795446B2 (en) * 2018-04-25 2020-10-06 Seventh Sense OÜ Portable electronic haptic vision device
JP2019198939A (ja) * 2018-05-18 2019-11-21 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 触覚センサ
JP7020998B2 (ja) * 2018-05-22 2022-02-16 京セラ株式会社 測定装置及び測定装置の制御方法
JP7000253B2 (ja) * 2018-05-31 2022-01-19 国立大学法人東海国立大学機構 力覚視覚化装置、ロボットおよび力覚視覚化プログラム
KR102094002B1 (ko) * 2018-07-10 2020-04-24 주식회사 콜라비팀 인공 신경망 기반 알고리즘을 이용한 디바이스 모니터링 방법 및 시스템
CN109710059A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 感官信息还原方法、装置及系统
CN109447038A (zh) * 2018-11-27 2019-03-08 南京恩诺网络科技有限公司 触觉信息估算方法及装置、系统
CN109739345A (zh) * 2018-11-27 2019-05-10 南京恩诺网络科技有限公司 触觉还原方法、装置及系统
CN109710058A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 触觉信息录制方法及装置、系统
JP7127513B2 (ja) * 2018-11-30 2022-08-30 トヨタ自動車株式会社 センサシステムおよびロボットハンド
CN109782950B (zh) * 2019-01-04 2022-05-17 Oppo（重庆）智能科技有限公司 触摸电极控制方法、装置、存储介质及电子设备
US11609635B2 (en) * 2019-01-11 2023-03-21 Daikin Industries, Ltd. Environmental condition storage device, environmental condition storage method, operation device, and environment recognition device
JP7415139B2 (ja) 2019-01-11 2024-01-17 ダイキン工業株式会社 環境条件記憶装置、環境条件記憶方法、操作装置、及び環境認識装置
WO2020210014A1 (en) * 2019-04-11 2020-10-15 Massachusetts Institute Of Technology Sensing and control systems
CN113272767A (zh) * 2019-06-12 2021-08-17 Ck高新材料有限公司 立体触觉提供装置
CN110297546B (zh) * 2019-07-08 2022-05-03 合肥工业大学 一种用于采集腕部-手指动作同步信号的装置及其标注方法
JP7337579B2 (ja) * 2019-07-24 2023-09-04 トヨタ紡織株式会社 情報処理装置
CH716787B1 (it) * 2019-11-13 2022-10-14 Wintecare Sa Manipolo attuatore per un dispositivo di stimolazione neuromuscolare e relativo dispositivo di stimolazione neuromuscolare.
EP4162472A1 (en) * 2020-06-06 2023-04-12 Battelle Memorial Institute High-definition electrical stimulation garment for evoking realistic somatosensation
EP4182908A1 (en) * 2020-06-06 2023-05-24 Battelle Memorial Institute High-definition electrical stimulation for enhanced spatial awareness and target alignment in weapon aiming applications
JP7380439B2 (ja) 2020-06-18 2023-11-15 日本電信電話株式会社 触覚提示物、触覚提示装置、触覚提示方法、プログラム
WO2022046340A1 (en) * 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs
US20220374649A1 (en) * 2021-05-20 2022-11-24 Disney Enterprises, Inc. Face swapping with neural network-based geometry refining
WO2023037431A1 (ja) * 2021-09-08 2023-03-16 豊田合成株式会社 触感提示装置
TWI805134B (zh) * 2021-12-17 2023-06-11 長庚大學 感光觸覺系統及其感光方法
WO2023119582A1 (ja) * 2021-12-23 2023-06-29 日本電信電話株式会社 見掛け力制御装置、見掛け力提示システム、見掛け力制御方法、およびプログラム
EP4250060A1 (en) * 2022-03-25 2023-09-27 Nokia Technologies Oy Apparatus, systems, methods and computer programs for transferring sensations
JP2023150609A (ja) * 2022-03-31 2023-10-16 株式会社栗本鐵工所 出力制御装置、出力制御プログラム及び出力制御方法
US11751799B1 (en) * 2023-02-08 2023-09-12 Lanny Leo Johnson Methods and systems for diagnosing cognitive conditions

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016385A (en) * 1997-08-11 2000-01-18 Fanu America Corp Real time remotely controlled robot
US6126373A (en) * 1997-12-19 2000-10-03 Fanuc Usa Corporation Method and apparatus for realtime remote robotics command
JP2002132432A (ja) * 2000-10-30 2002-05-10 Toshiba Corp 多次元触覚入出力装置
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
AT7035U1 (de) * 2002-03-06 2004-07-26 Accelate Business Launch And E Einrichtung zum codieren, übertragen und/oder empfangen von signalen
US20040077975A1 (en) * 2002-10-22 2004-04-22 Zimmerman Jeffrey C. Systems and methods for motion analysis and feedback
WO2005116802A1 (ja) * 2004-05-25 2005-12-08 Sony Computer Entertainment Inc. 入力装置及び方法、文字入力方法
US9900669B2 (en) * 2004-11-02 2018-02-20 Pierre Touma Wireless motion sensor system and method
US20060106369A1 (en) * 2004-11-12 2006-05-18 Desai Jaydev P Haptic interface for force reflection in manipulation tasks
CN101021745A (zh) * 2006-12-14 2007-08-22 东南大学 基于多维刺激的彩色射流触觉图文显示装置及显示方法
JP2011523364A (ja) * 2008-05-09 2011-08-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 感情を伝達する方法及びシステム
US8390438B2 (en) * 2008-09-24 2013-03-05 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system including haptic feedback
JP2010102560A (ja) * 2008-10-24 2010-05-06 National Institute Of Information & Communication Technology 把持感覚提示装置
JP2010287221A (ja) 2009-05-11 2010-12-24 Univ Of Tokyo 力覚提示装置
JP5042292B2 (ja) * 2009-10-14 2012-10-03 中国電力株式会社 状態再現システム
KR101746453B1 (ko) * 2010-04-12 2017-06-13 삼성전자주식회사 실감 효과 처리 시스템 및 방법
JPWO2012073733A1 (ja) * 2010-12-03 2014-05-19 日本電気株式会社 提示装置、コミュニケーションシステム、および感性提示方法
US9471142B2 (en) * 2011-06-15 2016-10-18 The University Of Washington Methods and systems for haptic rendering and creating virtual fixtures from point clouds
US9026250B2 (en) * 2011-08-17 2015-05-05 Harris Corporation Haptic manipulation system for wheelchairs
JP2013091114A (ja) * 2011-10-05 2013-05-16 Kyokko Denki Kk インタラクション操作システム
CN102609094A (zh) * 2012-02-24 2012-07-25 东南大学 电振双模多维触觉刺激器
KR102161723B1 (ko) * 2013-05-07 2020-10-06 삼성디스플레이 주식회사 햅틱 패널 및 이를 포함하는 표시 장치
KR102171873B1 (ko) * 2013-05-08 2020-10-29 삼성전자주식회사 햅틱 글로브 및 수술로봇 시스템
EP3107429B1 (en) * 2014-02-20 2023-11-15 MBL Limited Methods and systems for food preparation in a robotic cooking kitchen
US9330547B2 (en) 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
JP2015219887A (ja) * 2014-05-21 2015-12-07 日本メクトロン株式会社 電気触覚提示装置
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
GB2533572A (en) * 2014-12-22 2016-06-29 Nokia Technologies Oy Haptic output methods and devices
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US20160321880A1 (en) * 2015-04-28 2016-11-03 Immersion Corporation Systems And Methods For Tactile Guidance
US20170144312A1 (en) * 2015-11-25 2017-05-25 Umm Al-Qura University Robotic surgical finger and controller with tactile feedback and robotic hand using the same

Also Published As

Publication number Publication date
JP6875010B2 (ja) 2021-05-19
WO2017175867A1 (ja) 2017-10-12
US20190064927A1 (en) 2019-02-28
CN108885500A (zh) 2018-11-23
JPWO2017175867A1 (ja) 2019-02-21
US20200356176A1 (en) 2020-11-12
US10739858B2 (en) 2020-08-11
US11281296B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
KR20180112847A (ko) 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램
KR102278456B1 (ko) 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램, 및, 소자 배치 구조체
Jones Haptics
Klatzky et al. The skin and its receptors 148 pathways to cortex and major cortical areas
EP2419808B1 (en) A foldable tactile display
Visell Tactile sensory substitution: Models for enaction in HCI
Asamura et al. Necessary spatial resolution for realistic tactile feeling display
KR20180077400A (ko) 햅틱 기반 스마트 마사지 장치 및 그 방법
Kyung et al. A novel interactive mouse system for holistic haptic display in a human-computer interface
Caldwell et al. Multi-modal cutaneous tactile feedback
Eid et al. Soa thresholds for the perception of discrete/continuous tactile stimulation
Honda et al. Development of a novel slip haptic display device based on the localized displacement phenomenon
Sawada Tactile display using the micro-vibration of shape-memory alloy wires and its application to tactile interaction systems
JP7031845B2 (ja) 記録装置、記録方法、プログラム、皮膚刺激装置および皮膚刺激方法
TWI601076B (zh) 生物體刺激裝置與生物體刺激方法
Shao Tactile Sensing, Information, and Feedback Via Wave Propagation
Kahol et al. Neuro-cognitively inspired haptic user interfaces
JP4009968B2 (ja) マッサージ装置
Weissgerber et al. VisPad: a novel device for vibrotactile force feedback
KR102535518B1 (ko) 원격 촉감 제공장치, 원격 촉감 데이터베이스 및 그 생성방법
Lederman et al. TUTORIAL REVIEW haptic perception: a tutorial
Schürmann A high speed sensor system for tactile interaction research
Perception Somatosensory processes
TOUCH et al. ROBERTA L. KLATZKY AND SUSAN J. LEDERMAN
Brady Tactile arrays for virtual textures

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2021101002256; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210831

Effective date: 20211229