KR20230169290A - 감각 제어 방법, 감각 제어 시스템, 변환 모델 생성 방법, 변환 모델 생성 시스템, 관계식 변환 방법, 및 프로그램 - Google Patents

감각 제어 방법, 감각 제어 시스템, 변환 모델 생성 방법, 변환 모델 생성 시스템, 관계식 변환 방법, 및 프로그램 Download PDF

Info

Publication number
KR20230169290A
KR20230169290A KR1020237038834A KR20237038834A KR20230169290A KR 20230169290 A KR20230169290 A KR 20230169290A KR 1020237038834 A KR1020237038834 A KR 1020237038834A KR 20237038834 A KR20237038834 A KR 20237038834A KR 20230169290 A KR20230169290 A KR 20230169290A
Authority
KR
South Korea
Prior art keywords
sensory
emotional
operating
parameters
physical
Prior art date
Application number
KR1020237038834A
Other languages
English (en)
Inventor
유키미츠 야마다
다케시 시라사카
무네미츠 아베
히사토 시모무라
다카시 우에노마치
아키히사 이토
도시오 가와노
나오키 이토
겐이치로 사메시마
히데오 가와세
쇼타 다케우치
Original Assignee
알프스 알파인 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알프스 알파인 가부시키가이샤 filed Critical 알프스 알파인 가부시키가이샤
Publication of KR20230169290A publication Critical patent/KR20230169290A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

감각 제어 방법은, 접수 단계와, 변환 단계와, 출력 단계를 포함한다. 접수 단계에서는, 감성 파라미터를 접수한다. 변환 단계에서는, 접수한 감성 파라미터를, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중 상기 감성 파라미터와 상관하는 물리 파라미터로 변환한다. 출력 단계에서는, 변환된 물리 파라미터에 의거하는 감각 제시 신호를 출력한다.

Description

감각 제어 방법, 감각 제어 시스템, 변환 모델 생성 방법, 변환 모델 생성 시스템, 관계식 변환 방법, 및 프로그램
본 개시는, 감각 제시에 관한 물리 특성을 제어하는 감각 제어 방법, 감각 제어 시스템, 변환 모델 생성 방법, 변환 모델 생성 시스템, 관계식 변환 방법, 및 프로그램에 관한 것이다.
종래, 사람에게 어떠한 자극을 줌으로써, 감각 제시를 행하는 디바이스가 알려져 있다. 여기서, 감각 제시는, 촉각 제시, 소리에 의한 청각 제시, 화상 표시 등에 의한 시각 제시를 포함한다. 촉각 제시는, 예를 들면, 디바이스를 조작하는 사용자의 손가락 등의 신체 부위(터치펜이나 글로브 등의 매개물을 이용하는 경우를 포함함)에 작용하는 조작 반력, 액추에이터 등을 구동하는 것에 의한 진동 제시, 온냉감 제시, 전기 자극 등을 포함한다. 이와 같은 디바이스를 구동하는 신호를 조정함으로써, 감각 제시를 조정하는 것이 행해지고 있다. 예를 들면, 특허 문헌 1에는, 촉각을 디자인하는 시스템의 예가 개시되어 있다. 이 시스템에서는, 오디오 캡쳐 디바이스에서 오디오 신호가 수신되면, 오디오 신호에 의거하여 촉각효과가 결정되고, 촉각 효과가 촉각 출력 디바이스에 의해 출력된다. 구체적으로는, 특허 문헌 1에 기재된 시스템은, 사용자가 원하는 촉각 효과의 특징을 포함하는 말(예를 들면 충격, 폭발 또는 비와 같은 개념의 기재)에 관한 오디오 신호를 오디오 캡쳐 디바이스로부터 수신하면, 그 개념을 모의하는 특징을 가지는 촉각 효과를 결정하고, 출력할 수 있다.
일본공개특허 특개2019-220168호 공보 일본특허 제5662425호 공보 일본공표특허 특표2020-523068호 공보 일본공표특허 특표2013-519961호 공보
특허 문헌 1에 기재된 시스템에서는, 사용자가 원하는 개념을 모의하는 특징을 가지는 촉각 효과를 출력할 수 있다. 그러나, 사람의 감성을 반영한 촉각 제시를 행하는 것에는 여전히 개선의 여지가 있다.
본 개시는, 상기 종래의 과제를 해결하는 것이며, 사람의 감성을 반영한 감각 제시가 가능한 감각 제어 방법, 감각 제어 시스템, 변환 모델 생성 방법, 변환 모델 생성 시스템, 관계식 변환 방법, 및 프로그램을 제공하는 것을 목적으로 하고 있다.
본 개시의 일 실시 형태와 관련된 감각 제어 방법은, 접수 단계와, 변환 단계와, 출력 단계를 포함한다. 접수 단계에서는, 감성 파라미터를 접수한다. 변환 단계에서는, 접수한 감성 파라미터를, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중 상기 감성 파라미터와 상관하는 물리 파라미터로 변환한다. 출력 단계에서는, 변환된 물리 파라미터에 의거하는 감각 제시 신호를 출력한다.
본 개시의 일 실시 형태와 관련된 변환 모델 생성 방법은, 기억 단계와, 추출 단계와, 생성 단계를 포함한다. 기억 단계에서는, 소정의 감각 제시에 관한 물리 특성과, 당해 감각 제시에 대한 감각 표현의 정도를 나타내는 감성 파라미터와의 대응 정보를, 1종류 이상의 감각 제시에 대하여 각각 기억한다. 추출 단계에서는, 상기 1종류 이상의 감각 제시 각각에 대한 대응 정보에 의거하여, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중, 상기 감성 파라미터와 상관하는 물리 파라미터를 추출한다. 생성 단계에서는, 상기 감성 파라미터와 상기 추출된 물리 파라미터에 의거하여, 새롭게 접수하는 감성 파라미터를 당해 감성 파라미터와 상관하는 물리 파라미터로 변환 가능한 변환 모델을 생성한다.
본 개시의 일 실시 형태와 관련된 관계식 변환 방법은, 복수 종류의 감성 파라미터 각각을, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터로 설명한 제 1 관계식을, 상기 복수 종류의 물리 파라미터 각각을, 상기 복수 종류의 감성 파라미터로 설명한 제 2 관계식으로 변환하는 단계를 포함한다.
본 개시의 일 실시 형태와 관련된 프로그램은, 상기 각 실시 형태와 관련된 어느 방법을 컴퓨터에 실행시킨다.
본 개시의 일 실시 형태와 관련된 감각 제어 시스템은, 입력부와, 프로세서를 구비한다. 입력부는, 감성 파라미터를 접수한다. 프로세서는, 접수한 감성 파라미터를, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중 상기 감성 파라미터와 상관하는 물리 파라미터로 변환하고, 당해 변환된 물리 파라미터에 의거하는 감각 제시 신호를 출력한다.
본 개시의 일 실시 형태와 관련된 변환 모델 생성 시스템은, 기억부와, 프로세서를 구비한다. 기억부는, 소정의 감각 제시에 관한 물리 특성과, 당해 감각 제시에 대한 감각 표현의 정도를 나타내는 감성 파라미터와의 대응 정보를, 1종류 이상의 감각 제시에 대하여 각각 기억한다. 프로세서는, 상기 1종류 이상의 감각 제시 각각에 대한 대응 정보에 의거하여, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중, 상기 감성 파라미터와 상관하는 물리 파라미터를 추출하고, 상기 감성 파라미터와 상기 추출된 물리 파라미터에 의거하여, 새롭게 접수하는 감성 파라미터를 당해 감성 파라미터와 상관하는 물리 파라미터로 변환 가능한 변환 모델을 생성한다.
본 개시의 일 실시 형태와 관련된 감각 제어 방법, 감각 제어 시스템, 변환 모델 생성 방법, 변환 모델 생성 시스템, 관계식 변환 방법, 및 프로그램에 의하면, 사람의 감성을 반영한 감각 제시를 행하는 것이 가능해진다.
도 1은 본 개시의 실시 형태와 관련된 감각 제어 시스템의 기본적인 구성을 나타내는 블록도이다.
도 2는 본 개시와 관련된 감각 제어 시스템의 제 1 실시 형태로서의 촉각 제어 시스템을 나타내는 블록도이다.
도 3은 도 2의 촉각 제어 시스템에 포함되는 촉각 제시부의 구성의 일례를, 라플라스 변환의 연산자를 이용한 등가 회로에서 설명하는 설명도이다.
도 4는 도 2의 촉각 제어 시스템에 포함되는 촉각 제시부의 일례의 등가 모델을 나타내는 설명도이다.
도 5는 도 4에 나타나는 액추에이터의 일례의 등가 회로와 내부 구조를 설명하는 설명도이다.
도 6은 본 개시의 변환 모델 생성 시스템을 사용한 변환 모델 생성 방법을 설명하는 플로우 차트이다.
도 7은 본 개시의 변환 모델 생성 방법 및 촉각 제시 방법의 구체예를 설명하는 플로우 차트이다.
도 8은 본 개시의 촉각 제어 시스템을 이용한 촉각 제어 방법을 설명하는 플로우 차트이다.
도 9는 가압형 조작 도구의 물리 특성의 설명도이다.
도 10은 가압형 조작 도구의 물리 파라미터의 예를 나타내는 설명도이다.
도 11은 가압형 조작 도구의 동작 설명도이다.
도 12는 가압형 조작 도구에 있어서의 감성 파라미터와 물리 파라미터와의 관련을 나타내는 설명도이다.
도 13은 가압형 조작 도구에 있어서의 감성 파라미터와 물리 파라미터와의 관련을 나타내는 설명도이다.
도 14는 가압형 조작 도구에 있어서의 감성 파라미터와 물리 파라미터와의 관련을 나타내는 설명도이다.
도 15는 가압형 조작 도구에 있어서의 감성 파라미터와 물리 파라미터와의 관련을 나타내는 설명도이다.
도 16은 가압형 조작 도구의 물리 특성의 설명도이다.
도 17은 회전형 조작 도구에 있어서의 감성 파라미터와 물리 파라미터와의 관련을 나타내는 설명도이다.
도 18은 회전형 조작 도구의 물리 특성의 설명도이다.
도 19는 회전 조작형 도구의 구성을 나타내는 블록도이다.
도 20은 본 개시의 일 실시 형태와 관련된 감각 제어 시스템의 제 2 실시 형태로서의 촉각 제어 시스템을 나타내는 블록도이다.
도 21은 도 20에 나타내는 촉각 제어 시스템의 동작을 나타내는 시퀀스도이다.
도 22는 본 개시의 변환 모델 생성 방법의 일례와 관련된 제 1 관계식을 나타내는 도이다.
도 23은 본 개시의 변환 모델 생성 방법의 일례와 관련된 제 2 관계식을 나타내는 도이다.
도 24는 촉각 제시 신호에 의거하여 추에 공급하는 구동 신호의 강도의 시간 변화의 예를 나타낸 도이다.
도 25는 촉각 제어 장치의 사시도의 일례이다.
도 26은 클라이언트 서버형의 촉각 제어 시스템의 일례이다.
도 27은 촉각 제어 장치를 사용하여 사용자가 조작 감촉을 조정하는 작업의 개략을 나타내는 도면의 일례이다.
도 28은 촉각 제어 장치를 사용하여 사용자가 조작 감촉을 조정하는 작업의 개략을 나타내는 도면의 일례이다.
도 29는 촉각 제어 장치의 기능을 설명하는 기능 블록도의 일례이다.
도 30은 분류부의 생성에 있어서의 학습의 흐름을 나타내는 플로우 차트도의 일례이다.
도 31은 감성 파라미터의 표현 도수(度數)와 물리 파라미터의 대응의 학습의 흐름을 나타내는 플로우 차트도이다.
도 32는 촉각 제어 장치가 분류부와 제 1 변환 모델~제 3 변환 모델을 사용하여 사용자가 기호하는 조작 감촉을 제시하는 흐름을 나타내는 플로우 차트도의 일례이다.
도 33은 촉각 제어 장치를 사용하여 사용자가 조작 감촉을 조정하는 작업의 개략을 나타내는 도이다.
도 34는 촉각 제어 장치의 기능을 설명하는 기능 블록도의 일례이다.
도 35는 표현 도수에 대응하는 물리 파라미터(하중 변위 곡선)의 학습의 흐름을 나타내는 플로우 차트도의 일례이다.
도 36은 기준 조작 도구의 하중 변위 곡선을 커브 피팅하는 흐름을 나타내는 플로우 차트도의 일례이다.
도 37은 촉각 제어 장치가 물리 파라미터 변환부와 비교부를 사용하여 사용자가 기호하는 조작 감촉을 제시하는 흐름을 나타내는 플로우 차트도의 일례이다.
도 38은 분류부가 뉴럴 네트워크에 의해 실현되는 경우의 뉴럴 네트워크의 일례를 나타내는 도이다.
도 39는 분류부가 결정목에 의해 실현되는 경우의 결정목의 일례를 나타내는 도이다.
도 40은 표현 도수의 제 1 입력 화면에 대하여 설명하는 도이다.
도 41은 제 1 형태의 촉각 제어 장치를 클라이언트 서버 시스템에 적용한 촉각 제어 시스템의 기능 블록도의 일례이다.
도 42는 촉각 제어 시스템의 동작을 설명하는 시퀀스도의 일례이다.
도 43은 제 2 형태의 촉각 제어 장치를 클라이언트 서버 시스템에 적용한 촉각 제어 시스템의 기능 블록도의 일례이다.
도 44는 제 2 형태의 촉각 제어 시스템의 동작을 설명하는 시퀀스도의 일례이다.
도 45는 감각 제어 시스템의 촉각 제어 시스템의 구성을 나타내는 도이다(실시예 2).
도 46은 조작부 파라미터의 일례를 나타내는 도이다.
도 47은 조작부의 물리 특성의 차이를 설명하는 도이다.
도 48은 조작부 센서에 의한 조작부의 크기나 질량을 검지하는 몇 가지의 방법을 설명하는 도이다.
도 49는 캘리브레이션에 의한 조작부의 질량의 추정 방법을 설명하는 도이다.
도 50은 조작부의 질량의 보정을 설명하는 도이다.
도 51은 촉각 제어 시스템이 장착된 조작부의 물리 파라미터에 따라 촉각 제시 신호를 조정하는 처리를 나타내는 플로우 차트도이다.
도 52는 촉각 제어 시스템이 장착된 조작부의 물리 파라미터에 따라 촉각 제시 신호를 조정하는 처리를 나타내는 플로우 차트도이다(변형예).
도 53은 도 45에 나타난 감각 제어 시스템의 제 2 실시 형태로서의 촉각 제어 시스템의 구성을, 신호의 흐름과 함께 나타내는 도이다.
도 54는 통신 장치와 단말 장치가 통신하여, 장착된 조작부의 감성 파라미터를 추정하는 시퀀스도이다.
도 55는 강체의 가압 도구에 의해 얻어지는 정특성(靜特性)과, 강체와 탄성체가 일체의 손가락 모델 가압 도구에 의해 얻어지는 동특성(動特性)을 설명하는 도이다.
도 56은 손가락이 변형될 때의 손가락과 조작 도구의 상대 위치를 설명하는 도이다.
도 57은 손가락 모델 가압 도구를 설명하는 도이다.
도 58은 클릭감이 있는 감각 제시 신호의 생성을 설명하는 도이다.
도 59는 가압형 조작 도구의 기능 구성도와 블록도의 일례이다.
도 60은 손가락 모델 가압 도구에 의해 조작 도구를 가압한 경우의 동특성을 설명하는 도이다.
도 61은 손가락 모델 가압 도구와 조작 도구의 상대 위치의 시간적인 천이를 설명하는 도이다.
도 62는 기간 A~C와 함께, 동특성을 보다 상세하게 설명하는 도이다.
도 63은 동특성이 상이한 복수의 조작 도구에 대하여 손가락 모델 가압 도구에 의해 가압한 경우의 동특성을 나타내는 도면의 일례이다.
도 64는 감성 파라미터와 상관하는 물리 파라미터의 결정의 흐름을 설명하는 플로우 차트도의 일례이다.
도 65는 단계 ST153에 있어서 프로세서가 취득한, 「복귀감이 있음(없음)」의 감성 파라미터에 있어서의 각 조작 도구의 동특성과 표현 도수의 세트의 산포도(散布圖)이다.
도 66은 단계 ST153에 있어서 프로세서가 취득한, 「흡입되는 감이 있음(없음)」의 감성 파라미터에 있어서의 각 조작 도구의 동특성과 표현 도수의 세트의 산포도이다.
도 67은 단계 ST153에 있어서 프로세서가 취득한 「복귀감이 있음(없음)」의 감성 파라미터에 있어서의 각 조작 도구의 동특성과 표현 도수의 세트의 산포도이다.
도 68은 각 감성 파라미터와 각 동특성과의 상관 계수의 일람을 나타내는 도이다.
도 69는 통신 장치와 단말 장치가 통신하여, 장착된 조작 도구의 감성 파라미터를 추정하는 시퀀스도의 일례이다.
이하, 본 개시의 양태에 대하여, 도면을 참조하여 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능을 가지는 구성에 대해서는, 동일한 부호를 붙임으로써 중복 설명을 생략한다.
양태 1
(감각 제어 시스템)
도 1은, 본 개시의 양태 1과 관련된 감각 제어 시스템(100)의 기본적인 구성을 나타낸다. 도 1에 나타나는 감각 제어 시스템(100)은, 감성 데이터 베이스(16)와, 기억부(11)와, 입력부(4)와, 프로세서(101)와, 감각 제시부(102)를 가지고 있다. 기억부(11)는, 감성 파라미터-물리 파라미터 변환 모델(이하, 간단히 「변환 모델(15)」이라고 칭한다.)을 저장하고 있다. 감각 제시부(102)는, 사람에게 감각을 제시하는 구성부이며, 예를 들면, 촉각을 제시하는 촉각 제시부(예를 들면, 후술하는 촉각 제시부(30)), 청각을 제시하는 스피커 등의 청각 제시부, 시각을 제시하는 표시 디바이스 등의 시각 제시부, 또는 이들의 임의의 조합으로 구성할 수 있다.
변환 모델(15)은, 감성 파라미터를 당해 감성 파라미터와 상관하는 물리 파라미터로 변환 가능한 변환 모델이다. 여기서, 감성 파라미터는, 감각 제시에 대한 감각 표현의 정도를 나타내는 파라미터이다. 구체적으로, 감성 파라미터는, 예를 들면 SD법(Semantic Differential Method)에 의한 감성 평가이면, 2개의 감각 표현(형용사, 의성어, 음성 상징어 등)의 조합마다, 제시된 감각이 각각 어디에 가까운지를 수 단계의 평가에서 나타낸 것이어도 된다. 구체적으로는, 2개의 감각 표현의 조합은, 「기분이 좋음 - 기분이 좋지 않음」, 「가벼운 - 무거운」 등이다. SD법에 의한 수 단계의 평가는, 예를 들면 「가장 기분이 좋은」것의 감성 파라미터의 표현 도수를 「1」로 하고, 「2」, 「3」, 「4」로 표현 도수가 증가함에 따라 「기분이 좋지 않음」을 향하고, 「7」을 「가장 기분이 좋지 않음」으로서 표현할 수 있다. 감성 파라미터는, 2개의 감각 표현의 조합으로는 한정되지 않고, 1개의 감각 표현의 강도여도 된다. 또한, 감각 표현의 축을 복수 취하고, 이들 복수의 축을 조합한 다차원으로 표현되는 파라미터여도 된다. 물리 파라미터는, 감각 제시에 관한 물리 특성에 포함되고, 복수 종류 존재한다. 감각 제시에 관한 물리 특성은, 사람에게 감각을 제시할 때의, 감각 제시부(102) 등의 감각 제시 수단과, 사람의 신체 부위를 포함하는 감각 전달계 전체에 영향을 줄 수 있는 물리 특성이다. 즉, 감각 제시에 관한 물리 특성은, 감각 제시 수단의 물리 특성으로는 한정되지 않고, 감각이 제시되는 사람의 신체 부위의 물리 특성도 포함할 수 있다.
여기서는, 감성 데이터 베이스(16)가 기억부(11) 이외의 도면에 나타내지 않은 기억부에 저장되어 있는 것으로서 설명하지만, 감성 데이터 베이스(16)는 기억부(11)에 저장되어 있어도 된다. 프로세서(101)는, 감각 제어 시스템(100) 전체의 동작을 제어한다. 프로세서(101)는, 1개 이상의 프로세서의 총칭이며, 예를 들면, 감각 제어 시스템(100)의 각 구성 요소를 복수의 프로세서로 분담하여 제어해도 되고, 1개의 프로세서로 모든 구성 요소를 제어해도 된다. 또한, 감각 제어 시스템(100)의 각 구성 요소는, 후술하는 변환 모델 생성 방법 및 감각 제어 방법을 실행 가능하도록 서로 정보 전달 가능하면 되고, 그 접속 방식은 특별히 한정되지 않는다. 예를 들면, 감각 제어 시스템(100)의 각 구성 요소의 접속 방식은, 유선 접속이어도 되고, 네트워크 접속을 포함하는 무선 접속이어도 된다. 감각 제어 시스템(100)은, 복수의 장치로부터 구성되어 있어도 되고, 1개의 장치여도 된다.
감각 제어 시스템(100)에 포함되는 변환 모델(15)은, 이하의 변환 모델 생성 방법에 의해 얻어진 것이다. 변환 모델 생성 방법에 있어서, 우선, 감성 데이터 베이스(16)는, 소정의 감각 제시에 관한 물리 특성과, 당해 감각 제시에 대한 감각 표현의 정도를 나타내는 감성 파라미터가 대응 지어진 대응 정보를, 1종류 이상의 감각 제시에 대해 각각 기억한다(기억 단계). 프로세서(101)는, 감성 데이터 베이스(16) 내의 1종류 이상의 감각 제시 각각에 대한 대응 정보에 의거하여, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중, 감성 파라미터와 상관하는 물리 파라미터를 추출한다(추출 단계). 그 후, 프로세서(101)는, 감성 파라미터와 추출된 물리 파라미터에 의거하여, 변환 모델(15)을 생성한다(생성 단계). 이와 같이 하여 생성된 변환 모델(15)은, 새롭게 접수한 감성 파라미터를, 당해 감성 파라미터와 상관하는 물리 파라미터로 변환 가능한 변환 모델이다. 감각 제어 시스템(100)은, 상기 서술의 변환 모델 생성 방법을 실행할 때, 변환 모델 생성 시스템으로서 기능한다. 또한, 추출 단계에 있어서는, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터를 도출하기 위해, 감각 제시 수단에 관련된 물리 특성으로부터 추출하는 것도, 사람의 신체 부위를 포함하는 계(系)의 물리 특성으로부터 추출할 수도 있다.
또한, 변환 모델 생성 방법은, 감각 제어 시스템(100)과는 별도의 변환 모델 생성 시스템이 실행되어도 된다. 이 경우, 변환 모델 생성 시스템은, 적어도 감성 데이터 베이스(16)와, 프로세서(101)를 구비한다. 감각 제어 시스템(100)은, 별도의 변환 모델 생성 시스템이 변환 모델 생성 방법을 실행함으로써 얻어지는 변환 모델(15)을 취득하고, 기억부(11)에 기억해도 된다. 이 경우, 감각 제어 시스템(100)은, 감성 데이터 베이스(16)를 구비하고 있지 않아도 된다.
또한, 감성 데이터 베이스(16)에 기억되는 상기 서술의 대응 정보는 갱신 가능해도 되고, 갱신된 대응 정보에 의거하여, 변환 모델(15)도 갱신 가능해도 된다. 상세하게는, 변환 모델 생성 방법의 기억 단계에 있어서, 감성 데이터 베이스(16)는, 상기 서술의 대응 정보를, 1종류 이상의 감각 제시에 대해 추가 또는 갱신한다. 이어서, 추출 단계에 있어서, 프로세서(101)는, 감성 데이터 베이스(16) 내의 1종류 이상의 감각 제시 각각에 대한 대응 정보에 의거하여, 감성 파라미터와 상관하는 물리 파라미터를 다시 추출한다. 그 후, 생성 단계에 있어서, 프로세서(101)는, 감성 파라미터로 새롭게 추출된 물리 파라미터에 의거하여, 변환 모델(15)을 갱신한다.
감각 제어 시스템(100)은, 이하의 감각 제어 방법을 실행한다. 우선, 감각 제어 시스템(100)은, 입력부(4)를 개재하여, 사용자 등으로부터의 감성 파라미터의 입력을 접수한다(접수 단계). 그 후, 프로세서(101)는, 접수한 감성 파라미터를, 변환 모델(15)에 의거하여, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중 감성 파라미터와 상관하는 물리 파라미터로 변환한다(변환 단계). 그리고, 프로세서(101)는, 변환된 물리 파라미터에 의거하는 감각 제시 신호를 생성하고, 감각 제시부(102)에 출력한다(출력 단계). 감각 제시부(102)는, 감각 제시 신호에 의거하여, 사용자 등에게 감각을 제시한다(감각 제시 단계).
이와 같이, 감각 제어 시스템(100)은, 접수한 감성 파라미터와 상관하는 물리 파라미터에 의거하는 감각 제시 신호에 의거하여 사용자 등에게 감각을 제시할 수 있으므로, 사람의 감성을 반영한 감각을 사용자 등에게 제시할 수 있다.
(촉각 제어 시스템 1)
도 2는, 도 1에 나타난 감각 제어 시스템(100)의 제 1 실시 형태로서의 촉각 제어 시스템(1)의 구성을, 신호의 흐름과 함께 나타내고 있다.
도 2에 나타나는 촉각 제어 시스템(1)은 주제어 장치(10)를 가지고 있다. 주제어 장치(10)는, 퍼스널 컴퓨터나 서버 등이며, 프로세서(CPU)(14)와, RAM이나 ROM의 기억부(11)를 가지고 있다. 주제어 장치(10)에는, 프로세서(14)에서 실행되는 연산 기능부(12, 13)가 마련되어 있다.
도 2에 나타나는 촉각 제어 시스템(1)은, 입출력 장치(3)를 가지고 있다. 입출력 장치(3)는, 입력부(4)와, 표시부(5)와, 입력부(4)와 표시부(5)를 동작시키는 프로세서를 포함하고 있다. 입출력 장치(3)와 주제어 장치(10)는 각종 인터페이스를 개재하여 접속되어 있다.
촉각 제어 시스템(1)은, 촉각 제시 장치(20)를 포함하고 있다. 촉각 제시 장치(20)는, 그 동작을 제어하는 단말용의 프로세서(18)를 포함하고 있다. 주제어 장치(10)의 출력부로서 기능하는 연산 기능부(13)와, 촉각 제시 장치(20)는, 케이블 및 커넥터, USB(Universal Serial Bus), HDMI(High-Definition Multimedia Interface, 등록상표), 이더넷(등록상표), Wi-Fi 등의 인터페이스를 개재하여 접속되어 있다.
도 2에 나타나는 주제어 장치(10)의 기억부(11)에는, 변환 모델(15)이 기억되어 있다. 변환 모델(15)은, 도 1의 감각 제어 시스템(100)에 대한 설명에서 기재한 바와 같이, 접수한 감성 파라미터를 당해 감성 파라미터와 상관하는 물리 파라미터로 변환 가능한 변환 모델이다. 본 예에서의 감성 파라미터는, 촉각 제시에 대한 감각 표현의 정도를 나타내는 파라미터이다. 예를 들면, 본 예의 감성 파라미터는, 소정의 조작 도구를 조작하였을 때의 조작 감촉을, 감성에 의거하는 표현으로 사용자에 의해 평가된 것이어도 된다. 바꿔 말하면, 본 예의 감성 파라미터는, 소정의 조작 도구의 조작을 반영하여 입력된다. 본 예에서의 물리 파라미터는, 촉각 제시에 관한 물리 특성에 포함되고, 복수 종류 존재한다. 예를 들면, 본 예에서의 물리 파라미터는, 소정의 조작 도구가 조작될 때의 촉각 제시를 실현하는 물리 특성에 포함되는 물리 파라미터여도 된다. 본 예에서의 물리 파라미터는, 촉각 제시 장치(20)를 동작시켜 소정의 조작 도구의 감각 표현을 재현하기 위해 이용할 수 있다.
촉각 제시 장치(20)는, 적어도 촉각 제시부(30)를 구비한다. 촉각 제시 장치(20)는, 촉각 제시 신호에 의거하여, 촉각 제시부(30)를 제어하여 사용자에게 촉각을 제시한다. 여기서, 촉각 제시부(30)는, 도 1의 감각 제시부(102)의 일례이다.
촉각 제시부(30)는, 항력(抗力)이나 진동을 발생시킴으로써 촉각을 제시하는 것이어도 된다. 항력이나 진동을 발생시키는 촉각 제시부(30)로서는, 예를 들면, 보이스 코일 모터(VCM), 리니어 액추에이터(공진 타입·비공진 타입 중 어느 것이어도 됨), 피에조 소자, 편심 모터, 형상 기억 합금, 자기 점성 유체, 전기 활성 고분자 등을 들 수 있다.
촉각 제시부(30)는, 온냉감을 제시함으로써, 촉각을 제시하는 것이어도 된다. 온냉감을 제시하는 촉각 제시부(30)로서는, 예를 들면, 펠티에 소자를 들 수 있다. 펠티에 소자는, 대향하는 2매의 금속판에 직류 전류를 부여하였을 때의 펠티에 효과의 열의 이동을 이용한 것이며, 전류 방향에 따라 금속판의 표면의 열량이 변화된다. 전류 방향과 전류량을 제어함으로써, 펠티에 소자에 접촉한 사용자의 손가락 등의 신체 부위에 따뜻한 온도나 차가운 온도를 느끼게 하는 것이 가능하다.
촉각 제시부(30)는, 전기 자극을 부여함으로써 촉각을 제시하는 것이어도 된다. 전기 자극을 부여하는 촉각 제시부(30)로서는, 예를 들면, 사용자의 손끝 등의 신체 부위와 용량 결합함으로써, 전기 자극을 부여하는 구성을 들 수 있다. 촉각 제시부(30)는, 공중(空中) 촉각을 제시하는 것이어도 된다. 공중 촉각을 제시하는 촉각 제시부(30)로서는, 예를 들면, 초음파 등에 의해 공기 진동을 발생시킴으로써, 사용자의 손끝 등의 신체 부위를, 그 공기 진동에 의해 공진시킴으로써 촉각을 제시하는 구성을 들 수 있다.
도 2에 나타나는 바와 같이 촉각 제어 시스템(1)은 조작 장치(33)를 구비하고 있어도 되고, 촉각 제시부(30)는 조작 장치(33)를 조작하는 사용자에 대하여 촉각을 제시하는 것이어도 된다. 촉각 제시부(30)가 조작 장치(33)를 조작하는 사용자에게 촉각을 제시함으로써, 소정의 조작 감촉을 제시해도 된다. 구체적으로는, 촉각 제시부(30)는, 소정의 조작 도구의 조작 감촉을 모방한 조작 감촉을 제시해도 된다. 예를 들면, 조작 감촉을 모방하는 대상의 조작 도구로서는, 가압 조작을 접수하는 푸시 스위치, 회전 조작을 접수하는 로터리 스위치, 틸팅 조작을 접수하는 조이스틱, 슬라이드 조작부로의 슬라이드 조작을 접수하는 슬라이드 스위치, 조작 패널로의 접촉 조작, 압입 조작, 덧씀 조작 등을 접수하는 터치 패널 등을 들 수 있다.
조작 장치(33)로서는, 상기 서술의 소정의 조작 도구와 마찬가지의 조작이 가능한 임의의 형태의 것을 이용할 수 있다. 구체적으로는, 조작 장치(33)는, 소정의 조작 도구를 모방한 형태여도 되고, 소정의 조작 도구와는 무관계인 형태, 예를 들면 사용자의 손에 장착하여 손가락의 움직임 등에 의한 조작을 접수하는 조작 글로브 등의 조작 디바이스여도 된다.
또한, 촉각 제시부(30)는, 조작 장치(33)의 조작과는 무관하게 사용자에게 촉각을 제시하는 것이어도 된다. 그 경우, 촉각 제어 시스템(1)은 조작 장치(33)를 구비하고 있지 않아도 된다.
도 2에 나타나는 바와 같이, 촉각 제시 장치(20)는, 위치 센서(27), 가속도 센서(28) 등의 각종 센서를 구비하고 있어도 된다. 촉각 제시 장치(20)는, 각종 센서를 구비함으로써, 촉각 제시 장치(20) 자체, 조작 장치, 및 사용자의 신체 부위 중 적어도 어느 1개의 물리량을 검지하여, 당해 물리량에 의거하여 촉각 제시부(30)의 구동을 제어할 수 있다. 센서로서는, 상기 외에도, 예를 들면 토크 센서, 각(角)속도 센서, 온도 센서, 압력 센서(기압 센서를 포함함), 습도 센서, 자기 센서, 광 센서, 초음파 센서, 근전(筋電) 등을 이용할 수 있다.
[촉각 제시부(30)의 일례]
도 3~도 5를 참조하여, 본 양태와 관련된 촉각 제어 시스템(1)에 포함되는 촉각 제시부(30)의 일례에 대하여 설명한다. 도 3~도 5에 예시되는 촉각 제시부(30)는, 가압형 조작 도구를 조작할 때의 촉각을 재현하는 것이며, 모델이 되는 가압형 조작 도구는, 접시 형상 판스프링 혹은 돔 형상 판스프링이 조작 반력을 발생시키는 택트 스위치(등록상표) 등의 가압형 조작 도구이다. 촉각 제시부(30)는, 주제어 장치(10)로부터 부여되는 촉각 제시 신호에 의거하여, 희망하는 감성 파라미터에 대응한 촉각을 재현한다. 촉각 제시부(30)를, 각종 장치의 전자 회로에 내장함으로써, 이 촉각 제시부(30)를, 희망하는 감성 파라미터에 대응하는 촉각(여기서는 조작 감촉)을 실현한 가압형 조작 도구로서, 실제의 가압형 조작 도구 대신에 사용할 수 있다. 또한, 촉각 제시 장치(20)로 조작 반력을 재현하여, 조작 감촉을 표현하는 감성 파라미터와, 촉각 제시 장치(20)를 동작시키는 물리 특성에 포함되는 물리 파라미터와의 관련을 평가하고, 그 평가를, 가압형 조작 도구를 설계할 때의 지침으로서 사용하는 것도 가능하다.
도 4에는 촉각 제시부(30)의 구성 요소의 일례를 나타내는 등가 모델이 나타나 있다. 도 5에는, 촉각 제시부(30)에 포함되는 액추에이터(39)의 등가 회로와 내부 구조가 나타나 있다. 도 5에 나타나는 화살표 표시(F)는 조작 반력(벡터량)을 나타내고 있다. 도 3에서는, 촉각 제시부(30)의 동작 원리가 라플라스 변환의 연산자를 이용한 등가 회로로 설명되고 있다.
도 4에 나타나는 바와 같이, 촉각 제시부(30)는 가동부(21)를 가지고 있어도 된다. 이 경우, 도 2에 나타나는 조작 장치(33)는, 도 4에 나타나는 가동부(21)와 일체이다. 또는 조작 장치(33)가 촉각 제시 장치(20)의 계 외에 마련되며, 조작 장치(33)를 조작함으로써 가동부(21)를 이동시킬 수 있는 구조여도 된다. 촉각 제시부(30)는 액추에이터(39)를 가지고 있다. 도 5에 나타나는 바와 같이, 액추에이터(39)에는, 보빈(24)과 보빈(24)의 밖에 감겨진 코일(25)이 마련되어 있다. 보빈(24)과 코일(25)도 가동부(21)의 일부이다.
도 4에 나타내는 바와 같이, 촉각 제시부(30)는, 스프링 부재(26)를 구비하고 있어도 된다. 스프링 부재(26)는 소정의 스프링 상수를 가지고, 예를 들면 코일 스프링으로 구성된다. 스프링 부재(26)는, 예를 들면 촉각 제시부(30) 내에서 압축된 상태로 보지(保持)됨으로써, 통상의 사용 상태에서는 가동부(21)에 대하여 가압 조작되는 방향과는 반대 방향(도 4에 있어서의 상방향)의 조작 반력을 부여한다. 도 4에는, 스프링 부재(26)의 스프링 계수가 「Ks」로 나타나 있다. 도 4에 나타내는 바와 같이, 가동부(21)에는 윤활유나 기구 상에서의 슬라이딩 마찰 등에 기인하는 점성 계수 「C」에 의거하는 조작 반력이 작용한다. 또한, 도 4에서는, 가동부(21)가 가압 조작되는 방향(도 4에 있어서의 하방향)으로의 스트로크량을 「x」로 나타내고 있다.
도 5에 나타나는 바와 같이, 액추에이터(39)는, 철계의 자성 재료로 형성된 통 형상의 요크(31)를 구비한다. 요크(31)는, 외주 요크(31a)와 센터 요크(31b)를 가지고 있다. 외주 요크(31a)의 내측에는, 원통 형상의 자석(32)이 고정되어 있다. 센터 요크(31b)와 자석(32)과의 사이에 원통 영역의 자기(磁氣) 갭이 형성되고, 자기 갭 내에 원통 형상의 보빈(24)과 코일(25)이 삽입되어 있다. 도 5에 나타나는 바와 같이, 코일(25)에 흐르는 전류량을 「I」, 자석(32)으로부터 발생되어 코일(25)을 횡단하는 자장의 자속 밀도를 「B」, 코일(25)의 인덕턴스를 「L」, 코일(25)을 포함하는 전기 저항을 「R」이라고 한다. 코일(25)의 턴수를 「N」이라고 한다. 액추에이터(39)로부터 가동부(21)에 대하여 작용하는 조작 반력 「F」는, 주제어 장치(10)로부터 촉각 제시 장치(20)에 부여되는 촉각 제시 신호에 의해 제어된다.
본 예에서는, 도 2에 나타내는 촉각 제시 장치(20)가 구비하는 위치 센서(27)는, 가동부(21)의 가압 조작 방향으로의 이동량(이하, 「스트로크량」이라고 칭함) 「x」를 검지한다. 본 예에서는, 도 2에 나타내는 촉각 제시 장치(20)가 구비하는 가속도 센서(28)는, 가동부(21)의 가속도를 검출한다. 본 예에서는, 도 2에 나타내는 촉각 제시 장치(20)가 구비하는 조작 범위 가변부(29)는, 가동부(21)의 가압 조작 방향으로의 스트로크량의 전체 길이를 변화시킬 수 있다.
도 3~도 5를 참조하여 촉각 제시 장치(20)의 기본적 동작을 설명한다. 촉각 제시 장치(20)는 촉각 제시부(30)의 코일(25)에 부여하는 전류 「I」를 제어함으로써, 조작 장치(33)를 개재하여 가동부(21)에 촉각을 제시할 수 있다. 여기서의 촉각 제시는, 가동부(21)를 가압 조작 방향으로 누르고 있는 사용자의 손가락 등의 신체 부위에 대한 조작 반력 「F」의 변화이다. 이 조작 반력 「F」는, 접시 형상 판스프링 또는 돔 형상 판스프링으로 조작 반력을 발생시키는 가압형 조작 도구의 조작 반력을 재현한 저항력이다.
도 4에, 촉각 제시부(30)가 모델화되어 나타나 있다. 이하의 수학식 1은, 촉각 제시 장치(20)의 동작을 「힘」의 등식(等式)으로 나타내고 있다.
Figure pct00001
수학식 1의 좌변은, 가동부(21)의 질량 「M」과 가속도를 곱한 힘을 나타내고 있다. 우변의 제 1 항은, 액추에이터(39)로 생성되는 조작 반력, 제 2 항은 스프링 부재(26)로 생성되는 조작 반력, 제 3 항은 점성 계수 「C」에 기인하는 조작 반력이다. 스프링 상수 「Ks」와 점성 계수 「C」는 실질적으로 상수이다. 또한, 촉각 제시부(30)의 동작에, 스프링 상수와 점성 계수를 가변으로 하는 요소를 포함시키면, 스프링 상수(Ks)와 점성 계수(C)를, 촉각 제시 신호에 의해 가변시켜지는 변수로 하는 것도 가능하다. 예를 들면, 촉각 제시부(30)의 내부에 자기 점성 유체 등의 기능성 유체를 충전하고, 자장 인가를 제어하면, 기능성 유체의 점도 변화에 의해 점성 계수(C)를 가변으로 할 수 있다. 또한, 촉각 제시부(30)의 내부에 복수의 스프링 부재를 구비하고, 촉각 제시 신호에 따라 이용하는 스프링 부재를 선택 가능하게 하면, 스프링 상수(Ks)를 가변으로 할 수 있다.
수학식 1을 식 변형한 수학식 2를 이하에 나타낸다.
Figure pct00002
「Kv」는, 촉각 제시를 실현하는 물리 특성으로부터 추출한 물리 파라미터이다. 이 물리 파라미터는 감성 파라미터와 상관하고 있다. 감성 파라미터는, 소정의 조작 도구를 가압 조작하였을 때의 조작 감촉을 표현하는 형용사의 표현 도수에 따라 변화된다.
도 5에 나타나는 촉각 제시부(30)의 등가 회로에서는, 코일(25)에 작용하는 전압이 「V」, 코일에 작용하는 역기전력이 「e」로 나타나 있다. 이하의 수학식 3에는, 「V-e」의 미분 방정식과, 이 미분 방정식을 라플라스 변환의 변수 「s」를 이용하여 표현한 방정식이 나타나 있다.
Figure pct00003
도 5에 나타나는 바와 같이, 액추에이터(39)로 표현되는 촉각 제시 즉 조작 반력 「F」는 (N×B×L)×I이다. N은 코일의 턴수, B는 자속 밀도, L은 코일의 인덕턴스, I는 코일 전류이다. 수학식 1과 수학식 2의 「Kv」는, Kv=(N×B×L)이다. 액추에이터(39)의 모델로부터 유도되는 역기전력 「e」는, 이하의 수학식 4의 미분 방정식으로 나타난다. Φ는 자속이다.
Figure pct00004
도 3에 나타나는 촉각 제시부(30)의 등가 회로의 제 1 회로부 (a)는, 수학식 3과 수학식 4에 나타나는 액추에이터(39)에 작용하는 전압 「V」와 기전력 「e」와의 관계를 나타내고 있다. 제 2 회로부 (b)는, 액추에이터(39)에 작용하는 힘의 모델을 나타내고 있다. 제 2 회로부 (b)에 있어서는, 「F」가 조작 반력, 「α」가 가동부(21)의 가속도, 「v」가 가동부(21)의 속도, 「x」가 가동부(21)의 스트로크량이다. 촉각 제시의 표현인 형용사의 표현 도수에 따라 「Kv」의 파라미터를 변화시킴으로써, 조작 장치(33)를 가압하는 손가락에 대하여, 희망하는 형용사로 표현되는 조작 감촉을 부여할 수 있다. 또한 「Kv」의 변화와 함께, 「Ks」 및 「C」를 변화시킴으로써도 조작 감촉을 변화시키는 것이 가능하다. 또한 「Kv」 등은, 수식 내의 파라미터의 변화에 한정되는 것은 아니고, 미리 데이터끼리를 관련지어 기억한 데이터 맵으로부터 추출한 변수여도 된다.
[변환 모델(15) 생성 처리]
도 6은, 도 2의 촉각 제어 시스템(1)이 기억하는 변환 모델(15)의 생성 처리(변환 모델 생성 방법)의 일례를 나타낸다. 변환 모델 생성 방법은, 적어도 입력부와 기억부와 프로세서를 구비하는 변환 모델 생성 시스템에 의해 실행된다. 도 6에 있어서의 「ST」는 처리 단계를 나타내고 있다.
STa에 있어서, 변환 모델 생성 시스템은, 1종류 이상의 촉각 제시의 각각에 대하여, 복수의 사용자에 의한 감성 파라미터의 입력을 접수한다. 여기서의 「1종류 이상의 촉각 제시」는, 사용자가 조작 도구를 조작한 경우의 촉각에 한정되지 않고, 사용자가 아무것도 조작을 하지 않는 경우에 사용자에게 부여되는 촉각도 포함된다. 예를 들면, 슈트나 글로브 등을 개재하여, 게임이나 영상 등의 컨텐츠에 따른 촉각 제시로서, 1종류 이상의 촉각을 제시하고, 각각에 대한 사용자의 느끼는 방법에 의거하는 감성 파라미터의 입력을 접수해도 된다. 본 단계는, 도 1의 감각 제어 시스템(100)에 대하여 설명한 변환 모델 생성 방법에 있어서의 기억 단계의 일례이다.
도 6의 STb에서는, 변환 모델 생성 시스템은, 각종 촉각 제시에 관한 물리 특성 중, 감성 파라미터와 상관하는 물리 파라미터를 추출한다. 본 단계는, 도 1의 감각 제어 시스템(100)에 대하여 설명한 변환 모델 생성 방법에 있어서의 추출 단계의 일례이다. STc에서는, 변환 모델 생성 시스템은, 변환 모델(15)을 생성한다. 본 단계는, 도 1의 감각 제어 시스템(100)에 대하여 설명한 변환 모델 생성 방법에 있어서의 생성 단계의 일례이다. 변환 모델(15)의 생성은, 수작업, 중회귀(重回歸) 분석, 기계 학습, 그 외 다양한 해석 방법에 의해 실행 가능하다. 변환 모델(15)은, 종류의 감성 파라미터로부터 1종류의 물리 파라미터로 변환 가능한 모델, 1종류의 감성 파라미터로부터 복수 종류의 물리 파라미터로 변환 가능한 모델, 복수 종류의 감성 파라미터로부터 1종류의 물리 파라미터로 변환 가능한 모델, 복수 종류의 감성 파라미터로부터 복수 종류의 물리 파라미터로 변환 가능한 모델 등의 각 베리에이션이 있다. 1종류의 감성 파라미터와 1종류의 물리 파라미터와의 상관 관계의 정보로부터, 기계 학습 등을 이용하여, 복합적인 상관 관계의 정보를 도출함으로써, 복수 종류의 감성 파라미터로부터 복수 종류의 물리 파라미터로 변환 가능한 모델을 생성해도 된다. 변환 모델(15)의 데이터 구조는, 감성 파라미터와 촉각 파라미터와의 대응 테이블이어도 되고, 함수로 산출 가능하게 기억되어 있어도 된다.
여기서, 복수 종류의 감성 파라미터로부터 복수 종류의 물리 파라미터로 변환 가능한 변환 모델(15)을 생성하는 방법의 일례에 대하여 설명한다. 본 예에서는, 우선, 변환 모델 생성 시스템은, 추출 단계에 있어서 복수 종류의 물리 파라미터 각각의 감성 파라미터와의 상관도에 관한 정보를, 복수 종류의 감성 파라미터에 대하여 추출한다. 상세하게는, 변환 모델 생성 시스템은, 복수 종류의 감성 파라미터 각각을 목적 변수, 복수 종류의 물리 파라미터를 설명 변수로 하는 중회귀 분석에 의해, 상기 서술의 복수의 상관도에 관한 정보를 추출한다. 여기서, 상관도에 관한 정보로서는, 예를 들면, 중회귀 분석에 있어서의 결정 계수, 상수항, 또는 이들로부터 유도되는 값 등을 들 수 있다.
이어서, 변환 모델 생성 시스템은, 생성 단계에 있어서, 복수 종류의 물리 파라미터와, 복수의 상관도에 관한 정보를 이용하여, 복수 종류의 감성 파라미터 각각을 설명하는 제 1 관계식을 생성한다(제 1 생성 단계). 구체적으로는, 복수 종류의 감성 파라미터를 A1, A2, ···An(n은 자연수)으로 하고, 복수 종류의 물리 파라미터를 P1, P2, ···Pn으로 하고, 중회귀 분석에 있어서의 상수항 및 결정 계수 중 감성 파라미터 Am(m은 n 이하의 자연수)에 관한 것을 Bm1, Bm2, ···Bmn으로 하면, 제 1 관계식은 이하의 수학식 5로 나타낼 수 있다.
Figure pct00005
수학식 5를, 복수 종류의 감성 파라미터를 나타내는 열 벡터를 한 변(여기서는 좌변)으로 하고, 복수의 상관도에 관한 정보를 나타내는 계수 행렬과, 복수 종류의 물리 파라미터를 나타내는 열 벡터와의 곱을 타변(여기서는 우변)으로 하는 행렬의 등식으로서 나타내면, 제 1 관계식은 도 22와 같이 나타난다. 여기서, 계수 행렬은, n행 n열의 정방 행렬이다.
수학식 5를, 복수 종류의 감성 파라미터를 나타내는 열 벡터를 한 변(여기서는 좌변)으로 하고, 복수의 상관도에 관한 정보를 나타내는 계수 행렬과, 복수 종류의 물리 파라미터를 나타내는 열 벡터와의 곱을 타변(여기서는 우변)으로 하는 행렬의 등식으로서 나타내면, 제 1 관계식은 도 22와 같이 나타난다. 여기서, 계수 행렬은, n행 n열의 정방 행렬이다.
변환 모델 생성 시스템은, 생성 단계에 포함되는 제 1 생성 단계의 이후, 제 1 관계식에 의거하여, 복수 종류의 감성 파라미터와, 복수의 상관도에 관한 정보를 이용하여, 복수 종류의 물리 파라미터 각각을 설명하는 제 2 관계식을 생성한다(제 2 생성 단계). 구체적으로는, 변환 모델 생성 시스템은, 도 22에 나타내는 제 1 관계식의 양변에, 좌측 방향으로부터 계수 행렬의 역행열을 곱함으로써, 제 2 관계식을 생성한다. 제 2 관계식은, 도 23에 나타내는 바와 같이, 복수 종류의 물리 파라미터를 나타내는 열 벡터를 한 변(여기서는 좌변), 계수 행렬의 역행열과, 복수 종류의 감성 파라미터를 나타내는 열 벡터와의 곱을 타변(여기서는 우변)으로서 나타낼 수 있다.
변환 모델 생성 시스템은, 생성 단계에 포함되는 제 2 생성 단계의 이후, 제 2 관계식에 의거하여, 복수 종류의 감성 파라미터를, 당해 복수 종류의 감성 파라미터와 상관하는 복수 종류의 물리 파라미터로 변환 가능한 변환 모델(15)을 생성한다(제 3 생성 단계). 이와 같이 하여, 변환 모델 생성 시스템은, 복수 종류의 감성 파라미터로부터 복수 종류의 물리 파라미터로 변환 가능한 변환 모델(15)을 생성할 수 있다.
또한, 상기 서술의 예에서는, 계수 행렬이 정방 행렬인 것으로 하여 설명하였지만, 계수 행렬은 반드시 정방 행렬이 아니어도 된다. 예를 들면, 역행열로서 유사 역행열을 이용함으로써, 계수 행렬이 정방 행렬이 아닌 경우에도 마찬가지로, 복수 종류의 감성 파라미터로부터 복수 종류의 물리 파라미터로 변환 가능한 변환 모델(15)을 생성할 수 있다.
도 1에 나타내는 감각 제어 시스템(100)에 의한 감각 제어 방법은, 본 예에서 얻어진 변환 모델(15)을 이용하는 경우, 아래와 같이 실행할 수 있다. 우선, 감각 제어 시스템(100)은, 접수 단계에 있어서, 입력부(4)를 개재하여, 사용자 등으로부터 복수 종류의 감성 파라미터의 입력을 접수한다. 그 후, 프로세서(101)는, 변환 단계에 있어서, 취득한 복수 종류의 감성 파라미터를, 변환 모델(15)에 의거하여, 당해 복수 종류의 감성 파라미터와 상관하는 복수 종류의 물리 파라미터로 변환한다. 또한, 출력 단계 및 감각 제시 단계는 상기 서술한 내용과 마찬가지이므로 설명을 생략한다.
[촉각 제시의 구체예]
이하에서는, 도 2에 나타내는 촉각 제시 장치(20)에서 소정의 조작 도구의 조작 감촉에 모방한 촉각 제시를 행하는 예에 대하여 설명한다. 이 예에 있어서의 변환 모델(15)의 감성 파라미터는, 소정의 조작 도구로서의 가압형 조작 도구를 조작하는 조작 감촉을 표현한 형용사의 표현 도수이다. 이 예에 있어서의 변환 모델(15)의 물리 파라미터는, 소정의 조작 도구로서의 가압형 조작 도구가 조작될 때의 감각 제시를 실현하는 물리 특성에 포함된다. 촉각 제어 시스템(1)은, 입력부(4)를 개재하여 특정의 감성 파라미터의 입력을 접수하면, 변환 모델(15)을 이용하여, 접수한 특정의 감성 파라미터를 물리 파라미터로 변환한다. 가압형 조작 도구를 상정한 감성 파라미터는, 사람이 가압형 조작 도구를 가압 조작하였을 때의 조작 감촉을 표현한 형용사나 의성어 등에 의한 감각 표현의 정도이다. 물리 파라미터로 실현되는 물리 특성은, 예를 들면, 조작에 따른 변이(예를 들면 스트로크량), 조작 반력(하중), 가동부(21)의 속도, 가속도, 가가속도, 조작자의 손가락 등의 신체 부위의 탄성 특성, 혹은 이들의 물리 특성으로부터 유도되는 양 등이다. 본 명세서에서의 물리 파라미터는, 물리 특성의 1개 이상의 변수를 포함하는 것으로서 정의된다.
도 7은, 변환 모델 생성 방법 및 촉각 제시 방법의 구체예를 설명하는 플로우 차트이다. 도 7에 나타내는 플로우 차트에서는, 처리 단계가 「ST」로 나타나 있지만, ST1, ST2 등에는 인위적인 처리가 포함되고, ST3, ST4 등에는, 도 2에 나타내는 주제어 장치(10)의 프로세서(14)로 실행되는 처리가 포함된다.
도 7에 있어서의 ST1에서는, 동일한 기능이며 조작 감촉이 상이한 조작 도구를 복수개 준비한다. ST2에서는, 복수의 사용자에 의한 관능 시험을 행하고, 준비된 복수개의 조작 도구의 조작 감촉을, 감성 파라미터로서의 형용사의 표현 도수로 분류한다. ST3에서는, 촉각 제어 시스템(1)의 프로세서(14)가, 감성 파라미터로서의 형용사의 표현 도수와, 조작 도구가 조작될 때의 감각 제시를 실현하는 물리 특성에 포함되는 물리 파라미터를, 상관 계수 등에 의거하여 관련짓는다. 감성 파라미터와 물리 파라미터에는 각각 적어도 1개의 변수가 포함된다. 관련지어진 감성 파라미터와 물리 파라미터는, 도 1에 나타나는 감성 데이터 베이스(16)로서 기억된다. ST4에서는, 프로세서(14)가, 변환 모델(15)을 이용하여, 새롭게 입력을 접수하는 감성 파라미터로서의 형용사의 표현 도수에 상관한 물리 파라미터로 변환시킨다. 연산 기능부(12)에 있어서 물리 파라미터에 의거하는 촉각 제시 신호가 생성되고, 연산 기능부(13)로부터 촉각 제시 신호가 출력된다. 이 촉각 제시 신호에 의해 촉각 제시 장치(20)가 동작되어, 촉각이 제시된다. 물리 파라미터에 의거하는 촉각 제시 신호에 의해, 도 4에 나타나는 계수 「Kv」, 「Ks」, 및 「C」 중 적어도 1개를 제어함으로써, 촉각 제시 장치(20)를 개재하여 감성 파라미터에 대응하는 촉각이 제시된다.
도 7의 ST1에서는, 예를 들면 조작 도구로서, 접시 형상 판스프링 또는 돔 형상 판스프링을 가지는 실제의 제품인 택트 스위치(등록상표) 등의 가압형 조작 도구를 복수개 준비한다. 도 11에, 가압형 조작 도구를 가압 조작하였을 때의 조작 반력의 변화가 모식적으로 나타나 있다. 도 11은, 조작에 따른 변이를 가로축, 조작하는 사용자의 손가락 등의 신체 부위에 작용하는 조작 반력(하중)을 세로축으로 하는 좌표 평면에 있어서의, 조작 도구로서의 가압형 조작 도구가 조작될 때의 감각 제시를 실현하는 물리 특성을 나타내고 있다. 본 명세서에 있어서, 「조작 도구의 조작에 따른 변이」는, 조작 도구의 조작량, 조작 도구의 조작 시간, 또는, 당해 조작량과 당해 조작 시간과의 조합 등을 포함한다. 즉, 조작 도구가 조작될 때의 감각 제시를 실현하는 물리 특성은, 조작 도구의 조작량과 조작 반력의 관계, 조작 도구의 조작 시간과 조작 반력의 관계, 조작 도구의 조작량과 조작 시간과의 조합과 조작 반력의 관계 중 어느 것으로 표현하는 것도 가능하다. 또한, 「조작 도구의 조작에 따른 변이」는, 조작 도구를 조작하는 조작자의 손가락 등의 신체 부위의 탄성 특성 등에 기인하는 변이도 포함할 수 있다. 도 11에서는, 「조작 도구의 조작에 따른 변이」는, 조작 도구로서의 가압형 조작 도구의 조작량이며, 이하에서는 적절히 「스트로크량 「x」」라고 기재한다. 또한, 조작 도구의 조작량은, 1차원 공간, 2차원 공간, 또는 3차원 공간에 있어서의 양이다. 도 11에서는, 조작 도구로서의 가압형 조작 도구의 조작량은, 가압 조작 방향을 따른 1차원 공간에 있어서의 양이다. 또한, 조작 도구는, 조작 도구의 조작에 따라 이동하는 가동부를 가져도 된다. 조작 도구로서의 가압형 조작 도구는, 가동부로서 사용자 등에 의해 가압 조작되는 손잡이부를 가진다. 따라서, 가압형 조작 도구의 조작량은, 가압형 조작 도구의 가동부의 이동량이어도 된다.
도 11에 나타내는 바와 같은, 조작 도구의 조작량(가동부의 이동량)을 가로축으로 하고, 조작 반력을 세로축으로 하는 좌표 평면에 있어서의, 조작 도구가 조작될 때의 감각 제시를 실현하는 물리 특성을 나타내는 곡선은, F-S 커브(Force Stroke Curve), 휠링 커브, 작동력 곡선, 하중 변위 곡선 등이라고 칭해진다. 이하에서는, 적절히 「하중 변위 곡선」이라고 기재한다. 도 11에 나타내는 바와 같이, 사용자가 가압형 조작 도구를 가압 조작하고, 가압 조작 방향의 스트로크량 「x」가 증대함에 따라, 접시 형상 판스프링 또는 돔 형상 판스프링의 압축 변형에 따라 조작 반력이 서서히 증가한다. 스트로크량 「x」가 극대 위치 Pmax에 이르면, 조작 반력이 극대값(Tmax)이 된다. 가압형 조작 도구가 더 눌리면, 접시 형상 판스프링 또는 돔 형상 판스프링이 좌굴 변형되어 반전 조작 반력이 급격하게 저하된다. 스트로크량 「x」가 극소 위치 Pmin에 이르면, 조작 반력이 극소값(Tmin)이 된다. 그 후, 사용자가 추가로 가압형 조작 도구를 누르면, 좌굴 변형 후의 접시 형상 판스프링 또는 돔 형상 판스프링이 압축되어 조작 반력이 계속해서 증가하여, 접시 형상 판스프링 또는 돔 형상 판스프링이 고정 접점에 접촉하는 최종 스트로크 위치에 이른다. 도 11에서는, 극소 위치 Pmin에서부터 최종 위치까지 눌리는 도중에 조작 반력이 극대값(Tmax)과 동등해졌을 때의 스트로크를 하중 회복 위치 Pend로 하고 있다.
사용자가 가압형 조작 도구를 접점이 접촉하는 최종 스트로크 위치까지 누른 후에, 가압형 조작 도구로의 가압력을 해제하면, 접시 형상 판스프링 또는 돔 형상 판스프링의 탄성 복원력에 의해, 가압형 조작 도구의 가동부로서의 손잡이부가 초기의 위치로 복귀한다. 조작 장치(33)가 복귀할 때의 하중 변위 곡선은, 도 11에 나타나는 가압 조작에 따른 변위를 증대시킬 때의 하중 변위 곡선에 대하여 히스테리시스를 가진다. 이하에서는, 설명의 편의상, 가압 조작에 따른 변위를 증대시킬 때의 하중 변위 곡선만을 사용하여 동작을 설명한다.
복수개(합계 23개)의 가압형 조작 도구를, 최종 스트로크까지 눌렀을 때의 전(全)스트로크량에 따라, (A) (B) (C)의 각 군으로 분류했다. 분류 (A)는 전스트로크량이 0.25㎜ 이상이고 0.35㎜ 이하, 분류 (B)는 전스트로크량이 0.15㎜ 이상이고 0.25㎜ 미만, 분류 (C)는 전스트로크량이 0.15㎜ 미만이다.
상기 서술의 복수개의 가압형 조작 도구에 대하여, 25명의 사용자에 의한 관능 시험을 행했다. 관능 시험에서는, 사용자가 느낀 조작 감촉(촉각)을 SD법에 의한 표현 도수로 분류했다. 여기서의 관능 시험에서는, 감성 파라미터로서, 소정의 감성 파라미터 A를 이용하여, 「1」, 「2」, 「3」, 「4」, 「5」, 「6」, 「7」의 7단계로 평가하고 있다. 이 관능 시험에서는, 분류 (A)의 가압형 조작 도구는, 감성 파라미터 A의 표현 도수가 「1」 부근에서 「6」 부근까지의 폭넓은 불균일이 되었다. 분류 (B)의 가압형 조작 도구는, 감성 파라미터 A의 표현 도수가 「2.5」 부근에서 「3.5」 부근의 중간의 영역에서의 불균일이 되었다. 분류 (C)의 가압형 조작 도구는, 감성 파라미터의 표현 도수가 「3.5」 부근에서 「6」 부근까지의 불균일이 되었다. 여기서, 감성 파라미터 A는, 예를 들면, 「결정감」, 「쾌적성」, 「촉감」 등에 관한 파라미터이며, 구체적으로는 「결정감」에 관한 파라미터인 경우, 표현 도수가 작을수록 「결정감이 높다」고 하고, 표현 도수가 클수록 「결정감이 낮다」고 하는 파라미터여도 된다.
상기 서술한 바와 같이, 감성 파라미터 A와, 물리 파라미터로서의 가압형 조작 도구의 전스트로크량과의 사이의 상관 관계는, 반드시 명확하지는 않다. 따라서, 상기 서술의 23개의 가압형 조작 도구에 대하여, 분류한 전스트로크량 이외의 물리 특성에 착목하고, 그 물리 특성으로부터 추출한 물리 파라미터와, 감성 파라미터 A와의 상관 관계의 유무를 검토했다. 도 9에, 전스트로크량이 상이한 3개의 가압형 조작 도구의 하중 변위 곡선 (i), (ii), (iii)이 나타나 있다. 도 10의 (A)에서는, 하중 변위 곡선 (i)의 오목부의 면적 S4-1과 하중 변위 곡선 (ii)의 오목부의 면적 S4-2를, 동작의 물리량의 변수로서 취출하고, 도 10의 (B)에 있어서 면적 S4-1과 면적 S4-2를 각각의 극소값(Tmin)이 일치하도록 평행 이동시켜 비교하고 있다.
도 11에 나타나는 바와 같이, 면적 S4는, 조작 도구의 조작량을 가로축으로 하고, 조작 반력을 세로축으로 하는 좌표 평면에 있어서, 조작 반력이 극대값(Tmax)으로부터 극소값(Tmin)을 거쳐 극대값(Tmax)과 동일한 조작 반력으로 복귀하는 위치까지의 오목부의 면적이다. 바꿔 말하면, 면적 S4는, 상기 좌표 평면에 있어서, 하중 변위 곡선과, 당해 하중 변위 곡선의 극대값(Tmax)을 지나 가로축과 평행한 직선으로 구획되는 영역의 면적이다. 면적 S4를 나타내는 디멘션은 「(스트로크량의) 거리×(조작 반력의) 하중」으로 나타나고, 이 디멘션은 에너지(일의 양)와 등가이다. 즉, 면적 S4는, 사용자가 가압형 조작 도구를 조작할 때에 조작 반력이 감소함으로써, 사용자가 예견하고 있던 소비 에너지보다 감소한 에너지(잃어버려진 에너지)에 상당한다. 면적 S4의 존재에 의해, 사용자는 가압 조작 방향으로 인입되는 감각을 느끼게 된다.
또한, 도 9에 있어서 하중 변위 곡선 (iii)으로 나타나는 조작 반력은, 스트로크가 제로일 때에 프리 로드를 가지고 있다. 이 프리 로드에 의해, 조작에 있어서의 이른바 「여유」가 발생한다. 이 「여유」도 물리 파라미터의 하나로서 채용할 수 있다.
도 12에서는, SD법에 의한 표현 도수인 감성 파라미터 A와, 조작 도구가 조작될 때의 감각 제시를 실현하는 물리 특성으로부터 추출된 물리 파라미터인 면적 S4와의 관련을 나타내는 그래프이다. 도 12의 가로축은, 감성 파라미터 A를 나타내고, 세로축은 물리 파라미터인 면적 S4를 나타내고 있다. 도 12에 나타나는 바와 같이, 전스트로크량이 0.35-0.15㎜의 합계 23개의 가압형 조작 도구에서는, 도 11에 나타나는 면적 S4의 대소와, 감성 파라미터 A의 표현 도수에 상관 관계가 있는 것을 알 수 있다. 즉, 23개의 가압형 조작 도구에 관해, 면적 S4를 크게 할수록, 감성 파라미터 A의 표현 도수가 작아지는 부(負)의 상관 관계를 가지는 것을 알 수 있다. 여기서, 감성 파라미터와 물리 파라미터가 상관 관계를 가지는 경우, 감성 파라미터와 물리 파라미터와의 사이의 상관 계수의 절대값은, 0.5 이상인 것이 바람직하고, 0.7 이상인 것이 보다 바람직하다.
물리량인 면적 S4의 규격화로서는, 가압형 조작 도구의 전스트로크량을 소정의 범위로 한정해 두는 것이 바람직하다. 예를 들면, 가압형 조작 도구의 전스트로크량은, 0.05㎜ 이상 0.5㎜ 미만인 것이 바람직하고, 0.05㎜ 이상 0.35㎜ 미만인 것이 보다 바람직하다.
이와 같이, 상기의 예에서는, 조작 도구의 조작에 따른 변이에 대한 조작 반력의 변화가, 적어도 극대부와 극소부를 가진다. 그리고, 물리 파라미터는, 조작에 따른 변이와 조작 반력을 각각 축으로 하는 좌표 평면에 있어서, 조작 반력이 극대부에서부터 극소부를 거쳐 극대부와 동일한 크기로 이행하는 좌표까지의 오목부의 면적에 의거하는 변수를 포함한다. 여기서, 극대부는 도 11에 나타내는 하중 변위 곡선에 있어서의 극대값(Tmax)을 포함하는 부분이며, 극소부는 도 11에 나타내는 하중 변위 곡선에 있어서의 극소값(Tmin)을 포함하는 부분이다.
도 2에 나타나는 촉각 제어 시스템(1)은, 변환 모델(15)을 이용하여, 입력을 접수한 감성 파라미터 A의 표현 도수를, 이 감성 파라미터 A와 상관하는 물리 파라미터인 면적 S4로 변환하고, 연산 기능부(12)에 있어서 그 면적 S4를 포함하는 하중 변위 곡선을 연산하여, 하중 변위 곡선을 포함하는 1개의 촉각 제시 신호를 설정한다. 또한, 연산 기능부(12)에 있어서, 동일 면적 S4를 가지지만 스트로크나 하중 등이 상이한 복수의 하중 변위 곡선이 연산되고, 이들 하중 변위 곡선을 포함하는 복수의 촉각 제시 신호가 설정된다. 혹은, 변환 모델(15)에 있어서, 미리 면적 S4의 대소와 관련지어진 복수 종류의 하중 변위 곡선이, 감성 파라미터 A의 표현 도수와 관련지어 기억되어 있으며, 연산 기능부(12)에 있어서, 입력을 접수한 감성 파라미터 A의 표현 도수에 대응하는 하중 변위 곡선의 정보를 기억부(11)로부터 독출하여, 촉각 제시 신호를 생성해도 된다.
입출력 장치(3)의 입력부(4)에서는, 「2」, 「3」, ·· 등의 정수의 표현 도수, 또는, 「2」 「2.5」, 「3」, 「3.5」, ··· 등 소수를 포함하는 표현 도수뿐만 아니라, 「2-2.5」, 「2.5-3」, 「3-3.5」 「3.5-4」, ··· 등, 표현 도수의 수치 범위의 입력을 접수할 수도 있다. 촉각 제어 시스템(1)은, 변환 모델(15)을 이용하여, 입력부(4)를 개재하여 입력을 접수한 감성 파라미터의 표현 도수에 대응하는 물리 파라미터인 면적 S4를 가지는 하중 변위 곡선을 1개 혹은 복수 변환한다. 변환된 1개 혹은 복수의 하중 변위 곡선의 정보를 입출력 장치(3)에 출력하고, 입출력 장치(3)가 1개 혹은 복수의 하중 변위 곡선을 표시부(5)에 표시시킨다. 사용자는 표시부(5)에 표시된 1개의 하중 변위 곡선을 확인하거나, 또는 복수 표시된 하중 변위 곡선 중 어느 것을 선택한다. 이 확인 지령 또는 선택 지령이 입력부(4)로부터 프로세서(14)에 부여되면, 연산 기능부(12)에 있어서 선택된 하중 변위 곡선에 의거하는 촉각 제시 신호가 설정되고, 연산 기능부(13)로부터 촉각 제시 장치(20)에 촉각 제시 신호가 출력된다. 그 결과, 촉각 제시 장치(20)의 조작 장치(33)를 조작하였을 때에, 사용자가 희망하는 감성 파라미터의 표현 도수에 대응한 조작 감촉을 제시할 수 있다.
또한, 입력부(4)로부터의 입력 항목으로서, 감성 파라미터 A의 표현 도수와 함께, 「스트로크량」이나 「조작 반력의 크기」 등의 물리 파라미터를 직접 지정할 수 있어도 된다. 예를 들면, 촉각 제어 시스템(1)은, 입력부(4)를 개재하여, 감성 파라미터 A의 표현 도수와 함께, 물리 파라미터로서 「스트로크량 0.25-0.35㎜」의 입력을 접수하면, 분류 (A)에 포함되는 복수의 하중 변위 곡선 중, 상기 형용사의 표현 도수에 일치한 면적 S4를 가지는 하중 변위 곡선을 선택하고, 이 하중 변위 곡선에 의거하여 촉각 제시 신호를 생성한다. 또는, 촉각 제어 시스템(1)은, 입력부(4)를 개재하여, 감성 파라미터 A의 표현 도수와 함께, 물리 파라미터로서 「조작 반력의 크기」의 수치 항목의 입력을 접수하면, 감성 파라미터 A의 표현 도수와, 물리 파라미터로서의 「조작 반력의 크기」와의 쌍방에 의거하는 촉각 제시 신호를 생성해도 된다.
지금까지의 설명에서는, 전스트로크량을, 예를 들면 0.35-0.15㎜의 범위로 한정하고, 그 범위를 기준으로 하여, 면적 S4의 대소인 물리 파라미터와, 형용사의 표현 도수인 감성 파라미터를 관련짓고 있다. 다만, 상기 전스트로크량의 범위 이외의 수치 범위를 기준으로 하여, 면적 S의 대소와, 감성 파라미터의 표현 도수를 관련지어도 된다. 예를 들면, 도 11에 나타나는 극대값(Tmax), 극소값(Tmin), 극대값 마이너스 극소값(Tmax-Tmin), 클릭 스트로크(Pend-Pmax), 압입 스트로크(Pmax/(Pend-Pmax)), 클릭 스트로크비(Pmax/Pend), 압입 스트로크비(Pmax/(Pend-Pmax)) 등에서, 소정의 수치 범위를 설정하고, 이 수치 범위를 기준으로 해도 된다. 혹은, S4 이외의 면적 S1, S2, S3 또는 그들의 비로 소정의 수치 범위를 설정하고, 그 수치 범위를 기준으로 해도 된다. 이들의 수치 범위를 기준으로 하여, 물리 파라미터인 면적 S4의 대소와, 감성 파라미터의 표현 도수를 관련짓는 것이 가능하다.
상기 서술한 23개의 가압형 조작 도구에 관한 것이며, 감성 파라미터 A 이외의 감성 파라미터에 대해서도, 25명의 사용자에 의해 조작 감촉의 관능 시험을 행했다. 그 결과가, 도 13~도 15에 나타나 있다. 도 13~도 15는, 감성 파라미터 A 이외의 감성 파라미터의 표현 도수와, 그 표현 도수에 따라 변화되는 면적 S4 이외의 물리 파라미터와의 관계가 나타나 있다.
도 13은, 가로축이, 감성 파라미터 B의 표현 도수를 나타내고 있다. 세로축은, 물리 파라미터로서의 가압형 조작 도구의 스트로크량에 관한 변수를 나타내고, 예를 들면 도 11에 나타나는 「클릭 스트로크(Pend-Pmax)」이다. 도 13에서는, 물리 파라미터로서의 「클릭 스트로크(Pend-Pmax)」가 커짐에 따라, 감성 파라미터 B의 표현 도수가 작아지는 부(負)의 상관을 나타내고 있다. 감성 파라미터 B는, 예를 들면 「결정감」, 「쾌적성」, 「촉감」 등에 관한 파라미터이며, 구체적으로는 「쾌적성」에 관한 파라미터인 경우, 표현 도수가 작을수록 「쾌적한」 것으로 하고, 표현 도수가 클수록 「불쾌한」 것으로 하는 파라미터여도 된다.
이와 같이, 상기의 예에서는, 물리 파라미터는, 조작에 따른 변이의 양에 관한 변수를 포함한다. 보다 상세하게는, 조작 반력이 극대부에서부터 극소부를 거쳐 극대부와 동일한 크기로 이행하는 좌표까지의 변이의 양인 「클릭 스트로크(Pend-Pmax)」를 포함한다.
도 14는, 가로축이, 감성 파라미터 C의 표현 도수를 나타내고 있다. 세로축은, 물리 파라미터로서의 가압형 조작 도구의 하중에 관한 변수를 나타내고, 예를 들면 도 11에 나타나는 Pmax이다. 도 14에서는, 물리 파라미터로서의 Pmax가 작아짐에 따라, 감성 파라미터 C의 표현 도수가 작아지는 정(正)의 상관을 나타내고 있다. 감성 파라미터 C는, 예를 들면, 「결정감」, 「쾌적성」, 「촉감」 등에 관한 파라미터이며, 구체적으로는 「촉감」에 관한 파라미터인 경우, 표현 도수가 작을수록 조작 감촉이 부드럽게 느껴지고, 표현 도수가 클수록 조작 감촉이 딱딱하게 느껴지는 것을 나타내는 것이어도 된다.
도 15는, 가로축이, 감성 파라미터 D의 표현 도수를 나타내고 있다. 세로축은, 물리 파라미터로서의 가압형 조작 도구의 스트로크량에 관한 변수이며, 예를 들면 도 11에 나타나는 「압입 스트로크비 (Pmax)/(Pend-Pmax)」이다. 도 15에서는, 물리 파라미터로서의 「압입 스트로크비 (Pmax)/(Pend-Pmax)」가 커짐에 따라 감성 파라미터 D의 표현 도수가 커지는 정의 상관을 나타내고 있다. 감성 파라미터 D는, 예를 들면, 「결정감」, 「쾌적성」, 「촉감」 등에 관한 파라미터이며, 구체적으로는 「촉감」에 관한 파라미터인 경우, 표현 도수가 클수록 촉감이 예리하게 느껴지고, 표현 도수가 작을수록 촉감이 둔하게 느껴지는 것을 나타내는 것이어도 된다.
이와 같이, 상기의 예에서는, 물리 파라미터는, 조작에 따른 변이의 양에 관한 변수를 포함한다. 보다 상세하게는, 조작 반력이 극대부에서부터 극소부를 거쳐 극대부와 동일한 크기로 이행하는 좌표까지의 변이의 양인 「클릭 스트로크(Pend-Pmax)」와, 조작의 개시에서부터 상기 극대부까지의 변이의 양인 「Pmax」와의 비인 「압입 스트로크비 (Pmax)/(Pend-Pmax)」에 관한 변수를 포함한다.
변환 모델(15)에서는, 감성 파라미터와 물리 파라미터와의 상관으로서, (1) 도 12에 나타내는 감성 파라미터 A의 표현 도수와 물리 파라미터인 면적 S4와의 관계, (2) 도 13에 나타내는 감성 파라미터 B의 표현 도수와 물리 파라미터인 클릭 스트로크와의 관계, (3) 도 14에 나타내는 감성 파라미터 C의 표현 도수와 물리 파라미터인 극대값 마이너스 극소값과의 관계, (4) 도 15에 나타내는 감성 파라미터 D의 표현 도수와 물리 파라미터인 압입 스트로크비와의 관계를 포함하는, 복수의 관계가 기억되어 있어도 된다. 이들 (1)-(4) 중 어느 1개 또는 복수의 관계가 조합되어 하중 변위 곡선 등의 물리량에 포함되는 물리 파라미터가 연산되어, 촉각 제시 신호가 생성된다.
그런데, 전술한 바와 같이, 도 4에 나타나는 촉각 제시부(30)의 가동부(21)의 가속도는, 가속도 센서(28)로 검지 가능하다. 실제의 가압형 조작 도구에서는, 접시 형상 판스프링 또는 돔 형상 판스프링이 눌려져 좌굴 변형되어 반전할 때에, 진동이 발생하여, 가압 조작하고 있는 손가락 등의 신체 부위에 진동을 전달함으로써, 조작 감촉을 제시한다.
도 16의 (A), (B), (C)는, 3개의 조작 도구로서의 가압형 조작 도구를 가압 조작하였을 때의, 가압형 조작 도구의 가동부의 가속도를 나타내는 시뮬레이션 데이터이다. 사용자에 의한 3개의 가압형 조작 도구를 이용한 관능 시험에 의해, 가압 조작의 조작 감촉과 관련된 감성 파라미터 E의 표현 도수와, 물리 파라미터로서의 조작 도구의 가동부의 가속도와의 관계를 조사했다. 가압형 조작 도구의 접시 형상 판스프링 또는 돔 형상 판스프링이 좌굴 변형될 때의 가속도의 피크 투 피크값은, 도 16의 (A)의 가압형 조작 도구가 가장 크고, (B), (C)의 순서로 작아지고 있다. 또한, 사용자에 의한 관능 시험에서는, 도 16의 (A)의 가압형 조작 도구의 조작에 대한 감성 파라미터 E의 표현 도수가 가장 작고, (B), (C)의 순서로 표현 도수가 증가하는 결과가 되었다. 감성 파라미터 E는, 예를 들면, 「결정감」, 「쾌적성」, 「촉감」 등에 관한 파라미터이며, 구체적으로는 「쾌적성」에 관한 파라미터인 경우, 표현 도수가 작을수록 「쾌적함」으로 하고, 표현 도수가 클수록 「불쾌함」으로 하는 파라미터여도 된다.
상기 서술의 관능 시험에 의거하여, 변환 모델(15)에, 감성 파라미터 E의 표현 도수와, 물리 파라미터인 조작 도구의 가동부의 가속도와의 상관 관계를 기억해도 된다. 촉각 제어 시스템(1)은, 변환 모델(15)을 이용하여, 입력부(4)에 의해 입력되는 감성 파라미터 E의 표현 도수를, 물리 파라미터인 조작 도구의 가동부의 가속도로 변환하고, 이 가속도에 의거하는 촉각 제시 신호를 생성하여, 당해 촉각 제시 신호를 출력함으로써, 촉각 제시 장치(20)에 의해 희망의 조작 감촉을 재현할 수 있다. 예를 들면, 조작 도구의 가동부의 물리 파라미터(이동량, 속도, 가속도, 가가속도 등)에 의거하여, 촉각 제시 장치(20)의 가동부(21)가 대응하는 물리 파라미터를 제어하는 촉각 제시 신호를 생성해도 된다.
[촉각 제시 장치(20)의 동작예]
도 8은, 촉각 제시 장치(20)의 제어 동작예의 플로우 차트를 나타낸다. 플로우 차트에 나타나는 처리는, 촉각 제시 장치(20)에 포함되는 프로세서(18)의 제어 동작으로 실행된다. 도 8의 ST11에 있어서, 연산 기능부(13)로부터 촉각 제시 장치(20)의 프로세서(18)에 촉각 제시 신호가 부여되고, ST12에 있어서, 물리 파라미터에 의거하여 선택된 하중 변위 곡선에 의거하는 제어가 개시된다. ST13에 있어서, 조작 장치(33)가 조작되면 위치 센서(27)와 가속도 센서(28)로부터 가동부(21)에 관한 검지 신호가 얻어진다. 프로세서(18)에서는, 감성 파라미터인 표현 도수에 대응하여 설정된 하중 변위 곡선의 동작 프로파일과 가동부(21)의 검지 위치와의 차분이 계산된다. ST14에서, 촉각 제시부(30)의 코일(25)에 부여되는 전류(I)가 최적화되어, 사용자가 희망하는 감성 파라미터의 표현 도수를 재현할 수 있도록 촉각이 제시된다.
[촉각 제시 장치(20)의 변형예]
도 17~도 19를 참조하여, 촉각 제어 시스템(1)에 포함되는 촉각 제시 장치(20)의 변형예에 대하여 설명한다. 도 19에 예시되는 촉각 제시 장치(40)는, 회전형 조작 도구의 촉각을 재현하는 것이다. 회전형 조작 도구는, 예를 들면 로터리 스위치이다.
도 19에 나타나는 촉각 제시 장치(40)는, 프로세서(41)와, 촉각 제시부(43)와, 센서(45)를 가진다. 촉각 제시 장치(40)는, 조작 장치(42)를 회전 조작하는 사용자에 대하여 촉각을 제시한다. 조작 장치(42)는, 촉각 제시 장치(40)에 기계적으로 내장되어 있어도 되고, 촉각 제시 장치(40)의 외부에 마련되어 있어도 된다.
촉각 제시부(43)는, 저항 토크 발생 장치(43a)와, 회전 토크 발생 장치(43b)를 포함한다. 저항 토크 발생 장치(43a)는, 조작 장치(42)의 회전 조작부의 회전 조작에 대하여, 회전 방향과는 역방향으로 저항 토크를 가변으로 부여한다. 저항 토크 발생 장치(43a)는, 예를 들면, 자성 재료로 형성된 요크와, 요크에 자계를 부여하는 코일을 가지고 있다. 조작 장치(42)의 회전 조작부의 회전 조작과 연동하여 회전하는 회전판이, 요크의 자기 갭 내에 위치하고 있으며, 자기 갭 내에서는, 요크와 회전판과의 사이에 자기 점성 유체가 충전되어 있다. 또한, 자기 점성 유체 대신에 자성 분말을 사용하는 것도 가능하다. 코일에 부여되는 전류를 제어함으로써 자기 점성 유체의 응집 상태가 변화되고, 저항 토크가 가변된다. 저항 토크 발생 장치(43a)는, 상기 구성의 외에, 예를 들면 회전 모터를 포함하고, 회전 모터에 의해 저항 토크를 가변으로 할 수 있다. 회전 토크 발생 장치(43b)는, 조작 장치(42)의 회전 조작부의 회전 조작에 대하여, 회전 방향으로 회전 토크를 가변하도록 부여한다. 회전 토크 발생 장치(43b)는, 예를 들면 회전 모터를 포함한다. 센서(45)는 조작 장치(42)의 회전 조작부의 회전 각도를 검지한다.
도 18에는, 회전형 조작 도구인 로터리 스위치의 조작 반력에 관한 하중 변위 곡선이 나타나 있다. 로터리 스위치는, 360도(1회전)가 복수의 분할 각도로 구분되어 있으며, 각각의 분할 각도 내에서 조작 반력이 변화되고, 각각의 분할 각도 내에서 동일한 조작 반력의 변화가 반복된다. 도 18에 1개의 분할 각도 내에서의 조작 반력의 변화가 나타나 있다. 도 18의 가로축은 로터리 스위치의 조작량으로서의 회전 조작부의 회전 각도를 나타내고, 세로축의 정측은, 로터리 스위치의 회전 조작부에 대하여 조작 방향과는 반대 방향으로 작용하는 저항 토크의 크기를 나타내고, 세로축의 부측은, 회전 조작부에 대하여 조작 방향과 동일한 방향으로 작용하는 회전 토크의 크기를 나타내고 있다. 로터리 스위치에는, 각각의 분할 각도내에 스프링 접점이 마련되어 있다. 분할 각도 내에서 회전 조작을 개시하면, 스프링 접점이 수축하여 회전 조작부에 작용하는 저항 토크가 증대해 나간다. 저항 토크가 극대값(Rmax)을 초과하면, 그 후에는 스프링 접점의 복원력에 의해 회전 조작부가 회전 조작 방향으로 눌리게 되어, 저항 토크가 작아지고, 또한 스프링 접점으로부터 회전 조작부에 대하여, 조작 방향을 향해진 회전 토크가 작용한다. 이 때문에, 회전 조작부를 회전 조작할 때에, 분할 각도마다 손가락에 조작 감촉이 얻어진다.
변환 모델(15)에는, 회전 조작에 관한 감성 파라미터의 표현 도수와, 물리 파라미터와의 상관 관계가 기억되어 있다. 촉각 제어 시스템(1)은, 입력부(4)를 개재하여, 감성 파라미터의 표현 도수의 입력을 접수한다. 그 후, 촉각 제어 시스템(1)의 프로세서(14)는, 변환 모델(15)을 이용하여, 접수한 감성 파라미터를 물리 파라미터로 변환하고, 그 물리 파라미터에 의거하는 촉각 제시 신호를 생성한다. 그리고, 프로세서(14)는, 생성한 촉각 제시 신호를, 도 19에 나타나는 촉각 제시 장치(40)에 포함되는 프로세서(41)에 출력한다. 촉각 제시 장치(40)는, 조작 장치(42)의 회전 조작부가 사용자의 손가락 등의 신체 부위에 의해 회전 조작되면, 회전 조작부의 회전 각도를 센서(45)로 검지하고, 그 검지 출력을 프로세서(41)에 피드백한다. 프로세서(41)에 의해 촉각 제시부(43)가 제어됨으로써, 조작 장치(42)의 회전 조작부가 회전 조작될 때의 저항 토크와 회전 토크가 제어되고, 감성 파라미터의 표현 도수를 재현한 로터리 스위치를 모방한 촉각을 제시할 수 있다.
도 17은, 감성 파라미터의 표현 도수와 관련된 물리 특성의 일례로서, 저항 토크의 변화를 설명하는 설명도이다. 도 17의 (A)에는, 4개의 로터리 스위치를 회전 조작하였을 때의 조작 반력이 하중 변위 곡선으로 나타나 있으며, 도 17의 (B)에는, 도 17의 (A)로 나타난 각각의 하중 변위 곡선상에서의 곡률의 변화가 나타나 있다. 복수의 사용자에 의한 관능 시험에서는, 손가락 등의 신체 부위에 의해 회전 조작부를 회전시키면, 저항 토크가 극대값(Rmax)이 되는 정상부를 통과하지만, 이 정상부에서의 동작선의 변화의 곡률이 작을수록, 감성 파라미터 F의 표현 도수가 높아진다는 결론이 얻어졌다. 즉, 감성 파라미터 F의 표현 도수는, 회전 부하의 증대로부터 감소로 이행하는 변곡부의 곡률과 상관하는 것이 확인되었다. 이 때문에, 변환 모델(15)은, 감성 파라미터 F의 표현 도수와, 저항 토크의 변화의 곡률을 변수로 하는 물리 파라미터와의 상관 관계를 기억함으로써, 촉각 제시 장치(40)로, 감성 파라미터 F의 표현 도수를 실현하는 회전 조작 감촉을 촉각으로서 제시할 수 있다. 감성 파라미터 F는, 예를 들면, 「결정감」, 「쾌적성」, 「촉감」 등에 관한 파라미터이며, 구체적으로는 「촉감」에 관한 파라미터인 경우, 표현 도수가 클수록 촉감이 예리하게 느껴지고, 표현 도수가 작을수록 촉감이 둔하게 느껴진다고 하는 파라미터여도 된다.
이와 같이, 상기의 예에서는, 조작 도구의 조작에 따른 변이에 대한 조작 반력의 변화가, 적어도 극대부를 가진다. 또한, 물리 파라미터는, 극대값(Rmax)을 포함하는 극대부의 곡률에 관한 변수를 포함한다. 여기서, 극대부는 도 18에 나타내는 하중 변위 곡선에 있어서의 극대값(Rmax)을 포함하는 부분이다.
또한, 도 18에 나타나는 바와 같이, 로터리 스위치의 조작량으로서의 회전 각도에 있어서의 분할 각도의 시점으로부터의 저항 토크의 상승 벡터(Tb)의 각도나, 저항 토크의 상승부에 있어서 하중 변위 곡선으로 나타나는 면적(Sa와 Sb)의 비 등, 회전 부하의 증대의 상승에 관한 변수를 포함하는 물리 파라미터와, 감성 파라미터로서의 「조작이 딱딱한, 저항감」 등의 형용사의 표현 도수를 관련지을 수 있다. 이와 같이, 본 예에서는, 물리 파라미터는, 조작의 개시로부터 극대부에 걸친 조작 반력의 상승에 관한 변수를 포함한다.
여기서, 도 18에 나타낸 면적(Sa)은, 하중 변위 곡선과, 가로축과, 하중 변위 곡선과 극대값(Rmax)과의 교점을 지나 세로축에 평행한 직선으로 구획되는 면적이다. 바꿔 말하면, 면적(Sa)은, 하중 변위 곡선을, 조작량으로서의 회전 각도에 있어서의 분할 각도의 시점으로부터 조작 반력의 극대값(Rmax)이 될 때까지의 회전 각도의 범위로, 적분한 값이다. 면적(Sb)은, 하중 변위 곡선과, 세로축과, 극대값(Rmax)을 지나 가로축에 평행한 직선으로 구획되는 면적이다. 바꿔 말하면, 면적(Sb)은, 하중 변위 곡선과 극대값(Rmax)과의 교점의 회전 각도의 값을 한 변, 극대값(Rmax)을 타변으로 하는 장방형의 면적으로부터, 면적(Sa)을 뺀 면적이다. 즉, 가령, 하중 변위 곡선이 도 18의 파선으로 나타내는 바와 같이, 조작 개시로부터 조작 반력이 극대값(Rmax)에 이르기까지 좌표 평면 상에서 직선적으로 변화되는 경우에는, 면적(Sa):면적(Sb)=1:1이며, 면적(Sa)에 대하여 면적(Sb)가 작을수록, 하중 변위 곡선이 좌표 평면 상에서 세로축의 정측으로 불룩해져 있는 것을 나타낸다. 즉, 면적(Sa)와 면적(Sb)와의 비는, 하중 변위 곡선의 부풀어짐 상태를 나타낸다. 또한, 도 18에 나타낸 물리 파라미터로서의 저항 토크의 상승 벡터(Tb)는, 조작 반력의 조작량에 관한 미분에 관한 변수를 포함한다. 마찬가지로, 물리 파라미터는, 조작 반력의 조작 시간에 관한 미분에 관한 변수를 포함해도 되고, 조작 반력의 변이에 관한 이계미분에 관한 변수를 포함해도 된다.
또한, 도 18에 나타나는 조작 방향과 동일한 방향으로 작용하는 회전 토크(인입 토크)의 극대값(Dmax), 즉 회전 부하의 방향이 역전하는 인입량의 크기에 관한 변수와, 「회전이 빠른」 등의 형용사의 표현 도수를 관련지을 수도 있다. 이와 같이, 본 예에서는, 물리 파라미터는, 극소부가 부호(負號)가 되는 인입량의 크기에 관한 변수를 포함한다. 여기서, 극소부는 도 18에 나타내는 하중 변위 곡선에 있어서의 극대값(Dmax)을 포함하는 부분이다.
상기의 예에서는, 도 18이 회전형 조작 도구인 로터리 스위치의 조작 반력에 관한 하중 변위 곡선을 나타내고 있는 것으로 하여 설명했다. 그러나, 도 18은, 슬라이드 조작부로의 슬라이드 조작을 접수하는 슬라이드 스위치의 조작 반력에 관한 하중 변위 곡선을 나타내는 도면으로서도 이용할 수 있다. 즉, 도 18의 가로축은 슬라이드 조작부의 슬라이드 조작량을 나타내고, 세로축의 정측은 슬라이드 조작부의 슬라이드 조작에 대한 조작 반력을 나타내고 있다. 조작 반력은, 슬라이드 조작부의 슬라이드 조작량의 증가에 따라, 서서히 증가한 뒤 극대값(Rmax)에 도달하고, 극대값(Rmax)을 초과하면 감소로 바뀌어, 조작 방향과 동일한 방향으로 작용하는 인입력이 되어 극소값(세로축의 부측의 극대값) Dmax에 도달한다. 이와 같이 하여, 슬라이드 스위치의 조작에 따라, 조작 감촉을 제시할 수 있다. 또한, 로터리 스위치에 대하여 기재한 감성 파라미터와 물리 파라미터와의 상관 관계는, 슬라이드 스위치에 대해서도 마찬가지이다.
[감각 제어 방법의 제 1 변형예]
본 개시의 감각 제어 시스템(100)이 실행하는 감각 제어 방법의 제 1 변형예는, 감각 자극 신호를 취득하는 취득 단계와, 취득한 감각 자극 신호에 의거하여 감성 파라미터를 지정하는 지정 단계를 더 포함한다. 또한, 상기 서술한 감성 파라미터의 입력을 접수하는 접수 단계는, 사용자 등으로부터의 입력으로는 한정되지 않고, 지정 단계에서 지정된 감성 파라미터를 접수하는 단계이다. 이에 따라, 제 1 변형예와 관련된 감각 제어 시스템(100)은, 취득한 감각 자극 신호에 의거하여 감성 파라미터를 지정하고, 지정된 감성 파라미터와 상관하는 물리 파라미터에 의거하는 감각 제시 신호를 출력할 수 있다.
여기서, 감각 자극 신호는, 소리 등의 청각 자극 요소에 의거하는 청각 자극 신호, 화상이나 영상 등의 시각 자극 요소에 의거하는 시각 자극 신호, 조작 반력이나 진동 등의 촉각 자극 요소에 의거하는 촉각 자극 신호, 또는 이들의 임의의 조합에 의거하는 신호이다. 또한, 제 1 변형예와 관련된 감각 제어 시스템(100)은, 취득 단계에 있어서, 청각 자극 요소, 시각 자극 요소, 촉각 자극 요소, 또는 이들의 조합을 센싱함으로써, 감각 자극 신호를 생성 및 취득해도 된다.
또한, 제 1 변형예와 관련된 감각 제어 시스템(100)은, 지정 단계에 있어서, 감각 자극 신호의 기초가 되는 청각 자극 요소, 시각 자극 요소 및 촉각 자극 요소 중 적어도 1개(이하, 총칭하여 감각 자극 요소라고도 기재한다.)의 물리 특성에 포함되는 물리 파라미터를, 당해 물리 파라미터가 상관하는 감성 파라미터로 변환 및 지정해도 된다. 물리 파라미터를 상관하는 감성 파라미터로 변환하는데 있어서는, 상기 서술의 변환 모델(15)을 이용해도 되고, 변환 모델(15)과는 상이한 변환 모델을 이용해도 된다. 변환 모델(15)과는 상이한 변환 모델은, 변환 모델(15)과 마찬가지로, 감성 데이터 베이스(16)에 기억된 대응 정보에 의거하여, 기계 학습 등을 포함하는 AI 분석 등에 의해 생성 가능하다. 또한, 소리, 화상, 영상 등의 감각 자극 요소의 물리 특성에 포함되는 물리 파라미터는, 기계 학습 등을 포함하는 AI 분석 등에 의해 추출할 수 있다.
이상과 같이, 제 1 변형예와 관련된 감각 제어 시스템(100)은, 소리, 화상, 영상 등의 감각 자극 요소에 의거하는 감각 자극 신호를 취득함으로써, 감각 자극 요소의 물리 특성에 포함되는 물리 파라미터를 AI 분석 등에 의해 추출하고, 상관하는 감성 파라미터를 지정하여, 지정된 감성 파라미터와 상관하는 물리 파라미터에 의거하는 감각 제시 신호를 출력할 수 있다. 따라서, 예를 들면, 소리, 화상, 영상 등에 의거하여 조정된 감성 파라미터에 의한 촉각 제시 신호를 출력할 수 있다.
[감각 제어 방법의 제 2 변형예]
본 개시의 조작 장치(33)는, 슬라이드 조작을 접수하는 조작면을 가져도 된다. 슬라이드 조작은, 사용자의 손가락 등의 신체 부위를 조작 장치(33)의 조작면에 접촉시킨 채, 접촉 위치를 이동시키는 조작이다. 이 경우, 본 개시의 촉각 제시부(30)는, 조작 장치(33)의 조작면을 진동시킴으로써, 조작 반력을 발생시킨다. 조작 장치(33)의 조작면을 진동시키는 방법으로서는, 예를 들면, 액추에이터 등에 의한 추의 진동에 의한 것을 들 수 있다. 본 개시의 감각 제어 방법의 제 2 변형예에 있어서의 감각 제시 단계는, 이와 같은 조작 장치(33) 및 촉각 제시부(30)를 이용하여, 조작 장치(33)의 슬라이드 조작에 응답하여 촉각 제시부(30)로부터 조작 반력을 발생시킴으로써, 촉각을 제시하는 공정으로 할 수 있다. 상세하게는, 감각 제시 단계는, 조작 장치(33)의 조작면에서 슬라이드 조작이 행해지면, 그 슬라이드 조작을 조작 장치(33)에 의해 검출하고, 검출한 슬라이드 조작에 응답하여, 촉각 제시부(30)로부터 조작 반력을 발생시킨다.
제 2 변형예와 관련된 감각 제어 시스템(100)의 기억부(11)가 기억하는 변환 모델(15)에 의거하여 변환 가능한 물리 파라미터는, 조작 장치(33)의 슬라이드 조작에 따른 변이에 대한 조작 반력의 변화에 관한 파라미터를 포함하고, 당해 조작 반력의 변화가 적어도 극대부 또는 극소부를 포함한다. 그리고, 감각 제시 단계에 있어서, 이와 같은 물리 파라미터에 의거하는 촉각 제시 신호에 의해 촉각 제시부(30)를 제어함으로써, 조작 장치(33)의 슬라이드 조작에 따른 변이에 대한 조작 반력의 변화가 전술의 극대부 또는 극소부를 포함하도록 유사적으로 합성할 수 있다. 여기서, 촉각 제시부(30)는, 수신하는 촉각 제시 신호에 의거하여 조작 장치(33)의 조작면의 진동을 발생시키는 구동 신호를 공급함으로써, 구동 신호의 상승에서는 조작면을 제 1 방향으로 구동시키고, 구동 신호의 하강에서는 조작면을 제 1 방향과는 역방향의 제 2 방향으로 구동시킨다. 따라서, 구동 신호의 상승과 하강의 시간 변화를 각각 상이하게 하여, 소정 시간 평균에서의 상승에 대응하는 제 1 방향 또는 하강에 대응하는 제 2 방향으로의 동력을, 타방보다 크게 함으로써, 전술의 극대부 또는 극소부를 유사적으로 합성할 수 있다. 여기서, 조작 장치(33)의 조작면의 진동을 발생시키는 구동 신호는, 예를 들면 액추에이터 등에 의한 추를 구동시키는 신호여도 되고, 추의 진동에 의해 간접적으로 조작면의 진동을 발생시켜도 된다.
도 24는, 촉각 제시 신호에 의거하여 추에 공급하는 구동 신호의 강도의 시간 변화의 예를 나타낸 도이다. 도 24에 나타내는 예에서는, 구동 신호의 강도의 시간 변화가 정일 때, 추가 제 1 방향으로 구동하고, 구동 신호의 강도의 시간 변화가 부일 때, 추가 제 2 방향으로 구동한다. 도 24의 (a)에 나타내는 바와 같이, 추의 구동 신호의 상승 시간 변화의 쪽이, 추의 구동 신호의 하강의 시간 변화보다 소정 시간 평균에서 큰 경우, 구동 신호의 상승에 대응하는 제 1 방향으로의 동력이 구동 신호의 하강에 대응하는 제 2 방향으로의 동력보다 커진다. 한편, 도 24의 (b)에 나타내는 바와 같이, 추의 구동 신호의 하강의 시간 변화의 쪽이, 추의 구동 신호의 하강의 시간 변화보다 소정 시간 평균에서 큰 경우, 구동 신호의 상승에 대응하는 제 1 방향으로의 동력이 구동 신호의 하강에 대응하는 제 2 방향으로의 동력보다 커진다. 이와 같이, 도 24의 (a)에 나타내는 바와 같은 제 1 방향으로의 동력을 크게 하는 기간과, 도 24의 (b)에 나타내는 바와 같은 제 2 방향으로의 동력을 크게 하는 기간을 전환 제어함으로써, 전술의 극대부 또는 극소부를 유사적으로 합성할 수 있다.
제 1 방향 및 제 2 방향은, 조작 장치(33)의 조작면과 교차하는 방향이어도 되고, 조작면과 따르는 방향(평행 방향)이어도 된다. 예를 들면, 제 1 방향 및 제 2 방향을 조작 장치(33)의 조작면과 교차하는 방향으로 하면, 조작면 상에서 슬라이드 조작하는 사용자의 손가락 등의 신체 부위에 대하여, 조작면으로의 가압 방향의 항력이 변화되게 되어, 슬라이드 조작에 따른 신체 부위와 조작면과의 사이의 마찰력, 즉 조작 반력을 변화시킬 수 있다. 또한, 예를 들면, 제 1 방향 및 제 2 방향을 조작 장치(33)의 조작면과 따르는 방향으로 하면, 조작면 상에서 슬라이드 조작하는 사용자의 손가락 등의 신체 부위에 대하여, 조작면 상에서의 슬라이드 조작 방향의 항력이 변화되게 되어, 슬라이드 조작에 따른 신체 부위와 조작면과의 사이의 마찰력, 즉 조작 반력을 변화시킬 수 있다.
또한, 제 2 변형예와 관련된 감각 제어 시스템(100)의 기억부(11)가 기억하는 변환 모델(15)은, 이하의 기억 단계를 포함하는 변환 모델 생성 방법에 의해 얻어진 것이어도 된다. 즉, 제 2 변형예와 관련된 변환 모델 생성 방법의 기억 단계에 있어서, 감성 데이터 베이스(16)는, 소정의 조작 도구가 조작될 때의 감각 제시를 실현하는 물리 특성과, 당해 조작 도구의 조작을 반영하여 입력되는 감성 파라미터가 대응 지어진 대응 정보를, 1종류 이상의 조작 도구에 대하여 각각 기억한다. 여기서, 조작 도구는 슬라이드 조작을 접수하는 조작면을 가진다. 또한, 조작 도구의 슬라이드 조작에 따른 변이에 대한 조작 반력의 변화는, 적어도 극대부와 극소부를 포함한다. 여기서, 조작 반력은, 조작 도구의 조작면의 진동에 의해 발생한다. 조작 도구의 조작면의 진동은, 상기 서술의 조작 장치(33)의 조작면의 진동과 마찬가지로, 예를 들면 액추에이터 등에 의한 추의 진동에 의해 발생하는 간접적인 진동이어도 된다. 조작 도구의 슬라이드 조작에 따른 변이에 대한 조작 반력의 변화에 포함되는 극대부 또는 극소부는, 조작 도구의 조작면의 진동을 발생시키는 구동 신호의 상승과 하강의 시간 변화를 각각 상이하게 하여, 소정 시간 평균에서의 상승에 대응하는 방향 또는 하강에 대응하는 방향으로의 동력을 타방보다 크게 함으로써, 유사적으로 합성된다. 이와 같은 조작 도구를 이용함으로써, 본 예의 변환 모델(15)을 보다 용이하게 생성할 수 있다.
[감성 데이터 베이스(16)의 변형예]
본 개시의 감성 데이터 베이스(16)는, 전술한 바와 같이, 소정의 감각 제시에 관한 물리 특성과, 당해 감각 제시에 대한 감각 표현의 정도를 나타내는 감성 파라미터가 대응 지어진 대응 정보를, 1종류 이상의 감각 제시에 대해 각각 기억하고 있다. 감각 제시로서 주로 촉각 제시에 대하여 설명하였지만, 본 명세서에서 주로 언급하는 「촉각」은 광의(廣義)의 촉각이며, 광의의 촉각은, 협의(狹義)의 촉각, 압각(壓覺), 역각(力覺) 등을 포함하는 개념이다. 본 명세서에서는, 간단히 「촉각」이라고 기재한 경우에는 광의의 촉각을 의미한다. 여기서, 협의의 촉각은, 예를 들면 신체 부위가 접촉하는 물체 표면의 질감 등에 관한 감각이며, 예를 들면 요철이나 거칠기 등의 감각 표현과 관련된 감성 파라미터와 상관성이 높다. 압각은, 예를 들면 신체 부위와 물체와의 사이의 항력 등에 관한 감각이며, 예를 들면 경도 등의 감각 표현과 관련된 감성 파라미터와 상관성이 높다. 역각은, 예를 들면 신체 부위와 관련된 외력에 관한 감각이며, 예를 들면 끌리거나 눌리거나 하는 감각이다. 또한, 협의의 촉각, 압각 및 역각 각각에 주로 이러한 수용기는 상이하며, 각 수용기의 응답 특성에도 차이가 있는 것이 알려져 있다.
또한, 촉각 제시에 관한 물리 특성은, 정특성과 동특성을 포함한다. 정특성은, 예를 들면, 탄성을 무시할 수 있는 정도로 강성이 높은 기구 등(이하, 간단히 「강체」라고 기재한다.)으로 조작 도구를 일정한 조작 속도로 조작하였을 때에 얻어지는 물리 특성이다. 동특성은, 예를 들면, 인간의 손가락 등의 신체 부위를 모방한 유연 소재로 조작 도구를, 조작 속도를 변경하면서 조작하였을 때에 얻어지는 물리 특성이며, 정특성과는 상이하며, 신체 부위의 탄성 특성, 조작 속도, 조작 가속도, 조작 가가속도, 마찰력 등의 물리 파라미터도 포함하는 물리 특성이다.
감성 데이터 베이스(16)가 기억하는 대응 정보는, 광의의 촉각에 포함되는 협의의 촉각, 압각 및 역각에 관한 정보와, 물리 특성에 포함되는 정특성 및 동특성에 관한 정보 중 적어도 어느 것과 관련된 정보여도 된다. 예를 들면, 감성 데이터 베이스(16)가 기억하는 대응 정보는, 조작 도구의 조작의 단계에 따라, 협의의 촉각, 압각 및 역각 각각에 대한 정특성 및 동특성의 가중치 부여가 변화되는 정보여도 된다. 보다 구체적으로, 예를 들면, 조작을 개시한 직후의 조작 단계에서는 정특성의 가중치 부여를 동특성의 가중치 부여보다 크게 설정하고, 조작에 따른 변이에 대한 조작 반력의 변화가 커지는 조작 단계(예를 들면, 도 11 및 도 18에 나타내는 하중 변위 곡선에 있어서의 극대부나, 도 11에 나타내는 하중 변위 곡선에 있어서의 극소부에 상당하는 조작 단계)에서는 동특성의 가중치 부여를 정특성의 가중치 부여보다 크게 설정해도 된다. 이것은, 조작을 개시한 직후의 조작 단계에서는 조작 속도 등의 영향이 작은 경우가 있기 때문에, 그 경우에는 정특성으로 근사해도 물리 특성을 높은 정밀도로 재현할 수 있지만, 조작에 따른 변이에 대한 조작 반력의 변화가 커지는 조작 단계에서는 조작 속도 등의 영향이 큰 경우가 있기 때문에, 그 경우에는 동특성으로 근사한 쪽이 양호한 정밀도로 물리 특성을 재현할 수 있기 때문이다. 또한, 감성 데이터 베이스(16)가 기억하는 대응 정보는, 협의의 촉각, 압각 및 역각 각각에 주로 이러한 수용기의 응답 특성의 차이를 반영한 물리 특성을 포함하는 정보로 해도 된다. 이와 같은 대응 정보에 의거하여 변환 모델(15)을 생성함으로써, 사람의 감성을 보다 반영한 촉각 제시가 가능해진다.
(촉각 제어 시스템 2)
도 20은, 도 1에 나타난 감각 제어 시스템(100)의 제 2 실시 형태로서의 촉각 제어 시스템(2)의 구성을, 신호의 흐름과 함께 나타내고 있다.
도 20에 나타나는 촉각 제어 시스템(2)은, 단말 장치(80)와, 통신 장치(70)를 구비하고, 이들이 서로 네트워크(9)를 개재하여 통신 가능하게 접속되어 있다. 단말 장치(80)는, 주제어 장치(6)와, 입출력 장치(3)와, 촉각 제시 장치(20)를 구비한다. 주제어 장치(6)는, 프로세서(7)와 기억부(8)를 구비하고, 입출력 장치(3) 및 촉각 제시 장치(20)의 동작을 제어한다. 촉각 제시 장치(20)는, 촉각 제시부(30)와, 조작 범위 가변부(29)와, 위치 센서(27)나 가속도 센서(28) 등의 센서를 구비한다. 통신 장치(70)는, 예를 들면 서버 장치이며, 프로세서(14)와, 기억부(11)와, 연산 기능부(12)와, 연산 기능부(13)를 구비한다. 기억부(11)에는, 변환 모델(15)이 기억되어 있다.
촉각 제어 시스템(2)이 구비하는 구성 중, 입출력 장치(3)와, 촉각 제시 장치(20)와, 프로세서(14)와, 기억부(11)와, 연산 기능부(12)와, 연산 기능부(13)는, 도 2에 나타낸 촉각 제어 시스템(1)이 구비하는 동일한 부호로 나타나는 각 구성과 마찬가지이므로, 설명을 생략한다. 단말 장치(80)가 조작 장치(33)를 구비하고 있어도 되고, 촉각 제시부(30)가 조작 장치(33)를 조작하는 사용자에 대하여 촉각을 제시하는 것이어도 되는 점도, 촉각 제어 시스템(1)과 마찬가지이다. 또한, 촉각 제어 시스템(2)은, 촉각 제시부(30) 대신에 도 19에 나타낸 촉각 제시부(43)를 구비해도 되고, 조작 장치(33) 대신에 도 19에 나타낸 조작 장치(42)를 구비해도 된다.
도 21은, 촉각 제어 시스템(2)의 동작을 나타내는 시퀀스도이다. 도 21에서는, 촉각 제어 시스템(2)이 구비하는 단말 장치(80)와 통신 장치(70)가 각각 실행하는 처리를 단계(ST)에서 설명하고 있다. 우선, ST31에 있어서, 단말 장치(80)가 감성 파라미터의 입력을 접수한다. 구체적으로는, 단말 장치(80)는, 입출력 장치(3)의 입력부(4)를 개재하여, 사용자 등이 입력하는 감성 파라미터를 접수한다. 이어서, ST32에 있어서, 단말 장치(80)는, 감성 파라미터의 정보를 부호화하고, 부호화한 감성 파라미터의 정보를, 네트워크(9)를 개재하여 통신 장치(70)에 송신한다. 단말 장치(80)는, 감성 파라미터의 정보를 부호화하기 위한 인코더를 구비하고 있어도 된다. 또한, 단말 장치(80)는, 감성 파라미터의 정보의 전체를 부호화해도 되고, 일부만을 부호화해도 된다.
ST32의 이후, ST21에 있어서, 통신 장치(70)는, 단말 장치(80)로부터 수신한 정보를 복호(複號)하여 감성 파라미터의 정보를 취득한다. 통신 장치(70)는, 감성 파라미터의 정보를 복호하기 위한 디코더를 구비하고 있어도 된다. 이어서, ST22에 있어서, 통신 장치(70)는, 변환 모델(15)을 이용하여, 감성 파라미터를 당해 감성 파라미터에 상관하는 물리 파라미터로 변환한다. 이어서, ST23에 있어서, 통신 장치(70)는 변환한 물리 파라미터를 부호화하고, 부호화한 물리 파라미터의 정보를, 네트워크(9)를 개재하여 단말 장치(80)에 송신한다. 통신 장치(70)는, 물리 파라미터의 정보를 부호화하기 위한 인코더를 구비하고 있어도 된다. 또한, 통신 장치(70)는, 물리 파라미터의 정보의 전체를 부호화해도 되고, 일부만을 부호화해도 된다.
ST23의 이후, ST33에 있어서, 단말 장치(80)는, 수신 정보를 복호하여 물리 파라미터의 정보를 취득한다. 단말 장치(80)는, 물리 파라미터의 정보를 복호하기 위한 디코더를 구비하고 있어도 된다. 그 후, ST34에 있어서, 단말 장치(80)는, 물리 파라미터에 의거하는 촉각 제시 신호를 생성하고, 촉각 제시 장치(20)를 동작시킨다. 또한, ST32, ST21, ST23, ST33에 있어서의 부호화 및 복호의 각 처리는, 필수는 아니다.
이와 같이, 본 실시 형태와 관련된 촉각 제어 시스템(2)은, 감성 파라미터가 단말 장치(80)에 입력되면, 당해 감성 파라미터와 상관하는 물리 파라미터의 정보를, 네트워크(9)를 개재하여 통신 장치(70)로부터 수신하여, 당해 물리 파라미터에 의거하는 촉각 제시 신호에 의한 촉각을 제시할 수 있다. 따라서, 촉각 제어 시스템(2)에 의하면, 네트워크(9)를 개재한 촉각 정보의 통신에 의해, 사람의 감성을 반영한 촉각 제시가 가능해진다. 촉각 제어 시스템(2)은, 촉각 인터넷(Tactile Internet)의 분야에서 특히 유용하다.
또한, 촉각 제시에 관한 물리 특성에 포함되는 모든 물리 파라미터를 통신하는 경우에는, 데이터량의 증대에 의해 통신 지연 등의 문제가 발생하기 쉽지만, 본 실시 형태와 관련된 촉각 제어 시스템(2)에서는, 감성 파라미터와 상관하는 물리 파라미터를 추출하여 통신하므로, 데이터량을 삭감할 수 있다. 따라서, 통신의 고속화, 각 프로세서 등의 부하 경감에 기여할 수 있다. 이 효과는, 제 1 실시 형태와 관련된 촉각 제어 시스템(1)에 있어서도 마찬가지이지만, 촉각 인터넷을 이용하는 본 실시 형태와 관련된 촉각 제어 시스템(2)에 있어서, 특히 유용하다.
또한, 본 실시 형태와 관련된 촉각 제어 시스템(2)은, 복수의 단말 장치(80)를 구비하고 있어도 된다. 즉, 통신 장치(70)는, 복수의 단말 장치(80) 각각과 네트워크(9)를 개재하여 접속되어 있어도 된다. 그 경우, 통신 장치(70)는, 복수의 단말 장치(80) 각각을 지정하는 어드레스나 ID 등의 식별 정보와, 식별 정보마다 대응 지어진 변환 모델(15)을 기억하고 있어도 된다. 이에 따라, 각 단말 장치(80)를 사용하는 사용자마다 변환 모델(15)을 최적화하여 구성할 수 있다.
또한, 본 실시 형태와 관련된 촉각 제어 시스템(2)의 통신 장치(70)가 기억하는 변환 모델(15)은, 예를 들면 용도(게임용, 차량 탑재용 등)에 따라 복수 존재하고, 단말 장치(80)가 요구하는 용도 등에 따라 상이한 변환 모델을 이용해도 된다. 이에 따라, 예를 들면 동일한 감성 파라미터로부터 변환되는 물리 파라미터여도, 용도 등에 따라 상이한 물리 파라미터를 선택할 수 있도록, 용도 등에 따라 변환 모델(15)을 최적화하여 구성할 수 있다.
또한, 도 20에는, 변환 모델(15)이, 통신 장치(70)의 기억부(11)에 기억되어 있는 예를 나타냈지만, 변환 모델(15)은, 단말 장치(80)의 주제어 장치(6)의 기억부(8)에 기억되어 있어도 된다. 이 경우, 예를 들면 통신 장치(70)로부터는 감성 파라미터에 관한 정보(부호화된 정보 등을 포함함)가 전송되고, 단말 장치(80)의 주제어 장치(6)에 있어서, 감성 파라미터가 물리 파라미터로 변환됨으로써, 감성 파라미터와 상관하는 물리 파라미터에 의거하는 촉각 제시 신호가 생성되어도 된다.
(촉각 제어 시스템(1, 2)의 적용예)
제 1 실시 형태와 관련된 촉각 제어 시스템(1)은, 예를 들면, 게임, 영상, 음악 등의 엔터테인먼트 용도로 이용할 수 있다. 촉각 제어 시스템(1)을 엔터테인먼트의 용도로 이용하는 경우, 예를 들면, 게임 컨트롤러 등의 조작 장치(33)에 포함되는 버튼, 조이스틱, 트리거 스위치 등의 조작부를 통하여, 촉각 제시 장치(20)로부터의 촉각을 사용자에 대하여 제시해도 된다. 또한, 조작 장치(33)의 조작부 이외의 개소, 예를 들면 조작 장치(33)를 보지하는 사용자의 손 등의 신체 부위의 전체 또는 일부에 대하여, 촉각 제시 장치(20)로부터의 촉각 제시를 행해도 된다. 게임 컨트롤러로서는, 예를 들면 자동차의 스티어링 휠을 모방한 스티어링 컨트롤러여도 된다.
조작 장치(33)를 통하여 사용자에 대하여 촉각 제시를 행하는 타이밍으로서는, 조작 장치(33)에 포함되는 조작부에 대한 조작을 검출한 타이밍, 조작 장치(33)의 전체 또는 일부에 대한 이동, 회전, 가감속 등에 의한 조작을 검출한 타이밍, 컨텐츠에 따라 촉각 제시를 행하는 타이밍 등을 들 수 있다. 컨텐츠에 따라 촉각을 제시하는 타이밍은, 게임, 영상, 음악 등의 각 컨텐츠 내에서 예를 들면 임장감을 높이기 위해 미리 설정된 촉각 제시의 타이밍이며, 사용자로부터의 조작을 검출하고 있지 않은 타이밍이어도 된다.
촉각 제어 시스템(1)을 엔터테인먼트 용도로 이용하는 경우, 촉각 제시 장치(20)로부터의 촉각 제시는, 상기 서술의 조작 장치(33)를 통하여 행하는 것에는 한정되지 않는다. 촉각 제시 장치(20)로부터의 촉각 제시를, 예를 들면, 사용자가 착좌하는 시트, 사용자가 전용으로 착용하는 슈트, 버츄얼 리얼리티(VR) 용도나 확장 현실(AR) 용도로 이용하는 헤드셋, 사용자가 손 등의 신체 부위에 장착하는 글로브 등의 장착 도구, 그 밖의 웨어러블 디바이스를 통하여 행해도 된다. 예를 들면, VR 또는 AR의 공간상의 버츄얼한 스위치 등을 조작하는 감촉을, 웨어러블 디바이스를 통하여 제시해도 된다.
제 1 실시 형태와 관련된 촉각 제어 시스템(1)은, 예를 들면, 차량 탑재 용도로 이용할 수 있다. 차량 탑재 용도로 이용하는 경우, 예를 들면 스티어링 휠, 페달, 시프터 등의 운전 조작에 이용하는 장치나, 인포테인먼트 시스템, 공조 유닛, 가식(加飾) 패널 등의 조작 장치(33), 또는 착좌 시트 등을 통하여, 촉각 제시 장치(20)로부터의 촉각 제시를 탑승자에 대하여 행해도 된다. 여기서, 가식 패널은, 차내의 도어 트림, 필러, 글로브 박스, 센터 콘솔, 대시보드, 오버헤드 콘솔 등, 임의의 개소에 마련되고, 차량의 인테리어를 구성함과 함께, 접촉 조작이나 근접 조작에 의해, 정보 표시가 가능한 장치이다.
촉각 제어 시스템(1)을 차량 탑재 용도로 이용하는 경우, 촉각 제시를 행하는 주된 목적은, 조작 장치(33) 등에 대한 입력 조작이 행해진 것을 통지하기 위한 것 외에, 탑승자에 대하여 차선 일탈이나 타차량과의 접근 등에 대한 경고를 행하기 위해서이다. 즉, 임장감의 제시를 주된 목적으로 하는 상기 서술의 엔터테인먼트 용도와는 목적이 상이한 경우가 있다. 이 때문에, 촉각 제어 시스템(1)은, 동일한 감성 파라미터로부터 변환되는 물리 파라미터여도, 용도에 따라 상이한 물리 파라미터로 변환 가능한 변환 모델(15)을 기억하고 있어도 된다.
촉각 제어 시스템(1)을 차량 탑재 용도에 이용하는 경우에 탑승자에 대하여 촉각 제시를 행하는 타이밍으로서는, 조작 장치(33) 등에 대한 입력 조작을 검출한 타이밍, 차선 일탈이나 타차량과의 접근 등의 위험을 검출한 타이밍을 들 수 있다.
제 2 실시 형태와 관련된 촉각 제어 시스템(2)은, 제 1 실시 형태와 관련된 촉각 제어 시스템(1)과 마찬가지의 용도로 이용할 수 있다. 즉, 촉각 제어 시스템(2)은, 예를 들면, 게임, 영상, 음악 등의 엔터테인먼트 용도와, 차량 탑재 용도로 이용할 수 있다.
제 2 실시 형태와 관련된 촉각 제어 시스템(2)을 엔터테인먼트 용도로 이용하는 경우, 도 1의 촉각 제어 시스템(1)과 마찬가지의 이용 방법 외에, 네트워크(9)를 개재한 컨텐츠의 라이브 전송(방송을 포함함), 컨텐츠의 데이터 갱신, 사용자끼리의 교류나 대전(對戰) 등에 따라, 촉각 제시 신호를 송수신이나 전송 등 해도 된다. 예를 들면 통신 장치(70)가 복수의 단말 장치(80)와 통신을 행하는 경우, 각 단말 장치(80)에서 공통의 감성 파라미터를 설정해도 되고, 각 단말 장치(80)에서 개별의 감성 파라미터를 설정해도 되며, 각 단말 장치(80)에서 일부의 감성 파라미터에 대해서는 공통 설정으로 하면서 다른 일부의 감성 파라미터에 대해서는 개별 설정으로 해도 된다. 예를 들면, 복수의 단말 장치(80) 각각의 사용자에게 공통의 VR이나 AR의 환경에서 작업을 행하게 하는 경우, 감촉의 크기를 나타내는 감성 파라미터는 각 단말 장치(80)에서 공통으로 하면서, 각 단말 장치(80)의 사용자의 기호에 따라 감촉의 예리함을 나타내는 감성 파라미터를 조정함으로써, 개별적으로 환경을 조정할 수 있다.
촉각 제어 시스템(2)을 차량 탑재 용도로 이용하는 경우, 촉각 제어 시스템(1)과 마찬가지의 이용 방법 외에, 네트워크(9)를 통한 차량간의 통신, 교통 표지 등의 도로 설치물과의 통신, 서버로부터의 교통 정보의 전송 등에 의거하여 경고 등을 위한 촉각 제시 신호를 수신해도 된다. 차량간의 통신이나 도로 설치물과의 통신 등은, 네트워크(9)를 개재하지 않고 직접 통신이 가능하면, 제 1 실시 형태와 관련된 촉각 제어 시스템(1)으로도 실현 가능하다.
제 2 실시 형태와 관련된 촉각 제어 시스템(2)은, 예를 들면, 의료 용도나 산업 용도로 이용할 수 있다. 의료 용도로서는, 예를 들면 원격 의료에 따른 촉각 정보의 전송을 들 수 있다. 산업 용도로서는, 예를 들면 산업용 로봇의 원격 조작에 따른 촉각 전송을 들 수 있다. 이들의 용도로 전송되는 촉각을, 감성값에 의거하여 커스터마이징할 수 있으면, 보다 리얼한 촉감을 사용자에게 제시하거나, 쾌적하게 조작을 행하게 하거나 할 수 있다.
제 2 실시 형태와 관련된 촉각 제어 시스템(2)은, 예를 들면, 인터넷 쇼핑의 용도로 이용할 수 있다. 예를 들면, 제품의 감촉감이나 장착감, 필기 도구 등을 통한 필기감 등의 촉감을 촉각 전송에 의해 사용자에게 제시할 수 있다. 또한, 제품의 감촉감이나 장착감을 감성값에 의거하여 커스터마이징하고, 보다 사용자가 요구하는 감촉감이나 장착감에 가까운 제품을, 사용자에게 제안할 수 있다.
제 2 실시 형태와 관련된 촉각 제어 시스템(2)은, 원격지에 있는 사용자끼리의 교류 용도로 이용할 수 있다. 원격지에 있는 사용자끼리가 악수하는 감촉, 맞닿는 감촉 등을 제시할 수 있다. 또한, 애완 동물 등의 동물과 맞닿는 감촉을 제시할 수도 있다. 이들 용도에서는, 촉각 제시부(30)로서 온감 제시를 사용 또는 병용함으로써, 따스함을 전할 수 있기 때문에, 특히 유용하다.
양태 2
[배경 기술]
종래, 사람에게 어떠한 자극을 줌으로써, 감각 제시를 행하는 조작 도구가 알려져 있다. 여기서, 감각 제시는, 촉각 제시, 소리에 의한 청각 제시, 화상 표시 등에 의한 시각 제시를 포함한다. 다양한 조작 도구를 구동하는 신호를 조정함으로써, 감각 제시를 조정하는 것이 행해지고 있다.
사용자의 기호에 따라 제품을 생산하는 기술이 알려져 있다(예를 들면 특허 문헌 2 참조.). 특허 문헌 2에는, 기준이 되는 모델을 사용자가 선택하고, 그 후의 공정에서, 사용자 선택에 의거하여, 색, 사이즈, 재료, 위치 등을 추가 또는 변경하는 기술이 개시되어 있다.
[발명의 개요]
[발명이 해결하고자 하는 과제]
그러나, 종래의 기술에서는, 감성적인 입력에 의해 감각 제시를 조정할 수 없다고 하는 문제가 있다. 즉, 사용자가 좋아하는 감각은 사용자에 따라 상이하지만, 사용자는 자신의 기호를 감성적으로 표현하는 경우가 있다. 그러나, 종래는, 이 감성적인 표현이 감각 제시의 변경으로서 이용되고 있지 않다.
본 발명은, 상기 과제를 감안하여, 감성적인 입력에 의해 조작 감촉을 조정할 수 있는 촉각 제어 장치를 제공하는 것을 목적으로 한다.
[양태 2의 설명]
양태 1에서는, 변환 모델(15)을 이용하여 감성 파라미터를 물리 파라미터로 변환하는 감각 제어 방법에 대하여 설명했다. 그러나, 메이커가, 감성 파라미터로부터 변환된 물리 파라미터가 촉각 제시에 적용된 조작 도구를 시작(試作)해도, 사용자가 좋아하는 조작 감촉을 얻기 위해서는 몇 번인가의 시행 착오가 필요한 경우가 많다. 조작 도구의 시작에는 많은 공정이 필요하기 때문에, 사용자가 좋아하는 조작 감촉을 가지는 조작 도구의 완성에 시간이 걸리는 경우가 있다.
따라서, 본 양태에서는, 사용자가 기호하는 조작 감촉을 리얼타임으로 재현할 수 있는 촉각 제어 장치 및 촉각 제어 장치가 행하는 촉각 제어 방법에 대하여 설명한다.
[촉각 제어 장치의 예]
도 25는, 촉각 제어 장치(50)의 사시도이다. 도 25는 단체형(單體型)(스탠드 얼론형)의 촉각 제어 장치(50)이다. 도 25에 나타내는 바와 같이, 촉각 제어 장치(50)는, 3개의 기준 조작 도구(51a~51c)(복수의 기준 조작 도구), 재현 조작 도구(52), 터치 패널(53), 및, 디스플레이(260)를 가지고 있다. 또한, 이하에서는 기준 조작 도구(51a~51c) 중 임의의 기준 조작 도구를 「기준 조작 도구(51)」라고 한다. 기준 조작 도구(51)는 2개 이상이면 된다.
디스플레이(260)에는, 촉각 제어 장치(50)의 사용 방법, 조작 메뉴 등이 표시된다. 터치 패널(53)에는, 표현 도수가 입력되는 감성 파라미터(예를 들면 형용사)가 표시되고, 사용자가 각 감성 파라미터마다 표현 도수를 입력할 수 있도록 되어 있다. 촉각 제어 장치(50)는 사용자가 기호하는 조작 감촉을 재현할 때에, 복수회, 각 감성 파라미터에 대한 표현 도수의 입력을 접수하므로, 그때마다 표현 도수의 입력이 가능한 감성 파라미터를 터치 패널(53)에 표시한다.
3개의 기준 조작 도구(51a~51c)는 기준으로서 준비된 조작 감촉이 상이한 조작 도구이다. 즉, 3개의 기준 조작 도구(51a~51c)는, 각각이 상이한 하중 변위 곡선을 가지고 있다.
사용자가 기호하는 표현 도수를 입력함으로써, 재현 조작 도구(52)에는, 3개의 기준 조작 도구(51a~51c) 중 촉각 제어 장치(50)가 선택한 기준 조작 도구(51)의 조작 감촉이 재현된다. 즉, 촉각 제어 장치(50)는 3개의 기준 조작 도구(51a~51c) 중 어느 물리 파라미터를 재현 조작 도구(52)에 복사한다. 사용자는 이 재현 조작 도구(52)를 조작해 보고, 표현 도수를 입력함으로써, 자신이 기호하는 조작 감촉으로 조정할 수 있다.
따라서, 사용자는 재현 조작 도구(52)를 조작하여 그 조작 감촉을 확인하면서, 표현 도수를 입력하고, 재현 조작 도구(52)의 조작 감촉을 조정하는 것을 반복한다고 하는, 리얼타임인 조작 감촉의 조정이 가능해진다. 또한, 사용자는 조정한 재현 조작 도구(52)의 조작 감촉과 기준 조작 도구(51a~51c)의 조작 감촉을 비교할 수도 있으므로, 자신이 기호하는 표현 도수를 조정하기 쉽게 되어 있다.
또한, 도 25의 형상이나 외관은 일례이며, 예를 들면, PC나 태블릿 단말에 USB 케이블 등을 개재하여 기준 조작 도구(51)와 재현 조작 도구(52)가 접속되는 범용적인 시스템 구성이어도 된다.
도 26은, 클라이언트 서버형의 촉각 제어 시스템(2)이다. 도 26의 촉각 제어 시스템(2)에서는, 단말 장치(80)와 서버(200)가 네트워크를 개재하여 통신 가능하다. 단말 장치(80)는 예를 들면 Web 브라우저를 실행해도 되고, 전용의 애플리케이션을 실행해도 된다. 단말 장치(80)는, 각 감성 파라미터마다의 표현 도수의 입력에 필요한 화면 표시를 행하여, 사용자로부터의 표현 도수의 입력을 접수한다. 단말 장치(80)는 표현 도수를 서버(200)에 송신하고, 서버(200)가 기준 조작 도구(51a~51c)의 선택 결과, 기준 조작 도구(51a~51c)에 대응하는 물리 파라미터, 및, 조정 후의 물리 파라미터를 단말 장치(80)에 송신한다.
이와 같이, 클라이언트 서버형이어도, 촉각 제어 장치(50)와 마찬가지로, 사용자는 리얼타임인 조작 감촉의 조정이 가능해진다.
<촉각 제어 장치의 제 1 형태>
우선, 도 27, 도 28을 참조하여, 촉각 제어 장치(50)의 동작의 개략을 설명한다. 도 27, 도 28은, 촉각 제어 장치(50)를 사용하여 사용자가 조작 감촉을 조정하는 작업의 개략을 나타낸다.
(1) 사용자는 우선 복수의 감성 파라미터(예를 들면 형용사)에 대해 자신의 기호를 나타내는 표현 도수(제 1 표현 도수의 일례)를 입력한다(도 27의 (a)). 터치 패널(53)에는 도 27의 (a)의 제 1 입력 화면(281)이 표시되고, 제 1 입력 화면(281)은 감성 파라미터 제시란(282)과 기준 조작 도구란(112)을 가지고 있다. 감성 파라미터 제시란(282)에는 감성 파라미터(제 1 감성 파라미터의 일례)마다, 사용자가 표현 도수를 슬라이드 바(입력 수단의 일례)로 입력 가능하다. 기준 조작 도구란(112)에는 입력된 표현 도수에 대하여 선택되는 기준 조작 도구(51a~51c)의 확률이 표시된다.
(2) 촉각 제어 장치(50)는, 미리 학습해 둔, 각 감성 파라미터의 표현 도수와 기준 조작 도구(51a~51c)와의 대응에 의거하여, 사용자의 기호(입력한 각 감성 파라미터의 표현 도수)에 가장 가까운 기준 조작 도구(51a~51c)를 선택한다(도 27의 (b)). 이 처리를 STEP1이라고 한다.
(3) 촉각 제어 장치(50)는 기준 조작 도구(51a~51c)의 조작 감촉을 재현 조작 도구(52)에 의해 재현한다(도 27의 (c)). 도 27에서는 기준 조작 도구(51a~51c)의 수가 3개이지만, 어디까지나 일례이다. 사용자는 재현 조작 도구(52)를 조작해 보고, 자신의 기호하는 조작 감촉인지 아닌지를 확인한다.
(4) 자신이 기호하는 조작 감촉과는 상이한 경우, 사용자는, 재차, 복수의 감성 파라미터에 대해 자신의 기호를 나타내는 표현 도수(제 2 표현 도수의 일례)를 입력한다(도 28의 (a)). 터치 패널(53)에는 도 28의 (a)의 제 2 입력 화면(120)이 표시되고, 제 2 입력 화면(120)은 감성 파라미터 제시란(121)을 가지고 있다. 감성 파라미터 제시란(121)에는 감성 파라미터(제 2 감성 파라미터의 일례)마다, 사용자가 표현 도수를 슬라이드 바로 입력 가능하다. 감성 파라미터 제시란(121)의 감성 파라미터의 수는, 감성 파라미터 제시란(282)의 감성 파라미터의 수보다 적어도 된다. 이것은 감성 파라미터 제시란(282)에 의해 사용자가 기호하는 기준 조작 도구(51)가 이미 선택되어 있기 때문이다. 또한, 감성 파라미터 제시란(121)의 감성 파라미터의 수가 적음으로써, 사용자의 작업 부담이 저감된다.
또한, 감성 파라미터 제시란(121)의 초기 상태에서는, 슬라이드 바의 표현 도수가 중앙값을 나타낸다. 사용자가 감성 파라미터 제시란(282)에서 동일한 감성 파라미터의 표현 도수를 최소 또는 최대값으로 설정했다고 해도, 감성 파라미터 제시란(121)의 초기 상태에서는, 슬라이드 바의 표현 도수는 중앙값이다. 이와 같이 함으로써, 감성 파라미터 제시란(121)에 있어서 사용자는, 감성 파라미터 제시란(282)에서 입력한 표현 도수를 포함하는 전후의 범위로 표현 도수를 조정하기 쉽다. 또한, 감성 파라미터 제시란(121)의 초기 상태의 표현 도수는, 기준 조작 도구(51)에 설정되어 있는 물리 파라미터에 대응하는 표현 도수이다. 이 초기 상태로부터 사용자가 조정함으로써, 전후의 표현 도수로 조정하는 것이 가능해진다.
(5) 촉각 제어 장치(50)는, 미리 학습해 둔, 각 감성 파라미터의 표현 도수와 물리 파라미터와의 대응(예를 들면 회귀 모델)에 의거하여, 사용자가 입력한 각 감성 파라미터의 표현 도수를 물리 파라미터로 변환하여, 재현 조작 도구(52)에 반영시킨다(도 28의 (b)). 이 처리를 STEP2라고 한다.
(6) 사용자는 재현 조작 도구(52)를 조작해 보고, 자신이 기호하는 조작 감촉인지 아닌지를 확인한다(도 28의 (c)).
이후에는 (4)~(6)을 사용자가 반복함으로써, 촉각 제어 장치(50)가 사용자가 기호하는 조작 감촉의 물리 파라미터를 결정할 수 있다.
[촉각 제어 장치의 기능에 대해]
도 29는, 촉각 제어 장치(50)의 기능을 설명하는 기능 블록도이다. 도 29에 나타내는 바와 같이, 촉각 제어 장치(50)는, 표시 제어부(61), 제 1 입력 접수부(62), 제 2 입력 접수부(63), 분류부(64), 제 1 변환 모델(65a), 제 2 변환 모델(65b), 제 3 변환 모델(65c), 및, 물리 파라미터 설정부(66)를 가지고 있다. 촉각 제어 장치(50)가 가지는 이들의 각 기능은 정보 처리 장치로서 가지는 CPU나 프로세서가 RAM에 전개된 프로그램을 실행함으로써 실현된다. 혹은, 각 기능이 하드웨어 회로로 실현되어도 된다.
표시 제어부(61)는, 미리 설정되어 있는 감성 파라미터와, 감성 파라미터에 대해 설정되는 5 또는 7단계의 표현 도수를 선택 가능하게 터치 패널(53)에 표시한다(제 1 입력 화면(281), 제 2 입력 화면(120)을 표시한다). 표현 도수는, 임의의 단계 조정도 연속적인 조정도 가능하다. 사용자에 의한 표현 도수의 선택 방법은, 터치 패널(53)을 이용한 탭이나 슬라이드 바의 슬라이드 등이어도 된다. 사용자에 의한 표현 도수의 선택 방법은, 음성 입력이나 버튼에 의한 입력이어도 된다. 또한, 표시 제어부(61)는, 상기의 STEP1과 STEP2에서 각각 상이한 감성 파라미터를 표시한다. 또한, STEP1의 감성 파라미터의 수는, STEP2의 감성 파라미터의 수보다 많아도 된다.
제 1 입력 접수부(62)는, STEP1에 있어서, 사용자 조작에 따라 각 감성 파라미터의 표현 도수의 입력을 접수한다. 제 2 입력 접수부(63)는, STEP2에 있어서, 사용자 조작에 따라 각 감성 파라미터의 표현 도수의 입력을 접수한다.
분류부(64)는, 제 1 입력 접수부(62)가 접수하는 감성 파라미터의 표현 도수와 3개의 변환 모델과의 대응을 학습한 식별 모델이다. 분류의 학습 방법에는 딥 러닝, 결정목, 서포트 벡터 머신 등 많은 종류가 있지만, 본 양태에서는, 어떠한 학습 방법으로 학습되어 있어도 된다. 분류부(64)는, 제 1 입력 접수부(62)가 접수하는 감성 파라미터의 표현 도수에 대하여, 제 1 변환 모델(65a)~제 3 변환 모델(65c)의 식별 정보를 출력한다(복수 있는 변환 모델(15)로부터 사용자의 기호에 가까운 변환 모델(15)을 특정한다).
제 1 변환 모델(65a)~제 3 변환 모델(65c)은, 양태 1에서 설명한 바와 같이, 감성 파라미터를 당해 감성 파라미터와 상관하는 물리 파라미터로 변환 가능한 변환 모델이다. 제 1 변환 모델(65a)~제 3 변환 모델(65c)은, 3개의 기준 조작 도구(51a~51c)에 대응하고 있으며, 각각의 기준 조작 도구(51a~51c)에 있어서 감성 파라미터의 표현 도수를 물리 파라미터로 변환할 수 있다. 물리 파라미터는, 예를 들면 조작 도구의 스트로크량, 조작 반력(하중), 가동부의 속도, 가속도, 가가속도, 조작자의 손가락 등의 신체 부위의 탄성 특성 등이다. 제 1 변환 모델(65a)~제 3 변환 모델(65c)은, 상이한 조작 감촉을 재현하기 위해, 하중 변위 곡선이 상이한 물리 파라미터에 대한 관능 시험의 표현 도수에 의거하여 중회귀 등에 의해 생성되고 있다.
그리고, 제 1 변환 모델(65a)~제 3 변환 모델(65c)은, 제 2 입력 접수부(63)가 접수한 감성 파라미터의 표현 도수를 각각 상이한 물리 파라미터로 변환한다. 이렇게 함으로써, STEP1에서 선택된, 기준이 되는 변환 모델이, STEP2에서 입력된 사용자의 기호에 가까운 표현 도수를 물리 파라미터로 변환할 수 있다.
물리 파라미터 설정부(66)는, 제 1 변환 모델(65a)~제 3 변환 모델(65c) 중 어느 것이 출력한 물리 파라미터를 재현 조작 도구(52)로 설정한다. 따라서, 촉각 제어 장치(50)는 리얼타임으로, 사용자가 원하는 조작 감촉을 리얼타임으로 재현할 수 있다.
[분류부의 생성, 감성 파라미터의 표현 도수와 물리 파라미터의 대응의 학습]
이어서, 도 30 등을 참조하여, 분류부(64)의 생성에 대하여 설명한다. 도 30은, 분류부(64)의 생성에 있어서의 학습의 흐름을 나타내는 플로우 차트도이다. 또한, 각종의 학습은, 촉각 제어 장치(50)가 행하는 것으로 하지만, 학습에 관해서는 임의의 정보 처리 장치가 행할 수 있다.
ST41에서는, 촉각 제어 장치(50)가 표현 도수의 입력을 접수한다. 분류부(64)의 생성에 사용되는 감성 파라미터에 대해서는 도 27의 (a)에 나타냈다. 감성 파라미터는 예를 들면 이하의 24개이다. 24개는 일례이며, 보다 적어도 많아도 된다.
「작동력이 가벼운(무거운)」
「결정감이 없음(있음)」
「부정확한(정확한)」
「명확한(애매한)」
「부드러운(딱딱한)」
「희미한(뚜렷한)」
「걸림(스무스한)」
「피곤한(피곤하지 않음)」
「엄한(상냥한)」
「굵은(미세한)」
「흡입되는 감촉이 없음(있음)」
「참신한(전통적인)」
「값싼(고급인)」
「내구성이 있음(없음)」
「다시 조작하고 싶지 않음(하고 싶음)」
「즐거운(지루한)」
「기분이 좋지 않음(좋음)」
「싫은(좋은)」
「튀는 듯한 감촉이 없음(있음)」
「마일드(샤프)」
「마른(축축한)」
「밝은(어두운)」
「차가운(따뜻한)」
「여유가 있음(없음)」
또한, 이들의 감성 파라미터는, Web 해석, Tweet 해석, SNS 해석, 논문, 시장마다의 클러스터링 분석, 특징이나 형용사 추출에 의해 자동적으로 작성되어도 된다. 즉, 감성 파라미터는 고정이 아니라, 동적으로 변경 가능해도 된다.
ST42에서는, 촉각 제어 장치(50)가 기계 학습에 의해 감성 파라미터의 표현 도수와 기준 조작 도구(51a~51c)와의 대응을 학습한다. 분류부(64)는 이 대응을 가진다.
기계 학습이란, 컴퓨터에 사람과 같은 학습 능력을 획득시키기 위한 기술이며, 컴퓨터가, 데이터 식별 등의 판단에 필요한 알고리즘을, 사전에 내장되는 학습 데이터로부터 자율적으로 생성하고, 새로운 데이터에 대해 이것을 적용하여 예측을 행하는 기술을 말한다. 기계 학습을 위한 학습 방법은, 교사가 있는 학습, 교사가 없는 학습, 반교사 학습, 강화 학습, 심층 학습 중 어느 방법이어도 되고, 또한, 이들의 학습 방법을 조합한 학습 방법이어도 되며, 기계 학습을 위한 학습 방법은 따지지 않는다. 또한, 기계 학습의 방법에는, 퍼셉트론, 딥 러닝, 서포트 벡터 머신, 로지스틱 회귀, 나이브 베이즈, 결정목, 랜덤 포레스트 등이 있으며, 학습 방법은 한정되지 않는다. 또한, 학습 방법의 일례로서 딥 러닝과 결정목을 이후에 설명한다.
ST43에서는, 기계 학습에 의해 생성된 분류부(64)가 촉각 제어 장치(50)에 내장된다.
도 31은, 감성 파라미터의 표현 도수와 물리 파라미터의 대응의 학습의 흐름을 나타내는 플로우 차트도이다.
ST51에서는, 촉각 제어 장치(50)가 표현 도수의 입력을 접수한다. 감성 파라미터의 표현 도수와 물리 파라미터의 대응의 학습에 사용되는 감성 파라미터에 대해서는 도 28의 (a)에 나타냈다. 감성 파라미터는 예를 들면 이하의 5개이다. 5개는 일례이며, 보다 적어도 많아도 된다.
「마일드(샤프)」
「굵은(미세한)」
「밝은(어두운)」
「부드러운(딱딱한)」
「가벼운(무거운)」
ST52에서는, 촉각 제어 장치(50)가, 감성 파라미터의 표현 도수와 물리 파라미터의 대응을 중회귀 분석에 의해 결정한다. 본 양태에서는, 3개의 기준 조작 도구(51a~51c)가 준비되므로, 3개의 기준 조작 도구(51a~51c)의 각각에 대하여 하중 변위 곡선이 얻어지고 있다. 이 하중 변위 곡선을 실현하는 물리 파라미터도 기지(旣知)이다. 사용자는 기준 조작 도구(51a~51c)를 조작하여, 이 기준 조작 도구(51a~51c)에 대해 어떠한 조작 감촉인지를 표현 도수로서 입력한다. 충분한 인원수의 표현 도수가 입력되면, 촉각 제어 장치(50)는, 수학식 5를 이용하여 중회귀 분석을 행한다. 중회귀 분석에 대해서는 양태 1의 수학식 5, 도 22, 도 23에서 설명했다. 따라서, 3개의 기준 조작 도구(51a~51c) 각각의 결정 계수(B11~Bmn)를 결정할 수 있고, 도 23과 같은 변환 모델(15)이 기준 조작 도구(51a~51c)마다 얻어진다. 이 3개의 기준 조작 도구(51a~51c)마다의 변환 모델이 제 1 변환 모델(65a)~제 3 변환 모델(65c)이다.
ST53에서는, 중회귀 분석에 의해 생성된 제 1 변환 모델(65a)~제 3 변환 모델(65c)이 촉각 제어 장치(50)에 내장된다.
[촉각 제시의 흐름]
도 32는, 촉각 제어 장치(50)가 분류부(64)와 제 1 변환 모델(65a)~제 3 변환 모델(65c)을 사용하여 사용자가 기호하는 조작 감촉을 제시하는 흐름을 나타내는 플로우 차트도이다.
ST61에서는, 제 1 입력 접수부(62)가 기준 조작 도구(51a~51c)를 선택하기 위해, 제 1 입력 화면(281)에서 감성 파라미터의 표현 도수의 입력을 접수한다(STEP1).
ST62에서는, 분류부(64)가, 제 1 입력 화면(281)에서 입력된 각 감성 파라미터의 표현 도수에 의거하여 기준 조작 도구(51a~51c)를 특정한다. 기준 조작 도구(51a~51c)가 결정되면, 제 1 변환 모델(65a)~제 3 변환 모델(65c) 중 어느 변환 모델도 결정된다.
ST63에서는, 물리 파라미터 설정부(66)가, 선택된 기준 조작 도구(51a~51c)의 물리 파라미터를 재현 조작 도구(52)로 설정한다. 사용자는 재현 조작 도구(52)를 조작하여 기호하는 조작 감촉인지 아닌지를 확인할 수 있다.
S64에서는, 자신이 기호하는 조작 감촉인지 아닌지에 따라, 사용자가, 기준 조작 도구(51a~51c)와는 상이한 조작 감촉으로 조정할지 말지를 판단한다. 촉각 제어 장치(50)는 사용자로부터 재조정 개시의 지시를 접수한다.
S65에서는, 사용자가, 기준 조작 도구(51a~51c)와는 상이한 조작 감촉으로 조정하는 경우에, 제 2 입력 접수부(63)가 제 2 입력 화면(120)에서 감성 파라미터의 표현 도수의 입력을 접수한다(STEP2). 사용자가 입력한 표현 도수(도 23의 A1~An에 상당)는, ST63에서 선택된 제 1 변환 모델(65a)~제 3 변환 모델(65c) 중 어느 것이 물리 파라미터(P1~Pn)로 변환한다. 물리 파라미터 설정부(66)는, 이 물리 파라미터(P1~Pn)를 재현 조작 도구(52)로 설정한다. 사용자는 재차, 재현 조작 도구(52)를 조작하여 기호하는 조작 감촉인지 아닌지를 확인할 수 있다.
이후에는, 자신이 기호하는 조작 감촉이 얻어질 때까지, 사용자는, 제 2 입력 화면(120)을 사용하여, 기호하는 조작 감촉의 조정을 반복할 수 있다.
이와 같이, 본 양태의 촉각 제어 장치(50)는, 사용자가 기호하는 조작 감촉을 리얼타임으로 재현할 수 있다.
<촉각 제어 장치의 제 2 형태>
계속해서, 촉각 제어 장치(50)의 제 2 형태에 대하여 설명한다.
우선, 도 33을 참조하여, 제 2 형태의 촉각 제어 장치(50)의 동작의 개략을 설명한다. 도 33은, 촉각 제어 장치(50)를 사용하여 사용자가 조작 감촉을 조정하는 작업의 개략을 나타낸다.
(1) 사용자는, 우선, 제 1 입력 화면(281)에 있어서 복수의 감성 파라미터에 대해 자신의 기호를 나타내는 표현 도수를 입력한다(도 33의 (a)). 제 1 입력 화면(281)에 대해서는 도 27의 (a)와 마찬가지여도 된다.
(2) 촉각 제어 장치(50)는, 미리 회귀에 의해 학습해 둔, 각 감성 파라미터의 표현 도수와 물리 파라미터(하중 변위 곡선)와의 대응에 의거하여, 표현 도수에 대응하는 물리 파라미터(제 2 물리 파라미터의 일례)를 결정한다(도 33의 (b)).
(3) 촉각 제어 장치(50)는, 미리 준비하고 있는 기준 조작 도구(51a~51c)의 하중 변위 곡선에 대하여, 적절한 피팅 모델을 사용하여 커브 피팅을 행해 둔다(도 33의 (c)). 이 피팅 모델은 예를 들면 물리 파라미터를 계수로 하는 다항식이다. 따라서, 기준 조작 도구(51a~51c)마다 하중 변위 곡선을 나타내는 물리 파라미터(제 1 물리 파라미터의 일례)가 얻어지고 있다. 촉각 제어 장치(50)는, (2)의 물리 파라미터와 (3)의 물리 파라미터를 비교한다.
(4) 촉각 제어 장치(50)는, (2)의 물리 파라미터와 (3)의 물리 파라미터가 유사한 경우에는, 유사한 기준 조작 도구(51)를 제시하고, 유사하지 않은 경우에는, 재현 조작 도구(52)를 사용한 신감촉의 조정을 제안한다(도 33의 (d)).
[촉각 제어 장치의 기능에 대해]
도 34는, 촉각 제어 장치(50)의 기능을 설명하는 기능 블록도이다. 또한, 도 34의 설명에서는 주로 도 29와의 차이를 설명하는 경우가 있다. 촉각 제어 장치(50)는, 표시 제어부(61), 제 1 입력 접수부(62), 제 2 입력 접수부(63), 물리 파라미터 변환부(67), 커브 피팅부(68), 비교부(69), 제 1 변환 모델(65a), 제 2 변환 모델(65b), 제 3 변환 모델(65c), 및, 물리 파라미터 설정부(66)를 가지고 있다. 촉각 제어 장치(50)가 가지는 이들의 각 기능은 정보 처리 장치로서 가지는 CPU가 RAM으로 전개된 프로그램을 실행함으로써 실현된다. 혹은, 각 기능이 하드웨어 회로에서 실현되어도 된다.
물리 파라미터 변환부(67)는, 중회귀 분석에 의해 얻어지고 있는 표현 도수와 물리 파라미터의 대응을 이용하여, 제 1 입력 접수부(62)가 접수한 표현 도수에 대한 물리 파라미터를 결정한다. 또한, 물리 파라미터를 결정하면 하중 변위 곡선도 정해지기 때문에, 물리 파라미터 변환부(67)는 하중 변위 곡선을 결정하고 있다고 칭해도 된다.
커브 피팅부(68)는, 적절한 피팅 모델(예를 들면 다항식)로 기준 조작 도구(51a~51c)(제 1 변환 모델(65a)~제 3 변환 모델(65c))의 하중 변위 곡선을 피팅 한다. 또한, 커브 피팅은 중회귀 분석의 일 형태이다. 다항식의 계수에 물리 파라미터를 설정함으로써, 커브 피팅부(68)는 기준 조작 도구(51a~51c)마다 물리 파라미터를 추정할 수 있다. 따라서, 피팅 모델은, 물리 파라미터로 하중 변위 곡선을 피팅할 수 있도록 선정되면 된다.
비교부(69)는, 물리 파라미터 변환부(67)가 결정한 물리 파라미터와 커브 피팅부(68)가 결정한 물리 파라미터를 비교하여, 유사한지 여부를 판단한다. 예를 들면, 비교부(69)는, 물리 파라미터(P1~Pn)마다 차의 제곱합을 산출하고, 문턱값 미만인지 아닌지를 판단한다. 비교부(69)는, 유사하고 있는 물리 파라미터가 있으면 그 기준 조작 도구(51a~51c)에 대응하는 물리 파라미터를, 물리 파라미터 설정부(66)에 지시한다.
물리 파라미터 설정부(66)는 지시된 기준 조작 도구(51)의 물리 파라미터를 재현 조작 도구(52)로 설정한다.
[표현 도수에 대응하는 물리 파라미터(하중 변위 곡선)의 학습, 기준 조작 도구의 하중 변위 곡선의 커브 피팅]
이어서, 도 35 등을 참조하여, 표현 도수에 대응하는 물리 파라미터(하중 변위 곡선)의 학습에 대하여 설명한다. 도 35는, 표현 도수에 대응하는 물리 파라미터(하중 변위 곡선)의 학습의 흐름을 나타내는 플로우 차트도이다.
ST71에서는, 촉각 제어 장치(50)가 표현 도수의 입력을 접수한다. 분류부(64)의 생성에 사용되는 감성 파라미터에 대해서는 도 27의 (a)에 나타냈다.
ST72에서는, 촉각 제어 장치(50)가, 감성 파라미터의 표현 도수와 물리 파라미터의 대응을 중회귀 분석에 의해 결정한다. 물리 파라미터가 기지의 조작 도구에 대하여, 사용자는 어떠한 조작 감촉인지를 표현 도수로서 입력한다. 물리 파라미터가 기지의 조작 도구는 기준 조작 도구(51)여도 되고 임의의 조작 도구여도 된다. 충분한 인원수의 표현 도수가 입력되면, 촉각 제어 장치(50)는, 수학식 5를 이용하여 중회귀 분석을 행한다. 중회귀 분석에 대해서는 양태 1의 수학식 5, 도 22, 도 23에서 설명했다. 따라서, 촉각 제어 장치(50)는, 수학식 5의 결정 계수B11~Bmn을 결정할 수 있어, 도 23과 같은 변환 모델(15)이 얻어진다.
ST73에서는, 중회귀 분석에 의해 생성된 물리 파라미터 변환부(67)가 촉각 제어 장치(50)에 내장된다.
도 36은, 기준 조작 도구(51a~51c)의 하중 변위 곡선을 커브 피팅하는 흐름을 나타내는 플로우 차트도이다.
ST81에서는, 커브 피팅부(68)가 기준 조작 도구(51a~51c)의 하중 변위 곡선에 커브 피팅을 행한다. 도 9에 나타내는 바와 같이, 기준 조작 도구(51a~51c)마다 스트로크량(x)과 조작 반력의 대응이 얻어지고 있다. 커브 피팅부(68)는, x=0에서부터 스트로크량의 최대까지, 바람직하게는 일정 간격마다 스트로크량과 조작 반력을 세트로 하여 추출한다. 커브 피팅부(68)는, 스트로크량(x)과 조작 반력(y)의 세트를, 피팅 모델에 적용하여 커브 피팅한다. 피팅 모델은, 물리 파라미터를 계수로 하여 스트로크량(x)로부터 조작 응력을 구하는 식이다. 하기의 피팅 모델은 일례이며, 물리 파라미터를 계수로 하여 스트로크량(x)로부터 조작 반력(y)를 구하는 적절한 모델(식)이 채용되어도 된다.
피팅 모델: y=P1×x0+P2×x1+P3×x2+……Pn×xn
커브 피팅부(68)는, 중회귀 분석에 의해 P1~Pn을 구할 수 있다. 얻어진 P1~Pn은 물리 파라미터에 상당한다.
ST82에서는, 커브 피팅에 의해 생성된 각 기준 조작 도구(51a~51c)의 물리 파라미터가 비교부(69)에 설정된다.
[촉각 제시의 흐름]
도 37은, 촉각 제어 장치(50)가 물리 파라미터 변환부(67)와 비교부(69)를 사용하여 사용자가 기호하는 조작 감촉을 제시하는 흐름을 나타내는 플로우 차트도이다.
ST91에서는, 제 1 입력 접수부(62)가 기준 조작 도구(51a~51c)를 선택하기 위한 감성 파라미터의 표현 도수의 입력을 접수한다.
ST92에서는, 물리 파라미터 변환부(67)가, 각 감성 파라미터의 표현 도수에 의거하여 물리 파라미터(하중 변위 곡선)로 변환한다.
ST93에서는, 비교부(69)가, 물리 파라미터 변환부(67)가 결정한 물리 파라미터와, 커브 피팅부(68)가 결정한 기준 조작 도구(51a~51c)마다 물리 파라미터를 비교한다.
S94에서는, 비교부(69)가, 물리 파라미터 변환부(67)가 변환한 물리 파라미터와 유사한 물리 파라미터를 가지는 기준 조작 도구(51a~51c)가 있는지 여부를 판단한다. 여기서의 판단은 상기한 바와 같이, 물리 파라미터 변환부(67)가 결정한 물리 파라미터(P1~Pn)와, 기준 조작 도구(51a~51c)의 커브 피팅에 의해 얻어진 물리 파라미터(P1~Pn)의 차의 제곱합이, 문턱값 미만인지 아닌지를 판단하는 방법이 있다.
S94의 판단이 Yes인 경우, S95에서는, 물리 파라미터 설정부(66)가, 물리 파라미터 변환부(67)가 결정한 물리 파라미터와 유사한 기준 조작 도구(51a~51c)의 물리 파라미터를 재현 조작 도구(52)에 설정한다.
S94의 판단이 No인 경우, S96에서는, 물리 파라미터 설정부(66)가, 가장 유사도가 높은 기준 조작 도구(51a~51c)의 물리 파라미터를 재현 조작 도구(52)에 설정한다. 혹은, 제 1 형태의 분류부(64)를 마련하고, 분류부(64)가 기준 조작 도구(51a~51c)(제 1 변환 모델(65a)~제 3 변환 모델(65c))를 결정해도 된다.
이후에는, 자신이 기호하는 조작 감촉이 얻어지기까지, 사용자는, 제 2 입력 화면(120)을 사용하여, 기호하는 조작 감촉의 조정을 반복할 수 있다.
이와 같이, 본 양태의 촉각 제어 장치(50)는, 사용자가 기호하는 조작 감촉을 리얼타임으로 재현할 수 있다.
[분류의 학습예]
도 38 등을 참조하여, 분류의 학습 방법에 대하여 설명한다. 도 38은, 분류부(64)가 뉴럴 네트워크에 의해 실현되는 경우의 뉴럴 네트워크의 일례를 나타낸다. 도 38의 뉴럴 네트워크는 입력층(131)에 입력된 데이터에 대하여, 출력층(133)의 3개의 노드가 각각 출력값(yi)을 출력한다. 이 출력값(yi)은, 확률이며, y1+y2+y3은 1.0이 된다. 본 양태에서는, 출력층(133)의 3개의 노드가 3개의 기준 조작 도구(51a~51c)에 대응하고 있으며, 표현 도수에 따라 3개의 기준 조작 도구(51a~51c) 중 어느 기준 조작 도구(51a~51c)가 확실한지의 확률을 출력한다.
도 38은 입력층(131)에서부터 출력층(133)까지 L층(예를 들면 3층으로 함)이 전(全)결합된 뉴럴 네트워크이다. 계층이 깊은 뉴럴 네트워크를 DNN(Deep Neural Network)이라고 한다. 입력층(131)과 출력층(133)의 사이의 층을 중간층(132)으로 한다. 중간층의 층 수나 노드 수는 임의로 설정할 수 있으므로, 계층 수나 각 층의 노드(130)의 수 등은 어디까지나 일례이다. 본 양태에서는, 입력층의 노드(130)의 수는, 감성 파라미터의 수(도 27 (a)에서는 24개)이다. 또한, 표현 도수는, 각 감성 파라미터에 대하여, 5단계, 3단계 등, 임의의 단계 조정으로 설정되어도 되고, 연속적으로 조정 가능해도 된다.
뉴럴 네트워크에서는, 입력층을 제외한 제 l 층(l(엘): 2, 3)의 1개의 노드(130)에 제 l-1 층의 모든 노드(130)가 접속되고, 제 l-1 층의 노드(130)의 출력(z)과 결합의 무게(w)의 곱이 제 l 층의 노드에 입력된다. 식 (1)은 노드(130)의 출력 신호의 산출 방법을 나타낸다.
Figure pct00006
식 (1)에 있어서, wji(l, l-1)은 제 l 층 j번째의 노드와 제 l-1 층 i번째의 노드간의 무게이며, bj는, 네트워크 내의 바이어스 성분이다. uj (l)은 제 l 층 j번째의 노드의 출력이며, zi (l-1)은 제 l-1 층 i번째의 노드의 출력이다. I는 제 l-1 층의 노드의 수이다.
Figure pct00007
또한, 식 (2)에 나타내는 바와 같이 노드로의 입력 uj (l)은 활성화 함수(f)에 의해 활성화된다. f는 노드의 활성화 함수를 의미한다. 활성화 함수로서는, ReLU, tanh, 시그모이드 등이 알려져 있다. 또한, 입력층(131)의 노드는 입력 데이터를 제 2 층에 전달하는 것만으로도 잘 활성화되지 않는다. 제 l 층의 노드(130)는 활성화 함수로 입력을 비선형화하여 제 l+1 층의 노드(130)에 출력한다. 뉴럴 네트워크에서는 이 처리가 입력층(131)에서부터 출력층(133)까지 반복된다.
출력층(133)의 각 노드에는 중간층(132)의 각 노드가 출력하는 zi가 입력되고, 출력층(133)의 각 노드는 zi를 합계한다. 게다가 출력층(133)의 노드에는 출력층용의 활성화 함수가 이용된다. 다치(多値) 분류(기준 조작 도구(51a~51c)의 선택)의 경우, 출력층(133)의 활성화 함수는 소프트 맥스 함수가 일반적이다. 출력층(133)의 각 노드는 소프트 맥스 함수의 출력값(yi)을 출력한다. 학습 시에는, 출력층(133)의 각 노드를 기준 조작 도구에 대응시킨 다음에 교사 신호(1 또는 0)가 설정된다. 학습이 적절하게 행해지면, 출력층(133)의 각 노드는, 24개의 감성 파라미터가 대응하는 기준 조작 도구(51a~51c)의 확률을 출력할 수 있다. 도면에서는 위에서부터 기준 조작 도구(51a~51c)에 대응하는 것으로 했다. 다만, 출력값이 문턱값 미만인 경우, 미분류로 판단해도 된다.
뉴럴 네트워크의 학습에 대하여 설명한다. 3개의 기준 조작 도구(51a~51c)를 복수의 사용자가 조작하고, 기준 조작 도구(51a~51c)마다 표현 도수를 입력한다. 이렇게 함으로써, 24개의 감성 파라미터와 1개의 교사 신호(어느 기준 조작 도구인지)를 세트로 하는 트레이닝 데이터가, 사용자의 수×기준 조작 도구의 수만큼 얻어진다. 교사 신호는 (1,0,0) (0,1,0) (0,0,1) 중 어느 것이다.
입력층(131)에 입력된 표현 도수를 뉴럴 네트워크가 처리를 하여 출력층(133)으로부터 출력값(yi)을 출력한다. 출력층(133)의 노드에는, 입력된 표현 도수와 세트의 트레이닝 데이터가 가지는 교사 신호가 입력된다. 학습 시에는, 출력층(133)의 노드의 출력값(yi)과 교사 신호의 오차가 손실 함수에 의해 산출된다. 출력층(133)의 활성화 함수가 소프트맥스 함수인 경우, 손실 함수는 교차 엔트로피이다. 손실 함수가 산출한 교사 신호와 출력값의 오차는, 오차 역전파법이라고 불리는 계산 방법으로, 입력층(131)의 노드까지 전파된다. 전파의 과정에서 노드간의 무게(w)가 학습된다. 오차 역전파법의 상세는 생략한다.
학습의 결과, 뉴럴 네트워크는, 예를 들면 기준 조작 도구(51a)에 대하여 입력된 표현 도수에 대하여, 출력층(133)의 기준 조작 도구(51a)에 대응하는 노드(130)가 1.0에 가까운 값을 출력하고, 기준 조작 도구(51b, 51c)에 대응하는 노드(130)는 0.0에 가까운 값을 출력하는 것이 기대된다.
또한, 도 38에서는, 노드간이 전결합되어 있지만, 컨벌루션층이나 풀링층 등이 포함되어도 된다.
도 39는, 분류부(64)가 결정목에 의해 실현되는 경우의 결정목의 일례를 나타낸다. 결정목이란, 특정의 특징이 잘 나타나는 데이터의 집단을 찾아, 그 분류 룰을 생성하는 기계 학습의 방법이다. 본 양태에서는, 3개의 기준 조작 도구(51a~51c)의 각각에서 잘 나타나는 감성 파라미터와 그 표현 도수를 결정하는 것이 학습에 상당한다. 결정목의 구조의 학습 방법의 하나로서 엔트로피를 사용하는 방법이 알려져 있다.
또한, 분류에 바람직한 기계 학습으로서는, 뉴럴 네트워크나 결정목 외에, 서포트 벡터 머신, 랜덤 포리스트, 로지스틱 회귀 등이 사용되어도 된다.
[제 1 입력 화면의 보충]
도 40은, STEP1의 표현 도수의 제 1 입력 화면(281)에 대하여 설명하는 도이다. 사용자는 각 감성 파라미터마다 슬라이드 바를 조작하여 표현 도수를 입력한다. 제 1 형태에서 설명한 분류부(64)는, 학습 결과를 이용하여, 현재의 표현 도수의 경우에 각 기준 조작 도구(51a~51c)가 선택되는 확률을 산출한다. 표시 제어부(61)는, 각 기준 조작 도구(51a~51c)의 확률을 기준 조작 도구란(112)에 표시한다. 따라서, 사용자는 현재의 표현 도수가 어느 기준 조작 도구(51a~51c)에 가까운지를, 기준 조작 도구(51a~51c)를 조작해 봄으로써 파악할 수 있다. 또한, 확률의 표시는, 리얼타임으로 또는 사용자가 결정 조작을 입력한 경우의 어느 것에 따라 표시되어도 된다.
또한, 사용자가 기준 조작 도구란(112)에 있는 기준 조작 도구(51a~51c)의 아이콘을 압하하면, 표시 제어부(61)는, 기준 조작 도구(51a~51c)에 설정되어 있는 표현 도수에, 감성 파라미터 제시란(282)의 슬라이드 바를 초기화한다. 따라서, 사용자는 각 기준 조작 도구(51a~51c)의 표현 도수를 용이하게 확인할 수 있다. 또한, 초기화 시의 표현 도수는, 예를 들면 관능 시험에 있어서, 당해 기준 조작 도구(51)에 대하여 입력된 표현 도수의 중앙값이나 평균값이어도 된다.
[클라이언트 서버 시스템의 동작]
계속해서, 도 41 등을 참조하여, 클라이언트 서버 시스템의 동작에 대하여 설명한다. 도 41은 제 1 형태의 촉각 제어 장치(50)를 클라이언트 서버 시스템에 적용한 촉각 제어 시스템(2)의 기능 블록도이다. 도 41의 설명에서는, 도 29와의 차이를 주로 설명한다. 도 41에 나타내는 바와 같이, 단말 장치(80)와 서버(200)가 각각 제 1 통신부(71)와 제 2통신부(72)를 가지는 것 이외에는, 단말 장치(80)와 서버(200)가 도 29의 촉각 제어 장치(50)와 동일한 기능을 가지고 있다.
도 42는, 촉각 제어 시스템(2)의 동작을 설명하는 시퀀스도이다. 도 42의 설명에서는, 도 32와의 차이를 주로 설명한다.
ST101에서는, 제 1 입력 접수부(62)가 제 1 입력 화면(281)에 입력된 기준 조작 도구(51a~51c)를 선택하기 위한 감성 파라미터의 표현 도수의 입력을 접수한다(STEP1).
ST102에서는, 단말 장치(80)의 제 1 통신부(71)가 각 감성 파라미터의 표현 도수를 서버(200)에 송신한다.
ST103에서는, 서버(200)의 분류부(64)가, 각 감성 파라미터의 표현 도수에 의거하여 기준 조작 도구(51a~51c)를 선택한다.
ST104에서는, 서버(200)의 제 2 통신부(72)가, 기준 조작 도구(51a~51c)의 물리 파라미터를 단말 장치(80)에 송신한다. 단말 장치(80)의 제 1 통신부(71)는 기준 조작 도구(51a~51c)의 물리 파라미터를 수신하고, 물리 파라미터 설정부(66)가 재현 조작 도구(52)로 설정한다.
ST105에서는, 자신이 기호하는 조작 감촉인지 아닌지에 따라, 사용자가, 기준 조작 도구(51a~51c)와는 상이한 조작 감촉으로 조정할지 말지 판단한다. 사용자가, 기준 조작 도구(51a~51c)와는 상이한 조작 감촉으로 조정하는 경우, 제 2 입력 접수부(63)는 제 2 입력 화면(120)에서 입력되는 감성 파라미터의 표현 도수의 입력을 접수한다(STEP2).
ST106에서는, 단말 장치(80)의 제 1 통신부(71)가 감성 파라미터의 표현 도수를 서버(200)에 송신한다.
ST107에서는, 서버(200)의 제 1 변환 모델(65a)~제 3 변환 모델(65c) 중 어느 것(ST103에서 선택됨)이 표현 도수를 물리 파라미터(P1~Pn)로 변환한다.
ST108에서는, 서버(200)의 물리 파라미터 설정부(66)가 제 2 통신부(72)를 개재하여, 변환한 물리 파라미터를 단말 장치(80)에 송신한다. 단말 장치(80)의 제 1 통신부(71)가 수신한 기준 조작 도구(51a~51c)의 물리 파라미터를 재현 조작 도구(52)로 설정한다.
이와 같이, 본 양태의 촉각 제어 시스템(2)은, 클라이언트 서버 시스템에 있어서도, 사용자가 기호하는 조작 감촉을 리얼타임으로 재현할 수 있다.
도 43은 제 2 형태의 촉각 제어 장치(50)를 클라이언트 서버 시스템에 적용한 촉각 제어 시스템(2)의 기능 블록도이다. 도 43의 설명에서는, 도 34와의 차이를 주로 설명한다. 도 43에 나타내는 바와 같이, 단말 장치(80)와 서버(200)가 각각 제 1 통신부(71)와 제 2 통신부(72)를 가지는 것 이외에는, 단말 장치(80)와 서버(200)가 도 34의 촉각 제어 장치(50)와 동일한 기능을 가지고 있다.
도 44는, 제 2 형태의 촉각 제어 시스템(2)의 동작을 설명하는 시퀀스도이다. 도 44의 설명에서는, 도 37과의 차이를 주로 설명한다.
ST111에서는, 제 1 입력 접수부(62)가 제 1 입력 화면(281)에 있어서 감성 파라미터의 표현 도수의 입력을 접수한다.
ST112에서는, 단말 장치(80)의 제 1 통신부(71)가 각 감성 파라미터의 표현 도수를 서버(200)에 송신한다.
ST113에서는, 서버(200)의 물리 파라미터 변환부(67)가, 각 감성 파라미터의 표현 도수에 의거하여 물리 파라미터(하중 변위 곡선)로 변환한다.
ST114에서는, 서버(200)의 비교부(69)가, 물리 파라미터 변환부(67)가 변환한 물리 파라미터와, 커브 피팅부(68)가 미리 결정하고 있는 기준 조작 도구(51a~51c)마다 물리 파라미터를 비교한다.
ST115에서는, 물리 파라미터 변환부(67)가 결정한 물리 파라미터와, 유사한 물리 파라미터의 기준 조작 도구(51a~51c)가 있는 경우, 제 2 통신부(72)가, 유사한 기준 조작 도구(51a~51c) 중 어느 물리 파라미터를 단말 장치(80)에 송신한다. 단말 장치(80)의 제 1 통신부(71)가 기준 조작 도구(51a~51c)의 물리 파라미터를 수신하고, 물리 파라미터 설정부(66)가 재현 조작 도구(52)로 설정한다.
ST116에서는, 물리 파라미터 변환부(67)가 결정한 물리 파라미터와, 유사한 물리 파라미터의 기준 조작 도구(51a~51c)가 없는 경우, 제 2 통신부(72)가, 가장 유사도가 높은 기준 조작 도구(51a~51c) 중 어느 물리 파라미터를 단말 장치(80)에 송신한다. 단말 장치(80)의 제 1 통신부(71)가 기준 조작 도구(51a~51c)의 물리 파라미터를 수신하고, 물리 파라미터 설정부(66)가 재현 조작 도구(52)로 설정한다. 혹은, 제 1 형태의 분류부(64)를 마련하고, 분류부(64)가 기준 조작 도구(51a~51c)(제 1 변환 모델(65a)~제 3 변환 모델(65c))를 결정해도 된다.
이와 같이, 본 양태의 촉각 제어 시스템(2)은, 클라이언트 서버 시스템에 있어서도, 사용자가 기호하는 조작 감촉을 리얼타임으로 재현할 수 있다.
[양태 2의 부기]
[청구항 1]
조작 도구의 조작 감촉을 제어하는 촉각 제어 장치로서,
제 1 감성 파라미터에 대응 지어진 제 1 표현 도수의 입력 수단을 표시하는 표시 제어부와,
사용자 조작에 따라 상기 제 1 표현 도수의 입력을 접수하는 제 1 입력 접수부와,
상기 제 1 표현 도수에 의거하여, 미리 준비된 물리 파라미터를 재현 조작 도구로 설정하는 물리 파라미터 설정부를 가지고,
상기 표시 제어부는, 제 2 감성 파라미터에 대응 지어진 제 2 표현 도수의 입력 수단을 표시하고,
사용자 조작에 따라 상기 제 2 표현 도수의 입력을 접수하는 제 2 입력 접수부와,
상기 제 2 표현 도수를 회귀 모델에 의해 물리 파라미터로 변환하는 변환부를 가지고,
상기 물리 파라미터 설정부는, 상기 변환부가 변환한 물리 파라미터를 상기 재현 조작 도구로 설정하는 것을 특징으로 하는 촉각 제어 장치.
[청구항 2]
제 1 항에 있어서,
상기 제 1 표현 도수를 복수의 기준 조작 도구 중 1개로 분류하는 분류부를 가지고,
상기 물리 파라미터 설정부는, 상기 분류부가 분류한 상기 기준 조작 도구로 설정되어 있는 상기 물리 파라미터를 상기 재현 조작 도구로 설정하는 것을 특징으로 하는 촉각 제어 장치.
[청구항 3]
제 1 항에 있어서,
복수의 기준 조작 도구가 가지는 제 1 물리 파라미터가 실현하는 하중 변위 곡선에 대해 커브 피팅을 행하고, 복수의 기준 조작 도구마다 상기 제 1 물리 파라미터를 추정하는 커브 피팅부와,
상기 제 1 표현 도수를 회귀 모델에 의해 제 2 물리 파라미터로 변환하는 물리 파라미터 변환부를 가지고,
상기 물리 파라미터 설정부는, 상기 제 2 물리 파라미터에 가장 유사한 상기 제 1 물리 파라미터를 가지는 상기 기준 조작 도구의 상기 제 1 물리 파라미터를 상기 재현 조작 도구로 설정하는 것을 특징으로 하는 촉각 제어 장치.
[청구항 4]
제 2 항에 있어서,
상기 제 2 표현 도수의 입력 수단은, 상기 분류부가 분류한 기준 조작 도구로 설정되어 있는 물리 파라미터에 대응하는 표현 도수와 그 전후의 값을 취할 수 있는 것을 특징으로 하는 촉각 제어 장치.
[청구항 5]
제 1 항에 있어서,
상기 제 1 감성 파라미터 및 상기 제 2 감성 파라미터는, 각각 복수이며, 상기 제 1 감성 파라미터의 수는, 상기 제 2 감성 파라미터의 수보다 많은 것을 특징으로 하는 촉각 제어 장치.
[청구항 6]
제 2 항에 있어서,
상기 분류부는, 상기 복수의 기준 조작 도구가 가지는 조작 감촉과, 상기 복수의 기준 조작 도구를 사용자가 각각 조작하여 상기 제 1 감성 파라미터마다 입력한 표현 도수와의 대응을 학습함으로써 생성되고 있는 것을 특징으로 하는 촉각 제어 장치.
[청구항 7]
제 2 항에 있어서,
상기 회귀 모델은, 상기 복수의 기준 조작 도구가 가지는 상기 물리 파라미터와, 상기 복수의 기준 조작 도구를 사용자가 조작하여 상기 제 2 감성 파라미터마다 입력한 표현 도수와의 대응을 회귀 분석함으로써 생성되고 있는 것을 특징으로 하는 촉각 제어 장치.
[청구항 8]
제 3 항에 있어서,
상기 회귀 모델은, 임의의 기준 조작 도구가 가지는 물리 파라미터와, 상기 임의의 기준 조작 도구를 사용자가 조작하여 상기 제 1 감성 파라미터마다 입력한 표현 도수와의 대응을 회귀 분석함으로써 생성되고 있는 것을 특징으로 하는 촉각 제어 장치.
[청구항 9]
제 3 항에 있어서,
상기 커브 피팅부는, 상기 제 1 물리 파라미터를 계수로 하여 스트로크량으로부터 조작 응력을 구하는 피팅 모델을 이용하여, 상기 하중 변위 곡선에 대하여 커브 피팅을 행하여, 상기 제 1 물리 파라미터를 추정하는 것을 특징으로 하는 촉각 제어 장치.
[청구항 10]
상기 제 1 감성 파라미터 및 상기 제 2 감성 파라미터는 형용사이며,
상기 제 1 표현 도수 및 상기 제 2 표현 도수는, 상기 형용사의 정도를 나타내는 값인 것을 특징으로 하는 촉각 제어 장치.
[청구항 11]
제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 제 1 표현 도수 및 상기 제 2 표현 도수는, 사용자가 조작 도구를 각각 조작하였을 때에 얻어지는 촉각의 정보인 것을 특징으로 하는 촉각 제어 장치.
[청구항 12]
제 11 항에 있어서,
상기 회귀 모델에 있어서, 상기 제 1 표현 도수 및 상기 제 2 표현 도수는, 상기 조작 도구를 각각 조작하였을 때에 얻어지는 촉각으로서의 작동력과 상관하는 촉각 제어 장치.
[청구항 13]
조작 도구의 조작 감촉을 제어하는 촉각 제어 장치를,
제 1 감성 파라미터에 대응 지어진 제 1 표현 도수의 입력 수단을 표시하는 표시 제어부와,
사용자 조작에 따라 상기 제 1 표현 도수의 입력을 접수하는 제 1 입력 접수부와,
상기 제 1 표현 도수에 의거하여, 미리 준비된 물리 파라미터를 재현 조작 도구로 설정하는 물리 파라미터 설정부로서 기능시키고,
상기 표시 제어부는, 제 2 감성 파라미터에 대응 지어진 제 2 표현 도수의 입력 수단을 표시하고,
또한, 사용자 조작에 따라 상기 제 2 표현 도수의 입력을 접수하는 제 2 입력 접수부와,
상기 제 2 표현 도수를 회귀 모델에 의해 물리 파라미터로 변환하는 변환부로서 기능시키고,
상기 물리 파라미터 설정부는, 상기 변환부가 변환한 물리 파라미터를 상기 재현 조작 도구로 설정하는 것을 특징으로 하는 프로그램.
[청구항 14]
조작 도구의 조작 감촉을 제어하는 촉각 제어 장치가 촉각을 제어하는 촉각 제어 방법으로서,
제 1 감성 파라미터에 대응 지어진 제 1 표현 도수의 입력 수단을 표시하는 단계와,
사용자 조작에 따라 상기 제 1 표현 도수의 입력을 접수하는 단계와,
상기 제 1 표현 도수에 의거하여, 미리 준비된 물리 파라미터를 재현 조작 도구로 설정하는 단계와,
제 2 감성 파라미터에 대응 지어진 제 2 표현 도수의 입력 수단을 표시하는 단계와,
사용자 조작에 따라 상기 제 2 표현 도수의 입력을 접수하는 단계와,
상기 제 2 표현 도수를 회귀 모델에 의해 물리 파라미터로 변환하는 단계와,
변환된 물리 파라미터를 상기 재현 조작 도구로 설정하는 단계를 가지는 것을 특징으로 하는 촉각 제어 방법.
[청구항 15]
단말 장치와 서버가 네트워크를 개재하여 통신하는 촉각 제어 시스템으로서,
상기 단말 장치는,
제 1 감성 파라미터에 대응 지어진 제 1 표현 도수의 입력 수단을 표시하는 표시 제어부와,
사용자 조작에 따라 상기 제 1 표현 도수의 입력을 접수하는 제 1 입력 접수부와,
상기 제 1 표현 도수를 상기 서버에 송신하는 제 1 통신부와,
상기 서버로부터 송신된 물리 파라미터를 재현 조작 도구로 설정하는 물리 파라미터 설정부를 가지고,
상기 표시 제어부는, 제 2 감성 파라미터에 대응 지어진 제 2 표현 도수의 입력 수단을 표시하고,
사용자 조작에 따라 상기 제 2 표현 도수의 입력을 접수하는 제 2 입력 접수부를 가지고,
상기 제 1 통신부가 상기 제 2 표현 도수를 상기 서버에 송신하고,
상기 서버는,
상기 단말 장치로부터 수신한 상기 제 1 표현 도수에 의거하여, 미리 준비된 상기 물리 파라미터를 결정하고, 결정한 상기 물리 파라미터를 상기 단말 장치에 송신하는 제 2 통신부와,
상기 단말 장치로부터 수신한 상기 제 2 표현 도수를 회귀 모델에 의해 물리 파라미터로 변환하는 변환부를 가지고,
상기 제 2 통신부는, 상기 변환부가 변환한 물리 파라미터를 상기 단말 장치에 송신하는 것을 특징으로 하는 촉각 제어 시스템.
[청구항 16]
제 1 감성 파라미터에 대응 지어진 제 1 표현 도수의 입력 수단을 표시하는 표시 제어부와,
사용자 조작에 따라 상기 제 1 표현 도수의 입력을 접수하는 제 1 입력 접수부와,
상기 제 1 표현 도수를 서버에 송신하는 제 1 통신부와, 상기 서버로부터 송신된 물리 파라미터를 재현 조작 도구로 설정하는 물리 파라미터 설정부를 가지고
상기 표시 제어부는, 제 2 감성 파라미터에 대응 지어진 제 2 표현 도수의 입력 수단을 표시하고,
사용자 조작에 따라 상기 제 2 표현 도수의 입력을 접수하는 제 2 입력 접수부를 가지고, 상기 제 1 통신부가 상기 제 2 표현 도수를 상기 서버에 송신하는 단말 장치와 네트워크를 개재하여 통신하는 서버로서,
상기 단말 장치로부터 수신한 상기 제 1 표현 도수에 의거하여, 미리 준비된 물리 파라미터를 결정하고, 결정한 상기 물리 파라미터를 상기 단말 장치에 송신하는 제 2 통신부와,
상기 단말 장치로부터 수신한 상기 제 2 표현 도수를 회귀 모델에 의해 상기 물리 파라미터로 변환하는 변환부,를 가지고,
상기 제 2 통신부는, 상기 변환부가 변환한 물리 파라미터를 상기 단말 장치에 송신하는 것을 특징으로 하는 서버.
양태 3
[배경 기술]
종래, 사람에게 어떠한 자극을 줌으로써, 감각 제시를 행하는 조작부가 알려져 있다. 여기서, 감각 제시는, 촉각 제시, 소리에 의한 청각 제시, 화상 표시 등에 의한 시각 제시를 포함한다. 다양한 조작부를 구동하는 신호를 조정함으로써, 감각 제시를 조정하는 것이 행해지고 있다.
진동 디바이스를 내장한 버튼 등을 교환 가능하게 한 게임 컨트롤러가 알려져 있다(예를 들면 특허 문헌 3참조.). 특허 문헌 3에는, 상이한 진동 강도를 실현하기 위해 진동 디바이스 자체를 교환하는 기술이 개시되어 있다.
[발명의 개요]
[발명이 이루고자 하는 기술적 과제]
그러나, 종래의 기술은, 조작부의 물리 특성에 따른 감각 제시가 충분히 이루어지고 있지 않다고 하는 문제가 있다. 예를 들면, 로터리식의 조작부의 경우, 조작부의 크기나 질량 등에 따라, 액추에이터를 동일하게 구동해도 조작부를 조작하는 사용자에게 전해지는 감각이 달라져 버린다.
본 양태는, 상기 과제를 감안하여, 조작부의 물리 특성에 따른 감각 제시를 행하는 기술을 제공하는 것을 목적으로 한다.
[발명의 효과]
조작부의 물리 특성에 따른 감각 제시를 행하는 기술을 제공할 수 있다.
[양태 3의 설명]
본 양태에서는, 조작부(예를 들면, 후술하는 도 45의 조작 장치(33))의 물리 특성에 의거하는 조정을 행하는 감각 제어 방법에 대하여 설명한다. 촉각 제시 장치(20)가 액추에이터 구동에 의한 조작부를 통한 촉각 생성을 행함에 있어서, 조작부의 물리 특성(크기나 질량 등)에 따라서는, 액추에이터를 동일하게 구동해도 조작부를 조작하는 사용자(조작자의 일례)에게 전해지는 감촉(사용자가 지각하는 조작 감각)이 달라져 버린다.
즉, 감성 파라미터와 상관하는 물리 파라미터는, 조작부의 물리 파라미터와 액추에이터의 물리 파라미터와의 복합된 물리 파라미터로 구성된다. 따라서, 본 양태의 촉각 제시 장치(20)는, 조작부의 크기나 질량 등의 물리 파라미터에 적합한 촉각 제시 신호가 되도록 조정한다. 또한, 촉각 제어 시스템(110)은, 조작부의 물리 특성에 의거하여, 조작 신호, 감각 제시 신호, 또는 감각 제시 중 적어도 어느 하나를 조정하는 조정부를 구비한다.
예를 들면, 조작부의 물리 특성의 차이는 아래와 같이 하여 검출된다.
·조작부의 물리 특성의 차이를 정보로서 사용자가 입출력 장치(3)에 입력한다. 조작부의 크기나 질량이 특정된다.
·촉각 제시 장치(20)가 조작부의 물리 특성의 차이를 나타내는 ID, 크기, 질량 등을 센서에 의해 검지한다.
·조작부의 물리 특성의 차이를 검지하는 센서는, 카메라이며, 카메라가 일차원 코드, 이차원 코드를 판독한다. 또한, 카메라는 조작부의 화상을 인식함으로써 조작부를 특정한다. 혹은, 센서는 IC 태그 리더이며, IC 태그 리더가 ID를 판독한다.
[촉각 제어 시스템(110)]
도 45는, 본 양태에 있어서, 감각 제어 시스템(100)의 촉각 제어 시스템(110)의 구성을 나타내는 도이다. 본 양태에 있어서, 도 2에 있어서 동일한 부호를 붙인 구성 요소는 마찬가지의 기능을 달성하므로, 주로 본 양태의 주요한 구성 요소에 대해서만 설명하는 경우가 있다.
도 45의 촉각 제시 장치(20)는 조작부 센서(254), 토크 센서(251), 및, 통신부(256)를 새롭게 가지고 있다. 조작부 센서(254)는, 탈착 가능한 조작부가 촉각 제시 장치(20)에 장착된 경우에, 장착된 것과, 조작부를 식별 가능한 정보를 검지한다. 조작부를 식별 가능한 정보로서는, 조작부에 내장된 IC 태그, 조작부에 첩부(貼付)된 일차원 코드, 이차원 코드, 조작부의 외관 등이다. 조작부를 식별 가능한 정보가 IC 태그인 경우, 조작부 센서(254)는 IC 태그 리더이며, 조작부의 ID(식별 정보)를 IC 태그로부터 취득한다. 조작부를 식별 가능한 정보가 일차원 코드 또는 이차원 코드인 경우, 조작부 센서(254)는 카메라이며, 조작부의 ID를 일차원 코드 또는 이차원 코드로부터 취득한다. 조작부를 식별 가능한 정보가 조작부의 외관인 경우, 조작부 센서(254)는 카메라와 식별기이며, 조작부의 외관의 화상 데이터와 ID의 대응을 학습한 식별기로 조작부를 식별한다(조작부의 ID를 알 수 있다).
또한, 조작부는, 조작 장치(33)가 그 일례이며, 조작부는 조작 장치(33) 중 적어도 일부(전체여도 되고, 일부여도 됨)로부터 착탈 가능한 장착부여도 된다. 또한, 주제어 장치(10) 및 촉각 제시 장치(20)는 감각 제어 장치의 일례이다.
토크 센서는, 조작부의 질량을 추정하기 위한 캘리브레이션 시에, 액추에이터를 구동하는 전류를 토크로 변환한다. 상세는 후술한다.
통신부(256)는, 휴대 단말(60)과 통신함으로써, 조작부의 크기를 휴대 단말(60)로부터 수신한다. 상세는 후술한다.
또한, 도 45의 주제어 장치(10)는, 조작부 파라미터(54), 캘리브레이션부(55), 및, 질량 보정부(261)를 새롭게 가지고 있다. 조작부 파라미터(54)에 대해서는 도 46에서 설명한다. 캘리브레이션부(55)는, 캘리브레이션에 의해 조작부의 질량을 추정한다. 질량 보정부(261)는 조작부의 질량을 보정한다. 캘리브레이션부(55)와 질량 보정부(261)에 대해서는 후술한다.
도 46은, 조작부 파라미터(54)의 일례를 나타낸다. 조작부 파라미터(54)에는, 조작부의 ID에, 질량, 크기, 그 밖의 물리 파라미터가 대응 지어져 있다. 질량과 크기는 조작부(201)의 물리 특성이며, 질량과 크기는 본 양태에서는 물리 파라미터에 포함된다.
크기는, 회전 조작을 접수하는 로터리식 조작부의 경우, 반경, 직경, 또는 전체 길이(최대부의 길이)여도 된다. 또한, 조작부가 가압형 조작부인 경우, 크기는 압입 방향의 길이여도 된다. 조작부가 슬라이드 조작을 접수하는 슬라이드 조작부인 경우, 크기는 슬라이드량, 높이, 폭, 두께 중 어느 길이여도 된다. 조작부가 틸팅 조작을 접수하는 피봇 조작부인 경우, 크기는 조작부의 길이여도 된다.
기타 물리 파라미터는 양태 1에서 설명한 것이다. 도 46에 나타내는 바와 같이, 조작부 센서(254)에 의해 조작부의 ID가 검지되면, 물리 파라미터를 알 수 있다.
[조작부 센서에 의한 조작부의 검지]
도 47, 도 48을 참조하여, 조작부 센서(254)에 의한 조작부의 검지 방법을 설명한다. 우선, 도 47은, 로터리식 조작부의 물리 특성의 차이를 설명하는 도이다. 도 47의 (a)는 작은 조작부(201a)를, 도 47의 (b)는 큰 조작부(201b)를 각각 나타낸다. 또한, 이하에서는, 조작부(201a, 201b) 중 임의의 조작부를 「조작부(201)」라고 한다.
도 47의 조작부(201a, 201b)는, 로터리식이지만, 조작부(201a, 201b)의 크기(직경)나 질량 등에 따라, 프로세서(14)가 액추에이터를 동일하게 구동해도 조작부를 조작하는 사용자에게 전해지는 촉각이 달라져 버린다. 예를 들면, 조작부(201)를 회전시키기 위해 필요한 토크는, 직경이 클수록 작아도 된다. 이 때문에, 조작부(201a, 201b)의 회전 조작에 대한 반력을 동일하게 하면, 조작부(201a)의 조작 시에는 돌리기 어렵다고 느끼거나, 조작부(201b)의 조작 시에는 조작감이 없다고 느끼거나 한다.
또한, 조작부(201)의 크기가 상이해도, 통상, 각 조작부는 상사형(相似形)이므로, 크기와 질량에는 일정한 관계가 있다. 예를 들면, 질량이 크기(예를 들면 반경)의 세제곱에 비례한다고 하는 관계가 있으며, 대략 비례 정수도 산출 가능하다. 이 때문에, 후술하는 바와 같이, 변환식에 의해, 조작부(201)의 크기로부터 질량을 구하거나, 질량으로부터 크기를 구하거나 하는 것이 가능하다.
도 48은, 조작부 센서(254)에 의한 조작부(201)의 크기나 질량을 검지하는 몇 가지의 방법을 설명하는 도이다. 도 48의 (a)에서는, 조작부(201)가 IC 태그(202)를 내장하고 있거나 또는 첩부되어 있다. 이 경우, 조작부 센서(254)는 IC 태그 리더(204)이며, 전자파로 IC 태그(202)를 기전하여, IC 태그(202)와 통신하고, IC 태그(202)로부터 조작부의 ID를 수신한다. IC 태그 리더(204)는 촉각 제시 장치(20)에 설치되어 있는 것이 바람직하지만, 휴대 단말(60)과 같은 외부 장치여도 된다.
도 48의 (b)에서는 조작부(201)에 바코드(203)가 첩부되어 있다. 이 경우, 조작부 센서(254)는 카메라(205)로 바코드(203)를 촬영하고, 바코드(203)를 복호함으로써, 조작부의 ID를 취득한다. 카메라(205)는 촉각 제시 장치(20)에 설치되어 있는 것이 바람직하지만, 휴대 단말(60)과 같은 외부 장치여도 된다.
도 48의 (c)에서는, 조작부 센서(254)가 조작부(201) 자체를 카메라로 촬영한다. 조작부 센서(254)는, 미리 설정되어 있는 카메라(205)와 조작부(201)까지의 거리, 카메라(205)의 초점 거리에 의거하여, 화상 데이터로부터 조작부 센서(254)의 크기를 추정한다. 거리, 초점 거리 및 조작부의 외관의 화상 데이터와 ID의 대응을 학습한 식별기이면, 화상 데이터로부터 조작부의 ID를 출력할 수 있다. 질량에 관해서는, 크기로부터 질량을 구하는 변환식을 사용한다.
또한, 도 48의 조작부 센서(254)는, 촉각 제시 장치(20)에 내장되어 있어도 되고, 촉각 제시 장치(20)와는 별개로 존재해도 된다. 예를 들면, 조작부 센서(254)는, 휴대 단말(60)과 같이 사용자가 휴대하는 정보 처리 장치여도 된다.
[조작부 센서가 검지한 조작부가 조작부 파라미터에 없는 경우]
조작부 센서(254)가 검지한 조작부가 조작부 파라미터에 없는 경우가 일어날 수 있다. 예를 들면,
·게임 컨트롤러 등의 사용자가 사용하는 컨트롤러에 있어서, 사용자가, 노브 등의 조작부를 변경하는 것이 가능한 컨트롤러이며, 그 장착부에 적합한 조작 감촉을 얻고 싶은 경우가 있다.
·차량 등의 조작 핸들에 있어서, 사용자가 교환 가능하며, 장착된 핸들에 적합한 조작 감촉을 얻고 싶은 경우가 있다.
조작부 센서(254)가 검지한 조작부가 조작부 파라미터에 없는 경우, 휴대 단말(60)이 물리 파라미터를 추정한다. 사용자는 휴대 단말(60)로 소정의 애플리케이션을 기동한다. 사용자는 애플리케이션이 제어하는 카메라로, 촉각 제시 장치(20)에 장착된 조작부(201)를 촬영한다. 이에 따라, 애플리케이션은 조작부(201)의 화상 데이터로부터 조작부(201)의 크기를 검출한다. 따라서, 휴대 단말(60)이 가지는 카메라는, 스테레오 카메라나 LiDAR(라이더) 스캐너인 것이 바람직하다. 애플리케이션은 조작부(201)의 크기를 촉각 제시 장치(20)에 송신한다. 통신부(256)는 조작부(201)의 크기를 수신한다.
또한, 통신부(256)가 크기를 수신해도 질량까지는 불분명하므로, 조작부(201)의 질량에 관해서는, 크기로부터 질량을 구하는 변환식을 사용한다. 혹은, 애플리케이션이 변환식으로 크기로부터 질량을 구하여, 촉각 제시 장치(20)에 송신한다.
[캘리브레이션에 의한 조작부의 질량의 추정]
이어서, 캘리브레이션부(55)가, 캘리브레이션에 의해 질량을 추정하는 방법에 대하여 설명한다. 캘리브레이션부(55)는, 조작부(201)를 장착하였을 때에 전류 패턴으로 조작부를 동작시켜(로터리식의 경우는 회전시킴), 그 전류와 위치의 대응으로부터 조작부의 질량을 추정한다.
도 49는, 캘리브레이션에 의한 조작부의 질량의 추정 방법을 설명하는 도이다. 우선, 도 49의 (a)는, 로터리식의 조작부(201)의 위치를 설명하는 도이다. 로터리식의 조작부(201)의 경우, 위치란, 회전 중심의 회전 각도여도 된다. 회전 중심은, 조작부(201)의 상면이 원형인 경우, 원의 중심이다. 캘리브레이션부(55)가 로터리식의 조작부(201)를 회전시키는 경우, 질량이 무거울수록 큰 전류가 필요해진다.
도 49의 (b)는, 조작부(201)의 위치의 변화에 필요한 전류와 위치의 관계를 설명하는 도이다. 도 49의 (b)에 나타내는 전류와 위치의 관계는, 설명을 위한 일례이다. 일반적으로 위치를 변화시킬수록 큰 전류가 필요해진다. 또한, 전류는, 조작부를 회전시키는 토크와 일정한 관계가 있어, 전류로부터 조작부를 회전시키기 위해 필요한 토크를 구할 수 있다. 그리고, 위치를 변화시키기 위한 전류는, 조작부의 질량이 클수록 큰 것이 알려져 있다. 토크 센서(251)는 이 전류를 토크로 변환한다.
조작부(201)를 어느 위치까지 회전시키기 위해 필요한 전류(I)와 질량(M)과의 사이의 관계 「I=αM」을 알고 있으면, 캘리브레이션부(55)가 어느 위치까지 조작부(201)를 회전시킬 때에 필요했던 전류(I)를 측정함으로써, 장착된 조작부(201)의 질량(M)을 추정할 수 있다. 또한, α에 대해서는, 질량을 알고 있는 몇 개의 조작부(201)로, 어느 위치까지 조작부(201)를 회전시킬 때의 전류를 측정함으로써 용이하게 구할 수 있다.
이와 같이 하여, 캘리브레이션부(55)가 장착된 조작부(201)의 질량(M)을 추정한다. 크기에 관해서는, 크기로부터 질량을 구하는 변환식을 사용한다.
따라서, 조작부 센서(254)가 검지한 조작부가 조작부 파라미터에 없는 경우, 휴대 단말(60)의 애플리케이션을 이용하는 것 외에, 캘리브레이션에 의해서도 장착된 조작부의 크기나 질량을 추정할 수 있다.
[조작부의 설치 장소에 따른 질량의 보정]
조작부(201)의 기울기 정도는 설치 장소마다 상이하다. 예를 들면, 조작부(201)가 스티어링에 장착된 경우, 또는, 센터 콘솔에 장착된 경우 등에서는, 조작부(201)의 기울기가 상이하다. 기울기가 상이하면 중력의 작용에 의해 특히 가압형 조작부의 조작 감촉이 상이하다. 따라서, 촉각 제시 장치(20)가 가속도 센서(28)에 의해, 조작부(201)의 설치 장소의 기울기를 측정하고, 조작부(201)의 질량을 보정한다.
도 50은, 조작부(201)의 질량의 보정을 설명하는 도이다. 도 50의 (a)는 기울기가 제로인 설치 장소에 배치된 조작부(201)가, 압하된 경우의 조작 반력(F1)을 나타낸다. 조작 반력(F1)은 예를 들면 도 11의 극대값(Tmax)이다. 도 50의 (b)는 기울기가 θ인 설치 장소에 배치된 조작부(201)가, 압하된 경우의 조작 반력(F2)을 나타낸다. 도 50의 (b)에 나타내는 조작 반력(F1, F2), 기울기(θ)의 관계에 의해, 조작 반력(F2)은 아래와 같이 된다.
F2=F1/cosθ
이와 같이, 기울기가 있는 설치 장소에서는 큰 조작 반력이 필요해지지만, 조작 반력과 질량에는 상관이 있다. 따라서, 조작 반력의 차이를 질량의 차이로 간주하여, 질량 보정부(261)가 조작부(201)의 질량을 보정한다. 질량 보정부(261)는, 예를 들면 「보정 후의 질량=원래의 질량/cosθ」 등의 관계를 사용하여, 조작부(201)의 질량을 보정한다. 이렇게 함으로써, 기울기가 있는 장소에 조작부(201)가 설치되어도, 바람직한 조작 감촉을 제어할 수 있다.
[동작 및 처리]
도 51은, 촉각 제어 시스템(110)이 장착된 조작부의 물리 파라미터에 따라 촉각 제시 신호를 조정하는 처리를 나타내는 플로우 차트도이다.
우선, 촉각 제어 시스템(110)은, SD법 등에 의해, 조작부의 질량, 크기를 포함하는 물리 파라미터와 감성 파라미터와의 대응을 구해 둔다(ST121).
이어서, 사용자가 조작부를 장착하면, 사용자가 장착한 조작부를 조작부 센서(254)가 검지한다(ST122).
촉각 제시 장치(20)는 조작부 파라미터(54)에 검지한 조작부가 있는지 여부를 판단한다(ST123). 조작부 센서(254)가 ID를 검지할 수 없는 경우에도 조작부 파라미터(54)에 검지한 조작부가 없는 경우에 포함된다.
단계 ST123의 판단이 Yes인 경우, 변환 모델(15)이 조작부 파라미터(54)에 등록이 끝난 물리 파라미터를 감성 파라미터로 변환한다(ST124). 또한, 본 양태의 변환 모델(15)은, 도 22에 나타내는 바와 같이 물리 파라미터로부터 감성 파라미터를 산출한다.
단계 ST123의 판단이 No인 경우, 사용자가 휴대 단말(60)의 애플리케이션으로 조작부를 촬영하고, 크기와 질량을 촉각 제시 장치에 송신한다(ST125).
통신부(256)가 휴대 단말(60)의 애플리케이션으로부터 크기와 질량을 수신한다(ST126). 또한, 상기 서술과 같이, 캘리브레이션부(55)가 캘리브레이션에 의해 구한 크기와 질량이 채용되어도 된다.
변환 모델(15)은, 추정한 물리 파라미터(크기, 질량)를 감성 파라미터로 변환한다(ST127).
그리고, 연산 기능부(12)는, 크기 질량 등의 물리 파라미터(조작부 파라미터(54)에 등록이 끝났거나, 또는, 추정된)를 이용하여, 촉각 제시 신호를 생성한다(ST128).
연산 기능부(13)는 촉각 제시 신호를 촉각 제시 장치(20)에 송신한다. 사용자가 조작부(201)를 회전 조작 등 하면, 프로세서(18)가 조작 신호를 생성한다. 조작부가 로터리식 조작부인 경우, 조작 신호는 예를 들면, 회전 각도이다. 그 밖의 조작부의 경우, 조작 신호는 조작부의 조작량이다. 촉각 제시부(30)는, 조작 신호에 대응한 촉각 제시 신호에 의해 액추에이터를 제어한다(ST129).
또한, 연산 기능부(12)는, 단계 ST127에서 물리 파라미터로부터 변환된 감성 파라미터를 이용하여, 재차, 물리 파라미터로 변환하여, 촉각 제시 신호를 생성해도 된다. 재차 변환에는, 전용의 변환 모델(15)이 준비되면 된다.
이와 같이, 촉각 제어 시스템(110)은, 등록되어 있지 않은 조작부가 장착된 경우라도 물리 파라미터를 추정할 수 있다. 조정부로서의 연산 기능부(12)는, 물리 파라미터에 의거하여 촉각 제시 신호를 생성하므로, 장착된 조작부에 따라 촉각 제시 신호를 조정할 수 있게 된다.
조정부는, 「촉각 제시 신호」를 조정하는 것에는 한정되지 않고, 「조작 신호」의 조정, 「감각 제시 신호」의 조정, 「감각 제시」 자체의 조정, 또는 이들의 임의의 조합이 가능해도 된다. 구체적으로는, 이하의 케이스가 있다.
·프로세서(18)(조작 검출부의 일례)가 조정부로서 기능하고, “조작 신호”에 조정을 반영하는 케이스.
·연산 기능부(12)(신호 생성부의 일례)가 조정부로서 기능하고, “감각 제시 신호”에 조정을 반영하는 케이스.
·촉각 제시부(30)가 조정부로서 기능하고, “감각 제시”에 조정을 반영하는 케이스.
또한, 본 양태에서는, 변환 모델이 물리 파라미터로부터 감성 파라미터를 추정하므로, 조작부의 물리 파라미터도 반영한 감성 파라미터와 물리 파라미터와의 상관 관계를 구축할 수 있다. 보충하면, 본 내용은, 「감각 제시 신호를 조정하는」에 입각한 내용에도 응용할 수 있다. 즉, 조작부가 교환되는 등 하여 조작부의 물리 파라미터가 변화된 경우에, 조작부(201)가 교환되기 전과 마찬가지로 액추에이터를 구동해버리면, 재현되는 감각, 즉 감성 파라미터가 달라져 버린다. 실현하고 싶은 감성 파라미터가 일정한 경우에는, 감각 제시 신호를 조정함으로써 액추에이터의 물리 파라미터를 조정하여, 설정된 감성 파라미터에 입각한 감각 제시를 행할 수 있다.
또한, 도 52는, 도 51의 변형예로서, 촉각 제어 시스템(110)이 장착된 조작부의 물리 파라미터에 따라 촉각 제시 신호를 조정하는 처리를 나타내는 플로우 차트도이다. 도 52의 설명에서는, 주로 도 51과의 차이를 설명한다.
도 52에서는, 단계 ST123의 판단(소정의 조건의 일례)이 No인 경우, 연산 기능부(12)가 감각 제시 신호의 생성을 정지한다(ST130).
이렇게 함으로써, 물리 파라미터가 불분명한 조작부가 장착되어, 적절한 감각 제시 신호의 생성이 곤란한 경우, 감각 제시 신호를 정지할 수 있다.
또한, 연산 기능부(12)가 감각 제시 신호의 생성을 정지시키는 것이 아니라, 초기값 등의 미리 결정된 감각 제시 신호를 생성해도 된다.
[통신 장치(서버)와 단말 장치를 가지는 촉각 제어 시스템]
이어서, 도 53을 참조하여, 통신 장치(70)(서버)와 단말 장치(80)를 가지는 촉각 제어 시스템(111)에 대하여 설명한다. 도 53은, 도 45에 나타난 감각 제어 시스템(100)의 제 2 실시 형태로서의 촉각 제어 시스템(111)의 구성을, 신호의 흐름과 함께 나타내고 있다. 또한, 도 53의 설명에서는, 주로 도 45와의 차이를 설명한다.
도 53에 나타내는 바와 같이, 단말 장치(80)의 촉각 제시 장치(20)가, 토크 센서(251), 조작부 센서(254), 통신부(256)를 가지고 있다. 또한, 통신 장치(70)가, 조작부 파라미터(54), 캘리브레이션부(55), 및, 질량 보정부(261)를 가지고 있다. 토크 센서(251), 조작부 센서(254), 통신부(256), 조작부 파라미터(54), 캘리브레이션부(55), 및, 질량 보정부(261)에 대해서는 도 45에서 설명한 것과 동일해도 된다.
도 54는, 통신 장치(70)(서버)와 단말 장치(80)가 통신하여, 장착된 조작부의 감성 파라미터를 추정하는 시퀀스도이다.
단계 ST131에서는, 촉각 제어 시스템(111)은, SD법 등에 의해, 조작부의 질량, 크기를 포함하는 물리 파라미터와 감성 파라미터와의 대응을 구해 둔다.
단계 ST132에서는, 사용자가 조작부를 장착하면, 사용자가 장착한 조작부를 조작부 센서(254)가 검지한다.
단계 ST133에서는, 단말 장치(80)는, 조작부 센서(254)가 검지한 조작부의 ID를 통신 장치(70)에 송신한다. 조작부 센서(254)가 ID를 검지할 수 없는 경우, 단말 장치(80)가 ID 불검지를 통신 장치(70)에 송신한다.
단계 ST134에서는, 통신 장치(70)가 수신한 조작부의 ID에 의거하여, 조작부 파라미터(54)에 장착된 조작부가 있는지 여부를 판단한다.
조작부 파라미터(54)에 조작부가 등록되어 있는 경우, 단계 ST135에서는, 변환 모델(15)이 조작부 파라미터(54)에 등록이 끝난 물리 파라미터를 감성 파라미터로 변환한다.
조작부 파라미터(54)에 조작부가 등록되어 있지 않은 경우, 단계 ST136에서는, 통신 장치(70)가 등록되어 있지 않은 취지를 단말 장치(80)에 송신한다.
단계 ST137에서는, 사용자가 휴대 단말(60)의 애플리케이션으로 조작부를 촬영하고, 크기, 질량을 촉각 제시 장치(20)에 송신한다.
단계 ST138에서는, 통신부(256)가 휴대 단말(60)의 애플리케이션으로부터 크기, 질량을 수신한다.
단계 ST139에서는, 휴대 단말(60)이 크기, 질량을 통신 장치(70)에 송신한다.
단계 ST140에서는, 변환 모델(15)이, 추정한 물리 파라미터(크기, 질량)를 감성 파라미터로 변환한다.
단계 ST141에서는, 연산 기능부(12)는, 크기 질량 등의 물리 파라미터(조작부 파라미터(54)에 등록이 끝났거나, 또는, 추정된)를 이용하여, 촉각 제시 신호를 생성한다.
단계 ST142에서는, 통신 장치(70)는 촉각 제시 신호를 단말 장치(80)에 송신한다.
단계 ST143에서는, 사용자의 조작에 의한 조작 신호에 따라, 촉각 제시부(30)가, 조작 신호에 대응한 촉각 제시 신호에 의해 액추에이터를 제어한다. 조작 신호, 감각 제시 신호, 및 감각 제시 중 적어도 어느 것은, 통신 장치(70) 또는 단말 장치(80)의 어느 쪽으로 조정해도 된다.
[주된 효과]
본 양태의 촉각 제어 시스템(110, 111)에 의하면, 조작부의 물리 파라미터를, 조작부의 크기나 질량 등에 따라 조정하므로, 조작부의 크기나 질량이 바뀌어도, 조작하는 사용자에게 전해지는 감촉을 사용자에게 있어서 바람직한 감촉으로 제어할 수 있다.
[그 외]
예를 들면, 양태 3의 조작부는 착탈 가능한 것에 한정되지 않는다. 예를 들면, 조작부를 복수 실장하는 시스템에 있어서, 노브 사이즈·디자인을 달리하는 조작부가 복수 배치되어 있는 경우, 그 차이를 인식하고, 적절한 감촉을 생성할 수도 있다.
또한, 조작부 센서(254)는, 휴대 단말(60)의 애플리케이션이나 캘리브레이션에 의해 크기, 질량을 직접, 구하는 것이 아니라, 기준이 되는 조작부와의 비교에 의해 장착된 조작부의 크기와 질량을 추정해도 된다. 예를 들면, 조작부 파라미터(54)에 ID가 등록이 끝난 조작부와, 등록되어 있지 않은 조작부가 근접하여 배치되어 있는 경우, 화상 데이터에는 2개의 조작부가 비친다. 프로세서(18)는, ID가 등록이 끝난 조작부의 크기와, 등록되어 있지 않은 조작부의 크기의 비율을 구하고, 이 비율을 ID가 등록되어 있는 조작부의 크기와 질량에 곱하여, ID가 등록되어 있지 않은 조작부의 크기와 질량을 추정한다.
또한, 프로세서(18)는 조작 검출부의 일례이며, 연산 기능부(12)는 신호 생성부의 일례이며, 촉각 제시부(30)는 감각 제시부의 일례이다.
[양태 3의 부기]
[청구항 1]
조작부와,
상기 조작부의 조작을 검출하여 조작 신호를 생성하는 조작 검출부와,
상기 조작 신호에 의거하여 감각 제시 신호를 생성하는 신호 생성부와,
상기 감각 제시 신호에 의거하여 조작자에게 감각 제시를 행하는 감각 제시부와,
상기 조작부의 물리 특성에 의거하여, 상기 조작 신호, 상기 감각 제시 신호, 및 상기 감각 제시 중 적어도 어느 하나를 조정하는 조정부를 구비하는 감각 제어 장치.
[청구항 2]
제 1 항에 있어서,
상기 조작부의 물리 특성은, 상기 조작부의 적어도 일부의 질량, 직경, 반경, 또는 전체 길이 중 적어도 하나의 물리 파라미터를 포함하는 것을 특징으로 하는 감각 제어 장치.
[청구항 3]
제 1 항에 있어서,
장착된 조작부를 검지하는 조작부 센서를 가지고,
상기 조작부 센서는, 상기 조작부가 가지는 식별 정보를 취득함으로써, 상기 조작부의 물리 특성을 특정하거나, 또는,
상기 조작부가 촬영된 화상 데이터로부터, 상기 조작부의 물리 특성을 특정하는 것을 특징으로 하는 감각 제어 장치.
[청구항 4]
제 1 항에 있어서,
상기 감각 제시부는, 상기 조작부의 물리 특성이 소정의 조건을 충족시키는 경우, 상기 감각 제시 신호의 생성을 정지하는 것을 특징으로 하는 감각 제어 장치.
[청구항 5]
제 1 항에 있어서,
상기 조작부는 가압 조작을 접수하는 가압형 조작부인 것을 특징으로 하는 감각 제어 장치.
[청구항 6]
제 1 항에 있어서,
상기 조작부는, 슬라이드 조작을 접수하는 슬라이드 조작부인 것을 특징으로 하는 감각 제어 장치.
[청구항 7]
제 1 항에 있어서,
상기 조작부는, 틸팅 조작을 접수하는 피봇 조작부인 것을 특징으로 하는 감각 제어 장치.
[청구항 8]
제 1 항에 있어서,
상기 조작부는, 회전 조작을 접수하는 로터리식 조작부인 것을 특징으로 하는 감각 제어 장치.
[청구항 9]
제 1 항에 있어서,
상기 감각 제시 신호는, 감성 파라미터와 상관하고 있는 것을 특징으로 하는 감각 제어 장치.
[청구항 10]
제 1 항에 있어서,
상기 감각 제시부는, 조작자에게 촉각 제시를 행하는 촉각 제시부인 것을 특징으로 하는 감각 제어 장치.
[청구항 11]
제 1 항에 있어서,
상기 조작부의 적어도 일부는, 착탈 가능한 것을 특징으로 하는 감각 제어 장치.
[청구항 12]
제 1 항에 있어서,
상기 조작부를 액추에이터로 구동한 경우에 필요한 토크를 검출하는 토크 센서와,
미리 준비되어 있는 토크와 질량의 관계에 의거하여, 상기 토크 센서가 검출한 상기 토크로부터 상기 조작부의 질량을 추정하는 캘리브레이션부를 가지는 것을 특징으로 하는 감각 제어 장치.
[청구항 13]
제 1 항에 있어서,
상기 조작부의 기울기를 검출하는 가속도 센서와,
상기 가속도 센서가 검출한 상기 기울기에 따라, 상기 조작부의 질량을 보정하는 질량 보정부를 가지는 것을 특징으로 하는 감각 제어 장치.
[청구항 14]
조작부를 가지는 장치가 행하는 감각 제어 방법으로서,
상기 조작부의 조작을 검출하여 조작 신호를 생성하는 단계와,
상기 조작 신호에 의거하여 감각 제시 신호를 생성하는 단계와,
상기 감각 제시 신호에 의거하여 조작자에게 감각 제시를 행하는 단계와,
상기 조작부의 물리 특성에 의거하여, 상기 조작 신호, 상기 감각 제시 신호, 및 상기 감각 제시 중 적어도 어느 하나를 조정하는 단계를 가지는 것을 특징으로 하는 감각 제어 방법.
[청구항 15]
서로 통신 가능한 통신 장치와 단말 장치를 구비하는 감각 제어 시스템으로서,
상기 단말 장치는,
조작부와,
상기 조작부의 조작을 검출하여 조작 신호를 생성하는 조작 검출부와,
상기 통신 장치로부터 송신된 감각 제시 신호에 의거하여 조작자에게 감각 제시를 행하는 감각 제시부를 가지고,
상기 통신 장치는,
상기 조작 신호에 의거하여 상기 감각 제시 신호를 생성하는 신호 생성부를 가지고,
상기 단말 장치 또는 상기 통신 장치는, 상기 조작부의 물리 특성에 의거하여, 상기 조작 신호, 상기 감각 제시 신호, 및 상기 감각 제시 중 적어도 어느 하나를 조정하는 조정부를 구비하는 감각 제어 시스템.
양태 4
[배경 기술]
종래, 사람에게 어떠한 자극을 부여함으로써, 감각 제시를 행하는 조작 도구가 알려져 있다. 여기서, 감각 제시는, 촉각 제시, 소리에 의한 청각 제시, 화상 표시 등에 의한 시각 제시를 포함한다. 다양한 조작 도구를 구동하는 신호를 조정함으로써, 감각 제시를 조정하는 것이 행해지고 있다.
손끝 모델을 고려한 클릭감 제시 등의 촉각 시스템이 알려져 있다(예를 들면 특허 문헌 4 참조.). 특허 문헌 4에는, 키 누름의 동안에 손끝에 의해 생성되는 전단 진동에 대한 응답을, 손끝의 질량-스프링-댐퍼계 근사에 적용하여 파라미터 평가하는 기술이 개시되어 있다.
[발명의 개요]
[발명이 이루고자 하는 기술적 과제]
그러나, 종래의 기술에서는, 압입 조작에 대한 좌굴 현상 등, 조작 방향으로의 손가락 등의 탄성체의 변형을 상정하고 있지 않기 때문에, 감각 제시의 표현력의 범위가 좁아진다고 하는 문제가 있다. 즉, 손가락에는 피부나 살이라고 하는 탄성체가 포함되지만, 탄성체에 의한 좌굴 현상 등이 감각 제시에 반영되어 있지 않다.
본 양태는, 상기 과제를 감안하여, 감각 제시의 표현력의 범위를 보다 확대한 기술을 제공하는 것을 목적으로 한다.
[발명의 효과]
감각 제시의 표현력의 범위를 보다 확대한 기술을 제공할 수 있다.
[양태 4의 설명]
본 양태에서는, 동특성을 포함하는 물리 파라미터에 의거하는 감각 자극 신호를 출력하는 촉각 제어 시스템(1)과 그 감각 제어 방법에 대하여 설명한다. 동특성은, 시간 인자를 포함하는 물리 특성이며, 예를 들면 시간에 대하여 물리 특성이 변화된다.
본 양태에 있어서는, 상기의 양태 1에서 설명한 도 1의 블록도, 도 2의 촉각 제어 시스템(1)의 하드웨어 구성도, 및, 그 외, 필요한 설명을 원용할 수 있는 것으로 하여 설명한다.
종래, 스위치 등의 조작 도구를 사용자가 가압하였을 때의 하중 변위 곡선은, 강체로 가압하였을 때의 것이고, 시간 인자가 포함되어 있지 않은 정특성에 의거하고 있다. 이 때문에, 사용자가 실제로 손가락으로 가압한 경우에 발생하는 좌굴 현상을 재현한 상태에서, 감성 파라미터와 물리 파라미터와의 대응 정보가 얻어지고 있지 않다.
본 양태에서는, 사용자가 손가락으로 조작 도구를 가압한 경우의 상황에 근접시키기 위해, 강체(손가락의 뼈에 상당)와 조작 도구와의 사이에, 강체와 일체화시킨 탄성체(손가락의 살이나 피부에 상당)를 마련한 손가락 모델 가압 도구로 조작 도구를 가압한다. 손가락 모델 가압 도구가 조작 도구를 가압하였을 때의, 조작 도구의 위치 변화[㎜], 탄성체와 조작 도구와의 사이의 2개의 포스 센서값[N]을 해석함으로써, 인체의 손가락을 고려한 구성으로 SD법에 의한 측정 평가를 행했다. 이에 따라 얻어진 새로운 물리 파라미터에는 동특성이 포함되므로, 사용자가 실제로 손가락으로 가압한 경우에 발생하는 좌굴 현상을 재현한 상태에서, 감성 파라미터와 물리 파라미터와의 대응 정보가 생성된다.
구체적으로는, 이하의 상관 관계가 얻어진다. 또한, 좌굴 기간 T1, 손끝 충돌 기간 T3 및 손끝 진동 기간 T4는, 각각 후술하는 도 60의 (b)에 나타내는 각 기간이며, 상세한 것은 후술한다.
·물리 파라미터(손끝 충돌 기간 T3에 있어서의 조작 도구의 이동 거리, 손끝 충돌 기간 T3에 있어서의 포스 센서값의 변화량, 손끝 충돌 기간 T3)와, 감성 파라미터(복귀감)와의 상관 관계
·물리 파라미터(좌굴 기간 T1에서의 위치 변화)와, 감성 파라미터(흡입감)와의 상관 관계
·물리 파라미터(손끝 진동 기간 T4)와, 감성 파라미터(피로감)와의 상관 관계
[손가락 모델 가압 도구와 조작 도구의 구성예]
도 55는, 강체의 가압 도구에 의해 얻어지는 정특성과, 강체와 탄성체가 일체의 손가락 모델 가압 도구(252)에 의해 얻어지는 동특성을 설명하는 도이다. 우선, 강체(253)의 가압 도구에 의한 조작 도구(250)의 하중 변위 곡선은, 시간 인자를 포함하지 않는 정특성밖에 표현할 수 없다. 하중 변위 곡선(75)은, 손가락의 살부(257)에 대응하는 탄성체의 영향을 포함하고 있지 않기 때문에, 조작자가 지각하는 촉각에 기여하는 물리 특성을 충분히 표현하지 못하고 있다.
이어서, 손가락 모델 가압 도구(252)에 의한 조작 도구(250)의 가압을 설명한다. 우선, 손가락의 살부(257)는 응력에 의해 변형되는 탄성체이다. 또한, 손가락의 내부에는 강체로 간주할 수 있는 뼈(255)도 존재한다. 후술하는 바와 같이, 손가락 모델 가압 도구(252)는, 살부(257)와 뼈(255)와의 특성을 가지도록 설계되어 있다. 강체와 탄성체가 일체의 손가락 모델 가압 도구(252)가 조작 도구(250)를 가압하면, 조작 반력이나 위치 변화 등이 시간에 대한 동특성을 포함한다. 도 55에서는 동특성(270)으로서, 위치 변화, 2개의 포스 센서값 A, B를 나타낸다. 2개의 포스 센서값 A, B는 각각 조작 도구(250)에 대하여 손가락 모델 가압 도구(252)가 발생시키는 조작 반력을 검출한다. 2개의 포스 센서값 A, B는, 각각 상이한 포스 센서에 의해 측정되고 있으며, 손가락의 살부(257)가 조작 도구(250)와 접하는 장소와, 손가락의 내부의 강체 부분(뼈(255)에 상당)에 각각 배치되어 있다. 상세는 도 59에서 설명한다. 동특성(270)에 나타내는 바와 같이, 손가락 모델 가압 도구(252)에 의한 조작 도구(250)의 가압은, 시간을 고려한 손가락의 움직임, 즉, 감각의 발생·변화를 포착할 수 있기 때문에, 사용자가 손가락으로 가압하는 실제의 상황에 근접한 상관 관계를 얻을 수 있다.
도 56은, 손가락이 변형될 때의 손가락과 조작 도구(250)의 상대 위치를 설명하는 도이다. 도 56의 상부는, 하중 변위 곡선(75)으로부터 읽어낼 수 있는 기간 A~C를 나타낸다. 도 56의 하부는, 기간 A~C에 대응한, 손가락의 살의 변형을 모식적으로 나타낸다.
도 56의 하부에 나타내는 바와 같이, 기간 A에서는, 손가락의 압입력과 반발력이 균형을 이루면서, 조작 도구(250)의 버튼 부분(56)의 위치가 서서히 내려간다.
기간 B에서는, 조작 도구(250)의 메탈 컨택트(57)의 변형(좌굴)이 발생하여, 그 반발력이 사라진다. 버튼 부분(56)은 하강력을 유지한 채로 아래로 낙하해 간다. 그 조작 반력이 기간 A에 비해 차분이 된다. 따라서, 손가락과 버튼과의 접촉부의 조작 반력은 저하되고 있다.
기간 C에서는, 손가락과 버튼 부분(56)이, 재차, 메탈 컨택트(57)에 충돌한다. 이 때, 재차, 손끝과 버튼 부분(56)과의 접촉부에 최대 조작 반력이 발생한다. 충돌에 의해, 버튼 부분(56)의 진동도 함께 발생한다.
도 57은, 손가락 모델 가압 도구(252)를 설명하는 도이다. 도 56에서 설명한 바와 같이, 손가락은 살부(257)가 변형되는 탄성체이다. 또한, 손가락의 내부에는 강체로 간주할 수 있는 뼈(255)도 존재한다. 따라서, 버튼 부분(56)과 접촉하는 탄성체(59)와, 탄성체(59)를 개재하여 버튼 부분(56)을 가압하는 강체(58)를 가지는 손가락 모델 가압 도구(252)가, 손가락이 조작 도구(250)를 가압할 때의 적절한 모델이 된다.
[클릭감이 있는 감각 제시 신호의 생성]
도 58은, 클릭감이 있는 감각 제시 신호의 생성을 설명하는 도이다. 클릭감이란, 버튼 등의 입력 장치에 있어서의 입력 시의 반응, 스위치를 누른 것 같은 반응 등을 말한다. 메커니컬식 스위치의 경우, 클릭감은 메탈 컨택트(57) 등의 저항이나 변형에 의해 얻어진다. 다만, 클릭감이 어떻게 발생하는지는 버튼 구조에 따라 다양하다.
또한, 본 양태와 같이 감각 제시 신호가 전기적으로 생성되는 조작 도구(250)에서는, 클릭감은, 액추에이터에 공급되는 전류에 의해 제어된다.
도 58의 (a)는 시간에 대한 액추에이터의 전류값을 나타내고, 도 58의 (b)는, 시간에 대한 조작 반력을 나타낸다. 테두리(283)에서 전류값이 급격하게 작아짐으로써, 조작 반력도 급격하게 작아진다. 도 58의 (b)의 볼록부(284)가, 전류값이 급격하게 작아진 시각에 대응하고 있다. 이 때문에, 사용자가 손가락으로 조작 도구(250)를 가압한 경우에, 메커니컬식 스위치를 누른 것 같은 반응(클릭감)을 얻을 수 있다. 도 58의 (a)에 나타낸, 전류값이 급격하게 작아지는 타이밍이나 전류의 감소량은 어디까지나 일례이며, 적절히, 조정된다.
도 59의 (a)는, 가압형 조작 도구의 기능 구성도를 나타내고, 도 59의 (b)는 가압형 조작 도구의 블록도를 나타낸다. 도 59의 버튼 부분(271)은 도 2의 조작 장치(33)의 일례이며, VCM(263)은 도 2의 촉각 제시부(30)의 일례이다. 도 59의 (a)에 나타내는 바와 같이, 손가락 모델 가압 도구(252)에는 2개의 포스 센서 A, B가 배치되어 있다. 포스 센서 A는 손가락 모델 가압 도구(252)의 탄성체(59)와 버튼 부분(271)이 접촉하는 위치에 배치되고, 포스 센서 B는 손가락 모델 가압 도구(252)의 강체(58)의 내부에 배치되어 있다. 이렇게 함으로써, 포스 센서 A가 검출하는 포스 센서값 A에 의해 좌굴 현상을 감시할 수 있다.
도 59의 (b)의 블록도는 가압형 조작 도구의 일례에 지나지 않지만, 간단하게 설명한다. 또한, MCU 회로(262)는 도 2의 프로세서(18)의 일례이며, 위치 센서(264)는 도 2의 위치 센서(27)의 일례이다. 도 59의 (b)에 나타내는 바와 같이, MCU 회로(262)는, 조작 도구(250)의 버튼 부분(271)이 압입된 조작량(위치 변화)에 따른 전류를 VCM(Voice Coil Motor)(263)에 출력한다. VCM(263)은 전류에 비례한 인공 반력을 버튼 부분(271)에 부여한다. VCM(263)과는 반대측으로부터 버튼 부분(271)을 손가락 모델 가압 도구(252)가 가압하므로, 손가락 모델 가압 도구(252)에 인공 반력이 전해진다. 인공 반력은, 포스 센서 A, B에 의해 측정된다.
[손가락 모델 가압 도구에 의해 얻어지는 동특성]
도 60은, 손가락 모델 가압 도구(252)에 의해 조작 도구(250)를 가압한 경우의 동특성을 설명하는 도이다. 도 60의 (a)는 참고로 나타낸 하중 변위 곡선(75)이며, 도 60의 (b)는 손가락 모델 가압 도구(252)에 의해 조작 도구(250)를 가압한 경우의 동특성(270)의 일례이다. 도 60의 (b)는, 가로축을 시간, 세로축을 2개의 포스 센서값 A, B 및 위치 변화(211)로 했다. 시간의 단위는 [msec], 포스 센서값 A, B의 단위는 [N]이다. 또한, 동특성(270)은 조작 도구(250)에 따라 크게 상이한 것이며, 도 60의 (b)는 일례에 불과한 것에 주의하기 바란다.
시간에 대한 2개의 포스 센서값 A, B, 시간에 대한 위치 변화(211)로부터 추출되는 동특성(좌굴 기간 T1, 손끝낙하 기간 T2, 손끝 충돌 기간 T3, 손끝 진동 기간 T4)에 대해 도 60, 도 61을 참조하면서 설명한다. 도 61은, 손가락 모델 가압 도구(252)와 조작 도구(250)의 상대 위치의 시간적인 천이를 설명하는 도이다.
·좌굴 기간 T1은, 포스 센서값 B의 피크에서부터 위치 변화(211)의 피크까지의 기간이다. 축척의 관계로 이해하기 어렵지만, 포스 센서값 B는 일정하지 않고, 좌굴 기간 T1의 시점에 피크가 있다. 이 피크에 대해서는 도 62에서 설명한다. 또한, 포스 센서값 B의 피크는, 하중 변위 곡선(75)에 있어서의 조작 반력의 최대값에 대응한다. 따라서, 좌굴 기간 T1은, 조작 반력이 최대값이 되고 나서, 위치 변화(211)가 최대가 될 때까지의 기간이다. 도 61의 (a)는 좌굴 기간 T1의 시점에 있어서의, 손가락 모델 가압 도구(252)와 버튼 부분(56)의 상대 위치를 나타낸다. 좌굴 기간 T1의 시점에서는, 하중 변위 곡선(75)에 있어서의 조작 반력의 최대값이 얻어지고 있으므로, 손가락 모델 가압 도구(252)의 탄성체(59)가 크게 압입되고 있다. 또한, 버튼 부분(56)의 왼쪽의 화살표는 위치 변화 방향을 나타낸다.
·손끝 낙하 기간 T2는, 포스 센서값 B의 피크에서부터 포스 센서값 A의 하방을 향하는 피크까지의 기간이다. 하중 변위 곡선(75)에 나타내는 바와 같이, 조작 반력의 최대값이 얻어진 후, 클릭감을 내기 위해, 조작 반력은 급격하게 저하된다. 이 때문에, 손가락 모델 가압 도구(252)로의 조작 반력이 감소하므로, 손끝 낙하 기간 T2의 시점 이후에는 손가락 모델 가압 도구(252)의 탄성체(59)가 복원되기 시작한다. 이에 따라 손끝 낙하 기간 T2에서는 포스 센서값 A가 감소한다. 따라서, 손끝 낙하 기간 T2는, 조작 반력의 최대값이 얻어지고 나서, 손가락 모델 가압 도구(252)의 탄성체가 최대로 복원될 때까지의 기간이다. 도 61의 (b)는 손끝 낙하 기간 T2의 종점에 있어서의, 손가락 모델 가압 도구(252)와 버튼 부분(56)의 상대 위치를 나타낸다. 도 61의 (a)과 비교하면, 손가락 모델 가압 도구(252)의 탄성체(59)가 복원되고 있는 것을 알 수 있다.
·손끝 충돌 기간 T3은, 포스 센서값 A의 하방을 향하는 피크에서부터 포스 센서값 A의 상방을 향하는 피크까지의 기간이다. 손끝 충돌 기간 T3에서는, 도 61의 (b)에서 손가락 모델 가압 도구(252)의 탄성체(59)가 최대로 복원된 후, 추가로 손가락 모델 가압 도구(252)를 계속해서 가압하기 때문에, 포스 센서값 A가 급격하게 증대한다. 따라서, 손끝 충돌 기간 T3은, 손가락 모델 가압 도구(252)의 탄성체(59)가 최대로 복원되고 나서, 탄성체(59)가 가장 압입될 때까지의 기간이다. 도 61의 (c)는 손끝 충돌 기간 T3의 종점에 있어서의, 손가락 모델 가압 도구(252)와 버튼 부분(56)의 상대 위치를 나타낸다. 도 61의 (b)와 비교하면, 손가락 모델 가압 도구(252)의 탄성체(59)가 압입되고 있는 것을 알 수 있다.
·손끝 진동 기간 T4는, 포스 센서값 A의 상방향을 향하는 피크에서부터 포스 센서값 A의 변동이 일정값 내에 들어갈 때까지의 기간이다. 이미, 클릭감을 내기 위해 조작 반력이 작아지고 있기 때문에, 가압에 의해 위치 변화(211)가 계속해서 증대해도 포스 센서 A는 급격하게 작아진다. 그 후, 위치 변화(211)가 증대하지 않게 되므로(손가락 모델 가압 도구(252)도 이동하지 않게 됨), 포스 센서값 B도 변화되기 어려워져, 채터링과 같이 포스 센서값 A가 진동한다. 따라서, 손끝 진동 기간 T4는, 가장 압입된 탄성체가 복원되고, 안정될 때까지의 기간이다. 도 61의 (d)는 손끝 진동 기간 T4의 종점에 있어서의, 손가락과 버튼 부분(56)의 상대 위치를 나타낸다. 도 61의 (c)와 비교하면, 손가락 모델 가압 도구(252)의 탄성체(59)가 복원되고 있는 것을 알 수 있다.
이상의, 좌굴 기간 T1, 손끝 낙하 기간 T2, 손끝 충돌 기간 T3, 및, 손끝 진동 기간 T4가 동특성의 일례이다. 또한, 좌굴 기간 T1, 손끝 낙하 기간 T2, 손끝 충돌 기간 T3, 및, 손끝 진동 기간 T4의 각 기간에서, 포스 센서값 A, B의 변화, 및, 위치 변화(211)를 추출 가능하다. 본 양태에서는 이들도 동특성으로서 사용할 수 있다.
이와 같이, 동특성은, 소정의 조작 도구(250)의 조작에 따른 조작 반력 및 조작량 중 적어도 어느 일방의 시간 변화를 포함하는 물리 특성이어도 된다. 이 물리 특성은, 손가락 모델 가압 도구(252) 중, 탄성체(59)를 조작 도구(250)에 접촉시켜 조작할 때의 감각 제시를 실현하는 물리 특성이다.
도 62는, 상기의 기간 A~C와 함께, 동특성을 보다 상세하게 설명하는 도이다. 도 62의 좌측 윗부분은 동특성의 개시에서부터 종료까지를 포함하는 전체도이며, 도 62의 우측 아랫부분은, 도 62의 좌측 윗부분의 테두리(212) 내를 확대한 동특성이다. 도 62의 우측 아랫부분에는 동특성과 기간 A~C와의 대응을 나타냈다. 포스 센서 A가 검출한 포스 센서값 A는 탄성체(59)의 압입과 복원에 의해 크게 변화된다. 포스 센서 B가 검출한 포스 센서값 B는 탄성체(59)의 변형에 의한 영향을 받기 어려우므로, 변화가 작다.
도 62의 우측 아랫부분에서는, 좌굴 기간 T1, 손끝 낙하 기간 T2, 손끝 충돌 기간 T3, 손끝 진동 기간 T4도 나타나 있지만, 이들은 도 60에서 설명한 바와 같다. 도 60에서는 명확하지 않던 포스 센서 B의 피크(좌굴 기간 T1, 손끝 낙하 기간 T2의 시점)가 명확하게 되어 있다.
[감성 파라미터와 상관하는 동특성]
도 60, 도 62에서 설명한 동특성 중 감성 파라미터와 상관하는 것이 있다. 감성 파라미터와 상관하는 적절한 동특성이 본 양태의 물리 파라미터이다.
촉각 제어 시스템(1)은, 감성 파라미터와 상관하는 적절한 동특성을 평가하기 위해 SD법에 의한 평가를 행한다. 이 때문에, 동특성이 상이한 복수의 조작 도구(250)가 준비되었다.
도 63은, 동특성이 상이한 복수의 조작 도구(250)에 대하여 손가락 모델 가압 도구(252)에 의해 가압한 경우의 동특성을 나타낸다. 본 양태에서는, 설명을 위해 25개의 조작 도구(250)가 준비된 것으로 하고, 25개의 조작 도구(250)의 각각에 대해 동특성을 측정했다. 도 63에서는, 그 중 4개의 조작 도구(250)의 동특성을 나타낸다. 도 63의 (a)~(d)의 각각에 있어서, 상측 도면은 가압 시의 전기간(약 1초)의 동특성(270)을 나타내고, 하측 도면은, 좌굴 기간 T1, 손끝 낙하 기간 T2, 손끝 충돌 기간 T3, 및, 손끝 진동 기간 T4의 전후의 동특성(270)을 확대한 도이다.
<감성 파라미터와 상관하는 물리 파라미터의 결정>
도 64는, 감성 파라미터와 상관하는 물리 파라미터의 결정의 흐름을 설명하는 플로우 차트도이다.
단계 ST151에서는, 촉각 제어 시스템(1)이, 손가락 모델 가압 도구(252)에 의해 25개의 조작 도구(250)를 각각 가압한 경우의 동특성을 측정한다.
이어서, 단계 ST152에서는, 입력부(4)가, 25개의 조작 도구(250)에 대하여, SD법으로 감성 파라미터마다 표현 도수를 접수한다.
이어서, 단계 ST153에서는, 프로세서(101)가, 감성 파라미터마다, 각 조작 도구(250)의 동특성과 표현 도수의 세트를 취득한다.
이어서, 단계 ST154에서는, 프로세서(101)가, 감성 파라미터마다, 동특성과 표현 도수의 상관 계수를 구한다.
이어서, 단계 ST155에서는, 프로세서(101)가, 상관 계수의 절대값이 큰, 동특성을 결정한다. 관계수의 절대값이 크다란, 예를 들면 0.5 이상이어도 된다.
이어서, 단계 ST156에서는, 프로세서(101)가, 수학식 5에서 설명한 중회귀 분석을 감성 파라미터와의 상관이 높은 물리 파라미터와 감성 파라미터에 적용하여 변환 모델(15)을 작성한다.
도 65는, 단계 ST153에 있어서 프로세서(101)가 취득한 어느 감성 파라미터에 있어서의, 각 조작 도구(250)의 동특성과 표현 도수의 세트의 산포도이다. 도 65에서는, 가로축에, 감성 파라미터로서 「복귀감이 있음(없음)」을 나타내고, 세로축에, 좌굴 기간 T1을 나타냈다. 좌굴 기간 T1과, 「복귀감이 있음(없음)」의 표현 도수에는, 대개, 우상향의 경향이 있다. 또한, 상관 계수는 0.82이다.
도 66은, 단계 ST153에 있어서 프로세서(101)가 취득한 어느 감성 파라미터에 있어서의, 각 조작 도구(250)의 동특성과 표현 도수의 세트의 산포도이다. 도 66에서는, 가로축에, 감성 파라미터로서 「흡입되는 감이 있음(없음)」을 나타내고, 세로축에, 손끝 충돌 기간 T3에 있어서의 위치 변화를 나타냈다. 손끝 충돌 기간 T3에 있어서의 위치 변화와, 「흡입되는 감이 있음(없음)」의 표현 도수에는, 대개, 우하강의 경향이 있다. 상관 계수는 0.65이다.
도 67은, 단계 ST153에 있어서 프로세서(101)가 취득한 어느 감성 파라미터에 있어서의, 각 조작 도구(250)의 동특성과 표현 도수의 세트의 산포도이다. 도 67에서는, 가로축에, 감성 파라미터로서 「복귀감이 있음(없음)」을 나타내고, 세로축에, 손끝 진동 기간 T4에 있어서의 조작 반력 변화(포스 센서값 A)를 나타냈다. 손끝 진동 기간 T4의 조작 반력 변화와, 「복귀감이 있음(없음)」의 표현 도수에는, 대개, 우상향의 경향이 있다. 상관 계수는 0.78이다.
프로세서(101)는, 도 65, 도 66, 도 67에 나타낸 감성 파라미터와 동특성을 최소 제곱법(회귀 분석의 일례) 등으로 관계 짓는다. 최소 제곱법에 의해, 감성 파라미터와 동특성과의 상관의 강도가 상관 계수에 의해 추정된다.
도 68은, 각 감성 파라미터와 각 동특성과의 상관 계수의 일람을 나타낸다. 도 68에서는, 행 표제가 감성 파라미터, 열 표제가 조작 도구(250)의 동특성이다. 도 68에서는, 0.5 이상의 상관 계수를 사선으로 강조했다. 따라서, 상관 계수가 큰 동특성이 물리 파라미터에 적절한 것을 알 수 있다.
이와 같이 하여 손가락 모델 가압 도구(252)로 각 조작 도구(250)가 가압된 경우에, 감성 파라미터와의 상관이 높은 물리 파라미터가 결정되면, 프로세서(101)가, 수학식 5에서 설명한 중회귀 분석을 감성 파라미터와의 상관이 높은 물리 파라미터와 감성 파라미터에 적용하여 변환 모델(15)을 작성할 수 있다. 수학식 5에서 사용되는 물리 파라미터(P1~Pn)에, 단계 ST154에서 결정된 상관 계수가 큰 물리 파라미터가 채용된다. 중회귀 분석에 대해서는 양태 1의 수학식 5, 도 22, 도 23에서 설명했다. 따라서, 각 조작 도구(250)의 결정 계수(B11~Bmn)를 결정할 수 있고, 도 23과 같은 변환 모델(15)이 조작 도구(250)마다 얻어진다.
[통신 장치(서버)와 단말 장치를 가지는 촉각 제어 시스템]
이어서, 도 69를 참조하여, 통신 장치(70)(서버)와 단말 장치(80)를 가지는 촉각 제어 시스템(2)에 대하여 설명한다. 또한, 촉각 제어 시스템(2)의 블록도에 대해서는 도 20과 마찬가지여도 된다.
도 69는, 통신 장치(70)(서버)와 단말 장치(80)가 통신하여, 장착된 조작 도구(250)의 감성 파라미터를 추정하는 시퀀스도이다.
단계 ST161에서는, 통신 장치(70)와 단말 장치(80)가 통신하여, 손가락 모델 가압 도구(252)에 의해 25개의 조작 도구(250)를 가압함으로써, 각 조작 도구(250)의 동특성을 측정한다.
이어서, 단계 ST162에서는, 입력부(4)가, 25개의 조작 도구(250)에 대하여, SD법으로 감성 파라미터마다 표현 도수를 접수한다.
이어서, 단계 ST163에서는, 단말 장치(80)가 표현 도수를 통신 장치(70)에 송신한다.
이어서, 단계 ST164에서는, 프로세서(14)가, 감성 파라미터마다, 각 조작 도구(250)의 동특성과 표현 도수의 세트를 취득한다.
이어서, 단계 ST165에서는, 프로세서(14)가, 감성 파라미터마다, 동특성과 표현 도수의 상관 계수를 구한다.
이어서, 단계 ST166에서는, 프로세서(14)가, 상관 계수의 절대값이 큰, 동특성을 결정한다. 관계수의 절대값이 크다는 것은, 예를 들면 0.5 이상이어도 된다.
이어서, 단계 ST167에서는, 프로세서(14)가, 수학식 5에서 설명한 중회귀 분석을 감성 파라미터와의 상관이 높은 물리 파라미터와 감성 파라미터에 적용하여 변환 모델(15)을 작성한다.
[주된 효과]
이상에서 설명한 바와 같이, 본 양태의 촉각 제어 시스템(1)은, 손가락 모델 가압 도구(252)에 의해 조작 도구(250)를 가압함으로써, 감성 파라미터와 상관하는 동특성을 추출할 수 있다. 따라서, 감성 파라미터를 이 동특성으로 변환하는 변환 모델을 작성할 수 있으므로, 바람직한 동특성이 되는 감각 제시 신호를 생성할 수 있다.
[그 외]
예를 들면, 양태 2에서는, 가압형 조작 도구에 대하여 설명하였지만, 회전 조작을 접수하는 로터리식 조작 도구에 있어서도 마찬가지로 적용할 수 있다. 로터리식 조작 도구의 경우, 회전 각도가 위치 변화이며, 회전에 대한 저항력이 조작 반력이다.
또한, 손가락 모델 가압 도구(252)로서, 1종류의 탄성체(59)만을 가지는 것을 설명하였지만, 손가락 모델 가압 도구(252)는, 버튼 부분(56)과 접촉하는 측에, 탄성력이 상이한 복수 종류의 탄성체를 가지고 있어도 된다. 탄성력이 상이한 복수 종류의 탄성체는, 예를 들면, 피부에 상당하는 탄성체, 살부에 상당하는 탄성체 등이다. 또한, 탄성력이 상이한 복수 종류의 탄성체는, 강체(58)에 가까울수록 탄성력이 커지도록 층 형상으로 배치되어 있어도 된다. 이렇게 함으로써, 보다 인간의 촉각에 가까운 동특성을 나타내는 손가락 모델 가압 도구(252)를 구축할 수 있다.
또한, 손가락 모델 가압 도구(252)의 형상은, 단순한 입방체여도 되고, 손가락의 형상을 모방한 것이어도 된다. 손가락의 형상으로서는, 남성, 여성, 어른, 아이, 및 각 인종의 손가락을 상정하여, 사이즈나 형상이 상이해도 된다.
[양태 4의 부기]
[청구항 1]
조작 도구를 조작한 경우의 감각 표현의 정도를 나타내는 감성 파라미터의 입력을 접수하는 접수 단계와,
접수한 감성 파라미터를, 감각 자극에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중 상기 감성 파라미터와 상관하는 물리 파라미터로 변환하는 변환 단계와,
변환된 물리 파라미터에 의거하는 감각 자극 신호를 출력하는 출력 단계를 포함하고,
상기 물리 특성은 동특성을 포함하는 감각 제어 방법.
[청구항 2]
제 1 항에 있어서,
상기 동특성은, 소정의 조작 도구의 조작에 따른 조작 반력 및 조작량 중 적어도 어느 일방의 시간 변화를 포함하는 물리 특성인 감각 제어 방법.
[청구항 3]
제 2 항에 있어서,
상기 물리 특성은, 강체와 탄성체를 포함하는 손가락 모델 가압 도구 중, 상기 탄성체를 상기 소정의 조작 도구에 접촉시켜 조작할 때의 감각 제시를 실현하는 물리 특성인 감각 제어 방법.
[청구항 4]
제 1 항에 있어서,
상기 물리 파라미터는, 좌굴 기간인 감각 제어 방법.
[청구항 5]
제 1 항에 있어서,
상기 물리 파라미터는, 손끝 낙하 기간인 감각 제어 방법.
[청구항 6]
제 1 항에 있어서,
상기 물리 파라미터는, 손끝 충돌 기간인 감각 제어 방법.
[청구항 7]
제 1 항에 있어서,
상기 물리 파라미터는, 손끝 진동 기간인 감각 제어 방법.
[청구항 8]
제 1 항에 있어서,
상기 물리 파라미터는, 상기 감성 파라미터와의 상관 관계를 가지는 감각 제어 방법.
[청구항 9]
제 1 항에 있어서,
상기 조작 도구는 가압 조작을 접수하는 가압형 조작 도구인 것을 특징으로 하는 감각 제어 방법.
[청구항 10]
제 1 항에 있어서,
상기 조작 도구는, 회전 조작을 접수하는 로터리식 조작 도구인 것을 특징으로 하는 감각 제어 방법.
[청구항 11]
조작 도구를 조작한 경우의 감각 표현의 정도를 나타내는 감성 파라미터의 입력을 접수하는 입력부와,
상기 입력부가 접수한 감성 파라미터를, 감각 자극에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중 상기 감성 파라미터와 상관하는 물리 파라미터로 변환하는 변환 모델과,
상기 변환 모델이 변환한 물리 파라미터에 의거하는 감각 자극 신호를 출력하는 감각 제시부를 포함하고,
상기 물리 특성은 동특성을 포함하는 장치.
[청구항 12]
서로 통신 가능한 통신 장치와 단말 장치를 구비하는 감각 제어 시스템으로서,
상기 단말 장치는, 조작 도구를 조작한 경우의 감각 표현의 정도를 나타내는 감성 파라미터의 입력을 접수하는 입력부를 가지고,
상기 통신 장치는, 상기 단말 장치로부터 송신된 상기 감성 파라미터를, 감각 자극에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중 상기 감성 파라미터와 상관하는 물리 파라미터로 변환하는 변환 모델을 가지고,
상기 단말 장치는, 상기 변환 모델이 변환한 물리 파라미터에 의거하는 감각 자극 신호를 출력하는 감각 제시부를 가지고,
상기 물리 특성은 동특성을 포함하는 감각 제어 시스템.
[청구항 13]
장치를,
조작 도구를 조작한 경우의 감각 표현의 정도를 나타내는 감성 파라미터의 입력을 접수하는 입력부와,
상기 입력부가 접수한 감성 파라미터를, 감각 자극에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중 상기 감성 파라미터와 상관하는 물리 파라미터로 변환하는 변환 모델과,
상기 변환 모델이 변환한 물리 파라미터에 의거하는 감각 자극 신호를 출력하는 감각 제시부로서 기능시키고,
상기 물리 특성은 동특성을 포함하는 프로그램.
[그 외]
이상, 본 발명을 실시하기 위한 최선의 형태에 대하여 각 양태를 이용하여 설명하였지만, 본 발명은 이와 같은 양태에 전혀 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위 내에 있어서 다양한 변형 및 치환을 가할 수 있다. 예를 들면, 각 구성부, 각 단계 등에 포함되는 기능 등은 논리적으로 모순되지 않도록 재배치 가능하며, 복수의 구성부나 단계 등을 하나로 조합시키거나, 혹은 분할하거나 하는 것이 가능하다.
본 출원은, 2021년 5월 19일에 일본국 특허청에 출원한 일본출원특허 특원2021-084696호, 2022년 5월 12일에 일본국 특허청에 출원한 일본출원특허 특원2022-079095호, 2022년 5월 12일에 일본국 특허청에 출원한 일본출원특허 특원2022-079099호, 2022년 5월 13일에 일본국 특허청에 출원한 일본출원특허 특원2022-079128호에 의거하는 우선권을 주장하는 것이며, 일본출원특허 특원2021-084696호, 일본출원특허 특원2022-079095호, 일본출원특허 특원2022-079099호, 일본출원특허 특원2022-079128호의 전체 내용을 본 출원에 원용한다.
1, 2 촉각 제어 시스템
3 입출력 장치
4 입력부
5 표시부
6, 10 주제어 장치
7, 14, 18, 41, 101 프로세서
8, 11 기억부
9 네트워크
12, 13 연산 기능부
15 감성 파라미터-물리 파라미터 변환 모델
16 감성 데이터 베이스
20, 40 촉각 제시 장치
21 가동부
24 보빈
25 코일
26 스프링 부재
27 위치 센서
28 가속도 센서
29 조작 범위 가변부
30, 43 촉각 제시부
31 요크
31a 외주 요크
31b 센터 요크
32 자석
33, 42 조작 장치
39 액추에이터
43a 저항 토크 발생 장치
43b 회전 토크 발생 장치
45 센서
70 통신 장치
80 단말 장치
100 감각 제어 시스템
102 감각 제시부

Claims (34)

  1. 감성 파라미터를 접수하는 접수 단계와,
    접수한 감성 파라미터를, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중 상기 감성 파라미터와 상관하는 물리 파라미터로 변환하는 변환 단계와,
    변환된 물리 파라미터에 의거하는 감각 제시 신호를 출력하는 출력 단계를 포함하는 감각 제어 방법.
  2. 제 1 항에 있어서,
    상기 변환 단계는, 접수하는 감성 파라미터를 당해 감성 파라미터와 상관하는 물리 파라미터로 변환 가능한 변환 모델에 의거하여 실행되는, 감각 제어 방법.
  3. 제 2 항에 있어서,
    상기 변환 단계에 있어서 이용되는 상기 변환 모델은,
    소정의 감각 제시에 관한 물리 특성과, 당해 감각 제시에 대한 감각 표현의 정도를 나타내는 감성 파라미터와의 대응 정보를, 1종류 이상의 감각 제시에 대하여 각각 기억하는 기억 단계와,
    상기 1종류 이상의 감각 제시 각각에 대한 대응 정보에 의거하여, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중, 상기 감성 파라미터와 상관하는 물리 파라미터를 추출하는 추출 단계와,
    상기 감성 파라미터와 상기 추출된 물리 파라미터에 의거하여, 상기 변환 모델을 생성하는 생성 단계에 의해 얻어진 것인, 감각 제어 방법.
  4. 제 3 항에 있어서,
    상기 기억 단계는, 소정의 조작 도구가 조작될 때의 감각 제시를 실현하는 물리 특성과,
    당해 조작 도구의 조작을 반영하여 입력되는 감성 파라미터와의 대응 정보를, 1종류 이상의 조작 도구에 대하여 각각 기억하는 공정인, 감각 제어 방법.
  5. 제 4 항에 있어서,
    상기 조작 도구의 조작에 따른 변이에 대한 조작 반력의 변화는, 적어도 극대부와 극소부를 포함하고,
    상기 물리 파라미터는, 상기 조작에 따른 변이와 상기 조작 반력을 각각 축으로 하는 좌표 평면에 있어서, 상기 조작 반력이 상기 극대부에서부터 상기 극소부를 거쳐 상기 극대부와 동일한 크기로 이행하는 좌표까지의 오목부의 면적에 의거하는 변수를 포함하는, 감각 제어 방법.
  6. 제 4 항에 있어서,
    상기 조작 도구의 조작에 따른 변이에 대한 조작 반력의 변화는, 적어도 극대부와 극소부를 포함하고,
    상기 물리 파라미터는, 상기 조작에 따른 변이의 양에 관한 변수를 포함하는, 감각 제어 방법.
  7. 제 6 항에 있어서,
    상기 물리 파라미터는, 상기 조작의 개시에서부터 상기 극대부가 나타날 때까지의 상기 조작에 따른 변이의 양에 관한 변수를 포함하는, 감각 제어 방법.
  8. 제 6 항에 있어서,
    상기 물리 파라미터는, 상기 조작에 따른 변이와, 상기 조작 반력을 각각 축으로 하는 좌표 평면에 있어서, 상기 조작 반력이 상기 극대부에서부터 상기 극소부를 거쳐 상기 극대부와 동일한 크기로 이행하는 좌표까지의 변이의 양과, 상기 조작의 개시에서부터 상기 극대부까지의 변이의 양과의 비에 관한 변수를 포함하는, 감각 제어 방법.
  9. 제 4 항에 있어서,
    상기 조작 도구의 조작에 따른 변이에 대한 조작 반력의 변화는, 적어도 극대부를 포함하고,
    상기 물리 파라미터는, 상기 조작에 따른 변이와 상기 조작 반력을 각각 축으로 하는 좌표 평면에 있어서, 상기 극대부의 곡률에 관한 변수를 포함하는, 감각 제어 방법.
  10. 제 4 항에 있어서,
    상기 조작 도구의 조작에 따른 변이에 대한 조작 반력의 변화는, 적어도 극대부를 포함하고,
    상기 물리 파라미터는, 상기 조작의 개시에서부터 상기 극대부에 걸친 상기 조작 반력의 상승에 관한 변수를 포함하는, 감각 제어 방법.
  11. 제 4 항에 있어서,
    상기 조작 도구의 조작에 따른 변이에 대한 조작 반력의 변화는, 적어도 극대부와 극소부를 포함하고,
    상기 물리 파라미터는, 상기 조작에 따른 변이와 상기 조작 반력을 각각 축으로 하는 좌표 평면에 있어서, 상기 극소부가 부호가 되는 인입량의 크기에 관한 변수를 포함하는, 감각 제어 방법.
  12. 제 4 항에 있어서,
    상기 조작 도구의 조작에 따른 변이에 대하여 적어도 조작 반력이 변화되고,
    상기 물리 파라미터는, 상기 조작 반력의 상기 변이에 관한 미분에 관한 변수를 포함하는, 감각 제어 방법.
  13. 제 4 항에 있어서,
    상기 조작 도구의 조작에 따른 변이에 대하여 적어도 조작 반력이 변화되고,
    상기 물리 파라미터는, 상기 조작 반력의 상기 변이에 관한 이계미분에 관한 변수를 포함하는, 감각 제어 방법.
  14. 제 5 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 조작 도구의 조작에 따른 변이는, 상기 조작 도구의 조작량, 상기 조작 도구의 조작 시간, 또는, 상기 조작량과 상기 조작 시간과의 조합인, 감각 제어 방법.
  15. 제 14 항에 있어서,
    상기 조작 도구의 조작량은, 1차원 공간, 2차원 공간, 또는 3차원 공간에 있어서의 양인, 감각 제어 방법.
  16. 제 4 항에 있어서,
    상기 조작 도구는 가동부를 구비하고,
    상기 조작 도구의 조작에 따른 상기 가동부의 이동량에 대한 조작 반력의 변화는, 적어도 극대부와 극소부를 포함하고,
    상기 물리 파라미터는, 상기 가동부의 가속도에 관한 변수를 포함하는, 감각 제어 방법.
  17. 제 4 항에 있어서,
    상기 조작 도구는 슬라이드 조작을 접수하는 조작면을 가지고,
    상기 조작 도구의 슬라이드 조작에 따른 변이에 대한 조작 반력의 변화는, 적어도 극대부와 극소부를 포함하고,
    상기 조작 반력은, 상기 조작면의 진동에 의해 발생하고,
    상기 극대부 또는 상기 극소부는, 상기 조작면의 진동을 발생시키는 구동 신호의 상승과 하강의 시간 변화를 각각 상이하게 하여, 소정 시간 평균에서의 상승에 대응하는 방향 또는 하강에 대응하는 방향으로의 동력을 타방보다 크게 함으로써, 유사적으로 합성되는, 감각 제어 방법.
  18. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    감각 자극 신호를 취득하는 취득 단계와,
    취득한 감각 자극 신호에 의거하여 감성 파라미터를 지정하는 지정 단계를 더 포함하고,
    상기 접수 단계는, 상기 지정 단계에서 지정된 감성 파라미터를 접수하는 단계인, 감각 제어 방법.
  19. 제 18 항에 있어서,
    상기 감각 자극 신호는, 청각 자극 요소에 의거하는 청각 자극 신호, 시각 자극 요소에 의거하는 시각 자극 신호, 촉각 자극 요소에 의거하는 촉각 자극 신호, 또는 이들의 임의의 조합에 의거하는 신호인, 감각 제어 방법.
  20. 제 19 항에 있어서,
    상기 지정 단계는, 취득한 상기 감각 자극 신호의 기초가 되는 청각 자극 요소, 시각 자극 요소 및 촉각 자극 요소 중 적어도 하나의 물리 특성에 포함되는 물리 파라미터를, 당해 물리 파라미터가 상관하는 감성 파라미터로 변환 및 지정하는 단계인, 감각 제어 방법.
  21. 제 3 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 추출 단계는, 상기 복수 종류의 물리 파라미터 각각의 상기 감성 파라미터와의 상관도에 관한 정보를, 복수 종류의 감성 파라미터에 대하여 추출하는 단계를 포함하고,
    상기 생성 단계는,
    상기 복수 종류의 물리 파라미터와, 복수의 상기 상관도에 관한 정보를 이용하여, 상기 복수 종류의 감성 파라미터 각각을 설명하는 제 1 관계식을 생성하는 제 1 생성 단계와,
    상기 제 1 관계식에 의거하여, 상기 복수 종류의 감성 파라미터와, 복수의 상기 상관도에 관한 정보를 이용하여, 상기 복수 종류의 물리 파라미터 각각을 설명하는 제 2 관계식을 생성하는 제 2 생성 단계와,
    상기 제 2 관계식에 의거하여, 복수 종류의 감성 파라미터를 당해 복수 종류의 감성 파라미터와 상관하는 복수 종류의 물리 파라미터로 변환 가능한 변환 모델을 생성하는 제 3 생성 단계를 포함하는, 감각 제어 방법.
  22. 제 21 항에 있어서,
    상기 추출 단계는, 상기 복수 종류의 감성 파라미터 각각을 목적 변수, 상기 복수 종류의 물리 파라미터를 설명 변수로 하는 중회귀 분석에 의해, 상기 상관도에 관한 정보를 추출하는 단계를 포함하는, 감각 제어 방법.
  23. 제 21 항 또는 제 22 항에 있어서,
    상기 제 1 생성 단계는, 상기 복수 종류의 감성 파라미터를 나타내는 열 벡터를 한 변으로 하고, 상기 상관도에 관한 정보를 나타내는 계수 행렬과 상기 복수 종류의 물리 파라미터를 나타내는 열 벡터와의 곱을 타변으로 하는 행렬의 등식으로서 상기 제 1 관계식을 생성하고,
    상기 제 2 생성 단계는, 상기 제 1 관계식의 양변에 상기 계수 행렬의 역행열을 곱함으로써 상기 제 2 관계식을 생성하는, 감각 제어 방법.
  24. 제 23 항에 있어서,
    상기 계수 행렬은 정방 행렬인, 감각 제어 방법.
  25. 제 23 항에 있어서,
    상기 역행열은 유사 역행열인, 감각 제어 방법.
  26. 제 21 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 접수 단계는, 복수 종류의 감성 파라미터를 접수하는 공정이며,
    상기 변환 단계는, 접수한 복수 종류의 감성 파라미터를, 상기 변환 모델에 의거하여, 당해 복수 종류의 감성 파라미터와 상관하는 복수 종류의 물리 파라미터로 변환하는 공정인, 감각 제어 방법.
  27. 제 1 항 내지 제 26 항 중 어느 한 항에 있어서,
    상기 감각 제시 신호에 의거하여 감각을 제시하는 감각 제시 단계를 더 포함하는, 감각 제어 방법.
  28. 제 1 항 내지 제 27 항 중 어느 한 항에 있어서,
    상기 감각 제시는, 촉각 제시, 청각 제시 및 시각 제시 중 적어도 하나를 포함하는, 감각 제어 방법.
  29. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 감각 제시 신호에 의거하여 감각을 제시하는 감각 제시 단계를 더 포함하고,
    상기 감각 제시 단계는, 조작 장치의 조작에 응답하여 촉각 제시부로부터 조작 반력을 발생시킴으로써 촉각을 제시하는 공정이며,
    상기 조작 장치는, 슬라이드 조작을 접수하는 조작면을 가지고,
    상기 촉각 제시부는, 상기 조작면을 진동시킴으로써 조작 반력을 발생시키고,
    상기 감각 제시 단계에서는, 상기 조작면의 진동을 발생시키는 구동 신호의 상승과 하강의 시간 변화를 각각 상이하게 하여, 소정 시간 평균에서의 상기 상승에 대응하는 방향 또는 상기 하강에 대응하는 방향으로의 동력을 타방보다 크게 함으로써, 상기 조작 장치의 슬라이드 조작에 따른 변이에 대한 상기 조작 반력의 변화가 적어도 극대부 또는 극소부를 포함하도록 제어하는, 감각 제어 방법.
  30. 소정의 감각 제시에 관한 물리 특성과, 당해 감각 제시에 대한 감각 표현의 정도를 나타내는 감성 파라미터와의 대응 정보를, 1종류 이상의 감각 제시에 대하여 각각 기억하는 기억 단계와,
    상기 1종류 이상의 감각 제시 각각에 대한 대응 정보에 의거하여, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중, 상기 감성 파라미터와 상관하는 물리 파라미터를 추출하는 추출 단계와,
    상기 감성 파라미터와 상기 추출된 물리 파라미터에 의거하여, 새롭게 접수하는 감성 파라미터를 당해 감성 파라미터와 상관하는 물리 파라미터로 변환 가능한 변환 모델을 생성하는 생성 단계를 포함하는 변환 모델 생성 방법.
  31. 복수 종류의 감성 파라미터 각각을, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터로 설명한 제 1 관계식을,
    상기 복수 종류의 물리 파라미터 각각을, 상기 복수 종류의 감성 파라미터로 설명한 제 2 관계식으로 변환하는 단계를 포함하는 관계식 변환 방법.
  32. 제 1 항 내지 제 31 항 중 어느 한 항에 기재된 방법을 컴퓨터에 실행시키는 프로그램.
  33. 감성 파라미터를 접수하는 입력부와,
    접수한 감성 파라미터를, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중 상기 감성 파라미터와 상관하는 물리 파라미터로 변환하고, 당해 변환된 물리 파라미터에 의거하는 감각 제시 신호를 출력하는 프로세서를 구비하는 감각 제어 시스템.
  34. 소정의 감각 제시에 관한 물리 특성과, 당해 감각 제시에 대한 감각 표현의 정도를 나타내는 감성 파라미터와의 대응 정보를, 1종류 이상의 감각 제시에 대하여 각각 기억하는 기억부와,
    상기 1종류 이상의 감각 제시 각각에 대한 대응 정보에 의거하여, 감각 제시에 관한 물리 특성에 포함되는 복수 종류의 물리 파라미터 중, 상기 감성 파라미터와 상관하는 물리 파라미터를 추출하고, 상기 감성 파라미터와 상기 추출된 물리 파라미터에 의거하여, 새롭게 접수하는 감성 파라미터를 당해 감성 파라미터와 상관하는 물리 파라미터로 변환 가능한 변환 모델을 생성하는 프로세서를 구비하는 변환 모델 생성 시스템.
KR1020237038834A 2021-05-19 2022-05-19 감각 제어 방법, 감각 제어 시스템, 변환 모델 생성 방법, 변환 모델 생성 시스템, 관계식 변환 방법, 및 프로그램 KR20230169290A (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JPJP-P-2021-084696 2021-05-19
JP2021084696 2021-05-19
JP2022079099 2022-05-12
JPJP-P-2022-079099 2022-05-12
JP2022079095 2022-05-12
JPJP-P-2022-079095 2022-05-12
JP2022079128 2022-05-13
JPJP-P-2022-079128 2022-05-13
PCT/JP2022/020863 WO2022244849A1 (ja) 2021-05-19 2022-05-19 感覚制御方法、感覚制御システム、変換モデル生成方法、変換モデル生成システム、関係式変換方法、およびプログラム

Publications (1)

Publication Number Publication Date
KR20230169290A true KR20230169290A (ko) 2023-12-15

Family

ID=84141638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237038834A KR20230169290A (ko) 2021-05-19 2022-05-19 감각 제어 방법, 감각 제어 시스템, 변환 모델 생성 방법, 변환 모델 생성 시스템, 관계식 변환 방법, 및 프로그램

Country Status (5)

Country Link
US (1) US20240036652A1 (ko)
EP (1) EP4343492A1 (ko)
JP (4) JP7386363B2 (ko)
KR (1) KR20230169290A (ko)
WO (1) WO2022244849A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5662425B2 (ja) 2009-05-30 2015-01-28 ナイキ イノベイト セー． フェー． 消費者製品のオンラインデザインの方法
JP2019220168A (ja) 2018-06-11 2019-12-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ スピーチコマンドを使用して触覚をデザインするシステムと方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227696B (zh) 2009-05-21 2014-09-24 松下电器产业株式会社 触感处理装置
JP2011188921A (ja) 2010-03-12 2011-09-29 Panasonic Electric Works Co Ltd 振動付与装置
JP5587759B2 (ja) * 2010-12-24 2014-09-10 京セラ株式会社 触感呈示装置、当該装置に用いるプログラムおよび触感呈示方法
JP5831635B2 (ja) * 2012-06-11 2015-12-09 富士通株式会社 駆動装置、電子機器、及び駆動制御プログラム
US9063570B2 (en) 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
US10437341B2 (en) * 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring
JP7087367B2 (ja) 2017-12-08 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
EP3906462A2 (en) 2019-01-04 2021-11-10 Ultrahaptics IP Ltd Mid-air haptic textures
JP7264779B2 (ja) 2019-09-10 2023-04-25 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
JP7334013B2 (ja) 2019-11-29 2023-08-28 株式会社吉野工業所 合成樹脂製容器、中間容器体、及び合成樹脂製容器の製造方法
JP2022079099A (ja) 2020-11-16 2022-05-26 キヤノン株式会社 光走査装置
JP2022079128A (ja) 2020-11-16 2022-05-26 セイコーエプソン株式会社 画像読取装置、画像読取制御方法及びプログラム
JP7310782B2 (ja) 2020-11-16 2023-07-19 横河電機株式会社 インターフェイス装置、インターフェイス方法、および、インターフェイスプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5662425B2 (ja) 2009-05-30 2015-01-28 ナイキ イノベイト セー． フェー． 消費者製品のオンラインデザインの方法
JP2019220168A (ja) 2018-06-11 2019-12-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ スピーチコマンドを使用して触覚をデザインするシステムと方法

Also Published As

Publication number Publication date
JP7386363B2 (ja) 2023-11-24
WO2022244849A1 (ja) 2022-11-24
JP7481419B2 (ja) 2024-05-10
JPWO2022244849A1 (ko) 2022-11-24
JP2023017031A (ja) 2023-02-02
EP4343492A1 (en) 2024-03-27
JP2023017030A (ja) 2023-02-02
JP2023025707A (ja) 2023-02-22
US20240036652A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US20200218354A1 (en) Mid-Air Haptic Textures
Pentland Perceptual user interfaces: perceptual intelligence
Caldwell et al. An integrated tactile/shear feedback array for stimulation of finger mechanoreceptor
Choi et al. Vibrotactile display: Perception, technology, and applications
JP4778591B2 (ja) 触感処理装置
Freeman et al. Multimodal feedback in HCI: haptics, non-speech audio, and their applications
Strohmeier et al. BARefoot: Generating virtual materials using motion coupled vibration in shoes
Emgin et al. Haptable: An interactive tabletop providing online haptic feedback for touch gestures
Muramatsu et al. Perception of tactile sensation using vibrotactile glove interface
US10481693B2 (en) Input/output device and method for the computer-based display and exploration of real or virtual object surfaces
Korn et al. Empowering persons with deafblindness: Designing an intelligent assistive wearable in the SUITCEYES project
Heravi et al. Learning an action-conditional model for haptic texture generation
JP4469908B2 (ja) 近似触感材料推奨システム
JP7386363B2 (ja) 感覚制御方法、感覚制御システム、変換モデル生成方法、変換モデル生成システム、関係式変換方法、およびプログラム
CN110100222B (zh) 用于处理触觉反馈的方法和装置
CN117296027A (zh) 感觉控制方法、感觉控制系统、变换模型生成方法、变换模型生成系统、关系式变换方法以及程序
Tome Exoskin: pneumatically augmenting inelastic materials for texture changing interfaces
Kahol et al. Haptic User Interfaces: Design, testing and evaluation of haptic cueing systems to convey shape, material and texture information
Rocchesso et al. Contact sounds for continuous feedback
Kahol et al. Neuro-cognitively inspired haptic user interfaces
JP7046667B2 (ja) 情報処理装置、プログラム
Xiao Haptic Feedback Research of Human-Computer Interaction in Human-Machine Shared Control Context of Smart Cars
Chaudhari et al. Haptics
Kalhor INVESTIGATION OF A GRAMMAR AND FRAME-WORK FOR NEW FORMS OF DATA EXPLORATION VIA DYNAMIC DATA PHYSICALISATION
Del Piccolo Multisensory feedback for interactive surfaces