KR20210020003A - 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램 - Google Patents

Abstract

본 개시는 복수의 촉각 제시부에 대한 촉각 신호를 효율적으로 송신할 수 있도록 하는 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램에 관한 것이다. 송신 장치에 있어서, 콘텐츠에 포함되는 촉각 신호를 기저 촉각 신호군으로 분해하고, 분해된 기저 촉각 신호마다 규정하는 파라미터를 포함하는 부호화 데이터로 변환하여 송신한다. 수신 장치에 있어서는, 부호화 데이터를 구성하는 파라미터에 기초하여, 각각의 기저 촉각 신호를 복원하여 합성함으로써 촉각 신호를 복원하여 촉각 제시한다. 촉각 제시 장치를 구비한 콘텐츠 재생 시스템에 적용할 수 있다.

Description

정보 처리 장치 및 정보 처리 방법, 그리고 프로그램

본 개시는 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램에 관한 것이며, 특히 다채널의 촉각 데이터를 저지연으로 송수신할 수 있도록 한 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램에 관한 것이다.

송신 디바이스로부터 송신되는 촉각 데이터를 수신하고, 재킷 등에 마련된 진동자를 촉각 데이터에 기초한 진동 패턴으로 진동시킴으로써, 재킷을 장착한 유저에게 임장감이 있는 촉감을 즐기게 할 수 있는 장치가 제안되어 있다(특허문헌 1 참조).

일본 특허 공개 제2018-045270호 공보

그런데, 특허문헌 1의 기술에 있어서, 더 높은 임장감을 부여하기 위해, 재킷에 보다 많은 진동자를 마련하도록 하는 것이 고려된다.

그러나, 진동자의 수가 증가하면, 재킷에 송신되는 촉각 데이터의 채널수가 증대되고, 증대된 채널수만큼의 촉각 데이터의 송신 시간이 증대될 우려가 있다.

본 개시는 이러한 상황을 감안하여 이루어진 것이며, 특히 다채널의 촉각 데이터를 효율적으로 송수신할 수 있도록 하는 것이다.

본 개시의 일 측면의 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램은, 입력 촉각 신호를, 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터로 부호화하는 부호화부와, 상기 부호화 데이터에 기초하는 출력 촉각 신호에 의해 촉각 제시를 행하는 촉각 제시부에 촉각 제시를 시키는 수신 장치에, 상기 부호화 데이터를 송신하는 송신부를 포함하는 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램이다.

본 개시의 제1 측면에 있어서는, 입력 촉각 신호가, 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터로 부호화되고, 상기 부호화 데이터에 기초하는 출력 촉각 신호에 의해 촉각 제시를 행하는 촉각 제시부에 촉각 제시를 시키는 수신 장치에, 상기 부호화 데이터가 송신된다.

본 개시의 제2 측면의 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램은, 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터를 수신하는 수신부와, 상기 수신한 부호화 데이터에 포함되는 상기 복수의 기저 촉각 신호를 규정하는 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 출력 촉각 신호로 복호하는 복호부를 포함하는 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램이다.

본 개시의 제2 측면에 있어서는, 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터가 수신되고, 상기 수신된 부호화 데이터에 포함되는 상기 복수의 기저 촉각 신호를 규정하는 파라미터에 기초하여, 상기 기저 촉각 신호가 합성되어 출력 촉각 신호로 복호된다.

본 개시의 일 측면에 따르면, 다채널의 촉각 데이터를 효율적으로 송수신하는 것이 가능하게 된다.

도 1은 본 개시의 개요를 설명하는 도면이다.
도 2는 본 개시의 촉각 데이터의 부호화의 개요를 설명하는 도면이다.
도 3은 본 개시의 촉각 데이터의 복호의 개요를 설명하는 도면이다.
도 4는 본 개시의 콘텐츠 재생 시스템의 구성예를 설명하는 도면이다.
도 5는 베스트형 촉각 제시 장치의 구성예를 설명하는 도면이다.
도 6은 손목 밴드형 촉각 제시 장치의 구성예를 설명하는 도면이다.
도 7은 포터블 기기형 촉각 제시 장치의 구성예를 설명하는 도면이다.
도 8은 도 4의 송신 장치의 구성예를 설명하는 도면이다.
도 9는 도 4의 수신 장치의 구성예를 설명하는 도면이다.
도 10은 촉각 데이터의 부호화 처리와 복호 처리를 설명하는 도면이다.
도 11은 촉각 데이터의 부호화 처리와 복호 처리를 설명하는 도면이다.
도 12는 촉각 데이터의 부호화 처리와 복호 처리를 설명하는 도면이다.
도 13은 다채널의 부호화 데이터의 표현 방법을 설명하는 도면이다.
도 14는 다채널의 부호화 데이터의 표현 방법을 설명하는 도면이다.
도 15는 다채널의 부호화 데이터의 표현 방법을 설명하는 도면이다.
도 16은 재생 처리를 설명하는 흐름도이다.
도 17은 촉각 데이터 부호화 처리를 설명하는 흐름도이다.
도 18은 촉각 데이터 복호 처리를 설명하는 흐름도이다.
도 19는 제1 변형예의 재생 처리를 설명하는 흐름도이다.
도 20은 제2 변형예의 재생 처리를 설명하는 흐름도이다.
도 21은 제3 변형예의 재생 처리를 설명하는 흐름도이다.
도 22는 기계 학습을 사용한 촉각 데이터 부호화 처리를 설명하는 도면이다.
도 23은 기계 학습을 사용한 촉각 데이터 부호화 처리를 설명하는 도면이다.
도 24는 학습 장치의 구성예를 설명하는 도면이다.
도 25는 기계 학습을 사용한 촉각 데이터 부호화 처리를 실현하는 송신 장치의 구성예를 설명하는 도면이다.
도 26은 도 24의 학습 장치에 의한 학습 처리를 설명하는 흐름도이다.
도 27은 기계 학습을 사용한 촉각 데이터 부호화 처리를 설명하는 흐름도이다.
도 28은 범용의 퍼스널 컴퓨터의 구성예를 설명하는 도면이다.

이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.

이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 설명은 이하의 순서로 행한다.

1. 본 개시의 개요

2. 제1 실시 형태

3. 제2 실시 형태

4. 소프트웨어에 의해 실행시키는 예

<<1. 본 개시의 개요>>

도 1을 참조하여, 본 개시의 개요에 대하여 설명한다.

도 1은, 본 개시의 촉각 데이터를 포함시킨 콘텐츠를 재생하는 콘텐츠 재생 시스템의 구성의 개요가 도시되어 있다.

도 1의 콘텐츠 재생 시스템(1)은, 송신 장치(10), 수신 장치(11), 표시 장치(12) 및 유저(21)에 의해 장착되는 베스트형 촉각 제시 장치(13)로 구성되며, 각각은 도시하지 않았지만, 유선 또는 무선으로 이루어지는 통신 경로가 확보되어 있어, 서로 데이터를 수수할 수 있다.

송신 장치(10)는, 동화상 데이터, 음성 데이터 및 촉각 데이터를 포함하는 콘텐츠를 수신 장치(11)에 공급한다.

수신 장치(11)는, 동화상 데이터나 음성 데이터를 포함하는 콘텐츠를 표시 장치(12)에 공급하여, 화상으로서 표시시킴과 함께 음성으로서 출력시킴으로써 유저에게 콘텐츠를 시청시킨다. 또한, 동시에, 수신 장치(11)는, 촉각 데이터를 유저(21)가 장착하는 촉각 제시 장치(13)에 공급하여, 촉각 데이터에 대응한 촉각 제시를 실현시킨다.

베스트형 촉각 제시 장치(13)는, 유저(21)의 몸의 각종 부위에 대하여 밀착되는 위치에 복수의 진동부(13a)를 구비하고 있으며, 수신 장치(11)로부터 공급되는 진동부(13a)마다의 촉각 데이터에 기초하여, 각각을 독립적으로 진동시켜, 각각 유저(21)의 신체의 대응하는 부위에 촉각 제시한다(자극을 부여함).

동일한 콘텐츠에 포함되는 동화상 데이터, 음성 데이터 및 촉각 데이터는 모두 대응하는 것이다. 이 때문에, 촉각 제시 장치(13)를 장착한 유저(21)는, 표시 장치(12)에 의해 표시되는 콘텐츠의 동화상이나 음성을 즐기면서, 콘텐츠의 흐름에 대응하는 촉각 데이터에 기초한 복수의 진동부(13a)의 촉각 제시에 의해, 콘텐츠의 시청을 더 높은 임장감을 갖고 즐기는 것이 가능하게 된다. 예를 들어 유저는 표시되는 동화상이나 음성 콘텐츠의 재생 경과 시간과 동기한 촉각 제시를 즐길 수 있다.

그런데, 도 1에 있어서, 촉각 제시 장치(13)에는 10개의 진동부(13a)가 그려져 있지만, 현실에는 더 많은 진동부(13a)가 마련되는 것도 고려된다.

진동부(13a)의 수를 증가시킬수록 보다 임장감을 높이는 것이 가능하게 되지만, 촉각 제시 장치(13)에 공급되는 촉각 데이터는, 진동부(13a)의 수에 수반하여 채널수가 증대하게 된다. 이 때문에, 송신 장치(10)로부터 수신 장치(11)로 복수의 진동부(13a)에 대응하는 다채널의 촉각 데이터를 송신하기 위한 송신 시간이 증대된다.

결과로서, 촉각 데이터의 송신 시간의 증대에 수반하여 촉각 제시 장치(13)의 진동부(13a)가 실제로 진동하여 촉각 제시가 이루어지는 타이밍이, 화상이나 음성에 대하여 지연되어 버릴 우려가 있다.

따라서, 진동부(13a)를 증가시켜, 촉각 제시 장치(13)를 장착한 유저(21)에 대하여, 보다 임장감을 높여 표현할 수 있도록 하기 위해서는, 촉각 데이터의 송수신에 관한 시간을 저감하여, 복수의 진동부(13a)가 동화상이나 음성 콘텐츠에 동기하여 적절한 타이밍에 촉각 제시할 수 있도록 지연을 억제할 필요가 있다.

<촉각 데이터의 부호화의 개요>

그래서, 본 개시에 있어서는, 촉각 데이터에 대응하는 촉각 신호를, 주파수 분석, 패턴 매칭 또는 기계 학습에 기초하여 얻어지는 추정기를 사용한 추정에 의해, 기저 촉각 신호군으로 분할하고, 분할 결과를 사용하여 촉각 데이터를 부호화 데이터로 변환하여 송수신한다. 이 결과, 촉각 데이터는, 분할된 기저 촉각 신호를 규정하는 간단한 파라미터로 표현할 수 있으므로, 데이터양을 압축할 수 있고, 다채널의 촉각 데이터의 송수신에서도 촉각 제시의 지연을 억제할 수 있어, 결과로서 동화상이나 음성 콘텐츠와 동기하여 재생하는 것이 가능하게 된다.

또한, 본 명세서에 있어서, 촉각 신호란, 촉각 제시 장치(13)의 진동부(13a)가 진동함으로써 발생되는 진동을 표현하는 파형 신호이며, 촉각 데이터는, 촉각 신호로 표현되는 파형 신호에 대응하는 진동을 진동부(13a)에 의해 발생시키기 위한 데이터이다. 바꾸어 말하면, 촉각 데이터는, 촉각 신호에 대응한 파형 신호의 진동을 실현시키기 위해 촉각 제시 장치(13)의 진동부(13a)에 공급되는 커맨드나 파라미터라고도 생각할 수 있다. 따라서, 진동부(13a)는 촉각 데이터에 기초하여 진동하는데, 그 진동부(13a)에 입력되는 파형 신호 및 그 진동에 의해 발생하는 파형 신호가 촉각 신호이다. 마찬가지로, 표시 장치(12)는, 화상 데이터 및 음성 데이터에 기초하여, 화상을 표시함과 함께 음성을 출력한다.

또한, 기저 촉각 신호군이란, 합성함으로써 1개의 촉각 신호를 생성 가능한, 기저로 되는 복수의 촉각 신호의 군이다. 예를 들어 기저 촉각 신호군에 속하는 복수의 기저 촉각 신호 중, 임의의 2개의 기저 촉각 신호를 추출한 경우, 추출된 2개의 기저 촉각 신호는 서로 직교 관계로 된다.

바꾸어 말하면, 기저 촉각 신호군에 속하는 기저 촉각 신호는, 모두 서로 독립되어 있고, 유사하지 않으며, 즉 서로 중복되는 일이 없는 촉각 신호이다.

또한, 기저 촉각 신호군에 속하는 기저 촉각 신호는, 예를 들어 수백 종류 정도 미리 준비되며, 동일한 길이의 것을 포함해도 된다. 바람직하게는 여러 가지 길이의 특정 파형 신호를 포함하는 촉각 신호의 군이며, 서로 독립되어 있는 촉각 신호이다.

소정의 촉각 데이터에 대응하는 촉각 신호 TS는, 복수의 기저 촉각 신호의 합으로서 표현할 수 있으며, 예를 들어 도 2에서 도시되는 바와 같이, 기저 촉각 신호군에 속하는 기저 촉각 신호 BTS1, 기저 촉각 신호 BTS2, 기저 촉각 신호 BTS3, …를 포함하는 분할 정보 DI로서 분할할 수 있다.

또한, 도 2의 분할 정보 DI에는, 기저 촉각 신호 BTS1, 기저 촉각 신호 BTS2, 기저 촉각 신호 BTS3, …은, 각각 1종류의 기저 촉각 신호가 1개씩 존재하는 경우가 표현되어 있지만, 동일한 기저 촉각 신호가 복수 존재하는 경우도 있다.

또한, 기저 촉각 신호는, 소정 시간에 있어서의 특정 파형 신호를 포함하는 촉각 신호이지만, 촉각 신호 TS가 분할된 분할 정보 DI에 있어서는, 기저 촉각 신호의 각각에 대하여 진폭의 증감으로 되는 게인이나, 시간 방향의 오프셋 등이 가해진 상태에서 분할되는 경우도 있다.

본 개시에 있어서는, 분할 정보 D1에 포함되는 기저 촉각 신호 BTS1, 기저 촉각 신호 BTS2, 기저 촉각 신호 BTS3, …의 각각에 대하여, 각각의 기저 촉각 신호를 식별하는 인덱스, 각각에 대하여 가해지고 있는 게인이나 시간 방향의 오프셋 등을 포함하는 파라미터를 사용함으로써, 촉각 신호를 부호화한다.

보다 상세하게는, 분할 정보 D1에 포함되는 기저 촉각 신호 BTS1, 기저 촉각 신호 BTS2, 기저 촉각 신호 BTS3, …의 각각을, 기저 촉각 신호 인덱스, 게인, 오프셋(타임 코드) 및 (시간의) 길이 등의 파라미터로 표현함과 함께, 합성하여 합성 정보 MI를 생성한다. 본 개시에서는, 이 합성 정보 MI를 촉각 신호 TS의 부호화 데이터로 한다.

여기서, 기저 촉각 신호 인덱스는, 대상으로 되는 기저 촉각 신호의 식별자이다. 게인은, 대상으로 되는 기저 촉각 신호의 전체 기간에 있어서 부가되는 게인이다. 오프셋(타임 코드)은, 대상으로 되는 기저 촉각 신호에 기초한 진동부(13a)에 의한 촉각 제시가 개시되는 소정의 타이밍으로부터의 오프셋 시간이며, 길이는, 대상으로 되는 기저 촉각 신호의 길이(시간)이다.

이와 같이, 본 개시에 있어서는, 촉각 신호 TS가 기저 촉각 신호군에 기초하여 분할되고, 분할된 기저 촉각 신호마다의 파라미터가 사용되어 부호화됨으로써, 임의의 촉각 데이터에 대응하는 촉각 신호 TS가 기저 촉각 신호군에 기초한 합성 정보 MI를 포함하는 부호화 데이터로 압축된다.

<촉각 데이터의 복호의 개요>

부호화 데이터의 촉각 데이터로의 복호는, 상술한 부호화 방법과 반대의 처리를 함으로써 실현된다.

즉, 부호화 데이터는, 분할 정보 D1에 포함되는 기저 촉각 신호 BTS1, 기저 촉각 신호 BTS2, 기저 촉각 신호 BTS3, …의 각각의, 기저 촉각 신호 인덱스, 게인, 오프셋 및 길이 등의 파라미터가 합성된 합성 정보 MI이다. 그래서, 합성 정보 MI인 부호화 데이터를 분할하여, 미리 기억되어 있는 기저 촉각 신호 BTS1, 기저 촉각 신호 BTS2, 기저 촉각 신호 BTS3, …의 각각을 규정하는 파라미터가 추출 됨과 함께, 추출된 파라미터에 기초한 처리가, 기저 촉각 신호 BTS1, 기저 촉각 신호 BTS2, 기저 촉각 신호 BTS3, …에 실시됨으로써 분할 정보 DI가 복원된다.

또한, 파라미터에 의해 분할 정보 DI로서 복원된 기저 촉각 신호 BTS1, 기저 촉각 신호 BTS2, 기저 촉각 신호 BTS3, …의 각각의 파형 신호를 가산함으로써, 원래의 촉각 신호 TS'(촉각 신호 TS에 가까운 촉각 신호 TS')가 복원되고, 복원된 촉각 신호 TS'에 기초하여 촉각 데이터가 생성된다.

즉, 촉각 신호 TS는, 기저 촉각 신호군에 기초하여 분할 정보 DI로 되고, 분할 정보 DI를 구성하는 기저 촉각 신호마다 규정되는 파라미터가 사용되어 합성 정보 MI로서 부호화되고, 부호화 데이터인 합성 정보 MI로부터 분할 정보 DI가 복원되어, 촉각 신호 TS'가 복원되므로, 촉각 데이터를 고효율로 압축하여 송수신하는 것이 가능하게 된다.

결과로서, 다채널의 촉각 데이터를 송수신하도록 해도, 일련의 처리를 고속으로 실현하는 것이 가능하게 되어, 복수의 진동부(13a)를 진동시키는 구성으로 해도, 진동시키는 타이밍의 지연을 억제하는 것이 가능하게 되므로, 동화상이나 음성 콘텐츠와 동기시켜 진동시키는 것이 가능하게 된다.

또한, 재생할 촉각 데이터에 의해 이루어지는 촉각 제시의 퀄리티나, 촉각 제시 장치(13)의 처리 능력에 따라, 기저 촉각 신호군에 속하는 기저 촉각 신호의 종류를 증감시키거나, 기저 촉각 신호의 길이를 조정하도록 해도 된다.

즉, 촉각 제시 장치(13)의 처리 능력이 높고, 촉각 데이터에 의해 이루어지는 촉각 제시의 퀄리티를 높게 할 수 있는 경우, 기저 촉각 신호군에 포함되는 기저 촉각 신호의 종류를 많게 하도록 하거나, 기저 촉각 신호의 길이를 짧게 하도록 해도 된다. 이와 같이 함으로써, 보다 많은 종류의 기저 촉각 신호로 분할할 수 있으므로, 처리 부하는 높지만 고퀄리티인 다채널의 촉각 데이터에서도 고속으로 송수신하는 것이 가능하게 되어, 촉각 제시의 지연을 억제하는 것이 가능하게 된다.

반대로, 촉각 제시 장치(13)의 처리 능력이 낮고, 촉각 데이터에 의해 이루어지는 촉각 제시의 퀄리티를 낮게 해서라도 고속 처리를 우선하고 싶은 경우, 기저 촉각 신호군에 포함되는 기저 촉각 신호의 수를 적게 하거나, 기저 촉각 신호의 길이를 길게 하도록 해도 된다. 이와 같이 함으로써, 분할해야 할 기저 촉각 신호의 종별이 적어져, 처리 부하를 저감하는 것이 가능하게 되어, 처리 능력이 낮은 촉각 제시 장치(13)라도 다채널의 촉각 데이터를 고속으로 송수신하는 것이 가능하게 되어, 촉각 제시의 지연을 억제하는 것이 가능하게 된다.

또한, 부호화 전의 촉각 신호 TS와, 부호화된 후, 복원된 촉각 신호 TS'는, 엄밀하게는 다른 신호로 되는 경우가 있다. 이것은, 입력된 촉각 신호 TS가 분할 정보 DI로 분할될 때, 유한한 기저 촉각 신호군에 의해 분할되게 되기 때문이며, 분할 정보 DI를 사용하여 촉각 신호를 복원해도, 완전한 촉각 신호 TS로는 되지 않는 경우가 있기 때문이고, 이 경우, 촉각 신호 TS에 가까운 촉각 신호 TS'가 재현되기 때문이다.

그래서, 이후에 있어서는, 촉각 신호에 대하여, 부호화 전과 부호화 후에, 특별히 구별이 필요한 경우, 입력된 부호화 전의 촉각 신호를 입력 촉각 신호라고 칭하고, 부호화 후에 복원되어 출력되는 촉각 신호를 출력 촉각 신호라고도 칭한다. 또한, 마찬가지로, 필요에 따라, 입력 촉각 신호에 대응하는 촉각 데이터를 입력 촉각 데이터라고도 칭하고, 출력 촉각 신호에 대응하는 촉각 데이터를 출력 촉각 데이터라고도 칭한다.

<<2. 제1 실시 형태>>

<콘텐츠 배신 시스템의 구성예>

다음에, 도 4를 참조하여, 본 개시의 화상 데이터, 음성 데이터 및 촉각 데이터를 포함시킨 콘텐츠를 재생하는 콘텐츠 재생 시스템의 구성예에 대하여 설명한다.

도 4의 콘텐츠 재생 시스템(41)은, 송신 장치(51), 수신 장치(52), 촉각 제시 장치(53) 및 표시 장치(54)로 구성된다.

송신 장치(51)는, 도 1의 송신 장치(10)에 대응하는 구성이며, 무선 통신 또는 유선 통신 등에 의해 구성되는 LAN(Local Area Network)으로 대표되는 네트워크를 통하여, 수신 장치(52)에 대하여, 화상 데이터 및 음성 데이터에 추가하여, 촉각 데이터를 포함하는 콘텐츠의 데이터를 송신한다.

수신 장치(52)는, 도 1의 수신 장치(11)에 대응하는 구성이며, 블루투스(등록 상표) 등의 근거리 통신, 혹은 WiFi 등의 무선 통신, 또는 유선 통신 등에 의해 구성되는 LAN(Local Area Network)으로 대표되는 네트워크를 통하여, 촉각 제시 장치(53)에 대하여, 콘텐츠 데이터에 포함되는 촉각 데이터를 송신하고, 촉각 데이터에 따라 진동부 등을 포함하는 촉각 제시부(53a-1 내지 53a-n)를 진동시킴으로써 촉각 제시한다.

또한, 수신 장치(52)는, WiFi 등의 무선 통신, 또는 유선 통신을 통하여, 표시 장치(54)에 콘텐츠 데이터에 포함되는, 화상 데이터 및 음성 데이터를 표시 장치(54)에 출력하여 표시시킴과 함께 음성으로서 출력시킨다.

촉각 제시 장치(53)는, 예를 들어 도 1의 촉각 제시 장치(13)에 대응하는 구성이며, 진동부(13a)에 대응하는 복수의 촉각 제시부(53a-1 내지 53a-n)를 구비한 구성이다. 촉각 제시 장치(53)는, 유저에 장착됨으로써, 촉각 제시부(53a-1 내지 53a-n)가 유저의 신체의 소정의 부위에 접촉하는 구성으로 되어 있다. 또한, 이후에 있어서, 촉각 제시부(53a-1 내지 53a-n)를 특별히 구별할 필요가 없는 경우, 간단히 촉각 제시부(53a)라고 칭하기로 하며, 그 이외의 구성도 마찬가지로 칭한다.

촉각 제시 장치(53)는, 수신 장치(52)로부터 공급되는, 콘텐츠의 재생 상태에 대응하는 촉각 데이터에 기초하여, 복수의 촉각 제시부(53a)를 진동시켜, 유저의 몸의 소정의 부위에 대한 촉각 제시를 실행하여, 소정의 자극을 부여한다. 이 결과, 유저는, 표시 장치(54)에서 재생되고 있는 콘텐츠를 시청할 때, 재생되는 씬에 따라, 촉각 제시부(53a-1 내지 53a-n)로부터 몸의 소정의 부위로 촉각 제시가 이루어짐으로써, 임장감이 있는 콘텐츠의 시청을 즐기는 것이 가능하게 된다.

또한, 여기서는, 촉각 제시부(53a)는, 시계열로 진동을 발생시켜 유저의 소정의 부위에 대하여 자극을 부여하는 진동부를 예로 들어 설명을 진행시키는 것으로 하지만, 촉각 데이터에 기초하여 동작하는 것이라면, 그 이외여도 되며, 예를 들어 근전기 자극이나 압력을 시계열로 가하는 것이어도 된다.

표시 장치(54)는, 도 1의 표시 장치(12)에 대응하는 것이며, LCD(Liquid Crystal Display)나 유기 EL(Electro Luminescence:)을 포함하는 디스플레이이며, 또한 스피커를 구비하고 있다. 표시 장치(54)는, 수신 장치(52)로부터 공급되는 화상 데이터에 기초하여 화상을 표시함과 함께, 음성 데이터에 기초하여 음성을 출력한다.

<촉각 제시 장치의 구성예>

(베스트형 촉각 제시 장치에 대하여)

촉각 제시 장치(53)는, 예를 들어 도 5에서 도시되는 바와 같은 베스트형 촉각 제시 장치(53A)여도 된다.

도 5의 베스트형 촉각 제시 장치(53A)에는, 유저의 몸의 전방면의 부위에 대하여 진동에 의해 촉각 제시를 행하는 촉각 제시부(53a-11 내지 53a-16)가 마련되어 있다.

이들 촉각 제시부(53a-11 내지 53a-16)는, 예를 들어 피에조 소자 액추에이터 등을 포함하며, 수신 장치(52)로부터 공급된 촉각 신호에 기초하여 진동함으로써, 유저에 대하여 진동 자극에 의한 촉각 제시를 행한다.

(손목 밴드형 촉각 제시 장치에 대하여)

또한, 촉각 제시 장치(53)는, 예를 들어 도 6에서 도시되는 바와 같이 손목 밴드형 촉각 제시 장치(53B)로 할 수도 있다.

도 6의 촉각 제시 장치(53B)는 유저의 손목 근방의 부분에 장착된다.

촉각 제시 장치(53B)는, 촉각 제시부(53a-21 내지 53a-24)가 마련되어 있으며, 진동함으로써 촉각을 제시하는 기능을 갖는 손목 밴드형 디바이스로 되어 있다.

이 촉각 제시 장치(53B)에는, 유저의 손목 근방의 부분에 대하여 진동에 의해 촉각 제시를 행하는 촉각 제시부(53a-21 내지 53a-24)가 마련되어 있다.

이들 촉각 제시부(53-21 내지 53-24)는, 예를 들어 피에조 소자 액추에이터 등을 포함하며, 공급된 촉각 신호에 기초하여 진동함으로써, 유저에 대하여 진동 자극에 의한 촉각 제시를 행한다.

(포터블 기기형 촉각 제시 장치에 대하여)

또한, 촉각 제시 장치(53)는, 예를 들어 도 7에 도시하는 바와 같이 게임 기기 등의 포터블 기기형 촉각 제시 장치(53C)로 할 수도 있다. 이 경우, 촉각 제시 장치(53)에 대한 표시 장치(54)를 일체화한 구성으로 하도록 해도 된다.

즉, 도 7에서 도시되는 바와 같이, 촉각 제시 장치(53C)는, 유저가 손에 든 상태에서 조작되는 포터블 기기로 되어 있다. 예를 들어 유저는 촉각 제시 장치(53C)의 양단을 손에 들고, 액정 표시 패널 등의 표시 장치(54)와 마찬가지로 기능하는 표시부(D)에 표시되는 콘텐츠의 화상을 보거나, 도시하지 않은 스피커나 헤드폰 등으로부터 출력되는 음성을 들으면서, 촉각 제시 장치(53C)에 마련된 버튼(B1 내지 B4)을 조작함으로써 게임 등을 행한다.

이 촉각 제시 장치(53C)의 내부의 끝 부분에는, 표시부(D)에 표시된 콘텐츠의 화상이나 출력되는 음성에 따라 유저에 대하여 촉각 제시를 행하기 위한 촉각 제시부(53a-31, 53a-32)가 마련되어 있다.

이들 촉각 제시부(53a-31, 53a-32)는, 예를 들어 피에조 소자 액추에이터 등을 포함하며, 수신 장치(52)로부터 공급된 촉각 데이터에 기초하여 진동함으로써, 유저에 대하여 진동 자극에 의한 촉각 제시를 행한다. 또한, 도 5 내지 도 7에 도시한 예에 있어서, 촉각 제시 장치(53)로서 진동 자극과는 다른 카테고리의 촉각 제시를 행하기 위한 촉각 제시 장치(53)가 마련되어 있어도 된다.

<송신 장치의 구성예>

다음에, 도 8을 참조하여, 송신 장치(51)의 구성예에 대하여 설명한다.

송신 장치(51)는, 제어부(71), 통신부(72), 기억부(73), 입력부(74), 출력부(75), 드라이브(76) 및 리무버블 기억 매체(77)로 구성되어 있으며, 서로 버스(78)를 통하여 접속되어 있고, 데이터나 프로그램을 송수신할 수 있다.

제어부(71)는, 프로세서나 메모리로 구성되어 있으며, 송신 장치(51)의 동작 전체를 제어한다. 제어부(71)는, 콘텐츠 처리부(91) 및 촉각 데이터 처리부(92)를 구비하고 있다.

콘텐츠 처리부(91)는, 기억부(73)에 기억되어 있는 화상 데이터, 음성 데이터 및 촉각 데이터를 포함하는 콘텐츠 데이터를 판독하고, 통신부(72)를 제어하여 수신 장치(52)에 송신한다. 이때, 콘텐츠 처리부(91)는, 촉각 데이터를 촉각 데이터 처리부(92)에 공급하고, 부호화 데이터로 변환시킨 후, 변환된 부호화 데이터와, 화상 데이터 및 음성 데이터를 합쳐서 수신 장치(52)에 송신시킨다.

촉각 데이터 처리부(92)는, 부호화부(101)를 구비하고 있으며, 콘텐츠 처리부(91)로부터 공급되는 콘텐츠 데이터 중 촉각 데이터를 입력 촉각 데이터로서 부호화 데이터로 변환시켜, 콘텐츠 처리부(91)에 출력한다. 또한, 부호화부(101)에 의한 촉각 데이터의 부호화 방법에 대해서는, 도 10, 도 11을 참조하여 상세를 후술한다.

통신부(72)는, 제어부(71)에 의해 제어되며, 유선(또는 무선(도시하지 않음))에 의해, LAN(Local Area Network) 등으로 대표되는 통신 네트워크를 통하여, 수신 장치(52)와의 사이에서 각종 데이터나 프로그램을 송수신한다.

기억부(73)는, 제어부(71)에 의해 제어되며, HDD(Hard Disk Drive), SSD(Solid State Drive) 또는 반도체 메모리 등을 포함하고, 콘텐츠 데이터를 포함하는 각종 데이터 및 프로그램을 기입하거나 또는 판독한다.

입력부(74)는, 유저가 조작 커맨드를 입력하는 키보드, 마우스 등의 입력 디바이스로 구성되며, 입력된 각종 신호를 제어부(71)에 공급한다.

출력부(75)는, 제어부(71)에 의해 제어되며, 공급되는 처리 조작 화면이나 처리 결과의 화상을 도시하지 않은 표시 디바이스에 출력하여 표시한다.

드라이브(76)는, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크(MD(Mini Disc)를 포함함), 혹은 반도체 메모리 등의 리무버블 기억 매체(77)에 대하여 데이터를 판독 기입한다.

<수신 장치의 구성예>

다음에, 도 9를 참조하여, 수신 장치(52)의 구성예에 대하여 설명한다.

수신 장치(52)는, 제어부(131), 통신부(132), 기억부(133), 입력부(134), 출력부(135), 드라이브(136) 및 리무버블 기억 매체(137)로 구성되어 있으며, 서로 버스(138)를 통하여 접속되어 있고, 데이터나 프로그램을 송수신할 수 있다.

제어부(131)는, 프로세서나 메모리로 구성되어 있으며, 수신 장치(52)의 동작 전체를 제어한다. 제어부(131)는, 콘텐츠 처리부(151) 및 촉각 데이터 처리부(152)를 구비하고 있다.

콘텐츠 처리부(151)는, 통신부(132)를 통하여 송신 장치(51)로부터 공급되어 오는 화상 데이터, 음성 데이터, 및 입력 촉각 데이터가 부호화된 부호화 데이터를 포함하는 콘텐츠 데이터를 취득한다. 그리고, 콘텐츠 처리부(151)는, 통신부(132)를 제어하여, 화상 데이터 및 음성 데이터를 표시 장치(54)에 출력하여 화상으로서 표시시킴과 함께 음성으로서 출력시킨다. 또한, 콘텐츠 처리부(151)는, 부호화 데이터를 촉각 데이터 처리부(152)에 공급하여, 출력 촉각 데이터로서 복원시킨 후, 출력 촉각 데이터를 촉각 제시 장치(53)에 공급하여, 출력 촉각 데이터에 기초하여 촉각 제시부(53a)에 의해 촉각 제시시킨다.

촉각 데이터 처리부(152)는, 복호부(161)를 구비하고 있으며, 콘텐츠 처리부(151)로부터 공급되는 부호화 데이터를 복호하여, 원래의 촉각 데이터인 입력 촉각 데이터에 대응하는 출력 촉각 데이터로서 복원시켜, 콘텐츠 처리부(151)에 출력한다. 또한, 복호부(161)에 의한 부호화 데이터의 출력 촉각 데이터로의 복원 방법에 대해서는, 도 10, 도 11을 참조하여 상세를 후술한다.

통신부(132)는, 제어부(131)에 의해 제어되며, 유선(또는 무선(도시하지 않음))에 의해, LAN(Local Area Network) 등으로 대표되는 통신 네트워크를 통하여, 송신 장치(51)와의 사이에서 각종 데이터나 프로그램을 송수신한다.

기억부(133)는, 제어부(131)에 의해 제어되며, HDD(Hard Disk Drive), SSD(Solid State Drive) 또는 반도체 메모리 등을 포함하고, 콘텐츠 데이터를 포함하는 각종 데이터 및 프로그램을 기입하거나 또는 판독한다. 또한, 기억부(133)에는, 복호부(161)가 부호화 데이터를 복호할 때 필요한 기저 촉각 신호군의 정보가 기억되어 있다.

입력부(134)는, 유저가 조작 커맨드를 입력하는 키보드, 마우스 등의 입력 디바이스로 구성되며, 입력된 각종 신호를 제어부(131)에 공급한다.

출력부(135)는, 제어부(131)에 의해 제어되며, 공급되는 처리 조작 화면이나 처리 결과의 화상을 도시하지 않은 표시 디바이스에 출력하여 표시한다.

드라이브(136)는, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크(MD(Mini Disc)를 포함함), 혹은 반도체 메모리 등의 리무버블 기억 매체(137)에 대하여 데이터를 판독 기입한다.

<촉각 데이터의 부호화 방법 및 복호 방법>

다음에, 도 10을 참조하여, 촉각 데이터의 부호화 방법 및 복호 방법에 대하여 설명한다.

1개의 촉각 제시부(53a)를 진동시키기 위한 입력 촉각 데이터에 기초한 입력 촉각 신호가, 예를 들어 도 10의 우측부에서 도시되는 바와 같은 진동 파형을 포함하는 입력 촉각 신호인 경우에 대하여 생각한다.

부호화부(101)는, 도 10의 우측부에서 도시되는 바와 같은 입력 촉각 신호를, 주파수 분석 또는 패턴 매칭 등에 의해, 도 10의 좌측부에서 도시되는 바와 같이, 기저 촉각 신호군에 속하는 복수의 기저 촉각 신호로 분할하여 분할 정보를 생성한다.

도 10의 좌측부에 있어서는, 3종류의 기저 촉각 신호 BTS1 내지 BTS3으로 분할되어 있으며, 각각의 오프셋(타임 코드)이 구해지고 있다.

보다 상세하게는, 도 10의 우측부의 시각 t₁ 내지 t₅₁의 파형에 대해서는, 도 10의 좌측부에 있어서의 기저 촉각 신호 BTS1-1, BTS2-1, BTS3-1로 분할되고, 도 10의 우측부의 시각 t₂₂ 내지 t₅₂의 파형에 대해서는, 도 10의 좌측부에 있어서의 기저 촉각 신호 BTS3-2, BTS3-3, BTS2-2, BTS1-2, BTS1-3으로 분할된다.

즉, 기저 촉각 신호 BTS1에 대해서는, 시각 t₁ 내지 t₃의 각각의 오프셋(타임 코드)된 타이밍이, 기저 촉각 신호 BTS1-1 내지 BTS1-3의 개시 타이밍으로 되어 있다.

또한, 기저 촉각 신호 BTS2에 대해서는, 시각 t₁₁, t₁₂의 각각의 오프셋(타임 코드)된 타이밍이, 기저 촉각 신호 BTS2-1, BTS2-2의 개시 타이밍으로 되어 있다.

또한, 기저 촉각 신호 BTS3에 대해서는, 시각 t₂₁ 내지 t₂₃의 각각의 오프셋 타이밍에 있어서, 기저 촉각 신호 BTS3-1 내지 BTS3-3의 개시 타이밍으로 되어 있다.

부호화부(101)는, 도 10의 좌측부에서 구해지는 바와 같은 분할 결과에 기초하여, 부호화 데이터를 생성한다.

즉, 부호화부(101)는, 도 10의 좌측부에서 구해지는 바와 같은 분할 결과에 기초하여, 예를 들어 기저 촉각 신호를 식별하는 기저 촉각 신호 인덱스, 각각의 기저 촉각 신호의 오프셋(타임 코드), 및 길이 정보를 포함하는 기저 촉각 신호에 관한 파라미터를 부호화한다.

여기서, 기저 촉각 신호 인덱스는, 기저 촉각 신호 BTS1 내지 BTS3이 3종류이므로, 부호화부(101)는, 기저 촉각 신호의 각각을 대응하는 1, 2, 3 중 어느 것을 파라미터로서 사용한다.

또한, 오프셋(타임 코드)은, 도 10의 좌측부의 경우에 대해서는, 시각 t₁ 내지 t₃, t₁₁, t₁₂, t₂₁, t₂₂, t₂₃ 중 어느 것이므로, 부호화부(101)는, 대응하는 오프셋을 나타내는 타임 코드를 파라미터로서 사용한다.

또한, 기저 촉각 신호 BTS1 내지 BTS3은, 각각 미리 결정된 길이 T1 내지 T3이므로, 부호화부(101)는, 그 정보를 파라미터로서 사용한다.

결과로서, 도 10의 좌측부에 있어서는, 예를 들어 기저 촉각 신호 BTS1-1의 경우, 부호화부(101)는 (기저 촉각 신호 인덱스, 기저 촉각 신호의 오프셋을 나타내는 타임 코드 및 길이)=(1, t₁, T1)과 같이 부호화한다.

마찬가지로, 기저 촉각 신호 BTS1-2, BTS1-3의 경우, 부호화부(101)는 각각 (기저 촉각 신호 인덱스, 기저 촉각 신호의 오프셋 타이밍을 나타내는 타임 코드 및 길이)=(1, t₂, T1), (1, t₃, T1)과 같이 부호화한다.

또한, 기저 촉각 신호 BTS2-1, BTS2-2의 경우, 각각 (기저 촉각 신호 인덱스, 기저 촉각 신호의 오프셋을 나타내는 타임 코드 및 길이)=(2, t₁₁, T2), (2, t₁₂, T2)와 같이 부호화된다.

또한, 기저 촉각 신호 BTS3-1 내지 BTS3-3의 경우, 각각 (기저 촉각 신호 인덱스, 기저 촉각 신호의 오프셋을 나타내는 타임 코드 및 길이)=(3, t₂₁, T3), (3, t₂₂, T3), (3, t₂₃, T3)과 같이 부호화된다.

그리고, 부호화부(101)는, 이와 같이 기저 촉각 신호마다 구해진 부호화 결과를 가산하여 합성함으로써, 입력 촉각 데이터에 대응하는 입력 촉각 신호의 부호화 데이터를 생성한다. 즉, 도 10의 좌측부에서 도시되는 바와 같은 입력 촉각 신호의 분할 정보에 의해, 예를 들어 (1, t₁, T1), (1, t₂, T1), (1, t₃, T1), (2, t₁₁, T2), (2, t₁₂, T2), (3, t₂₁, T3), (3, t₂₂, T3)과 같은, 복수의 기저 촉각 신호에 대한 부호화 결과가 합성되어, 입력 촉각 신호의 부호화 데이터가 생성된다.

이 일련의 처리에 의해, 입력 촉각 데이터에 대응하는 입력 촉각 신호가 부호화 데이터로 변환된다.

한편, 복호부(161)는, 상술한 입력 촉각 데이터를 부호화 데이터로 변환한 처리와 반대의 처리에 의해 부호화 데이터를 출력 촉각 데이터로 변환한다.

즉, 복호부(161)는, 상술한 바와 같이 생성된 부호화 데이터 (1, t₁, T1), (1, t₂, T1), (1, t₃, T1), (2, t₁₁, T2), (2, t₁₂, T2), (3, t₂₁, T3), (3, t₂₂, T3)이 공급되면, 합성되어 있는 복수의 부호화 데이터를 분해하고, 각각의 기저 촉각 신호를 복원한다.

즉, 예를 들어 (1, t₁, T1)은 기저 촉각 신호 인덱스가 1이고, 기저 촉각 신호의 오프셋 타이밍을 나타내는 타임 코드가 t₁이고, 길이가 T1이므로, 복호부(161)는, 기억부(133)에 기억되어 있는 기저 촉각 신호군 중, 기저 촉각 신호 인덱스가 1로 되는 기저 촉각 신호를 판독하여, 오프셋=t₁에 대응하는 처리를 가하여, 도 10의 좌측부에 있어서의 기저 촉각 신호 BTS1-1을 복원한다.

마찬가지로, 복호부(161)는, (1, t₂, T1), (1, t₃, T1), (2, t₁₁, T2), (2, t₁₂, T2), (3, t₂₁, T3), (3, t₂₂, T3), (3, t₂₃, T3)의 부호화 데이터에 기초하여, 기저 촉각 신호 BTS1-2, BTS1-3, BTS2-1, BTS2-2, BTS3-1, BTS3-2, BTS3-3의 각각을, 도 10의 좌측부에서 도시되는 바와 같은 신호 파형을 포함하는 출력 촉각 신호로서 복원한다.

그리고, 복호부(161)는, 도 10의 좌측부와 같이 구해진 복원 결과의 신호 파형을 가산하여 합성함으로써, 도 10의 우측부에서 도시되는 바와 같은, 최종적인 출력 촉각 신호의 신호 파형을 복원하여, 대응하는 출력 촉각 데이터를 생성한다. 보다 상세하게는, 도 10의 좌측부에서 도시되는 기저 촉각 신호 BTS1-1, BTS2-1, BTS3-1이 가산되어, 도 10의 우측부에 있어서의 시각 t₁ 내지 t₅₁에서 나타낸 바와 같은 파형을 포함하는 출력 촉각 신호가 복원된다. 또한, 도 10의 좌측부에서 도시되는 기저 촉각 신호 BTS3-2, BTS3-3, BTS2-2, BTS1-2, BTS1-3이 가산되어, 도 10의 우측부에 있어서의 시각 t₂₂ 내지 t₅₂에서 나타낸 바와 같은 파형을 포함하는 출력 촉각 신호가 복원된다.

이상과 같은 부호화 처리 및 복호 처리에 의해, 소정수의 기저 촉각 신호마다의 파라미터를 사용하여 표현하는 것만으로 충분하기 때문에, 촉각 데이터에 기초한 촉각 신호의 파형을, 시계열로 시각과 파형값을 대응지어 1점씩 데이터화하는 종래의 촉각 데이터보다 고효율로 압축하는 것이 가능하게 된다.

이에 의해, 다채널의 촉각 데이터를 송수신해도 효율적으로 송수신할 수 있으므로, 송수신에 관한 시간을 단축시키는 것이 가능하게 된다.

결과로서, 다채널의 촉각 데이터를 송수신하도록 해도 송수신에 관한 시간을 저감시키는 것이 가능하게 되므로, 다채널의 촉각 데이터를 송수신해도 촉각 제시에 관한 지연 발생을 억제하는 것이 가능하게 되어, 화상이나 음성 콘텐츠와 동기하여 촉각 제시하는 것이 가능하게 된다.

<부호화 데이터에 있어서의 파라미터의 추가>

이상에 있어서는, 부호화 데이터의 파라미터로서, 기저 촉각 신호 인덱스, 기저 촉각 신호의 오프셋을 나타내는 타임 코드 및 길이가 사용되어 왔지만, 또한 기저 촉각 신호에 어레인지를 더하는 파라미터를 추가하도록 해도 된다.

예를 들어, 기저 촉각 신호의 길이로 규정되는 시간 내에 있어서의 게인의 변화를 여러 가지 포락선으로 표현하고, 포락선의 종류를 인덱스로 한 파라미터를 설정하도록 해도 된다.

또한, 예를 들어 기저 촉각 신호의 길이로 규정되는 전체 시간 내에 있어서의 일정 게인의 변화를 파라미터로서 설정하도록 해도 된다.

즉, 기저 촉각 신호의 길이로 규정되는 시간 내에 있어서의 게인의 변화를 표현하는 포락선이란, 예를 들어 도 11의 좌측부에서 도시되는 바와 같은 포락선 EV1 내지 EV4이다.

포락선 EV1은, 기저 촉각 신호의 길이로 이미 정해진 시각 t_s 내지 t_e로 이루어지는 시간 내에 있어서, 시각 t_s, t_e에 있어서 게인이 제로로 되지만, 그 사이에 있어서는 기저 촉각 신호에 대하여 일정 게인이 유지되는 것을 표현하고 있다.

포락선 EV2는, 기저 촉각 신호의 길이로 이미 정해진 시각 t_s 내지 t_e로 이루어지는 시간 내에 있어서, 중간 시각 t_h까지는 일정 비율로 게인이 상승하고, 중간 시각 t_h 이후는 일정 비율로 게인이 하강하는 것을 표현하고 있다.

포락선 EV3은, 기저 촉각 신호의 길이로 이미 정해진 시각 t_s 내지 t_e로 이루어지는 시간 내에 있어서, 중간 시각 t_h까지는 아래로 볼록한 파형 변화로 게인이 상승하고, 중간 시각 t_h 이후는 아래로 볼록한 파형 변화로 게인이 하강하는 것을 표현하고 있다.

포락선 EV4는, 기저 촉각 신호의 길이로 이미 정해진 시각 t_s 내지 t_e로 이루어지는 시간 내에 있어서, 중간 시각 t_h까지는 위로 볼록한 파형 변화로 게인이 상승하고, 중간 시각 t_h 이후는 위로 볼록한 파형 변화로 게인이 하강하는 것을 표현하고 있다.

이와 같이 포락선을 설정함으로써, 기저 촉각 신호의 페이드 인 및 페이드 아웃을 규정하는 것이 가능하게 되고, 기저 촉각 신호간의 중첩되는 부분의 비율을 적절하게 표현하는 것이 가능하게 된다.

예를 들어, 도 12의 좌측 상단부에서 도시되는 바와 같이, 기저 촉각 신호 BTS1에 대하여 포락선 EV2가 적용되고, 전체 시간대에 있어서의 게인이 0이고, 오프셋으로 되는 타임 코드가 0인 경우, 기저 촉각 신호 BTS1은, 포락선 EV2에 의해 파형 전체가 상하 방향으로 볼록한 삼각 형상으로 변화하여, 도 12의 중앙부의 파형으로 표시되는 기저 촉각 신호 BTS1'로 된다.

또한, 예를 들어 도 12의 좌측 하단부에서 도시되는 바와 같이, 기저 촉각 신호 BTS2에 대하여 포락선 EV4가 적용되고, 전체 시간대에 있어서의 게인이 -6dB이고, 오프셋으로 되는 타임 코드가 0.5인 경우, 기저 촉각 신호 BTS2는, 포락선 EV4에 의해 파형 전체가 상하 방향으로 볼록한 곡선형으로 변화함과 함께, 전체로서 파형의 파고가 작아지고, 또한 시간 방향으로 0.5만큼 오프셋됨으로써, 도 12의 중앙부의 파형으로 표시되는 기저 촉각 신호 BTS2'로 된다.

도 12의 중앙부에 있어서의 기저 촉각 신호 BTS1'와 기저 촉각 신호 BTS2'가 합성됨으로써, 도 12의 우측부에서 도시되는 바와 같은 합성 파형이 얻어진다.

따라서, 게인 및 포락선을 규정하는 파라미터를 사용하도록 함으로써, 유한한 기저 촉각 신호를 조합하여 표현하는 촉각 신호의 베리에이션을 확대하는 것이 가능하게 되고, 보다 섬세한 촉각 제시가 가능하게 된다.

또한, 이후에 있어서, 촉각 신호에 대응하는 촉각 데이터의 부호화 시에는, 부호화 데이터로서, 기저 촉각 신호마다, 기저 촉각 신호 인덱스, (기저 촉각 신호의 오프셋 타이밍을 나타내는) 타임 코드, 게인, 길이, 포락선 인덱스를 파라미터로 하는 것으로서 설명을 진행시킨다.

<다채널의 촉각 신호의 표현>

이상에 있어서는, 1개의 촉각 제시부(53a)의 촉각 데이터에 대한 부호화 데이터에 대하여 설명하였지만, 현실에는 촉각 제시부(53a)는 복수 존재하기 때문에, 부호화 데이터는, 복수의 촉각 제시부(53a)의 각각에 대하여 1채널씩 부호화 데이터가 구해진다.

즉, n개의 촉각 제시부(53a-1 내지 53a-n)가 마련되는 경우, 도 13에서 도시되는 바와 같이, n 채널만큼의 부호화 데이터가 구해진다.

도 13에 있어서는, 최상단에 촉각 제시부(53a-1)의 부호화 데이터로서, 촉각 제시부 1ch의 부호화 데이터가 기재되어 있으며, (기저 촉각 신호 인덱스 1, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 2, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 3, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 m, 타임 코드, 게인, 길이, 포락선 인덱스)로 되어 있다.

또한, 2단째에는 촉각 제시부(53a-2)의 부호화 데이터로서, 촉각 제시부 2ch의 부호화 데이터가 기재되어 있으며, (기저 촉각 신호 인덱스 1, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 2, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 3, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 m, 타임 코드, 게인, 길이, 포락선 인덱스)로 되어 있다.

그리고, n단째에는 촉각 제시부(53a-n)의 부호화 데이터로서, 촉각 제시부 1ch의 부호화 데이터가 기재되어 있으며, (기저 촉각 신호 인덱스 1, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 2, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 3, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 m, 타임 코드, 게인, 길이, 포락선 인덱스)로 되어 있다.

즉, 촉각 제시부(53a)마다 각 채널에 대하여, 기저 촉각 신호 인덱스 1 내지 m의 각각의 부호화 데이터가 설정된다.

또한, 부호화 데이터 중, 파라미터가 다른 채널과 동일한 경우에 대해서는, 다른 채널과 동일함을 나타내는 정보를 부여하여, 파라미터를 기재하지 않도록 해도 된다.

즉, 예를 들어 촉각 제시부 2ch에 있어서의, 기저 촉각 신호 인덱스 2의 타임 코드가, 기저 촉각 신호 인덱스 1의 타임 코드와 동일한 경우에 대해서는, 도 14에서 도시되는 바와 같이, (기저 촉각 신호 인덱스 2, 1ch, 게인, 1ch(t_x→t_y), 포락선 인덱스)로 기재하고, 타임 코드의 정보가, 촉각 제시부 1ch와 동일함과 함께, 기저 촉각 신호의 길이가 1ch와 동일하며, 동일한 범위가 시각 t_x 내지 t_y의 범위임을 표현하도록 해도 된다.

또한, 기저 촉각 신호 인덱스 m의 게인이 촉각 제시부 1ch에 있어서의 게인보다 5dB 높은 경우에 대해서는, 도 14에서 도시되는 바와 같이, (기저 촉각 신호 인덱스 m, 타임 코드, 1ch+5, 길이, 포락선 인덱스)로 기재하고, 게인이 촉각 제시부 1ch에 있어서의 게인에 대하여 5dB 높음을 표현하도록 해도 된다.

또한, 촉각 제시부(53a-1 내지 53a-n)의 부호화 데이터로부터, 기준으로 되는 촉각 제시 기준 부호를 설정하고, 각 채널의 부호화 데이터에 대해서는, 촉각 제시 기준 부호와의 차분을 부호화 데이터로 하도록 해도 된다.

촉각 제시 기준 부호는, 예를 들어 도 15의 최상단에서 도시되는 바와 같이, (기저 촉각 신호 인덱스 1, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 2, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 3, 타임 코드, 게인, 길이, 포락선 인덱스), … (기저 촉각 신호 인덱스 m, 타임 코드, 게인, 길이, 포락선 인덱스)의 부호화 데이터로 구성된다. 이 부호화 데이터는, 예를 들어 촉각 제시부(53a-1 내지 53a-n)의 부호화 데이터의 각각의 파라미터의 평균값, 최솟값 또는 최댓값 등의 값이 설정되어도 된다.

그리고, 각 채널의 촉각 제시부(53a)의 부호화 데이터는, 그 차분이 설정된다.

즉, 도 15의 위로부터 2단째에서 도시되는 바와 같이, 촉각 제시부 1ch에서 나타나는 촉각 제시부(53a-1)의 부호화 데이터는, (기저 촉각 신호 인덱스 1, +5, -2, 0, -2), … (기저 촉각 신호 인덱스 2, -4, 0, +110, -2), … (기저 촉각 신호 인덱스 m, +1, -10, 0, +1)의 부호화 데이터로 구성된다.

이 경우, 촉각 제시부 1ch에서 나타나는 촉각 제시부(53a-1)의 부호화 데이터는, 기저 촉각 신호 인덱스 1의 부호화 데이터의 타임 코드가 촉각 제시 기준 부호에 대하여 +5ms이고, 게인이 촉각 제시 기준 부호에 대하여 -2dB이고, 길이가 촉각 제시 기준 부호에 대하여 동일하고, 포락선 인덱스가 촉각 제시 기준 부호에 대하여 -2임이 표현되어 있다.

또한, 기저 촉각 신호 인덱스 2의 부호화 데이터는, 타임 코드가 촉각 제시 기준 부호에 대하여 -4ms이고, 게인이 촉각 제시 기준 부호에 대하여 동일하고, 길이가 촉각 제시 기준 부호에 대하여 +110ms이고, 포락선 인덱스가 촉각 제시 기준 부호에 대하여 -2임이 표현되어 있다.

또한, 기저 촉각 신호 인덱스 m의 부호화 데이터는, 타임 코드가 촉각 제시 기준 부호에 대하여 +1ms이고, 게인이 촉각 제시 기준 부호에 대하여 -10dB이고, 길이가 촉각 제시 기준 부호에 대하여 동일하고, 포락선 인덱스가 촉각 제시 기준 부호에 대하여 +1임이 표현되어 있다.

또한, 도 15의 위로부터 3단째에서 도시되는 바와 같이, 촉각 제시부 2ch에서 나타나는 촉각 제시부(53a-1)의 부호화 데이터는 모두 0이므로, 촉각 제시 기준 부호와 동일함이 표현되어 있다.

또한, 도 15의 최하단에서 도시되는 바와 같이, 촉각 제시부 nch에서 나타나는 촉각 제시부(53a-n)의 부호화 데이터는, (기저 촉각 신호 인덱스 1, +6, -10, 110, +2), … (기저 촉각 신호 인덱스 2, +4, 0, +20, -5), … (기저 촉각 신호 인덱스 m, 0, -60, +2, -1)의 부호화 데이터로 구성된다.

이 경우, 촉각 제시부 nch에서 나타나는 촉각 제시부(53a-n)의 부호화 데이터는, 기저 촉각 신호 인덱스 1의 부호화 데이터의 타임 코드가 촉각 제시 기준 부호에 대하여 +6ms이고, 게인이 촉각 제시 기준 부호에 대하여 -10dB이고, 길이가 촉각 제시 기준 부호에 대하여 +110ms이고, 포락선 인덱스가 촉각 제시 기준 부호에 대하여 +2임이 표현되어 있다.

또한, 기저 촉각 신호 인덱스 2의 부호화 데이터는, 타임 코드가 촉각 제시 기준 부호에 대하여 +4ms이고, 게인이 촉각 제시 기준 부호에 대하여 동일하고, 길이가 촉각 제시 기준 부호에 대하여 +20ms이고, 포락선 인덱스가 촉각 제시 기준 부호에 대하여 -5임이 표현되어 있다.

또한, 기저 촉각 신호 인덱스 m의 부호화 데이터는, 타임 코드가 촉각 제시 기준 부호에 대하여 동일하고, 게인이 촉각 제시 기준 부호에 대하여 -60dB이고, 길이가 촉각 제시 기준 부호에 대하여 +2ms이고, 포락선 인덱스가 촉각 제시 기준 부호에 대하여 -1임이 표현되어 있다.

어느 것에 있어서도, 차분 정보만의 부호화 데이터로 되므로, 부호화 데이터를 보다 효율적으로 압축하는 것이 가능하게 되어, 부호화 데이터의 통신 속도를 향상시키는 것이 가능하게 된다. 또한, 도 15의 기저 촉각 신호 인덱스 2의 부호화 데이터와 같이, 전부가 촉각 제시 기준 부호와 동일하게 되는 경우에 대해서는, 기저 촉각 신호 인덱스 2의 부호화 데이터가 전부, 촉각 제시 기준 부호와 동일함을 1개의 부호로 표현하도록 해도 된다.

<재생 처리>

다음에, 도 16의 흐름도를 참조하여, 도 4의 콘텐츠 재생 시스템에 의한 콘텐츠의 재생 처리에 대하여 설명한다.

스텝 S11에 있어서, 콘텐츠 처리부(91)는, 기억부(73)에 기억되어 있는 화상 데이터, 음성 데이터 및 촉각 데이터(입력 촉각 데이터)를 포함하는 콘텐츠 데이터를 판독한다.

스텝 S12에 있어서, 콘텐츠 처리부(91)는, 판독한 콘텐츠 데이터로부터 화상 데이터, 음성 데이터 및 촉각 데이터(입력 촉각 데이터)를 추출한다.

스텝 S13에 있어서, 촉각 데이터 처리부(92)는, 촉각 데이터 부호화 처리를 실행하여, 촉각 데이터(입력 촉각 데이터)를 부호화 데이터로 변환한다.

<촉각 데이터 부호화 처리>

여기서, 도 17의 흐름도를 참조하여, 촉각 데이터 부호화 처리에 대하여 설명한다.

스텝 S51에 있어서, 송신 장치(51)의 제어부(71)에 있어서의 촉각 데이터 처리부(92)는, 콘텐츠 처리부(91)에 있어서 콘텐츠 데이터로부터 추출된 촉각 데이터(입력 촉각 데이터)를 판독한다.

스텝 S52에 있어서, 부호화부(101)는, 촉각 데이터(입력 촉각 데이터)에 기초하여, 촉각 신호(입력 촉각 신호)를 생성시킨다. 여기서 말하는 촉각 신호는, 예를 들어 도 10의 우측부에서 도시되는 바와 같은 신호 파형이다.

스텝 S53에 있어서, 부호화부(101)는, 신호 파형을 포함하는 촉각 신호(입력 촉각 신호)를, 주파수 분석이나 패턴 매칭에 적용함으로써, 기저 촉각 신호군으로 분할하고, 분할 정보를 생성한다. 즉, 예를 들어 도 10의 우측부에서 도시되는 바와 같은 신호 파형을 포함하는 촉각 신호인 경우, 부호화부(101)는, 도 10의 좌측부에서 도시되는 바와 같은 기저 촉각 신호군을 포함하는 분할 정보를 생성한다.

스텝 S54에 있어서, 부호화부(101)는, 분할 정보에 기초하여, 기저 촉각 신호군의 각각에 대하여 파라미터를 설정한다. 보다 상세하게는, 부호화부(101)는, 도 10의 좌측부에서 도시되는 바와 같은 분할 정보에 기초하여, 기저 촉각 신호군의 각각에 대하여, 기저 촉각 신호 인덱스, 타임 코드, 게인, 길이 및 포락선 인덱스의 각각에 대응하는 파라미터를 설정한다.

스텝 S55에 있어서, 부호화부(101)는, 분할 정보인 기저 촉각 신호군의 각각에 설정된 파라미터를 부호화하고, 이것들을 합성하여 얻어지는 합성 정보를 부호화 데이터로서 출력한다.

여기서, 도 16의 흐름도의 설명으로 되돌아간다.

스텝 S14에 있어서, 콘텐츠 처리부(91)는, 통신부(72)를 제어하여, 부호화 데이터에 추가하여, 화상 데이터 및 음성 데이터를 포함하는 콘텐츠 데이터를 수신 장치(52)에 송신한다.

스텝 S31에 있어서, 수신 장치(52)의 제어부(131)에 있어서의 콘텐츠 처리부(151)는, 통신부(132)를 제어하여, 송신 장치(51)로부터 송신되는, 부호화 데이터에 추가하여, 화상 데이터 및 음성 데이터를 포함하는 콘텐츠 데이터를 수신한다.

스텝 S32에 있어서, 촉각 데이터 처리부(152)는, 촉각 데이터 복호 처리를 실행하여, 콘텐츠 처리부(151)에 의해 수신된 콘텐츠 데이터 중 부호화 데이터를 촉각 데이터(출력 촉각 데이터)로 복호한다.

<촉각 데이터 복호 처리>

여기서, 도 18의 흐름도를 참조하여, 촉각 데이터 복호 처리에 대하여 설명한다.

스텝 S71에 있어서, 촉각 데이터 처리부(152)는, 콘텐츠 처리부(151)에 의해 수신된 콘텐츠 데이터 중 부호화 데이터를 판독한다.

스텝 S72에 있어서, 복호부(161)는, 부호화 데이터에 기초하여, 기저 촉각 부호화군마다 설정된 파라미터를 판독한다.

스텝 S73에 있어서, 복호부(161)는, 판독된 파라미터에 기초하여, 기저 촉각 부호화군마다 설정된 분할 정보를 복원한다. 즉, 복호부(161)는, 기저 촉각 신호 인덱스, 타임 코드, 게인, 길이 및 포락선 인덱스의 각각의 파라미터에 기초하여, 도 10의 좌측부에서 도시되는 바와 같은 기저 촉각 신호군을 포함하는 분할 정보를 복원한다. 즉, 복호부(161)는, 기저 촉각 신호 인덱스에 대응하는 기저 촉각 신호를 기억부(133)로부터 판독하고, 타임 코드, 게인, 길이 및 포락선 인덱스의 각각의 파라미터에 기초한 처리를 가함으로써, 기저 촉각 신호마다 분할 정보를 복원한다.

스텝 S74에 있어서, 복호부(161)는, 분할 정보를 합성하여 촉각 신호를 (출력 촉각 신호로서) 복원한다. 즉, 복호부(161)는, 도 10의 좌측부에서 도시되는 바와 같은 기저 촉각 신호군을 포함하는 분할 정보에 기초하여, 도 10의 우측부에서 도시되는 바와 같은 촉각 신호를 (출력 촉각 신호로서) 복원한다.

스텝 S75에 있어서, 복호부(161)는, 촉각 신호(출력 촉각 신호)에 기초하여 촉각 데이터(출력 촉각 데이터)를 생성한다.

여기서, 도 16의 흐름도의 설명으로 되돌아간다.

스텝 S33에 있어서, 콘텐츠 처리부(151)는, 화상 데이터 및 음성 데이터를 표시 장치(54)에 출력하여, 콘텐츠의 화상을 표시시킴과 함께, 음성을 출력시킴으로써 재생시킨다.

스텝 S34에 있어서, 콘텐츠 처리부(151)는, 복호된 촉각 데이터(출력 촉각 데이터)를 촉각 제시 장치(53)에 공급하여, 촉각 제시부(53a)의 각각을 진동시킴으로써 재생시킨다(촉각 제시시킴).

또한, 이 경우, 콘텐츠 처리부(151)는, 송신되어 온 화상 데이터 및 음성 데이터를 표시 장치(54)에 공급하여 재생시키는 처리와, 촉각 데이터(출력 촉각 데이터)를 촉각 제시 장치(53)에 공급하여 촉각 제시시키는 처리를, 각각 독립된 타이밍 제어 정보에 의해 타이밍을 관리하여 실행한다.

또한, 스텝 S15, S35에 있어서, 종료가 지시되었는지 여부가 판정되어, 종료가 지시되지 않은 경우, 처리는 스텝 S11, S31로 되돌아가, 그 이후의 처리가 반복된다.

그리고, 스텝 S15, S35에 있어서, 종료가 지시된 경우, 재생 처리가 종료된다.

이상의 처리에 의해, 촉각 데이터(입력 촉각 데이터)가 부호화 데이터로 변환되고, 압축되어 송신되어, 수신된 후, 촉각 데이터(출력 촉각 데이터)가 복원됨으로써, 촉각 데이터를 효율적으로 송수신시키는 것이 가능하게 되어, 콘텐츠의 재생에 있어서, 촉각 제시부(53a)에 의한 촉각 제시의 지연을 억제하는 것이 가능하게 된다.

결과로서, 촉각 제시부(53a)가 복수로 되는 다채널의 촉각 데이터를 송수신하도록 해도 효율적으로 송수신되므로, 송수신에 관한 시간의 증대를 억제하는 것이 가능하게 되므로, 촉각 제시의 지연을 억제하는 것이 가능하게 된다.

또한, 이상의 처리에 있어서는 촉각 제시부(53a)가 1개인 경우에 대한 처리로서 설명하였지만, 촉각 제시부(53a)가 복수 존재하고, 다채널의 촉각 데이터와 대응하는 부호화 데이터가 필요한 경우에 대해서는, 각각의 채널에 대하여, 스텝 S11 내지 S13의 처리를 실행하여, 처리 결과로 되는 부호화 데이터를, 예를 들어 도 13 내지 도 15를 참조하여 설명한 바와 같이 다채널분이 모인 부호화 데이터로서, 스텝 S14에 있어서, 수신 장치(52)에 송신되도록 해도 된다.

이 경우, 스텝 S32에 있어서, 다채널분의 부호화 데이터가 복호되고, 촉각 데이터로 변환되어, 스텝 S34에 있어서, 복수의 촉각 제시부(53a)에 의해 촉각 제시가 이루어지도록 해도 된다.

이에 의해, 도 14나 도 15를 참조하여 설명한 바와 같이, 다른 채널의 정보와 동일한 정보에 대하여 생략할 수 있으므로, 더 효율적으로 촉각 데이터를 송수신하는 것이 가능하게 되어, 더 효율적으로 촉각 제시의 지연을 억제하는 것이 가능하게 된다.

<제1 변형예>

이상에 있어서는, 화상 데이터 및 음성 데이터에 추가하여, 촉각 데이터(입력 촉각 데이터)가 부호화된 부호화 데이터가, 송신 장치(51)로부터 수신 장치(52)로 송신되어, 수신된 후, 부호화 데이터로부터 촉각 데이터가 (출력 촉각 데이터로서) 복원되고, 화상 데이터 및 음성 데이터와, 촉각 데이터(출력 촉각 데이터)를 각각 독립된 타이밍 제어 정보에 기초하여 재생시키는 예에 대하여 설명하였다.

그러나, 화상 데이터 및 음성 데이터에 대해서는, 수신 장치(52)가 미리 기억부(133)나 리무버블 기억 매체(137)에 기억해 두고, 송신 장치(51)로부터 수신 장치(52)로 송신하는 것은, 촉각 데이터(입력 촉각 데이터)가 부호화된 부호화 데이터만으로 하도록 해도 된다.

이와 같이 함으로써, 송신 장치(51) 및 수신 장치(52)의 상호 송수신되는 정보는, 촉각 데이터(입력 촉각 데이터)가 변환된 부호화 데이터로만 되므로, 송수신에 관한 처리 시간을 단축하는 것이 가능하게 되어, 촉각 데이터의 송수신 시간의 증대에 의한 촉각 제시의 지연 발생을 억제하는 것이 가능하게 된다.

<제1 변형예에 있어서의 재생 처리>

다음에, 도 19의 흐름도를 참조하여, 제1 변형예에 있어서의 콘텐츠의 재생 처리에 대하여 설명한다. 또한, 도 19에 있어서의 스텝 S101 내지 103, S106, S135의 처리는, 도 16의 흐름도를 참조하여 설명한 스텝 S11 내지 S13, S15, S35의 처리와 마찬가지이므로, 그 설명은 생략한다.

즉, 스텝 S101 내지 S103에 있어서, 화상 데이터, 음성 데이터 및 부호화 데이터가 준비된다.

그리고, 스텝 S104에 있어서, 콘텐츠 처리부(91)는, 생성된 부호화 데이터에, 화상 데이터 및 음성 데이터의 재생 타이밍에 대응하는 인덱스를 부여한다.

스텝 S105에 있어서, 콘텐츠 처리부(91)는, 통신부(72)를 제어하여, 인덱스가 부여된 부호화 데이터만을 수신 장치(52)에 송신한다.

스텝 S131에 있어서, 수신 장치(52)의 제어부(131)에 있어서의 콘텐츠 처리부(151)는, 통신부(132)를 제어하여, 송신 장치(51)로부터 송신되는, 인덱스가 부여된 부호화 데이터를 수신한다.

스텝 S132에 있어서, 촉각 데이터 처리부(152)는, 촉각 데이터 복호 처리를 실행하여, 콘텐츠 처리부(151)에 의해 수신된 콘텐츠 데이터 중 부호화 데이터를 촉각 데이터(출력 촉각 데이터)로 복호한다. 이때, 복호되기 전의 부호화 데이터에 부여된 인덱스를, 복호 후의 촉각 데이터(출력 촉각 데이터)에 부여한다. 또한, 촉각 데이터 복호 처리에 대해서는, 도 18의 흐름도를 참조하여 설명한 처리와 마찬가지이므로, 그 처리는 생략한다.

스텝 S133에 있어서, 콘텐츠 처리부(151)는, 기억부(133)나 리무버블 기억 매체(137)에 기억된 화상 데이터 및 음성 데이터를 판독하고, 표시 장치(54)에 출력하여, 콘텐츠의 화상을 표시시킴과 함께 음성을 출력시킨다.

스텝 S134에 있어서, 콘텐츠 처리부(151)는, 표시 장치(54)에 있어서 재생된 화상 데이터 및 음성 데이터의 재생 타이밍을 나타내는 인덱스에 대응하는 촉각 데이터(출력 촉각 데이터)를 촉각 제시 장치(53)에 공급하여, 촉각 데이터(출력 촉각 데이터)에 기초하여, 촉각 제시부(53a)의 각각을 촉각 제시시킨다.

즉, 이 경우, 화상 데이터 및 음성 데이터의 재생 타이밍에 대응하는 인덱스가 부여된 부호화 데이터만이 송수신되므로, 송수신 시간을 단축시키는 것이 가능하게 되어, 촉각 제시부(53a)에 있어서 촉각 제시하는 타이밍이, 화상 데이터 및 음성 데이터가 표시 장치(54)로부터 출력되는 타이밍에 대하여 지연되는 것이 방지된다.

또한, 화상 데이터 및 음성 데이터의 재생 타이밍에 대응하는 인덱스가 부여된, 촉각 데이터(출력 촉각 데이터)에 기초한 촉각 제시부(53a)에 있어서의 촉각 제시가 이루어지므로, 화상 및 음성이 재생되는 타이밍과, 촉각 제시가 이루어지는 타이밍을 동기시키는 것이 가능하게 된다.

또한, 촉각 제시부(53a)가 복수로 되는 다채널의 촉각 데이터를 송수신하도록 해도, 송수신 시간의 증대를 억제하는 것이 가능하게 되므로, 촉각 제시의 지연을 억제하는 것이 가능하게 된다.

<제2 변형예>

이상에 있어서는, 화상 데이터 및 음성 데이터에 대응하는 인덱스가 부여된 촉각 데이터에 대응하는 부호화 데이터만이, 송신 장치(51)로부터 수신 장치(52)로 송신되고, 수신 장치(52)에 있어서, 스스로 기억하고 있는 화상 데이터 및 음성 데이터가 재생됨과 함께, 대응하는 인덱스가 부여된 촉각 데이터를 동기하여 재생시키는 예에 대하여 설명하였다.

그러나, 부호화 데이터에 대해서는, 화상 데이터, 음성 데이터 및 (입력 촉각 데이터가 부호화된) 부호화 데이터가 각각 식별 가능한 상태로 하나로 통합된 포맷(멀티미디어 컨테이너 포맷)을 포함하는 전송 데이터로 저장되고, 부호화 데이터로부터 복호된 촉각 데이터(출력 촉각 데이터)와, 화상 데이터 및 음성 데이터의 재생을 동기시키기 위한 타임 코드가 전송 데이터에 있어서의 메타 정보로서 기록되도록 해도 된다. 이 경우, 화상 데이터, 음성 데이터 및 부호화 데이터에 대응하는 부호화 데이터가 각각 식별 가능한 상태로 하나로 통합된 포맷을 포함하는 전송 데이터는, 송신 장치(51)로부터 수신 장치(52)로 송신되고, 수신 장치(52)에 있어서, 전송 데이터에 포함되는 부호화 데이터로부터 촉각 데이터(출력 촉각 데이터)가 복호되면, 메타 정보로서 기록되어 있는 타임 코드가 판독되어, 화상 데이터 및 음성 데이터가 재생될 때, 동기하여 촉각 데이터(출력 촉각 데이터)에 기초한 촉각 제시가 이루어진다.

<제2 변형예에 있어서의 재생 처리>

다음에, 도 20의 흐름도를 참조하여, 제2 변형예에 있어서의 콘텐츠의 재생 처리에 대하여 설명한다. 또한, 도 20에 있어서의 스텝 S151 내지 S153, S156, S175의 처리는, 도 16의 흐름도를 참조하여 설명한 스텝 S11 내지 S13, S15, S35의 처리와 마찬가지이므로, 그 설명은 생략한다.

즉, 스텝 S151 내지 S153에 있어서, 화상 데이터, 음성 데이터 및 부호화 데이터가 준비된다.

그리고, 스텝 S154에 있어서, 콘텐츠 처리부(91)는, 생성된 부호화 데이터, 화상 데이터 및 음성 데이터를, 각각 식별 가능한 상태로 하나로 통합한 포맷을 포함하는 전송 데이터로 저장한다.

스텝 S155에 있어서, 콘텐츠 처리부(91)는, 부호화 데이터로부터 복호된 촉각 데이터(출력 촉각 데이터)와, 화상 데이터 및 음성 데이터를 동기하여 재생하기 위한 타임 코드를, 전송 데이터의 메타 정보로서 묻는다.

스텝 S156에 있어서, 콘텐츠 처리부(91)는, 통신부(72)를 제어하여, 전송 데이터를 수신 장치(52)에 송신한다.

스텝 S171에 있어서, 수신 장치(52)의 제어부(131)에 있어서의 콘텐츠 처리부(151)는, 통신부(132)를 제어하여, 송신 장치(51)로부터 송신되는 전송 데이터를 수신한다. 전송 데이터는, 상술한 바와 같이, 부호화 데이터, 그리고 화상 데이터 및 음성 데이터가 식별 가능한 상태로 저장되어 있다.

스텝 S172에 있어서, 촉각 데이터 처리부(152)는, 촉각 데이터 복호 처리를 실행하여, 콘텐츠 처리부(151)에 의해 수신된 전송 데이터로부터 부호화 데이터를 추출하여, 부호화 데이터를 촉각 데이터(출력 촉각 데이터)로 복호한다. 또한, 촉각 데이터 복호 처리에 대해서는, 도 18의 흐름도를 참조하여 설명한 처리와 마찬가지이므로, 그 처리는 생략한다.

스텝 S173에 있어서, 콘텐츠 처리부(151)는, 화상 데이터 및 음성 데이터를 판독하고, 표시 장치(54)에 출력하여, 콘텐츠의 화상을 표시시킴과 함께 음성을 출력시킨다.

스텝 S174에 있어서, 콘텐츠 처리부(151)는, 전송 데이터의 메타 정보로서 묻혀 있던 타임 코드를 판독하고, 타임 코드에 기초하여, 표시 장치(54)에 있어서 재생되고 있는 화상 데이터 및 음성 데이터와 동기하여 촉각 데이터(출력 촉각 데이터)를 촉각 제시 장치(53)에 공급하여, 촉각 제시부(53a)의 각각을 촉각 제시시킨다.

즉, 이 경우, 콘텐츠 처리부(151)는, 메타 정보로서 묻힌 타임 코드에 기초하여, 표시 장치(54)에 공급하여 재생시키고 있는 화상 데이터 및 음성 데이터와 동기하여, 촉각 데이터(출력 촉각 데이터)를 촉각 제시 장치(53)에 공급하여 촉각 제시시키고 있다. 이 때문에, 표시 장치(54)에 있어서의 화상 데이터 및 음성 데이터의 재생 타이밍과, 촉각 데이터(출력 촉각 데이터)에 기초한 촉각 제시부(53a)에 있어서의 촉각 제시하는 타이밍을 동기시키는 것이 가능하게 된다. 결과로서, 촉각 제시부(53a)에 있어서 촉각 제시하는 타이밍이, 화상 데이터 및 음성 데이터가 표시 장치(54)로부터 출력되는 타이밍에 대하여 지연되는 것이 방지된다.

이상의 처리에 의해, 촉각 데이터가 부호화 데이터로 변환되고, 압축되어 송수신됨으로써, 촉각 데이터를 효율적으로 송수신하는 것이 가능하게 되고, 촉각 데이터의 송수신에 관한 통신 시간을 단축시키는 것이 가능하게 되어, 다채널의 촉각 데이터의 송수신 시간의 증대에 의한 콘텐츠의 재생에 있어서 촉각 제시부(53a)에 의한 촉각 제시의 지연을 방지하는 것이 가능하게 된다.

<제3 변형예>

이상에 있어서는, 촉각 데이터가 부호화된 부호화 데이터, 화상 데이터 및 음성 데이터가 식별 가능한 상태로 통합된 전송 데이터에, 촉각 데이터와, 화상 데이터 및 음성 데이터를 동기시켜 재생시키기 위한 타임 코드를 메타 정보로서 묻어, 송신 장치(51)로부터 수신 장치(52)로 송신시키고, 수신 장치(52)에 있어서, 화상 데이터 및 음성 데이터가 재생됨과 함께, 메타 정보로서 묻힌 타임 코드에 기초하여, 부호화 데이터로부터 복원된 촉각 데이터(출력 촉각 데이터)가 화상 데이터 및 음성 데이터와 동기하여 재생되는 예에 대하여 설명하였다.

그러나, 촉각 데이터에 대해서는, 수신 장치(52)에 있어서 복호 가능한 것만이 부호화 데이터로 변환되도록 하고, 복호 불능인 것은 미처리 촉각 데이터를 그대로 화상 데이터 및 음성 데이터와 합쳐, 송신 장치(51)로부터 수신 장치(52)로 송신되도록 해도 된다.

<제3 변형예에 있어서의 재생 처리>

다음에, 도 21의 흐름도를 참조하여, 제3 변형예에 있어서의 콘텐츠의 재생 처리에 대하여 설명한다. 또한, 도 21에 있어서의 스텝 S191, S192, S194, S195, S197, S203 내지 S206의 처리는, 도 16의 흐름도를 참조하여 설명한 스텝 S11 내지 S15, S32 내지 S35의 처리와 마찬가지이므로, 그 설명은 생략한다.

즉, 스텝 S191, S192에 있어서, 화상 데이터, 음성 데이터 및 촉각 데이터(입력 촉각 데이터)가 판독된다.

스텝 S193에 있어서, 촉각 데이터 처리부(152)는, 촉각 데이터(입력 촉각 데이터)를 부호화하였을 때, 수신 장치(52)에 있어서, 복호 불가능인지 여부를 판정한다.

보다 상세하게는, 촉각 데이터 처리부(152)는, 예를 들어 촉각 데이터(입력 촉각 데이터)를 촉각 데이터 부호화 처리에 의해 일단 부호화 데이터로 변환하고, 그 후, 촉각 데이터 복호 처리에 의해 촉각 데이터(출력 촉각 데이터)로 복호하고, 복호 결과인 출력 촉각 데이터와 입력 촉각 데이터를 비교하여 어느 정도 유사한지에 기초하여 판정하도록 해도 된다.

스텝 S193에 있어서, 복호 불가능이 아니라 복호 가능이라고 판정된 경우, 처리는 스텝 S194로 진행하여, 촉각 데이터 부호화 처리에 의해 촉각 데이터(입력 촉각 데이터)가 부호화 데이터로 변환되어, 스텝 S195에 있어서, 화상 데이터 및 음성 데이터에 합쳐져 수신 장치(52)에 송신된다.

한편, 스텝 S193에 있어서, 복호 불능이라고 간주된 경우, 처리는 스텝 S196으로 진행한다.

스텝 S196에 있어서, 콘텐츠 처리부(91)는, 통신부(72)를 제어하여, 미처리 촉각 데이터(입력 촉각 데이터)와 화상 데이터 및 음성 데이터를 수신 장치(52)에 송신한다.

스텝 S201에 있어서, 수신 장치(52)의 제어부(131)에 있어서의 콘텐츠 처리부(151)는, 통신부(132)를 제어하여, 송신 장치(51)로부터 송신되는, 미처리 촉각 데이터(입력 촉각 데이터) 또는 부호화 데이터, 그리고 화상 데이터 및 음성 데이터를 수신한다.

스텝 S202에 있어서, 촉각 데이터 처리부(152)는, 부호화 데이터가 화상 데이터 및 음성 데이터와 함께 수신되었는지 여부를 판정한다. 예를 들어, 부호화 데이터가 화상 데이터 및 음성 데이터와 함께 수신된 경우, 처리는 스텝 S203으로 진행한다.

그리고, 스텝 S203에 의해 촉각 데이터 복호 처리에 의해 부호화 데이터를 촉각 데이터(출력 촉각 데이터)로 복호하고, 스텝 S204에 있어서, 화상 데이터 및 음성 데이터에 기초하여 표시 장치(54)로부터 화상 및 음성이 출력되고, 스텝 S205에 있어서, 촉각 데이터(출력 촉각 데이터)에 기초하여, 촉각 제시부(53a)로부터 촉각 제시가 이루어진다.

또한, 스텝 S202에 있어서, 부호화 데이터가 아니라, 미처리 촉각 데이터(입력 촉각 데이터)가 화상 데이터 및 음성 데이터와 함께 수신된 경우, 스텝 S203의 처리가 스킵되고, 스텝 S204에 있어서 화상 및 음성이 출력되고, 스텝 S205에 있어서, 미처리 촉각 데이터(입력 촉각 데이터)에 기초하여, 촉각 제시부(53a)에 의해 촉각 제시가 이루어진다.

즉, 이 경우, 콘텐츠 처리부(151)는, 적절하게 복호 가능한 촉각 데이터(입력 촉각 데이터)에 대해서만, 부호화 데이터로부터 촉각 데이터(출력 촉각 데이터)로 변환하여 촉각 제시가 이루어지고, 복호 불가능한 촉각 데이터(입력 촉각 데이터)에 대해서는, 미처리 촉각 데이터(입력 촉각 데이터)를 그대로 사용하여 촉각 제시하므로, 촉각 데이터를 적절하게 반영하여 촉각 제시하는 것이 가능하게 된다.

이상의 처리에 의해, 촉각 데이터가 부호화 데이터로 변환되고, 압축되어 송수신됨으로써, 촉각 데이터를 효율적으로 송수신할 수 있으므로, 촉각 데이터의 송수신에 관한 통신 시간을 단축시키는 것이 가능해짐과 함께, 콘텐츠의 재생에 있어서, 다채널의 촉각 데이터를 송수신하도록 해도 송수신 시간의 증대에 의한, 촉각 제시부(53a)에 의한 촉각 제시의 지연을 억제하면서, 적절한 촉각 제시를 실현하는 것이 가능하게 된다.

또한, 촉각 데이터 부호화 처리 및 촉각 데이터 복호 처리에 대해서는, 송신 장치(51) 및 수신 장치(52) 사이의 통신에 있어서 사용 가능한 통신 대역에 따라, 사용하는 기저 촉각 신호의 수를 변경시키도록 해도 된다.

또한, 수신 장치(52)에 있어서, 부호화 데이터의 복호 결과로서의 촉각 데이터에 대해서는 기억부(133)에 기억해 두도록 해도 된다. 그리고, 기억되어 있는 촉각 데이터와 유사한 촉각 데이터를 송신하는 경우에는, 송신 장치(51)로부터 어느 촉각 데이터와 유사한지를 특정하는 촉각 데이터 특정 정보만을 송신하도록 해도 된다. 이 경우, 수신 장치(52)에 있어서는, 기억부(133)에 기억되어 있는 촉각 데이터 중, 촉각 데이터 특정 정보에 기초하여 특정되는 촉각 데이터를 사용하도록 해도 된다.

또한, 촉각 데이터에 대해서는, 부호화 데이터로서 송신하는, 이미 기억되어 있는 촉각 데이터를 특정하는 촉각 데이터 특정 정보로서 송신하는 것, 및 미처리 촉각 데이터를 그대로 송신하는 것 중 어느 것을 통신 상황에 따라 실시간으로 전환하여 송수신하도록 해도 되고, 그것들을 조합하도록 해도 된다.

또한, 촉각 데이터는, 그 일부를 음성 데이터로부터 자동 생성하는 것이 가능하므로, 자동 생성 가능한 촉각 데이터와의 차분만을 촉각 데이터로서 송수신하도록 해도 된다.

또한, 송신 장치(51) 및 수신 장치(52)의 처리 부하 배터리의 잔량에 따라, 촉각 데이터 부호화 처리 및 촉각 데이터 복호 처리가 가능한지 여부를 판정하여, 부호화 데이터를 송신하는 경우와, 미처리 촉각 데이터를 송신하는 경우를 전환하도록 해도 된다.

또한, 촉각 데이터를 재생시킬 타이밍을 지정하는 콘텐츠 상의 타임 스탬프를, 기저 촉각 신호마다 부가하고, 타임 스탬프에 맞추어 촉각 제시하도록 해도 된다.

또한, 촉각 데이터는, 콘텐츠 데이터로 다중화하여 송수신하도록 해도 되고, 콘텐츠 데이터와 촉각 데이터를 다른 데이터로서 전송하도록 해도 된다.

또한, 콘텐츠 데이터의 헤더에 있어서, 촉각 데이터가 부가되어 있는지 여부나 촉각 데이터의 형식을 나타내는 플래그 데이터를 부가하도록 해도 된다. 이와 같이 함으로써, 수신 장치(52)에 있어서는, 촉각 데이터의 유무나, 촉각 데이터의 형식을 판정할 수 있어, 처리를 구별하여 실행하는 것이 가능하게 된다.

이상에 있어서는, 수신 장치(52)가, 송신 장치(51)로부터 공급되어 오는 콘텐츠 데이터에 포함되는 화상 데이터 및 음성 데이터에 기초하여, 표시 장치(54)에 있어서 화상을 표시시킴과 함께 음성을 출력시키고, 또한 촉각 데이터에 대응하는 부호화 데이터에 기초하여, 촉각 제시 장치(53)의 촉각 제시부(53a)에 의해 촉각 제시시키는 예에 대하여 설명하였다. 그러나, 화상 데이터 및 음성 데이터에 기초하여 표시 장치(54)에 화상을 표시시킴과 함께 음성을 출력시키는 수신 장치와, 촉각 데이터에 대응하는 부호화 데이터에 기초하여, 촉각 제시 장치(53)의 촉각 제시부(53a)에 의해 촉각 제시시키는 수신 장치를 각각 별도로 마련하도록 해도 된다.

또한, 송신 장치(51)와는 별도로, 콘텐츠 데이터에 있어서의 촉각 데이터를 부호화 데이터로 변환하는 기능을 구비한 장치를 별도로 마련하도록 하고, 송신 장치(51)에서는, 촉각 데이터를 별도 마련된 장치에 촉각 데이터를 공급하고, 변환된 부호화 데이터를 취득하도록 해도 된다.

또한, 수신 장치(52)와는 별도로, 부호화 데이터를 촉각 데이터로 복호하는 기능을 구비한 장치를 마련하도록 하고, 수신 장치(552)에서는, 부호화 데이터를 별도 마련된 장치에 공급하고, 부호화 데이터가 복호된 촉각 데이터를 이용하여, 촉각 제시 장치(53)의 촉각 제시부(53a)에 의해 촉각 제시시키도록 해도 된다.

<<3. 제2 실시 형태>>

<기계 학습을 사용한 촉각 데이터 부호화 처리>

이상에 있어서는, 촉각 데이터(입력 촉각 데이터)에 기초하여, 촉각 신호(입력 촉각 신호)를 주파수 분석이나 패턴 매칭에 의해 기저 촉각 신호군으로 분할하여 분할 정보로 하고, 분할 정보에 기초하여 기저 촉각 신호마다 설정되는 파라미터에 의해 부호화한 후에 합성하고, 생성된 합성 신호를 부호화 데이터로서 생성하여 복호함으로써 촉각 데이터(출력 촉각 데이터)를 복원하는 예에 대하여 설명하였다.

그러나, 촉각 데이터(입력 촉각 데이터)를 기저 촉각 신호군으로 분할하여 분할 정보를 생성하는 처리는, 기계 학습에 기초하여 생성된 추정기를 사용한 처리로 하도록 해도 된다.

여기서, 기계 학습을 사용한 촉각 데이터 부호화 처리에 대하여 설명한다.

기계 학습 시에는, 예를 들어 도 22에서 도시되는 바와 같이, 화상 데이터 및 음성 데이터를 포함하는 콘텐츠 데이터(201)와, 대응하는 촉각 신호(입력 촉각 신호)(202)가 사용된다. 또한, 여기서 말하는 촉각 신호(202)는, 콘텐츠 데이터(201)에 대응지어 유저에 의해 입력되는 신호이다.

다음에, 콘텐츠 데이터(201)의 화상 데이터 및 음성 데이터에 대한 음성 해석, 동태 해석 및 텍스처 해석 등에 의한 해석 결과에 기초하여, 화상 데이터로부터 추출되는 청각적 특징을 포함하는 다차원 특징 벡터와, 음성 데이터로부터 추출되는 시각적 특징으로부터 추출되는 다차원 특징 벡터를 포함하는 특징 데이터(203)가 생성된다.

또한, 촉각 신호(입력 촉각 신호)(202)가, 기저 촉각 신호군에 기초하여 분할되는 것에 의해 분할 정보가 생성됨으로써, 교사 데이터로 되는 분할 정보(204)가 생성된다.

그리고, 이 특징 데이터(203)와 교사 데이터로 되는 분할 정보(204)가 사용된 기계 학습에 의해, 콘텐츠 데이터(201)의 특징 데이터(203)에 의해 분할 정보를 추정하는 추정기(도 23의 추정기(213))가 생성된다.

추정기(도 23의 추정기(213))는, 상술한 일련의 기계 학습에 의해, 특징 데이터(203)에 기초하여, 촉각 신호(입력 촉각 신호)에 대한 분할 신호를 추정한다.

이 결과, 도 23에서 도시되는 바와 같이, 기계 학습에 의해 생성된 추정기(213)를 사용한 촉각 데이터 부호화 처리에 의해, 콘텐츠 데이터(211)에 포함되는 화상 데이터 및 음성 데이터에 대한 음성 해석, 동태 해석 및 텍스처 해석 등에 의한 해석 결과에 기초하여, 화상 데이터의 청각적 특징이 추출되는 다차원 특징 벡터와, 음성 데이터의 시각적 특징으로부터 추출되는 다차원 특징 벡터를 포함하는 특징 데이터(212)가 생성된다.

그리고, 기계 학습에 의해 생성된 추정기(213)에 의해, 특징 데이터(212)에 기초하여 분할 정보가 추정되고, 추정된 분할 정보에 있어서의 기저 촉각 신호군의 각 파라미터에 기초하여, 부호화 데이터가 생성된다.

<학습 장치의 구성예>

다음에, 도 24를 참조하여, 콘텐츠의 특징 데이터에 기초하여, 분할 정보를 추정하는 도 23의 추정기(213)를 기계 학습에 의해 생성하는 학습 장치의 구성예에 대하여 설명한다.

학습 장치(231)는, 제어부(251), 통신부(252), 기억부(253), 입력부(254), 출력부(255), 드라이브(256) 및 리무버블 기억 매체(257)로 구성되어 있으며, 서로 버스(258)를 통하여 접속되어 있고, 데이터나 프로그램을 송수신할 수 있다.

제어부(251)는, 프로세서나 메모리로 구성되어 있으며, 학습 장치(231)의 동작 전체를 제어한다. 제어부(251)는, 추정기(213)를 기계 학습에 의해 학습시키는 기계 학습부(261)를 구비하고 있다.

기계 학습부(261)는, 특징 데이터 추출부(271) 및 교사 데이터 생성부(272)를 구비하고 있으며, 도 22를 참조하여 설명한 바와 같이 콘텐츠 데이터(201)와, 대응하는 촉각 데이터에 기초한 촉각 신호(입력 촉각 신호)(202)를 취득하여, 예를 들어 뉴럴 네트워크나 가우시안 믹스처 모델 등에 의해 추정기(213)를 학습시킨다.

보다 상세하게는, 특징 데이터 추출부(271)는, 콘텐츠 데이터(201)의 화상 데이터 및 음성 데이터에 대한 음성 해석, 동태 해석 및 텍스처 해석 등에 의한 해석 결과에 기초하여, 화상 데이터로부터 추출되는 청각적 특징을 포함하는 다차원 특징 벡터와, 음성 데이터로부터 추출되는 시각적 특징으로부터 추출되는 다차원 특징 벡터를 포함하는 특징 데이터(203)를 추출한다.

교사 데이터 생성부(272)는, 입력부(254)를 통하여 입력되는 콘텐츠 데이터(201)에 대응하는 촉각 데이터에 기초한 촉각 신호(입력 촉각 신호)(202)를 분할하여, 기저 촉각 신호군을 포함하는 분할 정보(204)를 생성한다.

기계 학습부(261)는, 특징 데이터(203)와, 교사 데이터로서의 분할 정보(204)를 사용한 기계 학습에 의해, 특징 데이터(203)에 기초하여 분할 정보를 추정하는 추정기(213)를 생성한다.

통신부(252)는, 제어부(251)에 의해 제어되며, 유선(또는 무선(도시하지 않음))에 의해, LAN(Local Area Network) 등으로 대표되는 통신 네트워크를 통하여, 각종 데이터나 프로그램을 송수신한다.

기억부(253)는, 제어부(251)에 의해 제어되며, HDD(Hard Disk Drive), SSD(Solid State Drive) 또는 반도체 메모리 등을 포함하며, 콘텐츠 데이터를 포함하는 각종 데이터 및 프로그램을 기입하거나 또는 판독한다.

입력부(254)는, 유저가 조작 커맨드를 입력하는 키보드, 마우스 등의 입력 디바이스로 구성되며, 입력된 각종 신호를 제어부(251)에 공급한다.

출력부(255)는, 제어부(251)에 의해 제어되며, 공급되는 처리 조작 화면이나 처리 결과의 화상을 도시하지 않은 표시 디바이스에 출력하여 표시한다.

드라이브(256)는, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크(MD(Mini Disc)를 포함함), 혹은 반도체 메모리 등의 리무버블 기억 매체(257)에 대하여 데이터를 판독 기입한다.

<기계 학습을 사용한 촉각 데이터 부호화 처리를 실현하는 송신 장치의 구성예>

다음에, 도 25를 참조하여, 기계 학습을 사용한 촉각 데이터 부호화 처리를 실현하는 송신 장치의 구성예에 대하여 설명한다.

또한, 도 25의 송신 장치(51)의 구성에 있어서, 도 8의 송신 장치(51)의 구성과 동일한 기능을 구비한 구성에 대해서는 동일한 부호를 부여하고 있으며, 그 설명은 적절하게 생략한다.

즉, 도 25의 송신 장치(51)에 있어서, 도 8의 송신 장치(51)와 다른 점은, 부호화부(101) 대신에 부호화부(281)를 마련한 점이다.

부호화부(281)는, 특징 데이터 추출부(291) 및 추정기(292)를 구비하고 있으며, 콘텐츠 데이터에 포함되는, 화상 데이터 및 음성 데이터에 기초하여, 촉각 데이터의 부호화 데이터를 생성한다.

보다 상세하게는, 특징 데이터 추출부(291)는, 화상 데이터 및 음성 데이터로부터 특징 데이터를 추출한다.

추정기(292)는, 도 23의 추정기(213)에 대응하는 구성이며, 상술한 기계 학습에 기초한 학습이 이루어져 있으며, 특징 데이터에 기초하여, 촉각 데이터(입력 촉각 데이터)에 대응하는 분할 정보를 추정한다. 부호화부(281)는, 추정된 분할 정보의 기저 촉각 신호마다의 파라미터에 기초하여, 촉각 데이터(입력 촉각 데이터)에 대응하는 부호화 데이터를 생성한다.

또한, 수신 장치(52)의 구성에 대해서는, 도 9에 있어서의 경우와 마찬가지이며, 재생 처리에 대해서도 상술한 처리와 마찬가지이므로, 그 설명은 생략한다.

<학습 처리>

다음에, 도 25의 흐름도를 참조하여, 도 24의 학습 장치(231)에 의한 학습 처리에 대하여 설명한다.

스텝 S211에 있어서, 특징 데이터 추출부(271)는, 입력부(254)를 통하여 입력되는 콘텐츠 데이터(201)의 화상 데이터 및 음성 데이터로부터 특징 데이터(203)를 추출한다.

스텝 S212에 있어서, 교사 데이터 생성부(272)는, 입력부(254)를 통하여 입력되는 콘텐츠 데이터(201)에 대응하는 촉각 데이터에 기초한 촉각 신호(입력 촉각 신호)(202)를 분할하여, 기저 촉각 신호군을 포함하는 분할 정보(204)를 생성하여, 교사 데이터로서의 분할 정보(204)를 생성한다.

스텝 S213에 있어서, 기계 학습부(261)는, 촉각 데이터를 합한 특징 데이터(203)와, 교사 데이터로서의 분할 정보(204)를 사용한 기계 학습에 의해 추정기(213)를 학습시킨다.

이상의 처리에 의해, 기계 학습에 의해 콘텐츠 데이터의 화상 데이터 및 음성 데이터로부터 추출되는 특징 데이터에 기초하여, 촉각 신호(입력 촉각 신호)의 분할 정보를 추정하는 추정기(213)를 학습시키는 것이 가능하게 된다.

<기계 학습을 이용한 촉각 데이터 부호화 처리>

다음에, 도 27을 참조하여, 도 25의 송신 장치(51)에 의한 기계 학습에 의해 생성된 추정기(213)(도 25의 추정기(292))를 이용한 촉각 데이터 부호화 처리에 대하여 설명한다.

스텝 S231에 있어서, 부호화부(281)의 특징 데이터 추출부(291)는, 콘텐츠 데이터의 화상 데이터 및 음성 데이터로부터 특징 데이터를 추출한다.

스텝 S232에 있어서, 추정기(292)는, 특징 데이터에 대응하는 촉각 신호(입력 촉각 신호)의 분할 정보를 추정한다.

스텝 S233에 있어서, 부호화부(281)는, 추정기(292)에 의해 추정된 분할 정보에 기초하여, 기저 촉각 신호마다의 파라미터를 설정한다.

스텝 S234에 있어서, 부호화부(281)는, 기저 촉각 신호마다의 파라미터에 기초하여, 촉각 신호에 대응하는 부호화 데이터를 생성한다.

이상의 처리에 의해, 기계 학습에 의해 생성된 추정기(292)에 의해 화상 데이터 및 음성 데이터의 특징 데이터에 기초하여, 분할 정보가 추정되고, 촉각 데이터(입력 촉각 데이터)에 대응하는 부호화 데이터가 추정되므로, 촉각 데이터(입력 촉각 데이터)를 보다 신속하게 부호화 데이터로 변환하는 것이 가능하게 된다. 또한, 촉각 데이터 복호 처리에 대해서는, 도 18의 흐름도를 참조하여 설명한 처리와 마찬가지이므로, 그 설명은 생략한다. 또한, 이상에 있어서는, 학습 처리 및 촉각 데이터 부호화 처리에 있어서, 특징 데이터를 화상 데이터 및 음성 데이터로부터 추출하는 예에 대하여 설명했지만, 화상 데이터 및 음성 데이터에 추가하여, 촉각 데이터(입력 촉각 데이터)로부터도 추출하도록 해도 되며, 또한 특징 데이터를 증가시킴으로써, 보다 고정밀도의 추정기의 학습이 가능하게 된다.

이상과 같이, 본 개시에 따르면, 어느 것에 있어서도, 촉각 제시부(53a)가 복수로 되는 다채널의 촉각 데이터를 송수신하도록 해도 송수신 시간의 증대를 억제하는 것이 가능하게 되므로, 촉각 제시의 지연을 억제하는 것이 가능하게 된다.

<<4. 소프트웨어에 의해 실행시키는 예>>

그런데, 상술한 일련의 처리는 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용 컴퓨터 등에, 기록 매체로부터 인스톨된다.

도 28은, 범용 컴퓨터의 구성예를 도시하고 있다. 이 퍼스널 컴퓨터는 CPU(Central Processing Unit)(1001)를 내장하고 있다. CPU(1001)에는 버스(1004)를 통하여, 입출력 인터페이스(1005)가 접속되어 있다. 버스(1004)에는 ROM(Read Only Memory)(1002) 및 RAM(Random Access Memory)(1003)이 접속되어 있다.

입출력 인터페이스(1005)는, 유저가 조작 커맨드를 입력하는 키보드, 마우스 등의 입력 디바이스로 이루어지는 입력부(1006), 처리 조작 화면이나 처리 결과의 화상을 표시 디바이스에 출력하는 출력부(1007), 프로그램이나 각종 데이터를 저장하는 하드 디스크 드라이브 등으로 이루어지는 기억부(1008), LAN(Local Area Network) 어댑터 등으로 이루어지며, 인터넷으로 대표되는 네트워크를 통한 통신 처리를 실행하는 통신부(1009)가 접속되어 있다. 또한, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크(MD(Mini Disc)를 포함함), 혹은 반도체 메모리 등의 리무버블 기억 매체(1011)에 대하여 데이터를 판독 기입하는 드라이브(1010)가 접속되어 있다.

CPU(1001)는, ROM(1002)에 기억되어 있는 프로그램, 또는 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 기억 매체(1011)로부터 판독되어 기억부(1008)에 인스톨되고, 기억부(1008)로부터 RAM(1003)에 로드된 프로그램에 따라 각종 처리를 실행한다. RAM(1003)에는 또한, CPU(1001)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절하게 기억된다.

이상과 같이 구성되는 컴퓨터에서는, CPU(1001)가, 예를 들어 기억부(1008)에 기억되어 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 통하여, RAM(1003)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터(CPU(1001))가 실행할 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기억 매체(1011)에 기록하여 제공할 수 있다. 또한, 프로그램은 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.

컴퓨터에서는, 프로그램은, 리무버블 기억 매체(1011)를 드라이브(1010)에 장착함으로써, 입출력 인터페이스(1005)를 통하여, 기억부(1008)에 인스톨될 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여 통신부(1009)에서 수신하고, 기억부(1008)에 인스톨될 수 있다. 그 밖에, 프로그램은 ROM(1002)이나 기억부(1008)에 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.

또한, 도 28에 있어서의 CPU(1001)가, 도 8, 도 25의 제어부(71), 도 9에 있어서의 제어부(131) 및 도 24의 제어부(251)의 기능을 실현시킨다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 1개의 하우징 내에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두 시스템이다.

또한, 본 개시의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 본 개시는, 1개의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 1개의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 1개의 스텝에 복수의 처리가 포함되는 경우에는, 그 1개의 스텝에 포함되는 복수의 처리는, 1개의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 본 개시는, 이하와 같은 구성도 취할 수 있다.

<1> 입력 촉각 신호를, 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터로 부호화하는 부호화부와,

상기 부호화 데이터에 기초하는 출력 촉각 신호에 의해 촉각 제시를 행하는 촉각 제시부에 촉각 제시를 시키는 수신 장치에, 상기 부호화 데이터를 송신하는 송신부를 포함하는

정보 처리 장치.

<2> 상기 기저 촉각 신호군을 구성하는 상기 기저 촉각 신호는, 서로 직교하는 촉각 신호인

<1>에 기재된 정보 처리 장치.

<3> 상기 촉각 제시부는, 상기 다른 정보 처리 장치에 있어서 복수 마련되어 있고, 상기 입력 촉각 신호는, 상기 복수의 촉각 제시부의 각각에 대응하는 채널마다 설정되는

<1> 또는 <2>에 기재된 정보 처리 장치.

<4> 상기 기저 촉각 신호의 각각을 규정하는 파라미터는, 상기 기저 촉각 신호를 식별하는 인덱스, 상기 기저 촉각 신호의 재생 타이밍의 오프셋을 규정하는 타임 코드, 상기 기저 촉각 신호를 재생하는 전체 타이밍에 있어서의 게인, 상기 기저 촉각 신호에 기초한 촉각 제시를 하는 길이, 및 상기 기저 촉각 신호를 재생할 때의 게인의 변화를 나타내는 포락선을 식별하는 인덱스를 포함하는

<1> 내지 <3> 중 어느 것에 기재된 정보 처리 장치.

<5> 상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,

상기 송신부는, 상기 부호화 데이터와 함께, 상기 콘텐츠의 콘텐츠 데이터를 송신하는

<1> 내지 <4> 중 어느 것에 기재된 정보 처리 장치.

<6> 상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,

상기 송신부는, 상기 부호화 데이터와, 상기 콘텐츠의 콘텐츠 데이터를 독립적으로 상기 수신 장치에 송신하는

<1> 내지 <4> 중 어느 것에 기재된 정보 처리 장치.

<7> 상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,

상기 부호화부는, 상기 부호화 데이터에, 상기 콘텐츠의 재생 타이밍을 나타내는 인덱스를 부여하고,

상기 송신부는, 상기 인덱스가 부여된 상기 부호화 데이터를 상기 수신 장치에 송신하는

<1> 내지 <4> 중 어느 것에 기재된 정보 처리 장치.

<8> 상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,

상기 부호화부는, 상기 부호화 데이터와, 상기 콘텐츠를 1개의 전송 데이터로 통합하고, 상기 콘텐츠와, 상기 출력 촉각 신호를 동기하여 재생시키기 위한 타임 코드를 상기 전송 데이터의 메타 정보로서 기록하고,

상기 송신부는, 상기 메타 정보로서 상기 타임 코드가 기록된 전송 데이터를 상기 수신 장치에 송신하는

<1> 내지 <4> 중 어느 것에 기재된 정보 처리 장치.

<9> 상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,

상기 부호화부는, 상기 입력 촉각 신호 중, 상기 수신 장치로 복호 가능한 입력 촉각 데이터를 상기 부호화 데이터로 부호화하고,

상기 송신부는, 상기 입력 촉각 데이터 또는 상기 부호화 데이터를 상기 수신 장치에 송신하는

<1> 내지 <4> 중 어느 것에 기재된 정보 처리 장치.

<10> 상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,

상기 부호화부는, 교사 데이터로 되는 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군의 기저 촉각 신호로 분할된 분할 정보와, 상기 콘텐츠를 사용한 기계 학습에 기초한 추정에 의해, 상기 콘텐츠로부터 상기 분할 정보를 추정하고, 상기 분할 정보에 기초하여, 상기 입력 촉각 신호를 상기 부호화 데이터로 부호화하고,

상기 송신부는, 상기 부호화 데이터를 상기 수신 장치에 송신하는

<1> 내지 <4> 중 어느 것에 기재된 정보 처리 장치.

<11> 입력 촉각 신호를, 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터로 부호화하는 부호화 처리와,

상기 부호화 데이터에 기초하는 출력 촉각 신호에 기초하여, 촉각 제시를 행하는 촉각 제시부에 촉각 제시시키는 수신 장치에, 상기 부호화 데이터를 송신하는 송신 처리를 포함하는

정보 처리 방법.

<12> 입력 촉각 신호를, 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터로 부호화하는 부호화부와,

상기 부호화 데이터에 기초하는 출력 촉각 신호에 기초하여, 촉각 제시를 행하는 촉각 제시부에 촉각 제시시키는 수신 장치에, 상기 부호화 데이터를 송신하는 송신부

로서 컴퓨터를 기능시키는 프로그램.

<13> 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터를 수신하는 수신부와,

수신한 상기 부호화 데이터에 포함되는 상기 복수의 기저 촉각 신호를 규정하는 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 출력 촉각 신호로 복호하는 복호부를 포함하는

정보 처리 장치.

<14> 상기 복호부는, 상기 부호화 데이터의 파라미터에 기초하여, 기억 매체에 미리 기억되어 있는 상기 기저 촉각 신호를 판독하여 합성함으로써, 상기 출력 촉각 신호를 복호하는

<13>에 기재된 정보 처리 장치.

<15> 상기 기저 촉각 신호의 각각을 기저하는 파라미터는, 상기 기저 촉각 신호를 식별하는 인덱스, 상기 기저 촉각 신호의 재생 타이밍의 오프셋을 규정하는 타임 코드, 상기 기저 촉각 신호를 재생하는 전체 타이밍에 있어서의 게인, 상기 기저 촉각 신호에 기초한 촉각 제시를 하는 길이, 및 상기 기저 촉각 신호를 재생할 때의 게인의 변화를 나타내는 포락선을 식별하는 인덱스를 포함하는

<13> 또는 <14>에 기재된 정보 처리 장치.

<16> 상기 출력 촉각 신호는, 콘텐츠의 재생에 동기하여 재생되는 신호인

<13> 또는 <14>에 기재된 정보 처리 장치.

<17> 상기 수신부는, 상기 부호화 데이터와, 상기 콘텐츠의 콘텐츠 데이터를 독립적으로 수신하고,

상기 콘텐츠가 재생될 때, 상기 콘텐츠의 재생과는 비동기로 상기 출력 촉각 신호에 기초한 촉각 제시를 실행하는 촉각 제시부를 더 포함하는

<16>에 기재된 정보 처리 장치.

<18> 상기 수신부는, 상기 콘텐츠의 재생 타이밍을 나타내는 인덱스가 부여된 상기 부호화 데이터를 수신하고,

상기 콘텐츠가 재생될 때, 부여된 상기 인덱스에 대응하는 상기 콘텐츠가 재생된 타이밍에, 상기 부호화 데이터에 대응하는 상기 출력 촉각 신호에 기초한 촉각 제시를 실행하는 촉각 제시부를 더 포함하는

<16>에 기재된 정보 처리 장치.

<19> 상기 수신부는, 상기 부호화 데이터 및 상기 콘텐츠가 통합되고, 메타 정보로서 타임 코드가 기록된 전송 데이터를 수신하고,

상기 콘텐츠가 재생될 때, 상기 전송 데이터의 메타 정보로서 기록된 타임 코드에 기초하여, 상기 콘텐츠의 재생에 동기하여 상기 출력 촉각 신호에 기초한 촉각 제시를 실행하는 촉각 제시부를 더 포함하는

<16>에 기재된 정보 처리 장치.

<20> 상기 수신부는, 상기 출력 촉각 신호 또는 상기 부호화 데이터를 수신하고,

상기 수신부가 상기 출력 촉각 신호를 수신한 경우, 수신한 상기 출력 촉각 신호에 기초하여 촉각 제시가 이루어지고,

상기 수신부가 상기 부호화 데이터를 수신한 경우, 상기 복호부는, 상기 부호화 데이터의 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 상기 출력 촉각 신호로 복호하고,

상기 복호부에 의해 복호된 상기 출력 촉각 신호에 기초한 촉각 제시를 실행하는 촉각 제시부를 더 포함하는

<16>에 기재된 정보 처리 장치.

<21> 상기 수신부는, 교사 데이터로 되는 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군의 기저 촉각 신호로 분할된 분할 정보와, 상기 콘텐츠를 사용한 기계 학습에 기초하여, 상기 콘텐츠로부터 추정된 상기 분할 정보에 기초하여 부호화된 상기 부호화 데이터를 수신하고,

상기 복호부는, 상기 부호화 데이터의 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 상기 출력 촉각 신호로 복호하고,

상기 출력 촉각 신호에 기초한 촉각 제시를 실행하는 촉각 제시부를 더 포함하는

<16>에 기재된 정보 처리 장치.

<22> 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터를 수신하는 수신 처리와,

상기 수신한 부호화 데이터에 포함되는 복수의 기저 촉각 신호를 규정하는 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 출력 촉각 신호로 복호하는 복호 처리를 포함하는

정보 처리 방법.

<23> 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터를 수신하는 수신부와,

상기 수신한 부호화 데이터에 포함되는 상기 복수의 기저 촉각 신호를 규정하는 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 출력 촉각 신호로 복호하는 복호부

로서 컴퓨터를 기능시키는 프로그램.

41: 콘텐츠 재생 시스템
51: 송신 장치
52: 수신 장치
53, 53A 내지 53C: 촉각 제시 장치
53a, 53a-1 내지 53a-16, 53a-21 내지 53a-24, 53a-31, 53a-32: 촉각 제시부
71: 제어부
91: 콘텐츠 처리부
92: 촉각 데이터 처리부
101: 부호화부
131: 제어부
151: 콘텐츠 처리부
152: 복호부
231: 학습 장치
251: 제어부
271: 특징 데이터 추출부
272: 교사 데이터 생성부
281: 부호화부
291: 특징 데이터 추출부
292: 추정부

Claims (23)

1. 입력 촉각 신호를, 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터로 부호화하는 부호화부와,
   상기 부호화 데이터에 기초하는 출력 촉각 신호에 의해 촉각 제시를 행하는 촉각 제시부에 촉각 제시를 시키는 수신 장치에, 상기 부호화 데이터를 송신하는 송신부를 포함하는,
   정보 처리 장치.
2. 제1항에 있어서,
   상기 기저 촉각 신호군을 구성하는 상기 기저 촉각 신호는 서로 직교하는 촉각 신호인,
   정보 처리 장치.
3. 제1항에 있어서,
   상기 촉각 제시부는, 상기 다른 정보 처리 장치에 있어서 복수 마련되어 있고, 상기 입력 촉각 신호는, 상기 복수의 촉각 제시부의 각각에 대응하는 채널마다 설정되는,
   정보 처리 장치.
4. 제1항에 있어서,
   상기 기저 촉각 신호의 각각을 규정하는 파라미터는, 상기 기저 촉각 신호를 식별하는 인덱스, 상기 기저 촉각 신호의 재생 타이밍의 오프셋을 규정하는 타임 코드, 상기 기저 촉각 신호를 재생하는 전체 타이밍에 있어서의 게인, 상기 기저 촉각 신호에 기초한 촉각 제시를 하는 길이, 및 상기 기저 촉각 신호를 재생할 때의 게인의 변화를 나타내는 포락선을 식별하는 인덱스를 포함하는,
   정보 처리 장치.
5. 제1항에 있어서,
   상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,
   상기 송신부는, 상기 부호화 데이터와 함께, 상기 콘텐츠의 콘텐츠 데이터를 송신하는,
   정보 처리 장치.
6. 제1항에 있어서,
   상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,
   상기 송신부는, 상기 부호화 데이터와, 상기 콘텐츠의 콘텐츠 데이터를 독립적으로 상기 수신 장치에 송신하는,
   정보 처리 장치.
7. 제1항에 있어서,
   상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,
   상기 부호화부는, 상기 부호화 데이터에, 상기 콘텐츠의 재생 타이밍을 나타내는 인덱스를 부여하고,
   상기 송신부는, 상기 인덱스가 부여된 상기 부호화 데이터를 상기 수신 장치에 송신하는,
   정보 처리 장치.
8. 제1항에 있어서,
   상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,
   상기 부호화부는, 상기 부호화 데이터와, 상기 콘텐츠를 1개의 전송 데이터로 통합하고, 상기 콘텐츠와, 상기 출력 촉각 신호를 동기하여 재생시키기 위한 타임 코드를 상기 전송 데이터의 메타 정보로서 기록하고,
   상기 송신부는, 상기 메타 정보로서 상기 타임 코드가 기록된 전송 데이터를 상기 수신 장치에 송신하는,
   정보 처리 장치.
9. 제1항에 있어서,
   상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,
   상기 부호화부는, 상기 입력 촉각 신호 중, 상기 수신 장치로 복호 가능한 입력 촉각 데이터를 상기 부호화 데이터로 부호화하고,
   상기 송신부는, 상기 입력 촉각 데이터 또는 상기 부호화 데이터를 상기 수신 장치에 송신하는,
   정보 처리 장치.
10. 제1항에 있어서,
    상기 입력 촉각 신호는, 상기 출력 촉각 신호와 동기하여 재생되는 콘텐츠에 대응하는 신호이고,
    상기 부호화부는, 교사 데이터로 되는 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군의 기저 촉각 신호로 분할된 분할 정보와, 상기 콘텐츠를 사용한 기계 학습에 기초한 추정에 의해, 상기 콘텐츠로부터 상기 분할 정보를 추정하고, 상기 분할 정보에 기초하여, 상기 입력 촉각 신호를 상기 부호화 데이터로 부호화하고,
    상기 송신부는, 상기 부호화 데이터를 상기 수신 장치에 송신하는,
    정보 처리 장치.
11. 입력 촉각 신호를, 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터로 부호화하는 부호화 처리와,
    상기 부호화 데이터에 기초하는 출력 촉각 신호에 기초하여, 촉각 제시를 행하는 촉각 제시부에 촉각 제시시키는 수신 장치에, 상기 부호화 데이터를 송신하는 송신 처리를 포함하는,
    정보 처리 방법.
12. 입력 촉각 신호를, 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터로 부호화하는 부호화부와,
    상기 부호화 데이터에 기초하는 출력 촉각 신호에 기초하여, 촉각 제시를 행하는 촉각 제시부에 촉각 제시시키는 수신 장치에, 상기 부호화 데이터를 송신하는 송신부
    로서 컴퓨터를 기능시키는, 프로그램.
13. 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터를 수신하는 수신부와,
    수신한 상기 부호화 데이터에 포함되는 상기 복수의 기저 촉각 신호를 규정하는 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 출력 촉각 신호로 복호하는 복호부를 포함하는,
    정보 처리 장치.
14. 제13항에 있어서,
    상기 복호부는, 상기 부호화 데이터의 파라미터에 기초하여, 기억 매체에 미리 기억되어 있는 상기 기저 촉각 신호를 판독하여 합성함으로써, 상기 출력 촉각 신호를 복호하는,
    정보 처리 장치.
15. 제13항에 있어서,
    상기 기저 촉각 신호의 각각을 기저하는 파라미터는, 상기 기저 촉각 신호를 식별하는 인덱스, 상기 기저 촉각 신호의 재생 타이밍의 오프셋을 규정하는 타임 코드, 상기 기저 촉각 신호를 재생하는 전체 타이밍에 있어서의 게인, 상기 기저 촉각 신호에 기초한 촉각 제시를 하는 길이, 및 상기 기저 촉각 신호를 재생할 때의 게인의 변화를 나타내는 포락선을 식별하는 인덱스를 포함하는,
    정보 처리 장치.
16. 제13항에 있어서,
    상기 출력 촉각 신호는 콘텐츠의 재생에 동기하여 재생되는 신호인,
    정보 처리 장치.
17. 제16항에 있어서,
    상기 수신부는, 상기 부호화 데이터와, 상기 콘텐츠의 콘텐츠 데이터를 독립적으로 수신하고,
    상기 콘텐츠가 재생될 때, 상기 콘텐츠의 재생과는 비동기로 상기 출력 촉각 신호에 기초한 촉각 제시를 실행하는 촉각 제시부를 더 포함하는,
    정보 처리 장치.
18. 제16항에 있어서,
    상기 수신부는, 상기 콘텐츠의 재생 타이밍을 나타내는 인덱스가 부여된 상기 부호화 데이터를 수신하고,
    상기 콘텐츠가 재생될 때, 부여된 상기 인덱스에 대응하는 상기 콘텐츠가 재생된 타이밍에, 상기 부호화 데이터에 대응하는 상기 출력 촉각 신호에 기초한 촉각 제시를 실행하는 촉각 제시부를 더 포함하는,
    정보 처리 장치.
19. 제16항에 있어서,
    상기 수신부는, 상기 부호화 데이터 및 상기 콘텐츠가 통합되고, 메타 정보로서 타임 코드가 기록된 전송 데이터를 수신하고,
    상기 콘텐츠가 재생될 때, 상기 전송 데이터의 메타 정보로서 기록된 타임 코드에 기초하여, 상기 콘텐츠의 재생에 동기하여 상기 출력 촉각 신호에 기초한 촉각 제시를 실행하는 촉각 제시부를 더 포함하는,
    정보 처리 장치.
20. 제16항에 있어서,
    상기 수신부는, 상기 출력 촉각 신호 또는 상기 부호화 데이터를 수신하고,
    상기 수신부가 상기 출력 촉각 신호를 수신한 경우, 수신한 상기 출력 촉각 신호에 기초하여 촉각 제시가 이루어지고,
    상기 수신부가 상기 부호화 데이터를 수신한 경우, 상기 복호부는, 상기 부호화 데이터의 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 상기 출력 촉각 신호로 복호하고,
    상기 복호부에 의해 복호된 상기 출력 촉각 신호에 기초한 촉각 제시를 실행하는 촉각 제시부를 더 포함하는,
    정보 처리 장치.
21. 제16항에 있어서,
    상기 수신부는, 교사 데이터로 되는 상기 입력 촉각 신호를 구성하는 기저 촉각 신호군의 기저 촉각 신호로 분할된 분할 정보와, 상기 콘텐츠를 사용한 기계 학습에 기초하여, 상기 콘텐츠로부터 추정된 상기 분할 정보에 기초하여 부호화된 상기 부호화 데이터를 수신하고,
    상기 복호부는, 상기 부호화 데이터의 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 상기 출력 촉각 신호로 복호하고,
    상기 출력 촉각 신호에 기초한 촉각 제시를 실행하는 촉각 제시부를 더 포함하는,
    정보 처리 장치.
22. 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터를 수신하는 수신 처리와,
    상기 수신한 부호화 데이터에 포함되는 복수의 기저 촉각 신호를 규정하는 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 출력 촉각 신호로 복호하는 복호 처리를 포함하는,
    정보 처리 방법.
23. 입력 촉각 신호를 구성하는 기저 촉각 신호군 중 복수의 기저 촉각 신호를 규정하는 파라미터를 포함하는 부호화 데이터를 수신하는 수신부와,
    상기 수신한 부호화 데이터에 포함되는 상기 복수의 기저 촉각 신호를 규정하는 파라미터에 기초하여, 상기 기저 촉각 신호를 합성하여 출력 촉각 신호로 복호하는 복호부
    로서 컴퓨터를 기능시키는, 프로그램.

Images