KR20210031916A - 복호 장치, 복호 방법, 프로그램 - Google Patents

Abstract

촉각의 재현성을 담보하면서 촉각 신호의 데이터양 삭감을 도모함으로써, 촉각 재현 시스템의 효율화를 도모한다. 본 기술에 관한 복호 장치는, 주파수 대역마다 부호화된 촉각 신호를 복호하는 복호부를 구비하는 것이다. 이에 의해, 촉각 특성상, 인간이 지각하기 어렵다고 여겨지는 촉각 신호에 대한 비트 배분을 적게 하는 효율적인 부호화를 행하는 것이 가능해진다.

Description

복호 장치, 복호 방법, 프로그램

본 기술은, 부호화된 촉각 신호를 복호하는 복호 장치와 그 방법 및 프로그램에 관한 것이다.

근년, 인간의 피부에 접촉시킨 촉각 제시 디바이스에 의해 촉각 자극을 부여하는 애플리케이션이 다양한 장면에서 이용되고 있다. 여기서, 「촉각 제시」란, 촉각 자극을 발생시키는 것을 의미한다.

예를 들어, 스마트폰 등의 터치 패널 탑재 모바일 단말기에 있어서는, 패널의 터치 조작 시에 패널(또는 하우징)을 진동시켜 손가락에 촉각 자극을 부여함으로써, 버튼의 터치감을 의사적으로 만들어 내는 것이 행해지고 있다.

음악 리스닝에 있어서는, 헤드폰 하우징에 촉각 제시 디바이스를 내장하고, 음악 재생과 병행하여 촉각 자극도 부여함으로써, 중저음을 강조하고 있는 것도 있다.

컴퓨터 게임이나 VR(가상 현실)의 분야에서는, 유저의 조작에 따라 컨트롤러 내에 설치한 촉각 제시 디바이스에 의해 씬에 맞추어 인터렉티브하게 촉각 자극을 부여함으로써, 유저의 몰입감을 높이는 것이 있다.

어뮤즈먼트 시설에 있어서는, 영화관이나 테마파크 등에서 장면에 따라 좌석 내에 설치한 촉각 제시 디바이스에 의해 촉각 자극을 부여함으로써, 방문자의 임장감을 향상시키고 있는 것이 있다.

또한, 연구 개발 단계의 것에 있어서는, 로봇 등을 원격 조작할 때에, 로봇 또는 조작되는 대상물이 받은 진동을 조작자의 수중의 컨트롤러에 피드백함으로써, 로봇 또는 대상물 주변의 상황을 직감적으로 찰지시켜 위험 예측에 도움이 되는 것도 있다(예: 재해 대응 로봇<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>)

또한, 의료의 분야에서는, 수술 로봇의 조작 시에, 내시경의 겸자가 장기에 접촉한 감촉(경도)을 조작자에게 피드백함으로써, 수술 정밀도를 향상시키는 것이 연구되고 있다(예: 수술 지원 로봇 다빈치<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P＝2>)

또한, 관련하는 종래 기술에 대해서는 하기 특허문헌 1을 들 수 있다. 해당 특허문헌 1에는, 진동 등을 센싱하여 촉각 자극의 패턴을 나타내는 촉각 신호를 생성하는 것은 아니고, 오디오 신호에 기초하여 촉각 신호를 생성하는 기술이 개시되어 있다.

일본 특허 공개 제2015-53038호 공보

여기서, 촉각 신호를 재현하는 촉각 재현 시스템에 대해서는, 촉각 제시 디바이스를 복수 준비하여 인체의 복수 부위에 촉각 자극을 부여하거나, 촉각 신호를 인터넷 등의 네트워크를 통해 전송하여 실시간 촉각 재현을 실현하는 것 등이 고려되고 있다.

그러나, 촉각 자극을 부여하는 부위의 수가 증대되는 것에 수반하여, 촉각 신호의 채널수도 증대되어, 데이터양의 증대화를 초래해 버린다. 촉각 신호의 데이터양이 증대되면, 촉각 재현에 관한 처리 부담의 증대화나 전송 지연 등을 초래할 우려가 있어 바람직하지 않다.

본 기술은 상기한 사정을 감안하여 이루어진 것이고, 촉각의 재현성을 담보하면서 촉각 신호의 데이터양 삭감을 도모함으로써, 촉각 재현 시스템의 효율화를 도모하는 것을 목적으로 한다.

본 기술에 관한 복호 장치는, 주파수 대역마다 부호화된 촉각 신호를 복호하는 복호부를 구비하는 것이다.

이에 의해, 촉각 특성상, 인간이 지각하기 어렵다고 여겨지는 촉각 신호에 대한 비트 배분을 적게 하는 효율적인 부호화를 행하는 것이 가능해진다.

상기한 본 기술에 관한 복호 장치에 있어서는, 상기 부호화된 촉각 신호는, 촉각 센서의 검출 신호에 기초하는 촉각 신호인 것이 바람직하다.

이에 의해, 실제로 센싱한 촉각 신호에 기초하여 촉각 재현을 행하는 것이 가능해진다.

상기한 본 기술에 관한 복호 장치에 있어서는, 상기 부호화된 촉각 신호는, 수용기의 특성에 따른 상기 주파수 대역마다 부호화된 촉각 신호인 것이 바람직하다.

이에 의해, 수용기마다의 특성의 차의 관점에서, 인간이 지각하기 어렵다고 여겨지는 촉각 신호에 대한 비트 배분을 적게 하는 효율적인 부호화를 행하는 것이 가능해진다.

상기한 본 기술에 관한 복호 장치에 있어서는, 상기 부호화된 촉각 신호는, 대역 분할 후의 시간 영역에 있어서 상기 주파수 대역마다 부호화된 촉각 신호인 것이 바람직하다.

이에 의해, 인간이 지각하기 어렵다고 여겨지는 촉각 신호에 대한 비트 배분을 적게 하는 효율적인 부호화를 실현하는 데 있어서, 촉각 신호에 대한 직교 변환을 행할 필요가 없어진다.

상기한 본 기술에 관한 복호 장치에 있어서는, 상기 부호화된 촉각 신호는, 적어도 일부의 상기 주파수 대역 사이에서 양자화 비트수, 샘플링 주파수의 적어도 어느 것이 다른 것이 바람직하다.

이에 의해, 적어도 하나의 주파수 대역의 촉각 신호에 대하여, 양자화 비트수를 적게 또는 샘플링 주파수를 낮게 하는 것이 가능해져, 촉각 신호의 데이터양 삭감이 도모된다.

상기한 본 기술에 관한 복호 장치에 있어서는, 상기 부호화된 촉각 신호는, 직교 변환 후의 주파수 영역에 있어서 상기 주파수 대역마다 부호화된 촉각 신호인 것이 바람직하다.

이에 의해, 주파수에 따른 비트 삭감의 자유도가 향상되어, 더 효율적인 부호화를 행하는 것이 가능해진다.

상기한 본 기술에 관한 복호 장치에 있어서는, 상기 부호화된 촉각 신호는, 소정의 진폭 역치 미만의 촉각 신호 성분을 양자화 및 부호화의 대상으로부터 제외하고 부호화된 촉각 신호를 취득하는 것이 바람직하다.

이에 의해, 신호 진폭값의 면에서 인간이 지각하기 어렵다고 여겨지는 촉각 신호 성분을 양자화의 대상으로부터 제외하는 부호화를 행하는 것이 가능해진다.

상기한 본 기술에 관한 복호 장치에 있어서는, 상기 부호화된 촉각 신호는, 적어도 일부의 상기 주파수 대역 사이에서 다른 양자화 스텝수에 의해 양자화가 행해져 부호화된 촉각 신호인 것이 바람직하다.

이에 의해, 일부의 주파수 대역에 대해서는 양자화 스텝수를 다른 주파수 대역보다도 삭감하는 것이 가능해진다.

상기한 본 기술에 관한 복호 장치에 있어서는, 상기 부호화된 촉각 신호는, 엔트로피 부호화된 촉각 신호인 것이 바람직하다.

이에 의해, 출현 빈도가 높은 심볼에 대하여 부호량의 삭감을 도모하는 것에 의한 효율적인 부호화를 행하는 것이 가능해진다.

상기한 본 기술에 관한 복호 장치에 있어서는, 상기 복호부는, 복호된 상기 주파수 대역마다의 촉각 신호를 개별로 출력하는 것이 바람직하다.

이에 의해, 수용기마다 다른 촉각 제시 장치를 사용하여 촉각 재현을 행하는 것이 가능해진다.

상기한 본 기술에 관한 복호 장치에 있어서는, 상기 부호화된 촉각 신호는, 복수의 촉각 센서의 검출 신호가 각각 대응하는 주파수 대역을 대상으로 하여 부호화됨으로써 얻어지는 복수의 촉각 신호인 것이 바람직하다.

이에 의해, 수용기마다 다른 촉각 센서를 사용하여 촉각 재현을 행하는 것이 가능해진다.

또한, 본 기술에 관한 복호 방법은, 주파수 대역마다 부호화된 촉각 신호를 복호하는 복호 방법이다.

이러한 복호 방법에 의해서도, 상기한 본 기술에 관한 복호 장치와 동일한 작용이 얻어진다.

또한, 본 기술에 관한 프로그램은, 주파수 대역마다 부호화된 촉각 신호를 복호하는 기능을 정보 처리 장치에 실현시키는 프로그램이다.

이러한 본 기술에 관한 프로그램에 의해, 상기한 본 기술에 관한 복호 장치가 실현된다.

본 기술에 의하면, 촉각의 재현성을 담보하면서 촉각 신호의 데이터양 삭감을 도모할 수 있고, 촉각 재현 시스템의 효율화를 도모할 수 있다.

또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어느 효과여도 된다.

도 1은 본 기술에 관한 제1 실시 형태로서의 복호 장치를 포함하여 구성되는 촉각 재현 시스템의 구성예를 나타낸 도면이다.
도 2는 제1 실시 형태로서의 부호화 장치의 내부 구성예를 설명하기 위한 도면이다.
도 3은 제1 실시 형태로서의 복호 장치의 내부 구성예를 설명하기 위한 도면이다.
도 4는 진동 검출 역치 곡선의 설명도이다.
도 5는 수용기마다의 신경 발화 분포의 예를 나타낸 도면이다.
도 6은 수용기마다의 진동 검출 역치 곡선에 대한 설명도이다.
도 7은 촉각 신호의 디지털화에서 대상으로 하는 진폭 범위와 주파수 범위를 예시한 도면이다.
도 8은 제1 실시 형태에 있어서의 제1 예로서의 부호화 방법의 설명도이다.
도 9는 제1 예로서의 부호화 방법을 실현하기 위한 부호화부의 구체적인 구성예를 나타낸 도면이다.
도 10은 촉각 신호의 다중화의 예를 설명하기 위한 도면이다.
도 11은 실시 형태로서의 복호 장치가 갖는 기능을 설명하기 위한 기능 블록도이다.
도 12는 제1 예로서의 복호 방법을 실현하기 위한 복호부의 구체적인 구성예를 나타낸 도면이다.
도 13은 제2 예로서의 부호화 방법의 설명도이다.
도 14는 제2 예에 있어서의 부호화부의 구체적인 구성예를 나타낸 도면이다.
도 15는 제2 예에 있어서의 복호부의 구체적인 구성예를 나타낸 도면이다.
도 16은 제3 예로서의 촉각 재현 시스템의 구성예를 나타낸 도면이다.
도 17은 진동 디바이스의 주파수 특성을 예시한 도면이다.
도 18은 제3 예로서의 복호 장치가 구비하는 복호부의 구체적인 구성예를 나타낸 도면이다.
도 19는 제3 예로서의 복호 장치의 내부 구성예를 설명하기 위한 도면이다.
도 20은 제3 예의 이점에 대하여 설명하기 위한 도면이다.
도 21은 수용기마다 마련하는 촉각 제시 장치의 사이즈나 실장 방법에 대하여 설명하기 위한 도면이다.
도 22는 제4 예로서의 촉각 재현 시스템의 구성예를 나타낸 도면이다.
도 23은 제4 예로서의 부호화 장치의 내부 구성예를 설명하기 위한 도면이다.
도 24는 제4 예로서의 부호화 장치가 구비하는 부호화부의 구체적인 구성예를 나타낸 도면이다.
도 25는 대역 분할의 변형예에 대한 설명도이다.
도 26은 제2 실시 형태로서의 부호화 방법의 설명도이다.
도 27은 제2 실시 형태로서의 부호화 방법을 실현하기 위한 부호화부의 구체적인 구성예를 나타낸 도면이다.
도 28은 제2 실시 형태로서의 복호부의 구체적인 구성예를 나타낸 도면이다.
도 29는 제2 실시 형태로서의 복호부의 다른 구성예를 나타낸 도면이다.

이하, 첨부 도면을 참조하여, 본 기술에 관한 실시 형태를 다음의 순서로 설명한다.

<1. 제1 실시 형태>

[1-1. 촉각 재현 시스템의 개요]

[1-2. 부호화 장치의 구성]

[1-3. 재생 장치의 구성]

[1-4. 제1 예]

(부호화 방법)

(부호화측의 구성)

(복호 방법)

(복호측의 구성)

[1-5. 제2 예]

[1-6. 제3 예]

[1-7. 제4 예]

<2. 제2 실시 형태>

[2-1. 부호화 방법]

[2-2. 부호화측의 구성]

[2-3. 복호측의 구성]

<3. 실시 형태의 변형예>

<4. 실시 형태의 정리>

<5. 본 기술>

여기서, 본 명세서에 있어서는 이하와 같이 각 용어를 정의한다.

촉각 자극: 예를 들어, 진동 현상 등, 촉각을 사람에게 지각시키기 위한 물리적 현상.

촉각 제시: 촉각 자극을 발생시키는 것.

촉각 신호: 예를 들어, 진동 파형을 나타내는 신호 등, 촉각 자극의 패턴을 나타내는 신호. 좁은 의미로는 아날로그 신호 또는 디지털 신호라고 하지만, 넓은 의미로는 인간의 촉각에 의해 지각되는 정보(진동과 같이 특정한 주파수 대역이나 진폭 범위에서만 지각 가능하게 되어 있는 정보도 포함함) 그 자체를 가리키는 것으로 한다.

수촉자: 촉각 제시를 받는 사람.

촉각 특성: 인간의 촉각에 관한 특성. 부위(손, 얼굴, 발 등)나 수용기에 따라 다르다.

촉각 감도: 촉각 자극을 주관적으로 어느 정도의 강도라고 파악할지의 감도. 인체에 있어서의 수용기나 부위에 따라 다르다.

<1. 제1 실시 형태>

[1-1. 촉각 재현 시스템의 개요]

도 1은, 본 기술에 관한 제1 실시 형태로서의 복호 장치(재생 장치(3))를 포함하여 구성되는 촉각 재현 시스템(1)의 구성예를 나타내고 있다.

촉각 재현 시스템(1)은, 촉각 센서(5)가 접속된 부호화 장치(2)와, 부호화 장치(2)와의 사이에서 소정의 네트워크(4)를 통해 통신 가능하게 구성된 재생 장치(3)와, 재생 장치(3)와 접속된 촉각 제시 장치(6)를 구비하고 있다.

여기서, 촉각은 인체의 전신에 분포하기 때문에, 인체의 복수 부위에 촉각 제시 장치(6)를 장착하여 촉각의 재현을 행하는 것이 고려되지만, 여기서는 설명의 간단화를 위해, 예를 들어 물체의 진동을 손끝 등의 인체에 있어서의 단일 부위에서 만졌을 때에 얻어지는 촉각 신호를 재현하는 예로 하고, 촉각 재현 시스템(1)으로서는, 도시한 바와 같이 촉각 센서(5), 촉각 제시 장치(6)가 각각 단수 마련된 구성이라고 한다.

촉각 센서(5)는, 촉각 신호의 센싱을 행하는 센서이고, 본 예에서는, 피에조 픽업이나 가속도 센서 등의 진동 센서가 사용된다. 촉각 센서는, 센싱의 대상물에 접촉시킴으로써, 진동이나 운동을 전압 변화로서 출력한다.

본 예에 있어서, 촉각 센서(5)는 부호화 장치(2)에 대하여 유선 접속되어 있다.

부호화 장치(2)는, 예를 들어 CPU(Central Processing Unit)나 DSP(Digital Signal Processor) 등의 컴퓨터 장치를 구비하여 구성되고, 촉각 센서(5)에 의한 검출 신호(촉각 신호)에 대하여 소정의 데이터 포맷에 따른 부호화를 행하고, 부호화된 촉각 신호를, 예를 들어 인터넷 등의 소정의 네트워크(4)를 통해 재생 장치(3)로 송신한다.

재생 장치(3)는, CPU나 DSP 등의 컴퓨터 장치를 구비하여 구성되고, 네트워크(4)를 통해 수신한, 부호화된 촉각 신호를 복호(재생)하고, 복호 후의 촉각 신호에 기초하여 촉각 제시 장치(6)를 구동한다.

촉각 제시 장치(6)는, 촉각 자극을 발생시키는 디바이스로 되고, 본 예에서는 바이브레이터나 액추에이터 등의 진동 디바이스가 사용된다.

촉각 제시 장치(6)는, 수촉자에게 장착되어(본 예에서는 손끝), 촉각 센서(5)에서 센싱된 촉각 신호를 재현하게 된다.

본 예의 촉각 재현 시스템(1)은, 촉각 신호를 센싱하는 환경과 재현하는 환경이 원격으로 된 경우에도 대응 가능한 시스템으로서 구성되어 있다. 도 1에 나타내는 촉각 재현 시스템(1)의 구성에 의하면, 촉각 센서(5)의 센싱에 의해 얻어진 촉각 신호를 네트워크(4) 경유로 재생 장치(3)측으로 송신함으로써, 촉각의 재현을 대략 실시간으로 행하는 것이 가능해진다.

[1-2. 부호화 장치의 구성]

도 2는, 부호화 장치(2)의 내부 구성예를 설명하기 위한 도면이다. 또한 도 2에서는 부호화 장치(2)의 내부 구성예와 함께 도 1에 나타낸 촉각 센서(5)를 함께 나타내고 있다.

도시와 같이 부호화 장치(2)는, 증폭기(21), A/D 컨버터(22), 전처리부(23), 부호화부(24), 제어부(25), 기억부(26), 통신부(27) 및 버스(28)를 구비하고 있다.

도시와 같이 전처리부(23), 부호화부(24), 제어부(25), 기억부(26) 및 통신부(27)는 버스(28)를 통해 접속되어, 서로 데이터 통신 가능하게 되어 있다.

촉각 센서(5)의 검출 신호(촉각 자극의 패턴을 나타내는 촉각 신호의 일 형태이다)는, 증폭기(21)에 입력되어 적절한 다이내믹 레인지로 조정된 후, A/D 컨버터(22)에 입력되어 A/D 변환(아날로그/디지털 변환)된 후, 전처리부(23)에 입력된다. 전처리부(23)에 있어서는, 노이즈 제거나 촉각 센서(5)의 센서 특성의 교정 등의 각종 디지털 신호 처리가 행해진다.

전처리부(23)에 의한 신호 처리가 실시된 촉각 신호는, 부호화부(24)에 입력된다.

부호화부(24)는, 예를 들어 DSP로 구성되어, 입력된 촉각 신호를 소정의 데이터 포맷에 따라 부호화한다. 또한, 촉각 신호의 부호화의 구체적 방법에 대해서는 나중에 다시 설명한다.

제어부(25)는, 예를 들어 CPU, ROM(Read Only Memory), RAM(Random Access Memory) 등을 갖는 마이크로컴퓨터를 구비하여 구성되고, ROM에 기억된 프로그램에 따른 처리를 실행함으로써 부호화 장치(2)의 전체 제어를 행한다.

예를 들어, 제어부(25)는, 통신부(27)를 통해 외부 장치와의 사이에서의 데이터 통신을 행한다.

통신부(27)는, 네트워크(4)를 통한 외부 장치와의 사이에서의 데이터 통신을 행하는 것이 가능하게 구성되어 있고, 제어부(25)는, 해당 통신부(27)를 통해, 네트워크(4)에 접속된 외부 장치(특히 본 예에서는 재생 장치(3))와의 사이에서 데이터 통신을 행하는 것이 가능하게 되어 있다. 특히, 부호화부(24)에 의해 부호화된 촉각 신호를 통신부(27)를 통해 재생 장치(3)로 송신시키는 것이 가능해진다.

기억부(26)는, 예를 들어 HDD(Hard Disk Drive)나 SSD(Solid State Drive) 등의 기억 디바이스를 포괄적으로 나타낸 것이고, 부호화 장치(2)에 있어서 각종 데이터 기억에 사용된다. 예를 들어 기억부(26)에는, 제어부(25)에 의한 제어에 필요한 데이터가 기억된다. 또한, 제어부(25)의 제어에 기초하여, 기억부(26)에 부호화된 촉각 신호를 기억시킬 수도 있다.

[1-3. 재생 장치의 구성]

도 3은, 재생 장치(3)의 내부 구성예를 설명하기 위한 도면이고, 재생 장치(3)의 내부 구성예와 함께 도 1에 나타낸 촉각 제시 장치(6)를 함께 나타내고 있다.

재생 장치(3)는, 증폭기(31), D/A 컨버터(32), 후처리부(33), 복호부(34), 제어부(35), 기억부(36), 통신부(37) 및 버스(38)를 구비하고 있다.

후처리부(33), 복호부(34), 제어부(35), 기억부(36) 및 통신부(37)는 버스(38)를 통해 접속되어, 서로 데이터 통신 가능하게 되어 있다.

제어부(35)는, 예를 들어 CPU, ROM, RAM 등을 갖는 마이크로컴퓨터를 구비하여 구성되고, ROM에 기억된 프로그램에 따른 처리를 실행함으로써 재생 장치(3)의 전체 제어를 행한다.

예를 들어, 제어부(35)는, 통신부(37)를 통해 외부 장치와의 사이에서의 데이터 통신을 행한다.

통신부(37)는, 네트워크(4)를 통한 외부 장치와의 사이에서의 데이터 통신을 행하는 것이 가능하게 구성되어 있고, 제어부(35)는, 통신부(37)를 통해 네트워크(4)에 접속된 외부 장치(특히 본 예에서는 부호화 장치(2))와의 사이에서 데이터 통신을 행하는 것이 가능하게 되어 있다.

제어부(35)는, 통신부(37)가 부호화 장치(2)로부터 수신한 촉각 신호(부호화된 촉각 신호)를 복호부(34)에 입력시킨다.

기억부(36)는, 예를 들어 HDD나 SSD 등의 기억 디바이스를 포괄적으로 나타낸 것이고, 재생 장치(3)에 있어서 각종 데이터 기억에 사용된다. 예를 들어 기억부(36)에는, 제어부(35)에 의한 제어에 필요한 데이터가 기억된다.

복호부(34)는, 부호화된 촉각 신호를 소정의 데이터 포맷에 따라 복호한다. 복호된 촉각 신호는 후처리부(33)에 입력된다.

후처리부(33)는, 입력된 촉각 신호에 대하여, 필요에 따라 촉각 제시 장치(6)의 교정이나 소정의 필터 처리 등의 신호 처리를 실시한다.

후처리부(33)를 거친 촉각 신호는, D/A 컨버터(32)에 입력되어 D/A 변환(디지털/아날로그 변환)된 후, 증폭기(31)에서 적절한 다이내믹 레인지로 조정되어, 촉각 제시 장치(6)에 출력된다.

이에 의해, 촉각 제시 장치(6)가 촉각 신호에 기초하여 구동되고, 검출 환경에 있어서 센싱의 대상으로 한 촉각 자극을 수촉자에 대하여 부여할 수 있다(즉, 촉각 신호를 재현할 수 있다).

또한, 상기에서는 촉각 신호에 관해서만 언급했지만, 촉각 신호와 함께 음성 신호나 영상 신호를 재생 장치(3)측으로 송신하여 수촉자에게 소리나 영상을 제공할 수도 있다.

[1-4. 제1 예]

(부호화 방법)

이하, 제1 실시 형태에 있어서의 제1 예로서의 촉각 재현 방법에 대하여 설명한다.

우선, 제1, 제2 실시 형태를 막론하고, 실시 형태로서의 촉각 재현 방법은, 인간의 촉각 특성에 착안한 방법으로 된다.

인간의 촉각 감도의 기준으로서, 도 4에 나타내는 진동 검출 역치 곡선이 보고되어 있다. 또한 도 4에 있어서, 횡축은 주파수, 종축은 촉각 자극(진동: 여기서는 변위)의 크기를 나타낸다.

도 4에 나타내는 진동 검출 역치 곡선은, 인간이 그 진동을 촉각으로서 느끼는지 느끼지 않는지, 즉 촉각 감도를 실험에 의해 조사한 일례이다. 인간은, 이 곡선보다 작은 진동은 촉각으로서 지각할 수 없다.

여기서, 인간의 피부 아래에는 촉각을 지각하기 위한 수용기가 복수 존재하는 것이 일반적으로 알려져 있다. 대표적인 수용기로서, 마이스너, 메르켈, 루피니 및 파치니가 알려져 있다.

마이스너, 파치니는 각각 「FA 1」, 「FA 2」라고도 불리고, FA는 「Fast Adapting」의 약칭이다. 메르켈, 루피니는 각각 「SA 1」, 「SA 2」라고도 불리고, SA는 「Slow Adapting」의 약칭이다.

도 5는, 물체를 피부에 점차 압박하여, 잠시 유지한 후에 물체를 이격했을 때의 수용기마다의 신경 발화 분포를 나타내고 있다.

메르켈(SA 1)은 물체를 압박하고 있는 동안은 계속해서 신경 발화를 하고 있고, 강도(변위, 압력) 검출을 하고 있다고 여겨진다. 마이스너(FA 1)는 물체의 압입량이 일정해질 때까지의 구간, 즉 속도 검출을 하고 있다고 여겨진다. 파치니(FA 2)는 압입량이 변화되는 구간, 즉 가속도 검출을 담당하고 있다고 여겨진다.

도 6에, 수용기마다의 진동 검출 역치 곡선을 나타낸다. 도 4에 나타낸 곡선은 단독의 수용기의 특성을 나타내고 있는 것은 아니고, 도 6에 나타낸 바와 같이 복수의 수용기에 의해 얻어지는 촉각을 합성한 특성을 나타낸 것이다.

도 4나 도 6에 나타내는 진동 검출 역치 곡선으로부터는, 인간이 1㎑ 정도까지의 진동을 촉각 자극으로서 느낄 수 있는 것이 나타나고 있다. 또한, 이들 도면에서는 1㎑ 이상의 값이 기재되어 있지 않지만, 감도는 높지 않기는 하지만 실제로는 수㎑ 정도의 주파수의 진동에서도 인간은 촉각 자극으로서 지각할 수 있는 것이 알려져 있다.

종래에 있어서의 촉각 재현의 애플리케이션에 있어서는, 대부분의 경우, 높아도 200㎐ 정도까지의 진동을 타깃으로 하고 있다. 이것은, 인간의 촉각 감도가 가장 높은 것이 200㎐ 정도인 것에 기인하고 있다.

그러나, 상기한 바와 같이 인간은 1㎑까지의 진동을 촉각 자극으로서 느껴지는 것은 과거의 다양한 실험에서 명확하게 되어 있고, 종래의 애플리케이션에서는 높은 현실감을 갖는 촉각을 재현하는 것은 곤란하다고 할 수밖에 없다.

예를 들어, 병의 코르크 마개를 뺐을 때의 진동은, 현실에서는 수 ㎑라는 높은 주파수를 포함하고 있다. 이것을 수백 ㎐까지밖에 재현하지 않으면, 현실과는 전혀 다른 촉각밖에 얻어지지 않는다.

그래서, 본 실시 형태에서는, 촉각 신호와 촉각 제시 장치(6)의 특성을 1㎑ 정도까지 광대역화함으로써, 더 현실감을 높이는 것으로 한다.

구체적으로 본 실시 형태에서는, 현실에 발생한 진동 등의 촉각 자극을 센싱하여 촉각 신호를 얻고, 해당 촉각 신호에 의해 촉각 제시를 행한다는 방법을 채용한다.

근년에는 모든 정보가 디지털화되어 이용되지만, 촉각 신호에 대해서도 마찬가지로 디지털화하여 취급하는 것을 생각한다.

디지털화된 데이터양은, 단위 시간당에 필요한 비트수, 즉 비트 레이트로 생각할 수 있다. 예를 들어, 도 4에 나타낸 진동 검출 역치 곡선에 있어서 인간이 느낄 수 있는 영역은, 적어도, 종축(진동)이 50㏈(－20㏈ 내지 30㏈) 이상, 횡축이 1000㎐ 정도이다. 본 예에서는, 실제로 인간이 느끼는 촉각 신호의 분포를 고려하여, 역치 곡선으로부터 ＋20㏈의 범위의 신호를 센싱하기로 한다.

구체적으로는, 도 7에 나타낸 바와 같이, 진동의 범위가 70㏈(－20㏈ 내지 50㏈)이라고 한다.

이 신호를 LPCM(Linear Pulse Code Modulation)에 의해 디지털화하는 경우, 1비트로 표현할 수 있는 것은 6㏈이기 때문에 종축에 대해서는 12bit, 1000㎐까지를 재현하기 위해서는 2배의 샘플링 주파수인 2000㎐(sample/sec)가 필요해지기 때문에, 필요한 비트 레이트 B0은 이하의 [식1]로 구해진다.

이 값 자체는, 예를 들어 음성 신호의 대표적 포맷인 CD(Compact Disc)의 비트 레이트＝1411kbit/sec에 비하면 매우 작기 때문에, 이 촉각 신호를 어떤 시스템에 부가적으로 내장했다고 해도 큰 문제가 될 가능성은 적은 것처럼 보인다.

그러나, 앞서 나타낸 바와 같이 인간이 느낄 수 있는 촉각 신호의 대역은 수 ㎑까지 도달하는 것을 알고 있다. 예를 들어, 촉각 신호를 2000㎐까지 재현하는 경우, 비트 레이트는 [식1]에 비해 2배인 48kbit/sec로 된다.

또한, 촉각은 시각(2개의 눈)과 청각(2개의 귀)과 달리 인체 표면의 모든 장소에 존재하고 있다. 양손의 손끝만을 생각해도 10개소 있고, 이들 모든 촉각 신호를 취급하려고 하면, 비트 레이트는 또한 10배인 480kbit/sec로 된다. 손가락의 관절마다, 손바닥과 장소를 증가시켜 가면 비트 레이트는 비약적으로 증대되어 버린다.

또한, 촉각 신호는 기본적으로 일차원 신호이지만, 진동이라는 물리 현상은 3축(x, y, z)으로 파악할 수 있다. 이것을 모두 취급하려고 하면, 또한 3배인 1440kbit/sec라고 하는 비트 레이트가 필요해지지만, 이 값은 오디오 CD의 1411kbit/sec에 필적하는 큰 것으로 된다.

이와 같이, 하나의 촉각 신호에 대한 비트 레이트는 그만큼 크지는 않지만, 인간이 감지할 수 있는 촉각을 생각하면 방대한 양이 되어, 촉각 신호를 취급하는 시스템에 큰 부하를 주는 것은 확실하다.

그래서, 본 실시 형태에서는, 인간의 촉각 특성을 고려한 부호화를 행함으로써, 촉각 신호의 비트 레이트 삭감을 도모한다.

구체적으로, 제1 예에서는, 도 4나 도 7에 나타낸 진동 검출 역치 곡선에 있어서, 진동 검출 역치가 고역측에서 크게 저하되는 특성에 착안하여, 촉각 신호를 2개의 주파수 대역으로 나누어 부호화한다는 방법을 들 수 있다.

도 8은, 제1 예로서의 부호화 방법의 설명도이다.

본 예에서는, LPCM 신호로서의 촉각 신호를, 50㎐를 경계로 2개의 주파수 대역으로 분할하고, 도시와 같이 저역측의 대역(예를 들어, 50㎐ 미만의 대역)에 대해서는 양자화 비트수＝7bit(40㏈) 또한 샘플링 주파수＝100㎐로 하고, 고역측의 대역(예를 들어, 50㎐ 이상 또한 1㎑ 이하의 대역)에 대해서는 양자화 비트수＝8bit(48㏈) 또한 샘플링 주파수＝100㎐로 하는 부호화를 행한다.

이 경우, 저역측의 대역에 관한 촉각 신호의 비트 레이트 BL1, 고역측의 대역에 관한 촉각 신호의 비트 레이트 BH1은 하기 [식2] [식3]에 의해 표현된다.

BL1＋BH1에서 구해지는 총 비트 레이트는 16.7kbps로 되고, 대역 분할을 하지 않는 경우의 비트 레이트 B0에 비하면 약 30％나 되는 저감이 실현된다.

(부호화측의 구성)

도 9는, 상기한 제1 예로서의 부호화 방법을 실현하기 위한 부호화부(24)의 구체적인 구성예를 나타낸 도면이다.

또한, 여기서는, 부호화부(24)에 대해서는 양자화 비트수＝12bit, 샘플링 주파수＝2000㎐에 의한 촉각 신호가 입력되는 것으로 한다.

도시와 같이 부호화부(24)는, 대역 분할 필터(41), 다운 샘플러(42), 비트 마스크부(43-1), 비트 마스크부(43-2) 및 다중화부(44)를 구비하고 있다.

대역 분할 필터(41)는, 전처리부(23)로부터 촉각 신호(양자화 비트수＝12bit, 샘플링 주파수＝2000㎐)를 입력하고, 해당 촉각 신호에 대하여 주파수 대역의 분할 처리를 행하여, 상술한 저역측의 대역의 성분(이하 「저역 성분」이라고 표기)과, 고역측의 대역의 성분(이하 「고역 성분」이라고 표기)을 추출한다.

대역 분할 필터(41)로 얻어진 촉각 신호의 저역 성분은, 다운 샘플러(42)에 입력되어 다운 샘플링 처리가 실시된다. 구체적으로는, 샘플링 주파수＝100㎐에 의한 다운 샘플링 처리가 행해진다.

그리고, 다운 샘플러(42)에 의해 다운 샘플링된 촉각 신호의 저역 성분은 비트 마스크부(43-1)에 의한 상위 비트 취출에 의해, 양자화 비트수가 12bit로부터 7bit로 감소되어, 다중화부(44)에 입력된다.

또한, 대역 분할 필터(41)로 얻어진 촉각 신호의 고역 성분은, 비트 마스크부(43-2)에 의한 하위 비트 취출에 의해, 양자화 비트수가 12bit로부터 8bit로 감소되어, 다중화부(44)에 입력된다.

다중화부(44)는, 비트 마스크부(43-1)로부터 입력한 저역 성분 및 비트 마스크부(43-2)로부터 입력한 고역 성분을 다중화하여 후술하는 스트림 데이터를 생성한다.

도 10은, 다중화부(44)에 의한 촉각 신호의 다중화의 예를 설명하기 위한 도면이다.

본 예의 다중화부(44)에서는, 촉각 신호의 저역 성분, 고역 성분을 각각 개별의 프레임이라고 불리는 단위의 데이터로서 취급한다. 프레임은, 도시와 같이 프레임 헤더로서의 영역과 촉각 신호의 실제 데이터를 저장하는 영역을 갖는다. 프레임 헤더에는, 프레임에 대한 헤더 정보로서, 적어도 저역 성분과 고역 성분의 어느 프레임인지를 식별 가능하게 하는 정보를 저장한다.

또한, 다중화부(44)는, 저역 성분의 프레임과 고역 성분의 프레임을 포함하는, 스트림이라고 불리는 단위의 데이터를 생성한다. 스트림에는, 스트림 헤더로서의 영역과 저역 성분 및 고역 성분의 각 프레임을 저장하는 영역이 마련된다. 스트림 헤더에는, 헤더 정보로서, 디지털화된 촉각 신호(촉각 데이터)의 사양을 나타내는 정보(양자화 비트수나 샘플링 주파수, 스트림의 종류나 데이터 사이즈 등)나, 스트림 내에 포함되는 프레임수의 정보 등을 저장한다.

본 예에서는, 상기와 같은 다중화에 의해 얻어지는 각 시간의 스트림이 시간축 위에 배열된 양태에 의한 스트림 데이터가, 촉각 신호(촉각 데이터)의 기록이나 전송에 사용된다.

재생 장치(3)측에서는, 부호화 장치(2)측으로부터 입력된 상기한 스트림 데이터에 기초하여 촉각 신호의 복호가 행해진다.

또한, 상기에서는, 부호화부(24)에 대하여 양자화 비트수＝12bit, 샘플링 주파수＝2000㎐에 의한 촉각 신호가 입력되는 경우, 즉, A/D 컨버터(22)로서 양자화 비트수＝12bit, 샘플링 주파수＝2000㎐에 의한 A/D 컨버터를 사용하는 전제로 했지만, 예를 들어 오디오 분야 등에서 사용되는 것과 같은 일반적인 양자화 비트수(예를 들어, 16bit 등), 샘플링 주파수(예를 들어, 48k㎐ 등)에 의한 A/D 컨버터(22)를 사용하는 경우에는, 고역측의 촉각 신호에 대해서도 다운 샘플러 등의 샘플링 주파수 변환부를 마련하거나, 또는 대역 분할 필터(41)의 전단에 다운 샘플러 등의 샘플링 주파수 변환부를 마련하도록 한다.

(복호 방법)

도 11은, 재생 장치(3)가 갖는 복호에 관한 기능을 설명하기 위한 기능 블록도이다.

도시와 같이 재생 장치(3)는, 취득 처리부(F1)와 복호 처리부(F2)로서의 기능을 갖고 있다.

취득 처리부(F1)는, 주파수 대역마다 부호화된 촉각 신호를 취득한다. 구체적으로 본 예에서는, 촉각 신호의 저역 성분과 고역 성분을 취득한다. 이 취득 처리부(F1)로서의 기능은, 본 예에서는 도 3에 나타낸 통신부(37)에 의해 실현된다.

복호 처리부(F2)는, 취득 처리부(F1)가 취득한 촉각 신호를 복호한다. 구체적으로 본 예에서는, 취득 처리부(F1)가 취득한 저역 성분과 고역 성분에 대하여 복호를 행한다. 이 경우의 복호는, 촉각 신호의 데이터 포맷을 원래의 데이터 포맷으로 변환하는 처리로서 행해진다. 구체적으로는, 저역 성분(양자화 비트수＝7bit, 샘플링 주파수＝100㎐), 고역 성분(양자화 비트수＝8bit, 샘플링 주파수＝2000㎐)을 각각 원래의 포맷인 양자화 비트수＝12bit, 샘플링 주파수＝2000㎐로 변환하는 처리로서 행해진다.

이 복호 처리부(F2)로서의 기능은, 본 예에서는 복호부(34)에 의해 실현된다.

(복호측의 구성)

도 12는, 제1 예로서의 복호 방법을 실현하기 위한 복호부(34)의 구체적인 구성예를 나타낸 도면이다.

도시와 같이 복호부(34)는, 다중 분리부(51), 비트 부가부(52-1), 비트 부가부(52-2), 업 샘플러(53) 및 대역 합성 필터(54)를 구비하고 있다.

다중 분리부(51)는, 통신부(37)에 의해 취득된 스트림 데이터(도 10 참조)를 입력하고, 해당 스트림 데이터로부터 촉각 신호의 저역 성분과 고역 성분을 분리하여 추출한다.

도시와 같이, 추출된 저역 성분은, 비트 부가부(52-1)에 의한 하위 비트 부가에 의해 양자화 비트수가 12bit로 변환된 후, 업 샘플러(53)에 있어서 샘플링 주파수＝2000㎐에 의한 업 샘플링 처리가 실시되어, 대역 합성 필터(54)에 입력된다.

또한, 다중 분리부(51)에서 추출된 고역 성분은, 비트 부가부(52-2)에 의한 상위 비트 부가에 의해 양자화 비트수가 12bit로 변환된 후, 대역 합성 필터(54)에 입력된다.

대역 합성 필터(54)는, 업 샘플러(53)로부터 입력된 저역 성분과 비트 부가부(52-2)로부터 입력된 고역 성분을 합성하여 도 3에 나타낸 후처리부(33)에 출력한다.

또한, 도 12에서는, 도 3에 나타낸 D/A 컨버터(32)로서 양자화 비트수＝12bit, 샘플링 주파수＝2000㎐에 대응한 D/A 컨버터가 사용되는 경우를 전제로 한 구성을 예시했지만, 예를 들어 오디오 분야 등에서 사용되는 일반적인 양자화 비트수(예를 들어, 16bit 등), 샘플링 주파수(예를 들어, 48㎑ 등)에 대응한 D/A 컨버터(32)를 사용할 수도 있고, 그 경우에는, 고역 성분측에도 업 샘플러 등의 샘플링 주파수 변환부를 마련하거나, 또는 대역 합성 필터(54)의 후단에 업 샘플러 등의 샘플링 주파수 변환부를 마련하도록 한다.

여기서, 상기에서는, 저역 성분과 고역 성분의 경계 주파수를 50㎐로 한 예를 들었지만, 해당 경계 주파수는 50㎐로 한정되는 것은 아니고, 도 4나 도 7에 나타낸 진동 검출 역치 곡선을 기초로, 촉각 신호의 총 비트 레이트가 삭감되도록 정해지면 된다.

또한, 상기에서는, 부호화의 대상으로 하는 주파수 대역을 2개로 하는 예를 들었지만, 3개 이상의 주파수 대역으로 분할하는 것도 가능하다. 예를 들어, 도 4나 도 7에 있어서, 저역측으로부터 보아 진동 검출 역치가 대략 일정하게 유지되는 3㎐ 미만의 대역을 제1 대역, 3㎐ 이후, 진동 검출 역치 곡선의 경사가 비교적 완만하다고 여겨지는 3㎐ 이상 50㎐ 미만의 대역을 제2 대역, 50㎐ 이상의 대역을 제3 대역으로서 분할하고, 이들 제1, 제2, 제3 대역마다 부호화를 행하는 것 등을 고려할 수 있다.

[1-5. 제2 예]

계속해서, 제1 실시 형태의 제2 예에 대하여 설명한다.

제2 예는, 부호화의 대상으로 하는 주파수 대역을 수용기의 특성에 따라 분할한 대역으로 하는 것이다.

도 6에 나타낸 바와 같이, 메르켈, 마이스너, 파치니의 각 수용기는, 각각 양호한 반응을 나타내는 주파수 대역이 상이하고, 대략, 메르켈은 저역에, 마이스너는 중역에, 파치니는 고역에 양호한 반응을 나타낸다고 할 수 있다.

이 점을 감안하여, 제2 예에 있어서는, 부호화의 대상으로 하는 주파수 대역을 도 13에 나타낸 바와 같이 분할한다.

수용기의 특성은 명확하게 분할된 대역만큼 반응하는 것은 아니지만, 여기서는 일례로서, 저역을 메르켈의 특성에 맞추어 3㎐ 미만이라고 하고, 중역을 마이스너의 특성에 맞추어 3㎐ 이상 40㎐ 미만이라고 하고, 고역을 파치니의 특성에 맞추어 40㎐ 이상 1000㎐ 이하라고 정의하고, 부호화의 대상으로 하는 주파수 대역을 이들 저역, 중역, 고역의 3개의 주파수 대역으로 한다.

도시와 같이, 메르켈에 대응한 저역의 성분(이하 「메르켈 성분」이라고 표기)에 대해서는, 촉각 신호의 양자화 비트수＝4bit(20㏈), 샘플링 주파수＝6㎐라고 하고, 마이스너에 대응한 중역의 성분(이하 「마이스너 성분」이라고 표기)에 대해서는 양자화 비트수＝5bit(30㏈), 샘플링 주파수＝80㎐라고 한다. 또한, 파치니에 대응한 고역의 성분(이하 「파치니 성분」이라고 표기)에 대해서는 양자화 비트수＝9bit(50㏈), 샘플링 주파수＝2000㎐라고 한다.

이 경우, 메르켈, 마이스너, 파치니의 각 성분의 비트 레이트 BL2, BM2, BH2는, 각각 하기 [식4] [식5] [식6]과 같이 계산된다.

이 경우에 있어서의 촉각 신호의 총 비트 레이트는 18.424kbps로 되고, 전술한 총 비트 레이트 B0에 비하면 약 23％의 저감이 실현된다.

도 14는, 상기에 의해 설명한 제2 예로서의 부호화 방법을 실현하기 위한 부호화부(24A)의 구체적인 구성예를 나타낸 도면이다.

또한, 이하의 설명에 있어서, 이미 설명 완료가 된 부분과 마찬가지로 되는 부분에 대해서는 동일 부호를 붙여 설명을 생략한다.

제2 예에 있어서, 부호화 장치(2)의 구성은 부호화부(24)를 제외하고 제1 예의 경우와 마찬가지로 되기 때문에 도시에 의한 설명은 생략한다. 제2 예의 부호화 장치(2)에서는, 부호화부(24) 대신에 도 14에 나타내는 부호화부(24A)가 마련된다.

도시와 같이 부호화부(24A)는, 대역 분할 필터(41A), 다운 샘플러(42A-1), 다운 샘플러(42A-2), 비트 마스크부(43A-1), 비트 마스크부(43A-2), 비트 마스크부(43A-3) 및 다중화부(44A)를 구비하고 있다.

대역 분할 필터(41A)는, 전처리부(23)로부터 촉각 신호(양자화 비트수＝12bit, 샘플링 주파수＝2000㎐)를 입력하고, 해당 촉각 신호에 대하여 주파수 대역의 분할 처리를 행하여, 상술한 메르켈 성분, 마이스너 성분 및 파치니 성분을 추출한다.

대역 분할 필터(41A)에서 얻어진 메르켈 성분은 다운 샘플러(42A-1)에 입력되어 샘플링 주파수＝6㎐로 다운 샘플링되고, 마이스너 성분은 다운 샘플러(42A-2)에 입력되어 샘플링 주파수＝80㎐로 다운 샘플링된다.

다운 샘플링된 메르켈 성분은 비트 마스크부(43A-1)에 의한 상위 비트 취출에 의해, 양자화 비트수가 12bit로부터 4bit로 감소되어, 다중화부(44A)에 입력된다. 또한, 다운 샘플링된 마이스너 성분은 비트 마스크부(43A-2)에 의한 중위 비트 취출에 의해, 양자화 비트수가 12bit로부터 5bit로 감소되어, 다중화부(44A)에 입력된다.

또한, 대역 분할 필터(41A)에서 얻어진 파치니 성분은, 비트 마스크부(43A-3)에 의한 하위 비트 취출에 의해, 양자화 비트수가 12bit로부터 9bit로 감소되어, 다중화부(44A)에 입력된다.

다중화부(44A)는, 비트 마스크부(43A-1, 43A-2, 43A-3)로부터 입력된 메르켈 성분, 마이스너 성분 및 파치니 성분을 다중화하여 스트림 데이터를 생성한다. 여기서의 다중화의 방법은 도 10에서 설명한 방법과 마찬가지이고, 구체적으로는, 메르켈, 마이스너, 파치니의 각 성분을 동일 스트림에 다중화한다.

도 15는, 부호화부(24A)에 의해 부호화된 촉각 신호를 복호하기 위한 제2 예로서의 복호부(34A)의 구체적인 구성예를 나타낸 도면이다.

제2 예에 있어서, 재생 장치(3)에는, 복호부(34) 대신에 복호부(34A)가 마련된다.

도시와 같이 복호부(34A)는, 다중 분리부(51A), 비트 부가부(52A-1), 비트 부가부(52A-2), 비트 부가부(52A-3), 업 샘플러(53A-1), 업 샘플러(53A-2) 및 대역 합성 필터(54A)를 구비하고 있다.

다중 분리부(51A)는, 부호화부(24A)에서 얻어진 스트림 데이터를 통신부(37) 경유로 입력하고, 해당 스트림 데이터로부터 촉각 신호의 메르켈 성분, 마이스너 성분 및 파치니 성분을 분리하여 추출한다.

추출된 메르켈 성분, 마이스너 성분, 파치니 성분은, 비트 부가부(52A-1, 52A-2, 52A-3)에 입력되어, 각각 하위 비트 부가, 상하위 비트 부가, 상위 비트 부가에 의해 양자화 비트수가 12bit로 변환된다.

비트 부가된 메르켈 성분, 마이스너 성분은, 업 샘플러(53A-1, 53A-2)에 있어서 각각 샘플링 주파수＝2000㎐에 의한 업 샘플링 처리가 실시되어, 대역 합성 필터(54A)에 입력된다.

또한, 비트 부가된 파치니 성분은, 샘플링 주파수가 2000㎐인채로 유지되어 대역 합성 필터(54A)에 입력된다.

대역 합성 필터(54A)는, 입력된 메르켈 성분, 마이스너 성분 및 파치니 성분을 합성하여 도 3에 나타낸 후처리부(33)에 출력한다.

이에 의해, 촉각 제시 장치(6)는, 메르켈 성분, 마이스너 성분 및 파치니 성분이 합성된 촉각 신호에 기초하여 구동된다.

[1-6. 제3 예]

상기한 제2 예는, 제1 예와 비교하면 비트 레이트는 악화되는 것으로 되지만, 제2 예와 같이 수용기의 특성에 따른 주파수 대역마다 부호화를 행하는 것에 의해서는, 촉각 제시 장치(6)를 수용기마다 마련할 수 있다는 이점이 있다. 바꾸어 말하면, 촉각 제시 장치(6)로서, 평탄성을 나타내는 주파수 대역이 넓은 촉각 제시 장치를 사용할 필요가 없어진다는 이점이 있다.

도 16은, 제3 예로서의 촉각 재현 시스템(1B)의 구성예를 나타낸 도면이다.

여기서는, 제2 예의 부호화를 행하는 경우에 있어서, 촉각 제시 장치(6)를 수용기마다 마련한 예를 설명한다.

도시와 같이 촉각 재현 시스템(1B)는, 촉각 제시 장치(6)로서, 수용기마다의 촉각 제시 장치(6-1), 촉각 제시 장치(6-2) 및 촉각 제시 장치(6-3)를 마련한 점과, 재생 장치(3) 대신에 재생 장치(3B)를 마련한 점이 촉각 재현 시스템(1)의 경우와 다르다.

본 예에 있어서, 촉각 제시 장치(6-1)는 메르켈, 촉각 제시 장치(6-2)는 마이스너, 촉각 제시 장치(6-3)는 파치니에 각각 대응한 촉각 제시 장치(6)로 된다.

여기서, 진동 디바이스인 촉각 제시 장치(6)는, 일반적으로 주파수 특성의 평탄성에 과제를 갖는 것으로 된다. 구체적으로, 도 17은, 촉각 신호의 디지털화에서 대상으로 하는 주파수 대역(본 예에서는 1㎑까지)을 대역 Tfs로 하고, 일반적인 진동 디바이스의 주파수 특성을 예시하고 있지만, 진동 디바이스가 평탄성을 나타내는 주파수 대역은, 일반적으로 대역 Tfs보다도 좁아지는 경향으로 된다.

이러한 촉각 제시 장치(6)의 주파수 특성에 기인하여 촉각의 재현성 저하가 우려되기 때문에, 제3 예에 있어서는, 각 수용기에 대응하는 촉각 제시 장치(6-1, 6-2, 6-3)를 마련하고, 각 촉각 제시 장치(6)를 각각 대응하는 수용기의 촉각 신호에 기초하여 구동한다.

재생 장치(3B)는, 제2 예에서 설명한 복호부(34A)(도 15 참조) 대신에, 도 18에 나타내는 복호부(34B)를 구비한다.

도시와 같이 복호부(34A)와의 차이점은 대역 합성 필터(54A)가 생략된 점이고, 복호부(34B)는, 스트림 데이터로부터 복호된 메르켈 성분, 마이스너 성분 및 파치니 성분을 후처리부(33)에 개별로 출력한다.

도 19에 나타낸 바와 같이, 재생 장치(3B)에 있어서는, D/A 컨버터(32) 및 증폭기(31)가 촉각 제시 장치(6)마다 마련되어 있다. 복호부(34B)로부터 출력된 메르켈 성분, 마이스너 성분 및 파치니 성분은, 후처리부(33)를 통한 후, 각각 대응하는 D/A 컨버터(32)에서 아날로그 신호로 변환된 후에 대응하는 증폭기(31)에서 증폭되어 촉각 제시 장치(6-1, 6-2, 6-3) 중 대응하는 촉각 제시 장치(6)에 출력된다. 구체적으로, 메르켈 성분은 촉각 제시 장치(6-1)에, 마이스너 성분은 촉각 제시 장치(6-2)에, 파치니 성분은 촉각 제시 장치(6-3)에 각각 출력된다.

도 20은, 제3 예와 같이 수용기마다의 촉각 제시 장치(6)를 설치한 경우의 이점에 대하여 설명하기 위한 도면이다.

제3 예에 의하면, 촉각 제시 장치(6)를 수용기마다 분할하여 마련함으로써, 촉각 제시 장치(6) 개개의 주파수 특성의 평탄성이 낮은 경우라도, 전체적으로 평탄성을 나타내는 주파수 대역을 확장할 수 있고, 주파수 특성의 평탄성 향상을 도모할 수 있다. 이것은, 도 20에 나타내는 3개의 촉각 제시 장치(6)의 합성 특성(도면 중 「합성 후의 특성」)과 앞의 도 17의 특성의 비교로부터도 명확하다.

따라서, 촉각 제시 장치(6)의 주파수 특성에 기인하여 촉각의 재현성이 저하되어 버리는 것의 방지를 도모할 수 있다.

여기서, 수용기의 특성으로서, 진동 디바이스에 얼마만큼의 면적이 접촉하고 있는지에 따라 촉각 감도가 바뀌는 현상이 알려져 있다.

도 21의 a는, 사이즈가 다른 2개의 촉각 제시 장치(6)(진동 디바이스)에 대한 진동 역치 검출 곡선을 예시하고 있다. 구체적으로, 도 21의 a에 있어서는, 한쪽의 촉각 제시 장치(6)의 사이즈를 2.9㎝^2(^은 멱승을 의미한다), 다른 쪽의 촉각 제시 장치(6)의 사이즈를 0.008㎝^2로 한 경우의 결과를 나타내고 있다.

이 도 21의 a로부터, 40 내지 50㎐ 이하에서는 촉각 제시 장치(6)의 접촉 면적에 의한 촉각 감도의 차는 거의 없지만, 그 이상의 주파수 대역에서는 촉각 감도가 크게 바뀌고 있는 것을 알 수 있다. 이것은, 접촉 면적이 크면 파치니가 발화되기 쉽고, 접촉 면적이 작으면 파치니는 발화되기 어렵지만, 접촉 면적이 작더라도 진폭을 증가시킴으로써 다른 수용기(루피니나 마이스너)가 발화되는 것에 의해, 인간이 진동을 지각할 수 있는 것을 나타내고 있다.

단, 진동 디바이스의 종류를 막론하고, 높은 주파수에서 진폭을 크게 취하려고 하면 필요한 에너지가 급격하게 증가한다. 경우에 따라서는 진동 디바이스를 구동할 수 없거나, 구동할 수 있어도 디바이스가 그 에너지에 견딜 수 없어 파손되거나 할 가능성도 있다. 이 때문에, 인간에게 높은 주파수의 진동을 지각시키기 위해서는, 진폭이 작더라도 접촉 면적을 크게 함으로써 발화되기 쉬운 파치니를 타깃으로 하는 것이 바람직하다. 본 예에서는, 높은 주파수에 대해서는 타깃으로 하는 수용기를 파치니로 하여 설명을 진행한다.

도 21의 a에서는, 메르켈, 마이스너, 파치니 각각에 대응한 주파수 대역을 파선에 의해 나타내고 있지만, 도시와 같이 메르켈 및 마이스너에 대해서는 촉각 제시 장치(6)의 사이즈는 작아도 되고, 파치니에 대해서는 촉각 제시 장치(6)의 사이즈는 큰 편이 좋다는 것을 알 수 있다.

이것으로부터, 촉각 제시 장치(6-1)(메르켈) 및 촉각 제시 장치(6-2)(마이스너)에 대해서는 사이즈를 작게 하고, 촉각 제시 장치(6-3)(파치니)에 대해서는 사이즈를 크게 하는 등, 각각이 대응하는 수용기에 따라 사이즈 설정된 촉각 제시 장치(6)를 준비해 두고, 그것들 촉각 제시 장치(6)를, 수용기마다 부호화된 촉각 신호에 기초하여 구동한다.

전술한 바와 같이, 진동 디바이스의 종류를 막론하고, 높은 주파수에서 진폭을 크게 취하는 것은 곤란해지기 때문에, 특히 파치니에 대한 촉각 제시 장치(6-3)의 사이즈가 작으면, 고역의 촉각 신호의 재현성이 저하될 우려가 있다. 상기와 같은 촉각 제시 장치(6)의 사이즈 설정을 행함으로써, 이러한 재현성 저하의 방지를 도모할 수 있다.

여기서, 수용기는, 예를 들어 손끝, 손바닥, 팔, 얼굴, 발과 같은 인체의 부위마다 따로따로 존재하는 것은 아니고, 동일 부위에 있어서 혼재하고 있기 때문에, 진동 디바이스를 인체의 특정 부위에 있어서 뿔뿔이 흩어진 위치에 배치하는 것은 이치에 맞지 않다. 그래서, 수용기마다 적절한 사이즈로 한 진동 디바이스를 일체화하고, 실체로서 하나의 진동 디바이스로서 구성해도 된다.

도 21의 B에서는, 촉각 제시 장치(6-1, 6-2, 6-3)를 일체적으로 구성한 예를 나타내고 있다. 이 예에서는, 가장 사이즈가 큰 촉각 제시 장치(6-3)에 대하여, 촉각 제시 장치(6-1, 6-2)를 일체적으로 내장하는 구성으로 하고 있다.

[1-7. 제4 예]

상기에서는, 촉각 제시 장치(6)에 대하여 주파수 특성의 평탄성에 과제가 있는 것을 설명했지만, 주파수 특성의 평탄성의 과제는 촉각 센서(5)측에 대해서도 마찬가지라고 할 수 있다.

제4 예의 촉각 재현 시스템(1C)은, 이러한 촉각 센서(5)측에 있어서의 주파수 특성의 평탄성의 과제 해결을 도모하는 것이고, 도 22에 나타낸 바와 같이, 촉각 센서(5)를 복수 마련하는 것이다. 구체적으로, 이 경우의 촉각 센서(5)로서는, 메르켈에 대응하는 촉각 센서(5-1), 마이스너에 대응하는 촉각 센서(5-2), 파치니에 대응하는 촉각 센서(5-3)가 마련된다.

촉각 재현 시스템(1C)에 있어서는, 제2 예나 제3 예에서 사용되고 있던 부호화 장치(2) 대신에, 이들 촉각 센서(5-1, 5-2, 5-3)의 검출 신호에 기초하여 부호화를 행하는 부호화 장치(2C)가 마련된다.

또한, 촉각 재현 시스템(1C)에 있어서, 재생 장치(3B) 및 촉각 제시 장치(6-1, 6-2, 6-3)가 마련되는 점은 제3 예의 경우와 마찬가지이다.

도 23은, 제4 예로서의 부호화 장치(2C)의 내부 구성예를 설명하기 위한 도면이다.

제2 예나 제3 예의 차이점은, 증폭기(21) 및 A/D 컨버터(22)가 촉각 센서(5)마다 마련된 점과, 부호화부(24A)(도 14 참조) 대신에 부호화부(24C)가 마련된 점이다.

촉각 센서(5-1, 5-2, 5-3)의 검출 신호는, 각각 대응하는 증폭기(21)에서 증폭된 후, 대응하는 A/D 컨버터(22)에 의해 디지털 신호로 변환된 후에, 전처리부(23)를 통해 각각 부호화부(24C)에 입력된다.

도 24는, 부호화부(24C)의 구체적인 구성예를 나타낸 도면이다.

부호화부(24C)는, 도 14에 나타낸 부호화부(24A)와 비교하여, 대역 분할 필터(41A) 대신에 대역 통과 필터(41C-1), 대역 통과 필터(41C-2) 및 대역 통과 필터(41C-3)가 마련된 점이 다르다.

대역 통과 필터(41C-1)는, 전처리부(23)로부터, 촉각 센서(5-1)의 검출 신호에 기초하는 촉각 신호를 입력하고, 도 13에서 예시한 메르켈에 대응하는 주파수 대역의 성분을 추출하여 다운 샘플러(42A-1)에 출력한다. 대역 통과 필터(41C-2)는, 전처리부(23)로부터, 촉각 센서(5-2)의 검출 신호에 기초하는 촉각 신호를 입력하고, 마이스너에 대응하는 주파수 대역의 성분을 추출하여 다운 샘플러(42A-2)에 출력한다.

대역 통과 필터(41C-3)는, 전처리부(23)로부터, 촉각 센서(5-3)의 검출 신호에 기초하는 촉각 신호를 입력하고, 파치니에 대응하는 주파수 대역의 성분을 추출하여 비트 마스크부(43A-3)에 출력한다.

이 부호화부(24C)에 의해, 촉각 센서(5)가 수용기마다 마련된 경우에 대응하고, 제2 예나 제3 예의 경우와 마찬가지로 수용기마다의 촉각 신호를 효율적으로 부호화할 수 있다.

이상과 같은 제4 예에 의하면, 촉각 센서(5)를 수용기마다 분할하여 마련함으로써, 촉각 센서(5) 개개의 주파수 특성의 평탄성이 낮은 경우라도, 전체적으로 평탄성을 나타내는 주파수 대역을 확장할 수 있고, 주파수 특성의 평탄성 향상을 도모할 수 있다.

따라서, 촉각 센서(5)의 주파수 특성에 기인하여 촉각의 재현성이 저하되어 버리는 것의 방지를 도모할 수 있다.

또한, 제4 예에 있어서, 촉각 센서(5)마다 대역 통과 필터(41C)를 마련하는 것은 필수는 아니다. 또한, 제4 예에서는, A/D 컨버터(22)가 촉각 센서(5)마다 마련되기 때문에, 개개의 촉각 신호의 샘플링 주파수나 양자화 비트수는 그것들 A/D 컨버터(22)에 의해 설정할 수 있다. 이 점으로부터, 다운 샘플러(42A)나 비트 마스크부(43A)를 마련하는 것도 필수는 아니다.

또한, 촉각 센서(5)에 대해서도, 촉각 제시 장치(6)의 경우와 마찬가지로, 수용기마다의 촉각 센서(5)를 일체로 구성할 수도 있다.

여기서, 제3 예 및 제4 예에 대하여, 개개의 수용기가 양호한 촉각 감도를 나타내는 주파수 대역은, 명확한 경계를 갖는 것은 아니고, 각각이 오버랩되는 특성으로 된다.

이 점을 고려하여, 대역 분할 필터(41A)나 대역 통과 필터(41C)에 대해서는, 도 25에 나타낸 바와 같이 컷오프 특성을 완만하게 함으로써, 상기 오버랩의 특성을 재현할 수도 있다. 이 경우, 부호화에 있어서의 샘플링 주파수는 상기 오버랩의 특성에 따른 값을 설정하게 된다. 즉, 부호화 후의 촉각 신호의 비트 레이트는, 상기한 오버랩 특성에 따라 변화될 수 있다.

<2. 제2 실시 형태>

[2-1. 부호화 방법]

계속해서, 제2 실시 형태에 대하여 설명한다.

제1 실시 형태의 부호화는, 모두 LPCM 신호(시간 신호)에 의한 촉각 신호에 대하여 실시하는 것이었다. 즉, 시간 영역에 있어서 주파수 대역마다의 부호화를 행하는 것이었다.

그러나, 도 13 등의 특성도를 참조하여 알 수 있는 바와 같이, 각 수용기의 특성은 주파수 영역에서 관찰·표현되어 있다.

그래서, 시간 신호를 대역 분할하여 주파수 성분으로서 취급하는 것은 아니고, 시간 신호인 LPCM 신호를 이산 코사인 변환(DCT)이나 이산 푸리에 변환(DFT) 등의 직교 변환에 의해 주파수 성분으로 변환하고 나서 부호화를 행하는 쪽이 효율적이다.

도 27을 참조하여, 제2 실시 형태로서의 부호화 방법에 대하여 설명한다.

우선, 재현하는 촉각 신호의 주파수 상한을 1000㎐＋α로 하고, 설명의 간단화를 위해 샘플링 주파수를 2560㎐로 한다. 또한, 전술한 예에서는 다이내믹 레인지를 70㏈로 하고 양자화 비트수를 12bit로 하여 생각했지만, 더 일반화하여 생각하기 위해 양자화 비트수는 16bit라고 한다.

이 경우의 부호화에서는, 단위 시간마다의 촉각 신호(LPCM)를 일정수 모은 블록이라는 단위로 직교 변환을 행한다. 직교 변환에는 상술한 DCT나 DFT가 있지만, 촉각 신호는 연속적인 일차원 신호이기 때문에 DCT나 DFT가 아니고, 오디오 신호의 부호화에 자주 사용되는 MDCT(Modified DCT)가 적합하기 때문에, 여기서는 MDCT를 사용하는 예로 한다.

오디오 신호에 대하여, MDCT를 적용한 부호화의 예로서는, MP3(MPEG Audio Layer3)이나 AAC(Advanced Audio Coding)를 들 수 있다. 이들 기술은 널리 일반적으로 보급되어 있고, 기술적으로도 잘 알려져 있기 때문에 상세는 생략하지만, MDCT는 블록 사이에 오버랩 구간을 마련함으로써 부호화 시의 불연속 변형을 저감시킬 수 있는 이점을 갖는다.

MDCT의 블록에 포함되는 LPCM의 샘플수를 N이라고 하면, 이것을 두개 합친 2N개의 샘플을 직교 변환하여 N개의 주파수 성분을 얻는다. 이 주파수 성분을 스펙트럼이라고 칭한다. 즉, LPCM이 N개에 대하여 N개의 스펙트럼이 얻어진다.

구체적으로, 이 경우에 있어서의 직교 변환에서는, 128샘플씩의 LPCM이 입력되고, 256샘플 모인 단계에서 스펙트럼으로의 변환이 행해진다. 스펙트럼은 128개 생성되지만, 샘플링 주파수(2560㎐)로부터 전체 주파수 대역은 1280㎐로 되기 때문에, 하나의 스펙트럼이 갖는 주파수 폭(분해능)은 10㎐로 된다.

이때, 스펙트럼에는 저역측으로부터 차례로 인덱스 Idx＝0 내지 127을 할당한다.

이어서, 이들 스펙트럼의 그루핑을 행한다. 이 경우의 그루핑은, 수용기의 특성에 따른 그루핑으로 한다. 구체적으로는, 메르켈, 마이스너, 파치니의 각 수용기의 주파수 특성에 따라, 메르켈의 그룹으로서의 제1 그룹, 마이스너의 그룹으로서의 제2 그룹 및 파치니의 그룹으로서의 제3 그룹의 총 3개의 그룹에 스펙트럼을 할당한다.

우선, 메르켈은 수 ㎐까지를 담당하지만, 상기와 같이 분해능은 10㎐이기 때문에, 제1 그룹에는 하나의 인덱스 Idx를 할당한다. 즉, 가장 저역측의 인덱스 Idx＝0의 스펙트럼을 할당한다.

이어서, 마이스너는 10㎐ 내지 50㎐ 정도의 주파수를 담당하는 것으로 하고, 제2 그룹에는 인덱스 Idx 1 내지 4의 스펙트럼을 할당한다.

또한, 파치니는 마이스너 이상의 주파수를 담당하는 것으로 하고, 제3 그룹에는 인덱스 Idx 5 내지 127의 스펙트럼을 할당한다.

이하의 설명에서는, 이들 각 그룹을 「밴드」라고 칭한다.

이어서, 밴드마다, 스펙트럼을 그 밴드 내의 최댓값에 기초하여 정규화한다. 정규화에 사용하는 계수(이하 「정규화 계수」라고 표기)는, 미리 시스템으로서 표현할 수 있는 최댓값과 진동 검출 역치 곡선 사이를 균일(또는 불균일이어도 된다)하게 분할해 두고, 이것을 인덱스화한 계수로 한다. 즉, 스펙트럼 전체를 부호화하는 것은 아니고, 인간이 지각할 수 있는 최저값으로부터 시스템을 표현할 수 있는 최댓값까지의 구간이 부호화의 대상이 되도록 한다.

또한, 정규화된 스펙트럼을 양자화한다.

양자화 시에는, 밴드의 게인이 큰 스펙트럼에는 큰 양자화 스텝수를 부여하고, 밴드의 게인이 작은 스펙트럼에는 작은 양자화 스텝수를 부여한다. 즉, 게인이 큰 밴드의 정밀도를 높이고, 게인이 작은 밴드의 정밀도를 낮춘다. 또한, 여기서의 게인의 크기란, 진동 검출 역치로부터 시스템을 표현할 수 있는 최댓값까지의 구간의 크기라고 환언할 수 있는 것이다.

그리고, 이 경우의 양자화에서는, 밴드가 진동 검출 역치 이하인 경우에는, 양자화를 하지 않고(부호화 대상으로는 하지 않고) 밴드마다 잘라 버린다. 이렇게 역치 이하의 성분을 잘라 버리는, 즉 양자화나 부호화를 행하지 않음으로써, 촉각 신호의 비트 레이트를 효과적으로 삭감하는 것이 가능해진다.

또한, 상기와 같은 밴드마다의 양자화 스텝수의 설정이 행해짐으로써, 적어도 일부의 밴드 사이(주파수 대역 사이)에서 다른 양자화 스텝수에 의한 양자화가 행해진다. 구체적으로 본 예에서는, 게인이 작은 밴드의 양자화 스텝수는, 게인이 큰 밴드의 양자화 스텝수보다도 작게 된다. 이에 의해 비트 레이트의 삭감이 도모된다.

이어서, 양자화된 스펙트럼에 대하여 엔트로피 부호화를 행한다.

즉, 양자화된 스펙트럼에 대하여, 미리 그 출현 빈도를 조사해 두고, 출현 빈도가 높은 것에 짧은 부호 길이를, 출현 빈도가 낮은 것에 긴 부호 길이를 할당한다. 또한, 엔트로피 부호화의 예로서는, 예를 들어 허프만 부호화를 들 수 있다. 구체적으로는, 진동 검출 역치 이하의 스펙트럼(값이 제로)의 출현 빈도가 높고, 그 이외의 스펙트럼(값이 제로 이외)의 출현 빈도가 낮은 경우에는, 전자에 비해 짧은 부호 길이를 할당함으로써 효율적인 부호화가 가능해진다.

이상과 같은 주파수 영역에 있어서의 부호화를 행함으로써, 촉각 신호의 비트 레이트를 효과적으로 삭감할 수 있다. 특히, 상기한 부호화 방법에 의하면, 진동 검출 역치 이하의 성분을 잘라 버린다는 점 및 엔트로피 부호화의 적용이라는 점에서 비트 레이트를 효과적으로 삭감할 수 있다.

[2-2. 부호화측의 구성]

도 27은, 제2 실시 형태로서의 부호화 방법을 실현하기 위한 부호화부(24D)의 구체적인 구성예를 나타내고 있다.

또한, 여기서는, 전술한 제1 실시 형태의 제2 예나 제3 예와 같이 촉각 센서(5)를 1종만 사용하는 경우에 대응한 구성을 설명한다. 즉, 이 경우에 있어서의 부호화 장치(2)의 구성은, 부호화부(24A) 대신에 부호화부(24D)가 마련되는 점 이외는, 도 2에 나타낸 구성과 마찬가지이다.

도 27에 있어서, 부호화부(24D)는, 직교 변환부(61)와 다중화부(66)를 구비함과 함께, 수용기마다 그루핑부(62), 정규화부(63), 양자화부(64) 및 부호화부(65)를 구비하고 있다. 이들 그루핑부(62), 정규화부(63), 양자화부(64) 및 부호화부(65)에 대해서는, 메르켈에 대응하는 것은 말미에 「－1」을 붙이고, 마이스너에 대응하는 것은 말미에 「－2」를 붙이고, 또한 파치니에 대응하는 것은 말미에 「－3」을 붙여서 구별한다.

직교 변환부(61)는, 전처리부(23)로부터 입력되는 촉각 신호에 대하여 MDCT에 의한 직교 변환을 행한다. 본 예에서는, 샘플링 주파수＝2560㎐, 양자화 비트수＝16bit로 된 촉각 신호가 128샘플마다 입력되고, 직교 변환부(61)는 촉각 신호의 256 샘플이 모인 단계에서 128개의 스펙트럼을 생성한다.

직교 변환부(61)에서 얻어진 스펙트럼의 데이터는 그루핑부(62-1, 62-2, 62-3)에 입력된다. 그루핑부(62-1)는, 상술한 제1 그룹의 그루핑을 행하고, 인덱스 Idx＝0의 스펙트럼을 정규화부(63-1)에 출력한다.

그루핑부(62-2)는 상술한 제2 그룹의 그루핑을 행하고, 인덱스 Idx＝1 내지 4의 스펙트럼을 정규화부(63-2)에 출력한다.

그루핑부(62-3)는 상술한 제3 그룹의 그루핑을 행하고, 인덱스 Idx＝5 내지 127의 스펙트럼을 정규화부(63-3)에 출력한다.

각 정규화부(63)는, 각각 입력된 스펙트럼을 상술한 정규화 계수(밴드마다의 정규화 계수)에 기초하여 정규화한다.

또한, 각 정규화부(63)는, 밴드마다의 정규화 계수를 다중화부(66)에 출력한다.

양자화부(64-1, 64-2, 64-3)는, 각각 말미의 부호가 일치하는 정규화부(63)에 의해 정규화된 스펙트럼을 양자화한다.

상술한 바와 같이, 양자화 시에는, 밴드의 게인이 큰 스펙트럼에는 큰 양자화 스텝수를 부여하고, 밴드의 게인이 작은 스펙트럼에는 작은 양자화 스텝수를 부여한다. 또한, 밴드가 진동 검출 역치 이하인 경우에는, 그 밴드 자체의 부호화를 행하지 않는다.

부호화부(65-1, 65-2, 65-3)는, 각각 말미의 부호가 일치하는 양자화부(64)에 의해 양자화된 스펙트럼에 대하여 엔트로피 부호화를 행하여, 다중화부(66)에 출력한다.

다중화부(66)는, 부호화부(65-1, 65-2, 65-3)에 의해 부호화된 스펙트럼의 데이터를 다중화하여 스트림 데이터를 생성한다. 이때, 다중화부(66)는, 스트림 헤더 또는 프레임 헤더에 대하여, 정규화부(63-1, 63-2, 63-3)로부터 입력한 밴드마다의 정규화 계수를 저장한다.

여기서, 만약 정규화 계수가 특정한 값(예를 들어, 진동 검출 역치 이하)을 갖는 경우, 그 밴드의 스펙트럼은 부호화하지 않도록 함으로써, 밴드 자체의 부호화를 행할지 여부를 전환해도 된다.

또한, 상기한 부호화부(24D)의 구성에 있어서, 촉각 신호의 비트 레이트의 감소 상태는 신호의 특징에 의존하기 때문에 일정해진다는 보증은 없다.

비트 레이트를 일정값으로 하고 싶다는 요구가 있는 경우에는, 도시와 같이 조정기(67)를 마련하고, 각 양자화부(64)에 의한 양자화와 각 부호화부(65)에 의한 부호화를 소정의 비트 레이트에 일치할 때까지 반복해서 행하는 구성으로 해도 된다. 구체적으로, 조정기(67)는, 각 부호화부(65)로부터 부호화 후의 데이터를 입력하여 비트 레이트를 계산하고, 계산한 비트 레이트가 소정 비트 레이트에 일치할 때까지, 각 양자화부(64-1)에 있어서의 양자화 파라미터(예를 들어, 양자화 스텝수)를 변경시킨다. 이때, 양자화 스텝수의 초깃값의 설정에 의해, 양자화 스텝수는 초깃값보다 작아질뿐만 아니라 커지는 경우도 있다.

또한, 제1 실시 형태의 제4 예와 같이 촉각 센서(5)를 수용기마다 마련하는 경우에는, 부호화부(24D)는, 전처리부(23)로부터 입력되는 촉각 센서(5)마다의 촉각 신호를 각각 직교 변환하여 그루핑부(62-1, 62-2, 62-3)에 개별로 입력하는 구성으로 하면 된다.

[2-3. 복호측의 구성]

도 28은, 도 27에 나타낸 부호화부(24D)에 의해 부호화된 촉각 신호를 복호하기 위한 제2 실시 형태로서의 복호부(34D)에 대하여, 구체적인 구성예를 나타내고 있다.

여기서는, 전술한 제1 실시 형태의 제3 예나 제4 예와 같이, 촉각 제시 장치(6)를 수용기마다 마련하는 경우에 대응한 구성을 설명한다. 즉, 이 경우에 있어서의 재생 장치(3B)의 구성은, 복호부(34B) 대신에 복호부(34D)가 마련되는 점 이외는, 도 19에 나타낸 구성과 마찬가지이다.

도 28에 있어서, 복호부(34D)는, 다중 분리부(71)를 구비함과 함께, 수용기마다 복호부(72), 역양자화부(73), 역정규화부(74), 역그루핑부(75) 및 역직교 변환부(76)를 구비하고 있다. 복호부(72), 역양자화부(73), 역정규화부(74), 역그루핑부(75) 및 역직교 변환부(76)에 대해서는, 메르켈에 대응하는 것은 말미에 「－1」을 붙이고, 마이스너에 대응하는 것은 말미에 「－2」를 붙이고, 또한 파치니에 대응하는 것은 말미에 「－3」을 붙여서 구별한다.

다중 분리부(71)는, 도 27에 나타낸 다중화부(66)에 의해 생성된 촉각 신호의 스트림 데이터를 입력하여, 다중 분리 처리를 행한다. 이 분리 처리에 의해, 스트림 데이터로부터 엔트로피 부호화된 상태의 스펙트럼 데이터가 분리, 추출된다.

또한, 본 예에 있어서 다중 분리부(71)는, 스트림 데이터에 포함되는 밴드마다의 정규화 계수를 취득한다.

여기서, 만약 정규화 계수가 특정한 값(예를 들어, 진동 검출 역치 이하)을 갖는 경우, 그 밴드의 스펙트럼은 부호화되어 있지 않다고 판정하고, 스펙트럼 데이터의 분리, 추출이 행해지지 않도록 해도 된다.

복호부(72-1, 72-2, 72-3)는, 다중 분리부(71)로부터 제1 내지 제3 그룹 중 대응하는 그룹의 스펙트럼 데이터를 입력하여 엔트로피 부호의 복호를 행하고, 역양자화부(73-1, 73-2, 73-3) 중 말미의 부호가 일치하는 역양자화부(73)에 출력한다.

역양자화부(73-1, 73-2, 73-3)는, 각각 대응하는 복호부(72)에 의해 복호된 스펙트럼 데이터에 대하여 역양자화를 행하고, 역정규화부(74-1, 74-2, 74-3) 중 말미의 부호가 일치하는 역정규화부(74)에 출력한다.

역정규화부(74-1, 74-2, 74-3)는, 각각 대응하는 역양자화부(73)에 의해 역양자화된 스펙트럼 데이터에 대하여 역정규화를 행하고, 역그루핑부(75-1, 75-2, 75-3) 중 말미의 부호가 일치하는 역그루핑부(75)에 출력한다. 이때, 각 역정규화부(74)는, 다중 분리부(71)에서 얻어진 정규화 계수를 사용하여 역정규화를 행한다.

역그루핑부(75-1, 75-2, 75-3)는, 각각 대응하는 역정규화부(74)에 의해 역정규화된 스펙트럼 데이터에 대하여 그루핑 해제를 위한 소정 처리를 행하고, 역직교 변환부(76-1, 76-2, 76-3) 중 말미의 부호가 일치하는 역직교 변환부(76)에 출력한다.

역직교 변환부(76-1, 76-2, 76-3)는, 각각 대응하는 역그루핑부(75)로부터 입력한 스펙트럼 데이터에 대하여 역직교 변환(IMDCT)을 행하여, 시간 신호(LPCM)로서의 촉각 신호를 얻는다.

상기와 같은 복호부(34D)에 의해, 주파수 영역에서 부호화된 촉각 신호를 적절하게 복호할 수 있다.

또한, 제1 실시 형태의 제1 예나 제2 예와 같이 촉각 제시 장치(6)를 1종만 사용하는 경우에는, 도 29에 나타내는 복호부(34D')와 같이, 역그루핑부(75-1, 75-2, 75-3)로부터의 스펙트럼 데이터를 단일의 역직교 변환부(76D')에 입력하는 구성으로 하면 된다.

<3. 실시 형태의 변형예>

상기에서는, 부호화된 촉각 신호를 재생 장치(3)(또는 3B)가 네트워크(4) 경유로 취득하는 예로 했지만, 예를 들어 부호화된 촉각 신호를 가반형의 기록 매체에 기록해 두고, 해당 기록 매체를 통해 재생 장치(3)(또는 3B)에 촉각 신호를 취득시키는 등, 통신 이외의 방법에 의해 촉각 신호를 취득하는 방법을 채용할 수도 있다.

또한, 지금까지 제시한 각종 수치, 예를 들어 촉각 신호의 샘플링 주파수나 양자화 비트수, 직교 변환에 있어서의 블록수, 스펙트럼수, 주파수 영역에 있어서의 그룹(밴드)수 등의 수치에 관해서는, 어디까지나 설명상의 일례를 든 것에 지나지 않고, 제시한 수치에 한정되는 것은 아니다. 또한, 제2 실시 형태에 대하여, 주파수 영역에 있어서의 그루핑으로서는, 밴드 단위에서의 그루핑에 한정되지 않고, 밴드 내를 더 미세한 단위로 그룹화할 수도 있다.

<4. 실시 형태의 정리>

상기와 같이 실시 형태로서의 복호 장치(재생 장치(3 또는 3B))는, 주파수 대역마다 부호화된 촉각 신호를 취득하는 취득부(취득 처리부(F1), 통신부(37))와, 취득부가 취득한 촉각 신호를 복호하는 복호부(복호 처리부(F2), 복호부(34, 34A, 34B, 34D, 34D'))를 구비하는 것이다.

이에 의해, 촉각 특성상, 인간이 지각하기 어렵다고 여겨지는 촉각 신호에 대한 비트 배분을 적게 하는 효율적인 부호화를 행하는 것이 가능해진다.

따라서, 촉각의 재현성을 담보하면서 촉각 신호의 데이터양 삭감을 도모할 수 있고, 촉각 재현 시스템의 효율화를 도모할 수 있다.

또한, 실시 형태로서의 복호 장치에 있어서는, 취득부는, 촉각 신호로서 촉각 센서(5, 5-1, 5-2, 5-3)의 검출 신호에 기초하는 신호를 취득하고 있다.

이에 의해, 실제로 센싱한 촉각 신호에 기초하여 촉각 재현을 행하는 것이 가능해진다.

따라서, 촉각의 재현성을 높일 수 있다.

또한, 실시 형태로서의 복호 장치에 있어서는, 취득부는, 수용기의 특성에 따른 주파수 대역마다 부호화된 상기 촉각 신호를 취득하고 있다.

이에 의해, 수용기마다의 특성의 차의 관점에서, 인간이 지각하기 어렵다고 여겨지는 촉각 신호에 대한 비트 배분을 적게 하는 효율적인 부호화를 행하는 것이 가능해진다.

따라서, 촉각의 재현성을 담보하면서 촉각 신호의 데이터양 삭감을 도모할 수 있고, 촉각 재현 시스템의 효율화를 도모할 수 있다.

또한, 실시 형태로서의 복호 장치에 있어서는, 취득부는, 시간 영역에 있어서 주파수 대역마다 부호화된 촉각 신호를 취득하고 있다(제1 실시 형태를 참조).

이에 의해, 인간이 지각하기 어렵다고 여겨지는 촉각 신호에 대한 비트 배분을 적게 하는 효율적인 부호화를 실현하는 데 있어서, 촉각 신호에 대한 직교 변환을 행할 필요가 없어진다.

따라서, 촉각 신호의 부호화나 복호를 실현하는 데 있어서 구성의 간이화나 처리 부담 경감을 도모할 수 있다.

또한, 실시 형태로서의 복호 장치에 있어서는, 취득부는, 양자화 비트수의 감소 처리가 실시된 촉각 신호를 취득하고 있다.

이에 의해, 적어도 하나의 주파수 대역의 촉각 신호에 대하여, 양자화 비트수를 적게 또는 샘플링 주파수를 낮게 하는 것이 가능해져, 촉각 신호의 데이터양 삭감이 도모된다.

따라서, 촉각 재현 시스템의 효율화를 도모할 수 있다.

또한, 실시 형태로서의 복호 장치에 있어서는, 취득부는, 직교 변환 후의 주파수 영역에 있어서 주파수 대역마다의 부호화가 행해진 촉각 신호를 취득하고 있다(제2 실시 형태를 참조).

이에 의해, 주파수에 따른 비트 삭감의 자유도가 향상되어, 더 효율적인 부호화를 행하는 것이 가능해진다.

따라서, 촉각 재현 시스템의 가일층의 효율화를 도모할 수 있다.

또한, 실시 형태로서의 복호 장치에 있어서는, 취득부는, 주파수 대역마다의 부호화로서, 소정의 진폭 역치 미만의 촉각 신호 성분을 양자화의 대상으로부터 제외하는 부호화가 행해진 촉각 신호를 취득하고 있다.

이에 의해, 신호 진폭값의 면에서 인간이 지각하기 어렵다고 여겨지는 촉각 신호 성분을 양자화의 대상으로부터 제외하는 부호화를 행하는 것이 가능해진다.

따라서, 인간이 지각하기 어려운 촉각 신호에 대하여 비트 배분을 적게 하는 효율적인 부호화를 실현 가능해져, 촉각의 재현성을 담보하면서 촉각 신호의 데이터양 삭감을 도모할 수 있다.

또한, 실시 형태로서의 복호 장치에 있어서는, 취득부는, 적어도 일부의 주파수 대역 사이에서 다른 양자화 스텝수에 의한 양자화가 행해진 촉각 신호를 취득하고 있다.

이에 의해, 일부의 주파수 대역에 대해서는 양자화 스텝수를 다른 주파수 대역보다도 삭감하는 것이 가능해진다.

따라서, 촉각 신호의 데이터양 삭감을 도모할 수 있다.

또한, 실시 형태로서의 복호 장치에 있어서는, 취득부는, 엔트로피 부호화된 촉각 신호를 취득하고 있다.

이에 의해, 출현 빈도가 높은 심볼에 대하여 부호량의 삭감을 도모하는 것에 의한 효율적인 부호화를 행하는 것이 가능해진다.

따라서, 촉각 재현 시스템의 가일층의 효율화를 도모할 수 있다.

또한, 실시 형태로서의 복호 장치에 있어서는, 복호부(동34B, 34D)는, 복호된 주파수 대역마다의 촉각 신호를 개별로 출력하고 있다.

이에 의해, 수용기마다 다른 촉각 제시 장치를 사용하여 촉각 재현을 행하는 것이 가능해진다.

따라서, 주파수 특성의 평탄성이 낮은 촉각 제시 장치가 사용되는 것에 기인하여 촉각의 재현성이 저하되어 버리는 것의 방지를 도모할 수 있다.

또한, 실시 형태로서의 복호 장치에 있어서는, 취득부는, 복수의 촉각 센서의 검출 신호가 각각 대응하는 주파수 대역을 대상으로 하여 부호화됨으로써 얻어지는 복수의 촉각 신호를 취득하고 있다(제1 실시 형태의 제4 예를 참조). 구체적으로, 실시 형태에서는, 촉각 센서(5-1, 5-2, 5-3) 각각의 검출 신호에 대하여 행해진 부호화에 의해 얻어지는 메르켈 성분, 마이스너 성분 및 파치니 성분의 각 촉각 신호를 취득하고 있다.

이에 의해, 수용기마다 다른 촉각 센서를 사용하여 촉각 재현을 행하는 것이 가능해진다.

따라서, 주파수 특성의 평탄성이 낮은 촉각 센서가 사용되는 것에 기인하여 촉각의 재현성이 저하되어 버리는 것의 방지를 도모할 수 있다.

또한, 실시 형태로서의 복호 방법은, 주파수 대역마다 부호화된 촉각 신호를 복호하는 복호 방법이다.

이러한 실시 형태로서의 복호 방법에 의해서도, 상기한 실시 형태로서의 복호 장치와 동일한 작용 및 효과를 얻을 수 있다.

여기서, 지금까지 설명한 부호화부(24, 24A, 24C, 24D)나 복호부(34, 34A, 34B, 34D, 34D')에 의한 기능은, CPU 등에 의한 소프트웨어 처리로서 실현할 수 있다. 해당 소프트웨어 처리는, 프로그램에 기초하여 실행되고, 해당 프로그램은, CPU 등의 컴퓨터 장치(정보 처리 장치)가 읽어내기 가능한 기억 장치에 기억된다.

실시 형태로서의 프로그램은, 주파수 대역마다 부호화된 촉각 신호를 복호하는 기능을 정보 처리 장치에 실현시키는 프로그램이다.

이러한 프로그램에 의해, 상기한 제1, 제2 실시 형태로서의 복호 장치를 실현할 수 있다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또 다른 효과가 있어도 된다.

<5. 본 기술>

또한 본 기술은 이하와 같은 구성도 채용할 수 있다.

(1)

주파수 대역마다 부호화된 촉각 신호를 복호하는 복호부를 구비한

복호 장치.

(2)

상기 부호화된 촉각 신호는, 촉각 센서의 검출 신호에 기초하는 촉각 신호인

상기 (1)에 기재된 복호 장치.

(3)

상기 부호화된 촉각 신호는, 수용기의 특성에 따른 상기 주파수 대역마다 부호화된 촉각 신호인

상기 (1) 또는 (2)에 기재된 복호 장치.

(4)

상기 부호화된 촉각 신호는, 대역 분할 후의 시간 영역에 있어서 상기 주파수 대역마다 부호화된 촉각 신호인

상기 (1) 내지 (3)의 어느 것에 기재된 복호 장치.

(5)

상기 부호화된 촉각 신호는, 적어도 일부의 상기 주파수 대역 사이에서 양자화 비트수, 샘플링 주파수의 적어도 어느 것이 다른

상기 (4)에 기재된 복호 장치.

(6)

상기 부호화된 촉각 신호는, 직교 변환 후의 주파수 영역에 있어서 상기 주파수 대역마다 부호화된 촉각 신호인

상기 (1) 내지 (3)의 어느 것에 기재된 복호 장치.

(7)

상기 부호화된 촉각 신호는, 소정의 진폭 역치 미만의 촉각 신호 성분을 양자화 및 부호화의 대상으로부터 제외하고 부호화된 촉각 신호인

상기 (6)에 기재된 복호 장치.

(8)

상기 부호화된 촉각 신호는, 적어도 일부의 상기 주파수 대역 사이에서 다른 양자화 스텝수에 의해 양자화가 행해져 부호화된 촉각 신호인

상기 (6) 또는 (7)에 기재된 복호 장치.

(9)

상기 부호화된 촉각 신호는, 엔트로피 부호화된 촉각 신호인

상기 (6) 내지 (8)의 어느 것에 기재된 복호 장치.

(10)

상기 복호부는,

복호된 상기 주파수 대역마다의 촉각 신호를 개별로 출력하는

상기 (1) 내지 (9)의 어느 것에 기재된 복호 장치.

(11)

상기 부호화된 촉각 신호는, 복수의 촉각 센서의 검출 신호가 각각 대응하는 주파수 대역을 대상으로 하여 부호화됨으로써 얻어지는 복수의 촉각 신호인

상기 (1) 내지 (10)의 어느 것에 기재된 복호 장치.

1,1B, 1C: 촉각 재현 시스템
2, 2C: 부호화 장치
3, 3B: 재생 장치
5, 5-1, 5-2, 5-3: 촉각 센서
6, 6-1, 6-2, 6-3: 촉각 제시 장치
24, 24A, 24C, 24D: 부호화부
27: 통신부
34, 34A, 34B, 34D, 34D': 복호부
37: 통신부
F1: 취득부
F2: 복호부
41, 41A: 대역 분할 필터
41C-1, 41C-2, 41C-4: 대역 통과 필터
42, 42A-1, 42A-2: 다운 샘플러
43-1, 43-2, 43A-1, 43A-2, 43A-3: 비트 마스크부
44, 44A, 66: 다중화부
51, 51A, 71: 다중 분리부
52-1, 52-2, 52A-1, 52A-2, 52A-3: 비트 부가부
53, 53A-1, 53A-2: 업 샘플러
54, 54A: 대역 합성 필터
61: 직교 변환부
62-1, 62-2, 62-3: 그루핑부
63-1, 63-2, 63-3: 정규화부
64-1, 64-2, 64-3: 양자화부
72-1, 72-2, 72-3: 복호부
73-1, 73-2, 73-3: 역양자화부
74-1, 74-2, 74-3: 역정규화부
75-1, 75-2, 75-3: 역그루핑부
76-1, 76-2, 76-3, 76D': 역직교 변환부

Claims (13)

1. 주파수 대역마다 부호화된 촉각 신호를 복호하는 복호부를 구비한
   복호 장치.
2. 제1항에 있어서, 상기 부호화된 촉각 신호는, 촉각 센서의 검출 신호에 기초하는 촉각 신호인
   복호 장치.
3. 제1항에 있어서, 상기 부호화된 촉각 신호는, 수용기의 특성에 따른 상기 주파수 대역마다 부호화된 촉각 신호인
   복호 장치.
4. 제1항에 있어서, 상기 부호화된 촉각 신호는, 대역 분할 후의 시간 영역에 있어서 상기 주파수 대역마다 부호화된 촉각 신호인
   복호 장치.
5. 제4항에 있어서, 상기 부호화된 촉각 신호는, 적어도 일부의 상기 주파수 대역 사이에서 양자화 비트수, 샘플링 주파수의 적어도 어느 것이 다른
   복호 장치.
6. 제1항에 있어서, 상기 부호화된 촉각 신호는, 직교 변환 후의 주파수 영역에 있어서 상기 주파수 대역마다 부호화된 촉각 신호인
   복호 장치.
7. 제6항에 있어서, 상기 부호화된 촉각 신호는, 소정의 진폭 역치 미만의 촉각 신호 성분을 양자화 및 부호화의 대상으로부터 제외하고 부호화된 촉각 신호인
   복호 장치.
8. 제6항에 있어서, 상기 부호화된 촉각 신호는, 적어도 일부의 상기 주파수 대역 사이에서 다른 양자화 스텝수에 의해 양자화가 행해져 부호화된 촉각 신호인
   복호 장치.
9. 제6항에 있어서, 상기 부호화된 촉각 신호는, 엔트로피 부호화된 촉각 신호인
   복호 장치.
10. 제1항에 있어서, 상기 복호부는,
    복호된 상기 주파수 대역마다의 촉각 신호를 개별로 출력하는
    복호 장치.
11. 제1항에 있어서, 상기 부호화된 촉각 신호는, 복수의 촉각 센서의 검출 신호가 각각 대응하는 주파수 대역을 대상으로 하여 부호화됨으로써 얻어지는 복수의 촉각 신호인
    복호 장치.
12. 주파수 대역마다 부호화된 촉각 신호를 복호하는
    복호 방법.
13. 주파수 대역마다 부호화된 촉각 신호를 복호하는 기능을 정보 처리 장치에 실현시키는
    프로그램.

Images