JP7351299B2 - 符号化装置、符号化方法、復号装置、復号方法、プログラム - Google Patents

Description

本技術は、符号化装置とその方法、復号装置とその方法、及びプログラムに関するものであり、特には、触覚刺激を発生させるための触覚信号についての符号化や復号に係る技術分野に関する。

近年、人間の皮膚に接触させた触覚提示デバイスにより触覚刺激を与えるアプリケーションが様々な場面で利用されている。ここで、「触覚提示」とは、触覚刺激を発生させることを意味する。
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル（又は筐体）を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやＶＲ（仮想現実）の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。

また、研究開発段階においては、ロボット等を遠隔操作する際に、ロボット又は操作される対象物が受けた振動を操作者の手元のコントローラにフィードバックすることで、ロボット又は対象物周辺の状況を直感的に察知させて危険予測に役立てるものもある（例：災害対応ロボット<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>）
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触(硬さ)を操作者にフィードバックすることで、手術精度を向上させることが研究されている（例：手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>）

一方、触覚提示デバイスに関しては、偏心モータ（ＥＲＭ）やリニアアクチュエータ（ＬＲＡ）等が多用されており、それらの多くは人間の触覚感度の高い周波数（数１００Ｈｚ程度)の共振周波数を持つデバイスとされている（例えば下記特許文献１を参照）。

また、触覚提示デバイスを複数用意し、全身に装着して触覚刺激を与えることで、より臨場感を高めようとする取り組み例もある。（例：シナスタジアスーツ<http://rezinfinite.com/ja/synesthesia-suit/> ）

特開２０１６－２０２４８６号公報

ここで、上述のように触覚提示デバイスを複数用意して人体の複数の部位に触覚刺激を与える場合には、触覚刺激のパターンを表す信号、すなわち触覚信号を部位ごとに複数チャネル分用意し、処理することになる。この際、臨場感を高めるためには触覚刺激を与える部位を多くすることが望ましいが、徒に触覚再生に要するデータ量が増大することはシステムの構成上望ましくない。

また、触覚再生のために触覚信号を伝送する際、特に無線伝送を行う際には、伝送路上での妨害によって符号化データのロスが生じ得る。
データロスが生じた場合には、受信側が送信側に対しデータの再送信要求を行うことになり、データの伝送遅延を招き、この伝送遅延に起因して触覚の再現性低下を招く虞がある。具体的には、触覚再生は、例えば音や映像等の他の感覚に係るコンテンツ（以下「感覚コンテンツ」と表記する）と同期再生されることが想定されるが、触覚信号について上記のような伝送遅延が生じた場合には、然るべきタイミングで触覚刺激を与えることができず、他の感覚コンテンツとの間での同期がとれずに触覚の再現性低下を招く虞がある。

本技術は上記の事情に鑑み為されたものであり、その第一の目的は、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再生に係るシステムの効率化を図ることである。
また、本技術の第二の目的は、伝送路上でのデータロスに起因した触覚信号の伝送遅延を生じ難くすることで、伝送遅延に伴う触覚再現性の低下防止を図ることである。

本技術に係る符号化装置は、人体の異なる部位間で異なるデータフォーマットにより触覚信号を符号化する符号化部を備えたものである。

これにより、例えば人体の部位間の触覚感度の差を利用し、触覚感度が低い部位の触覚信号についてデータ配分を少なくする等、人体の部位による触覚特性の違いを考慮した触覚信号のデータ量削減を行うことが可能とされる。

本技術に係る符号化方法は、人体の異なる部位間で異なるデータフォーマットにより触覚信号を符号化する符号化方法である。

このような符号化方法によっても、上記した本技術に係る符号化装置と同様の作用が得られる。

本技術に係る第１のプログラムは、人体の異なる部位間で異なるデータフォーマットにより触覚信号を符号化する符号化機能を情報処理装置に実現させるプログラムである。

このような第１のプログラムにより、上記した本技術に係る符号化装置が実現される。

また、本技術に係る復号装置は、人体の異なる部位間で異なるデータフォーマットにより符号化された触覚信号を復号する復号部を備えるものである。

これにより、例えば人体の部位間の触覚感度の差を利用し、触覚感度が低い部位の触覚信号についてデータ配分を少なくする等、人体の部位による触覚特性の違いを考慮した触覚信号のデータ量削減を行うことが可能とされる。

上記した本技術に係る復号装置においては、前記復号部は、人体の触覚特性が異なる部位間で異なるデータフォーマットとされた触覚信号を復号することが望ましい。

これにより、人体の部位間の触覚感度等の差を利用して触覚信号のデータ量削減を行うことが可能とされる。

上記した本技術に係る復号装置においては、前記復号部は、触覚感度に応じて前記部位へのビット配分を変えるように前記部位ごとのデータフォーマットが定められた触覚信号を復号することが望ましい。

これにより、部位間の触覚特性の違いを考慮した触覚信号のデータ量削減を行うことが可能とされる。

上記した本技術に係る復号装置においては、前記復号部は、異なる前記部位間で量子化ビット長が異なる触覚信号を復号することが望ましい。

これにより、触覚感度が低い（触覚刺激の振幅に関する感度が低い）部位について量子化ビット長を短くして触覚信号のデータ量削減を図ることが可能とされる。

上記した本技術に係る復号装置においては、前記復号部は、異なる前記部位間でサンプリング周波数が異なる触覚信号を復号することが望ましい。

これにより、触覚感度が低い（触覚刺激の周波数に関する感度が低い）部位についてサンプリング周波数を低くして触覚信号のデータ量削減を図ることが可能とされる。

上記した本技術に係る復号装置においては、前記復号部は、異なる前記部位間で量子化ビット長、サンプリング周波数の少なくとも何れかが異なる触覚信号を入力し、前記部位ごとの触覚信号のうち少なくとも何れかの触覚信号について量子化ビット長、サンプリング周波数の少なくとも何れかを変換するフォーマット変換部を有することが望ましい。

これにより、触覚信号についてのＤ／Ａ変換を行うＤ／Ａコンバータを部位による量子化ビット長、サンプリング周波数の違いに応じて複数種類設ける必要がなくなる。

上記した本技術に係る復号装置においては、前記復号部は、前記部位の別を表すインデックス情報が付された前記触覚信号を入力し、前記インデックス情報に基づいて前記部位ごとの前記触覚信号の復号を行うことが望ましい。

これにより、触覚信号の部位の識別について容易性や正確性が高まる。

また、本技術に係る復号方法は、人体の異なる部位間で異なるデータフォーマットにより符号化された触覚信号を復号する復号方法である。

このような復号方法によっても、上記した本技術に係る復号装置と同様の作用が得られる。

さらに、本技術に係る第２のプログラムは、人体の異なる部位間で異なるデータフォーマットにより符号化された触覚信号を復号する復号機能を情報処理装置に実現させるプログラムである。

このような第２のプログラムにより、上記した本技術に係る復号装置が実現される。

また、本技術に係る伝送システムは、人体の部位ごとの触覚信号を前記部位ごとの優先順位に応じて並べる符号化を行って符号化データを生成する符号化部と、前記符号化データを送信する送信部とを有する送信装置と、前記送信部により送信された前記符号化データを受信する受信部と、前記受信部が受信した前記符号化データについて、前記優先順位に従った復号を行う復号部とを有する受信装置と、を備えるものである。

上記のように各部位の触覚信号を優先順位に応じた並びで送信することで、例えば触覚感度の高い部位等、優先させるべき部位の触覚信号のデータロスを生じ難くすることが可能とされ、また、そのように送信される触覚信号を優先順位に従って復号することで、伝送路上でのデータロスが生じても、それが優先させるべき部位の触覚信号でなければ、受信された優先させるべき部位の触覚信号のみが触覚再現の対象となるようにすることが可能とされる。

また、本技術に係る受信装置は、人体の部位ごとの触覚信号を前記部位ごとの優先順位に応じて並べる符号化によって符号化データを生成する送信装置より、前記符号化データを受信する受信部と、前記受信部が受信した前記符号化データについて、前記優先順位に従った復号を行う復号部と、を備えるものである。

送信装置が各部位の触覚信号を優先順位に応じた並びで送信することで、例えば触覚感度の高い部位等、優先させるべき部位の触覚信号のデータロスを生じ難くすることが可能とされ、また、そのように送信される触覚信号を優先順位に従って復号することで、伝送路上でのデータロスが生じても、それが優先させるべき部位の触覚信号でなければ、受信された優先させるべき部位の触覚信号のみが触覚再現の対象となるようにすることが可能とされる。

上記した本技術に係る受信装置においては、前記部位ごとの触覚信号は、人体の触覚特性が異なる部位ごとの触覚信号であることが望ましい。

これにより、触覚再生は触覚特性が異なる部位ごとに行うことが可能とされる。

上記した本技術に係る受信装置においては、前記送信装置は、前記触覚信号を、前記優先順位の高い前記部位から順番に並べて送信し、前記復号部は、前記優先順位が最も低い部位を除き、少なくとも前記優先順位の最も高い前記部位の触覚信号が受信されたことを条件として前記送信装置に肯定応答を行うことが望ましい。

これにより、優先順位の高い部位の触覚信号については短いパケットを用いて信号を送っていることと等価になる。

上記した本技術に係る受信装置においては、前記優先順位は、触覚感度の高さについての優先順位であることが望ましい。

これにより、触覚刺激に対する感度の面で触覚刺激を知覚しやすい部位について、触覚信号のデータロスを生じ難くすることが可能とされる。

上記した本技術に係る受信装置においては、前記送信装置は、前記優先順位の高い前記部位について、冗長性を与えて触覚信号を送信し、前記復号部は、前記冗長性が与えられた前記部位の触覚信号について、少なくとも一つの触覚信号が受信されたことに応じて前記送信装置に肯定応答を行うことが望ましい。

これにより、触覚信号のデータロスを生じ難くすることが可能とされる。

また、本技術に係る復号方法は、人体の部位ごとの触覚信号を前記部位ごとの優先順位に応じて並べる符号化によって符号化データを生成する送信装置より受信された前記符号化データについて、前記優先順位に従った復号を行う復号方法である。

このような復号方法によっても、上記した本技術に係る受信装置と同様の作用が得られる。

さらに、本技術に係る第３のプログラムは、人体の部位ごとの触覚信号を前記部位ごとの優先順位に応じて並べる符号化によって符号化データを生成する送信装置より受信された前記符号化データについて、前記優先順位に従った復号を行う機能を情報処理装置に実現させるプログラムである。

このような第３のプログラムにより、上記した本技術に係る受信装置が実現される。

本技術によれば、第一に、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再生に係るシステムの効率化を図ることができる。
また本技術によれば、第二に、伝送路上でのデータロスに起因した触覚信号の伝送遅延を生じ難くすることで、伝送遅延に伴う触覚再現性の低下防止を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術に係る第一実施形態としての復号装置を含んで構成される触覚再現システムの構成例を示した図である。 第一実施形態としての符号化装置の内部構成例を説明するための図である。 第一実施形態としての復号装置の内部構成例を説明するための図である。 振動検出閾値曲線の説明図である。 受容器ごとの神経発火分布の例を示した図である。 受容器ごとの振動検出閾値曲線についての説明図である。 触覚信号のデジタル化で対象とする振幅範囲と周波数範囲とを例示した図である。 人体の各部位への触覚提示装置の装着例及び各部位の触覚信号のデータ構造例を示した図である。 触覚刺激を知覚できる周波数帯域についての部位ごとの差を例示した図である。 部位ごとに触覚信号のデータフォーマットを異ならせた場合における符号化データの構造例を示した図である。 第一実施形態としての符号化装置の機能構成を示した機能ブロック図である。 触覚信号のフォーマット変換の例を説明するための図である。 オーバーサンプリングに伴うエイリアシングとその除去の例についての説明図である。 触覚信号のオーバーサンプリングについての説明図である。 第一実施形態としての復号装置の機能構成を示した機能ブロック図である。 第二実施形態としての触覚再現システムの構成例を示した図である。 第二実施形態における送信装置の内部構成例を示した図である。 第二実施形態における受信装置の内部構成例を説明するための図である。 手、顔、足の順で触覚感度が高いとした場合における部位ごとのフレームの並び順の例を示した図である。 部位の優先順位に応じて触覚信号に冗長性を与える例の説明図である。 第二実施形態における送信装置の機能構成を示した機能ブロック図である。 第二実施形態における受信装置の機能構成を示した機能ブロック図である。

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．第一実施形態＞
［1-1．触覚再現システムの概要］
［1-2．符号化装置の構成］
［1-3．復号装置の構成］
［1-4．第一実施形態としての触覚再現手法］
（符号化手法）
（符号化側の機能構成）
（復号手法）
（復号側の機能構成）
［1-5．第一実施形態のまとめ］
＜２．第二実施形態＞
［2-1．触覚再現システムの概要］
［2-2．送信装置の構成］
［2-3．受信装置の構成］
［2-4．第二実施形態としての触覚再現手法］
（送信側の機能構成）
（受信側の機能構成）
［2-5．第二実施形態のまとめ］
＜３．本技術＞

ここで、本明細書においては以下のように各用語を定義する。
触覚刺激：例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示：触覚刺激を発生させること。
触覚信号：例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者：触覚提示を受ける人。
触覚特性：人間の触覚に関する特性。部位（手、顔、足等）によって異なる。
触覚感度：触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。触覚感度が高いとは、触覚信号を知覚しやすいこと。
符号化データ：触覚信号を符号化したデータ。下位概念としてストリーム、フレームがある。
なお、ここで言う「触覚感度」は、触覚刺激の振幅に関するものと、触覚刺激の周波数に関するものの２種類があるとする。本明細書において、特に指定の無い限り、「触覚感度」は振幅と周波数の区別を伴わないものとする。

＜１．第一実施形態＞
［1-1．触覚再現システムの概要］

図１は、本技術に係る第一実施形態としての符号化装置（同２）と復号装置（同３）を含んで構成される触覚再現システム１の構成例を示している。
触覚再現システム１は、複数の触覚センサ５が接続された符号化装置２と、符号化装置２との間で所定のネットワーク４を介して通信可能に構成された復号装置３と、復号装置３と接続された複数の触覚提示装置６とを備えている。

触覚センサ５は、触覚刺激のセンシングを行う部分・部品であり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。触覚センサは、センシングの対象物、すなわち本例では人体（又は振動している物体）に接触させることで、振動や運動を電圧変化として出力する。
本例において、各触覚センサ５は符号化装置２に対して有線接続されており、各接触センサ５は対象物としての人体のそれぞれ異なる部位（又は振動している物体）に装着されて各部位に生じる触覚刺激をセンシングする。

符号化装置２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のコンピュータ装置を備えて構成され、各触覚センサ５による検出信号（触覚信号）について所定のデータフォーマットに従った符号化を行い、符号化された触覚信号、すなわち符号化データを例えばインターネット等の所定のネットワーク４を介して復号装置３に送信する。

復号装置３は、ＣＰＵやＤＳＰ等のコンピュータ装置を備えて構成され、ネットワーク４を介して受信した符号化データを復号し、復号後の触覚信号に基づき各触覚提示装置６を駆動する。

触覚提示装置６は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等のデバイスが用いられる。
本例では、各触覚提示装置６は、受触者の人体におけるそれぞれ異なる部位に装着され、それぞれ対応する触覚センサ５でセンシングされた触覚刺激を再現するようにされる。

本例の触覚再現システム１は、触覚センサ５を装着された人物によって知覚される各部位の触覚を、受触者において再現するシステムとして、両者が遠隔に配置された場合にも対応可能なシステムとして構成されている。
また、図１に示す触覚再現システム１の構成によれば、触覚センサ５のセンシングにより得られた触覚信号をネットワーク４経由で復号装置３側に送信することで、触覚の再現を略リアルタイムに行うことが可能とされる。

なお、図１の例では、触覚センサ５、触覚提示装置６の各々の数、すなわち触覚刺激をセンシングし再現する人体の部位の数を三つとしているが、触覚センサ５、触覚提示装置６の数はこれに限定されるものではない。

［1-2．符号化装置の構成］

図２は、符号化装置２の内部構成例を説明するための図である。なお図２では符号化装置２の内部構成例と共に図１に示した各触覚センサ５を併せて示している。
図示のように符号化装置２は、複数の増幅器２１と複数のＡ／Ｄコンバータ２２、及び前処理部２３、符号化部２４、制御部２５、記憶部２６、通信部２７、バス２８を備えている。
図示のように前処理部２３、符号化部２４、制御部２５、記憶部２６、及び通信部２７はバス２８を介して接続され、互いにデータ通信可能とされている。

各触覚センサ５の検出信号は、それぞれ対応する一つの増幅器２１に入力されて適切なダイナミックレンジに調整された後、対応する一つのＡ／Ｄコンバータ２２にそれぞれ入力されてＡ／Ｄ変換(アナログ／デジタル変換)される。
Ａ／Ｄ変換された各検出信号（つまり部位ごとの触覚信号）は、前処理部２３に入力される。前処理部２３においては、ノイズ除去や触覚センサ５のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部２３による信号処理を施された各触覚信号は、符号化部２４に入力される。

符号化部２４は、例えばＤＳＰで構成され、入力された各触覚信号を所定のデータフォーマットに従って符号化する。

制御部２５は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成され、ＲＯＭに記憶されたプログラムに従った処理を実行することで符号化装置２の全体制御を行う。
例えば、制御部２５は、通信部２７を介して外部装置との間でのデータ通信を行う。
通信部２７は、ネットワーク４を介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部２５は、該通信部２７を介して、ネットワーク４に接続された外部装置（特に本例では復号装置３）との間でデータ通信を行うことが可能とされている。特に、符号化部２４により符号化された触覚信号を通信部２７を介して復号装置３に送信させることが可能とされる。

記憶部２６は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶デバイスを包括的に表したものであり、符号化装置２において各種のデータ記憶に用いられる。例えば記憶部２６には、制御部２５による制御に必要なデータが記憶される。また、制御部２５の制御に基づき、記憶部２６に符号化された触覚信号を記憶させることもできる。

［1-3．復号装置の構成］

図３は、復号装置３の内部構成例を説明するための図であり、復号装置３の内部構成例と共に図１に示した各触覚提示装置６を併せて示している。
復号装置３は、複数の増幅器３１と複数のＤ／Ａコンバータ３２、及び後処理部３３、復号部３４、制御部３５、記憶部３６、通信部３７、バス３８を備えている。
後処理部３３、復号部３４、制御部３５、記憶部３６、及び通信部３７はバス３８を介して接続され、互いにデータ通信可能とされている。

制御部３５は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、ＲＯＭに記憶されたプログラムに従った処理を実行することで復号装置３の全体制御を行う。
例えば、制御部３５は、通信部３７を介して外部装置との間でのデータ通信を行う。
通信部３７は、ネットワーク４を介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部３５は、通信部３７を介してネットワーク４に接続された外部装置（特に本例では符号化装置２）との間でデータ通信を行うことが可能とされている。

制御部３５は、通信部３７が符号化装置２より受信した触覚信号（符号化された触覚信号）を復号部３４に入力させる。

記憶部３６は、例えばＨＤＤやＳＳＤ等の記憶デバイスを包括的に表したものであり、復号装置３において各種のデータ記憶に用いられる。例えば記憶部３６には、制御部３５による制御に必要なデータが記憶される。

復号部３４は、符号化された触覚信号を所定のデータフォーマットに従って復号することで、部位ごとの触覚信号を得る。復号部３４で得られた部位ごとの触覚信号は後処理部３３に入力される。

後処理部３３は、入力された部位ごとの触覚信号について、必要に応じて触覚提示装置６の校正や所定のフィルタ処理等の信号処理を施す。

後処理部３３を経た各触覚信号は、それぞれ対応する一つのＤ／Ａコンバータ３２に入力されてＤ／Ａ変換（デジタル／アナログ変換）された後、それぞれ対応する一つの増幅器３１で適切なダイナミックレンジに調整され、対応する一つの触覚提示装置６に出力される。
これにより、各触覚提示装置６が触覚信号に基づき駆動され、ユーザの各部位にそれぞれ対応する触覚刺激を発生させることが可能とされる。

なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を復号装置３側に送信して受触者に音や映像を提供することもできる。

［1-4．第一実施形態としての触覚再現手法］
（符号化手法）

以下、第一実施形態としての触覚再現手法について説明する。
第一実施形態としての触覚再現手法では、人間の触覚特性に着目した手法となる。
人間の触覚感度の目安として、図４に示す振動検出閾値曲線が報告されている。なお図４において、横軸は周波数、縦軸は触覚刺激の振幅（振動：ここでは変位の振幅）の大きさを表す。
図４に示す振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。

ここで、人間の皮膚下には触覚を知覚するための受容器が複数存在することが一般的に知られている。代表的な受容器として、マイスナー、メルケル、ルフィニ、及びパチニが知られている。
マイスナー、パチニはそれぞれ「ＦＡ 1」、「ＦＡ 2」とも呼ばれ、ＦＡは「Fast Adapting」の略称である。メルケル、ルフィニはそれぞれ「ＳＡ 1」、「ＳＡ 2」とも呼ばれ、ＳＡは「Slow Adapting」の略称である。

図５は、物体を皮膚に徐々に押し付け、暫く保持した後に物体を離したときの受容器ごとの神経発火分布を示している。
メルケル（ＳＡ 1）は物体を押し付つけている間は継続して神経発火をしており、強度（変位、圧力）検出をしているとされる。マイスナー（ＦＡ 1）は物体の押し込み量が一定になるまでの区間、つまり速度検出をしているとされる。パチニ（ＦＡ 2）は押し込み量が変化する区間、つまり加速度検出を担っているとされる。

図６に、受容器ごとの振動検出閾値曲線を示す。図４に示した曲線は単独の受容器の特性を示しているわけでなく、図６に示すように複数の受容器によって得られる触覚を合成した特性を示したものである。

図４や図６に示す振動検出閾値曲線からは、人間が１ｋＨｚ程度までの振動を触覚刺激として感じ得ることが示されている。また、これらの図では１ｋＨｚ以上の値が記載されていないが、それ以上の帯域では感度は急激に下がっていくものの実際には数ｋＨｚ程度の周波数の振動でも人間は振動を触覚刺激として知覚し得ることが知られている。

従来における触覚再現のアプリケーションにおいては、殆どの場合、高くても２００Ｈｚ程度までの振動をターゲットにしている。これは、人間の触覚感度が最も高いのが２００Ｈｚ程度であることに起因している。

しかしながら、上記の通り人間は１ｋＨｚまでの振動を触覚刺激として感じられることは過去の様々な実験から明らかにされており、従来のアプリケーションでは高い現実感を持つ触覚を再現することは困難であると言わざるを得ない。
例えば、ビンのコルク栓を抜いた際の振動は、現実では数ｋＨｚといった高い周波数を含んでいる。これを数１００Ｈｚまでしか再現しなければ、現実とは全く異なる触覚しか得られない。

そこで、本例では、触覚信号と触覚提示装置６の特性を１ｋＨｚ程度まで広帯域化することで、より現実感を高めることとする。
具体的に本例では、現実に発生した振動等の触覚刺激をセンシングして触覚信号を得、該触覚信号によって触覚提示を行うという手法を採る。

近年はあらゆる情報がデジタル化されて利用されるが、触覚信号についても同様にデジタル化して扱うことを考える。
デジタル化されたデータ量は、単位時間当たりに必要なビット数、つまりビットレートで考えることができる。例えば、図４に示した振動検出閾値曲線において人間が感じることのできる領域は、少なくとも、縦軸（振動）が５０ｄＢ（－２０ｄＢ～３０ｄＢ）以上、横軸が１０００Ｈｚ程度である。本例では、実際に人間の感じる触覚信号の分布を考慮し、閾値曲線から＋２０ｄＢの範囲の信号をセンシングすることとする。
具体的には、図７に示すように、振動の範囲が７０ｄＢ（－２０ｄＢ～５０ｄＢ）であるとする。

この信号をＬＰＣＭ（Linear Pulse Code Modulation）にてデジタル化する場合、１ビットで表現できるのは６ｄＢであるから縦軸については１２ｂｉｔ、１０００Ｈｚまでを再現するためには２倍のサンプリング周波数である２０００Ｈｚ（sample/sec)が必要となるから、必要なビットレートＢ０は以下の［式１］で求められる。

Ｂ０＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式１］

この値自体は、例えば音声信号の代表的フォーマットであるＣＤのビットレート＝７００kbps/chと比べると非常に小さいため、この触覚信号を何らかのシステムに付加的に組み込んだとしても大きな問題となる可能性は少ないように見える。

しかしながら、先に示したように人間が感じることのできる触覚信号の帯域は数ｋＨｚまでに及ぶことが分かっている。例えば触覚信号を２０００Ｈｚまで再現する場合、ビットレートは［式１］に比べて２倍の４８kbit/secとなる。

また、触覚は視覚(二つの目)と聴覚(二つの耳)と違って人間の体表面のあらゆる場所に存在している。両手の指先だけを考えても１０か所あり、これらすべての触覚信号を扱おうとすれば、ビットレートはさらに１０倍の４８０kbit/secとなる。指の関節ごと、手の平と場所を増やしていくとビットレートは飛躍的に増大してしまう。

さらに、触覚信号は基本的に１次元信号であるが、振動という物理現象は３軸（ｘ、ｙ、ｚ）で捉えることができる。これを全て扱おうとすると、さらに３倍の１４４０kbit/secというビットレートが必要となるが、この値はオーディオＣＤの１４１１kbit/secを超える大きなものとなる。

このように、一つの触覚信号に係るビットレートはそれほど大きくないものの、人間が感知できる触覚を考えると膨大な量となり、触覚信号を扱うシステムに大きな負荷を与えることは確実である。

そこで本実施形態では、人体の部位ごとの触覚感度の差に着目する。
人体の部位ごとの受容器の種類・分布・感度は大きく異なっており、その特徴はいわゆる「体性感覚のホムンクルス」「感覚の小人」と言われるモデルによって表される（例えばhttp://web2.chubu-gu.ac.jp/web_labo/mikami/brain/32/index-32.html等を参照）。
これら「体性感覚のホムンクルス」「感覚の小人」の図は、人体の各部位の触覚を処理する脳の担当領域の大きさに応じて、各部位を定量的にデフォルメして示したものである。しかし、これは各部位の触覚受容器の種類・分布・感度の違いを直接的に示すものではない。また、人間の各部位ごとの触覚受容器の種類・分布・感度が完全に調べられ、解明されているわけでもない。
しかし、触覚を用いる繊細な作業は足でなく手を使ったり、腹や背では手のように物体のザラザラ感が分かり難かったりと、部位ごとに触覚感度が異なる点については人間の日常生活から定性的・定量的に実感することは十分に可能であることから、各部位が全く同じ触覚特性を持っているわけではないことは容易に想像できる。分かりやすい例と挙げると、特に指には指紋があり、これにより触覚の感度が高まっているとの報告・検証が多数為されている。背や腹には指紋がないことからも、触覚信号を単一の符号化方式で賄うことは難しいと考えられる。

また、人間は一つの感覚に集中すると他の感覚に対する感度が弱くなるということが広く知られている。具体的には、人間は音だけを評価している場合は音質劣化に敏感である。しかし、音と映像を同時に評価している場合には映像の劣化には敏感となるが、音の劣化には鈍感になる。これは、人間の知覚メカニズムとして、聴覚よりも視覚が優位であるために起こる現象である。

また、音単独であっても、様々な音源が混じり合った音から、特定の話者だけの話に意識を向けると、その音だけをより明確に聞くことができる。いわゆるカクテルパーティ効果として古くから知られている。

さらに、映像単独であっても、人間は視野に入っている全ての対象物を認識しているわけではない。街並みから看板や建物を除去して雑踏の中から家族や知り合いを見つけ出したり、特にその顔（表情）に着目して感情を読み取ったり、と取捨選択を常時行っている。

このような効果は触覚単独についても言うことができ、例えば手の触覚に集中しているときは手の感度が最大限に活用されているが、その代わりに他の部位の感度がより下がってしまうことがある。例えば、何もしていないときには足にあたる弱い風を感じたとしても、手を使って繊細な作業を集中して行っているときには、足の風を感じないこともあり得る。

このように、物理量に対する人間の感覚とは絶対的なものではなく、人間の意識がどこに向いているかによって大きく性質が異なる。音や映像の知覚符号化技術が広く一般化されているが、これら技術はこの人間の感覚特性を利用しているものと言える。これら技術は、聴覚や視覚のメカニズムがかなりの部分解明されており、それを積極的に利用しているからこそ発展してきたものである。

一方、触覚の知覚メカニズム、特にセンサとしての触覚受容器に関しては未解明な点が多いものの、触覚に対する脳の処理領域に関する研究や、日常から体感できて当然のように知覚されている効果を利用することで、従来にない触覚信号の効率的な符号化・伝送・復号を実現することは可能であると言える。
但し、聴覚・視覚の場合と同様な人間の触覚特性を利用した触覚信号の効率的な符号化・伝送・復号に関する技術は、未だ確立されていないのが現状である。

触覚は人体の全身に分布するため、人体のあらゆる位置に触覚提示装置６が装着され、独立に振動する触覚提示デバイスが複数使用されることが考えられる。
具体例として、図８を示す。
図８の例は、物体の振動を人間の手や指先以外の、顔、腹、足等の各部位に触覚再生デバイスを装着し、振動を与えるものである。オーディオは基本的に両耳の２ｃｈ（チャネル）分の信号を再生するが、場合によっては５．１ｃｈ、７．１ｃｈ、それ以上のｃｈのオーディオ信号を再生する場合がある。このとき、各ｃｈのオーディオ信号はどの方向・位置のスピーカから再生されるかを決めておかなければ、狙いどおりの再生をすることができない。

触覚信号もオーディオ信号と同様に、どのｃｈがどの部位を振動させるのかを示す情報が必要となる。
また、触覚信号はインターネット経由や無線で伝送されること等を想定すると、デジタル化されたデータとして考えることが当然である。この場合、デジタル化された触覚信号はフレームと呼ばれる一定の時間単位を持つデータとして取り扱う必要がある。

このため、図８に示すようなデータ構造が必要となる。
本例では、部位ごとの触覚信号（ＰＣＭデータ）は、それぞれ個別のフレームに格納する。フレームは、図示のようにフレームヘッダとしての領域と触覚信号の実データを格納する領域とを有する。フレームヘッダには、フレームについてのヘッダ情報として、少なくともどの部位の触覚信号であるかを表す情報を格納する。

さらに、部位ごとのフレームを統合し、ストリームと呼ばれる単位のデータとする。ストリームには、ストリームヘッダとしての領域と各部位のフレームを格納する領域とが設けられる。ストリームヘッダには、ヘッダ情報として、デジタル化された触覚信号の仕様を表す情報（量子化ビット長やサンプリング周波数、ストリームのデータサイズ等）や、ストリーム内に含まれるフレーム数の情報等を格納する。

このような各部位の触覚信号についての符号化を行い、触覚信号の伝送の際には、図示のように各時間のストリームが時間軸上に並べられた態様による符号化データを取り扱う。
上記のような符号化を行うことで、触覚信号の伝送や再生について高い利便性を得ることができる。

ここで、前述のように、触覚信号を与える部位を増やすと触覚信号のビットレートは比例して増加し、システムに大きな負荷を与える。そこで、本実施形態では、部位ごとの触覚特性を考慮し、部位ごとに触覚信号のビット配分を異ならせることで、部位全体の触覚信号で捉えた場合のビットレートの低減を図る。

ここでは説明の簡単化のため、人体の手と足に対してそれぞれ１箇所ずつ触覚提示を行う場合を考える。基本的な条件を［式１］と同じとすると、この場合に必要な総ビットレートＢ（hand+foot）は下記［式２］のように求められる。

Ｂ（hand+foot）＝１２bit/sample×２０００sample/sec×２＝４８kbit/sec・・・［式２］

先の説明から理解されるように、人間の手と足の触覚を処理する脳領域の比率を見ると大きく異なるものとなっている。手と足の触覚特性（例えば感度）が正確に何倍というレベルでの数値化はされていないが、手が足に対して触覚感度の面で優位ということは経験上からも明らかであるため、手の感度（S-hand）を基準としたときの足の感度（S-foot）の変換係数（Ｗ）を下記［式３］で表すこととする。

S-foot＝Ｗ×S-hand（Ｗ＜１．０）・・・［式３］

なお、本来は手であっても各指や手の平で触覚感度は異なるが、ここでは説明の簡単化のために「手」「足」といった部位単位で考えている。

上記の変換係数Ｗについて、例えばＷ＝０．２５であると仮定すると、１ｂｉｔは６ｄＢ（２倍）に相当するため、手の触覚信号に対して必要な量子化ビット長の１２ｂｉｔに対し、足の触覚信号に必要な量子化ビット長は１０ｂｉｔとなり、総ビットレートＢ（hand+fooｔ）は以下のように求めることができる。

Ｂ（hand）＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式４］
Ｂ（foot）＝１０bit/sample×２０００sample/sec＝２０kbit/sec・・・［式５］
Ｂ（hand+foot）＝４４kbit/sec・・・［式６］

上記の例では［式２］から１０％程度しかビットレートは低減できていないが、さらに足は手より１／２倍の周波数までしか知覚できない、という仮定をすると、総ビットレートＢ（hand+foot）は以下のように求めることができる。

Ｂ（hand）＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式７］
Ｂ（foot）＝１０bit/sample×１０００sample/sec＝１０kbit/sec・・・［式８］
Ｂ（hand+foot）＝３４kbit/sec・・・［式９］

これにより、［式２］からビッレートを約３０％低減することができる

部位ごとにサンプリング周波数と量子化ビット長を異ならせることについての他の例を以下に示す。
本例では、手、顔、及び足への触覚刺激を与える場合を考える。
この場合、顔及び足についても手と同様のサンプリング周波数及び量子化ビット長を設定したとすると、総ビットレートＢ（hand+face+foot）は、

Ｂ（hand+face+foot）＝７２kbit/sec・・・［式１０］

と表される。

ここで、例えば顔、足それぞれの感度係数を以下のようにおく。

S-face＝Ｗ-face×S-hand（Ｗ＝０．５）・・・［式１１］
S-foot＝Ｗ-foot×S-hand（Ｗ＜０．２５）・・・［式１２］

つまり、手の触覚信号に必要とされる量子化ビット長を１２ｂｉｔとすると、顔の量子化ビット長は１１ｂｉｔ、足の量子化ビット長は１０ｂｉｔとなる。

また、ここでは、手、顔、足の各部位で触覚刺激を知覚できる周波数帯域が異なることを前提とする。
具体的に、例えば図９に示すように、手は１ｋＨｚまで（図９Ａ参照）、顔は５００Ｈｚまで（図９Ｂ参照）、足は２５０Ｈｚまで（図９Ｃ参照）の周波数帯域の振動のみを知覚できるものと仮定する。

上記の条件において、この場合の手の触覚信号に必要な量子化ビット長を１２ｂｉｔとおくと、総ビットレートＢ（hand+face+foot）は以下のように求めることができる。

Ｂ（hand）＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式１３］
Ｂ（face）＝１１bit/sample ×１０００sample/sec＝１１kbit/sec・・・［式１４］
Ｂ（foot）＝１０ bit/sample×５００sample/sec＝５kbit/sec ・・・［式１５］
Ｂ（hand+face+foot）＝４０kbit/sec・・・［式１６］

これにより、［式１０］の場合と比較して総ビットレートを約４５％低減することができる。

図１０は、上記のように部位ごとに触覚信号のデータフォーマットを異ならせた場合における符号化データの構造例を示している。ここでは一例として、［式９］の場合に対応したフレームのデータ構造、及びストリームのデータ構造を示している。
図示のように、部位ごとのフレームのヘッダには、それぞれその部位の触覚信号についての量子化ビット長とサンプリング周波数を示す値を格納する。これにより、部位ごとに触覚信号のデータフォーマットが異なっていても、復号装置３側においてフレームに格納される触覚信号についてのデータフォーマットを容易に特定することが可能とされる。
触覚信号と同様の一次元信号であるオーディオ信号の場合、その信号が複数のフレーム（またはチャネル）で構成されていたとしても、それら全てのフレーム（またはチャネル）は同じフォーマットであることが一般的であるため、量子化ビット長とサンプリング周波数はストリームのヘッダにのみ書けば良い。上記のように部位ごとに触覚信号のデータフォーマットを異ならせた場合はオーディオ信号のそれに比べると複雑にはなるが、全てのフレームを同じデータフォーマットとしなくてよいので、ビットレートの面では効率は高く、有利である。

ここで、上記では、サンプリング周波数や量子化ビット長を静的に定める、すなわち部位ごとのビット配分を静的に定めることを前提としたが、例えば経時的な条件変化に応じて、部位ごとのビット配分を動的に変化させることもできる。
具体例として、何らかの要因により一時的に伝送路でのビットレートが制限され、該制限されたビットレートに対し、各部位の触覚信号の総ビットレートが収まりきらなくなった場合を考える。
この場合には、制限されたビットレートに収まり切るように、特定の部位のサンプリング周波数や量子化ビット長を制限して、該部位のビット配分を少なくする。この際、制限を与える部位は、触覚感度が低い部位、すなわちこれまでの例では顔や足とすることが触覚の再現性低下を抑制する上で望ましい。

また、一方で、感度が高い部位の触覚信号であっても、そもそも信号自体が存在しない、つまり信号振幅が知覚可能な振幅に達していないのであれば、伝送する必要性に乏しいと言える。そこで、このように信号振幅が小さい部位の触覚信号については、ビット配分を少なくすることも可能である。

一例として、触覚刺激を与える部位が手、顔、足であるとする。この場合、符号化装置２では、各部位の触覚信号の振幅値を監視し、信号振幅が小さい、具体的には信号振幅が、人が知覚可能な振幅値に達していない部位の有無を判定する。この判定は、例えばストリームにおける各フレームについて行う。なお、人が知覚可能な振幅値に達しているか否かの判定は、図４に示した振動検出閾値曲線に基づき行うことができる。
判定の結果、触覚信号の振幅値が知覚可能な振幅値に達していないとされた部位については、ビット配分を少なくする。具体的には、ビット配分をゼロとする。
例えば、知覚可能な振幅値に達していないとされた部位が顔と足のみであった場合、

Ｂ（hand）＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式１７］
Ｂ（face）＝０kbit/sec・・・［式１８］
Ｂ（foot）＝０kbit/sec ・・・［式１９］
Ｂ（hand+face+foot）＝２４kbit/sec・・・［式２０］

によるビット配分とする。
或いは逆に、知覚可能な振幅値に達していないとされた部位が手のみであった場合には、以下のようなビット配分とする。

Ｂ（hand）＝０kbit/sec・・・［式２１］
Ｂ（face）＝１１bit/sample ×２０００sample/sec＝２２kbit/sec・・・［式２２］
Ｂ（foot）＝１０ bit/sample×２０００sample/sec２０kbit/sec ・・・［式２３］
Ｂ（hand+face+foot）＝４２kbit/sec・・・［式２４］

なお、［式２２］［式２３］について、顔、足のサンプリング周波数は手についてのサンプリング周波数と同じとしたが、これよりも低いサンプリング周波数とすることも可能である（［式１４］［式１５］参照）。

上記のようなビット配分とすることで、制限のある条件においても必要な触覚信号を伝送することができる。

（符号化側の機能構成）

図１１は、上記した符号化手法を実現するための符号化装置２の機能構成を示した機能ブロック図である。
図示のように符号化装置２は、取得部Ｆ２１と符号化部Ｆ２２としての機能を有する。また、符号化部Ｆ２２は、フォーマット変換部Ｆ２３としての機能を有する。
取得部Ｆ２１は、人体の部位ごとの触覚信号を取得する。この取得部Ｆ２１は、本例では増幅器２１やＡ／Ｄコンバータ２２が該当する。

符号化部Ｆ２２は、取得部Ｆ２１が取得した部位ごとの触覚信号について、人体の異なる部位間でデータフォーマットが異なるように符号化を行う。
本例の符号化部Ｆ２２は、フォーマット変換部Ｆ２３により、触覚感度に応じて部位へのビット配分を変えるように符号化を行う。具体的には、触覚感度が低い部位へのビット配分を少なくするように符号化を行う。すなわち、例えば［式７］［式８］や［式１３］［式１４］［式１５］のように、触覚感度が低い部位の触覚信号の量子化ビット長を短く、またサンプリング周波数を低くする。

また、本例の符号化部Ｆ２２は、フォーマット変換部Ｆ２３により、信号振幅が小さい部位へのビット配分を少なくする。具体的には、例えば触覚信号の振幅値が知覚可能な振幅値に達していない部位について、例えば［式７］［式８］や［式１３］［式１４］［式１５］のように触覚信号の量子化ビット長を短く、またサンプリング周波数を低くする。
或いは、例えば触覚信号の振幅値が知覚可能な振幅値に達していない部位がある場合、該部位の触覚信号については、［式１７］［式１８］［式１９］や［式２１］［式２２］［式２３］のようにビット配分をゼロとする。

さらに、本例の符号化部Ｆ２２は、部位ごとに、触覚信号に対し部位の別を表すインデックス情報を付す。具体的には、図１０に例示したように触覚信号のフレームヘッダに部位の別を表す情報を格納する。

本例では、上記した符号化部Ｆ２２としての機能は、符号化部２４により実現される。
部位により触覚信号の量子化ビット長やサンプリング周波数を異ならせるにあたっては、例えば、各Ａ／Ｄコンバータ２２として量子化ビット長やサンプリング周波数が同一とされたものを用い、符号化部２４がＡ／Ｄ変換後の各触覚信号のうち、変換が必要とされる部位の触覚信号について、量子化ビット長やサンプリング周波数の変換処理を行う。

なお、部位により触覚信号の量子化ビット長やサンプリング周波数を異ならせる機能については、Ａ／Ｄコンバータ２２として量子化ビット長やサンプリング周波数が異なるものを用いることで実現することも可能である。その場合、各Ａ／Ｄコンバータ２２は符号化部Ｆ２２の機能を担うことになる。

（復号手法）

本実施形態の復号装置３は、符号化装置２による符号化で得られた触覚信号、すなわち、人体の異なる部位間で異なるデータフォーマットとされた触覚信号について、部位ごとのデータフォーマットに従った再生を行う。

ここで、触覚信号は一次元信号であり、そのデータの取扱いは基本的には音声信号と同様に考えることができる。音声信号は各ｃｈにおいて量子化ビット長やサンプリング周波数は同一であることが一般的であり、再生側において、Ｄ／Ａコンバータ３２としては各ｃｈで同一仕様のものを用いることができる。一方、本実施形態では、ｃｈにより量子化ビット長やサンプリング周波数が異なるため、ｃｈ間で異なる仕様のＤ／Ａコンバータ３２を用いることが想定される。そのため、復号装置３の構成の複雑化や、それに伴うコストの増加が懸念される。

そこで、本例では、図１２に示すように、各部位の触覚信号を再生する際、少なくとも一つの部位の触覚信号についてフォーマット変換処理を行う。図１２の例では、手の触覚信号の量子化ビット長＝１２ｂｉｔ、サンプリング周波数＝２ｋＨｚに対し足の触覚信号の量子化ビット長＝１０ｂｉｔ、サンプリング周波数＝１ｋＨｚとされた場合において、手の触覚信号のデータフォーマットに揃えるべく、足の触覚信号に対しフォーマット変換を施した場合を示している。

このようなフォーマット変換を行うことで、各部位の触覚信号のデータフォーマットを揃えることができ、Ｄ／Ａコンバータ３２として同一仕様のものを用いることができる。

この際、特にサンプリング周波数を一定の値に揃えやすいようにするために、符号化装置２側において、部位間のサンプリング周波数の比率を整数倍とすることが望ましい。例えば、図１２の例のように１０００samle/secと２０００sample/secとしておけば、前者を後者に合わせるために２倍のオーバーサンプリングをすればよい。

ここで、音声信号のオーバーサンプリングをする場合、仮に８０００sample/secから１６０００sample/secへのオーバーサンプリングを考えると、再生周波数において４０００Hz～８０００Hzにエイリアシング成分が発生し、これが聞こえてしまうため、ＬＰＦ（Low Pass Filter）が必須である。これを図１３に示す。

しかしながら、触覚信号の場合、感じることのできる周波数の範囲は１ｋＨｚ程度（サンプリング周波数＝２ｋＨｚ)までと言われている。また、そもそも触覚提示装置６の再生範囲もその程度となっている場合が多い。このため、触覚信号のオーバーサンプリングは音声信号の場合とは異なり、ＬＰＦを設けることが必須とはならない。

例えば、Ｄ／Ａコンバータ３２は音声用途(信号帯域で言うと４ｋＨｚ、つまりサンプリング周波数＝８ｋＨｚ程度が下限)に使わることが多いため、２ｋＨｚというサンプリング周波数に対応したものは一般的ではない。このため、いくら触覚信号を２ｋＨｚという仕様で効率化したとしても、一般的なＤ／Ａコンバータ３２ではそのまま再生できないことになる。

そこで、一般的なＤ／Ａコンバータ３２を使用可能とすべく、各部位の触覚信号について、例えば８ｋＨｚ以上のサンプリング周波数等、所定のサンプリング周波数に変換するためのオーバーサンプリング処理を施す。
例えばサンプリング周波数を２ｋＨｚから８ｋＨｚとするオーバーサンプリング処理を単純なゼロ値補間で行った場合、信号帯域で言うと１ｋＨｚ～４ｋＨｚにエイリアシングが発生することになるが、前述のとおり、この周波数帯域は触覚感度がとても低い領域であるため、ＬＰＦを省略しても問題がない。また、このエイリアスを触覚提示装置６自体が再生できないとすれば、やはりＬＰＦを省略できる。このイメージを図１４に示す。

（復号側の機能構成）

図１５は、復号装置３の機能構成を示した機能ブロック図である。
図示のように復号装置３は、取得部Ｆ３１と復号部Ｆ３２としての機能を有する。また、復号部Ｆ３２は、フォーマット変換部Ｆ３３としての機能を有する。

取得部Ｆ３１は、人体の異なる部位間で異なるデータフォーマットとされた触覚信号を取得する。本例における取得部Ｆ３１は、符号化装置２より送信される部位ごとの触覚信号を取得する部分が該当し、本例では、通信部３７が該当する。

本例の取得部Ｆ３１は、触覚感度に応じて前記部位へのビット配分を変えるように前記部位ごとのデータフォーマットが定められた触覚信号を取得する。具体的には、触覚感度が低い部位へのビット配分を少なくするように部位ごとのデータフォーマットが定められた触覚信号を取得する。すなわち、例えば［式７］［式８］や［式１３］［式１４］［式１５］のように、触覚感度が低い部位について、量子化ビット長を短く、またサンプリング周波数を低くされた触覚信号を取得する。

また、本例の取得部Ｆ３１は、触覚信号として、信号振幅が大きい部位へのビット配分が多くされた触覚信号を取得する。具体的には、例えば触覚信号の振幅値が知覚可能な振幅値に達しているか否かを基準とした信号振幅の大きさに基づき、例えば［式７］［式８］や［式１３］［式１４］［式１５］のように量子化ビット長を短く、またサンプリング周波数を低くされた触覚信号を含む、各部位の触覚信号を取得する。
或いは、例えば触覚信号の振幅値が知覚可能な振幅値に達していないことに応じ、［式１７］［式１８］［式１９］や［式２１］［式２２］［式２３］のように一部の部位についてビット配分がゼロとされた場合における、ビット配分が非ゼロとされた部位の触覚信号を取得する。

さらに、本例の取得部Ｆ３１は、部位ごとに、部位の別を表すインデックス情報が付された触覚信号を取得する。具体的には、図１０に例示したようにフレームヘッダに部位の別を表す情報が格納された触覚信号を取得する。

また、復号部Ｆ３２は、取得部Ｆ３１が取得した触覚信号を復号する。本例の復号装置３において、この復号部Ｆ３２を実現するための構成は、少なくとも復号部３４を含む部分となる。
本例の復号部Ｆ３２は、フォーマット変換部Ｆ３３により、部位ごとの触覚信号のうち少なくとも何れかの触覚信号について量子化ビット長、サンプリング周波数の少なくとも何れかを変換する。なお、Ｄ／Ａコンバータ３２の仕様との関係で、サンプリング周波数のみを変換すべき場合は量子化ビット長の変換は不要であり、逆に量子化ビット長のみを変換すべき場合はサンプリング周波数の変換は不要である。
フォーマット変換部Ｆ３３としての機能は、復号部３４により実現される。

なお、前述のように触覚信号の量子化ビット長やサンプリング周波数は、信号振幅の大きさについての判定結果等に基づき、経時的に変化することがある。本例ではフレームヘッダに量子化ビット長やサンプリング周波数の情報が格納されるため、このように量子化ビット長やサンプリング周波数が経時的に変化しても、フレームヘッダにおいてその値が示される。
フォーマット変換部Ｆ３３は、各部位の触覚信号について、フレームヘッダに格納される量子化ビット長やサンプリング周波数の情報に基づき、フォーマット変換の処理内容、具体的にはオーバーサンプリング処理等の処理内容を変化させる。
これにより、触覚信号の量子化ビット長やサンプリング周波数が経時的に変化する場合であっても、触覚信号のＤ／Ａ変換が適正に行われるようにすることができる。

また、本例の復号部Ｆ３２は、触覚信号に付された部位の別を表すインデックス情報に基づいて、部位ごとの触覚信号の復号を行う。具体的に、復号部Ｆ３２（復号部３４）は、フレームヘッダに格納された部位の別を表す情報に基づき、触覚信号の部位を特定し、その部位に応じた処理を行う。例えば、その部位に対応する出力ｃｈに触覚信号を出力する等の処理を行う。

なお、上記では触覚の再現を略リアルタイムに行う例を挙げたが、上記で説明した手法により符号化された触覚信号を所定の記憶媒体に記憶させておき、必要に応じて読み出して再生するシステムを構築することもできる。この場合、符号化データは、所定形式によるデータファイルとして記憶媒体に記憶させることができる。また、このデータファイルに対しては、ユーザによる加工、編集を行うことを可能として、該加工、編集に伴う付加情報のタグ付け等が行われてもよい。
上記の記憶媒体としては、例えば光ディスクやメモリカード等のリムーバブルメディアとされてもよく、その場合、例えばパーソナルコンピュータ等とされた復号装置３が該リムーバブルメディアに記憶された触覚信号のデータファイルを読み出して再生する構成とすること等が考えられる。
また、別の例としては、クラウドのストレージサーバに保存された触覚信号のデータファイルを、クライアント端末としての復号装置３がネットワーク４を介して取得し再生することも考えられる。

また、上記では、触覚信号のデータフォーマットについて、部位ごとにデータフォーマットを異ならせる（つまり全ての部位の触覚信号のデータフォーマットが異なる）場合を例示したが、一部の部位間でデータフォーマットが同じとされてもよい。すなわち、触覚信号のデータフォーマットについては、少なくとも、異なる部位間で異なっていればよい。

ここで、図１１や図１５を参照して説明した符号化部Ｆ２２や復号部Ｆ３２としての機能は、ＣＰＵ等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、ＣＰＵ等のコンピュータ装置が読み出し可能な記憶装置に記憶される。

［1-5．第一実施形態のまとめ］

上記のように第一実施形態としての符号化装置（同２）は、人体の異なる部位間で異なるデータフォーマットにより触覚信号を符号化する符号化部（同Ｆ２２）を備えたものである。

これにより、例えば人体の部位間の触覚感度の差を利用し、触覚感度が低い部位の触覚信号についてデータ配分を少なくする等、人体の部位による触覚特性の違いを考慮した触覚信号のデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

また、第一実施形態としての符号化装置においては、符号化部は、人体の触覚特性が異なる部位間で異なるデータフォーマットにより触覚信号を符号化している。

これにより、人体の部位間の触覚感度等の差を利用して触覚信号のデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

さらに、第一実施形態としての符号化装置においては、符号化部は、触覚感度に応じて部位へのビット配分を変えるように触覚信号を符号化している。

これにより、部位間の触覚特性の違いを考慮した触覚信号のデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

さらにまた、第一実施形態としての符号化装置においては、符号化部は、異なる部位間で量子化ビット長が異なるように触覚信号を符号化している。

これにより、触覚感度が低い（触覚刺激の振幅に関する感度が低い）部位について量子化ビット長を短くして触覚信号のデータ量削減を図ることが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

また、第一実施形態としての符号化装置においては、符号化部は、異なる部位間でサンプリング周波数が異なるように触覚信号を符号化している。

これにより、触覚感度が低い（触覚刺激の周波数に関する感度が低い）部位についてサンプリング周波数を低くして触覚信号のデータ量削減を図ることが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

さらに、第一実施形態としての符号化装置においては、符号化部は、部位ごとの触覚信号のうち少なくとも何れかの触覚信号について量子化ビット長、サンプリング周波数の少なくとも何れかを変換するフォーマット変換部（同Ｆ２３）を有している。

このように量子化ビット長、サンプリング周波数の少なくとも何れかが異なる符号化を行うことで、データ量削減を図ることが可能とされる。

さらにまた、第一実施形態としての符号化装置においては、符号化部は、触覚信号の信号振幅が大きい部位へのビット配分を多くする符号化を行っている。

これにより、例えば信号振幅が知覚可能な振幅に達していない等、信号振幅が小さい部位、すなわち信号振幅の大きさの面で触覚刺激を知覚し難いと推定される部位の触覚信号については、例えば信号自体を伝送しないことも含めて、ビット配分が少なくされる。
従って、部位ごとの触覚特性の違いを考慮した触覚信号のデータ量削減が行われるため、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

また、第一実施形態としての符号化装置においては、符号化部は、触覚信号に部位の別を表すインデックス情報を付す符号化を行っている。

これにより、触覚信号の部位の識別について容易性や正確性が高まり、復号装置の構成の容易化及びコスト削減や、部位ごとの触覚再現の正確性向上を図ることができる。

また、第一実施形態としての符号化方法は、人体の異なる部位間で異なるデータフォーマットにより触覚信号を符号化する符号化方法である。

このような符号化方法によっても、上記した第一実施形態としての符号化装置と同様の作用及び効果が得られる。

さらに、第一実施形態としての符号化側のプログラムは、人体の異なる部位間で異なるデータフォーマットにより触覚信号を符号化する符号化機能を情報処理装置に実現させるプログラムである。

このような第一実施形態としての符号化側のプログラムにより、上記した第一実施形態としての符号化装置を実現することができる。

また、第一実施形態としての復号装置（同３）は、人体の異なる部位間で異なるデータフォーマットにより符号化された触覚信号を復号する復号部（同Ｆ３２）を備えるものである。

これにより、例えば人体の部位間の触覚感度の差を利用し、触覚感度が低い部位の触覚信号についてデータ配分を少なくする等、人体の部位による触覚特性の違いを考慮した触覚信号のデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

また、第一実施形態としての復号装置においては、復号部は、人体の触覚特性が異なる部位間で異なるデータフォーマットとされた触覚信号を復号している。

これにより、人体の部位間の触覚感度等の差を利用して触覚信号のデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

さらに、第一実施形態としての復号装置においては、復号部は、触覚感度に応じて前記部位へのビット配分を変えるように前記部位ごとのデータフォーマットが定められた触覚信号を復号している。

これにより、部位間の触覚特性の違いを考慮した触覚信号のデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

さらにまた、第一実施形態としての復号装置においては、復号部は、異なる部位間で量子化ビット長が異なる触覚信号を復号している。

これにより、触覚感度が低い（触覚刺激の振幅に関する感度が低い）部位について量子化ビット長を短くして触覚信号のデータ量削減を図ることが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

また、第一実施形態としての復号装置においては、復号部は、異なる部位間でサンプリング周波数が異なる触覚信号を復号している。

これにより、触覚感度が低い（触覚刺激の周波数に関する感度が低い）部位についてサンプリング周波数を低くして触覚信号のデータ量削減を図ることが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

さらに、第一実施形態としての復号装置においては、復号部は、異なる前記部位間で量子化ビット長、サンプリング周波数の少なくとも何れかが異なる触覚信号を入力し、前記部位ごとの触覚信号のうち少なくとも何れかの触覚信号について量子化ビット長、サンプリング周波数の少なくとも何れかを変換するフォーマット変換部（同Ｆ３３）を有している。

これにより、触覚信号についてのＤ／Ａ変換を行うＤ／Ａコンバータを部位による量子化ビット長、サンプリング周波数の違いに応じて複数種類設ける必要がなくなる。
従って、復号装置の構成の簡易化、及びコスト削減を図ることができる。

さらにまた、第一実施形態としての復号装置においては、復号部は、触覚信号として、信号振幅が大きい部位へのビット配分が多くされた触覚信号を復号している。

これにより、例えば信号振幅が知覚可能な振幅に達していない等、信号振幅が小さい部位、すなわち信号振幅の大きさの面で触覚刺激を知覚し難いと推定される部位の触覚信号については、例えば信号自体を伝送しないことも含めて、ビット配分が少なくされる。
従って、部位ごとの触覚特性の違いを考慮した触覚信号のデータ量削減が行われるため、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再生に係るシステムの効率化を図ることができる。

また、第一実施形態としての復号装置においては、復号部は、部位の別を表すインデックス情報が付された触覚信号を入力し、インデックス情報に基づいて部位ごとの触覚信号の復号を行っている。

これにより、触覚信号の部位の識別について容易性や正確性が高まり、復号装置の構成の容易化及びコスト削減や、部位ごとの触覚再現の正確性向上を図ることができる。

また、第一実施形態としての復号方法は、人体の異なる部位間で異なるデータフォーマットにより符号化された触覚信号を復号する復号方法である。

このような第一実施形態としての復号方法によっても、上記した第一実施形態としての復号装置と同様の作用及び効果を得ることができる。

また、第一実施形態としての復号側のプログラムは、人体の異なる部位間で異なるデータフォーマットにより符号化された触覚信号を復号する復号機能を情報処理装置に実現させるプログラムである。

このようなプログラムによって、上記した第一実施形態としての復号装置を実現することができる。

＜２．第二実施形態＞
［2-1．触覚再現システムの概要］

続いて、第二実施形態について説明する。
第二実施形態は、触覚信号の伝送遅延について対策するものである。
図１６は、第二実施形態としての触覚再現システム１Ａの構成例を示している。
なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。

図１６において、触覚再現システム１Ａは、第一実施形態の触覚再現システム１と比較して、復号装置３に代えて送信装置３Ａが設けられ、受信装置４０が設けられた点が異なる。
触覚再現システム１Ａにおいては、受触者に装着される各触覚提示装置６を送信装置３Ａに対して有線接続せず、送信装置３Ａから触覚提示装置６への触覚信号の伝送を無線通信を介して行うものとされる。受信装置４０は、送信装置３Ａが無線通信により送信する触覚信号を受信して触覚提示装置６に伝送する装置として機能する。本例では、各触覚提示装置６が受信装置４０に対して有線接続されており、図中の破線により囲った部分、すなわち受信装置４０と各触覚提示装置６とが、受触者に対して装着される部分とされる。

例えば第一実施形態で例示したように復号装置３と各触覚提示装置６とが有線接続される場合には、復号装置３のサイズが大きいと触覚提示装置６を装着された受触者に煩わしさを与える虞がある。この煩わしさは、触覚刺激を与える部位の数が多くなるに従って増すことが予想される。
上記のような触覚再現システム１Ａの構成により、復号装置３よりもサイズの小さな受信装置４０を配置することが可能とされ、上記のような煩わしさを受触者に与えてしまうことの防止を図ることができる。

［2-2．送信装置の構成］

図１７は、送信装置３Ａの内部構成例を示した図である。
図３に示した復号装置３との差異点は、増幅器３１、Ｄ／Ａコンバータ３２、後処理部３３、及び復号部３４が設けられていない点と、送信データ生成部５１及び無線通信部５２が設けられた点と、制御部３５に代えて制御部３５Ａが設けられた点である。
図示のように送信データ生成部５１、無線通信部５２、制御部３５Ａ、記憶部３６、及び通信部３７はバス３８を介して接続され、互いにデータ通信可能とされている。

送信データ生成部５１は、ネットワーク４を経由し通信部３７を介して得られる符号化装置２からの触覚信号の符号化データについて、所定の符号化を施して、受信装置４０に対して送信されるべき符号化データを生成する。
なお、本例の送信データ生成部５１が行う処理については改めて説明する。

無線通信部５２は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の所定通信方式による近距離無線通信を行う。

制御部３５Ａは、例えばマイクロコンピュータを有して構成され、送信装置３Ａの全体制御を行う。特に、制御部３５Ａは、通信部３７から送信データ生成部５１への符号化データの出力制御や、送信データ生成部５１で生成された符号化データの無線通信部５２への出力制御を行う。
これにより、各部位の触覚信号を無線通信部５２を介して外部装置に送出することが可能とされる。

なお、第二実施形態において、各部位の触覚信号のデータフォーマットは、第一実施形態で説明したように異なる部位間で異なっていてもよいし、全部位で同一とされてもよい。

［2-3．受信装置の構成］

図１８は、受信装置４０の内部構成例を説明するための図であり、受信装置４０の内部構成例と共に各触覚提示装置６を併せて示している。
図示のように受信装置４０は、増幅器３１、Ｄ／Ａコンバータ３２、後処理部３３、及び復号部３４Ａを備えると共に、制御部４１、記憶部４２、無線通信部４３、及びバス４４を備えている。後処理部３３、復号部３４Ａ、制御部４１、記憶部４２、及び無線通信部４３はバス４４を介して接続され、互いにデータ通信可能とされている。

無線通信部４３は、例えばＢｌｕｅｔｏｏｔｈ等、送信装置３Ａにおける無線通信部５２との間で通信が可能な方式による近距離無線通信を行う。送信装置３Ａから送信された符号化データは無線通信部４３により受信される。

制御部４１は、例えばマイクロコンピュータを有して構成され、受信装置４０の全体制御を行う。
記憶部４２は、例えば記憶部２６や記憶部３６等と同様の記憶デバイスとされ、制御部４０等が用いる各種データの記憶に用いられる。

復号部３４Ａは、無線通信部４３を介して入力される符号化データについて、第一実施形態で説明した復号部３４と同様の処理を行う。すなわち、部位ごとに触覚信号のデータフォーマットが異なる場合に対応して、必要な部位の触覚信号についてフォーマット変換等の処理を行う。また、復号部３４Ａは、入力された符号化データについて、伝送遅延対策のための処理を行うが、これについては後述する。

［2-4．第二実施形態としての触覚再現手法］

ここで、有線・無線を問わず何らかの区間においてデータ伝送を行うと、データのロスが発生することがある。データのロスをチェックし、ロスがあった際にはデータを再送して補償することは可能ではあるが、その分余分なデータ伝送が発生するため、実効的なビットレートの増加や、伝送の遅延が発生する。

具体例としてＢｌｕｅｔｏｏｔｈでの無線伝送を考えると、同じ搬送周波数を使うＷｉ－Ｆｉ（登録商標）の影響を受ける。ＢｌｕｅｔｏｏｔｈはＷｉ－Ｆｉに比べると電波強度が弱いため、特に影響を受けやすいと言える。伝送時において、符号化データはパケットと呼ばれる所定の伝送単位ごとのデータとして送られるが、上記のような状態ではパケットロスは頻繁に起こっており、例えばＢｌｕｅｔｏｏｔｈのＡ２ＤＰ(Advanced Audio Distribution Profile)を使った音声信号の伝送では、パケットロスが発生した場合にパケットを再送することを前提として、受信側に大きなストリームバッファを用意し、これに一定のストリームが蓄積されてから再生を開始することで音切れを防止している。

しかしながら、符号化データの蓄積量は遅延量と等価であり、蓄積量が大きくなり過ぎると問題が発生する。例えば映像をディスプレイで見つつ、対応する音声を聞く場合には、リップシンクがずれて大きな問題となる。

触覚信号の伝送も上記音声信号の場合と同様の課題を抱える。
例えば、野球のバットを振った映像があり、バットにボールが当たった瞬間、受触者に対し触覚刺激を与えたい場合、ストリームバッファの容量が大きかったり、パケットロスの発生により再送が繰り返されたりすると、視覚と触覚が明らかにずれてしまい、受触者に大きな違和感を与える虞がある。

このように、触覚と他の感覚との同期を考えると、パケットの再送は極力無くし、受信側のストリームバッファも極力小さくすることが望まれる。そのためには、パケットの一部がロスしても、大きな問題が発生しないようなデータ構造とすることが有効である。具体的には、先に述べてきたように、人間は部位ごとに触覚感度に差があるため、これを考慮したデータ構造を採用する。

ここで、図１０等で示したように、ストリームにおいては、フレームに区切りを示すヘッダ情報が付されており、その後に実際の触覚信号が記録される。フレームに入る触覚信号の時間粒度を小さくし過ぎると、伝送に占めるヘッダの割合が上昇して効率が落ちる。逆に時間粒度を大きくし過ぎると、それだけで遅延の問題が発生したり、妨害の影響を受けたりしたりするので、フレーム中には数ミリセカンド程度の触覚信号を符号化するのが望ましい。

各部位のフレームは前述のパケットにより伝送されるが、このパケットサイズが長ければ長い程、伝送に掛かる時間が長くなるため、確率的に妨害を受けやすくなる。
そこで、第二実施形態では、ストリームの先頭側から触覚感度が高い部位の順でフレームを詰めていく。

具体例を図１９に示す。
図１９では、手、顔、足の順で触覚感度が高いとした場合における部位ごとのフレームの並び順の例を示している。
この場合、ストリームにおいては、手、顔、足の順で先頭側から各部位のフレーム（触覚信号）を配置する。

従来の伝送では、受信側はパケットの受信が完全に成功したことを条件にＡＣＫ（肯定応答）を返すことにしていた。
これに対し、第二実施形態においては、パケットに含まれるストリームの一部である触覚感度の高いフレームだけでも受信が成功すればＡＣＫを返すこととする。そのために、ストリームヘッダには、いくらのサイズを受信成功したらＡＣＫを返して良いかのパラメータを記録する（図１９中、「Ack Allow Size」参照）。受信側ではこのパラメータにより指定された部分の受信成功を確認したら送信側にＡＣＫを返す。

このようにすることで、触覚感度の高いフレームからみると、見掛け上短いパケットを使って伝送していることと等価になるため、妨害の確率は下がる。触覚感度が低いフレームは、妨害によってロスしたとしても、触覚感度の高いデータが再生されれば、人間の触覚に対する影響が比較的少なく済むというメリットがある。すなわち、触覚の再現性を一定量担保することができる。

なお、上記では、フレームを並べる優先順位が触覚感度の高さ、すなわち触覚感度の高さについての優先順位とされた例を挙げたが、該優先順位は、触覚信号の振幅の大きさについての優先順位とすることもできる。つまり、例えば、触覚信号の振幅値が知覚可能な振幅値に達している部位のフレームをストリーム内で優先配置（先頭側に配置）する等である。

また、上記では、最も優先順位が高い部位のフレームを受信したことに応じてＡＣＫを返すこととしたが、例えば優先順位が上位２位までの信号の受信に応じてＡＣＫを返すといったように、優先順位が上位ｎ位（ｎは２以上の自然数且つストリーム内の総部位数未満）までのフレームの受信に応じてＡＣＫを返すようにすることもできる。
上述のような見掛け上短いパケットを使って伝送していることと等価な効果を得るにあたっては、優先順位が最も低い部位を除き、少なくとも優先順位が最も高い部位の触覚信号を受信したことを条件としてＡＣＫを返すものとすればよい。

ここで、上記のように見掛け上短いパケットを使ったとしても、単位時間当りの妨害率は一定であるから、そのパケットを伝送する時間内においての妨害はゼロにはらない。
そこで、図２０に例示すように、触覚感度の高いフレーム（優先順位が高いフレーム）をストリームにおける複数箇所に配置して冗長性を持たせて伝送する。

この際、ストリームヘッダには、どのフレームが受信成功したらＡＣＫを返して良いかの情報、例えばフレームＩＤを指定するＩＤ指定情報を格納しておき、このＩＤ指定情報から特定されるフレームが一つでも受信成功していれば、他がロスしてもＡＣＫを返すこととする。
図２０では、一つのストリームにフレームＩＤ＝０～３の四つのフレームが配置される場合において、先頭のＩＤ＝０のフレームに手、先頭から２番目のＩＤ＝１のフレームに顔、先頭から３番目のＩＤ＝２のフレームに足、先頭から４番目のＩＤ＝３のフレームに再び手のフレームをそれぞれ配置した際に対応して、ストリームヘッダにＩＤ＝０及び３を指定するＩＤ指定情報を格納した例を示している。

こうすることで、単位時間あたりの妨害率が一定であれば、触覚感度の高いフレームのロスに対する耐性を何倍にも向上させることができる。

なお、上記手法においても、優先順位については、触覚感度の高さについての優先順位とするのではなく、触覚信号の信号振幅の大きさについての優先順位とすることもできる。
また、上記では触覚信号の冗長性を持たせる部位を、優先順位が最も高い部位に限る例を挙げたが、優先順位が上位ｎ位（ｎは２以上の自然数且つストリーム内の総部位数未満）までの部位について触覚信号の冗長性を持たせることもできる。

（送信側の機能構成）

図２１は、送信装置３Ａの機能構成を示した機能ブロック図である。
図示のように送信装置３Ａは、符号化部Ｆ３４と送信部Ｆ３５としての機能を有する。
符号化部Ｆ３４は、人体の部位ごとの触覚信号を部位ごとの優先順位に応じて並べる符号化を行って符号化データを生成する。この符号化部Ｆ３４の機能は、送信データ生成部５１により実現される。
ここで、符号化部Ｆ３４は、触覚信号を、優先順位の高い部位から順番に並べる。具体的に、この機能について送信データ生成部５１は、先の図１９に例示したように触覚感度が高い部位から順に先頭側からフレームを並べたストリーム構造をもつ符号化データを生成する。このとき、送信データ生成部５１は、ストリームヘッダに対して図１９中に示した「Ack Allow Size」に相当するパラメータを格納する。

また、符号化部Ｆ３４は、優先順位の高い部位の触覚信号に冗長性を与える。該機能について、送信データ生成部５１は、先の図２０に例示したように、例えば触覚感度が最も高い部位の触覚信号のみに冗長性を与えた符号化データを生成する。このとき、送信データ生成部５１は、ストリームヘッダに上述したＩＤ指定情報を格納する。

送信部Ｆ３５は、符号化部Ｆ３４が生成した符号化データを送信する。具体的に、無線通信部５２は、例えば制御部３５Ａの制御に基づき、送信データ生成部５１が生成した符号化データを外部装置（受信装置４０）に送信する。

（受信側の機能構成）

図２２は、受信装置４０の機能構成を示した機能ブロック図である。
図示のように受信装置４０は、受信部Ｆ４１と復号部Ｆ４２としての機能を有する。
受信部Ｆ４１は、人体の部位ごとの触覚信号を部位ごとの優先順位に応じて並べる符号化によって符号化データを生成する送信装置より、符号化データを受信する。つまり本例では、送信装置３Ａの送信データ生成部５１が生成した符号化データを受信する。この受信部Ｆ４１は、本例では無線通信部４３が該当する。

復号部Ｆ４２は、受信部Ｆ４１が受信した符号化データについて、部位ごとの優先順位に従った復号を行う。本例では、この復号部Ｆ４２としての機能を復号部３４Ａにより実現する。
具体的に、復号部Ｆ４２は、触覚信号が優先順位の高い部位から順番に並べて送信される場合に対応して、次の処理を行う。すなわち、優先順位が最も低い部位を除き、少なくとも優先順位の最も高い部位の触覚信号が受信されたことを条件として送信装置に肯定応答を行う。
この復号部Ｆ４２の機能として、復号部３４Ａは、送信データ生成部５１が生成し無線通信部４３で受信される符号化データについて、該符号化データのストリームヘッダに格納された上述のパラメータを参照し、該パラメータから特定されるフレームが受信された（受信が成功した）か否かを判定し、受信されたと判定したことに応じて送信装置３Ａ側にＡＣＫを返す。
復号部３４Ａはこのような処理をストリームごとに繰り返し行う。

また、復号部Ｆ４２は、優先順位の高い部位について冗長性を与えて触覚信号が送信される場合に対応して、該冗長性が与えられた部位の触覚信号について、少なくとも一つの触覚信号が受信されたことに応じて送信装置に肯定応答を行う。
この復号部Ｆ４２の機能として、復号部３４Ａは、送信データ生成部５１が生成し無線通信部４３で受信され符号化データについて、該符号化データのストリームヘッダに格納された上述のＩＤ指定情報を参照し、該ＩＤ指定情報が示す複数のフレームのうち少なくとも一つのフレームが受信された（受信が成功した）か否かを判定し、受信されたと判定したことに応じて送信装置３Ａ側にＡＣＫを返す。
復号部３４Ａはこのような処理をストリームごとに繰り返し行う。

ここで、図２２を参照して説明した復号部Ｆ４２としての機能は、ＣＰＵ等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、ＣＰＵ等のコンピュータ装置が読み出し可能な記憶装置に記憶される。

［2-5．第二実施形態のまとめ］

上記のように第二実施形態としての伝送システムは、人体の部位ごとの触覚信号を部位ごとの優先順位に応じて並べる符号化を行って符号化データを生成する符号化部（同Ｆ３４、送信データ生成部５１）と、符号化データを送信する送信部（同Ｆ３５）とを有する送信装置（同３Ａ）と、送信部により送信された符号化データを受信する受信部（同Ｆ４１、無線通信部４３）と、受信部が受信した符号化データについて、優先順位に従った復号を行う復号部（同Ｆ４２、３４Ａ）とを有する受信装置（同４０）と、を備えている。

上記のように各部位の触覚信号を優先順位に応じた並びで送信することで、例えば触覚感度の高い部位等、優先させるべき部位の触覚信号のデータロスを生じ難くすることが可能とされ、また、そのように送信される触覚信号を優先順位に従って復号することで、伝送路上でのデータロスが生じても、それが優先させるべき部位の触覚信号でなければ、受信された優先させるべき部位の触覚信号のみが触覚再現の対象となるようにすることが可能とされる。
従って、伝送路上でのデータロスに起因した触覚信号の伝送遅延を生じ難くすることができ、伝送遅延に伴う触覚再現性の低下防止を図ることができる。

また、第二実施形態としての受信装置（同４０）は、人体の部位ごとの触覚信号を部位ごとの優先順位に応じて並べる符号化によって符号化データを生成する送信装置（同３Ａ）より、符号化データを受信する受信部（同Ｆ４１、無線通信部４３）と、受信部が受信した符号化データについて、優先順位に従った復号を行う復号部（同Ｆ４２、３４Ａ）と、を備えるものである。

送信装置が各部位の触覚信号を優先順位に応じた並びで送信することで、例えば触覚感度の高い部位等、優先させるべき部位の触覚信号のデータロスを生じ難くすることが可能とされ、また、そのように送信される触覚信号を優先順位に従って復号することで、伝送路上でのデータロスが生じても、それが優先させるべき部位の触覚信号でなければ、受信された優先させるべき部位の触覚信号のみが触覚再現の対象となるようにすることが可能とされる。
従って、伝送路上でのデータロスに起因した触覚信号の伝送遅延を生じ難くすることができ、伝送遅延に伴う触覚再現性の低下防止を図ることができる。

また、第二実施形態としての受信装置においては、部位ごとの触覚信号は、人体の触覚特性が異なる部位ごとの触覚信号とされている。

これにより、触覚再生は触覚特性が異なる部位ごとに行うことが可能とされる。
従って、各部位の触覚特性に応じた適切な触覚再生を行うことができる。

さらに、第二実施形態としての受信装置においては、送信装置は、触覚信号を、優先順位の高い部位から順番に並べて送信し、復号部は、優先順位が最も低い部位を除き、少なくとも優先順位の最も高い部位の触覚信号が受信されたことを条件として送信装置に肯定応答を行っている。

これにより、優先順位の高い部位の触覚信号については短いパケットを用いて信号を送っていることと等価になる。
従って、優先順位の高い部位について触覚信号のデータロスの発生率低減を図ることができ、触覚再現性の低下防止を図ることができる。

さらにまた、第二実施形態としての受信装置においては、優先順位は、触覚刺激の知覚しやすさについての優先順位とされている。

これにより、例えば触覚感度の高さや信号振幅の大きさ等、触覚刺激の知覚しやすさについての優先順位が高い部位について、触覚信号のデータロスを生じ難くすることが可能とされる。
従って、触覚再現性の低下防止を図ることができる。

また、第二実施形態としての受信装置においては、優先順位は、触覚感度の高さについての優先順位とされている。

これにより、触覚刺激に対する感度の面で触覚刺激を知覚しやすい部位について、触覚信号のデータロスを生じ難くすることが可能とされる。
従って、触覚再現性の低下防止を図ることができる。

さらに、第二実施形態としての受信装置においては、優先順位は、触覚信号の振幅の大きさについての優先順位とされている。

これにより、触覚信号の信号振幅の大きさの面で触覚刺激を知覚しやすい部位について、触覚信号のデータロスを生じ難くすることが可能とされる。
従って、触覚再現性の低下防止を図ることができる。

さらにまた、第二実施形態としての受信装置においては、送信装置は、優先順位の高い部位について、冗長性を与えて触覚信号を送信し、復号部は、冗長性が与えられた部位の触覚信号について、少なくとも一つの触覚信号が受信されたことに応じて送信装置に肯定応答を行っている。

これにより、触覚信号のデータロスを生じ難くすることが可能とされる。
従って、触覚再現性の低下防止を図ることができる。

また、第二実施形態としての復号方法は、人体の部位ごとの触覚信号を部位ごとの優先順位に応じて並べる符号化によって符号化データを生成する送信装置より受信された符号化データについて、優先順位に従った復号を行う復号方法である。

このような第二実施形態としての復号方法によっても、上記した第二実施形態としての受信装置と同様の作用及び効果を得ることができる。

また、第二実施形態としてのプログラムは、人体の部位ごとの触覚信号を部位ごとの優先順位に応じて並べる符号化によって符号化データを生成する送信装置より受信された符号化データについて、優先順位に従った復号を行う機能を情報処理装置に実現させるプログラムである。

このようなプログラムによって、上記した第二実施形態としての受信装置を実現することができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜３．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
人体の異なる部位間で異なるデータフォーマットにより符号化された触覚信号を復号する復号部を備える
復号装置。
（２）
前記復号部は、
人体の触覚特性が異なる部位間で異なるデータフォーマットとされた触覚信号を復号する
前記（１）に記載の復号装置。
（３）
前記復号部は、
触覚感度に応じて前記部位へのビット配分を変えるように前記部位ごとのデータフォーマットが定められた触覚信号を復号する
前記（１）又は（２）に記載の復号装置。
（４）
前記復号部は、
異なる前記部位間で量子化ビット長が異なる触覚信号を復号する
前記（３）に記載の復号装置。
（５）
前記復号部は、
異なる前記部位間でサンプリング周波数が異なる触覚信号を復号する
前記（３）又は（４）に記載の復号装置。
（６）
前記復号部は、
異なる前記部位間で量子化ビット長、サンプリング周波数の少なくとも何れかが異なる触覚信号を入力し、前記部位ごとの触覚信号のうち少なくとも何れかの触覚信号について量子化ビット長、サンプリング周波数の少なくとも何れかを変換するフォーマット変換部を有する
前記（１）乃至（５）の何れかに記載の復号装置。
（７）
前記復号部は、
前記部位の別を表すインデックス情報が付された前記触覚信号を入力し、前記インデックス情報に基づいて前記部位ごとの前記触覚信号の復号を行う
前記（１）乃至（６）の何れかに記載の復号装置。
（８）
人体の部位ごとの触覚信号を前記部位ごとの優先順位に応じて並べる符号化によって符号化データを生成する送信装置より、前記符号化データを受信する受信部と、
前記受信部が受信した前記符号化データについて、前記優先順位に従った復号を行う復号部と、を備える
受信装置。
（９）
前記部位ごとの触覚信号は、人体の触覚特性が異なる部位ごとの触覚信号である
前記（８）に記載の受信装置。
（１０）
前記送信装置は、前記触覚信号を、前記優先順位の高い前記部位から順番に並べて送信し、
前記復号部は、前記優先順位が最も低い部位を除き、少なくとも前記優先順位の最も高い前記部位の触覚信号が受信されたことを条件として前記送信装置に肯定応答を行う
前記（８）又は（９）に記載の受信装置。
（１１）
前記優先順位は、触覚感度の高さについての優先順位である
前記（１０）に記載の受信装置。
（１２）
前記送信装置は、前記優先順位の高い前記部位について、冗長性を与えて触覚信号を送信し、
前記復号部は、
前記冗長性が与えられた前記部位の触覚信号について、少なくとも一つの触覚信号が受信されたことに応じて前記送信装置に肯定応答を行う
前記（８）乃至（１１）の何れかに記載の受信装置。

１、１Ａ 触覚再現システム、２ 符号化装置、３ 復号装置、３Ａ 送信装置、５ 触覚センサ、６ 触覚提示装置、２２ Ａ／Ｄコンバータ、２４ 符号化部、Ｆ２１ 取得部、Ｆ２２ 符号化部、３２ Ｄ／Ａコンバータ、３４、３４Ａ 復号部、３５、３５Ａ 制御部、３７ 通信部、Ｆ３１ 取得部、Ｆ３２ 再生部、Ｆ２３、Ｆ３３ フォーマット変換部、Ｆ３４ 符号化部、Ｆ３５ 送信部、４０ 受信装置、４３ 無線通信部、５１ 送信データ送信部、５２ 無線通信部、Ｆ４１ 受信部、Ｆ４２ 復号部

Claims (10)

1. 人体における第一の部位の触覚信号と前記第一の部位よりも触覚感度の低い第二の部位の触覚信号とを対象とした符号化として、前記第二の部位の触覚信号のビット配分を前記第一の部位の触覚信号のビット配分よりも少なくする符号化を行う符号化部を備えた
   符号化装置。
2. 人体における第一の部位の触覚信号と前記第一の部位よりも触覚感度の低い第二の部位の触覚信号とを対象とした符号化として、前記第二の部位の触覚信号のビット配分を前記第一の部位の触覚信号のビット配分よりも少なくする符号化を行う
   符号化方法。
3. 人体における第一の部位の触覚信号と前記第一の部位よりも触覚感度の低い第二の部位の触覚信号とを対象とした符号化として、前記第二の部位の触覚信号のビット配分を前記第一の部位の触覚信号のビット配分よりも少なくする符号化を行う符号化機能を情報処理装置に実現させる
   プログラム。
4. 人体における第一の部位の触覚信号と前記第一の部位よりも触覚感度の低い第二の部位の触覚信号とを対象とした符号化として、前記第二の部位の触覚信号のビット配分を前記第一の部位の触覚信号のビット配分よりも少なくする符号化を行う符号化部によって符号化された前記第一の部位及び前記第二の部位の触覚信号を復号する復号部を備える
   復号装置。
5. 前記復号部は、
   前記第一の部位と前記第二の部位間で量子化ビット長が異なる触覚信号を復号する
   請求項４に記載の復号装置。
6. 前記復号部は、
   前記第一の部位と前記第二の部位間でサンプリング周波数が異なる触覚信号を復号する
   請求項４に記載の復号装置。
7. 前記復号部は、
   前記第一の部位と前記第二の部位間で量子化ビット長、サンプリング周波数の少なくとも何れかが異なる触覚信号を入力し、前記第一の部位及び前記第二の部位の触覚信号のうち少なくとも何れかの触覚信号について量子化ビット長、サンプリング周波数の少なくとも何れかを変換するフォーマット変換部を有する
   請求項４に記載の復号装置。
8. 前記復号部は、
   前記部位の別を表すインデックス情報が付された前記触覚信号を入力し、前記インデックス情報に基づいて前記部位ごとの前記触覚信号の復号を行う
   請求項４に記載の復号装置。
9. 人体における第一の部位の触覚信号と前記第一の部位よりも触覚感度の低い第二の部位の触覚信号とを対象とした符号化として、前記第二の部位の触覚信号のビット配分を前記第一の部位の触覚信号のビット配分よりも少なくする符号化を行う符号化部によって符号化された前記第一の部位及び前記第二の部位の触覚信号を復号する
   復号方法。
10. 人体における第一の部位の触覚信号と前記第一の部位よりも触覚感度の低い第二の部位の触覚信号とを対象とした符号化として、前記第二の部位の触覚信号のビット配分を前記第一の部位の触覚信号のビット配分よりも少なくする符号化を行う符号化部によって符号化された前記第一の部位及び前記第二の部位の触覚信号を復号する復号機能を情報処理装置に実現させる
    プログラム。

Images