JPWO2020003728A1 - 符号化装置、符号化方法、復号装置、復号方法、プログラム - Google Patents

Abstract

対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図る。本技術に係る符号化装置は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部を備える。これにより、物理量間の相互換算性を利用して情報量を圧縮しつつ、相互換算可能な範囲内で所望の物理量を表す触覚信号を得ることが可能とされる。

Description

本技術は、振動信号等の触覚信号を符号化する符号化装置とその方法、及び触覚信号を符号化して得られる符号化データについての復号を行う復号装置とその方法、及びプログラムに関する。

近年、人間の皮膚に接触させた触覚提示デバイスにより触覚刺激を与えるアプリケーションが様々な場面で利用されている。ここで、「触覚提示」とは、触覚刺激を発生させることを意味する。
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル（又は筐体）を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやＶＲ（仮想現実）の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。

また、研究開発段階のものにおいては、ロボット等を遠隔操作する際に、ロボット又は操作される対象物が受けた振動を操作者の手元のコントローラにフィードバックすることで、ロボット又は対象物周辺の状況を直感的に察知させて危険予測に役立てるものもある（例：災害対応ロボット<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>）
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触（硬さ）を操作者にフィードバックすることで、手術精度を向上させることが研究されている（例：手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>）

なお、関連する従来技術については下記特許文献１や特許文献２を挙げることができる。

特開２０１６−２０２４８６ 特開２０１５−５３０３８号公報

ここで、人間に触覚刺激を与えるための触覚提示デバイス（触覚提示装置）は多種多様であり、それらを駆動するための電気信号が表すべき物理量も加速度、変位、角速度等多岐にわたる。触覚情報を再現するシステムとしては、このように対応する物理量が異なる異種の触覚提示装置が混在して用いられるシステムも想定され、その場合、触覚信号としては何れの触覚提示装置でも使用可能となるように多種類の物理量を表す信号を用意しておく必要がある。

しかしながら、全ての物理量を記録・伝送すれば膨大な情報量となりシステム負荷の増大に繋がる。

本技術は上記の事情に鑑み為されたものであり、対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることを目的とする。

本技術に係る符号化装置は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部を備えるものである。

これにより、物理量間の相互換算性を利用して情報量を圧縮しつつ、相互換算可能な範囲内で所望の物理量を表す触覚信号を得ることが可能とされる。

上記した本技術に係る符号化装置においては、前記符号化部は、前記符号化データに、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とを含ませることが望ましい。

これにより、復号側では、特定信号を物理量換算した信号を誤差情報に基づき補正することで、特定信号の物理量（特定物理量）以外の物理量を表す触覚信号を正確に得ることが可能とされる。このため、符号化データには、特定物理量以外の物理量を表す触覚信号そのものを含ませる必要がなくなる。

上記した本技術に係る符号化装置においては、前記符号化部は、前記誤差情報として、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報を前記符号化データに含ませることが望ましい。

これにより、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされる。

上記した本技術に係る符号化装置においては、前記符号化部は、前記誤差情報として、前記特定信号が表す物理量を識別するための識別情報を前記符号化データに含ませることが望ましい。

これにより、復号側で特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなる。

上記した本技術に係る符号化装置においては、前記符号化部は、前記符号化として、微積分による相互換算性を利用して情報量を圧縮する符号化を行うことが望ましい。

これにより、復号側では、符号化データに基づき変位、速度、加速度のうちの所望の物理量を表す触覚信号を得ることが可能とされる。

また、本技術に係る符号化方法は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化方法である。

このような符号化方法によっても、上記した本技術に係る符号化装置と同様の作用が得られる。

さらに、本技術に係る第一のプログラムは、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する機能を情報処理装置に実現させるプログラムである。

このような本技術に係る第一のプログラムにより、上記した本技術に係る符号化装置が実現される。

本技術に係る復号装置は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号部を備えるものである。

これにより、物理量間の相互換算性を利用して情報量を圧縮しつつ、相互換算可能な範囲内で所望の物理量を表す触覚信号を得ることが可能とされる。

上記した本技術に係る復号装置においては、前記符号化データには、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とが含まれ、前記復号部は、前記特定信号を前記他の物理量を表す触覚信号に換算し、該換算した触覚信号を前記誤差情報に基づき補正することが望ましい。

これにより、特定信号の物理量（「特定物理量」と表記）以外の物理量を表す触覚信号については、符号化データに信号そのものを含ませる必要がなくなる。このとき、特定信号を物理量換算した信号が誤差情報に基づき補正されることで、特定物理量以外の物理量を表す触覚信号を正確に得ることが可能とされる。

上記した本技術に係る復号装置においては、前記誤差情報は、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報とされたことが望ましい。

これにより、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされる。

上記した本技術に係る復号装置においては、前記符号化データには、前記特定信号が表す物理量を識別するための識別情報が含まれ、前記復号部は、前記識別情報に基づき前記復号を行うことが望ましい。

これにより、特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなる。

上記した本技術に係る復号装置においては、前記復号部は、前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致する場合は前記特定信号を出力することが望ましい。

これにより、特定信号の物理量が触覚提示装置が対応する物理量と一致する場合に対応して、触覚提示装置を特定信号に基づき適切に駆動することが可能とされる。

上記した本技術に係る復号装置においては、前記復号部は、前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致しない場合は、前記特定信号を前記所定の物理量を表す信号に換算し、該換算した信号を前記誤差情報に基づき補正して出力することが望ましい。

これにより、特定信号の物理量が触覚提示装置が対応する物理量と一致しない場合に対応して、特定信号の換算信号を誤差情報に基づき補正した信号により触覚提示装置を適切に駆動することが可能とされる。

上記した本技術に係る復号装置においては、前記復号部は、微積分による相互換算性を利用して情報量を圧縮する符号化によって生成された前記符号化データを復号することが望ましい。

これにより、符号化データに基づき変位、速度、加速度のうちの所望の物理量を表す触覚信号を得ることが可能とされる。

上記した本技術に係る復号装置においては、前記復号部は、前記復号により得た触覚信号の振幅調整を行うことが望ましい。

これにより、触覚信号に基づき駆動される触覚提示装置の種類に応じて触覚信号の振幅の大きさを適切に調整することが可能とされる。

また、本技術に係る復号方法は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号方法である。

このような復号方法によっても、上記した本技術に係る復号装置と同様の作用が得られる。

さらに、本技術に係る第二のプログラムは、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る機能を情報処理装置に実現させるプログラムである。

このような本技術に係る第二のプログラムにより、上記した本技術に係る復号装置が実現される。

本技術によれば、対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることが可能とされる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術に係る実施形態としての復号装置を含んで構成される触覚再現システムの構成例を示した図である。 実施形態としての符号化装置の内部構成例を説明するための図である。 実施形態としての復号装置の内部構成例を説明するための図である。 第一例における収録環境の例を示した図である。 第一例に対応した符号化部の構成を示した図である。 第二例において用いられる触覚提示装置の例を説明するための図である。 第二例において用いられる触覚提示装置の他の例を説明するための図である。 第二例に対応した符号化部の構成を示した図である。 実施形態における符号化フォーマットの例を示した図である。 実施形態としての復号装置が有する符号化データの復号に係る機能構成を示した機能ブロック図である。 実施形態としての復号機能を実現するために実行すべき具体的な処理手順を示したフローチャートである。 変形例としての符号化処理を示したフローチャートである。

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．触覚再現システムの概要＞
＜２．符号化装置の構成＞
＜３．復号装置の構成＞
＜４．実施形態としての触覚再現手法＞
［4-1．第一例］
［4-2．第二例］
［4-3．符号化フォーマットの例］
［4-4．復号側の機能構成］
［4-5．復号側の処理手順］
＜５．変形例＞
＜６．実施形態のまとめ＞
＜７．本技術＞

ここで、本明細書においては以下のように各用語を定義する。
触覚刺激：例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示：触覚刺激を発生させること。
触覚情報：例えば振動情報等、触覚により知覚される情報。
触覚信号：例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者：触覚提示を受ける人。
符号化データ：信号を符号化したデータ。下位概念としてストリーム、フレームがある。

＜１．触覚再現システムの概要＞

図１は、本技術に係る実施形態としての復号装置（再生装置３）を含んで構成される触覚再現システム１の構成例を示している。
先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報（触覚刺激）をセンシングして得られる触覚信号を符号化し、該符号化により得られた符号化データＤｃを収録する収録環境と、符号化データＤｃを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。

図示のように触覚再現システム１は、収録環境において、第一触覚センサ５−１及び第二触覚センサ５−２と、これら第一触覚センサ５−１及び第二触覚センサ５−２が接続された符号化装置２とを備えると共に、再現環境において、符号化データＤｃを取得可能に構成された再生装置３と、再生装置３に接続された触覚提示装置６とを備えている。

第一触覚センサ５−１、第二触覚センサ５−２は、触覚刺激のセンシングを行うセンサであり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。これら第一触覚センサ５−１、第二触覚センサ５−２は、本例ではセンシングの対象物に接触させて用いられ、振動や運動を電圧変化として出力する。
なお、本例では、第一触覚センサ５−１、第二触覚センサ５−２はそれぞれが異なる物理量を表す検出信号を出力するが、これについては後述する。
また、第一触覚センサ５−１、第二触覚センサ５−２としては、対象物と非接触にセンシングを行うセンサを用いることもできる。

符号化装置２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のコンピュータ装置を備えて構成され、第一触覚センサ５−１、第二触覚センサ５−２による検出信号（触覚信号）を入力し、所定のデータフォーマットに従った符号化を行って得られる符号化データＤｃを例えば内部に設けられた記憶デバイスに収録する。

再生装置３は、ＣＰＵやＤＳＰ等のコンピュータ装置を備えて構成され、取得した符号化データＤｃを復号し、該復号により得た触覚信号に基づいて触覚提示装置６を駆動する。例えば、収録環境において収録された符号化データＤｃは、インターネット等の所要のネットワークを介して再生装置３に取得させる。或いは、符号化データＤｃは可搬型の記録媒体に収録し、該記録媒体を介して再生装置３に符号化データＤｃを取得させることもできる。

触覚提示装置６は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等の振動デバイスが用いられる。
触覚提示装置６は、本例では受触者の人体における所定の部位に装着され、収録環境においてセンシングされた触覚刺激を再現するようにされる。
なお、触覚提示装置６としては、受触者に非装着の状態で触覚提示を行うものを用いることもできる。

図１に示す触覚再現システム１は、収録環境と再現環境とが遠隔に位置された場合にも対応可能なシステムとして構成されている。

なお、図１では触覚提示装置６が再生装置３と別体に設けられる例を示しているが、触覚提示装置６は再生装置３と一体に構成することもできる。具体的には、例えばスマートフォン等の携帯型端末に振動デバイスが内蔵された構成等を挙げることができる。

＜２．符号化装置の構成＞

図２は、符号化装置２の内部構成例を説明するための図である。なお図２では符号化装置２の内部構成例と共に図１に示した第一触覚センサ５−１、第二触覚センサ５−２を併せて示している。
図示のように符号化装置２は、第一触覚センサ５−１、第二触覚センサ５−２ごとに増幅器２１及びＡ／Ｄコンバータ２２を備えると共に、前処理部２３、符号化部２４、制御部２５、記憶部２６、通信部２７、及びバス２８を備えている。前処理部２３、符号化部２４、制御部２５、記憶部２６、及び通信部２７はバス２８を介して接続され、互いにデータ通信可能とされている。

第一触覚センサ５−１、第二触覚センサ５−２の検出信号はそれぞれ対応する増幅器２１に入力されて適切なダイナミックレンジに調整された後、対応するＡ／Ｄコンバータ２２に入力されてＡ／Ｄ変換(アナログ／デジタル変換)される。
Ａ／Ｄ変換された各検出信号（つまり触覚刺激のパターンを表す触覚信号）は、前処理部２３に入力される。前処理部２３においては、ノイズ除去や第一触覚センサ５−１、第二触覚センサ５−２のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部２３による信号処理を施された各触覚信号は符号化部２４に入力される。

符号化部２４は、例えばＤＳＰで構成され、入力された触覚信号を所定のデータフォーマットに従って符号化し、上述した符号化データＤｃを得る。
なお、本実施形態としての触覚信号の符号化については改めて説明する。

制御部２５は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成され、ＲＯＭに記憶されたプログラムに従った処理を実行することで符号化装置２の全体制御を行う。
例えば、制御部２５は、通信部２７を介して外部装置との間でのデータ通信を行う。
通信部２７は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部２５は、該通信部２７を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部２４で得られた符号化データＤｃを通信部２７を介して外部装置に送信させることが可能とされる。

記憶部２６は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶デバイスを包括的に表したものであり、符号化装置２において各種のデータ記憶に用いられる。例えば記憶部２６には、制御部２５による制御に必要なデータが記憶される。また、制御部２５の制御に基づき、符号化部２４で得られた符号化データＤｃを記憶部２６に記憶させることもできる。

＜３．復号装置の構成＞

図３は、再生装置３の内部構成例を説明するための図であり、再生装置３の内部構成例と共に図１に示した触覚提示装置６を併せて示している。再生装置３は、本技術に係る復号装置の一実施形態である。
図示のように再生装置３は、増幅器３１、Ｄ／Ａコンバータ３２、後処理部３３、及び復号部３４を備えると共に、制御部３５、通信部３６、メディアドライブ３７、記憶部３８、及びバス３９を備えている。後処理部３３、復号部３４、制御部３５、通信部３６、メディアドライブ３７、及び記憶部３８はバス３９を介して接続され、互いにデータ通信可能とされている。

制御部３５は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、ＲＯＭに記憶されたプログラムに従った処理を実行することで再生装置３の全体制御を行う。

通信部３６は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されている。制御部３５は、通信部３６を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、ネットワーク上のサーバ装置等の外部装置より、符号化データＤｃを通信部３６によって受信させることが可能とされる。

メディアドライブ３７は、可搬型の記録媒体を着脱可能に構成され、装着された記録媒体に対するデータの書き込み及び読み出しが可能とされたリーダ／ライタ部として構成されている。メディアドライブ３７が対応する記録媒体としては、例えば、メモリカード（例えば可搬型のフラッシュメモリ）や光ディスク記録媒体等を挙げることができる。
このメディアドライブ３７により、可搬型の記録媒体に記録された符号化データＤｃの読み出しが可能とされる。

記憶部３８は、例えばＨＤＤやＳＳＤ等の記憶デバイスを包括的に表したものであり、再生装置３において各種のデータ記憶に用いられる。例えば記憶部３８には、制御部３５による制御に必要なデータが記憶される。また、制御部３５の制御に基づき、メディアドライブ３７により読み出された符号化データＤｃや、通信部３６により外部装置から受信した符号化データＤｃを記憶部３８に記憶させることもできる。

操作部３９は、再生装置３に設けられた各種の操作子を包括的に表したものであり、操作入力に応じた操作入力情報を制御部３５に出力する。
制御部３５は、操作入力情報に応じた処理を実行する。これにより、再生装置３において操作入力に応じた動作が実現される。

復号部３４には、制御部３５の制御に基づき符号化データＤｃが入力される。
復号部３４は、入力した符号化データＤｃについて、後述する手法で復号を行い、触覚信号を得る。復号部３４で得られた触覚信号は後処理部３３に入力される。

後処理部３３は、入力された触覚信号について、必要に応じて触覚提示装置６の校正や所定のフィルタ処理等の信号処理を施す。
後処理部３３を経た触覚信号は、Ｄ／Ａコンバータ３２に入力されてＤ／Ａ変換（デジタル／アナログ変換）された後、増幅器３１で適切なダイナミックレンジに調整され、触覚提示装置６に出力される。
これにより、触覚提示装置６が触覚信号に基づき駆動され、収録環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる（つまり触覚情報を再現することができる）。

なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を収録して、受触者に触覚情報と共に音や映像を提供する構成とすることもできる。

＜４．実施形態としての触覚再現手法＞
［4-1．第一例］

第一例では、ネットショッピングにおいて売り手が商品の手触りを買い手に提示する場合を考える。この場合の触覚再現システム１では、収録環境において、第一触覚センサ５−１や第二触覚センサ５−２により商品の手触りをセンシングした触覚信号を符号化装置２によって符号化し、再現環境では、再生装置３が該符号化により得られた符号化データＤｃを復号して得た触覚信号に基づき、買い手としての受触者に装着された触覚提示装置６を駆動する。

このとき、買い手側で用いられる触覚提示装置６としては、必ずしも同種の装置とする必要はなく、例えば或る買い手の触覚提示装置６は加速度を表す触覚信号に対応して動作する装置とされ、他の買い手の触覚提示装置６は変位を表す触覚信号に対応して動作する装置とされる等、それぞれが異なる物理量に対応する異種の触覚提示装置６が混在することを許容するシステムとされることが考えられる。

このように異種の触覚提示装置６の混在を許容する場合には、各種類の触覚提示装置６を適切に駆動可能とするために、符号化データＤｃに各種の物理量を表す複数の触覚信号を含ませることが考えられるが、その場合には符号化データＤｃの情報量（データ量）が膨大となりシステム負荷の増大化に繋がる。

そこで本実施形態では、対応する物理量が異なる異種の触覚提示装置６の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることを目的とする。

図４は、第一例における収録環境の例を示している。
第一例では、例えばテーブルとしての商品の手触りを第一触覚センサ５−１、及び第二触覚センサ５−２としての複数の触覚センサによりセンシングする。
具体的に、本例では、第一触覚センサ５−１は圧電素子（ピエゾピックアップ）等の加速度を表す検出信号を出力するタイプの触覚センサとされ、第二触覚センサ５−２は、レーザ変位計等の変位を表す検出信号を出力するタイプの触覚センサとされる。この場合、第一触覚センサ５−１を取り付けた器具により商品をなぞることで加速度を表す触覚信号が、また第二触覚センサ５−２を取り付けた器具により商品をなぞることで変位（商品表面の変位）を表す触覚信号がそれぞれ得られることになる。

ここで、加速度は変位に２階微分を施すことで、また変位は加速度に２階積分を施すことで得られるはずの値であることに着目し、加速度の信号はそのまま符号化データＤｃに含ませる一方、変位の信号は信号全体を含ませる代わりに、加速度の２階積分値との差の値を符号化データＤｃに含ませる。
さらに、符号化データＤｃには、復号のための情報として、変位の基準値と速度の基準値をそれぞれ１サンプル以上格納しておく。
変位の基準値については、第二触覚センサ５−２による触覚信号のサンプル値を格納する。速度の基準値については、第二触覚センサ５−２による触覚信号のサンプル値（つまり変位の値）に基づき取得することができる。具体的には、変位の複数サンプルの差分値として取得する。なお、速度の基準値は、収録環境において第一触覚センサ５−１、第二触覚センサ５−２とは別途に用意した速度検出用のセンサによって検出した値を用いることもできる。
これら変位、速度の各基準値のサンプル数は多いほど積分値との差を小さく抑えられるため、情報量の許容度に応じて変えても良い。

上記のように本例では、加速度と変位の２系統の信号をそのまま符号化データＤｃに含ませるのではなく、加速度については第一触覚センサ５−１により検出された信号をそのまま含ませる一方、変位の信号については、第二触覚センサ５−２により検出された変位の信号と、第一触覚センサ５−１により検出された加速度の信号の２階積分との差の信号を含ませるものとしている。
２階積分の差の信号は信号全体よりも少ない符号長で済むため、２系統の信号をそのまま符号化データＤｃに含ませるよりも情報量の削減を図ることができる。

以下では、上記説明における加速度の信号のように、符号化データＤｃにそのまま含ませる側の信号を「元信号」と表記し、変位の信号のように元信号の物理量換算信号との差分が求められる側の信号を「差分を求める信号」と表記する。さらに、上記説明における変位の信号と加速度の２階積分と差の信号のように、「差分を求める信号」と「元信号の物理量換算信号」との差分を表す信号のことを「差分信号」と表記する。

続いて、再現環境における触覚提示の手法を説明する。
再現環境において、触覚提示装置６としては、例えば圧電素子のように加速度情報によって駆動される装置が用いられる場合もあれば、ピンアレイのように変位情報によって駆動される装置が用いられる場合もあり得る。
触覚提示装置６が加速度情報によって駆動される装置である場合には、符号化データＤｃにおける加速度を表す信号をそのまま用いて触覚提示装置６を駆動する。
一方、触覚提示装置６が変位情報によって駆動される装置である場合には、符号化データＤｃにおける加速度の信号と差分信号とに基づいて変位の復号処理を行う。具体的には、先ず、加速度の積分演算の結果と速度の基準値とを用いて速度を求め、さらに、この速度の積分演算結果と変位の基準値とを用いて、加速度の２階積分値としての変位信号を得る。その上で、この変位信号に、差分信号を加算する。これにより、換算により生じる誤差を補正することができ、変位センサ（第二触覚センサ５−２）によるセンシングによって得た変位信号に極めて近い変位信号を得ることができる。

ここで、データ量削減を優先するのであれば、符号化データＤｃには加速度信号のみを含ませるものとし、これを２階積分して得た変位信号により触覚提示装置６を駆動するということも考えられる。しかしながら、積分演算は信号の直流成分の影響を強く受けるため、加速度信号にノイズが混入した場合は変位が本来とは大きく異なる値となって、正確な触覚再現を行うことができない可能性がある。この問題に対しては、適切な周波数フィルタの適用で回避することも可能であるが、変位による触覚情報としては直流成分付近にも有効な情報が多く存在しており、上記の周波数フィルタにより直流成分が除去されてしまうと、例えば商品の表面の緩やかな形状変化等、有効な触覚情報を再現することが不能となってしまう虞がある。
上記した実施形態としての触覚再現手法では、物理量換算信号に対し、このような周波数フィルタの適用ではなく、差分信号に基づいた補正を行うものとしていることで、有効な触覚情報が失われてしまうことの防止を図った正確な触覚信号を得ることが可能とされ、触覚再現の正確性向上を図ることができる。

図５は、第一例に対応した符号化部２４の構成を示した図である。
図示のように符号化部２４は、２階積分部４０、差分計算部４１、変位基準値取得部４２、速度基準値計算部４３、及び符号化データ生成部４４を備えている。
符号化部２４において、加速度を表す触覚信号は２階積分部４０及び符号化データ生成部４４に入力される。ここで、加速度を表す触覚信号は、本例では第一触覚センサ５−１により検出され前処理部２３を介して符号化部２４に入力される。
また、符号化部２４において、変位を表す触覚信号は差分計算部４１、変位基準値取得部４２、及び速度基準値計算部４３に入力される。変位を表す触覚信号は、本例では第二触覚センサ５−２により検出され前処理部２３を介して符号化部２４に入力される。
なお以下、加速度を表す触覚信号は「加速度信号」と、変位を表す触覚信号は「変位信号」と表記することもある。

変位基準値取得部４２は、変位信号のサンプル値を変位の基準値として取得し、取得した変位の基準値を２階積分部４０と符号化データ生成部４４に出力する。
速度基準値計算部４３は、変位信号の複数サンプルの差分を計算することにより速度の基準値を取得し、取得した速度の基準値を２階積分部４０と符号化データ生成部４４に出力する。

２階積分部４０は、加速度信号に対する積分演算を行い、該積分演算の結果と速度の基準値とに基づいて速度を表す信号（以下「速度信号」とも表記する）を得ると共に、速度信号に対する積分演算を行い、該積分演算の結果と変位の基準値とに基づいて変位を表す信号を得る。このように加速度信号に対する２階積分により得られる、変位を表す触覚信号のことを「変位への物理量換算信号」と表記する。
２階積分部４０は、変位への物理量換算信号を差分計算部４１に出力する。

差分計算部４１は、変位信号と変位への物理量換算信号との差分を計算して差分信号を得、該差分信号を符号化データ生成部４４に出力する。

符号化データ生成部４４は、入力された加速度信号、差分信号、速度の基準値、及び変位の基準値を所定のデータフォーマットに従って符号化し、符号化データＤｃを生成する。本実施形態で採用する符号化フォーマットの具体例については後に改めて説明する。

なお、復号側の構成や処理については、以下で説明する第二例と同様となることから後に改めて説明する。

［4-2．第二例］

第二例は、映画において、映像と音声に加えて実際に収録した振動を始めとする触覚も観客に提示する例である。
本例において、触覚情報のセンシングは、映画撮影の段階での映像撮影、音声収録と同様に触覚収録として行われる。観客に提示したい触覚を表現する複数の物理量をそれぞれ専用のセンサの検出信号として得る。例えば、俳優の体に取り付けた慣性センサ（加速度センサ）で加速度を、測距センサで体の移動の大きさ、つまり変位を測定する。

ここで、加速度と変位との間の２階微積分による相互換算性に着目し、変位の信号はそのまま符号化データＤｃに含ませ、加速度の信号は信号全体を含ませる代わりに変位の２階微分値との差の値を含ませるようにする。
具体的に、本例においても、第一触覚センサ５−１は加速度を表す検出信号を、第二触覚センサ５−２は変位を表す検出信号をそれぞれ出力するタイプの装置であるものとすると、この場合の符号化データＤｃには、変位については第二触覚センサ５−２により検出された信号をそのまま含ませる一方、加速度の信号については、第一触覚センサ５−１により検出された加速度の信号と、第二触覚センサ５−２により検出された変位の信号の２階微分との差を表す差分信号を含ませる。

このような符号化データＤｃに基づき触覚提示を行う際は、観客がどのような状況で映画を鑑賞するかによって触覚提示装置６の種類が異なる可能性があるため、触覚提示装置６の種類によって復号手法を切り替える。
例えば、触覚提示装置６が変位情報により駆動される装置であった場合には、符号化データＤｃに含まれる変位信号をそのまま用いて触覚提示装置６を駆動する。
一方、触覚提示装置６が加速度情報により駆動される装置である場合には、加速度の復号処理を行う。具体的には、先ず、符号化データＤｃに含まれる変位信号の２階微分を行い、さらに該２階微分により得た信号に、符号化データＤｃに含まれる差分信号を加算する。これにより、変位を２階微分した信号に生じる誤差（実際に検出された加速度信号との誤差）を適切に補正することができる。

ここで、本例のように符号化データＤｃに変位信号を含ませるのであれば、加速度に対応する触覚提示装置６の駆動は、該変位信号の２階微分により得た加速度信号を用いて行うことも考えられるが、微分演算は高周波ノイズの影響を強く受けるため、最終的に提示される信号は高周波ノイズが大きく増幅されたものとなってしまい、正確な触覚提示を行うことができなくなる可能性がある。
本例では、変位信号の２階微分により得た加速度信号をそのまま用いるのではなく、差分信号に基づく誤差補正を行うので、正確な触覚提示を行うことができる。

また、第二例では、触覚提示装置６そのものの物理特性を考慮し、触覚信号の振幅の大きさを調整する処理を行う。
具体的に、第二例における再現環境で用いられる触覚提示装置６としては、図６に例示するような映画館における座席を振動させるリニアモータのような比較的大出力な変位駆動の装置である場合や、図７に例示するようなスマートフォン等の携帯型端末に搭載された圧電素子のように小出力な加速度駆動の装置である場合が想定され得る。
第二例では、このような触覚提示装置６の物理特性に応じて、再生装置３（復号部３４）が触覚信号の振幅の大きさを調整する。具体的に、例えば図６の場合には図７の場合よりも触覚信号の振幅が大きくなるように調整を行う。

上記のような第二例としての触覚再現システム１により、映画製作者は再現環境側でどのような種類の触覚提示装置６を利用するかについて考慮することなく収録を行い、その情報を大きく損なうことなく符号化データＤｃのデータ量を圧縮することができる。また、受触者としてのユーザは、映像と音声に触覚刺激も加わることで、より迫力ある映画を楽しむことができる。

図８は、第二例に対応した符号化部２４の構成を示した図である。
図示のようにこの場合の符号化部２４は、２階微分部４５、差分計算部４１Ａ、及び符号化データ生成部４４Ａを備えている。
この場合、変位信号は符号化データ生成部４４Ａ及び２階微分部４５に入力され、加速度信号は差分計算部４１Ａに入力される。

２階微分部４５は、変位信号に対する２階微分を行って加速度への物理量換算信号を得る。
差分計算部４１Ａは、２階微分部４５で得られた加速度への物理量換算信号を入力し、加速度信号と該加速度への物理量換算信号との差を計算して差分信号を得る。

符号化データ生成部４４Ａは、変位信号と差分計算部４１Ａで得られた差分信号とを所定のデータフォーマットに従って符号化し、符号化データＤｃを生成する。

［4-3．符号化フォーマットの例］

図９は、本実施形態における符号化フォーマットの例を示している。
ここで、デジタルの触覚信号としては、触覚センサで取得される時系列の電圧変化を所定のサンプリング周波数にてサンプリングしたものであり、音声信号で言うＬＰＣＭ（Linear Pulse Code Modulation）方式と同様のものを想定する。本例の符号化では、このようなデジタルの触覚信号を時間方向において伝送に適したフレームに分割し、該フレームごとの付加情報としてヘッダ（フレームヘッダ）を付加する。

具体的には、図９に示すようなデータ形式が考えられる。
なお、上記の第一例や第二例では、「元信号」と「差分を求める信号」とが２階の微積分の関係となる例を挙げたが、これら「元信号」と「差分を求める信号」は１階の微積分の関係とすることもできる。具体的には、元信号が変位で差分を求める信号が速度である場合と、元信号が速度で差分を求める信号が加速度である場合と、さらに元信号が加速度で差分を求める信号が速度である場合と、元信号が速度で差分を求める信号が変位である場合である。
図９に示すフォーマットは、このように「元信号」と「差分を求める信号」とが１階の微積分の関係となる場合にも対応可能なフォーマットとされる。

図示のように一つのフレームには、フレームヘッダとしての情報を格納するためのヘッダ領域と、触覚信号の実データを格納するための実データ領域とが設けられる。
実データ領域には、元信号としての触覚信号、及び差分信号が格納される。

フレームヘッダにおいては、先頭から順に「シンク」、「サンプリング周波数」、「元信号の量子化ビット数」、「差分信号の量子化ビット数」、「ブロックサイズ」、「元信号の物理量ＩＤ」、「差分信号の物理量ＩＤ」、「基準値のサンプル数」、及び「基準値」の各情報を格納する領域が定められている。
「シンク」は、フレームの先頭を表す識別子とされ、所定パターンのデータが格納される。「サンプリング周波数」は、元信号及び差分信号のサンプリング周波数を表す。元信号の量子化ビット数、差分信号の量子化ビット数はそれぞれ元信号、差分信号の１サンプル当りの量子化ビット数を表す。

「ブロックサイズ」は、フレームに格納される元信号及び差分信号の時間方向におけるサイズ（サンプル数）を表す。ここでのブロックは、元信号及び差分信号の時間方向における処理単位を表すものである。

「元信号の物理量ＩＤ」、「差分信号の物理量ＩＤ」は、それぞれ、元信号、差分信号が加速度、速度、変位のうち何れの物理量に対応するものであるかを識別するための識別子とされる。ここで、「差分信号の物理量ＩＤ」は、第一例のように「差分を求める信号」が変位信号である場合には「変位」を表すＩＤが格納され、第二例のように「差分を求める信号」が加速度信号である場合には「加速度」を表すＩＤが格納される。
物理量ＩＤとしては例えば２ビットによる情報とし、例えば加速度に「００」を、速度に「０１」を、変位に「１０」をそれぞれ割り当てる等が考えられる。

「基準値のサンプル数」には、復号側で元信号の積分演算を要する場合に用いられる速度、変位それぞれの基準値のサンプル数を格納する。本例では、「基準値のサンプル数」は復号側で行われ得る積分演算の階数に等しい値が格納され、例えば第二例のように元信号についての積分演算は行わず微分演算しか行わない場合は「０」を、また、第一例のように元信号に対する積分演算を２階分要する場合には「２」が格納される。
「基準値」には、「基準値のサンプル数」に格納したサンプル数分の基準値が格納される。この「基準値」に必要なビット数は、「元信号の量子化ビット数」と「基準値のサンプル数」によって定まる。例えば、元信号の量子化ビット数を８ビットとした場合は基準値も８ビットで記録し、「基準値のサンプル数」が「２」であれば、「基準値」には１６ビットを割り当てる。このとき、「基準値」においては、２階積分を要する場合には速度の基準値、変位の基準値の順に基準値を格納する。

本実施形態の符号化によっては、上記のようなデータ構造とされたフレームが時間方向において並べられた態様によるストリームデータが得られる。前述した符号化データＤｃは、このようなストリームデータの態様で収録、伝送される。

なお、図示による説明は省略するが、ストリームデータにおいて、実データ領域のデータは、実際には元信号、差分信号ごとにインタリーブされて格納される。

図５や図８に示した符号化データ生成部４４、４４Ａは、このような符号化フォーマットに従って符号化データＤｃの生成を行う。

［4-4．復号側の機能構成］

続いて、再生装置３が有する符号化データＤｃの復号に係る機能構成について、図１０の機能ブロック図を参照して説明する。
図１０に示すように、再生装置３は、符号化データＤｃの復号に係る機能として、取得処理部Ｆ１及び復号処理部Ｆ２としての機能を有している。
取得処理部Ｆ１は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データＤｃを取得する。
この取得処理部Ｆ１としての機能は、本実施形態では通信部３６やメディアドライブ３７が符号化データＤｃを取得する機能に相当する。

復号処理部Ｆ２は、取得処理部Ｆ１が取得した符号化データＤｃを復号し、触覚信号を得る。この復号処理部Ｆ２としての機能は、本実施形態では復号部３４により実現される。

ここで、本実施形態では、符号化データＤｃには特定の物理量を表す触覚信号である特定信号（元信号）と、特定信号を他の物理量を表す信号に換算した際の換算誤差を表す誤差情報とが含まれている。
そして、復号処理部Ｆ２は、特定信号を他の物理量を表す触覚信号に換算し、該換算した触覚信号を誤差情報に基づき補正する。
具体的に、本実施形態では、上記の誤差情報は、特定信号と他の物理量を表す触覚信号との差分値を表す差分情報（差分信号）とされている。

上記のように特定信号を他の物理量を表す触覚信号に換算し、該換算した触覚信号を誤差情報に基づき補正することで、特定信号の物理量（「特定物理量」と表記）以外の物理量を表す触覚信号については、符号化データＤｃに信号そのものを含ませる必要がなくなる（第一例における変位信号、第二例における加速度信号）。そして、上記誤差情報に基づく補正を行うことで、特定物理量以外の物理量を表す触覚信号を正確に得ることが可能とされる。
従って、正確な触覚再現を実現しながら、触覚提示に要するデータ量の削減を図ることができる。
また、誤差情報が差分信号とされることで、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされ、換算誤差の補正を実現するにあたっての処理負担軽減を図ることができる。

また、本実施形態では、符号化データＤｃには、特定信号が表す物理量を識別するための識別情報（元信号の物理量ＩＤ）が含まれ、復号処理部Ｆ２は、識別情報に基づき復号を行う。
これにより、特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなり、復号の処理負担軽減を図ることができる。

また、本実施形態において復号処理部Ｆ２は、識別情報に基づき特定した特定信号の物理量が所定の物理量と一致する場合は特定信号を出力する。
一方、復号処理部Ｆ２は、識別情報に基づき特定した特定信号の物理量が所定の物理量と一致しない場合は、特定信号を所定の物理量を表す信号に換算し、該換算した信号を誤差情報に基づき補正して出力する。
これにより、特定信号の物理量が触覚提示装置６が対応する物理量と一致する場合に対応して、触覚提示装置６を特定信号に基づき適切に駆動することが可能とされると共に、特定信号の物理量が触覚提示装置６が対応する物理量と一致しない場合には、特定信号の換算信号を誤差情報に基づき補正した信号により触覚提示装置６を適切に駆動することが可能とされる。
従って、対応する物理量が異なる異種の触覚提示装置６の駆動を適切に行うことができる。

［4-5．復号側の処理手順］

図１１は、上記により説明した実施形態としての復号機能を実現するために実行すべき具体的な処理手順を示したフローチャートである。
なお、図１１に示す処理は、復号部３４が符号化データＤｃのフレームごとに実行する。

ここで、図１１では、触覚提示装置６が加速度、速度、変位の何れの物理量に対応する触覚提示装置６であっても対応可能とすべく、符号化データＤｃには、差分信号として２種の差分信号が含まれていることを前提とする。
具体的に、第一例のように元信号を加速度信号とした場合には、差分信号として、第一例で例示した変位信号の復号を可能とするための差分信号と共に、速度信号への復号を可能とするための差分信号を符号化データＤｃに含ませる。第一例の場合、この速度信号への復号を可能とするための差分信号は、収録環境において第一触覚センサ５−１、第二触覚センサ５−２とは別途に設けた速度センサによる検出信号を符号化装置２に入力し、該速度センサによる検出信号と、加速度信号の１階積分による速度換算信号（加速度信号をその１階積分演算の結果と速度の基準値とに基づき速度に換算した信号）との差分の信号として求める。
また、第二例のように元信号を変位信号とした場合には、差分信号として、第二例で例示した加速度信号の復号を可能とするための差分信号と共に、速度信号への復号を可能とするための差分信号を符号化データＤｃに含ませる。第二例の場合における速度信号への復号を可能とするための差分信号は、収録環境において速度センサによる検出信号を符号化装置２に入力し、該速度センサによる検出信号と、変位信号の１階微分による速度換算信号との差分の信号として求める。

図１１において、復号部３４はステップＳ１０１で、元信号、差分信号の物理量を特定する。具体的には、符号化データＤｃのフレームヘッダに格納されている「元信号の物理量ＩＤ」「差分信号の物理量ＩＤ」に基づき元信号、差分信号の物理量を特定する。

続くステップＳ１０２で復号部３４は、触覚提示装置６の駆動に必要な物理量を特定する。なお、このステップＳ１０２の特定処理は、再生装置３に接続される触覚提示装置６の種類が固定であれば省略可能である。

次いで、ステップＳ１０３で復号部３４は、必要な物理量と元信号の物理量は異なるか否かを判定する。必要な物理量と元信号の物理量が異ならない場合、復号部３４はステップＳ１０４に進み、元信号を選択してステップＳ１１１に処理を進める。
ステップＳ１１１では、触覚提示装置６に応じた信号レベルに調整して出力する処理を実行する。つまりステップＳ１０４からステップＳ１１１に処理を進めた場合、復号部３４は、元信号に対して該信号レベルの調整処理を施して図３に示した後処理部３３に出力する。ここで、ステップＳ１１１における信号レベルの調整は、先の第二例において例示したように触覚提示装置６が大出力の場合に振幅を大きくする等により行う。
復号部３４は、ステップＳ１１１の処理を実行したことに応じて図１１に示す一連の処理を終える。

上記のように、触覚提示装置６が元信号の物理量と同じ物理量に対応した装置とされる場合には、元信号に基づき触覚提示装置６が駆動されることになる。

一方、ステップＳ１０３で必要な物理量と元信号の物理量は異なると判定した場合、復号部３４はステップＳ１０５に進み、必要な物理量は元信号の積分演算で求まるか否かを判定する。

必要な物理量が元信号の積分演算で求まると判定した場合、復号部３４はステップＳ１０６に進み、対象とする信号を積分演算と基準値から換算する処理を行った上で、ステップＳ１０７で必要分の積分が完了したか否かを判定する。
これらステップＳ１０６、Ｓ１０７の処理は、第一例のように元信号が加速度信号とされた場合において、求める物理量が変位とされる場合、又は速度とされる場合のそれぞれにおいて実行される。
具体的に、ステップＳ１０６では、先ず、加速度信号としての元信号に対し１階積分の演算を行うと共に、該演算の結果と、符号化データＤｃのフレームヘッダにおける「基準値」に格納された速度の基準値とに基づいて元信号を速度信号に換算する処理を行う。後者の場合では、必要分の積分は１階であるため、ステップＳ１０６の処理が１回行われた段階でステップＳ１０７において肯定結果が得られ、ステップＳ１１０の差分信号の加算に処理が進められる。

一方、前者の場合では、必要分の積分は２階であるため、ステップＳ１０６の処理が１回行われた段階では、ステップＳ１０７で否定結果が得られ、再度、ステップＳ１０６の処理が実行される。このように再度実行されるステップＳ１０６では、１回目の換算処理で得られた信号（速度信号）を対象として、積分演算と基準値から換算する処理を行う。具体的には、１回目の換算処理で得られた速度信号に対し１階積分の演算を行うと共に、該演算の結果と、符号化データＤｃのフレームヘッダにおける「基準値」に格納された変位の基準値とに基づいて変位信号に換算する処理を行う。
前者の場合、このような換算処理により変位信号を得た上で、ステップＳ１１０の差分信号の加算に処理が進められる。

また、先のステップ１０５において、必要な物理量が元信号の積分演算で求まるものではないと判定した場合、復号部３４はステップＳ１０８に進み、対象とする信号について微分演算による換算を行った上で、ステップＳ１０９で必要分の微分が完了したか否かを判定する。
これらステップＳ１０８、Ｓ１０９の処理は、第二例のように元信号が変位信号とされた場合において、求める物理量が加速度とされる場合、速度とされる場合のそれぞれにおいて実行される。
具体的に、ステップＳ１０８では、先ず、変位信号としての元信号に対し１階微分の演算による速度信号への換算が行われる。後者の場合では、必要分の微分は１階であるため、ステップＳ１０８の処理が１回行われた段階でステップＳ１０９において肯定結果が得られ、ステップＳ１１０の差分信号の加算に処理が進められる。

一方、前者の場合では、必要分の微分は２階であるため、ステップＳ１０７の処理が１回行われた段階では、ステップＳ１０９で否定結果が得られ、再度、ステップＳ１０８の処理が実行される。このように再度実行されるステップＳ１０８では、１回目の換算処理で得られた速度信号を対象として再度、１階微分による演算が行われて変位信号への換算が行われる。前者の場合、この再度の換算処理が行われた段階でステップＳ１０９で肯定結果が得られ、ステップＳ１１０の差分信号の加算に処理が進められる。

ステップＳ１１０で復号部３４は、対象とする信号に対し差分信号を加算する。具体的には、上述したステップＳ１０６及びＳ１０７の処理を経て得られた変位信号又は速度信号としての換算信号、或いはステップＳ１０８及びＳ１０９を経て得られた変位信号又は速度信号としての換算信号に対し、符号化データＤｃに格納された対応する差分信号を加算する。

復号部３４はステップＳ１１０の加算処理を実行したことに応じ、先に述べたステップＳ１１１に処理を進める。
これにより、触覚提示装置６が元信号の物理量とは異なる物理量に対応した装置である場合には、元信号を対応する物理量に換算した上で、換算誤差を差分信号により適正に補正した信号に基づき、触覚提示装置６を駆動することができる。

＜５．変形例＞

ここで、上記では、触覚提示装置６が加速度駆動、速度駆動、変位駆動の何れのタイプである場合にも対応可能とする例として、符号化データＤｃに含ませる元信号を加速度信号、変位信号の何れかとする例を挙げたが、元信号は、速度信号とすることもできる。その場合、符号化データＤｃには、基準値として変位の基準値を格納し、また、変換誤差を表す誤差情報として、速度→変位への換算誤差を表す情報、及び速度→加速度への換算誤差を表す情報を格納する。変位信号は速度信号に対する１階積分と該基準値とを用いた換算により求め、加速度信号は速度信号に対する１階微分により求める。

また、上記では、加速度、速度、変位の間の微積分演算による換算性を利用する例を挙げたが、微積分に限らず相互に換算可能な物理量間であれば同様の手順により符号化及び復号が可能である。

図１２のフローチャートを参照し、物理量を具体的に限定せず、相互に最大でも２階の微積分演算によって換算できる物理量を表す複数の信号を符号化する過程を説明する。
図１２に示す処理は、符号化部２４が実行する。また、図１２に示す処理においては、図１に示したように、符号化装置２には第一触覚センサ５−１及び第二触覚センサ５−２による２系統の触覚信号（つまりそれぞれが異なる物理量を表す触覚信号）が入力される前提とする。
なお、ステップＳ２０２〜Ｓ２１１の処理は、予め定められたブロックサイズごと（１フレーム分のサンプル数ごと）に繰り返し実行される。

図１２において、符号化部２４は、先ずステップＳ２０１で元信号とする信号、及び元信号との差分を求める信号を決定する。すなわち、第一触覚センサ５−１、第二触覚センサ５−２が検出する触覚信号について、何れを「元信号」とし、また何れを「差分を求める信号」とするかの決定を行う。
この決定基準は、より提示される可能性の高い物理量を表す信号を元信号としても良いし、各信号のダイナミックレンジに基づき選んでも良い（元信号のデータ量が少なくなるように選んでもよい）。

続くステップＳ２０２で符号化部２４は、差分を求める信号の物理量は元信号の積分演算で求められるか否かを判定する。例えば、先の第一例のように差分を求める信号の物理量が変位、元信号の物理量が加速度である場合、差分を求める信号の物理量は元信号の積分演算で求められるとの肯定結果が得られる。
なお、ステップＳ２０２の判定処理は、各物理量を記録するチャンネルを定めたフォーマットを用意して数学的知識から行っても良い。或いは、各信号の周波数分析結果に基づき行うこともできる。例えば、元信号を周波数軸上で線形に減衰させたような周波数分析結果を得た場合、元信号は積分演算によって得られる物理量を表現していると考えられる。

ステップＳ２０２において、差分を求める信号の物理量は元信号の積分演算で求められないとして否定結果が得られた場合、符号化部２４はステップＳ２０３に進み、対象信号の１階微分を計算した上で、ステップＳ２０４で必要分の微分が完了したか否かを判定する。
例えば、必要分の微分が１階であれば、ステップＳ２０３では元信号に対する１階微分演算を行い、該微分演算に応じてステップＳ２０４で肯定結果が得られるものとなり、処理がステップＳ２０５に進められる。
或いは、必要分の微分が２階であれば、ステップＳ２０３の微分は２度実行される。１度目には、元信号に対する１階微分演算が行われ、２度目には、該１階微分演算で求まった信号に対して１階微分演算が行われる。そして、ステップＳ２０４で肯定結果が得られ、処理がステップＳ２０５に進められる。
ここで、必要分の微分が１階の場合とは、例えば元信号が変位で差分を求める信号が速度の場合と、元信号が速度で差分を求める信号が加速度の場合が該当する。また、必要分の微分が２階の場合とは、例えば元信号が変位で差分を求める信号が加速度の場合が該当する。

ステップＳ２０５で符号化部２４は、上記のステップＳ２０３及びＳ２０４の処理を経て得られた微分信号と、差分を求める信号との差分信号を計算し、ステップＳ２１２に処理を進める。
これにより、例えば第二例のように元信号が変位で差分を求める信号が加速度とされる場合には、符号化データＤｃに対して元信号＝変位信号、差分信号＝変位の微分信号と加速度信号との差分信号を格納することができる。

ステップＳ２１２で符号化部２４は、符号化終了か否かを判定する。すなわち、例えば符号化の対象とする信号の入力が途絶えた等、符号化の終了条件が成立したか否かを判定する。符号化終了であれば、符号化部２４は図１２に示す一連の処理を終え、符号化終了でなければステップＳ２０２に戻る。

また、先のステップＳ２０２において、差分を求める信号の物理量は元信号の積分演算で求められるとの肯定結果が得られた場合、符号化部２４はステップＳ２０６に進み、求める積分信号の基準値は検出されているか否かを判定する。後述するステップＳ２１０の判定処理に伴い、このステップＳ２０６の処理は最大で２回実行され得る（１フレームにつき最大で２回）。
ここで、「求める積分信号」とは、必要分の積分が２階のときは、例えば１度目のステップＳ２０６においては加速度（元信号）の１階積分に対応する速度信号が該当し、２度目のステップＳ２０６においては１度目の積分で得られた速度信号の１階積分に対応する変位信号が該当する。また、必要分の積分が１階のときは、「求める積分信号」とは、例えば元信号が加速度信号であれば加速度信号の１階積分に対応する速度信号が該当し、元信号が速度信号であれば速度信号の１階積分に対応する変位信号が該当する。
「求める積分信号の基準値が検出されている」とは、「求める積分信号」の基準値を対応するセンサにより検出していることを意味する。例えば、第一例のように元信号が加速度信号で差分を求める信号が変位信号とされる場合であって、加速度信号の変位への換算に必要とされる速度の基準値及び変位の基準値のうち変位のみ対応するセンサで検出している場合には、１度目のステップＳ２０６（つまり「求める積分信号」が速度信号の場合）では「求める積分信号の基準値が検出されている」に該当せず、一方、２度目のステップＳ２０６（「求める積分信号」が変位信号の場合）では「求める積分信号の基準値が検出されている」に該当する。
或いは、元信号が速度信号、差分を求める信号が変位信号である場合において、元信号の変位信号への換算に必要な変位の基準値を対応するセンサで検出している場合には、「求める積分信号の基準値が検出されている」に該当することになる。

ステップＳ２０６において、求める積分信号の基準値は検出されていないとの否定結果が得られた場合、符号化部２４はステップＳ２０７で、差分を求める信号の１階低次の信号の複数サンプルの差分から基準値を取得する。これは、例えば第一例において、図５に示した速度基準値計算部４３が変位信号（差分を求める信号）に基づいて速度の基準値を計算して取得することが該当する。
また、ステップＳ２０６において、求める積分信号の基準値は検出されているとの肯定結果が得られた場合、符号化部２４はステップＳ２０８で差分を求める信号から基準値を取得する。

符号化部２４は、ステップＳ２０７又はＳ２０８の処理を実行したことに応じ、ステップＳ２０９に進み、１階積分による換算を行う。
すなわち、例えば「求める積分信号」が速度信号である場合には、ステップＳ２０７、Ｓ２０８のうち対応する処理で取得した基準値を用いて、加速度信号に対し１階積分による換算を行う。また、「求める積分信号」が変位信号である場合には、ステップＳ２０７、Ｓ２０８のうち対応する処理で取得した基準値を用いて、速度信号に対し１階積分による換算を行う。

次いで、符号化部２４はステップＳ２１０で、必要分の積分が完了したか否かを判定する。必要分の積分が完了していなければ、符号化部２４はステップＳ２０６に戻り、必要分の積分が完了していればステップＳ２１１に処理を進める。
確認のため述べておくと、必要分の積分が１階の場合とは、例えば元信号が加速度で差分を求める信号が速度である場合と、元信号が速度で差分を求める信号が変位である場合が該当する。また、必要分の積分が２階の場合とは、例えば元信号が加速度で差分を求める信号が変位の場合が該当する。

ステップＳ２１０において、必要分の積分が完了していれば、符号化部２４はステップＳ２１１に進み、積分信号と差分を求める信号との差分信号を計算し、先に説明したステップＳ２１２に処理を進める。なお、ステップＳ２１０において、「積分信号」は、必要分の積分が完了した元信号を意味するものである。

上記の処理により、相互に最大でも２階の微積分演算によって換算できる物理量を表す複数の信号について、情報量を圧縮する符号化を行うことができる。

ここで、符号化において差分信号は信号全体に対してダイナミックレンジが小さい方がより短い符号長とすることができ、情報量の圧縮効果が大きくなる。これを踏まえ、ステップＳ２０１における元信号の選択を、差分信号のダイナミックレンジが小さくなるように行うこともできる。

また、得られた差分信号と「差分を求める信号」とを比較し、時間シフトなどにより差分信号が小さくなるようなフィードバックを行っても良い。
なお、換算誤差は、単純に「差分を求める信号」との時間ずれということもあるので、その場合、誤差情報は該時間ずれの情報とすれば、さらに情報量を削減できる。

また信号の性質次第では差分信号を小さくするように元信号にバイアスをかけても良い。例えば加速度が元信号で変位を差分信号とする場合、差分信号と「差分を求める信号」を比較した結果から加速度にごく小さなバイアスをかけることで差分信号のダイナミックレンジを小さくすることが期待できる。

＜６．実施形態のまとめ＞

上記のように実施形態としての符号化装置（同２）は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部（同２４）を備えるものである。

これにより、物理量間の相互換算性を利用して情報量を圧縮しつつ、相互換算可能な範囲内で所望の物理量を表す触覚信号を得ることが可能とされる。
従って、対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることが可能とされる。

上記した本技術に係る符号化装置においては、符号化部は、符号化データに、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とを含ませることが望ましい。

これにより、復号側では、特定信号を物理量換算した信号を誤差情報に基づき補正することで、特定信号の物理量（特定物理量）以外の物理量を表す触覚信号を正確に得ることが可能とされる。このため、符号化データには、特定物理量以外の物理量を表す触覚信号そのものを含ませる必要がなくなる。
従って、正確な触覚再現を実現しながら、触覚提示に要するデータ量の削減を図ることができる。

上記した本技術に係る符号化装置においては、符号化部は、誤差情報として、特定信号と他の物理量を表す触覚信号との差分値を表す差分情報を符号化データに含ませることが望ましい。

これにより、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされる。
従って、換算誤差の補正を実現するにあたっての処理負担軽減を図ることができる。

上記した本技術に係る符号化装置においては、符号化部は、誤差情報として、特定信号が表す物理量を識別するための識別情報を符号化データに含ませることが望ましい。

これにより、復号側で特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなる。
従って、復号の処理負担軽減を図ることができる。

上記した本技術に係る符号化装置においては、符号化部は、符号化として、微積分による相互換算性を利用して情報量を圧縮する符号化を行うことが望ましい。

これにより、復号側では、符号化データに基づき変位、速度、加速度のうちの所望の物理量を表す触覚信号を得ることが可能とされる。
従って、触覚提示装置が対応する物理量が変位、速度、加速度の何れであっても触覚提示を行うことが可能なシステムを実現することができる。

上記のように実施形態としての復号装置（再生装置３）は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号部（復号処理部Ｆ２、復号部３４）を備えるものである。

これにより、物理量間の相互換算性を利用して情報量を圧縮しつつ、相互換算可能な範囲内で所望の物理量を表す触覚信号を得ることが可能とされる。
従って、対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることが可能とされる。

また、実施形態としての復号装置においては、符号化データには、特定の物理量を表す触覚信号である特定信号と、特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とが含まれ、復号部は、特定信号を他の物理量を表す触覚信号に換算し、該換算した触覚信号を誤差情報に基づき補正している。

これにより、特定信号の物理量（特定物理量）以外の物理量を表す触覚信号については、符号化データに信号そのものを含ませる必要がなくなる。このとき、特定信号を物理量換算した信号が誤差情報に基づき補正されることで、特定物理量以外の物理量を表す触覚信号を正確に得ることが可能とされる。
従って、正確な触覚再現を実現しながら、触覚提示に要するデータ量の削減を図ることができる。

さらに、実施形態としての復号装置においては、誤差情報は、特定信号と他の物理量を表す触覚信号との差分値を表す差分情報とされている。

これにより、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされる。
従って、換算誤差の補正を実現するにあたっての処理負担軽減を図ることができる。

さらにまた、実施形態としての復号装置においては、符号化データには、特定信号が表す物理量を識別するための識別情報が含まれ、復号部は、識別情報に基づき復号を行ってている。

これにより、特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなる。
従って、復号の処理負担軽減を図ることができる。

また、実施形態としての復号装置においては、復号部は、識別情報に基づき特定した特定信号の物理量が所定の物理量と一致する場合は特定信号を出力している。

これにより、特定信号の物理量が触覚提示装置が対応する物理量と一致する場合に対応して、触覚提示装置を特定信号に基づき適切に駆動することが可能とされる。
従って、適切な触覚提示を行うことができる。

さらに、実施形態としての復号装置においては、復号部は、識別情報に基づき特定した特定信号の物理量が所定の物理量と一致しない場合は、特定信号を所定の物理量を表す信号に換算し、該換算した信号を誤差情報に基づき補正して出力している。

これにより、特定信号の物理量が触覚提示装置が対応する物理量と一致しない場合に対応して、特定信号の換算信号を誤差情報に基づき補正した信号により触覚提示装置を適切に駆動することが可能とされる。
従って、適切な触覚提示を行うことができる。

さらにまた、実施形態としての復号装置においては、復号部は、微積分による相互換算性を利用して情報量を圧縮する符号化によって生成された符号化データを復号している。

これにより、符号化データに基づき変位、速度、加速度のうちの所望の物理量を表す触覚信号を得ることが可能とされる。
従って、触覚提示装置が対応する物理量が変位、速度、加速度の何れであっても触覚提示を行うことが可能なシステムを実現することができる。

また、実施形態としての復号装置においては、復号部は、復号により得た触覚信号の振幅調整を行っている。

これにより、触覚信号に基づき駆動される触覚提示装置の種類に応じて触覚信号の振幅の大きさを適切に調整することが可能とされる。
従って、適切な触覚提示を実現することができる。

また、実施形態としての復号方法は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号方法である。

このような実施形態としての復号方法によっても、上記した実施形態としての復号装置と同様の作用及び効果を得ることができる。

ここで、これまでで説明した符号化部（２４）や復号処理部（Ｆ２）による機能は、ＣＰＵ等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、ＣＰＵ等のコンピュータ装置（情報処理装置）が読み出し可能な記憶装置に記憶される。

実施形態としての符号化側のプログラムは、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する機能を情報処理装置に実現させるプログラムである。

このようなプログラムによって、上記した実施形態としての符号化装置を実現することができる。

また、実施形態としての復号側のプログラムは、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る機能を情報処理装置に実現させるプログラムである。

このようなプログラムによって、上記した実施形態としての復号装置を実現することができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜７．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部を備える
符号化装置。
（２）
前記符号化部は、
前記符号化データに、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とを含ませる
前記（１）に記載の符号化装置。
（３）
前記符号化部は、
前記誤差情報として、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報を前記符号化データに含ませる
前記（２）に記載の符号化装置。
（４）
前記符号化部は、
前記誤差情報として、前記特定信号が表す物理量を識別するための識別情報を前記符号化データに含ませる
前記（２）又は（３）に記載の符号化装置。
（５）
前記符号化部は、
前記符号化として、微積分による相互換算性を利用して情報量を圧縮する符号化を行う
前記（１）乃至（４）の何れかに記載の符号化装置。
（６）
それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号部を備える
復号装置。
（７）
前記符号化データには、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とが含まれ、
前記復号部は、
前記特定信号を前記他の物理量を表す触覚信号に換算し、該換算した触覚信号を前記誤差情報に基づき補正する
前記（６）に記載の復号装置。
（８）
前記誤差情報は、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報とされた
前記（７）に記載の復号装置。
（９）
前記符号化データには、前記特定信号が表す物理量を識別するための識別情報が含まれ、
前記復号部は、
前記識別情報に基づき前記復号を行う
前記（７）又は（８）に記載の復号装置。
（１０）
前記復号部は、
前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致する場合は前記特定信号を出力する
前記（９）に記載の復号装置。
（１１）
前記復号部は、
前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致しない場合は、前記特定信号を前記所定の物理量を表す信号に換算し、該換算した信号を前記誤差情報に基づき補正して出力する
前記（９）又は（１０）に記載の復号装置。
（１２）
前記復号部は、
微積分による相互換算性を利用して情報量を圧縮する符号化によって生成された前記符号化データを復号する
前記（６）乃至（１１）の何れかに記載の復号装置。
（１３）
前記復号部は、
前記復号により得た触覚信号の振幅調整を行う
前記（６）乃至（１２）の何れかに記載の復号装置。

１ 触覚再現システム、２ 符号化装置、３ 再生装置、５−１ 第一触覚センサ、５−２ 第二触覚センサ、６ 触覚提示装置、Ｄｃ 符号化データ、２４ 符号化部、２４ａ 信号解析部、２４ｂ 符号化データ生成部、３４ 復号部、３６ 通信部、３７ メディアドライブ、４０ ２階積分部、４１、４１Ａ 差分計算部、４２ 変位基準値取得部、４３ 速度基準値計算部、４４、４４Ａ 符号化データ生成部、４５ ２階微分部、Ｆ１ 取得処理部、Ｆ２ 復号処理部

Claims (17)

1. それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部を備える
   符号化装置。
2. 前記符号化部は、
   前記符号化データに、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とを含ませる
   請求項１に記載の符号化装置。
3. 前記符号化部は、
   前記誤差情報として、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報を前記符号化データに含ませる
   請求項２に記載の符号化装置。
4. 前記符号化部は、
   前記誤差情報として、前記特定信号が表す物理量を識別するための識別情報を前記符号化データに含ませる
   請求項２に記載の符号化装置。
5. 前記符号化部は、
   前記符号化として、微積分による相互換算性を利用して情報量を圧縮する符号化を行う
   請求項１に記載の符号化装置。
6. それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する
   符号化方法。
7. それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する機能を情報処理装置に実現させる
   プログラム。
8. それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号部を備える
   復号装置。
9. 前記符号化データには、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とが含まれ、
   前記復号部は、
   前記特定信号を前記他の物理量を表す触覚信号に換算し、該換算した触覚信号を前記誤差情報に基づき補正する
   請求項８に記載の復号装置。
10. 前記誤差情報は、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報とされた
    請求項９に記載の復号装置。
11. 前記符号化データには、前記特定信号が表す物理量を識別するための識別情報が含まれ、
    前記復号部は、
    前記識別情報に基づき前記復号を行う
    請求項９に記載の復号装置。
12. 前記復号部は、
    前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致する場合は前記特定信号を出力する
    請求項１１に記載の復号装置。
13. 前記復号部は、
    前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致しない場合は、前記特定信号を前記所定の物理量を表す信号に換算し、該換算した信号を前記誤差情報に基づき補正して出力する
    請求項１１に記載の復号装置。
14. 前記復号部は、
    微積分による相互換算性を利用して情報量を圧縮する符号化によって生成された前記符号化データを復号する
    請求項８に記載の復号装置。
15. 前記復号部は、
    前記復号により得た触覚信号の振幅調整を行う
    請求項８に記載の復号装置。
16. それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る
    復号方法。
17. それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る機能を情報処理装置に実現させる
    プログラム。

Images