JP6660637B2

JP6660637B2 - 触質情報処理装置および触質情報処理方法

Info

Publication number: JP6660637B2
Application number: JP2018515325A
Authority: JP
Inventors: 理絵子鈴木
Original assignee: FACETHERAPIE INC.
Current assignee: FACETHERAPIE INC.
Priority date: 2017-05-16
Filing date: 2018-02-22
Publication date: 2020-03-11
Anticipated expiration: 2038-02-22
Also published as: JPWO2018211767A1; WO2018211767A1

Description

本発明は、触質情報処理装置および触質情報処理方法に関し、特に、入力情報を触質情報に変換して情報伝達メディアとして利用可能にするための技術に関するものである。

人間が有する五感のうち、情報伝達の手段としては、視覚および聴覚を利用したものが広く提供されてきた。視覚および聴覚を利用した情報伝達メディアは多種多様であり、その発達には目覚しいものがある。これに対し、触覚を利用した情報伝達メディアとしては、点字などが提供されているが、視覚および聴覚を利用した情報伝達メディアに比べて発達の程度はかなり低い。これまで、触覚のみによって何らかの情報を伝達するという試みは、点字以外には殆ど行われていないのが実情である。

このような実情の中、視覚または聴覚で感じる情報を触覚から伝えようとする感覚代行技術の研究が行われている。すなわち、視覚情報は眼から、聴覚情報は耳から伝わるのが一般的であるが、これらの情報を触覚から伝えようとする試みがなされている。例えば、聴覚情報である音声信号を触覚効果の情報に変換して利用するようにしたシステムが知られている（例えば、特許文献１，２参照）。

特許文献１に記載の触覚効果生成システムは、音声信号に関係付けられるエンベロープを決定し、エンベロープに基づいて触覚効果（例えば、タッチスクリーンまたはタッチパッドのタッチ面を動かす振動触覚効果）を決定し、当該触覚効果に関係付けられる触覚信号（例えば、アクチュエータの駆動信号）を出力するように構成されている。

また、特許文献２に記載のシステムでは、マイクロフォンから入力した音声信号の特徴（周波数、振幅、継続期間など）を判断し、当該特徴の少なくとも一部に基づいて、特徴に関連した触覚効果ライブラリから触覚効果を識別することによって、当該特徴に関連した触覚効果をアクチュエータに出力させるためのアクチュエータ信号を生成する。

また、センサにより検出されるセンサ信号に基づいて仮想メッセージオブジェクトの仮想物理パラメータを決定し、当該仮想物理パラメータに基づいて触覚効果を決定して、その触覚効果をアクチュエータに出力させるための触覚信号を生成するようにした技術も知られている（例えば、特許文献３参照）。この特許文献３には、センサの一例として、接触、圧力、加速度、傾き、慣性、位置を検出することが記載され、具体例として、加速度計、ジャイロスコープ、タッチセンサ式入力装置、カメラ、ＧＰＳセンサが記載されている。また、特許文献３には、センサ信号がジェスチャと関連付けられた信号であることも記載されている。

さらに、特許文献３には、仮想物理特性が、サイズ、質量、形状、衝突挙動、またはテクスチャを含むことが記載されている。また、特許文献３には、仮想物理特性が、仮想メッセージオブジェクトと関連付けられるファイルサイズ、仮想メッセージオブジェクトと関連付けられるテキストメッセージの長さ、仮想メッセージオブジェクトと関連付けられる画像の幅および長さ、仮想メッセージオブジェクトと関連付けられる歌曲の長さ、または仮想メッセージオブジェクトと関連付けられるビデオの長さに基づくことが記載されている。

特開２０１５−５３０５３号公報特開２０１５−１５６２２９号公報特開２０１１−５２８４７４号公報

上記特許文献１〜３に記載された感覚代行技術によれば、視覚や聴覚などの触覚以外の情報を触覚信号（アクチュエータ信号などの振動情報）に変換して、機器等に触覚効果を与えるために利用することが可能である。しかしながら、変換した触覚信号を情報伝達メディアとして利用するものではなく、触覚情報として閲覧したり検索したりすることはできなかった。

本発明は、このような問題を解決するために成されたものであり、触覚を情報伝達メディアとして有効に利用できるようにすることを目的とする。

上記した課題を解決するために、本発明では、処理対象とする対象情報から、それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質点パラメータの組み合わせを２組以上生成し、さらに、当該２組以上の触質点パラメータに基づいて、対象情報が有している触覚の性質を表した触質特徴量をｎ個の触質点パラメータの組み合わせから算出し、かつ当該触質特徴量を複数種類算出し、当該複数種類の触質特徴量の組み合わせを記憶する。そして、記憶された触質特徴量の組み合わせを用いて、ユーザ操作に応じた処理を実行し、その実行結果をユーザに提供するようにしている。

上記のように構成した本発明によれば、処理対象として入力された対象情報（視覚や聴覚などの情報の他、触覚に関する情報を含む）から、触感の一要素を表した触質点パラメータを基にした触質特徴量が生成される。触質特徴量は、入力された対象情報が潜在的に持っている触覚の性質を表したものと言える。本発明によれば、この触質特徴量を用いて、ユーザ操作に応じた処理を実行し、その実行結果をユーザに提供することが可能である。これにより、対象情報に対応する触覚（触質特徴量）を情報伝達メディアとして有効に利用することができる。

本実施形態による触質情報処理装置の機能構成例を示すブロック図である。本実施形態の第１例に関し、波形情報を入力した場合における触質点パラメータ生成部による処理内容の一例を説明するための図である。本実施形態の処理実行部によりディスプレイに表示される画像の一例を示す図である。対象情報から触質特徴量を算出して記憶する際の動作例を示すフローチャートである。触質特徴量を利用してマップ表示処理を実行する際の動作例を示すフローチャートである。本実施形態による触質情報処理装置の他の機能構成例を示すブロック図である。触質特徴量を利用して検索処理を実行する際の動作例を示すフローチャートである。本実施形態の第２例に関し、ヒストグラム情報を入力した場合における触質点パラメータ生成部による処理内容の一例を説明するための図である。本実施形態の第３例に関し、画像情報を入力した場合における触質点パラメータ生成部による処理内容の一例を説明するための図である。本実施形態の第５例に関し、テキスト情報を入力した場合における触質点パラメータ生成部による処理内容の一例を説明するための図である。本実施形態の第６例に関し、マッサージの動作情報を入力した場合における触質点パラメータ生成部による処理内容の一例を説明するための図である。本実施形態による触質情報処理装置の他の機能構成例を示すブロック図である。本実施形態による触質情報処理装置の他の機能構成例を示すブロック図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による触質情報処理装置の機能構成例を示すブロック図である。図１に示すように、本実施形態の触質情報処理装置は、記憶媒体として触質特徴量記憶部１０を備えている。また、本実施形態の触質情報処理装置は、その機能構成として、対象情報入力部１１、触質点パラメータ生成部１２、触質特徴量算出部１３および処理実行部１４を備えている。

上記各機能ブロック１１〜１４は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

対象情報入力部１１は、処理対象の情報を入力する。本実施形態では、対象情報の一例として、波形情報（音声信号、映像信号、振動信号、地震計・風力計・光量計など各種計測機器の測定信号、オシロスコープによる波形測定データ、株価変動データなど）を入力する。波形情報は、情報の強度に関する第１の触質点パラメータと、情報の分割区間の長さに関する第２の触質点パラメータとにより特定される固有の触覚効果を持った情報である。

すなわち、波形情報は、強度に相当する振幅が時間軸に沿って連続的（アナログ信号の場合）または断続的（デジタルデータの場合）に連なっている情報である。この場合、情報の強度に関する第１の触質点パラメータは振幅、情報の分割区間の長さに関する第２の触質点パラメータは、波形情報を時間軸方向に複数に分割した場合の各分割区間の時間の長さである。強度および分割区間の長さは、何れも触感の一要素（触感の強さ、長さ）を成すものである。

触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報から、第１の触質点パラメータ（強度に関する情報）および第２の触質点パラメータ（分割区間の長さに関する情報）の組み合わせを２組以上生成する。

すなわち、触質点パラメータ生成部１２は、まず、対象情報入力部１１により入力された波形情報を時間軸方向に複数に分割する。そして、それぞれの分割区間から、分割区間内の代表振幅を第１の触質点パラメータとして特定するとともに、分割区間の時間の長さを第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。

なお、触質点パラメータ生成部１２は、前処理として、波形情報にローパスフィル処理を施すことにより、入力された波形情報のエンベロープを抽出し、当該エンベロープを対象として、複数の分割区間から第１の触質点パラメータおよび第２の触質点パラメータを特定するようにしてもよい。

図２は、触質点パラメータ生成部１２による処理内容の一例を説明するための図である。図２は、対象情報入力部１１により入力された波形情報（または、触質点パラメータ生成部１２により前処理としてローパスフィルタ処理が施されたエンベロープ波形情報）を示している。

触質点パラメータ生成部１２は、まず、図２に示す波形情報を時間軸方向に複数に分割する。図２では一例として、波形の振幅が極小となる時間毎に分割している。すなわち、波形の開始点から１つ目の極小値までを第１の分割区間Ｔ１、１つ目の極小値から２つ目の極小値までを第２の分割区間Ｔ２、２つ目の極小値から３つ目の極小値までを第３の分割区間Ｔ３、・・・のように、波形情報を時間軸方向に複数に分割している。

なお、波形情報の分割のし方は、図２に示した例に限定されない。例えば、波形の振幅が極大となる時間毎に波形情報を複数の区間に分割するようにしてもよい。あるいは、正の値の振幅および負の値の振幅がある波形情報の場合は、振幅値がゼロとなる時間毎に波形情報を複数の区間に分割するようにしてもよい。

触質点パラメータ生成部１２は、それぞれの分割区間Ｔ１，Ｔ２，Ｔ３，・・・から、第１の触質点パラメータとして代表振幅ｈ１，ｈ２，ｈ３，・・・を特定するとともに、第２の触質点パラメータとして分割区間の時間の長さｔ１，ｔ２，ｔ３，・・・を特定する。ここで、代表振幅ｈ１，ｈ２，ｈ３，・・・は、それぞれの分割区間Ｔ１，Ｔ２，Ｔ３，・・・における開始点の極小値または終了点の極小値のうち値が大きい方と、分割区間Ｔ１，Ｔ２，Ｔ３，・・・における極大値との差分の値を示している。

すなわち、分割区間Ｔ１に関しては、極小値が１つしかないので、この極小値と極大値との差分が代表振幅ｈ１となる。分割区間Ｔ２に関しては、当該区間の開始点の極小値の方が終了点の極小値よりも大きいので、開始点の極小値と極大値との差分が代表振幅ｈ２となる。分割区間Ｔ３に関しては、当該区間の開始点の極小値よりも終了点の極小値の方が大きいので、終了点の極小値と極大値との差分が代表振幅ｈ３となる。

なお、ここで示した代表振幅の特定方法は一例であり、これに限定されるものではない。例えば、それぞれの分割区間Ｔ１，Ｔ２，Ｔ３，・・・における開始点の極小値または終了点の極小値のうち値が小さい方と、分割区間Ｔ１，Ｔ２，Ｔ３，・・・における極大値との差分を代表振幅として特定するようにしてもよい。

また、正の値の振幅および負の値の振幅がある波形情報を、振幅値がゼロとなる時間毎に分割した場合は、各分割区間における正の極大値または負の極小値を第１の触質点パラメータの代表振幅として特定するようにしてもよい。ここで、負の極小値に関しては、その絶対値を第１の触質点パラメータの代表振幅として特定するようにしてもよい。

触質特徴量算出部１３は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ（第１の触質点パラメータおよび第２の触質点パラメータの２組以上の組み合わせ）に基づいて、対象情報入力部１１により入力された波形情報に関する複数種類の触質特徴量を算出する。本実施形態では、第１の触質点パラメータと第２の触質点パラメータとを用いた四則演算値を算出し、同じ四則演算値が現れる区間の長さを第１の触質特徴量として算出する。また、四則演算値の多様度を第２の触質特徴量として算出する。

例えば、分割区間の数がｎ個の場合、触質特徴量算出部１３は、それぞれの分割区間Ｔｉ（ｉ＝１〜ｎ）ごとにｈｉ／ｔｉの値を求める。そして、同じｈｉ／ｔｉの値が出現する区間の長さを第１の触質特徴量Ｐ１として算出する。例えば、分割区間Ｔ１におけるｈ１／ｔ１の値と、分割区間Ｔ３におけるｈ３／ｔ３の値とが同じになった場合、第１の触質特徴量Ｐ１は、次の式により求められる。
Ｐ１＝ｔ１＋ｔ２

あるいは、同じｈｉ／ｔｉの値が出現するまでの区間数を区間の長さとして、第１の触質特徴量Ｐ１を算出するようにしてもよい。この場合、上述した例のケースでは、分割区間Ｔ１から分割区間Ｔ３までの区間数である“２”が第１の触質特徴量Ｐ１ということになる。

なお、同じｈｉ／ｔｉの値が出現する区間が複数存在する場合は、それぞれの区間ごとに第１の触質特徴量Ｐ１を算出し、その平均値を最終的な第１の触質特徴量Ｐ１として決定する。あるいは、平均値に代えて、最大値、最小値、中央値などを第１の触質特徴量Ｐ１として決定するようにしてもよい。

また、触質特徴量算出部１３は、分割区間ごとに算出した複数のｈｉ／ｔｉの値の分散を第２の触質特徴量Ｐ２として算出する。すなわち、第２の触質特徴量Ｐ２は、次の式により求められる。
Ｐ２＝Σ（ｈｉ／ｔｉ−ｍ）²／ｎ（ｉ＝１〜ｎ）
ただし、ｍはｈｉ／ｔｉ（ｉ＝１〜ｎ）の平均値

上記のように求められる第１の触質特徴量Ｐ１は、対象情報入力部１１により入力された波長情報が潜在的に持っている触感のリズムを表している。また、第２の触質特徴量Ｐ２は、対象情報入力部１１により入力された波長情報が潜在的に持っている触感の多様度を表している。本実施形態では、この触感のリズムおよび多様度を示唆する２種類の触質特徴量によって、対象情報入力部１１により入力された波長情報を特徴付けるようにしている。

なお、ここではｈｉ／ｔｉの値を算出しているが、他の四則演算値を算出するようにしてもよい。例えば、ｔｉ／ｈｉの値、ｈｉ×ｔｉの値、ｈｉ＋ｔｉの値、ｈｉ−ｔｉの値などを算出するようにしてもよい。

触質特徴量記憶部１０は、触質特徴量算出部１３により算出された２種類の触質特徴量の組み合わせを、対象情報入力部１１により入力された対象情報を識別可能なラベル情報と共に記憶する。ラベル情報は、対象情報を識別可能なものであれば何でもよい。例えば、対象情報に付与されている名称、タイトル、ＩＤ番号などを用いることが可能である。本実施形態では、対象情報に対応する触覚を情報伝達メディアとして利用することを目的としているので、ラベル情報は、人が見て対象情報を認識しやすいものが好ましい。

処理実行部１４は、触質徴量記憶部１０に記憶された２種類の触質特徴量の組み合わせを用いて、ユーザ操作に応じた処理を実行し、その実行結果をラベル情報と共にユーザに提供する。例えば、処理実行部１４は、ユーザ操作によるマップ表示要求に応じて、触質特徴量記憶部１０に記憶された２種類の触質特徴量の組み合わせを、所定の座標空間上にマッピングしてラベル情報と共に表示する。

所定の座標空間は、例えば、横軸（ｘ軸）に第１の触質特徴量Ｐ１、縦軸（ｙ軸）に第２の触質特徴量Ｐ２をとった２次元座標とすることが可能である。この場合、処理実行部１４は、ディスプレイの画面上に２次元座標を表示し、（ｘ，ｙ）＝（Ｐ１，Ｐ２）とするｘｙ座標に所定のマークをプロットするとともに、そのプロット点の近傍にラベル情報を表示する処理を実行する。

触質特徴量記憶部１０に触質特徴量の組み合わせが複数組記憶されている場合は、その全ての組み合わせ、またはユーザ操作により任意に指定された１つまたは複数の組み合わせについて、上述のようなマップ表示処理を実行する。なお、触質特徴量の指定は、例えば、ディスプレイ画面に表示されたラベル情報の指定によって行うことが可能である。

図３は、処理実行部１４によりディスプレイに表示される画像の一例を示す図である。図３に示すように、処理実行部１４は、横軸に第１の触質特徴量Ｐ１、縦軸に第２の触質特徴量Ｐ２をとった２次元座標をディスプレイの画面上に表示し、触質特徴量記憶部１０から読み出した触質特徴量の組み合わせ（Ｐ１，Ｐ２）で特定されるｘｙ座標に菱形のマークをプロットするとともに、そのプロット点の近傍にラベル情報を表示する。

ユーザは、このマップ表示を見ることにより、プロット点間の距離が近い対象情報どうしは触質特徴量が近似し、プロット点間の距離が遠い対象情報どうしは触質特徴量が類似しないことを直感的に把握することができる。これにより、ある対象情報と触質の特徴が似たもの（または似ていないもの）を容易に探すことが可能となる。また、多種多様な対象情報の中から、触感のリズムが早いもの（または遅いもの）や、触感の多様度が大きいもの（または小さいもの）を容易に探すことも可能である。

図４および図５は、上記のように構成した本実施形態による触質情報処理装置の動作例を示すフローチャートである。図４は、対象情報入力部１１により入力された対象情報から触質特徴量を算出して触質特徴量記憶部１０に記憶する際の動作例を示す。図５は、触質特徴量記憶部１０に記憶された触質特徴量を利用してマップ表示処理を実行する際の動作例を示す。

図４において、まず、対象情報入力部１１は、対象情報を入力する（ステップＳ１）。次に、触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報に対して、必要に応じて前処理を行う（ステップＳ２）。ここで、前処理とは、波形情報にローパスフィル処理を施すことによってエンベロープを抽出する処理である。

次に、触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報（前処理が行われたものについては、前処理後の情報）を複数に分割し（ステップＳ３）、それぞれの分割区間から第１の触質点パラメータおよび第２の触質点パラメータを特定することにより、当該第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する（ステップＳ４）。

さらに、触質特徴量算出部１３は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ（各分割区間Ｔｉにおける代表振幅ｈｉおよび分割区間の時間の長さｔｉ）に基づいて、対象情報入力部１１により入力された対象情報に関する２種類の触質特徴量（第１の触質特徴量Ｐ１および第２の触質特徴量Ｐ２）を算出し（ステップＳ５）、これを触質特徴量記憶部１０に記憶させる（ステップＳ６）。

以上により、１つの対象情報に関する触質特徴量の算出処理が終了する。複数の対象情報について触質特徴量を算出する場合は、図４に示すフローチャートの処理を繰り返し実行する。これにより、触質特徴量記憶部１０には、複数の対象情報について算出された第１の触質特徴量Ｐ１および第２の触質特徴量Ｐ２の組み合わせが、それぞれのラベル情報と共に複数組記憶されることになる。

図５において、処理実行部１４は、マップ表示要求のユーザ操作を受け付けたか否かを判定する（ステップＳ１１）。マップ表示要求のユーザ操作を受け付けた場合、処理実行部１４は、触質特徴量記憶部１０に記憶されている触質特徴量を読み出し（ステップＳ１２）、第１の触質特徴量Ｐ１と第２の触質特徴量Ｐ２との組み合わせを２次元座標上にマッピングしてラベル情報と共に表示する（ステップＳ１３）。

ここで、ステップＳ１１のマップ表示要求において、マップ表示の対象とするラベル情報が指定された場合、処理実行部１４は、その指定に係る触質特徴量だけを２次元座標上にマッピングして表示する。一方、マップ表示の対象とするラベル情報が指定されていない場合、処理実行部１４は、触質特徴量記憶部１０に記憶されている全ての触質特徴量を２次元座標上にマッピングして表示する。

なお、ここでは、処理実行部１４による処理の一例としてマップ表示を説明したが、これに限定されない。例えば、触質特徴量を利用した検索処理を実行することも可能である。図６は、検索処理を実行する場合における触質情報処理装置の機能構成例を示す図である。図６に示す触質情報処理装置は、その機能構成として、類似度算出部１５を更に備えている。また、処理実行部１４に代えて処理実行部１４’を備えている。

類似度算出部１５は、複数の対象情報について触質特徴量記憶部１０に記憶された複数組の触質特徴量の組み合わせに基づいて、複数の対象情報の類似度を算出する。対象情報の類似度は、当該対象情報に係る触質特徴量の類似度によって算出する。すなわち、２つの触質特徴量の類似度が高ければ、それらの触質特徴量に対応する２つの対象情報どうしは類似度が高いものとする。

例えば、類似度算出部１５は、処理実行部１４’により図３のように２次元座標上にマッピングされたプロット点の距離を、触質特徴量の類似度を表す指標値として算出することが可能である。別の例として、類似度算出部１５は、第１の触質特徴量Ｐ１および第２の触質特徴量Ｐ２を２変数としてマハラノビス距離を算出し、これを触質特徴量の類似度を表す指標値として用いるようにしてもよい。プロット点間の距離もマハラノビス距離も、距離の値が小さいほど類似度は高く、距離の値が大きいほど類似度は低いことを示す。なお、ここに示した類似度の指標値は一例に過ぎず、他の公知の指標値を用いてもよい。

処理実行部１４’は、ユーザ操作により対象情報が指定されたときに、類似度算出部１５により算出された触質特徴量の類似度に基づいて、当該指定された対象情報に対する類似度が所定レベル以上（触質特徴量の類似度の指標値である距離が所定値以下）の対象情報を検索する処理を実行する。処理実行部１４’は、検索された対象情報に対応するラベル情報を検索結果としてディスプレイ画面に表示する。なお、検索キーとする対象情報の指定は、ディスプレイ画面に表示されたラベル情報の指定によって行うことが可能である。

図７は、図６のように構成した触質情報処理装置の動作例を示す図である。なお、対象情報入力部１１により入力された対象情報から触質特徴量を算出して触質特徴量記憶部１０に記憶する際の動作は、図４と同様である。図７は、触質特徴量記憶部１０に記憶された触質特徴量を利用して検索処理を実行する際の動作例を示す。

図７において、処理実行部１４’は、対象情報（ラベル情報）を指定した検索要求のユーザ操作を受け付けたか否かを判定する（ステップＳ２１）。検索表示要求のユーザ操作を受け付けた場合、処理実行部１４’は、類似度算出部１５に類似度算出の指示を出す。類似度算出部１５は、ステップＳ２１で指定された対象情報に対応する触質特徴量を触質特徴量記憶部１０から読み出し、触質特徴量記憶部１０に記憶されている他の触質特徴量との類似度を算出する（ステップＳ２２）。

次いで、処理実行部１４’は、類似度算出部１５により算出された触質特徴量の類似度に基づいて、ステップＳ２１で指定された対象情報に対する類似度が所定レベル以上（触質特徴量の類似度が所定値以上）の対象情報を検索する（ステップＳ２３）。そして、処理実行部１４’は、検索された対象情報に対応するラベル情報を検索結果としてディスプレイ画面に表示する（ステップＳ２４）。これにより、図７に示すフローチャートの処理は終了する。

なお、上記実施形態では、対象情報入力部１１が入力する対象情報の例として波形情報を説明したが、これに限定されない。本実施形態において処理対象として入力可能な情報は、ｎ個（ｎ≧２）の触質点パラメータにより特定される固有の触覚効果を持った情報である。特に、強度に相当する値が連続的または断続的に連なっているもの、あるいは、連なっている状態に変換可能なものであれば、対象情報として入力することが可能である。

上述した波形情報は、強度に相当する振幅が時間軸に沿って連続的（アナログ信号の場合）または断続的（デジタルデータの場合）に連なっている情報であり、本実施形態において扱うことが可能な情報の典型例である。

別の例として、文字列から成るテキスト情報は、これ自体は強度に相当する値が連なっている情報ではないが、詳細を後述するように、そのような情報に変換可能な情報である。よって、テキスト情報も、本実施形態において扱うことが可能な情報の１つである。この場合、第１の触質点パラメータおよび第２の触質点パラメータがそれぞれ何であるかについては後述する。

基本的に、情報量が単一のもの以外は、本実施形態において扱うことが可能な情報と言える。例えば、テキスト情報の場合、“あ”のように１文字のみから成るものは、強度に相当する値が連なっている情報とは言えず、また、これに変換することもできないので、本実施形態の対象外となる。一方、複数の文字から成るテキスト情報であれば、後述するように、強度に相当する値が連なっている情報に変換可能なので、本実施形態において扱うことが可能な情報となる。

音声信号の場合、ある程度の時間的な長さを持ったものであれば、上述の通り本実施形態において扱うことが可能な情報である。一方、一瞬で終わる音の場合、振幅は存在するが、時間軸に沿って複数に分割可能な長さを持たない。そのため、このままでは本実施形態において扱うことが可能な情報ではない。しかし、その瞬時音を周波数解析して周波数軸の信号に変換すると、周波数毎に異なる振幅を持った情報、つまり、強度に相当する振幅が周波数軸に沿って連なった情報となるため、本実施形態において扱うことが可能な情報となる。

音声信号やテキスト情報に限らず、それ以外のあらゆる情報についても同様のことが言える。すなわち、もともと情報量が単一でないものは、強度に相当する値が連なっているものと言えるので、本実施形態において扱うことが可能な情報である。一方、もとは情報量が単一であっても、強度に相当する値が連なっている情報に変換可能なものも、本実施形態において扱うことが可能な情報である。

以下に、対象情報入力部１１により入力される対象情報の種類に応じた触質点パラメータの具体的な生成例について説明する。なお、対象情報が波形情報である場合については既に第１例として説明したので、それ以外の情報が対象情報である場合について説明する。

＜第２例：ヒストグラム情報の場合＞
触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報が、周波数の違いに応じて強度が変化するヒストグラム情報である場合、当該ヒストグラム情報を周波数軸方向に複数に分割する。そして、それぞれの分割区間から、分割区間内の代表強度を第１の触質点パラメータとして特定するとともに、分割区間の周波数幅を第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。

図８は、ヒストグラム情報を入力した場合における触質点パラメータ生成部１２による処理内容の一例を説明するための図である。図８（ａ）は、対象情報入力部１１により入力されたヒストグラム情報を示している。図８（ａ）に示す通り、ヒストグラム情報は、外形は波形情報と同様である。そのため、波形情報と同様の処理を適用することが可能である。この場合も、前処理として、図８（ｂ）のようにヒストグラム情報のエンベロープを抽出し、当該エンベロープを対象として第１の触質点パラメータおよび第２の触質点パラメータを特定するようにしてもよい。

すなわち、触質点パラメータ生成部１２は、まず、図８（ａ）に示すヒストグラム情報（または図８（ｂ）に示すエンベロープ情報）を周波数軸方向に複数に分割する。図８では一例として、エンベロープの振幅が極小となる時間毎に分割している。すなわち、エンベロープの開始点から１つ目の極小値までを第１の分割区間Ｆ１、１つ目の極小値から２つ目の極小値までを第２の分割区間Ｆ２、２つ目の極小値から３つ目の極小値までを第３の分割区間Ｆ３、・・・のように、ヒストグラム情報を周波数軸方向に複数に分割している。ただし、分割法はこれに限定されない。

触質点パラメータ生成部１２は、それぞれの分割区間Ｆ１，Ｆ２，Ｆ３，・・・から、第１の触質点パラメータとして代表強度ｈ１，ｈ２，ｈ３，・・・を特定するとともに、第２の触質点パラメータとして分割区間の周波数幅ｆ１，ｆ２，ｆ３，・・・を特定する。ここで、代表強度ｈ１，ｈ２，ｈ３，・・・は、それぞれの分割区間Ｆ１，Ｆ２，Ｆ３，・・・における極大値を示している。ただし、代表強度の取り方はこれに限定されない。

＜第３例：空間分布情報の場合＞
触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報が、位置または領域の違いに応じて強度が変化する空間分布情報である場合、当該空間分布情報を位置または領域に応じて複数に分割する。そして、それぞれの分割区間から、分割区間内の代表強度を第１の触質点パラメータとして特定するとともに、分割区間の終始点間の長さまたは面積を第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。

空間分布情報の一例として、画像情報が挙げられる。画像情報は、画素の位置または複数の画素群から成る領域に応じて、強度の要素を有する色情報や輝度情報が変化する情報である。触質点パラメータ生成部１２は、このような画像情報を、画素の位置または画素群の領域に応じて複数に分割し、それぞれの分割区間から第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを生成する。

図９は、画像情報を入力した場合における触質点パラメータ生成部１２による処理内容の一例を説明するための図である。図９（ａ）に示す画像情報は、縦横が様々な大きさのメッシュ状に分割されたパターン画像の例を示している。第３例は、このようなパターン画像から第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを生成するのに適している。

触質点パラメータ生成部１２は、まず、図９（ａ）に示すパターン画像をメッシュの領域に応じて複数に分割する。図９（ａ）では一例として、最も左上のメッシュを第１の分割区間Ａ１、その右側のメッシュを第２の分割区間Ａ２、更にその右側のメッシュを第３の分割区間Ａ３、・・・としていき、右端までいったら１つの下の段に降りて左端から右端に向かって順に分割していく。これを最も右下のメッシュまで行うことにより、パターン画像の全体を各メッシュの領域に応じて複数に分割している。

触質点パラメータ生成部１２は、それぞれの分割区間Ａ１，Ａ２，Ａ３，・・・から、第１の触質点パラメータとして代表強度ｈ１，ｈ２，ｈ３，・・・を特定するとともに、第２の触質点パラメータとして分割区間の面積ａ１，ａ２，ａ３，・・・を特定する。ここで、代表強度ｈ１，ｈ２，ｈ３，・・・は、それぞれの分割区間Ａ１，Ａ２，Ａ３，・・・における彩度、明度または輝度の何れかの平均値などを用いることが可能である。

なお、ここでは、複数のメッシュが縦横に区切られた２次元のパターン画像の例を示したが、図９（ｂ）のような１次元のパターン画像（縦方向は１画素、横方向は複数画素のライン画像）であってもよい。この場合、触質点パラメータ生成部１２は、それぞれの分割区間Ａ１，Ａ２，Ａ３，・・・から、第２の触質点パラメータとして、分割区間の始点から終点までの長さ（画素数に相当）を特定すればよい。

＜第４例：周波数スペクトル情報の場合＞
対象情報入力部１１により入力された画像情報が、図９に示したシンプルなパターン画像ではなく、写真や絵画のような複雑な画像情報の場合、第３例を適用するのは難しい。このような画像情報を処理対象とする場合、触質点パラメータ生成部１２は、前処理として画像情報を周波数スペクトル情報に変換し、その周波数スペクトル情報から第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。

すなわち、触質点パラメータ生成部１２は、対象情報入力部１１により入力された画像情報を分析して強度−周波数分布の周波数スペクトル情報を生成した後、当該周波数スペクトル情報を周波数軸方向に複数に分割し、それぞれの分割区間から、分割区間内の代表強度を第１の触質点パラメータとして特定するとともに、分割区間の周波数幅を第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。

この場合における具体的な処理例は、図８を用いて説明した第２例と同様なので、説明を割愛する。なお、画像情報の他に、音声信号に対してもこの第４例を適用することが可能である。上述したように、一瞬で終わる単発の音の場合は、第１例を適用することができない。しかし、第４例を適用することは可能である。すなわち、瞬時音を分析して強度−周波数分布の周波数スペクトル情報を生成することにより、その周波数スペクトル情報から第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成することが可能である。

＜第５例：テキスト情報の場合＞
触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報がテキスト情報である場合、テキスト情報を形態素解析してセンテンス毎に分割するとともに、各センテンス内を分節毎に区切り、各文節の音素数を特定する。そして、それぞれのセンテンスから、センテンス内の代表音素数の逆数を強度とみなして第１の触質点パラメータとして特定するとともに、センテンス内の文節数を第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。

図１０は、テキスト情報を入力した場合における触質点パラメータ生成部１２による処理内容の一例を説明するための図である。図１０は、対象情報入力部１１により入力されたテキスト情報にカナを併記したものを示している。図１０に示す例において入力されたテキスト情報は、「今日は日曜日。私は今日学校に行きました。」という文章の文字列から成る情報である。

触質点パラメータ生成部１２は、まず、「今日は日曜日。私は今日学校に行きました。」という文章のテキスト情報をセンテンス毎に分割する。すなわち、「今日は日曜日」および「私は今日学校に行きました」の２つに分割する。１つ目のセンテンスが第１の分割区間Ｂ１、２つ目のセンテンスが第２の分割区間Ｂ２となる。

次に、触質点パラメータ生成部１２は、それぞれのセンテンスを形態素解析し、各センテンス内を分節毎に区切り、各文節の音素数を特定する。すなわち、第１の分割区間Ｂ１に関しては、センテンスを「今日は」および「日曜日」の２つの文節に区切る。そして、１つ目の文節「キョウハ」の音素数を“３”と特定し、２つ目の文節「ニチヨウビ」の音素数を“５”と特定する。同様に、第２の分割区間Ｂ２に関しては、センテンスを「私は」、「今日」、「学校に」および「行きました」の４つの文節に区切る。そして、各文節の音素数をそれぞれ“４”、“２”、“５”、“５”と特定する。

そして、触質点パラメータ生成部１２は、第１の分割区間Ｂ１および第２の分割区間Ｂ２のそれぞれから、分割区間内の代表音素数の逆数を強度とみなして、これを第１の触質点パラメータとして特定する。代表音素数は、例えば、分割区間内で最小の音素数、最大の音素数、または平均音素数とすることが可能である。例えば、平均音素数を用いる場合、第１の分割区間Ｂ１の平均音素数は“４”であり、これの逆数を第１の触質点パラメータとして特定する。また、第２の分割区間Ｂ２の平均音素数も“４”であり、これの逆数を第１の触質点パラメータとして特定する。

また、触質点パラメータ生成部１２は、第１の分割区間Ｂ１および第２の分割区間Ｂ２のそれぞれから、文節数を第２の触質点パラメータとして特定する。すなわち、第１の分割区間Ｂ１については文節数“２”を第２の触質点パラメータとして特定し、第２の分割区間Ｂ２については文節数“４”を第２の触質点パラメータとして特定する。

＜第６例：動作情報の場合＞
触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報が、人の動きを表す一連の動作情報である場合、当該一連の動作情報を一動作毎に分割する。そして、それぞれの動作から、当該動作による加圧力、速度、加速度または人体の到達高さに関する代表値を強度とみなし第１の触質点パラメータとして特定するとともに、一動作にかかる時間の長さを第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。

人の動きを表す一連の動作情報の一例として、マッサージの施術の動きを表した動作情報が挙げられる。図１１は、マッサージの動作情報を入力した場合における触質点パラメータ生成部１２による処理内容の一例を説明するための図である。マッサージは、複数の手技の組み合わせで行われる。そして、１つの手技は、圧力を所定時間加えることによって成される。

したがって、このようなマッサージの施術の動きを表した動作情報は、図１１に示すように、横軸を時間軸とし、縦軸を圧力として描かれる棒グラフのような情報で表すことができる。なお、隣接する棒グラフの間が開いている箇所は、２つの手技が時間を置いて行われることを意味する。また、隣接する棒グラフの間が接続している箇所は、２つの手技が時間を置かずに連続して行われることを意味する。例えば、表面に圧力センサを備えた人型の人形等に対して実際にマッサージを施術すると、図１１に示すようなセンサ情報が得られるので、これを対象情報入力部１１への入力とすることが可能である。

触質点パラメータ生成部１２は、対象情報入力部１１により入力される、複数の手技の組み合わせから成る一連の動作情報を、１つ１つの手技（一動作）毎に分割する。図１１のイメージで説明すると、１つ１つの棒グラフに分割することに相当する。この場合、１つの手技（棒グラフ）が１つの分割区間に相当する。すなわち、１つ目の手技を第１の分割区間Ｍ１，２つ目の手技を第２の分割区間Ｍ２、３つ目の手技を第３の分割区間Ｍ３、・・・のように、一連の動作情報を手技毎に分割していく。

そして、触質点パラメータ生成部１２は、それぞれの分割区間Ｍ１，Ｍ２，Ｍ３，・・・から、当該分割区間Ｍ１，Ｍ２，Ｍ３，・・・の手技による加圧力ｐ１，ｐ２，ｐ３，・・・を第１の触質点パラメータとして特定するとともに、各手技を行うの要する所要時間の長さｔ１，ｔ２，ｔ３，・・・を第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを２組以上生成する。

また、人の動きを表す一連の動作情報の別の例として、モーションキャプチャで捉えた動作情報が挙げられる。モーションキャプチャによる動作情報は、人の動きをデジタル的に記録した動画情報として提供される。触質点パラメータ生成部１２は、この動画情報を画像解析して、人の特定部位（例えば、手）の動きの開始点を特定し、その開始点に手が戻ってくるまでの動きを一動作として捉える。そして、一連の動作情報を一動作毎に分割する。この場合、手が開始点に戻ってくるまでの一動作が１つの分割区間に相当する。

そして、触質点パラメータ生成部１２は、それぞれの分割区間から、当該分割区間の動作による速度、加速度または人体の到達高さに関する代表値を強度とみなし、これを強度に関する第１の触質点パラメータとして特定する。例えば、動作の速度の代表値を第１の触質点パラメータとする場合、一動作の中の最大速度、最小速度または平均速度を代表値として用いることが可能である。また、人体の到達高さの代表値を第１の触質点パラメータとする場合、例えば手を動かして動作したときの床からの最高点を代表値として用いることができる。また、触質点パラメータ生成部１２は、一動作にかかる時間の長さを第２の触質点パラメータとして特定する。

＜第７例：動画情報の場合＞
触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報が動画情報である場合、当該動画情報をオプティカルフロー解析してフレーム画像間の変位量を演算することにより、時間の経過と共に変位量が変化する波形情報に変換する。そして、当該波形情報を時間軸方向に複数に分割し、それぞれの分割区間から、分割区間内の代表強度を第１の触質点パラメータとして特定するとともに、分割区間の時間の長さを第２の触質点パラメータとして特定することにより、第１の触質点パラメータおよび第２の触質点パラメータの組み合わせを１組以上生成する。

動画情報は、上述したモーションキャプチャによる動作情報を含む、任意の動画情報である。オプティカルフロー解析は、公知の方法を適用することが可能である。まず、時間ｔ１における１番目のフレーム画像と、時間ｔ２における２番目のフレーム画像との差分であるオプティカルフロー値を求める。ここで、各画素に対して求まるｘ，ｙ方向のオプティカルフロー値をＦｘ，Ｆｙとした場合、例えば（Ｆｘ²＋Ｆｙ²）／２の値を画素毎に求め、さらに全画素における平均値を求めることにより、この平均値を時間ｔ２における変位量とする。

次に、時間ｔ２における２番目のフレーム画像と、時間ｔ３における３番目のフレーム画像との間で、ｘ，ｙ方向のオプティカルフロー値Ｆｘ，Ｆｙをもとに（Ｆｘ²＋Ｆｙ²）／２の値を画素毎に求め、さらに全画素における平均値を求めることにより、この平均値を時間ｔ３における変位量とする。以降も同様にしてフレーム毎に変位量を求めることにより、時間の経過と共に変位量が変化する波形情報が得られる。このようにして波形情報を得た後の処理は、図２を用いて説明した第１例と同様なので、説明を割愛する。

以上詳しく説明したように、本実施形態では、処理対象とする対象情報から、それぞれが触感の一要素を表した２個の触質点パラメータ（第１の触質点パラメータおよび第２の触質点パラメータ）の組み合わせを２組以上生成し、さらに、当該２組以上の触質点パラメータに基づいて、対象情報に関する２種類の触質特徴量（第１の触質特徴量および第２の触質特徴量）を算出し、当該２種類の触質特徴量の組み合わせをラベル情報と共に記憶する。そして、記憶された触質特徴量の組み合わせを用いて、ユーザ操作に応じた処理を実行し、その実行結果をラベル情報と共にユーザに提供するようにしている。

このように構成した本実施形態によれば、処理対象として入力された対象情報から、触感の一要素を表した触質点パラメータを基にした触質特徴量が生成される。触質特徴量は、入力された対象情報が潜在的に持っている触覚の性質を表したものと言える。本実施形態によれば、この触質特徴量を用いて、ユーザ操作に応じた処理を実行し、その触質特徴量に対応する対象情報のラベル情報と共に処理の実行結果をユーザに提供することが可能である。これにより、対象情報に対応する触覚を情報伝達メディアとして有効に利用することができる。

例えば、多種多様な情報を触質特徴量に変換してデータベース化することにより、触質特徴量を検索キーとして、当該検索キーと同一または類似の触質を持った情報を検索することが可能である。このようにすれば、元の情報は全く異なる種類のものであっても、触感として同様のイメージを有するものを逆引きすることが可能となる。例えば、お気に入りの楽曲がある場合に、その楽曲と似た感覚の他の楽曲を検索するといった使い方が可能である。

また、多種多様な情報から生成した触質特徴量の類似度を判定し、分類を与えることも可能である。このようにして分類した各種情報を、分類毎に閲覧にしたり、分類による絞り込み検索をしたりすることも可能である。

なお、上記実施形態では、ｎ＝２とし、２個の触質点パラメータとして、情報の強度に関する第１の触質点パラメータと、情報の分割区間の長さに関する第２の触質点パラメータとを生成する例について説明したが、ｎは３以上であってもよい。また、上記実施形態では、情報の強度に関する第１の触質点パラメータと、情報の分割区間の長さに関する第２の触質点パラメータとの両方を生成する例について説明したが、何れか一方のみとしてもよい。

すなわち、触質点パラメータ生成部１２は、対象情報入力部１１により入力された対象情報を複数に分割し、それぞれの分割区間から、情報の強度に関する第１の触質点パラメータおよび分割区間の長さに関する第２の触質点パラメータの少なくとも一方を用いて、ｎ個（ｎ≧２）の触質点パラメータを特定することにより、ｎ個の触質点パラメータの組み合わせを２組以上生成することが可能である。

例えば、ｎ＝３とする場合、第１の触質点パラメータを１個または２個生成するとともに、第２の触質点パラメータを２個または１個生成するといったことが可能である。あるいは、第１の触質点パラメータとして異なるものを３個生成するようにしてもよいし、第２の触質点パラメータとして異なるものを３個生成するようにしてもよい。

情報の強度に関する第１の触質点パラメータだけでｎ個の触質点パラメータを生成する場合、例えば、対象情報入力部１１によりｎ種の対象情報を入力するようにする。そして、触質点パラメータ生成部１２は、入力されたｎ種の対象情報をそれぞれ複数に分割し、ｎ種の対象情報のそれぞれの分割区間から、第１の触質点パラメータを１個ずつ特定することにより、ｎ個の第１の触質点パラメータの組み合わせを２組以上生成する。

一例として、対象情報入力部１１が、心拍、加速度（身体の動き）、血流量の３種の情報に関して以下のようなデジタル値を対象情報として入力したとする。
心拍：７９，６０，７９，７５，７４，７９，７５
加速度：４０，１０，３０，４０，３５，４０，２０
血流量：８０，６０，４０，６０，８０，６０，８０

この場合、触質点パラメータ生成部１２は、入力された３種の対象情報をそれぞれ入力値ごとに分割し、３種の対象情報のそれぞれの分割区間から、第１の触質点パラメータを特定することにより、３個の第１の触質点パラメータの組み合わせを以下のように生成する。
｛７９，４０，８０｝，｛６０，１０，６０｝，｛７９，３０，４０｝，・・・

また、情報の分割区間の長さに関する第２の触質点パラメータだけでｎ個の触質点パラメータを生成する場合も、例えば、対象情報入力部１１によりｎ種の対象情報を入力するようにする。そして、触質点パラメータ生成部１２は、入力されたｎ種の対象情報をそれぞれ複数に分割し、ｎ種の対象情報のそれぞれの分割区間から、第２の触質点パラメータを１個ずつ特定することにより、ｎ個の第２の触質点パラメータの組み合わせを２組以上生成する。

一例として、対象情報入力部１１が、心拍、加速度、血流量の３種の情報に関して、上記と同様のデジタル値を入力したとする。この場合、触質点パラメータ生成部１２は、例えば、同じ値が入力されるまでを単位として３種の対象情報をそれぞれ分割し、３種の対象情報のそれぞれの分割区間から、第２の触質点パラメータを特定することにより、３個の第２の触質点パラメータの組み合わせを生成する。

上記の例の場合、心拍に関して、最初の“７９”と同じ値が次に現れるのは２つ後、その次に同じ値が現れるのは更に３つ後なので、分割区間の長さは２，３となる。加速度に関して、最初の“４０” と同じ値が次に現れるのは３つ後、その次に同じ値が現れるのは更に２つ後なので、分割区間の長さは３，２となる。血流量に関して、最初の“８０”と同じ値が次に現れるのは４つ後、その次に同じ値が現れるのは更に２つ後なので、分割区間の長さは４，２となる。これにより、３個の第２の触質点パラメータの組み合わせは以下のようになる。
｛２，３，４｝，｛３，２，２｝，・・・

このように、３個の触質点パラメータを生成した場合、触質特徴量算出部１３は、当該３個の触質点パラメータを用いた四則演算値を算出し、同じ四則演算値が出現する区間の長さを第１の触質特徴量Ｐ１として算出するとともに、四則演算値の多様度を第２の触質特徴量Ｐ２として算出する。この場合における四則演算の内容は、任意に定めることが可能である。

なお、ここでは、３個の触質点パラメータを生成する具体例として、複数種類の触質変換対象の情報としてデジタル値を入力する例について説明したが、アナログ信号を入力するようにしてもよいことは言うまでもない。この場合、強度に関する触質点パラメータおよび分割区間の長さに関する触質点パラメータの生成法は、上記実施形態で説明した方法を適用することが可能である。

また、ここでは、強度に関する触質点パラメータ、あるいは分割区間の長さに関する触質点パラメータの何れか一方のみを、複数種類の対象情報から生成する例について説明したが、１種類の対象情報から生成するようにしてもよい。例えば、上記実施形態と同様にして１種類の対象情報を複数の区間に分割し、それぞれの分割区間から、強度に関する触質点パラメータを複数生成するようにしてもよい（例えば、強度の最大値と最小値をそれぞれ触質点パラメータとするなど）。また、１種類の対象情報を複数の区間に分割する際に、異なる方法に従って複数の区間に分割し、それぞれの方法で分割した分割区間の長さを触質点パラメータとするようにしてもよい。

また、ここでは、複数種類の対象情報から、強度に関する触質点パラメータだけ、あるいは分割区間の長さに関する触質点パラメータだけを生成する例について説明したが、本発明はこれに限定されない。例えば、複数種類の対象情報から、強度に関する触質点パラメータおよび分割区間の長さに関する触質点パラメータの両方を組み合わせて生成するようにしてもよい。

また、上記実施形態では、複数の分割区間ごとにｎ個の四則演算値（ｈｉ／ｔｉの値）を算出し、同じ四則演算値が出現する区間の長さを第１の触質特徴量Ｐ１として算出する例について説明したが、本発明はこれに限定されない。例えば、それぞれの分割区間ごとにｎ個の触質点パラメータを用いた四則演算値を算出し、当該分割区間ごとに算出した複数の四則演算値のｍ階差分値（ｍ≧１）の平均値または代表値（最大値、最小値または中央値など）を第１の触質特徴量Ｐ１としてもよい。具体例として、それぞれの分割区間ごとにｎ個の四則演算値（ｈｉ／ｔｉの値）を算出し、当該分割区間ごとに算出した複数の四則演算値の１階差分値｛（ｈ２／ｔ２−ｈ１／ｔ１），（ｈ３／ｔ３−ｈ２／ｔ２），・・・｝の平均値を第１の触質特徴量Ｐ１とすることが考えられる。

また、上記実施形態では、複数の分割区間ごとに算出した複数の四則演算値（ｈｉ／ｔｉの値）の分散を多様度（第２の触質特徴量Ｐ２）の一例として算出する例について説明したが、本発明はこれに限定されない。例えば、分割区間ごとに算出した複数の四則演算値の最小値から最大値までのレンジ、または当該レンジと中央値との組を第２の触質特徴量Ｐ２として算出するようにしてもよい。あるいは、分割区間ごとに算出した複数の四則演算値の情報量を第２の触質特徴量Ｐ２として算出するようにしてもよい。ここで、情報量の一例としては、次式により算出されるエントロピーＨ（シャノンの平均情報量）とすることが可能である。ここでｐ(e_i)は、各四則演算値の生起確率を示す。
Ｈ＝−Σｐ(e_i)ｌｏｇ₂ｐ(e_i) （ｉ＝１〜ｎ）

例えば、複数の分割区間ごとに算出した複数の四則演算値（ｈｉ／ｔｉの値）が以下の通りであったとする。
２０,１８,１,９,１１,１,１,１,３８,３８,１,１６
この場合、分散は１９１．８、レンジは３７、中央値は１６、エントロピーは０．４８となる。触質特徴量算出部１３は、このように算出される分散、レンジと中央値との組、またはエントロピーを、四則演算値の多様度を表す第２の触質特徴量Ｐ２として用いることが可能である。

なお、レンジと中央値との組を第２の触質特徴量Ｐ２として用いる場合、第２の触質特徴量Ｐ２として２つの値が存在することになる。第１の触質特徴量Ｐ１を合わせると、３つの値が存在することになる。よって、これをそのままの形で、横軸（ｘ軸）に第１の触質特徴量Ｐ１、縦軸（ｙ軸）に第２の触質特徴量Ｐ２をとった２次元座標にプロットすることはできない。そこで、例えば、レンジと中央値とを用いて四則演算を行うことによって１つの値に置換し、これをｙ座標の値として用いるようにすることが考えられる。あるいは、ｘ軸に第１の触質特徴量Ｐ１、ｙ軸に１つ目の第２の触質特徴量Ｐ２であるレンジ、ｚ軸に２つ目の第２の触質特徴量Ｐ２である中央値をとった３次元座標に所定のマークをプロットするようにしてもよい。

また、上記実施形態では、四則演算値の多様度を第２の触質特徴量として算出する例について説明したが、本発明はこれに限定されない。例えば、触質特徴量算出部１３は、分割区間ごとに算出した複数の四則演算値のｍ階差分値（ｍ≧１）を更に算出し、上述した四則演算値に代えてｍ階差分値を用いるようにしてもよい。すなわち、同じｍ階差分値が出現する区間の長さを第１の触質特徴量Ｐ１として算出するとともに、ｍ階差分値の多様度を第２の触質特徴量Ｐ２として算出するようにしてもよい。

例えば、複数の分割区間ごとに算出した複数の四則演算値（ｈｉ／ｔｉの値）が以下の通りであったとする。
２０,１８,１,９,１１,１,１,１,３８,３８,１,１６
この場合、１階差分値（ｍ＝１）の絶対値は以下の通りとなる。
２,１７,８,２,１０,０,０,３７,０,３７,１５
また、２階差分値（ｍ＝２）の絶対値は以下の通りとなる。
１５,９,６,８,１０,０,３７,３７,３７,２２
触質特徴量算出部１３は、このように算出される複数のｍ階差分値の多様度を第２の触質特徴量Ｐ２として用いてもよい。ｍ階差分値の多様度を第２の触質特徴量Ｐ２として算出する場合も、多様度として、複数のｍ階差分値の分散、レンジ、レンジと中央値との組、またはエントロピーを用いることが可能である。

このように、ｍ階差分値を用いるのは、触質点パラメータの四則演算値の変化の仕方が触質に影響するからである。例えば、ｍ階差分値に大きな値が含まれる場合は、触質に大きな変化があり、触質は硬くなることを意味する。一方、ｍ階差分値に小さな値が含まれる場合は、触質に小さな変化があり、触質は柔らかくなることを意味する。

また、上記実施形態では、２種類の触質特徴量の組み合わせを算出する例について説明したが、３種類以上の触質特徴量の組み合わせを算出するようにしてもよい。例えば、３種類の触質特徴量を算出した場合、これを用いたマップ表示は、３次元座標情報へのプロット点の表示によって行うことが可能である。３種類目の触質特徴量としては、例えば、分割区間の長さの平均値（最小値または最大値であってもよい）を用いることが可能である。この分割区間の長さの平均値等は、対象情報が潜在的に持っている触感のテンポを表していると言える。

または、触質特徴量算出部１３は、上述したように、分割区間ごとに算出した複数の四則演算値のｍ階差分値（ｍ≧１）を更に算出し、ｍ階差分値の多様度を第３の触質特徴量として更に算出するようにしてもよい。すなわち、同じ四則演算値が出現する区間の長さを第１の触質特徴量とし、四則演算値の多様度を第２の触質特徴量とし、ｍ階差分値の多様度を第３の触質特徴量として用いるようにしてもよい。ｍ階差分値の多様度を第３の触質特徴量として算出する場合も、多様度として、複数のｍ階差分値の分散、レンジ、レンジと中央値との組、またはエントロピーを用いることが可能である。

例えば、ある２つの対象情報１，２について複数の分割区間ごとに算出した複数の四則演算値（ｈｉ／ｔｉの値）が、それぞれ以下の通りであったとする。
対象情報１）：１，２，１００，１，２，１００
対象情報２）：１，２，３，１，２，３
この場合、同じ四則演算値が出現するまでの区間数を第１の触質特徴量Ｐ１、四則演算値のエントロピーを第２の触質特徴量Ｐ２とすると、対象情報１，２の何れもＰ１＝３、Ｐ２＝ｌｏｇ₂３（＝−３×(1/3)ｌｏｇ₂ (1/3)）となる。

これに対して、四則演算値の１階差分値を更に算出し、当該１階差分値のレンジを第３の触質特徴量Ｐ３として算出すると、対象情報１，２における第３の触質特徴量Ｐ３はそれぞれ以下のようになる。
対象情報１）：Ｐ３＝９８
（１階階差分値の絶対値：１，９８，９９，１，９８）
対象情報２：Ｐ３＝１
（１階階差分値の絶対値：１，１，２，１，１）

このように、第１の触質特徴量Ｐ１および第２の触質特徴量Ｐ２が共に同じ値となる対象情報どうしであっても、第３の触質特徴量Ｐ３を加えることによって、触質特徴量に差を出すことが可能となる。

また、上記実施形態では、触質特徴量算出部１３により算出された触質特徴量をラベル情報と共に触質特徴量記憶部１０に記憶する例について説明したが、これに加えて、対象情報入力部１１により入力された対象情報も関連付けて記憶するようにしてもよい。この場合、例えばマップ表示されたプロット点またはラベル情報をクリックしたり、検索結果として表示されたラベル情報をクリックしたりすることにより、対応する対応情報を再生できるようにしてもよい。

また、上記実施形態では、触質特徴量算出部１３により算出された触質特徴量をラベル情報と共に触質特徴量記憶部１０に記憶させ、処理実行部１４，１４’による処理の実行結果をラベル情報と共にユーザに提供する例について説明したが、ラベル情報はなくてもよい。

例えば、図１の処理実行部１４は、図３に示したようなマップにおいて、各プロット点をラベル情報なしで表示させ、ユーザが所望のプロット点をマウス操作またはタッチパネル操作などにより指定したときに、指定されたプロット点に対応する対象情報そのものを提供するように構成してもよい。また、図６の処理実行部１４’は、ユーザ操作により指定された対象情報に対する触質特徴量の類似度が所定レベル以上のものとして検索された対象情報そのものを、検索結果として提供するように構成してもよい。

ここで、対象情報そのものを提供する処理とは、例えば対象情報が音声信号のように聴取可能なものの場合に、当該音声信号をスピーカから出力する処理や、音声信号を触質情報処理装置の外部の記憶媒体に記録する処理、音声信号を触質情報処理装置の外部のネットワークに送信する処理などをいう。例えば、本実施形態の触質情報処理装置を、音声再生機能を備えた機器に内蔵させ、触質情報処理装置により検索された音声信号を当該機器のスピーカから出力したり、当該機器に装着されたリムーバルメモリに記録したり、当該機器に通信ネットワークを介して接続された外部装置に送信したりする形態が考えられる。

また、対象情報そのものを提供する処理とは、例えば対象情報が映像信号のように表示可能なものの場合に、当該映像信号をディスプレイに表示する処理や、映像信号を触質情報処理装置の外部の記憶媒体に記録する処理、映像信号を触質情報処理装置の外部のネットワークに送信する処理などをいう。例えば、本実施形態の触質情報処理装置を、映像再生機能を備えた機器に内蔵させ、触質情報処理装置により検索された映像信号を当該機器のディスプレイに表示させたり、当該機器に装着されたリムーバルメモリに記録したり、当該機器に通信ネットワークを介して接続された外部装置に送信したりする形態が考えられる。

また、対象情報そのものを提供する処理とは、例えば対象情報が振動信号の場合に、振動を出力することによって所与の効果を与える機器（例えば、マッサージ器、美顔器、振動アラーム、電動歯ブラシ、ゲーム機のコントローラ、振動フィードバック付きタッチパネルなど）に対して、検索結果の振動信号を出力する処理などをいう。例えば、本実施形態の触質情報処理装置を、振動付与機能を備えた機器（例えば、上記した何れかの機器）に内蔵させ、触質情報処理装置により検索された振動信号を当該機器の振動付与体に供給する形態が考えられる。

また、上記実施形態では、触質特徴量算出部１３は、それぞれの分割区間ごとにｎ個の触質点パラメータを用いた四則演算値を算出し、この四則演算値を用いて触質特徴量を算出する例について説明したが、本発明はこれに限定されない。例えば、触質特徴量算出部１３は、第１の触質点パラメータと第２の触質点パラメータとの組み合わせで同じものが現れる区間の長さを第１の触質特徴量として算出するとともに、第１の触質点パラメータと第２の触質点パラメータとの組み合わせの多様度を第２の触質特徴量として算出するようにしてもよい。

また、上記実施形態では、触質特徴量算出部１３が、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータに基づいて、対象情報に関する複数種類の触質特徴量を算出する例について説明したが、本発明はこれに限定されない。例えば、触質点パラメータに代えて、以下に述べる触質パラメータに基づいて、対象情報に関する複数種類の触質特徴量を算出するようにしてもよい。

図１２は、触質パラメータに基づいて触質特徴量を算出する場合における触質情報処理装置の機能構成例を示す図である。ここで、図１２（ａ）は、図１に対する変形例を示し、図１２（ｂ）は、図６に対する変形例を示している。この図１２において、図１および図６に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータについて、２つの組間で触質点パラメータの差分値をそれぞれ計算することにより、ｎ個の触質パラメータの組み合わせを２組以上生成する。触質特徴量算出部１３’は、触質パラメータ生成部１６により生成された触質パラメータを用いて、上記実施形態で説明した触質特徴量を算出する。

すなわち、ｎ＝２の場合、触質パラメータ生成部１６は、２つの組間で、第１の触質点パラメータどうしの差分値を計算することによって第１の触質パラメータを生成するとともに、第２の触質点パラメータどうしの差分値を計算することによって第２の触質パラメータを生成する。この計算を複数の組み合わせで順次行うことにより、第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成する。

例えば、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータが、｛ｐ１１，ｐ２１｝，｛ｐ１２，ｐ２２｝，｛ｐ１３，ｐ２３｝の３組であったとする。ここで、ｐ１１，ｐ１２，ｐ１３が第１の触質点パラメータ、ｐ２１，ｐ２２，ｐ２３が第２の触質点パラメータである。この場合、触質パラメータ生成部１６は、｛ｐ１１，ｐ２１｝および｛ｐ１２，ｐ２２｝の２つの組間で触質点パラメータの差分値を計算するとともに、｛ｐ１２，ｐ２２｝，｛ｐ１３，ｐ２３｝の２つの組間で触質点パラメータの差分値を計算することにより、次のような２組の触質パラメータを生成する。
｛ｐ１２−ｐ１１，ｐ２２−ｐ２１｝，｛ｐ１３−ｐ１２，ｐ２３−ｐ２２｝

以下に、触質パラメータ生成部１６により生成される触質パラメータについて、より具体的に説明する。例えば、対象情報入力部１１により入力された対象情報が、図２に例示した波形情報の場合、触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ｛ｈ１，ｔ１｝，｛ｈ２，ｔ２｝，｛ｈ３，ｔ３｝，・・・について、２つの組間で触質点パラメータの差分値をそれぞれ計算することにより、次に示すような第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成する。
｛ｈ２−ｈ１，ｔ２−ｔ１｝，｛ｈ３−ｈ２，ｔ３−ｔ２｝，・・・

また、対象情報入力部１１により入力された対象情報が、図８に例示したヒストグラム情報である場合、触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ｛ｈ１，ｆ１｝，｛ｈ２，ｆ２｝，｛ｈ３，ｆ３｝，・・・について、２つの組間で触質点パラメータの差分値をそれぞれ計算することにより、次に示すような第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成する。
｛ｈ２−ｈ１，ｆ２−ｆ１｝，｛ｈ３−ｈ２，ｆ３−ｆ２｝，・・・

また、対象情報入力部１１により入力された対象情報が、図９に例示した空間分布情報である場合、触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ｛ｈ１，ａ１｝，｛ｈ２，ａ２｝，｛ｈ３，ａ３｝，・・・について、２つの組間で触質点パラメータの差分値をそれぞれ計算することにより、次に示すような第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成する。
｛ｈ２−ｈ１，ａ２−ａ１｝，｛ｈ３−ｈ２，ａ３−ａ２｝，・・・

また、対象情報入力部１１により入力された対象情報が、図１０に例示したテキスト情報である場合、触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組の触質点パラメータ｛１／４，２｝，｛１／４，４｝について、触質点パラメータの差分値を計算することにより、｛０，２｝という第１の触質パラメータと第２の触質パラメータとの組み合わせを１組生成する。テキスト情報がこれよりも長文の場合は、第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成することが可能である。

また、対象情報入力部１１により入力された対象情報が、図１１に例示した動作情報（マッサージの施術の動き情報）である場合、触質パラメータ生成部１６は、触質点パラメータ生成部１２により生成された２組以上の触質点パラメータ｛ｐ１，ｔ１｝，｛ｐ２，ｔ２｝，｛ｐ３，ｔ３｝，・・・について、２つの組間で触質点パラメータの差分値をそれぞれ計算することにより、次に示すような第１の触質パラメータと第２の触質パラメータとの組み合わせを２組以上生成する。
｛ｐ２−ｐ１，ｔ２−ｔ１｝，｛ｐ３−ｐ２，ｔ３−ｔ２｝，・・・

また、上記実施形態では、類似度算出部１５が、複数の対象情報について触質特徴量記憶部１０に記憶された複数組の触質特徴量の組み合わせに基づいて、複数の対象情報の類似度を算出し、処理実行部１４’が、ユーザ操作により指定された対象情報に対する類似度が所定レベル以上の対象情報を検索する例について説明したが、本発明はこれに限定されない。

例えば、処理実行部１４’は、ユーザ操作により指定された対象情報に対する類似度が所定レベル以下の対象情報を検索するようにしてもよい。このようにすれば、触質特徴量を検索キーとして、当該検索キーと異質の触質を持った情報を検索することが可能である。これにより、例えば、元の情報が同じ種類のものであっても、触感として異なるイメージを有するものを逆引きすることが可能となる。例えば、聞き飽きた楽曲がある場合に、その楽曲と異なる感覚の他の楽曲を検索するといった使い方が可能である。

また、図１３に示すように、類似度算出部１５に代えて、複数の対象情報について触質特徴量記憶部１０に記憶された複数組の触質特徴量の組み合わせに基づいて、複数の対象情報の異質度を算出する異質度算出部１７を備えるようにし、処理実行部１４”が、ユーザ操作により指定された対象情報に対する異質度が所定レベル以上または所定レベル以下の対象情報を検索するようにしてもよい。

ここで、異質度算出部１７は、処理実行部１４”により図３のように２次元座標上にマッピングされたプロット点の距離を、触質特徴量の異質度を表す指標値として算出することが可能である。プロット点間の距離を異質度として算出する場合、距離の値が大きいほど異質度は高く、距離の値が小さいほど異質度は低いことを示す。

別の例として、異質度算出部１７は、第１の触質特徴量および第２の触質特徴量を２変数としてマハラノビス距離の逆数を算出し、これを触質特徴量の異質度を表す指標値として用いるようにしてもよい。マハラノビス距離の逆数は、その値が小さいほど異質度は高く、値が大きいほど異質度は低いことを示す。なお、ここに示した異質度の指標値は一例に過ぎず、他の公知の指標値を用いてもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０触質特徴量記憶部
１１対象情報入力部
１２触質点パラメータ生成部
１３，１３’ 触質特徴量算出部
１４，１４’，１４” 処理実行部
１５類似度算出部
１６触質パラメータ生成部
１７異質度算出部

Claims

処理対象の情報を入力する対象情報入力部と、
上記対象情報入力部により入力された対象情報から、それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質点パラメータの組み合わせを２組以上生成する触質点パラメータ生成部と、
上記触質点パラメータ生成部により生成された２組以上の触質点パラメータに基づいて、上記対象情報が有している触覚の性質を表した触質特徴量を上記ｎ個の触質点パラメータの組み合わせから算出し、かつ当該触質特徴量を複数種類算出する触質特徴量算出部と、
上記触質特徴量算出部により算出された上記複数種類の触質特徴量の組み合わせを記憶する触質特徴量記憶部と、
上記触質徴量記憶部に記憶された上記触質特徴量の組み合わせを用いて、ユーザ操作に応じた処理を実行し、その実行結果をユーザに提供する処理実行部とを備えたことを特徴とする触質情報処理装置。
上記処理実行部は、上記ユーザ操作によるマップ表示要求に応じて、上記触質特徴量記憶部に記憶された上記触質特徴量の組み合わせを、所定の座標空間上にマッピングして表示する処理を実行することを特徴とする請求項１に記載の触質情報処理装置。
上記触質特徴量記憶部は、上記触質特徴量算出部により算出された上記複数種類の触質特徴量の組み合わせを、当該対象情報を識別可能なラベル情報と共に記憶し、
上記処理実行部は、上記触質徴量記憶部に記憶された上記触質特徴量の組み合わせを用いて、上記ユーザ操作に応じた処理を実行し、その実行結果を上記ラベル情報と共にユーザに提供することを特徴とする請求項１に記載の触質情報処理装置。
上記処理実行部は、上記ユーザ操作によるマップ表示要求に応じて、上記触質特徴量記憶部に記憶された上記触質特徴量の組み合わせを、上記所定の座標空間上にマッピングして上記ラベル情報と共に表示することを特徴とする請求項３に記載の触質情報処理装置。
複数の上記対象情報について上記触質特徴量記憶部に記憶された複数組の上記触質特徴量の組み合わせに基づいて、上記複数の対象情報の類似度を算出する類似度算出部を更に備え、
上記処理実行部は、上記ユーザ操作により指定された上記対象情報に対する類似度が所定レベル以上または所定レベル以下の対象情報を検索する処理を実行することを特徴とする請求項１に記載の触質情報処理装置。
複数の上記対象情報について上記触質特徴量記憶部に記憶された複数組の上記触質特徴量の組み合わせに基づいて、上記複数の対象情報の異質度を算出する異質度算出部を更に備え、
上記処理実行部は、上記ユーザ操作により指定された上記対象情報に対する異質度が所定レベル以上または所定レベル以下の対象情報を検索する処理を実行することを特徴とする請求項１に記載の触質情報処理装置。
上記触質点パラメータ生成部は、上記対象情報入力部により入力された対象情報を複数に分割し、それぞれの分割区間から、情報の強度に関する触質点パラメータおよび分割区間の長さに関する触質点パラメータの少なくとも一方について、上記ｎ個の触質点パラメータを特定することにより、上記ｎ個の触質点パラメータの組み合わせを２組以上生成し、
上記触質特徴量算出部は、それぞれの分割区間ごとに上記ｎ個の触質点パラメータを用いた四則演算値を算出し、当該分割区間ごとに算出した複数の四則演算値のｍ階差分値（ｍ≧１）の平均値または代表値を第１の触質特徴量として算出するとともに、上記ｎ個の触質点パラメータの組み合わせの多様度を第２の触質特徴量として算出することを特徴とする請求項１〜６の何れか１項に記載の触質情報処理装置。
上記触質特徴量算出部は、上記分割区間ごとに算出した複数の上記四則演算値の分散を上記第２の触質特徴量として算出することを特徴とする請求項７に記載の触質情報処理装置。
上記触質特徴量算出部は、上記分割区間ごとに算出した複数の上記四則演算値の情報量を上記第２の触質特徴量として算出することを特徴とする請求項７に記載の触質情報処理装置。
上記触質点パラメータ生成部により生成された２組以上の触質点パラメータについて、２つの組間で上記触質点パラメータの差分値をそれぞれ計算することにより、ｎ個の触質パラメータの組み合わせを２組以上生成する触質パラメータ生成部を更に備え、
上記触質特徴量算出部は、上記触質点パラメータ生成部により生成された上記触質点パラメータに代えて、上記触質パラメータ生成部により生成された上記触質パラメータを用いて、上記触質特徴量を算出することを特徴とする請求項１〜９の何れか１項に記載の触質情報処理装置。
触質情報処理装置の対象情報入力部が、処理対象の情報を入力する第１のステップと、
上記触質情報処理装置の触質点パラメータ生成部が、上記対象情報入力部により入力された対象情報から、それぞれが触感の一要素を表したｎ個（ｎ≧２）の触質点パラメータの組み合わせを２組以上生成する第２のステップと、
上記触質情報処理装置の触質特徴量算出部が、上記触質点パラメータ生成部により生成された２組以上の触質点パラメータに基づいて、上記対象情報が有している触覚の性質を表した触質特徴量を上記ｎ個の触質点パラメータの組み合わせから算出し、かつ当該触質特徴量を複数種類算出する第３のステップと、
上記触質情報処理装置の処理実行部が、上記触質特徴量算出部により算出された上記複数種類の触質特徴量の組み合わせを用いて、ユーザ操作に応じた処理を実行し、その実行結果をユーザに提供する第４のステップとを有することを特徴とする触質情報処理方法。