JPWO2017099241A1 - 触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム - Google Patents

Abstract

利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達する触覚呈示システムであって、利用者の指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、皮膚振動センサにより読み取られた振動信号を、拡張または伝達のために変換する変換器と、利用者の皮膚振動センサが設けられた同じ指もしくは当該指以外の手腕または第三者に設けられ、変換器により変換された振動信号に基づいて触刺激を呈示する振動子と、を少なくとも備えたことを特徴とする。

Description

本発明は、触覚呈示システム、触覚呈示方法、および、触覚呈示プログラムに関する。

従来、物体の触感を検出して利用者に触覚を呈示する触覚呈示デバイスが開発されている。情報通信技術においては、五感の中でも視覚や聴覚を利用したインターフェイスが先行しているが、触覚を用いることで、より直感的な操作が可能になると期待されている。

例えば、非特許文献１には、凹凸形状のシートを介して指で物体表面をなぞることで、人が知覚することが困難な微小な凹凸の刺激を増幅させる触覚コンタクトレンズが開示されている。

また、非特許文献２には、鉗子先端にセンサを取り付けることで、内視鏡手術時に鉗子を通じて臓器の触感を実時間で手に呈示する触覚呈示システムが開示されている。

Ｒ． Ｋｉｋｕｕｗｅ， Ａ． Ｓａｎｏ， Ｈ． Ｍｏｃｈｉｙａｍａ， Ｎ． Ｔａｋｅｓｕｅ， Ｈ． Ｆｕｊｉｍｏｔｏ， "Ｅｎｈａｎｃｉｎｇ Ｈａｐｔｉｃ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｓｕｒｆａｃｅ Ｕｎｄｕｌａｔｉｏｎ" ＡＣＭ Ｔｒａｎｓ． ｏｎ Ａｐｐｌｉｅｄ Ｐｅｒｃｅｐｔｉｏｎ （ＴＡＰ）， Ｖｏｌ． ２ １：４６−６７， ２００５． Ｔａｎａｋａ， Ｙｏｓｈｉｈｉｒｏ， ｅｔ ａｌ． "Ｌｕｍｐ ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ ｔａｃｔｉｌｅ ｓｅｎｓｉｎｇ ｓｙｓｔｅｍ ｉｎｃｌｕｄｉｎｇ ｈａｐｔｉｃ ｂｉｄｉｒｅｃｔｉｏｎａｌｉｔｙ" Ｗｏｒｌｄ Ａｕｔｏｍａｔｉｏｎ Ｃｏｎｇｒｅｓｓ （ＷＡＣ）， ２０１４． ＩＥＥＥ， ２０１４．

しかしながら、従来の触覚呈示デバイスは、シートや鉗子を介して物体に接触する必要があり、直接、指で対象に触れることができず、自然な指による把持や操作が阻害される、という問題点を有していた。

本発明は上記の問題点に鑑みてなされたものであり、利用者が直接、対象物に触れながら、その触感を拡張ないし伝達することができる、触覚呈示システム、触覚呈示方法、および、触覚呈示プログラムを提供するものである。

このような目的を達成するため、本発明の触覚呈示システムは、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達する触覚呈示システムであって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換器と、前記利用者の前記指以外の手腕または前記第三者に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、を少なくとも備えたことを特徴とする。

また、本発明の触覚呈示システムは、利用者が指で物に触れたときの触感を拡張する触覚呈示システムであって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換器と、前記利用者の前記指に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、を少なくとも備えたことを特徴とする。

また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記皮膚振動センサは、ポリフッ化ビニリデンフィルムを前記第１関節から第３関節の間の指腹部に巻き付けることで圧電効果により前記振動信号を得るセンサであることを特徴とする。

また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動子は、前記利用者の前記指が属する手の手首関節より指先側において前記触刺激を呈示することを特徴とする。

また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記変換器は、前記振動信号を、増幅、変調、および／または、前記指の振動伝播特性を差し引くことを特徴とする。

また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記皮膚振動センサは、前記利用者の前記爪に設けられたコンタクトマイクであることを特徴とする。

また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動子は、ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであることを特徴とする。

また、本発明の触覚呈示方法は、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムにおいて実行される触覚呈示方法であって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた前記皮膚振動センサにおいて、振動信号を取得する読取ステップと、前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、を含むことを特徴とする。

また、本発明の触覚呈示プログラムは、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムに実行させるための触覚呈示プログラムであって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた前記皮膚振動センサにおいて、振動信号を取得する読取ステップと、前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、を実行させることを特徴とする。

本発明によれば、利用者が直接、対象物に触れながら、その触感を拡張ないし第三者に伝達することができる、という効果を奏する。より具体的には、第一関節までの指腹部にデバイスを装着せず、第１関節から第３関節の間または爪に皮膚振動センサを設けたので、利用者が直接、物体を把持したり操作したりすることを妨げることがない。したがって、利用者は、自身の指を使って物体を操作等しながら、その感覚を拡張したり第三者に伝達したりすることができる。

例えば、指先に何も装着せず触覚を拡張する本発明によれば、眼鏡で視力を拡張するように、拡張現実として、人の触覚能力を拡張することができる。また、生の指で対象に触れた触覚を第三者に伝達する本発明によれば、一方の人の触覚を他方の人に伝えることができ、テレコミュニケーション等に有用である。また、スマートフォン等のタッチパネル上で指先をセンシングして同じ指先に触覚フィードバックを提示するものとは異なり、本発明は、直接、物体を把持したり操作したりする指先を、センシングや提示等のために妨げることがない、という効果を奏する。

図１は、本発明の実施形態にかかる触覚呈示システムの構成の一例を示すブロック図である。 図２は、同一人物において、触覚を拡張させる場合の各部の配置の一例を示す図である。 図３は、ＰＶＤＦフィルムを用いた皮膚振動センサ１１２の例を示す図である。 図４は、指先からセンサ装着部への皮膚振動伝搬モデルを模式的に示した図である。 図５は、ＰＶＤＦが加えられた力Ｆによって電荷を生じるモデルを示す図である。 図６は、イコライザ１０２ｂにおいて無人称化を行う触覚呈示システムにおけるデータフローを一例として示した図である。 図７は、本実施の形態の触覚呈示システムにおける触覚拡張処理の一例を示すフローチャートである。 図８は、本実施の形態の触覚呈示システムにおける触覚伝送処理の一例を示すフローチャートである。 図９は、６名の被験者に対する実験結果を示すグラフ図である。 図１０は、触覚拡張のシステムの有無による主観評価の実験結果を示すグラフ図である。

以下に、本発明の本実施の形態にかかる触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム、並びに、記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。例えば、同一人物への触覚拡張として説明した内容を、他人への触覚伝達に用いてもよく、反対に、他人への触覚伝達として説明した内容を、同一人物への触覚拡張に用いてもよいものである。

以下、まず、本発明にかかる本実施の形態の構成について説明し、その後、本実施の形態の処理等について詳細に説明する。ここで、図１は、本発明の実施形態にかかる触覚呈示システムの構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。

［触覚呈示システムの構成］
図１に示すように、本実施の形態にかかる触覚呈示システムは、皮膚振動センサ１１２と、変換器１０２と、振動アクチュエータ１１４を、有線または無線にて接続して構成される。なお、リアルタイムに触覚の入出力を行わない場合、各部は、一時的に任意の通信路を介して通信可能に接続される構成となっていてもよい。例えば、ＵＳＢメモリ等の記録媒体で、一時的に各部が触覚信号データを授受できるように構成されてもよい。ここで、図２は、同一人物において、触覚を拡張させる場合の各部の配置の一例を示す図である。

図２に示すように、皮膚振動センサ１１２は、指の第１関節から第３関節までの間に設置されており、物体と直接接触する指先を避けて配置される。この例では、変換器１０２および振動アクチュエータ１１４は、腕時計型ウェアラブル端末の同一筐体に収められており、皮膚振動センサ１１２で発生した振動信号（電位の変化等）を有線にて取得できるよう構成されている。なお、この装着例では、振動アクチュエータ１１４は、物体と直接接触する指が属する手の手首関節より指先側に配置することで、指先の感覚が増強したように感じさせる。これは、手首関節は、振動の伝達を吸収しやすいため、手首関節より中枢側ではなく抹消側の方が、振動アクチュエータ１１４の振動が指先側に伝わるためと考えられる。あるいは、指と掌の触覚感覚は、腕に比べて、脳内マップで、近い領域に割り当てられているためとも考えられる。なお、図示の例では、振動アクチュエータ１１４は、手の甲側に配置しているが、これに限られず、手の内側（手相側）に配置してもよい。

これら触覚呈示システムの構成のうち、皮膚振動センサ１１２は、指の皮膚を介して伝達された振動の信号を取得する振動センサである。例えば、皮膚振動センサ１１２は、物体に接触する指の爪に付けたコンタクトマイクであってもよい。エレクトレットコンデンサー等のコンタクトマイクを爪に固着させることにより、空気振動（音）の信号が混雑することを防ぎながら、物体接触時の振動を検出することができる。

また、別の実施の形態において、皮膚振動センサ１１２は、ポリフッ化ビニリデン（ＰＶＤＦ：ＰｏｌｙＶｉｎｙｌｉｄｅｎｅ ＤｉＦｌｕｏｒｉｄｅ）フィルムを、第１関節から第３関節の間の指腹部に巻き付けることで、圧電効果により振動信号を得るセンサであってもよい。ＰＶＤＦフィルムを巻き付けた皮膚振動センサ１１２は、指先や対象物体と直接干渉することなく、指先から伝播する皮膚振動を中節部において検出することができる。ここで、図３は、ＰＶＤＦフィルムを用いた皮膚振動センサ１１２の例を示す図（上図：手の平側写真、下図：手の甲側写真）である。

図３に示すように、この例では、センサはベルト状をしており、ＰＶＤＦフィルムを第１関節と第２関節に巻き付けられるようになっている。ＰＶＤＦフィルムは、高分子圧電体の一種であり、ＰＶＤＦフィルムが曲げ変形することにより出力電圧が得られる。そのため、皮膚に付けることで皮膚の振動を捉え、指全体の運動には反応せず、なぞり運動などの早い触動作中でも皮膚を伝搬した振動の計測が可能となる。

ここで、触覚刺激を再現するため、皮膚振動センサ１１２のモデルについて説明する。皮膚振動センサ１１２のモデルとして、指先に入力された振動からセンサ出力までの伝達関数Ｆ（ｓ）が分かれば、センサにて取得した振動信号を、振動子を含む振動アクチュエータ１１４にて再現することができ、後述する変換器１０２にて、触覚の拡張と伝達のために用いることができる。ここで、図４は、指先からセンサ装着部への皮膚振動伝搬モデルを模式的に示した図である。

図４に示すように、指先からセンサ装着部への皮膚振動伝搬には、マス（ｍ）・バネ（ｋ）・ダンパ（ｃ）からなるモデルを考えることができる。指先からセンサ装着部への皮膚振動伝搬を表す伝達関数Ｇ（ｓ）は、以下の式で表すことができる。ここで、ｓはラプラス演算子であり、ａは１より小さい係数である。

ＰＶＤＦフィルムは非常に薄く、曲げにより大きな電荷を発生する。ここで、図５は、ＰＶＤＦが加えられた力Ｆによって電荷を生じるモデルを示す図である。図５に示すように、ＰＶＤＦフィルムは指に巻き付けられているが、その厚みは指に対して十分薄く、両端支持の条件として、皮膚とＰＶＤＦフィルムの関係を単純なはりの曲げ問題と仮定して皮膚振動伝播関数を構築してもよい。上述した指先からセンサ装着部への皮膚振動伝搬を表す伝達関数Ｇ（ｓ）、上述の仮定により求められる、皮膚振動からＰＶＤＦフィルムに生じる電荷までの伝達関数Ｐ（ｓ）、発生した電荷から計測される電圧までの伝達関数Ｈ（ｓ）の３つを掛け合わせることで、最終的な指先からセンサ出力までの伝達関数Ｆ（ｓ）を求めることができる（詳細は、「田中由浩ほか『ＰＶＤＦフィルムを用いたウェアラブル皮膚振動センサのモデル化』Ｎｏ．１５−２ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１５ ＪＳＭＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｍｅｃｈａｔｒｏｎｉｃｓ， Ｋｙｏｔｏ， Ｊａｐａｎ， Ｍａｙ １７−１９， ２０１５ ２Ａ２−Ｘ０６」参照）。ここで、ｄ_３１は圧電定数であり、ｔ，ｂ，ｌはフィルムの厚み，幅，長さである。ＲはＰＶＤＦフィルム計測器の抵抗であり、Ｃは静電容量である。

一例として、上記の皮膚振動伝播関数を後述の変換器１０２に適用することで、指先に入力された振動からセンサ出力までをセンサ計測値から再現することができる（モデル適用例については後述する）。なお、ＰＶＤＦフィルムの実装にあたり、以下の非特許文献を参考にしてもよい。「Ｙ．Ｔａｎａｋａ ｅｔ ａｌ．“Ｗｅａｒａｂｌｅ Ｓｋｉｎ Ｖｉｂｒａｔｉｏｎ Ｓｅｎｓｏｒ Ｕｓｉｎｇ ａ ＰＶＤＦ Ｆｉｌｍ，”Ｉｎ Ｗｏｒｌｄ Ｈａｐｔｉｃｓ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ． １４６−１５１， ２０１５．」

再び図１に戻り、触覚呈示システムの構成のうち、変換器１０２は、皮膚振動センサ１１２により読み取られた振動信号を、拡張または伝達のために変換する手段である。一例として、変換器１０２は、皮膚振動センサ１１２により読み取られた振動信号を、増幅、変調、および／または、指の振動伝播特性を差し引いてもよい。典型的あるいは平均的な人の指の皮膚振動伝播関数の逆関数を掛け合わせて、指の振動伝播特性を差し引くことで、皮膚で生じる振動が実際にものを触った時の振動に近いものなり、臨場感が向上する効果が得られる。ここで、本実施の形態において、「拡張」とは、利用者Ａの指の皮膚振動センサ１１２で読み取った情報を、同一人物Ａの手および／または腕にフィードバックすることをいう。なお、本実施の形態において、「拡張」には、利用者Ａの指の皮膚振動センサ１１２で読み取った情報を、同一人物の同じ指にフィードバックすることも含む。また、本実施の形態において、「伝達」とは、利用者Ａの指の皮膚振動センサ１１２で読み取った情報を、別人物Ｂの手および／または腕に出力することで、利用者Ａから別人Ｂへ触覚情報を伝えることをいう。なお、増強または加工に関し、以下の非特許文献に記載の触感伝送方法を用いてもよい（Ｋ．Ｍｉｎａｍｉｚａｗａ ｅｔ ａｌ．“ＴＥＣＨＴＩＬＥ ｔｏｏｌｋｉｔ： ａ ｐｒｏｔｏｔｙｐｉｎｇ ｔｏｏｌ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｈａｐｔｉｃ ｍｅｄｉａ，” ＡＣＭ ＳＩＧＧＲＡＰＨ ２０１２ Ｅｍｅｒｇｉｎｇ Ｔｅｃｈｎｏｌｏｇｉｅｓ， ２０１２．）。

ここで、変換器１０２は、皮膚振動センサ１１２を付けた利用者Ａの指の振動伝播特性を差し引く無人称化を行ってもよい。本実施の形態において、「無人称化」とは、皮膚振動センサ１１２を付けた利用者Ａの指の振動伝播特性を差し引くことで、任意の人に伝達可能な無人称的な触覚情報を取り出すことをいう。すなわち、利用者Ａの指から検出した振動は、その指の長さや柔らかさ等その人の指の特性（すなわち「振動伝播特性」）を有しており、利用者Ａの一人称的な触覚情報となっている。そのため、利用者Ａの指先に既知の振動を与え、Ａの指中節の皮膚振動センサ１１２の測定データと比較することで、利用者Ａの指先から指中節までの振動伝搬特性を計測し、任意のセンサ情報から伝搬特性を逆算することで、あらゆる人に伝達可能な一般化した触覚情報を取り出すことができる（詳細な実例については後述する）。

ここで、変換器１０２は、図１に示すように、更に、プリアンプ１０２ａ、イコライザ１０２ｂ、および／または、振動子用アンプ１０２ｃを備えてもよい。

このうち、プリアンプ１０２ａは、皮膚振動センサ１１２からの振動信号である電気信号を増幅させる前置増幅器である。例えば、皮膚振動センサ１１２が前述のＰＶＤＦフィルムで構成される場合、圧電効果により電圧が発生するため電源が不要であるものの、出力させる電圧信号が弱い場合がある。このように、プリアンプ１０２ａは、皮膚振動センサ１１２からの振動信号が弱い場合に、その振動信号を変換入力として扱えるレベルまで増幅してもよい。

また、イコライザ１０２ｂは、皮膚振動センサ１１２からの振動信号の周波数特性を、拡張や伝達の目的に応じて適切化する補正回路である。一例として、イコライザ１０２ｂは、特定の周波数帯の振動信号を通過させるバンドパスフィルタであってもよく、振動信号を増強または変調する周波数フィルタであってもよい。例えば、イコライザ１０２ｂは、ヒトの触覚で知覚できる周波数帯域のみを通過させるフィルタであってもよい。また、イコライザ１０２ｂないしは変換器１０２は、振動信号を修飾するエフェクター機能を有してもよく、振動信号を遅らせるディレイ機能を有してもよく、振動信号のピッチを変更するピッチシフト機能を有してもよく、振動信号にホワイトノイズを付加することで触覚感覚的な増幅を引き起こしてもよい。

ここで、イコライザ１０２ｂは、振動信号に対して皮膚伝達関数の逆関数を掛けることにより、利用者の振動伝搬特性を差し引く無人称化を行ってもよい。入力された振動に対して各人の皮膚で発生する振動には個人差があり、また、同一の人であっても、指の押しつけ力など指の状態を変えることで振動に差が生じる。上述した皮膚振動伝播関数を用いて定数を求め、その逆関数を掛ければ、個人差や指の状態に依存しない無人称化された振動信号を得ることができる。ここで、図６は、イコライザ１０２ｂにおいて無人称化を行う触覚呈示システムにおけるデータフローを一例として示した図である。

図６に示すように、振動を伝える送信側の伝達関数をｇ、振動を受け取る受信側の伝達関数をｆとし、入力刺激をｘとする。このとき、それぞれが得ている触覚は、ｇ（ｘ）およびｆ（ｘ）に基づくとする。皮膚振動センサ１１２を用いることで、ｇ（ｘ）が取得できる。ここでは、皮膚振動センサ１１２を用いることで既に受信側の受取手の皮膚の伝達関数ｆが求められているとする。このとき、受取手の皮膚伝搬振動をｇ（ｘ）にする、すなわち、送信側の利用者の皮膚伝播振動を、受信側の受取手の機械刺激と同一とし、触覚の共有を図る方法を以下に説明する。

まず、イコライザ１０２ｂは、皮膚振動センサ１１２により読み取られた振動信号ｇ（ｘ）に対し、振動を受け取る人の伝達関数ｆの逆関数ｆ^−１をかけた振動信号ｆ^−１（ｇ（ｘ））を、受取手に送信する。そして、受信側の振動アクチュエータ１１４は、受信した振動信号ｆ^−１（ｇ（ｘ））を出力する。受取手に発生する皮膚伝搬振動には、入力された刺激に対して、受取手の固有の伝達関数ｆがかかる。これによって、受取手の伝達関数ｆとｆ^−１が相殺され、受取手の皮膚にｇ（ｘ）が生じることになる。このようにして、各人の皮膚の伝達関数を用いることで、皮膚上で発生する振動を同一にでき、触覚の共有化を図ることができる。なお、この例では、送信側の変換器１０２において、受取手の伝達関数ｆの逆関数ｆ^−１を掛け合わせて送信したが、これに限られず、送信側の変換器１０２が、振動信号ｇ（ｘ）を送信して、受信側の変換器１０２において、自己（受取手）の伝達関数ｆの逆関数ｆ^−１を、受信した振動信号ｇ（ｘ）に対して、触刺激出力前に掛け合わせもよいものである。

再び図１に戻り、振動子用アンプ１０２ｂは、出力する振動アクチュエータ１１４の振動子に応じた振動信号（入力信号）の増幅を行う増幅器である。例えば、振動アクチュエータ１１４の振動子が、ボイスコイル型振動子か、ピエゾ素子か、バイブレーションモータかの種別の違いによって、電気信号に対する機械刺激の出力が異なるので、振動子の種類に応じて増幅や変調を行ってもよい。

以上が変換器１０２の特徴である。なお、変換器１０２は、図示しない信号データの送受信のための通信手段や、信号データの入出力手段、信号データを記憶する記憶部や、信号データの変換以外の処理を行う制御部に接続されてもよい。例えば、通信手段として、通信制御インターフェイス部は、皮膚振動センサ１１２を少なくとも備えた送信側端末と、振動アクチュエータ１１４を少なくとも備えた受信側端末とを、有線または無線にて通信する制御を行う。通信は、インターネット等のネットワークを介した通信であってもよい。すなわち、通信制御インターフェイス部は、他の端末と、通信回線（有線、無線を問わない）を介して信号データを通信する機能を有する。また、入出力制御インターフェイス部は、ＵＳＢメモリ等の記録媒体と接続して信号データを授受する制御を行う。記憶部は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。また、制御部は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行ってもよい。

図１において、触覚呈示システムの構成のうち、振動アクチュエータ１１４は、触刺激を呈示する振動子を含むアクチュエータである。ここで、振動アクチュエータ１１４は、皮膚振動センサ１１２が設けられた同じ指、あるいは、当該指以外の手および／もしくは腕、または第三者の手および／または腕に設けられ、変換器１０２により変換された振動信号に基づいて触刺激を呈示する。なお、振動アクチュエータ１１４と皮膚振動センサ１１２を同じ指に設ける場合、前者は第３関節に設置し後者は第２関節に設置するなど、同じ指において、指先以外の別の場所で、センシングと提示を行ってもよい。ここで、振動アクチュエータ１１４の振動子は、ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであってもよい。ここで、振動アクチュエータ１１４や変換器１０２は、ウェアラブルなシステムとして構成するため、上述した図２のように、振動子を内蔵し、加工された触覚信号を手に提示する触覚拡張バンドとして構成されてもよい。

一例として、触感を再生するアクチュエータとして、ＡＬＰＳ社製Ｆｏｒｃｅ Ｒｅａｃｔｏｒ ＡＦ，Ｌ−ｔｙｐｅ等のボイスコイル型振動子を用いて、触感を呈示する部位に貼付してもよい。なお、振動アクチュエータ１１４として、テクタイルツールキットを用いてもよい。テクタイルツールキットの周波数応答特性等の詳細について、以下の非特許文献を参照してもよい（仲谷正史ほか『触感表現の一般普及に向けた方法論とテクタイルワークショップを通したその実践』日本バーチャルリアリティ学会論文誌１９（４），ｐｐ．５９３−６０３，２０１４−１２−３１）。

以上で、本実施の形態の触覚呈示システムの各構成の説明を終える。

［触覚呈示システムの処理］
次に、このように構成された本実施の形態における触覚呈示システムの処理の一例について、以下に図７および図８を参照して詳細に説明する。

（触覚拡張処理）
図７は、本実施の形態の触覚呈示システムにおける触覚拡張処理の一例を示すフローチャートである。

図７に示すように、まず、本触覚呈示システムの皮膚振動センサ１１２は、利用者の指の皮膚を介して伝達された振動を検出し、振動信号を取得する（ステップＳＡ−１）。

そして、本触覚呈示システムは、振動信号を有線または無線の通信路を介して、皮膚振動センサ１１２で発生した振動信号を変換器１０２まで伝送する（ステップＳＡ−２）。

そして、本触覚呈示システムの変換器１０２は、振動信号を拡張用に変換する（ステップＳＡ−３）。例えば、変換器１０２は、プリアンプ１０２ａにより振動信号を変換入力レベルまで増幅し、イコライザ１０２ｂにより所定の周波数帯の振動信号のみを通過させ、振動子用アンプ１０２ｂにて、信号増幅を行ってもよい。

そして、本触覚呈示システムは、変換器１０２により変換された振動信号に基づいて、同一利用者の皮膚振動センサ１１２が設けられた同じ指もしくは当該指以外の手指や腕に装着された振動アクチュエータ１１４から触刺激を呈示することにより、利用者の触覚の拡張を行う（ステップＳＡ−４）。ここで、振動アクチュエータ１１４は、物体と直接接触する指が属する手の手首関節より指先側に配置することで、直接物体を扱いながら、指先の感覚を増強させることができる。

以上が、本触覚呈示システムの触覚拡張処理の一例である。つづいて、本触覚呈示システムの触覚伝送処理の一例について以下に説明する。

（触覚伝送処理）
図８は、本実施の形態の触覚呈示システムにおける触覚伝送処理の一例を示すフローチャートである。

図８に示すように、まず、本触覚呈示システムの皮膚振動センサ１１２は、利用者の指の皮膚を介して伝達された振動を検出し、振動信号ｇ（ｘ）を取得する（ステップＳＢ−１）。なお、本触覚呈示システムは、上述したステップＳＡ−２と同様に、振動信号を有線または無線の通信路を介して、皮膚振動センサ１１２で発生した振動信号を変換器１０２まで伝送する。

そして、本触覚呈示システムの変換器１０２は、イコライザ１０２ｂにより、振動信号ｇ（ｘ）に対して、受取手の皮膚伝達関数の逆関数ｆ^−１を掛けることにより、振動伝搬特性を差し引く無人称化処理を行う（ステップＳＢ−２）。逆関数を掛けることにより、個人差や指の状態に依存しない無人称化された振動信号ｆ^−１（ｇ（ｘ））を得ることができる。

そして、本触覚呈示システムの送信側端末は、有線または無線の伝送路を介して、変換器１０２により無人称化された振動信号ｆ^−１（ｇ（ｘ））を送信する（ステップＳＢ−３）

そして、本触覚呈示システムの受信側端末は、有線または無線の伝送路を介して、送信された振動信号ｆ^−１（ｇ（ｘ））を受信する（ステップＳＢ−４）。

そして、本触覚呈示システムの振動アクチュエータ１１４は、受信した振動信号ｆ^−１（ｇ（ｘ））に基づいて、受取手に対し触刺激を呈示する（ステップＳＢ−５）。受取手では、入力された刺激に対して、受取手の伝達関数ｆがかかるので、受取手の伝達関数ｆとｆ^−１が相殺され、受取手の皮膚に触刺激ｇ（ｘ）が生じることになる。したがって、別の人同士で、皮膚上に発生する振動を同一にすることができ、触覚の共有化を図ることができる。

以上が、本実施の形態の触覚呈示システムの処理の説明である。

［実施例１］
ここで、本実施の形態の触覚呈示システムの無人称化に関する実施例１について以下に説明する。

本実施例では、図１の変換器１０２の各部で示したように、センサ信号を増幅するアンプ１０２ａ、イコライザ１０２ｂ、振動子用アンプ１０２ｃ、ならびに、振動子１１４を用いた。センサ用アンプ１０２ａの入力には、センサを直接接続するか、あるいは、記録したセンサ信号を入力した。イコライザ１０２ｂは、計測した伝達関数の逆関数をかけるために使用した。単純に振動子を用いており、高精度に皮膚伝搬振動や触感を再現するものではないが、相対評価が可能な触覚呈示システムといえる。なお、実験では比較のために同時に２種類の触覚呈示を行うことから、イコライザ１０２ｂ、振動子用アンプ１０２ｃ、振動子１１４をもう１セット用意し、２つの振動を同時に比較できるようにした。

（実験方法）
本実施例では、他の人が予め皮膚振動センサ１１２を指に装着して粗さ試片をなぞった際に得られたセンサ出力信号を記録し、呈示に用いた。また、他者と同じ触覚を得たかの比較は困難であるため、同一の被験者で指先の接触荷重が異なる条件で触覚を比較し、上記の手法を用いることで、異なる接触荷重でも似た触覚が得られるかを評価した。

まず、皮膚伝搬振動の伝達関数を求めるため、指先にスイープ振動（５−５００Ｈｚ，正弦波，１０ｓ）を与え、入力振動の加速度とセンサ出力を計測した。なお、指先の荷重条件は、０．２５Ｎと１Ｎとした。被験者１人あたりそれぞれ３回ずつ計測し、平均した伝達関数を用いた。ここで、入力振動の加速度とセンサ出力からは、皮膚伝搬振動に加え、センサ１１２の物理・電気特性も含んだ伝達関数を計測できるが、イコライザ１０２ｂには、この伝達関数の逆関数を設定した。これは、呈示用のセンサ出力信号にも同様に、センサ１１２による伝達関数が含まれているためである。ただし、本実施の形態において上述したモデルによれば、定性的には影響しないが、定量的にはセンサの伝達関数にも個人差が含まれると考えられる。しかしながら、量的に正確な皮膚伝搬振動の再現ではなく、振動子を用いた相対的な比較を可能にする伝達を試みているため、本実施例では、これを無視して計測した伝達関数をそのまま利用した。

伝達関数は、荷重が０．２５Ｎのときをｐ、１Ｎのときをｑとし、逆関数は計測結果よりゲイン：−７５ｄＢを基準として、イコライザ１０２ｂを相対的に設定した。被験者は両手を用いて、左右で異なる荷重条件を与え、異なる伝達関数（ｐかｑ）の状態にし、これにイコライザ１０２ｂを用いて逆伝達関数をかけた他の人のセンサ出力信号を触覚呈示した。

組み合せは、荷重をかけている皮膚の逆伝達関数を使用する場合（ｐ・ｐ^−１とｑ・ｑ^−１）、および、その逆の場合（ｐ・ｑ^−１とｑ・ｐ^−１）の２条件について行った。本実施例では、被験者はどちらの手の振動が大きいかを回答する。各条件について１０回ずつ回答してもらった。なお、実験の前に左右の違いがないように同じ荷重条件で同じ振動を与えた際に違いがないように、予め振動子用アンプ１０２ｃのゲインを調整した。また、計測した伝達関数は、人差し指のみのため、振動子１１４を人差し指のみで同じ姿勢、荷重（０．２５Ｎまたは、１Ｎ）で触ってもらい、振動を比較してもらうようにした。

（実験結果および考察）
図９は、６名の被験者に対する実験結果を示すグラフ図である。図９では、各被験者について、それぞれの条件において振動が大きいと答えた回数を示している。図９（ａ）では、大きいと答えた振動が一方に偏らず、ばらついている。一方、図９（ｂ）においてはほとんどの被験者がｑ・ｐ^−１の方が大きいと答えた。実験結果の図９（ａ）から回答数に個人差はあるが、回答にばらつきがあり、左右の振動の強弱を比べることが困難であることが分かった。したがって、逆関数を掛け合わせることにより、左右の指には同程度の振動が伝わっていると確かめられた。

なお、本手法は、なぞりの再現や刺激の空間分布を再現しておらず厳密に相手が触った触覚を再現するものではないが、振動子を用いて、一旦自分の触覚を同様に振動子で体感し、相手と比較するなど、相対的評価を可能にするものであり、触覚の伝達として効果があると考えられる。

ここで、図９（ｂ）では、回答がｑ・ｐ^−１の方が大きいと偏っており、伝達関数の強度から妥当な結果といえる。この原因として、今回の実験に用いた伝達関数は、計測結果から周波数によっても大きさは異なるが、全体として強度は│ｐ│＜│ｑ│となっており、このことから│ｐ│^−１＞│ｑ│^−１といえる。したがって、ｑ・ｐ^−１の組み合せの振動は、ｐ・ｑ^−１より大きくなると考えられる。以上より、本手法で自分の伝達関数を変化させて同程度の触覚を感じ取れていると確かめられたことから、相手の皮膚伝搬振動に変換できるとわかった。

（まとめ）
本実施例では、自身の皮膚の逆関数をかけることにより、自分の皮膚伝搬振動を相手の皮膚伝搬振動に変換できることが分かった。他者と同じ触覚を得たかの比較は困難であるため、同一の被験者で押しつけ力による自分の伝達関数の変化を利用して振動子を用いた触覚伝達の実験を行った。したがって、この結果は、相手の皮膚伝搬振動への変換にも応用できると考えられる。

［実施例２］
ここで、本実施の形態の触覚呈示システムによる触覚の拡張に関する実施例２について以下に説明する。

本実施例では、図２に示した触覚拡張を図る構成において、被験者の主観評価を行い、実際に感覚として触覚拡張が引き起こされたか否かを実験した。

以下に示す手順にて実験を実施した。まず、実験は、恒常法を用いて行い、被験者には図２のシステムを身につけさせた。次に、ホワイトノイズを流しているノイズキャンセリングヘッドフォンと目隠しを身につけ、視覚と聴覚を遮断した。

そして、紙やすり１２０，１５０，１８０，２４０，３２０，４００，６００番手を比較刺激とし、２４０番手を標準刺激として使用した。被験者には、標準刺激に対して、比較刺激が滑らかか否かを二件法により回答させた。検査回数は、標準刺激から比較刺激を５回、比較刺激から標準刺激を５回試行し、各比較刺激（１２０〜６００番手）に対して行い、計７０回の試行を１セクションとして実施した。そして、触覚拡張システムの有無で２セクション、計１４０回の試行を実施した。

図１０は、触覚拡張のシステムの有無による主観評価の実験結果を示すグラフ図である。横軸は、サンドペーパーの粗さ（番手）を示しており、縦軸は、比較刺激の方が滑らかだと回答した確率を示している。

すなわち、標準刺激（２４０番手）に対して比較刺激が滑らかと回答すればするほど縦軸が１に近づく。したがって、２４０番手未満は０であるほど正しく、２４０番手より大きい場合は１であるほど正しいということを示している。

さらに、図１０において、実験結果の縦線は、弁別閾を示しており、左側の線は２５％の確率では知覚でき、右側の線は７５％の確率で知覚できることを示している。すなわち、ここから得られた弁別の差の半分（弁別閾）が小さいほど細かく粗さ滑らかさを知覚できることを示している。

図１０に示すように、本実験で得られた弁別閾は、触覚拡張のシステムが無い場合は、１１８であり、触感拡張のシステムがある場合は、８４であった。したがって、触感拡張のシステムがあった方が弁別閾が低く、細かく粗さと滑らかさを知覚できていることから、触感の拡張が実施できることが確かめられた。

以上で、本実施例の説明を終える。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、触覚呈示システムは、スタンドアローンの形態で処理を行うよう一体として構成されてもよく、あるいは、要求に応じて処理を行い、その処理結果を当該端末に返却する構成としてもよい。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、触覚呈示システムに関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、触覚呈示システムの各装置が備える処理機能、特に変換器１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて触覚呈示システムに機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、触覚呈示システムに対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。

触覚呈示システムに格納される各種のデータベース等は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。

また、触覚呈示システムは、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、触覚呈示システムは、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上詳述に説明したように、本発明によれば、利用者が直接、対象物に触れながら、その触感を拡張ないし伝達することができる、触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム、ならびに、記録媒体を提供することができ、産業上の有用性がある。

例えば、本発明を用いることにより、高齢や障害により触覚機能が低下あるいは喪失した際に、感覚機能を回復する福祉医療機器、製品検査において細かな傷やテクスチャの違いの判別を容易にするような支援機器、身の回りのモノの触覚が自在に変わるようなエンターテイメント機器、子どもがモノに積極的に触れることを促進するような知育ツールの開発等に応用することができる。

１０２ 変換器
１０２ａ プリアンプ
１０２ｂ イコライザ
１０２ｃ 振動子用アンプ
１１２ 皮膚振動センサ
１１４ 振動アクチュエータ

Claims (9)

1. 利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達する触覚呈示システムであって、
   前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、
   前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換器と、
   前記利用者の前記指以外の手腕または前記第三者に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、
   を少なくとも備えたことを特徴とする、触覚呈示システム。
2. 利用者が指で物に触れたときの触感を拡張する触覚呈示システムであって、
   前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、
   前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換器と、
   前記利用者の前記指に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、
   を少なくとも備えたことを特徴とする、触覚呈示システム。
3. 請求項１または２に記載の触覚呈示システムにおいて、
   前記皮膚振動センサは、
   ポリフッ化ビニリデンフィルムを前記第１関節から第３関節の間の指腹部に巻き付けることで圧電効果により前記振動信号を得るセンサであることを特徴とする、触覚呈示システム。
4. 請求項１乃至３のいずれか一つに記載の触覚呈示システムにおいて、
   前記振動子は、
   前記利用者の前記指が属する手の手首関節より指先側において前記触刺激を呈示することを特徴とする、触覚呈示システム。
5. 請求項１乃至４のいずれか一つに記載の触覚呈示システムにおいて、
   前記変換器は、
   前記振動信号を、増幅、変調、および／または、指の振動伝播特性を差し引くことを特徴とする、触覚呈示システム。
6. 請求項１または２に記載の触覚呈示システムにおいて、
   前記皮膚振動センサは、
   前記利用者の前記爪に設けられたコンタクトマイクであることを特徴とする、触覚呈示システム。
7. 請求項１乃至６のいずれか一つに記載の触覚呈示システムにおいて、
   前記振動子は、
   ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであることを特徴とする、触覚呈示ステム。
8. 利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムにおいて実行される触覚呈示方法であって、
   前記利用者の前記指の第１関節から第３関節の間または爪に設けられた前記皮膚振動センサにおいて、振動信号を取得する読取ステップと、
   前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、
   前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、
   を含むことを特徴とする、触覚呈示方法。
9. 利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムに実行させるための触覚呈示プログラムであって、
   前記利用者の前記指の第１関節から第３関節の間または爪に設けられた前記皮膚振動センサにおいて、振動信号を取得する読取ステップと、
   前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、
   前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、
   を実行させるための触覚呈示プログラム。