JPWO2013084666A1 - 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム - Google Patents

Abstract

ユーザに対して触力覚を提示する触力覚提示装置１０は、表示パネル２０の前面側に配置されるパネル状の触力覚提示部材１１と、触力覚提示部材１１を保持するためのワイヤ１２と、ワイヤ毎に設けられて対応するワイヤを引張するワイヤ引張部１３と、ワイヤ引張部１３を制御して、触力覚提示部材１１を移動させ、触力覚を発生させる、制御部１４とを備える。制御部１４は、ユーザのタッチによってコンテンツ中のオブジェクトに変化が生じると、変化に応じた触力覚を発生させることができ、且つ引張力が最適化されるように、各引張力を算出し、算出した各引張力に基づいて、各ワイヤ引張部１３を制御する。

Description

本発明は、ユーザに対して触力覚を提示（伝達）する触力覚提示装置、これを備えた、ＰＯＳ端末、携帯端末といった情報端末、触力覚提示方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

近年、情報端末においては、入力装置として、タッチパネルの採用が増加している。タッチパネルは、表示パネルに重ねて配置できるため、特に、携帯型の情報端末においては、画面を大きくできる等の点から、主流となっている。

但し、タッチパネルでは、ユーザの操作に対するフィードバックは、画面上への何らかの情報の提示で行なうしかない。このため、タッチパネルには、ユーザが画面上のどこにタッチしているかを認識し難いという問題がある。

また、情報端末において、画面に表示されているコンテンツの内容等を、ユーザの指先等への触覚によって伝達することができれば、ユーザに伝達できる情報量を飛躍的に向上させることができるが、タッチパネルでは触覚の伝達は不可能である。

このような問題に対応するため、ユーザの指先への物理的なフィードバック、即ち、触力覚の提示（伝達）を可能にした装置が提案されている（例えば、特許文献１及び２参照）。例えば、特許文献１に開示された装置は、タッチパネルが画面上に設けられた表示パネルを、その厚み方向に沿って移動可能にする機構を備えている。特許文献１に開示された装置では、この機構により、ユーザによる指でのタッチに応じて表示パネルを移動させることができるので、ユーザに対して触力覚を提示できる。

また、特許文献２に開示された装置は、屈曲変位型の圧電アクチュエータを用いて、タッチパネルを、その入力面に平行な方向に沿って振動させる機構を備えている。特許文献２に開示された装置では、この機構により、ユーザが所定の操作をしたときに、その指先に振動を与えることができるので、ユーザに対して触力覚を提示できる。

特許第４０３９３４４号 特許第４２２９０９８号

ところで、上述の特許文献１および２に開示された装置によれば、ユーザに対して触力覚を提示することができるが、これらの装置には、以下の問題点が存在する。

まず、上記特許文献１に開示された装置では、タッチパネル全体をその厚み方向に沿って移動させる必要があるため、装置構造が複雑化してしまい、装置の小型化及び軽量化が困難となる。

また、上記特許文献２に開示された装置では、タッチパネルの振動によって触力覚が提示されるので、触力覚を伝達する部材（この場合はタッチパネル）の変位可能な範囲が小さく、触力覚の表現力を高めることが困難となる。結果、上記特許文献２に開示された装置は、触力覚を連続的に変化させる必要があるコンテンツ、および触力覚の正確性が求められるコンテンツに不向きである。

本発明の目的の一例は、上記問題を解消し、装置の小型化及び軽量化を図ることができ、且つ、表現力の高い触力覚を提示し得る、触力覚提示装置、情報端末、触力覚提示方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。

上記目的を達成するため、本発明の一側面における触力覚提示装置は、表示パネルに表示されたコンテンツに応じてユーザに対して触力覚を提示する触力覚提示装置であって、
パネル状の触力覚提示部材と、
前記触力覚提示部材を保持するための複数のワイヤと、
前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、
前記ワイヤ引張部それぞれを制御して、前記触力覚提示部材を前記表示パネルの前面に沿って移動させ、それによって前記触力覚を発生させる、制御部と、
を備え、
前記制御部は、
前記ユーザが前記触力覚提示部材をタッチし、それによって前記コンテンツに含まれるオブジェクトに変化が生じた場合に、
前記オブジェクトの変化に応じた前記触力覚を発生させることができるように、且つ、前記ワイヤ引張部それぞれの引張力が最適化されるように、各引張力を算出し、算出した各引張力に基づいて、前記ワイヤ引張部それぞれを制御する、
ことを特徴とする。

上記目的を達成するため、本発明の一側面における情報端末は、コンテンツを表示させる表示パネルと、ユーザによってタッチされた位置を検出するタッチセンサと、前記タッチセンサによって検出された位置に応じて前記コンテンツに含まれるオブジェクトを変化させる情報処理部と、前記コンテンツに応じて前記ユーザに対して触力覚を提示可能な触力覚提示装置とを備え、
前記触力覚提示装置は、
パネル状の触力覚提示部材と、
前記触力覚提示部材を保持するための複数のワイヤと、
前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、
前記ワイヤ引張部それぞれを制御して、前記触力覚提示部材を前記表示パネルの前面に沿って移動させ、それによって前記触力覚を発生させる、制御部と、
を備え、
前記制御部は、
前記ユーザが前記触力覚提示部材をタッチし、前記タッチセンサによって検出された位置に応じて、前記情報処理部が前記コンテンツに含まれるオブジェクトを変化させた場合に、
前記オブジェクトの変化に応じた前記触力覚を発生させることができるように、且つ、前記ワイヤ引張部それぞれの引張力が最適化されるように、各引張力を算出し、算出した各引張力に基づいて、前記ワイヤ引張部それぞれを制御する、
ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における触力覚提示方法は、表示パネルに表示されたコンテンツに応じてユーザに対して触力覚を提示するための方法であって、
（Ｘ）パネル状の触力覚提示部材と、前記触力覚提示部材を保持するための複数のワイヤと、前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、を備えた装置において、
前記ユーザが前記触力覚提示部材をタッチし、それによって前記コンテンツに含まれるオブジェクトに変化が生じた場合に、
前記触力覚提示部材を前記表示パネルの前面に沿って移動させて、前記オブジェクトの変化に応じた前記触力覚を発生させることができるように、且つ、前記ワイヤ引張部それぞれの引張力が最適化されるように、各引張力を算出する、ステップと、
（Ｙ）算出した各引張力に基づいて、前記ワイヤ引張部それぞれを制御する、ステップと、
を有することを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
パネル状の触力覚提示部材と、前記触力覚提示部材を保持するための複数のワイヤと、前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、コンピュータとを備え、表示パネルに表示されたコンテンツに応じてユーザに対して触力覚を提示する装置において、
前記コンピュータに、
（Ｘ）前記ユーザが前記触力覚提示部材をタッチし、それによって前記コンテンツに含まれるオブジェクトに変化が生じた場合に、
前記触力覚提示部材を前記表示パネルの前面に沿って移動させて、前記オブジェクトの変化に応じた前記触力覚を発生させることができるように、且つ、前記ワイヤ引張部それぞれの引張力が最適化されるように、各引張力を算出する、ステップと、
（Ｙ）算出した各引張力に基づいて、前記ワイヤ引張部それぞれを制御する、ステップと、
を実行させる、命令を含むプログラムを記録していることを特徴とする。

以上のように、本発明によれば、装置の小型化及び軽量化を図ることができ、且つ、表現力の高い触力覚を提示することができる。

図１は、本発明の実施の形態１における情報端末の外観を示す斜視図である。 図２は、本発明の実施の形態１における情報端末の各構成部品を示す分解斜視図である。 図３（ａ）及び図３（ｂ）は、図１及び図２に示した情報端末のワイヤ引張部の具体的な構成を示す図である。また、図３（ａ）は平面図であり、図３（ｂ）は側面図である。 図４は、本発明の実施の形態１における情報端末の構成を示すブロック図である。 図５は、本発明の実施の形態１における情報端末１００の動作示すフロー図である。 図６は、本発明の実施の形態１において用いられるコンテンツの一例を示す図である。 図７は、図５に示した触力覚提示部材の位置検出処理を説明する図である。 図８は、本発明の実施の形態１において触力覚の提示に制限が与えられる場合を説明する図である。 図９は、本発明の実施の形態２における情報端末の各構成部品を示す分解斜視図である。

（実施の形態１）
以下、本発明の実施の形態１における、触力覚提示装置、情報端末、触力覚提示方法、及びプログラムについて、図１〜図３を参照しながら説明する。

［装置構成］
最初に、図１及び図２を用いて、本実施の形態１における触力覚提示装置及び情報端末の構成を説明する。図１は、本発明の実施の形態１における情報端末の外観を示す斜視図である。図２は、本発明の実施の形態１における情報端末の各構成部品を示す分解斜視図である。

図１に示すように、本実施の形態１における情報端末１００は、タブレット型の情報端末である。また、図２に示すように、情報端末１００は、コンテンツを表示させる表示パネル２０と、ユーザによってタッチされた位置（以下「タッチ位置」と表記する。）を検出するタッチセンサ３０と、検出されたタッチ位置に応じてコンテンツに含まれるオブジェクトを変化させる情報処理部４０とを備えている。

この構成により、図１に示すように、ユーザ７０が、タッチによって情報端末１００に操作入力を行なうと、情報端末１００においては、タッチセンサ３０によってタッチ位置が検出され、検出された位置が情報処理部４０に通知される。そして、情報処理部４０は、ユーザの操作入力に応じて各種情報処理を実行し、表示パネル２０の表示画面２０ａ上に種々のコンテンツを表示する。

また、図２及び図３に示すように、情報端末１００は、ユーザ７０（図１参照）に対して触力覚を提示する触力覚提示装置１０を備えている。触力覚提示装置１０は、ユーザ７０に触力覚を提示するための触力覚提示部材１１と、複数のワイヤ１２と、ワイヤ引張部１３と、制御部１４とを備えている。

触力覚提示部材１１は、コンテンツを表示させる表示パネル２０の前面側に配置されており、パネル状を呈している。また、ワイヤ１２は、触力覚提示部材１１を保持している。ワイヤ引張部１３は、ワイヤ１２毎に設けられており、対応するワイヤを引張する。

制御部１４は、ワイヤ引張部１３それぞれを制御して、触力覚提示部材１１を表示パネル２０の前面に沿って移動させ、それによって触力覚を発生させる。具体的には、制御部１４は、ユーザ７０が触力覚提示部材１１をタッチし、それによってコンテンツに含まれるオブジェクトに変化が生じた場合に、ワイヤ引張部それぞれの引張力を算出し、算出した各引張力に基づいて、ワイヤ引張部１３それぞれを制御する。また、制御部１４は、その際、オブジェクトの変化に応じた触力覚を発生させることができ、且つワイヤ引張部それぞれの引張力が最適化されるように、各引張力を算出する。

このように、触力覚提示装置１０は、ユーザ７０の指のタッチ位置と表示パネル２０に映し出されたコンテンツの動きに連動して、表示パネル２０の前面側にある触力覚提示部材１１を水平に移動させる。よって、ユーザ７０は、実際に仮想物体（仮想空間内のオブジェクト）を触っているかのような感触を感じることができる。

図１の例では、表示パネル２０に表示された仮想の球に、ユーザ７０の指が接触している。これにより、仮想の球と指との位置関係、及び仮想の球の動作状態（スピード、重さ）に応じて、ユーザ７０は、指先に、触力覚提示部材１１によって、仮想の球からの反発力及び感触を感じることができる。なお、本発明でいう「触力覚」とは、ユーザが感じる、反発力、抵抗力、外力、感触、等を意味する。

また、触力覚提示装置１０では、触力覚を簡単な構成で提示できることから、装置全体の小型化及び軽量化を促進できる。また、触力覚提示部材１１の移動方向の自由度は高く、触力覚の表現力を高めることもできる。

ここで、本実施の形態１における情報端末１００及び触力覚提示装置１０の構成について、図１及び図２に加えて、図３を用いて更に具体的に説明する。図３（ａ）及び図３（ｂ）は、図１及び図２に示した情報端末のワイヤ引張部の具体的な構成を示す図である。また、図３（ａ）は平面図であり、図３（ｂ）は側面図である。

図２に示すように、情報端末１００は、大きく分けて４つの層によって構成されている。最もユーザ側の層を第１層として以下に説明する。まず、第１層は、カバー５０と、タッチセンサ３０とを備えている。カバー５０は、後述する第４層を構成する筐体６０に取り付けられる。また、カバー５０は、タッチセンサ３０を保持すると共に、タッチセンサ３０といった情報端末１００の内部構成をユーザから見えないようにする役目も果たしている。

タッチセンサ３０は、本実施の形態１では、複数の発光素子と、それぞれに対応する受光素子とを備えた光学式のタッチセンサである。具体的には、タッチセンサ３０は、枠状のフレーム３０ａと、対向する２辺のうちの一方の辺に平行に配置された複数の発光素子３０ｂと、他方の辺に平行に配置された複数の受光素子３０ｃとを備えている。

更に、発光素子３０ｂの一部は、画面の垂直方向に沿って光を照射可能に配置され、残りは画面の水平方向に沿って光を照射可能に配置されている。このため、触力覚提示部材１１の面上をなぞるユーザ７０の指によって、照射されている光の一部が遮断されると遮断された部分がタッチ位置として検出される。そして、タッチセンサ３０は、検出したタッチ位置を特定するデータ（以下、「タッチ検出データａ」と表記する。）を情報処理部４０に出力する（図４参照）。

また、本実施の形態１において、タッチセンサ３０は、光学式のタッチセンサに限定されず、静電容量式又は感圧式のタッチパネルセンサであっても良い。なお、タッチセンサ３０としてタッチパネルセンサを用いる場合は、タッチセンサ３０は、後述する第２層の触力覚提示部材１１と表示パネル２との間に配置される。

第２層は、触力覚提示部材１１と、ワイヤ１２とを備えている。本実施の形態１において、触力覚提示部材１１は、アクリル樹脂等の透明な樹脂によって形成された矩形の板である。また、図３（ａ）及び図３（ｂ）に示すように、触力覚提示部材１１の第３層側の面には、断面が半円形を呈する凸部１１ａ及び１１ｂが、各辺に沿って伸びるように形成されている。凸部１１ａ及び凸部１１ｂの機能については後述する。

また、本実施の形態１では、４本のワイヤ１２が用いられており、各ワイヤ１２は、触力覚提示部材１１の角付近に、そこに設けられた貫通孔１１ｃを介して、取り付けられている。この構成により、触力覚提示部材１１は４本のワイヤ１２によって四方に引張され、引張力のバランスにより、任意の水平面方向へ移動し、触力覚を提示することができる。

また、上述したカバー５０は、各ワイヤ１２がユーザ７０から見えないようにも形成されているので、表示パネル２０に表示された画像がワイヤ１２で隠されている状態が見えてしまわないようになっている。また、ワイヤ１２にユーザが触れてしまい、それによって装置が故障するといった事態も回避される。

第３層は、支持パネル２３と、表示パネル２０とを備えている。本実施の形態１では、表示パネル２０としては、液晶表示パネルが用いられているが、これに限定されず、薄型の表示パネルであれば表示方式は特に限定されるものではない。

支持パネル２３は、アクリル樹脂等の透明な樹脂によって、表示パネル２０を覆うように形成された矩形の板である。また、支持パネル２３は、触力覚提示部材１１と表示パネル２０との間に配置され、触力覚提示部材１１の支持と表示パネル２０の保護とを行なっている。

また、図３（ａ）及び図３（ｂ）に示すように、支持パネル２３と触力覚提示部材１１との間には、凸部１１ａ及び１１ｂによって空間が設けられ、ワイヤ１２は、この空間を介してワイヤ引張部１３へと導かれる。更に、上述したように、凸部１１ａ及び１１ｂの断面は半円形を呈し、凸部１１ａ及び１１ｂは支持パネル２３に線で接触するので、触力覚提示部材１１の移動によって、支持パネルの表面が傷つくのが防止される。

第４層は、ワイヤ引張部１３と、制御部１４と、情報処理部４０と、これらを収納する筐体６０とを備えている。このうち、制御部１４及び情報処理部４０は、それぞれ、マイコン等のコンピュータによって実現されている。また、両者は、それぞれ別々のコンピュータによって実現されていても良いし、同一のコンピュータによって実現されていても良い。

また、図３（ａ）及び図３（ｂ）に示すように、本実施の形態１では、各ワイヤ引張部１３は、アクチュエータとして機能するモータ１３ａと、ワイヤ１２の巻取り用のプーリ１３ｂと、張力方向変換プーリ１３ｃとを備えている。この構成により、モータ１３ａによる回転力が、引張力として、ワイヤ１２を介して触力覚提示部材１１に伝達され、この結果、触力覚提示部材１１が引っ張られて、ユーザ７０に触力覚が提示される。

具体的には、まず、モータ１３ａの回転力は、ワイヤ１１を巻き取るプーリ１３ｂにより、筐体６０の側面に沿った直線方向の引張力に変換される。次に、筐体６０の四隅に配置された張力方向変換プーリ１３ｃにより、引張力は、筐体の側面に沿った直線方向から、触力覚提示部材１１の貫通孔１１ｃから筐体６０の隅へと向かう方向へと変換される。よって、モータ１３ａが起動すると、発生した引張力により、触力覚提示部材１１は、張力方向変換プーリ１３ｃに向けて引っ張られる。

本実施の形態１では、このように、ワイヤ１２を用いた伝達機構によって、触力覚提示部材１１を移動させることができる。そして、このような伝達機構は、軽量な部品で構成でき、しかも単純な構成とできるので、上述したように、装置全体の小型化及び軽量化を促進できる。更に、ワイヤ１２が用いられるため、動力源となるモータ１３ａの配置についての制約が小さく、設計の自由度が高められる。

また、ワイヤ引張部１３では、触力覚提示部材１１から張力方向変換プーリ１３ｃに向かう引張力の方向は、一方向に固定されておらず、可変可能である。更に、各ワイヤ１２の長さも可変可能である。このため、上述したように、触力覚提示部材１１の移動方向の自由度は高くなり、触力覚の表現力が高められることになる。なお、本明細書では、「ワイヤ１２の長さ」とは、貫通孔１１ｃから巻取り用のプーリ１３ｂに接触するまでの長さを意味する。

また、本実施の形態１においては、図３（ａ）及び図３（ｂ）に示すように、各モータ１３ａには、モータａの回転数を検出するためのセンサ１５が設けられている。センサ１５は、検出した回転数を特定するデータを制御部１４（図２参照）に出力する。なお、センサ１５の具体例としては、光学式のロータリエンコーダが挙げられる。

ところで、モータ１３ａの回転数が分かれば、プーリ１３ｂの周長が既知であることから、ワイヤ１２の長さも分かる。そして、各ワイヤ１２は弛んでいないとすると、各ワイヤ１２の長さが分かれば、これらから、触力覚提示部材１１の位置を特定することが可能となる。このため、後述するように、制御部１４は、センサ１５が出力したデータ（以下「位置検出データｃ」と表記する。）に基づいて、触力各提示部材１１の位置を特定する。

続いて、図４を用いて、情報端末１００でやり取りされるデータについて説明する。図４は、本発明の実施の形態１における情報端末の構成を示すブロック図である。

図４に示すように、情報処理部４０は、表示パネル２０、タッチセンサ３０、及び制御部１４に接続されている。また、制御部１４は、情報処理部４０に加えて、ワイヤ引張部１３を構成するモータ１３ａと、センサ１５とに接続されている。

この構成では、ユーザ７０（図１参照）がディスプレイの前面側に配置された触力覚提示部材１をタッチすると、タッチセンサ３０は、ユーザの指のタッチ位置を検出し、タッチ位置を特定するタッチ検出データａを情報処理部４０に出力する。

情報処理部４０は、タッチ検出データａを受け取ると、コンテンツデータ４１を参照し、タッチ位置とコンテンツ内のオブジェクトの動きとを連動させる処理を行ない、その処理内容が反映されたコンテンツの表示情報を表示データｅとして表示パネル２０に出力する。

コンテンツデータ４１の具体例としては、ゲームプログラム、シミュレーションプログラムなどの、仮想空間を提供するアプリケーションプログラムのデータ、更にはＷｅｂサイトのデータが挙げられる。また、コンテンツデータ４１は、情報端末１００に備えられた記憶装置に格納されていても良いし、インターネットで接続された別の機器（コンピュータ）に格納されていても良い。

また、このとき、情報処理部４０は、オブジェクトに仮想空間内で発生した力を算出し、算出した力を特定するデータｂ（以下「提示データｂ」と表記する。）を、制御部１４に出力する。この算出された力は、オブジェクトに発生した反発力等であり、ユーザに伝達すべき触力覚に相当する。

制御部１４は、提示データｂを受け取ると、各センサ１５から出力されてきた位置検出データｃを用いて、提示データｂによって特定される触力覚がユーザ７０に伝達されるように、各ワイヤ引張部１３が出力すべき引張力を計算する。

そして、制御部１４は、各モータ１３ａに引張力を発揮させる制御データｄを生成し、これを各モータ１３ａに出力する。具体的には、制御部１４は、電源回路（図示せず）を用いて、モータ１３ａを駆動するためのパルス信号を生成し、これを制御データｄとして出力する。これにより、各モータ１３ａは、計算された引張力で触力覚提示部材１１を引っ張り、ユーザ７０の指先には、提示データｂによって特定される触力覚が提示される。

［動作］
次に、本発明の実施の形態１における情報端末１００及び触力覚提示装置１０の動作について図５を用いて説明する。図５は、本発明の実施の形態１における情報端末１００の動作示すフロー図である。なお、以下の説明においては、適宜図１〜図４を参酌する。また、本実施の形態１では、触力覚提示装置１０を動作させることによって、触力覚提示方法が実施される。よって、本実施の形態１における触力覚提示方法の説明は、以下の触力覚提示装置１０の動作説明に代える。

最初に、ユーザ７０は、触力覚提示部材１１越しに、表示パネル２０に表示されたコンテンツを視認し、そして、コンテンツが提供する仮想空間内でオブジェクトを操作するため、触力覚提示部材１１（図１及び図２参照）をタッチする。これにより、図５に示すように、タッチセンサ３０は、ユーザ７０によるタッチ位置を検出し、検出したタッチ位置を特定するタッチ検出データａを、情報処理部４０に出力する（ステップＳ１０１）。

次に、情報処理部４０は、ステップＳ１０１で出力されたタッチ検出データａを受け取ると、コンテンツデータ４１を参照し、タッチしている位置に合わせてオブジェクトを変化させる処理（コンテンツ連動処理）を実行する（ステップＳ１０２）。

また、ステップＳ１０２では、情報処理部４０は、コンテンツ連動処理の内容が反映されたコンテンツの表示情報を、表示データｅとして表示パネル２０に出力する。更に、ステップＳ１０２では、情報処理部４０は、オブジェクトに仮想空間内で発生した力を算出し、算出した力を特定する提示データｂを、制御部１４に出力する。

次に、触力覚提示装置１０において、制御部１４は、各モータ１３ａに設けられた各センサ１５が出力した位置検出データｃを取得すると、取得した位置検出データｃを用いて、触力覚提示部材１１の位置を検出する（ステップＳ１０３）。

次に、制御部１４は、ステップＳ１０２で出力された提示データｂを受け取ると、これと、ステップＳ１０３で検出した触力覚提示部材１１の位置とに基づいて、各ワイヤ引張部１３が出力すべき引張力を計算する（ステップＳ１０４）。また、ステップＳ１０４では、更に、制御部１４は、各モータ１３ａが計算した引張力を発生するように制御データｄを生成し、これを各モータ１３ａに出力する。

ステップＳ１０４が実行されると、触力覚提示装置１０は、ユーザ７０の指先に、触力覚を提示する（ステップＳ１０５）。また、表示パネル２０の表示画面２０ａには、ステップＳ１０２で情報処理部４０が出力した表示データｅに基づいて、コンテンツ連動処理後のコンテンツが表示される（ステップＳ１０６）。なお、ステップＳ１０５とステップＳ１０６とは、同時に実行されても良い。

また、本実施の形態１においては、ステップＳ１０１〜Ｓ１０６は、繰り返し実行される。よって、ユーザ７０が、ある点から別の点までをドラッグ操作した場合は、ドラッグの開始から終了までの間に、ステップＳ１０１〜Ｓ１０６は繰り返し実行されるので、その間、ユーザ７０は、連続して、触力覚の提示を受けることができる。

ここで、図５に示したステップＳ１０１〜ステップＳ１０６までの各ステップについて、図６〜図８を用いて更に詳細に説明する。

［ステップＳ１０１及びＳ１０２］
まず、図６を用いて、ステップＳ１０１及びＳ１０２について具体的に説明する。図６は、本発明の実施の形態１において用いられるコンテンツの一例を示す図である。図６の例では、コンテンツはエアホッケーゲームであり、ユーザ７０は、指先のタッチによって、仮想空間内に存在している仮想マレット２１を操作して、仮想パック２２を打撃する。

まず、ユーザ７０が、触力覚提示部材１１をタッチすると、タッチセンサ３０は、ステップＳ１０１を実行し、タッチ位置を特定するタッチ検出データａを、情報処理部４０に出力する。

そして、ステップＳ１０２において、情報処理部４０は、コンテンツ連動処理を実行して、実空間内での動作である指の動きと仮想空間内の仮想マレット２１及び仮想パック２２の動きとを連動させる。

具体的には、情報処理部４０は、ユーザ７０の指の動きに追従して、仮想のマレット２１を動かして、仮想空間内の仮想オブジェクトと実空間の物体（ユーザ７０の指）とのインタラクション（相互作用）を取る。このとき、情報処理部４０は、仮想空間内の物理シミュレーターを用いて、仮想マレット２１と仮想パック２２とが接触した際の位置の変化及び接触力をシミュレートする。

また、情報処理部４０は、タッチ検出データａを受け取ると、指定されたタッチ位置に仮想マレット２１を移動させるが、このとき、仮想マレット２１をタッチ位置に不連続に移動させると、仮想オブジェクト同士が互いに重複してしまう可能性がある。この場合、正確なシミュレートが困難となる。

そのため、情報処理部４０は、仮想マレット２１からタッチ位置までの距離と仮想マレット２１の速度とに比例した力を仮想マレット２１に加えていくＰＤ（Proportional-Deferential）制御を実行しながら、仮想マレット２１を移動させる。そして、情報処理部４０は、仮想マレット２１と仮想パック２２とが接触すると、仮想マレット２１及び仮想パック２２の仮想空間での物理係数に応じて、仮想マレット２１と仮想パック２２との接触で両者に生じた反力を計算する。なお、物理係数としては、仮想マレット２１及び仮想パック２２それぞれの、質量、速度、加速度、接触方向、反発係数等が挙げられる。

また、この計算された反力のうち、仮想マレット２１が仮想パックから受けた反力が、触力覚提示部材１１によってユーザ７０に提示すべき触力覚に相当する（図６及び図７参照）。よって、仮想マレット２１が仮想パックから受けた反力を「提示力Ｆ」とすると、情報処理部４０は、触力覚提示部材１１によって提示力Ｆが提示されるようにするため、提示力Ｆを特定する提示データｂを制御部１４に出力する。また、情報処理部４０は、仮想マレット２１と仮想パック２２との動きを表示するためのデータを、表示情報である表示データｅとして表示パネル２０に出力する。

［ステップＳ１０３］
次に、図７を用いて、ステップＳ１０３について具体的に説明する。図７は、図５に示した触力覚提示部材の位置検出処理を説明する図である。本実施の形態１におけるステップＳ１０３では、制御部１４は、センサ１５が出力した位置検出データｃに基づいて、触力覚提示部材１１の中心の座標（ｘ，ｙ）を算出する。

図７の例では、座標の原点（０，０）は、四角形Ｓの中心に設定されている。また、図７中の触力覚提示部材１１では、ワイヤ１２を取り付けるための貫通孔１１ｃは各角に位置しているとする。更に、図７に示した四角形Ｓは、図７中の触力覚提示部材１１の角から矩形Ｓの対応する角までの距離が、各ワイヤ１２の長さ（貫通孔１１ｃからプーリ１３ｂに接触するまでの長さ）に相当するように設定されている。つまり、四角形Ｓの４つの角は、ワイヤ引張部１３それぞれの巻取り用のプーリ１３ｂの位置関係を表わしていることになる。

また、図７において、Ｈは四角形Ｓの縦の長さを示し、Ｗは四角形Ｓの横の長さを示している。また、ｈは触力覚提示部材１１の縦の長さを示し、ｗは触力覚提示部材１１の横の長さを示している。

ステップＳ１０３では、まず、各センサ１５から位置検出データｃが出力されてくると、位置検出データｃはモータ１３ａの回転数を示していることから、制御部１４は、これらを元に各ワイヤ１２の長さｌ_１〜ｌ_４を計算する。そして、図７において、Ｈ、Ｗ、ｈ、ｗは既知の長さであるため、制御部１４は、これらとｌ_１〜ｌ_４とを用いて座標（ｘ，ｙ）を算出する。また、制御部１４は、ステップＳ１０３において、ステップＳ１０４での引張力の計算に利用する各ワイヤ１２の角度（φ_１〜φ_４）も計算する。

ここで、座標（ｘ，ｙ）の算出処理について更に具体的に説明する。図７において、長さがｌ_１のワイヤ１２と四角形Ｓの短辺とのなす角をφ_Ａ１とすると、余弦定理により、下記の数１及び数２が成立する。

従って、制御部１４は、ワイヤの長さｌ_１及びｌ_２を数１及び数２に適用してφ_Ａ１を算出し、更に、下記の数３を用いてφ_１を算出する。また、制御部１４は、算出したφ_Ａ１を下記の数４に適用して、座標（ｘ，ｙ）を算出する。また、φ_２〜φ_４も同様の手順で算出される。

［ステップＳ１０４］
次に、図７を用いてステップＳ１０４について具体的に説明する。図７において、触力覚提示部材１１の４つの頂点の位置は、その重心位置を基準とした位置ベクトル、即ち、ｒ_１、ｒ_２、ｒ_３、ｒ_４によって表わされている。

触力覚提示部材１１が四角形である場合は、位置ベクトルｒ_１、ｒ_２、ｒ_３、ｒ_４それぞれの方向は、触力覚提示部材１１の縦の長さｈと横の長さｗとによって決定される。また、重心位置から各頂点までの距離は同一となるので、各位置ベクトルの量は同一となる。更に、図７において、Ｍは、触力覚提示部材１１をその重心を中心に回転させるモーメントであり、モーメントＭは、引張力τ_１〜τ_４のバランス関係に応じて発生する。

ステップＳ１０４では、制御部１４は、ステップＳ１０２で出力された提示データｂと、ステップＳ１０３で算出した座標（ｘ，ｙ）及びφ_１〜φ_４とを用いて、各ワイヤ引張部１３が出力すべき引張力τ_１〜τ_４を計算する。そして、制御部１４は、提示すべき提示力Ｆを発生させるため、各ワイヤ駆動部１３に対して、計算した引張力を発生させる制御データｄを出力する。

本実施の形態１では、制御部１４は、下記の（ａ）〜（ｄ）の条件が満たされるように、引張力τ_１〜τ_４を計算する。
（ａ）引張力τ_１〜τ_４の合力が、オブジェクト（仮想マレット２１：図６参照）に仮想空間内で発生した力、即ち、ステップＳ１０２で計算した提示力Ｆと一致すること。
（ｂ）引張力τ_１〜τ_４によって触力覚提示部材１１に生じるモーメントＭが、仮想空間内でオブジェクトに発生したモーメントに一致すること。
（ｃ）引張力引張力τ_１〜τ_４それぞれが、ワイヤ１２が弛まない最小の引張力τ_ｍｉｎから、設定された最大の引張力τ_ｍａｘまでの範囲内となること。
（ｄ）引張力τ_１〜τ_４の合計値が、条件（ａ）〜（ｃ）が満たされる範囲内で最小値となること。

ところで、本実施の形態１においては、触力覚提示部材１１を拘束するための条件の自由度は３となるが、ワイヤ引張部１３によって出力できる引張力は４自由度を持っており、冗長である。このため、最適化計算手法によって、引張力τ_１〜τ_４を最適化する必要があり、上記の条件（ｄ）が設定されている。以下に、条件（ａ）〜（ｄ）について具体的に説明する。

条件（ａ）は、下記の数５によって表わすことができる。数５に示すように、引張力τ_１〜τ_４の合力は、各ワイヤ引張部１３の引張力と、対応するワイヤ１２の角度と、の内積の和である。よって、内積の和と目的となる提示力Ｆとが一致することが必要となる。

条件（ｂ）におけるモーメントＭは、本実施の形態１では０（ゼロ）に設定される。よって、条件（ｂ）は、下記の数６によって表わすことができる。数６に示すように、モーメントＭは、位置ベクトルｒ_１〜ｒ_４それぞれと、各引張力における触力覚提示部材１１の各角から重心に向かう方向の成分と、の外積の和である。この外積の和が０（ゼロ）となることが必要となる。なお、触力覚提示部材１に、設定されたモーメントを発生させたい場合には、Ｍの値に任意の値を代入し、得られた数６を用いれば良い。

条件（ｃ）は、いずれかのワイヤが弛んで、触力覚提示部材１１が、ｘｙ平面に対して平行に移動できなくなることを防ぐために、設定されている。また、引張力が大きすぎると、ワイヤが切断されるおそれがあるため、条件（ｃ）では、引張力の最大値が設定される。条件（ｃ）は、下記の数７によって表わすことができる。

条件（ｄ）は、上述したように引張力τ_１〜τ_４を最適化するため、即ち、各ワイヤ引張部１３での消費エネルギを最小限に抑えるために設定されている。条件（ｄ）が設定されていない場合は、引張力τ_１〜τ_４が無駄に大きくなる可能性がある。

条件（ｄ）は、下記の数８によって表わすことができる。数８に示す関数は、各ワイヤ引張部１３の効率化を図りつつ、これらによる引張力の総和を最小化させることを目的としている。Ｊは、最適化を行なうため設定される目的関数値である。Ｊが最小化するように引張力τ_１、τ_２、τ_３、τ_４が算出される。数８に示す関数を用いることで、最適化計算手法の１つである線形計画法が実行される。

以上に述べた条件（ａ）〜（ｄ）が満たされるように、引張力τ_１〜τ_４を算出すれば、これらの値は、目的となる提示力Ｆを提示するにあたっての最適な値となる。但し、各ワイヤ引張部１３は、ワイヤ１２を介して力を伝達しており、引張することのみでしか力を提示できない構成となっている。よって、ワイヤ引張部間の位置関係により、触力覚提示部材１１の位置によっては、提示できる触力覚に制限が与えられる場合がある。この場合、制御部１４は、後述する例外処理を実行する。

ここで、図８を用いて、提示可能な触力覚に制限が与えられる場合について説明する。図８は、本発明の実施の形態１において触力覚の提示に制限が与えられる場合を説明する図である。

図８の例では、触力覚の提示に制限が与えられる場合が、斜線を付した領域によって示されている。即ち、触力覚提示部材１１が、その一部でも、斜線を付した領域内に入った場合に、提示できる触力覚が制限される。

具体的には、図８に示すように、提示すべき提示力が「Ｆ」であるとすると、触力覚提示部材１１が四角形Ｓの中心付近に位置している場合は、引張力τ_１〜τ_４の合力によって、提示力Ｆを提示することが可能である。

一方、触力覚提示部材１１が、図８中の四角形Ｓの右端近くの位置にあり、その一部が斜線を付した領域に入っているとする。この場合、τ_３を出力するワイヤ引張部１３とτ_４を出力するワイヤ引張部１３との位置関係から、τ_３及びτ_４に求められる値は、各ワイヤ引張部１３で発生可能な引張力の最大値を超えてしまい、提示すべき提示力Ｆを出力できなくなる。

更に、図８中の任意の向きに力を提示不可能な領域は、触力覚提示部材１１の位置（ｘ，ｙ）、提示すべき提示力Ｆの大きさ、各ワイヤ引張部１３の位置関係、更には、各ワイヤ引張部１３で出力可能な引張力の最大値及び最小値に依存し、領域範囲は変化する。

ところで、特開２００３−１７２６６２号公報は、従来からの触力覚提示装置を開示している。この特開２００３−１７２６６２号公報に開示された触力覚提示装置（以下「従来の触力覚提示装置」と表記する。）では、球状の触力覚提示部材が、表示パネルの前面の実空間内に三次元的に配置されている。この場合も、触力覚提示部材は、ワイヤによって保持され、各ワイヤには引張力がかけられている。

そして、この従来からの触力覚提示装置においても、任意の向きに力を提示可能な領域と不可能な領域とが存在するが、引張力のトルクの正確性の比重を決定する係数γ_ｔが設定されているので、二つの領域の境界において、計算結果は連続的に変化することになる。つまり、従来の触力覚提示装置では、提示可能な領域と不可能な領域との境界において、引張力の算出結果が不連続に変わることが抑制されるとも考えられる。

しかしながら、従来からの触力覚提示装置においては、任意の向きに力を提示可能な領域と不可能な領域との境界での安定性と、提示すべき提示力Ｆの正確性とは、トレードオフの関係にある。よって、従来の触力覚提示装置では、係数γ_ｔを用いて安定性を求める算出を実行すると、提示すべき提示力Ｆの正確性が低下してしまうという問題が発生してしまう。

ここで、従来の触力覚提示装置において、上記問題が発生する理由を検討する。まず、従来の触力覚提示装置では、モータによる引張力の合力と提示すべき提示力Ｆとの差分を最小にすることが、最適化の目的関数として扱われている。更に、その差分の値が負にならないようにするために、２次の目的関数も設定されている。つまり、従来の触力覚提示装置においては、任意の向きに力を提示可能な領域は、計算上では定義されておらず、結果、上記の問題を解決することは困難となる。

また、従来の触力覚提示装置では、上述したように２次の目的関数が設定され、２次計画法にて最適な引張力が計算されるので、繰り返しの計算により最適計算値に収束させることが必要になり、計算時間がかかる。また、繰り返しの回数により必ず収束して真の最適計算値が算出するとは限らないため、得られた収束値が、提示すべき提示力Ｆを出力できる引張力になっていることは保証できない状態にある。

それに対して、上述したように、本実施の形態１では、制御部１４は、目的関数が１次の線形計画法による算出を行なうため、任意の向きに力を提示可能な領域に、触力覚提示部材１１があることは、制約条件（条件（ａ）〜（ｄ））を満たす解が存在していることと同義である。このため、制御部１４は、制約条件を満たす解が存在しない場合に、任意の向きに力を提示不可能な領域に触覚提示部材１１が存在している、と判定できる。

よって、制御部１４は、触覚提示部材１１の位置が、任意の向きに力を提示不可能な領域と重なった場合には、例外処理によって、境界域における解の不連続性に対応することが可能である。制御部１４によって、このような処理が可能になったのは、各ワイヤ引張部１３による引張力の合力と提示すべき提示力Ｆとが一致することを制約条件とし、更にワイヤ引張部１３の効率を目的関数として、線形計画法によって引張力の分配計算を行なっているからである。

また、線形計画法による場合は、最適計算値は必ず一意に決まるため、触覚提示部材１１が、任意の向きに提示力を提示可能な領域内にある場合には、各ワイヤ引張部１３による引張力の合力と提示すべき提示力Ｆとが一致する。よって、この場合には、常に、正確に触力覚を提示することが可能となる。また、線形計画法による場合には、有限回の反復により解が求められることもわかっているため、計算コストが小さくユーザへの触力覚提示の反応速度を速くすることも可能となる。

また、制御部１４は、例外処理では、例えば、各引張力を設定値とし、設定値に基づいて、ワイヤ引張部１３それぞれを制御することができる。

つまり、任意の向きに力を提示可能な領域と不可能な領域との境界域では、提示力Ｆの大きさに関わらず、触覚提示部材１１から近い位置にある２つのワイヤ引張部１３は最大の引張力を出力する。また、境界域では、触覚提示部材１１から遠い位置にある２つのワイヤ引張部１３は最小の引張力を出力する。

このため、任意の向きに力を提示不可能な領域では、触覚提示部材１の各ワイヤ引張部１３からの位置関係に応じて出力値を固定すれば、境界域における解の連続性を保つことが可能になる。結果、触覚提示部材１１が、境界域上にあるときでも、ユーザに対して連続で安定した触力覚提示を行なうことができる。

また、本実施の形態１では、任意の向きに力を提示可能な領域と不可能な領域との境界における例外処理は、ワイヤ引張部１３の出力が連続して変化するような処理であれば良く、処理方法を限定するものではない。

例えば、触覚提示部材１１が任意の向きに力を提示可能な領域から不可能な領域に移動し、最適解であるワイヤ引張部１３の引張力τ_１、τ_２、τ_３、τ_４を算出できなくなったとする。この場合に、制御部１４は、例外処理として、各ワイヤ引張部１３が、最適解を算出できていた時の最新の引張力を保持するように制御を行なっても良い。

［ステップＳ１０５及びステップＳ１０６］
次に、ステップＳ１０５及びＳ１０６について具体的に説明する。上述したように、ステップＳ１０５では触力覚の提示が行なわれ、ステップＳ１０６ではコンテンツ連携処理後のコンテンツの表示が行なわれる。具体的には、表示パネル２０は、情報処理部４０がステップＳ１０２で出力した表示データｅを受けて、その表示画面上に、オブジェクトが変化したコンテンツを表示させる。また、各ワイヤ引張部１３が、ステップＳ１０４で計算された引張力τ_１〜τ_４を発生させると、対応するワイヤ１２が引張されて触力覚提示部材１１が動き、ユーザ７０の指先に提示力Ｆが提示される。これにより、ユーザ７０は、指先にオブジェクトを実際に触っているかのような感触を感じることができる。

［プログラム］
本実施の形態１におけるプログラムは、コンピュータに、図５に示すステップＳ１０３〜Ｓ１０５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態１における触力覚提示装置１０と触力覚提示方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、制御部１４として機能し、処理を行なう。

また、触力覚提示装置１０を実現可能なコンピュータは、特に限定されず、上述したマイコンであっても良いし、汎用のパーソナルコンピュータであっても良い。更に、触力覚提示装置１０を実現可能なコンピュータは、携帯電話、スマートフォン、又はタブレット型の情報端末に備えられているコンピュータであっても良い。

また、本実施の形態１におけるプログラムは、コンピュータ読み取り可能な記録媒体に記録された状態で提供されても良いし、インターネット介して送信されても良い。なお、記録媒体の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。

［実施の形態１における効果］
本実施の形態１では、ワイヤを利用する触力覚提示機構を用いたことと、触力覚を発生させるために最適化計算手法を用いたこととによって、以下の効果が得られている。

まず、本実施の形態１では、アクチュエータからの伝達機構としてワイヤを用いるため、触力覚提示装置を構成する部材として軽量な部材を用いることができ、更に、伝達機構の構造を単純化できる。よって、本実施の形態１によれば、装置全体の小型化及び軽量化を達成できる。

また、本実施の形態１では、伝達機構であるワイヤの伝達方向及び長さの設計自由度が高いため、アクチュエータとその他の構成部品とが干渉しない部品レイアウトを容易に実現できる。

更に、本実施の形態１では、触力覚を発生させるための最適化計算を線形計画法によって行なうことができる。よって、計算コストを小さくできると共に、ユーザに触力覚を提示する際の反応速度を高めることもできる。

また、各ワイヤ引張部１３の位置関係により、触力覚提示部材１１の位置によって、提示可能な触力覚（提示力）に制限が与えられる場合がある。しかし、本実施の形態１では、このような場合とそうでない場合とを区別できるので、これらの境界においても連続で安定した触力覚の提示を行なうことができる。

また、本実施の形態１では、触力覚提示部材１１は、ワイヤによって四方向から引っ張られ、加えて、各ワイヤの引張方向は一方向に固定されておらず、可変可能である。このため、触力覚提示部材１１が移動可能な領域を広くとることができる。

（実施の形態２）
以下、本発明の実施の形態２における、触力覚提示装置、情報端末、触力覚提示方法、及びプログラムについて、図９を参照しながら説明する。図９は、本発明の実施の形態２における情報端末の各構成部品を示す分解斜視図である。

図９に示すように、本実施の形態２における触力覚提示装置８０は、触力覚提示部材８１の構成の点で、図１〜図３に示した実施の形態１における触力覚提示装置１０と異なっている。本実施の形態２では、触力覚提示部材８１が表示パネル８２を含む構成が採用されている。

具体的には、本実施の形態２では、コンテンツを表示させる表示パネル８２が触力覚提示部材８１として機能している。また、タッチセンサとしてタッチパネル８３が用いられており、タッチパネル８３は、コンテンツを表示させる表示パネル８２の前面に固定される。従って、タッチパネル８３も、表示パネル８２と共に、触力覚提示部材８１として機能する。

各ワイヤ１２は、それぞれ、表示パネル８２の四隅に取り付けられ、各ワイヤ引張部１３は、実施の形態１と同様に、対応するワイヤ１２を引張する。よって、制御部１４は、実施の形態１と同様に、ワイヤ引張部１３それぞれを制御することにより、触力覚提示部材８１である表示パネル８２を移動させることができるので、本実施の形態２においてもユーザに触力覚が提示される。

本実施の形態２では、このように、表示パネル８２が筐体６０に対して移動するため、そのままでは、表示画面も一緒に移動してしまう。よって、情報処理部４０は、ユーザから見て、コンテンツ映像が表示パネル８２に連動して動かないようにするため、表示パネル８２の移動方向と逆の方向にコンテンツ映像を移動させて表示する、といった処理を実行できる。

また、本実施の形態２において、情報処理部４０及び制御部１４の動作は、実施の形態１と同様であり、図５に示したステップＳ１０１〜Ｓ１０６が実行される。そして、触力覚提示装置８０において、ステップＳ１０３〜Ｓ１０５が実行されることにより、本実施の形態２における触力覚提示方法が実施される。また、本実施の形態２におけるプログラムも、コンピュータに、図５に示すステップＳ１０３〜Ｓ１０５を実行させるプログラムであれば良い。

そして、本実施の形態２を用いた場合は、上述したように、表示パネル８２を触力覚提示部材として用いることができるため、実施の形態１に比べて構造を簡略化でき、製造コストの削減を推進できる。また、本実施の形態２においても、実施の形態１と同様に、ワイヤを利用する触力覚提示機構と最適化計算手法とが採用されるため、実施の形態１で述べた効果を得ることができる。

（変形例）
続いて、上述した実施の形態１及び実施の形態２の各種変形例について以下に説明する。

上述した実施の形態１及び２において、ワイヤ引張部１３のアクチュエータは、モータに限定されるものではなく、ワイヤ１２を引張可能な構成を備えていれば良い。その他のアクチュエータとしては、ワイヤ形状に近い形状を呈し、且つ、伸張動作を行なう、アクチュエータ、例えば、人工筋肉アクチュエータ、繊維状の形状記憶合金アクチュエータなどが挙げられる。

また、上述した実施の形態１及び２では、図３に示したように、ワイヤ１２を筐体６０側へと引っ張る際において引張の開始点となる張力方向変換プーリ１３ｃそれぞれは、これらを結んだときに、筐体６０の形状に合致する矩形が形成されるように配置されている。しかしながら、実施の形態１及び２において、引張の開始点の位置は特に限定されず、各引張の開始点は、これらを結んだときに、例えば、平行四辺形、台形が形成されるように配置されていても良い。また、各引張の開始点は、同一平面内に位置していなくても良いし、個数は４点である必要もない。

また、上述した実施の形態１及び２では、４本のワイヤによって触力覚提示部材を駆動しているが、ワイヤの本数は特に限定されるものではない。例えば、平面上の任意の方向に触力覚提示部材を移動させて、触力覚を提示する場合であれば、ワイヤ１２は少なくとも３本あれば良い。

更に、触力覚提示部材を直線上で任意の方向に移動させて、触力覚を提示するのであれば、ワイヤは２本あれば良い。また、触力覚提示部材を、重力等の外部力とのつり合いを利用して移動させて、触力覚を提示する場合であれば、ワイヤは１本あれば良い。加えて、触力覚提示部材１１を、平面上及び三次元空間内の任意の方向に移動又は回転させて、触力覚を提示するのであれば、ワイヤは４本以上であっても良い。

また、上述した実施の形態１及び２では、ユーザの指の動きに連動して、仮想空間内でオブジェクトが移動した場合に、触力覚が提示される例が示されているが（図６参照）、これに限定される趣旨ではない。実施の形態１及び２は、オブジェクトが移動以外の変化を行なう場合、例えば、オブジェクトの形状、色、大きさ等が変化した場合にも適用できる。また、ユーザによる操作の対象となったオブジェクトに応じて、提示される触力覚が異なっていても良い。

また、上述した実施の形態１及び２では、コンテンツ表示のための処理を行なう情報処理部４０は、表示パネル、タッチセンサ、及び触力覚提示装置と共に、同じ筐体に収容されているが、これに限定されるものではない。実施の形態１及び２では、情報処理部４０は、外部のパーソナルコンピュータといったコンピュータによって実現されていても良い。また、この場合、制御部１４も、情報処理部を実現するコンピュータによって実現されていても良い。

（適用例）
続いて、上述した実施の形態１及び実施の形態２の各種適用例について以下に説明する。

実施の形態１及び２における触力覚提示装置は、移動のナビゲーションに適用できる。例えば、触力覚提示装置は、歩行中のユーザに目的地をナビゲーションする際に、ユーザのタッチしている指に、進行すべき方向を触力覚により提示することができる。この場合、ナビゲーションの方向がコンテンツとして提示したい情報になる。

実施の形態１及び２における触力覚提示装置は、スクロールする画面の動きに連動した触力覚を提示することで、より実体的な操作感をユーザに提供できる。例えば、画面のスクロールにおいて、これ以上の情報が無くてスクロールができない場合に、表示画面をスクロール方向においてバウンドさせてスクロールできないことを知らせる表示方法が知られている。この表示方法が採用される場合に、表示画面のバウンドに連動して触力覚が提示されるようにすれば、ユーザは、より実体的に、情報を素早く正確に受け取ることが可能になる。

実施の形態１及び２における触力覚提示装置は、表示されているコンテンツがｗｅｂサイトである場合において、タッチしている指の下にＬｉｎｋボタン等があることを触力覚により提示することができる。この場合、ユーザは、表示情報だけでは得にくい情報を受け取ることができる。更に、触力覚提示装置は、Ｌｉｎｋ先に有害なサイトが含まれる場合は、ユーザがＬｉｎｋボタンを押しにくくなるように、触力覚の提示によって警告を行なうこともできる。

実施の形態１及び２における触力覚提示装置は、仮想のオブジェクト（仮想物体）との連動に限らず、マスタ・スレーブのロボットアームなどの入力操作の動作反応に利用可能である。例えば、ユーザが画面を見ながらロボットアームを遠隔操作して実物体を操作する場合において、触力覚提示装置は、障害物に接触したことの反応、障害物に接触する前の警告等として、触力覚を提示することができる。この場合、ユーザは、より安全で正確に、ロボットアームを操作することができる。

実施の形態１及び２における触力覚提示装置は、触地図などの状態把握に利用可能である。つまり、触力覚提示装置は、視覚障がい者における地図把握として利用できる。また、一般ユーザが３Ｄ迷路等において壁及び道順を理解する際に、触力覚提示装置によって、壁及び道に対応する触力覚を提示させれば、ユーザにおける形状及び状態の把握が容易となる。

実施の形態１及び２における触力覚提示装置は、文字学習における漢字書き順の情報提示に利用可能である。子どもが漢字学習における文字の書く順番理解のため、触力覚提示装置によって、書き順序、とび、はね等が不正確であるときに、正しい入力方向以外の入力に抵抗力を触力覚として提示すれば良い。触力覚提示装置は、文字学習の補助に有用である。

実施の形態１及び２における触力覚提示装置は、機器操作の際のクリック感覚のフィードバックとして、表示パネルに平行な方向に動かされた触力覚提示が可能である。また、入力のためのキー操作において、触力覚によるフィードバックは重要であるため、触力覚提示装置は、ユーザにとって理解しやすいように、フィードバックを変更することもできる。更に、触力覚提示装置は、ユーザの入力が変化した場合は、従来のクリック感覚とは異なるフィードバックを返すことにより、ユーザに入力変化を気付かせることもできる。

また、タッチパネルによる文字の入力方式として、フリック方式と呼ばれる入力方式が知られている。フリック方式では、指がタッチした位置と指をスライドさせた方向とにより入力文字が決定される。このフリック方式に、実施の形態１及び２おける触力覚提示装置を適用した場合は、スライドさせる方向にのみ指がスライドしやすくなり、スライドにより選択できない方向への指の動きに抵抗が生じるように、触力覚を提示できる。この場合、ユーザが文字の選択時に誤った動きをしないようにでき、文字の入力が容易となる。

実施の形態１及び２における触力覚提示装置は、ピアノなどの楽器操作のシミュレーション、手術のシミュレーション、粘土造形のシミュレーションにおいて、フィードバック装置として利用可能である。つまり、触力覚提示装置は、機器使用の事前学習、エンタテイメントのひとつとして、入力に対する機器のフィードバックとして触力覚提示をすることができる。

実施の形態１及び２における触力覚提示装置は、Ｗｅｂサイト及びテレビといった実店舗以外での商品の購入において、商品の状態認識に利用可能である。実店舗での商品購入と異なり、Ｗｅｂサイト及びテレビでの商品購入においては、商品の実感が問題となる。このため、触力覚提示装置を利用すれば、ユーザは、商品に触った際の触覚情報を得る事が出来るので、より商品を理解したうえで購入を行なうことができる。

実施の形態１及び２における触力覚提示装置は、錯視絵の理解などエンタテイメントとして利用可能である。この場合、触力覚提示装置は、視覚情報と一致しない触力覚を提示情報としてユーザに与えることにより、ユーザに違和感を提示する。例えば Maurits CornelisEscher作の螺旋階段が続く錯視絵は、実物としては触ることができないが、触力覚提示装置を用いれば、仮想空間内の物体の感触を提示できるので、ユーザは、錯視絵に触れることもできる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１１年１２月５日に出願された日本出願特願２０１１−２６６３２３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、触力覚提示装置、それを備えた情報端末の小型化及び軽量化を図ることができ、加えて、表現力の高い触力覚を提示することが可能となる。本発明は、触力覚の提示が求められる各種分野、例えば、コンピュータインターフェース、各種シミュレーション、ゲーム等に有用である。

１０ 触力覚提示装置
１１ 触力覚提示部材
１１ａ、１１ｂ 凸部
１１ｃ 貫通孔
１２ ワイヤ
１３ ワイヤ引張部
１３ａ モータ
１３ｂ 巻取り用のプーリ
１３ｃ 張力方向変換プーリ
１４ 制御部
１５ センサ
２０ 表示パネル
２１ 仮想マレット
２２ 仮想パック
２３ 支持パネル
３０ タッチセンサ
３０ａ フレーム
３０ｂ 発光素子
３０ｃ 受光素子
４０ 情報処理部
４１ コンテンツデータ
５０ カバー
６０ 筐体
７０ ユーザ
１１０ 情報端末

本発明は、ユーザに対して触力覚を提示（伝達）する触力覚提示装置、これを備えた、ＰＯＳ端末、携帯端末といった情報端末、触力覚提示方法、及びこれらを実現するためのプログラムに関する。

本発明の目的の一例は、上記問題を解消し、装置の小型化及び軽量化を図ることができ、且つ、表現力の高い触力覚を提示し得る、触力覚提示装置、情報端末、触力覚提示方法、及びプログラムを提供することにある。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
パネル状の触力覚提示部材と、前記触力覚提示部材を保持するための複数のワイヤと、前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、コンピュータとを備え、表示パネルに表示されたコンテンツに応じてユーザに対して触力覚を提示する装置において、
前記コンピュータに、
（Ｘ）前記ユーザが前記触力覚提示部材をタッチし、それによって前記コンテンツに含まれるオブジェクトに変化が生じた場合に、
前記触力覚提示部材を前記表示パネルの前面に沿って移動させて、前記オブジェクトの変化に応じた前記触力覚を発生させることができるように、且つ、前記ワイヤ引張部それぞれの引張力が最適化されるように、各引張力を算出する、ステップと、
（Ｙ）算出した各引張力に基づいて、前記ワイヤ引張部それぞれを制御する、ステップと、
を実行させる、プログラム。

具体的には、まず、モータ１３ａの回転力は、ワイヤ１２を巻き取るプーリ１３ｂにより、筐体６０の側面に沿った直線方向の引張力に変換される。次に、筐体６０の四隅に配置された張力方向変換プーリ１３ｃにより、引張力は、筐体の側面に沿った直線方向から、触力覚提示部材１１の貫通孔１１ｃから筐体６０の隅へと向かう方向へと変換される。よって、モータ１３ａが起動すると、発生した引張力により、触力覚提示部材１１は、張力方向変換プーリ１３ｃに向けて引っ張られる。

また、本実施の形態１においては、図３（ａ）及び図３（ｂ）に示すように、各モータ１３ａには、モータ１３ａの回転数を検出するためのセンサ１５が設けられている。センサ１５は、検出した回転数を特定するデータを制御部１４（図２参照）に出力する。なお、センサ１５の具体例としては、光学式のロータリエンコーダが挙げられる。

ところで、モータ１３ａの回転数が分かれば、プーリ１３ｂの周長が既知であることから、ワイヤ１２の長さも分かる。そして、各ワイヤ１２は弛んでいないとすると、各ワイヤ１２の長さが分かれば、これらから、触力覚提示部材１１の位置を特定することが可能となる。このため、後述するように、制御部１４は、センサ１５が出力したデータ（以下「位置検出データｃ」と表記する。）に基づいて、触力覚提示部材１１の位置を特定する。

この構成では、ユーザ７０（図１参照）がディスプレイの前面側に配置された触力覚提示部材１１をタッチすると、タッチセンサ３０は、ユーザの指のタッチ位置を検出し、タッチ位置を特定するタッチ検出データａを情報処理部４０に出力する。

ステップＳ１０４では、制御部１４は、ステップＳ１０２で出力された提示データｂと、ステップＳ１０３で算出した座標（ｘ，ｙ）及びφ_１〜φ_４とを用いて、各ワイヤ引張部１３が出力すべき引張力τ_１〜τ_４を計算する。そして、制御部１４は、提示すべき提示力Ｆを発生させるため、各ワイヤ引張部１３に対して、計算した引張力を発生させる制御データｄを出力する。

本実施の形態１では、制御部１４は、下記の（ａ）〜（ｄ）の条件が満たされるように、引張力τ_１〜τ_４を計算する。
（ａ）引張力τ_１〜τ_４の合力が、オブジェクト（仮想マレット２１：図６参照）に仮想空間内で発生した力、即ち、ステップＳ１０２で計算した提示力Ｆと一致すること。
（ｂ）引張力τ_１〜τ_４によって触力覚提示部材１１に生じるモーメントＭが、仮想空間内でオブジェクトに発生したモーメントに一致すること。
（ｃ）引張力τ_１〜τ_４それぞれが、ワイヤ１２が弛まない最小の引張力τ_ｍｉｎから、設定された最大の引張力τ_ｍａｘまでの範囲内となること。
（ｄ）引張力τ_１〜τ_４の合計値が、条件（ａ）〜（ｃ）が満たされる範囲内で最小値となること。

条件（ｂ）におけるモーメントＭは、本実施の形態１では０（ゼロ）に設定される。よって、条件（ｂ）は、下記の数６によって表わすことができる。数６に示すように、モーメントＭは、位置ベクトルｒ_１〜ｒ_４それぞれと、各引張力における触力覚提示部材１１の各角から重心に向かう方向の成分と、の外積の和である。この外積の和が０（ゼロ）となることが必要となる。なお、触力覚提示部材１１に、設定されたモーメントを発生させたい場合には、Ｍの値に任意の値を代入し、得られた数６を用いれば良い。

それに対して、上述したように、本実施の形態１では、制御部１４は、目的関数が１次の線形計画法による算出を行なうため、任意の向きに力を提示可能な領域に、触力覚提示部材１１があることは、制約条件（条件（ａ）〜（ｄ））を満たす解が存在していることと同義である。このため、制御部１４は、制約条件を満たす解が存在しない場合に、任意の向きに力を提示不可能な領域に触力覚提示部材１１が存在している、と判定できる。

よって、制御部１４は、触力覚提示部材１１の位置が、任意の向きに力を提示不可能な領域と重なった場合には、例外処理によって、境界域における解の不連続性に対応することが可能である。制御部１４によって、このような処理が可能になったのは、各ワイヤ引張部１３による引張力の合力と提示すべき提示力Ｆとが一致することを制約条件とし、更にワイヤ引張部１３の効率を目的関数として、線形計画法によって引張力の分配計算を行なっているからである。

また、線形計画法による場合は、最適計算値は必ず一意に決まるため、触力覚提示部材１１が、任意の向きに提示力を提示可能な領域内にある場合には、各ワイヤ引張部１３による引張力の合力と提示すべき提示力Ｆとが一致する。よって、この場合には、常に、正確に触力覚を提示することが可能となる。また、線形計画法による場合には、有限回の反復により解が求められることもわかっているため、計算コストが小さくユーザへの触力覚提示の反応速度を速くすることも可能となる。

つまり、任意の向きに力を提示可能な領域と不可能な領域との境界域では、提示力Ｆの大きさに関わらず、触力覚提示部材１１から近い位置にある２つのワイヤ引張部１３は最大の引張力を出力する。また、境界域では、触力覚提示部材１１から遠い位置にある２つのワイヤ引張部１３は最小の引張力を出力する。

このため、任意の向きに力を提示不可能な領域では、触力覚提示部材１１の各ワイヤ引張部１３からの位置関係に応じて出力値を固定すれば、境界域における解の連続性を保つことが可能になる。結果、触力覚提示部材１１が、境界域上にあるときでも、ユーザに対して連続で安定した触力覚提示を行なうことができる。

例えば、触力覚提示部材１１が任意の向きに力を提示可能な領域から不可能な領域に移動し、最適解であるワイヤ引張部１３の引張力τ_１、τ_２、τ_３、τ_４を算出できなくなったとする。この場合に、制御部１４は、例外処理として、各ワイヤ引張部１３が、最適解を算出できていた時の最新の引張力を保持するように制御を行なっても良い。

Claims (19)

1. 表示パネルに表示されたコンテンツに応じてユーザに対して触力覚を提示する触力覚提示装置であって、
   パネル状の触力覚提示部材と、
   前記触力覚提示部材を保持するための複数のワイヤと、
   前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、
   前記ワイヤ引張部それぞれを制御して、前記触力覚提示部材を前記表示パネルの前面に沿って移動させ、それによって前記触力覚を発生させる、制御部と、
   を備え、
   前記制御部は、
   前記ユーザが前記触力覚提示部材をタッチし、それによって前記コンテンツに含まれるオブジェクトに変化が生じた場合に、
   前記オブジェクトの変化に応じた前記触力覚を発生させることができるように、且つ、前記ワイヤ引張部それぞれの引張力が最適化されるように、各引張力を算出し、算出した各引張力に基づいて、前記ワイヤ引張部それぞれを制御する、
   ことを特徴とする触力覚提示装置。
2. 前記制御部が、前記各引張力を、
   （ａ）前記引張力の合力が、前記オブジェクトに仮想空間内で発生した力と一致すること、
   （ｂ）前記引張力によって前記触力覚提示部材に生じるモーメントが、仮想空間内で前記オブジェクトに発生したモーメントに一致すること、
   （ｃ）算出した前記引張力それぞれが、前記ワイヤが弛まない最小の引張力から、設定された最大の引張力までの範囲内となること、
   （ｄ）前記引張力の合計値が、前記（ａ）〜（ｃ）が満たされる範囲内で最小値となること、
   を条件として算出する、
   請求項１に記載の触力覚提示装置。
3. 前記制御部が、
   前記ワイヤ引張部から対応する前記ワイヤの前記触力覚提示部材との接続点までの距離に基づいて、前記触力覚提示部材の位置を検出し、
   検出した位置が、前記ワイヤ引張部間の位置関係により、前記触力覚に制限が与えられる位置である場合に、前記各引張力を設定値とし、前記設定値に基づいて、前記ワイヤ引張部それぞれを制御する、
   請求項１または２に記載の触力覚提示装置。
4. 前記制御部が、前記引張力によって前記触力覚提示部材に生じるモーメント力が、ゼロとなるように、前記各引張力を算出する、
   請求項１〜３のいずれかに記載の触力覚提示装置。
5. 前記触力覚提示部材が、前記表示パネルの前面側に配置されている、請求項１〜４のいずれかに記載の触力覚提示装置。
6. 前記触力覚提示部材が、前記表示パネルを含んでいる、請求項１〜４のいずれかに記載の触力覚提示装置。
7. コンテンツを表示させる表示パネルと、ユーザによってタッチされた位置を検出するタッチセンサと、前記タッチセンサによって検出された位置に応じて前記コンテンツに含まれるオブジェクトを変化させる情報処理部と、前記コンテンツに応じて前記ユーザに対して触力覚を提示可能な触力覚提示装置とを備え、
   前記触力覚提示装置は、
   パネル状の触力覚提示部材と、
   前記触力覚提示部材を保持するための複数のワイヤと、
   前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、
   前記ワイヤ引張部それぞれを制御して、前記触力覚提示部材を前記表示パネルの前面に沿って移動させ、それによって前記触力覚を発生させる、制御部と、
   を備え、
   前記制御部は、
   前記ユーザが前記触力覚提示部材をタッチし、前記タッチセンサによって検出された位置に応じて、前記情報処理部が前記コンテンツに含まれるオブジェクトを変化させた場合に、
   前記オブジェクトの変化に応じた前記触力覚を発生させることができるように、且つ、前記ワイヤ引張部それぞれの引張力が最適化されるように、各引張力を算出し、算出した各引張力に基づいて、前記ワイヤ引張部それぞれを制御する、
   ことを特徴とする情報端末。
8. 前記情報処理部が、前記オブジェクトを変化させた場合に、前記オブジェクトに仮想空間内で発生した力の大きさとその方向とを検出し、検出した前記大きさと前記方向とを特定するデータを前記制御部に出力し、
   前記制御部が、前記データに基づいて、前記各引張力を算出する、
   請求項７に記載の情報端末。
9. 前記制御部が、前記各引張力を、
   （ａ）前記引張力の合力が、前記オブジェクトに仮想空間内で発生した力と一致すること、
   （ｂ）前記引張力によって前記触力覚提示部材に生じるモーメントが、仮想空間内で前記オブジェクトに発生したモーメントに一致すること、
   （ｃ）算出した前記引張力それぞれが、前記ワイヤが弛まない最小の引張力から、設定された最大の引張力までの範囲内となること、
   （ｄ）前記引張力の合計値が、前記（ａ）〜（ｃ）が満たされる範囲内で最小値となること、
   を条件として算出する、
   請求項８に記載の情報端末。
10. 前記制御部が、
    前記ワイヤ引張部から対応する前記ワイヤの前記触力覚提示部材との接続点までの距離に基づいて、前記触力覚提示部材の位置を検出し、
    検出した位置が、前記ワイヤ引張部間の位置関係により、前記触力覚に制限が与えられる位置である場合に、前記各引張力を設定値とし、前記設定値に基づいて、前記ワイヤ引張部それぞれを制御する、
    請求項７〜９のいずれかに記載の情報端末。
11. 前記制御部が、前記引張力によって前記触力覚提示部材に生じるモーメント力が、ゼロとなるように、前記各引張力を算出する、
    請求項７〜１０のいずれかに記載の情報端末。
12. 表示パネルに表示されたコンテンツに応じてユーザに対して触力覚を提示するための方法であって、
    （Ｘ）パネル状の触力覚提示部材と、前記触力覚提示部材を保持するための複数のワイヤと、前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、を備えた装置において、
    前記ユーザが前記触力覚提示部材をタッチし、それによって前記コンテンツに含まれるオブジェクトに変化が生じた場合に、
    前記触力覚提示部材を前記表示パネルの前面に沿って移動させて、前記オブジェクトの変化に応じた前記触力覚を発生させることができるように、且つ、前記ワイヤ引張部それぞれの引張力が最適化されるように、各引張力を算出する、ステップと、
    （Ｙ）算出した各引張力に基づいて、前記ワイヤ引張部それぞれを制御する、ステップと、
    を有することを特徴とする触力覚提示方法。
13. 前記（Ｘ）のステップにおいて、前記各引張力を、
    （ａ）前記引張力の合力が、前記オブジェクトに仮想空間内で発生した力と一致すること、
    （ｂ）前記引張力によって前記触力覚提示部材に生じるモーメントが、仮想空間内で前記オブジェクトに発生したモーメントに一致すること、
    （ｃ）算出した前記引張力それぞれが、前記ワイヤが弛まない最小の引張力から、設定された最大の引張力までの範囲内となること、
    （ｄ）前記引張力の合計値が、前記（ａ）〜（ｃ）が満たされる範囲内で最小値となること、
    を条件として算出する、
    請求項１２に記載の触力覚提示方法。
14. （Ｚ）前記ワイヤ引張部から対応する前記ワイヤの前記触力覚提示部材との接続点までの距離に基づいて、前記触力覚提示部材の位置を検出し、
    検出した位置が、前記ワイヤ引張部間の位置関係により、前記触力覚に制限が与えられる位置である場合に、前記各引張力を設定値とし、前記設定値に基づいて、前記ワイヤ引張部それぞれを制御する、ステップを、
    更に有する、請求項１２または１３に記載の触力覚提示方法。
15. 前記（Ｘ）のステップにおいて、前記引張力によって前記触力覚提示部材に生じるモーメント力が、ゼロとなるように、前記各引張力を算出する、
    請求項１２〜１４のいずれかに記載の触力覚提示方法。
16. パネル状の触力覚提示部材と、前記触力覚提示部材を保持するための複数のワイヤと、前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、コンピュータとを備え、表示パネルに表示されたコンテンツに応じてユーザに対して触力覚を提示する装置において、
    前記コンピュータに、
    （Ｘ）前記ユーザが前記触力覚提示部材をタッチし、それによって前記コンテンツに含まれるオブジェクトに変化が生じた場合に、
    前記触力覚提示部材を前記表示パネルの前面に沿って移動させて、前記オブジェクトの変化に応じた前記触力覚を発生させることができるように、且つ、前記ワイヤ引張部それぞれの引張力が最適化されるように、各引張力を算出する、ステップと、
    （Ｙ）算出した各引張力に基づいて、前記ワイヤ引張部それぞれを制御する、ステップと、
    を実行させる、命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
17. 前記（Ｘ）のステップにおいて、前記各引張力を、
    （ａ）前記引張力の合力が、前記オブジェクトに仮想空間内で発生した力と一致すること、
    （ｂ）前記引張力によって前記触力覚提示部材に生じるモーメントが、仮想空間内で前記オブジェクトに発生したモーメントに一致すること、
    （ｃ）算出した前記引張力それぞれが、前記ワイヤが弛まない最小の引張力から、設定された最大の引張力までの範囲内となること、
    （ｄ）前記引張力の合計値が、前記（ａ）〜（ｃ）が満たされる範囲内で最小値となること、
    を条件として算出する、
    請求項１６に記載のコンピュータ読み取り可能な記録媒体。
18. （Ｚ）前記ワイヤ引張部から対応する前記ワイヤの前記触力覚提示部材との接続点までの距離に基づいて、前記触力覚提示部材の位置を検出し、
    検出した位置が、前記ワイヤ引張部間の位置関係により、前記触力覚に制限が与えられる位置である場合に、前記各引張力を設定値とし、前記設定値に基づいて、前記ワイヤ引張部それぞれを制御する、ステップを、
    更に前記コンピュータに実行させる、請求項１６または１７に記載のコンピュータ読み取り可能な記録媒体。
19. 前記（Ｘ）のステップにおいて、前記引張力によって前記触力覚提示部材に生じるモーメント力が、ゼロとなるように、前記各引張力を算出する、
    請求項１６〜１８のいずれかに記載のコンピュータ読み取り可能な記録媒体。
    
    

Images