JP7656301B2

JP7656301B2 - 擬似触覚提示装置、擬似触覚提示方法、およびプログラム

Info

Publication number: JP7656301B2
Application number: JP2021179154A
Authority: JP
Inventors: 拓巳横坂; 隆寛河邉; 征太郎金子; 裕之梶本
Original assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS; Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS; NTT Inc; NTT Inc USA
Priority date: 2021-11-02
Filing date: 2021-11-02
Publication date: 2025-04-03
Anticipated expiration: 2041-11-02
Also published as: JP2023068248A

Description

本発明は、擬似的な触覚を提示する技術に関する。

カーオーディオのボタン操作を行った際に提示される操作音の周波数が異なると、操作者が感じるボタン操作の重さ感（重量感）も異なることが知られている（例えば、非特許文献１参照）。

阪本浩二，石光俊介，荒井貴行，好美敏和，藤本裕一，川崎健一，カーオーディオ・メインユニットのボタン押し音評価に関する検討，日本感性工学会論文誌，2010，10巻，3号，p.375-385，2011.

この従来手法では、異なる重さ感を知覚させるために、異なる周波数の操作音を提示しなければならなかった。しかし、提示される重さ感が操作音の周波数のみに依存する方法では、この周波数の違いを他の目的（例えば、操作ボタンの判別など）に用いることができない。このような問題は、ボタン操作時の操作音によってボタン操作の重さ感を知覚させる場合のみならず、聴覚情報によって擬似触覚を知覚させる場合に共通するものである。

本発明はこのような点に鑑みてなされたものであり、聴覚情報の周波数にかかわらず、当該聴覚情報によって擬似触覚を制御できる技術を提供することを目的とする。

第１態様の擬似触覚提示装置は、動作に基づく操作情報が入力されたときに、聴覚調整情報に基づく聴覚情報を提示するための提示信号を生成する。ここで聴覚調整情報は、操作情報が入力されてから聴覚情報の提示を開始するまでの時間に対応する発生遅延量、または、操作情報が入力されてから聴覚情報の提示を終了するまでの時間に対応する停止遅延量、または、聴覚情報の提示を開始してから終了するまでの時間に対応する継続量、または、聴覚情報の音量、のうちの少なくともいずれか１つである聴覚調整パラメータを制御するための情報である。ただし、聴覚調整パラメータは所望の擬似触覚に対応する。

第２態様の擬似触覚提示装置は、動作装置を動作させるための動作情報が出力されるときに、聴覚調整情報に基づく聴覚情報を提示するための提示信号を生成する。ここで聴覚調整情報は、動作情報が出力されてから聴覚情報の提示を開始するまでの時間に対応する発生遅延量、または、動作情報が出力されてから聴覚情報の提示を終了するまでの時間に対応する停止遅延量、または、聴覚情報の提示を開始してから終了するまでの時間に対応する継続量、または、聴覚情報の音量、のうちの少なくともいずれか１つである聴覚調整パラメータを制御するための情報である。

これにより、聴覚情報の周波数にかかわらず、当該聴覚情報によって擬似触覚を制御することができる。

図１は、実施形態の擬似触覚提示装置の機能構成を説明するためのブロック図である。図２は、実施形態の前提となる実験結果を例示するための図である。図３は、実施形態の前提となる実験結果を例示するための図である。図４は、実施形態の前提となる実験結果を例示するための図である。図５は、実施形態の処理を説明するためのフロー図である。図６は、実施形態の処理を説明するためのフロー図である。図７は、実施形態の擬似触覚提示装置の機能構成を説明するためのブロック図である。図８は、本実施形態の擬似触覚提示装置のハードウェア構成を例示するためのブロック図である。

以下、図面を参照して本発明の実施の形態を説明する。
［原理］
発明者は以下のような実験を行い、前提となる自然法則（生理学上の法則）を発見した。

＜実験１＞
実験手順：
画面上にクリック可能なテストボタン（正方形）が表示される。被験者がテストボタンをクリックすると、このクリックから遅延時間（0,100,200,300,500msのいずれかの時間）が経過した時点で、周波数200Hzまたは400Hzの純音（テスト音）が0.5秒間提示（音響出力）される。また画面上には、テストボタンとは別の基準ボタン（正方形）も表示されている。被験者が基準ボタンをクリックすると、このクリックから200msの遅延時間が経過した時点で周波数300Hzの純音（基準音）が提示される。被験者は、テストボタンをクリックしたときに感じた重さ感を、基準ボタンをクリックしたときに感じた重さ感と比較し、以下の1-5の5段階で回答する。
1：基準ボタンの方がとても重い
2：基準ボタンの方が重い
3：基準ボタンとテストボタンの重さは同じくらい
4：テストボタンの方が重い
5：テストボタンの方がとても重い

実験結果：
図２に実験１の実験結果を例示する。図２の横軸は遅延時間（delay）を表し、縦軸は回答結果の平均値（ansAve）を表す。実線のグラフは周波数200Hzのテスト音が提示された際の結果を表し、破線のグラフは周波数400Hzのテスト音が提示された際の結果を表す。図２に例示するように、いずれの周波数のテスト音が提示された場合でも、遅延時間が長いほど、被験者が知覚する重さ感が有意に増加することが分かる。また、周波数200Hzのテスト音が提示された場合の方が、周波数400Hzのテスト音が提示された場合よりも重さ感が増加したことが分かる。この結果より、クリック操作が行われてからテスト音の提示を開始するまでの遅延時間が長いほど、テスト音の周波数が低いほど、被験者が知覚する重さ感が大きくなることが分かる。

＜実験２＞
実験手順：実験１では、被験者がテストボタンをクリックすると、このクリックから遅延時間が経過した時点で、テスト音が提示された。これに対し、実験２では、最初から周波数200Hzまたは400Hzの純音（テスト音）が提示されており、被験者がテストボタンをクリックすると、このクリックから遅延時間（0,100,200,300,500msのいずれかの時間）が経過した時点で、テスト音の提示を停止（終了）する。その他は実験１と同じである。

実験結果：
図３に実験２の実験結果を例示する。図３の横軸は遅延時間（delay）を表し、縦軸は回答結果の平均値（ansAve）を表す。実線のグラフは周波数200Hzのテスト音が提示された際の結果を表し、破線のグラフは周波数400Hzのテスト音が提示された際の結果を表す。図３に例示するように、いずれの周波数のテスト音が提示された場合でも、遅延時間が長いほど、被験者が知覚する重さ感が有意に増加することが分かる。また、周波数200Hzのテスト音が提示された場合の方が、周波数400Hzのテスト音が提示された場合よりも重さ感が増加したことが分かる。この結果より、クリック操作が行われてからテスト音が停止するまでの遅延時間が長いほど、テスト音の周波数が低いほど、被験者が知覚する重さ感が大きくなることが分かる。

＜実験３＞
実験１では、200Hzまたは400Hzのテスト音を提示し、周波数300Hzの基準音を提示した。これに対し、実験３では、周波数200Hzのテスト音に代えて大きな音圧（大きな音量）の純音（テスト音）を提示し、周波数400Hzのテスト音に代えて小さな音圧（小さな音量）の純音（テスト音）を提示し、周波数300Hzの基準音に代えて中程度の音圧（中程度の音量）の純音（基準音）を提示する。なお、中程度の音圧の大きさは、小さな音圧よりも大きく、大きな音圧よりも小さい。その他は実験１と同じである。

実験結果：
図４に実験３の実験結果を例示する。図４の横軸は遅延時間（delay）を表し、縦軸は回答結果の平均値（ansAve）を表す。実線のグラフは大きな音圧のテスト音が提示された際の結果を表し、破線のグラフは小さな音圧のテスト音が提示された際の結果を表す。図４に例示するように、いずれの大きさのテスト音が提示された場合でも、遅延時間が長いほど、被験者が知覚する重さ感が有意に増加することが分かる。また、大きな音圧のテスト音が提示された場合の方が、小さな音圧のテスト音が提示された場合よりも重さ感が増加したことが分かる。この結果より、クリック操作が行われてからテスト音が停止するまでの遅延時間が長いほど、テスト音の音圧が大きいほど、被験者が知覚する重さ感が大きくなることが分かる。

＜考察＞
以上のように、テスト音の周波数にかかわらず、クリック操作が行われてからテスト音の提示を開始するまでの遅延時間が長いほど、被験者が知覚する重さ感が大きくなる。また、テスト音の周波数にかかわらず、クリック操作が行われてからテスト音が停止するまでの遅延時間が長いほど、被験者が知覚する重さ感が大きくなる。さらに、テスト音の周波数にかかわらず、テスト音の音圧が大きいほど、被験者が知覚する重さ感が大きくなる。このような自然法則（生理学上の法則）はこれまで知られていなかったものである。なお、この実験では、正方形のテストボタンがクリックされてから遅延時間経過後にテスト音の提示を開始したり、テスト音の提示を停止したりした。しかしながら、この自然法則は、何等かの被験者の動作に基づく操作が行われてから遅延時間経過後にテスト音の提示を開始したり、テスト音の提示を停止したりする場合に、一般的に成り立つ。被験者の動作に基づく操作は、被験者の身体部位の動作に基づく操作であればよく、被験者の身体部位が物体に接触した状態で行う操作であってもよいし、物体に接触しない状態で行う操作であってもよい。ただし、被験者の身体部位が物体に接触した状態で行う操作の場合、より明確な効果が期待できる。また、この自然法則は、被験者の動作に基づく操作が行われてから第１遅延時間が経過した時点でテスト音の提示を開始し、被験者の動作に基づく操作が行われてから第２遅延時間（ただし、第２遅延時間は第１遅延時間よりも長い）が経過した時点でテスト音の提示を停止する場合にも成り立ち、第１遅延時間および第２遅延時間が長いほど、被験者が知覚する重さ感が大きくなる。さらには、テスト音の提示を開始してから終了するまでの時間によって被験者が知覚する重さ感を制御することも可能であり、テスト音の提示を開始してから終了するまでの時間が長いほど、被験者が知覚する重さ感が大きくなると期待できる。また、このような自然法則は、テスト音が純音以外の聴覚情報（音響情報）、例えば、自然音、音楽、音声、アラーム音、ノイズ音、機械音などの純音以外の音の場合にも、一般的に成り立つ。また、被験者が知覚する重さ感は、抵抗感と知覚されるかもしれないし、硬さ感と知覚されるかもしれない。より一般的に、上述のように被験者に知覚される感覚は擬似触覚と表現できる。すなわち、操作情報が入力されてから聴覚情報の提示を開始するまでの時間に対応する発生遅延量、または、操作情報が入力されてから聴覚情報の提示を終了するまでの時間に対応する停止遅延量、または、聴覚情報の提示を開始してから終了するまでの時間に対応する継続量、または、聴覚情報の音量、の少なくともいずれかを制御することで、被験者に所望の擬似触覚を知覚させることができる。つまり、発生遅延量または停止遅延量または継続量または音量が大きいほど、被験者が知覚する重さ感などの擬似触覚が大きくなる。

また、このような自然法則は、被験者以外の人間や動物の身体部位の動作に基づく操作が行われた際に、その様子を被験者が見ており、当該被験者にテスト音を提示する場合にも成り立つ。すなわち、発生遅延量または停止遅延量または継続量または音量の少なくともいずれかを制御することで、被験者に所望の擬似触覚を知覚させることができる。つまり、発生遅延量または停止遅延量または継続量または音量が大きいほど、被験者が知覚する重さ感などの擬似触覚が大きくなることが期待できる。

さらには、このような自然法則は、被験者以外のロボット等の動作装置の動作に基づく操作が行われた際に、その様子を被験者が見ており、当該被験者にテスト音を提示する場合にも成り立つ。更にこの場合には、動作装置の動作に基づく操作が行われたことを契機にすることに代え、当該動作装置を動作させるための動作情報が出力されたことを契機にした場合にも、このような自然法則が成り立つ。ただし、この場合の発生遅延量は、動作情報が出力されてから聴覚情報の提示を開始するまでの時間に対応し、停止遅延量は、動作情報が出力されてから聴覚情報の提示を開始するまでの時間に対応する。

またさらに、このような自然法則は、発生遅延量、停止遅延量、継続量、および音量のうち、何れか複数の組み合わせを制御する場合にも成り立つ。すなわち、発生遅延量、停止遅延量、継続量、および音量のうち、何れか複数の組み合わせを制御することで、被験者が知覚する擬似触覚の大きさを制御できる。さらに前述のように、このような自然法則は、発生遅延量、停止遅延量、継続量、および音量の少なくとも何れかに加え、提示されるテスト音の周波数を制御する場合にも成り立つ。すなわち、発生遅延量、停止遅延量、継続量、および音量の少なくとも何れかとテスト音の周波数との組み合わせを制御することでも、被験者が知覚する擬似触覚の大きさを制御できる。

＜自然法則の利用＞
各実施形態では、擬似触覚提示装置が、動作に基づく操作情報が入力されたときに、聴覚調整情報に基づく聴覚情報を提示するための提示信号を生成する。ただし、聴覚調整情報は、操作情報が入力されてから聴覚情報の提示を開始するまでの時間に対応する発生遅延量（以下、単に「発生遅延量」という場合がある）、または、操作情報が入力されてから聴覚情報の提示を終了するまでの時間に対応する停止遅延量（以下、単に「停止遅延量」という場合がある）、または、聴覚情報の提示を開始してから終了するまでの時間に対応する継続量（以下、単に「継続量」という場合がある）、または、聴覚情報の音量（以下、単に「音量」という場合がある）、のうちの少なくともいずれか１つである聴覚調整パラメータを制御するための情報である。或いは、擬似触覚提示装置が、動作装置を動作させるための動作情報が出力されるときに、聴覚調整情報に基づく聴覚情報を提示するための提示信号を生成する。ただし、聴覚調整情報は、動作情報が出力されてから聴覚情報の提示を開始するまでの時間に対応する発生遅延量（以下、単に「発生遅延量」という場合がある）、または、動作情報が出力されてから聴覚情報の提示を終了するまでの時間に対応する停止遅延量（以下、単に「停止遅延量」という場合がある）、または、聴覚情報の提示を開始してから終了するまでの時間に対応する継続量、または、聴覚情報の音量、のうちの少なくともいずれか１つである聴覚調整パラメータを制御するための情報である。ただし、聴覚調整パラメータは所望の擬似触覚に対応する。これは新たに発見された上述の自然法則に基づくものであり、このような発見がなければ擬似触覚に提示のために利用されない情報である。このような提示信号に基づく聴覚情報が利用者に提示されることにより、聴覚情報の周波数にかかわらず、当該音響信号によって知覚される擬似触覚を制御することができる。以下、各実施形態を詳細に説明する。

［第１実施形態］
本発明の第１実施形態を説明する。
＜構成＞
図１に例示するように、本実施形態の擬似触覚提示装置１は、聴覚調整情報生成部１１、提示信号生成部１２、出力部１３、入力部１４、操作検出部１５、聴覚調整情報生成部１７、制御部１８、および記憶部１９を有し、制御部１８の制御に基づいて各処理を実行する。擬似触覚提示装置１への入力情報および各部で得られた情報は記憶部１９に格納され、必要に応じて読み出されて使用される。擬似触覚提示装置１のハードウェア構成については後述する。

擬似触覚提示装置１の入力部１４には、有線または無線で操作装置１０１が接続されている。操作装置１０１は、利用者１００の身体部位の動作に基づく操作を検知する装置である。例えば、利用者１００の身体部位が物体に接触した状態で行われる操作を検知する装置を操作装置１０１として用いることができる。本実施形態では、説明の簡略化のため、操作装置１０１が利用者１００の指で押し込み操作される物理キー（例えば、キーボードのキー）である場合を例にとって説明する。しかし、これは一例であって、利用者１００の身体部位（例えば、手、指、足、頭部、顔、眼など）の動作に基づく操作を検知するものであれば、どのような装置を操作装置１０１として用いてもよい。

また、擬似触覚提示装置１の出力部１３には、有線または無線で聴覚情報提示装置１０２が接続されている。聴覚情報提示装置１０２は、聴覚情報を提示する装置である。「聴覚情報」はヒトの聴覚で捉えられる音響情報であればどのようなものであってもよい。本実施形態では、説明の簡略化のため、聴覚情報が純音であり、聴覚情報提示装置１０２が当該純音を放出（提示）するスピーカーである場合を例示する。しかし、これは一例であって、聴覚情報を提示する装置であれば、どのような装置を聴覚情報提示装置１０２として用いてもよい。

＜処理＞
次に、図１及び図５を用いて第１実施形態の処理を説明する。
擬似触覚提示装置１の聴覚調整情報生成部１１は、初期の聴覚情報（初期聴覚情報）を表す情報V₀を生成する。初期聴覚情報はどのようなものであってもよい。例えば、可聴領域に属する予め定められた周波数および音量の純音が初期聴覚情報とされる。初期聴覚情報を表す情報V₀は提示信号生成部１２に送られる（ステップＳ１１）。

利用者１００は、任意のタイミングで操作装置１０１に対する操作（身体部位の動作に基づく操作）を行う。前述のように、本実施形態で例示する操作装置１０１は物理キーであり、利用者１００は指で操作装置１０１への操作（本実施形態の例では押し込み操作）を行うことができる。操作装置１０１に対する操作が行われると、操作装置１０１は当該操作があったことを表す操作情報（身体部位の動作に基づく操作情報）O_inを出力する。操作装置１０１から出力された操作情報O_inは、擬似触覚提示装置１の入力部１４に入力され、操作検出部１５に送られる。操作検出部１５は、操作情報O_inの入力の有無を監視している。操作情報O_inが入力されていないと判断された場合、操作検出部１５は操作情報O_inの入力の有無の監視を継続する。一方、操作情報O_inが入力されたと判断された場合、操作検出部１５は、操作情報O_inが入力された旨を示すトリガー信号Tを聴覚調整情報生成部１７に送る（ステップＳ１５）。

トリガー信号Tが入力された聴覚調整情報生成部１７は、聴覚調整情報Aを生成する。聴覚調整情報Aは、これまで知られていなかった自然法則に基づくものであり、(1)操作情報O_inが入力されてから聴覚情報の提示を開始するまでの時間に対応する発生遅延量、または、(2)操作情報O_inが入力されてから聴覚情報の提示を終了するまでの時間に対応する停止遅延量、または、(3)聴覚情報の提示を開始してから終了するまでの時間に対応する継続量、または、(4)聴覚情報の音量（音圧）、のうちの少なくともいずれか１つである聴覚調整パラメータを制御するための情報である。ただし、聴覚調整パラメータは所望の擬似触覚に対応する。

(1)発生遅延量の具体例は以下の通りである。
・操作情報O_inが入力部１４、操作検出部１５、聴覚調整情報生成部１７の何れかに入力されてから、聴覚情報の提示が開始されるまでの時間Ds1
・時間Ds1を特定可能な情報
発生遅延量の大きさに制限はないが、例えば、0-2000[ms]の間の何れかの時間Ds1、または当該時間Ds1を特定可能な情報を発生遅延量とすればよい。Ds1=αであり、Ds1=βであり、α＞βの場合、Ds1=αのときに知覚される擬似触覚（例えば、重量感）の大きさは、Ds1=βのときに知覚される擬似触覚の大きさよりも大きい。例えば、時間Ds1が長いほど大きな擬似触覚を提示できる。

(2)停止遅延量の具体例は以下の通りである。
・操作情報O_inが入力部１４、操作検出部１５、聴覚調整情報生成部１７の何れかに入力されてから、聴覚情報の提示を終了するまでの時間De1
・時間De1を特定可能な情報
停止遅延量の大きさに制限はないが、例えば、0-2000[ms]の間の何れかの時間De1、または当該時間De1を特定可能な情報を停止遅延量とすればよい。ただし、Ds1<De1の関係を満たす。De1=αであり、De1=βであり、α＞βの場合、De1=αのときに知覚される擬似触覚の大きさは、De1=βのときに知覚される擬似触覚の大きさよりも大きい。例えば、時間De1が長いほど大きな擬似触覚を提示できる。

(3)継続量の具体例は以下の通りである。
・聴覚情報の提示を開始してから終了するまでの時間Du1
・時間Du1を特定可能な情報
継続量の大きさに制限はないが、例えば、10-2000[ms]の間の何れかの時間Du1、または当該時間Du1を特定可能な情報を継続量とすればよい。Du1=αであり、Du1=βであり、α＞βの場合、Du1=αのときに知覚される擬似触覚（例えば、重量感）の大きさは、Du1=βのときに知覚される擬似触覚の大きさよりも大きい。例えば、時間Du1が長いほど大きな擬似触覚を提示できる。

(4)聴覚情報の音量の具体例は以下の通りである。
・一定の音量Am1
・聴覚情報の提示を開始してから終了するまで間に時間経過とともに段階的に大きくなる音量Am2
・聴覚情報の提示を開始してから終了するまで間に時間経過とともに段階的に小さくなる音量Am3
・聴覚情報の提示を開始してから終了するまで間に時間経過とともに段階的に大きくなってから小さくなる音量Am4
・聴覚情報の提示を開始してから終了するまで間に時間経過とともに段階的に小さくなってから大きくなる音量Am5
・聴覚情報の提示を開始してから終了するまで間に所定の速度で大きさが変化する（例えば、所定の速度で大きくなるか、所定の速度で小さくなるか、所定の速度で大きくなってから小さくなるか、所定の速度で小さくなってから大きくなる）音量Am6
・聴覚情報の提示を開始してから終了するまで間に選択された速度で大きさが変化する（例えば、選択された速度で大きくなるか、選択された速度で小さくなるか、選択された速度で大きくなってから小さくなるか、選択された速度で小さくなってから大きくなる）音量Am7
・聴覚情報の提示を開始してから終了するまで間に大きさが不連続に変化する（例えば、不連続に大きくなるか、不連続に小さくなるか、不連続に大きくなってから小さくなるか、不連続に小さくなってから大きくなる）音量Am8
・聴覚情報の提示を開始してから終了するまで間に時間経過とともに特定の周波数成分の大きさのみが変化する音量（特定の周波数成分の大きさの変化の仕方は、例えば上述の具体例の何れかである）Am9
α＞βの場合、音量がαのときに知覚される擬似触覚の大きさは、音量がβのときに知覚される擬似触覚の大きさよりも大きい。例えば、音量が長いほど大きな擬似触覚を提示できる。

聴覚調整情報Aは、提示信号生成部１２が(1)発生遅延量または(2)停止遅延量または(3)継続量または(4)聴覚情報の音量のうちの少なくともいずれか１つである聴覚調整パラメータを一意に特定できる情報である。このような情報である限り、どのような情報を聴覚調整情報Aとしてもよい。例えば、提示信号生成部１２が(1)発生遅延量として予め定めた一定値を用いないのであれば、聴覚調整情報Aは少なくとも(1)発生遅延量を含めばよい。その他、いずれの場合おいても、聴覚調整情報Aが、聴覚情報の音量が時間経過とともにどのように変化するかを表す情報を含んでもよいし、聴覚情報のどの周波数成分の音量が時間経過とともに変化するかを表す情報を含んでもよい。聴覚調整情報生成部１７は、聴覚調整情報Aを提示信号生成部１２に送る（ステップＳ１７２）。

聴覚調整情報Aが入力された提示信号生成部１２は、入力された聴覚調整情報Aおよび初期聴覚情報を表す情報V₀を用い、聴覚調整情報Aによって特定される聴覚情報（聴覚調整情報に基づく聴覚情報）を提示（出力）するための提示信号V_tを生成する。例えば、提示信号生成部１２は、聴覚調整情報Aに基づき、情報V₀が表す初期聴覚情報の提示開始時間、停止時間、継続時間、または音量の少なくとも何れかを調整した聴覚情報を提示するための提示信号V_tを生成する。聴覚情報の提示開始時間、停止時間、継続時間、および音量は、聴覚調整情報Aに基づいて一意に定まる。聴覚情報の提示開始時間、停止時間、継続時間、または音量のうち聴覚調整情報Aに基づいて定まらないものは、予め定められていてもよいし、入力に基づいて定められてもよいし、ランダムに定められてもよい。生成された提示信号V_tは、出力部１３から聴覚情報提示装置１０２に送られ、聴覚情報提示装置１０２は、この提示信号V_tに従って各時刻ｔでの聴覚情報を利用者１００に提示する（聴覚情報を利用者１００に聞かせる）（ステップＳ１２２）。

＜第１実施形態の特徴＞
本実施形態の擬似触覚提示装置１は、動作に基づく操作情報O_inが入力されたときに、聴覚調整情報Aに基づく聴覚情報を提示するための提示信号V_tを生成して出力する。ここで、聴覚調整情報Aは、操作情報O_inが入力されてから聴覚情報の提示を開始するまでの時間に対応する発生遅延量、操作情報O_inが入力されてから聴覚情報の提示を終了するまでの時間に対応する停止遅延量、または、聴覚情報の提示を開始してから終了するまでの時間に対応する継続量、または、聴覚情報の音量、のうちの少なくともいずれか１つである聴覚調整パラメータを制御するための情報である。ただし、聴覚調整パラメータは所望の擬似触覚に対応する。このような提示信号V_tに従って各時刻ｔでの聴覚情報を利用者１００に提示することにより、利用者１００（ヒト）の身体部位（例えば、指などの操作を行った身体部位）に重さ感などの所望の擬似触覚を知覚させることができる。これらの原理は前述の自然法則の発見に基づく。前述のように、このような擬似触覚の大きさは、発生遅延量、停止遅延量、継続量、および聴覚情報の音量によって異なる。そのため、聴覚調整パラメータを制御することで、擬似触覚の大きさ（例えば、重さ感の大きさや硬さ感の大きさなど）を変化させることができる。このように、聴覚情報の周波数にかかわらず、当該聴覚情報によって擬似触覚を制御することができる。

聴覚調整パラメータが、発生遅延量または停止遅延量または継続量のうちの少なくともいずれか１つおよび聴覚情報の音量を含み、発生遅延量または停止遅延量または継続量のうちの少なくともいずれか１つと聴覚情報の音量との両方を制御することにより、知覚される擬似触覚の明確性を向上させたり、提示する擬似力覚の制御自由度を向上させたりできる。

なお、身体部位が物体に接触した状態で行う操作の場合、より明確に擬似触覚を知覚させることができる。そのため、操作装置１０１は、身体部位が物体に接触した状態で行う操作を受け付け、それに基づく操作情報を出力する装置であることが望ましい。

［第１実施形態の変形例１］
第１実施形態では、操作装置１０１への操作が行われた後に聴覚情報が提示された（ステップＳ１２２）。しかし、操作装置１０１への操作が行われる前に初期聴覚情報が提示され、操作装置１０１への操作が行われた後に聴覚調整情報Aに基づく聴覚情報が提示されてもよい。以降、これまで説明した事項との相違点を中心に説明し、説明済みの事項については同じ参照番号を流用して説明を簡略化する。

＜構成＞
第１実施形態と同じである。

＜処理＞
図５を用いて本変形例の処理を説明する。
前述したステップＳ１１の処理の後、提示信号生成部１２は、初期聴覚情報を表す情報V₀を用い、初期聴覚情報を表す情報V₀によって特定される初期聴覚情報を提示（出力）するための初期提示信号V₀を生成する。初期提示信号V₀は聴覚情報提示装置１０２に送られ、聴覚情報提示装置１０２は、この初期提示信号V₀に従って初期聴覚情報を利用者１００に提示する（初期聴覚情報を利用者１００に聞かせる）。なお、ステップＳ１２２で提示信号V_tに基づく聴覚情報（聴覚調整情報Aに基づく聴覚情報）の提示が開始されるまで、聴覚情報提示装置１０２による初期聴覚情報の提示が継続される（ステップＳ１２１）。

その後、ステップＳ１５の処理が行われ、操作情報O_inが入力されたと判断された場合、操作検出部１５は、操作情報O_inが入力された旨を示すトリガー信号Tを聴覚調整情報生成部１７に送る（ステップＳ１５）。

トリガー信号Tが入力された聴覚調整情報生成部１７は、聴覚調整情報Aを生成する。聴覚調整情報Aは提示信号生成部１２に送られる（ステップＳ１７２）。

聴覚調整情報Aが入力された提示信号生成部１２は、入力された聴覚調整情報Aおよび初期聴覚情報を表す情報V₀を用い、聴覚調整情報Aによって特定される聴覚情報（聴覚調整情報に基づく聴覚情報）を提示（出力）するための提示信号V_tを生成する。提示信号V_tは聴覚情報提示装置１０２に送られ、聴覚情報提示装置１０２は、この提示信号V_tに従って各時刻ｔでの聴覚情報を利用者１００に提示する（ステップＳ１２２）。

＜第１実施形態の変形例１の特徴＞
このようにしても第１実施形態と同様な効果を得ることができる。

［第１実施形態の変形例２］
第１実施形態では、擬似触覚提示装置に操作情報が入力された後に、聴覚調整情報を生成し（ステップＳ１７２）、当該聴覚調整情報に基づく聴覚情報を提示するための提示信号を生成して出力した（ステップＳ１２２）。しかしながら、これは本発明を限定するものではなく、その他の処理順序で本発明が実施されてもよい。例えば、擬似触覚提示装置に操作情報が入力される前に、聴覚調整情報を生成し、当該聴覚調整情報に基づく聴覚情報を提示するための提示信号を生成しておいてもよい。

＜構成＞
第１実施形態と同じである。

＜処理＞
図６を用いて、本変形例の処理を説明する。擬似触覚提示装置１の聴覚調整情報生成部１１は、初期聴覚情報を表す情報V₀を生成する。初期聴覚情報を表す情報V₀は提示信号生成部１２に送られる（ステップＳ１１）。

聴覚調整情報生成部１７は、聴覚調整情報Aを生成する。聴覚調整情報生成部１７は、聴覚調整情報Aを提示信号生成部１２に送る（ステップＳ１７２’）。

提示信号生成部１２は、入力された初期聴覚情報を表す情報V₀および聴覚調整情報Aを用い、聴覚調整情報Aによって特定される聴覚情報（聴覚調整情報に基づく聴覚情報）を提示（出力）するための提示信号V_tを生成する（ステップＳ１２）。

利用者１００は、任意のタイミングで操作装置１０１に対する操作（身体部位の動作に基づく操作）を行う。操作装置１０１に対する操作が行われると、操作装置１０１は当該操作があったことを表す操作情報（身体部位の動作に基づく操作情報）O_inを出力する。操作検出部１５は、操作情報O_inの入力の有無を監視している。操作情報O_inが入力されていないと判断された場合、操作検出部１５は操作情報O_inの入力の有無の監視を継続する。一方、操作情報O_inが入力されたと判断された場合、操作検出部１５は、操作情報O_inが入力された旨を示すトリガー信号Tを提示信号生成部１２に送る（ステップＳ１５’）。

トリガー信号Tが入力された提示信号生成部１２は、聴覚情報を提示するための提示信号V_tを出力部１３に送り、出力部１３はこれを聴覚情報提示装置１０２に送る。聴覚情報提示装置１０２は、この提示信号V_tに従って各時刻ｔでの聴覚情報を提示する（ステップＳ１２２’）。

＜第１実施形態の変形例２の特徴＞
このようにしても第１実施形態と同様な効果を得ることができる。

［第１実施形態の変形例３］
第１実施形態の変形例２では、操作装置１０１への操作が行われた後に聴覚情報が提示された（ステップＳ１２２’）。しかし、操作装置１０１への操作が行われる前に、聴覚調整情報Aが生成され、初期聴覚情報が提示され、操作装置１０１への操作が行われた後に聴覚調整情報Aに基づく聴覚情報が提示されてもよい。
＜構成＞
第１実施形態と同じである。

＜処理＞
図６を用いて、本変形例の処理を説明する。第１実施形態の変形例２で説明したステップＳ１１，Ｓ１７２’，Ｓ１２の処理の後、第１実施形態の変形例１で説明したステップＳ１２１の処理が実行される。その後、ステップＳ１５’の処理が行われ、操作情報O_inが入力されたと判断された場合、操作検出部１５は、操作情報O_inが入力された旨を示すトリガー信号Tを提示信号生成部１２に送る（ステップＳ１５’）。トリガー信号Tが入力された提示信号生成部１２は、聴覚情報を提示するための提示信号V_tを出力部１３に送り、出力部１３はこれを聴覚情報提示装置１０２に送る。聴覚情報提示装置１０２は、この提示信号V_tに従って各時刻ｔでの聴覚情報を提示する（ステップＳ１２２’）。

＜第１実施形態の変形例３の特徴＞
このようにしても第１実施形態と同様な効果を得ることができる。

［第２実施形態］
本実施形態は第１実施形態の変形例であり、操作内容に基づく聴覚調整情報を用いて聴覚情報を生成する点が第１実施形態と相違する。

＜構成＞
図１に例示するように、本実施形態の擬似触覚提示装置２は、聴覚調整情報生成部１１、提示信号生成部１２、出力部１３、入力部１４、操作検出部１５、聴覚調整情報生成部２７、制御部１８、および記憶部１９を有し、制御部１８の制御に基づいて各処理を実行する。擬似触覚提示装置２のハードウェア構成については後述する。擬似触覚提示装置２の入力部１４には、有線または無線で操作装置１０１が接続されている。擬似触覚提示装置２の出力部１３には、有線または無線で聴覚情報提示装置１０２が接続されている。前述のように、操作装置１０１および聴覚情報提示装置１０２はどのようなものであってもよい。

＜処理＞
本実施形態では、前処理として、複数の操作内容と、当該操作内容のそれぞれに対応する聴覚調整情報と、を対応付けた対応付け情報（例えば、テーブル）を記憶部１９に格納しておく。対応付け情報に格納される操作内容は、操作装置１０１に対して行われる身体部位の動作に基づく操作内容であってもよいし、図示していない操作装置１０１以外の操作装置（第２操作装置）に対して行われる身体部位の動作に基づく操作内容であってもよい。本実施形態では、説明の簡略化のため、操作装置１０１に対して行われる身体部位の動作に基づく操作内容を記憶部１９に格納しておく例を説明する。しかし、これは本発明を限定するものではない。

記憶部１９に格納しておく複数の操作内容はどのようなものであってもよい。例えば、操作装置１０１に対する操作時間の長さおよび／または操作回数が異なる複数の操作内容を記憶部１９に格納しておいてもよい。例えば、操作装置１０１が物理キーである場合、「１回だけ短時間行われる押し下げ操作」「２回続けて行われる短時間の押し下げ操作」「長時間行われる押し下げ操作」などの操作内容を記憶しておく。ただし、これは本発明を限定するものではない。

複数の操作内容のそれぞれに対応付けられる聴覚調整情報は、どのようなものであってもよい。ただし、複数の操作内容それぞれに対応付けられる聴覚調整情報はすべてが同一ではなく、少なくとも何れかの聴覚調整情報は互いに相違している。

例えば、異なる操作内容のそれぞれに同じ聴覚調整パラメータ（例えば、発生遅延量）の異なる値が対応付けられてもよい。例えば、同じ聴覚調整パラメータ（例えば、発生遅延量）について、ある操作内容（第１操作内容）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの値が、その他の操作内容（第１操作内容と異なる第２操作内容）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの値と異なっていてもよい。

また、例えば、異なる操作内容のそれぞれに異なる種別の聴覚調整パラメータ（例えば、発生遅延量と停止遅延量）が対応付けられてもよい。例えば、ある操作内容（第１操作内容）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの種別（例えば、発生遅延量）が、その他の操作内容（第１操作内容と異なる第２操作内容）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの種別（例えば、停止遅延量）と異なっていてもよい。

また、操作内容と、当該操作内容に対応付けられる聴覚調整情報に基づく聴覚情報によって提示される擬似触覚とに、相関があってもよい。例えば、操作装置１０１に対する操作時間が長い操作内容ほど、大きな擬似触覚（大きな、重さ感）に対応する聴覚調整情報が対応付けられてもよい。例えば、操作装置１０１に対する操作時間が長い操作内容ほど、発生遅延量および／または停止遅延量および／または継続量および／または聴覚情報の音量が大きな聴覚調整情報が対応付けられてもよい。その他、操作回数が異なる複数の操作内容を記憶部１９に格納しておく場合、操作装置１０１に対する操作回数が多いほど、大きな擬似触覚に対応する聴覚調整情報が対応付けられてもよい。例えば、操作装置１０１に対する操作回数が多いほど、発生遅延量および／または停止遅延量および／または継続量および／または聴覚情報の音量が大きな聴覚調整情報が対応付けられてもよい。

また、操作装置１０１に対して身体部位の動作に基づく操作が行われると、その操作内容を表す操作情報Oが操作装置１０１から出力される。そのような操作情報Oのうち特定の操作内容（例えば、長時間行われる押し下げ操作）を表す操作情報のみを前述の操作情報O_in（身体部位の動作に基づく操作情報）として扱う。この特定の操作内容は、記憶部１９の対応付け情報に格納しておく複数の操作内容の何れかであってもよいし、それ以外であってもよい。

以上の前提のもと、図１および図６を用いて第２実施形態の処理を説明する。
利用者１００が身体部位を用いて操作装置１０１に対する操作を行うと、その操作内容を表す操作情報Oが入力部１４に送られ、さらに操作検出部１５に送られる。操作検出部１５は、入力された操作情報Oを聴覚調整情報生成部２７に送る（ステップＳ２６１）。

その後、聴覚調整情報生成部１１が第１実施形態で説明したステップＳ１１の処理を実行する。

聴覚調整情報生成部２７には操作情報Oが入力される。聴覚調整情報生成部２７は、記憶部１９の対応付け情報を参照し、操作情報Oが表す操作内容（例えば、１回だけ短時間行われる押し下げ操作）に対応付けられた聴覚調整情報を抽出し、これを聴覚調整情報Aとして提示信号生成部１２に送る（ステップＳ２７２’）。

それ以降のステップＳ１２，Ｓ１５’，Ｓ１２２’の処理は第１実施形態の変形例２で説明した通りである。

＜第２実施形態の特徴＞
このようにしても第１実施形態と同じ効果を得ることができる。さらに、操作内容に基づく聴覚調整情報を用いて聴覚情報を生成することで、操作内容に応じた疑似触覚を提示することができる。

例えば、記憶部１９の対応付け情報において、異なる操作内容のそれぞれに同じ聴覚調整パラメータの異なる値が対応付けておいた場合、操作内容が第１操作内容のときの聴覚調整パラメータの値を、操作内容が第１操作内容と異なる第２操作内容のときの聴覚調整パラメータの値と相違させることができる。これにより、操作内容が第１操作内容であるか第２操作内容によって、異なる疑似触覚を提示することができる。

例えば、記憶部１９の対応付け情報において、異なる操作内容のそれぞれに異なる種別の聴覚調整パラメータを対応付けておいた場合、操作内容が第１操作内容のときの聴覚調整パラメータの種別を、操作内容が第１操作内容と異なる第２操作内容のときの聴覚調整パラメータの種別と異ならせることができる。これにより、操作内容が第１操作内容であるか第２操作内容によって、異なる疑似触覚を提示することができる。

また、記憶部１９の対応付け情報における、操作内容と、当該操作内容に対応付けられる聴覚調整情報に基づく聴覚情報によって提示される擬似触覚とに相関がある場合、操作内容に相関のある擬似触覚を提示することができる。

［第２実施形態の変形例１］
記憶部１９の対応付け情報に格納される操作内容が、図示していない操作装置１０１以外の第２操作装置に対して行われる身体部位の動作に基づく操作内容の場合、第２操作装置に対して身体部位の動作に基づく操作が行われると、その操作内容を表す操作情報Oが第２操作装置から出力される。また、操作装置１０１に対して身体部位の動作に基づく操作が行われると、その操作内容を表す操作情報O_inが操作装置１０１から出力される。操作情報Oおよび操作情報O_inはそれぞれ入力部１４に送られ、さらに操作検出部１５に送られる。それ以外の処理は第２実施形態と同じである。

［第２実施形態の変形例２］
第２実施形態または第２実施形態の変形例１において、図６に示すように、操作装置１０１への操作が行われる前に、聴覚調整情報Aが生成され（ステップＳ２７２’）、初期聴覚情報が提示され（ステップＳ１２１）、操作装置１０１への操作が行われた後に聴覚調整情報Aに基づく聴覚情報が提示されてもよい（ステップＳ１２２’）。なお、聴覚調整情報Aに基づく聴覚情報が提示されるまで、初期聴覚情報の提示が継続される。

［第３実施形態］
本実施形態は第１実施形態の変形例であり、操作状態に基づく聴覚調整情報を用いて聴覚情報を生成する点が第１実施形態と相違する。

＜構成＞
図１に例示するように、本実施形態の擬似触覚提示装置３は、聴覚調整情報生成部１１、提示信号生成部１２、出力部１３、入力部１４、操作検出部１５、状態検出部３６、聴覚調整情報生成部３７、制御部１８、および記憶部１９を有し、制御部１８の制御に基づいて各処理を実行する。擬似触覚提示装置３のハードウェア構成については後述する。擬似触覚提示装置３の入力部１４には、有線または無線で操作装置１０１が接続されている。擬似触覚提示装置３の出力部１３には、有線または無線で聴覚情報提示装置１０２が接続されている。前述のように、操作装置１０１および聴覚情報提示装置１０２はどのようなものであってもよいが、本実施形態では、操作装置１０１がタッチパネルである場合を例示する。

＜処理＞
本実施形態では、前処理として、複数の操作状態と、当該操作状態のそれぞれに対応する聴覚調整情報と、を対応付けた対応付け情報（例えば、テーブル）を記憶部１９に格納しておく。対応付け情報に格納される操作状態は、操作装置１０１に対して行われる身体部位の動作に基づく操作状態であってもよいし、図示していない操作装置１０１以外の操作装置（第２操作装置）に対して行われる身体部位の動作に基づく操作状態であってもよい。本実施形態では、説明の簡略化のため、操作装置１０１に対して行われる身体部位の動作に基づく操作状態を記憶部１９に格納しておく例を説明する。しかし、これは本発明を限定するものではない。

記憶部１９に格納しておく複数の操作状態はどのようなものであってもよい。例えば、操作装置１０１に対する操作の速さおよび／または強さが異なる複数の操作状態を記憶部１９に格納しておいてもよい。例えば、操作装置１０１がタッチパネルである場合、「ゆっくりとした操作状態」「素早い操作状態」「強い力の操作状態」「弱い力の操作状態」などの操作状態を記憶しておく。ただし、これは本発明を限定するものではない。

例えば、異なる操作状態のそれぞれに同じ聴覚調整パラメータ（例えば、発生遅延量）の異なる値が対応付けられてもよい。例えば、同じ聴覚調整パラメータ（例えば、発生遅延量）について、ある操作状態（第１操作状態）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの値が、その他の操作状態（第１操作状態と異なる第２操作状態）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの値と異なっていてもよい。

また、例えば、異なる操作状態のそれぞれに異なる聴覚調整パラメータ（例えば、発生遅延量と停止遅延量）が対応付けられてもよい。例えば、ある操作状態（第１操作状態）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの種別（例えば、発生遅延量）が、その他の操作状態（第１操作状態と異なる第２操作状態）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの種別（例えば、停止遅延量）と異なっていてもよい。

また、操作状態と、当該操作状態に対応付けられる聴覚調整情報に基づく聴覚情報によって提示される擬似触覚とに、相関があってもよい。例えば、ゆっくりとした操作状態であるほど、大きな擬似触覚（大きな、重さ感）に対応する聴覚調整情報が対応付けられてもよい。例えば、ゆっくりとした操作状態であるほど、発生遅延量および／または停止遅延量および／または継続量および／または聴覚情報の音量が大きな聴覚調整情報が対応付けられてもよい。その他、強い力の操作状態であるほど、大きな擬似触覚に対応する聴覚調整情報が対応付けられてもよい。例えば、強い力の操作状態であるほど、発生遅延量および／または停止遅延量および／または継続量および／または聴覚情報の音量が大きな聴覚調整情報が対応付けられてもよい。

また、操作装置１０１に対して身体部位の動作に基づく操作が行われると、その操作内容および操作状態を表す操作情報Oが操作装置１０１から出力される。そのような操作情報Oのうち特定の操作内容（例えば、長押し）を表す操作情報のみを前述の操作情報O_in（身体部位の動作に基づく操作情報）として扱う。

以上の前提のもと、図１および図５を用いて第３実施形態の処理を説明する。
まず、第１実施形態で説明したステップＳ１１の処理の後、ステップＳ１５の処理が行われる。ただし、本実施形態で例示する操作装置１０１は物理キーであり、利用者１００は指で操作装置１０１への操作（本実施形態の例ではタッチ操作）を行うことができる。操作装置１０１に対して身体部位の動作に基づく操作が行われると、その操作内容および操作状態を表す操作情報Oが操作装置１０１から出力される。操作装置１０１から出力された操作情報Oは、擬似触覚提示装置１の入力部１４に入力され、操作検出部１５に送られる。操作情報O_in（特定の操作内容を表す操作情報O）の入力の有無を監視している。ステップＳ１５において、操作情報O_inが入力されていないと判断された場合、操作検出部１５は操作情報O_inの入力の有無の監視を継続する。一方、操作情報O_inが入力されたと判断された場合、操作検出部１５は、操作情報O_inが入力された旨を示すトリガー信号Tを聴覚調整情報生成部３７に送り、操作情報Oを状態検出部３６に送る。

操作情報Oが入力された状態検出部３６は、操作情報Oが表す操作状態を抽出し、当該操作状態を表す情報Cを聴覚調整情報生成部３７に送る（ステップＳ３６１）。

聴覚調整情報生成部３７は、記憶部１９の対応付け情報を参照し、入力された情報Cが表す操作状態（例えば、ゆっくりとした操作状態）に対応付けられた聴覚調整情報を抽出し、これを聴覚調整情報Aとして提示信号生成部１２に送る（ステップＳ３７２）。

それ以降のステップＳ１２２の処理は第１実施形態で説明した通りである。

＜第３実施形態の特徴＞
このようにしても第１実施形態と同じ効果を得ることができる。さらに、操作状態に基づく聴覚調整情報を用いて聴覚情報を生成することで、操作状態に応じた疑似触覚を提示することができる。

例えば、記憶部１９の対応付け情報において、異なる操作状態のそれぞれに同じ聴覚調整パラメータの異なる値が対応付けておいた場合、操作状態が第１操作状態のときの聴覚調整パラメータの値を、操作状態が第１操作状態と異なる第２操作状態のときの聴覚調整パラメータの値と相違させることができる。これにより、操作状態が第１操作状態であるか第２操作状態によって、異なる疑似触覚を提示することができる。

例えば、記憶部１９の対応付け情報において、異なる操作状態のそれぞれに異なる種別の聴覚調整パラメータを対応付けておいた場合、操作状態が第１操作状態のときの聴覚調整パラメータの種別を、操作状態が第１操作状態と異なる第２操作状態のときの聴覚調整パラメータの種別と異ならせることができる。これにより、操作状態が第１操作状態であるか第２操作状態によって、異なる疑似触覚を提示することができる。

また、記憶部１９の対応付け情報における、操作状態と、当該操作状態に対応付けられる聴覚調整情報に基づく聴覚情報によって提示される擬似触覚とに相関がある場合、操作状態に相関のある擬似触覚を提示することができる。

［第３実施形態の変形例１］
記憶部１９の対応付け情報に格納される操作状態が、図示していない操作装置１０１以外の第２操作装置に対して行われる身体部位の動作に基づく操作状態の場合、第２操作装置に対して身体部位の動作に基づく操作が行われると、その操作状態を表す操作情報Oが第２操作装置から出力される。また、操作装置１０１に対して身体部位の動作に基づく操作が行われると、その操作状態を表す操作情報O_inが操作装置１０１から出力される。操作情報Oおよび操作情報O_inはそれぞれ入力部１４に送られ、さらに操作検出部１５に送られる。それ以外の処理は第３実施形態と同じである。

［第３実施形態の変形例２］
第３実施形態または第３実施形態の変形例１において、図５に示すように、操作装置１０１への操作が行われる前に初期聴覚情報が提示され（ステップＳ１２１）、操作装置１０１への操作が行われた後に聴覚調整情報Aに基づく聴覚情報が提示されてもよい（ステップＳ１２２）。なお、聴覚調整情報Aに基づく聴覚情報が提示されるまで、初期聴覚情報の提示が継続される。

［第４実施形態］
本実施形態は第１実施形態の変形例であり、対象装置の状態（装置状態）に基づく聴覚調整情報を用いて聴覚情報を生成する点が第１実施形態と相違する。

＜構成＞
図１に例示するように、本実施形態の擬似触覚提示装置４は、聴覚調整情報生成部１１、提示信号生成部１２、出力部１３、入力部１４、操作検出部１５、状態検出部４６、聴覚調整情報生成部４７、制御部１８、および記憶部１９を有し、制御部１８の制御に基づいて各処理を実行する。擬似触覚提示装置４のハードウェア構成については後述する。擬似触覚提示装置４の入力部１４には、有線または無線で操作装置１０１が接続されている。擬似触覚提示装置４の出力部１３には、有線または無線で聴覚情報提示装置１０２が接続されている。前述のように、操作装置１０１および聴覚情報提示装置１０２はどのようなものであってもよいが、本実施形態では、操作装置１０１が利用者１００の指で押し込み操作される物理キー（例えば、リモートコントローラのボタン）である場合を例にとって説明する。

＜処理＞
本実施形態では、前処理として、複数の装置状態（対象装置の状態）と、当該装置状態のそれぞれに対応する聴覚調整情報と、を対応付けた対応付け情報（例えば、テーブル）を記憶部１９に格納しておく。対象装置は、擬似触覚提示装置４であってもよいし、擬似触覚提示装置４を含む装置（例えば、操作装置１０１である物理キーを持つリモートコントローラ）であってもよいし、擬似触覚提示装置４の外部の装置であってもよい。また、対象装置は、擬似触覚提示装置４の機能と相関関係のある機能を持つ装置であってもよいし、擬似触覚提示装置４の機能と相関関係のない機能を持つ装置であってもよい。

記憶部１９に格納しておく複数の装置状態はどのようなものであってもよい。例えば、機能状態および／または環境が異なる複数の装置状態を記憶部１９に格納しておいてもよい。例えば、当該装置がボタンを押すたびに音量を上げる機能を持つリモートコントローラである場合、「音量の大きさ」や「気温」などの装置状態を記憶しておく。ただし、これは本発明を限定するものではない。

複数の装置状態のそれぞれに対応付けられる聴覚調整情報は、どのようなものであってもよい。ただし、複数の装置状態それぞれに対応付けられる聴覚調整情報はすべてが同一ではなく、少なくとも何れかの聴覚調整情報は互いに相違している。

例えば、異なる装置状態のそれぞれに同じ聴覚調整パラメータ（例えば、発生遅延量）の異なる値が対応付けられてもよい。例えば、同じ聴覚調整パラメータ（例えば、発生遅延量）について、ある装置状態（第１状態）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの値が、その他の装置状態（第１状態と異なる第２状態）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの値と異なっていてもよい。

また、例えば、異なる装置状態のそれぞれに異なる聴覚調整パラメータ（例えば、発生遅延量と停止遅延量）が対応付けられてもよい。例えば、ある装置状態（第１状態）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの種別（例えば、発生遅延量）が、その他の装置状態（第１状態と異なる第２状態）に対応付けられる聴覚調整情報によって特定される聴覚調整パラメータの種別（例えば、停止遅延量）と異なっていてもよい。

また、装置状態と、当該装置状態に対応付けられる聴覚調整情報に基づく聴覚情報によって提示される擬似触覚とに、相関があってもよい。例えば、より遷移した機能状態（例えば、リモートコントローラのボタンが何度も押されて音量が大きくなっている機能状態）にある装置状態であるほど、大きな擬似触覚（大きな、重さ感）に対応する聴覚調整情報が対応付けられてもよい。例えば、より遷移した機能状態にある装置状態であるほど、発生遅延量および／または停止遅延量および／または継続量および／または聴覚情報の音量が大きな聴覚調整情報が対応付けられてもよいし、変化速度が小さな聴覚調整情報が対応付けられてもよい。その他、高い温度にある装置状態であるほど、大きな擬似触覚に対応する聴覚調整情報が対応付けられてもよい。例えば、高い温度にある装置状態であるほど、発生遅延量および／または停止遅延量および／または継続量および／または聴覚情報の音量が大きな聴覚調整情報が対応付けられてもよい。

以上の前提のもと、図１および図５を用いて第４実施形態の処理を説明する。
まず、第１実施形態で説明したステップＳ１１の処理の後、ステップＳ１５の処理が行われる。ただし、ステップＳ１５では、操作情報O_inが入力されていないと判断された場合、操作検出部１５は操作情報O_inの入力の有無の監視を継続する。一方、操作情報O_inが入力されたと判断された場合、操作検出部１５は、操作情報O_inが入力された旨を示すトリガー信号Tを聴覚調整情報生成部１７および状態検出部４６に送る。

トリガー信号Tが入力された状態検出部４６は、対象装置の装置状態を検出し、当該装置状態を表す情報Cを聴覚調整情報生成部４７に送る（ステップＳ４６１）。

聴覚調整情報生成部４７は、記憶部１９の対応付け情報を参照し、入力された情報Cが表す装置状態（例えば、音量の大きさ）に対応付けられた聴覚調整情報を抽出し、これを聴覚調整情報Aとして提示信号生成部１２に送る（ステップＳ４７２）。

＜第４実施形態の特徴＞
このようにしても第１実施形態と同じ効果を得ることができる。さらに、装置状態に基づく聴覚調整情報を用いて聴覚情報を生成することで、装置状態に応じた疑似触覚を提示することができる。

例えば、記憶部１９の対応付け情報において、異なる装置状態のそれぞれに同じ聴覚調整パラメータの異なる値が対応付けておいた場合、装置状態が第１状態のときの聴覚調整パラメータの値を、装置状態が第１状態と異なる第２状態のときの聴覚調整パラメータの値と相違させることができる。これにより、装置状態が第１状態であるか第２状態によって、異なる疑似触覚を提示することができる。

例えば、記憶部１９の対応付け情報において、異なる装置状態のそれぞれに異なる種別の聴覚調整パラメータを対応付けておいた場合、装置状態が第１状態のときの聴覚調整パラメータの種別を、装置状態が第１状態と異なる第２状態のときの聴覚調整パラメータの種別と異ならせることができる。これにより、装置状態が第１状態であるか第２状態によって、異なる疑似触覚を提示することができる。

また、記憶部１９の対応付け情報における、装置状態と、当該装置状態に対応付けられる聴覚調整情報に基づく聴覚情報によって提示される擬似触覚とに相関がある場合、装置状態に相関のある擬似触覚を提示することができる。

［第４実施形態の変形例１］
第４実施形態において、図５に示すように、操作装置１０１への操作が行われる前に初期聴覚情報が提示され（ステップＳ１２１）、操作装置１０１への操作が行われた後に聴覚調整情報Aに基づく聴覚情報が提示されてもよい（ステップＳ１２２）。なお、聴覚調整情報Aに基づく聴覚情報が提示されるまで、初期聴覚情報の提示が継続される。

［第４実施形態の変形例２］
擬似触覚提示装置に操作情報が入力される前に、装置状態を検出して聴覚調整情報Aが生成され、操作装置１０１への操作が行われた後に聴覚調整情報Aに基づく聴覚情報が提示されてもよい。

＜構成＞
第４実施形態と同じである。

＜処理＞
図６を用いて、本変形例の処理を説明する。
状態検出部４６は、対象装置の装置状態を検出し、当該装置状態を表す情報Cを聴覚調整情報生成部４７に送る（ステップＳ４６１）。

次に、第１実施形態で説明したステップ１１の処理が実行された後、聴覚調整情報生成部４７は、記憶部１９の対応付け情報を参照し、入力された情報Cが表す装置状態に対応付けられた聴覚調整情報を抽出し、これを聴覚調整情報Aとして提示信号生成部１２に送る（ステップＳ４７２’）。

［第４実施形態の変形例３］
第４実施形態の変形例２において、図６に示すように、操作装置１０１への操作が行われる前に初期聴覚情報が提示され（ステップＳ１２１）、操作装置１０１への操作が行われた後に聴覚調整情報Aに基づく聴覚情報が提示されてもよい（ステップＳ１２２’）。なお、聴覚調整情報Aに基づく聴覚情報が提示されるまで、初期聴覚情報の提示が継続される。

［第５実施形態］
第１から４実施形態およびそれらの変形例では、利用者１００の身体部位の動作に基づく操作情報が入力されたときに、聴覚調整情報に基づく聴覚情報を、利用者１００に提示した。しかしながら、利用者１００以外の人間、動物、動作装置（例えば、ロボット等）の動作に基づく操作情報が入力されたときに、聴覚調整情報に基づく聴覚情報を当該利用者１００に提示させてもよい。この場合であっても、利用者１００がその操作の様子を見ていれば、利用者１００は提示された聴覚情報から間接的な擬似触覚（例えば、「重そう」といった感覚）を知覚する。また、発生遅延量または停止遅延量または継続量または聴覚情報の音量の少なくともいずれかを制御することで、このような擬似触覚を変化させることもできる。

第５実施形態の第１から４実施形態およびそれらの変形例との相違点は、利用者１００の身体部位の動作に基づく操作情報が擬似触覚提示装置に入力されることに代え、利用者１００以外の人間または動物の身体部位の動作、または動作装置の部位の動作に基づく操作情報が擬似触覚提示装置に入力される点、利用者１００がその様子を見ている点のみである。その他は、第１から４実施形態およびそれらの変形例と同じである。

＜第５実施形態の特徴＞
このようにしても、第１から４実施形態およびそれらの変形例と同様の効果を得ることができる。ただし、利用者１００が知覚する擬似触覚は「重そう」といった間接的な擬似触覚となる。

［第６実施形態］
第５実施形態では、動作装置の動作に基づく操作情報が入力されたときに、聴覚調整情報に基づく聴覚情報を当該利用者１００に提示する例を示した。さらにこの変形例として、動作装置（例えば、クレーンゲームのクレーン）を動作させるための動作情報が出力されるときに、聴覚調整情報に基づく聴覚情報を当該利用者１００に提示してもよい。このような場合にも、利用者１００は、「重そう」といった間接的な擬似触覚を知覚する。また、発生遅延量または停止遅延量または継続量または聴覚情報の音量のうちの少なくともいずれかを制御することで、このような擬似触覚を変化させることができる。例えば、動作装置がクレーンゲームのクレーンである場合、当該クレーンが物を掴む際に利用者１００に提示される聴覚情報の発生遅延量または停止遅延量または継続量または聴覚情報の音量のうちの少なくともいずれかを制御することで、掴んだ物の重さや硬さが異なっているように知覚させることができる。ただし、この場合の発生遅延量は、動作情報が出力されてから聴覚情報の提示を開始するまでの時間に対応し、停止遅延量は、動作情報が出力されてから聴覚情報の提示を終了するまでの時間に対応する。

＜構成＞
図７に例示するように、本実施形態の擬似触覚提示装置６は、入力部１４および操作検出部１５に代え、出力部６４および動作制御部６５を備える。これ以外の擬似触覚提示装置６の構成は、第１から４実施形態の擬似触覚提示装置１から４の何れかと同一である。

擬似触覚提示装置６の出力部６４には、有線または無線で動作装置６０１が接続されている。動作装置６０１は動作を行う装置であればどのようなものであってもよい。例えば、動作装置６０１は、物体に力学的な作用を施す動きを行う装置である。動作装置６０１が当該物体に接触した状態で力学的な作用を施してもよいし、動作装置６０１が当該物体に非接触の状態で力学的な作用を施してもよい。物体に施す力学的な作用の例は、物体を掴む、挟む、持ち上げる、押す、引く、圧縮する、伸ばす、移動させる、分離する、結合するなどである。動作装置６０１の具体例は、ロボット、クレーンゲームのクレーンなどであるが、これらは本発明を限定するものではない。

＜処理＞
以下、第１から４実施形態およびそれらの変形例の処理との相違点を中心に本実施形態の処理を説明する
≪第１実施形態の処理との相違点≫
図５を用いて、第１実施形態の処理に基づく第６実施形態の処理を説明する。第１実施形態の処理に基づく場合、第６実施形態の処理は以下のようになる。

まず第１実施形態で説明したステップＳ１１の処理が実行される。

次にステップＳ１５に代えて、以下のステップＳ６５が実行される。動作制御部６５は動作装置６０１の動作を制御している。動作制御部６５が動作装置６０１を動作させるための動作情報O_outを出力していないときには、制御部６５は制御を継続する。一方、動作制御部６５は、任意のタイミング、予め定められたタイミング、または指定されたタイミングで、動作装置６０１を動作させるための動作情報O_outを生成して出力することができる。出力された動作情報O_outは、出力部６４に送られ、さらに動作装置６０１に送られる。動作装置６０１は、入力された動作情報O_outに基づく動作を行う。この際、利用者１００は、動作装置６０１の動作を見ているものとする。動作制御部６５は、動作情報O_outが出力された旨を示すトリガー信号Tを聴覚調整情報生成部１７に送る（ステップＳ６５）。

トリガー信号Tが聴覚調整情報生成部１７に送られると、聴覚調整情報生成部１７は、聴覚情報を制御するための聴覚調整情報Aを生成する（ステップＳ１７２）。第１実施形態との相違点は、(1)発生遅延量が、動作情報O_outが出力されてから聴覚情報の提示を開始するまでの時間に対応し、(2)停止遅延量が、操作情報O_inが入力されてから聴覚情報の提示を終了するまでの時間に対応する点である（以下、本実施形態において同じ）。

本実施形態の(1)発生遅延量の具体例は以下の通りである。
・動作情報O_outが出力部６４または動作制御部６５の何れかから出力されてから、聴覚情報の提示が開始されるまでの時間Ds1'
・時間Ds1'を特定可能な情報
発生遅延量の大きさに制限はないが、例えば、0-2000[ms]の間の何れかの時間Ds1'、または当該時間Ds1'を特定可能な情報を発生遅延量とすればよい。Ds1'=αであり、Ds1'=βであり、α＞βの場合、Ds1'=αのときに知覚される擬似触覚（例えば、重量感）の大きさは、Ds1'=βのときに知覚される擬似触覚の大きさよりも大きい。例えば、時間Ds1'が長いほど大きな擬似触覚を提示できる。

本実施形態の(2)停止遅延量の具体例は以下の通りである。
・動作情報O_outが出力部６４または動作制御部６５の何れかから出力されてから、聴覚情報の提示を終了するまでの時間De1'
・時間De1'を特定可能な情報
停止遅延量の大きさに制限はないが、例えば、0-2000[ms]の間の何れかの時間De1'、または当該時間De1'を特定可能な情報を停止遅延量とすればよい。ただし、Ds1'<De1'の関係を満たす。De1'=αであり、De1'=βであり、α＞βの場合、De1'=αのときに知覚される擬似触覚の大きさは、De1'=βのときに知覚される擬似触覚の大きさよりも大きい。例えば、時間De1'が長いほど大きな擬似触覚を提示できる。

なお、本実施形態の(3)継続量および(4)聴覚情報の音量は第１実施形態と同じである。

その後のステップＳ１２２の処理は第１実施形態で説明した通りである。

≪第１実施形態の変形例１の処理との相違点≫
図５を用いて、第１実施形態の変形例１の処理に基づく第６実施形態の処理を説明する。第１実施形態の変形例１の処理に基づく場合、第６実施形態の処理は以下のようになる。前述したステップＳ１１の処理の後、ステップＳ１２１の処理が実行される。その後、ステップＳ６５，Ｓ１７２，Ｓ１２２の処理が実行される。

≪第１実施形態の変形例２の処理との相違点≫
図６を用いて、第１実施形態の変形例２の処理に基づく第６実施形態の処理を説明する。第１実施形態の変形例２の処理に基づく場合、第６実施形態の処理は以下のようになる。

まず、第１実施形態の変形例２で説明したステップＳ１１、ステップＳ１７２’、およびステップＳ１２の処理が実行される。

次に第１実施形態の変形例２で説明したステップＳ１５’に代えて、以下のステップＳ６５’が実行される。
動作制御部６５は動作装置６０１の動作を制御している。動作制御部６５が動作装置６０１を動作させるための動作情報O_outを出力していないときには、制御部１８は制御を継続する。一方、動作制御部６５は、任意のタイミング、予め定められたタイミング、または指定されたタイミングで、動作装置６０１を動作させるための動作情報O_outを生成して出力することができる。出力された動作情報O_outは、出力部６４に送られ、さらに動作装置６０１に送られる。動作装置６０１は、入力された動作情報O_outに基づく動作を行う。この際、利用者１００は、動作装置６０１の動作を見ているものとする。動作制御部６５は、動作情報O_outが出力された旨を示すトリガー信号Tを提示信号生成部１２に送る（ステップＳ６５’）。

トリガー信号Tが提示信号生成部１２に送られた場合、第１実施形態の変形例２で説明したステップＳ１２２’の処理が実行される。

≪第１実施形態の変形例３の処理との相違点≫
図６を用いて、第１実施形態の変形例３の処理に基づく第６実施形態の処理を説明する。第１実施形態の変形例３の処理に基づく場合、第６実施形態の処理は以下のようになる。前述したステップＳ１１，Ｓ１７２’，Ｓ１２の処理の後、第１実施形態の変形例１で説明したステップＳ１２１の処理が実行される。その後、ステップＳ６５’，Ｓ１２２’の処理が実行される。

≪第２実施形態の変形例１の処理との相違点≫
図６を用いて、第２実施形態の変形例１の処理に基づく第６実施形態の処理を説明する。第２実施形態の変形例１の処理に基づく場合、第６実施形態の処理は以下のようになる。

まず第２実施形態で説明した前処理が実行される。これを前提とし、第２操作装置（図示せず）に対して身体部位に基づく動作に基づく操作が行われると、その操作内容を表す操作情報Oが第２操作装置から出力される。操作情報Oは聴覚調整情報生成部２７に送られる。なお、第２操作装置には、利用者１００の身体部位に基づく操作が行われてもよいし、利用者１００以外の人間や動物の身体部位に基づく動作に基づく操作が行われてもよい。第２操作装置の例は、動作装置６０１を制御するための操作装置（例えば、クレーンゲームのクレーンを操作するための操作装置）などである。この場合、操作情報Oは動作制御部６５にも送られ、動作制御部６５が操作情報Oに基づいて動作情報O_outを生成して出力してもよい（ステップＳ２６１）。

その後、第１実施形態で説明したステップＳ１１の処理、第２実施形態で説明したステップＳ２７２’の処理、第１実施形態の変形例２で説明したステップＳ１２の処理が実行される。その後、ステップＳ６５’の処理が実行される。トリガー信号Tが提示信号生成部１２に送られた場合、第１実施形態の変形例２で説明したステップＳ１２２’の処理が実行される。

≪第２実施形態の変形例２の処理との相違点≫
図６を用いて、第２実施形態の変形例２の処理に基づく第６実施形態の処理を説明する。第２実施形態の変形例２の処理に基づく場合、第６実施形態の処理は以下のようになる。図６に示すように、ステップＳ２６１，Ｓ１１の処理が実行され、動作装置６０１を動作させるための動作情報O_outが出力される前に聴覚調整情報Aが生成され（ステップＳ２７２’）、初期聴覚情報が提示され（ステップＳ１２１）、動作装置６０１を動作させるための動作情報O_outが出力された後に（ステップＳ６５’）、聴覚調整情報Aに基づく聴覚情報が提示されてもよい（ステップＳ１２２’）。なお、聴覚調整情報Aに基づく聴覚情報が提示されるまで、初期聴覚情報の提示が継続される。

≪第３実施形態の変形例１の処理との相違点≫
図５を用いて、第３実施形態の変形例１の処理に基づく第６実施形態の処理を説明する。第３実施形態の変形例１の処理に基づく場合、第６実施形態の処理は以下のようになる。

第３実施形態で説明した前処理が実行される。これを前提とし、第１実施形態で説明したステップＳ１１の処理の後、ステップＳ６５の処理が行われる。ただし、動作制御部６５から出力されたトリガー信号Tは聴覚調整情報生成部３７に送られる。

前述のように、第２操作装置（図示せず）に対して身体部位の動作に基づく操作が行われると、その操作内容および操作状態を表す操作情報Oが第２操作装置から出力される。なお、第２操作装置には、利用者１００の身体部位に基づく操作が行われてもよいし、利用者１００以外の人間や動物の身体部位に基づく動作に基づく操作が行われてもよい。第２操作装置の例は、動作装置６０１を制御するための操作装置（例えば、クレーンゲームのクレーンを操作するための操作装置）などである。この場合、操作情報Oは動作制御部６５にも送られ、動作制御部６５が操作情報Oに基づいて動作情報O_outを生成して出力してもよい

第２操作装置から出力された操作情報Oは状態検出部３６に入力され、第３実施形態で説明したステップＳ３６１，Ｓ３７２の処理、および第１実施形態で説明したステップＳ１２２の処理が実行される。

≪第３実施形態の変形例２の処理との相違点≫
図５を用いて、第１実施形態の変形例１の処理に基づく第６実施形態の処理を説明する。第１実施形態の変形例１の処理に基づく場合、第６実施形態の処理は以下のようになる。前述したステップＳ１１の処理の後、ステップＳ１２１の処理が実行される。その後、ステップＳ６５，Ｓ１７２，Ｓ１２２の処理が実行される。

≪第４実施形態の処理との相違点≫
図５を用いて、第４実施形態の処理に基づく第６実施形態の処理を説明する。第４実施形態の処理に基づく場合、第６実施形態の処理は以下のようになる。

第４実施形態で説明した前処理が実行される。これを前提とし、第１実施形態で説明したステップＳ１１の処理の後、ステップＳ６５の処理が行われる。ただし、動作制御部６５から出力されたトリガー信号Tは聴覚調整情報生成部４７および状態検出部４６に送られる。

トリガー信号Tが入力された状態検出部４６は、対象装置の装置状態を検出し、当該装置状態を表す情報Cを聴覚調整情報生成部４７に送る。前述のように、対象装置はどのようなものであってもよいが、対象装置の一例は動作装置６０１である（ステップＳ４６１）。

その後、第４実施形態で説明したステップＳ４７２の処理、および第１実施形態で説明したステップＳ１２２の処理が実行される。

≪第４実施形態の変形例１の処理との相違点≫
図５に示すように、動作装置６０１を動作させるための動作情報O_outが出力される前に初期聴覚情報が提示され（ステップＳ１２１）、動作装置６０１を動作させるための動作情報O_outが出力された後に（ステップＳ６５’）、聴覚調整情報Aに基づく聴覚情報が提示されてもよい（ステップＳ１２２）。なお、聴覚調整情報Aに基づく聴覚情報が提示されるまで、初期聴覚情報の提示が継続される。

≪第４実施形態の変形例２の処理との相違点≫
図６を用いて、第４実施形態の変形例２の処理に基づく第６実施形態の処理を説明する。第４実施形態の変形例２の処理に基づく場合、第６実施形態の処理は以下のようになる。

第４実施形態で説明した前処理が実行される。これを前提とし、状態検出部４６が、対象装置の装置状態を検出し、当該装置状態を表す情報Cを聴覚調整情報生成部４７に送る。前述のように、対象装置はどのようなものであってもよいが、対象装置の一例は動作装置６０１である（ステップＳ４６１）。

次に、第１実施形態で説明したステップ１１の処理、第４実施形態の変形例１で説明したステップＳ４７２’の処理、第１実施形態の変形例２で説明したステップＳ１２の処理が実行される。その後、上述のステップＳ６５’の処理が実行され、トリガー信号Tが提示信号生成部１２に送られた場合、第１実施形態の変形例２で説明したステップＳ１２２’の処理が実行される。

≪第４実施形態の変形例３の処理との相違点≫
図６を用いて、第４実施形態の変形例３の処理に基づく第６実施形態の処理を説明する。第４実施形態の変形例３の処理に基づく場合、第６実施形態の処理は以下のようになる。図６に示すように、ステップＳ４６１，Ｓ１１の処理が実行され、動作装置６０１を動作させるための動作情報O_outが出力される前に聴覚調整情報Aが生成され（ステップＳ４７２’）、提示指示信号が生成され（ステップＳ１２）、初期聴覚情報が提示され（ステップＳ１２１）、動作装置６０１を動作させるための動作情報O_outが出力された後に（ステップＳ６５’）、聴覚調整情報Aに基づく聴覚情報が提示される（ステップＳ１２２’）。なお、聴覚調整情報Aに基づく聴覚情報が提示されるまで、初期聴覚情報の提示が継続される。

＜第６実施形態の特徴＞
このようにしても、第１から４実施形態およびそれらの変形例と同様の効果を得ることができる。ただし、利用者１００が知覚する擬似触覚は「重そう」といった間接的な擬似触覚となる。

［ハードウェア構成］
各実施形態における擬似触覚提示装置１－４，６は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。すなわち、各実施形態における擬似触覚提示装置１－４，６は、例えば、それぞれが有する各部を実装するように構成された処理回路（processing circuitry）を有する。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。

図８は、各実施形態における擬似触覚提示装置１－４，６のハードウェア構成を例示したブロック図である。図８に例示するように、この例の擬似触覚提示装置１－４，６は、ＣＰＵ（Central Processing Unit）１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ（Random Access Memory）１０ｄ、ＲＯＭ（Read Only Memory）１０ｅ、補助記憶装置１０ｆ及びバス１０ｇを有している。この例のＣＰＵ１０ａは、制御部１０ａａ、演算部１０ａｂ及びレジスタ１０ａｃを有し、レジスタ１０ａｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１０ｂは、データが入力される入力端子、キーボード、マウス、タッチパネル等である。また、出力部１０ｃは、データが出力される出力端子、ディスプレイ、所定のプログラムを読み込んだＣＰＵ１０ａによって制御されるＬＡＮカード等である。また、ＲＡＭ１０ｄは、ＳＲＡＭ (Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等であり、所定のプログラムが格納されるプログラム領域１０ｄａ及び各種データが格納されるデータ領域１０ｄｂを有している。また、補助記憶装置１０ｆは、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、所定のプログラムが格納されるプログラム領域１０ｆａ及び各種データが格納されるデータ領域１０ｆｂを有している。また、バス１０ｇは、ＣＰＵ１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ１０ｄ、ＲＯＭ１０ｅ及び補助記憶装置１０ｆを、情報のやり取りが可能なように接続する。ＣＰＵ１０ａは、読み込まれたＯＳ（Operating System）プログラムに従い、補助記憶装置１０ｆのプログラム領域１０ｆａに格納されているプログラムをＲＡＭ１０ｄのプログラム領域１０ｄａに書き込む。同様にＣＰＵ１０ａは、補助記憶装置１０ｆのデータ領域１０ｆｂに格納されている各種データを、ＲＡＭ１０ｄのデータ領域１０ｄｂに書き込む。そして、このプログラムやデータが書き込まれたＲＡＭ１０ｄ上のアドレスがＣＰＵ１０ａのレジスタ１０ａｃに格納される。ＣＰＵ１０ａの制御部１０ａａは、レジスタ１０ａｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１０ｄ上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１０ａｂに順次実行させ、その演算結果をレジスタ１０ａｃに格納していく。このような構成により、擬似触覚提示装置１－４，６の機能構成が実現される。

上述のプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。上述のように、このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

［その他の変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の実施形態では、擬似触覚提示装置１－４の外部に操作装置１０１および聴覚情報提示装置１０２が設けられていた。しかしながら、擬似触覚提示装置１－４に操作装置１０１が設けられていてもよいし、擬似触覚提示装置１－４に聴覚情報提示装置１０２が設けられていてもよい。同様に、擬似触覚提示装置６に動作装置６０１が設けられていてもよいし、擬似触覚提示装置６に聴覚情報提示装置１０２が設けられていてもよい。

また、上述の実施形態では、操作装置１０１が物理キーやタッチパネルである場合を例にとって説明した。しかしながら、これは一例であって、利用者１００や利用者以外の人間や動物の身体部位（例えば、手、指、足、頭部、顔、眼など）または動作装置の動作に基づく操作を検知し、当該操作があったことを表す操作情報（動作に基づく操作情報）を出力するものであれば、どのような装置を操作装置１０１として用いてもよい。例えば、キーボードなどの物理キーやタッチパネルの他、プルタブ、つまみ、フェーダー、マウス、ペダルなどを操作装置１０１として用いてもよい。これらによる動作に基づく操作としては、押し下げ、引き込み、回転、スライド、ドラッグ、クリック、スワイプ、ピンチ、足踏みなどを例示できる。その他、カメラや静電センサなどを用いたタッチ検出技術によってテーブルや床などの物理的な面への接触を検知することで、仮想的な押し下げ、引き込み、ドラッグ、クリック、スワイプ、ピンチ、足踏みなどを検知する装置を操作装置１０１として用いてもよい。また、上述の実施形態では、利用者１００の身体部位が物体に接触した状態で行われる操作を検知する操作装置１０１を用いる場合を例示したが、これは本発明を限定するものではない。すなわち、身体部位または動作装置の部位が物体に接触することなく、当該身体部位または動作装置の部位の動作に基づく操作を検知し、当該操作があったことを表す操作情報（動作に基づく操作情報）を出力する操作装置１０１が用いられてもよい。例えば、手を振る、うなずく、眼球を動かす、瞬きをするなどの身体部位の動作による操作や、掴む、移動する、回転するなどの動作装置の部位の動作による操作を検知する装置を操作装置１０１として用いてもよい。このような操作装置１０１の例は、加速度センサやジャイロセンサなどのモーションセンサで身体部位の動きをトラッキングする装置、角膜反射法、暗瞳孔法、ステレオ画像法などの公知のアイトラッキング技術によって眼の動きを検知するアイトラッカーなどである。例えば、利用者１００の身体部位の動作に基づく操作情報は、利用者１００の意図（例えば、何かしらのON/OFFの意図）が表れている身体部位の動作に基づく操作を検知し、当該操作があったことを表す操作情報（身体部位の動作に基づく操作情報）を出力するものであれば、どのような装置を操作装置１０１として用いてもよい。

また、上述の実施形態では、聴覚情報が純音である場合を例にとって説明した。しかしながら、これは一例であって、本発明を限定するものではない。すなわち、聴覚情報はヒトの聴覚で捉えられる音響情報であればどのようなものであってもよい。例えば、純音の他、純音以外の音（自然音、音楽、音声、アラーム音、ノイズ音、機械音など）が聴覚情報であってもよい。また、聴覚情報は単一周波数の音であってもよいし、複数周波数の音を含む音でいてもよい。

また、上述の実施形態では、聴覚情報提示装置１０２がスピーカーである場合を例にとって説明した。しかしながら、これは一例であって、本発明を限定するものではない。すなわち、聴覚情報を提示（出力）する装置であれば、どのような装置を聴覚情報提示装置１０２として用いてもよい。例えば、スピーカーの他、骨伝導スピーカー、アラーム装置、提示信号に基づく自動演奏が可能な楽器、提示信号に基づいて自動で鳴らすことが可能なベル、提示信号に基づいて機械音と発する装置など聴覚情報提示装置１０２として用いてもよい。

聴覚情報提示装置１０２と操作装置１０１との空間的位置関係に制約はない。例えば、聴覚情報提示装置１０２は、物理キー、つまみ、フェーダーなどといった操作装置１０１に備え付けられたスピーカーなどであってもよいし、タッチパネルのような操作装置１０１と一体構成されたものであってもよいし、操作装置１０１と物理的に独立したスピーカーなどであってもよいし、テーブルなどの面を振動させて音を発する装置であってもよい。

聴覚情報提示装置１０２は、操作装置１０１の操作位置に対応する位置に聴覚情報を提示してもよいし、当該操作位置とは無相関の位置に聴覚情報を提示してもよい。例えば、操作装置１０１および聴覚情報提示装置１０２がタッチパネルである場合、指によるタッチパネルの接触位置またはその位置や操作と対応関係のあるタッチパネルの位置で聴覚情報を提示してもよいし、接触位置とは無相関な位置で聴覚情報を提示してもよい。その他、例えば、操作装置１０１が物理キーである場合、聴覚情報提示装置１０２は当該物理キーに設けられたスピーカーなどであってもよいし、当該物理キーと独立したスピーカーなどであってもよい。

また、上述した擬似触覚を知覚させる以外の機能について、操作装置１０１と聴覚情報提示装置１０２とが連動していてもよいし、連動していなくてもよい。例えば、操作装置１０１がリモートコントローラの操作ボタン（物理キー）である場合に、聴覚情報提示装置１０２が当該リモートコントローラによる操作内容に伴う音を発するスピーカーなどであってもよいし、聴覚情報提示装置１０２が当該リモートコントローラと無関係なスピーカーなどであってもよい。

また、発生遅延量または停止遅延量または継続量または聴覚情報の音量の少なくも何れかに基づいて提示する聴覚情報を制御するとともに、この聴覚情報の周波数を制御することで擬似触覚を提示してもよい。前述のように、他の条件が同じである場合、擬似触覚の周波数が低いほど重さ感などの擬似触覚が大きくなり、擬似触覚の周波数が高いほど重さ感などの擬似触覚が小さくなる。

また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

１－４，６擬似触覚提示装置
１２提示信号生成部
３６，４６状態検出部
１７，２７，３７，４７聴覚調整情報生成部
１０１操作装置
６０１動作装置
１０２聴覚情報提示装置

Claims

動作に基づく操作情報が入力されたときに、聴覚調整情報に基づく聴覚情報を提示するための提示信号を生成する提示信号生成部を有し、
前記聴覚調整情報は、
前記操作情報が入力されてから前記聴覚情報の提示を開始するまでの時間に対応する発生遅延量、または、
前記操作情報が入力されてから前記聴覚情報の提示を終了するまでの時間に対応する停止遅延量、のうちの少なくともいずれか１つである聴覚調整パラメータを制御するための情報であり、
前記聴覚調整パラメータは所望の擬似触覚に対応し、
少なくとも前記発生遅延量が前記聴覚調整パラメータであり、第１時間が第２時間よりも大きく、前記操作情報が入力されてから前記聴覚情報の提示を開始するまでの時間が前記第１時間であるときに呈示される前記擬似触覚が、前記操作情報が入力されてから前記聴覚情報の提示を開始するまでの時間が前記第２時間であるときに呈示される前記擬似触覚よりも大きいか、または、
少なくとも前記停止遅延量が前記聴覚調整パラメータである、擬似触覚提示装置。
動作装置を動作させるための動作情報が出力されるときに、聴覚調整情報に基づく聴覚情報を提示するための提示信号を生成する提示信号生成部を有し、
前記聴覚調整情報は、
前記動作情報が出力されてから前記聴覚情報の提示を開始するまでの時間に対応する発生遅延量、または、
前記動作情報が出力されてから前記聴覚情報の提示を終了するまでの時間に対応する停止遅延量、のうちの少なくともいずれか１つである聴覚調整パラメータを制御するための情報であり、
前記聴覚調整パラメータは所望の擬似触覚に対応し、
少なくとも前記発生遅延量が前記聴覚調整パラメータであり、第１時間が第２時間よりも大きく、前記動作情報が出力されてから前記聴覚情報の提示を開始するまでの時間が前記第１時間であるときに呈示される前記擬似触覚が、前記動作情報が出力されてから前記聴覚情報の提示を開始するまでの時間が前記第２時間であるときに呈示される前記擬似触覚よりも大きいか、または、
少なくとも前記停止遅延量が前記聴覚調整パラメータである、擬似触覚提示装置。
請求項１または２の擬似触覚提示装置であって、
前記聴覚調整情報は、操作内容に基づく情報であり、
前記操作内容が第１操作内容のときの前記聴覚調整パラメータの値は、前記操作内容が前記第１操作内容と異なる第２操作内容のときの前記聴覚調整パラメータの値と異なる、および／または、前記操作内容が前記第１操作内容のときの前記聴覚調整パラメータの種別は、前記操作内容が前記第２操作内容のときの前記聴覚調整パラメータの種別と異なる、擬似触覚提示装置。
請求項１から３の何れかの擬似触覚提示装置であって、
前記聴覚調整情報は、操作状態に基づく情報であり、
前記操作状態が第１操作状態のときの前記聴覚調整パラメータの値は、前記操作状態が前記第１操作状態と異なる第２操作状態のときの前記聴覚調整パラメータの値と異なる、および／または、前記操作状態が前記第１操作状態のときの前記聴覚調整パラメータの種別は、前記操作状態が前記第２操作状態のときの前記聴覚調整パラメータの種別と異なる、擬似触覚提示装置。
請求項１から４の何れかの擬似触覚提示装置であって、
前記聴覚調整情報は、装置状態に基づく情報であり、
前記装置状態が第１状態のときの前記聴覚調整パラメータの値は、前記装置状態が前記第１状態と異なる第２状態のときの前記聴覚調整パラメータの値と異なる、および／または、前記装置状態が前記第１状態のときの前記聴覚調整パラメータの種別は、前記装置状態が前記第２状態のときの前記聴覚調整パラメータの種別と異なる、擬似触覚提示装置。
請求項１から５の何れかの擬似触覚提示装置の提示信号生成部によって実行される処理ステップを有する擬似触覚提示方法。
請求項１から５の何れかの擬似触覚提示装置としてコンピュータを機能させるためのプログラム。