JP4675324B2

JP4675324B2 - 力覚提示装置、力覚提示方法および力覚提示プログラム

Info

Publication number: JP4675324B2
Application number: JP2006529161A
Authority: JP
Inventors: 由里子鈴木; 稔小林; 克彦小川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-07-15
Filing date: 2005-07-14
Publication date: 2011-04-20
Anticipated expiration: 2025-07-14
Also published as: JPWO2006006686A1; WO2006006686A1; US7889170B2; EP1768011A1; US20070085820A1; EP1768011B1; EP1768011A4

Description

本発明は、噴出空気等に受容体をかざすことによりその受容体に力覚を与えて操作者に力覚提示を行う力覚提示技術に関するものである。

また、本発明は、バーチャルリアリティの技術と上記力覚提示技術とを利用し、仮想オブジェクトを楽器に見立て、操作者が操作感を伴って演奏ができるようにした力覚提示技術に関するものである。

気体の噴出圧力を利用して操作者に力覚を提示する力覚提示装置が提案されている（例えば、特許文献１〜３、非特許文献１、２参照）。この力覚提示装置によれば、操作者の操作をバーチャルリアリティと組み合わせることで、仮想空間内に表示した仮想オブジェクトを変化もしくは変形させたり移動させたりすることに加えて、仮想オブジェクトの動きに連動した力覚を操作者に提示することも可能となる。
特開２００１−２２４９９号公報特開２００３−２５６１０５号公報特開２００４−１５７６７７号公報鈴木由里子著、「風圧によるUntethered 力覚提示インターフェース：３次元オブジェクトの表現」、電子情報通信学会マルチメディア・仮想環境基礎研究会（MVE)、７１−７６頁、２００３年７月鈴木由里子著、"Untethered Force Feedback Interface That Uses Air Jets",SIGGRAPH2004 website,2004-06、http://www.siggraph.org/ s2004/conference/etech/untethered.php?=conference（平成１６年７月９日検索） Maggie Orth, "Interface to architecture : integrating techno logy into the environment in the Brain Opera", Proceedings of the conference on Designing interactive systems : processes, practices, methods, and techniques, Symposium on Designing Interactive Systems, Amsterdam, the Netherlands, Pages : 266-275, 1997 (ISMN: 0-89719-836-0) ACM Press New York, NY, USA

上記の力覚提示装置において、噴出口が並ぶ面上で受容体を移動させ、受容体の位置に応じて受容体直下やその周辺の噴出口からの噴出を制御することで、提示する力覚の程度を変化させることができる。

しかし、例えば噴出口設置間隔が広すぎる場合、受容体で受けた圧力、つまり力覚提示が十分でない場合がある。このような観点から、適切な噴出口設置間隔を決定し、安定して受容体を持つ操作者に力覚を提示することが求められている。

ところで、一般的に楽器を演奏するためには、音の属性（音色、音階、音量、強さ、高さ、発生タイミング、発生期間、発生回数など）の違いを表現、操作する必要がある。一般の楽器の多くは、音を発生させるための物理的な構造をもち、その物理的構造に対応した操作によって音を発生させることができる。従って、音を発生させるための物理的な構造と操作とが一体化している。コンピュータを用いることで、音の操作内容を自由に割り当てることが可能となっている。例えば、ＭＩＴ（マサチューセッツ工科大学）メディア研究所のドットマコーバー教授によるハイパー・インストゥルメント（デジタル技術とセンサー技術による電子音楽器）が有名である。この電子音楽器を用いることにより、ジェスチャーによって音楽を演奏することができる（例えば、非特許文献３参照）。これによれば、自由な構成の楽器を創作することができ、新しい芸術の形態又は児童による学習の面で有効である。

しかし、上記のようなコンピュータを用いた楽器では、音の操作を自由に割り当てることは可能であるが、個々に楽器を作らなければならず、容易に楽器のデザインを変更することができない。また、演奏中に楽器の形状、位置、動きなどを変化させるようなインタラクティブな自由度がなかった。

一方、操作者の動きをコンピュータグラフィックに反映させる画像もしくは音声などによるバーチャルリアリティ技術では、自由に形を作ること又はその形をインタラクティブに変化させることができ、それを利用すれば楽器の形を自由に変えることが可能となる。従って、音の操作の自由度がある。

しかし、そのような方法を使った場合、音を操作する感覚を、視覚的及び聴覚的に提示することはできるが、物理的なフィードバックによる力覚の提示を行うことはできず、人が力を使って音を制御するような感覚がないため、操作しにくい。

バーチャルリアリティの仮想物体に力覚フィードバックを加える技術としては、ワイヤあるいはアームを操作する方法又は装置を身体に装着する方法がある。しかし、これらは据付装置とつながっていることから、自由に手を動かすことができず、演奏のように自由に手を動かすことには向いていない。また、インタラクティブに変わるオブジェクトを表現するためのダイナミックな動きをもつオブジェクトからのフィードバックを安全に受け止めることが困難である。

本発明は上記の観点からなされたものであり、１つ以上の噴出口を持つ力覚提示装置において、安定して受容体を持つ操作者に力覚を提示することができるようにする技術を提供することを目的とする。

また、本発明の更なる目的は、自由に創作した仮想オブジェクトを楽器と見立てて、操作者がその楽器を力覚フィードバックを伴って演奏することができるようにする技術を提供することである。

上記の目的は、噴出口を有し、該噴出口から噴出する気体又は液体の噴出量又は噴出方向を制御可能な噴出手段と、
前記噴出手段から噴出される気体又は液体による圧力を受けて操作者に力覚を提示する受容体の、受容体計測手段によって計測された位置又は向きに応じて、前記気体又は液体の噴出量又は噴出方向を制御する噴出制御手段と、
を備えた力覚提示装置において、
前記受容体を直径Ｄの凹型かつ半球型とするとき、直径が０．８×Ｄの領域内に前記噴出口が少なくとも１つ存在するように、前記噴出手段における前記噴出口の設置間隔を０．８×Ｄ×３ ^1/2 ／２と設定し３角形状に並べたことを特徴とする力覚提示装置により解決できる。

また、前記力覚提示装置は更に、仮想オブジェクトを含む仮想空間を前記噴出手段上に表示する仮想空間表示手段と、前記受容体の位置あるいは向きに応じて、前記仮想空間表示手段で表示する仮想空間内の仮想オブジェクトの状態を算出する仮想オブジェクト算出手段とを有し、前記噴出口は、気体又は液体の噴出に応じて開閉する噴出口開閉手段を有してもよい。なお、該噴出口開閉手段の開閉の支点を操作者側に設けるように構成することもできる。

上記力覚提示装置において、前記受容体の位置あるいは向きに応じて、仮想空間表示手段で表示する仮想空間内の仮想オブジェクトの状態を算出する仮想オブジェクト算出手段を有してもよい。また、更に、前記仮想オブジェクトの状態又は前記受容体の位置あるいは向きに応じて、音発生手段で発生する音の属性を制御する音発生制御手段とを有してもよい。

本発明によれば、直径Ｄの凹型の受容体に対して、直径が定数×Ｄの領域内に少なくとも１つの噴出口が位置するように、噴出口の設置間隔を設定したので、受容体は噴出口からの噴出を十分な圧力を持って受け止めることができ、安定した力覚提示を行うことができる。

また、本発明によれば、仮想オブジェクトの状態又は受容体の位置あるいは向きによって空気等の噴出量又は噴出方向が制御されるとともに、音発生手段で発生する音の属性が制御され、さらに仮想オブジェクトは空気等の圧力をうける受容体の位置あるいは方向に応じて算出されるので、仮想オブジェクトによって楽器を定義し、操作者が受容体を演奏の操作棒として使用すれば、その受容体の位置あるいは向きに応じて、仮想的オブジェクトを使用した演奏を実現できる。そのとき、受容体により力覚による物理的フィードバックを伴なわせることができる。

また、噴出空気等を用いた力覚のフィードバックを与えることで、力を使って音を制御する（強くたたく、弱く触れる等）従来の楽器と同様の操作感を体験できる。このとき、操作者は、力を提示する装置の装着の必要がなく、また力を伝えるための据付装置とつながったアーム又はワイヤを持ったり取り付ける必要がないため、力を発生させる噴出装置と物理的につながらなくてもよい。従って、動きを妨げられることがない。これによって、操作者は装置に物理的に拘束されることなく、自由に手などの身体を動かして演奏することができる。

さらに、力覚提示に空気等を使用するので、インタラクティブに変わる仮想オブジェクトを表現するためのダイナミックな動きをもつオブジェクトにおいて、それらの物体の動きを表すために受容体を素早く制御しても、利用者に過度の負荷を加えることが全くなく、安全に力覚提示を行うことができる。また、空気を使用すれば、透明であるため映像表示を邪魔しない。

さらに、噴出口に噴出口開閉手段を設けることにより、噴出手段の領域に仮想空間映像を投影させ、あるいはヘッドマウントディスプレイで透視する際に、噴出していない噴出口を閉じて、噴出口が映像内に入ることを防止することができる。そして、その噴出口開閉手段の開閉の支点を操作者側に設けることにより、その噴出口が操作者から見え難くなる。

以下、本発明の実施例について図面を参照して説明する。

図１は実施例１の力覚提示装置の構成図、図２は受容体と噴出部と操作者との関係の説明図、図３は力覚提示装置の動作フローチャートである。

図１に示すように、本実施例の力覚提示装置は、受容体計測部２、仮想空間表示部４、噴出部６、音発生部８に接続され、仮想オブジェクト算出部３、噴出制御部５、音発生制御部７を有している。操作者は、受容体１を用いて力覚提示装置に対する操作を行う。以下、各部について詳細に説明する。

受容体１は、図２に示すように、噴出部６の噴出口６０２から噴出する噴出空気６０１（他の気体、液体等が使用可能であるが、ここで空気を使用する例について説明する。）を受け止めるためのものであり、操作者９の手に把持させ又は取り付けられる。この受容体１としては、操作者９が装着しているものそれ自体をそのまま利用することも可能である。受容体１で噴出空気６０１を受けることで、噴出空気６０１の圧力が操作者９には力覚として伝わることになる。

受容体計測部２は、受容体１の位置あるいは向きを検出するように構成された装置である。受容体計測部２としては、カメラ、磁気センサ、超音波センサ、赤外線センサ、後記するマーキングによる映像解析を利用する検出装置等を使用できる。

仮想空間オブジェクト算出部３は、例えばコンピュータにより実現されるものであり、受容体１の位置あるいは向きに応じて、仮想空間表示部４で表示される仮想オブジェクトの状態（位置、形状、色等）を算出することにより、仮想空間オブジェクトを生成する。例えば、検出した受容体１の位置と連動して動く仮想オブジェクトを生成する。又は、検出した受容体１の位置あるいは向きあるいは時間変化などに応じて状態が変化する仮想オブジェクトを生成する。又は、複数の仮想オブジェクトが存在する場合において、他の仮想オブジェクトの状態に応じて状態が変化する仮想オブジェクトを生成する。

仮想空間表示部４は、仮想オブジェクト算出部３の算出結果に基づき、仮想オブジェクトを含む仮想空間を表示する。仮想空間表示部４としては、一般のディスプレイ、ヘッドマウントディスプレイ（head mounted display)を用いることができる。また、仮想空間表示部４として、仮想オブジェクトを噴出部６に投影するプロジェクタを用いることもできる。

その際、操作者の視点位置を光学式又は磁気式などによる位置検出装置によって検出し、操作者の視点に応じた仮想空間表示を行うことができる。また、これに加えて、操作者の左右の目の位置に応じた仮想空間映像を表示するヘッドマウントディスプレイ又は立体視メガネを操作者が装着することで、操作者は、立体的に仮想空間を見ることができる。

噴出制御部５は、受容体計測部２により計測された受容体１の位置あるいは向きに応じて、又は仮想空間内の仮想オブジェクトの状態に応じて、噴出部６の噴出口６０２の位置又は方向に基づき、噴出口６０２から噴出される空気の噴出量を制御する。例えば、操作者に適切な力覚を提示できるように、受容体１の位置及び向きに応じて、空気を噴出させる特定の噴出口６０２を決定し、その噴出口６０２から噴出される空気の噴出量及び噴出方向を決定する。また、仮想オブジェクトの状態は、受容体１の位置あるいは向きに関係なく別の要因で決定される場合があるので、その仮想オブジェクトの状態に応じて特定の噴出口６０２から噴出される空気の噴出量を決定する。この噴出制御部５はコンピュータによって実現できる。

噴出部６は、図２に示すように、複数の噴出口を有し、各噴出口から空気を噴出するように構成された装置である。また、空気の噴出方向を変更可能なように構成してもよい。

音発生制御部７は、受容体計測部２により計測された受容体１の位置あるいは向きに応じて、又は仮想オブジェクトの状態に応じて、音発生部８で発生される音の属性（音色、音階、音量、強さ、高さ、発生タイミング、発生期間、発生回数など）を決定し、その音を出すよう音発生部８を制御する。この音発生制御部７としては、コンピュータを利用できる。例えばコンピュータからＭＩＤＩ音源にＭＩＤＩメッセージを送ることによって、制御を実現できる。

音発生部８としては、例えばＭＩＤＩメッセージ、すなわちＭＩＤＩ規格の信号のデータにより制御することができるＭＩＤＩ音源を使用する。音発生部８は、シンセサイザーなどのＭＩＤＩ音源モジュールとアンプとスピーカとで構成できる。また、音発生部８を、コンピュータのＣＰＵによりソフトウェア的に音を合成するサウンドカードとアンプとスピーカとで構成してもよい。

受容体１の位置あるいは向きに応じた音の属性の制御においては、例えば、受容体１の２次元方向の位置、高さ、速度、加速度のうちのいずれか又はこれらのうちの複数の組み合わせに応じて、音発生制御部７が、音色、音階、音量、高さ、強さ、長さ、音を発生させるタイミング、単発の音を連続して発生させる場合の回数、単発の音を連続して発生させる場合の時間間隔、音の震え方、エコーのかかり方などのうちのいずれか又はこれらのうちの複数の組み合わせを決定し、音発生部８を制御する。また、受容体１の２次元方向の位置、高さ、速度、加速度のうちのいずれか又はこれらのうちの複数の組み合わせに応じて、噴出制御部５が、空気を噴出させる噴出口及び噴出空気量又は噴出方向を決定し、噴出部６を制御する。さらに、それらの音の属性を割り当てた仮想オブジェクトを仮想空間内に配置し、仮想オブジェクト算出部３が、受容体１の位置あるいは向きに応じて、仮想オブジェクトの形、位置、又は動く速度などを変更させる。

本実施例及び他の実施例の力覚提示装置における仮想オブジェクト算出部３、噴出制御部５及び音発生制御部７は、これらの機能部の処理をコンピュータに実行させるプログラムをコンピュータに搭載することにより実現することが可能である。そのプログラムはＣＤ−ＲＯＭ等の記録媒体に記録して提供することもできるし、ネットワークを通じて提供することもできる。

次に、図３を参照して、処理の流れを説明する。まず、受容体計測部２が、操作者が把持する、又は操作者に取り付けられた受容体１の位置あるいは向きを検出する（ステップ１１）。次に、仮想オブジェクト算出部３が、受容体計測部２により計測された受容体の位置あるいは向きに応じて、仮想空間内の仮想オブジェクトの状態（位置、形状、色など）を算出する（ステップ１２）。

続いて、仮想空間表示部４が、仮想オブジェクト算出部３による算出結果に基づき、仮想オブジェクトを含む仮想空間を表示する（ステップ１３）。また、噴出制御部５が、受容体計測部２によって計測された受容体の位置あるいは向き、又は仮想空間内の仮想オブジェクトの状態に応じて、各噴出口の空気の噴出量又は方向を制御する（ステップ１４）。

噴出部６は、噴出制御部５の制御に応じて、特定の噴出口から空気を噴出する（ステップ１５）。また、音発生制御部７は、受容体計測部２によって計測された受容体の位置あるいは向き、又は仮想空間内の仮想オブジェクトの状態に応じて、音発生部８で発声する音の属性（音色、音階、音量、強さ、発生タイミング、発生期間、発生回数など）を制御する（ステップ１６）。そして、音発生部８が、音発生制御部７によって指定された属性を有する音を発生する。その後、イベント処理を再度実行する場合は、ステップ１１からの処理を行う。

上記の処理において、ステップ１３の処理、ステップ１４〜１５の処理、及びステップ１６〜１７の処理は、必ずしもこの順番で行う必要はなく、これらの処理を並行して行ってもよい。

図４は、図２に示した構成の具体例を示す図である。この例では、実際に力覚提示される領域に仮想空間表示部４としてのプロジェクタを使用して映像を投影し、操作者９には立体視メガネ１１を装着させている。この方法は、操作者９ヘの負荷が少ない。本システムにより、噴出部６における力覚提示する領域（複数の噴出口６０２の配置された領域）に仮想オブジェクト１２を立体表示させることにより、視覚と力覚による提示位置を一致させることができ、操作者にとってより直感的な体験が可能になる。また、本システムでは、力覚を伝えるために空気を使用するので、映像表示を邪魔しないという特徴がある。

この投影による立体表示に使用する映像と立体視メガネ１１の例としては、赤と青の映像と赤青メガネ、偏向をさせた投影映像と偏向メガネ、時分割で切り替えた左右映像とシャッターメガネなどがある。

本システムでは、操作者９の両目の視点に応じた仮想空間表示部４による立体映像の仮想オブジェクト１２と噴出部６による力覚提示とを統合させている。このために、噴出口６０２としてのノズルが埋め込まれた机の真上に、仮想空間表示部４としてのプロジェクタを取り付け、コンピュータ１３で構築された仮想オブジェクト算出部３による仮想空間の映像を、その机の上に投影する。その仮想空間の映像としては、机の上に存在すると仮定した仮想オブジェクト１２を、操作者９の左右の目の視点位置から見た場合の左右の仮想空間映像を用いる。

また、操作者９が装着した立体視メガネ１１の左右の目に近い部分にマーカ１４を取り付け、このマーカ１４を受容体計測部２とは別の光学位置検出手段（カメラなど）によって検出することにより、操作者９の視点位置を検出する。このようにすることによって、操作者９の左右の目の位置を直接検出しなくても、操作者９の視点に応じた立体映像を投影することができ、噴出部６の噴出口６０２の上の空間に仮想オブジェクト１２を浮かび上がらせて表示させ、視覚提示することができる。なお、ここでは受容体１にもマーカ１４を取り付け、受容体計測部２によりその位置あるいは向きを検出できるようにしている。

仮想オブジェクト１２の具体例を図５Ａ〜図５Ｄに示す。図５Ａは、ある音階を設定した仮想オブジェクト１２Ａを生成し、それを必要な音階の数だけ配置する例である。複数の仮想オブジェクト１２Ａを複数の噴出口６０２に対応させ、特定の噴出口６０２からの噴出空気６０１を受容体１で押さえることで、該特定の噴出口６０２に対応する特定の仮想オブジェクト１２Ａの音階の音を発生させる。このとき、受容体１には、押さえられた方向からの空気圧力による力覚が加えられる。仮想オブジェクト１２Ａは自由に配置することができ、例えば音階を音階順にマトリクス上に並べていくことも考えられるし、全音階と半音階をわけてピアノ鍵盤のように並べることもできるし、音階とは関係ない配置も可能である。

さらに、仮想オブジェクト１２Ａには、噴出空気６０１の圧力を受ける受容体１の噴出口６０２からの高さに応じて、発生する音の属性を変化させる（例えば、「ド」の音を「ドー」のように伸ばす）よう属性を割り当てることができる。このとき、受容体１で噴出空気６０１を押さえることで、仮想オブジェクト１２Ａを、例えば押さえ付けた方向に移動させる（図５Ａの例）、へこませる、又は膨らませるように変化させることができる。

仮想オブジェクト１２の別の例としては、図５Ｂに示す例がある。この例では、複数の丸い仮想オブジェクト１２Ｂを上下に並べ、受容体１を上側の仮想オブジェクト１２Ｂにさわるように移動させると、単発の音「ドッ」が鳴る。そして、受容体１を下げることで、単発音が「ドッ、ドッ、ドッ」のように繰り返される。また、受容体１を下げることで仮想オブジェクト１２Ｂを下に移動させる。このときは、噴出空気６０１を受容体１で押さえることで仮想オブジェクト１２Ｂが下方向に集まり、受容体１を下げるだけ下に集まる仮想オブジェクト１２Ｂの数が増える。この結果として、受容体１を下げるほど、単発音の繰り返し回数が増える。

仮想オブジェクト１２のさらなる別の例としては、図５Ｃに示す例がある。この例では、受容体１の噴出口６０２からの高さに応じて、音程をねじ曲げるピッチベンドを操作できる。このときは、受容体１の押さえ付けに応じて、仮想オブジェクト１２Ｃの形状を圧縮変形させる。

仮想オブジェクト１２のさらなる別の例としては、図５Ｄに示す例がある。この例では、受容体１の噴出口６０２からの高さに応じて、音量を変化させたり音の揺れ具合を変化させる。このときは、受容体１の押さえ付けに応じて、仮想オブジェクト１２Ｄの形状を変化させたり、揺らしたりする。

図６Ａ〜Ｄはその他の仮想オブジェクト１２の例を示す図である。図６Ａは、１つの仮想オブジェクト１２Ｅを使用して、仮想オブジェクト１２Ｅに複数の音の属性を割り当て、受容体１によるイベントに応じてそれぞれの音を表現する例である。例えば、仮想オブジェクト１２Ｅの各領域に音の属性を割り当てる。このとき、操作者が仮想オブジェクト１２Ｅの１つの箇所を押さえると、その箇所が存在する領域によって異なる音が発生する。仮想オブジェクト１２Ｅを押さえる場所、押さえ込む深さ高さなどによって、音階や、音のビブラートのかかり方を変えてもよい。領域に音階が割り当ててある場合、押さえた場所によって出始めの音が決まり、その音が鳴るが、そのまま受容体１を左右に動かすことによって、鳴り続けたまま音が変化していく。また、ある音の属性を割り当てた領域から受容体１を離した後でも、その音の属性の音をしばらく鳴らすこともできる。その場合、受容体１を左右に動かすことで音が重なり複数の音が鳴る状態となる。

また、図６Ｂに示したように、１つの軸（例えば左右方向）に音階を、もう１つの軸（例えば前後方向）に音の揺れを割り当てた仮想オブジェクト１２Ｆを用意することもできる。この場合、受容体１をその仮想オブジェクト１２Ｆ内において２次元方向に移動させることにより、音の属性を変えることができる。

また、図６Ｃに示したように、形が自由に変化する、もしくは、新たなオブジェクトを追加できる仮想オブジェクト１２Ｇを用意して、ある曲の演奏のために押さえる場所やその順番を示すための、この楽器用の楽譜を表現することもできる。具体的な方法としては、仮想オブジェクト１２Ｇの形を変える、動かす、色を変える、新たなオブジェクトを追加することにより、楽器用の楽譜を表現する。また、テクスチャを張ることにより仮想オブジェクト１２Ｇの表面に絵を描くことで楽譜を示すこともできる。それらは、曲にあわせて動的に変化させることもできる。なお、これは、音の属性をもつ仮想オブジェクトを複数個使用する場合（図５）でも利用できる。

また、図６Ｄに示すように、複数の仮想オブジェクト１２Ｈに同時に受容体１を接触させることで、複数の属性の音を発生し、音を追加していくことが考えられる。例えば、縦に複数の音の仮想オブジェクト１２Ｈを並べ、上から受容体１を押さえていくことで、発生する音の数を増やしていく。これにより、和音などの表現が可能になる。また、同様にして、楽器の種類を増やしたり、コーラスを実現することもできる。

図７は、以上説明した力覚提示装置を利用した音楽演奏の説明図である。図７に示す例では、仮想空間表示部４としてのプロジェクタで生成される映像による仮想空間に仮想オブジェクト１２を表示する。そして、操作者９が受容体１としての操作棒を噴出口６０２の噴出空気６０１にかざすと、仮想オブジェクト１２の形状が変化し、同時に受容体１に噴出空気６０１による力覚が与えられる。そして、その受容体１の押し下げ位置あるいは向き、受容体１が対応する噴出口６０２の違いなどに応じて生成された音楽が、音発生部８としてのスピーカから出力される。

（噴出口設置方法について）
上記の力覚提示装置において、受容体１の大きさが、噴出口の直上を大きく覆う程度の大きさを持っていれば、噴出している噴出口の直上に受容体の中心が位置していなくても、受容体の中心がその周辺に位置していることで、その受容体で噴出を受け取ることができる。したがって、噴出口と噴出口の間に受容体が位置していても、力を受け止めることができるので、複数の噴出口を疎らな間隔で設置することができる。しかし、例えば噴出口設置間隔が広すぎる場合、受容体で受けた圧力、つまり力覚提示が十分でない場合がある。

以下、受容体１が安定して圧力を受けることができるような噴出部６の構成について説明する。

ここでは、受容体１の大きさに対する噴出口６０２の設置間隔（ピッチ）を定義する。具体的な例を説明する。図８Ａに側面図で、図８Ｂに底面図で示したように、受容体１を凹型の半球型としその直径（内径）をＤとするとき、噴出口６０２を、０．８×Ｄの円形領域内に、少なくとも１つ以上存在するように配置する。

この０．８の定数については、図９Ａに示した計測結果に基づいている。図９Ａは、半球型の受容体１により噴出口からの噴出空気を受け、受容体１の位置を噴出口に対してずらしながら、受容体を介して加重を計測した結果を示すグラフである。縦軸に加重を示し、横軸に噴出空気を受ける受容体の中心位置と噴出口の中心との距離を示す。受容体としては直径Ｄ＝１０ｃｍの半球を使用し、その受容体の半球切断面の下方２０ｃｍの位置に噴出口を設置している。図９Ａより、直径Ｄ＝１０ｃｍの受容体の場合、受容体の受ける加重は、受容体の中心位置と噴出口との距離が４ｃｍの付近で一旦強くなり、これを越えると急激に弱くなっている。

以下、この結果に基づき、２つの噴出口間を受容体１が移動する場合における加重の変化について説明する。ここでは、このような噴出口を２つ（Ａ，Ｂ）並べ、受容体１の中心位置を一方の噴出口Ａの真上から他方の噴出口Ｂの真上へと移動させる場合において、受容体１の中心位置が２つの噴出口Ａ，Ｂ間の中央の真上を超えたときに、噴出する噴出口が噴出口Ａから噴出口Ｂに切り替わるものとする。すなわち、このとき、噴出口Ａからの空気の噴出が停止し、噴出口Ｂから空気の噴出が開始するものとする。

図９Ｂは、噴出口Ａと噴出口Ｂとを８ｃｍの間隔で配置し、受容体１を噴出口Ａの２０ｃｍ上方から噴出口Ｂの２０ｃｍ上方に移動させるときに、噴出する噴出口が噴出口Ａから噴出口Ｂに切り替わる場合の受容体１が受ける加重の変化を類推したものを示している。この図は、図９Ａにおける横軸の４ｃｍの部分から垂直に伸びる直線を軸として、０ｃｍ〜４ｃｍの部分を４ｃｍ〜８ｃｍの側に折り返したものに相当する。なお、点線は、図９Ａにおける横軸の４ｃｍ以上の部分に相当するグラフである。

ここでは、噴出口Ａと噴出口Ｂとの距離が８ｃｍなので、噴出口Ａと受容体の中心との距離が４ｃｍを超えたときに、噴出口が噴出口Ａから噴出口Ｂに切り替わるものとしている。図示のように、加重の変化はひとつの山の形をしている。

これに対し、噴出口Ａと噴出口Ｂとを１０ｃｍの間隔で配置し、受容体を噴出口Ａの２０ｃｍ上方から噴出口Ｂの２０ｃｍ上方に移動させる場合を類推すると、加重の変化は図９Ｃに示すような２つの山の形を示す。この場合は、噴出口Ａと受容体中心との距離が５ｃｍを超えたとき、噴出する噴出口が噴出口Ａから噴出口Ｂに切り替わるものとしているので、図９Ｃは、図９Ａにおける横軸の５ｃｍの部分から垂直に伸びる直線を軸として、０ｃｍ〜５ｃｍの部分を５ｃｍ〜１０ｃｍの側に折り返したものに相当する。

図９Ｃに示すように、加重の変化は上昇下降を２度繰り返すこととなり、切替位置の前後で受ける加重の値が、受容体中心位置と噴出口との距離が４ｃｍ以下の場合と比較すると、激しく変化することになる。

以上から、直径（内径）１０ｃｍの受容体１を使用するとき、噴出口が切り替わるときの受容体１が受ける加重の変化が激しくならないためには、２つの噴出口の間隔が８ｃｍ以下となるように配置することが望ましいことがわかる。すなわち、直径８ｃｍ（＝０．８×Ｄ）以内の領域に少なくとも１つの噴出口が配置されていればよいことになる。従って、この場合は定数は０．８となり、図１０Ａに示すように、直径がＤの半球型の受容体１に対して、０．８×Ｄの直径の円形領域２０内に少なくとも１つの噴出口が配置されていればよいことになる。

そこで、０．８×Ｄの直径の円形領域内に少なくとも１つの噴出口が配置されるように、噴出口の間隔（ピッチ）を決定する。例えば、噴出口６０２を格子状に並べる場合は、図１０Ｂに示すように、噴出口間隔は、０．８×Ｄ×２^1/2／２となる。また、３角形状に並べる場合は、図１０Ｃに示すように０．８×Ｄ×３^1/2／２となる。さらに、６角形状に並べる場合は、図１０Ｄに示すように０．８×Ｄ／２となる。

なお、この受容体１の形状が半球ではない凹型の形状をしている場合には、その定数が変化し、例えば、０．６などになる。この定数は、図９Ａに示した場合と同様に、噴出口６０２の受容体１中心からの距離と加重との関係を計測することにより求めれば良く、通常は１以下の正の値となる。

図１１に、実施例２の力覚提示装置の処理のフローチャートを示す。本実施例２での基本的な処理は、前記した実施例１の力覚提示装置の処理と同じであり、図１１のステップ２１〜２８は、図３のステップ１１〜１８に対応する。ただし、以下の点は、実施例１と異なる。

実施例２では、ステップ２１において、受容体計測部２が、受容体１の位置あるいは向きに加えて、受容体１の形あるいは色を検出する。もしくは、受容体計測部２が、受容体１の位置あるいは向きに加えて、受容体１が特定の受容体であることを検出する。また、ステップ２６において、音発生制御部７が、受容体１の位置あるいは向き、又は仮想オブジェクトの状態に加えて、受容体１の区別又は受容体１の形あるいは色に応じて、音発生部８で発生される音の属性を制御する。

例えば、ある受容体を操作するときはピアノの音色であったが、形あるいは色が異なる別の受容体、又は受容体番号が異なる別の受容体に取り替えることで、ドラム音に変えることができる。又は受容体を２つ用意し、操作者９が両手でそれぞれを使用する場合に、それぞれの受容体で同じ仮想オブジェクトを押さえたとしても、受容体に応じて音色を異ならせたり、音階を異ならせるなどのように、仮想オブジェクトに割り当てた音の属性を変更することができる。

プロジェクタなどにより仮想空間映像を投影する場合、もしくはヘッドマウントディスプレイなどにより仮想空間映像を表示する場合に、透視される場所に噴出部６の噴出口６０２が存在すると、噴出口６０２の穴が黒く目立ち、映像を乱すという問題が生じることがある。

そこで本実施例３では、空気噴出が発生している時のみ噴出口６０２を開き、空気を噴出していないときには、噴出口６０２を閉じる噴出口開閉部１０（蓋）を設けることにより、噴出口６０２の穴を目立たなく（知覚されにくく）する。

図１２にこの噴出口開閉部１０を有する力覚提示装置の構成を示す。図１３にその動作のフローチャートを示す。図１４にその噴出口開閉部１０の構成を示す。図１５にその噴出口開閉部１０の取付方向を示す。

図１２に示すように、本実施例の力覚提示装置は、図１に示した力覚提示装置に、噴出口開閉部１０が接続された構成を有している。

噴出口開閉部１０は、空気の噴出に連動して各噴出口６０２を開閉をする。すなわち、空気噴出が起こっている噴出口６０２を開き、空気噴出が起こっていない噴出口６０２を閉じる。従って、空気が噴出していない時にその噴出口開閉部１０の表面に仮想空間映像を投影することができる。もしくは、その噴出口開閉部１０の表面をヘッドマウントディスプレイなどで透視するとき、噴出口６０２を目立たなく（知覚されにくく）することができる。

図１３に示すフローチャートは、ステップ３９において、噴出口開閉部１０が空気の噴出に応じて噴出口を開閉する点が、図３に示すフローチャートと異なる。噴出口開閉部１０を開閉する具体的な方法には例えば以下の方法がある。

すなわち、空気が噴出する力を利用して、噴出が起こっている時は噴出口開閉部１０を押し上げて噴出口６０２を開き、噴出が終了すると、噴出口開閉部１０が戻ることで噴出口６０２を閉じる。

噴出口開閉部１０としては、軽くて薄い素材が好ましい。すなわち、力を加えない時は平らで、力を加えると簡単に反る素材を使用する。その噴出口開閉部１０を、図１４に示すように、噴出口６０２の付近に、その噴出口６０２を覆うように、噴出口開閉部１０の一方の辺を支点として固定して取り付ける。これにより噴出口６０２から空気が噴出すると、噴出口開閉部１０の一方の辺が噴出口６０２付近に付いたままで、他方の辺が噴出空気により持ち上がる。

噴出口開閉部１０の素材は、噴出された空気の力で押し上げられるほど柔らかく、しかし空気噴出がなくなると元の平らな形に戻るほどの弾力性を持った素材が望ましい。具体的には付箋紙に使用されているようなフィルム素材が挙げられる。また色合いとしては、噴出口６０２の色を隠す軽度の白さであればよい。つまり、その噴出口開閉部１０の上に映像を投影しても目立たない色であればよい。

そして、操作者９から噴出口６０２を見る方向がある程度集中している場合は、図１５に示すように、開閉の支点となる辺（固定辺）が操作者側となるように噴出口開閉部１０を取り付ける。これにより、噴出口開閉部１０が開いても操作者９の側からは噴出口６０２が見えにくくなる。

上記の各実施例では図１もしくは図１２に示した力覚提示装置を例に説明したが、力覚提示装置内に仮想オブジェクト算出部３、仮想空間表示部４、音発生制御部７、音発生部８を有しない構成とすることも可能である。この場合は、例えば、力覚提示装置の外部の装置を用いて仮想空間を生成し、表示することが可能である。また、各実施例で説明した構成は、他の実施例にも適用できる。例えば、噴出口開閉部１０は、実施例１、２に適用することができる。

本発明は、上記の各実施の形態に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。

実施例１の力覚提示装置の構成図である。実施例１の力覚提示装置の受容体と噴出部と操作者の部分の関係の説明図である。実施例１の力覚提示装置の動作のフローチャートである。実施例１の力覚提示装置の動作説明図である。実施例１の力覚提示装置により仮想空間に表示される仮想オブジェクトの説明図（１）である。実施例１の力覚提示装置により仮想空間に表示される仮想オブジェクトの説明図（２）である。実施例１の力覚提示装置により仮想空間に表示される仮想オブジェクトの説明図（３）である。実施例１の力覚提示装置により仮想空間に表示される仮想オブジェクトの説明図（４）である。実施例１の力覚提示装置により仮想空間に表示される別の例の仮想オブジェクトの説明図（１）である。実施例１の力覚提示装置により仮想空間に表示される別の例の仮想オブジェクトの説明図（２）である。実施例１の力覚提示装置により仮想空間に表示される別の例の仮想オブジェクトの説明図（３）である。実施例１の力覚提示装置により仮想空間に表示される別の例の仮想オブジェクトの説明図（４）である。実施例１の力覚提示装置を使用した音楽演奏の説明図である。半球型の受容体の側面図である。半球型の受容体の底面図である。半球型の受容体で噴出空気を受けた場合の加重特性を示す図である。半球型の受容体で噴出空気を受けた場合の加重特性を示す図である。半球型の受容体で噴出空気を受けた場合の加重特性を示す図である。直径Ｄの受容体の０．８×Ｄの領域と噴出口配置のパターンの説明図（１）である。直径Ｄの受容体の０．８×Ｄの領域と噴出口配置のパターンの説明図（２）である。直径Ｄの受容体の０．８×Ｄの領域と噴出口配置のパターンの説明図（３）である。直径Ｄの受容体の０．８×Ｄの領域と噴出口配置のパターンの説明図（４）である。実施例２の力覚提示装置の動作のフローチャートである。実施例３の力覚提示装置の構成図である。実施例３の力覚提示装置の動作のフローチャートである。実施例３の力覚提示装置の噴出口開閉部の構成図である。実施例３の力覚提示装置の噴出口開閉部の取付方向の説明図である。

符号の説明

１：受容体
２：受容体計測部
３：仮想オブジェクト算出部
４：仮想空間表示部
５：噴出制御部
６：噴出部、６０１：噴出空気、６０２：噴出口
７：音発生制御部
８：音発生部
９：操作者
１０：噴出口開閉部
１１：立体視メガネ
１２、１２Ａ〜１２Ｈ：仮想オブジェクト
１３：コンピュータ
１４：マーカ

Claims

噴出口を有し、該噴出口から噴出する気体又は液体の噴出量又は噴出方向を制御可能な噴出手段と、
前記噴出手段から噴出される気体又は液体による圧力を受けて操作者に力覚を提示する受容体の、受容体計測手段によって計測された位置又は向きに応じて、前記気体又は液体の噴出量又は噴出方向を制御する噴出制御手段と、
を備えた力覚提示装置において、
前記受容体を直径Ｄの凹型かつ半球型とするとき、直径が０．８×Ｄの領域内に前記噴出口が少なくとも１つ存在するように、前記噴出手段における前記噴出口の設置間隔を０．８×Ｄ×３ ^1/2 ／２と設定し３角形状に並べたことを特徴とする力覚提示装置。
請求項１に記載の力覚提示装置において、
前記力覚提示装置は更に、仮想オブジェクトを含む仮想空間を前記噴出手段上に表示する仮想空間表示手段と、前記受容体の位置あるいは向きに応じて、前記仮想空間表示手段で表示する仮想空間内の仮想オブジェクトの状態を算出する仮想オブジェクト算出手段とを有し、
前記噴出口は、気体又は液体の噴出に応じて開閉する噴出口開閉手段を有することを特徴とする力覚提示装置。
請求項１に記載の力覚提示装置において、
前記受容体の位置あるいは向きに応じて、仮想空間表示手段で表示する仮想空間内の仮想オブジェクトの状態を算出する仮想オブジェクト算出手段を有することを特徴とする力覚提示装置。
請求項３に記載の力覚提示装置において、
前記仮想オブジェクトの状態又は前記受容体の位置あるいは向きに応じて、音発生手段で発生する音の属性を制御する音発生制御手段、
を備えたことを特徴とする力覚提示装置。
請求項４に記載の力覚提示装置において、
前記音発生制御手段は、前記仮想オブジェクトの状態又は前記受容体の位置あるいは向きに応じて、かつ受容体計測手段によって計測された前記受容体の個々又は前記受容体の形あるいは色に応じて、音発生手段で発生する音の属性を制御することを特徴とする力覚提示装置。