JP6571701B2 - 体感装置、およびその方法 - Google Patents

Description

本発明は、利用者に体感を与える技術に関する。

利用者に体感を与える技術が知られている。非特許文献１には、バドミントンラケットに埋め込まれた振動子によって羽根を打つ感覚を知覚させる技術が開示されている。非特許文献２には、スーツ全体に設けられた２６個の振動子によって触感覚を知覚させるゲーム体験方法が開示されている。

Yusuke Mizushina, Wataru Fujiwara, Tomoaki Sudou, Charith Lasantha Fernando, Kouta Minamizawa, and Susumu Tachi, "Interactive instant replay: sharing sports experience using 360-degrees spherical images and haptic sensation based on the coupled body motion," In Proceedings of the 6th Augmented Human International Conference (AH '15), Singapore, pp.227-228 (2015.3) Yukari Konishi, Nobuhisa Hanamitsu, Kouta Minamizawa, Ayahiko Sato, and Tetsuya Mizuguchi, "Synesthesia suit: the full body immersive experience," In ACM SIGGRAPH 2016 VR Village (SIGGRAPH '16), ACM, New York, NY, USA, Article 20 , 1 pages (2016.)

しかし、従来方法はいずれも触感覚を与えようとする部位のみに振動刺激を与えるものであり、質量の軽い物体によって与えられる触感覚を知覚させることはできるものの、比較的大きな質量を持つ物体によって与えられる触感覚を体感させることはできない。

本発明はこのような点に鑑みてなされたものであり、比較的大きな質量を持つ物体によって与えられる触感覚を比較的簡易な提示装置によって体感させることを目的とする。

上記の課題を解決するために、動物（人間および人間以外の動物を含む）の体の部位に力が与えられる際にこの動物の視覚によって知覚される物体の動きを表す映像を利用者に呈示する映像呈示部と、利用者の上記体の部位への振動および利用者の上記体の部位の周囲への音の少なくとも一方を呈示する第１体感呈示部と、利用者の体幹の一部を間に挟むように体幹に装着され、体幹への振動および体幹の周囲への音の少なくとも一方を呈示する第２および第３体感呈示部と、を有する体感装置が提供される。動物の体の部位に力が与えられる時点でこの動物の視覚によって知覚される物体の動きを表す映像が映像呈示部から利用者に呈示されるときに、第１体感呈示部が振動および音の少なくとも一方の呈示を開始し、第１体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、第２体感呈示部が振動および音の少なくとも一方の呈示を開始し、第２体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、第３体感呈示部が振動および音の少なくとも一方の呈示を開始する。

これにより、比較的大きな質量を持つ物体によって与えられる触感覚を体感させることができる。

図１は実施形態の体感装置の機能構成を説明するためのブロック図である。 図２は実施形態の体感装置の使用状態を説明するための図である。 図２は実施形態の体感装置の動作を説明するための図である。 図４は映像呈示部から呈示される映像を例示するための図である。 図５は実施形態の体感装置の使用状態を説明するための図である。 図６は実施形態の体感装置の使用状態を説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１実施形態］
第１実施形態を説明する。
＜構成＞
図１に例示するように、本形態の体感装置１は、映像呈示部１０、体感呈示部１１−１〜ｎ，１２，１３、記憶部１４、制御部１５、映像信号発生部１６、および駆動信号発生部１７を有する。ただし、ｎは１以上の整数である。例えば、ｎ＝１であってもよいし、ｎ＝２であってもよい。

映像呈示部１０は、動物の体の部位に力が与えられる際にこの「動物」の視覚によって知覚される物体の動きを表す映像を利用者に呈示（表示）するディスプレイである。「動物」とは植物以外の生物を意味し、人間および人間以外の動物を含む。「動物の体の部位に力が与えられる際」とは、例えば、動物の体の部位に移動物体が衝突する際、動物の体の部位に把持された物に移動物体が衝突する際、動物の体の部位に取り付けられた物に移動物体が衝突する際、動物の体の部位またはそれに把持された物や取り付けられた物が外部の物体に衝突する際、動物の体の部位が外部から押された際または引っ張られた際、動物の体の部位に把持された物または取り付けられた物が外部から押された際または引っ張られた際、動物の体の部位またはそれに接触した物に振動が伝達された際などである。例えば、シュートされたサッカーボールをゴールキーパーがキャッチする際、サッカープレイヤーがサッカーボールを蹴る際、テニスプレイヤーがテニスラケットでテニスボールを打ち返す際、バンジージャンプを行ったジャンパーの足に固定された命綱に力が加わる際、ボクサーが相手のパンチを受ける際、演奏者が和太鼓を打ち鳴らす際、犬の首輪が飼い主によって引っ張られる際などが「動物の体の部位に力が与えられる際」の具体例である。「動物の体の部位に力が与えられる際に動物の視覚によって知覚される物体の動き」は、「動物の体の部位に力が与えられる時点」を含む時間区間で「動物の視覚によって知覚される物体の動き」である。この「時間区間」は、「動物の体の部位に力が与えられる時点」だけではなく、それよりも過去の時間区間および未来の時間区間を含むことが望ましい。「物体の動きを表す映像」は、例えば、移動物体の動きを表す映像や背景に存在する物の物体の動きを表す映像などである。「物体の動きを表す映像」が静止した物体や背景を含んでいてもよい。「映像」は、仮想空間を表す、ＶＲ（仮想現実）映像であってもよいし、ＡＲ（拡張現実）映像であってもよいし、ＭＲ（複合現実）映像であってもよいし、ＳＲ（代替現実）映像であってもよい。「映像」はその他の三次元映像であってもよいし、二次元映像であってもよい。「映像」の例は、サッカー選手とシュートされたサッカーボールと背景とを含むＶＲ映像などである。映像呈示部１０の例は、ＶＲゴーグル、立体映像や二次元映像を表示するディスプレイ、スクリーンに立体映像や二次元映像を投影するプロジェクターなどである。「体の部位」の例は、手、腕、足、頭、肩などである。

本形態の体感呈示部１１−１〜ｎ，１２，１３は、振動および音を呈示する振動源および音源である。体感呈示部１１−１〜ｎ，１２，１３は、振動源および音源の両方の機能を備えたデバイスから構成されていてもよいし、振動源の機能を備えたデバイスと音源の機能を備えたデバイスとの組み合わせによって構成されていてもよい。振動源および音源の両方の機能を備えたデバイスおよび音源の機能を備えたデバイスの例はスピーカであり、振動源の機能を備えたデバイスの例は振動モータなどの振動子である。体感呈示部１２，１３の具体例は、特開２００９−０７０２６３に開示されている。体感呈示部１１−１〜ｎは、利用者の上述した「体の部位」への振動および利用者の「体の部位」の周囲への音を呈示する。体感呈示部１１−１〜ｎは、利用者の上述した「体の部位」に装着されてもよいし、「体の部位」に把持または装着された物体に取り付けられていてもよい。一方、体感呈示部１２，１３は、利用者の体幹の一部を間に挟むように体幹に装着され、体幹への振動および体幹の周囲への音を呈示する。体感呈示部１２および１３は、利用者の腹側および背側にそれぞれ装着されてもよいし、その逆に利用者の背側および腹側にそれぞれ装着されてもよい。あるいは、体感呈示部１２および１３が、利用者の体幹の右腹部および左腹部にそれぞれ装着されてもよいし、その逆に左腹部および右腹部にそれぞれ装着されてもよい。なお、前述の「動物」と「利用者」とは互いに同一であってもよいし、互いに異なっていてもよい。

記憶部１４は、ハードディスクやＲＡＭ（random-access memory）などの記憶装置である。記憶部１４には、映像呈示部１０から呈示される映像を表す時系列の映像データ、およびこの映像に応じて体感呈示部１１−１〜ｎ，１２，１３を駆動させるための時系列の制御データを含むデータ構造が格納される。「映像データ」は、「動物の体の部位に力が与えられる際に動物の視覚によって知覚される物体の動き」を表す時系列の映像データである。「映像データ」の例は、ＶＲゴーグルから表示されるＶＲ映像のデータである。「映像データ」は事前に撮影された映像から生成されてもよいし、事前に撮影された映像とリアルタイムに撮影された映像とから生成されてもよいし、撮影された映像とコンピュータグラフィックによって作成された映像とから生成されてもよいし、コンピュータグラフィックのみによって生成されてもよい。「制御データ」は、「動物の体の部位に力が与えられる時点で動物の視覚によって知覚される物体の動きを表す映像」が映像呈示部１０から利用者に呈示されるときに、体感呈示部１１−１〜ｎに振動および音の少なくとも一方の呈示を開始させ、体感呈示部１１−１〜ｎが振動および音の少なくとも一方の呈示を開始した後に、体感呈示部１２に振動および音の少なくとも一方の呈示を開始させ、体感呈示部１２が振動および音の少なくとも一方の呈示を開始した後に、体感呈示部１３に振動および音の少なくとも一方の呈示を開始させるための時系列の制御データである。「制御データ」に基づいて呈示される振動および音は、実際にサンプリングされた「動物の体の部位に力が与えられる際」に発生する音（例えば、サッカーボールがゴールキーパーの手に衝突する際に発生する音など）に基づいて作成されたものであることが望ましい。これにより、現実感の高い体感を呈示できる。また、体感呈示部１１−１〜ｎ，１２，１３から音が呈示される場合、複数音源の出力を調整し、利用者がそれらの音源の位置が体感呈示部１１−１〜ｎ，１２，１３の位置であると認識できないようにすることが望ましい。人間の聴覚は一箇所の音源からの音の空間定位に秀でており、利用者が音源の位置を認識できてしまうと没入感が低下してしまうからである。体感呈示部１１−１〜ｎが振動および音の少なくとも一方の呈示を開始してから体感呈示部１２が振動および音の少なくとも一方の呈示を開始するまでの遅延時間Ｄ_１２は、上述の「映像」中の「物体」の位置や形状の時間変化量の大きさＶ（例えば、物体の移動速度の大きさや物体の変形量の大きさなど）に対応することが望ましい。すなわち、遅延時間Ｄ_１２は、「物体」の位置や形状の時間変化量の大きさＶの関数値Ｄ_１２＝ｆ（Ｖ）であることが望ましい。例えば、「物体」の位置や形状の時間変化量の大きさがＶ＝ｖ１であるときの遅延時間がＤ_１２＝ｄ１であり、「物体」の位置や形状の時間変化量の大きさがＶ＝ｖ２であるときの遅延時間がＤ_１２＝ｄ２であるとき、ｖ１はｖ２よりも小さく、ｄ１はｄ２よりも大きいことが望ましい。例えば、Ｄ_１２＝ｆ（Ｖ）がＶの非増加関数値であることが望ましい。例えば、「物体」の位置や形状の時間変化量Ｖが大きいほど遅延時間Ｄ_１２が小さくなる（言い換えると、「物体」の位置や形状の時間変化量が小さいほど遅延時間Ｄ_１２が大きくなる）ことが望ましい。ただし、遅延時間Ｄ_１２は零よりも大きく予め定められた時間未満であることが望ましい。例えば、遅延時間Ｄ_１２は零よりも大きく１００ｍｓ以下（例えば、１００ｍｓ未満）であることが望ましい。例えば、遅延時間Ｄ_１２は５０ｍｓ程度であってもよい。一方、体感呈示部１２が振動および音の少なくとも一方の呈示を開始してから体感呈示部１３が振動および音の少なくとも一方の呈示を開始するまでの遅延時間Ｄ_２３は、「物体」の位置や形状の時間変化量の大きさＶの関数値Ｄ_２３＝ｆ’（Ｖ）であってもよいし、「物体」の位置や形状の時間変化量の大きさＶの関数値Ｄ_２３＝ｆ’（Ｖ）でなくてもよいし、固定値であってもよい。ただし、遅延時間Ｄ_２３は、零よりも大きく予め定められた時間未満であることが望ましい。例えば、遅延時間Ｄ_２３は、零よりも大きく１００ｍｓ以下（例えば、１００ｍｓ未満）であることが望ましい。例えば、遅延時間Ｄ_２３が５０ｍｓ程度であってもよい。またＤ_２３＝ｆ’（Ｖ）である場合、Ｄ_２３＝ｆ’（Ｖ）がＶの非増加関数値であることが望ましい。体感呈示部１１−１〜ｎが振動および音の少なくとも一方の呈示を持続する第１持続期間と体感呈示部１２が振動および音の少なくとも一方の呈示を持続する第２持続期間とは一部で重なり、体感呈示部１２が振動および音の少なくとも一方の呈示を持続する第２持続期間と体感呈示部１３が振動および音の少なくとも一方の呈示を持続する第３持続期間とは一部で重なることが望ましい。より好ましくは、第１持続期間と第２持続期間と第３持続期間とがすべて一部で重なることが望ましい。第１持続期間と第２持続期間とが重なっている期間、第２持続期間と第３持続期間とが重なっている期間、第１持続期間と第２持続期間と第３持続期間とが重なっている期間は、それぞれ零よりも大きく１０００ｍｓ以下（例えば、１０００ｍｓ未満）であることが望ましい。また、第１〜３持続期間は１００ｍｓ以上１０００ｍｓ以下であることが望ましい。なお、体感呈示部１１−１〜ｎ，１２，１３に振動および音の少なくとも一方を呈示させるタイミングは、人手によって設定されてもよいし、「映像データ」の特徴量を用いて自動的に設定されてもよい。

制御部１５、映像信号発生部１６、および駆動信号発生部１７は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。

＜動作＞
次に、体感装置１の動作について説明する。
体感装置１の利用者１００は、映像呈示部１０から呈示（表示）される「動物の体の部位に力が与えられる際に動物の視覚によって知覚される物体の動きを表す映像」を視認可能なように映像呈示部１０を装着する。さらに利用者１００は、この「動物の体の部位」に相当する自らの「体の部位」に体感呈示部１１−１〜ｎを装着し、体幹１０１の一部を間に挟むように体幹１０１に体感呈示部１２，１３を装着する。図２に、ｎ＝２であり、「動物の体の部位」が両手の掌である場合の使用態様を例示する。図２の例では、利用者１００はＶＲゴーグルである映像呈示部１０を装着し、両手の掌にそれぞれ体感呈示部１１−１，２を装着し、腹側に体感呈示部１２を装着し、背側に体感呈示部１３を装着している。しかしこれは本発明を限定するものではなく、例えば、背側に体感呈示部１２を装着し、腹側に体感呈示部１３を装着してもよい。

体感装置１の動作が開始すると、制御部１５は記憶部１４から前述の「映像データ」および「制御データ」を読み込み、「映像データ」を映像信号発生部１６に送り、「制御データ」を駆動信号発生部１７に送る。制御部１５は「映像データ」および「制御データ」を同期させて以下のように制御する。

映像信号発生部１６は、送られた「映像データ」によって表される映像を表示するための映像信号を映像呈示部１０に送る。映像呈示部１０は、送られた映像信号に基づいて前述の「映像」を表示する。例えば、映像呈示部１０は、ゴールキーパーの視覚によって知覚されるシュートされたサッカーボールの軌道を表す「映像」を表示する（図４）。なお、図４では複数個のサッカーボールを図示しているが、実際に映像呈示部１０から呈示される映像はサッカーボールがゴールキーパー側へ向かってくる様子を表す動画である。

一方、駆動信号発生部１７は、送られた「制御データ」に基づく駆動信号を体感呈示部１１−１〜ｎ，１２，１３に送る。体感呈示部１１−１〜ｎ，１２，１３は送られた駆動信号によって駆動し、振動および音の呈示を行う。前述のように、体感呈示部１１−１〜ｎは利用者１００の「体の部位」への振動および利用者の体の部位の周囲への音の呈示を行い、体感呈示部１２，１３は利用者１００の体幹１０１への振動および体幹１０１の周囲への音の呈示を行う。ただし、「動物の体の部位に力が与えられる時点で動物の視覚によって知覚される物体の動きを表す映像」が映像呈示部１０から利用者１００に呈示されるときに、体感呈示部１１−１〜ｎが振動および音の呈示を開始し、体感呈示部１１−１〜ｎが振動および音の呈示を開始した後に、体感呈示部１２が振動および音の呈示を開始し、体感呈示部１２が振動および音の呈示を開始した後に、体感呈示部１３が振動および音の呈示を開始する。体感呈示部１１−１〜ｎが振動および音の呈示を持続する第１持続期間と体感呈示部１２が振動および音の呈示を持続する第２持続期間とは一部で重なり、体感呈示部１２が振動および音の呈示を持続する第２持続期間と体感呈示部１３が振動および音の少なくとも一方の呈示を持続する第３持続期間とは一部で重なっていることが望ましい。より好ましくは、第１持続期間と第２持続期間と第３持続期間とがすべて一部で重なることが望ましい。例えば、上述の第１〜３持続期間は１００ｍｓ以上３００ｍｓ以下である。図３に例示するように、図４の映像が利用者１００に呈示される場合、利用者１００にはサッカーボール１１０がＡ→Ｂ→Ｃの軌道を描いて飛んでくるように知覚する。サッカーボール１１０がＢの位置に達して掌に衝突する時点の映像が映像呈示部１０から利用者１００に呈示されるとき（時刻ｔ１）に、体感呈示部１１−１，２が振動および音の呈示を開始する。その後、時刻ｔ１から遅延時間Ｄ_１２＝ｄ１が経過した時点（時刻ｔ２）で体感呈示部１２が振動および音の呈示を開始する。さらにその後、遅延時間Ｄ_２３＝ｄ２が経過した時点（時刻ｔ３）で体感呈示部１３が振動および音の呈示を開始する。遅延時間Ｄ_１２は、映像におけるサッカーボール１１０の移動速度の大きさＶの関数値Ｄ_１２＝ｆ（Ｖ）であることが望ましい。例えば、サッカーボール１１０の移動速度の大きさがＶ＝ｖ１であるときの遅延時間がＤ_１２＝ｄ１であり、サッカーボール１１０の移動速度の大きさがＶ＝ｖ２であるときの遅延時間がＤ_１２＝ｄ２であるとき、ｖ１はｖ２よりも小さく、ｄ１はｄ２よりも大きい。一方、遅延時間Ｄ_２３は、サッカーボール１１０の移動速度と無関係であってもよいし、サッカーボール１１０の移動速度の大きさＶの関数値Ｄ_２３＝ｆ’（Ｖ）であってもよいし、固定値であってもよい。

以上により、利用者１００は、サッカーボールなどの比較的大きい質量をもつ物体の衝突（身体の重心移動に寄与するレベル）を知覚し、小手先の刺激にとどまらない強い刺激と没入感を体感できる。これは体感呈示部１１−１〜ｎによって物体が掌などの体の一部に直接衝突した際の感覚を体感し、さらに体感呈示部１２，１３によって体幹１０１への重い衝撃を体感できるからである。このように、物体が仮想的に直接衝突する位置だけではなく、それに伴う間接的な体幹１０１への衝撃をも再現することで、比較的大きな質量を持つ物体によって与えられる触感覚を体感させることができる。また、非特許文献２のように物体が仮想的に直接衝突する全身の位置のみに振動子を設ける構成に比べ、少ない体感呈示部によって効果的に触感覚を体感させることができる。

［第２実施形態］
第２実施形態を説明する。第１実施形態では、体感呈示部１１−１〜ｎ，１２，１３から振動および音が呈示された。しかしながら、体感呈示部から振動または音のみが呈示されてもよい。以下では体感呈示部から振動のみが呈示される例を説明する。なお、既に説明した事項については、同じ参照番号を引用して説明を簡略化する。

＜構成＞
図１に例示するように、本形態の体感装置２は、映像呈示部１０、体感呈示部２１−１〜ｎ，２２，２３、記憶部１４、制御部１５、映像信号発生部１６、および駆動信号発生部１７を有する。ただし、ｎは１以上の整数である。例えば、ｎ＝１であってもよいし、ｎ＝２であってもよい。

本形態の体感呈示部２１−１〜ｎ，２２，２３は、振動を呈示する振動源である。体感呈示部２１−１〜ｎ，２２，２３の例は、振動モータなどの振動子である。体感呈示部２１−１〜ｎは、利用者の上述した「体の部位」へ振動を呈示する（「体の部位」へ振動を与える）。体感呈示部２１−１〜ｎは、利用者の上述した「体の部位」に装着されていてもよいし、「体の部位」に把持または装着された物体に取り付けられていてもよい。体感呈示部２２，２３は、利用者の体幹の一部を間に挟むように体幹に装着され、体幹への振動を呈示する。体感呈示部２２および２３は、利用者の腹側および背側にそれぞれ装着されてもよいし、その逆に利用者の背側および腹側にそれぞれ装着されてもよい。あるいは、体感呈示部２２および２３が、利用者の体幹の右腹部および左腹部にそれぞれ装着されてもよいし、その逆に左腹部および右腹部にそれぞれ装着されてもよい。

記憶部１４には、映像呈示部１０から呈示される映像を表す時系列の映像データ、およびこの映像に応じて体感呈示部２１−１〜ｎ，２２，２３を駆動させるための時系列の制御データを含むデータ構造が格納される。本形態の「映像データ」は第１実施形態で説明したものと同じである。一方、本形態の「制御データ」は体感呈示部２１−１〜ｎ，２２，２３に振動のみを呈示させるためのものであり、この点で第１実施形態で説明した「制御データ」と相違する。すなわち、本形態の「制御データ」は、「動物の体の部位に力が与えられる時点で動物の視覚によって知覚される物体の動きを表す映像」が映像呈示部１０から利用者に呈示されるときに、体感呈示部２１−１〜ｎに振動の呈示を開始させ、体感呈示部２１−１〜ｎが振動の呈示を開始した後に、体感呈示部１２に振動の呈示を開始させ、体感呈示部１２が振動の呈示を開始した後に、体感呈示部１３に振動の呈示を開始させるための時系列の制御データである。その他の本形態の「制御データ」の特徴は、第１実施形態で説明した「制御データ」の特徴と同じである。

＜動作＞
次に、体感装置２の動作について説明する。
体感装置２の利用者１００は、映像呈示部１０から呈示（表示）される「動物の体の部位に力が与えられる際に動物の視覚によって知覚される物体の動きを表す映像」を視認可能なように映像呈示部１０を装着、または配置する。さらに利用者１００は、この「動物の体の部位」に相当する自らの「体の部位」に体感呈示部２１−１〜ｎを装着し、体幹１０１の一部を間に挟むように体幹１０１に体感呈示部２２，２３を装着する。図２の例では、利用者１００はＶＲゴーグルである映像呈示部１０を装着し、両手の掌にそれぞれ体感呈示部２１−１，２を装着し、腹側に体感呈示部２２を装着し、背側に体感呈示部２３を装着している。しかしこれは本発明を限定するものではなく、例えば、背側に体感呈示部２２を装着し、腹側に体感呈示部２３を装着してもよい。

体感装置２の動作が開始すると、制御部１５は記憶部１４から前述の「映像データ」および「制御データ」を読み込み、「映像データ」を映像信号発生部１６に送り、「制御データ」は駆動信号発生部１７に送られる。映像信号発生部１６および映像呈示部１０の処理は第１実施形態と同じである。駆動信号発生部１７は、送られた「制御データ」に基づく駆動信号を体感呈示部２１−１〜ｎ，２２，２３に送る。体感呈示部２１−１〜ｎ，２２，２３は送られた駆動信号によって駆動し、振動の呈示を行う。体感呈示部２１−１〜ｎは利用者１００の「体の部位」へ振動を呈示し、体感呈示部２２，２３は利用者１００の体幹１０１へ振動を呈示する。ただし、「動物の体の部位に力が与えられる時点で動物の視覚によって知覚される物体の動きを表す映像」が映像呈示部１０から利用者１００に呈示されるときに、体感呈示部２１−１〜ｎが振動の呈示を開始し、体感呈示部２１−１〜ｎが振動の呈示を開始した後に、体感呈示部２２が振動の呈示を開始し、体感呈示部２２が振動の呈示を開始した後に、体感呈示部２３が振動の呈示を開始する。この詳細は、体感呈示部１１−１〜ｎ，１２，１３が振動および音を呈示することに代えて体感呈示部２１−１〜ｎ，２２，２３が振動を呈示する以外、第１実施形態で説明したものと同じである。

以上によっても第１実施形態と同様な効果を得ることができる。

［第３実施形態］
第１および２実施形態では、それぞれ、利用者１００の体の部位に体感呈示部１１−１〜ｎおよび２１−１〜ｎを装着する例を示した。しかしながら、利用者１００の体の部位（例えば掌）に把持される物体に体感呈示部１１−１〜ｎまたは２１−１〜ｎが装着されてもよい。例えば、図５に例示するように、利用者１００が第１または第２実施形態と同じように映像呈示部１０、および体感呈示部１２，１３または２２，２３を装着し、さらに、自らが把持するテニスラケット３０１に体感呈示部１１−１または２１−１が装着されてもよい。

この場合、映像呈示部１０は、送られた映像信号に基づいて、テニスプレイヤーの視覚によって知覚されるテニスボールの軌道を表す「映像」を表示する。体感呈示部１１−１または２１−１は、テニスプレイヤーがテニスラケットでテニスボールを打ち返す時点でこのテニスプレイヤーの視覚によって知覚される「映像」が映像呈示部１０から利用者１００に呈示されるときに、体感呈示部１１−１または２１−１が振動および音の少なくとも一方の呈示を開始し、体感呈示部１１−１または２１−１が振動および音の少なくとも一方の呈示を開始した後に、体感呈示部１２が振動および音の少なくとも一方の呈示を開始し、体感呈示部１２が振動および音の少なくとも一方の呈示を開始した後に、体感呈示部１３が振動および音の少なくとも一方の呈示を開始する。その他は第１および２実施形態で説明した通りである。このようにしても、第１および２実施形態と同様な効果を得ることができる。

［第４実施形態］
映像呈示部１０からＶＲ映像などの仮想空間の映像が呈示され、当該仮想空間での物体の位置と利用者１００の体の部分の位置、または、当該仮想空間での物体の位置と利用者１００に把持もしくは取り付けられた物の位置との関係に応じ、体感呈示部１１−１〜ｎ，１２，１３または２１−１〜ｎ，２２，２３によって呈示される振動および音の少なくともいずれかを変化させてもよい。「仮想空間での物体の位置と利用者１００の体の部分の位置との関係」の例は、仮想空間での物体（例えば、サッカーボール、テニスボールなど）の位置と利用者１００の体の部分（例えば、手、足、頭など）との位置関係、仮想空間での物体の位置と利用者１００の体の基準点との位置関係などである。「仮想空間での物体の位置と利用者１００に把持もしくは取り付けられた物の位置との関係」の例は、仮想空間でのテニスボールの位置と利用者１００の手に把持されたテニスラケット３０１のスイートスポットの位置との関係（図５）、仮想空間でのサッカーボールの位置と利用者１００の足の位置との関係などである。上述の位置の関係に応じ、呈示される振動および音の少なくともいずれかの大きさ（振幅）を変化させてもよいし、周波数を変化させてもよいし、波形を変化させてもよい。「仮想空間での物体の位置と利用者１００の体の部分の位置、または、仮想空間での物体の位置と利用者１００に把持もしくは取り付けられた物の位置との関係」（例えば、物体の位置と利用者１００の体の部分との距離）が複数の区分に区分けされ、区分ごとに異なる振動および音の少なくともいずれが設定されていてもよい。例えば、図５に例示した構成の場合、仮想空間でのテニスボールの位置とテニスラケット３０１のスイートスポットの位置との関係が複数の区分（例えば、テニスボールがスイートスポットに位置する区分、テニスボールがスイートスポット以外のテニスラケット３０１の部分（フレーム付近）に位置する区分、テニスボールがテニスラケットの外部に位置する区分の３区分）に区分けされ、体感呈示部１１−１〜ｎ，１２，１３または２１−１〜ｎ，２２，２３が区分ごとに異なる振動および／または音を呈示してもよい。なお、利用者１００の体の部分の位置や利用者１００に把持もしくは取り付けられた物の位置は、「ＨＴＣ ＶＩＶＥ（登録商標）」などの周知の位置検知技術を用いて検出できる。制御部１５は、検出された利用者１００の体の部分の位置や利用者１００に把持もしくは取り付けられた物の位置の情報を用い、仮想空間での物体の位置と利用者１００の体の部分の位置、または、当該仮想空間での物体の位置と利用者１００に把持もしくは取り付けられた物の位置との関係を判定する。この判定の例は、この関係が上述のどの区分に属するかを判定する当たり判定である。制御部１５は、関係の判定結果に基づいて、「制御データ」に示された体感呈示部１１−１〜ｎ，１２，１３または２１−１〜ｎ，２２，２３によって呈示される振動および音の少なくともいずれかを変化させ、駆動信号発生部１７を制御する。これに基づき、体感呈示部１１−１〜ｎ，１２，１３または２１−１〜ｎ，２２，２３は、仮想空間での物体の位置と利用者１００の体の部分の位置、または、当該仮想空間での物体の位置と利用者１００に把持もしくは取り付けられた物の位置との関係に応じた振動および／または音を呈示する。

［第４実施形態の変形例］
周知の「ＨＴＣ ＶＩＶＥ」用の振動機器（ワイヤレスコントローラ）を、体感呈示部１１−１〜ｎとして用いてもよい。図６は、ｎ＝２とし、「ＨＴＣ ＶＩＶＥ」用の振動機器を体感呈示部１１−１，２として用いた例である。図６に例示するように、室内には体感呈示部１１−１，２の位置を検出するための位置検出器（ベースステーション）１８−１，２が設置されている。利用者１００は、前述した映像呈示部１０、体感呈示部１２，１３または２２，２３を装着し、さらに「ＨＴＣ ＶＩＶＥ」用の振動機器である体感呈示部１１−１，２をそれぞれの手で把持する。位置検出器１８−１，２は、利用者１００によって把持された体感呈示部１１−１，２の位置をリアルタイムで検出する。制御部１５は、検出された体感呈示部１１−１，２の位置の情報を用い、仮想空間での物体の位置と利用者１００が把持する体感呈示部１１−１，２の位置との関係を前述のように判定する（例えば、当たり判定する）。制御部１５は、関係の判定結果に基づいて、「制御データ」に示された体感呈示部１１−１，２，１２，１３または２２，２３によって呈示される振動および／または音を変化させ、駆動信号発生部１７を制御する。これに基づき、体感呈示部１１−１，２，１２，１３または２２，２３は、仮想空間での物体の位置と利用者１００が把持する体感呈示部１１−１，２の位置との関係に応じた振動および／または音を呈示する。

［その他の変形例等］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、体感呈示部が呈示する音のみによって利用者に体感を知覚させてもよい。体感呈示部が振動および音の両方を呈示する場合、振動を呈示する振動源の装置と音を呈示する音源の装置とが分離していてもよい。体感呈示部１１−１〜ｎまたは２１−１〜ｎが利用者の「体の部位」への振動および利用者の「体の部位」の周囲への音の少なくとも一方を呈示できるのであれば、体感呈示部１１−１〜ｎまたは２１−１〜ｎが当該「体の部位」に装着されていてもよいし、装着されていなくてもよい。利用者の体幹の一部を間に挟むように複数組の体感呈示部１２，１３または２２，２３が装着されてもよい。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の制御部１５、映像信号発生部１６、駆動信号発生部１７、および記憶部１４の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて制御部１５、映像信号発生部１６、駆動信号発生部１７の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１，２ 体感装置

Claims (5)

1. 人間の体の部位に力が与えられる際に前記人間の視覚によって知覚される物体の動きを表す映像を利用者に呈示する映像呈示部と、
   前記利用者の前記体の部位への振動および前記利用者の前記体の部位の周囲への音の少なくとも一方を呈示する第１体感呈示部と、
   前記利用者の体幹の一部を間に挟むように前記体幹に装着され、前記体幹への振動および前記体幹の周囲への音の少なくとも一方を呈示する第２および第３体感呈示部と、を有し、
   前記人間の体の部位に力が与えられる時点で前記人間の視覚によって知覚される前記物体の動きを表す映像が前記映像呈示部から前記利用者に呈示されるときに、前記第１体感呈示部が振動および音の少なくとも一方の呈示を開始し、前記第１体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、前記第２体感呈示部が振動および音の少なくとも一方の呈示を開始し、前記第２体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、前記第３体感呈示部が振動および音の少なくとも一方の呈示を開始し、
   前記映像は仮想空間を表し、
   前記仮想空間での前記物体の位置と前記利用者に把持もしくは取り付けられた物の位置との関係が複数の区分に区分けされ、前記区分ごとに前記第１から第３体感呈示部によって呈示される振動および音の少なくともいずれかの大きさ、周波数、および波形を変化させ、
   前記仮想空間で前記物体が衝突する前記物の部位の物性に応じ、前記第１から第３体感呈示部によって呈示される振動および音の少なくともいずれかの大きさ、周波数、および波形を変化させる、体感装置。
2. 請求項１の体感装置であって、
   前記第１体感呈示部が振動および音の少なくとも一方の呈示を開始してから前記第２体感呈示部が振動および音の少なくとも一方の呈示を開始するまでの第１遅延時間は、前記物体の位置や形状の時間変化量の大きさに対応し、
   前記第２体感呈示部が振動および音の少なくとも一方の呈示を開始してから前記第３体感呈示部が振動および音の少なくとも一方の呈示を開始するまでの第２遅延時間は、零よりも大きく予め定められた時間未満である、体感装置。
3. 請求項２の体感装置であって、
   前記物体の位置や形状の時間変化量の大きさがｖ１であるときの前記第１遅延時間はｄ１であり、
   前記物体の位置や形状の時間変化量の大きさがｖ２であるときの前記第１遅延時間はｄ２であり、
   ｖ１はｖ２よりも小さく、ｄ１はｄ２よりも大きい、体感装置。
4. 請求項２または３のいずれかの体感装置であって、
   前記予め定められた時間は１００ｍｓである、体感装置。
5. 体感装置による方法であって、
   前記体感装置は、
   人間の体の部位に力が与えられる際に前記人間の視覚によって知覚される物体の動きを表す映像を利用者に呈示する映像呈示部と、
   前記利用者の前記体の部位への振動および前記利用者の前記体の部位の周囲への音の少なくとも一方を呈示する第１体感呈示部と、
   前記利用者の体幹の一部を間に挟むように前記体幹に装着され、前記体幹への振動および前記体幹の周囲への音の少なくとも一方を呈示する第２および第３体感呈示部と、を有し、
   前記人間の体の部位に力が与えられる時点で前記人間の視覚によって知覚される前記物体の動きを表す映像が前記映像呈示部から前記利用者に呈示されるときに、前記第１体感呈示部が振動および音の少なくとも一方の呈示を開始し、前記第１体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、前記第２体感呈示部が振動および音の少なくとも一方の呈示を開始し、前記第２体感呈示部が振動および音の少なくとも一方の呈示を開始した後に、前記第３体感呈示部が振動および音の少なくとも一方の呈示を開始し、
   前記映像は仮想空間を表し、
   前記仮想空間での前記物体の位置と前記利用者に把持もしくは取り付けられた物の位置との関係が複数の区分に区分けされ、前記区分ごとに前記第１から第３体感呈示部によって呈示される振動および音の少なくともいずれかの大きさ、周波数、および波形を変化させ、
   前記仮想空間で前記物体が衝突する前記物の部位の物性に応じ、前記第１から第３体感呈示部によって呈示される振動および音の少なくともいずれかの大きさ、周波数、および波形を変化させる、方法。