JP6504157B2 - 体感導入装置、体感導入システム、及び体感導入方法 - Google Patents

Description

本開示は、体感導入装置、体感導入システム、及び体感導入方法に関する。

多様なデジタルデバイスに対してスピーカやアクチュエータを内蔵し、当該スピーカからの音響出力や、当該アクチュエータの振動による疑似的な触覚または力覚（以降では、総じて「触覚」と呼ぶ場合がある）の提示により、ユーザに対して体感をフィードバックして臨場感を高める技術がある。

ユーザに対して体感をフィードバックするデバイスの具体的な一例としては、ゲーム機等の情報処理装置に用いられるコントローラが挙げられる。例えば、コントローラに対するユーザの操作内容に基づき、当該コントローラ内のアクチュエータを駆動させることで、当該ユーザに対して、ゲーム内のオブジェクトを実際に操作しているような臨場感や没入感を提示することが可能となる。なお、以降では、ユーザに対して体感をフィードバックするデバイスを「体感導入装置」と呼ぶ場合がある。

特開２００９−７２６００号公報

一方で、ユーザに対して体感をフィードバックする技術として、触覚の提示に係る振動出力と音響出力とを連動させることで、より直感的な体感をフィードバックし、臨場感を向上させることが可能な技術が求められている。

そこで、本開示では、音響出力と振動出力とを連動させることで臨場感を向上させることが可能な、新規かつ改良された体感導入装置、体感導入システム、及び体感導入方法を提案する。

本開示によれば、複数のアクチュエータと、複数のスピーカと、を備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含み、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御される、体感導入装置が提供される。

また、本開示によれば、複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置と、前記体感導入装置の動作を制御するための制御信号を出力する情報処理装置と、前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御する制御部と、を備えた、体感導入システムが提供される。

また、本開示によれば、複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置における、当該互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御するための制御信号を生成する信号処理部と、生成された制御信号を前記体感導入装置に出力する出力部と、を備えた、制御装置が提供される。

また、本開示によれば、複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置の動作を制御するための制御信号を出力することと、前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御することと、を含む、体感導入方法が提供される。

以上説明したように本開示によれば、音響出力と振動出力とを連動させることで臨場感を向上させることが可能な体感導入装置、体感導入システム、及び体感導入方法が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る体感導入システムの概略的なシステム構成の一例について説明するための説明図である。 同実施形態に係る体感導入装置の概略的な構成について説明するための説明図である。 アクチュエータの一例について説明するための図である。 アクチュエータの一例について説明するための図である。 同実施形態に係る体感導入装置の各スピーカと各アクチュエータとを連動させる制御の一例について説明するための説明図である。 体感導入装置の各スピーカからの音響出力と、各アクチュエータからの振動出力との制御の一例について説明するための説明図である。 体感導入装置の各スピーカからの音響出力と、各アクチュエータからの振動出力との制御の一例について説明するための説明図である。 同実施形態に係る体感導入装置のハードウェア構成の一例を示している。 同実施形態に係る体感導入システムの機能構成の一例を示したブロック図である。 互いに関係づけられたスピーカ及びアクチュエータのそれぞれから出力される信号の波形の一例を示している。 図１０に示した信号波形それぞれの、周波数成分の分布を示している。 同実施形態に係る体感導入システムの一連の動作の流れについて説明するための説明図である。 同実施形態に係る体感導入システムの一連の動作の流れの一例を示している。 映像、音響出力、触覚フィードバック、及びユーザ操作の定位をあわせるように制御した場合の一例について説明するための説明図である。 実施例１に係る体感導入装置の概略的な構成について説明するための説明図である。 実施例１に係るアクチュエータの一例について説明するための説明図である。 実施例２に係る体感導入装置の概略的な構成について説明するための説明図である。 実施例３に係る体感導入装置の概要について説明するための説明図である。 実施例３に係る体感導入装置の概略的な構成の一例について説明するための説明図である。 実施例３に係る体感導入装置の概略的な構成の一例について説明するための説明図である。 実施例３に係る体感導入装置の概略的な構成の一例について説明するための説明図である。 実施例４に係る体感導入装置の概略的な構成の一例について説明するための説明図である。 実施例４に係る体感導入装置の概略的な構成の一例について説明するための説明図である。 実施例５に係る体感導入装置の概要について説明するための説明図である。 実施例５に係る体感導入装置の概略的な構成の一例について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．実施の形態
１．１．概略的な構成
１．２．スピーカ及びアクチュエータからの出力の制御
１．３．ハードウェア構成
１．４．機能構成
１．５．処理
２．実施例
２．１．実施例１：アクチュエータ及びスピーカの構成例１
２．２．実施例２：アクチュエータ及びスピーカの構成例２
２．３．実施例３：携帯型端末への適用例
２．４．実施例４：体感導入装置の一例
２．５．実施例５：コントローラへの適用例
３．まとめ

＜１．実施の形態＞
［１．１．概略的な構成］
まず、図１を参照しながら、本開示の実施形態に係る体感導入システムの概要について説明する。図１は、本開示の実施形態に係る体感導入システムの概略的なシステム構成の一例について説明するための説明図である。

図１に示すように、本開示の実施形態に係る体感導入システムは、例えば、体感導入装置１０と、制御装置２０と、表示装置９０とを含む。

例えば、図１は、制御装置２０が、ビデオゲームや映像作品を再生するための機器（例えば、ゲーム機器）として構成され、体感導入装置１０が、当該機器を操作するためのコントロール装置（以降では、「コントローラ」と呼ぶ場合がある）として構成されている場合の一例を示している。

体感導入装置１０は、ユーザがゲーム機器の操作（例えば、起動中のゲームに対する入力操作）を行うためのボタン等の入力デバイスを含む。また、体感導入装置１０は、加速度センサやジャイロセンサ（角速度センサ）等のような、体感導入装置１０の筐体の動きや向きの変化を検出するためのセンサ類を含んでもよい。このようなセンサを体感導入装置１０に設けることで、ユーザは、体感導入装置１０の筐体自体を動かす動作により、制御装置２０（例えば、ゲーム機器）に対する操作を行うことが可能となる。なお、上記に説明したユーザが体感導入装置１０を介して操作を行う方法及び構成はあくまで一例であり、上記に示す例に限定するものではない。例えば、体感導入装置１０に対して、入力デバイスとして、タッチパネルやアナログスティック等を設けてもよい。また、カメラなどの撮像デバイスにより、ユーザの動きをセンシングし、センシングされたユーザの動きを操作内容として認識するような構成を適用してもよい。

また、本実施形態に係る体感導入装置１０は、スピーカ及びアクチュエータを内蔵しており、当該スピーカからの音響出力と、当該アクチュエータの振動とにより疑似的な触覚をユーザにフィードバックする。

例えば、図１に示す例の場合には、制御装置２０は、コントローラとして構成された体感導入装置１０からのユーザ入力に基づき、表示装置９０の表示部９１に表示されたオブジェクトの動作を制御する。また、このとき、制御装置２０は、オブジェクトの動作に基づき、体感導入装置１０のスピーカから音響を出力させ、当該体感導入装置１０のアクチュエータを振動させることで、当該オブジェクトの動作に応じた触覚をユーザにフィードバックする。このような構成により、図１に示す体感導入システムは、ユーザに対して、臨場感の高い操作感を提供することが可能である。なお、以降では、アクチュエータの振動を「振動出力」と呼び、当該振動出力によりユーザに提示（フィードバック）される疑似的な触覚を「触覚フィードバック」と呼ぶ場合がある。

ここで、図２を参照しながら、本実施形態に係る体感導入装置１０の構成の一例について説明する。図２は、本実施形態に係る体感導入装置１０の概略的な構成について説明するための説明図であり、体感導入装置１０をユーザが保持した場合に、当該ユーザとは逆側から見た場合の当該体感導入装置１０の構成（即ち、体感導入装置１０の背面側の構成）を示している。具体的には、ユーザが体感導入装置１０の前面、即ち、ボタン等の入力デバイスが設けられた面と対面するように当該体感導入装置１０を保持した場合に、図面の左側が、ユーザから見た右側（Ｒ）に相当し、図面の右側が、ユーザから見た左側（Ｌ）に相当する。なお、以降では、ユーザが体感導入装置１０の前面と対面するように当該体感導入装置１０を保持した場合を、「ユーザが体感導入装置１０と正対した場合」と記載する場合がある。

図２に示すように、体感導入装置１０の筐体の背面には、スピーカ１１Ｒ及び１１Ｌが設けられている。具体的には、ユーザが体感導入装置１０と正対した場合に、体感導入装置１０の筐体の右側背面にはスピーカ１１Ｒが設けられ、体感導入装置１０の筐体の左側背面にはスピーカ１１Ｌが設けられている。

スピーカ１１Ｒは、主にユーザの右耳に向けて音響を出力するためのスピーカである。同様に、スピーカ１１Ｌは、主にユーザの左耳に向けて音響を出力するためのスピーカである。なお、以降では、スピーカ１１Ｒ及び１１Ｌを特に区別しない場合には、単に「スピーカ１１」と記載する場合がある。

また、本実施形態に係る体感導入装置１０は、互いに逆側に位置する筐体の両端部近傍に、ユーザが当該筐体を保持するための保持部１０１Ｒ及び１０１Ｌを備える。図２に示す例では、ユーザが体感導入装置１０と正対した場合において、保持部１０１Ｒは、体感導入装置１０の筐体の右側に設けられ、ユーザが体感導入装置１０の筐体を右手で保持する部分に相当する。同様に、保持部１０１Ｌは、体感導入装置１０の筐体の左側に設けられ、ユーザが体感導入装置１０の筐体を左手で保持する部分に相当する。

保持部１０１Ｒの内部には、供給される制御信号に基づき振動するアクチュエータ１３Ｒが内蔵されている。同様に、保持部１０１Ｌの内部には、アクチュエータ１３Ｌが内蔵されている。なお、以降では、アクチュエータ１３Ｒ及び１３Ｌを特に区別しない場合には、単に「アクチュエータ１３」と記載する場合がある。

図３は、アクチュエータ１３の一例について説明するための図である。例えば、図３は、互いに直交するｘ軸、ｙ軸、及びｚ軸の各軸に沿った方向（以降では、「ｘ方向」、「ｙ方向」、及び「ｚ方向」と呼ぶ場合がある）に振動可能に構成されたアクチュエータの一例を示している。このように互いに異なる複数の方向に振動するアクチュエータを適用し、振動する方向ごとに当該振動の振幅や位相を調整することで、体感導入装置１０は、ユーザに対して多様な触覚をフィードバックすることが可能となる。

また、本実施形態に係る体感導入装置１０は、図２に示すように複数のアクチュエータ１３（例えば、アクチュエータ１３Ｒ及び１３Ｌ）を備えている。そのため、体感導入装置１０は、複数のアクチュエータそれぞれの振動の振幅や位相を調整することで、ユーザに対して多様な触覚を提示することが可能である。具体的な一例として、体感導入装置１０は、図３に示すアクチュエータ１３Ｒ及び１３Ｌ間で、振動の振幅を偏らせることで、ユーザに提示する力覚に方向性を持たせることが可能となる。

また、体感導入装置１０は、複数のアクチュエータそれぞれの振動の出力に時間差を設けて制御してもよい。具体的な一例として、体感導入装置１０は、図３に示すアクチュエータ１３Ｒ及び１３Ｌ間で、振動を出力するタイミング（換言すると、位相）をずらすことで、ユーザに提示する力覚に方向性を持たせることが可能となる。もちろん、体感導入装置１０は、各アクチュエータの振幅の制御（例えば、ゲインやボリュームの制御）と、各アクチュエータをそれぞれの振動の出力タイミングの制御とを組み合わせてもよいことは言うまでもない。

なお、図３に示すアクチュエータ１３は、あくまで一例であり、当該アクチュエータ１３の構成は、図３に示す例には限定されない。例えば、アクチュエータ１３は、一方向にのみ振動可能に構成されていてもよい。また、アクチュエータ１３が振動する方向は、必ずしも直線方向には限定されない。例えば、図４は、アクチュエータ１３の他の一例について説明するための図である。図４に示すように、アクチュエータ１３は、所定の平面上の円周方向（図４に示す例の場合には、ｘｚ平面上の円周方向）に沿って振動するように構成されていてもよい。もちろん、図３に示すアクチュエータ１３の、ｘ方向及びｙ方向に沿った振動それぞれの振幅及び位相を調整することで、図４に示すようなアクチュエータ１３と同様の振動を再現してもよいことは言うまでもない。

次に、本実施形態に係る体感導入装置１０における、各スピーカからの音響出力と、各アクチュエータからの振動出力との制御の概要について説明する。

本実施形態に係る体感導入装置１０では、各スピーカからの音響出力の定位と、各アクチュエータの振動に基づく触覚フィードバックの定位とをあわせることで、より臨場感の高い触覚の提示を実現する。具体的には、体感導入装置１０は、複数のアクチュエータのうち１以上のアクチュエータと、複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含むように構成される。そして、体感導入装置１０の各スピーカからの音響出力と、各アクチュエータからの振動出力とは、互いに関連付けられたアクチュエータとスピーカとの組ごとに連動するように制御される。

例えば、図２に示す例の場合には、体感導入装置１０の右側（Ｒ）に位置するスピーカ１１Ｒと、ユーザが右手で保持する保持部１０１Ｒ内に設けられたアクチュエータ１３Ｒとが、あらかじめ関連付けられている。そして、スピーカ１１Ｒからの音響出力と、アクチュエータ１３Ｒからの振動出力とは、互いに連動するように制御される。

具体的な一例として、スピーカ１１Ｒからの音響出力の振幅が増加するように制御された場合はに、当該スピーカ１１Ｒに関連付けられているアクチュエータ１３Ｒからの振動出力の振幅があわせて増加するように制御させる。

なお、スピーカ１１からの音響出力と、アクチュエータ１３からの振動出力の制御主体は特に限定されない。例えば、体感導入装置１０が、スピーカ１１からの音響出力と、アクチュエータ１３からの振動出力とが連動するように制御してもよい。また、他の一例として、制御装置２０が、スピーカ１１からの音響出力と、アクチュエータ１３からの振動出力とが連動するように制御してもよい。なお、スピーカ１１とアクチュエータ１３との連動に係る制御の詳細については、別途後述する。また、制御装置２０が、体感導入装置の動作を制御するための制御信号を出力する「情報処理装置」の一例に相当する。

同様に、体感導入装置１０の左側（Ｌ）に位置するスピーカ１１Ｌと、ユーザが左手で保持する保持部１０１Ｌ内に設けられたアクチュエータ１３Ｌとが、あらかじめ関連付けられている。そして、スピーカ１１Ｌからの音響出力と、アクチュエータ１３Ｌからの振動出力とは、互いに連動するように制御される。

このような構成により、本実施形態に係る体感導入システムでは、体感導入装置１０のスピーカ１１からの音響出力と、アクチュエータ１３からの振動出力に基づく触覚フィードバックの定位とをあわせている。具体的には、スピーカ１１Ｒ及び１１Ｌから音響が出力される場合に、当該音響出力と同様にアクチュエータ１３Ｒ及び１３Ｌが振動することで、ユーザに触覚がフィードバックされる。このとき、例えば、スピーカ１１Ｒ及び１１Ｌから音響出力の振幅の比率（即ち、左右での音響出力の振幅の比率）にあわせて、アクチュエータ１３Ｒ及び１３Ｌによる触覚フィードバックの振幅の比率が調整される。このような制御により、本実施形態に係る体感システムでは、体感導入装置１０を介した触覚フィードバックの臨場感を飛躍的に向上させることが可能となる。

［１．２．スピーカ及びアクチュエータからの出力の制御］
次に、図５及び図６を参照して、本実施形態に係る体感導入システムにおける、体感導入装置１０の各スピーカ１１と各アクチュエータ１３とを連動させる制御の一例について、当該体感導入装置１０が、図２に示すように構成されている場合を例に説明する。図５は、本実施形態に係る体感導入装置１０の各スピーカ１１と各アクチュエータ１３とを連動させる制御の一例について説明するための説明図であり、当該体感導入装置１０を、ゲーム機器等のコントローラとして構成した場合の操作イメージの一例を示している。

例えば、図５は、ユーザが体感導入装置１０を左右に傾けることで、表示装置９０の表示部９１に表示されたオブジェクトｖ１０を、左右に操作する場合の操作イメージを示している。具体的には、ユーザが体感導入装置１０を左に傾けると、制御装置２０（図示しない）により、表示部９１に表示されたオブジェクトｖ１０が左に移動するように表示装置９０の表示が制御される。

このとき、制御装置２０からの指示に基づき、表示部９１上のオブジェクトｖ１０の動作にあわせて、体感導入装置１０のスピーカ１１Ｒ及び１１Ｌからの音響出力の振幅と、アクチュエータ１３Ｒ及び１３Ｌからの振動出力（即ち、触覚フィードバック）の振幅とが制御される。例えば、図６は、体感導入装置１０の各スピーカ１１からの音響出力と、各アクチュエータ１３からの振動出力との制御の一例について説明するための説明図である。

図６の上部に示すグラフｇ１１Ｒ及びｇ１１Ｌは、スピーカ１１Ｒ及び１１Ｌからの音響出力と、表示部９１上に表示されたオブジェクトｖ１０の当該表示部９１上における横方向の位置との関係の一例を示している。縦軸は、スピーカ出力、即ち、スピーカ１１Ｒ及び１１Ｌからの音響出力の振幅（相対値）を示している。また、横軸は、表示部９１上におけるオブジェクトｖ１０の横方向の座標ｘを示しており、当該グラフの右側が表示部９１上の右側に対応し、当該グラフの左側が表示部９１上の左側に対応している。また、グラフｇ１１Ｒは、スピーカ１１Ｒからの音響出力の振幅と、表示部９１上におけるオブジェクトｖ１０の横方向の座標ｘとの関係を示したグラフである。同様に、グラフｇ１１Ｌは、スピーカ１１Ｌからの音響出力の振幅と、表示部９１上におけるオブジェクトｖ１０の横方向の座標ｘとの関係を示したグラフである。

また、図６の下部に示すｇ１３Ｒ及びｇ１３Ｌは、アクチュエータ１３Ｒ及び１３Ｌからの振動出力と、表示部９１上に表示されたオブジェクトｖ１０の当該表示部９１上における横方向の位置との関係の一例を示している。縦軸は、アクチュエータ出力、即ち、アクチュエータ１３Ｒ及び１３Ｌからの振動出力の振幅（相対値）を示している。なお、横軸は、図６の上部に示した、スピーカ１１Ｒ及び１１Ｌからの音響出力に係るグラフと同様である。また、グラフｇ１３Ｒは、アクチュエータ１３Ｒからの振動出力の振幅と、表示部９１上におけるオブジェクトｖ１０の横方向の座標ｘとの関係を示したグラフである。同様に、グラフｇ１３Ｌは、アクチュエータ１３Ｌからの振動出力の振幅と、表示部９１上におけるオブジェクトｖ１０の横方向の座標ｘとの関係を示したグラフである。

図６に示す例では、オブジェクトｖ１０が表示部９１上の左側から右側に向けて移動した場合には、グラフｇ１１Ｒが示すように、スピーカ１１Ｒからの音響出力の振幅が線形的に増大するように制御される。このとき、アクチュエータ１３Ｒからの振動出力の振幅は、グラフｇ１３Ｒに示すように、スピーカ１１Ｒからの音響出力の振幅（グラフｇ１１Ｒ）に連動して、線形的に増大するように制御される。

また、オブジェクトｖ１０が表示部９１上の左側から右側に向けて移動した場合には、グラフｇ１１Ｌが示すように、スピーカ１１Ｌからの音響出力の振幅が線形的に減少するように制御される。このとき、アクチュエータ１３Ｌからの振動出力の振幅は、グラフｇ１３Ｌに示すように、スピーカ１１Ｌからの音響出力の振幅（グラフｇ１１Ｌ）に連動して、線形的に減少するように制御される。

また、図６では、スピーカ１１の音響出力に連動して、アクチュエータ１３からの振動出力が線形的に変化するように制御される例について説明したが、音響出力と振動出力とが連動していれば、必ずしも各出力が線形的に変化するように制御される必要はない。

例えば、図７は、体感導入装置１０の各スピーカ１１からの音響出力と、各アクチュエータ１３からの振動出力との制御の他の一例について説明するための説明図である。図７の上部に示すグラフｇ２１Ｒ及びｇ２１Ｌは、図６の上部に示すグラフｇ１１Ｒ及びｇ１１Ｌと同様にスピーカ１１Ｒ及び１１Ｌからの音響出力に対応している。そのため、グラフｇ２１Ｒ及びｇ２１Ｌの縦軸及び横軸は、図６の上部に示すグラフｇ１１Ｒ及びｇ１１Ｌと同様である。また、図７の下部に示すグラフｇ２３Ｒ及びｇ２３Ｌは、図６の下部に示すグラフｇ１３Ｒ及びｇ１３Ｌと同様にアクチュエータ１３Ｒ及び１３Ｌからの振動出力に対応している。そのため、グラフｇ２３Ｒ及びｇ２３Ｌの縦軸及び横軸は、図６の下部に示すグラフｇ１３Ｒ及びｇ１３Ｌと同様である。

図７に示す例では、オブジェクトｖ１０が表示部９１上の左側から右側に向けて移動した場合には、グラフｇ２１Ｒが示すように、スピーカ１１Ｒからの音響出力の振幅が線形的に増大するように制御される。これに対して、アクチュエータ１３Ｒからの振動出力の振幅は、グラフｇ２３Ｒに示すように、スピーカ１１Ｒからの音響出力の振幅（グラフｇ２１Ｒ）に連動して増大するが、振動出力の振幅が非線形的に変化するように制御される。具体的な一例として、グラフｇ２３Ｒに示すように、オブジェクトｖ１０が表示部９１上の左側の所定の座標を超えて右側に向けて移動した場合に、アクチュエータ１３Ｒからの振動出力の振幅が増大するように制御される。

また、オブジェクトｖ１０が表示部９１上の左側から右側に向けて移動した場合には、グラフｇ２１Ｌが示すように、スピーカ１１Ｌからの音響出力の振幅が線形的に減少するように制御される。これに対して、アクチュエータ１３Ｌからの振動出力の振幅は、グラフｇ２３Ｌに示すように、スピーカ１１Ｌからの音響出力の振幅（グラフｇ２１Ｌ）に連動して減少するが、振動出力の振幅が非線形的に変化するように制御される。具体的な一例として、グラフｇ２３Ｌに示すように、オブジェクトｖ１０が表示部９１上の左側の所定の座標を超えて右側に向けて移動した場合に、アクチュエータ１３Ｌからの振動出力の振幅が減少するように制御される。

なお、図６及び図７に基づき上述した制御はあくまで一例であり、あらかじめ関連付けられたスピーカ１１及びアクチュエータ１３（例えば、スピーカ１１Ｒ及びアクチュエータ１３Ｒや、スピーカ１１Ｌ及びアクチュエータ１３Ｌ）それぞれの出力が連動するように制御されれば、その制御方法は特に限定されない。

このように、本実施形態に係る体感導入システムでは、体感導入装置１０のスピーカ１１とアクチュエータ１３とを関連付け、互いに関連付けられたスピーカ１１及びアクチュエータ１３の組を複数設ける。そして、本実施形態に係る体感導入システムは、互いに関連付けられたスピーカ１１及びアクチュエータ１３それぞれからの出力（即ち、音響出力及び振動出力）を連動させる。このような構成及び制御に基づき、本実施形態に係る体感導入システムは、スピーカ１１からの音響出力の定位と、アクチュエータ１３からの振動出力に基づく触覚フィードバックの定位とをあわせ、触覚フィードバックの臨場感を飛躍的に向上させることが可能となる。

［１．３．ハードウェア構成］
次に、図８を参照して、本実施形態に係る体感導入装置１０のハードウェア構成の一例について説明する。図８は、本実施形態に係る体感導入装置１０のハードウェア構成の一例を示している。

図８に示すように、例えば、本実施形態に係る体感導入装置１０は、プロセッサ９０１と、メモリ９０３と、ストレージ９０５と、スピーカ９０７と、アクチュエータ９０９と、通信デバイス９１１と、操作デバイス９１３と、加速度センサ９１５とを含む。

プロセッサ９０１は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）又はＳｏＣ（System on Chip）であってよく、体感導入装置１０の様々な処理を実行する。プロセッサ９０１は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。メモリ９０３は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０５は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。

スピーカ９０７は、音響信号を出力するための出力デバイスである。本実施形態に係る体感導入装置１０は、スピーカ９０７を複数含む。なお、スピーカ９０７は、図２に示したスピーカ１１Ｒ及び１１Ｌに対応している。

アクチュエータ９０９は、入力される制御信号により振動することで、疑似的な触覚をユーザにフィードバックするためのデバイスである。本実施形態に係る体感導入装置１０は、アクチュエータ９０９を複数含み、各アクチュエータ９０９は、複数のスピーカ９０７のいずれかと関連付けられている。なお、アクチュエータ９０９は、図２に示したアクチュエータ１３Ｒ及び１３Ｌに対応している。

通信デバイス９１１は、体感導入装置１０が備える通信手段であり、ネットワークを介して外部装置（例えば、図１に示した制御装置２０）と通信する。通信デバイス９１１は、無線または有線通信用のインタフェースとして構成され得る。なお、通信デバイス９１１を無線通信用のインタフェースとして構成する場合には、当該通信デバイス９１１は、通信アンテナ、ＲＦ（Radio Frequency）回路、ベースバンドプロセッサなどを含んでもよい。具体的な一例として、通信デバイス９１１は、ブルートゥース（登録商標）のような所定の通信エリア内に存在する１以上の外部装置との間で無線通信を確立することが可能な通信デバイスであってもよい。

通信デバイス９１１は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ９０１に供給することが可能である。

操作デバイス９１３は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス９１３は、例えばボタン及びスイッチなどユーザが情報を入力するための入力デバイスと、ユーザによる入力に基づいて入力信号を生成し、プロセッサ９０１に供給する入力制御回路などから構成されてよい。

加速度センサ９１５は、加速度を電圧値として検出するセンサである。加速度センサ９１５は、Ｘ軸方向に沿った加速度、Ｙ軸方向に沿った加速度、及びＺ軸方向に沿った加速度をそれぞれ検出する３軸加速度センサであってよい。加速度センサ９１５は、検出した加速度データをプロセッサ９０１に供給することができる。

また、加速度センサ９１５に替えて、ジャイロセンサを設けてもよいし、当該加速度センサ９１５と当該ジャイロセンサとの双方を設けてもよい。当該ジャイロセンサは、物体の角度や角速度を検出する計測器の一種である。このジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸周りの回転角の変化する速度（角速度）を電圧値として検出する３軸ジャイロセンサであってよい。ジャイロセンサは、検出した角速度データをプロセッサ９０１に供給することができる。

バス９１７は、プロセッサ９０１、メモリ９０３、ストレージ９０５、スピーカ９０７、アクチュエータ９０９、通信デバイス９１１、操作デバイス９１３、及び加速度センサ９１５を相互に接続する。バス９１７は、複数の種類のバスを含んでもよい。

［１．４．機能構成］
次に、図９を参照して、本実施形態に係る体感導入システムの機能構成の一例について、特に、体感導入装置１０と、制御装置２０とに着目して説明する。図９は、本実施形態に係る体感導入システムの機能構成の一例を示したブロック図である。

まず、制御装置２０に着目して説明する。図９に示すように、制御装置２０は、制御部２１と、通信部２３と、信号データ記憶部２５とを含む。また、制御部２１は、演算部２１１と、信号処理部２１３と、表示制御部２１５とを含む。

通信部２３は、制御装置２０内の各構成が、ネットワークｎ１を介して体感導入装置１０や表示装置９０（図示しない）と通信を行うための通信インタフェースである。ネットワークｎ１は、例えば、異なる機器を接続するための無線または有線の伝送路である。ネットワークｎ１を無線の伝送路として構成する場合には、具体的な一例としてブルートゥース（登録商標）規格に基づく無線通信ネットワークが挙げられる。なお、以降では、制御装置２０内の各構成が、体感導入装置１０や表示装置９０との間でデータを送受信する場合には、特に説明がない場合においても、通信部２３を介して当該データの送受信を行うものとする。

また、通信部２３は、インターネットのような通信経路を介して外部のサーバと通信可能に構成されていてもよい。この場合には、通信部２３は、例えば、インターネットのような通信経路を介して通信を確立するデバイスであり得る。なお、以降では、説明をわかりやすくするために、通信部２３が、体感導入装置１０、表示装置９０、及び外部のサーバのそれぞれと通信可能なものとして説明するが、必ずしも、当該構成に限定されない。例えば、体感導入装置１０、表示装置９０、及び外部のサーバのうち、いずれか一部との間で通信を行う通信インタフェースと、他の一部との間で通信を行う通信インタフェースとを互いに異なるデバイスとして設けてもよい。

制御部２１は、ビデオゲームや映像作品などの一連のコンテンツを取得し、当該コンテンツに含まれる映像データ、音響データ、及び触覚データを基に、映像、音響、及び触覚を、体感導入装置１０や表示装置９０を介してユーザに提示するための各種制御を行う。なお、コンテンツの取得元は特に限定されない。例えば、制御部２１は、制御装置２０内の記憶部（図示しない）に記憶されたコンテンツを取得してもよいし、インターネットなどのネットワークを介して外部からコンテンツを取得してもよい。

以下に、制御部２１の各構成について、図５に示すように、表示装置９０の表示部９１に表示されたオブジェクトｖ１０を、ユーザが、コントローラとして構成された体感導入装置１０を介して操作する場合を例に説明する。

演算部２１１は、ユーザが体感導入装置１０に対して行った操作の内容を示す制御信号を、ネットワークｎ１を介して、当該体感導入装置１０から取得する。演算部２１１は、取得した制御信号に基づき、ユーザが行った操作の内容、即ち、操作の方向や操作量を特定し、特定した当該操作の内容を入力とした物理演算に基づき、オブジェクトｖ１０の動きを算出する。

具体的な一例として、演算部２１１は、操作の方向に基づきオブジェクトｖ１０に働く力の方向を特定し、操作量に基づき当該オブジェクトｖ１０に働く力の大きさを特定してもよい。これにより、演算部２１１は、例えば、オブジェクトｖ１０の重さや、当該オブジェクトｖ１０に働く重力を仮想的に設定しておくことで、ユーザ操作に基づき算出した当該オブジェクトｖ１０に働く力の大きさや方向により、当該オブジェクトｖ１０の運動方向や運動速度（ひいては、当該オブジェクトｖ１０の時系列に沿った動作）を算出することが可能となる。

なお、演算部２１１は、上記に示すように、ユーザ操作に基づきオブジェクトｖ１０が運動する例に限らず、各種オブジェクトの動作を物理演算に基づきシミュレートしてもよい。具体的な一例として、演算部２１１は、コンテンツとして再生された、あるオブジェクトが運動する映像を解析することで、当該オブジェクトの運動方向や運動速度を算出してもよい。

また、物理演算の内容は必ずしもオブジェクトの運動には限定されない。例えば、演算部２１１は、コンテンツとして再生された、あるオブジェクトの映像を解析することで、当該オブジェクトの表面の形状及び粗さのうち少なくともいずれかを算出し、算出された表面の形状または粗さに基づき当該表面との間で発生する摩擦力を算出してもよい。このようにして算出された摩擦力からは、例えば、ユーザが当該オブジェクトを触った場合の感触を触覚フィードバックとして模擬的に再現することも可能となる。

演算部２１１は、物理演算の結果、例えば、算出したオブジェクトｖ１０の運動方向や運動速度を示す情報を、信号処理部２１３と、表示制御部２１５とに通知する。

表示制御部２１５は、取得されたコンテンツに含まれる映像を、表示装置９０の表示部９１に表示させる。これにより、例えば、図５に示すように、表示装置９０の表示部９１にオブジェクトｖ１０が表示される。

また、表示制御部２１５は、物理演算の結果、例えば、オブジェクトｖ１０の運動方向や運動速度を示す情報を、演算部２１１から取得する。表示制御部２１５は、取得したオブジェクトｖ１０の運動方向や運動速度に基づき、当該オブジェクトｖ１０の表示位置や表示態様（例えば、形状の変化等）を算出する。そして、表示制御部２１５は、算出したオブジェクトｖ１０の表示位置や表示態様に基づき、表示部９１に表示されたオブジェクトｖ１０の映像を表示装置９０に更新させる。

信号処理部２１３は、演算部２１１による物理演算の結果に基づき、体感導入装置１０のスピーカ１１Ｒ及び１１Ｌから出力される音響信号に対して信号処理を施す。また、信号処理部２１３は、当該物理演算の結果に基づき、アクチュエータ１３Ｒ及び１３Ｌを振動させるための制御信号を生成する。

例えば、信号処理部２１３は、再生されたコンテンツから、スピーカ１１Ｒ及び１１Ｌそれぞれから出力される音響信号を読み出し、各音響信号の振幅を、図６や図７に基づき前述したように、オブジェクトｖ１０の運動方向や運動速度に応じて制御してもよい。

また、信号処理部２１３は、再生されたコンテンツから触覚を再現するための触覚データ（例えば、振動を示す振動信号）を読み出し、アクチュエータ１３Ｒ及び１３Ｌのそれぞれを駆動するための制御信号を生成する。具体的な一例として、信号処理部２１３は、アクチュエータ１３Ｒからの振動出力が、スピーカ１１Ｒからの音響出力と連動するように、コンテンツから読み出した振動信号を加工または制御することで、アクチュエータ１３Ｒを駆動するための制御信号を生成してよい。同様に、信号処理部２１３は、アクチュエータ１３Ｌからの振動出力が、スピーカ１１Ｌからの音響出力と連動するように、コンテンツから読み出した振動信号を加工または制御することで、アクチュエータ１３Ｌを駆動するための制御信号を生成してよい。以上のような制御に基づき、信号処理部２１３は、アクチュエータ１３Ｒ及び１３Ｌのそれぞれを駆動するための制御信号を生成する。

また、信号処理部２１３は、アクチュエータ１３Ｒ及び１３Ｌのそれぞれを駆動するための制御信号を生成する際に、例えば、信号データ記憶部２５に記憶された基準信号を加工することで、当該制御信号を生成してもよい。

信号データ記憶部２５に記憶された基準信号とは、例えば、各種触覚フィードバックを実現するためにアクチュエータ１３を駆動する制御信号の生成元となる信号である。信号データ記憶部２５には、例えば、再現される触覚フィードバックの種別ごとにあらかじめ生成された基準信号が記憶されている。信号処理部２１３は、再現する触覚フィードバック（例えば、コンテンツに含まれる触覚データが示す触覚フィードバック）に応じて対応する基準信号を信号データ記憶部２５から読み出し、読み出した基準信号の振幅や位相を調整することで、アクチュエータ１３を駆動するための制御信号を生成する。なお、基準信号や、コンテンツに含まれる音響データ及び触覚データが示す信号（例えば、音響信号及び振動信号）が、「体感導入装置の動作を制御するための制御信号」の一例に相当する。

また、再生されるコンテンツによっては、必ずしも、触覚を再現するための触覚データが含まれているとは限らない。そのため、信号処理部２１３は、音響データ、もしくは、当該音響データに基づく音響信号を元に、触覚フィードバックを疑似的に再現し、当該触覚フィードバックが提示されるようにアクチュエータ１３を駆動するための制御信号を生成してもよい。

具体的な一例として、信号処理部２１３は、音響信号に対してローパスフィルタを適用することで、当該音響信号の低周波帯域（例えば、１０００Ｈｚ以下の帯域）の信号（振動信号）を抽出し、抽出した低周波帯域の信号を元に触覚フィードバックを疑似的に再現してもよい。このような処理により、例えば、時系列に沿って緩やかに変動する振動を再現することが可能となる。また、信号処理部２１３は、音響信号に対してハイパスフィルタを適用し、当該音響信号の高周波帯域（例えば、３００Ｈｚ以上の帯域）の信号を抽出し、抽出した高周波帯域の信号を、出力対象となる音響信号としてもよい。

また、信号処理部２１３は、抽出した低周波帯域の信号を解析することで、当該信号の立ち上がりを検知し、当該立ち上がりを示す短パルスを含む信号を元に触覚フィードバックを疑似的に再現してもよい。このような処理により、例えば、衝突時の衝撃のように、急激に変動する振動を再現することが可能となる。

また、音響信号から触覚フィードバックを疑似的に再現する場合には、信号処理部２１３は、抽出した信号（例えば、低周波帯域の信号）に対して、さらに信号処理を施してもよいことは言うまでもない。信号処理の具体的な一例としては、各種フィルタ（ローパスフィルタ、ハイパスフィルタ、またはバンドパスフィルタ）の適用や、ピッチシフトなど処理の適用のいずれか、もしくは複数の組み合わせが挙げられる。

また、信号処理部２１３は、制御装置２０に無線または有線で接続されている体感導入装置１０のアクチュエータ１３の振動方向の次元にあわせて、当該アクチュエータ１３Ｌを駆動する制御信号を生成してもよい。

具体的な一例として、コンテンツに含まれた触覚を再現するための触覚データが、図３に示すようなｘ方向、ｙ方向、及びｚ方向に振動するアクチュエータ１３を想定して生成されているものとする。これに対して、体感導入装置１０のアクチュエータ１３が、ｘ方向、ｙ方向、及びｚ方向のうちのいずれか一方向にのみ振動可能に構成されている場合がある。この場合には、信号処理部２１３は、例えば、体感導入装置１０から当該アクチュエータ１３の情報（即ち、振動可能な方向に関する情報）を事前に取得し、当該情報に基づき、当該アクチュエータ１３の振動方向の次元にあわせて制御信号を生成してもよい。

例えば、体感導入装置１０のアクチュエータ１３がｘ方向にのみ振動可能に構成されているものとする。この場合には、信号処理部２１３は、コンテンツに含まれた触覚データが示す、ｘ方向、ｙ方向、及びｚ方向の振動のうち、ｘ方向の振動のみを再現するように制御信号を生成してもよい。

また、他の一例として、信号処理部２１３は、コンテンツに含まれた触覚データが示す、ｘ方向、ｙ方向、及びｚ方向の振動成分に基づくベクトル演算により、体感導入装置１０のアクチュエータ１３の振動の振幅を決定してもよい。具体的な一例として、コンテンツに含まれた触覚データが示す、ｘ方向、ｙ方向、及びｚ方向の振動成分の振幅それぞれを、Ｖｘ、Ｖｙ、及びＶｚとする。この場合に、信号処理部２１３は、例えば、以下に示す数式１に基づき、体感導入装置１０のアクチュエータ１３の振動の振幅Ｖを決定してもよい。

なお、上記はあくまで一例であり、コンテンツに含まれた触覚データが示す振動方向の次元が、体感導入装置１０のアクチュエータ１３が振動可能な方向の次元よりも大きい場合における、アクチュエータ１３の振動の振幅を算出する方法は特に限定されない。例えば、信号処理部２１３は、触覚データが示す、ｘ方向、ｙ方向、及びｚ方向の振動成分それぞれの振幅の平均に基づき、体感導入装置１０のアクチュエータ１３の振動の振幅を決定してもよい。

以上のようにして、信号処理部２１３は、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力される音響信号に信号処理を施し、アクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動する制御信号を生成する。このとき、スピーカ１１Ｒからの音響出力とアクチュエータ１３Ｒからの振動出力とが連動するように、当該アクチュエータ１３Ｒを駆動する制御信号が生成される。このとき、信号処理部２１３は、スピーカ１１Ｒから出力される音響信号の振幅や位相を制御してもよい。同様に、スピーカ１１Ｌから音響出力とアクチュエータ１３Ｌからの振動出力とが連動するように、当該アクチュエータ１３Ｌを駆動する制御信号が生成される。また、信号処理部２１３は、スピーカ１１Ｌから出力される音響信号の振幅や位相を制御してもよいことは言うまでもない。

信号処理部２１３は、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力される音響信号と、アクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動する制御信号とを、体感導入装置１０に送信する。これにより、体感導入装置１０のスピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌからの振動出力とが制御される。なお、信号処理部２１３のうち、音響信号及び制御信号を体感導入装置１０に出力する部分が「出力部」の一例に相当する。

次に、体感導入装置１０に着目する。図９に示すように、体感導入装置１０は、スピーカ１１Ｒ及び１１Ｌと、アクチュエータ１３Ｒ及び１３Ｌと、制御部１４と、通信部１２と、入力部１９とを含む。スピーカ１１Ｒ及び１１Ｌと、アクチュエータ１３Ｒ及び１３Ｌとは、図２に示した、スピーカ１１Ｒ及び１１Ｌと、アクチュエータ１３Ｒ及び１３Ｌとにそれぞれ対応している。また、入力部１９は、操作部１９１と、検知部１９３とを含む。

通信部１２は、体感導入装置１０内の各構成が、ネットワークｎ１を介して制御装置２０と通信を行うための通信インタフェースである。通信部１２は、例えば、図８に示した通信デバイス９１１により構成され得る。なお、以降では、体感導入装置１０内の各構成が、制御装置２０との間でデータを送受信する場合には、特に説明がない場合においても、通信部１２を介して当該データの送受信を行うものとする。

操作部１９１は、例えば、ボタン及びスイッチなどのような、ユーザが情報を入力するための入力デバイスである。操作部１９１は、例えば、図８に示した操作デバイス９１３により構成され得る。操作部１９１は、ユーザからの操作を受け付けると、当該操作の内容を示す制御信号を、制御部１４を介して制御装置２０に通知する。

また、検知部１９３は、加速度センサやジャイロセンサ（角速度センサ）等のような、体感導入装置１０の筐体の動きや向きの変化を検出するためのセンサ類に相当する。検知部１９３は、例えば、図８に示した加速度センサ９１５により構成され得る。ユーザが体感導入装置１０の筐体を動かすことで当該体感導入装置１０を操作した場合に、検知部１９３は、当該操作の内容を（即ち、当該筐体の動きや向きの変化）を示す制御信号を、制御部１４を介して制御装置２０に通知する。

制御部１４は、操作部１９１または検知部１９３から操作の内容を示す制御信号を受け付けると、当該制御信号を制御装置２０に通知する。これにより、制御装置２０は、ユーザが体感導入装置１０に対して行った操作の内容を認識することが可能となる。

また、制御部１４は、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力するための音響信号と、アクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動するための制御信号とを、制御装置２０から受信する。

制御部１４は、制御装置２０から受信した音響信号をスピーカ１１Ｒ及び１１Ｌから出力し、受信した制御信号に基づきアクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動する。制御部１４は、例えば、図８に示したプロセッサ９０１により構成され得る。

以上、本実施形態に係る体感導入システムについて、特に、体感導入装置１０及び制御装置２０に着目して説明した。

なお、体感導入装置１０のスピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌからの振動出力とが連動すれば、当該音響出力及び振動出力は、必ずしも図５に示すように表示部９１に表示された映像と連動していなくてもよい。

また、上記で説明した図９に示す例では、信号処理部２１３が、制御装置２０側に設けられている例について説明したが、必ずしも図９に示す構成には限定されない。例えば、信号処理部２１３を体感導入装置１０側に設けることで、スピーカ１１Ｒ及び１１Ｌから出力する音響信号に対する信号処理や、アクチュエータ１３Ｒ及び１３Ｌを駆動するための制御信号の生成を、体感導入装置１０側で実行してもよい。

この場合には、例えば、制御装置２０側の制御部２１は、演算部２１１による演算結果を体感導入装置１０側に通知する。この通知を受けて、当該体感導入装置１０側に設けられた信号処理部２１３は、通知された演算結果に基づき、スピーカ１１Ｒ及び１１Ｌから出力される音響信号に対する信号処理や、アクチュエータ１３Ｒ及び１１Ｌを駆動するための制御信号の生成を行えばよい。

また、信号処理部２１３の一部の処理のみを、体感導入装置１０側で実行するようにしてもよい。具体的な一例として、スピーカ１１Ｒ及び１１Ｌから出力される音響信号に対する信号処理を制御装置２０側で実行し、アクチュエータ１３Ｒ及び１３Ｌを駆動するための制御信号の生成を体感導入装置１０側で実行するようにしてもよい。また、他の一例として、スピーカ１１Ｒ及び１１Ｌからの音響出力の振幅の制御（例えば、ゲインやボリュームの制御）や、アクチュエータ１３Ｒ及び１３Ｌからの振動出力の振幅の制御のみを、体感導入装置１０側で実行するようにしてもよい。

なお、本実施形態に係る信号処理部２１３は、互いに関連付けられたスピーカ１１及びアクチュエータ１３それぞれからの出力（即ち、音響出力及び振動出力）が重複する周波数帯域において、少なくともいずれか一方の出力の振幅を他方の出力の振幅に基づき制御してもよい。

具体的な一例として、音響出力と振動出力とが重複する周波数帯域では、ユーザは、振動出力を音響として知覚する場合がある。そのため、ユーザは、アクチュエータ１３からの触覚フィードバック（振動出力）により、スピーカ１１から出力される音響のうち、音響出力と振動出力とが重複する周波数帯域の音響を、他の周波数帯域の音響に比べて出力が増大したように感じる場合がある。

例えば、図１０は、互いに関係づけられたスピーカ１１及びアクチュエータ１３のそれぞれから出力される信号（即ち、音響信号及び振動信号）の波形の一例を示している。図１０の上部及び下部それぞれに示す信号波形ｇ３１及びｇ３２は、縦軸が当該信号波形の振幅（Ｖ）、即ち、電圧値の変動を振幅として示しており、横軸が時間を示している。図１０の上部に示した信号波形ｇ３１は、スピーカ１１から出力される音響信号の波形の一例を示している。また、図１０の下部に示した信号波形ｇ３２は、アクチュエータ１３から出力される振動信号の波形の一例を示している。

また、図１１は、図１０に示した信号波形ｇ３１及びｇ３２それぞれの、周波数成分の分布を示している。図１１の上部及び下部それぞれに示す信号波形ｇ３３及びｇ３４は、縦軸が当該信号波形のゲインを示しており、横軸が周波数を示している。

具体的な一例として、図１１に示す例では、参照符号ｇ３５で示された周波数帯域において、参照符号ｇ３３１で示された音響信号と、参照符号ｇ３４１で示された振動信号とが重複している。この場合には、参照符号ｇ３５で示された周波数帯域において、音響信号ｇ３３１と振動信号ｇ３４１とが重畳し、ユーザは、当該周波数帯域ｇ３５の音響を、他の周波数帯域の音響に比べて出力が増大したように感じることとなる。

そのため、信号処理部２１３は、スピーカ１１及びアクチュエータ１３それぞれからの出力が重複する周波数帯域において、少なくともいずれか一方の出力の振幅を制限してもよい（換言すると、ゲインまたはボリュームを制限してもよい）。具体的な一例として、信号処理部２１３は、音響出力と振動出力との出力比をあらかじめ決めておき、当該出力比に応じて音響出力及び振動出力それぞれを減衰させる減衰量を決定してもよい。例えば、音響出力と振動出力との出力比を１：１とした場合には、信号処理部２１３は、音響出力及び振動出力それぞれの振幅を１／２に減衰させればよい。また、他の一例として、音響出力と振動出力との出力比を２：１とした場合には、信号処理部２１３は、音響出力の振幅を２／３に減衰させ、振動出力の振幅を１／３に減衰させればよいこととなる。

また、他の一例として、信号処理部２１３は、スピーカ１１からの音響出力の振幅と、アクチュエータ１３からの振動出力の振幅との比率に基づき重み付けを行い、当該重み付けに応じて音響出力及び振動出力の振幅を減衰させてもよい。

［１．５．処理］
次に、図１２及び図１３を参照して、本実施形態に係る体感導入システムの一連の動作の流れについて、特に、体感導入装置１０及び制御装置２０の動作に着目して説明する。図１２は、本実施形態に係る体感導入システムの一連の動作の流れについて説明するための説明図であり、当該体感導入装置１０を、ゲーム機器等のコントローラとして構成した場合の操作イメージの一例を示している。また、図１３は、本実施形態に係る体感導入システムの一連の動作の流れの一例を示している。

本説明では、図１２に示すように、ユーザが体感導入装置１０を左右に傾けることで、表示装置９０の表示部９１に表示された箱状のオブジェクトｖ２０を操作し、当該操作に応じてオブジェクトｖ２０内のオブジェクトｖ２１が動作する場合を例に説明する。

（ステップＳ１０１）
例えば、図１２の左側の図に示す例では、オブジェクトｖ２１は、箱状のオブジェクトｖ２０の右側の側面ｖ２０１の内面近傍に位置している。この状態から、図１２の右側の図に示すように、ユーザが体感導入装置１０を左側に傾けるように操作を行ったものとする。

このとき、ユーザによる、体感導入装置１０を左側に傾ける操作は、当該体感導入装置１０内の検知部１９３（図９参照）により検知される。

（ステップＳ１０３）
検知部１９３は、検知した操作内容、即ち、操作の種別（例えば、体感導入装置１０を傾ける操作を示す種別）、操作方向、及び操作量を示す制御信号を、制御部１４を介して制御装置２０に通知する。

（ステップＳ１０５）
演算部２１１は、ユーザが体感導入装置１０に対して行った操作の内容を示す制御信号を、ネットワークｎ１を介して、当該体感導入装置１０から取得する。演算部２１１は、取得した制御信号に基づき、操作の種別、操作方向、及び操作量を認識する。例えば、図１２に示す例の場合には、演算部２１１は、ユーザが、体感導入装置１０を、どのくらいの量（例えば、角度）だけ左方向に向けて傾けたかを認識することとなる。

演算部２１１は、例えば、操作の種別及び操作の方向に基づきオブジェクトｖ２０に働く力の方向を算出し、操作量に基づき当該オブジェクトｖ２０に働く力の大きさを算出する。そして、演算部２１１は、算出した、オブジェクトｖ２０に働く力の方向と、当該力の量とに基づき、当該オブジェクトｖ２０の移動方向及び移動量を算出する。

また、演算部２１１は、オブジェクトｖ２０の移動に伴い、当該オブジェクトｖ２０内に位置するオブジェクトｖ２１の運動方向及び運動量を算出する。ここでは、オブジェクトｖ２１は、仮想的に設定された重力の影響で、オブジェクトｖ２０の側面ｖ２０３側に向けて左側に移動し、当該側面ｖ２０３の内面に衝突したものとして説明する。

演算部２１１は、物理演算の結果、例えば、算出したオブジェクトｖ２０及びｖ２１の運動方向や運動速度を示す情報を、信号処理部２１３と、表示制御部２１５とに通知する。これにより、信号処理部２１３及び表示制御部２１５は、箱状のオブジェクトｖ２０が左に向けて傾き、当該オブジェクトｖ２０の移動に伴い、オブジェクトｖ２１が、側面ｖ２０３側に向けて左側に移動し、当該側面ｖ２０３の内面に衝突したことを認識する。

（ステップＳ１０７）
信号処理部２１３は、演算部２１１による物理演算の結果に基づき、体感導入装置１０のスピーカ１１Ｒ及び１１Ｌから出力される音響信号に対して信号処理を施し、アクチュエータ１３Ｒ及び１３Ｌを振動させるための制御信号を生成する。

例えば、信号処理部２１３は、再生されたコンテンツから、オブジェクトｖ２１が移動する動作に対応した音響信号を読み出し、オブジェクトｖ２１の移動に応じて、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力される音響信号の振幅を制御する。具体的な一例として、信号処理部２１３は、オブジェクトｖ２１の画面右側から左側に向けた移動に応じて、スピーカ１１Ｒからの音響出力の振幅を時系列に沿って減衰させ、スピーカ１１Ｌからの音響出力の振幅を増幅させる。

また、信号処理部２１３は、スピーカ１１Ｒからの音響出力とアクチュエータ１３Ｒからの振動出力とが連動するように、当該アクチュエータ１３Ｒを駆動させるための制御信号を生成する。即ち、信号処理部２１３は、スピーカ１１Ｒから音響出力の減衰に連動して、アクチュエータ１３Ｒからの振動出力が時系列に沿って減衰するように、当該アクチュエータ１３Ｒを動作させるための制御信号を生成する。

同様に、信号処理部２１３は、スピーカ１１Ｌからの音響出力とアクチュエータ１３Ｌからの振動出力とが連動するように、当該アクチュエータ１３Ｌを駆動させるための制御信号を生成する。即ち、信号処理部２１３は、スピーカ１１Ｌから音響出力の増幅に連動して、アクチュエータ１３Ｌからの振動出力が時系列に沿って増幅するように、当該アクチュエータ１３Ｌを動作させるための制御信号を生成する。

また、信号処理部２１３は、再生されたコンテンツから、オブジェクトｖ２１がオブジェクトｖ２０の内壁に衝突した場合の動作に対応した音響信号を読み出し、衝突した位置に応じて、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力される音響信号の振幅を制御する（換言すると、音響信号のゲインやボリュームを制御する）。例えば、図１２に示す例では、オブジェクトｖ２１は、画面左側に位置する側面ｖ２０３の内壁に衝突したため、信号処理部２１３は、当該衝突に対応する音響信号が、左側のスピーカ１１Ｌから出力されるように制御する。

信号処理部２１３は、衝突に対応する音響信号が、オブジェクトｖ２１が側面ｖ２０３の内壁に衝突したタイミングに同期してスピーカ１１Ｌから出力されるように、当該音響信号の出力タイミングを制御する。

また、信号処理部２１３は、スピーカ１１Ｌから音響出力とアクチュエータ１３Ｌからの振動出力とが連動するように、当該アクチュエータ１３Ｌを駆動させるための制御信号を生成する。即ち、信号処理部２１３は、スピーカ１１Ｌからの衝突に対応する音響信号の出力に連動して、当該衝突に対応した触覚フィードバックを提示されるようにアクチュエータ１３Ｌを駆動するための制御信号を生成する。具体的な一例として、まず、信号処理部２１３は、あらかじめ生成された、物体どうしの衝突を提示するための基準信号を信号データ記憶部２５から読み出す。そして、信号処理部２１３は、演算部２１１による物理演算の結果や、音響信号の振幅に基づき、読み出した基準信号の振幅や位相を制御することで、アクチュエータ１３Ｌを駆動するための制御信号を生成する。

（ステップＳ１０９）
信号処理部２１３は、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力される音響信号と、アクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動する制御信号とを、体感導入装置１０に送信する。

（ステップＳ１１１）
信号処理部２１３から送信された、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力するための音響信号と、アクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動するための制御信号とは、体感導入装置１０の制御部１４に受信される。

制御部１４は、制御装置２０から受信した音響信号をスピーカ１１Ｒ及び１１Ｌから出力し、受信した制御信号に基づきアクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動する。

（ステップＳ１１３）
また、表示制御部２１５は、演算部２１１による物理演算の結果に基づき、オブジェクトｖ２０及びｖ２１の運動方向や運動速度を認識し、当該オブジェクトｖ２０及びｖ２１の表示位置や表示態様（例えば、向きや形状の変化等）を算出する。そして、表示制御部２１５は、算出したオブジェクトｖ２０及びｖ２１の表示位置や表示態様に基づき、表示部９１に表示されたオブジェクトｖ２０及びｖ２１の映像を表示装置９０に更新させる。

以上により、ユーザによる体感導入装置１０の操作に基づき、表示装置９０の表示部９１に表示されたオブジェクトｖ２０及びｖ２１の動作が、制御装置２０により制御される。また、制御装置２０からの制御に基づき、表示部９１に表示されたオブジェクトｖ２０及びｖ２１の動作と、体感導入装置１０のスピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌからの振動出力とが連動する。このような構成により、本実施形態に係る体感導入装置システムは、表示部９１に表示された映像と、スピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌの振動に基づく触覚フィードバックとの間でそれぞれの定位を一致させる。そのため、本実施形態に係る体感導入システムは、より臨場感の高い触覚フィードバックの提示を実現することが可能となる。

また、制御装置２０は、表示部９１に表示された映像と、スピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌの振動に基づく触覚フィードバックとに加えて、ユーザの操作の定位をあわせるように制御してもよい。例えば、図１４は、映像、音響出力、触覚フィードバック、及びユーザ操作の定位をあわせるように制御した場合の一例について説明するための説明図である。

図１４に示す例では、コントローラとして構成された体感導入装置１０の筐体の右側に設けられた操作デバイス１９１Ｒをユーザが操作した場合について示している。この場合には、例えば、制御装置２０（図示しない）は、ユーザの操作デバイス１９１Ｒに対する操作に基づき、表示装置９０の表示部９１の右側にオブジェクトｖ３０を表示させる。また、このとき制御装置２０は、体感導入装置１０の右側に設けられたスピーカ１１Ｒから音響を出力するとともに、当該音響出力に連動して、体感導入装置１０の右側に設けられたアクチュエータ１３Ｒを振動させることで、ユーザの右手に触覚をフィードバックする。

このように、図１４に示す体感導入システムでは、ユーザ操作、映像、音響出力、及び触覚フィードバックの定位をあわせることで、より臨場感の高い触覚フィードバックの提示を実現し、ひいては、操作時の没入感をより向上させることが可能となる。

また、他の一例として、画面上に表示されるＵＩ（ユーザインタフェース）を操作する場合に、操作対象に応じて、スピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌの振動に基づく触覚フィードバックとを制御してもよい。

この場合には、例えば、制御装置２０（図示しない）は、ボタンやコントロールバーのような所定の操作を行うためのオブジェクトを含むＵＩ（画面）を表示部９１に表示させ、ユーザ操作の内容に応じて、操作対象となるＵＩ中のオブジェクトを特定する。そして、制御装置２０は、ＵＩ中の所定のオブジェクトが操作対象となった場合に、スピーカ１１Ｒ及び１１Ｌのいずれかから音響を出力し、当該音響出力に連動してアクチュエータ１３Ｒ及び１３Ｌのいずれかの振動に基づく触覚をフィードバックする。

このとき、制御装置２０は、ユーザの操作方向と、音響出力及び触覚フィードバックとの定位をあわせるように、スピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌの振動に基づく触覚フィードバックとを制御してもよい。具体的には、制御部２０は、例えば、ユーザが画面の右方向に向けて操作を行うことで所定のオブジェクトが操作対象となった場合には、体感導入装置１０のスピーカ１１Ｒから音響を出力し、アクチュエータ１３Ｒを駆動させることで振動をフィードバックしてもよい。

また、制御装置２０は、操作対象となるオブジェクトの画面上の位置と、音響出力及び触覚フィードバックとの定位をあわせるように、スピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌの振動に基づく触覚フィードバックとを制御してもよい。具体的には、制御部２０は、例えば、ユーザ操作の結果、画面の右側に位置するオブジェクトが操作対象となった場合には、体感導入装置１０のスピーカ１１Ｒから音響を出力し、アクチュエータ１３Ｒを駆動させることで振動をフィードバックしてもよい。

＜２．実施例＞
次に、本実施形態に係る体感導入装置１０の実施例について説明する。前述したように、本実施形態に係る体感導入システムでは、体感導入装置１０は、複数のアクチュエータと、複数のスピーカとを含む。また、体感導入装置１０は、複数のアクチュエータのうち１以上のアクチュエータと、複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含むように構成される。そして、体感導入装置１０の各スピーカからの音響出力と、各アクチュエータからの振動出力とは、互いに関連付けられたアクチュエータとスピーカとの組ごとに連動するように制御される。このような構成により、本実施形態に係る体感導入装置システムは、各スピーカからの音響出力の定位と、各アクチュエータの振動に基づく触覚フィードバックの定位とを一致させ、臨場感の高い触覚フィードバックの提示を実現する。

一方で、各スピーカからの音響出力の定位と、各アクチュエータの振動に基づく触覚フィードバックの定位とを一致させることが可能であれば、互いに関連付けられたスピーカ及びアクチュエータそれぞれの数や設置される位置は特に限定されない。例えば、体感導入装置１０の筐体の形状や、用途等に応じて、互いに関連付けられたスピーカ及びアクチュエータそれぞれの数や設置される位置を適宜変更してもよい。そこで、以降では、本実施形態に係る体感導入装置１０の構成に着目して各実施例として説明する。

［２．１．実施例１：アクチュエータ及びスピーカの構成例１］
まず、図１５を参照しながら、実施例１に係る体感導入装置１０の構成について説明する。図１５は、実施例１に係る体感導入装置１０の概略的な構成の一例について説明するための説明図である。なお、図１５は、図２と同様に、体感導入装置１０をユーザが保持した場合に、当該ユーザとは逆側から見た場合の当該体感導入装置１０の構成（即ち、体感導入装置１０の背面側の構成）を示している。

前述した実施形態では、図２に示したように、コントローラとして構成された体感導入装置１０は、互いに関連付けられた１つのスピーカ１１と１つのアクチュエータ１３との組が、当該体感導入装置１０の左右にそれぞれ設けられた場合について説明した。これに対して、本実施例に係る体感導入装置１０では、１つのスピーカ１１に対して複数のアクチュエータ１３が関連付けられている。

例えば、図１５に示すように、本実施例に係る体感導入装置１０の筐体の背面には、スピーカ１１Ｒ及び１１Ｌが設けられている。具体的には、ユーザが体感導入装置１０と正対した場合に、体感導入装置１０の筐体の右側背面にはスピーカ１１Ｒが設けられ、体感導入装置１０の筐体の左側背面にはスピーカ１１Ｌが設けられている。なお、図１５に示すスピーカ１１Ｒ及び１１Ｌは、図２におけるスピーカ１１Ｒ及び１１Ｌに対応している。

また、本実施例に係る体感導入装置１０は、図２に示す例と同様に、互いに逆側に位置する筐体の両端部近傍に、ユーザが当該筐体を保持するための保持部１０１Ｒ及び１０１Ｌを備える。

また、本実施例に係る体感導入装置１０は、アクチュエータ１３１Ｒ、１３３Ｒ、１３１Ｌ、１３３Ｌを備えている。

アクチュエータ１３１Ｒ及び１３３Ｒは、ユーザが体感導入装置１０と正対した場合において、当該体感導入装置１０の筐体の右側に設けられる。具体的な一例として、図１５に示す例では、アクチュエータ１３１Ｒは、保持部１０１Ｒ内に設けられている。また、アクチュエータ１３３Ｒは、体感導入装置１０の筐体の右側における、アクチュエータ１３１Ｒとは異なる位置、例えば、スピーカ１１Ｒの近傍に設けられている。

同様に、アクチュエータ１３１Ｌ及び１３３Ｌは、ユーザが体感導入装置１０と正対した場合において、当該体感導入装置１０の筐体の左側に設けられる。具体的な一例として、図１５に示す例では、アクチュエータ１３１Ｌは、保持部１０１Ｌ内に設けられている。また、アクチュエータ１３３Ｌは、体感導入装置１０の筐体の左側における、アクチュエータ１３１Ｌとは異なる位置、例えば、スピーカ１１Ｌの近傍に設けられている。

本実施例に係る体感導入システムでは、体感導入装置１０のスピーカ１１Ｒからの音響出力と、アクチュエータ１３１Ｒ及び１３３Ｒそれぞれからの振動出力とが連動するように制御される。同様に、体感導入装置１０のスピーカ１１Ｌからの音響出力と、アクチュエータ１３１Ｌ及び１３３Ｌそれぞれからの振動出力とが連動するように制御される。なお、以降では、アクチュエータ１３１Ｒ及び１３１Ｌを特に区別しない場合には、単に「アクチュエータ１３１」と記載する場合がある。同様に、アクチュエータ１３３Ｒ及び１３３Ｌを特に区別しない場合には、単に「アクチュエータ１３３」と記載する場合がある。

また、アクチュエータ１３１と、アクチュエータ１３３とに、種別や振動方向の異なるアクチュエータを適用してもよい。

例えば、図１６は、本実施例に係るアクチュエータ１３１及び１３３の一例について説明するための説明図である。例えば、図１６に示す例では、アクチュエータ１３１は、互いに直交するｘ方向、ｙ方向、及びｚ方向のうち、ｚ方向に沿って振動するように構成または配置されている。また、アクチュエータ１３３は、アクチュエータ１３１と異なる方向、例えば、ｘ方向に沿って振動するように構成または配置されている。

このように、アクチュエータ１３１と、アクチュエータ１３３とを、互いに異なる方向に振動するように構成または配置し、アクチュエータ１３１及び１３３それぞれの振動の振幅を個別に調整できるようにしてもよい。これにより、本実施例に係る体感導入装置１０は、アクチュエータ１３１及び１３３として、所定の一方向にのみ振動するアクチュエータを適用した場合においても、それぞれの振幅の比率や位相を調整することで、多様な振動（即ち、触覚フィードバック）を実現することが可能となる。即ち、本実施例に係る体感導入装置１０は、アクチュエータ１３１及び１３３からの振動出力の制御により多様な触覚フィードバックを実現することで、さらに臨場感を向上させることが可能となる。

また、互いに関連付けられた、スピーカ１１の音響出力と、アクチュエータ１３１及び１３３それぞれからの振動出力とが連動すれば、各出力を制御する方法は特に限定されないことは言うまでもない。具体的な一例として、アクチュエータ１３１及び１３３の振動出力のうち、一方が、図６に示すように線形的に変動するように制御され、他方が、図７に示すように非線形的に変動するように制御されてもよい。このような構成により、本実施例に係る体感導入装置１０は、さらに多様な振動（即ち、触覚フィードバック）を実現することが可能となる。

［２．２．実施例２：アクチュエータ及びスピーカの構成例２］
次に、実施例２に係る体感導入装置１０について説明する。前述した実施形態及び実施例では、スピーカ１１とアクチュエータ１３とが異なるデバイスとして構成されている例について説明した。一方で、前述したスピーカ１１及びアクチュエータ１３に替えて、例えば、ボイスコイルモータなどのように、スピーカとアクチュエータとが一体的に構成されたデバイスを設けてもよい。

例えば、図１７は、本実施例に係る体感導入装置１０の概略的な構成の一例を示しており、ボイスコイルモータのようにスピーカとアクチュエータとが一体的に構成されたデバイスを適用した場合の一例を示している。なお、図１７は、図２と同様に、体感導入装置１０をユーザが保持した場合に、当該ユーザとは逆側から見た場合の当該体感導入装置１０の構成（即ち、体感導入装置１０の背面側の構成）を示している。

図１７に示すように、本実施例に係る体感導入装置１０の筐体の背面には、ボイスコイルモータ１５Ｒ及び１５Ｌが設けられている。具体的には、ユーザが体感導入装置１０と正対した場合に、体感導入装置１０の筐体の右側背面にはボイスコイルモータ１５Ｒが設けられ、体感導入装置１０の筐体の左側背面にはボイスコイルモータ１５Ｌが設けられている。

ボイスコイルモータ１５Ｒは、図２に基づき説明した例における、スピーカ１１Ｒ及びアクチュエータ１３Ｒと同様の役割を果たす。また、ボイスコイルモータ１５Ｌは、図２に基づき説明した例における、スピーカ１１Ｌ及びアクチュエータ１３Ｌと同様の役割を果たす。なお、以降では、ボイスコイルモータ１５Ｒ及び１５Ｌを特に区別しない場合には、単に「ボイスコイルモータ１５」と記載する場合がある。

スピーカ１１及びアクチュエータ１３に替えて、ボイスコイルモータ１５を設ける場合には、例えば、制御装置２０は、振動を示す振動信号を音響信号に合成した合成信号に基づき、ボイスコイルモータ１５を駆動させてもよい。この場合には、ボイスコイルモータ１５は、例えば、合成信号中の、所定の周波数以上（例えば、３００Ｈｚ以上）の高周波帯域の信号を音響信号として出力し、所定の周波数以下（例えば、１０００Ｈｚ以下）の低周波帯域の信号を振動信号として出力するように構成されていてもよい。

なお、ボイスコイルモータ１５は、いずれか一方向にのみ振動可能に構成されている場合がある。その場合には、制御装置２０は、前述したように、当該ボイスコイルモータ１５の次元にあわせて、振動出力の次元をあわせて振動信号を生成し、当該振動信号を音響信号と合成することで合成信号を生成すればよい。

以上、実施例２に係る体感導入装置１０のように、スピーカ及びアクチュエータに替えて、当該スピーカ及びアクチュエータが一体的に構成されたボイスコイルモータのようなデバイスを適用することも可能である。

［２．３．実施例３：携帯型端末への適用例］
次に、実施例３として、本実施形態に係る体感導入装置１０を、スマートフォンのような携帯型の端末として構成した場合の構成の一例について説明する。なお、以降では、本実施例に係る体感導入装置を、「体感導入装置３０」と呼ぶ場合がある。

まず、図１８を参照して、本実施例に係る体感導入装置３０の概要について説明する。図１８は、本実施例に係る体感導入装置３０の概要について説明するための説明図である。図１８の左側の図は、体感導入装置３０の筐体を縦向きに保持した場合を示しており、図１８の右側の図は、体感導入装置３０の筐体を横向きに保持した場合を示している。このように、本実施例では、体感導入装置３０は、筐体の向きを切り替えて保持可能に構成されているものとして説明する。

例えば、図１９は、本実施例に係る体感導入装置３０の概略的な構成の一例を示している。なお、以降では、図１９に示す体感導入装置３０を、他の構成と特に区別する場合には、「体感導入装置３０ａ」と呼ぶ場合がある。

図１９に示す例では、ユーザが体感導入装置３０ａの前面と対面するように（即ち、ユーザが体感導入装置３０ａと正対するように）当該体感導入装置３０を縦向きに保持した場合に、ユーザ側から見た体感導入装置３０ａの構成を示している。具体的には、ユーザが体感導入装置３０ａの前面、即ち、ディスプレイ等の表示部が設けられた面と対面するように当該体感導入装置３０ａを保持した場合に、図面の右側が、ユーザから見た右側（Ｒ）に相当し、図面の左側が、ユーザから見た左側（Ｌ）に相当する。

図１９に示すように、本実施例に係る体感導入装置３０ａは、当該体感導入装置３０ａの前面に表示部３９（即ち、ディスプレイ）が設けられている。なお、表示部３９は、タッチパネルとして構成されていてもよい。

また、以降では、説明をわかりやすくするために、体感導入装置３０ａの筐体の前面の周囲に沿って設けられた端部を、「端部３０１」と呼ぶ場合がある。また、端部３０１のうち、体感導入装置３０ａを縦向きに保持した場合の、端部３０１を構成する、左側、右側、上側、及び下側の各端部を、端部３０１ａ、３０１ｂ、３０１ｃ、及び３０１ｄとそれぞれ呼ぶ場合がある。

図１９に示すように、本実施例に係る体感導入装置３０ａには、スピーカ３１Ｒ及び３１Ｌが設けられている。スピーカ３１Ｌは、体感導入装置３０ａの左側の端部３０１ａ近傍における、当該体感導入装置３０ａの背面側に設けられている。同様に、スピーカ３１Ｒは、体感導入装置３０ａの右側の端部３０１ｂ近傍における、当該体感導入装置３０ａの背面側に設けられている。

また、本実施例に係る体感導入装置３０ａには、アクチュエータ３３Ｒ及び３３Ｌが設けられている。アクチュエータ３３Ｌは、体感導入装置３０ａの左側の端部３０１ａ近傍における、当該体感導入装置３０ａの筐体内に設けられている。同様に、アクチュエータ３３Ｒは、体感導入装置３０ａの右側の端部３０１ｂ近傍における、当該体感導入装置３０ａの筐体内に設けられている。

本実施例に係る体感導入装置３０ａは、スピーカ３１Ｒからの音響出力と、アクチュエータ３３Ｒからの振動出力とを連動するように制御する。同様に、体感導入装置３０ａは、スピーカ３１Ｌからの音響出力と、アクチュエータ３３Ｌからの振動出力とを連動するように制御する。

なお、図１９に示すように、端部３０１ｃがユーザから見て上側に位置する場合には、スピーカ３１Ｌ及びアクチュエータ３３Ｌが、ユーザに対して左側に位置し、スピーカ３１Ｒ及びアクチュエータ３３Ｒが右側に位置する。このような向きにおいて、体感導入装置３０ａは、ユーザに対して左側に触覚をフィードバックする場合には、スピーカ３１Ｌからの音響を出力させ、当該音響出力に連動するようにアクチュエータ３３Ｌを振動させる。同様に、体感導入装置３０ａは、ユーザに対して右側に触覚をフィードバックする場合には、スピーカ３１Ｒからの音響を出力させ、当該音響出力に連動するようにアクチュエータ３３Ｒを振動させる。

一方で、端部３０１ｄがユーザから見て上側に位置する場合には、スピーカ３１Ｌ及びアクチュエータ３３Ｌが、ユーザに対して右側に位置し、スピーカ３１Ｒ及びアクチュエータ３３Ｒが左側に位置することとなる。この場合には、例えば、体感導入装置３０ａは、各スピーカ３１からの音響出力と、各アクチュエータ３３からの振動出力とを、端部３０１ｃがユーザから見て上側に位置する場合とは反対となるように制御してもよい。

具体的には、体感導入装置３０ａは、ユーザに対して左側に触覚をフィードバックする場合には、スピーカ３１Ｒからの音響を出力させ、当該音響出力に連動するようにアクチュエータ３３Ｒを振動させればよい。同様に、体感導入装置３０ａは、ユーザに対して右側に触覚をフィードバックする場合には、スピーカ３１Ｌからの音響を出力させ、当該音響出力に連動するようにアクチュエータ３３Ｌを振動させればよい。

なお、体感導入装置１０ａは、例えば、加速度センサを内蔵することで、自身（即ち、体感導入装置１０ａの筐体）がどのような向きでユーザに保持されているかを認識できることは言うまでもない。

次に、図２０を参照して、本実施例に係る体感導入装置３０の他の一例について説明する。図２０は、本実施例に係る体感導入装置３０の概略的な構成の他の一例を示している。なお、以降では、図２０に示す体感導入装置３０を、他の構成と特に区別する場合には、「体感導入装置３０ｂ」と呼ぶ場合がある。

図２０に示した体感導入装置３０ｂは、アクチュエータ３３が設けられている位置が、図１９に基づき前述した体感導入装置３０ａと異なる。そのため、以下では、体感導入装置３０ｂの構成について、図１９に示した体感導入装置３０ａと異なる構成、即ち、アクチュエータ３３の構成に着目して説明する。

図２０に示すように、本実施例に係る体感導入装置３０ｂに、アクチュエータ３３ａ及び３３ｂが設けられている。アクチュエータ３３ａは、体感導入装置３０ｂの上側の端部３０１ｃ近傍の、当該体感導入装置３０ｂの筐体内に設けられている。同様に、アクチュエータ３３ｂは、体感導入装置３０ｂの下側の端部３０１ｄ近傍の、当該体感導入装置３０ｂの筐体内に設けられている。

本実施例に係る体感導入装置３０ｂは、自身（即ち、体感導入装置３０ｂの筐体）が縦向きに保持されている場合には、アクチュエータ３３ａ及び３３ｂのうちいずれか一方の振動出力がスピーカ３１Ｒからの音響出力と連動し、他方の振動出力がスピーカ３１Ｌからの音響出力と連動する。

また、体感導入装置３０ｂは、自身が横向きに保持されている場合には、アクチュエータ３３ａ及び３３ｂのうち、ユーザから見て右側に位置するアクチュエータ３３からの振動出力を、スピーカ３１Ｒからの音響出力（即ち、ユーザの右耳に向けた音響出力）に連動させる。同様に、体感導入装置３０ｂは、アクチュエータ３３ａ及び３３ｂのうち、ユーザから見て左側に位置するアクチュエータ３３からの振動出力を、スピーカ３１Ｌからの音響出力（即ち、ユーザの左耳に向けた音響出力）に連動させる。

以上説明したように、本実施例に係る体感導入装置３０は、自身（即ち、体感導入装置３０ｂの筐体）が保持される向きに応じて、スピーカ３１とアクチュエータ３３との組み合わせを適宜変更してもよい。

また、図１９に示す例と、図２０に示す例とを組み合わせてもよい。例えば、図２１は、本実施例に係る体感導入装置３０の概略的な構成の他の一例を示している。なお、以降では、図２１に示す体感導入装置３０を、他の構成と特に区別する場合には、「体感導入装置３０ｃ」と呼ぶ場合がある。

図２１に示すように、体感導入装置３０ｃには、図１９に基づき説明したアクチュエータ３３Ｒ及び３３Ｌと、図２０に基づき説明したアクチュエータ３３ａ及び３３ｂの双方が設けられている。なお、体感導入装置３０ｃに設けられたアクチュエータ３３Ｒ、３３Ｌ、３３ａ、及び３３ｂそれぞれは、図１９及び図２０に基づき前述した内容と同様に制御することが可能である。

また、他の一例として、体感導入装置３０ｃは、アクチュエータ３３Ｒ、３３Ｌ、３３ａ、及び３３ｂそれぞれからの振動出力のうち、同じスピーカ３１からの音響出力に関連付けられた振動出力の振幅を、当該音響出力に連動するようにそれぞれ制御してもよい。具体的な制御内容については、図１５に基づき説明した実施例１に係る体感導入装置１０と同様である。

以上、実施例３として説明したように、本実施形態に係る体感導入装置を、スマートフォンのような携帯型の端末に適用することも可能である。また、本実施例に係る体感導入装置３０は、自身（即ち、体感導入装置３０ｂの筐体）が保持される向きに応じて、スピーカ３１とアクチュエータ３３との組み合わせを適宜変更してもよい。なお、上記では、スマートフォンの場合を例に説明したが、必ずしもスマートフォンに限定するものではないことは言うまでもない。例えば、ディスプレイや操作手段が設けられた携帯型のゲーム端末に対しても、同様に、実施例３として説明した体感導入装置を適用することが可能である。

［２．４．実施例４：体感導入装置の一例］
次に、実施例４として、本実施形態に係る体感導入装置における、当該体感導入装置の形状や用途と、スピーカ及びアクチュエータの配置との関係の一例について説明する。まず、図２２を参照して、実施例４に係る体感導入装置の一例について説明する。図２２は、本実施例に係る体感導入装置の概略的な構成の一例について説明するための説明図である。なお、以降では、図２２に示す体感導入装置を、「体感導入装置４０」と呼ぶ場合がある。

図２２に示すように、体感導入装置４０は、筐体が、円形の上面及び底面と、当該上面及び底面の円周に沿って設けられた側面４０１とを有する円筒状に形成されている。当該体感導入装置４０は、例えば、図２２に示すように、体感導入装置４０の底面を下から支えるように、ユーザに保持される。

また、体感導入装置４０は、筐体内部の底面に、側面４０１の内面に沿って、ボイスコイルモータ４５ａ〜４５ｆが、この順序で並べられるように設けられている。なお、ボイスコイルモータ４５ａ〜４５ｆそれぞれを特に区別しない場合には、単に「ボイスコイルモータ４５」と記載する場合がある。

ボイスコイルモータ４５ａ〜４５ｆのそれぞれは、例えば、体感導入装置４０の底面から外部に向けて音響を出力するように配置されている。また、ボイスコイルモータ４５ａ〜４５ｆそれぞれは、例えば、体感導入装置４０の底面から上面に向けた方向に沿って振動するように配置されている。なお、ボイスコイルモータ４５ａ〜４５ｆそれぞれからの音響出力及び振動出力は、ボイスコイルモータ４５ごとに連動するように制御されることは、前述した実施形態及び各実施例に係る体感導入装置と同様である。

このような構成に基づき、体感導入装置４０は、ユーザに提示する力覚に方向性を持たせることが可能となる。具体的な一例として、体感導入装置４０は、側面４０１の内面に沿って、ボイスコイルモータ４５ａ〜４５ｆの順で、音響と、振動に基づく触覚フィードバックとを出力してもよい。このような制御により、体感導入装置４０は、自身の筐体内を、側面４０１の内面に沿って球体が転がっているような状態を模擬した触覚を、ユーザにフィードバックすることが可能となる。

もちろん、図２２に示す、ボイスコイルモータ４５それぞれを、互いの出力が連動するように関連付けられたスピーカ及びアクチュエータの組に置き換えてもよいことは言うまでもない。

また、本実施例に係る体感導入装置の他の一例について、図２３を参照して説明する。図２３は、本実施例に係る体感導入装置の概略的な構成の一例について説明するための説明図である。なお、以降では、図２３に示す体感導入装置を、「体感導入装置５０」と呼ぶ場合がある。

図２３に示すように、体感導入装置５０は、筐体が、円形の上面及び底面と、当該上面及び底面の円周に沿って設けられた側面５０１とを有する円筒状（棒状）に形成されている。当該体感導入装置５０は、例えば、図２３に示すように、体感導入装置５０の側面５０１を握るように、ユーザに保持される。

また、体感導入装置５０は、側面５０１の内面に沿って、ボイスコイルモータ５５ａ〜５５ｃが、この順序で並べられるように設けられている。なお、ボイスコイルモータ５５ａ〜５５ｃそれぞれを特に区別しない場合には、単に「ボイスコイルモータ５５」と記載する場合がある。

ボイスコイルモータ５５ａ〜５５ｃのそれぞれは、例えば、体感導入装置５０の側面５０１から外部に向けて音響を出力するように配置されている。また、ボイスコイルモータ５５ａ〜５５ｃそれぞれは、例えば、体感導入装置５０の上面及び底面の半径方向に沿って振動するように配置されている。なお、ボイスコイルモータ５５ａ〜５５ｃそれぞれからの音響出力及び振動出力は、ボイスコイルモータ５５ごとに連動するように制御されることは、前述した実施形態及び各実施例に係る体感導入装置と同様である。

このような構成に基づき、体感導入装置５０は、ユーザに提示する力覚に方向性を持たせることが可能となる。具体的な一例として、体感導入装置５０は、側面５０１の内面に沿って、ボイスコイルモータ５５ａ〜５５ｃの順で、音響と、振動に基づく触覚フィードバックとを出力するとともに、ボイスコイルモータ５５ａ〜５５ｃ間で音響出力及び振動出力の振幅の制御量（例えば、ゲインやボリュームの制御量）を偏らせてもよい。また、このとき、体感導入装置５０は、ボイスコイルモータ５５ａ〜５５ｃからの音響出力及び振動出力の位相を制御してもよい。このような制御により、体感導入装置５０は、自身の筐体を基準として所望の方向に向けてユーザを誘導するように、当該ユーザに対して方向性をもった力覚を提示することが可能となる。

もちろん、図２３に示す、ボイスコイルモータ５５それぞれを、互いの出力が連動するように関連付けられたスピーカ及びアクチュエータの組に置き換えてもよいことは言うまでもない。

以上、説明したように、本実施形態に係る体感導入装置の筐体の形状は特に限定されず、当該筐体の形状や用途に応じて、各スピーカ及び各アクチュエータ（もしくは、各ボイスコイルモータ）を配置する位置や向きを適宜変更してもよい。また、図２２及び図２３に示した例からも明らかなように、各スピーカ及び各アクチュエータ（もしくは、各ボイスコイルモータ）は、３次元的に配置されてもよいことは言うまでもない。

［２．５．実施例５：コントローラへの適用例］
次に、図２４及び図２５を参照して、実施例５に係る体感導入装置について説明する。図２４は、本実施例に係る体感導入装置の概要について説明するための説明図である。また、図２５は、本実施例に係る体感導入装置の概略的な構成の一例について説明するための説明図である。

図２４に示すように、本実施例に係る体感導入装置６０は、互いに異なる筐体６０Ｌ及び６０Ｒが互いに連動して動作するように構成されている。例えば、図２４に示す例では、筐体６０Ｌは、ユーザにより左手で保持されるように構成されており、筐体６０Ｒは、ユーザにより右手で保持されるように構成されている。筐体６０Ｒ及び６０Ｌのそれぞれには、ユーザが操作を行うための入力デバイスや、当該筐体自体の向きや位置の変化を検出するためのセンサ（例えば、加速度センサやジャイロセンサ（角速度センサ））が設けられていてもよい。

筐体６０Ｒには、スピーカ６１Ｒと、アクチュエータ６３Ｒとが設けられている。例えば、スピーカ６１Ｒは、ユーザが筐体６０Ｒを保持したときに、ユーザの身体に近い側の位置（例えば、手元に相当する位置）に設けられている。また、アクチュエータ６３Ｒは、筐体６０Ｒをユーザが保持したときに、当該保持部の近傍の筐体６０Ｒの内部に設けられている。

同様に、筐体６０Ｌには、スピーカ６１Ｌと、アクチュエータ６３Ｌとが設けられている。例えば、スピーカ６１Ｌは、ユーザが筐体６０Ｌを保持したときに、ユーザの身体に近い側の位置（例えば、手元に相当する位置）に設けられている。また、アクチュエータ６３Ｌは、筐体６０Ｌをユーザが保持したときに、当該保持部の近傍の筐体６０Ｌの内部に設けられている。

スピーカ６１Ｒは、主にユーザの右耳に向けて音響を出力するためのスピーカである。同様に、スピーカ６１Ｌは、主にユーザの左耳に向けて音響を出力するためのスピーカである。

また、アクチュエータ６３Ｒは、振動することで、筐体６０Ｒを保持するユーザの手（即ち、ユーザの右手）に対して触覚をフィードバックする。同様に、アクチュエータ６３Ｌは、振動することで、筐体６０Ｌを保持するユーザの手（即ち、ユーザの左手）に対して触覚をフィードバックする。

筐体６０Ｒに設けられたアクチュエータ６３Ｒからの振動出力は、当該筐体６０Ｒに設けられたスピーカ６１Ｒからの音響出力と連動するように制御される。同様に、筐体６０Ｌに設けられたアクチュエータ６３Ｌからの振動出力は、当該筐体６０Ｌに設けられたスピーカ６１Ｌからの音響出力と連動するように制御される。なお、各スピーカ６１からの音響出力と各アクチュエータ６３からの振動出力とを連動させる制御は、前述した実施形態及び各実施例と同様である。

以上、実施例５として説明したように、本実施形態に係る体感導入装置は、複数の筐体が連動するように構成されていてもよい。なお、この場合には、少なくとも、図２３に基づき説明したように、同一筐体に設けられたスピーカとアクチュエータとの間で、各出力（即ち、音響出力及び振動出力）が連動するように制御されることが望ましい。

＜３．まとめ＞
以上、説明したように、本実施形態に係る体感導入システムでは、体感導入装置は、複数のアクチュエータと、複数のスピーカとを含む。そして、当該体感導入装置は、複数のアクチュエータのうち１以上のアクチュエータと、複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含むように構成される。また、体感導入装置の各スピーカからの音響出力と、各アクチュエータからの振動出力とは、互いに関連付けられたアクチュエータとスピーカとの組ごとに連動するように制御される。このような構成に基づき、本実施形態に係る体感導入装置システムは、各スピーカからの音響出力の定位と、各アクチュエータの振動に基づく触覚フィードバックの定位とを一致させる。これにより、本実施形態に係る体感導入装置システムは、臨場感や没入感をより高めることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数のアクチュエータと、
複数のスピーカと、
を備え、
前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含み、
互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御される、体感導入装置。
（２）
複数のアクチュエータと、前記複数のスピーカとを内蔵する筐体を備え、
互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに離間するように前記筐体に設けられている、前記（１）に記載の体感導入装置。
（３）
前記筐体は、端部を備え、
互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに離間するように前記端部近傍に設けられている、前記（２）に記載の体感導入装置。
（４）
前記筐体は、異なる複数の前記端部を備え、
互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに異なる前記端部の近傍に設けられている、前記（３）に記載の体感導入装置。
（５）
前記筐体は、当該筐体を保持するための複数の保持部を備え、
互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに異なる前記保持部の内部または近傍に設けられている、前記（２）に記載の体感導入装置。
（６）
互いに異なる組に含まれる前記アクチュエータに関連付けられた前記スピーカそれぞれは、互いに離間するように前記筐体に設けられている、前記（２）〜（５）のいずれか一項に記載の体感導入装置。
（７）
前記筐体の位置または向きの変化を検知する検知部を備え、
前記筐体の位置または向きの変化に連動して、互いに関連付けられた前記スピーカと前記アクチュエータとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御される、前記（２）〜（６）のいずれか一項に記載の体感導入装置。
（８）
少なくとも一の前記スピーカに対して複数の前記アクチュエータが関連付けられ、
当該複数のアクチュエータそれぞれは、相対的に互いに異なる方向に振動する、前記（１）〜（７）のいずれか一項に記載の体感導入装置。
（９）
前記スピーカに関連付けられた前記アクチュエータは、当該スピーカの近傍に設けられている、前記（１）〜（８）のいずれか一項に記載の体感導入装置。
（１０）
互いに関連付けられた前記アクチュエータと前記スピーカとが一体的に構成された、前記（１）〜（９）のいずれか一項に記載の体感導入装置。
（１１）
互いに関連付けられた前記アクチュエータと前記スピーカとのうち、いずれか一方からの出力は、他方からの出力を制御するための制御信号を基に生成された他の制御信号に基づき制御される、前記（１）〜（１０）のいずれか一項に記載の体感導入装置。
（１２）
互いに関連付けられた前記アクチュエータと前記スピーカとのそれぞれからの出力は、ユーザに対して体感をフィードバックするための物理演算の結果に基づき制御される、前記（１）〜（１０）のいずれか一項に記載の体感導入装置。
（１３）
互いに関連付けられた前記アクチュエータと前記スピーカとのそれぞれからの出力は、映像の解析結果に基づき算出された当該映像中のオブジェクトの表面の形状及び粗さのうちの少なくともいずれかに基づき制御される、前記（１）〜（１０）のいずれか一項に記載の体感導入装置。
（１４）
互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が重複する周波数帯域において、当該それぞれからの出力のうち少なくとも一方の出力の振幅が制限される、前記（１）〜（１３）のいずれか一項に記載の体感導入装置。
（１５）
互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が連動するように、当該前記アクチュエータ及び前記スピーカそれぞれからの出力を制御する制御部を備えた、前記（１）〜（１４）のいずれか一項に記載の体感導入装置。
（１６）
互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、表示部に表示された映像出力と連動するように制御される、前記（１）〜（１５）のいずれか一項に記載の体感導入装置。
（１７）
前記表示部を備えた、前記（１６）に記載の体感導入装置。
（１８）
互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、操作部を介して入力されたユーザ入力と連動するように制御される、前記（１）〜（１７）のいずれか一項に記載の体感導入装置。
（１９）
前記操作部を備えた、前記（１８）に記載の体感導入装置。
（２０）
互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、操作部を介して入力されたユーザ入力と、表示部に表示された映像出力とに基づき、互いに連動するように制御される、前記（１）〜（１４）のいずれか一項に記載の体感導入装置。
（２１）
互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、前記ユーザ入力に基づき決定される、前記映像出力中の操作対象に応じて、互いに連動するように制御される、前記（２０）に記載の体感導入装置。
（２２）
複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置と、
前記体感導入装置の動作を制御するための制御信号を出力する情報処理装置と、
前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御する制御部と、
を備えた、体感導入システム。
（２３）
複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置における、当該互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御するための制御信号を生成する信号処理部と、
生成された制御信号を前記体感導入装置に出力する出力部と、
を備えた、制御装置。
（２４）
複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置の動作を制御するための制御信号を出力することと、
前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御することと、
を含む、体感導入方法。

１０ 体感導入装置
１０１Ｒ、１０１Ｌ 保持部
１１、１１Ｒ、１１Ｌ スピーカ
１２ 通信部
１３、１３Ｒ、１３Ｌ アクチュエータ
１３１、１３１Ｒ、１３１Ｌ アクチュエータ
１４ 制御部
１５、１５Ｒ、１５Ｌ ボイスコイルモータ
１９ 入力部
１９１ 操作部
１９３ 検知部
２０ 制御装置
２１ 制御部
２１１ 演算部
２１３ 信号処理部
２１５ 表示制御部
２３ 通信部
２５ 信号データ記憶部
３０、３０ａ〜３０ｃ 体感導入装置
３１、３１Ｒ、３１Ｌ スピーカ
３３、３３Ｒ、３３Ｌ、３３ａ、３３ｂ アクチュエータ
３９ 表示部
４０ 体感導入装置
４５、４５ａ〜４５ｆ ボイスコイルモータ
５０ 体感導入装置
５５、５５ａ〜５５ｃ ボイスコイルモータ
６０ 体感導入装置
６０Ｒ、６０Ｌ 筐体
６１、６１Ｒ、６１Ｌ スピーカ
６３、６３Ｒ、６３Ｌ アクチュエータ
９０ 表示装置
９１ 表示部

Claims (23)

1. 複数のアクチュエータと、
   複数のスピーカと、
   を備え、
   前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含み、
   互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御され、
   互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が重複する周波数帯域において、当該それぞれからの出力のうち少なくとも一方の出力の振幅が、当該アクチュエータからの出力の振幅と、当該スピーカからの出力の振幅と、の比率に基づき制限される、
   体感導入装置。
2. 複数のアクチュエータと、前記複数のスピーカとを内蔵する筐体を備え、
   互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに離間するように前記筐体に設けられている、請求項１に記載の体感導入装置。
3. 前記筐体は、端部を備え、
   互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに離間するように前記端部近傍に設けられている、請求項２に記載の体感導入装置。
4. 前記筐体は、異なる複数の前記端部を備え、
   互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに異なる前記端部の近傍に設けられている、請求項３に記載の体感導入装置。
5. 前記筐体は、当該筐体を保持するための複数の保持部を備え、
   互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに異なる前記保持部の内部または近傍に設けられている、請求項２に記載の体感導入装置。
6. 互いに異なる組に含まれる前記アクチュエータに関連付けられた前記スピーカそれぞれは、互いに離間するように前記筐体に設けられている、請求項２〜５のいずれか一項に記載の体感導入装置。
7. 前記筐体の位置または向きの変化を検知する検知部を備え、
   前記筐体の位置または向きの変化に連動して、互いに関連付けられた前記スピーカと前記アクチュエータとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御される、請求項２〜６のいずれか一項に記載の体感導入装置。
8. 少なくとも一の前記スピーカに対して複数の前記アクチュエータが関連付けられ、
   当該複数のアクチュエータそれぞれは、相対的に互いに異なる方向に振動する、請求項１〜７のいずれか一項に記載の体感導入装置。
9. 前記スピーカに関連付けられた前記アクチュエータは、当該スピーカの近傍に設けられている、請求項１〜８のいずれか一項に記載の体感導入装置。
10. 互いに関連付けられた前記アクチュエータと前記スピーカとが一体的に構成された、請求項１〜９のいずれか一項に記載の体感導入装置。
11. 互いに関連付けられた前記アクチュエータと前記スピーカとのうち、いずれか一方からの出力は、他方からの出力を制御するための制御信号を基に生成された他の制御信号に基づき制御される、請求項１〜１０のいずれか一項に記載の体感導入装置。
12. 互いに関連付けられた前記アクチュエータと前記スピーカとのそれぞれからの出力は、ユーザに対して体感をフィードバックするための物理演算の結果に基づき制御される、請求項１〜１０のいずれか一項に記載の体感導入装置。
13. 互いに関連付けられた前記アクチュエータと前記スピーカとのそれぞれからの出力は、映像の解析結果に基づき算出された当該映像中のオブジェクトの表面の形状及び粗さのうちの少なくともいずれかに基づき制御される、請求項１〜１０のいずれか一項に記載の体感導入装置。
14. 互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が連動するように、当該前記アクチュエータ及び前記スピーカそれぞれからの出力を制御する制御部を備えた、請求項１〜１３のいずれか一項に記載の体感導入装置。
15. 互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、表示部に表示された映像出力と連動するように制御される、請求項１〜１４のいずれか一項に記載の体感導入装置。
16. 前記表示部を備えた、請求項１５に記載の体感導入装置。
17. 互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、操作部を介して入力されたユーザ入力と連動するように制御される、請求項１〜１６のいずれか一項に記載の体感導入装置。
18. 前記操作部を備えた、請求項１７に記載の体感導入装置。
19. 互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、操作部を介して入力されたユーザ入力と、表示部に表示された映像出力とに基づき、互いに連動するように制御される、請求項１〜１３のいずれか一項に記載の体感導入装置。
20. 互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、前記ユーザ入力に基づき決定される、前記映像出力中の操作対象に応じて、互いに連動するように制御される、請求項１９に記載の体感導入装置。
21. 複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置と、
    前記体感導入装置の動作を制御するための制御信号を出力する情報処理装置と、
    前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御する制御部と、
    を備え、
    前記制御部は、互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が重複する周波数帯域において、当該それぞれからの出力のうち少なくとも一方の出力の振幅が、当該アクチュエータからの出力の振幅と、当該スピーカからの出力の振幅と、の比率に基づき制限する、
    体感導入システム。
22. 複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置における、当該互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御するための制御信号を生成する信号処理部と、
    生成された制御信号を前記体感導入装置に出力する出力部と、
    を備え、
    前記信号処理部は、互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が重複する周波数帯域において、当該それぞれからの出力のうち少なくとも一方の出力の振幅が、当該アクチュエータからの出力の振幅と、当該スピーカからの出力の振幅と、の比率に基づき制限されるように、前記制御信号を生成する、
    制御装置。
23. 複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置の動作を制御するための制御信号を出力することと、
    前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御することと、
    を含み、
    互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が重複する周波数帯域において、当該それぞれからの出力のうち少なくとも一方の出力の振幅が、当該アクチュエータからの出力の振幅と、当該スピーカからの出力の振幅と、の比率に基づき制限される、
    体感導入方法。

Images