JP6264542B2 - 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法 - Google Patents

情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法 Download PDF

Info

Publication number
JP6264542B2
JP6264542B2 JP2014015138A JP2014015138A JP6264542B2 JP 6264542 B2 JP6264542 B2 JP 6264542B2 JP 2014015138 A JP2014015138 A JP 2014015138A JP 2014015138 A JP2014015138 A JP 2014015138A JP 6264542 B2 JP6264542 B2 JP 6264542B2
Authority
JP
Japan
Prior art keywords
vibration
information processing
virtual world
unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014015138A
Other languages
English (en)
Other versions
JP2015141647A (ja
Inventor
和俊 尾花
和俊 尾花
宏智 河井
宏智 河井
惇一郎 宮武
惇一郎 宮武
稲見 昌彦
昌彦 稲見
孝太 南澤
孝太 南澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2014015138A priority Critical patent/JP6264542B2/ja
Priority to EP14199211.5A priority patent/EP2902879B1/en
Priority to US14/581,561 priority patent/US9833702B2/en
Publication of JP2015141647A publication Critical patent/JP2015141647A/ja
Priority to US15/799,374 priority patent/US9968846B2/en
Application granted granted Critical
Publication of JP6264542B2 publication Critical patent/JP6264542B2/ja
Priority to US15/947,493 priority patent/US10286310B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light

Description

本発明は、情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法に関し、特に例えば、ユーザに与える振動を制御する情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法に関する。
従来、装置本体に振動を与えるゲーム装置が知られている(例えば、特許文献1参照)。例えば、上記特許文献1で開示されたゲーム装置は、ゲーム状況に応じて装置本体に振動を与え、当該装置を把持するユーザの指や手に振動を伝える。
特開2006−68210号公報
しかしながら、上記特許文献1で開示されたゲーム装置では、ユーザの指や手に与える振動のバリエーションが乏しい。
それ故に、本発明の目的は、バリエーションに富んだ振動をユーザに与えることができる情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法を提供することである。
上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。
本発明の情報処理装置の一構成例は、可搬型の情報処理装置である。情報処理装置は、画像表示部、ステレオ音声出力部、一対の振動部、および制御部を備える。一対の振動部は、画像表示部の中心に対して情報処理装置本体の左側と右側とにそれぞれ設けられる。制御部は、音声制御手段、振動制御手段、および画像制御手段を含む。音声制御手段は、ステレオ音声出力部に出力するための音声信号を生成して出力する。振動制御手段は、複数の周波数成分を有する振動で一対の振動部をそれぞれ振動させるための振動信号を生成し、当該振動信号をそれぞれ出力する。画像制御手段は、画像表示部に表示する画像を制御する。
上記によれば、左側と右側とにそれぞれ設けられ一対の振動部から複数の周波数成分を有する振動が与えられるため、バリエーションに富んだ振動をユーザに与えることができる。
また、上記振動制御手段は、所定幅を有する周波数帯域の振動で振動部を振動させる振動信号を生成してもよい。
上記によれば、一対の振動部から所定幅を有する周波数帯域の振動(例えば、所定幅を有する少なくとも1つの周波数帯域において所定の大きさ以上の値が連続する振動)が与えられるため、バリエーションに富んだ振動をユーザに与えることができる。
また、上記振動制御手段が生成する振動信号は、所定の処理が行われることによって複数の周波数成分を有する信号に復号可能でもよい。
上記によれば、振動信号を生成することによって、与える振動の周波数成分を直接的に制御することができる。
また、上記振動制御手段は、一対の振動部のうち一方を振動させる第1振動信号と一対の振動部のうち他方を振動させる第2振動信号とを、それぞれ生成して出力してもよい。
上記によれば、一対の振動部に対してそれぞれ振動信号を出力することによって、それぞれの振動部を独立して制御することができる。
また、上記ステレオ音声出力部は、画像表示部の中心に対して情報処理装置本体の左側と右側とにそれぞれ設けられてもよい。この場合、上記ステレオ音声出力部と上記振動部とは、それぞれ情報処理装置本体における別の位置に配置されてもよい。
上記によれば、振動部と同様に音声出力部も情報処理装置本体の左側と右側とにそれぞれ設けることによって、振動と音声とを独立して制御しながら、振動と音声とを組み合わせた制御が容易となる。
また、上記ステレオ音声出力部と振動部とは、情報処理装置本体において互いに近接する位置に配置されてもよい。
上記によれば、振動部と音声出力部とを近接してそれぞれ配置することによって、振動と音声とを独立して制御しながら、振動と音声とを組み合わせた制御が容易となる。
また、上記情報処理装置は、ユーザが両手で把持するためのハウジングを、さらに備えてもよい。この場合、上記一対の振動部のうち一方は、ハウジングのユーザが右手で把持する部分に配置され、一対の振動部のうち他方は、ハウジングのユーザが左手で把持する部分に配置されてもよい。
上記によれば、情報処理装置のハウジングを把持するユーザの手に効率よく振動を伝えることができる。
また、上記情報処理装置は、変換部を、さらに備えてもよい。変換部は、振動信号をアナログ信号に変換し、当該アナログ信号によって振動部を駆動して当該振動部を複数の周波数成分を有する振動で振動させる。
上記によれば、アナログ信号に変換することによって、振動部を容易に駆動することができる。
また、上記振動制御手段は、画像制御手段により制御される画像に応じた振動となるように、振動信号を生成してもよい。
上記によれば、表示画像に応じた振動をユーザに与えることによって、リアリティの高い体験をユーザに与えることができる。
また、上記画像制御手段は、少なくとも1つのオブジェクトを画像表示部に表示してもよい。上記振動制御手段は、オブジェクトが画像表示部に表示されている位置に応じて、一対の振動部の振動によって知覚される振動源の位置を制御してもよい。
上記によれば、オブジェクト表示位置を振動源とすることによって、よりリアリティの高い体験をユーザに与えることができる。
また、上記音声制御手段は、画像制御手段により制御される画像に応じた音声となるように、音声信号を生成してもよい。
上記によれば、表示画像に応じた音声を与えることによって、リアリティの高い体験をユーザに与えることができる。
また、上記画像制御手段は、少なくとも1つのオブジェクトを画像表示部に表示してもよい。上記音声制御手段は、オブジェクトが画像表示部に表示されている位置に応じて、ステレオ音声出力部から出力する音声において音源が定位する位置を制御してもよい。
上記によれば、オブジェクト表示位置を音源定位位置とすることによって、よりリアリティの高い体験をユーザに与えることができる。
また、上記振動制御手段は、音声制御手段により制御される音声に応じた振動となるように、振動信号を生成してもよい。
上記によれば、音声に応じた振動をユーザに与えることによって、リアリティの高い体験をユーザに与えることができる。
また、上記音声制御手段は、所定の位置に音源が定位するようにステレオ音声出力部から出力する音声を制御してもよい。上記振動制御手段は、音源が定位する位置に応じて、振動部の振動によって知覚される振動源の位置を制御してもよい。
上記によれば、音源定位位置を振動源とすることによって、よりリアリティの高い体験をユーザに与えることができる。
また、上記情報処理装置は、プログラム記憶部を、さらに備えてもよい。プログラム記憶部は、音声信号を生成するための音声生成プログラムと振動信号を生成するための振動生成プログラムとを記憶する。この場合、上記音声制御手段は、音声生成プログラムの実行により音声信号を生成してもよい。上記振動制御手段は、振動生成プログラムの実行により振動信号を生成してもよい。
上記によれば、音声制御および振動制御をプログラムの実行によって行うことによって、柔軟な制御が可能となる。
また、上記情報処理装置は、データ記憶部を、さらに備えてもよい。データ記憶部は、音声信号に関する音声データと振動信号に関する振動データとを記憶する。この場合、上記音声制御手段は、データ記憶部に記憶された音声データを読み出すことにより、音声信号を生成してもよい。上記振動制御手段は、データ記憶部に記憶された振動データを読み出すことにより、振動信号を生成してもよい。
上記によれば、予め用意された振動データおよび音声データを用いることによって、バリエーションに富んだ振動や音声を提示することができる。
また、上記画像制御手段は、画像表示部に表示される仮想世界の対応位置から当該表示領域外の仮想世界の対応位置へ移動するおよび/または当該表示領域外の仮想世界の対応位置から画像表示部に表示される仮想世界の対応位置へ移動する少なくとも1つのオブジェクトを画像表示部に表示してもよい。上記振動制御手段は、オブジェクトが表示領域外の仮想世界の対応位置に配置されている場合であっても、当該配置位置に応じて、振動部の振動によって知覚される振動源の位置を制御してもよい。
上記によれば、オブジェクトが表示領域外の仮想世界の対応位置に配置されている場合であっても、振動源を知覚させることによって表示領域外の仮想世界の対応位置にあるオブジェクトを想像することができる。
また、上記音声制御手段は、オブジェクトが表示領域外の仮想世界の対応位置に配置されている場合であっても、当該配置位置に応じて、ステレオ音声出力部から出力する音声において音源が定位する位置を制御してもよい。
上記によれば、オブジェクトが表示領域外の仮想世界の対応位置に配置されている場合であっても、音源を定位する位置を表示画面外にすることによって、さらに表示領域外の仮想世界の対応位置にあるオブジェクトを認識することが容易となる。
また、上記振動制御手段は、オブジェクトが表示領域外の仮想世界の対応位置に配置されている場合であっても、当該配置位置に応じた振動強度の配分で一対の振動部をそれぞれ同時に振動させることによって、当該振動部の振動による振動源が当該配置位置であるように知覚させてもよい。
上記によれば、一対の振動部に与える振動強度の配分を調整することによって、一対の振動部の間の外側に形成されている空間であっても、容易に振動源を設定することができる。
また、上記振動制御手段は、画像表示部に表示される仮想世界の対応位置にオブジェクトが配置されている場合、当該配置位置に応じて、振動源の位置を制御してもよい。
上記によれば、オブジェクトが画像表示部に表示される仮想世界の対応位置に配置されている場合であっても、当該対応位置にあるオブジェクトが振動源であることを知覚させることができる。
また、上記振動制御手段は、画像表示部に表示される仮想世界の対応位置から表示領域外の仮想世界の対応位置へオブジェクトが移動するとき、および、表示領域外の仮想世界の対応位置から画像表示部に表示される仮想世界の対応位置へ移動するときの少なくとも一方の場合に、中断することなく振動源の位置を制御してもよい。
上記によれば、表示領域内の仮想世界から表示領域外の仮想世界へオブジェクトが移動する場合、および表示領域外の仮想世界から表示領域内の仮想世界へオブジェクトが移動する場合において、中断することなくオブジェクトが振動源であることを知覚させることができる。
また、上記振動制御手段は、情報処理装置本体の左側に設けられた左基準位置に対応する仮想世界の位置に向かってオブジェクトが移動するにしたがって当該左側に対応する振動部による振動を大きくして、当該左基準位置に対応する仮想世界の位置から離れて移動するにしたがって当該左側に対応する振動部による振動を小さくする振動信号を生成してもよい。上記振動制御手段は、情報処理装置本体の右側に設けられた右基準位置に対応する仮想世界の位置に向かってオブジェクトが移動するにしたがって当該右側に対応する振動部による振動を大きくして、当該右基準位置に対応する仮想世界の位置から離れて移動するにしたがって当該右側に対応する振動部による振動を小さくする振動信号を生成してもよい。
上記によれば、情報処理装置本体の左右に設けられた基準位置に対応する仮想世界の位置をオブジェクトが移動している場合に、当該基準位置に対応する振動部から与えられる振動を最大にすることによって、移動しているオブジェクトが振動源であることをより知覚させることができる。
また、上記振動制御手段は、情報処理装置本体の左側に設けられた左基準位置に対応する仮想世界の位置を通過するように移動した場合には、当該左基準位置に対応する振動部による振動の大きさが、当該オブジェクトが当該左基準位置に対応する仮想世界の位置に到達するまでは、当該移動にしたがって大きくなるように振動信号を生成し、当該オブジェクトが当該左基準位置に対応する仮想世界の位置を通過してからは、当該移動にしたがって小さくなるように振動信号を生成してもよい。上記振動制御手段は、情報処理装置本体の右側に設けられた右基準位置に対応する仮想世界の位置を通過するように移動した場合には、当該右基準位置に対応する振動部による振動の大きさが、当該オブジェクトが当該右基準位置に対応する仮想世界の位置に到達するまでは、当該移動にしたがって大きくなるように振動信号を生成し、当該オブジェクトが当該右基準位置に対応する仮想世界の位置を通過してからは、当該移動にしたがって小さくなるように振動信号を生成してもよい。
上記によれば、情報処理装置本体の左右に設けられた基準位置に対応する仮想世界の位置をオブジェクトが通過する場合に、当該基準位置に対応する振動部から与えられる振動を最大にすることによって、移動しているオブジェクトが振動源であることをより知覚させることができる。
また、本発明は、上記各手段としてコンピュータを機能させる情報処理プログラム、上記各手段を備える情報処理システム、または上記各手段で行われる動作を含む情報処理方法の形態で実施されてもよい。
本発明によれば、左側と右側とにそれぞれ設けられ一対の振動部から複数の周波数成分を有する振動が与えられるため、バリエーションに富んだ振動をユーザに与えることができる。
本発明の一実施例に係る情報処理装置3の外観の一例を示す平面図 情報処理装置3の構成の一例を示すブロック図 振動発生部37の構成の一例を示すブロック図 表示部35の表示画面に表示されている仮想オブジェクトOBJの表示位置に応じて、情報処理装置3本体が振動するとともに音声が出力される一例を示す図 表示部35の表示画面に表示される第1のゲーム例の画像を示す図 第1のゲーム例において、情報処理装置3本体に与えられる振動の一例および情報処理装置3から出力される音声の一例を説明するための図 第1のゲーム例における時刻T1近くにおいて情報処理装置3本体に与えられる振動のスペクトラムの一例および情報処理装置3から出力される音声のスペクトラムの一例を説明するための図 第2のゲーム例において表示部35の表示画面内から表示画面外へ仮想オブジェクトOBJが移動する際に、情報処理装置3本体が振動するとともに音声が出力される一例を示す図 第2のゲーム例において表示部35の表示画面内から表示画面外へ仮想オブジェクトOBJが移動する際に、情報処理装置3本体に与えられる振動強さの一例を示す図 情報処理装置3の記憶部32に記憶される主なデータおよびプログラムの一例を示す図 情報処理装置3において実行されるゲーム処理の一例を示すフローチャート
図面を参照して、本発明の一実施形態に係る情報処理プログラムを実行する情報処理装置について説明する。本発明の情報処理プログラムは、任意のコンピュータシステムで実行されることによって適用することができるが、情報処理装置の一例として携帯型の情報処理装置3(タブレット端末)を用い、情報処理装置3で実行される情報処理プログラムを用いて説明する。例えば、情報処理装置3は、交換可能な光ディスクやメモリーカード等の記憶媒体内に記憶された、または、他の装置から受信したプログラムや予めインストールされたプログラム(例えば、ゲームプログラム)を実行可能であり、一例として、仮想空間に設定された仮想カメラから見た仮想空間画像等のコンピュータグラフィックス処理により生成された画像を画面に表示することができる。情報処理装置3は、一般的なパーソナルコンピュータ、据置型ゲーム機、携帯電話機、携帯ゲーム機、PDA(Personal Digital Assistant)等のデバイスであってもかまわない。なお、図1は、情報処理装置3の外観の一例を示す平面図である。
図1において、情報処理装置3は、表示部35、音声出力部36、およびアクチュエータ373を備えている。一例として、表示部35は、情報処理装置3本体前面に設けられている。例えば、表示部35は、LCD(Liquid Crystal Display:液晶表示装置)によって構成されるが、例えばELを利用した表示装置などが利用されてもよい。また、表示部35は、立体視可能な画像を表示することが可能な表示装置であってもよい。
表示部35の表示画面を覆うように、入力部34の一例であるタッチパネル341が設けられている。タッチパネル341は、所定の入力面(例えば、表示部35の表示画面)に対して入力された位置を検出する。なお、入力部34は、情報処理装置3のユーザが操作入力可能な入力装置であり、どのような入力装置であってもよい。例えば、入力部34として、スライドパッド、アナログスティック、十字キー、および操作ボタン等の操作部が、情報処理装置3本体の側面や背面等に備えられてもよい。また、入力部34は、情報処理装置3本体の姿勢や動きを検出するためのセンサであってもよい。例えば、入力部34は、情報処理装置3本体に生じる加速度を検出する加速度センサや情報処理装置3本体の回転量を検出する角速度センサ(ジャイロセンサ)等であってもよい。
音声出力部36は、音声を出力するスピーカを含み、図1に示した一例では、情報処理装置3の上側面や背面の左右に設けられた一対のステレオスピーカ(左音声出力部36Lおよび右音声出力部36R)を含んでいる。音声出力部36は、後述する制御部31から出力される音声信号(左音声制御信号および右音声制御信号)をD/A変換してアナログ音声信号(左アナログ音声信号および右アナログ音声信号)を生成し、当該アナログ音声信号をスピーカ(例えば、ステレオスピーカ)へそれぞれ出力して音声を出力させる。
アクチュエータ373は、情報処理装置3の本体に所定の振動を与える振動アクチュエータ(振動子)であり、後述する振動発生部37に含まれる。図1に示した一例では、アクチュエータ373は、情報処理装置3本体内部の左側に設けられた左アクチュエータ373Lと、情報処理装置3本体内部の右側に設けられた右アクチュエータ373Rとを有する。具体的には、図1の破線領域で示すように、ユーザが情報処理装置3の左端部を左手で把持した場合に当該左手に近い位置となる表示部35の左側に左アクチュエータ373Lが設けられる。また、ユーザが情報処理装置3の右端部を右手で把持した場合に当該右手に近い位置となる表示部35の右側に右アクチュエータ373Rが設けられる。また、振動発生部37は、後述する制御部31から出力される振動制御信号(左振動制御信号および右振動制御信号)をD/A変換してアナログ振動信号(左アナログ振動信号および右アナログ振動信号)を生成し、当該アナログ振動信号を増幅した駆動信号をアクチュエータ373(左アクチュエータ373Lおよび右アクチュエータ373R)へそれぞれ出力してアクチュエータ373を駆動させる。
なお、図1から明らかなように、情報処理装置3に設けられる表示部35の表示画面と左音声出力部36Lおよび右音声出力部36Rとがそれぞれ近接する位置に配置されており、表示部35の表示画面と左アクチュエータ373Lおよび右アクチュエータ373Rとがそれぞれ近接する位置に配置されている。また、左音声出力部36Lおよび左アクチュエータ373Lと、右音声出力部36Rおよび右アクチュエータ373Rとは、それぞれ互いに近接する位置に配置されているが、それぞれ別の位置に配設される別のユニットである。これによって、振動出力専用のユニットと音声出力専用のユニットとを備えることができるため、汎用のユニットを共用する場合と比較すると精度の高い振動および音声をそれぞれ出力することができる。なお、振動出力するためのユニットと音声出力するためのユニットとが組み合わせられて一体化されたモジュールを、情報処理装置3の左右に設けてもよい。
次に、図2を参照して、情報処理装置3の内部構成について説明する。なお、図2は、情報処理装置3の構成の一例を示すブロック図である。
図2において、上述した入力部34、表示部35、音声出力部36、および振動発生部37の他に、制御部31、記憶部32、およびプログラム格納部33を備える。なお、情報処理装置3は、制御部31を少なくとも含む情報処理装置と他の装置とを含む1以上の装置によって構成されてもよい。
制御部31は、各種の情報処理を実行するための情報処理手段(コンピュータ)であり、例えばCPUである。制御部31は、各種の情報処理として、入力部34に対するユーザの操作に応じた処理等を実行する機能を有する。例えば、CPUが所定のプログラムを実行することによって、制御部31における各機能が実現される。
制御部31は、各種の情報処理として、表示部35に表示する画像の表示制御を行う。また、制御部31は、各種の情報処理として、ステレオスピーカから出力する音声を制御するための音声制御信号(例えば、デジタル音声信号)を、音声出力部36へ出力する。また、制御部31は、各種の情報処理として、アクチュエータ373(左アクチュエータ373Lおよび右アクチュエータ373R)の振動を制御するための振動制御信号(例えば、デジタル振動信号)を、振動発生部37へ出力する。
記憶部32は、制御部31が上記情報処理を実行する際に用いる各種のデータを記憶する。記憶部32は、例えばCPU(制御部31)がアクセス可能なメモリである。
プログラム格納部33は、プログラムを記憶(格納)する。プログラム格納部33は、制御部31がアクセス可能な記憶装置(記憶媒体)であればどのようなものであってもよい。例えば、プログラム格納部33は、制御部31を含む情報処理装置3内に設けられる記憶装置であってもよいし、制御部31を含む情報処理装置3に着脱自在に装着される記憶媒体であってもよい。また、プログラム格納部33は、制御部31とネットワークを介して接続される記憶装置(サーバ等)であってもよい。制御部31(CPU)は、ゲームプログラムの一部または全部を適宜のタイミングで記憶部32に読み出し、読み出されたプログラムを実行するようにしてもよい。
次に、図3を参照して、振動発生部37の構成について説明する。なお、図3は、振動発生部37の構成の一例を示すブロック図である。
図3において、振動発生部37は、コーデック部371、増幅部372、左アクチュエータ(左振動子)373L、および右アクチュエータ(右振動子)373Rを備えている。
コーデック部371は、制御部31から出力された振動制御信号を取得して所定の復号処理を行ってアナログ振動信号を生成し、増幅部372へ出力する。例えば、アクチュエータ373が複数設けられており、それぞれのアクチュエータ373(例えば、左アクチュエータ373Lおよび右アクチュエータ373R)から独立した振動を発生させる場合、アクチュエータ373毎に振動を制御するための振動制御信号(例えば、左振動制御信号CSLおよび右振動制御信号CSR)が制御部31から出力される。この場合、コーデック部371は、制御部31から出力された振動制御信号をそれぞれ復号して、アクチュエータ373毎に振動を発生させるためのアナログ振動信号(例えば、左アナログ振動信号ASLおよび右アナログ振動信号ASR)を生成して、増幅部372へそれぞれ出力する。
増幅部372は、コーデック部371から出力されたアナログ振動信号を増幅してアクチュエータ373を駆動するための駆動信号を生成し、アクチュエータ373へ出力する。例えば、アクチュエータ373が複数設けられている場合(例えば、左アクチュエータ373Lおよび右アクチュエータ373Rが設けられている場合)、増幅部372は、コーデック部371から出力されたアナログ振動信号(例えば、左アナログ振動信号ASLおよび右アナログ振動信号ASR)の電流/電圧の振幅変化をそれぞれ増大させて駆動信号(例えば、左駆動信号DSLおよび右駆動信号DSR)を生成して、アクチュエータ373(例えば、左アクチュエータ373Lおよび右アクチュエータ373R)へそれぞれ出力する。
アクチュエータ373は、増幅部372から出力された駆動信号に応じて駆動することによって、情報処理装置3の本体に当該駆動信号に応じた振動を与える。例えば、アクチュエータ373は、図1に示すように、表示部35の表示画面の中心に対して情報処理装置3本体の左側と右側とにそれぞれ設けられた、左アクチュエータ373Lと右アクチュエータ373Rとによって構成される。一例として、左アクチュエータ373Lは、情報処理装置3本体においてユーザが左手で把持する部位内に配置され、右アクチュエータ373Rは、情報処理装置3本体においてユーザが右手で把持する部位内に配置される。ここで、アクチュエータ373が情報処理装置3本体に振動を与える方式は、どのようなものでもかまわない。例えば、アクチュエータ373は、偏心モーター(ERM:Eccentric Rotating Mass)によって振動を生じさせる方式や、リニア・バイブレータ(LRA:Linear Resonant Actuator)によって振動を生じさせる方式や、ピエゾ(圧電)素子によって振動を生じさせる方式等を用いた構成であってもよい。アクチュエータ373が振動を生じさせる方式に応じて、増幅部372から出力される駆動信号が生成されれば、どのような方式のアクチュエータであっても様々な振動を情報処理装置3のユーザに与えることができる。
なお、振動発生部37の構成については、1以上のコーデック部や1以上の増幅部が設けられてもよい。例えば、設けられている複数のアクチュエータ373毎にコーデック部や増幅部を設けることが考えられる。また、上述した説明では、コーデック部371で生成されたアナログ振動信号が増幅されてアクチュエータ373を駆動するための駆動信号が生成される例を用いたが、コーデック部371から増幅部372へ出力される信号は、デジタル信号であってもよい。例えば、パルス幅変調(PWM:Pulse Width Modulation)制御によってアクチュエータ373を駆動する場合、コーデック部371がアクチュエータ373をオン/オフするためのパルス信号を生成すればよい。この場合、コーデック部371から増幅部372へ出力される信号は、パルス波を用いて駆動が制御されるデジタル振動信号となり、増幅部372は、当該デジタル振動信号を増幅することになる。
次に、情報処理装置3が行う具体的な処理を説明する前に、図4〜図9を用いて情報処理装置3において行われる処理の概要について説明する。以下の説明では、表示部35の表示画面内や表示画面外をプレイヤキャラクタPCや仮想オブジェクトOBJが移動するゲームを行う処理を、情報処理装置3において行われる処理情報処理の一例として用いる。なお、図4は、表示部35の表示画面に表示されている仮想オブジェクトOBJの表示位置に応じて、情報処理装置3本体が振動するとともに音声が出力される一例を示す図である。図5は、表示部35の表示画面に表示される第1のゲーム例の画像を示す図である。図6は、第1のゲーム例において、情報処理装置3本体に与えられる振動の一例および情報処理装置3から出力される音声の一例を説明するための図である。図7は、第1のゲーム例における時刻T1近くにおいて情報処理装置3本体に与えられる振動のスペクトラムの一例および情報処理装置3から出力される音声のスペクトラムの一例を説明するための図である。図8は、第2のゲーム例において表示部35の表示画面内から表示画面外へ仮想オブジェクトOBJが移動する際に、情報処理装置3本体が振動するとともに音声が出力される一例を示す図である。図9は、第2のゲーム例において表示部35の表示画面内から表示画面外へ仮想オブジェクトOBJが移動する際に、情報処理装置3本体に与えられる振動強さの一例を示す図である。
図4に示す例では、仮想世界内を移動する仮想オブジェクトOBJが表示部35の表示画面に表示される。仮想オブジェクトOBJは、ユーザ操作に応じて、または自動的に仮想世界内を移動して表示部35の表示画面に表示される。
仮想オブジェクトOBJの移動に応じて、情報処理装置3本体が振動するとともに音声が出力される。例えば、情報処理装置3本体に設けられた左アクチュエータ373Lおよび右アクチュエータ373Rは、表示部35の表示画面に表示されている仮想オブジェクトOBJの表示位置に応じて、それぞれ仮想オブジェクトOBJが移動する際に生じる振動を生じさせる。一例として、ユーザの皮膚における異なる2点(具体的には、情報処理装置3本体を把持するユーザの左手と右手)に刺激を与えることによって擬似的な1点の刺激を知覚させるファントムセンセーションを利用して、左アクチュエータ373Lおよび右アクチュエータ373Rは、仮想オブジェクトOBJの表示位置が振動源であるように擬似的に知覚させる振動(仮想オブジェクトOBJの表示位置が疑似力覚を提示する位置となる振動)を情報処理装置3のユーザに与える。また、情報処理装置3本体に設けられた一対のステレオスピーカ(左音声出力部36Lおよび右音声出力部36R)は、音源が定位する位置が、表示部35の表示画面に表示されている仮想オブジェクトOBJの表示位置となるような音声を出力する。このように、仮想オブジェクトOBJの表示位置と振動源として擬似的に知覚させる位置(疑似力覚提示位置)と音源定位位置とを実質的に一致させることによって、視覚と触覚と聴覚とを利用したリアルな体験をユーザに与えることができる。また、仮想オブジェクトOBJが移動する際の振動と音とを模して、左アクチュエータ373Lおよび右アクチュエータ373Rから与える振動と左音声出力部36Lおよび右音声出力部36Rから出力する音声とを生成することによって、さらにリアリティを高めることが可能となる。
次に、図5を参照して、情報処理装置3でプレイ可能な第1のゲーム例について説明する。第1のゲーム例では、情報処理装置3のユーザ操作に応じて、仮想世界内を移動可能なプレイヤキャラクタPCを含む当該仮想世界の少なくとも一部が表示部35の表示画面に表示される。例えば、プレイヤキャラクタPCは、入力部34を用いたユーザ操作に応じて、仮想世界内を移動する(例えば、図5(A)に示す時刻T0の状態)。
表示部35の表示画面に表示される仮想世界には、複数の仮想オブジェクトOBJ1〜OBJ3が配置されている。仮想オブジェクトOBJ1〜OBJ3は、仮想世界内でプレイヤキャラクタPCと接触した場合(例えば、プレイヤキャラクタPCに踏まれた場合)、ゲーム進行において接触音(例えば、潰れる音)が情報処理装置3から出力されるとともに接触した際の振動が情報処理装置3に与えられる。例えば、時刻T0に対して時系列的に後となる時刻T1では、仮想世界においてプレイヤキャラクタPCが仮想オブジェクトOBJ1と接触した様子が表示部35の表示画面に表示されている(図5(B)参照)。このとき、第1のゲーム例では、仮想オブジェクトOBJ1とプレイヤキャラクタPCとが接触したことを示す音声が、当該接触を表示する位置を音源定位位置として、ステレオスピーカ(左音声出力部36Lおよび右音声出力部36R)から出力される。また、第1のゲーム例では、仮想オブジェクトOBJ1とプレイヤキャラクタPCとが接触したことを示す振動が、当該接触を表示する位置を振動源として擬似的に知覚させる位置として、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる。
また、時刻T1に対して時系列的に後となる時刻T2では、仮想世界においてプレイヤキャラクタPCが仮想オブジェクトOBJ2と接触した様子が表示部35の表示画面に表示されている(図5(C)参照)。このとき、第1のゲーム例では、仮想オブジェクトOBJ2とプレイヤキャラクタPCとが接触したことを示す音声が、当該接触を表示する位置を音源定位位置として、ステレオスピーカから出力されるとともに、仮想オブジェクトOBJ2とプレイヤキャラクタPCとが接触したことを示す振動が、当該接触を表示する位置を振動源として擬似的に知覚させる位置として、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる。
さらに、時刻T2に対して時系列的に後となる時刻T3では、仮想世界においてプレイヤキャラクタPCが仮想オブジェクトOBJ3と接触した様子が表示部35の表示画面に表示されている(図5(D)参照)。このとき、第1のゲーム例では、仮想オブジェクトOBJ3とプレイヤキャラクタPCとが接触したことを示す音声が、当該接触を表示する位置を音源定位位置として、ステレオスピーカから出力されるとともに、仮想オブジェクトOBJ3とプレイヤキャラクタPCとが接触したことを示す振動が、当該接触を表示する位置を振動源として擬似的に知覚させる位置として、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる。
図6に示すように、第1のゲーム例では、左アクチュエータ373Lおよび右アクチュエータ373Rからそれぞれ異なる振動が情報処理装置3本体に与えられることによって、上述したファントムセンセーションを実現している。例えば、時刻T1では、左アクチュエータ373Lから情報処理装置3本体に与えられる振動(振動信号(左側);例えば、左アクチュエータ373Lを駆動させる駆動信号または左アナログ振動信号を示す)の振幅は、右アクチュエータ373Rから情報処理装置3本体に与えられる振動(振動信号(右側);例えば、右アクチュエータ373Rを駆動させる駆動信号または右アナログ振動信号を示す)の振幅より相対的に大きい。これは、図5(B)に示すように、時刻T1では、表示部35の表示画面において、当該表示画面中央から左寄りの領域でプレイヤキャラクタPCが仮想オブジェクトOBJ1と接触しているためであり、右側から与える振動より左側から与える振動を強くすることによって当該接触を表示する表示画面左寄りの位置が振動源であるようにユーザに知覚させることができる。
一方、時刻T3では、右アクチュエータ373Rから情報処理装置3本体に与えられる振動の振幅は、左アクチュエータ373Lから情報処理装置3本体に与えられる振動の振幅より相対的に大きい。これは、図5(D)に示すように、時刻T3では、表示部35の表示画面において、当該表示画面中央から右寄りの領域でプレイヤキャラクタPCが仮想オブジェクトOBJ3と接触しているためであり、左側から与える振動より右側から与える振動を強くすることによって当該接触を表示する表示画面右寄りの位置が振動源であるようにユーザに知覚させることができる。
また、図7に示すように、第1のゲーム例では、左アクチュエータ373Lおよび右アクチュエータ373Rからそれぞれ複数の周波数成分を有する振動(単一の周波数成分のみの振動ではない振動)が情報処理装置3本体に与えられる。例えば、図7(A)および図7(B)は、時刻T1近くで情報処理装置3本体に与えられる振動のスペクトラムの一例を示しており、所定幅を有する周波数帯域の振動(広帯域の振動)が左アクチュエータ373Lおよび右アクチュエータ373Rから情報処理装置3本体に与えられていることが示されている。より具体的には、10Hz(ヘルツ)より低い周波数成分から1kHz(キロヘルツ)より高い周波数成分までの周波数帯域に対する全域に対してパワーを有する振動が、左アクチュエータ373Lおよび右アクチュエータ373Rから情報処理装置3本体に与えられる。ここで、人間の皮膚感覚を受容する感覚受容器は、メルケル盤、マイスナー小体、パチニ小体、およびルフィニ終末等で構成されており、メルケル盤が0−200Hzの振動に応答するとされ、マイスナー小体が20−100Hzの振動に応答し30Hz付近の振動が最も感度が高いとされ、パチニ小体が100−300Hzの振動に応答し200Hz付近の振動が最も感度が高いとされている。左アクチュエータ373Lおよび右アクチュエータ373Rから情報処理装置3本体に与えられる振動は、人間が振動を感じることができるとされる0−1kHzの周波数帯域の振動または当該周波数帯域の一部の振動を有するとともに、これらの感覚受容器がそれぞれ応答可能な周波数成分(図7(A)および図7(B)に示すA〜C領域の周波数成分)を有しており、リアリティに富んだ触り心地を再現してユーザに提示することができる。
また、図7に示すように、情報処理装置3のユーザに与えることができる振動および情報処理装置3から出力する音声は、それぞれ別のスペクトラムを有することができる。例えば、情報処理装置3は、人間が振動を感じることができるとされる0−1000Hzの広帯域を中心とした振動をユーザに与えることができるとともに、人間が耳に聞こえる可聴周波数である20−20000Hzの広帯域を中心とした音声を出力することができ、それぞれ別の制御信号によって別の振動体(左アクチュエータ373L、右アクチュエータ373R、およびステレオスピーカ)を制御することによってそれぞれ別のスペクトラムを有することができる。
本実施例では、情報処理装置3本体に振動を与えるための振動データと情報処理装置3から音声を出力するための音声データとが、それぞれ別に予め用意されていてもよい。この場合、情報処理装置3本体に与える振動の種類に応じた振動データを、上記用意された振動データの中から抽出して読み出すことによって、振動制御信号が生成される。また、情報処理装置3から出力する音声に応じた音声データを、上記用意された音声データの中から抽出して読み出すことによって、音声制御信号が生成される。なお、上記振動データは、左アクチュエータ373Lから振動を与えるための振動データと右アクチュエータ373Rから振動を与えるための振動データとを、それぞれ別に用意してもかまわない。一例として、振動源の位置に基づいて左右一対の振動データを予め用意し、情報処理装置3本体に振動を与える際には知覚させる振動源の位置に応じた左右一対の振動データを読み出してもかまわない。また、上記音声データについても、左スピーカから音声出力するための音声データと右スピーカから音声出力するための音声データとを、それぞれ別に用意してもよいことは言うまでもない。また、予め用意されている音声データを振動データとして用いてもかまわない。音声データもスピーカの振動板を振動させて駆動するために用いられるデータであるため、振動子を振動させて駆動させるためのデータ(すなわち、振動データ)として用いることも可能である。
また、本実施例では、左アクチュエータ373Lを駆動するための振動制御信号(左振動制御信号CSL)と右アクチュエータ373Rを駆動するための振動制御信号(右振動制御信号CSR)とは、それぞれ独立して生成されてもいいし、1つの振動制御信号を加工することによってそれぞれ生成されてもよい。例えば、後者の場合、各アクチュエータを振動させる振動強度に応じて予め用意されている1つの振動制御信号を加工することによって、左振動制御信号CSLおよび右振動制御信号CSRを生成することが考えられる。
次に、図8を参照して、情報処理装置3でプレイ可能な第2のゲーム例について説明する。第2のゲーム例では、移動可能な仮想オブジェクトOBJが仮想世界内に配置され、仮想オブジェクトOBJが表示部35の表示画面に表示される仮想世界だけでなく当該表示画面外の仮想世界でも移動する。
例えば、図8(A)に示すように、表示部35の表示画面内に表示された仮想世界を仮想オブジェクトOBJが移動している様子が表示される場合、当該仮想オブジェクトOBJの表示位置に基づいて、仮想オブジェクトOBJが移動する音が情報処理装置3から出力されるとともに仮想オブジェクトOBJが移動する振動が情報処理装置3に与えられる。具体的には、第2のゲーム例では、仮想オブジェクトOBJが表示画面内を移動していることを示す音声が、仮想オブジェクトOBJの表示位置を音源定位位置として、ステレオスピーカ(左音声出力部36Lおよび右音声出力部36R)から出力される。また、第2のゲーム例では、仮想オブジェクトOBJが表示画面内を移動していることを示す振動が、仮想オブジェクトOBJの表示位置を振動源として擬似的に知覚させる位置として、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる。そして、表示部35の表示画面内に表示された仮想世界から当該表示画面外の仮想世界へ仮想オブジェクトOBJが移動する場合、上記音源定位位置および上記振動源として知覚させる位置も仮想オブジェクトOBJの移動に応じて表示部35の表示画面外へ移動する(図8(B)参照)。
そして、図8(C)に示すように、表示部35の表示画面に表示されていない仮想世界を仮想オブジェクトOBJが移動する場合、当該表示画面に表示されている仮想世界の位置を基準として仮想オブジェクトOBJが移動していると想定される位置(図8(C)の破線で示す仮想オブジェクトOBJの位置)が上記音源定位位置および上記振動源として知覚させる位置として設定される。例えば、サラウンド技術やバイノーラル録音された音声等を用いることによる立体音響を生成することによって、情報処理装置3のステレオスピーカの外側に設定されている仮想オブジェクトOBJの位置を音源定位位置として、当該ステレオスピーカから仮想オブジェクトOBJが表示画面外を移動していることを示す音声が出力される。また、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる振動を左右の振動強さが所定のバランスとなるように調整するとともに、仮想オブジェクトOBJが表示画面外へ移動したことをユーザに示す視覚と上述した立体音響の音源定位位置をユーザに示す聴覚とによって、左アクチュエータ373Lおよび右アクチュエータ373Rの外側に設定されている仮想オブジェクトOBJの位置が振動源であるように知覚させる。
例えば、表示部35の表示画面外の仮想世界から表示画面内に表示された仮想世界へ仮想オブジェクトOBJが移動した後、当該表示画面内の仮想世界を通って当該表示画面外の仮想世界へ仮想オブジェクトOBJが移動する際の振動について説明する。説明を具体的にするために、図9に示すように、左側の表示画面外に形成されている仮想世界から表示画面に表示されている仮想世界を通って右側の表示画面外に形成されている仮想世界へ仮想オブジェクトOBJが移動する場合(図9に示すOBJ1、OBJ2、OBJ3、OBJ4、OBJ5、OBJ6の順の経路で移動する場合)を想定する。なお、左アクチュエータ373Lと右アクチュエータ373Rとの距離がX(表示部35の表示画面の左右方向の幅とほぼ同じである場合は、当該幅もX)であるとして、以下の説明を行う。
上述した移動経路で仮想オブジェクトOBJが移動する場合、左アクチュエータ373Lによって与えられる振動強さは、左アクチュエータ373Lが設けられている位置(すなわち、ユーザが左手で情報処理装置3本体を把持する位置であり、表示部35の表示画面左端付近)を仮想オブジェクトOBJが通過する時点(仮想オブジェクトOBJ3で示される位置を通過する時点)が最も強くなる(この振動強さのピークを振動強さPとする)。そして、左アクチュエータ373Lによって与えられる振動強さは、右アクチュエータ373Rが設けられている位置(すなわち、ユーザが右手で情報処理装置3本体を把持する位置であり、表示部35の表示画面右端付近の位置。振動強さがピークとなる位置から距離Xだけ右の位置であり、仮想オブジェクトOBJ4で示される位置。)を仮想オブジェクトOBJが通過する時点では、上記ピークの振動強さPの1/4となる。そして、右側の上記表示画面外に形成されている仮想世界へ仮想オブジェクトOBJが移動する場合、仮想オブジェクトOBJ4で示される位置からさらに距離Xだけ右となる表示画面外の位置(仮想オブジェクトOBJ5で示される位置)を通過する際、左アクチュエータ373Lによって与えられる振動強さは、上記ピークの振動強さPの1/16となる。さらに、仮想オブジェクトOBJ4で示される位置からさらに距離2Xだけ右となる表示画面外の位置(仮想オブジェクトOBJ6で示される位置)を通過する際、左アクチュエータ373Lによって与えられる振動強さは、上記ピークの振動強さPの1/64となる。
左側の上記表示画面外に形成されている仮想世界を仮想オブジェクトOBJが移動する場合、振動強さがピークとなる位置(仮想オブジェクトOBJ3で示される位置)から距離Xだけ左となる表示画面外の位置(仮想オブジェクトOBJ2で示される位置)を通過する際、左アクチュエータ373Lによって与えられる振動強さは、上記ピークの振動強さPの1/4となる。さらに、振動強さがピークとなる位置から距離2Xだけ左となる表示画面外の位置(仮想オブジェクトOBJ1で示される位置)を通過する際、左アクチュエータ373Lによって与えられる振動強さは、上記ピークの振動強さPの1/16となる。上述した移動経路で仮想オブジェクトOBJが移動する場合、左アクチュエータ373Lによって与えられる振動強さは、これらのポイントを結ぶ関数(図9に示す曲線を定義する関数)に基づいて変化させる。図9から明らかであるように、左アクチュエータ373Lによって与えられる振動強さは、上記振動強さがピークとなる位置を中心に左右対称に減衰する関数に基づいて変化する。
一方、上述した移動経路で仮想オブジェクトOBJが移動する場合、右アクチュエータ373Rによって与えられる振動強さは、右アクチュエータ373Rが設けられている位置(すなわち、ユーザが右手で情報処理装置3本体を把持する位置であり、表示部35の表示画面右端付近)を仮想オブジェクトOBJが通過する時点(仮想オブジェクトOBJ4で示される位置を通過する時点)が最も強くなる(この振動強さのピークを振動強さPとする)。そして、右アクチュエータ373Rによって与えられる振動強さは、左アクチュエータ373Lが設けられている位置(振動強さがピークとなる位置から距離Xだけ左の位置であり、仮想オブジェクトOBJ3で示される表示部35の表示画面左端付近。)を仮想オブジェクトOBJが通過する時点では、上記ピークの振動強さPの1/4となる。そして、左側の上記表示画面外に形成されている仮想世界を仮想オブジェクトOBJが移動する場合、仮想オブジェクトOBJ3で示される位置からさらに距離Xだけ左となる表示画面外の位置(仮想オブジェクトOBJ2で示される位置)を通過する際、右アクチュエータ373Rによって与えられる振動強さは、上記ピークの振動強さPの1/16となる。さらに、仮想オブジェクトOBJ3で示される位置からさらに距離2Xだけ左となる表示画面外の位置(仮想オブジェクトOBJ1で示される位置)を通過する際、右アクチュエータ373Rによって与えられる振動強さは、上記ピークの振動強さPの1/64となる。
右側の上記表示画面外に形成されている仮想世界へ仮想オブジェクトOBJが移動する場合、振動強さがピークとなる位置(仮想オブジェクトOBJ4で示される位置)から距離Xだけ右となる表示画面外の位置(仮想オブジェクトOBJ5で示される位置)を通過する際、右アクチュエータ373Rによって与えられる振動強さは、上記ピークの振動強さPの1/4となる。さらに、振動強さがピークとなる位置から距離2Xだけ右となる表示画面外の位置(仮想オブジェクトOBJ6で示される位置)を通過する際、右アクチュエータ373Rによって与えられる振動強さは、上記ピークの振動強さPの1/16となる。上述した移動経路で仮想オブジェクトOBJが移動する場合、右アクチュエータ373Rによって与えられる振動強さも、これらのポイントを結ぶ関数(図9に示す曲線を定義する関数)に基づいて変化させる。また、図9から明らかであるように、右アクチュエータ373Rによって与えられる振動強さも、上記振動強さがピークとなる位置を中心に左右対称に減衰する関数に基づいて変化する。
このように、上記表示画面外に形成されている仮想世界を仮想オブジェクトOBJが移動する場合、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる振動強さが所定のバランスとなるように調整されることによって、当該表示画面外の位置が振動源であるように知覚させる。図9に示した一例では、右側の上記表示画面外に形成されている仮想世界を仮想オブジェクトOBJが移動する場合、左アクチュエータ373Lによって与えられる振動強さと右アクチュエータ373Rによって与えられる振動強さとの比率が1:4となる減衰関数によって、それぞれの振動強さが制御される。一方、左側の上記表示画面外に形成されている仮想世界を仮想オブジェクトOBJが移動する場合、左アクチュエータ373Lによって与えられる振動強さと右アクチュエータ373Rによって与えられる振動強さとの比率が4:1となる減衰関数によって、それぞれの振動強さが制御される。
なお、表示画面外の位置が振動源であるように知覚させる場合の左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる振動強さのバランスは、上述した比率でなくてもよく、与える振動強さの絶対値、情報処理装置3本体の構造、上記距離Xの絶対値、表示画面と振動源として知覚させる位置との距離等に応じて、適宜上記比率を設定してもかまわない。また、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる振動強さの一方が0となるようなバランス制御を行ってもかまわない。
また、図9では、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる振動強さを、上記ポイントを結ぶ関数(図9に示す曲線を定義する減衰関数)に基づいて変化させる例を用いたが、他の減衰関数に基づいてそれぞれの振動強さが変化してもよい。例えば、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる振動強さは、それぞれ振動強さがピークとなる位置を中心に左右対称に減衰する1次関数や2次関数でもよく、3次以上の高次関数や他の減衰関数に基づいて変化してもよい。また、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられるピークの振動強さPが、上述したピーク位置だけでなく当該ピーク位置から一定の範囲内を仮想オブジェクトOBJが移動している場合も生じるように制御してもよい。この場合、ピークの振動強さPが与えられる範囲が、一定範囲設定されることになる。さらに、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる振動強さを上記ピークとなる位置から減衰させる関数は、当該ピークとなる位置を中心に左右対称に減衰させる関数でなくてもよい。
また、上述では、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる振動強さを減衰させる例を説明したが、左右のスピーカから出力する音声(例えば、音量)についても同様の減衰関数を用いて制御してもよい。
また、上述した第1のゲーム例および第2のゲーム例では、仮想世界内を移動するプレイヤキャラクタPCや仮想オブジェクトOBJの位置に応じて、知覚させる振動源の位置が設定されるが、本発明で知覚させる振動源の位置は、移動表示される画像の位置でなくてもよい。例えば、表示部35の表示画面に固定表示された仮想オブジェクトが振動源であるように、左アクチュエータ373Lおよび右アクチュエータ373Rから与えられる振動が制御されてもよい。また、実世界を撮像した画像を表示部35の表示画面に表示する場合、当該画像に出現する実世界の撮像物の位置が振動源であるように、左アクチュエータ373Lおよび右アクチュエータ373Rから与えられる振動が制御されてもよい。
次に、情報処理装置3において行われる処理の詳細を説明する。まず、図10を参照して、処理において用いられる主なデータについて説明する。図10は、情報処理装置3の記憶部32に記憶される主なデータおよびプログラムの一例を示す図である。なお、以下の処理例においては、上述した第2のゲーム例のゲーム処理を行う際の情報処理を用いて説明を行う。
図10に示すように、記憶部32のデータ記憶領域には、操作データDa、オブジェクト位置データDb、振動設定情報データDc、音声設定情報データDd、振動制御信号データDe、音声制御信号データDf、振動データDg、音声データDh、および表示画像データDi等が記憶される。なお、記憶部32には、図10に示すデータの他、実行するアプリケーションで用いるデータ等、処理に必要なデータ等が記憶されてもよい。また、記憶部32のプログラム記憶領域には、情報処理プログラムを構成する各種プログラム群Paが記憶される。例えば、各種プログラム群Paは、振動制御信号を生成して情報処理装置3に振動を与えるための振動生成プログラム、音声制御信号を生成して情報処理装置3から音声を出力するための音声生成プログラム、および表示部35に画像を表示するための画像表示プログラム等が含まれる。
操作データDaは、入力部34に対する操作内容を示すデータであり、例えばタッチパネル341に対するタッチ位置を示すデータを含んでいる。なお、入力部34が情報処理装置3本体の姿勢や動きを検出するためのセンサを含んでいる場合、操作データDaは、情報処理装置3本体の姿勢や動きを算出するためのデータ(例えば、情報処理装置3本体に生じる加速度を示すデータや情報処理装置3本体の角速度を示すデータ)を含んでもよい。
オブジェクト位置データDbは、仮想世界内を移動する仮想オブジェクトOBJ(図4、図8参照)の位置を示すデータである。
振動設定情報データDcは、振動種類データDc1および振動源位置データDc2等を含む。振動種類データDc1は、情報処理装置3に与える振動の種類を示すデータである。振動源位置データDc2は、情報処理装置3のユーザに知覚させる振動源の位置を示すデータである。
音声設定情報データDdは、音源種類データDd1および音源定位位置データDd2等を含む。音源種類データDd1は、情報処理装置3から出力する音声の種類を示すデータである。音源定位位置データDd2は、情報処理装置3から出力する音声の音源定位位置を示すデータである。
振動制御信号データDeは、制御部31から振動発生部37へ出力する振動制御信号(左振動制御信号CSLおよび右振動制御信号CSR;図3参照)を示すデータである。音声制御信号データDfは、制御部31から音声出力部36へ出力する音声制御信号(左音声制御信号および右音声制御信号)を示すデータである。
振動データDgは、振動制御信号を生成するために予め用意されたデータであり、情報処理装置3本体に与える振動の種類毎(例えば、振動を生じさせる仮想オブジェクト毎)にそれぞれ格納されている。音声データDhは、音声制御信号を生成するために予め用意されたデータであり、情報処理装置3から出力する音声の種類毎(例えば、音声を生じさせる仮想オブジェクト毎やBGMの種類毎)にそれぞれ格納されている。
表示画像データDiは、仮想オブジェクトOBJ等の各仮想オブジェクトの画像や背景画像等を生成して表示部35に表示するためのデータである。
次に、図11を参照して、情報処理装置3において行われる情報処理の一例であるゲーム処理の詳細を説明する。なお、図11は、情報処理装置3において実行されるゲーム処理の一例を示すフローチャートである。ここで、図11に示すフローチャートにおいては、情報処理装置3における処理のうち、上記第2のゲーム例における仮想オブジェクトOBJが仮想世界を移動することに応じた振動および音声が出力される処理について主に説明し、これらの処理と直接関連しない他の処理については詳細な説明を省略する。また、図11では、制御部31が実行する各ステップを「S」と略称する。
制御部31のCPUは、記憶部32のメモリ等を初期化し、プログラム格納部33から情報処理プログラムをメモリに読み込む。そして、CPUによって当該情報処理プログラムの実行が開始される。図11に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。
なお、図11に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えておよび/または代えて別の処理が実行されてもよい。また、本実施例では、上記フローチャートの各ステップの処理を制御部31(CPU)が実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を上記CPUが実行し、その他のステップの処理を上記CPU以外のプロセッサや専用回路が実行するようにしてもよく、上記フローチャートにおける全部のステップの処理を上記CPU以外のプロセッサや専用回路が実行するようにしてもよい。
図11において、制御部31は、初期設定を行い(ステップ41)、次のステップに処理を進める。例えば、制御部31は、表示部35に表示するための仮想世界を構築し、各パラメータを初期設定する。一例として、制御部31は、仮想世界における初期位置に仮想オブジェクトOBJを配置してオブジェクト位置データDbを設定する。また、制御部31は、表示部35の表示画面に表示する表示範囲を仮想世界に対して設定する。
次に、制御部31は、入力部34から操作データを取得し、操作データDaを更新して(ステップ42)、次のステップに処理を進める。
次に、制御部31は、仮想世界において仮想オブジェクトOBJを移動させる処理を行い(ステップ43)、次のステップに処理を進める。例えば、制御部31は、仮想世界内に予め定められた移動経路に沿って、予め定められた移動速度で仮想オブジェクトOBJを移動させ、当該移動後の位置を用いてオブジェクト位置データDbを更新する。他の例として、制御部31は、入力部34に対する操作(情報処理装置3本体を移動させたり傾けたりする操作を含む)に応じて仮想オブジェクトOBJを移動させる場合、上記ステップ42において取得した操作データに応じて、仮想世界内で仮想オブジェクトOBJを移動させ、当該移動後の位置を用いてオブジェクト位置データDbを更新する。
次に、制御部31は、振動の種類および振動源の位置を設定して(ステップ44)、次のステップに処理を進める。例えば、制御部31は、振動生成プログラムおよび仮想世界に配置されている仮想オブジェクトOBJの種類に基づいて、当該仮想オブジェクトOBJが移動する際の振動の種類を設定し、当該振動の種類を示すデータを用いて振動種類データDc1を更新する。また、制御部31は、振動生成プログラムに基づいて、オブジェクト位置データDbが示す仮想オブジェクトOBJの位置が、ユーザに知覚させる振動源となるように当該振動源の位置を設定し、当該位置を示すデータを用いて振動源位置データDc2を更新する。
次に、制御部31は、振動設定情報に基づいて、振動制御信号を設定し(ステップ45)、次のステップに処理を進める。例えば、制御部31は、振動生成プログラムおよび振動設定情報データDc(振動種類データDc1および振動源位置データDc2)に基づいて、振動データDgから読み出した振動データを用いて振動制御信号(振動発生部37へ出力する左振動制御信号CSLおよび右振動制御信号CSR;図3参照)を生成し、振動制御信号データDeに格納する。具体的には、制御部31は、振動種類データDc1が示す種類の振動を情報処理装置3本体に与えるとともに、振動源位置データDc2が示す位置が当該振動の振動源として知覚されるように、振動データDgからデータを読み出して当該振動に対応する左振動制御信号CSLおよび右振動制御信号CSRをそれぞれ生成する。
次に、制御部31は、音源の種類および当該音源を定位させる位置を設定して(ステップ46)、次のステップに処理を進める。例えば、制御部31は、音声生成プログラムおよび仮想世界に配置されている仮想オブジェクトOBJの種類に基づいて、当該仮想オブジェクトOBJが移動する際の音声の種類を設定し、当該音声の種類を示すデータを用いて音源種類データDd1を更新する。また、制御部31は、音声生成プログラムに基づいて、オブジェクト位置データDbが示す仮想オブジェクトOBJの位置が、上記音声の音源定位位置となるように当該音源定位位置を設定し、当該音源定位位置を示すデータを用いて音源定位位置データDd2を更新する。
次に、制御部31は、音声設定情報に基づいて、音声制御信号を設定し(ステップ47)、次のステップに処理を進める。例えば、制御部31は、音声生成プログラムおよび音声設定情報データDd(音源種類データDd1および音源定位位置データDd2)に基づいて、音声制御信号(音声出力部36へ出力する左音声制御信号および右音声制御信号)を生成して音声制御信号データDfに格納する。具体的には、制御部31は、音源種類データDd1が示す種類の音声を情報処理装置3のステレオスピーカから出力するとともに、音源定位位置データDd2が示す位置が音声定位位置となるように、音声データDhからデータを読み出して左音声制御信号および右音声制御信号をそれぞれ生成する。
次に、制御部31は、表示制御処理を行い(ステップ48)、次のステップに処理を進める。例えば、制御部31は、画像生成プログラムおよびオブジェクト位置データDbに基づいて、仮想オブジェクトOBJを配置した仮想世界の画像を生成し、設定されている表示範囲内の仮想世界の画像を表示部35に表示する処理を行う。
次に、制御部31は、制御信号出力処理を行い(ステップ49)、次のステップに処理を進める。例えば、制御部31は、振動制御信号データDeが示す左振動制御信号CSLおよび右振動制御信号CSRをそれぞれ振動発生部37へ出力する。これによって、振動発生部37は、左振動制御信号CSLに応じた振動を左アクチュエータ373Lから発生させ、右振動制御信号CSRに応じた振動を右アクチュエータ373Rから発生させる。また、制御部31は、音声制御信号データDfが示す左音声制御信号および右音声制御信号をそれぞれ音声出力部36へ出力する。これによって、音声出力部36は、左音声制御信号に応じた音声を左スピーカから出力し、右音声制御信号に応じた音声を右スピーカから出力する。
次に、制御部31は、ゲーム処理を終了するか否かを判断する(ステップ50)。ゲーム処理を終了する条件としては、例えば、ゲーム処理を終了させる条件が満たされたことや、ユーザがゲーム処理を終了する操作を行ったこと等がある。制御部31は、ゲーム処理を終了しない場合に上記ステップ42に戻って処理を繰り返し、ゲーム処理を終了する場合に当該フローチャートによる処理を終了する。
このように、上述した実施例に係るゲーム処理では、仮想世界を仮想オブジェクトOBJが移動する場合、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる広帯域の振動を情報処理装置3に与えることによって、バリエーションに富んだ振動を装置のユーザに与えることができる。また、上述した実施例に係るゲーム処理では、仮想世界において仮想オブジェクトOBJが配置されている位置が振動源であるようにユーザに知覚させることができる。ここで、上述した実施例に係るゲーム処理では、仮想世界において仮想オブジェクトOBJが配置されている位置が情報処理装置3から出力される音声の音源定位位置となるように、仮想オブジェクトOBJが移動する際の広帯域の音声が出力される。また、表示部35の表示画面に表示されている仮想世界に仮想オブジェクトOBJが配置されている場合、仮想オブジェクトOBJが配置されている位置が表示部35の表示画面に表示される。このように、広帯域の振動による触覚、広帯域の音声による聴覚、表示画面に移動体を表示する視覚を用いて仮想オブジェクトOBJの位置を提示することによって、今までにないリアリティに富んだ体感をユーザに与えることができる。
また、表示画面外に設定されている仮想世界を仮想オブジェクトOBJが移動している場合であっても、左アクチュエータ373Lおよび右アクチュエータ373Rによって与えられる振動を所定のバランスとなるように調整するとともに、仮想オブジェクトOBJが表示画面外へ移動したことをユーザに示しながら音源定位位置を当該表示画面外の仮想オブジェクトOBJの位置に設定することによって、左アクチュエータ373Lおよび右アクチュエータ373Rの外側に設定されている仮想オブジェクトOBJの位置であっても当該位置が振動源であるように知覚させることもできる。
なお、上述した説明では情報処理(ゲーム処理)を情報処理装置3で行う例を用いたが、上記情報処理における処理ステップの少なくとも一部を他の装置で行ってもかまわない。例えば、情報処理装置3がさらに他の装置(例えば、別のサーバ、他のゲーム装置、他の携帯端末)と通信可能に構成されている場合、上記情報処理における処理ステップは、さらに当該他の装置が協働することによって実行してもよい。一例として、他の装置において、仮想世界の画像の生成処理、振動制御信号の生成処理、および音声制御信号の生成処理の少なくとも1つが行われ、当該処理の結果を示す画像データや制御信号を情報処理装置3が取得することも考えられる。このように、上記情報処理における処理ステップの少なくとも一部を他の装置で行うことによって、上述した情報処理と同様の処理が可能となる。また、上述した情報処理は、少なくとも1つの情報処理装置により構成される情報処理システムに含まれる1つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施例においては、情報処理装置3の制御部31が所定の情報処理プログラムを実行することによって、上述したフローチャートによる処理が行われたが、情報処理装置3が備える専用回路によって上記情報処理の一部または全部が行われてもよい。
ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置(据置型のゲーム装置)と携帯型の情報処理装置(携帯型のゲーム装置)との間で上記情報処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した情報処理の各ステップの処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。
また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。また、上述した情報処理装置で用いられる各構成部品の形状、数、配置位置、部品が有する機能等は、単なる一例に過ぎず他の形状、数、配置位置であってもいいし、他の機能を有するものであっても、本実施例を実現できることは言うまでもない。一例として、情報処理装置に振動を与えるアクチュエータや情報処理装置から音声を出力するスピーカは、3つ以上であってもよい。また、情報処理装置は、複数の表示部を有してもよい。また、上述した説明では、携帯型の装置(例えば、タブレット端末)を情報処理装置3の一例として用いたが、情報処理装置3は、携帯型の装置より相対的に大きな可搬型の装置でもよい。ここで、可搬型の装置とは、当該装置を用いる際に当該装置本体を移動させたり、当該装置を用いる際に当該本体の姿勢を変えたり、当該装置本体を持ち運びしたりできる装置であり、上述した携帯型の装置を含む概念である。
また、上記情報処理プログラムは、外部メモリ等の外部記憶媒体を通じて情報処理装置3に供給されるだけでなく、有線または無線の通信回線を通じて情報処理装置3に供給されてもよい。また、上記情報処理プログラムは、情報処理装置3内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記情報処理プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、CD−ROM、DVD、あるいはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記情報処理プログラムを記憶する情報記憶媒体としては、上記情報処理プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記録媒体ということができる。例えば、コンピュータ等に、これらの記録媒体のゲームプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施例の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書(定義を含めて)が優先する。
以上のように、本発明は、バリエーションに富んだ振動をユーザに与えること等を目的として、例えば情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法等として有用である。
3…情報処理装置
31…制御部
32…記憶部
33…プログラム格納部
34…入力部
341…タッチパネル
35…表示部
36…音声出力部
37…振動発生部
371…コーデック部
372…増幅部
373…アクチュエータ

Claims (10)

  1. 可搬型の情報処理装置であって、
    画像表示部と、
    ステレオ音声出力部と、
    前記画像表示部の中心に対して前記情報処理装置本体の左側と右側とにそれぞれ設けられた一対の振動部と、
    制御部とを備え、
    前記制御部は、
    前記ステレオ音声出力部に出力するための音声信号を生成して出力する音声制御手段と、
    複数の周波数成分を有する振動で前記一対の振動部をそれぞれ振動させるための振動信号を生成し、当該振動信号をそれぞれ出力する振動制御手段と、
    前記画像表示部に表示する画像を制御する画像制御手段とを含み、
    前記画像制御手段は、前記画像表示部に表示される仮想世界の対応位置から当該表示領域外の仮想世界の対応位置へ移動するおよび/または当該表示領域外の仮想世界の対応位置から前記画像表示部に表示される仮想世界の対応位置へ移動する少なくとも1つのオブジェクトを前記画像表示部に表示し、
    前記振動制御手段は、前記オブジェクトが前記表示領域外の仮想世界の対応位置に配置されている場合であっても、当該配置位置に応じて、前記振動部の振動によって知覚される振動源の位置を制御する、情報処理装置。
  2. 前記音声制御手段は、前記オブジェクトが前記表示領域外の仮想世界の対応位置に配置されている場合であっても、当該配置位置に応じて、前記ステレオ音声出力部から出力する音声において音源が定位する位置を制御する、請求項1に記載の情報処理装置。
  3. 前記振動制御手段は、前記オブジェクトが前記表示領域外の仮想世界の対応位置に配置されている場合であっても、当該配置位置に応じた振動強度の配分で前記一対の振動部をそれぞれ同時に振動させることによって、当該振動部の振動による振動源が当該配置位置であるように知覚させる、請求項1またはに記載の情報処理装置。
  4. 前記振動制御手段は、前記画像表示部に表示される仮想世界の対応位置に前記オブジェクトが配置されている場合、当該配置位置に応じて、前記振動源の位置を制御する、請求項1乃の何れか1つに記載の情報処理装置。
  5. 前記振動制御手段は、前記画像表示部に表示される仮想世界の対応位置から前記表示領域外の仮想世界の対応位置へ前記オブジェクトが移動するとき、および、前記表示領域外の仮想世界の対応位置から前記画像表示部に表示される仮想世界の対応位置へ移動するときの少なくとも一方の場合に、中断することなく前記振動源の位置を制御する、請求項1乃の何れか1つに記載の情報処理装置。
  6. 前記振動制御手段は、前記情報処理装置本体の左側に設けられた左基準位置に対応する仮想世界の位置に向かって前記オブジェクトが移動するにしたがって当該左側に対応する前記振動部による振動を大きくして、当該左基準位置に対応する仮想世界の位置から離れて移動するにしたがって当該左側に対応する前記振動部による振動を小さくする振動信号を生成し、
    前記振動制御手段は、前記情報処理装置本体の右側に設けられた右基準位置に対応する仮想世界の位置に向かって前記オブジェクトが移動するにしたがって当該右側に対応する前記振動部による振動を大きくして、当該右基準位置に対応する仮想世界の位置から離れて移動するにしたがって当該右側に対応する前記振動部による振動を小さくする振動信号を生成する、請求項1乃の何れか1つに記載の情報処理装置。
  7. 前記振動制御手段は、前記情報処理装置本体の左側に設けられた左基準位置に対応する仮想世界の位置を通過するように移動した場合には、当該左基準位置に対応する前記振動部による振動の大きさが、当該オブジェクトが当該左基準位置に対応する仮想世界の位置に到達するまでは、当該移動にしたがって大きくなるように前記振動信号を生成し、当該オブジェクトが当該左基準位置に対応する仮想世界の位置を通過してからは、当該移動にしたがって小さくなるように前記振動信号を生成し、
    前記振動制御手段は、前記情報処理装置本体の右側に設けられた右基準位置に対応する仮想世界の位置を通過するように移動した場合には、当該右基準位置に対応する前記振動部による振動の大きさが、当該オブジェクトが当該右基準位置に対応する仮想世界の位置に到達するまでは、当該移動にしたがって大きくなるように前記振動信号を生成し、当該オブジェクトが当該右基準位置に対応する仮想世界の位置を通過してからは、当該移動にしたがって小さくなるように前記振動信号を生成する、請求項1乃の何れか1つに記載の情報処理装置。
  8. 画像表示部、ステレオ音声出力部、および当該画像表示部の中心に対してハウジング本体の左側と右側とにそれぞれ設けられた一対の振動部を備える可搬型装置に含まれるコンピュータまたは当該可搬型装置とは別の装置に含まれるコンピュータで実行される情報処理プログラムであって、
    前記コンピュータを、
    前記ステレオ音声出力部に出力するための音声信号を生成して出力する音声制御手段と、
    複数の周波数成分を有する振動で前記一対の振動部をそれぞれ振動させるための振動信号を生成し、当該振動信号をそれぞれ出力する振動制御手段と、
    前記画像表示部に表示する画像を制御する画像制御手段として機能させ
    前記画像制御手段は、前記画像表示部に表示される仮想世界の対応位置から当該表示領域外の仮想世界の対応位置へ移動するおよび/または当該表示領域外の仮想世界の対応位置から前記画像表示部に表示される仮想世界の対応位置へ移動する少なくとも1つのオブジェクトを前記画像表示部に表示し、
    前記振動制御手段は、前記オブジェクトが前記表示領域外の仮想世界の対応位置に配置されている場合であっても、当該配置位置に応じて、前記振動部の振動によって知覚される振動源の位置を制御する、情報処理プログラム。
  9. 複数の装置が通信可能に構成され、画像表示部、ステレオ音声出力部、および当該画像表示部の中心に対してハウジング本体の左側と右側とにそれぞれ設けられた一対の振動部を備える可搬型装置を含む情報処理システムであって、
    前記ステレオ音声出力部に出力するための音声信号を生成して出力する音声制御手段と、
    複数の周波数成分を有する振動で前記一対の振動部をそれぞれ振動させるための振動信号を生成し、当該振動信号をそれぞれ出力する振動制御手段と、
    前記画像表示部に表示する画像を制御する画像制御手段とを含み、
    前記画像制御手段は、前記画像表示部に表示される仮想世界の対応位置から当該表示領域外の仮想世界の対応位置へ移動するおよび/または当該表示領域外の仮想世界の対応位置から前記画像表示部に表示される仮想世界の対応位置へ移動する少なくとも1つのオブジェクトを前記画像表示部に表示し、
    前記振動制御手段は、前記オブジェクトが前記表示領域外の仮想世界の対応位置に配置されている場合であっても、当該配置位置に応じて、前記振動部の振動によって知覚される振動源の位置を制御する、情報処理システム。
  10. 画像表示部、ステレオ音声出力部、および当該画像表示部の中心に対してハウジング本体の左側と右側とにそれぞれ設けられた一対の振動部を備える可搬型装置を含む情報処理システムに含まれる1つのプロセッサまたは複数のプロセッサ間の協働により実行される情報処理方法であって、
    前記ステレオ音声出力部に出力するための音声信号を生成して出力する音声制御ステップと、
    複数の周波数成分を有する振動で前記一対の振動部をそれぞれ振動させるための振動信号を生成し、当該振動信号をそれぞれ出力する振動制御ステップと、
    前記画像表示部に表示する画像を制御する画像制御ステップとを含み、
    前記画像制御ステップでは、前記画像表示部に表示される仮想世界の対応位置から当該表示領域外の仮想世界の対応位置へ移動するおよび/または当該表示領域外の仮想世界の対応位置から前記画像表示部に表示される仮想世界の対応位置へ移動する少なくとも1つのオブジェクトが前記画像表示部に表示され、
    前記振動制御ステップでは、前記オブジェクトが前記表示領域外の仮想世界の対応位置に配置されている場合であっても、当該配置位置に応じて、前記振動部の振動によって知覚される振動源の位置が制御される、情報処理方法。
JP2014015138A 2014-01-30 2014-01-30 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法 Active JP6264542B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014015138A JP6264542B2 (ja) 2014-01-30 2014-01-30 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
EP14199211.5A EP2902879B1 (en) 2014-01-30 2014-12-19 Haptic based information processing apparatus, information processing program, information processing system, and information processing method
US14/581,561 US9833702B2 (en) 2014-01-30 2014-12-23 Information processing apparatus, storage medium having stored therein information processing program, information processing system, and information processing method
US15/799,374 US9968846B2 (en) 2014-01-30 2017-10-31 Information processing apparatus, storage medium having stored therein information processing program, information processing system, and information processing method
US15/947,493 US10286310B2 (en) 2014-01-30 2018-04-06 Information processing apparatus, storage medium having stored therein information processing program, information processing system, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014015138A JP6264542B2 (ja) 2014-01-30 2014-01-30 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法

Publications (2)

Publication Number Publication Date
JP2015141647A JP2015141647A (ja) 2015-08-03
JP6264542B2 true JP6264542B2 (ja) 2018-01-24

Family

ID=52292651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014015138A Active JP6264542B2 (ja) 2014-01-30 2014-01-30 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法

Country Status (3)

Country Link
US (3) US9833702B2 (ja)
EP (1) EP2902879B1 (ja)
JP (1) JP6264542B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6384329B2 (ja) * 2012-12-28 2018-09-05 株式会社ニコン データ処理装置、およびデータ処理プログラム
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
JP6361872B2 (ja) * 2014-07-09 2018-07-25 任天堂株式会社 振動生成システム、振動生成装置、振動信号生成プログラム、および振動生成方法
JP2017045418A (ja) * 2015-08-28 2017-03-02 富士通テン株式会社 入力装置、表示装置、及びプログラム
US10864552B2 (en) 2015-12-28 2020-12-15 Nippon Telegraph And Telephone Corporation Pseudo force sense generation apparatus
JP6843530B2 (ja) * 2016-06-15 2021-03-17 任天堂株式会社 ゲームシステム、方法、およびゲームプログラム
JP6977312B2 (ja) * 2016-10-07 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2018116544A1 (ja) * 2016-12-19 2018-06-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6832712B2 (ja) * 2017-01-13 2021-02-24 任天堂株式会社 振動制御システム、振動制御装置、振動制御プログラムおよび振動制御方法
JP6731376B2 (ja) * 2017-04-13 2020-07-29 日本電信電話株式会社 空中像投影装置及び空中像投影方法
JP6613267B2 (ja) 2017-06-02 2019-11-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6837921B2 (ja) * 2017-06-02 2021-03-03 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6653293B2 (ja) 2017-06-05 2020-02-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6701132B2 (ja) * 2017-07-12 2020-05-27 任天堂株式会社 ゲームシステム、ゲームプログラム、ゲーム装置、およびゲーム処理方法
CN107193427B (zh) * 2017-07-20 2020-02-21 上海天马微电子有限公司 一种显示装置
EP3493025A1 (en) * 2017-11-29 2019-06-05 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for operating an actuator in a mobile device
EP3757722B1 (en) * 2018-02-23 2023-12-13 Sony Group Corporation Information processing device, information processing method, and computer program
CN109189361B (zh) * 2018-07-09 2021-08-17 Oppo广东移动通信有限公司 屏幕发声方法、装置、电子装置及存储介质
CN109144606A (zh) * 2018-08-06 2019-01-04 瑞声科技(新加坡)有限公司 一种马达驱动方法、终端设备以及计算机可读存储介质
US10602302B1 (en) * 2019-02-06 2020-03-24 Philip Scott Lyren Displaying a location of binaural sound outside a field of view
JP7079225B2 (ja) * 2019-07-08 2022-06-01 グリー株式会社 位置情報提示システム、位置情報提示装置、位置情報提示プログラムおよび位置情報提示方法
US11738265B2 (en) * 2021-02-15 2023-08-29 Nintendo Co., Ltd. Non-transitory computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
US11665498B2 (en) 2021-10-28 2023-05-30 Nintendo Co., Ltd. Object-based audio spatializer
US11924623B2 (en) 2021-10-28 2024-03-05 Nintendo Co., Ltd. Object-based audio spatializer

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6716103B1 (en) * 1999-10-07 2004-04-06 Nintendo Co., Ltd. Portable game machine
AU2001294852A1 (en) 2000-09-28 2002-04-08 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
JP3838173B2 (ja) 2002-07-31 2006-10-25 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP3937982B2 (ja) * 2002-08-29 2007-06-27 ソニー株式会社 入出力装置および入出力装置を有する電子機器
JP4473685B2 (ja) 2004-09-01 2010-06-02 任天堂株式会社 ゲーム装置およびゲームプログラム
US9881520B2 (en) * 2008-01-08 2018-01-30 Immersion Medical, Inc. Virtual tool manipulation system
MX2011010705A (es) * 2009-04-10 2012-01-25 Dow Global Technologies Llc Pelicula de polipropileno orientada biaxialmente coextruida sellable de alto rendimiento.
CN102473034B (zh) * 2009-07-22 2015-04-01 意美森公司 用于在输入控制手势以及关于虚拟设备的控制期间提供复杂触觉激励的系统和方法
WO2011043292A1 (ja) * 2009-10-06 2011-04-14 株式会社コト スピーカ型振動装置および振動機能付き電子機器
EP2383631A1 (en) * 2010-04-27 2011-11-02 Sony Ericsson Mobile Communications AB Hand-held mobile device and method for operating the hand-held mobile device
JP5821307B2 (ja) * 2011-06-13 2015-11-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2013049248A2 (en) * 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
TWI441447B (zh) * 2011-10-24 2014-06-11 Chief Land Electronic Co Ltd 觸覺回饋模組
JP2013137659A (ja) * 2011-12-28 2013-07-11 Nikon Corp 表示装置
JP2013178639A (ja) * 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム
EP2856289A4 (en) * 2012-05-25 2016-01-06 Immerz Inc HAPTIC INTERFACE FOR PORTABLE ELECTRONIC DEVICE
EP2806424A1 (en) * 2013-05-20 2014-11-26 ST-Ericsson SA Improved noise reduction

Also Published As

Publication number Publication date
JP2015141647A (ja) 2015-08-03
US9833702B2 (en) 2017-12-05
US20150209668A1 (en) 2015-07-30
US20180221764A1 (en) 2018-08-09
EP2902879A1 (en) 2015-08-05
US9968846B2 (en) 2018-05-15
US20180050271A1 (en) 2018-02-22
EP2902879B1 (en) 2019-11-27
US10286310B2 (en) 2019-05-14

Similar Documents

Publication Publication Date Title
JP6264542B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP6322830B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP6341417B2 (ja) 振動生成システム、振動生成プログラム、および振動生成方法
JP6361872B2 (ja) 振動生成システム、振動生成装置、振動信号生成プログラム、および振動生成方法
JP6327417B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
JP6664145B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP6504157B2 (ja) 体感導入装置、体感導入システム、及び体感導入方法
JP6893561B2 (ja) 振動制御装置
WO2011043292A1 (ja) スピーカ型振動装置および振動機能付き電子機器
JP6159515B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161228

A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20161228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171124

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171205

R150 Certificate of patent or registration of utility model

Ref document number: 6264542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250