JP6834962B2 - 情報処理装置、方法およびコンピュータプログラム - Google Patents

情報処理装置、方法およびコンピュータプログラム Download PDF

Info

Publication number
JP6834962B2
JP6834962B2 JP2017539139A JP2017539139A JP6834962B2 JP 6834962 B2 JP6834962 B2 JP 6834962B2 JP 2017539139 A JP2017539139 A JP 2017539139A JP 2017539139 A JP2017539139 A JP 2017539139A JP 6834962 B2 JP6834962 B2 JP 6834962B2
Authority
JP
Japan
Prior art keywords
virtual object
listener
vibration
data
tactile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017539139A
Other languages
English (en)
Other versions
JPWO2017043400A1 (ja
Inventor
佑輔 中川
佑輔 中川
諒 横山
諒 横山
顕博 小森
顕博 小森
野崎　隆志
隆志 野崎
山野　郁男
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017043400A1 publication Critical patent/JPWO2017043400A1/ja
Application granted granted Critical
Publication of JP6834962B2 publication Critical patent/JP6834962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00—Garments
    • A41D1/002—Garments adapted to accommodate electronic equipment
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00—Garments
    • A41D1/02—Jackets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/16—Use of textiles
    • A63F2250/166—Garments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Textile Engineering (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理装置、方法およびコンピュータプログラムに関する。
スマートフォンまたはゲームに用いられるコントローラには、ユーザに触覚フィードバックを与えるための振動デバイスが備えられている。
特許文献１には、文字入力を行うための入力装置が開示されており、特許文献１に開示されている入力装置は、ユーザの操作に対応する振動によるフィードバックをユーザに対して行うことが開示されている。
特開２０１１−５９８２１号公報
特許文献１に開示されているような入力装置では、単調な振動によるフィードバックがユーザに与えられるため、ユーザは臨場感のある触覚フィードバックを受けることができない。そこで本開示では、ユーザがより臨場感ある触覚フィードバックを得るための情報処理装置、方法およびコンピュータプログラムが提案される。
本開示によれば、属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成する仮想空間データ生成部と、前記仮想オブジェクトに対する接触を検知するリスナーを配置するリスナー配置部と、前記リスナーが配置された仮想オブジェクトと、前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成する触覚データ生成部と、を備える情報処理装置が提供される。
また、本開示によれば、属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成することと、前記仮想オブジェクトに対する接触を検知するリスナーを配置することと、前記リスナーが前記仮想オブジェクトに配置されることと、前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成することと、を含む、方法が提供される。
また、本開示によれば、プロセッサに属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成させ、前記仮想オブジェクトに対する接触を検知するリスナーを配置させ、前記リスナーを前記仮想オブジェクトに配置させ、前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成させる、コンピュータプログラムが提供される。
以上説明したように本開示によれば、ユーザはより臨場感ある触覚フィードバックを得ることができる。
なお、上記の効果は必ずしも限定されず、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
図１は、本開示の本実施形態のシステム構成を示す図である。 図２は、本開示の実施形態のシステムの構成を示すブロック図である。 図３は、仮想オブジェクトおよび仮想オブジェクトに備えられるリスナーを示す図である。 図４は、本開示の実施形態において振動のフィードバックが発生するイベントを表す図である。 図５は、本開示の実施形態において振動のフィードバックが発生するイベントの他の例を表す図である。 図６は、本開示の実施形態のシステムで行われる処理の例を示すフロー図である。 図７は、本開示の実施形態において振動のフィードバックが発生するイベントの他の例を表す図である。 図８は、振動によって仮想オブジェクトの形状および質感が表現される方法を示す図である。 図９は、振動によって仮想オブジェクトの形状および質感が表現される方法を示す図である。 図１０は、振動によって仮想オブジェクトの形状および質感が表現される方法を示す図である。 図１１は、振動によって仮想オブジェクトの形状および質感が表現される方法を示す図である。 図１２は、振動によって仮想オブジェクトの形状および質感が表現される方法を示す図である。 図１３は、本開示の実施形態における振動デバイスを複数備えたウェアラブル端末の例を示す図である。 図１４は、本開示の実施形態における複数のリスナーが配置された仮想オブジェクトの例を示す図である。 図１５は、本開示の実施形態における複数のリスナー間の結合要素を示す図である。 図１６は、複数のリスナーと衝突する仮想オブジェクトの大きさとの関係の例を示す図である。 図１７は、本開示の実施形態のシステムの構成の他の例を示すブロック図である。 図１８は、本開示の実施形態における振動デバイスを複数備えたウェアラブル端末の他の例を示す図である。 図１９は、本開示の実施形態における振動データの生成方法を示す図である。 図２０は、本開示の実施形態における振動データの生成方法を示す図である。 図２１は、本開示の実施形態における振動データの生成方法を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行う。
１．本実施形態のシステムの構成
２．仮想オブジェクトとの接触を検知するリスナー
３．ユーザに対する振動のフィードバック
４．本実施形態のシステムにおける処理
５．操作仮想オブジェクトに対する接触以外によって発生するフィードバック
６．仮想オブジェクトの形状および材質に基づく振動によるフィードバック
７．複数の振動デバイスを有するウェアラブル端末
８．リスナーが接触を検知するモード
９．スピーカを備えるウェアラブル端末
１０．振動データの生成方法
１１．補足
１２．むすび
＜１．本実施形態のシステムの構成＞
図１は、本開示の実施形態におけるシステムの構成を示す図である。本実施形態のシステムは、ゲーム機１００と、コントローラ２００と、表示装置３００から構成される。ゲーム機１００は、記憶媒体に記憶されたゲームソフトなどを読み込むことによってゲームソフトに関する処理を行う。例えばゲーム機１００は、ゲームを行う仮想空間のデータを生成し、またゲーム機１００はコントローラ２００からの情報に基づいてユーザが操作する操作仮想オブジェクト４００ａに対する処理を行う。
また、ゲーム機１００は、生成したゲームの仮想空間に関する映像データを表示装置３００に送信する。なお図１に示される例では、仮想空間にはユーザが操作する操作仮想オブジェクト４００ａと、その他の球状の仮想オブジェクト４００ｂとが配置される。なお以下では、仮想空間に関するデータを生成する情報処理装置の一例としてゲーム機１００が説明される。
コントローラ２００は、ユーザが操作仮想オブジェクト４００ａを操作するために用いられる。コントローラ２００は、ゲーム機１００と無線で接続されており、ゲーム機１００にユーザの操作に関する情報を送信する。表示装置３００は、ゲーム機１００から映像データを受信し、ゲームに関する仮想空間を表示する。
以上では、本実施形態のシステムの概要について説明された。以下では、本実施形態のシステムの内部構成が説明される。図２は、本実施形態のシステムの内部構成を示すブロック図である。なお図２では、ゲーム機１００とコントローラ２００の内部構成について説明される。
本実施形態のゲーム機１００は、処理部１０２と、仮想空間データ生成部１０４と、リスナー配置部１０６と、物理エンジン１０８と、触覚エンジン１１０と、通信部１１６と、を備える。また、触覚エンジン１１０は、振動データ生成部１１２と、音声データ生成部１１４と、を有する。処理部１０２は、ゲーム機１００の各部と接続され、各部から受け取る様々な情報を処理し、また各部への情報の受け渡しを行う。仮想空間データ生成部１０４は、ゲームソフトなどの情報に基づいて仮想空間に関するデータを生成する。仮想空間データ生成部１０４が生成する仮想空間に関するデータには、仮想空間内に配置される仮想オブジェクト４００に関する情報が含まれる。
リスナー配置部１０６は、ユーザが操作する操作仮想オブジェクト４００ａに、操作仮想オブジェクト４００ａに対する接触を検知するリスナーを配置する。リスナーの配置方法については後述される。物理エンジン１０８は、仮想空間における様々な演算を行う。例えば物理エンジン１０８は、仮想空間における接触判定、剛体演算および流体演算等を行う。また物理エンジン１０８が処理するパラメータは、例えば仮想オブジェクト４００の質量、剛性、材質、大きさ、形状、位置、速度などの仮想オブジェクト４００の属性情報を含む。つまり物理エンジン１０８が処理するパラメータには、複数の仮想オブジェクト４００が接触するときの接触位置に関する情報および仮想オブジェクト４００が接触するときの相対速度が含まれてもよい。
触覚エンジン１１０は、物理エンジン１０８の演算結果に基づいて振動データを生成する振動データ生成部１１２と、音声データを生成する音声データ生成部１１４から構成される。振動データ生成部１１２は、物理エンジン１０８が処理するパラメータに基づいてコントローラ２００の振動デバイス２０８を振動させるための振動データを生成する。音声データ生成部１１４は、物理エンジン１０８が処理するパラメータに基づいて音声データを生成する。なお、振動データ生成部１１２は、触覚データ生成部の一例である。
通信部１１６は、コントローラ２００などの他の装置と情報を送受信するために用いられる。通信部１１６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信インタフェースであってもよい。また、通信部１１６は上述したインタフェースに限られず、ＺｉｇＢｅｅ（登録商標）などの近距離無線通信インタフェースであってもよい。
以上では、ゲーム機１００の構成について説明された。以下ではコントローラ２００の構成について説明される。本実施形態のコントローラ２００は、処理部２０２と、加速度センサ２０４と、ジャイロセンサ２０６と、振動デバイス２０８と、通信部２１０と、を備える。
処理部２０２は、ゲーム機１００から受信した情報を処理し、またコントローラ２００が有する加速度センサ２０４およびジャイロセンサ２０６からの情報を処理する。処理部２０２は、例えば、加速度センサ２０４およびジャイロセンサ２０６から取得した情報を処理してコントローラ２００の加速度または傾きなどの状態を算出するように構成されてもよい。また、処理部２０２は、加速度センサ２０４およびジャイロセンサ２０６から得られた情報を単にゲーム機１００に送信し、情報を受け取ったゲーム機１００がコントローラ２００の状態を判定するように構成されてもよい。
加速度センサ２０４は、ユーザの操作に基づくコントローラ２００の加速度を検知する。またジャイロセンサ２０６はユーザの操作に基づくコントローラ２００の角速度および角加速度を検知する。振動デバイス２０８は、ゲーム機１００が生成した振動データに基づいて振動することによって、ユーザに振動の触覚フィードバックを行う。なお、振動デバイスは触覚デバイスの一例である。
振動デバイス２０８は、形状に偏りのある錘がモータの回転軸に取り付けられた偏心モータのような振動子を備えたデバイスであってもよい。また振動デバイス２０８は、ボイスコイルモータ、ピエゾアクチュエータまたは電磁リニアアクチュエータのような振動子を備えたデバイスであってもよい。ボイスコイルモータは、広帯域に振動でき、また応答速度が速いので、偏心モータよりも多彩な触覚フィードバックを行うことができる。なお、ボイスコイルモータは、可聴域の音を発生することもできる。また通信部２１０は、ゲーム機１００などの他の装置と情報を送受信するために用いられる。
＜２．仮想オブジェクトとの接触を検知するリスナー＞
以上では、本実施形態におけるゲーム機１００およびコントローラ２００の構成について説明された。以下では、本実施形態においてユーザが操作する操作仮想オブジェクト４００ａに配置されるリスナーについて説明される。
図３は、本開示のリスナー５００を概念的に表した図である。図３に示されるようにリスナー５００は、ユーザが操作する操作仮想オブジェクト４００ａに配置される。リスナー５００は、配置される操作仮想オブジェクト４００ａに対する接触を検知し、リスナー５００に他の仮想オブジェクト４００が接触すると、物理エンジン１０８はこの接触を認識し、振動データ生成部１１２は物理エンジン１０８からの情報に基づいて振動データを生成する。つまり、リスナー５００に他の仮想オブジェクト４００が接触することによってコントローラ２００の振動デバイス２０８が振動し、ユーザは操作仮想オブジェクト４００ａに他の仮想オブジェクト４００が接触したことによる触覚のフィードバックを受けることができる。
なお、図３ではユーザが操作する操作仮想オブジェクト４００ａは球体で表されているが、操作仮想オブジェクト４００ａは人型であってもよく、棒状であってもよい。また図３ではリスナー５００は、操作仮想オブジェクト４００ａの一部に配置されているが、リスナー５００は操作仮想オブジェクト４００ａの全体に配置されてもよい。また、リスナー５００は、操作仮想オブジェクト４００ａの表面に配置されてもよく、また操作仮想オブジェクト４００ａの内部に配置されてもよく、リスナー５００の配置方法は特に限定されない。
また、リスナー５００は操作仮想オブジェクト４００ａに対する接触を検知するだけでなく、操作仮想オブジェクト４００ａに届く音を検知してもよい。なお、リスナー５００は、操作仮想オブジェクト４００ａに他の仮想オブジェクト４００が接触したことによって生じる音を検知してもよい。
＜３．ユーザに対する振動のフィードバック＞
以上では、操作仮想オブジェクト４００ａに対する接触を検知するリスナー５００について説明された。以下では、本実施形態のシステムにおいてユーザに振動によるフィードバックが行われる例が説明される。図４では、ユーザがコントローラ２００を操作することによって、操作仮想オブジェクト４００ａが操作される様子が示されている。
図４ではコントーラ２００およびコントローラ２００に対応する操作仮想オブジェクト４００ａは２つあり、一方の操作仮想オブジェクト４００ａに対して球状の仮想オブジェクト４００ｂが衝突するというイベントが発生している。このとき図４に示されるように、球状の仮想オブジェクト４００ｂが衝突した操作仮想オブジェクト４００ａに対応するコントローラ２００は振動する。一方、球状の仮想オブジェクト４００ｂが衝突していない操作仮想オブジェクト４００ａに対応するコントローラ２００は振動しない。
本実施形態のシステムでは、それぞれの仮想オブジェクト４００はその仮想オブジェクト４００に対応する属性が関連付けられており、それぞれの仮想オブジェクト４００はその属性に応じた振動データを有している。そして振動データ生成部１１２は、それぞれの仮想オブジェクト４００が有する振動データに基づいて振動データを生成してもよい。なお上述したように仮想オブジェクト４００の属性は、仮想オブジェクト４００の質量、剛性、材質、大きさ、形状などを含んでもよい。
ユーザはゲームなどを行っているとき、ユーザが操作する操作仮想オブジェクト４００ａの触覚ではなく、操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００の属性に基づくフィードバックを望むことがある。よって本実施形態のシステムでは、操作仮想オブジェクト４００ａに接触した他の仮想オブジェクト４００ｂが有する属性に基づいて振動データが生成される。
よって例えば、操作仮想オブジェクト４００ａと衝突した他の仮想オブジェクト４００ｂの質量が大きければ大きかったほど、ユーザにフィードバックされる振動は大きくなってもよい。また、操作仮想オブジェクト４００ａと衝突した他の仮想オブジェクト４００の剛性が高かければ高いほど、コントローラ２００が振動する時間が短くなってもよい。また、操作仮想オブジェクト４００ａと衝突した他の仮想オブジェクト４００の剛性が低かったとき、長い余韻が残るような振動がユーザにフィードバックされてもよい。
また、操作仮想オブジェクト４００ａと他の仮想オブジェクト４００が衝突したときの相対速度または接触位置に応じてユーザにフィードバックされる振動が変わってもよい。例えば、操作仮想オブジェクト４００ａと他の仮想オブジェクト４００が衝突したときの相対速度が大きかったとき、大きな振動がユーザにフィードバックされてもよい。また、操作仮想オブジェクト４００ａに他の仮想オブジェクト４００の角が衝突したとき、小さく短い振動がユーザにフィードバックされてもよい。
図５を用いてより詳細に本実施形態の振動によるフィードバックについて説明される。図５は、立方体の木の仮想オブジェクト４００ｃが操作仮想オブジェクト４００ａに接触したときの様子を表す図である。よってユーザは、木が接触した触覚フィードバックを得ることができる。このとき例えば、木の仮想オブジェクト４００ｃが金属の属性を有する仮想オブジェクト４００よりも小さい質量を有するという属性を有しているとき、ユーザは金属の属性を有する仮想オブジェクト４００が接触した場合と比べて小さい振動によるフィードバックを受けてもよい。
また、操作仮想オブジェクト４００ａに木の仮想オブジェクト４００ｃの角が衝突した場合、ユーザは、操作仮想オブジェクト４００ａに木の仮想オブジェクト４００ｃの面が衝突した場合に比べて、小さく短い振動によるフィードバックを受けてもよい。
図５では接触する仮想オブジェクト４００が木の属性を有する場合について説明された。しかし例えば接触する仮想オブジェクト４００が金属の属性を有している場合、コントローラ２００は残響があるように振動してもよい。また接触する仮想オブジェクト４００がゴムの属性を有している場合、コントローラ２００は残響がないように振動してもよい。
つまり接触する仮想オブジェクト４００が金属の属性を有している場合、コントローラ２００は最初に鋭く大きな振動で振動し、その後最初の振動よりも小さい振動がしばらく続くように振動してもよい。また、接触する仮想オブジェクト４００がゴムの属性を有している場合、コントローラ２００は最初に鈍く大きな振動で振動し、その後は振動しなくてもよい。
このように、操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００が有する属性情報に基づいてコントローラ２００が振動することによって、ユーザが得られる仮想的な臨場感が向上する。また、仮想オブジェクト４００が属性情報に応じた振動データを有することによって、振動データの生成がリアルタイムで行われる。つまり振動データがリアルタイムで生成されることによって、ユーザに対する振動によるフィードバックが仮想空間内で接触が生じてから遅延なく行われる。また、振動データが各仮想オブジェクト４００にマッピングされることによって、容易に振動データを各仮想オブジェクト４００に付与することができる。
なお、上述した例では操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００が有する属性に基づいて振動データが生成された。しかし振動データは操作仮想オブジェクト４００ａが有する属性に応じて生成されてもよい。また、振動データは、操作仮想オブジェクト４００ａが有する属性および操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００が有する属性に基づいて生成されてもよい。これによって、ユーザが得られる仮想的な臨場感がより向上する。
また、振動フィードバックの構成は複数に分けられてもよい。例えば、振動フィードバックは「衝突時」と「余韻」の２つのフェーズに分けられてもよい。このとき衝突のフェーズでは、コントローラ２００は操作仮想オブジェクト４００ａが有する属性に応じて振動し、余韻のフェーズでは、コントローラ２００は操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００が有する属性に基づいて振動してもよい。また、衝突する側または衝突される側のどちらの仮想オブジェクト４００の属性に基づいてコントローラ２００が振動するかを選択するモードが設けられてもよく、ユーザはこのモードを選択できてもよい。
また、上述したようにリスナー５００は仮想オブジェクト４００の接触と共に、音を検知してもよい。上述したように図４では、操作仮想オブジェクト４００ａに球状の仮想オブジェクト４００ｂが接触していないコントローラ２００は振動しない。しかしながら、球状の仮想オブジェクト４００ｂが接触していない操作仮想オブジェクト４００ａのリスナー５００は、衝突によって発生した音を検知し、コントローラ２００に備えられたスピーカまたは振動デバイス２０８から衝突音が出力されてもよい。
＜４．本実施形態のシステムにおける処理＞
以上では、本実施形態のシステムにおけるユーザに対する振動によるフィードバックについて説明された。以下では、本実施形態のシステムの各構成が行う処理について説明される。図６は、ゲーム機１００の各構成が行う処理を示すフロー図である。
最初にＳ１００において、触覚エンジン１１０はユーザが操作する操作仮想オブジェクト４００ａが有する属性を認識する。次にＳ１０２において、物理エンジン１０８は、リスナー５００に対する接触を検知する。つまり物理エンジン１０８は、操作仮想オブジェクト４００ａに他の仮想オブジェクト４００が衝突したことなどを検知する。
次にＳ１０４において処理部１０２は、リスナー５００が接触を検知する検知モードが操作仮想オブジェクト４００ａが有する属性に基づいて振動がフィードバックされるモードか否かを判定する。Ｓ１０４において処理部１０２が、リスナー５００が接触を検知する検知モードが操作仮想オブジェクト４００ａが有する属性に基づいて振動がフィードバックされるモードであると判定すると、処理はＳ１０６に進む。
Ｓ１０６において触覚エンジン１１０は操作仮想オブジェクト４００ａに付随する振動データを取得する。次にＳ１１０において物理エンジン１０８は、操作仮想オブジェクト４００ａと他の仮想オブジェクト４００が衝突したときの相対速度、接触位置などを算出する。
次にＳ１１２において処理部１０２は、物理エンジン１０８が算出した相対速度、接触位置などに関する情報およびＳ１０４で判定されたモードに関する情報を触覚エンジン１１０に送り、触覚エンジン１１０の振動データ生成部１１２は取得した情報に基づいて出力する振動データを生成する。ここで振動データ生成部１１２は、操作仮想オブジェクト４００ａが有する属性に基づいた振動データと物理エンジン１０８が算出した相対速度、接触位置などの情報に基づいて出力する振動データを生成する。
Ｓ１０４において、処理部１０２が、リスナー５００が接触を検知する検知モードが操作仮想オブジェクト４００ａが有する属性に基づいて振動がフィードバックされるモードではないと判定すると、処理はＳ１０８に進む。Ｓ１０８において触覚エンジン１１０は、ユーザが操作しない仮想オブジェクト４００、つまり操作仮想オブジェクト４００ａに衝突した仮想オブジェクト４００に付随する振動データを取得する。
そして上述した処理と同様、Ｓ１１０において物理エンジン１０８は相対速度、接触位置などを算出する。そしてＳ１１２において触覚エンジン１１０の振動データ生成部１１２は、操作仮想オブジェクト４００ａに衝突した仮想オブジェクト４００が有する属性に基づいた振動データと物理エンジン１０８が算出した相対速度、接触位置などの情報に基づいて出力する振動データを生成する。なお、上述したように振動データ生成部１１２は、操作仮想オブジェクト４００ａが有する属性と操作仮想オブジェクト４００ａに衝突した仮想オブジェクト４００が有する属性と、物理エンジン１０８が算出した相対速度、接触位置などの情報に基づいて出力する振動データを生成してもよい。
＜５．操作仮想オブジェクトに対する接触以外によって発生するフィードバック＞
以上では、ユーザが操作する操作仮想オブジェクト４００ａに他の仮想オブジェクト４００が接触したときに振動によるフィードバックが行われる例が説明された。以下では、操作仮想オブジェクト４００ａに他の仮想オブジェクト４００が衝突しないときに振動によるフィードバックが行われる例が説明される。
図７は、操作仮想オブジェクト４００ａから離れた位置にある衝撃波発生源８００によって発生する衝撃波８０２に基づいて振動によるフィードバックが行われる例を示す図である。なお、衝撃波発生源８００は例えば爆発であってもよく、衝撃波８０２の伝搬は物理エンジン１０８によって仮想空間内でシュミレーションされてもよい。
図７の例では、仮想空間内で発生した爆発によって生じた衝撃波８０２が操作仮想オブジェクト４００ａに配置されたリスナー５００に届くことによって、振動によるフィードバックが行われる。このとき振動によるフィードバックは、操作仮想オブジェクト４００ａと衝撃波発生源８００との間の媒体の性質に応じて行われてもよい。
例えば媒体が空気である場合の振動によるフィードバックと、媒体が水である場合の振動によるフィードバックとでは、振動の強さが異なってもよい。このとき媒体が水である場合の振動は、媒体が空気である場合の振動に比べて弱くてもよい。これは、シュミレーションされる衝撃波８０２の伝搬特性が媒体によって異なるからである。
これによってユーザは、例えばユーザが操作する操作仮想オブジェクト４００ａが水中にあることを振動によるフィードバックによって感じることができるため、ユーザが得られる仮想的な臨場感がより向上する。
また振動データは、仮想空間内でシュミレーションされる衝撃波８０２の伝搬によらず、単純に衝撃波発生源８００と操作仮想オブジェクト４００ａとの距離に応じて生成されてもよい。これにより、より単純な構成を有する物理エンジン１０８によっても振動によるフィードバックが行われる。
＜６．仮想オブジェクトの形状および材質に基づく振動によるフィードバック＞
以上では、衝撃波８０２に基づいて振動によるフィードバックが行われる例について説明された。以下では、仮想オブジェクト４００の形状および材質に基づく振動によるフィードバックについてより詳細に説明される。
図８から図１１は、半円状の仮想オブジェクト４００ｄの上を操作仮想オブジェクト４００ａが通過する様子を表す図である。以下ではこのような状況における振動によるフィードバックについて説明される。なお、半円状の仮想オブジェクト４００ｄは摩擦が少ない（つるつるした触感を有する）表面を有する。
図８から図９に示されるように、操作仮想オブジェクト４００ａが移動して半円状の仮想オブジェクト４００ｄの端部に接触したときに、振動時間が短い振動のフィードバックが行われる。次に図１０のように、操作仮想オブジェクト４００ａが半円状の仮想オブジェクト４００ｄの表面を移動している間は、振動によるフィードバックは行われない。次に図１１に示されるように、操作仮想オブジェクト４００ａが半円状の仮想オブジェクト４００ｄのもう一方の端部に降りるとき、再び振動時間が短い振動のフィードバックが行われる。
以上説明したように、操作仮想オブジェクト４００ａが接触している面の形状が変化するタイミング(図９および図１１の状態)で振動時間が短い振動がユーザに提示されることによって、面の形状変化をユーザは感じることができる。また、摩擦が少ない面を操作仮想オブジェクト４００ａが移動している間（図１０の状態）は、振動が提示されないことによって、つるつるした触感をユーザは感じることができる。またこのとき、操作仮想オブジェクト４００ａは、半円状の仮想オブジェクト４００ｄの表面に沿って動くので、視覚によってもユーザは半円状の仮想オブジェクト４００ｄの膨らんだ形状を感じることができる。
また、摩擦が大きい（ざらざらした触覚を有する）面を操作仮想オブジェクト４００ａが移動する場合は、異なる振動フィードバックが行われてもよい。図１２は、半円状の仮想オブジェクトの一部４００ｅが、摩擦が大きい面を有する場合の様子を表す図である。このとき操作仮想オブジェクト４００ａが半円状の仮想オブジェクトの摩擦が大きい面４００ｅの上を移動するとき、摩擦感を想起させる振動が連続的にユーザに提供されることによって、ユーザはざらざらした触感を感じることができる。また、ユーザが操作仮想オブジェクト４００ａを操作する速度に応じて振動が変えられてもよい。例えば図１２の例においてユーザが操作仮想オブジェクト４００ａを操作する速度が速くなればなるほど、コントローラ２００が振動する時間間隔が短くなってもよい。
また摩擦が小さい面から摩擦が大きい面に操作仮想オブジェクト４００ａが移動する場合、ユーザに提供される振動が変化するため、ユーザはその振動の変化から質感が変わったことを感じ取れる。
＜７．複数の振動デバイスを有するウェアラブル端末＞
以上では、コントローラ２００のようなユーザが把持する装置によって、振動によるフィードバックが行われる例が説明された。以下では、複数の振動デバイス２０８を有するジャケット型のウェアラブル端末について説明される。
図１３は、ジャケット型のウェアラブル端末７００の外観の一例を示す図である。ジャケット型のウェアラブル端末７００は、複数の振動デバイス２０８ａ〜２０８ｆを備えている。また、複数の振動デバイス２０８ａ〜２０８ｆは、図１３に示されるように左右対称に配置されてもよい。
図１４は、ジャケット型のウェアラブル端末７００に対応するようにリスナー５００ａ〜５００ｆが操作仮想オブジェクト４００ａに配置されることを示す図である。リスナー５００ａ〜５００ｆのそれぞれは、ジャケット型のウェアラブル端末７００の振動デバイス２０８ａ〜２０８ｆのそれぞれに対応する。上述したようにリスナー５００ａ〜５００ｆに他の仮想オブジェクト４００が接触したとき、接触したリスナー５００に対応する振動デバイス２０８が振動する。例えばリスナー５００ａに他の仮想オブジェクト４００が接触したとき、振動デバイス２０８ａが振動することによってユーザに対して振動によるフィードバックが行われる。
図１３および図１４で示されるように、複数の振動デバイス２０８に対して複数のリスナー５００が配置される場合、複数のリスナー５００間の結合関係に基づいて振動によるフィードバックが行われてもよい。図１５は、このような複数のリスナー５００間の結合関係を示す図である。図１５で表される点線は、複数のリスナー５００間の結合関係を表す結合要素５０２である。結合要素５０２は、ばね要素であったり、ダンパー要素であったり、時間遅れ要素であったりしてもよい。つまり結合要素５０２は、衝撃の伝搬特性に関する要素であり、伝搬速度または伝搬の減衰に関する要素であってもよい。
結合要素５０２に応じて振動の伝搬がシミュレーションされることによって、１つのリスナー５００に生じた接触による振動が周辺のリスナー５００に伝搬される。例えば、リスナー５００ａに他の仮想オブジェクト４００が接触した場合、リスナー５００ｂ、５００ｄ、５００ｅに振動が伝わってもよい。
また、結合要素５０２が時間遅れの要素とされることで、周辺のリスナー５００は衝突が生じたリスナー５００よりも遅れたタイミングで振動する。例えば、リスナー５００ａに他の仮想オブジェクト４００が接触した場合、最初にリスナー５００ｂ、５００ｄおよび５００ｅに振動が伝わり、少し遅れてリスナー５００ｃおよび５００ｆに振動が伝わってもよい。これにより、ユーザは振動の拡がりを感じることができる。
また、結合要素５０２がばね要素とされることで、ユーザは反発力のある物体（例えば内部に気体を有するボールのような物体）が衝突したような触覚を感じることができる。また、結合要素５０２がダンパー要素とされることで、ユーザは衝撃が吸収される服を着ているかのような触覚を感じることができる。
以上のように、複数のリスナー５００間の結合関係に基づいて振動によるフィードバックが行われることにより、ユーザはより多様な振動によるフィードバックを感じることができる。
また、衝突する仮想オブジェクト４００の大きさに応じて、衝突を検知するリスナー５００の数が変化してもよい。図１６は、衝突する仮想オブジェクト４００の大きさと衝突を検知するリスナー５００との関係を示す図である。
例えば、図１６で示されるように、直径がリスナー５００の幅または高さの１つ分より小さい仮想オブジェクト４００ｆがリスナー５００に衝突した場合、１つのリスナー５００が衝突を検知してもよい。また、直径がリスナー５００の幅または高さの１つ分より大きく２つ分より小さい仮想オブジェクト４００ｇがリスナー５００に衝突した場合、縦２つ横２つの合計４つのリスナー５００が衝突を検知してもよい。また、直径がリスナー５００の幅または高さの２つ分より大きく３つ分より小さい仮想オブジェクト４００ｈがリスナー５００に衝突した場合、縦３つ横２つの合計６つのリスナー５００が衝突を検知してもよい。
また、衝突する仮想オブジェクト４００の質量または速度、または質量および速度から得られる仮想オブジェクト４００の運動エネルギーの大きさに応じて、衝突を検知するリスナー５００の数が変化してもよい。また同時に、提供される振動の強度が変化してもよい。つまり、衝突する仮想オブジェクト４００の質量、速度または運動エネルギーが大きいほど衝突を検知するリスナー５００の数が多くなってもよく、振動の強度が強くなってもよい。
また、上述した衝突を検知するリスナー５００の数および振動の強度は、リスナー５００が配置される操作仮想オブジェクト４００ａの属性に基づいて変化してもよい。例えば、複数のリスナー５００が配置された操作仮想オブジェクト４００ａが、ゴムのような衝撃を吸収する属性を有していた場合、衝突を検知するリスナー５００の数は少なくなってもよい。またこのとき衝突によってユーザにフィードバックされる振動の大きさは小さくなってもよい。
＜８．リスナーが接触を検知する検知モード＞
以上では、複数の振動デバイス２０８に対する複数のリスナー５００が操作仮想オブジェクト４００ａに配置される例が説明された。以下では、リスナー５００が接触を検知する範囲について説明される。上述されたように、操作仮想オブジェクト４００ａに配置されたリスナー５００は他の仮想オブジェクト４００との接触を検知する。しかしながらユーザによって、フィードバックを受けたいと考える頻度が異なることが考えられる。
そこで本実施形態では、リスナー５００が接触を検知する範囲が異なる複数のモードが設けられる。複数のモードは、「リスナー５００が振動を全く検知しないモード」と、「リスナー５００が仮想オブジェクト４００がリスナー５００に接触したときに振動を検知するモード」と、「リスナー５００が全ての振動を検知するモード」を含む。ここで「リスナー５００が仮想オブジェクト４００がリスナー５００に接触したときに振動を検知するモード」と、「リスナー５００が全ての振動を検知するモード」との差異点は、例えば上述した衝撃波発生源８００による衝撃波８０２を検知するか否かであってもよく、またある特定の属性を有する仮想オブジェクト４００との接触による振動を検知するか否かであってもよい。
また、上述したようにリスナー５００は音も検知する。よって同様にリスナー５００が音を検知する範囲が異なる複数のモードが設けられてもよい。例えば音に関する複数のモードは、「リスナー５００が音を全く検知しないモード」と、「リスナー５００が一定範囲の音を検知するモード」と、「リスナー５００が全ての音を検知するモード」を含む。
上述したようにリスナー５００が振動および音を検知する範囲に関して複数のモードが設けられることによって、ユーザは自分の好みに合ったモードを選択することができる。
また、仮想空間内では、ユーザが操作する操作仮想オブジェクト４００ａは、ユーザが意図しないところで他の仮想オブジェクト４００と接触することがある。例えばユーザが人型の操作仮想オブジェクト４００ａを操作している場合、人型の操作仮想オブジェクト４００ａの足元で草や石などの仮想オブジェクト４００との接触が起こることがある。このようなときに全ての接触をリスナー５００が検知し、振動によるフィードバックがユーザに対して行われることは好ましくない。
そこで本実施形態ではさらに、上述したリスナー５００が振動および音を検知する範囲に関するモードに加えて、視線検知デバイスからの情報に基づいてリスナー５００が振動および音を検知するモードが設定されてもよい。
図１７は、視線検知デバイス６００を備えるシステムの構成を示す図である。本実施形態のシステムは、ユーザの視線を検知する視線検知デバイス６００を有し、視線検知デバイス６００は視線検知部６０２とゲーム機１００と無線で接続するための通信部６０４とを有する。
視線検知デバイス６００は、例えばユーザの頭に装着される装置（例えばヘッドギアのような装置）であってもよい。この場合、視線検知部６０２は撮像部を備え、撮像部によって撮像された画像に基づいてユーザの視線が検知されてもよい。また、視線検知部６０２はジャイロセンサおよび／または加速度センサであってもよく、当該センサが検知する角速度、角加速度、加速度に基づいて、ユーザの視線が検知されてもよい。
以上のような構成を本実施形態のシステムが有する場合、リスナー５００は、視線検知デバイス６００からの情報に基づく仮想空間内でのユーザの視野内にある仮想オブジェクト４００と操作仮想オブジェクト４００ａとの接触を検知してもよい。このとき、リスナー５００は、仮想空間内でのユーザの視野内に無い仮想オブジェクト４００と操作仮想オブジェクト４００ａとの接触を検知しなくてもよい。
このように視線検知デバイス６００からの情報に基づく仮想空間内でのユーザの視野に関する情報が用いられることにより、ユーザが期待していないタイミングで振動が頻発することが防止され、ユーザがある仮想オブジェクト４００に注目しているときに振動によるフィードバックが得られる。
なお、以上の実施形態では仮想空間内でのユーザの視野を検知するために視線検知デバイス６００が用いられた。しかし通常のディスプレイの場合、ディスプレイ内に描画されている範囲がユーザの視野の範囲とされてもよい。
＜９．スピーカを備えるウェアラブル端末＞
以上では、視線検知デバイス６００を有するシステムの実施形態について説明された。以下では、スピーカを備えるジャケット型のウェアラブル端末７００の動作について説明される。図１８は、スピーカ２１２を備えるジャケット型のウェアラブル端末７００の外観を示す図である。図１８から理解されるように、ユーザの耳に近い位置にスピーカ２１２が配置される。
図１８に示されるボイスコイルモータのような音を出力することができる振動デバイス２０８とスピーカ２１２とを備えるジャケット型のウェアラブル端末７００によって、振動と音が別々にユーザに提供されることによって、仮想オブジェクト４００の位置関係が表現される。
例えば人は音の発生源の方向を左右の耳の音量差および位相差で知覚するため、スピーカ２１２から出力される音によって音の発生源の方向が表現される。また音の発生源との距離は主に音の大きさで知覚されるため、ボイスコイルモータのような振動デバイス２０８で出力する音の大きさを変えて、仮想オブジェクト４００が仮想空間内で接触した位置を表現することができる。
このとき例えば、仮想空間内においてユーザの胸元で仮想オブジェクト４００との接触が生じた場合、ユーザの胸元近くに配置されている順に、振動デバイス２０８ａ、２０８ｄから大きな音が出力され、振動デバイス２０８ｂ、２０８ｅから中程度の音が出力され、振動デバイス２０８ｃ、２０８ｆから小さな音が出力される。このとき例えば、ユーザの耳から振動デバイス２０８までの距離の２乗に反比例させて遠い位置の振動デバイス２０８ほど小さな音量が出力されるように制御が行われてもよい。
また、振動デバイス２０８が振動するときに発生する振動音がユーザに聞こえないことが好ましいため、振動デバイス２０８の振動音を打ち消すように、スピーカ２１２または別の振動デバイス２０８が制御されてもよい。このときジャケット型のウェアラブル端末７００ではユーザの耳に対するスピーカ２１２の相対位置が固定的であるため、振動デバイス２０８に入力される波形に基づいてスピーカ２１２が制御されることで、マイクロフォンを用いずに振動デバイス２０８の振動音を打ち消すことができる。
また、スピーカ２１２付近にマイクロフォンを配置し、ユーザの耳に届くと想定される音をマイクロフォンによって検出し、リアルタイムに逆位相の音が再生されることで、高精度に振動デバイス２０８の振動音を打ち消すことができるとともに、周辺の音も打ち消すことができる。
＜１０．振動データの生成方法＞
以上では、スピーカ２１２を備えるジャケット型のウェアラブル端末７００の動作について説明された。以下では、本実施形態のシステムで用いられる振動データの生成方法について説明される。図１９から図２２は、本実施形態のシステムで用いられる振動データが生成される過程を示す図である。
図１９の左図は、実物体（例えば摩擦係数が大きい面）をなぞった際の加速度データを加速度センサでサンプリングしたときの波形である。また、図１９の右図は、サンプリングされた波形（図１９の左図）の周波数成分を表したグラフである。
図２０は、ピンクノイズの波形および周波数成分を表すグラフである。図２１の左図は、図１９の右図で表された周波数特性を用いて図２０のピンクノイズにイコライザーをかけたときの波形である。
以上のように本実施形態のシステムで用いられる振動データは、実体物から得られた波形に基づいてピンクノイズにイコライザーをかけて生成される。そして「イコライザーのかけられたピンクノイズ」が、操作仮想オブジェクト４００ａの速度に応じて再生される。これによって「連続的な触感の表現」と、「物体固有の触覚の表現」が両立される。
＜１１．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属する。
例えば、上述した例では触覚データの例として振動データが説明された。しかし触覚データは振動データに限定されない。例えば触覚データは、電気刺激に関する触覚データであってもよく、また熱に関する触覚データであってもよい。このときリスナー５００は、熱または電気刺激を検知してもよい。
また、上述した振動データと同様に仮想オブジェクト４００が有する属性に基づいて、熱または電気刺激に関する触覚データが生成されてもよい。例えば、操作仮想オブジェクト４００ａが金属の属性を有しているとき、金属は熱伝導率が高いので、急激に熱が伝わるように触覚データが生成されてもよい。一方、操作仮想オブジェクト４００ａが木の属性を有しているとき、木は金属よりも熱伝導率が低いので、金属の属性を有する仮想オブジェクト４００に熱源が振れた場合よりも緩やかに熱が伝わるように触覚データが生成されてもよい。また同様に操作仮想オブジェクト４００ａが金属の属性を有しているとき、金属は電気伝導率が高いので、強い電気刺激がユーザにフィードバックされるように触覚データが生成されてもよい。一方、操作仮想オブジェクト４００ａが木の属性を有しているとき、木は金属よりも電気伝導率が低いので、触覚データは生成されなくてもよい。
また、上述したように操作仮想オブジェクト４００ａから離れた位置にある衝撃波発生源８００からの衝撃波８０２をリスナー５００が検知する実施形態が説明された。このとき、ジャケット型のウェアラブル端末７００は振動する一方、ユーザが把持するコントローラ２００は振動しなくてもよい。つまり、機器の構成（または種類）によって触覚フィードバックが異なってもよい。
また、上述した物理エンジン１０８および触覚エンジン１１０は汎用のプロセッサを用いて実現されてもよい。また、当該プロセッサを上述したように動作させるためのコンピュータプログラムが提供されてもよい。また、このようなプログラムが記憶された記憶媒体が提供されてもよい。
＜１２．むすび＞
以上説明したように、本開示のシステムは、仮想オブジェクト４００と関連付けられた属性情報に応じて振動データが生成される。また、本開示のシステムは、リスナー５００が配置された操作仮想オブジェクト４００ａと他の仮想オブジェクト４００とが接触したときの相対速度または接触位置に基づいて振動データが生成される。これによってユーザは、臨場感がある振動によるフィードバクを受けることができる。
また、本開示のシステムでは、リスナー５００が配置された操作仮想オブジェクト４００ａに接触した他の仮想オブジェクト４００と関連付けられた属性情報に基づいて振動データが生成される。ユーザは、ゲームなどを行っているとき、ユーザが操作する操作仮想オブジェクト４００ａの触覚ではなく、操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００の触覚によるフィードバックを望む。よって上述した構成によって、ユーザはより臨場感があるフィードバックを受けることができる。
また、本開示のシステムでは、仮想オブジェクト４００が属性情報に応じた振動データを有することによって、振動データの生成がリアルタイムで行われる。また、振動データが各仮想オブジェクト４００にマッピングされることによって、容易に振動データを各仮想オブジェクト４００に付与することができる。
また、本開示のシステムでは、複数のリスナー５００間の結合関係に基づいて振動によるフィードバックが行われることにより、ユーザはより多様な振動によるフィードバックを感じることができる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成する仮想空間データ生成部と、
前記仮想オブジェクトに対する接触を検知するリスナーを配置するリスナー配置部と、
前記リスナーが配置された仮想オブジェクトと、
前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成する触覚データ生成部と、を備える情報処理装置。
（２）
前記リスナーが配置された前記仮想オブジェクトは、ユーザが操作する前記仮想オブジェクトである、前記（１）に記載の情報処理装置。
（３）
前記触覚データは振動に関するデータである、前記（１）または前記（２）に記載の情報処理装置。
（４）
前記仮想空間データ生成部は、前記仮想オブジェクトに属性を関連付けるように前記仮想オブジェクトを形成する、前記（１）から前記（３）のいずれか１項に記載の情報処理装置。
（５）
前記仮想オブジェクトの前記属性情報は、前記仮想オブジェクトの質量、剛性、材質、大きさ、形状、位置、速度のうち少なくとも１つを含む、前記（４）に記載の情報処理装置。
（６）
前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトの前記属性に基づいて前記触覚データを生成する、前記（５）に記載の情報処理装置。
（７）
前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトとは異なる前記他の仮想オブジェクトの前記属性に基づいて前記触覚データを生成する、前記（５）に記載の情報処理装置。
（８）
前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトの前記属性および前記ユーザが操作する前記仮想オブジェクトとは異なる前記他の仮想オブジェクトの前記属性の両方に基づいて前記触覚データを生成する、前記（５）に記載の情報処理装置。
（９）
前記触覚データ生成部はさらに、前記リスナーが配置された仮想オブジェクトと、他の仮想オブジェクトとの相対速度または接触位置に応じて前記触覚データを生成する、前記（１）から前記（８）のいずれか１項に記載の情報処理装置。
（１０）
前記触覚データ生成部は、前記リスナーが配置された前記仮想オブジェクトから離れた位置に存在する衝撃の発生源に基づく前記触覚データを生成する、前記（１）から前記（９）のいずれか１項に記載の情報処理装置。
（１１）
前記触覚データ生成部は、前記リスナーが配置された前記仮想オブジェクトと、前記衝撃の発生源との間の媒体に基づいて前記触覚データを生成する、前記（１０）に記載の情報処理装置。
（１２）
前記リスナー配置部は、複数の前記リスナーを前記仮想オブジェクトに配置し、
前記触覚データ生成部は、前記複数の前記リスナーのうちの少なくとも１つに対応する前記触覚デバイスに対する前記触覚データと、前記複数の前記リスナー間の結合関係とに基づいて、前記複数の前記リスナーのうちの他のリスナーに対応する前記触覚デバイスに対する前記触覚データを生成する、前記（１）から前記（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記結合関係は伝搬特性に関する、前記（１２）に記載の情報処理装置。
（１４）
前記伝搬特性は伝搬速度または伝搬の減衰に関する、前記（１３）に記載の情報処理装置。
（１５）
さらに触覚データ生成部は、ユーザの視線を検知する視線検知部からの情報に基づいて前記触覚データを生成する、前記（１）から前記（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記触覚データ生成部は、前記仮想空間における前記ユーザの視野内の前記仮想オブジェクトと、前記ユーザが操作する前記仮想オブジェクトとの接触に基づいて前記触覚データを生成する、前記（１５）に記載の情報処理装置。
（１７）
前記触覚データは、電気刺激または熱に関するデータである、前記（１）から前記（１６）のいずれか１項に記載の情報処理装置。
（１８）
属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成することと、
前記仮想オブジェクトに対する接触を検知するリスナーを配置することと、
前記リスナーが前記仮想オブジェクトに配置されることと、
前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成することと、を含む、方法。
（１９）
プロセッサに属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成させ、
前記仮想オブジェクトに対する接触を検知するリスナーを配置させ、
前記リスナーを前記仮想オブジェクトに配置させ、
前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成させる、コンピュータプログラム。
１００ ゲーム機
１０２ 処理部
１０４ 仮想空間データ生成部
１０６ リスナー配置部
１０８ 物理エンジン
１１０ 触覚エンジン
１１２ 振動データ生成部
１１４ 音声データ生成部
１１６ 通信部
２００ コントローラ
２０２ 処理部
２０４ 加速度センサ
２０６ ジャイロセンサ
２０８ 振動デバイス
２１０ 通信部
２１２ スピーカ
３００ 表示装置
４００ 仮想オブジェクト
４００ａ 操作仮想オブジェクト
５００ リスナー
５０２ 結合要素
６００ 視線検知デバイス
６０２ 視線検知部
６０４ 通信部
７００ ウェアラブル端末
８００ 衝撃波発生源
８０２ 衝撃波

Claims (19)

  1. 属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成する仮想空間データ生成部と、
    前記仮想オブジェクトに対する接触を検知するリスナーを前記仮想オブジェクトに配置するリスナー配置部と、
    前記リスナーが配置された仮想オブジェクトの前記リスナーと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成する触覚データ生成部と、を備える情報処理装置。
  2. 前記リスナーが配置された前記仮想オブジェクトは、ユーザが操作する前記仮想オブジェクトである、請求項１に記載の情報処理装置。
  3. 前記触覚データは振動に関するデータである、請求項２に記載の情報処理装置。
  4. 前記仮想空間データ生成部は、前記仮想オブジェクトに属性を関連付けるように前記仮想オブジェクトを形成する、請求項２または請求項３に記載の情報処理装置。
  5. 前記仮想オブジェクトの前記属性情報は、前記仮想オブジェクトの質量、剛性、材質、大きさ、形状、位置、速度のうち少なくとも１つを含む、請求項４に記載の情報処理装置。
  6. 前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトの前記属性に基づいて前記触覚データを生成する、請求項５に記載の情報処理装置。
  7. 前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトとは異なる前記他の仮想オブジェクトの前記属性に基づいて前記触覚データを生成する、請求項５に記載の情報処理装置。
  8. 前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトの前記属性および前記ユーザが操作する前記仮想オブジェクトとは異なる前記他の仮想オブジェクトの前記属性の両方に基づいて前記触覚データを生成する、請求項５に記載の情報処理装置。
  9. 前記触覚データ生成部はさらに、前記リスナーが配置された仮想オブジェクトと、他の仮想オブジェクトとの相対速度または接触位置に応じて前記触覚データを生成する、請求項２から請求項８のいずれか１項に記載の情報処理装置。
  10. 前記触覚データ生成部は、前記リスナーが配置された前記仮想オブジェクトから離れた位置に存在する衝撃の発生源に基づく前記触覚データを生成する、請求項２から請求項９のいずれか１項に記載の情報処理装置。
  11. 前記触覚データ生成部は、前記リスナーが配置された前記仮想オブジェクトと、前記衝撃の発生源との間の媒体に基づいて前記触覚データを生成する、請求項１０に記載の情報処理装置。
  12. 前記リスナー配置部は、複数の前記リスナーを前記仮想オブジェクトに配置し、
    前記触覚データ生成部は、前記複数の前記リスナーのうちの少なくとも１つに対応する前記触覚デバイスに対する前記触覚データと、前記複数の前記リスナー間の結合関係とに基づいて、前記複数の前記リスナーのうちの他のリスナーに対応する前記触覚デバイスに対する前記触覚データを生成する、請求項２から請求項１１のいずれか１項に記載の情報処理装置。
  13. 前記結合関係は伝搬特性に関する、請求項１２に記載の情報処理装置。
  14. 前記伝搬特性は伝搬速度または伝搬の減衰に関する、請求項１３に記載の情報処理装置。
  15. さらに触覚データ生成部は、前記ユーザの視線を検知する視線検知部からの情報に基づいて前記触覚データを生成する、請求項２から請求項１４のいずれか１項に記載の情報処理装置。
  16. 前記触覚データ生成部は、前記仮想空間における前記ユーザの視野内の前記仮想オブジェクトと、前記ユーザが操作する前記仮想オブジェクトとの接触に基づいて前記触覚データを生成する、請求項１５に記載の情報処理装置。
  17. 前記触覚データは、電気刺激または熱に関するデータである、請求項１から請求項１６のいずれか１項に記載の情報処理装置。
  18. 属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成することと、
    前記仮想オブジェクトに対する接触を検知するリスナーを前記仮想オブジェクトに配置することと、
    前記リスナーが前記仮想オブジェクトに配置されることと、
    前記リスナーが配置された仮想オブジェクトの前記リスナーと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成することと、を含む、方法。
  19. プロセッサに、
    属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成させ、
    前記仮想オブジェクトに対する接触を検知するリスナーを前記仮想オブジェクトに配置させ、
    前記リスナーを前記仮想オブジェクトに配置させ、
    前記リスナーが配置された仮想オブジェクトの前記リスナーと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成させる、コンピュータプログラム。
JP2017539139A 2015-09-08 2016-08-31 情報処理装置、方法およびコンピュータプログラム Active JP6834962B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562215572P 2015-09-08 2015-09-08
US62/215,572 2015-09-08
PCT/JP2016/075581 WO2017043400A1 (ja) 2015-09-08 2016-08-31 情報処理装置、方法およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2017043400A1 JPWO2017043400A1 (ja) 2018-06-21
JP6834962B2 true JP6834962B2 (ja) 2021-02-24

Family

ID=58239593

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017539139A Active JP6834962B2 (ja) 2015-09-08 2016-08-31 情報処理装置、方法およびコンピュータプログラム
JP2017538528A Active JP6822408B2 (ja) 2015-09-08 2016-09-08 情報処理装置、方法およびコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017538528A Active JP6822408B2 (ja) 2015-09-08 2016-09-08 情報処理装置、方法およびコンピュータプログラム

Country Status (6)

Country Link
US (5) US10331214B2 (ja)
EP (3) EP3349096B1 (ja)
JP (2) JP6834962B2 (ja)
KR (1) KR102639118B1 (ja)
CN (2) CN107924236B (ja)
WO (2) WO2017043400A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10331214B2 (en) * 2015-09-08 2019-06-25 Sony Corporation Information processing device, method, and computer program
CN106371573B (zh) * 2015-12-04 2020-06-02 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
JP6626992B2 (ja) 2016-12-15 2019-12-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
JP6799077B2 (ja) * 2016-12-15 2020-12-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
JP6546707B2 (ja) * 2016-12-22 2019-07-17 シチズン時計株式会社 工作機械およびその制御装置
US10592199B2 (en) * 2017-01-24 2020-03-17 International Business Machines Corporation Perspective-based dynamic audio volume adjustment
JP6833018B2 (ja) * 2017-04-18 2021-02-24 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
JP6936976B2 (ja) * 2017-05-24 2021-09-22 株式会社村田製作所 刺激伝達装置
JP6613267B2 (ja) 2017-06-02 2019-11-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6837921B2 (ja) 2017-06-02 2021-03-03 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6653293B2 (ja) 2017-06-05 2020-02-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
WO2018230790A1 (ko) 2017-06-13 2018-12-20 주식회사 비햅틱스 헤드 마운티드 디스플레이
JP6771435B2 (ja) 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6893561B2 (ja) 2017-08-24 2021-06-23 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2019038887A1 (ja) 2017-08-24 2019-02-28 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
KR102354274B1 (ko) 2017-11-17 2022-01-20 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 Vr 시나리오에서의 롤 플레이 시뮬레이션 방법 및 단말 기기
WO2019124068A1 (ja) * 2017-12-19 2019-06-27 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2021073749A (ja) * 2018-03-07 2021-05-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11709550B2 (en) 2018-06-19 2023-07-25 Sony Corporation Information processing apparatus, method for processing information, and program
WO2020026443A1 (ja) * 2018-08-03 2020-02-06 株式会社ソニー・インタラクティブエンタテインメント 触覚表現用振動制御システム、触覚表現用振動発生装置、触覚表現用振動制御装置、および触覚表現用振動制御方法
US10569167B1 (en) * 2018-08-22 2020-02-25 Abdul Hotaki System and methods for providing wireless feedback to a video game
WO2020072034A1 (en) * 2018-10-01 2020-04-09 Leia Inc. Holographic reality system, multiview display, and method
US11429187B2 (en) * 2018-10-19 2022-08-30 Sony Interactive Entertainment Inc. Controller apparatus, control method thereof, and program
US11813518B2 (en) 2018-10-19 2023-11-14 Sony Interactive Entertainment Inc. Information processing system, controller apparatus, information processing apparatus, and program
KR20200070607A (ko) * 2018-12-10 2020-06-18 (주)리얼감 강도를 이용한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
WO2020122282A1 (ko) * 2018-12-13 2020-06-18 (주)리얼감 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
WO2020132784A1 (en) * 2018-12-24 2020-07-02 Intel Corporation Methods and apparatus to detect collision of virtual camera with objects in three-dimensional volumetric model
KR102233004B1 (ko) * 2018-12-28 2021-03-26 중앙대학교 산학협력단 가상현실 노래방 인터랙션 방법 및 장치
US20220080304A1 (en) * 2019-01-21 2022-03-17 Sony Group Corporation Information processing apparatus, information processing method, and program
KR102218091B1 (ko) * 2019-01-22 2021-02-19 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR102280916B1 (ko) * 2019-05-24 2021-07-26 한양대학교 산학협력단 임의 위치에서 발생하는 진동 피드백 구현 장치 및 방법
US11397508B1 (en) * 2019-06-11 2022-07-26 Hyper Reality Partners, Llc Virtual experience pillars
JP7360281B2 (ja) * 2019-09-10 2023-10-12 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
JP7360282B2 (ja) 2019-09-10 2023-10-12 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
JP2021067877A (ja) * 2019-10-25 2021-04-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、および画像表示方法
WO2021145025A1 (ja) * 2020-01-16 2021-07-22 ソニーグループ株式会社 情報処理装置、情報処理端末及びプログラム
JP7170680B2 (ja) * 2020-02-13 2022-11-14 任天堂株式会社 ゲームシステム、ゲームプログラム、情報処理装置、および、ゲーム処理方法
WO2022123667A1 (ja) * 2020-12-09 2022-06-16 日本電信電話株式会社 触覚システム
WO2022269799A1 (ja) * 2021-06-23 2022-12-29 日本電信電話株式会社 擬似触覚提示装置、擬似触覚提示方法、およびプログラム
WO2023108131A1 (en) * 2021-12-10 2023-06-15 Shaw Industries Group, Inc. Visceral surface covering simulator and method of use
WO2023153232A1 (ja) * 2022-02-08 2023-08-17 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2023171078A1 (ja) * 2022-03-07 2023-09-14 アルプスアルパイン株式会社 触覚提示装置、シートシステム、及び触覚提示方法
KR102594789B1 (ko) * 2022-06-08 2023-10-27 한국전자기술연구원 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법
WO2024090303A1 (ja) * 2022-10-24 2024-05-02 ソニーグループ株式会社 情報処理装置及び情報処理方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
JP4567817B2 (ja) 1997-09-11 2010-10-20 ソニー株式会社 情報処理装置及びその制御方法
US7084869B2 (en) 2000-03-31 2006-08-01 Massachusetts Institute Of Technology Methods and apparatus for detecting and correcting penetration between objects
US20070203435A1 (en) * 2004-03-26 2007-08-30 Peter Novak System And Method For Gait Synchronized Vibratory Stimulation Of The Feet
JP4484570B2 (ja) * 2004-04-14 2010-06-16 富士ゼロックス株式会社 音響情報処理装置、音響情報提供方法
JP4926799B2 (ja) * 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
KR101310969B1 (ko) 2006-12-01 2013-09-23 삼성전자주식회사 디바이스의 환경을 분석하는 방법 및 이를 이용한 디바이스
WO2008075638A1 (ja) * 2006-12-19 2008-06-26 Nec Corporation 共通データ生成方法およびその装置
CN101496954B (zh) * 2008-01-28 2012-11-21 联想(北京)有限公司 一种游戏控制器及其游戏处理方法
CN101394439B (zh) * 2008-11-10 2011-11-02 华为终端有限公司 自动控制终端振动强度的方法、终端
KR101755051B1 (ko) * 2009-07-22 2017-07-06 임머숀 코퍼레이션 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
JP5197521B2 (ja) * 2009-07-29 2013-05-15 京セラ株式会社 入力装置
TWI473490B (zh) 2009-09-03 2015-02-11 Htc Corp 調整事件提示程度的方法與其行動電子裝置及電腦程式產品
JP5278259B2 (ja) 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
US8487759B2 (en) * 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US20110115709A1 (en) * 2009-11-17 2011-05-19 Immersion Corporation Systems And Methods For Increasing Haptic Bandwidth In An Electronic Device
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
JP5195859B2 (ja) * 2010-09-27 2013-05-15 トヨタ自動車株式会社 睡眠装置
US8352643B2 (en) * 2010-09-30 2013-01-08 Immersion Corporation Haptically enhanced interactivity with interactive content
US20120190460A1 (en) * 2011-01-21 2012-07-26 Cecil Sessions Vibrating Gaming Vest
JP5920862B2 (ja) 2011-03-08 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、コンピュータプログラム、および情報処理システム
US20130194177A1 (en) * 2011-07-29 2013-08-01 Kotaro Sakata Presentation control device and presentation control method
KR101328054B1 (ko) * 2011-08-09 2013-11-08 엘지전자 주식회사 실감 진동을 발생시키는 영상표시장치 및 실감 진동 구현방법
JP2013054645A (ja) 2011-09-06 2013-03-21 Denso Wave Inc 光学的情報読取装置
US9101812B2 (en) * 2011-10-25 2015-08-11 Aquimo, Llc Method and system to analyze sports motions using motion sensors of a mobile device
JP2013150201A (ja) 2012-01-20 2013-08-01 Nec Access Technica Ltd 端末装置、報知制御方法、プログラム
CN103246379A (zh) * 2012-02-10 2013-08-14 联想移动通信科技有限公司 触摸反馈方法、装置及无线终端
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
JP2013187148A (ja) * 2012-03-09 2013-09-19 Gs Yuasa Corp 制御弁式鉛蓄電池
WO2013177587A2 (en) * 2012-05-25 2013-11-28 Immerz Inc. Haptic interface for portable electronic device
US9874964B2 (en) * 2012-06-04 2018-01-23 Sony Interactive Entertainment Inc. Flat joystick controller
US9282893B2 (en) * 2012-09-11 2016-03-15 L.I.F.E. Corporation S.A. Wearable communication platform
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
KR20140112648A (ko) 2013-03-13 2014-09-24 삼성전기주식회사 수평 진동 발생 장치
US9436282B2 (en) 2013-03-14 2016-09-06 Immersion Corporation Contactor-based haptic feedback generation
US9606721B2 (en) * 2013-07-22 2017-03-28 Lg Electronics Inc. Mobile terminal and control method thereof
US9293015B2 (en) * 2013-09-09 2016-03-22 Immersion Corporation Electrical stimulation haptic feedback interface
US20150105129A1 (en) * 2013-10-15 2015-04-16 Kevin Chapman Video Game Body Suit
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) * 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
CN103995584B (zh) * 2014-04-29 2017-11-17 深圳超多维光电子有限公司 立体交互方法及其显示装置、操作棒和系统
US9679546B2 (en) * 2014-05-16 2017-06-13 Not Impossible LLC Sound vest
US10379614B2 (en) * 2014-05-19 2019-08-13 Immersion Corporation Non-collocated haptic cues in immersive environments
JP2015231098A (ja) 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
GB201410648D0 (en) * 2014-06-14 2014-07-30 Pape Lise S Walking aid providing tactile and visual cues to trigger and improve mobility
CN204484695U (zh) * 2014-06-30 2015-07-22 岳川凯 一种可穿戴式导盲系统
JP2016025620A (ja) 2014-07-24 2016-02-08 ソニー株式会社 画像処理システム、クライアントシステム、画像処理方法、および記憶媒体
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR102254705B1 (ko) * 2014-09-19 2021-05-24 삼성전자주식회사 단말 장치 및 그 제어방법
CN104545936A (zh) * 2014-12-31 2015-04-29 戴晓伟 腰部姿态检测方法及检测结果的触觉反馈方法
US10331214B2 (en) * 2015-09-08 2019-06-25 Sony Corporation Information processing device, method, and computer program
KR102427212B1 (ko) * 2016-07-07 2022-07-29 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
KR20180019270A (ko) * 2016-08-16 2018-02-26 (주)알비케이이엠디 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스
KR102442179B1 (ko) * 2017-11-17 2022-09-08 삼성전자주식회사 웨어러블 장치를 통하여 햅틱 피드백을 제공하는 전자 장치 및 그 방법
US10569167B1 (en) * 2018-08-22 2020-02-25 Abdul Hotaki System and methods for providing wireless feedback to a video game

Also Published As

Publication number Publication date
WO2017043400A1 (ja) 2017-03-16
JPWO2017043610A1 (ja) 2018-06-28
EP3349096A4 (en) 2019-04-10
JPWO2017043400A1 (ja) 2018-06-21
US10942573B2 (en) 2021-03-09
EP3349096A1 (en) 2018-07-18
EP3349096B1 (en) 2023-08-23
JP6822408B2 (ja) 2021-01-27
CN107949818A (zh) 2018-04-20
KR102639118B1 (ko) 2024-02-22
US10331214B2 (en) 2019-06-25
US10353470B2 (en) 2019-07-16
KR20180051482A (ko) 2018-05-16
CN107924236A (zh) 2018-04-17
CN107924236B (zh) 2021-09-21
EP3349097A1 (en) 2018-07-18
EP3349097B1 (en) 2020-04-01
US20180203509A1 (en) 2018-07-19
EP3690613A1 (en) 2020-08-05
US20210191517A1 (en) 2021-06-24
WO2017043610A1 (ja) 2017-03-16
US20200026355A1 (en) 2020-01-23
EP3349097A4 (en) 2019-04-10
US11314333B2 (en) 2022-04-26
US20180203510A1 (en) 2018-07-19
US20190272038A1 (en) 2019-09-05
US10838500B2 (en) 2020-11-17
CN107949818B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
JP6834962B2 (ja) 情報処理装置、方法およびコンピュータプログラム
US10347093B2 (en) Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
US10974138B2 (en) Haptic surround functionality
JP6504157B2 (ja) 体感導入装置、体感導入システム、及び体感導入方法
JP6865115B2 (ja) ケースを介して触覚フィードバックを提供するためのシステム及び方法
WO2018154284A1 (en) Virtual reality

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R151 Written notification of patent or utility model registration

Ref document number: 6834962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151