WO2017043400A1 - 情報処理装置、方法およびコンピュータプログラム - Google Patents

情報処理装置、方法およびコンピュータプログラム Download PDF

Info

Publication number
WO2017043400A1
WO2017043400A1 PCT/JP2016/075581 JP2016075581W WO2017043400A1 WO 2017043400 A1 WO2017043400 A1 WO 2017043400A1 JP 2016075581 W JP2016075581 W JP 2016075581W WO 2017043400 A1 WO2017043400 A1 WO 2017043400A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
listener
vibration
data
user
Prior art date
Application number
PCT/JP2016/075581
Other languages
English (en)
French (fr)
Inventor
佑輔 中川
諒 横山
顕博 小森
野崎　隆志
山野　郁男
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP16844261.4A priority Critical patent/EP3349096B1/en
Priority to US15/742,651 priority patent/US10331214B2/en
Priority to CN201680050120.XA priority patent/CN107924236B/zh
Priority to KR1020187001671A priority patent/KR102639118B1/ko
Priority to JP2017539139A priority patent/JP6834962B2/ja
Priority to JP2017538528A priority patent/JP6822408B2/ja
Priority to EP16844471.9A priority patent/EP3349097B1/en
Priority to US15/743,874 priority patent/US10353470B2/en
Priority to EP20166761.5A priority patent/EP3690613A1/en
Priority to PCT/JP2016/076531 priority patent/WO2017043610A1/ja
Priority to CN201680050699.XA priority patent/CN107949818B/zh
Publication of WO2017043400A1 publication Critical patent/WO2017043400A1/ja
Priority to US16/413,140 priority patent/US10838500B2/en
Priority to US16/419,463 priority patent/US10942573B2/en
Priority to US17/193,387 priority patent/US11314333B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00—Garments
    • A41D1/002—Garments adapted to accommodate electronic equipment
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00—Garments
    • A41D1/02—Jackets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/16—Use of textiles
    • A63F2250/166—Garments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Definitions

  • the present disclosure relates to an information processing apparatus, a method, and a computer program.
  • a controller used for a smartphone or a game is provided with a vibration device for giving tactile feedback to a user.
  • Patent Document 1 discloses an input device for inputting characters, and the input device disclosed in Patent Document 1 discloses that feedback by vibration corresponding to the user's operation is performed to the user. Has been.
  • a virtual space data generation unit that generates data related to a virtual space including a virtual object having attributes, a listener arrangement unit that arranges a listener that detects contact with the virtual object, and the listener are arranged Haptic data for operating a tactile device based on at least one of the attribute information of the virtual object or the attribute information of the other virtual object when the virtual object, the virtual object, and another virtual object contact each other
  • An information processing apparatus includes a tactile data generation unit that generates
  • generating data related to a virtual space including a virtual object having attributes, arranging a listener that detects contact with the virtual object, and arranging the listener on the virtual object
  • tactile data for operating the tactile device based on at least one of the attribute information of the virtual object or the attribute information of the other virtual object when the virtual object contacts another virtual object.
  • the processor generates data related to a virtual space including a virtual object having an attribute, arranges a listener that detects contact with the virtual object, arranges the listener on the virtual object, and A computer program for generating haptic data for operating a haptic device based on at least one of attribute information of the virtual object or attribute information of the other virtual object when the object and another virtual object come into contact with each other Is provided.
  • the user can obtain more realistic haptic feedback.
  • FIG. 1 is a diagram illustrating a system configuration of this embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration of a system according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a virtual object and a listener provided in the virtual object.
  • FIG. 4 is a diagram illustrating an event in which vibration feedback occurs in the embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating another example of an event in which vibration feedback occurs in the embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating an example of processing performed in the system according to the embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating another example of an event in which vibration feedback occurs in the embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a system configuration of this embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration of a system according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a virtual
  • FIG. 8 is a diagram illustrating a method of expressing the shape and texture of a virtual object by vibration.
  • FIG. 9 is a diagram illustrating a method of expressing the shape and texture of a virtual object by vibration.
  • FIG. 10 is a diagram illustrating a method of expressing the shape and texture of a virtual object by vibration.
  • FIG. 11 is a diagram illustrating a method of expressing the shape and texture of a virtual object by vibration.
  • FIG. 12 is a diagram illustrating a method of expressing the shape and texture of a virtual object by vibration.
  • FIG. 13 is a diagram illustrating an example of a wearable terminal including a plurality of vibration devices according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating an example of a virtual object in which a plurality of listeners are arranged according to the embodiment of the present disclosure.
  • FIG. 15 is a diagram illustrating a coupling element between a plurality of listeners according to the embodiment of the present disclosure.
  • FIG. 16 is a diagram illustrating an example of the relationship between the size of a virtual object that collides with a plurality of listeners.
  • FIG. 17 is a block diagram illustrating another example of the configuration of the system according to the embodiment of the present disclosure.
  • FIG. 18 is a diagram illustrating another example of a wearable terminal including a plurality of vibration devices according to an embodiment of the present disclosure.
  • FIG. 19 is a diagram illustrating a vibration data generation method according to an embodiment of the present disclosure.
  • FIG. 20 is a diagram illustrating a vibration data generation method according to an embodiment of the present disclosure.
  • FIG. 21 is a diagram illustrating a vibration data generation method according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a system configuration according to an embodiment of the present disclosure.
  • the system of this embodiment includes a game machine 100, a controller 200, and a display device 300.
  • the game machine 100 performs processing related to game software by reading game software or the like stored in a storage medium.
  • the game machine 100 generates virtual space data for playing a game, and the game machine 100 performs processing on the operation virtual object 400a operated by the user based on information from the controller 200.
  • the game machine 100 transmits video data regarding the generated virtual space of the game to the display device 300.
  • an operation virtual object 400a operated by the user and other spherical virtual objects 400b are arranged in the virtual space.
  • the game machine 100 will be described as an example of an information processing apparatus that generates data related to a virtual space.
  • the controller 200 is used by the user to operate the operation virtual object 400a.
  • the controller 200 is wirelessly connected to the game machine 100 and transmits information related to user operations to the game machine 100.
  • the display device 300 receives video data from the game machine 100 and displays a virtual space related to the game.
  • FIG. 2 is a block diagram showing the internal configuration of the system of this embodiment.
  • the internal configurations of the game machine 100 and the controller 200 will be described.
  • the game machine 100 includes a processing unit 102, a virtual space data generation unit 104, a listener arrangement unit 106, a physics engine 108, a haptic engine 110, and a communication unit 116.
  • the haptic engine 110 includes a vibration data generation unit 112 and an audio data generation unit 114.
  • the processing unit 102 is connected to each unit of the game machine 100, processes various information received from each unit, and delivers information to each unit.
  • the virtual space data generation unit 104 generates data related to the virtual space based on information such as game software.
  • the data related to the virtual space generated by the virtual space data generation unit 104 includes information related to the virtual object 400 arranged in the virtual space.
  • the listener arrangement unit 106 arranges a listener that detects contact with the operation virtual object 400a in the operation virtual object 400a operated by the user. A method for arranging the listener will be described later.
  • the physics engine 108 performs various operations in the virtual space. For example, the physics engine 108 performs contact determination in a virtual space, rigid body calculation, fluid calculation, and the like.
  • the parameters processed by the physics engine 108 include attribute information of the virtual object 400 such as the mass, rigidity, material, size, shape, position, and speed of the virtual object 400, for example. In other words, the parameters processed by the physics engine 108 may include information on the contact position when a plurality of virtual objects 400 are in contact and the relative speed when the virtual object 400 is in contact.
  • the tactile engine 110 includes a vibration data generation unit 112 that generates vibration data based on a calculation result of the physical engine 108, and an audio data generation unit 114 that generates audio data.
  • the vibration data generation unit 112 generates vibration data for vibrating the vibration device 208 of the controller 200 based on parameters processed by the physical engine 108.
  • the audio data generation unit 114 generates audio data based on parameters processed by the physical engine 108.
  • the vibration data generation unit 112 is an example of a tactile data generation unit.
  • the communication unit 116 is used to transmit / receive information to / from other devices such as the controller 200.
  • the communication unit 116 may be a short-range wireless communication interface such as Bluetooth (registered trademark).
  • the communication unit 116 is not limited to the interface described above, and may be a short-range wireless communication interface such as ZigBee (registered trademark).
  • the controller 200 of the present embodiment includes a processing unit 202, an acceleration sensor 204, a gyro sensor 206, a vibration device 208, and a communication unit 210.
  • the processing unit 202 processes information received from the game machine 100, and processes information from the acceleration sensor 204 and the gyro sensor 206 of the controller 200.
  • the processing unit 202 may be configured to process information acquired from the acceleration sensor 204 and the gyro sensor 206 to calculate a state such as acceleration or tilt of the controller 200.
  • the processing unit 202 may be configured to simply transmit information obtained from the acceleration sensor 204 and the gyro sensor 206 to the game machine 100, and the game machine 100 that has received the information determines the state of the controller 200. .
  • the acceleration sensor 204 detects the acceleration of the controller 200 based on the user's operation.
  • the gyro sensor 206 detects an angular velocity and an angular acceleration of the controller 200 based on a user operation.
  • the vibration device 208 vibrates based on vibration data generated by the game machine 100, thereby giving tactile feedback of vibration to the user.
  • the vibrating device is an example of a tactile device.
  • the vibration device 208 may be a device including a vibrator such as an eccentric motor in which a weight having a shape bias is attached to the rotation shaft of the motor.
  • the vibration device 208 may be a device including a vibrator such as a voice coil motor, a piezoelectric actuator, or an electromagnetic linear actuator. Since the voice coil motor can vibrate in a wide band and has a high response speed, it can perform a wider variety of tactile feedback than an eccentric motor. The voice coil motor can also generate audible sound.
  • the communication unit 210 is used for transmitting and receiving information to and from other devices such as the game machine 100.
  • FIG. 3 is a diagram conceptually illustrating the listener 500 of the present disclosure.
  • the listener 500 is arranged in the operation virtual object 400 a operated by the user.
  • the listener 500 detects contact with the operation virtual object 400a to be arranged.
  • the physics engine 108 recognizes this contact, and the vibration data generation unit 112 receives from the physics engine 108.
  • Vibration data is generated based on the information.
  • the vibration device 208 of the controller 200 vibrates when another virtual object 400 comes into contact with the listener 500, and the user can receive tactile feedback due to the other virtual object 400 coming into contact with the operation virtual object 400a. .
  • the operation virtual object 400a operated by the user is represented by a sphere, but the operation virtual object 400a may be a human shape or a rod shape.
  • the listener 500 is arranged in a part of the operation virtual object 400a. However, the listener 500 may be arranged in the entire operation virtual object 400a. The listener 500 may be arranged on the surface of the operation virtual object 400a, or may be arranged inside the operation virtual object 400a, and the arrangement method of the listener 500 is not particularly limited.
  • the listener 500 may detect not only a contact with the operation virtual object 400a but also a sound reaching the operation virtual object 400a.
  • the listener 500 may detect a sound generated when another virtual object 400 comes into contact with the operation virtual object 400a.
  • FIG. 4 shows a state in which the operation virtual object 400a is operated by the user operating the controller 200.
  • the controller 200 and two operation virtual objects 400a corresponding to the controller 200 are present, and an event occurs in which a spherical virtual object 400b collides with one operation virtual object 400a.
  • the controller 200 corresponding to the operation virtual object 400a with which the spherical virtual object 400b collides vibrates.
  • the controller 200 corresponding to the operation virtual object 400a with which the spherical virtual object 400b does not collide does not vibrate.
  • each virtual object 400 is associated with an attribute corresponding to the virtual object 400, and each virtual object 400 has vibration data corresponding to the attribute. Then, the vibration data generation unit 112 may generate vibration data based on the vibration data that each virtual object 400 has.
  • the attributes of the virtual object 400 may include the mass, rigidity, material, size, shape, and the like of the virtual object 400.
  • vibration data is generated based on the attributes of the other virtual object 400b that has contacted the operation virtual object 400a.
  • the greater the mass of the other virtual object 400b colliding with the operation virtual object 400a the greater the vibration fed back to the user.
  • the higher the rigidity of the other virtual object 400 that has collided with the operation virtual object 400a the shorter the time during which the controller 200 vibrates.
  • vibration that leaves a long reverberation may be fed back to the user.
  • the vibration fed back to the user may change according to the relative speed or the contact position when the operation virtual object 400a collides with another virtual object 400. For example, when the relative speed when the operation virtual object 400a collides with another virtual object 400 is large, a large vibration may be fed back to the user. Further, when the corner of another virtual object 400 collides with the operation virtual object 400a, a small and short vibration may be fed back to the user.
  • FIG. 5 is a diagram illustrating a state in which the virtual object 400c of the cubic tree comes into contact with the operation virtual object 400a. Therefore, the user can obtain tactile feedback in contact with the tree.
  • the virtual object 400c of the tree has an attribute that the mass of the virtual object 400c is smaller than that of the virtual object 400 having the metal attribute
  • the user is compared with the case where the virtual object 400 having the metal attribute touches You may receive feedback from small vibrations.
  • the user receives feedback by vibration that is smaller and shorter than when the surface of the virtual object 400c of the tree collides with the operation virtual object 400a. Also good.
  • the controller 200 may vibrate so that there is reverberation. Further, when the virtual object 400 in contact has the rubber attribute, the controller 200 may vibrate so that there is no reverberation.
  • the controller 200 may first vibrate with a sharp and large vibration, and then vibrate so that a vibration smaller than the first vibration continues for a while. Further, when the virtual object 400 to be contacted has the rubber attribute, the controller 200 may vibrate with a dull and large vibration first, and may not vibrate thereafter.
  • the virtual presence that the user can obtain is improved by the vibration of the controller 200 based on the attribute information of the virtual object 400 in contact with the operation virtual object 400a. Further, since the virtual object 400 has vibration data corresponding to the attribute information, vibration data is generated in real time. That is, by generating vibration data in real time, feedback by vibration to the user is performed without delay after contact occurs in the virtual space. Also, vibration data can be easily assigned to each virtual object 400 by mapping the vibration data to each virtual object 400.
  • vibration data is generated based on the attribute of the virtual object 400 that contacts the operation virtual object 400a.
  • the vibration data may be generated according to the attribute of the operation virtual object 400a.
  • the vibration data may be generated based on the attribute of the operation virtual object 400a and the attribute of the virtual object 400 in contact with the operation virtual object 400a. This further improves the virtual presence that the user can obtain.
  • the configuration of vibration feedback may be divided into a plurality.
  • the vibration feedback may be divided into two phases of “at the time of collision” and “reverberation”.
  • the controller 200 vibrates according to the attribute of the operation virtual object 400a
  • the controller 200 vibrates based on the attribute of the virtual object 400 in contact with the operation virtual object 400a.
  • a mode for selecting whether the controller 200 vibrates based on the attribute of the virtual object 400 on the collision side or the collision side may be provided, and the user may be able to select this mode.
  • the listener 500 may detect a sound together with the contact of the virtual object 400.
  • the controller 200 in which the spherical virtual object 400b is not in contact with the operation virtual object 400a does not vibrate.
  • the listener 500 of the operation virtual object 400a that is not in contact with the spherical virtual object 400b may detect the sound generated by the collision, and the collision sound may be output from the speaker or the vibration device 208 provided in the controller 200. .
  • FIG. 6 is a flowchart showing processing performed by each component of the game machine 100.
  • the haptic engine 110 recognizes the attribute of the operation virtual object 400a operated by the user.
  • the physics engine 108 detects contact with the listener 500. That is, the physics engine 108 detects that another virtual object 400 has collided with the operation virtual object 400a.
  • the processing unit 102 determines whether or not the detection mode in which the listener 500 detects contact is a mode in which vibration is fed back based on an attribute of the operation virtual object 400a. If the processing unit 102 determines in S104 that the detection mode in which the listener 500 detects contact is a mode in which vibration is fed back based on the attribute of the operation virtual object 400a, the process proceeds to S106.
  • the haptic engine 110 acquires vibration data associated with the operation virtual object 400a.
  • the physics engine 108 calculates a relative speed, a contact position, and the like when the operation virtual object 400a collides with another virtual object 400.
  • the processing unit 102 sends information related to the relative speed and contact position calculated by the physical engine 108 and information related to the mode determined in S104 to the haptic engine 110, and the vibration data generation unit 112 of the haptic engine 110 acquires the information. Vibration data to be output is generated based on the information.
  • the vibration data generation unit 112 generates vibration data to be output based on vibration data based on the attributes of the operation virtual object 400a and information such as relative speed and contact position calculated by the physical engine 108.
  • the processing unit 102 determines that the detection mode in which the listener 500 detects contact is not a mode in which vibration is fed back based on the attribute of the operation virtual object 400a
  • the process proceeds to S108.
  • the haptic engine 110 acquires vibration data associated with the virtual object 400 that is not operated by the user, that is, the virtual object 400 that collides with the operation virtual object 400a.
  • the physical engine 108 calculates the relative speed, the contact position, etc. in S110.
  • the vibration data generation unit 112 of the haptic engine 110 is based on the vibration data based on the attribute of the virtual object 400 colliding with the operation virtual object 400a and the information such as the relative speed and the contact position calculated by the physical engine 108. Generate vibration data to output.
  • the vibration data generation unit 112 has information such as the attribute of the operation virtual object 400a, the attribute of the virtual object 400 that collides with the operation virtual object 400a, the relative speed calculated by the physics engine 108, and the contact position. Vibration data to be output may be generated based on the above.
  • FIG. 7 is a diagram illustrating an example in which feedback by vibration is performed based on the shock wave 802 generated by the shock wave generation source 800 located at a position away from the operation virtual object 400a.
  • the shock wave generation source 800 may be an explosion, for example, and the propagation of the shock wave 802 may be simulated in the virtual space by the physics engine 108.
  • the shock wave 802 generated by the explosion generated in the virtual space reaches the listener 500 arranged in the operation virtual object 400a, and feedback by vibration is performed.
  • feedback by vibration may be performed according to the property of the medium between the operation virtual object 400a and the shock wave source 800.
  • the strength of vibration may be different between feedback by vibration when the medium is air and feedback by vibration when the medium is water.
  • the vibration when the medium is water may be weaker than the vibration when the medium is air. This is because the propagation characteristics of the simulated shock wave 802 vary depending on the medium.
  • the vibration data may be generated simply according to the distance between the shock wave generation source 800 and the operation virtual object 400a, regardless of the propagation of the shock wave 802 simulated in the virtual space. Thereby, the feedback by vibration is also performed by the physical engine 108 having a simpler configuration.
  • FIGS. 8 to 11 are diagrams showing how the operation virtual object 400a passes over the semicircular virtual object 400d.
  • the semicircular virtual object 400d has a surface with little friction (having a smooth touch).
  • vibration feedback with a short vibration time is performed.
  • FIG. 10 while the operation virtual object 400a is moving on the surface of the semicircular virtual object 400d, feedback by vibration is not performed.
  • FIG. 11 when the operation virtual object 400a descends to the other end of the semicircular virtual object 400d, vibration feedback with a short vibration time is performed again.
  • the change in the shape of the surface is caused by the user being presented with a vibration with a short vibration time at the timing when the shape of the surface in contact with the operation virtual object 400a changes (the state in FIGS. 9 and 11).
  • the user can feel this.
  • the operation virtual object 400a is moving on a surface with little friction (the state in FIG. 10)
  • the user can feel a smooth tactile sensation because no vibration is presented.
  • the operation virtual object 400a moves along the surface of the semicircular virtual object 400d, the user can also feel the swelled shape of the semicircular virtual object 400d visually.
  • FIG. 12 is a diagram illustrating a state in which a part 400e of the semicircular virtual object has a surface with high friction.
  • the vibration may be changed according to the speed at which the user operates the operation virtual object 400a. For example, in the example of FIG. 12, the time interval at which the controller 200 vibrates may become shorter as the speed at which the user operates the operation virtual object 400a becomes faster.
  • the vibration provided to the user changes, so the user can feel that the texture has changed from the change in vibration.
  • Wearable terminal having a plurality of vibration devices In the above, an example in which feedback by vibration is performed by a device held by a user such as the controller 200 has been described. In the following, a jacket type wearable terminal having a plurality of vibration devices 208 will be described.
  • FIG. 13 is a diagram showing an example of the appearance of a jacket-type wearable terminal 700.
  • the jacket-type wearable terminal 700 includes a plurality of vibration devices 208a to 208f. Further, the plurality of vibration devices 208a to 208f may be arranged symmetrically as shown in FIG.
  • FIG. 14 is a diagram showing that the listeners 500a to 500f are arranged in the operation virtual object 400a so as to correspond to the jacket-type wearable terminal 700.
  • Each of the listeners 500a to 500f corresponds to each of the vibration devices 208a to 208f of the jacket-type wearable terminal 700.
  • the vibration device 208 corresponding to the contacted listener 500 vibrates.
  • the vibration device 208a vibrates to provide feedback to the user by vibration.
  • FIG. 15 is a diagram showing such a coupling relationship between a plurality of listeners 500.
  • a dotted line represented in FIG. 15 is a coupling element 502 representing a coupling relationship between the plurality of listeners 500.
  • the coupling element 502 may be a spring element, a damper element, or a time delay element. That is, the coupling element 502 is an element relating to the propagation characteristics of the impact, and may be an element relating to the propagation speed or the attenuation of the propagation.
  • the vibration due to the contact generated in one listener 500 is propagated to the peripheral listener 500 by simulating the propagation of the vibration according to the coupling element 502. For example, when another virtual object 400 contacts the listener 500a, vibration may be transmitted to the listeners 500b, 500d, and 500e.
  • the coupling element 502 is a time delay element
  • the surrounding listener 500 vibrates at a timing later than the listener 500 where the collision occurred. For example, when another virtual object 400 comes into contact with the listener 500a, the vibration may be transmitted to the listeners 500b, 500d, and 500e first, and the vibration may be transmitted to the listeners 500c and 500f with a slight delay. Thereby, the user can feel the expansion of vibration.
  • the coupling element 502 is a spring element, the user can feel a tactile sensation as if an object having a repulsive force (for example, an object such as a ball having a gas inside) has collided.
  • the coupling element 502 is a damper element, the user can feel a tactile sensation as if he / she is wearing clothes that absorb the impact.
  • the feedback by vibration is performed based on the coupling relationship between the plurality of listeners 500, so that the user can feel feedback by various vibrations.
  • the number of listeners 500 that detect a collision may change according to the size of the virtual object 400 that collides.
  • FIG. 16 is a diagram illustrating the relationship between the size of the virtual object 400 that collides and the listener 500 that detects the collision.
  • a virtual object 400f when a virtual object 400f whose diameter is smaller than one of the width or height of the listener 500 collides with the listener 500, one listener 500 may detect the collision.
  • a virtual object 400g whose diameter is larger than one of the width or height of the listener 500 and smaller than two collides with the listener 500, a total of four listeners 500, two vertically and two horizontally, detect the collision. Also good.
  • a virtual object 400h whose diameter is larger than two widths or heights of the listener 500 and smaller than three, collides with the listener 500, a total of six listeners 500 in the three vertical and two horizontal directions detect the collision. Also good.
  • the number of listeners 500 that detect a collision may change according to the mass or velocity of the virtual object 400 that collides, or the magnitude of the kinetic energy of the virtual object 400 obtained from the mass and velocity.
  • the intensity of vibration provided may change. That is, the greater the mass, velocity, or kinetic energy of the virtual object 400 that collides, the greater the number of listeners 500 that detect the collision, and the greater the intensity of vibration.
  • the number of listeners 500 that detect the collision and the intensity of vibration may change based on the attribute of the operation virtual object 400a in which the listener 500 is arranged. For example, when the operation virtual object 400a in which a plurality of listeners 500 are arranged has an attribute that absorbs an impact such as rubber, the number of listeners 500 that detect a collision may be reduced. At this time, the magnitude of the vibration fed back to the user by the collision may be reduced.
  • Detection mode in which listener detects contact In the above, an example in which a plurality of listeners 500 for a plurality of vibration devices 208 are arranged in the operation virtual object 400a has been described. Hereinafter, a range in which the listener 500 detects contact is described. As described above, the listener 500 arranged in the operation virtual object 400a detects contact with another virtual object 400. However, it is conceivable that the frequency at which feedback is desired depends on the user.
  • a plurality of modes having different ranges in which the listener 500 detects contact is provided.
  • the plurality of modes are “a mode in which the listener 500 does not detect vibration at all”, “a mode in which the listener 500 detects vibration when the virtual object 400 contacts the listener 500”, and “a listener 500 detects all vibrations”.
  • Mode “.
  • the difference between the “mode in which the listener 500 detects vibration when the virtual object 400 contacts the listener 500” and the “mode in which the listener 500 detects all vibrations” is, for example, the shock wave generation source 800 described above. It may be whether or not the shock wave 802 is detected, or whether or not vibration due to contact with the virtual object 400 having a specific attribute is detected.
  • the listener 500 also detects sound. Accordingly, a plurality of modes having different ranges in which the listener 500 detects sound may be provided.
  • the plurality of sound modes include “a mode in which the listener 500 does not detect any sound”, “a mode in which the listener 500 detects a certain range of sound”, and “a mode in which the listener 500 detects all sounds”. .
  • the user can select a mode that suits his / her preference.
  • the operation virtual object 400a operated by the user may come into contact with another virtual object 400 where the user does not intend.
  • contact with the virtual object 400 such as grass or stone may occur at the foot of the humanoid operation virtual object 400a.
  • the listener 500 detects all contacts and feedback by vibration is performed on the user.
  • a mode in which the listener 500 detects vibration and sound based on information from the line-of-sight detection device may be set.
  • FIG. 17 is a diagram illustrating a configuration of a system including the line-of-sight detection device 600.
  • the system of the present embodiment includes a line-of-sight detection device 600 that detects a user's line of sight, and the line-of-sight detection device 600 includes a line-of-sight detection unit 602 and a communication unit 604 for wirelessly connecting to the game machine 100.
  • the line-of-sight detection device 600 may be, for example, a device (for example, a device such as headgear) worn on the user's head.
  • the line-of-sight detection unit 602 may include an imaging unit, and the user's line of sight may be detected based on an image captured by the imaging unit.
  • the line-of-sight detection unit 602 may be a gyro sensor and / or an acceleration sensor, and may detect the user's line of sight based on the angular velocity, angular acceleration, and acceleration detected by the sensor.
  • the listener 500 makes contact between the virtual object 400 in the user's field of view in the virtual space based on information from the line-of-sight detection device 600 and the operation virtual object 400a. May be detected. At this time, the listener 500 may not detect contact between the virtual object 400 that is not in the user's field of view in the virtual space and the operation virtual object 400a.
  • the line-of-sight detection device 600 is used to detect the visual field of the user in the virtual space.
  • the range drawn in the display may be the range of the visual field of the user.
  • FIG. 18 is a diagram illustrating an appearance of a jacket-type wearable terminal 700 including the speaker 212. As understood from FIG. 18, the speaker 212 is arranged at a position close to the user's ear.
  • the direction of the sound source is expressed by the sound output from the speaker 212. Since the distance from the sound source is mainly perceived by the loudness of the sound, the virtual object 400 is contacted in the virtual space by changing the loudness of the sound output from the vibration device 208 such as a voice coil motor. Can be expressed.
  • the control may be performed so that the volume of the vibration device 208 at a farther position is output in inverse proportion to the square of the distance from the user's ear to the vibration device 208.
  • the speaker 212 or another vibration device 208 may be controlled so as to cancel the vibration sound of the vibration device 208.
  • the speaker 212 since the relative position of the speaker 212 with respect to the user's ear is fixed in the jacket-type wearable terminal 700, the speaker 212 is controlled based on the waveform input to the vibration device 208 without using a microphone. The vibration sound of the vibration device 208 can be canceled out.
  • a microphone is arranged near the speaker 212, a sound that is assumed to reach the user's ear is detected by the microphone, and a sound with an antiphase is reproduced in real time, so that the vibration sound of the vibration device 208 can be accurately reproduced. It can be canceled and surrounding sounds can also be canceled.
  • the left diagram in FIG. 19 shows a waveform when acceleration data is sampled by an acceleration sensor when a real object (for example, a surface having a large friction coefficient) is traced.
  • a real object for example, a surface having a large friction coefficient
  • the right figure of FIG. 19 is a graph showing the frequency component of the sampled waveform (left figure of FIG. 19).
  • FIG. 20 is a graph showing pink noise waveforms and frequency components.
  • the left diagram of FIG. 21 shows a waveform when the equalizer is applied to the pink noise of FIG. 20 using the frequency characteristics shown in the right diagram of FIG.
  • the vibration data used in the system of the present embodiment is generated by applying an equalizer to pink noise based on the waveform obtained from the entity. Then, “the pink noise with the equalizer” is reproduced according to the speed of the operation virtual object 400a. As a result, “continuous tactile expression” and “object-specific tactile expression” are compatible.
  • vibration data is described as an example of tactile data.
  • tactile data is not limited to vibration data.
  • the tactile data may be tactile data related to electrical stimulation, or may be tactile data related to heat.
  • the listener 500 may detect heat or electrical stimulation.
  • haptic data related to heat or electrical stimulation may be generated based on the attributes of the virtual object 400 as with the vibration data described above.
  • the metal has high thermal conductivity, and thus tactile data may be generated so that heat is transmitted rapidly.
  • the operation virtual object 400a has a tree attribute
  • the tree has lower thermal conductivity than metal, so heat is transmitted more gently than when the heat source is shaken to the virtual object 400 having the metal attribute.
  • haptic data may be generated.
  • the operation virtual object 400a has a metal attribute
  • the metal has high electrical conductivity, and thus tactile data may be generated so that a strong electrical stimulus is fed back to the user.
  • the operation virtual object 400a has a tree attribute, the tree has lower electrical conductivity than metal, and thus tactile data need not be generated.
  • the embodiment has been described in which the listener 500 detects the shock wave 802 from the shock wave generation source 800 located at a position away from the operation virtual object 400a.
  • the jacket-type wearable terminal 700 vibrates, while the controller 200 held by the user may not vibrate. That is, haptic feedback may differ depending on the configuration (or type) of the device.
  • physics engine 108 and the haptic engine 110 described above may be realized using a general-purpose processor.
  • a computer program for operating the processor as described above may be provided.
  • a storage medium storing such a program may be provided.
  • vibration data is generated according to the attribute information associated with the virtual object 400. Further, in the system according to the present disclosure, vibration data is generated based on a relative speed or a contact position when the operation virtual object 400a in which the listener 500 is disposed and another virtual object 400 contact each other. As a result, the user can receive feedback due to the presence of vibration.
  • vibration data is generated based on attribute information associated with another virtual object 400 that is in contact with the operation virtual object 400a in which the listener 500 is arranged.
  • a user is playing a game or the like, he or she desires feedback based on the sense of touch of the virtual object 400 that touches the manipulation virtual object 400a instead of the sense of touch of the manipulation virtual object 400a operated by the user. Therefore, with the above-described configuration, the user can receive more realistic feedback.
  • the vibration data is generated in real time by the virtual object 400 having the vibration data corresponding to the attribute information. Also, vibration data can be easily assigned to each virtual object 400 by mapping the vibration data to each virtual object 400.
  • feedback by vibration is performed based on the coupling relationship between the plurality of listeners 500, so that the user can feel feedback by various vibrations.
  • a virtual space data generation unit for generating data related to a virtual space including a virtual object having attributes;
  • a listener placement unit for placing a listener for detecting contact with the virtual object;
  • An information processing apparatus comprising: a data generation unit.
  • the tactile data is data relating to vibration.
  • the virtual space data generation unit forms the virtual object so as to associate an attribute with the virtual object.
  • the attribute information of the virtual object includes at least one of mass, rigidity, material, size, shape, position, and speed of the virtual object.
  • the haptic data generation unit generates the haptic data based on the attribute of the virtual object operated by the user.
  • the haptic data generation unit generates the haptic data based on the attribute of the other virtual object different from the virtual object operated by the user.
  • the haptic data generation unit generates the haptic data based on both the attribute of the virtual object operated by the user and the attribute of the other virtual object different from the virtual object operated by the user.
  • the haptic data generation unit further generates the haptic data according to a relative speed or a contact position between the virtual object in which the listener is arranged and another virtual object.
  • the information processing apparatus according to claim 1. Any one of (1) to (9), wherein the haptic data generation unit generates the haptic data based on an impact generation source existing at a position away from the virtual object where the listener is arranged.
  • the information processing apparatus (11) The information processing apparatus according to (10), wherein the haptic data generation unit generates the haptic data based on a medium between the virtual object in which the listener is arranged and the impact generation source. (12) The listener arrangement unit arranges a plurality of the listeners in the virtual object, The haptic data generation unit is configured to determine a plurality of the listeners based on the haptic data corresponding to the haptic device corresponding to at least one of the plurality of listeners and a coupling relationship between the plurality of listeners.
  • the information processing apparatus according to any one of (1) to (11), wherein the haptic data for the haptic device corresponding to another listener is generated.
  • the tactile data generation unit is the information processing apparatus according to any one of (1) to (14), wherein the tactile data generation unit generates the tactile data based on information from a gaze detection unit that detects a user's gaze.
  • the haptic data generation unit generates the haptic data based on contact between the virtual object in the visual field of the user in the virtual space and the virtual object operated by the user. Information processing device.
  • the information processing apparatus according to any one of (1) to (16), wherein the tactile data is data related to electrical stimulation or heat.

Abstract

【課題】ユーザがより臨場感ある触覚フィードバックを得ることができる。 【解決手段】属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成する仮想空間データ生成部と、前記仮想オブジェクトに対する接触を検知するリスナーを配置するリスナー配置部と、前記リスナーが配置された仮想オブジェクトと、前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成する触覚データ生成部と、を備える情報処理装置。

Description

情報処理装置、方法およびコンピュータプログラム
　本開示は、情報処理装置、方法およびコンピュータプログラムに関する。
　スマートフォンまたはゲームに用いられるコントローラには、ユーザに触覚フィードバックを与えるための振動デバイスが備えられている。
　特許文献１には、文字入力を行うための入力装置が開示されており、特許文献１に開示されている入力装置は、ユーザの操作に対応する振動によるフィードバックをユーザに対して行うことが開示されている。
特開２０１１－５９８２１号公報
　特許文献１に開示されているような入力装置では、単調な振動によるフィードバックがユーザに与えられるため、ユーザは臨場感のある触覚フィードバックを受けることができない。そこで本開示では、ユーザがより臨場感ある触覚フィードバックを得るための情報処理装置、方法およびコンピュータプログラムが提案される。
　本開示によれば、属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成する仮想空間データ生成部と、前記仮想オブジェクトに対する接触を検知するリスナーを配置するリスナー配置部と、前記リスナーが配置された仮想オブジェクトと、前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成する触覚データ生成部と、を備える情報処理装置が提供される。
　また、本開示によれば、属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成することと、前記仮想オブジェクトに対する接触を検知するリスナーを配置することと、前記リスナーが前記仮想オブジェクトに配置されることと、前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成することと、を含む、方法が提供される。
　また、本開示によれば、プロセッサに属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成させ、前記仮想オブジェクトに対する接触を検知するリスナーを配置させ、前記リスナーを前記仮想オブジェクトに配置させ、前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成させる、コンピュータプログラムが提供される。
　以上説明したように本開示によれば、ユーザはより臨場感ある触覚フィードバックを得ることができる。
　なお、上記の効果は必ずしも限定されず、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
図１は、本開示の本実施形態のシステム構成を示す図である。 図２は、本開示の実施形態のシステムの構成を示すブロック図である。 図３は、仮想オブジェクトおよび仮想オブジェクトに備えられるリスナーを示す図である。 図４は、本開示の実施形態において振動のフィードバックが発生するイベントを表す図である。 図５は、本開示の実施形態において振動のフィードバックが発生するイベントの他の例を表す図である。 図６は、本開示の実施形態のシステムで行われる処理の例を示すフロー図である。 図７は、本開示の実施形態において振動のフィードバックが発生するイベントの他の例を表す図である。 図８は、振動によって仮想オブジェクトの形状および質感が表現される方法を示す図である。 図９は、振動によって仮想オブジェクトの形状および質感が表現される方法を示す図である。 図１０は、振動によって仮想オブジェクトの形状および質感が表現される方法を示す図である。 図１１は、振動によって仮想オブジェクトの形状および質感が表現される方法を示す図である。 図１２は、振動によって仮想オブジェクトの形状および質感が表現される方法を示す図である。 図１３は、本開示の実施形態における振動デバイスを複数備えたウェアラブル端末の例を示す図である。 図１４は、本開示の実施形態における複数のリスナーが配置された仮想オブジェクトの例を示す図である。 図１５は、本開示の実施形態における複数のリスナー間の結合要素を示す図である。 図１６は、複数のリスナーと衝突する仮想オブジェクトの大きさとの関係の例を示す図である。 図１７は、本開示の実施形態のシステムの構成の他の例を示すブロック図である。 図１８は、本開示の実施形態における振動デバイスを複数備えたウェアラブル端末の他の例を示す図である。 図１９は、本開示の実施形態における振動データの生成方法を示す図である。 図２０は、本開示の実施形態における振動データの生成方法を示す図である。 図２１は、本開示の実施形態における振動データの生成方法を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行う。
　１．本実施形態のシステムの構成
　２．仮想オブジェクトとの接触を検知するリスナー
　３．ユーザに対する振動のフィードバック
　４．本実施形態のシステムにおける処理
　５．操作仮想オブジェクトに対する接触以外によって発生するフィードバック
　６．仮想オブジェクトの形状および材質に基づく振動によるフィードバック
　７．複数の振動デバイスを有するウェアラブル端末
　８．リスナーが接触を検知するモード
　９．スピーカを備えるウェアラブル端末
　１０．振動データの生成方法
　１１．補足
　１２．むすび
　＜１．本実施形態のシステムの構成＞
　図１は、本開示の実施形態におけるシステムの構成を示す図である。本実施形態のシステムは、ゲーム機１００と、コントローラ２００と、表示装置３００から構成される。ゲーム機１００は、記憶媒体に記憶されたゲームソフトなどを読み込むことによってゲームソフトに関する処理を行う。例えばゲーム機１００は、ゲームを行う仮想空間のデータを生成し、またゲーム機１００はコントローラ２００からの情報に基づいてユーザが操作する操作仮想オブジェクト４００ａに対する処理を行う。
　また、ゲーム機１００は、生成したゲームの仮想空間に関する映像データを表示装置３００に送信する。なお図１に示される例では、仮想空間にはユーザが操作する操作仮想オブジェクト４００ａと、その他の球状の仮想オブジェクト４００ｂとが配置される。なお以下では、仮想空間に関するデータを生成する情報処理装置の一例としてゲーム機１００が説明される。
　コントローラ２００は、ユーザが操作仮想オブジェクト４００ａを操作するために用いられる。コントローラ２００は、ゲーム機１００と無線で接続されており、ゲーム機１００にユーザの操作に関する情報を送信する。表示装置３００は、ゲーム機１００から映像データを受信し、ゲームに関する仮想空間を表示する。
　以上では、本実施形態のシステムの概要について説明された。以下では、本実施形態のシステムの内部構成が説明される。図２は、本実施形態のシステムの内部構成を示すブロック図である。なお図２では、ゲーム機１００とコントローラ２００の内部構成について説明される。
　本実施形態のゲーム機１００は、処理部１０２と、仮想空間データ生成部１０４と、リスナー配置部１０６と、物理エンジン１０８と、触覚エンジン１１０と、通信部１１６と、を備える。また、触覚エンジン１１０は、振動データ生成部１１２と、音声データ生成部１１４と、を有する。処理部１０２は、ゲーム機１００の各部と接続され、各部から受け取る様々な情報を処理し、また各部への情報の受け渡しを行う。仮想空間データ生成部１０４は、ゲームソフトなどの情報に基づいて仮想空間に関するデータを生成する。仮想空間データ生成部１０４が生成する仮想空間に関するデータには、仮想空間内に配置される仮想オブジェクト４００に関する情報が含まれる。
　リスナー配置部１０６は、ユーザが操作する操作仮想オブジェクト４００ａに、操作仮想オブジェクト４００ａに対する接触を検知するリスナーを配置する。リスナーの配置方法については後述される。物理エンジン１０８は、仮想空間における様々な演算を行う。例えば物理エンジン１０８は、仮想空間における接触判定、剛体演算および流体演算等を行う。また物理エンジン１０８が処理するパラメータは、例えば仮想オブジェクト４００の質量、剛性、材質、大きさ、形状、位置、速度などの仮想オブジェクト４００の属性情報を含む。つまり物理エンジン１０８が処理するパラメータには、複数の仮想オブジェクト４００が接触するときの接触位置に関する情報および仮想オブジェクト４００が接触するときの相対速度が含まれてもよい。
　触覚エンジン１１０は、物理エンジン１０８の演算結果に基づいて振動データを生成する振動データ生成部１１２と、音声データを生成する音声データ生成部１１４から構成される。振動データ生成部１１２は、物理エンジン１０８が処理するパラメータに基づいてコントローラ２００の振動デバイス２０８を振動させるための振動データを生成する。音声データ生成部１１４は、物理エンジン１０８が処理するパラメータに基づいて音声データを生成する。なお、振動データ生成部１１２は、触覚データ生成部の一例である。
　通信部１１６は、コントローラ２００などの他の装置と情報を送受信するために用いられる。通信部１１６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信インタフェースであってもよい。また、通信部１１６は上述したインタフェースに限られず、ＺｉｇＢｅｅ（登録商標）などの近距離無線通信インタフェースであってもよい。
　以上では、ゲーム機１００の構成について説明された。以下ではコントローラ２００の構成について説明される。本実施形態のコントローラ２００は、処理部２０２と、加速度センサ２０４と、ジャイロセンサ２０６と、振動デバイス２０８と、通信部２１０と、を備える。
　処理部２０２は、ゲーム機１００から受信した情報を処理し、またコントローラ２００が有する加速度センサ２０４およびジャイロセンサ２０６からの情報を処理する。処理部２０２は、例えば、加速度センサ２０４およびジャイロセンサ２０６から取得した情報を処理してコントローラ２００の加速度または傾きなどの状態を算出するように構成されてもよい。また、処理部２０２は、加速度センサ２０４およびジャイロセンサ２０６から得られた情報を単にゲーム機１００に送信し、情報を受け取ったゲーム機１００がコントローラ２００の状態を判定するように構成されてもよい。
　加速度センサ２０４は、ユーザの操作に基づくコントローラ２００の加速度を検知する。またジャイロセンサ２０６はユーザの操作に基づくコントローラ２００の角速度および角加速度を検知する。振動デバイス２０８は、ゲーム機１００が生成した振動データに基づいて振動することによって、ユーザに振動の触覚フィードバックを行う。なお、振動デバイスは触覚デバイスの一例である。
　振動デバイス２０８は、形状に偏りのある錘がモータの回転軸に取り付けられた偏心モータのような振動子を備えたデバイスであってもよい。また振動デバイス２０８は、ボイスコイルモータ、ピエゾアクチュエータまたは電磁リニアアクチュエータのような振動子を備えたデバイスであってもよい。ボイスコイルモータは、広帯域に振動でき、また応答速度が速いので、偏心モータよりも多彩な触覚フィードバックを行うことができる。なお、ボイスコイルモータは、可聴域の音を発生することもできる。また通信部２１０は、ゲーム機１００などの他の装置と情報を送受信するために用いられる。
　＜２．仮想オブジェクトとの接触を検知するリスナー＞
　以上では、本実施形態におけるゲーム機１００およびコントローラ２００の構成について説明された。以下では、本実施形態においてユーザが操作する操作仮想オブジェクト４００ａに配置されるリスナーについて説明される。
　図３は、本開示のリスナー５００を概念的に表した図である。図３に示されるようにリスナー５００は、ユーザが操作する操作仮想オブジェクト４００ａに配置される。リスナー５００は、配置される操作仮想オブジェクト４００ａに対する接触を検知し、リスナー５００に他の仮想オブジェクト４００が接触すると、物理エンジン１０８はこの接触を認識し、振動データ生成部１１２は物理エンジン１０８からの情報に基づいて振動データを生成する。つまり、リスナー５００に他の仮想オブジェクト４００が接触することによってコントローラ２００の振動デバイス２０８が振動し、ユーザは操作仮想オブジェクト４００ａに他の仮想オブジェクト４００が接触したことによる触覚のフィードバックを受けることができる。
　なお、図３ではユーザが操作する操作仮想オブジェクト４００ａは球体で表されているが、操作仮想オブジェクト４００ａは人型であってもよく、棒状であってもよい。また図３ではリスナー５００は、操作仮想オブジェクト４００ａの一部に配置されているが、リスナー５００は操作仮想オブジェクト４００ａの全体に配置されてもよい。また、リスナー５００は、操作仮想オブジェクト４００ａの表面に配置されてもよく、また操作仮想オブジェクト４００ａの内部に配置されてもよく、リスナー５００の配置方法は特に限定されない。
　また、リスナー５００は操作仮想オブジェクト４００ａに対する接触を検知するだけでなく、操作仮想オブジェクト４００ａに届く音を検知してもよい。なお、リスナー５００は、操作仮想オブジェクト４００ａに他の仮想オブジェクト４００が接触したことによって生じる音を検知してもよい。
　＜３．ユーザに対する振動のフィードバック＞
　以上では、操作仮想オブジェクト４００ａに対する接触を検知するリスナー５００について説明された。以下では、本実施形態のシステムにおいてユーザに振動によるフィードバックが行われる例が説明される。図４では、ユーザがコントローラ２００を操作することによって、操作仮想オブジェクト４００ａが操作される様子が示されている。
　図４ではコントーラ２００およびコントローラ２００に対応する操作仮想オブジェクト４００ａは２つあり、一方の操作仮想オブジェクト４００ａに対して球状の仮想オブジェクト４００ｂが衝突するというイベントが発生している。このとき図４に示されるように、球状の仮想オブジェクト４００ｂが衝突した操作仮想オブジェクト４００ａに対応するコントローラ２００は振動する。一方、球状の仮想オブジェクト４００ｂが衝突していない操作仮想オブジェクト４００ａに対応するコントローラ２００は振動しない。
　本実施形態のシステムでは、それぞれの仮想オブジェクト４００はその仮想オブジェクト４００に対応する属性が関連付けられており、それぞれの仮想オブジェクト４００はその属性に応じた振動データを有している。そして振動データ生成部１１２は、それぞれの仮想オブジェクト４００が有する振動データに基づいて振動データを生成してもよい。なお上述したように仮想オブジェクト４００の属性は、仮想オブジェクト４００の質量、剛性、材質、大きさ、形状などを含んでもよい。
　ユーザはゲームなどを行っているとき、ユーザが操作する操作仮想オブジェクト４００ａの触覚ではなく、操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００の属性に基づくフィードバックを望むことがある。よって本実施形態のシステムでは、操作仮想オブジェクト４００ａに接触した他の仮想オブジェクト４００ｂが有する属性に基づいて振動データが生成される。
　よって例えば、操作仮想オブジェクト４００ａと衝突した他の仮想オブジェクト４００ｂの質量が大きければ大きかったほど、ユーザにフィードバックされる振動は大きくなってもよい。また、操作仮想オブジェクト４００ａと衝突した他の仮想オブジェクト４００の剛性が高かければ高いほど、コントローラ２００が振動する時間が短くなってもよい。また、操作仮想オブジェクト４００ａと衝突した他の仮想オブジェクト４００の剛性が低かったとき、長い余韻が残るような振動がユーザにフィードバックされてもよい。
　また、操作仮想オブジェクト４００ａと他の仮想オブジェクト４００が衝突したときの相対速度または接触位置に応じてユーザにフィードバックされる振動が変わってもよい。例えば、操作仮想オブジェクト４００ａと他の仮想オブジェクト４００が衝突したときの相対速度が大きかったとき、大きな振動がユーザにフィードバックされてもよい。また、操作仮想オブジェクト４００ａに他の仮想オブジェクト４００の角が衝突したとき、小さく短い振動がユーザにフィードバックされてもよい。
　図５を用いてより詳細に本実施形態の振動によるフィードバックについて説明される。図５は、立方体の木の仮想オブジェクト４００ｃが操作仮想オブジェクト４００ａに接触したときの様子を表す図である。よってユーザは、木が接触した触覚フィードバックを得ることができる。このとき例えば、木の仮想オブジェクト４００ｃが金属の属性を有する仮想オブジェクト４００よりも小さい質量を有するという属性を有しているとき、ユーザは金属の属性を有する仮想オブジェクト４００が接触した場合と比べて小さい振動によるフィードバックを受けてもよい。
　また、操作仮想オブジェクト４００ａに木の仮想オブジェクト４００ｃの角が衝突した場合、ユーザは、操作仮想オブジェクト４００ａに木の仮想オブジェクト４００ｃの面が衝突した場合に比べて、小さく短い振動によるフィードバックを受けてもよい。
　図５では接触する仮想オブジェクト４００が木の属性を有する場合について説明された。しかし例えば接触する仮想オブジェクト４００が金属の属性を有している場合、コントローラ２００は残響があるように振動してもよい。また接触する仮想オブジェクト４００がゴムの属性を有している場合、コントローラ２００は残響がないように振動してもよい。
　つまり接触する仮想オブジェクト４００が金属の属性を有している場合、コントローラ２００は最初に鋭く大きな振動で振動し、その後最初の振動よりも小さい振動がしばらく続くように振動してもよい。また、接触する仮想オブジェクト４００がゴムの属性を有している場合、コントローラ２００は最初に鈍く大きな振動で振動し、その後は振動しなくてもよい。
　このように、操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００が有する属性情報に基づいてコントローラ２００が振動することによって、ユーザが得られる仮想的な臨場感が向上する。また、仮想オブジェクト４００が属性情報に応じた振動データを有することによって、振動データの生成がリアルタイムで行われる。つまり振動データがリアルタイムで生成されることによって、ユーザに対する振動によるフィードバックが仮想空間内で接触が生じてから遅延なく行われる。また、振動データが各仮想オブジェクト４００にマッピングされることによって、容易に振動データを各仮想オブジェクト４００に付与することができる。
　なお、上述した例では操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００が有する属性に基づいて振動データが生成された。しかし振動データは操作仮想オブジェクト４００ａが有する属性に応じて生成されてもよい。また、振動データは、操作仮想オブジェクト４００ａが有する属性および操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００が有する属性に基づいて生成されてもよい。これによって、ユーザが得られる仮想的な臨場感がより向上する。
　また、振動フィードバックの構成は複数に分けられてもよい。例えば、振動フィードバックは「衝突時」と「余韻」の２つのフェーズに分けられてもよい。このとき衝突のフェーズでは、コントローラ２００は操作仮想オブジェクト４００ａが有する属性に応じて振動し、余韻のフェーズでは、コントローラ２００は操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００が有する属性に基づいて振動してもよい。また、衝突する側または衝突される側のどちらの仮想オブジェクト４００の属性に基づいてコントローラ２００が振動するかを選択するモードが設けられてもよく、ユーザはこのモードを選択できてもよい。
　また、上述したようにリスナー５００は仮想オブジェクト４００の接触と共に、音を検知してもよい。上述したように図４では、操作仮想オブジェクト４００ａに球状の仮想オブジェクト４００ｂが接触していないコントローラ２００は振動しない。しかしながら、球状の仮想オブジェクト４００ｂが接触していない操作仮想オブジェクト４００ａのリスナー５００は、衝突によって発生した音を検知し、コントローラ２００に備えられたスピーカまたは振動デバイス２０８から衝突音が出力されてもよい。
　＜４．本実施形態のシステムにおける処理＞
　以上では、本実施形態のシステムにおけるユーザに対する振動によるフィードバックについて説明された。以下では、本実施形態のシステムの各構成が行う処理について説明される。図６は、ゲーム機１００の各構成が行う処理を示すフロー図である。
　最初にＳ１００において、触覚エンジン１１０はユーザが操作する操作仮想オブジェクト４００ａが有する属性を認識する。次にＳ１０２において、物理エンジン１０８は、リスナー５００に対する接触を検知する。つまり物理エンジン１０８は、操作仮想オブジェクト４００ａに他の仮想オブジェクト４００が衝突したことなどを検知する。
　次にＳ１０４において処理部１０２は、リスナー５００が接触を検知する検知モードが操作仮想オブジェクト４００ａが有する属性に基づいて振動がフィードバックされるモードか否かを判定する。Ｓ１０４において処理部１０２が、リスナー５００が接触を検知する検知モードが操作仮想オブジェクト４００ａが有する属性に基づいて振動がフィードバックされるモードであると判定すると、処理はＳ１０６に進む。
　Ｓ１０６において触覚エンジン１１０は操作仮想オブジェクト４００ａに付随する振動データを取得する。次にＳ１１０において物理エンジン１０８は、操作仮想オブジェクト４００ａと他の仮想オブジェクト４００が衝突したときの相対速度、接触位置などを算出する。
　次にＳ１１２において処理部１０２は、物理エンジン１０８が算出した相対速度、接触位置などに関する情報およびＳ１０４で判定されたモードに関する情報を触覚エンジン１１０に送り、触覚エンジン１１０の振動データ生成部１１２は取得した情報に基づいて出力する振動データを生成する。ここで振動データ生成部１１２は、操作仮想オブジェクト４００ａが有する属性に基づいた振動データと物理エンジン１０８が算出した相対速度、接触位置などの情報に基づいて出力する振動データを生成する。
　Ｓ１０４において、処理部１０２が、リスナー５００が接触を検知する検知モードが操作仮想オブジェクト４００ａが有する属性に基づいて振動がフィードバックされるモードではないと判定すると、処理はＳ１０８に進む。Ｓ１０８において触覚エンジン１１０は、ユーザが操作しない仮想オブジェクト４００、つまり操作仮想オブジェクト４００ａに衝突した仮想オブジェクト４００に付随する振動データを取得する。
　そして上述した処理と同様、Ｓ１１０において物理エンジン１０８は相対速度、接触位置などを算出する。そしてＳ１１２において触覚エンジン１１０の振動データ生成部１１２は、操作仮想オブジェクト４００ａに衝突した仮想オブジェクト４００が有する属性に基づいた振動データと物理エンジン１０８が算出した相対速度、接触位置などの情報に基づいて出力する振動データを生成する。なお、上述したように振動データ生成部１１２は、操作仮想オブジェクト４００ａが有する属性と操作仮想オブジェクト４００ａに衝突した仮想オブジェクト４００が有する属性と、物理エンジン１０８が算出した相対速度、接触位置などの情報に基づいて出力する振動データを生成してもよい。
　＜５．操作仮想オブジェクトに対する接触以外によって発生するフィードバック＞
　以上では、ユーザが操作する操作仮想オブジェクト４００ａに他の仮想オブジェクト４００が接触したときに振動によるフィードバックが行われる例が説明された。以下では、操作仮想オブジェクト４００ａに他の仮想オブジェクト４００が衝突しないときに振動によるフィードバックが行われる例が説明される。
　図７は、操作仮想オブジェクト４００ａから離れた位置にある衝撃波発生源８００によって発生する衝撃波８０２に基づいて振動によるフィードバックが行われる例を示す図である。なお、衝撃波発生源８００は例えば爆発であってもよく、衝撃波８０２の伝搬は物理エンジン１０８によって仮想空間内でシュミレーションされてもよい。
　図７の例では、仮想空間内で発生した爆発によって生じた衝撃波８０２が操作仮想オブジェクト４００ａに配置されたリスナー５００に届くことによって、振動によるフィードバックが行われる。このとき振動によるフィードバックは、操作仮想オブジェクト４００ａと衝撃波発生源８００との間の媒体の性質に応じて行われてもよい。
　例えば媒体が空気である場合の振動によるフィードバックと、媒体が水である場合の振動によるフィードバックとでは、振動の強さが異なってもよい。このとき媒体が水である場合の振動は、媒体が空気である場合の振動に比べて弱くてもよい。これは、シュミレーションされる衝撃波８０２の伝搬特性が媒体によって異なるからである。
　これによってユーザは、例えばユーザが操作する操作仮想オブジェクト４００ａが水中にあることを振動によるフィードバックによって感じることができるため、ユーザが得られる仮想的な臨場感がより向上する。
　また振動データは、仮想空間内でシュミレーションされる衝撃波８０２の伝搬によらず、単純に衝撃波発生源８００と操作仮想オブジェクト４００ａとの距離に応じて生成されてもよい。これにより、より単純な構成を有する物理エンジン１０８によっても振動によるフィードバックが行われる。
　＜６．仮想オブジェクトの形状および材質に基づく振動によるフィードバック＞
　以上では、衝撃波８０２に基づいて振動によるフィードバックが行われる例について説明された。以下では、仮想オブジェクト４００の形状および材質に基づく振動によるフィードバックについてより詳細に説明される。
　図８から図１１は、半円状の仮想オブジェクト４００ｄの上を操作仮想オブジェクト４００ａが通過する様子を表す図である。以下ではこのような状況における振動によるフィードバックについて説明される。なお、半円状の仮想オブジェクト４００ｄは摩擦が少ない（つるつるした触感を有する）表面を有する。
　図８から図９に示されるように、操作仮想オブジェクト４００ａが移動して半円状の仮想オブジェクト４００ｄの端部に接触したときに、振動時間が短い振動のフィードバックが行われる。次に図１０のように、操作仮想オブジェクト４００ａが半円状の仮想オブジェクト４００ｄの表面を移動している間は、振動によるフィードバックは行われない。次に図１１に示されるように、操作仮想オブジェクト４００ａが半円状の仮想オブジェクト４００ｄのもう一方の端部に降りるとき、再び振動時間が短い振動のフィードバックが行われる。
　以上説明したように、操作仮想オブジェクト４００ａが接触している面の形状が変化するタイミング(図９および図１１の状態)で振動時間が短い振動がユーザに提示されることによって、面の形状変化をユーザは感じることができる。また、摩擦が少ない面を操作仮想オブジェクト４００ａが移動している間（図１０の状態）は、振動が提示されないことによって、つるつるした触感をユーザは感じることができる。またこのとき、操作仮想オブジェクト４００ａは、半円状の仮想オブジェクト４００ｄの表面に沿って動くので、視覚によってもユーザは半円状の仮想オブジェクト４００ｄの膨らんだ形状を感じることができる。
　また、摩擦が大きい（ざらざらした触覚を有する）面を操作仮想オブジェクト４００ａが移動する場合は、異なる振動フィードバックが行われてもよい。図１２は、半円状の仮想オブジェクトの一部４００ｅが、摩擦が大きい面を有する場合の様子を表す図である。このとき操作仮想オブジェクト４００ａが半円状の仮想オブジェクトの摩擦が大きい面４００ｅの上を移動するとき、摩擦感を想起させる振動が連続的にユーザに提供されることによって、ユーザはざらざらした触感を感じることができる。また、ユーザが操作仮想オブジェクト４００ａを操作する速度に応じて振動が変えられてもよい。例えば図１２の例においてユーザが操作仮想オブジェクト４００ａを操作する速度が速くなればなるほど、コントローラ２００が振動する時間間隔が短くなってもよい。
　また摩擦が小さい面から摩擦が大きい面に操作仮想オブジェクト４００ａが移動する場合、ユーザに提供される振動が変化するため、ユーザはその振動の変化から質感が変わったことを感じ取れる。
　＜７．複数の振動デバイスを有するウェアラブル端末＞
　以上では、コントローラ２００のようなユーザが把持する装置によって、振動によるフィードバックが行われる例が説明された。以下では、複数の振動デバイス２０８を有するジャケット型のウェアラブル端末について説明される。
　図１３は、ジャケット型のウェアラブル端末７００の外観の一例を示す図である。ジャケット型のウェアラブル端末７００は、複数の振動デバイス２０８ａ～２０８ｆを備えている。また、複数の振動デバイス２０８ａ～２０８ｆは、図１３に示されるように左右対称に配置されてもよい。
　図１４は、ジャケット型のウェアラブル端末７００に対応するようにリスナー５００ａ～５００ｆが操作仮想オブジェクト４００ａに配置されることを示す図である。リスナー５００ａ～５００ｆのそれぞれは、ジャケット型のウェアラブル端末７００の振動デバイス２０８ａ～２０８ｆのそれぞれに対応する。上述したようにリスナー５００ａ～５００ｆに他の仮想オブジェクト４００が接触したとき、接触したリスナー５００に対応する振動デバイス２０８が振動する。例えばリスナー５００ａに他の仮想オブジェクト４００が接触したとき、振動デバイス２０８ａが振動することによってユーザに対して振動によるフィードバックが行われる。
　図１３および図１４で示されるように、複数の振動デバイス２０８に対して複数のリスナー５００が配置される場合、複数のリスナー５００間の結合関係に基づいて振動によるフィードバックが行われてもよい。図１５は、このような複数のリスナー５００間の結合関係を示す図である。図１５で表される点線は、複数のリスナー５００間の結合関係を表す結合要素５０２である。結合要素５０２は、ばね要素であったり、ダンパー要素であったり、時間遅れ要素であったりしてもよい。つまり結合要素５０２は、衝撃の伝搬特性に関する要素であり、伝搬速度または伝搬の減衰に関する要素であってもよい。
　結合要素５０２に応じて振動の伝搬がシミュレーションされることによって、１つのリスナー５００に生じた接触による振動が周辺のリスナー５００に伝搬される。例えば、リスナー５００ａに他の仮想オブジェクト４００が接触した場合、リスナー５００ｂ、５００ｄ、５００ｅに振動が伝わってもよい。
　また、結合要素５０２が時間遅れの要素とされることで、周辺のリスナー５００は衝突が生じたリスナー５００よりも遅れたタイミングで振動する。例えば、リスナー５００ａに他の仮想オブジェクト４００が接触した場合、最初にリスナー５００ｂ、５００ｄおよび５００ｅに振動が伝わり、少し遅れてリスナー５００ｃおよび５００ｆに振動が伝わってもよい。これにより、ユーザは振動の拡がりを感じることができる。
　また、結合要素５０２がばね要素とされることで、ユーザは反発力のある物体（例えば内部に気体を有するボールのような物体）が衝突したような触覚を感じることができる。また、結合要素５０２がダンパー要素とされることで、ユーザは衝撃が吸収される服を着ているかのような触覚を感じることができる。
　以上のように、複数のリスナー５００間の結合関係に基づいて振動によるフィードバックが行われることにより、ユーザはより多様な振動によるフィードバックを感じることができる。
　また、衝突する仮想オブジェクト４００の大きさに応じて、衝突を検知するリスナー５００の数が変化してもよい。図１６は、衝突する仮想オブジェクト４００の大きさと衝突を検知するリスナー５００との関係を示す図である。
　例えば、図１６で示されるように、直径がリスナー５００の幅または高さの１つ分より小さい仮想オブジェクト４００ｆがリスナー５００に衝突した場合、１つのリスナー５００が衝突を検知してもよい。また、直径がリスナー５００の幅または高さの１つ分より大きく２つ分より小さい仮想オブジェクト４００ｇがリスナー５００に衝突した場合、縦２つ横２つの合計４つのリスナー５００が衝突を検知してもよい。また、直径がリスナー５００の幅または高さの２つ分より大きく３つ分より小さい仮想オブジェクト４００ｈがリスナー５００に衝突した場合、縦３つ横２つの合計６つのリスナー５００が衝突を検知してもよい。
　また、衝突する仮想オブジェクト４００の質量または速度、または質量および速度から得られる仮想オブジェクト４００の運動エネルギーの大きさに応じて、衝突を検知するリスナー５００の数が変化してもよい。また同時に、提供される振動の強度が変化してもよい。つまり、衝突する仮想オブジェクト４００の質量、速度または運動エネルギーが大きいほど衝突を検知するリスナー５００の数が多くなってもよく、振動の強度が強くなってもよい。
　また、上述した衝突を検知するリスナー５００の数および振動の強度は、リスナー５００が配置される操作仮想オブジェクト４００ａの属性に基づいて変化してもよい。例えば、複数のリスナー５００が配置された操作仮想オブジェクト４００ａが、ゴムのような衝撃を吸収する属性を有していた場合、衝突を検知するリスナー５００の数は少なくなってもよい。またこのとき衝突によってユーザにフィードバックされる振動の大きさは小さくなってもよい。
　＜８．リスナーが接触を検知する検知モード＞
　以上では、複数の振動デバイス２０８に対する複数のリスナー５００が操作仮想オブジェクト４００ａに配置される例が説明された。以下では、リスナー５００が接触を検知する範囲について説明される。上述されたように、操作仮想オブジェクト４００ａに配置されたリスナー５００は他の仮想オブジェクト４００との接触を検知する。しかしながらユーザによって、フィードバックを受けたいと考える頻度が異なることが考えられる。
　そこで本実施形態では、リスナー５００が接触を検知する範囲が異なる複数のモードが設けられる。複数のモードは、「リスナー５００が振動を全く検知しないモード」と、「リスナー５００が仮想オブジェクト４００がリスナー５００に接触したときに振動を検知するモード」と、「リスナー５００が全ての振動を検知するモード」を含む。ここで「リスナー５００が仮想オブジェクト４００がリスナー５００に接触したときに振動を検知するモード」と、「リスナー５００が全ての振動を検知するモード」との差異点は、例えば上述した衝撃波発生源８００による衝撃波８０２を検知するか否かであってもよく、またある特定の属性を有する仮想オブジェクト４００との接触による振動を検知するか否かであってもよい。
　また、上述したようにリスナー５００は音も検知する。よって同様にリスナー５００が音を検知する範囲が異なる複数のモードが設けられてもよい。例えば音に関する複数のモードは、「リスナー５００が音を全く検知しないモード」と、「リスナー５００が一定範囲の音を検知するモード」と、「リスナー５００が全ての音を検知するモード」を含む。
　上述したようにリスナー５００が振動および音を検知する範囲に関して複数のモードが設けられることによって、ユーザは自分の好みに合ったモードを選択することができる。
　また、仮想空間内では、ユーザが操作する操作仮想オブジェクト４００ａは、ユーザが意図しないところで他の仮想オブジェクト４００と接触することがある。例えばユーザが人型の操作仮想オブジェクト４００ａを操作している場合、人型の操作仮想オブジェクト４００ａの足元で草や石などの仮想オブジェクト４００との接触が起こることがある。このようなときに全ての接触をリスナー５００が検知し、振動によるフィードバックがユーザに対して行われることは好ましくない。
　そこで本実施形態ではさらに、上述したリスナー５００が振動および音を検知する範囲に関するモードに加えて、視線検知デバイスからの情報に基づいてリスナー５００が振動および音を検知するモードが設定されてもよい。
　図１７は、視線検知デバイス６００を備えるシステムの構成を示す図である。本実施形態のシステムは、ユーザの視線を検知する視線検知デバイス６００を有し、視線検知デバイス６００は視線検知部６０２とゲーム機１００と無線で接続するための通信部６０４とを有する。
　視線検知デバイス６００は、例えばユーザの頭に装着される装置（例えばヘッドギアのような装置）であってもよい。この場合、視線検知部６０２は撮像部を備え、撮像部によって撮像された画像に基づいてユーザの視線が検知されてもよい。また、視線検知部６０２はジャイロセンサおよび／または加速度センサであってもよく、当該センサが検知する角速度、角加速度、加速度に基づいて、ユーザの視線が検知されてもよい。
　以上のような構成を本実施形態のシステムが有する場合、リスナー５００は、視線検知デバイス６００からの情報に基づく仮想空間内でのユーザの視野内にある仮想オブジェクト４００と操作仮想オブジェクト４００ａとの接触を検知してもよい。このとき、リスナー５００は、仮想空間内でのユーザの視野内に無い仮想オブジェクト４００と操作仮想オブジェクト４００ａとの接触を検知しなくてもよい。
　このように視線検知デバイス６００からの情報に基づく仮想空間内でのユーザの視野に関する情報が用いられることにより、ユーザが期待していないタイミングで振動が頻発することが防止され、ユーザがある仮想オブジェクト４００に注目しているときに振動によるフィードバックが得られる。
　なお、以上の実施形態では仮想空間内でのユーザの視野を検知するために視線検知デバイス６００が用いられた。しかし通常のディスプレイの場合、ディスプレイ内に描画されている範囲がユーザの視野の範囲とされてもよい。
　＜９．スピーカを備えるウェアラブル端末＞
　以上では、視線検知デバイス６００を有するシステムの実施形態について説明された。以下では、スピーカを備えるジャケット型のウェアラブル端末７００の動作について説明される。図１８は、スピーカ２１２を備えるジャケット型のウェアラブル端末７００の外観を示す図である。図１８から理解されるように、ユーザの耳に近い位置にスピーカ２１２が配置される。
　図１８に示されるボイスコイルモータのような音を出力することができる振動デバイス２０８とスピーカ２１２とを備えるジャケット型のウェアラブル端末７００によって、振動と音が別々にユーザに提供されることによって、仮想オブジェクト４００の位置関係が表現される。
　例えば人は音の発生源の方向を左右の耳の音量差および位相差で知覚するため、スピーカ２１２から出力される音によって音の発生源の方向が表現される。また音の発生源との距離は主に音の大きさで知覚されるため、ボイスコイルモータのような振動デバイス２０８で出力する音の大きさを変えて、仮想オブジェクト４００が仮想空間内で接触した位置を表現することができる。
　このとき例えば、仮想空間内においてユーザの胸元で仮想オブジェクト４００との接触が生じた場合、ユーザの胸元近くに配置されている順に、振動デバイス２０８ａ、２０８ｄから大きな音が出力され、振動デバイス２０８ｂ、２０８ｅから中程度の音が出力され、振動デバイス２０８ｃ、２０８ｆから小さな音が出力される。このとき例えば、ユーザの耳から振動デバイス２０８までの距離の２乗に反比例させて遠い位置の振動デバイス２０８ほど小さな音量が出力されるように制御が行われてもよい。
　また、振動デバイス２０８が振動するときに発生する振動音がユーザに聞こえないことが好ましいため、振動デバイス２０８の振動音を打ち消すように、スピーカ２１２または別の振動デバイス２０８が制御されてもよい。このときジャケット型のウェアラブル端末７００ではユーザの耳に対するスピーカ２１２の相対位置が固定的であるため、振動デバイス２０８に入力される波形に基づいてスピーカ２１２が制御されることで、マイクロフォンを用いずに振動デバイス２０８の振動音を打ち消すことができる。
　また、スピーカ２１２付近にマイクロフォンを配置し、ユーザの耳に届くと想定される音をマイクロフォンによって検出し、リアルタイムに逆位相の音が再生されることで、高精度に振動デバイス２０８の振動音を打ち消すことができるとともに、周辺の音も打ち消すことができる。
　＜１０．振動データの生成方法＞
　以上では、スピーカ２１２を備えるジャケット型のウェアラブル端末７００の動作について説明された。以下では、本実施形態のシステムで用いられる振動データの生成方法について説明される。図１９から図２２は、本実施形態のシステムで用いられる振動データが生成される過程を示す図である。
　図１９の左図は、実物体（例えば摩擦係数が大きい面）をなぞった際の加速度データを加速度センサでサンプリングしたときの波形である。また、図１９の右図は、サンプリングされた波形（図１９の左図）の周波数成分を表したグラフである。
　図２０は、ピンクノイズの波形および周波数成分を表すグラフである。図２１の左図は、図１９の右図で表された周波数特性を用いて図２０のピンクノイズにイコライザーをかけたときの波形である。
　以上のように本実施形態のシステムで用いられる振動データは、実体物から得られた波形に基づいてピンクノイズにイコライザーをかけて生成される。そして「イコライザーのかけられたピンクノイズ」が、操作仮想オブジェクト４００ａの速度に応じて再生される。これによって「連続的な触感の表現」と、「物体固有の触覚の表現」が両立される。
　＜１１．補足＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属する。
　例えば、上述した例では触覚データの例として振動データが説明された。しかし触覚データは振動データに限定されない。例えば触覚データは、電気刺激に関する触覚データであってもよく、また熱に関する触覚データであってもよい。このときリスナー５００は、熱または電気刺激を検知してもよい。
　また、上述した振動データと同様に仮想オブジェクト４００が有する属性に基づいて、熱または電気刺激に関する触覚データが生成されてもよい。例えば、操作仮想オブジェクト４００ａが金属の属性を有しているとき、金属は熱伝導率が高いので、急激に熱が伝わるように触覚データが生成されてもよい。一方、操作仮想オブジェクト４００ａが木の属性を有しているとき、木は金属よりも熱伝導率が低いので、金属の属性を有する仮想オブジェクト４００に熱源が振れた場合よりも緩やかに熱が伝わるように触覚データが生成されてもよい。また同様に操作仮想オブジェクト４００ａが金属の属性を有しているとき、金属は電気伝導率が高いので、強い電気刺激がユーザにフィードバックされるように触覚データが生成されてもよい。一方、操作仮想オブジェクト４００ａが木の属性を有しているとき、木は金属よりも電気伝導率が低いので、触覚データは生成されなくてもよい。
　また、上述したように操作仮想オブジェクト４００ａから離れた位置にある衝撃波発生源８００からの衝撃波８０２をリスナー５００が検知する実施形態が説明された。このとき、ジャケット型のウェアラブル端末７００は振動する一方、ユーザが把持するコントローラ２００は振動しなくてもよい。つまり、機器の構成（または種類）によって触覚フィードバックが異なってもよい。
　また、上述した物理エンジン１０８および触覚エンジン１１０は汎用のプロセッサを用いて実現されてもよい。また、当該プロセッサを上述したように動作させるためのコンピュータプログラムが提供されてもよい。また、このようなプログラムが記憶された記憶媒体が提供されてもよい。
　＜１２．むすび＞
　以上説明したように、本開示のシステムは、仮想オブジェクト４００と関連付けられた属性情報に応じて振動データが生成される。また、本開示のシステムは、リスナー５００が配置された操作仮想オブジェクト４００ａと他の仮想オブジェクト４００とが接触したときの相対速度または接触位置に基づいて振動データが生成される。これによってユーザは、臨場感がある振動によるフィードバクを受けることができる。
　また、本開示のシステムでは、リスナー５００が配置された操作仮想オブジェクト４００ａに接触した他の仮想オブジェクト４００と関連付けられた属性情報に基づいて振動データが生成される。ユーザは、ゲームなどを行っているとき、ユーザが操作する操作仮想オブジェクト４００ａの触覚ではなく、操作仮想オブジェクト４００ａに接触する仮想オブジェクト４００の触覚によるフィードバックを望む。よって上述した構成によって、ユーザはより臨場感があるフィードバックを受けることができる。
　また、本開示のシステムでは、仮想オブジェクト４００が属性情報に応じた振動データを有することによって、振動データの生成がリアルタイムで行われる。また、振動データが各仮想オブジェクト４００にマッピングされることによって、容易に振動データを各仮想オブジェクト４００に付与することができる。
　また、本開示のシステムでは、複数のリスナー５００間の結合関係に基づいて振動によるフィードバックが行われることにより、ユーザはより多様な振動によるフィードバックを感じることができる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成する仮想空間データ生成部と、
　前記仮想オブジェクトに対する接触を検知するリスナーを配置するリスナー配置部と、
　前記リスナーが配置された仮想オブジェクトと、
　前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成する触覚データ生成部と、を備える情報処理装置。
（２）
　前記リスナーが配置された前記仮想オブジェクトは、ユーザが操作する前記仮想オブジェクトである、前記（１）に記載の情報処理装置。
（３）
　前記触覚データは振動に関するデータである、前記（１）または前記（２）に記載の情報処理装置。
（４）
　前記仮想空間データ生成部は、前記仮想オブジェクトに属性を関連付けるように前記仮想オブジェクトを形成する、前記（１）から前記（３）のいずれか１項に記載の情報処理装置。
（５）
　前記仮想オブジェクトの前記属性情報は、前記仮想オブジェクトの質量、剛性、材質、大きさ、形状、位置、速度のうち少なくとも１つを含む、前記（４）に記載の情報処理装置。
（６）
　前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトの前記属性に基づいて前記触覚データを生成する、前記（５）に記載の情報処理装置。
（７）
　前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトとは異なる前記他の仮想オブジェクトの前記属性に基づいて前記触覚データを生成する、前記（５）に記載の情報処理装置。
（８）
　前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトの前記属性および前記ユーザが操作する前記仮想オブジェクトとは異なる前記他の仮想オブジェクトの前記属性の両方に基づいて前記触覚データを生成する、前記（５）に記載の情報処理装置。
（９）
　前記触覚データ生成部はさらに、前記リスナーが配置された仮想オブジェクトと、他の仮想オブジェクトとの相対速度または接触位置に応じて前記触覚データを生成する、前記（１）から前記（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記触覚データ生成部は、前記リスナーが配置された前記仮想オブジェクトから離れた位置に存在する衝撃の発生源に基づく前記触覚データを生成する、前記（１）から前記（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記触覚データ生成部は、前記リスナーが配置された前記仮想オブジェクトと、前記衝撃の発生源との間の媒体に基づいて前記触覚データを生成する、前記（１０）に記載の情報処理装置。
（１２）
　前記リスナー配置部は、複数の前記リスナーを前記仮想オブジェクトに配置し、
　前記触覚データ生成部は、前記複数の前記リスナーのうちの少なくとも１つに対応する前記触覚デバイスに対する前記触覚データと、前記複数の前記リスナー間の結合関係とに基づいて、前記複数の前記リスナーのうちの他のリスナーに対応する前記触覚デバイスに対する前記触覚データを生成する、前記（１）から前記（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記結合関係は伝搬特性に関する、前記（１２）に記載の情報処理装置。
（１４）
　前記伝搬特性は伝搬速度または伝搬の減衰に関する、前記（１３）に記載の情報処理装置。
（１５）
　さらに触覚データ生成部は、ユーザの視線を検知する視線検知部からの情報に基づいて前記触覚データを生成する、前記（１）から前記（１４）のいずれか１項に記載の情報処理装置。
（１６）
　前記触覚データ生成部は、前記仮想空間における前記ユーザの視野内の前記仮想オブジェクトと、前記ユーザが操作する前記仮想オブジェクトとの接触に基づいて前記触覚データを生成する、前記（１５）に記載の情報処理装置。
（１７）
　前記触覚データは、電気刺激または熱に関するデータである、前記（１）から前記（１６）のいずれか１項に記載の情報処理装置。
（１８）
　属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成することと、
　前記仮想オブジェクトに対する接触を検知するリスナーを配置することと、
　前記リスナーが前記仮想オブジェクトに配置されることと、
　前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成することと、を含む、方法。
（１９）
　プロセッサに属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成させ、
　前記仮想オブジェクトに対する接触を検知するリスナーを配置させ、
　前記リスナーを前記仮想オブジェクトに配置させ、
　前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成させる、コンピュータプログラム。
　１００　　ゲーム機
　１０２　　処理部
　１０４　　仮想空間データ生成部
　１０６　　リスナー配置部
　１０８　　物理エンジン
　１１０　　触覚エンジン
　１１２　　振動データ生成部
　１１４　　音声データ生成部
　１１６　　通信部
　２００　　コントローラ
　２０２　　処理部
　２０４　　加速度センサ
　２０６　　ジャイロセンサ
　２０８　　振動デバイス
　２１０　　通信部
　２１２　　スピーカ
　３００　　表示装置
　４００　　仮想オブジェクト
　４００ａ　　操作仮想オブジェクト
　５００　　リスナー
　５０２　　結合要素
　６００　　視線検知デバイス
　６０２　　視線検知部
　６０４　　通信部
　７００　　ウェアラブル端末
　８００　　衝撃波発生源
　８０２　　衝撃波

Claims (19)

  1. 　属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成する仮想空間データ生成部と、
    　前記仮想オブジェクトに対する接触を検知するリスナーを配置するリスナー配置部と、
    　前記リスナーが配置された仮想オブジェクトと、
    　前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成する触覚データ生成部と、を備える情報処理装置。
  2. 　前記リスナーが配置された前記仮想オブジェクトは、ユーザが操作する前記仮想オブジェクトである、請求項１に記載の情報処理装置。
  3. 　前記触覚データは振動に関するデータである、請求項１に記載の情報処理装置。
  4. 　前記仮想空間データ生成部は、前記仮想オブジェクトに属性を関連付けるように前記仮想オブジェクトを形成する、請求項２に記載の情報処理装置。
  5. 　前記仮想オブジェクトの前記属性情報は、前記仮想オブジェクトの質量、剛性、材質、大きさ、形状、位置、速度のうち少なくとも１つを含む、請求項４に記載の情報処理装置。
  6. 　前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトの前記属性に基づいて前記触覚データを生成する、請求項５に記載の情報処理装置。
  7. 　前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトとは異なる前記他の仮想オブジェクトの前記属性に基づいて前記触覚データを生成する、請求項５に記載の情報処理装置。
  8. 　前記触覚データ生成部は、前記ユーザが操作する前記仮想オブジェクトの前記属性および前記ユーザが操作する前記仮想オブジェクトとは異なる前記他の仮想オブジェクトの前記属性の両方に基づいて前記触覚データを生成する、請求項５に記載の情報処理装置。
  9. 　前記触覚データ生成部はさらに、前記リスナーが配置された仮想オブジェクトと、他の仮想オブジェクトとの相対速度または接触位置に応じて前記触覚データを生成する、請求項１に記載の情報処理装置。
  10. 　前記触覚データ生成部は、前記リスナーが配置された前記仮想オブジェクトから離れた位置に存在する衝撃の発生源に基づく前記触覚データを生成する、請求項１に記載の情報処理装置。
  11. 　前記触覚データ生成部は、前記リスナーが配置された前記仮想オブジェクトと、前記衝撃の発生源との間の媒体に基づいて前記触覚データを生成する、請求項１０に記載の情報処理装置。
  12. 　前記リスナー配置部は、複数の前記リスナーを前記仮想オブジェクトに配置し、
    　前記触覚データ生成部は、前記複数の前記リスナーのうちの少なくとも１つに対応する前記触覚デバイスに対する前記触覚データと、前記複数の前記リスナー間の結合関係とに基づいて、前記複数の前記リスナーのうちの他のリスナーに対応する前記触覚デバイスに対する前記触覚データを生成する、請求項１に記載の情報処理装置。
  13. 　前記結合関係は伝搬特性に関する、請求項１２に記載の情報処理装置。
  14. 　前記伝搬特性は伝搬速度または伝搬の減衰に関する、請求項１３に記載の情報処理装置。
  15. 　さらに触覚データ生成部は、ユーザの視線を検知する視線検知部からの情報に基づいて前記触覚データを生成する、請求項１に記載の情報処理装置。
  16. 　前記触覚データ生成部は、前記仮想空間における前記ユーザの視野内の前記仮想オブジェクトと、前記ユーザが操作する前記仮想オブジェクトとの接触に基づいて前記触覚データを生成する、請求項１５に記載の情報処理装置。
  17. 　前記触覚データは、電気刺激または熱に関するデータである、請求項１に記載の情報処理装置。
  18. 　属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成することと、
    　前記仮想オブジェクトに対する接触を検知するリスナーを配置することと、
    　前記リスナーが前記仮想オブジェクトに配置されることと、
    　前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成することと、を含む、方法。
  19. 　プロセッサに属性を有する仮想オブジェクトを含む仮想空間に関するデータを生成させ、
    　前記仮想オブジェクトに対する接触を検知するリスナーを配置させ、
    　前記リスナーを前記仮想オブジェクトに配置させ、
    　前記仮想オブジェクトと、他の仮想オブジェクトが接触したときに、前記仮想オブジェクトの属性情報もしくは前記他の仮想オブジェクトの属性情報のうち少なくとも一つに基づいて、触覚デバイスを動作させる触覚データを生成させる、コンピュータプログラム。
     
PCT/JP2016/075581 2015-09-08 2016-08-31 情報処理装置、方法およびコンピュータプログラム WO2017043400A1 (ja)

Priority Applications (14)

Application Number Priority Date Filing Date Title
EP16844261.4A EP3349096B1 (en) 2015-09-08 2016-08-31 Information processing apparatus, method, and computer program
US15/742,651 US10331214B2 (en) 2015-09-08 2016-08-31 Information processing device, method, and computer program
CN201680050120.XA CN107924236B (zh) 2015-09-08 2016-08-31 信息处理装置、方法和存储介质
KR1020187001671A KR102639118B1 (ko) 2015-09-08 2016-08-31 정보 처리 장치, 방법 및 컴퓨터 프로그램
JP2017539139A JP6834962B2 (ja) 2015-09-08 2016-08-31 情報処理装置、方法およびコンピュータプログラム
US15/743,874 US10353470B2 (en) 2015-09-08 2016-09-08 Information processing device, method, and computer
EP16844471.9A EP3349097B1 (en) 2015-09-08 2016-09-08 Information processing apparatus and method, and computer program
JP2017538528A JP6822408B2 (ja) 2015-09-08 2016-09-08 情報処理装置、方法およびコンピュータプログラム
EP20166761.5A EP3690613A1 (en) 2015-09-08 2016-09-08 Information processing device, method, and computer
PCT/JP2016/076531 WO2017043610A1 (ja) 2015-09-08 2016-09-08 情報処理装置、方法およびコンピュータプログラム
CN201680050699.XA CN107949818B (zh) 2015-09-08 2016-09-08 信息处理设备、方法和计算机程序
US16/413,140 US10838500B2 (en) 2015-09-08 2019-05-15 Information processing device, method, and computer program
US16/419,463 US10942573B2 (en) 2015-09-08 2019-05-22 Information processing device, method, and computer
US17/193,387 US11314333B2 (en) 2015-09-08 2021-03-05 Information processing device, method, and computer

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562215572P 2015-09-08 2015-09-08
US62/215,572 2015-09-08

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US15/742,651 A-371-Of-International US10331214B2 (en) 2015-09-08 2016-08-31 Information processing device, method, and computer program
PCT/JP2016/076531 Continuation-In-Part WO2017043610A1 (ja) 2015-09-08 2016-09-08 情報処理装置、方法およびコンピュータプログラム
US15/743,874 Continuation-In-Part US10353470B2 (en) 2015-09-08 2016-09-08 Information processing device, method, and computer
US16/413,140 Continuation US10838500B2 (en) 2015-09-08 2019-05-15 Information processing device, method, and computer program

Publications (1)

Publication Number Publication Date
WO2017043400A1 true WO2017043400A1 (ja) 2017-03-16

Family

ID=58239593

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2016/075581 WO2017043400A1 (ja) 2015-09-08 2016-08-31 情報処理装置、方法およびコンピュータプログラム
PCT/JP2016/076531 WO2017043610A1 (ja) 2015-09-08 2016-09-08 情報処理装置、方法およびコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/076531 WO2017043610A1 (ja) 2015-09-08 2016-09-08 情報処理装置、方法およびコンピュータプログラム

Country Status (6)

Country Link
US (5) US10331214B2 (ja)
EP (3) EP3349096B1 (ja)
JP (2) JP6834962B2 (ja)
KR (1) KR102639118B1 (ja)
CN (2) CN107924236B (ja)
WO (2) WO2017043400A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206012A (ja) * 2017-06-02 2018-12-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP2020521208A (ja) * 2017-11-17 2020-07-16 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 Ｖｒシーンでのキャラクターシミュレーション方法及び端末装置
WO2023153232A1 (ja) * 2022-02-08 2023-08-17 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2023171078A1 (ja) * 2022-03-07 2023-09-14 アルプスアルパイン株式会社 触覚提示装置、シートシステム、及び触覚提示方法

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349096B1 (en) * 2015-09-08 2023-08-23 Sony Group Corporation Information processing apparatus, method, and computer program
CN106371573B (zh) * 2015-12-04 2020-06-02 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
WO2018110432A1 (ja) * 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
WO2018110434A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、及び制御システム
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
JP6546707B2 (ja) * 2016-12-22 2019-07-17 シチズン時計株式会社 工作機械およびその制御装置
US10592199B2 (en) * 2017-01-24 2020-03-17 International Business Machines Corporation Perspective-based dynamic audio volume adjustment
JP6833018B2 (ja) * 2017-04-18 2021-02-24 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193514A1 (ja) * 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
US11609655B2 (en) * 2017-05-24 2023-03-21 Murata Manufacturing Co., Ltd. Stimulus transmission device
JP6837921B2 (ja) 2017-06-02 2021-03-03 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6653293B2 (ja) 2017-06-05 2020-02-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
WO2018230790A1 (ko) 2017-06-13 2018-12-20 주식회사 비햅틱스 헤드 마운티드 디스플레이
JP6771435B2 (ja) 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus
CN111033441B (zh) 2017-08-24 2023-09-12 索尼互动娱乐股份有限公司 振动控制装置
WO2019043781A1 (ja) 2017-08-29 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置、振動制御方法、及びプログラム
EP3731065B1 (en) * 2017-12-19 2023-03-08 Sony Group Corporation Information processing device and method, and program
JP2021073749A (ja) * 2018-03-07 2021-05-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11709550B2 (en) 2018-06-19 2023-07-25 Sony Corporation Information processing apparatus, method for processing information, and program
WO2020026443A1 (ja) * 2018-08-03 2020-02-06 株式会社ソニー・インタラクティブエンタテインメント 触覚表現用振動制御システム、触覚表現用振動発生装置、触覚表現用振動制御装置、および触覚表現用振動制御方法
US10569167B1 (en) * 2018-08-22 2020-02-25 Abdul Hotaki System and methods for providing wireless feedback to a video game
KR20210052574A (ko) * 2018-10-01 2021-05-10 레이아 인코포레이티드 홀로그래픽 현실 시스템, 멀티뷰 디스플레이 및 방법
JP7000593B2 (ja) 2018-10-19 2022-01-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラ装置、情報処理装置、及びプログラム
US11429187B2 (en) * 2018-10-19 2022-08-30 Sony Interactive Entertainment Inc. Controller apparatus, control method thereof, and program
KR20200070607A (ko) * 2018-12-10 2020-06-18 (주)리얼감 강도를 이용한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
WO2020122282A1 (ko) * 2018-12-13 2020-06-18 (주)리얼감 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
US11257282B2 (en) * 2018-12-24 2022-02-22 Intel Corporation Methods and apparatus to detect collision of a virtual camera with objects in three-dimensional volumetric model
KR102233004B1 (ko) * 2018-12-28 2021-03-26 중앙대학교 산학협력단 가상현실 노래방 인터랙션 방법 및 장치
US20220080304A1 (en) 2019-01-21 2022-03-17 Sony Group Corporation Information processing apparatus, information processing method, and program
KR102218091B1 (ko) * 2019-01-22 2021-02-19 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR102280916B1 (ko) * 2019-05-24 2021-07-26 한양대학교 산학협력단 임의 위치에서 발생하는 진동 피드백 구현 장치 및 방법
US11397508B1 (en) * 2019-06-11 2022-07-26 Hyper Reality Partners, Llc Virtual experience pillars
JP7360282B2 (ja) * 2019-09-10 2023-10-12 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
JP7360281B2 (ja) * 2019-09-10 2023-10-12 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
JP2021067877A (ja) * 2019-10-25 2021-04-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、および画像表示方法
WO2021145025A1 (ja) * 2020-01-16 2021-07-22 ソニーグループ株式会社 情報処理装置、情報処理端末及びプログラム
JP7170680B2 (ja) * 2020-02-13 2022-11-14 任天堂株式会社 ゲームシステム、ゲームプログラム、情報処理装置、および、ゲーム処理方法
WO2022123667A1 (ja) * 2020-12-09 2022-06-16 日本電信電話株式会社 触覚システム
WO2022269799A1 (ja) * 2021-06-23 2022-12-29 日本電信電話株式会社 擬似触覚提示装置、擬似触覚提示方法、およびプログラム
WO2023108131A1 (en) * 2021-12-10 2023-06-15 Shaw Industries Group, Inc. Visceral surface covering simulator and method of use
KR102594789B1 (ko) * 2022-06-08 2023-10-27 한국전자기술연구원 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301827A (ja) * 2004-04-14 2005-10-27 Fuji Xerox Co Ltd 音響情報処理装置、音響情報提供方法
JP2008134990A (ja) * 2006-10-23 2008-06-12 Canon Inc 情報処理装置、情報処理方法
JP2013500516A (ja) * 2009-07-22 2013-01-07 イマージョン コーポレーション 操作ジェスチャの入力中に，及び，仮想装置の操作に関連して，複雑な触覚刺激を提供するシステム及び方法
WO2013018267A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
JP2015062115A (ja) * 2013-09-09 2015-04-02 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 電気刺激ハプティックフィードバックインターフェース

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
JP4567817B2 (ja) 1997-09-11 2010-10-20 ソニー株式会社 情報処理装置及びその制御方法
US7084869B2 (en) 2000-03-31 2006-08-01 Massachusetts Institute Of Technology Methods and apparatus for detecting and correcting penetration between objects
US20070203435A1 (en) * 2004-03-26 2007-08-30 Peter Novak System And Method For Gait Synchronized Vibratory Stimulation Of The Feet
KR101310969B1 (ko) 2006-12-01 2013-09-23 삼성전자주식회사 디바이스의 환경을 분석하는 방법 및 이를 이용한 디바이스
JPWO2008075638A1 (ja) * 2006-12-19 2010-04-08 日本電気株式会社 共通データ生成方法およびその装置
CN101496954B (zh) * 2008-01-28 2012-11-21 联想(北京)有限公司 一种游戏控制器及其游戏处理方法
CN101394439B (zh) * 2008-11-10 2011-11-02 华为终端有限公司 自动控制终端振动强度的方法、终端
JP5197521B2 (ja) * 2009-07-29 2013-05-15 京セラ株式会社 入力装置
TWI473490B (zh) 2009-09-03 2015-02-11 Htc Corp 調整事件提示程度的方法與其行動電子裝置及電腦程式產品
JP5278259B2 (ja) 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
US8487759B2 (en) * 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US20110115709A1 (en) * 2009-11-17 2011-05-19 Immersion Corporation Systems And Methods For Increasing Haptic Bandwidth In An Electronic Device
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
JP5195859B2 (ja) * 2010-09-27 2013-05-15 トヨタ自動車株式会社 睡眠装置
US8352643B2 (en) * 2010-09-30 2013-01-08 Immersion Corporation Haptically enhanced interactivity with interactive content
US20120190460A1 (en) * 2011-01-21 2012-07-26 Cecil Sessions Vibrating Gaming Vest
JP5920862B2 (ja) 2011-03-08 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、コンピュータプログラム、および情報処理システム
KR101328054B1 (ko) * 2011-08-09 2013-11-08 엘지전자 주식회사 실감 진동을 발생시키는 영상표시장치 및 실감 진동 구현방법
JP2013054645A (ja) 2011-09-06 2013-03-21 Denso Wave Inc 光学的情報読取装置
US9101812B2 (en) * 2011-10-25 2015-08-11 Aquimo, Llc Method and system to analyze sports motions using motion sensors of a mobile device
JP2013150201A (ja) 2012-01-20 2013-08-01 Nec Access Technica Ltd 端末装置、報知制御方法、プログラム
CN103246379A (zh) * 2012-02-10 2013-08-14 联想移动通信科技有限公司 触摸反馈方法、装置及无线终端
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
JP2013187148A (ja) 2012-03-09 2013-09-19 Gs Yuasa Corp 制御弁式鉛蓄電池
WO2013177587A2 (en) * 2012-05-25 2013-11-28 Immerz Inc. Haptic interface for portable electronic device
US9874964B2 (en) * 2012-06-04 2018-01-23 Sony Interactive Entertainment Inc. Flat joystick controller
WO2014041032A1 (en) * 2012-09-11 2014-03-20 L.I.F.E. Corporation S.A. Wearable communication platform
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
KR20140112648A (ko) 2013-03-13 2014-09-24 삼성전기주식회사 수평 진동 발생 장치
US9436282B2 (en) * 2013-03-14 2016-09-06 Immersion Corporation Contactor-based haptic feedback generation
US9606721B2 (en) * 2013-07-22 2017-03-28 Lg Electronics Inc. Mobile terminal and control method thereof
US20150105129A1 (en) * 2013-10-15 2015-04-16 Kevin Chapman Video Game Body Suit
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) * 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
CN103995584B (zh) * 2014-04-29 2017-11-17 深圳超多维光电子有限公司 立体交互方法及其显示装置、操作棒和系统
US9679546B2 (en) * 2014-05-16 2017-06-13 Not Impossible LLC Sound vest
US10379614B2 (en) * 2014-05-19 2019-08-13 Immersion Corporation Non-collocated haptic cues in immersive environments
JP2015231098A (ja) 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
GB201410648D0 (en) * 2014-06-14 2014-07-30 Pape Lise S Walking aid providing tactile and visual cues to trigger and improve mobility
CN204484695U (zh) * 2014-06-30 2015-07-22 岳川凯 一种可穿戴式导盲系统
JP2016025620A (ja) 2014-07-24 2016-02-08 ソニー株式会社 画像処理システム、クライアントシステム、画像処理方法、および記憶媒体
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR102254705B1 (ko) * 2014-09-19 2021-05-24 삼성전자주식회사 단말 장치 및 그 제어방법
CN104545936A (zh) * 2014-12-31 2015-04-29 戴晓伟 腰部姿态检测方法及检测结果的触觉反馈方法
EP3349096B1 (en) * 2015-09-08 2023-08-23 Sony Group Corporation Information processing apparatus, method, and computer program
KR102427212B1 (ko) * 2016-07-07 2022-07-29 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
KR20180019270A (ko) * 2016-08-16 2018-02-26 (주)알비케이이엠디 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스
KR102442179B1 (ko) * 2017-11-17 2022-09-08 삼성전자주식회사 웨어러블 장치를 통하여 햅틱 피드백을 제공하는 전자 장치 및 그 방법
US10569167B1 (en) * 2018-08-22 2020-02-25 Abdul Hotaki System and methods for providing wireless feedback to a video game

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301827A (ja) * 2004-04-14 2005-10-27 Fuji Xerox Co Ltd 音響情報処理装置、音響情報提供方法
JP2008134990A (ja) * 2006-10-23 2008-06-12 Canon Inc 情報処理装置、情報処理方法
JP2013500516A (ja) * 2009-07-22 2013-01-07 イマージョン コーポレーション 操作ジェスチャの入力中に，及び，仮想装置の操作に関連して，複雑な触覚刺激を提供するシステム及び方法
WO2013018267A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
JP2015062115A (ja) * 2013-09-09 2015-04-02 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 電気刺激ハプティックフィードバックインターフェース

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206012A (ja) * 2017-06-02 2018-12-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
US10471346B2 (en) 2017-06-02 2019-11-12 Nintendo Co., Ltd. Information processing system, non-transitory storage medium having stored therein information processing program, information processing apparatus, and information processing method
JP2020521208A (ja) * 2017-11-17 2020-07-16 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 Ｖｒシーンでのキャラクターシミュレーション方法及び端末装置
US10953336B2 (en) 2017-11-17 2021-03-23 Tencent Technology (Shenzhen) Company Limited Role simulation method and terminal apparatus in VR scene
WO2023153232A1 (ja) * 2022-02-08 2023-08-17 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2023171078A1 (ja) * 2022-03-07 2023-09-14 アルプスアルパイン株式会社 触覚提示装置、シートシステム、及び触覚提示方法

Also Published As

Publication number Publication date
CN107949818A (zh) 2018-04-20
US11314333B2 (en) 2022-04-26
US10353470B2 (en) 2019-07-16
WO2017043610A1 (ja) 2017-03-16
US10838500B2 (en) 2020-11-17
US20180203509A1 (en) 2018-07-19
JP6822408B2 (ja) 2021-01-27
JP6834962B2 (ja) 2021-02-24
US20210191517A1 (en) 2021-06-24
JPWO2017043400A1 (ja) 2018-06-21
US10331214B2 (en) 2019-06-25
US20190272038A1 (en) 2019-09-05
KR102639118B1 (ko) 2024-02-22
US20200026355A1 (en) 2020-01-23
EP3349096A1 (en) 2018-07-18
EP3349096B1 (en) 2023-08-23
US20180203510A1 (en) 2018-07-19
EP3349097A1 (en) 2018-07-18
EP3349097A4 (en) 2019-04-10
CN107924236A (zh) 2018-04-17
EP3349097B1 (en) 2020-04-01
KR20180051482A (ko) 2018-05-16
EP3349096A4 (en) 2019-04-10
EP3690613A1 (en) 2020-08-05
CN107949818B (zh) 2021-07-27
US10942573B2 (en) 2021-03-09
JPWO2017043610A1 (ja) 2018-06-28
CN107924236B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
WO2017043400A1 (ja) 情報処理装置、方法およびコンピュータプログラム
US10347093B2 (en) Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
CN108170262B (zh) 触觉环绕功能
US10444844B2 (en) Systems and methods for providing haptic feedback via a case
JP6504157B2 (ja) 体感導入装置、体感導入システム、及び体感導入方法
US20200286298A1 (en) Systems and methods for a user interaction proxy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16844261

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017539139

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15742651

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20187001671

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE