WO2016136934A1 - 情報処理装置、情報処理方法、情報処理システム - Google Patents

情報処理装置、情報処理方法、情報処理システム Download PDF

Info

Publication number
WO2016136934A1
WO2016136934A1 PCT/JP2016/055771 JP2016055771W WO2016136934A1 WO 2016136934 A1 WO2016136934 A1 WO 2016136934A1 JP 2016055771 W JP2016055771 W JP 2016055771W WO 2016136934 A1 WO2016136934 A1 WO 2016136934A1
Authority
WO
WIPO (PCT)
Prior art keywords
haptic feedback
vibration
unit
game
signal
Prior art date
Application number
PCT/JP2016/055771
Other languages
English (en)
French (fr)
Inventor
顕博 小森
山野　郁男
佑輔 中川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP16755678.6A priority Critical patent/EP3263195A4/en
Priority to JP2017502506A priority patent/JPWO2016136934A1/ja
Priority to CN201680011096.9A priority patent/CN107249704B/zh
Priority to US15/549,033 priority patent/US10589169B2/en
Publication of WO2016136934A1 publication Critical patent/WO2016136934A1/ja
Priority to US16/782,167 priority patent/US11065537B2/en
Priority to US17/363,062 priority patent/US11701581B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and an information processing system.
  • the game controller has a vibrating device such as a vibrator, and the user can obtain tactile feedback by the vibration of the vibrator.
  • Patent Document 1 discloses a game controller used for a television game having the vibrator as described above. It is disclosed that the game controller disclosed in Patent Document 1 has an eccentric motor as a vibrator.
  • the present disclosure proposes a new and improved information processing apparatus in which the control unit changes the control of the haptic feedback device based on the type of the haptic feedback unit recognized by the control unit.
  • a control unit that generates a control signal for controlling the operation of a haptic feedback device having a haptic feedback unit, the control unit based on the type of the haptic feedback unit recognized by the control unit
  • An information processing device is provided that changes control over a haptic feedback device.
  • the user can obtain tactile feedback according to the characteristics of the tactile feedback device.
  • FIG. 1 is a schematic diagram illustrating a system configuration of the present disclosure.
  • FIG. 2 is a block diagram showing an internal structure of the system configuration shown in FIG.
  • FIG. 3 is a diagram illustrating an appearance of the external vibration unit of the present disclosure.
  • FIG. 4 is a block diagram showing an internal structure of the external vibration unit of the present disclosure.
  • FIG. 5A is a diagram illustrating a method of attaching the external vibration unit of the present disclosure to a game controller.
  • FIG. 5B is a diagram illustrating a rear surface of the game controller to which the external vibration unit of the present disclosure is attached.
  • FIG. 6 is a block diagram showing the internal structure of the system configuration of the present disclosure.
  • FIG. 7 is a diagram illustrating vibration characteristics of the eccentric motor.
  • FIG. 1 is a schematic diagram illustrating a system configuration of the present disclosure.
  • FIG. 2 is a block diagram showing an internal structure of the system configuration shown in FIG.
  • FIG. 3 is a diagram illustrating an appearance of the external vibration
  • FIG. 8 is a diagram illustrating the vibration characteristics of the broadband vibration device.
  • FIG. 9 is a diagram illustrating another method of attaching the external vibration unit of the present disclosure.
  • FIG. 10 is a diagram illustrating another method for attaching the external vibration unit of the present disclosure.
  • FIG. 11 is a flowchart showing a process when performing collision feedback.
  • FIG. 12 is a flowchart showing processing when performing friction feedback.
  • FIG. 13 is a diagram illustrating an example of an arrangement position of each device in a game controller having an eccentric motor and a broadband vibration device.
  • FIG. 14 is a block diagram showing an internal structure of a system including the game controller shown in FIG.
  • FIG. 15 is a block diagram showing in detail the configuration of the game controller shown in FIG. FIG.
  • FIG. 16 is a diagram illustrating an example of an arrangement position of the broadband vibration device in the game controller having only the broadband vibration device.
  • FIG. 17 is a block diagram showing an internal structure of a system including the game controller shown in FIG.
  • FIG. 18 is a diagram illustrating an example of processing by a combination of game software and a game controller.
  • FIG. 19 is a diagram illustrating an example of processing for generating a vibration signal for a broadband vibration device based on a game sound signal.
  • FIG. 20 is a diagram illustrating an example of the configuration of an apparatus that mixes and outputs a vibration signal and an audio signal.
  • FIG. 21 is a diagram illustrating an example of processing for generating a vibration signal for the eccentric motor from a vibration signal for the broadband vibration device.
  • FIG. 22 is a diagram illustrating another example of the process of generating the vibration signal for the eccentric motor from the vibration signal for the broadband vibration device.
  • FIG. 23 is a diagram illustrating another example of the process for generating the vibration signal for the eccentric motor from the vibration signal for the broadband vibration device.
  • FIG. 24 is a diagram illustrating a configuration example having a signal generation unit that generates a vibration signal on the game controller side.
  • Example of system configuration Background 3.
  • Configuration example of an external vibration unit having a broadband vibration device 4.
  • Configuration example of game controller having eccentric motor and broadband vibration device 5.
  • Control operation example for game controller having different vibration devices 7.
  • Example of operation when game machine switches control 8.
  • FIG. 1 is a diagram illustrating a configuration example of a system according to the present embodiment.
  • the system of this embodiment includes a display 100, a game machine 200, and a game controller 300.
  • the display 100 receives an image signal output from the game machine 200 and displays an image of game software to be processed by the game machine 200.
  • the speaker 102 outputs a sound related to game software that the game machine 200 performs processing based on an audio signal output from the game machine 200.
  • the display 100 may be any device that displays an image, and may be a television or a projector, for example.
  • the game machine 200 reads game software stored in an optical storage medium such as BD (Bluray Disc) (registered trademark), DVD, or CD (Compact Disc), and executes processing of the game software.
  • the game machine 200 generates an image signal, an audio signal, or a signal for the game controller 300 related to the game software by executing processing of the game software.
  • the game machine 200 outputs the generated image signal and audio signal to the display 100, and outputs a signal for the game controller 300 to the game controller 300.
  • game machine 200 may execute game software via the Internet. In that case, the game machine 200 is connected to a server existing on the Internet, and executes game software in cooperation with the server.
  • the game controller 300 is an example of a tactile feedback device that provides tactile feedback to the user.
  • the game controller 300 has an operation unit operated by a user. The user operates the game by operating the operation unit. For example, when the game machine 200 is executing game software such as a role playing game, the user can move the character in the game by operating the operation unit. Further, when the game machine 200 is executing game software such as a shooting game, the user can perform an operation of firing a gun in the game by operating the operation unit.
  • the game software is an example of software programmed to generate a control signal for the haptic feedback unit.
  • the game controller 300 and the game machine 200 are connected wirelessly or by wire, and the game controller 300 transmits an operation signal to the game machine 200 according to the content operated by the user.
  • the game machine 200 that has received the operation signal from the game controller 300 processes the operation signal and converts it into an action such as a character in the game software.
  • FIG. 2 is a block diagram showing the configuration of the game system described above.
  • the display 100 may include a speaker 102.
  • the game machine 200 includes a CPU 202, a memory 204, an HDD 206 (Hard Disc Drive), a display, a wireless communication interface 210, a storage medium reading unit 212, and an external connection terminal 214.
  • the CPU 202 is an example of a control unit that generates control signals for controlling the operations of the game machine 200 and the game controller 300, and processes various types of information.
  • the CPU 202 processes game software read by the storage medium reading unit 212 in cooperation with the memory 204 or the like.
  • the memory 204 is a storage medium that temporarily stores data when the CPU 202 executes processing.
  • the HDD 206 is a storage medium generally having a larger capacity than the memory 204, and stores data for a long time. For example, when the user downloads game software via the Internet, the HDD 206 stores the downloaded game software. Further, when the game machine 200 has a recording function for recording a TV program or the like, the HDD 206 stores recorded moving image data.
  • the display 208 is used to indicate the state of the game machine 200.
  • the display 208 may be configured to light up when the game machine 200 is powered on. Further, when the game machine 200 is turned off, the display 208 may be lit in a different color from the state in which the game machine 200 is turned on. Further, the display 208 may be configured to blink when an error occurs in the game machine 200.
  • the wireless communication interface 210 is an example of a communication unit that communicates with the game controller 300.
  • the wireless communication interface 210 communicates with the game controller 300 based on game software.
  • the wireless communication interface 210 may be, for example, Bluetooth (registered trademark) or Zigbee (registered trademark).
  • the storage medium reading unit 212 reads information stored in a storage medium such as a BD, DVD, or CD in which game software or the like is stored.
  • the storage medium reading unit 212 sends the read information to the CPU 202, and the CPU 202 executes the game by processing this information.
  • the external connection terminal 214 transmits an image signal and an audio signal to the display 100.
  • the external connection terminal 214 may be, for example, HDMI (High-Definition Multimedia Interface) (registered trademark).
  • the HDMI transmits a digital signal by a TMDS (Transition Minimized Differential Signaling) method, and transmits a device control signal by a CEC (Consumer Electronics Control).
  • the external connection terminal 214 may be a VGA (Video Graphics Array) terminal or a USB (Universal Serial Bus).
  • the game controller 300 includes a CPU 302, a gyro sensor 304, an acceleration sensor 306, a geomagnetic sensor 308, an operation unit 310, and a key processing unit 312.
  • the game controller 300 also includes a wireless communication interface 314, an amplifier, a speaker 318, a stereo headphone / microphone terminal 320, an eccentric motor 322, an expansion terminal 324, a battery 326, and a charging circuit 328.
  • the CPU 302 is an example of a control unit that generates a control signal for the game controller 300.
  • the CPU 302 processes information received from the game machine 200 and processes information from each sensor and key processing unit 312 of the game controller 300.
  • the CPU 302 may be configured to process information obtained from each sensor and calculate a state such as acceleration or tilt of the game controller 300. Further, the CPU may be configured to simply transmit information obtained from each sensor to the game machine 200 and the game machine 200 that has received the information determines the state of the game controller 300.
  • the gyro sensor 304 detects the rotation of the game controller 300
  • the acceleration sensor 306 detects the acceleration of the game controller 300
  • the geomagnetic sensor 308 detects the direction of the game controller 300 by detecting the geomagnetism.
  • the operation unit 310 is used to operate characters and the like in the game by being operated by the user.
  • the operation unit 310 may be composed of up / down / left / right keys and a plurality of buttons, or may be composed of a joystick that rotates in all directions around an axis.
  • the key processing unit 312 processes the content operated by the operation unit 310 by the user, and sends the information to the CPU 302.
  • the wireless communication interface 314 is an example of a communication unit, and the wireless communication interface 314 communicates with the game machine 200.
  • the wireless communication interface 314 may receive an audio signal from the game machine 200 or may receive a vibration signal for operating the eccentric motor 322. Further, the wireless communication interface 314 may transmit an operation signal indicating that the operation unit 310 has been operated by the user to the game machine 200.
  • the amplifier 316 amplifies the audio signal received by the wireless communication interface 314 and sends it to the speaker 318.
  • the speaker 318 outputs sound based on the sound signal received by the wireless communication interface 314 and amplified by the amplifier 316.
  • the stereo headphone / microphone terminal 320 is used to output an audio signal received by the wireless communication interface 314 to external stereo headphones.
  • the stereo headphone / microphone terminal 320 sends an audio signal input from an external microphone to the CPU 302.
  • the eccentric motor 322 is an example of a tactile feedback unit that provides tactile feedback to the user.
  • the eccentric motor 322 is a vibration device in which a weight with an uneven shape is attached to the rotation shaft of the motor, and the user can be vibrated by the rotation of the eccentric motor 322.
  • the eccentric motor 322 rotates based on the vibration signal received as a control signal from the game machine 200 by the wireless communication interface 314.
  • the expansion terminal 324 is used for connecting an external device to the game controller 300. When an external device is connected to the game controller 300, the expansion terminal 324 sends information related to the external device to the CPU 302. The extension terminal 324 also sends information to an external device.
  • the extension terminal 324 may be an interface such as I 2 C.
  • the battery 326 supplies power for operating each part of the game controller 300. The battery 326 is charged via the charging circuit 328.
  • the eccentric motor 322 used in the game controller cannot control the driving frequency and strength freely and has poor responsiveness.
  • the eccentric motor 322 cannot realize a fine vibration expression such as a continuous latch feeling, a shock feeling, or a rough feeling. There is a problem.
  • FIG. 3 is a diagram showing an external vibration unit 400 that is externally attached to the game controller 300 based on the above-described background.
  • the external vibration unit 400 is an example of a second haptic feedback device that performs haptic feedback different from the game controller 300.
  • the external vibration unit 400 is equipped with a broadband vibration device such as a voice coil motor (or a piezoelectric actuator, an electromagnetic linear actuator, etc.).
  • the broadband vibration device is an example of a haptic feedback unit that provides haptic feedback to a user. The broadband vibration device will be described in detail later.
  • the external vibration unit 400 has an opening 422 provided so as to be fitted into the main body of the game controller 300 as shown in FIGS.
  • the external vibration unit 400 has a vibration signal input terminal 402 connected to receive a signal from the controller 300 and a communication terminal 404.
  • the external vibration unit 400 includes a broadband vibration device 410 as shown in FIGS. 3A, 3B, and 3C.
  • the external vibration unit includes a charging connector 418 and an ON / OFF switch 420 as shown in B and C of FIG.
  • FIG. 4 is a block diagram showing the configuration of the external vibration unit 400.
  • the external vibration unit 400 includes a vibration signal input terminal 402, a communication terminal 404, a digital signal processor (DSP) 406, an amplifier 408, a broadband vibration device 410, a stereo headphone / microphone terminal 412, a battery 414, a charging circuit 416, and charging.
  • a connector 418 and an ON / OFF switch 420 are included.
  • the vibration signal input terminal 402 is connected to the stereo headphone / microphone terminal 320 of the game controller 300.
  • the vibration input terminal receives an audio signal wirelessly transmitted from the game machine 200 to the game controller 300 from the stereo headphone / microphone terminal 320 of the game controller 300.
  • the communication terminal 404 is connected to the expansion terminal 324 of the game controller 300.
  • the game machine 200 automatically recognizes that the external vibration unit 400 is connected to the game controller 300 and the game machine 200. As a result, the user does not have to perform operations such as setting changes in the game.
  • the charging circuit 416 is used to charge the battery 414 by receiving power from the game controller 300 through the charging connector 418.
  • the charged battery 414 is used to drive the external vibration unit 400.
  • the external vibration unit 400 does not have the battery 414 and may be configured to operate by power supply from the game controller 300.
  • Stereo headphone / microphone terminal 412 is used to output an audio signal to external stereo headphones.
  • the stereo headphone / microphone terminal 412 is used to input an audio signal input from an external microphone.
  • the vibration signal input terminal 402 of the external vibration unit 400 is connected to the stereo headphone / microphone terminal 320 of the game controller 300.
  • the microphone terminal 320 cannot be used. That is, headphones or a microphone for listening to normal game sound or chatting cannot be connected to the game controller 300. Therefore, a stereo headphone / microphone terminal 412 may be provided in the external vibration unit 400 itself to enable connection of headphones and a microphone.
  • the amplifier 408 amplifies the audio signal input from the vibration signal input terminal 402. Then, the audio signal amplified by the amplifier is applied to the broadband vibration device 410. That is, the broadband vibration device 410 vibrates by a vibration signal based on the audio signal.
  • the DSP 406 performs a filtering process on the audio signal or a separation process between the audio signal and the vibration signal.
  • the DSP 406 may have AD conversion and DA conversion functions.
  • the broadband vibration device 410 is configured by a voice coil motor (or a piezoelectric actuator, an electromagnetic linear actuator, or the like).
  • the broadband vibration device 410 can control vibrations finer than the eccentric motor 322 of the game controller 300 described above.
  • the ON / OFF switch 420 is used to switch whether the operation of the external vibration unit 400 is turned ON or OFF.
  • FIG. 7 is a diagram showing the voltage applied to the eccentric motor 322 and the vibration acceleration (G value).
  • the eccentric motor 322 is driven by a DC voltage and converges to vibration having a certain amplitude and frequency after a predetermined time has elapsed after the voltage is applied.
  • the eccentric motor 322 vibrates with the amplitude and frequency of vibration associated with each other one to one.
  • FIG. 8 is a diagram showing the voltage applied to the broadband vibration device 410 and vibration acceleration.
  • the broadband vibration device 410 is driven not by a DC voltage but by an analog signal that changes in magnitude and positive / negative with time, such as an audio signal.
  • the broadband vibration device 410 vibrates independently with respect to the amplitude and frequency of vibration. As can be seen from FIG. 8, the broadband vibration device 410 generates acceleration in accordance with the applied voltage waveform with a slight delay from the applied voltage, thereby enabling more detailed vibration expression.
  • the eccentric motor 322 cannot control the vibration amplitude and frequency independently, while the broadband vibration device 410 can control the vibration amplitude and frequency independently. Further, the eccentric motor 322 is less responsive than the broadband vibration device 410. Further, the broadband vibration device 410 can express a vibration simulating the vibration of the eccentric motor 322 by applying the voltage waveform shown in FIG. On the other hand, the eccentric motor 322 has a characteristic that the maximum vibration acceleration generated per volume is larger than that of the broadband vibration device 410.
  • FIG. 5A is a diagram illustrating a method for attaching the external vibration unit 400.
  • the game controller 300 is designed to be held by a user with both hands, and has grip portions formed on both sides so that the user can hold it with hands.
  • the eccentric motor 322 may be arrange
  • Operation keys are arranged on the grip portions on both sides, up / down / left / right keys are arranged on the left grip portion, and four operation buttons are arranged on the right grip portion.
  • joysticks are arranged at the lower right of the up / down / left / right keys and the lower left of the operation buttons.
  • a rectangular touch pad is disposed on the main body between the grip portions on both sides, and a speaker 318 is disposed under the touch pad. Further, a stereo headphone / microphone terminal 320 and an extension terminal 324 are disposed between the two joysticks of the main body.
  • the external vibration unit 400 is made of a flexible material such as plastic. As shown in FIG. 5A, when the opening 422 of the external vibration unit 400 is inserted from the upper part of the main body of the game controller 300, the opening 422 of the external vibration unit 400 is temporarily expanded by bending.
  • the opening 422 of the external vibration unit 400 is fastened at the lower part of the main body of the game controller 300 so as to grasp the main body of the game controller 300.
  • the external vibration unit 400 is fixed to the game controller 300.
  • touch pad opening 422 may be provided in external vibration unit 400 so that touch pad of game controller 300 is not hidden by external vibration unit 400.
  • the vibration signal input terminal 402 and the communication terminal 404 of the external vibration unit 400 are connected to the game controller 300.
  • the external vibration unit 400 is provided with an opening 422 that can be fastened by a latch at a corresponding lower portion of the game controller 300, and the external vibration unit 400 uses the opening 422. It can be attached to the game controller 300.
  • the external vibration unit 400 is fixed in a rigid manner so that there is no gap or displacement with respect to the game controller 300 so that vibration generated by the external vibration unit 400 is sufficiently transmitted to the game controller 300. Is desirable.
  • the external vibration unit 400 includes one wideband vibration device 410
  • the wideband vibration device 410 is disposed at the center with respect to the left-right direction of the game controller 300 as illustrated in FIG. 5B.
  • This arrangement is because it is desirable that vibrations are evenly transmitted to the left and right grip portions held by the user.
  • the broadband vibration device 410 is disposed at a position close to the grip portion of the game controller 300 so that vibration is sufficiently transmitted to the user's hand.
  • the place where the broadband vibration device 410 is arranged may be an upper part of the back of the game controller 300 as shown in FIG. 9 or a lower part of the game controller 300 as shown in FIG. Further, as shown in FIG. 10, it may be a space between the left and right grip portions, and may be disposed at a location far from the center of gravity of the game controller 300.
  • the broken line in FIG. 10 indicates the position of the center of gravity of the game controller 300.
  • a large moment is obtained by arranging the broadband vibration device 410 at a position away from the center of gravity of the game controller 300, and vibration is efficiently transmitted to the user's hand.
  • the vibration signal input terminal 402 and the communication terminal 404 of the external vibration device 400 are connected to the game controller 300.
  • An arrow indicated by c in FIG. 5A indicates that the vibration signal input terminal 402 and the communication terminal 404 are connected to the game controller 300.
  • the external vibration device 400 has a stereo headphone / microphone terminal 412 as shown by c in FIG. 5A. Headphones or microphones are connected to the stereo headphone / microphone terminal 412 from the outside.
  • FIG. 6 is a block diagram showing a system configuration including the game machine 200, the game controller 300, and the external vibration unit 400.
  • the game machine 200 and the game controller 300 are wirelessly connected by wireless communication interfaces 210 and 314.
  • the wireless signal transmitted / received between the game machine 200 and the game controller 300 includes an operation key of the game controller 300 or an operation signal of a joystick or a touch pad as a signal sent from the game controller 300 to the game machine 200.
  • the wireless signal sent from the game controller 300 to the game machine 200 includes a microphone signal connected to the game controller 300 or the external vibration unit 400 or connection information of the stereo headphone / microphone terminal 320.
  • the signal sent from the game controller 300 to the game machine 200 may include a signal indicating whether or not the external vibration unit 400 is connected. Whether or not the external vibration unit 400 is connected is determined by information obtained via the expansion terminal 324 in the game controller 300. In addition, the state of presence / absence of connection of the external vibration unit 400 may be determined by a signal obtained via the stereo headphone / microphone terminal 320.
  • a vibration signal for driving the eccentric motor 322 in the game controller 300 as a signal sent from the game machine 200 to the game controller 300, And an audio signal for driving the speaker 318 is included.
  • the signal sent from the game machine 200 to the game controller 300 includes an audio signal for driving headphones connected to the game controller 300.
  • This audio signal may include a vibration signal for the external vibration unit 400.
  • the game controller 300 and the external vibration unit 400 are connected by a stereo headphone / microphone terminal 320 -vibration signal input terminal 402 and an expansion terminal 324 -communication terminal 404.
  • the signal transmitted from the game controller 300 to the external vibration unit 400 is transmitted.
  • the audio signal A is included as a signal to be transmitted.
  • the audio signal A is input from the vibration signal input terminal 402 and separated into the audio signal B and the vibration signal A by the DSP 406.
  • the audio signal B is an audio signal of game software and is sent to the stereo headphone / microphone terminal 412.
  • the vibration signal A is a signal for driving the broadband vibration device 410
  • the vibration signal A is amplified by the amplifier 408 and then applied to the broadband vibration device 410.
  • the external vibration unit 400 may be configured to receive the audio signal A from the extension terminal 324 via the communication terminal 404 and separate the vibration signal A for the DSP 406 to drive the broadband vibration device 410. . Further, the vibration signal may be sent to the external vibration unit 400 via the extension terminal separately from the audio signal, and the broadband device 410 of the external vibration unit 400 may be vibrated by this vibration signal.
  • the audio signal A may be separated into the audio signal B and the vibration signal A by processing in the game controller 300, and divided into the stereo signals L and R and sent to the external vibration unit 400.
  • the vibration device can be driven, and the headphones connected to the external vibration unit 400 can be driven.
  • the game controller 300 and the external vibration unit 400 can drive the vibration device without performing signal separation processing by superimposing and transmitting the sound signal and the vibration signal to L and R of the sound signal A, respectively. It is.
  • the game machine 200 recognizes this connection.
  • the game machine 200 recognizes the connection of headphones or the like of the game controller 300, the game machine 200 generally changes to a mode in which sound output is not performed from a speaker such as a TV connected to the game machine 200.
  • the external vibration unit 400 is a device for outputting vibrations, even if the vibration signal input terminal 402 is connected to the stereo headphone / microphone terminal 320 of the game controller 300, audio is output from the TV side. It is desirable to continue.
  • the game controller 300 detects that the external vibration unit 400 is connected to the game controller 300, this information may be sent to the game machine 200. Based on this information, the game machine 200 may be switched to a mode in which the audio signal is transmitted to the game controller 300 and the audio is output to the TV or the like at the same time. Note that when external connection is made to the stereo headphone / microphone terminal 412 of the external vibration unit 400, the game machine 200 may be switched to a mode in which sound is not output to a speaker such as a TV.
  • FIG. 11 is a flowchart showing an example of processing in the game machine 200 when a collision event occurs in the game.
  • the CPU 202 of the game machine 200 performs a physical calculation in S102.
  • the CPU 202 determines whether or not an instantaneous collision has occurred in the game based on the physics calculation performed in S102.
  • the process returns to S102. If the CPU 202 determines in S104 that a collision has occurred, the process proceeds to S106. The CPU 202 then outputs a collision vibration signal. At this time, the output vibration signal may be both a vibration signal for the eccentric motor 322 and a vibration signal for the broadband vibration device 410.
  • FIG. 12 is a flowchart showing an example of processing when a friction event occurs in the game.
  • the CPU 202 of the game machine 200 performs a physical calculation in S202.
  • the CPU 202 determines whether or not a continuous collision is occurring in the game based on the physical calculation performed in S202.
  • step S104 the process returns to S202. If the CPU 202 determines in S204 that a continuous collision has occurred, the process proceeds to S206. In step S206, the CPU 202 outputs a frictional vibration signal. At this time, the output vibration signal may be both a vibration signal for the eccentric motor 322 and a vibration signal for the broadband vibration device 410.
  • the eccentric motor 322 and the broadband vibration device 508 are shared, (1) a case where the eccentric motor 322 and the broadband vibration device 508 are mounted together on the left and right grip portions can be considered. As a pattern when the eccentric motor 322 and the broadband vibration device 508 are shared, (2) the eccentric motor 322 is mounted on the left and right grips, and the broadband vibration device 508 is placed at another position (such as near the center of the game controller 500). It may be installed. Further, as a pattern in the case where the eccentric motor 322 and the broadband vibration device 508 are shared, (3) the case where the eccentric motor 322 is mounted on one of the left and right grip portions and the broadband vibration device 508 is mounted on the other side can be considered.
  • FIGS. As an example of a game controller having only the eccentric motor 322, for example, a game in which an eccentric motor having a large weight (large eccentric motor) is mounted on the left grip portion and an eccentric motor having a small weight (small eccentric motor) is mounted on the right grip portion. There is a controller.
  • a game controller 500 shown in FIGS. 13 to 15 has an eccentric motor 322 similar to the eccentric motor large in the left grip portion, and a broadband vibration device 508 instead of a small motor in the right grip portion. With such a configuration, both strong vibration presentation by the eccentric motor 322 and high-definition vibration presentation by the broadband vibration device 508 are compatible.
  • the eccentric motor 322 is driven with the timing and intensity of vibration specified by the game software. By specifying the intensity, the eccentric motor 322 (via a transient state) generates vibrations at a constant frequency. For example, when the strength designation is 256 steps, the small eccentric motor vibrates at 56 Hz with respect to the strength designated value 256, and when the strength designated value is 128, the eccentric motor small vibrates at 28 Hz.
  • the game controller 500 shown in FIGS. 13 to 15 uses the broadband vibration device 508 to vibrate to reproduce the vibration of the small eccentric motor.
  • a vibration signal for that purpose (a sine wave waveform having a constant frequency including a transient state) is generated by the CPU 302 based on a drive signal for the small eccentric motor received by the CPU 302 in the game controller 500.
  • the vibration signal is generated according to the timing of the drive signal for the small eccentric motor and the intensity designation value, and is given to the broadband vibration device 508.
  • the user can obtain an operation feeling similar to that of the game controller having the large and small eccentric motors having different weights by the game controller 500 having the eccentric motor 322 and the broadband vibration device 508.
  • FIG. 14 is a block diagram showing a configuration of a game controller 500 that shares the eccentric motor 322 and the broadband vibration device 508.
  • the game machine 200 of FIG. 14 has the same configuration as the game machine 200 shown in FIG. 2 except that it has an audio interface 216.
  • 14 is the same as the game controller 300 shown in FIG. 2 except that the game controller 500 includes an audio interface 502, an amplifier 504, and an actuator 506.
  • the configuration of FIG. 14 will be described in terms of differences from the configuration of FIG. 2.
  • the audio interface 216 of the game machine 200 transmits an audio signal to the game controller 500 wirelessly.
  • the audio interface 502 of the game controller 500 that has received the audio signal sends a vibration signal based on the received audio signal to the amplifier 504, and the amplifier 504 amplifies the vibration signal.
  • the actuator 506 is driven based on the vibration signal amplified by the amplifier 504.
  • FIG. 15 is a block diagram showing a more detailed configuration of the configuration shown in FIG.
  • a game controller 500 shown in FIG. 15 includes an eccentric motor 322 and a broadband vibration device 508 as vibration devices. Further, the game controller 500 of FIG. 15 may include a broadband vibration changeover switch 510.
  • the broadband vibration changeover switch 510 is a switch for switching the driving state of the broadband vibration device 508 in the game controller 500.
  • the broadband vibration changeover switch 510 is turned off, the game controller 500 behaves in the same manner as a game controller having only two eccentric motors by the method described below.
  • the broadband vibration changeover switch 510 is useful for suppressing an increase in power consumption of the game controller 500 due to the presentation of broadband vibration, for example. Further, the game machine 200 can determine that the game controller 500 connected by the ID recognition or the identifier of the game controller 500 is the game controller 500 equipped with the broadband vibration device 508 (a signal for that purpose is Sent to the game machine 200 as a wireless signal).
  • the game machine 200 recognizes the connection and changes the mode of the game software. Specifically, the CPU 202 of the game machine 200 switches from a state in which a signal for driving only the eccentric motor is transmitted to a state in which a signal for driving the eccentric motor 322 and the broadband vibration device 508 is transmitted. .
  • the wireless audio signal between the game machine 200 and the game controller 500 is exclusively used for the audio signal path input to the stereo headphone / microphone terminal 320 and the vibration signal path. It can be considered that it is also used.
  • the CPU 302 of the game controller 500 switches which path the signal is used in accordance with the ON / OFF state of the broadband vibration changeover switch 510.
  • the broadband vibration changeover switch 510 is OFF, the audio signal is sent to the stereo headphone / microphone terminal 320 as it is.
  • the broadband vibration changeover switch 510 is ON, the stereo headphone / microphone terminal 320 cannot be used, and the audio signal may be used to generate a vibration signal. Then, the broadband vibration device 508 may be driven by the generated vibration signal to realize vibration feedback.
  • Configuration example of a game controller having only a broadband vibration device The configuration example of the game controller 500 including the eccentric motor 322 and the broadband vibration device 508 has been described above. In the following, a configuration example of a game controller having only a broadband vibration device will be described.
  • a mode in which only the broadband vibration device 508 is mounted inside the game controller 600 as shown in FIGS. 16 and 17 can be considered (eccentric motor 322). Is not installed).
  • the wideband vibration device 508 be disposed near the center in the left-right direction of the game controller 600 so that vibration is evenly transmitted to the left and right grip portions.
  • FIG. 17 is a block diagram showing a configuration of the game controller 600 shown in FIG.
  • the game controller 600 shown in FIG. 17 has the same configuration as the game controller 500 shown in FIG. 15 except that the eccentric motor 322 is not provided.
  • the processing mode of the game machine 200 may be changed. For example, a signal obtained by synthesizing two drive signals is applied to the broadband vibration device 508 so that compatibility with the large and small eccentric motors is maintained. As a result, the user can obtain the same operational feeling as the game controller equipped with the large and small eccentric motors by the game controller 600 equipped with only the broadband vibration device 508.
  • the broadband vibration device 508 performs voice presentation, the game controller 600 does not have to include the speaker 318 separately.
  • the external vibration unit 400 having the broadband vibration device 410 that is externally attached to the game controller 300 having the eccentric motor 322 as the vibration device has been proposed.
  • the game controller 500 having both the eccentric motor 322 and the broadband vibration device 508 as vibration devices has been proposed.
  • the game controller 600 having only the broadband vibration device 508 as the vibration device has been proposed.
  • the game controller as proposed above is a device operated by the user to enjoy the game software, and the game machine 200 may change the process according to the characteristics of the connected controller. For example, the game machine 200 may switch the mode of the vibration signal to be automatically output depending on whether or not the external vibration unit 400 is connected, the ID recognition of the game controller, the switching of the broadband vibration changeover switch 510, or the like. Further, the vibration signal mode may be switched by the user himself / herself performing explicit operation switching on the operation screen inside the game.
  • the game machine 200 may change the processing depending on whether or not the game software is compatible with the game controller. That is, the game machine 200 generates the signal only for the eccentric motor, the first software for generating the signal for both the eccentric motor and the broadband vibration device, and the signal for only the broadband vibration device.
  • the processing for the third software is changed according to the software. With this configuration, the game software does not need to be updated for game controllers having different operation characteristics, and system compatibility is realized.
  • processing performed by the game machine 200 for game software with different corresponding vibration devices will be described.
  • FIG. 18 is a diagram illustrating processing performed by the game machine 200 in game software having different vibration devices corresponding to game controllers having different vibration devices.
  • the game controller includes a game controller A having only an eccentric motor (for example, the game controller 300 described above), a game controller B having both the eccentric motor and the broadband vibration device (for example, the game controller 500 described above), and a broadband vibration device. And a game controller C (for example, the game controller 600 described above).
  • the game software corresponds only to the eccentric motor (game software A), corresponds to both the eccentric motor and the broadband vibration device (game software B), and corresponds to only the broadband vibration device (game).
  • software C corresponds only to only the broadband vibration device
  • the game controller B having both the eccentric motor and the broadband vibration device includes a state in which the external vibration unit 400 having the broadband vibration device 410 is attached to the game controller 300 having the eccentric motor 322 described above.
  • the number of vibration devices provided in the game controller is not particularly limited.
  • the controller may be provided with an eccentric motor large and an eccentric motor small having different frequencies (different weights of weights).
  • the process indicated by “ ⁇ ” in FIG. 18 is a process when a game controller corresponding to each game software is used, and the game machine 200 does not perform a special process.
  • the game machine 200 recognizes the characteristics of the game controller or the type of vibration device included in the game controller based on the ID or identifier transmitted from the game controller. For example, when the external vibration unit 400 having the broadband vibration device 410 is attached to the game controller 300 having the eccentric motor 322, the game controller 300 may transmit different identifiers depending on whether or not the external vibration unit 400 is connected. . Further, the game controller 500 having the above-described broadband vibration changeover switch 510 may transmit different identifiers in accordance with the switching of the wideband vibration changeover switch 510.
  • Process A2 a process for utilizing the broadband characteristics of the broadband vibration device is performed.
  • the game software A does not generate a vibration signal for the broadband vibration device.
  • a vibration signal suitable for the broadband vibration device is generated. For example, gun sound or car engine sound in game software is used.
  • the vibration signal for the eccentric motor is output to the eccentric motor, and the analog waveform obtained by processing the sound signal of the game is output to the broadband vibration device as the vibration signal.
  • the CPU 202 of the game machine 200 may perform low-pass filtering on the game sound signal to separate and extract a low-frequency component from the sound signal.
  • the low-frequency component of the separated and extracted audio signal may be provided to the broadband vibration device via an amplifier as a vibration signal suitable for vibration presentation.
  • the low frequency component of the game sound signal (corresponding to the sound signal A of FIG. 6) may be separated and extracted.
  • the low frequency component of the audio signal is separated and extracted by the DSP 406 (or analog circuit) inside the external vibration unit 400 of FIG.
  • the human tactile receptor has a characteristic of sensing only vibrations in a relatively low frequency band such as 500 Hz or less
  • the low frequency component of the audio signal is suitable as a signal used for the vibration signal.
  • the high frequency component of the frequency may be used as an audio signal for the headphones.
  • the CPU 202 of the game machine 200 may convert an audio signal in a higher frequency band into a low-frequency signal by processing such as pitch shift (pitch conversion processing). By this pitch shift, the user can sufficiently obtain a vibration sensation regardless of the frequency distribution of the audio signal.
  • the audio signal when the audio signal does not contain a low frequency component, for example, the audio signal may be subjected to pitch shift of the frequency of the audio signal, instead of being processed like a low-pass filter. By this pitch shift, more suitable vibration presentation to the user is realized.
  • Pitch shift performs FFT (Fast Fourier Transform) processing on the audio signal, and shifts the waveform peak so that the converted waveform peak is in a range of 500 Hz or less. Then, by performing inverse Fourier transform on the shifted waveform, a pitch shift is performed, and a vibration signal suitable for driving the broadband vibration device is generated.
  • FFT Fast Fourier Transform
  • the shift amount shifted by the pitch shift may be changed according to the characteristics of the broadband vibration device or the characteristics of the game controller having the broadband vibration device. For example, the shift amount may be determined so that the resonance frequency of the game controller having the broadband vibration device or the broadband vibration device becomes a peak of the waveform after the FFT conversion process.
  • the CPU 202 of the game machine 200 may calculate an effective value of the audio signal for each predetermined section, and generate a vibration signal for the broadband vibration device based on the calculated envelope shape of the audio signal. This process is shown in FIG.
  • FIG. 19A to 19E are diagrams showing waveforms in which the horizontal axis represents time and the vertical axis represents signal amplitude.
  • the waveform a in FIG. 19 shows the waveform of an audio signal (for example, a gun firing sound) generated based on the game.
  • the waveform of b of FIG. 19 shows a waveform after the low-pass filter process is performed on the audio signal of a.
  • the waveform of c in FIG. 19 shows an envelope shape calculated by calculating an effective value for each predetermined section of the waveform of a described above.
  • the waveform d in FIG. 19 is a sine wave indicating the resonance frequency of the broadband vibration device provided in the external vibration unit 400 or the game controller.
  • the waveform represented by e is calculated by calculating the product of the waveform represented by c and the waveform represented by d.
  • the waveform represented by e is used as a vibration signal for the broadband vibration device.
  • the signal band becomes broad and the expressive power of vibration can be enhanced.
  • a game audio signal is processed into a vibration signal for a broadband device.
  • the sound signal of the game may be used as it is as a vibration signal for the broadband vibration device.
  • a signal sent from the game machine 200 to the game controller may be time-shared.
  • the audio signal and the vibration signal are superimposed and transmitted to the game controller or the external vibration unit 400.
  • the DSP 406 in the game controller or the external vibration unit 400 may perform separation processing on the audio signal.
  • the transmitted signal has a special format.
  • the processing A1 and A2 of the game machine 200 for the game controller B having the eccentric motor and the broadband vibration device in the game software A that supports only the eccentric motor has been described above.
  • the process of the game machine 200 with respect to the game controller C which has only a broadband vibration device in the game software A corresponding only to an eccentric motor is demonstrated.
  • the game machine 200 performs the process B1, the process B2, the process B3, or the process B4.
  • Process B1 In the process B1, the same process as the process A1 is performed. Specifically, the CPU 202 of the game machine 200 outputs a vibration signal for the eccentric motor as shown in FIG. 7 to the broadband vibration device. The timing at which the broadband vibration device vibrates depends on whether the vibration signal for the eccentric motor is ON or OFF. When the game software A generates vibration signals for the large eccentric motor and the small eccentric motor, the CPU 202 of the game machine 200 corresponds to the large and small eccentric motors for the plurality of broadband vibration devices included in the game controller C, respectively. A vibration signal may be generated as described above.
  • Process B2 In the process B2, the same process as the process A2 is performed. Specifically, the CPU 202 of the game machine 200 outputs a vibration signal based on the game sound signal to the broadband vibration device. As described above, the CPU 202 of the game machine 200 may extract only the low frequency component from the audio signal and output it as a vibration signal for the broadband vibration device. Further, the CPU 202 of the game machine 200 may pitch-shift the audio signal and output it as a vibration signal for the broadband vibration device.
  • the process B3 is a process when the game controller C has a plurality of broadband vibration devices.
  • the CPU 202 of the game machine 200 outputs a vibration signal for the eccentric motor to one wideband vibration device and outputs a vibration signal based on the sound signal of the game to the other wideband vibration device.
  • the user can obtain high-definition tactile feedback obtained from the eccentric motor and the broadband vibration device using a game controller having only the broadband vibration device.
  • Process B4 is a process that combines process B1 and process B2. Specifically, the CPU 202 of the game machine 200 superimposes the vibration signal for the eccentric motor output in the process B1 and the vibration signal based on the game sound signal output in the process B2, and outputs it to the broadband vibration device. To do.
  • FIG. 20 shows an example of the configuration of the apparatus in the case where the vibration signal for the eccentric motor and the vibration signal based on the audio signal are output in a superimposed manner.
  • the game machine 200 includes a vibration signal generation unit 218 and an audio signal generation unit 220, and includes a mixer 222 that mixes the respective signals into one signal. Since the wideband vibration device which is the subject of the present disclosure has an output in a wide frequency band from vibration to sound, both can be mixed and handled as a vibration signal. Therefore, on the output side (game machine 200), it is possible to handle the audio output and the vibration output with one signal path.
  • the mixed signal received from the game machine 200 is amplified by the amplifier 330, and the vibration device 332 vibrates.
  • Game machine processing in game software that supports eccentric motors and broadband vibration devices In the above, the process of the game machine 200 in the game software A corresponding only to the eccentric motor has been described. Hereinafter, processing of the game machine 200 in the game software B corresponding to the eccentric motor and the broadband vibration device will be described. As shown in FIG. 18, in the game software B, the game machine 200 performs a process C1, a process C2, or a process C3 on the game controller A having only an eccentric motor. Further, the game machine 200 performs the process D1, the process D2, the process D3, or the process D4 for the game controller C having only the broadband vibration device. Hereinafter, each processing will be described.
  • Process C1 In the game software B, the game machine 200 can generate both a vibration signal for the eccentric motor and a vibration signal for the broadband vibration device. Therefore, in process C1, the game machine 200 outputs a vibration signal for the eccentric motor as shown in FIG. 7 to the game controller A having only the eccentric motor.
  • Process C2 the game machine 200 generates a vibration signal for the eccentric motor based on the vibration signal for the broadband vibration device. This process will be described with reference to FIG.
  • the upper diagram of FIG. 21 shows a vibration signal for the broadband vibration device generated based on the game software B.
  • the CPU 202 of the game machine 200 rises when a value such as the amplitude or effective value of the vibration signal for the broadband vibration device or the average value in time of the amplitude calculated by another method exceeds a predetermined threshold value. Similarly, the falling edge is detected as being falling below a predetermined threshold. These two threshold values may be different values. Then, the CPU 202 of the game machine 200 generates a DC voltage waveform as shown in the lower diagram of FIG. 21 based on the detected rise time and fall time. The game machine 200 outputs this DC voltage waveform to the eccentric motor.
  • Process C3 is a process for game controller A having a large eccentric motor with a large weight and a small eccentric motor with a small weight.
  • the CPU 202 of the game machine 200 may generate a vibration signal for each eccentric motor.
  • the CPU 202 of the game machine 200 detects the rising edge of the vibration signal for the broadband vibration device based on the processing described with reference to FIG. 21, the CPU 202 performs FFT processing on the vibration signal. Then, a low frequency component (for example, 0 to 100 Hz) and a high frequency component (for example, 100 to 200 Hz) are extracted from the vibration signal for the wideband vibration device, and a DC voltage waveform based on each frequency component is generated.
  • a low frequency component for example, 0 to 100 Hz
  • a high frequency component for example, 100 to 200 Hz
  • the CPU 202 of the game machine 200 outputs a DC voltage based on the generated low frequency component as a vibration signal for the large eccentric motor. Similarly, the CPU 202 of the game machine 200 outputs a DC voltage based on the generated high frequency component as a vibration signal for the small eccentric motor. With such a configuration, vibration signals suitable for large and small eccentric motors are generated, so that the user can obtain high-definition tactile feedback.
  • the CPU 202 of the game machine 200 calculates (envelopes) the effective value of the audio signal for each predetermined interval with respect to the vibration signal for the broadband vibration device, and vibrates the eccentric motor based on the calculated envelope shape of the vibration signal.
  • a signal may be generated.
  • FIG. 22 is a diagram showing a process for generating the envelope waveform.
  • the game machine 200 may output this envelope waveform as a vibration signal for the eccentric motor.
  • the envelope shape is directly reflected in the amplitude (DC voltage value) of the input signal to the eccentric motor.
  • the eccentric motor is not highly responsive, when a low voltage is input, It is assumed that the number of rotations of the motor does not increase and sufficient vibration cannot be obtained.
  • the game machine 200 may output a vibration signal obtained by converting the magnitude of the envelope shape into the length of time of pulsed input instead of the amplitude of the input signal of the eccentric motor. Specifically, when the envelope shape is small, the ON time of the pulse is shortened. Conversely, when the envelope shape is large, the ON time of the pulse is long. That is, the waveform input to the eccentric motor is a digital waveform in which the ON and OFF times change.
  • the CPU 202 of the game machine 200 may generate the above-described envelope waveform and perform FFT processing to extract vibration signals for the eccentric motor large and the eccentric motor small depending on the frequency.
  • FIG. 23 is a diagram showing processing for generating this envelope waveform and performing FFT processing.
  • the CPU 202 of the game machine 200 outputs the high frequency component of the generated envelope waveform to the small eccentric motor, and outputs the low frequency component of the envelope waveform to the large eccentric motor. For a predetermined frequency, vibration signals may be output to both the large eccentric motor and the small eccentric motor.
  • the CPU 202 of the game machine 200 drives the eccentric motor based on the envelope shape and mainly generates the low-frequency component. If included, processing is performed to drive the small eccentric motor based on the envelope shape. Further, when both the high frequency component and the low frequency component are included, the vibration signal may be output to both the large eccentric motor and the small eccentric motor. How to deal with the frequency distribution and the eccentric motor is determined based on the characteristics of the eccentric motor, but in general, the smaller (lighter) eccentric motor with a smaller weight is compared with the larger eccentric motor. Since the frequency of vibration for the same input voltage is high, it is suitable for presenting high-frequency vibration.
  • Process D1 the CPU 202 of the game machine 200 outputs a vibration signal for the eccentric motor as shown in FIG. 7 to the broadband vibration device.
  • the CPU 202 of the game machine 200 uses a vibration signal obtained by synthesizing the vibration signals of both the large and small eccentric motors as a broadband vibration. It may be output to the device. With such a configuration, the user can obtain haptic feedback similar to the haptic feedback generated by the large and small eccentric motors.
  • the process D3 is a process for the game controller C having a plurality of broadband vibration devices.
  • the CPU 202 of the game machine 200 may output the vibration signal for the eccentric motor to one broadband vibration device and output the vibration signal for the broadband vibration device to another broadband vibration device.
  • the vibration signal for the eccentric motor that is output to one broadband vibration device at this time may be a vibration signal obtained by combining vibration signals for the large eccentric motor and the small eccentric motor.
  • the CPU 202 of the game machine 200 may output a vibration signal obtained by superimposing the vibration signal for the broadband vibration device and the vibration signal for the eccentric motor to the broadband vibration device.
  • the game machine 200 performs a process E on the game controller A having only an eccentric motor.
  • the game machine 200 performs the process F1 or the process F2 on the game controller B having the eccentric motor and the broadband vibration device.
  • the CPU 202 of the game machine 200 outputs a vibration signal for the broadband vibration device to the eccentric motor.
  • the CPU 202 of the game machine 200 performs processing as shown in FIG. 21, FIG. 22, or FIG. 23, and generates a vibration signal for the eccentric motor based on the vibration signal for the broadband vibration device.
  • Process F1 the CPU 202 of the game machine 200 does not output a vibration signal to the eccentric motor, and outputs a vibration signal for the wideband vibration device only to the wideband vibration device.
  • Process F2 the CPU 202 of the game machine 200 outputs a vibration signal for the broadband vibration device to the eccentric motor.
  • the CPU 202 of the game machine 200 performs processing as shown in FIG. 21, FIG. 22, or FIG. 23, and generates a vibration signal for the eccentric motor based on the vibration signal for the broadband vibration device.
  • the CPU 202 of the game machine 200 outputs a vibration signal generated based on the vibration signal for the broadband vibration device to the eccentric motor, and outputs the vibration signal for the broadband vibration device to the broadband vibration device.
  • the CPU 202 of the game machine 200 can change the control over the game controller in accordance with the type of game software and the characteristics of the game controller. With such a configuration, the user can obtain tactile feedback suitable for the game controller of the user. In addition, the game software does not need to be updated for a game controller having different operation characteristics, thereby realizing system compatibility.
  • the game controller may be configured to transmit information regarding the vibration device of the game controller itself to the game machine 200.
  • the game controller stores in advance at least one of an identifier A indicating that only the eccentric motor is provided, an identifier B indicating that the eccentric motor and the broadband vibration device are included, and an identifier C indicating that only the broadband vibration device is included. You may keep it.
  • the game controller When the game controller is connected to the game machine 200, the game controller transmits any one of the identifier A, the identifier B, or the identifier C to the game machine 200.
  • the game machine 200 that has received the identifier determines the characteristics of the connected game controller from the identifier and switches processing.
  • the game machine 200 may change the process depending on whether or not the external vibration unit 400 is connected.
  • the operation of the game machine 200 in game software produced on the assumption that a game controller such as the game software B shown in FIG. 18 has an eccentric motor and a broadband vibration device will be described.
  • the game controller 300 sends the identifier A to the game machine 200 when the external vibration unit 400 is not connected to the game controller 300.
  • the game machine 200 that has received the identifier A determines that the game controller 300 has only the eccentric motor 322, and sends only the vibration signal for the eccentric motor 322 to the game controller 300 as a vibration signal.
  • the game controller 300 transmits information indicating that the external vibration unit 400 is connected to the game machine 200. That is, the game controller 300 transmits the identifier B to the game machine 200. The game machine 200 that has received the identifier B recognizes the connection of the external vibration unit 400 from the information transmitted from the game controller 300. Then, the game machine 200 sends both a signal for the eccentric motor 322 and a signal for the broadband vibration device 410 to the game controller 300 as vibration signals.
  • the game controller 500 transmits the identifier A to the game machine 200.
  • the game machine 200 that has received the identifier A transmits only the vibration signal for the eccentric motor 322 to the game controller 500.
  • the game controller 500 transmits the identifier B to the game machine 200. Then, the game machine 200 that has received the identifier B transmits a vibration signal for the eccentric motor 322 and a vibration signal for the broadband vibration device 508 to the game controller 500.
  • the game machine 200 switches the processes A1 to F2 shown in FIG. 18 based on the type of game software and the type of game controller.
  • the game machine 200 is executing the game software A corresponding to only the eccentric motor.
  • the game machine 200 transmits only the vibration signal for the eccentric motor to the game controller.
  • the game machine 200 when the game machine 200 receives the identifier B from the game controller, the game machine 200 performs the process A1 or the process A2.
  • the game machine 200 receives the identifier C from the game controller, the game machine 200 performs the process B1, the process B2, the process B3, or the process B4.
  • the game machine 200 when the game machine 200 receives the identifier A from the game controller, the game machine 200 performs the process C1, the process C2, or the process C3.
  • the game machine 200 when the game machine 200 receives the identifier B from the game controller, the game machine 200 transmits a vibration signal for the eccentric motor and a vibration signal for the broadband vibration device to the game controller.
  • the game machine 200 receives the identifier C from the game controller, the game machine 200 performs the process D1, the process D2, the process D3, or the process D4.
  • the game machine 200 when the game machine 200 receives the identifier A from the game controller, the game machine 200 performs the process E.
  • the game machine 200 when the game machine 200 receives the identifier B from the game controller, the game machine 200 performs the process F1 or the process F2. Further, when the game machine 200 receives the identifier C from the game controller, the game machine 200 transmits a vibration signal for the broadband vibration device to the game controller.
  • the game controller may transmit an identifier indicating the type of the vibration device to the game machine 200 based on the type of the vibration device that the game controller has. Further, the game machine 200 may switch the operation based on the identifier received from the game controller. With this configuration, the game software does not need to be updated for game controllers having different operation characteristics, and system compatibility is realized.
  • the operation switching of the game machine 200 has been described by paying attention to the type of vibration device that the game controller has.
  • the operation switching of the game machine 200 may be switched according to characteristics of other game controllers instead of the type of vibration device.
  • the game controller may transmit information regarding its own resonance frequency to the game machine 200.
  • the game machine 200 that has received the resonance frequency of the game controller may change the pitch shift amount described above based on the received resonance frequency. By configuring in this way, the user can obtain larger tactile feedback.
  • Example of operation when game controller generates vibration signal> The example in which the vibration signal is generated in the CPU 202 of the game machine 200 has been described above. However, the vibration signal may be generated in the game controller or in the external vibration unit 400. The configuration of the apparatus in such a case is shown in FIG. In this configuration, the game controller 700 also includes a signal generation unit 338.
  • the signal generation unit 338 of the game controller 700 may be able to generate not only a vibration signal but also an audio signal. Further, a complicated expression linked to the game scene, for example, vibration or audio feedback at the time of a car collision may be generated by the game machine 200.
  • haptic feedback requiring high responsiveness may be performed by a signal generated by a closed path on the game controller cola 700 side.
  • the expression of the feeling of latch according to the inclination of the analog stick is generated in the game controller 700 and is immediately fed back to the user.
  • the user operates the operation unit 310, and the input determination unit 336 detects the content of the operation.
  • the signal generation unit 338 of the game controller 700 generates a vibration signal based on the content determined by the input determination unit 336.
  • the vibration signal generated by the signal generation unit 338 is sent to the amplifier 330, and the amplifier 330 amplifies the vibration signal. Then, the amplified vibration signal causes the vibration device 332 to vibrate.
  • the game controller 700 and the game machine 200 have mixers 222 and 334 that mix two signals (audio signal and vibration signal), and the game controller 700 and the game machine 200 appropriately mix both signals. Can be output.
  • the signal generated by the signal generation unit 338 of the game controller 700 may be preset or may be dynamically generated using a signal generator or an arithmetic unit. Further, the gain of the input of the mixer 334 of the game controller 700 is variable and may be controlled by the game controller feedback operation control unit 224 in the game machine 200 or the game controller 700 itself.
  • data for generating a vibration signal related to the firing of the gun is stored in the game controller 700 in order to minimize a delay in vibration that expresses a feeling of impact when the gun is fired. It may be stored.
  • the game controller 700 When the user operates the operation unit 310 to input a gun firing in the game, the game controller 700 reads the stored gun firing vibration signal, and the signal generation unit 338 outputs the vibration signal. It may be configured to generate.
  • the game controller 700 acquires data for generating a vibration signal. For example, when the game machine 200 loads game software, when the game scene is switched, or when the type of gun is switched, the game machine 200 transmits data for generating a vibration signal to the game controller 700. May be.
  • the data for generating the vibration signal transmitted from the game machine 200 to the game controller 700 may be one type, or a plurality of types of data may be transmitted to the game controller 700.
  • the game controller 700 stores the multiple types of data. Then, when the game machine 200 transmits information indicating that the scene has been switched or the gun type has been switched to the game controller 700, the game controller 700 selects appropriate data from the stored types. May be configured.
  • the game controller 700 may select appropriate data from the plurality of data based on the vibration data type information transmitted by the game machine 200.
  • the game machine 200 does not have to transmit vibration data itself, so that the delay time can be reduced and partial loss of data can be avoided. Further, when the game machine 200 transmits vibration signal type information instead of the vibration signal itself, the operation unit 310 (for example, a dedicated trigger button used when a gun is fired to the game controller) other than when the user is playing the game. There is an advantage that vibration does not occur even if the is operated.
  • the game controller 700 may store predetermined one type of feedback data (for example, data representing the impact of a gun) in a memory from the time of product shipment. Good.
  • predetermined one type of feedback data for example, data representing the impact of a gun
  • the game controller 700 stores a predetermined type of vibration data in advance
  • the game machine 200 transmits only information related to the timing for reproducing the data (for example, when a gun is fired on the game) to the game controller 700. May be.
  • the game machine 200 transmits information indicating which type of data is used to the game controller 700. Also good.
  • the timing of transmitting information indicating feedback data used by the game machine 200 may be when the game is loaded, when the scene is switched, or when the type of gun is switched.
  • the game controller 700 stores a predetermined type of vibration data in advance, the game machine 200 transmits only information regarding the timing of reproducing the data (for example, when a gun is fired on the game) to the game controller. May be.
  • the vibration function of the game controller 700 may be controlled by mixing vibration data generated by the game machine 200 and transmitted to the game controller 700 with vibration data stored in the game controller 700.
  • mixing is performed, reproduction of a simple pattern such as an impact when a gun is fired with low delay and reproduction of a complex pattern of vibration are compatible.
  • vibration is presented to the user using the vibration device.
  • the above-described process is not limited to the case where vibration is presented, and for example, when audio feedback is performed from a game controller.
  • the present invention can also be applied to the case where the game controller uses a motor or the like to feed back the magnitude or hardness of force (not vibration).
  • a vibration signal for a broadband vibration device when a vibration signal for a broadband vibration device is generated based on an audio signal, an appropriate process may be performed on the audio signal.
  • the vibration signal may be generated by performing characteristic correction on the audio signal in accordance with the characteristics of the broadband vibration device. As a result, a vibration signal suitable for the characteristics of the broadband vibration device is generated.
  • filter control that emphasizes vibration may be performed according to the type of game software. For example, when the game software is a shooting game, the filter may be controlled so that vibration related to gun firing is emphasized. Further, when the game software is game software related to car racing, filter control for emphasizing engine sound may be performed. The type of game software may be determined using a tag assigned to the game software.
  • the processing on the vibration signal may be changed according to the type of the audio signal.
  • the vibration signal may not be generated or the vibration device may be controlled not to be vibrated.
  • the type of the audio signal may be determined using a tag assigned to the audio signal.
  • the broadband vibration device vibrates at a timing when it is preferable that the broadband vibration device such as a human voice does not vibrate.
  • the broadband vibration device may be configured to vibrate only when the eccentric motor is vibrating. This is because the timing at which the eccentric motor vibrates is suitable as the timing for giving tactile feedback to the user.
  • image analysis may be performed in the game machine, and the game machine may vibrate the vibration device in a specific scene.
  • the CPU of the game machine determines that it is a soccer PK scene by image analysis, the CPU of the game machine may generate a vibration signal that imitates a heartbeat sound.
  • the user can obtain tactile feedback in accordance with the scene.
  • the broadband vibration device may be inputted with a high frequency band audio signal.
  • the broadband vibration device can also use the function of a speaker, and the speaker can be removed from the game controller.
  • the broadband vibration device is installed on the game controller in such a manner that the audio output efficiency is increased in consideration of the structure of the back cabinet, the reverberation structure, the resonance structure, and the like.
  • the video and audio of the game are generally output from an external device such as a TV.
  • an external device such as a TV.
  • the audio delay in the TV system is large, the video and audio, There is a risk that the timing of vibrations from the controller will shift.
  • the system detects the difference in presentation time (delay time) between the two (by manual input by the user or automatic detection by the apparatus), and controls to delay the presentation time of vibration, for example.
  • the user can feel the ball rolling in the game controller.
  • the broadband vibration device for example, the user can feel the ball rolling in the game controller.
  • the eccentric motor and the broadband vibration device have been described.
  • the contents of the present disclosure can also be applied to LRA (linear actuator having a narrow reproduction frequency band).
  • LRA linear actuator having a narrow reproduction frequency band.
  • LRA has a characteristic that it has high responsiveness and vibration amplitude and frequency can be controlled independently.
  • the control method for the eccentric motor as described above can also be applied to the LRA (driven with a constant frequency AC signal instead of a DC voltage).
  • the LRA is driven by analog vibration similar to that of the wideband vibration device, and thus the above-described control method for the wideband vibration device is also applied to the LRA.
  • the contents of the present disclosure may also be applied to a haptic feedback unit that performs haptic feedback related to electrical stimulation or heat.
  • the game machine changes the control according to the characteristics of the game controller.
  • the user can obtain high-definition tactile feedback using the game controller that the user has.
  • the vibration control mode is changed depending on whether the external vibration unit is attached or not.
  • compatibility with vibration feedback obtained with game software that supports only a single vibration device is ensured.
  • control signal of the vibration device may be generated inside the game controller, may be generated by the game machine, or a control signal in which both are mixed may be generated. Further, a control signal generated based on software produced for a game controller having only an eccentric motor as a vibration device may be appropriately converted into a control signal for a broadband vibration device. Thus, the user can obtain tactile feedback according to the characteristics of the game controller that the user has even when playing the game software corresponding to only the eccentric motor.
  • one eccentric motor and one broadband vibration device may be arranged for each of the left and right grips.
  • a control unit that generates a control signal for controlling the operation of the haptic feedback device having the haptic feedback unit;
  • the information processing apparatus wherein the control unit changes control of the haptic feedback device based on a type of the haptic feedback unit recognized by the control unit.
  • the haptic feedback unit includes a first haptic feedback unit and a second haptic feedback unit that performs haptic feedback different from the first haptic feedback unit.
  • the first haptic feedback unit vibrates with vibration amplitudes and frequencies in a one-to-one correspondence, and the second haptic feedback unit vibrates independently with vibration amplitudes and frequencies (2 ).
  • the control unit changes the control for the haptic feedback device based on first software programmed to generate a signal only for the first haptic feedback unit. Information processing device. (5) The control unit according to (4), wherein the control unit generates a control signal for operating the second haptic feedback unit based on a control signal for the first haptic feedback unit generated from the first software. Information processing device. (6) The information processing apparatus according to (4), wherein the control unit generates a control signal for operating the second haptic feedback unit based on an audio signal generated from the first software. (7) Further, the control unit changes control on the haptic feedback device based on second software programmed to generate control signals for the first haptic feedback unit and the second haptic feedback unit.
  • the information processing apparatus according to any one of (4) to (6).
  • Information processing device The control unit operates the first haptic feedback unit by synthesizing a control signal for the first haptic feedback unit and a control signal for the second haptic feedback unit generated from the second software.
  • the information processing apparatus according to (7), which generates a control signal.
  • a communication unit that communicates with the tactile feedback device; The communication unit receives an identifier indicating the characteristic of the haptic feedback device from the haptic feedback device, The information processing apparatus according to any one of (1) to (10), wherein the control unit changes control of the haptic feedback apparatus based on the identifier. (12) The information processing unit according to (11), wherein the communication unit transmits information used to generate a control signal for causing the haptic feedback device to operate the haptic feedback unit based on the identifier, to the haptic feedback device. apparatus.
  • the haptic feedback device includes a first haptic feedback device having the first haptic feedback unit and / or the second haptic feedback unit, and a second haptic feedback device having the second haptic feedback unit.
  • the information processing apparatus according to any one of (2) to (10).
  • (14) Generating a control signal for controlling the operation of the haptic feedback device having the haptic feedback unit; A control method for changing control of the haptic feedback device based on a type of the haptic feedback unit to be recognized.
  • the information processing apparatus includes a communication unit that communicates with the haptic feedback device and a control unit that generates a control signal that controls the operation of the haptic feedback device.
  • control unit changes control of the haptic feedback device based on a type of the haptic feedback unit recognized by the control unit.
  • the haptic feedback device transmits an identifier indicating characteristics of the haptic feedback device to the information processing device.
  • Control of the first haptic feedback device is performed based on the fact that the second haptic feedback device that performs haptic feedback different from the first haptic feedback device is connected to the first haptic feedback device.
  • the information processing apparatus includes a second vibrator that vibrates differently from the first vibrator.
  • the second vibrator generates vibration having a waveform different from that of the first vibrator.
  • the information processing apparatus (20), wherein the second vibrator generates vibrations having a period different from that of the first vibrator.
  • the information processing apparatus according to (21) or (21), wherein the second vibrator generates a vibration having an amplitude different from that of the first vibrator.
  • the first tactile feedback device presents a tactile sensation by any one of vibration, electrical stimulation, and heat.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ゲームコントローラは特定の振動デバイスしか有さず、ゲームソフトは特定の振動デバイスにしか対応していないため、ユーザは限定された触覚フィードバックしか得られない。 【解決手段】　触覚フィードバック部を有する触覚フィードバック装置の動作を制御する制御信号を生成する制御部を備え、前記制御部は、前記制御部が認識する前記触覚フィードバック部の種類に基づいて前記触覚フィードバック装置に対する制御を変化させる、情報処理装置。

Description

情報処理装置、情報処理方法、情報処理システム
　本開示は、情報処理装置、情報処理方法、情報処理システムに関する。
　近年、テレビジョンゲームにおいて、ユーザにゲーム内で発生するイベントに応じた触覚のフィードバックを行うゲームコントローラが提供されている。当該ゲームコントローラは振動子などの振動デバイスを有し、ユーザは当該振動子の振動によって触覚フィードバックを得ることができる。
　特許文献１には、上述したような振動子を有するテレビジョンゲームに使用されるゲームコントローラが開示されている。特許文献１に開示されているゲームコントローラは、振動子として偏心モータを有することが開示されている。
特開２０１５－１４６８３１
　特許文献１に開示されているゲームコントローラは偏心モータしか有しておらず、またゲームソフトは偏心モータにしか対応していないため、ユーザは限定された触覚フィードバックしか得られない。
　そこで本開示では、制御部が、制御部が認識する触覚フィードバック部の種類に基づいて触覚フィードバック装置に対する制御を変化させる新規かつ改良された情報処理装置を提案する。
　本開示によれば、触覚フィードバック部を有する触覚フィードバック装置の動作を制御する制御信号を生成する制御部を備え、前記制御部は、前記制御部が認識する前記触覚フィードバック部の種類に基づいて前記触覚フィードバック装置に対する制御を変化させる、情報処理装置が提供される。
　以上説明したように本開示によれば、ユーザは触覚フィードバック装置の特性に応じた触覚フィードバックを得ることができる。
　なお、上記の効果は必ずしも限定されず、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
図１は、本開示のシステム構成を表す概略図である。 図２は、図１で示したシステム構成の内部構造を示すブロック図である。 図３は、本開示の外付け振動ユニットの外観を示す図である。 図４は、本開示の外付け振動ユニットの内部構造を示すブロック図である。 図５Ａは、本開示の外付け振動ユニットのゲームコントローラへの取り付け方法を示す図である。 図５Ｂは、本開示の外付け振動ユニットが取り付けられたゲームコントローラの背面を示す図である。 図６は、本開示のシステム構成の内部構造を示すブロック図である。 図７は、偏心モータの振動特性を示す図である。 図８は、広帯域振動デバイスの振動特性を表す図である。 図９は、本開示の外付け振動ユニットの他の取り付け方法を示す図である。 図１０は、本開示の外付け振動ユニットの他の取り付け方法を示す図である。 図１１は、衝突フィードバックを行う際の処理を示すフロー図である。 図１２は、摩擦フィードバックを行う際の処理を示すフロー図である。 図１３は、偏心モータと広帯域振動デバイスを有するゲームコントローラにおける各デバイスの配置位置の一例を示す図である。 図１４は、図１３で示したゲームコントローラを備えるシステムの内部構造を示すブロック図である。 図１５は、図１４で示したゲームコントローラの構成を詳細に示したブロック図である。 図１６は、広帯域振動デバイスのみを有するゲームコントローラにおける広帯域振動デバイスの配置位置の一例を示す図である。 図１７は、図１６で示したゲームコントローラを備えるシステムの内部構造を示すブロック図である。 図１８は、ゲームソフトとゲームコントローラの組み合わせによる処理例を示す図である。 図１９は、ゲームの音声信号に基づいて広帯域振動デバイスに対する振動信号を生成する処理の一例を示す図である。 図２０は、振動信号と音声信号をミキシングして出力する装置の構成の例を示す図である。 図２１は、広帯域振動デバイスに対する振動信号から偏心モータに対する振動信号を生成する処理の一例を示す図である。 図２２は、広帯域振動デバイスに対する振動信号から偏心モータに対する振動信号を生成する処理の他の例を示す図である。 図２３は、広帯域振動デバイスに対する振動信号から偏心モータに対する振動信号を生成する処理の他の例を示す図である。 図２４は、ゲームコントローラ側に振動信号を生成する信号生成部を有する構成例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行う。
　１．システム構成の例
　２．背景
　３．広帯域振動デバイスを有する外付け振動ユニットの構成例
　４．偏心モータおよび広帯域振動デバイスを有するゲームコントローラの構成例
　５．広帯域振動デバイスのみを有するゲームコントローラの構成例
　６．異なる振動デバイスを有するゲームコントローラに対する制御の動作例
　７．ゲーム機が制御を切り替える際の動作例
　８．ゲームコントローラが振動信号を生成する場合の動作例
　９．補足
　１０．むすび
　＜１．システム構成の例＞
　図１は、本実施形態のシステムの構成例を示す図である。本実施形態のシステムは、ディスプレイ１００と、ゲーム機２００と、ゲームコントローラ３００とを備える。例えば、ディスプレイ１００は、ゲーム機２００から出力される画像信号を受信して、ゲーム機２００が処理を行うゲームソフトの画像を表示する。また、ディスプレイ１００がスピーカー１０２を備える場合、スピーカー１０２はゲーム機２００が出力する音声信号に基づいてゲーム機２００が処理を行うゲームソフトに関する音声を出力する。ディスプレイ１００は、画像を表示する機器であればよく、例えばテレビまたはプロジェクタ等であってもよい。
　ゲーム機２００は、ＢＤ（Ｂｌｕｒａｙ　Ｄｉｓｃ）（登録商標）、ＤＶＤまたはＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）のような光学式の記憶媒体に記憶されているゲームソフトを読み取り、当該ゲームソフトの処理を実行する。ゲーム機２００は、ゲームソフトの処理を実行することによって、ゲームソフトに関連する画像信号、音声信号またはゲームコントローラ３００に対する信号を生成する。ゲーム機２００は、生成した画像信号および音声信号をディスプレイ１００に出力し、またゲームコントローラ３００に対してゲームコントローラ３００用の信号を出力する。なお、ゲーム機２００がインターネットに接続される場合、ゲーム機２００はインターネットを介してゲームソフトを実行してもよい。その場合、ゲーム機２００はインターネット上に存在するサーバに接続し、サーバと協働してゲームソフトを実行する。
　ゲームコントローラ３００は、ユーザに触覚フィードバックを行う触覚フィードバック装置の一例である。ゲームコントローラ３００は、ユーザが操作する操作部を有する。ユーザは、操作部を操作することによって、ゲームに対する操作を行う。例えば、ゲーム機２００がロールプレイングゲームのようなゲームソフトを実行している場合、ユーザは操作部を操作することによって、キャラクターをゲーム内で動かすことができる。また、ゲーム機２００がシューティングゲームのようなゲームソフトを実行している場合、ユーザは操作部を操作することによって、銃を発射する動作をゲーム内で行うことができる。なお、ゲームソフトは、触覚フィードバック部に対する制御信号を生成するようにプログラムされたソフトウェアの一例である。
　ゲームコントローラ３００とゲーム機２００は無線または有線で接続されており、ゲームコントローラ３００は、ユーザが操作した内容に応じてゲーム機２００に対して操作信号を送信する。ゲームコントローラ３００から操作信号を受信したゲーム機２００は、当該操作信号を処理し、ゲームソフト内でのキャラクターなどの動作に変換する。
　図２は、上記したゲームシステムの構成を示すブロック図である。ここで、ディスプレイ１００は、スピーカー１０２を備えてもよい。ゲーム機２００は、ＣＰＵ２０２、メモリ２０４、ＨＤＤ２０６（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）、ディスプレイ、無線通信インタフェース２１０、記憶媒体読取部２１２および外部接続端子２１４を備えている。ＣＰＵ２０２は、ゲーム機２００およびゲームコントローラ３００の動作を制御する制御信号を生成する制御部の一例であり、各種の情報を処理する。例えば、ＣＰＵ２０２は、記憶媒体読取部２１２が読み取ったゲームソフトをメモリ２０４等と協働して処理する。メモリ２０４は、ＣＰＵ２０２が処理を実行する際に一時的にデータを記憶する記憶媒体である。
　ＨＤＤ２０６は、一般的にメモリ２０４よりも容量が大きい記憶媒体であり、データを長時間記憶する。例えば、ユーザがインターネットを介してゲームソフトをダウンロードする場合、ＨＤＤ２０６はダウンロードされるゲームソフトを記憶する。また、ゲーム機２００がＴＶ番組等を録画する録画機能を備える場合、ＨＤＤ２０６は録画される動画データを記憶する。
　ディスプレイ２０８は、ゲーム機２００の状態を表すために用いられる。例えば、ゲーム機２００の電源が入っている場合、ディスプレイ２０８は点灯するように構成されてもよい。また、ゲーム機２００の電源が切られている場合、ディスプレイ２０８はゲーム機２００の電源が入っている状態とは異なる色で点灯してもよい。また、ゲーム機２００にエラーが生じている場合、ディスプレイ２０８は点滅するように構成されてもよい。
　無線通信インタフェース２１０は、ゲームコントローラ３００と通信を行う通信部の一例である。無線通信インタフェース２１０は、ゲームソフトに基づいてゲームコントローラ３００と通信する。無線通信インタフェース２１０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）であってもよく、Ｚｉｇｂｅｅ（登録商標）であってもよい。
　記憶媒体読取部２１２は、ゲームソフトなどが記憶されたＢＤ、ＤＶＤまたはＣＤなどの記憶媒体に記憶された情報を読み取る。記憶媒体読取部２１２は、読み取った情報をＣＰＵ２０２に送り、ＣＰＵ２０２はこの情報を処理することによってゲームを実行する。
　外部接続端子２１４は、ディスプレイ１００に画像信号および音声信号を送信する。外部接続端子２１４は、例えばＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（登録商標）であってもよい。ＨＤＭＩは、デジタル信号をＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ　Ｍｉｎｉｍｉｚｅｄ　Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｓｉｇｎａｌｉｎｇ）方式で伝送し、ＣＥＣ（Ｃｏｎｓｕｍｅｒ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｃｏｎｔｒｏｌ）によって機器制御信号を伝送する。また、外部接続端子２１４はＶＧＡ（Ｖｉｄｅｏ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ）端子であってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）であってもよい。
　次にゲームコントローラ３００の構成について説明される。ゲームコントローラ３００は、ＣＰＵ３０２、ジャイロセンサ３０４、加速度センサ３０６、地磁気センサ３０８、操作部３１０およびキー処理部３１２を有する。また、ゲームコントローラ３００は、無線通信インタフェース３１４、アンプ、スピーカー３１８、ステレオヘッドホン／マイク端子３２０、偏心モータ３２２、拡張端子３２４、バッテリ３２６および充電回路３２８を有する。
　ＣＰＵ３０２は、ゲームコントローラ３００に対する制御信号を生成する制御部の一例である。ＣＰＵ３０２は、ゲーム機２００から受信した情報を処理し、またゲームコントローラ３００が有する各センサおよびキー処理部３１２からの情報を処理する。ＣＰＵ３０２は、例えば、各センサから得た情報を処理してゲームコントローラ３００の加速度または傾きなどの状態を算出するように構成されてもよい。また、ＣＰＵは、各センサから得られた情報を単にゲーム機２００に送信し、情報を受け取ったゲーム機２００がゲームコントローラ３００の状態を判定するように構成されてもよい。
　ジャイロセンサ３０４はゲームコントローラ３００の回転を検知し、加速度センサ３０６はゲームコントローラ３００の加速度を検知し、地磁気センサ３０８は地磁気を検知することによってゲームコントローラ３００の向きを検知する。
　操作部３１０は、ユーザが操作することによってゲーム内でのキャラクターなどの操作を行うために用いられる。操作部３１０は、上下左右キーおよび複数のボタンから構成されてもよく、また軸を中心に全方向に回転するジョイスティックから構成されてもよい。キー処理部３１２は、操作部３１０がユーザによって操作された内容を処理し、ＣＰＵ３０２にその情報を送る。
　無線通信インタフェース３１４は、通信部の一例であり、無線通信インタフェース３１４はゲーム機２００と通信を行う。無線通信インタフェース３１４は、例えばゲーム機２００から音声信号を受信してもよく、偏心モータ３２２を動作させるための振動信号を受信してもよい。また無線通信インタフェース３１４は、操作部３１０がユーザによって操作されたことを示す操作信号をゲーム機２００に送信してもよい。
　アンプ３１６は、無線通信インタフェース３１４が受信した音声信号を増幅し、スピーカー３１８に送る。スピーカー３１８は、無線通信インタフェース３１４で受信され、アンプ３１６で増幅された音声信号に基づいて音声を出力する。
　ステレオヘッドホン／マイク端子３２０は、無線通信インタフェース３１４が受信した音声信号を外部のステレオヘッドホンに出力するために用いられる。またステレオヘッドホン／マイク端子３２０は、外部のマイクから入力された音声信号をＣＰＵ３０２に送る。
　偏心モータ３２２は、ユーザに触覚フィードバックを与える触覚フィードバック部の一例である。偏心モータ３２２は、形状に偏りのある錘がモータの回転軸に取り付けられた振動デバイスであり、偏心モータ３２２が回転することによってユーザに振動を与えることができる。偏心モータ３２２は、無線通信インタフェース３１４がゲーム機２００から制御信号として受信した振動信号に基づいて回転する。
　拡張端子３２４は、ゲームコントローラ３００に外部機器を接続するために用いられる。外部機器がゲームコントローラ３００に接続された場合、拡張端子３２４は外部機器に関する情報をＣＰＵ３０２に送る。また拡張端子３２４は、外部機器に対しても情報を送る。拡張端子３２４は、Ｉ２Ｃのようなインタフェースであってもよい。バッテリ３２６は、ゲームコントローラ３００の各部を動作させるための電力を供給する。バッテリ３２６は、充電回路３２８を介して充電される。
　＜２．背景＞
　以上、本実施形態に係るゲームシステムの一般的な構成が示された。以下では、本開示に至った背景について説明される。近年のゲームコントローラでは、上述したように偏心モータ３２２による振動フィードバック機能が搭載され、ゲームの臨場感を強調することが出来るようになっている。このような状況において、ヘッドマウントディスプレイを用いたバーチャルリアリティ体験では、解像度および視野角の向上または立体音響の普及に伴い没入感が強調されてきている。一方、インタラクションに合わせた触覚フィードバックが実現されておらず、ゲーム体験において視覚および聴覚に対して触覚の違和感が際立ってしまうという問題がある。
　ゲームコントローラに用いられている偏心モータ３２２は、駆動周波数と強度を自由に制御できない上に応答性が悪く、偏心モータ３２２は連続したラッチ感または衝撃感またはザラザラ感などの細かい振動表現を実現できないという問題がある。
　また、ゲームソフトは、偏心モータ３２２による触覚フィードバックを前提として作られているため、振動デバイスが別の仕様のデバイスに置き換えられた場合、オリジナルの操作性が損なわれるという問題がある。
　また、アナログスティックやボタンなどの入力操作に応じて、例えば開発者がラッチ感の表現をしたい場合、従来の振動制御信号（振動信号）はホスト側（ゲーム機２００側）で生成されていたため、出力までの遅延が大きくダイレクト感に欠けるという問題がある。
　また、高精細な触覚フィードバックを実現するに当たり、振動だけでなく音声との連動が重要な要素である。しかし、振動デバイスとスピーカーは、別々の部品および駆動回路で構成されるため、それぞれのデバイスに依存する遅延にばらつきが生じる。特に筐体のサイズに制約がある手持ち型のゲームコントローラにおいては、部品点数の増加により電池容量の制約などの問題が発生している。そこで、本願発明者は、上記事情を鑑みて本開示をするに至った。
　＜３．広帯域振動デバイスを有する外付け振動ユニットの構成例＞
　図３は、上述した背景に基づくゲームコントローラ３００に外付けする外付け振動ユニット４００を示す図である。ゲームコントローラ３００に対して広帯域振動フィードバックを実現するための実施形態の１つとして、図３のようにゲームコントローラ３００に外付けする「外付け振動ユニット４００」の形態が考えられる。外付け振動ユニット４００は、ゲームコントローラ３００とは異なる触覚フィードバックを行う第２の触覚フィードバック装置の一例である。外付け振動ユニット４００は、ボイスコイルモータ（あるいはピエゾアクチュエータ、電磁リニアアクチュエータ等）等の広帯域振動デバイスを搭載している。広帯域振動デバイスは、ユーザに触覚フィードバックを与える触覚フィードバック部の一例である。広帯域振動デバイスについては後に詳細に説明される。
　次に外付け振動ユニット４００の形状について説明される。外付け振動ユニット４００は、図３のＡおよびＢに示されるようにゲームコントローラ３００の本体部に嵌合されるように設けられた開口部４２２を有する。また、外付け振動ユニット４００は、コントローラ３００から信号を受け取るために接続される振動信号入力端子４０２と、通信用端子４０４を有する。また、外付け振動ユニット４００は、図３のＡ、ＢおよびＣに示すように、広帯域振動デバイス４１０を有する。また、外付け振動ユニットは、図３のＢおよびＣに示すように、充電コネクタ４１８およびＯＮ／ＯＦＦスイッチ４２０を有する。
　以上では、外付け振動ユニット４００の外観について説明された。以下では、外付け振動ユニット４００の構成についてより詳細に説明される。図４は、外付け振動ユニット４００の構成を示すブロック図である。外付け振動ユニット４００は、振動信号入力用端子４０２、通信用端子４０４、デジタル信号プロセッサ（ＤＳＰ）４０６、アンプ４０８、広帯域振動デバイス４１０、ステレオヘッドホン／マイク端子４１２、バッテリ４１４、充電回路４１６、充電コネクタ４１８およびＯＮ／ＯＦＦスイッチ４２０を有する。
　振動信号入力用端子４０２は、ゲームコントローラ３００のステレオヘッドホン/マイク端子３２０に接続される。振動入力用端子は、ゲーム機２００からゲームコントローラ３００に対して無線伝送された音声信号をゲームコントローラ３００のステレオヘッドホン/マイク端子３２０から受信する。
　通信用端子４０４は、ゲームコントローラ３００の拡張端子３２４に接続される。通信用端子４０４がゲームコントローラ３００の拡張端子３２４に接続されることによって、ゲームコントローラ３００およびゲーム機２００に外付け振動ユニット４００が接続されたことが自動でゲーム機２００に認識される。これによって、ユーザは、ゲーム内で設定変更等の操作を行わなくてよい。
　充電回路４１６は、充電コネクタ４１８を通してゲームコントローラ３００から給電を受けてバッテリ４１４を充電するために使用される。充電されたバッテリ４１４は、外付け振動ユニット４００を駆動させるために使用される。なお、外付け振動ユニット４００はバッテリ４１４を有さず、ゲームコントローラ３００からの給電によって動作するように構成されてもよい。
　ステレオヘッドホン／マイク端子４１２は、音声信号を外部のステレオヘッドホンに出力するために用いられる。またステレオヘッドホン／マイク端子４１２は、外部のマイクから入力された音声信号を入力するために用いられる。外付け振動ユニット４００がゲームコントローラ３００に接続された場合、外付け振動ユニット４００の振動信号入力用端子４０２がゲームコントローラ３００のステレオヘッドホン/マイク端子３２０に接続されるため、ゲームコントローラ３００のステレオヘッドホン/マイク端子３２０は使用できなくなる。つまり、通常のゲーム音声を聞いたりチャットを行ったりするためのヘッドホンまたはマイクがゲームコントローラ３００に接続できなくなる。そこで、外付け振動ユニット４００自体にステレオヘッドホン／マイク端子４１２を設け、ヘッドホンおよびマイクの接続を可能にしてもよい。
　アンプ４０８は、振動信号入力用端子４０２から入力された音声信号を増幅する。そして、アンプで増幅された音声信号が広帯域振動デバイス４１０に印加される。つまり、広帯域振動デバイス４１０は、音声信号に基づく振動信号によって振動する。ＤＳＰ４０６は、音声信号のフィルタ処理または音声信号と振動信号との分離処理などを行う。ＤＳＰ４０６は、ＡＤ変換およびＤＡ変換の機能を有してもよい。
　広帯域振動デバイス４１０は、上述したようにボイスコイルモータ（あるいはピエゾアクチュエータ、電磁リニアアクチュエータ等）等で構成される。広帯域振動デバイス４１０は、上述したゲームコントローラ３００の偏心モータ３２２に比べて細かな振動の制御が可能である。ＯＮ／ＯＦＦスイッチ４２０は、外付け振動ユニット４００の動作をＯＮにするか、ＯＦＦにするかを切り替えるために用いられる。
　ここで、図７および図８を用いて、偏心モータ３２２と広帯域振動デバイス４１０の振動特性が説明される。図７は、偏心モータ３２２に対して印加される電圧と振動加速度（Ｇ値）を示す図である。偏心モータ３２２はＤＣ電圧により駆動され、電圧が印加されてから所定時間を要して一定の振幅および周波数の振動に収束する。図７からわかるように、偏心モータ３２２は振動の振幅と周波数とが一対一に対応付けられて振動する。
　図８は、広帯域振動デバイス４１０に対して印加される電圧と振動加速度を示す図である。広帯域振動デバイス４１０は、ＤＣ電圧ではなく音声信号のような時間とともに大きさと正負が変化するアナログ信号によって駆動される。また広帯域振動デバイス４１０は、振動の振幅と周波数とがそれぞれ独立して振動する。図８からわかるように、広帯域振動デバイス４１０は、印加された電圧から若干遅れて、概ね印加された電圧波形に応じた加速度を発生させるため、より細かな振動表現が可能となる。
　上述したように、偏心モータ３２２は、振動の振幅と周波数とを独立して制御できず、一方広帯域振動デバイス４１０は、振動の振幅と周波数とを独立して制御できる。また偏心モータ３２２は、広帯域振動デバイス４１０に比べて応答性が低い。また、広帯域振動デバイス４１０は、図７で示される電圧波形を印加することで、偏心モータ３２２の振動を模した振動を表現することができる。一方、偏心モータ３２２は、体積当たりの最大発生振動加速度が広帯域振動デバイス４１０に比べて大きいという特性がある。
　以上では、外付け振動ユニット４００の構成について説明された。以下では、外付け振動ユニット４００をコント路0ら３００に取り付ける取り付け方法が説明される。図５Ａは、外付け振動ユニット４００の取り付け方法を示す図である。最初に、ゲームコントローラ３００の形状について説明される。ゲームコントローラ３００は、ユーザが両手で保持するように設計されており、両側にユーザが手で保持するように形成されているグリップ部を有する。なお、両グリップ部内には偏心モータ３２２が配置されていてもよい。
　両側のグリップ部上には操作キーが配置されており、左側のグリップ部の上には上下左右キーが配置され、右側のグリップ部の上には４つの操作ボタンが配置されている。また、上下左右キーの右下および操作ボタンの左下にはジョイスティックがそれぞれ配置されている。
　また、両側のグリップ部の間にある本体部には、四角形のタッチパッドが配置されており、タッチパッドの下にはスピーカー３１８が配置されている。また、本体部の、２つのジョイスティックの間にはステレオヘッドホン／マイク端子３２０および拡張端子３２４が配置されている。
　外付け振動ユニット４００は、プラスチックなどの可撓制を有する素材から構成されている。図５Ａのａに示されるようにゲームコントローラ３００の本体部上部から外付け振動ユニット４００の開口部４２２が差し込まれると、外付け振動ユニット４００の開口部４２２は撓むことによって一旦広がる。
　そして、図５Ａのｂに示されるように外付け振動ユニット４００の開口部４２２は、ゲームコントローラ３００の本体部を掴むようにゲームコントローラ３００の本体部の下部で締結される。これによって外付け振動ユニット４００は、ゲームコントローラ３００に固定される。このとき、図５Ａに示されるように外付け振動ユニット４００によってゲームコントローラ３００のタッチパッドが隠れないように、外付け振動ユニット４００にはタッチパッド用の開口部４２２が設けられていてもよい。最後に、図５Ａのｃに示されるように、外付け振動ユニット４００の振動信号入力用端子４０２および通信用端子４０４が、ゲームコントローラ３００に接続される。
　上述した構成を換言すると、外付け振動ユニット４００はゲームコントローラ３００の下側の対応する部分にラッチにより締結可能な開口部４２２を設けており、外付け振動ユニット４００はこの開口部４２２を用いてゲームコントローラ３００への取り付けを行うことが可能である。
　なお、外付け振動ユニット４００で発生した振動が十分にゲームコントローラ３００に伝わるように、外付け振動ユニット４００はゲームコントローラ３００に対して隙間およびずれが無いようにリジットに固定された状態になることが望ましい。
　また、外付け振動ユニット４００に備えられる広帯域振動デバイス４１０が１つである場合、図５Ｂで示されるように広帯域振動デバイス４１０はゲームコントローラ３００の左右方向に対して中央に配置されることが望ましい。この配置は、ユーザが把持する左右のグリップ部に振動が均等に伝わることが望ましいためである。また、同様に、ユーザの手に振動が十分に伝わるように、広帯域振動デバイス４１０はゲームコントローラ３００のグリップ部に近い位置に配置されることが望ましい。
　広帯域振動デバイス４１０が配置される場所は、図９に示されるようなゲームコントローラ３００背面の上部であってもよく、また図１０に示されるようなゲームコントローラ３００の下部であってもよい。また図１０に示されるように左右のグリップ部の間のスペースであって、ゲームコントローラ３００の重心位置から遠い場所に配置されてもよい。ここで図１０の破線は、ゲームコントローラ３００の重心位置を示す。図１０に示されるように、広帯域振動デバイス４１０がゲームコントローラ３００の重心位置から離れた位置に配置されることによって大きなモーメントが得られ、ユーザの手に効率よく振動が伝えられる。
　上述したように、外付け振動デバイス４００の振動信号入力用端子４０２と通信用端子４０４は、ゲームコントローラ３００に接続される。図５Ａのｃで示される矢印は、振動信号入力用端子４０２と通信用端子４０４が、ゲームコントローラ３００に接続されることを示す。また、外付け振動デバイス４００は、図５Ａのｃで示すようにステレオヘッドホン／マイク端子４１２を有する。ステレオヘッドホン／マイク端子４１２には、外部からヘッドホンまたはマイクが接続される。
　図６は、ゲーム機２００、ゲームコントローラ３００および外付け振動ユニット４００が含まれるシステム構成を示すブロック図である。ゲーム機２００とゲームコントローラ３００は、無線通信インタフェース２１０、３１４によって無線で接続されている。ゲーム機２００とゲームコントローラ３００の間で送受信される無線信号の中には、ゲームコントローラ３００からゲーム機２００に送られる信号としてゲームコントローラ３００の操作キーまたはジョイスティックまたはタッチパッドの操作信号が含まれる。また、ゲームコントローラ３００からゲーム機２００に送られる無線信号には、ゲームコントローラ３００または外付け振動ユニット４００に接続されたマイクの信号またはステレオヘッドホン/マイク端子３２０の接続情報が含まれる。
　また、ゲームコントローラ３００からゲーム機２００に送られる信号には、外付け振動ユニット４００の接続有無を示す信号が含まれてもよい。外付け振動ユニット４００の接続有無の状態は、ゲームコントローラ３００において拡張端子３２４を介して得られる情報によって判断される。また、外付け振動ユニット４００の接続有無の状態は、ステレオヘッドホン/マイク端子３２０を介して得られる信号によって判断されてもよい。
　次に、ゲーム機２００とゲームコントローラ３００との間の無線信号の中には、ゲーム機２００からゲームコントローラ３００に送られる信号として、ゲームコントローラ３００内の偏心モータ３２２を駆動するための振動信号、およびスピーカー３１８を駆動するための音声信号が含まれる。また、ゲーム機２００からゲームコントローラ３００に送られる信号には、ゲームコントローラ３００に接続されるヘッドホン等を駆動するための音声信号が含まれる。この音声信号は、外付け振動ユニット４００用の振動信号を含んでもよい。
　そして、ゲームコントローラ３００と外付け振動ユニット４００は、ステレオヘッドホン／マイク端子３２０－振動信号入力用端子４０２および拡張端子３２４－通信用端子４０４によって接続されている。ステレオヘッドホン／マイク端子３２０－振動信号入力用端子４０２の接続を介してゲームコントローラ３００と外付け振動ユニット４００の間で送受信される信号の中には、ゲームコントローラ３００から外付け振動ユニット４００に送られる信号として音声信号Ａが含まれる。
　音声信号Ａは振動信号入力用端子４０２から入力され、ＤＳＰ４０６によって音声信号Ｂと振動信号Ａに分離される。音声信号Ｂはゲームソフトの音声信号であり、ステレオヘッドホン／マイク端子４１２に送られる。一方、振動信号Ａは広帯域振動デバイス４１０を駆動するための信号であり、振動信号Ａはアンプ４０８で増幅された後に広帯域振動デバイス４１０に印加される。なお、外付け振動ユニット４００は通信用端子４０４を介して拡張端子３２４から音声信号Ａを受信し、ＤＳＰ４０６が広帯域振動デバイス４１０を駆動するための振動信号Ａを分離するように構成されてもよい。また、振動信号が音声信号とは別に拡張端子を介して外付け振動ユニット４００に送られ、外付け振動ユニット４００の広帯域デバイス４１０は、この振動信号によって振動されてもよい。
　以上では、外付け振動ユニット４００内で信号の分離を行うことを前提として説明がされた。しかし、音声信号Ａをゲームコントローラ３００内の処理によって、音声信号Ｂと振動信号Ａに分離し、これをステレオ信号のＬとＲに振り分けて外付け振動ユニット４００に送ってもよい。このように構成することによって、振動デバイスが駆動されるとともに、外付け振動ユニット４００に接続されたヘッドホンが駆動されることも可能である。あるいは、音声信号ＡのＬとＲにそれぞれ音声信号と振動信号を重畳させて送ることによって、ゲームコントローラ３００および外付け振動ユニット４００は信号分離処理を行わずに、振動デバイスを駆動することも可能である。
　なお、ゲームコントローラ３００のステレオヘッドホン/マイク端子３２０に外部からヘッドホン等が接続された場合、ゲーム機２００はこの接続を認識する。ゲーム機２００がゲームコントローラ３００のヘッドホン等の接続を認識した場合、一般的にゲーム機２００はゲーム機２００に接続されたＴＶ等のスピーカーから音声出力を行わないようにするモードに変更する。しかし、本開示による外付け振動ユニット４００は振動を出力するための装置であるため、ゲームコントローラ３００のステレオヘッドホン/マイク端子３２０に振動信号入力用端子４０２が接続されてもＴＶ側から音声の出力をし続けることが望ましい。
　そこで、ゲームコントローラ３００が、ゲームコントローラ３００に外付け振動ユニット４００が接続されている状態であることを検出した場合、この情報がゲーム機２００に送られてもよい。そしてゲーム機２００はこの情報に基づいて、ゲームコントローラ３００への音声信号の送信とＴＶ等への音声出力を同時に行うようなモードに切り替えてもよい。なお、外付け振動ユニット４００のステレオヘッドホン/マイク端子４１２に外部から接続がされた場合、ゲーム機２００はＴＶ等のスピーカーに音声を出力しないモードに切り替えてもよい。
　（衝突および摩擦フィードバックの処理例）
　以上では、外付け振動ユニット４００を用いたシステムの構成例が説明された。以下では、広帯域振動デバイス４１０を備えた外付け振動ユニット４００がゲームコントローラ３００に接続された場合のゲーム機２００での処理例が説明される。
　図１１は、ゲーム内で衝突のイベントが発生したときのゲーム機２００での処理例を表すフロー図である。Ｓ１００において処理が開始されると、Ｓ１０２においてゲーム機２００のＣＰＵ２０２は物理演算を行う。次にＳ１０４において、ＣＰＵ２０２は、Ｓ１０２で行われる物理演算に基づいて瞬間的な衝突がゲームにおいて起こったか否かを判定する。
　Ｓ１０４においてＣＰＵ２０２が、衝突が起こっていないと判定すると処理はＳ１０２に戻る。Ｓ１０４においてＣＰＵ２０２が、衝突が起こっていると判定すると処理はＳ１０６に進む。そしてＣＰＵ２０２は、衝突の振動信号を出力する。このとき、出力される振動信号は、偏心モータ３２２に対する振動信号と広帯域振動デバイス４１０に対する振動信号の両方であってもよい。
　次に摩擦フィードバックが行われるときのゲーム機２００での処理例が説明される。図１２は、ゲーム内で摩擦のイベントが発生したときの処理例を表すフロー図である。Ｓ２００において処理が開始されると、Ｓ２０２においてゲーム機２００のＣＰＵ２０２は物理演算を行う。次にＳ２０４において、ＣＰＵ２０２は、Ｓ２０２で行われる物理演算に基づいて継続的な衝突がゲームにおいて起こっているか否かを判定する。
　Ｓ１０４においてＣＰＵ２０２が、継続的な衝突が起こっていないと判定すると処理はＳ２０２に戻る。Ｓ２０４においてＣＰＵ２０２が、継続的な衝突が起こっていると判定すると処理はＳ２０６に進む。そしてＣＰＵ２０２は、Ｓ２０６において摩擦の振動信号を出力する。このとき、出力される振動信号は、偏心モータ３２２に対する振動信号と広帯域振動デバイス４１０に対する振動信号の両方であってもよい。
　以上では、広帯域振動デバイス４１０を有する外付け振動ユニット４００がゲームコントローラ３００に取り付けられる構成例が説明された。このような構成によって、偏心モータ３２２のみでは表現できなかった細かな触覚フィードバックをユーザに対して行うことができる。また、ゲームコントローラ３００に外付けの振動ユニットを接続するので、偏心モータ３２２のみを有するゲームコントローラ３００を用いて細かな触覚フィードバックが表現される。なお、ゲームコントローラ３００および外付け振動ユニット４００の各要素の位置、取り付け方法、要素の構成等は、図３～図１０に示した構成に限定されない。また、省電力のため、ゲームコントローラ３００に外付け振動ユニット４００が接続されている場合、偏心モータの駆動は行われないような処理がされてもよい。
　＜４．偏心モータおよび広帯域振動デバイスを有するゲームコントローラの構成例＞
　以上では、ゲームコントローラ３００に広帯域振動デバイス４１０を有する外付け振動ユニット４００を接続する例が説明された。以下では、偏心モータと広帯域振動デバイスを有するゲームコントローラの構成例について説明される。
　ゲームコントローラに対して広帯域振動フィードバックが実現されるための別の実施形態として、図１４に示されるようにゲームコントローラ５００内部に偏心モータ３２２と広帯域振動デバイス５０８の双方を搭載する形態が考えられる。振動デバイスの種類は、上述した例と同様である。
　偏心モータ３２２と広帯域振動デバイス５０８を共用する場合のパターンとして、（１）左右のグリップ部のそれぞれに偏心モータ３２２と広帯域振動デバイス５０８を合わせて搭載する場合が考えられる。また偏心モータ３２２と広帯域振動デバイス５０８を共用する場合のパターンとして、（２）左右のグリップ部に偏心モータ３２２を搭載し、別の位置（ゲームコントローラ５００の中心付近など）に広帯域振動デバイス５０８を搭載する場合が考えられる。また偏心モータ３２２と広帯域振動デバイス５０８を共用する場合のパターンとして、（３）左右のグリップ部の片方に偏心モータ３２２、もう一方に広帯域振動デバイス５０８を搭載する場合が考えられる。
　以下では、（３）の場合の構成が図１３から図１５に示される。偏心モータ３２２のみを有するゲームコントローラの例として、例えば左のグリップ部に錘の大きい偏心モータ（偏心モータ大）、右のグリップ部に錘の小さい偏心モータ（偏心モータ小）が搭載されているゲームコントローラがある。図１３から図１５に示されるゲームコントローラ５００は、左のグリップ部に偏心モータ大と同様の偏心モータ３２２を有し、また右のグリップ部にモータ小の代わりの広帯域振動デバイス５０８を有する。このような構成とすることにより、偏心モータ３２２による強い振動提示と広帯域振動デバイス５０８による高精細な振動提示の双方が両立される。
　偏心モータ３２２は、ゲームソフトから振動のタイミングと強度を指定されて駆動される。強度指定により偏心モータ３２２は（過渡状態を経て）、一定の周波数で振動を生成する。例えば、強度指定が２５６段階であった場合、強度指定値２５６に対して偏心モータ小は５６Ｈｚで振動し、強度指定値１２８の場合、偏心モータ小は２８Ｈｚで振動する。
　そこで、図１３から図１５に示されるゲームコントローラ５００は、広帯域振動デバイス５０８によって、偏心モータ小の振動を再現するような振動を行う。そのための振動信号（過渡状態を含む、一定周波数のSin波波形）は、ゲームコントローラ５００内のＣＰＵ３０２が受け取った偏心モータ小に対する駆動信号に基づいて、ＣＰＵ３０２によって生成される。振動信号は、偏心モータ小に対する駆動信号のタイミングと強度指定値に応じて生成され、広帯域振動デバイス５０８に与えられる。
　これにより、ユーザは、錘の重さが異なる偏心モータ大・小の２つを有するゲームコントローラと同様の操作感を偏心モータ３２２および広帯域振動デバイス５０８を有するゲームコントローラ５００によって得ることができる。
　図１４は、偏心モータ３２２と広帯域振動デバイス５０８を共用するゲームコントローラ５００の構成を示すブロック図である。図１４のゲーム機２００は、オーディオインタフェース２１６を有する点を除いて図２で示されたゲーム機２００の構成と同じである。また、図１４のゲームコントローラ５００は、オーディオインタフェース５０２およびアンプ５０４、アクチュエータ５０６を有する点を除いて図２で示されたゲームコントローラ３００の構成と同じである。
　図２の構成と異なる点について図１４の構成を説明すると、ゲーム機２００のオーディオインタフェース２１６は、無線でゲームコントローラ５００に音声信号を送信する。音声信号を受信したゲームコントローラ５００のオーディオインタフェース５０２は、受信した音声信号に基づく振動信号をアンプ５０４に送り、アンプ５０４は振動信号を増幅する。アクチュエータ５０６は、アンプ５０４で増幅された振動信号に基づいて駆動される。
　図１５は、図１４で示された構成をより詳細にした構成を示すブロック図である。図１５で示されるゲームコントローラ５００は、振動デバイスとして偏心モータ３２２と広帯域振動デバイス５０８を有する。また、図１５のゲームコントローラ５００は、広帯域振動切替スイッチ５１０を有していてもよい。
　広帯域振動切替スイッチ５１０は、ゲームコントローラ５００内の広帯域振動デバイス５０８の駆動状態を切り替えるためのスイッチである。広帯域振動切替スイッチ５１０がＯＦＦにされた場合には、ゲームコントローラ５００は以下に述べるような方法により、偏心モータ２個のみを有するゲームコントローラと同様の挙動を示す。
　広帯域振動切替スイッチ５１０は、例えば広帯域振動の提示によるゲームコントローラ５００の消費電力の増大を抑える上で有用である。またゲーム機２００は、ゲームコントローラ５００のＩＤ認識または識別子等により接続されているゲームコントローラ５００が広帯域振動デバイス５０８を搭載したゲームコントローラ５００であることを判断することが可能となる（そのための信号が無線信号としてゲーム機２００に送られる）。
　図１５を用いて、本構成例のゲーム機２００およびゲームコントローラ５００の動作が説明される。図１５のように、広帯域振動デバイス５０８を搭載したゲームコントローラ５００がゲーム機２００に接続された場合、ゲーム機２００はその接続を認識してゲームソフトのモードの変更を行う。具体的には、ゲーム機２００のＣＰＵ２０２は、偏心モータのみを駆動するための信号を送信していた状態から、偏心モータ３２２と広帯域振動デバイス５０８とを駆動するための信号を送信する状態に切り替える。
　ここで、広帯域振動デバイス５０８を駆動するための信号を送信する方法として、音声信号と振動信号を重畳させた信号として送信することが可能である。また、ゲーム機２００とゲームコントローラ５００の間の無線の音声信号は、図１５で示されるようにステレオヘッドホン/マイク端子３２０に入力される音声信号のパスと、振動信号のパスとで排他的に兼用されることが考えらえる。
　この場合ゲームコントローラ５００のＣＰＵ３０２は、広帯域振動切替スイッチ５１０のＯＮ／ＯＦＦ状態に応じてどちらのパスに信号を使用するかを切り替える。広帯域振動切替スイッチ５１０がＯＦＦの場合には、音声信号がそのままステレオヘッドホン/マイク端子３２０に送られる。一方、広帯域振動切替スイッチ５１０がＯＮの場合には、ステレオヘッドホン/マイク端子３２０が使用できなくなり、音声信号は振動信号を生成するために使用されるように構成されてもよい。そして、広帯域振動デバイス５０８は生成された振動信号によって駆動され、振動フィードバックが実現されてもよい。
　＜５．広帯域振動デバイスのみを有するゲームコントローラの構成例＞
　以上では、偏心モータ３２２および広帯域振動デバイス５０８を有するゲームコントローラ５００の構成例が説明された。以下では、広帯域振動デバイスのみを有するゲームコントローラの構成例が説明される。
　ゲームコントローラに対して広帯域振動フィードバックを実現するための別の構成例として、図１６および図１７に示されるようにゲームコントローラ６００内部に広帯域振動デバイス５０８のみを搭載する形態が考えられる（偏心モータ３２２は搭載されない）。図１６に示されたゲームコントローラ６００において、広帯域振動デバイス５０８は、左右のグリップ部に均等に振動が伝わるようにゲームコントローラ６００の左右方向の中央付近に配置されることが望ましい。
　図１７は、図１６で示されたゲームコントローラ６００の構成を示すブロック図である。図１７で示されるゲームコントローラ６００は、偏心モータ３２２を有さない点を除いて、図１５で示されたゲームコントローラ５００と構成は同じである。
　なお、広帯域振動デバイス５０８を搭載したゲームコントローラ６００がゲーム機２００に接続されたことをゲーム機２００が認識すると、ゲーム機２００の処理のモードが変更されてもよい。例えば、偏心モータ大および小との互換性が保たれるように、２つの駆動信号が合成された信号が広帯域振動デバイス５０８に印加される。これによってユーザは偏心モータ大および小を搭載したゲームコントローラと同様の操作感を広帯域振動デバイス５０８のみを搭載したゲームコントローラ６００よって得ることができる。また広帯域振動デバイス５０８が音声提示を行う場合、ゲームコントローラ６００はスピーカー３１８を別途搭載しなくてもよい。
　＜６．異なる特性の振動デバイスを有するゲームコントローラに対する制御の動作例＞
　以上では、振動デバイスとして偏心モータ３２２を有するゲームコントローラ３００に外付けする、広帯域振動デバイス４１０を有する外付け振動ユニット４００を提案した。また、振動デバイスとして偏心モータ３２２および広帯域振動デバイス５０８の双方を有するゲームコントローラ５００を提案した。また、振動デバイスとして広帯域振動デバイス５０８のみを有するゲームコントローラ６００を提案した。
　以上提案したようなゲームコントローラは、ユーザがゲームソフトを楽しむために操作する装置であり、ゲーム機２００は、接続されるコントローラの特性によって処理を変えてもよい。例えば、上述した外付け振動ユニット４００の接続有無あるいはゲームコントローラのＩＤ認識または広帯域振動切替スイッチ５１０の切替等によって、ゲーム機２００は、自動的に出力する振動信号のモードを切り替えてもよい。また、ゲーム内部の操作画面でユーザ自身が明示的な操作切替を行うことによって、振動信号のモードが切り替えられてもよい。
　また、ゲーム機２００は、ゲームソフトがどのような特性のゲームコントローラに対応しているか否かによって、処理を変えてもよい。つまり、ゲーム機２００は偏心モータのみに対する信号を生成する第１のソフトウェアと、偏心モータおよび広帯域振動デバイスの双方に対する信号を生成する第２のソフトウェアと、広帯域振動デバイスに対してのみ信号を生成する第３のソフトウェアとに対する処理をソフトウェアに応じて変える。このように構成されることにより、ゲームソフトは、動作特性が異なるゲームコントローラのためのアップデート対応等が不要となりシステムの互換性が実現される。以下、対応する振動デバイスが異なるゲームソフトに対してゲーム機２００が行う処理について説明される。
　図１８は、備えられる振動デバイスが異なるゲームコントローラと対応する振動デバイスが異なるゲームソフトにおいて、ゲーム機２００が行う処理を表す図である。ゲームコントローラは、偏心モータのみを有するゲームコントローラＡ（例えば、上述したゲームコントローラ３００）と、偏心モータおよび広帯域振動デバイスの双方を有するゲームコントローラＢ（例えば、上述したゲームコントローラ５００）と、広帯域振動デバイスのみを有するゲームコントローラＣ（例えば、上述したゲームコントローラ６００）と、に分けられる。またゲームソフトも同様に、偏心モータのみに対応する場合（ゲームソフトＡ）と、偏心モータおよび広帯域振動デバイスの双方に対応する場合（ゲームソフトＢ）と、広帯域振動デバイスのみに対応する場合（ゲームソフトＣ）と、に分けられる。
　偏心モータおよび広帯域振動デバイスの双方を有するゲームコントローラＢには、上述した偏心モータ３２２を有するゲームコントローラ３００に、広帯域振動デバイス４１０を有する外付け振動ユニット４００が取り付けられた状態が含まれる。なお、ゲームコントローラに備えられる振動デバイスの数は特に限定されない。また、コントローラには、周波数の異なる（錘の重さが異なる）偏心モータ大および偏心モータ小がそれぞれ備えられてもよい。また、図１８において「○」で示されている処理は、それぞれのゲームソフトに対応したゲームコントローラが使用されるときの処理であり、ゲーム機２００は特殊な処理を行わない。
　なお後に詳述するが、ゲーム機２００は、ゲームコントローラから送信されるＩＤまたは識別子に基づいてゲームコントローラの特性またはゲームコントローラが有する振動デバイスの種類を認識する。例えば、偏心モータ３２２を有するゲームコントローラ３００に、広帯域振動デバイス４１０を有する外付け振動ユニット４００が取り付けられる場合、ゲームコントローラ３００は、外付け振動ユニット４００の接続有無によって異なる識別子を送信してもよい。また、上述した広帯域振動切替スイッチ５１０を有するゲームコントローラ５００は、広帯域振動切替スイッチ５１０の切り替えに応じて異なる識別子を送信してもよい。
　（偏心モータのみに対応するゲームソフトにおけるゲーム機の処理）
　最初に、広帯域な振動デバイスを搭載しないゲームコントローラを前提として制作されたゲームソフトＡに対するゲーム機２００の処理について説明する。図１８からわかるように、ゲームソフトＡにおいてゲーム機２００は、偏心モータおよび広帯域振動デバイスの双方を有するゲームコントローラＢに対して処理Ａ１または処理Ａ２を行う。また、ゲーム機２００は、広帯域振動デバイスのみを有するゲームコントローラＣに対して処理Ｂ１または処理Ｂ２または処理Ｂ３を行う。以下、各処理について説明される。
　（処理Ａ１）
　本来、偏心モータに対する振動信号のみを出力するゲームソフトＡでは、偏心モータを駆動する振動信号（パルス状のＤＣ駆動波形）が生成される。処理Ａ１では、ゲーム機２００のＣＰＵ２０２は、偏心モータに対して図７で示したような偏心モータ用の振動信号を生成し、また広帯域振動デバイスに対しても同様に偏心モータ用の振動信号を生成する。これは、上述したように、広帯域振動デバイスは偏心モータと同様の振動を発生することができることによる。なお、広帯域振動デバイスが振動するタイミングは、偏心モータ用の振動信号のＯＮおよびＯＦＦに応じてもよい。
　（処理Ａ２）
　処理Ａ２では、広帯域振動デバイスの広帯域特性を活かすための処理が行われる。ゲームソフトＡは、広帯域振動デバイスに対する振動信号を発生させない。しかし、ゲームソフトＡが生成する音声信号を活用することによって、広帯域振動デバイスに適した振動信号が生成される。例えば、ゲームソフトにおける銃の音声または車のエンジン音などが利用される。
　具体的に処理Ａ２では、偏心モータに対しては偏心モータ用の振動信号が出力され、広帯域振動デバイスに対してはゲームの音声信号を加工したアナログ波形が振動信号として出力される。例えば、ゲーム機２００のＣＰＵ２０２は、ゲームの音声信号に対してローパスフィルタ処理を行い、音声信号から低周波成分を分離および抽出してもよい。分離および抽出された音声信号の低周波成分は、振動提示に適した振動信号としてアンプを介して広帯域振動デバイスに与えられてもよい。
　例えば、図４の外付け振動ユニット４００のような構成により、ゲームの音声信号（図６の音声信号Ａに相当）の低域成分は分離および抽出されてもよい。図４の外付け振動ユニット４００内部のＤＳＰ４０６（あるいはアナログ回路）によって、音声信号の低周波成分が分離および抽出される。
　人間の触覚受容器が５００Ｈｚ以下などの比較的低い周波数帯域の振動のみを感じとる特性を有するので、音声信号の低周波成分は振動信号に利用される信号として適している。また、周波数の高周波成分はヘッドホンに対する音声信号として使用されてもよい。
　上述したように音声信号から低周波成分を分離および抽出することは、音声信号に低周波成分が含まれていたときのみ可能である。つまりゲームの音声信号が、５００Ｈｚ以下のような低域の周波数成分を持たない場合、この音声信号に基づいて広帯域振動デバイスを駆動しても、ユーザは振動感覚を得ることができない。そこで、ゲーム機２００のＣＰＵ２０２は、より高周波である帯域の音声信号をピッチシフト（ピッチ変換処理）のような処理によって低周波の信号に変換してもよい。このピッチシフトにより、音声信号の周波数分布によらず、ユーザは振動感覚を充分に得ることができる。
　よって音声信号に低周波成分が含まれていないとき、例えば、音声信号に対してローパスフィルタのような処理が行われるのではなく、音声信号の周波数のピッチシフトが行われてもよい。このピッチシフトによって、ユーザに対するより好適な振動提示が実現される。
　ピッチシフトは、音声信号に対してＦＦＴ（高速フーリエ変換）の処理を行い、そして変換された波形のピークが５００Ｈｚ以下の範囲になるように波形のピークをシフトさせる。そしてシフトされた波形に対して逆フーリエ変換を行うことにより、ピッチシフトが行われ、広帯域振動デバイスを駆動するのに適した振動信号が生成される。
　なお、ピッチシフトによってシフトされるシフト量は、広帯域振動デバイスの特性または広帯域振動デバイスを有するゲームコントローラの特性に応じて変えられてもよい。例えば、シフト量は、広帯域振動デバイスまたは広帯域振動デバイスを有するゲームコントローラの共振周波数がＦＦＴ変換処理後の波形のピークとなるように決定されてもよい。
　また、ゲーム機２００のＣＰＵ２０２は、一定区間ごとに音声信号の実効値を算出し、算出される音声信号のエンベロープ形状に基づいて広帯域振動デバイスに対する振動信号を生成してもよい。この処理は、図１９に示される。
　上述した処理について、図１９を用いて説明する。図１９のａ～eは横軸が時間、縦軸が信号振幅の、波形を表す図である。図１９のａの波形は、ゲームに基づいて生成される音声信号（例えば、銃の発射音など）の波形を示す。図１９のｂの波形は、ａの音声信号に対してローパスフィルタの処理を行った後の波形を示す。
　また、図１９のｃの波形は、上述したａの波形について一定区間ごとに実効値を計算して算出されるエンベロープ形状を示す。図１９のｄの波形は、外付け振動ユニット４００またはゲームコントローラに備えられる広帯域振動デバイスの共振周波数を示すｓｉｎ波である。そして、ｃで表される波形とｄで表される波形の積を計算することによって、ｅで表される波形が算出される。このｅで表される波形が、広帯域振動デバイスに対する振動信号として使用される。さらに、eの波形に、bの波形を任意の割合で加算することで、信号の帯域がブロードになり、振動の表現力を高めることができる。
　以上では、ゲームの音声信号を加工して広帯域デバイスに対する振動信号とする例が説明された。しかし、ゲームの音声信号は、そのまま広帯域振動デバイスに対する振動信号として使用されてもよい。
　また、ゲーム機２００からゲームコントローラに送られる信号は時分割されてもよい。この場合、音声信号と振動信号は重畳されてゲームコントローラまたは外付け振動ユニット４００に送信される。そしてゲームコントローラまたは外付け振動ユニット４００内のＤＳＰ４０６は、音声信号に対して分離処理をしてもよい。この場合、送信される信号は特殊なフォーマットとなる。
　以上では、偏心モータにのみ対応するゲームソフトＡにおける、偏心モータおよび広帯域振動デバイスを有するゲームコントローラＢに対するゲーム機２００の処理Ａ１およびＡ２が説明された。以下では、偏心モータにのみ対応するゲームソフトＡにおける、広帯域振動デバイスのみを有するゲームコントローラＣに対するゲーム機２００の処理が説明される。この場合において、ゲーム機２００は、処理Ｂ１または処理Ｂ２または処理Ｂ３または処理Ｂ４を行う。
　（処理Ｂ１）
　処理Ｂ１では、処理Ａ１と同様な処理が行われる。具体的には、ゲーム機２００のＣＰＵ２０２は広帯域振動デバイスに対して図７で示したような偏心モータ用の振動信号を出力する。また、広帯域振動デバイスが振動するタイミングは、偏心モータ用の振動信号のＯＮおよびＯＦＦに応じる。なお、ゲームソフトＡが、偏心モータ大および偏心モータ小に対する振動信号を生成する場合、ゲーム機２００のＣＰＵ２０２はゲームコントローラＣが有する複数の広帯域振動デバイスに対してそれぞれ偏心モータ大および小に対応するように振動信号を生成してもよい。
　（処理Ｂ２）
　処理Ｂ２では、処理Ａ２と同様な処理が行われる。具体的には、ゲーム機２００のＣＰＵ２０２は、広帯域振動デバイスに対してゲームの音声信号に基づく振動信号を出力する。上述したように、ゲーム機２００のＣＰＵ２０２は、音声信号から低周波数数成分のみを抽出して広帯域振動デバイスに対する振動信号として出力してもよい。また、ゲーム機２００のＣＰＵ２０２は、音声信号にピッチシフトを行って広帯域振動デバイスに対する振動信号として出力してもよい。
　（処理Ｂ３）
　処理Ｂ３は、ゲームコントローラＣが複数の広帯域振動デバイスを有する場合の処理である。処理Ｂ３では、ゲーム機２００のＣＰＵ２０２は、１つの広帯域振動デバイスに偏心モータ用の振動信号を出力し、他の広帯域振動デバイスにゲームの音声信号に基づく振動信号を出力する。このような処理を行うことによって、ユーザは、広帯域振動デバイスのみを有するゲームコントローラを用いて、偏心モータと広帯域振動デバイスとから得られる高精細な触覚フィードバックを得ることができる。
　（処理Ｂ４）
　処理Ｂ４は、処理Ｂ１および処理Ｂ２を組み合わせた処理である。具体的には、ゲーム機２００のＣＰＵ２０２は、処理Ｂ１で出力された偏心モータ用の振動信号と処理Ｂ２出力されたゲームの音声信号に基づく振動信号とを重ね合わせて広帯域振動デバイスに対して出力する。
　偏心モータ用の振動信号と音声信号に基づく振動信号とを重ね合わせて出力する場合の装置の構成例が図２０に示される。図２０に示されるように、ゲーム機２００は、振動信号生成部２１８と音声信号生成部２２０を有し、それぞれの信号をミキシングして一つの信号にまとめるミキサー２２２を有する。本開示で対象としている広帯域振動デバイスは、振動から音声までの広い周波数帯域の出力をもつため、両方を混ぜ合わせて振動信号として扱うことが可能となる。そのため、出力側（ゲーム機２００）では音声出力と振動出力を一つの信号経路で扱うことが可能となる。ゲームコントローラ７００では、ゲーム機２００から受信したミキシングされた信号がアンプ３３０で増幅され、振動デバイス３３２が振動する。
　（偏心モータおよび広帯域振動デバイスに対応するゲームソフトにおけるゲーム機の処理）
　以上では、偏心モータのみに対応するゲームソフトＡにおけるゲーム機２００の処理が説明された。以下では、偏心モータおよび広帯域振動デバイスに対応するゲームソフトＢにおけるゲーム機２００の処理が説明される。図１８に示されるように、ゲームソフトＢにおいて、ゲーム機２００は、偏心モータのみを有するゲームコントローラＡに対して処理Ｃ１または処理Ｃ２または処理Ｃ３を行う。またゲーム機２００は、広帯域振動デバイスのみを有するゲームコントローラＣに対して処理Ｄ１または処理Ｄ２または処理Ｄ３または処理Ｄ４を行う。以下、それぞれの処理について説明される。
　（処理Ｃ１）
　ゲームソフトＢにおいて、ゲーム機２００は、偏心モータに対する振動信号および広帯域振動デバイスに対する振動信号の両方を生成することができる。よって処理Ｃ１において、ゲーム機２００は、偏心モータのみを有するゲームコントローラＡに対して、図７で示されるような偏心モータ用の振動信号を出力する。
　（処理Ｃ２）
　処理Ｃ２において、ゲーム機２００は、広帯域振動デバイスに対する振動信号に基づいて偏心モータに対する振動信号を生成する。この処理について、図２１を用いて説明される。図２１の上図は、ゲームソフトＢに基づいて生成される広帯域振動デバイスに対する振動信号を示す。
　ゲーム機２００のＣＰＵ２０２は、この広帯域振動デバイスに対する振動信号の振幅、または実効値、または別の方法で計算された振幅の時間内平均値などの値が、所定の閾値以上となったことを立ち上がりとして検出し、同様に、所定の閾値以下になったことを立ち下りとして検出する。この２つの閾値は、別の値であってもよい。そして、ゲーム機２００のＣＰＵ２０２は、検出した立ち上がり時点および立ち下り時点に基づいて図２１の下図に示すようなＤＣ電圧波形を生成する。ゲーム機２００は、このＤＣ電圧波形を偏心モータに対して出力する。
　（処理Ｃ３）
　処理Ｃ３は、錘が大きい偏心モータ大と錘が小さい偏心モータ小とを有するゲームコントローラＡに対する処理である。この場合、ゲーム機２００のＣＰＵ２０２は、それぞれの偏心モータに対する振動信号を生成してもよい。例えば、ゲーム機２００のＣＰＵ２０２は、図２１で説明された処理に基づいて広帯域振動デバイス用の振動信号の立ち上がりを検出するとその振動信号に対してＦＦＴ処理を行う。そして、広帯域振動デバイス用の振動信号から低周波成分（例えば０～１００Ｈｚ）と高周波成分（例えば１００～２００Ｈｚ）を抽出し、それぞれの周波数成分に基づいたＤＣ電圧波形を生成する。
　そして、ゲーム機２００のＣＰＵ２０２は、生成された低周波成分に基づくＤＣ電圧を偏心モータ大に対する振動信号として出力する。また同様に、ゲーム機２００のＣＰＵ２０２は、生成された高周波成分に基づくＤＣ電圧を偏心モータ小に対する振動信号として出力する。このような構成によって、偏心モータ大および小に適した振動信号が生成されるため、ユーザは高精細な触覚フィードバックを得ることができる。
　また、ゲーム機２００のＣＰＵ２０２は、広帯域振動デバイスに対する振動信号に対して一定区間ごとに音声信号の実効値を算出（エンベロープ）し、算出される振動信号のエンベロープ形状に基づいて、偏心モータに対する振動信号を生成してもよい。図２２は、このエンベロープ波形を生成するための処理を示す図である。ゲーム機２００は、このエンベロープ波形を偏心モータに対する振動信号として出力してもよい。なお、図２２では、エンベロープ形状をそのまま偏心モータへの入力信号の振幅（DC電圧値）に反映させているが、偏心モータは応答性が高くないため、低い電圧を入力した場合には、偏心モータの回転数が上がらず、十分な振動が得られないことが想定される。そこで、ゲーム機２００は、エンベロープ形状の大小を、偏心モータの入力信号の振幅ではなく、パルス状の入力の時間の長さに変換したものを振動信号として出力してもよい。具体的には、エンベローブ形状は小さい時には、パルスのON時間が短くなり、逆に大きい時には、パルスのON時間が長くなる。つまり、偏心モータに入力される波形は、ONおよびOFFの時間が変化していくデジタル波形となる。
　また、ゲーム機２００のＣＰＵ２０２は、上述したエンベロープ波形を生成するとともにＦＦＴ処理を行い、周波数によって偏心モータ大および偏心モータ小に対する振動信号を抽出してもよい。図２３は、このエンベロープ波形を生成およびＦＦＴ処理を行う処理を示す図である。ゲーム機２００のＣＰＵ２０２は、生成されたエンベロープ波形の高周波成分を偏心モータ小に対して出力し、エンベロープ波形の低周波成分を偏心モータ大に対して出力する。また、所定の周波数については、偏心モータ大と偏心モータ小の両方に対して振動信号を出力してもよい。例えば、ゲーム機２００のＣＰＵ２０２は、元の広帯域振動デバイスに対する入力信号の周波数成分が、主に高周波成分を含む場合には、エンベロープ形状に基づいて偏心モータ大を駆動し、主に低周波成分を含む場合には、エンベロープ形状に基づいて偏心モータ小を駆動するような処理を行う。また、高周波成分、低周波成分を両方含む場合には、偏心モータ大と偏心モータ小の両方に対して振動信号を出力してもよい。周波数の分布と偏心モータとの対応のさせ方は、偏心モータの特性に基づいて決定されるが、一般的には、錘の小さい（軽い）偏心モータ小の方が、偏心モータ大と比較して、同じ入力電圧に対する振動の周波数が高くなるため、高周波の振動の提示に適している。
　以上では、偏心モータおよび広帯域振動デバイスに対応するゲームソフトＢにおける偏心モータのみを有するゲームコントローラＡに対する処理が説明された。以下では、偏心モータおよび広帯域振動デバイスに対応するゲームソフトＢにおける広帯域振動デバイスのみを有するゲームコントローラＣに対する処理が説明される。
　（処理Ｄ１）
　処理Ｄ１において、ゲーム機２００のＣＰＵ２０２は、図７で示したような偏心モータ用の振動信号を広帯域振動デバイスに対して出力する。なお、ゲームソフトＢが、偏心モータ大および偏心モータ小それぞれに対して振動信号を生成する場合、ゲーム機２００のＣＰＵ２０２は、偏心モータ大および小の両方の振動信号を合成した振動信号を広帯域振動デバイスに対して出力してもよい。このような構成によって、ユーザは偏心モータ大および小が発生させる触覚フィードバックに類似する触覚フィードバックを得ることができる。
　（処理Ｄ２）
　処理Ｄ２において、ゲーム機２００のＣＰＵ２０２は、ゲームソフトＢが生成する広帯域振動デバイス用の振動信号を広帯域振動デバイスに対して出力する。
　（処理Ｄ３）
　処理Ｄ３は、複数の広帯域振動デバイスを有するゲームコントローラＣに対する処理である。この場合、ゲーム機２００のＣＰＵ２０２は、１つの広帯域振動デバイスに対して偏心モータ用の振動信号を出力し、他の広帯域振動デバイスに対して広帯域振動デバイス用の振動信号を出力してもよい。なお、このときに１つの広帯域振動デバイスに対して出力される偏心モータ用の振動信号は、偏心モータ大および偏心モータ小に対する振動信号を合成した振動信号であってもよい。
　（処理Ｄ４）
　処理Ｄ４において、ゲーム機２００のＣＰＵ２０２は、広帯域振動デバイス用の振動信号と偏心モータ用の振動信号を重ね合わせた振動信号を広帯域振動デバイスに対して出力してもよい。
　（広帯域振動デバイスのみに対応するゲームソフトにおけるゲーム機の処理）
　以上では、偏心モータおよび広帯域振動デバイスに対応するゲームソフトＢにおける広帯域振動デバイスのみを有するゲームコントローラＣに対する処理が説明された。以下では、広帯域振動デバイスのみに対応するゲームソフトＣにおける、偏心モータのみを有するゲームコントローラＡに対する処理および偏心モータおよび広帯域振動デバイスを有するコントローラＢに対する処理が説明される。
　図１８に示されるように、ゲームソフトＣにおいて、ゲーム機２００は、偏心モータのみを有するゲームコントローラＡに対して処理Ｅを行う。またゲーム機２００は、偏心モータおよび広帯域振動デバイスを有するゲームコントローラＢに対して処理Ｆ１または処理Ｆ２を行う。
　（処理Ｅ）
　処理Ｅでは、ゲーム機２００のＣＰＵ２０２は、広帯域振動デバイス用の振動信号を偏心モータに対して出力する。例えば、ゲーム機２００のＣＰＵ２０２は、図２１または図２２または図２３で示したような処理を行い、広帯域振動デバイス用の振動信号に基づいて偏心モータに対する振動信号を生成する。
　以上では、広帯域振動デバイスのみに対応するゲームソフトＣにおける偏心モータのみを有するゲームコントローラＡに対する処理が説明された。以下では、広帯域振動デバイスのみに対応するゲームソフトＣにおける偏心モータおよび広帯域振動デバイスを有するゲームコントローラＢに対する処理が説明される。
　（処理Ｆ１）
　処理Ｆ１では、ゲーム機２００のＣＰＵ２０２は、偏心モータに対して振動信号を出力せず、広帯域振動デバイスに対してのみ広帯域振動デバイス用の振動信号を出力する。
　（処理Ｆ２）
　処理Ｆ２では、ゲーム機２００のＣＰＵ２０２は、広帯域振動デバイス用の振動信号を偏心モータに対して出力する。例えば、ゲーム機２００のＣＰＵ２０２は、図２１または図２２または図２３で示したような処理を行い、広帯域振動デバイス用の振動信号に基づいて偏心モータに対する振動信号を生成する。そして、ゲーム機２００のＣＰＵ２０２は、偏心モータに対して広帯域振動デバイス用の振動信号に基づいて生成された振動信号を出力し、広帯域振動デバイスに対して広帯域振動デバイス用の振動信号を出力する。
　上述したように、ゲーム機２００のＣＰＵ２０２は、ゲームソフトの種類およびゲームコントローラの特性に応じて、ゲームコントローラに対する制御を変えることができる。このような構成によって、ユーザは、ユーザが有するゲームコントローラに適した触覚フィードバックを得ることができる。また、ゲームソフトは、動作特性が異なるゲームコントローラのためのアップデート対応等が不要となりシステムの互換性が実現される。
　＜７．ゲーム機が制御を切り替える際の動作例＞
　以上では、異なる特性の振動デバイスを有するゲームコントローラに対する制御の動作例が説明された。以下では、ゲーム機２００が制御を切り替える際の処理動作について説明される。
　ゲームコントローラは、ゲームコントローラ自身が有する振動デバイスに関する情報をゲーム機２００に対して送信するように構成されていてもよい。例えば、ゲームコントローラは、偏心モータのみを有することを示す識別子Ａ、偏心モータおよび広帯域振動デバイスを有することを示す識別子Ｂ、広帯域振動デバイスのみを有することを示す識別子Ｃのうち少なくとも一つを予め記憶しておいてもよい。
　そして、ゲームコントローラがゲーム機２００に接続されたとき、ゲームコントローラは識別子Ａまたは識別子Ｂまたは識別子Ｃのいずれか一つをゲーム機２００に送信する。識別子を受信したゲーム機２００は、この識別子から接続されているゲームコントローラの特性を判断し処理を切り替える。
　例えば、図３から図６で示したようなゲームコントローラ３００に外付け振動ユニット４００が接続される場合、ゲーム機２００は、外付け振動ユニット４００の接続の有無によって処理を変えてもよい。なお、以下では、図１８において示されたゲームソフトＢのようなゲームコントローラが偏心モータおよび広帯域振動デバイスを有することを前提として制作されたゲームソフトにおけるゲーム機２００の動作について説明する。
　図３から６で示した構成の場合、外付け振動ユニット４００がゲームコントローラ３００に接続されていない状態では、ゲームコントローラ３００は識別子Ａをゲーム機２００に送る。そして、識別子Ａを受信したゲーム機２００は、ゲームコントローラ３００が偏心モータ３２２しか有していないことを判断し、振動用の信号として偏心モータ３２２用の振動信号のみをゲームコントローラ３００に送る。
　一方、外付け振動ユニット４００がゲームコントローラ３００に接続された場合、ゲームコントローラ３００は、外付け振動ユニット４００が接続されたことを示す情報をゲーム機２００に送信する。つまりゲームコントローラ３００は、識別子Ｂをゲーム機２００に送信する。識別子Ｂを受信したゲーム機２００は、ゲームコントローラ３００から送信された情報から外付け振動ユニット４００の接続を認識する。そしてゲーム機２００は、振動信号として偏心モータ３２２用の信号と広帯域振動デバイス４１０用の信号の双方をゲームコントローラ３００に送る。
　以上では、図３から図６に示された偏心モータ３２２を有するゲームコントローラ３００に広帯域振動デバイス４１０を有する外付け振動ユニット４００が接続される例が説明された。しかし、図１３から図１５で示された偏心モータ３２２と広帯域振動デバイス５０８を有するゲームコントローラ５００においても同様の動作がなされる。
　つまり、図１３から図１５で示されたゲームコントローラ５００において、広帯域振動切替スイッチ５１０がＯＦＦの状態であれば、ゲームコントローラ５００は識別子Ａをゲーム機２００に送信する。そして識別子Ａを受信したゲーム機２００は、偏心モータ３２２用の振動信号のみをゲームコントローラ５００に送信する。
　また、図１３から図１５で示されたゲームコントローラ５００において、広帯域振動切替スイッチ５１０がＯＮの状態であれば、ゲームコントローラ５００は識別子Ｂをゲーム機２００に送信する。そして識別子Ｂを受信したゲーム機２００は、偏心モータ３２２用の振動信号および広帯域振動デバイス５０８用の振動信号をゲームコントローラ５００に送信する。
　以上では、図１８において示されたゲームソフトＢのようなゲームソフトにおける具体的なゲーム機２００の動作切替の例が説明された。このゲーム機２００の動作切替をより一般的に説明すると、ゲーム機２００は、図１８で示した処理Ａ１～処理Ｆ２までの処理をゲームソフトの種類およびゲームコントローラの種類に基づいて切り替える。
　例えば、偏心モータのみに対応するゲームソフトＡをゲーム機２００が実行している場合について説明する。この場合、ゲーム機２００がゲームコントローラから識別子Ａを受信すると、ゲーム機２００は、偏心モータ用の振動信号のみをゲームコントローラに送信する。
　また、ゲーム機２００がゲームコントローラから識別子Ｂを受信すると、ゲーム機２００は、処理Ａ１または処理Ａ２を行う。また、ゲーム機２００がゲームコントローラから識別子Ｃを受信すると、ゲーム機２００は、処理Ｂ１または処理Ｂ２または処理Ｂ３または処理Ｂ４を行う。
　次に、偏心モータおよび広帯域振動デバイスに対応するゲームソフトＢをゲーム機２００が実行している場合について説明する。この場合、ゲーム機２００がゲームコントローラから識別子Ａを受信すると、ゲーム機２００は、処理Ｃ１または処理Ｃ２または処理Ｃ３を行う。
　また、ゲーム機２００がゲームコントローラから識別子Ｂを受信すると、ゲーム機２００は、偏心モータ用の振動信号と広帯域振動デバイス用の振動信号をゲームコントローラに送信する。また、ゲーム機２００がゲームコントローラから識別子Ｃを受信すると、ゲーム機２００は、処理Ｄ１または処理Ｄ２または処理Ｄ３または処理Ｄ４を行う。
　次に、広帯域振動デバイスのみに対応するゲームソフトＣをゲーム機２００が実行している場合について説明する。この場合、ゲーム機２００がゲームコントローラから識別子Ａを受信すると、ゲーム機２００は、処理Ｅを行う。
　また、ゲーム機２００がゲームコントローラから識別子Ｂを受信すると、ゲーム機２００は、処理Ｆ１または処理Ｆ２を行う。また、ゲーム機２００がゲームコントローラから識別子Ｃを受信すると、ゲーム機２００は、広帯域振動デバイス用の振動信号をゲームコントローラに送信する。
　以上説明したように、ゲームコントローラは、自身が有する振動デバイスの種類に基づいて、その振動デバイスの種類を表す識別子をゲーム機２００に送信してもよい。また、ゲーム機２００は、ゲームコントローラから受信した識別子に基づいて動作を切り替えてもよい。このように構成されることにより、ゲームソフトは、動作特性が異なるゲームコントローラのためのアップデート対応等が不要となりシステムの互換性が実現される。
　以上では、ゲームコントローラが有する振動デバイスの種類に着目してゲーム機２００の動作切替が説明された。しかし、ゲーム機２００の動作切替は振動デバイスの種類ではなく、その他のゲームコントローラの特性に応じて切り替えられてもよい。
　例えば、ゲームコントローラは、自身の共振周波数に関する情報をゲーム機２００に送信してもよい。ゲームコントローラの共振周波数を受信したゲーム機２００は、上述したピッチシフトのシフト量を受信した共振周波数に基づいて変更してもよい。このように構成することによって、ユーザはより大きな触覚フィードバックを得ることができる。
　＜８．ゲームコントローラが振動信号を生成する場合の動作例＞
　以上では、ゲーム機２００のＣＰＵ２０２において振動信号が生成される例が説明された。しかし、振動信号は、ゲームコントローラ内または外付け振動ユニット４００内で生成されてもよい。このような場合の装置の構成が図２４に示される。この構成では、ゲームコントローラ７００も信号生成部３３８を有することを特徴とする。ゲームコントローラ７００の信号生成部３３８は、振動信号だけでなく音声信号も生成できてもよい。また、ゲームのシーンと連動した複雑な表現、例えば、車の衝突時の振動または音声のフィードバックなどはゲーム機２００で信号生成されてもよい。
　またこの構成において、高い応答性が要求される触覚フィードバックは、ゲームコントコーラ７００側に閉じた経路で生成された信号によって行われてもよい。例えば、アナログスティックの傾きに応じたラッチ感の表現などは、ゲームコントローラ７００内で生成されることによって、即座にユーザにフィードバックされる。
　図２４に示された構成では、ユーザが操作部３１０を操作し、入力判定部３３６は操作の内容を検出する。ゲームコントローラ７００の信号生成部３３８は、入力判定部３３６が判定した内容に基づいて振動信号を生成する。信号生成部３３８が生成した振動信号はアンプ３３０に送られ、アンプ３３０は振動信号を増幅する。そして、増幅された振動信号は、振動デバイス３３２を振動させる。
　また、ゲームコントローラ７００およびゲーム機２００は、二系統の信号（音声信号および振動信号）をミキシングするミキサー２２２、３３４を有し、ゲームコントローラ７００およびゲーム機２００は双方の信号を適切に混ぜ合わせて出力することができる。
　なお、ゲームコントローラ７００の信号生成部３３８が生成する信号は、プリセットされていてもよく信号発生器や演算器を用いて動的に生成されてもよい。さらに、ゲームコントローラ７００のミキサー３３４の入力のゲインは可変であり、ゲーム機２００にあるゲームコントローラフィードバック動作制御部２２４またはゲームコントローラ７００自身によって制御されてもよい。
　例えば、シューティングゲームのようなゲームソフトにおいて、銃の発射時の衝撃感を表現する振動の遅延を最小化するために、この銃の発射に関する振動信号を生成するためのデータがゲームコントローラ７００内に記憶されていてもよい。
　そして、ユーザが操作部３１０を操作することによって、ゲームにおいて銃の発射の入力がなされたとき、ゲームコントローラ７００は記憶されている銃の発射の振動信号を読み出し、信号生成部３３８で振動信号を生成するように構成されてもよい。
　振動信号を生成するためのデータをゲームコントローラ７００が取得する方法としては、いくつかの場合がある。例えば、ゲーム機２００がゲームソフトをロードする時またはゲームのシーンが切り替えられる時または銃の種類が切り替えられる時に、ゲーム機２００がゲームコントローラ７００に振動信号を生成するためのデータを送信するようにしてもよい。
　ゲーム機２００がゲームコントローラ７００に送信する振動信号を生成するためのデータは、１種類であってもよく、また複数の種類のデータがゲームコントローラ７００に送信されてもよい。複数の種類のデータがゲーム機２００から送信される場合、ゲームコントローラ７００はその複数の種類のデータを記憶しておく。そして、ゲーム機２００がシーンの切り替えまたは銃の種類の切り替えがあったことを示す情報をゲームコントローラ７００に送信したときに、ゲームコントローラ７００は記憶された複数の種類から適切なデータを選択するように構成されてもよい。また、ゲームコントローラ７００が複数のデータを記憶している場合、ゲーム機２００が送信する振動データの種類情報に基づいて、ゲームコントローラ７００は複数のデータから適切なデータを選択してもよい。
　以上のようにゲームコントローラ７００を構成することによって、ゲーム機２００は振動データ自体を送信しなくてもよいので、遅延時間の縮小ができ、またデータの一部欠損を回避することができる。また、ゲーム機２００が振動信号自体ではなく振動信号の種類情報を送信する場合、ユーザがゲームのプレイ中以外に操作部３１０（例えばゲームコントローラに銃を発射するときに用いられる専用のトリガーボタン）を操作しても振動が発生しないという利点がある。
　また、例えばゲームコントローラ７００がシューティングゲーム専用であった場合、ゲームコントローラ７００は、所定の１種類のフィードバック用データ（例えば銃の衝撃感を表すデータ）を製品出荷時からメモリに記憶していてもよい。このような場合、ユーザがトリガーボタンを操作した際に、ゲームの状況によらず振動データが再生されてもよい。また、ゲームコントローラ７００が予め所定の種類の振動用データを記憶している場合、ゲーム機２００はデータを再生するタイミング（例えばゲーム上での銃の発射時）に関する情報のみをゲームコントローラ７００に送信してもよい。
　また、ゲームコントローラ７００が所定の複数種類のフィードバック用データをメモリに製品出荷時から記憶している場合、ゲーム機２００はどの種類のデータを使用するかを示す情報をゲームコントローラ７００に送信してもよい。ゲーム機２００が使用するフィードバック用データを示す情報を送信するタイミングは、ゲームのロード時またはシーンの切り替え時または銃の種類の切り替え時などであってもよい。または、ゲームコントローラ７００が予め所定の種類の振動用データを記憶している場合、ゲーム機２００はデータを再生するタイミング（例えばゲーム上での銃の発射時）に関する情報のみをゲームコントローラに送信してもよい。
　なお以上では、ゲームコントローラ７００内部に記憶された触覚フィードバック用データを用いて、ゲームコントローラ７００のみで振動制御を行う構成について説明された。しかし、ゲーム機２００で生成され、ゲームコントローラ７００に送信される振動データとゲームコントローラ７００内に記憶された振動データとのミキシングによって、ゲームコントローラ７００の振動機能は制御されてもよい。ミキシングを行った場合、銃を発射した際の衝撃のような単純なパターンの振動の低遅延での再生と、複雑なパターンの振動の再生とが両立される。
　また、以上では、振動デバイスを用いてユーザに振動を提示する場合を例として説明を行ったが、上述した処理は、振動を提示する場合に限らず、例えばゲームコントローラから音声のフィードバックを行う場合や、ゲームコントーラがモータ等を用いて（振動ではなく）力の大きさや硬さなどをフィードバックするような場合にも、同様に適用が可能である。
　＜９．補足＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明した。なお、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属する。
　例えば、広帯域振動デバイスに対する振動信号が音声信号に基づいて生成される場合、音声信号に対して適切な処理が行われてもよい。例えば、振動信号は、音声信号に対して広帯域振動デバイスの特性に合わせた特性補正が行われて生成されてもよい。これによって、広帯域振動デバイスの特性にあった振動信号が生成される。
　また、ゲームソフトの種類に応じて振動を強調するフィルタ制御が行われてもよい。例えば、ゲームソフトがシューティングゲームであった場合、銃の発射に関する振動が強調されるようにフィルタが制御されてもよい。またゲームソフトがカーレースに関するゲームソフトであった場合、エンジン音を強調するフィルタ制御が行われてもよい。ゲームソフトの種類は、ゲームソフトに割り振られたタグを用いて判定されてもよい。
　また、音声信号に基づいて振動信号が生成される場合、振動信号に対する処理は音声信号の種類に応じて変更されてもよい。例えば、音声信号が人の声である場合、振動信号が生成されないまたは、振動デバイスが振動されないように制御されてもよい。音声信号の種類は、音声信号に割り振られたタグを用いて判定されてもよい。
　また、音声信号に基づいて広帯域振動デバイスに対する振動信号が生成される場合、人の声などの広帯域振動デバイスが振動しない方が好ましいタイミングで、広帯域振動デバイスが振動してしまう。よって、偏心モータが振動しているときのみ、広帯域振動デバイスは振動するように構成されてもよい。これは、偏心モータが振動しているタイミングが、ユーザに触覚フィードバックを与えるタイミングとして適しているからである。
　また、ゲーム機において画像解析を行い、ゲーム機は特定のシーンにおいて振動デバイスを振動させてもよい。例えば、画像解析によってゲーム機のＣＰＵが、サッカーのＰＫシーンであると判定すると、ゲーム機のＣＰＵは心拍音を模したような振動信号を生成してもよい。このような構成によって、ユーザはシーンに合わせた触覚フィードバックが得られる。
　また、広帯域振動デバイスは高周波数帯域の音声信号を入力されてもよい。このように構成することで、広帯域振動デバイスはスピーカーの機能も代用し、スピーカーをゲームコントローラから取り除くことが可能とある。この場合、広帯域振動デバイスは、バックキャビネットの構造や反響構造、共振構造などを考慮し、音声の出力効率が高まるような形態でゲームコントローラ上に設置されていることが望ましい。
　また、本システムの場合、ゲームの映像と音声については、ＴＶ等の外部機器から出力されることが一般的となるが、ＴＶシステム内での音声の遅延が大きい場合、映像および音声と、ゲームコントローラからの振動のタイミングがずれてしまう恐れがある。そのため、システムで（ユーザのマニュアル入力もしくは装置での自動検出により）両者の提示時間差（遅延時間）を検出し、例えば振動の方の提示時間を遅らせる制御することが考えられる。
　また、ゲームコントローラ内のスピーカーと広帯域振動デバイスからの振動を同時に提示することで、例えばユーザはゲームコントローラ内でボールが転がる感触が得られる。このような構成によって、ゲームコントローラ内部から感触が発生するような状況を提示することが可能である。
　また、以上では、偏心モータおよび広帯域振動デバイスについて説明された。しかし本開示の内容は、ＬＲＡ（再生周波数帯域の狭いリニアアクチュエータ）にも適用可能である。ＬＲＡは、応答性が高く、振動振幅と周波数とを独立に制御できる、という特性を有する。ＬＲＡが周波数を１つに定めて駆動される場合には、上述したような偏心モータに対する制御手法がＬＲＡにも適用可能である（ＤＣ電圧の代わりに一定周波数のＡＣ信号で駆動）。また、ＬＲＡが駆動周波数を変えて制御される場合、広帯域振動デバイスと同様のアナログ振動でＬＲＡは駆動されるため、上述した広帯域振動デバイスに対する制御手法がＬＲＡにも適用される。また、電気刺激または熱に関する触覚フィードバックを行う触覚フィードバック部についても、本開示の内容が適用されてもよい。
　＜１０．むすび＞
　以上説明したように本開示の実施形態によれば、振動デバイスを有するゲームコントローラにおいて、ゲーム機はゲームコントローラの特性に応じて制御を変える。このような構成によって、ユーザは、自身が有するゲームコントローラを用いて高精細な触覚フィードバックを得ることができる。
　より具体的には、振動デバイスが内蔵された外付け振動ユニットを接続可能なゲームコントローラに対して、外付け振動ユニット装着時と非装着時で振動の制御モードが変更される。また、ゲームコントローラに広帯域振動デバイスを搭載し、適切な信号で制御することにより、仮想物体に触れた時の触感をフィードバックすることが可能となる。また、単一の振動デバイスにのみ対応するゲームソフトで得られていた振動フィードバックとの互換性が担保される。
　また、振動デバイスの制御信号は、ゲームコントローラ内部で生成されてもよく、またゲーム機で生成されてもよく、両者がミキシングされた制御信号が生成されてもよい。また、振動デバイスとして偏心モータのみを有するゲームコントローラ向けに制作されたソフトウェアに基づいて生成される制御信号は、広帯域振動デバイスに対する制御信号に適切に変換されてもよい。これによってユーザは、偏心モータのみに対応したゲームソフトをプレイするときにおいても、自身が有するゲームコントローラの特性に応じた触覚フィードバックを得ることができる。
　また、広帯域振動デバイスが用いられる場合、振動フィードバックと音声フィードバックが同時に出力される。またそのための波形生成およびミキシング処理について説明された。また、ゲームコントローラにおいて、偏心モータと広帯域振動デバイスは、左右のグリップそれぞれに１つずつ配置されてもよい。
　また、本明細書に記載された効果は、あくまで例示であって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　触覚フィードバック部を有する触覚フィードバック装置の動作を制御する制御信号を生成する制御部を備え、
　前記制御部は、前記制御部が認識する前記触覚フィードバック部の種類に基づいて前記触覚フィードバック装置に対する制御を変化させる、情報処理装置。
（２）
　前記触覚フィードバック部は、第１の触覚フィードバック部と前記第１の触覚フィードバック部とは異なる触覚フィードバックを行う第２の触覚フィードバック部とを含む、前記（１）に記載の情報処理装置。
（３）
　前記第１の触覚フィードバック部は振動の振幅と周波数とが一対一に対応付けられて振動し、前記第２の触覚フィードバック部は振動の振幅と周波数とがそれぞれ独立して振動する、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記第１の触覚フィードバック部のみに対する信号を生成するようにプログラムされた第１のソフトウェアに基づいて前記触覚フィードバック装置に対する制御を変化させる、前記（２）または（３）に記載の情報処理装置。
（５）
　前記制御部は、前記第１のソフトウェアから生成される前記第１の触覚フィードバック部に対する制御信号に基づいて前記第２の触覚フィードバック部を動作させる制御信号を生成する、前記（４）に記載の情報処理装置。
（６）
　前記制御部は、前記第１のソフトウェアから生成される音声信号に基づいて前記第２の触覚フィードバック部を動作させる制御信号を生成する、前記（４）に記載の情報処理装置。
（７）
　さらに前記制御部は、前記第１の触覚フィードバック部および前記第２の触覚フィードバック部に対する制御信号を生成するようにプログラムされた第２のソフトウェアに基づいて、前記触覚フィードバック装置に対する制御を変化させる、前記（４）から６のいずれか１項に記載の情報処理装置。
（８）
　前記制御部は、前記第２のソフトウェアから生成される前記第２の触覚フィードバック部に対する制御信号に基づいて前記第１の触覚フィードバック部を動作させる制御信号を生成する、前記（７）に記載の情報処理装置。
（９）
　前記制御部は、前記第２のソフトウェアから生成される前記第１の触覚フィードバック部に対する制御信号と前記第２の触覚フィードバック部に対する制御信号とを合成して前記第１の触覚フィードバック部を動作させる制御信号を生成する、前記（７）に記載の情報処理装置。
（１０）
　さらに前記制御部は、前記第２の触覚フィードバック部に対する信号のみを生成するようにプログラムされた第３のソフトウェアに基づいて、前記触覚フィードバック装置に対する制御を変化させる、前記（７）に記載の情報処理装置。
（１１）
　前記触覚フィードバック装置と通信を行う通信部をさらに備え、
　前記通信部は、前記触覚フィードバック装置の特性を示す識別子を前記触覚フィードバック装置から受信し、
　前記制御部は、前記識別子に基づいて前記触覚フィードバック装置に対する制御を変化させる、前記（１）から１０のいずれか１項に記載の情報処理装置。
（１２）
　前記通信部は、前記識別子に基づいて前記触覚フィードバック装置が前記触覚フィードバック部を動作させる制御信号を生成するために用いられる情報を前記触覚フィードバック装置に送信する、前記（１１）に記載の情報処理装置。
（１３）
　前記触覚フィードバック装置は、前記第１の触覚フィードバック部および／または前記第２の触覚フィードバック部を有する第１の触覚フィードバック装置と、前記第２の触覚フィードバック部を有する第２の触覚フィードバック装置からなる、前記（２）から前記（１０）のいずれか１項に記載の情報処理装置。
（１４）
　触覚フィードバック部を有する触覚フィードバック装置の動作を制御する制御信号を生成し、
　認識する前記触覚フィードバック部の種類に基づいて前記触覚フィードバック装置に対する制御を変化させる、制御方法。
（１５）
　触覚フィードバック部を有する触覚フィードバック装置と、
　前記触覚フィードバック装置と通信する通信部と、前記触覚フィードバック装置の動作を制御する制御信号を生成する制御部とを有する情報処理装置から構成され、
　前記制御部は、前記制御部が認識する前記触覚フィードバック部の種類に基づいて前記触覚フィードバック装置に対する制御を変化させる、情報処理システム。
（１６）
　前記触覚フィードバック装置は、前記触覚フィードバック装置の特性を示す識別子を前記情報処理装置に送信する、前記（１５）に記載の情報処理システム。
（１７）第１の触覚フィードバック装置に、前記第１の触覚フィードバック装置とは異なる触覚フィードバックを行う第２の触覚フィードバック装置が接続されたことに基づいて、前記第１の触覚フィードバック装置に対する制御を変化させる制御部を有する、情報処理装置。
（１８）前記第１の触覚フィードバック装置は、第１の振動子を含む（１７）に記載の情報処理装置。
（１９）前記第２の触覚フィードバック装置は、前記第１の振動子とは異なる振動を行う第２の振動子を含む（１８）に記載の情報処理装置。
（２０）前記第２の振動子は、前記第１の振動子とは異なる波形の振動を発生させる（１９）に記載の情報処理装置。
（２１）前記第２の振動子は、前記第１の振動子とは異なる周期の振動を発生させる（２０）に記載の情報処理装置。
（２２）前記第２の振動子は、前記第１の振動子とは異なる振幅の振動を発生させる（２１）または（２１）に記載の情報処理装置。
（２３）前記第１の触覚フィードバック装置は、振動、電気刺激、熱の内のいずれかの手法で触覚を提示する。
（２４）前記制御部は、前記第２の触覚フィードバック装置が接続されたときと、
　前記第２の触覚フィードバック装置とは異なる触覚フィードバック装置を行う第３の触覚フィードバック装置が接続されたときと、で
　前記第１の触覚フィードバック装置に対する制御を変化させる（１７）に記載の情報処理装置。
　１００　　ディスプレイ
　１０２　　スピーカー
　２００　　ゲーム機
　２０２、３０２　　ＣＰＵ
　２０４　　メモリ
　２０６　　ハードディスクドライブ（ＨＤＤ）
　２０８　　ディスプレイ
　２１０　　無線通信インタフェース
　２１２　　記憶媒体読取部
　２１４　　外部接続端子
　２１６　　オーディオインタフェース
　２１８　　振動信号生成部
　２２０　　音声信号生成部
　２２２　　ミキサー
　２２４　　コントローラ側フィードバック動作制御部
　３００、５００、６００　　ゲームコントローラ
　３１４　　無線通信インタフェース
　３１６、３３０、４０８、５０４　　アンプ
　３２０　　ステレオヘッドホン／マイク端子
　３２２　　偏心モータ
　３２４　　拡張端子
　４００　　外付け振動ユニット
　４０２　　振動信号入力用端子
　４０４　　通信用端子
　４０６　　デジタル信号プロセッサ（ＤＳＰ）
　４１０、５０８　　広帯域振動デバイス
　４１２　　ステレオヘッドホン／マイク端子
　４１４　　バッテリ
　４１６　　充電回路
　５１０　　広帯域振動切替スイッチ

Claims (17)

  1. 　触覚フィードバック部を有する触覚フィードバック装置の動作を制御する制御信号を生成する制御部を備え、
    　前記制御部は、前記制御部が認識する前記触覚フィードバック部の種類に基づいて前記触覚フィードバック装置に対する制御を変化させる、情報処理装置。
  2. 　前記触覚フィードバック部は、第１の触覚フィードバック部と前記第１の触覚フィードバック部とは異なる触覚フィードバックを行う第２の触覚フィードバック部とを含む、請求項１に記載の情報処理装置。
  3. 　前記第１の触覚フィードバック部は振動の振幅と周波数とが一対一に対応付けられて振動し、前記第２の触覚フィードバック部は振動の振幅と周波数とがそれぞれ独立して振動する、請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記第１の触覚フィードバック部のみに対する信号を生成するようにプログラムされた第１のソフトウェアに基づいて前記触覚フィードバック装置に対する制御を変化させる、請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記第１のソフトウェアから生成される前記第１の触覚フィードバック部に対する制御信号に基づいて前記第２の触覚フィードバック部を動作させる制御信号を生成する、請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記第１のソフトウェアから生成される音声信号に基づいて前記第２の触覚フィードバック部を動作させる制御信号を生成する、請求項４に記載の情報処理装置。
  7. 　さらに前記制御部は、前記第１の触覚フィードバック部および前記第２の触覚フィードバック部に対する制御信号を生成するようにプログラムされた第２のソフトウェアに基づいて、前記触覚フィードバック装置に対する制御を変化させる、請求項４に記載の情報処理装置。
  8. 　前記制御部は、前記第２のソフトウェアから生成される前記第２の触覚フィードバック部に対する制御信号に基づいて前記第１の触覚フィードバック部を動作させる制御信号を生成する、請求項７に記載の情報処理装置。
  9. 　前記制御部は、前記第２のソフトウェアから生成される前記第１の触覚フィードバック部に対する制御信号と前記第２の触覚フィードバック部に対する制御信号とを合成して前記第１の触覚フィードバック部を動作させる制御信号を生成する、請求項７に記載の情報処理装置。
  10. 　さらに前記制御部は、前記第２の触覚フィードバック部に対する信号のみを生成するようにプログラムされた第３のソフトウェアに基づいて、前記触覚フィードバック装置に対する制御を変化させる、請求項７に記載の情報処理装置。
  11. 　前記触覚フィードバック装置と通信を行う通信部をさらに備え、
    　前記通信部は、前記触覚フィードバック装置の特性を示す識別子を前記触覚フィードバック装置から受信し、
    　前記制御部は、前記識別子に基づいて前記触覚フィードバック装置に対する制御を変化させる、請求項１に記載の情報処理装置。
  12. 　前記通信部は、前記識別子に基づいて前記触覚フィードバック装置が前記触覚フィードバック部を動作させる制御信号を生成するために用いられる情報を前記触覚フィードバック装置に送信する、請求項１１に記載の情報処理装置。
  13. 　前記触覚フィードバック装置は、前記第１の触覚フィードバック部および／または前記第２の触覚フィードバック部を有する第１の触覚フィードバック装置と、前記第２の触覚フィードバック部を有する第２の触覚フィードバック装置からなる、請求項２に記載の情報処理装置。
  14. 　触覚フィードバック部を有する触覚フィードバック装置の動作を制御する制御信号を生成し、
    　認識する前記触覚フィードバック部の種類に基づいて前記触覚フィードバック装置に対する制御を変化させる、制御方法。
  15. 　触覚フィードバック部を有する触覚フィードバック装置と、
    　前記触覚フィードバック装置と通信する通信部と、前記触覚フィードバック装置の動作を制御する制御信号を生成する制御部とを有する情報処理装置から構成され、
    　前記制御部は、前記制御部が認識する前記触覚フィードバック部の種類に基づいて前記触覚フィードバック装置に対する制御を変化させる、情報処理システム。
  16. 　前記触覚フィードバック装置は、前記触覚フィードバック装置の特性を示す識別子を前記情報処理装置に送信する、請求項１５に記載の情報処理システム。
  17. 　前記情報処理装置は、前記触覚フィードバック装置から受信した前記識別子に基づいて前記触覚フィードバック装置が前記触覚フィードバック部を動作させる制御信号を生成するための情報を前記触覚フィードバック装置に送信する、請求項１６に記載の情報処理システム。
PCT/JP2016/055771 2015-02-27 2016-02-26 情報処理装置、情報処理方法、情報処理システム WO2016136934A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP16755678.6A EP3263195A4 (en) 2015-02-27 2016-02-26 Information processing device, information processing method, information processing system
JP2017502506A JPWO2016136934A1 (ja) 2015-02-27 2016-02-26 情報処理装置、情報処理方法、情報処理システム
CN201680011096.9A CN107249704B (zh) 2015-02-27 2016-02-26 信息处理设备、信息处理方法和信息处理系统
US15/549,033 US10589169B2 (en) 2015-02-27 2016-02-26 Information processing apparatus, information processing method, and information processing system
US16/782,167 US11065537B2 (en) 2015-02-27 2020-02-05 Information processing apparatus, information processing method, and information processing system
US17/363,062 US11701581B2 (en) 2015-02-27 2021-06-30 Information processing apparatus, information processing method, and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562121774P 2015-02-27 2015-02-27
US62/121,774 2015-02-27

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/549,033 A-371-Of-International US10589169B2 (en) 2015-02-27 2016-02-26 Information processing apparatus, information processing method, and information processing system
US16/782,167 Continuation US11065537B2 (en) 2015-02-27 2020-02-05 Information processing apparatus, information processing method, and information processing system

Publications (1)

Publication Number Publication Date
WO2016136934A1 true WO2016136934A1 (ja) 2016-09-01

Family

ID=56788995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055771 WO2016136934A1 (ja) 2015-02-27 2016-02-26 情報処理装置、情報処理方法、情報処理システム

Country Status (5)

Country Link
US (3) US10589169B2 (ja)
EP (1) EP3263195A4 (ja)
JP (1) JPWO2016136934A1 (ja)
CN (1) CN107249704B (ja)
WO (1) WO2016136934A1 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657060A (zh) * 2016-12-21 2017-05-10 惠州Tcl移动通信有限公司 一种基于现实场景的vr通讯方法及系统
JP2018097850A (ja) * 2016-12-08 2018-06-21 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックサラウンド機能
WO2018110319A1 (ja) * 2016-12-15 2018-06-21 株式会社東海理化電機製作所 触聴覚呈示装置
JP2018101243A (ja) * 2016-12-20 2018-06-28 日本電信電話株式会社 生体電気刺激装置、生体電気刺激システムおよび電気刺激提示方法
JP2018102610A (ja) * 2016-12-27 2018-07-05 任天堂株式会社 振動制御システム、振動制御装置、振動制御プログラムおよび振動制御方法
JP2018106599A (ja) * 2016-12-28 2018-07-05 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP2018108296A (ja) * 2017-01-05 2018-07-12 任天堂株式会社 ゲームシステム、ゲームプログラム、情報処理装置、および、情報処理方法
JP2018112820A (ja) * 2017-01-10 2018-07-19 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2019050558A (ja) * 2017-09-08 2019-03-28 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 非オーディオデータを用いたヘッドホン上でのハプティックのレンダリング
JP2019084298A (ja) * 2017-11-10 2019-06-06 株式会社バンダイナムコエンターテインメント 操作入力システム、操作入力装置及びゲームシステム
WO2019220495A1 (ja) * 2018-05-14 2019-11-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2020021481A (ja) * 2018-08-04 2020-02-06 エーエーシー テクノロジーズ ピーティーイー リミテッド シーンベースの振動フィードバック方法および携帯端末
WO2020026443A1 (ja) * 2018-08-03 2020-02-06 株式会社ソニー・インタラクティブエンタテインメント 触覚表現用振動制御システム、触覚表現用振動発生装置、触覚表現用振動制御装置、および触覚表現用振動制御方法
US10639545B2 (en) 2017-01-05 2020-05-05 Nintendo Co., Ltd. Game system, game program, information processing device, and information processing method
WO2020255960A1 (ja) * 2019-06-21 2020-12-24 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、情報処理装置、及び振動制御システム
JP2021068477A (ja) * 2017-01-10 2021-04-30 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2021076739A (ja) * 2019-11-11 2021-05-20 凸版印刷株式会社 信号処理装置、振動装置、信号処理システム、プログラム、信号処理方法
JP2021137529A (ja) * 2020-03-05 2021-09-16 イーエム−テック・カンパニー・リミテッドEM−TECH.Co., Ltd. ゲーム用操作装置及びこれを用いたゲーム駆動システム
JP2021524972A (ja) * 2019-02-22 2021-09-16 シーケー マテリアルズ ラブ カンパニー，リミティド 音響信号を触覚信号に変換させる触覚提供装置及び方法
JP2022131083A (ja) * 2021-02-26 2022-09-07 任天堂株式会社 振動制御システム
WO2022196051A1 (ja) 2021-03-18 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020080122A (ja) * 2018-11-14 2020-05-28 ソニー株式会社 情報処理装置、情報処理方法、および記憶媒体
CN111124114B (zh) * 2019-12-16 2023-09-29 瑞声科技(新加坡)有限公司 自定义振动的方法、装置、计算机设备及存储介质
KR20210088371A (ko) * 2020-01-06 2021-07-14 주식회사 비햅틱스 촉각자극 제공 시스템
US11458386B2 (en) * 2020-02-14 2022-10-04 Valve Corporation Controller with adjustable features
US11358054B2 (en) * 2020-02-18 2022-06-14 Electronic Arts Inc. Systems and methods for transcribing user interface elements of a game application into haptic feedback
CN113018851B (zh) * 2021-05-28 2021-08-06 腾讯科技（深圳）有限公司 游戏处理方法、装置、计算机设备及存储介质
WO2024119033A1 (en) * 2022-12-01 2024-06-06 Microchip Technology Incorporated System and method to convert audio signals to haptic signals

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000140411A (ja) * 1998-11-13 2000-05-23 Hori:Kk ビデオゲーム機の加振式コントローラ
JP2007075419A (ja) * 2005-09-15 2007-03-29 Sony Computer Entertainment Inc 情報処理装置、及びコントローラデバイス
JP2014102830A (ja) * 2012-11-20 2014-06-05 Immersion Corp 触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030040361A1 (en) * 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
DE20080209U1 (de) * 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
CN100375993C (zh) * 2000-09-28 2008-03-19 伊默逊股份有限公司 用于触觉反馈接口设备的有方向触觉反馈
US7161580B2 (en) * 2002-04-25 2007-01-09 Immersion Corporation Haptic feedback using rotary harmonic moving mass
US7791588B2 (en) * 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US8249276B2 (en) 2005-09-15 2012-08-21 Sony Computer Entertainment Inc. Information processor and controller device
US20090233710A1 (en) * 2007-03-12 2009-09-17 Roberts Thomas J Feedback gaming peripheral
US20090079690A1 (en) * 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US9671954B1 (en) * 2011-07-11 2017-06-06 The Boeing Company Tactile feedback devices for configurable touchscreen interfaces
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
JP6071372B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 電子機器及び電子機器の制御方法
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9524624B2 (en) * 2012-12-13 2016-12-20 Immersion Corporation Haptic system with increased LRA bandwidth
US9887574B2 (en) * 2013-03-15 2018-02-06 Globus Medical, Inc. Spinal cord stimulator system
WO2014156642A1 (ja) * 2013-03-25 2014-10-02 Dic株式会社 粘着テープ及び電子機器
CN104238725B (zh) * 2013-06-13 2017-09-29 宏碁股份有限公司 触觉反馈方法及应用该方法的电子装置
JP6285736B2 (ja) 2014-02-04 2018-02-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および入力デバイスの割当方法
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000140411A (ja) * 1998-11-13 2000-05-23 Hori:Kk ビデオゲーム機の加振式コントローラ
JP2007075419A (ja) * 2005-09-15 2007-03-29 Sony Computer Entertainment Inc 情報処理装置、及びコントローラデバイス
JP2014102830A (ja) * 2012-11-20 2014-06-05 Immersion Corp 触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3263195A4 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10974138B2 (en) 2016-12-08 2021-04-13 Immersion Corporation Haptic surround functionality
JP2018097850A (ja) * 2016-12-08 2018-06-21 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックサラウンド機能
JP2020161164A (ja) * 2016-12-08 2020-10-01 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックサラウンド機能
WO2018110319A1 (ja) * 2016-12-15 2018-06-21 株式会社東海理化電機製作所 触聴覚呈示装置
JP2018101243A (ja) * 2016-12-20 2018-06-28 日本電信電話株式会社 生体電気刺激装置、生体電気刺激システムおよび電気刺激提示方法
CN106657060A (zh) * 2016-12-21 2017-05-10 惠州Tcl移动通信有限公司 一种基于现实场景的vr通讯方法及系统
JP2018102610A (ja) * 2016-12-27 2018-07-05 任天堂株式会社 振動制御システム、振動制御装置、振動制御プログラムおよび振動制御方法
EP3343327B1 (en) * 2016-12-27 2022-10-19 Nintendo Co., Ltd. Vibration control system, vibration control apparatus, vibration control program and vibration control method
US10456665B2 (en) 2016-12-28 2019-10-29 Nintendo Co., Ltd. Information processing system, non-transitory storage medium having information processing program stored therein, information processing apparatus, and information processing method
JP2018106599A (ja) * 2016-12-28 2018-07-05 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP2018108296A (ja) * 2017-01-05 2018-07-12 任天堂株式会社 ゲームシステム、ゲームプログラム、情報処理装置、および、情報処理方法
US10617944B2 (en) 2017-01-05 2020-04-14 Nintendo Co., Ltd. Game system, storage medium having stored therein game program, information processing device, and information processing method
US10639545B2 (en) 2017-01-05 2020-05-05 Nintendo Co., Ltd. Game system, game program, information processing device, and information processing method
JP2018112820A (ja) * 2017-01-10 2018-07-19 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2021068477A (ja) * 2017-01-10 2021-04-30 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2019050558A (ja) * 2017-09-08 2019-03-28 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 非オーディオデータを用いたヘッドホン上でのハプティックのレンダリング
US10758821B2 (en) 2017-11-10 2020-09-01 Bandai Namco Entertainment Inc. Operation input system, operation input device, and game system for adjusting force feedback control
JP7042061B2 (ja) 2017-11-10 2022-03-25 株式会社バンダイナムコエンターテインメント 操作入力システム、操作入力装置及びゲームシステム
EP3482806A3 (en) * 2017-11-10 2019-07-31 BANDAI NAMCO Entertainment Inc. Operation input system, operation input device, and game system
JP2019084298A (ja) * 2017-11-10 2019-06-06 株式会社バンダイナムコエンターテインメント 操作入力システム、操作入力装置及びゲームシステム
WO2019220758A1 (ja) * 2018-05-14 2019-11-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2019220495A1 (ja) * 2018-05-14 2019-11-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2020026443A1 (ja) * 2018-08-03 2020-02-06 株式会社ソニー・インタラクティブエンタテインメント 触覚表現用振動制御システム、触覚表現用振動発生装置、触覚表現用振動制御装置、および触覚表現用振動制御方法
JP2020021481A (ja) * 2018-08-04 2020-02-06 エーエーシー テクノロジーズ ピーティーイー リミテッド シーンベースの振動フィードバック方法および携帯端末
US11710389B2 (en) 2019-02-22 2023-07-25 Ck Materials Lab Co., Ltd. Haptic providing device and method for converting sound signal to haptic signal
JP7233747B2 (ja) 2019-02-22 2023-03-07 シーケー マテリアルズ ラブ カンパニー，リミティド 音響信号を触覚信号に変換させる触覚提供装置及び方法
JP2021524972A (ja) * 2019-02-22 2021-09-16 シーケー マテリアルズ ラブ カンパニー，リミティド 音響信号を触覚信号に変換させる触覚提供装置及び方法
WO2020255960A1 (ja) * 2019-06-21 2020-12-24 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、情報処理装置、及び振動制御システム
JP7101889B2 (ja) 2019-06-21 2022-07-15 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、情報処理装置、及び振動制御システム
JP2022132330A (ja) * 2019-06-21 2022-09-08 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、情報処理装置、及び振動制御システム
JPWO2020255960A1 (ja) * 2019-06-21 2021-11-25 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、情報処理装置、及び振動制御システム
JP7449334B2 (ja) 2019-06-21 2024-03-13 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、情報処理装置、及び振動制御システム
US12013981B2 (en) 2019-06-21 2024-06-18 Sony Interactive Entertainment Inc. Vibration device, information processing apparatus, and vibration control system
JP2021076739A (ja) * 2019-11-11 2021-05-20 凸版印刷株式会社 信号処理装置、振動装置、信号処理システム、プログラム、信号処理方法
JP7476516B2 (ja) 2019-11-11 2024-05-01 Ｔｏｐｐａｎホールディングス株式会社 信号処理装置、信号処理システム、プログラム、信号処理方法
JP7065144B2 (ja) 2020-03-05 2022-05-11 イーエム－テック・カンパニー・リミテッド ゲーム用操作装置
JP2021137529A (ja) * 2020-03-05 2021-09-16 イーエム−テック・カンパニー・リミテッドEM−TECH.Co., Ltd. ゲーム用操作装置及びこれを用いたゲーム駆動システム
JP2022131083A (ja) * 2021-02-26 2022-09-07 任天堂株式会社 振動制御システム
JP7340556B2 (ja) 2021-02-26 2023-09-07 任天堂株式会社 振動制御システム
WO2022196051A1 (ja) 2021-03-18 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
EP3263195A4 (en) 2018-09-12
US11701581B2 (en) 2023-07-18
US20210322871A1 (en) 2021-10-21
US20180243647A1 (en) 2018-08-30
JPWO2016136934A1 (ja) 2017-12-07
CN107249704B (zh) 2020-09-15
CN107249704A (zh) 2017-10-13
US10589169B2 (en) 2020-03-17
US20200171381A1 (en) 2020-06-04
US11065537B2 (en) 2021-07-20
EP3263195A1 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
US11701581B2 (en) Information processing apparatus, information processing method, and information processing system
US11611832B2 (en) Systems and methods for improved acousto-haptic speakers
US9185492B2 (en) Systems and methods for acousto-haptic speakers
US10449446B2 (en) Sensation induction device, sensation induction system, and sensation induction method
EP3349096B1 (en) Information processing apparatus, method, and computer program
US10062247B2 (en) Vibration generation system, storage medium having stored therein vibration generation program, and vibration generation method
US10350491B2 (en) Techniques for variable vibration waveform generation based on number of controllers
US20140056461A1 (en) Systems and methods for a vibrating input device
JP6893561B2 (ja) 振動制御装置
US20060205505A1 (en) Wireless game controller with integrated audio system
JP2001327754A (ja) ゲーム用コントローラ
JP6563603B2 (ja) 周波数変化によって実時間振動を提供する振動提供システム及び振動提供方法
EP2418874B1 (en) Apparatus and method of audio reproduction
JP6854132B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US9277340B2 (en) Sound output system, information processing apparatus, computer-readable non-transitory storage medium having information processing program stored therein, and sound output control method
KR20120116667A (ko) 비데의 게임 컨텐츠 제공장치
JP6159515B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法
JP2018112820A (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
WO2022181702A1 (ja) 信号生成装置、信号生成方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16755678

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017502506

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15549033

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2016755678

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE