WO2018216480A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2018216480A1
WO2018216480A1 PCT/JP2018/018048 JP2018018048W WO2018216480A1 WO 2018216480 A1 WO2018216480 A1 WO 2018216480A1 JP 2018018048 W JP2018018048 W JP 2018018048W WO 2018216480 A1 WO2018216480 A1 WO 2018216480A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
sound
intensity
unit
information processing
Prior art date
Application number
PCT/JP2018/018048
Other languages
English (en)
French (fr)
Inventor
亜由美 中川
佑輔 中川
山野　郁男
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880032205.4A priority Critical patent/CN110621384B/zh
Priority to US16/610,343 priority patent/US20200086215A1/en
Priority to JP2019519558A priority patent/JP7172999B2/ja
Publication of WO2018216480A1 publication Critical patent/WO2018216480A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes

Definitions

  • This technology relates to a technology for controlling the strength of vibration.
  • a vibration controller such as an eccentric motor is generally mounted on a game controller, and the controller is configured to vibrate at a predetermined timing (see, for example, Patent Document 1 below).
  • the controller when an ally character is attacked by an enemy in an in-game video, the controller is vibrated at this timing.
  • the controller By vibrating the controller in accordance with the video in the game, the user experience can be improved compared to the case where only the video is played.
  • the sound of the game is output from a sound output unit such as a speaker or headphones, but the intensity of the sound differs for each type of sound output unit.
  • the vibration intensity of the controller is the same regardless of the type of the sound output unit. In this case, there is a problem that the user experience is reduced.
  • an object of the present technology is to provide a technology capable of improving the user experience by appropriately setting the strength of vibration for each type of sound output unit.
  • the information processing apparatus includes a control unit.
  • the control unit determines a type of a sound output unit that outputs a sound, and changes a vibration intensity of the vibration unit according to the determined type of the sound output unit.
  • the control unit may change the strength of vibration of the vibration unit according to the strength of sound output from the sound output unit.
  • the control unit increases the intensity of the vibration, increases the intensity of the vibration, or decreases the intensity of the sound, so that the intensity of the vibration decreases.
  • the intensity of the vibration may be changed.
  • the control unit may cause the vibration so that the strength of the vibration decreases as the strength of the sound increases, or the strength of the vibration increases as the strength of the sound decreases. The strength of the may be changed.
  • control unit may change the intensity of sound output from the sound output unit in accordance with the intensity of vibration of the vibration unit.
  • control unit may change the intensity of sound output from the sound output unit in accordance with the changed intensity of vibration.
  • control unit may change the intensity of the sound when the changed intensity of the vibration reaches a maximum value of the vibration.
  • control unit may change the strength of vibration of the vibration unit in accordance with the strength of the environmental sound.
  • control unit may change the intensity of the sound output from the sound output unit in accordance with the intensity of the sound in the environmental sound.
  • control unit may change the video according to the vibration of the vibration unit.
  • control unit may change the size of the object in the video or the size of the action of the object in accordance with the vibration of the vibration unit.
  • control unit may change the scene in the video according to the vibration of the vibration unit.
  • control unit may change the vibration of the vibration unit according to a scene in an image.
  • a microphone used for collecting a user's voice vibrates according to the vibration of the vibration unit, and the control unit performs the vibration according to whether the microphone is used.
  • the strength of the may be changed.
  • the control unit acquires information on a physical change of the user based on the vibration of the vibration unit, and sets a value for changing the strength of the vibration according to the physical change of the user. It may be changed.
  • control unit may change the strength of the vibration sound generated by the vibration of the vibration unit according to the strength of the sound output from the sound output unit.
  • the vibration unit is provided in a vibration body, and the control unit acquires information on a state in which the vibration body is held by a user, and information on a state in which the vibration body is held.
  • the vibration intensity of the vibration part may be changed according to the above.
  • the control unit acquires sensitivity information related to sensitivity of sound intensity output from the sound output unit or sensitivity of vibration strength of the vibration unit, and responds to the sensitivity information. To change the vibration intensity of the vibration part
  • the information processing method determines the type of the sound output unit that outputs sound, and changes the strength of vibration of the vibration unit according to the determined type of the sound output unit.
  • a program provides a computer with a step of determining a type of a sound output unit that outputs sound, and a step of changing the strength of vibration of the vibration unit according to the determined type of the sound output unit. Let it run.
  • FIG. 1 is a diagram illustrating a game system 100 according to the first embodiment of the present technology.
  • FIG. 2 is a block diagram showing the configuration of the game system 100.
  • the game system 100 includes an output device 10 and a game device 50 (information processing device).
  • the game device 50 includes a game device main body 30 and a controller 40.
  • the output device 10 is, for example, a television device having a tuner function.
  • the output device 10 may be a monitor that does not have a tuner function.
  • the game apparatus 50 may be a game-dedicated device, a PC (Personal Computer), or the like.
  • the output device 10 includes a control unit 11, a storage unit 12, a communication unit 13, a display unit 14, and a speaker 15 (sound output unit).
  • the control unit 11 of the output device 10 includes a CPU (Central Processing Unit) and the like.
  • the control unit 11 of the output device 10 executes various calculations based on various programs stored in the storage unit 12 and controls each unit of the output device 10 in an integrated manner.
  • the storage unit 12 of the output device 10 is a non-volatile memory in which various programs necessary for processing of the control unit 11 of the output device 10 and various data are stored, and a work area of the control unit 11 of the output device 10 Volatile memory used.
  • the display unit 14 includes, for example, a liquid crystal display or an EL display (EL: Electro Luminescence).
  • the display unit 14 displays a video corresponding to the video signal transmitted from the game apparatus body 20 on the screen.
  • the speaker 15 outputs a game sound corresponding to the sound signal transmitted from the game apparatus body 20.
  • the display unit 14 and the speaker 15 are integrated is shown, but the display unit 14 and the speaker 15 may be configured separately.
  • the communication unit 13 of the output device 10 is configured to be communicable with the game device body 20 by wire or wireless.
  • the communication unit 13 of the output device 10 receives the video signal and sound signal of the game transmitted from the game device body 20.
  • the communication unit 13 of the output device 10 is configured to be communicable with the headphones 40 (sound output unit: including earphones) by wire or wirelessly.
  • the headphones 40 output a game sound corresponding to the sound signal transmitted from the game apparatus body 20 in accordance with the control of the output device 10.
  • the output device 10 is configured not to output sound from the headphones 40 when outputting sound from the speaker 15, and conversely, the output device 10 is output from the speaker 15 when outputting sound from the headphones 40. Is configured not to output sound.
  • the game apparatus body 20 includes a control unit 21, a storage unit 22, a communication unit 23, and an optical disc drive 24.
  • the optical disc drive 24 reads the game program from an optical disc (DVD (digital versatile disc), Blu-ray disc, etc.) on which the game program is recorded, and outputs it to the control unit 21.
  • the game apparatus body 20 has an optical disk introduction / discharge mechanism (not shown), and the optical disk is introduced into the game apparatus body 20 or discharged from the game apparatus body 20 by the introduction / discharge mechanism.
  • the game program may be downloaded from a server device on the network.
  • the control unit 21 of the game apparatus body 20 includes a CPU (Central Processing Unit) or the like.
  • the control unit 21 of the game apparatus body 20 performs various operations based on various programs (including game programs) stored in the storage unit 22 and controls each part of the game apparatus body 20 in an integrated manner.
  • the storage unit 22 of the game apparatus main body 20 includes various programs (including game programs) necessary for the processing of the control unit 21 of the game apparatus main body 20, a non-volatile memory that stores various data, and the game apparatus main body. And a volatile memory used as a work area for 20 control units 21.
  • the communication unit 23 of the game apparatus main body 20 is configured to be able to communicate with the controller 30 and the output apparatus 10 by wire or wireless.
  • the communication unit 23 of the game apparatus body 20 may be configured to be able to communicate with a server device (not shown) on the network.
  • the communication unit 23 of the game apparatus body 20 transmits a video signal and a sound signal in the game to the output apparatus 10 based on the control of the control unit 31 of the game apparatus body 20.
  • the communication unit 23 of the game apparatus body 20 receives the operation signal transmitted from the controller 30 and outputs it to the control unit 21 of the game apparatus body 20.
  • the control unit 21 of the game apparatus body 20 reflects the content of the operation in the game according to the operation signal.
  • the controller 30 includes a control unit 31, a storage unit 32, an operation unit 33, a communication unit 34, a vibration unit 35, and a microphone 36.
  • the control unit 31 of the controller 30 is configured by a CPU (Central Processing Unit) or the like.
  • the control unit 31 of the controller 30 executes various calculations based on various programs stored in the storage unit 32 and controls each unit of the controller 30 in an integrated manner.
  • the storage unit 32 of the controller 30 is a non-volatile memory that stores various programs and various data necessary for the processing of the control unit 31 of the controller 30, and a volatile memory that is used as a work area of the control unit 31 of the controller 30. Including sex memory.
  • the operation unit 33 includes direction input keys such as a cross key and a joystick, and push buttons.
  • the operation unit 33 generates an operation signal according to an operation by the user and outputs the operation signal to the control unit 31 of the controller 30.
  • the communication unit 34 of the controller 30 is configured to be able to communicate with the game apparatus body 20 by wire or wireless.
  • the communication unit 34 of the controller 30 transmits an operation signal generated by the operation unit 33 to the game apparatus body 20 based on the control of the control unit 31 of the controller 30.
  • the vibration unit 35 is configured by an eccentric motor, a voice coil motor (VCM: Voice Coil Motor), or the like.
  • VCM Voice Coil Motor
  • the vibration unit 35 is configured to be able to change the strength of vibration (including the magnitude of vibration and the frequency of vibration) based on the input voltage.
  • the microphone 36 is provided to collect environmental sounds around the user, converts the environmental sounds into electrical signals, and outputs them to the control unit 31.
  • the environmental sound is a sound other than the game sound output from the speaker 15 or the headphones 40 in relation to the video of the game.
  • This environmental sound includes various types of air conditioners, electric fans, washing machines, vacuum cleaners, electric heaters, television devices (a separate television device when the output device 10 is a television device), audio equipment, and the like. Includes sounds output from electronic devices.
  • environmental sounds include sounds of water flowing from taps, sounds generated when using gas, sounds related to infrastructure equipment such as sounds of automobiles running on the road, living sounds such as human voices and animal calls. Sounds related to. The environmental sound includes sudden sounds such as ambulances, fire trucks, police car sirens, baby crying, and dog barking sounds.
  • FIG. 3 is a flowchart showing the processing of the control unit 31 of the controller 30.
  • control unit 31 of the controller 30 determines the type of the sound output unit (step 101). That is, the control unit 31 of the controller 30 determines which of the speaker 15 and the headphones 40 is the sound output unit that is currently outputting the game sound.
  • the control unit 31 of the controller 30 When determining the type of the sound output unit, the control unit 31 of the controller 30 transmits an acquisition request for identification information indicating the type of the sound output unit to the output device 10 via the game apparatus body 20. Then, the control unit 31 of the controller 30 determines the type of the sound output unit based on the identification information transmitted from the output device 10.
  • the control unit 31 of the controller 30 acquires the correction coefficient k1 corresponding to the type of the sound output unit from the storage unit 32 of the controller 30 (step 102).
  • the correction coefficient k1 is a value (a value used for multiplication) used to correct (change) the strength of vibration of the vibration unit 35 according to the type of the sound output unit.
  • the correction coefficient k1 is determined in advance according to the type of the sound output unit, and the correction coefficient k1 is stored in advance in the storage unit 32 of the controller 30 in association with the type of the sound output unit.
  • the correction coefficient k1 is a positive number.
  • the current sound output unit is the speaker 15, and the game sound is output from the speaker 15.
  • the current sound output unit is the headphone 40 and the game sound is output from the headphone 40.
  • the sound intensity (including sound pressure and sound frequency) felt by the user is different.
  • the volume (volume value, for example, 100 levels) set in the output device 10 is the same. In this case, in general, the user often feels that the game sound output from the speaker 15 is stronger than the game sound output from the headphones 40.
  • the value of the correction coefficient k1 is related to the strength of the game sound felt by the user for each type of sound output unit. In the present embodiment, when the sound volume is the same, a larger value is set for the correction coefficient k1 in the sound output unit where the user feels the game sound stronger.
  • the correction coefficient k1 for the headphones 40 is 15 is set larger than the correction coefficient k1.
  • the correction coefficient k1 for the speaker 15 is 1, and the correction coefficient k1 for the headphones 40 is 1.2.
  • the sound output unit is the speaker 15 or the headphones 40. That is a simple two-choice.
  • the sound output unit is the speaker 15 or the headphones 40.
  • the control unit 31 of the controller 30 acquires information on the resistance values of the speakers 15 and the headphones 40. May be.
  • processing for causing the user to select the type and shape of the speaker 15 and the headphones 40 may be executed.
  • an image for selecting the type and shape of the speaker 15 and the headphones 40 is displayed on the display unit 14 of the output device 10.
  • the user can select the type and shape of the speaker 15 and the headphones 40 by operating the operation unit 33 of the controller 30.
  • the control unit 31 of the controller 30 determines the sound intensity (including sound pressure and sound frequency) in the environmental sound based on the sound information acquired from the microphone 36 (Ste 103).
  • the sound intensity in the environmental sound may be an average value of sound intensity from a predetermined time before the current time (for example, about several seconds) to the current time, or the sound intensity at that moment at the current time. It may be.
  • the control unit 31 of the controller 30 extracts the environmental sound from the sound that is obtained in a state where the game sound and the environmental sound are mixed (for example, extracts the environmental sound by applying a filter). Determine the sound intensity in the environmental sound.
  • control unit 31 of the controller 30 acquires the correction coefficient k2 corresponding to the sound intensity in the environmental sound from the storage unit 32 of the controller 30 (step 104).
  • the correction coefficient k2 is a value (a value used for multiplication) used to correct (change) the intensity of vibration of the vibration unit 35 in accordance with the intensity of sound in the environmental sound.
  • the correction coefficient k2 is determined in advance according to the sound intensity in the environmental sound, and the correction coefficient k2 is stored in advance in the storage unit 32 of the controller 30 in association with the sound intensity in the environmental sound.
  • the correction coefficient k2 is a positive number.
  • the sound intensity of the game felt by the user differs between the case where the sound intensity in the environmental sound is strong and the case where the sound intensity in the environmental sound is weak.
  • the user generally increases the sound intensity of the game when the sound intensity of the environmental sound is weak (quiet) than when the sound intensity of the environmental sound is strong (noisy). feel.
  • the value of the correction coefficient k2 is related to the strength of the game sound felt by the user according to the strength of the environmental sound. Specifically, a larger value is set for the correction coefficient k2 as the sound intensity in the environmental sound becomes weaker (quiet), that is, as the user feels the game sound stronger. For example, when the environmental sound is 0 (or substantially 0), the correction coefficient k2 is 1, and as the environmental sound becomes stronger, the correction coefficient k2 is set to values of 0.9, 0.8,. (The correction coefficient k2 has a lower limit value and does not become 0).
  • the sound intensity in the environmental sound is the same, the environmental sound felt by the user between the case where the game sound is output from the speaker 15 and the case where the game sound is output from the headphones 40.
  • the strength of is different. That is, when the sound intensity in the environmental sound is the same, the user listens to the game sound output from the speaker 15 when wearing the headphones 40 and listening to the game sound from the headphones 40. I feel that the sound intensity in the environmental sound is weaker than when I am.
  • the value of the correction coefficient k2 may be different when the game sound is output from the speaker 15 and when the game sound is output from the headphones 40.
  • the sound output unit that feels weak in the sound in the environmental sound that is, the sound output part that the user feels strongly in the game sound has a larger correction coefficient k2. Value is set.
  • the correction coefficient k2 when sound is output from the headphones 40 is set larger than the correction coefficient k2 when sound is output from the speaker 15.
  • control unit 31 of the controller 30 next determines the sound intensity of the current game (step 105).
  • control unit 31 of the controller 30 sends an acquisition request for information about the strength of the game sound output from the sound output unit through the game apparatus body 20 at present. Transmit to the output device 10.
  • the control unit 31 of the controller 30 determines the strength of the current game sound based on the information received from the output device 10.
  • the current game sound strength may be determined based on the game sound information acquired by the microphone 36. Moreover, the sound intensity of the current game may be determined using both information acquired from the output device 10 and information acquired from the microphone 36.
  • the control unit 31 calculates the vibration strength of the vibration unit 35 based on the current game sound strength (step 106).
  • the value of the vibration intensity of the vibration unit 35 is set such that the strength of the current game sound increases as the sound intensity of the current game increases.
  • the ratio r between the sound intensity of the current game and the required vibration intensity is always constant. The ratio r may be set for each game or each platform by a game designer, or may be set by a user, for example.
  • the control unit 31 of the controller 30 multiplies the value of the vibration intensity by the correction coefficient k1 and the correction coefficient k2 to calculate the corrected vibration intensity (Step S31). 107).
  • the correction coefficient k1 is set to a larger value for a sound output unit in which the user feels strongly the sound of the game. Therefore, in this embodiment, the value of the vibration intensity is multiplied by the correction coefficient k1, so that the sound output unit in which the user feels the sound of the game strongly becomes stronger in the vibration intensity. Strength is corrected (changed).
  • the correction coefficient k2 is set to a larger value as the sound intensity in the environmental sound becomes weaker, that is, as the user feels the game sound stronger. Accordingly, by multiplying the value of the vibration intensity by the correction coefficient k2, the vibration intensity becomes stronger as the sound intensity in the environmental sound becomes weaker, that is, the user feels the game sound stronger. As described above, the strength of vibration is corrected (changed).
  • the correction coefficient k1 and the correction coefficient k2 are vibration intensity corrections such that the vibration of the vibration unit 35 increases as the game sound intensity felt by the user increases. In common.
  • control unit 31 of the controller 30 calculates the corrected vibration intensity, it determines whether it is time to vibrate the vibration unit 35 (step 108).
  • An instruction as to whether or not to vibrate the vibration unit 35 is transmitted from the game apparatus body 20, and the control unit 31 of the controller 30 determines whether or not it is time to vibrate the vibration unit 35 in response to this instruction. .
  • the control unit 31 of the controller 30 vibrates the vibration unit 35 with the corrected vibration intensity (step 109), and the next step Proceed to 110.
  • the vibration unit 35 vibrates, the entire controller 30 is vibrated with a strength corresponding to the vibration of the vibration unit 35, and this vibration is transmitted to the user's hand.
  • the vibration intensity is changed at all timings of vibrating the vibration unit 35.
  • the vibration intensity may be changed at some timings.
  • control unit 31 of the controller 30 proceeds to the next step 110 without vibrating the vibration unit 35.
  • step 110 the control unit 31 of the controller 30 determines whether or not the type of the sound output unit that outputs the game sound has been changed.
  • a signal indicating that the type of the sound output unit is changed is transmitted from the output device 10 to the controller 30 via the game apparatus body 20.
  • Step 110 When the type of the sound output unit is changed (YES in Step 110), the control unit 31 returns to Step 101 and determines the type of the sound output unit. On the other hand, when the type of the sound output unit has not been changed (NO in step 110), the control unit 31 returns to step 103 and determines the intensity of the environmental sound.
  • ⁇ Action etc.> if the strength of the vibration of the controller 30 is weak relative to the strength of the game sound, the user feels that the vibration of the controller 30 is buried in the sound of the game, and the vibration is weaker than the actual vibration. May end up. In addition, if the strength of the vibration of the controller 30 is weaker than the strength of the game sound, the user may feel that the game sound and the vibration of the controller 30 are separated.
  • the vibration strength of the vibration unit 35 (vibration strength of the controller 30) is appropriately set in relation to the strength of the game sound. Specifically, the strength of vibration of the vibration unit 35 is changed so that the strength of vibration of the vibration unit 35 increases as the sound strength in the game increases.
  • the type of the sound output unit is determined, and the vibration intensity of the vibration unit 35 is corrected (changed) according to the determined type of the sound output unit.
  • the strength of vibration can be set appropriately for each type of sound output unit, and as a result, the user experience can be improved.
  • the vibration strength of the vibration section 35 is corrected (changed) so that the sound output section in which the user feels the sound of the game strongly becomes stronger.
  • the vibration strength of the vibration unit 35 can be appropriately changed, and the user experience can be further improved.
  • the sound intensity in the environmental sound is determined, and the vibration intensity of the vibration unit 35 is corrected (changed) in accordance with the determined sound intensity in the environmental sound.
  • the strength of the vibration is corrected (changed) so that the strength of the vibration becomes stronger as the strength of the environmental sound becomes weaker, that is, the stronger the user feels the sound of the game.
  • the vibration strength of the vibration unit 35 can be appropriately changed, and the user experience can be further improved.
  • the actual vibration The vibration may be felt stronger than the strength.
  • the strength of the vibration may be changed so that the vibration of the vibration unit 35 becomes weaker as the strength of the game sound increases.
  • the vibration intensity in the vibration part 35 is weaker when the sound intensity in the footsteps is stronger than when the sound intensity in the footsteps is weak. Is done. In this case, the intensity of vibration felt by the user differs between when the sound and vibration timings coincide with each other and when the sound and vibration timings do not coincide, and the user feels uncomfortable. Can be prevented.
  • the intensity of vibration may be corrected (changed).
  • the strength of the environmental sound increases, that is, the user feels the game sound stronger.
  • the strength of vibration may be corrected (changed) so that the strength of vibration becomes weaker.
  • the term “sound intensity” includes both the sound intensity output from the sound output unit and the sound intensity felt by the user.
  • vibration strength includes both the vibration strength in the vibration section and the vibration strength felt by the user.
  • the sound intensity actually felt by the user is related to sound pressure and sound frequency.
  • the vibration intensity that the user actually feels is related to the magnitude of the vibration and the frequency of the vibration.
  • the magnitude of the vibration of the vibration unit 35 is changed according to the sound pressure of the game sound.
  • the vibration frequency of the vibration unit 35 is changed according to the sound pressure of the game sound.
  • the magnitude of the vibration of the vibration unit 35 is changed according to the frequency of the sound of the game.
  • the vibration frequency of the vibration unit 35 is changed according to the frequency of the game sound.
  • the human audible range is approximately 20 Hz to 20 kHz, and that there is a maximum sound sensitivity point in the vicinity of 3 kHz. That is, when the sound pressure is the same, the user feels that the sound intensity increases as the sound frequency approaches the sound maximum sensitivity point of 3 kHz. Accordingly, in (3) and (4), this relationship is used when the frequency of the sound of the game is considered.
  • the frequency of vibration it is known that a person has a vibration maximum sensitivity point in the vicinity of 200 Hz in the hand. That is, when the magnitude of the vibration is the same, the user feels the strength of the vibration stronger as the vibration maximum sensitivity point of 200 Hz is approached. Therefore, in (2) and (4), this relationship is used when the frequency of vibration is taken into consideration.
  • the maximum vibration sensitivity point may be a value different from 200 Hz.
  • a voice coil motor is used as the vibration unit 35 (because it is easy to control the frequency of vibration).
  • a voice coil motor may be used as the vibration unit 35, or an eccentric motor may be used.
  • the vibration unit 35 may be vibrated using a frequency band near the resonance point where the vibration is greatest in consideration of the characteristics of the vibration unit 35.
  • the controller 30 an example of a vibrating body
  • the attitude of the controller 30, the force with which the user grips the controller 30 the attitude of the controller 30, the force with which the user grips the controller 30
  • the manner of vibration of the controller 30 changes, and the vibration felt by the user The strength may change.
  • information on the state in which the controller 30 is held by the user may be detected by various sensors such as an acceleration sensor, an angular velocity sensor, and a pressure sensor.
  • the control unit of the controller 30 may acquire the above information from various sensors and change the strength of vibration of the vibration unit 35 according to this information.
  • the control unit 31 of the controller 30 acquires sensitivity information related to the sensitivity of the sound intensity output from the sound output unit or the sensitivity of the vibration intensity of the vibration unit 35, and based on this sensitivity information, The intensity of vibration of the vibration unit 35 may be changed.
  • Sensitivity information includes information on the user's age, ease of sound per user, information on ease of vibration, and the like.
  • the information on the user's age can be acquired from the user information, for example.
  • information on the ease of feeling of sound and the ease of feeling of vibration is, for example, for each game, how much sensitivity the user has with respect to sound and vibration by generating sound and vibration. It can be obtained by judging whether or not.
  • the microphone 36 that collects environmental sounds is provided in the game controller 30 has been described.
  • the microphone 36 may be provided in the game apparatus main body 20, the output apparatus 10, or the like. .
  • the sound intensity in the environmental sound acquired by the microphone 36 may be different from the sound intensity in the environmental sound at the position of the user (in particular, the position of the ear). This is because there is a distance between the position of the microphone 36 and the position of the user. In particular, when the microphone 36 is provided in the game apparatus body 20 or the output device 10, the distance between the user position and the microphone 36 is long. For this reason, the difference between the sound intensity in the environmental sound acquired by the microphone 36 and the sound intensity in the environmental sound at the user's position may increase.
  • the difference between the sound intensity in the environmental sound acquired by the microphone 36 and the sound intensity in the environmental sound at the user's position is considered, and the sound intensity in the environmental sound at the user's position is determined. May be.
  • FIG. 4 is a flowchart showing processing when determining the sound intensity of the environmental sound at the user's position.
  • the control unit 31 of the controller 30 determines the sound intensity of the environmental sound at the position of the microphone 36 based on the sound intensity information of the environmental sound acquired by the microphone 36 (step 201).
  • the controller 30 uses, for example, the sound information acquired by the microphone 36 for every predetermined time as the game apparatus main body 20. And received from the output device 10 or the like. Note that the processing in step 201 is basically the same as that in step 103 described above.
  • control unit 31 of the controller 30 determines the positional relationship in the space between the position of the user, the position of the macrophone, and the position of the sound generation source (air conditioner, washing machine, etc.) that emits environmental sounds. (Step 202).
  • the position of the user is determined based on, for example, an image acquired by a camera (not shown; typically, two or more are installed) provided in the game apparatus body 20, the output apparatus 10, and the like. At this time, the position of the user's ear may be determined based on the face detection.
  • the position of the microphone 36 is also determined based on, for example, an image acquired by a camera provided in the game apparatus body 20, the output apparatus 10, or the like. For example, when the game apparatus main body 20 is provided with a microphone 36 and the output apparatus 10 is provided with a camera, the game apparatus main body 20 is reflected in an image acquired by the camera. The position is determined as the position of the microphone 36.
  • the position of the sound generation source is also determined based on, for example, an image acquired by a camera provided in the game apparatus main body 20, the output apparatus 10, or the like. In this case, if the sound generation source is shown in the image, the position of the sound generation source can be determined. It is assumed that the sound generation source is located at a position deviating from the angle of view of the camera. In such a case, the directivity of the sound and the strength of the sound may be determined from the sound information acquired by the microphone 36 to determine the positional relationship of the sound source with respect to the position of the microphone. Alternatively, the distance can be measured from an optical sensor or the like.
  • the game apparatus body 20 and the output apparatus 10 are system-linked with other electronic devices such as an air conditioner and a washing machine. Therefore, in such a case, information indicating that another electronic device linked with the system is operating may be used as information for determining the position of the sound generation source.
  • the controller 31 determines the positional relationship between the environment sound in the position of the microphone 36 and the positional relationship in the space of the three parties.
  • the intensity of the environmental sound is determined (step 203).
  • the control unit 31 of the controller 30 determines the sound intensity of the environmental sound at the user's position according to the sound intensity of the environmental sound acquired by the microphone 36.
  • a correction coefficient k2 corresponding to the sound intensity in the environmental sound is acquired, and the vibration of the vibration unit 35 is obtained by the correction coefficient k2.
  • the strength may be corrected.
  • the sound intensity of the game output from the sound output unit may be changed according to the sound intensity of the environmental sound.
  • the sound intensity of the game is changed so that the sound intensity of the game increases as the sound intensity of the environmental sound increases.
  • the control unit 31 of the controller 30 causes the game sound to increase according to the sound intensity in the environmental sound.
  • An instruction is issued to the game apparatus body 20 and the output apparatus 10.
  • the sound intensity in the environmental sound is strong (noisy)
  • the sound intensity of the game is automatically increased.
  • the vibration strength of the vibration unit 35 is also increased accordingly.
  • the type of the environmental sound may be determined, and what kind of processing is to be executed after that may be determined according to the type of the environmental sound.
  • the environmental sound is a sound that is steadily sounding, such as the sound of an air conditioner, the strength of the game sound is changed so that the game sound becomes stronger.
  • the environmental sound is a sudden sound (such as an ambulance sound)
  • the vibration is not important without shifting to a game scene where the vibration is important (see the fourth embodiment to be described later for the scene).
  • a process may be executed in which the vibration is shifted to the original scene where the vibration is important.
  • Second Embodiment a second embodiment of the present technology will be described.
  • the second embodiment will be described with a focus on differences from the first embodiment.
  • the strength of the vibration is changed so that the strength of the vibration increases as the strength of the game sound increases.
  • the vibration intensity reaches a maximum value, and it is assumed that the vibration intensity cannot be further increased.
  • FIG. 5 is a flowchart showing processing in the second embodiment. Steps 301 to 308 and 315 in FIG. 5 are the same as steps 101 to 108 and 110 in FIG.
  • the controller 31 of the controller 30 calculates the corrected vibration strength by multiplying the vibration strength calculated based on the current game sound strength by the correction coefficients k1 and k2, It is determined whether it is time to vibrate the vibration unit 35 (step 308).
  • the control unit 31 of the controller 30 has the corrected vibration intensity equal to or greater than the maximum vibration intensity of the vibration unit 35. Whether or not (step 309).
  • the control unit 31 of the controller 30 controls the game apparatus body 20 and the output device 10. Instructing to temporarily reduce the strength of the game sound (step 310).
  • the sound of the game to be weakened may be the sound of the entire game, or may be a part of the sound of the entire game, such as back music. If some sounds such as back music are weakened, the intensity of this sound may be set to zero.
  • control unit 31 of the controller 30 When an instruction is issued to reduce the sound intensity, the control unit 31 of the controller 30 then vibrates the vibration unit 35 with the maximum value of the vibration intensity (step 311).
  • step 309 when the corrected vibration intensity is less than the maximum value of the vibration intensity of the vibration unit 35 (NO in step 309), the control unit 31 of the controller 30 is currently in the game apparatus body 20. Then, it is determined whether or not the sound intensity of the game is weakened (step 312).
  • step 312 When the game sound intensity is weak (YES in step 312), the control unit 31 of the controller 30 returns the game sound intensity to the original strength, An instruction is issued to the output device 10 (step 313), and the process proceeds to the next step 314.
  • step 312 if the game sound intensity is not weak (NO in step 312), that is, if the game sound intensity is the original intensity, the controller 31 of the controller 30 Step 313 is skipped and step 314 proceeds.
  • step 314 the control unit 31 of the controller 30 vibrates the vibration unit 35 with the corrected vibration intensity.
  • the vibration intensity of the vibration unit 35 when the vibration intensity of the vibration unit 35 reaches the maximum value and the vibration intensity cannot be increased any more, the game sound intensity is decreased. . Thereby, the strength of the vibration of the vibration part 35 felt by the user can be increased in a pseudo manner.
  • the strength of the game sound output from the sound output portion is changed when the vibration strength of the vibration portion 35 is maximized has been described.
  • the strength of the vibration of the vibration unit 35 is changed by the user, the strength of the game sound output from the sound output unit may be changed according to the strength of the vibration.
  • a menu screen for the user to arbitrarily set the vibration intensity (for example, three levels) of the vibration unit 35 is displayed on the display unit 14 of the output device 10.
  • the control unit 31 of the controller 30 changes the strength of the game sound output from the sound output unit according to the vibration strength of the vibration unit 30 arbitrarily set by the user on the menu screen.
  • the control unit 31 may change the sound intensity so that the stronger the vibration is, the stronger the game sound is, or the stronger the vibration is, the more the game sound is increased.
  • the sound intensity may be changed so that the intensity of the sound becomes weaker.
  • the sound pressure of the game is changed according to the magnitude of the vibration of the vibration unit 35.
  • the sound pressure of the game is changed according to the vibration frequency of the vibration unit 35.
  • the frequency of the game sound is changed according to the magnitude of the vibration of the vibration unit 35.
  • the frequency of the game sound is changed according to the vibration frequency of the vibration unit 35.
  • the user gets used to the vibration and feels the vibration weaker than the actual vibration intensity, for example, it is assumed that a video of a large action flows in the video in the game and the controller 30 is vibrated at the same time. In this case, the user may feel that the intensity of vibration actually felt by the user does not match the large action in the video, and the user may feel uncomfortable.
  • the image in order to prevent the user from feeling uncomfortable, the image is changed according to the frequency of vibration and the intensity of vibration (that is, according to vibration). Execute the process.
  • FIG. 6 is a flowchart showing processing in the third embodiment.
  • the control unit 31 of the controller 30 determines the frequency of vibration in the vibration unit 35 within a predetermined time (step 401).
  • the predetermined time is a time from a predetermined time before the current time (for example, several tens of seconds to several minutes) to the current time.
  • the control unit 31 of the controller 30 calculates the average value of the vibration intensity in the vibration unit 35 within a predetermined time (step 402).
  • the predetermined time is a time from a predetermined time before the current time (for example, several tens of seconds to several minutes) to the current time.
  • the control unit 31 of the controller 30 determines whether or not the frequency of vibration in the vibration unit 35 within a predetermined time is equal to or greater than a predetermined threshold (step 403).
  • the control unit 31 of the controller 30 determines that the average value of the vibration intensity in the vibration unit 35 within a predetermined time is equal to or greater than the predetermined threshold. Is determined (step 404).
  • the control unit 31 of the controller 30 instructs the game apparatus body 20 to change the video. (Step 405). In this case, the game apparatus body 20 temporarily changes the video in response to this instruction.
  • the frequency of vibration in the vibration unit 35 within a predetermined time is equal to or greater than a predetermined threshold
  • the average value of the vibration intensity in the vibration unit 35 within a predetermined time is equal to or greater than a predetermined threshold.
  • FIG. 7 and 8 are diagrams showing an example when the video is changed.
  • FIG. 7 shows an image when the airplane is flying.
  • the left side of FIG. 7 is the original video, and the right side of FIG. 7 is the changed video.
  • the size of the airplane (object) in the changed image is smaller than the size of the airplane in the original image.
  • FIG. 8 shows a video when the boxer's punch hits the opponent's boxer.
  • the left side of FIG. 8 is the original video, and the right side of FIG. 8 is the changed video.
  • the magnitude of the action of the boxer (object) in the video after the change is smaller than the magnitude of the action of the boxer in the original video.
  • step 405 When an instruction to change the video is issued in step 405, the video as shown on the right side of FIG. 7 and the right side of FIG. 8 is displayed on the screen of the display unit 14.
  • step 403 when the frequency of vibration in the vibration unit 35 is less than the predetermined threshold (NO in step 403), the control unit 31 of the controller 30 proceeds to step 406. Similarly, when the average value of the vibration intensity in the vibration unit 35 is less than the predetermined threshold value in step 404 (NO in step 404), the control unit 31 of the controller 30 proceeds to step 406.
  • step 406 the control unit 31 of the controller 30 determines whether or not the video is currently changed. If the video is currently changed (YES in step 406), the control unit 31 of the controller 30 instructs the game apparatus body 20 to restore the video. The game apparatus body 20 restores the video in response to this instruction.
  • step 407 When an instruction to restore the video is issued in step 407, the video as shown on the left side of FIG. 7 and the left side of FIG. 8 is displayed on the screen of the display unit 14.
  • the image is changed, for example, the size of the airplane is reduced, Boxer action is reduced. Therefore, it is possible to prevent the user from feeling uncomfortable.
  • the controller 30 when the controller 30 is frequently vibrated and this vibration is strong, the user gets used to the strong vibration and becomes insensitive, and the actual vibration strength also feels weak. There is a case.
  • FIG. 9 is a flowchart showing processing in the fourth embodiment.
  • the control unit 31 of the controller 30 determines the frequency of vibration in the vibration unit 35 within a predetermined time (step 501).
  • the predetermined time is a time from a predetermined time before the current time (for example, several tens of seconds to several minutes) to the current time.
  • the control unit 31 of the controller 30 calculates the average value of the vibration intensity in the vibration unit 35 within a predetermined time (step 502).
  • the predetermined time is a time from a predetermined time before the current time (for example, several tens of seconds to several minutes) to the current time.
  • control unit 31 of the controller 30 determines whether it is the timing at which the video scene is currently switched (step 503). If it is not the timing at which the video scene is currently switched (NO in step 503), the control unit 31 of the controller 30 returns to step 501.
  • the control unit 31 of the controller 30 determines whether the frequency of vibration in the vibration unit 35 within a predetermined time is equal to or greater than a predetermined threshold. Determination is made (step 504).
  • the controller 31 of the controller 30 determines that the average value of the vibration intensity in the vibration unit 35 within a predetermined time is equal to or greater than the predetermined threshold. Is determined (step 505).
  • the control unit 31 of the controller 30 causes the game apparatus body 20 to vibrate as the next scene in the video. Is instructed to select a scene with a low frequency (step 506). In step 506, the control unit 31 of the controller 30 may instruct the user to select a scene with low vibration intensity.
  • FIG. 10 is a diagram showing an example when a scene with a low vibration frequency is selected as the next scene in the video.
  • the left side of FIG. 10 shows the previous scene in the video, and the right side of FIG. 10 shows the next scene in the video.
  • the previous scene shown on the left side of FIG. 10 is a scene where an airplane is flying, and the frequency of vibration is high.
  • the next scene shown on the right side of FIG. 10 is a breathless scene, and the frequency of vibration is low (vibration does not occur at all).
  • the content and length of this breathing scene may be changed according to the frequency of vibration within a predetermined time, the average value of the intensity of vibration, or the like.
  • step 504 when the frequency of vibration in the vibration unit 35 is less than the predetermined threshold (NO in step 504), the control unit 31 of the controller 30 proceeds to step 507. Similarly, when the average value of the vibration intensity in the vibration unit 35 is less than the predetermined threshold value in step 505 (NO in step 505), the control unit 31 of the controller 30 proceeds to step 507.
  • step 507 the control unit 31 of the controller 30 instructs the game apparatus body 20 to select the next scene as usual.
  • the game apparatus body 20 selects the next scene as usual.
  • a breathing scene as shown on the right side of FIG. 10 is not displayed on the screen of the display unit 14.
  • the scene of the video is changed, and the frequency of vibration is low as the next scene ( Or a scene with low vibration intensity) is selected. Therefore, it is possible to return the user's feeling that has become insensitive to the strong vibration to the original sensitive feeling.
  • the frequency of vibration is low as the next scene (or the intensity of vibration is weak) in order to return the user's feeling that has become insensitive to strong vibration to the original sensitive feeling.
  • a scene is selected has been described.
  • processing for preventing the user's sense from becoming insensitive at the present time may be executed.
  • the frequency of vibration in the current scene is reduced or the intensity of vibration is reduced (that is, depending on the scene in the video, The vibration is changed).
  • the control unit 31 may not know at this time whether the next scene is a scene with a high frequency of vibration and whether the vibration is an important scene. For example, in a role-playing game or the like, there are cases where the current scene branches to a plurality of scenes such as a scene A where there is a lot of vibration and vibration is important, and a scene B where there is little vibration and vibration is not important. In this case, it is not determined whether the next scene is the scene A where the vibration is large and the vibration is important, or the scene B where the vibration is small and the vibration is not important.
  • the frequency of vibration in the current sceneon is reduced or the strength of the vibration is reduced.
  • FIG. 11 is a diagram showing a chat microphone 60 according to the fifth embodiment.
  • a chat microphone 60 shown in FIG. 11 is a type of microphone that is used on the ear and is connected to the controller 30 by wire.
  • the chat microphone 60 collects a user's voice and converts the collected voice into an electric signal.
  • the chat microphone 60 is used for chatting with other users who are playing the game together when the user is playing a communication game or the like.
  • the chat microphone 60 may be used for inputting a command in a game.
  • the chat microphone 60 when the controller 30 vibrates, the chat microphone 60 also vibrates according to the vibration of the controller 30. In this case, if the strength of the vibration is strong, the vibration sound may become noise and ride on a signal output from the chat microphone 60.
  • control unit 31 of the controller 30 may make the vibration intensity weaker when the chat microphone 60 is used than when the chat microphone 60 is not used. Thereby, it is possible to prevent noise from being applied to the signal output from the chat microphone 60.
  • VAD Voice Activity Detection
  • the user is chatting with a friend user who is playing the communication game together with the chat microphone 60 while playing the communication game for battle.
  • the user may be distracted by the chat with the ally user and may not be aware that the opponent's enemy is approaching.
  • control unit 31 of the controller 30 increases the strength of vibration when the chat microphone 60 is used than when the chat microphone 60 is not used. This makes it possible for a user who is distracted by chat to notice that an aspect of the game is an important aspect as an enemy approaches.
  • the vibration for notifying this will generate
  • control unit 31 of the controller 30 only needs to be able to change the strength of vibration depending on whether or not the chat microphone 60 is used.
  • vibration sound may be generated, and the user may feel disgust at the vibration sound.
  • the user may care about the vibration sound.
  • the sound of the game is strong, the user does not care much even if the vibration sound is somewhat strong.
  • this relationship is used, and the strength of the vibration sound is changed according to the strength of the game sound.
  • FIG. 12 is a flowchart showing processing in the sixth embodiment.
  • control unit 31 of the controller 30 determines the sound intensity of the current game (step 601).
  • the processing at this time is the same as step 105 in FIG.
  • control unit 31 of the controller 30 adjusts the frequency component of the vibration signal output to the vibration unit 35 according to the current game sound intensity (step 602). At this time, the control unit 31 of the controller 30 reduces the frequency component of the vibration signal so that the frequency component in a predetermined range in the human audible region (20 Hz to 20 kHz) decreases as the game sound intensity decreases. adjust.
  • a low-pass filter or a band-pass filter is used. That is, the frequency component in the predetermined range is cut by the low-pass filter or the band-pass filter, and the frequency component in the predetermined range is reduced.
  • the frequency range (predetermined range) to be cut is a frequency range of vibration sound that the user is concerned about.
  • the human audible region is 20 Hz to 20 kHz, but the frequency of the vibration sound that the user is interested in may not completely match the human audible region. For example, it may be possible not to worry about vibration sounds in the range of 20 Hz to 100 Hz, 20 Hz to 200 Hz, and the like.
  • the frequency range (predetermined range) to be cut is set to 100 Hz or more, 200 Hz or more, for example.
  • the cut-off frequency of the low-pass filter is set to 100 Hz, 200 Hz, etc., and the low-pass filter is configured to be able to cut frequencies of 100 Hz or more and 200 Hz or more.
  • the range of the frequency to be cut may be set according to the strength of the game sound.
  • the range of the frequency to be cut may be set so that the area becomes wider as the strength of the game sound becomes weaker.
  • the frequency range (predetermined range) to be cut may coincide with the human audible range (20 Hz to 20 kHz). In this case, the frequency component of the human audible region is cut by the band pass filter.
  • the frequency range (predetermined range) to be cut may be different for each type of controller 30.
  • FIG. 13 is a diagram illustrating an example of a vibration signal.
  • the three diagrams shown in FIG. 13 show an example of the vibration signal when the sound intensity of the current game is 0, 50, 100 in order from the top.
  • FIG. 13 shows a state where the frequency component of the vibration signal is adjusted by a low-pass filter whose cutoff frequency is set to 200 Hz.
  • the frequency component in the vibration signal is not adjusted. That is, when the strength of the game sound is strong, the user does not mind even if the vibration sound is strong, so the frequency component is not adjusted.
  • the vibration signal is passed through a low-pass filter (cut-off frequency 200 Hz), and a frequency component of 200 Hz or higher is cut. . That is, when the current game sound intensity is 50, the user may be concerned about the vibration sound, so the frequency component of 200 Hz or higher is cut.
  • the vibration signal is passed through a low-pass filter (cut-off frequency: 200 Hz), and frequency components of 200 Hz or higher are cut.
  • the low-pass filter is applied more strongly than when the sound intensity is 50. That is, when the sound intensity of the current game is 0, since the user is sensitive to the vibration sound, the frequency component of 200 Hz or more is strongly cut.
  • control unit 31 of the controller 30 when the frequency component of the vibration signal is adjusted, the control unit 31 of the controller 30 outputs the vibration signal with the adjusted frequency component to the vibration unit 35 (step 603).
  • the strength of the vibration sound generated by the vibration of the vibration unit 35 is changed according to the strength of the game sound.
  • the frequency of vibration of the vibration unit 35 changes so that the frequency component in a predetermined range in the human audible region (20 Hz to 20 kHz) decreases as the game sound intensity decreases. Is done. Thereby, it can prevent that a user notices a vibration sound.
  • the magnitude of the vibration of the vibration unit 35 is changed according to the sound pressure of the game sound.
  • the vibration frequency of the vibration unit 35 is changed according to the sound pressure of the game sound.
  • the magnitude of the vibration of the vibration unit 35 is changed according to the frequency of the sound of the game.
  • the vibration frequency of the vibration unit 35 is changed according to the frequency of the game sound.
  • a voice coil motor is used as the vibration unit 35 (because it is easy to adjust the frequency component).
  • a voice coil motor or an eccentric motor may be used as the vibration unit 35.
  • a sensor that measures a physical change of the user (sweat change, heartbeat change, brain wave change, facial expression change) based on the vibration in the controller 30 or the like.
  • a camera, an acceleration sensor, an electroencephalogram sensor, etc. may be provided.
  • control unit 31 of the controller 30 acquires information on the physical change of the user from the sensor, and a value for changing the strength of vibration according to the physical change of the user (for example, ratio r, correction) Coefficient k1, correction coefficient k2, etc.) may be changed. Thereby, the strength of vibration can be made more appropriate.
  • control unit 31 of the controller 30 executes various processes.
  • these processes may be executed by the game apparatus body 20 and the output apparatus 10 or may be executed by a server apparatus on the network.
  • the game apparatus 50 has been described as an example to which the present technology is applied.
  • the present technology can be applied to various electronic devices such as a mobile phone (including a smartphone), a portable game machine, a portable music player, a tablet PC (PC: personal computer), and a virtual reality device.
  • the game system 100 has been described as an example to which the present technology is applied.
  • the present technology is typically applicable to any system as long as the system includes three elements of video, sound, and vibration.
  • the present technology can be applied to a virtual reality system.
  • An information processing apparatus comprising: a control unit that determines a type of a sound output unit that outputs a sound and changes a vibration intensity of the vibration unit according to the determined type of the sound output unit.
  • the information processing apparatus comprising: the control unit changing a vibration intensity of the vibration unit according to a sound intensity output from the sound output unit.
  • the control unit is configured to reduce the vibration intensity such that the stronger the sound is, the stronger the vibration is, or the weaker the sound is.
  • the controller is configured to control the vibration so that the strength of the vibration decreases as the strength of the sound increases, or the strength of the vibration increases as the strength of the sound decreases.
  • An information processing device that changes strength.
  • the control unit changes an intensity of a sound output from the sound output unit in accordance with the changed intensity of the vibration.
  • the information processing apparatus according to any one of (1) to (11) above, The information processing apparatus, wherein the control unit changes a scene in an image according to vibration of the vibration unit. (13) The information processing apparatus according to any one of (1) to (12), The information processing apparatus, wherein the control unit changes the vibration of the vibration unit according to a scene in an image. (14) The information processing apparatus according to any one of (1) to (13), A microphone used to collect the user's voice vibrates according to the vibration of the vibration unit, The information processing apparatus, wherein the control unit changes the strength of the vibration according to whether or not the microphone is used.
  • the information processing apparatus acquires information on a user's physical change based on vibration of the vibration unit, and changes a value for changing the strength of the vibration according to the user's physical change.
  • the control unit changes an intensity of vibration sound generated by vibration of the vibration unit according to the intensity of sound output from the sound output unit.
  • the vibrating portion is provided on a vibrating body, The control unit acquires information on a state where the vibrating body is held by a user, and changes the strength of vibration of the vibrating unit according to the information on the state where the vibrating body is held. apparatus.
  • the information processing apparatus acquires sensitivity information related to the sensitivity of the sound intensity output from the sound output unit or the sensitivity of the vibration intensity of the vibration unit, and according to the sensitivity information, An information processing device that changes the strength of vibration. (19) Determine the type of sound output unit that outputs sound, An information processing method for changing a strength of vibration of a vibration unit according to the determined type of the sound output unit. (20) determining a type of a sound output unit that outputs sound; A program for causing a computer to execute a step of changing the strength of vibration of the vibration unit according to the determined type of the sound output unit.

Abstract

【課題】音出力部の種類毎に、振動の強さを適切に設定することで、ユーザ体験を向上させることができる技術を提供すること。 【解決手段】本技術に係る情報処理装置は、制御部を具備する。前記制御部は、音を出力する音出力部の種類を判定し、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる。

Description

情報処理装置、情報処理方法及びプログラム
　本技術は、振動の強さ等を制御する技術に関する。
　近年においては、一般的に、ゲームのコントローラには偏心モータなどの振動部が搭載されており、コントローラは、所定のタイミングで振動させるように構成されている（例えば、下記特許文献１参照）。
　例えば、ゲーム内の映像において、味方のキャラクターが敵からの攻撃を受けたような場合に、このタイミングに合わせてコントローラが振動される。ゲーム内の映像に合わせてコントローラが振動されることで、映像だけ流す場合に比べて、ユーザ体験を向上させることができる。
特開２００９－０３７５８２号公報
　ゲームの音は、スピーカや、ヘッドフォンなどの音出力部から出力されるが、音の強さは、音出力部の種類毎にそれぞれ異なる。一方、コントローラの振動の強さは、音出力部の種類に関係なく、同じとされている。この場合、ユーザ体験が低減してしまうといった問題がある。
　以上のような事情に鑑み、本技術の目的は、音出力部の種類毎に、振動の強さを適切に設定することで、ユーザ体験を向上させることができる技術を提供することにある。
　上記目的を達成するため、本技術に係る情報処理装置は、制御部を具備する。前記制御部は、音を出力する音出力部の種類を判定し、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる。
　これにより、音出力部の種類毎に、振動の強さを適切に設定することができ、結果として、ユーザ体験を向上させることができる。
　上記情報処理装置において、前記制御部は、前記音出力部から出力される音の強さに応じて、前記振動部の振動の強さを変化させてもよい。この場合、前記制御部は、前記音の強さが強くなるほど、前記振動の強さが強くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが弱くなるように、前記振動の強さを変化させてもよい。あるいは、制御部は、前記音の強さが強くなるほど、前記振動の強さが弱くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが強くなるように、前記振動の強さを変化させてもよい。
　上記情報処理装置において、前記制御部は、前記振動部の振動の強さに応じて、前記音出力部から出力される音の強さを変化させてもよい。
　これにより、振動の強さに応じて、音の強さを適切に変化させることができる。
　上記情報処理装置において、前記制御部は、変化された前記振動の強さに応じて、前記音出力部から出力される音の強さを変化させてもよい。
　上記情報処理装置において、前記制御部は、変化された前記振動の強さが振動の最大値に達したとき、前記音の強さを変化させてもよい。
　これにより、ユーザが感じる振動の強さを疑似的に強くすることができる。
　上記情報処理装置において、前記制御部は、環境音における音の強さに応じて、前記振動部の振動の強さを変化させてもよい。
　これにより、環境音の強さに応じて、振動の強さを適切に変化させることができる。
　上記情報処理装置において、前記制御部は、環境音における音の強さに応じて、前記音出力部から出力される音の強さを変化させてもよい。
　これにより、環境音の強さに応じて、音の強さを適切に変化させることができる。
　上記情報処理装置において、前記制御部は、前記振動部の振動に応じて、映像を変化させてもよい。
　これにより、振動に応じて、映像を適切に変化させることができる。
　上記情報処理装置において、前記制御部は、前記振動部の振動に応じて、前記映像内におけるオブジェクトの大きさ又は前記オブジェクトのアクションの大きさを変化させてもよい。
　上記情報処理装置において、前記制御部は、前記振動部の振動に応じて、映像におけるシーンを変化させてもよい。
　これにより、振動に応じて、映像におけるシーンを適切に変化させることができる。
　上記情報処理装置において、前記制御部は、映像におけるシーンに応じて、前記振動部の振動を変化させてもよい。
　これにより、映像におけるシーンに応じて、振動を適切に変化させることができる。
　上記情報処理装置において、ユーザの声を収集するために使用されるマイクロフォンが前記振動部の振動に応じて振動し、前記制御部は、前記マイクロフォンが使用されているか否かに応じて、前記振動の強さを変化させてもよい。
　これにより、マイクロフォンが使用されているか否かに応じて、振動の強さを適切に変化させることができる。
　上記情報処理装置において、前記制御部は、前記振動部の振動に基づくユーザの身体的変化の情報を取得し、ユーザの身体的変化に応じて、前記振動の強さを変化させるための値を変更してもよい。
　これにより、ユーザの身体的変化に応じて、振動の強さを適切に変化させることができる。
　上記情報処理装置において、前記制御部は、前記振動部の振動によって発生する振動音の強さを、前記音出力部から出力される音の強さに応じて変化させてもよい。
　これにより、音の強さに応じて、振動音の強さを適切に変化させることができる。
　上記情報処理装置において、前記振動部は、振動体に設けられ、前記制御部は、ユーザによって前記振動体が保持されている状態の情報を取得し、前記振動体が保持されている状態の情報に応じて、前記振動部の振動の強さを変化させてもよい。
　これにより、振動体が保持されている状態に応じて、振動音の強さを適切に変化させることができる。
　上記情報処理装置において、前記制御部は、前記音出力部から出力される音の強さの感度又は前記振動部の振動の強さの感度に関連する感度情報を取得し、前記感度情報に応じて、前記振動部の振動の強さを変化させる
　これにより、感度に応じて、振動の強さを適切に変化させることができる。
　本技術に係る情報処理方法は、音を出力する音出力部の種類を判定し、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる。
　本技術に係るプログラムは、音を出力する音出力部の種類を判定するステップと、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させるステップとをコンピュータに実行させる。
　以上のように、本技術によれば、音出力部の種類毎に、振動の強さを適切に設定することで、ユーザ体験を向上させることができる技術を提供することができる。
本技術の第１実施形態に係るゲームシステムを示す図である。 ゲームシステムの構成を示すブロック図である。 コントローラの制御部の処理を示すフローチャートである。 ユーザの位置での環境音における音の強さを判定するときの処理を示すフローチャートである。 第２実施形態における処理を示すフローチャートである。 第３実施形態における処理を示すフローチャートである。 映像が変化されたときの一例を示す図である。 映像が変化されたときの一例を示す図である。 第４実施形態における処理を示すフローチャートである。 映像における次のシーンとして振動の頻度が少ないシーンが選択されたときの一例を示す図である 第５実施形態に係るチャット用マイクロフォンを示す図である。 第６実施形態における処理を示すフローチャートである。 振動信号の一例を示す図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
≪第１実施形態≫
＜全体構成及び各部の構成＞
　図１は、本技術の第１実施形態に係るゲームシステム１００を示す図である。図２は、ゲームシステム１００の構成を示すブロック図である。
　これらの図に示すように、ゲームシステム１００は、出力装置１０と、ゲーム装置５０（情報処理装置）とを備えている。ゲーム装置５０は、ゲーム装置本体３０と、コントローラ４０とを含む。
　出力装置１０は、例えば、チューナー機能を有するテレビジョン装置である。なお、この出力装置１０は、チューナー機能を有しないモニタであってもよい。ゲーム装置５０は、ゲーム専用の機器であってもよいし、ＰＣ（Personal Computer）等であってもよい。
　出力装置１０は、制御部１１と、記憶部１２と、通信部１３と、表示部１４と、スピーカ１５（音出力部）とを備えている。
　出力装置１０の制御部１１は、ＣＰＵ（Central Processing Unit）等により構成される。出力装置１０の制御部１１は、記憶部１２に記憶された各種のプログラムに基づき種々の演算を実行し、出力装置１０の各部を統括的に制御する。
　出力装置１０の記憶部１２は、出力装置１０の制御部１１の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、出力装置１０の制御部１１の作業領域として用いられる揮発性のメモリとを含む。
　表示部１４は、例えば、液晶ディスプレイ、あるいは、ＥＬディスプレイ（ＥＬ：Electro Luminescence）等により構成される。表示部１４は、ゲーム装置本体２０から送信された映像信号に応じた映像を画面上に表示させる。スピーカ１５は、ゲーム装置本体２０から送信された音信号に応じたゲームの音を出力する。
　図に示す例では、表示部１４とスピーカ１５とが一体である場合が示されているが、表示部１４と、スピーカ１５とが別体に構成されていてもよい。
　出力装置１０の通信部１３は、ゲーム装置本体２０との間で、有線又は無線により通信可能に構成されている。出力装置１０の通信部１３は、ゲーム装置本体２０から送信されたゲームの映像信号及び音信号を受信する。
　また、出力装置１０の通信部１３は、ヘッドフォン４０（音出力部：イヤホンを含む）との間で有線又は無線により通信可能に構成されている。ヘッドフォン４０は、出力装置１０の制御に応じて、ゲーム装置本体２０から送信された音信号に応じたゲームの音を出力する。
　出力装置１０は、スピーカ１５から音を出力させるとき、ヘッドフォン４０からは、音は出力させないように構成されており、逆に、出力装置１０は、ヘッドフォン４０から音を出力させるとき、スピーカ１５からは音を出力させないように構成されている。
　ゲーム装置本体２０は、制御部２１と、記憶部２２と、通信部２３と、光ディスクドライブ２４とを備えている。
　光ディスクドライブ２４は、ゲームプログラムが記録された光ディスク（ＤＶＤ（ＤＶＤ：digital versatile Disc）、ｂｌｕ－ｒａｙディスク等）からゲームプログラムを読み取って、制御部２１へと出力する。ゲーム装置本体２０は、光ディスクの導入／排出機構（不図示）を有しており、光ディスクは、この導入排出機構によって、ゲーム装置本体２０内に導入されたり、ゲーム装置本体２０から排出されたりする。なお、ゲームプログラムは、ネットワーク上のサーバ装置からダウンロードされてもよい。
　ゲーム装置本体２０の制御部２１は、ＣＰＵ（Central Processing Unit）等により構成される。ゲーム装置本体２０の制御部２１は、記憶部２２に記憶された各種のプログラム（ゲームプログラムを含む）に基づき種々の演算を実行し、ゲーム装置本体２０の各部を統括的に制御する。
　ゲーム装置本体２０の記憶部２２は、ゲーム装置本体２０の制御部２１の処理に必要な各種のプログラム（ゲームプログラムを含む）や、各種のデータが記憶される不揮発性のメモリと、ゲーム装置本体２０の制御部２１の作業領域として用いられる揮発性のメモリとを含む。
　ゲーム装置本体２０の通信部２３は、コントローラ３０及び出力装置１０との間で、有線又は無線により通信可能に構成されている。なお、ゲーム装置本体２０の通信部２３は、ネットワーク上のサーバ装置（不図示）と通信可能に構成されていてもよい。
　ゲーム装置本体２０の通信部２３は、ゲーム装置本体２０の制御部３１の制御に基づき、ゲームにおける映像信号及び音信号を出力装置１０へと送信する。
　また、ゲーム装置本体２０の通信部２３は、コントローラ３０から送信された操作信号を受信し、ゲーム装置本体２０の制御部２１へと出力する。ゲーム装置本体２０の制御部２１は、操作信号に応じて、操作の内容をゲームに反映させる。
　コントローラ３０は、制御部３１と、記憶部３２と、操作部３３と、通信部３４と、振動部３５と、マイクロフォン３６とを含む。
　コントローラ３０の制御部３１は、ＣＰＵ（Central Processing Unit）等により構成される。コントローラ３０の制御部３１は、記憶部３２に記憶された各種のプログラムに基づき種々の演算を実行し、コントローラ３０の各部を統括的に制御する。
　コントローラ３０の記憶部３２は、コントローラ３０の制御部３１の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、コントローラ３０の制御部３１の作業領域として用いられる揮発性のメモリとを含む。
　操作部３３は、十字キー、ジョイスティック等の方向入力キーや、押しボタン等を含む。操作部３３は、ユーザによる操作に応じて操作信号を生成し、コントローラ３０の制御部３１へと出力する。
　コントローラ３０の通信部３４は、ゲーム装置本体２０との間で、有線又は無線により通信可能に構成されている。コントローラ３０の通信部３４は、コントローラ３０の制御部３１の制御に基づき、操作部３３により生成された操作信号をゲーム装置本体２０に送信する。
　振動部３５は、偏心モータや、ボイスコイルモータ（ＶＣＭ：Voice Coil Motor）等により構成される。振動部３５は、入力電圧に基づいて、振動の強さ（振動の大きさ及び振動の周波数を含む）を変化させることが可能に構成されている。
　マイクロフォン３６は、ユーザの周囲の環境音を集音するために設けられおり、環境音を電気信号に変換して制御部３１へと出力する。ここで、環境音とは、ゲームの映像に関連してスピーカ１５や、ヘッドフォン４０から出力されるゲームの音以外の音である。
　この環境音には、空調機、扇風機、洗濯機、掃除機、電気ストーブ、テレビジョン装置（出力装置１０がテレビジョン装置である場合には、別のテレビジョン装置）、オーディオ機器などの各種の電子機器から出力される音が含まれる。また、環境音には、水道の蛇口から流れる水の音、ガスを使用したときに発生する音、道路を走る自動車の音等のインフラ設備に関する音や、人の話し声、動物の鳴き声などの生物に関する音が含まれる。また、環境音には、救急車、消防車、パトカーのサイレン音や、赤ちゃんの泣き声、犬が吠える音等の突発的な音が含まれる。
＜動作説明＞
　次に、ゲームシステム１００における処理について説明する。この処理の説明では、特に、コントローラ３０の制御部３１の処理を中心に説明する。図３は、コントローラ３０の制御部３１の処理を示すフローチャートである。
　まず、コントローラ３０の制御部３１は、音出力部の種類を判定する（ステップ１０１）。すなわち、コントローラ３０の制御部３１は、現在においてゲームの音を出力している音出力部が、スピーカ１５及びヘッドフォン４０のうちどちらであるかを判定する。
　なお、音出力部の種類を判定するとき、コントローラ３０の制御部３１は、音出力部の種類を示す識別情報の取得要求を、ゲーム装置本体２０を介して出力装置１０へ送信する。そして、コントローラ３０の制御部３１は、出力装置１０から送信された識別情報に基づいて、音出力部の種類を判定する。
　次に、コントローラ３０の制御部３１は、音出力部の種類に応じた補正係数ｋ１をコントローラ３０の記憶部３２から取得する（ステップ１０２）。ここで、補正係数ｋ１は、音出力部の種類に応じて、振動部３５の振動の強さを補正するため（変化させるため）に用いられる値（乗算に用いられる値）である。補正係数ｋ１は、音出力部の種類に応じて予め決定されており、この補正係数ｋ１は、音出力部の種類と関連付けられてコントローラ３０の記憶部３２に予め記憶されている。なお、本実施形態において補正係数ｋ１は、正の数である。
　ここで、現在の音出力部がスピーカ１５であり、スピーカ１５からゲームの音が出力される場合と、現在の音出力部がヘッドフォン４０であり、ヘッドフォン４０からゲームの音が出力される場合とで、ユーザが感じる音の強さ（音圧及び音の周波数を含む）が異なる。なお、出力装置１０に設定されている音量（ボリューム値。例えば、１００段階）の大きさは同じであるとする。この場合、一般的には、ユーザは、スピーカ１５から出力されるゲームの音の方が、ヘッドフォン４０から出力されるゲームの音よりも強いと感じることが多い。
　補正係数ｋ１の値は、音出力部の種類毎にユーザが感じるゲームの音の強さと関係がある。本実施形態では、音量が同じ場合において、ユーザがゲームの音を強く感じる音出力部ほど、補正係数ｋ１に、大きな値が設定される。
　本実施形態では、音量が同じ場合に、ユーザは、ヘッドフォン４０から出力されるゲームの音の方が、スピーカ１５から出力されるゲームよりも強いと感じるので、ヘッドフォン４０に対する補正係数ｋ１は、スピーカ１５に対する補正係数ｋ１よりも大きく設定される。例えば、スピーカ１５に対する補正係数ｋ１は、１であり、ヘッドフォン４０に対する補正係数ｋ１は、１．２である。
　ここで、本実施形態では、音出力部がスピーカ１５であるか、ヘッドフォン４０であるかが単純に判断されている。つまり、単純な二択である。一方、スピーカ１５には様々な種類があり、ヘッドフォン４０にも様々な種類がある。従って、ユーザが感じる音の強さがどの程度であるかがスピーカ１５、ヘッドフォン４０の種類毎に考慮され、スピーカ１５、ヘッドフォン４０の種類毎に、補正係数ｋ１が用意されていてもよい。
　ユーザが感じるゲームの音の強さがどの程度であるかをスピーカ１５、ヘッドフォン４０の種類毎に判断するために、コントローラ３０の制御部３１は、スピーカ１５、ヘッドフォン４０の抵抗値の情報を取得してもよい。
　あるいは、ゲームシステム１００において、スピーカ１５、ヘッドフォン４０の種類、形状をユーザに選択させる処理が実行されてもよい。この場合、例えば、スピーカ１５、ヘッドフォン４０の種類、形状を選択させるための画像が出力装置１０の表示部１４上に表示される。ユーザは、コントローラ３０の操作部３３を操作することで、スピーカ１５、ヘッドフォン４０の種類、形状を選択することができる。
　コントローラ３０の制御部３１は、補正係数ｋ１を取得した後、マイクロフォン３６から取得された音の情報に基づいて、環境音における音の強さ（音圧及び音の周波数を含む）を判定する（ステップ１０３）。環境音における音の強さは、現在時刻の所定時間前（例えば、数秒程度）から現在時刻までの音の強さの平均値であってもよいし、現在時刻におけるその瞬間の音の強さであってもよい。
　ここで、スピーカ１５からゲームの音が出力されている場合、マイクロフォン３６から取得される音には、環境音の他に、スピーカ１５から出力されるゲームの音が含まれる。従って、典型的には、コントローラ３０の制御部３１は、ゲームの音と、環境音とが混ざった状態で所得された音から、環境音を取り出し（例えば、フィルタを掛けて環境音を取り出す）、環境音における音の強さを判定する。
　環境音における音の強さを判定すると、次に、コントローラ３０の制御部３１は、環境音における音の強さに応じた補正係数ｋ２をコントローラ３０の記憶部３２から取得する（ステップ１０４）。
　ここで、補正係数ｋ２は、振動部３５の振動の強さを、環境音における音の強さに応じて補正するため（変化させるため）に用いられる値（乗算に用いられる値）である。補正係数ｋ２は、環境音における音の強さに応じて予め決定されており、この補正係数ｋ２は、環境音における音の強さと関連付けられてコントローラ３０の記憶部３２に予め記憶されている。なお、本実施形態において補正係数ｋ２は、正の数である。
　ここで、ゲームの音の強さが同じでも、環境音における音の強さが強い場合と、環境音における音の強さが弱い場合とでは、ユーザが感じるゲームの音の強さは異なる。この場合、一般的に、ユーザは、環境音における音の強さが弱い（静かな）方が、環境音における音の強さが強い（うるさい）場合よりも、ゲームの音の強さを強く感じる。
　補正係数ｋ２の値は、環境音における音の強さに応じてユーザが感じるゲームの音の強さと関係がある。具体的には、環境音における音の強さが弱くなる（静かになる）ほど、つまり、ユーザがゲームの音を強く感じるほど、補正係数ｋ２に、大きな値が設定される。例えば、環境音が０（あるいは、略０）である場合、補正係数ｋ２は、１であり、環境音が強くなるに従って、補正係数ｋ２は、０．９、０．８・・の値が設定される（なお、補正係数ｋ２には、下限値があり０にはならない）。
　また、環境音における音の強さが同じであっても、スピーカ１５からゲームの音が出力されている場合と、ヘッドフォン４０からゲームの音が出力されている場合とでは、ユーザが感じる環境音の強さが異なる。つまり、環境音における音の強さが同じ場合、ユーザは、ヘッドフォン４０を装着してヘッドフォン４０からゲームの音を聞いている場合の方が、スピーカ１５から出力されているゲームの音を聞いている場合よりも環境音における音の強さを弱いと感じる。
　従って、補正係数ｋ２の値は、スピーカ１５からゲームの音が出力されている場合と、ヘッドフォン４０からゲームの音が出力されている場合とで異なっていてもよい。この場合、環境音における音の強さが同じ場合に、環境音における音の強さを弱く感じる音出力部ほど、つまり、ユーザがゲームの音を強く感じる音出力部ほど、補正係数ｋ２に大きな値が設定される。この場合、例えば、ヘッドフォン４０から音が出力されている場合の補正係数ｋ２は、スピーカ１５から音が出力される場合の補正係数ｋ２よりも大きく設定される。
　補正係数ｋ２を取得すると、次に、コントローラ３０の制御部３１は、現在のゲームの音の強さを判定する（ステップ１０５）。
　この場合、典型的には、コントローラ３０の制御部３１は、現在においてどの程度の強さで音出力部からゲームの音を出力したかの情報の取得要求を、ゲーム装置本体２０を介して、出力装置１０へ送信する。コントローラ３０の制御部３１は、出力装置１０から受信した上記情報に基づいて、現在のゲームの音の強さを判定する。
　なお、ゲームの音がスピーカ１５から出力されている場合、マイクロフォン３６によって取得されたゲームの音の情報に基づいて、現在のゲームの音の強さが判定されてもよい。また、出力装置１０から取得された情報と、マイクロフォン３６から取得された情報の両方が用いられて現在のゲームの音の強さが判定されてもよい。
　現在のゲームの音の強さを判定すると、制御部３１は、現在のゲームの音の強さに基づいて、振動部３５の振動の強さを算出する（ステップ１０６）。本実施形態では、振動部３５の振動の強さは、現在のゲームの音の強さが強くなるほど、その強さが強くなるように値が設定されている。例えば、現在のゲームの音の強さと、求められる振動の強さとの比ｒは、常に一定とされる。この比ｒは、例えば、ゲームの設計者により、ゲーム毎、あるいはプラットフォーム毎に設定されてもよいし、ユーザにより設定されてもよい。
　振動の強さを算出すると、コントローラ３０の制御部３１は、振動の強さの値に、補正係数ｋ１と、補正係数ｋ２とを乗算して、補正された振動の強さを算出する（ステップ１０７）。
　ここで、上述のように、補正係数ｋ１は、ユーザがゲームの音を強く感じる音出力部ほど、大きな値が設定されている。従って、本実施形態では、振動の強さの値に、補正係数ｋ１が乗算されることで、ユーザがゲームの音を強く感じる音出力部ほど、振動の強さが強くなるように、振動の強さが補正（変化）される。
　また、上述のように、補正係数ｋ２は、環境音における音の強さが弱くなるほど、つまり、ユーザがゲームの音を強く感じるほど、大きな値が設定されている。従って、振動の強さの値に、補正係数ｋ２が乗算されることで、環境音における音の強さが弱くなるほど、つまり、ユーザがゲームの音を強く感じるほど、振動の強さが強くなるように、振動の強さが補正（変化）される。
　なお、ここでの説明から理解されるように、補正係数ｋ１及び補正係数ｋ２は、ユーザが感じるゲームの音の強さが強くなるほど、振動部３５の振動が強くなるように振動の強さ補正している点で共通している。
　コントローラ３０の制御部３１は、補正された振動の強さを算出すると、現在、振動部３５を振動させるタイミングであるかどうかを判定する（ステップ１０８）。振動部３５を振動させるかどうかの指示は、ゲーム装置本体２０から送信され、コントローラ３０の制御部３１は、この指示に応じて、現在、振動部３５を振動させるタイミングであるかどうかを判定する。
　現在、振動部３５を振動させるタイミングである場合（ステップ１０８のＹＥＳ）、コントローラ３０の制御部３１は、補正された振動の強さで、振動部３５を振動させ（ステップ１０９）、次のステップ１１０へ進む。振動部３５が振動すると、コントローラ３０全体が、振動部３５の振動に応じた強さで振動され、この振動がユーザの手に伝わる。なお、ここでの例では、振動部３５を振動させる全てのタイミングで、振動の強さが変化されているが、一部のタイミングで振動の強さが変化されてもよい。
　現在、振動部３５を振動させるタイミングではない場合（ステップ１０８のＮＯ）、コントローラ３０の制御部３１は、振動部３５を振動させずに、次のステップ１１０へ進む。
　ステップ１１０では、コントローラ３０の制御部３１は、ゲームの音を出力する音出力部の種類が変更されたかどうかを判定する。なお、音出力部の種類が変更された場合、音出力部の種類が変更されたことを示す信号が、出力装置１０からゲーム装置本体２０を介してコントローラ３０に送信される。
　音出力部の種類が変更された場合（ステップ１１０のＹＥＳ）、制御部３１は、ステップ１０１へ戻り、音出力部の種類を判定する。一方、音出力部の種類が変更されていない場合（ステップ１１０のＮＯ）、制御部３１は、ステップ１０３へ戻り、環境音における音の強さを判定する。
＜作用等＞
　ここで、ゲームの音の強さに対して、コントローラ３０の振動の強さが弱いと、ユーザは、コントローラ３０の振動がゲームの音に埋もれてしまい、振動を実際の振動よりも弱く感じてしまう場合がある。また、ゲームの音の強さに対して、コントローラ３０の振動の強さが弱いと、ユーザは、ゲームの音とコントローラ３０の振動とが分離しているように感じてしまう場合がある。
　一方、本実施形態では、ゲームの音の強さとの関係で、振動部３５の振動の強さ（コントローラ３０の振動の強さ）が適切に設定されている。具体的には、ゲームにおける音の強さが強くなるほど、振動部３５の振動の強さが強くなるように、振動部３５の振動の強さが変化される。
　これにより、ゲームの音の強さに対して、コントローラ３０の振動の強さが弱いとユーザが感じてしまうことを防止することができる。従って、ユーザが、コントローラ３０の振動がゲームの音に埋もれてしまい、振動を感じにくいと感じてしまったり、ゲームの音とコントローラ３０の振動とが分離しているように感じてしまったりすることを防止することができる。さらに、ゲームの音の強さが強くなるほど、振動部３５の振動の強さを強くすることで、ゲームの音とコントローラ３０の振動とが協調しているとユーザに感じさせることもできる。このように、本実施形態では、ユーザ体験を向上させることができる。
　また、本実施形態では、音出力部の種類が判定され、判定された音出力部の種類に応じて、振動部３５の振動の強さが補正（変化）される。これにより、音出力部の種類毎に、振動の強さを適切に設定することができ、結果として、ユーザ体験を向上させることができる。
　特に、本実施形態では、ユーザがゲームの音を強く感じる音出力部ほど、振動部３５の振動の強さが強くなるように、振動部３５の振動の強さが補正（変化）される。これにより、ユーザが実際に感じているゲームの音の強さに合わせて、振動部３５の振動の強さを適切に変化させることができ、さらに、ユーザ体験を向上させることができる。
　また、本実施形態では、環境音における音の強さが判定され、判定された環境音における音の強さに応じて、振動部３５の振動の強さが補正（変化）される。これにより、環境音における音の強さに応じて、振動の強さを適切に設定することができ、結果として、ユーザ体験を向上させることができる。
　特に、本実施形態では、環境音における音の強さが弱くなるほど、つまり、ユーザがゲームの音を強く感じるほど、振動の強さが強くなるように、振動の強さが補正（変化）される。これにより、ユーザが実際に感じているゲームの音の強さに合わせて、振動部３５の振動の強さを適切に変化させることができ、さらに、ユーザ体験を向上させることができる。
＜第１実施形態変形例＞
　以上の説明では、ゲームの音の強さが強くなるほど、振動部３５の振動が強くなる（換言すると、ゲームの音の強さが弱くなるほど、振動部３５の振動の強さが弱くなる）場合について説明した。一方、ゲームの音の強さが強くなるほど、振動部３５の振動の強さが弱くなるように（換言すると、ゲームの音の強さが弱くなるほど、振動部３５の振動の強さが強くなるように）、振動の強さが変化されてもよい。
　ここで、ゲームの音が出力されるタイミングと、振動部３５が振動するタイミングとが一致しているような場合、例えば、足音に合わせて、振動部３５が振動するような場合、実際の振動の強さよりも振動を強く感じる場合がある。例えば、このような場合に、ゲームの音の強さが強くなるほど、振動部３５の振動が弱くなるように、振動の強さが変化されてもよい。
　例えば、足音に合わせて、振動部が振動する場合に、足音における音の強さが弱い場合よりも、足音における音の強さが強い場合の方が、振動部３５における振動の強さが弱くされる。この場合、音及び振動のタイミングが一致している場合と、音及び振動のタイミングが一致してしない場合とで、ユーザが感じる振動の強さが異なってしまい、ユーザが違和感を覚えてしまうことを防止することができる。
　なお、これについては、音出力部の種類毎に応じて、振動部３５の振動の強さが補正（変化）される場合や、環境音における音の強さに応じて、振動部３５の振動の強さが補正（変化）される場合についても同様のことが言える。
　つまり、ゲームの音が出力されるタイミングと、振動部３５が振動するタイミングとが一致しているような場合、ユーザがゲームの音を強く感じる音出力部ほど、振動の強さが弱くなるように、振動の強さが補正（変化）されてもよい。
　また、ゲームの音が出力されるタイミングと、振動部３５が振動するタイミングとが一致しているような場合、環境音における音の強さが強くなるほど、つまり、ユーザがゲームの音を強く感じるほど、振動の強さが弱くなるように、振動の強さが補正（変化）されてもよい。
　ここで、ゲームの音の強さに基づいて、振動部における振動の強さを変化させる方法について具体的に説明する。なお、本明細書中において、「音の強さ」と言った場合には、音出力部から出力される音の強さ及びユーザが感じる音の強さの両方が含まれる。また、「振動の強さ」と言った場合には、振動部における振動の強さ及びユーザが感じる振動の強さの両方が含まれる。
　ユーザが実際に感じる音の強さは、音圧と、音の周波数と関係がある。また、ユーザが実際に手に感じる振動の強さは、振動の大きさ及び振動の周波数と関係がある。
　従って、ゲームの音の強さに応じて、振動部における振動の強さを変化させるための方法としては、大きく分けて以下の４つの方法がある。なお、（１）～（４）の４つの方法のうち、２以上の方法が組み合わされてもよい。
　（１）ゲームの音の音圧に応じて、振動部３５の振動の大きさが変化される。（２）ゲームの音の音圧に応じて、振動部３５の振動の周波数が変化される。（３）ゲームの音の周波数に応じて、振動部３５の振動の大きさが変化される。（４）ゲームの音の周波数に応じて、振動部３５の振動の周波数が変化される。
　ここで、音の周波数について、人の可聴域は、およそ２０Ｈｚ～２０ｋＨｚであることが知られており、３ｋＨｚ付近に音最大感度点があることがあることが知られている。つまり、音圧が同じ場合、音の周波数が３ｋＨｚの音最大感度点に近づくに従って、ユーザは、音の強さを大きく感じる。従って、（３）、（４）において、ゲームの音の周波数が考慮される場合、この関係が利用される。
　また、振動の周波数について、人は、手において、２００Ｈｚ付近に振動最大感度点があることが知られている。つまり、振動の大きさが同じ場合、２００Ｈｚの振動最大感度点に近づくに従って、ユーザは、振動の強さを強く感じる。従って、（２）、（４）において、振動の周波数が考慮される場合、この関係が利用される。なお、手以外の部分については、振動最大感度点は、２００Ｈｚとは異なる値となる場合がある。
　なお、（２）及び（４）の場合、典型的には、振動部３５としてボイスコイルモータが用いられる（振動の周波数を制御するのが容易であるため）。一方、（１）及び（３）では、振動部３５としてボイスコイルモータが用いられてもよいし、偏心モータが用いられてもよい。
　また、（２）及び（４）の場合、振動部３５の特性を考慮して、最も振動が大きくなる共振点付近の周波数帯を使用して振動部３５を振動させてもよい。
　ここで、ユーザによりコントローラ３０（振動体の一例）が保持されている状態（コントローラ３０の姿勢、ユーザがコントローラ３０を把持する力）によって、コントローラ３０の振動の仕方が変わり、ユーザが感じる振動の強さが変わることがある。
　このような場合、ユーザによりコントローラ３０が保持されている状態の情報が、加速度センサ、角速度センサ、圧力センサ等の各種のセンサによって検出されてもよい。この場合、コントローラ３０の制御部は、上記情報を各種のセンサから取得し、この情報に応じて、振動部３５の振動の強さを変化させてもよい。
　また、ユーザが感じる音の強さ、振動の強さは、年齢差、個人差がある（例えば、モスキート音は若い年齢ほど聞こえやすい）。従って、コントローラ３０の制御部３１は、音出力部から出力される音の強さの感度又は振動部３５の振動の強さの感度に関連する感度情報を取得し、この感度情報に基づいて、振動部３５の振動の強さを変化させてもよい。
　感度情報しては、ユーザの年齢の情報、ユーザ毎の音の感じやすさ、振動の感じやすさの情報等が挙げられる。ユーザの年齢の情報は、例えば、ユーザ情報等から取得することができる。また、ユーザ毎のユーザ毎の音の感じやすさ、振動の感じやすさの情報は、例えば、ゲーム毎に、音や振動を発してユーザが音、振動に対してどの程度の感度を有しているかを判断することによって取得することができる。
　（環境音）
　上述の説明では、環境音を集音するマイクロフォン３６がゲームコントローラ３０に設けられている場合について説明したが、このマイクロフォン３６は、ゲーム装置本体２０や、出力装置１０等の設けられていてもよい。
　ここで、マイクロフォン３６により取得される環境音における音の強さは、ユーザの位置（特に、耳の位置）での環境音における音の強さとは異なる場合がある。これは、マイクロフォン３６の位置と、ユーザの位置との間に距離があるためである。特に、マイクロフォン３６がゲーム装置本体２０や、出力装置１０に設けられている場合、ユーザ位置と、マイクロフォン３６との間の距離が遠くなってしまう。このため、マイクロフォン３６により取得される環境音における音の強さと、ユーザの位置での環境音における音の強さとの差が大きくなってしまう場合がある。
　従って、マイクロフォン３６により取得される環境音における音の強さと、ユーザの位置での環境音における音の強さとの差が考慮されて、ユーザの位置での環境音における音の強さが判定されてもよい。
　図４は、ユーザの位置での環境音における音の強さを判定するときの処理を示すフローチャートである。
　コントローラ３０の制御部３１は、まず、マイクロフォン３６で取得された環境音における音の強さの情報に基づいて、マイクロフォン３６の位置での環境音における音の強さを判定する（ステップ２０１）。なお、マイロフォンが、ゲーム装置本体２０や、出力装置１０等に設けられている場合には、コントローラ３０は、例えば、所定時間毎に、マイクロフォン３６で取得された音の情報を、ゲーム装置本体２０、出力装置１０等から受信する。なお、ステップ２０１の処理は、上述のステップ１０３と基本的に同じである。
　次に、コントローラ３０の制御部３１は、ユーザの位置と、マクロフォンの位置と、環境音を発している音発生源（空調機、洗濯機等）の位置との空間内における位置関係を判定する（ステップ２０２）。
　ユーザの位置は、例えば、ゲーム装置本体２０、出力装置１０等に設けられたカメラ（不図示。典型的には、２つ以上設置される）によって取得された画像に基づいて判断される。このとき、顔検出に基づいて、ユーザの耳の位置が判断されてもよい。
　マイクロフォン３６の位置も、例えば、ゲーム装置本体２０、出力装置１０等に設けられたカメラによって取得された画像に基づいて判断される。例えば、ゲーム装置本体２０にマイクロフォン３６が設けられており、出力装置１０にカメラが設けられている場合、カメラによって取得される画像には、ゲーム装置本体２０が写るので、このゲーム装置本体２０の位置がマイクロフォン３６の位置として判断される。
　音発生源の位置も、例えば、ゲーム装置本体２０、出力装置１０等に設けられたカメラによって取得された画像に基づいて判断される。この場合、音発生源が画像に写っていれば、音発生源の位置を判断することが可能である。なお、音発生源が、カメラの画角から外れた位置に位置していることも想定される。このような場合には、マイクロフォン３６で取得された音の情報から、音の指向性と音の強さを判断して、マイクフォンの位置に対する音発生源の位置関係を判断してもよい。あるいは、光センサなどから距離を測定することも可能である。
　また、ゲーム装置本体２０や、出力装置１０が、空調機や、洗濯機などの他の電子機器とシステム連携されている場合も想定される。従って、このような場合には、システム連携されている他の電子機器が稼働中であることを示す情報が、音発生源の位置を判定するための情報として補助的に使用されてもよい。
　コントローラ３０の制御部３１は、３者の空間内における位置関係を判定すると、マイクロフォン３６の位置における環境音における音の強さと、３者の空間内の位置関係とに基づいて、ユーザの位置での環境音における音の強さを判定する（ステップ２０３）。
　例えば、マイクロフォン３６の位置と、音発生源との間の距離が、ユーザの位置と、音発生源との間の距離よりも近い場合には、ユーザの位置での環境音における音の強さは、マイクロフォン３６の位置における環境音よりも弱い。逆に、マイクロフォン３６の位置と、音発生源との間の距離が、ユーザの位置と、音発生源との間の距離よりも遠い場合には、ユーザの位置での環境音における音の強さは、マイクロフォン３６の位置における環境音よりも強い。この関係を利用して、コントローラ３０の制御部３１は、マイクロフォン３６により取得された環境音における音の強さに応じて、ユーザの位置での環境音における音の強さを判定する。
　なお、ユーザの位置での環境音における音の強さが判定された場合、この環境音における音の強さに応じた補正係数ｋ２が取得され、この補正係数ｋ２によって、振動部３５の振動の強さが補正されてもよい。
　ここで、環境音における音の強さに応じて、音出力部から出力されるゲームの音の強さが変化されてもよい。この場合、典型的には、環境音における音の強さが強くなるほど、ゲームの音が強くなるように、ゲームの音の強さが変化される。
　この場合、例えば、コントローラ３０の制御部３１は、環境音における音の強さが所定の閾値以上である場合に、環境音における音の強さに応じて、ゲームの音が強くなるように、ゲーム装置本体２０、出力装置１０に指示を出す。これにより、環境音における音の強さが強い（うるさい）場合に、自動的にゲームの音の強さが強くなる。また、ゲームの音の強さが強くなるので、これに応じて、振動部３５の振動の強さも強くなる。
　また、環境音の種類が判定され、環境音の種類に応じて、その後にどのような処理が実行されるかが決定されてもよい。この場合、例えば、環境音が空調機の音などの定常的に鳴っている音である場合には、ゲームの音が強くなるように、ゲームの音の強さが変化される。一方、環境音が突発的な音（救急車の音など）である場合、振動が重要であるゲームのシーン（シーンについては、後述の第４実施形態参照）へ移行せずに、振動が重要でないシーンに切り替えて、その突発的な環境音が終わったときに、振動が重要な元のシーンに移行するといった処理が実行されてもよい。
　≪第２実施形態≫
　次に、本技術の第２実施形態について説明する。第２実施形態では、第１実施形態と異なる点を中心に説明する。
　ここで、上述のように、第１実施形態では、ゲームの音の強さが強くなるほど、振動の強さが強くなるように、振動の強さが変化されている。この場合、ゲームの音の強さが強くなると、振動の強さが最大値に達し、それ以上、振動の強さを強くすることができなくなってしまう場合が想定される。
　第２実施形態では、このように（変化された）振動の強さが最大値に達したときに、ゲームの音の強さを変化させる処理が実行される（つまり、振動の強さに応じて、音の強さが変化される）。
　図５は、第２実施形態における処理を示すフローチャートである。図５におけるステップ３０１～３０８、３１５は、図３におけるステップ１０１～１０８、１１０と同じである。
　コントローラ３０の制御部３１は、現在のゲームの音の強さに基づいて算出された振動の強さに補正係数ｋ１及びｋ２を乗算して補正された振動の強さを算出した後、現在、振動部３５を振動させるタイミングかどうかを判定する（ステップ３０８）。
　現在、振動部３５を振動させるタイミングである場合（ステップ３０８のＹＥＳ）、コントローラ３０の制御部３１は、補正された振動の強さが、振動部３５の振動の強さの最大値以上であるかどうかを判定する（ステップ３０９）。
　補正された振動の強さが、振動部３５の振動の強さの最大値以上である場合（ステップ３０９のＹＥＳ）、コントローラ３０の制御部３１は、ゲーム装置本体２０、出力装置１０に対して、ゲームの音の強さを一時的に弱くするように指示する（ステップ３１０）。なお、弱くされるゲームの音は、ゲーム全体の音であってもよいし、ゲーム全体の音のうち、バックミュージックなどの一部の音であってもよい。なお、バックミュージックなどの一部の音を弱くする場合、この音の強さを０にしてしまってもよい。
　音の強さを弱くするように指示を出すと、次に、コントローラ３０の制御部３１は、振動の強さの最大値で、振動部３５を振動させる（ステップ３１１）。
　ステップ３０９において、補正された振動の強さが、振動部３５の振動の強さの最大値未満である場合（ステップ３０９のＮＯ）、コントローラ３０の制御部３１は、現在、ゲーム装置本体２０において、ゲームの音の強さが弱くなった状態であるかどうかを判定する（ステップ３１２）。
　ゲームの音の強さが弱くなった状態である場合（ステップ３１２のＹＥＳ）、コントローラ３０の制御部３１は、ゲームの音の強さを元の強さに戻すように、ゲーム装置本体２０、出力装置１０に対して指示を出し（ステップ３１３）、次のステップ３１４へ進む。
　ステップ３１２において、ゲームの音の強さが弱くなった状態ではない場合（ステップ３１２のＮＯ）、つまり、ゲームの音の強さが元の強さである場合、コントローラ３０の制御部３１は、ステップ３１３を飛ばして、ステップ３１４進む。
　ステップ３１４では、コントローラ３０の制御部３１は、補正された振動の強さで、振動部３５を振動させる。
　第２実施形態では、振動部３５の振動の強さが最大値に達し、それ以上、振動の強さを強くすることができなくなってしまった場合に、ゲームの音の強さが弱くされる。これにより、ユーザが感じる振動部３５の振動の強さを疑似的に強くすることができる。
　上述の説明では、振動部３５の振動の強さが最大値にしたときに、音出力部から出力されるゲームの音の強さが変化される場合について説明した。一方、振動部３５の振動の強さがユーザによって変化されたときに、この振動の強さに応じて、音出力部から出力されるゲームの音の強さが変化されてもよい。
　この場合、例えば、振動部３５の振動の強さ（例えば、３段階）をユーザが任意に設定するためのメニュー画面が出力装置１０の表示部１４上に表示される。コントローラ３０の制御部３１は、メニュー画面上でユーザにより任意に設定された振動部３０の振動の強さに応じて、音出力部から出力されるゲームの音の強さを変化させる。この場合、制御部３１は、振動の強さが強くなるほど、ゲームの音の強さが強くなるように音の強さを変化させてもよいし、振動の強さが強くなるほど、ゲームの音の強さが弱くなるように音の強さを変化させてもよい。
　振動部３５の振動の強さに応じて、ゲームの音の強さを変化させるための方法としては、大きく分けて以下の４つの方法がある。なお、（１）～（４）の４つの方法のうち、２以上の方法が組み合わされてもよい。
　（１）振動部３５の振動の大きさに応じて、ゲームの音圧が変化される。（２）振動部３５の振動の周波数に応じて、ゲームの音圧が変化される。（３）振動部３５の振動の大きさに応じて、ゲームの音の周波数が変化される。（４）振動部３５の振動の周波数に応じて、ゲームの音の周波数が変化される。
　≪第３実施形態≫
　次に、本技術の第３実施形態について説明する。ここで、頻繁にコントローラ３０が振動されていて、かつ、この振動が強いような場合、ユーザが強い振動に慣れて鈍感になってしまい、実際の振動の強さよりも振動を弱く感じてしまう場合がある。
　ユーザが振動に慣れてしまい実際の振動の強さよりも振動を弱く感じている場合に、例えば、ゲームにおける映像において大きなアクションの映像が流れ、同時に、コントローラ３０が振動される場合を想定する。この場合、ユーザが実際に感じている振動の強さと、映像内における大きなアクションとが合っていないとユーザが感じてしまい、ユーザが違和感を覚えてしまう場合がある。
　第３実施形態では、このような場合に、ユーザが違和感を覚えしまうことを防止するために、振動の頻度や、振動の強さに応じて（つまり、振動に応じて）、映像を変化させる処理を実行する。
　図６は、第３実施形態における処理を示すフローチャートである。
　まず、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の頻度を判定する（ステップ４０１）。ここで、所定時間とは、現在時刻の所定時間前（例えば、数十秒～数分前）から現在時刻までの時間である。
　次に、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の強さの平均値を算出する（ステップ４０２）。ここで、所定時間とは、現在時刻の所定時間前（例えば、数十秒～数分前）から現在時刻までの時間である。
　次に、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の頻度が所定の閾値以上であるかどうかを判定する（ステップ４０３）。振動部３５における振動の頻度が所定の閾値以上である場合（ステップ４０３のＹＥＳ）、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の強さの平均値が所定の閾値以上であるかどうかを判定する（ステップ４０４）。
　振動部３５における振動の強さの平均値が所定の閾値以上である場合（ステップ４０４のＹＥＳ）、コントローラ３０の制御部３１は、ゲーム装置本体２０に対して、映像を変化させるように指示する（ステップ４０５）。この場合、ゲーム装置本体２０は、この指示に応じて、映像を一時的に変化させる。
　ここで、所定時間内の振動部３５における振動の頻度が所定の閾値以上であり、かつ、所定時間内の振動部３５における振動の強さの平均値が所定の閾値以上である場合とは、頻繁にコントローラ３０が振動されていて、かつ、この振動が強い場合である。このような場合、ユーザが強い振動に慣れてしまい、実際の振動の強さよりも振動を弱く感じてしまう。
　図７及び図８は、映像が変化されたときの一例を示す図である。図７には、飛行機が飛んでいるときの映像が示されている。図７の左側は、元の映像であり、図７の右側は、変化後の映像である。図７に示すように、変化後の映像における飛行機（オブジェクト）の大きさは、元の映像における飛行機の大きさよりも小さい。
　図８には、ボクサーのパンチが相手のボクサーにヒットしたときの映像が示されている。図８の左側は、元の映像であり、図８の右側は、変化後の映像である。図８に示すように、変化後の映像におけるボクサー（オブジェクト）のアクションの大きさは、元の映像におけるボクサーのアクションの大きさよりも小さい。
　ステップ４０５において映像を変化させる指示が出されると、図７の右側、図８の右側に示すような映像が表示部１４の画面上に表示される。
　ステップ４０３において、振動部３５における振動の頻度が所定の閾値未満である場合（ステップ４０３のＮＯ）、コントローラ３０の制御部３１は、ステップ４０６へ進む。同様に、ステップ４０４において、振動部３５における振動の強さの平均値が所定の閾値未満である場合（ステップ４０４のＮＯ）、コントローラ３０の制御部３１は、ステップ４０６へ進む。
　ステップ４０６では、コントローラ３０の制御部３１は、現在、映像が変化した状態であるかどうかを判定する。現在、映像が変化した状態である場合（ステップ４０６のＹＥＳ）、コントローラ３０の制御部３１は、ゲーム装置本体２０に対して、映像を元に戻すように指示する。ゲーム装置本体２０は、この指示に応じて、映像を元に戻す。
　ステップ４０７において映像を元に戻す指示が出されると、図７の左側、及び図８の左側に示すような映像が表示部１４の画面上に表示される。
　第３実施形態では、ユーザが強い振動に慣れてしまい、実際の振動の強さよりも振動を弱いと感じてしまっている場合に、映像が変化され、例えば、飛行機の大きさが小さくされたり、ボクサーのアクションが小さくされたりする。従って、ユーザが違和感を覚えてしまうことを防止することができる。
　≪第４実施形態≫
　次に、本技術の第４実施形態について説明する。
　上述のように、頻繁にコントローラ３０が振動されていて、かつ、この振動が強いような場合、ユーザが強い振動に慣れて鈍感になってしまい、実際の振動の強さも振動を弱く感じてしまう場合がある。
　第４実施形態では、強い振動に慣れて鈍感になってしまったユーザの感覚を、元の敏感な感覚へ戻すために、振動の頻度や、振動の強さに応じて（つまり、振動に応じて）、映像におけるシーンを変化させる処理が実行される。
　図９は、第４実施形態における処理を示すフローチャートである。
　まず、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の頻度を判定する（ステップ５０１）。ここで、所定時間とは、現在時刻の所定時間前（例えば、数十秒～数分前）から現在時刻までの時間である。
　次に、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の強さの平均値を算出する（ステップ５０２）。ここで、所定時間とは、現在時刻の所定時間前（例えば、数十秒～数分前）から現在時刻までの時間である。
　次に、コントローラ３０の制御部３１は、現在、映像のシーンが切り替えられるタイミングであるかどうかを判定する（ステップ５０３）。現在、映像のシーンが切り替えられるタイミングではない場合（ステップ５０３のＮＯ）、コントローラ３０の制御部３１は、ステップ５０１へ戻る。
　一方、現在、映像のシーンが切り替えられるタイミングである場合（ステップ５０３のＹＥＳ）、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の頻度が所定の閾値以上であるかどうかを判定する（ステップ５０４）。
　振動部３５における振動の頻度が所定の閾値以上である場合（ステップ５０４のＹＥＳ）、コントローラ３０の制御部３１は、所定時間内の振動部３５における振動の強さの平均値が所定の閾値以上であるかどうかを判定する（ステップ５０５）。
　振動部３５における振動の強さの平均値が所定の閾値以上である場合（ステップ５０５のＹＥＳ）、コントローラ３０の制御部３１は、ゲーム装置本体２０に対して、映像における次のシーンとして、振動の頻度が少ないシーンを選択するように指示する（ステップ５０６）。なお、ステップ５０６において、コントローラ３０の制御部３１は、振動の強さが弱いシーンを選択するように指示してもよい。
　図１０は、映像における次のシーンとして振動の頻度が少ないシーンが選択されたときの一例を示す図である。図１０の左側には、映像における前のシーンが示されており、図１０の右側には、映像における次のシーンが示されている。
　図１０の左側に示されている前のシーンは、飛行機が飛んでいるシーンで振動の頻度が多い。図１０の右側に示されている次のシーンは、息抜きのシーンで、振動の頻度が少ない（振動は全く発生しない）。この息抜きのシーンは、所定時間内における振動の頻度や振動の強さの平均値等に応じて、内容や長さが変更されてもよい。
　ステップ５０４において、振動部３５における振動の頻度が所定の閾値未満である場合（ステップ５０４のＮＯ）、コントローラ３０の制御部３１は、ステップ５０７へ進む。同様に、ステップ５０５において、振動部３５における振動の強さの平均値が所定の閾値未満である場合（ステップ５０５のＮＯ）、コントローラ３０の制御部３１は、ステップ５０７へ進む。
　ステップ５０７では、コントローラ３０の制御部３１は、ゲーム装置本体２０に対して、通常通り、次のシーンを選択するように指示する。ゲーム装置本体２０は、この指示に応じて、通常通り、次のシーンを選択する。この場合、図１０の右側に示されているような息抜きのシーンは、表示部１４の画面上に表示されない。
　第４実施形態では、ユーザが強い振動に慣れてしまい、実際の振動の強さよりも振動を弱く感じてしまっている場合に、映像のシーンが変化され、次のシーンとして振動の頻度が少ない（又は振動の強さが弱い）シーンが選択される。従って、強い振動に慣れて鈍感になってしまったユーザの感覚を、元の敏感な感覚へ戻すことができる。
　第４実施形態では、強い振動に慣れて鈍感になってしまったユーザの感覚を、元の敏感な感覚へ戻すために、次のシーンとして振動の頻度が少ない（又は振動の強さが弱い）シーンが選択される場合について説明した。一方、次のシーンが振動の頻度が多いシーンで、かつ、振動が重要なシーンである場合、ユーザの感覚が現時点で鈍感にならないようにするための処理が実行されてもよい。
　この場合、例えば、現在のシーンが、振動が重要でないシーンである場合、現在のシーンにおける振動の頻度が少なくされたり、振動の強さが弱くされたりする（つまり、映像におけるシーンに応じて、振動が変化される）。
　ここで、次のシーンが振動の頻度が多いシーンで、かつ、振動が重要なシーンであるかどうかが、現時点で制御部３１が分からない場合がある。例えば、ロールプレイングゲームなどでは、現在のシーンから、振動が多く、振動が重要なシーンＡ、振動が少なく、振動が重要でないシーンＢなどの複数のシーンに分岐する場合がある。この場合、次のシーンが、振動が多く、振動が重要なシーンＡであるのか、振動が少なく、振動が重要でないシーンＢであるのかが確定されない。
　従って、このような場合、ユーザ情報に基づいて、シーンＡ及びシーンＢのうちどちらのシーンがユーザによって選択される可能性が高いかが推定されてもよい。この推定により、シーンＡがユーザによって選択される可能性が高いと判定された場合、現在のシーンンにおける振動の頻度が少なくされたり、振動の強さが弱くされたりする。
　≪第５実施形態≫
　次に、本技術の第５実施形態について説明する。
　図１１は、第５実施形態に係るチャット用マイクロフォン６０を示す図である。
　図１１に示すチャット用マイクロフォン６０は、耳に掛けて使用するタイプのマイクロフォンであり、コントローラ３０に有線で接続されている。このチャット用マイクロフォン６０は、ユーザの声を収集して、収集された声を電気信号に変換する。
　チャット用マイクロフォン６０は、ユーザが通信ゲームなどをプレイしているときに、一緒にそのゲームをプレイしている他のユーザとチャットをするために用いられる。また、このチャット用マイクロフォン６０は、ゲームにおけるコマンドを入力するために用いられる場合もある。
　例えば、図１１に示すようなチャット用マイクロフォン６０の場合、コントローラ３０が振動すると、コントローラ３０の振動に応じてチャット用マイクロフォン６０も振動してしまう。この場合、振動の強さが強いと、振動音がノイズとなってチャット用マイクロフォン６０から出力される信号に乗ってしまう場合がある。
　従って、コントローラ３０の制御部３１は、チャット用マイクロフォン６０が使用されているとき、チャット用マイクロフォン６０が使用されていないときよりも振動の強さを弱くしてもよい。これにより、チャット用マイクロフォン６０から出力される信号に、ノイズが乗らないようにすることができる。
　なお、ユーザの声が収集されているかどうか（マイクロフォンが使用されているかどうかの）の判断は、ＶＡＤ（ＶＡＤ：Voice Activity Detection）によって検出することができる。また、振動の強さが弱くされるとき、人の可聴領域が考慮されて、振動における周波数成分のうち例えば、１００Ｈｚ以上の周波数成分が下げられてもよい。
　ここで、例えば、ユーザが対戦用の通信ゲームをしながら、その通信ゲームを一緒にプレイしている味方のユーザとチャット用マイクロフォン６０を使用してチャットを行っている場合を想定する。この場合、ユーザが味方のユーザとのチャットに気を取られ、対戦相手の敵が近づいてきていることに気が付かない場合がある。
　このように、例えば、ゲームの局面が、敵が近づいてきたような重要な局面である場合に、振動の強さが強くなる処理が実行されてもよい。
　この場合、コントローラ３０の制御部３１は、チャット用マイクロフォン６０が使用されているとき、チャット用マイクロフォン６０が使用されていないときよりも振動の強さを強くする。これにより、チャットに気を取られているユーザに、ゲームの局面が、敵が近づいてきたような重要な局面であることを気付かせることができる。なお、敵が近づいてきたときに、これを通知するための振動が発生する場合、この振動の強さを、敵を操作するユーザが任意に設定可能であってもよい。
　以上の説明から理解されるように、コントローラ３０の制御部３１は、チャット用マイクロフォン６０が使用されているか否かに応じて、振動の強さを変化させることができればよい。
≪第６実施形態≫
　次に、本技術の第６実施形態について説明する。
　ここで、振動部３５が振動すると、振動音が発生する場合があり、ユーザが、この振動音に嫌悪感を覚えてしまう場合がある。
　例えば、ゲームの音の強さが弱いとき、振動音をユーザが気にしてしまう場合がある。一方で、ゲームの音の強さが強いとき、振動音が多少強くてもユーザはあまり気にしない。第６実施形態では、この関係が利用され、ゲームの音の強さに応じて、振動音の強さが変化される。
　図１２は、第６実施形態における処理を示すフローチャートである。
　まず、コントローラ３０の制御部３１は、現在のゲームの音の強さを判定する（ステップ６０１）。このときの処理は、図３におけるステップ１０５と同じである。
　次に、コントローラ３０の制御部３１は、現在のゲームの音の強さに応じて、振動部３５へ出力される振動信号の周波数成分を調整する（ステップ６０２）。このとき、コントローラ３０の制御部３１は、ゲームの音の強さが弱くなるほど、人の可聴領域（２０Ｈｚ～２０ｋＨｚ）内における所定の範囲の周波数成分が少なくなるように、振動信号の周波数成分を調整する。
　この振動信号の周波数成分を調整するために、例えば、ローパスフィルタや、バンドパスフィルタが用いられる。すなわち、ローパスフィルタや、バンドパスフィルタによって、所定の範囲の周波数成分がカットされて、所定の範囲の周波数成分が少なくされる。
　カットの対象となる周波数の範囲（所定の範囲）は、ユーザが気になってしまう振動音の周波数の範囲である。ここで、人の可聴領域は、２０Ｈｚ～２０ｋＨｚであるが、ユーザが気になってしまう振動音の周波数は、人の可聴領域と完全には一致しないことも考えられる。例えば、２０Ｈｚ～１００Ｈｚ、２０Ｈｚ～２００Ｈｚ等の範囲の振動音は気にしないことも考えられる。
　従って、カットの対象となる周波数の範囲（所定の範囲）は、例えば、１００Ｈｚ以上、２００Ｈｚ以上等と設定される。この場合、例えば、ローパスフィルタのカットオフ周波数が、１００Ｈｚ、２００Ｈｚなどに設定され、ローパスフィルタは、１００Ｈｚ以上、２００Ｈｚ以上の周波数をカットすることができるように構成される。
　カットの対象となる周波数の範囲（所定の範囲）は、ゲームの音の強さに応じて、その広さが設定されていてもよい。例えば、カットの対象となる周波数の範囲は、ゲームの音の強さが弱くなるほど、その広さが広くなるように設定されていてもよい。
　なお、カットの対象となる周波数の範囲（所定の範囲）は、人の可聴領域（２０Ｈｚ～２０ｋＨｚ）と一致していてもよい。この場合、人の可聴領域の周波数成分が、バンドパスフィルタによってカットされる。
　また、コントローラ３０の筐体の構造などによって、振動部３５の振動によって発生する振動音の特性が変わる可能性もある。従って、コントローラ３０の種類毎に、カットの対象となる周波数の範囲（所定の範囲）が異なっていてもよい。
　図１３は、振動信号の一例を示す図である。図１３に示す３つの図は、上から順番に、現在のゲームの音の強さが０、５０、１００であるときの振動信号の一例を示している。なお、図１３では、カットオフ周波数が２００Ｈｚに設定されたローパスフィルタによって、振動信号の周波数成分が調整されたときの様子が示されている。
　図１３における下の図を参照して、現在のゲームの音の強さが１００（最大値）である場合、振動信号における周波数成分は調整されない。つまり、ゲームの音の強さが強い場合は、ユーザは、振動音が強くても気にしないので、周波数成分の調整は行われない。
　図１３における中央の図を参照して、現在のゲームの音の強さが５０である場合、振動信号がローパスフィルタ（カットオフ周波数２００Ｈｚ）を通されて、２００Ｈｚ以上の周波数成分がカットされる。つまり、現在のゲームの音の強さが５０である場合、振動音をユーザが気にしてしまう場合があるので、２００Ｈｚ以上の周波数成分がカットされる。
　図１３における上の図を参照して、現在のゲームの音の強さが０である場合、振動信号がローパスフィルタ（カットオフ周波数２００Ｈｚ）を通されて、２００Ｈｚ以上の周波数成分がカットされる。なお、ゲームの音の強さが０である場合、音の強さが５０である場合よりも、ローパスフィルタが強めにかけられている。つまり、現在のゲームの音の強さが０である場合、ユーザが振動音に敏感になっているので、２００Ｈｚ以上の周波数成分が強めにカットされる。
　図１２に戻り、振動信号の周波数成分を調整すると、コントローラ３０の制御部３１は、周波数成分が調整された振動信号を振動部３５へ出力する（ステップ６０３）。
　第６実施形態では、振動部３５の振動によって発生する振動音の強さが、ゲームの音の強さに応じて変化される。特に、第６実施形態では、ゲームの音の強さが弱くなるほど、人の可聴領域（２０Ｈｚ～２０ｋＨｚ）内における所定の範囲の周波数成分が少なくなるように、振動部３５の振動の周波数が変化される。これにより、ユーザが振動音に気付いてしまうことを防止することができる。
　ここで、ゲームの音の強さに応じて、振動音の強さを変化させる方法としては、以下の４つの方法がある。なお、（１）～（４）のうち、２以上が組み合わされてもよい。
　（１）ゲームの音の音圧に応じて、振動部３５の振動の大きさが変化される。（２）ゲームの音の音圧に応じて、振動部３５の振動の周波数が変化される。（３）ゲームの音の周波数に応じて、振動部３５の振動の大きさが変化される。（４）ゲームの音の周波数に応じて、振動部３５の振動の周波数が変化される。
　なお、（２）及び（４）の場合、典型的には、振動部３５としてボイスコイルモータが用いられる（周波数成分の調整が容易であるため）。なお、（１）及び（３）においては、振動部３５として、ボイスコイルモータが用いられてもよいし、偏心モータが用いられてもよい。
　第６実施形態においても第１実施形態と同様に、環境音が考慮されてもよい。また、第６実施形態においても第５実施形態と同様に、チャット中であるかどうかが考慮されてもよい。なお、当然であるが、本技術において説明した各実施形態は、相互に組み合わせることができる。
≪各種変形例≫
　例えば、振動が適切であったかどうかを判定するために、コントローラ３０などに、振動に基づくユーザの身体的変化（発汗の変化、心拍の変化、脳波の変化、顔の表情の変化）を計測するセンサ（カメラ、加速度センサ、脳波センサ等）が設けられていてもよい。
　この場合、コントローラ３０の制御部３１は、ユーザの身体的変化の情報をセンサから取得し、ユーザの身体的変化に応じて、振動の強さを変化させるための値（例えば、比ｒ、補正係数ｋ１、補正係数ｋ２等）を変更してもよい。これにより、振動の強さをより適切な強さにすることができる。
　以上の説明では、主に、コントローラ３０の制御部３１が各種の処理を実行する場合について説明した。一方、これらの処理は、ゲーム装置本体２０や、出力装置１０が実行してもよいし、ネットワーク上のサーバ装置が実行してもよい。
　以上の説明では、本技術が適用される例として、ゲーム装置５０を例に挙げて説明した。一方、本技術は、携帯電話機（スマートフォンを含む）、携帯ゲーム機、携帯音楽プレイヤー、タブレットＰＣ（ＰＣ：personal computer）、バーチャルリアリティ装置等の各種の電子機器に適用可能である。
　以上の説明では、本技術が適用される例として、ゲームシステム１００を例に挙げて説明した。一方、本技術は、典型的には、映像、音及び振動の３つの要素を含むシステムであれば、どのようなシステムについても適用可能である。例えば、本技術は、バーチャルリアリティシステムに適用することができる。
　本技術は以下の構成をとることもできる。
（１）　音を出力する音出力部の種類を判定し、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる制御部
　を具備する情報処理装置。
（２）　上記（１）に記載の情報処理装置であって、
　前記制御部は、前記音出力部から出力される音の強さに応じて、前記振動部の振動の強さを変化させる
　を具備する情報処理装置。
（３）　上記（２）に記載の情報処理装置であって、
　前記制御部は、前記音の強さが強くなるほど、前記振動の強さが強くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが弱くなるように、前記振動の強さを変化させる
　情報処理装置。
（４）　上記（２）に記載の情報処理装置であって、
　前記制御部は、前記音の強さが強くなるほど、前記振動の強さが弱くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが強くなるように、前記振動の強さを変化させる
　情報処理装置。
（５）　上記（１）乃至（４）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記振動部の振動の強さに応じて、前記音出力部から出力される音の強さを変化させる
　情報処理装置。
（６）　上記（２）に記載の情報処理装置であって、
　前記制御部は、変化された前記振動の強さに応じて、前記音出力部から出力される音の強さを変化させる
　情報処理装置。
（７）　上記（６）請求項６に記載の情報処理装置であって、
　前記制御部は、変化された前記振動の強さが振動の最大値に達したとき、前記音の強さを変化させる
　情報処理装置。
（８）　上記（１）乃至（７）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、環境音における音の強さに応じて、前記振動部の振動の強さを変化させる
　情報処理装置。
（９）　上記（１）乃至（８）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、環境音における音の強さに応じて、前記音出力部から出力される音の強さを変化させる
　情報処理装置。
（１０）　上記（１）乃至（９）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記振動部の振動に応じて、映像を変化させる
　情報処理装置。
（１１）　上記（１０）に記載の情報処理装置であって、
　前記制御部は、前記振動部の振動に応じて、前記映像内におけるオブジェクトの大きさ又は前記オブジェクトのアクションの大きさを変化させる
　情報処理装置。
（１２）　上記（１）乃至（１１）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記振動部の振動に応じて、映像におけるシーンを変化させる
　情報処理装置。
（１３）　上記（１）乃至（１２）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、映像におけるシーンに応じて、前記振動部の振動を変化させる
　情報処理装置。
（１４）　上記（１）乃至（１３）のうちいずれか１つに記載の情報処理装置であって、
　ユーザの声を収集するために使用されるマイクロフォンが前記振動部の振動に応じて振動し、
　前記制御部は、前記マイクロフォンが使用されているか否かに応じて、前記振動の強さを変化させる
　情報処理装置。
（１５）　上記（１）乃至（１４）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記振動部の振動に基づくユーザの身体的変化の情報を取得し、ユーザの身体的変化に応じて、前記振動の強さを変化させるための値を変更する
　情報処理装置。
（１６）　上記（１）乃至（１５）のいちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記振動部の振動によって発生する振動音の強さを、前記音出力部から出力される音の強さに応じて変化させる
　情報処理装置。
（１７）　上記（１）乃至（１６）のうちいずれか１つに記載の情報処理装置であって、
　前記振動部は、振動体に設けられ、
　前記制御部は、ユーザによって前記振動体が保持されている状態の情報を取得し、前記振動体が保持されている状態の情報に応じて、前記振動部の振動の強さを変化させる
　情報処理装置。
（１８）　上記（１）乃至（１７）のうちいずれか１つに記載の情報処理装置であって、
　前記制御部は、前記音出力部から出力される音の強さの感度又は前記振動部の振動の強さの感度に関連する感度情報を取得し、前記感度情報に応じて、前記振動部の振動の強さを変化させる
　情報処理装置。
（１９）　音を出力する音出力部の種類を判定し、
　判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる
　情報処理方法。
（２０）　音を出力する音出力部の種類を判定するステップと、
　判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させるステップと
　をコンピュータに実行させるプログラム。
　１０…出力装置
　１３…表示部
　１４…スピーカ
　２０…ゲーム装置本体
　３０…コントローラ
　３１…制御部
　３３…操作部
　３５…振動部
　３６…マイクロフォン
　４０…ヘッドフォン
　５０…ゲーム装置
　６０…チャット用マイクロフォン
　１００…ゲームシステム

Claims (20)

  1. 　音を出力する音出力部の種類を判定し、判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる制御部
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、前記音出力部から出力される音の強さに応じて、前記振動部の振動の強さを変化させる
    　を具備する情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記制御部は、前記音の強さが強くなるほど、前記振動の強さが強くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが弱くなるように、前記振動の強さを変化させる
    　情報処理装置。
  4. 　請求項２に記載の情報処理装置であって、
    　前記制御部は、前記音の強さが強くなるほど、前記振動の強さが弱くなるように、又は、前記音の強さが弱くなるほど、前記振動の強さが強くなるように、前記振動の強さを変化させる
    　情報処理装置。
  5. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、前記振動部の振動の強さに応じて、前記音出力部から出力される音の強さを変化させる
    　情報処理装置。
  6. 　請求項２に記載の情報処理装置であって、
    　前記制御部は、変化された前記振動の強さに応じて、前記音出力部から出力される音の強さを変化させる
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記制御部は、変化された前記振動の強さが振動の最大値に達したとき、前記音の強さを変化させる
    　情報処理装置。
  8. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、環境音における音の強さに応じて、前記振動部の振動の強さを変化させる
    　情報処理装置。
  9. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、環境音における音の強さに応じて、前記音出力部から出力される音の強さを変化させる
    　情報処理装置。
  10. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、前記振動部の振動に応じて、映像を変化させる
    　情報処理装置。
  11. 　請求項１０に記載の情報処理装置であって、
    　前記制御部は、前記振動部の振動に応じて、前記映像内におけるオブジェクトの大きさ又は前記オブジェクトのアクションの大きさを変化させる
    　情報処理装置。
  12. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、前記振動部の振動に応じて、映像におけるシーンを変化させる
    　情報処理装置。
  13. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、映像におけるシーンに応じて、前記振動部の振動を変化させる
    　情報処理装置。
  14. 　請求項１に記載の情報処理装置であって、
    　ユーザの声を収集するために使用されるマイクロフォンが前記振動部の振動に応じて振動し、
    　前記制御部は、前記マイクロフォンが使用されているか否かに応じて、前記振動の強さを変化させる
    　情報処理装置。
  15. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、前記振動部の振動に基づくユーザの身体的変化の情報を取得し、ユーザの身体的変化に応じて、前記振動の強さを変化させるための値を変更する
    　情報処理装置。
  16. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、前記振動部の振動によって発生する振動音の強さを、前記音出力部から出力される音の強さに応じて変化させる
    　情報処理装置。
  17. 　請求項１に記載の情報処理装置であって、
    　前記振動部は、振動体に設けられ、
    　前記制御部は、ユーザによって前記振動体が保持されている状態の情報を取得し、前記振動体が保持されている状態の情報に応じて、前記振動部の振動の強さを変化させる
    　情報処理装置。
  18. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、前記音出力部から出力される音の強さの感度又は前記振動部の振動の強さの感度に関連する感度情報を取得し、前記感度情報に応じて、前記振動部の振動の強さを変化させる
    　情報処理装置。
  19. 　音を出力する音出力部の種類を判定し、
    　判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させる
    　情報処理方法。
  20. 　音を出力する音出力部の種類を判定するステップと、
    　判定された前記音出力部の種類に応じて、振動部の振動の強さを変化させるステップと
    　をコンピュータに実行させるプログラム。
PCT/JP2018/018048 2017-05-22 2018-05-10 情報処理装置、情報処理方法及びプログラム WO2018216480A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880032205.4A CN110621384B (zh) 2017-05-22 2018-05-10 信息处理设备、信息处理方法和程序
US16/610,343 US20200086215A1 (en) 2017-05-22 2018-05-10 Information processing apparatus, information processing method, and program
JP2019519558A JP7172999B2 (ja) 2017-05-22 2018-05-10 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017101119 2017-05-22
JP2017-101119 2017-05-22

Publications (1)

Publication Number Publication Date
WO2018216480A1 true WO2018216480A1 (ja) 2018-11-29

Family

ID=64395657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018048 WO2018216480A1 (ja) 2017-05-22 2018-05-10 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20200086215A1 (ja)
JP (1) JP7172999B2 (ja)
CN (1) CN110621384B (ja)
WO (1) WO2018216480A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113181632A (zh) * 2021-04-22 2021-07-30 网易（杭州）网络有限公司 一种信息提示方法、装置、存储介质及计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004129120A (ja) * 2002-10-07 2004-04-22 Nec Corp バイブレータ制御機能付き無線電話機及び無線電話機のバイブレータ制御方法
JP2006034791A (ja) * 2004-07-29 2006-02-09 Aruze Corp 遊技機およびシミュレーションゲームプログラム
JP2013242807A (ja) * 2012-05-22 2013-12-05 Kyocera Corp 電子機器
US20140119569A1 (en) * 2012-10-29 2014-05-01 Dell Products, Lp Reduction of Haptic Noise Feedback in System
JP2015232786A (ja) * 2014-06-10 2015-12-24 和俊 尾花 振動生成システム、振動生成プログラム、および振動生成方法
JP2016126422A (ja) * 2014-12-26 2016-07-11 人詩 土屋 手持ち型情報処理装置
WO2016186041A1 (ja) * 2015-05-15 2016-11-24 フィールズ株式会社 振動式入力装置
JP2017062788A (ja) * 2015-09-25 2017-03-30 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声−触覚干渉を補償するように触覚効果を修正するためのプログラム可能な触覚デバイスおよび方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU734018B2 (en) * 1995-10-09 2001-05-31 Nintendo Co., Ltd. Three-dimension image processing system
US6805633B2 (en) * 2002-08-07 2004-10-19 Bally Gaming, Inc. Gaming machine with automatic sound level adjustment and method therefor
US7894177B2 (en) * 2005-12-29 2011-02-22 Apple Inc. Light activated hold switch
US20080254837A1 (en) * 2007-04-10 2008-10-16 Sony Ericsson Mobile Communication Ab Adjustment of screen text size
KR101498623B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US9582178B2 (en) * 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US10013670B2 (en) * 2012-06-12 2018-07-03 Microsoft Technology Licensing, Llc Automatic profile selection on mobile devices
WO2015128985A1 (ja) * 2014-02-27 2015-09-03 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
JP6361872B2 (ja) * 2014-07-09 2018-07-25 任天堂株式会社 振動生成システム、振動生成装置、振動信号生成プログラム、および振動生成方法
US9788101B2 (en) * 2014-07-10 2017-10-10 Deutsche Telekom Ag Method for increasing the awareness of headphone users, using selective audio
US9667907B2 (en) * 2014-09-13 2017-05-30 Vicente Diaz System and method for haptic integration and generation in multimedia devices
JP6761225B2 (ja) * 2014-12-26 2020-09-23 和俊 尾花 手持ち型情報処理装置
US10328345B2 (en) * 2016-07-26 2019-06-25 Nintendo Co., Ltd. Vibration control system, vibration control method, and non-transitory computer-readable storage medium with executable vibration control program stored thereon
KR102651705B1 (ko) * 2017-02-23 2024-03-28 삼성전자주식회사 전자 장치에서 진동 제공 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004129120A (ja) * 2002-10-07 2004-04-22 Nec Corp バイブレータ制御機能付き無線電話機及び無線電話機のバイブレータ制御方法
JP2006034791A (ja) * 2004-07-29 2006-02-09 Aruze Corp 遊技機およびシミュレーションゲームプログラム
JP2013242807A (ja) * 2012-05-22 2013-12-05 Kyocera Corp 電子機器
US20140119569A1 (en) * 2012-10-29 2014-05-01 Dell Products, Lp Reduction of Haptic Noise Feedback in System
JP2015232786A (ja) * 2014-06-10 2015-12-24 和俊 尾花 振動生成システム、振動生成プログラム、および振動生成方法
JP2016126422A (ja) * 2014-12-26 2016-07-11 人詩 土屋 手持ち型情報処理装置
WO2016186041A1 (ja) * 2015-05-15 2016-11-24 フィールズ株式会社 振動式入力装置
JP2017062788A (ja) * 2015-09-25 2017-03-30 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声−触覚干渉を補償するように触覚効果を修正するためのプログラム可能な触覚デバイスおよび方法

Also Published As

Publication number Publication date
JPWO2018216480A1 (ja) 2020-03-26
CN110621384B (zh) 2024-04-09
US20200086215A1 (en) 2020-03-19
JP7172999B2 (ja) 2022-11-16
CN110621384A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
US11263879B2 (en) Tactile transducer with digital signal processing for improved fidelity
JP6341417B2 (ja) 振動生成システム、振動生成プログラム、および振動生成方法
US11565172B2 (en) Information processing apparatus, information processing method, and information processing apparatus-readable recording medium
US20170318381A1 (en) Methods of generating tactile user feedback utilizing headphone devices and related systems
CN108472686A (zh) 用于声音的音频-触觉空间化和低音的感知的设备和方法
JP6243595B2 (ja) 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
CN109429132A (zh) 耳机系统
WO2011043292A1 (ja) スピーカ型振動装置および振動機能付き電子機器
KR20180126474A (ko) 시스템, 단말 장치, 방법 및 기록 매체
JP7347421B2 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2020090223A1 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2018216480A1 (ja) 情報処理装置、情報処理方法及びプログラム
EP3361476B1 (en) Signal processing device, signal processing method, and computer program
US9277340B2 (en) Sound output system, information processing apparatus, computer-readable non-transitory storage medium having information processing program stored therein, and sound output control method
JP2022172315A (ja) 振動体感装置
JP6012388B2 (ja) 音声出力システム、音声出力プログラム、音声出力制御方法、および情報処理装置
JP5860629B2 (ja) 音源定位制御プログラムおよび音源定位制御装置
CN109587603A (zh) 音量控制方法、装置及存储介质
JP6397524B2 (ja) ゲームプログラム及びゲームシステム
WO2020100583A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
CN108939545B (zh) 一种基于环绕声音的模拟失明人士的体感游戏方法和系统
WO2022102307A1 (ja) 信号処理装置、信号処理方法、信号処理システム
KR20110074366A (ko) 가상체험 의자
JP2024041380A (ja) ゲームプログラムおよびゲーム装置
WO2020008856A1 (ja) 情報処理装置、情報処理方法、および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18805061

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519558

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18805061

Country of ref document: EP

Kind code of ref document: A1