WO2016088306A1 - 音声再生システム - Google Patents

音声再生システム Download PDF

Info

Publication number
WO2016088306A1
WO2016088306A1 PCT/JP2015/005684 JP2015005684W WO2016088306A1 WO 2016088306 A1 WO2016088306 A1 WO 2016088306A1 JP 2015005684 W JP2015005684 W JP 2015005684W WO 2016088306 A1 WO2016088306 A1 WO 2016088306A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
audio
signal
output
processing
Prior art date
Application number
PCT/JP2015/005684
Other languages
English (en)
French (fr)
Inventor
一任 阿部
宮阪　修二
Original Assignee
株式会社ソシオネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソシオネクスト filed Critical 株式会社ソシオネクスト
Priority to JP2016562288A priority Critical patent/JPWO2016088306A1/ja
Priority to CN201580065276.0A priority patent/CN107211230A/zh
Publication of WO2016088306A1 publication Critical patent/WO2016088306A1/ja
Priority to US15/610,941 priority patent/US20170272889A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Definitions

  • This disclosure relates to a sound reproduction system that performs 3D sound reproduction.
  • Multi-channel audio signals such as 5.1ch and 7.1ch have become widespread not only in movies and music, but also in games, and when played using a multi-channel speaker placed at a predetermined position surrounding the listener Realistic audio playback is realized.
  • 3D sound technology has been developed that achieves the same effect as multi-channel audio reproduction with a conventional stereo speaker in a pseudo manner.
  • Non-Patent Document 1 discloses 3D acoustic technology.
  • HRTF Head-Related Transfer Function
  • Patent Document 1 which is an example of this, by using a reproduction method called a stereo dipole in which the angle formed by the left speaker, the listener, and the right speaker is 8 degrees to 20 degrees, the relative displacement between the speakers and the listener can be reduced. On the other hand, robust control is possible.
  • Patent Document 2 the stereo dipole small speaker unit disclosed in Patent Document 1 is made detachable from the game controller.
  • Patent Document 3 discloses a consumer game machine system having a controller including a speaker in addition to a joystick and a button.
  • a controller including a speaker in addition to a joystick and a button.
  • the controller is wireless, and the user can move to a favorite place and enjoy the game as long as the wireless signal can reach.
  • the listening position is limited in order to obtain a 3D sound effect on the game machine, which means that the user cannot enjoy the game at a preferred position, and part of the enjoyment of the game It will also take away.
  • some game software can be enjoyed by multiple users at the same time. Since it is impossible for a plurality of people to enjoy a game at the same position as the speaker, there is a problem that all users cannot obtain a 3D sound effect in a game that a plurality of users enjoy at the same time.
  • Patent Document 1 discloses a sound image control method that is robust against the movement of the listener. However, in this method, there is not a degree of freedom that allows the user to move around in a state where the reproduction speaker is fixed. It cannot be solved.
  • the present disclosure provides an audio reproduction system that allows a user to comfortably enjoy both normal sound and 3D sound processing sound without limiting the listening position.
  • an audio reproduction system includes an audio processing device connected to a stationary first output device including a plurality of audio output units, and a plurality of audio output units.
  • a portable second output device wherein the sound processing device includes a first sound output signal to be output to the first output device and the second sound output signal different from the first sound output signal.
  • a second audio output signal to be output to the output device, and at least the second audio output signal of the first and second audio output signals includes a 3D acoustically processed signal.
  • the 3D sound processed signal is reproduced from the portable second output device that can be held by the user. Therefore, a comfortable 3D sound effect can be enjoyed regardless of the position of the user.
  • the first output device can reproduce a lower frequency band than the second output device
  • the audio processing device includes a 3D processing unit, a band division filter, and an addition process.
  • the 3D processing unit performs the 3D acoustic processing
  • the band-splitting filter outputs the second audio output signal or the second audio output signal before the 3D acoustic processing is performed.
  • the sound source signal may be divided into a low frequency band signal and a high frequency band signal at a predetermined cutoff frequency
  • the addition processing unit may add the low frequency band signal to the first audio output signal.
  • the audio processing device may further prevent the first audio output unit from perceiving a delay time difference between the output delay of the first audio output unit and the output delay of the second audio output unit at the listening position.
  • a delay correction unit that corrects one of the signal and the second audio signal may be provided.
  • the low frequency component of the second audio output signal delayed by the first output device and the high frequency component of the second audio output signal reproduced from the second output device are perceived. It is possible to make it difficult to perceive the time difference, and to reduce the uncomfortable feeling caused by the delay time difference.
  • the delay correction unit may delay the second audio signal.
  • the delay correction unit may weaken the attack component of the second audio signal.
  • the 3D acoustic processing may be acoustic processing that causes a listener to perceive a sound image.
  • the 3D processing unit may change the position of the virtual sound source according to the operation of the listener with respect to the second output device.
  • FIG. 1 is a diagram illustrating an example of a configuration of an audio reproduction system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a configuration of an audio reproduction system according to the second embodiment.
  • FIG. 3 is a diagram illustrating a first modification of the audio reproduction system according to the second embodiment.
  • FIG. 4 is a diagram illustrating a second modification of the audio reproduction system according to the second embodiment.
  • FIG. 5 is a diagram illustrating a third modification of the audio reproduction system according to the second embodiment.
  • FIG. 6 is a diagram illustrating an example of a configuration of an audio reproduction system according to the third embodiment.
  • FIG. 7 is a diagram illustrating a first modification of the audio reproduction system according to the third embodiment.
  • FIG. 1 is a diagram illustrating an example of a configuration of an audio reproduction system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a configuration of an audio reproduction system according to the second embodiment.
  • FIG. 3 is a diagram illustrating
  • FIG. 8 is a diagram illustrating an example of a window function used in the delay correction unit according to the third embodiment.
  • FIG. 9 is a diagram illustrating a second modification of the audio reproduction system according to the second embodiment.
  • FIG. 10 is a diagram illustrating an example of a configuration of a 3D audio reproduction system.
  • FIG. 11 is a diagram illustrating an example of the configuration of the game machine system.
  • Non-Patent Document 1 the 3D acoustic technology disclosed in Non-Patent Document 1 will be described.
  • FIG. 10 is a block diagram showing an example of the configuration of the 3D audio playback system.
  • signals and filters are expressed in the frequency domain.
  • the HRTF is generally expressed by a finite-length impulse response or a frequency response converted from the impulse response.
  • the HRTF is described by the frequency domain.
  • the 3D sound reproduction system of FIG. 10 includes a left speaker 20, a right speaker 21, and a sound image control unit 30.
  • the sound image control unit 30 includes a sound image control filter 31 and a sound image control filter 32.
  • the transfer function of the sound image control filter 31 is Xl
  • the transfer function of the sound image control filter 32 is Xr.
  • the stereo speaker (the left speaker 20 and the right speaker 21) installed in front of the listener 10 is used to hear the same sound as when the input signal S is reproduced from the virtual speaker 22 disposed behind. Reproduce at 10 binaural positions. HRTFs from the left speaker 20 and the right speaker 21 to both ears of the listener 10 are Hll, Hlr, Hrl, and Hrr, respectively, and HRTFs from the virtual speaker 22 to both ears of the listener 10 are Dl and Dr.
  • the input signal S is a two-channel audio signal.
  • the signals input to the left speaker 20 and the right speaker 21 are input signals S that have been filtered by the sound image control filters 31 and 32, respectively.
  • the sound image control filters 31 and 32 are designed so that the same signal as when the input signal S is reproduced from the virtual speaker 22 is obtained at the binaural positions of the listener 10.
  • Equation 2 Xl and Xr satisfying the above can be obtained by Equation 2, for example.
  • Xl and Xr at the necessary frequencies are respectively obtained by the above-described expression 2, and are convolved with the input signal S and reproduced, so that the same signal as when the input signal S is output from the virtual speaker 22 at the binaural position of the listener 10 Is obtained. That is, even if sound is reproduced from the left speaker 20 and the right speaker 21 installed in front, the listener 10 perceives that sound is being reproduced from the virtual speaker 22.
  • the HRTF includes all acoustic characteristics between the speaker and the binaural position of the listener 10. That is, the HRTF changes when the relative positional relationship between the speaker and the listener 10 changes or when the listener 10 changes to another person. For this reason, the characteristics (transfer functions) of the sound image control filters 31 and 32 determined above are strictly the sound controlled by the sound image control filters 31 and 32 by the listener 10 who measured the HRTF at the position where the HRTF was measured. When heard, Dl * S and Dr * S are reproduced at a desired characteristic, that is, at both ear positions. However, when the listening position or the listener 10 itself is changed, a desired signal is not always obtained.
  • a dummy head is a mannequin that imitates the human head or upper body, and the shape and dimensions including the head and auricles are made to match those of a standard human. If this is used, since a standard human HRTF can be measured, the influence of individual differences in HRTF can be reduced.
  • a controller equipped with a speaker in which a controller equipped with a joystick or a button is used.
  • a new play has been proposed by using a TV speaker to which such a home game machine is connected and a speaker mounted on a controller.
  • FIG. 11 is a diagram showing an example of a configuration of a game machine system using a TV speaker and a speaker mounted on a controller, which is disclosed in Patent Document 3, as an example of a sound reproduction system.
  • the game machine system includes a television 110, a game machine main body 120 connected to the television 110, and a controller 130.
  • the television 110 includes a television screen 111 and two television speakers 112.
  • the controller 130 includes a controller screen 131, a cross key 132, a control button 133, a joystick 134, a speaker 135, a controller volume adjustment knob 136, a headphone terminal 137, a camera 138, and a microphone 139.
  • the TV 110 and the game machine main body 120 are generally connected by an HDMI (registered trademark) cable or the like, and the video signal of the game output from the game machine main body 120 is displayed on the TV screen 111 of the TV 110 and the audio signal is displayed on the TV. Output from the speaker 112.
  • the game machine main body 120 is also connected to the controller 130 by wire or wirelessly.
  • the controller 130 is used by the user 140 for game operations and the like.
  • the controller 130 includes a speaker 135, and outputs an audio signal that is different from or the same as that of the television speaker 112 in accordance with the progress of the game or a user operation.
  • Patent Document 3 important sound information that the user does not want to be missed is reproduced from the speaker of the controller.
  • there is a problem that 3D sound reproduction is not performed from the speaker 135 of the controller 130. Further, since the speaker 135 is small, reproduction capability in the low frequency band is poor, and effective 3D audio reproduction is difficult.
  • Patent Document 2 discloses a method for providing a 3D sound effect with a speaker mounted on a controller.
  • a speaker that can be mounted on a controller generally reproduces sound in a low frequency band of several hundred Hz or less. Can not.
  • Recent game software supports multi-channel audio, and if a multi-channel playback environment using a 5.1 channel home theater speaker is prepared, the game can be enjoyed with powerful audio playback. It is difficult to achieve such a powerful sound with only the speaker mounted on the controller.
  • the force but also the low frequency component in the signal is not reproduced, so that the sound quality may change and a sense of incongruity may occur.
  • voice which carried out 3D sound processing since the low region is not reproduced
  • the present inventor has found that effective 3D audio reproduction is possible using the speaker 135 of the controller 130 in the audio reproduction system (game machine system) as described above.
  • the present disclosure provides an audio playback system that allows a user to comfortably enjoy both normal sound and 3D sound processing sound without limiting the listening position.
  • FIG. 1 is a diagram illustrating an example of the configuration of the audio reproduction system 100 according to the first embodiment.
  • the audio reproduction system 100 will be described as an example applied to the game machine system of FIG. In the following, description will be made mainly on audio processing among video processing and audio processing of the game machine system.
  • the audio reproduction system 100 is connected to the first output device 400, and includes an audio processing device 200 and a second output device 300.
  • the first output device 400, the second output device 300, and the sound processing device 200 in FIG. 1 are applied to the television 110, the game machine body 120, and the controller 130 in FIG. 11, respectively.
  • the audio processing device 200 is a game machine main body, and executes game processing based on a game program recorded on a readable optical disc.
  • This game processing includes video processing and audio processing.
  • the first output device 400 is a television, and includes a plurality of audio output units 410 and 411 (hereinafter referred to as television speakers 410 and 411) as speakers.
  • the first output device 400 is generally connected to the audio processing device 200 which is a game machine main body by an HDMI (registered trademark) cable or the like, and is output from the audio processing device 200 as the game machine main body as the game progresses.
  • the video signal of the played game is reproduced and output from the television screen 111 of the first output device 400 and the television audio signal (first audio signal) is reproduced from the television speakers 410 and 411.
  • the audio processing device 200 is connected to the second output device 300 (controller) as a game machine main body wirelessly or by wire.
  • the audio processing device 200 outputs a first audio output signal output to the first output device 400 and a second audio output signal output to the second output device 300 different from the first audio output signal.
  • At least the second audio output signal of the first and second audio output signals includes a signal that has been 3D acoustically processed by the audio processing device 200.
  • the second output device 300 is a game controller, and includes audio output units 330 and 331 (hereinafter referred to as speakers 330 and 331) which are speakers.
  • the second output device 300 may have the same configuration as the controller 130 of FIG. 11 and includes a joystick or the like.
  • a user who enjoys the game operates by holding the second output device 300 by hand.
  • the voice processing device 200 controls the progress of the game as a game machine body according to the operation of the user.
  • the second output device 300 reproduces the controller audio signal (second audio signal) transmitted from the audio processing device 200 as the game progresses.
  • the description will be made on the assumption that the speakers 330 and 331 are two-channel speakers, but may be three or more channels.
  • the second output device 300 includes a volume adjustment unit 320, for example, a second reproduction reproduced from the speakers 330 and 331 in response to a user operation using a volume adjustment knob or the like provided in the second output device 300.
  • the volume of the audio signal can be adjusted.
  • the audio signal recorded in the game program is stored as a sound material B211 and a sound material A212 in a memory or the like in the sound processing apparatus 200 as the game machine body.
  • the sound material B211 is subjected to 3D acoustic processing by the 3D processing unit 220 and is reproduced from the speakers 330 and 331 as a second audio signal. Thereby, the sound material B211 can produce an effect that sounds can be heard from the user's ears, for example.
  • the 3D sound processing is not limited to localization to the ear, but may be other localization positions.
  • An example of the 3D processing unit 220 has the same configuration as the sound image control unit 30 in FIG. 10 and includes a sound image control filter 31 and a sound image control filter 32.
  • the sound image control filters 31 and 32 are often realized by an FIR (Finite Impulse Response) filter, but may be realized by an IIR (Infinite Impulse Response) filter, and a plurality of FIR filters and IIR filters. A configuration other than the FIR filter, such as a combination of the above, may be used.
  • the characteristics of the sound image control filters 31 and 32 are set by, for example, the method described using Expressions 1 and 2 above.
  • the sound image is localized at one virtual speaker 22 position for one input signal. However, when different input signals are localized at different virtual speaker positions in FIG.
  • a control unit 30 may be provided to perform sound image control processing on each sound source.
  • the sound material B211 subjected to 3D sound processing by the 3D processing unit 220 is converted into a wireless communication signal by the wireless communication unit 230 as a second audio signal, and transmitted to the second output device 300.
  • the wireless communication signal received by the second output device 300 the second audio signal is taken out by the wireless communication unit 310 provided in the second output device 300, and after the volume adjustment by the volume adjustment unit 320, Playback is performed from the speakers 330 and 331.
  • the sound material A 212 is reproduced from the television speakers 410 and 411 as the first audio signal.
  • the sound material A212 may be created assuming that the television speakers 410 and 411, that is, two speakers, are generally perceived as being played from the front of the user.
  • the user can place the second sound signal obtained by performing the 3D sound processing on the sound material B211 from the user's ear, and the sound material A212 can be located as a first sound signal at a different position from the television speaker 410. Perceives the sound image.
  • a conventional sound reproduction system such as Patent Document 3 that perceives a sound image at the position of the television speaker or the position of the speaker of the controller, it is possible to realize more realistic audio reproduction.
  • a sound image faithful to a video can be realized by using a zombie sound attacking from behind as the sound material B211 and BGM as the sound material A212.
  • Realistic audio playback is possible from the game console system.
  • the normal television speakers 410 and 411 are often stereo speakers, but may be provided with speakers of 3 channels or more.
  • a bar-type speaker with an amplifier called a sound bar or a home theater type speaker system such as 5.1ch may be connected via an AV amplifier or the like.
  • the sound material A212 can be perceived not only in the forward direction of the user but also in the backward direction, so that more diverse audio reproduction is possible.
  • the low frequency band audio signal of the second audio signal that is difficult to be reproduced by the portable second output device 300 or tends to lack information is used as a stationary first output device 400.
  • An audio playback system for playback will be described.
  • FIG. 2 is a diagram illustrating an example of the configuration of the audio reproduction system 100 according to the second embodiment. Similar to the first embodiment, the present disclosure will be described as an example applied to a game machine system.
  • the audio processing device 201 in FIG. 2 is different from the audio processing device 200 in FIG. 1 in that a sound material C210, a band division filter 250, and addition processing units 240 and 241 are added, and the rest is the same as that in FIG. .
  • different points will be mainly described.
  • the band-splitting filter 250 converts the second sound output signal or the sound source signal (that is, the sound material A212) before the second sound output signal is subjected to the 3D sound processing into a low frequency band signal (with a predetermined cut-off frequency). That is, it is divided into a low frequency component) and a high frequency band signal (that is, a high frequency component).
  • the band division filter 251 performs band division on the second audio output signal after 3D acoustic processing, not on the sound source signal.
  • the addition processing unit 241 adds the above-described low frequency band signal to the first audio output signal and outputs it to the first output device 400.
  • the addition processing unit 240 adds the above high frequency band signal to the sound signal of the sound material C210 and outputs the result to the second output device 300.
  • the sound material C210 is sound material that is reproduced from the speakers 330 and 331 without 3D sound processing.
  • the mounted speakers 330 and 331 are also intended for mobile devices having a diameter of several centimeters. Small ones are often used. Compared with the television speakers 410 and 411, the speakers 330 and 331 often have smaller diameters, and the speakers 330 and 331 have a lower reproducible lower frequency band than the television speakers 410 and 411. That is, the speakers 330 and 331 are less likely to reproduce low frequency components than the television speakers 410 and 411. Even if an audio signal that is lower than the lower limit frequency band that can be played is input to the speaker, the speaker will only play a sound that is much lower than the input level. May be perceived. Moreover, if the input level is increased too much due to the low volume, the speaker unit itself may be damaged.
  • a band division filter 250 is introduced in FIG.
  • the band-splitting filter 250 is at a predetermined cutoff frequency, for example, near the reproduction lower limit frequency of the speakers 330 and 331 (depending on the diameter and performance of the speaker, it is generally around several hundred Hz for a speaker unit for mobile devices).
  • the second audio signal is divided into a high frequency component and a low frequency component.
  • the band division filter 250 outputs a high frequency component to the addition processing unit 240 and a low frequency component to the addition processing unit 241 in the second audio signal from the 3D processing unit 220.
  • the high frequency component of the second audio signal obtained by performing the 3D sound processing on the sound material B211 is added to the audio signal of the sound material C210, and the low frequency component is added to the first audio signal from the speakers 330 and 331. It is reproduced from the speakers 410, 411.
  • a low frequency signal that cannot be reproduced from the speaker 330 of the sound material B 211 is reproduced from the television speakers 410 and 411 instead of the speakers 330 and 331.
  • information loss of low-frequency components can be reduced.
  • the audio processing of FIG. since the low frequency component is reproduced from the television speakers 410 and 411 in the device 201, information loss can be reduced.
  • the audio reproduction system 100 may include an audio processing device 202 instead of the audio processing device 201.
  • FIG. 3 is a diagram illustrating a first modification of the audio reproduction system according to the second embodiment.
  • the audio processing device 202 is provided with an addition processing unit 240 in the preceding stage rather than in the subsequent stage, compared to the audio processing apparatus 201.
  • the output of the addition processing unit 240 includes not only the second audio signal but also the audio signal of the sound material C210.
  • the band division filter 250 divides not only the second audio signal but also the audio signal of the sound material C210, and outputs the high frequency component to 230 and the low frequency component to the addition processing unit 241. Accordingly, there is an advantage that the low frequency component of the sound material C210 can be reproduced using the television speakers 410 and 411 without omission.
  • the audio reproduction system 100 may include an audio processing device 203 instead of the audio processing device 201.
  • FIG. 4 is a diagram illustrating a second modification of the audio reproduction system according to the second embodiment.
  • the audio processing device 203 is different from the audio processing device 201 in that a band dividing filter 251 is added and the arrangement of the band dividing filter 250 is different.
  • the audio reproduction system 100 may include an audio processing device 204 instead of the audio processing device 203.
  • FIG. 5 is a diagram illustrating a third modification of the audio reproduction system according to the second embodiment.
  • the audio processing device 204 has a 3D processing unit 221 added thereto.
  • the output (low-frequency component) of the band division filter 251 may be separately 3D acoustically processed by the 3D processing unit 221 for reproduction on the television speakers 410 and 411.
  • the 3D processing unit 220 and the 3D processing unit 221 have the same 3D effect. Specifically, for example, it is localized at the user's ear. This makes it possible to obtain a stronger 3D effect.
  • FIG. 6 is a diagram illustrating an example of a configuration of an audio reproduction system according to Embodiment 3 of the present disclosure. As in the first and second embodiments, an example in which the sound reproduction system according to the present disclosure is applied to a game machine system will be described.
  • FIG. 6 differs from FIG. 2 in that a delay correction unit 260 is added.
  • a delay correction unit 260 is added.
  • the delay correction unit 260 generates a delay time so as to cancel the above-described delay time difference that occurs during reproduction from the television speakers 410 and 411. Thereby, the sound reproduced from the speakers 330 and 331 and the television speakers 410 and 411 is reproduced without a time difference.
  • the output delay time of the first output device 400 varies depending on the model and operation mode of the first output device 400. Therefore, the delay time that the user corrects by the delay correction unit 260 may be adjustable. It may be adjustable in units of mS, or may have some typical delay time patterns, and the user may be able to select an optimal one that does not feel strange.
  • FIG. 7 is a diagram illustrating a first modification of the audio reproduction system according to the third embodiment.
  • the delay difference between all signals output from the speakers 330 and 331 and the signal reproduced from the television speaker 410 is corrected, all audio reproduction as the audio reproduction system 100 can be synchronized. It becomes.
  • a delay correction unit 260 may be added to the audio processing devices 202 and 203 in FIGS. 3 and 4 as shown in FIGS.
  • the delay correction unit 260 in FIG. 6 does not cause a delay time, and may weaken the attack component of the second audio signal.
  • the delay correction unit 260 may multiply the rising component of the second audio signal by a window function as shown in FIG.
  • FIG. 8 is a diagram illustrating an example of a window function used in the delay correction unit 260 in the third embodiment.
  • the horizontal axis indicates the number of samples, and the vertical axis indicates the gain to be multiplied.
  • the graph of the figure is the one extracted from the first half of the Hanning window.
  • the window function shown in FIG. 8 is an example, and the window shape and window length (number of samples from 0 to 1 gain) may be changed.
  • a Hanning window, a Hamming window or the like whose gain changes smoothly from 0 to 1 can be used.
  • an acoustic signal having a sharp rise may be detected, and a low frequency component may not be output for the signal (output only from the speakers 330 and 331).
  • a detection unit that detects the sharpness of the rising edge may be provided, and when the sharpness detected by the detection unit exceeds a certain threshold, a low-frequency component may not be output. For example, all the gain values of the window function shown in FIG.
  • the 3D sound processing performed by the 3D processing unit 220 in the first to third embodiments changes the virtual sound source position or changes the characteristics of the sound image control filters 31 and 32 used for the 3D sound processing by external control. You may let them.
  • As an example of changing the virtual sound source position for example, there is a method of reflecting the control of the joystick by the user. Audio reproduction in a game can provide a more immersive feeling by realizing reproduction as if the user himself / herself became a character. The audio to be reproduced may be changed as the user operates a character appearing in the game software with a joystick.
  • the position of a sound source (for example, a shooting sound or another character's voice) generated in the game is changed accordingly.
  • the audio processing device 205 calculates the distance and direction between the character and all or a specific sound source position, and performs 3D sound processing by changing the virtual sound source position accordingly.
  • the sound material normally reproduced from the television speakers 410 and 411 and the second output device 300 may be changed by panning processing or the like.
  • the virtual sound source position in the 3D sound processing is the same as or close to the positions of the television speakers 410 and 411 and the speakers 330 and 331, there is no 3D sound processing from the television speakers 410 and 411 or the speakers 330 and 331.
  • the volume of the normal output of the speakers 330 and 331 is decreased, the volume of the 3D output of the speakers 330 and 331 is gradually increased, and the volume is gradually decreased.
  • the 3D sound processing processing in which a virtual sound source is present at the right ear of the user is performed. By performing such processing, the user can obtain an effect that the vehicle gradually approaches from the right front and passes.
  • the sound image control filter may be switched in response to the result of face recognition using an image of a camera mounted on the second output device or the like.
  • the effects of the sound image control filters 31 and 32 change as the listener changes. For example, the user's gender and the size of the face may be detected by face recognition, and an optimal sound image control filter prepared in advance may be used accordingly. Accordingly, more accurate sound image control can be performed by the sound image control filters 31 and 32 using the dummy head HRTF.
  • the volume of the other sound signal may be lowered. Therefore, it is possible to emphasize the sound that has been subjected to the 3D sound processing, and it is possible to further increase the sense of reality.
  • the sound material C210, the sound material B211 and the sound material A212 may all be reproduced at the same time, or any one or a plurality may be selected and reproduced.
  • FIG. 9 is a diagram showing a second modification of the audio reproduction system according to the second embodiment. Even if there is no sound material C210 as shown in FIG. 9, the effectiveness of the present disclosure is not impaired.
  • the method of processing the sound material C210, the sound material B211 and the sound material A212 in real time has been described. However, all or part of the sound material C210, the sound material B211 and the sound material A212 are described.
  • predetermined processing may be performed on each sound material in advance, and the result may be retained in the game software and reproduced. In this case, real-time processing such as the 3D processing unit 220, the band division filter 250, and the delay correction unit 260 is not necessary, so that the processing load on the voice processing device 200 can be suppressed.
  • each component may be configured by dedicated hardware or may be realized by executing software suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the audio reproduction system according to the present disclosure can enjoy comfortable audio reproduction and 3D sound effects even when the user moves, and thus can be widely applied to audio reproduction systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

　複数の音声出力部（４１０、４１１）を備える据え置き型の第１の出力装置（４００）に接続される音声処理装置（２００）と、複数の音声出力部（３３０、３３１）を備えるポータブル型の第２の出力装置（３００）とを備え、前記音声処理装置（２００）は、前記第１の出力装置（４００）に出力する第１の音声出力信号と、前記第１の音声出力信号とは異なる前記第２の出力装置（３００）に出力する第２の音声出力信号とを生成し、前記第１および第２の音声出力信号のうち少なくとも前記第２の音声出力信号は、３Ｄ音響処理された信号を含む。

Description

音声再生システム
　本開示は、３Ｄ音響再生を行う音声再生システムに関する。
　映画や音楽のみでなく、ゲームにおいても、５．１ｃｈや７．１ｃｈなどのマルチチャネルのオーディオ信号が普及しており、受聴者を取り囲む所定の位置に配置されたマルチチャネルスピーカを用いて再生すると、臨場感あるオーディオ再生が実現される。５．１ｃｈや７．１ｃｈのスピーカを設置することが困難な場合のために、従来のステレオスピーカで疑似的にマルチチャネルオーディオ再生と同様な効果を実現する３Ｄ音響技術が開発されている。
　この３Ｄ音響技術では、スピーカから受聴者の両耳元までの音響特性である頭部音響伝達関数ＨＲＴＦ（Ｈｅａｄ－Ｒｅｌａｔｅｄ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を用いて設計した音像制御フィルタが一般的に用いられる。３Ｄ音響技術については、非特許文献１において開示されている。しかし、このような３Ｄ音響技術は、受聴位置や、受聴者自体が変わった場合には、所望の信号が得られない。スピーカと受聴者の相対的な位置関係の影響の軽減については、いくつか検討されている。
　その一例である特許文献１では、左スピーカ、受聴者、右スピーカがなす角を８度から２０度にするステレオダイポールと呼ばれる再生方式を用いることで、スピーカと受聴者の相対的な位置ずれに対して頑健な制御を可能としている。
　また、特許文献２では、特許文献１で開示されたステレオダイポール方式の小型スピーカユニットをゲームコントローラに着脱可能としている。
　一方で、特許文献３は、ジョイスティックやボタンなどに加えてスピーカを備えたコントローラを有する家庭用ゲーム機システムを開示している。この家庭用ゲーム機システムでは、テレビよりもコントローラのほうがユーザとの距離が近いため、ユーザに聞き漏らしてほしくない重要な音情報をコントローラのスピーカから再生する方式について開示している。
特許第４５０８２９５号公報 特開２００４－１２８６６９号公報 特開２０１４－８１７２７号公報
「音響システムとディジタル処理」電子情報通信学会編発行、大賀寿郎、山崎芳男、金田豊、共著
　上述のように、所望の３Ｄ音響効果を得るためには、音像制御フィルタを設計した際に想定した位置、つまりスピーカと受聴者の想定位置において受聴する必要がある。スピーカ再生の場合、一般的には、テレビに設置されているスピーカ、もしくは、テレビ付近に設置されたスピーカを用いる場合が多く、このスピーカを用いて３Ｄ音響効果を得るためには、ユーザは想定された位置から動かずにゲームを楽しまなければならない。
　近年のゲーム機においては、コントローラは無線化され、無線信号が届く範囲であれば、ユーザは好きな場所に移動してゲームを楽しむことができる。このような状況にもかかわらず、ゲーム機で３Ｄ音響効果を得るために受聴位置が限定されるということは、ユーザが好みの位置でゲームを楽しむことができなくなり、ゲームの楽しみの一部を奪うことにもなる。
　また、ゲームソフトによっては、複数のユーザが同時に楽しむことができるものもある。複数人がスピーカと相対的に同じ位置でゲームを楽しむことは不可能であるため、複数のユーザが同時に楽しむようなゲームにおいては、ユーザ全員が３Ｄ音響効果を得ることはできないという課題がある。
　特許文献１において、受聴者の移動に対して頑健な音像制御方式について開示されているが、この方式では再生スピーカを固定した状態で、ユーザが動き回れるほどの自由度はなく、前述の課題を解決することはできない。
　本開示は、ユーザが受聴位置を限定されることなく、通常音および３Ｄ音響処理音とも快適に楽しむことができる音声再生システムを提供する。
　前述の課題を解決するため、本開示の一形態である音声再生システムは、複数の音声出力部を備える据え置き型の第１の出力装置に接続される音声処理装置と、複数の音声出力部を備えるポータブル型の第２の出力装置とを備え、前記音声処理装置は、前記第１の出力装置に出力する第１の音声出力信号と、前記第１の音声出力信号とは異なる前記第２の出力装置に出力する第２の音声出力信号とを生成し、前記第１および第２の音声出力信号のうち少なくとも前記第２の音声出力信号は、３Ｄ音響処理された信号を含む。
　この構成によれば、第１の出力装置から再生される第１の音声出力信号を楽しむのと同時に、ユーザが把持可能なポータブル型の第２の出力装置から３Ｄ音響処理された信号が再生されるため、ユーザの位置によらず快適な３Ｄ音響効果を享受することができる。
　また、前記音声再生システムにおいて、前記第１の出力装置は、前記第２の出力装置と比べて低い周波数帯域を再生可能であり、前記音声処理装置は、３Ｄ処理部と帯域分割フィルタと加算処理部とを備え、前記３Ｄ処理部は前記３Ｄ音響処理を行い、前記帯域分割フィルタは、前記第２の音声出力信号を、または、前記第２の音声出力信号が前記３Ｄ音響処理される前の音源信号を所定の遮断周波数で低周波数帯域信号と高周波数帯域信号とに分割し、前記加算処理部は、前記低周波数帯域信号を前記第１の音声出力信号に加算してもよい。
　この構成によれば、ポータブル型の第２の出力装置で再生しにくい低周波数帯域の信号を、据え置き型の第１の出力装置から再生するため、音質変化が少なく、かつ、より優れた３Ｄ音響効果を享受することが可能となる。
　また、前記音声処理装置は、さらに、前記第１の音声出力部の出力遅延と前記第２の音声出力部の出力遅延との遅延時間差を受聴位置において知覚しにくくするため、前記第１の音声信号および前記第２の音声信号の一方を補正する遅延補正部を備えてもよい。
　この構成によれば、第１の出力装置によって遅延する第２の音声出力信号の低域成分と、第２の出力装置から再生される第２の音声出力信号の高域成分との間で知覚される時間差を知覚しにくくすることができ、遅延時間差によって生じる違和感を低減することが可能となる。
　ここで、前記遅延補正部は、前記第２の音声信号を遅延させてもよい。
　この構成によれば、上記の遅延時間差そのものを小さくすることによって上記の違和感を低減することが可能となる。
　ここで、前記遅延補正部は、前記第２の音声信号のアタック成分を弱めてもよい。
　この構成によれば、第２の音声信号のアタック成分を弱めることによって上記の違和感を低減することが可能となる。
　また、前記３Ｄ音響処理は、受聴者の耳元に音像を知覚させる音響処理でもよい。
　この構成によれば、耳元に音像を生成することにより、より臨場感ある３Ｄ音響効果を実現することが可能となる。
　また、前記３Ｄ処理部は、前記第２の出力装置に対する前記受聴者の操作に応じて前記仮想音源の位置を変更してもよい。
　この構成によれば、状況に応じた臨場感あふれる音声再生をすることが可能となる。
　本開示によれば、ゲームのユーザが受聴位置を限定されることなく、通常音および３Ｄ音響処理音とも、快適に楽しむことが可能となる。
図１は、実施の形態１における音声再生システムの構成の一例を示す図である。 図２は、実施の形態２における音声再生システムの構成の一例を示す図である。 図３は、実施の形態２における音声再生システムの第１の変形例を示す図である。 図４は、実施の形態２における音声再生システムの第２の変形例を示す図である。 図５は、実施の形態２における音声再生システムの第３の変形例を示す図である。 図６は、実施の形態３における音声再生システムの構成の一例を示す図である。 図７は、実施の形態３における音声再生システムの第１の変形例を示す図である。 図８は、実施の形態３における遅延補正部で使用する窓関数の一例を示す図である。 図９は、実施の形態２における音声再生システムの第２の変形例を示す図である。 図１０は、３Ｄ音声再生システムの構成の一例を示す図である。 図１１は、ゲーム機システムの構成の一例を示す図である。
　（本発明の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した音声再生システム（家庭用ゲーム機システム）に関し、以下の問題があることを見出した。
　まず、非特許文献１に開示された３Ｄ音響技術について説明する。
　図１０は、３Ｄ音声再生システムの構成の一例を示すブロック図である。以下、信号やフィルタは周波数領域で表すこととする。ＨＲＴＦは一般的には、有限長のインパルス応答、または、これを周波数領域に変換したもので表されるが、ここでは周波数領域で表したもので説明する。図１０の３Ｄ音声再生システムは、左スピーカ２０、右スピーカ２１、および音像制御部３０を備える。音像制御部３０は、音像制御フィルタ３１、および音像制御フィルタ３２を備える。音像制御フィルタ３１の伝達関数をＸｌ、音像制御フィルタ３２の伝達関数をＸｒとする。
　この例では、受聴者１０の前方に設置されたステレオスピーカ（左スピーカ２０、右スピーカ２１）を用いて、後方に配置された仮想スピーカ２２から入力信号Ｓを再生したのと同じ音を受聴者１０の両耳位置で再現する。左スピーカ２０、右スピーカ２１から受聴者１０の両耳までのＨＲＴＦをそれぞれ、Ｈｌｌ、Ｈｌｒ、Ｈｒｌ、Ｈｒｒ、また、仮想スピーカ２２から受聴者１０の両耳までのＨＲＴＦをＤｌ、Ｄｒとする。入力信号Ｓは、ここでは２チャンネルの音声信号である。左スピーカ２０、右スピーカ２１に入力される信号は、それぞれ音像制御フィルタ３１、３２でフィルタ処理された入力信号Ｓが入力される。この音像制御フィルタ３１、３２は、受聴者１０の両耳位置において、仮想スピーカ２２から入力信号Ｓを再生したのと同じ信号が得られるように設計される。
　具体的には、以下の式１をＸｌ、Ｘｒについて解く。＊は畳み込みを示す演算記号である。
Figure JPOXMLDOC01-appb-M000001
　上記を満たすＸｌ、Ｘｒは、例えば式２によって求めることができる。
Figure JPOXMLDOC01-appb-M000002
　必要な周波数におけるＸｌ、Ｘｒを上記の式２でそれぞれ求め、入力信号Ｓに畳み込んで再生することで、受聴者１０の両耳位置では仮想スピーカ２２から入力信号Ｓを出力したのと同じ信号が得られる。つまり、前方に設置された左スピーカ２０、右スピーカ２１から音を再生しても、受聴者１０は、仮想スピーカ２２から音が再生されていると知覚する。
　ここで、ＨＲＴＦにはスピーカと受聴者１０の両耳位置の間のすべての音響特性が含まれる。つまり、スピーカと受聴者１０の相対的な位置関係が変化した場合や、受聴者１０が他の人に変わった場合にはＨＲＴＦは変化する。そのため、上記で求めた音像制御フィルタ３１、３２の特性（伝達関数）は、厳密にはＨＲＴＦを計測した位置で、ＨＲＴＦを計測した受聴者１０が音像制御フィルタ３１、３２で制御された音を聞いた場合、所望の特性、つまり、両耳位置においてＤｌ＊Ｓ、Ｄｒ＊Ｓが再現される。しかし、受聴位置や、受聴者１０自体が変わった場合には、所望の信号が得られるとは限らない。
　受聴者１０が変わることへの対策として、ＨＲＴＦ計測にダミーヘッドを用いるのが一般的である。ダミーヘッドとは、人間の頭部、あるいは上半身を模したマネキンで、頭部や耳介を含めた形状、寸法が、標準的な人間のものに合わせて作られたものである。これを用いると、標準的な人間のＨＲＴＦが計測できるため、ＨＲＴＦの個人差による影響を少なくすることができる。
　一方で、音声再生システムの一例としての家庭用ゲーム機システムにおいては、ジョイスティックやボタンなどを備えたコントローラが用いられる、このコントローラにスピーカを備えたものがある。このような家庭用ゲーム機が接続されたＴＶのスピーカと、コントローラに搭載されたスピーカとを用いることで、新しい遊びが提案されている。
　図１１は、音声再生システムの一例として、特許文献３で開示されている、ＴＶのスピーカとコントローラに搭載されたスピーカとを用いたゲーム機システムの構成の一例を示す図である。ゲーム機システムはテレビ１１０と、テレビ１１０に接続されたゲーム機本体１２０および、コントローラ１３０から構成される。テレビ１１０は、テレビ画面１１１、および２つのテレビスピーカ１１２を備える。コントローラ１３０は、コントローラ画面１３１、十字キー１３２、制御ボタン１３３、ジョイスティック１３４、スピーカ１３５、コントローラ音量調整つまみ１３６、ヘッドホン端子１３７、カメラ１３８およびマイクロホン１３９を備える。
　テレビ１１０とゲーム機本体１２０は一般的にはＨＤＭＩ（登録商標）ケーブル等で接続され、ゲーム機本体１２０から出力されたゲームのビデオ信号がテレビ１１０のテレビ画面１１１に、また、オーディオ信号がテレビスピーカ１１２から出力される。ゲーム機本体１２０は、コントローラ１３０とも有線、もしくは無線で接続される。コントローラ１３０は、ユーザ１４０によってゲームの操作などに用いられる。コントローラ１３０はスピーカ１３５を備えており、ゲームの進行やユーザ操作に応じて、テレビスピーカ１１２とは異なった、もしくは同じオーディオ信号を出力する。特許文献３では、ユーザに聞き漏らしてほしくない重要な音情報をコントローラのスピーカから再生する。しかし、コントローラ１３０のスピーカ１３５から、３Ｄ音声再生をしていないという問題がある。さらに、スピーカ１３５が小型であることから、低周波数帯域の再生能力が乏しく、効果的な３Ｄ音声再生が困難である。
　また、特許文献２において、コントローラに搭載したスピーカで３Ｄ音響効果を提供する方式について開示されているが、コントローラに搭載可能なスピーカでは、一般的には数１００Ｈｚ以下の低い周波数帯域の音声は再生できない。近年のゲームソフトはマルチチャネルオーディオに対応しており、５．１ｃｈなどのホームシアタースピーカによるマルチチャネル再生環境を準備すれば、迫力あるオーディオ再生でゲームを楽しむことができる。コントローラに搭載したスピーカだけでは、このような音声の迫力を十分に発揮することは難しい。迫力だけでなく、再生する信号によっては、信号中の低域成分が再生されないことにより、音質が変わってしまい、違和感が生じることがある。また、３Ｄ音響処理した音声については、低域が再生されないことで、３Ｄ効果も弱くなり、臨場感ある再生を楽しむことができないという課題がある。
　本発明者は、上記のような音声再生システム（ゲーム機システム）において、コントローラ１３０のスピーカ１３５を用いて、効果的な３Ｄ音声再生が可能なことを見出した。
　そこで、本開示は、ユーザが受聴位置を限定されることなく、通常音および３Ｄ音響処理音とも快適に楽しむことができる音声再生システムを提供する。
　（実施の形態１）
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　以下、図面を用いて、実施の形態を説明する。
　図１は、実施の形態１における音声再生システム１００の構成の一例を示す図である。ここでは、音声再生システム１００を、図１１のゲーム機システムに適用した例として説明する。以下では、ゲーム機システムの映像処理および音声処理のうち、主として音声処理を中心に説明する。
　音声再生システム１００は、第１の出力装置４００に接続され、音声処理装置２００と、第２の出力装置３００とから構成される。なお、図１の第１の出力装置４００、第２の出力装置３００、音声処理装置２００は、図１１のテレビ１１０、ゲーム機本体１２０、コントローラ１３０にそれぞれ適用される。
　音声処理装置２００は、ここではゲーム機本体であり、読み取り可能な光ディスクに記録されたゲームプログラムなどに基づいてゲーム処理などを実行する。このゲーム処理には映像処理と音声処理とが含まれる。
　第１の出力装置４００は、ここではテレビであり、スピーカとして複数の音声出力部４１０、４１１（以下、テレビスピーカ４１０、４１１と記す）を備える。第１の出力装置４００はゲーム機本体である音声処理装置２００と一般的にはＨＤＭＩ（登録商標）ケーブルなどで接続され、ゲームの進行に応じて、ゲーム機本体としての音声処理装置２００から出力されたゲームのビデオ信号が第１の出力装置４００のテレビ画面１１１から、また、テレビ用オーディオ信号（第１の音声信号）がテレビスピーカ４１０、４１１から再生および出力される。
　音声処理装置２００は、ゲーム機本体として、第２の出力装置３００（コントローラ）とも無線、もしくは有線で接続されている。この音声処理装置２００は、第１の出力装置４００に出力する第１の音声出力信号と、第１の音声出力信号とは異なる第２の出力装置３００に出力する第２の音声出力信号とを生成する。第１および第２の音声出力信号のうち少なくとも第２の音声出力信号は、音声処理装置２００によって３Ｄ音響処理された信号を含む。
　第２の出力装置３００は、ここではゲームのコントローラであり、スピーカである音声出力部３３０、３３１（以下、スピーカ３３０、３３１と記す）を備える。第２の出力装置３００は、図１１のコントローラ１３０と同じ構成でよく、ジョイスティックなどを備える。ゲームを楽しむユーザが第２の出力装置３００を手で持つなどして操作する。音声処理装置２００は、ゲーム機本体として、そのユーザの操作に応じてゲームの進行を制御する。第２の出力装置３００は、ゲームの進行に応じて、音声処理装置２００から送信されたコントローラ用オーディオ信号（第２の音声信号）を再生する。ここでは、スピーカ３３０、３３１は２チャンネルスピーカである前提で説明するが、３チャンネル以上であってもよい。また、第２の出力装置３００は、音量調整部３２０を備え、例えば第２の出力装置３００に備えられた音量調整つまみなどによるユーザ操作に応じて、スピーカ３３０、３３１から再生される第２の音声信号の音量を調整することが可能である。
　ゲームプログラム内に記録されているオーディオ信号は、ゲーム機本体としての音声処理装置２００中のメモリなどに、音素材Ｂ２１１および音素材Ａ２１２として記憶される。
　音素材Ｂ２１１は、３Ｄ処理部２２０にて３Ｄ音響処理を施されて第２の音声信号としてスピーカ３３０、３３１から再生される。これにより、音素材Ｂ２１１が、例えば、ユーザの耳元から音が聞こえてくるような効果を出すことができる。ここで、３Ｄ音響処理としては、耳元への定位に限らず、他の定位位置を実現するものであってもよい。３Ｄ処理部２２０の一例は、図１０の音像制御部３０と同じ構成であり、音像制御フィルタ３１、音像制御フィルタ３２を備える。一般的には、音像制御フィルタ３１、３２は、ＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタで実現されることが多いが、ＩＩＲ（Ｉｎｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタで実現してもよく、複数のＦＩＲフィルタとＩＩＲフィルタを組み合わせたものなど、ＦＩＲフィルタ以外の構成であってもよい。音像制御フィルタ３１、３２の特性は、例えば上記の式１、式２を用いて説明した方法などにより設定される。また、図１０では１つの入力信号に対して１つの仮想スピーカ２２位置に音像を定位させるが、図１において異なる入力信号を異なる仮想スピーカ位置に定位させる場合には、仮想スピーカ位置の分、音像制御部３０を設け、それぞれの音源に対して音像制御処理を行ってもよい。
　３Ｄ処理部２２０で３Ｄ音響処理された音素材Ｂ２１１は、第２の音声信号として、無線通信部２３０にて無線通信信号に変換され、第２の出力装置３００に送信される。第２の出力装置３００で受信された無線通信信号は、第２の出力装置３００に備えられた無線通信部３１０にて第２の音声信号が取り出され、音量調整部３２０にて音量調整後、スピーカ３３０、３３１から再生される。
　音素材Ａ２１２は、第１の音声信号としてテレビスピーカ４１０、４１１から再生される。この音素材Ａ２１２は、テレビスピーカ４１０、４１１、つまり２スピーカの場合は一般的にはユーザの前方から再生されているように知覚することを想定して作成されてもよい。
　以上により、ユーザは、音素材Ｂ２１１に３Ｄ音響処理が施された第２の音声信号はユーザの耳元から、また、音素材Ａ２１２は第１の音声信号としてテレビスピーカ４１０からと、異なる位置にそれぞれの音像を知覚する。テレビスピーカの位置、コントローラのスピーカの位置に音像を知覚する特許文献３などの従来の音声再生システム（ゲーム機システム）と比べると、より臨場感あるオーディオ再生を実現することが可能となる。例えば、ホラー系のゲームなどにおいて、音素材Ｂ２１１として、後ろから襲いかかるゾンビの音声を、また、音素材Ａ２１２として、ＢＧＭを用いることで、より映像に忠実な音像を実現することができ、従来のゲーム機システムより臨場感あるオーディオの再生が可能となる。
　また、第２の出力装置３００（コントローラ）を複数準備することで、複数のユーザに対して同様のオーディオ再生を実現することができる。第２の出力装置３００はユーザが手で持って使用するため、スピーカ３３０、３３１で再生される３Ｄ効果については、複数のユーザに対して個別に効果を提供することができる。音素材Ａ２１１や３Ｄ処理部２２０を複数持ち、異なるコントローラに別の信号として送信することで、ユーザごとに異なるオーディオ再生を実現できることは言うまでもない。
　なお、通常テレビスピーカ４１０、４１１はステレオスピーカであることが多いが、３ｃｈ以上のスピーカを備えていてもよい。テレビスピーカ４１０、４１１の代わりに、サウンドバーなどと呼ばれるバータイプのアンプ付きスピーカや、ＡＶアンプなどを経由して別途５．１ｃｈなど、ホームシアタータイプのスピーカシステムを接続する形態であってもよい。５．１ｃｈスピーカである場合、音素材Ａ２１２をユーザの前方方向だけでなく、後方方向にも知覚させることが可能となり、より多彩なオーディオ再生が可能となる。
　（実施の形態２）
　本実施の形態では、ポータブル型の第２の出力装置３００では再生されにくいあるいは情報欠落しがちな第２の音声信号のうちの低周波数帯域の音声信号を、据え置き型の第１の出力装置４００で再生する音声再生システムについて説明する。
　図２は、実施の形態２における音声再生システム１００の構成の一例を示す図である。実施の形態１と同様に、本開示をゲーム機システムに適用した例として説明する。図２の音声処理装置２０１は、図１の音声処理装置２００に、音素材Ｃ２１０、帯域分割フィルタ２５０および、加算処理部２４０、２４１を追加した点で異なり、それ以外は図１と同様である。以下異なる点を中心に説明する。
　帯域分割フィルタ２５０は、第２の音声出力信号を、または、第２の音声出力信号が前記３Ｄ音響処理される前の音源信号（つまり音素材Ａ２１２）を所定の遮断周波数で低周波数帯域信号（つまり低域成分）と高周波数帯域信号（つまり高域成分）とに分割する。図２では、帯域分割フィルタ２５１は、音源信号ではなく３Ｄ音響処理された後の第２の音声出力信号を帯域分割している。
　加算処理部２４１は、上記の低周波数帯域信号を第１の音声出力信号に加算し、第１の出力装置４００に出力する。
　加算処理部２４０は、上記の高周波帯域信号を音素材Ｃ２１０の音声信号に加算し、第２の出力装置３００に出力する。音素材Ｃ２１０は、スピーカ３３０、３３１から３Ｄ音響処理なしで再生する音素材である。
　前述のように、第２の出力装置３００は一般的にはユーザが手に持って操作するものであるため、搭載されているスピーカ３３０、３３１も、その径が数センチメートルのモバイル機器向けの小型のものが用いられることが多い。テレビスピーカ４１０、４１１と比較すると、スピーカ３３０、３３１のほうが径は小さい場合が多く、スピーカ３３０、３３１はテレビスピーカ４１０、４１１より、再生可能な下限周波数帯域が高い。つまり、スピーカ３３０、３３１は、テレビスピーカ４１０、４１１と比較すると低域成分が再生しにくい。再生可能な下限周波数帯域より低いオーディオ信号をスピーカに入力しても、スピーカからは入力したレベルより非常に小さな音でしか再生されず、例えば、男性の音声などは音質が変わったような音として知覚される場合がある。また、音量が小さい分、入力レベルを大きくしすぎると、スピーカユニット自体を破損してしまう可能性もある。
　この課題を改善するため、図２では、帯域分割フィルタ２５０を導入する。帯域分割フィルタ２５０は、所定の遮断周波数、例えば、スピーカ３３０、３３１の再生下限周波数付近（スピーカの径や性能によるが、モバイル機器向けのスピーカユニットでは、一般的には数１００Ｈｚ付近である）において、第２の音声信号を高域成分と低域成分に分割する。帯域分割フィルタ２５０は３Ｄ処理部２２０からの第２の音声信号のうち、高域成分を加算処理部２４０に、また、低域成分を加算処理部２４１に出力する。音素材Ｂ２１１を３Ｄ音響処理した第２の音声信号のうち高域成分が音素材Ｃ２１０の音声信号と加算されてスピーカ３３０、３３１から、また低域成分が第１の音声信号と加算されてテレビスピーカ４１０、４１１から再生される。
　これにより、音素材Ｂ２１１のスピーカ３３０から再生することができない低い周波数の低域信号が、スピーカ３３０、３３１の代わりにテレビスピーカ４１０、４１１から再生される。これにより、低域成分の情報欠落を低減することができる。例えば、図１の方式では、低い周波数だけ含まれる背景音などをスピーカ３３０、３３１だけから再生しようとしても再生できず、情報欠落してしまうことになる場合であっても、図２の音声処理装置２０１では、低域成分がテレビスピーカ４１０、４１１から再生されるため、情報欠落を低減することができる。また、スピーカ３３０、３３１から再生する男性音声のような低域成分の音質変化も軽減することができる、ゲーム開発者が本来想定したものにより近いオーディオ再生を実現することが可能となる。
　なお、図３のように、音声再生システム１００は、音声処理装置２０１の代わりに音声処理装置２０２を備えてもよい。図３は、実施の形態２における音声再生システムの第１の変形例を示す図である。図３において、音声処理装置２０２は、音声処理装置２０１と比べて、加算処理部２４０が帯域分割フィルタ２５１の後段ではなく前段に設けられている。加算処理部２４０の出力は、第２の音声信号だけでなく音素材Ｃ２１０の音声信号も含まれている。これにより、帯域分割フィルタ２５０は、第２の音声信号だけでなく音素材Ｃ２１０の音声信号も帯域分割し、高域成分を２３０に、低域成分を加算処理部２４１に出力する。これにより、音素材Ｃ２１０の低域成分も漏れなくテレビスピーカ４１０、４１１を利用して再生することができる、という利点がある。
　また、図４のように、音声再生システム１００は、音声処理装置２０１の代わりに音声処理装置２０３を備えてもよい。図４は、実施の形態２における音声再生システムの第２の変形例を示す図である。音声処理装置２０３は、音声処理装置２０１と比べて、帯域分割フィルタ２５１が追加され、帯域分割フィルタ２５０の配置が異なっている。
　また、図５のように、音声再生システム１００は、音声処理装置２０３の代わりに音声処理装置２０４を備えてもよい。図５は、実施の形態２における音声再生システムの第３の変形例を示す図である。音声処理装置２０４は、音声処理装置２０３と比べて、３Ｄ処理部２２１が追加されている。このように、帯域分割フィルタ２５１の出力（低域成分）を、３Ｄ処理部２２１にてテレビスピーカ４１０、４１１での再生用に別途３Ｄ音響処理してもよい。ここで、３Ｄ処理部２２０と３Ｄ処理部２２１は同じ３Ｄ効果を奏するものであるのが望ましい。具体的には、例えばユーザの耳元に定位させるなどである。これにより、より強い３Ｄ効果を得ることが可能となる。
　（実施の形態３）
　図６は、本開示の実施の形態３における音声再生システムの構成の一例を示す図である。実施の形態１、２と同様に、本開示における音声再生システムをゲーム機システムに適用した例として説明する。
　図６は、図２と比べて、遅延補正部２６０を追加した点で異なっている。以下異なる点を中心に説明する。
　図２の音声処理装置２００から第１の出力装置４００（テレビ）にビデオおよび第２の音声信号が入力されてから、実際にテレビ画面およびテレビスピーカ４１０、４１１から出力されるまでには遅延時間がある。一方、音声処理装置２００から第２の出力装置３００に第１の音声信号が入力されてから、実際にスピーカ３３０、３３１から出力されるまでにも遅延時間がある。これらの遅延時間は同じとは限らず異なることが多い。つまり、本来、３Ｄ処理部２２０の出力は、低域成分、高域成分とも同期して（つまり遅延時間差が０で）再生されるべきであるが、この遅延時間差分、遅れてテレビスピーカ４１０、４１１から再生されてしまうことなり、ユーザの音の知覚に影響を与える。この課題を解決するため、図６の音声処理装置２０５では遅延補正部２６０を導入している。遅延補正部２６０は、前述の、テレビスピーカ４１０、４１１からの再生時に生じる上記の遅延時間差を打ち消すように遅延時間を生じさせる。これにより、スピーカ３３０、３３１とテレビスピーカ４１０、４１１から再生される音は時間差なく再生されるようになる。
　一般的に、第１の出力装置４００の出力遅延時間は、第１の出力装置４００の機種や動作モードによって変化する。そこで、ユーザが遅延補正部２６０で補正する遅延時間を調整可能としてもよい。ｍＳ単位で調整可能でもよく、あるいは、いくつかの代表的な遅延時間のパターンをもち、ユーザはその中から違和感のない、最適なものを選択可能としてもよい。
　また、遅延補正部２６０は、図７の音声処理装置２０６のように、帯域分割フィルタ２５０と無線通信部２３０の間に設置されてもよい。図７は、実施の形態３における音声再生システムの第１の変形例を示す図である。同図では、スピーカ３３０、３３１から出力される信号全てと、テレビスピーカ４１０から再生される信号との遅延差が補正されるため、音声再生システム１００としてのすべてのオーディオ再生を同期させることが可能となる。
　また、図３、図４の音声処理装置２０２、２０３に、図６、図７のように遅延補正部２６０を追加してもよい。
　また、我々の実験の結果、立ち上がりが鋭い音響信号に対して、この遅延時間の影響が大きく知覚されやすいことがわかっている。このことから、図６の遅延補正部２６０は遅延時間を生じさせるものでなく、第２の音声信号のアタック成分を弱めてもよい。例えば、遅延補正部２６０は、第２の音声信号の立ち上がり成分に対して図８に示すような窓関数を乗算してもよい。図８は、実施の形態３における遅延補正部２６０で使用する窓関数の一例を示す図である。図８のグラフの横軸はサンプル数を、縦軸は乗算するゲインを示す。同図のグラフは、ハニング窓の前半部分を取り出したものである。このような窓関数をオーディオ信号に乗算することで、急峻な音の立ち上がりを滑らかにすることができるため、スピーカ３３０、３３１とテレビスピーカ４１０、４１１との間の到達時間差を知覚的に軽減させることができる。なお、図８に示した窓関数は一例であり、窓の形や窓長（ゲインが０から１になるまでのサンプル数）を変えてもよい。窓の形としては例えばハニング窓、ハミング窓など、ゲインが０から１に滑らかに変化するものを使うことができる。さらに、立ち上がりが鋭い音響信号を検出し、その信号に対しては低域成分を出力しない（スピーカ３３０、３３１のみから出力する）でもよい。本処理をリアルタイムで実現する場合には、立ち上がりの鋭さを検出する検出部を設け、検出部で検出した鋭さがある閾値を超えた場合には低域成分を出力しないようにすればよい。例えば、図８記載の窓関数のゲイン値をすべて０にする、もしくは別途低域成分の出力を制御するスイッチを設け、出力しないようにスイッチを切り替えてもよい。
　実施の形態１から３における３Ｄ処理部２２０にて実施する３Ｄ音響処理は、外部からの制御によって、仮想音源位置を変化させたり、３Ｄ音響処理に用いる音像制御フィルタ３１、３２の特性自体を変化させたりしてもよい。仮想音源位置を変化させる例としては、例えば、ユーザによるジョイスティックの制御を反映させる方法がある。ゲームにおけるオーディオ再生は、あたかもユーザ自身がキャラクタになったかのような再生を実現することで、より没入感を演出することが可能となる。ユーザがゲームソフトに登場するキャラクタをジョイスティックで操作するのに応じて、再生するオーディオも変化させるとよい。具体的には、ジョイスティックでキャラクタの顔向きや立ち位置が変化した場合、それに応じてゲーム内で発生する音源（例えば、発砲音や別のキャラクタの音声など）の位置を変化させる。それにより、実際にユーザがキャラクタ自身になり、ゲーム内に入り込んだような感覚を提供することができる。ゲーム機本体として音声処理装置２０５では、キャラクタと、すべて、もしくはある特定の音源位置との間の距離と方向を算出し、それに応じて仮想音源位置を変化させた３Ｄ音響処理を行う。その際、３Ｄ音響処理のみでなくテレビスピーカ４１０、４１１や第２の出力装置３００から通常再生される音素材についても、パニング処理などによって変化させてもよい。また、３Ｄ音響処理における仮想音源位置が、テレビスピーカ４１０、４１１やスピーカ３３０、３３１の位置と同じ、もしくは近い位置である場合には、テレビスピーカ４１０、４１１もしくはスピーカ３３０、３３１から３Ｄ音響処理なしで再生してもよい。例えば、車がゲーム内のキャラクタの右前方からキャラクタのすぐ右を通って右後ろに走り抜ける場合、車の音を、テレビスピーカ４１０、４１１の右スピーカから徐々に音量を上げて再生し、徐々に音量を下げ、それに応じてスピーカ３３０、３３１の通常出力が徐々に音量を上げていく。その後、スピーカ３３０、３３１の通常出力の音量が下がり、スピーカ３３０、３３１の３Ｄ出力の音量が徐々に上がり、また徐々に音量を下げる。その際、３Ｄ音響処理としては、ユーザの右耳元に仮想音源があるような処理を行う。このような処理を行うことで、ユーザは右側前方から徐々に車が近づいてきて通り過ぎたような効果を得ることができる。
　また、第２の出力装置などに搭載されたカメラの画像を用いて顔認識の結果を受け、音像制御フィルタを切り替えてもよい。前述のように、音像制御フィルタ３１、３２は受聴者が変わるとその効果も変わる。例えば、顔認識によって、ユーザの性別や顔の大きさなどを検出し、それに応じて事前に準備しているうちの最適な音像制御フィルタを用いてもよい。これにより、ダミーヘッドのＨＲＴＦによる音像制御フィルタ３１、３２により、より正確な音像制御が可能となる。
　また、３Ｄ音響処理された音響信号が再生される際、それ以外の音響信号の音量を下げてもよい。これにより、３Ｄ音響処理した音を強調することができ、より臨場感を増すことが可能となる。
　上記において、音素材Ｃ２１０、音素材Ｂ２１１、音素材Ａ２１２はすべて同時に再生されてもよいし、いずれか一つもしくは複数を選択して再生されてもよい。
　また、図９は、実施の形態２における音声再生システムの第２の変形例を示す図である。図９のように音素材Ｃ２１０が無くても、本開示の有効性は損なわれない。
　実施の形態１から３において、音素材Ｃ２１０、音素材Ｂ２１１および音素材Ａ２１２に対して、リアルタイムに処理する方式を説明したが、音素材Ｃ２１０、音素材Ｂ２１１および音素材Ａ２１２のすべて、あるいは一部に対して、リアルタイム処理でなく、それぞれの音素材に対してあらかじめ所定の処理を施し、その結果をゲームソフトに保持して再生してもよい。その際には、３Ｄ処理部２２０や帯域分割フィルタ２５０、遅延補正部２６０などのリアルタイムでの処理が不要となるため、音声処理装置２００の処理負荷を抑えることが可能となる。
　また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　本開示にかかる音声再生システムは、ユーザが移動した場合でも快適なオーディオ再生と３Ｄ音響効果を享受できるので、幅広く音声再生システムに応用できる。
１０　受聴者
２０　左スピーカ
２１　右スピーカ
２２　仮想スピーカ
３０　音像制御部
３１、３２　音像制御フィルタ
１００　音声再生システム
１１０、４００　第１の出力装置（テレビ）
１１１　テレビ画面
１１２、４１０、４１１　テレビスピーカ（音声出力部）
１２０　ゲーム機本体
１３０、３００　第２の出力装置（コントローラ）
１３１　コントローラ画面
１３２　十字キー
１３３　制御ボタン
１３４　ジョイスティック
１３５、３３０、３３１　スピーカ（音声出力部）
１３６　コントローラ音量調整つまみ
１３７　ヘッドホン端子
１３８　カメラ
１３９　マイクロホン
１４０　ユーザ
２００～２０７　音声処理装置（ゲーム機本体）
２１０　音素材Ｃ
２１１　音素材Ｂ
２１２　音素材Ａ
２２０、２２１　３Ｄ処理部
２３０、３１０　無線通信部
２４０、２４１　加算処理部
２５０、２５１　帯域分割フィルタ
２６０　遅延補正部
３２０　音量調整部

Claims (7)

  1. 　複数の音声出力部を備える据え置き型の第１の出力装置に接続される音声処理装置と、
    　複数の音声出力部を備えるポータブル型の第２の出力装置と
    を備え、
    　前記音声処理装置は、前記第１の出力装置に出力する第１の音声出力信号と、前記第１の音声出力信号とは異なる前記第２の出力装置に出力する第２の音声出力信号とを生成し、
    　前記第１および第２の音声出力信号のうち少なくとも前記第２の音声出力信号は、３Ｄ音響処理された信号を含む
    音声再生システム。
  2. 　前記第１の出力装置は、前記第２の出力装置と比べて低い周波数帯域を再生可能であり、
    　前記音声処理装置は、３Ｄ処理部と帯域分割フィルタと加算処理部とを備え、
    　前記３Ｄ処理部は、前記３Ｄ音響処理を行い、
    　前記帯域分割フィルタは、前記第２の音声出力信号を、または、前記第２の音声出力信号が前記３Ｄ音響処理される前の音源信号を所定の遮断周波数で低周波数帯域信号と高周波数帯域信号とに分割し、
    　前記加算処理部は、前記低周波数帯域信号を前記第１の音声出力信号に加算する
    請求項１記載の音声再生システム。
  3. 　前記音声処理装置は、さらに、前記第１の音声出力部の出力遅延と前記第２の音声出力部の出力遅延との遅延時間差を受聴位置において知覚しにくくするため、前記第１の音声信号および前記第２の音声信号の一方を補正する遅延補正部を備える
    請求項２記載の音声再生システム。
  4. 　前記遅延補正部は、前記第２の音声信号を遅延させる
    請求項３記載の音声再生システム。
  5. 　前記遅延補正部は、前記第２の音声出力信号のアタック成分を弱める
    請求項３記載の音声再生システム。
  6. 　前記３Ｄ音響処理は、受聴者の耳元に仮想音源を知覚させる音響処理である
    請求項１から５の何れか１項に記載の音声再生システム。
  7. 　前記３Ｄ処理部は、前記第２の出力装置に対する前記受聴者の操作に応じて前記仮想音源の位置を変更する
    請求項６記載の音声再生システム。
PCT/JP2015/005684 2014-12-03 2015-11-13 音声再生システム WO2016088306A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016562288A JPWO2016088306A1 (ja) 2014-12-03 2015-11-13 音声再生システム
CN201580065276.0A CN107211230A (zh) 2014-12-03 2015-11-13 声音再现系统
US15/610,941 US20170272889A1 (en) 2014-12-03 2017-06-01 Sound reproduction system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014245218 2014-12-03
JP2014-245218 2014-12-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/610,941 Continuation US20170272889A1 (en) 2014-12-03 2017-06-01 Sound reproduction system

Publications (1)

Publication Number Publication Date
WO2016088306A1 true WO2016088306A1 (ja) 2016-06-09

Family

ID=56091272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005684 WO2016088306A1 (ja) 2014-12-03 2015-11-13 音声再生システム

Country Status (4)

Country Link
US (1) US20170272889A1 (ja)
JP (1) JPWO2016088306A1 (ja)
CN (1) CN107211230A (ja)
WO (1) WO2016088306A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019066601A (ja) * 2017-09-29 2019-04-25 沖電気工業株式会社 音響処理装置、プログラム及び方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US10638218B2 (en) * 2018-08-23 2020-04-28 Dts, Inc. Reflecting sound from acoustically reflective video screen
CN112492380B (zh) * 2020-11-18 2023-06-30 腾讯科技（深圳）有限公司 音效调整方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291100A (ja) * 2001-03-27 2002-10-04 Victor Co Of Japan Ltd オーディオ信号再生方法、及びパッケージメディア
JP2004128669A (ja) * 2002-09-30 2004-04-22 Dimagic:Kk 立体音再生用小型スピーカユニット及びそれを備えたゲーム用コントローラ
JP2013143591A (ja) * 2012-01-06 2013-07-22 Sharp Corp Ａｖシステム
JP2014090251A (ja) * 2012-10-29 2014-05-15 Nintendo Co Ltd 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1282335B1 (en) * 2001-07-30 2008-08-27 Matsushita Electric Industrial Co., Ltd. Sound reproduction device
US8184835B2 (en) * 2005-10-14 2012-05-22 Creative Technology Ltd Transducer array with nonuniform asymmetric spacing and method for configuring array
US8401202B2 (en) * 2008-03-07 2013-03-19 Ksc Industries Incorporated Speakers with a digital signal processor
CN102077464B (zh) * 2008-07-11 2014-02-26 歌乐株式会社 声学处理装置
US9358454B2 (en) * 2012-09-13 2016-06-07 Performance Designed Products Llc Audio headset system and apparatus
JP6012388B2 (ja) * 2012-10-15 2016-10-25 任天堂株式会社 音声出力システム、音声出力プログラム、音声出力制御方法、および情報処理装置
JP5954147B2 (ja) * 2012-12-07 2016-07-20 ソニー株式会社 機能制御装置およびプログラム
US20150382130A1 (en) * 2014-06-27 2015-12-31 Patrick Connor Camera based adjustments to 3d soundscapes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291100A (ja) * 2001-03-27 2002-10-04 Victor Co Of Japan Ltd オーディオ信号再生方法、及びパッケージメディア
JP2004128669A (ja) * 2002-09-30 2004-04-22 Dimagic:Kk 立体音再生用小型スピーカユニット及びそれを備えたゲーム用コントローラ
JP2013143591A (ja) * 2012-01-06 2013-07-22 Sharp Corp Ａｖシステム
JP2014090251A (ja) * 2012-10-29 2014-05-15 Nintendo Co Ltd 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019066601A (ja) * 2017-09-29 2019-04-25 沖電気工業株式会社 音響処理装置、プログラム及び方法

Also Published As

Publication number Publication date
JPWO2016088306A1 (ja) 2017-09-21
US20170272889A1 (en) 2017-09-21
CN107211230A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
EP3311593B1 (en) Binaural audio reproduction
EP2953383B1 (en) Signal processing circuit
US11523244B1 (en) Own voice reinforcement using extra-aural speakers
JP2008516539A5 (ja)
JP5363567B2 (ja) 音響再生装置
JP2010258497A (ja) 音響処理装置、音像定位処理方法および音像定位処理プログラム
CN101489173B (zh) 信号处理装置和信号处理方法
WO2016088306A1 (ja) 音声再生システム
US9226091B2 (en) Acoustic surround immersion control system and method
JP5787128B2 (ja) 音響システム、音響信号処理装置および方法、並びに、プログラム
US6990210B2 (en) System for headphone-like rear channel speaker and the method of the same
JP2645731B2 (ja) 音像定位再生方式
US10440495B2 (en) Virtual localization of sound
JP2003009296A (ja) 音響処理装置および音響処理方法
KR20050064442A (ko) 이동통신 시스템에서 입체음향 신호 생성 장치 및 방법
JP2008154083A (ja) 音場再生装置
JP5776223B2 (ja) 音像制御装置および音像制御方法
JP5418256B2 (ja) 音声処理装置
JP6512767B2 (ja) 音響処理装置および方法、並びにプログラム
US9402143B2 (en) Method for processing an audio signal, audio playback system, and processing unit for processing audio signals
US11470435B2 (en) Method and device for processing audio signals using 2-channel stereo speaker
WO2023106070A1 (ja) 音響処理装置、音響処理方法、及び、プログラム
JP5034482B2 (ja) 音場再生装置
JP2010004430A (ja) 音響信号再生装置及び方法
JP2023080769A (ja) 再生制御装置、頭外定位処理システム、及び再生制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15865937

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016562288

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15865937

Country of ref document: EP

Kind code of ref document: A1