WO2021124906A1 - 制御装置、信号処理方法およびスピーカ装置 - Google Patents

制御装置、信号処理方法およびスピーカ装置 Download PDF

Info

Publication number
WO2021124906A1
WO2021124906A1 PCT/JP2020/045028 JP2020045028W WO2021124906A1 WO 2021124906 A1 WO2021124906 A1 WO 2021124906A1 JP 2020045028 W JP2020045028 W JP 2020045028W WO 2021124906 A1 WO2021124906 A1 WO 2021124906A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
signal
voice
channels
control device
Prior art date
Application number
PCT/JP2020/045028
Other languages
English (en)
French (fr)
Inventor
修一郎 錦織
裕史 竹田
鈴木　志朗
高弘 渡邉
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2021565457A priority Critical patent/JPWO2021124906A1/ja
Priority to CN202080086355.0A priority patent/CN114846817A/zh
Priority to DE112020006211.2T priority patent/DE112020006211T5/de
Priority to US17/784,056 priority patent/US12075234B2/en
Publication of WO2021124906A1 publication Critical patent/WO2021124906A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/023—Transducers incorporated in garment, rucksacks or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/022—Plurality of transducers corresponding to a plurality of sound channels in each earpiece of headphones or in a single enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00—Loudspeakers
    • H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones

Definitions

  • This technology relates to control devices, signal processing methods and speaker devices.
  • the control device includes a voice control unit and a vibration control unit.
  • the voice control unit uses voice signals of a plurality of channels having a first voice component and a second voice component different from the first voice component as input signals, and voice control signals for each of the plurality of channels. To generate.
  • the vibration control unit generates a vibration control signal for vibration presentation by taking the difference between the audio signals of two of the plurality of channels.
  • the vibration control unit may be configured to band-limit the audio signals of the plurality of channels or the difference signals of the audio signals of the plurality of channels to the first frequency or lower.
  • the vibration control unit uses a monaural signal obtained by mixing the audio signals of each channel as the vibration control signal for the audio signals of the second frequency or lower, which is lower than the first frequency.
  • the difference signal may be output as the vibration control signal.
  • the first frequency may be 500 Hz or less.
  • the second cutoff frequency may be 150 Hz or less.
  • the first voice component may be a voice sound.
  • the second audio component may be a sound effect and a background sound.
  • the audio signals of the two channels may be audio signals of the left and right channels.
  • the vibration control unit may have an adjustment unit that adjusts the gain of the vibration control signal based on an external signal.
  • the adjusting unit may be configured to be able to switch between enabling and disabling the generation of the vibration control signal.
  • the vibration control unit may have an addition unit that generates a monaural signal that is a mixture of audio signals of the two channels.
  • the vibration control unit may have a subtraction unit that takes a difference between the audio signals.
  • the subtraction unit is configured so that the degree of subtraction of the difference can be adjusted.
  • the plurality of channels have audio signals of a plurality of channels having a first audio component and a second audio component different from the first audio component as input signals.
  • a vibration control signal for vibration presentation is generated by taking the difference between the audio signals of two channels out of the plurality of channels.
  • the speaker device includes a voice output unit, a vibration output unit, a voice control unit, and a vibration control unit.
  • the voice control unit uses voice signals of a plurality of channels having a first voice component and a second voice component different from the first voice component as input signals, and voice control signals for each of the plurality of channels. To drive the audio output unit.
  • the vibration control unit generates a vibration control signal for vibration presentation by taking the difference between the audio signals of two channels out of the plurality of channels, and drives the vibration output unit.
  • FIG. 1 is a perspective view (a) and a bottom view (b) showing a configuration example of a speaker device according to an embodiment of the present technology.
  • the speaker device (voice output device) 100 has a function of actively presenting vibration (tactile sensation) to the user U at the same time as voice.
  • the speaker device 100 is, for example, a wearable speaker mounted on both shoulders of the user U.
  • the speaker device 100 includes a right speaker 100R, a left speaker 100L, and a connector 100C that connects the right speaker 100R and the left speaker 100L.
  • the connector 100C is formed in an arbitrary shape that can be hung on the neck of the user U, and the right speaker 100R and the left speaker 100L are located on both shoulders or the upper chest of the user U.
  • FIG. 3 is a schematic cross-sectional view of a main part of the right speaker 100R and the left speaker 100L of the speaker device 100 of FIGS. 1 and 2.
  • the right speaker 100R and the left speaker 100L typically have a symmetrical structure on the left and right sides. Since FIG. 3 is only a schematic diagram, it does not necessarily correspond to the shape and dimensional ratio of the speakers shown in FIGS. 1 and 2.
  • the right speaker 100R and the left speaker 100L include, for example, an audio output unit 250, a vibration presentation unit 251 and a housing 254 for accommodating them.
  • the right speaker 100R and the left speaker 100L typically reproduce the audio signal in stereo.
  • the reproduced sound is typically not particularly limited as long as it is a reproducible sound or sound such as a musical piece, a conversation, or a sound effect.
  • the voice output unit 250 is an electroacoustic conversion type dynamic speaker.
  • the audio output unit 250 is arranged to face the diaphragm 250a, the voice coil 250b wound around the center of the diaphragm 250a, the fixing ring 250c for holding the diaphragm 250a in the housing 254, and the diaphragm 250a. It includes a magnet assembly 250d.
  • the voice coil 250b is arranged perpendicular to the direction of the magnetic flux generated in the magnet assembly 250d.
  • a voice signal alternating current
  • the diaphragm 250a vibrates due to the electromagnetic force acting on the voice coil 250b.
  • the diaphragm 250a vibrates in accordance with the signal waveform of the audio signal to generate regenerated sound waves.
  • the vibration presentation unit 251 includes a vibration device (vibration) capable of generating tactile vibration such as an eccentric motor (ERM), a linear actuator (LRA), and a piezoelectric element.
  • the vibration presentation unit 251 is driven by inputting a vibration signal for tactile presentation prepared separately from the reproduction signal.
  • the amplitude and frequency of vibration are not particularly limited.
  • the vibration presentation unit 251 is not limited to the case where it is composed of a single vibration device, and may be composed of a plurality of vibration devices. In this case, the plurality of vibrating devices may be driven simultaneously or separately.
  • the housing 254 has an opening (sound guide port) 254a for passing audio output (reproduced sound) to the outside on the surface of the audio output unit 250 facing the diaphragm 250a.
  • the opening 254a is formed in a straight line along the longitudinal direction of the housing 254, but the present invention is not limited to this, and the opening 254a may be formed of a plurality of through holes or the like.
  • the vibration presentation unit 251 is arranged on the inner surface of the housing 254 on the opposite side of the opening 254a, for example.
  • the vibration presentation unit 251 presents tactile vibration to the user via the housing 254.
  • a part of the housing 254 may be made of a material having a relatively low rigidity.
  • the shape of the housing 254 is not limited to the shape shown in the figure, and an appropriate shape such as a disk type or a rectangular parallelepiped type can be adopted.
  • FIG. 4 is a block diagram showing a configuration example of the speaker device applied in the present embodiment.
  • the speaker device 100 includes a control device 1 that controls the drive of the audio output unit 250 of the right speaker 100R and the left speaker 100L and the vibration presentation unit 251.
  • the control device 1 and other elements described later are built in the housing 254 of the right speaker 100R or the left speaker 100L.
  • the external device 60 is an external device such as a smartphone or a remote controller, and operation information such as switches and buttons by the user is wirelessly transmitted and input to the control device 1 (described later).
  • the control device 1 has a voice control unit 13 and a vibration control unit 14.
  • the control device 1 can be realized by hardware elements used in a computer such as a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory), and necessary software. Even if PLD (Programmable Logic Device) such as FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), or other ASIC (Application Specific Integrated Circuit) is used in place of or in addition to the CPU. Good.
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the speaker device 100 includes a storage (storage unit) 11, a decoding unit 12, an audio output unit 15, a vibration output unit 16, and a communication unit 18 as other hardware.
  • the voice control unit 13 generates a voice control signal that drives the voice output unit 15 based on a musical piece or other voice signal as an input signal.
  • the audio signal is data (audio data) for audio reproduction stored in the storage 11 or the server device 50.
  • the vibration control unit 14 generates a vibration control signal that drives the vibration output unit 16 based on the vibration signal.
  • the vibration signal is generated by using an audio signal as described later.
  • the storage 11 is a storage device such as a non-volatile semiconductor memory capable of storing an audio signal.
  • the audio signal is stored in the storage 11 as appropriately encoded digital data.
  • the decoding unit 12 decodes the audio signal stored in the storage 11.
  • the decoding unit 12 may be omitted if necessary, or may be configured as a partial functional block of the control device 1.
  • the communication unit 18 is composed of a communication module that can be connected to the network 10 by wire (for example, a USB cable) or wirelessly such as Wi-Fi or Bluetooth (registered trademark).
  • the communication unit 18 is configured as a receiving unit that can communicate with the server device 50 via the network 10 and can acquire an audio signal stored in the server device 50.
  • the audio output unit 15 includes, for example, the audio output unit 250 of the right speaker 100R and the left speaker 100L shown in FIG.
  • the vibration output unit 16 includes, for example, the vibration presentation unit 251 shown in FIG.
  • the control device 1 generates signals (voice control signal and vibration control signal) for driving the voice output unit 15 and the vibration output unit 16 by receiving from the server device 50 or reading from the storage 11.
  • the decoding unit 12 performs an appropriate decoding process on the acquired data to take out voice data (voice signal) and input each of them to the voice control unit 13 and the vibration control unit 14.
  • the audio data format may be a linear PCM format of Raw data, or a data format encoded with high efficiency by an audio codec such as MP3 or AAC.
  • the voice control unit 13 and the vibration control unit 14 perform various processes on the input data.
  • the output of the voice control unit 13 (voice control signal) is input to the voice output unit 15, and the output of the vibration control unit 14 (vibration control signal) is input to the vibration output unit 16.
  • the audio output unit 15 and the vibration output unit 16 include a D / A converter, a signal amplifier, and a reproduction device (corresponding to the audio output unit 250 and the vibration presentation unit 251), respectively.
  • the D / A converter and the signal amplifier may be included in the voice control unit 13 and the vibration control unit 14.
  • the signal amplifier may include a volume adjusting unit adjusted by the user U, an equalizing adjusting unit, a vibration amount adjusting unit by gain adjustment, and the like.
  • the voice control unit 13 generates a voice control signal that drives the voice output unit 15 based on the input voice data.
  • the vibration control unit 14 generates a vibration control signal for driving the vibration output unit 16 based on the input tactile data.
  • vibration signals are rarely prepared separately from audio signals in broadcast contents, package contents, net contents, game contents, etc., so that they generally correlate with vibrations.
  • High voice is used. That is, processing is performed based on the audio signal, and the generated vibration signal is output.
  • the vibration When the vibration is presented, it may be perceived as a vibration that is generally unfavorable to the user. For example, when dialogue, narration, live voice in sports video, etc. in content such as movies, dramas, animations, and games are presented as vibrations, it makes the user feel uncomfortable because his / her body is shaken by the voice of another person. Often.
  • the control device 1 of the present embodiment is configured as follows in order to remove or reduce vibration that is uncomfortable or unpleasant for the user in the active vibration wearable speaker.
  • control device 1 has a voice control unit 13 and a vibration control unit 14.
  • the voice control unit 13 and the vibration control unit 14 are configured to have the following functions in addition to the above-mentioned functions.
  • the voice control unit 13 uses voice signals of a plurality of channels having a first voice component and a second voice component different from the first voice component as input signals, and voice control signals for each of the plurality of channels. To generate.
  • the voice control signal is a control signal for driving the voice output unit 15.
  • the first voice component is typically a voice sound.
  • the second voice component is a voice component other than the voice sound, for example, a sound effect or a background sound.
  • the second audio component may be both a sound effect and a background sound, or may be either one.
  • the plurality of channels are two channels, a left channel and a right channel.
  • the number of channels is not limited to two channels on the left and right, and may be three or more channels including the center, rear, and subwoofer.
  • the vibration control unit 14 generates a vibration control signal for vibration presentation by taking the difference between the audio signals of two channels out of the plurality of channels.
  • the vibration control signal is a control signal for driving the vibration output unit 16.
  • the same signal is usually used for the left and right channels for the voice sound, and a vibration control signal in which the voice sound is canceled by the above difference processing can be obtained.
  • This makes it possible to generate a vibration control signal based on a voice signal other than a voice sound such as a sound effect or a background sound.
  • the vibration detection threshold as shown in Fig. 5 is known as a human tactile mechanism (quoted from “Four cyannels mediate the mechanical aspects of touch” S.J. Bolanowski 1988). Centering on the frequency of 200 to 300 Hz, where humans are most sensitive to vibration, the sensitivity becomes dull as the distance from this frequency band increases. Typically, a vibration presentation range of about several Hz to 1 kHz is considered, but in reality, a frequency of 500 Hz or higher affects the audibility as noise, so the upper limit is set to about 500 Hz.
  • the vibration control unit 14 has a low-pass filter function that limits the band of the audio signal to a predetermined frequency (first frequency) or less.
  • FIG. 6A shows a spectrum (logarithmic spectrum) 61 of the audio signal
  • FIG. 6B shows a spectrum 62 obtained by subjecting the spectrum 61 to a low-pass filter (for example, a cutoff frequency of 500 Hz).
  • the vibration control unit 14 generates a vibration signal using the audio signal (spectrum 62) after the low-pass filter.
  • the first frequency is not limited to 500 Hz, and may be a frequency lower than this.
  • a signal in which the left and right audio signals are band-limited may be output as a two-channel vibration signal as it is.
  • a monaural signal in which the left and right channels are mixed is output as the same vibration signal on the left and right.
  • This mixed monaural signal is calculated as the average value of the audio signals of the left and right channels, for example, as shown in (Equation 1) below.
  • VM (t) is the value of time t in the vibration signal
  • AL (t) is the value of time t in the left channel of the band-limited audio signal
  • AR (t) is the right of the band-limited audio signal. It is the value of time t in the channel.
  • noise generated from dialogue, narration, live commentary, etc. is generated by performing signal processing using (Equation 1) in the vibration control unit 14 of FIG. 4 for digital audio signals for two channels of existing contents. Can be removed or reduced.
  • the elements constituting the two-channel stereo audio signal in general contents include voice sounds such as dialogue and narration, sound effects for staging, and background sounds such as music and environmental sounds as three major elements. It is considered to be a composition.
  • Content voice voice sound + sound effect + background sound
  • the content creator adjusts the sound quality and volume of each component and then mixes them to generate the final content.
  • the voice is usually assigned as the same signal in the left and right channels so that it can always be heard from a stable position (front) as the foreground.
  • Sound effects and background sounds are usually assigned as different signals on the left and right channels to enhance the sense of presence.
  • FIG. 14 is a graph showing signal examples of the sound effect 141 (for example, a chime sound) and the background sound 142 (for example, a musical piece). Each signal has left channel data (upper row) and right channel data (lower row). It can be seen that both the sound effect 141 and the background sound 142 have similar signals in the left and right channels, but different signals.
  • the sound effect 141 for example, a chime sound
  • the background sound 142 for example, a musical piece.
  • Each signal has left channel data (upper row) and right channel data (lower row). It can be seen that both the sound effect 141 and the background sound 142 have similar signals in the left and right channels, but different signals.
  • Equation 2 The audio mixing of these two channels is shown in (Equation 2) and (Equation 3).
  • AL (t) is the value of time t in the left channel of the audio signal
  • AR (t) is the value of time t in the right channel of the audio signal
  • S (t) is the value of time t in the voice signal
  • T) is the value of time t in the left channel of the sound sound signal
  • ER (t) is the value of time t in the right channel of the sound sound signal
  • ML (t) is the value of time t in the left channel of the background sound signal.
  • MR (t) indicates the value of time t in the right channel of the background sound signal.
  • S (t) is canceled by using the signal obtained by performing the difference processing of the left and right channels in the audio signal as the vibration signal VM (t) as shown in the following (Equation 4).
  • vibration is stopped in response to audio signals such as dialogue, narration, and live commentary, and unpleasant vibration is eliminated.
  • Equation 4 may be AR (t) -AL (t).
  • the vibration control unit 14 band-limits the audio signals of the left and right channels, performs differential processing on the band-limited left and right channel audio signals, and outputs the differential-processed audio signals as vibration control signals. It is not limited to the case of doing.
  • the vibration control unit 14 vibrates the band-limited difference signal by performing difference processing on the left and right channels of the audio signal and band-limiting the difference-processed audio signal (difference signal). It may be output as a control signal.
  • FIG. 7 is a flowchart showing another example of the procedure for generating a vibration signal from the audio signal executed by the vibration control unit 14.
  • step S71 the audio signal output from the decoding unit 12 of FIG. 4 is used as an input, and the difference signal between the left and right channels of the audio signal is obtained according to the above (Equation 4).
  • step 72 a band-limited audio signal can be obtained by applying a low-pass filter process to the difference signal obtained in step S71 at a cutoff frequency of a predetermined frequency (for example, 500 Hz) or less as in FIG. ..
  • step 73 the band limiting signal obtained in step S72 is multiplied by the gain coefficient corresponding to the vibration volume specified by the user in the external UI or the like.
  • step 74 the signal obtained in step S73 is output to the vibration output unit 16 as a vibration control signal.
  • the voice will be emphasized by applying effects such as reverb and compressor.
  • effects such as reverb and compressor.
  • different signals are assigned to the left and right channels, but even in this case, the main components of the voice are assigned as the same left and right signals, so the difference signal (Equation 4) makes the voice feel uncomfortable or uncomfortable compared to the normal signal.
  • pleasant vibrations are further reduced.
  • the VM (t) is obtained by removing the signal (central localization component) of the same magnitude at the same time on both the left and right channels, but (Equation 2) and (Equation 2) and (The EL (t), ER (t), ML (t), and MR (t) terms in the equation 3) also include signals of the same magnitude at the same time. That is, by performing the process of (Equation 4), there is a possibility that the signal that is originally desired to vibrate is damaged and does not vibrate. Further, since VM (t) in (Equation 4) is a difference result, the magnitude of the signal may be smaller than that of the original signal when the correlation between the original signals is high.
  • FIG. 8 (A) shows the mixed monaural signal ((L + R) ⁇ 0.5) (corresponding to the spectrum 62 of FIG. 6) of the audio signals of the left and right channels before the difference processing
  • FIG. 8 (B) shows the difference processing.
  • the spectrum (LR) 81 of the later audio signal is shown respectively.
  • the level of the spectrum 81 after the difference processing is generally lowered from the maximum value L1 (for example, -24 dB) of the spetl 62, and the signal below 150 Hz is damaged.
  • the band below the lower limit frequency (for example, 150 Hz) of the voice (human voice) is excluded from the target of the difference processing and the left and right signal addition processing of (Equation 1) is performed, and the band exceeding the lower limit frequency is the difference. Remove by processing. As a result, as shown in FIG. 8C, it is possible to maintain the low-frequency signal component to be vibrated.
  • the vibration control unit 14 uses the audio signals of each channel for the audio signals of the second frequency (150 Hz in this example) lower than the first frequency (500 Hz in this example).
  • a monaural signal mixed with the signals is output as a vibration control signal, and for audio signals exceeding the second frequency and below the first frequency, the difference signal of these audio signals is output as the vibration control signal.
  • the values of the first frequency and the second frequency are not limited to the above examples and can be set arbitrarily.
  • FIG. 9 is a block diagram showing an example of the internal configuration of the vibration control unit 14 of the speaker device 100 according to the present embodiment.
  • the vibration control unit 14 includes an addition unit 91, an LPF unit 92, a subtraction unit 93, a BPF unit 94, a synthesis unit 95, and an adjustment unit 96.
  • the addition unit 91 downmixes the two-channel audio signal received via the communication unit 18 into a monaural signal according to (Equation 1).
  • the LPF unit 92 sets the main component of the audio signal as a signal having a band of 150 Hz or less by low-pass filtering having a cutoff frequency of 150 Hz.
  • the subtraction unit 93 performs difference processing on the two-channel audio signals received via the communication unit 18 according to (Equation 4).
  • the BPF unit 94 changes the main component of the audio signal into a signal of 150 Hz to 500 Hz by bandpass filtering in a pass band of 150 Hz to 500 Hz.
  • the synthesis unit 95 synthesizes the signal input from the LPF unit 92 and the signal input from the BPF unit 94.
  • the adjusting unit 96 is for adjusting the gain of the entire vibration control signal when the vibration volume is adjusted by an input operation from the external device 60 or the like.
  • the adjusting unit 96 outputs the gain-adjusted vibration
  • the adjusting unit 96 is further configured to enable or disable the addition processing by the addition unit 91, the band limitation processing by the LPF unit 92 or the BPF unit 94, and the generation of the vibration control signal by the subtraction processing by the subtraction unit 93. Good.
  • the vibration control signal is generated by directly inputting the audio signal of each channel to the adjusting unit 96.
  • a control command for the generation invalidation processing is input to the adjustment unit 96 via the external device 60.
  • the subtraction unit 93 may also be configured so that the degree of subtraction when the difference between the audio signals of the left and right channels is taken via the external device 60 can be adjusted. That is, it is not limited to the case where all the generation of the vibration control signal derived from the voice sound is excluded, and the magnitude of the vibration derived from the voice sound may be arbitrarily set according to the preference of the user.
  • a difference signal between the left channel of the 2-channel audio signal and the right channel multiplied by a coefficient is used as a vibration control signal.
  • the coefficient can be set arbitrarily, and the audio signal to which the coefficient is multiplied may be the left channel instead of the right channel.
  • FIG. 10 is a flowchart relating to a series of processes for generating a vibration signal from an audio signal in the present embodiment.
  • step S101 the left-right signal addition process of (Equation 1) is performed by the addition unit 91.
  • step S102 the LPF unit 92 performs a low-pass filter process having a cutoff frequency of 150 Hz on the signal after the addition process.
  • step S103 the left-right signal difference processing of (Equation 4) is performed by the subtraction unit 93.
  • a user-adjusted voice reduction coefficient (described later) input from the external device 60 may be taken into consideration.
  • step S104 a bandpass filter process having a cutoff lower limit frequency of 150 Hz and an upper limit frequency of 500 Hz is performed by the BPF unit 94 on the signal after the difference process.
  • the cutoff upper limit frequency is appropriately selected in the same manner as the lower limit frequency.
  • step S105 the synthesis unit 95 performs a synthesis process of the signal after the processing of step S102 and the signal after the processing of step 104.
  • step S106 the adjusting unit 96 obtains a signal obtained by multiplying the signal after processing in step S105 by a vibration gain coefficient set by the user in an external UI (User Interface) or the like.
  • step S107 the processed signal of step S106 is output to the vibration output units 16 and 251 as a vibration control signal.
  • a 5.1 channel or 7.1 channel audio signal is used as a multi-channel audio format.
  • the configuration as shown in FIG. 11 is recommended as the speaker arrangement, and the content creator allocates the audio signals of each channel assuming this speaker arrangement.
  • human voices such as dialogue and narration are generally assigned to the front center channel (FC in FIG. 11) so that they can be heard from the front of the listener.
  • the vibration output unit does not vibrate in response to a human voice, and the user does not feel unpleasant vibration.
  • VM (t) ⁇ FL (t) + ⁇ FR (t) + ⁇ SL (t) + ⁇ SR (t) + ⁇ SW (t) ... (Equation 5)
  • VM (t) ⁇ FL (t) + ⁇ FR (t) + ⁇ SL (t) + ⁇ SR (t) + ⁇ SW (t) + ⁇ LB (t) + ⁇ RB (t) ... (Equation 6)
  • VM (t) is the value of time t in the vibration signal, FL (t), FR (t), SL (t), SR (t), SW (t), LB (t) and RB (t).
  • ⁇ , ⁇ , ⁇ , ⁇ , ⁇ and ⁇ are downmix coefficients in each signal.
  • the downmix coefficient may be any numerical value, or all channels are equally divided, and for example, each coefficient is set to 0.2 for (Equation 5) and 0.143 for (Equation 6). May be good.
  • the signal downmixed with other channels becomes the vibration signal.
  • the content transmitter for example, an external device 60 such as a smartphone, a television, or a game machine
  • the content transmitter may be controlled to be enabled or disabled by software, or a hardware switch, a button, or the like may be attached to the housing 254 of the speaker device 100. It may be controlled by providing an operation unit (not shown).
  • Coeff is a voice reduction coefficient, and takes a positive real number of 1.0 or less. The closer the Coeff is to 1.0, the better the voice reduction effect, and the closer it is to 0, the lower the voice reduction effect.
  • the user can freely adjust the degree of reduction of voice (that is, the degree of vibration) according to his / her own preference.
  • the coefficients Coeff of (Equation 7), (Equation 8) and (Equation 9) are adjusted by the user in the external device 60.
  • the adjusted coefficient Coeff is input from the external device 60 to the subtraction unit 93 (see FIG. 9).
  • the subtraction unit 93 the difference processing of the audio signals according to (Equation 7), (Equation 8) and (Equation 9) is performed according to the number of input channels.
  • FIG. 12 is a schematic diagram showing stream data for a predetermined time (for example, several ms) related to voice and vibration.
  • the stream data 121 includes a header 122, audio data 123, and vibration data 124.
  • the stream data 121 may include video data.
  • the header 122 stores information on the entire frame, such as a sync word for recognizing the beginning of the stream, the overall data size, and information indicating the data type. After that, voice data 123 and vibration data 124 are stored, respectively. The voice data 123 and the vibration data 124 are transmitted to the speaker device 100 over time.
  • the audio data is a left and right 2-channel audio signal and the vibration data is a 4-channel vibration signal.
  • a voice sound, a sound effect, a background sound, and a rhythm are set in these four channels.
  • Each part of the music band such as vocals, bass, guitar, and drums, may be set.
  • the external device 60 is provided with user interface software (UI or GUI (external operation input unit)) 131 that controls the gain of the voice / vibration signal (see FIG. 13).
  • UI user interface software
  • GUI external operation input unit
  • the signal gain of each channel of audio and signal is controlled by the user operating a control tool (for example, a slider) displayed on the screen.
  • a control tool for example, a slider
  • the user can reduce or eliminate unpleasant vibration according to his / her own preference by reducing the gain of the channel corresponding to the vibration signal that the user feels unfavorable among the output vibration signals. ..
  • the vibration when the voice signal and the vibration signal are independently received, the vibration is generated by controlling the channel of the vibration signal channels used for vibration presentation that is not desired to be vibrated on the user interface. Mute or reduce. This allows the user to reduce or eliminate unpleasant vibrations to his or her taste.
  • the two-channel stereo sound that is most often used in the existing content has been described, but in some cases, the content of the one-channel monaural sound may be processed.
  • the difference processing between the left and right channels is impossible, it is conceivable to estimate and remove the human voice component.
  • a monaural channel sound source separation technique for example, it is conceivable to use a monaural channel sound source separation technique.
  • Specific examples include NMF (Nonnegative Matrix Factorization) and RPCA (Robust Principal Component Analysis).
  • the present technology can have the following configurations.
  • a voice control signal is generated for each of the plurality of channels by using voice signals of a plurality of channels having a first voice component and a second voice component different from the first voice component as input signals.
  • Voice control unit and A control device including a vibration control unit that generates a vibration control signal for vibration presentation by taking a difference between audio signals of two channels out of the plurality of channels.
  • the vibration control unit is a control device that band-limits the audio signals of the plurality of channels or the difference signals of the audio signals of the plurality of channels to the first frequency or lower.
  • the vibration control unit is among the audio signals of the plurality of channels.
  • a monaural signal obtained by mixing the audio signals of each channel is output as the vibration control signal.
  • the first frequency is a control device of 500 Hz or less.
  • the first voice component is a control device that is a voice sound. (7) The control device according to any one of (1) to (6) above.
  • the second audio component is a control device which is a sound effect and a background sound.
  • the audio signals of the two channels are control devices that are audio signals of the left and right channels.
  • the vibration control unit is a control device having an adjustment unit that adjusts the gain of the vibration control signal based on an external signal.
  • the adjusting unit is a control device configured to be able to switch between valid and invalid generation of the vibration control signal. (11) The control device according to any one of (1) to (9) above.
  • the vibration control unit is a control device having an addition unit that generates a monaural signal that is a mixture of audio signals of the two channels.
  • the control device according to any one of (1) to (11) above.
  • the vibration control unit has a subtraction unit that takes a difference between the audio signals.
  • the subtraction unit is a control device configured so that the degree of subtraction of the difference can be adjusted.
  • a voice control signal is generated for each of the plurality of channels by using the voice signals of a plurality of channels having the first voice component and the second voice component different from the first voice component as input signals.
  • a signal processing method for generating a vibration control signal for vibration presentation by taking a difference between audio signals of two channels out of the plurality of channels.
  • Vibration output unit and A voice control signal is generated for each of the plurality of channels by using voice signals of a plurality of channels having a first voice component and a second voice component different from the first voice component as input signals, and the voice is generated.
  • the voice control unit that drives the output unit and A speaker device including a vibration control unit that generates a vibration control signal for vibration presentation by taking a difference between audio signals of two channels out of the plurality of channels and drives the vibration output unit.
  • Control device 10 External network 11 ... Storage 12 ... Decoding unit 13 ... Voice control unit 14 ... Tactile (vibration) control unit 15 ... Voice output unit 16 ... Tactile (vibration) output unit 20, 22 ... Speaker unit 21 ... Vibration Child 60 ... External device 80 ... Tactile presentation device 100, 200, 300 ... Speaker device 100C ... Connector 100L ... Left speaker 100R ... Right speaker 250 ... Audio output unit 251 ... Tactile (vibration) presentation unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本技術の一形態に係る制御装置は、音声制御部と、振動制御部とを具備する。　前記音声制御部は、第１の音声成分と、前記第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号として、前記複数のチャンネル毎に音声制御信号を生成する。前記振動制御部は、前記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号を生成する。

Description

制御装置、信号処理方法およびスピーカ装置
　本技術は、制御装置、信号処理方法およびスピーカ装置に関する。
　近年、触覚再生デバイスにより人間の皮膚などを介して触覚を刺激するアプリケーションが、様々な場面で利用されている。
　そのための触覚再生デバイスに関しては、偏心モータ(ERM: Eccentric Rotating Mass)やリニアアクチュエータ(LRA: Linear Resonant Actuator)などが現在多く使用されており、それらは人間の触覚において感度の良い周波数(数100Hz程度)の共振周波数を持つデバイスが広く使用されている（例えば、特許文献１参照）。
　人間の触覚感度が高い周波数帯域が数100Hzであるため、振動再生デバイスにおいても、この数100Hzの帯域をターゲットにしたものが主流となっている。
　その他の触覚再生デバイスには、触れている部分の摩擦係数を制御して所望の触覚を実現することを目的とした、静電気ディスプレイや弾性表面波ディスプレイが提案されている（例えば、特許文献２参照）。他にも収束させた超音波による音響放射圧を利用した空中超音波触覚ディスプレイや、触覚受容器に接続された神経や筋肉を電気的に刺激する電気触覚ディスプレイが提案されている。
　これらのデバイスを利用したアプリケーションとして、特に音楽リスニングにおいては、ヘッドフォン筐体に振動再生デバイスを組み込み、音楽を再生するのと同時に振動も再生することで、重低音を強調しているものがある。
　またヘッドフォンの形態をとらず、首からスピーカをかける形で使用するウェアラブル（ネック）スピーカが提案されている。これらがユーザの体に接することを利用して、スピーカから出力される音声とともに背面から振動をユーザに伝えるもの（例えば、特許文献３参照）や、スピーカ振動の背圧の共振を利用して振動をユーザに伝えるもの（例えば、特許文献４参照）がある。
特開２０１６－２０２４８６号公報 特開２００１－２５５９９３号公報 特開平１０－２００９７７号公報 特願２０１７－４３６０２号公報
　触覚提示を行うヘッドフォンやウェアラブルスピーカでは、音声信号から振動信号を生成して提示する場合、人の声が多分に含まれた音声信号から振動信号を生成すると、一般的には振動してほしくない違和感や不快感のある振動が発生することがある。
　以上のような事情に鑑み、一般的に違和感や不快感のある振動を除去または低減することができる制御装置、信号処理方法およびスピーカ装置を提供することにある。
　本技術の一形態に係る制御装置は、音声制御部と、振動制御部とを具備する。
　前記音声制御部は、第１の音声成分と、前記第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号として、前記複数のチャンネル毎に音声制御信号を生成する。
　前記振動制御部は、前記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号を生成する。
　前記振動制御部は、前記複数のチャンネルの音声信号または前記複数のチャンネルの音声信号の差分信号を、第１の周波数以下に帯域制限するように構成されてもよい。
　前記振動制御部は、前記複数のチャンネルの音声信号のうち、前記第１の周波数よりも低い第２の周波数以下の音声信号については各チャンネルの音声信号をミックスしたモノラル信号を前記振動制御信号として出力し、前記第２の周波数を超え、かつ前記第１の周波数以下の音声信号については、前記差分信号を前記振動制御信号として出力するように構成されてもよい。
　前記第１の周波数は、５００Ｈｚ以下であってもよい。
　前記第２のカットオフ周波数は、１５０Ｈｚ以下であってもよい。
　前記第１の音声成分は、ボイス音であってもよい。
　前記第２の音声成分は、効果音および背景音であってもよい。
　前記２つのチャンネルの音声信号は、左右のチャンネルの音声信号であってもよい。
　前記振動制御部は、外部信号に基づいて、前記振動制御信号のゲインを調整する調整部を有してもよい。
　前記調整部は、前記振動制御信号の生成の有効および無効を切り替え可能に構成されてもよい。
　前記振動制御部は、前記２つのチャンネルの音声信号をミックスしたモノラル信号を生成する加算部を有してもよい。
　前記振動制御部は、前記音声信号の差分をとる減算部を有してもよい。この場合、前記減算部は、前記差分の減数の度合を調整可能に構成される。
　本技術の一形態に係る信号処理方法は、第１の音声成分と、前記第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号として前記複数のチャンネル毎に音声制御信号を生成することを含む。
　前記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号が生成される。
　本技術の一形態に係るスピーカ装置は、音声出力ユニットと、振動出力ユニットと、音声制御部と、振動制御部とを具備する。
　前記音声制御部は、第１の音声成分と、前記第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号として、前記複数のチャンネル毎に音声制御信号を生成し、前記音声出力ユニットを駆動する。
　前記振動制御部は、前記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号を生成し、前記振動出力ユニットを駆動する。
本技術の第１の実施形態に係るスピーカ装置の斜視図および底面図である。 上記スピーカ装置がユーザにマウントされた様子を示す斜視図である。 上記スピーカ装置の要部の模式的な断面図である。 上記スピーカ装置の一構成例を示すブロック図である。 人間の触覚メカニズムとしての振動検出閾値を示すグラフである。 音声信号のスペクトルに対してローパスフィルタの処理を施した信号が示されたグラフである。 本技術の第１の実施形態において、音声信号から振動信号を生成するフローチャートである。 差分処理前のスペクトル、差分処理後のスペクトル、および低域を残した差分処理後のスペクトルを示したグラフである。 本実施形態におけるスピーカ装置の振動制御部の内部構成を示すブロック図である。 本技術の第１の実施形態において、音声信号から振動信号を生成するフローチャートである。 ５．１チャンネルおよび７．１チャンネルの音声信号フォーマットにおけるスピーカ配置を示した上面図である。 音声および振動に関する所定の時間分のストリームデータを示した概略図である。 音声・振動信号のゲイン制御を行うユーザインタフェースソフトウェアを示した概略図である。 効果音および背景音の信号例を示したグラフである。
　以下、本技術に係る各実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
（スピーカ装置の基本構成）
　図１は、本技術の一実施形態におけるスピーカ装置の一構成例を示す斜視図（ａ）および底面図（ｂ）である。このスピーカ装置（音声出力装置）１００は、音声と同時にユーザＵにアクティブに振動（触覚）を提示する機能を有する。図２に示されるように、スピーカ装置１００は、例えばユーザＵの両肩に載置されるウェアラブルスピーカである。
　スピーカ装置１００は、右スピーカ１００Ｒと、左スピーカ１００Ｌと、右スピーカ１００Ｒと左スピーカ１００Ｌとを連結する連結体１００Ｃとを備える。連結体１００Ｃは、ユーザＵの首に掛けることが可能な任意の形状に形成され、右スピーカ１００Ｒおよび左スピーカ１００ＬをユーザＵの両肩あるいは胸部上方に位置させる。
　図３は、図１および図２のスピーカ装置１００の右スピーカ１００Ｒおよび左スピーカ１００Ｌの要部の模式的な断面図である。右スピーカ１００Ｒおよび左スピーカ１００Ｌは、典型的には、左右で対称な構造を有する。なお、図３はあくまでも模式図であるため、図１および図２に示したスピーカの形状や寸法比率に必ずしも対応していない。
　右スピーカ１００Ｒおよび左スピーカ１００Ｌは、例えば、音声出力ユニット２５０と、振動提示ユニット２５１と、これらを収容する筐体２５４とを備える。右スピーカ１００Ｒおよび左スピーカ１００Ｌは、典型的には、音声信号をステレオ方式で再生する。再生音は、典型的には、楽曲、会話、効果音など、再生可能な音声あるいは音響であれば特に限定されない。
　音声出力ユニット２５０は、電気音響変換型のダイナミックスピーカである。音声出力ユニット２５０は、振動板２５０ａと、振動板２５０ａの中心部に巻回されたボイスコイル２５０ｂと、振動板２５０ａを筐体２５４に保持する固定リング２５０ｃと、振動板２５０ａに対向配置されたマグネットアセンブリ２５０ｄとを備える。ボイスコイル２５０ｂは、マグネットアセンブリ２５０ｄにおいて発生する磁束の方向に対して垂直に配置される。ボイスコイル２５０ｂに音声信号（交流電流）が供給されると、ボイスコイル２５０ｂに作用する電磁力によって振動板２５０ａが振動する。振動板２５０ａが音声信号の信号波形に合わせて振動することで、再生音波が発生する。
　振動提示ユニット２５１は、偏心モータ(ERM)やリニアアクチュエータ(LRA)、圧電素子などの触覚振動を発生させることが可能な振動デバイス（振動子）を含む。振動提示ユニット２５１は、再生信号とは別に用意された触覚提示用の振動信号が入力されることで駆動される。振動の振幅、周波数も特に限定されない。振動提示ユニット２５１は単一の振動デバイスで構成される場合に限られず、複数の振動デバイスで構成されてもよい。この場合、複数の振動デバイスは同時に駆動されてもよいし、別個に駆動されてもよい。
　筐体２５４は、音声出力ユニット２５０の振動板２５０ａと対向する面に、音声出力（再生音）を外部に通すための開口部（導音口）２５４ａを有する。開口部２５４ａは、図１に示すように筐体２５４の長手方向に沿うように直線状に形成されるが、これに限られず、複数の貫通孔などで構成されてもよい。
　振動提示ユニット２５１は、例えば、筐体２５４の開口部２５４ａと反対側の内面に配置される。振動提示ユニット２５１は、筐体２５４を介して触覚振動をユーザへ提示する。触覚振動の伝達性を高めるため、筐体２５４の一部が剛性の比較的低い材料で構成されてもよい。筐体２５４の形状は図示する形状に限られず、円板型、直方体型などの適宜の形状が採用可能である。
　続いて、スピーカ装置１００の制御系について説明する。図４は、本実施形態において適用されるスピーカ装置の一構成例を示すブロック図である。
　スピーカ装置１００は、右スピーカ１００Ｒおよび左スピーカ１００Ｌの音声出力ユニット２５０ならびに振動提示ユニット２５１の駆動を制御する制御装置１を備える。制御装置１および後述するその他の要素は、右スピーカ１００Ｒまたは左スピーカ１００Ｌの筐体２５４に内蔵される。
　外部機器６０は、後に詳述するが、スマートフォン、リモートコントローラなどの外部装置であり、ユーザによるスイッチやボタンなどの操作情報が、無線で伝送されて制御装置１（後述）に入力される。
　図３に示すように、制御装置１は、音声制御部１３および振動制御部１４を有する。
　制御装置１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のコンピュータに用いられるハードウェア要素および必要なソフトウェアにより実現され得る。ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、あるいは、ＤＳＰ（Digital Signal Processor）、その他ＡＳＩＣ（Application Specific Integrated Circuit）等が用いられてもよい。制御装置１は、所定のプログラムを実行することで、機能ブロックとしての音声制御部１３および振動制御部１４が構成される。
　スピーカ装置１００は、その他のハードウェアとして、ストレージ（記憶部）１１、復号部１２、音声出力部１５、振動出力部１６および通信部１８を備える。
　音声制御部１３は、入力信号としての楽曲その他の音声信号に基づいて、音声出力部１５を駆動する音声制御信号を生成する。音声信号は、ストレージ１１あるいはサーバ装置５０に格納された音声再生用のデータ（音声データ）である。
　振動制御部１４は、振動信号に基づいて、振動出力部１６を駆動する振動制御信号を生成する。振動信号は、後述するように、音声信号を利用して生成される。
　ストレージ１１は、音声信号を記憶することが可能な不揮発性半導体メモリ等の記憶装置である。本実施形態において音声信号は、適宜符号化されたデジタルデータとしてストレージ１１に記憶される。
　復号部１２は、ストレージ１１に格納された音声信号を復号する。復号部１２は、必要に応じて省略されてもよいし、制御装置１の一部の機能ブロックとして構成されてもよい。
　通信部１８は、ネットワーク１０に有線（例えばＵＳＢケーブル）またはＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線で接続可能な通信モジュールで構成される。通信部１８は、ネットワーク１０を介してサーバ装置５０と通信可能であり、サーバ装置５０に格納された音声信号を取得可能な受信部として構成される。
　音声出力部１５は、例えば図３に示した右スピーカ１００Ｒおよび左スピーカ１００Ｌの音声出力ユニット２５０を含む。
　振動出力部１６は、例えば図３に示した振動提示ユニット２５１を含む。
（スピーカ装置の典型的な動作）
　次に、以上のように構成されるスピーカ装置１００の典型的な動作について説明する。
　制御装置１は、サーバ装置５０からの受信、または、ストレージ１１からの読み出しにより、音声出力部１５および振動出力部１６を駆動するための信号（音声制御信号および振動制御信号）を生成する。
　次に、復号部１２が、取得したデータに対して適切な復号処理を施すことで、音声データ（音声信号）を取り出し、それぞれを音声制御部１３および振動制御部１４に入力する。
　音声データ形式は、ＲａｗデータのリニアＰＣＭ形式でもよいし、ＭＰ３やＡＡＣなどのオーディオコーデックによって高能率符号化されたデータ形式でもよい。
　音声制御部１３および振動制御部１４は、入力されたデータに対する種々の処理を行う。音声制御部１３の出力（音声制御信号）は音声出力部１５へ入力され、振動制御部１４の出力（振動制御信号）は振動出力部１６へ入力される。音声出力部１５および振動出力部１６は、それぞれＤ／Ａ変換器、信号増幅器および再生装置（音声出力ユニット２５０、振動提示ユニット２５１に相当）を含む。
　Ｄ／Ａ変換器および信号増幅器は、音声制御部１３および振動制御部１４に含められてもよい。信号増幅器は、ユーザＵによって調整されるボリューム調整部、イコライジング調整部、ゲイン調整による振動量調整部などを含んでもよい。
　音声制御部１３は、入力される音声データに基づいて、音声出力部１５を駆動する音声制御信号を生成する。振動制御部１４は、入力される触覚データに基づいて、振動出力部１６を駆動する振動制御信号を生成する。
　ここで、ウェアラブルスピーカを利用する際、放送コンテンツ、パッケージコンテンツ、ネットコンテンツ、ゲームコンテンツなどにおいて、音声信号とは別に振動信号が用意されていることはほとんどないため、一般的には振動と相関性が高い音声が利用される。つまり、音声信号をベースに処理を行い、生成された振動信号が出力される。
　その振動が提示された場合に、ユーザにとって一般的に好ましくない振動として感じる場合がある。例えば、映画・ドラマ・アニメーション・ゲームなどのコンテンツにおけるセリフ、ナレーション、スポーツ映像における実況音声などは、振動として提示されると、他人の声で自分の体が揺さぶられる感覚となり、ユーザが不快に感じることが多い。
　また、これらの音声成分は音量が比較的大きく、その中心周波数帯域も振動提示周波数範囲内（数１００Ｈｚ）にあるため、他の振動成分よりも大きく振動することになり、本来振動してほしい衝撃、リズム、感触などの成分がマスクされてしまう。
　その一方で、音声信号および振動信号がそれぞれ個別に用意されているコンテンツを再生する場合には、事前にコンテンツクリエータが意図して制作した振動信号を作成しているため、ユーザが違和感を覚えたり不快に思ったりする振動は提示されないはずである。しかしながら、人の感覚の好みは個人差があるため、場合によっては違和感や不快感のある振動が提示されてしまう可能性がある。
　本実施形態の制御装置１は、アクティブ型振動ウェアラブルスピーカにおいて、ユーザにとって違和感や不快感のある振動を除去もしくは低減するため、以下のように構成される。
（制御装置）
　制御装置１は、上述のように、音声制御部１３と、振動制御部１４とを有する。音声制御部１３および振動制御部１４は、上述した機能のほか、以下のような機能を有するように構成される。
　音声制御部１３は、第１の音声成分と、この第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号とし、上記複数のチャンネル毎に音声制御信号を生成する。音声制御信号とは、音声出力部１５を駆動するための制御信号である。
　第１の音声成分は、典型的には、ボイス音である。第２の音声成分は、ボイス音以外の他の音声成分、例えば、効果音や背景音である。第２の音声成分は、効果音および背景音の両方であってもよいし、いずれか一方でもよい。
　複数のチャンネルは、本実施形態では、左チャンネルおよび右チャンネルの２チャンネルである。チャンネル数は、左右の２チャンネルに限られず、これにセンター、後方、サブウーハなどを加えた３チャンネル以上であってもよい。
　振動制御部１４は、上記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号を生成する。振動制御信号とは、振動出力部１６を駆動するための制御信号である。
　後述するように、ボイス音は左右のチャンネルで同一の信号が用いられるのが通常であり、上記差分処理によってボイス音が相殺された振動制御信号が得られる。これにより、効果音や背景音などのボイス音以外の音声信号に基づいた振動制御信号が生成可能となる。
　一方、人間の触覚メカニズムとして図５のような振動検出閾値が知られている（"Four cahnnels mediate the mechanical aspects of touch" S.J. Bolanowski 1988より引用）。人間が振動を最も敏感に感じる２００～３００Ｈｚの周波数を中心に、この周波数帯域から離れるにつれて感度が鈍くなる。典型的には、数Ｈｚ～１ｋＨｚ程度が振動提示範囲と考えられるが、現実的には５００Ｈｚ以上の周波数は騒音として聴感に影響してしまうため、上限は５００Ｈｚ程度とする。
　本実施形態において、振動制御部１４は、音声信号を所定の周波数（第１の周波数）以下に帯域制限するローパスフィルタ機能を有する。図６（Ａ）は、音声信号のスペクトル（対数スペクトル）６１、図６（Ｂ）は、スペクトル６１に対してローパスフィルタ（例えばカットオフ周波数５００Ｈｚ）の処理を施したスペクトル６２を示す。振動制御部１４は、ローパスフィルタ後の音声信号（スペクトル６２）を用いて振動信号を生成する。第１の周波数は５００Ｈｚに限られず、これよりも低い周波数であってもよい。
　振動信号のチャンネル数に関しては、左右の音声信号それぞれを帯域制限した信号が、そのまま２チャンネルの振動信号として出力されてもよい。しかし、左右で異なる振動を提示されるとユーザが違和感を覚える可能性があり、本実施形態では、左右のチャンネルをミックスしたモノラル信号が、左右とも同じ振動信号として出力される。このミックスモノラル信号は、例えば以下の（式１）のように、左右のチャンネルの音声信号の平均値として算出される。
　ＶＭ（ｔ）＝（ＡＬ（ｔ）＋ＡＲ（ｔ））×０．５・・・・（式１）
　ここで、ＶＭ（ｔ）は、振動信号における時刻ｔの値、ＡＬ（ｔ）は帯域制限された音声信号の左チャンネルにおける時刻ｔの値、ＡＲ（ｔ）は帯域制限された音声信号の右チャンネルにおける時刻ｔの値である。
　上述したスピーカ装置１００の構成により、既存のコンテンツに対して音声および振動の再生が可能となる。本実施形態では既存のコンテンツの２チャンネル分のデジタル音声信号に対して、図４の振動制御部１４において（式１）を用いた信号処理を行うことにより、セリフ、ナレーション、実況などから生じる騒音を除去または低減することができる。
　ところで、一般的なコンテンツにおける２チャンネルのステレオ音声信号を構成する要素は、セリフやナレーションなどのボイス音と、演出用の効果音と、音楽や環境音などの背景音とを三大要素として含む構成であると考えられる。
（コンテンツ音声　＝　ボイス音　＋　効果音　＋　背景音）
　コンテンツクリエータは、構成要素毎の音質・音量を調整後にミキシングして最終的なコンテンツを生成する。その際に音声の定位感（音の到来方向性）を考慮して、通常は、ボイスは、前景として安定した位置（正面）から常に聴こえるように左右のチャンネルで同じ信号として割り当てられる。効果音や背景音は通常は、臨場感を高めるために左右のチャンネルで異なる信号として割り当てられる。
　図１４は、効果音１４１（例えばチャイム音）および背景音１４２（例えば楽曲）の信号例を示したグラフである。各信号は、左チャンネルデータ（上の段）および右チャンネルデータ（下の段）を有する。
　効果音１４１および背景音１４２の双方は、左右のチャンネルにおいて概形は類似するものの、異なる信号になっていることが分かる。
　この２チャンネルの音声ミキシングについて、（式２）および（式３）に示す。ここで、ＡＬ（ｔ）は、音声信号の左チャンネルにおける時刻ｔの値、ＡＲ（ｔ）は音声信号の右チャンネルにおける時刻ｔの値、Ｓ（ｔ）はボイス信号の時刻ｔの値、ＥＬ（ｔ）は効果音信号の左チャンネルにおける時刻ｔの値、ＥＲ（ｔ）は効果音信号の右チャンネルにおける時刻ｔの値、ＭＬ（ｔ）は背景音信号の左チャンネルにおける時刻ｔの値、ＭＲ（ｔ）は背景音信号の右チャンネルにおける時刻ｔの値を示す。
　ＡＬ（ｔ）＝　Ｓ（ｔ）＋ＥＬ（ｔ）＋ＭＬ（ｔ）・・・（式２）
　ＡＲ（ｔ）＝　Ｓ（ｔ）＋ＥＲ（ｔ）＋ＭＲ（ｔ）・・・（式３）
　ここで、以下の（式４）のように音声信号における左右のチャンネルの差分処理を施した信号を振動信号ＶＭ（ｔ）として使用することで、Ｓ（ｔ）が相殺される。これにより、セリフ、ナレーション、実況などの音声信号に反応して振動しなくなり、不快な振動が除去される。
　ＶＭ（ｔ）＝ＡＬ（ｔ）－ＡＲ（ｔ）
　　　　　　＝ＥＬ（ｔ）－ＥＲ（ｔ）＋ＭＬ（ｔ）－ＭＲ（ｔ）・・・（式４）
　なお、（式４）は、ＡＲ（ｔ）－ＡＬ（ｔ）であってもよい。
　振動制御部１４は、上述したように、左右チャンネルの音声信号を帯域制限し、帯域制限された左右チャンネルの音声信号を差分処理することで、その差分処理された音声信号を振動制御信号として出力する場合に限られない。例えば図７に示すように、振動制御部１４は、音声信号の左右チャンネルを差分処理し、差分処理した音声信号（差分信号）を帯域制限処理することで、その帯域制限された差分信号を振動制御信号として出力するようにしてもよい。
　図７は、振動制御部１４において実行される音声信号から振動信号を生成する手順の他の一例を示すフローチャートである。
　ステップＳ７１において、図４の復号部１２から出力された音声信号を入力として、上述の（式４）に従って音声信号の左右チャンネルの差分信号が得られる。
　その後ステップ７２において、ステップＳ７１で得られた差分信号に対して、図６と同様に所定周波数（例えば５００Ｈｚ）以下のカットオフ周波数でローパスフィルタ処理を施すことで帯域制限された音声信号が得られる。
　その後ステップ７３において、ステップＳ７２で得られた帯域制限信号に対して、ユーザが外部ＵＩなどで指定した振動ボリュームに対応したゲイン係数が乗じられる。
　その後ステップ７４において、ステップＳ７３で得られた信号が、振動制御信号として振動出力部１６に出力される。
　コンテンツクリエータのミキシング方法によっては、ボイスにリバーブ、コンプレッサなどのエフェクトをかけて強調する演出が施されることも考えられる。この場合、左右のチャンネルで異なる信号が割り当てられるが、この場合でもボイスの主成分は左右同じ信号として割り当てられるため、差分信号（式４）により、通常の信号と比較してボイスによる違和感や不快感のある振動がより低減される。
　一方、上述の（式４）により、ＶＭ（ｔ）は、左右の両チャンネルで同じ時刻に同じ大きさの信号（中央定位成分）が除去された信号が得られるが、（式２）および（式３）におけるＥＬ（ｔ）、ＥＲ（ｔ）、ＭＬ（ｔ）およびＭＲ（ｔ）の各項においても同じ時刻に同じ大きさの信号が含まれる。
　つまり、（式４）の処理を行うことにより、本来振動してほしい信号が棄損されて振動しなくなる弊害が生じる場合がある。また、（式４）におけるＶＭ（ｔ）は差分結果であるため、元の信号同士の相関が高い場合には信号の大きさが元の信号より小さくなってしまう可能性がある。
　例えば、図８（Ａ）に、差分処理前の左右チャンネルの音声信号のミックスモノラル信号（（Ｌ＋Ｒ）×０．５）（図６のスペクトル６２に相当）を、図８（Ｂ）に差分処理後の音声信号のスペクトル（Ｌ-Ｒ）８１をそれぞれ示す。差分処理後のスペクトル８１は、スペトル６２の最大値Ｌ１（例えば-24dB）から全体的にレベルが落ち込んでおり、さらに、１５０Ｈｚ未満の信号は、棄損されている。
　そこで、ボイス（人の声）の下限周波数（例えば１５０Ｈｚ）以下の帯域には、差分処理の対象から除外して（式１）の左右信号加算処理を行い、下限周波数を超える帯域には、差分処理で除去する。これにより、図８（Ｃ）に示すように、振動させたい低域の信号成分の維持を図ることができる。
　すなわち、振動制御部１４は、複数のチャンネルの音声信号のうち、第１の周波数（本例では５００Ｈｚ）よりも低い第２の周波数（本例では１５０Ｈｚ）以下の音声信号については各チャンネルの音声信号をミックスしたモノラル信号を振動制御信号として出力し、第２の周波数を超え、かつ第１の周波数以下の音声信号については、これら音声信号の差分信号を振動制御信号として出力する。
　なお、第１の周波数および第２の周波数の値は上記の例に限られず、任意に設定可能である。
　図９は、本実施形態におけるスピーカ装置１００の振動制御部１４の内部構成の一例を示すブロック図である。
　振動制御部１４は、加算部９１と、ＬＰＦ部９２と、減算部９３と、ＢＰＦ部９４と、合成部９５と、調整部９６とを有する。
　加算部９１は、通信部１８を介して受信した２チャンネルの音声信号を（式１）に従ってモノラル信号にダウンミックスする。
　ＬＰＦ部９２は、カットオフ周波数１５０Ｈｚのローパスフィルタリングにより、上記音声信号の主成分を帯域１５０Ｈｚ以下の信号にする。
　減算部９３は、通信部１８を介して受信した２チャンネルの音声信号を（式４）に従って差分処理する。
　ＢＰＦ部９４は、通過帯域１５０Ｈｚ～５００Ｈｚのバンドパスフィルタリングにより、上記音声信号の主成分を１５０Ｈｚ～５００Ｈｚの信号にする。
　合成部９５は、ＬＰＦ部９２から入力された信号と、ＢＰＦ部９４から入力された信号とを合成する。
　調整部９６は、外部機器６０からの入力操作等によって振動のボリューム調整を行う際の振動制御信号全体のゲインを調整するためのものである。調整部９６は、ゲイン調整された振動制御信号を振動出力部１６へ出力する。
　調整部９６はさらに、加算部９１による加算処理、ＬＰＦ部９２やＢＰＦ部９４による帯域制限処理、および減算部９３による減算処理による振動制御信号の生成の有効および無効を切り替え可能に構成されてもよい。上記振動制御信号の生成を行わない処理（以下、生成無効処理ともいう）の場合、各チャンネルの音声信号は調整部９６へ直接入力されることで、振動制御信号が生成される。
　生成無効処理を採用するか否かはユーザが任意に設定可能であり、典型的には、外部機器６０を介して調整部９６へ生成無効処理の制御指令が入力される。
　なお後述するように、減算部９３についても、外部機器６０を介して、左右のチャンネルの音声信号の差分をとる際の減数の度合いが調整可能に構成されてもよい。つまり、ボイス音に由来する振動制御信号の生成をすべて排除する場合に限られず、ユーザの好みに応じて、ボイス音に由来する振動の大きさが任意に設定可能に構成されてもよい。
　減数の度合いの調整方法としては、例えば、２チャンネル音声信号の左チャンネルと、係数を乗じた右チャンネルとの差分信号を振動制御信号とする。係数は任意に設定可能であり、係数が乗じられる音声信号も右チャンネルに代えて左チャンネルであってもよい。
　図１０は、本実施形態において、音声信号から振動信号を生成する一連の処理に関するフローチャートである。
　ステップＳ１０１において、（式１）の左右信号加算処理が加算部９１で行われる。その後ステップＳ１０２において、加算処理後の信号に対してカットオフ周波数１５０Ｈｚのローパスフィルタ処理がＬＰＦ部９２で行われる。
　その後ステップＳ１０３において、（式４）の左右信号差分処理が減算部９３で行われる。このとき、外部機器６０から入力される、ユーザによって調整されたボイス低減係数（後述）が考慮されてもよい。
　その後ステップＳ１０４において、差分処理後の信号に対してカットオフ下限周波数１５０Ｈｚ、上限周波数５００Ｈｚのバンドパスフィルタ処理がＢＰＦ部９４で行われる。カットオフ上限周波数は、下限周波数と同様に適宜選択される。
　その後ステップＳ１０５において、ステップＳ１０２の処理後の信号と、ステップ１０４の処理後の信号との合成処理が合成部９５で行われる。
　その後ステップＳ１０６において、ステップＳ１０５の処理後の信号に、ユーザが外部ＵＩ（User Interface）などで設定した振動ゲイン係数を乗じた信号が調整部９６で得られる。その後ステップＳ１０７において、ステップＳ１０６の処理後の信号が、振動制御信号として振動出力部１６、２５１に出力される。
　以上のように本実施形態によれば、受信した音声信号から振動信号を生成する際に、ユーザにとって違和感や不快感のある振動成分を除去または低減することができる。
＜第２の実施形態＞
　例えば、ＤＶＤやＢｌｕｅ－Ｒａｙなどのディスク規格、デジタル放送方式、ゲームコンテンツなどにおいては、５．１チャンネルまたは７．１チャンネルの音声信号が、マルチチャンネル音声フォーマットとして使用されている。
　これらのフォーマットにおいては、スピーカ配置として図１１に示すような構成が推奨されており、コンテンツクリエータは、このスピーカ配置を想定して各チャンネルの音声信号を割り当てている。特にセリフ、ナレーションなど人の声は、受聴者の正面から聞こえるようにフロントセンターチャンネル（図１１におけるＦＣ）に割り当てられることが一般的である。
　上記のようなマルチチャンネル音声フォーマットを入力とする場合、フロントセンターチャンネルの信号を除いた残りの信号がダウンミックスされ、モノラル信号またはステレオ信号に変換される。その後に、ローパスフィルタ処理（例えば、カットオフ周波数５００Ｈｚ）がなされた信号が、振動制御信号として出力される。
　これにより、人の声に合わせて振動出力部が振動することがなくなり、ユーザは、不快な振動を感じなくなる。
　５．１チャンネルおよび７．１チャンネルからダウンミックスする場合は、それぞれ、例えば以下の（式５）および（式６）が用いられる。
　ＶＭ(ｔ)＝αＦＬ(ｔ)＋βＦＲ(ｔ)＋γＳＬ(ｔ)＋δＳＲ(ｔ)＋εＳＷ(ｔ)　・・・（式５）
　ＶＭ(ｔ)＝αＦＬ(ｔ)＋βＦＲ(ｔ)＋γＳＬ(ｔ)＋δＳＲ(ｔ)＋εＳＷ(ｔ)＋θＬＢ(ｔ)＋μＲＢ(ｔ)　・・・（式６）
　ここで、ＶＭ（ｔ）は振動信号における時刻ｔの値、ＦＬ（ｔ）、ＦＲ（ｔ）、ＳＬ（ｔ）、ＳＲ（ｔ）、ＳＷ（ｔ）、ＬＢ（ｔ）およびＲＢ（ｔ）は、各スピーカ配置ＦＬ、ＦＲ、ＳＬ、ＳＲ、ＳＷ、ＬＢおよびＲＢに対応した音声信号の時刻ｔの値である。そして、α、β、γ、δ、ε、θおよびμは、各信号におけるダウンミックス係数である。
　ダウンミックス係数は、任意の数値でもよいし、全チャンネルを等分して、例えば各係数を、（式５）であれば０．２、（式６）であれば０．１４３と設定してもよい。
　上述したように本実施形態では、マルチチャンネル音声信号のフロントセンターチャンネルの信号を除去または低減した後に、他のチャンネルをダウンミックスした信号が振動信号となる。これにより、マルチチャンネル音声信号を入力とした振動提示時に、人の声（ボイス）に反応した不快な振動を低減または除去することができる。
＜第３の実施形態＞
　本技術の第１および第２の実施形態は、コンテンツにおけるボイスを除去または低減した上で、できるだけ必要な振動成分を維持するが、例えばリズム感を振動として表現することが望ましい音楽コンテンツやユーザの主観的な好みによっては、適さない場合がある。
　そこで本技術の実施をユーザが自発的に選択可能な仕組みが設けられる。この場合、コンテンツ送信機（例えば、スマートフォン、テレビ、ゲーム機などの外部機器６０）でソフトウェアによって有効・無効の制御がなされてもよいし、スピーカ装置１００の筐体２５４にハードウェアスイッチ、釦などの操作部（図示せず）を設けて制御されてもよい。
　有効・無効の制御のみでなくボイス低減度合いの調整機能が設けられてもよい。（式４）に対してボイス低減度合い調整を設けた式を下記の（式７）に、マルチチャンネル時の場合を（式８）（５．１チャンネル）および（式９）（７．１チャンネル）に示す。
　ＶＭ（ｔ）＝ＡＬ（ｔ）－ＡＲ（ｔ）×Ｃｏｅｆｆ　・・・（式７）
　ＶＭ(ｔ)＝αＦＬ(ｔ)＋βＦＲ(ｔ)＋γＳＬ(ｔ)＋δＳＲ(ｔ)＋εＳＷ(ｔ)＋ＦＣ(ｔ)×Ｃｏｅｆｆ　・・・（式８）
　ＶＭ(ｔ)＝αＦＬ(ｔ)＋βＦＲ(ｔ)＋γＳＬ(ｔ)＋δＳＲ(ｔ)＋εＳＷ(ｔ)＋θＬＢ(ｔ)＋μＲＢ(ｔ)＋ＦＣ(ｔ)×Ｃｏｅｆｆ　・・・（式９）
　ここで、Ｃｏｅｆｆはボイス低減係数であり、１．０以下の正の実数をとる。Ｃｏｅｆｆは、１．０に近くなるほどボイス低減効果が向上し、０に近くなるほどボイス低減効果が減少する。
　本実施形態ではこのような調整機能を設けることで、ユーザは自身の好みに合わせてボイスの低減度合い（つまり振動の度合）を自由に調整することができる。
　（式７）、（式８）および（式９）の係数Ｃｏｅｆｆは、外部機器６０においてユーザによって調整される。調整された係数Ｃｏｅｆｆは、外部機器６０から減算部９３に入力される（図９参照）。
　減算部９３では、入力チャンネル数に応じて、（式７）、（式８）および（式９）に従った音声信号の差分処理が行われる。
＜第４の実施形態＞
　上記においては、音声信号から振動信号を生成してユーザに振動を提示する実施形態を説明したが、本実施形態においては、将来的なコンテンツの構成として音声信号とは独立した振動信号が含まれる場合を説明する。
　図１２は、音声および振動に関する所定の時間分（例えば数ms）のストリームデータを示した概略図である。
　このストリームデータ１２１は、ヘッダ１２２、音声データ１２３および振動データ１２４を含む。ストリームデータ１２１には、映像データが含まれてもよい。
　ヘッダ１２２は、ストリーム先頭を認識するためのシンクワード、全体のデータサイズ、データ種類を表わす情報などのフレーム全体の情報が格納されている。その後に音声データ１２３および振動データ１２４がそれぞれ格納されている。音声データ１２３および振動データ１２４は、スピーカ装置１００に経時的に伝送される。
　ここで一例として、音声データは左右２チャンネル音声信号、振動データは４チャンネル振動信号であるとする。
　この４チャンネルには例えば、ボイス音、効果音、背景音およびリズムが設定される。音楽バンドのボーカル、ベース、ギター、ドラムなどの各パートが設定されてもよい。
　外部機器６０に、音声・振動信号のゲイン制御を行うユーザインタフェースソフトウェア（ＵＩまたはＧＵＩ（外部操作入力部））１３１が設けられる（図１３参照）。その画面に表示された制御ツール（例えばスライダ）をユーザが操作することによって、音声・信号の各チャンネルの信号ゲインが制御される。
　これにより、出力される振動信号のうちユーザが好ましくないと感じる振動信号に対応したチャンネルのゲインを低減させることで、ユーザは、自身の好みに合わせて不快な振動を低減または除去することができる。
　上述したように本実施形態では、音声信号および振動信号を独立して受信した際に、振動提示に用いる振動信号チャンネルのうち振動させたくないチャンネルをユーザインタフェース上で制御することにより、その振動がミュートまたは低減される。これにより、ユーザは、自身の好みに合わせて不快な振動を低減または除去することができる。
＜その他の技術＞
　以上の第１の実施形態では、既存のコンテンツで最も多く使用される２チャンネルステレオ音声において説明したが、場合によっては１チャンネルモノラル音声のコンテンツを処理する場合も考えられる。
　この場合、左右チャンネルの差分処理は不可能であるため、人の声の成分を推定して除去することが考えられる。手法としては、例えばモノラルチャンネル音源分離技術を使用することが考えられる。具体的には、ＮＭＦ（非負値行列因子分解）やＲＰＣＡ（ロバスト主成分分析）などが挙げられ、これらを使用することで人の声の信号成分を推定し、その推定信号成分を、式１のＶＭ（ｔ）から差し引くことでボイスによる振動が低減される。
　なお、本技術は以下のような構成もとることができる。
（１）　第１の音声成分と、前記第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号として、前記複数のチャンネル毎に音声制御信号を生成する音声制御部と、
　前記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号を生成する振動制御部と
　を具備する制御装置。
（２）上記（１）に記載の制御装置であって、
　前記振動制御部は、前記複数のチャンネルの音声信号または前記複数のチャンネルの音声信号の差分信号を、第１の周波数以下に帯域制限する
　制御装置。
（３）上記（２）に記載の制御装置であって、
　前記振動制御部は、前記複数のチャンネルの音声信号のうち、
　前記第１の周波数よりも低い第２の周波数以下の音声信号については各チャンネルの音声信号をミックスしたモノラル信号を前記振動制御信号として出力し、
　前記第２の周波数を超え、かつ前記第１の周波数以下の音声信号については、前記差分信号を前記振動制御信号として出力する
　制御装置。
（４）上記（２）または（３）に記載の制御装置であって、
　前記第１の周波数は、５００Ｈｚ以下である
　制御装置。
（５）上記（３）に記載の制御装置であって、
　前記第２のカットオフ周波数は、１５０Ｈｚ以下である
　制御装置。
（６）上記（１）～（５）のいずれか１つに記載の制御装置であって、
　前記第１の音声成分は、ボイス音である
　制御装置。
（７）上記（１）～（６）のいずれか１つに記載の制御装置であって、
　前記第２の音声成分は、効果音および背景音である
　制御装置。
（８）上記（１）～（７）のいずれか１つに記載の制御装置であって、
　前記２つのチャンネルの音声信号は、左右のチャンネルの音声信号である
　制御装置。
（９）上記（１）～（８）のいずれか１つに記載の制御装置であって、
　前記振動制御部は、外部信号に基づいて、前記振動制御信号のゲインを調整する調整部を有する
　制御装置。
（１０）上記（９）に記載の制御装置であって、
　前記調整部は、前記振動制御信号の生成の有効および無効を切り替え可能に構成される
　制御装置。
（１１）上記（１）～（９）のいずれか１つに記載の制御装置であって、
　前記振動制御部は、前記２つのチャンネルの音声信号をミックスしたモノラル信号を生成する加算部を有する
　制御装置。
（１２）上記（１）～（１１）のいずれか１つに記載の制御装置であって、
　前記振動制御部は、前記音声信号の差分をとる減算部を有し、
　前記減算部は、前記差分の減数の度合を調整可能に構成される
　制御装置。
（１３）　第１の音声成分と、前記第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号として前記複数のチャンネル毎に音声制御信号を生成し、
　前記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号を生成する
　信号処理方法。
（１４）　音声出力ユニットと、
　振動出力ユニットと、
　第１の音声成分と、前記第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号として、前記複数のチャンネル毎に音声制御信号を生成し、前記音声出力ユニットを駆動する音声制御部と、
　前記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号を生成し、前記振動出力ユニットを駆動する振動制御部と
　を具備するスピーカ装置。
　　１…制御装置
　１０…外部ネットワーク
　１１…ストレージ
　１２…復号部
　１３…音声制御部
　１４…触覚（振動）制御部
　１５…音声出力部
　１６…触覚（振動）出力部
　２０、２２…スピーカ部
　２１…振動子
　６０…外部機器
　８０…触覚提示装置
　１００，２００，３００…スピーカ装置
　１００Ｃ…連結体
　１００Ｌ…左スピーカ
　１００Ｒ…右スピーカ
　２５０…音声出力ユニット
　２５１…触覚（振動）提示ユニット

Claims (14)

  1. 　第１の音声成分と、前記第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号として、前記複数のチャンネル毎に音声制御信号を生成する音声制御部と、
    　前記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号を生成する振動制御部と
    　を具備する制御装置。
  2. 　請求項１に記載の制御装置であって、
    　前記振動制御部は、前記複数のチャンネルの音声信号または前記複数のチャンネルの音声信号の差分信号を、第１の周波数以下に帯域制限する
    　制御装置。
  3. 　請求項２に記載の制御装置であって、
    　前記振動制御部は、前記複数のチャンネルの音声信号のうち、
    　前記第１の周波数よりも低い第２の周波数以下の音声信号については各チャンネルの音声信号をミックスしたモノラル信号を前記振動制御信号として出力し、
    　前記第２の周波数を超え、かつ前記第１の周波数以下の音声信号については、前記差分信号を前記振動制御信号として出力する
    　制御装置。
  4. 　請求項２に記載の制御装置であって、
    　前記第１の周波数は、５００Ｈｚ以下である
    　制御装置。
  5. 　請求項３に記載の制御装置であって、
    　前記第２のカットオフ周波数は、１５０Ｈｚ以下である
    　制御装置。
  6. 　請求項１に記載の制御装置であって、
    　前記第１の音声成分は、ボイス音である
    　制御装置。
  7. 　請求項１に記載の制御装置であって、
    　前記第２の音声成分は、効果音および背景音である
    　制御装置。
  8. 　請求項１に記載の制御装置であって、
    　前記２つのチャンネルの音声信号は、左右のチャンネルの音声信号である
    　制御装置。
  9. 　請求項１に記載の制御装置であって、
    　前記振動制御部は、外部信号に基づいて、前記振動制御信号のゲインを調整する調整部を有する
    　制御装置。
  10. 　請求項９に記載の制御装置であって、
    　前記調整部は、前記振動制御信号の生成の有効および無効を切り替え可能に構成される
    　制御装置。
  11. 　請求項１に記載の制御装置であって、
    　前記振動制御部は、前記２つのチャンネルの音声信号をミックスしたモノラル信号を生成する加算部を有する
    　制御装置。
  12. 　請求項１に記載の制御装置であって、
    　前記振動制御部は、前記音声信号の差分をとる減算部を有し、
    　前記減算部は、前記差分の減数の度合を調整可能に構成される
    　制御装置。
  13. 　第１の音声成分と、前記第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号として前記複数のチャンネル毎に音声制御信号を生成し、
    　前記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号を生成する
    　信号処理方法。
  14. 　音声出力ユニットと、
    　振動出力ユニットと、
    　第１の音声成分と、前記第１の音声成分と異なる第２の音声成分とをそれぞれ有する複数のチャンネルの音声信号を入力信号として、前記複数のチャンネル毎に音声制御信号を生成し、前記音声出力ユニットを駆動する音声制御部と、
    　前記複数のチャンネルのうち２つのチャンネルの音声信号の差分をとって振動提示用の振動制御信号を生成し、前記振動出力ユニットを駆動する振動制御部と
    　を具備するスピーカ装置。
PCT/JP2020/045028 2019-12-19 2020-12-03 制御装置、信号処理方法およびスピーカ装置 WO2021124906A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021565457A JPWO2021124906A1 (ja) 2019-12-19 2020-12-03
CN202080086355.0A CN114846817A (zh) 2019-12-19 2020-12-03 控制装置、信号处理方法和扬声器装置
DE112020006211.2T DE112020006211T5 (de) 2019-12-19 2020-12-03 Steuervorrichtung, Signalverarbeitungsverfahren und Lautsprechervorrichtung
US17/784,056 US12075234B2 (en) 2019-12-19 2020-12-03 Control apparatus, signal processing method, and speaker apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-228963 2019-12-19
JP2019228963 2019-12-19

Publications (1)

Publication Number Publication Date
WO2021124906A1 true WO2021124906A1 (ja) 2021-06-24

Family

ID=76478747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045028 WO2021124906A1 (ja) 2019-12-19 2020-12-03 制御装置、信号処理方法およびスピーカ装置

Country Status (5)

Country Link
US (1) US12075234B2 (ja)
JP (1) JPWO2021124906A1 (ja)
CN (1) CN114846817A (ja)
DE (1) DE112020006211T5 (ja)
WO (1) WO2021124906A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615575A (zh) * 2022-02-28 2022-06-10 歌尔股份有限公司 头戴设备
JP7508517B2 (ja) 2022-09-29 2024-07-01 レノボ・シンガポール・プライベート・リミテッド 情報処理システム、情報処理装置、プログラム、および、制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07236199A (ja) * 1994-02-24 1995-09-05 Sanyo Electric Co Ltd 立体音場形成方法
JPH07288887A (ja) * 1994-02-22 1995-10-31 Matsushita Electric Ind Co Ltd ヘッドホン
JP2017050749A (ja) * 2015-09-03 2017-03-09 シャープ株式会社 ウェアラブルスピーカ装置
JP2018006954A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 音響装置
JP2018064264A (ja) * 2016-10-07 2018-04-19 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2019072498A1 (en) * 2017-10-09 2019-04-18 Deep Electronics Gmbh MUSICAL NECKLACE

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1090886C (zh) * 1994-02-22 2002-09-11 松下电器产业株式会社 耳机
JPH10200977A (ja) 1997-01-08 1998-07-31 Sony Corp スピーカ装置
JP3929672B2 (ja) 2000-03-10 2007-06-13 独立行政法人科学技術振興機構 弾性波を用いたコンピュータ入出力装置
JP6445921B2 (ja) 2015-04-21 2018-12-26 任天堂株式会社 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム
US20170056439A1 (en) 2015-08-25 2017-03-02 Oxy Young Co., Ltd. Oxygen-enriched water composition, biocompatible composition comprising the same, and methods of preparing and using the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288887A (ja) * 1994-02-22 1995-10-31 Matsushita Electric Ind Co Ltd ヘッドホン
JPH07236199A (ja) * 1994-02-24 1995-09-05 Sanyo Electric Co Ltd 立体音場形成方法
JP2017050749A (ja) * 2015-09-03 2017-03-09 シャープ株式会社 ウェアラブルスピーカ装置
JP2018006954A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 音響装置
JP2018064264A (ja) * 2016-10-07 2018-04-19 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2019072498A1 (en) * 2017-10-09 2019-04-18 Deep Electronics Gmbh MUSICAL NECKLACE

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615575A (zh) * 2022-02-28 2022-06-10 歌尔股份有限公司 头戴设备
JP7508517B2 (ja) 2022-09-29 2024-07-01 レノボ・シンガポール・プライベート・リミテッド 情報処理システム、情報処理装置、プログラム、および、制御方法

Also Published As

Publication number Publication date
CN114846817A (zh) 2022-08-02
DE112020006211T5 (de) 2022-11-10
US20230007434A1 (en) 2023-01-05
US12075234B2 (en) 2024-08-27
JPWO2021124906A1 (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
EP1540988B1 (en) Smart speakers
US8199942B2 (en) Targeted sound detection and generation for audio headset
US9848266B2 (en) Pre-processing of a channelized music signal
US7783047B2 (en) Sound filed reproduction apparatus and sound filed space reproduction system
KR20110069112A (ko) 보청기 시스템에서 바이노럴 스테레오를 렌더링하는 방법 및 보청기 시스템
JP6009547B2 (ja) オーディオ・システム及びオーディオ・システムのための方法
KR20070065401A (ko) 오디오 데이터를 처리하는 시스템 및 방법, 프로그램구성요소, 및 컴퓨터-판독가능 매체
US20120057734A1 (en) Hearing Device System and Method
JP2009141972A (ja) 擬似立体音響出力をモノラル入力から合成する装置および方法
JPH07212898A (ja) 音声再生装置
EP1225789A2 (en) A stereo widening algorithm for loudspeakers
JP2010164970A (ja) オーディオシステム及びその出力制御方法
WO2021124906A1 (ja) 制御装置、信号処理方法およびスピーカ装置
Bai et al. Upmixing and downmixing two-channel stereo audio for consumer electronics
CN114424583A (zh) 混合近场/远场扬声器虚拟化
JP2006033847A (ja) 最適な仮想音源を提供する音響再生装置及び音響再生方法
CN111133775B (zh) 音响信号处理装置以及音响信号处理方法
KR102689827B1 (ko) 음장적용기능 및 적응적 소음통제기능이 구비되는 블루투스 이어폰
US20220337937A1 (en) Embodied sound device and method
JP3494512B2 (ja) 多チャンネル音声再生装置
Sigismondi Personal monitor systems
JP7332745B2 (ja) 音声処理方法及び音声処理装置
CN112291673B (zh) 一种声相定位电路及设备
KR200314345Y1 (ko) 5.1채널 헤드폰 시스템
TWI262738B (en) Expansion method of multi-channel panoramic audio effect

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20900779

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021565457

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20900779

Country of ref document: EP

Kind code of ref document: A1