WO2021044901A1 - 制御装置、スピーカ装置および音声出力方法 - Google Patents

制御装置、スピーカ装置および音声出力方法 Download PDF

Info

Publication number
WO2021044901A1
WO2021044901A1 PCT/JP2020/031969 JP2020031969W WO2021044901A1 WO 2021044901 A1 WO2021044901 A1 WO 2021044901A1 JP 2020031969 W JP2020031969 W JP 2020031969W WO 2021044901 A1 WO2021044901 A1 WO 2021044901A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
voice
tactile
unit
speaker
Prior art date
Application number
PCT/JP2020/031969
Other languages
English (en)
French (fr)
Inventor
裕史 竹田
修一郎 錦織
鈴木　志朗
高弘 渡邉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080060477.2A priority Critical patent/CN114303185A/zh
Priority to DE112020004160.3T priority patent/DE112020004160T5/de
Priority to US17/637,596 priority patent/US11881201B2/en
Priority to JP2021543707A priority patent/JPWO2021044901A1/ja
Publication of WO2021044901A1 publication Critical patent/WO2021044901A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17819—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the reference signals, e.g. to prevent howling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17885—General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/129—Vibration, e.g. instead of, or in addition to, acoustic noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/129—Vibration, e.g. instead of, or in addition to, acoustic noise
    • G10K2210/1291—Anti-Vibration-Control, e.g. reducing vibrations in panels or beams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3027—Feedforward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3044—Phase shift, e.g. complex envelope processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/023—Transducers incorporated in garment, rucksacks or the like

Definitions

  • the present technology relates to a control device, a speaker device, and a voice output method for controlling a voice output device having a tactile presentation function.
  • Headphones and wearable (neck) speakers that perform tactile presentation are such that the vibration of the oscillator provided for tactile presentation or the noise caused by driving other tactile presentation devices reaches the user's ear and interferes with listening to music. There is.
  • the structure of the wearable speaker can prevent noise from reaching the ear to some extent, but it is more sensitive to the human ear if, for example, the vibration contains higher frequency components to express a variety of tactile sensations. Frequency noise will be generated.
  • the control device includes a tactile control unit and a voice control unit.
  • the tactile control unit generates a tactile control signal for driving the tactile presentation unit based on the tactile signal for tactile presentation.
  • the voice control unit is based on a first voice signal and a second voice signal including a voice component having a phase opposite to the voice generated from the tactile presentation unit and generated based on the tactile signal. Generates a voice control signal that drives the.
  • the voice control unit may generate the voice control signal by adding the second voice signal to the first voice signal.
  • a cancel signal generation unit that generates the second audio signal based on the tactile signal may be further provided.
  • the voice control unit generates a first signal for driving the first voice output unit that reproduces the first voice signal, and the cancel signal generation unit reproduces the second voice signal.
  • a second signal may be generated to drive the audio output unit of.
  • the cancel signal generation unit is based on the frequency characteristics of the audio output unit, the frequency characteristics of the tactile presentation unit, and the vibration-to-sound conversion function generated by the tactile presentation unit, and the second audio signal. May be generated.
  • the speaker device includes a tactile presentation unit, a voice output unit, a tactile control unit, and a voice control unit.
  • the tactile control unit generates a tactile control signal for driving the tactile presentation unit based on the tactile signal for tactile presentation.
  • the voice control unit outputs the voice based on the first voice signal and the second voice signal including a voice component having a phase opposite to the voice generated from the tactile presentation unit. Generates a voice control signal that drives the unit.
  • a storage unit that stores the tactile signal and the first audio signal may be further provided.
  • a communication unit capable of communicating with a server that stores the tactile signal and the first audio signal may be further provided.
  • the audio output unit may have a common speaker unit that reproduces the first audio signal and the second audio signal.
  • the audio output unit may include a first speaker unit that reproduces the first audio signal and a second speaker unit that reproduces the second audio signal.
  • the audio output unit has a right speaker and a left speaker.
  • the speaker device may further include a neck-hanging connector that connects the right speaker and the left speaker.
  • the tactile presentation unit may include a vibration device.
  • the tactile presentation unit may include an ultrasonic generator, a muscle electrical stimulator, or an air cannon generator.
  • the voice output method acquires a tactile signal for tactile presentation and a first voice signal. Based on the tactile signal, a tactile control signal for driving the tactile presentation unit is generated. Based on the tactile signal, a second voice signal including a voice component having a phase opposite to the voice generated from the tactile presentation unit is generated. Based on the first voice signal and the second voice signal, a voice control signal for driving the voice output unit is generated.
  • FIG. 1 is a perspective view showing a configuration example of a speaker device according to an embodiment of the present technology.
  • the speaker device (voice output device) 100 has a function of actively presenting a tactile sensation (vibration, etc.) to the user U at the same time as the voice.
  • the speaker device 100 is, for example, a wearable speaker mounted on both shoulders of the user U.
  • the speaker device 100 includes a right speaker 100R, a left speaker 100L, and a connector 100C that connects the right speaker 100R and the left speaker 100L.
  • the connector 100C is formed in an arbitrary shape that can be hung on the neck of the user U, and the right speaker 100R and the left speaker 100L are located on both shoulders or the upper chest of the user U.
  • FIG. 3 is a schematic cross-sectional view of a main part of the right speaker 100R and the left speaker 100L of the speaker device 100 of FIGS. 1 and 2.
  • the right speaker 100R and the left speaker 100L typically have a symmetrical structure on the left and right sides. Since FIG. 3 is only a schematic diagram, it does not necessarily correspond to the shape and dimensional ratio of the speakers shown in FIGS. 1 and 2.
  • the right speaker 100R and the left speaker 100L include, for example, an audio output unit 250, a tactile presentation unit 251 and a housing 254 for accommodating them.
  • the right speaker 100R and the left speaker 100L typically reproduce the audio signal in stereo.
  • the reproduced sound is typically not particularly limited as long as it is a reproducible sound or sound such as music, conversation, and sound effect.
  • the voice output unit 250 is an electroacoustic conversion type dynamic speaker.
  • the audio output unit 250 is arranged to face the diaphragm 250a, the voice coil 250b wound around the center of the diaphragm 250a, the fixing ring 250c for holding the diaphragm 250a in the housing 254, and the diaphragm 250a.
  • It includes a magnet assembly 250d.
  • the voice coil 250b is arranged perpendicular to the direction of the magnetic flux generated in the magnet assembly 250d.
  • a voice signal alternating current
  • the diaphragm 250a vibrates due to the electromagnetic force acting on the voice coil 250b.
  • the diaphragm 250a vibrates in accordance with the signal waveform of the voice signal, regenerated sound waves are generated.
  • the tactile presentation unit 251 includes a vibrating device (oscillator) capable of generating tactile vibration such as an eccentric motor (ERM), a linear actuator (LRA), and a piezoelectric element.
  • the tactile presentation unit 251 is driven by inputting a tactile signal for tactile presentation prepared separately from the reproduction signal.
  • the amplitude and frequency of vibration are not particularly limited.
  • the tactile presentation unit 251 is not limited to the case where it is composed of a single vibration device, and may be composed of a plurality of vibration devices. In this case, the plurality of vibrating devices may be driven simultaneously or separately.
  • the housing 254 has an opening (sound guide port) 254a for passing audio output (reproduced sound) to the outside on the surface of the audio output unit 250 facing the diaphragm 250a.
  • the opening 254a is formed in a straight line along the longitudinal direction of the housing 254, but the present invention is not limited to this, and the opening 254a may be formed of a plurality of through holes or the like.
  • the tactile presentation unit 251 is arranged, for example, on the inner surface of the housing 254 opposite to the opening 254a.
  • the tactile presentation unit 251 presents the tactile vibration to the user via the housing 254.
  • a part of the housing 254 may be made of a material having a relatively low rigidity.
  • the shape of the housing 254 is not limited to the shape shown in the figure, and an appropriate shape such as a disk type or a rectangular parallelepiped type can be adopted.
  • FIG. 4 is a block diagram showing a configuration example of the speaker device applied in the present embodiment.
  • the speaker device 100 includes a control device 1 that controls the drive of the audio output unit 250 of the right speaker 100R and the left speaker 100L and the tactile presentation unit 251.
  • the control device 1 and other elements described later are built in the housing 254 of the right speaker 100R or the left speaker 100L.
  • the control device 1 may be configured as an external device connected to the right speaker 100R and the left speaker 100L by wire or wirelessly.
  • the control device 1 includes a voice control unit 13, a tactile control unit 14, and a cancel signal generation unit 17.
  • the control device 1 can be realized by hardware elements used in a computer such as a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory), and necessary software. Even if PLD (Programmable Logic Device) such as FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), or other ASIC (Application Specific Integrated Circuit) is used in place of or in addition to the CPU. Good.
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the speaker device 100 includes a storage (storage unit) 11, a decoding unit 12, a voice output unit 15, a tactile output unit 16, and a communication unit 18 as other hardware.
  • the tactile control unit 14 generates a tactile control signal that drives the tactile output unit 16 based on the tactile signal for presenting the tactile sensation.
  • the tactile signal is data for tactile presentation (tactile data) stored in an external server device 50 such as a storage 11 or a cloud server.
  • the tactile output unit 16 includes the tactile presentation unit 251 shown in FIG.
  • the voice control unit 13 generates a voice control signal for driving the voice output unit 15 based on the first voice signal and the second voice signal.
  • the voice control unit 13 generates a voice control signal by adding a second voice signal to the first voice signal.
  • the first audio signal is a musical piece or other audio signal.
  • the second voice signal is a voice signal generated based on the tactile signal and including a voice component having a phase opposite to the voice generated from the tactile output unit 16.
  • the first audio signal is data (audio data) for audio reproduction stored in the storage 11 or the server device 50.
  • the second voice signal corresponds to a cancel signal for canceling the voice generated when the tactile output unit 16 is driven, and is generated by the cancel signal generation unit 17.
  • the cancel signal generation unit 17 is configured to be able to generate the second audio signal based on the tactile signal.
  • the tactile signal is data (vibration data) for presenting tactile sensation stored in the storage 11 or the server device 50.
  • the second audio signal is configured to be generated by the cancel signal generation unit 17, but the second audio signal is not limited to this, and the second audio signal is generated together with the first audio signal and the tactile signal in the storage 11 and the storage 11. It may be stored in the server device 50.
  • the storage 11 is a storage device such as a non-volatile semiconductor memory capable of storing a first audio signal and a tactile signal.
  • the first audio signal and tactile signal are stored in the storage 11 as appropriately encoded digital data.
  • the decoding unit 12 decodes the first audio signal and the tactile signal stored in the storage 11.
  • the decoding unit 12 may be configured as a partial functional block of the control device 1.
  • the communication unit 18 is composed of a communication module that can be connected to the network 10 by wire or wirelessly.
  • the communication unit 18 can communicate with the server device 50 via the network 10, and is configured to be able to acquire a first audio signal and a tactile signal stored in the server device 50.
  • the audio output unit 15 includes, for example, the audio output unit 250 of the right speaker 100R and the left speaker 100L shown in FIG.
  • the tactile output unit 16 includes, for example, the tactile presentation unit 251 shown in FIG.
  • the control device 1 acquires digital signals (first voice signal and tactile signal) for outputting voice and tactile sensation by receiving from the server device 50 or reading from the storage 11.
  • the decoding unit 12 performs an appropriate decoding process on the acquired data to take out the voice data (first voice signal) and the tactile data (tactile signal), and put them into the voice control unit 13 and the tactile sensation, respectively. Input to the control unit 14.
  • the voice control unit 13 and the tactile control unit 14 perform various processes on the input data.
  • the output of the voice control unit 13 (voice control signal) is input to the voice output unit 15, and the output of the tactile control unit 14 (tactile control signal) is input to the tactile output unit 16.
  • the audio output unit 15 and the tactile output unit 16 include a D / A converter, a signal amplifier, and a reproduction device (corresponding to the audio output unit 250 and the tactile presentation unit 251), respectively.
  • the D / A converter and the signal amplifier may be included in the voice control unit 13 and the tactile control unit 14.
  • the signal amplifier may include a volume regulator adjusted by the user U.
  • the tactile control unit 14 transmits the tactile data to the cancel signal generation unit 17.
  • the cancel signal generation unit 17 generates a cancel signal (second voice signal) that cancels the noise output from the tactile output unit 16 and transmits it to the voice control unit 13.
  • the cancel signal includes a voice component having a phase opposite to the voice (noise) generated from the tactile output unit 16 generated based on the tactile data. The details of the method of generating the cancel signal will be described later.
  • the tactile control unit 14 generates a tactile control signal that drives the tactile output unit 16 based on the input tactile data.
  • the voice control unit 13 generates a voice control signal for driving the voice output unit 15 based on the input voice data and the cancel signal.
  • the sound output unit 15 outputs a reproduced sound including a sound component for canceling the sound (noise) generated from the tactile output unit 16.
  • the vibration transmitted from the vibration speaker to the user's body is output from the vibrator driven by the vibration signal.
  • the sound transmitted from the vibration speaker to the user's ear is not only from the speaker driven by the voice signal, but also the vibration of the vibrator driven by the vibration signal is converted into sound. Become.
  • the vibration-to-sound component added to the sound from this speaker often interferes with the user's musical experience as noise.
  • FIG. 5 is an explanatory diagram of the operation of the speaker device that does not have the noise canceling function.
  • the flow in which the voice signal and the vibration signal are converted into the sound and the vibration and transmitted to the user's ear and skin is shown.
  • the sound Y which is output from the speaker unit 20 is a multiplication signal of the frequency characteristic H 1 of the speaker unit 20 (hereinafter, especially Unless explicitly stated, the signal is described as Fourier transformed).
  • the frequency characteristic H 1 of the speaker unit 20 is, for example, the frequency characteristic of the speaker unit 20 itself, or this frequency characteristic multiplied by the gain of a signal amplifier provided in front of the speaker unit 20.
  • the frequency characteristic H 2 of the oscillator 21 is also defined in the same manner as the frequency characteristic H 1 of the speaker unit 20.
  • the vibration-to-sound conversion function H 3 is defined as, for example, a function (characteristic) based on the mechanical structure and arrangement of the vibrator 21.
  • FIG. 6 is an explanatory diagram of the operation of the speaker device 100 of the present embodiment having a noise canceling function.
  • the vibration signal F 2 output from the tactile control unit 14 is transmitted to the cancel signal generation unit 17, and the cancel signal F 3 is generated by the cancel signal generation unit 17 and transmitted to the voice control unit 13. Will be done.
  • the cancel signal F 3 is generated by using the above-mentioned characteristics H 1 , H 2 , and H 3.
  • the respective characteristics H 1 , H 2 , and H 3 may be known values as long as they are known characteristics, or may be values specified by prior measurement for each speaker device 100 as a pre-shipment test.
  • Voice control unit 13 which has received the cancellation signal F 3 adds a cancel signal F 3 to the audio signal F 1, and transmitted to the speaker unit 20 (sound output unit 15), it is an audio output in the speaker unit 20.
  • the cancel signal F 3 is generated so as to cancel only the sound generated from the vibrator 21 among the sounds reaching the user U's ear.
  • the user U can directly sense the vibration Z output from the vibrator 21 (tactile output unit 16) and hear the voice in which the noise sound generated from the vibrator 21 is canceled.
  • FIG. 7 describes the basic principle of noise cancellation by the cancel signal.
  • the cancel signal 41 is generated so that the signal 42, which is the sum of the noise 40 and the cancel signal 41, is the smallest with respect to the noise 40 that the user U does not want to perceive.
  • Such a cancel signal 41 is typically a signal that generates voice having the same amplitude as the waveform of the noise 40 and having an opposite phase.
  • the cancel signal 41 is set in units of dB, for example.
  • the process for canceling the voice noise will be specifically described.
  • the cancel signal F 3 is output from the speaker unit 20
  • the cancel signal F 3 has a sound having a phase opposite to the voice noise from the vibrator 21. Therefore, in order to generate the cancel signal F 3 from the vibration signal F 2 , the vibrator 21 takes into consideration the frequency characteristic H 2 of the vibrator 21 itself and the vibration-to-sound conversion function H 3 of the speaker 21.
  • the sound (H 3 H 2 F 2 ) generated from the speaker unit 20 may be estimated, and the frequency characteristic H 1 of the speaker unit 20 may be further discounted.
  • G 1 is a frequency characteristic having an inverse characteristic that can discount the characteristic of the frequency characteristic H 1 of the speaker unit 20. Since the information of each characteristic H 1 , H 2 and H 3 is indispensable for the calculation of the cancellation signal F 3 , these need to be measured in advance. As this measurement method, a known method such as a method for identifying characteristics of audio equipment is used.
  • the vibration-to-sound conversion function H 3 is measured with the speaker device 100 attached to a mannequin, a subject, or the like, assuming that the speaker device 100 is attached to the user U.
  • the calculation process of the cancel signal F 3 can be realized, for example, by multiplying the Fourier-transformed frequency characteristics G 1 , H 3 , H 2 , and F 2.
  • it can be realized by the vibration signal F 2 and the inverse Fourier transform of the frequency characteristics G 1 , H 3 , and H 2 , that is, by convolving the impulse responses g 1 , h 3 , and h 2 of each system.
  • It can also be realized by mounting a filter having a characteristic ( ⁇ G 1 H 3 H 2 ) on the cancel signal generation unit 17 as hardware.
  • a technique in which the sound from the vibrator is sensed by a microphone by a vibration speaker provided with a microphone and the sensed signal is used as a cancel signal is also known, but in the present embodiment, such a technique is used.
  • a highly accurate noise canceling function can be realized by feed-forward control using a vibration signal that is an input to the tactile output unit 16 without using a microphone. This is because the speaker device 100 can be structurally devised so that the noise from the tactile output unit 16 is hard to reach the user U's ear, and the noise to be canceled is a random environmental noise. Unlike this, it is derived from the fact that it is predictable to some extent because it is the voice noise from the tactile output unit 16 measured in advance.
  • the speaker device 100 of the present embodiment since a microphone for noise sensing is not required, the device configuration can be simplified or downsized. Further, by using the vibration signal before output buffered from the network 10 or the storage 11, it is possible to cancel the noise as feedforward control without any delay.
  • the tactile output unit 16 is configured as a unit separate from the voice output unit 15, the degree of freedom in designing the tactile output unit 16 is increased, and various tactile vibrations are presented to the user. be able to. Moreover, since the cancel signal F3 is reproduced in synchronization with the drive of the tactile output unit 16, noise associated with the drive of the tactile output unit 16 can be effectively removed. Further, it is possible to reproduce the content that presents the tactile sensation at a timing different from the output voice from the voice output unit 15 or in a wider band than the voice.
  • the speaker device 100 may be provided with a single limiter for setting the maximum value of the cancel signal or a plurality of limiters such as weak, medium, and strong in the audio output unit 15 in units of dB, for example. This allows the user U himself to select the noise canceling level.
  • a cancel signal generator 17 that generates a cancel signal from the vibration signal F 2 by using the frequency characteristic H 2 of the known vibrator 21, the conversion function H 3 from vibration to sound, and the frequency characteristic H 1 of the speaker unit 20.
  • the processing flow of the voice control unit 13 is shown in FIG.
  • the cancel signal is generated by digital signal processing using a filter having a frequency characteristic (-G 1 H 3 H 2).
  • step S101 the cancel signal generation unit 17 obtains the vibration signal f 2 to be reproduced from the haptic control unit 14.
  • the cancel signal generation unit 17 applies a digital filter having a frequency characteristic of a coefficient ( ⁇ G 1 H 3 H 2 ) previously measured and recorded with respect to the vibration signal f 2.
  • the cancel signal f 3 (second audio signal) is generated.
  • the voice control unit 13 adds the cancel signal f 3 to the voice signal f 1 (first voice signal) to generate a voice control signal for driving the voice output unit 15.
  • the amplification factors applied to each of the audio signal f 1 and the vibration signal f 2 during reproduction may be taken into consideration. For example a 1-fold the audio signals f 1, and a vibration signal f 2 amplified twice a, when outputting from each of the speaker unit 20 and the vibrator 21, the cancel signal generation unit 17, the information of these magnifications receiving from the voice control unit 13 and tactile control unit 14, the cancellation signal f 3 in step S103, multiplying these magnification ratio (a 2 / a 1).
  • step S104 the voice control unit 13 generates the voice control signal by adding the cancel signal (f 3 ⁇ (a 2 / a 1 )) multiplied by the magnification ratio to the sound signal f 1. ..
  • the voice control unit 13 generates the voice control signal by adding the cancel signal (f 3 ⁇ (a 2 / a 1 )) multiplied by the magnification ratio to the sound signal f 1. ..
  • the sound Y whose noise is not perceived by the user U is output from the voice output unit 15.
  • the oscillator 21 has been described as an example of the tactile presentation device (tactile presentation unit 251) in the tactile output unit 16, but other tactile presentation devices other than the oscillator (for example, an air ultrasonic generator, etc. It can also be applied to muscle electrical stimulators, air cannon generators, etc.).
  • the audio output unit 15 is a speaker unit (speaker unit 20) in which an audio signal (first audio signal) and a cancel signal (second audio signal) are shared. It was configured to be played in.
  • the audio signal (first audio signal) and the cancel signal (second audio signal) are configured to be reproduced by separate speakers.
  • FIG. 9 is an explanatory diagram of the operation of the speaker device 200 according to the second embodiment of the present technology.
  • the speaker device 200 of the present embodiment in addition to the speaker unit 20 (first audio output unit, first speaker) that reproduces the audio signal F1 as the first signal, the cancel signal as the second signal speaker unit 22 for reproducing the F 3 (second audio output unit, a second speaker) further comprises a.
  • the cancel signal generation unit 27 outputs a control signal for reproducing the cancel signal F 3 from the speaker unit 22 to the speaker unit 22.
  • the cancel signal F 3 is expressed by the equation ( ⁇ G 4 H 3 H 2 F 2 ), where G 4 is the main wave number characteristic having an inverse characteristic that can discount the frequency characteristic H 4 of the speaker unit 22.
  • G 4 is the main wave number characteristic having an inverse characteristic that can discount the frequency characteristic H 4 of the speaker unit 22.
  • the same effects as those in the first embodiment described above can be obtained.
  • the speaker unit 22 that reproduces the cancel signal F 3 can be configured with specifications different from those of the speaker unit 20 that reproduces the audio signal F 1 , the degree of freedom in designing each of the speaker units 20 and 22 is increased. be able to.
  • Tactile presentation devices other than the vibrating device include, for example, a device that blows an air flow toward the user U by driving a diaphragm (air cannon generator), and an ultrasonic array that focuses on the body of the user U to apply acoustic radiation pressure.
  • Examples include a device (ultrasonic generator) and a device that directly stimulates the tactile receptor and muscle of the user U by electrical stimulation (muscle electrical stimulation device).
  • the tactile presentation device may be another device that is not intended to directly vibrate the skin with vibration.
  • the voice noise 71 shown in the lower part of FIG. 10 is generated from the signal f 2. appear.
  • the flow and principle of noise canceling processing are the same as those in FIGS. 6 and 7.
  • FIG. 11 is an explanatory diagram of the operation of the speaker device 300 in this embodiment.
  • the parts corresponding to the first embodiment are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the tactile presentation device 80 includes a tactile presentation device other than the vibration device.
  • the cancel signal generation unit 17 is ( ⁇ G 1 H 6 H 7 F 2 ). generating a cancellation signal F 3 having the characteristic represented by the formula.
  • the sound Y whose noise is not perceived by the user U is output from the speaker unit 20 (voice output unit 15).
  • the speaker device a wearable speaker device used by hanging around the user's neck has been described as an example, but the present invention is not limited to this, and may be used for headphones or earphones worn on the user's head.
  • the tactile presentation unit may be configured as a device separate from the speaker device. In this case, since the tactile presentation unit can be arranged at an arbitrary position, the tactile sensation can be presented to a desired position of the user's body.
  • the present technology can have the following configurations.
  • a tactile control unit that generates a tactile control signal that drives the tactile presentation unit based on the tactile signal for tactile presentation.
  • the voice control unit is a control device that generates the voice control signal by adding the second voice signal to the first voice signal.
  • a control device further comprising a cancel signal generation unit that generates the second audio signal based on the tactile signal.
  • the voice control unit generates a first signal for driving the first voice output unit that reproduces the first voice signal.
  • the cancel signal generation unit is a control device that generates a second signal that drives a second audio output unit that reproduces the second audio signal.
  • the cancel signal generation unit is based on the frequency characteristics of the audio output unit, the frequency characteristics of the tactile presentation unit, and the vibration-to-sound conversion function generated by the tactile presentation unit, and the second audio signal.
  • a control device that produces.
  • Tactile presentation unit and Audio output unit and A tactile control unit that generates a tactile control signal that drives the tactile presentation unit based on the tactile signal for tactile presentation.
  • a voice control that drives the voice output unit based on a first voice signal and a second voice signal including a voice component having a phase opposite to the voice generated from the tactile presentation unit.
  • a speaker device including a voice control unit that generates a signal. (7) The speaker device according to (6) above.
  • a speaker device further comprising a storage unit for storing the tactile signal and the first audio signal.
  • a speaker device further comprising a communication unit capable of communicating with a server that stores the tactile signal and the first audio signal. (9) The speaker device according to any one of (6) to (8) above.
  • the audio output unit is a speaker device having a common speaker unit that reproduces the first audio signal and the second audio signal.
  • the audio output unit is a speaker device having a first speaker unit that reproduces the first audio signal and a second speaker unit that reproduces the second audio signal.
  • the audio output unit has a right speaker and a left speaker.
  • the speaker device is a speaker device further including a neck-hanging connector that connects the right speaker and the left speaker.
  • the tactile presentation unit is a speaker device including a vibration device.
  • the tactile presentation unit is a speaker device including an aerial ultrasonic wave, an electromyogram, or an air cannon.
  • a tactile control signal for driving the tactile presentation unit is generated.
  • a second voice signal including a voice component having a phase opposite to the voice generated from the tactile presentation unit is generated.
  • Control device 10 External network 11 ... Storage 12 ... Decoding unit 13 ... Voice control unit 14 ; Tactile control unit 15 ... Audio output unit 16 ... Tactile output unit 17, 27 ... Cancel signal generation unit 20, 22 ... Speaker unit 21 ... Oscillator 80 ... Tactile presentation device 100, 200, 300 ... Speaker device 100C ... Connector 100L ... Left speaker 100R ... Right speaker

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術の一形態に係る制御装置は、触覚制御部と音声制御部とを具備する。前記触覚制御部は、触覚提示用の触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成する。前記音声制御部は、第１の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第２の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する。

Description

制御装置、スピーカ装置および音声出力方法
　本技術は、触覚提示機能を有する音声出力装置を制御するための制御装置、スピーカ装置および音声出力方法に関する。
　近年、触覚再生デバイスにより人間の皮膚などを介して触覚を刺激するアプリケーションが、様々な場面で利用されている。
　そのための触覚再生デバイスに関しては、偏心モータ(ERM: Eccentric Rotating Mass)やリニアアクチュエータ(LRA: Linear Resonant Actuator)などが現在多く使用されており、それらは人間の触覚において感度の良い周波数(数100Hz程度)の共振周波数を持つデバイスが広く使用されている（例えば、特許文献１参照）。
　人間の触覚感度が高い周波数帯域が数100Hzであるため、振動再生デバイスにおいても、この数100Hzの帯域をターゲットにしたものが主流となっている。
　その他の触覚再生デバイスには、触れている部分の摩擦係数を制御して所望の触覚を実現することを目的とした、静電気ディスプレイや弾性表面波ディスプレイが提案されている（例えば、特許文献２参照）。他にも収束させた超音波による音響放射圧を利用した空中超音波触覚ディスプレイや、触覚受容器に接続された神経や筋肉を電気的に刺激する電気触覚ディスプレイが提案されている。
　これらのデバイスを利用したアプリケーションとして、特に音楽リスニングにおいては、ヘッドフォン筐体に振動再生デバイスを組み込み、音楽を再生するのと同時に振動も再生することで、重低音を強調しているものがある。
　またヘッドフォンの形態をとらず、首からスピーカをかける形で使用するウェアラブルスピーカが提案されている。これらがユーザの体に接することを利用して、スピーカから出力される音声とともに背面から振動をユーザに伝えるもの（例えば、特許文献３参照）や、スピーカ振動の背圧の共振を利用して振動をユーザに伝えるもの（例えば、特許文献４参照）がある。
特開２０１６－２０２４８６号公報 特開２００１－２５５９９３号公報 特開平１０－２００９７７号公報 特願２０１７－４３６０２号公報
　触覚提示を行うヘッドフォンやウェアラブル（ネック）スピーカは、触覚提示のために備えられた振動子の振動、またはその他の触覚提示装置の駆動に伴うノイズがユーザの耳まで届き、音楽聴取を妨害することがある。ウェアラブルスピーカの構造により、ノイズが耳に届くのをある程度抑えることはできるが、例えば多彩な触覚を表現するために振動がより高周波の成分を含むようになれば、ヒトの耳にとってより感度が高い周波数のノイズが発生するようになる。
　以上のような事情に鑑み、触覚提示装置からのノイズを低減することができる制御装置、スピーカ装置および音声出力方法を提供することにある。
　本技術の一形態に係る制御装置は、触覚制御部と音声制御部とを具備する。
　前記触覚制御部は、触覚提示用の触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成する。
　前記音声制御部は、第１の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第２の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する。
　前記音声制御部は、前記第１の音声信号に前記第２の音声信号を加算することで前記音声制御信号を生成してもよい。
　前記触覚信号に基づいて前記第２の音声信号を生成するキャンセル信号生成部を、さらに具備してもよい。
　前記音声制御部は、前記第１の音声信号を再生する第１の音声出力ユニットを駆動する第１の信号を生成し、前記キャンセル信号生成部は、前記第２の音声信号を再生する第２の音声出力ユニットを駆動する第２の信号を生成してもよい。
　前記キャンセル信号生成部は、前記音声出力ユニットの周波数特性と、前記触覚提示ユニットの周波数特性と、前記触覚提示ユニットで発生する振動から音への変換関数とに基づいて、前記第２の音声信号を生成してもよい。
　本技術の一形態に係るスピーカ装置は、触覚提示ユニットと、音声出力ユニットと、触覚制御部と、音声制御部とを具備する。
　前記触覚制御部は、触覚提示用の触覚信号に基づいて、前記触覚提示ユニットを駆動する触覚制御信号を生成する。
　前記音声制御部は、第１の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第２の音声信号とに基づいて、前記音声出力ユニットを駆動する音声制御信号を生成する。
　前記触覚信号および前記第１の音声信号を記憶する記憶部をさらに備えてもよい。
　前記触覚信号および前記第１の音声信号を記憶するサーバと通信可能な通信部をさらに備えてもよい。
　前記音声出力ユニットは、前記第１の音声信号と前記第２の音声信号を再生する共通のスピーカユニットを有してもよい。
　前記音声出力ユニットは、前記第１の音声信号を再生する第１のスピーカユニットと、前記第２の音声信号を再生する第２のスピーカユニットを有してもよい。
　前記音声出力ユニットは、右スピーカと、左スピーカとを有し、
　前記スピーカ装置は、前記右スピーカと前記左スピーカとを連結する首掛け用の連結体をさらに備えてもよい。
　前記触覚提示ユニットは、振動デバイスを含んでもよい。
　あるいは、前記触覚提示ユニットは、超音波発生装置、筋電気刺激装置、または空気砲発生装置を含んでもよい。
　本技術の一形態に係る音声出力方法は、触覚提示用の触覚信号と第１の音声信号を取得する。前記触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成する。前記触覚信号に基づいて前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第２の音声信号を生成する。前記第１の音声信号と、前記第２の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する。
本技術の第１の実施形態におけるスピーカ装置の斜視図である。 上記スピーカ装置がユーザにマウントされた様子を示す斜視図である。 上記スピーカ装置の要部の模式的な断面図である。 上記スピーカ装置の一構成例を示すブロック図である。 音声信号および振動信号が、ユーザの耳および皮膚に音および振動として伝達されるフローである。 上記スピーカ装置の動作の説明図ある。 ノイズキャンセルの基本原理を示したイメージ図である。 触覚提示用の振動信号からキャンセル信号を生成する処理手順を示すフローである。 本技術の第２の実施形態におけるスピーカ装置を示すブロック図である。 触覚提示用の振動信号から、ノイズが発生する様子を示す図である。 本技術の第３の実施形態におけるスピーカ装置を示すブロック図である。
　以下、本技術に係る各実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
（スピーカ装置の基本構成）
　図１は、本技術の一実施形態におけるスピーカ装置の一構成例を示す斜視図である。このスピーカ装置（音声出力装置）１００は、音声と同時にユーザＵにアクティブに触覚（振動など）を提示する機能を有する。図２に示されるように、スピーカ装置１００は、例えばユーザＵの両肩に載置されるウェアラブルスピーカである。
　スピーカ装置１００は、右スピーカ１００Ｒと、左スピーカ１００Ｌと、右スピーカ１００Ｒと左スピーカ１００Ｌとを連結する連結体１００Ｃとを備える。連結体１００Ｃは、ユーザＵの首に掛けることが可能な任意の形状に形成され、右スピーカ１００Ｒおよび左スピーカ１００ＬをユーザＵの両肩あるいは胸部上方に位置させる。
　図３は、図１および図２のスピーカ装置１００の右スピーカ１００Ｒおよび左スピーカ１００Ｌの要部の模式的な断面図である。右スピーカ１００Ｒおよび左スピーカ１００Ｌは、典型的には、左右で対称な構造を有する。なお、図３はあくまでも模式図であるため、図１および図２に示したスピーカの形状や寸法比率に必ずしも対応していない。
　右スピーカ１００Ｒおよび左スピーカ１００Ｌは、例えば、音声出力ユニット２５０と、触覚提示ユニット２５１と、これらを収容する筐体２５４とを備える。右スピーカ１００Ｒおよび左スピーカ１００Ｌは、典型的には、音声信号をステレオ方式で再生する。再生音は、典型的には、楽曲、会話、効果音など、再生可能な音声あるいは音響であれば特に限定されない。
　音声出力ユニット２５０は、電気音響変換型のダイナミックスピーカである。音声出力ユニット２５０は、振動板２５０ａと、振動板２５０ａの中心部に巻回されたボイスコイル２５０ｂと、振動板２５０ａを筐体２５４に保持する固定リング２５０ｃと、振動板２５０ａに対向配置されたマグネットアセンブリ２５０ｄとを備える。ボイスコイル２５０ｂは、マグネットアセンブリ２５０ｄにおいて発生する磁束の方向に対して垂直に配置される。ボイスコイル２５０ｂに音声信号（交流電流）が供給されると、ボイスコイル２５０ｂに作用する電磁力によって振動板２５０ａが振動する。振動板２５０ａが音声信号の信号波形に合わせて振動することで、再生音波が発生する。
　触覚提示ユニット２５１は、偏心モータ(ERM)やリニアアクチュエータ(LRA)、圧電素子などの触覚振動を発生させることが可能な振動デバイス（振動子）を含む。触覚提示ユニット２５１は、再生信号とは別に用意された触覚提示用の触覚信号が入力されることで駆動される。振動の振幅、周波数も特に限定されない。触覚提示ユニット２５１は単一の振動デバイスで構成される場合に限られず、複数の振動デバイスで構成されてもよい。この場合、複数の振動デバイスは同時に駆動されてもよいし、別個に駆動されてもよい。
　筐体２５４は、音声出力ユニット２５０の振動板２５０ａと対向する面に、音声出力（再生音）を外部に通すための開口部（導音口）２５４ａを有する。開口部２５４ａは、図１に示すように筐体２５４の長手方向に沿うように直線状に形成されるが、これに限られず、複数の貫通孔などで構成されてもよい。
　触覚提示ユニット２５１は、例えば、筐体２５４の開口部２５４ａと反対側の内面に配置される。触覚提示ユニット２５１は、筐体２５４を介して触覚振動をユーザへ提示する。触覚振動の伝達性を高めるため、筐体２５４の一部が剛性の比較的低い材料で構成されてもよい。筐体２５４の形状は図示する形状に限られず、円板型、直方体型などの適宜の形状が採用可能である。
　続いて、スピーカ装置１００の制御系について説明する。図４は、本実施形態において適用されるスピーカ装置の一構成例を示すブロック図である。
　スピーカ装置１００は、右スピーカ１００Ｒおよび左スピーカ１００Ｌの音声出力ユニット２５０ならびに触覚提示ユニット２５１の駆動を制御する制御装置１を備える。制御装置１および後述するその他の要素は、右スピーカ１００Ｒまたは左スピーカ１００Ｌの筐体２５４に内蔵される。あるいは、制御装置１は、右スピーカ１００Ｒおよび左スピーカ１００Ｌと有線または無線で接続された外部機器として構成されてもよい。
　図３に示すように、制御装置１は、音声制御部１３、触覚制御部１４およびキャンセル信号生成部１７を有する。
　制御装置１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のコンピュータに用いられるハードウェア要素および必要なソフトウェアにより実現され得る。ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、あるいは、ＤＳＰ（Digital Signal Processor）、その他ＡＳＩＣ（Application Specific Integrated Circuit）等が用いられてもよい。制御装置１は、所定のプログラムを実行することで、機能ブロックとしての音声制御部１３、触覚制御部１４およびキャンセル信号生成部１７が構成される。
　スピーカ装置１００は、その他のハードウェアとして、ストレージ（記憶部）１１、復号部１２、音声出力部１５、触覚出力部１６および通信部１８を備える。
　触覚制御部１４は、触覚提示用の触覚信号に基づいて、触覚出力部１６を駆動する触覚制御信号を生成する。触覚信号は、後述するように、ストレージ１１あるいはクラウドサーバ等の外部のサーバ装置５０に格納された触覚提示用のデータ（触覚データ）である。触覚出力部１６は、図３に示した触覚提示ユニット２５１を含む。
　音声制御部１３は、第１の音声信号と第２の音声信号とに基づいて、音声出力部１５を駆動する音声制御信号を生成する。本実施形態において音声制御部１３は、第１の音声信号に第２の音声信号を加算することで音声制御信号を生成する。
　ここで、第１の音声信号は、楽曲その他の音声信号である。第２の音声信号は、触覚信号を基に生成され、触覚出力部１６から発生する音声と逆位相の音声成分を含む音声信号である。第１の音声信号は、ストレージ１１あるいはサーバ装置５０に格納された音声再生用のデータ（音声データ）である。また、第２の音声信号は、触覚出力部１６の駆動時に発生する音声をキャンセルするためのキャンセル信号に相当し、キャンセル信号生成部１７により生成される。
　キャンセル信号生成部１７は、触覚信号に基づいて上記第２の音声信号を生成することが可能に構成される。触覚信号は、ストレージ１１あるいはサーバ装置５０に格納された触覚提示用のデータ（振動データ）である。本実施形態では、第２の音声信号がキャンセル信号生成部１７において生成されるように構成されるが、これに限られず、第２の音声信号が第１の音声信号および触覚信号とともにストレージ１１やサーバ装置５０に格納されてもよい。
　ストレージ１１は、第１の音声信号および触覚信号を記憶することが可能な不揮発性半導体メモリ等の記憶装置である。本実施形態において第１の音声信号および触覚信号は、適宜符号化されたデジタルデータとしてストレージ１１に記憶される。
　復号部１２は、ストレージ１１に格納された第１の音声信号および触覚信号を復号する。復号部１２は、制御装置１の一部の機能ブロックとして構成されてもよい。
　通信部１８は、ネットワーク１０に有線または無線で接続可能な通信モジュールで構成される。通信部１８は、ネットワーク１０を介してサーバ装置５０と通信可能であり、サーバ装置５０に格納された第１の音声信号および触覚信号を取得可能に構成される。
　音声出力部１５は、例えば図３に示した右スピーカ１００Ｒおよび左スピーカ１００Ｌの音声出力ユニット２５０を含む。
　触覚出力部１６は、例えば図３に示した触覚提示ユニット２５１を含む。
（スピーカ装置の動作）
　次に、以上のように構成されるスピーカ装置１００の典型的な動作について説明する。
　制御装置１は、サーバ装置５０からの受信、または、ストレージ１１からの読み出しにより、音声および触覚を出力するためのデジタル信号（第１の音声信号および触覚信号）を取得する。
　次に、復号部１２が、取得したデータに対して適切な復号処理を施すことで、音声データ（第１の音声信号）および触覚データ（触覚信号）を取り出し、それぞれを音声制御部１３および触覚制御部１４に入力する。
　音声制御部１３および触覚制御部１４は、入力されたデータに対する種々の処理を行う。音声制御部１３の出力（音声制御信号）は音声出力部１５へ入力され、触覚制御部１４の出力（触覚制御信号）は触覚出力部１６へ入力される。音声出力部１５および触覚出力部１６は、それぞれＤ／Ａ変換器、信号増幅器および再生装置（音声出力ユニット２５０、触覚提示ユニット２５１に相当）を含む。Ｄ／Ａ変換器および信号増幅器は、音声制御部１３および触覚制御部１４に含められてもよい。信号増幅器は、ユーザＵによって調整されるボリューム調整部を含んでもよい。
　触覚制御部１４は、触覚データをキャンセル信号生成部１７に送信する。キャンセル信号生成部１７は、触覚出力部１６から出力されるノイズをキャンセルするキャンセル信号（第２の音声信号）を生成して、音声制御部１３へ送信する。キャンセル信号は、触覚データを基に生成され触覚出力部１６から発生する音声（ノイズ）と逆位相の音声成分を含む。キャンセル信号の生成方法の詳細については後述する。
　触覚制御部１４は、入力される触覚データに基づいて、触覚出力部１６を駆動する触覚制御信号を生成する。音声制御部１３は、入力される音声データとキャンセル信号とに基づいて、音声出力部１５を駆動する音声制御信号を生成する。これにより、音声出力部１５からは、触覚出力部１６から発生する音声（ノイズ）を打ち消すための音声成分を含んだ再生音が出力される。
（ノイズキャンセルの原理）
　次に、キャンセル信号生成部１７において生成されるキャンセル信号について説明する。ここでは、音声信号と、触覚を提示するための振動信号とを含むコンテンツを、アクティブに駆動可能な触覚提示用の振動子を備えた振動スピーカで再生し、振動付きの音楽を聴く場合について説明する。
　振動スピーカからユーザの体（皮膚）に伝達される振動は、振動信号によって駆動された振動子から出力されたものになる。その一方で、振動スピーカからユーザの耳に伝わる音は、音声信号によって駆動されたスピーカからのものだけでなく、振動信号によって駆動された振動子の振動が音へ変わったものとの、和となる。このスピーカからの音に足し合わされた、振動から音へ変換された成分が、しばしばノイズとしてユーザの音楽体験を妨げる。
　図５は、ノイズキャンセル機能を備えていないスピーカ装置の動作の説明図である。ここでは、音声信号と振動信号が音と振動に変換されてユーザの耳と皮膚に伝わる流れを示す。
　図５に示すように、例えば、音声信号ｆ１のフーリエ変換Ｆ１に対し、スピーカ部２０から出力される音Ｙは、スピーカ部２０の周波数特性Ｈ１を掛け算した信号となる（以降、特に明示しない限り、信号はフーリエ変換されたものとして記述する）。
　その一方で、振動信号ｆ２のフーリエ変換Ｆ２に対して、振動子２１から出力される振動Ｚは、振動子２１の周波数特性Ｈ２を掛け算した信号となり、これが皮膚に振動Ｚとして伝わる。さらに振動子２１からは、振動から音への変換（変換関数Ｈ３）がかかった音が発生してユーザの耳に伝達される。
　よってユーザＵの耳に届く音Ｙは、
　　　Y = H1 F1 + H3 H2 F2
となる。
　スピーカ部２０の周波数特性Ｈ１は、例えばスピーカ部２０そのものの周波数特性、または、この周波数特性に、スピーカ部２０の前段に設けられた信号増幅器のゲインなどを掛け合わせたものである。
　振動子２１の周波数特性Ｈ２も、スピーカ部２０の周波数特性Ｈ１と同様に定義される。振動から音への変換関数Ｈ３は、例えば振動子２１の機械的な構造や配置に基づく関数（特性）として定義される。
　一方、図６は、ノイズキャンセル機能を備えた本実施形態のスピーカ装置１００の動作の説明図である。図６に示すように、触覚制御部１４から出力された振動信号Ｆ２は、キャンセル信号生成部１７に送信され、キャンセル信号生成部１７においてキャンセル信号Ｆ３が生成されて音声制御部１３に送信される。キャンセル信号Ｆ３は、上述した各特性Ｈ１、Ｈ２、Ｈ３を用いて生成される。ここで、各特性Ｈ１、Ｈ２、Ｈ３は公知の特性であれば既知の値としてもよく、また、出荷前テストとしてスピーカ装置１００毎に事前の測定により特定された値でもよい。
　キャンセル信号Ｆ３を受け取った音声制御部１３は、音声信号Ｆ１にキャンセル信号Ｆ３を加算し、スピーカ部２０（音声出力部１５）へ送信し、スピーカ部２０において音声出力される。キャンセル信号Ｆ３は、ユーザＵの耳に届く音のうち振動子２１から発生する音のみをキャンセルするように生成される。その結果、ユーザＵは、振動子２１（触覚出力部１６）から出力される振動Ｚをそのまま感知し、振動子２１から発生するノイズ音がキャンセルされた音声を聞くことができる。
　図７においてキャンセル信号によるノイズキャンセルの基本原理について説明する。ユーザＵに知覚させたくないノイズ４０に対し、キャンセル信号４１は、ノイズ４０とキャンセル信号４１とを足し合わせた信号４２が最も小さくなるように生成される。このようなキャンセル信号４１は、ノイズ４０の波形と同一の振幅で逆位相の音声を発生させる信号が典型である。キャンセル信号４１は、例えばｄＢ単位で設定される。
（ノイズキャンセルの具体例）
　以下、音声ノイズをキャンセルするための処理について具体的に説明する。
　キャンセル信号Ｆ３は、スピーカ部２０から出力されたときに、振動子２１からの音声ノイズに対して逆位相の音になっていることが望ましい。
　よって、キャンセル信号Ｆ３を振動信号Ｆ２から生成するには、振動子２１自体の周波数特性Ｈ２と、振動子２１の振動から音への変換関数Ｈ３とを考慮して、振動子２１から発生する音（H3 H2 F2）を推定し、スピーカ部２０の周波数特性Ｈ１をさらに割引けばよい。
　これにより生成されるキャンセル信号Ｆ３を数式で表現すると、G１ H3 H2 F2となる。ここで、G１はスピーカ部２０の周波数特性Ｈ１の特性を割引くことのできる逆特性をもった周波数特性である。
　このキャンセル信号Ｆ３の算出は、各特性Ｈ１、Ｈ２およびＨ３の情報が必須であるため、これらは事前に測定しておく必要がある。この測定方法には、音響機器の特性同定方法を始めたとした既知の方法が用いられる。
　また、振動から音への変換関数Ｈ３は、このスピーカ装置１００がユーザＵに装着された場合を想定して、マネキンや被験者などにスピーカ装置１００を装着した状態で測定されることが望ましい。
　このキャンセル信号Ｆ３の算出処理は、例えばフーリエ変換した各周波数特性Ｇ１、Ｈ３、Ｈ２、Ｆ２の掛け算によって実現することができる。あるいは振動信号Ｆ２と、周波数特性Ｇ１、Ｈ３、Ｈ２の逆フーリエ変換とによって、つまり各システムのインパルス応答ｇ１、ｈ３、ｈ２の畳み込みによっても実現できる。また、ハードウェアとしてキャンセル信号生成部１７に特性（－G１ H3 H2）を有するフィルタを実装することでも実現できる。
　マイクを備えた振動スピーカによって振動子からの音をマイクでセンシングし、そのセンシング信号をキャンセル信号として利用する技術（ＡＮＣ：Active Noise Control）も知られているが、本実施形態では、そのようなマイクを使用しない、触覚出力部１６への入力である振動信号を利用したフィードフォワード制御によって、精度の高いノイズキャンセル機能を実現することができる。これは、スピーカ装置１００においては触覚出力部１６からのノイズをユーザＵの耳に届きにくいように封じ込めるような構造上の工夫が可能であること、また、キャンセルしたいノイズがランダムな環境ノイズとは異なり、事前に測定された触覚出力部１６からの音声ノイズであるため、ある程度は予測可能であること、などに由来する。
　このため、本実施形態のスピーカ装置１００によれば、ノイズセンシング用のマイクを必要としないため、装置構成の簡素化あるいは小型化を図ることができる。また、ネットワーク１０やストレージ１１からバッファリングされている出力前の振動信号を利用することで、フィードフォワード制御としてノイズを全く遅延無くキャンセルすることが可能である。
　本実施形態のスピーカ装置１００は、触覚出力部１６が音声出力部１５とは別ユニットとして構成されているため、触覚出力部１６の設計の自由度が高まり、多様な触覚振動をユーザへ提示することができる。しかも、触覚出力部１６の駆動に同期してキャンセル信号Ｆ３が再生されるため、触覚出力部１６の駆動に伴うノイズを効果的に除去することができる。さらに、音声出力部１５からの出力音声と異なるタイミング、または音声以上の広帯域で触覚を提示するようなコンテンツも再生可能である。
　スピーカ装置１００には感度調整として、キャンセル信号の最大値を設定する単一のリミッタまたは弱・中・強などの複数のリミッタが、例えばｄＢ単位で音声出力部１５に設けられてもよい。これにより、ユーザＵ自身がノイズキャンセリングのレベルを選択することが可能となる。
　既知の振動子２１の周波数特性Ｈ２、振動から音への変換関数Ｈ３、およびスピーカ部２０の周波数特性Ｈ１を用いて、振動信号Ｆ２からキャンセル信号を生成するキャンセル信号生成部１７および音声制御部１３の処理のフローを図８に示す。ここでは一例として、キャンセル信号は、周波数特性（－G１ H3 H2）を有するフィルタを用いた、デジタル信号処理によって生成される。
　図８に示すように、まずステップＳ１０１において、キャンセル信号生成部１７は、触覚制御部１４から再生すべき振動信号ｆ２を取得する。次にステップＳ１０２において、キャンセル信号生成部１７は、振動信号ｆ２に対して予め測定記録された係数（－G１ H3 H2）の周波数特性を持つデジタルフィルタを適用する。これにより、キャンセル信号ｆ３（第２の音声信号）が生成される。
　音声制御部１３は、このキャンセル信号ｆ３を、音声信号ｆ１（第１の音声信号）に加算することで、音声出力部１５を駆動する音声制御信号を生成する。このとき、再生時に音声信号ｆ１および振動信号ｆ２のそれぞれにかけられる増幅率が考慮されてもよい。例えば音声信号ｆ１をａ１倍、そして振動信号ｆ２をａ２倍に増幅し、それぞれをスピーカ部２０および振動子２１から出力する場合、キャンセル信号生成部１７は、これらの倍率の情報を音声制御部１３および触覚制御部１４から受け取り、ステップＳ１０３においてキャンセル信号ｆ３に、これらの倍率比（ａ２／ａ１）を乗算する。
　その後ステップＳ１０４において、音声制御部１３は、上記倍率比が乗算されたキャンセル信号（ｆ３×（ａ２／ａ１））を音信号ｆ１に加算することで、上記音声制御信号を生成する。これにより、ユーザＵにとってノイズが知覚されない音Ｙが音声出力部１５から出力される。
　以上の説明では、触覚出力部１６における触覚提示デバイス（触覚提示ユニット２５１）として振動子２１を例に挙げて説明したが、振動子以外の他の触覚提示デバイス（例えば、空中超音波発生装置、筋電気刺激装置、空気砲発生装置など）にも同様に適用可能である。
＜第２の実施形態＞
　続いて、本技術の第２の実施形態について説明する。
　上述の第１の実施形態において、音声出力部１５（音声出力ユニット２５０）は、音声信号（第１の音声信号）とキャンセル信号（第２の音声信号）が共通のスピーカユニット（スピーカ部２０）で再生されるように構成された。これに対して本実施形態では、音声信号（第１の音声信号）とキャンセル信号（第２の音声信号）がそれぞれ別々のスピーカで再生されるように構成される。
　図９は、本技術の第２の実施形態におけるスピーカ装置２００の動作の説明図である。本実施形態のスピーカ装置２００は、第１の信号としての音声信号Ｆ１を再生するスピーカ部２０（第１の音声出力ユニット、第１のスピーカ）に加えて、第２の信号としてのキャンセル信号Ｆ３を再生するスピーカ部２２（第２の音声出力ユニット、第２のスピーカ）をさらに有する。
　本実施形態において、キャンセル信号生成部２７は、スピーカ部２２からキャンセル信号Ｆ３を再生させるための制御信号をスピーカ部２２へ出力する。キャンセル信号Ｆ３は、スピーカ部２２の周波数特性Ｈ４を割引くことができる逆特性をもった主波数特性をＧ４とすると、（－G４ H3 H2 F2）の式で表される。これにより、スピーカ部２０から出力される音声信号Ｆ１の再生音とスピーカ部２２から出力されるキャンセル信号Ｆ３の再生音との合成音がユーザＵへ提示されることになる結果、振動子２１からの音をキャンセルすることができる。
　本実施形態においても上述の第１の実施形態と同様の作用効果を得ることができる。特に本実施形態によれば、音声信号Ｆ１を再生するスピーカ部２０と異なる仕様でキャンセル信号Ｆ３を再生するスピーカ部２２を構成できるため、各スピーカ部２０，２２の設計の自由度を高めることができる。
＜第３の実施形態＞
　上述の各実施形態では、触覚出力部１６が振動デバイス（振動子２１）である場合を例に挙げて説明したが、本実施形態では、触覚出力部１６が振動デバイス以外の触覚提示デバイスである場合について説明する。
　振動デバイス以外の触覚提示デバイスとしては、例えばダイヤフラムの駆動によりユーザＵに向けて空気流を飛ばすもの（空気砲発生装置）、ユーザＵの体に焦点を合わせた超音波アレイで音響放射圧を与えるもの（超音波発生装置）、電気刺激によりユーザＵの触覚受容器や筋肉を直接刺激するもの（筋電気刺激装置）などが挙げられる。換言すると、触覚提示デバイスとしては、振動に伴って直接皮膚を振動させることを目的としていない他のものであってもよい。
　これらの触覚提示デバイスにおいても、多くの場合その駆動に伴ってノイズ音が発生し、音楽聴取を妨げる可能性がある。よって各装置の特性を用いてキャンセル信号を生成してスピーカから出力することで、そのノイズ音がキャンセルされる。触覚提示デバイスの駆動から音への変換関数は、図１０に示すように、一例として、振動デバイスと同様に特定の周波数特性を有する関数Ｈ５である場合が挙げられ、他の例では、駆動している区間（期間）において常に一定の振幅及び周波数の信号を出力する非線形関数Ｈ６である場合が挙げられる。変換関数がＨ５の場合、振動信号ｆ２から、図１０上に示す態様の音声ノイズ７０が発生し、変換係数がＨ６の場合、信号ｆ２から、図１０下に示す音声ノイズ７１が発生する。音声ノイズの振る舞いが大きく異なる場合があるものの、ノイズキャンセル処理のフロー及び原理は、図６および図７と同様である。
　図１１は、本実施形態におけるスピーカ装置３００の動作の説明図である。図において第１の実施形態（図６）と対応する部分については同一の符号を付し、その詳細な説明は省略する。
　図１１において、触覚提示装置８０は、振動デバイス以外の触覚提示デバイスを含む。ここでは、触覚提示装置８０の駆動から音への変換関数をＨ６、触覚提示装置が有する周波数特性をＨ７とすると、キャンセル信号生成部１７は、（－G１ H６ H７ F2）の式で表される特性を有するキャンセル信号Ｆ３を生成する。これにより、ユーザＵにとってノイズが知覚されない音Ｙがスピーカ部２０（音声出力部１５）から出力される。
＜変形例＞
　例えば以上の各実施形態では、スピーカ装置として、ユーザの首に掛けて使用されるウェアラブルスピーカ装置を例に挙げて説明したが、これに限られず、ユーザの頭部に装着されるヘッドフォンやイヤフォンにも本技術は適用可能である。この場合、触覚提示ユニットは、スピーカ装置とは別の機器として構成されてもよい。この場合、触覚提示ユニットを任意の位置に配置できるため、ユーザの身体の所望の位置へ触覚を提示することができる。
　なお、本技術は以下のような構成もとることができる。
（１）触覚提示用の触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成する触覚制御部と、
　第１の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第２の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する音声制御部と
　を具備する制御装置。
（２）上記（１）に記載の制御装置であって、
　前記音声制御部は、前記第１の音声信号に前記第２の音声信号を加算することで前記音声制御信号を生成する
　制御装置。
（３）上記（１）又は（２）に記載の制御装置であって、
　前記触覚信号に基づいて前記第２の音声信号を生成するキャンセル信号生成部を、さらに具備する
　制御装置。
（４）上記（３）に記載の制御装置であって、
　前記音声制御部は、前記第１の音声信号を再生する第１の音声出力ユニットを駆動する第１の信号を生成し、
　前記キャンセル信号生成部は、前記第２の音声信号を再生する第２の音声出力ユニットを駆動する第２の信号を生成する
　制御装置。
（５）上記（３）又は（４）に記載の制御装置であって、
　前記キャンセル信号生成部は、前記音声出力ユニットの周波数特性と、前記触覚提示ユニットの周波数特性と、前記触覚提示ユニットで発生する振動から音への変換関数とに基づいて、前記第２の音声信号を生成する
　制御装置。
（６）触覚提示ユニットと、
　音声出力ユニットと、
　触覚提示用の触覚信号に基づいて、前記触覚提示ユニットを駆動する触覚制御信号を生成する触覚制御部と、
　第１の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第２の音声信号とに基づいて、前記音声出力ユニットを駆動する音声制御信号を生成する音声制御部と
　を具備するスピーカ装置。
（７）上記（６）に記載のスピーカ装置であって、
　前記触覚信号および前記第１の音声信号を記憶する記憶部
をさらに具備する
　スピーカ装置。
（８）上記（６）または（７）に記載のスピーカ装置であって、
　前記触覚信号および前記第１の音声信号を記憶するサーバと通信可能な通信部をさらに備える
　スピーカ装置。
（９）上記（６）～（８）のいずれか１つに記載のスピーカ装置であって、
　前記音声出力ユニットは、前記第１の音声信号と前記第２の音声信号を再生する共通のスピーカユニットを有する
　スピーカ装置。
（１０）上記（６）～（８）のいずれか１つに記載のスピーカ装置であって、
　音声出力ユニットは、前記第１の音声信号を再生する第１のスピーカユニットと、前記第２の音声信号を再生する第２のスピーカユニットを有する
　スピーカ装置。
（１１）上記（６）～（１０）のいずれか１つに記載のスピーカ装置であって、
　前記音声出力ユニットは、右スピーカと、左スピーカとを有し、
　前記スピーカ装置は、前記右スピーカと前記左スピーカとを連結する首掛け用の連結体をさらに具備する
　スピーカ装置。
（１２）上記（６）～（１１）のいずれか１つに記載のスピーカ装置であって、
　前記触覚提示ユニットは、振動デバイスを含む
　スピーカ装置。
（１３）上記（６）～（１１）のいずれか１つに記載のスピーカ装置であって、
　前記触覚提示ユニットは、空中超音波、筋電、または空気砲を含む
　スピーカ装置。
（１４）触覚提示用の触覚信号と第１の音声信号を取得し、
　前記触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成し、
　前記触覚信号に基づいて前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第２の音声信号を生成し、
　前記第１の音声信号と、前記第２の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する
　音声出力方法。
　　１…制御装置
　１０…外部ネットワーク
　１１…ストレージ
　１２…復号部
　１３…音声制御部
　１４…触覚制御部
　１５…音声出力部
　１６…触覚出力部
　１７、２７…キャンセル信号生成部
　２０、２２…スピーカ部
　２１…振動子
　８０…触覚提示装置
　１００，２００，３００…スピーカ装置
　１００Ｃ…連結体
　１００Ｌ…左スピーカ
　１００Ｒ…右スピーカ

Claims (14)

  1. 　触覚提示用の触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成する触覚制御部と、
    　第１の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第２の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する音声制御部と
    　を具備する制御装置。
  2. 　請求項１に記載の制御装置であって、
    　前記音声制御部は、前記第１の音声信号に前記第２の音声信号を加算することで前記音声制御信号を生成する
    　制御装置。
  3. 　請求項１に記載の制御装置であって、
    　前記触覚信号に基づいて前記第２の音声信号を生成するキャンセル信号生成部を、さらに具備する
    　制御装置。
  4. 　請求項３に記載の制御装置であって、
    　前記音声制御部は、前記第１の音声信号を再生する第１の音声出力ユニットを駆動する第１の信号を生成し、
    　前記キャンセル信号生成部は、前記第２の音声信号を再生する第２の音声出力ユニットを駆動する第２の信号を生成する
    　制御装置。
  5. 　請求項４に記載の制御装置であって、
    　前記キャンセル信号生成部は、前記音声出力ユニットの周波数特性と、前記触覚提示ユニットの周波数特性と、前記触覚提示ユニットで発生する振動から音への変換関数とに基づいて、前記第２の音声信号を生成する
    　制御装置。
  6. 　触覚提示ユニットと、
    　音声出力ユニットと、
    　触覚提示用の触覚信号に基づいて、前記触覚提示ユニットを駆動する触覚制御信号を生成する触覚制御部と、
    　第１の音声信号と、前記触覚信号を基に生成され前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第２の音声信号とに基づいて、前記音声出力ユニットを駆動する音声制御信号を生成する音声制御部と
    　を具備するスピーカ装置。
  7. 　請求項６に記載のスピーカ装置であって、
    　前記触覚信号および前記第１の音声信号を記憶する記憶部
    をさらに具備する
    　スピーカ装置。
  8. 　請求項６に記載のスピーカ装置であって、
    　前記触覚信号および前記第１の音声信号を記憶するサーバと通信可能な通信部をさらに具備する
    　スピーカ装置。
  9. 　請求項６に記載のスピーカ装置であって、
    　前記音声出力ユニットは、前記第１の音声信号と前記第２の音声信号を再生する共通のスピーカユニットを有する
    　スピーカ装置。
  10. 　請求項６に記載のスピーカ装置であって、
    　音声出力ユニットは、前記第１の音声信号を再生する第１のスピーカユニットと、前記第２の音声信号を再生する第２のスピーカユニットを有する
    　スピーカ装置。
  11. 　請求項６に記載のスピーカ装置であって、
    　前記音声出力ユニットは、右スピーカと、左スピーカとを有し、
    　前記スピーカ装置は、前記右スピーカと前記左スピーカとを連結する首掛け用の連結体をさらに具備する
    　スピーカ装置。
  12. 　請求項６に記載のスピーカ装置であって、
    　前記触覚提示ユニットは、振動デバイスを含む
    　スピーカ装置。
  13. 　請求項６に記載のスピーカ装置であって、
    　前記触覚提示ユニットは、超音波発生装置、筋電気刺激装置、または空気砲発生装置を含む
    　スピーカ装置。
  14. 　触覚提示用の触覚信号と第１の音声信号を取得し、
    　前記触覚信号に基づいて、触覚提示ユニットを駆動する触覚制御信号を生成し、
    　前記触覚信号に基づいて前記触覚提示ユニットから発生する音声と逆位相の音声成分を含む第２の音声信号を生成し、
    　前記第１の音声信号と、前記第２の音声信号とに基づいて、音声出力ユニットを駆動する音声制御信号を生成する
    　音声出力方法。
PCT/JP2020/031969 2019-09-03 2020-08-25 制御装置、スピーカ装置および音声出力方法 WO2021044901A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080060477.2A CN114303185A (zh) 2019-09-03 2020-08-25 控制装置、扬声器装置和声音输出方法
DE112020004160.3T DE112020004160T5 (de) 2019-09-03 2020-08-25 Steuerungseinrichtung, lautsprechereinrichtung und audioausgabeverfahren
US17/637,596 US11881201B2 (en) 2019-09-03 2020-08-25 Control apparatus, loudspeaker apparatus, and audio output method
JP2021543707A JPWO2021044901A1 (ja) 2019-09-03 2020-08-25

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019160508 2019-09-03
JP2019-160508 2019-09-03

Publications (1)

Publication Number Publication Date
WO2021044901A1 true WO2021044901A1 (ja) 2021-03-11

Family

ID=74852825

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/031969 WO2021044901A1 (ja) 2019-09-03 2020-08-25 制御装置、スピーカ装置および音声出力方法

Country Status (5)

Country Link
US (1) US11881201B2 (ja)
JP (1) JPWO2021044901A1 (ja)
CN (1) CN114303185A (ja)
DE (1) DE112020004160T5 (ja)
WO (1) WO2021044901A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074269A1 (ja) * 2021-10-25 2023-05-04 アルプスアルパイン株式会社 報知装置、報知装置の制御プログラム、及びシートシステム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009513077A (ja) * 2005-10-19 2009-03-26 イマージョン コーポレーション メディアトランスポートストリームにおけるハプティック効果データの同期
JP2010258807A (ja) * 2009-04-24 2010-11-11 Nec Corp 携帯型電子機器、携帯型電子機器の動作方法、及び携帯型電子機器の動作プログラム
JP2012105147A (ja) * 2010-11-11 2012-05-31 Panasonic Corp 携帯端末装置、振動音抑制方法、及び振動音抑制プログラム
WO2013084958A1 (ja) * 2011-12-06 2013-06-13 株式会社ニコン 電子機器及び振動音減衰方法
JP2014239430A (ja) * 2013-05-24 2014-12-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚データを符号化及びストリーミングする方法及びシステム
US20160073200A1 (en) * 2014-09-04 2016-03-10 Lg Electronics Inc. Headset
US20180350339A1 (en) * 2017-05-31 2018-12-06 Nxp B.V. Acoustic processor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10200977A (ja) 1997-01-08 1998-07-31 Sony Corp スピーカ装置
JP3929672B2 (ja) 2000-03-10 2007-06-13 独立行政法人科学技術振興機構 弾性波を用いたコンピュータ入出力装置
US9129588B2 (en) * 2012-09-15 2015-09-08 Definitive Technology, Llc Configurable noise cancelling system
JP6445921B2 (ja) 2015-04-21 2018-12-26 任天堂株式会社 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム
US10111014B2 (en) * 2015-08-10 2018-10-23 Team Ip Holdings, Llc Multi-source audio amplification and ear protection devices
US20170056439A1 (en) 2015-08-25 2017-03-02 Oxy Young Co., Ltd. Oxygen-enriched water composition, biocompatible composition comprising the same, and methods of preparing and using the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009513077A (ja) * 2005-10-19 2009-03-26 イマージョン コーポレーション メディアトランスポートストリームにおけるハプティック効果データの同期
JP2010258807A (ja) * 2009-04-24 2010-11-11 Nec Corp 携帯型電子機器、携帯型電子機器の動作方法、及び携帯型電子機器の動作プログラム
JP2012105147A (ja) * 2010-11-11 2012-05-31 Panasonic Corp 携帯端末装置、振動音抑制方法、及び振動音抑制プログラム
WO2013084958A1 (ja) * 2011-12-06 2013-06-13 株式会社ニコン 電子機器及び振動音減衰方法
JP2014239430A (ja) * 2013-05-24 2014-12-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚データを符号化及びストリーミングする方法及びシステム
US20160073200A1 (en) * 2014-09-04 2016-03-10 Lg Electronics Inc. Headset
US20180350339A1 (en) * 2017-05-31 2018-12-06 Nxp B.V. Acoustic processor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074269A1 (ja) * 2021-10-25 2023-05-04 アルプスアルパイン株式会社 報知装置、報知装置の制御プログラム、及びシートシステム

Also Published As

Publication number Publication date
JPWO2021044901A1 (ja) 2021-03-11
US11881201B2 (en) 2024-01-23
CN114303185A (zh) 2022-04-08
DE112020004160T5 (de) 2022-05-25
US20220277726A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
US11263879B2 (en) Tactile transducer with digital signal processing for improved fidelity
US10390139B2 (en) Apparatus and methods for audio-tactile spatialization of sound and perception of bass
US5867582A (en) Headphone
US20160277821A1 (en) Vibration headphones
JP2014519791A (ja) 電気活性ポリマアクチュエータを有するオーディオ装置
JP2009535655A (ja) 周辺雑音低減装置
WO2014064924A1 (ja) 振動ピックアップ装置、振動測定装置、測定システム及び測定方法
KR20220113969A (ko) 소리출력장치
JPWO2009141912A1 (ja) イヤホン装置
JP2003032768A (ja) ヘッドホン
US9807520B2 (en) Acoustic device and method of using the same
CN110536200A (zh) 用于耳屏传导可听设备的装置、系统和方法
JP2008518512A (ja) ユーザ嗜好に合わせた知的音響信号処理方法及びその装置
WO2021044901A1 (ja) 制御装置、スピーカ装置および音声出力方法
JP3045032B2 (ja) ヘッドホン
JP3644259B2 (ja) スピーカ装置
JP2018526952A (ja) 音声信号補正方法
JP6174409B2 (ja) 測定システム
WO2005006809A1 (ja) 圧電型振動発生器及びこれを用いた振動送音器
US20200336834A1 (en) Speaker driving device
JP5367989B2 (ja) インナーイヤー式ヘッドフォン
JP2014060467A (ja) 測定装置及び測定方法
JP2016178627A (ja) 体感振動ヘッドホン
Clatterbuck An Investigation of Performance Limitations in Active Noise Reduction Headsets
JP6234081B2 (ja) 測定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20861569

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021543707

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20861569

Country of ref document: EP

Kind code of ref document: A1