WO2019181758A1 - 会話支援装置 - Google Patents

会話支援装置 Download PDF

Info

Publication number
WO2019181758A1
WO2019181758A1 PCT/JP2019/010723 JP2019010723W WO2019181758A1 WO 2019181758 A1 WO2019181758 A1 WO 2019181758A1 JP 2019010723 W JP2019010723 W JP 2019010723W WO 2019181758 A1 WO2019181758 A1 WO 2019181758A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
noise
microphone
secondary path
speaker
Prior art date
Application number
PCT/JP2019/010723
Other languages
English (en)
French (fr)
Inventor
宏正 大橋
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2020508299A priority Critical patent/JP7213432B2/ja
Publication of WO2019181758A1 publication Critical patent/WO2019181758A1/ja
Priority to US17/023,924 priority patent/US11483652B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17817—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the error signals, i.e. secondary path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/50—Miscellaneous
    • G10K2210/505—Echo cancellation, e.g. multipath-, ghost- or reverberation-cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Definitions

  • the present disclosure relates to a conversation support apparatus that suppresses noise at a speaker's position in an environment where a desired voice is disturbed by noise.
  • Patent Document 1 discloses a two-way conversation assistance device for realizing two-way conversation support between speakers using a microphone and a speaker installed in a vehicle interior.
  • This interactive conversation assisting device is an interactive conversation assisting device that assists by expanding and assisting a two-way conversation between a first speaker and a second speaker, for inputting the first voice of the first speaker.
  • the echo / crosstalk canceller uses the input signal to the second speaker, the second echo output from the second speaker is input to the first microphone, and the second sound is input to the first microphone.
  • An estimated value of an interference signal indicating the degree of input crosstalk is calculated. Then, the echo / crosstalk canceller removes the calculated estimated value of the interference signal from the output signal of the first microphone.
  • Patent Document 2 discloses an active noise suppression device for suppressing vehicle interior noise including road noise and engine noise in the vehicle interior in the vehicle interior space.
  • the active noise suppression apparatus includes a control unit for generating a canceling sound for spatially canceling noise in a vehicle interior, a speaker for outputting a canceling sound for suppressing noise, the noise and the canceling signal.
  • An error detection microphone is provided for detecting an error error canceling with the sound.
  • the control unit uses the error detection microphone to output a canceling sound reproduced from the canceling sound speaker based on a correction value corresponding to a transfer characteristic between the canceling sound output speaker identified in advance and the error detection microphone.
  • An echo cancel unit is provided that generates an echo cancel signal for canceling the detected cancellation error sound.
  • the present disclosure provides a conversation support apparatus that realizes active noise suppression by following a change even when a sound transmission path according to a change in the surrounding environment changes between a microphone and a speaker.
  • the conversation support device includes a speaker, a microphone, a noise source acquisition unit that acquires a noise signal indicating noise, and a first calculation unit that calculates a transfer characteristic of a secondary path between the speaker and the microphone.
  • An echo suppression unit that suppresses echo using the transfer characteristic of the secondary path
  • a second calculation unit that calculates the coefficient of the adaptive filter based on the transfer characteristic and noise signal of the secondary path, and the coefficient of the adaptive filter
  • an active noise suppression control unit that generates a control signal for controlling noise suppression using the noise signal.
  • the conversation support device can realize active noise suppression by following the change even when the environment between the microphone and the speaker changes.
  • FIG. 1 is a schematic diagram of a conversation support device including an echo cancellation device and an active noise control device according to the present disclosure.
  • FIG. 2 is a configuration diagram illustrating a configuration of a conversation support device including an echo cancellation device and an active noise control device according to the present disclosure.
  • FIG. 3 is a block diagram illustrating a configuration of the conversation support apparatus according to the first embodiment.
  • FIG. 4 is a block diagram illustrating the configuration of the echo suppression unit and the secondary path estimation unit of the conversation support apparatus according to the first embodiment.
  • FIG. 5 is a block diagram showing a configuration of an active noise control signal generation unit of the conversation support apparatus in the first embodiment.
  • FIG. 6 is a block diagram illustrating a configuration in the case where noise is suppressed from an input signal using a noise source signal acquired by a noise source acquisition unit in the previous stage of an echo cancellation device included in the conversation support device.
  • FIG. 7 is a block diagram illustrating a configuration of the conversation support apparatus according to the second embodiment.
  • FIG. 8 is an external view illustrating an example of a location where the microphone of the conversation support apparatus according to the present disclosure is disposed.
  • FIG. 9 is a configuration diagram illustrating a configuration of a conversation support apparatus according to another aspect of the present disclosure.
  • FIG. 10 is a configuration diagram illustrating a configuration of a conversation support device according to still another aspect of the present disclosure.
  • FIG. 1 is a configuration diagram of a conversation support device 1 including an echo cancellation device 40 and an active noise control device 50 according to the present disclosure.
  • a car will be described as an example of use of the conversation support device 1. That is, the conversation support device 1 is provided on a vehicle such as an automobile.
  • the conversation support device 1 includes a near-end microphone 11, a far-end microphone 21, a near-end speaker 12, a far-end speaker 22, an echo cancellation device 40, and an active noise control device 50.
  • the near-end microphone 11 monitors the noise coming from the noise source 30 to the vicinity of the near-end speaker 2 while collecting the utterance of the near-end speaker 2. That is, the near-end microphone 11 is generated and reproduced by the sound-collecting microphone for collecting the speech of the near-end speaker 2 and the noise and the active noise control device 50 near the near-end speaker 2. It also serves as an error microphone for monitoring the error from the noise canceling sound.
  • the far-end microphone 21 collects the speech of the far-end speaker 3 and monitors noise coming from the noise source 30 to the vicinity of the far-end speaker 3. That is, the far-end microphone 21 is generated and reproduced by the sound-collecting microphone for collecting the speech of the far-end speaker 3 and the noise near the far-end speaker 3 and the active noise control device 50. It also serves as an error microphone for monitoring the error from the noise canceling sound.
  • the near-end speaker 12 reproduces a signal for eliminating noise in the vicinity of the near-end speaker 2 while amplifying the speech of the far-end speaker 3. That is, the near-end speaker 12 serves as both a loudspeaker for amplifying the speech of the far-end speaker 3 and an erasure speaker for eliminating noise near the near-end speaker 2.
  • the near-end speaker 12 is electrically connected to the far-end microphone 21 and outputs sound based on the input to the far-end microphone 21.
  • the far-end speaker 22 reproduces a signal for eliminating noise in the vicinity of the far-end speaker 3 while amplifying the utterance of the near-end speaker 2. That is, the far-end speaker 22 serves as both a loudspeaker for amplifying the speech of the near-end speaker 2 and an erasing speaker for eliminating noise in the vicinity of the far-end speaker 3. In other words, the far-end speaker 22 is electrically connected to the near-end microphone 11 and outputs sound based on the input to the near-end microphone 11.
  • the near end side is a side closer to the traveling direction in the vehicle body, and refers to, for example, the driver seat side or the passenger seat side.
  • the far end side is a side far from the traveling direction in the vehicle body, and refers to the rear row seat side, for example.
  • the echo canceling device 40 generates an incoming echo signal generated when the audio signal reproduced from the near-end side speaker 12 propagates through the space and transmits it to the near-end side microphone 11 from the collected sound signal from the near-end side microphone 11. Remove. Further, the echo canceling device 40 collects the incoming echo signal generated by the sound signal reproduced from the far-end side speaker 22 through the space and transmitted to the far-end side microphone 21 by the far-end side microphone 21. Remove from signal.
  • the active noise control device 50 uses the noise signal in the vicinity of the near-end speaker 2 monitored by the near-end microphone 11 and the noise signal of the noise source 30 acquired by a separate means, and the near-end speaker. 2 generates a control signal for controlling the amount of noise in the vicinity. Further, the active noise control device 50 uses the noise signal in the vicinity of the far-end speaker 3 monitored by the far-end microphone 21 and the noise signal of the noise source 30 acquired by a separate means on the far-end side. A control signal for controlling the amount of noise in the vicinity of the speaker 3 is generated.
  • the conversation support device 1 the utterance of the near-end speaker 2 collected by the near-end microphone 11 is input to the echo cancellation device 40 from the near-end side to the far-end side. Then, the speech signal from which the unnecessary incoming echo signal has been removed is amplified from the far-end speaker 22 toward the far-end speaker 3. Thereby, the conversation support from the near end side speaker 2 to the far end side speaker 3 in the vehicle interior is realized.
  • the speech of the near-end speaker 2 is loudened by the conversation support device 1 at the far-end side.
  • the conversation support device 1 at the far-end side.
  • the active noise control device 50 not only assists the listening by the loudness of the conversation support device 1, but also suppresses the noise at the far-end listening position. Therefore, interactive conversation support can be improved.
  • FIG. 2 is a diagram illustrating a configuration of the conversation support apparatus 1 according to the present disclosure.
  • the conversation support device 1 includes a near-end microphone 11, a near-end speaker 12, a far-end microphone 21, a far-end speaker 22, a secondary path estimation unit 60, an echo cancellation device 40, a noise source acquisition unit 80, an active A noise control device 50 is provided.
  • the echo cancellation device 40 includes an echo suppression unit 70.
  • the active noise control device 50 includes an active noise control signal generation unit 90. Note that all or part of the noise source acquisition unit 80, the secondary path estimation unit 60, the echo cancellation device 40, and the active noise control device 50 may be realized by one or a plurality of integrated circuits.
  • the noise source acquisition unit 80, the secondary path estimation unit 60, the echo cancellation device 40, and the active noise control device 50 all or part of the program stored in the memory included in the conversation support device 1 can be used as a conversation support. You may implement
  • the secondary path estimator 60 uses the post-echo suppression signal, which is a signal after the echo is suppressed from the near-end microphone 11 on the near-end side, and the loudspeaker signal in the near-end speaker 12 to obtain secondary path information. Is estimated. Further, the secondary path estimation unit 60 uses the echo-suppressed signal, which is a signal after suppressing the echo from the far-end microphone 21, and the loudspeaker signal at the far-end speaker 22 on the far-end side. Estimate next route information.
  • the secondary path information on the near end side is a transmission characteristic of the space when the output signal from the near end side speaker 12 is transmitted to the near end side microphone 11.
  • the secondary path information on the far end side is a transmission characteristic of a space when an output signal from the far end speaker 22 is transmitted to the far end microphone 21.
  • the echo cancellation apparatus 40 and the active noise control apparatus 50 will be described with respect to the sound collected by the near-end microphone 11. However, the same explanation is valid for the far-end microphone 21.
  • the echo suppression unit 70 is provided in the echo cancellation device 40.
  • the echo suppression unit 70 receives a sound collection signal that is a sound signal collected by the near-end microphone 11 and generates a pseudo echo signal for suppressing the echo signal. Then, the echo suppression unit 70 suppresses the echo signal by subtracting the generated pseudo echo signal from the collected sound signal.
  • the echo signal is a signal that is picked up by the near-end microphone 11 as the sound amplified from the near-end speaker 12 propagates through the space.
  • the echo suppression unit 70 generates a pseudo echo signal using the output signal output from the near-end speaker 12 and the secondary path information. That is, when the secondary path information is input to the echo suppression unit 70, the echo suppression unit 70 generates a pseudo echo signal.
  • the echo-suppressed signal in which the echo signal is suppressed by the echo suppression unit 70 is added to the control signal generated by the active noise control device 50 separately provided on the far end side and reproduced from the far end side speaker 22. .
  • the noise source acquisition unit 80 acquires a noise signal indicating the noise of the noise source 30.
  • the noise source acquisition unit 80 can acquire the engine rotation sound as a noise signal by arranging an external microphone in the vicinity of the engine.
  • the noise source acquisition unit 80 may acquire the engine pulse waveform as a noise signal.
  • the external microphone is generally called a reference microphone or a noise reference microphone.
  • the noise source acquisition unit 80 can acquire a noise signal by arranging an external microphone in the vicinity of the tire.
  • the noise source acquisition part 80 was set as the independent structure of the noise source acquisition part 80, the structure with which the near end side microphone 11 or the far end side microphone 21 is equipped may be sufficient.
  • the active noise control signal generation unit 90 generates a control signal for controlling the noise near the near-end speaker 2.
  • the active noise control signal generation unit 90 adds the generated control signal to the reproduction signal of the near-end speaker 12, and amplifies the signal after the addition. Thereby, the noise near the near-end microphone 11 can be controlled.
  • the control signal is estimated as a signal for spatially suppressing noise arriving from the noise generation position to the vicinity of the near-end speaker 2. That is, the control signal is a signal for active noise control (ANC).
  • the active noise control signal generation unit 90 In order for the active noise control signal generation unit 90 to generate the control signal, the noise signal acquired by the noise source acquisition unit 80 and the noise suppression amount in the control space near the near-end speaker 2 are measured. Error signal and secondary path information are required.
  • the error signal indicates how much the noise signal near the near-end speaker 2 is spatially suppressed by the control signal reproduced from the near-end speaker 12. Obtained by monitoring at.
  • the secondary path information is information representing how the control signal reproduced from the near-end speaker 12 changes at a position where the noise source 30 is monitored.
  • the signal monitored by the near-end microphone 11 is mixed with echo signals such as the speech of the far-end speaker 3 reproduced from the near-end speaker 12. Therefore, in the active noise control apparatus 50, it is necessary to use the post-echo suppression signal obtained by canceling the echo signal by the echo suppression unit 70 as an error signal.
  • the secondary path information is obtained by inputting the secondary path information previously estimated by the secondary path estimation unit 60 to the active noise control signal generation unit 90.
  • the active noise control signal generation unit 90 generates a control signal using the noise signal, the error signal, and the secondary path information.
  • FIG. 3 is a block diagram of the conversation support apparatus according to the first embodiment.
  • the near end side is represented by a subscript f and the far end side is represented by a subscript r.
  • k be a discrete time index. Symbols expressed in bold in the mathematical formula are vectors, and represent time series signal vectors or coefficient vectors corresponding to time series.
  • the operation on the near end side is described as an example, but the same operation may be performed on both the near end side and the far end side.
  • the microphone (input) signal m f [k] picked up by the near-end microphone 11 is a voice signal s f [k] representing an utterance by the near-end speaker 2 or the like, an incoming echo signal d f [k],
  • the sum of the noise signals n f [k] is expressed as in Equation 1.
  • the incoming echo signal d f [k] is converted into the secondary path information into the time-series signal y f of the reproduction signal y f [k] of the near-end speaker 12 before the cancellation signal addition. obtained by convolving the c f.
  • the secondary path information c f the path information when representing the spatial transfer characteristic of the near-end microphone 11 from the near-end speaker 12 as an FIR filter of a finite length.
  • the secondary path information cf is a transfer characteristic of the secondary path when viewed from the feedforward type active noise control device 50.
  • the feedforward type is a control operation that cancels noise before it is affected by noise.
  • the secondary path includes a direct sound transmission path and a reflected sound transmission path. That is, the secondary path means a path through which the sound wave output from the speaker propagates to the microphone via the air.
  • the incoming noise signal n f [k] is obtained by convolving the primary path information h f with the time series signal v 1 of v 1 [k] representing the noise source 30.
  • the primary path information h f is path information when the spatial transfer characteristic from the noise source position to the near-end microphone 11 is expressed as a finite-length FIR filter.
  • the primary path information h f is a transfer characteristic of the primary path when viewed from the feedforward type active noise control device 50.
  • the echo signal d f [k] arriving from the near-end speaker 12 and the incoming noise signal n f [k] arriving from the noise source 30 are superimposed on the microphone signal m f [k].
  • the conversation support device 1 needs to transmit only the utterance s f [k] of the near-end speaker 2 to the far-end speaker 3 by suppressing the mixed incoming echo signal d f [k]. .
  • the active noise control device 50 uses the post-echo suppression signal after suppressing the mixed echo signal and the secondary path obtained at the time of echo cancellation to spatially suppress noise. It is necessary to generate the control signal.
  • the present disclosure performs the following flow.
  • the echo suppression unit 70 removes the echo signal d f [k] from the microphone signal m f [k].
  • the echo suppressor 70 Upon removal of the echo signal, the echo suppressor 70 generates a pseudo echo signal d ⁇ f [k] for removing the echo signal d f [k].
  • the secondary path estimation unit 60 estimates the secondary path information c f as the secondary path information c ⁇ f in order to generate the pseudo echo signal d ⁇ f [k]. For example, the secondary path estimation unit 60 calculates the secondary path information c ⁇ f (secondary path transfer characteristics) based on the input to the near-end microphone 11 and the output from the near-end speaker 12. To do. A specific method of suppressing the incoming echo signal d f [k] will be described later with reference to FIG.
  • the post-echo suppression signal e f [k] is obtained by subtracting the obtained pseudo echo signal d ⁇ f [k] from the microphone signal m f [k] as shown in Equation 4.
  • Equation 5 the pseudo echo signal d ⁇ f [k] is expressed as Equation 5.
  • the pseudo echo signal d ⁇ f [k] is a signal generated by convolving the secondary path information c ⁇ f estimated by the secondary path estimation unit 60 with the signal reproduced from the near-end speaker 12. It is.
  • echo suppression is achieved when the incoming echo signal d f [k] matches the pseudo echo signal d ⁇ f [k].
  • a noise signal obtained from the noise source part 80, the incoming echo signal has been echo suppression after signal e f [k] suppression, secondary path information estimated by the secondary path estimation unit 60 c ⁇
  • the active noise control signal generation unit 90 generates a control signal n ⁇ ′ f [k] for spatially controlling and suppressing noise using f .
  • control signal in the active noise control signal generation unit 90 A specific description of the control signal in the active noise control signal generation unit 90 will be described later with reference to FIG.
  • Equation 1 the control signal n ⁇ 'f [k] in the secondary path information c f cancel each other for suppressing noise is a at the position of the near-end microphone 11 convoluted noise signal n ⁇ f [k] is obtained .
  • Equation 1 the cancellation noise signal n ⁇ f [k] is output from the near-end speaker 12, Equation 1 is corrected as Equation 8.
  • Expression 4 is corrected to Expression 9 by the expression of Expression 8.
  • the noise suppression operation is realized not by signal processing but by actually outputting a control signal from the speaker and spatially adding it. Therefore, the effect is further exhibited at the microphone position in space.
  • the conversation support apparatus 1 performs spatial noise suppression by outputting a control signal from the speaker to the collected microphone signal, and echo suppression by the echo canceller for the noise-suppressed signal. Can be realized simultaneously.
  • the near-end microphone 11 acquires a microphone signal m f [k] (input signal).
  • the echo suppression unit 70 generates a pseudo echo signal d ⁇ f [k] (cancel signal) using the transfer characteristic c ⁇ f of the secondary path.
  • Active noise control signal generating unit 90 the microphone signal m f [k], the pseudo echo signal d ⁇ f [k], based on the control signal n ⁇ 'f [k], the echo suppression after signal e f [k] ( Output signal).
  • Near-end speaker 12 outputs sound based on the echo suppression after signal e f [k].
  • Equation 9 when echo suppression and noise suppression are ideally realized, Equation 9 is expressed as Equation 10. At this time, only the audio signal s f [k] representing the utterance of the near-end speaker 2 that is the target of sound collection is passed.
  • FIG. 4 is a block diagram showing configurations of secondary path estimation unit 60 and echo suppression unit 70 in the first embodiment.
  • the echo suppression unit 70 performs echo cancellation as shown in Equation 4.
  • Equation 4 By substituting Equation 2 and Equation 5 into Equation 4, the echo-suppressed signal e f [k] is expressed as Equation 11.
  • secondary path information c f is the transfer characteristic of the space
  • a secondary path information c ⁇ f which is estimated as an adaptive filter, must match.
  • the secondary path information c ⁇ f is estimated by the secondary path estimation unit 60.
  • the secondary path estimator 60 estimates secondary path information c ⁇ f as an adaptive filter by a sequential update formula as shown in Formula 12.
  • c ⁇ (k) f is an adaptive filter estimated at time k.
  • c ⁇ (k) f is updated by adding a value proportional to the adaptive filter update amount ⁇ c ⁇ f to the adaptive filter one time before.
  • ⁇ is a step parameter for controlling the update amount per update, and is generally a value that attenuates according to the tap of the adaptive filter.
  • a technique such as an LMS method, a learning identification method (NLMS method), or a time domain ICA is generally used.
  • NLMS method learning identification method
  • a time domain ICA is generally used.
  • l is an index representing the l-th tap in the adaptive filter.
  • N f [k] is a norm signal for normalizing the update amount.
  • N f [k] the reference signal power from the current time k to a certain time in the past is used.
  • the error signal e f [k] is multiplied as it is, but in the time domain ICA, a value that is nonlinearly transformed by a sign function or a tanh function is used.
  • an adaptive filter estimation method an adaptive filter estimation method using samples over a plurality of times, such as an affine projection method (APA method) or a recursive least square method (RLS method) may be used.
  • APA method affine projection method
  • RLS method recursive least square method
  • the update amount ⁇ c ⁇ f calculated by Expression 13 is added to the adaptive filter c ⁇ (k) f as shown by Expression 12 in the secondary path estimation unit 60.
  • the calculated adaptive filter c ⁇ (k) f is By convolved to the loudspeaker signal y f at the echo suppressor 70, an echo cancellation is realized.
  • FIG. 5 is a block diagram showing a configuration of active noise control signal generation section 90 in the first embodiment. 5, the secondary path estimation unit 60 and the echo suppression unit 70 described in the detailed block diagrams shown in FIGS. 3 and 4 are omitted.
  • the active noise control signal generation unit 90 includes a reference signal generation unit 91, an adaptive filter estimation unit 92, and a control signal generation unit 93.
  • the feedforward type active noise control apparatus 50 performs a filtered-x type adaptive filter update.
  • feedback-type active noise control having a similar configuration.
  • the active noise control device 50 spatial noise suppression is realized at the position of the near-end microphone 11 by reproducing the internally generated control signal from the loudspeaker.
  • the active noise control device 50 internally estimates the coefficient w f of the adaptive filter for generating the control signal.
  • the control signal generator 93 convolves the internally estimated coefficient w f of the adaptive filter with the time-series signal v 1 of the noise signal v 1 [k] acquired by the noise source acquisition unit 80, thereby controlling the control signal n ⁇ ′. f [k] is generated as in Expression 14.
  • the coefficient w f of the adaptive filter is a coefficient for canceling while the noise signal from the noise source position to transmit the primary route information h f coming into the microphone light of the effect of the secondary path information c f.
  • the adaptive filter coefficient w f is estimated by the adaptive filter estimation unit 92.
  • the reference signal generated in the reference signal generation unit 91 is required.
  • the reference signal generation unit 91 obtains the reference signal r 1 [k] in the feedforward active noise control device 50 based on the secondary path information c ⁇ f estimated by the secondary path estimation unit 60 using Equation 15 Generate as follows.
  • the reference signal r 1 [k] is converted into the time-series signal v 1 of the secondary path information c ⁇ f estimated as an adaptive filter inside the echo cancellation and the noise signal v 1 [k] acquired by the noise source acquisition unit 80. Based on.
  • feed-forward type active noise control when the generated control signal is amplified from the near-end speaker 12, spatial characteristics (secondary path) when sound propagates from the near-end speaker 12 to the near-end microphone 11 position. Information) is folded into the control signal. Therefore, the reason for generating the reference signal is that it is necessary to refer to the noise signal in consideration of the influence of the secondary path in order to estimate the adaptive filter used in the active noise control.
  • Control signal n ⁇ 'f expressed by Equation 14 [k] is observed as a signal convolved secondary path information c f as shown in Equation 7 is in the near-end side microphone 11 position. Therefore, the error signal after noise suppression actually observed at the position of the near-end microphone 11 substitutes Equation 3, Equation 7, and Equation 15 for Equation 10, the incoming echo is ideally canceled, and the near-end side speech Assuming that the signal s f [k] does not exist, it is expressed as Expression 16.
  • Equation 16 so that the erasing of the noise is achieved when there is a match with the primary path information h f is convoluted secondary path information c f the coefficient of the adaptive filter w f characteristics.
  • the coefficient w f of the adaptive filter is considered to converge to the characteristics convolved with the inverse filter and the primary path information h f of the secondary routing information c f.
  • the secondary path information c f when reproducing the control signal from the near end speaker 12 is a characteristic convolved by automatically conveyed on space.
  • the reference signal for estimating the coefficient w f of the adaptive filter for minimizing the error signal of Equation 16 is expressed as Equation 17 when the order of convolution of the third modified equation second term of Equation 16 is changed. it can.
  • the active noise control method for estimating the coefficient of the adaptive filter using the reference signal obtained by convolving the secondary path information in this way is called filtered-X type active noise control.
  • This method has been widely used in the active noise control apparatus 50 conventionally.
  • the secondary path information c f used to generate the reference signal c f * v 1 is generally it is necessary to previously measured statically. However, when the secondary path information measured statically is used, if the transfer characteristic of the secondary path is different between the measurement time and the use time, the assumed silencing performance cannot be exhibited.
  • the secondary path information c ⁇ f estimated as an adaptive filter by the secondary path estimation unit 60 is used as the secondary path information. Then, by generating the reference signal as shown in Equation 15, dynamic path variation can be reflected in the active noise control device 50.
  • the adaptive filter estimation unit 92 uses the coefficient w f of the adaptive filter for active noise control.
  • w (k) f is an adaptive filter estimated at time k.
  • w (k) f is updated by adding a value proportional to the adaptive filter update amount ⁇ w f to the adaptive filter one time before.
  • ⁇ is a step parameter for controlling the amount of update per update, and is generally a value that attenuates according to the tap of the adaptive filter.
  • ⁇ w f reflects the spatial noise suppression amount by the error signal e f [k] as in Equation 19, and refers to the reference signal r 1 [k] expressed in Equation 15. It is calculated by.
  • N 1 [k] is a norm signal for normalizing the update amount.
  • N 1 [k] the reference noise signal power from the current time k to a certain time in the past is used.
  • the error signal e f [k] is multiplied as it is, but in the time domain ICA, a value nonlinearly transformed by a sign function or a tanh function is used.
  • an adaptive filter estimation method using samples over a plurality of times, such as the affine projection method (APA method) and the recursive least square method (RLS method), as with the adaptive filter in the echo canceller.
  • APA method affine projection method
  • RLS method recursive least square method
  • the active noise control signal generation unit 90 generates the control signal n ⁇ ′ f [k] by convolving the learned adaptive filter coefficient w f with the noise signal v 1 as shown in Equation 14. Then, by reproducing the control signal n ⁇ ' f [k] from the near-end speaker 12, noise suppression is realized as in Expression 10.
  • the error signal of Equation 10 also includes the entire band signal when band limitation is not performed before being input to the adaptive filter estimation unit 92.
  • the frequency band targeted for active noise control is considered to depend on the type of signal that is the noise source. For example, when suppressing a noise signal caused by engine noise, the noise source frequency is determined by the engine speed. Therefore, it is only necessary to generate a control signal up to about 300 Hz.
  • the control frequency of the LPF 921 is changed after determining the band to be controlled according to the error microphone position, the speaker position, etc. .
  • the adaptive filter for active noise control is not learned using the entire band signal, but the learning signal used for the frequency band is used for learning after being band-limited. This makes it possible to limit the passband of the adaptive filter to be learned.
  • the active noise control signal generation unit 90 convolves the adaptive filter learned in this way with the noise signal. Thereby, when an actual control signal is generated, the control signal can be generated without the noise signal receiving the group delay due to the LPF. That is, the adaptive filter estimation unit 92 includes an LPF 921 (band limiting filter).
  • the control signal generation unit 93 generates a control signal n ⁇ ′ f [k] using a signal whose band is limited by the LPF 921. Specifically, as shown in FIG. 5, the adaptive filter estimation unit 92 uses the LPF 921 to band the reference signal r 1 [k] obtained by convolving the noise signal v 1 with the secondary path information c ⁇ f . Restrict.
  • the control signal generation unit 93 generates a control signal n ⁇ ′ f [k] using a signal whose band is limited by the LPF 921.
  • Equation 10 when the audio signal s f [k] included in Equation 10 exists, the update amount of Equation 13 and Equation 19 does not become 0, and the adaptive filter coefficient is set in the wrong direction without bringing the error amount close to 0. A double talk to correct occurs.
  • a double talk detector DTD is provided to detect a section in which s f [k] does not exist, or an update rule (time domain) in which learning is possible even in a double talk state. ICA etc.) must be used.
  • the active noise control device 50 regards the coefficient of the adaptive filter in the echo cancellation device 40 as secondary route information and responds to dynamic route fluctuations. Therefore, the operation of the active noise control device 50 depends on the convergence state of the adaptive filter of the echo cancellation device 40. That is, when the adaptive filter of the echo cancellation apparatus 40 has not converged, the reference noise signal calculated by Equation 15 is not correctly calculated, and the update of the adaptive filter is affected by the echo suppression residual signal in the error signal. It will reach. Therefore, it is considered that the learning of the adaptive filter in the active noise control device 50 needs to reflect the learning state of the adaptive filter of the echo cancellation device 40.
  • the single talk section refers to a section where the near-end speech s f [k] does not exist in Equation 1.
  • a double talk detector is provided between the near-end microphone 11 and the near-end speaker 12 in order to detect a section where the near-end sound s f [k] does not exist.
  • the DTD is a device for monitoring a near-end microphone signal and a near-end speaker signal and detecting a single talk section and a double talk section based on the average signal level and the maximum peak level of each.
  • the double talk section refers to a section in which the near-end speech s f [k] and the echo signal d f [k] exist simultaneously.
  • the DTD calculates the level ratio of the input / output signals of the echo cancellation device 40 when detecting a single talk section instead of a double talk section.
  • the input signal of the echo cancellation device 40 is a signal obtained by adding the echo signal d f [k] and the noise signal n f [k].
  • the output signal is a signal obtained by adding the signal after echo cancellation (d f [k] ⁇ d ⁇ f [k]) and the noise signal n f [k]. Therefore, the level ratio is ⁇ (d f [k] ⁇ d ⁇ f [k]) + n f [k] ⁇ / ⁇ d f [k] + n f [k] ⁇ . In the state where the echo canceller has not converged, the cancellation echo signal d ⁇ f [k] is 0, so this ratio is close to 1.
  • the adaptive filter when the adaptive filter is ideally converged, the first term of the numerator approaches a value close to 0, and thus this ratio becomes a value smaller than 1.
  • the convergence degree of the adaptive filter in the echo cancellation device 40 can be determined.
  • This input / output signal is not an instantaneous value, but may be an average signal level over a fixed time or a ratio based on each signal norm calculated by other appropriate means.
  • the adaptive filter update of the active noise control device 50 is controlled based on the signal level ratio calculated by the above means, for example, only when the signal level ratio falls below a predetermined threshold value, the active noise is controlled. It is conceivable to learn the adaptive filter of the control device 50. Alternatively, the adaptive filter of the active noise control device 50 is always learned, but when the signal level ratio falls below a threshold value, the step size in learning may be increased.
  • the amplitude peak maximum value of the adaptive filter of the echo cancellation device 40 is another method for grasping the learning state of the echo cancellation device 40. To monitor. It is also conceivable to control the learning of the adaptive filter on the active noise control device 50 side when a predetermined threshold value is exceeded.
  • an update rule that enables learning even when noise is superimposed on the main signal as an update rule for the adaptive filter of the echo cancellation apparatus 40.
  • the noise signal acquired by the noise source acquisition unit 80 is referred to before the near-end audio signal is input to the echo cancellation device 40.
  • configuration is conceivable adaptively providing the noise removing unit to subtract the noise component on the line.
  • This noise removing unit is a block for electrically eliminating noise components, and overlaps with the effect of spatial noise suppression by the active noise control device 50. Therefore, a method is conceivable in which this block is operated only until the adaptive filter in the echo canceling apparatus 40 is stabilized and then stopped. The determination of the stabilization of the adaptive filter can be made by using the input / output level ratio of the echo cancellation device.
  • the adaptive filter estimation unit 92 operates in cooperation with the secondary path estimation unit 60. Specifically, the adaptive filter estimation unit 92 calculates the coefficient w f of the adaptive filter after the secondary path estimation unit 60 completes the calculation of the transfer characteristic of the secondary path (secondary path information c ⁇ f ). .
  • FIG. 7 is a block diagram showing the configuration of the conversation support apparatus 1 according to the second embodiment.
  • the subscripts of the symbol are the arrival speaker position (near end: f, far end: r) and the destination microphone position (near end: f, far end: r) are arranged in order.
  • the feedback characteristic arriving from the far-end speaker 22 to the near-end microphone 11 is represented by c rf and the feedback signal is represented by drf [k].
  • the adaptive filter used for active noise control corresponding to the transfer characteristic uses the same subscript as the corresponding secondary path.
  • FIG. 7 shows only the configuration related to the near-end microphone 11, but a similar block configuration can be taken even when focusing on the far-end microphone 21 side.
  • the conversation support apparatus 1 After the sound recorded by the near-end microphone 11 is reproduced by the far-end speaker 22, the loud sound is spatially transmitted to the near-end microphone 11 as a feedback signal drf [k]. A problem occurs.
  • the conversation support apparatus 1 includes an adaptive filter estimation unit 92 for estimating the feedback characteristic c rf . Furthermore, the conversation support apparatus 1 generates a pseudo feedback signal d ⁇ rf [k] using the adaptive filter estimated by the adaptive filter estimation unit 92, and subtracts this from the microphone input signal to cancel the feedback signal. Part (not shown).
  • the feedback characteristic is regarded as a secondary path in active noise control.
  • active noise control using the far-end speaker 22 is performed by the same configuration as the active noise control device 50 using the near-end speaker 12 in the first embodiment.
  • the microphone (input) signal m f [k] in FIG. 7 includes the near-end side input sound s f [k], the incoming echo signal d ff [k] from the near-end side speaker 12, and the incoming feedback signal d rf [k]. Then, the primary path information h f is transmitted from v 1 [k] indicating noise, and the sum of the incoming noise signals n f [k] is formulated as in Expression 20.
  • the error signal e is obtained by subtracting the pseudo echo signal d ⁇ ff [k] and the pseudo feedback signal d ⁇ rf [k] from the microphone signal m f [k] of Equation 20.
  • f [k] is calculated (Formula 21).
  • the pseudo echo signal d ⁇ ff [k] is estimated by convolving the near-end speaker signal y f [k] with the secondary path information c ⁇ ff estimated using the transfer characteristic of the arrival of the echo signal as an adaptive filter. Is done.
  • the pseudo feedback signal d ⁇ rf [k] is estimated by convolving the far-end side loudspeaker signal y r [k] in the secondary path information c ⁇ rf estimating the transfer characteristics feedback signal arrives as an adaptive filter
  • the error signal e f [k] is input together with the near-end speaker signal to the secondary path estimation unit 60 corresponding to the echo transfer characteristic in order to estimate the echo transfer characteristic c ff .
  • the error signal e f [k] is input together with the far-end speaker signal to the secondary path estimation unit 60 corresponding to the feedback transfer characteristic in order to estimate the feedback transfer characteristic crf .
  • the secondary path information c ⁇ ff and c ⁇ rf as the adaptive filters estimated by the secondary path estimation unit 60 are v 1 representing the noise signal v 1 [k] acquired from the noise source 30 as a time-series signal. Is input together with an error signal to the adaptive filter estimation unit 92 in active noise control.
  • the control signal n ⁇ ′ ff [k] in active noise control, n ⁇ ' rf [k] is generated.
  • Control signal n ⁇ 'ff a [k] is subtracted from the near-end speaker signal, n ⁇ ' by subtracting the rf [k] from the far end speaker signal, the final speaker reproduction signal y 'f [k] And y ′ r [k] are generated.
  • Loudspeaker reproduction signal y 'f [k] and y' control signal included in the r [k] n ⁇ 'ff [k], n ⁇ ' rf [k] transmits the secondary path information c ff and c rf
  • the cancellation noises n ⁇ ff [k] and n ⁇ rf [k] are obtained.
  • the microphone signal represented by Expression 20 is represented by Expression 22 by active noise control.
  • the incoming noise n f [k] in the error microphone is deleted when it coincides with the sum of the canceling noises n ⁇ ff [k] and n ⁇ rf [k] by active noise control.
  • Equation 23 the error signal of Equation 21 is expressed as Equation 23.
  • Equation 23 when echo suppression, feedback suppression, and noise suppression are ideally realized, only the microphone signal on the near end side is allowed to pass.
  • the incoming echo signal and the incoming feedback signal are simultaneously erased, and the error signal is used in the parallel filter learning.
  • the secondary path information c ⁇ ff as an adaptive filter is learned using the error signal from which only the incoming echo signal is deleted, and the error signal from which the incoming feedback signal is further deleted from the error signal.
  • a serial configuration for learning the next path information c ⁇ rf may be used.
  • this configuration can be realized as active noise control using only feedback characteristics as secondary path information even when a one-way conversation support from the front to the rear where no far-end microphone 21 is present is assumed. That is, even when only the feedback signal from the far-end side speaker 22 to the near-end side microphone 11 is mixed in the near-end side microphone 11, active noise control can be performed.
  • a case where active noise control using the far-end speaker 22 is realized in a conversation support apparatus using the second-row door speaker of the vehicle as the far-end speaker 22 can be considered.
  • the near-end microphone 11 serves both as a microphone for collecting voice utterance and an error microphone in the active noise control device 50. Therefore, the installation location is preferably in the vicinity of the speaker's mouth and is more strongly required to be close to the speaker's ear position.
  • Fig. 8 shows an example of a microphone installation location.
  • the near-end microphone 11 is installed above the seat head or on the upper side.
  • a configuration in which a microphone is embedded in a headrest is also conceivable.
  • the actual microphone installation location needs to be determined according to the frequency band to be controlled by the active noise control device 50. This is because the higher the frequency, the shorter the wavelength, and the longer the distance from the ear to the microphone, the lower the controllable frequency.
  • a microphone array using a plurality of microphones as an array configuration as shown in FIG. 8 may be used.
  • the reason why the microphone array is used is that it collects only the voice in the direction of the speaker with high signal-to-noise ratio by performing directivity synthesis and performs active noise control using a plurality of error microphones. This is to improve the silencing performance.
  • the active noise control device it is necessary to provide an active noise control device 50 and an active noise control signal generation unit 90 corresponding to each microphone.
  • the active noise control device 50 may be provided only for each microphone existing in the region to be controlled.
  • the noise control control signals generated by these active noise control devices 50 are added to the near-end speaker signal.
  • the speaker installation position is preferably as far as possible from the near-end microphone 11 because the amount of acoustic coupling on the near-end side increases from the viewpoint of echo cancellation.
  • the position is preferably as close as possible to the near-end side error microphone. This is because, after detecting the noise signal, it is necessary to generate the noise control signal and radiate it from the speaker until the noise spatially reaches the control region. Therefore, it is preferable that the speaker is located at a position close to the near-end microphone 11 so that the echo canceling operation is not hindered.
  • the conversation support device 1 includes a near-end speaker 12, a near-end microphone 11, a noise source acquisition unit 80, and a secondary path estimation unit 60.
  • a first calculation unit an echo suppression unit 70, an adaptive filter estimation unit 92 (an example of a second calculation unit), and a control signal generation unit 93 (an example of an active noise suppression control unit) Prepare.
  • the noise source acquisition unit 80 acquires a noise signal v 1 indicating the noise of the noise source 30.
  • the secondary path estimation unit 60 calculates a secondary path transfer characteristic (secondary path information c ⁇ f ) between the near-end speaker 12 and the near-end microphone 11.
  • the echo suppression unit 70 uses the secondary path information c ⁇ f to suppress echoes from the near-end speaker 12 to the near-end microphone 11 (see Formula 5 and Formula 9).
  • the adaptive filter estimation unit 92 calculates a coefficient w f of the adaptive filter based on the secondary path information c ⁇ f and the noise signal v 1 (see Equations 15, 18, and 19).
  • the control signal generation unit 93 generates a control signal n ⁇ ′ f [k] for controlling noise suppression using the coefficient w f of the adaptive filter and the noise signal v 1 (see Expression 14).
  • the conversation support apparatus 1 ⁇ / b> A includes a feedback cancellation apparatus 40 ⁇ / b> A instead of the echo cancellation apparatus 40 of the conversation support apparatus 1.
  • the feedback cancellation device 40A includes a feedback suppression unit 70A.
  • the secondary path estimation unit 60 calculates, for example, the transfer characteristics of the secondary path between the far-end side speaker 22 and the near-end side microphone 11.
  • the feedback suppression unit 70A suppresses feedback from the far-end speaker 22 to the near-end microphone 11 using the transfer characteristic of the secondary path.
  • the conversation support apparatus 1A can suppress the feedback and the noise at the position of the near-end microphone 11 using the transfer characteristic of the secondary path.
  • the feedback that can be suppressed by the conversation support apparatus 1 ⁇ / b> A is not limited to the feedback from the far-end speaker 22 to the near-end microphone 11.
  • the conversation support apparatus 1 ⁇ / b> A can also suppress feedback from the near-end speaker 12 to the far-end microphone 21 by calculating a secondary path between the near-end speaker 12 and the far-end microphone 21. .
  • the conversation support device 1B includes a cancel device 40B instead of the echo cancellation device 40 of the conversation support device 1.
  • Cancel device 40B includes suppression unit 70B.
  • the secondary path estimator 60 includes a secondary path (first secondary path) transfer characteristic c ⁇ ff between the near-end speaker 12 and the near-end microphone 11, and the far-end speaker 22 and the near-end.
  • the transfer characteristic c ⁇ rf of the secondary path (second secondary path) with the side microphone 11 is calculated.
  • the suppressor 70B suppresses echoes arriving at the near-end microphone 11 using the transfer characteristic c ⁇ ff of the first secondary path, and uses the transfer characteristic c ⁇ rf of the second secondary path to suppress the near end.
  • the feedback arriving at the side microphone 11 is suppressed.
  • the adaptive filter estimation unit 92 calculates the coefficient w ff of the first adaptive filter based on the transfer characteristic c ⁇ ff of the first secondary path and the noise signal v 1 , and the transfer characteristic of the second secondary path c ⁇ based on rf and noise signals v 1, it calculates a second coefficient w rf of the adaptive filter.
  • the control signal generation unit 93 generates a first control signal n ⁇ ′ ff [k] for controlling noise suppression using the coefficient w ff of the first adaptive filter and the noise signal v 1 , Using the coefficient w rf of the adaptive filter and the noise signal v 1 , a second control signal n ⁇ ′ rf [k] for controlling noise suppression is generated.
  • the conversation support apparatus 1B further uses the first and second control signals n ⁇ ' ff [k] and n ⁇ ' rf [k] to further reduce noise at the position of the near-end microphone 11. Can be suppressed.
  • the conversation assistance apparatus 1B can also suppress noise at the position of the far end side microphone 21 by using the far end side microphone 21.
  • the present disclosure can be applied to a conversation support apparatus that suppresses noise at a speaker's position in an environment where noise that interferes with the voice that the user wants to hear is generated.
  • the present disclosure is applicable to vehicles such as automobiles, airplanes, trains, and ships.

Abstract

会話支援装置は、スピーカと、マイクと、雑音を示す雑音信号を取得する雑音源取得部と、スピーカとマイクへとの間の二次経路の伝達特性を算出する第一の算出部と、二次経路の伝達特性を用いてエコーを抑圧するエコー抑圧部と、二次経路の伝達特性および雑音信号に基づいて、適応フィルタの係数を算出する第二の算出部と、適応フィルタの係数および雑音信号を用いて、雑音の抑圧を制御する制御信号を生成する能動的雑音抑圧制御部と、を備える。

Description

会話支援装置
　本開示は、聞き取りたい音声が雑音によって妨害される環境において、話者の位置における雑音を抑圧する会話支援装置に関する。
　特許文献１は、車室内に備え付けられたマイクおよびスピーカを用いて、話者間の双方向での会話支援を実現するための双方向会話補助装置を開示する。この双方向会話補助装置は、第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置であって、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカと、エコー・クロストークキャンセラと、を備える。エコー・クロストークキャンセラは、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力されるクロストークの程度を示す妨害信号の推定値を算出する。そして、エコー・クロストークキャンセラは、算出した妨害信号の推定値を、第１マイクの出力信号から除去する。
　特許文献２は、車室内においてロードノイズやエンジン騒音を含む車室内騒音を車室内空間において抑圧するための能動的騒音抑圧装置を開示する。この能動的騒音抑圧装置は、車室内の騒音を空間的に相殺するための相殺音を生成するための制御部と、騒音を抑圧するための相殺音を出力するスピーカと、前記騒音と前記相殺音との相殺誤差音を検出するための誤差検出マイクを備える。前記制御部は、予め同定された前記相殺音出力スピーカと前記誤差検出マイクとの間の伝達特性に対応する補正値に基づいて、前記相殺音スピーカより再生された相殺音を前記誤差検出マイクにより検出された相殺誤差音からキャンセルするためのエコーキャンセル信号を生成するエコーキャンセル部を備える。
国際公開第２０１７／０６４８３９号 特開２００８－２４７３４２号公報
　本開示は、マイクとスピーカとの間において周囲環境変化に伴う音の伝達経路が変化した場合であっても、その変化に追従することによって能動的雑音抑圧を実現する会話支援装置を提供する。
　本開示における会話支援装置は、スピーカと、マイクと、雑音を示す雑音信号を取得する雑音源取得部と、スピーカとマイクとの間の二次経路の伝達特性を算出する第一の算出部と、二次経路の伝達特性を用いてエコーを抑圧するエコー抑圧部と、二次経路の伝達特性および雑音信号に基づいて、適応フィルタの係数を算出する第二の算出部と、適応フィルタの係数および雑音信号を用いて、雑音の抑圧を制御する制御信号を生成する能動的雑音抑圧制御部と、を備える。
　本開示における会話支援装置は、マイクとスピーカとの間での環境が変化した場合であっても、その変化に追従することによって能動的雑音抑圧を実現することができる。
図１は、本開示におけるエコーキャンセル装置および能動的雑音制御装置を備えた会話支援装置の概要図である。 図２は、本開示におけるエコーキャンセル装置および能動的雑音制御装置を備えた会話支援装置の構成を示す構成図である。 図３は、実施の形態１における会話支援装置の構成を示すブロック図である。 図４は、実施の形態１における会話支援装置のエコー抑圧部および二次経路推定部の構成を示すブロック図である。 図５は、実施の形態１における会話支援装置の能動的雑音制御信号生成部の構成を示すブロック図である。 図６は、会話支援装置に含まれるエコーキャンセル装置の前段に雑音源取得部で取得した雑音源信号を用いて、入力信号から雑音を抑圧する場合の構成を示すブロック図である。 図７は、実施の形態２における会話支援装置の構成を示すブロック図である。 図８は、本開示における会話支援装置のマイクを配置する箇所の一例を示す外観図である。 図９は、本開示の別の態様に係る会話支援装置の構成を示す構成図である。 図１０は、本開示のさらに別の態様に係る会話支援装置の構成を示す構成図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　以下、図１～２を用いて、本開示における会話支援装置１の構成を説明する。
　図１は、本開示におけるエコーキャンセル装置４０および能動的雑音制御装置５０を備えた会話支援装置１の構成図である。本開示においては、会話支援装置１の使用例として自動車を一例に説明する。すなわち、会話支援装置１は、自動車等の乗物に設けられている。
　本開示における会話支援装置１は、近端側マイク１１、遠端側マイク２１、近端側スピーカ１２、遠端側スピーカ２２、エコーキャンセル装置４０、能動的雑音制御装置５０を備える。
　近端側マイク１１は、近端側話者２の発話を収音しつつ、雑音源３０より近端側話者２近傍へと到来する雑音をモニタリングする。すなわち、近端側マイク１１は、近端側話者２の発話を収音するための収音マイクと、近端側話者２近傍の雑音と能動的雑音制御装置５０により生成し再生された雑音相殺音との誤差をモニタリングするための誤差マイクとを兼用する。
　遠端側マイク２１は、遠端側話者３の発話を収音しつつ、雑音源３０より遠端側話者３近傍へと到来する雑音をモニタリングする。すなわち、遠端側マイク２１は、遠端側話者３の発話を収音するための収音マイクと、遠端側話者３近傍の雑音と能動的雑音制御装置５０により生成し再生された雑音相殺音との誤差をモニタリングするための誤差マイクとを兼用する。
　近端側スピーカ１２は、遠端側話者３の発話を拡声しつつ、近端側話者２近傍の雑音を消去するための信号を再生する。すなわち、近端側スピーカ１２は、遠端側話者３の発話を拡声するための拡声スピーカと、近端側話者２近傍の雑音を消去するための消去スピーカとを兼用する。言い換えると、近端側スピーカ１２は、遠端側マイク２１と電気的に接続されており、遠端側マイク２１への入力に基づいて音を出力する。
　遠端側スピーカ２２は、近端側話者２の発話を拡声しつつ、遠端側話者３近傍の雑音を消去するための信号を再生する。すなわち、遠端側スピーカ２２は、近端側話者２の発話を拡声するための拡声スピーカと、遠端側話者３近傍の雑音を消去するための消去スピーカとを兼用する。言い換えると、遠端側スピーカ２２は、近端側マイク１１と電気的に接続されており、近端側マイク１１への入力に基づいて音を出力する。
　なお、近端側は、車体における進行方向に対して近い側のことであり、例えば、運転席側または助手席側を指す。また、遠端側は、車体における進行方向に対して遠い側のことであり、例えば、後列席側を指す。
　エコーキャンセル装置４０は、近端側スピーカ１２より再生された音声信号が空間を伝搬し近端側マイク１１へと伝達することにより発生する到来エコー信号を、近端側マイク１１による収音信号から除去する。さらに、エコーキャンセル装置４０は、遠端側スピーカ２２より再生された音声信号が空間を伝搬し遠端側マイク２１へと伝達することにより発生する到来エコー信号を、遠端側マイク２１による収音信号から除去する。
　能動的雑音制御装置５０は、近端側マイク１１によりモニタリングされた近端側話者２近傍の雑音信号と、別途手段により取得される雑音源３０の雑音信号とを用いて近端側話者２近傍の雑音量を制御するための制御信号を生成する。さらに、能動的雑音制御装置５０は、遠端側マイク２１によりモニタリングされた遠端側話者３近傍の雑音信号と、別途手段により取得される雑音源３０の雑音信号とを用いて遠端側話者３近傍の雑音量を制御するための制御信号を生成する。
　会話支援装置１では、近端側から遠端側に対しては、近端側マイク１１により収音された近端側話者２の発話をエコーキャンセル装置４０へと入力する。そして、不要な到来エコー信号の除去を行った発話信号を遠端側スピーカ２２から遠端側話者３に向けて拡声する。これにより、車室内における近端側話者２から遠端側話者３への会話支援が実現される。
　すなわち、遠端側では会話支援装置１により近端側話者２の発話が拡声される。これにより、例えば走行中に雑音が発生する環境において、近端側話者２の発話が聴取困難な場合でも、近端側話者２の音声に対する聞き取りが向上できる。
　このとき、能動的雑音制御装置５０は、会話支援装置１による拡声により聴取を補助するだけでなく、遠端側受聴位置での雑音の抑圧も行う。そのため、双方向の会話支援を向上することができる。
　図２は、本開示における会話支援装置１の構成を示す図である。会話支援装置１は、近端側マイク１１、近端側スピーカ１２、遠端側マイク２１、遠端側スピーカ２２、二次経路推定部６０、エコーキャンセル装置４０、雑音源取得部８０、能動的雑音制御装置５０を備える。エコーキャンセル装置４０は、エコー抑圧部７０を含む。能動的雑音制御装置５０は、能動的雑音制御信号生成部９０を含む。なお、雑音源取得部８０、二次経路推定部６０、エコーキャンセル装置４０、および能動的雑音制御装置５０の全部または一部は、一または複数の集積回路で実現されてもよい。また、雑音源取得部８０、二次経路推定部６０、エコーキャンセル装置４０、および能動的雑音制御装置５０の全部または一部は、会話支援装置１が備えるメモリに格納されたプログラムを、会話支援装置１が備えるプロセッサが実行することによって実現されてもよい。
　二次経路推定部６０は、近端側では近端側マイク１１からエコーを抑圧した後の信号であるエコー抑圧後信号、および、近端側スピーカ１２における拡声信号を用いて、二次経路情報を推定する。また、二次経路推定部６０は、遠端側では、遠端側マイク２１からエコーを抑圧した後の信号であるエコー抑圧後信号、および、遠端側スピーカ２２における拡声信号を用いて、二次経路情報を推定する。ここで、近端側の二次経路情報は、近端側スピーカ１２における出力信号が近端側マイク１１へと伝達する際の空間の伝達特性である。また、遠端側の二次経路情報は、遠端側スピーカ２２における出力信号が遠端側マイク２１へと伝達する際の空間の伝達特性である。
　なお、以下では、エコーキャンセル装置４０、および能動的雑音制御装置５０に関して近端側マイク１１にて収音した音声を対象として説明を行う。しかし、遠端側マイク２１に対しても同様の説明が成り立つ。
　エコー抑圧部７０は、エコーキャンセル装置４０に備えられる。エコー抑圧部７０は、近端側マイク１１で収音された音声の信号である収音信号を入力し、エコー信号を抑圧するための疑似エコー信号を生成する。そして、エコー抑圧部７０は、生成した疑似エコー信号を収音信号から減算することによってエコー信号を抑圧する。ここで、エコー信号は、近端側スピーカ１２から拡声された音声が空間を伝搬することで近端側マイク１１に収音される信号である。
　なお、エコー抑圧部７０は、近端側スピーカ１２から出力される出力信号と、二次経路情報と、を用いて、疑似エコー信号を生成する。すなわち、二次経路情報がエコー抑圧部７０へ入力されることで、エコー抑圧部７０は疑似エコー信号を生成する。
　エコー抑圧部７０によりエコー信号が抑圧されたエコー抑圧後信号は、別途遠端側に備えられた能動的雑音制御装置５０により生成された制御信号と加算され、遠端側スピーカ２２より再生される。
　雑音源取得部８０は、雑音源３０の雑音を示す雑音信号を取得する。例えば、雑音源３０がエンジン回転音の場合、エンジンの近傍に外部マイクを配置することで、雑音源取得部８０は、エンジン回転音を雑音信号として取得することができる。また、雑音源取得部８０は、エンジンパルスの波形を雑音信号として取得しても良い。なお、上記の外部マイクは、一般的に、参照マイクまたは雑音参照マイクとも呼ばれる。
　また、雑音源３０が道路とタイヤの間で生じる雑音である場合には、タイヤ近傍に外部マイクを配置することで、雑音源取得部８０は、雑音信号を取得することができる。なお、雑音源取得部８０は、雑音源取得部８０という独立した構成としたが、近端側マイク１１または遠端側マイク２１に備えられる構成であってもよい。
　能動的雑音制御信号生成部９０は、近端側話者２近傍の雑音を制御するための制御信号を生成する。能動的雑音制御信号生成部９０は、生成された制御信号を近端側スピーカ１２の再生信号に加算し、加算後の信号を拡声する。これにより、近端側マイク１１近傍の雑音を制御することができる。また、制御信号は、雑音発生位置から近端側話者２近傍へと到来する騒音を空間的に抑圧するための信号として推定される。すなわち、制御信号は、アクティブノイズコントロール（ＡＮＣ）のための信号である。
　能動的雑音制御信号生成部９０が制御信号を生成するためには、雑音源取得部８０によって取得された雑音信号と、近端側話者２の近傍の制御空間上での雑音抑圧量を測るための誤差信号と、二次経路情報と、が必要である。ここで、誤差信号は、近端側話者２の近傍位置での雑音信号が、近端側スピーカ１２より再生された制御信号によって空間的にどれだけ抑圧されているかを、近端側マイク１１でモニタリングすることによって得られる。また、二次経路情報は、近端側スピーカ１２から再生された制御信号が雑音源３０をモニタリングする位置においてどのように変化するかを表す情報である。
　しかしながら、近端側マイク１１でモニタリングする信号には近端側スピーカ１２より再生された遠端側話者３の発話などのエコー信号が混入している。そのため、能動的雑音制御装置５０においては、エコー抑圧部７０がエコー信号を消去したエコー抑圧後信号を誤差信号として用いる必要がある。また、予め二次経路推定部６０によって推定された二次経路情報を能動的雑音制御信号生成部９０へと入力することによって、二次経路情報は得られる。
　以上のように、能動的雑音制御信号生成部９０は、雑音信号、誤差信号、そして二次経路情報を用いて制御信号を生成する。
　（実施の形態１）
　以下、図３～６を用いて、実施の形態１における会話支援装置１の処理を説明する。
　［１－１．会話支援装置における処理］
　図３は実施の形態１における会話支援装置におけるブロック図である。
　ここで近端側を添字ｆ、遠端側を添字ｒで表すとする。また、ｋを離散時間インデックスとする。数式において太字で表現されている記号はベクトルであり、時系列信号ベクトルまたは時系列に対応した係数ベクトルを表す。
　なお、本実施の形態では、一例として近端側の動作について説明するが、近端側、遠端側のどちらも同様の動作を行うとして良い。
　近端側マイク１１によって収音されるマイク（入力）信号ｍｆ［ｋ］は、近端側話者２による発話などを表す音声信号ｓｆ［ｋ］、到来エコー信号ｄｆ［ｋ］、雑音信号ｎｆ［ｋ］の和として、数式１のように表現される。
Figure JPOXMLDOC01-appb-M000001
　ここで、到来エコー信号ｄｆ［ｋ］は、数式２に示すように、消去信号加算前の近端側スピーカ１２の再生信号ｙｆ［ｋ］の時系列信号ｙｆに、二次経路情報ｃｆを畳み込むことによって得られる。二次経路情報ｃｆとは、近端側スピーカ１２から近端側マイク１１への空間的な伝達特性を有限長のＦＩＲフィルタとして表現した際の経路情報である。
Figure JPOXMLDOC01-appb-M000002
　ここで＊は畳み込み演算を表す。
　また、二次経路情報ｃｆはフィードフォワード型の能動的雑音制御装置５０から見た際の二次経路の伝達特性である。なお、フィードフォワード型とは、雑音の影響が及ぶ前に雑音を打ち消す制御動作である。ここで、二次経路は、直接音の伝達経路および反射音の伝達経路を含む。すなわち、二次経路は、スピーカから出力された音波が空気を介してマイクへと伝搬する経路を意味する。
　到来雑音信号ｎｆ［ｋ］は、数式３に示すように、雑音源３０を表すｖ１［ｋ］の時系列信号ｖ１に、一次経路情報ｈｆを畳み込むことによって得られる。一次経路情報ｈｆとは、雑音源位置から近端側マイク１１への空間的な伝達特性を有限長のＦＩＲフィルタとして表現した際の経路情報である。
Figure JPOXMLDOC01-appb-M000003
　なお、雑音源３０を表すｖの添字の１は、複数の雑音源が存在することを想定した場合の１番目の雑音源を表す。また、一次経路情報ｈｆはフィードフォワード型の能動的雑音制御装置５０から見た場合の一次経路の伝達特性である。
　以上のように、マイク信号ｍｆ［ｋ］には、近端側スピーカ１２から到来したエコー信号ｄｆ［ｋ］と、雑音源３０から到来した到来雑音信号ｎｆ［ｋ］が重畳する。会話支援装置１は、この混入した到来エコー信号ｄｆ［ｋ］を抑圧することによって、近端側話者２の発話ｓｆ［ｋ］だけを遠端側話者３へと伝える必要がある。
　また、能動的雑音制御装置５０は、混入したエコー信号を抑圧した後のエコー抑圧後信号と、エコーキャンセルの際に得られた二次経路と、を用いて、空間的に雑音を抑圧するための制御信号を生成する必要がある。
　この目的を達成するため、本開示では以下のようなフローでの処理を実施する。
　まず、エコー抑圧部７０は、マイク信号ｍｆ［ｋ］からエコー信号ｄｆ［ｋ］の除去を行う。
　エコー信号の除去の際に、エコー抑圧部７０は、エコー信号ｄｆ［ｋ］を除去するための疑似エコー信号ｄ＾ ｆ［ｋ］を生成する。
　次に、二次経路推定部６０は、疑似エコー信号ｄ＾ ｆ［ｋ］を生成するために二次経路情報ｃｆを二次経路情報ｃ＾ ｆとして推定する。例えば、二次経路推定部６０は、近端側マイク１１への入力と、近端側スピーカ１２からの出力とに基づいて、二次経路情報ｃ＾ ｆ（二次経路の伝達特性）を算出する。具体的な到来エコー信号ｄｆ［ｋ］の抑圧方法については、図４を用いて後述する。
　エコー抑圧後信号ｅｆ［ｋ］は、数式４に示すように、得られた疑似エコー信号ｄ＾ ｆ［ｋ］をマイク信号ｍｆ［ｋ］から減算することで、得られる。
Figure JPOXMLDOC01-appb-M000004
　ここで、疑似エコー信号ｄ＾ ｆ［ｋ］は数式５のように表現される。
Figure JPOXMLDOC01-appb-M000005
　すなわち、疑似エコー信号ｄ＾ ｆ［ｋ］は、近端側スピーカ１２から再生される信号に対し、二次経路推定部６０で推定した二次経路情報ｃ＾ ｆを畳み込んで生成される信号である。
　そして、到来エコー信号ｄｆ［ｋ］と疑似エコー信号ｄ＾ ｆ［ｋ］が一致した場合にエコー抑圧が達成されることが分かる。
　次に、雑音源取得部８０から得られた雑音信号と、到来エコー信号が抑圧されたエコー抑圧後信号ｅｆ［ｋ］と、二次経路推定部６０によって推定された二次経路情報ｃ＾ ｆと、を用いて、能動的雑音制御信号生成部９０は、空間的に雑音を制御かつ抑圧するための制御信号ｎ＾’ ｆ［ｋ］を生成する。
　すなわち、二次経路推定部６０で推定した二次経路情報ｃ＾ｆを利用することにより、二次経路変動時においても安定して能動的雑音制御が実現できる。
　なお、能動的雑音制御信号生成部９０における制御信号の具体的な説明については図５を用いて後述する。
　得られた制御信号ｎ＾’ ｆ［ｋ］は、近端側スピーカ１２による再生信号ｙｆ［ｋ］から減算され、再生信号ｙ’ ｆ［ｋ］（＝ｙｆ［ｋ］　－　ｎ＾’ ｆ［ｋ］）が得られる。
　再生信号ｙ’ ｆ［ｋ］の時系列信号ｙ’ ｆが近端側スピーカ１２から再生された場合、ｄ’ ｆ［ｋ］は、数式６のように表される。
Figure JPOXMLDOC01-appb-M000006
　ここで、打ち消し雑音信号ｎ＾ ｆ［ｋ］は、数式７のように表される。
Figure JPOXMLDOC01-appb-M000007
　すなわち、制御信号ｎ＾’ ｆ［ｋ］に二次経路情報ｃｆが畳み込まれると近端側マイク１１の位置での雑音を抑圧するための打ち消し雑音信号ｎ＾ ｆ［ｋ］が得られる。そして、打ち消し雑音信号ｎ＾ ｆ［ｋ］が近端側スピーカ１２から出力された場合、数式１は数式８のように修正される。
Figure JPOXMLDOC01-appb-M000008
　また、数式８の表現により、数式４は数式９のように修正される。
Figure JPOXMLDOC01-appb-M000009
　数式８、９のどちらも、到来雑音信号ｎｆ［ｋ］と、制御信号ｎ＾’ ｆ［ｋ］に二次経路情報ｃｆが畳み込まれて生成された打ち消し雑音信号ｎ＾ ｆ［ｋ］とが一致した場合に、雑音抑圧が達成される。
　そのため、雑音抑圧動作はエコーキャンセルとは異なり、信号処理上ではなく、実際にスピーカから制御信号が出力され空間的に加算されることによって実現される。そのため、空間上におけるマイク位置において効果がさらに発揮される。
　以上のように、会話支援装置１は、収音したマイク信号に対し、制御信号をスピーカから出力することによる空間的な雑音抑圧と、雑音が抑圧された信号に対しエコーキャンセラによるエコー抑圧と、を同時に実現することができる。近端側マイク１１は、マイク信号ｍｆ［ｋ］（入力信号）を取得する。エコー抑圧部７０は、二次経路の伝達特性ｃ＾ ｆを用いて疑似エコー信号ｄ＾ ｆ［ｋ］（キャンセル信号）を生成する。能動的雑音制御信号生成部９０は、マイク信号ｍｆ［ｋ］、疑似エコー信号ｄ＾ ｆ［ｋ］、制御信号ｎ＾’ ｆ［ｋ］に基づき、エコー抑圧後信号ｅｆ［ｋ］（出力信号）を生成する。近端側スピーカ１２は、エコー抑圧後信号ｅｆ［ｋ］に基づいて音を出力する。
　また、数式９において、エコー抑圧および雑音抑圧が理想的に実現された場合、数式９は、数式１０と表現される。このとき、本来収音する対象である近端側話者２の発話を表す音声信号ｓｆ［ｋ］のみを通過させる。
Figure JPOXMLDOC01-appb-M000010
　なお、上記構成は遠端側マイク２１および遠端側スピーカ２２に対しても同様な構成を取ることが可能である。しかし、当業者による理解を容易にするべく簡略化するため、図３においては省略している。
　［１－２．会話支援装置における二次経路推定部６０およびエコー抑圧部７０の処理］
　図４は、実施の形態１における二次経路推定部６０およびエコー抑圧部７０の構成を示すブロック図である。
　エコー抑圧部７０は、数式４のようにエコーキャンセルを行う。数式４に数式２および数式５を代入すると、エコー抑圧後信号ｅｆ［ｋ］は、数式１１のように表現される。
Figure JPOXMLDOC01-appb-M000011
　これにより、エコー抑圧を達成するためには空間の伝達特性である二次経路情報ｃｆと、適応フィルタとして推定された二次経路情報ｃ＾ ｆと、が一致する必要がある。
　二次経路情報ｃ＾ ｆは二次経路推定部６０にて推定される。二次経路推定部６０は、数式１２のように逐次更新式による適応フィルタとしての二次経路情報ｃ＾ ｆの推定を行う。
Figure JPOXMLDOC01-appb-M000012
　ここで、ｃ＾（ｋ） ｆは時刻ｋにおいて推定される適応フィルタである。ｃ＾（ｋ） ｆは、１時刻前の適応フィルタに適応フィルタ更新量Δｃ＾ ｆに比例した値を加算することによって更新される。また、μは一回の更新あたりの更新量を制御するためのステップパラメータであり、一般に適応フィルタのタップに応じて減衰するような値である。
　また、Δｃ＾ ｆを求める方法としては、一般にＬＭＳ法や学習同定法（ＮＬＭＳ法）、時間領域ＩＣＡといった手法が用いられる。いずれの手法においても数式１３のようにエコー抑圧後信号ｅｆ［ｋ］によりエコー消去量を反映し、到来エコー信号の元となるスピーカ信号ｙｆ［ｋ］を参照することにより、Δｃ＾ ｆは求められる。
Figure JPOXMLDOC01-appb-M000013
　ここでｌは適応フィルタにおけるｌタップ目を表すインデックスである。
　また、Ｎｆ［ｋ］は更新量を正規化するためのノルム信号である。Ｎｆ［ｋ］として、現在時刻ｋから一定時間過去までの参照信号パワーなどが用いられる。また、数式１３では誤差信号ｅｆ［ｋ］をそのまま乗算しているが、時間領域ＩＣＡにおいては符号関数やｔａｎｈ関数により非線形変換した値を用いる。なお、適応フィルタの推定方法としてはアフィン射影法（ＡＰＡ法）や再帰最小二乗法（ＲＬＳ法）といった、複数時刻に渡るサンプルを用いる適応フィルタ推定法を用いても良い。
　数式１３により算出された更新量Δｃ＾ ｆは、二次経路推定部６０において数式１２のように適応フィルタｃ＾（ｋ） ｆへと加算される。このようにして算出された適応フィルタｃ＾（ｋ） ｆがエコー抑圧部７０においてスピーカ信号ｙｆに畳み込まれることで、エコーキャンセルが実現される。
　［１－３．会話支援装置における能動的雑音抑圧信号生成部の処理］
　図５は、実施の形態１における能動的雑音制御信号生成部９０の構成を示すブロック図である。なお、図５では、図３および図４に示した詳細ブロック図において記載した二次経路推定部６０およびエコー抑圧部７０を省略している。
　能動的雑音制御信号生成部９０は、参照信号生成部９１、適応フィルタ推定部９２、制御信号生成部９３を備える。
　なお、実施の形態１においては、フィードフォワード型の能動的雑音制御装置５０において、ｆｉｌｔｅｒｅｄ－ｘ型の適応フィルタ更新を行うことを前提とする。しかし、同様な構成を持ったフィードバック型の能動的雑音制御についても実現が可能である。
　数式８で説明したように、能動的雑音制御装置５０においては、内部で生成した制御信号を拡声スピーカから再生することにより、近端側マイク１１位置において空間的な雑音抑圧が実現される。能動的雑音制御装置５０では、上記制御信号を生成するための適応フィルタの係数ｗｆを内部的に推定する。制御信号生成部９３は、内部的に推定した適応フィルタの係数ｗｆを雑音源取得部８０で取得された雑音信号ｖ１［ｋ］の時系列信号ｖ１に畳み込むことで制御信号ｎ＾’ ｆ［ｋ］を数式１４のように生成する。
Figure JPOXMLDOC01-appb-M000014
　なお、適応フィルタの係数ｗｆは、雑音源位置から一次経路情報ｈｆを伝達してマイクロホンへと到来する雑音信号を二次経路情報ｃｆの影響を踏まえながら打ち消すための係数である。適応フィルタの係数ｗｆは、適応フィルタ推定部９２において推定される。
　適応フィルタの係数ｗｆの推定のためには、参照信号生成部９１において生成された参照信号が必要となる。
　参照信号生成部９１は、二次経路推定部６０により推定された二次経路情報ｃ＾ ｆを元に、フィードフォワード型の能動的雑音制御装置５０における参照信号ｒ１［ｋ］を、数式１５のように生成する。参照信号ｒ１［ｋ］は、エコーキャンセル内部で適応フィルタとして推定された二次経路情報ｃ＾ ｆと雑音源取得部８０で取得された雑音信号ｖ１［ｋ］の時系列信号ｖ１に基づいて生成される。
Figure JPOXMLDOC01-appb-M000015
　フィードフォワード型の能動的雑音制御では、生成した制御信号を近端側スピーカ１２から拡声する場合、近端側スピーカ１２から近端側マイク１１位置まで音が伝搬する際の空間特性（二次経路情報）が制御信号に畳み込まれる。そのため、参照信号を生成する理由として、能動的雑音制御で用いる適応フィルタを推定するためにはこの二次経路の影響を考慮した雑音信号を参照する必要があるということが挙げられる。
　数式１４で表現される制御信号ｎ＾’ ｆ［ｋ］は、近端側マイク１１位置においては数式７で示したように二次経路情報ｃｆが畳み込まれた信号として観測される。したがって、近端側マイク１１位置で実際に観測される雑音抑圧後の誤差信号は、数式１０に数式３、数式７、数式１５を代入し、到来エコーが理想的にキャンセルされ、近端側発話信号ｓｆ［ｋ］が存在しない場合として、数式１６のように表される。
Figure JPOXMLDOC01-appb-M000016
　数式１６から分かるように、一次経路情報ｈｆが適応フィルタの係数ｗｆに二次経路情報ｃｆを畳み込んだ特性と一致した場合に雑音の消去が達成されることとなる。この場合、適応フィルタの係数ｗｆは二次経路情報ｃｆの逆フィルタと一次経路情報ｈｆを畳み込んだ特性に収束するものと考えられる。
　ここで、二次経路情報ｃｆは制御信号を近端側スピーカ１２から再生した場合に、自動的に空間上を伝達することにより畳み込まれる特性である。数式１６の誤差信号を最小化するための適応フィルタの係数ｗｆを推定するための参照信号は、数式１６の第三番目の変形式第二項の畳み込みの順番を変更すると、数式１７として表現できる。
Figure JPOXMLDOC01-appb-M000017
　そのため、雑音源取得部８０で取得された雑音信号ｖ１［ｋ］の時系列信号ｖ１をｃｆに畳み込むことによって変形したｃｆ　＊　ｖ１を参照する。これによって適応フィルタの係数ｗｆを推定することが可能であると考えられる。
　このように二次経路情報を畳み込んだ参照信号を用いて適応フィルタの係数を推定する能動的雑音制御の方式はｆｉｌｔｅｒｅｄ－Ｘ型の能動的雑音制御と呼ばれる。この方式は、能動的雑音制御装置５０においては従来から広く用いられているものである。ｆｉｌｔｅｒｅｄ－Ｘ型の能動的雑音制御において、参照信号ｃｆ　＊　ｖ１の生成に用いられる二次経路情報ｃｆは、一般には予め静的に測定しておく必要がある。しかし、静的に測定した二次経路情報を用いた場合、測定時と使用時において二次経路の伝達特性が異なると、想定した消音性能を発揮することができないという点が問題となる。
　そこで、本開示においてはこの二次経路情報として、二次経路推定部６０において適応フィルタとして推定された二次経路情報ｃ＾ ｆを用いる。そして、数式１５のように参照信号を生成することにより、動的な経路変動を能動的雑音制御装置５０に反映させることができる。
　数式１５で表現される参照信号ｒ１［ｋ］と、数式１０で表現される誤差信号ｅｆ［ｋ］とにより、適応フィルタ推定部９２は、能動的雑音制御用の適応フィルタの係数ｗｆの推定を行う。
　適応フィルタの係数ｗｆを推定するためには、エコーキャンセルにおける適応フィルタと同じく、次の逐次更新するための数式１８を用いる。
Figure JPOXMLDOC01-appb-M000018
　ここでｗ（ｋ） ｆは時刻ｋにおいて推定される適応フィルタである。ｗ（ｋ） ｆは、１時刻前の適応フィルタに適応フィルタ更新量Δｗｆに比例した値を加算することによって更新される。μは一回の更新あたりの更新量を制御するためのステップパラメータであり、一般に適応フィルタのタップに応じて減衰するような値である。
　Δｗｆを求める方法としては、一般にＬＭＳ法や学習同定法（ＮＬＭＳ法）、時間領域ＩＣＡといった手法が用いられる。いずれの手法においても、Δｗｆは、数式１９のように誤差信号ｅｆ［ｋ］により空間的な雑音抑圧量を反映し、数式１５で表現される参照信号ｒ１［ｋ］を参照することにより求められる。
Figure JPOXMLDOC01-appb-M000019
　ここでｌは適応フィルタにおけるｌタップ目を表すインデックスである。またＮ１［ｋ］は更新量を正規化するためのノルム信号である。Ｎ１［ｋ］として、現在時刻ｋから一定時間過去までの参照雑音信号パワーなどが用いられる。数式１９では誤差信号ｅｆ［ｋ］をそのまま乗算しているが、時間領域ＩＣＡにおいては符号関数やｔａｎｈ関数により非線形変換した値を用いる。なお、エコーキャンセラにおける適応フィルタと同様に、アフィン射影法（ＡＰＡ法）や再帰最小二乗法（ＲＬＳ法）といった、複数時刻に渡るサンプルを用いる適応フィルタ推定法を用いることも考えられる。
　以上より、能動的雑音制御信号生成部９０は、学習された適応フィルタの係数ｗｆを数式１４のように雑音信号ｖ１に畳み込むことによって制御信号ｎ＾’ ｆ［ｋ］を生成する。そして、制御信号ｎ＾’ ｆ［ｋ］を近端側スピーカ１２から再生することにより、数式１０のように雑音抑圧が実現される。
　［１－４．帯域制限フィルタ（ＬＰＦ）による学習用信号の帯域制限］
　図５において、適応フィルタ推定部９２に入力される数式１５で生成された参照雑音信号、および数式１０で表現される誤差信号のそれぞれの後段に、帯域を制御するためのローパスフィルタ（ＬＰＦ）９２１が挿入されている。二次経路推定部６０で推定された二次経路情報ｃ＾ ｆが全帯域信号を用いて学習されている場合、数式１５で生成された参照信号も全帯域成分を含む信号となる。
　数式１０の誤差信号についても、適応フィルタ推定部９２に入力される手前までで帯域制限が行われていない場合は、全帯域信号を含むこととなる。
　一方、能動的雑音制御の対象とする周波数帯域は騒音源となる信号の種類によると考えられる。例えばエンジンノイズに起因する雑音信号を抑圧する場合は、騒音源周波数はエンジン回転数によって決まる。そのため、高々３００Ｈｚ程度までの制御信号が生成できれば良い。
　ただし、参照雑音を取得するために、エンジンパルスではなく外部マイクを用いた場合においては、制御したい帯域を誤差マイクロホン位置やスピーカ位置などに応じて決めた上でＬＰＦ９２１の制御周波数を変えることとなる。
　このように制御したい周波数帯域が予め決まっている場合、全帯域信号を用いて能動騒音制御用適応フィルタを学習するのではなく、それらに用いられる学習用信号を帯域制限した上で学習に用いる。これにより、学習される適応フィルタの通過帯域を制限することが可能となる。
　能動的雑音制御信号生成部９０は、このようにして学習された適応フィルタを雑音信号に畳み込む。これにより、実際の制御信号生成時はＬＰＦによる群遅延を雑音信号が受けることなく制御信号を生成することができる。すなわち、適応フィルタ推定部９２は、ＬＰＦ９２１（帯域制限フィルタ）を含む。制御信号生成部９３は、ＬＰＦ９２１によって帯域が制限された信号を用いて、制御信号ｎ＾’ ｆ［ｋ］を生成する。具体的には、図５に示すように、適応フィルタ推定部９２は、雑音信号ｖ１を二次経路情報ｃ＾ ｆに畳み込むことによって得られた参照信号ｒ１［ｋ］の帯域をＬＰＦ９２１によって制限する。制御信号生成部９３は、ＬＰＦ９２１によって帯域が制限された信号を用いて、制御信号ｎ＾’ ｆ［ｋ］を生成する。
　［１－５．誤差信号に含まれる音声信号への対処］
　数式１３で表現されるエコーキャンセラ適応フィルタの更新式や数式１９で表現される能動的雑音制御用適応フィルタの更新式において、分子に現れる数式１０で表現される誤差信号は、音声信号ｓｆ［ｋ］が存在しない場合、０に近づく。すなわち、理想的に各適応フィルタの学習が行われた場合、到来エコーや到来雑音が抑圧されることにより、誤差信号は０に近づく。これにより、数式１３、数式１９の更新量はｓｆ［ｋ］が存在しない区間では０に近づく。
　一方で、数式１０に含まれる音声信号ｓｆ［ｋ］が存在する場合、数式１３、数式１９の更新量は０とならず、誤差量を０に近付けずに誤った方向に適応フィルタ係数を修正するダブルトークが発生する。このダブルトークを回避するためには、ｓｆ［ｋ］が存在しない区間を検出するためにダブルトーク検出器（ＤＴＤ）を設けるか、あるいはダブルトーク状態でも学習が可能である更新則（時間領域ＩＣＡなど）を用いる必要がある。
　［１－６．エコーキャンセル装置の適応フィルタの収束状態が能動的雑音制御装置の適応フィルタに及ぼす影響］
　［１－５］で述べたように、誤差信号中に学習において誤った方向に適応フィルタを修正し得る信号が含まれている場合、適応フィルタ係数の更新に影響が発生する。この点は、数式１０において左側等式の右辺第二項が０ではない場合にも同様の現象が発生する。上記の場合とは、エコーキャンセル装置４０の適応フィルタの収束が不十分であり到来エコーの抑圧が達成されきっていない場合、あるいは、第三項が０ではない場合、すなわち能動的雑音制御装置５０において適応フィルタの収束が不十分であり到来雑音の抑圧が達成されきっていない場合である。
　能動的雑音制御装置５０は、エコーキャンセル装置４０における適応フィルタの係数を二次経路情報とみなして動的な経路変動に対応する。そのため、能動的雑音制御装置５０の動作はエコーキャンセル装置４０の適応フィルタの収束状態に依存することとなる。すなわち、エコーキャンセル装置４０の適応フィルタが収束していない場合、数式１５で算出される参照雑音信号が正しく算出されないだけでなく、誤差信号中のエコー抑圧残差信号により適応フィルタの更新に影響が及ぶこととなる。したがって、能動的雑音制御装置５０における適応フィルタの学習は、エコーキャンセル装置４０の適応フィルタの学習状態を反映させる必要があると考えられる。
　エコーキャンセル装置４０の適応フィルタの学習状態を把握する方法として、シングルトーク区間においてエコーキャンセル装置の入出力のレベル比率を計算することが考えられる。ここで、シングルトーク区間とは数式１において近端音声ｓｆ［ｋ］が存在しない区間のことを言う。
　近端音声ｓｆ［ｋ］が存在しない区間を検出するために、近端側マイク１１と近端側スピーカ１２の間にダブルトークディテクタ（ＤＴＤ）を設ける。
　ＤＴＤは、近端側マイク信号と近端スピーカ信号を監視し、それぞれの平均信号レベルや最大ピークレベルを元にシングルトーク区間およびダブルトーク区間を検出するための装置である。ここで、ダブルトーク区間とは近端音声ｓｆ［ｋ］およびエコー信号ｄｆ［ｋ］が同時に存在する区間のことを言う。
　ＤＴＤは、ダブルトーク区間でなく、シングルトーク区間を検出した際に、エコーキャンセル装置４０の入出力信号のレベル比を算出する。
　エコーキャンセル装置４０の入力信号はエコー信号ｄｆ［ｋ］および雑音信号ｎｆ［ｋ］が加算された信号である。また、出力信号はエコー消去後信号（ｄｆ［ｋ］－ｄ＾ ｆ［ｋ］）および雑音信号ｎｆ［ｋ］が加算された信号である。そのため、そのレベル比率は｛（ｄｆ［ｋ］－ｄ＾ ｆ［ｋ］）＋　ｎｆ［ｋ］｝／　｛ｄｆ［ｋ］＋　ｎｆ［ｋ］｝となる。エコーキャンセラが収束していない状態では打ち消しエコー信号ｄ＾ ｆ［ｋ］が０となるため、この比率は１に近い値となる。
　一方、適応フィルタが理想的に収束している場合は分子第一項が０に近い値に近付くため、この比率は１よりも小さい値となる。
　従って、エコーキャンセル装置４０の入出力比を計算することによって、エコーキャンセル装置４０における適応フィルタの収束度合いを判定することができる。
　この入出力信号は瞬時値ではなく、一定時間に渡る平均信号レベルや、他適当な手段によって算出されたそれぞれの信号ノルムによる比率であっても良い。
　上記手段によって計算された信号レベル比率を元に能動的雑音制御装置５０の適応フィルタ更新を制御する場合、例えば前記信号レベル比率が適当に定めたしきい値よりも下回った場合のみに能動的雑音制御装置５０の適応フィルタを学習させることが考えられる。または、能動的雑音制御装置５０の適応フィルタは常時学習させておくが、前記信号レベル比率がしきい値を下回った場合には学習におけるステップサイズを増加させることなどが考えられる。
　なお、適応フィルタ振幅のおおよその収束点が測定などによって事前に分かっている場合は、エコーキャンセル装置４０の学習状態を把握するための他の方法としてエコーキャンセル装置４０の適応フィルタの振幅ピーク最大値を監視する。そして、予め定めたしきい値を超過した場合に能動的雑音制御装置５０側の適応フィルタの学習を制御することも考えられる。
　なお、能動的雑音制御装置５０側の適応フィルタが収束していない場合のエコーキャンセル装置４０側適応フィルタ学習についても同様の事項が発生する。
　この問題の解決方法としては、エコーキャンセル装置４０の適応フィルタの更新則として主信号に雑音が重畳した状態においても学習が可能となるような更新則を用いることが考えられる。あるいは、図６に示したように、エコーキャンセル装置４０に近端音声信号を入力する前段で、雑音源取得部８０によって取得した雑音信号を参照する。そして、これとマイク信号を用いて適応的に雑音を消去するための適応フィルタｇｆを推定し、適応的に雑音成分を回線上で差し引く雑音除去部を設ける構成が考えられる。
　この雑音除去部は電気的に雑音成分を消去するためのブロックとなり、能動的雑音制御装置５０による空間的な雑音抑圧による効果と重なる。そのため、このブロックはエコーキャンセル装置４０における適応フィルタが安定化するまでの間のみ動作させ、その後は停止させるといった方法が考えられる。適応フィルタの安定化の判定としては、エコーキャンセル装置の入出力レベル比などを用いて行うことができる。
　以上のように、適応フィルタ推定部９２は、二次経路推定部６０と連携して動作する。具体的には、適応フィルタ推定部９２は、二次経路推定部６０が二次経路の伝達特性（二次経路情報ｃ＾ ｆ）の算出を完了した後に、適応フィルタの係数ｗｆを算出する。
　（実施の形態２）
　以下、図７を用いて、実施の形態２における会話支援装置１の処理を説明する。
　［２－１．遠端側スピーカを併用した能動的雑音制御装置］
　図７は実施の形態２における会話支援装置１の構成を示すブロック図である。
　図７ではエコー抑圧部７０における記号との区別を図るため、記号の下添字を到来元スピーカ位置（近端：ｆ、遠端：ｒ）および到達先マイク位置（近端：ｆ、遠端：ｒ）を順に並べることで表す。
　例えば、遠端側スピーカ２２から近端側マイク１１へと到来するフィードバック特性をｃｒｆ、フィードバック信号をｄｒｆ［ｋ］と表すこととする。
　また、伝達特性に対応した能動的雑音制御に用いる適応フィルタは対応する二次経路と同じ下添字を用いることとする。
　図７では近端側マイク１１に関係する構成のみを示しているが、遠端側マイク２１側に着目した場合においても同様のブロック構成を取ることが可能である。
　会話支援装置１では、近端側マイク１１で収録された音声が遠端側スピーカ２２で再生された後に拡声音が近端側マイク１１へと空間的にフィードバック信号ｄｒｆ［ｋ］として伝達する問題が発生する。フィードバック信号ｄｒｆ［ｋ］を消去するために、会話支援装置１は、フィードバック特性ｃｒｆを推定するための適応フィルタ推定部９２を備える。さらに、会話支援装置１は、適応フィルタ推定部９２において推定した適応フィルタを用いて疑似フィードバック信号ｄ＾ｒｆ［ｋ］を生成し、これをマイク入力信号から差し引くことによってフィードバック信号を消去するフィードバック消去部（不図示）を備える。
　実施の形態２においては、前記フィードバック特性を能動的雑音制御における二次経路として捉える。これにより、実施の形態１における近端側スピーカ１２を用いた能動的雑音制御装置５０と同様の構成によって、遠端側スピーカ２２を用いた能動的雑音制御を行う。
　図７におけるマイク（入力）信号ｍｆ［ｋ］は、近端側入力音声ｓｆ［ｋ］、近端側スピーカ１２からの到来エコー信号ｄｆｆ［ｋ］、到来フィードバック信号ｄｒｆ［ｋ］、雑音を示すｖ１［ｋ］から一次経路情報ｈｆを伝達し到来する雑音信号ｎｆ［ｋ］の和として数式２０のように定式化される。
Figure JPOXMLDOC01-appb-M000020
　マイク信号から到来エコー信号を消去するために、数式２０のマイク信号ｍｆ［ｋ］から、疑似エコー信号ｄ＾ｆｆ［ｋ］および疑似フィードバック信号ｄ＾ｒｆ［ｋ］を差し引くことで誤差信号ｅｆ［ｋ］を計算する（数式２１）。ここで、疑似エコー信号ｄ＾ｆｆ［ｋ］は、エコー信号が到来する伝達特性を適応フィルタとして推定した二次経路情報ｃ＾ｆｆに近端側スピーカ信号ｙｆ［ｋ］を畳み込むことで推定される。また、疑似フィードバック信号ｄ＾ｒｆ［ｋ］は、フィードバック信号が到来する伝達特性を適応フィルタとして推定した二次経路情報ｃ＾ｒｆに遠端側スピーカ信号ｙｒ［ｋ］を畳み込むことで推定される。
Figure JPOXMLDOC01-appb-M000021
　誤差信号ｅｆ［ｋ］はエコー伝達特性ｃｆｆを推定するため、エコー伝達特性に対応した二次経路推定部６０へと近端側スピーカ信号と共に入力される。また、誤差信号ｅｆ［ｋ］はフィードバック伝達特性ｃｒｆを推定するため、フィードバック伝達特性に対応した二次経路推定部６０へと遠端側スピーカ信号と共に入力される。二次経路推定部６０において推定された適応フィルタとしての二次経路情報ｃ＾ｆｆ，ｃ＾ｒｆは、雑音源３０より取得された雑音信号ｖ１［ｋ］を時系列信号として表したｖ１に畳み込むことにより、能動的雑音制御における適応フィルタ推定部９２へと誤差信号とともに入力される。能動的雑音制御における適応フィルタ推定部９２において推定された適応フィルタの係数ｗｆｆおよびｗｒｆを雑音源信号ベクトルｖ１を畳み込むことで、能動的雑音制御における制御信号ｎ＾’ ｆｆ［ｋ］、ｎ＾’ ｒｆ［ｋ］を生成する。
　制御信号ｎ＾’ ｆｆ［ｋ］を近端スピーカ信号から減算し、またｎ＾’ ｒｆ［ｋ］を遠端側スピーカ信号から減算することで、最終的なスピーカ再生信号ｙ’ｆ［ｋ］およびｙ’ｒ［ｋ］が生成される。スピーカ再生信号ｙ’ｆ［ｋ］およびｙ’ｒ［ｋ］に含まれる制御信号ｎ＾’ ｆｆ［ｋ］、ｎ＾’ ｒｆ［ｋ］は、二次経路情報ｃｆｆおよびｃｒｆを伝達することにより相殺ノイズｎ＾ ｆｆ［ｋ］、ｎ＾ ｒｆ［ｋ］となる。
　従って、数式２０で表されるマイク信号は、能動的雑音制御によって数式２２のように表される。
Figure JPOXMLDOC01-appb-M000022
　従って、誤差マイクにおける到来ノイズｎｆ［ｋ］は能動的雑音制御によって相殺ノイズｎ＾ ｆｆ［ｋ］、ｎ＾ ｒｆ［ｋ］の和と一致する際に消去されることとなる。
　また、数式２１の誤差信号は数式２３のように表される。
Figure JPOXMLDOC01-appb-M000023
　数式２３は理想的にエコー抑圧、フィードバック抑圧、および雑音抑圧が実現された場合、近端側のマイク信号のみを通過させることとなる。
　なお、図７では到来エコー信号と到来フィードバック信号は同時に消去を行い、その誤差信号を適応フィルタの学習に用いる並列構成となっている。しかし、到来エコー信号のみを消去した誤差信号を用いて適応フィルタとしての二次経路情報ｃ＾ｆｆを学習し、前記誤差信号から更に到来フィードバック信号を消去した誤差信号を用いて適応フィルタとしての二次経路情報ｃ＾ｒｆを学習する直列構成となっていても良い。
　また、当構成は遠端側マイク２１が存在しない前方から後方への片方向会話支援を想定した場合においても、フィードバック特性のみを二次経路情報として用いる能動的雑音制御として実現が可能である。即ち遠端側スピーカ２２から近端側マイク１１へのフィードバック信号のみが近端側マイク１１に混入する場合においても、能動的雑音制御を行うことが可能となる。
　実施の形態２の例としては、車両の２列目ドアスピーカを遠端側スピーカ２２として用いる会話支援装置において、遠端側スピーカ２２を用いた能動的雑音制御を実現する場合が考えられる。
　（設置例）
　［３－１．マイクおよびスピーカの設置箇所について］
　本開示における近端側マイク１１は音声発話に対する収音用マイクロホンと能動的雑音制御装置５０における誤差マイクを兼用する。したがって設置箇所としては話者口元の近傍であることが好ましく、また話者耳元位置に近接していることがより強く要求される。
　図８にマイク設置箇所の一例を示す。図８では座席頭上または側面上部に近端側マイク１１を設置している。図８以外の設置の例としては、マイクをヘッドレストに埋め込む構成も考えられる。実際のマイク設置箇所は能動的雑音制御装置５０によって制御したい周波数帯域に従って決定する必要がある。これは高い周波数であればあるほど波長としては短くなるためであり、耳元からマイクへの距離が離れれば離れるほど制御可能な周波数が低くなる。
　また、単一のマイクを用いるのでなく、図８に示すように複数のマイクをアレイ構成として用いるマイクアレイを用いても良い。マイクアレイを用いる理由としては、指向性合成を行うことによって話者方向音声のみを高ＳＮ比で収音し、かつ複数の誤差マイクを用いた能動的雑音制御を行うことに寄って、耳元での消音性能を向上させるためである。この場合、指向性合成、または能動的雑音制御装置５０に先駆けてマイクアレイの各マイクからエコー信号を除去することが必要となる。そのため、各マイクに対応した複数のエコーキャンセル装置４０およびエコー抑圧部７０を設けることが必要となる。また、能動的雑音制御装置に関しても、各マイクに対応した能動的雑音制御装置５０および能動的雑音制御信号生成部９０を設ける必要がある。
　ここで、能動的雑音制御装置５０は制御したい領域内に存在する各マイクに対してのみ設ければ良い。これらの能動的雑音制御装置５０によって生成された雑音制御御信号は、近端側スピーカ信号に加算される。
　スピーカの設置位置としては、エコーキャンセルの観点からは近端側の音響結合量が増えるため近端側マイク１１からできるだけ遠い位置となることが好ましい。しかし、能動的雑音制御の観点からは雑音制御信号を低い空間遅延で放射するため、近端側誤差マイクに対してできるだけ近い位置となることが好ましい。これは、雑音信号を検知した後で、その雑音が制御領域に空間的に到達するまでに雑音制御信号を生成し、スピーカから放射する必要があるためである。従って、スピーカの設置位置としてはエコーキャンセル動作に支障が生じない程度に近端側マイク１１に近接した位置となることが好ましい。
　（実施の形態のまとめ１）
　本開示の一態様に係る会話支援装置１は、図２および図５に示すように、近端側スピーカ１２と、近端側マイク１１と、雑音源取得部８０と、二次経路推定部６０（第一の算出部の一例）と、エコー抑圧部７０と、適応フィルタ推定部９２（第二の算出部の一例）と、制御信号生成部９３（能動的雑音抑圧制御部の一例）とを備える。
　雑音源取得部８０は、雑音源３０の雑音を示す雑音信号ｖ１を取得する。二次経路推定部６０は、近端側スピーカ１２と近端側マイク１１との間の二次経路の伝達特性（二次経路情報ｃ＾ ｆ）を算出する。エコー抑圧部７０は、二次経路情報ｃ＾ ｆを用いて、近端側スピーカ１２から近端側マイク１１へのエコーを抑圧する（数式５および数式９参照）。適応フィルタ推定部９２は、二次経路情報ｃ＾ ｆおよび雑音信号ｖ１に基づいて、適応フィルタの係数ｗｆを算出する（数式１５，数式１８および数式１９参照）。制御信号生成部９３は、適応フィルタの係数ｗｆおよび雑音信号ｖ１を用いて、雑音の抑圧を制御する制御信号ｎ＾’ ｆ［ｋ］を生成する（数式１４参照）。
　（実施の形態のまとめ２）
　本開示の別の態様に係る会話支援装置１Ａは、図９に示すように、会話支援装置１のエコーキャンセル装置４０に代えて、フィードバックキャンセル装置４０Ａを備える。フィードバックキャンセル装置４０Ａは、フィードバック抑圧部７０Ａを含む。
　本態様においては、二次経路推定部６０は、例えば、遠端側スピーカ２２と近端側マイク１１との間の二次経路の伝達特性を算出する。フィードバック抑圧部７０Ａは、上記二次経路の伝達特性を用いて、遠端側スピーカ２２から近端側マイク１１へのフィードバックを抑圧する。
　これにより、本態様に係る会話支援装置１Ａは、二次経路の伝達特性を用いて、フィードバックおよび近端側マイク１１の位置における雑音を抑圧することができる。なお、会話支援装置１Ａが抑圧できるフィードバックは、遠端側スピーカ２２から近端側マイク１１へのフィードバックに限定されない。会話支援装置１Ａは、近端側スピーカ１２と遠端側マイク２１との間の二次経路を算出することによって、近端側スピーカ１２から遠端側マイク２１へのフィードバックを抑圧することもできる。
　（実施の形態のまとめ３）
　本開示のさらに別の態様に係る会話支援装置１Ｂは、図１０に示すように、会話支援装置１のエコーキャンセル装置４０に代えて、キャンセル装置４０Ｂを備える。キャンセル装置４０Ｂは、抑圧部７０Ｂを含む。
　二次経路推定部６０は、近端側スピーカ１２と近端側マイク１１との間の二次経路（第一の二次経路）の伝達特性ｃ＾ ｆｆと、遠端側スピーカ２２と近端側マイク１１との間の二次経路（第二の二次経路）の伝達特性ｃ＾ ｒｆとを算出する。抑圧部７０Ｂは、第一の二次経路の伝達特性ｃ＾ ｆｆを用いて近端側マイク１１に到来するエコーを抑圧し、第二の二次経路の伝達特性ｃ＾ ｒｆを用いて近端側マイク１１に到来するフィードバックを抑圧する。適応フィルタ推定部９２は、第一の二次経路の伝達特性ｃ＾ ｆｆおよび雑音信号ｖ１に基づいて、第一の適応フィルタの係数ｗｆｆを算出し、第二の二次経路の伝達特性ｃ＾ ｒｆおよび雑音信号ｖ１に基づいて、第二の適応フィルタの係数ｗｒｆを算出する。制御信号生成部９３は、第一の適応フィルタの係数ｗｆｆおよび雑音信号ｖ１を用いて、雑音の抑圧を制御する第一の制御信号ｎ＾’ ｆｆ［ｋ］を生成し、第二の適応フィルタの係数ｗｒｆおよび雑音信号ｖ１を用いて、雑音の抑圧を制御する第二の制御信号ｎ＾’ ｒｆ［ｋ］を生成する。
　これにより、本態様に係る会話支援装置１Ｂは、第一および第二の制御信号ｎ＾’ ｆｆ［ｋ］，ｎ＾’ ｒｆ［ｋ］を用いて近端側マイク１１の位置における雑音をさらに抑圧することができる。上記では近端側マイク１１を用いる例を示したが、会話支援装置１Ｂは、遠端側マイク２１を用いることで、遠端側マイク２１の位置における雑音を抑圧することもできる。
　なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、聞き取りたい音声を妨害する雑音が発生される環境において、話者の位置において雑音を抑圧する会話支援装置に適用可能である。具体的には、自動車、飛行機内、電車、船などの乗物に、本開示は適用可能である。
１，１Ａ，１Ｂ　会話支援装置
２　近端側話者
３　遠端側話者
１１　近端側マイク
１２　近端側スピーカ
２１　遠端側マイク
２２　遠端側スピーカ
３０　雑音源
４０　エコーキャンセル装置
５０　能動的雑音制御装置
６０　二次経路推定部
７０　エコー抑圧部
８０　雑音源取得部
９０　能動的雑音制御信号生成部
９１　参照信号生成部
９２　適応フィルタ推定部
９３　制御信号生成部

Claims (10)

  1. 　スピーカと、
    　マイクと、
    　雑音を示す雑音信号を取得する雑音源取得部と、
    　前記スピーカと前記マイクとの間の二次経路の伝達特性を算出する第一の算出部と、
    　前記二次経路の伝達特性を用いてエコーを抑圧するエコー抑圧部と、
    　前記二次経路の伝達特性および前記雑音信号に基づいて、適応フィルタの係数を算出する第二の算出部と、
    　前記適応フィルタの係数および前記雑音信号を用いて、前記雑音の抑圧を制御する制御信号を生成する能動的雑音抑圧制御部と、を備える、
    　会話支援装置。
  2. 　前記第二の算出部は、帯域制限フィルタを含み、
    　前記能動的雑音抑圧制御部は、前記帯域制限フィルタによって帯域が制限された信号を用いて、前記制御信号を生成する、
    　請求項１に記載の会話支援装置。
  3. 　前記第二の算出部は、前記第一の算出部と連携して動作する、
    　請求項１に記載の会話支援装置。
  4. 　前記第二の算出部は、前記第一の算出部が前記二次経路の伝達特性の算出を完了した後に、前記適応フィルタの係数を算出する、
    　請求項３に記載の会話支援装置。
  5. 　前記第一の算出部は、前記マイクへの入力と、前記スピーカからの出力とに基づいて、前記二次経路の伝達特性を算出する、
    　請求項１に記載の会話支援装置。
  6. 　前記マイクは、入力信号を取得し、
    　前記エコー抑圧部は、前記二次経路の伝達特性を用いてキャンセル信号を生成し、
    　前記能動的雑音抑圧制御部は、前記入力信号、前記キャンセル信号、および、前記制御信号に基づき、出力信号を生成し、
    　前記スピーカは、前記出力信号に基づいて音を出力する、
    　請求項１に記載の会話支援装置。
  7. 　スピーカと、
    　前記スピーカと電気的に接続されたマイクと、
    　雑音を示す雑音信号を取得する雑音源取得部と、
    　前記スピーカと前記マイクとの間の二次経路の伝達特性を算出する第一の算出部と、
    　前記二次経路の伝達特性を用いてフィードバックを抑圧するフィードバック抑圧部と、
    　前記二次経路の伝達特性および前記雑音信号に基づいて、適応フィルタの係数を算出する第二の算出部と、
    　前記適応フィルタの係数および前記雑音信号を用いて、前記雑音の抑圧を制御する制御信号を生成する能動的雑音抑圧制御部と、を備える、
    　会話支援装置。
  8. 　第一のスピーカと、
    　第二のスピーカと、
    　前記第二のスピーカと電気的に接続されたマイクと、
    　雑音を示す雑音信号を取得する雑音源取得部と、
    　前記第一のスピーカと前記マイクとの間の第一の二次経路の伝達特性と、前記第二のスピーカと前記マイクとの間の第二の二次経路の伝達特性とを算出する第一の算出部と、
    　前記第一の二次経路の伝達特性を用いて前記マイクに到来するエコーを抑圧し、前記第二の二次経路の伝達特性を用いて前記マイクに到来するフィードバックを抑圧する抑圧部と、
    　前記第一の二次経路の伝達特性および前記雑音信号に基づいて、第一の適応フィルタの係数を算出し、前記第二の二次経路の伝達特性および前記雑音信号に基づいて、第二の適応フィルタの係数を算出する第二の算出部と、
    　前記第一の適応フィルタの係数および前記雑音信号を用いて、前記雑音の抑圧を制御する第一の制御信号を生成し、前記第二の適応フィルタの係数および前記雑音信号を用いて、前記雑音の抑圧を制御する第二の制御信号を生成する能動的雑音抑制制御部と、を備える、
    　会話支援装置。
  9. 　前記会話支援装置は、乗物に設けられている、
    　請求項１，７，８のいずれかに記載の会話支援装置。
  10. 　前記マイクは、前記乗物の座席近傍に配置されている、
    　請求項９に記載の会話支援装置。
PCT/JP2019/010723 2018-03-19 2019-03-15 会話支援装置 WO2019181758A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020508299A JP7213432B2 (ja) 2018-03-19 2019-03-15 会話支援装置
US17/023,924 US11483652B2 (en) 2018-03-19 2020-09-17 Conversation support device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018050337 2018-03-19
JP2018-050337 2018-03-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/023,924 Continuation US11483652B2 (en) 2018-03-19 2020-09-17 Conversation support device

Publications (1)

Publication Number Publication Date
WO2019181758A1 true WO2019181758A1 (ja) 2019-09-26

Family

ID=67987653

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010723 WO2019181758A1 (ja) 2018-03-19 2019-03-15 会話支援装置

Country Status (3)

Country Link
US (1) US11483652B2 (ja)
JP (1) JP7213432B2 (ja)
WO (1) WO2019181758A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7186375B2 (ja) * 2018-03-29 2022-12-09 パナソニックＩｐマネジメント株式会社 音声処理装置、音声処理方法および音声処理システム
JP6807134B2 (ja) * 2018-12-28 2021-01-06 日本電気株式会社 音声入出力装置、補聴器、音声入出力方法および音声入出力プログラム
JP2022138483A (ja) * 2021-03-10 2022-09-26 アルプスアルパイン株式会社 能動型騒音制御システム
JP2023124023A (ja) * 2022-02-25 2023-09-06 アルプスアルパイン株式会社 コミュニケーション支援システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056693A (ja) * 1999-08-20 2001-02-27 Matsushita Electric Ind Co Ltd 騒音低減装置
US20050058278A1 (en) * 2001-06-11 2005-03-17 Lear Corporation Method and System for Suppressing Echoes and Noises in Environments Under Variable Acoustic and Highly Fedback Conditions
US20090022330A1 (en) * 2007-07-16 2009-01-22 Harman Becker Automotive Systems Gmbh System for processing sound signals in a vehicle multimedia system
JP2012195801A (ja) * 2011-03-17 2012-10-11 Panasonic Corp 会話支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4677676A (en) * 1986-02-11 1987-06-30 Nelson Industries, Inc. Active attenuation system with on-line modeling of speaker, error path and feedback pack
US5033082A (en) * 1989-07-31 1991-07-16 Nelson Industries, Inc. Communication system with active noise cancellation
JPH0535284A (ja) * 1991-07-31 1993-02-12 Matsushita Electric Ind Co Ltd 騒音低減機能付車載音響装置
US6496581B1 (en) * 1997-09-11 2002-12-17 Digisonix, Inc. Coupled acoustic echo cancellation system
JP2003124849A (ja) 2001-10-17 2003-04-25 Fujitsu Ltd エコーキャンセラ及びその方法
ATE402468T1 (de) 2004-03-17 2008-08-15 Harman Becker Automotive Sys Geräuschabstimmungsvorrichtung, verwendung derselben und geräuschabstimmungsverfahren
JP5189307B2 (ja) 2007-03-30 2013-04-24 本田技研工業株式会社 能動型騒音制御装置
JP2010081004A (ja) 2008-09-24 2010-04-08 Nec Electronics Corp エコーキャンセル装置、通信装置、及びエコーキャンセル方法
EP3312839B1 (en) 2015-10-16 2020-08-05 Panasonic Intellectual Property Management Co., Ltd. Device for assisting two-way conversation and method for assisting two-way conversation
US10410654B2 (en) * 2017-10-27 2019-09-10 Bestechnic (Shanghai) Co., Ltd. Active noise control headphones

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056693A (ja) * 1999-08-20 2001-02-27 Matsushita Electric Ind Co Ltd 騒音低減装置
US20050058278A1 (en) * 2001-06-11 2005-03-17 Lear Corporation Method and System for Suppressing Echoes and Noises in Environments Under Variable Acoustic and Highly Fedback Conditions
US20090022330A1 (en) * 2007-07-16 2009-01-22 Harman Becker Automotive Systems Gmbh System for processing sound signals in a vehicle multimedia system
JP2012195801A (ja) * 2011-03-17 2012-10-11 Panasonic Corp 会話支援装置

Also Published As

Publication number Publication date
US20210006900A1 (en) 2021-01-07
US11483652B2 (en) 2022-10-25
JP7213432B2 (ja) 2023-01-27
JPWO2019181758A1 (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
WO2019181758A1 (ja) 会話支援装置
JP6616768B2 (ja) アクティブ・ノイズ・コントロール・システム
JP5307355B2 (ja) ハンズフリーシステムにおけるバッググラウンドノイズリダクション
KR101969417B1 (ko) 개선된 강건성을 갖는 적응형 소음 제어 시스템
JP5026495B2 (ja) 音声信号補償を用いるアクティブノイズコントロールのためのシステム
JP6311136B2 (ja) 双方向会話補助装置及び双方向会話補助方法
US8165310B2 (en) Dereverberation and feedback compensation system
JP5913340B2 (ja) マルチビーム音響システム
US20090003586A1 (en) Signal processor and method for canceling echo in a communication device
US9559736B2 (en) Auto-selection method for modeling secondary-path estimation filter for active noise control system
JP2015007803A (ja) 適合ノイズ制御システム
US20200380947A1 (en) Active noise control with feedback compensation
CN114127845A (zh) 用于消除麦克风信号中的道路噪声的系统和方法
US10798247B2 (en) Acoustic echo suppression device and acoustic echo suppression method
JP5474712B2 (ja) 能動型振動騒音制御装置
US11922916B2 (en) Active noise control system
EP4236284A1 (en) Communication support system
JP2018169439A (ja) アクティブ消音装置及びアクティブ消音方法
JP2011161965A (ja) 車載用音響装置
Freudenberger et al. Noise and feedback suppression for in-car communication systems
JPH0643881A (ja) 能動型騒音制御装置
Zollner et al. Active-Road-Noise-Cancellation (ARNC)–Speech-Enhancement through Noise-Reduction in Hands-free Systems
JPH10301579A (ja) 適応制御システム
JPH0559498U (ja) 車両走行風切音の適応型能動消音装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19770581

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020508299

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19770581

Country of ref document: EP

Kind code of ref document: A1