WO2017064839A1 - 双方向会話補助装置及び双方向会話補助方法 - Google Patents

双方向会話補助装置及び双方向会話補助方法 Download PDF

Info

Publication number
WO2017064839A1
WO2017064839A1 PCT/JP2016/004390 JP2016004390W WO2017064839A1 WO 2017064839 A1 WO2017064839 A1 WO 2017064839A1 JP 2016004390 W JP2016004390 W JP 2016004390W WO 2017064839 A1 WO2017064839 A1 WO 2017064839A1
Authority
WO
WIPO (PCT)
Prior art keywords
transfer function
signal
microphone
speaker
output signal
Prior art date
Application number
PCT/JP2016/004390
Other languages
English (en)
French (fr)
Inventor
良二 鈴木
宏正 大橋
田中　直也
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US15/737,465 priority Critical patent/US10542154B2/en
Priority to JP2017545085A priority patent/JP6311136B2/ja
Priority to EP16855096.0A priority patent/EP3312839B1/en
Publication of WO2017064839A1 publication Critical patent/WO2017064839A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/002—Applications of echo suppressors or cancellers in telephonic connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/40—Applications of speech amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/085—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using digital techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Definitions

  • the present disclosure relates to a two-way conversation assistance device and a two-way conversation assistance method that amplify and assist a two-way conversation between a first speaker and a second speaker.
  • Patent Document 1 discloses a loudspeaker circuit capable of hands-free calling through a two-wire transmission line.
  • the loudspeaker circuit includes a first echo canceler for canceling the line echo signal in the two-wire four-wire conversion circuit, a second echo canceller for canceling the room echo signal due to spatial propagation from the speaker to the microphone, A variable gain amplifier circuit is provided between the transmission output side of the echo canceller and the reception input side of the second echo canceller. Thereby, it is possible to obtain a hands-free call quality in which the reception volume from the speaker is stably adjusted.
  • the present disclosure provides a bidirectional conversation assisting apparatus and a bidirectional conversation assisting method for amplifying and assisting bidirectional conversation after removing acoustic noise including not only echo but also crosstalk. .
  • the interactive conversation assisting device in the present disclosure is an interactive conversation assisting device that assists by enlarging a bidirectional conversation between a first speaker and a second speaker, and inputs the first voice of the first speaker.
  • a first microphone for outputting the first sound a second microphone for inputting the second sound of the second speaker, and a second speaker for outputting the second sound
  • a first echo / crosstalk canceller uses the input signal to the second speaker, the first echo that is input from the second speaker to the first microphone, and the second sound that is input to the first microphone.
  • a first disturbance signal indicating the degree of first crosstalk input to the microphone is estimated and calculated, and the calculated first disturbance signal is removed from the output signal of the first microphone.
  • the interactive conversation assisting method in the present disclosure is an interactive conversation assisting method for assisting by expanding and assisting the interactive conversation between the first speaker and the second speaker in the conversation system.
  • the first microphone for inputting the first voice, the first speaker for outputting the first voice, the second microphone for inputting the second voice of the second speaker, and the second voice are output.
  • a second speaker In the two-way conversation assist method, the second sound output from the second speaker is input to the first microphone using the input signal to the second speaker, and the second sound is input to the first microphone.
  • a first echo / crosstalk cancellation step of estimating and calculating a first interference signal indicating the degree of the input first crosstalk and removing the calculated first interference signal from the output signal of the first microphone is included.
  • the bidirectional conversation assisting device and the bidirectional conversation assisting method in the present disclosure are used to amplify and assist two-way conversation after removing acoustic noise including not only echo but also crosstalk. It is valid.
  • FIG. 3 is a block diagram showing a configuration of a two-way conversation assistance device in a second embodiment.
  • FIG. 9 is a block diagram showing a configuration of a two-way conversation assistance device in the third embodiment.
  • FIG. 7 is a block diagram showing a configuration of a two-way conversation assistance device in a fifth embodiment.
  • FIG. 1 is a diagram illustrating an application example of the interactive conversation assistance device 20 according to the first embodiment.
  • the interactive conversation assisting device 20 is applied as a device (a vehicle interior conversation assisting device) that amplifies and assists bidirectional conversation in the vehicle 10.
  • the two-way conversation assistance device 20 is a device that amplifies and assists two-way conversation between the first speaker 11 (here, the driver) and the second speaker 12 (here, the rear passenger).
  • the first microphone 21 for inputting the voice (first voice) of the first speaker 11 is provided on the ceiling of the driver seat, and the voice is output on the inner side surfaces on both sides of the rear seat.
  • a first speaker 22 is provided.
  • a second microphone 23 for inputting the voice of the second speaker 12 (second voice) is provided on the ceiling of the rear seat, and the voice is output on the inner side surfaces of the two front doors.
  • the second speaker 24 is provided.
  • the first speaker 11 and the second speaker 12 can use the interactive conversation assisting device 20 to perform howling (sound), echo (resonance), and crosstalk even in one narrow space in the car. Two-way conversation from which acoustic noise including (crosstalk) is removed can be enjoyed.
  • howling refers to a phenomenon in which a sound output from a speaker that outputs a certain speaker's voice is fed back and input to a microphone to which the speaker's sound is input.
  • Echo refers to a phenomenon in which sound output to a speaker is input by wrapping around a microphone for inputting the speaker's sound.
  • the sound is output from the second speaker 24.
  • Cross talk refers to a phenomenon in which the voice of a certain speaker is input to a microphone for inputting the voice of another person.
  • FIG. 2 is a block diagram showing a configuration of the interactive conversation assisting apparatus 20 shown in FIG.
  • the interactive conversation assisting device 20 includes a first microphone 21, a first speaker 22, a second microphone 23, a second speaker 24, a first howling canceller 40, a first echo / crosstalk canceller 50, a second howling canceller 60, A second echo / crosstalk canceller 70 is provided.
  • Each component of the interactive conversation assisting device 20 is connected by wire or wirelessly.
  • the first howling canceller 40, the first echo / crosstalk canceller 50, the second howling canceller 60, and the second echo / crosstalk canceller 70 are mounted as a part of the head unit of the vehicle 10, for example.
  • the first microphone 21 is a microphone for inputting the voice of the first speaker 11, and is provided on the ceiling of the driver's seat of the car 10, for example, as shown in FIG.
  • the audio signal output from the first microphone 21 is, for example, digital audio data generated by an A / D converter built in the first microphone 21 or provided immediately after the first microphone 21.
  • the first speaker 22 is a speaker for outputting the sound of the first speaker 11, and is provided on the inner side surface of the rear seat of the car 10, for example, as shown in FIG.
  • the first speaker 22 converts the input digital audio data into an analog signal by a D / A converter built in the first speaker 22 or provided immediately before, and outputs it as audio.
  • the second microphone 23 is a microphone for inputting the voice of the second speaker 12, and is provided on the ceiling of the rear seat, for example, as shown in FIG. Note that the audio signal output from the second microphone 23 is, for example, digital audio data generated by an A / D converter built in or immediately after the second microphone 23.
  • the second speaker 24 is a speaker for outputting the voice of the second speaker 12, and is provided on the inner side surfaces of the two front doors of the car 10, for example, as shown in FIG.
  • the second speaker 24 converts the input digital audio data into an analog signal by a D / A converter built in the second speaker 24 or provided immediately before, and outputs it as sound.
  • the first howling canceller 40 estimates and calculates a first howling signal indicating the degree of the first howling 30 to which the sound output from the second speaker 24 is fed back to the second microphone 23 and is calculated. This is a circuit that removes one howling signal from the output signal of the second microphone 23. In the present embodiment, the first howling canceller 40 further outputs the first howling signal from the output signal of the second echo / crosstalk canceller 70 from which the second interference signal described later has been removed from the output signal of the second microphone 23. It is a circuit that removes and outputs the signal after removal to the second speaker 24, and is a digital signal processing circuit that processes digital audio data in the time axis region.
  • the first howling canceller 40 includes a first transfer function storage circuit 44, a first delay unit 46, a first storage circuit 42, a first convolution calculator 43, a first subtractor 41, and a first transfer function.
  • An update circuit 45 is included.
  • the first transfer function storage circuit 44 stores the transfer function estimated as the transfer function of the first howling 30.
  • the first delay unit 46 delays the output signal of the first howling canceller 40.
  • the first storage circuit 42 stores the signal output from the first delay unit 46.
  • the first convolution calculator 43 generates a first howling signal by convolving the signal stored in the first storage circuit 42 and the transfer function stored in the first transfer function storage circuit 44.
  • the first convolution calculator 43 is an N-tap FIR (Finite Impulse Response) filter that performs a convolution operation represented by the following Expression 1.
  • y1't is the first howling signal at time t.
  • N is the number of taps of the FIR filter.
  • H1 (i) t is the i-th transfer function among the N transfer functions stored in the first transfer function storage circuit 44 at time t.
  • x1 (ti ⁇ 1) is the (ti ⁇ 1) -th signal among the signals stored in the first memory circuit.
  • ⁇ 1 is a delay time by the first delay unit 46.
  • the first subtracter 41 removes the first howling signal output from the first convolution calculator 43 from the output signal of the second echo / crosstalk canceller 70 and outputs it as the output signal of the first howling canceller 40.
  • the first subtracter 41 performs the subtraction shown in the following Expression 2.
  • e1t is an output signal of the first subtractor 41 at time t.
  • y1t is an output signal of the second echo / crosstalk canceller 70 at time t.
  • the first transfer function update circuit 45 updates the transfer function stored in the first transfer function storage circuit 44 based on the output signal of the first subtractor 41 and the signal stored in the first storage circuit 42.
  • the first transfer function update circuit 45 is based on the output signal of the first subtractor 41 and the signal stored in the first storage circuit 42 by using independent component analysis, as shown in Equation 3 below.
  • the transfer function stored in the first transfer function storage circuit 44 is updated so that the output signal of the first subtracter 41 and the signal stored in the first storage circuit 42 are independent of each other.
  • H1 (j) t + 1 is the j-th transfer function among the N transfer functions stored in the first transfer function storage circuit 44 at time t + 1 (that is, after the update).
  • H1 (j) t is the j-th transfer function among the N transfer functions stored in the first transfer function storage circuit 44 at time t (that is, before update).
  • ⁇ 1 is a step size parameter for controlling the learning speed in estimating the transfer function of the first howling 30.
  • ⁇ 1 is a nonlinear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function, or a sign function (sign function)).
  • the first transfer function update circuit 45 performs nonlinear processing using the nonlinear function on the output signal of the first subtractor 41, and the obtained result is stored in the first storage circuit 42.
  • the first update coefficient is calculated by multiplying the signal and the first step size parameter for controlling the learning speed in estimating the transfer function of the first howling 30. Then, the update is performed by adding the calculated first update coefficient to the transfer function stored in the first transfer function storage circuit 44.
  • the first echo / crosstalk canceller 50 uses the output signal of the first howling canceller 40, the first echo 31 in which the sound output from the second speaker 24 wraps around and is input to the first microphone 21, and The first jamming signal indicating the degree of the first crosstalk 32 in which the voice of the second speaker 12 is input to the first microphone 21 is estimated and calculated, and the calculated first jamming signal is output from the first microphone 21. It is a circuit that removes signals.
  • the first echo / crosstalk canceller 50 is a circuit that outputs a signal from which the first interfering signal has been removed to the second howling canceller 60, and is a digital signal that processes digital audio data in the time domain. It is a processing circuit.
  • the output signal of the first howling canceller 40 is an input signal to the second speaker 24 as shown in FIG.
  • the first echo / crosstalk canceller 50 includes a second transfer function storage circuit 54, a second storage circuit 52, a second convolution calculator 53, a second subtractor 51, and a second transfer function update circuit 55.
  • the second transfer function storage circuit 54 stores a transfer function estimated as a transfer function in which the first echo 31 and the first crosstalk 32 are combined.
  • the second storage circuit 52 stores the output signal of the first howling canceller 40.
  • the second convolution calculator 53 generates a first disturbance signal by convolving the signal stored in the second storage circuit 52 and the transfer function stored in the second transfer function storage circuit 54.
  • the second convolution calculator 53 is an N-tap FIR filter that performs a convolution operation represented by the following Expression 4.
  • y2't is the first disturbance signal at time t.
  • N is the number of taps of the FIR filter.
  • H2 (i) t is the i-th transfer function among the N transfer functions stored in the second transfer function storage circuit 54 at time t.
  • x2 (ti) is the (ti) -th signal among the signals stored in the second memory circuit 52.
  • the second subtracter 51 removes the first interference signal output from the second convolution calculator 53 from the output signal of the first microphone 21 and outputs it as the output signal of the first echo / crosstalk canceller 50.
  • the second subtracter 51 performs the subtraction shown in the following Expression 5.
  • e2t is an output signal of the second subtracter 51 at time t.
  • y2t is an output signal of the first microphone 21 at time t.
  • the second transfer function update circuit 55 updates the transfer function stored in the second transfer function storage circuit 54 based on the output signal of the second subtractor 51 and the signal stored in the second storage circuit 52.
  • the second transfer function update circuit 55 is based on the output signal of the second subtractor 51 and the signal stored in the second storage circuit 52 by using independent component analysis, as shown in Equation 6 below.
  • the transfer function stored in the second transfer function storage circuit 54 is updated so that the output signal of the second subtractor 51 and the signal stored in the second storage circuit 52 are independent of each other.
  • H2 (j) t + 1 is the j-th transfer function among the N transfer functions stored in the second transfer function storage circuit 54 at time t + 1 (that is, after the update).
  • H2 (j) t is the j-th transfer function among the N transfer functions stored in the second transfer function storage circuit 54 at time t (that is, before update).
  • ⁇ 2 is a step size parameter for controlling the learning speed in estimating the transfer function combining the first echo 31 and the first crosstalk 32.
  • ⁇ 2 is a nonlinear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function, or a sign function (sign function)).
  • the second transfer function update circuit 55 performs nonlinear processing using the nonlinear function on the output signal of the second subtractor 51, and the obtained result is stored in the second storage circuit 52.
  • the second update coefficient is calculated by multiplying the signal by the second step size parameter for controlling the learning speed in estimating the transfer function combining the first echo 31 and the first crosstalk 32. Then, the update is performed by adding the calculated second update coefficient to the transfer function stored in the second transfer function storage circuit 54.
  • the time when the output signal of the first howling canceller 40 is input to the first echo / crosstalk canceller 50 for the voice of the second speaker 12 at the same time is
  • the voice of the second speaker 12 is designed to be the same as or earlier than the time when the voice is input to the first microphone 21. That is, the causality is maintained so that the first echo / crosstalk canceller 50 can cancel the first crosstalk 32.
  • the factors that determine the time when the output signal of the first howling canceller 40 is input to the first echo / crosstalk canceller 50 (the speed of A / D conversion, the processing speed of the second echo / crosstalk canceller 70, the first The processing speed of the 1 howling canceller 40) and factors that determine the time when the voice of the second speaker 12 is input to the first microphone 21 (positional relationship between the second speaker 12 and the first microphone 21) and the like. Can be realized as appropriate.
  • the second howling canceller 60 is provided between the first echo / crosstalk canceller 50 and the first speaker 22, and the second sound input from the first speaker 22 is fed back to the first microphone 21. This is a circuit that estimates and calculates a second howling signal indicating the degree of howling 33 and removes the calculated second howling signal from the output signal of the first microphone 21. In the present embodiment, the second howling canceller 60 further removes the second howling signal from the output signal of the first echo / crosstalk canceller 50 from which the first interference signal has been removed from the output signal of the first microphone 21. This is a circuit that outputs the signal after removal to the first speaker 22, and is a digital signal processing circuit that processes digital audio data in the time axis region.
  • the second howling canceller 60 includes a third transfer function storage circuit 64, a second delay circuit 66, a third storage circuit 62, a third convolution calculator 63, a third subtractor 61, and a third transfer function.
  • An update circuit 65 is included.
  • the third transfer function storage circuit 64 stores the transfer function estimated as the transfer function of the second howling 33.
  • the second delay unit 66 delays the output signal of the second howling canceller 60.
  • the third memory circuit 62 stores the signal output from the second delay device 66.
  • the third convolution calculator 63 generates a second howling signal by convolving the signal stored in the third storage circuit 62 and the transfer function stored in the third transfer function storage circuit 64.
  • the third convolution calculator 63 is an N-tap FIR filter that performs a convolution operation represented by the following Expression 7.
  • y3't is the second howling signal at time t.
  • N is the number of taps of the FIR filter.
  • H3 (i) t is the i-th transfer function among the N transfer functions stored in the third transfer function storage circuit 64 at time t.
  • x3 (ti ⁇ 2) is the (ti ⁇ 2) th signal among the signals stored in the third memory circuit 62.
  • ⁇ 2 is a delay time by the second delay device 66.
  • the third subtracter 61 removes the second howling signal output from the third convolution calculator 63 from the output signal of the first echo / crosstalk canceller 50 and outputs it as the output signal of the second howling canceller 60.
  • the third subtractor 61 performs the subtraction shown in the following Expression 8.
  • e3t is an output signal of the third subtractor 61 at time t.
  • y3t is an output signal of the first echo / crosstalk canceller 50 at time t.
  • the third transfer function update circuit 65 updates the transfer function stored in the third transfer function storage circuit 64 based on the output signal of the third subtractor 61 and the signal stored in the third storage circuit 62.
  • the third transfer function update circuit 65 is based on the output signal of the third subtractor 61 and the signal stored in the third storage circuit 62 by using independent component analysis, as shown in Equation 9 below.
  • the transfer function stored in the third transfer function storage circuit 64 is updated so that the output signal of the third subtractor 61 and the signal stored in the third storage circuit 62 are independent of each other.
  • H3 (j) t + 1 is the j-th transfer function among the N transfer functions stored in the third transfer function storage circuit 64 at time t + 1 (that is, after the update).
  • H3 (j) t is the j-th transfer function among the N transfer functions stored in the third transfer function storage circuit 64 at time t (that is, before update).
  • ⁇ 3 is a step size parameter for controlling the learning speed in the estimation of the transfer function of the second howling 33.
  • ⁇ 3 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function, or a sign function (sign function)).
  • the third transfer function update circuit 65 performs nonlinear processing using the nonlinear function on the output signal of the third subtractor 61, and the obtained result is stored in the third storage circuit 62.
  • the third update coefficient is calculated by multiplying the signal by the third step size parameter for controlling the learning speed in the estimation of the transfer function of the second howling 33. Then, the update is performed by adding the calculated third update coefficient to the transfer function stored in the third transfer function storage circuit 64.
  • the second echo / crosstalk canceller 70 uses the output signal of the second howling canceller 60, and the second echo 34 in which the sound output from the first speaker 22 circulates and is input to the second microphone 23, and The second jamming signal indicating the degree of the second crosstalk 35 input from the first speaker 11 to the second microphone 23 is estimated and calculated, and the calculated second jamming signal is output from the second microphone 23. It is a circuit that removes signals.
  • the second echo / crosstalk canceller 70 is a circuit that outputs a signal from which the second interfering signal has been removed to the first howling canceller 40, and is a digital signal that processes digital audio data in the time domain. It is a processing circuit.
  • the output signal of the second howling canceller 60 is an input signal to the first speaker 22, as shown in FIG.
  • the second echo / crosstalk canceller 70 includes a fourth transfer function storage circuit 74, a fourth storage circuit 72, a fourth convolution calculator 73, a fourth subtractor 71, and a fourth transfer function update circuit 75.
  • the fourth transfer function storage circuit 74 stores a transfer function estimated as a transfer function in which the second echo 34 and the second crosstalk 35 are combined.
  • the fourth memory circuit 72 stores the output signal of the second howling canceller 60.
  • the fourth convolution calculator 73 generates a second interference signal by convolving the signal stored in the fourth storage circuit 72 and the transfer function stored in the fourth transfer function storage circuit 74.
  • the fourth convolution calculator 73 is an N-tap FIR filter that performs a convolution operation represented by the following Expression 10.
  • y4't is the second disturbing signal at time t.
  • N is the number of taps of the FIR filter.
  • H4 (i) t is the i-th transfer function among the N transfer functions stored in the fourth transfer function storage circuit 74 at time t.
  • x4 (t ⁇ i) is the (t ⁇ i) th signal among the signals stored in the fourth memory circuit 72.
  • the fourth subtracter 71 removes the second interference signal output from the fourth convolution calculator 73 from the output signal of the second microphone 23 and outputs it as the output signal of the second echo / crosstalk canceller 70.
  • the fourth subtracter 71 performs the subtraction shown in the following Expression 11.
  • e4t is an output signal of the fourth subtracter 71 at time t.
  • y4t is an output signal of the second microphone 23 at time t.
  • the fourth transfer function update circuit 75 updates the transfer function stored in the fourth transfer function storage circuit 74 based on the output signal of the fourth subtracter 71 and the signal stored in the fourth storage circuit 72.
  • the fourth transfer function update circuit 75 is based on the output signal of the fourth subtractor 71 and the signal stored in the fourth storage circuit 72 using independent component analysis as shown in the following Expression 12.
  • the transfer function stored in the fourth transfer function storage circuit 74 is updated so that the output signal of the fourth subtracter 71 and the signal stored in the fourth storage circuit 72 are independent of each other.
  • H4 (j) t + 1 is the j-th transfer function among the N transfer functions stored in the fourth transfer function storage circuit 74 at time t + 1 (that is, after the update).
  • H4 (j) t is the j-th transfer function among the N transfer functions stored in the fourth transfer function storage circuit 74 at time t (that is, before update).
  • ⁇ 4 is a step size parameter for controlling the learning speed in estimating the transfer function combining the second echo 34 and the second crosstalk 35.
  • ⁇ 4 is a nonlinear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function, or a sign function (sign function)).
  • the fourth transfer function update circuit 75 performs nonlinear processing using the nonlinear function on the output signal of the fourth subtractor 71, and the obtained result is stored in the fourth storage circuit 72.
  • the fourth update coefficient is calculated by multiplying the signal by the fourth step size parameter for controlling the learning speed in the estimation of the transfer function combining the second echo 34 and the second crosstalk 35. Then, the update is performed by adding the calculated fourth update coefficient to the transfer function stored in the fourth transfer function storage circuit 74.
  • the time when the output signal of the second howling canceller 60 is input to the second echo / crosstalk canceller 70 for the voice of the first speaker 11 at the same time is It is designed to be the same as or earlier than the time when the voice of the first speaker 11 is input to the second microphone 23. That is, the causality is maintained so that the second echo / crosstalk canceller 70 can cancel the second crosstalk 35.
  • the voice of the first speaker 11 and the voice of the second speaker 12 are processed as follows.
  • the voice of the first speaker 11 is input to the first microphone 21.
  • the first interference signal is removed from the output signal of the first microphone 21 by the first echo / crosstalk canceller 50.
  • the first disturbing signal is a signal indicating (estimated) the degree of the first echo 31 and the first crosstalk 32. Therefore, the output signal of the first echo / crosstalk canceller 50 is a signal indicating the sound in which the influences of the first echo 31 and the first crosstalk 32 are removed from the sound input to the first microphone 21.
  • the second howling signal is removed from the output signal of the first echo / crosstalk canceller 50 by the second howling canceller 60.
  • the second howling signal is a signal indicating the degree of the second howling 33 (estimated). Therefore, the output signal of the second howling canceller 60 is a signal obtained by removing the influence of the second howling 33 from the output signal of the first echo / crosstalk canceller 50. This signal is input to the first speaker 22 and output as sound.
  • the sound output from the first speaker 22 is the sound from which the effects of the first echo 31, the first crosstalk 32, and the second howling 33 are removed from the sound input to the first microphone 21, that is, Only the voice of the first speaker 11 from which the acoustic noise has been removed is obtained.
  • the voice of the second speaker 12 is input to the second microphone 23.
  • the second interference signal is removed from the output signal of the second microphone 23 by the second echo / crosstalk canceller 70.
  • the second interference signal is a signal indicating (estimated) the degree of the second echo 34 and the second crosstalk 35. Therefore, the output signal of the second echo / crosstalk canceller 70 is a signal indicating the sound in which the influence of the second echo 34 and the second crosstalk 35 is removed from the sound input to the second microphone 23.
  • the first howling signal is removed from the output signal of the second echo / crosstalk canceller 70 by the first howling canceller 40.
  • the first howling signal is a signal indicating the degree of the first howling 30 (estimated). Therefore, the output signal of the first howling canceller 40 is a signal obtained by removing the influence of the first howling 30 from the output signal of the second echo / crosstalk canceller 70. This signal is input to the second speaker 24 and output as sound.
  • the sound output from the second speaker 24 is the sound from which the influence of the second echo 34, the second crosstalk 35, and the first howling 30 is removed from the sound input to the second microphone 23, that is, Only the voice of the second speaker 12 from which the acoustic noise has been removed is obtained.
  • the degree to which acoustic noise is removed depends on the transfer function held in the first howling canceller 40, the first echo / crosstalk canceller 50, the second howling canceller 60, and the second echo / crosstalk canceller 70. Needless to say, it depends on the accuracy, the parameters in the transfer function update equations shown in Equations 3, 6, 9, and 12 above.
  • the interactive conversation assistance device 20 includes the first microphone 21 and the first echo / crosstalk canceller 50. Then, in the interactive conversation assisting device 20, regarding the voice of the second speaker 12 at the same time, when the signal is input to the first echo / crosstalk canceller 50, the voice of the second speaker 12 is the first microphone It is designed to be the same as or earlier than the time input to 21. Therefore, the first echo / crosstalk canceller 50 receives not only the first echo 31 inputted by the sound output from the second speaker 24 wrapping around the first microphone 21 but also the voice of the second speaker 12. The first crosstalk 32 input to one microphone 21 is also estimated and removed from the output signal of the first microphone 21.
  • the first speaker 11 and the second speaker 12 (first crosstalk 32) input to the first microphone 21 are separated from each other to separate the first speaker.
  • the acoustic noise due to the first echo 31 and the first crosstalk 32 is removed from the output signal of the first microphone 21 without extracting only the 11th sound. Therefore, it is possible to suppress the sound produced by the first crosstalk 32 from being amplified from the first speaker 22 on the second speaker 12 side without increasing hardware.
  • the interactive conversation assistance device 20 in the present embodiment includes a second microphone 23 and a second echo / crosstalk canceller 70.
  • the voice of the first speaker 11 is the second microphone. It is designed to be the same as or earlier than the time input to 23. Therefore, the second echo / crosstalk canceller 70 receives not only the second echo 34 inputted from the sound output from the first speaker 22 but also the second microphone 23 as well as the voice of the first speaker 11.
  • the second crosstalk 35 input to the two microphones 23 is also estimated and removed from the output signal of the second microphone 23.
  • the voice of the second speaker 12 and the voice of the first speaker 11 (second crosstalk 35) input to the second microphone 23 are separated and the second speaker is separated.
  • the acoustic noise due to the second echo 34 and the second crosstalk 35 is removed from the output signal of the second microphone 23 without extracting only twelve voices. Therefore, it is possible to suppress the sound from the second crosstalk 35 from being amplified from the second speaker 24 on the first speaker 11 side without increasing hardware.
  • the interactive conversation assisting device 20 in the present embodiment includes a first microphone 21, a first speaker 22, a second microphone 23, a second speaker 24, a first howling canceller 40, a first echo / crosstalk canceller 50, A second howling canceller 60 and a second echo / crosstalk canceller 70 are provided.
  • the distance between the first microphone 21 installed on the first speaker 11 side and the second speaker 24 is larger than the distance between the first microphone 21 that processes the voice of the first speaker 11 and the first speaker 22.
  • the distance between the second microphone 23 installed on the second speaker 12 side and the first speaker 22 is the same between the second microphone 23 and the second speaker 24 that process the voice of the second speaker 12. Less than distance.
  • the first echo / crosstalk canceller 50 first performs the first echo 31 and the first crosstalk 32 on the sound input to the first microphone 21.
  • the second howling canceller 60 removes the second howling 33.
  • the second echo 34 and the second crosstalk 35 are first removed from the sound input to the second microphone 23 by the second echo / crosstalk canceller 70, and then the first howling canceller 40.
  • the first howling 30 is removed.
  • the first echo 31 from the second speaker 24 to the first microphone 21 and the second echo 34 from the first speaker 22 to the second microphone 23 are close to each other and have strong acoustic coupling.
  • it is removed by the crosstalk canceller 50 and the second echo / crosstalk canceller 70.
  • the strongest first echo 31 and second echo 34 input to the first microphone 21 and the second microphone 23 are removed first, so that they are positioned after the first echo / crosstalk canceller 50.
  • the removal of the second howling 33 by the second howling canceller 60 and the removal of the first howling 30 by the first howling canceller 40 located after the second echo / crosstalk canceller 70 are facilitated. Therefore, it is possible to efficiently remove acoustic noise.
  • the first echo / crosstalk canceller 50 removes the first crosstalk 32 from the sound input to the first microphone 21, and the second howling canceller 60 performs the first operation. 2 Howling 33 is removed.
  • the second crosstalk 35 is removed by the second echo / crosstalk canceller 70 from the sound input to the second microphone 23, the first howling 30 is removed by the first howling canceller 40, and the first All unnecessary signals input to the microphone 21 and the second microphone 23 are removed. Therefore, it becomes possible to amplify the sound in both directions in the same space such as the inside of a vehicle with acoustic noise removed without causing howling, echo and crosstalk.
  • a convolution calculator is added to the first howling canceller 40, the first echo / crosstalk canceller 50, the second howling canceller 60, and the second echo / crosstalk canceller 70.
  • signal processing for removing acoustic noise is performed not in the frequency domain but in the time axis domain, and processing such as Fast Fourier Transform (FFT) is not required. Acoustic noise is reliably removed by signal processing.
  • FFT Fast Fourier Transform
  • the first transfer function update circuit 45 updates the transfer function according to the above-described expression 3.
  • the first transfer function update circuit 45 updates the transfer function according to the normalized expression. May be.
  • N is the number of transfer functions stored in the first transfer function storage circuit 44.
  • X1 (ti ⁇ 1) is the absolute value of x1 (ti ⁇ 1).
  • the update of the estimated transfer function by the first transfer function update circuit 45 is stably performed without depending on the amplitude of the input signal x1 (tj).
  • the second transfer function update circuit 55 updates the transfer function according to the above-described equation 6, but may update the transfer function according to the normalized equation as shown in the following equation 15 or equation 16. .
  • N is the number of transfer functions stored in the second transfer function storage circuit 54.
  • is the absolute value of x2 (t ⁇ i).
  • the update of the estimated transfer function by the second transfer function update circuit 55 is stably performed without depending on the amplitude of the input signal x2 (tj).
  • the third transfer function update circuit 65 updates the transfer function according to the above-described equation 9. However, as shown in the following equation 17 or 18, the transfer function may be updated according to a normalized equation. .
  • N is the number of transfer functions stored in the third transfer function storage circuit 64.
  • X3 (ti ⁇ 3) is the absolute value of x3 (ti ⁇ 3).
  • the update of the estimated transfer function by the third transfer function update circuit 65 is stably performed without depending on the amplitude of the input signal x3 (tj).
  • the fourth transfer function update circuit 75 updates the transfer function according to the above equation 12, but may update the transfer function according to a normalized equation as shown in the following equation 19 or equation 20. .
  • N is the number of transfer functions stored in the fourth transfer function storage circuit 74.
  • the update of the estimated transfer function by the fourth transfer function update circuit 75 is stably performed without depending on the amplitude of the input signal x4 (t ⁇ j).
  • the above embodiment is a two-way conversation assistance device, the following two-way conversation assistance method may be used.
  • a bidirectional conversation assistance method for assisting the conversation between the first speaker 11 and the second speaker 12 by amplifying the conversation, the conversation system inputs the voice of the first speaker 11.
  • the two-way conversation assistance method includes a first howling cancellation step, a first echo / crosstalk cancellation step, a second howling cancellation step, and a second echo / crosstalk cancellation step.
  • the first howling signal indicating the degree of the first howling 30 input by the sound output from the second speaker 24 returning to the second microphone 23 is estimated and calculated, and the calculated first The one howling signal is removed from the signal from the second microphone 23, and the signal after the removal is output to the second speaker 24.
  • the signal from the second microphone 23 is the signal obtained in the second echo / crosstalk cancellation step.
  • the first echo / crosstalk canceling step the first echo 31 inputted by the sound output from the second speaker 24 wrapping around the first microphone 21 using the signal input to the second speaker 24, and
  • the first jamming signal indicating the degree of the first crosstalk 32 in which the voice of the second speaker 12 is input to the first microphone 21 is estimated and calculated, and the calculated first jamming signal is transmitted to the first microphone 21. Remove from output signal.
  • the signal input to the second speaker 24 is the signal obtained in the first howling cancellation step.
  • the second howling signal indicating the degree of the second howling 33 inputted by the sound output from the first speaker 22 returning to the first microphone 21 is estimated and calculated, and the calculated second The two howling signals are removed from the signal from the first microphone 21, and the signal after the removal is output to the first speaker 22.
  • the signal from the first microphone 21 is the signal obtained in the first echo / crosstalk cancellation step.
  • the second jamming signal indicating the degree of the second crosstalk 35 in which the voice of the first speaker 11 is input to the second microphone 23 is estimated and calculated, and the calculated second jamming signal is transmitted to the second microphone 23.
  • the signal input to the first speaker 22 is the signal obtained in the second howling cancellation step.
  • Such a bidirectional conversation assisting method is performed by, for example, a processor that executes a program. That is, the first howling canceller 40, the first echo / crosstalk canceller 50, the second howling canceller 60, and the second echo / crosstalk canceller 70 in the above embodiment may be realized by a processor that executes a program. Good.
  • the processor includes a DSP (Digital Signal Processor), a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), and a microprocessor.
  • Such an interactive conversation assisting method may be realized by a program recorded on a computer-readable recording medium such as a CD-ROM and a recording medium on which the program is recorded.
  • the bidirectional conversation assisting device in the present embodiment is a device that assists by amplifying the two-way conversation between the first speaker and the second speaker, similar to the bidirectional conversation assisting device in the first embodiment. This is a suitable device when the second howling 33, the second echo 34, and the second crosstalk 35 in Embodiment 1 are small enough to be ignored.
  • FIG. 3 is a block diagram showing the configuration of the interactive conversation assisting apparatus 20a in the second embodiment.
  • the interactive conversation assisting device 20a corresponds to a configuration in which the second howling canceller 60 and the second echo / crosstalk canceller 70 are excluded from the configuration of the interactive conversation assisting device 20 in the first embodiment.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof is omitted.
  • the interactive conversation assisting device 20a includes a first microphone 21, a first speaker 22, a second microphone 23, a second speaker 24, a first howling canceller 40, and a first echo / crosstalk canceller 50. Any component is the same as the corresponding component in the first embodiment.
  • the output signal of the first echo / crosstalk canceller 50 is the first. 1 is input to the speaker 22, and the output signal of the second microphone 23 is input to the first howling canceller 40.
  • the first speaker 22 and the second microphone 23 used by the second speaker 12 are typically headsets attached to the head of the second speaker 12.
  • the interactive conversation assisting device 20a in the present embodiment having such a configuration includes a first howling canceller 40 and a first echo / crosstalk canceller 50.
  • the second howling canceller 60 and the second echo / crosstalk canceller 70 are not provided. Therefore, this interactive conversation assisting device 20a removes the first howling 30, the first echo 31, and the first crosstalk 32 among the acoustic noise removing functions of the interactive conversation assisting device 20 in the first embodiment. It has a function and does not have a function of removing the second howling 33, the second echo 34, and the second crosstalk 35.
  • the first speaker 22 and the second microphone 23 used by the second speaker 12 are headsets, the first speaker 22 is attached in close contact with the ears of the second speaker 12, As a result, there is little sound leakage from the first speaker 22. Therefore, the second howling 33 and the second echo 34 in the first embodiment can be ignored. Further, since the second microphone 23 is held at the mouth of the second speaker 12, the influence of the second crosstalk 35 in which the voice of the first speaker 11 is input to the second microphone 23 can be ignored.
  • the interactive conversation assisting device 20a has a minimum acoustic noise (first howling) required when the first speaker 22 and the second microphone 23 used by the second speaker 12 are headsets. 30, only the function of removing the first echo 31 and the first crosstalk 32) is provided, and compared with the first embodiment, the number of constituent elements is small, that is, it is inexpensive and has a compact configuration. Acoustic noise can be removed.
  • this embodiment may also be realized as a two-way conversation assistance method and program, as in the first embodiment.
  • Such an interactive conversation assisting method includes the first howling cancellation step and the first echo / crosstalk cancellation step described above.
  • the bidirectional conversation assisting device in the present embodiment is a device that assists by amplifying the two-way conversation between the first speaker and the second speaker, similar to the bidirectional conversation assisting device in the first embodiment. This is a suitable apparatus when the first howling 30, the second howling 33, the second echo 34, and the second crosstalk 35 in the first embodiment are small enough to be ignored.
  • FIG. 4 is a block diagram showing the configuration of the interactive conversation assisting apparatus 20b in the third embodiment.
  • This interactive conversation assisting device 20b is configured by excluding the first howling canceller 40, the second howling canceller 60, and the second echo / crosstalk canceller 70 from the configuration of the interactive conversation assisting device 20 in the first embodiment, in other words.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof is omitted.
  • the interactive conversation assisting device 20b includes a first microphone 21, a first speaker 22, a second microphone 23, a second speaker 24, and a first echo / crosstalk canceller 50. Any component is the same as the corresponding component in the first embodiment.
  • the first echo / crosstalk canceller is provided.
  • the output signal of 50 is input to the first speaker 22, and the output signal of the second microphone 23 is input to the second speaker 24 and the first echo / crosstalk canceller 50.
  • the first speaker 22 and the second microphone 23 used by the second speaker 12 are typically headsets attached to the head of the second speaker 12. Further, the second microphone 23 and the second speaker 24 are installed in an environment that is small enough to ignore the first howling 30 in which the sound output from the second speaker 24 is fed back to the second microphone 23. Yes.
  • the second speaker 24 is provided at a position for outputting sound in a direction opposite to the direction in which the second microphone 23 is present (or has such sound output directivity characteristics).
  • the interactive conversation assisting device 20b includes the first echo / crosstalk canceller 50 as compared with the interactive conversation assisting device 20 according to the first embodiment, but the first howling.
  • the canceller 40, the second howling canceller 60, and the second echo / crosstalk canceller 70 are not provided. Therefore, this interactive conversation assisting device 20b has a function of removing the first echo 31 and the first crosstalk 32 among the acoustic noise removing functions of the interactive conversation assisting device 20 in the first embodiment. It does not have a function of removing the first howling 30, the second howling 33, the second echo 34, and the second crosstalk 35.
  • the first speaker 22 and the second microphone 23 used by the second speaker 12 are headsets, the first speaker 22 is attached in close contact with the ears of the second speaker 12, As a result, there is little sound leakage from the first speaker 22. Therefore, the second howling 33 and the second echo 34 in the first embodiment can be ignored. Further, since the second microphone 23 is held at the mouth of the second speaker 12, the influence of the second crosstalk 35 in which the voice of the first speaker 11 is input to the second microphone 23 can be ignored. Further, the second microphone 23 and the second speaker 24 are installed in an environment that is small enough to ignore the first howling 30 in which the sound output from the second speaker 24 is fed back to the second microphone 23. Yes.
  • the first speaker 22 and the second microphone 23 used by the second speaker 12 are a headset, and the second microphone 23 and the second speaker 24 are the first ones. It has only a minimum acoustic noise (first echo 31 and first crosstalk 32) removal function that is required when one howling 30 is installed in an environment where acoustic coupling is negligibly small. Therefore, as compared with the first and second embodiments, the minimum necessary acoustic noise can be removed with a small number of components, that is, with an inexpensive and compact configuration.
  • this embodiment may also be realized as a two-way conversation assistance method and program, as in the first embodiment.
  • Such a bidirectional conversation assisting method includes the first echo / crosstalk canceling step described above.
  • the bidirectional conversation assisting device in the present embodiment is a device that assists by amplifying the two-way conversation between the first speaker and the second speaker, similar to the bidirectional conversation assisting device in the first embodiment.
  • the first howling 30 and the second howling 33 in the first embodiment are small enough to be ignored, this is a suitable device.
  • FIG. 5 is a block diagram showing the configuration of the interactive conversation assisting apparatus 20c in the fourth embodiment.
  • This interactive conversation assisting device 20c corresponds to a configuration in which the first howling canceller 40 and the second howling canceller 60 are excluded from the configuration of the interactive conversation assisting device 20 in the first embodiment.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof is omitted.
  • the interactive conversation assisting device 20c includes a first microphone 21, a first speaker 22, a second microphone 23, a second speaker 24, a first echo / crosstalk canceller 50, and a second echo / crosstalk canceller 70. Any component is the same as the corresponding component in the first embodiment.
  • the output signal of the first echo / crosstalk canceller 50 is the first speaker 22.
  • the output signal of the second echo / crosstalk canceller 70 is input to the second speaker 24 and the first echo / crosstalk canceller 50.
  • the first microphone 21 and the first speaker 22 are installed in an environment that is small enough to ignore the second howling 33 in which the sound output from the first speaker 22 is fed back to the first microphone 21. Yes.
  • the first speaker 22 is provided at a position for outputting sound in a direction opposite to the direction in which the first microphone 21 is present (or has such sound output directivity characteristics).
  • the second microphone 23 and the second speaker 24 are installed in an environment that is small enough that the first howling 30 in which the sound output from the second speaker 24 is fed back to the second microphone 23 can be ignored.
  • the second speaker 24 is provided at a position for outputting sound in a direction opposite to the direction in which the second microphone 23 is present (or has such sound output directivity characteristics).
  • the interactive conversation assisting device 20c in the present embodiment is the first echo / crosstalk canceller 50 and the second echo / crosstalk.
  • the canceller 70 is provided, the first howling canceller 40 and the second howling canceller 60 are not provided. Therefore, the interactive conversation assisting device 20c includes the first echo 31, the first crosstalk 32, the second echo 34, and the first of the acoustic noise removing functions of the interactive conversation assisting device 20 according to the first embodiment. 2 has a function of removing the crosstalk 35 and does not have a function of removing the first howling 30 and the second howling 33.
  • the first microphone 21 and the first speaker 22 are so small that the second howling 33 in which the sound output from the first speaker 22 is fed back to the first microphone 21 can be ignored. Is installed. Further, the second microphone 23 and the second speaker 24 are installed in an environment that is small enough to ignore the first howling 30 in which the sound output from the second speaker 24 is fed back to the second microphone 23. Yes.
  • the first microphone 21 and the first speaker 22 are installed in an environment where the acoustic coupling is small enough that the second howling 33 can be ignored, and the second microphone 23 and the first speaker 22 are connected.
  • this embodiment may also be realized as a two-way conversation assistance method and program, as in the first embodiment.
  • Such a two-way conversation assistance method includes the above-described first echo / crosstalk cancellation step and second echo / crosstalk cancellation step.
  • the bidirectional conversation assisting device in the present embodiment is a device that assists by amplifying the two-way conversation between the first speaker and the second speaker, similar to the bidirectional conversation assisting device in the first embodiment.
  • the loudspeaker function it also has a function of outputting sound from a sound player such as a radio, a TV and a music player to the first speaker and the second speaker.
  • FIG. 6 is a block diagram showing the configuration of the interactive conversation assisting apparatus 20d in the fifth embodiment.
  • the interactive conversation assisting device 20d includes an acoustic regenerator 100, a first beam former 102, a second beam former 106, a first noise suppressor 104, A second noise suppressor 108, a first acoustic canceller 150, and a second acoustic canceller 170 are provided.
  • the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof is omitted.
  • the first beamformer 102 is a circuit that performs acoustic beamforming in a target direction (the mouth of the first speaker 11) based on the directivity characteristics of sound input from the first microphone 21 composed of a plurality of microphones. .
  • the second beamformer 106 is a circuit that performs acoustic beamforming in a target direction (the mouth of the second speaker 12) based on the directivity characteristics of the sound input from the second microphone 23 composed of a plurality of microphones. .
  • the first noise suppressor 104 is a circuit that removes external noise that has jumped into the first microphone 21, and removes signal components other than voice from the output signal of the second howling canceller 60.
  • the second noise suppressor 108 is a circuit that removes external noise that has jumped into the second microphone 23, and removes signal components other than speech from the output signal of the first howling canceller 40.
  • the sound player 100 is an acoustic sound source provided to the first speaker 11 and the second speaker 12, and is, for example, a radio, a TV, a music player, or the like.
  • the first acoustic canceller 150 adds the output signal (acoustic signal) of the acoustic regenerator 100 to the output signal of the second noise suppressor 108 and outputs the result to the second speaker 24, and from the output signal of the first beamformer 102. Then, the first acoustic echo signal indicating the degree of the first acoustic echo inputted by the sound output from the second speaker 24 wrapping around the first microphone 21 is estimated and calculated. The calculated first acoustic echo signal is removed from the output signal of the first beamformer 102, and the signal after the removal is output to the first echo / crosstalk canceller 50.
  • the first acoustic canceller 150 includes a fifth transfer function storage circuit 154, a fifth storage circuit 152, a fifth convolution calculator 153, a fifth subtractor 151, a fifth transfer function update circuit 155, and a first adder 156.
  • This configuration corresponds to a configuration in which the first adder 156 is added to the configuration of the first echo / crosstalk canceller 50 described in the first embodiment.
  • Each component of the first acoustic canceller 150 (the fifth transfer function storage circuit 154, the fifth storage circuit 152, the fifth convolution calculator 153, the fifth subtractor 151, and the fifth transfer function update circuit 155) -It has the same function as the corresponding component of the crosstalk canceller 50.
  • the fifth storage circuit 152 stores the output signal (acoustic signal) of the acoustic player 100.
  • the fifth convolution calculator 153 generates the first acoustic echo signal described above.
  • the first adder 156 adds the output signal (acoustic signal) of the sound regenerator 100 to the output signal of the second noise suppressor 108 and outputs the result to the second speaker 24.
  • the second acoustic canceller 170 adds the output signal (acoustic signal) of the acoustic regenerator 100 to the output signal of the first noise suppressor 104 and outputs the result to the first speaker 22 and from the output signal of the second beamformer 106. Then, the second acoustic echo signal indicating the degree of the second acoustic echo input by the sound output from the first speaker 22 wrapping around the second microphone 23 is estimated and calculated. The calculated second acoustic echo signal is removed from the output signal of the second beam former 106, and the signal after the removal is output to the second echo / crosstalk canceller 70.
  • the second acoustic canceller 170 includes a sixth transfer function storage circuit 174, a sixth storage circuit 172, a sixth convolution calculator 173, a sixth subtractor 171, a sixth transfer function update circuit 175, and a second adder 176.
  • This configuration corresponds to a configuration in which the second adder 176 is added to the configuration of the second echo / crosstalk canceller 70 described in the first embodiment.
  • Each component of the second acoustic canceller 170 (sixth transfer function storage circuit 174, sixth storage circuit 172, sixth convolution calculator 173, sixth subtractor 171 and sixth transfer function update circuit 175) -It has the same function as the corresponding component of the crosstalk canceller 70.
  • the sixth storage circuit 172 stores the output signal (acoustic signal) of the acoustic regenerator 100.
  • the sixth convolution calculator 173 generates the second acoustic echo signal described above.
  • the second adder 176 adds the output signal (acoustic signal) of the sound regenerator 100 to the output signal of the first noise suppressor 104 and outputs the result to the first speaker 22.
  • the interactive conversation assisting device 20d according to the present embodiment having such a configuration includes the first acoustic canceller 150 and the second acoustic canceller 170 in addition to the configuration of the interactive conversation assisting device 20 according to the first embodiment.
  • the sound from the sound player 100 is provided to the first speaker 11 and the second speaker 12 with the acoustic echo signal removed. Is done.
  • the interactive conversation assisting device 20d in the present embodiment includes the first beam former 102, the second beam former 106, the first noise suppressor 104, and the second noise suppressor 108, the first speaker 11 and The clear conversation in which the external noise other than the second speaker 12 is suppressed is amplified.
  • Embodiments 1 to 5 and modifications have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to these, and can also be applied to embodiments in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • the two-way conversation assisting device 20d in the fifth embodiment has an additional configuration (sound regenerator 100, first beam former 102, second beam former 106, The first noise suppressor 104, the second noise suppressor 108, the first acoustic canceller 150, and the second acoustic canceller 170) are added, but these additional configurations are the same as in any of the second to fourth embodiments. It may be added to the interactive conversation assistance device.
  • these additional configurations (sound regenerator 100, first beam former 102, second beam former 106, first noise suppressor 104, second noise suppressor 108, first acoustic canceller 150, and second acoustic canceller). 170), only a part of the configuration (for example, only the first beam former 102 and the second beam former 106) may be added to any of the first to fourth embodiments.
  • the first microphone 21 is added to the fifth subtracter 151 of the first acoustic canceller 150.
  • the output signal of the second microphone 23 is directly input to the sixth subtracter 171 of the second acoustic canceller 170.
  • the first adder 156 of the first acoustic canceller 150 receives the output signal of the first howling canceller 40 as a signal from the second microphone 23, and the second adder 176 of the second acoustic canceller 170 receives the first adder 176.
  • the output signal of the second howling canceller 60 is input as a signal from the microphone 21.
  • the interactive conversation assisting device is applied as an in-vehicle conversation assisting device.
  • the present invention is not limited to such an application example.
  • the present invention may be applied as a device, or may be applied as a device that assists a conversation between a driver and a drive-through store clerk.
  • this device is used as a device for assisting conversation in an environment where crosstalk is likely to occur (for example, conversation in the same space).
  • the interactive conversation assisting device in the disclosure is suitable.
  • all the convolution calculators included in the first howling canceller 40, the first echo / crosstalk canceller 50, the second howling canceller 60, and the second echo / crosstalk canceller 70 are provided.
  • the convolution calculation is performed using an N-tap FIR filter as an example, each type of digital filter may have a different number of taps. In other words, what kind of digital filter is used may be appropriately designed independently depending on the transfer function of the acoustic noise to be canceled.
  • the transfer function by the transfer function update circuit included in the first howling canceller 40, the first echo / crosstalk canceller 50, the second howling canceller 60, and the second echo / crosstalk canceller 70 is provided.
  • the update algorithm may be the same algorithm or the same algorithm, but the step size parameter may be different or different. It may be an algorithm. That is, the transfer function update algorithm may be designed independently as appropriate depending on the magnitude of the acoustic noise to be canceled.
  • the configuration is such that howling is removed after the echo and crosstalk are removed from the audio signal input from the microphone. After removal, the echo and crosstalk may be removed. That is, the order of the first echo / crosstalk canceller 50 and the second howling canceller 60 and the order of the second echo / crosstalk canceller 70 and the first howling canceller 40 can be changed. Also in this case, the same effect as that of the bidirectional conversation assisting device of the first and fifth embodiments can be obtained.
  • the example in which the first acoustic echo signal is removed from the output signal of the first beamformer 102 has been shown. However, from the output signal of the first echo / crosstalk canceller 50 or the second howling canceller 60, It may be removed. Similarly, the second acoustic echo signal may be removed from the output signal of the second echo / crosstalk canceller 70 or the first howling canceller 40.
  • examples of microphones and speakers included in the interactive conversation assistance device include a type incorporated in a car, a type attached to a car, a headset, etc., but are not limited thereto.
  • a microphone and / or a speaker included in a portable information terminal such as a smartphone may be used.
  • the voice of a rear occupant in a car is picked up by a smartphone as the second microphone 23, wirelessly transmitted to the head unit (bidirectional conversation assisting device), and howling and echoing from the front speaker as the second speaker 24 And loudspeaking is performed with crosstalk suppressed.
  • the driver's voice collected by the front microphone as the first microphone 21 is wirelessly transmitted to the rear passenger's smartphone, and howling, echo, and crosstalk are suppressed from the smartphone speaker as the first speaker 22. Amplify in state. As a result, the rear occupant can smoothly talk with the driver using the smartphone, and the rear microphone in the vehicle is not necessary.
  • the interactive conversation assisting device using a microphone and / or a speaker of such a portable information terminal such as a smartphone is also useful as a PA (Public Address) system used in a lecture or the like.
  • PA Public Address
  • the voice of the questioner at the lecture can be picked up by his / her smartphone and wirelessly transferred to the PA system, and the voice can be loudened while suppressing howling and echo.
  • the time required for handing over the microphone to the questioner is reduced, and the question-and-answer session is carried out smoothly and the lecture can proceed smoothly.
  • the present disclosure can be applied to a two-way conversation assistance device that amplifies and assists two-way conversation after removing not only echo but also acoustic noise including crosstalk.
  • the present disclosure is applicable to a vehicle interior conversation assist device, a PA system, and the like.

Abstract

双方向会話補助装置は、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカと、第１エコー・クロストークキャンセラと、を備える。第１エコー・クロストークキャンセラは、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの出力信号から除去する。

Description

双方向会話補助装置及び双方向会話補助方法
　本開示は、第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置及び双方向会話補助方法に関する。
　特許文献１は、２線伝送路を介してハンズフリー通話が可能な拡声電話回路を開示する。この拡声電話回路は、２線４線変換回路における回線反響信号を消去する第１のエコーキャンセラと、スピーカからマイクへの空間伝播による室内反響信号を消去する第２のエコーキャンセラと、第１のエコーキャンセラの送信出力側と第２のエコーキャンセラの受信入力側の間に可変利得増幅回路とを備える。これにより、安定してスピーカからの受話音量の調整がなされたハンズフリー通話品質を得ることができる。
特開昭６１－１９４９５８号公報
　本開示は、エコー（反響）だけでなくクロストーク（漏話）を含む音響的雑音を除去したうえで双方向の会話を拡声して補助する双方向会話補助装置及び双方向会話補助方法を提供する。
　本開示における双方向会話補助装置は、第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置であって、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカと、第１エコー・クロストークキャンセラと、を備える。第１エコー・クロストークキャンセラは、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの出力信号から除去する。
　本開示における双方向会話補助方法は、会話システムにおいて第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助方法であって、会話システムは、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカとを備える。双方向会話補助方法は、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの出力信号から除去する第１エコー・クロストークキャンセルステップを含む。
　本開示における双方向会話補助装置及び双方向会話補助方法は、エコー（反響）だけでなくクロストーク（漏話）を含む音響的雑音を除去したうえで双方向の会話を拡声して補助するのに有効である。
実施の形態１における双方向会話補助装置の適用例を示す図 図１に示された双方向会話補助装置の構成を示すブロック図 実施の形態２における双方向会話補助装置の構成を示すブロック図 実施の形態３における双方向会話補助装置の構成を示すブロック図 実施の形態４における双方向会話補助装置の構成を示すブロック図 実施の形態５における双方向会話補助装置の構成を示すブロック図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　以下、図１及び図２を用いて、実施の形態１を説明する。
　［１－１．適用例］
　図１は、実施の形態１における双方向会話補助装置２０の適用例を示す図である。ここでは、双方向会話補助装置２０を車１０における双方向の会話を拡声して補助する装置（車室内会話補助装置）として適用した例が示されている。
　双方向会話補助装置２０は、第１話者１１（ここでは、運転者）と第２話者１２（ここでは、後部乗員）による双方向の会話を拡声して補助する装置である。運転席の天井には、第１話者１１の音声（第１音声）を入力するための第１マイク２１が設けられ、後部座席横の両側の内側面には、その音声を出力するための第１スピーカ２２が設けられている。また、後部座席の天井には、第２話者１２の音声（第２音声）を入力するための第２マイク２３が設けられ、２つの前扉の内側面には、その音声を出力するための第２スピーカ２４が設けられている。
　第１話者１１と第２話者１２とは、この双方向会話補助装置２０を用いることで、車における一つの狭い空間であっても、ハウリング（鳴音）、エコー（反響）及びクロストーク（漏話）を含む音響的雑音が除去された双方向会話を楽しむことができる。
　なお、ハウリングとは、ある話者の音声を出力するスピーカから出力された音声がその話者の音声が入力されるマイクに帰還して入力される現象をいい、ここでは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される現象、及び、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される現象である。
　また、エコーとは、ある話者に向けて出力された音声がその話者の音声を入力するためのマイクに回り込んで入力される現象をいい、ここでは、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される現象、及び、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される現象である。
　また、クロストークとは、ある話者の音声が他人の音声を入力するためのマイクに入力される現象をいい、ここでは、第２話者１２の音声が第１マイク２１に入力される現象、及び、第１話者１１の音声が第２マイク２３に入力される現象である。
　［１－２．構成］
　図２は、図１に示された双方向会話補助装置２０の構成を示すブロック図である。この双方向会話補助装置２０は、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０を備える。なお、双方向会話補助装置２０の各構成要素は、有線又は無線で接続されている。また、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０は、例えば、車１０のヘッドユニットの一部として実装される。
　第１マイク２１は、第１話者１１の音声を入力するためのマイクであり、例えば、図１に示されるように、車１０の運転席の天井に設けられる。なお、第１マイク２１から出力される音声信号は、例えば、第１マイク２１に内蔵又は直後に設けられたＡ／Ｄ変換器で生成されるデジタル音声データである。
　第１スピーカ２２は、第１話者１１の音声を出力するためのスピーカであり、例えば、図１に示されるように、車１０の後部座席横の内側面に設けられる。なお、第１スピーカ２２は、例えば、入力されたデジタル音声データを第１スピーカ２２に内蔵又は直前に設けられたＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
　第２マイク２３は、第２話者１２の音声を入力するためのマイクであり、例えば、図１に示されるように、後部座席の天井に設けられる。なお、第２マイク２３から出力される音声信号は、例えば、第２マイク２３に内蔵又は直後に設けられたＡ／Ｄ変換器で生成されるデジタル音声データである。
　第２スピーカ２４は、第２話者１２の音声を出力するためのスピーカであり、例えば、図１に示されるように、車１０の２つの前扉の内側面に設けられる。なお、第２スピーカ２４は、例えば、入力されたデジタル音声データを第２スピーカ２４に内蔵又は直前に設けられたＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
　［１－２－１．第１ハウリングキャンセラ４０］
　第１ハウリングキャンセラ４０は、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０の程度を示す第１ハウリング信号を推定して算出し、算出した第１ハウリング信号を、第２マイク２３の出力信号から除去する回路である。本実施の形態では、第１ハウリングキャンセラ４０は、第２マイク２３の出力信号から後述する第２妨害信号が除去された第２エコー・クロストークキャンセラ７０の出力信号から、さらに第１ハウリング信号を除去し、除去後の信号を第２スピーカ２４に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第１ハウリングキャンセラ４０は、第１伝達関数記憶回路４４、第１遅延器４６、第１記憶回路４２、第１畳み込み演算器４３、第１減算器４１、及び、第１伝達関数更新回路４５を有する。
　第１伝達関数記憶回路４４は、第１ハウリング３０の伝達関数として推定された伝達関数を記憶する。
　第１遅延器４６は、第１ハウリングキャンセラ４０の出力信号を遅延させる。
　第１記憶回路４２は、第１遅延器４６から出力された信号を記憶する。
　第１畳み込み演算器４３は、第１記憶回路４２に記憶された信号と第１伝達関数記憶回路４４に記憶された伝達関数とを畳み込むことで第１ハウリング信号を生成する。例えば、第１畳み込み演算器４３は、以下の式１に示される畳み込み演算を行うＮタップのＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタである。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｙ１’ｔは、時刻ｔにおける第１ハウリング信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ１（ｉ）ｔは、時刻ｔにおいて第１伝達関数記憶回路４４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ１（ｔ－ｉ－τ１）は、第１記憶回路４２に記憶された信号のうち、（ｔ－ｉ－τ１）番目の信号である。τ１は、第１遅延器４６による遅延時間である。
　第１減算器４１は、第２エコー・クロストークキャンセラ７０の出力信号から、第１畳み込み演算器４３から出力された第１ハウリング信号を除去し、第１ハウリングキャンセラ４０の出力信号として出力する。例えば、第１減算器４１は、以下の式２に示される減算を行う。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｅ１ｔは、時刻ｔにおける第１減算器４１の出力信号である。ｙ１ｔは、時刻ｔにおける第２エコー・クロストークキャンセラ７０の出力信号である。
　第１伝達関数更新回路４５は、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とに基づいて第１伝達関数記憶回路４４に記憶された伝達関数を更新する。例えば、第１伝達関数更新回路４５は、以下の式３に示されるように、独立成分分析を用いて、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とに基づいて、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とが相互に独立となるように、第１伝達関数記憶回路４４に記憶された伝達関数を更新する。
Figure JPOXMLDOC01-appb-M000003
　ここで、Ｈ１（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第１伝達関数記憶回路４４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ１（ｊ）ｔは、時刻ｔ（つまり、更新前の）第１伝達関数記憶回路４４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α１は、第１ハウリング３０の伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ１は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第１伝達関数更新回路４５は、第１減算器４１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第１記憶回路４２に記憶された信号と、第１ハウリング３０の伝達関数の推定における学習速度を制御するための第１ステップサイズパラメータとを乗じることで第１更新係数を算出する。そして、算出した第１更新係数を第１伝達関数記憶回路４４に記憶された伝達関数に加算することで更新を行う。
　［１－２－２．第１エコー・クロストークキャンセラ５０］
　第１エコー・クロストークキャンセラ５０は、第１ハウリングキャンセラ４０の出力信号を用いて、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される第１エコー３１、及び、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２の程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイク２１の出力信号から除去する回路である。本実施の形態では、第１エコー・クロストークキャンセラ５０は、第１妨害信号が除去された信号を第２ハウリングキャンセラ６０に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。ここで、第１ハウリングキャンセラ４０の出力信号は、図２示すように、第２スピーカ２４への入力信号である。
　より詳しくは、第１エコー・クロストークキャンセラ５０は、第２伝達関数記憶回路５４、第２記憶回路５２、第２畳み込み演算器５３、第２減算器５１、及び、第２伝達関数更新回路５５を有する。
　第２伝達関数記憶回路５４は、第１エコー３１と第１クロストーク３２とを合わせた伝達関数として推定された伝達関数を記憶する。
　第２記憶回路５２は、第１ハウリングキャンセラ４０の出力信号を記憶する。
　第２畳み込み演算器５３は、第２記憶回路５２に記憶された信号と第２伝達関数記憶回路５４に記憶された伝達関数とを畳み込むことで第１妨害信号を生成する。例えば、第２畳み込み演算器５３は、以下の式４に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｙ２’ｔは、時刻ｔにおける第１妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ２（ｉ）ｔは、時刻ｔにおいて第２伝達関数記憶回路５４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ２（ｔ－ｉ）は、第２記憶回路５２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第２減算器５１は、第１マイク２１の出力信号から、第２畳み込み演算器５３から出力された第１妨害信号を除去し、第１エコー・クロストークキャンセラ５０の出力信号として出力する。例えば、第２減算器５１は、以下の式５に示される減算を行う。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｅ２ｔは、時刻ｔにおける第２減算器５１の出力信号である。ｙ２ｔは、時刻ｔにおける第１マイク２１の出力信号である。
　第２伝達関数更新回路５５は、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とに基づいて第２伝達関数記憶回路５４に記憶された伝達関数を更新する。例えば、第２伝達関数更新回路５５は、以下の式６に示されるように、独立成分分析を用いて、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とに基づいて、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とが相互に独立となるように、第２伝達関数記憶回路５４に記憶された伝達関数を更新する。
Figure JPOXMLDOC01-appb-M000006
　ここで、Ｈ２（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第２伝達関数記憶回路５４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ２（ｊ）ｔは、時刻ｔ（つまり、更新前の）第２伝達関数記憶回路５４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α２は、第１エコー３１と第１クロストーク３２とを合わせた伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ２は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第２伝達関数更新回路５５は、第２減算器５１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第２記憶回路５２に記憶された信号と、第１エコー３１と第１クロストーク３２とを合わせた伝達関数の推定における学習速度を制御するための第２ステップサイズパラメータとを乗じることで第２更新係数を算出する。そして、算出した第２更新係数を第２伝達関数記憶回路５４に記憶された伝達関数に加算することで更新を行う。
　なお、本実施の形態における双方向会話補助装置２０では、第２話者１２の同一時刻における音声について、第１ハウリングキャンセラ４０の出力信号が第１エコー・クロストークキャンセラ５０に入力される時刻は、第２話者１２の音声が第１マイク２１に入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第１エコー・クロストークキャンセラ５０が第１クロストーク３２をキャンセルできるように、因果律が保持されている。これは、第１ハウリングキャンセラ４０の出力信号が第１エコー・クロストークキャンセラ５０に入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第２エコー・クロストークキャンセラ７０での処理速度、第１ハウリングキャンセラ４０での処理速度等）と、第２話者１２の音声が第１マイク２１に入力される時刻を決定づける要因（第２話者１２と第１マイク２１との位置関係等）とを考慮することで適宜、実現し得る。
　［１－２－３．第２ハウリングキャンセラ６０］
　第２ハウリングキャンセラ６０は、第１エコー・クロストークキャンセラ５０と第１スピーカ２２との間に設けられ、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３の程度を示す第２ハウリング信号を推定して算出し、算出した第２ハウリング信号を、第１マイク２１の出力信号から除去する回路である。本実施の形態では、第２ハウリングキャンセラ６０は、第１マイク２１の出力信号から第１妨害信号が除去された第１エコー・クロストークキャンセラ５０の出力信号から、さらに第２ハウリング信号を除去し、除去後の信号を第１スピーカ２２に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第２ハウリングキャンセラ６０は、第３伝達関数記憶回路６４、第２遅延器６６、第３記憶回路６２、第３畳み込み演算器６３、第３減算器６１、及び、第３伝達関数更新回路６５を有する。
　第３伝達関数記憶回路６４は、第２ハウリング３３の伝達関数として推定された伝達関数を記憶する。
　第２遅延器６６は、第２ハウリングキャンセラ６０の出力信号を遅延させる。
　第３記憶回路６２は、第２遅延器６６から出力された信号を記憶する。
　第３畳み込み演算器６３は、第３記憶回路６２に記憶された信号と第３伝達関数記憶回路６４に記憶された伝達関数とを畳み込むことで第２ハウリング信号を生成する。例えば、第３畳み込み演算器６３は、以下の式７に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000007
　ここで、ｙ３’ｔは、時刻ｔにおける第２ハウリング信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ３（ｉ）ｔは、時刻ｔにおいて第３伝達関数記憶回路６４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ３（ｔ－ｉ－τ２）は、第３記憶回路６２に記憶された信号のうち、（ｔ－ｉ－τ２）番目の信号である。τ２は、第２遅延器６６による遅延時間である。
　第３減算器６１は、第１エコー・クロストークキャンセラ５０の出力信号から、第３畳み込み演算器６３から出力された第２ハウリング信号を除去し、第２ハウリングキャンセラ６０の出力信号として出力する。例えば、第３減算器６１は、以下の式８に示される減算を行う。
Figure JPOXMLDOC01-appb-M000008
　ここで、ｅ３ｔは、時刻ｔにおける第３減算器６１の出力信号である。ｙ３ｔは、時刻ｔにおける第１エコー・クロストークキャンセラ５０の出力信号である。
　第３伝達関数更新回路６５は、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とに基づいて第３伝達関数記憶回路６４に記憶された伝達関数を更新する。例えば、第３伝達関数更新回路６５は、以下の式９に示されるように、独立成分分析を用いて、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とに基づいて、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とが相互に独立となるように、第３伝達関数記憶回路６４に記憶された伝達関数を更新する。
Figure JPOXMLDOC01-appb-M000009
　ここで、Ｈ３（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第３伝達関数記憶回路６４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ３（ｊ）ｔは、時刻ｔ（つまり、更新前の）第３伝達関数記憶回路６４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α３は、第２ハウリング３３の伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ３は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第３伝達関数更新回路６５は、第３減算器６１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第３記憶回路６２に記憶された信号と、第２ハウリング３３の伝達関数の推定における学習速度を制御するための第３ステップサイズパラメータとを乗じることで第３更新係数を算出する。そして、算出した第３更新係数を第３伝達関数記憶回路６４に記憶された伝達関数に加算することで更新を行う。
　［１－２－４．第２エコー・クロストークキャンセラ７０］
　第２エコー・クロストークキャンセラ７０は、第２ハウリングキャンセラ６０の出力信号を用いて、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される第２エコー３４、及び、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイク２３の出力信号から除去する回路である。本実施の形態では、第２エコー・クロストークキャンセラ７０は、第２妨害信号が除去された信号を第１ハウリングキャンセラ４０に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。ここで、第２ハウリングキャンセラ６０の出力信号は、図２示すように、第１スピーカ２２への入力信号である。
　より詳しくは、第２エコー・クロストークキャンセラ７０は、第４伝達関数記憶回路７４、第４記憶回路７２、第４畳み込み演算器７３、第４減算器７１、及び、第４伝達関数更新回路７５を有する。
　第４伝達関数記憶回路７４は、第２エコー３４と第２クロストーク３５とを合わせた伝達関数として推定された伝達関数を記憶する。
　第４記憶回路７２は、第２ハウリングキャンセラ６０の出力信号を記憶する。
　第４畳み込み演算器７３は、第４記憶回路７２に記憶された信号と第４伝達関数記憶回路７４に記憶された伝達関数とを畳み込むことで第２妨害信号を生成する。例えば、第４畳み込み演算器７３は、以下の式１０に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000010
　ここで、ｙ４’ｔは、時刻ｔにおける第２妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ４（ｉ）ｔは、時刻ｔにおいて第４伝達関数記憶回路７４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ４（ｔ－ｉ）は、第４記憶回路７２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第４減算器７１は、第２マイク２３の出力信号から、第４畳み込み演算器７３から出力された第２妨害信号を除去し、第２エコー・クロストークキャンセラ７０の出力信号として出力する。例えば、第４減算器７１は、以下の式１１に示される減算を行う。
Figure JPOXMLDOC01-appb-M000011
　ここで、ｅ４ｔは、時刻ｔにおける第４減算器７１の出力信号である。ｙ４ｔは、時刻ｔにおける第２マイク２３の出力信号である。
　第４伝達関数更新回路７５は、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とに基づいて第４伝達関数記憶回路７４に記憶された伝達関数を更新する。例えば、第４伝達関数更新回路７５は、以下の式１２に示されるように、独立成分分析を用いて、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とに基づいて、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とが相互に独立となるように、第４伝達関数記憶回路７４に記憶された伝達関数を更新する。
Figure JPOXMLDOC01-appb-M000012
　ここで、Ｈ４（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第４伝達関数記憶回路７４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ４（ｊ）ｔは、時刻ｔ（つまり、更新前の）第４伝達関数記憶回路７４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α４は、第２エコー３４と第２クロストーク３５とを合わせた伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ４は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第４伝達関数更新回路７５は、第４減算器７１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第４記憶回路７２に記憶された信号と、第２エコー３４と第２クロストーク３５とを合わせた伝達関数の推定における学習速度を制御するための第４ステップサイズパラメータとを乗じることで第４更新係数を算出する。そして、算出した第４更新係数を第４伝達関数記憶回路７４に記憶された伝達関数に加算することで更新を行う。
　なお、本実施の形態における双方向会話補助装置２０では、第１話者１１の同一時刻における音声について、第２ハウリングキャンセラ６０の出力信号が第２エコー・クロストークキャンセラ７０に入力される時刻は、第１話者１１の音声が第２マイク２３に入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第２エコー・クロストークキャンセラ７０が第２クロストーク３５をキャンセルできるように、因果律が保持されている。これは、第２ハウリングキャンセラ６０の出力信号が第２エコー・クロストークキャンセラ７０に入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第１エコー・クロストークキャンセラ５０での処理速度、第２ハウリングキャンセラ６０での処理速度等）と、第１話者１１の音声が第２マイク２３に入力される時刻を決定づける要因（第１話者１１と第２マイク２３との位置関係等）とを考慮することで適宜、実現し得る。
　［１－３．動作］
　以上のように構成された本実施の形態における双方向会話補助装置２０では、第１話者１１の音声及び第２話者１２の音声は次のように、処理される。
　第１話者１１の音声は、第１マイク２１に入力される。第１マイク２１の出力信号は、第１エコー・クロストークキャンセラ５０において、第１妨害信号が除去される。第１妨害信号は、第１エコー３１及び第１クロストーク３２の程度を示す（推定された）信号である。よって、第１エコー・クロストークキャンセラ５０の出力信号は、第１マイク２１に入力された音声から、第１エコー３１及び第１クロストーク３２の影響が除去された音声を示す信号となる。
　続いて、第１エコー・クロストークキャンセラ５０の出力信号は、第２ハウリングキャンセラ６０において、第２ハウリング信号が除去される。第２ハウリング信号は、第２ハウリング３３の程度を示す（推定された）信号である。よって、第２ハウリングキャンセラ６０の出力信号は、第１エコー・クロストークキャンセラ５０の出力信号から、第２ハウリング３３の影響が除去された信号となる。この信号が第１スピーカ２２に入力され音声となって出力される。
　よって、第１スピーカ２２から出力される音声は、第１マイク２１に入力された音声のうち、第１エコー３１、第１クロストーク３２及び第２ハウリング３３の影響が除去された音声、つまり、音響的雑音が除去された第１話者１１の音声だけとなる。
　同様に、第２話者１２の音声は、第２マイク２３に入力される。第２マイク２３の出力信号は、第２エコー・クロストークキャンセラ７０において、第２妨害信号が除去される。第２妨害信号は、第２エコー３４及び第２クロストーク３５の程度を示す（推定された）信号である。よって、第２エコー・クロストークキャンセラ７０の出力信号は、第２マイク２３に入力された音声から、第２エコー３４及び第２クロストーク３５の影響が除去された音声を示す信号となる。
　続いて、第２エコー・クロストークキャンセラ７０の出力信号は、第１ハウリングキャンセラ４０において、第１ハウリング信号が除去される。第１ハウリング信号は、第１ハウリング３０の程度を示す（推定された）信号である。よって、第１ハウリングキャンセラ４０の出力信号は、第２エコー・クロストークキャンセラ７０の出力信号から、第１ハウリング３０の影響が除去された信号となる。この信号が第２スピーカ２４に入力され音声となって出力される。
　よって、第２スピーカ２４から出力される音声は、第２マイク２３に入力された音声のうち、第２エコー３４、第２クロストーク３５及び第１ハウリング３０の影響が除去された音声、つまり、音響的雑音が除去された第２話者１２の音声だけとなる。
　なお、音響的雑音が除去される程度は、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０に保持された伝達関数の精度、上記式３、式６、式９及び式１２に示される伝達関数の更新式におけるパラメータ等に依存するのは言うまでもない。
　［１－４．効果等］
　以上のように、本実施の形態における双方向会話補助装置２０は、第１マイク２１及び第１エコー・クロストークキャンセラ５０を備える。そして、双方向会話補助装置２０では、第２話者１２の同一時刻における音声について、信号が第１エコー・クロストークキャンセラ５０に入力される時刻は、第２話者１２の音声が第１マイク２１に入力される時刻と同一、又は、より早くなるように、設計されている。よって、第１エコー・クロストークキャンセラ５０は、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される第１エコー３１だけでなく、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２をも推定して、第１マイク２１の出力信号から除去する。
　これにより、例えば音源分離技術を使って、第１マイク２１に入力される第１話者１１の音声と第２話者１２の音声（第１クロストーク３２）とを分離して第１話者１１の音声だけを抽出することなく、第１マイク２１の出力信号から第１エコー３１及び第１クロストーク３２による音響的雑音が除去される。そのため、ハードウェアを増加することなく、第１クロストーク３２による音声が第２話者１２側の第１スピーカ２２から拡声されてしまうことが抑制される。
　同様に、本実施の形態における双方向会話補助装置２０は、第２マイク２３及び第２エコー・クロストークキャンセラ７０を備える。そして、双方向会話補助装置２０では、第１話者１１の同一時刻における音声について、信号が第２エコー・クロストークキャンセラ７０に入力される時刻は、第１話者１１の音声が第２マイク２３に入力される時刻と同一、又は、より早くなるように、設計されている。よって、第２エコー・クロストークキャンセラ７０は、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される第２エコー３４だけでなく、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５をも推定して、第２マイク２３の出力信号から除去する。
　これにより、例えば音源分離技術を使って、第２マイク２３に入力される第２話者１２の音声と第１話者１１の音声（第２クロストーク３５）とを分離して第２話者１２の音声だけを抽出することなく、第２マイク２３の出力信号から第２エコー３４及び第２クロストーク３５による音響的雑音が除去される。そのため、ハードウェアを増加することなく、第２クロストーク３５による音声が第１話者１１側の第２スピーカ２４から拡声されてしまうことが抑制される。
　また、本実施の形態における双方向会話補助装置２０は、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０を備える。
　一般に、第１話者１１側に設置される第１マイク２１と第２スピーカ２４との距離は、第１話者１１の音声を処理する第１マイク２１と第１スピーカ２２との距離よりも小さく、同様に、第２話者１２側に設置される第２マイク２３と第１スピーカ２２との距離は、第２話者１２の音声を処理する第２マイク２３と第２スピーカ２４との距離よりも小さい。
　よって、本実施の形態における双方向会話補助装置２０では、第１マイク２１に入力された音声に対して、まず、第１エコー・クロストークキャンセラ５０で第１エコー３１と第１クロストーク３２とが除去され、次に、第２ハウリングキャンセラ６０で第２ハウリング３３が除去される。同様に、第２マイク２３に入力された音声に対して、まず、第２エコー・クロストークキャンセラ７０で第２エコー３４と第２クロストーク３５とが除去され、次に、第１ハウリングキャンセラ４０で第１ハウリング３０が除去される。
　このように、距離が近くて音響結合の強い第２スピーカ２４から第１マイク２１への第１エコー３１と、第１スピーカ２２から第２マイク２３への第２エコー３４がそれぞれ第１エコー・クロストークキャンセラ５０と第２エコー・クロストークキャンセラ７０とによって最初に除去される。これにより、第１マイク２１及び第２マイク２３に入力される最も強い第１エコー３１と第２エコー３４とが最初に除去されるために、第１エコー・クロストークキャンセラ５０の後段に位置する第２ハウリングキャンセラ６０による第２ハウリング３３の除去と、第２エコー・クロストークキャンセラ７０の後段に位置する第１ハウリングキャンセラ４０による第１ハウリング３０の除去が容易になる。そのため、音響的雑音の効率的な除去が可能になる。
　さらに、このようなエコーの除去に加えて、第１マイク２１に入力された音声に対して、第１エコー・クロストークキャンセラ５０によって第１クロストーク３２が除去され、第２ハウリングキャンセラ６０よって第２ハウリング３３が除去される。同様に、第２マイク２３に入力された音声に対して、第２エコー・クロストークキャンセラ７０によって第２クロストーク３５が除去され、第１ハウリングキャンセラ４０によって第１ハウリング３０が除去され、第１マイク２１及び第２マイク２３に入力される不要な信号が全て除去される。そのため、ハウリング、エコー及びクロストークを起こすことなく、車内のような同一空間において、音響的雑音を除去した状態で、双方向に音声を拡声することが可能になる。
　また、本実施の形態における双方向会話補助装置２０では、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０に畳み込み演算器が設けられているので、周波数領域ではなく、時間軸領域で音響的雑音を除去する信号処理が行われ、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）等の処理が不要となり、その結果、高速な信号処理によって確実に音響的雑音が除去される。
　［１－５．変形例］
　上記実施の形態では、第１伝達関数更新回路４５は、上記式３に従って伝達関数を更新したが、以下の式１３又は式１４に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure JPOXMLDOC01-appb-M000013
　ここで、Ｎは、第１伝達関数記憶回路４４に記憶される伝達関数の個数である。｜ｘ１（ｔ－ｉ－τ１）｜は、ｘ１（ｔ－ｉ－τ１）の絶対値である。
Figure JPOXMLDOC01-appb-M000014
　これにより、第１伝達関数更新回路４５による推定伝達関数の更新が、入力信号ｘ１（ｔ－ｊ）の振幅に依存せず、安定して実施される。
　同様に、第２伝達関数更新回路５５は、上記式６に従って伝達関数を更新したが、以下の式１５又は式１６に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure JPOXMLDOC01-appb-M000015
　ここで、Ｎは、第２伝達関数記憶回路５４に記憶される伝達関数の個数である。｜ｘ２（ｔ－ｉ）｜は、ｘ２（ｔ－ｉ）の絶対値である。
Figure JPOXMLDOC01-appb-M000016
　これにより、第２伝達関数更新回路５５による推定伝達関数の更新が、入力信号ｘ２（ｔ－ｊ）の振幅に依存せず、安定して実施される。
　同様に、第３伝達関数更新回路６５は、上記式９に従って伝達関数を更新したが、以下の式１７又は式１８に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure JPOXMLDOC01-appb-M000017
　ここで、Ｎは、第３伝達関数記憶回路６４に記憶される伝達関数の個数である。｜ｘ３（ｔ－ｉ－τ３）｜は、ｘ３（ｔ－ｉ－τ３）の絶対値である。
Figure JPOXMLDOC01-appb-M000018
　これにより、第３伝達関数更新回路６５による推定伝達関数の更新が、入力信号ｘ３（ｔ－ｊ）の振幅に依存せず、安定して実施される。
　同様に、第４伝達関数更新回路７５は、上記式１２に従って伝達関数を更新したが、以下の式１９又は式２０に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure JPOXMLDOC01-appb-M000019
　ここで、Ｎは、第４伝達関数記憶回路７４に記憶される伝達関数の個数である。｜ｘ４（ｔ－ｉ－τ）｜は、ｘ４（ｔ－ｉ－τ）の絶対値である。
Figure JPOXMLDOC01-appb-M000020
　これにより、第４伝達関数更新回路７５による推定伝達関数の更新が、入力信号ｘ４（ｔ－ｊ）の振幅に依存せず、安定して実施される。
　また、上記実施の形態は、双方向会話補助装置であったが、以下のような双方向会話補助方法であってもよい。
　つまり、会話システムにおいて第１話者１１と第２話者１２による双方向の会話を拡声して補助する双方向会話補助方法であって、会話システムは、第１話者１１の音声を入力するための第１マイク２１と、第１話者１１の音声を出力するための第１スピーカ２２と、第２話者１２の音声を入力するための第２マイク２３と、第２話者１２の音声を出力するための第２スピーカ２４とを備える。双方向会話補助方法は、第１ハウリングキャンセルステップと、第１エコー・クロストークキャンセルステップと、第２ハウリングキャンセルステップと、第２エコー・クロストークキャンセルステップと、を含む。
　第１ハウリングキャンセルステップでは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０の程度を示す第１ハウリング信号を推定して算出し、算出した第１ハウリング信号を、第２マイク２３からの信号から除去し、除去後の信号を第２スピーカ２４に出力する。ここで、第２マイク２３からの信号は第２エコー・クロストークキャンセルステップで得られた信号である。
　第１エコー・クロストークキャンセルステップでは、第２スピーカ２４に入力される信号を用いて、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される第１エコー３１、及び、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２の程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイク２１の出力信号から除去する。ここで、第２スピーカ２４に入力される信号は、第１ハウリングキャンセルステップで得られた信号である。
　第２ハウリングキャンセルステップでは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３の程度を示す第２ハウリング信号を推定して算出し、算出した第２ハウリング信号を、第１マイク２１からの信号から除去し、除去後の信号を第１スピーカ２２に出力する。ここで、第１マイク２１からの信号は第１エコー・クロストークキャンセルステップで得られた信号である。
　第２エコー・クロストークキャンセルステップでは、第１スピーカ２２に入力される信号を用いて、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される第２エコー３４、及び、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイク２３の出力信号から除去する。ここで、第１スピーカ２２に入力される信号は、第２ハウリングキャンセルステップで得られた信号である。
　このような双方向会話補助方法は、例えば、プログラムを実行するプロセッサによって行われる。つまり、上記実施の形態における第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０は、プログラムを実行するプロセッサによって実現されてもよい。そのプロセッサには、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、及び、マイクロプロセッサが含まれる。
　また、このような双方向会話補助方法は、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録されるプログラム、及び、そのプログラムが記録された記録媒体で実現されてもよい。
　（実施の形態２）
　次に、実施の形態２における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、実施の形態１における第２ハウリング３３、第２エコー３４及び第２クロストーク３５が無視できる程度に小さい場合に、好適な装置である。
　［２－１．構成］
　図３は、実施の形態２における双方向会話補助装置２０ａの構成を示すブロック図である。この双方向会話補助装置２０ａは、実施の形態１における双方向会話補助装置２０の構成から、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を除外した構成に相当する。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
　この双方向会話補助装置２０ａは、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１ハウリングキャンセラ４０、及び、第１エコー・クロストークキャンセラ５０を備える。いずれの構成要素も、実施の形態１における対応する構成要素と同一である。
　ただし、この双方向会話補助装置２０ａでは、実施の形態１における第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０が備えられていないので、第１エコー・クロストークキャンセラ５０の出力信号は第１スピーカ２２に入力され、第２マイク２３の出力信号は第１ハウリングキャンセラ４０に入力される。
　また、第２話者１２が使用する第１スピーカ２２及び第２マイク２３は、典型的には、第２話者１２の頭部に装着されるヘッドセットである。
　［２－２．動作］
　このような構成を備える本実施の形態における双方向会話補助装置２０ａは、実施の形態１における双方向会話補助装置２０と比較して、第１ハウリングキャンセラ４０及び第１エコー・クロストークキャンセラ５０を備えるが、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を備えない。よって、この双方向会話補助装置２０ａは、実施の形態１における双方向会話補助装置２０が有する音響的雑音の除去機能のうち、第１ハウリング３０、第１エコー３１及び第１クロストーク３２の除去機能を有し、第２ハウリング３３、第２エコー３４及び第２クロストーク３５の除去機能を有しない。
　本実施の形態では、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットであるので、第１スピーカ２２が第２話者１２の耳に密着して装着され、その結果、第１スピーカ２２からの音漏れが少ない。よって、実施の形態１における第２ハウリング３３及び第２エコー３４を無視し得る。また、第２マイク２３が第２話者１２の口元に保持されることから、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の影響も無視し得る。
　［２－３．効果等］
　本実施の形態における双方向会話補助装置２０ａは、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットである場合に必要となる最低限の音響的雑音（第１ハウリング３０、第１エコー３１及び第１クロストーク３２）の除去機能だけを有するので、実施の形態１と比べて、少ない構成要素で、つまり、安価で、かつ、コンパクトな構成で、必要最低限の音響的雑音を除去することができる。
　なお、本実施の形態も、実施の形態１と同様に、双方向会話補助方法及びプログラムとして実現されてもよい。そのような双方向会話補助方法は、上述した第１ハウリングキャンセルステップと、第１エコー・クロストークキャンセルステップとを含む。
　（実施の形態３）
　次に、実施の形態３における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、実施の形態１における第１ハウリング３０、第２ハウリング３３、第２エコー３４及び第２クロストーク３５が無視できる程度に小さい場合に、好適な装置である。
　［３－１．構成］
　図４は、実施の形態３における双方向会話補助装置２０ｂの構成を示すブロック図である。この双方向会話補助装置２０ｂは、実施の形態１における双方向会話補助装置２０の構成から、第１ハウリングキャンセラ４０、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を除外した構成、言い換えると、実施の形態２における双方向会話補助装置２０ａの構成から、第１ハウリングキャンセラ４０を除外した構成に相当する。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
　この双方向会話補助装置２０ｂは、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、及び、第１エコー・クロストークキャンセラ５０を備える。いずれの構成要素も、実施の形態１における対応する構成要素と同一である。
　ただし、この双方向会話補助装置２０ｂでは、実施の形態１における第１ハウリングキャンセラ４０、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０が備えられていないので、第１エコー・クロストークキャンセラ５０の出力信号は第１スピーカ２２に入力され、第２マイク２３の出力信号は第２スピーカ２４及び第１エコー・クロストークキャンセラ５０に入力される。
　また、第２話者１２が使用する第１スピーカ２２及び第２マイク２３は、典型的には、第２話者１２の頭部に装着されるヘッドセットである。さらに、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。例えば、第２スピーカ２４は、第２マイク２３が存在する方向とは反対の方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
　［３－２．動作］
　このような構成を備える本実施の形態における双方向会話補助装置２０ｂは、実施の形態１における双方向会話補助装置２０と比較して、第１エコー・クロストークキャンセラ５０を備えるが、第１ハウリングキャンセラ４０、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を備えない。よって、この双方向会話補助装置２０ｂは、実施の形態１における双方向会話補助装置２０が有する音響的雑音の除去機能のうち、第１エコー３１及び第１クロストーク３２の除去機能を有し、第１ハウリング３０、第２ハウリング３３、第２エコー３４及び第２クロストーク３５の除去機能を有しない。
　本実施の形態では、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットであるので、第１スピーカ２２が第２話者１２の耳に密着して装着され、その結果、第１スピーカ２２からの音漏れが少ない。よって、実施の形態１における第２ハウリング３３及び第２エコー３４を無視し得る。また、第２マイク２３が第２話者１２の口元に保持されることから、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の影響も無視し得る。さらに、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。
　［３－３．効果等］
　本実施の形態における双方向会話補助装置２０ｂは、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットであり、かつ、第２マイク２３と第２スピーカ２４とが第１ハウリング３０が無視できる程度に音響結合が小さい環境に設置されている場合に必要となる最低限の音響的雑音（第１エコー３１及び第１クロストーク３２）の除去機能だけを有する。そのため、実施の形態１及び２と比べて、少ない構成要素で、つまり、安価で、かつ、コンパクトな構成で、必要最低限の音響的雑音を除去することができる。
　なお、本実施の形態も、実施の形態１と同様に、双方向会話補助方法及びプログラムとして実現されてもよい。そのような双方向会話補助方法は、上述した第１エコー・クロストークキャンセルステップを含む。
　（実施の形態４）
　次に、実施の形態４における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、実施の形態１における第１ハウリング３０及び第２ハウリング３３が無視できる程度に小さい場合に、好適な装置である。
　［４－１．構成］
　図５は、実施の形態４における双方向会話補助装置２０ｃの構成を示すブロック図である。この双方向会話補助装置２０ｃは、実施の形態１における双方向会話補助装置２０の構成から、第１ハウリングキャンセラ４０及び第２ハウリングキャンセラ６０を除外した構成に相当する。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
　この双方向会話補助装置２０ｃは、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１エコー・クロストークキャンセラ５０及び第２エコー・クロストークキャンセラ７０を備える。いずれの構成要素も、実施の形態１における対応する構成要素と同一である。
　ただし、この双方向会話補助装置２０ｃでは、実施の形態１における第１ハウリングキャンセラ４０及び第２ハウリングキャンセラ６０が備えられていないので、第１エコー・クロストークキャンセラ５０の出力信号は第１スピーカ２２及び第２エコー・クロストークキャンセラ７０に入力され、第２エコー・クロストークキャンセラ７０の出力信号は第２スピーカ２４及び第１エコー・クロストークキャンセラ５０に入力される。
　また、第１マイク２１と第１スピーカ２２とは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３が無視できる程度に小さい環境に設置されている。例えば、第１スピーカ２２は、第１マイク２１が存在する方向とは反対の方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
　同様に、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。例えば、第２スピーカ２４は、第２マイク２３が存在する方向とは反対の方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
　［４－２．動作］
　このような構成を備える本実施の形態における双方向会話補助装置２０ｃは、実施の形態１における双方向会話補助装置２０と比較して、第１エコー・クロストークキャンセラ５０及び第２エコー・クロストークキャンセラ７０を備えるが、第１ハウリングキャンセラ４０及び第２ハウリングキャンセラ６０を備えない。よって、この双方向会話補助装置２０ｃは、実施の形態１における双方向会話補助装置２０が有する音響的雑音の除去機能のうち、第１エコー３１、第１クロストーク３２、第２エコー３４及び第２クロストーク３５の除去機能を有し、第１ハウリング３０及び第２ハウリング３３の除去機能を有しない。
　本実施の形態では、第１マイク２１と第１スピーカ２２とは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３が無視できる程度に小さい環境に設置されている。さらに、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。
　［４－３．効果等］
　本実施の形態における双方向会話補助装置２０ｃは、第１マイク２１と第１スピーカ２２とが第２ハウリング３３が無視できる程度に音響結合が小さい環境に設置され、かつ、第２マイク２３と第２スピーカ２４とが第１ハウリング３０が無視できる程度に音響結合が小さい環境に設置されている場合に必要となる最低限の音響的雑音（第１エコー３１、第１クロストーク３２、第２エコー３４及び第２クロストーク３５）の除去機能だけを有する。そのため、実施の形態１と比べて、少ない構成要素で、つまり、安価で、かつ、コンパクトな構成で、必要最低限の音響的雑音を除去することができる。
　なお、本実施の形態も、実施の形態１と同様に、双方向会話補助方法及びプログラムとして実現されてもよい。そのような双方向会話補助方法は、上述した第１エコー・クロストークキャンセルステップと、第２エコー・クロストークキャンセルステップとを含む。
　（実施の形態５）
　次に、実施の形態５における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、その拡声機能に加えて、ラジオ、ＴＶ及びミュージックプレーヤ等の音響再生器からの音響を第１話者及び第２話者に出力する機能も有する。
　［５－１．構成］
　図６は、実施の形態５における双方向会話補助装置２０ｄの構成を示すブロック図である。この双方向会話補助装置２０ｄは、実施の形態１における双方向会話補助装置２０の構成に加えて、音響再生器１００、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４、第２ノイズ抑圧器１０８、第１音響キャンセラ１５０及び第２音響キャンセラ１７０を備える。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
　第１ビームフォーマ１０２は、複数のマイクで構成される第１マイク２１から入力される音声の指向特性を目的とする方向（第１話者１１の口元）に定める音響ビームフォーミングを行う回路である。
　第２ビームフォーマ１０６は、複数のマイクで構成される第２マイク２３から入力される音声の指向特性を目的とする方向（第２話者１２の口元）に定める音響ビームフォーミングを行う回路である。
　第１ノイズ抑圧器１０４は、第１マイク２１に飛び込んだ外来ノイズを除去する回路であり、第２ハウリングキャンセラ６０の出力信号から音声以外の信号成分を除去する。
　第２ノイズ抑圧器１０８は、第２マイク２３に飛び込んだ外来ノイズを除去する回路であり、第１ハウリングキャンセラ４０の出力信号から音声以外の信号成分を除去する。
　音響再生器１００は、第１話者１１及び第２話者１２に提供する音響の音源であり、例えば、ラジオ、ＴＶ及びミュージックプレーヤ等である。
　第１音響キャンセラ１５０は、第２ノイズ抑圧器１０８の出力信号に音響再生器１００の出力信号（音響信号）を加算して第２スピーカ２４に出力するとともに、第１ビームフォーマ１０２の出力信号から、第２スピーカ２４から出力された音響が第１マイク２１に回り込んで入力される第１音響エコーの程度を示す第１音響エコー信号を推定して算出する。そして、算出した第１音響エコー信号を、第１ビームフォーマ１０２の出力信号から除去し、除去後の信号を第１エコー・クロストークキャンセラ５０に出力する回路である。
　この第１音響キャンセラ１５０は、第５伝達関数記憶回路１５４、第５記憶回路１５２、第５畳み込み演算器１５３、第５減算器１５１、第５伝達関数更新回路１５５、及び、第１加算器１５６を有する。この構成は、実施の形態１で説明した第１エコー・クロストークキャンセラ５０の構成に、第１加算器１５６を加えたものに相当する。
　第１音響キャンセラ１５０の各構成要素（第５伝達関数記憶回路１５４、第５記憶回路１５２、第５畳み込み演算器１５３、第５減算器１５１、第５伝達関数更新回路１５５）は、第１エコー・クロストークキャンセラ５０の対応する構成要素と同様の機能を有する。
　ただし、第５記憶回路１５２は、音響再生器１００の出力信号（音響信号）を記憶する。また、第５畳み込み演算器１５３は、上述した第１音響エコー信号を生成する。
　さらに、第１加算器１５６は、第２ノイズ抑圧器１０８の出力信号に音響再生器１００の出力信号（音響信号）を加算して第２スピーカ２４に出力する。
　第２音響キャンセラ１７０は、第１ノイズ抑圧器１０４の出力信号に音響再生器１００の出力信号（音響信号）を加算して第１スピーカ２２に出力するとともに、第２ビームフォーマ１０６の出力信号から、第１スピーカ２２から出力された音響が第２マイク２３に回り込んで入力される第２音響エコーの程度を示す第２音響エコー信号を推定して算出する。そして、算出した第２音響エコー信号を、第２ビームフォーマ１０６の出力信号から除去し、除去後の信号を第２エコー・クロストークキャンセラ７０に出力する回路である。
　この第２音響キャンセラ１７０は、第６伝達関数記憶回路１７４、第６記憶回路１７２、第６畳み込み演算器１７３、第６減算器１７１、第６伝達関数更新回路１７５、及び、第２加算器１７６を有する。この構成は、実施の形態１で説明した第２エコー・クロストークキャンセラ７０の構成に、第２加算器１７６を加えたものに相当する。
　第２音響キャンセラ１７０の各構成要素（第６伝達関数記憶回路１７４、第６記憶回路１７２、第６畳み込み演算器１７３、第６減算器１７１、第６伝達関数更新回路１７５）は、第２エコー・クロストークキャンセラ７０の対応する構成要素と同様の機能を有する。
　ただし、第６記憶回路１７２は、音響再生器１００の出力信号（音響信号）を記憶する。また、第６畳み込み演算器１７３は、上述した第２音響エコー信号を生成する。
　さらに、第２加算器１７６は、第１ノイズ抑圧器１０４の出力信号に音響再生器１００の出力信号（音響信号）を加算して第１スピーカ２２に出力する。
　［５－２．動作及び効果等］
　このような構成を備える本実施の形態における双方向会話補助装置２０ｄは、実施の形態１における双方向会話補助装置２０の構成に加えて、第１音響キャンセラ１５０及び第２音響キャンセラ１７０を備えるので、実施の形態１における双方向会話補助装置２０の機能に加えて、音響再生器１００からの音響が、音響エコー信号が除去された状態で、第１話者１１及び第２話者１２に提供される。
　さらに、本実施の形態における双方向会話補助装置２０ｄは、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４及び第２ノイズ抑圧器１０８を備えるので、第１話者１１及び第２話者１２以外の外来ノイズが抑圧されたクリアな会話が拡声される。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１～５及び変形例を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１～５及び変形例で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
　例えば、実施の形態５における双方向会話補助装置２０ｄは、実施の形態１における双方向会話補助装置２０に、付加的な構成（音響再生器１００、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４、第２ノイズ抑圧器１０８、第１音響キャンセラ１５０及び第２音響キャンセラ１７０）が追加されたが、これらの付加的な構成は、実施の形態２～４のいずれかにおける双方向会話補助装置に対して追加されてもよい。
　また、これらの付加的な構成（音響再生器１００、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４、第２ノイズ抑圧器１０８、第１音響キャンセラ１５０及び第２音響キャンセラ１７０）は、一部の構成だけ（例えば、第１ビームフォーマ１０２及び第２ビームフォーマ１０６だけ）が実施の形態１～４のいずれかに追加されてもよい。例えば、実施の形態１における双方向会話補助装置２０に、第１音響キャンセラ１５０及び第２音響キャンセラ１７０だけが追加される場合、第１音響キャンセラ１５０の第５減算器１５１には第１マイク２１の出力信号が入力され、第２音響キャンセラ１７０の第６減算器１７１には第２マイク２３の出力信号が直接入力される。また、第１音響キャンセラ１５０の第１加算器１５６には第２マイク２３からの信号として第１ハウリングキャンセラ４０の出力信号が入力され、第２音響キャンセラ１７０の第２加算器１７６には第１マイク２１からの信号として第２ハウリングキャンセラ６０の出力信号が入力される。
　また、実施の形態１～５では、双方向会話補助装置は、車室内会話補助装置として適用された例が示されたが、このような適用例に限られず、会議室等における部屋内会話補助装置として適用したり、運転者とドライブスルーの店員との会話を補助する装置として適用したりしてもよい。本開示における双方向会話補助装置によれば、双方向会話におけるクロストークが除去されるので、クロストークが発生し易い環境での会話（例えば、同一空間での会話）を補助する装置として、本開示における双方向会話補助装置は好適である。
　また、実施の形態１～５では、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０が有する畳み込み演算器は、いずれも、ＮタップのＦＩＲフィルタを例として、畳み込み演算を行ったが、それぞれが異なるタップ数の異なるタイプのデジタルフィルタであってもよい。つまり、いかなる種類のデジタルフィルタにするかは、キャンセルする音響的雑音の伝達関数等に依存して適宜、独立して設計してもよい。
　また、実施の形態１～５では、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０が有する伝達関数更新回路による伝達関数の更新アルゴリズムは、上記式３、式６、式９、式１２に示されるように、同一のアルゴリズムであってもよいし、同一のアルゴリズムであるがステップサイズパラメータが異なってもよいし、異なるアルゴリズムであってもよい。つまり、伝達関数の更新アルゴリズムは、キャンセルする音響的雑音の大きさ等に依存して適宜、独立して設計してもよい。
　また、実施の形態１、５の双方向会話補助装置では、マイクから入力された音声信号に対し、エコーとクロストークの除去を行った後、ハウリングを除去するような構成としていたが、ハウリングを除去した後、エコーとクロストークの除去を行うような構成にしてもよい。即ち、第１エコー・クロストークキャンセラ５０と第２ハウリングキャンセラ６０との順序、及び、第２エコー・クロストークキャンセラ７０と第１ハウリングキャンセラ４０との順序は、それぞれ入れ替えることができる。この場合も、実施の形態１、５の双方向会話補助装置と同等の効果が得られる。
　また、実施の形態５では、第１音響エコー信号を、第１ビームフォーマ１０２の出力信号から除去する例を示したが、第１エコー・クロストークキャンセラ５０または第２ハウリングキャンセラ６０の出力信号から除去してもよい。同様に、第２音響エコー信号についても、第２エコー・クロストークキャンセラ７０または第１ハウリングキャンセラ４０の出力信号から除去してもよい。
　また、上記実施の形態では、双方向会話補助装置が備えるマイク及びスピーカの例として、車に組み込まれたタイプ、車に取り付けられたタイプ、ヘッドセット等が挙げられたが、これらに限られず、スマートフォン等の携帯型情報端末が有するマイク及び／又はスピーカであってもよい。例えば、車における後部乗員の音声を第２マイク２３としてのスマートフォンで収音し、無線でヘッドユニット（双方向会話補助装置）に送信し、第２スピーカ２４としての前部スピーカから、ハウリング、エコー及びクロストークを抑制した状態で拡声する。また、第１マイク２１としての前部マイクで収音した運転者の音声を無線で後部乗員のスマートフォンに送信し、第１スピーカ２２としてのスマートフォンのスピーカから、ハウリング、エコー及びクロストークを抑制した状態で拡声する。これにより、後部乗員がスマートフォンを用いて運転者と円滑に会話できるとともに、車における後部マイクが不要となる。
　また、このようなスマートフォン等の携帯型情報端末が有するマイク及び／又はスピーカを用いた双方向会話補助装置は、講演会等で用いられるＰＡ（Ｐｕｂｌｉｃ　Ａｄｄｒｅｓｓ）システムとしても有用である。講演会における質問者の声を自身のスマートフォンで収音して無線でＰＡシステムに転送し、ハウリングやエコーを抑制した状態で拡声することができる。これにより、講演会において、質問者にマイクを手渡すのに要する時間が短縮され、質疑応答がスムーズに実施されて手際良い講演会の進行が可能になる。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、エコーだけでなくクロストークを含む音響的雑音を除去したうえで双方向の会話を拡声して補助する双方向会話補助装置に適用可能である。具体的には、車室内会話補助装置、ＰＡシステム等に、本開示は適用可能である。
　１０　車
　１１　第１話者
　１２　第２話者
　２０，２０ａ，２０ｂ，２０ｃ，２０ｄ　双方向会話補助装置
　２１　第１マイク
　２２　第１スピーカ
　２３　第２マイク
　２４　第２スピーカ
　３０　第１ハウリング
　３１　第１エコー
　３２　第１クロストーク
　３３　第２ハウリング
　３４　第２エコー
　３５　第２クロストーク
　４０　第１ハウリングキャンセラ
　４１　第１減算器
　４２　第１記憶回路
　４３　第１畳み込み演算器
　４４　第１伝達関数記憶回路
　４５　第１伝達関数更新回路
　４６　第１遅延器
　５０　第１エコー・クロストークキャンセラ
　５１　第２減算器
　５２　第２記憶回路
　５３　第２畳み込み演算器
　５４　第２伝達関数記憶回路
　５５　第２伝達関数更新回路
　６０　第２ハウリングキャンセラ
　６１　第３減算器
　６２　第３記憶回路
　６３　第３畳み込み演算器
　６４　第３伝達関数記憶回路
　６５　第３伝達関数更新回路
　６６　第２遅延器
　７０　第２エコー・クロストークキャンセラ
　７１　第４減算器
　７２　第４記憶回路
　７３　第４畳み込み演算器
　７４　第４伝達関数記憶回路
　７５　第４伝達関数更新回路
　１００　音響再生器
　１０２　第１ビームフォーマ
　１０４　第１ノイズ抑圧器
　１０６　第２ビームフォーマ
　１０８　第２ノイズ抑圧器
　１５０　第１音響キャンセラ
　１５１　第５減算器
　１５２　第５記憶回路
　１５３　第５畳み込み演算器
　１５４　第５伝達関数記憶回路
　１５５　第５伝達関数更新回路
　１５６　第１加算器
　１７０　第２音響キャンセラ
　１７１　第６減算器
　１７２　第６記憶回路
　１７３　第６畳み込み演算器
　１７４　第６伝達関数記憶回路
　１７５　第６伝達関数更新回路
　１７６　第２加算器

Claims (20)

  1. 　第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置であって、
    　前記第１話者の第１音声を入力するための第１マイクと、
    　前記第１音声を出力するための第１スピーカと、
    　前記第２話者の第２音声を入力するための第２マイクと、
    　前記第２音声を出力するための第２スピーカと、
    　前記第２スピーカへの入力信号を用いて、前記第２スピーカから出力された前記第２音声が前記第１マイクに入力される第１エコー、及び、前記第２音声が前記第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した前記第１妨害信号を、前記第１マイクの出力信号から除去する第１エコー・クロストークキャンセラと、を備える、
    双方向会話補助装置。
  2. 　さらに、前記第２スピーカから出力された前記第２音声が前記第２マイクに入力される第１ハウリングの程度を示す第１ハウリング信号を推定して算出し、算出した前記第１ハウリング信号を、前記第２マイクの出力信号から除去する第１ハウリングキャンセラを備える、
    請求項１記載の双方向会話補助装置。
  3. 　さらに、
    　前記第１スピーカから出力された前記第１音声が前記第１マイクに入力される第２ハウリングの程度を示す第２ハウリング信号を推定して算出し、算出した前記第２ハウリング信号を、前記第１マイクの前記出力信号から除去する第２ハウリングキャンセラと、
    　前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの前記出力信号から除去する第２エコー・クロストークキャンセラと、を備える、
    請求項２記載の双方向会話補助装置。
  4. 　前記第１話者の同一時刻における前記第１音声について、前記第１マイクの前記出力信号が前記第２エコー・クロストークキャンセラに入力される時刻は、前記第１音声が前記第２マイクに入力される時刻と同一、又は、より早く、
    　前記第２話者の同一時刻における前記第２音声について、前記第２マイクの前記出力信号が前記第１エコー・クロストークキャンセラに入力される時刻は、前記第２音声が前記第１マイクに入力される時刻と同一、又は、より早い、
    請求項３記載の双方向会話補助装置。
  5. 　前記第１ハウリングキャンセラは、
    　前記第１ハウリングの伝達関数として推定された伝達関数を記憶する第１伝達関数記憶回路と、
    　当該第１ハウリングキャンセラの出力信号を遅延させる第１遅延器と、
    　前記第１遅延器から出力された信号を記憶する第１記憶回路と、
    　前記第１記憶回路に記憶された前記信号と前記第１伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第１ハウリング信号を生成する第１畳み込み演算器と、
    　前記第２マイクの前記出力信号から、前記第１畳み込み演算器から出力された前記第１ハウリング信号を除去し、当該第１ハウリングキャンセラの前記出力信号を出力する第１減算器と、
    　前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記信号とに基づいて前記第１伝達関数記憶回路に記憶された前記伝達関数を更新する第１伝達関数更新回路と、を有する、
    請求項３記載の双方向会話補助装置。
  6. 　前記第１エコー・クロストークキャンセラは、
    　前記第１エコーと前記第１クロストークとを合わせた伝達関数として推定された伝達関数を記憶する第２伝達関数記憶回路と、
    　前記第２マイクの前記出力信号を記憶する第２記憶回路と、
    　前記第２記憶回路に記憶された前記出力信号と前記第２伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第１妨害信号を生成する第２畳み込み演算器と、
    　前記第１マイクの出力信号から、前記第２畳み込み演算器から出力された前記第１妨害信号を除去し、当該第１エコー・クロストークキャンセラの出力信号を出力する第２減算器と、
    　前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とに基づいて前記第２伝達関数記憶回路に記憶された前記伝達関数を更新する第２伝達関数更新回路と、を有する、
    請求項５記載の双方向会話補助装置。
  7. 　前記第２ハウリングキャンセラは、
    　前記第２ハウリングの伝達関数として推定された伝達関数を記憶する第３伝達関数記憶回路と、
    　当該第２ハウリングキャンセラの出力信号を遅延させる第２遅延器と、
    　前記第２遅延器から出力された信号を記憶する第３記憶回路と、
    　前記第３記憶回路に記憶された前記信号と前記第３伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第２ハウリング信号を生成する第３畳み込み演算器と、
    　前記第１マイクの前記出力信号から、前記第３畳み込み演算器から出力された前記第２ハウリング信号を除去し、当該第２ハウリングキャンセラの前記出力信号を出力する第３減算器と、
    　前記第３減算器の前記出力信号と前記第３記憶回路に記憶された前記信号とに基づいて前記第３伝達関数記憶回路に記憶された前記伝達関数を更新する第３伝達関数更新回路と、を有する、
    請求項６記載の双方向会話補助装置。
  8. 　前記第２エコー・クロストークキャンセラは、
    　前記第２エコーと前記第２クロストークとを合わせた伝達関数として推定された伝達関数を記憶する第４伝達関数記憶回路と、
    　前記第１マイクの前記出力信号を記憶する第４記憶回路と、
    　前記第４記憶回路に記憶された前記出力信号と前記第４伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第２妨害信号を生成する第４畳み込み演算器と、
    　前記第２マイクの出力信号から、前記第４畳み込み演算器から出力された前記第２妨害信号を除去し、当該第２エコー・クロストークキャンセラの出力信号を出力する第４減算器と、
    　前記第４減算器の前記出力信号と前記第４記憶回路に記憶された前記出力信号とに基づいて前記第４伝達関数記憶回路に記憶された前記伝達関数を更新する第４伝達関数更新回路と、を有する、
    請求項７記載の双方向会話補助装置。
  9. 　前記第１伝達関数更新回路は、独立成分分析を用いて、前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記信号とに基づいて、前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記信号とが相互に独立となるように、前記第１伝達関数記憶回路に記憶された前記伝達関数を更新し、
    　前記第２伝達関数更新回路は、独立成分分析を用いて、前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とに基づいて、前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とが相互に独立となるように、前記第２伝達関数記憶回路に記憶された前記伝達関数を更新し、
    　前記第３伝達関数更新回路は、独立成分分析を用いて、前記第３減算器の前記出力信号と前記第３記憶回路に記憶された前記信号とに基づいて、前記第３減算器の前記出力信号と前記第３記憶回路に記憶された前記信号とが相互に独立となるように、前記第３伝達関数記憶回路に記憶された前記伝達関数を更新し、
    　前記第４伝達関数更新回路は、独立成分分析を用いて、前記第４減算器の前記出力信号と前記第４記憶回路に記憶された前記出力信号とに基づいて、前記第４減算器の前記出力信号と前記第４記憶回路に記憶された前記出力信号とが相互に独立となるように、前記第４伝達関数記憶回路に記憶された前記伝達関数を更新する、
    請求項８記載の双方向会話補助装置。
  10. 　前記第１伝達関数更新回路は、前記第１減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第１記憶回路に記憶された前記信号と、前記第１ハウリングの前記伝達関数の推定における学習速度を制御するための第１ステップサイズパラメータとを乗じることで第１更新係数を算出し、算出した前記第１更新係数を前記第１伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行い、
    　前記第２伝達関数更新回路は、前記第２減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第２記憶回路に記憶された前記出力信号と、前記第１エコーと前記第１クロストークとを合わせた前記伝達関数の推定における学習速度を制御するための第２ステップサイズパラメータとを乗じることで第２更新係数を算出し、算出した前記第２更新係数を前記第２伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行い、
    　前記第３伝達関数更新回路は、前記第３減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第３記憶回路に記憶された前記信号と、前記第２ハウリングの前記伝達関数の推定における学習速度を制御するための第３ステップサイズパラメータとを乗じることで第３更新係数を算出し、算出した前記第３更新係数を前記第３伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行い、
    　前記第４伝達関数更新回路は、前記第４減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第４記憶回路に記憶された前記出力信号と、前記第２エコーと前記第２クロストークとを合わせた前記伝達関数の推定における学習速度を制御するための第４ステップサイズパラメータとを乗じることで第４更新係数を算出し、算出した前記第４更新係数を前記第４伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行う、
    請求項９記載の双方向会話補助装置。
  11. 　前記第１伝達関数更新回路、前記第２伝達関数更新回路、前記第３伝達関数更新回路及び前記第４伝達関数更新回路が用いる前記非線形関数は、シグモイド関数、双曲線正接関数、正規化線形関数又は符号関数である、
    請求項１０記載の双方向会話補助装置。
  12. 　さらに、前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの出力信号から除去する第２エコー・クロストークキャンセラを備える、
    請求項１記載の双方向会話補助装置。
  13. 　さらに、
    　音響信号を用いて、前記第２スピーカから出力された音響が前記第１マイクに入力される第１音響エコーの程度を示す第１音響エコー信号を推定して算出し、算出した前記第１音響エコー信号を、前記第１マイクの前記出力信号から除去する第１音響キャンセラと、
    　前記音響信号を用いて、前記第１スピーカから出力された前記音響が前記第２マイクに入力される第２音響エコーの程度を示す第２音響エコー信号を推定して算出し、算出した前記第２音響エコー信号を、前記第２マイクの前記出力信号から除去する第２音響キャンセラと、を備える、
    請求項３記載の双方向会話補助装置。
  14. 　前記第１音響キャンセラは、
    　前記第１音響エコーの伝達関数として推定された伝達関数を記憶する第５伝達関数記憶回路と、
    　前記音響信号を記憶する第５記憶回路と、
    　前記第５記憶回路に記憶された前記音響信号と前記第５伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第１音響エコー信号を生成する第５畳み込み演算器と、
    　前記第１マイクの前記出力信号から、前記第５畳み込み演算器から出力された前記第１音響エコー信号を除去し、前記第１音響キャンセラの出力信号を出力する第５減算器と、
    　前記第５減算器の前記出力信号と前記第５記憶回路に記憶された前記音響信号とに基づいて前記第５伝達関数記憶回路に記憶された前記伝達関数を更新する第５伝達関数更新回路と、を有し、
    　前記第２音響キャンセラは、
    　前記第２音響エコーの伝達関数として推定された伝達関数を記憶する第６伝達関数記憶回路と、
    　前記音響信号を記憶する第６記憶回路と、
    　前記第６記憶回路に記憶された前記音響信号と前記第６伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第２音響エコー信号を生成する第６畳み込み演算器と、
    　前記第２マイクの前記出力信号から、前記第６畳み込み演算器から出力された前記第２音響エコー信号を除去し、前記第２音響キャンセラの出力信号を出力する第６減算器と、
    　前記第６減算器の前記出力信号と前記第６記憶回路に記憶された前記音響信号とに基づいて前記第６伝達関数記憶回路に記憶された前記伝達関数を更新する第６伝達関数更新回路と、を有する、
    請求項１３記載の双方向会話補助装置。
  15. 　前記第１音響キャンセラは、
    　さらに、前記第２スピーカへの前記入力信号に前記音響信号を加算する第１加算器を有し、
    　前記第２音響キャンセラは、
    　さらに、前記第１スピーカへの前記入力信号に前記音響信号を加算する第２加算器を有する、
    請求項１４記載の双方向会話補助装置。
  16. 　会話システムにおいて第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助方法であって、
    　前記会話システムは、
    　前記第１話者の第１音声を入力するための第１マイクと、
    　前記第１音声を出力するための第１スピーカと、
    　前記第２話者の第２音声を入力するための第２マイクと、
    　前記第２音声を出力するための第２スピーカと、を備え、
    　前記双方向会話補助方法は、
    　前記第２スピーカへの入力信号を用いて、前記第２スピーカから出力された前記第２音声が前記第１マイクに入力される第１エコー、及び、前記第２音声が前記第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した前記第１妨害信号を、前記第１マイクの出力信号から除去する第１エコー・クロストークキャンセルステップを含む、
    双方向会話補助方法。
  17. 　さらに、前記第２スピーカから出力された前記第２音声が前記第２マイクに入力される第１ハウリングの程度を示す第１ハウリング信号を推定して算出し、算出した前記第１ハウリング信号を、前記第２マイクの出力信号から除去する第１ハウリングキャンセルステップを含む、
    請求項１６記載の双方向会話補助方法。
  18. 　さらに、
    　前記第１スピーカから出力された前記第１音声が前記第１マイクに入力される第２ハウリングの程度を示す第２ハウリング信号を推定して算出し、算出した前記第２ハウリング信号を、前記第１マイクの前記出力信号から除去する第２ハウリングキャンセルステップと、
    　前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの前記出力信号から除去する第２エコー・クロストークキャンルステップと、を含む、
    請求項１７記載の双方向会話補助方法。
  19. 　さらに、前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの出力信号から除去する第２エコー・クロストークキャンセルステップを含む、
    請求項１６記載の双方向会話補助方法。
  20. 　さらに、
    　音響信号を用いて、前記第２スピーカから出力された音響が前記第１マイクに入力される第１音響エコーの程度を示す第１音響エコー信号を推定して算出し、算出した前記第１音響エコー信号を、前記第１マイクの前記出力信号から除去する第１音響キャンセルステップと、
    　前記音響信号を用いて、前記第１スピーカから出力された音響が前記第２マイクに入力される第２音響エコーの程度を示す第２音響エコー信号を推定して算出し、算出した前記第２音響エコー信号を、前記第２マイクの前記出力信号から除去する第２音響キャンセルステップと、を備える、
    請求項１８記載の双方向会話補助方法。
PCT/JP2016/004390 2015-10-16 2016-09-29 双方向会話補助装置及び双方向会話補助方法 WO2017064839A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/737,465 US10542154B2 (en) 2015-10-16 2016-09-29 Device for assisting two-way conversation and method for assisting two-way conversation
JP2017545085A JP6311136B2 (ja) 2015-10-16 2016-09-29 双方向会話補助装置及び双方向会話補助方法
EP16855096.0A EP3312839B1 (en) 2015-10-16 2016-09-29 Device for assisting two-way conversation and method for assisting two-way conversation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015205018 2015-10-16
JP2015-205018 2015-10-16

Publications (1)

Publication Number Publication Date
WO2017064839A1 true WO2017064839A1 (ja) 2017-04-20

Family

ID=58517542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004390 WO2017064839A1 (ja) 2015-10-16 2016-09-29 双方向会話補助装置及び双方向会話補助方法

Country Status (4)

Country Link
US (1) US10542154B2 (ja)
EP (1) EP3312839B1 (ja)
JP (1) JP6311136B2 (ja)
WO (1) WO2017064839A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033773A (zh) * 2018-12-13 2019-07-19 蔚来汽车有限公司 用于车辆的语音识别方法、装置、系统、设备以及车辆
WO2020234991A1 (ja) * 2019-05-21 2020-11-26 日本電信電話株式会社 音響処理装置、音響処理方法、およびプログラム
US11483652B2 (en) 2018-03-19 2022-10-25 Panasonic Intellectual Property Management Co., Ltd. Conversation support device
WO2023013019A1 (ja) * 2021-08-06 2023-02-09 日本電信電話株式会社 発話フィードバック装置、発話フィードバック方法、プログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3333850A4 (en) 2015-10-16 2018-06-27 Panasonic Intellectual Property Management Co., Ltd. Sound source separating device and sound source separating method
US10433086B1 (en) * 2018-06-25 2019-10-01 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10210882B1 (en) 2018-06-25 2019-02-19 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10694285B2 (en) 2018-06-25 2020-06-23 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
JP7020554B2 (ja) 2018-08-02 2022-02-16 日本電信電話株式会社 会話サポートシステム、その方法、およびプログラム
CN113168840A (zh) * 2018-11-30 2021-07-23 松下知识产权经营株式会社 翻译装置以及翻译方法
US11115765B2 (en) 2019-04-16 2021-09-07 Biamp Systems, LLC Centrally controlling communication at a venue
CN110738995B (zh) * 2019-10-11 2022-11-11 北京地平线机器人技术研发有限公司 一种声音信号采集方法及装置
US10811029B1 (en) * 2019-10-31 2020-10-20 Amazon Technologies, Inc. Cascade echo cancellation for asymmetric references
WO2023192312A1 (en) * 2022-03-29 2023-10-05 The Board Of Trustees Of The University Of Illinois Adaptive binaural filtering for listening system using remote signal sources and on-ear microphones
CN115604630A (zh) * 2022-09-29 2023-01-13 歌尔科技有限公司（Cn） 声场扩展方法、音频设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025273A1 (en) * 2003-06-27 2005-02-03 Wolfgang Tschirk Method and apparatus for echo compensation
JP2010163054A (ja) * 2009-01-15 2010-07-29 Fujitsu Ten Ltd 会話支援装置及び会話支援方法
JP2012195801A (ja) * 2011-03-17 2012-10-11 Panasonic Corp 会話支援装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61194958A (ja) 1985-02-22 1986-08-29 Nippon Telegr & Teleph Corp <Ntt> エコ−キヤンセラ形拡声電話回路
US4677676A (en) * 1986-02-11 1987-06-30 Nelson Industries, Inc. Active attenuation system with on-line modeling of speaker, error path and feedback pack
US5033082A (en) 1989-07-31 1991-07-16 Nelson Industries, Inc. Communication system with active noise cancellation
US6496581B1 (en) * 1997-09-11 2002-12-17 Digisonix, Inc. Coupled acoustic echo cancellation system
US6505057B1 (en) 1998-01-23 2003-01-07 Digisonix Llc Integrated vehicle voice enhancement system and hands-free cellular telephone system
DE19938158C1 (de) * 1999-08-16 2001-01-11 Daimler Chrysler Ag Verfahren und Vorrichtung sowie ihre Verwendung zur Kompensation von Verlusten eines akustischen Signals
US6934387B1 (en) * 1999-12-17 2005-08-23 Marvell International Ltd. Method and apparatus for digital near-end echo/near-end crosstalk cancellation with adaptive correlation
US7039197B1 (en) * 2000-10-19 2006-05-02 Lear Corporation User interface for communication system
US7388904B2 (en) * 2003-06-03 2008-06-17 Vativ Technologies, Inc. Near-end, far-end and echo cancellers in a multi-channel transceiver system
JP4333369B2 (ja) * 2004-01-07 2009-09-16 株式会社デンソー 雑音除去装置、及び音声認識装置、並びにカーナビゲーション装置
JP4639639B2 (ja) * 2004-05-18 2011-02-23 ソニー株式会社 マイクロフォン信号生成方法および通話装置
US7688968B1 (en) * 2004-09-16 2010-03-30 Marvell International Ltd. Adaptive analog echo/next cancellation
TWI414154B (zh) * 2009-09-11 2013-11-01 Realtek Semiconductor Corp 通訊裝置與其接收方法
DE102009051508B4 (de) * 2009-10-30 2020-12-03 Continental Automotive Gmbh Vorrichtung, System und Verfahren zur Sprachdialogaktivierung und -führung
JP5887535B2 (ja) 2012-02-17 2016-03-16 パナソニックＩｐマネジメント株式会社 エコー消去装置、エコー消去方法、及び、通話装置
EP3333850A4 (en) 2015-10-16 2018-06-27 Panasonic Intellectual Property Management Co., Ltd. Sound source separating device and sound source separating method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050025273A1 (en) * 2003-06-27 2005-02-03 Wolfgang Tschirk Method and apparatus for echo compensation
JP2010163054A (ja) * 2009-01-15 2010-07-29 Fujitsu Ten Ltd 会話支援装置及び会話支援方法
JP2012195801A (ja) * 2011-03-17 2012-10-11 Panasonic Corp 会話支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3312839A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11483652B2 (en) 2018-03-19 2022-10-25 Panasonic Intellectual Property Management Co., Ltd. Conversation support device
CN110033773A (zh) * 2018-12-13 2019-07-19 蔚来汽车有限公司 用于车辆的语音识别方法、装置、系统、设备以及车辆
CN110033773B (zh) * 2018-12-13 2021-09-14 蔚来(安徽)控股有限公司 用于车辆的语音识别方法、装置、系统、设备以及车辆
WO2020234991A1 (ja) * 2019-05-21 2020-11-26 日本電信電話株式会社 音響処理装置、音響処理方法、およびプログラム
JPWO2020234991A1 (ja) * 2019-05-21 2020-11-26
JP7211498B2 (ja) 2019-05-21 2023-01-24 日本電信電話株式会社 音響処理装置、音響処理方法、およびプログラム
US11729550B2 (en) 2019-05-21 2023-08-15 Nippon Telegraph And Telephone Corporation Echo cancelation method, apparatus, program and recording medium
WO2023013019A1 (ja) * 2021-08-06 2023-02-09 日本電信電話株式会社 発話フィードバック装置、発話フィードバック方法、プログラム

Also Published As

Publication number Publication date
EP3312839A4 (en) 2018-05-09
US10542154B2 (en) 2020-01-21
JP6311136B2 (ja) 2018-04-18
US20180115650A1 (en) 2018-04-26
EP3312839B1 (en) 2020-08-05
EP3312839A1 (en) 2018-04-25
JPWO2017064839A1 (ja) 2018-05-10

Similar Documents

Publication Publication Date Title
JP6311136B2 (ja) 双方向会話補助装置及び双方向会話補助方法
JP6318376B2 (ja) 音源分離装置および音源分離方法
CN107636758B (zh) 声学回声消除系统和方法
EP1718103B1 (en) Compensation of reverberation and feedback
JP4957810B2 (ja) 音処理装置、音処理方法及び音処理プログラム
KR20040019362A (ko) 후처리기로서 멀티 마이크로폰 에코 억제기를 가지는 음향보강 시스템
JP2007312364A (ja) 音響信号処理における均等化
CN108353229A (zh) 车辆中的音频信号处理
JP2012195801A (ja) 会話支援装置
US10297245B1 (en) Wind noise reduction with beamforming
JP6821126B2 (ja) ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム
KR101587844B1 (ko) 마이크로폰의 신호 보상 장치 및 그 방법
JP5908170B2 (ja) エコー消去装置
EP3833045B1 (en) Conversation assistance system, method therefor, and program
JP2005247181A (ja) 車載ハンズフリー装置
JP5937451B2 (ja) エコー消去装置、エコー消去方法及びプログラム
JP7259092B2 (ja) モジュール式エコーキャンセルユニット
JP2008033307A (ja) マルチチャンネルエコーキャンセラ
JP4162860B2 (ja) 不要音信号除去装置
EP3667662A1 (en) Acoustic echo cancellation device, acoustic echo cancellation method and acoustic echo cancellation program
Saremi Spatial audio signal processing for speech telecommunication inside vehicles
JP2009015209A (ja) 音声明瞭度改善システム及び音声明瞭度改善方法
JP5631523B2 (ja) エコー消去装置
US20230274723A1 (en) Communication support system
CN113519169B (zh) 用于音频啸叫衰减的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16855096

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017545085

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15737465

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE