WO2020110808A1 - 翻訳装置及び翻訳方法 - Google Patents

翻訳装置及び翻訳方法 Download PDF

Info

Publication number
WO2020110808A1
WO2020110808A1 PCT/JP2019/045118 JP2019045118W WO2020110808A1 WO 2020110808 A1 WO2020110808 A1 WO 2020110808A1 JP 2019045118 W JP2019045118 W JP 2019045118W WO 2020110808 A1 WO2020110808 A1 WO 2020110808A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
echo
voice
speaker
language
Prior art date
Application number
PCT/JP2019/045118
Other languages
English (en)
French (fr)
Inventor
良二 鈴木
尋紀 稲垣
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP19890338.7A priority Critical patent/EP3890288A4/en
Priority to JP2020558387A priority patent/JP7194900B2/ja
Priority to US17/296,825 priority patent/US20220027579A1/en
Priority to CN201980077382.9A priority patent/CN113168840A/zh
Publication of WO2020110808A1 publication Critical patent/WO2020110808A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/58—Details of telephonic subscriber devices including a multilanguage function
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Definitions

  • the present disclosure relates to a translation device and a translation method that translates the language of one speaker into the language of the other speaker in a conversation between a first speaker and a second speaker to make a loud voice.
  • Patent Document 1 discloses a conversation assisting device that is effective in assisting by loudly assisting a two-way conversation between two parties after removing acoustic noise.
  • the conversation assistance device includes an echo/crosstalk canceller that removes an interfering signal indicating echo and crosstalk from an output signal of a microphone. According to the conversation assistance device, acoustic noise including echo and crosstalk can be removed, and a two-way conversation between two parties can be loudly assisted.
  • the voices of a plurality of speakers and the plurality of synthesized voices that are output by recognizing the voices of the plurality of speakers, translating them into the language of the other party, synthesizing the voices, and the like exist simultaneously. Even in such a case, a translation device and a translation method are provided, in which acoustic noise including echo is suppressed, and stable speech recognition is performed while mutual conversation is possible.
  • a translation device is a translation device that translates a language of one speaker into a language of another speaker in a conversation between a first speaker and a second speaker to amplify a synthetic voice, From a first microphone for inputting the first voice of the first speaker, a first voice recognition circuit for voice-recognizing the first voice and outputting a first character string, and the first voice recognition circuit A first translation circuit for translating the output first character string into the language of the second speaker to output a third character string; and the third character string output from the first translation circuit.
  • a first speech synthesis circuit for converting into a first translated speech, a first speaker for amplifying the first translated speech, a second microphone for inputting a second speech of the second speaker, A second voice recognition circuit for voice-recognizing the second voice and outputting a second character string; and translating the second character string output from the second voice recognition circuit into the language of the first speaker.
  • a second translation circuit for outputting a fourth character string, a second speech synthesis circuit for converting the fourth character string output from the second translation circuit into a second translated speech, and the second translation circuit.
  • a second speaker for amplifying the translated voice, and a phenomenon in which the first translated voice amplified by the first speaker is input to the second microphone is referred to as the first translated voice
  • a first echo signal that indicates the first echo is estimated using the first transfer function corresponding to the first echo, and the first echo signal is removed from an output signal of the second microphone;
  • a phenomenon in which the second translated speech amplified by the echo canceller and the second speaker is input to the first microphone is referred to as a second echo
  • the second translated speech and the second echo corresponding to the second echo are provided.
  • a second echo canceller that estimates the second echo signal indicating the second echo using the two transfer functions and removes the second echo signal from the output signal of the first microphone; and a control circuit.
  • the control circuit causes the first echo canceller to update a transfer function for estimating the first echo signal while the first speech synthesis circuit is outputting the first translated speech, and the second echo canceller While the speech synthesis circuit is outputting the second translated speech, the second echo canceller is caused to update the transfer function for estimating the second echo signal.
  • the translation device is a translation device that translates the language of one speaker into the language of the other speaker in a conversation between the first speaker and the second speaker to amplify the synthetic speech.
  • a first microphone for inputting the first voice of the first speaker, a first voice recognition circuit for voice-recognizing the first voice and outputting a first character string, and the first voice recognition
  • a first translation circuit for translating the first character string output from the circuit into the language of the second speaker and outputting a third character string; and the third character output from the first translation circuit
  • a first voice synthesis circuit for converting a string into a first translated voice, a first speaker for amplifying the first translated voice, and a second microphone for inputting a second voice of the second speaker.
  • a second voice recognition circuit for voice-recognizing the second voice and outputting a second character string; and a second voice string output from the second voice recognition circuit for the language of the first speaker.
  • a second translation circuit for translating the fourth character string to output a fourth character string, and a second speech synthesis circuit for converting the fourth character string output from the second translation circuit into a second translated speech.
  • a second speaker for amplifying the second translated speech and a phenomenon in which the first translated speech amplified by the first speaker is input to the first microphone is defined as a third echo, and the first translation is performed.
  • a third echo canceller and a fourth echo corresponding to the second translated voice and the fourth echo when a phenomenon in which the second translated voice amplified by the second speaker is input to the second microphone is referred to as a fourth echo.
  • the control circuit updates the third transfer function for estimating the third echo signal in the third echo canceller during a period in which the first speech synthesis circuit outputs the first translated speech. Then, while the second speech synthesis circuit is outputting the second translated speech, the fourth echo canceller updates the fourth transfer function for estimating the fourth echo signal.
  • the translation device is a translation device that translates the language of one speaker into the language of the other speaker in a conversation between the first speaker and the second speaker to amplify the synthetic speech.
  • a first microphone for inputting the first voice of the first speaker, a first voice recognition circuit for voice-recognizing the first voice and outputting a first character string, and the first voice recognition
  • a first translation circuit for translating the first character string output from the circuit into the language of the second speaker and outputting a third character string; and the third character output from the first translation circuit
  • a first voice synthesis circuit for converting a string into a first translated voice, a second microphone for inputting a second voice of the second speaker, and a second character string by voice recognition of the second voice.
  • a second voice recognition circuit for outputting a second voice recognition circuit, and a second voice recognition circuit for translating the second character string output from the second voice recognition circuit into the language of the first speaker to output a fourth character string.
  • a translation circuit for converting the fourth character string output from the second translation circuit into a second translation speech, and the first translation speech output by the first speech synthesis circuit.
  • An adding circuit that adds the second translated speech output by the second speech synthesis circuit to output an added translated speech, a speaker for amplifying the added translated speech output by the adding circuit, and a loud sound from the speaker.
  • a fifth echo canceller for estimating the fifth echo signal indicating that the fifth echo signal is removed from the output signal of the second microphone, and the added translated speech amplified by the speaker is input to the first microphone.
  • the sixth echo signal indicating the sixth echo is estimated by using the added translated speech and the sixth transfer function corresponding to the sixth echo, and the sixth echo signal is estimated.
  • a sixth echo canceller for removing an echo signal from the output signal of the first microphone; and a control circuit, wherein the control circuit outputs the first translated voice by the first voice synthesis circuit, or While the second speech synthesis circuit is outputting the second translated speech, the fifth echo canceller updates the transfer function for estimating the fifth echo signal, and the first speech synthesis circuit causes the first translation circuit to perform the first translation.
  • the sixth echo signal is output to the sixth echo canceller while the voice is output or the second speech synthesis circuit is outputting the second translated voice.
  • the transfer function for estimating is updated.
  • a translation method is a translation method for translating one's own language into a partner's language and expanding a synthetic voice in a conversation between a first speaker and a second speaker.
  • a first input step for inputting one voice a first voice recognition step for voice-recognizing the first voice and outputting a first character string, and the first voice output from the first voice recognition step.
  • a first voice synthesizing step for converting, a first voice increasing step for amplifying the first translated voice, a second input step for inputting a second voice of the second speaker, and the second A second speech recognition step for recognizing speech and outputting a second character string; and translating the second character string output from the second speech recognition step into the language of the first speaker.
  • a second translation step for outputting a four character string; a second speech synthesis step for converting the fourth character string output from the second translation step into a second translated speech; and a second translated speech.
  • a second echo step for increasing the voice and a first echo is a phenomenon in which the first translated voice amplified in the first voice step is input in the second input step, the first translation
  • the first echo signal indicating the first echo is estimated using the voice and the first transfer function corresponding to the first echo, and the first echo signal is removed from the output signal of the second input step.
  • a phenomenon in which the second translated speech amplified in the first echo canceling step and the second speech enhancing step is input in the first input step is a second echo
  • the second translated speech and the second translated speech are generated.
  • a second echo canceller for estimating a second echo signal indicating the second echo by using a second transfer function corresponding to two echoes and removing the second echo signal from the output signal of the first input step.
  • Step and during the period during which the first translated speech is being output in the first speech synthesis step, in the first echo canceller step, updating the first transfer function for estimating the first echo signal, Control for giving an instruction to update the second transfer function for estimating the second echo signal in the second echo canceller step while the second translated speech is being output in the second speech synthesis step. And steps.
  • the translation method according to the present disclosure is a translation method for translating one's own language into a partner's language and expanding a synthetic voice in a conversation between a first speaker and a second speaker.
  • a first input step for inputting a first voice
  • a first voice recognition step for voice-recognizing the first voice and outputting a first character string
  • a first voice recognition step for translating the first character string into the language of the second speaker to output a third character string; and a first translation of the third character string output from the first translation step.
  • a first voice synthesizing step for converting to a voice; a first loudspeaking step for amplifying the first translated speech; a second inputting step for inputting a second voice of the second speaker; A second voice recognition step for voice-recognizing a second voice and outputting a second character string; and translating the second character string output from the second voice recognition step into the language of the first speaker.
  • a second voice amplification step for amplifying the translated voice and a phenomenon in which the first translated voice output in the first voice enhancement step is input in the first input step is a third echo
  • a third echo signal indicating the third echo is estimated, and the third echo signal is output from the output signal of the first input step.
  • a third echo canceller step for removing and a phenomenon in which the second translated speech output in the second loudspeaking step is input in the second input step is referred to as the second translated speech
  • a fourth echo signal representing the fourth echo is estimated using the fourth transfer function corresponding to the fourth echo, and the fourth echo signal is removed from the output signal of the second input step.
  • the third transfer function for estimating the third echo signal is updated in the third echo canceller step during the period in which the first translated speech is output in the echo canceller step and the first speech synthesis step. , Giving an instruction to update the fourth transfer function for estimating the fourth echo signal in the fourth echo canceller step during a period in which the second translated speech is output from the second speech synthesis step. And a control step.
  • the translation device and the translation method according to the present disclosure simultaneously overlap the voices of a plurality of speakers and the plurality of synthetic voices that are output by recognizing the voices of the plurality of speakers, translating them into the language of the other party, and performing voice synthesis. Even in the case of existing, it is effective for conversation with each other while stably recognizing voice by removing acoustic noise including echo.
  • FIG. 1 is a diagram showing an application example of the translation apparatus according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of the translation device according to the first embodiment.
  • FIG. 3 is a flowchart for updating transfer functions of the first echo canceller and the third echo canceller.
  • FIG. 4 is a flowchart for updating transfer functions of the second echo canceller and the fourth echo canceller.
  • FIG. 5 is a block diagram showing the configuration of the translation device according to the second embodiment.
  • FIG. 6 is a block diagram showing the configuration of the translation device according to the third embodiment.
  • FIG. 7 is a flowchart for selecting the optimum configuration among the first to third embodiments.
  • FIG. 8 is a block diagram showing the configuration of the translation device according to the fourth embodiment.
  • FIG. 9 is a block diagram showing the configuration of the translation device according to the fifth embodiment.
  • FIG. 10 is a block diagram showing the configuration of the translation device according to the sixth embodiment.
  • FIG. 11 is a diagram showing an example of
  • FIG. 1 is a diagram showing an application example of the translation apparatus 20 according to the first embodiment.
  • the translation device 20 is applied as a device that translates and expands a conversation between a first speaker 11 and a second speaker 12 that face each other with a counter 10 in between.
  • the translation device 20 is a device that translates and expands a conversation between the first speaker 11 (here, a customer) and the second speaker 12 (here, a reception).
  • the counter 10 is provided with a first microphone 21 for inputting the voice (first voice) of the first speaker 11, and the second speaker 12 side translates the voice with a translation device 20 and outputs it.
  • a first speaker 22 for performing the operation is provided.
  • the second speaker 12 side is provided with a second microphone 23 for inputting the voice (second voice) of the second speaker 12, and the first speaker 11 side translates the voice.
  • a second speaker 24 for translating and outputting at 20 is provided.
  • the translation device 20 is provided with a first display circuit 25, a second display circuit 26, a first camera 291 and a second camera 292.
  • the first speaker 11 when toward the first microphone 21 utters "Hello", the voice is translated by the translation device 20, are loud as “Hello” from the first speaker 22. Then, when the second speaker 12 utters “Welcome to me” into the second microphone 23, the voice is translated by the translation device 20 and the second speaker 24 reads “Hello! May I help you ?”.
  • the first display circuit 25 and the second display circuit 26, and the first speaker 11 is the utterance of the second speaker 12, "Hello", “Hello”, “May I help you?" Of "Hello! May I help you?" Display a string.
  • the first speaker 11 and the second speaker 12 have removed acoustic noise including echo (echo) and crosstalk (crosstalk) even in one narrow space.
  • acoustic noise including echo (echo) and crosstalk (crosstalk) even in one narrow space.
  • Accurate voice recognition can be performed by voice, so conversation can be enjoyed.
  • ⁇ Echo refers to the following two phenomena.
  • the sound output from the speaker to a speaker is input into the microphone for inputting the speaker's voice, and the sound output from the speaker to the speaker is This is a phenomenon in which a voice is input by wrapping around a microphone for inputting voices other than that of the speaker.
  • the phenomenon in which the sound output from the first speaker 22 is input to the second microphone 23 by being sneak up is input to the first echo 13, and the sound output from the second speaker 24 is input to the first microphone 21.
  • the phenomenon of being circumvented and input is defined as the second echo 14.
  • the phenomenon in which the sound output from the first speaker 22 circulates into the first microphone 21 and is input is described as the third echo 15 and the sound output from the second speaker 24 circulates into the second microphone 23.
  • the phenomenon that is input is defined as the fourth echo 16.
  • crosstalk is a phenomenon in which the voice of a certain speaker is input to a microphone for inputting the voices of other speakers.
  • a phenomenon in which the voice of the first speaker 11 is input to the second microphone 23 is a phenomenon in which the voice of the second speaker 12 is input to the first microphone 21. Is defined as the second crosstalk 18.
  • FIG. 2 is a block diagram showing the configuration of translation apparatus 20 in the first embodiment shown in FIG.
  • the translation device 20 includes a first microphone 21, a first speaker 22, a second microphone 23, a second speaker 24, a first display circuit 25, a second display circuit 26, a first language selection circuit 27, and a second language selection circuit.
  • the recognition circuit 32, the first translation circuit 33, the second translation circuit 34, the first voice synthesis circuit 35, the second voice synthesis circuit 36, the control circuit 37, and the video signal generation circuit 38 are provided.
  • the translation device 20 may include a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory) that are interconnected via a bus.
  • the processing device 201 shown in FIG. 1 includes a first echo canceller 40, a second echo canceller 50, a third echo canceller 60, a fourth echo canceller 70, a first crosstalk canceller 80, and a second crosstalk canceller 90.
  • First voice recognition circuit 31 second voice recognition circuit 32, first translation circuit 33, second translation circuit 34, first voice synthesis circuit 35, second voice synthesis circuit 36, control circuit 37, and video signal generation circuit 38. Is included.
  • Each component of the translation device 20 is connected by wire or wirelessly.
  • the first microphone 21 is a microphone for inputting the first voice of the first speaker 11, and for example, as shown in FIG. 1, the customer side of the counter 10 (here, the first speaker 11 side). It is provided toward.
  • the output signal output from the first microphone 21 is, for example, digital audio data generated by an A/D converter provided in or immediately after the first microphone 21.
  • the first microphone 21 may have directivity.
  • the directivity is a function capable of collecting sound from a specific direction.
  • the first speaker 22 amplifies the first translated voice. [1-3. The operation will be described later in detail, but the first translated voice is a voice in which the first voice that is the language of the first speaker 11 is translated into the language of the second speaker 12 by the translation device 20.
  • the first speaker 22 is provided on the reception side (here, the second speaker 12 side) of the counter 10 as shown in FIG. 1, for example. It should be noted that the first speaker 22 outputs, for example, as audio after converting the input digital audio data into an analog signal by a D/A converter built in the first speaker 22 or provided immediately before.
  • the second microphone 23 is a microphone for inputting the second voice of the second speaker 12, and for example, as shown in FIG. 1, the reception side of the counter 10 (here, the second speaker 12 side). It is provided toward.
  • the output signal output from the second microphone 23 is, for example, digital audio data generated by an A/D converter provided in or immediately after the second microphone 23.
  • the second microphone 23 may have directivity.
  • the directivity is a function capable of collecting sound from a specific direction.
  • the second speaker 24 amplifies the second translated voice. [1-3. The operation will be described later in detail, but the second translated voice is a voice in which the second voice that is the language of the second speaker 12 is translated into the language of the first speaker 11 by the translation device 20.
  • the second speaker 24 is provided toward the customer side of the counter 10 (here, the first speaker 11 side), as shown in FIG. 1, for example. It should be noted that the second speaker 24 outputs, for example, as audio after converting the input digital audio data into an analog signal by a D/A converter built in the second speaker 24 or provided immediately before.
  • the first display circuit 25 is a display circuit for displaying a character string as a result of recognizing and translating the voice of the first speaker 11 and a character string as a result of recognizing the voice of the second speaker 12.
  • the two-speaker 12 is arranged at a position where it can be visually recognized.
  • the first display circuit 25 may be, for example, a liquid crystal display or an organic EL (ElectroLuminescence) display, and may be a tablet terminal, a smartphone, a personal computer, or the like. Further, the first display circuit 25 may have a touch panel function.
  • the second display circuit 26 is a display circuit for displaying a character string resulting from recognizing and translating the voice of the second speaker 12 and a character string resulting from recognizing the voice of the first speaker 11.
  • the one-speaker 11 is arranged at a position that can be visually recognized.
  • the second display circuit 26 may be, for example, a liquid crystal display or an organic EL display, or may be a tablet terminal, a smartphone, a personal computer, or the like. Further, the second display circuit 26 may have a touch panel function.
  • the first language selection circuit 27 receives the selection of the first language used by the first speaker 11 from the first speaker 11 and notifies the control circuit 37 of the selection.
  • the first language selection circuit 27 is, for example, a switch that sets the first language, which is the type of the language of the voice of the first speaker 11, and is arranged at a position that the first speaker 11 can select. Further, the first language selection circuit 27 may be included in the first display circuit 25 when the first display circuit 25 has a touch panel function.
  • the second language selection circuit 28 accepts the selection of the second language used by the second speaker 12 from the second speaker 12 and notifies the control circuit 37 of the selection.
  • the second language selection circuit 28 is, for example, a switch for setting the second language, which is the type of language of the voice of the second speaker 12, and is arranged at a position where the second speaker 12 can select. Further, the second language selection circuit 28 may be included in the second display circuit 26 when the second display circuit 26 has a touch panel function.
  • the CPU is a processor that executes the programs stored in the ROM.
  • the ROM holds, for example, a program read and executed by the CPU.
  • the CPU executes the processing of the circuit described later by executing this program.
  • the RAM is a readable/writable memory having a storage area used when the CPU executes a program.
  • the processing of the video signal generation circuit 38 is realized by the processor.
  • the first voice recognition circuit 31 voice-recognizes the first voice of the first speaker 11 and outputs a first character string.
  • the first voice recognition circuit 31 also outputs a first character string, which is the result of voice recognition of the first voice of the first speaker 11, to the first translation circuit 33 and the control circuit 37.
  • the second voice recognition circuit 32 voice-recognizes the second voice of the second speaker 12 and outputs a second character string. Further, the second voice recognition circuit 32 outputs the second character string, which is the result of voice recognition of the second voice of the second speaker 12, to the second translation circuit 34 and the control circuit 37.
  • the first translation circuit 33 translates the first character string output from the first speech recognition circuit 31 into the language of the second speaker 12, and outputs the third character string. Further, the first translation circuit 33 outputs the third character string to the first voice synthesis circuit 35 and the control circuit 37.
  • the second translation circuit 34 translates the second character string output from the second speech recognition circuit 32 into the language of the first speaker 11 and outputs the fourth character string.
  • the second translation circuit 34 also outputs the fourth character string to the second voice synthesis circuit 36 and the control circuit 37.
  • the first voice synthesis circuit 35 converts the third character string output from the first translation circuit 33 into a first translated voice.
  • the first speech synthesis circuit 35 also outputs the first translated speech to the first speaker 22, the first echo canceller 40, and the third echo canceller 60.
  • the second voice synthesis circuit 36 converts the fourth character string output from the second translation circuit 34 into a second translated voice.
  • the second speech synthesis circuit 36 also outputs the second translated speech to the second speaker 24, the second echo canceller 50, and the fourth echo canceller 70.
  • the control circuit 37 causes the first echo canceller 40 to update the first transfer function for estimating the first echo signal while the first speech synthesis circuit 35 is outputting the first translated speech, and the second speech synthesis. While the circuit 36 is outputting the second translated speech, the second echo canceller 50 updates the second transfer function for estimating the second echo signal.
  • the first transfer function is stored in the first transfer function storage circuit 44 included in the first echo canceller 40.
  • the second transfer function storage circuit 54 included in the second echo canceller 50 stores the second transfer function.
  • control circuit 37 causes the third echo canceller 60 to update the third transfer function for estimating the third echo signal while the first speech synthesis circuit 35 is outputting the first translated speech, and the second While the voice synthesis circuit 36 is outputting the second translated voice, the fourth echo canceller 70 updates the fourth transfer function for estimating the fourth echo signal.
  • the third transfer function storage circuit 64 included in the third echo canceller 60 stores the third transfer function.
  • the fourth transfer function storage circuit 74 included in the fourth echo canceller 70 stores the fourth transfer function.
  • control circuit 37 supplies the first transfer function and the third transfer function to the first echo canceller 40 and the third echo canceller 60 during the period in which the first speech synthesis circuit 35 is not outputting the first translated speech. Do not update. Further, the control circuit 37 supplies the second transfer function and the fourth transfer function to the second echo canceller 50 and the fourth echo canceller 70 during a period in which the second speech synthesis circuit 36 is not outputting the second translated speech. Do not update.
  • control circuit 37 sets the first language to the first speech recognition circuit 31 based on the first language notified from the first language selection circuit 27 and the second language notified from the second language selection circuit 28.
  • Speech recognition, second speech recognition circuit 32 speech recognition of the second language, first translation circuit 33 translated from the first language to the second language, second translation circuit 34 from the second language to the first language.
  • the first speech synthesis circuit 35 is translated, and the first speech synthesis circuit 35 is synthesized in the second language, and the second speech synthesis circuit 36 is synthesized in the first language.
  • the video signal generation circuit 38 outputs the recognition result of the voice of the first speaker 11 output by the first voice recognition circuit 31, the first character string in the first language, and the first speaker 11 output by the first translation circuit 33.
  • the fourth character string obtained by converting the second language voice of the second speaker 12 output by the second translation circuit 34 into the first language character is input from the control circuit 37.
  • the video signal generation circuit 38 outputs the first character string of the first language, which is the recognition result of the voice of the first speaker 11 output by the first voice recognition circuit 31, and the second character output by the second translation circuit 34.
  • the fourth character string obtained by converting the voice of the speaker 12 in the second language into the first language is output to the second display circuit 26.
  • the video signal generation circuit 38 outputs the second character string of the second language, which is the recognition result of the voice of the second speaker 12 output by the second voice recognition circuit 32, and the first character output by the first translation circuit 33.
  • the third character string obtained by converting the voice of the first language of the speaker 11 into the second language is output to the first display circuit 25.
  • the first echo canceller 40 corresponds to the first translated voice and the first echo 13 when the phenomenon that the first translated voice amplified by the first speaker 22 is input to the second microphone 23 is the first echo 13.
  • the first echo signal is a signal indicating the degree of the first echo 13.
  • the first echo canceller 40 is a circuit that removes the first echo signal from the output signal of the second microphone 23 and outputs the removed signal to the fourth echo canceller 70. Is a digital signal processing circuit for processing in the time domain.
  • the first echo canceller 40 includes a first transfer function storage circuit 44, a first storage circuit 42, a first convolution calculator 43, a first subtractor 41, and a first transfer function update circuit 45.
  • the first transfer function storage circuit 44 stores the first transfer function corresponding to the first echo 13.
  • the first storage circuit 42 stores the output signal of the first voice synthesis circuit 35.
  • the first convolution calculator 43 convolves the signal stored in the first storage circuit 42 and the first transfer function stored in the first transfer function storage circuit 44 to generate a first interference signal (that is, a first echo signal). To generate.
  • the first convolution calculator 43 is an N-tap FIR (Finite Impulse Response) filter that performs the convolution calculation represented by the following Expression 1.
  • y1't is the first disturbing signal at time t.
  • N is the number of taps of the FIR filter.
  • H1(i)t is the i-th first transfer function of the N first transfer functions stored in the first transfer function storage circuit 44 at time t.
  • x1(ti) is the (ti)th signal of the signals stored in the first memory circuit 42.
  • the first subtractor 41 removes the first interfering signal output from the first convolutional computing unit 43 from the output signal of the second microphone 23, and outputs it as the output signal of the first echo canceller 40.
  • the first subtractor 41 performs the subtraction shown in the following Expression 2.
  • e1t is the output signal of the first subtractor 41 at time t.
  • y1t is an output signal of the second microphone 23 at time t.
  • the first transfer function update circuit 45 updates the first transfer function stored in the first transfer function storage circuit 44 based on the output signal of the first subtractor 41 and the signal stored in the first storage circuit 42. ..
  • the first transfer function update circuit 45 uses the independent component analysis based on the output signal of the first subtractor 41 and the signal stored in the first storage circuit 42, as shown in the following Expression 3. Then, the first transfer function stored in the first transfer function storage circuit 44 is updated so that the output signal of the first subtractor 41 and the signal stored in the first storage circuit 42 are mutually independent.
  • H1(j)t+1 is the j-th first transfer function of the N first transfer functions stored in the first transfer function storage circuit 44 (that is, after updating) at time t+1. ..
  • H1(j)t is the j-th first transfer function of the N first transfer functions stored in the first transfer function storage circuit 44 at time t (that is, before updating).
  • ⁇ 1 is a step size parameter for controlling the learning speed in the estimation of the first transfer function of the first echo 13.
  • ⁇ 1 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function or a sign function (sign function)).
  • the first transfer function update circuit 45 subjects the output signal of the first subtractor 41 to the nonlinear processing using the nonlinear function, and the obtained result is stored in the first storage circuit 42.
  • the first update coefficient is calculated by multiplying the signal by the first step size parameter for controlling the learning speed in the estimation of the first transfer function of the first echo 13. Then, the calculation is performed by adding the calculated first update coefficient to the first transfer function stored in the first transfer function storage circuit 44.
  • control circuit 37 causes the first echo canceller 40 to update the first transfer function for estimating the first echo signal while the first speech synthesis circuit 35 is outputting the first translated speech. That is, while the first echo 13 is present, the first transfer function is updated based on the update formula of the first transfer function shown in the above Expression 3.
  • the second echo canceller 50 corresponds to the second translated voice and the second echo 14 when the phenomenon that the second translated voice amplified by the second speaker 24 is input to the first microphone 21 is the second echo 14.
  • the second transfer function is used to estimate the second echo signal indicating the second echo 14 and remove the second echo signal from the output signal of the first microphone 21.
  • the second echo signal is a signal indicating the degree of the second echo 14.
  • the second echo canceller 50 is a circuit that removes the second echo signal from the output signal of the first microphone 21 and outputs the removed signal to the third echo canceller 60. Is a digital signal processing circuit for processing in the time domain.
  • the second echo canceller 50 has a second transfer function storage circuit 54, a second storage circuit 52, a second convolution calculator 53, a second subtractor 51, and a second transfer function update circuit 55.
  • the second transfer function storage circuit 54 stores the second transfer function corresponding to the second echo 14.
  • the second storage circuit 52 stores the output signal of the second voice synthesis circuit 36.
  • the second convolution calculator 53 convolves the signal stored in the second storage circuit 52 and the second transfer function stored in the second transfer function storage circuit 54 to generate a second interference signal (that is, a second echo signal). To generate.
  • the second convolutional calculator 53 is an N-tap FIR filter that performs the convolutional calculation shown in Expression 4 below.
  • y2't is the second interference signal at time t.
  • N is the number of taps of the FIR filter.
  • H2(i)t is the i-th second transfer function of the N second transfer functions stored in the second transfer function storage circuit 54 at time t.
  • x2(ti) is the (ti)th signal of the signals stored in the second memory circuit 52.
  • the second subtractor 51 removes the second interfering signal output from the second convolution calculator 53 from the output signal of the first microphone 21, and outputs it as the output signal of the second echo canceller 50.
  • the second subtractor 51 performs the subtraction shown in the following Expression 5.
  • e2t is the output signal of the second subtractor 51 at time t.
  • y2t is the output signal of the first microphone 21 at time t.
  • the second transfer function update circuit 55 updates the second transfer function stored in the second transfer function storage circuit 54 based on the output signal of the second subtractor 51 and the signal stored in the second storage circuit 52. ..
  • the second transfer function updating circuit 55 uses the independent component analysis based on the output signal of the second subtractor 51 and the signal stored in the second memory circuit 52, as shown in the following Expression 6. Then, the second transfer function stored in the second transfer function storage circuit 54 is updated so that the output signal of the second subtractor 51 and the signal stored in the second storage circuit 52 are independent of each other.
  • ⁇ 2 is a step size parameter for controlling the learning speed in the estimation of the second transfer function of the second echo 14.
  • ⁇ 2 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function or a sign function (sign function)).
  • the second transfer function update circuit 55 performs the non-linear processing using the non-linear function on the output signal of the second subtractor 51, and the obtained result is stored in the second storage circuit 52.
  • the second update coefficient is calculated by multiplying the signal by the second step size parameter for controlling the learning speed in the estimation of the second transfer function of the second echo 14. Then, updating is performed by adding the calculated second update coefficient to the second transfer function stored in the second transfer function storage circuit 54.
  • control circuit 37 causes the second echo canceller 50 to update the second transfer function for estimating the second echo signal while the second speech synthesis circuit 36 is outputting the second translated speech. That is, while the second echo 14 is present, the second transfer function is updated based on the update formula of the second transfer function shown in the above equation 6.
  • the third echo canceller 60 corresponds to the first translated voice and the third echo 15 when the phenomenon that the first translated voice output from the first speaker 22 is input to the first microphone 21 is the third echo 15. It is a circuit that estimates the third echo signal indicating the third echo 15 using the third transfer function and removes the third echo signal from the output signal of the first microphone 21.
  • the third echo signal is a signal indicating the degree of the third echo 15.
  • the third echo canceller 60 is a circuit that removes the third echo signal from the output signal of the second echo canceller 50 and outputs the removed signal to the second crosstalk canceller 90. It is a digital signal processing circuit that processes audio data in the time domain.
  • the third echo canceller 60 includes a third transfer function storage circuit 64, a third storage circuit 62, a third convolution calculator 63, a third subtractor 61, and a third transfer function update circuit 65.
  • the third transfer function storage circuit 64 stores the third transfer function corresponding to the third echo 15.
  • the third storage circuit 62 stores the output signal of the first voice synthesis circuit 35.
  • the third convolution calculator 63 convolves the signal stored in the third storage circuit 62 and the third transfer function stored in the third transfer function storage circuit 64 to generate a third interference signal (that is, a third echo signal). To generate.
  • the third convolutional calculator 63 is an N-tap FIR filter that performs the convolutional calculation shown in Expression 7 below.
  • y3't is the third disturbing signal at time t.
  • N is the number of taps of the FIR filter.
  • H3(i)t is the i-th third transfer function of the N third transfer functions stored in the third transfer function storage circuit 64 at time t.
  • x3(ti) is the (ti)th signal among the signals stored in the third memory circuit 62.
  • the third subtractor 61 removes the third interfering signal output from the third convolution calculator 63 from the output signal of the second echo canceller 50, and outputs it as the output signal of the third echo canceller 60.
  • the third subtractor 61 performs the subtraction shown in Expression 8 below.
  • e3t is the output signal of the third subtractor 61 at time t.
  • y3t is the output signal of the second echo canceller 50 at time t.
  • the third transfer function update circuit 65 updates the third transfer function stored in the third transfer function storage circuit 64 based on the output signal of the third subtractor 61 and the signal stored in the third storage circuit 62. ..
  • the third transfer function update circuit 65 uses the independent component analysis based on the output signal of the third subtractor 61 and the signal stored in the third storage circuit 62, as shown in the following Expression 9. Then, the third transfer function stored in the third transfer function storage circuit 64 is updated so that the output signal of the third subtractor 61 and the signal stored in the third storage circuit 62 are independent of each other.
  • H3(j)t+1 is the j-th third transfer function of the N third transfer functions stored in the third transfer function storage circuit 64 at the time t+1 (that is, after updating).
  • H3(j)t is the j-th third transfer function of the N third transfer functions stored in the third transfer function storage circuit 64 at time t (that is, before updating).
  • ⁇ 3 is a step size parameter for controlling the learning speed in the estimation of the third transfer function of the third echo 15.
  • ⁇ 3 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function, or a sign function (sign function)).
  • the third transfer function update circuit 65 performs the non-linear processing using the non-linear function on the output signal of the third subtractor 61, and the obtained result is stored in the third storage circuit 62.
  • the third update coefficient is calculated by multiplying the signal by the third step size parameter for controlling the learning speed in the estimation of the third transfer function of the third echo 15. Then, updating is performed by adding the calculated third update coefficient to the third transfer function stored in the third transfer function storage circuit 64.
  • control circuit 37 causes the third echo canceller 60 to update the third transfer function for estimating the third echo signal while the first speech synthesis circuit 35 is outputting the first translated speech. That is, while the third echo 15 is present, the third transfer function is updated based on the update formula of the third transfer function shown in the above Expression 9.
  • the fourth echo canceller 70 corresponds to the second translated voice and the fourth echo 16 when the phenomenon that the second translated voice expanded from the second speaker 24 is input to the second microphone 23 is the fourth echo 16.
  • the fourth echo signal is a signal indicating the degree of the fourth echo 16.
  • the fourth echo canceller 70 is a circuit that removes the fourth echo signal from the output signal of the first echo canceller 40 and outputs the removed signal to the first crosstalk canceller 80. It is a digital signal processing circuit that processes audio data in the time domain.
  • the fourth echo canceller 70 has a fourth transfer function storage circuit 74, a fourth storage circuit 72, a fourth convolution calculator 73, a fourth subtractor 71, and a fourth transfer function update circuit 75.
  • the fourth transfer function storage circuit 74 stores the fourth transfer function corresponding to the fourth echo 16.
  • the fourth storage circuit 72 stores the output signal of the second voice synthesis circuit 36.
  • the fourth convolution calculator 73 convolves the signal stored in the fourth storage circuit 72 and the fourth transfer function stored in the fourth transfer function storage circuit 74 to thereby obtain a fourth interference signal (that is, a fourth echo signal).
  • a fourth interference signal that is, a fourth echo signal.
  • the fourth convolutional calculator 73 is an N-tap FIR filter that performs the convolutional calculation shown in Expression 10 below.
  • y4't is the fourth interference signal at time t.
  • N is the number of taps of the FIR filter.
  • H4(i)t is the i-th fourth transfer function of the N fourth transfer functions stored in the fourth transfer function storage circuit 74 at time t.
  • x4(ti) is the (ti)th signal among the signals stored in the fourth memory circuit 72.
  • the fourth subtractor 71 removes the fourth interference signal output from the fourth convolution calculator 73 from the output signal of the first echo canceller 40, and outputs it as the output signal of the fourth echo canceller 70.
  • the fourth subtractor 71 performs the subtraction shown in the following Expression 11.
  • e4t is the output signal of the fourth subtractor 71 at time t.
  • y4t is the output signal of the first echo canceller 40 at time t.
  • the fourth transfer function update circuit 75 updates the fourth transfer function stored in the fourth transfer function storage circuit 74 based on the output signal of the fourth subtractor 71 and the signal stored in the fourth storage circuit 72. ..
  • the fourth transfer function updating circuit 75 uses the independent component analysis based on the output signal of the fourth subtractor 71 and the signal stored in the fourth storage circuit 72, as shown in the following Expression 12. Then, the fourth transfer function stored in the fourth transfer function storage circuit 74 is updated so that the output signal of the fourth subtractor 71 and the signal stored in the fourth storage circuit 72 are independent of each other.
  • ⁇ 4 is a step size parameter for controlling the learning speed in the estimation of the fourth transfer function of the fourth echo 16.
  • ⁇ 4 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function, or a sign function (sign function)).
  • the fourth transfer function update circuit 75 performs the non-linear processing using the non-linear function on the output signal of the fourth subtractor 71, and the obtained result is stored in the fourth storage circuit 72.
  • the fourth update coefficient is calculated by multiplying the signal by the fourth step size parameter for controlling the learning speed in the estimation of the fourth transfer function of the fourth echo 16. Then, the calculated fourth update coefficient is added to the fourth transfer function stored in the fourth transfer function storage circuit 74 to perform the update.
  • control circuit 37 causes the fourth echo canceller 70 to update the fourth transfer function for estimating the fourth echo signal while the second speech synthesis circuit 36 is outputting the second translated speech. That is, while the fourth echo 16 is present, the fourth transfer function is updated based on the update formula of the fourth transfer function shown in the above Expression 12.
  • First crosstalk canceller 80 When the phenomenon that the first voice is input to the second microphone 23 is the first crosstalk 17, the first crosstalk canceller 80 uses the first voice to output the first crosstalk signal indicating the first crosstalk 17. For removing the first crosstalk signal from the output signal of the second microphone 23. That is, the fifth interfering signal is estimated by using the output signal of the second crosstalk canceller 90 based on the first voice to estimate the fifth interfering signal (that is, the first crosstalk signal) indicating the degree of the first crosstalk 17. Is removed from the output signal of the fourth echo canceller 70 based on the output signal of the second microphone 23.
  • the first crosstalk canceller 80 is a circuit that outputs the signal from which the fifth interfering signal has been removed to the second voice recognition circuit 32, and digital signal processing that processes digital voice data in the time domain. Circuit.
  • the output signal of the second crosstalk canceller 90 is an input signal to the first voice recognition circuit 31, as shown in FIG.
  • the first crosstalk canceller 80 includes a fifth transfer function storage circuit 84, a fifth storage circuit 82, a fifth convolution calculator 83, a fifth subtractor 81, and a fifth transfer function update circuit 85. ..
  • the fifth transfer function storage circuit 84 stores the fifth transfer function estimated as the transfer function of the first crosstalk 17.
  • the fifth storage circuit 82 stores the output signal of the second crosstalk canceller 90.
  • the fifth convolution calculator 83 convolves the signal stored in the fifth storage circuit 82 and the fifth transfer function stored in the fifth transfer function storage circuit 84 to generate a fifth interference signal.
  • the fifth convolution calculator 83 is an N-tap FIR filter that performs the convolution calculation shown in Expression 13 below.
  • y5't is the fifth disturbing signal at time t.
  • N is the number of taps of the FIR filter.
  • H5(i)t is the i-th fifth transfer function of the N fifth transfer functions stored in the fifth transfer function storage circuit 84 at time t.
  • x5(ti) is the (ti)th signal of the signals stored in the fifth memory circuit 82.
  • the fifth subtractor 81 removes the fifth interference signal output from the fifth convolution calculator 83 from the output signal of the fourth echo canceller 70, and outputs it as the output signal of the first crosstalk canceller 80.
  • the fifth subtractor 81 performs the subtraction shown in the following Expression 14.
  • e5t is the output signal of the fifth subtractor 81 at time t.
  • y5t is the output signal of the fourth echo canceller 70 at time t.
  • the fifth transfer function update circuit 85 updates the fifth transfer function stored in the fifth transfer function storage circuit 84 based on the output signal of the fifth subtractor 81 and the signal stored in the fifth storage circuit 82. ..
  • the fifth transfer function updating circuit 85 uses the independent component analysis based on the output signal of the fifth subtractor 81 and the signal stored in the fifth storage circuit 82 as shown in the following Expression 15. Then, the fifth transfer function stored in the fifth transfer function storage circuit 84 is updated so that the output signal of the fifth subtractor 81 and the signal stored in the fifth storage circuit 82 are independent of each other.
  • ⁇ 5 is a step size parameter for controlling the learning speed in the estimation of the fifth transfer function of the first crosstalk 17.
  • ⁇ 5 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function or a sign function (sign function)).
  • the fifth transfer function update circuit 85 performs the non-linear processing using the non-linear function on the output signal of the fifth subtractor 81, and the obtained result is stored in the fifth storage circuit 82.
  • the fifth update coefficient is calculated by multiplying the signal by the fifth step size parameter for controlling the learning speed in the estimation of the fifth transfer function of the first crosstalk 17. Then, the calculated fifth update coefficient is added to the fifth transfer function stored in the fifth transfer function storage circuit 84 to perform the update.
  • the time when the output signal of the second crosstalk canceller 90 is input to the first crosstalk canceller 80 is the first talk.
  • the voice of the person 11 is designed to be the same as or earlier than the time when the voice of the person 11 is input to the second microphone 23. That is, the causality is held so that the first crosstalk canceller 80 can cancel the first crosstalk 17.
  • This is a factor that determines the time when the output signal of the second crosstalk canceller 90 is input to the first crosstalk canceller 80 (speed of A/D conversion, processing speed of the second echo canceller 50, third echo canceller 60). Processing speed in the second crosstalk canceller 90) and factors that determine the time when the voice of the first speaker 11 is input to the second microphone 23 (the first speaker 11 and the second microphone 23). Can be appropriately realized by taking into account
  • the second crosstalk canceller 90 uses the second voice and outputs the second crosstalk signal indicating the second crosstalk 18 when the phenomenon that the second voice is input to the first microphone 21 is the second crosstalk 18. For removing the second crosstalk signal from the output signal of the first microphone 21. That is, the sixth interfering signal is estimated by using the output signal of the first crosstalk canceller 80 based on the second voice to estimate the sixth interfering signal (that is, the second crosstalk signal) indicating the degree of the second crosstalk 18. Is removed from the output signal of the third echo canceller 60 based on the output signal of the first microphone 21.
  • the second crosstalk canceller 90 is a circuit that outputs a signal from which the sixth interfering signal has been removed to the first voice recognition circuit 31, and digital signal processing that processes digital voice data in the time domain. Circuit.
  • the output signal of the first crosstalk canceller 80 is an input signal to the second voice recognition circuit 32, as shown in FIG.
  • the second crosstalk canceller 90 includes a sixth transfer function storage circuit 94, a sixth storage circuit 92, a sixth convolution calculator 93, a sixth subtractor 91, and a sixth transfer function update circuit 95. ..
  • the sixth transfer function storage circuit 94 stores the sixth transfer function estimated as the transfer function of the second crosstalk 18.
  • the sixth memory circuit 92 stores the output signal of the first crosstalk canceller 80.
  • the sixth convolution calculator 93 convolves the signal stored in the sixth storage circuit 92 and the sixth transfer function stored in the sixth transfer function storage circuit 94 to generate a sixth disturbing signal.
  • the sixth convolution calculator 93 is an N-tap FIR filter that performs the convolution calculation shown in Expression 16 below.
  • y6't is the sixth disturbing signal at time t.
  • N is the number of taps of the FIR filter.
  • H6(i)t is the i-th sixth transfer function of the N number of sixth transfer functions stored in the sixth transfer function storage circuit 94 at time t.
  • x6(t ⁇ i) is the (t ⁇ i)th signal among the signals stored in the sixth storage circuit 92.
  • the sixth subtractor 91 removes the sixth interference signal output from the sixth convolution calculator 93 from the output signal of the third echo canceller 60, and outputs it as the output signal of the second crosstalk canceller 90.
  • the sixth subtractor 91 performs the subtraction shown in Expression 17 below.
  • e6t is the output signal of the sixth subtractor 91 at time t.
  • y6t is the output signal of the third echo canceller 60 at time t.
  • the sixth transfer function update circuit 95 updates the sixth transfer function stored in the sixth transfer function storage circuit 94 based on the output signal of the sixth subtractor 91 and the signal stored in the sixth storage circuit 92. ..
  • the sixth transfer function update circuit 95 uses the independent component analysis based on the output signal of the sixth subtractor 91 and the signal stored in the sixth storage circuit 92, as shown in the following Expression 18. Then, the sixth transfer function stored in the sixth transfer function storage circuit 94 is updated so that the output signal of the sixth subtractor 91 and the signal stored in the sixth storage circuit 92 are mutually independent.
  • ⁇ 6 is a step size parameter for controlling the learning speed in the estimation of the sixth transfer function of the second crosstalk 18.
  • ⁇ 6 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function or a sign function (sign function)).
  • the sixth transfer function update circuit 95 performs the non-linear processing using the non-linear function on the output signal of the sixth subtractor 91, and the obtained result is stored in the sixth storage circuit 92.
  • the sixth update coefficient is calculated by multiplying the signal by the sixth step size parameter for controlling the learning speed in the estimation of the sixth transfer function of the second crosstalk 18. Then, the calculated sixth update coefficient is added to the sixth transfer function stored in the sixth transfer function storage circuit 94 to perform the update.
  • the time when the output signal of the first crosstalk canceller 80 is input to the second crosstalk canceller 90 is the second talk.
  • the voice of the person 12 is designed to be the same as or earlier than the time when the voice of the person 12 is input to the first microphone 21. That is, the causality is held so that the second crosstalk canceller 90 can cancel the second crosstalk 18.
  • This is a factor that determines the time when the output signal of the first crosstalk canceller 80 is input to the second crosstalk canceller 90 (speed of A/D conversion, processing speed of the first echo canceller 40, fourth echo canceller 70). Processing speed in the first crosstalk canceller 80, etc.) and factors that determine the time when the voice of the second speaker 12 is input to the first microphone 21 (the second speaker 12 and the first microphone 21).
  • Translation apparatus 20 in the present embodiment configured as described above operates as follows.
  • the first language selecting circuit 27 and the second language selecting circuit 28 select the first language used by the first speaker 11 to the first speaker 11 and the second speaker 12 to use the first language used by the second speaker 12.
  • the selection of two languages is accepted and the control circuit 37 is notified.
  • the voice of the first speaker 11 is input to the first microphone 21.
  • the second echo 14, the third echo 15, and the second crosstalk 18 are input to the first microphone 21.
  • the second echo canceller 50 removes the second interference signal (that is, the second echo signal).
  • the second interference signal is a signal indicating (estimated) the degree of the second echo 14. Therefore, the output signal of the second echo canceller 50 becomes a signal indicating a voice in which the influence of the second echo 14 is removed from the voice input to the first microphone 21.
  • the third interference signal (that is, the third echo signal) is removed in the third echo canceller 60.
  • the third interference signal is a signal indicating (estimated) the degree of the third echo 15. Therefore, the output signal of the third echo canceller 60 is a signal obtained by removing the influence of the third echo 15 from the output signal of the second echo canceller 50.
  • the sixth interference signal (that is, the second crosstalk signal) is removed by the second crosstalk canceller 90.
  • the sixth disturbing signal is a signal indicating (estimated) the degree of the second crosstalk 18. Therefore, the output signal of the second crosstalk canceller 90 becomes a signal obtained by removing the influence of the second crosstalk 18 from the output signal of the third echo canceller 60, and the first voice recognition circuit 31 and the first crosstalk canceller 80. Is output to.
  • the second echo canceller 50 removes the second echo 14 from the voice of the first speaker 11
  • the third echo canceller 60 removes the third echo 15, and the second echo canceller 60 removes the second echo 14.
  • the digital audio data from which the second crosstalk 18 is removed by the crosstalk canceller 90 is input.
  • the first voice recognition circuit 31 performs a voice recognition on the input digital voice data based on the information in the first language of the first speaker 11 instructed by the control circuit 37, that is, the first character.
  • the string is output to the first translation circuit 33 and the control circuit 37.
  • the first translation circuit 33 outputs the first character string output from the first speech recognition circuit 31 from the first language of the first speaker 11 designated by the control circuit 37 to the second character of the second speaker 12.
  • the third character string of the language is converted, and the converted third character string is output to the first voice synthesis circuit 35 and the control circuit 37.
  • the first speech synthesis circuit 35 outputs the third character string in the second language output by the first translation circuit 33 in the second language based on the information in the second language instructed by the control circuit 37.
  • the signal is converted into a signal, the output signal of the second language is output to the first speaker 22, the first echo canceller 40, and the third echo canceller 60, and the information of the output signal output period of the second language is output to the control circuit 37. ..
  • the output signal of the second language output from the first voice synthesis circuit 35 is input to the first speaker 22 and is output as the first translated voice.
  • the voice of the second speaker 12 is input to the second microphone 23.
  • the first echo 13, the fourth echo 16, and the first crosstalk 17 are input to the second microphone 23.
  • the first interference signal that is, the first echo signal
  • the first disturbing signal is a signal indicating (estimated) the degree of the first echo 13. Therefore, the output signal of the first echo canceller 40 becomes a signal indicating a voice in which the influence of the first echo 13 is removed from the voice input to the second microphone 23.
  • the fourth interference signal (that is, the fourth echo signal) is removed by the fourth echo canceller 70.
  • the fourth disturbing signal is a signal indicating (estimated) the degree of the fourth echo 16. Therefore, the output signal of the fourth echo canceller 70 is a signal obtained by removing the influence of the fourth echo 16 from the output signal of the first echo canceller 40.
  • the fifth crosstalk canceller 80 removes the fifth interference signal (that is, the first crosstalk signal).
  • the fifth disturbing signal is a signal indicating (estimated) the degree of the first crosstalk 17. Therefore, the output signal of the first crosstalk canceller 80 becomes a signal in which the influence of the first crosstalk 17 is removed from the output signal of the fourth echo canceller 70, and the second voice recognition circuit 32 and the second crosstalk canceller 90. Is output to.
  • the first echo 13 cancels the first echo 13 from the voice of the second speaker 12
  • the fourth echo canceller 70 removes the fourth echo 16
  • the first echo canceller 70 removes the first echo 13.
  • the digital audio data from which the first crosstalk 17 is removed by the crosstalk canceller 80 is input.
  • the second voice recognition circuit 32 performs the voice recognition on the input digital voice data based on the information of the second language of the second speaker 12 instructed by the control circuit 37, that is, the second character.
  • the string is output to the second translation circuit 34 and the control circuit 37.
  • the second translation circuit 34 changes the second character string output by the second speech recognition circuit 32 from the second language of the second speaker 12 designated by the control circuit 37 to the first character of the first speaker 11. It is converted into the fourth character string of the language, and the converted fourth character string is output to the second speech synthesis circuit 36 and the control circuit 37.
  • the second speech synthesis circuit 36 outputs the fourth character string of the first language output by the second translation circuit 34 in the first language based on the information in the first language instructed by the control circuit 37.
  • the signal is converted into a signal, the output signal of the first language is output to the second speaker 24, the second echo canceller 50, and the fourth echo canceller 70, and the information of the output signal output period of the first language is output to the control circuit 37. ..
  • the output signal of the first language output by the second voice synthesis circuit 36 is input to the second speaker 24 and output as the second translated voice.
  • the control circuit 37 includes the first character string in the first language, which is the recognition result of the voice of the first speaker 11 output by the first voice recognition circuit 31, and the first character string of the first speaker 11 output by the first translation circuit 33.
  • the fourth character string obtained by converting the second language voice of the second speaker 12 output by the circuit 34 into the first language is output to the video signal generation circuit 38.
  • control circuit 37 outputs the information of the first translated speech output period output from the first speech synthesis circuit 35 to the first echo canceller 40 and the third echo canceller 60, and during the period, the first echo canceller 40 and the first echo canceller 40. 3 causes the echo canceller 60 to update the transfer function.
  • the information on the first translated speech output period is information indicating the period during which the first speech synthesis circuit 35 is outputting the first translated speech.
  • control circuit 37 outputs the information of the second translated speech output period output by the second speech synthesis circuit 36 to the second echo canceller 50 and the fourth echo canceller 70, and the second echo canceller 50 and the fourth echo canceller 50 during the period.
  • the 4-echo canceller 70 updates the transfer function.
  • the information on the second translated speech output period is information indicating the period during which the second speech synthesis circuit 36 is outputting the second translated speech.
  • the video signal generation circuit 38 includes the first character string in the first language, which is the recognition result of the voice of the first speaker 11 output from the first voice recognition circuit 31, and the second speaker output from the second translation circuit 34.
  • the fourth character string obtained by converting twelve second language sounds into the first language is output to the second display circuit 26.
  • the video signal generating circuit 38 outputs the second character string in the second language, which is the recognition result of the voice of the second speaker 12 output by the second voice recognizing circuit 32, and the first translation circuit 33 outputs the first character string.
  • the third character string obtained by converting the voice of the speaker 11 in the first language into the second language is output to the first display circuit 25.
  • the voice of the first speaker 11 and the voice of the second speaker 12 are processed as described above.
  • the output signal input to the first voice recognition circuit 31 eliminates the effects of the second echo 14, the third echo 15, and the second crosstalk 18 in the voice input to the first microphone 21.
  • Output signal that is, only the voice of the first speaker 11 from which acoustic noise has been removed.
  • the first translated speech output from the first speaker 22 has the effects of the second echo 14, the third echo 15, and the second crosstalk 18 removed from the speech input to the first microphone 21.
  • Output signal that is, only the voice of the first speaker 11 from which acoustic noise has been removed.
  • the output signal input to the second voice recognition circuit 32 has the effects of the first echo 13, the fourth echo 16, and the first crosstalk 17 removed from the voice input to the second microphone 23. Only the output signal, that is, the voice of the second speaker 12 from which acoustic noise has been removed. Furthermore, the second translated speech output from the second speaker 24 has the effects of the first echo 13, the fourth echo 16, and the first crosstalk 17 removed from the speech input to the second microphone 23. Output signal, that is, only the voice of the second speaker 12 from which acoustic noise is removed.
  • the extent to which acoustic noise is removed is determined by the first echo canceller 40, the second echo canceller 50, the third echo canceller 60, the fourth echo canceller 70, the first crosstalk canceller 80, and the second crosstalk canceller 90. It goes without saying that the accuracy depends on the accuracy of the transfer function held in the equation (3), the parameters in the transfer function update equations shown in the equations (3), (6), (9), (12), and (15).
  • control circuit 37 causes the first echo canceller 40, the second echo canceller 50, the third echo canceller 60, and the fourth echo canceller 70 to update the transfer function of each canceller under a certain condition.
  • the flowchart of this update will be described.
  • FIG. 3 is a flowchart for updating transfer functions of the first echo canceller 40 and the third echo canceller 60.
  • control circuit 37 outputs the information of the first translated speech output period output by the first speech synthesis circuit 35 to the first echo canceller 40 and the third echo canceller 60.
  • the control circuit 37 determines whether the first speech synthesis circuit 35 is outputting the first translated speech (step S100).
  • step S100 the control circuit 37 causes the first echo canceller 40 and the third echo canceller 60 to update the transfer function of each canceller (step S101).
  • step S100 the control circuit 37 ends the process.
  • control circuit 37 updates the transfer function based on the update expressions of the transfer function shown in the above Expressions 3 and 9 while the first echo 13 and the third echo 15 are present.
  • FIG. 4 is a flowchart for updating transfer functions of the second echo canceller 50 and the fourth echo canceller 70.
  • control circuit 37 outputs the information of the second translated speech output period output by the second speech synthesis circuit 36 to the second echo canceller 50 and the fourth echo canceller 70.
  • the control circuit 37 determines whether the second speech synthesis circuit 36 is outputting the second translated speech (step S200).
  • step S200 the control circuit 37 causes the second echo canceller 50 and the fourth echo canceller 70 to update the transfer function of each canceller (step S201).
  • step S200 the control circuit 37 ends the process.
  • control circuit 37 updates the transfer function based on the update expressions of the transfer function shown in the above equations 6 and 12 while the second echo 14 and the fourth echo 16 are present.
  • the conversation is performed in a state where the first microphone 21 and the second speaker 24 are close to each other and the second microphone 23 and the first speaker 22 are close to each other. ing. Therefore, the influence of the first echo 13 and the second echo 14 is large. As a result, the first echo canceller 40 and the second echo canceller 50 are of high importance and are indispensable.
  • the first echo canceller 40 and the second echo canceller 50 may not be provided. That is, the output signal of the first microphone 21 is input to the third echo canceller 60 without passing through the second echo canceller 50, and the output signal of the second microphone 23 passes through the first echo canceller 40 without passing through the first echo canceller 40. It is input to the 4-echo canceller 70.
  • translation device 20 may further include a first voice sex determination circuit and a second voice sex determination circuit.
  • the first voice gender determination circuit determines the gender of the first speaker 11 based on the first voice.
  • the second voice gender determination circuit determines the gender of the second speaker 12 based on the second voice.
  • control circuit 37 may cause the first voice synthesis circuit 35 to output the synthesized voice having the same gender as the determination result of the first voice gender determination circuit, and the second voice synthesis circuit 36 may output the second voice gender. You may output the synthetic voice of the same sex as the determination result of the determination circuit.
  • translation device 20 includes first camera 291 and second camera 292. Although not shown, the translation device 20 further includes a first face recognition circuit, a second face recognition circuit, and a database that stores pairs of a speaker and a language used by the speaker. May be.
  • the first camera 291 captures the face of the first speaker.
  • the first camera 291 outputs the first video signal to the first face recognition circuit.
  • Second camera 292 photographs the face of the second speaker.
  • the second camera 292 outputs the first video signal to the second face recognition circuit.
  • the first face recognition circuit identifies the first speaker 11 based on the first video signal output from the first camera.
  • the second face recognition circuit identifies the second speaker 12 based on the second video signal output from the second camera.
  • the database stores pairs of speakers and languages used by the speakers.
  • the control circuit 37 determines the first voice recognition circuit, the first voice recognition circuit 31, and the first voice recognition circuit 31.
  • the 1st translation circuit 33, the 2nd translation circuit 34, and the 1st speech synthesis circuit 35 may be notified of the 1st language of the 1st speaker 11, and the 2nd speaker 12 of the 2nd speaker 12 specified by the 2nd face recognition circuit may be notified.
  • the second speech recognition circuit, the second speech recognition circuit 32, the first translation circuit 33, the second translation circuit 34, and the second speech synthesis circuit 36 are connected to the second speaker. Twelve second languages may be notified.
  • the translation device 20 may further include a first video sex determination circuit and a second video sex determination circuit in addition to the first camera 291 and the second camera 292 described above.
  • the first camera 291 captures the face of the first speaker.
  • the first camera 291 outputs the first video signal to the first video sex determination circuit.
  • Second camera 292 photographs the face of the second speaker.
  • the second camera 292 outputs the second video signal to the second video sex determination circuit.
  • the first video sex determination circuit determines the sex of the first speaker based on the first video signal output from the first camera 291.
  • the second video sex determination circuit determines the sex of the second speaker based on the second video signal output from the second camera 292.
  • control circuit 37 may cause the first voice synthesis circuit to output the synthesized voice of the same sex as the determination result of the first video sex determination circuit, and the second voice synthesis circuit may output the second video sex. You may output the synthetic voice of the same sex as the determination result of the determination circuit.
  • the first storage circuit 42 of the first echo canceller 40 and the third storage circuit 62 of the third echo canceller 60 may be shared. That is, the signal stored in the first storage circuit 42 of the first echo canceller 40 and the signal stored in the third storage circuit 62 of the third echo canceller 60 are both output signals of the first voice synthesis circuit 35. Therefore, by sharing the first memory circuit 42 and the third memory circuit 62, it is possible to reduce the number of memory circuits in the portion related to the first memory circuit 42 and the third memory circuit 62 by half.
  • the second memory circuit 52 of the second echo canceller 50 and the fourth memory circuit 72 of the fourth echo canceller 70 may be shared. That is, both the signal stored in the second storage circuit 52 of the second echo canceller 50 and the signal stored in the fourth storage circuit 72 of the fourth echo canceller 70 are output signals of the second voice synthesis circuit 36. Therefore, by sharing the second memory circuit 52 and the fourth memory circuit 72, it is possible to reduce the memory circuits of the portions related to the second memory circuit 52 and the fourth memory circuit 72 by half.
  • the translation device 20 translates the language of one speaker into the language of the other speaker and translates the synthesized speech.
  • the first voice synthesis circuit 35 for converting the third character string into the first translated voice, the first speaker 22 for amplifying the first translated voice, and the second voice of the second speaker 12 are input.
  • Second microphone 23 a second voice recognition circuit 32 for voice-recognizing the second voice and outputting a second character string, and a second character string output from the second voice recognition circuit 32 for the first character string.
  • the phenomenon in which the voice synthesis circuit 36, the second speaker 24 for amplifying the second translated voice, and the first translated voice amplified by the first speaker 22 are input to the second microphone 23 is referred to as the first echo 13.
  • the first echo signal indicating the first echo 13 is estimated using the first translated speech and the first transfer function corresponding to the first echo 13, and the first echo signal is output as the output signal of the second microphone 23.
  • the phenomenon in which the first translated sound that is removed from the first echo canceller 40 and the second translated speech that is amplified by the second speaker 24 is input to the first microphone 21 is the second echo 14, the second translated speech and the second echo 14
  • a second echo canceller 50 that estimates a second echo signal indicating the second echo 14 and removes the second echo signal from the output signal of the first microphone 21 by using the second transfer function corresponding to
  • the control circuit 37 updates the first transfer function for estimating the first echo signal to the first echo canceller 40 while the first speech synthesis circuit 35 is outputting the first translated speech.
  • the second echo canceller 50 updates the second transfer function for estimating the second echo signal while the second speech synthesis circuit 36 is outputting the second translated speech.
  • the voices of a plurality of speakers and the plurality of synthetic voices which are recognized by recognizing the voices of the plurality of speakers, translated into a language of the other party, and voice-synthesized are output simultaneously. Even in the presence of such a situation, acoustic noise including echo can be removed, and stable speech recognition can be performed while talking with each other. Further, the first voice of the first speaker 11, the second voice of the second speaker 12, the first translated voice of the first voice synthesis circuit 35, and the second translated voice of the second voice synthesis circuit 36 are simultaneously generated. However, since the echo canceller removes the echo, the first voice recognition circuit 31 and the second voice recognition circuit 32 do not lower the voice recognition accuracy.
  • the first echo canceller 40 updates the first transfer function when the first voice synthesis circuit 35 is outputting the synthetic voice, and unnecessary update is not performed when other voices are present.
  • the estimation accuracy of the first transfer function in the echo canceller 40 is improved. In other words, it is possible to prevent the first transfer function stored in the first transfer function storage circuit 44 of the first echo canceller 40 from being destroyed by unnecessary updating, so that the first echo signal is removed with higher accuracy. it can.
  • the second echo canceller 50 updates the second transfer function when the second voice synthesizing circuit 36 is outputting synthetic voice, and does not perform unnecessary update when other voices are present. It is possible to improve the estimation accuracy of the second transfer function in the canceller 50. In other words, it is possible to prevent the second transfer function stored in the second transfer function storage circuit 54 of the second echo canceller 50 from being destroyed by unnecessary updating, so that the second echo signal is removed with higher accuracy. it can.
  • the translation device 20 when the phenomenon that the first translated voice expanded from the first speaker 22 is input to the first microphone 21 is the third echo 15, the translation device 20 further defines the first translated voice and the third echo.
  • a third echo canceller 60 that estimates a third echo signal indicating the third echo 15 using the third transfer function corresponding to 15 and removes the third echo signal from the output signal of the first microphone 21.
  • the phenomenon in which the second translated speech amplified by the second speaker 24 is input to the second microphone 23 is the fourth echo 16
  • the second translated speech and the fourth transfer function corresponding to the fourth echo 16 are used.
  • a fourth echo canceller 70 that estimates the fourth echo signal indicating the fourth echo 16 and removes the fourth echo signal from the output signal of the second microphone 23.
  • the control circuit 37 controls the first voice synthesis.
  • the third echo canceller 60 updates the third transmission for estimating the third echo signal
  • the second speech synthesis circuit 36 outputs the second translated speech.
  • the fourth echo canceller 70 updates the fourth transfer function for estimating the fourth echo signal.
  • the voices of a plurality of speakers and the plurality of synthetic voices which are recognized by recognizing the voices of the plurality of speakers, translated into a language of the other party, and voice-synthesized are output simultaneously. Even in the presence of such a situation, acoustic noise including echo can be removed, and stable speech recognition can be performed while talking with each other. Furthermore, the first echo canceller 40 and the third echo canceller 60 update the first transfer function and the third transfer function when the first voice synthesizing circuit 35 outputs the synthesized voice, and other voices are output. Since the unnecessary update is not performed when it exists, the estimation accuracy of the first transfer function and the third transfer function in the first echo canceller 40 and the third echo canceller 60 is improved.
  • the third transfer function stored in the third transfer function storage circuit 64 of the third echo canceller 60 it is possible to prevent the third transfer function stored in the third transfer function storage circuit 64 of the third echo canceller 60 from being destroyed by unnecessary updating, so that the third echo signal can be obtained with higher accuracy. Can be removed.
  • the second echo canceller 50 and the fourth echo canceller 70 update the second transfer function and the fourth transfer function when the second voice synthesizing circuit 36 outputs the synthesized voice, and other voices are present. Since unnecessary update is not performed when performing, the estimation accuracy of the second transfer function and the fourth transfer function in the second echo canceller 50 and the fourth echo canceller 70 can be improved. In other words, it is possible to prevent the fourth transfer function stored in the fourth transfer function storage circuit 74 of the fourth echo canceller 70 from being destroyed due to unnecessary updating, so that the fourth echo signal can be obtained with higher accuracy. Can be removed.
  • the translation device 20 is a translation device that translates the language of one speaker into the language of the other speaker in a conversation between the first speaker 11 and the second speaker 12 and amplifies synthetic speech.
  • a first microphone 21 for inputting the first voice of the first speaker 11, a first voice recognition circuit 31 for voice-recognizing the first voice and outputting a first character string,
  • a first translation circuit 33 for translating the first character string output from the voice recognition circuit 31 into the language of the second speaker 12 and outputting a third character string, and a first translation circuit 33 output from the first translation circuit 33.
  • a first voice synthesis circuit 35 for converting the three character strings into the first translated voice, a first speaker 22 for amplifying the first translated voice, and a second voice for inputting the second speaker 12.
  • the second speaker 24 for amplifying the second translated voice, and the phenomenon in which the first translated voice amplified by the first speaker 22 is input to the first microphone 21 are the third echo 15.
  • a third echo signal indicating the third echo 15 is estimated using the first translated speech and the third transfer function corresponding to the third echo 15, and the third echo signal is output from the output signal of the first microphone 21.
  • a fourth echo canceller 70 that estimates the fourth echo signal indicating the fourth echo 16 using the corresponding fourth transfer function and removes the fourth echo signal from the output signal of the second microphone 23, and a control circuit. 37, the control circuit 37 causes the third echo canceller 60 to update the third transfer function for estimating the third echo signal while the first speech synthesis circuit 35 is outputting the first translated speech. , The fourth echo canceller 70 updates the fourth transfer function for estimating the fourth echo signal while the second speech synthesis circuit 36 is outputting the second translated speech.
  • the voices of a plurality of speakers and the plurality of synthetic voices which are recognized by recognizing the voices of the plurality of speakers, translated into a language of the other party, and voice-synthesized are output simultaneously. Even in the presence of such a situation, acoustic noise including echo can be removed, and stable speech recognition can be performed while talking with each other. Furthermore, the third echo canceller 60 updates the third transfer function when the first speech synthesis circuit 35 is outputting synthetic speech, and does not perform unnecessary updating when other speech is present. The estimation accuracy of the third transfer function in the echo canceller 60 is improved.
  • the fourth echo canceller 70 updates the fourth transfer function when the second voice synthesizing circuit 36 is outputting synthetic voice, and does not perform unnecessary update when other voices are present. It is possible to improve the estimation accuracy of the fourth transfer function in the canceller 70. In other words, it is possible to prevent the fourth transfer function stored in the fourth transfer function storage circuit 74 of the fourth echo canceller 70 from being destroyed due to unnecessary updating, so that the fourth echo signal can be obtained with higher accuracy. Can be removed.
  • the translation device 20 further uses the first voice to indicate the first crosstalk 17.
  • the first crosstalk canceller 80 that estimates the crosstalk signal and removes the first crosstalk signal from the output signal of the second microphone 23, and the phenomenon that the second voice is input to the first microphone 21 are the second crosstalk. 18 is used, the second crosstalk canceller for estimating the second crosstalk signal indicating the second crosstalk 18 using the second voice and removing the second crosstalk signal from the output signal of the first microphone 21. 90 and.
  • the voices of a plurality of speakers and the plurality of synthetic voices which are recognized by recognizing the voices of the plurality of speakers, translated into a language of the other party, and voice-synthesized are output simultaneously. Even in the presence of such a situation, acoustic noise including echo and crosstalk can be removed, and stable speech recognition can be performed while mutual conversation is possible.
  • the translation device 20 further accepts the selection of the first language used by the first speaker 11 from the first speaker 11 and notifies the control circuit 37 of the first language selection circuit 27 and the second speaker.
  • a second language selection circuit 28 which receives the selection of the second language used by the second speaker 12 from 12 and notifies the control circuit 37 of the second language.
  • the control circuit 37 receives the first language notification from the first language selection circuit 27.
  • the first voice recognition circuit 31 is caused to perform voice recognition in the first language
  • the second voice recognition circuit 32 is used in the second language.
  • Speech recognition is performed, the first translation circuit 33 is translated from the first language to the second language, the second translation circuit 34 is translated from the second language to the first language, and the first speech synthesis circuit 35 is translated into the second language.
  • the speech is synthesized in the language, and the second speech synthesis circuit 36 is synthesized in the first language.
  • Such a translation device 20 selects a language to be translated in advance, it can smoothly translate and output the first translated voice and the second translated voice.
  • the translation device 20 determines the gender of the second speaker 12 based on the first voice, and the first voice gender determination circuit that determines the gender of the first speaker 11 based on the second voice.
  • the control circuit 37 causes the first voice synthesis circuit 35 to output the synthesized voice of the same sex as the determination result of the first voice sex determination circuit, and the second voice synthesis circuit 36. Then, the synthesized voice of the same sex as the determination result of the second voice gender determination circuit is output.
  • Such a translation device 20 can output a first translated voice and a second translated voice having the same sex as the speaker's gender.
  • the translation device 20 identifies the first speaker 11 based on the first camera 291 that captures the face of the first speaker 11 and the first video signal output from the first camera 291.
  • Second face recognition for identifying the second speaker 12 based on the first face recognition circuit, the second camera 292 for photographing the face of the second speaker 12, and the second video signal output from the second camera 292.
  • the control circuit 37 includes a circuit and a database storing pairs of a speaker and a language used by the speaker, and the control circuit 37 registers the language of the first speaker 11 specified by the first face recognition circuit in the database.
  • the first speech recognition circuit 31, the first translation circuit 33, the second translation circuit 34, and the first speech synthesis circuit 35 are notified of the first language of the first speaker 11, and the second face recognition is performed.
  • the second speech recognition circuit 32, the first translation circuit 33, the second translation circuit 34, and the second speech synthesis circuit 36 Notify the second language of the second speaker 12.
  • Such a translation device 20 recognizes a person from a video, and since a language to be translated is registered in advance, it is possible to smoothly translate and output the first translated voice and the second translated voice.
  • the translation apparatus 20 further includes a first video sex determination circuit that determines the sex of the first speaker 11 based on the first video signal output from the first camera 291 and a second camera 292.
  • a second video sex determination circuit that determines the sex of the second speaker 12 based on the output second video signal, and the control circuit 37 causes the first voice synthesis circuit 35 to include the first video sex determination circuit.
  • the second voice synthesis circuit 36 is made to output the synthetic voice of the same sex as the determination result of No. 1, and the second voice synthesis circuit 36 is made to output the synthetic voice of the same sex as the determination result of the second video sex determination circuit.
  • Such a translation device 20 can recognize the gender of the person from the video and can output the first translated voice and the second translated voice having the same sex as the gender of the speaker.
  • the translation method is a translation method of translating one's own language into the other party's language and voicing synthetic speech in a conversation between the first speaker 11 and the second speaker 12.
  • a first input step for inputting a first voice, a first voice recognition step for voice-recognizing the first voice and outputting a first character string, and a first character output from the first voice recognition step A first translation step for translating the string into the language of the second speaker 12 and outputting a third character string; and a third translation string for converting the third character string output from the first translation step into a first translated voice.
  • a second speech recognition step for outputting the second character string, and a second character string output from the second speech recognition step for translating the second character string into the language of the first speaker 11 and outputting a fourth character string.
  • the phenomenon in which the first translated speech amplified in the first speech enhancement step is input in the second input step is the first echo 13
  • the first translation speech and the first transfer function corresponding to the first echo 13 Is used to estimate the first echo signal indicating the first echo 13 and remove the first echo signal from the output signal of the second input step
  • the first echo canceller step and the second loud step When the phenomenon in which the second translated speech is input in the first input step is the second echo 14, the second echo 14 is generated by using the second translated speech and the second transfer function corresponding to the second echo 14.
  • the first transfer function for estimating the first echo signal is updated, and while the second translated speech is being output in the second speech synthesis step, in the second echo canceller step, A control step for instructing to update a second transfer function that estimates the two-echo signal.
  • the voices of a plurality of speakers and the plurality of synthetic voices that are output by recognizing the voices of the plurality of speakers, translating them into the language of the other party, and synthesizing the voices are simultaneously present. Even in such a case, the acoustic noise including the echo can be removed, and the voice can be stably recognized, and the conversation can be performed. Furthermore, the first echo canceller 40 updates the first transfer function when the first voice synthesis circuit 35 is outputting the synthetic voice, and unnecessary update is not performed when other voices are present. The estimation accuracy of the first transfer function in the echo canceller 40 is improved.
  • the second echo canceller 50 updates the second transfer function when the second voice synthesizing circuit 36 is outputting synthetic voice, and does not perform unnecessary update when other voices are present. It is possible to improve the estimation accuracy of the second transfer function in the canceller 50. In other words, it is possible to prevent the second transfer function stored in the second transfer function storage circuit 54 of the second echo canceller 50 from being destroyed by unnecessary updating, so that the second echo signal is removed with higher accuracy. it can.
  • the translation method is a translation method in which, in a conversation between the first speaker 11 and the second speaker 12, the user's language is translated into the partner's language and the synthesized voice is amplified. Eleventh first input step for inputting a first voice, a first voice recognition step for voice-recognizing the first voice and outputting a first character string, and a first voice output step from the first voice recognition step. A first translation step for translating one character string into the language of the second speaker 12 and outputting a third character string, and converting the third character string output from the first translation step into a first translated voice.
  • First speech synthesizing step for amplifying the first translated speech, a first loudspeaking step for amplifying the first translated speech, a second input step for inputting the second speech of the second speaker 12, and a speech recognition for the second speech.
  • a second speech recognition step for outputting a second character string, and translating the second character string output from the second speech recognition step into the language of the first speaker 11 and outputting a fourth character string.
  • Second translation step for converting, a second speech synthesis step for converting the fourth character string output from the second translation step into a second translated speech, and a second loudspeaking step for amplifying the second translated speech.
  • a phenomenon in which the first translated speech output in the first loudspeaking step is input in the first input step is the third echo 15, the third transmission corresponding to the first translated speech and the third echo 15
  • the phenomenon in which the generated second translated speech is input in the second input step is the fourth echo 16
  • the fourth echo is generated by using the second translated speech and the fourth transfer function corresponding to the fourth echo 16.
  • the fourth echo signal indicating 16 is estimated, and the fourth echo canceller step of removing the fourth echo signal from the output signal of the second input step and the first translated speech are output in the first speech synthesis step.
  • the third transfer function that estimates the third echo signal is updated, and during the period when the second translated speech is output from the second speech synthesis step, in the fourth echo canceller step, A control step for instructing to update a fourth transfer function for estimating the fourth echo signal.
  • the voices of a plurality of speakers and the plurality of synthetic voices that are output by recognizing the voices of the plurality of speakers, translating them into the language of the other party, and synthesizing the voices are simultaneously present. Even in such a case, the acoustic noise including the echo can be removed, and the voice can be stably recognized, and the conversation can be performed. Furthermore, the third echo canceller 60 updates the third transfer function when the first speech synthesis circuit 35 is outputting synthetic speech, and does not perform unnecessary updating when other speech is present. The estimation accuracy of the third transfer function in the echo canceller 60 is improved.
  • the fourth echo canceller 70 updates the fourth transfer function when the second voice synthesizing circuit 36 is outputting synthetic voice, and does not perform unnecessary update when other voices are present. It is possible to improve the estimation accuracy of the fourth transfer function in the canceller 70. In other words, it is possible to prevent the fourth transfer function stored in the fourth transfer function storage circuit 74 of the fourth echo canceller 70 from being destroyed due to unnecessary updating, so that the fourth echo signal can be obtained with higher accuracy. Can be removed.
  • the first transfer function updating circuit 45 updates the transfer function according to Expression 3 above, but updates the transfer function according to the normalized expression as shown in Expression 19 or Expression 20 below. May be.
  • N is the number of transfer functions stored in the first transfer function storage circuit 44.
  • is the absolute value of x1(ti).
  • the update of the estimated transfer function by the first transfer function update circuit 45 is stably performed without depending on the amplitude of the input signal x1(t ⁇ j).
  • the function of outputting the translated voice and the translation function are unnecessary as compared with the first embodiment.
  • Howling refers to a phenomenon in which a voice output from a speaker that outputs a voice of a speaker returns to a microphone into which the voice of the speaker is input and is input. Specifically, here, the phenomenon in which the sound output from the first speaker 22 is returned to the first microphone 21 and input is described as the first howling 15a, and the sound output from the second speaker 24 is input to the second microphone 23. The phenomenon of feedback and input is defined as the second howling 16a.
  • FIG. 5 is a block diagram showing the configuration of the translation device 20a according to the second embodiment. That is, in FIG. 5, the first language of the first speaker 11 set by the first language selection circuit 27 and the second language of the second speaker 12 set by the second language selection circuit 28 are the same. It is a block diagram which shows the structure in case. In the second embodiment, the same components as those in the first embodiment are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the first language and the second language are the same as those in FIG. 2, so that the first translation circuit 33, the second translation circuit 34, the first speech synthesis circuit 35, and the second speech synthesis circuit 36 are It becomes unnecessary.
  • the voice of the first speaker 11 is picked up by the first microphone 21 and output from the first speaker 22 via the first howling canceller 60a and the second echo/second crosstalk canceller 90a, which will be described later. Therefore, the input to the first microphone 21 and the output from the first speaker 22 become the same voice of the first speaker 11 (that is, the voice of the first speaker 11 that is not translated).
  • the 3-echo 15 is changed to the first howling 15a. Therefore, the third echo canceller 60 functions as the first howling canceller 60a.
  • the voice of the second speaker 12 is picked up by the second microphone 23 and output from the second speaker 24 via the second howling canceller 70a and the first echo/first crosstalk canceller 80a described later. Therefore, the input to the second microphone 23 and the output from the second speaker 24 become the same voice of the second speaker 12 (that is, the voice of the second speaker 12 that is not translated).
  • the 4-echo 16 is changed to the second howling 16a. Therefore, the fourth echo canceller 70 functions as the second howling canceller 70a.
  • the sound sources of the first echo 13a and the first crosstalk 17a are the same voice of the first speaker 11. Therefore, the first crosstalk canceller 80 functions as the first echo/first crosstalk canceller 80a. As a result, the first echo canceller 40 becomes unnecessary.
  • the second crosstalk canceller 90 functions as the second echo/second crosstalk canceller 90a. As a result, the second echo canceller 50 becomes unnecessary.
  • control circuit 37 includes a first echo canceller 40, a second echo canceller 50, a first translation circuit 33, a second translation circuit 34, a first speech synthesis circuit 35, and a second speech synthesis circuit 36.
  • the function may be stopped.
  • the first howling canceller 60a is a first howling signal that indicates the degree of the first howling 15a when the phenomenon in which the sound output from the first speaker 22 is returned to the first microphone 21 and is input is the first howling 15a.
  • the first howling canceller 60a removes the first howling signal from the output signal of the first microphone 21, and outputs the removed signal to the second echo/second crosstalk canceller 90a described later.
  • the first howling canceller 60a includes a third transfer function storage circuit 64, a first delay device 66, a third storage circuit 62, a third convolution calculator 63, a third subtractor 61, and a third transfer function. It has an update circuit 65. That is, the first delay device 66 is added to the third echo canceller 60 of FIG.
  • the third transfer function storage circuit 64 stores the third transfer function estimated as the transfer function of the first howling 15a.
  • the first delay device 66 delays the output signal of the first howling canceller 60a.
  • the third storage circuit 62 stores the signal output from the first delay device 66.
  • the third convolution calculator 63 convolves the signal stored in the third storage circuit 62 and the third transfer function stored in the third transfer function storage circuit 64 to generate a first howling signal.
  • the third convolution calculator 63 is an N-tap FIR (Finite Impulse Response) filter that performs the convolution calculation shown in the following Expression 21.
  • y7't is the first howling signal at time t.
  • N is the number of taps of the FIR filter.
  • H7(i)t is the i-th third transfer function of the N third transfer functions stored in the third transfer function storage circuit 64 at time t.
  • x7(t ⁇ i ⁇ 1) is the (t ⁇ i ⁇ 1)th signal of the signals stored in the third storage circuit 62.
  • ⁇ 1 is the delay time of the first delay device 66.
  • the third subtractor 61 removes the first howling signal output from the third convolution calculator 63 from the output signal of the first microphone 21, and outputs the second echo/second output as the output signal of the first howling canceller 60a. Output to the crosstalk canceller 90a.
  • the third subtractor 61 performs the subtraction shown in the following Expression 22.
  • e7t is the output signal of the third subtractor 61 at time t.
  • y7t is the output signal of the first microphone 21 at time t.
  • the third transfer function update circuit 65 updates the third transfer function stored in the third transfer function storage circuit 64 based on the output signal of the third subtractor 61 and the signal stored in the third storage circuit 62. ..
  • the third transfer function update circuit 65 uses the independent component analysis based on the output signal of the third subtractor 61 and the signal stored in the third storage circuit 62, as shown in the following Expression 23. Then, the third transfer function stored in the third transfer function storage circuit 64 is updated so that the output signal of the third subtractor 61 and the signal stored in the third storage circuit 62 are independent of each other.
  • ⁇ 7 is a step size parameter for controlling the learning speed in the estimation of the third transfer function of the first howling 15a.
  • ⁇ 7 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function, or a sign function (sign function)).
  • the third transfer function update circuit 65 performs the non-linear processing using the non-linear function on the output signal of the third subtractor 61, and the obtained result is stored in the third storage circuit 62.
  • the seventh update coefficient is calculated by multiplying the signal by the seventh step size parameter for controlling the learning speed in the estimation of the third transfer function of the first howling 15a. Then, the calculated seventh update coefficient is added to the third transfer function stored in the third transfer function storage circuit 64 to perform the update.
  • the second howling canceller 70a is a second howling signal that indicates the degree of the second howling 16a when the phenomenon in which the sound output from the second speaker 24 is returned to the second microphone 23 and input is the second howling 16a. For removing the second howling signal from the output signal of the second microphone 23.
  • the second howling canceller 70a removes the second howling signal from the output signal of the second microphone 23 and outputs the removed signal to the first echo/first crosstalk canceller 80a described later. Is a digital signal processing circuit that processes digital audio data in the time domain.
  • the second howling canceller 70a includes a fourth transfer function storage circuit 74, a second delay device 76, a fourth storage circuit 72, a fourth convolution calculator 73, a fourth subtractor 71, and a fourth transfer function. It has an update circuit 75. That is, the second delay device 76 is added to the fourth echo canceller 70 of FIG.
  • the fourth transfer function storage circuit 74 stores the fourth transfer function estimated as the transfer function of the second howling 16a.
  • the second delay device 76 delays the output signal of the second howling canceller 70a.
  • the fourth storage circuit 72 stores the signal output from the second delay device 76.
  • the fourth convolution calculator 73 convolves the signal stored in the fourth storage circuit 72 and the fourth transfer function stored in the fourth transfer function storage circuit 74 to generate a second howling signal.
  • the fourth convolution calculator 73 is an N-tap FIR (Finite Impulse Response) filter that performs the convolution calculation shown in the following Expression 24.
  • y8't is the second howling signal at time t.
  • N is the number of taps of the FIR filter.
  • H8(i)t is the i-th fourth transfer function of the N fourth transfer functions stored in the fourth transfer function storage circuit 74 at time t.
  • x8(t ⁇ i ⁇ 2) is the (t ⁇ i ⁇ 2)th signal of the signals stored in the fourth storage circuit 72.
  • ⁇ 2 is the delay time of the second delay device 76.
  • the fourth subtractor 71 removes the second howling signal output from the fourth convolution calculator 73 from the output signal of the second microphone 23, and outputs the first echo/first echo as the output signal of the second howling canceller 70a. Output to the crosstalk canceller 80a.
  • the fourth subtractor 71 performs the subtraction shown in the following Expression 25.
  • e8t is the output signal of the fourth subtractor 71 at time t.
  • y8t is the output signal of the second microphone 23 at time t.
  • the fourth transfer function update circuit 75 updates the fourth transfer function stored in the fourth transfer function storage circuit 74 based on the output signal of the fourth subtractor 71 and the signal stored in the fourth storage circuit 72. ..
  • the fourth transfer function updating circuit 75 uses the independent component analysis based on the output signal of the fourth subtractor 71 and the signal stored in the fourth storage circuit 72, as shown in the following Expression 26. Then, the fourth transfer function stored in the fourth transfer function storage circuit 74 is updated so that the output signal of the fourth subtractor 71 and the signal stored in the fourth storage circuit 72 are independent of each other.
  • ⁇ 8 is a step size parameter for controlling the learning speed in the estimation of the fourth transfer function of the second howling 16a.
  • ⁇ 8 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function or a sign function (sign function)).
  • the fourth transfer function update circuit 75 performs the non-linear processing using the non-linear function on the output signal of the fourth subtractor 71, and the obtained result is stored in the fourth storage circuit 72.
  • the eighth update coefficient is calculated by multiplying the signal by the eighth step size parameter for controlling the learning speed in the estimation of the fourth transfer function of the second howling 16a. Then, the calculated eighth update coefficient is added to the fourth transfer function stored in the fourth transfer function storage circuit 74 to perform the update.
  • the first echo/first crosstalk canceller 80a uses the output signal of the second echo/second crosstalk canceller 90a to input the sound output from the first speaker 22 into the second microphone 23 while wrapping around. Estimate the first echo 13a and the ninth interference signal (that is, the first echo/first crosstalk signal) indicating the degree of the first crosstalk 17a in which the voice of the first speaker 11 is input to the second microphone 23. The ninth interfering signal is removed from the output signal of the second howling canceller 70a.
  • the first echo/first crosstalk canceller 80a uses the signal from which the ninth interfering signal has been removed, the second voice recognition circuit 32, the second echo/second crosstalk canceller 90a, and the second speaker 24. And a digital signal processing circuit for processing digital audio data in the time domain.
  • the first echo/first crosstalk canceller 80a includes a fifth transfer function storage circuit 84, a fifth storage circuit 82, a fifth convolution calculator 83, a fifth subtractor 81, and a fifth transfer function update. It has a circuit 85.
  • the fifth transfer function storage circuit 84 stores the fifth transfer function estimated as a transfer function that combines the first echo 13a and the first crosstalk 17a.
  • the fifth memory circuit 82 stores the output signal of the second echo/second crosstalk canceller 90a.
  • the fifth convolution calculator 83 convolves the signal stored in the fifth storage circuit 82 and the fifth transfer function stored in the fifth transfer function storage circuit 84 to generate a ninth interference signal.
  • the fifth convolution calculator 83 is an N-tap FIR filter that performs the convolution calculation shown in Expression 27 below.
  • y9't is the ninth interference signal at time t.
  • N is the number of taps of the FIR filter.
  • H9(i)t is the i-th fifth transfer function of the N fifth transfer functions stored in the fifth transfer function storage circuit 84 at time t.
  • x9(t ⁇ i) is the (t ⁇ i)th signal of the signals stored in the fifth memory circuit 82.
  • the fifth subtractor 81 removes the ninth interference signal output from the fifth convolution calculator 83 from the output signal of the second howling canceller 70a, and outputs it as the output signal of the first echo/first crosstalk canceller 80a. To do.
  • the fifth subtractor 81 performs the subtraction shown in Expression 28 below.
  • e9t is the output signal of the fifth subtractor 81 at time t.
  • y9t is the output signal of the second howling canceller 70a at time t.
  • the fifth transfer function update circuit 85 updates the fifth transfer function stored in the fifth transfer function storage circuit 84 based on the output signal of the fifth subtractor 81 and the signal stored in the fifth storage circuit 82. ..
  • the fifth transfer function update circuit 85 uses the independent component analysis based on the output signal of the fifth subtractor 81 and the signal stored in the fifth storage circuit 82 as shown in the following Expression 29. Then, the fifth transfer function stored in the fifth transfer function storage circuit 84 is updated so that the output signal of the fifth subtractor 81 and the signal stored in the fifth storage circuit 82 are independent of each other.
  • ⁇ 9 is a step size parameter for controlling the learning speed in the estimation of the fifth transfer function that combines the first echo 13a and the first crosstalk 17a.
  • ⁇ 9 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function, or a sign function (sign function)).
  • the fifth transfer function update circuit 85 performs the non-linear processing using the non-linear function on the output signal of the fifth subtractor 81, and the obtained result is stored in the fifth storage circuit 82.
  • the fifth update coefficient is calculated by multiplying the signal by the ninth step size parameter for controlling the learning speed in the estimation of the fifth transfer function that combines the first echo 13a and the first crosstalk 17a. Then, the calculated fifth update coefficient is added to the fifth transfer function stored in the fifth transfer function storage circuit 84 to perform the update.
  • the output signal of the second echo/second crosstalk canceller 90a is input to the first echo/first crosstalk canceller 80a for the voice of the first speaker 11 at the same time.
  • the time to be set is designed to be the same as or earlier than the time when the output of the second howling canceller 70a is input to the first echo/first crosstalk canceller 80a. That is, the causality is retained so that the first echo/first crosstalk canceller 80a can cancel the first crosstalk 17a. This is a factor that determines the time when the output signal of the second echo/second crosstalk canceller 90a is input to the first echo/first crosstalk canceller 80a (speed of A/D conversion, first howling canceller 60a).
  • the second echo/second crosstalk canceller 90a uses the output signal of the first echo/first crosstalk canceller 80a to input the sound output from the second speaker 24 into the first microphone 21.
  • the second echo 14a and the tenth interfering signal (that is, the second echo/second crosstalk signal) indicating the degree of the second crosstalk 18a in which the voice of the second speaker 12 is input to the first microphone 21 is estimated. Then, the tenth interfering signal is removed from the output signal of the first howling canceller 60a.
  • the second echo/second crosstalk canceller 90a uses the first voice recognition circuit 31, the first echo/first crosstalk canceller 80a, and the first speaker 22 for the signal from which the tenth interfering signal has been removed. And a digital signal processing circuit for processing digital audio data in the time domain.
  • the second echo/second crosstalk canceller 90a includes a sixth transfer function storage circuit 94, a sixth storage circuit 92, a sixth convolution calculator 93, a sixth subtractor 91, and a sixth transfer function update. It has a circuit 95.
  • the sixth transfer function storage circuit 94 stores the sixth transfer function estimated as a transfer function that combines the second echo 14a and the second crosstalk 18a.
  • the sixth storage circuit 92 stores the output signal of the first echo/first crosstalk canceller 80a.
  • the sixth convolution calculator 93 convolves the signal stored in the sixth storage circuit 92 and the sixth transfer function stored in the sixth transfer function storage circuit 94 to generate a tenth disturbing signal.
  • the sixth convolution calculator 93 is an N-tap FIR filter that performs the convolution calculation shown in Expression 30 below.
  • y10't is the tenth disturbing signal at time t.
  • N is the number of taps of the FIR filter.
  • H10(i)t is the i-th sixth transfer function of the N number of sixth transfer functions stored in the sixth transfer function storage circuit 94 at time t.
  • x10(ti) is the (ti)th signal among the signals stored in the sixth memory circuit 92.
  • the sixth subtractor 91 removes the tenth interfering signal output from the sixth convolution calculator 93 from the output signal of the first howling canceller 60a and outputs it as the output signal of the second echo/second crosstalk canceller 90a. To do.
  • the sixth subtractor 91 performs the subtraction shown in Expression 31 below.
  • e10t is the output signal of the sixth subtractor 91 at time t.
  • y10t is an output signal of the first howling canceller 60a at time t.
  • the sixth transfer function update circuit 95 updates the sixth transfer function stored in the sixth transfer function storage circuit 94 based on the output signal of the sixth subtractor 91 and the signal stored in the sixth storage circuit 92. ..
  • the sixth transfer function update circuit 95 uses the independent component analysis based on the output signal of the sixth subtractor 91 and the signal stored in the sixth storage circuit 92, as shown in Expression 32 below. Then, the sixth transfer function stored in the sixth transfer function storage circuit 94 is updated so that the output signal of the sixth subtractor 91 and the signal stored in the sixth storage circuit 92 are mutually independent.
  • ⁇ 10 is a step size parameter for controlling the learning speed in the estimation of the sixth transfer function that combines the second echo 14a and the second crosstalk 18a.
  • ⁇ 10 is a non-linear function (for example, a sigmoid function (sigmoid function), a hyperbolic tangent function (tanh function), a normalized linear function or a sign function (sign function)).
  • the sixth transfer function update circuit 95 performs the non-linear processing using the non-linear function on the output signal of the sixth subtractor 91, and the obtained result is stored in the sixth storage circuit 92.
  • the sixth update coefficient is calculated by multiplying the signal by the tenth step size parameter for controlling the learning speed in the estimation of the sixth transfer function that combines the second echo 14a and the second crosstalk 18a. Then, the calculated fifth update coefficient is added to the sixth transfer function stored in the sixth transfer function storage circuit 94 to perform the update.
  • the output signal of the first echo/first crosstalk canceller 80a is input to the second echo/second crosstalk canceller 90a for the voice of the second speaker 12 at the same time.
  • the time to be performed is designed to be the same as or earlier than the time when the output of the first howling canceller 60a is input to the second echo/second crosstalk canceller 90a. That is, the causality is retained so that the second echo/second crosstalk canceller 90a can cancel the second crosstalk 18a. This is a factor that determines the time when the output signal of the first echo/first crosstalk canceller 80a is input to the second echo/second crosstalk canceller 90a (speed of A/D conversion, second howling canceller 70a).
  • Translation apparatus 20a in the present embodiment configured as described above operates as follows. Here, points different from the translation device 20 shown in the first embodiment will be mainly described.
  • control circuit 37 First, the operation of the control circuit 37 will be described.
  • the first language selecting circuit 27 and the second language selecting circuit 28 select the first language used by the first speaker 11 to the first speaker 11 and the second speaker 12 to use the first language used by the second speaker 12.
  • the selection of two languages is accepted and the control circuit 37 is notified. Note that, as described above, in the second embodiment, the first language and the second language are the same.
  • the control circuit 37 has been notified by the first language selection circuit 27 and the second language selection circuit 28 that the first language and the second language are the same, so that the first echo canceller 40 and the second echo are notified.
  • the canceller 50, the first translation circuit 33, the second translation circuit 34, the first speech synthesis circuit 35, and the second speech synthesis circuit 36 stop their functions.
  • the voice of the first speaker 11 is input to the first microphone 21.
  • the first howling 15 a, the second echo 14 a, and the second crosstalk 18 a are input to the first microphone 21.
  • the first howling signal is removed by the first howling canceller 60a.
  • the first howling signal is a (estimated) signal indicating the degree of the first howling 15a. Therefore, the output signal of the first howling canceller 60a is a signal obtained by removing the influence of the first howling 15a from the output signal of the first microphone 21.
  • the ninth interference signal is removed by the second echo/second crosstalk canceller 90a.
  • the ninth interference signal (that is, the second echo/second crosstalk signal) is a signal indicating (estimated) the degree of the second echo 14a and the second crosstalk 18a. Therefore, the output signal of the second echo/second crosstalk canceller 90a becomes a signal obtained by removing the effects of the second echo 14a and the second crosstalk 18a from the output signal of the first howling canceller 60a, and the first voice recognition It is output to the circuit 31, the first echo/first crosstalk canceller 80a, and the first speaker 22.
  • the first voice recognition circuit 31 removes the first howling 15a from the voice of the first speaker 11 by the first howling canceller 60a, and outputs the second echo 14a by the second echo/second crosstalk canceller 90a.
  • the digital audio data from which the second crosstalk 18a is removed is input.
  • the first voice recognition circuit 31 outputs a first character string, which is the result of voice recognition of the input digital voice data, to the control circuit 37.
  • the signal input to the first speaker 22 is output as voice.
  • the voice of the second speaker 12 is input to the second microphone 23.
  • the second howling 16 a, the first echo 13 a, and the first crosstalk 17 a are input to the second microphone 23.
  • the second howling signal is removed by the second howling canceller 70a.
  • the second howling signal is a signal indicating (estimated) the degree of the second howling 16a. Therefore, the output signal of the second howling canceller 70a is a signal obtained by removing the influence of the second howling 16a from the output signal of the second microphone 23.
  • the tenth interfering signal is removed by the first echo/first crosstalk canceller 80a.
  • the tenth interference signal (that is, the first echo/first crosstalk signal) is a signal indicating (estimated) the degree of the first echo 13a and the first crosstalk 17a. Therefore, the output signal of the first echo/first crosstalk canceller 80a becomes a signal obtained by removing the effects of the first echo 13a and the first crosstalk 17a from the output signal of the second howling canceller 70a, and the second voice recognition The signal is output to the circuit 32, the second echo/second crosstalk canceller 90a, and the second speaker 24.
  • the second voice recognition circuit 32 removes the second howling 16a from the voice of the second speaker 12 by the second howling canceller 70a, and the first echo 13a and the first echo 13a by the first echo/first crosstalk canceller 80a. Digital audio data from which the first crosstalk 17a is removed is input.
  • the second voice recognition circuit 32 outputs a second character string, which is the result of voice recognition of the input digital voice data, to the control circuit 37.
  • the signal input to the second speaker 24 is output as voice.
  • the control circuit 37 controls the first character string in the first language, which is the recognition result of the voice of the first speaker 11 output by the first voice recognition circuit 31, and the second speaker 12 output by the second voice recognition circuit 32.
  • the second character string in the second language which is the result of voice recognition, is output to the video signal generation circuit 38.
  • the video signal generation circuit 38 outputs the first character string in the first language, which is the recognition result of the voice of the first speaker 11 output from the first voice recognition circuit 31, and the second character output from the second voice recognition circuit 32.
  • the second character string in the second language which is the recognition result of the voice of the speaker 12, is output to the first display circuit 25 and the second display circuit 26.
  • the voice of the first speaker 11 and the voice of the second speaker 12 are processed as described above.
  • the effects of the first howling 15a, the second echo 14a, and the second crosstalk 18a in the voice input to the first microphone 21 are removed. Only the output signal, that is, the voice of the first speaker 11 from which acoustic noise has been removed. Furthermore, the sound output from the first speaker 22 is an output signal from which the effects of the first howling 15a, the second echo 14a, and the second crosstalk 18a have been removed from the sound input to the first microphone 21. That is, only the voice of the first speaker 11 from which acoustic noise has been removed.
  • the output signal input to the second voice recognition circuit 32 is the output of the voice input to the second microphone 23 from which the effects of the second howling 16a, the first echo 13a, and the first crosstalk 17a are removed. Only the signal, that is, the voice of the second speaker 12 from which acoustic noise has been removed. Furthermore, the sound output from the second speaker 24 is an output signal from which the effects of the second howling 16a, the first echo 13a, and the first crosstalk 17a are removed from the sound input to the second microphone 23. That is, only the voice of the second speaker 12 from which the acoustic noise has been removed.
  • the control circuit 37 controls the first language.
  • the echo canceller 40, the second echo canceller 50, the first translation circuit 33, the second translation circuit 34, the first speech synthesis circuit 35, and the second speech synthesis circuit 36 stop their functions.
  • Such a translation device 20a has a first echo canceller 40, a second echo canceller 50, a first translation circuit 33, a second translation circuit 34, and a second translation circuit 34 when the first language and the second language are the same. It is possible to increase the processing speed by stopping the functions of the 1-voice synthesis circuit 35 and the 2nd voice synthesis circuit 36. Further, since no translation is required, but the voice can be increased, even if the first speaker 11 and the second speaker 12 are separated from each other or when the surroundings are noisy, they can talk to each other. ..
  • the canceller regarding the echo, the translation function, the function of outputting the translated voice, and the function of expanding the voice are unnecessary.
  • FIG. 6 is a block diagram showing the configuration of translation apparatus 20b in the third embodiment.
  • the same components as in the first embodiment are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the translation device 20b Compared with the first embodiment, the translation device 20b according to the third embodiment has the same first language of the first speaker 11 and the second language of the second speaker 12 and does not require loudspeaking.
  • the translation circuit 33, the second translation circuit 34, the first voice synthesis circuit 35, the second voice synthesis circuit 36, the first speaker 22, and the second speaker 24 are unnecessary. Furthermore, since the first speaker 22 and the second speaker 24 are unnecessary, the first echo 13, the second echo 14, the third echo 15, and the fourth echo 16 do not occur, so the first echo canceller 40, The second echo canceller 50, the third echo canceller 60, and the fourth echo canceller 70 are also unnecessary.
  • the first display circuit 25 and the second display circuit 26 are required to display the utterances of the first speaker 11 and the second speaker 12 as a character string.
  • the translation device 20b also includes the first microphone 21 and the second microphone 23, crosstalk, which is a phenomenon in which a voice of a speaker is input to a microphone for inputting a voice of a speaker other than the speaker, is generated. Occur. Therefore, the function of canceling crosstalk is required.
  • Translation apparatus 20b configured as described above operates as follows. Here, points different from the translation device 20 shown in the first embodiment will be mainly described.
  • control circuit 37 First, the operation of the control circuit 37 will be described.
  • the first language selecting circuit 27 and the second language selecting circuit 28 select the first language used by the first speaker 11 to the first speaker 11 and the second speaker 12 to use the first language used by the second speaker 12.
  • the selection of two languages is accepted and the control circuit 37 is notified.
  • the control circuit 37 includes the first translation circuit 33, the second translation circuit 34, the first speech synthesis circuit 35, the second speech synthesis circuit 36, the first speaker 22, the second speaker 24, and the second loudspeaker 24.
  • the functions of the first echo canceller 40, the second echo canceller 50, the third echo canceller 60, and the fourth echo canceller 70 are stopped.
  • the voice of the first speaker 11 is input to the first microphone 21.
  • the second crosstalk 18 is input to the first microphone 21.
  • the sixth interference signal that is, the second crosstalk signal
  • the sixth disturbing signal is a signal indicating (estimated) the degree of the second crosstalk 18. Therefore, the output signal of the second crosstalk canceller 90 becomes a signal in which the influence of the second crosstalk 18 is removed from the output signal of the first microphone 21, and the output signal of the first voice recognition circuit 31 and the first crosstalk canceller 80 is obtained. Is output.
  • the first voice recognition circuit 31 is supplied with digital voice data obtained by removing the second crosstalk 18 from the voice of the first speaker 11 by the second crosstalk canceller 90.
  • the first voice recognition circuit 31 outputs a first character string, which is the result of voice recognition of the input digital voice data, to the control circuit 37.
  • the voice of the second speaker 12 is input to the second microphone 23.
  • the first crosstalk 17 is input to the second microphone 23.
  • the fifth interference signal that is, the first crosstalk signal
  • the fifth disturbing signal is a signal indicating (estimated) the degree of the first crosstalk 17. Therefore, the output signal of the first crosstalk canceller 80 becomes a signal in which the influence of the first crosstalk 17 is removed from the output signal of the second microphone 23, and the output signal is supplied to the second voice recognition circuit 32 and the second crosstalk canceller 90. Is output.
  • the second voice recognition circuit 32 is supplied with digital voice data obtained by removing the first crosstalk 17 from the voice of the second speaker 12 by the first crosstalk canceller 80.
  • the second voice recognition circuit 32 outputs a second character string, which is the result of voice recognition of the input digital voice data, to the control circuit 37.
  • the control circuit 37 controls the first character string in the first language, which is the recognition result of the voice of the first speaker 11 output by the first voice recognition circuit 31, and the second speaker 12 output by the second voice recognition circuit 32.
  • the second character string in the second language which is the result of voice recognition, is output to the video signal generation circuit 38.
  • the video signal generation circuit 38 outputs the first character string in the first language, which is the recognition result of the voice of the first speaker 11 output from the first voice recognition circuit 31, and the second character output from the second voice recognition circuit 32.
  • the second character string in the second language which is the recognition result of the voice of the speaker 12, is output to the first display circuit 25 and the second display circuit 26.
  • the voice of the first speaker 11 and the voice of the second speaker 12 are processed as described above.
  • the output signal input to the first voice recognition circuit 31 is the output signal from which the influence of the second crosstalk 18 is removed, that is, the acoustic noise is removed from the voice input to the first microphone 21. Only the voice of the first speaker 11 that has been reproduced is obtained.
  • the output signal input to the second voice recognition circuit 32 is the output signal from which the influence of the first crosstalk 17 is removed, that is, acoustic noise is removed from the voice input to the second microphone 23. Only the voice of the second speaker 12 is used.
  • Such a translation device 20b has a first echo canceller 40, a second echo canceller 50, a third echo canceller 60, and a fourth echo when the first language and the second language are the same and no loudness is required.
  • the canceller 70, the first translation circuit 33, the second translation circuit 34, the first speech synthesis circuit 35, the second speech synthesis circuit 36, the first speaker 22 and the second speaker 24 stop their functions, The processing speed can be increased.
  • FIG. 7 is a flowchart of the control circuit 37 selecting the most suitable configuration in the first to third embodiments.
  • the first language selection circuit 27 receives the selection of the first language used by the first speaker 11 from the first speaker 11 (step S300). Further, the control circuit 37 is notified of the received first language.
  • the second language selection circuit 28 receives the selection of the second language used by the second speaker 12 from the second speaker 12 (step S301). Further, the control circuit 37 is notified of the accepted second language.
  • the control circuit 37 determines whether or not the first language accepted by the first language selection circuit 27 and the second language accepted by the second language selection circuit 28 are the same (step S302).
  • the control circuit 37 has the configuration of the first embodiment when the first language accepted by the first language selection circuit 27 and the second language accepted by the second language selection circuit 28 are different (NO in step S302).
  • the function of each component is operated as described above (step S303).
  • the control circuit 37 determines whether or not the loud sound is necessary. It is determined (step S304).
  • the control circuit 37 activates the function of each configuration so that the configuration of the second embodiment is obtained when the loud sound is required (YES in step S304).
  • the control circuit 37 activates the function of each configuration so that the configuration of the third embodiment is obtained when the loudspeaking is not necessary (NO in step S304).
  • step S304 may be performed by the control circuit 37, or may be performed by the first speaker 11 or the second speaker 12.
  • a switch may be provided for setting whether or not the loud sound is required.
  • the first language selection circuit 27 and the second language selection circuit 28 select the languages used by the first speaker 11 and the second speaker 12.
  • a function of newly identifying the language used by the first speaker 11 and the second speaker 12 by the voice of the first speaker 11 and the voice of the second speaker 12 is newly provided. The assigned configuration is shown.
  • FIG. 8 is a block diagram showing the configuration of the translation device 20c according to the fourth embodiment.
  • the same components as those in the first embodiment are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the translation device 20c includes a first language identification circuit 311 and a second language identification circuit 321 in addition to the components of the first embodiment. Furthermore, the first language selection circuit 27 and the second language selection circuit 28 may not be provided.
  • the first language identification circuit 311 identifies the first language based on the first voice and notifies the control circuit 37 of the first language. That is, the first language used by the first speaker 11 is identified based on the first voice of the first speaker 11. For example, the first voice recognition circuit 31 voice-recognizes the first voice of the first speaker 11 and outputs the first character string to the first language identification circuit 311 as well.
  • the second language identification circuit 321 identifies the second language based on the second voice and notifies the control circuit 37 of the second language. That is, the second language used by the second speaker 12 is identified based on the second voice of the second speaker 12. For example, the second voice recognition circuit 32 voice-recognizes the second voice of the second speaker 12 and outputs the second character string to the second language identification circuit 321.
  • control circuit 37 causes the first speech recognition circuit 31 to use the first language based on the first language identified by the first language identification circuit 311 and the second language identified by the second language identification circuit 321.
  • Voice recognition in the second language the second voice recognition circuit 32 performs voice recognition in the second language
  • the first translation circuit 33 translates the first language into the second language
  • the second translation circuit 34 performs the second language.
  • the first speech synthesis circuit 35 may be translated into the first language
  • the first speech synthesis circuit 35 may be synthesized into the second language
  • the second speech synthesis circuit 36 may be synthesized into the first language.
  • the translation device 20c in the present embodiment configured as described above operates as follows. Here, points different from the translation device 20 shown in the first embodiment will be mainly described.
  • the difference from the translation device 20 shown in the first embodiment is that the translation device 20c shown in the fourth embodiment does not include the first language selection circuit 27 and the second language selection circuit 28. , A first language identification circuit 311 and a second language identification circuit 321.
  • the language selection is not performed in advance by using the first language selection circuit 27 and the second language selection circuit 28.
  • the voice of the first speaker 11 is input to the first microphone 21.
  • the same acoustic noise as in the first embodiment is input to the first microphone 21.
  • the process until the output signal of the first microphone 21 reaches the first voice recognition circuit 31 and the first crosstalk canceller 80 is the same as that in the first embodiment.
  • the digital voice data input to the first voice recognition circuit 31 and the first crosstalk canceller 80 is the same as that in the first embodiment. That is, in the first voice recognition circuit 31 and the first crosstalk canceller 80, the second echo canceller 50 removes the second echo 14 from the voice of the first speaker 11, and the third echo canceller 60 removes the third echo 15. Is removed, and the digital audio data from which the second crosstalk 18 is removed by the second crosstalk canceller 90 is input.
  • the first voice recognition circuit 31 notifies the first language identification circuit 311 of the input digital voice data.
  • the voice of the second speaker 12 is input to the second microphone 23.
  • the same acoustic noise as in the first embodiment is input to the second microphone 23.
  • the process until the output signal of the second microphone 23 reaches the second voice recognition circuit 32 and the second crosstalk canceller 90 is the same as that in the first embodiment.
  • the digital voice data input to the second voice recognition circuit 32 and the second crosstalk canceller 90 is the same as that in the first embodiment. That is, in the second voice recognition circuit 32 and the second crosstalk canceller 90, the first echo 13 cancels the first echo 13 from the voice of the second speaker 12, and the fourth echo canceller 70 removes the fourth echo 16. Is removed, and the digital audio data from which the first crosstalk 17 is removed by the first crosstalk canceller 80 is input.
  • the second voice recognition circuit 32 notifies the second language identification circuit 321 of the input digital voice data.
  • the first language identification circuit 311 identifies the first language based on the input digital voice data and notifies the control circuit 37 of the first language.
  • the second language identification circuit 321 identifies the second language based on the input digital voice data and notifies the control circuit 37 of it.
  • control circuit 37 transfers the first language notified from the first language identification circuit 311 to the first speech recognition circuit 31, the first translation circuit 33, the second translation circuit 34, and the first speech synthesis circuit 35.
  • the second language notified by the second language identification circuit 321 is instructed to the second speech recognition circuit 32, the first translation circuit 33, the second translation circuit 34, and the second speech synthesis circuit 36.
  • the first voice recognition circuit 31 is a result of performing voice recognition on the input digital voice data based on the information of the first language of the first speaker 11 instructed by the control circuit 37.
  • the first character string is output to the first translation circuit 33 and the control circuit 37.
  • the second voice recognition circuit 32 is the result of performing voice recognition on the input digital voice data based on the information of the second language of the second speaker 12 instructed by the control circuit 37.
  • the two character strings are output to the second translation circuit 34 and the control circuit 37.
  • the first translation circuit 33 outputs the first character string output from the first speech recognition circuit 31 from the first language of the first speaker 11 designated by the control circuit 37 to the second character of the second speaker 12. It is converted into a third character string of the language and output to the first voice synthesis circuit 35 and the control circuit 37.
  • the second translation circuit 34 changes the second character string output from the second speech recognition circuit 32 from the second language of the second speaker 12 designated by the control circuit 37 to the first language of the first speaker 11. Is converted into a fourth character string of and output to the second voice synthesis circuit 36 and the control circuit 37.
  • the character strings received by the first voice synthesizing circuit 35, the second voice synthesizing circuit 36, and the control circuit 37 are the same as those in the first embodiment. Therefore, the subsequent processing procedure is the same as that in the first embodiment. It is the same.
  • the translation device 20c further identifies the first language based on the first voice and notifies the control circuit 37 of the first language, and the second language based on the second voice.
  • the control circuit 37 includes a first language identified by the first language identifying circuit 311 and a second language identified by the second language identifying circuit 321.
  • the first voice recognition circuit 31 is caused to perform voice recognition in the first language
  • the second voice recognition circuit 32 is caused to perform voice recognition in the second language
  • the first translation circuit 33 is caused to change the first language from the first language.
  • the second translation circuit 34 translates the second language into the first language
  • the first speech synthesis circuit 35 synthesizes the speech in the second language
  • the second speech synthesis circuit 36 stores the first speech. Speech synthesis is done in the language.
  • FIG. 9 is a block diagram showing the configuration of the translation device 20d in the fifth embodiment.
  • the same components as those in the second and fourth embodiments are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the translation device 20d according to the fifth embodiment includes, in addition to the second embodiment, the first language identification circuit 311 and the second language identification circuit 321 described in the fourth embodiment.
  • control circuit 37 includes a first echo canceller 40, a second echo canceller 50, a first translation circuit 33, a second translation circuit 34, a first speech synthesis circuit 35, and a second speech synthesis circuit 36.
  • the function may be stopped.
  • Translation device 20d in the present embodiment configured as described above operates as follows. Here, the description will focus on the points that are different from the translation device 20a shown in the second embodiment.
  • the difference from the translation device 20a shown in the second embodiment is that the translation device 20d shown in the fifth embodiment does not include the first language selection circuit 27 and the second language selection circuit 28, The first language identification circuit 311 and the second language identification circuit 321 are provided.
  • the language selection is not performed in advance by using the first language selection circuit 27 and the second language selection circuit 28.
  • control circuit 37 First, the operation of the control circuit 37 will be described.
  • the fifth embodiment has been described in the fourth embodiment [5-2. Operation], the first language of the first speaker 11 and the second language of the second speaker 12 are the same.
  • the control circuit 37 is notified by the first language identifying circuit 311 and the second language identifying circuit 321 that the first language and the second language are the same. Therefore, in the fifth embodiment, the control circuit 37 includes the first echo canceller 40, the second echo canceller 50, the first translation circuit 33, the second translation circuit 34, and the first speech synthesis circuit 35. , The function of the second speech synthesis circuit 36 is stopped.
  • the voice of the first speaker 11 is input to the first microphone 21.
  • the same acoustic noise as in the second embodiment is input to the first microphone 21.
  • the process until the output signal of the first microphone 21 reaches the first voice recognition circuit 31, the first speaker 22, and the first echo/first crosstalk canceller 80a is the same as that in the second embodiment.
  • the digital voice data input to the first voice recognition circuit 31, the first speaker 22, and the first echo/first crosstalk canceller 80a is the same as that in the second embodiment. That is, in the first voice recognition circuit 31, the first speaker 22, and the first echo/first crosstalk canceller 80a, the first howling canceller 60a removes the first howling 15a from the voice of the first speaker 11. Digital voice data from which the second echo 14a and the second crosstalk 18a are removed by the two-echo/second crosstalk canceller 90a is input.
  • the first voice recognition circuit 31 outputs a first character string, which is the result of voice recognition of the input digital voice data, to the control circuit 37 and the first language identification circuit 311.
  • the first language identification circuit 311 identifies the first language based on the input digital voice data and notifies the control circuit 37 of the first language.
  • the voice of the second speaker 12 is input to the second microphone 23.
  • the same acoustic noise as in the second embodiment is input to the second microphone 23.
  • the process until the output signal of the second microphone 23 reaches the second voice recognition circuit 32, the second speaker 24, and the second echo/second crosstalk canceller 90a is the same as that in the second embodiment.
  • the digital voice data input to the second voice recognition circuit 32, the second speaker 24, and the second echo/second crosstalk canceller 90a is the same as that in the second embodiment. That is, the second voice recognition circuit 32, the second speaker 24, and the second echo/second crosstalk canceller 90a remove the second howling 16a from the voice of the second speaker 12 by the second howling canceller 70a.
  • Digital voice data from which the first echo 13a and the first crosstalk 17a are removed by the 1-echo/first crosstalk canceller 80a is input.
  • the second voice recognition circuit 32 outputs a second character string, which is the result of voice recognition of the input digital voice data, to the control circuit 37 and the second language identification circuit 321.
  • the second language identification circuit 321 identifies the second language based on the input digital voice data and notifies the control circuit 37 of it.
  • the first language and the second language are the same. That is, the translation function and the function of outputting the translated voice are unnecessary.
  • the signals received by the first speaker 22, the second speaker 24, the control circuit 37, the first echo/first crosstalk canceller 80a, and the second echo/second crosstalk canceller 90a are the same as those in the second embodiment. Therefore, the subsequent processing procedure is the same as that of the second embodiment.
  • the control circuit 37 determines that the first language The echo canceller 40, the second echo canceller 50, the first translation circuit 33, the second translation circuit 34, the first speech synthesis circuit 35, and the second speech synthesis circuit 36 stop their functions.
  • the speaker does not need to use a language selection circuit, and translation can be performed more easily. Furthermore, when the first language and the second language are the same, a first echo canceller 40, a second echo canceller 50, a first translation circuit 33, a second translation circuit 34, and a first speech synthesis circuit 35 are provided. , The function of the second speech synthesis circuit 36 can be stopped, and the processing speed can be increased.
  • the first language of the first speaker 11 and the second language of the second speaker 12 are the same as in the third embodiment, and no loud sound is required. A configuration suitable for any case is shown.
  • FIG. 10 is a block diagram showing the configuration of the translation device 20e according to the sixth embodiment.
  • the same components as those in the third and fourth embodiments are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the translation device 20e includes, in addition to the third embodiment, the first language identification circuit 311 and the second language identification circuit 321 described in the fourth embodiment.
  • the translation device 20e according to the present embodiment configured as described above operates as follows. Here, the description will focus on the points that are different from the translation device 20b shown in the third embodiment.
  • the difference from the translation device 20b shown in the third embodiment is that the translation device 20e shown in the sixth embodiment does not include the first language selection circuit 27 and the second language selection circuit 28.
  • the first language identification circuit 311 and the second language identification circuit 321 are provided.
  • the language selection is not performed in advance by using the first language selection circuit 27 and the second language selection circuit 28.
  • control circuit 37 First, the operation of the control circuit 37 will be described.
  • the sixth embodiment has been described in the fourth embodiment [5-2. Operation], the first language of the first speaker 11 and the second language of the second speaker 12 are the same, and it is applied when the loud sound is not necessary.
  • the control circuit 37 is notified by the first language identifying circuit 311 and the second language identifying circuit 321 that the first language and the second language are the same. Therefore, in the sixth embodiment, the control circuit 37 controls the first translation circuit 33, the second translation circuit 34, the first speech synthesis circuit 35, the second speech synthesis circuit 36, the first speaker 22, and the second speaker 24.
  • the functions of the first echo canceller 40, the second echo canceller 50, the third echo canceller 60, and the fourth echo canceller 70 are stopped.
  • the voice of the first speaker 11 is input to the first microphone 21.
  • the same acoustic noise as in the third embodiment is input to the first microphone 21.
  • the process until the output signal of the first microphone 21 reaches the first voice recognition circuit 31 and the first crosstalk canceller 80 is the same as that in the third embodiment.
  • the digital voice data input to the first voice recognition circuit 31 and the first crosstalk canceller 80 is the same as in the third embodiment. That is, the first voice recognition circuit 31 and the first crosstalk canceller 80 receive the digital voice data in which the second crosstalk canceller 90 removes the second crosstalk 18 from the voice of the first speaker 11. ..
  • the first voice recognition circuit 31 outputs a first character string, which is the result of voice recognition of the input digital voice data, to the control circuit 37, the first language identification circuit 311 and the video signal generation circuit 38.
  • the first language identification circuit 311 identifies the first language based on the input digital voice data and notifies the control circuit 37 of the first language.
  • the voice of the second speaker 12 is input to the second microphone 23.
  • the same acoustic noise as in the third embodiment is input to the second microphone 23.
  • the process until the output signal of the second microphone 23 reaches the second voice recognition circuit 32 and the second crosstalk canceller 90 is the same as that in the third embodiment.
  • the digital voice data input to the second voice recognition circuit 32 and the second crosstalk canceller 90 is the same as in the second embodiment. That is, the second voice recognition circuit 32 and the second crosstalk canceller 90 receive the digital voice data in which the first crosstalk 17 is removed from the voice of the second speaker 12 by the first crosstalk canceller 80. ..
  • the second voice recognition circuit 32 outputs a second character string, which is the result of voice recognition of the input digital voice data, to the control circuit 37, the second language identification circuit 321, and the video signal generation circuit 38.
  • the second language identification circuit 321 identifies the second language based on the input digital voice data and notifies the control circuit 37 of it.
  • the signals received by the control circuit 37, the video signal generation circuit 38, the first crosstalk canceller 80, and the second crosstalk canceller 90 are the same as those in the third embodiment, and the subsequent processing procedure is as follows. This is the same as the third embodiment.
  • the speaker does not need to use the language selection circuit, and the translation can be performed more easily.
  • the second translation circuit 34, the first speech synthesis circuit 35, the second speech synthesis circuit 36, and the first speaker 22 and the second speaker 24 can stop their functions to increase the processing speed.
  • the first to sixth embodiments have been described as examples of the technique disclosed in the present application.
  • the technique of the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, etc. have been made. It is also possible to combine the constituent elements described in the first to sixth embodiments to form a new embodiment.
  • control circuit 37 described above may control the output of the first voice synthesis circuit 35 and the output of the second voice synthesis circuit 36 so that they do not overlap in time. As a result, it is possible to improve the accuracy of removing unnecessary signals of all echo cancellers, and further improve the easiness of speaking and hearing by both speakers. Further, the control circuit 37 may give priority to the output of the synthesized voice of one speaker. For example, the output of the synthesized voice of the customer like the first speaker 11 shown in FIG. 1 may be prioritized.
  • the fifth and sixth embodiments are applied after it is identified in the fourth embodiment that the first language of the first speaker 11 and the second language of the second speaker 12 are the same. However, it is not limited to this.
  • an example of a method for determining a translated language in the case of including the first language identification circuit 311 and the second language identification circuit 321 described in the fourth to sixth embodiments will be shown.
  • the first speaker 11 and the second speaker 12 greet each other in their native language before speaking the content to be translated of the main subject.
  • the first language identification circuit 311 and the second language identification circuit 321 identify the language and notify the control circuit 37.
  • control circuit 37 instructs the first translation circuit 33 and the second translation circuit 34 based on the notified language, and the first translation circuit 33 and the second translation circuit 34 determine the translation language. You may use such a method. It should be noted that it is not necessary to say greetings, and other words that use each other's mother tongue may be used.
  • the language of one speaker may be set in advance. For example, if the language of the receiving side is set in advance like the second speaker 12 shown in FIG. 1, the translation process becomes faster.
  • control circuit 37 may stop the functions of the components.
  • the output of the first voice synthesis circuit 35 and the second voice synthesis circuit 36 may have a function of simulating the voice quality of the speaker.
  • the voice quality is, for example, the pitch of a voice. As a result, both speakers can naturally have a conversation.
  • control circuit 37 supplies the first transfer function and the third transfer function to the first echo canceller 40 and the third echo canceller 60 only during the period when the first speech synthesis circuit 35 outputs the first translated speech. You may update it. Further, the control circuit 37 supplies the second transfer function and the fourth transfer function to the second echo canceller 50 and the fourth echo canceller 70 only during the period when the second speech synthesis circuit 36 outputs the second translated speech. You may update it.
  • the translation device 20 shown in FIG. 1 has two display circuits, the first display circuit 25 and the second display circuit 26, they may be one as shown in FIG. .
  • FIG. 11 is a diagram showing an example of a usage state of the translation device 20.
  • FIG. 11 An example of the translation device 20 shown in FIG. 11 shows a configuration in which the components of the first embodiment are integrated.
  • the remarks of the first speaker 11 are expressed in black characters
  • the remarks of the second speaker 12 are expressed in white characters.
  • the remarks of the first speaker 11 are represented by white characters
  • the remarks of the second speaker 12 are represented by black characters.
  • the bidirectional conversation between the first speaker 11 and the second speaker 12 is described, but the number of speakers is not limited to two.
  • the first speaker 11 shown in FIG. 1 is, for example, a customer, but there may be a plurality of customers. When a plurality of people speak in sequence, the translated speech can be output sequentially. As a matter of course, there may be a plurality of reception sides shown in FIG.
  • the example of the translation device 20 shown in FIG. 11 has two speakers, a first speaker 22 on the side of the first speaker 11 and a second speaker 24 on the side of the second speaker 12.
  • the addition circuit which has only one speaker and adds the first translated speech output from the first speech synthesis circuit 35 and the second translated speech output from the second speech synthesis circuit 36 to output the added translation speech. May be added to output to one speaker described above.
  • the fourth echo canceller 70 becomes unnecessary and only the first echo canceller 40 becomes necessary.
  • the second echo 14 and the third echo 15 have the same phenomenon, the third echo canceller 60 is unnecessary and only the second echo canceller 50 is necessary.
  • the fifth echo is the same phenomenon as the first echo 13 and the fourth echo 16. Therefore, a fifth echo canceller having the same structure and function as the first echo canceller 40 is required.
  • the sixth echo has the same phenomenon as the second echo 14 and the third echo 15. Therefore, a sixth echo canceller having the same structure and function as the second echo canceller 50 is required.
  • the translation device 20 translates the language of one speaker into the language of the other speaker and translates the synthesized speech.
  • a first voice synthesis circuit for converting the sequence into a first translated voice
  • a second microphone 23 for inputting the second voice of the second speaker 12, and a second character string by voice recognition of the second voice.
  • a second translation circuit for translating the second character string output from the second speech recognition circuit into the language of the first speaker 11 and outputting a fourth character string.
  • a second speech synthesis circuit for converting the fourth character string output from the second translation circuit into a second translation speech, and a first translation speech and a second speech synthesis circuit output by the first speech synthesis circuit.
  • An addition circuit that adds the output second translated speech and outputs the added translated speech, a speaker for amplifying the added translated speech output by the adder circuit, and the second translated speech that is amplified by the speaker is added to the second microphone 23.
  • the control circuit includes a fifth echo signal to the fifth echo canceller during a period in which the first speech synthesis circuit outputs the first translated speech or the second speech synthesis circuit outputs the second translated speech. Is updated, and the first speech synthesizer circuit outputs the first translated speech or the second speech synthesizer circuit outputs the second translated speech. Update the transfer function that estimates the echo signal.
  • the voices of a plurality of speakers and the plurality of synthetic voices which are recognized by recognizing the voices of the plurality of speakers, translated into a language of the other party, and voice-synthesized are output simultaneously. Even in the presence of such a situation, acoustic noise including echo can be removed, and stable speech recognition can be performed while talking with each other. Furthermore, since the above can be achieved with a small number of components, the scale and cost of hardware can be significantly reduced.
  • the translation device 20 when the phenomenon that the first voice is input to the second microphone 23 is the first crosstalk, the translation device 20 further uses the first voice to generate a first crosstalk signal indicating the first crosstalk.
  • the first crosstalk canceller that estimates and removes the first crosstalk signal from the output signal of the second microphone 23 and the phenomenon that the second voice is input to the first microphone 21 are the second crosstalk
  • a second crosstalk canceller that estimates a second crosstalk signal indicating the second crosstalk using two voices and removes the second crosstalk signal from the output signal of the first microphone 21 is provided.
  • the voices of a plurality of speakers and the plurality of synthetic voices which are recognized by recognizing the voices of the plurality of speakers, translated into a language of the other party, and voice-synthesized are output simultaneously. Even in the presence of such a situation, acoustic noise including echo and crosstalk can be removed, and stable speech recognition can be performed while mutual conversation is possible.
  • the translation method as described above is performed by, for example, a processor that executes a program. That is, the first echo canceller 40, the second echo canceller 50, the third echo canceller 60, the fourth echo canceller 70, the first crosstalk canceller 80, and the second crosstalk canceller 90 according to the above-described embodiment are programmed. It may be implemented by the executing processor.
  • the processor includes, in addition to the CPU described above, a DSP (Digital Signal Processor), an MPU (Micro-Processing Unit), and a microprocessor.
  • Such a translation method may be realized by a program recorded in a computer-readable recording medium such as the ROM and the CD-ROM described above, and a recording medium recording the program. Further, such a translation method may be executed by a computer device that executes the above program.
  • the voices of a plurality of speakers and the plurality of synthesized voices that are output by recognizing the voices of the plurality of speakers, translating them into the language of the other party, synthesizing the voices, and the like exist simultaneously. Even in such a case, the present invention can be applied to a translation device in which acoustic noise including echo is removed, and stable speech recognition is performed while mutual conversation is performed. Specifically, the present disclosure is applicable as a translation device in a narrow space range.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Machine Translation (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Otolaryngology (AREA)

Abstract

翻訳装置（２０）は、第１マイク（２１）と、第１音声認識回路（３１）と、第１翻訳回路（３３）と、第１音声合成回路（３５）と、第１スピーカ（２２）と、第２マイク（２３）と、第２音声認識回路（３２）と、第２翻訳回路（３４）と、第２音声合成回路（３６）と、第２スピーカ（２４）と、第１エコーキャンセラ（４０）と、第２エコーキャンセラ（５０）と、制御回路（３７）を備え、制御回路（３７）は、第１翻訳音声の出力期間に、第１エコーキャンセラ（４０）に、第１エコー信号を推定する第１伝達関数を更新させ、第２翻訳音声の出力期間に、第２エコーキャンセラ（５０）に、第２エコー信号を推定する第２伝達関数を更新させる。

Description

翻訳装置及び翻訳方法
　本開示は、第１話者と第２話者とによる会話において、一方の話者の言語を他方の話者の言語に翻訳して拡声する翻訳装置及び翻訳方法に関する。
　特許文献１は、音響的雑音を除去したうえで２者間の双方向の会話を拡声して補助するのに有効である会話補助装置を開示する。この会話補助装置は、エコー及びクロストークを示す妨害信号をマイクの出力信号から除去するエコー・クロストークキャンセラを備える。会話補助装置によれば、エコーとクロストークを含む音響的雑音を除去し、２者間の双方向の会話を拡声して補助することができる。
特許第６３１１１３６号公報
　本開示は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコーを含む音響的雑音を抑制することで、安定して音声認識しながら、相互に会話を行う翻訳装置及び翻訳方法を提供する。
　本開示における翻訳装置は、第１話者と第２話者とによる会話において、一方の話者の言語を他方の話者の言語に翻訳して合成音声を拡声する翻訳装置であって、前記第１話者の第１音声を入力するための第１マイクと、前記第１音声を音声認識して第１文字列を出力するための第１音声認識回路と、前記第１音声認識回路から出力された前記第１文字列を前記第２話者の言語に翻訳して第３文字列を出力するための第１翻訳回路と、前記第１翻訳回路から出力された前記第３文字列を第１翻訳音声に変換するための第１音声合成回路と、前記第１翻訳音声を拡声するための第１スピーカと、前記第２話者の第２音声を入力するための第２マイクと、前記第２音声を音声認識して第２文字列を出力するための第２音声認識回路と、前記第２音声認識回路から出力された前記第２文字列を前記第１話者の言語に翻訳して第４文字列を出力するための第２翻訳回路と、前記第２翻訳回路から出力された前記第４文字列を第２翻訳音声に変換するための第２音声合成回路と、前記第２翻訳音声を拡声するための第２スピーカと、前記第１スピーカから拡声された前記第１翻訳音声が前記第２マイクに入力される現象を第１エコーとしたとき、前記第１翻訳音声と前記第１エコーに対応する前記第１伝達関数とを用いて、前記第１エコーを示す第１エコー信号を推定し、前記第１エコー信号を、前記第２マイクの出力信号から除去する第１エコーキャンセラと、前記第２スピーカから拡声された前記第２翻訳音声が前記第１マイクに入力される現象を第２エコーとしたとき、前記第２翻訳音声と前記第２エコーに対応する前記第２伝達関数とを用いて、前記第２エコーを示す第２エコー信号を推定し、前記第２エコー信号を、前記第１マイクの出力信号から除去する第２エコーキャンセラと、制御回路とを備え、前記制御回路は、前記第１音声合成回路が前記第１翻訳音声を出力している期間に、前記第１エコーキャンセラに、前記第１エコー信号を推定する伝達関数を更新させ、前記第２音声合成回路が前記第２翻訳音声を出力している期間に、前記第２エコーキャンセラに、前記第２エコー信号を推定する伝達関数を更新させる。
　また、本開示における翻訳装置は、第１話者と第２話者とによる会話において、一方の話者の言語を他方の話者の言語に翻訳して合成音声を拡声する翻訳装置であって、前記第１話者の第１音声を入力するための第１マイクと、前記第１音声を音声認識して第１文字列を出力するための第１音声認識回路と、前記第１音声認識回路から出力された前記第１文字列を前記第２話者の言語に翻訳して第３文字列を出力するための第１翻訳回路と、前記第１翻訳回路から出力された前記第３文字列を第１翻訳音声に変換するための第１音声合成回路と、前記第１翻訳音声を拡声するための第１スピーカと、前記第２話者の第２音声を入力するための第２マイクと、前記第２音声を音声認識して第２文字列を出力するための第２音声認識回路と、前記第２音声認識回路から出力された前記第２文字列を前記第１話者の言語に翻訳して第４文字列を出力するための第２翻訳回路と、前記第２翻訳回路から出力された前記第４文字列を第２翻訳音声に変換するための第２音声合成回路と、前記第２翻訳音声を拡声するための第２スピーカと、前記第１スピーカから拡声された前記第１翻訳音声が前記第１マイクに入力される現象を第３エコーとしたとき、前記第１翻訳音声と前記第３エコーに対応する第３伝達関数を用いて、前記第３エコーを示す第３エコー信号を推定し、前記第３エコー信号を、前記第１マイクの前記出力信号から除去する第３エコーキャンセラと、前記第２スピーカから拡声された前記第２翻訳音声が前記第２マイクに入力される現象を第４エコーとしたとき、前記第２翻訳音声と前記第４エコーに対応する第４伝達関数を用いて、前記第４エコーを示す第４エコー信号を推定し、前記第４エコー信号を、前記第２マイクの前記出力信号から除去する第４エコーキャンセラとを備え、制御回路とを備え、前記制御回路は、前記第１音声合成回路が前記第１翻訳音声を出力している期間に、前記第３エコーキャンセラに、前記第３エコー信号を推定する前記第３伝達関数を更新させ、前記第２音声合成回路が前記第２翻訳音声を出力している期間に、前記第４エコーキャンセラに、前記第４エコー信号を推定する前記第４伝達関数を更新させる。
　また、本開示における翻訳装置は、第１話者と第２話者とによる会話において、一方の話者の言語を他方の話者の言語に翻訳して合成音声を拡声する翻訳装置であって、前記第１話者の第１音声を入力するための第１マイクと、前記第１音声を音声認識して第１文字列を出力するための第１音声認識回路と、前記第１音声認識回路から出力された前記第１文字列を前記第２話者の言語に翻訳して第３文字列を出力するための第１翻訳回路と、前記第１翻訳回路から出力された前記第３文字列を第１翻訳音声に変換するための第１音声合成回路と、前記第２話者の第２音声を入力するための第２マイクと、前記第２音声を音声認識して第２文字列を出力するための第２音声認識回路と、前記第２音声認識回路から出力された前記第２文字列を前記第１話者の言語に翻訳して第４文字列を出力するための第２翻訳回路と、前記第２翻訳回路から出力された前記第４文字列を第２翻訳音声に変換するための第２音声合成回路と、前記第１音声合成回路が出力する前記第１翻訳音声と前記第２音声合成回路が出力する前記第２翻訳音声とを加算して加算翻訳音声を出力する加算回路と、前記加算回路が出力する加算翻訳音声を拡声するためのスピーカと、前記スピーカから拡声された前記加算翻訳音声が前記第２マイクに入力される現象を第５エコーとしたとき、前記加算翻訳音声と前記第５エコーに対応する前記第５伝達関数とを用いて、前記第５エコーを示す第５エコー信号を推定し、前記第５エコー信号を、前記第２マイクの出力信号から除去する第５エコーキャンセラと、前記スピーカから拡声された前記加算翻訳音声が前記第１マイクに入力される現象を第６エコーとしたとき、前記加算翻訳音声と前記第６エコーに対応する前記第６伝達関数とを用いて、前記第６エコーを示す第６エコー信号を推定し、前記第６エコー信号を、前記第１マイクの出力信号から除去する第６エコーキャンセラと、制御回路とを備え、前記制御回路は、前記第１音声合成回路が前記第１翻訳音声を出力し、又は前記第２音声合成回路が前記第２翻訳音声を出力している期間に、前記第５エコーキャンセラに、前記第５エコー信号を推定する伝達関数を更新させ、前記第１音声合成回路が前記第１翻訳音声を出力し、又は前記第２音声合成回路が前記第２翻訳音声を出力している期間に、前記第６エコーキャンセラに、前記第６エコー信号を推定する伝達関数を更新させる。
　本開示における翻訳方法は、第１話者と第２話者とによる会話において、自分の言語を相手の言語に翻訳して合成音声を拡声する翻訳方法であって、前記第１話者の第１音声を入力するための第１入力ステップと、前記第１音声を音声認識して第１文字列を出力するための第１音声認識ステップと、前記第１音声認識ステップから出力された前記第１文字列を前記第２話者の言語に翻訳して第３文字列を出力するための第１翻訳ステップと、前記第１翻訳ステップから出力された前記第３文字列を第１翻訳音声に変換するための第１音声合成ステップと、前記第１翻訳音声を拡声するための第１拡声ステップと、前記第２話者の第２音声を入力するための第２入力ステップと、前記第２音声を音声認識して第２文字列を出力するための第２音声認識ステップと、前記第２音声認識ステップから出力された前記第２文字列を前記第１話者の言語に翻訳して第４文字列を出力するための第２翻訳ステップと、前記第２翻訳ステップから出力された前記第４文字列を第２翻訳音声に変換するための第２音声合成ステップと、前記第２翻訳音声を拡声するための第２拡声ステップと、前記第１拡声ステップにて拡声された前記第１翻訳音声が前記第２入力ステップにて入力される現象を第１エコーとしたとき、前記第１翻訳音声と前記第１エコーに対応する第１伝達関数とを用いて、前記第１エコーを示す第１エコー信号を推定し、前記第１エコー信号を、前記第２入力ステップの出力信号から除去する第１エコーキャンセラステップと、前記第２拡声ステップにて拡声された前記第２翻訳音声が前記第１入力ステップにて入力される現象を第２エコーとしたとき、前記第２翻訳音声と前記第２エコーに対応する第２伝達関数とを用いて、前記第２エコーを示す第２エコー信号を推定し、前記第２エコー信号を、前記第１入力ステップの出力信号から除去する第２エコーキャンセラステップと、前記第１音声合成ステップにて前記第１翻訳音声を出力している期間に、前記第１エコーキャンセラステップにおいて、前記第１エコー信号を推定する前記第１伝達関数を更新し、前記第２音声合成ステップにて前記第２翻訳音声を出力している期間に、前記第２エコーキャンセラステップにおいて、前記第２エコー信号を推定する前記第２伝達関数を更新するように指示を与える制御ステップとを含む。
　また、本開示における翻訳方法は、第１話者と第２話者とによる会話において、自分の言語を相手の言語に翻訳して合成音声を拡声する翻訳方法であって、前記第１話者の第１音声を入力するための第１入力ステップと、前記第１音声を音声認識して第１文字列を出力するための第１音声認識ステップと、前記第１音声認識ステップから出力された前記第１文字列を前記第２話者の言語に翻訳して第３文字列を出力するための第１翻訳ステップと、前記第１翻訳ステップから出力された前記第３文字列を第１翻訳音声に変換するための第１音声合成ステップと、前記第１翻訳音声を拡声するための第１拡声ステップと、前記第２話者の第２音声を入力するための第２入力ステップと、前記第２音声を音声認識して第２文字列を出力するための第２音声認識ステップと、前記第２音声認識ステップから出力された前記第２文字列を前記第１話者の言語に翻訳して第４文字列を出力するための第２翻訳ステップと、前記第２翻訳ステップから出力された前記第４文字列を第２翻訳音声に変換するための第２音声合成ステップと、前記第２翻訳音声を拡声するための第２拡声ステップと、前記第１拡声ステップにて出力された前記第１翻訳音声が前記第１入力ステップにて入力される現象を第３エコーとしたとき、前記第１翻訳音声と前記第３エコーに対応する第３伝達関数とを用いて、前記第３エコーを示す第３エコー信号を推定し、前記第３エコー信号を、前記第１入力ステップの出力信号から除去する第３エコーキャンセラステップと、前記第２拡声ステップにて出力された前記第２翻訳音声が前記第２入力ステップにて入力される現象を第４エコーとしたとき、前記第２翻訳音声と前記第４エコーに対応する第４伝達関数とを用いて、前記第４エコーを示す第４エコー信号を推定し、前記第４エコー信号を、前記第２入力ステップの出力信号から除去する第４エコーキャンセラステップと、前記第１音声合成ステップにて前記第１翻訳音声を出力している期間に、前記第３エコーキャンセラステップにおいて、前記第３エコー信号を推定する前記第３伝達関数を更新し、前記第２音声合成ステップから前記第２翻訳音声を出力している期間に、前記第４エコーキャンセラステップにおいて、前記第４エコー信号を推定する前記第４伝達関数を更新するように指示を与える制御ステップとを含む。
　本開示における翻訳装置及び翻訳方法は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコーを含む音響的雑音を除去することで、安定して音声認識しながら、相互に会話を行うのに有効である。
図１は、実施の形態１における翻訳装置の適用例を示す図である。 図２は、実施の形態１における翻訳装置の構成を示すブロック図である。 図３は、第１エコーキャンセラと第３エコーキャンセラとの伝達関数の更新についてのフローチャートである。 図４は、第２エコーキャンセラと第４エコーキャンセラとの伝達関数の更新についてのフローチャートである。 図５は、実施の形態２における翻訳装置の構成を示すブロック図である。 図６は、実施の形態３における翻訳装置の構成を示すブロック図である。 図７は、実施の形態１～３のうち、最適な構成を選択するフローチャートである。 図８は、実施の形態４における翻訳装置の構成を示すブロック図である。 図９は、実施の形態５における翻訳装置の構成を示すブロック図である。 図１０は、実施の形態６における翻訳装置の構成を示すブロック図である。 図１１は、翻訳装置の使用状態の一例を示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　（実施の形態１）
　以下、図１及び図２を用いて、実施の形態１を説明する。
　［１－１．適用例］
　図１は、実施の形態１における翻訳装置２０の適用例を示す図である。ここでは、翻訳装置２０をカウンター１０をはさんで向かい合う第１話者１１と第２話者１２との会話を翻訳して拡声する装置として適用した例が示されている。
　翻訳装置２０は、第１話者１１（ここでは、客）と第２話者１２（ここでは、受け付け）とによる会話を翻訳して拡声する装置である。カウンター１０には、第１話者１１の音声（第１音声）を入力するための第１マイク２１が設けられ、第２話者１２側には、その音声を翻訳装置２０で翻訳して出力するための第１スピーカ２２が設けられている。また、第２話者１２側には、第２話者１２の音声（第２音声）を入力するための第２マイク２３が設けられ、第１話者１１側には、その音声を翻訳装置２０で翻訳して出力するための第２スピーカ２４が設けられている。さらに、翻訳装置２０は、第１表示回路２５、第２表示回路２６、第１カメラ２９１及び第２カメラ２９２が設けられている。
　例えば、第１話者１１が第１マイク２１に向かって「Hello」と発声すると、その音声が翻訳装置２０で翻訳されて、第１スピーカ２２から「こんにちは」と拡声される。それを受けて次に第２話者１２が第２マイク２３に向かって「いらっしゃいませ」と発声すると、その音声が翻訳装置２０で翻訳されて、第２スピーカ２４から「Hello! May I help you?」と拡声される。また、第１表示回路２５及び第２表示回路２６は、第１話者１１と第２話者１２の発声である「Hello」「こんにちは」「いらっしゃいませ」「Hello! May I help you?」の文字列を表示する。
　第１話者１１と第２話者１２とは、翻訳装置２０を用いることで、一つの狭い空間であっても、エコー（反響）及びクロストーク（漏話）を含む音響的雑音が除去された音声により正確な音声認識を行うことができるため、会話を楽しむことができる。
　エコーとは、以下の２現象を指す。ある話者に向けてスピーカから出力された音声が、その話者の音声を入力するためのマイクに回り込んで入力される現象、及び、ある話者に向けてスピーカから出力された音声が、その話者以外の音声を入力するためのマイクに回り込んで入力される現象である。具体的に、ここでは、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される現象を第１エコー１３、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される現象を第２エコー１４と定義する。さらに、第１スピーカ２２から出力された音声が第１マイク２１に回り込んで入力される現象を第３エコー１５、及び、第２スピーカ２４から出力された音声が第２マイク２３に回り込んで入力される現象を第４エコー１６と定義する。
　また、クロストークとは、ある話者の音声がその話者以外の音声を入力するためのマイクに入力される現象である。具体的に、ここでは、第１話者１１の音声が第２マイク２３に入力される現象を第１クロストーク１７、及び、第２話者１２の音声が第１マイク２１に入力される現象を第２クロストーク１８と定義する。
　［１－２．構成］
　図２は、図１に示された実施の形態１における翻訳装置２０の構成を示すブロック図である。この翻訳装置２０は、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１表示回路２５、第２表示回路２６、第１言語選択回路２７、第２言語選択回路２８、第１エコーキャンセラ４０、第２エコーキャンセラ５０、第３エコーキャンセラ６０、第４エコーキャンセラ７０、第１クロストークキャンセラ８０、第２クロストークキャンセラ９０、第１音声認識回路３１、第２音声認識回路３２、第１翻訳回路３３、第２翻訳回路３４、第１音声合成回路３５、第２音声合成回路３６、制御回路３７及び映像信号発生回路３８を備える。また、翻訳装置２０は、図示しないが、バスを介して相互に接続されるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を備えていてもよい。また、図１に示した処理装置２０１には、第１エコーキャンセラ４０、第２エコーキャンセラ５０、第３エコーキャンセラ６０、第４エコーキャンセラ７０、第１クロストークキャンセラ８０、第２クロストークキャンセラ９０、第１音声認識回路３１、第２音声認識回路３２、第１翻訳回路３３、第２翻訳回路３４、第１音声合成回路３５、第２音声合成回路３６、制御回路３７及び映像信号発生回路３８が含まれる。なお、翻訳装置２０の各構成要素は、それぞれが有線又は無線で接続されている。
　第１マイク２１は、第１話者１１の第１音声を入力するためのマイクであり、例えば、図１に示されるように、カウンター１０の客側（ここでは、第１話者１１側）に向かって設けられる。なお、第１マイク２１から出力される出力信号は、例えば、第１マイク２１に内蔵又は直後に設けられたＡ／Ｄ変換器で生成されるデジタル音声データである。また、第１マイク２１は、指向性を備えていてもよい。指向性とは、特定の方向からの音を収音することができる機能である。
　第１スピーカ２２は、第１翻訳音声を拡声する。［１－３．動作］にて詳細は後述するが、第１翻訳音声とは、第１話者１１の言語である第１音声が、翻訳装置２０により第２話者１２の言語へ翻訳された音声である。第１スピーカ２２は、例えば、図１に示されるように、カウンター１０の受け付け側（ここでは、第２話者１２側）に設けられる。なお、第１スピーカ２２は、例えば、入力されたデジタル音声データを第１スピーカ２２に内蔵又は直前に設けられたＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
　第２マイク２３は、第２話者１２の第２音声を入力するためのマイクであり、例えば、図１に示されるように、カウンター１０の受け付け側（ここでは、第２話者１２側）に向かって設けられる。なお、第２マイク２３から出力される出力信号は、例えば、第２マイク２３に内蔵又は直後に設けられたＡ／Ｄ変換器で生成されるデジタル音声データである。また、第２マイク２３は、指向性を備えていてもよい。指向性とは、特定の方向からの音を収音することができる機能である。
　第２スピーカ２４は、第２翻訳音声を拡声する。［１－３．動作］にて詳細は後述するが、第２翻訳音声とは、第２話者１２の言語である第２音声が、翻訳装置２０により第１話者１１の言語へ翻訳された音声である。第２スピーカ２４は、例えば、図１に示されるように、カウンター１０の客側（ここでは、第１話者１１側）に向かって設けられる。なお、第２スピーカ２４は、例えば、入力されたデジタル音声データを第２スピーカ２４に内蔵又は直前に設けられたＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
　第１表示回路２５は、第１話者１１の音声を認識及び翻訳した結果の文字列、及び第２話者１２の音声を認識した結果の文字列を表示するための表示回路であり、第２話者１２が視認できる位置に配置される。第１表示回路２５は、例えば、液晶ディスプレイ又は有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどであってもよく、また、タブレット端末やスマートフォンやパーソナルコンピュータなどであってもよい。さらに、第１表示回路２５は、タッチパネル機能を有していてもよい。
　第２表示回路２６は、第２話者１２の音声を認識及び翻訳した結果の文字列、及び第１話者１１の音声を認識した結果の文字列を表示するための表示回路であり、第１話者１１が視認できる位置に配置される。第２表示回路２６は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイなどであってもよく、また、タブレット端末やスマートフォンやパーソナルコンピュータなどであってもよい。さらに、第２表示回路２６は、タッチパネル機能を有していてもよい。
　第１言語選択回路２７は、第１話者１１から第１話者１１が用いる第１言語の選択を受け付け、制御回路３７に通知する。第１言語選択回路２７は、例えば、第１話者１１の音声の言語の種類である第１言語を設定するスイッチであり、第１話者１１が選択できる位置に配置される。また、第１言語選択回路２７は、第１表示回路２５がタッチパネル機能を備える場合、第１表示回路２５に含まれていてもよい。
　第２言語選択回路２８は、第２話者１２から第２話者１２が用いる第２言語の選択を受け付け、制御回路３７に通知する。第２言語選択回路２８は、例えば、第２話者１２の音声の言語の種類である第２言語を設定するスイッチであり、第２話者１２が選択できる位置に配置される。また、第２言語選択回路２８は、第２表示回路２６がタッチパネル機能を備える場合、第２表示回路２６に含まれていてもよい。
　ＣＰＵは、ＲＯＭに格納されたプログラムを実行するプロセッサである。ＲＯＭは、例えば、ＣＰＵによって読み出されて実行されるプログラムを保持している。ＣＰＵは、このプログラムを実行することによって後述する回路の処理を実行する。ＲＡＭは、ＣＰＵがプログラムを実行するときに使用する記憶領域等を有する読み書き可能なメモリである。
　また、以下に記す回路（第１音声認識回路３１、第２音声認識回路３２、第１翻訳回路３３、第２翻訳回路３４、第１音声合成回路３５、第２音声合成回路３６、制御回路３７及び映像信号発生回路３８）の処理は、プロセッサによって実現される。
　第１音声認識回路３１は、第１話者１１の第１音声を音声認識して第１文字列を出力する。また、第１音声認識回路３１は、第１話者１１の第１音声を音声認識した結果である第１文字列を第１翻訳回路３３と制御回路３７とに出力する。
　第２音声認識回路３２は、第２話者１２の第２音声を音声認識して第２文字列を出力する。また、第２音声認識回路３２は、第２話者１２の第２音声を音声認識した結果である第２文字列を第２翻訳回路３４と制御回路３７とに出力する。
　第１翻訳回路３３は、第１音声認識回路３１から出力された第１文字列を第２話者１２の言語に翻訳して第３文字列を出力する。また、第１翻訳回路３３は、第３文字列を第１音声合成回路３５と制御回路３７とに出力する。
　第２翻訳回路３４は、第２音声認識回路３２から出力された第２文字列を第１話者１１の言語に翻訳して第４文字列を出力する。また、第２翻訳回路３４は、第４文字列を第２音声合成回路３６と制御回路３７とに出力する。
　第１音声合成回路３５は、第１翻訳回路３３から出力された第３文字列を第１翻訳音声に変換する。また、第１音声合成回路３５は、第１翻訳音声を、第１スピーカ２２、第１エコーキャンセラ４０及び第３エコーキャンセラ６０に出力する。
　第２音声合成回路３６は、第２翻訳回路３４から出力された第４文字列を第２翻訳音声に変換する。また、第２音声合成回路３６は、第２翻訳音声を、第２スピーカ２４、第２エコーキャンセラ５０及び第４エコーキャンセラ７０に出力する。
　制御回路３７は、第１音声合成回路３５が第１翻訳音声を出力している期間に、第１エコーキャンセラ４０に、第１エコー信号を推定する第１伝達関数を更新させ、第２音声合成回路３６が第２翻訳音声を出力している期間に、第２エコーキャンセラ５０に、第２エコー信号を推定する第２伝達関数を更新させる。なお、詳細は後述するが、第１伝達関数は、第１エコーキャンセラ４０に含まれる第１伝達関数記憶回路４４が、記憶している。同じく、第２伝達関数は、第２エコーキャンセラ５０に含まれる第２伝達関数記憶回路５４が、記憶している。
　また、制御回路３７は、第１音声合成回路３５が第１翻訳音声を出力している期間に、第３エコーキャンセラ６０に、第３エコー信号を推定する第３伝達関数を更新させ、第２音声合成回路３６が第２翻訳音声を出力している期間に、第４エコーキャンセラ７０に、第４エコー信号を推定する第４伝達関数を更新させる。なお、詳細は後述するが、第３伝達関数は、第３エコーキャンセラ６０に含まれる第３伝達関数記憶回路６４が、記憶している。同じく、第４伝達関数は、第４エコーキャンセラ７０に含まれる第４伝達関数記憶回路７４が、記憶している。
　つまり、制御回路３７は、第１音声合成回路３５が第１翻訳音声を出力していない期間には、第１エコーキャンセラ４０及び第３エコーキャンセラ６０に、第１伝達関数及び第３伝達関数を更新させない。また、制御回路３７は、第２音声合成回路３６が第２翻訳音声を出力していない期間には、第２エコーキャンセラ５０及び第４エコーキャンセラ７０に、第２伝達関数及び第４伝達関数を更新させない。
　さらに、制御回路３７は、第１言語選択回路２７から通知された第１言語と第２言語選択回路２８から通知された第２言語とに基づいて、第１音声認識回路３１に第１言語を音声認識させ、第２音声認識回路３２に第２言語を音声認識させ、第１翻訳回路３３に第１言語から第２言語に翻訳させ、第２翻訳回路３４に第２言語から第１言語に翻訳させ、第１音声合成回路３５に第２言語で音声合成させ、第２音声合成回路３６に第１言語で音声合成させる。
　映像信号発生回路３８は、第１音声認識回路３１が出力した第１話者１１の音声の認識結果である第１言語の第１文字列、第１翻訳回路３３が出力した第１話者１１の第１言語の音声を第２言語の文字に変換した第３文字列、第２音声認識回路３２が出力した第２話者１２の音声の認識結果である第２言語の第２文字列、及び第２翻訳回路３４が出力した第２話者１２の第２言語の音声を第１言語の文字に変換した第４文字列を制御回路３７から入力される。
　さらに、映像信号発生回路３８は、第１音声認識回路３１が出力した第１話者１１の音声の認識結果である第１言語の第１文字列、及び第２翻訳回路３４が出力した第２話者１２の第２言語の音声を第１言語に変換した第４文字列を第２表示回路２６に出力する。また、映像信号発生回路３８は、第２音声認識回路３２が出力した第２話者１２の音声の認識結果である第２言語の第２文字列、及び第１翻訳回路３３が出力した第１話者１１の第１言語の音声を第２言語に変換した第３文字列を、第１表示回路２５に出力する。
　［１－２－１．第１エコーキャンセラ４０］
　第１エコーキャンセラ４０は、第１スピーカ２２から拡声された第１翻訳音声が第２マイク２３に入力される現象を第１エコー１３としたとき、第１翻訳音声と第１エコー１３に対応する第１伝達関数とを用いて、第１エコー１３を示す第１エコー信号を推定し、第１エコー信号を、第２マイク２３の出力信号から除去する回路である。ここで、第１エコー信号とは、第１エコー１３の程度を示す信号である。
　本実施の形態では、第１エコーキャンセラ４０は、第２マイク２３の出力信号から、第１エコー信号を除去し、除去後の信号を第４エコーキャンセラ７０に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第１エコーキャンセラ４０は、第１伝達関数記憶回路４４、第１記憶回路４２、第１畳み込み演算器４３、第１減算器４１、及び、第１伝達関数更新回路４５を有する。
　第１伝達関数記憶回路４４は、第１エコー１３に対応する第１伝達関数を記憶する。
　第１記憶回路４２は、第１音声合成回路３５の出力信号を記憶する。
　第１畳み込み演算器４３は、第１記憶回路４２に記憶された信号と第１伝達関数記憶回路４４に記憶された第１伝達関数とを畳み込むことで第１妨害信号（すなわち第１エコー信号）を生成する。例えば、第１畳み込み演算器４３は、以下の式１に示される畳み込み演算を行うＮタップのＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタである。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｙ１’ｔは、時刻ｔにおける第１妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ１（ｉ）ｔは、時刻ｔにおいて第１伝達関数記憶回路４４に記憶されたＮ個の第１伝達関数のうちのｉ番目の第１伝達関数である。ｘ１（ｔ－ｉ）は、第１記憶回路４２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第１減算器４１は、第２マイク２３の出力信号から、第１畳み込み演算器４３から出力された第１妨害信号を除去し、第１エコーキャンセラ４０の出力信号として出力する。例えば、第１減算器４１は、以下の式２に示される減算を行う。
（数２）
ｅ１ｔ＝ｙ１ｔ－ｙ１’ｔ・・・（式２）
　ここで、ｅ１ｔは、時刻ｔにおける第１減算器４１の出力信号である。ｙ１ｔは、時刻ｔにおける第２マイク２３の出力信号である。
　第１伝達関数更新回路４５は、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とに基づいて第１伝達関数記憶回路４４に記憶された第１伝達関数を更新する。例えば、第１伝達関数更新回路４５は、以下の式３に示されるように、独立成分分析を用いて、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とに基づいて、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とが相互に独立となるように、第１伝達関数記憶回路４４に記憶された第１伝達関数を更新する。
（数３）
Ｈ１（ｊ）ｔ＋１＝Ｈ１（ｊ）ｔ＋α１×φ１（ｅ１ｔ）×ｘ１（ｔ－ｊ）・・・（式３）
　ここで、Ｈ１（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第１伝達関数記憶回路４４に記憶されるＮ個の第１伝達関数のうちのｊ番目の第１伝達関数である。Ｈ１（ｊ）ｔは、時刻ｔ（つまり、更新前の）第１伝達関数記憶回路４４に記憶されたＮ個の第１伝達関数のうちのｊ番目の第１伝達関数である。α１は、第１エコー１３の第１伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ１は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第１伝達関数更新回路４５は、第１減算器４１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第１記憶回路４２に記憶された信号と、第１エコー１３の第１伝達関数の推定における学習速度を制御するための第１ステップサイズパラメータとを乗じることで第１更新係数を算出する。そして、算出した第１更新係数を第１伝達関数記憶回路４４に記憶された第１伝達関数に加算することで更新を行う。
　また、制御回路３７は、第１音声合成回路３５が第１翻訳音声を出力している期間に、第１エコーキャンセラ４０に、第１エコー信号を推定する第１伝達関数を更新させる。つまり第１エコー１３が存在する期間に、上記式３に示される第１伝達関数の更新式に基づいて第１伝達関数が更新される。
　［１－２－２．第２エコーキャンセラ５０］
　第２エコーキャンセラ５０は、第２スピーカ２４から拡声された第２翻訳音声が第１マイク２１に入力される現象を第２エコー１４としたとき、第２翻訳音声と第２エコー１４に対応する第２伝達関数とを用いて、第２エコー１４を示す第２エコー信号を推定し、第２エコー信号を、第１マイク２１の出力信号から除去する回路である。ここで、第２エコー信号とは、第２エコー１４の程度を示す信号である。
　本実施の形態では、第２エコーキャンセラ５０は、第１マイク２１の出力信号から、第２エコー信号を除去し、除去後の信号を第３エコーキャンセラ６０に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第２エコーキャンセラ５０は、第２伝達関数記憶回路５４、第２記憶回路５２、第２畳み込み演算器５３、第２減算器５１、及び、第２伝達関数更新回路５５を有する。
　第２伝達関数記憶回路５４は、第２エコー１４に対応する第２伝達関数を記憶する。
　第２記憶回路５２は、第２音声合成回路３６の出力信号を記憶する。
　第２畳み込み演算器５３は、第２記憶回路５２に記憶された信号と第２伝達関数記憶回路５４に記憶された第２伝達関数とを畳み込むことで第２妨害信号（すなわち第２エコー信号）を生成する。例えば、第２畳み込み演算器５３は、以下の式４に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｙ２’ｔは、時刻ｔにおける第２妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ２（ｉ）ｔは、時刻ｔにおいて第２伝達関数記憶回路５４に記憶されたＮ個の第２伝達関数のうちのｉ番目の第２伝達関数である。ｘ２（ｔ－ｉ）は、第２記憶回路５２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第２減算器５１は、第１マイク２１の出力信号から、第２畳み込み演算器５３から出力された第２妨害信号を除去し、第２エコーキャンセラ５０の出力信号として出力する。例えば、第２減算器５１は、以下の式５に示される減算を行う。
（数５）
ｅ２ｔ＝ｙ２ｔ－ｙ２’ｔ・・・（式５）
　ここで、ｅ２ｔは、時刻ｔにおける第２減算器５１の出力信号である。ｙ２ｔは、時刻ｔにおける第１マイク２１の出力信号である。
　第２伝達関数更新回路５５は、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とに基づいて第２伝達関数記憶回路５４に記憶された第２伝達関数を更新する。例えば、第２伝達関数更新回路５５は、以下の式６に示されるように、独立成分分析を用いて、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とに基づいて、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とが相互に独立となるように、第２伝達関数記憶回路５４に記憶された第２伝達関数を更新する。
（数６）
Ｈ２（ｊ）ｔ＋１＝Ｈ２（ｊ）ｔ＋α２×φ２（ｅ２ｔ）×ｘ２（ｔ－ｊ）・・・（式６）
　ここで、Ｈ２（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第２伝達関数記憶回路５４に記憶されるＮ個の第２伝達関数のうちのｊ番目の第２伝達関数である。Ｈ２（ｊ）ｔは、時刻ｔ（つまり、更新前の）第２伝達関数記憶回路５４に記憶されたＮ個の第２伝達関数のうちのｊ番目の第２伝達関数である。α２は、第２エコー１４の第２伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ２は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第２伝達関数更新回路５５は、第２減算器５１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第２記憶回路５２に記憶された信号と、第２エコー１４の第２伝達関数の推定における学習速度を制御するための第２ステップサイズパラメータとを乗じることで第２更新係数を算出する。そして、算出した第２更新係数を第２伝達関数記憶回路５４に記憶された第２伝達関数に加算することで更新を行う。
　また、制御回路３７は、第２音声合成回路３６が第２翻訳音声を出力している期間に、第２エコーキャンセラ５０に、第２エコー信号を推定する第２伝達関数を更新させる。つまり第２エコー１４が存在する期間に、上記式６に示される第２伝達関数の更新式に基づいて第２伝達関数が更新される。
　［１－２－３．第３エコーキャンセラ６０］
　第３エコーキャンセラ６０は、第１スピーカ２２から出力された第１翻訳音声が第１マイク２１に入力される現象を第３エコー１５としたとき、第１翻訳音声と第３エコー１５に対応する第３伝達関数とを用いて、第３エコー１５を示す第３エコー信号を推定し、第３エコー信号を、第１マイク２１の出力信号から除去する回路である。ここで、第３エコー信号とは、第３エコー１５の程度を示す信号である。
　本実施の形態では、第３エコーキャンセラ６０は、第２エコーキャンセラ５０の出力信号から、第３エコー信号を除去し、除去後の信号を第２クロストークキャンセラ９０に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第３エコーキャンセラ６０は、第３伝達関数記憶回路６４、第３記憶回路６２、第３畳み込み演算器６３、第３減算器６１、及び、第３伝達関数更新回路６５を有する。
　第３伝達関数記憶回路６４は、第３エコー１５に対応する第３伝達関数を記憶する。
　第３記憶回路６２は、第１音声合成回路３５の出力信号を記憶する。
　第３畳み込み演算器６３は、第３記憶回路６２に記憶された信号と第３伝達関数記憶回路６４に記憶された第３伝達関数とを畳み込むことで第３妨害信号（すなわち第３エコー信号）を生成する。例えば、第３畳み込み演算器６３は、以下の式７に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｙ３’ｔは、時刻ｔにおける第３妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ３（ｉ）ｔは、時刻ｔにおいて第３伝達関数記憶回路６４に記憶されたＮ個の第３伝達関数のうちのｉ番目の第３伝達関数である。ｘ３（ｔ－ｉ）は、第３記憶回路６２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第３減算器６１は、第２エコーキャンセラ５０の出力信号から、第３畳み込み演算器６３から出力された第３妨害信号を除去し、第３エコーキャンセラ６０の出力信号として出力する。例えば、第３減算器６１は、以下の式８に示される減算を行う。
（数８）
ｅ３ｔ＝ｙ３ｔ－ｙ３’ｔ・・・（式８）
　ここで、ｅ３ｔは、時刻ｔにおける第３減算器６１の出力信号である。ｙ３ｔは、時刻ｔにおける第２エコーキャンセラ５０の出力信号である。
　第３伝達関数更新回路６５は、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とに基づいて第３伝達関数記憶回路６４に記憶された第３伝達関数を更新する。例えば、第３伝達関数更新回路６５は、以下の式９に示されるように、独立成分分析を用いて、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とに基づいて、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とが相互に独立となるように、第３伝達関数記憶回路６４に記憶された第３伝達関数を更新する。
（数９）
Ｈ３（ｊ）ｔ＋１＝Ｈ３（ｊ）ｔ＋α３×φ３（ｅ３ｔ）×ｘ３（ｔ－ｊ）・・・（式９）
　ここで、Ｈ３（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第３伝達関数記憶回路６４に記憶されるＮ個の第３伝達関数のうちのｊ番目の第３伝達関数である。Ｈ３（ｊ）ｔは、時刻ｔ（つまり、更新前の）第３伝達関数記憶回路６４に記憶されたＮ個の第３伝達関数のうちのｊ番目の第３伝達関数である。α３は、第３エコー１５の第３伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ３は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第３伝達関数更新回路６５は、第３減算器６１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第３記憶回路６２に記憶された信号と、第３エコー１５の第３伝達関数の推定における学習速度を制御するための第３ステップサイズパラメータとを乗じることで第３更新係数を算出する。そして、算出した第３更新係数を第３伝達関数記憶回路６４に記憶された第３伝達関数に加算することで更新を行う。
　また、制御回路３７は、第１音声合成回路３５が第１翻訳音声を出力している期間に、第３エコーキャンセラ６０に、第３エコー信号を推定する第３伝達関数を更新させる。つまり第３エコー１５が存在する期間に、上記式９に示される第３伝達関数の更新式に基づいて第３伝達関数が更新される。
　［１－２－４．第４エコーキャンセラ７０］
　第４エコーキャンセラ７０は、第２スピーカ２４から拡声された第２翻訳音声が第２マイク２３に入力される現象を第４エコー１６としたとき、第２翻訳音声と第４エコー１６に対応する第４伝達関数とを用いて、第４エコー１６を示す第４エコー信号を推定し、第４エコー信号を、第２マイク２３の出力信号から除去する回路である。ここで、第４エコー信号とは、第４エコー１６の程度を示す信号である。
　本実施の形態では、第４エコーキャンセラ７０は、第１エコーキャンセラ４０の出力信号から、第４エコー信号を除去し、除去後の信号を第１クロストークキャンセラ８０に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第４エコーキャンセラ７０は、第４伝達関数記憶回路７４、第４記憶回路７２、第４畳み込み演算器７３、第４減算器７１、及び、第４伝達関数更新回路７５を有する。
　第４伝達関数記憶回路７４は、第４エコー１６に対応する第４伝達関数を記憶する。
　第４記憶回路７２は、第２音声合成回路３６の出力信号を記憶する。
　第４畳み込み演算器７３は、第４記憶回路７２に記憶された信号と第４伝達関数記憶回路７４に記憶された第４伝達関数とを畳み込むことで第４妨害信号（すなわち第４エコー信号）を生成する。例えば、第４畳み込み演算器７３は、以下の式１０に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｙ４’ｔは、時刻ｔにおける第４妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ４（ｉ）ｔは、時刻ｔにおいて第４伝達関数記憶回路７４に記憶されたＮ個の第４伝達関数のうちのｉ番目の第４伝達関数である。ｘ４（ｔ－ｉ）は、第４記憶回路７２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第４減算器７１は、第１エコーキャンセラ４０の出力信号から、第４畳み込み演算器７３から出力された第４妨害信号を除去し、第４エコーキャンセラ７０の出力信号として出力する。例えば、第４減算器７１は、以下の式１１に示される減算を行う。
（数１１）
ｅ４ｔ＝ｙ４ｔ－ｙ４’ｔ・・・（式１１）
　ここで、ｅ４ｔは、時刻ｔにおける第４減算器７１の出力信号である。ｙ４ｔは、時刻ｔにおける第１エコーキャンセラ４０の出力信号である。
　第４伝達関数更新回路７５は、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とに基づいて第４伝達関数記憶回路７４に記憶された第４伝達関数を更新する。例えば、第４伝達関数更新回路７５は、以下の式１２に示されるように、独立成分分析を用いて、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とに基づいて、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とが相互に独立となるように、第４伝達関数記憶回路７４に記憶された第４伝達関数を更新する。
（数１２）
Ｈ４（ｊ）ｔ＋１＝Ｈ４（ｊ）ｔ＋α４×φ４（ｅ４ｔ）×ｘ４（ｔ－ｊ）・・・（式１２）
　ここで、Ｈ４（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第４伝達関数記憶回路７４に記憶されるＮ個の第４伝達関数のうちのｊ番目の第４伝達関数である。Ｈ４（ｊ）ｔは、時刻ｔ（つまり、更新前の）第４伝達関数記憶回路７４に記憶されたＮ個の第４伝達関数のうちのｊ番目の第４伝達関数である。α４は、第４エコー１６の第４伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ４は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第４伝達関数更新回路７５は、第４減算器７１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第４記憶回路７２に記憶された信号と、第４エコー１６の第４伝達関数の推定における学習速度を制御するための第４ステップサイズパラメータとを乗じることで第４更新係数を算出する。そして、算出した第４更新係数を第４伝達関数記憶回路７４に記憶された第４伝達関数に加算することで更新を行う。
　また、制御回路３７は、第２音声合成回路３６が第２翻訳音声を出力している期間に、第４エコーキャンセラ７０に、第４エコー信号を推定する第４伝達関数を更新させる。つまり第４エコー１６が存在する期間に、上記式１２に示される第４伝達関数の更新式に基づいて第４伝達関数が更新される。
　［１－２－５．第１クロストークキャンセラ８０］
　第１クロストークキャンセラ８０は、第１音声が第２マイク２３に入力される現象を第１クロストーク１７としたとき、第１音声を用いて、第１クロストーク１７を示す第１クロストーク信号を推定し、第１クロストーク信号を、第２マイク２３の出力信号から除去する回路である。すなわち、第１音声に基づいた第２クロストークキャンセラ９０の出力信号を用いて、第１クロストーク１７の程度を示す第５妨害信号（すなわち第１クロストーク信号）を推定し、第５妨害信号を、第２マイク２３の出力信号に基づく第４エコーキャンセラ７０の出力信号から除去する回路である。
　本実施の形態では、第１クロストークキャンセラ８０は、第５妨害信号が除去された信号を第２音声認識回路３２に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。ここで、第２クロストークキャンセラ９０の出力信号は、図２に示すように、第１音声認識回路３１への入力信号である。
　より詳しくは、第１クロストークキャンセラ８０は、第５伝達関数記憶回路８４、第５記憶回路８２、第５畳み込み演算器８３、第５減算器８１、及び、第５伝達関数更新回路８５を有する。
　第５伝達関数記憶回路８４は、第１クロストーク１７の伝達関数として推定された第５伝達関数を記憶する。
　第５記憶回路８２は、第２クロストークキャンセラ９０の出力信号を記憶する。
　第５畳み込み演算器８３は、第５記憶回路８２に記憶された信号と第５伝達関数記憶回路８４に記憶された第５伝達関数とを畳み込むことで第５妨害信号を生成する。例えば、第５畳み込み演算器８３は、以下の式１３に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｙ５’ｔは、時刻ｔにおける第５妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ５（ｉ）ｔは、時刻ｔにおいて第５伝達関数記憶回路８４に記憶されたＮ個の第５伝達関数のうちのｉ番目の第５伝達関数である。ｘ５（ｔ－ｉ）は、第５記憶回路８２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第５減算器８１は、第４エコーキャンセラ７０の出力信号から、第５畳み込み演算器８３から出力された第５妨害信号を除去し、第１クロストークキャンセラ８０の出力信号として出力する。例えば、第５減算器８１は、以下の式１４に示される減算を行う。
（数１４）
ｅ５ｔ＝ｙ５ｔ－ｙ５’ｔ・・・（式１４）
　ここで、ｅ５ｔは、時刻ｔにおける第５減算器８１の出力信号である。ｙ５ｔは、時刻ｔにおける第４エコーキャンセラ７０の出力信号である。
　第５伝達関数更新回路８５は、第５減算器８１の出力信号と第５記憶回路８２に記憶された信号とに基づいて第５伝達関数記憶回路８４に記憶された第５伝達関数を更新する。例えば、第５伝達関数更新回路８５は、以下の式１５に示されるように、独立成分分析を用いて、第５減算器８１の出力信号と第５記憶回路８２に記憶された信号とに基づいて、第５減算器８１の出力信号と第５記憶回路８２に記憶された信号とが相互に独立となるように、第５伝達関数記憶回路８４に記憶された第５伝達関数を更新する。
（数１５）
Ｈ５（ｊ）ｔ＋１＝Ｈ５（ｊ）ｔ＋α５×φ５（ｅ５ｔ）×ｘ５（ｔ－ｊ）・・・（式１５）
　ここで、Ｈ５（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第５伝達関数記憶回路８４に記憶されるＮ個の第５伝達関数のうちのｊ番目の第５伝達関数である。Ｈ５（ｊ）ｔは、時刻ｔ（つまり、更新前の）第５伝達関数記憶回路８４に記憶されたＮ個の第５伝達関数のうちのｊ番目の第５伝達関数である。α５は、第１クロストーク１７の第５伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ５は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第５伝達関数更新回路８５は、第５減算器８１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第５記憶回路８２に記憶された信号と、第１クロストーク１７の第５伝達関数の推定における学習速度を制御するための第５ステップサイズパラメータとを乗じることで第５更新係数を算出する。そして、算出した第５更新係数を第５伝達関数記憶回路８４に記憶された第５伝達関数に加算することで更新を行う。
　なお、本実施の形態における翻訳装置２０では、第１話者１１の同一時刻における音声について、第２クロストークキャンセラ９０の出力信号が第１クロストークキャンセラ８０に入力される時刻は、第１話者１１の音声が第２マイク２３に入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第１クロストークキャンセラ８０が第１クロストーク１７をキャンセルできるように、因果律が保持されている。これは、第２クロストークキャンセラ９０の出力信号が第１クロストークキャンセラ８０に入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第２エコーキャンセラ５０での処理速度、第３エコーキャンセラ６０での処理速度、第２クロストークキャンセラ９０での処理速度等）と、第１話者１１の音声が第２マイク２３に入力される時刻を決定づける要因（第１話者１１と第２マイク２３との位置関係等）とを考慮することで適宜、実現し得る。
　［１－２－６．第２クロストークキャンセラ９０］
　第２クロストークキャンセラ９０は、第２音声が第１マイク２１に入力される現象を第２クロストーク１８としたとき、第２音声を用いて、第２クロストーク１８を示す第２クロストーク信号を推定し、第２クロストーク信号を、第１マイク２１の出力信号から除去する回路である。すなわち、第２音声に基づいた第１クロストークキャンセラ８０の出力信号を用いて、第２クロストーク１８の程度を示す第６妨害信号（すなわち第２クロストーク信号）を推定し、第６妨害信号を、第１マイク２１の出力信号に基づく第３エコーキャンセラ６０の出力信号から除去する回路である。
　本実施の形態では、第２クロストークキャンセラ９０は、第６妨害信号が除去された信号を第１音声認識回路３１に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。ここで、第１クロストークキャンセラ８０の出力信号は、図２に示すように、第２音声認識回路３２への入力信号である。
　より詳しくは、第２クロストークキャンセラ９０は、第６伝達関数記憶回路９４、第６記憶回路９２、第６畳み込み演算器９３、第６減算器９１、及び、第６伝達関数更新回路９５を有する。
　第６伝達関数記憶回路９４は、第２クロストーク１８の伝達関数として推定された第６伝達関数を記憶する。
　第６記憶回路９２は、第１クロストークキャンセラ８０の出力信号を記憶する。
　第６畳み込み演算器９３は、第６記憶回路９２に記憶された信号と第６伝達関数記憶回路９４に記憶された第６伝達関数とを畳み込むことで第６妨害信号を生成する。例えば、第６畳み込み演算器９３は、以下の式１６に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｙ６’ｔは、時刻ｔにおける第６妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ６（ｉ）ｔは、時刻ｔにおいて第６伝達関数記憶回路９４に記憶されたＮ個の第６伝達関数のうちのｉ番目の第６伝達関数である。ｘ６（ｔ－ｉ）は、第６記憶回路９２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第６減算器９１は、第３エコーキャンセラ６０の出力信号から、第６畳み込み演算器９３から出力された第６妨害信号を除去し、第２クロストークキャンセラ９０の出力信号として出力する。例えば、第６減算器９１は、以下の式１７に示される減算を行う。
（数１７）
ｅ６ｔ＝ｙ６ｔ－ｙ６’ｔ・・・（式１７）
　ここで、ｅ６ｔは、時刻ｔにおける第６減算器９１の出力信号である。ｙ６ｔは、時刻ｔにおける第３エコーキャンセラ６０の出力信号である。
　第６伝達関数更新回路９５は、第６減算器９１の出力信号と第６記憶回路９２に記憶された信号とに基づいて第６伝達関数記憶回路９４に記憶された第６伝達関数を更新する。例えば、第６伝達関数更新回路９５は、以下の式１８に示されるように、独立成分分析を用いて、第６減算器９１の出力信号と第６記憶回路９２に記憶された信号とに基づいて、第６減算器９１の出力信号と第６記憶回路９２に記憶された信号とが相互に独立となるように、第６伝達関数記憶回路９４に記憶された第６伝達関数を更新する。
（数１８）
Ｈ６（ｊ）ｔ＋１＝Ｈ６（ｊ）ｔ＋α６×φ６（ｅ６ｔ）×ｘ６（ｔ－ｊ）・・・（式１８）
　ここで、Ｈ６（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第６伝達関数記憶回路９４に記憶されるＮ個の第６伝達関数のうちのｊ番目の第６伝達関数である。Ｈ６（ｊ）ｔは、時刻ｔ（つまり、更新前の）第６伝達関数記憶回路９４に記憶されたＮ個の第６伝達関数のうちのｊ番目の第６伝達関数である。α６は、第２クロストーク１８の第６伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ６は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第６伝達関数更新回路９５は、第６減算器９１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第６記憶回路９２に記憶された信号と、第２クロストーク１８の第６伝達関数の推定における学習速度を制御するための第６ステップサイズパラメータとを乗じることで第６更新係数を算出する。そして、算出した第６更新係数を第６伝達関数記憶回路９４に記憶された第６伝達関数に加算することで更新を行う。
　なお、本実施の形態における翻訳装置２０では、第２話者１２の同一時刻における音声について、第１クロストークキャンセラ８０の出力信号が第２クロストークキャンセラ９０に入力される時刻は、第２話者１２の音声が第１マイク２１に入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第２クロストークキャンセラ９０が第２クロストーク１８をキャンセルできるように、因果律が保持されている。これは、第１クロストークキャンセラ８０の出力信号が第２クロストークキャンセラ９０に入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第１エコーキャンセラ４０での処理速度、第４エコーキャンセラ７０での処理速度、第１クロストークキャンセラ８０での処理速度等）と、第２話者１２の音声が第１マイク２１に入力される時刻を決定づける要因（第２話者１２と第１マイク２１との位置関係等）とを考慮することで適宜、実現し得る。
　［１－３．動作］
　以上のように構成された本実施の形態における翻訳装置２０は、次のように動作する。
　予め、第１言語選択回路２７及び第２言語選択回路２８は、第１話者１１から第１話者１１が用いる第１言語の選択及び第２話者１２から第２話者１２が用いる第２言語の選択を受け付け、制御回路３７に通知する。
　第１話者１１の音声は、第１マイク２１に入力される。また、第１話者１１の音声以外に、第２エコー１４、第３エコー１５及び第２クロストーク１８が、第１マイク２１に入力される。第１マイク２１の出力信号は、第２エコーキャンセラ５０において、第２妨害信号（すなわち第２エコー信号）が除去される。第２妨害信号は、第２エコー１４の程度を示す（推定された）信号である。よって、第２エコーキャンセラ５０の出力信号は、第１マイク２１に入力された音声から、第２エコー１４の影響が除去された音声を示す信号となる。
　続いて、第２エコーキャンセラ５０の出力信号は、第３エコーキャンセラ６０において、第３妨害信号（すなわち第３エコー信号）が除去される。第３妨害信号は、第３エコー１５の程度を示す（推定された）信号である。よって、第３エコーキャンセラ６０の出力信号は、第２エコーキャンセラ５０の出力信号から、第３エコー１５の影響が除去された信号となる。
　続いて、第３エコーキャンセラ６０の出力信号は、第２クロストークキャンセラ９０において、第６妨害信号（すなわち第２クロストーク信号）が除去される。第６妨害信号は、第２クロストーク１８の程度を示す（推定された）信号である。よって、第２クロストークキャンセラ９０の出力信号は、第３エコーキャンセラ６０の出力信号から、第２クロストーク１８の影響が除去された信号となり、第１音声認識回路３１及び第１クロストークキャンセラ８０に出力される。
　続いて、第１音声認識回路３１は、第１話者１１の音声から、第２エコーキャンセラ５０により第２エコー１４が除去され、第３エコーキャンセラ６０により第３エコー１５が除去され、第２クロストークキャンセラ９０により第２クロストーク１８が除去されたデジタル音声データを入力される。第１音声認識回路３１は、入力されたデジタル音声データに対し、制御回路３７から指示された第１話者１１の第１言語の情報に基づいて、音声認識を行った結果である第１文字列を第１翻訳回路３３及び制御回路３７に出力する。
　続いて、第１翻訳回路３３は、第１音声認識回路３１が出力した第１文字列を、制御回路３７から指示された第１話者１１の第１言語から第２話者１２の第２言語の第３文字列に変換し、変換した第３文字列を第１音声合成回路３５及び制御回路３７に出力する。
　続いて、第１音声合成回路３５は、第１翻訳回路３３が出力した第２言語の第３文字列を、制御回路３７から指示された第２言語の情報に基づいて、第２言語の出力信号に変換し、第２言語の出力信号を第１スピーカ２２、第１エコーキャンセラ４０、及び第３エコーキャンセラ６０に出力し、第２言語の出力信号出力期間の情報を制御回路３７に出力する。
　第１音声合成回路３５が出力した第２言語の出力信号が第１スピーカ２２に入力され、第１翻訳音声となって出力される。
　同様に、第２話者１２の音声は、第２マイク２３に入力される。また、第２話者１２の音声以外に、第１エコー１３、第４エコー１６及び第１クロストーク１７が、第２マイク２３に入力される。第２マイク２３の出力信号は、第１エコーキャンセラ４０において、第１妨害信号（すなわち第１エコー信号）が除去される。第１妨害信号は、第１エコー１３の程度を示す（推定された）信号である。よって、第１エコーキャンセラ４０の出力信号は、第２マイク２３に入力された音声から、第１エコー１３の影響が除去された音声を示す信号となる。
　続いて、第１エコーキャンセラ４０の出力信号は、第４エコーキャンセラ７０において、第４妨害信号（すなわち第４エコー信号）が除去される。第４妨害信号は、第４エコー１６の程度を示す（推定された）信号である。よって、第４エコーキャンセラ７０の出力信号は、第１エコーキャンセラ４０の出力信号から、第４エコー１６の影響が除去された信号となる。
　続いて、第４エコーキャンセラ７０の出力信号は、第１クロストークキャンセラ８０において、第５妨害信号（すなわち第１クロストーク信号）が除去される。第５妨害信号は、第１クロストーク１７の程度を示す（推定された）信号である。よって、第１クロストークキャンセラ８０の出力信号は、第４エコーキャンセラ７０の出力信号から、第１クロストーク１７の影響が除去された信号となり、第２音声認識回路３２及び第２クロストークキャンセラ９０に出力される。
　続いて、第２音声認識回路３２は、第２話者１２の音声から、第１エコーキャンセラ４０により第１エコー１３が除去され、第４エコーキャンセラ７０により第４エコー１６が除去され、第１クロストークキャンセラ８０により第１クロストーク１７が除去されたデジタル音声データを入力される。第２音声認識回路３２は、入力されたデジタル音声データに対し、制御回路３７から指示された第２話者１２の第２言語の情報に基づいて、音声認識を行った結果である第２文字列を第２翻訳回路３４及び制御回路３７に出力する。
　続いて、第２翻訳回路３４は、第２音声認識回路３２が出力した第２文字列を、制御回路３７から指示された第２話者１２の第２言語から第１話者１１の第１言語の第４文字列に変換し、変換した第４文字列を第２音声合成回路３６及び制御回路３７に出力する。
　続いて、第２音声合成回路３６は、第２翻訳回路３４が出力した第１言語の第４文字列を、制御回路３７から指示された第１言語の情報に基づいて、第１言語の出力信号に変換し、第１言語の出力信号を第２スピーカ２４、第２エコーキャンセラ５０、及び第４エコーキャンセラ７０に出力し、第１言語の出力信号出力期間の情報を制御回路３７に出力する。
　第２音声合成回路３６が出力した第１言語の出力信号が第２スピーカ２４に入力され、第２翻訳音声となって出力される。
　制御回路３７は、第１音声認識回路３１が出力した第１話者１１の音声の認識結果である第１言語の第１文字列、第１翻訳回路３３が出力した第１話者１１の第１言語の音声を第２言語に変換した第３文字列、第２音声認識回路３２が出力した第２話者１２の音声の認識結果である第２言語の第２文字列、及び第２翻訳回路３４が出力した第２話者１２の第２言語の音声を第１言語に変換した第４文字列を映像信号発生回路３８に出力する。
　また制御回路３７は、第１音声合成回路３５が出力した第１翻訳音声出力期間の情報を第１エコーキャンセラ４０及び第３エコーキャンセラ６０に出力して、その期間に第１エコーキャンセラ４０及び第３エコーキャンセラ６０に伝達関数を更新させる。ここで、第１翻訳音声出力期間の情報とは、第１音声合成回路３５が第１翻訳音声を出力している期間を表す情報である。
　さらに制御回路３７は、第２音声合成回路３６が出力した第２翻訳音声出力期間の情報を第２エコーキャンセラ５０及び第４エコーキャンセラ７０に出力して、その期間に第２エコーキャンセラ５０及び第４エコーキャンセラ７０に伝達関数を更新させる。ここで、第２翻訳音声出力期間の情報とは、第２音声合成回路３６が第２翻訳音声を出力している期間を表す情報である。
　映像信号発生回路３８は、第１音声認識回路３１が出力した第１話者１１の音声の認識結果である第１言語の第１文字列、及び第２翻訳回路３４が出力した第２話者１２の第２言語の音声を第１言語に変換した第４文字列を第２表示回路２６に出力する。さらに、映像信号発生回路３８は、第２音声認識回路３２が出力した第２話者１２の音声の認識結果である第２言語の第２文字列、及び第１翻訳回路３３が出力した第１話者１１の第１言語の音声を第２言語に変換した第３文字列を第１表示回路２５に出力する。
　翻訳装置２０では、第１話者１１の音声及び第２話者１２の音声は以上のように、処理される。
　以上により、第１音声認識回路３１に入力される出力信号は、第１マイク２１に入力された音声のうち、第２エコー１４、第３エコー１５、及び第２クロストーク１８の影響が除去された出力信号、つまり、音響的雑音が除去された第１話者１１の音声のみとなる。さらには、第１スピーカ２２から出力される第１翻訳音声は、第１マイク２１に入力された音声のうち、第２エコー１４、第３エコー１５、及び第２クロストーク１８の影響が除去された出力信号、つまり、音響的雑音が除去された第１話者１１の音声のみとなる。
　また、第２音声認識回路３２に入力される出力信号は、第２マイク２３に入力された音声のうち、第１エコー１３、第４エコー１６、及び第１クロストーク１７の影響が除去された出力信号、つまり、音響的雑音が除去された第２話者１２の音声のみとなる。さらには、第２スピーカ２４から出力される第２翻訳音声は、第２マイク２３に入力された音声のうち、第１エコー１３、第４エコー１６、及び第１クロストーク１７の影響が除去された出力信号、つまり、音響的雑音が除去された第２話者１２の音声のみとなる。
　なお、音響的雑音が除去される程度は、第１エコーキャンセラ４０、第２エコーキャンセラ５０、第３エコーキャンセラ６０、第４エコーキャンセラ７０及び、第１クロストークキャンセラ８０、第２クロストークキャンセラ９０に保持された伝達関数の精度、上記式３、式６、式９、式１２、式１５、及び式１８に示される伝達関数の更新式におけるパラメータ等に依存するのは言うまでもない。
　また、制御回路３７は、一定条件のもとにおいて、第１エコーキャンセラ４０、第２エコーキャンセラ５０、第３エコーキャンセラ６０及び第４エコーキャンセラ７０に、各々のキャンセラの伝達関数を更新させる。この更新のフローチャートについて記述する。
　図３は、第１エコーキャンセラ４０及び第３エコーキャンセラ６０の伝達関数の更新についてのフローチャートである。
　上述のように、制御回路３７は、第１音声合成回路３５が出力した第１翻訳音声出力期間の情報を第１エコーキャンセラ４０、及び第３エコーキャンセラ６０に出力する。制御回路３７は、第１音声合成回路３５が第１翻訳音声を出力中か否か判断する（ステップＳ１００）。
　次に、ステップＳ１００でＹＥＳの場合、制御回路３７は、第１エコーキャンセラ４０と、第３エコーキャンセラ６０とに、各々のキャンセラの伝達関数を更新させる（ステップＳ１０１）。
　また、ステップＳ１００でＮＯの場合、制御回路３７は、処理を終了する。
　上記により、制御回路３７は、第１エコー１３、及び第３エコー１５が存在する期間に、上記式３、及び式９に示される伝達関数の更新式に基づいて伝達関数を更新させる。
　図４は、第２エコーキャンセラ５０及び第４エコーキャンセラ７０の伝達関数の更新についてのフローチャートである。
　上述のように、制御回路３７は、第２音声合成回路３６が出力した第２翻訳音声出力期間の情報を第２エコーキャンセラ５０、及び第４エコーキャンセラ７０に出力する。制御回路３７は、第２音声合成回路３６が第２翻訳音声を出力中か否か判断する（ステップＳ２００）。
　次に、ステップＳ２００でＹＥＳの場合、制御回路３７は、第２エコーキャンセラ５０と第４エコーキャンセラ７０とに、各々のキャンセラの伝達関数を更新させる（ステップＳ２０１）。
　また、ステップＳ２００でＮＯの場合、制御回路３７は、処理を終了する。
　上記により、制御回路３７は、第２エコー１４、及び第４エコー１６が存在する期間に、上記式６、及び式１２に示される伝達関数の更新式に基づいて伝達関数を更新させる。
　なお、図１で示す実施の形態１においては、第１マイク２１と第２スピーカ２４との距離が近く、かつ、第２マイク２３と第１スピーカ２２との距離が近い状態で会話が行われている。そのため、第１エコー１３と第２エコー１４との影響が大きい。その結果、第１エコーキャンセラ４０と第２エコーキャンセラ５０との重要性は高く、必須の構成となる。
　一方で、第１マイク２１と第２スピーカ２４との距離が遠く、かつ、第２マイク２３と第１スピーカ２２との距離が遠くなると、第１エコー１３と第２エコー１４との影響が小さくなる。そのため、第１エコーキャンセラ４０と第２エコーキャンセラ５０との重要性は低く、必須の構成ではないこともある。その場合は、図２で示した実施の形態１と比べ、第１エコーキャンセラ４０と第２エコーキャンセラ５０とを備えない構成としてもよい。すなわち、第１マイク２１の出力信号は、第２エコーキャンセラ５０を介さずに、第３エコーキャンセラ６０に入力され、第２マイク２３の出力信号は、第１エコーキャンセラ４０を介さずに、第４エコーキャンセラ７０に入力される。
　なお、図１で示した実施の形態１に加え、図示はしないが、翻訳装置２０は、さらに、第１音声性別判定回路と、第２音声性別判定回路とを備えていてもよい。
　第１音声性別判定回路は、第１音声に基づいて、第１話者１１の性別判定を行う。
　第２音声性別判定回路は、第２音声に基づいて、第２話者１２の性別判定を行う。
　さらに、この場合、制御回路３７は、第１音声合成回路３５に第１音声性別判定回路の判定結果と同じ性別の合成音声を出力させてもよく、第２音声合成回路３６に第２音声性別判定回路の判定結果と同じ性別の合成音声を出力させてもよい。
　なお、図１で示したように、実施の形態１では、翻訳装置２０は、第１カメラ２９１と、第２カメラ２９２とを備えている。また、図示はしないが、翻訳装置２０は、さらに、第１顔認識回路と、第２顔認識回路と、話者と前記話者が用いる言語との対を記憶しているデータベースと、を備えていてもよい。
　第１カメラ２９１は、第１話者の顔を撮影する。第１カメラ２９１は、第１映像信号を第１顔認識回路へ出力する。
　第２カメラ２９２は、第２話者の顔を撮影する。第２カメラ２９２は、第１映像信号を第２顔認識回路へ出力する。
　第１顔認識回路は、第１カメラから出力された第１映像信号に基づいて、第１話者１１を特定する。
　第２顔認識回路は、第２カメラから出力された第２映像信号に基づいて、第２話者１２を特定する。
　データベースは、話者と話者が用いる言語との対を記憶している。
　さらに、この場合、制御回路３７は、第１顔認識回路が特定した第１話者１１の言語がデータベースに登録されている場合には、第１音声認識回路と第１音声認識回路３１と第１翻訳回路３３と第２翻訳回路３４と第１音声合成回路３５とに、第１話者１１の第１言語を通知してもよく、第２顔認識回路が特定した第２話者１２の言語がデータベースに登録されている場合には、第２音声認識回路と第２音声認識回路３２と第１翻訳回路３３と第２翻訳回路３４と第２音声合成回路３６とに、第２話者１２の第２言語を通知してもよい。
　また、翻訳装置２０は、上記で記した第１カメラ２９１と、第２カメラ２９２とに加え、さらに、第１映像性別判定回路と、第２映像性別判定回路とを備えていてもよい。
　第１カメラ２９１は、第１話者の顔を撮影する。第１カメラ２９１は、第１映像信号を第１映像性別判定回路へ出力する。
　第２カメラ２９２は、第２話者の顔を撮影する。第２カメラ２９２は、第２映像信号を第２映像性別判定回路へ出力する。
　第１映像性別判定回路は、第１カメラ２９１から出力された第１映像信号に基づいて、第１話者の性別判定を行う。
　第２映像性別判定回路は、第２カメラ２９２から出力された第２映像信号に基づいて、第２話者の性別判定を行う。
　さらに、この場合、制御回路３７は、第１音声合成回路に、第１映像性別判定回路の判定結果と同じ性別の合成音声を出力させてもよく、第２音声合成回路に、第２映像性別判定回路の判定結果と同じ性別の合成音声を出力させてもよい。
　また、第１エコーキャンセラ４０の第１記憶回路４２と第３エコーキャンセラ６０の第３記憶回路６２とを共用する構成としてもよい。すなわち、第１エコーキャンセラ４０の第１記憶回路４２に記憶された信号と第３エコーキャンセラ６０の第３記憶回路６２に記憶された信号とは、いずれも第１音声合成回路３５の出力信号であり、第１記憶回路４２と第３記憶回路６２とを共通化することで、第１記憶回路４２と第３記憶回路６２とに係る部分の記憶回路を半減することが可能となる。
　さらに、第２エコーキャンセラ５０の第２記憶回路５２と第４エコーキャンセラ７０の第４記憶回路７２とを共用する構成としてもよい。すなわち、第２エコーキャンセラ５０の第２記憶回路５２に記憶された信号と第４エコーキャンセラ７０の第４記憶回路７２に記憶された信号とは、いずれも第２音声合成回路３６の出力信号であり、第２記憶回路５２と第４記憶回路７２とを共通化することで、第２記憶回路５２と第４記憶回路７２とに係る部分の記憶回路を半減することが可能となる。
　［１－４．効果等］
　以上説明したように、翻訳装置２０は、第１話者１１と第２話者１２とによる会話において、一方の話者の言語を他方の話者の言語に翻訳して合成音声を拡声する翻訳装置であって、第１話者１１の第１音声を入力するための第１マイク２１と、第１音声を音声認識して第１文字列を出力するための第１音声認識回路３１と、第１音声認識回路３１から出力された第１文字列を第２話者１２の言語に翻訳して第３文字列を出力するための第１翻訳回路３３と、第１翻訳回路３３から出力された第３文字列を第１翻訳音声に変換するための第１音声合成回路３５と、第１翻訳音声を拡声するための第１スピーカ２２と、第２話者１２の第２音声を入力するための第２マイク２３と、第２音声を音声認識して第２文字列を出力するための第２音声認識回路３２と、第２音声認識回路３２から出力された第２文字列を第１話者１１の言語に翻訳して第４文字列を出力するための第２翻訳回路３４と、第２翻訳回路３４から出力された第４文字列を第２翻訳音声に変換するための第２音声合成回路３６と、第２翻訳音声を拡声するための第２スピーカ２４と、第１スピーカ２２から拡声された第１翻訳音声が第２マイク２３に入力される現象を第１エコー１３としたとき、第１翻訳音声と第１エコー１３に対応する第１伝達関数とを用いて、第１エコー１３を示す第１エコー信号を推定し、第１エコー信号を、第２マイク２３の出力信号から除去する第１エコーキャンセラ４０と、第２スピーカ２４から拡声された第２翻訳音声が第１マイク２１に入力される現象を第２エコー１４としたとき、第２翻訳音声と第２エコー１４に対応する第２伝達関数とを用いて、第２エコー１４を示す第２エコー信号を推定し、第２エコー信号を、第１マイク２１の出力信号から除去する第２エコーキャンセラ５０と、制御回路３７とを備え、制御回路３７は、第１音声合成回路３５が第１翻訳音声を出力している期間に、第１エコーキャンセラ４０に、第１エコー信号を推定する第１伝達関数を更新させ、第２音声合成回路３６が第２翻訳音声を出力している期間に、第２エコーキャンセラ５０に、第２エコー信号を推定する第２伝達関数を更新させる。
　このような翻訳装置２０は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコーを含む音響的雑音を除去し、安定して音声認識しながら、相互に会話を行うことができる。また、第１話者１１の第１音声と第２話者１２の第２音声と第１音声合成回路３５の第１翻訳音声と第２音声合成回路３６の第２翻訳音声とが同時に発生しても、エコーをエコーキャンセラが除去するので、第１音声認識回路３１と第２音声認識回路３２が音声認識精度を下げることがない。さらには、第１エコーキャンセラ４０は、第１音声合成回路３５が合成音声を出力している時に第１伝達関数を更新し、それ以外の音声が存在する時に不要な更新がされないため、第１エコーキャンセラ４０における第１伝達関数の推定精度が高まる。つまり、不要な更新により、第１エコーキャンセラ４０の第１伝達関数記憶回路４４に記憶された第１伝達関数が、破壊されることが防がれるため、より高精度に第１エコー信号を除去できる。同じく、第２エコーキャンセラ５０は、第２音声合成回路３６が合成音声を出力している時に第２伝達関数を更新し、それ以外の音声が存在する時に不要な更新がされないため、第２エコーキャンセラ５０における第２伝達関数の推定精度を高めることができる。つまり、不要な更新により、第２エコーキャンセラ５０の第２伝達関数記憶回路５４に記憶された第２伝達関数が、破壊されることが防がれるため、より高精度に第２エコー信号を除去できる。
　また、例えば、翻訳装置２０は、さらに、第１スピーカ２２から拡声された第１翻訳音声が第１マイク２１に入力される現象を第３エコー１５としたとき、第１翻訳音声と第３エコー１５に対応する第３伝達関数とを用いて、第３エコー１５を示す第３エコー信号を推定し、第３エコー信号を、第１マイク２１の出力信号から除去する第３エコーキャンセラ６０と、第２スピーカ２４から拡声された第２翻訳音声が第２マイク２３に入力される現象を第４エコー１６としたとき、第２翻訳音声と第４エコー１６に対応する第４伝達関数とを用いて、第４エコー１６を示す第４エコー信号を推定し、第４エコー信号を、第２マイク２３の出力信号から除去する第４エコーキャンセラ７０とを備え、制御回路３７は、第１音声合成回路３５が第１翻訳音声を出力している期間に、第３エコーキャンセラ６０に、第３エコー信号を推定する第３伝達を更新させ、第２音声合成回路３６が第２翻訳音声を出力している期間に、第４エコーキャンセラ７０に、第４エコー信号を推定する第４伝達関数を更新させる。
　このような翻訳装置２０は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコーを含む音響的雑音を除去し、安定して音声認識しながら、相互に会話を行うことができる。さらには、第１エコーキャンセラ４０と第３エコーキャンセラ６０とは、第１音声合成回路３５が合成音声を出力している時に第１伝達関数及び第３伝達関数を更新し、それ以外の音声が存在する時に不要な更新がされないため、第１エコーキャンセラ４０及び第３エコーキャンセラ６０における第１伝達関数及び第３伝達関数の推定精度が高まる。つまりは、不要な更新により、第３エコーキャンセラ６０の第３伝達関数記憶回路６４に記憶された第３伝達関数が、破壊されることが防がれるため、より高精度に第３エコー信号を除去できる。同じく、第２エコーキャンセラ５０と第４エコーキャンセラ７０とは、第２音声合成回路３６が合成音声を出力している時に第２伝達関数及び第４伝達関数を更新し、それ以外の音声が存在する時に不要な更新がされないため、第２エコーキャンセラ５０及び第４エコーキャンセラ７０における第２伝達関数及び第４伝達関数の推定精度を高めることができる。つまりは、不要な更新により、第４エコーキャンセラ７０の第４伝達関数記憶回路７４に記憶された第４伝達関数が、破壊されることが防がれるため、より高精度に第４エコー信号を除去できる。
　また、例えば、翻訳装置２０は、第１話者１１と第２話者１２とによる会話において、一方の話者の言語を他方の話者の言語に翻訳して合成音声を拡声する翻訳装置であって、第１話者１１の第１音声を入力するための第１マイク２１と、第１音声を音声認識して第１文字列を出力するための第１音声認識回路３１と、第１音声認識回路３１から出力された第１文字列を第２話者１２の言語に翻訳して第３文字列を出力するための第１翻訳回路３３と、第１翻訳回路３３から出力された第３文字列を第１翻訳音声に変換するための第１音声合成回路３５と、第１翻訳音声を拡声するための第１スピーカ２２と、第２話者１２の第２音声を入力するための第２マイク２３と、第２音声を音声認識して第２文字列を出力するための第２音声認識回路３２と、第２音声認識回路３２から出力された第２文字列を第１話者１１の言語に翻訳して第４文字列を出力するための第２翻訳回路３４と、第２翻訳回路３４から出力された第４文字列信号を第２翻訳音声に変換するための第２音声合成回路３６と、第２翻訳音声を拡声するための第２スピーカ２４と、第１スピーカ２２から拡声された第１翻訳音声が第１マイク２１に入力される現象を第３エコー１５としたとき、第１翻訳音声と第３エコー１５に対応する第３伝達関数とを用いて、第３エコー１５を示す第３エコー信号を推定し、第３エコー信号を、第１マイク２１の出力信号から除去する第３エコーキャンセラ６０と、第２スピーカ２４から拡声された第２翻訳音声が第２マイク２３に入力される現象を第４エコー１６としたとき、第２翻訳音声と第４エコー１６に対応する第４伝達関数とを用いて、第４エコー１６を示す第４エコー信号を推定し、第４エコー信号を、第２マイク２３の出力信号から除去する第４エコーキャンセラ７０と、制御回路３７とを備え、制御回路３７は、第１音声合成回路３５が第１翻訳音声を出力している期間に、第３エコーキャンセラ６０に、第３エコー信号を推定する第３伝達関数を更新させ、第２音声合成回路３６が第２翻訳音声を出力している期間に、第４エコーキャンセラ７０に、第４エコー信号を推定する第４伝達関数を更新させる。
　このような翻訳装置２０は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコーを含む音響的雑音を除去し、安定して音声認識しながら、相互に会話を行うことができる。さらには、第３エコーキャンセラ６０は、第１音声合成回路３５が合成音声を出力している時に第３伝達関数を更新し、それ以外の音声が存在する時に不要な更新がされないため、第３エコーキャンセラ６０における第３伝達関数の推定精度が高まる。つまりは、不要な更新により、第３エコーキャンセラ６０の第３伝達関数記憶回路６４に記憶された第３伝達関数が、破壊されることが防がれるため、より高精度に第３エコー信号を除去できる。同じく、第４エコーキャンセラ７０は、第２音声合成回路３６が合成音声を出力している時に第４伝達関数を更新し、それ以外の音声が存在する時に不要な更新がされないため、第４エコーキャンセラ７０における第４伝達関数の推定精度を高めることができる。つまりは、不要な更新により、第４エコーキャンセラ７０の第４伝達関数記憶回路７４に記憶された第４伝達関数が、破壊されることが防がれるため、より高精度に第４エコー信号を除去できる。
　また、例えば、翻訳装置２０は、さらに、第１音声が第２マイク２３に入力される現象を第１クロストーク１７としたとき、第１音声を用いて、第１クロストーク１７を示す第１クロストーク信号を推定し、第１クロストーク信号を、第２マイク２３の出力信号から除去する第１クロストークキャンセラ８０と、第２音声が第１マイク２１に入力される現象を第２クロストーク１８としたとき、第２音声を用いて、第２クロストーク１８を示す第２クロストーク信号を推定し、第２クロストーク信号を、第１マイク２１の出力信号から除去する第２クロストークキャンセラ９０とを備える。
　このような翻訳装置２０は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコー及びクロストークを含む音響的雑音を除去し、安定して音声認識しながら、相互に会話を行うことができる。
　また、例えば、翻訳装置２０は、さらに、第１話者１１から第１話者１１が用いる第１言語の選択を受け付け、制御回路３７に通知する第１言語選択回路２７と、第２話者１２から第２話者１２が用いる第２言語の選択を受け付け、制御回路３７に通知する第２言語選択回路２８とを備え、制御回路３７は、第１言語選択回路２７から通知された第１言語と、第２言語選択回路２８から通知された第２言語と、に基づいて、第１音声認識回路３１に、第１言語で音声認識させ、第２音声認識回路３２に、第２言語で音声認識させ、第１翻訳回路３３に、第１言語から第２言語に翻訳させ、第２翻訳回路３４に、第２言語から第１言語に翻訳させ、第１音声合成回路３５に、第２言語で音声合成させ、第２音声合成回路３６に、第１言語で音声合成させる。
　このような翻訳装置２０は、予め翻訳する言語が選択されているため、スムーズに翻訳し、第１翻訳音声と第２翻訳音声を出力することができる。
　また、例えば、翻訳装置２０は、第１音声に基づいて、第１話者１１の性別判定を行う第１音声性別判定回路と、第２音声に基づいて、第２話者１２の性別判定を行う第２音声性別判定回路とを備え、制御回路３７は、第１音声合成回路３５に、第１音声性別判定回路の判定結果と同じ性別の合成音声を、出力させ、第２音声合成回路３６に、第２音声性別判定回路の判定結果と同じ性別の合成音声を、出力させる。
　このような翻訳装置２０は、話者の性別と同性の第１翻訳音声と第２翻訳音声とを出力することができる。
　また、例えば、翻訳装置２０は、第１話者１１の顔を撮影する第１カメラ２９１と、第１カメラ２９１から出力された第１映像信号に基づいて、第１話者１１を特定する第１顔認識回路と、第２話者１２の顔を撮影する第２カメラ２９２と、第２カメラ２９２から出力された第２映像信号に基づいて、第２話者１２を特定する第２顔認識回路と、話者と話者が用いる言語との対を記憶しているデータベースとを備え、制御回路３７は、第１顔認識回路が特定した第１話者１１の言語がデータベースに登録されている場合には、第１音声認識回路３１と第１翻訳回路３３と第２翻訳回路３４と第１音声合成回路３５とに、第１話者１１の第１言語を通知し、第２顔認識回路が特定した第２話者１２の言語がデータベースに登録されている場合には、第２音声認識回路３２と第１翻訳回路３３と第２翻訳回路３４と第２音声合成回路３６とに、第２話者１２の第２言語を通知する。
　このような翻訳装置２０は、映像から人物を認識し、予め翻訳する言語が登録されているため、スムーズに翻訳し、第１翻訳音声と第２翻訳音声とを出力することができる。
　また、例えば、翻訳装置２０は、さらに、第１カメラ２９１から出力された第１映像信号に基づいて、第１話者１１の性別判定を行う第１映像性別判定回路と、第２カメラ２９２から出力された第２映像信号に基づいて、第２話者１２の性別判定を行う第２映像性別判定回路とを備え、制御回路３７は、第１音声合成回路３５に、第１映像性別判定回路の判定結果と同じ性別の合成音声を出力させ、第２音声合成回路３６に、第２映像性別判定回路の判定結果と同じ性別の合成音声を出力させる。
　このような翻訳装置２０は、映像から人物の性別を認識し、話者の性別と同性の第１翻訳音声と第２翻訳音声とを出力することができる。
　さらに、翻訳方法は、第１話者１１と第２話者１２とによる会話において、自分の言語を相手の言語に翻訳して合成音声を拡声する翻訳方法であって、第１話者１１の第１音声を入力するための第１入力ステップと、第１音声を音声認識して第１文字列を出力するための第１音声認識ステップと、第１音声認識ステップから出力された第１文字列を第２話者１２の言語に翻訳して第３文字列を出力するための第１翻訳ステップと、第１翻訳ステップから出力された第３文字列を第１翻訳音声に変換するための第１音声合成ステップと、第１翻訳音声を拡声するための第１拡声ステップと、第２話者１２の第２音声を入力するための第２入力ステップと、第２音声を音声認識して第２文字列を出力するための第２音声認識ステップと、第２音声認識ステップから出力された第２文字列を第１話者１１の言語に翻訳して第４文字列を出力するための第２翻訳ステップと、第２翻訳ステップから出力された第４文字列を第２翻訳音声に変換するための第２音声合成ステップと、第２翻訳音声を拡声するための第２拡声ステップと、第１拡声ステップにて拡声された第１翻訳音声が第２入力ステップにて入力される現象を第１エコー１３としたとき、第１翻訳音声と第１エコー１３に対応する第１伝達関数とを用いて、第１エコー１３を示す第１エコー信号を推定し、第１エコー信号を、第２入力ステップの出力信号から除去する第１エコーキャンセラステップと、第２拡声ステップにて拡声された第２翻訳音声が第１入力ステップにて入力される現象を第２エコー１４としたとき、第２翻訳音声と第２エコー１４に対応する第２伝達関数とを用いて、第２エコー１４を示す第２エコー信号を推定し、第２エコー信号を、第１入力ステップの出力信号から除去する第２エコーキャンセラステップと、第１音声合成ステップにて第１翻訳音声を出力している期間に、第１エコーキャンセラステップにおいて、第１エコー信号を推定する第１伝達関数を更新し、第２音声合成ステップにて第２翻訳音声を出力している期間に、第２エコーキャンセラステップにおいて、第２エコー信号を推定する第２伝達関数を更新するように指示を与える制御ステップとを含む。
　このような翻訳方法は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコーを含む音響的雑音を除去し、安定して音声認識しながら、相互に会話を行うことができる。さらには、第１エコーキャンセラ４０は、第１音声合成回路３５が合成音声を出力している時に第１伝達関数を更新し、それ以外の音声が存在する時に不要な更新がされないため、第１エコーキャンセラ４０における第１伝達関数の推定精度が高まる。つまり、不要な更新により、第１エコーキャンセラ４０の第１伝達関数記憶回路４４に記憶された第１伝達関数が、破壊されることが防がれるため、より高精度に第１エコー信号を除去できる。同じく、第２エコーキャンセラ５０は、第２音声合成回路３６が合成音声を出力している時に第２伝達関数を更新し、それ以外の音声が存在する時に不要な更新がされないため、第２エコーキャンセラ５０における第２伝達関数の推定精度を高めることができる。つまり、不要な更新により、第２エコーキャンセラ５０の第２伝達関数記憶回路５４に記憶された第２伝達関数が、破壊されることが防がれるため、より高精度に第２エコー信号を除去できる。
　また、例えば、翻訳方法は、第１話者１１と第２話者１２とによる会話において、自分の言語を相手の言語に翻訳して合成音声を拡声する翻訳方法であって、第１話者１１の第１音声を入力するための第１入力ステップと、第１音声を音声認識して第１文字列を出力するための第１音声認識ステップと、第１音声認識ステップから出力された第１文字列を第２話者１２の言語に翻訳して第３文字列を出力するための第１翻訳ステップと、第１翻訳ステップから出力された第３文字列を第１翻訳音声に変換するための第１音声合成ステップと、第１翻訳音声を拡声するための第１拡声ステップと、第２話者１２の第２音声を入力するための第２入力ステップと、第２音声を音声認識して第２文字列を出力するための第２音声認識ステップと、第２音声認識ステップから出力された第２文字列を第１話者１１の言語に翻訳して第４文字列を出力するための第２翻訳ステップと、第２翻訳ステップから出力された第４文字列を第２翻訳音声に変換するための第２音声合成ステップと、第２翻訳音声を拡声するための第２拡声ステップと、第１拡声ステップにて出力された第１翻訳音声が第１入力ステップにて入力される現象を第３エコー１５としたとき、第１翻訳音声と第３エコー１５に対応する第３伝達関数とを用いて、第３エコー１５を示す第３エコー信号を推定し、第３エコー信号を、第１入力ステップの出力信号から除去する第３エコーキャンセラステップと、第２拡声ステップにて出力された第２翻訳音声が第２入力ステップにて入力される現象を第４エコー１６としたとき、第２翻訳音声と第４エコー１６に対応する第４伝達関数とを用いて、第４エコー１６を示す第４エコー信号を推定し、第４エコー信号を、第２入力ステップの出力信号から除去する第４エコーキャンセラステップと、第１音声合成ステップにて第１翻訳音声を出力している期間に、第３エコーキャンセラステップにおいて、第３エコー信号を推定する第３伝達関数を更新し、第２音声合成ステップから第２翻訳音声を出力している期間に、第４エコーキャンセラステップにおいて、第４エコー信号を推定する第４伝達関数を更新するように指示を与える制御ステップとを含む。
　このような翻訳方法は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコーを含む音響的雑音を除去し、安定して音声認識しながら、相互に会話を行うことができる。さらには、第３エコーキャンセラ６０は、第１音声合成回路３５が合成音声を出力している時に第３伝達関数を更新し、それ以外の音声が存在する時に不要な更新がされないため、第３エコーキャンセラ６０における第３伝達関数の推定精度が高まる。つまりは、不要な更新により、第３エコーキャンセラ６０の第３伝達関数記憶回路６４に記憶された第３伝達関数が、破壊されることが防がれるため、より高精度に第３エコー信号を除去できる。同じく、第４エコーキャンセラ７０は、第２音声合成回路３６が合成音声を出力している時に第４伝達関数を更新し、それ以外の音声が存在する時に不要な更新がされないため、第４エコーキャンセラ７０における第４伝達関数の推定精度を高めることができる。つまりは、不要な更新により、第４エコーキャンセラ７０の第４伝達関数記憶回路７４に記憶された第４伝達関数が、破壊されることが防がれるため、より高精度に第４エコー信号を除去できる。
　［１－５．変形例］
　上記実施の形態では、第１伝達関数更新回路４５は、上記式３に従って伝達関数を更新したが、以下の式１９又は式２０に示されるように、正規化された式に従って伝達関数を更新してもよい。
Figure JPOXMLDOC01-appb-M000007
　ここで、Ｎは、第１伝達関数記憶回路４４に記憶される伝達関数の個数である。｜ｘ１（ｔ－ｉ）｜は、ｘ１（ｔ－ｉ）の絶対値である。
Figure JPOXMLDOC01-appb-M000008
　これにより、第１伝達関数更新回路４５による推定伝達関数の更新が、入力信号ｘ１（ｔ－ｊ）の振幅に依存せず、安定して実施される。
　（実施の形態２）
　実施の形態１では、第１話者１１の第１言語と第２話者１２の第２言語とが異なる場合を示した。一方で、実施の形態２では、第１話者１１の第１言語と第２話者１２の第２言語とが同一である場合に適した構成を示す。
　まず、実施の形態２では、実施の形態１と比べ、翻訳した音声を出力する機能と翻訳機能とが不要になる。
　また後述するように、ハウリングという現象が問題となる。ハウリングとは、ある話者の音声を出力するスピーカから出力された音声がその話者の音声が入力されるマイクに帰還して入力される現象を指す。具体的に、ここでは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される現象を第１ハウリング１５ａ、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される現象を第２ハウリング１６ａと定義する。
　［２－１．構成］
　図５は、実施の形態２における翻訳装置２０ａの構成を示すブロック図である。すなわち、図５は、第１言語選択回路２７で設定された第１話者１１の第１言語と第２言語選択回路２８で設定された第２話者１２の第２言語とが同一である場合の構成を示すブロック図である。なお、実施の形態２では、実施の形態１と共通の構成要素については同一の符号を付し、その詳細な説明を省略する。
　図５では、図２に対し、第１言語と第２言語とが同一であるため、第１翻訳回路３３、第２翻訳回路３４、第１音声合成回路３５及び第２音声合成回路３６とが不要となる。
　また、第１話者１１の音声は、第１マイク２１で収音され、後述する第１ハウリングキャンセラ６０ａ及び第２エコー／第２クロストークキャンセラ９０ａを経由して、第１スピーカ２２から出力されるため、第１マイク２１への入力と第１スピーカ２２からの出力が同じ第１話者１１の音声（すなわち、翻訳されない第１話者１１の音声）となるので、実施の形態１の第３エコー１５は、第１ハウリング１５ａに変わる。そのため、第３エコーキャンセラ６０は、第１ハウリングキャンセラ６０ａとして機能する。
　また、第２話者１２の音声は、第２マイク２３で収音され、後述する第２ハウリングキャンセラ７０ａ及び第１エコー／第１クロストークキャンセラ８０ａを経由して、第２スピーカ２４から出力されるため、第２マイク２３への入力と第２スピーカ２４からの出力が同じ第２話者１２の音声（すなわち、翻訳されない第２話者１２の音声）となるので、実施の形態１の第４エコー１６は、第２ハウリング１６ａに変わる。そのため、第４エコーキャンセラ７０は、第２ハウリングキャンセラ７０ａとして機能する。
　また、第１エコー１３ａと第１クロストーク１７ａの音源は、いずれも同じ第１話者１１の音声になる。そのため、第１クロストークキャンセラ８０は、第１エコー／第１クロストークキャンセラ８０ａとして機能する。その結果、第１エコーキャンセラ４０は不要となる。
　さらに、第２エコー１４ａと第２クロストーク１８ａの音源は、いずれも同じ第２話者１２の音声になる。そのため、第２クロストークキャンセラ９０は、第２エコー／第２クロストークキャンセラ９０ａとして機能する。その結果、第２エコーキャンセラ５０は不要となる。
　さらに、制御回路３７は、第１エコーキャンセラ４０と、第２エコーキャンセラ５０と、第１翻訳回路３３と、第２翻訳回路３４と、第１音声合成回路３５と、第２音声合成回路３６とに、機能を停止させてもよい。
　［２－１－１．第１ハウリングキャンセラ６０ａ］
　第１ハウリングキャンセラ６０ａは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される現象を第１ハウリング１５ａとしたとき、第１ハウリング１５ａの程度を示す第１ハウリング信号を推定し、第１ハウリング信号を、第１マイク２１の出力信号から除去する回路である。本実施の形態では、第１ハウリングキャンセラ６０ａは、第１マイク２１の出力信号から第１ハウリング信号を除去し、除去後の信号を後述する第２エコー／第２クロストークキャンセラ９０ａに出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第１ハウリングキャンセラ６０ａは、第３伝達関数記憶回路６４、第１遅延器６６、第３記憶回路６２、第３畳み込み演算器６３、第３減算器６１、及び、第３伝達関数更新回路６５を有する。つまり、図２の第３エコーキャンセラ６０において、第１遅延器６６が追加されている。
　第３伝達関数記憶回路６４は、第１ハウリング１５ａの伝達関数として推定された第３伝達関数を記憶する。
　第１遅延器６６は、第１ハウリングキャンセラ６０ａの出力信号を遅延させる。
　第３記憶回路６２は、第１遅延器６６から出力された信号を記憶する。
　第３畳み込み演算器６３は、第３記憶回路６２に記憶された信号と第３伝達関数記憶回路６４に記憶された第３伝達関数とを畳み込むことで第１ハウリング信号を生成する。例えば、第３畳み込み演算器６３は、以下の式２１に示される畳み込み演算を行うＮタップのＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタである。
Figure JPOXMLDOC01-appb-M000009
　ここで、ｙ７’ｔは、時刻ｔにおける第１ハウリング信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ７（ｉ）ｔは、時刻ｔにおいて第３伝達関数記憶回路６４に記憶されたＮ個の第３伝達関数のうちのｉ番目の第３伝達関数である。ｘ７（ｔ－ｉ－τ１）は、第３記憶回路６２に記憶された信号のうち、（ｔ－ｉ－τ１）番目の信号である。τ１は、第１遅延器６６による遅延時間である。
　第３減算器６１は、第１マイク２１の出力信号から、第３畳み込み演算器６３から出力された第１ハウリング信号を除去し、第１ハウリングキャンセラ６０ａの出力信号として、第２エコー／第２クロストークキャンセラ９０ａに出力する。例えば、第３減算器６１は、以下の式２２に示される減算を行う。
（数２２）
ｅ７ｔ＝ｙ７ｔ－ｙ７’ｔ・・・（式２２）
　ここで、ｅ７ｔは、時刻ｔにおける第３減算器６１の出力信号である。ｙ７ｔは、時刻ｔにおける第１マイク２１の出力信号である。
　第３伝達関数更新回路６５は、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とに基づいて第３伝達関数記憶回路６４に記憶された第３伝達関数を更新する。例えば、第３伝達関数更新回路６５は、以下の式２３に示されるように、独立成分分析を用いて、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とに基づいて、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とが相互に独立となるように、第３伝達関数記憶回路６４に記憶された第３伝達関数を更新する。
（数２３）
Ｈ７（ｊ）ｔ＋１＝Ｈ７（ｊ）ｔ＋α７×φ７（ｅ７ｔ）×ｘ７（ｔ－ｊ－τ１）
・・・（式２３）
　ここで、Ｈ７（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第３伝達関数記憶回路６４に記憶されるＮ個の第３伝達関数のうちのｊ番目の第３伝達関数である。Ｈ７（ｊ）ｔは、時刻ｔ（つまり、更新前の）第３伝達関数記憶回路６４に記憶されたＮ個の第３伝達関数のうちのｊ番目の第３伝達関数である。α７は、第１ハウリング１５ａの第３伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ７は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第３伝達関数更新回路６５は、第３減算器６１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第３記憶回路６２に記憶された信号と、第１ハウリング１５ａの第３伝達関数の推定における学習速度を制御するための第７ステップサイズパラメータとを乗じることで第７更新係数を算出する。そして、算出した第７更新係数を第３伝達関数記憶回路６４に記憶された第３伝達関数に加算することで更新を行う。
　［２－１－２．第２ハウリングキャンセラ７０ａ］
　第２ハウリングキャンセラ７０ａは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される現象を第２ハウリング１６ａとしたとき、第２ハウリング１６ａの程度を示す第２ハウリング信号を推定し、第２ハウリング信号を、第２マイク２３の出力信号から除去する回路である。本実施の形態では、第２ハウリングキャンセラ７０ａは、第２マイク２３の出力信号から第２ハウリング信号を除去し、除去後の信号を後述する第１エコー／第１クロストークキャンセラ８０ａに出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第２ハウリングキャンセラ７０ａは、第４伝達関数記憶回路７４、第２遅延器７６、第４記憶回路７２、第４畳み込み演算器７３、第４減算器７１、及び、第４伝達関数更新回路７５を有する。つまり、図２の第４エコーキャンセラ７０において、第２遅延器７６が追加されている。
　第４伝達関数記憶回路７４は、第２ハウリング１６ａの伝達関数として推定された第４伝達関数を記憶する。
　第２遅延器７６は、第２ハウリングキャンセラ７０ａの出力信号を遅延させる。
　第４記憶回路７２は、第２遅延器７６から出力された信号を記憶する。
　第４畳み込み演算器７３は、第４記憶回路７２に記憶された信号と第４伝達関数記憶回路７４に記憶された第４伝達関数とを畳み込むことで第２ハウリング信号を生成する。例えば、第４畳み込み演算器７３は、以下の式２４に示される畳み込み演算を行うＮタップのＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタである。
Figure JPOXMLDOC01-appb-M000010
　ここで、ｙ８’ｔは、時刻ｔにおける第２ハウリング信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ８（ｉ）ｔは、時刻ｔにおいて第４伝達関数記憶回路７４に記憶されたＮ個の第４伝達関数のうちのｉ番目の第４伝達関数である。ｘ８（ｔ－ｉ－τ２）は、第４記憶回路７２に記憶された信号のうち、（ｔ－ｉ－τ２）番目の信号である。τ２は、第２遅延器７６による遅延時間である。
　第４減算器７１は、第２マイク２３の出力信号から、第４畳み込み演算器７３から出力された第２ハウリング信号を除去し、第２ハウリングキャンセラ７０ａの出力信号として、第１エコー／第１クロストークキャンセラ８０ａに出力する。例えば、第４減算器７１は、以下の式２５に示される減算を行う。
（数２５）
ｅ８ｔ＝ｙ８ｔ－ｙ８’ｔ・・・（式２５）
　ここで、ｅ８ｔは、時刻ｔにおける第４減算器７１の出力信号である。ｙ８ｔは、時刻ｔにおける第２マイク２３の出力信号である。
　第４伝達関数更新回路７５は、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とに基づいて第４伝達関数記憶回路７４に記憶された第４伝達関数を更新する。例えば、第４伝達関数更新回路７５は、以下の式２６に示されるように、独立成分分析を用いて、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とに基づいて、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とが相互に独立となるように、第４伝達関数記憶回路７４に記憶された第４伝達関数を更新する。
（数２６）
Ｈ８（ｊ）ｔ＋１＝Ｈ８（ｊ）ｔ＋α８×φ８（ｅ８ｔ）×ｘ８（ｔ－ｊ－τ２）
・・・（式２６）
　ここで、Ｈ８（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第４伝達関数記憶回路７４に記憶されるＮ個の第４伝達関数のうちのｊ番目の第４伝達関数である。Ｈ８（ｊ）ｔは、時刻ｔ（つまり、更新前の）第４伝達関数記憶回路７４に記憶されたＮ個の第４伝達関数のうちのｊ番目の第４伝達関数である。α８は、第２ハウリング１６ａの第４伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ８は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第４伝達関数更新回路７５は、第４減算器７１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第４記憶回路７２に記憶された信号と、第２ハウリング１６ａの第４伝達関数の推定における学習速度を制御するための第８ステップサイズパラメータとを乗じることで第８更新係数を算出する。そして、算出した第８更新係数を第４伝達関数記憶回路７４に記憶された第４伝達関数に加算することで更新を行う。
　［２－１－３．第１エコー／第１クロストークキャンセラ８０ａ］
　第１エコー／第１クロストークキャンセラ８０ａは、第２エコー／第２クロストークキャンセラ９０ａの出力信号を用いて、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される第１エコー１３ａ、及び、第１話者１１の音声が第２マイク２３に入力される第１クロストーク１７ａの程度を示す第９妨害信号（すなわち第１エコー／第１クロストーク信号）を推定し、第９妨害信号を、第２ハウリングキャンセラ７０ａの出力信号から除去する回路である。
　本実施の形態では、第１エコー／第１クロストークキャンセラ８０ａは、第９妨害信号が除去された信号を第２音声認識回路３２、第２エコー／第２クロストークキャンセラ９０ａ及び第２スピーカ２４に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第１エコー／第１クロストークキャンセラ８０ａは、第５伝達関数記憶回路８４、第５記憶回路８２、第５畳み込み演算器８３、第５減算器８１、及び、第５伝達関数更新回路８５を有する。
　第５伝達関数記憶回路８４は、第１エコー１３ａと第１クロストーク１７ａとを合わせた伝達関数として推定された第５伝達関数を記憶する。
　第５記憶回路８２は、第２エコー／第２クロストークキャンセラ９０ａの出力信号を記憶する。
　第５畳み込み演算器８３は、第５記憶回路８２に記憶された信号と第５伝達関数記憶回路８４に記憶された第５伝達関数とを畳み込むことで第９妨害信号を生成する。例えば、第５畳み込み演算器８３は、以下の式２７に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000011
　ここで、ｙ９’ｔは、時刻ｔにおける第９妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ９（ｉ）ｔは、時刻ｔにおいて第５伝達関数記憶回路８４に記憶されたＮ個の第５伝達関数のうちのｉ番目の第５伝達関数である。ｘ９（ｔ－ｉ）は、第５記憶回路８２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第５減算器８１は、第２ハウリングキャンセラ７０ａの出力信号から、第５畳み込み演算器８３から出力された第９妨害信号を除去し、第１エコー／第１クロストークキャンセラ８０ａの出力信号として出力する。例えば、第５減算器８１は、以下の式２８に示される減算を行う。
（数２８）
ｅ９ｔ＝ｙ９ｔ－ｙ９’ｔ・・・（式２８）
　ここで、ｅ９ｔは、時刻ｔにおける第５減算器８１の出力信号である。ｙ９ｔは、時刻ｔにおける第２ハウリングキャンセラ７０ａの出力信号である。
　第５伝達関数更新回路８５は、第５減算器８１の出力信号と第５記憶回路８２に記憶された信号とに基づいて第５伝達関数記憶回路８４に記憶された第５伝達関数を更新する。例えば、第５伝達関数更新回路８５は、以下の式２９に示されるように、独立成分分析を用いて、第５減算器８１の出力信号と第５記憶回路８２に記憶された信号とに基づいて、第５減算器８１の出力信号と第５記憶回路８２に記憶された信号とが相互に独立となるように、第５伝達関数記憶回路８４に記憶された第５伝達関数を更新する。
（数２９）
Ｈ９（ｊ）ｔ＋１＝Ｈ９（ｊ）ｔ＋α９×φ９（ｅ９ｔ）×ｘ９（ｔ－ｊ）・・・（式２９）
　ここで、Ｈ９（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第５伝達関数記憶回路８４に記憶されるＮ個の第５伝達関数のうちのｊ番目の第５伝達関数である。Ｈ９（ｊ）ｔは、時刻ｔ（つまり、更新前の）第５伝達関数記憶回路８４に記憶されたＮ個の第５伝達関数のうちのｊ番目の第５伝達関数である。α９は、第１エコー１３ａと第１クロストーク１７ａとを合わせた第５伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ９は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第５伝達関数更新回路８５は、第５減算器８１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第５記憶回路８２に記憶された信号と、第１エコー１３ａと第１クロストーク１７ａとを合わせた第５伝達関数の推定における学習速度を制御するための第９ステップサイズパラメータとを乗じることで第５更新係数を算出する。そして、算出した第５更新係数を第５伝達関数記憶回路８４に記憶された第５伝達関数に加算することで更新を行う。
　なお、本実施の形態における翻訳装置２０では、第１話者１１の同一時刻における音声について、第２エコー／第２クロストークキャンセラ９０ａの出力信号が第１エコー／第１クロストークキャンセラ８０ａに入力される時刻は、第２ハウリングキャンセラ７０ａの出力が第１エコー／第１クロストークキャンセラ８０ａに入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第１エコー／第１クロストークキャンセラ８０ａが第１クロストーク１７ａをキャンセルできるように、因果律が保持されている。これは、第２エコー／第２クロストークキャンセラ９０ａの出力信号が第１エコー／第１クロストークキャンセラ８０ａに入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第１ハウリングキャンセラ６０ａでの処理速度、第２エコー／第２クロストークキャンセラ９０ａでの処理速度等）と、第１話者１１の音声が第２マイク２３に入力される時刻を決定づける要因（第１話者１１と第２マイク２３との位置関係等）とを考慮することで適宜、実現し得る。
　［２－１－４．第２エコー／第２クロストークキャンセラ９０ａ］
　第２エコー／第２クロストークキャンセラ９０ａは、第１エコー／第１クロストークキャンセラ８０ａの出力信号を用いて、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される第２エコー１４ａ、及び、第２話者１２の音声が第１マイク２１に入力される第２クロストーク１８ａの程度を示す第１０妨害信号（すなわち第２エコー／第２クロストーク信号）を推定し、第１０妨害信号を、第１ハウリングキャンセラ６０ａの出力信号から除去する回路である。
　本実施の形態では、第２エコー／第２クロストークキャンセラ９０ａは、第１０妨害信号が除去された信号を第１音声認識回路３１、第１エコー／第１クロストークキャンセラ８０ａ及び第１スピーカ２２に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
　より詳しくは、第２エコー／第２クロストークキャンセラ９０ａは、第６伝達関数記憶回路９４、第６記憶回路９２、第６畳み込み演算器９３、第６減算器９１、及び、第６伝達関数更新回路９５を有する。
　第６伝達関数記憶回路９４は、第２エコー１４ａと第２クロストーク１８ａとを合わせた伝達関数として推定された第６伝達関数を記憶する。
　第６記憶回路９２は、第１エコー／第１クロストークキャンセラ８０ａの出力信号を記憶する。
　第６畳み込み演算器９３は、第６記憶回路９２に記憶された信号と第６伝達関数記憶回路９４に記憶された第６伝達関数とを畳み込むことで第１０妨害信号を生成する。例えば、第６畳み込み演算器９３は、以下の式３０に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
Figure JPOXMLDOC01-appb-M000012
　ここで、ｙ１０’ｔは、時刻ｔにおける第１０妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ１０（ｉ）ｔは、時刻ｔにおいて第６伝達関数記憶回路９４に記憶されたＮ個の第６伝達関数のうちのｉ番目の第６伝達関数である。ｘ１０（ｔ－ｉ）は、第６記憶回路９２に記憶された信号のうち、（ｔ－ｉ）番目の信号である。
　第６減算器９１は、第１ハウリングキャンセラ６０ａの出力信号から、第６畳み込み演算器９３から出力された第１０妨害信号を除去し、第２エコー／第２クロストークキャンセラ９０ａの出力信号として出力する。例えば、第６減算器９１は、以下の式３１に示される減算を行う。
（数３１）
ｅ１０ｔ＝ｙ１０ｔ－ｙ１０’ｔ・・・（式３１）
　ここで、ｅ１０ｔは、時刻ｔにおける第６減算器９１の出力信号である。ｙ１０ｔは、時刻ｔにおける第１ハウリングキャンセラ６０ａの出力信号である。
　第６伝達関数更新回路９５は、第６減算器９１の出力信号と第６記憶回路９２に記憶された信号とに基づいて第６伝達関数記憶回路９４に記憶された第６伝達関数を更新する。例えば、第６伝達関数更新回路９５は、以下の式３２に示されるように、独立成分分析を用いて、第６減算器９１の出力信号と第６記憶回路９２に記憶された信号とに基づいて、第６減算器９１の出力信号と第６記憶回路９２に記憶された信号とが相互に独立となるように、第６伝達関数記憶回路９４に記憶された第６伝達関数を更新する。
（数３２）
Ｈ１０（ｊ）ｔ＋１＝Ｈ１０（ｊ）ｔ＋α１０×φ１０（ｅ１０ｔ）×ｘ１０（ｔ－ｊ）
・・・（式３２）
　ここで、Ｈ１０（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第６伝達関数記憶回路９４に記憶されるＮ個の第６伝達関数のうちのｊ番目の第６伝達関数である。Ｈ１０（ｊ）ｔは、時刻ｔ（つまり、更新前の）第６伝達関数記憶回路９４に記憶されたＮ個の第６伝達関数のうちのｊ番目の第６伝達関数である。α１０は、第２エコー１４ａと第２クロストーク１８ａとを合わせた第６伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ１０は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
　このように、第６伝達関数更新回路９５は、第６減算器９１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第６記憶回路９２に記憶された信号と、第２エコー１４ａと第２クロストーク１８ａとを合わせた第６伝達関数の推定における学習速度を制御するための第１０ステップサイズパラメータとを乗じることで第６更新係数を算出する。そして、算出した第５更新係数を第６伝達関数記憶回路９４に記憶された第６伝達関数に加算することで更新を行う。
　なお、本実施の形態における翻訳装置２０では、第２話者１２の同一時刻における音声について、第１エコー／第１クロストークキャンセラ８０ａの出力信号が第２エコー／第２クロストークキャンセラ９０ａに入力される時刻は、第１ハウリングキャンセラ６０ａの出力が第２エコー／第２クロストークキャンセラ９０ａに入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第２エコー／第２クロストークキャンセラ９０ａが第２クロストーク１８ａをキャンセルできるように、因果律が保持されている。これは、第１エコー／第１クロストークキャンセラ８０ａの出力信号が第２エコー／第２クロストークキャンセラ９０ａに入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第２ハウリングキャンセラ７０ａでの処理速度、第１エコー／第１クロストークキャンセラ８０ａでの処理速度等）と、第２話者１２の音声が第１マイク２１に入力される時刻を決定づける要因（第２話者１２と第１マイク２１との位置関係等）とを考慮することで適宜、実現し得る。
　［２－２．動作］
　以上のように構成された本実施の形態における翻訳装置２０ａは、次のように動作する。ここでは、実施の形態１で示した翻訳装置２０と異なる点を中心に記述する。
　まずは、制御回路３７の動作について記述する。
　予め、第１言語選択回路２７及び第２言語選択回路２８は、第１話者１１から第１話者１１が用いる第１言語の選択及び第２話者１２から第２話者１２が用いる第２言語の選択を受け付け、制御回路３７に通知する。なお、これまで記したように、実施の形態２においては、第１言語と第２言語とは同一である。
　制御回路３７は、第１言語選択回路２７と第２言語選択回路２８とから、第１言語と第２言語とが同一であると通知されているため、第１エコーキャンセラ４０と、第２エコーキャンセラ５０と、第１翻訳回路３３と、第２翻訳回路３４と、第１音声合成回路３５と、第２音声合成回路３６とに、機能を停止させる。
　次に音声について記述する。
　第１話者１１の音声は、第１マイク２１に入力される。また、第１話者１１の音声以外に、第１ハウリング１５ａ、第２エコー１４ａ及び第２クロストーク１８ａが、第１マイク２１に入力される。第１マイク２１の出力信号は、第１ハウリングキャンセラ６０ａにおいて、第１ハウリング信号が除去される。第１ハウリング信号は、第１ハウリング１５ａの程度を示す（推定された）信号である。よって、第１ハウリングキャンセラ６０ａの出力信号は、第１マイク２１の出力信号から、第１ハウリング１５ａの影響が除去された信号となる。
　続いて、第１ハウリングキャンセラ６０ａの出力信号は、第２エコー／第２クロストークキャンセラ９０ａにおいて、第９妨害信号が除去される。第９妨害信号（すなわち第２エコー／第２クロストーク信号）は、第２エコー１４ａ及び第２クロストーク１８ａの程度を示す（推定された）信号である。よって、第２エコー／第２クロストークキャンセラ９０ａの出力信号は、第１ハウリングキャンセラ６０ａの出力信号から、第２エコー１４ａ及び第２クロストーク１８ａの影響が除去された信号となり、第１音声認識回路３１、第１エコー／第１クロストークキャンセラ８０ａ及び第１スピーカ２２に出力される。
　続いて、第１音声認識回路３１は、第１話者１１の音声から、第１ハウリングキャンセラ６０ａにより第１ハウリング１５ａが除去され、第２エコー／第２クロストークキャンセラ９０ａにより第２エコー１４ａと第２クロストーク１８ａが除去されたデジタル音声データが入力される。第１音声認識回路３１は、入力されたデジタル音声データに対し、音声認識を行った結果である第１文字列を制御回路３７に出力する。
　第１スピーカ２２に入力された信号は、音声となって出力される。
　同様に、第２話者１２の音声は、第２マイク２３に入力される。また、第２話者１２の音声以外に、第２ハウリング１６ａ、第１エコー１３ａ及び第１クロストーク１７ａが、第２マイク２３に入力される。第２マイク２３の出力信号は、第２ハウリングキャンセラ７０ａにおいて、第２ハウリング信号が除去される。第２ハウリング信号は、第２ハウリング１６ａの程度を示す（推定された）信号である。よって、第２ハウリングキャンセラ７０ａの出力信号は、第２マイク２３の出力信号から、第２ハウリング１６ａの影響が除去された信号となる。
　続いて、第２ハウリングキャンセラ７０ａの出力信号は、第１エコー／第１クロストークキャンセラ８０ａにおいて、第１０妨害信号が除去される。第１０妨害信号（すなわち第１エコー／第１クロストーク信号）は、第１エコー１３ａ及び第１クロストーク１７ａの程度を示す（推定された）信号である。よって、第１エコー／第１クロストークキャンセラ８０ａの出力信号は、第２ハウリングキャンセラ７０ａの出力信号から、第１エコー１３ａ及び第１クロストーク１７ａの影響が除去された信号となり、第２音声認識回路３２、第２エコー／第２クロストークキャンセラ９０ａ及び第２スピーカ２４に出力される。
　続いて、第２音声認識回路３２は、第２話者１２の音声から、第２ハウリングキャンセラ７０ａにより第２ハウリング１６ａが除去され、第１エコー／第１クロストークキャンセラ８０ａにより第１エコー１３ａ及び第１クロストーク１７ａが除去されたデジタル音声データが入力される。第２音声認識回路３２は、入力されたデジタル音声データに対し、音声認識を行った結果である第２文字列を制御回路３７に出力する。
　第２スピーカ２４に入力された信号は、音声となって出力される。
　制御回路３７は、第１音声認識回路３１が出力した第１話者１１の音声の認識結果である第１言語の第１文字列、第２音声認識回路３２が出力した第２話者１２の音声の認識結果である第２言語の第２文字列を、映像信号発生回路３８に出力する。
　映像信号発生回路３８は、第１音声認識回路３１が出力した第１話者１１の音声の認識結果である第１言語の第１文字列、及び、第２音声認識回路３２が出力した第２話者１２の音声の認識結果である第２言語の第２文字列を、第１表示回路２５及び第２表示回路２６に出力する。
　翻訳装置２０ａでは、第１話者１１の音声及び第２話者１２の音声は以上のように、処理される。
　以上により、第１音声認識回路３１に入力される出力信号は、第１マイク２１に入力された音声のうち、第１ハウリング１５ａ、第２エコー１４ａ及び第２クロストーク１８ａの影響が除去された出力信号、つまり、音響的雑音が除去された第１話者１１の音声のみとなる。さらには、第１スピーカ２２から出力される音声は、第１マイク２１に入力された音声のうち、第１ハウリング１５ａ、第２エコー１４ａ及び第２クロストーク１８ａの影響が除去された出力信号、つまり、音響的雑音が除去された第１話者１１の音声のみとなる。
　また、第２音声認識回路３２に入力される出力信号は、第２マイク２３に入力された音声のうち、第２ハウリング１６ａ、第１エコー１３ａ及び第１クロストーク１７ａの影響が除去された出力信号、つまり、音響的雑音が除去された第２話者１２の音声のみとなる。さらには、第２スピーカ２４から出力される音声は、第２マイク２３に入力された音声のうち、第２ハウリング１６ａ、第１エコー１３ａ及び第１クロストーク１７ａの影響が除去された出力信号、つまり、音響的雑音が除去された第２話者１２の音声のみとなる。
　［２－３．効果等］
　以上説明したように、翻訳装置２０ａは、第１言語選択回路２７が受け付けた第１言語と、第２言語選択回路２８が受け付けた第２言語とが同一の場合、制御回路３７は、第１エコーキャンセラ４０と、第２エコーキャンセラ５０と、第１翻訳回路３３と、第２翻訳回路３４と、第１音声合成回路３５と、第２音声合成回路３６とに、機能を停止させる。
　このような翻訳装置２０ａは、第１言語と第２言語とが同一の場合、第１エコーキャンセラ４０と、第２エコーキャンセラ５０と、第１翻訳回路３３と、第２翻訳回路３４と、第１音声合成回路３５と、第２音声合成回路３６とに機能を停止させ、処理速度を上げることができる。また、翻訳が不要だが、拡声することができるため、第１話者１１と第２話者１２とが離れている場合や、周囲が騒がしい場合であっても、相互に会話を行うことができる。
　（実施の形態３）
　実施の形態２では、第１話者１１の第１言語と第２話者１２の第２言語とが同一で、拡声が必要な場合を示した。一方で、実施の形態３では、第１話者１１の第１言語と第２話者１２の第２言語が同一であり、拡声が不要な場合に適した構成を示す。
　実施の形態３では、実施の形態１と比べ、エコーに関するキャンセラと、翻訳機能と、翻訳した音声を出力する機能と、拡声する機能が不要になる。
　［３－１．構成］
　図６は、実施の形態３における翻訳装置２０ｂの構成を示すブロック図である。なお、実施の形態３では、実施の形態１と共通の構成要素については同一の符号を付し、その詳細な説明を省略する。
　実施の形態３における翻訳装置２０ｂは、実施の形態１と比べ、第１話者１１の第１言語と第２話者１２の第２言語とが同一であり、拡声が不要なため、第１翻訳回路３３、第２翻訳回路３４、第１音声合成回路３５、第２音声合成回路３６、第１スピーカ２２、第２スピーカ２４が不要となる。さらに、第１スピーカ２２、第２スピーカ２４が不要となることで、第１エコー１３、第２エコー１４、第３エコー１５、及び、第４エコー１６が発生しないため、第１エコーキャンセラ４０、第２エコーキャンセラ５０、第３エコーキャンセラ６０、及び、第４エコーキャンセラ７０も不要となる。
　一方で、第１表示回路２５及び第２表示回路２６は、第１話者１１及び第２話者１２の発声を文字列として表示するため必要となる。また、翻訳装置２０ｂは、第１マイク２１及び第２マイク２３も備えているため、ある話者の音声がその話者以外の音声を入力するためのマイクに入力される現象であるクロストークが発生する。そのため、クロストークをキャンセルする機能は必要となる。
　［３－２．動作］
　以上のように構成された本実施の形態における翻訳装置２０ｂは、次のように動作する。ここでは、実施の形態１で示した翻訳装置２０と異なる点を中心に記述する。
　まずは、制御回路３７の動作について記述する。
　予め、第１言語選択回路２７及び第２言語選択回路２８は、第１話者１１から第１話者１１が用いる第１言語の選択及び第２話者１２から第２話者１２が用いる第２言語の選択を受け付け、制御回路３７に通知する。なお、これまで記したように、実施の形態３においては、第１言語と第２言語は同一である。さらに、拡声が不要なため、制御回路３７は、第１翻訳回路３３、第２翻訳回路３４、第１音声合成回路３５、第２音声合成回路３６、第１スピーカ２２、第２スピーカ２４、第１エコーキャンセラ４０、第２エコーキャンセラ５０、第３エコーキャンセラ６０、及び、第４エコーキャンセラ７０の機能を停止させる。
　次に音声について記述する。
　第１話者１１の音声は、第１マイク２１に入力される。また、第１話者１１の音声以外に、第２クロストーク１８が、第１マイク２１に入力される。第１マイク２１の出力信号は、第２クロストークキャンセラ９０において、第６妨害信号（すなわち第２クロストーク信号）が除去される。第６妨害信号は、第２クロストーク１８の程度を示す（推定された）信号である。よって、第２クロストークキャンセラ９０の出力信号は、第１マイク２１の出力信号から、第２クロストーク１８の影響が除去された信号となり、第１音声認識回路３１と第１クロストークキャンセラ８０に出力される。
　続いて、第１音声認識回路３１には、第１話者１１の音声から、第２クロストークキャンセラ９０により第２クロストーク１８が除去されたデジタル音声データが入力される。第１音声認識回路３１は、入力されたデジタル音声データに対し、音声認識を行った結果である第１文字列を制御回路３７に出力する。
　同様に、第２話者１２の音声は、第２マイク２３に入力される。また、第２話者１２の音声以外に、第１クロストーク１７が、第２マイク２３に入力される。第２マイク２３の出力信号は、第１クロストークキャンセラ８０において、第５妨害信号（すなわち第１クロストーク信号）が除去される。第５妨害信号は、第１クロストーク１７の程度を示す（推定された）信号である。よって、第１クロストークキャンセラ８０の出力信号は、第２マイク２３の出力信号から、第１クロストーク１７の影響が除去された信号となり、第２音声認識回路３２と第２クロストークキャンセラ９０に出力される。
　続いて、第２音声認識回路３２には、第２話者１２の音声から、第１クロストークキャンセラ８０により第１クロストーク１７が除去されたデジタル音声データが入力される。第２音声認識回路３２は、入力されたデジタル音声データに対し、音声認識を行った結果である第２文字列を制御回路３７に出力する。
　制御回路３７は、第１音声認識回路３１が出力した第１話者１１の音声の認識結果である第１言語の第１文字列、第２音声認識回路３２が出力した第２話者１２の音声の認識結果である第２言語の第２文字列を映像信号発生回路３８に出力する。
　映像信号発生回路３８は、第１音声認識回路３１が出力した第１話者１１の音声の認識結果である第１言語の第１文字列、及び、第２音声認識回路３２が出力した第２話者１２の音声の認識結果である第２言語の第２文字列を、第１表示回路２５及び第２表示回路２６に出力する。
　翻訳装置２０ｂでは、第１話者１１の音声及び第２話者１２の音声は以上のように、処理される。
　以上により、第１音声認識回路３１に入力される出力信号は、第１マイク２１に入力された音声のうち、第２クロストーク１８の影響が除去された出力信号、つまり、音響的雑音が除去された第１話者１１の音声のみとなる。また、第２音声認識回路３２に入力される出力信号は、第２マイク２３に入力された音声のうち、第１クロストーク１７の影響が除去された出力信号、つまり、音響的雑音が除去された第２話者１２の音声のみとなる。
　［３－３．効果］
　このような翻訳装置２０ｂは、第１言語と第２言語とが同一、かつ拡声が不要な場合、第１エコーキャンセラ４０と、第２エコーキャンセラ５０と、第３エコーキャンセラ６０と、第４エコーキャンセラ７０と、第１翻訳回路３３と、第２翻訳回路３４と、第１音声合成回路３５と、第２音声合成回路３６と、第１スピーカ２２と第２スピーカ２４とに機能を停止させ、処理速度を上げることができる。
　［４－１．構成の選択］
　これまで、実施の形態１～３において、翻訳の要不要、拡声の要不要によって判断される構成を示した。
　図７は、実施の形態１～３のうち、制御回路３７が最適な構成を選択するフローチャートである。
　まず、第１言語選択回路２７は、第１話者１１から第１話者１１が用いる第１言語の選択を受け付ける（ステップＳ３００）。さらに、受け付けた第１言語を制御回路３７に通知する。
　次に、第２言語選択回路２８は、第２話者１２から第２話者１２が用いる第２言語の選択を受け付ける（ステップＳ３０１）。さらに、受け付けた第２言語を制御回路３７に通知する。
　制御回路３７は、第１言語選択回路２７が受け付けた第１言語と、第２言語選択回路２８が受け付けた第２言語とが同一か否かを判断する（ステップＳ３０２）。
　制御回路３７は、第１言語選択回路２７が受け付けた第１言語と、第２言語選択回路２８が受け付けた第２言語とが異なる場合（ステップＳ３０２でＮＯ）、実施の形態１の構成となるように各構成の機能を稼働させる（ステップＳ３０３）。
　制御回路３７は、第１言語選択回路２７が受け付けた第１言語と、第２言語選択回路２８が受け付けた第２言語とが同一の場合（ステップＳ３０２でＹＥＳ）、拡声が必要か否かを判断する（ステップＳ３０４）。
　制御回路３７は、拡声が必要な場合（ステップＳ３０４でＹＥＳ）、実施の形態２の構成となるように各構成の機能を稼働させる（ステップＳ３０５）。
　制御回路３７は、拡声が不要な場合（ステップＳ３０４でＮＯ）、実施の形態３の構成となるように各構成の機能を稼働させる（ステップＳ３０６）。
　なお、ステップＳ３０４における拡声が要か否かの判断は、制御回路３７によって行われてもよいし、第１話者１１又は、第２話者１２によって行われてもよい。第１話者１１又は、第２話者１２によって行われる場合、第１言語選択回路２７、第２言語選択回路２８、第１表示回路２５及び第２表示回路２６のいずれか１つの近傍に、拡声の要不要を設定するスイッチを設けてもよい。
　（実施の形態４）
　実施の形態１では、第１言語選択回路２７と第２言語選択回路２８とによって、第１話者１１と第２話者１２とが用いる言語を選択する。一方で、実施の形態４では、新たに、第１話者１１の音声と第２話者１２の音声とによって、第１話者１１と第２話者１２とが用いる言語を識別する機能を付与した構成を示す。
　［５－１．構成］
　図８は、実施の形態４における翻訳装置２０ｃの構成を示すブロック図である。なお、実施の形態４では、実施の形態１と共通の構成要素については同一の符号を付し、その詳細な説明を省略する。
　実施の形態４における翻訳装置２０ｃは、実施の形態１に加え、第１言語識別回路３１１と第２言語識別回路３２１とを備える。さらに、第１言語選択回路２７と第２言語選択回路２８とを備えていなくてもよい。
　第１言語識別回路３１１は、第１音声に基づいて第１言語を識別して制御回路３７に通知する。すなわち、第１話者１１の第１音声に基づいて第１話者１１が用いる第１言語を識別する。例えば、第１音声認識回路３１は、第１話者１１の第１音声を音声認識して第１文字列を第１言語識別回路３１１へも出力する。
　第２言語識別回路３２１は、第２音声に基づいて第２言語を識別して制御回路３７に通知する。すなわち、第２話者１２の第２音声に基づいて第２話者１２が用いる第２言語を識別する。例えば、第２音声認識回路３２は、第２話者１２の第２音声を音声認識して第２文字列を第２言語識別回路３２１へも出力する。
　さらに、制御回路３７は、第１言語識別回路３１１が識別した第１言語と、第２言語識別回路３２１が識別した第２言語と、に基づいて、第１音声認識回路３１に、第１言語で音声認識させ、第２音声認識回路３２に、第２言語で音声認識させ、第１翻訳回路３３に、第１言語から第２言語に翻訳させ、第２翻訳回路３４に、第２言語から第１言語に翻訳させ、第１音声合成回路３５に、第２言語で音声合成させ、第２音声合成回路３６に、第１言語で音声合成させてもよい。
　［５－２．動作］
　以上のように構成された本実施の形態における翻訳装置２０ｃは、次のように動作する。ここでは、実施の形態１で示した翻訳装置２０と異なる点を中心に記述する。
　これまで記したように、実施の形態１で示した翻訳装置２０と異なる点として、実施の形態４で示す翻訳装置２０ｃでは、第１言語選択回路２７と第２言語選択回路２８とを備えず、第１言語識別回路３１１と第２言語識別回路３２１とを備える。
　そのため、予め、第１言語選択回路２７と第２言語選択回路２８とを用いて、言語の選択が行われることはない。
　第１話者１１の音声は、第１マイク２１に入力される。また、第１話者１１の音声以外に、実施の形態１と同じ音響的雑音が、第１マイク２１に入力される。第１マイク２１の出力信号が第１音声認識回路３１及び第１クロストークキャンセラ８０に到達するまでの処理は実施の形態１と同じである。その結果、第１音声認識回路３１及び第１クロストークキャンセラ８０に入力されるデジタル音声データは、実施の形態１と同じである。すなわち、第１音声認識回路３１及び第１クロストークキャンセラ８０は、第１話者１１の音声から、第２エコーキャンセラ５０により第２エコー１４が除去され、第３エコーキャンセラ６０により第３エコー１５が除去され、第２クロストークキャンセラ９０により第２クロストーク１８が除去されたデジタル音声データが入力される。第１音声認識回路３１は、入力されたデジタル音声データを第１言語識別回路３１１へ通知する。
　また、第２話者１２の音声は、第２マイク２３に入力される。また、第２話者１２の音声以外に、実施の形態１と同じ音響的雑音が、第２マイク２３に入力される。第２マイク２３の出力信号が第２音声認識回路３２及び第２クロストークキャンセラ９０に到達するまでの処理は実施の形態１と同じである。その結果、第２音声認識回路３２及び第２クロストークキャンセラ９０に入力されるデジタル音声データは、実施の形態１と同じである。すなわち、第２音声認識回路３２及び第２クロストークキャンセラ９０は、第２話者１２の音声から、第１エコーキャンセラ４０により第１エコー１３が除去され、第４エコーキャンセラ７０により第４エコー１６が除去され、第１クロストークキャンセラ８０により第１クロストーク１７が除去されたデジタル音声データが入力される。第２音声認識回路３２は、入力されたデジタル音声データを第２言語識別回路３２１へ通知する。
　続いて、第１言語識別回路３１１は、入力されたデジタル音声データに基づいて第１言語を識別して制御回路３７に通知する。
　更に、第２言語識別回路３２１は、入力されたデジタル音声データに基づいて第２言語を識別して制御回路３７に通知する。
　続いて、制御回路３７は、第１言語識別回路３１１から通知された第１言語を、第１音声認識回路３１、第１翻訳回路３３、第２翻訳回路３４、及び第１音声合成回路３５へ指示し、第２言語識別回路３２１から通知された第２言語を、第２音声認識回路３２、第１翻訳回路３３、第２翻訳回路３４、及び第２音声合成回路３６へ指示する。
　次に、第１音声認識回路３１は、制御回路３７から指示された第１話者１１の第１言語の情報に基づいて、入力されたデジタル音声データに対し、音声認識を行った結果である第１文字列を第１翻訳回路３３と制御回路３７とに出力する。
　さらに、第２音声認識回路３２は、制御回路３７から指示された第２話者１２の第２言語の情報に基づいて、入力されたデジタル音声データに対し、音声認識を行った結果である第２文字列を第２翻訳回路３４と制御回路３７とに出力する。
　続いて、第１翻訳回路３３は、第１音声認識回路３１が出力した第１文字列を、制御回路３７から指示された第１話者１１の第１言語から第２話者１２の第２言語の第３文字列に変換し、第１音声合成回路３５及び制御回路３７に出力する。
　更に、第２翻訳回路３４は、第２音声認識回路３２が出力した第２文字列を、制御回路３７から指示された第２話者１２の第２言語から第１話者１１の第１言語の第４文字列に変換し、第２音声合成回路３６及び制御回路３７に出力する。
　この時点で、第１音声合成回路３５と第２音声合成回路３６と制御回路３７とが受け取った文字列は、実施の形態１と同一となるため、以降の処理手順は、実施の形態１と同様である。
　［５－３．効果］
　以上説明したように、翻訳装置２０ｃは、さらに、第１音声に基づいて第１言語を識別して制御回路３７に通知する第１言語識別回路３１１と、第２音声に基づいて第２言語を識別して制御回路３７に通知する第２言語識別回路３２１とを備え、制御回路３７は、第１言語識別回路３１１が識別した第１言語と、第２言語識別回路３２１が識別した第２言語と、に基づいて、第１音声認識回路３１に、第１言語で音声認識させ、第２音声認識回路３２に、第２言語で音声認識させ、第１翻訳回路３３に、第１言語から第２言語に翻訳させ、第２翻訳回路３４に、第２言語から第１言語に翻訳させ、第１音声合成回路３５に、第２言語で音声合成させ、第２音声合成回路３６に、第１言語で音声合成させる。
　このような翻訳装置２０ｃは、話者が言語選択回路を使用する必要がなく、より簡便に翻訳できるようになる。
　（実施の形態５）
　実施の形態２では、第１話者１１と第２話者１２とが用いる言語を選択し、第１話者１１の第１言語と第２話者１２の第２言語が同一である場合に適した構成を示した。さらに、実施の形態４においては、第１話者１１の音声と第２話者１２の音声によって、第１話者１１と第２話者１２とが用いる言語を識別する機能を付与した構成を示した。
　そこで、実施の形態５では、実施の形態４の構成において、実施の形態２と同じく第１話者１１の第１言語と第２話者１２の第２言語が同一である場合に適した構成を示す。
　［６－１．構成］
　図９は、実施の形態５における翻訳装置２０ｄの構成を示すブロック図である。なお、実施の形態５では、実施の形態２及び実施の形態４と共通の構成要素については同一の符号を付し、その詳細な説明を省略する。
　実施の形態５における翻訳装置２０ｄは、実施の形態２に加え、実施の形態４で説明した第１言語識別回路３１１と第２言語識別回路３２１とを備える。
　さらに、制御回路３７は、第１エコーキャンセラ４０と、第２エコーキャンセラ５０と、第１翻訳回路３３と、第２翻訳回路３４と、第１音声合成回路３５と、第２音声合成回路３６とに、機能を停止させてもよい。
　［６－２．動作］
　以上のように構成された本実施の形態における翻訳装置２０ｄは、次のように動作する。ここでは、実施の形態２で示した翻訳装置２０ａと異なる点を中心に記述する。
　これまで記したように、実施の形態２で示した翻訳装置２０ａと異なる点として、実施の形態５で示す翻訳装置２０ｄでは、第１言語選択回路２７と第２言語選択回路２８を備えず、第１言語識別回路３１１と第２言語識別回路３２１とを備える。
　そのため、予め、第１言語選択回路２７と第２言語選択回路２８とを用いて、言語の選択が行われることはない。
　まずは、制御回路３７の動作について記述する。
　この実施の形態５は、実施の形態４で示した［５－２．動作］において、第１話者１１の第１言語と第２話者１２の第２言語とが同一である場合に適用される。実施の形態４の構成において、制御回路３７は、第１言語識別回路３１１及び第２言語識別回路３２１から、第１言語と第２言語とが同一であると通知されている。そのため、この実施の形態５においては、制御回路３７は、第１エコーキャンセラ４０と、第２エコーキャンセラ５０と、第１翻訳回路３３と、第２翻訳回路３４と、第１音声合成回路３５と、第２音声合成回路３６の機能を停止させる。
　次に音声について記述する。
　第１話者１１の音声は、第１マイク２１に入力される。また、第１話者１１の音声以外に、実施の形態２と同じ音響的雑音が、第１マイク２１に入力される。第１マイク２１の出力信号が第１音声認識回路３１、第１スピーカ２２及び第１エコー／第１クロストークキャンセラ８０ａに到達するまでの処理は実施の形態２と同じである。その結果、第１音声認識回路３１、第１スピーカ２２及び第１エコー／第１クロストークキャンセラ８０ａに入力されるデジタル音声データは、実施の形態２と同じである。すなわち、第１音声認識回路３１、第１スピーカ２２及び第１エコー／第１クロストークキャンセラ８０ａは、第１話者１１の音声から、第１ハウリングキャンセラ６０ａにより第１ハウリング１５ａが除去され、第２エコー／第２クロストークキャンセラ９０ａにより第２エコー１４ａと第２クロストーク１８ａとが除去されたデジタル音声データが入力される。
　第１音声認識回路３１は、入力されたデジタル音声データに対し、音声認識を行った結果である第１文字列を制御回路３７と第１言語識別回路３１１とに出力する。
　続いて、第１言語識別回路３１１は、入力されたデジタル音声データに基づいて第１言語を識別して制御回路３７に通知する。
　また、第２話者１２の音声は、第２マイク２３に入力される。また、第２話者１２の音声以外に、実施の形態２と同じ音響的雑音が、第２マイク２３に入力される。第２マイク２３の出力信号が第２音声認識回路３２、第２スピーカ２４及び第２エコー／第２クロストークキャンセラ９０ａに到達するまでの処理は実施の形態２と同じである。その結果、第２音声認識回路３２、第２スピーカ２４及び第２エコー／第２クロストークキャンセラ９０ａに入力されるデジタル音声データは、実施の形態２と同じである。すなわち、第２音声認識回路３２、第２スピーカ２４及び第２エコー／第２クロストークキャンセラ９０ａは、第２話者１２の音声から、第２ハウリングキャンセラ７０ａにより第２ハウリング１６ａが除去され、第１エコー／第１クロストークキャンセラ８０ａにより第１エコー１３ａと第１クロストーク１７ａとが除去されたデジタル音声データが入力される。
　第２音声認識回路３２は、入力されたデジタル音声データに対し、音声認識を行った結果である第２文字列を制御回路３７と第２言語識別回路３２１とに出力する。
　更に、第２言語識別回路３２１は、入力されたデジタル音声データに基づいて第２言語を識別して制御回路３７に通知する。
　なお、これまで記したように、実施の形態５においては、第１言語と第２言語とは同一である。すなわち翻訳機能と翻訳した音声を出力する機能とが不要になる。
　この時点で、第１スピーカ２２と第２スピーカ２４と制御回路３７と第１エコー／第１クロストークキャンセラ８０ａと第２エコー／第２クロストークキャンセラ９０ａとが受け取った信号は、実施の形態２と同一となるため、以降の処理手順は、実施の形態２と同様である。
　［６－３．効果］
　以上説明したように、翻訳装置２０ｄは、第１言語識別回路３１１が識別した第１言語と、第２言語識別回路３２１が識別した第２言語とが同一の場合、制御回路３７は、第１エコーキャンセラ４０と、第２エコーキャンセラ５０と、第１翻訳回路３３と、第２翻訳回路３４と、第１音声合成回路３５と、第２音声合成回路３６とに、機能を停止させる。
　このような翻訳装置２０ｄは、話者が言語選択回路を使用する必要がなく、より簡便に翻訳できるようになる。さらに、第１言語と第２言語とが同一の場合、第１エコーキャンセラ４０と、第２エコーキャンセラ５０と、第１翻訳回路３３と、第２翻訳回路３４と、第１音声合成回路３５と、第２音声合成回路３６とに機能を停止させ、処理速度を上げることができる。
　（実施の形態６）
　実施の形態３では、第１話者１１と第２話者１２とが用いる言語を選択し、第１話者１１の第１言語と第２話者１２の第２言語とが同一であり、拡声が不要な場合に適した構成を示した。さらに、実施の形態４においては、第１話者１１の音声と第２話者１２の音声によって、第１話者１１と第２話者１２とが用いる言語を識別する機能を付与した構成を示した。
　そこで、実施の形態６では、実施の形態４の構成において、実施の形態３と同じく第１話者１１の第１言語と第２話者１２の第２言語とが同一であり、拡声が不要な場合に適した構成を示す。
　［７－１．構成］
　図１０は、実施の形態６における翻訳装置２０ｅの構成を示すブロック図である。なお、実施の形態６では、実施の形態３と実施の形態４と共通の構成要素については同一の符号を付し、その詳細な説明を省略する。
　実施の形態６における翻訳装置２０ｅは、実施の形態３に加え、実施の形態４で説明した第１言語識別回路３１１と第２言語識別回路３２１とを備える。
　［７－２．動作］
　以上のように構成された本実施の形態における翻訳装置２０ｅで次のように動作する。ここでは、実施の形態３で示した翻訳装置２０ｂと異なる点を中心に記述する。
　これまで記したように、実施の形態３で示した翻訳装置２０ｂと異なる点として、実施の形態６で示す翻訳装置２０ｅでは、第１言語選択回路２７と第２言語選択回路２８を備えず、第１言語識別回路３１１と第２言語識別回路３２１とを備える。
　そのため、予め、第１言語選択回路２７と第２言語選択回路２８とを用いて、言語の選択が行われることはない。
　まずは、制御回路３７の動作について記述する。
　この実施の形態６は、実施の形態４で示した［５－２．動作］において、第１話者１１の第１言語と第２話者１２の第２言語とが同一であり、拡声が不要な場合に適用される。実施の形態４の構成において、制御回路３７は、第１言語識別回路３１１及び第２言語識別回路３２１から、第１言語と第２言語とが同一であると通知されている。そのため、この実施の形態６においては、制御回路３７は、第１翻訳回路３３、第２翻訳回路３４、第１音声合成回路３５、第２音声合成回路３６、第１スピーカ２２、第２スピーカ２４、第１エコーキャンセラ４０、第２エコーキャンセラ５０、第３エコーキャンセラ６０、及び、第４エコーキャンセラ７０の機能を停止させる。
　次に音声について記述する。
　第１話者１１の音声は、第１マイク２１に入力される。また、第１話者１１の音声以外に、実施の形態３と同じ音響的雑音が、第１マイク２１に入力される。第１マイク２１の出力信号が第１音声認識回路３１、及び第１クロストークキャンセラ８０に到達するまでの処理は実施の形態３と同じである。その結果、第１音声認識回路３１、及び第１クロストークキャンセラ８０に入力されるデジタル音声データは、実施の形態３と同じである。すなわち、第１音声認識回路３１、及び第１クロストークキャンセラ８０は、第１話者１１の音声から、第２クロストークキャンセラ９０により第２クロストーク１８が除去されたデジタル音声データが入力される。第１音声認識回路３１は、入力されたデジタル音声データに対し、音声認識を行った結果である第１文字列を制御回路３７、第１言語識別回路３１１及び映像信号発生回路３８に出力する。
　続いて、第１言語識別回路３１１は、入力されたデジタル音声データに基づいて第１言語を識別して制御回路３７に通知する。
　また、第２話者１２の音声は、第２マイク２３に入力される。また、第２話者１２の音声以外に、実施の形態３と同じ音響的雑音が、第２マイク２３に入力される。第２マイク２３の出力信号が第２音声認識回路３２、及び第２クロストークキャンセラ９０に到達するまでの処理は実施の形態３と同じである。その結果、第２音声認識回路３２、及び第２クロストークキャンセラ９０に入力されるデジタル音声データは、実施の形態２と同じである。すなわち、第２音声認識回路３２、及び第２クロストークキャンセラ９０は、第２話者１２の音声から、第１クロストークキャンセラ８０により第１クロストーク１７が除去されたデジタル音声データが入力される。第２音声認識回路３２は、入力されたデジタル音声データに対し、音声認識を行った結果である第２文字列を制御回路３７、第２言語識別回路３２１及び映像信号発生回路３８に出力する。
　更に、第２言語識別回路３２１は、入力されたデジタル音声データに基づいて第２言語を識別して制御回路３７に通知する。
　この時点で、制御回路３７と映像信号発生回路３８と第１クロストークキャンセラ８０と第２クロストークキャンセラ９０とが受け取った信号は、実施の形態３と同一となるため、以降の処理手順は、実施の形態３と同様である。
　［７－３．効果］
　このような翻訳装置２０ｅは、話者が言語選択回路を使用する必要がなく、より簡便に翻訳できるようになる。第１言語と第２言語とが同一、かつ拡声が不要な場合、第１エコーキャンセラ４０と、第２エコーキャンセラ５０と、第３エコーキャンセラ６０と、第４エコーキャンセラ７０と、第１翻訳回路３３と、第２翻訳回路３４と、第１音声合成回路３５と、第２音声合成回路３６と、第１スピーカ２２と第２スピーカ２４とに機能を停止させ、処理速度を上げることができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１～６を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１～６で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　なお、上記で説明した制御回路３７は、第１音声合成回路３５の出力と、第２音声合成回路３６の出力とが、時間的に重複しないように制御してもよい。これにより、全てのエコーキャンセラの不要な信号を除去する精度を高めることができ、さらに、両話者の話しやすさと聞き取りやすさとを向上させることができる。また、制御回路３７は、一方の話者の合成音声の出力を優先してもよい。例えば、図１に示す第１話者１１のように客の合成音声の出力を優先してもよい。
　また、実施の形態５と実施の形態６とにおいては、実施の形態４で第１話者１１の第１言語と第２話者１２の第２言語が同一であることを識別した後に、適用されると記したが、これに限らない。例えば、実施の形態４～６で説明した第１言語識別回路３１１と第２言語識別回路３２１とを備える場合における翻訳言語を決定する方法の一例を示す。まず、第１話者１１と第２話者１２は、本題の翻訳したい内容を話す前に、お互いの母国語を用いて、挨拶する。すると、第１言語識別回路３１１及び第２言語識別回路３２１は、言語を識別し、制御回路３７に通知する。続いて、制御回路３７は、通知された言語に基づいて、第１翻訳回路３３及び第２翻訳回路３４に指示し、第１翻訳回路３３及び第２翻訳回路３４は、翻訳言語を決定する。このような方法を用いてもよい。なお、挨拶でなくてもよく、お互いの母国語を使った他の言葉でもよい。
　さらに、一方の話者の言語を予め設定しておいてもよい。例えば、図１に示す第２話者１２のように受け付け側の言語を予め設定しておくことで、翻訳の処理が早くなる。
　また、上記の必要のない構成要素、不要な構成要素とは、存在しなくてもよいし、制御回路３７が、構成要素の機能を停止させてもよい。
　また、第１音声合成回路３５の出力と、第２音声合成回路３６とは、話者の声質を模擬する機能を有していてもよい。声質とは、例えば、声の高低などである。これにより、両話者は自然に会話を行うことができる。
　また、制御回路３７は、第１音声合成回路３５が第１翻訳音声を出力している期間にだけ、第１エコーキャンセラ４０及び第３エコーキャンセラ６０に、第１伝達関数及び第３伝達関数を更新させてもよい。さらに、制御回路３７は、第２音声合成回路３６が第２翻訳音声を出力している期間にだけ、第２エコーキャンセラ５０及び第４エコーキャンセラ７０に、第２伝達関数及び第４伝達関数を更新させてもよい。
　なお、図１に示した翻訳装置２０においては、第１表示回路２５と第２表示回路２６の２つの表示回路を有しているが、図１１に示すようにこれらが１つとなってもよい。
　図１１は、翻訳装置２０の使用状態の一例を示す図である。
　図１１に示す翻訳装置２０の一例では、例えば実施の形態１の構成要素が一体となった構成を示している。第２話者１２側に表示される第１表示回路２５では、第１話者１１の発言は黒文字で、第２話者１２の発言は白抜き文字で表され、第１話者１１側に表示される第２表示回路２６では、第１話者１１の発言は白抜き文字で、第２話者１２の発言は黒文字で表される。以上のような構成により、第１話者１１と第２話者１２との発言の区別がつきやすく、第１話者１１と第２話者１２にとって、視認性の良い翻訳装置２０となり得る。
　また、実施の形態１～６においては、第１話者１１と第２話者１２の双方向の会話について記したが、話者は２人に限られるものではない。図１に示す、第１話者１１は、例えば、客としたが、客は複数人いても構わない。複数人が順次発話することで、順次翻訳音声を出力することができる。当然ながら、図１に示す、受け付け側が複数人いても構わない。
　なお、図１１に示す翻訳装置２０の一例では、第１話者１１側の第１スピーカ２２、及び、第２話者１２側の第２スピーカ２４の２つのスピーカを有している。しかし、１つのスピーカだけを有し、第１音声合成回路３５が出力する第１翻訳音声と第２音声合成回路３６が出力する第２翻訳音声とを加算して加算翻訳音声を出力する加算回路を追加して、上述の１つのスピーカに出力するようにしてもよい。
　この場合、第１エコー１３と第４エコー１６が同じ現象になるため、第４エコーキャンセラ７０は不要となり、第１エコーキャンセラ４０だけが必要となる。同様に、第２エコー１４と第３エコー１５が同じ現象になるため、第３エコーキャンセラ６０は不要となり、第２エコーキャンセラ５０だけが必要となる。以上の構成から、ハードウェアの規模とコストを大幅に削減することが可能となる。
　なお、１つのスピーカから拡声された加算翻訳音声が第２マイク２３に入力される現象を第５エコーとすると、第５エコーは、第１エコー１３及び第４エコー１６と同じ現象となる。そのため、第１エコーキャンセラ４０と同じ構成、機能をもつ第５エコーキャンセラが必要となる。また、１つのスピーカから拡声された加算翻訳音声が第１マイク２１に入力される現象を第６エコーとすると、第６エコーは、第２エコー１４及び第３エコー１５と同じ現象となる。そのため、第２エコーキャンセラ５０と同じ構成、機能をもつ第６エコーキャンセラが必要となる。
　以上説明したように、翻訳装置２０は、第１話者１１と第２話者１２とによる会話において、一方の話者の言語を他方の話者の言語に翻訳して合成音声を拡声する翻訳装置であって、第１話者１１の第１音声を入力するための第１マイク２１と、第１音声を音声認識して第１文字列を出力するための第１音声認識回路と、第１音声認識回路から出力された第１文字列を第２話者１２の言語に翻訳して第３文字列を出力するための第１翻訳回路と、第１翻訳回路から出力された第３文字列を第１翻訳音声に変換するための第１音声合成回路と、第２話者１２の第２音声を入力するための第２マイク２３と、第２音声を音声認識して第２文字列を出力するための第２音声認識回路と、第２音声認識回路から出力された第２文字列を第１話者１１の言語に翻訳して第４文字列を出力するための第２翻訳回路と、第２翻訳回路から出力された第４文字列を第２翻訳音声に変換するための第２音声合成回路と、第１音声合成回路が出力する第１翻訳音声と第２音声合成回路が出力する第２翻訳音声とを加算して加算翻訳音声を出力する加算回路と、加算回路が出力する加算翻訳音声を拡声するためのスピーカと、スピーカから拡声された加算翻訳音声が第２マイク２３に入力される現象を第５エコーとしたとき、加算翻訳音声と第５エコーに対応する第５伝達関数とを用いて、第５エコーを示す第５エコー信号を推定し、第５エコー信号を、第２マイク２３の出力信号から除去する第５エコーキャンセラと、スピーカから拡声された加算翻訳音声が第１マイク２１に入力される現象を第６エコーとしたとき、加算翻訳音声と第６エコーに対応する第６伝達関数とを用いて、第６エコーを示す第６エコー信号を推定し、第６エコー信号を、第１マイク２１の出力信号から除去する第６エコーキャンセラと、制御回路とを備え、制御回路は、第１音声合成回路が第１翻訳音声を出力し、又は第２音声合成回路が第２翻訳音声を出力している期間に、第５エコーキャンセラに、第５エコー信号を推定する伝達関数を更新させ、第１音声合成回路が第１翻訳音声を出力し、又は第２音声合成回路が第２翻訳音声を出力している期間に、第６エコーキャンセラに、第６エコー信号を推定する伝達関数を更新させる。
　このような翻訳装置２０は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコーを含む音響的雑音を除去し、安定して音声認識しながら、相互に会話を行うことができる。さらに、少ない構成要素によって、上記を達成できることから、ハードウェアの規模とコストを大幅に削減することが可能となる。
　また例えば翻訳装置２０は、さらに、第１音声が第２マイク２３に入力される現象を第１クロストークとしたとき、第１音声を用いて、第１クロストークを示す第１クロストーク信号を推定し、第１クロストーク信号を、第２マイク２３の出力信号から除去する第１クロストークキャンセラと、第２音声が第１マイク２１に入力される現象を第２クロストークとしたとき、第２音声を用いて、第２クロストークを示す第２クロストーク信号を推定し、第２クロストーク信号を、第１マイク２１の出力信号から除去する第２クロストークキャンセラとを備える。
　このような翻訳装置２０は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコー及びクロストークを含む音響的雑音を除去し、安定して音声認識しながら、相互に会話を行うことができる。
　上記で説明したような翻訳方法は、例えば、プログラムを実行するプロセッサによって行われる。つまり、上記実施の形態における第１エコーキャンセラ４０、第２エコーキャンセラ５０、第３エコーキャンセラ６０、第４エコーキャンセラ７０、第１クロストークキャンセラ８０、及び、第２クロストークキャンセラ９０は、プログラムを実行するプロセッサによって実現されてもよい。そのプロセッサには、上記で記したＣＰＵに加え、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、及び、マイクロプロセッサが含まれる。
　また、このような翻訳方法は、上記で記したＲＯＭ、ＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録されるプログラム、及び、そのプログラムが記録された記録媒体で実現されてもよい。また、このような翻訳方法は、上記プログラムを実行するコンピュータ装置が実行してもよい。
　なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、複数の話者の音声と、この複数の話者の音声を認識し相手の言語に翻訳し音声合成して出力された複数の合成音声とが、同時に重複して存在するような場合でも、エコーを含む音響的雑音を除去し、安定して音声認識しながら、相互に会話を行う翻訳装置に適用可能である。具体的には、狭い空間範囲における翻訳装置として本開示は適用可能である。
１０　カウンター
１１　第１話者
１２　第２話者
１３、１３ａ　第１エコー
１４、１４ａ　第２エコー
１５　第３エコー
１５ａ　第１ハウリング
１６　第４エコー
１６ａ　第２ハウリング
１７、１７ａ　第１クロストーク
１８、１８ａ　第２クロストーク
２０、２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ　翻訳装置
２１　第１マイク
２２　第１スピーカ
２３　第２マイク
２４　第２スピーカ
２５　第１表示回路
２６　第２表示回路
２７　第１言語選択回路
２８　第２言語選択回路
３１　第１音声認識回路
３２　第２音声認識回路
３３　第１翻訳回路
３４　第２翻訳回路
３５　第１音声合成回路
３６　第２音声合成回路
３７　制御回路
３８　映像信号発生回路
４０　第１エコーキャンセラ
４１　第１減算器
４２　第１記憶回路
４３　第１畳み込み演算器
４４　第１伝達関数記憶回路
４５　第１伝達関数更新回路
５０　第２エコーキャンセラ
５１　第２減算器
５２　第２記憶回路
５３　第２畳み込み演算器
５４　第２伝達関数記憶回路
５５　第２伝達関数更新回路
６０　第３エコーキャンセラ
６０ａ　第１ハウリングキャンセラ
６１　第３減算器
６２　第３記憶回路
６３　第３畳み込み演算器
６４　第３伝達関数記憶回路
６５　第３伝達関数更新回路
６６　第１遅延器
７０　第４エコーキャンセラ
７０ａ　第２ハウリングキャンセラ
７１　第４減算器
７２　第４記憶回路
７３　第４畳み込み演算器
７４　第４伝達関数記憶回路
７５　第４伝達関数更新回路
７６　第２遅延器
８０　第１クロストークキャンセラ
８０ａ　第１エコー／第１クロストークキャンセラ
８１　第５減算器
８２　第５記憶回路
８３　第５畳み込み演算器
８４　第５伝達関数記憶回路
８５　第５伝達関数更新回路
９０　第２クロストークキャンセラ
９０ａ　第２エコー／第２クロストークキャンセラ
９１　第６減算器
９２　第６記憶回路
９３　第６畳み込み演算器
９４　第６伝達関数記憶回路
９５　第６伝達関数更新回路
２０１　処理装置
２９１　第１カメラ
２９２　第２カメラ
３１１　第１言語識別回路
３２１　第２言語識別回路

Claims (15)

  1. 　第１話者と第２話者とによる会話において、一方の話者の言語を他方の話者の言語に翻訳して合成音声を拡声する翻訳装置であって、
    　前記第１話者の第１音声を入力するための第１マイクと、
    　前記第１音声を音声認識して第１文字列を出力するための第１音声認識回路と、
    　前記第１音声認識回路から出力された前記第１文字列を前記第２話者の言語に翻訳して第３文字列を出力するための第１翻訳回路と、
    　前記第１翻訳回路から出力された前記第３文字列を第１翻訳音声に変換するための第１音声合成回路と、
    　前記第１翻訳音声を拡声するための第１スピーカと、
    　前記第２話者の第２音声を入力するための第２マイクと、
    　前記第２音声を音声認識して第２文字列を出力するための第２音声認識回路と、
    　前記第２音声認識回路から出力された前記第２文字列を前記第１話者の言語に翻訳して第４文字列を出力するための第２翻訳回路と、
    　前記第２翻訳回路から出力された前記第４文字列を第２翻訳音声に変換するための第２音声合成回路と、
    　前記第２翻訳音声を拡声するための第２スピーカと、
    　前記第１スピーカから拡声された前記第１翻訳音声が前記第２マイクに入力される現象を第１エコーとしたとき、前記第１翻訳音声と前記第１エコーに対応する前記第１伝達関数とを用いて、前記第１エコーを示す第１エコー信号を推定し、前記第１エコー信号を、前記第２マイクの出力信号から除去する第１エコーキャンセラと、
    　前記第２スピーカから拡声された前記第２翻訳音声が前記第１マイクに入力される現象を第２エコーとしたとき、前記第２翻訳音声と前記第２エコーに対応する前記第２伝達関数とを用いて、前記第２エコーを示す第２エコー信号を推定し、前記第２エコー信号を、前記第１マイクの出力信号から除去する第２エコーキャンセラと、
    　制御回路とを備え、
    　前記制御回路は、
    　前記第１音声合成回路が前記第１翻訳音声を出力している期間に、前記第１エコーキャンセラに、前記第１エコー信号を推定する伝達関数を更新させ、
    　前記第２音声合成回路が前記第２翻訳音声を出力している期間に、前記第２エコーキャンセラに、前記第２エコー信号を推定する伝達関数を更新させる
    　翻訳装置。
  2. 　さらに、
    　前記第１スピーカから拡声された前記第１翻訳音声が前記第１マイクに入力される現象を第３エコーとしたとき、前記第１翻訳音声と前記第３エコーに対応する第３伝達関数を用いて、前記第３エコーを示す第３エコー信号を推定し、前記第３エコー信号を、前記第１マイクの前記出力信号から除去する第３エコーキャンセラと、
    　前記第２スピーカから拡声された前記第２翻訳音声が前記第２マイクに入力される現象を第４エコーとしたとき、前記第２翻訳音声と前記第４エコーに対応する第４伝達関数を用いて、前記第４エコーを示す第４エコー信号を推定し、前記第４エコー信号を、前記第２マイクの前記出力信号から除去する第４エコーキャンセラとを備え、
    　前記制御回路は、
    　前記第１音声合成回路が前記第１翻訳音声を出力している期間に、前記第３エコーキャンセラに、前記第３エコー信号を推定する前記第３伝達関数を更新させ、
    　前記第２音声合成回路が前記第２翻訳音声を出力している期間に、前記第４エコーキャンセラに、前記第４エコー信号を推定する前記第４伝達関数を更新させる
    　請求項１記載の翻訳装置。
  3. 　第１話者と第２話者とによる会話において、一方の話者の言語を他方の話者の言語に翻訳して合成音声を拡声する翻訳装置であって、
    　前記第１話者の第１音声を入力するための第１マイクと、
    　前記第１音声を音声認識して第１文字列を出力するための第１音声認識回路と、
    　前記第１音声認識回路から出力された前記第１文字列を前記第２話者の言語に翻訳して第３文字列を出力するための第１翻訳回路と、
    　前記第１翻訳回路から出力された前記第３文字列を第１翻訳音声に変換するための第１音声合成回路と、
    　前記第１翻訳音声を拡声するための第１スピーカと、
    　前記第２話者の第２音声を入力するための第２マイクと、
    　前記第２音声を音声認識して第２文字列を出力するための第２音声認識回路と、
    　前記第２音声認識回路から出力された前記第２文字列を前記第１話者の言語に翻訳して第４文字列を出力するための第２翻訳回路と、
    　前記第２翻訳回路から出力された前記第４文字列を第２翻訳音声に変換するための第２音声合成回路と、
    　前記第２翻訳音声を拡声するための第２スピーカと、
    　前記第１スピーカから拡声された前記第１翻訳音声が前記第１マイクに入力される現象を第３エコーとしたとき、前記第１翻訳音声と前記第３エコーに対応する第３伝達関数を用いて、前記第３エコーを示す第３エコー信号を推定し、前記第３エコー信号を、前記第１マイクの前記出力信号から除去する第３エコーキャンセラと、
    　前記第２スピーカから拡声された前記第２翻訳音声が前記第２マイクに入力される現象を第４エコーとしたとき、前記第２翻訳音声と前記第４エコーに対応する第４伝達関数を用いて、前記第４エコーを示す第４エコー信号を推定し、前記第４エコー信号を、前記第２マイクの前記出力信号から除去する第４エコーキャンセラとを備え、
    　制御回路とを備え、
    　前記制御回路は、
    　前記第１音声合成回路が前記第１翻訳音声を出力している期間に、前記第３エコーキャンセラに、前記第３エコー信号を推定する前記第３伝達関数を更新させ、
    　前記第２音声合成回路が前記第２翻訳音声を出力している期間に、前記第４エコーキャンセラに、前記第４エコー信号を推定する前記第４伝達関数を更新させる
    　翻訳装置。
  4. 　さらに、
    　前記第１音声が前記第２マイクに入力される現象を第１クロストークとしたとき、前記第１音声を用いて、前記第１クロストークを示す第１クロストーク信号を推定し、前記第１クロストーク信号を、前記第２マイクの前記出力信号から除去する第１クロストークキャンセラと、
    　前記第２音声が前記第１マイクに入力される現象を第２クロストークとしたとき、前記第２音声を用いて、前記第２クロストークを示す第２クロストーク信号を推定し、前記第２クロストーク信号を、前記第１マイクの前記出力信号から除去する第２クロストークキャンセラとを備える
    　請求項１から３のいずれか１項に記載の翻訳装置。
  5. 　さらに、
    　前記第１話者から前記第１話者が用いる第１言語の選択を受け付け、前記制御回路に通知する第１言語選択回路と、
    　前記第２話者から前記第２話者が用いる第２言語の選択を受け付け、前記制御回路に通知する第２言語選択回路とを備え、
    　前記制御回路は、
    　前記第１言語選択回路から通知された第１言語と、前記第２言語選択回路から通知された第２言語と、に基づいて、
    　前記第１音声認識回路に、前記第１言語で音声認識させ、
    　前記第２音声認識回路に、前記第２言語で音声認識させ、
    　前記第１翻訳回路に、前記第１言語から前記第２言語に翻訳させ、
    　前記第２翻訳回路に、前記第２言語から前記第１言語に翻訳させ、
    　前記第１音声合成回路に、前記第２言語で音声合成させ、
    　前記第２音声合成回路に、前記第１言語で音声合成させる
    　請求項１又は２記載の翻訳装置。
  6. 　さらに、
    　前記第１音声に基づいて第１言語を識別して前記制御回路に通知する第１言語識別回路と、
    　前記第２音声に基づいて第２言語を識別して前記制御回路に通知する第２言語識別回路とを備え、
    　前記制御回路は、
    　前記第１言語識別回路が識別した前記第１言語と、前記第２言語識別回路が識別した前記第２言語と、に基づいて、
    　前記第１音声認識回路に、前記第１言語で音声認識させ、
    　前記第２音声認識回路に、前記第２言語で音声認識させ、
    　前記第１翻訳回路に、前記第１言語から前記第２言語に翻訳させ、
    　前記第２翻訳回路に、前記第２言語から前記第１言語に翻訳させ、
    　前記第１音声合成回路に、前記第２言語で音声合成させ、
    　前記第２音声合成回路に、前記第１言語で音声合成させる
    　請求項１又は２又は５記載の翻訳装置。
  7. 　前記第１言語選択回路が受け付けた前記第１言語と、前記第２言語選択回路が受け付けた前記第２言語と、が同一の場合、
    　前記制御回路は、
    　前記第１エコーキャンセラと、前記第２エコーキャンセラと、前記第１翻訳回路と、前記第２翻訳回路と、前記第１音声合成回路と、前記第２音声合成回路とに、機能を停止させる
    　請求項５記載の翻訳装置。
  8. 　前記第１言語識別回路が識別した前記第１言語と、前記第２言語識別回路が識別した前記第２言語と、が同一の場合、
    　前記制御回路は、
    　前記第１エコーキャンセラと、前記第２エコーキャンセラと、前記第１翻訳回路と、前記第２翻訳回路と、前記第１音声合成回路と、前記第２音声合成回路とに、機能を停止させる
    　請求項６記載の翻訳装置。
  9. 　さらに、
    　第１音声に基づいて、前記第１話者の性別判定を行う第１音声性別判定回路と、
    　第２音声に基づいて、前記第２話者の性別判定を行う第２音声性別判定回路とを備え、
    　前記制御回路は、
    　前記第１音声合成回路に、前記第１音声性別判定回路の判定結果と同じ性別の合成音声を、出力させ、
    　前記第２音声合成回路に、前記第２音声性別判定回路の判定結果と同じ性別の合成音声を、出力させる
    　請求項１から８のいずれか１項に記載の翻訳装置。 
  10. 　さらに、
    　前記第１話者の顔を撮影する第１カメラと、
    　前記第１カメラから出力された第１映像信号に基づいて、前記第１話者を特定する第１顔認識回路と、
    　前記第２話者の顔を撮影する第２カメラと、
    　前記第２カメラから出力された第２映像信号に基づいて、前記第２話者を特定する第２顔認識回路と、
    　話者と前記話者が用いる言語との対を記憶しているデータベースとを備え、
    　前記制御回路は、
    　前記第１顔認識回路が特定した前記第１話者の言語が前記データベースに登録されている場合には、前記第１音声認識回路と前記第１翻訳回路と前記第２翻訳回路と前記第１音声合成回路とに、第１話者の第１言語を通知し、
    　前記第２顔認識回路が特定した前記第２話者の言語が前記データベースに登録されている場合には、前記第２音声認識回路と前記第１翻訳回路と前記第２翻訳回路と前記第２音声合成回路とに、第２話者の第２言語を通知する
    　請求項１から９のいずれか１項に記載の翻訳装置。
  11. 　さらに、
    　前記第１カメラから出力された前記第１映像信号に基づいて、前記第１話者の性別判定を行う第１映像性別判定回路と、
    　前記第２カメラから出力された前記第２映像信号に基づいて、前記第２話者の性別判定を行う第２映像性別判定回路とを備え、
    　前記制御回路は、
    　前記第１音声合成回路に、前記第１映像性別判定回路の判定結果と同じ性別の合成音声を出力させ
    　前記第２音声合成回路に、前記第２映像性別判定回路の判定結果と同じ性別の合成音声を出力させる
    　請求項１０記載の翻訳装置。
  12. 　第１話者と第２話者とによる会話において、一方の話者の言語を他方の話者の言語に翻訳して合成音声を拡声する翻訳装置であって、
    　前記第１話者の第１音声を入力するための第１マイクと、
    　前記第１音声を音声認識して第１文字列を出力するための第１音声認識回路と、
    　前記第１音声認識回路から出力された前記第１文字列を前記第２話者の言語に翻訳して第３文字列を出力するための第１翻訳回路と、
    　前記第１翻訳回路から出力された前記第３文字列を第１翻訳音声に変換するための第１音声合成回路と、
    　前記第２話者の第２音声を入力するための第２マイクと、
    　前記第２音声を音声認識して第２文字列を出力するための第２音声認識回路と、
    　前記第２音声認識回路から出力された前記第２文字列を前記第１話者の言語に翻訳して第４文字列を出力するための第２翻訳回路と、
    　前記第２翻訳回路から出力された前記第４文字列を第２翻訳音声に変換するための第２音声合成回路と、
    　前記第１音声合成回路が出力する前記第１翻訳音声と前記第２音声合成回路が出力する前記第２翻訳音声とを加算して加算翻訳音声を出力する加算回路と、
    　前記加算回路が出力する加算翻訳音声を拡声するためのスピーカと、
    　前記スピーカから拡声された前記加算翻訳音声が前記第２マイクに入力される現象を第５エコーとしたとき、前記加算翻訳音声と前記第５エコーに対応する前記第５伝達関数とを用いて、前記第５エコーを示す第５エコー信号を推定し、前記第５エコー信号を、前記第２マイクの出力信号から除去する第５エコーキャンセラと、
    　前記スピーカから拡声された前記加算翻訳音声が前記第１マイクに入力される現象を第６エコーとしたとき、前記加算翻訳音声と前記第６エコーに対応する前記第６伝達関数とを用いて、前記第６エコーを示す第６エコー信号を推定し、前記第６エコー信号を、前記第１マイクの出力信号から除去する第６エコーキャンセラと、
    　制御回路とを備え、
    　前記制御回路は、前記第１音声合成回路が前記第１翻訳音声を出力し、又は前記第２音声合成回路が前記第２翻訳音声を出力している期間に、前記第５エコーキャンセラに、前記第５エコー信号を推定する伝達関数を更新させ、
    　前記第１音声合成回路が前記第１翻訳音声を出力し、又は前記第２音声合成回路が前記第２翻訳音声を出力している期間に、前記第６エコーキャンセラに、前記第６エコー信号を推定する伝達関数を更新させる
    　翻訳装置。
  13. 　さらに、
    　前記第１音声が前記第２マイクに入力される現象を第１クロストークとしたとき、前記第１音声を用いて、前記第１クロストークを示す第１クロストーク信号を推定し、前記第１クロストーク信号を、前記第２マイクの前記出力信号から除去する第１クロストークキャンセラと、
    　前記第２音声が前記第１マイクに入力される現象を第２クロストークとしたとき、前記第２音声を用いて、前記第２クロストークを示す第２クロストーク信号を推定し、前記第２クロストーク信号を、前記第１マイクの前記出力信号から除去する第２クロストークキャンセラとを備える
    　請求項１２記載の翻訳装置。
  14. 　第１話者と第２話者とによる会話において、自分の言語を相手の言語に翻訳して合成音声を拡声する翻訳方法であって、
    　前記第１話者の第１音声を入力するための第１入力ステップと、
    　前記第１音声を音声認識して第１文字列を出力するための第１音声認識ステップと、
    　前記第１音声認識ステップから出力された前記第１文字列を前記第２話者の言語に翻訳して第３文字列を出力するための第１翻訳ステップと、
    　前記第１翻訳ステップから出力された前記第３文字列を第１翻訳音声に変換するための第１音声合成ステップと、
    　前記第１翻訳音声を拡声するための第１拡声ステップと、
    　前記第２話者の第２音声を入力するための第２入力ステップと、
    　前記第２音声を音声認識して第２文字列を出力するための第２音声認識ステップと、
    　前記第２音声認識ステップから出力された前記第２文字列を前記第１話者の言語に翻訳して第４文字列を出力するための第２翻訳ステップと、
    　前記第２翻訳ステップから出力された前記第４文字列を第２翻訳音声に変換するための第２音声合成ステップと、
    　前記第２翻訳音声を拡声するための第２拡声ステップと、
    　前記第１拡声ステップにて拡声された前記第１翻訳音声が前記第２入力ステップにて入力される現象を第１エコーとしたとき、前記第１翻訳音声と前記第１エコーに対応する第１伝達関数とを用いて、前記第１エコーを示す第１エコー信号を推定し、前記第１エコー信号を、前記第２入力ステップの出力信号から除去する第１エコーキャンセラステップと、
    　前記第２拡声ステップにて拡声された前記第２翻訳音声が前記第１入力ステップにて入力される現象を第２エコーとしたとき、前記第２翻訳音声と前記第２エコーに対応する第２伝達関数とを用いて、前記第２エコーを示す第２エコー信号を推定し、前記第２エコー信号を、前記第１入力ステップの出力信号から除去する第２エコーキャンセラステップと、
    　前記第１音声合成ステップにて前記第１翻訳音声を出力している期間に、前記第１エコーキャンセラステップにおいて、前記第１エコー信号を推定する前記第１伝達関数を更新し、前記第２音声合成ステップにて前記第２翻訳音声を出力している期間に、前記第２エコーキャンセラステップにおいて、前記第２エコー信号を推定する前記第２伝達関数を更新するように指示を与える制御ステップとを含む
    　翻訳方法。
  15. 　第１話者と第２話者とによる会話において、自分の言語を相手の言語に翻訳して合成音声を拡声する翻訳方法であって、
    　前記第１話者の第１音声を入力するための第１入力ステップと、
    　前記第１音声を音声認識して第１文字列を出力するための第１音声認識ステップと、
    　前記第１音声認識ステップから出力された前記第１文字列を前記第２話者の言語に翻訳して第３文字列を出力するための第１翻訳ステップと、
    　前記第１翻訳ステップから出力された前記第３文字列を第１翻訳音声に変換するための第１音声合成ステップと、
    　前記第１翻訳音声を拡声するための第１拡声ステップと、
    　前記第２話者の第２音声を入力するための第２入力ステップと、
    　前記第２音声を音声認識して第２文字列を出力するための第２音声認識ステップと、
    　前記第２音声認識ステップから出力された前記第２文字列を前記第１話者の言語に翻訳して第４文字列を出力するための第２翻訳ステップと、
    　前記第２翻訳ステップから出力された前記第４文字列を第２翻訳音声に変換するための第２音声合成ステップと、
    　前記第２翻訳音声を拡声するための第２拡声ステップと、
    　前記第１拡声ステップにて出力された前記第１翻訳音声が前記第１入力ステップにて入力される現象を第３エコーとしたとき、前記第１翻訳音声と前記第３エコーに対応する第３伝達関数とを用いて、前記第３エコーを示す第３エコー信号を推定し、前記第３エコー信号を、前記第１入力ステップの出力信号から除去する第３エコーキャンセラステップと、
    　前記第２拡声ステップにて出力された前記第２翻訳音声が前記第２入力ステップにて入力される現象を第４エコーとしたとき、前記第２翻訳音声と前記第４エコーに対応する第４伝達関数とを用いて、前記第４エコーを示す第４エコー信号を推定し、前記第４エコー信号を、前記第２入力ステップの出力信号から除去する第４エコーキャンセラステップと、
    　前記第１音声合成ステップにて前記第１翻訳音声を出力している期間に、前記第３エコーキャンセラステップにおいて、前記第３エコー信号を推定する前記第３伝達関数を更新し、前記第２音声合成ステップから前記第２翻訳音声を出力している期間に、前記第４エコーキャンセラステップにおいて、前記第４エコー信号を推定する前記第４伝達関数を更新するように指示を与える制御ステップとを含む
    　翻訳方法。
PCT/JP2019/045118 2018-11-30 2019-11-18 翻訳装置及び翻訳方法 WO2020110808A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19890338.7A EP3890288A4 (en) 2018-11-30 2019-11-18 TRANSLATION DEVICE AND TRANSLATION METHOD
JP2020558387A JP7194900B2 (ja) 2018-11-30 2019-11-18 翻訳装置及び翻訳方法
US17/296,825 US20220027579A1 (en) 2018-11-30 2019-11-18 Translation device and translation method
CN201980077382.9A CN113168840A (zh) 2018-11-30 2019-11-18 翻译装置以及翻译方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-225215 2018-11-30
JP2018225215 2018-11-30

Publications (1)

Publication Number Publication Date
WO2020110808A1 true WO2020110808A1 (ja) 2020-06-04

Family

ID=70852073

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045118 WO2020110808A1 (ja) 2018-11-30 2019-11-18 翻訳装置及び翻訳方法

Country Status (5)

Country Link
US (1) US20220027579A1 (ja)
EP (1) EP3890288A4 (ja)
JP (1) JP7194900B2 (ja)
CN (1) CN113168840A (ja)
WO (1) WO2020110808A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023529699A (ja) * 2020-06-10 2023-07-11 グーグル エルエルシー テキストエコー消去
US11887579B1 (en) * 2022-09-28 2024-01-30 Intuit Inc. Synthetic utterance generation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311136B2 (ja) 1979-10-12 1988-03-11 Dainippon Ink & Chemicals
JP2012093641A (ja) * 2010-10-28 2012-05-17 Toshiba Corp 携帯型電子機器
JP2018173652A (ja) * 2016-07-08 2018-11-08 パナソニックＩｐマネジメント株式会社 翻訳装置および翻訳方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3228963B2 (ja) * 1991-09-18 2001-11-12 株式会社東芝 エコーキャンセラ
JP2001075590A (ja) * 1999-09-07 2001-03-23 Fujitsu Ltd 音声入出力装置及び方法
US7039197B1 (en) * 2000-10-19 2006-05-02 Lear Corporation User interface for communication system
CN1602483A (zh) * 2001-12-17 2005-03-30 内维尼·加雅拉特尼 进行多语种口述词语实时翻译的实时翻译装置与方法
JP2005006243A (ja) * 2003-06-16 2005-01-06 Matsushita Electric Ind Co Ltd 回線エコーキャンセル装置、回線エコーキャンセル方法および記録媒体
JP4566078B2 (ja) * 2005-07-04 2010-10-20 アルパイン株式会社 車載用ハンズフリー通話装置
CN101099147B (zh) * 2005-11-11 2010-05-19 松下电器产业株式会社 对话支持装置
CN101426058B (zh) * 2008-06-17 2011-08-03 上海华平信息技术股份有限公司 一种改善多通道音频通话质量的系统及方法
JP4991649B2 (ja) * 2008-07-02 2012-08-01 パナソニック株式会社 音声信号処理装置
JP5545467B2 (ja) * 2009-10-21 2014-07-09 独立行政法人情報通信研究機構 音声翻訳システム、制御装置、および情報処理方法
KR101204239B1 (ko) * 2011-03-31 2012-11-26 김철희 실시간 하울링 제거장치 및 그 방법
JP5887535B2 (ja) * 2012-02-17 2016-03-16 パナソニックＩｐマネジメント株式会社 エコー消去装置、エコー消去方法、及び、通話装置
KR20150031896A (ko) * 2013-09-17 2015-03-25 한국전자통신연구원 음성인식장치 및 그 동작방법
US10542154B2 (en) 2015-10-16 2020-01-21 Panasonic Intellectual Property Management Co., Ltd. Device for assisting two-way conversation and method for assisting two-way conversation
JP6670224B2 (ja) * 2016-11-14 2020-03-18 株式会社日立製作所 音声信号処理システム
US10090000B1 (en) * 2017-11-01 2018-10-02 GM Global Technology Operations LLC Efficient echo cancellation using transfer function estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311136B2 (ja) 1979-10-12 1988-03-11 Dainippon Ink & Chemicals
JP2012093641A (ja) * 2010-10-28 2012-05-17 Toshiba Corp 携帯型電子機器
JP2018173652A (ja) * 2016-07-08 2018-11-08 パナソニックＩｐマネジメント株式会社 翻訳装置および翻訳方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3890288A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023529699A (ja) * 2020-06-10 2023-07-11 グーグル エルエルシー テキストエコー消去
JP7335460B2 (ja) 2020-06-10 2023-08-29 グーグル エルエルシー テキストエコー消去
US11887579B1 (en) * 2022-09-28 2024-01-30 Intuit Inc. Synthetic utterance generation

Also Published As

Publication number Publication date
US20220027579A1 (en) 2022-01-27
EP3890288A1 (en) 2021-10-06
JPWO2020110808A1 (ja) 2021-10-21
EP3890288A4 (en) 2022-05-18
JP7194900B2 (ja) 2022-12-23
CN113168840A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
JP6311136B2 (ja) 双方向会話補助装置及び双方向会話補助方法
JP6318376B2 (ja) 音源分離装置および音源分離方法
KR102478951B1 (ko) 비선형 특성을 갖는 오디오 필터를 이용하여 오디오 신호를 처리하는 방법 및 장치
JP5075042B2 (ja) エコー消去装置、エコー消去方法、そのプログラム、記録媒体
CN111128221B (zh) 一种音频信号处理方法、装置、终端及存储介质
JP5375400B2 (ja) 音声処理装置、音声処理方法およびプログラム
WO2020110808A1 (ja) 翻訳装置及び翻訳方法
CN111883135A (zh) 语音转写方法、装置和电子设备
JP5887535B2 (ja) エコー消去装置、エコー消去方法、及び、通話装置
WO2018167960A1 (ja) 音声処理装置、音声処理システム、音声処理方法、および音声処理プログラム
JP4536020B2 (ja) 雑音除去機能を有する音声入力装置および方法
KR100200635B1 (ko) 화상회의 시스템에서의 반향제어 장치 및 제어방법
JP2005303574A (ja) 音声認識ヘッドセット
JP6772881B2 (ja) 音声対話装置
CN113489855B (zh) 声音处理方法、装置、电子设备和存储介质
JP4527654B2 (ja) 音声通信装置
JP2021184587A (ja) エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム
CN113421579B (zh) 声音处理方法、装置、电子设备和存储介质
CN113470676B (zh) 声音处理方法、装置、电子设备和存储介质
CN113488067B (zh) 回声消除方法、装置、电子设备和存储介质
TWI745968B (zh) 降噪方法和使用該方法的降噪裝置及降噪系統
WO2022195955A1 (ja) エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム
JP6922551B2 (ja) 音声処理装置、音声処理プログラム、及び音声処理方法
JP2023013073A (ja) 通信端末、判定方法及びプログラム
WO2023212441A1 (en) Systems and methods for reducing echo using speech decomposition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19890338

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558387

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019890338

Country of ref document: EP

Effective date: 20210630