RU2799561C2 - Echo cancelling device, echo cancelling method and echo cancelling program - Google Patents

Echo cancelling device, echo cancelling method and echo cancelling program Download PDF

Info

Publication number
RU2799561C2
RU2799561C2 RU2021129719A RU2021129719A RU2799561C2 RU 2799561 C2 RU2799561 C2 RU 2799561C2 RU 2021129719 A RU2021129719 A RU 2021129719A RU 2021129719 A RU2021129719 A RU 2021129719A RU 2799561 C2 RU2799561 C2 RU 2799561C2
Authority
RU
Russia
Prior art keywords
echo
signal
double talk
compressor
threshold
Prior art date
Application number
RU2021129719A
Other languages
Russian (ru)
Other versions
RU2021129719A (en
Inventor
Юки САТОМИ
Original Assignee
Транстрон Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Транстрон Инк. filed Critical Транстрон Инк.
Publication of RU2021129719A publication Critical patent/RU2021129719A/en
Application granted granted Critical
Publication of RU2799561C2 publication Critical patent/RU2799561C2/en

Links

Images

Abstract

FIELD: acoustics; devices for echo cancellation.
SUBSTANCE: echo canceller for suppressing an echo generated when a voice output from a speaker enters a microphone, comprising a level control unit provided in a received signal path for transmitting a received signal from a far end to a speaker; an echo removal unit provided in the transmission path for transmitting a signal input from the microphone, the echo removal unit removing residual echo from the captured audio signal output from the microphone; and a double talk detection unit that detects whether the signals are in a double talk state in which the signals are simultaneously transmitted to the transmitted signal path and the received signal path. The level adjusting unit includes a compressor that performs a compression process on a signal exceeding a first threshold among the received signals if the double talk detection unit determines a double talk state.
EFFECT: reduction of non-linear echoes, reduction of uncompensated echoes and improvement of the quality of conversational speech.
9 cl, 8 dwg

Description

Область техникиTechnical field

[0001][0001]

Настоящее изобретение относится к устройству эхоподавления, способу эхоподавления и программе эхоподавления.The present invention relates to an echo canceling device, an echo canceling method, and an echo canceling program.

Предпосылки создания изобретенияPrerequisites for the creation of the invention

[0002][0002]

В патентном документе 1 описано устройство эхоподавления, в котором при определении отсутствия передачи сигнала через тракт прохождения передаваемого сигнала и наличии передачи сигнала через тракт прохождения принимаемого сигнала для осуществления процесса подавления эха в уловленном звуковом сигнале используют эхоподавитель.Patent Document 1 describes an echo canceling apparatus in which, when detecting no transmission of a signal through a transmission signal path and presence of a signal transmission through a received signal path, an echo canceller is used to perform an echo cancellation process on the captured audio signal.

Список библиографических ссылокList of bibliographic references

Патентная литератураPatent Literature

[0003][0003]

Патентный документ 1: JP 2018-201147 APatent Document 1: JP 2018-201147 A

Изложение сущности изобретенияStatement of the Invention

Техническая задачаTechnical task

[0004][0004]

Однако в устройстве эхоподавления, описанном в патентном документе 1, если эффективность динамика или усилителя динамика является низкой, существует вероятность возрастания нелинейных эхосигналов, увеличения некомпенсированных эхосигналов и ухудшения качества разговорной речи.However, in the echo cancellation device described in Patent Document 1, if the performance of a speaker or speaker amplifier is low, there is a possibility of an increase in non-linear echoes, an increase in non-cancelled echoes, and a deterioration in speech quality.

[0005][0005]

Настоящее изобретение было разработано с учетом вышеизложенного, и цель настоящего изобретения состоит в обеспечении устройства эхоподавления, способа эхоподавления и программы эхоподавления, которые позволяют подавлять нелинейное эхо и снижать ухудшение качества речи.The present invention has been developed in view of the foregoing, and it is an object of the present invention to provide an echo cancellation apparatus, an echo cancellation method, and an echo cancellation program that can suppress non-linear echo and reduce degradation of speech quality.

Решение проблемыSolution

[0006][0006]

Для решения этой проблемы устройство эхоподавления в соответствии с настоящим изобретением представляет собой, например, устройство эхоподавления для подавления эха, генерируемого при поступлении выходного голосового сигнала из динамика в микрофон. Устройство эхоподавления включает в себя блок регулировки уровня, блок удаления эха и блок обнаружения одновременного разговора. Блок регулировки уровня предусмотрен в тракте прохождения принимаемого сигнала для передачи принимаемого сигнала со стороны дальнего конца линии связи на динамик. Блок удаления эха предусмотрен в тракте прохождения передаваемого сигнала для передачи входного сигнала с микрофона. Блок удаления эха удаляет остаточное эхо из уловленного звукового сигнала с микрофона. Блок обнаружения одновременного разговора определяет наличие состояния одновременного разговора, при котором сигналы передают одновременно в тракт прохождения передаваемого сигнала и в тракт прохождения принимаемого сигнала. Блок регулировки уровня включает в себя компрессор. Если блок обнаружения одновременного разговора определяет состояние одновременного разговора, компрессор осуществляет процесс сжатия для сигнала, превышающего первый порог, из числа принимаемых сигналов. Если блок обнаружения одновременного разговора не определяет состояние одновременного разговора, компрессор осуществляет процесс сжатия для сигнала, превышающего второй порог, который превышает первый порог, из числа принимаемых сигналов.To solve this problem, the echo canceller according to the present invention is, for example, an echo canceller for suppressing an echo generated when a voice signal is output from a speaker to a microphone. The echo canceller includes a level adjusting unit, an echo canceling unit, and a double talk detection unit. A level control unit is provided in the received signal path for transmitting the received signal from the far end of the communication line to the speaker. An echo canceller is provided in the signal path for transmitting the input signal from the microphone. The echo remover removes the residual echo from the captured audio signal from the microphone. The double talk detection unit detects the presence of a double talk condition in which signals are transmitted simultaneously to the transmit signal path and to the receive signal path. The level control unit includes a compressor. If the double talk detection unit determines the double talk state, the compressor performs a compression process on a signal exceeding the first threshold among the received signals. If the double-talk detection unit does not determine the double-talk state, the compressor performs a compression process on a signal exceeding the second threshold, which exceeds the first threshold, among the received signals.

[0007][0007]

Устройство эхоподавления в соответствии с настоящим изобретением содержит компрессор в тракте прохождения принимаемого сигнала для передачи принимаемого сигнала на динамик. При определении состояния одновременного разговора компрессор осуществляет процесс сжатия для сигнала, превышающего первый порог, из числа принимаемых сигналов со стороны дальнего конца. Таким образом, можно предотвращать нелинейное эхо. В результате можно снижать ухудшение качества голоса.The echo canceller according to the present invention includes a compressor in the received signal path for transmitting the received signal to the speaker. When determining the double talk state, the compressor performs a compression process on a signal that exceeds a first threshold among the signals received from the far end. Thus, non-linear echo can be prevented. As a result, deterioration in voice quality can be reduced.

[0008][0008]

В данном случае, если блок обнаружения одновременного разговора не определяет состояние одновременного разговора, компрессор может выполнять процесс сжатия для сигнала, превышающего второй порог, который превышает первый порог, из числа принимаемых сигналов. Это позволяет более надежно предотвращать нелинейное эхо.In this case, if the double-talk detection unit does not determine the double-talk state, the compressor may perform a despreading process on the signal exceeding the second threshold, which exceeds the first threshold, among the received signals. This makes it possible to more reliably prevent non-linear echo.

[0009][0009]

При этом блок регулировки уровня может включать в себя блок регулировки коэффициента усиления, который регулирует коэффициент усиления принимаемого сигнала. Компрессор может регулировать порог таким образом, чтобы первый порог становился небольшим по мере увеличения коэффициента усиления. Компрессор может выполнять процесс сжатия для сигнала, поступающего от блока регулировки коэффициента усиления. В результате, даже если блок регулировки коэффициента усиления выдает голосовой сигнал большого уровня, компрессор уменьшает пик голосового сигнала, и, таким образом, можно уменьшить нелинейное эхо.Meanwhile, the level adjuster may include a gain adjuster that adjusts the gain of the received signal. The compressor may adjust the threshold such that the first threshold becomes small as the gain increases. The compressor may perform a compression process on the signal from the gain control unit. As a result, even if the gain adjuster outputs a high level voice signal, the compressor reduces the peak of the voice signal, and thus the non-linear echo can be reduced.

[0010][0010]

В данном случае компрессор может повышать степень сжатия по мере увеличения коэффициента усиления. В результате, даже если блок регулировки коэффициента усиления выдает голосовой сигнал большого уровня, компрессор уменьшает пик голосового сигнала, и, таким образом, можно уменьшить нелинейное эхо.In this case, the compressor can increase the compression ratio as the gain increases. As a result, even if the gain adjuster outputs a high level voice signal, the compressor reduces the peak of the voice signal, and thus the non-linear echo can be reduced.

[0011][0011]

При этом компрессор может изменять степень сжатия на основании информации об искажениях динамика. Это позволяет уменьшать нелинейное эхо.In this case, the compressor can change the compression ratio based on information about the distortion of the speaker. This allows you to reduce non-linear echo.

[0012][0012]

В данном случае может быть дополнительно предусмотрен эхоподавитель, который осуществляет процесс подавления эха для сигнала, из которого остаточное эхо было удалено блоком удаления эха. В результате, даже в случае, если уровень громкости звука динамика установлен большим из-за большого уровня шума в окружающей среде или т.п., а нелинейные эхосигналы генерируются в большом количестве, возможно удаление эхокомпонента.In this case, an echo canceller can be further provided that performs an echo canceling process on a signal from which the residual echo has been removed by the echo canceller. As a result, even in a case where the sound level of the speaker is set large due to a large amount of noise in the environment or the like, and non-linear echoes are generated in large quantities, it is possible to remove an echo component.

[0013][0013]

При этом компрессор может сравнивать значение принимаемого сигнала с третьим порогом для каждой полосы частот. Если блок обнаружения одновременного разговора определяет состояние одновременного разговора, компрессор может выполнять процесс сжатия для принимаемого сигнала со значением, превышающим третий порог. Соответственно, часть сигналов, сжимаемых компрессором, уменьшается с получением еще более естественного голоса, что позволяет повысить качество телефонного разговора.In this case, the compressor can compare the value of the received signal with the third threshold for each frequency band. If the double talk detection unit determines the double talk state, the compressor may perform a compression process on the received signal with a value greater than the third threshold. Accordingly, part of the signals compressed by the compressor is reduced to produce an even more natural voice, which improves the quality of a telephone conversation.

[0014][0014]

Для решения проблемы способ эхоподавления в соответствии с настоящим изобретением представляет собой, например, способ эхоподавления для подавления эха в терминале ближнего конца, содержащем динамик и микрофон. Способ эхоподавления включает: определение нахождения сигналов в состоянии одновременного разговора, при котором сигналы одновременно проходят в тракт прохождения передаваемого сигнала для передачи сигнала, вводимого с микрофона, и в тракт прохождения принимаемого сигнала для передачи сигнала на динамик; выполнение процесса сжатия для сигнала, превышающего первый порог, из числа принимаемых сигналов со стороны дальнего конца при обнаружении состояния одновременного разговора; вывод сигнала после процесса сжатия из динамика и удаление остаточного эха из уловленного звукового сигнала, выводимого с микрофона. В результате становится возможным подавление нелинейного эха и устранение ухудшения качества голоса.To solve the problem, the echo cancellation method according to the present invention is, for example, an echo cancellation method for canceling echo in a near end terminal including a speaker and a microphone. The echo cancellation method includes: determining whether the signals are in a simultaneous talk state, in which the signals simultaneously pass into a transmitted signal path for transmitting a signal input from a microphone, and into a received signal path for transmitting a signal to a speaker; performing a despreading process on a signal exceeding a first threshold among the received signals from the far end when a double talk state is detected; outputting the signal after the compression process from the speaker; and removing the residual echo from the captured audio signal output from the microphone. As a result, it becomes possible to suppress the non-linear echo and eliminate the degradation of voice quality.

[0015][0015]

Для решения проблемы программа эхоподавления в соответствии с настоящим изобретением представляет собой, например, программу эхоподавления для подавления эха в терминале ближнего конца, содержащем динамик и микрофон. Программа эхоподавления заставляет компьютер функционировать в качестве: блока обнаружения одновременного разговора, который определяет нахождение сигналов в состоянии одновременного разговора, при котором сигналы одновременно передают в тракт прохождения передаваемого сигнала для передачи сигнала, вводимого с микрофона, и в тракт прохождения сигнала для передачи сигнала на динамик; компрессора, который осуществляет процесс сжатия для сигнала, превышающего первый порог, из числа принимаемых сигналов со стороны дальнего конца при определении состояния одновременного разговора; и блока удаления эха, который удаляет остаточное эхо из уловленного звукового сигнала, выводимого с микрофона. В результате можно подавить нелинейное эхо и устранить ухудшение качества голоса.To solve the problem, the echo cancellation program according to the present invention is, for example, an echo cancellation program for canceling echo in a near end terminal including a speaker and a microphone. The echo cancellation program causes the computer to function as: a double talk detection unit that detects whether signals are in a double talk state, in which signals are simultaneously transmitted to the transmit signal path for transmitting the signal input from the microphone, and to the signal path for transmitting the signal to the speaker ; a compressor that performs a compression process on a signal exceeding the first threshold among the received signals from the far end when determining the double talk state; and an echo removal unit that removes residual echo from the captured audio signal output from the microphone. As a result, the non-linear echo can be suppressed and deterioration of voice quality can be eliminated.

Преимущества изобретенияBenefits of the Invention

[0016][0016]

В соответствии с настоящим изобретением можно подавлять нелинейное эхо и устранять ухудшение качества голоса.According to the present invention, the non-linear echo can be suppressed and voice degradation can be eliminated.

Краткое описание графических материаловBrief description of graphic materials

[0017][0017]

На ФИГ. 1 представлена схема, примерно изображающая систему 100 голосовой связи с устройством 1 эхоподавления в соответствии с первым вариантом осуществления.FIG. 1 is a diagram roughly showing a voice communication system 100 with an echo canceller 1 according to the first embodiment.

На ФИГ. 2 представлена структурная схема, изображающая общую конфигурацию устройства 1 эхоподавления.FIG. 2 is a block diagram showing the general configuration of the echo canceller 1.

На ФИГ. 3 представлена схема, схематически иллюстрирующая процесс, осуществляемый компрессором при обнаружении состояния одновременного разговора.FIG. 3 is a diagram schematically illustrating a process carried out by a compressor when a double talk state is detected.

На ФИГ. 4 представлена схема, схематически иллюстрирующая процесс, осуществляемый компрессором при необнаружении состояния одновременного разговора.FIG. 4 is a diagram schematically illustrating a process carried out by a compressor when a double talk state is not detected.

На ФИГ. 5 представлена схема, схематически иллюстрирующая процесс, осуществляемый компрессором при изменении коэффициента усиления.FIG. 5 is a diagram schematically illustrating the process carried out by the compressor when the gain is changed.

На ФИГ. 6 представлена структурная схема, иллюстрирующая общую конфигурацию устройства 2 эхоподавления.FIG. 6 is a block diagram illustrating the general configuration of the echo canceller 2.

На ФИГ. 7 представлена структурная схема, изображающая общую конфигурацию устройства 3 эхоподавления.FIG. 7 is a block diagram showing the general configuration of the echo canceller 3.

На ФИГ. 8 представлена схема, схематически иллюстрирующая процесс, осуществляемый компрессором.FIG. 8 is a diagram schematically illustrating the process carried out by the compressor.

Описание вариантов осуществленияDescription of Embodiments

[0018][0018]

Ниже будут подробно описаны варианты осуществления устройства эхоподавления в соответствии с настоящим изобретением со ссылкой на рисунки. Устройство эхоподавления - это устройство, подавляющее эхо, генерируемое во время телефонного вызова в системе голосовой связи.Embodiments of the echo canceller according to the present invention will be described in detail below with reference to the drawings. An echo canceller is a device that suppresses the echo generated during a telephone call in a voice communication system.

[0019][0019]

Первый вариант осуществленияFirst Embodiment

На ФИГ. 1 представлена схема, примерно изображающая систему 100 голосовой связи с устройством 1 эхоподавления в соответствии с первым вариантом осуществления. Система 100 голосовой связи главным образом включает в себя терминал 50, содержащий микрофон 51 и динамик 52, два сотовых телефона 53 и 54, усилитель 55 динамика и устройство 1 эхоподавления.FIG. 1 is a diagram roughly showing a voice communication system 100 with an echo canceller 1 according to the first embodiment. The voice communication system 100 mainly includes a terminal 50 including a microphone 51 and a speaker 52, two cell phones 53 and 54, a speaker amplifier 55, and an echo canceller 1.

[0020][0020]

Система 100 голосовой связи представляет собой систему, в которой пользователь (пользователь A на стороне ближнего конца), использующий терминал 50 (терминал ближнего конца), находится в голосовой связи с пользователем (пользователем B на стороне дальнего конца), использующим сотовый телефон 54 (терминал дальнего конца). Входной голосовой сигнал посредством сотового телефона 54 усиливается и выводится динамиком 52, причем микрофон 51 принимает голосовой сигнал, подаваемый пользователем на стороне ближнего конца, и передает на сотовый телефон 54. Таким образом, пользователь A может совершать усиленный голосовой вызов (вызов по громкой связи) и при этом не держать сотовый телефон 53 в руках. Сотовый телефон 53 и сотовый телефон 54 соединены друг с другом посредством телефонной линии связи общего пользования.The voice communication system 100 is a system in which a user (user A on the near end side) using a terminal 50 (near end terminal) is in voice communication with a user (user B on the far end side) using a cell phone 54 (terminal far end). The input voice signal by the cell phone 54 is amplified and output by the speaker 52, where the microphone 51 receives the voice signal given by the user on the near end side and transmits to the cell phone 54. Thus, user A can make an amplified voice call (hands-free call) without holding the cell phone 53 in hand. Cell phone 53 and cell phone 54 are connected to each other via a public telephone line.

[0021][0021]

Устройство 1 эхоподавления подавляет эхосигналы, генерируемые при поступлении выходных голосовых сигналов из динамика 52 на микрофон 51. Устройство 1 эхоподавления предусмотрено между терминалом 50 и сотовым телефоном 53, т.е. в тракте прохождения передаваемого сигнала для передачи уловленного микрофоном 51 звукового сигнала от микрофона 51 к сотовому телефону 53 и в тракте прохождения принимаемого сигнала для передачи принимаемого сигнала от сотового телефона 54 на стороне дальнего конца от сотового телефона 53 на динамик 52.The echo canceller 1 suppresses echoes generated when the voice signals output from the speaker 52 to the microphone 51. The echo canceller 1 is provided between the terminal 50 and the cellular phone 53, i. in the transmit signal path for transmitting the audio signal picked up by the microphone 51 from the microphone 51 to the cell phone 53 and in the received signal path for transmitting the received signal from the cell phone 54 on the far end side from the cell phone 53 to the speaker 52.

[0022][0022]

Устройство 1 эхоподавления может быть выполнено в виде специализированной платы, установленной на речевом терминале или т.п. (например, встроенное устройство, система конференц-связи или мобильный терминал) в системе 100 голосовой связи. Кроме того, устройство 1 эхоподавления может включать в себя, например, компьютерное аппаратное и программное обеспечение (программу эхоподавления). Программа эхоподавления может быть заранее сохранена, например, на HDD в качестве носителя данных, встроенного в устройство, такое как компьютер, и в ПЗУ на микрокомпьютере, содержащем центральный процессор (ЦП), и может быть установлена с него на компьютер. Кроме того, программа эхоподавления может временно или постоянно храниться (находиться в памяти) на съемном носителе данных, таком как полупроводниковое запоминающее устройство, карта памяти, оптический диск, магнитооптический диск, магнитный диск или т.п.The echo cancellation device 1 can be made in the form of a specialized board installed on a speech terminal or the like. (eg, an embedded device, a conferencing system, or a mobile terminal) in the voice communication system 100. Further, the echo canceller 1 may include, for example, computer hardware and software (an echo canceller). The echo canceller may be stored in advance, for example, in an HDD as a storage medium built into a device such as a computer, and in a ROM in a microcomputer containing a central processing unit (CPU), and may be installed thereon to the computer. In addition, the echo canceller may be temporarily or permanently stored (memorized) in a removable storage medium such as a semiconductor memory device, a memory card, an optical disk, a magneto-optical disk, a magnetic disk, or the like.

[0023][0023]

На ФИГ. 2 представлена структурная схема, изображающая общую конфигурацию устройства 1 эхоподавления. Устройство 1 эхоподавления главным образом включает в себя блок 11 регулировки уровня, блок 13 удаления эха и блок 15 обнаружения одновременного разговора. На ФИГ. 2 верхний тракт прохождения сигнала представляет собой тракт прохождения передаваемого сигнала, а нижний тракт прохождения сигнала представляет собой тракт прохождения принимаемого сигнала.FIG. 2 is a block diagram showing the general configuration of the echo canceller 1. The echo canceller 1 mainly includes a level adjustment section 11 , an echo cancellation section 13 , and a double talk detection section 15 . FIG. 2, the upper signal path is a transmitted signal path and the lower signal path is a received signal path.

[0024][0024]

Блок 11 регулировки уровня предусмотрен в тракте прохождения принимаемого сигнала. Блок 11 регулировки уровня преимущественно включает в себя регулятор 111 усиления и компрессор 112.Block 11 level adjustment is provided in the path of the received signal. The level control unit 11 mainly includes a gain control 111 and a compressor 112.

[0025][0025]

Регулятор 111 усиления представляет собой блок регулировки коэффициента усиления, который регулирует коэффициент усиления входного принимаемого сигнала. В частности, регулятор 111 усиления регулирует уровень (коэффициент усиления) усиления входного сигнала для регулировки уровня (амплитуды) выходного сигнала. Регулятор 111 усиления может автоматически изменять коэффициент усиления в зависимости от шума или т.п. в окружающей среде, в которой установлен терминал 50. Дополнительно при приведении в действие блока ввода, такого как ручка регулировки, регулятор 111 усиления может изменять коэффициент усиления в зависимости от положения блока ввода.The gain controller 111 is a gain adjuster that adjusts the gain of an input received signal. Specifically, the gain controller 111 adjusts the gain level (gain) of the input signal to adjust the level (amplitude) of the output signal. The gain controller 111 may automatically change the gain depending on the noise or the like. in the environment in which the terminal 50 is installed. Further, by operating an input unit such as a control knob, the gain controller 111 may change the gain depending on the position of the input unit.

[0026][0026]

Выходной сигнал от регулятора 111 усиления поступает на компрессор 112. Компрессор 112 усиливает (т.е. сжимает) принятый сигнал, превышающий порог, из числа входных принимаемых сигналов, с предварительно заданным коэффициентом (коэффициент имеет значение меньше 1) и выводит сигнал. Компрессор 112 будет подробно описан ниже.The output signal from the gain controller 111 is provided to the compressor 112. The compressor 112 amplifies (i.e., compresses) the over-threshold received signal from among the input received signals by a predetermined factor (the factor has a value less than 1) and outputs the signal. Compressor 112 will be described in detail below.

[0027][0027]

Следует отметить, что в настоящем варианте осуществления блок 11 регулировки уровня включает в себя регулятор 111 усиления и компрессор 112, но регулятор 111 усиления является необязательным. При отсутствии регулятора 111 усиления принимаемый сигнал, передаваемый с сотового телефона 53, поступает непосредственно на компрессор 112, и компрессор 112 должен только сжимать принятый сигнал, превышающий порог, из числа входных принимаемых сигналов.It should be noted that in the present embodiment, the level control section 11 includes a gain control 111 and a compressor 112, but the gain control 111 is optional. In the absence of the gain control 111, the received signal transmitted from the cell phone 53 goes directly to the compressor 112, and the compressor 112 only needs to compress the received signal above the threshold from among the input received signals.

[0028][0028]

Блок 13 удаления эха предусмотрен в тракте прохождения передаваемого сигнала для удаления остаточного эха из уловленного звукового сигнала, выводимого с микрофона 51. Блок 13 удаления эха представляет собой линейный эхокомпенсатор, который удаляет остаточное эхо с помощью адаптивного фильтра. Более конкретно, блок 13 удаления эха обновляет коэффициент фильтра в соответствии с заданной процедурой для генерирования сигнала псевдоэхо из сигнала, переданного через тракт прохождения принимаемого сигнала, и вычитает сигнал псевдоэхо из сигнала, переданного через тракт прохождения передаваемого сигнала, для удаления остаточного эха. Следует отметить, что адаптивные фильтры хорошо известны, и, таким образом, описание адаптивного фильтра опущено.An echo canceller 13 is provided in the transmission path to remove residual echo from the captured audio signal output from the microphone 51. The echo canceller 13 is a linear echo canceller that removes residual echo with an adaptive filter. More specifically, the echo canceling unit 13 updates the filter coefficient according to a predetermined procedure to generate a pseudo-echo signal from a signal transmitted through the received signal path, and subtracts the pseudo-echo signal from the signal transmitted through the transmitted signal path to remove residual echo. It should be noted that adaptive filters are well known, and thus description of the adaptive filter is omitted.

[0029][0029]

Следует отметить, что в настоящем варианте осуществления адаптивный фильтр применяют к блоку 13 удаления эха, но в блоке 13 удаления эха можно применять и другой известный алгоритм удаления эха.It should be noted that in the present embodiment, the adaptive filter is applied to the echo canceller 13, but another known echo canceling algorithm can be applied to the echo canceller 13.

[0030][0030]

После удаления из сигнала остаточного эхо с помощью блока 13 удаления эха этот сигнал передают на сотовый телефон 53. Сигнал, из которого остаточное эхо было удалено блоком 13 удаления эха, является входным сигналом для блока 15 обнаружения одновременного разговора.After the residual echo is removed from the signal by the echo removal unit 13, the signal is transmitted to the cell phone 53. The signal from which the residual echo has been removed by the echo removal unit 13 is an input signal to the double talk detection unit 15 .

[0031][0031]

Блок 15 обнаружения одновременного разговора определяет, находится ли входной голосовой сигнал, передаваемый в устройство 1 эхоподавления, в состоянии одиночного разговора или в состоянии одновременного разговора. В данном случае термин «одиночный разговор» относится к состоянию (речь на ближнем конце или речь на дальнем конце), в котором либо пользователь A, либо пользователь B эмитирует голос, а сигнал передают либо в тракт прохождения передаваемого сигнала, либо в тракт прохождения принимаемого сигнала. Одновременный разговор относится к состоянию (речь на ближнем конце или речь на дальнем конце), в котором как пользователь A, так и пользователь B эмитируют голоса, а сигналы одновременно передают в тракт прохождения передаваемого сигнала и тракт прохождения принимаемого сигнала.The double talk detection unit 15 determines whether the input voice signal transmitted to the echo canceller 1 is in the single talk state or the double talk state. In this case, the term "single talk" refers to a state (near-end speech or far-end speech) in which either user A or user B emits a voice, and the signal is transmitted either to the transmitted signal path or to the received signal path. signal. Simulcast refers to a state (near-end speech or far-end speech) in which both user A and user B emit voices, and signals are simultaneously transmitted to the transmit signal path and the receive signal path.

[0032][0032]

Например, блок 15 обнаружения одновременного разговора хранит частотную маску, сгенерированную на основании обучающего сигнала. Обучающий сигнал представляет собой сигнал, передаваемый через тракт прохождения передаваемого сигнала во время односторонней речи (одиночный разговор) на стороне дальнего конца, где на микрофон 51 попадает только звук, выводимый из динамика 52. Частотная маска получает максимальное значение из числа значений спектров мощности множества входных обучающих сигналов.For example, the double talk detection unit 15 stores a frequency mask generated based on the training signal. The training signal is the signal transmitted through the transmission path during one-way speech (single talk) at the far end, where microphone 51 receives only the sound output from speaker 52. training signals.

[0033][0033]

Блок 15 обнаружения одновременного разговора сравнивает значение спектра мощности уловленного звукового сигнала со значением частотной маски для каждой полосы частот. Когда количество полос частот, в которых значение уловленного звукового сигнала превышает значение частотной маски, равно постоянному значению или превышает его, происходит обнаружение подачи звука с микрофона 51, и сигнал передают (присутствует речь на ближнем конце) через тракт прохождения передаваемого сигнала. Блок 15 обнаружения одновременного разговора сравнивает значение спектра мощности принимаемого сигнала со значением частотной маски для каждой полосы частот. Когда количество полос частот, в которых значение принимаемого сигнала превышает значение частотной маски, равно постоянному значению или превышает его, происходит обнаружение передачи сигнала (присутствует речь на дальнем конце) через тракт прохождения принимаемого сигнала.The double talk detection unit 15 compares the power spectrum value of the captured audio signal with the frequency mask value for each frequency band. When the number of frequency bands in which the value of the captured audio signal exceeds the value of the frequency mask is equal to or greater than a constant value, the sound input from the microphone 51 is detected and the signal is transmitted (there is speech at the near end) through the transmission signal path. The double talk detection unit 15 compares the power spectrum value of the received signal with the frequency mask value for each frequency band. When the number of frequency bands in which the received signal value exceeds the frequency mask value is equal to or greater than a constant value, signal transmission is detected (there is speech at the far end) through the received signal path.

[0034][0034]

Однако блок 15 обнаружения одновременного разговора может определять нахождение сигнала в состоянии одиночного разговора или в состоянии одновременного разговора с использованием других различных известных способов.However, the double talk detecting unit 15 can determine whether the signal is in the single talk state or in the double talk state using various other known methods.

[0035][0035]

Компрессор 112 будет подробно описан ниже. Результаты поступают на компрессор 112 от блока 15 обнаружения одновременного разговора. Компрессор 112 осуществляет различные процессы в зависимости от того, находится ли сигнал в состоянии одновременного разговора.Compressor 112 will be described in detail below. The results are fed to the compressor 112 from the double talk detection unit 15 . Compressor 112 performs different processes depending on whether the signal is in the double talk state.

[0036][0036]

На ФИГ. 3 представлена схема, схематически иллюстрирующая процесс, осуществляемый компрессором 112 при определении состояния одновременного разговора. Если блок 15 обнаружения одновременного разговора определяет состояние одновременного разговора, компрессор 112 осуществляет процесс сжатия для сигнала, превышающего порог I, из числа принимаемых сигналов.FIG. 3 is a diagram schematically illustrating the process performed by the compressor 112 in determining the double talk state. If the double talk detection unit 15 detects the double talk state, the compressor 112 performs a compression process on a signal exceeding the threshold I from among the received signals.

[0037][0037]

На ФИГ. 4 представлена схема, схематически иллюстрирующая процесс, осуществляемый компрессором 112 при необнаружении состояния одновременного разговора. Если блок 15 обнаружения одновременного разговора не определяет состояние одновременного разговора, компрессор 112 осуществляет процесс сжатия для сигнала, превышающего порог II, из числа принимаемых сигналов. Порог II больше порога I.FIG. 4 is a diagram schematically illustrating the process performed by the compressor 112 when a double talk condition is not detected. If the double-talk detection unit 15 does not detect the double-talk state, the compressor 112 performs a despreading process on a signal exceeding the threshold II among the received signals. Threshold II is greater than threshold I.

[0038][0038]

При наличии состояния одновременного разговора операция, осуществляемая блоком 13 удаления эха, как правило, является нестабильной. Таким образом, порог I уменьшается, и пик голосового сигнала, поступающего от динамика 52, уменьшается таким образом, что блок 13 удаления эха надежно срабатывает. Напротив, при отсутствии состояния одновременного разговора, поскольку ощущение дискомфорта, вероятно, будет ощущаться в голосе из-за слишком низкого пика голосового сигнала, для поддержания качества голоса используют порог II, превышающий порог I.When there is a double talk state, the operation performed by the echo cancellation unit 13 is generally unstable. Thus, the threshold I is reduced and the peak of the voice signal from the speaker 52 is reduced so that the echo cancellation unit 13 is reliably operated. In contrast, in the absence of a double-talk condition, since a sensation of discomfort is likely to be felt in the voice due to a too low peak of the voice signal, a Threshold II greater than Threshold I is used to maintain voice quality.

[0039][0039]

На ФИГ. 3 и 4, сплошной линией показан сигнал перед осуществлением компрессором 112 процесса сжатия, а пунктирной линией показан сигнал после осуществления компрессором 112 процесса сжатия. В процессе сжатия компрессор 112 умножает принятый сигнал, превышающий порог I или порог II, из числа принимаемых сигналов, вводимых с регулятора 111 усиления, на коэффициент 1 или менее, который задают для принимаемого сигнала, таким образом можно уменьшить уровень выходного сигнала.FIG. 3 and 4, the solid line shows the signal before the compression process by the compressor 112, and the dashed line shows the signal after the compression process by the compressor 112. In the compression process, the compressor 112 multiplies the received signal exceeding threshold I or threshold II among the received signals inputted from the gain controller 111 by a factor of 1 or less which is set to the received signal, thus the output level can be reduced.

[0040][0040]

В результате можно уменьшить искаженный звук, создаваемый сильной вибрацией динамика 52, корпусом, удерживающим динамик 52, компонентом, предусмотренным в корпусе, или т.п. В частности, если эффективность динамика 52 или усилителя динамика 55 является низкой, терминал 50 небольшой и т.п., искаженный звук, скорее всего, будет генерироваться вследствие вибраций динамика 52 или т.п., но понижение уровня голоса значительно уменьшает искаженный звук.As a result, it is possible to reduce the distorted sound generated by strong vibration of the speaker 52, the case holding the speaker 52, a component provided in the case, or the like. In particular, if the efficiency of the speaker 52 or the amplifier of the speaker 55 is low, the terminal 50 is small, or the like, a distorted sound is likely to be generated due to vibrations of the speaker 52 or the like, but lowering the voice level greatly reduces the distorted sound.

[0041][0041]

За счет уменьшения искаженного звука на динамике 52 сигналы, генерируемые путем захвата звуков микрофоном 51 с подачей в блок 13 удаления эха вряд ли содержат нелинейные эхосигналы, и блок 13 удаления эха может в достаточной степени устранять эхосигналы.By reducing the distorted sound on the speaker 52, the signals generated by picking up sounds by the microphone 51 and feeding into the echo canceller 13 are unlikely to contain non-linear echoes, and the echo canceller 13 can cancel echoes sufficiently.

[0042][0042]

Кроме того, компрессор 112 не осуществляет процесс сжатия для принятого сигнала, который меньше порога I или порога II, и выводит входной сигнал как есть. В результате значительно снижается неприятное ощущение из-за изменения громкости звука динамика 52 и прерывания голоса.In addition, the compressor 112 does not perform a compression process on a received signal that is less than threshold I or threshold II, and outputs the input signal as is. As a result, the unpleasant feeling due to the volume change of the speaker 52 and the interruption of the voice is greatly reduced.

[0043][0043]

В соответствии с настоящим вариантом осуществления процесс сжатия для сигнала, превышающего порог I или порог II, позволяет предотвратить нелинейные эхосигналы и стабилизировать режим работы блока 13 удаления эха. Это позволяет снижать ухудшение качества голоса при одновременном уменьшении некомпенсированных эхосигналов.According to the present embodiment, the compression process for a signal exceeding threshold I or threshold II can prevent non-linear echoes and stabilize the operation of the echo canceller 13 . This makes it possible to reduce degradation of voice quality while reducing uncompensated echoes.

[0044][0044]

Кроме того, в соответствии с настоящим вариантом осуществления нелинейное эхо будет возникать с меньшей вероятностью, поэтому необходимо предусмотреть только блок 13 удаления эха, который удаляет линейное эхо, и можно уменьшить количество вычислений, необходимых для удаления эхосигналов.In addition, according to the present embodiment, a non-linear echo is less likely to occur, so it is only necessary to provide an echo removal unit 13 that removes a linear echo, and the amount of calculation required to remove echoes can be reduced.

[0045][0045]

Например, в отсутствие компрессора 112, если нелинейное эхо велико и эхо следует компенсировать, необходим эхоподавитель, как и в предшествующем уровне техники. Таким образом, всегда требуется большое количество расчетов, что замедляет осуществление процессов. Например, также понятно применение блока удаления эха с использованием нелинейного адаптивного фильтра, такого как фильтр Вольтерра (Volterra), для подавления нелинейных эхосигналов. Однако требуется огромное количество расчетов (в 10 или более раз больше, чем в случае линейного эхокомпенсатора).For example, in the absence of compressor 112, if the non-linear echo is large and the echo needs to be cancelled, an echo canceller is needed, as in the prior art. Thus, a large number of calculations are always required, which slows down the implementation of processes. For example, it is also understandable to use an echo canceller using a non-linear adaptive filter such as a Volterra filter to suppress non-linear echoes. However, a huge number of calculations are required (10 or more times more than in the case of a linear echo canceller).

[0046][0046]

Напротив, в соответствии с настоящим вариантом осуществления за счет уменьшения вибрации динамика 52 или т.п. уменьшается разница между принимаемым сигналом, принятым приемной стороной, и голосовым сигналом, выводимым с динамика 52, таким образом можно уменьшить нелинейные эхосигналы и обеспечить достаточное удаление эхосигналов только блоком 13 удаления эха, который представляет собой линейный эхокомпенсатор.On the contrary, according to the present embodiment, by reducing the vibration of the speaker 52 or the like. the difference between the received signal received by the receiving side and the voice signal output from the speaker 52 is reduced, thus non-linear echoes can be reduced and echoes can be sufficiently removed by only the echo canceller 13, which is a linear echo canceller.

[0047][0047]

Следует отметить, что в настоящем варианте осуществления при определении состояния одновременного разговора компрессор 112 осуществляет процесс сжатия для принимаемого сигнала, превышающего порог I, а при необнаружении состояния одновременного разговора процесс сжатия выполняют для принимаемого сигнала, превышающего порог II (который превышает порог I). Однако при необнаружении состояния одновременного разговора выполнение процесса сжатия для принимаемого сигнала, превышающего порог II, не является обязательным. Однако для предотвращения ухудшения качества голоса при уменьшении нелинейных эхосигналов желательно выполнять процесс сжатия в обоих случаях - при обнаружении состояния одновременного разговора и при необнаружении состояния одновременного разговора.It should be noted that in the present embodiment, when the double talk state is determined, the compressor 112 performs a despreading process on the received signal greater than the I threshold, and when no double talk state is detected, the despreading process is performed on the received signal greater than the threshold II (which is greater than the I threshold). However, if the double talk state is not detected, it is not necessary to perform a despreading process on a received signal that exceeds threshold II. However, in order to prevent degradation of voice quality when non-linear echoes are reduced, it is desirable to perform the compression process in both cases, when a double talk state is detected and when a double talk state is not detected.

[0048][0048]

Кроме того, в настоящем варианте осуществления, если блок 15 обнаружения одновременного разговора определяет состояние одновременного разговора, компрессор 112 осуществляет процесс сжатия для сигнала, превышающего порог I, из числа принимаемых сигналов, но порог, применяемый в состоянии одновременного разговора, может изменяться в зависимости от ситуации.In addition, in the present embodiment, if the double talk detection unit 15 detects the double talk state, the compressor 112 performs a compression process on a signal exceeding the threshold I among the received signals, but the threshold applied in the double talk state may vary depending on situations.

[0049][0049]

Например, при определении переменного порога в качестве порога I, компрессор 112 устанавливает порог Ia, когда коэффициент усиления для усиления принимаемого сигнала в регуляторе 111 усиления представляет собой определенное значение (заданное как значение a) в качестве порога Ia. Когда коэффициент усиления становится больше значения a, порог I устанавливают меньше порога Ia, а когда коэффициент усиления становится меньше значения a, порог I устанавливают больше порога Ia. Однако максимальное значение порога I устанавливают меньше порога II. В результате, даже если из регулятора 111 усиления выходит большой голосовой сигнал, нелинейные эхосигналы можно уменьшить за счет уменьшения пика голосового сигнала компрессором 112.For example, when determining the variable threshold as the threshold I, the compressor 112 sets the threshold Ia when the gain for amplifying the received signal in the gain controller 111 is a certain value (set as the value a) as the threshold Ia. When the gain becomes larger than the value a, the threshold I is set less than the threshold Ia, and when the gain becomes smaller than the value a, the threshold I is set greater than the threshold Ia. However, the maximum value of threshold I is set to be less than threshold II. As a result, even if a large voice signal is output from the gain control 111, non-linear echoes can be reduced by reducing the peak of the voice signal by the compressor 112.

[0050][0050]

Кроме того, в настоящем варианте осуществления, хотя коэффициент (значение меньше 1), используемый компрессором 112 в процессе сжатия, является постоянным, коэффициент, используемый в процессе сжатия, может изменяться в зависимости от ситуации.In addition, in the present embodiment, although the ratio (value less than 1) used by the compressor 112 in the compression process is constant, the ratio used in the compression process may vary depending on the situation.

[0051][0051]

На ФИГ. 5 представлена схема, схематически иллюстрирующая процесс, осуществляемый компрессором 112 при изменении коэффициента усиления. Например, при определении переменного коэффициента в качестве коэффициента b компрессор 112 задает коэффициент b, когда коэффициент усиления для усиления принимаемого сигнала в регуляторе 111 усиления представляет собой значение a в качестве коэффициента c. По мере того как коэффициент усиления становится больше значения a, коэффициент b устанавливают меньше коэффициента c, а по мере того как коэффициент усиления становится меньше значения a, коэффициент b устанавливают больше коэффициента c. В данном случае, если процентная доля снижения в уровне выходного сигнала в процессе сжатия определяется как степень сжатия, то степень сжатия возрастает с уменьшением коэффициента. Таким образом, по мере увеличения коэффициента усиления степень сжатия возрастает, а по мере уменьшения коэффициента усиления степень сжатия уменьшается. В результате, даже если из регулятора 111 усиления выходит большой голосовой сигнал, нелинейные эхосигналы можно уменьшить за счет уменьшения пика голосового сигнала компрессором 112.FIG. 5 is a diagram schematically illustrating the process carried out by the compressor 112 when changing the gain. For example, when determining the variable gain as the gain b, the compressor 112 sets the gain b when the gain for amplifying the received signal in the gain controller 111 is the value a as the gain c. As the gain becomes larger than the value a, the factor b is set less than the factor c, and as the gain becomes smaller than the value a, the factor b is set greater than the factor c. In this case, if the reduction percentage in the output signal level during compression is defined as the compression ratio, the compression ratio increases as the ratio decreases. Thus, as the gain increases, the compression ratio increases, and as the gain decreases, the compression ratio decreases. As a result, even if a large voice signal is output from the gain control 111, non-linear echoes can be reduced by reducing the peak of the voice signal by the compressor 112.

[0052][0052]

Например, компрессор 112 может изменять степень сжатия на основании информации об искажениях динамика 52. В данном случае информация об искажениях динамика 52 представляет собой, например, общий коэффициент гармонических искажений (или коэффициент гармоник), представляющий степень искажения сигнала. Общий коэффициент гармонических искажений при малом значении указывает на небольшие искажения динамика 52 и на большие искажения динамика 52 при большом значении коэффициента. Таким образом, компрессор 112 может повышать степень сжатия при большом общем коэффициенте нелинейных искажений и уменьшать степень сжатия при уменьшении общего коэффициента гармонических искажений. В результате при использовании динамика 52, в котором могут возникать искажения, уменьшение пика голосового сигнала компрессором 112 позволяет уменьшать нелинейные эхосигналы.For example, the compressor 112 may change the compression ratio based on the distortion information of the speaker 52. In this case, the distortion information of the speaker 52 is, for example, a total harmonic distortion (or harmonic distortion) representing the degree of signal distortion. The total harmonic distortion factor at a low value indicates a small distortion of the speaker 52 and a large distortion of the speaker 52 at a large value of the factor. Thus, the compressor 112 can increase the compression ratio when the total harmonic distortion is high, and decrease the compression ratio when the total harmonic distortion is reduced. As a result, when using speaker 52, which may experience distortion, reducing the peak of the voice signal by compressor 112 can reduce non-linear echoes.

[0053][0053]

Второй вариант осуществленияSecond Embodiment

Второй вариант осуществления настоящего изобретения имеет конфигурацию, в которой предусмотрен эхоподавитель. Далее будет описано устройство 2 эхоподавления в соответствии со вторым вариантом осуществления. Устройство 2 эхоподавления особенно подходит для случая, когда окружающая среда встроенного устройства или т.п. может сильно изменяться. Следует отметить, что те же компоненты, что и в устройстве 1 эхоподавления в соответствии с первым вариантом осуществления, обозначены одними и теми же номерами позиций и описание этих компонентов будет опущено.The second embodiment of the present invention has a configuration in which an echo canceller is provided. Next, the echo canceller 2 according to the second embodiment will be described. The echo canceller 2 is particularly suitable for the case where the environment of a built-in device or the like is can change greatly. It should be noted that the same components as those in the echo canceller 1 according to the first embodiment are assigned the same reference numbers, and description of these components will be omitted.

[0054][0054]

На ФИГ. 6 представлена структурная схема, изображающая общую конфигурацию устройства 2 эхоподавления. Устройство 2 эхоподавления главным образом содержит блок 11 регулировки уровня, эквалайзер 12, блок 13 удаления эха, эхоподавитель 14, блок 15 обнаружения одновременного разговора, блок 16 оценки шума, блок 17 подавления шума и эквалайзер 18.FIG. 6 is a block diagram showing the general configuration of the echo canceller 2. The echo canceller 2 mainly comprises a level adjusting unit 11, an equalizer 12, an echo canceling unit 13, an echo canceller 14, a double talk detection unit 15, a noise estimation unit 16, a noise suppression unit 17, and an equalizer 18.

[0055][0055]

Эквалайзеры 12, 18 поднимают или понижают отдельную полосу частот голосового сигнала. Однако эквалайзеры 12, 18 не являются обязательными.Equalizers 12, 18 raise or lower a particular frequency band of the voice signal. However, equalizers 12, 18 are optional.

[0056][0056]

Эхоподавитель 14 осуществляет быстрое преобразование Фурье сигнала после удаления линейного эха блоком 13 удаления эха, осуществляет процесс эхоподавления (процесс сильного подавления эхосигналов) для сигнала после выполнения быстрого преобразования Фурье и осуществляет обратное быстрое преобразование Фурье сигнала после выполнения процесса эхоподавления для удаления нелинейного эха. Обработка для эхоподавления хорошо известна, и, таким образом, подробное описание обработки опущено.The echo canceller 14 performs a fast Fourier transform on the signal after the linear echo is removed by the echo canceller 13, performs an echo cancellation process (strong echo cancellation process) on the signal after performing the fast Fourier transform, and performs an inverse fast Fourier transform on the signal after performing the echo cancellation process to remove the non-linear echo. The processing for echo cancellation is well known, and thus a detailed description of the processing is omitted.

[0057][0057]

Если блок 15 обнаружения одновременного разговора определяет отсутствие передачи сигнала через тракт прохождения передаваемого сигнала, но происходит передача сигнала через тракт прохождения принимаемого сигнала, эхоподавитель 14 может осуществлять процесс подавления эхосигналов для сигнала, из которого остаточное эхо было удалено блоком 13 удаления эха.If the double talk detection unit 15 determines that there is no signal transmission through the transmitted signal path, but a signal is transmitted through the received signal path, the echo canceller 14 may perform an echo cancellation process for the signal from which the residual echo has been removed by the echo removal unit 13.

[0058][0058]

Однако в настоящем варианте осуществления, поскольку компрессор 112 уменьшает нелинейные эхосигналы, а блок 13 удаления эха в достаточной степени удаляет эхокомпоненты, эхоподавитель 14 фактически работает только тогда, когда уровень громкости звука динамика 52 установлен большим, например в случае, когда голосовой уровень внешнего шума является большим и генерируется множество нелинейных эхосигналов.However, in the present embodiment, since the compressor 112 reduces non-linear echoes and the echo canceller 13 sufficiently removes the echo components, the echo canceller 14 actually works only when the sound level of the speaker 52 is set to high, for example, in the case where the external noise voice level is large and generates a lot of non-linear echoes.

[0059][0059]

Следует отметить, что в настоящем варианте осуществления эхоподавитель 14 осуществляет частотный анализ с использованием быстрого преобразования Фурье, но вместо быстрого преобразования Фурье для частотного анализа можно использовать дискретное преобразование Фурье (DFT). Кроме того, эхоподавитель 14 может выполнять обратное дискретное преобразование Фурье вместо быстрого преобразования Фурье.It should be noted that in the present embodiment, the echo canceller 14 performs frequency analysis using the Fast Fourier Transform, but instead of the Fast Fourier Transform, the Discrete Fourier Transform (DFT) can be used for frequency analysis. In addition, the echo canceller 14 may perform an inverse discrete Fourier transform instead of a fast Fourier transform.

[0060][0060]

Блок 16 оценки шума оценивает шумовой компонент, содержащийся в сигнале с удаленным эхо, преобразованным в функцию частотной области посредством эхоподавителя 14, а именно оцененный шумовой сигнал, для каждой частотной области и оценивает соотношение сигнал-шум (SN) для сигнала с удаленным эхом на основании спектральной плотности мощности оцененного шумового сигнала, который был оценен. Блок 17 подавления шума подавляет шумовой сигнал в сигнале с удаленным эхом на основании спектральной плотности мощности оцененного шумового сигнала, оцененного блоком 16 оценки шума, и генерирует сигнал с подавленным шумом. Следует отметить, что блок 16 оценки шума и блок 17 подавления шума необязательны.The noise estimator 16 estimates the noise component contained in the remote echo signal converted into a function of the frequency domain by the echo canceller 14, namely the estimated noise signal, for each frequency domain, and estimates the signal-to-noise ratio (SN) of the remote echo signal based on the power spectral density of the estimated noise signal that has been estimated. The noise suppressor 17 suppresses the noise signal in the remote echo signal based on the power spectral density of the estimated noise signal estimated by the noise estimator 16, and generates a noise canceled signal. It should be noted that the noise estimation unit 16 and the noise suppression unit 17 are optional.

[0061][0061]

В соответствии с настоящим вариантом осуществления возможно удаление эхокомпонента даже при генерировании множества нелинейных эхосигналов. Например, во встроенном устройстве окружающая среда может сильно изменяться при вождении транспортного средства. При большом внешнем шуме прослушивание исходящего из динамика 52 звука затруднено. Следовательно, приходится увеличивать громкость звука динамика 52 и повышать громкость голоса пользователя B на стороне дальнего конца, в результате чего возрастают линейные эхосигналы и нелинейные эхосигналы. Блок 13 удаления эха может удалять линейные эхосигналы, но не может удалять нелинейные эхосигналы. В настоящем варианте осуществления за счет эхоподавителя 14 возможно удаление эхокомпонентов даже при генерировании множества нелинейных эхосигналов.According to the present embodiment, it is possible to remove an echo component even when a plurality of non-linear echoes are generated. For example, in an embedded device, the environment may change greatly when driving a vehicle. When there is a lot of external noise, listening to the sound coming from the speaker 52 is difficult. Therefore, it is necessary to increase the volume of the sound of the speaker 52 and increase the volume of the voice of the user B on the far end side, resulting in an increase in linear echoes and non-linear echoes. The echo canceller 13 can remove linear echoes, but cannot remove non-linear echoes. In the present embodiment, the echo canceller 14 makes it possible to remove echo components even when a plurality of non-linear echoes are generated.

[0062][0062]

Третий вариант осуществленияThird Embodiment

Третий вариант осуществления имеет конфигурацию, в которой работа компрессора отличается в зависимости от каждой полосы частот. Далее будет описано устройство 3 эхоподавления в соответствии с третьим вариантом осуществления. Следует отметить, что те же компоненты, что и в устройстве 1 эхоподавления в соответствии с первым вариантом осуществления, обозначены одними и теми же номерами позиций и описание этих компонентов будет опущено.The third embodiment has a configuration in which compressor operation differs depending on each frequency band. Next, the echo canceller 3 according to the third embodiment will be described. It should be noted that the same components as those in the echo canceller 1 according to the first embodiment are assigned the same reference numbers, and description of these components will be omitted.

[0063][0063]

На ФИГ. 7 представлена структурная схема, изображающая общую конфигурацию устройства 3 эхоподавления. Устройство 3 эхоподавления главным образом содержит блок 11 регулировки уровня, блок 13 удаления эха и блок 15 обнаружения одновременного разговора. Блок 11A регулировки уровня главным образом включает в себя регулятор 111 усиления и компрессор 112A.FIG. 7 is a block diagram showing the general configuration of the echo canceller 3. The echo canceller 3 mainly includes a level adjusting section 11, an echo canceling section 13, and a double talk detection section 15. The level control unit 11A mainly includes a gain control 111 and a compressor 112A.

[0064][0064]

Компрессор 112A сравнивает уровень голоса с порогом для каждой полосы частот и осуществляет процесс сжатия для принимаемого сигнала в полосе частот, в которой уровень голоса превышает порог. Компрессор 112A включает в себя блок обработки, который осуществляет преобразование Фурье и обратное преобразование Фурье.Compressor 112A compares the voice level with a threshold for each frequency band and performs a compression process on the received signal in the frequency band in which the voice level exceeds the threshold. Compressor 112A includes a processing unit that performs a Fourier transform and an inverse Fourier transform.

[0065][0065]

Компрессор 112A осуществляет преобразование Фурье принимаемого сигнала для разделения мощности, которая представляет собой среднюю энергию в единицу времени, на мощность для каждой полосы частот и вычисляет спектр мощности, который выражает мощность для каждой полосы частот в зависимости от частоты для каждого единичного интервала времени. Компрессор 112A сравнивает значение принимаемого сигнала с порогом для каждой полосы частот и осуществляет процесс сжатия для сигнала, который превышает порог или равен ему в полосе частот.The compressor 112A Fourier transforms the received signal to divide the power, which is the average energy per unit time, into the power for each frequency band, and calculates a power spectrum that expresses the power for each frequency band versus frequency for each unit time interval. Compressor 112A compares the value of the received signal with a threshold for each frequency band, and performs a despreading process on a signal that is greater than or equal to the threshold in the frequency band.

[0066][0066]

На ФИГ. 8 представлена схема, схематически иллюстрирующая процесс, осуществляемый компрессором 112A. Сплошная линия на ФИГ. 8 обозначает принимаемый сигнал. Если блок 15 обнаружения одновременного разговора определяет состояние одновременного разговора, компрессор 112A осуществляет процесс сжатия для сигнала в полосе частот, в которой значение сигнала превышает порог III. Пунктирная линия на ФИГ. 8 обозначает сигнал после выполнения компрессором 112A процесса сжатия для сигнала, превышающего порог III. Более того, если блок 15 обнаружения одновременного разговора не определяет состояние одновременного разговора, компрессор 112A осуществляет процесс сжатия для сигнала в полосе частот, в которой значение сигнала превышает порог IV. Пунктирная линия на ФИГ. 8 обозначает сигнал после выполнения компрессором 112A процесса сжатия для сигнала, превышающего порог IV. Порог IV больше порога III.FIG. 8 is a diagram schematically illustrating the process carried out by the compressor 112A. The solid line in FIG. 8 indicates the received signal. If the double talk detection unit 15 detects the double talk state, the compressor 112A performs a despreading process for a signal in a frequency band in which the signal value exceeds the threshold III. The dotted line in FIG. 8 indicates a signal after compressor 112A has performed a compression process on a signal exceeding threshold III. Moreover, if the double-talk detection unit 15 does not detect the double-talk state, the compressor 112A performs a despreading process for a signal in a frequency band in which the signal value exceeds the threshold IV. The dotted line in FIG. 8 indicates a signal after compressor 112A has performed a compression process on a signal exceeding threshold IV. Threshold IV is greater than threshold III.

[0067][0067]

Компрессор 112A выдает сигнал, полученный путем выполнения обратного преобразования Фурье с сигналом после сжатия.Compressor 112A outputs a signal obtained by performing an inverse Fourier transform on the signal after compression.

[0068][0068]

В соответствии с настоящим вариантом осуществления путем изменения наличия или отсутствия процесса сжатия для каждой полосы частот можно снизить долю сигналов, сжимаемых компрессором 112, чтобы получить еще более естественный голос, что позволяет повысить качество телефонного разговора.According to the present embodiment, by changing the presence or absence of the compression process for each frequency band, it is possible to reduce the proportion of signals compressed by the compressor 112 to obtain an even more natural voice, thus improving the quality of a telephone conversation.

[0069][0069]

Следует отметить, что в настоящем варианте осуществления, хотя компрессор 112A осуществляет в полосе частот процесс сжатия для сигнала, который превышает порог III или порог IV, вне зависимости от полосы частот, порог можно изменять и в зависимости от полосы частот. Например, голосовой компонент на низкой частоте, вероятно, вызовет искажения, и поэтому порог можно уменьшать по мере понижения частоты, а по мере повышения частоты порог можно увеличивать.It should be noted that in the present embodiment, although the compressor 112A performs a band-wide compression process on a signal that exceeds threshold III or threshold IV regardless of the frequency band, the threshold can also be changed depending on the frequency band. For example, a voice component at a low frequency is likely to cause distortion, and so the threshold can be reduced as the frequency decreases, and as the frequency increases, the threshold can be increased.

[0070][0070]

Выше подробно описаны варианты осуществления изобретения со ссылкой на графические материалы. Однако конкретные конфигурации не ограничиваются представленными вариантами осуществления, а также включают в себя изменения в конструкции или т.п., не выходящие за рамки сущности изобретения.The embodiments of the invention have been described in detail above with reference to the drawings. However, the specific configurations are not limited to the embodiments shown, but also include changes in design or the like without departing from the gist of the invention.

Перечень условных обозначенийList of symbols

[0071][0071]

1, 2, 3 - Устройство эхоподавления1, 2, 3 - Echo Canceller

11, 11A - Блок регулировки уровня11, 11A - Level control unit

12 - Эквалайзер12 - Equalizer

13 - Блок удаления эха13 - Echo remover

14 - Эхоподавитель14 - Echo Canceller

15 - Блок обнаружения одновременного разговора15 - Double talk detection block

16 - Блок оценки шума16 - Noise estimation block

17 - Блок подавления шума17 - Noise suppression block

18 - Эквалайзер18 - Equalizer

50 - Терминал50 - Terminal

51 - Микрофон51 - Microphone

52 - Динамик52 - Speaker

53 - Сотовый телефон53 - Cell phone

54 - Сотовый телефон54 - Cell phone

55 - Усилитель динамика55 - Speaker amplifier

100 - Система голосовой связи100 - Voice communication system

111 - Регулятор усиления111 - Gain control

112, 112A - Компрессор.112, 112A - Compressor.

Claims (27)

1. Устройство эхоподавления для подавления эха, генерируемого при поступлении выходного голосового сигнала из динамика в микрофон, содержащее:1. An echo cancellation device for suppressing the echo generated when an output voice signal arrives from a speaker into a microphone, comprising: блок регулировки уровня, предусмотренный в тракте прохождения принимаемого сигнала для передачи принимаемого сигнала со стороны дальнего конца на динамик;a level control unit provided in the received signal path for transmitting the received signal from the far end to the speaker; блок удаления эха, предусмотренный в тракте прохождения передаваемого сигнала для передачи сигнала, вводимого с микрофона, причем блок удаления эха удаляет остаточное эхо из уловленного звукового сигнала, выводимого с микрофона; иan echo removal unit provided in the transmission path for transmitting a signal input from the microphone, the echo removal unit removing residual echo from the captured audio signal output from the microphone; And блок обнаружения одновременного разговора, который определяет нахождение сигналов в состоянии одновременного разговора, при котором сигналы одновременно передают в тракт прохождения передаваемого сигнала и в тракт прохождения принимаемого сигнала, причемa double talk detection unit that determines whether the signals are in a double talk state, in which the signals are simultaneously transmitted to the transmitted signal path and to the received signal path, wherein блок регулировки уровня включает в себя компрессор, который осуществляет процесс сжатия для сигнала, превышающего первый порог, из числа принимаемых сигналов, если блок обнаружения одновременного разговора определяет состояние одновременного разговора.the level adjusting unit includes a compressor that performs a compression process on a signal exceeding a first threshold among the received signals if the double talk detection unit detects a double talk state. 2. Устройство эхоподавления по п. 1, в котором2. The echo cancellation device according to claim 1, wherein если блок обнаружения одновременного разговора не определяет состояние одновременного разговора, компрессор осуществляет процесс сжатия для сигнала, превышающего второй порог, который превышает первый порог, из числа принимаемых сигналов.if the double talk detection unit does not determine the double talk state, the compressor performs a compression process on the signal exceeding the second threshold, which exceeds the first threshold, among the received signals. 3. Устройство эхоподавления по п. 1 или 2, в котором3. An echo cancellation device according to claim 1 or 2, wherein блок регулировки уровня включает в себя блок регулировки коэффициента усиления, который регулирует коэффициент усиления принимаемого сигнала, аthe level adjuster includes a gain adjuster that adjusts the gain of the received signal, and компрессор регулирует порог таким образом, что первый порог становится небольшим по мере увеличения коэффициента усиления, и компрессор осуществляет процесс сжатия для выходного сигнала, поступающего от блока регулировки коэффициента усиления.the compressor adjusts the threshold such that the first threshold becomes small as the gain increases, and the compressor performs a compression process on the output signal from the gain adjuster. 4. Устройство эхоподавления по п. 3, в котором4. The echo cancellation device according to claim 3, wherein компрессор повышает степень сжатия по мере увеличения коэффициента усиления.the compressor increases the compression ratio as the gain increases. 5. Устройство эхоподавления по любому из пп. 1-3, в котором5. The echo cancellation device according to any one of paragraphs. 1-3, in which компрессор изменяет степень сжатия на основании информации об искажениях динамика.the compressor changes the compression ratio based on the speaker distortion information. 6. Устройство эхоподавления по любому из пп. 1-5, дополнительно содержащее:6. The echo cancellation device according to any one of paragraphs. 1-5, further comprising: эхоподавитель, который осуществляет процесс для подавления эха в сигнале, из которого остаточное эхо было удалено блоком удаления эха.an echo canceller that performs a process for canceling an echo in a signal from which the residual echo has been removed by the echo canceller. 7. Устройство эхоподавления по любому из пп. 1-6, в котором7. The echo cancellation device according to any one of paragraphs. 1-6, in which компрессор сравнивает значение принимаемого сигнала с третьим порогом для каждой полосы частот, и в случае, если блок обнаружения одновременного разговора определяет состояние одновременного разговора, компрессор осуществляет процесс сжатия для принимаемого сигнала со значением, превышающим третий порог.the compressor compares the received signal value with the third threshold for each frequency band, and if the double talk detection unit determines the double talk state, the compressor performs a compression process for the received signal with a value greater than the third threshold. 8. Способ эхоподавления для подавления эха в терминале ближнего конца, содержащем динамик и микрофон, включающий:8. An echo cancellation method for echo cancellation in a near end terminal containing a speaker and a microphone, comprising: определение нахождения сигналов в состоянии одновременного разговора, при котором сигналы одновременно передают в тракт прохождения передаваемого сигнала для передачи входного сигнала с микрофона и в тракт прохождения принимаемого сигнала для передачи сигнала на динамик;determining whether the signals are in a double talk state, wherein the signals are simultaneously transmitted to a transmit signal path for transmitting an input signal from a microphone and to a received signal path for transmitting a signal to a speaker; выполнение процесса сжатия для сигнала, превышающего первый порог, из числа принимаемых сигналов со стороны дальнего конца при определении состояния одновременного разговора;performing a compression process on a signal exceeding the first threshold among the received signals from the far end when determining the double talk state; выведение сигнала после процесса сжатия из динамика; иoutputting the signal after the compression process from the speaker; And удаление остаточного эха из уловленного звукового сигнала, выводимого с микрофона.removing residual echo from the captured sound output from the microphone. 9. Съемный носитель данных, на котором хранится программа эхоподавления для подавления эха в терминале ближнего конца, содержащем динамик и микрофон, причем программа эхоподавления заставляет компьютер функционировать в качестве:9. Removable media that stores echo cancellation software for echo suppression in a near-end terminal containing a speaker and microphone, the echo cancellation software causing the computer to function as: блока обнаружения одновременного разговора, который определяет нахождение сигналов в состоянии одновременного разговора, при котором сигналы одновременно передают в тракт прохождения передаваемого сигнала для передачи сигнала, вводимого с микрофона, и в тракт прохождения принимаемого сигнала для передачи сигнала на динамик;a double talk detection unit that detects whether the signals are in a double talk state in which signals are simultaneously transmitted to a transmission signal path for transmitting a signal input from a microphone and to a received signal path for transmitting a signal to a speaker; компрессора, который осуществляет процесс сжатия для сигнала, превышающего первый порог, из числа принимаемых сигналов со стороны дальнего конца при определении состояния одновременного разговора; иa compressor that performs a compression process on a signal exceeding the first threshold among the received signals from the far end when determining the double talk state; And блока удаления эха, который удаляет остаточное эхо из уловленного звукового сигнала, выводимого с микрофона.an echo removal unit that removes the residual echo from the captured audio signal output from the microphone.
RU2021129719A 2019-04-05 2020-03-17 Echo cancelling device, echo cancelling method and echo cancelling program RU2799561C2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019-072738 2019-04-05

Publications (2)

Publication Number Publication Date
RU2021129719A RU2021129719A (en) 2023-05-11
RU2799561C2 true RU2799561C2 (en) 2023-07-06

Family

ID=

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3305646A (en) * 1963-11-13 1967-02-21 Bell Telephone Labor Inc Echo suppressor with improved break-in circuitry
US3313893A (en) * 1963-12-12 1967-04-11 Bell Telephone Labor Inc Break-in circuitry for echo suppressors
US3973086A (en) * 1975-04-24 1976-08-03 Bell Telephone Laboratories, Incorporated Digital echo suppressor break-in circuitry
DE3724346A1 (en) * 1987-05-15 1988-11-24 Standard Elektrik Lorenz Ag Circuit arrangement for dynamic control
WO1995023477A1 (en) * 1994-02-28 1995-08-31 Qualcomm Incorporated Doubletalk detection by means of spectral content
US20030174847A1 (en) * 1998-07-31 2003-09-18 Circuit Research Labs, Inc. Multi-state echo suppressor
US20080205632A1 (en) * 2002-12-23 2008-08-28 Leblanc Wilfrid Packet voice system with far-end echo cancellation
US8600037B2 (en) * 2011-06-03 2013-12-03 Apple Inc. Audio quality and double talk preservation in echo control for voice communications
EP2822263B1 (en) * 2013-07-05 2019-03-27 Sennheiser Communications A/S Communication device with echo suppression

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3305646A (en) * 1963-11-13 1967-02-21 Bell Telephone Labor Inc Echo suppressor with improved break-in circuitry
US3313893A (en) * 1963-12-12 1967-04-11 Bell Telephone Labor Inc Break-in circuitry for echo suppressors
US3973086A (en) * 1975-04-24 1976-08-03 Bell Telephone Laboratories, Incorporated Digital echo suppressor break-in circuitry
DE3724346A1 (en) * 1987-05-15 1988-11-24 Standard Elektrik Lorenz Ag Circuit arrangement for dynamic control
WO1995023477A1 (en) * 1994-02-28 1995-08-31 Qualcomm Incorporated Doubletalk detection by means of spectral content
US20030174847A1 (en) * 1998-07-31 2003-09-18 Circuit Research Labs, Inc. Multi-state echo suppressor
US20080205632A1 (en) * 2002-12-23 2008-08-28 Leblanc Wilfrid Packet voice system with far-end echo cancellation
US8600037B2 (en) * 2011-06-03 2013-12-03 Apple Inc. Audio quality and double talk preservation in echo control for voice communications
EP2822263B1 (en) * 2013-07-05 2019-03-27 Sennheiser Communications A/S Communication device with echo suppression

Similar Documents

Publication Publication Date Title
EP3764628B1 (en) System and method for reducing distortion and echo leakage in hands-free communication
US8306215B2 (en) Echo canceller for eliminating echo without being affected by noise
US8315380B2 (en) Echo suppression method and apparatus thereof
US10339954B2 (en) Echo cancellation and suppression in electronic device
US7742746B2 (en) Automatic volume and dynamic range adjustment for mobile audio devices
EP0843934B1 (en) Arrangement for suppressing an interfering component of an input signal
US8620232B2 (en) Post filter for spectral domain echo cancellers to handle non-linear echo components
US7787613B2 (en) Method and apparatus for double-talk detection in a hands-free communication system
US8085930B2 (en) Communication system
CN109273019B (en) Method for double-talk detection for echo suppression and echo suppression
JPWO2002095975A1 (en) Echo processing device
EP2741481B1 (en) Subband domain echo masking for improved duplexity of spectral domain echo suppressors
CN107005268B (en) Echo cancellation device and echo cancellation method
EP1941712B1 (en) Acoustic echo canceller
US7889874B1 (en) Noise suppressor
WO2005046076A1 (en) Echo suppression device
US11303758B2 (en) System and method for generating an improved reference signal for acoustic echo cancellation
US20220165286A1 (en) Echo suppression device, echo suppression method, and echo suppression program
RU2799561C2 (en) Echo cancelling device, echo cancelling method and echo cancelling program
JP4534529B2 (en) Howling suppression method and apparatus
WO2024009892A1 (en) Echo suppressing device, echo suppressing method, and echo suppressing program
RU2021129719A (en) ECHO CANCELING DEVICE, ECHO CANCELING METHOD AND ECHO CANCELING PROGRAM
CN117278677A (en) Echo cancellation method, apparatus, device and computer readable storage medium
Degry et al. Solution to speech intelligibility improvement in mobile phones