KR102306739B1 - Method and apparatus for voice enhacement in a vehicle - Google Patents

Method and apparatus for voice enhacement in a vehicle Download PDF

Info

Publication number
KR102306739B1
KR102306739B1 KR1020200078670A KR20200078670A KR102306739B1 KR 102306739 B1 KR102306739 B1 KR 102306739B1 KR 1020200078670 A KR1020200078670 A KR 1020200078670A KR 20200078670 A KR20200078670 A KR 20200078670A KR 102306739 B1 KR102306739 B1 KR 102306739B1
Authority
KR
South Korea
Prior art keywords
gain
noise
echo
level
microphone
Prior art date
Application number
KR1020200078670A
Other languages
Korean (ko)
Inventor
김현석
Original Assignee
김현석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김현석 filed Critical 김현석
Priority to KR1020200078670A priority Critical patent/KR102306739B1/en
Application granted granted Critical
Publication of KR102306739B1 publication Critical patent/KR102306739B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Abstract

The present invention relates to a method and device for enhancing voice transmission in a vehicle. More specifically, the present invention relates to the method and device that amplify and transmit a voice of a specific passenger in the vehicle to a location of another passenger. According to the present invention, provided is the method and device for enhancing the voice transmission in the vehicle that allow the hearing passenger to hear a sufficient level of voice by allowing the voice of the specific passenger in the vehicle to be amplified and transmitted to the location of another passenger, and allow a conversation to be proceeded while concentrating on driving. The device for enhancing the voice transmission in the vehicle comprises: a resonance removing part; and a voice suppression part.

Description

차량 내부 음성전달 강화 방법 및 장치{Method and apparatus for voice enhacement in a vehicle}Method and apparatus for voice enhancement in a vehicle

본 발명은 차량 내부 음성전달 강화 방법 및 장치에 관한 것으로서, 더욱 상세하게는, 차량 내에서 특정 탑승자의 음성이 다른 탑승자 위치로 증폭되어 전달되도록 하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for enhancing voice transmission inside a vehicle, and more particularly, to a method and apparatus for amplifying and transmitting the voice of a specific occupant in a vehicle to another occupant's location.

차량 내에서는 운행 중 소음으로 인해, 탑승자들 간에 음성 전달력이 저하되는 일이 발생한다. 이와 같이 음성 전달력이 저하되는 경우, 듣고 있는 탑승자가 상대방 탑승자의 말을 확실히 듣기 위해, 상대방 탑승자의 충분치 못한 레벨의 음성에 집중하거나, 상대방 탑승자로 시선을 돌리는 등의 상황을 야기하여 차량 사고로까지 이어지게 할 위험성을 가지게 되는 문제점이 있었다.In the vehicle, due to noise while driving, voice transmission between passengers may be reduced. When the voice transmission power is deteriorated in this way, in order to ensure that the listening occupant can hear the other occupant's words, it may cause situations such as focusing on the voice of the other occupant at an insufficient level or turning their gaze to the other occupant, leading to a car accident. There was a problem that had a risk of being connected.

KRUS 10-117831310-1178313 B1B1

본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 차량 내에서 특정 탑승자의 음성이 다른 탑승자 위치로 증폭되어 전달되도록 함으로써, 듣는 탑승자가 충분한 레벨의 음성을 듣게 되어, 운전에 집중하면서 대화를 진행할 수 있도록 하는 차량 내부 음성전달 강화 방법 및 장치를 제공하는데 그 목적이 있다.The present invention was devised to solve such a problem, and the voice of a specific occupant in the vehicle is amplified and transmitted to the position of another occupant, so that the listening occupant hears a voice of a sufficient level, so that the conversation proceeds while concentrating on driving. It is an object of the present invention to provide a method and apparatus for enhancing voice transmission within a vehicle.

이와 같은 목적을 달성하기 위하여 본 발명에 따른 차량 내부 음성전달 강화 장치는, 차량 내에 구비된 각 마이크에 대하여, 해당 마이크로 입력되는 음성, 소음 및 스피커로부터 해당 마이크까지의 반향(echo)의 합 신호를 수신하여, 이로부터 상기 반향을 제거하는 반향제거부; 및, 상기 각 마이크에 대하여, 상기 반향이 제거된 신호에서 소음 억제를 수행하는 소음억제부를 포함하고, 차량 내에 M개의 마이크 및 K개의 스피커가 구비된 경우, 상기 반향제거부는, 상기 M개의 각 마이크에 대응하여, 상기 K개의 각 스피커로부터 해당 마이크까지의 경로에서 유입된 K개의 반향(echo)을 제거하는 M x K개의 반향제거(acoustic echo canceller, AEC) 모듈을 구비하고, 상기 소음억제부는, 상기 M개의 각 마이크에 대응하여, 반향이 제거된 신호에서 소음억제를 수행하는 M개의 소음억제(noise suppresor) 모듈을 구비하며, 상기 차량 내부 음성전달 강화 장치는, 이득 행렬(gain matrix)을 이용하여, 상기 소음억제부에 의해 소음억제가 수행된 M개의 마이크 신호 및, 각 신호가 출력될 스피커의 매칭을 수행하는 이득 행렬 적용부를 더 포함한다.In order to achieve the above object, the device for enhancing voice transmission in a vehicle according to the present invention is a signal of a sum signal of voice input to a corresponding microphone, noise, and an echo from the speaker to the corresponding microphone for each microphone provided in the vehicle. an echo canceling unit for receiving and removing the echo therefrom; and a noise suppressor for performing noise suppression on the signal from which the echo is removed for each of the microphones, wherein when M microphones and K speakers are provided in the vehicle, the echo canceling unit may include the M microphones Correspondingly, provided with M x K acoustic echo canceller (AEC) modules for canceling K echoes introduced in the path from each of the K speakers to the corresponding microphone, the noise suppression unit comprising: Corresponding to each of the M microphones, M noise suppressor modules that perform noise suppression on a signal from which echo is removed are provided, wherein the in-vehicle voice transmission enhancement device uses a gain matrix Thus, it further includes a gain matrix application unit for matching the M microphone signals to which the noise suppression is performed by the noise suppression unit and a speaker to which each signal is to be output.

상기 각 반향제거 모듈은, 음성, 소음 및 반향이 합해진 신호에서, 상기 반향을 제거하기 위한 반향제거신호를 생성하는 반향제거 어댑티브 필터; 및, 반향이 제거된, 음성과 소음의 합 신호 및 스피커 출력신호를 이용하여 LMS 알고리즘을 통해, 상기 반향제거 어댑티브 필터의 업데이트를 수행하는 LMS 알고리즘 수행부를 구비할 수 있다.Each of the echo cancellation modules may include: an echo cancellation adaptive filter for generating an echo cancellation signal for canceling the echo from a signal in which voice, noise, and echo are combined; and an LMS algorithm performing unit that updates the echo cancellation adaptive filter through the LMS algorithm using the echo cancelled sum signal of voice and noise and the speaker output signal.

이득 행렬 적용부는, 상기 소음억제가 수행된 마이크 신호에 대하여, 스피커로 출력하기 위한 음성 출력 이득(gain)을 설정하는 기능을 더 포함할 수 있다.The gain matrix application unit may further include a function of setting an audio output gain for output to a speaker with respect to the microphone signal on which the noise suppression has been performed.

상기 차량 내부 음성전달 강화 장치는, 소음억제부에서 노이즈 스펙트럼(noise spectrum)으로부터 환경 소음 레벨을 추정하는 소음 레벨 분석부; 및, 상기 추정된 환경 소음 레벨로부터 스피커로 출력할 음성 출력 이득(gain)을 결정하는 레벨 설정부를 더 포함할 수 있다.The in-vehicle voice transmission enhancement device may include: a noise level analyzer for estimating an environmental noise level from a noise spectrum in the noise suppressor; and a level setting unit configured to determine an audio output gain to be output to a speaker from the estimated environmental noise level.

상기 레벨 설정부는, 상기 추정된 환경 소음이 클수록 이득 행렬의 이득을 높이고, 소음이 작을수록 이득 행렬의 이득을 낮추는 방식으로 이득 레벨을 결정할 수 있다.The level setting unit may determine the gain level by increasing the gain of the gain matrix as the estimated environmental noise increases and decreasing the gain of the gain matrix as the noise decreases.

환경 소음 레벨이 특정값(이하 '제1 기준레벨'이라 한다) 보다 작을 경우에는 이득을 기 설정된 특정값(이하 '제1 이득레벨'이라 한다)으로 유지하고, 환경 소음 레벨이 다른 특정값(이하 '제2 기준레벨'이라 한다) 보다 클 경우에는 이득을 기 설정된 다른 특정값(이하 '제2 이득레벨'이라 한다)으로 유지할 수 있다.When the environmental noise level is smaller than a specific value (hereinafter referred to as a 'first reference level'), the gain is maintained at a preset specific value (hereinafter referred to as a 'first gain level'), and the environmental noise level is a different specific value (hereinafter referred to as a 'first gain level') Hereinafter, when it is greater than the 'second reference level'), the gain may be maintained at another predetermined specific value (hereinafter referred to as a 'second gain level').

본 발명의 다른 측면에 따르면, 차량 내부 음성전달 강화 방법은, (a) 차량 내에 구비된 각 마이크에 대하여, 해당 마이크로 입력되는 음성, 소음 및 스피커로부터 해당 마이크까지의 반향(echo)의 합 신호를 수신하여, 이로부터 상기 반향을 제거하는 단계; 및, (b) 상기 각 마이크에 대하여, 상기 반향이 제거된 신호에서 소음 억제를 수행하는 단계를 포함하고, 상기 단계(b) 이후, (c) 이득 행렬(gain matrix)을 이용하여, 상기 소음억제가 수행된 각 마이크 신호와, 각 신호가 출력될 스피커의 매칭을 수행하는 단계를 더 포함한다.According to another aspect of the present invention, in the method for enhancing voice transmission inside a vehicle, (a) for each microphone provided in the vehicle, the sum signal of the voice input to the microphone, the noise, and the echo from the speaker to the microphone receiving and canceling the echo therefrom; and, (b) for each of the microphones, performing noise suppression on the signal from which the echo is removed. After the step (b), (c) using a gain matrix, the noise The method further includes matching each microphone signal to which suppression has been performed and a speaker to which each signal is to be output.

상기 반향 제거시, 상기 각 마이크 수신 신호에 대하여, 각 스피커로부터 해당 마이크까지의 경로에서 유입된 각각의 반향(echo)을 제거하고, 상기 각각의 반향이 제거된 신호에 대하여 상기 소음 억제가 수행될 수 있다.When canceling the echo, for each microphone received signal, each echo introduced in the path from each speaker to the corresponding microphone is removed, and the noise suppression is performed on the signal from which each echo is removed. can

상기 단계(c)의 매칭 수행 이전에, (c0) 상기 소음억제가 수행된 마이크 신호에 대하여, 스피커로 출력하기 위한 음성 출력 이득(gain)을 설정하는 단계를 더 포함할 수 있다.Prior to performing the matching in step (c), the method may further include (c0) setting an audio output gain for output to a speaker with respect to the microphone signal on which the noise suppression has been performed.

상기 단계(c0)는, (c01) 소음억제시 측정된 노이즈 스펙트럼(noise spectrum)으로부터 환경 소음 레벨을 추정하는 단계; 및, (c02) 상기 추정된 환경 소음 레벨로부터 스피커로 출력할 음성 출력 이득(gain)을 결정하는 단계를 포함할 수 있다.The step (c0) may include (c01) estimating an environmental noise level from a noise spectrum measured during noise suppression; and, (c02) determining an audio output gain to be output to a speaker from the estimated environmental noise level.

상기 음성 출력 이득은, 상기 추정된 환경 소음이 클수록 이득 행렬의 이득을 높이고, 소음이 작을수록 이득 행렬의 이득을 낮추는 방식으로 이득 레벨이 결정될 수 있다.The gain level of the audio output gain may be determined by increasing the gain of the gain matrix as the estimated environmental noise increases and decreasing the gain of the gain matrix as the noise decreases.

환경 소음 레벨이 특정값(이하 '제1 기준레벨'이라 한다) 보다 작을 경우에는 이득을 기 설정된 특정값(이하 '제1 이득레벨'이라 한다)으로 유지하고, 환경 소음 레벨이 다른 특정값(이하 '제2 기준레벨'이라 한다) 보다 클 경우에는 이득을 기 설정된 다른 특정값(이하 '제2 이득레벨'이라 한다)으로 유지할 수 있다.When the environmental noise level is smaller than a specific value (hereinafter referred to as a 'first reference level'), the gain is maintained at a preset specific value (hereinafter referred to as a 'first gain level'), and the environmental noise level is a different specific value (hereinafter referred to as a 'first gain level') Hereinafter, when it is greater than the 'second reference level'), the gain may be maintained at another predetermined specific value (hereinafter referred to as a 'second gain level').

본 발명에 의하면, 차량 내에서 특정 탑승자의 음성이 다른 탑승자 위치로 증폭되어 전달되도록 함으로써, 듣는 탑승자가 충분한 레벨의 음성을 듣게 되어, 운전에 집중하면서 대화를 진행할 수 있도록 하는 차량 내부 음성전달 강화 방법 및 장치를 제공하는 효과가 있다.According to the present invention, the voice of a specific occupant in the vehicle is amplified and transmitted to another occupant's location, so that the listening occupant hears a voice of a sufficient level, so that a conversation can proceed while concentrating on driving. And there is an effect of providing a device.

도 1은 종래 차량 내부에서의 음성 전달 및 본 발명에 따른 음성전달 강화 장치가 설치된 차량 내에서의 음성전달을 각각 나타내는 모식도.
도 2는 본 발명에 따른 음성전달 강화 장치에서, 1개의 마이크와 1개의 스피커가 설치된 경우의 블럭도를 도시한 도면.
도 3은 본 발명에 따른 음성전달 강화 장치에서, 2개의 마이크와 2개의 스피커가 설치된 경우의 블럭도를 도시한 도면.
도 4는 본 발명에 따른 음성전달 강화 장치에서, 일반적으로 M개의 마이크와 K개의 스피커가 설치된 경우의 블럭도를 도시한 도면.
도 5는 도 4에서 M=4, K=6인 경우 차량 내 마이크와 스피커의 관계를 설명하기 위한 도면.
도 6은 도 4의 음성전달 강화 장치에서, 환경 소음 레벨 분석에 따른 이득(gain) 조정부가 더 구비된 경우의 블럭도를 도시한 도면.
도 7은 환경 소음 레벨에 따른 이득 결정 곡선을 도시한 도면.
도 8은 본 발명에 따른 음성전달 강화 장치가 수행하는 음성전달 강화 방법의 순서도.
1 is a schematic diagram illustrating voice transmission in a conventional vehicle and voice transmission in a vehicle in which an apparatus for enhancing voice transmission according to the present invention is installed.
2 is a block diagram showing a case in which one microphone and one speaker are installed in the apparatus for enhancing voice transmission according to the present invention;
3 is a diagram illustrating a block diagram in the case where two microphones and two speakers are installed in the apparatus for enhancing voice transmission according to the present invention;
4 is a block diagram showing a case in which M microphones and K speakers are generally installed in the apparatus for enhancing voice transmission according to the present invention.
FIG. 5 is a view for explaining the relationship between a microphone and a speaker in a vehicle when M=4 and K=6 in FIG. 4;
FIG. 6 is a block diagram illustrating a case in which a gain adjustment unit according to environmental noise level analysis is further provided in the apparatus for enhancing voice transmission of FIG. 4; FIG.
7 is a diagram illustrating a gain determination curve according to an environmental noise level;
8 is a flowchart of a method for enhancing speech delivery performed by the apparatus for enhancing speech delivery according to the present invention.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, the terms or words used in the present specification and claims should not be construed as being limited to conventional or dictionary meanings, and the inventor should properly understand the concept of the term in order to best describe his invention. Based on the principle that it can be defined, it should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the configuration shown in the embodiments and drawings described in the present specification is only the most preferred embodiment of the present invention and does not represent all of the technical spirit of the present invention, so at the time of the present application, various It should be understood that there may be equivalents and variations.

도 1은 종래 차량 내부에서의 음성 전달 및 본 발명에 따른 음성전달 강화 장치가 설치된 차량 내에서의 음성전달을 각각 나타내는 모식도이다.1 is a schematic diagram illustrating voice transmission in a conventional vehicle and voice transmission in a vehicle in which an apparatus for enhancing voice transmission according to the present invention is installed.

도 1(a)는 종래 차량에서의 음성 전달 과정을 도시한 도면이다. 전방을 향한 운전자의 음성은 그림으로 도시된 바와 같이 뒷좌석의 승객에게는 상대적으로 명확하지 못하게 전달되게 된다. 또한 도시되지는 아니하였으나, 뒷좌석 승객의 음성도 앞좌석 의자 등의 영향 및, 차체 반사음 등으로 전방 승객이나 운전자에게 명확히 들리지 않게 된다.1A is a diagram illustrating a voice transmission process in a conventional vehicle. As shown in the figure, the driver's voice facing forward is transmitted relatively indistinctly to the passengers in the rear seat. In addition, although not shown, the voice of the rear seat passenger is not clearly audible to the front passenger or the driver due to the influence of the front seat seat and the like and the reflection sound of the vehicle body.

이에 반해 도 1(b)의 본 발명의 음성전달 강화 장치가 설치된 차량 내에서는, 그림으로 도시된 바와 같이 마이크(1)에서 수신된 운전자의 음성은, 음성전달 강화 장치의 제어 과정을 통해 스피커(2,3)를 통해 뒷좌석 승객에게 직접 전달됨으로써, 뒷좌석 승객은 더욱 명확하게 운전자의 음성을 들을 수 있으며, 이는 뒷좌석 승객의 음성이 앞좌석 승객이나 운전자에게 전달되는 과정에도 같은 방식으로 적용된다. 물론 이 과정에서 음성전달 강화 장치에 의해 소음(noise) 제거, 반향(echo) 제거 및 증폭 출력이 수행되게 되며, 이에 대하여 이하 도 2 내지 도 7을 참조하여 상세히 설명한다.On the other hand, in the vehicle in which the voice transmission enhancing device of the present invention of FIG. 1(b) is installed, as shown in the figure, the driver's voice received from the microphone 1 is controlled by the speaker ( 2,3) directly to the rear-seat passengers, the rear-seat passengers can hear the driver's voice more clearly, and the same applies to the process in which the rear-seat passengers' voices are transmitted to the front-seat passengers or the driver. Of course, in this process, noise cancellation, echo cancellation, and amplification output are performed by the voice transmission enhancing device, which will be described in detail below with reference to FIGS. 2 to 7 .

도 2는 본 발명에 따른 음성전달 강화 장치(200)에서, 1개의 마이크와 1개의 스피커가 설치된 경우의 블럭도를 도시한 도면이다.2 is a block diagram illustrating a case in which one microphone and one speaker are installed in the apparatus 200 for enhancing voice transmission according to the present invention.

이 시스템에서는 마이크(110)에서 소음(noise)과 음성, 그리고 스피커(120)에서 발생되는 반향(echo)이 유입된다. 도 2의 블럭도는 마이크(110)로 집음된 신호에서 반향을 제거하면서, 소음을 제거하여 음성을 스피커(120)로 출력하는 구조이다.In this system, noise and voice from the microphone 110 and echo generated from the speaker 120 are introduced. The block diagram of FIG. 2 is a structure in which a sound is output to the speaker 120 by removing noise while removing an echo from the signal collected by the microphone 110 .

이러한 단일 마이크와 단일 스피커 입출력 구조의 시스템은 기존의 핸즈프리 또는 컨퍼런스폰의 구조와 매우 유사하지만, 이 경우에는 상대편의 음성이 없이, 자신의 목소리(통화에서 Tx)가 상대편의 목소리(통화에서 Rx)가 되는 점이 특징이다. 통화시에는 나와 상대방이 함께 이야기 하는 경우를 더블톡(double talk)이라고 하는데, 이 경우에는 통화시와 비교하면 상대방 음성만 있는 경우(far-end talk) 또는 나의 음성만 있는 경우(near-end talk)가 없이 항상 더블톡 상황이 된다. 따라서 본 시스템은 더블톡 상황에서 음 끊임이 없도록 고성능의 반향제거와 소음저감 기술 및 튜닝이 필요하다.This single microphone and single speaker input/output structure is very similar to that of the existing hands-free or conference phone, but in this case, your own voice (Tx in a call) is heard from the other party (Rx in a call) without the voice of the other party It is characterized by being During a call, the case where you and the other party talk together is called double talk. ), there is always a double talk situation. Therefore, this system requires high-performance echo cancellation and noise reduction technology and tuning so that there is no sound interruption in a double talk situation.

도 2를 참조하면, P(z)(10)은 차량 내에서 스피커(120)로부터 마이크(110)까지의 반향(echo)이 전달되는 경로(path)를 의미한다. 마이크(110)에서는 음성(v(n)), 소음(n(n)) 및 P(z)(10)을 거쳐온 반향(echo)신호(f(n))가 합해져서(20) m(n) 신호로서 반향제거부(210)로 유입된다. 반향제거부(210)의 반향제거 모듈인 AEC(acoustic echo canceller)의 반향제거 어댑티브 필터인 A(z)(212)에서는 스피커(120)의 출력 y(n)을 이용하여 반향제거신호 f'(n)을 생성하고, 이러한 반향제거신호 f'(n)은 마이크로부터 유입된 마이크 신호 m(n)(=v(n)+n(n)+f(n))과 합해져서(213), 반향제거신호 f'(n)에 의해 반향신호 f(n)이 상쇄된 후 v(n)+n(n) 신호가 생성된다. 이러한 v(n)+n(n) 신호는 소음억제부(220)를 통과하면서 소음이 억제되고, 소음억제부(220)에서 출력된 신호 y(n)이 스피커(120)에서 출력되게 된다. 또한 y(n) 및 전술한 v(n)+n(n)은 반향제거부(210)의 AEC의 LMS 알고리즘 수행부(211)로 입력되고, LMS 알고리즘 수행부(211)는 이로부터 반향제거 어댑티브 필터 A(z)(212)를 지속적으로 업데이트하게 된다.Referring to FIG. 2 , P(z) 10 denotes a path through which an echo is transmitted from a speaker 120 to a microphone 110 in a vehicle. In the microphone 110, the voice (v(n)), the noise (n(n)), and the echo signal (f(n)) passed through the P(z)(10) are summed (20) m( n) is introduced into the echo canceller 210 as a signal. The echo cancellation signal f' ( n), and this echo cancellation signal f'(n) is summed with the microphone signal m(n) (=v(n)+n(n)+f(n)) introduced from the microphone (213), After the echo signal f(n) is canceled by the echo cancellation signal f'(n), a v(n)+n(n) signal is generated. The v(n)+n(n) signal passes through the noise suppression unit 220 to suppress noise, and the signal y(n) output from the noise suppression unit 220 is output from the speaker 120 . In addition, y(n) and the aforementioned v(n)+n(n) are input to the LMS algorithm performing unit 211 of the AEC of the echo canceling unit 210 , and the LMS algorithm performing unit 211 may cancel the echo therefrom. The adaptive filter A(z) 212 is continuously updated.

도 3은 본 발명에 따른 음성전달 강화 장치(200)에서, 2개의 마이크와 2개의 스피커가 설치된 경우의 블럭도를 도시한 도면이다.3 is a block diagram illustrating a case in which two microphones and two speakers are installed in the apparatus 200 for enhancing voice transmission according to the present invention.

반향(echo) 경로는 총 4개(P11, P21, P12, P22)가 존재하므로 이에 대한 반향제거부(210)의 반향제거 모듈인 AEC가 4개(AEC11, AEC21, AEC12, AEC22), 스피커 출력부는 2개(121,122)가 되고, 반향 제거 후 합성된 최종 2개의 신호에 대한 소음억제부(220)의 소음제거 모듈인 NS(noise suppressor)가 2개(NS1, NS2)가 된다. 이때 NS 가 2개라는 것은, 각 마이크에 대하여 NS가 1개씩이라는 것을 의미하며, 따라서 NS1, NS2에서 첨자는 각 마이크 번호를 의미한다.Since there are a total of four echo paths (P 11 , P 21 , P 12 , P 22 ), there are four AECs (AEC 11 , AEC 21 , AEC), which are the echo cancellation modules of the echo canceller 210 . 12 , AEC 22 ), the speaker output unit becomes two ( 121 , 122 ), and there are two NS (noise suppressor), which is a noise suppressor module of the noise suppressor 220 for the final two signals synthesized after echo cancellation (NS 1) , NS 2 ). At this time, two NS means that there is one NS for each microphone, and therefore , subscripts in NS 1 and NS 2 mean each microphone number.

P11, P21, P12, P22에서 앞의 첨자는 스피커 번호, 뒤 첨자는 마이크 번호를 의미한다. P21의 경우 스피커 2번(122)에서 나오고 1번 마이크(111)로 들어가는 반향 경로를 의미한다. 또한 반향제거부(210)의 각 모듈 AEC11, AEC21, AEC12, AEC22에서 역시 앞의 첨자는 스피커 번호, 뒤 첨자는 마이크 번호를 의미한다. AEC21의 경우 스피커 2번(122)에서 나오고 1번 마이크(111)로 들어가는 반향에 대한 반향제거 모듈이다.In P 11 , P 21 , P 12 , and P 22 , the preceding subscript is the speaker number, and the latter is the microphone number. In the case of P 21 , it means an echo path coming out of the speaker No. 2 122 and entering the microphone No. 1 111 . Also, in each module AEC 11 , AEC 21 , AEC 12 , and AEC 22 of the echo canceller 210 , the preceding subscript means a speaker number, and the rear subscript means a microphone number. In the case of AEC 21 , it is an echo canceling module for the echo coming out of the speaker No. 2 (122) and entering the microphone No. 1 (111).

즉, 왼쪽 마이크(111)로부터 입력되는 신호 m1(n)은, 왼쪽 마이크(111)로 반향이 들어오는 경로인 P11, P21에 대응하는 반향제거 모듈인 AEC11, AEC21를 거침으로써 P11, P21 각각에서 들어왔던 반향이 제거되고, 이후 오른쪽 스피커(122)로 출력하기 전에 NS1을 거쳐 소음을 제거한다. 도 2에서 반향제거(AEC) 모듈 내부에 도시한, m(n)과 반향상쇄신호 f'(n)의 합해지는 부분(213)을, 편의상 도 3에서는 각 AEC 모듈의 외부에 도시(213)하였으나, 동일한 부분을 나타낸다.That is, the signal m 1 (n) input from the left microphone 111 passes through AEC 11 , AEC 21 which is an echo cancellation module corresponding to P 11 , P 21 , which is a path through which an echo enters the left microphone 111 , P 11 and P 21 respectively, the echo is removed, and then the noise is removed through NS 1 before output to the right speaker 122 . In FIG. 2, the sum 213 of m(n) and the echo cancellation signal f'(n), shown inside the echo cancellation (AEC) module, is shown outside of each AEC module in FIG. 3 for convenience (213) However, the same part is shown.

반대로 오른쪽 마이크(112)로부터 입력되는 신호 m2(n)은, 오른쪽 마이크(112)로 반향(echo)이 들어오는 경로인 P12, P22에 대응하는 반향제거 모듈인 AEC12, AEC22를 거침으로써 P12, P22 각각에서 들어왔던 반향이 제거되고, 이후 왼쪽 스피커(121)로 출력하기 전에 NS2을 거쳐 소음을 제거한다. Conversely, the signal m 2 (n) input from the right microphone 112 goes through AEC 12 , AEC 22 , which is an echo cancellation module corresponding to P 12 , P 22 , which is the path where the echo enters the right microphone 112 . As a result , the echo from each of P 12 and P 22 is removed, and then the noise is removed through NS 2 before output to the left speaker 121 .

도 4는 본 발명에 따른 음성전달 강화 장치(200)에서, 일반적으로 M개의 마이크와 K개의 스피커가 설치된 경우의 블럭도를 도시한 도면이고, 도 5는 도 4에서 M=4, K=6인 경우 차량 내 마이크와 스피커의 관계를 설명하기 위한 도면이다.4 is a block diagram illustrating a case in which M microphones and K speakers are generally installed in the apparatus 200 for enhancing voice transmission according to the present invention, and FIG. 5 is M=4, K=6 in FIG. In the case of , a diagram for explaining the relationship between a microphone and a speaker in a vehicle.

즉, 도 4에서 M=4, K=6인 경우 P(z)은 총 6x4=24개의 P(z) 경로가 존재하게 되며, 각각의 P(z)에 대응하는 반향제거부(210)의 반향제거 모듈(AEC) 역시, 도 4에는 편의상 1개만 도시하였으나, 6x4=24개가 구비된다.That is, in FIG. 4, when M=4 and K=6, P(z) has a total of 6x4=24 P(z) paths, and the echo canceling unit 210 corresponding to each P(z) Echo cancellation module (AEC), although only one is shown in FIG. 4 for convenience, 6x4=24 are provided.

도 3에서 2개의 스피커와 대응되는 2개의 경로 P11, P21을 통하여 왼쪽 마이크(111)로 반향(echo)이 유입되어 음성신호 및 소음신호와 합해졌듯이, 도 4의 경우에도 하나의 마이크(110)에 대하여 K개의 스피커와 대응되는 K개의 경로 P(z)를 통하여 K개의 반향이 각각의 마이크(110)로 유입되어 음성신호 및 소음신호와 합해진다. As an echo flows into the left microphone 111 through the two paths P 11 and P 21 corresponding to the two speakers in FIG. 3 and is combined with the voice signal and the noise signal, also in the case of FIG. 4, one microphone With respect to (110), K echoes are introduced into each microphone 110 through K paths P(z) corresponding to K speakers and are combined with a voice signal and a noise signal.

또한 도 3에서 P11, P21을 통하여 유입된 반향 각각의 제거를 위해 왼쪽 마이크(111)로부터 들어온, 음성, 소음과 각각의 반향들이 합해진 신호 m1(n)는 2개의 반향제거 모듈 AEC11, AEC21을 거쳐 각각의 반향을 제거한 후에 소음억제 모듈 NS1을 통하여 소음이 억제되었듯이, 도 4의 경우에도 K개의 경로 P(z)를 통하여 유입된 반향 각각의 제거를 위해 m번 마이크(110)로 들어온, 음성, 소음과 각각의 반향들이 합해진 신호 mm(n)는 K개의 반향제거부(210)의 반향제거 모듈 AEC1m, AEC2m,... AECKm 을 거쳐 각각의 반향을 제거한 후에 소음억제부(220)의 m번 소음억제 모듈 NSm을 통하여 소음억제가 수행되는 것이다.In addition, in FIG. 3 , the signal m 1 (n), which is the sum of the voice, noise, and each echo, coming from the left microphone 111 for the cancellation of each of the echoes introduced through P 11 and P 21 is two echo cancellation modules AEC 11 As the noise was suppressed through the noise suppression module NS 1 after each echo was removed through , AEC 21, in the case of FIG. 110), the voice, the noise and the respective echo signals are summed m m (n) are each of the echo through the echo canceller AEC module 1m, 2m AEC, ... AEC Km of the K single echo rejection 210 come into After removal, noise suppression is performed through the m-th noise suppression module NS m of the noise suppression unit 220 .

마이크 번호와 매칭되는, 소음억제부(220)의 M개의 NS 모듈을 통하여 최종 생성된, 반향제거 및 소음억제를 거친 M개의 신호에 대하여, 최종적으로 출력될 스피커가 선택되어야 한다. 도 3의 경우에는 1번 마이크(111)로부터의 신호는 2번 스피커(122)로 출력되고, 2번 마이크(112)로부터의 신호는 1번 스피커(121)로 출력되도록 매칭된 도면이다. 그러나 일반적인 갯수의 마이크와 스피커가 결합된 구조에서는 그와 같은 매칭을 위한 구성이 필요한데, 본 발명에서는 도 4에서와 같이, 이를 수행하기 위한 이득 행렬(gain matrix) 적용부(250)를 구비한다. 이러한 이득 행렬 적용부(250)의 역할은 특정 마이크의 입력신호를 그 마이크와 먼 쪽 탑승자에 가까이 위치한 스피커로 출력하도록 하는 것이다.For the M signals that are finally generated through the M NS modules of the noise suppression unit 220 matching the microphone number and have undergone echo cancellation and noise suppression, a speaker to be finally output must be selected. In the case of FIG. 3 , the signal from the first microphone 111 is output to the second speaker 122 , and the signal from the second microphone 112 is matched to be output to the first speaker 121 . However, in a structure in which a general number of microphones and speakers are combined, a configuration for such a matching is required. In the present invention, as shown in FIG. 4 , a gain matrix application unit 250 is provided to perform this. The role of the gain matrix application unit 250 is to output an input signal of a specific microphone to a speaker located close to the occupant far from the microphone.

예를 들어 M=2, K=2인 경우에는 이득 행렬(gain matrix)은

Figure 112020066351311-pat00001
로 구성될 수 있다. 이때 도 4에서 NS1, NS2를 거친 최종 마이크 신호를 fm1, fm2라 하면, 1번 스피커로 출력되는 신호 y1 및 2번 스피커로 출력되는 신호 y2는 각각, For example, if M=2, K=2, the gain matrix is
Figure 112020066351311-pat00001
can be composed of At this time, if the final microphone signal that has passed through NS 1 and NS 2 in FIG. 4 is fm 1 , fm 2 , the signal y 1 output to the first speaker and the signal y 2 output to the second speaker are, respectively,

Figure 112020066351311-pat00002
Figure 112020066351311-pat00002

으로서, As,

y1 = fm2,y 1 = fm 2 ,

y2 = fm1 y 2 = fm 1

이 되며, 이는 도 3에서와 동일한 구성이 된다., which has the same configuration as in FIG. 3 .

또한 M=4, K=6인 경우 이득 행렬은

Figure 112020066351311-pat00003
로 구성될 수 있다. 이때 도 4에서 각 마이크에 대한 소음억제 모듈인 NS1, ..., NS4를 거친 최종 마이크 신호를 fm1, fm2, fm3, fm4라 하고, 1번 ~ 6번 스피커로 출력되는 신호를 각각 y1, y2, y3, y4, y5, y6 는 각각, Also, for M=4, K=6, the gain matrix is
Figure 112020066351311-pat00003
can be composed of At this time, in FIG. 4, the final microphone signal that has passed through the noise suppression modules NS 1 , ..., NS 4 for each microphone is referred to as fm 1 , fm 2 , fm 3 , fm 4 , and is output to speakers 1 to 6 The signals y 1, y 2, y 3, y 4, y 5, y 6 are respectively,

Figure 112020066351311-pat00004
Figure 112020066351311-pat00004

으로서, As,

y1 = fm2 + fm3 + fm4,y 1 = fm 2 + fm 3 + fm 4 ,

y2 = fm3 + fm4,y 2 = fm 3 + fm 4 ,

y3 = fm1 + fm3 + fm4,y 3 = fm 1 + fm 3 + fm 4 ,

y4 = fm1 + fm2 + fm4,y 4 = fm 1 + fm 2 + fm 4 ,

y5 = fm1 + fm2,y 5 = fm 1 + fm 2 ,

y6 = fm1 + fm2 + fm3 y 6 = fm 1 + fm 2 + fm 3

이 된다.becomes this

도 5는 차량 내 운전자를 포함한 승객의 위치로서, 마이크 번호 1, 2에 해당하는 승객이 앞좌석, 마이크 번호 3, 4에 해당하는 승객이 뒷좌석이고, 각 스피커 1 ~ 6은 도 5에 도시된 위치에 설치된 상황이며, 또한 위 첨자의 마이크 번호(fm의 경우) 및 스피커 번호(y의 경우)가 도 5에 도시된 마이크 번호 및 스피커 번호와 동일하다.5 is a position of passengers including a driver in the vehicle. Passengers corresponding to microphone numbers 1 and 2 are front seats, passengers corresponding to microphone numbers 3 and 4 are rear seats, and speakers 1 to 6 are shown in FIG. It is a situation installed at the location, and the microphone number (in the case of fm) and the speaker number (in the case of y) of the superscript are the same as the microphone number and speaker number shown in FIG. 5 .

위 수식을 보면, 다음과 같음을 알 수 있다.From the above formula, it can be seen that:

1번 스피커로 출력(y1) : 2, 3, 4번 마이크 중 하나의 승객이 말했을 경우Output to speaker 1 (y 1 ): When one of the 2, 3, 4 microphones speaks

2번 스피커로 출력(y2) : 3, 4번 마이크 중 하나의 승객이 말했을 경우Output to speaker 2 (y 2 ): When one of the 3 or 4 microphones speaks

3번 스피커로 출력(y3) : 1, 3, 4번 마이크 중 하나의 승객이 말했을 경우Output to speaker 3 (y 3 ): when one of the passengers speaks from microphones 1, 3, and 4

4번 스피커로 출력(y4) : 1, 2, 4번 마이크 중 하나의 승객이 말했을 경우Output to speaker 4 (y 4 ): When one of the passengers speaks from microphones 1, 2, and 4

5번 스피커로 출력(y5) : 1, 2번 마이크 중 하나의 승객이 말했을 경우Output to speaker 5 (y 5 ): when one of the passengers speaks from microphone 1 or 2

6번 스피커로 출력(y6) : 1, 2, 3번 마이크 중 하나의 승객이 말했을 경우Output to speaker 6 (y 6 ): When one of the passengers speaks from microphone 1, 2, or 3

즉, 특정 스피커로 출력되는 음성은, 그 스피커에서 먼 위치의 승객에 의해 마이크에 입력된 음성이다. 이와 같은 방식으로 이득 행렬을 이용하여, 다른 갯수의 마이크와 스피커에 대하여도 각 스피커로 출력되는 마이크를 어떻게 매칭시킬지를 설정할 수 있다.That is, the voice output to the specific speaker is the voice input into the microphone by the passenger far from the speaker. In this way, by using the gain matrix, it is possible to set how to match the microphone output to each speaker with respect to a different number of microphones and speakers.

도 4의 이득 행렬 적용부(250)에서는 이득 행렬의 각 값을 0 또는 1로 설정하여 마이크와 스피커의 매칭의 기능만 하도록 하였으나, 이러한 매칭 기능 외에, 출력을 위해 이득(gain)을 가할 수도 있는데, 이에 대하여 이하에서 도 6 및 도 7을 참조하여 설명한다.In the gain matrix application unit 250 of FIG. 4, each value of the gain matrix is set to 0 or 1 to only perform a function of matching a microphone and a speaker, but in addition to this matching function, a gain may be applied for an output. , which will be described below with reference to FIGS. 6 and 7 .

도 6은 도 4의 음성전달 강화 장치에서, 환경 소음 레벨 분석에 따른 이득(gain) 조정부가 더 구비된 경우의 블럭도를 도시한 도면이고, 도 7은 환경 소음 레벨에 따른 이득 결정 곡선을 도시한 도면이다.FIG. 6 is a block diagram illustrating a case in which a gain adjustment unit according to environmental noise level analysis is further provided in the voice transmission enhancing apparatus of FIG. 4 , and FIG. 7 is a gain determination curve according to the environmental noise level it is one drawing

소음억제부(220) 각 NS 모듈의 내부에서는 소음저감을 위해 마이크 신호에 존재하는 노이즈 스펙트럼(noise spectrum)을 매 time frame에서 갱신한다. 소음억제부(220) 내부 노이즈 스펙트럼은 주변 환경 소음이 클 경우 함께 커지고, 소음이 작으면 노이즈 스펙트럼의 수치는 작아지게 되므로, 소음 레벨 분석부(230)는, 소음억제부(220) 내부 추정 노이즈 스펙트럼으로부터 환경 소음 레벨을 추정할 수 있고, 이러한 환경 소음 레벨로부터 레벨 설정부(240)는 스피커로 출력할 음성 출력 이득(gain) g를 결정하며, 이렇게 결정된 g는 이득 행렬 적용부(250)에 의해 이득 행렬에

Figure 112020066351311-pat00005
와 같이 적용되며, 이에 의해 각 스피커로의 출력은 g의 이득이 적용된 상태로 출력되게 된다.The noise suppressor 220 updates a noise spectrum existing in a microphone signal in every time frame for noise reduction in each NS module. Since the noise spectrum inside the noise suppressor 220 increases when the surrounding environmental noise is large, and when the noise is low, the noise spectrum becomes small. It is possible to estimate the environmental noise level from the spectrum, and from this environmental noise level, the level setting unit 240 determines an audio output gain g to be output to the speaker, and the determined g is applied to the gain matrix application unit 250 . by the gain matrix
Figure 112020066351311-pat00005
is applied, whereby the output to each speaker is output with a gain of g applied.

안정적 동작을 위해서 도 7과 같이 노이즈 레벨이 NL_Thmin 보다 작을 때에는 g(이득)를 gmin으로 유지하고, NL_Thmax 보다 클 경우 g를 gmax로 유지하며, NL_Thmin 이상 및 NL_Thmax 이하의 구간에서는 환경 소음이 클수록 이득 행렬의 gain을 높이고, 소음이 작을수록 이득 행렬의 gain을 낮추어 음성레벨을 자동으로 조정한다.When the noise level as shown in Fig. 7 for the stable operation is less than NL_Th min and kept at the same g (gain) to g min, and maintaining the greater if g than NL_Th max by g max, the range of NL_Th than min and NL_Th max or less The higher the environmental noise, the higher the gain of the gain matrix, and the lower the noise, the lower the gain of the gain matrix to automatically adjust the voice level.

이득 행렬 적용부(250)는 하드웨어 또는 소프트웨어 프로그램의 방식으로 이와 같은 마이크와 스피커의 매칭 및 이득(gain) 적용을 수행할 수 있다.The gain matrix application unit 250 may perform such matching of a microphone and a speaker and applying a gain in the manner of a hardware or software program.

도 8은 본 발명에 따른 음성전달 강화 장치(200)가 수행하는 음성전달 강화 방법의 순서도이다.8 is a flowchart of a method for enhancing speech delivery performed by the apparatus 200 for enhancing speech delivery according to the present invention.

이러한 음성전달 강화 방법에 대하여는 이미 도 2 내지 도 7을 참조하여 음성전달 강화 장치(200)의 구성으로부터 상세히 설명한 바 있으므로, 도 8을 참조하여서는 그러한 과정을 간략히 정리하여 설명하기로 한다.Since this method for enhancing voice delivery has already been described in detail from the configuration of the device 200 for enhancing voice delivery with reference to FIGS. 2 to 7 , such a process will be briefly described with reference to FIG. 8 .

먼저, 차량 내 각 마이크에서는 탑승자의 음성, 소음 및 각 스피커에서 해당 마이크까지의 반향(echo)음이 합하여 입력되고, 이와 같이 합해진 신호를 음성전달 강화 장치(200)가 수신한다(S801). 각 마이크에서 이와 같이 수신된 신호에 대하여, 반향(echo) 제거를 수행한다(S802). 예를 들어 음성전달 강화 장치(200)의 반향제거부(210)의 각 반향제거 모듈(acoustic echo canceller, AEC)은, 각 마이크에 수신된 신호에서, 각 스피커로부터 해당 마이크까지의 반향을 제거하기 위한 반향제거 신호들을 각각 생성하고, 이에 의해 각 스피커로부터 해당 마이크까지의 모든 반향을 제거한다.First, from each microphone in the vehicle, the voice of the passenger, noise, and echo sound from each speaker to the corresponding microphone are summed and input, and the combined signal is received by the voice transmission enhancing device 200 (S801). For the signal thus received from each microphone, echo cancellation is performed (S802). For example, each acoustic echo canceller (AEC) of the echo canceller 210 of the voice transmission enhancement device 200 cancels the echo from each speaker to the corresponding microphone in the signal received by each microphone. It generates echo cancellation signals for each speaker, thereby canceling all echoes from each speaker to the corresponding microphone.

이후, 모든 마이크로부터의 반향 신호가 제거된 마이크 신호에서, 소음억제부(220)에 의한 소음 억제가 수행되고(S803), 각 마이크에 대하여 소음 억제가 수행된 마이크 신호들은, 이득 행렬 적용부(250)에 의해, 이득 행렬을 이용하여 각 스피커와 매칭이 수행되고, 이에 의해 각 스피커로의 출력신호가 생성된다(S806).Thereafter, on the microphone signals from which echo signals from all microphones are removed, noise suppression is performed by the noise suppression unit 220 (S803), and the microphone signals on which noise suppression has been performed for each microphone are obtained by a gain matrix application unit ( 250), matching with each speaker is performed using the gain matrix, thereby generating an output signal to each speaker (S806).

이 경우, 소음 억제가 수행된 마이크 신호에서, 소음 레벨 분석부(230)에 의한 환경소음 분석이 이루어질 수 있다. 즉, 마이크 신호에 존재하는 noise spectrum으로부터 환경 소음 레벨을 추정할 수 있고(S804), 이에 따라 레벨 설정부(240)는 음성 출력 이득(gain) g를 결정하며(S805), 이렇게 결정된 g는 이득 행렬 적용부(250)에 의해 이득 행렬에 적용되어 각 스피커와의 매칭 및, 이에 의한 각 스피커로의 출력신호 생성이 수행되는 것이다(S806).In this case, the environmental noise analysis by the noise level analyzer 230 may be performed on the microphone signal on which the noise suppression has been performed. That is, the environmental noise level can be estimated from the noise spectrum present in the microphone signal (S804), and accordingly, the level setting unit 240 determines the audio output gain g (S805), and the determined g is the gain It is applied to the gain matrix by the matrix application unit 250 to match each speaker, and thereby generate an output signal to each speaker (S806).

10: 차량 내 스피커에서 마이크까지의 음성 전달 시스템
20: 음성, 소음 및 반향(echo)의 합
100: 차량
110,111,112: 마이크
120,121,122: 스피커
200: 음성전달 강화 장치
210: 반향제거부(acoustic echo canceller, AEC)
211: LMS 알고리즘 수행부
212: 반향제거 어댑티브 필터
213: 반향제거신호 합
220: 소음억제부(noise supperessor, NS)
10: Voice transmission system from the in-vehicle speaker to the microphone
20: sum of voice, noise and echo
100: vehicle
110,111,112: microphone
120,121,122: speaker
200: voice transmission enhancement device
210: echo canceller (acoustic echo canceller, AEC)
211: LMS algorithm execution unit
212: echo cancellation adaptive filter
213: echo cancellation signal sum
220: noise suppressor (noise supperessor, NS)

Claims (15)

차량 내부 음성전달 강화 장치로서,
차량 내에 구비된 각 마이크에 대하여, 해당 마이크로 입력되는 음성, 소음 및 스피커로부터 해당 마이크까지의 반향(echo)의 합 신호를 수신하여, 이로부터 상기 반향을 제거하는 반향제거부; 및,
상기 각 마이크에 대하여, 상기 반향이 제거된 신호에서 소음 억제를 수행하는 소음억제부
를 포함하고,
차량 내에 M개의 마이크 및 K개의 스피커가 구비된 경우,
상기 반향제거부는,
상기 M개의 각 마이크에 대응하여, 상기 K개의 각 스피커로부터 해당 마이크까지의 경로에서 유입된 K개의 반향(echo)을 제거하는 M x K개의 반향제거(acoustic echo canceller, AEC) 모듈을 구비하고,
상기 소음억제부는,
상기 M개의 각 마이크에 대응하여, 반향이 제거된 신호에서 소음억제를 수행하는 M개의 소음억제(noise suppresor) 모듈을 구비하며,
이득 행렬(gain matrix)을 이용하여, 상기 소음억제부에 의해 소음억제가 수행된 M개의 마이크 신호 및, 각 신호가 출력될 스피커의 매칭을 수행하는 이득 행렬 적용부
를 더 포함하는,
차량 내부 음성전달 강화 장치.
As an in-vehicle voice transmission reinforcement device,
an echo canceling unit for receiving a sum signal of voice input from a corresponding microphone, noise, and an echo from the speaker to the corresponding microphone with respect to each microphone provided in the vehicle, and removing the echo therefrom; and,
For each of the microphones, a noise suppressor that performs noise suppression on the signal from which the echo is removed
including,
If the vehicle is equipped with M microphones and K speakers,
The echo canceling unit,
Corresponding to each of the M microphones, provided with M x K acoustic echo canceller (AEC) modules for canceling K echoes introduced in the path from the K speakers to the corresponding microphone,
The noise suppression unit,
Corresponding to each of the M microphones, it includes M noise suppressor modules that perform noise suppression on a signal from which echo is removed,
A gain matrix application unit for matching M microphone signals for which noise suppression has been performed by the noise suppression unit and a speaker to which each signal is to be output by using a gain matrix
further comprising,
In-vehicle voice transmission enhancement device.
삭제delete 청구항 1에 있어서,
상기 각 반향제거 모듈은,
음성, 소음 및 반향이 합해진 신호에서, 상기 반향을 제거하기 위한 반향제거신호를 생성하는 반향제거 어댑티브 필터; 및,
반향이 제거된, 음성과 소음의 합 신호 및 스피커 출력신호를 이용하여 LMS 알고리즘을 통해, 상기 반향제거 어댑티브 필터의 업데이트를 수행하는 LMS 알고리즘 수행부
를 구비하는 것을 특징으로 하는 차량 내부 음성전달 강화 장치.
The method according to claim 1,
Each of the echo cancellation modules,
an echo cancellation adaptive filter for generating an echo cancellation signal for canceling the echo from a signal in which voice, noise, and echo are summed; and,
An LMS algorithm performing unit that updates the echo cancellation adaptive filter through the LMS algorithm using the echo cancelled, sum signal of voice and noise and the speaker output signal
In-vehicle voice transmission enhancement device, characterized in that it comprises a.
삭제delete 청구항 1에 있어서,
이득 행렬 적용부는,
상기 소음억제가 수행된 마이크 신호에 대하여, 스피커로 출력하기 위한 음성 출력 이득(gain)을 설정하는 기능
을 더 포함하는 것을 특징으로 하는 차량 내부 음성전달 강화 장치.
The method according to claim 1,
The gain matrix application unit,
A function of setting an audio output gain for output to a speaker with respect to the microphone signal on which the noise suppression has been performed
In-vehicle voice transmission enhancement device, characterized in that it further comprises.
청구항 5에 있어서,
소음억제부에서 노이즈 스펙트럼(noise spectrum)으로부터 환경 소음 레벨을 추정하는 소음 레벨 분석부; 및,
상기 추정된 환경 소음 레벨로부터 스피커로 출력할 음성 출력 이득(gain)을 결정하는 레벨 설정부
를 더 포함하는 것을 특징으로 하는 차량 내부 음성전달 강화 장치.
6. The method of claim 5,
a noise level analyzer for estimating an environmental noise level from a noise spectrum in the noise suppressor; and,
A level setting unit that determines an audio output gain to be output to a speaker from the estimated environmental noise level
In-vehicle voice transmission enhancement device, characterized in that it further comprises.
청구항 6에 있어서,
상기 레벨 설정부는,
상기 추정된 환경 소음이 클수록 이득 행렬의 이득을 높이고, 소음이 작을수록 이득 행렬의 이득을 낮추는 방식으로 이득 레벨을 결정하는 것
을 특징으로 하는 차량 내부 음성전달 강화 장치.
7. The method of claim 6,
The level setting unit,
Determining the gain level in such a way that the greater the estimated environmental noise, the higher the gain of the gain matrix, and the lower the noise, the lower the gain of the gain matrix.
In-vehicle voice transmission enhancement device, characterized in that.
청구항 7에 있어서,
환경 소음 레벨이 특정값(이하 '제1 기준레벨'이라 한다) 보다 작을 경우에는 이득을 기 설정된 특정값(이하 '제1 이득레벨'이라 한다)으로 유지하고, 환경 소음 레벨이 다른 특정값(이하 '제2 기준레벨'이라 한다) 보다 클 경우에는 이득을 기 설정된 다른 특정값(이하 '제2 이득레벨'이라 한다)으로 유지하는 것
을 특징으로 하는 차량 내부 음성전달 강화 장치.
8. The method of claim 7,
When the environmental noise level is smaller than a specific value (hereinafter referred to as a 'first reference level'), the gain is maintained at a preset specific value (hereinafter referred to as a 'first gain level'), and the environmental noise level is a different specific value (hereinafter referred to as a 'first gain level') (hereinafter referred to as 'second reference level'), maintaining the gain at another predetermined specific value (hereinafter referred to as 'second gain level')
In-vehicle voice transmission enhancement device, characterized in that.
차량 내부 음성전달 강화 방법으로서,
(a) 차량 내에 구비된 각 마이크에 대하여, 해당 마이크로 입력되는 음성, 소음 및 스피커로부터 해당 마이크까지의 반향(echo)의 합 신호를 수신하여, 이로부터 상기 반향을 제거하는 단계; 및,
(b) 상기 각 마이크에 대하여, 상기 반향이 제거된 신호에서 소음 억제를 수행하는 단계
를 포함하고,
상기 단계(b) 이후,
(c) 이득 행렬(gain matrix)을 이용하여, 상기 소음억제가 수행된 각 마이크 신호와, 각 신호가 출력될 스피커의 매칭을 수행하는 단계
를 더 포함하는,
차량 내부 음성전달 강화 방법.
A method for enhancing voice transmission inside a vehicle, comprising:
(a) with respect to each microphone provided in the vehicle, receiving a signal of the sum of the voice input to the microphone, noise, and the echo from the speaker to the corresponding microphone, and removing the echo therefrom; and,
(b) for each of the microphones, performing noise suppression on the signal from which the echo is removed
including,
After step (b),
(c) performing matching of each microphone signal on which the noise suppression has been performed and a speaker to which each signal is to be output by using a gain matrix
further comprising,
A method for enhancing voice transmission inside a vehicle.
청구항 9에 있어서,
상기 반향 제거시,
상기 각 마이크 수신 신호에 대하여, 각 스피커로부터 해당 마이크까지의 경로에서 유입된 각각의 반향(echo)을 제거하고,
상기 각각의 반향이 제거된 신호에 대하여 상기 소음 억제가 수행되는 것
을 특징으로 하는 차량 내부 음성전달 강화 방법.
10. The method of claim 9,
Upon canceling the echo,
For each microphone received signal, removing each echo introduced in the path from each speaker to the corresponding microphone,
that the noise suppression is performed for each of the echo-removed signals
In-vehicle voice transmission enhancement method, characterized in that.
삭제delete 청구항 9에 있어서,
상기 단계(c)의 매칭 수행 이전에,
(c0) 상기 소음억제가 수행된 마이크 신호에 대하여, 스피커로 출력하기 위한 음성 출력 이득(gain)을 설정하는 단계
를 더 포함하는 것을 특징으로 하는 차량 내부 음성전달 강화 방법.
10. The method of claim 9,
Before performing the matching in step (c),
(c0) setting an audio output gain for output to a speaker with respect to the microphone signal on which the noise suppression has been performed
In-vehicle voice transmission enhancement method, characterized in that it further comprises.
청구항 12에 있어서,
상기 단계(c0)는,
(c01) 소음억제시 측정된 노이즈 스펙트럼(noise spectrum)으로부터 환경 소음 레벨을 추정하는 단계; 및,
(c02) 상기 추정된 환경 소음 레벨로부터 스피커로 출력할 음성 출력 이득(gain)을 결정하는 단계
를 포함하는 것을 특징으로 하는 차량 내부 음성전달 강화 방법.
13. The method of claim 12,
The step (c0) is,
(c01) estimating an environmental noise level from a noise spectrum measured during noise suppression; and,
(c02) determining an audio output gain to be output to a speaker from the estimated environmental noise level
In-vehicle voice transmission enhancement method comprising a.
청구항 13에 있어서,
상기 음성 출력 이득은,
상기 추정된 환경 소음이 클수록 이득 행렬의 이득을 높이고, 소음이 작을수록 이득 행렬의 이득을 낮추는 방식으로 이득 레벨이 결정되는 것
을 특징으로 하는 차량 내부 음성전달 강화 방법.
14. The method of claim 13,
The audio output gain is
The gain level is determined by increasing the gain of the gain matrix as the estimated environmental noise increases, and decreasing the gain of the gain matrix as the noise decreases
In-vehicle voice transmission enhancement method, characterized in that.
청구항 14에 있어서,
환경 소음 레벨이 특정값(이하 '제1 기준레벨'이라 한다) 보다 작을 경우에는 이득을 기 설정된 특정값(이하 '제1 이득레벨'이라 한다)으로 유지하고, 환경 소음 레벨이 다른 특정값(이하 '제2 기준레벨'이라 한다) 보다 클 경우에는 이득을 기 설정된 다른 특정값(이하 '제2 이득레벨'이라 한다)으로 유지하는 것
을 특징으로 하는 차량 내부 음성전달 강화 방법.
15. The method of claim 14,
When the environmental noise level is smaller than a specific value (hereinafter referred to as a 'first reference level'), the gain is maintained at a preset specific value (hereinafter referred to as a 'first gain level'), and the environmental noise level is a different specific value (hereinafter referred to as a 'first gain level') (hereinafter referred to as 'second reference level'), maintaining the gain at another predetermined specific value (hereinafter referred to as 'second gain level')
In-vehicle voice transmission enhancement method, characterized in that.
KR1020200078670A 2020-06-26 2020-06-26 Method and apparatus for voice enhacement in a vehicle KR102306739B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200078670A KR102306739B1 (en) 2020-06-26 2020-06-26 Method and apparatus for voice enhacement in a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200078670A KR102306739B1 (en) 2020-06-26 2020-06-26 Method and apparatus for voice enhacement in a vehicle

Publications (1)

Publication Number Publication Date
KR102306739B1 true KR102306739B1 (en) 2021-09-30

Family

ID=77920411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200078670A KR102306739B1 (en) 2020-06-26 2020-06-26 Method and apparatus for voice enhacement in a vehicle

Country Status (1)

Country Link
KR (1) KR102306739B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101178313B1 (en) 2004-09-03 2012-08-29 하만 베커 오토모티브 시스템즈 게엠베하 Speech signal processing with combined noise reduction and echo compensation
JP2013162290A (en) * 2012-02-03 2013-08-19 Panasonic Corp In-vehicle hands-free communication device
KR20190099445A (en) * 2017-01-04 2019-08-27 하만 베커 오토모티브 시스템즈 게엠베하 Far Field Sound Capturing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101178313B1 (en) 2004-09-03 2012-08-29 하만 베커 오토모티브 시스템즈 게엠베하 Speech signal processing with combined noise reduction and echo compensation
JP2013162290A (en) * 2012-02-03 2013-08-19 Panasonic Corp In-vehicle hands-free communication device
KR20190099445A (en) * 2017-01-04 2019-08-27 하만 베커 오토모티브 시스템즈 게엠베하 Far Field Sound Capturing

Similar Documents

Publication Publication Date Title
US10257613B2 (en) Managing telephony and entertainment audio in a vehicle audio platform
EP1858295B1 (en) Equalization in acoustic signal processing
EP1591995B1 (en) Indoor communication system for a vehicular cabin
US6674865B1 (en) Automatic volume control for communication system
EP1718103B1 (en) Compensation of reverberation and feedback
CN108550370B (en) System and method for feedback control of in-vehicle communications
EP2859772B1 (en) Wind noise detection for in-car communication systems with multiple acoustic zones
US8175290B2 (en) Feedback reduction system
US20130210498A1 (en) Hands-Free Telephony and In-Vehicle Communication
JP4568439B2 (en) Echo suppression device
US11089404B2 (en) Sound processing apparatus and sound processing method
US20200372926A1 (en) Acoustical in-cabin noise cancellation system for far-end telecommunications
JP2007060229A (en) In-vehicle hands-free telephone conversation device
KR102306739B1 (en) Method and apparatus for voice enhacement in a vehicle
JP2005247181A (en) Vehicle-mounted handsfree system
JP6896513B2 (en) In-car call device, in-car call system, and in-car call control method
US20220189450A1 (en) Audio processing system and audio processing device
Linhard et al. Passenger in-car communication enhancement
JP6388256B2 (en) Vehicle call system
JP2004309536A (en) Speech processing unit
US20230396922A1 (en) Communication support system
US20230274723A1 (en) Communication support system
JP3233525B2 (en) Voice communication system
JP2013201604A (en) Car telephone

Legal Events

Date Code Title Description
GRNT Written decision to grant
N231 Notification of change of applicant