KR20030000347A - Apparatus and method for removing echo-audio signal using time-varying algorithm with time-varying step size - Google Patents
Apparatus and method for removing echo-audio signal using time-varying algorithm with time-varying step size Download PDFInfo
- Publication number
- KR20030000347A KR20030000347A KR1020010036087A KR20010036087A KR20030000347A KR 20030000347 A KR20030000347 A KR 20030000347A KR 1020010036087 A KR1020010036087 A KR 1020010036087A KR 20010036087 A KR20010036087 A KR 20010036087A KR 20030000347 A KR20030000347 A KR 20030000347A
- Authority
- KR
- South Korea
- Prior art keywords
- correlation
- signal
- acoustic echo
- cross
- acoustic
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/02—Details
- H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
- H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Abstract
Description
본 발명은 원단(遠端)의 화자(話者)와 근단(近端)의 화자간에 음향신호를 송수신하는 통신시스템에서 음향 반향신호를 제거하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for removing an acoustic echo signal in a communication system for transmitting and receiving an acoustic signal between a far-end speaker and a near-end speaker.
보다 상세하게는 음향출력부를 통해 상대방(원단의 화자)으로부터 수신되는 수신음향신호가, 음향입력부를 통해 상대방에게 송신될 송신음향신호에 간섭되는 것을 방지하기 위해 시변 적응알고리즘을 적용한 음향반향 제거장치 및 그 방법에 관한 것이다.More specifically, in order to prevent the received sound signal received from the other party (the speaker of the far end) through the sound output unit from interfering with the transmitted sound signal to be transmitted to the other party through the sound input unit, an acoustic echo canceling device to which a time-varying adaptive algorithm is applied; It's about how.
핸드프리(hand-free) 휴대폰이나, 전화 회의시스템에 사용되는 스피커폰(speaker-phone)은 전화 통신시스템, 특히 휴대용 전화 통신시스템을 이용하는 사용자에게 통화편의를 제공하기 위한 부가장치로서 사용자에게 통화의 간편함을 제공하는 장점이 있지만, 스피커를 통해 출력되는 원단 화자의 음성신호(상대방의 목소리)가 근단 화자쪽의 마이크로 재입력되기 때문에 음향반향이 발생된다. 이 음향반향은 통화 품질을 떨어뜨리며 심한 경우에는 통화 자체를 불가능하게 하기도 한다. 따라서, 핸드프리 휴대폰이나 스피커폰을 보다 효율적으로 사용하기 위해서는 음향반향을 제거하는 음향반향 제거장치가 반드시 설치되어야 한다.Speaker-phones, which are used in hand-free mobile phones and conference conferencing systems, are an additional device for providing convenience to users using telephony systems, especially portable telephony systems. Although there is an advantage in providing a sound signal, the sound echo is generated because the far-end speaker's voice signal (the other party's voice) output through the speaker is re-input into the microphone of the near-end speaker. These echoes degrade call quality and, in severe cases, make the call itself impossible. Therefore, in order to use a handfree mobile phone or a speakerphone more efficiently, an acoustic echo removing device for removing acoustic echo must be installed.
도 1은 일반적인 전화 통신시스템에 있어서 음향반향을 제거하는 장치의 기본 구성이고 도 2는 도 1의 반향경로 추정기의 세부 구성이며 도 3a 및 도 3b는 NLMS(Normalized Least Mean Square) 및 Sum-LMS(Least Mean Square) 알고리즘(algorithm)이 각각 적용된 종래의 계수벡터 조절기의 세부 구성이며, 도 1 내지 도 3b는 근단 화자측에 구비되는 구성요소들을 언급한 것이고 원단 화자측에도 이에 대응되는 구성요소들이 동일하게 구비된다.1 is a basic configuration of an apparatus for removing acoustic echo in a general telephony communication system, FIG. 2 is a detailed configuration of an echo path estimator of FIG. 1, and FIGS. 3A and 3B are normalized least mean square (NLMS) and Sum-LMS ( A detailed configuration of a conventional coefficient vector controller to which a Least Mean Square (Algorithm) algorithm is applied, respectively, and FIGS. 1 to 3b refer to components provided on the near-end speaker side, and corresponding components on the far-end speaker side are the same. It is provided.
도 1은, 원단의 화자측으로부터 입력되는 수신음향신호{x(k)}를 근단의 화자측에 출력하는 스피커(speaker); 근단의 음향환경에 의해 발생되는송신음향신호{d(k)}[음향 반향신호{y(k)}, 근단의 화자측의 음성신호 및 측정잡음을 포함하는 주변잡음{n(k)}이 포함됨]가 입력되는 마이크(microphone); 원단의 화자측으로부터 입력되는 수신음향신호{x(k)}와 감산기(30)로부터 출력되는 추정 오차신호{e(k)}를 입력받아, 상기 스피커를 통해 출력된 수신음향신호가 반향경로(echo path)를 거쳐 변경되는 음향 반향신호{y(k)}를 추정하기 위한 음향반향 추정신호{(k)}를 생성하여 상기 반향경로를 추정하는 적응필터 즉, 반향경로 추정기(10); 소정 주기로 동기화되어 상기 마이크로 입력된 송신음향신호{d(k)}를 디지털 데이타로 변환하는 A/D 변환기(20); 및 상기 디지털 변환된 송신음향신호{d(k)}와 상기 출력되는 음향반향 추정신호{(k)}를 감산하는 감산기(30)를 포함하여 구성된다.1 is a speaker for outputting a received sound signal {x (k)} input from the speaker side of a far-end to a speaker side of the near end; Transmitted sound signal {d (k)} [acoustic echo signal {y (k)} generated by the near-end acoustic environment, surrounding noise {n (k)} including the sound signal and measurement noise on the speaker side near the end Included] is a microphone (microphone) is input; The received acoustic signal {x (k)} inputted from the speaker side of the far end and the estimated error signal {e (k)} outputted from the subtractor 30 are received, and the received acoustic signal outputted through the speaker is converted into an echo path ( echo echo signal for estimating the acoustic echo signal {y (k)} that is changed via the echo path { (k)} an adaptive filter for estimating the echo path, that is, the echo path estimator (10); An A / D converter 20 which is synchronized with a predetermined period and converts the micro-inputted transmission signal {d (k)} into digital data; And the digitally converted transmission sound signal {d (k)} and the output acoustic reflection signal { and a subtractor 30 for subtracting (k)}.
상기 반향경로 추정기(10)는 도 2에 도시된 바와 같이, 원단의 화자측으로부터 입력되는 수신음향신호{x(k)}와 상기 감산기(30)로부터 출력되는 추정 오차신호{e(k)}를 입력받아 상기 음향 반향신호{y(k)}를 추정하기 위한 계수벡터{W(k)}를 조절하는 계수벡터 조절기(11); 및 상기와 같이 조절된 계수벡터에 의해 음향반향 추정신호{(k)}를 생성하는 반향경로 추정신호 생성기(12)를 포함하여 구성된다.As shown in FIG. 2, the echo path estimator 10 receives the received acoustic signal {x (k)} input from the speaker side of the far end and the estimated error signal {e (k)} output from the subtractor 30. A coefficient vector adjuster (11) which receives a and adjusts a coefficient vector (W (k)) for estimating the acoustic echo signal {y (k)}; And the acoustic echo estimation signal by the coefficient vector adjusted as described above { and an echo path estimation signal generator 12 for generating (k)}.
종래의 음향반향 제거방법으로 NLMS 알고리즘이 적용된 경우, 상기 계수벡터 조절기(11a)는 도 3a에 도시된 바와 같이, 소정 주기로 동기화되어 수신음향신호{x(k)}를 소정 시간마다 입력받아 디지털 데이타로 변환하는 A/D 변환기(13a); 상기 디지털 변환된 수신음향신호{x(k)}의 전력을 산출하는 전력 산출기(14a); 상기 산출된 전력(σ2 x) 및 수신음향신호{x(k)}를 이용하여 적응상수{μ(k)}를 산출하는 적응상수 산출기(15a); 상기 산출된 적응상수{μ(k)} 및 추정 오차신호{e(k)}에 의해 계수벡터{W(k)}를 갱신하는 계수벡터 갱신기(16a); 및 상기 계수벡터{W(k)}의 산출시마다 시간계수(k)를 1씩 증가시키는 시간계수 증가기(17a)를 포함하여 구성된다.When the NLMS algorithm is applied as a conventional acoustic echo cancellation method, the coefficient vector controller 11a is synchronized with a predetermined period as shown in FIG. An A / D converter 13a for converting the signal into a second one; A power calculator (14a) for calculating power of the digitally converted received sound signal {x (k)}; An adaptive constant calculator 15a for calculating an adaptive constant {mu (k)} using the calculated power σ 2 x and the received acoustic signal {x (k)}; A coefficient vector updater 16a for updating the coefficient vector W (k) by the calculated adaptive constant {mu (k)} and the estimated error signal {e (k)}; And a time coefficient increaser 17a that increases the time coefficient k by 1 each time the coefficient vector {W (k)} is calculated.
상기와 같이 구성된 종래의 NLMS 알고리즘이 적용된 음향반향 제거장치의 동작에 대해 첨부된 도 1 내지 도 3a를 참조하여 설명하면, 원단의 화자측으로부터 지정된 경로를 통해 전송되는 수신음향신호{x(k)}가 스피커를 통해 근단의 화자측으로 출력되고 상기 출력된 수신음향신호는 반향경로(echo path)를 거쳐 음향 반향신호{y(k)}로 변경된 후 마이크로 입력된다. 이때, 마이크에는 근단의 화자측의 음성신호와 측정잡음을 포함하는 주변 잡음{n(k)}이 함께 입력된다. 상기 마이크로 입력된 송신음향신호{d(k)}는 소정 주기로 동기화되어 있는 A/D 변환기(20)에 의해 디지털 데이타로 변환된 후 감산기(30)로 입력된다.Referring to FIGS. 1 to 3A attached to the operation of the acoustic echo canceller applied to the conventional NLMS algorithm configured as described above, the received acoustic signal transmitted through the designated path from the speaker side of the far-end {x (k) } Is output through the speaker to the speaker near the end, and the received sound signal is converted into an acoustic echo signal y (k) through an echo path and then input into a microphone. At this time, the microphone is input together with the ambient signal {n (k)} including the voice signal of the near end speaker and the measurement noise. The micro-input sound signal {d (k)} is converted into digital data by the A / D converter 20 which is synchronized at a predetermined period and then input to the subtractor 30.
한편, 반향경로 추정기(10)는 원단의 화자측으로부터 지정된 경로를 통해 전송되는 수신음향신호{x(k)}를 입력받고, 소정 주기로 동기화되어 있는 계수벡터 조절기(11a)내의 A/D 변환기(13a)는 상기 입력된 수신음향신호{x(k)}를 디지털 데이터로 변환한다. 상기 디지털 변환된 수신음향신호{x(k)}가 L개의 차수를 갖는 벡터값인 경우(n=0,1,2, ... , L-1) 상기 수신음향신호{x(k)}는 식(1)과 같으며, 전력산출기(14a)는 상기 디지털 변환된 수신음향신호의 벡터값{X(k)}으로부터 수신음향신호의 전력(σ2 x)을 식(2)와 같이 산출하고 적응상수 산출기(15a)는 식(2)와 같이 산출된 수신음향신호의 전력(σ2 x)을 이용하여 적응상수{μ(k)}를 식(3)과 같이 산출하게 된다.On the other hand, the echo path estimator 10 receives the received acoustic signal {x (k)} transmitted through the designated path from the speaker side of the far-end, and the A / D converter (a) in the coefficient vector controller 11a synchronized with a predetermined period ( 13a) converts the received sound signal {x (k)} into digital data. When the digitally converted received sound signal {x (k)} is a vector value having L orders (n = 0, 1, 2, ..., L-1), the received sound signal {x (k)} Is equal to Equation (1), and the power calculator 14a calculates the power (σ 2 x ) of the received sound signal from the vector value {X (k) of the digitally converted received sound signal as in Equation (2). The adaptive constant calculator 15a calculates the adaptive constant {μ (k)} as shown in Equation (3) using the power (σ 2 x ) of the received sound signal calculated as shown in Equation (2).
X(k) = xn(k) = [x0(k), x1(k), ... , xL-1(k)] 식(1)X (k) = x n (k) = [x 0 (k), x 1 (k), ..., x L-1 (k)] Equation (1)
XT(k)X(k)=Lσ2 x식(2)X T (k) X (k) = Lσ 2 x Equation (2)
μ(k)=α/(Lσ2 x) 식(3)μ (k) = α / (Lσ 2 x ) Equation (3)
여기서, k는 1씩 증가하는 시간계수이고 α는 적응필터 즉 반향경로 추정기(10)의 정규화 적응상수이며, 후술되는 k 및 α는 동일한 의미로 정의는 생략하기로 한다. 또, XT(k)는 벡터 X(k)의 행과 열의 배열을 바꾼 X(k)의 전치(transpose) 벡터이다.Here, k is a time coefficient increasing by 1 and α is an adaptive filter, that is, a normalized adaptive constant of the echo path estimator 10, and k and α described later have the same meaning and will not be described. In addition, X T (k) is a transpose vector of X (k) in which the arrangement of the rows and columns of the vector X (k) is changed.
계수벡터 갱신기(16a)는 식(3)과 같이 산출된 적응상수{μ(k)}를 이용하여 계수벡터{W(k)}를 식(4)와 같이 산출하며, 상기와 같이 수행되는 전(全) 동작은 상기 시간계수(k)를 1씩 증가시키면서 반복하여 수행되고 식(4)에 의해 산출되는 계수벡터{W(k)}는 그때마다 갱신된다.The coefficient vector updater 16a calculates the coefficient vector {W (k)} as shown in equation (4) using the adaptive constant {μ (k)} calculated as shown in equation (3). The entire operation is repeatedly performed while increasing the time coefficient k by one, and the coefficient vector W (k) calculated by equation (4) is updated each time.
W(k+1)=W(k)+μ(k)e(k)X(k) 식(4)W (k + 1) = W (k) + μ (k) e (k) X (k) Equation (4)
여기서, W(k+1)은 t=k+1인 시점에서 생성되는 계수벡터에 해당하고 e(k)는 추정 오차신호이며 후술하는 내용에서도 동일하게 적용된다.Here, W (k + 1) corresponds to a coefficient vector generated at a time point t = k + 1, and e (k) is an estimation error signal and the same applies to the following description.
반향경로 추정신호 생성기(12)는 식(4)와 같이 갱신하여 산출되는 계수벡터{W(k)}에 의해 상기 반향경로를 추정하기 위한 음향반향 추정신호{(k)}를 식(5)와 같이 생성하여 감산기(30)로 출력하고, 감산기(30)는 마이크를 통해 입력되는 송신음향신호{d(k)}로부터 식(5)에 의해 생성된 음향반향 추정신호{(k)}를 식(6)과 같이 감산함으로써 추정 오차신호{e(k)}를 산출하게 된다.The echo path estimation signal generator 12 performs an acoustic echo estimation signal for estimating the echo path by the coefficient vector {W (k) calculated by updating as shown in equation (4). (k)} as shown in equation (5) and output to the subtractor 30, the subtractor 30 is a sound generated by equation (5) from the transmission sound signal {d (k)} input through the microphone Echo Estimation Signal { By subtracting (k)} as shown in equation (6), the estimated error signal {e (k)} is calculated.
(k)=WT(k)X(k) 식(5) (k) = W T (k) X (k) Equation (5)
e(k) = d(k) -(k) = d(k) - WT(k)X(k) 식(6)e (k) = d (k)- (k) = d (k)-W T (k) X (k) Equation (6)
WT(k)는 계수벡터 W(k)의 행과 열의 배열을 바꾼 W(k)의 전치(transpose) 벡터이다.W T (k) is a transpose vector of W (k) that changes the arrangement of the rows and columns of the coefficient vector W (k).
상기와 같이 갱신하여 산출되는 계수벡터{W(k)}는 앞서 언급된 식들에 의해 아래 식(7)과 같이 설정되는데, 여기서 보면 음향 반향신호{y(k)}가 음향반향 추정신호{(k)=WT(k)X(k)}와 동일하도록, 즉 음향반향 추정신호{(x)}가 음향 반향신호{y(k)}를 정확하게 추정하도록 계수벡터{W(k)}가 산출되었다 할지라도 근단측의 음향환경에 따라 가변적으로 입력되는 n(k)에 의해 상기와 같이 설정된 계수벡터{W(k)}는 식(7)에서 n(k)를 포함하고 있는 항의 크기만큼 왜곡되는 문제점이 발생되었다. 이와 같이 n(k)는 계수벡터를 정확하게 산출하는 것이 목적인 반향경로 추정기(10)의 입장에서 보면 잡음에 해당하며, n(k)를 포함하고 있는 항의 값이 0에 가까울수록 계수벡터{W(k)}는 음향반향 추정신호{(x)}가 음향 반향신호{y(k)}를 추정하고 있는 정도에 보다 부합하여 산출됨을 알 수 있다.The coefficient vector {W (k)} calculated by updating as described above is set as Equation (7) below by the above-mentioned equations, where the acoustic echo signal {y (k)} is an acoustic echo estimation signal { (k) = W T (k) X (k)}, i.e., acoustic echo estimation signal { Even though the coefficient vector {W (k)} is calculated so that (x)} accurately estimates the acoustic reflection signal {y (k)}, it is determined by n (k) that is variably input according to the acoustic environment of the near-end side. The problem is that the coefficient vector W (k) set as described above is distorted by the size of a term including n (k) in Equation (7). As described above, n (k) corresponds to noise from the perspective of the echopath estimator 10 whose purpose is to accurately calculate the coefficient vector, and as the value of the term containing n (k) is closer to 0, the coefficient vector {W ( k)} is an acoustic echo estimation signal { It can be seen that (x)} is calculated more in accordance with the degree of estimating the acoustic echo signal y (k)}.
W(k)=W(k-1)+α/{L(σ2 x)}{y(k)-WT(k)X(k)}+α/{L(σ2 x)}X(k)n(k) 식(7)W (k) = W (k-1) + α / {L (σ 2 x )} {y (k) -W T (k) X (k)} + α / {L (σ 2 x )} X (k) n (k) Equation (7)
따라서, 이와 같은 NLMS 알고리즘의 문제점을 해결하기 위해 Sum-LMS 알고리즘이 적용되었으며 이 경우 상기 계수벡터 조절기(11b)는 도 3b에 도시된 바와 같이, 소정 주기로 동기화되어 상기 수신음향신호{x(k)}를 입력받아 디지털 데이타로 변환하는 A/D 변환기(13b); 상기 디지털 변환된 수신음향신호{x(k)}와 상기 감산기(30)로부터 출력되는 추정 오차신호{e(k)}의 전력을 각각 산출하는 전력 산출기(14b); 상기 산출된 전력(σ2 x,σ2 e) 및 수신음향신호{x(k)}로부터 적응상수{μ(k)}를 산출하는 적응상수 산출기(15b); 상기 산출된 적응상수{μ(k)} 및 추정 오차신호{e(k)}에 의해 계수벡터{W(k)}를 갱신하는 계수벡터 갱신기(16b); 및 상기 계수벡터{W(k)}의 산출시마다 시간계수(k)를 1씩 증가시키는 시간계수 증가기(17b)를 포함하여 구성되었으며, 상기 전력 산출기(14b)는 추정 오차신호의 전력(σ2 e)을 더 산출하고, 적응상수 산출기(15b)는 상기 수신음향신호{x(k)}와 추정 오차신호{e(k)} 각각의 전력(σ2 x,σ2 e)을 이용하여 식(3-1)과 같이 적응상수를 산출한다.Accordingly, the Sum-LMS algorithm is applied to solve the problem of the NLMS algorithm. In this case, the coefficient vector controller 11b is synchronized with a predetermined period as shown in FIG. 3B to receive the received sound signal {x (k). } An A / D converter 13b which receives an input and converts it into digital data; A power calculator (14b) for calculating the powers of the digitally converted received sound signal (x (k)) and the estimated error signal (e (k)) output from the subtractor (30); An adaptive constant calculator 15b for calculating an adaptive constant {mu (k)} from the calculated power σ 2 x , σ 2 e and the received sound signal {x (k)}; A coefficient vector updater 16b for updating the coefficient vector W (k) by the calculated adaptive constant {mu (k)} and the estimated error signal {e (k)}; And a time coefficient increaser 17b that increases the time coefficient k by 1 each time the coefficient vector {W (k)} is calculated. The power calculator 14b includes the power of the estimated error signal ( σ 2 e ) is further calculated, and the adaptive constant calculator 15b calculates the power σ 2 x , σ 2 e of each of the received acoustic signal {x (k)} and the estimated error signal {e (k)}. The adaptive constant is calculated as shown in equation (3-1).
μ(k)=α/{L(σ2 x+σ2 e)} 식(3-1)μ (k) = α / {L (σ 2 x + σ 2 e )} Equation (3-1)
W(k)=W(k-1)+α/{L(σ2 x+σ2 e)}{y(k)-WT(k)X(k)}+α/{L(σ2 x+σ2 e)}X(k)n(k)W (k) = W (k-1) + α / {L (σ 2 x + σ 2 e )} {y (k) -W T (k) X (k)} + α / {L (σ 2 x + σ 2 e )} X (k) n (k)
식(7-1)Formula (7-1)
따라서, 계수벡터 갱신기(16b)는 식(3-1)에 의해 산출된 적응상수{μ(k)}에 의해 음향반향 추정신호{(k)}를 생성하는 계수벡터{W(k)}를 갱신하여 산출하되, 상기 식(7-1)과 같이 산출되는 계수벡터{W(k)}가 상기 감산기(30)로부터 출력되는 추정 오차신호{e(k)}의 전력크기에 더 적응하도록 한다. 따라서, NLMS 알고리즘이 적용된 경우와 비교해 볼 때, 식(7-1)에서와 같이 n(k)를 포함하는 항의 크기가 추정 오차신호{e(k)}의 전력(σ2 e)만큼 감소되어, 이로부터 산출되는 계수벡터{W(k)}는 음향반향 추정신호{(k)}가 음향 반향신호{y(k)}를 추정하고 있는 정도에 보다 부합할 수 있도록 설정된다.Therefore, the coefficient vector updater 16b uses the acoustic echo estimation signal {by the adaptive constant {mu (k)} calculated by equation (3-1). (k)} is calculated by updating the coefficient vector {W (k)} for generating, and the coefficient vector {W (k)} calculated as in Equation (7-1) is outputted from the subtractor 30. Further adaptation is made to the power magnitude of the error signal e (k). Therefore, compared with the case where the NLMS algorithm is applied, the magnitude of the term including n (k) is reduced by the power σ 2 e of the estimated error signal {e (k)} as in Equation (7-1). , The coefficient vector {W (k)} calculated therefrom is an acoustic echo estimation signal { (k)} is set to more closely match the degree to which the acoustic echo signal y (k)} is estimated.
그러나, 상기와 같이 계수벡터{W(k)}의 크기에 비례하는 적응상수{μ(k)}의 크기가 작게 설정됨으로써, 갱신되는 계수벡터{W(k)}의 변화량 또한 작아졌고, 따라서 상기 계수벡터{W(k)}가 소정 값에 수렴하기까지 걸리는 수렴 시간이 NLMS 알고리즘이 적용된 경우에 비해 더 길어짐으로써, 결과적으로 음향반향 추정신호가 음향 반향신호에 추정하는 수렴 속도가 느려지게 되는 문제점이 발생된다.However, by setting the size of the adaptive constant {mu (k)} proportional to the magnitude of the coefficient vector {W (k)} as described above, the amount of change of the updated coefficient vector {W (k)} is also small, and thus The convergence time until the coefficient vector {W (k)} converges to a predetermined value is longer than in the case where the NLMS algorithm is applied, and as a result, the convergence speed estimated by the acoustic echo signal to the acoustic echo signal is slowed. Problems arise.
따라서, 본 발명의 목적은 상기와 같은 문제점을 해결하기 위해 창작된 것으로, 수신음향신호와 추정 오차신호의 상관정도에 근거하여 음향반향 추정신호를 생성하기 위한 계수벡터가 설정되도록 한 시변 적응알고리즘이 적용된 음향반향 제거장치 및 그 방법을 제공하는 것이다.Accordingly, an object of the present invention was created to solve the above problems, and a time-varying adaptive algorithm for setting a coefficient vector for generating an acoustic echo estimation signal based on a correlation between the received acoustic signal and an estimated error signal is provided. The present invention provides an acoustic echo canceling device and a method thereof.
본 발명의 다른 목적은, 상기 계수벡터가 소정 값에 수렴하기까지 최단시간이 소요되도록 한 시변 적응알고리즘이 적용된 음향반향 제거장치 및 그 방법을 제공하는 것이다.Another object of the present invention is to provide an acoustic echo canceling device and a method to which a time-varying adaptive algorithm is applied so that the coefficient vector takes the shortest time to converge to a predetermined value.
본 발명의 다른 목적은, 상기 계수벡터를 산출하는데 요구되는 계산량을 최소화한 시변 적응알고리즘이 적용된 음향반향 제거방법을 제공하는 것이다.Another object of the present invention is to provide an acoustic echo canceling method to which a time-varying adaptive algorithm is applied to minimize the amount of computation required to calculate the coefficient vector.
도 1은 일반적인 전화 통신시스템에 있어서 음향반향 제거장치의 기본 구성이고,1 is a basic configuration of an acoustic echo canceller in a general telephone communication system,
도 2는 도 1의 반향경로 추정기의 세부 구성이고,FIG. 2 is a detailed configuration of an echo path estimator of FIG. 1;
도 3a는 NLMS 알고리즘이 적용된 종래의 계수벡터 조절기의 세부 구성이고,3A is a detailed configuration of a conventional coefficient vector controller to which the NLMS algorithm is applied,
도 3b는 Sum-LMS 알고리즘이 적용된 종래의 계수벡터 조절기의 세부 구성이고,3b is a detailed configuration of a conventional coefficient vector controller to which the Sum-LMS algorithm is applied,
도 4는 본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거장치의 일실시예에 있어서, 계수벡터 조절기의 세부 구성이고,4 is a detailed configuration of a coefficient vector adjuster according to an embodiment of an acoustic echo cancellation device to which a time-varying adaptive algorithm according to the present invention is applied,
도 5는 본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거방법의 흐름도이고,5 is a flowchart of an acoustic echo removing method to which a time-varying adaptive algorithm according to the present invention is applied;
도 6a는 본 발명에 따라 산출된 상호상관도의 그래프이고,6A is a graph of cross-correlation diagrams calculated in accordance with the present invention;
도 6b는 본 발명에 따라 산출된 상호상관도를 저역여파시킨 시변 적응상수와 저역여파시키지 않은 시변 적응상수를 비교도시한 그래프이고,FIG. 6B is a graph showing a comparison between the time-varying adaptive constants low-pass filtered and the time-varying adaptive constants low-filtered according to the present invention,
도 7의 (a) 내지 (e)는 본 발명에 따른 시변 적응알고리즘에 의해 음향반향을 제거하는 실험을 한 결과를, 종래의 NLMS 및 Sum-LMS 알고리즘에 의해 상기 실험을 한 결과와 비교도시한 것이고,7 (a) to 7 (e) show the results of experiments for removing acoustic echoes by the time-varying adaptive algorithm according to the present invention, compared with the results of the above experiments by conventional NLMS and Sum-LMS algorithms. Will,
도 8a는 본 발명에 따라 산출된 반향경로 추정기와 실험에 의해 측정된 반향경로가 구현된 음향반향 제거장치의 구성이고,8A is a configuration of an echo echo estimator calculated according to the present invention and an acoustic echo canceller in which an echo path measured by an experiment is implemented;
도 8b는 본 발명에 따른 알고리즘이 적용된 계수 오조정 지수와 종래의 알고리즘이 적용된 계수 오조정 지수를 각각 비교도시한 것이다.Figure 8b shows a comparison between the coefficient misadjustment index to which the algorithm according to the present invention is applied and the coefficient misadjustment index to which the conventional algorithm is applied, respectively.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
10, 100 : 반향경로 추정기11, 11a, 11b, 110 : 계수벡터 조절기10, 100: echo path estimator 11, 11a, 11b, 110: coefficient vector controller
12 : 반향경로 추정신호 생성기13a, 13b, 20, 101 : A/D 변환기12: echo path estimation signal generator 13a, 13b, 20, 101: A / D converter
14a, 14b, 102 : 전력 산출기15a, 15b : 적응상수 산출기14a, 14b, 102: power calculator 15a, 15b: adaptive constant calculator
16a, 16b, 106 : 계수벡터 갱신기17a, 17b, 107 : 시간계수 증가기16a, 16b, 106: coefficient vector updater 17a, 17b, 107: time coefficient increaser
30 : 감산기103 : 상호상관도 산출기30: subtractor 103: cross-correlation calculator
104 : 저역통과 여파기105 : 시변 적응상수 산출기104: low pass filter 105: time-varying adaptive constant calculator
200 : 반향경로200: echo path
상기의 목적을 달성하기 위한 본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거장치는, 원단의 화자로부터 근단의 화자로 수신되는 수신음향신호를 출력하는 음향출력부와, 상기 근단의 화자로부터 상기 원단의 화자에게로 송신될 송신음향신호를 입력하는 음향입력부가 구비되고, 상기 음향출력부로부터 음향입력부까지의 음향 반향경로를 갖는 통신시스템에 있어서, 상기 수신음향신호가 음향 반향경로를 통과함으로써 변경된 음향 반향신호를 추정하기 위해 음향반향 추정신호를 생성하는 반향경로 추정수단을 포함하여 구성되되, 상기 음향반향 추정신호는, 상기 송신음향신호로부터 기 생성된 음향반향 추정신호를 감산하여 생성된 추정 오차신호와 상기 수신음향신호간의 시변(時變) 상관정도에 응하여 생성되는 것에 특징이 있는 것이다.Acoustic echo canceller applied to the time-varying adaptive algorithm according to the present invention for achieving the above object, the sound output unit for outputting the received sound signal received from the far end speaker to the near end speaker, and the far end from the far end speaker A communication system comprising an audio input unit for inputting a transmission sound signal to be transmitted to a speaker of a communication system, the communication system having an acoustic echo path from the audio output unit to the audio input unit, wherein the received acoustic signal is changed by passing through the acoustic echo path. And an echo path estimating means for generating an acoustic echo estimating signal for estimating an echo signal, wherein the acoustic echo estimating signal is an estimated error signal generated by subtracting a previously generated acoustic echo estimating signal from the transmission acoustic signal. And a time varying correlation between the received sound signal and the received sound signal. A.
본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거장치는, 상기 음향출력부로부터 출력될 수신음향신호와 상기 추정 오차신호간의 상호상관도를 산출하는 산출수단; 및 상기 산출된 상호상관도에 응하여 상기 음향반향 추정신호를 생성하는 생성수단을 더 포함하여 구성되는 것에 특징이 있는 것이다.The acoustic echo canceling device to which the time-varying adaptive algorithm is applied comprises: calculating means for calculating a correlation between the received acoustic signal to be output from the acoustic output unit and the estimated error signal; And generating means for generating the acoustic echo estimation signal in response to the calculated cross-correlation.
본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거장치는, 상기 출력될 수신음향신호 및 추정 오차신호의 전력을 각각 측정하는 전력 측정수단을 더 포함하여 구성되되, 상기 산출수단은 상기 측정된 각각의 전력에 근거하여 상기 상호상관도를 더 산출하는 것에 특징이 있는 것이다.The acoustic echo canceling device to which the time-varying adaptive algorithm according to the present invention is applied further includes power measuring means for measuring the power of the received acoustic signal and the estimated error signal to be output, wherein the calculating means comprises: It is characterized by further calculating the cross-correlation based on power.
본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거장치는, 상기 산출된 상호상관도를 저역통과시키는 저역 여파수단을 더 포함하여 구성되되, 상기 생성수단은 상기 저역통과된 상호상관도에 응하여 상기 음향반향 추정신호를 더 생성하는 것에 특징이 있는 것이다.The acoustic echo cancellation apparatus to which the time-varying adaptive algorithm according to the present invention is applied further comprises a low-pass filter for low-passing the calculated cross-correlation, wherein the generating means is configured to perform the sound in response to the low-pass cross-correlation. It is characterized by further generating an echo estimation signal.
본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거장치에서는, 상기 산출된 상호상관도는 벡터값인 것을 특징으로 하고, 상기 산출된 상호상관도 가운데 특정 계수에 대한 특정 상호상관도를 추출하는 추출수단을 더 포함하여 구성되되, 상기 생성수단은 상기 추출된 특정 상호상관도에 응하여 상기 음향반향 추정신호를 더 생성하는 것에 특징이 있는 것이다.In the acoustic echo cancellation apparatus to which the time-varying adaptive algorithm according to the present invention is applied, the calculated cross-correlation is a vector value, and extraction means for extracting a specific cross-correlation for a specific coefficient from the calculated cross-correlation. It is configured to further include, wherein the generating means is characterized in that for generating the acoustic echo estimation signal further in response to the extracted specific cross-correlation.
본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거장치는, 상기 산출된 상호상관도에 근거하여 시변 적응상수를 산출하는 산출수단; 및 상기 산출된 시변 적응상수에 응하여 기 설정된 계수벡터를 재설정하는 재설정수단을 포함하여구성되되, 상기 생성수단은 상기 재설정된 계수벡터에 근거하여 상기 음향반향 추정신호를 생성하는 것에 특징이 있는 것이다.Acoustic echo cancellation device to which the time-varying adaptive algorithm according to the present invention is applied comprises: calculating means for calculating a time-varying adaptive constant based on the calculated cross-correlation; And resetting means for resetting a predetermined coefficient vector in response to the calculated time-varying adaptive constant, wherein the generating means generates the acoustic echo estimation signal based on the reset coefficient vector.
또한, 본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거방법은, 원단의 화자로부터 근단의 화자로 수신되는 수신음향신호를 출력하는 음향출력부와, 상기 근단의 화자로부터 상기 원단의 화자에게로 송신될 송신음향신호를 입력하는 음향입력부가 구비되고, 상기 음향출력부로부터 음향입력부까지의 음향 반향경로를 갖는 통신시스템의 음향반향을 제거하는 방법에 있어서, 상기 수신음향신호가 음향 반향경로를 통과함으로써 변경된 음향 반향신호를 추정하기 위해 음향반향 추정신호를 생성하는 단계를 포함하여 이루어지되, 상기 음향반향 추정신호는, 상기 송신음향신호로부터 기 생성된 음향반향 추정신호를 감산하여 생성된 추정 오차신호와 상기 수신음향신호간의 시변(時變) 상관정도에 응하여 생성되는 것에 특징이 있는 것이다.In addition, the acoustic echo cancellation method to which the time-varying adaptive algorithm according to the present invention is applied, the sound output unit for outputting the received sound signal received from the far end speaker to the near end speaker, and transmits from the near end speaker to the far end speaker A method for removing acoustic echo of a communication system having an acoustic echo path from an acoustic output section to an acoustic input section, comprising: an acoustic echo input section for inputting a transmission acoustic signal to be transmitted; And generating an acoustic echo estimation signal for estimating the changed acoustic echo signal, wherein the acoustic echo estimation signal comprises: an estimated error signal generated by subtracting a previously generated acoustic echo estimation signal from the transmission acoustic signal; It is characterized in that it is generated in response to the degree of time-varying correlation between the received sound signals.
본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거방법은, 상기 음향출력부로부터 출력될 수신음향신호와 상기 추정 오차신호간의 상호상관도를 산출하는 산출단계; 및 상기 산출된 상호상관도에 응하여 상기 음향반향 추정신호를 생성하는 생성단계를 더 포함하여 이루어지는 것에 특징이 있는 것이다.An acoustic echo canceling method to which a time-varying adaptive algorithm according to the present invention is applied includes: calculating a correlation between a received acoustic signal to be output from the acoustic output unit and the estimated error signal; And generating the acoustic echo estimation signal in response to the calculated cross-correlation.
본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거방법은, 상기 출력될 수신음향신호 및 추정 오차신호의 전력을 각각 측정하는 전력 측정단계를 더 포함하여 이루어지되, 상기 산출단계는 상기 측정된 각각의 전력에 근거하여 상기 상호상관도를 더 산출하는 것에 특징이 있는 것이다.The acoustic echo canceling method to which the time-varying adaptive algorithm according to the present invention is applied further comprises a power measuring step of measuring power of the received acoustic signal and the estimated error signal to be output, wherein the calculating step comprises the step of measuring each of the measured signals. It is characterized by further calculating the cross-correlation based on power.
본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거방법은, 상기 산출된 상호상관도를 저역통과시키는 저역 여파단계를 더 포함하여 이루어지되, 상기 생성단계는 상기 저역통과된 상호상관도에 응하여 상기 음향반향 추정신호를 더 생성하는 것에 특징이 있는 것이다.The acoustic echo cancellation method to which the time-varying adaptive algorithm according to the present invention is applied further comprises a low pass step of low-passing the calculated cross-correlation, wherein the generating step is performed in response to the low-pass cross-correlation. It is characterized by further generating an echo estimation signal.
본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거방법은, 상기 산출된 상호상관도는 벡터값인 것을 특징으로 하고, 상기 산출된 상호상관도 가운데 특정 계수에 대한 특정 상호상관도를 추출하는 추출단계를 더 포함하여 이루어지되, 상기 생성단계는 상기 추출된 특정 상호상관도에 응하여 상기 음향반향 추정신호를 더 생성하는 것에 특징이 있는 것이다.In the acoustic echo removal method to which the time-varying adaptive algorithm according to the present invention is applied, the calculated cross-correlation is a vector value, and an extraction step of extracting a specific cross-correlation for a specific coefficient from the calculated cross-correlation The method may further include generating the acoustic echo estimation signal in response to the extracted specific cross-correlation.
본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거방법은, 상기 산출된 상호상관도에 근거하여 시변 적응상수를 산출하는 산출단계; 및 상기 산출된 시변 적응상수에 응하여 기 설정된 계수벡터를 재설정하는 재설정단계를 포함하여 이루어지되, 상기 생성단계는 상기 재설정된 계수벡터에 근거하여 상기 음향반향 추정신호를 생성하는 것에 특징이 있는 것이다.Acoustic echo cancellation method to which the time-varying adaptive algorithm according to the present invention is applied, calculating a time-varying adaptive constant based on the calculated cross-correlation; And a resetting step of resetting a predetermined coefficient vector according to the calculated time-varying adaptive constant, wherein the generating step is characterized by generating the acoustic echo estimation signal based on the reset coefficient vector.
도 4는 본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거장치의 일실시예에 있어 계수벡터 조절기의 세부 구성으로서, 전력 산출기(102)로부터 입력되는 수신음향신호{x(k)}와 추정 오차신호{e(k)}의 두 전력값(σ2 x,σ2 e)과, 소정 주기로 동기화된 A/D 변환기(101)에 의해 디지털 데이터로 변환된 L개의 차수를 갖는벡터값에 해당하는 수신음향신호{x(k)}, 그리고 추정 오차신호{e(k)}를 입력받아 상호상관도를 산출하되, 산출된 상호상관도 가운데 특정 계수의 상호상관도만을 출력하는 상호상관도 산출기(103); 상기 출력되는 특정 계수의 상호상관도를 저역여파시키는 저역통과 여파기(104); 상기 저역여파된 상호상관도를 이용하여 시변 적응상수를 산출하고 이를 계수벡터 갱신기(106)로 출력하는 시변 적응상수 산출기(105); 및 상기 계수벡터 갱신기(106)에 의한 계수벡터의 산출시마다 시간계수(k)를 1씩 증가시키는 시간계수 증가기(107)를 포함하여 구성된다.FIG. 4 is a detailed configuration of a coefficient vector controller according to an embodiment of an acoustic echo cancellation apparatus to which a time-varying adaptive algorithm is applied according to the present invention. The received acoustic signal {x (k)} and estimation received from the power calculator 102 are shown in FIG. Corresponds to the two power values σ 2 x , σ 2 e of the error signal {e (k)} and a vector value having L orders converted into digital data by the A / D converter 101 synchronized with a predetermined period. Calculate the cross-correlation of the received sound signal {x (k)} and the estimated error signal {e (k)}, and output only the cross-correlation of a specific coefficient among the calculated cross-correlation. Group 103; A low pass filter 104 for low-passing the cross-correlation of the output specific coefficients; A time-varying adaptive constant calculator 105 for calculating a time-varying adaptive constant using the low-pass filtered correlation and outputting it to the coefficient vector updater 106; And a time coefficient increaser 107 which increases the time coefficient k by 1 every time the coefficient vector is calculated by the coefficient vector updater 106.
이하에서는 상기와 같이 구성되는 본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거장치의 일실시예의 동작에 대해, 본 발명에 따른 시변 적응알고리즘이 적용된 음향반향 제거방법의 흐름도인 도 5와 병행하여 상세히 설명한다.Hereinafter, with respect to the operation of the embodiment of the acoustic echo canceling device to which the time-varying adaptive algorithm according to the present invention configured as described above, in detail in parallel with FIG. 5 which is a flowchart of the acoustic echo removing method to which the time-varying adaptive algorithm according to the present invention is applied. Explain.
먼저, 일반적인 전화 통신시스템에 있어서 음향반향 제거장치의 기본 구성인 도 1에서와 같이, 원단의 화자측으로부터 지정된 선로를 따라 수신되는 수신음향신호{x(k)}는 스피커를 통해 근단으로 출력되고, 상기 출력된 수신음향신호{x(k)}는 스피커로부터 마이크에 이르는 반향경로(echo path)를 거치면서 음향 반향신호{y(k)}로 변환된 후, 근단측의 음향환경에 해당하는 화자의 음성신호 또는 잡음 등과 함께 상기 마이크로 입력된다. 마이크로 입력된 송신음향신호{d(k)}는 A/D 변환기(20)로 입력되고, 소정 주기로 동기화되어 있는 상기 A/D 변환기(20)는 입력되는 송신음향신호{d(k)}를 디지털 데이터로 변환한다. 감산기(30)는 반향경로 추정기(10)로부터 음향반향 추정신호{(k)}를 입력받은 후, 상기와 같이 디지털 데이터로 변환된 송신음향신호{d(k)}로부터 상기 입력받은 음향반향추정신호{(k)}를 감산하여 추정 오차신호{e(k)}를 출력한다.First, as shown in FIG. 1, which is a basic configuration of an acoustic echo canceller in a general telephone communication system, a received acoustic signal {x (k)} received along a designated line from the speaker side of the far end is output to the near end through a speaker. The output acoustic signal {x (k)} is converted into an acoustic echo signal {y (k)} through an echo path from a speaker to a microphone, and then corresponds to the acoustic environment of the near-end side. The microphone is input together with the speaker's voice signal or noise. The micro-inputted sound signal {d (k)} is input to the A / D converter 20, and the A / D converter 20 synchronized with a predetermined period receives the input sound signal {d (k)}. Convert to digital data. The subtractor 30 receives the acoustic echo estimation signal from the echo path estimator 10 { (k)}, and then the received acoustic echo estimation signal {from the transmitted acoustic signal {d (k)} converted into digital data as described above { (k)} is subtracted to output the estimated error signal {e (k)}.
한편, 원단의 화자측으로부터 수신되는 상기 수신음향신호{x(k)}는, 도 4 및 도 5에 도시된 바와 같이, 소정 주기로 동기화되어 있는 A/D 변환기(101)로 입력되고 A/D 변환기(101)는 입력되는 수신음향신호{x(k)}를 소정 주기마다 검출한(S10) 후 검출되는 신호를 디지털 데이터로 변환한다(S11). 전력산출기(102)는 디지털 데이터로 변환된 수신음향신호{x(k)}와, 상기 감산기(30)로부터 입력되는 추정 오차신호{e(k)}로부터 각각의 전력(σ2 x,σ2 e)을 산출하고(S12), 상호상관도 산출기(103)는 상기 수신음향신호{x(k)}와 상기 추정 오차신호{e(k)}간의 상호상관도{δn(k)}를 식(8)과 같이 산출함과 동시에 상기 두 전력(σ2 x,σ2 e)의 곱을 이용하여 산출되는 상호상관도를 정규화(normalized)시키게 된다.On the other hand, the received sound signal {x (k)} received from the speaker side of the far end is input to the A / D converter 101 which is synchronized at a predetermined period, as shown in FIGS. 4 and 5, and A / D. The converter 101 detects the received sound signal {x (k)} every predetermined period (S10) and then converts the detected signal into digital data (S11). The power calculator 102 is configured to calculate the electric power σ 2 x , σ from the received sound signal {x (k)} converted into digital data and the estimated error signal e (k) input from the subtractor 30. 2 e ) (S12), and the cross-correlation calculator 103 calculates the cross-correlation between the received sound signal {x (k)} and the estimated error signal e (k) {δ n (k). } Is calculated as shown in Equation (8) and normalized to the cross-correlation calculated using the product of the two powers (σ 2 x , σ 2 e ).
δn(k)=βδn(k-1)+(1-β)xn(k)e(k)/(σ2 x+σ2 e)1/2식(8)δ n (k) = βδ n (k-1) + (1-β) x n (k) e (k) / (σ 2 x + σ 2 e ) 1/2 Equation (8)
여기서, n=0,1,2, ... , L-1 이며 수신음향신호{x(k)}와 상호상관도{δn(k),δn-1(k)}는 L개의 차수를 갖는 벡터값이고 β는 각 항의 계수조절을 위해 삽입된 임의의 상수이며, 후술하는 내용에서도 동일하게 적용된다.Here, n = 0,1,2, ..., L -1 is the received acoustic signal {x (k)} and the cross-correlation is also {δ n (k), δ n-1 (k)} is the L-order Β is an arbitrary constant inserted for coefficient adjustment of each term, and the same applies to the following description.
또, 상기 상호상관도 산출기(103)는 순간 상호상관도{xn(k)e(k)}의 범위를 일정 값 이내로 정규화시키기 위해 식(8)에서와 같이 상기 t=k인 시점에서의 상호상관도{xn(k)e(k)}를 각각의 전력값의 합으로 나누게 된다.In addition, the cross-correlation calculator 103 at the time when t = k as in Equation (8) to normalize the range of the instantaneous cross-correlation {x n (k) e (k)} within a certain value The cross-correlation of X (x n (k) e (k)) is divided by the sum of the respective power values.
식(8)에 의해 산출되는 수신음향신호{x(k)}와 추정 오차신호(e(k)}간의 상호상관도{δn(k)}는 정확히 말하면 (t=1)∼(t=k)인 시점까지의 상호상관도를 모두 더한 누적 상호상관도라 할 수 있는데 식(8)과 같이 산출식을 설정함으로써 계산량을 줄일 수 있는 효과가 있게 된다.The cross-correlation degree δ n (k) between the received acoustic signal {x (k)} and the estimated error signal e (k)} calculated by Equation (8) is precisely (t = 1) to (t = It is a cumulative cross-correlation diagram that adds all the cross-correlation diagrams up to the point k), and the calculation amount can be reduced by setting the calculation formula as shown in Equation (8).
그런데 식(8)에 의해 상호상관도{δn(k)}를 산출하여 보면, 수신음향신호{x(k)}와 상호상관도{δn(k),δn-1(k)}가 앞서 언급한 바와 같이 L개의 차수를 갖는 벡터값이므로 L=1024라고 가정할 때, t=k인 시점에서 후술하는 바와 같은 많은 계산량이 요구된다.By calculating the cross-correlation {δ n (k)} by Equation (8), the correlation between the received sound signal {x (k)} and δ n (k), δ n-1 (k)} Since L is a vector value having L orders as mentioned above, assuming that L = 1024, a large amount of calculation as described later is required when t = k.
n=0, δ0(k)=βδ0(k-1)+(1-β)x0(k)e(k)/(σ2 x+σ2 e)1/2 n = 0, δ 0 (k) = βδ 0 (k-1) + (1-β) x 0 (k) e (k) / (σ 2 x + σ 2 e ) 1/2
n=1, δ1(k)=βδ1(k-1)+(1-β)x1(k)e(k)/(σ2 x+σ2 e)1/2 n = 1, δ 1 (k) = βδ 1 (k-1) + (1-β) x 1 (k) e (k) / (σ 2 x + σ 2 e ) 1/2
......
n=1023, δ1023(k)=βδ1023(k-1)+(1-β)x1023(k)e(k)/(σ2 x+σ2 e)1/2 n = 1023, δ 1023 (k) = βδ 1023 (k-1) + (1-β) x 1023 (k) e (k) / (σ 2 x + σ 2 e ) 1/2
그러나, t=k인 시점에서 (n=0)∼(n=1023)까지 산출되는 상호상관도{δn(k)}의 각 계수들{δ0(k),δ1(k), ... , δ1023(k)}이 같은 경향을 갖으므로 특정 계수(n=1)에 대한 상호상관도{δ1(k)}만을 산출하고(S13) 산출된 특정 계수의 상호상관도{δ1(k)=δ(k)}를 나머지 계수들에 그대로 적용함으로써 각 계수들을 일일이 계산할 필요가 없어 계산량을 대폭 줄일 수 있으며, 이와 같이 특정 계수에 대해서만 산출한 상호상관도는 식(9)와 같고, 이를 그래프로 나타내면 도 6a에 해당하게 된다.However, the coefficients {δ 0 (k), δ 1 (k), of the cross-correlation {δ n (k)} calculated from (n = 0) to (n = 1023) at the time t = k. .. ,, δ 1023 (k)} tends to be the same, so that only the cross-correlation {δ 1 (k)} for a specific coefficient (n = 1) is calculated (S13) and the cross-correlation of the calculated specific coefficient {δ By applying 1 (k) = δ (k)} to the remaining coefficients as it is, it is not necessary to calculate each coefficient one by one, and the calculation amount can be greatly reduced. Equivalent to that, and corresponds to the graph shown in Figure 6a.
δ(k)=βδ(k-1)+(1-β)x(k)e(k)/(σ2 x+σ2 e)1/2식(9)δ (k) = βδ (k-1) + (1-β) x (k) e (k) / (σ 2 x + σ 2 e ) 1/2 Equation (9)
도 6a에 도시된 바와 같이 시간계수(k)가 t=5000에 가깝도록 상호상관도{δ(k)}를 갱신하여 산출한 후 이를 그래프로 나타내 보면, 수신음향신호{x(k)}와 추정 오차신호(e(k)}간의 상호상관도{δ(k)}는 시간이 지남에 따라 직교원리에 의해 지수적으로 감소하여 정상상태(stable state)가 되고, 그 값은 초기에 비해 상당히 작아지는 것을 확인할 수 있다.As shown in FIG. 6A, when the correlation coefficient {δ (k)} is updated and calculated such that the time coefficient k is close to t = 5000, the graph is represented as a received acoustic signal {x (k)}. The cross-correlation between the estimated error signals e (k) {δ (k)} decreases exponentially with orthogonal principle over time and becomes a stable state, and its value is significantly It can be seen that the smaller.
그런데, 식(9)에 의해 산출된 상호상관도{δ(k)}가 도 6a에서와 같이 너무 빠르게 지수적으로 감소하면, 상기 상호상관도{δ(k)}가 안정적으로 수렴하기 위한 소정 범위를 벗어나는 횟수가 잦아지게 되고 이에 따라 적응 초기의 수렴 속도가 현저히 저하되므로, 적응 초기에서의 수렴 속도를 빠르게 하기 위해서는 상호상관도{δ(k)}를 다소 크게 유지하는 것이 필요하다. 따라서, 저역통과 여파기(104)는 식(9)에 의해 산출된 상호상관도{δ(k)}를 식(10)과 같이 저역 통과시킴으로써(S14), 적응 초기에 상호상관도{δ(k)}가 크게 유지되도록 하여 저역통과시키지 않은 식(9)의 상호상관도{δ(k)}에 비해 수렴 속도가 빨라지도록 한다.By the way, if the cross-correlation degree δ (k) calculated by Equation (9) decreases exponentially too quickly as in Fig. 6A, the cross-correlation degree δ (k) is determined to converge stably. Since the frequency of out of range becomes frequent and the convergence speed at the initial stage of adaptation is significantly lowered, it is necessary to keep the cross-correlation degree δ (k) somewhat larger in order to accelerate the convergence speed at the initial stage of adaptation. Accordingly, the low pass filter 104 passes the cross-correlation degree {δ (k) calculated by Eq. (9) as low-pass as in Eq. ), So that the convergence speed is faster than the cross-correlation degree (δ (k)) of Eq. (9) that does not pass low.
c(k)=βc(k-1)+(1-β)δ(k) 식(10)c (k) = βc (k-1) + (1-β) δ (k) equation (10)
즉, 식(10)에서 보면 t=k-1인 시점에서 저역통과된 상호상관도{c(k-1)}에 β를 곱하고, t=k인 시점에서 산출된 순간 상호상관도{δ(k)}에 (1-β)를 곱함으로써, β값을 임의로 조절하는 것에 의해, 직전까지 산출된 저역통과된 상호상관도의 누적값{c(k-1)}에 비중을 둘 것인지 아니면 현재 시점에서의 상호상관도{δ(k)}에 비중을 둘 것인지를 조절할 수 있는데, β값의 조절가능한 범위는 0과 1사이의 값이며 상기 β값을 1에 가깝도록 설정함으로써 상기 식(10)에 의해 산출되는 상호상관도는 저역통과 여파된 특성을 갖는 것이며 통상 상기 β값은 0.98로 정해진다.That is, in Equation (10), the low-pass cross-correlation degree {c (k-1)} is multiplied by β at the time t = k-1, and the instantaneous cross-correlation degree {δ ( k)} by multiplying (1-β) by randomly adjusting the value of β, or weighting the cumulative value {c (k-1)} of the low-passed cross-correlation calculated up to the last; It is possible to control whether or not to give specific gravity to the cross-correlation degree {δ (k)} at the time point. The adjustable range of β value is a value between 0 and 1 and the value of β is set to be close to 1 The cross-correlation calculated by) has a low pass filter and usually the β value is set to 0.98.
시변 적응상수 산출기(105)는 식(10)으로부터 산출된 저역통과된 상호상관도{c(k)}에 의해, 수신음향신호{x(k)}와 추정 오차신호{e(k)}의 상호상관 정도에 따라 가변되는 시변 적응상수{μ(k)}를 식(11)과 같이 산출한다(S15).The time-varying adaptive constant calculator 105 receives the received acoustic signal {x (k)} and the estimated error signal {e (k)} based on the low pass cross-correlation degree {c (k)} calculated from Equation (10). A time-varying adaptive constant {mu (k)} that varies depending on the degree of cross-correlation of is calculated as in Equation (11) (S15).
μ(k)=α│c(k)│/{L(σ2 x+σ2 e)} 식(11)μ (k) = α│c (k) │ / {L (σ 2 x + σ 2 e )} (11)
여기서, 상호상관도{c(k)}에 절대값을 취하는 것은 적응상수가 0보다 작아지면 이로부터 산출되는 계수벡터{W(k)}가 불안정해지기 때문에 이를 방지하기 위해서이며, 수신음향신호{x(k)}와 추정 오차신호{e(k)}의 전력합에 의해 상기 시변 적응상수{μ(k)}를 나누는 것은, 식(11)에 의해 산출되는 시변 적응상수{μ(k)}의 값을 소정 범위 이내로 정규화하기 위해서이다.In this case, the absolute value of the cross-correlation degree {c (k)} is taken to prevent the coefficient vector {W (k)} calculated therefrom from becoming unstable when the adaptive constant is smaller than 0. Dividing the time-varying adaptive constant {μ (k)} by the sum of the powers of {x (k)} and the estimated error signal {e (k)} results in the time-varying adaptive constant {μ (k) calculated by Equation (11). This is to normalize the value of}} within a predetermined range.
한편 도 6b는, 시변 적응상수 산출기(105)가 상기 저역통과된 상호상관도{c(k)}를 식(11)에 대입함으로써 산출한 시변 적응상수{μ(k)}와, 저역통과되지 않은 상호상관도{δ(k)}를 식(11)에 대입함으로써 산출한 시변 적응상수{μ(k)}를 비교도시한 그래프로서, 저역통과되지 않은 시변 적응상수{μ(k)}는 수렴 초기에 비교적 빠르게 감소하고 크게 진동하는 반면, 저역통과된 시변 적응상수{μ(k)}는 저역통과되지 않은 시변 적응상수{μ(k)}에 비해 다소 지연이 있으며 진동이 부드러워진 것을 확인할 수 있다. 따라서 저역통과된 시변 적응상수를 이용함으로써 적응 초기 및 경로가 변화하는 경우 수렴 속도를 빠르게 유지할 수 있다.6B shows the time-varying adaptive constant {μ (k)} calculated by substituting the low-pass cross-correlation degree {c (k)} into Equation (11) and the low-pass adaptive constant calculator 105. A graph showing the comparison of the time-varying adaptation coefficient {μ (k)} obtained by substituting the uncorrelated correlation {δ (k)} into Equation (11). Shows that the low-pass time-varying adaptive constant {μ (k)} is somewhat delayed and softer than the low-pass time-varying adaptive constant {μ (k)}. You can check it. Therefore, by using the low-pass time-varying adaptation constant, it is possible to maintain a fast convergence speed when the initial adaptation and the path change.
상기 시변 적응상수 산출기(105)로부터 출력된 시변 적응상수{μ(k)}는 계수벡터 갱신기(106)로 입력되고, 계수벡터 갱신기(106)는 상기 입력된 시변 적응상수{μ(k)}를 식(12)에 대입함으로써 계수벡터{W(k)}를 산출한다(S16). 이어, 시간계수 증가기(107)는 시간계수(k)를 1만큼 증가시키고(S17) 도 2에 도시된 반향경로 추정신호 생성기(12)는 식(12)로부터 산출되는 계수벡터{W(k)}에 의해, 스피커로부터 마이크에 이르는 반향경로를 추정하기 위한 음향반향 추정신호{(k)}를 갱신하여 생성함으로써(S18), 원단의 화자측에 송신될 추정 오차신호{e(k)}에 포함된 음향 반향신호{y(k)}를 최대한 제거하여 상기 추정 오차신호{e(k)}를 최소화시키게 된다.The time-varying adaptive constant {mu (k)} output from the time-varying adaptive constant calculator 105 is input to a coefficient vector updater 106, and the coefficient vector updater 106 receives the input time-varying adaptive constant {μ ( k)} is substituted into equation (12) to calculate the coefficient vector {W (k)} (S16). Subsequently, the time coefficient increaser 107 increases the time coefficient k by 1 (S17), and the echo path estimation signal generator 12 shown in FIG. 2 calculates the coefficient vector {W (k (k) calculated from equation (12). ), An acoustic echo estimation signal for estimating the echo path from the speaker to the microphone { (k)} is generated by updating (S18), the acoustic echo signal {y (k)} included in the estimated error signal {e (k)} to be transmitted to the speaker side of the far-end is removed as much as possible, so that the estimated error signal { e (k)} will be minimized.
W(k)=W(k-1)+α│c(k)│/{L(σ2 x+σ2 e)}{y(k)-WT(k)X(k)}+α│c(k)│/{L(σ2 x+σ2 e)}X(k)n(k) 식(12)W (k) = W (k−1) + α│c (k) │ / {L (σ 2 x + σ 2 e )} {y (k) -W T (k) X (k)} + α C (k) / {L (σ 2 x + σ 2 e )} X (k) n (k) Equation (12)
도 7의 (a) 내지 (e)는 본 발명에 따른 시변 적응알고리즘에 의해 음향반향을 제거하는 실험을 한 결과를, 종래의 NLMS 및 Sum-LMS 알고리즘에 의해 상기 실험을 한 결과와 비교도시한 것으로서, (a)는 수신음향신호{x(k)}이고, (b)는 근단의 화자측의 음성신호{n(k)}이고, (c), (d), (e)는 각각 NLMS 알고리즘, Sum-LMS 알고리즘 그리고 본 발명에 따른 시변 적응알고리즘에 의해 음향반향을 제거한 각각의 추정 오차신호{e(k)}이다. 도시된 바와 같이 본 발명에 따른 시변 적응알고리즘에 의해 음향 반향신호를 제거한 추정 오차신호(e)는 종래의 알고리즘(NLMS, Sum-LMS)에 의해 음향 반향신호를 제거한 추정 오차신호{(c)와(d)}에 비해서 근단의 화자측의 음성신호{n(k)}가 잘 보존되며, 근단의 화자측의 음성신호{n(k)}가 발생된 이후에 그 제거효과가 현저히 나타나는 것을 알 수 있다.7 (a) to 7 (e) show the results of experiments for removing acoustic echoes by the time-varying adaptive algorithm according to the present invention, compared with the results of the above experiments by conventional NLMS and Sum-LMS algorithms. Where (a) is a received sound signal {x (k)}, (b) is a near-end speaker signal n (k)}, and (c), (d) and (e) are NLMS, respectively. Each estimated error signal e (k) is obtained by removing acoustic echo by the algorithm, the Sum-LMS algorithm and the time-varying adaptive algorithm according to the present invention. As shown, the estimated error signal (e) from which the acoustic echo signal is removed by the time-varying adaptive algorithm according to the present invention is estimated with the estimated error signal {(c) from which the acoustic echo signal is removed by conventional algorithms (NLMS, Sum-LMS). Compared with (d)}, the voice signal {n (k)} on the speaker side near the end is well preserved, and the removal effect is remarkable after the voice signal {n (k)} on the speaker near the end is generated. Can be.
도 8a는 본 발명에 따라 산출된 반향경로 추정기와 실험에 의해 측정된 반향경로가 구현된 음향반향 제거장치의 구성으로서, 반향경로를 통해 마이크로 입력되는 음향 반향신호의 특성을 측정하기 위해, 본 발명에 따른 시변 적응알고리즘에 의해 산출된 반향경로 추정기(100)와 동일한 음향환경을 갖는 공간내에서, 단일 임펄스(impulse)에 해당하는 음향신호를 발생시키고 발생된 음향신호에 의해 마이크로 입력되는 음향 반향신호를 실제로 측정함으로써 스피커에서 마이크 사이의 음향 특성을 의미하는 반향경로(200)를 포함하여 구성되어 있으며, 상기와 같이 실제로 측정된 음향 반향신호{y(k)}를 출력하는 반향경로(200)의 계수벡터{H(k)}와, 앞서 언급된 도 4 및 도 5에 구현된 반향경로 추정기(100)의 계수벡터{W(k)}가 일치하는지를 확인하기 위한 계수 오조정 지수는 식(13)과 같이 산출된다.FIG. 8A is a configuration of an echo echo estimator calculated according to the present invention and an acoustic echo canceller in which an echo path measured by an experiment is implemented, and for measuring characteristics of an acoustic echo signal input through a echo path through a microphone, the present invention; In the space having the same acoustic environment as the echo path estimator 100 calculated by the time-varying adaptive algorithm according to the present invention, an acoustic signal corresponding to a single impulse is generated and the acoustic echo signal input to the microphone by the generated acoustic signal It is configured to include the echo path 200 means the acoustic characteristics between the speaker and the microphone by actually measuring the, and the echo path 200 of the acoustic echo signal {y (k)} actually measured as described above Coefficient misregistration for confirming that the coefficient vector {H (k)} and the coefficient vector {W (k)} of the echo path estimator 100 implemented in FIGS. 4 and 5 mentioned above coincide. The positive index is calculated as shown in equation (13).
계수 오조정 지수 = 10·log[{W(k)-H(k)}2/H2(k)] 식(13)Coefficient misadjustment index = 10 · log [{W (k) -H (k)} 2 / H 2 (k)] Equation (13)
도 8b는 본 발명에 따른 시변 적응알고리즘이 적용된 반향경로 추정기(100)와 반향경로(200)의 각각의 계수벡터의 일치여부를 나타내는 계수 오조정 지수를 그래프로 나타냈으며, 이를 종래의 알고리즘에 의한 반향경로 추정기(10)와 반향경로(도면 미도시)의 각각의 계수벡터의 일치여부를 나타내는 계수 오조정 지수와 비교도시한 것이다. 도 8b에 도시된 바와 같이, 상기 두 계수벡터{H(k), W(k)}의 차가 크면 식(13)에 의해 산출되는 계수 오조정 지수값이 크고 음향 반향신호{y(k)}가 제대로 제거되지 않은 것이며 두 계수벡터{H(k), W(k)}가 일치하면 식(13)에 의해 산출되는 계수 오조정 지수값이 작고 음향 반향신호{y(k)}가 충분히 제거되었음을 인식할 수 있는 것으로서, 본 발명에 따른 시변 적응알고리즘이 적용된 계수 오조정 지수(proposed)가, 종래의 알고리즘이 적용된 계수 오조정 지수(NLMS, SumLMS)에 비해 더 작은 값을 나타내는 것을 확인할 수 있다.FIG. 8B is a graph illustrating a coefficient misalignment index indicating whether coefficient coefficients of the echo path estimator 100 and the echo path 200 correspond to each other by the time-varying adaptive algorithm according to the present invention. The echo path estimator 10 is compared with the coefficient misadjustment index indicating whether the coefficient vectors of the echo paths (not shown) coincide with each other. As shown in Fig. 8B, when the difference between the two coefficient vectors {H (k), W (k)} is large, the coefficient misalignment index value calculated by equation (13) is large and the acoustic echo signal {y (k)}. Is not properly removed and the two coefficient vectors {H (k), W (k)} match, the coefficient misadjustment index value calculated by Eq. (13) is small and the acoustic echo signal {y (k)} is sufficiently removed. As can be appreciated, it can be seen that the coefficient misalignment index (proposed) to which the time-varying adaptive algorithm according to the present invention is applied exhibits a smaller value than the coefficient misalignment index (NLMS, SumLMS) to which the conventional algorithm is applied. .
이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.The present invention is not limited to the embodiments described above, and various modifications and changes can be made by those skilled in the art, which are included in the spirit and scope of the present invention as defined in the appended claims.
이상에서 살펴본 바와 같이 본 발명은, 핸드프리 휴대폰이나 스피커폰에서 발생되는 음향반향이 타 잡음성분에 관계없이 깨끗이 제거되도록 하는 효과가 있다.As described above, the present invention has an effect that the acoustic reflection generated in the hand-free mobile phone or the speakerphone is cleanly removed regardless of other noise components.
또한, 본 발명은 상기 음향반향을 제거하는 동작이 보다 신속하게 이루어지도록 하는 효과가 있다.In addition, the present invention has the effect that the operation to remove the acoustic echo is made more quickly.
또한, 본 발명은 핸드프리 휴대폰이나 스피커폰을 이용하여 보다 효율적인 통화가 이루어질 수 있도록 하는 효과가 있다.In addition, the present invention has the effect of making a more efficient call using a hand-free mobile phone or speakerphone.
Claims (20)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2001-0036087A KR100431965B1 (en) | 2001-06-23 | 2001-06-23 | Apparatus and method for removing echo-audio signal using time-varying algorithm with time-varying step size |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2001-0036087A KR100431965B1 (en) | 2001-06-23 | 2001-06-23 | Apparatus and method for removing echo-audio signal using time-varying algorithm with time-varying step size |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20030000347A true KR20030000347A (en) | 2003-01-06 |
KR100431965B1 KR100431965B1 (en) | 2004-07-21 |
Family
ID=27710816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR10-2001-0036087A KR100431965B1 (en) | 2001-06-23 | 2001-06-23 | Apparatus and method for removing echo-audio signal using time-varying algorithm with time-varying step size |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100431965B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106899302A (en) * | 2015-12-17 | 2017-06-27 | 亚德诺半导体集团 | The adaptive digital quantizing noise of MADS ADCS eliminates wave filter |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100868862B1 (en) | 2007-04-16 | 2008-11-13 | 에스케이 텔레콤주식회사 | Automatic volume control apparatus |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE505150C3 (en) * | 1995-10-18 | 1997-08-04 | Ericsson Telefon Ab L M | Adaptive dual filter echo leakage procedure |
US5887059A (en) * | 1996-01-30 | 1999-03-23 | Advanced Micro Devices, Inc. | System and method for performing echo cancellation in a communications network employing a mixed mode LMS adaptive balance filter |
EP0853844B1 (en) * | 1996-08-01 | 2003-04-09 | Nortel Networks Limited | Echo cancelling system for digital telephony applications |
KR19990002334A (en) * | 1997-06-19 | 1999-01-15 | 윤종용 | Acoustic echo canceller |
KR100272131B1 (en) * | 1998-04-15 | 2000-11-15 | 윤종용 | Adaptive reverbation cancelling apparatus |
-
2001
- 2001-06-23 KR KR10-2001-0036087A patent/KR100431965B1/en not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106899302A (en) * | 2015-12-17 | 2017-06-27 | 亚德诺半导体集团 | The adaptive digital quantizing noise of MADS ADCS eliminates wave filter |
Also Published As
Publication number | Publication date |
---|---|
KR100431965B1 (en) | 2004-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7035398B2 (en) | Echo cancellation processing system | |
KR101017766B1 (en) | Spectral domain, non-linear echo cancellation method in a hands-free device | |
US7684559B2 (en) | Acoustic echo suppressor for hands-free speech communication | |
JP4702372B2 (en) | Echo suppression method and apparatus | |
JP5036874B2 (en) | Echo canceller | |
JP5049277B2 (en) | Method and system for clear signal acquisition | |
EP1129526B1 (en) | Methods and apparatus for providing echo suppression using frequency domain nonlinear processing | |
JP4377952B1 (en) | Adaptive filter and echo canceller having the same | |
WO2005125168A1 (en) | Echo canceling apparatus, telephone set using the same, and echo canceling method | |
KR19990006701A (en) | Echo Canceller with Multi-Step Gain | |
WO2012153452A1 (en) | Echo erasing device and echo detection device | |
EP2700161B1 (en) | Processing audio signals | |
US20080260172A1 (en) | Echo Canceller and Speech Processing Apparatus | |
WO2005043772A1 (en) | Echo canceler | |
EP2380339B1 (en) | Determining an acoustic coupling between a far-end talker signal and a combined signal | |
KR100431965B1 (en) | Apparatus and method for removing echo-audio signal using time-varying algorithm with time-varying step size | |
KR100272131B1 (en) | Adaptive reverbation cancelling apparatus | |
KR100545832B1 (en) | Sound echo canceller robust to interference signals | |
JP4903843B2 (en) | Adaptive filter and echo canceller having the same | |
WO2024070079A1 (en) | Echo elimination device and echo elimination method | |
WO2024009892A1 (en) | Echo suppressing device, echo suppressing method, and echo suppressing program | |
EP0715407B1 (en) | Method and apparatus for controlling coefficients of adaptive filter | |
KR100420581B1 (en) | Apparatus and method for removing stereo echo signal using pre-processing algorithm | |
JP4903842B2 (en) | Adaptive filter and echo canceller having the same | |
JP2006094355A (en) | Speech processor and echo removing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |