KR100338656B1 - 반향 경로 지연 추정 방법 및 장치 - Google Patents

반향 경로 지연 추정 방법 및 장치 Download PDF

Info

Publication number
KR100338656B1
KR100338656B1 KR1019997002834A KR19997002834A KR100338656B1 KR 100338656 B1 KR100338656 B1 KR 100338656B1 KR 1019997002834 A KR1019997002834 A KR 1019997002834A KR 19997002834 A KR19997002834 A KR 19997002834A KR 100338656 B1 KR100338656 B1 KR 100338656B1
Authority
KR
South Korea
Prior art keywords
filter
tap
taps
predetermined number
echo
Prior art date
Application number
KR1019997002834A
Other languages
English (en)
Other versions
KR20000048836A (ko
Inventor
엘말키카림
Original Assignee
클라스 노린, 쿨트 헬스트룀
텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 클라스 노린, 쿨트 헬스트룀, 텔레폰악티에볼라겟엘엠에릭슨(펍) filed Critical 클라스 노린, 쿨트 헬스트룀
Publication of KR20000048836A publication Critical patent/KR20000048836A/ko
Application granted granted Critical
Publication of KR100338656B1 publication Critical patent/KR100338656B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H04B3/238Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers using initial training sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

반향 소거 장치(20) 및 방법은 반향 경로 응답을 분석하기 위한 동작 AEPR 및 적응성 FIR 필터(52)를 포함한다. 적응성 필터(52)의 구성은 반향 소거 동작중의 필터 승산, 가산 및 저장에 수반되는 2개의 특정 탭 종점 사이의 계수 및 필터 탭의 범위만을 산출하는데 유리하다.

Description

반향 경로 지연 추정 방법 및 장치{ECHO PATH DELAY ESTIMATION}
반향 소거 장치는 음성 및 오디오 서비스의 품질에 크게 영향을 미치는 반향 현상을 소거하기 위해 지상 및 대기(즉, 무선, 마이크로파) 통신에 모두 광범위하게 사용된다. 반향 소거 장치는 근본적으로 발신 라인상에서 반사하는 반향을 디지털 방식으로 추정하기 위해 청취자에게 착신하는 데이터의 복제를 사용한다. 그 추정치를 계산하여, 반향 소거 장치는 발신 신호에서 반향 추정치를 감하여 반향을 소거시킨다.
반향의 문제의 예는 전화 송신에서 발생한다. 대부분의 경우에, 전화 통화는 착신 장치(TE)와 하이브리드 변환 회로 사이에서 한쌍의 단방향 2 회선을 통해(즉, 4 회선을 통해) 송신된 후 하이브리드 회로로부터 양방향 2 회선을 통해 송신된다. 따라서, 두가지 형태의 라인 사이의 접합은 하이브리드 변환기에 의해 행해진다. 하이브리드 변환기가 평균 라인 임피던스에 대해 평형이 되기 때문에, 하이브리드 변환기들은 서로 완전히 2개의 양방향 경로를 분리하지 않으며, 따라서 반향 신호를 생성한다. 더욱이, 지연이 4개의 회선에 도입되는 경우(위성 송신 또는 디지털 엔코딩에서 발생할 수 있는 바와 같음), 반향은 더 나은 음성 품질을 보장하기 위해 소거되어야 한다.
간단히 말하자면, 반향 소거 장치는 일반적으로 적응성 유한 임펄스 응답(FIR) 디지털 필터; FIR을 제어하기 위한 소거 프로세서; 감산기; 근단 음성 검출기; 및 비선형 프로세서를 이용한다. FIR은 착신 통신 경로상의 원단으로부터 근단으로 송신되는 (성공적으로 표본 추출될 때) 데이터의 복제를 수신한다. FIR은 소거되지 않은 경우 발신 통신 경로상의 근단으로부터 원단으로 다시 반사되는 반향의 추정치를 발생시킨다. 적절한 시간에, 반향의 FIR 추정치는 반향을 소거하고자 시도할 때 감산기에 의해 발신 통신 경로상의 신호에서 감산된다. 반향의 추정치의 발생시에, FIR은 소거 프로세서에 의해 제어된다. FIR을 제어할 때, 소거 프로세서는 감산기로부터의 신호 출력 뿐만 아니라 (예컨대, 원단 및 근단에서 양당사자가 통화하는) 이중 통화가 발생하는 근단 음성 검출기로부터의 임의의 지시를 고려한다. 비선형 프로세서는 FIR이 소거할 수 없는 반향의 임의의 잔량을 억압하도록 시도한다.
FIR은 다수의 탭과 대응하는 수의 계수를 갖는 가로 필터이다. 탭은 표본 추출 비율 또는 표본 추출 시간과 동일한 지연 시간의 단위이다. 계수는 반향 추정치를 얻기 위해 입력 신호에 의해 승산되는 (레지스터에 저장되어 있는) 값이다. 소거 프로세서는 필터 계수를 적응(예컨대, 변형 또는 갱신)시키기 위한 알고리듬을 실행하여, 필터 계수가 반향 응답 특성 변화보다 빠른 최적의(또는 최적에 가까운) 값에 수렴하며, 그것에 의해 반향의 소거를 가능하게 한다. 예컨대, 참고로 본원과 공동 양도되어 본 명세서에 통합되어 있는 1996년 7월 8일에 Antoni Fertner에 의해 출원된 표본 추출 디지털 통신 시스템에서의 주파수 영역 신호 재구성 방법 및 장치(AFREQUENCY DOMAIN SIGNAL RECONSTRUCTION IN SAMPLED DIGITAL COMMUNICATIONS SYSTEMS)라는 명칭의 미국 특허 출원 제08/679,387호를 보라.
대부분의 반향 소거 장치에서, 그러한 적응은 발생하지 않지만, 근단 음성 검출기는 이중 통화 상태를 검출한다. FIR의 길이(탭의 수) 및 계수들이 갱신되어야 하는 비율은 서비스의 형태, 경로(예컨대, 라인) 특성 및 소거 장치로부터 반향원의 거리에 의존하여 갱신되어야 한다.
종래 기술의 소거 장치의 동작은 일반적으로 전체 반향 경로 응답의 추정을 포함한다. 일반적인 반향 경로 응답은 「순지연(pure delay)」 및 「테일 지연(tail delay)」으로 형성된다. 순지연은 그 소스(예컨대, 반향 소거 장치)에서 하이브리드 및 후방까지의 신호에 의해 취해지는 실제 전달 시간이다. 반면에, 테일 지연은 4 회선을 착신하고 임피던스 맹칭을 수행하는 하이브리드 회로의 응답이다.
반향 경로 응답의 모두가 반향 소거 장치의 소거에 관련되지는 않는다. 순지연 소자 및 종재 지연후의 임의의 부분은 관련이 없고, 따라서 반향 소거 장치의적응성 소거에 포함될 필요가 없다.
반향 소거 장치의 복잡성은 사용하는 필터의 수에 관련이 있기 때문에, 이들 필터 탭의 수의 감소는 필터 동작의 최적화에 중요하다. 반향 소거 장치의 계산을 최소화하기 위해, 반향 경로 지연의 추정치는 필요한 탭의 실제 수가 결정될 수 있도록 계산될 필요가 있다. 따라서, 이들 반향 경로 응답 부분의 지속 기간의 결정 방법은 반향 소거 장치를 최적화하는데 필수적이다.
Montagna에게 특허 허여된 미국 특허 제4,736,414호는 반향 경로 응답의 피크에 대응하는 최대 절대치를 찾기 위해 적응성 필터의 계수에 대해 탐색을 실행한다. Montagna 기술(도 8에 도시함)에 따르면, 최대치가 계수 또는 필터 탭 WMAX로 밝혀진 것으로 가정하면, 값 W는 WMAX에서 고정 정수를 감산함으로써 계산된다. 하이브리드 응답이 N 표본(또는 탭)까지 계속되고 하이브리드 응답 개시가 W로 주어진 것으로 가정하면, 임펄스 응답의 관련 부분의 종료는 WMAX+N-1이다. 이것은 단지 반향 소거를 위해 필요한 반향 경로의 일부인 세그먼트 T2에 대한 경계를 제공한다. 이것이 설정되면, 적응성 필터 반향 소거 장치는 기간 T2 동안 동작하고, 순지연으로서 기간 T1만을 사용할 것이다.
그러나, 전술한 기술에서의 문제점은 WMAX가 도 9에 도시되어 있는 바와 같이, 하이브리드 응답의 개시로부터 표본의 양을 고정 정수로 둔다는 가정에 있다. 이 가정이 임의의 시스템에 적용할 수 없는 경우, 필터에 통신을 발산 및 중단하게 하는 에러가 있는 반향 경로 계산이 존재한다. 따라서, 이 기술을 수행하는데 있어서, 각 응용의 라인 특성의 형태에 대한 구경 조정이 필요하다.
가용 필터 탭의 총수보다 적은 수로 반향 소거 장치를 동작시키기 위한 다른 시도가 이루어져 왔다. Galand 등에게 특허 허여된 미국 특허 제4,751,730호는 착신 및 발신 신호의 에너지를 측정한 후, 반향 경로상의 스위치를 제어하는데 사용되는 플래그 정보를 발생시키기 위해 소정 임계치와 상기 에너지의 비를 비교함으로써 소거 필터를 동작시키는데 필요한 계수의 범위를 결정한다. Virdee에게 특허 허여된 미국 특허 제5,473,686호는 표본의 시험 횟수를 선택하고, 필터의 탭 길이가 안정되게 하기 위해 충분한 길이의 시간동안 필터를 동작시키며, 필터의 단부에서의 탭이 반향 추정에 기여하는지의 여부를 결정하기 위해 탭 무게를 조사하고, (필요한 경우) 필터에 이용되는 탭의 수를 증가 또는 감소시킴으로써 적응성 FIR 필터의 길이(또는 탭의 수)를 연속적으로 변경시킨다.
필요한 것은 반향 경로 지연을 정확하게 결정할 뿐만 아니라 반향 소거 장치의 FIR 필터에 이용하기 위한 적절한 탭의 수를 정확하게 결정하는 방법 및 장치이다.
이 출원은 본 명세서에 통합되어 있는 「소음(消音) 향상 반향 소거 장치(SILENCE-IMPROVED ECHO CANCELLER)」라는 명칭의 Karim El Malki에 의해 본원과 동시에 출원된 미국 특허 출원(대리인 사건 등록 번호: 1410-212)에 관한 것이다.
본 발명은 음성 및 음향 신호 처리에 관한 것으로, 특히 반향 경로 지연의 결정 및 반향 소거 장치의 동작에 관한 것이다.
도 1은 본 발명의 일 실시예에 따르는 반향 소거 장치의 개략도.
도 2는 도 1의 반향 소거 장치를 이용하는 예시적인 통신 시스템의 개략도.
도 3은 일반적인 반향 경로 임펄스 응답의 그래프.
도 4A는 도 1의 반향 소거 장치의 제어기에 의해 실행되는 전체적인 단계를 도시하는 플로우차트.
도 4B는 도 1의 반향 소거 장치의 반향 경로 지연 추정 장치에 의해 실행되는 단계를 더 상세하게 도시하는 플로우차트.
도 5는 본 발명의 방법에 따르는 반향 경로 지연 및 다른 계산을 나타내는 그래프.
도 6은 반향 경로 응답을 분석하는 본 발명의 동작에서 512 탭 디지털 필터의 사용예의 개략도.
도 7은 본 발명의 예에 따라 필터의 최적 구성후의 디지털 필터의 사용예의 개략도.
도 8은 종래 기술의 방법에 따르는 반향 경로 지연 및 다른 계산을 도시하는 그래프.
도 9는 종래 기술의 방법에 따르는 반향 경로 지연 및 다른 계산의 비정확성을 도시하는 그래프.
반향 소거 장치 및 방법은 반향 경로 응답을 분석하기 위한 동작 AEPR 및 적응성 FIR 필터를 구성하기 위한 동작 CR을 포함한다. 적응성 필터의 구성은 반향 소거 동작중의 필터 승산, 가산 및 저장에 수반되는 2개의 특정 탭 종점 사이의 계수 및 필터 탭의 범위만을 산출하는데 유리하다.
반향 경로 응답을 분석하기 위한 동작은 착신 통신 경로 및 발신 통신 경로를 갖는 통신 시스템의 반향 경로 길이를 결정한다. 필터의 수렴에 이어서, 상기 방법은 착신 통신 경로상에 신호를 송신하는 단계와, 상기 신호에 대하여 상기 필터의 제1 소정수의 탭이 소정치를 갖는지의 여부를 결정하는 단계를 포함한다. 그 후, 필터의 제1 탭은 소정치보다 큰 소정의 인수인 값을 갖는 위치에 위치된다. 그 후, 위치된 탭보다 적은 제2 소정수의 탭인 탭 차수를 갖는 필터의 탭이 경계 탭으로서 선택된다. 사용하는 경계 탭의 한 위치는 반향 경로 길이를 결정하는데 사용된다.
적응성 FIR 필터를 구성하기 위한 동작 CR은 필터의 제1 소정수의 탭이 소정치를 갖는지의 여부를 결정한다. 그 후, 필터의 제1 탭은 소정치보다 큰 소정의 인수인 값을 갖는 위치에 위치된다. 그 후, 위치된 탭보다 적은 제2 소정수의 탭인 탭 차수를 갖는 필터의 탭은 구성 경계 제1 탭으로서 선택된다. 필터의 구성 경계 제2 탭은 구성 경계 제1 탭보다 큰 제3 소정수의 탭인 탭 차수를 갖는 것으로서 선택된다. 구성 경계 제1 탭 및 구성 경계 제2 탭은 반향 소거 동작중에 필터 승산으로부터 배제되는 탭이 무엇인지를 결정하는데 사용된다. 구성 경계 제1 탭보다 적은 탭은 모두 버퍼로서 작용하며, 그것을 통해 신호의 표본값이 반향 소거 동작중에 변화된다.
본 발명의 전술한 목적 및 다른 목적, 특징 및 장점은 여러 도면에 걸쳐 동일한 부품에 동일한 참조 부호를 붙인 첨부한 도면에 도시한 바와 같이 이하의 바람직한 실시예의 더욱 상세한 설명으로부터 명백해질 것이다. 도면은 축척, 강조하기 위해 필요한 것이 아니라 본 발명의 원리를 나타내도록 제공되는 것이다.
도 1은 본 발명의 일 실시예예 따르는 반향 소거 장치(20)를 이용하는 통신시스템(18)을 도시한다. 통신 시스템(18)은 원단(26) 및 근단(28)을 갖는 것으로 도시되어 있다. 착신 통신 경로(30)는 신호를 원단(26)에서 근단(28)으로 반송하고, 발신 통신 경로(32)는 신호를 근단(28)에서 원단(26)으로 반송한다. 경로들(30, 32)은 지상 라인(예컨대, 회선) 또는 마이크로파 채널일 수 있거나, 위성 경로를 포함할 수 있다.
도 2는 반향 소거 장치(20)를 이용하는 통신 시스템(18')의 일 예를 도시한다. 도 2의 예는 전화 통화가 한쌍의 단방향 2 회선(42A, 42B)을 통해 (즉, 4 회선을 통해) 착신 장치(TE)(40) 및 하이브리드 변환 회로(41) 사이에서, 그 후 하이브리드 회로(41)로부터 양방향 2 회선(43)을 통해 송신되는 전화 통신 시스템(18')이다. 반향 소거 장치(20)의 사용은 이 예로만 제한되는 것이 아니고, 반향 소거 장치(20)는 또한 디지털, 마이크로파 및 위성 응용 분야를 포함하는 다른 응용 분야에 또한 적용될 수 있다는 것을 이해할 것이다.
도 1의 반향 소거 장치(20)는 적응성 FIR 필터(52)와; 소거 제어기(54)와; 근단 음성 검출기(56)와; 감산기(58)와; 비선형 프로세서(60)를 포함한다. 적응성 FIR 필터(52)는 착신 통신 경로(30)를 통해 신호 x(t)를 수신하도록 접속된다. FIR 필터(52)는 제어기(54)의 관리하에 동작하도록 접속된다. FIR 필터(52)에 의해 발생된 반향 추정치는 감산기(58)에 공급되어, 신호 e(t)를 생성하도록 경로(32)를 통해 발신 신호 ya(t)에서 반향 추정치를 감산한다. 근단 음성 검출기(56)는 근단(28)에서 발생하는 음성을 모니터하고 라인(64)을 통해 제어기(54)에 인가하기 위한 근단 음성 검출 신호를 발생하기 위해 발신 통신 경로(32)에 접속된다. 상기신호 e(t)는 제어기(54)와 비선형 프로세서(60)에 모두 인가된다. 제어기(54)는 비선형 프로세서(60)의 동작을 관리하기 위해 접속된다.
제어기(54)는 반향 경로 지연 추정기(55)를 포함한다. 추정기(55)의 기능은 이하 더 상세하게 설명된다.
도 2에 도시되어 있는 것과 같은 하이브리드 회로에 의해 착신되는 4 회선의 임펄스 응답은 동기형 기능을 나타내는 도 3에 도시된 형태를 갖는다. 일반적인 반향 경로 응답은 순지연 성분(PD)와 테일 지연 성분(TD)으로 형성된다. 순지연 성분(PD)은 그 소스(예컨대, 도 2의 반향 소거 장치(20))로부터 4 회선을 통해 하이브리드(예컨대, 하이브리드(41)) 및 후방까지 상기 신호에 필요한 실제 전달 시간이다. 테일 지연 성분(TD)은 4 회선을 착신시키고 임피던스 매칭을 실행하는 하이브리드 회로 자체의 응답이다. 순지연 성분(PD) 및 테일 지연(TD)후의 임의의 부분은 관련이 없고 반향 소거 장치(20)의 적응성 계산에 포함되지 않아야 한다. 따라서, 본 발명의 반향 소거 장치(20)는 이들 성분의 지속 기간 또는 반향 경로 응답의 부분들을 결정하는 방법을 제공하며, 그것에 의해 그 동작을 최적화시킨다.
도 4는 반향 제어기(52)에 의해 행해지는 두가지 동작을 도시하는 플로우차트이다. 제1 동작(도 4의 동작 AEPR)은 반향 경로 응답의 분석이다. 반향 경로 응답 동작 AEPR은 특히 반향 제어기(52)의 추정기(55)에 의해 실행된다. 제2 동작은 2개의 특정 탭 종점 사이의 필터 탭의 범위만이 반향 소거 동작 동안 이용되도록 하는 적응성 FIR 필터(54)의 구성(도 4의 동작 CF)이다.
도 4A는 반향 소거 장치(20)의 수렴에 따른 반향 제어기(52)의 추정기(55)에의해 실행되는 단계들을 도시하는 플로우차트이다. 상기 방법에서 제1 단계(400)는 상기 필터의 제1 D 계수에 포함되는 최대 절대치 MAX에 대한 초기 탐색이다. 바람직하게는 D의 값은 작고, 예시된 실시예에서는 10으로 선택된다. 이 최대치의 탭 위치는 (단계 402에서) 확인되고, HMAX값으로 칭해진다. 단계 404는 MAX보다 K배 큰 절대치를 갖는 제1 후속 필터 계수에 대한 탐색을 포함한다. 소정 인수로 또한 칭해지는 K의 값은 위치 설정 잡음 스파이크를 방지하기 위해 적어도 4로, 그러나 20보다 크지 않게 설정되어야 한다. 단계 404에서 얻어지는 필터 계수의 탭 위치는 HFIRST로 칭해진다. 단계 406에서, 임펄스 응답의 시작은 탭이 구성 경계 제1 탭으로 알려진 HFIRST- D로서 계산된다. 단계 408에서, 최대 테일 지연 지속 기간에 대응하는 값(HYBRID)은 임펄스 응답의 종료를 나타내고 또한 구성 경계 제2 탭으로 알려진 HLAST를 산출하도록 HFIRST- D에 가산된다. 바람직하게는, 최대 테일 지연(HYBRID)은 8N-1 탭(N은 정수)으로 설정된다.
본 방법은 도 5의 임펄스 응답의 세그먼트 T2의 위치 및 순지연량의 정확한 추정을 보장한다. 세그먼트 T2의 시간 동안 FIR 필터(52)의 계수는 반향 소거를 위해 잠재적으로 갱신된다.
도 4B는 도 4A에 도시되어 있는 단계들을 더 상세히 도시한다. 적응성 FIR 필터(52)가 수렴된다는 가정은 도 4B의 단계들과 관련하여 이루어진다. M개의 필터 계수를 포함하는 벡터 H(H[0] 내지 H[M-1])가 존재한다. 벡터 H에 포함되는 임펄스 응답은 H[0]에서 개시하여 H[M-1]에서 종료한다. D는 작은 값(즉, 10)으로설정되어 있다. K는 적절한 수(즉, 4)로 설정되어 있다. HYBRID는 (최대 테일 지연 - 1) = 47 탭(예컨대, N=6일 때, 8N-1=47) 또는 약 6ms로 설정되어 있다.
ERROR 상태는 도 4B의 플로우차트에 포함되어 있다. ERROR 상태는 라인 특성이 비교적 편평한 경우 발생하고, 어떤 경우에는 알고리듬을 기능 불량으로 만든다. 이 경우에, 무시할 수 있는 양의 반향 반사가 존재하고, 반향 소거 장치(20)는 첫 번째 경우에 작동하지 않아야 한다.
도 4B는 중간 결과 및 루프 카운팅을 위한 아래의 변수들의 존재를 또한 가정한다:
카운트 1 - 제1 루프에 대한 카운터
카운트 2 - 제2 루프에 대한 카운터
Max - 벡터 H의 제1 D 계수에 포함된 최대 절대치
HMAX- Max 값의 벡터 H의 위치.
ABS() 기능은 변수의 절대값을 식별한다.
반향 경로 응답을 분석하는 동작(도 4A에 및 도 4B에 더 상세히 도시된 AEPR 동작) 동안, FIR 디지털 필터(52)는 도 6에 도시되어 있는 바와 같이 동작된다. 도 6에 도시되어 있는 바와 같이, FIR 디지털 필터(52)는 512 탭의 버퍼(52-1), 복수(M개)의 승산기(52-2) 및 합산기(52-3)를 갖는다. 필터 버퍼(52-1)는 착신 통신 경로(30)를 통해 신호 x(t)로부터의 입력 표본을 수신하는 선입 선출 버퍼이다. 상기 표본들은 버퍼(52-2)의 512 탭을 통해 이동되고, 성분 X(0) 내지 X(M-1)을 갖는 벡터 X를 구성하며, 여기에서 AEPR 동작에 대해 M=512이다. 도 6의 직사각형상자(52-1)내에 필터 계수 H(t)의 내용의 그래프가 도시되어 있다. 제1 승산기(52-2)는 X(0)와 H(0)을 승산하고, 제2 승산기(52-2)는 X(1)과 H(1)을 승산하는 등 총 M=512 승산기가 AEPR 동작에 이용된다. 모든 승산기(52-2)의 곱은 합산기(52-3)에서 합산되며, 여기에서 필터 출력 신호가 생성된다.
반향 경로 지연 추정 알고리듬이 완성되고, 전술한 바와 같은 AEPR 동작이 계수의 승산에 이용될 필요가 있는 디지털 필터(52)의 탭을 결정하면, 적응성 FIR 필터(52)는 도 4의 동작 CF로 표시된 바와 같은 그리고 도 7을 참조하여 이하 설명되는 바와 같은 최적화된 방식으로 구성 및 동작된다.
도 7은 본 발명의 예에 따르는 512 탭 디지털 필터 동작의 최적화를 도시한다. 도 7의 예에서, 본 발명의 방법은 이하의 값들: HFIRST= 30; HFIRST- D = 20; HLAST= 20 + (48-1) = 67을 이용하여 반향 경로 계산을 행한다. 따라서, 도 7의 예에서, 탭 1 내지 19 및 68 내지 512는 적응성 FIR 필터(52)의 계산에서 배제된다. 즉, 승산기(52-2)는 갱신이 필요한 48 탭(탭 20 내지 67 포함)에만 가능하게 된다. FIR 필터(52)의 제1의 19 탭은 입력 표본 x(t)가 직렬로 이동되어 이들 표본이 결국 승산 활성 탭 20∼67에 도달하는 버퍼를 형성한다.
탭 20 미만 및 탭 67 초과의 세그먼트는 잡음 및 간섭만을 포함하고, 계산시에 잡음을 저장 및 전달하여 반향 소거 절차를 부정확하게 만든다. 도 7의 예에서, 필터(52)의 제1의 19 탭은 편평한 순지연 특성을 수행하는 버퍼로서 작용하지만, 최종 445 탭은 무시된다. 따라서, 도 7의 최적화후에, M은 512보다는 48로 되며, 그것에 의해 동작(예컨대, 승산 및 합산 동작) 횟수를 현저하게 감소시킨다.
그러므로, 반향 경로 지연 추정 알고리듬 및 AEPR 동작이 완료된 후에, 반향 소거 장치(20)의 디지털 필터(52)가 자동으로 및 최적으로 구성될 수 있고, 그 후 그 최적화된 구성에 따라서 기능하게 된다. 즉, 제어기(54)가 탭의 범위 및 최적으로 기능하기 위해 필요한 종료 탭을 설정하면, 제어기(54)는 승산에 이용되는 탭의 수를 필요한 탭의 수로만 감소시켜 FIR 필터(52)를 구성한다. 상태들이 변화하고 시스템이 다시 최적화를 요구하는 경우, 본 명세서에 기술된 프로세스들이 반복될 수 있다.
본 발명의 반향 소거 장치(20)의 하나의 특정 하드웨어 수행에서, 적응성 FIR 필터, 제어기, 근단 음성 검출기, 감산기 및 소음 프로세서의 기능은 신호 프로세서(하나 이상의 프로세서를 포함할 수 있음)에 의해 모두 실행된다는 것을 이해할 것이다. 다른 방법으로는, 이들 소자들의 기능은 하나 이상의 집적 회로(예컨대, ASIC)에 의해 실행될 수 있다. 그러한 회로들은 논리를 사용하여 필요한 디지털 필터링 및 알고리듬 제어 응용을 실행하도록 설계될 수 있거나 매립 DSP 장치일 수도 있다.
본 발명의 반향 소거 장치(20)는 참고로 본 명세서에 통합되어 있는 Karim El Malki에 의해 동시 출원된 소음 향상 반향 소거 장치(A SILENCE-IMPROVED ECHO CANCELLER@)라는 명칭의 미국 특허 출원(대리인 사건 등록 번호: 1410-212)에 개시되어 있는 소음 검출 기술과 관련하여 동작될 수 있음을 이해할 것이다.
따라서, 본 발명의 방법은 계산 수단들의 더 효율적인 사용 및 반향 소거 장치의 성능의 향상을 모두 제공한다. 상기 예에서, 최종 445 계수 및 445 필터 탭이 삭제되기 때문에 메모리의 현저한 절감이 또한 달성된다. 통상적으로 이 방법은 전체 반향 소거 장치의 계산 복잡성의 매우 큰 감소 및 전체적으로 반향 소거 장치 성능의 현저한 향상을 야기한다.
본 발명의 방법은 반향 소거를 더욱 효율적으로 만드는 계산을 제공한다. 그러나, 본 방법은 정상적인 실시간 반향 소거 자체를 중단시키지 않는다. 선택된 수단이 소프트웨어/펌웨어(DSP)인 경우, 이 장치의 처리 한계는 통상의 반향 소거 동작과 동시에 반향 경로 지연 추정치 계산 모두의 실시간 처리를 허용하지 않게 하는 것이 가능하다. 따라서, 수렴후에 필터 계수(벡터 H)가 저장될 수 있고, 상기 알고리듬은 이들 계수에 대해 한 부분씩 또는 처리 시간이 유효할 때마다 처리될 수 있다. 이것은 (즉, 처리될 다수의 입력 표본에 대해) 다수의 완전한 반향 소거 사이클을 필요로 할 수 있다.
본 발명은 특히 바람직한 실시예에 관하여 예시 및 설명하였지만, 당업자라면 형태 및 세부 사항의 다양한 변형이 발명의 사상 및 범위를 벗어남없이 이루어질 수 있다는 것을 이해할 것이다.

Claims (26)

  1. 반향 소거 동작중에 적응성 필터의 어떤 탭이 이용에서 제외되는지를 결정하는 방법에 있어서:
    (1) 상기 필터의 수렴에 후속하여, 착신 통신 경로를 통해 신호를 수신하고, 이 신호를 상기 필터로 및 상기 신호가 발신 통신 경로를 통해 상기 신호에 대해 적어도 부분적으로 다시 반사되는 장치로 인가하는 단계와;
    (2) 상기 필터의 제1 소정수의 탭이 소정치를 갖는지를 결정하는 단계와;
    (3) 상기 필터의 제1 탭이 상기 소정치보다 큰 소정 인수인 값을 갖는지를 결정하는 단계와;
    (4) 구성 경계 제1 탭으로서, 단계 (3)에서 결정된 상기 탭보다 적은 제2 소정수의 탭인 탭 차수를 갖는 상기 필터의 탭을 선택하는 단계와;
    (5) 구성 경게 제2 탭으로서, 단계 (3)에서 결정된 상기 탭보다 큰 제3 소정수의 탭인 탭 차수를 갖는 상기 필터의 탭을 선택하는 단계와;
    (6) 어떤 탭이 상기 반향 소거 동작중에 필터 승산에서 제외되는지를 결정하기 위해 상기 구성 경계 제1 탭 및 상기 구성 경계 제2 탭을 사용하는 단계를 포함하는 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  2. 제1항에 있어서, 상기 소정치는 상기 필터의 상기 제1 소정수의 탭의 최대 절대치 MAX인 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  3. 제1항에 있어서, 단계 (2)의 상기 필터의 상기 제1 소정수의 탭은 상기 필터의 개시부에서의 연속 탭인 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  4. 제2항에 있어서, 상기 탭의 제1 소정수는 10인 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  5. 제1항에 있어서, 상기 소정 인수는 4 이상 20 이하인 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  6. 제1항에 있어서, 상기 제2 소정수는 상기 제1 소정수와 동일한 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  7. 제6항에 있어서, 상기 제2 소정수 및 상기 제1 소정수는 10인 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  8. 제1항에 있어서, 상기 제3 소정수는 8N-1(N은 정수)과 실질적으로 동일한 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  9. 제1항에 있어서, 상기 구성 경계 제1 탭보다 적은 모든 탭은 상기 반향 소거 동작중에 필터 승산에서 제외되는 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  10. 제9항에 있어서, 상기 구성 경계 제1 탭보다 적은 모든 탭은 신호의 표본값이 상기 반향 소거 동작중에 변경되는 버퍼로서 작용하는 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  11. 제1항에 있어서, 상기 구성 경계 제2 탭보다 큰 모든 탭은 상기 반향 소거 동작중에 이용에서 제외되는 것을 특징으로 하는 적응성 필터의 탭 결정 방법.
  12. 착신 통신 경로 및 발신 통신 경로를 갖고, 적응성 FIR 필터를 갖는 통신 시스템의 반향 경로 길이를 결정하는 방법에 있어서:
    (1) 상기 필터의 수렴에 후속하여, 상기 착신 통신 경로를 통해 신호를 송신하고, 이 신호를 상기 필터로 그리고 상기 신호가 상기 발신 통신 경로를 통해 상기 신호에 대해 적어도 부분적으로 다시 반사되는 장치로 인가하는 단계와;
    (2) 상기 필터의 제1 소정수의 탭이 소정치를 갖는지를 결정하는 단계와;
    (3) 상기 필터의 제1 탭이 상기 소정치보다 큰 소정의 인수인 값을 갖는지를 결정하는 단계와;
    (4) 경계 탭으로서, 단계 (3)에서 결정된 상기 탭보다 적은 제2 소정수의 탭인 탭 차수를 갖는 상기 필터의 탭을 선택하는 단계와;
    (5) 상기 반향 경로 길이를 결정하도록 상기 경계 탭의 위치를 사용하는 단계를 포함하는 것을 특징으로 하는 통신 시스템의 반향 경로 길이 결정 방법.
  13. 제12항에 있어서, 상기 소정치는 상기 필터의 상기 제1 소정수의 탭의 최대 절대치 MAX인 것을 특징으로 하는 통신 시스템의 반향 경로 길이 결정 방법.
  14. 제12항에 있어서, 단계 (2)의 상기 필터의 상기 제1 소정수의 탭은 상기 필터의 개시부에서의 연속 탭인 것을 특징으로 하는 통신 시스템의 반향 경로 길이 결정 방법.
  15. 제12항에 있어서, 상기 탭의 제1 소정수는 10인 것을 특징으로 하는 통신 시스템의 반향 경로 길이 결정 방법.
  16. 제12항에 있어서, 상기 소정의 인수는 4 이상 20 이하인 것을 특징으로 하는 통신 시스템의 반향 경로 길이 결정 방법.
  17. 제12항에 있어서, 상기 제2 소정수는 상기 제1 소정수와 동일한 것을 특징으로 하는 통신 시스템의 반향 경로 길이 결정 방법.
  18. 제17항에 있어서, 상기 제2 소정수 및 상기 제1 소정수는 10인 것을 특징으로 하는 통신 시스템의 반향 경로 길이 결정 방법.
  19. 통신 경로를 통해 착신 신호를 수신하고, 복수의 탭을 갖는 적응성 필터와;
    상기 필터가 상기 착신 신호를 수신할 때,
    (1) 상기 필터의 제1 소정수의 탭이 소정치를 갖는지를 결정하는 단계와;
    (2) 상기 필터의 제1 탭이 상기 소정치보다 큰 소정의 인수인 값을 갖는지를 결정하는 단계와;
    (3) 구성 경계 제1 탭으로서, 단계 (2)에서 결정된 탭보다 적은 제2 소정수의 탭인 탭 차수를 갖는 상기 필터의 탭을 선택하는 단계와;
    (4) 구성 경계 제2 탭으로서, 단계 (2)에서 결정된 탭보다 큰 제3 소정수의 탭인 탭 차수를 갖는 상기 필터의 탭을 선택하는 단계와;
    (5) 어떤 탭이 반향 소거 동작중에 필터 승산에서 제외되는지를 결정하기 위해 상기 구성 경계 제1 탭 및 구성 경계 제2 탭을 사용하는 단계들을 실행하는 제어기를 포함하는 것을 특징으로 반향 소거 장치.
  20. 제19항에 있어서, 상기 소정치는 상기 필터의 상기 제1 소정수의 탭의 최대 절대치 MAX인 것을 특징으로 하는 반향 소거 장치.
  21. 제19항에 있어서, 단계 (2)의 상기 필터의 제1 소정수의 탭은 상기 필터의 개시부에서의 연속 탭인 것을 특징으로 하는 반향 소거 장치.
  22. 제21항에 있어서, 상기 탭의 제1 소정수는 10인 것을 특징으로 하는 반향 소거 장치.
  23. 제19항에 있어서, 상기 소정 인수는 4 이상 20 이하인 것을 특징으로 하는 반향 소거 장치.
  24. 제19항에 있어서, 상기 제2 소정수는 상기 제1 소정수와 동일한 것을 특징으로 하는 반향 소거 장치.
  25. 제24항에 있어서, 상기 제2 소정수 및 상기 제1 소정수는 10인 것을 특징으로 하는 반향 소거 장치.
  26. 제19항에 있어서, 상기 제3 소정수는 48과 실질적으로 동일한 것을 특징으로 하는 반향 소거 장치.
KR1019997002834A 1996-10-01 1997-09-29 반향 경로 지연 추정 방법 및 장치 KR100338656B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/725,655 US5920548A (en) 1996-10-01 1996-10-01 Echo path delay estimation
US08/725,655 1996-10-01
US8/725,655 1996-10-01

Publications (2)

Publication Number Publication Date
KR20000048836A KR20000048836A (ko) 2000-07-25
KR100338656B1 true KR100338656B1 (ko) 2002-05-30

Family

ID=24915458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997002834A KR100338656B1 (ko) 1996-10-01 1997-09-29 반향 경로 지연 추정 방법 및 장치

Country Status (10)

Country Link
US (1) US5920548A (ko)
EP (1) EP0929945B1 (ko)
JP (1) JP4104663B2 (ko)
KR (1) KR100338656B1 (ko)
CN (1) CN1118956C (ko)
AU (1) AU723088B2 (ko)
BR (1) BR9712190A (ko)
CA (1) CA2267410C (ko)
DE (1) DE69734932T2 (ko)
WO (1) WO1998015067A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999037038A1 (de) * 1998-01-15 1999-07-22 Siemens Schweiz Ag Verfahren zum bereitstellen von einrichtungen zur echounterdrückung in kommunikationsverbindungen mit automaten
DE19815942A1 (de) * 1998-04-09 1999-10-14 Cit Alcatel Vielkanal-Echocanceller mit Compander
DE19850272A1 (de) * 1998-10-31 2000-05-04 Alcatel Sa Verfahren zur Verbesserung der Echounterdrückung in einem Telekommunikaionssystem
DE19850271A1 (de) * 1998-10-31 2000-05-04 Alcatel Sa Verfahren zur Bestimmung eines Echokopplungsfaktors und der Echolaufzeit in einem bidirektionalen Telekommunikationssystem
US6678254B1 (en) * 1999-05-03 2004-01-13 Nortel Networks Limited Method and communication device for optimizing echo cancellation
SE516143C2 (sv) * 1999-05-10 2001-11-26 Ericsson Telefon Ab L M Skattning av ren fördröjning
JP3552967B2 (ja) * 1999-11-15 2004-08-11 沖電気工業株式会社 エコーキャンセラ装置
FR2811492A1 (fr) * 2000-07-05 2002-01-11 St Microelectronics Sa Cirtcuit d'emission et de reception comportant un annuleur d'echo
US6768796B2 (en) * 2001-02-05 2004-07-27 3Com Corporation System and method for echo cancellation
SE525053C2 (sv) * 2002-04-26 2004-11-16 Global Ip Sound Europ Ab Ekosläckning
US20030219113A1 (en) * 2002-05-21 2003-11-27 Bershad Neil J. Echo canceller with double-talk and channel impulse response adaptation
US7388954B2 (en) 2002-06-24 2008-06-17 Freescale Semiconductor, Inc. Method and apparatus for tone indication
US7242762B2 (en) 2002-06-24 2007-07-10 Freescale Semiconductor, Inc. Monitoring and control of an adaptive filter in a communication system
US7215765B2 (en) * 2002-06-24 2007-05-08 Freescale Semiconductor, Inc. Method and apparatus for pure delay estimation in a communication system
US7386142B2 (en) * 2004-05-27 2008-06-10 Starkey Laboratories, Inc. Method and apparatus for a hearing assistance system with adaptive bulk delay
US7561616B2 (en) * 2004-06-03 2009-07-14 Fujitsu Limited System and method for equalizing high-speed data transmission
US7596220B2 (en) * 2004-12-30 2009-09-29 Alcatel Lucent Echo cancellation using adaptive IIR and FIR filters
US7536007B2 (en) * 2004-12-30 2009-05-19 Alcatel Lucent Echo cancellation using adaptive IIR and FIR filters
US8681999B2 (en) * 2006-10-23 2014-03-25 Starkey Laboratories, Inc. Entrainment avoidance with an auto regressive filter
US8571244B2 (en) 2008-03-25 2013-10-29 Starkey Laboratories, Inc. Apparatus and method for dynamic detection and attenuation of periodic acoustic feedback
US8942398B2 (en) 2010-04-13 2015-01-27 Starkey Laboratories, Inc. Methods and apparatus for early audio feedback cancellation for hearing assistance devices
US9654885B2 (en) 2010-04-13 2017-05-16 Starkey Laboratories, Inc. Methods and apparatus for allocating feedback cancellation resources for hearing assistance devices
US8917891B2 (en) 2010-04-13 2014-12-23 Starkey Laboratories, Inc. Methods and apparatus for allocating feedback cancellation resources for hearing assistance devices
KR101975251B1 (ko) * 2012-07-09 2019-05-07 삼성전자주식회사 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법
CN102780511B (zh) * 2012-07-30 2014-10-08 华为技术有限公司 回声抵消器、数据传输系统和回声抵消的方法
WO2014184866A1 (ja) * 2013-05-14 2014-11-20 三菱電機株式会社 エコー消去装置
US10177810B2 (en) * 2016-09-02 2019-01-08 Marvell World Trade Ltd. Systems and methods for echo or interference cancellation power-saving management in a communication system
US11469785B2 (en) 2020-03-13 2022-10-11 Texas Instruments Incorporated Receiver circuit with interference detection
US11316707B2 (en) 2020-03-13 2022-04-26 Texas Instruments Incorporated Low power methods for signal processing blocks in ethernet PHY

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930001630A (ko) * 1991-06-19 1993-01-16 가나이 쯔또무 에코캔슬러를 구비한 쌍방향 데이타 전송 단말 장치
KR950002389A (ko) * 1993-06-07 1995-01-04 이헌조 에치디티브이급 영상시스템용 디버깅 장치
JPH0786993A (ja) * 1993-09-17 1995-03-31 Fujitsu Ltd エコーキャンセラ
US5473686A (en) * 1994-02-01 1995-12-05 Tandy Corporation Echo cancellation apparatus
JPH08213939A (ja) * 1995-02-03 1996-08-20 Kokusai Denshin Denwa Co Ltd <Kdd> エコーキャンセラ装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4061878A (en) * 1976-05-10 1977-12-06 Universite De Sherbrooke Method and apparatus for speech detection of PCM multiplexed voice channels
US4394767A (en) * 1981-07-07 1983-07-19 General Datacomm Industries, Inc. Data transmission over long distance circuits
FR2517905B1 (fr) * 1981-12-09 1985-11-29 Telecommunications Sa Dispositif d'initialisation pour annuleur d'echo et son application aux echos lointains
DE3376943D1 (en) * 1983-06-30 1988-07-07 Ibm Starting-up method for an echo canceller filter, and communication system using this method
IT1208769B (it) * 1983-10-12 1989-07-10 Cselt Centro Studi Lab Telecom Teristiche varianti nel tempo procedimento e dispositivo per la cancellazione numerica dell eco generato in collegamenti con carat
IT1178913B (it) * 1984-03-26 1987-09-16 Cselt Centro Studi Lab Telecom Sistema per la trassmissione bidire zionale con cancellazione d eco
US4645883A (en) * 1984-05-09 1987-02-24 Communications Satellite Corporation Double talk and line noise detector for a echo canceller
US4712235A (en) * 1984-11-19 1987-12-08 International Business Machines Corporation Method and apparatus for improved control and time sharing of an echo canceller
US4894820A (en) * 1987-03-24 1990-01-16 Oki Electric Industry Co., Ltd. Double-talk detection in an echo canceller
US4897832A (en) * 1988-01-18 1990-01-30 Oki Electric Industry Co., Ltd. Digital speech interpolation system and speech detector
US4965822A (en) * 1989-04-10 1990-10-23 Videotelecom Corp. Full duplex speakerphone
US5058111A (en) * 1989-06-19 1991-10-15 Oki Electric Industry Co., Ltd. Subscriber line interface circuit in a switching system
JP2853455B2 (ja) * 1992-05-15 1999-02-03 ケイディディ株式会社 エコーキャンセラ
FR2713417B1 (fr) * 1993-12-02 1996-02-02 Europ Agence Spatiale Procédé de réglage adaptatif d'un suppresseur d'écho.
DE10226866A1 (de) * 2002-06-17 2004-01-08 Hilti Ag Bohrständer für eine transportable Kernbohrmaschine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930001630A (ko) * 1991-06-19 1993-01-16 가나이 쯔또무 에코캔슬러를 구비한 쌍방향 데이타 전송 단말 장치
KR950002389A (ko) * 1993-06-07 1995-01-04 이헌조 에치디티브이급 영상시스템용 디버깅 장치
JPH0786993A (ja) * 1993-09-17 1995-03-31 Fujitsu Ltd エコーキャンセラ
US5473686A (en) * 1994-02-01 1995-12-05 Tandy Corporation Echo cancellation apparatus
JPH08213939A (ja) * 1995-02-03 1996-08-20 Kokusai Denshin Denwa Co Ltd <Kdd> エコーキャンセラ装置

Also Published As

Publication number Publication date
DE69734932T2 (de) 2006-08-17
BR9712190A (pt) 1999-08-31
EP0929945A1 (en) 1999-07-21
EP0929945B1 (en) 2005-12-21
CN1239609A (zh) 1999-12-22
CN1118956C (zh) 2003-08-20
JP2001501413A (ja) 2001-01-30
CA2267410A1 (en) 1998-04-09
US5920548A (en) 1999-07-06
DE69734932D1 (de) 2006-01-26
CA2267410C (en) 2004-02-03
KR20000048836A (ko) 2000-07-25
JP4104663B2 (ja) 2008-06-18
WO1998015067A1 (en) 1998-04-09
AU4579097A (en) 1998-04-24
AU723088B2 (en) 2000-08-17

Similar Documents

Publication Publication Date Title
KR100338656B1 (ko) 반향 경로 지연 추정 방법 및 장치
EP0736235B1 (en) Method for determining the location of echo in an echo canceller
US5761638A (en) Telephone network apparatus and method using echo delay and attenuation
EP0508847B1 (en) An echo canceller
CA2162570C (en) Echo canceler and echo path estimating method
US6044068A (en) Silence-improved echo canceller
US5278900A (en) Digital echo canceller comprising a double-talk detector
US5852661A (en) Adaptive echo cancellation used with echo suppression to reduce short and long duration echoes
JP2503747B2 (ja) Fir形エコ―キャンセラ
JPH0618331B2 (ja) 経時変化特性を有する配線において発生するエコ−をディジタル消去するための装置
US20070036345A1 (en) Method and system for filtering a signal and for providing echo cancellation
JP2625613B2 (ja) 適合型エコー・キャンセルの方法
US5734715A (en) Process and device for adaptive identification and adaptive echo canceller relating thereto
US5247512A (en) Echo canceller
JP3417159B2 (ja) エコーキャンセラ装置
JP2000511756A (ja) 高速線反響消去装置トレーニングのための直交lmsアルゴリズム
JP3180739B2 (ja) 適応フィルタによる未知システム同定の方法及び装置
JP3094634B2 (ja) エコー除去方法及びエコー除去装置
US7917562B2 (en) Method and system for estimating and applying a step size value for LMS echo cancellers
Park et al. A Nsvel Implementation of Acoustic and Electrical Echo Cancellers for a Full-Duplex Teleconference P

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130507

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20140512

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20150508

Year of fee payment: 14

LAPS Lapse due to unpaid annual fee