KR20060015086A - 이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법 - Google Patents

이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법 Download PDF

Info

Publication number
KR20060015086A
KR20060015086A KR1020040063920A KR20040063920A KR20060015086A KR 20060015086 A KR20060015086 A KR 20060015086A KR 1020040063920 A KR1020040063920 A KR 1020040063920A KR 20040063920 A KR20040063920 A KR 20040063920A KR 20060015086 A KR20060015086 A KR 20060015086A
Authority
KR
South Korea
Prior art keywords
signal
noise
voice signal
noise signal
database
Prior art date
Application number
KR1020040063920A
Other languages
English (en)
Other versions
KR100575795B1 (ko
Inventor
이홍기
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020040063920A priority Critical patent/KR100575795B1/ko
Publication of KR20060015086A publication Critical patent/KR20060015086A/ko
Application granted granted Critical
Publication of KR100575795B1 publication Critical patent/KR100575795B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/19Arrangements of transmitters, receivers, or complete sets to prevent eavesdropping, to attenuate local noise or to prevent undesired transmission; Mouthpieces or receivers specially adapted therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/002Devices for damping, suppressing, obstructing or conducting sound in acoustic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법에 관한 것으로, 종래에는 입력되는 음성신호의 특성에 상응하는 일정한 파라미터 값에 의해 잡음이라고 판단되면 무조건 그 신호를 제거하기 때문에 사용자의 음성이나 전달하고자 하는 음성까지 제거되는 경우가 발생하는 문제점이 있었다. 이러한 문제점을 감안한 본 발명은 외부로부터 음성신호를 수신하는 마이크와, 상기 음성신호로부터 잡음신호를 제거하는데 필요한 데이터베이스를 저장하는 메모리와, 상기 마이크에서 수신한 음성신호로부터 잡음신호를 판별하는 잡음신호 감지부와, 상기 잡음신호 감지부가 잡음신호를 포함하고 있다고 판단한 음성신호의 주파수 특성 및 크기에 따라 상기 메모리에 저장할 데이터베이스를 생성하고, 저장된 데이터베이스에서 잡음신호 데이터를 추출하여 음성신호로부터 잡음신호를 제거하는 주제어부로 구성되어 사용 환경에 따라 과거에 처리된 음성 정보를 사용하기 때문에 보다 효율적으로 잡음을 제거할 수 있는 효과가 있다.

Description

이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법{APPARATUS AND METHOD FOR ELIMINATING NOISE OF MIC INPUT TERMINAL IN MOBILE COMMUNICATION DEVICE}
도 1은 종래 기술에 의한 마이크 입력단의 구성도.
도 2는 본 발명에 의한 마이크 입력단의 구성도.
도 3은 본 발명에 의한 마이크 입력단의 잡음 데이터베이스 구축 방법을 보여주는 흐름도.
도 4는 본 발명에 의한 마이크 입력단의 음성신호 처리 방법을 보여주는 흐름도.
**도면의 주요부분에 대한 부호의 설명**
1, 10 : 마이크 2, 20 : 아날로그 디지털 변환기(ADC)
3, 30 : 디지털 신호 처리부 4, 40 : 주제어부
5, 50 : 메모리 60 : 잡음신호 감지부
본 발명은 이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법에 관한 것으로, 특히 마이크 입력단에 일정 수준 이상의 계속적인 음성신호가 유입되면 이를 잡음으로 판단하여 메모리에 저장하고, 차후에 잡음 제거를 위한 데이터로 참조할 수 있게 한 이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법에 관한 것이다.
일반적으로, 이동통신 서비스는 무선전파에 의해서 시간과 장소를 불문하고 양호한 품질로 통신이 가능하도록 설계된 시스템으로 이동통신 단말기 및 카폰 등의 편리한 형태로 가입자에게 서비스를 제공할 수 있다.
이러한 이동통신 단말기의 이동성을 완벽하게 보장하기 위해 전파를 통신의 매체로 사용하므로, 일정 지역 내에서 동시 사용자의 수가 고정적이 아니라 가변적이고, 지형지물에 의한 반사에 의해 전파의 전달경로를 정확하게 예측하기 어렵기 때문에 발생하는 주파수 자원의 한계를 극복해야 하는 난점을 내포하고 있다.
또한, 이동통신 단말기의 사용 환경이 조용하고 잡음이 없는 환경에서는 양호한 통화품질로 통화를 수행할 수 있으나, 여러 사람이 몰려 있는 역이나 공항의 구내 또는 버스나 지하철 또는 거리에서 사용하는 경우에는 환경잡음으로 인해 정확한 통화가 이루어지지 않는 경우가 있어, 마이크 입력단에 잡음제거 기능을 추가하여 통화품질을 향상시킬 수 있도록 한다.
도 1은 종래 기술에 의한 마이크 입력단의 구성도로서, 이에 도시된 바와 같이 음성신호를 수신하는 마이크(1)와, 마이크(1)를 통해 입력된 아날로그의 음성신호를 디지털 음성신호로 변환하는 아날로그/디지털 변환기(ADC)(2)와, 상기 디지털 음성신호를 처리하는 디지털 신호처리부(3)와, 마이크 입력단의 전반적인 동작을 제어하는 주제어부(4)와, 주제어부(4)를 통해 데이터를 저장하는 메모리(5)로 구성된다.
상기 메모리(5)에는 잡음 신호를 판단하기 위하여 입력되는 음성신호의 특성에 상응하는 일정한 파라미터 값이 저장되어 있다. 외부에서 마이크(1)로 아날로그 음성신호가 입력되면 ADC(2)가 이를 디지털 음성신호로 전환하고, 디지털 신호처리부(3)는 실시간으로 잡음에 대한 정보를 주제어부(4)를 통해 상기 메모리(5)로부터 획득한 후 잡음이라고 판단되는 신호를 유입되는 음성신호에서 제거한다.
이 때, 디지털 신호처리부(3)는 주제어부(4)에 의해 제어된다.
그러나 상기와 같은 종래 기술에 있어서, 입력되는 음성신호의 특성에 상응하는 일정한 파라미터 값에 의해 잡음이라고 판단되면 무조건 그 신호를 제거하기 때문에 사용자의 음성이나 전달하고자 하는 음성까지 제거되는 경우가 발생하는 문제점이 있다.
이러한 파라미터 값은 사용자가 설정할 수 없고 이동통신 단말기 생성 시나 서비스 센터 등에서만 설정할 수 있는 것으로, 다양한 사용자들의 이동통신 단말기 사용 환경을 고려한 잡음 제거 방법의 필요성이 대두되었다.
따라서 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 이동통신 단말기를 사용하는 환경에서 마이크로 입력되는 일정한 신호의 크기를 잡음으로 판단하여 데이터베이스에 저장함으로써 그 이후에 잡음을 제거하기 위해 참조되는 데이터로 사용할 수 있도록 한 이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은, 외부로부터 음성신호를 수신하는 마이크와, 상기 음성신호로부터 잡음신호를 제거하는데 필요한 데이터베이스를 저장하는 메모리와, 상기 마이크에서 수신한 음성신호로부터 잡음신호를 판별하는 잡음신호 감지부와, 상기 잡음신호 감지부가 잡음신호를 포함하고 있다고 판단한 음성신호의 주파수 특성 및 크기에 따라 상기 메모리에 저장할 데이터베이스를 생성하고, 저장된 데이터베이스에서 잡음신호 데이터를 추출하여 음성신호로부터 잡음신호를 제거하는 주제어부로 구성된 것을 특징으로 한다.
또한, 잡음신호 제거를 위한 데이터베이스 생성 방법에 있어서, 이동통신 단말기의 마이크 입력단에 음성신호가 입력되면 설정된 음압이상으로 소정 시간이상 지속되는지 판단하는 단계와, 상기 음성신호가 설정된 음압이상으로 소정 시간이상 지속되는 경우 주파수 별 특성 및 크기를 분석하는 단계와, 상기 분석된 음성신호의 특성을 잡음신호 데이터베이스에 저장하는 단계로 이루어진 것을 특징으로 한다.
또한, 수신된 음성신호로부터 잡음신호를 제거하는 방법에 있어서, 이동통신 단말기의 마이크 입력단에 음성신호가 입력되면 설정된 음압이상으로 소정 시간이상 지속되는지 판단하는 단계와, 상기 음성신호가 설정된 음압이상으로 소정 시간이상 지속되는 경우 주파수 별 특성 및 크기를 분석하는 단계와, 상기 분석된 음성신호의 특성을 설정된 유사도 범위로 잡음신호 데이터베이스에서 검색하는 단계와, 상기 검색한 음성신호 특성에 상응하는 잡음신호를 생성하여 상기 입력된 음성신호로부터 제거하는 단계로 이루어진 것을 특징으로 한다.
이하, 본 발명에 따른 실시 예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
도 2는 본 발명에 의한 마이크 입력단의 구성도로서, 이를 참조하면 음성신호를 수신하는 마이크(10)와, 마이크(10)를 통해 입력된 아날로그의 음성신호를 디지털 음성신호로 변환하는 아날로그/디지털 변환기(ADC)(20)와, 상기 디지털 음성신호를 처리하는 디지털 신호처리부(30)와, 마이크 입력단의 전반적인 동작을 제어하는 주제어부(40)와, 주제어부(40)를 통해 데이터를 저장하는 메모리(50)와, 상기 마이크(10)에서 수신한 음성신호로부터 잡음신호를 판별하는 잡음신호 감지부(60)로 구성된다.
이는 종전의 마이크 입력단에 잡음신호 감지부(60)를 추가하여 잡음제거 방식을 개선한 것으로서, 마이크 입력단에 일정 수준 이상의 계속적인 음성신호가 유입되면 잡음신호 감지부(60)에서는 이를 잡음으로 판단하고, 이 때 주제어부(40)는 입력된 음성신호의 주파수 별 특성 및 신호의 크기 등을 분석한다. 이렇게 분석된 신호의 정보는 메모리(50)에 저장되어 데이터베이스를 구축하며, 저장된 신호 정보는 이후에 이동통신 단말기로 음성통화를 하는 경우 잡음 제거를 위해 사용되는 데이터가 된다.
디지털 신호처리부(30)는 주제어부(40)의 명령에 따라 다양한 디지털 신호처리 기능을 수행하여 디지털화된 잡음 신호를 제거할 수 있는 기능도 수행한다.
도 3은 본 발명에 의한 마이크 입력단의 잡음 데이터베이스 구축 방법을 보여주는 흐름도로서, 이에 도시된 바와 같이 이동통신 단말기의 마이크 입력단에 음성신호가 입력되는 단계(S1)와, 일정한 수준 이상의 음성신호인지 판단하는 단계(S2)와, 일정한 수준의 음성신호인 경우 주파수 별 특성 및 크기를 분석하는 단계(S3)와, 분석된 음성신호의 특성을 데이터베이스에서 검색하는 단계(S4)와, 검색 결과에 따라 분석된 음성신호의 특성을 데이터베이스에 저장하는 단계(S5)로 이루어진다.
마이크 입력단으로 유입되는 음성신호가 일정한 수준인지 판단하는 단계(S2)에 있어서, 잡음신호 감지부(60)는 주제어부(40)에 설정되어 있는 음압이상의 음성신호가 소정 시간이상 지속적으로 유지되면 데이터베이스에 저장될 잡음이라고 판단한다.
따라서 입력된 음성신호의 주파수 별 특성과 신호의 크기를 분석하는데(S3), 가청 주파수 범위 내에 해당하는 음성신호를 분석하도록 제한하는 것이 원활한 처리를 위하여 바람직할 것이다.
입력된 음성신호의 분석이 끝나면 그 특성을 데이터베이스에서 검색하고(S4), 검색 결과 데이터베이스에 저장되어 있지 않다면 이를 데이터베이스에 저장하여 잡음신호를 제거하기 위한 데이터베이스를 생성한다(S5).
보다 상세하게 예를 들면, 지하철이 지나가는 승강장이나 자동차가 지나가는 도로 등에서와 같이 일정한 수준 이상의 잡음이 발생하는 환경에서는 잡음신호 감지부(60)가 동작하여 잡음신호가 포함된 음성신호가 유입되고 있다고 판단되면, 주 제어부(40)에서 의해 유입된 음성신호에 대한 주파수 특성, 신호의 크기 등을 분석하여 데이터베이스화하는 것이다.
도 4는 본 발명에 의한 마이크 입력단의 음성신호 처리 방법을 보여주는 흐름도로서, 이에 도시된 바와 같이 마이크 입력단에 음성신호가 입력되는 단계(S10)와, 일정한 수준의 음성신호인지 판단하는 단계(S20)와, 그러한 경우에 한하여 상기 음성신호의 주파수 별 특성 및 크기를 분석하는 단계(S30)와, 분석된 신호의 특성에 대하여 설정된 유사도 이상의 신호 특성을 가지는 데이터가 존재하는지 잡음신호 데이터베이스에서 검색하는 단계(S40)와, 검색된 신호 특성에 상응하는 잡음신호를 생성하는 단계(S50)와, 입력된 음성신호에서 상기 잡음신호를 제거하는 단계(S60)로 이루어진다.
상기 도 3에 도시된 바와 같이 잡음 데이터베이스가 구축된 상태에서 음성신호가 입력되면, 기존에 설정되어 있는 음압 이상으로 소정 시간 이상 지속되는 신호를 포함하고 있는지 판단하여, 그러한 경우 잡음이 섞여있다고 파악하여 주파수별 특성과 크기를 분석하고 그 특성을 잡음신호 데이터베이스에서 검색한다.
이 때, 잡음신호 데이터베이스를 검색하는데 있어서, 분석한 음성신호의 특성과 완전히 일치하는 데이터만을 검색하는 것이 아니라 설정되어 있는 유사도 이상의 신호 특성을 검색하는 것이다. 따라서 설정된 유사도 범위에서 다수의 결과가 검색된다면 유사도가 가장 높은 데이터를 선택한다.
그 다음으로, 검색된 음성신호 특성에 상응하는 잡음신호를 생성하여 이를 최초로 입력된 음성신호로부터 제거하는 것으로 잡음 없는 음성신호를 이동통신 단 말기의 스피커를 통해 출력할 수 있도록 하는 것이다.
반면 기존에 설정되어 있는 음압 이상으로 소정 시간이상 지속되는 신호가 포함되어 있지 않는 경우 잡음신호가 유입되지 않는다고 판단하여, 잡음신호를 제거하는 과정을 거치지 않고 입력된 음성신호를 스피커로 바로 전달한다.
이상에서 상세히 설명한 바와 같이, 본 발명은 이동통신 단말기에서 잡음 제거 기능을 수행할 때 사용 환경에 따라 과거에 처리된 음성 정보를 사용하기 때문에 보다 효율적으로 잡음을 제거할 수 있는 효과가 있다.
즉, 사용자의 음성이 무단으로 제거되는 단점을 극복할 수 있어, 양질의 통화 품질을 제공할 수 있다.

Claims (7)

  1. 외부로부터 음성신호를 수신하는 마이크와,
    상기 음성신호로부터 잡음신호를 제거하는데 필요한 데이터베이스를 저장하는 메모리와,
    상기 마이크에서 수신한 음성신호로부터 잡음신호를 판별하는 잡음신호 감지부와,
    상기 잡음신호 감지부가 잡음신호를 포함하고 있다고 판단한 음성신호의 주파수 특성 및 크기에 따라 상기 메모리에 저장할 데이터베이스를 생성하고, 저장된 데이터베이스에서 잡음신호 데이터를 추출하여 음성신호로부터 잡음신호를 제거하는 주제어부로 구성된 것을 특징으로 하는 이동통신 단말기 마이크 입력단의 잡음 제거 장치.
  2. 제 1 항에 있어서,
    상기 잡음신호 감지부는 주제어부에 설정되어 있는 소정 음압 이상으로 소정 시간 이상 지속되는 신호를 잡음신호로 판별하도록 구성된 것을 특징으로 하는 이동통신 단말기 마이크 입력단의 잡음 제거 장치.
  3. 제 1 항에 있어서,
    상기 주제어부는 잡음신호를 포함하고 있다고 판단되는 음성신호를 데이터베 이스에서 검색하여, 수신된 음성신호의 특성에 따른 잡음신호를 생성한 뒤 수신된 음성신호로부터 제거하도록 구성된 것을 특징으로 하는 이동통신 단말기 마이크 입력단의 잡음 제거 장치.
  4. 제 3 항에 있어서,
    상기 주제어부는 설정되어 있는 유사도 범위 내에서 데이터베이스를 검색하여 유사도가 가장 높은 잡음 데이터를 추출하도록 구성된 것을 특징으로 하는 이동통신 단말기 마이크 입력단의 잡음 제거 장치.
  5. 잡음신호 제거를 위한 데이터베이스 생성 방법에 있어서,
    이동통신 단말기의 마이크 입력단에 음성신호가 입력되면 설정된 음압이상으로 소정 시간이상 지속되는지 판단하는 단계와,
    상기 음성신호가 설정된 음압이상으로 소정 시간이상 지속되는 경우 주파수 별 특성 및 크기를 분석하는 단계와,
    상기 분석된 음성신호의 특성을 잡음신호 데이터베이스에 저장하는 단계로 이루어진 것을 특징으로 하는 이동통신 단말기 마이크 입력단의 잡음 제거 방법.
  6. 수신된 음성신호로부터 잡음신호를 제거하는 방법에 있어서,
    이동통신 단말기의 마이크 입력단에 음성신호가 입력되면 설정된 음압이상으로 소정 시간이상 지속되는지 판단하는 단계와,
    상기 음성신호가 설정된 음압이상으로 소정 시간이상 지속되는 경우 주파수 별 특성 및 크기를 분석하는 단계와,
    상기 분석된 음성신호의 특성을 설정된 유사도 범위로 잡음신호 데이터베이스에서 검색하는 단계와,
    상기 검색한 음성신호 특성에 상응하는 잡음신호를 생성하여 상기 입력된 음성신호로부터 제거하는 단계로 이루어진 것을 특징으로 하는 이동통신 단말기 마이크 입력단의 잡음 제거 방법.
  7. 제 6 항에 있어서,
    상기 분석된 음성신호의 특성을 설정된 유사도 범위로 잡음신호 데이터베이스에서 검색하는 단계에 있어서, 검색 결과가 다수인 경우 유사도가 가장 높은 데이터를 검색 결과로 선택하도록 이루어진 것을 특징으로 하는 이동통신 단말기 마이크 입력단의 잡음 제거 방법.
KR1020040063920A 2004-08-13 2004-08-13 이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법 KR100575795B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040063920A KR100575795B1 (ko) 2004-08-13 2004-08-13 이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040063920A KR100575795B1 (ko) 2004-08-13 2004-08-13 이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060015086A true KR20060015086A (ko) 2006-02-16
KR100575795B1 KR100575795B1 (ko) 2006-05-03

Family

ID=37123946

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040063920A KR100575795B1 (ko) 2004-08-13 2004-08-13 이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100575795B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227725A (zh) * 2014-07-02 2016-01-06 中兴通讯股份有限公司 实现通话消噪的方法及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227725A (zh) * 2014-07-02 2016-01-06 中兴通讯股份有限公司 实现通话消噪的方法及终端
WO2016000350A1 (zh) * 2014-07-02 2016-01-07 中兴通讯股份有限公司 实现通话消噪的方法、终端及计算机存储介质

Also Published As

Publication number Publication date
KR100575795B1 (ko) 2006-05-03

Similar Documents

Publication Publication Date Title
KR101610151B1 (ko) 개인음향모델을 이용한 음성 인식장치 및 방법
RU2291499C2 (ru) Способ передачи речевой активности в распределенной системе распознавания голоса и система для его осуществления
TW490655B (en) Method and device for recognizing authorized users using voice spectrum information
US8781826B2 (en) Method for operating a speech recognition system
CN102907077A (zh) 用于移动装置的智能音频记录的系统和方法
KR101863097B1 (ko) 키워드 인식 장치 및 방법
CN110995933A (zh) 移动终端的音量调节方法、装置、移动终端及存储介质
KR101496876B1 (ko) 휴대 단말기의 소리 인식 방법 및 장치
US20090083038A1 (en) Mobile radio terminal, speech conversion method and program for the same
CA2869884C (en) A processing apparatus and method for estimating a noise amplitude spectrum of noise included in a sound signal
CN110875036A (zh) 语音分类方法、装置、设备及计算机可读存储介质
JP6549009B2 (ja) 通信端末及び音声認識システム
CN104851423A (zh) 一种声音信息处理方法及装置
JP6878776B2 (ja) 雑音抑圧装置、雑音抑圧方法及び雑音抑圧用コンピュータプログラム
KR100575795B1 (ko) 이동통신 단말기 마이크 입력단의 잡음 제거 장치 및 방법
US11551707B2 (en) Speech processing method, information device, and computer program product
KR101722686B1 (ko) 벨소리 출력 장치 및 방법
JP2003241788A (ja) 音声認識装置及び音声認識システム
CN111800700B (zh) 环境中对象提示方法、装置、耳机设备及存储介质
CN106293607A (zh) 自动切换音频输出模式的方法及系统
JP2010010856A (ja) ノイズキャンセル装置、ノイズキャンセル方法、ノイズキャンセルプログラム、ノイズキャンセルシステム、及び、基地局
CN109274826B (zh) 语音播放模式的切换方法、装置、终端和计算机可读存储介质
KR101312365B1 (ko) 모바일 단말 모드 자동 전환 제어 장치 및 방법
KR100574883B1 (ko) 비음성 제거에 의한 음성 추출 방법
CN111916095A (zh) 语音增强方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130326

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140414

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170324

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee