KR100597487B1 - 음성 레벨 변경 장치 및 방법 - Google Patents

음성 레벨 변경 장치 및 방법 Download PDF

Info

Publication number
KR100597487B1
KR100597487B1 KR1020030091261A KR20030091261A KR100597487B1 KR 100597487 B1 KR100597487 B1 KR 100597487B1 KR 1020030091261 A KR1020030091261 A KR 1020030091261A KR 20030091261 A KR20030091261 A KR 20030091261A KR 100597487 B1 KR100597487 B1 KR 100597487B1
Authority
KR
South Korea
Prior art keywords
correction factor
fixed codebook
codebook gain
signal
level
Prior art date
Application number
KR1020030091261A
Other languages
English (en)
Other versions
KR20050059572A (ko
Inventor
장두신
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020030091261A priority Critical patent/KR100597487B1/ko
Publication of KR20050059572A publication Critical patent/KR20050059572A/ko
Application granted granted Critical
Publication of KR100597487B1 publication Critical patent/KR100597487B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/24—Radio transmission systems, i.e. using radiation field for communication between two or more posts
    • H04B7/26—Radio transmission systems, i.e. using radiation field for communication between two or more posts at least one of which is mobile

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명의 음성 레벨 변경 방법은, 무선 통신 채널을 통하여 전송 되는 음성 신호의 레벨을 변경하는 데 있어서, PCM 레벨이 아닌 패킷 상태에서 수행함으로써 하드웨어의 추가가 필요치 않은 동시에 음성 복원의 복잡한 계산을 생략할 수 있는 음성 레벨 변경 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위하여 본 발명은, 송신 음성 신호를 입력받고, 상기 송신 음성 신호에서 복수개의 파라미터 성분을 추출하며, 추출된 파라미터 성분을 양자화하여 비트열 신호를 생성하는 부호화부를 포함하는 송신 단말기와, 중계기 및 조정 비트열 신호를 수신 음성 신호로 복호화하는 복호화부를 포함하는 수신 단말기를 포함하는 무선통신 시스템에 있어서, 상기 부호화부에 의해 양자화된 비트열 신호 내에 포함된 보정 인수로부터 고정 코드북 이득을 추출하는 보정 인수 복호화수단; 예측 고정 코드북 이득을 갱신 고정 코드북 이득으로 치환하는 레벨 변환수단; 상기 레벨 변환수단으로부터 입력된 갱신 고정 코드북 이득을 이용하여 갱신 보정 인수를 획득하는 보정인수 부호화수단; 및 상기 보정인수 부호화수단으로부터 입력된 갱신 보정 인수를 양자화하여 조정 비트열 신호를 생성하는 보정인수 양자화수단을 포함한다.
무선, 통신, 이동, 음성, 레벨, 조정, 이득, 변경

Description

음성 레벨 변경 장치 및 방법{APPARATUS FOR CHANGING AUDIO LEVEL AND METHOD THEREOF}
도 1은 종래의 음성 레벨 변경 방법을 나타낸 동작흐름도,
도 2는 본 발명의 일 실시예에 의한 음성 레벨 변경 장치를 나타낸 블록도,
도 3은 도 2의 고정 코드북 이득 변경부를 나타낸 블록도,
도 4는 본 발명의 일 실시예에 의한 음성 레벨 변경 방법을 나타낸 동작흐름도.
* 도면의 주요 부분에 대한 부호의 설명 *
210 : 부호화부 220 : 고정 코드북 이득 변경부
230 : 복호화부
본 발명은 음성 레벨 변경 장치 및 방법에 관한 것으로, 특히, 무선 통신 채널을 통하여 전송 되는 음성 신호의 레벨을 변경하는 음성 레벨 변경 장치 및 방법 에 관한 것이다.
일반적으로, 무선 통신 네트워크 시스템의 송신단에서 압축(Encoding)된 음성 신호는 통신 채널 상으로 전송되며, 하나의 중계기는 이러한 음성 신호를 수신하게 되면 신호의 조작 없이 다른 중계기로 비트 스트림 형태의 음성 신호를 전송한다. 최종적으로, 수신단은 수신된 음성 신호를 복원(Decoding)하며, 이후에야 음성 레벨의 변경이 가능하게 된다.
도 1은 종래의 음성 레벨 변경 방법을 나타낸 동작흐름도로서, 이러한 종래의 음성 레벨 변경 방법은, 송신 단말기에서 음성을 샘플링(8K Sampling)하여 파라미터를 추출하고, 각각의 파라미터들을 할당된 비트로 양자화함으로써 부호화하는 최초부호화단계(S101); 음성 레벨을 조정할 것인지 여부를 선택하는 조정선택단계(S102); 음성 레벨을 조정하기로 선택한 경우에는, 부호화된 음성 신호를 PCM레벨로 복호화시키는 PCM복호화단계(S103); PCM 레벨의 신호에 대하여 PCM 엔벨롭(Envelop) 가변 과정을 통하여 레벨을 조정하는 레벨조정단계(S104); PCM 레벨의 신호를 부호화하는 PCM부호화단계(S105); 및 수신 단말기에서 부호화된 신호를 복호화하여 사용자가 청취할 수 있는 음성으로 변환하는 최종복호화단계(S106)를 포함한다.
상술한 바와 같이, 레벨조정단계(S104)가 수행되기 위해서는 PCM레벨로의 복호화 과정이 필수적이므로, 음성 레벨의 조정을 위해서는 수신 단말기에 증폭기 등의 하드웨어 구성을 추가하거나, 중계기에 부호기 및 복호기 하드웨어를 추가해야 한다.
즉, 음성 레벨의 조정이 필요한 경우에, 레벨 조정의 주체가 수신 단말기로 제한되거나, 레벨 조정의 주체를 중계기 등의 임의 장치로 하기 위해서는 이러한 중계기 내에 추가적인 음성 부호기 및 복호기 하드웨어를 추가해야 할 뿐 아니라 부호화 및 복호화에 따른 계산이 수행되어야 하므로, 전송 중인 음성 전달에 있어서 불필요한 지연을 야기하는 문제점이 있다.
상기 문제점을 해결하기 위하여 안출된 본 발명은, 무선 통신 채널을 통하여 전송 되는 음성 신호의 레벨을 변경하는 데 있어서, PCM 레벨이 아닌 패킷 상태에서 수행함으로써 하드웨어의 추가가 필요치 않은 동시에 음성 복원의 복잡한 계산을 생략할 수 있는 음성 레벨 변경 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위하여 본 발명의 음성 레벨 변경 장치는, 송신 음성 신호를 입력받고, 상기 송신 음성 신호에서 복수개의 파라미터 성분을 추출하며, 추출된 파라미터 성분을 양자화하여 비트열 신호를 생성하는 부호화부를 포함하는 송신 단말기와, 중계기 및 조정 비트열 신호를 수신 음성 신호로 복호화하는 복호화부를 포함하는 수신 단말기를 포함하는 무선통신 시스템에 있어서, 상기 부호화부에 의해 양자화된 비트열 신호 내에 포함된 보정 인수로부터 고정 코드북 이득을 추출하는 보정 인수 복호화수단; 예측 고정 코드북 이득을 갱신 고정 코드북 이득으로 치환하는 레벨 변환수단; 상기 레벨 변환수단으로부터 입력된 갱신 고정 코드북 이득을 이용하여 갱신 보정 인수를 획득하는 보정인수 부호화수단; 및 상기 보정인수 부호화수단으로부터 입력된 갱신 보정 인수를 양자화하여 조정 비트열 신호를 생성하는 보정인수 양자화수단을 포함한다.
또한, 상기 목적을 달성하기 위하여 본 발명의 음성 레벨 변경 방법은, 송신 음성 신호를 입력받고, 상기 송신 음성 신호에서 복수개의 파라미터 성분을 추출하며, 추출된 파라미터 성분을 양자화하여 비트열 신호를 생성하는 부호화부를 포함하는 송신 단말기와, 중계기 및 조정 비트열 신호를 수신 음성 신호로 복호화하는 복호화부를 포함하는 수신 단말기를 포함하는 무선통신 시스템에 적용되는 음성 레벨 변경 방법에 있어서, 상기 송신 단말기로부터 송신된 비트열 신호 내에 포함된 보정 인수로부터 고정 코드북 이득을 추출하는 단계; 예측 고정 코드북 이득을 갱신 고정 코드북 이득으로 치환하는 단계; 상기 갱신 고정 코드북 이득을 이용하여 갱신 보정 인수를 획득하는 단계; 및 상기 갱신 보정 인수를 양자화하여 상기 조정 비트열 신호를 생성하는 단계를 포함한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 본 발명의 가장 바람직한 실시예들을 첨부된 도면을 참조하여 설명하기로 한다.
먼저, 도 2는 본 발명의 일 실시예에 의한 음성 레벨 변경 장치를 나타낸 블록도로서, 이러한 본 발명의 음성 레벨 변경 장치는, 부호화부(210), 고정 코드북 이득 변경부(220) 및 복호화부(230)를 포함한다.
부호화부(210)는, 송신 단말기 측에 장착되어, 송신 음성 신호를 입력받고, 상기 송신 음성 신호에서 복수개의 파라미터 성분을 추출하며, 추출된 파라미터 성분을 양자화하고 인덱스 정보를 포함하여 AMR(Adaptive Multi-Rate) 음성 패킷인 비트열 신호(예를 들면, 244Bit)를 생성하는 역할을 한다. 여기서, 상기 복수개의 파라미터 성분은, LPC(linear predictive coding) 계수, 적응 코드북 벡터, 적응 코드북 이득, 고정 코드북 벡터 및 고정 코드북 이득을 포함한다.
상기 LPC(linear predictive coding) 계수는, 합성 음성의 엔벨롭 성분을 나타내고, 상기 적응 코드북 벡터 및 상기 적응 코드북 이득은 음성의 주기적인 성분을 나타내며, 상기 고정 코드북 벡터는 음성 신호가 만들어지는 최초 여기 신호들의 펄스 조합을 나타내고, 상기 고정 코드북 이득은 고정 코드북에 대한 레벨을 규정한다. 여기서, 상기 고정 코드북 이득을 제외한 나머지 파라미터는 음성 신호의 레벨에 영향을 주지 않는다.
또한, 고정 코드북 이득 변경부(220)는, 상기 부호화부(210)로부터 상기 비트열 신호를 입력받고, 상기 비트열 신호 내 고정 코드북 이득 성분의 레벨값을 조정한 후, 고정 코드북 이득 성분의 레벨값이 조정된 조정 비트열 신호를 전송하는 역할을 한다. 여기서, 상기 고정 코드북 이득 변경부(220)는, 중계기, 수신 단말기 등 어느 곳에도 장착될 수 있다.
한편, 복호화부(230)는, 수신 단말기 측에 장착되어, 상기 고정 코드북 이득 변경부(220)로부터 상기 조정 비트열 신호를 수신하고, 상기 조정 비트열 신호를 수신 음성 신호로 복호화하는 역할을 한다.
도 3은 도 2의 고정 코드북 이득 변경부(220)를 나타낸 블록도로서, 이에 관하여 설명하면 다음과 같다.
상기 고정 코드북 이득 변경부(220) 내에 장착된 보정 인수 복호화부(220)는, 상기 부호화부(210)로부터 입력된 상기 비트열 신호 내에 포함된 보정 인수로부터 상기 고정 코드북 이득을 추출하는 역할을 한다. 여기서, 상기 보정 인수(
Figure 112006022996446-pat00001
)는 상기 고정 코드북 이득(
Figure 112006022996446-pat00002
) 및 예측 고정 코드북 이득()에 의하여 하기 수학식 1에 의해 도출된다.
Figure 112003047793287-pat00004
그러므로, 상기 고정 코드북 이득(
Figure 112006022996446-pat00005
)의 추출은 하기 수학식 2에 의해 이루어진다.
Figure 112003047793287-pat00006
또한, 상기 고정 코드북 이득 변경부(220) 내에 장착된 레벨 변환부(320)는, 상기 예측 고정 코드북 이득(
Figure 112003047793287-pat00007
)을 갱신 고정 코드북 이득(
Figure 112003047793287-pat00008
)으로 치환함으로써 레벨 변환 과정을 수행하는 역할을 한다.
한편, 상기 고정 코드북 이득 변경부(220) 내에 장착된 보정인수 부호화부(330)는, 상기 레벨 변환부(320)로부터 입력된 상기 갱신 고정 코드북 이득(
Figure 112006022996446-pat00009
)을 이용하여 상기 수학식 1에 따른 하기 수학식3에 따라 갱신 보정 인수(
Figure 112006022996446-pat00010
)를 획득하는 역할을 한다.
Figure 112003047793287-pat00011
또한, 상기 고정 코드북 이득 변경부(220) 내에 장착된 보정인수 양자화부(340)는, 상기 보정인수 부호화부(330)에서 입력된 상기 갱신 보정 인수(
Figure 112003047793287-pat00012
)를 양자화하여 상기 조정 비트열 신호를 생성하는 역할을 한다.
상술한 본 발명의 음성 레벨 변경 장치의 동작에 관하여 설명하면 다음과 같다.
먼저, 음성 신호의 부호화시, 부호화부(210)에서 고정 코드북 이득(
Figure 112003047793287-pat00013
) 및 예측 고정 코드북 이득(
Figure 112003047793287-pat00014
)에 의하여 보정 인수(
Figure 112003047793287-pat00015
)를 구한다. 그 후, 부호화부(210)는, 나머지 음성 파라미터들과 함께 보정 인수(
Figure 112003047793287-pat00016
)를 양자화하여 통신 채널을 통해 비트열 신호로서 전송한다.
이러한 비트열 신호 전송 중에, 음성 레벨의 변경이 필요한 경우에는, 고정 코드북 이득 변경부(220)에서 보정 인수(
Figure 112003047793287-pat00017
)를 통하여 고정 코드북 이득(
Figure 112003047793287-pat00018
)을 추출한다. 그 후, 예측 고정 코드북 이득(
Figure 112003047793287-pat00019
)을 갱신 고정 코드북 이득(
Figure 112003047793287-pat00020
)으로 치환함으로써 레벨 변환 과정을 수행하고, 그 후, 갱신 고정 코드북 이득(
Figure 112003047793287-pat00021
)을 이용하여 갱신 보정 인수(
Figure 112003047793287-pat00022
)를 획득한다. 최종적으로, 갱신 보정 인수(
Figure 112003047793287-pat00023
)를 양자화하여 조정 비트열 신호를 생성한다.
그 후, 복호화부(230)에서 조정 비트열 신호가 수신 음성 신호로 복호화된다.
도 4는 본 발명의 일 실시예에 따른 음성 레벨 변경 방법을 나타낸 동작흐름도로서, 이에 관하여 설명하면 다음과 같다.
먼저, 송신 단말기에서 음성을 샘플링(8K Sampling)하여 파라미터를 추출하고, 각각의 파라미터들을 할당된 비트로 양자화함으로써 비트열 신호로 부호화한다(S401).
그 후, 음성 레벨을 조정할 것인지 여부를 선택한다(S402).
만약, 음성 레벨을 조정할 경우에는, 상기 비트열 신호 내 고정 코드북 이득 성분의 레벨값을 조정한 후, 고정 코드북 이득 성분의 레벨값이 조정된 조정 비트열 신호를 생성한다(S403). 여기서, 상기 음성레벨조정단계(S403)에 관하여 상세히 설명하면 다음과 같다.
먼저, 상기 비트열 신호 내에 포함된 보정 인수로부터 상기 고정 코드북 이득을 추출한다. 여기서, 상기 보정 인수(
Figure 112006022996446-pat00024
)는 상기 고정 코드북 이득(
Figure 112006022996446-pat00025
) 및 예측 고정 코드북 이득(
Figure 112006022996446-pat00026
)에 의하여 전술한 바와 같은 수학식 1에 의해 도출된다.
삭제
삭제
그리고, 상기 고정 코드북 이득(
Figure 112006022996446-pat00028
)의 추출은 전술한 바와 같은 수학식 2에 의해 이루어진다.
삭제
삭제
그런 다음, 예측 고정 코드북 이득(
Figure 112006022996446-pat00030
)을 갱신 고정 코드북 이득(
Figure 112006022996446-pat00031
)으로 치환함으로써 레벨 변환 과정을 수행한다.
그 후, 상기 갱신 고정 코드북 이득(
Figure 112006022996446-pat00032
)을 이용하여 상기 수학식 1에 따른 전술한 수학식 3에 따라 갱신 보정 인수(
Figure 112006022996446-pat00033
)를 획득한다.
삭제
삭제
그런 다음, 상기 갱신 보정 인수(
Figure 112006022996446-pat00035
)를 양자화하여 상기 조정 비트열 신호를 생성한다.
그리고, 수신 단말기에서 상기 조정 비트열 신호를 복호화하여 사용자가 청취할 수 있는 음성으로 변환한다(S404).
상술한 본 발명은, 3GPP AMR 표준 코드를 사용하여 구현할 수 있으며, 종래의 PCM 레벨에서의 음성 레벨 변경과 본 발명의 패킷 단에서의 음성 레벨 변경의 음질은 차이가 있으나, 사용자가 0.1~10배의 차이를 구별할 수 없다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
본 발명은, 무선 통신 채널을 통하여 전송 되는 음성 신호의 레벨을 변경하는 데 있어서, PCM 레벨이 아닌 패킷 상태에서 수행함으로써 하드웨어의 추가가 필요치 않은 동시에 음성 복원의 복잡한 계산을 생략할 수 있는 장점이 있다.

Claims (5)

  1. 송신 음성 신호를 입력받고, 상기 송신 음성 신호에서 복수개의 파라미터 성분을 추출하며, 추출된 파라미터 성분을 양자화하여 비트열 신호를 생성하는 부호화부를 포함하는 송신 단말기와, 중계기 및 조정 비트열 신호를 수신 음성 신호로 복호화하는 복호화부를 포함하는 수신 단말기를 포함하는 무선통신 시스템에 있어서,
    상기 부호화부에 의해 양자화된 비트열 신호 내에 포함된 보정 인수로부터 고정 코드북 이득을 추출하는 보정 인수 복호화수단;
    예측 고정 코드북 이득을 갱신 고정 코드북 이득으로 치환하는 레벨 변환수단;
    상기 레벨 변환수단으로부터 입력된 갱신 고정 코드북 이득을 이용하여 갱신 보정 인수를 획득하는 보정인수 부호화수단; 및
    상기 보정인수 부호화수단으로부터 입력된 갱신 보정 인수를 양자화하여 조정 비트열 신호를 생성하는 보정인수 양자화수단을 포함하는 것을 특징으로 하는 음성 레벨 변경 장치.
  2. 제 1 항에 있어서,
    상기 고정 코드북 이득과, 상기 갱신 보정 인수는, 각각 하기의 수학식에 의해 계산되는 것을 특징으로 하는 음성 레벨 변경 장치.
    Figure 112006022996446-pat00036
  3. 송신 음성 신호를 입력받고, 상기 송신 음성 신호에서 복수개의 파라미터 성분을 추출하며, 추출된 파라미터 성분을 양자화하여 비트열 신호를 생성하는 부호화부를 포함하는 송신 단말기와, 중계기 및 조정 비트열 신호를 수신 음성 신호로 복호화하는 복호화부를 포함하는 수신 단말기를 포함하는 무선통신 시스템에 적용되는 음성 레벨 변경 방법에 있어서,
    상기 송신 단말기로부터 송신된 비트열 신호 내에 포함된 보정 인수로부터 고정 코드북 이득을 추출하는 단계;
    예측 고정 코드북 이득을 갱신 고정 코드북 이득으로 치환하는 단계;
    상기 갱신 고정 코드북 이득을 이용하여 갱신 보정 인수를 획득하는 단계; 및
    상기 갱신 보정 인수를 양자화하여 상기 조정 비트열 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 음성 레벨 변경 방법.
  4. 제 3 항에 있어서,
    상기 고정 코드북 이득과, 상기 갱신 보정 인수는, 각각 하기의 수학식에 의해 계산되는 것을 특징으로 하는 음성 레벨 변경 방법.
    Figure 112006022996446-pat00042
  5. 삭제
KR1020030091261A 2003-12-15 2003-12-15 음성 레벨 변경 장치 및 방법 KR100597487B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030091261A KR100597487B1 (ko) 2003-12-15 2003-12-15 음성 레벨 변경 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030091261A KR100597487B1 (ko) 2003-12-15 2003-12-15 음성 레벨 변경 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20050059572A KR20050059572A (ko) 2005-06-21
KR100597487B1 true KR100597487B1 (ko) 2006-07-10

Family

ID=37252468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030091261A KR100597487B1 (ko) 2003-12-15 2003-12-15 음성 레벨 변경 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100597487B1 (ko)

Also Published As

Publication number Publication date
KR20050059572A (ko) 2005-06-21

Similar Documents

Publication Publication Date Title
JP3542610B2 (ja) オーディオ信号処理装置およびオーディオ情報データ・フレーム処理方法
JP4142292B2 (ja) オーディオ信号の符号化効率を向上させる方法
KR100923891B1 (ko) 음성 비활동 동안에 보이스 송신 시스템들 사이에상호운용성을 제공하는 방법 및 장치
US7343282B2 (en) Method for transcoding audio signals, transcoder, network element, wireless communications network and communications system
US6970479B2 (en) Encoding and decoding of a digital signal
EP1946517B1 (en) Audio data packet format and decoding method thereof and method for correcting mobile communication terminal codec setup error and mobile communication terminal performing same
US7873513B2 (en) Speech transcoding in GSM networks
CN1427989A (zh) 在具有多带宽能力的电信连接中改变源信号带宽的方法和装置
KR101207110B1 (ko) 스케일러블 무손실 비트스트림의 인코딩 방법
KR20090009278A (ko) 버퍼 조정을 이용하는 예측 코딩 데이터의 디코딩
JP2000165349A (ja) 送信機およびデジタル信号を受信機に送信するための方法
CA2293165A1 (en) Method for transmitting data in wireless speech channels
JP2000068925A (ja) 音声チャネル上でデ―タを送信する方法およびシステム
KR100597487B1 (ko) 음성 레벨 변경 장치 및 방법
EP1387351B1 (en) Speech encoding device and method having TFO (Tandem Free Operation) function
JP3071388B2 (ja) 可変レート音声符号化方式
JP3508850B2 (ja) 疑似背景雑音生成方法
KR101350599B1 (ko) 음성패킷 송수신 방법 및 장치
KR20050027272A (ko) 스피치 프레임들의 에러 경감을 위한 스피치 통신 유닛 및방법
JPH09149104A (ja) 擬似背景雑音生成方法
Wang Source Coding Basics and Speech Coding
JP2014130213A (ja) 付加情報挿入装置、付加情報挿入方法、付加情報抽出装置、及び付加情報抽出方法
JPWO2003021573A1 (ja) コーデック

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120604

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee