KR100631699B1 - 음성을 이용한 이동통신 단말기 조작방법 - Google Patents

음성을 이용한 이동통신 단말기 조작방법 Download PDF

Info

Publication number
KR100631699B1
KR100631699B1 KR1020040033603A KR20040033603A KR100631699B1 KR 100631699 B1 KR100631699 B1 KR 100631699B1 KR 1020040033603 A KR1020040033603 A KR 1020040033603A KR 20040033603 A KR20040033603 A KR 20040033603A KR 100631699 B1 KR100631699 B1 KR 100631699B1
Authority
KR
South Korea
Prior art keywords
voice
user
mobile communication
communication terminal
function
Prior art date
Application number
KR1020040033603A
Other languages
English (en)
Other versions
KR20050108649A (ko
Inventor
윤성철
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020040033603A priority Critical patent/KR100631699B1/ko
Publication of KR20050108649A publication Critical patent/KR20050108649A/ko
Application granted granted Critical
Publication of KR100631699B1 publication Critical patent/KR100631699B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271—Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/247—Telephone sets including user guidance or feature selection means facilitating their use
    • H04M1/2471—Configurable and interactive telephone terminals with subscriber controlled features modifications, e.g. with ADSI capability [Analog Display Services Interface]
    • H04M1/2472—Configurable and interactive telephone terminals with subscriber controlled features modifications, e.g. with ADSI capability [Analog Display Services Interface] with programmable function keys
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 이동통신 단말기 조작방법에 관한 것으로 특히, 사용자가 음성을 이용하여 이동통신 단말기를 용이하게 조작할 수 있도록 한 음성을 이용한 이동통신 단말기 조작방법에 관한 것이다. 종래에 사용되는 음성인식기능은 이동통신 단말기에 기 저장된 폰북의 내용만을 검색하여 사용자의 음성으로 지정되는 전화번호에 자동으로 전화를 걸어주는 기능으로 한정되기 때문에 이동통신 단말기의 다른 기능들을 음성으로 구동시킬 수 없는 문제점이 있으며, 사용자의 음성 녹음 없이 음성엔진을 이용하여 음성인식을 실시하는 경우에는 고가의 부품과 알고리즘 사용 비용에 의해 이동통신 단말기 가격이 높아지는 문제점이 있었다. 이와 같은 문제점을 감안한 본 발명은 음성메뉴 등록 기능을 별도로 두어 사용자가 지정하는 단말기 기능이나 키패드에 단축키로 할당된 기능들을 음성으로 호출할 수 있도록 사용자 음성을 녹음하도록 한 후, 사용자가 음성메뉴 사용을 원하는 경우 사용자가 제공하는 음성을 기 녹음된 음성정보와 비교하여 해당하는 기능들을 실행시킬 수 있도록 함으로써, 이동통신 단말기를 비시각적으로 제어하기 용이하도록 하면서도, 구현 비용이 높지 않기 때문에 많은 이동통신 단말기에 적용하기 쉬워 낮은 비용으로 사용자 편의를 개선할 수 있는 효과가 있다.

Description

음성을 이용한 이동통신 단말기 조작방법{VOICE MANIPULATING METHOD FOR MOBILE COMMUNICATION TERMINAL}
도1은 본 발명 일 실시예에 따른 음성메뉴 등록과정을 보인 개념도.
도2는 본 발명 일 실시예에 따른 음성메뉴 사용여부 설정 과정을 보인 개념도.
도3은 본 발명 일 실시예에 따른 음성메뉴 사용 과정을 보인 순서도.
본 발명은 이동통신 단말기 조작방법에 관한 것으로 특히, 사용자가 음성을 이용하여 이동통신 단말기를 용이하게 조작할 수 있도록 한 음성을 이용한 이동통신 단말기 조작방법에 관한 것이다.
현재 이동통신 단말기는 언제, 어디서나 무선으로 통화할 수 있는 이동성과 간편히 휴대할 수 있는 소형화로 인해 많은 사람들에게 보급되고 있다. 그런데, 현대인의 생활양식이 복잡 다양화함에 따라 이동통신 단말기는 단순히 전화통화 또는 메시지 전달을 위한 기능만이 아니라 사용자가 기능을 수행시키는데 있어서 좀 더 편리하고 쉽게 이동통신 단말기를 작동시키도록 하는 기능을 필요로 한다.
이는 이동통신 단말기의 사용자층이 넓어지고, 사용하고자 하는 상황이 다양화되기 때문인데, 이 중에서 사용자의 시력이 좋지 않은경우, 사용자의 연령이 고령이거나 너무 어린 경우에는 기본적인 이동통신 단말기의 인터페이스가 불편할 수 있기 때문이다. 또한, 사용자가 운전중이거나 이동중인 경우에도 이동통신 단말기를 원활하게 조작하기 어렵다.
따라서, 이동통신 단말기의 조작성을 높이기 위한 의도로서, 이동통신 단말기에 음성을 이용할 수 있는 기능이 추가되었는데, 사용자의 음성을 이용한 전화 자동연결기능이 이러한 보조적인 조작 기능으로서 사용되고 있다.
이를 위해서, 이동통신 단말기 내부에 음성 인식 기능을 내장하고 있으며, 이를 통해 음성으로 전화를 연결하는 전화 자동연결기능을 구현할 수 있는데, 이는 이동통신 단말기의 폰북에 저장된 전화번호를 음성으로 호출하여 해당 전화번호에 전화를 걸도록 하는 기술이다. 초기의 음성 인식은 단순히 사용자의 음성을 저장하면서 그 특징을 파악하고, 이후 입력되는 음성으로부터 파악한 특징이 일치하는 경우에 연결된 전화번호로 발신을 실시하는 수준이었다.
하지만 최근에 이루어진 음성 인식의 비약적인 발전은 임의의 사용자로부터 획득한 실제 음성을 음소별로 분리하여 이를 문자나 숫자로 변환할 수 있기에 이르렀으며, 이러한 음성인식만을 전문적으로 연구하는 업체도 많이 생겨나게 되었다.
종래의 음성인식기술을 이용한 폰북 사용은 여러 특허에서 이미 제안된 바 있다. 예를 들어, 대한민국 특허출원 1998-0060950호(명칭 : 음성인식기능을 가지는 통신 단말기의 음성 다이얼 등록 방법)는 음성엔진을 구비하여 사용자가 이미 저장되어 있는 폰북의 전화번호를 대표하는 문자 이름을 음성만으로 호출하여 전화를 연결하는 방법을 제공하는 구성이고, 대한민국 특허출원 2000-0062482호(명칭 : 이동전화용 음성인식 전화번호 저장 및 안내, 자동연결 방법 및 그 시스템)는 사용자의 전화번호부를 별도의 서버에서 관리하는 환경에서 사용자가 새로운 전화번호를 입력하고자 하는 경우 전화번호 음성 녹음 데이터를 해당 서버에 전송하면 해당 서버에서 음성 인식을 실시한 후 자신이 관리하는 사용자의 전화번호부에 해당하는 전화번호를 저장하도록 하는 방법을 제공하는 구성이다.
그러나, 이러한 기술들은 사용자의 음성을 인식하여 이동통신 단말기에 기 저장된 폰북 내용을 검색한 후, 사용자의 음성에 일치하는 전화번호에 전화를 걸어주는 기능으로 한정되어 사용되고 있을 뿐이며, 이러한 음성을 이용하여 이동통신 단말기의 다른 기능들을 조작하는 것은 불가능하였다. 그리고, 상기 음성엔진을 구비한 이동통신 단말기의 경우, 음성엔진을 탑재하기 위해 필요한 제어부나 음성처리부의 성능이 고급화되거나 별도의 음성처리 하드웨어가 요구되기 때문에 적용을 위한 비용이 대단히 높아지게 되어 이동통신 단말기의 가격을 상승시키게 되며, 사용자에 따라서는 음성인식률이 낮을 수 있다.
상기한 바와 같이 종래에 사용되는 음성인식기능은 이동통신 단말기에 기 저장된 폰북의 내용만을 검색하여 사용자의 음성으로 지정되는 전화번호에 자동으로 전화를 걸어주는 기능으로 한정되기 때문에 이동통신 단말기의 다른 기능들을 음성으로 구동시킬 수 없는 문제점이 있으며, 사용자의 음성 녹음 없이 음성엔진을 이 용하여 음성인식을 실시하는 경우에는 고가의 부품과 알고리즘 사용 비용에 의해 이동통신 단말기 가격이 높아지는 문제점이 있었다.
상기와 같은 문제점을 감안한 본 발명은 음성메뉴 등록 기능을 별도로 두어 사용자가 지정하는 단말기 기능이나 키패드에 단축키로 할당된 기능들을 음성으로 호출할 수 있도록 사용자 음성을 녹음하도록 한 후, 사용자가 음성메뉴 사용을 원하는 경우 사용자가 제공하는 음성을 기 녹음된 음성정보와 비교하여 해당하는 기능들을 실행시킬 수 있도록 한 음성을 이용한 이동통신 단말기 조작방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기위한 본 발명은, 이동통신 단말기의 기능이나 키패드 중 하나를 지정하고 사용자가 자신의 음성으로 해당 대상을 구별할 수 있는 단어나 문장을 저장하는 음성 메뉴 설정 단계와; 사용자가 음성으로 상기 이동통신 단말기에 단어나 문장을 제공하면, 상기 이동통신 단말기가 해당 단어나 문장을 기 저장된 단어나 문장과 비교하여 소정의 범위로 일치할 경우, 해당 음성정보에 대응하는 기능을 실행하거나 해당하는 키패드에 할당된 단축키 기능을 수행하는 음성 메뉴 이용 단계를 포함한다.
삭제
상기와 같은 본 발명을 첨부한 실시예들의 도면을 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명 일 실시예에 따른 음성메뉴 등록과정을 보인 개념도로서, 도시한 바와 같이 이동통신 단말기에 음성메뉴 등록을 위한 새로운 메뉴를 더 적용하여 특정한 기능에 대응하는 사용자 음성을 녹음하는 과정을 보인 것이다.
먼저, 도 1a와 같이 이동통신 단말기를 조작하여 상기 음성메뉴 등록 기능을 실행시킨다. 이는 특정한 메뉴체계의 하위 메뉴에 속할 수 있으며, 단축키 등으로 호출할 수도 있다.
이렇게 하여 음성관련 메뉴를 도 1b와 같이 표시한 후, 그 중에서 음성메뉴 등록 기능을 선택한다. 그러면, 도 1c와 같은 사용자의 음성에 의해 호출될 수 있는 이동통신 단말기 기능들이 목록 형태로 나타날 수 있는데, 이 중에서 원하는 기능을 선택한 후, 도 1d와 도 1e와 같이 사용자가 해당 기능을 호출할때 사용할 소정의 단어나 문장을 음성으로 발음하여 녹음한다. 이때, 음성에 대한 인식 정보를 추출하여 저장할 수 있다.
여기서, 도 1c에 도시한 바와 같이 사용자가 선택할 수 있는 이동통신 단말기 기능들이 목록 형태로 나타날 수 있는데, 상기 목록에 포함되는 선택 가능한 기능들은 대단히 다양한 방법으로 선별될 수 있다. 기본적으로, 제조사에서 많이 쓰이는 기능들이나 전체 기능들을 미리 선별하여 제공하는 경우가 있을 수 있으며, 이동통신 단말기의 키패드 기능키에 대응하도록 기 설정된 기능들 및 사용자가 단축키로 지정할 수 있는 기능들일 수 있다.
또한, 구체적인 기능 대신 이동통신 단말기의 키패드 명칭이 나열될 수도 있다. 즉, 이동통신 단말기의 기능키들과 숫자키들을 목록으로 나열한 후, 음성을 녹음하면, 이후 상기 음성을 통해 상기 키패드가 눌린 것과 같은 효과를 얻도록 할 수도 있다. 이는 고정된 기능 대신 이동통신 단말기의 각 키들을 지정하는 것으로 상기 각 키들에 할당되는 기능들을 간접적으로 지정할 수 있으며, 만일 사용자가 각 키패드에 대응하는 소정의 메뉴를 수동으로 지정할 수 있는 사용자 지정 단축키 설정이 가능한 단말기라면 한번 설정한 음성메뉴에 대응하는 이동통신 단말기 기능을 변경하기 쉬워진다.
도 2는 상기 도 1을 통해 설정한 음성메뉴 사용여부를 결정하는 과정을 보인 실시예로서, 도시된 바와 같이, 음성관련 메뉴 중에서 음성메뉴 사용을 결정하는 메뉴 항목을 선택한 후, 사용 여부를 결정하여 저장할 수 있다.
이렇게 결정된 음성메뉴 사용여부는 이동통신 단말기의 전체적인 메뉴를 관리하는 부분, 즉 메뉴 관리 데이터베이스에 저장되는데, 입력을 관리하는 부분에서 검사되는 단순한 플래그의 설정일 수도 있다.
다시 말해서, 음성메뉴 등록이 완료된 상태에서, 사용자가 음성메뉴 사용을 지정했다면, 이후, 이동통신 단말기는 상기 음성메뉴 사용을 결정하는 메뉴 항목을 다시 표시하여 사용여부를 변경할때 까지는 음성메뉴 사용 상태가 되도록 하는 방식이다. 이 경우, 이동통신 단말기는 항상 사용자의 음성을 감시하고 있다가, 소정 크기 이상의 음성이 검출되면, 해당 음성을 음성메뉴 사용을 위한 사용자 입력으로 간주하는 방식으로 동작할 수 있다.
하지만, 이러한 경우 이동통신 단말기의 인식률이 낮아지거나 잡음에 의해 동작하는 상황이 빈번하게 발생할 수 있으므로, 특정한 키패드나 측면키 혹은 이들의 조합으로 이루어진 특정 입력이 유지되는 경우에만 사용자 입력을 받아들이도록 할 수도 있다는데 주의한다. 즉, 사용자가 음성메뉴를 사용하는 구체적인 시점은 다양하게 변경될 수 있으므로, 본 발명은 이러한 음성메뉴 사용 시점 및 사용 여부를 결정하는 방법으로 제한되지는 않는다.
도 3은 본 발명 일 실시예에 따라 등록된 음성메뉴를 이용하여 이동통신 단말기를 조작하는 과정을 나타낸 순서도이다.
도시된 바와 같이, 사용자가 음성메뉴 등록 과정을 거쳐 소정의 기능이나 이동통신 단말기 키패드에 대응되는 음성을 녹음한 후, 음성메뉴 사용을 결정하는 메뉴 항목에서 사용을 설정한 경우의 동작을 설명하는 것이다.
먼저, 사용자가 이동통신 단말기를 동작 시키기 위해 동작 대기모드로 전환한다(플립형인 경우 플립을 여는 동작, 폴더형인 경우 폴더를 여는 동작, 슬라이드형인 경우 슬라이드를 여는 동작, 일부 회전형인 경우 회전시키는 동작 등과 같이 키패드를 노출시키는 동작을 의미함).
이렇게 이동통신 단말기가 동작 대기모드가 되면, 이동통신 단말기는 음성메뉴의 사용여부를 확인하게 되며, 만일 사용자가 음성메뉴를 사용할 수 있도록 지정하지 않은 경우 일반적인 키 입력을 대기하며, 음성메뉴를 사용할 수 있도록 지정한 경우라면, 사용자의 음성 입력을 요구하는 안내 음성을 출력할 수 있다. 이는 시력이 약하거나 시각적으로 이동통신 단말기를 확인하기 어려운 상황의 사용자에 게 도움을 주기 위한 것이며, 단순한 음향을 출력하거나 아무런 동작을 하지않을 수도 있다는 것에 주의한다.
이후, 사용자가 기 녹음한 단어나 문장을 음성으로 발음하면, 이동통신 단말기가 해당 음성을 소정의 음성 인식 알고리즘에 의해 받아들이게 되며, 해당 음성을 분석한 정보를 이용하여 기 저장된 음성과 비교하게 된다. 기 저장된 음성이 저장된 음성관리 데이터베이스 혹은 음성에 대한 인식 정보를 추출하여 저장한 데이터 베이스 등을 이용하여 검색을 실시할 수 있다.
상기 검색 결과 기 저장된 음성과 소정의 오차 범위내에서 일치하는 음성정보가 있다면, 상기 음성정보에 대응하는 기능이나 음성정보가 지시하는 키패드에 할당된 기능을 동작시키게 되며, 일치하는 정보가 없다면 그 결과를 음성이나 음향 등으로 사용자에게 알려준 후, 다시 사용자의 음성입력을 대기하게 된다.
전술한 본 발명의 일 실시예를 통해 알 수 있듯이, 본 발명은 사용자가 많이 사용하는 기능을 사용자의 음성을 통해 비 시각적으로 실시할 수 있도록 한 것으로, 단축키나 기능키(function key)의 기능을 음성을 통해 실현할 수 있어 이동통신 단말기의 조작이 보다 용이해질 수 있다.
본 발명 음성을 이용한 이동통신 단말기 조작방법은 음성메뉴 등록 기능을 별도로 두어 사용자가 지정하는 단말기 기능이나 키패드에 단축키로 할당된 기능들을 음성으로 호출할 수 있도록 사용자 음성을 녹음하도록 한 후, 사용자가 음성메뉴 사용을 원하는 경우 사용자가 제공하는 음성을 기 녹음된 음성정보와 비교하여 해당하는 기능들을 실행시킬 수 있도록 함으로써, 이동통신 단말기를 비시각적으로 제어하기 용이하도록 하면서도, 구현 비용이 높지 않기 때문에 많은 이동통신 단말기에 적용하기 쉬워 낮은 비용으로 사용자 편의를 개선할 수 있는 효과가 있다.

Claims (4)

  1. 이동통신 단말기의 기능을 나타내는 항목이 나열된 목록을 표시하는 단계와;
    상기 목록에 표시되는 항목 중 하나를 선택하는 단계와;
    상기 선택된 항목에 상응하는 음성을 저장하는 단계와;
    상기 저장된 음성과 실질적으로 동일한 음성이 인식되는 경우, 상기 음성에 상응하는 기능을 실행하는 단계를 포함하는 것을 특징으로 하는 음성을 이용한 이동통신 단말기 조작방법.
  2. 이동통신 단말기의 단축키 기능을 지시하는 키패드 항목이 나열된 목록을 표시하는 단계와;
    상기 목록에 표시되는 키패드 항목 중 하나를 선택하는 단계와;
    상기 선택된 키패드 항목에 상응하는 음성을 저장하는 단계와;
    상기 저장된 음성과 실질적으로 동일한 음성이 인식되는 경우, 상기 음성에 상응하는 상기 키패드 항목이 지시하는 단축키 기능을 실행하는 단계를 포함하는 것을 특징으로 하는 음성을 이용한 이동통신 단말기 조작방법.
  3. 제 2항에 있어서, 상기 키패드 항목이 지시하는 단축키 기능은 이동통신 단말기의 단축키 지정 기능을 이용하여 상이한 기능으로 재 지정될 경우에도 동일한 음성으로 실행되는 것을 특징으로 하는 음성을 이용한 이동통신 단말기 조작방법.
  4. 제 1항 또는 제 2항에 있어서, 상기 음성 인식에따라 해당 음성에 상응하는 기능을 실행하는 단계는 이동통신 단말기의 키패드나 측면키 중 하나 혹은 그 이상의 조합을 누른 상태에서만 해당 단계를 수행하는 것을 특징으로 하는 음성을 이용한 이동통신 단말기 조작방법.
KR1020040033603A 2004-05-12 2004-05-12 음성을 이용한 이동통신 단말기 조작방법 KR100631699B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040033603A KR100631699B1 (ko) 2004-05-12 2004-05-12 음성을 이용한 이동통신 단말기 조작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040033603A KR100631699B1 (ko) 2004-05-12 2004-05-12 음성을 이용한 이동통신 단말기 조작방법

Publications (2)

Publication Number Publication Date
KR20050108649A KR20050108649A (ko) 2005-11-17
KR100631699B1 true KR100631699B1 (ko) 2006-10-09

Family

ID=37284706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040033603A KR100631699B1 (ko) 2004-05-12 2004-05-12 음성을 이용한 이동통신 단말기 조작방법

Country Status (1)

Country Link
KR (1) KR100631699B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174597A1 (ko) * 2014-05-13 2015-11-19 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법

Also Published As

Publication number Publication date
KR20050108649A (ko) 2005-11-17

Similar Documents

Publication Publication Date Title
US8254887B2 (en) Communication terminal device and computer program product
JP4059502B2 (ja) 予測エディタアプリケーションを有する通信端末装置
US7404146B2 (en) Input device for portable handset
KR100907974B1 (ko) 전자 장치에 캐릭터를 입력하는 방법
JP4240807B2 (ja) 移動通信端末装置、音声認識方法、およびそのプログラムを記録した記録媒体
EP1447959A1 (en) User programmable voice dialing for mobile handset
US20060183513A1 (en) Audio caller ID for mobile telephone headsets
EP1170932B1 (en) Audible identification of caller and callee for mobile communication device
KR20120065985A (ko) 휴대전화
KR20040048897A (ko) 이동 통신 단말기의 지능적 검색 및 선택 기능
CN106603792B (zh) 一种号码查找设备
JP2005258524A (ja) アプリケーション起動方法及び該方法を用いる携帯端末
KR100631699B1 (ko) 음성을 이용한 이동통신 단말기 조작방법
JPH11252281A (ja) 電話端末装置
KR100701968B1 (ko) 이동통신 단말기의 화면 표시방법
JP2002033820A (ja) 音声認識電話装置および携帯電話機
KR20040026716A (ko) 이동통신 단말기의 전화번호 검색방법
KR100393490B1 (ko) 이동통신 단말기의 음성인식을 통한 전화번호 검색방법
KR100669614B1 (ko) 이동통신 시스템의 전화번호 종류 분류 방법
KR200348814Y1 (ko) 전화기
JP2703952B2 (ja) 電話機
KR100629868B1 (ko) 이동통신 단말기의 도움말 제공 방법
KR20040026919A (ko) 휴대 전화 통화중 전화번호 검색 방법
KR20050058820A (ko) 휴대단말기의 통화중 전화번호 저장 방법
JP2001230848A (ja) 通信端末

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120827

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130823

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140822

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150824

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160824

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee