KR100693423B1 - 문자 음성 변환 기능을 이용한 메시지 전송 방법 및 시스템 - Google Patents

문자 음성 변환 기능을 이용한 메시지 전송 방법 및 시스템 Download PDF

Info

Publication number
KR100693423B1
KR100693423B1 KR20050065974A KR20050065974A KR100693423B1 KR 100693423 B1 KR100693423 B1 KR 100693423B1 KR 20050065974 A KR20050065974 A KR 20050065974A KR 20050065974 A KR20050065974 A KR 20050065974A KR 100693423 B1 KR100693423 B1 KR 100693423B1
Authority
KR
South Korea
Prior art keywords
message
voice data
text
receiving terminal
text message
Prior art date
Application number
KR20050065974A
Other languages
English (en)
Other versions
KR20070010958A (ko
Inventor
임영호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20050065974A priority Critical patent/KR100693423B1/ko
Publication of KR20070010958A publication Critical patent/KR20070010958A/ko
Application granted granted Critical
Publication of KR100693423B1 publication Critical patent/KR100693423B1/ko

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 문자 음성 변환 기능(TTS(:text to speech) 기능)을 이용한 메시지 전송 방법에 관한 것으로, 문자메시지를 음성데이터로 변환하여 전송함에 있어서 TTS 기능이 무선통신 단말기 등의 사이에서 메시지의 전달을 관리하는 시스템 서버 내에서 또는 시스템 서버의 제어에 의해서 수행되어, 개개의 무선통신 단말기마다 문자를 음성으로 변환하는 기능을 구비할 필요가 없고, 보다 고음질의 음성데이터를 제공할 수 있는 메시지 전송 방법 및 시스템에 관한 것이다.
문자 음성 변환, TTS, 문자메시지, 음성데이터

Description

문자 음성 변환 기능을 이용한 메시지 전송 방법 및 시스템{Message transmit method and system by converting text message into voice message}
도 1은 본 발명에 의한 메시지 전송 방법의 일 실시예가 수행되는 과정을 나타낸 흐름도이다.
도 2는 본 발명에 의한 메시지 전송 시스템의 일 실시예를 간략하게 나타낸 것이다.
{도면의 주요부분에 대한 설명}
201 : 메시지 발송장치 202 : 무선통신 시스템 서버
203 : 메시지 수신장치 204 : TTS 모듈
205 : 저장장치
211 : 메시지 발송장치에서 무선통신 시스템 서버로의 문자메시지 내용 전송
212 : TTS 모듈에서 저장장치로의 음성데이터 전송
213 : 저장장치에서 메시지 수신장치로의 음성데이터 전송
본 발명은 문자 음성 변환 기능(이하 'TTS(:text to speech) 기능')을 이용한 메시지 전송 방법에 관한 것으로, 특히 개개의 무선통신 단말기마다 문자를 음성으로 변환하는 기능을 구비할 필요가 없는 메시지 전송 방법 및 시스템에 관한 것이다.
최근 무선통신 서비스 관련 기술이 발전하면서 무선통신 단말기의 사용이 보편화되었고, 무선통신 단말기는 본래 주기능이었던 종래의 전화기의 전화연결의 기능 외에도 새로운 여러 종류의 통신서비스를 위해 사용되고 있으며, 특히 무선통신 단말기를 이용한 메시지 서비스의 이용량이 크게 증대되었다.
메시지 서비스는 전달할 내용이 간단한 경우 또는 음성통화가 불가능할 경우 등에 음성통화를 대신해 이용되는데, 여러 종류의 메시지 중에서도 특히 사용이 편리하고 요금이 상대적으로 저렴한 문자메시지의 이용빈도가 급격하게 증대되었다.
그런데 문자메시지는 시각적인 요소로 구성되었으므로, 수신측이 그 내용을 눈으로 확인해야 문자메시지 전송이 그 목적을 달성한다고 할 것인데, 수신측은 여러 가지 이유로 전송된 문자메시지의 내용을 확인하지 못할 수 있다.
상기 문자메시지를 수신한 단말기의 액정이 파손되는 등 단말기의 디스플레 이 수단이 메시지의 내용을 표시하지 못하는 경우나, 또는 수신 단말기의 사용자가 운전 중인 경우 또는 장애인인 경우 등과 같이 단말기의 디스플레이 수단에 메시지의 내용을 표시하는 조작을 수행하거나 표시된 메시지의 내용에 시각적으로 주의를 기울이기에 용이하지 않은 상황인 경우 등에는 상기 수신한 문자메시지의 내용을 확인할 수가 없다.
상기와 같이 문자메시지의 내용을 확인하지 못하는 경우는 모두 메시지를 시각적으로만 확인할 수 있다는 점으로부터 기인하는데, 상기 문자메시지를 시각이 아닌 청각 등으로 확인할 수 있다면 상기와 같은 문제점은 큰 문제가 되지 않는다. 실제로 현재 일부 무선통신 단말기에는 문자를 판독하여 상기 문자에 해당하는 음성을 합성함으로써 문자의 내용을 음성으로 변환하는 TTS(text to speech) 모듈을 구비하여 문자메시지를 음성으로 표시하는 기능을 수행한다.
그러나 상기의 TTS 모듈은 일부의 단말기에만 구비되어 있어 상기 일부를 제외한 대부분의 단말기에서는 음성으로의 변환이 행해지지 못하며, 상기 메시지를 고음질의 음성으로 표현하기 위해서는 고용량의 데이터 저장수단과 높은 사양, 높은 계산용량의 마이크로프로세서가 요구되는데 통상 단말기에는 고음질에 적정한 데이터 저장수단 및 마이크로프로세서를 구비하지 못하여 의미전달이 불명확할 정도로 음질이 낮은 음성을 합성하는 경우도 많다.
상기와 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은, 단말기에 TTS 모듈이 구비되었는지 여부 또는 단말기의 마이크로프로세서 등의 성능 정도와 관계없이 문자메시지를 음성으로 변환하여 표시할 수 있는 메시지 전송 방법 및 시스템을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위해 안출된 본 발명의 메시지 전송 방법은, 발신자로부터 무선통신 시스템 서버로 문자메시지의 내용 및 전송정보가 작성되어 전송되는 단계; 상기 무선통신 시스템 서버에서 문자 음성 변환(TTS : text to speech) 기능을 통해 상기 전송된 문자메시지의 내용을 음성데이터로 변환하여 저장하는 단계; 상기 무선통신 시스템 서버로부터 상기 전송정보에서 지정된 수신 단말기로 상기 문자메시지를 변환한 음성데이터를 전송하는 단계; 및 상기 수신 단말기에서 상기 음성데이터가 재생되는 단계를 포함한다.
본 발명에서, 상기 메시지 전송 방법은 상기 무선통신 시스템 서버로부터 수신 단말기로 음성데이터를 전송하는 단계 이전에 상기 수신 단말기에 메시지가 상기 무선통신 시스템에 저장되었음을 알리는 단계; 및 상기 수신 단말기에서 상기 무선통신 시스템 서버로 상기 음성데이터를 전송할 것을 요청하는 단계를 더 포함하는 것이 바람직하다.
본 발명에서, 상기 발신자로부터 무선통신 시스템 서버로 전송되는 문자메시지의 전송정보는 상기 문자메시지를 음성데이터로 변환할 때 사용할 음색 정보를 포함하는 것이 바람직하다.
본 발명에서, 상기 메시지 전송 방법은 상기 무선통신 시스템 서버에서 상기 문자메시지를 음성데이터로 변환하는 단계 이전에 상기 전송정보에서 지정된 수신 단말기로 문자메시지의 전송을 알리는 단계; 및 상기 수신 단말기에서 상기 무선통신 시스템 서버로 상기 문자메시지를 음성데이터로 변환하여 전송할 것을 요청하는 단계를 더 포함하는 것이 바람직하다.
본 발명의 무선통신 시스템 서버는, 외부로부터 문자정보를 전송받고 상기 문자정보의 내용을 음성데이터로 변환하는 TTS 모듈을 구비하는 것을 특징으로 한다.
본 발명의 메시지 전송 시스템은, 문자메시지의 내용 및 전송정보를 작성하는 메시지 발송장치; 상기 메시지 발신장치로부터 문자메시지의 내용을 전송받고, 상기 문자메시지의 내용을 상기 문자메시지의 전송정보에 따라 음성데이터로 변환하는 TTS 모듈을 구비하는 무선통신 시스템 서버; 및 상기 무선통신 시스템으로부터 상기 음성데이터를 전송받고, 상기 음성데이터를 재생하는 메시지 수신장치를 포함한다.
본 발명에서, 상기 무선통신 시스템 서버는 상기 변환된 음성데이터를 저장하는 저장장치를 구비하는 것이 바람직하다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명하기로 한다. 하기의 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명에 의한 메시지 전송 방법의 일 실시예가 수행되는 과정을 나타낸 흐름도이다.
도 1의 실시예에서, 상기 메시지 전송 방법은, 메시지를 발신하는 장치 등에서 문자메시지의 내용 및 전송정보가 작성되고(S102), 상기 메시지의 내용 및 전송정보가 무선통신 시스템 서버로 전송되며(S103), 상기 무선통신 시스템 서버는 상기 전송정보에서 지정한 메시지 수신 단말기 등 수신장치에 전송될 문자메시지가 있음을 알리고(S104), 상기 수신 단말기 등에 의해 상기 문자메시지를 음성데이터로 변환할 것이 요구되는지 여부에 따라(S105), 음성데이터로의 변환이 요구되지 않는 경우는 상기 문자메시지를 수신 단말기 등으로 전송하여(S106) 수신 단말기 등에서 문자메시지를 확인하도록 하며(S107), 음성데이터로의 변환이 요구되는 경우는 상기 무선통신 시스템 서버 내의 TTS 모듈에서 상기 문자메시지가 음성데이터로 변환되고(S108), 상기 변환된 음성데이터를 상기 무선통신 시스템 서버 내의 저장장치 등에 저장하고 상기 저장사실을 수신 단말기 등에 알리며(S109), 상기 수신 단말기 등으로부터 상기 음성데이터를 전송할 것이 요구되면(S110) 상기 음성데이터를 상기 수신 단말기 등으로 전송하여(S111) 수신 단말기 등에서 음성데이터가 재생되도록 하는 과정(S112)을 거쳐서 문자메시지를 문자 또는 음성의 형태로 메시 지 수신장치에 전송한다.
상기 실시예에서, 상기 문자메시지의 내용 및 전송정보가 작성되는 단계(S102)에서 작성되는 상기 전송정보는, 문자메시지를 수신할 수신장치의 전화번호 등의 정보, 상기 문자메시지가 전송될 시간의 예약 정보 등 메시지의 전송과 관련된 통상적인 데이터를 포함한다. 상기 전송정보는 상기 문자메시지가 반드시 음성데이터의 형태로 전송될 것을 지시하는 데이터를 포함할 수도 있는데, 이 경우, 상기 문자메시지는 이후의 수신 단말기가 음성데이터로의 변환을 요구하는지 여부를 판별하는 단계(S105)에서의 판별결과와 무관하게 또는 상기 단계(S104, S105)를 거치지 않고 음성데이터로 변환되어 전송된다. 또한, 상기 전송정보에는 상기 문자메시지를 음성데이터로 변환하는 경우에, 상기 음성데이터가 지니는 음색, 음의 높낮이 등의 특징에 대한 데이터를 포함할 수도 있다.
상기 실시예에서, 상기 메시지 전송 방법은 필요에 따라서, 상기 무선통신 시스템 서버가 상기 문자메시지를 수신 단말기 등 수신장치로 전송하기 전에 전송될 문자메시지가 있음을 알려(S104), 상기 수신 단말기가 문자메시지를 음성데이터로 수신하기를 원하는지 여부를 판별하는 단계(S105)를 포함할 수 있다. 이는 특히, 수신 단말기 등의 사용자가 운전 중이거나 기타 장애 사유가 있어서 문자 등 시각적 요소로 구성되어 전송되는 메시지를 용이하게 확인할 수 없는 상태에 있어서, 상기 수신 단말기 등 자체에서 전송되는 문자메시지의 전부 또는 일부를 음성의 형태로 수신하도록 설정한 경우를 위한 것이다.
상기 단계(S105)의 수행 결과 수신 단말기 등에서 문자의 형태로 전송하는 것에 이의를 달지 않는 것으로 판별된 경우, 상기 메시지를 문자메시지의 형태 그대로 전송하여 수신 단말기에서 통상적인 방법으로 확인하도록 한다(S106, S107).
상기 실시예에서, 상기 단계(S106)의 수행 결과 수신 단말기 등에서 문자메시지를 음성으로 변환할 것을 요청하는 것으로 판별된 경우 또는 문자메시지가 애당초 음성으로 변환되어 전송될 것으로 설정된 경우 등에는 상기 문자메시지는 문자 음성 변환 기능(TTS(: text to speech) 기능)을 수행하는 TTS 모듈에 의해 음성데이터로 변환된다(S108).
상기 TTS 모듈은 상기 무선통신 시스템 서버 내에 구비되어, 또는 상기 무선통신 시스템 서버와는 별개의 서버 등에 포함되어 상기 무선통신 시스템 서버와의 통신에 의한 방법으로 상기 문자메시지를 음성데이터로 변환한다. 본 발명에서는 상기 TTS 기능을 수행하는 TTS 모듈이 상기와 같이 각 단말기에 구비되는 것이 아니라 별도의 서버에서 구동되므로, 합성된 음성신호 데이터를 저장할 용량 및 음성신호를 합성하는 마이크로프로세서의 연산용량 등이 상대적으로 더 큰 것이 가능하다. 상기 단말기 등과 별도의 서버에서 구동되는 TTS 모듈은 음질이 더 뛰어난 음성신호를 합성할 수 있다.
상기 실시예에서, 상기 메시지 전송 방법은, 상기 단계(S108)에서의 변환으로 획득한 음성데이터를 바로 수신 단말기 등으로 전송할 수도 있고, 필요에 따라 서 상기 수신 단말기 등이 음성데이터를 요구할 때까지 상기 음성데이터를 저장장치 등에 저장하는 단계(S109)를 포함할 수도 있다. 상기 단계(S109)에서는 무선통신 시스템 서버 내에 또는 그 외부의 별도의 서버에 구비되는 저장장치 등에 상기 단계(S108)에서 획득한 음성데이터를 저장하되 상기의 저장사실을 수신 단말기 등에 알리고(S109), 상기 수신 단말기 등에서 상기 저장된 음성데이터를 요구하는 것을 기다려(S110) 상기 음성데이터를 수신 단말기 등으로 전송할 수 있다. 이는 특히, 상기 음성데이터가 고음질로 합성되어 용량이 큰 경우에, 이를 데이터의 저장 용량이 제한적인 수신 단말기 등에 무작정 전송해두는 비효율을 방지하기 위한 것이기도 하다.
도 2는 본 발명에 의한 메시지 전송 시스템의 일 실시예를 간략하게 나타낸 것으로, 상기 실시예의 메시지 전송 시스템은 본 발명에 의한 무선통신 시스템 서버를 포함한다.
도 2의 실시예에서, 메시지 전송 시스템은 메시지 발송장치(201), 무선통신 시스템 서버(202), 및 메시지 수신장치(203)를 포함하며, 상기 무선통신 시스템 서버(202)는 TTS 모듈(204) 및 저장장치(205)를 구비한다.
상기 실시예에서, 상기 메시지 발송장치(201)로부터 상기 무선통신 시스템 내의 TTS 모듈(204)로는 문자메시지의 내용 정보가 전송되고(211), 상기 TTS 모듈(204)로부터 상기 무선통신 시스템 내의 저장장치(205)로는 TTS 모듈에서 상기 문자메시지의 내용으로부터 변환되어 얻어진 음성데이터가 전송되고(212), 상기 저장 장치(204)로부터 상기 메시지 수신장치(203)로는 상기 음성데이터가 전송된다(213).
상기 실시예에서, 무선통신 시스템 서버(202)는 TTS 모듈을 구비하는데, 상기 TTS 모듈(204)은 상기 메시지 발송장치에서 작성되어 전송된 문자메시지를 문자를 판독하여 음성으로 변환하는 문자 음성 변환 기능(TTS 기능)에 의해 음성데이터로 변환한다.
상기 무선통신 시스템 서버(202)는 저장장치를 구비하는 것이 바람직하고, 상기 저장장치(205)는 상기 TTS 모듈에서의 변환 결과로 얻어진 상기 음성데이터를 상기 TTS 모듈로부터 전송받아 저장한다.
상기 메시지 수신장치(203)는 상기 무선통신 시스템 서버(202)로부터, 특히 상기 실시예의 경우에는 저장장치(205)로부터 상기 음성데이터를 전송받으며, 이를 음성으로 재생하여 상기 메시지 발송장치(201)에서 작성된 문자메시지의 내용을 사용자에게 알린다.
상기와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
상기와 같이 본 발명에 의하면, 메시지를 청각적인 방법에 의해 내용을 전달하는 음성데이터의 형태로 전송함으로써, 무선통신 단말기 등의 메시지 수신장치에서 시각적인 방법으로 문자 메시지 등의 메시지를 확인할 수 없는 경우에도 메시지의 내용을 확인할 수 있다.
또한, 본 발명에 의하면, 무선통신 단말기 등의 메시지 수신장치에 문자 음성 변환 기능을 수행하는 모듈이 구비되었는지 여부 또는 상기 모듈의 성능 정도와 관계없이 고음질의 음성데이터로 표현되는 메시지를 수신할 수 있으며, 상기 음성데이터의 음질을 일률적으로 관리, 개선할 수 있다.

Claims (8)

  1. 발신자로부터 무선통신 시스템 서버로 문자메시지의 내용 및 전송정보가 작성되어 전송되는 단계;
    수신 단말기가 음성데이터로의 변환을 요구하는지 감시하는 단계; 및
    수신 단말기가 음성데이터로의 변환을 요구하는지 않는 경우 문자 메시지를 수신 단말기로 전송하여 표시하는 단계를 포함하는 메시지 전송 방법.
  2. 제 1항에 있어서,
    수신 단말기가 음성데이터로의 변환을 요구하는 경우
    문자메시지를 음성데이터로 변환하고 음성데이터의 저장하고, 상기 음성데이터가 저장되었음을 수신 단말기에 알리는 단계;
    수신단말기가 음성데이터의 전송을 요구하는지 체크하는 단계; 및
    사용자가 음성데이터의 전송을 요구하는 경우 이를 수신 단말기로 전송하여 재생하는 단계를 포함하는 메시지 전송방법.
  3. 제 2항에 있어서,
    사용자가 음성데이터의 전송을 요구하지 않는 경우 요청이 있을때 까지 대기하는 단계를 더 포함하는 것을 특징으로 하는 메시지 전송방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
KR20050065974A 2005-07-20 2005-07-20 문자 음성 변환 기능을 이용한 메시지 전송 방법 및 시스템 KR100693423B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20050065974A KR100693423B1 (ko) 2005-07-20 2005-07-20 문자 음성 변환 기능을 이용한 메시지 전송 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20050065974A KR100693423B1 (ko) 2005-07-20 2005-07-20 문자 음성 변환 기능을 이용한 메시지 전송 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20070010958A KR20070010958A (ko) 2007-01-24
KR100693423B1 true KR100693423B1 (ko) 2007-03-12

Family

ID=38012080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20050065974A KR100693423B1 (ko) 2005-07-20 2005-07-20 문자 음성 변환 기능을 이용한 메시지 전송 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR100693423B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100886452B1 (ko) * 2006-12-11 2009-03-04 (주) 비앤디 음성 출력 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027175A (ko) * 1999-09-10 2001-04-06 윤종용 이동통신 시스템에서 음성 메시지 서비스 장치 및 방법
KR20020028501A (ko) * 2000-10-10 2002-04-17 김철권 통신망에서의 음성 데이터와 문자 데이터간의 변환 방법및 그 장치
KR20040013071A (ko) * 2004-01-19 2004-02-11 (주)아이벤트인터랙티브 유명 연예인의 음성을 모사하는 음성 메일 서비스 방법 및그 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027175A (ko) * 1999-09-10 2001-04-06 윤종용 이동통신 시스템에서 음성 메시지 서비스 장치 및 방법
KR20020028501A (ko) * 2000-10-10 2002-04-17 김철권 통신망에서의 음성 데이터와 문자 데이터간의 변환 방법및 그 장치
KR20040013071A (ko) * 2004-01-19 2004-02-11 (주)아이벤트인터랙티브 유명 연예인의 음성을 모사하는 음성 메일 서비스 방법 및그 시스템

Also Published As

Publication number Publication date
KR20070010958A (ko) 2007-01-24

Similar Documents

Publication Publication Date Title
US7489946B2 (en) Cellular phone in form factor of a conventional audio cassette
EP2378754B1 (en) Receiving and sending method of mobile TV phone and mobile TV phone terminal
US20060183466A1 (en) Data reproducing method and apparatus for mobile phone
US20050143139A1 (en) Method for controlling mobile phone to output audio signals and alert sounds through external audio player
US20060128407A1 (en) Transmitting image using mobile terminal
US20100151888A1 (en) Method and system for transmitting and receiving multimedia message
US9661113B2 (en) Wireless communication system and method for continuously performing data communication while the folder type wireless communication device in the closed state
EP1532813B1 (en) Ancillary information transmission while user is on hold during a telecommunications device teleconference
US20030050053A1 (en) Communication apparatus
KR100693423B1 (ko) 문자 음성 변환 기능을 이용한 메시지 전송 방법 및 시스템
US20090074208A1 (en) Method for outputting background sound and mobile communication terminal using the same
EP1238519B1 (en) Method and system for placing a telephone call
JP4429947B2 (ja) 携帯端末装置
US20030060191A1 (en) Communications apparatus
JP3789274B2 (ja) 移動体通信端末
US20070178925A1 (en) System and method for providing PTT service according to user state
US20040032939A1 (en) Communication system, hold control method therefor, telephone set, control method therefor and recording medium
JP4027571B2 (ja) 電話装置および電話制御方法
KR20050099368A (ko) 휴대폰의 전화번호 변경 안내 방법
KR100745297B1 (ko) 메세지 청취가 가능한 음성합성 단말장치와 메세지 청취 제어방법
CN117082176A (zh) 播放和提供来电铃音的方法、终端、服务器、介质
JP2005222410A (ja) 車載用ハンドフリーメール装置
KR100883061B1 (ko) 통신 단말기의 홀드 메시지 처리 장치 및 방법
JP2019176457A (ja) テキストメッセージ送信装置及びその方法
KR20010035279A (ko) 발신자정보표시장치를 이용한 티켓 예약 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140224

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160224

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee