KR100585639B1 - Remote controlling method by voice recognition - Google Patents

Remote controlling method by voice recognition Download PDF

Info

Publication number
KR100585639B1
KR100585639B1 KR1019990014212A KR19990014212A KR100585639B1 KR 100585639 B1 KR100585639 B1 KR 100585639B1 KR 1019990014212 A KR1019990014212 A KR 1019990014212A KR 19990014212 A KR19990014212 A KR 19990014212A KR 100585639 B1 KR100585639 B1 KR 100585639B1
Authority
KR
South Korea
Prior art keywords
voice recognition
remote control
voice
recognition function
command
Prior art date
Application number
KR1019990014212A
Other languages
Korean (ko)
Other versions
KR20000066833A (en
Inventor
이윤근
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1019990014212A priority Critical patent/KR100585639B1/en
Publication of KR20000066833A publication Critical patent/KR20000066833A/en
Application granted granted Critical
Publication of KR100585639B1 publication Critical patent/KR100585639B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H04Q9/02—Automatically-operated arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)
  • Details Of Television Systems (AREA)

Abstract

본 발명은 음성인식에 의한 원격 제어 방법에 관한 것으로, 종래의 기술에 있어서 음성인식 기능을 리모콘에 부가할 경우는 리모콘 제작에 드는 비용 및 크기가 증가할 뿐 아니라 리모콘이 고장나거나 파손될 경우 소모품인 리모콘을 고가로 구입해야 하며, 새로 구입한 리모콘에 음성명령을 새롭게 등록시켜야 하는 문제점이 있었으며 또한, 리모콘을 사용하지 않고 가전기기 자체에 음성인식 기능이 부가된 경우는 항상 음성인식 기능이 온상태로 되어 있기 때문에 가전기기 자체에서 발생되는 음향 또는 주위의 소음을 제어명령으로 잘못 인식하여 기기가 오동작을 하게 되는 문제점이 있었다. 따라서, 본 발명은 음성 명령에 의해서만 가전기기를 제어할 경우 일반 리모콘의 모든 기능키를 제거하고 음성인식 기능을 온시키는 음성인식 키만 부가하므로써 리모콘을 소형화시킬 수 있고, 또한 최소한의 기능키만 부가되어 있는 간편 리모콘에 음성인식 키를 추가할 경우에는 간편 리모콘에 없는 기능을 음성명령을 이용해 수행시킬 수 있게 되어 크기는 작으면서 더 많은 기능을 음성명령을 통해 이용할 수 있을 뿐만 아니라, 음성명령을 입력할 동안은 오동작의 원인이 되는 자체의 음향을 감소시킨 후 음성인식 기능을 온되게 하므로써 정확한 음성을 인식하도록 하여 오동작을 방지하는 효과가 있다.The present invention relates to a remote control method by voice recognition, in the prior art, when the voice recognition function is added to the remote control not only increases the cost and size required for manufacturing the remote control, but also a remote control that is a consumable product when the remote control is broken or damaged. There is a problem that you need to purchase at a high price, and newly register a voice command to a newly purchased remote control. Also, when a voice recognition function is added to the home appliance itself without using the remote control, the voice recognition function is always on. Therefore, there was a problem that the device malfunctions because the sound generated from the home appliance itself or the ambient noise is incorrectly recognized as a control command. Therefore, the present invention can reduce the size of the remote control by only adding a voice recognition key to remove all the function keys of the general remote control and turn on the voice recognition function when controlling the home appliance only by a voice command, and also adds only a minimum function key If you add a voice recognition key to the simple remote control, you can use voice commands to perform functions that are not available on the simple remote control. While reducing the sound of itself that causes the malfunction while the voice recognition function is turned on to recognize the correct voice has the effect of preventing the malfunction.

Description

음성인식에 의한 원격 제어 방법{REMOTE CONTROLLING METHOD BY VOICE RECOGNITION}Remote control method by voice recognition {REMOTE CONTROLLING METHOD BY VOICE RECOGNITION}

도1은 본 발명을 적용한 텔레비젼의 개략적인 구성을 보인 블록도.1 is a block diagram showing a schematic configuration of a television to which the present invention is applied;

도2는 본 발명에 의한 원격 제어 방법을 보인 순서도.Figure 2 is a flow chart showing a remote control method according to the present invention.

본 발명은 음성인식에 의한 원격 제어 방법에 관한 것으로, 특히 음성인식 기능을 오디오와 같은 가전기기에 설치하고 리모콘 등의 원격 제어 장치를 통하여 가전기기의 음성인식 기능을 온/오프 시킴에 따라 가전기기 자체에서 발생하는 음향을 자동으로 일정 레벨 이하로 조절하여 정확한 음성인식이 되게 하므로써 가전기기의 오동작을 방지하는 음성인식에 의한 원격 제어 방법에 관한 것이다.The present invention relates to a remote control method by voice recognition, and more particularly, by installing a voice recognition function in a home appliance such as audio and turning on / off the voice recognition function of a home appliance through a remote control device such as a remote control. The present invention relates to a remote control method by voice recognition that prevents a malfunction of home appliances by automatically adjusting the sound generated by itself to a predetermined level or less to achieve accurate voice recognition.

일반적으로 오디오나 텔레비젼 등의 가전기기는 생활 필수품이라고 할 정도로 여가 및 정보수집 또는 교육 분야에 있어서 그 활용성이 증가하는 등 현대인의 일상 생활에서 중요한 부분을 차지하고 있으며 여기에 리모콘의 등장으로 원거리의 앉은 자리에서도 간단한 스위치(키) 조작에 의해 가전기기를 원격 제어할 수 있게 되었다. In general, home appliances such as audio and television are important parts of the daily life of modern people, such as the increased use in leisure, information gathering, or education to the extent that they are called necessities of life. The simple switch (key) operation also allows remote control of home appliances.

그러나, 이러한 가전기기에 여러가지 부가기능이 더 추가되고 성능이 향상됨에 따라 리모콘에 추가되는 스위치(키)의 수도 더욱 많아지게 되어 사용 방법이 어려워지고, 복잡해지게 되어 리모콘의 편리성이 많이 감소하게 되었다.However, as various additional functions are added to these home appliances and performance is improved, the number of switches (keys) added to the remote control becomes more and more difficult to use, and the complexity of the remote control is greatly reduced. .

이에 따라 리모콘의 복잡한 스위치(키) 대신에 텔레비젼이나 오디오 또는 리모콘 자체에 마이크 및 음성인식 수단을 장착하고 사용자가 음성을 이용하여 제어명령을 내리면 상기 마이크를 통해 입력되는 음성을 인식하게 함으로써, 음성명령에 의해 상기 가전기기의 동작이 제어되도록 하였으나 이를 위해서는 음성인식 기능이 늘 온상태로 되어 있으면서 사용자의 음성명령을 기다려야 하기 때문에 주위의 일반적인 대화라던가 또는 다른 소음들이 음성명령으로 잘못 인식되어 오동작을 유발시키게 될 뿐만 아니라 상기 텔레비젼, 오디오등에서 발생하는 음향의 크기가 사용자의 음성명령에 비해서 매우 크므로 음성인식 성능이 저하되어 오동작을 하게되므로써 편리함보다는 오히려 불편함이 더 많았었다.Accordingly, instead of a complicated switch (key) of the remote control, a microphone and a voice recognition means are installed in the television or audio or the remote control itself, and when a user gives a control command using voice, the voice input is recognized by the microphone. In order to control the operation of the home appliance, the voice recognition function is always on, and thus the user must wait for the user's voice command. Therefore, general conversations or other noises around the user are incorrectly recognized as the voice command and cause a malfunction. In addition, the volume of the sound generated from the television, audio, etc. is much larger than the user's voice command, so the voice recognition performance is degraded and thus malfunctions.

이와 같이, 상기 종래의 기술에 있어서 음성인식 기능을 리모콘에 부가할 경우는 리모콘 제작에 드는 비용 및 크기가 증가할 뿐 아니라 리모콘이 고장나거나 파손될 경우 소모품인 리모콘을 고가로 구입해야 하며, 새로 구입한 리모콘에 음성명령을 새롭게 등록시켜야 하는 문제점이 있었으며 또한, 리모콘을 사용하지 않고 가전기기 자체에 음성인식 기능이 부가된 경우는 항상 음성인식 기능이 온상태로 되어 있기 때문에 가전기기 자체에서 발생되는 음향 또는 주위의 소음을 제어명령으로 잘못 인식하여 기기가 오동작을 하게 되는 문제점이 있었다.As described above, when the voice recognition function is added to the remote control according to the related art, the cost and the size of the remote control are not only increased, but the remote control, which is a consumable item, must be purchased at a high price when the remote control is broken or damaged. There was a problem that the voice command must be newly registered on the remote control. Also, when the voice recognition function is added to the home appliance itself without using the remote control, the voice recognition function is always turned on, so There was a problem that the device malfunctions because the ambient noise is incorrectly recognized as a control command.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, 가전기기에 음성인식 기능을 부가하고 리모콘을 통해 상기 음성인식 기능을 온/오프 시킬 수 있도록 하여 음성인식 기능이 온되면 가전기기는 자체의 음향을 자동으로 뮤트 또는 일정 레벨 이하로 낮추어 정확한 음성인식이 이루어질 수 있도록 하여 가전기기의 오동작을 방지하는 음성인식에 의한 원격 제어 방법을 제공 하는데 그 목적이 있다.Accordingly, the present invention has been made to solve the above-mentioned problems, and when the voice recognition function is turned on by adding a voice recognition function to the home appliance and turning on / off the voice recognition function through a remote controller The purpose of the device is to provide a remote control method by voice recognition to prevent the malfunction of home appliances by automatically muting or lowering the sound below a certain level so that accurate voice recognition can be achieved.

이와 같은 목적을 달성하기 위한 본 발명은, 리모콘으로 부터 입력되는 제어신호를 입력받아 음성인식 기능을 온시키는 신호인지 또는 일반적인 기능키의 신호인지를 판단하는 제1단계와; 상기 단계의 판단에 의해 일반 기능키의 신호일 경우에는 그 기능키에 해당하는 동작을 수행하고, 음성인식 기능 신호일 경우에는 가전기기 자체의 음향을 뮤트시키거나 소정레벨 이하로 감소시키는 제2단계와; 일정시간 동안 사용자의 음성 명령을 입력받아 음성구간을 검출하는 제3단계와; 상기 3단계에서 음성구간이 검출되지 않으면 음성인식에 실패한것으로 판단하여 적당한 메시지와 함께 음성인식 모드를 빠져나오고, 음성구간이 검출되면 해당 음성명령을 인식하여 제어동작을 수행하는 제4단계로 이루어짐으로써 달성되는 것으로, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.The present invention for achieving the above object comprises a first step of determining whether a signal for turning on a voice recognition function or a signal of a general function key by receiving a control signal input from a remote controller; A second step of performing the operation corresponding to the function key in the case of the signal of the general function key by the determination of the step; A third step of receiving a voice command of a user for a predetermined time and detecting a voice section; In step 3, if the voice section is not detected, it is determined that the voice recognition has failed and exits the voice recognition mode with an appropriate message. When the voice section is detected, the fourth step is performed to recognize the corresponding voice command and perform a control operation. As described above, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도1은 본 발명을 적용한 텔레비젼의 개략적인 구성을 보인 블록도로서, 이에 도시한 바와 같이 원격 제어 장치(1)에서 출력되는 키신호 및 음성신호를 수신하는 원격신호 수신부(2)와; 텔레비젼(7)의 제어에 필요한 음성명령의 어휘를 미리 저장해 두는 메모리부(3)와; 상기 메모리부(3)에 저장된 음성명령의 어휘와 음성 입력부(4)를 통해 입력되는 음성을 비교하여 해당 제어명령을 확인하는 음성인식부(5)와; 상기 각 구성부(2∼5)의 제어 및 이를 통해 분석된 명령에 의해 텔레비젼(7)의 해당 구성요소를 제어하는 제어부(6)로 구성된 것으로, 이와 같이 구성된 장치에 의해 본 발명의 동작 및 작용을 도2의 순서도를 참조하여 설명한다.1 is a block diagram showing a schematic configuration of a television to which the present invention is applied, and as shown therein, a remote signal receiver 2 for receiving a key signal and an audio signal output from the remote control apparatus 1; A memory unit 3 for storing vocabulary of voice commands necessary for controlling the television 7 in advance; A voice recognition unit 5 for comparing the vocabulary of the voice command stored in the memory unit 3 with the voice input through the voice input unit 4 and confirming a corresponding control command; The control unit 6 controls the corresponding components of the television 7 by the control of the components 2 to 5 and the commands analyzed therefrom. Will be described with reference to the flowchart of FIG.

일단, 상기 원격 제어 장치(1)가 종래와 같이 일반 기능키로 구성된 리모콘에 음성인식 키가 추가되어 구성되었다고 할 경우 사용자가 텔레비젼을 제어하기 위해 일 반 기능키를 누르게 되면 제어부(6)는 원격신호 수신부(2)를 통해 신호를 입력받아 그 신호가 의미하는 명령을 분석하여 텔레비젼(7)의 튜너부(7a)를 조절하여 채널을 변경하거나, 음향 프로세서(7b)를 조절하여 볼륨 등을 조절하게 된다.Once the remote control device 1 is configured to add a voice recognition key to a remote controller made of a general function key as in the related art, when the user presses a general function key to control a television, the control unit 6 displays a remote signal. Receives a signal through the receiving unit 2 and analyzes the command meaning of the signal to adjust the tuner unit 7a of the television 7 to change the channel or adjust the volume by adjusting the acoustic processor 7b. do.

그러나, 원격신호 수신부(2)를 통해 입력받은 신호가 음성인식 키인 경우, 제어부(6)는 사용자의 음성명령을 입력받을 수 있도록 상기 각 구성부(4,5)를 제어하여 음성인식 모드로 전환하고, 이어서 음성 입력부(4)를 통해 입력되는 음성신호를 메모리부(3)에 저장되어 있는 제어명령의 어휘와 비교하여 일치되는 어휘에 의해 어떤 명령이 입력되었는지를 분석하게 된다.However, when the signal received through the remote signal receiver 2 is a voice recognition key, the controller 6 controls each of the components 4 and 5 so as to receive a voice command of the user, thereby switching to the voice recognition mode. Subsequently, the voice signal input through the voice input unit 4 is compared with the vocabulary of the control command stored in the memory unit 3 to analyze which command is input by the matching vocabulary.

여기서, 음성인식 모드로 전환될 경우 제어부(6)는 자동으로 볼륨을 뮤트(MUTE)시키거나 음성명령으로 오인식 되지 않을 정도의 소정레벨 이하로 조절하게 되며, 상기 음성인식부(5)에 의해 저장, 비교되는 음성은 기 설정된 프로그램에 의해 사용자가 음성인식 키를 계속 누르고 있는 동안에 입력되는 음성신호이거나, 또는 사용자가 처음 음성인식 키를 눌러 음성인식 모드로 전환된 다음 가장 긴 음성명령의 길이를 기준으로 하여 소정 시간동안 입력되는 음성을 저장시키게 된다.In this case, when switching to the voice recognition mode, the control unit 6 automatically mutes the volume or adjusts it to a predetermined level or less so as not to be mistaken by a voice command, and stored by the voice recognition unit 5. The voice to be compared is a voice signal inputted by the user while the user presses the voice recognition key by a preset program, or based on the length of the longest voice command after the user first presses the voice recognition key to switch to the voice recognition mode. As a result, the voice input for a predetermined time is stored.

이하, 상기 음성인식부(5)에 의해 사용자의 음성명령이 인식되면 제어부(6)는 상기 설명된 기능키를 눌렀을 때의 동작과 마찬가지로 상기 음성명령에 따라 텔레비젼(7)의 해당 요소를 제어하고, 볼륨을 음성인식 모드로 전환하기 전의 원래 상태로 되돌린다.When the voice command of the user is recognized by the voice recognition unit 5, the control unit 6 controls the corresponding element of the television 7 in accordance with the voice command as in the operation when the function key described above is pressed. , To return the volume to its original state before switching to voice recognition mode.

이상에서 설명한 바와 같이 본 발명 음성인식에 의한 원격 제어 방법은 음성 명령에 의해서만 가전기기를 제어할 경우 일반 리모콘의 모든 기능키를 제거하고 음성 인식 기능을 온시키는 음성인식 키만 부가하므로써 리모콘을 소형화시킬 수 있다.
또한, 본 발명은 최소한의 기능키만 부가되어 있는 간편 리모콘에 음성인식 키를 추가할 경우에는 간편 리모콘에 없는 기능을 음성명령을 이용해 수행시킬 수 있게 되어 크기는 작으면서 더 많은 기능을 음성명령을 통해 이용할 수 있을 뿐만 아니라, 음성명령을 입력할 동안은 오동작의 원인이 되는 자체의 음향을 감소시킨 후 음성인식 기능을 온되게 하므로써 정확한 음성을 인식하도록 하여 오동작을 방지하는 효과가 있다.As described above, the remote control method using the voice recognition according to the present invention can reduce the size of the remote control by removing only all the function keys of the general remote control and adding the voice recognition key to turn on the voice recognition function when the home appliance is controlled only by the voice command. have.
In addition, in the present invention, when the voice recognition key is added to the simple remote controller to which only a minimum function key is added, a function that is not present in the simple remote controller can be performed by using a voice command. Not only can it be used, but also while inputting a voice command, by reducing the sound of its own cause of the malfunction and then turn on the voice recognition function has the effect of preventing the malfunction by recognizing the correct voice.

Claims (4)

리모콘으로 부터 음성인식 기능신호를 입력받는 제1단계와; A first step of receiving a voice recognition function signal from a remote controller; 상기 음성인식 기능신호에 의해 음성인식 기능이 '온'되면, 가전기기 자체의 음향을 뮤트시키거나 소정레벨 이하로 감소시키는 제2단계와; A second step of muting the sound of the home appliance itself or reducing it to a predetermined level or less when the voice recognition function is 'on' by the voice recognition function signal; 상기 음성인식 기능이 구동되는 동안 입력된 음성에 대해 음성명령으로 인식하는 제3단계를 포함하여 이루어진 것을 특징으로 하는 음성인식에 의한 원격 제어 방법.And a third step of recognizing a voice command with respect to the input voice while the voice recognition function is being driven. 제1항에 있어서, 상기 음성명령은The method of claim 1, wherein the voice command is 상기 리모콘의 음성인식 키가 눌려있는 동안 음성인식 기능을 '온'시켜, 그때 입력되는 음성으로부터 음성명령을 인식하도록 이루어진 것을 특징으로 하는 음성인식에 의한 원격 제어 방법.And a voice recognition function 'on' while the voice recognition key of the remote controller is pressed to recognize a voice command from the voice input at that time. 제1항에 있어서, 상기 음성명령은The method of claim 1, wherein the voice command is 상기 리모콘의 음성인식 키가 한번 눌려진 후 소정시간 동안 음성인식 기능의 '온'상태를 유지하여, 그때 입력되는 음성으로부터 음성명령을 인식하도록 이루어진 것을 특징으로 하는 음성인식에 의한 원격 제어 방법.The voice recognition key of the remote control is pressed once to maintain the 'on' state of the voice recognition function for a predetermined time, the remote control method by voice recognition, characterized in that configured to recognize the voice command from the voice input at that time. 삭제delete
KR1019990014212A 1999-04-21 1999-04-21 Remote controlling method by voice recognition KR100585639B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990014212A KR100585639B1 (en) 1999-04-21 1999-04-21 Remote controlling method by voice recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990014212A KR100585639B1 (en) 1999-04-21 1999-04-21 Remote controlling method by voice recognition

Publications (2)

Publication Number Publication Date
KR20000066833A KR20000066833A (en) 2000-11-15
KR100585639B1 true KR100585639B1 (en) 2006-06-02

Family

ID=19581339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990014212A KR100585639B1 (en) 1999-04-21 1999-04-21 Remote controlling method by voice recognition

Country Status (1)

Country Link
KR (1) KR100585639B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970057509A (en) * 1995-12-19 1997-07-31 배순훈 Start control device of television by voice recognition
KR0138148B1 (en) * 1992-08-13 1998-06-15 강진구 Audio signal detecting circuit
KR0170140B1 (en) * 1996-06-22 1999-03-30 배순훈 Voice recognition unit of home automation
KR19990013443U (en) * 1997-09-26 1999-04-15 전주범 Television with voice recognition function

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0138148B1 (en) * 1992-08-13 1998-06-15 강진구 Audio signal detecting circuit
KR970057509A (en) * 1995-12-19 1997-07-31 배순훈 Start control device of television by voice recognition
KR0170140B1 (en) * 1996-06-22 1999-03-30 배순훈 Voice recognition unit of home automation
KR19990013443U (en) * 1997-09-26 1999-04-15 전주범 Television with voice recognition function

Also Published As

Publication number Publication date
KR20000066833A (en) 2000-11-15

Similar Documents

Publication Publication Date Title
KR100552468B1 (en) an electronic-apparatus and method for preventing mis-operation and rising speech recognition rate according to sound recognizing
CN1980055A (en) Sound-volume control system and method
KR100585639B1 (en) Remote controlling method by voice recognition
JP2008122044A (en) Controller for air conditioner
JP2002108390A (en) Speech recognition system and computer-readable recording medium
KR100215653B1 (en) Alarm device and method of electronics equipment
KR970005504B1 (en) Up/down method for a volume
KR100487370B1 (en) Apparatus and Method for Removing Sound Noise of The TV
KR20010030122A (en) Method and apparatus for speech recognition
KR100336960B1 (en) System and method for recognizing voice signal for reducing load
KR100212127B1 (en) On time function execution method for multi picture signal record-reproduce device
KR101001000B1 (en) Method of guiding preferred channels for visually handicapped person
KR20020033972A (en) Adaptiv type sound recognition television having learning function
KR940017847A (en) Caption caption automatic display device and method
EP1003283A2 (en) Audio signal processing device
KR0136480Y1 (en) Compact disk player power control circuit
KR20170081611A (en) Apparatus and method for voice control
KR20050000084A (en) Method for controlling the television of checking sound mute
KR20000004020A (en) Apparatus and method performing an on-time function of a television set
KR20040100723A (en) Apparatus of auto volume controller
JPH04152399A (en) Voice recognizing device
KR970057535A (en) Voice control method and apparatus for television receiver
KR19990058755A (en) TV's antenna self-diagnosis method
KR19990025631A (en) Color enhancement on televisions with adaptive color adjustment
KR960009633A (en) Telephone message storage using television

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110328

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee