KR100380538B1 - 음성인식 기능이 구비된 키보드 - Google Patents

음성인식 기능이 구비된 키보드 Download PDF

Info

Publication number
KR100380538B1
KR100380538B1 KR10-2000-0072885A KR20000072885A KR100380538B1 KR 100380538 B1 KR100380538 B1 KR 100380538B1 KR 20000072885 A KR20000072885 A KR 20000072885A KR 100380538 B1 KR100380538 B1 KR 100380538B1
Authority
KR
South Korea
Prior art keywords
voice
keyboard
keys
input
signal
Prior art date
Application number
KR10-2000-0072885A
Other languages
English (en)
Other versions
KR20020043771A (ko
Inventor
류영호
Original Assignee
(주)씨아이정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨아이정보기술 filed Critical (주)씨아이정보기술
Priority to KR10-2000-0072885A priority Critical patent/KR100380538B1/ko
Publication of KR20020043771A publication Critical patent/KR20020043771A/ko
Application granted granted Critical
Publication of KR100380538B1 publication Critical patent/KR100380538B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202Constructional details or processes of manufacture of the input device
    • G06F3/021Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202Constructional details or processes of manufacture of the input device
    • G06F3/0219Special purpose keyboards
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

본 발명은 음성인식 기능이 구비된 키보드에 관한 것으로서, 문자, 숫자, 각종 기능을 나타내는 키의 키동작에 의해 전류의 증감 형태의 전기적 신호를 제공하는 기계적 스위치와, 상기 기계적 스위치의 키 각각의 명칭에 대한 음성신호가 하나 이상 미리 저장되며, 상기 음성신호의 입력에 해당되는 소정 전기적 신호를 발생시키는 음성인식 수단과, 상기 기계적 스위치와 상기 음성인식 수단으로부터 입력되는 신호를 판단하여 그에 대한 스캔코드를 제공하는 마이크로 프로세서를 구비하여 이루어진다.
이로써, 문자, 키보드의 숫자를 나타내는 키는 물론 다른 기능키 또한 연속음성 명령인식에 의해 조작할 수 있으므로 음성으로 구현한 키보드의 가격을 낮출 수 있고, 음성과 수작업이 병행될 수 있으므로 빠른 작업이 이루어져서 컴퓨터 작업능률이 향상되는 효과가 있다.

Description

음성인식 기능이 구비된 키보드{Keyboard having a function of speech recognition}
본 발명은 음성인식 기능이 구비된 키보드에 관한 것으로서, 보다 상세하게는 키보드를 이루는 각 문자키, 숫자키, 기능키, 특수키 등의 키 입력을 수타(手打)에 의한 것과 병행하여 사용자가 직접 연속적/간헐적인 음성입력으로도 인식되도록 구현하기 위한 음성인식 기능이 구비된 키보드에 관한 것이다.
일반적으로 개인용 컴퓨터나 워크스테이션 등의 프로세서가 구비되어 있는 전자제품에는 키보드가 사용되어 각종 문자, 숫자 등의 자판입력과, 특수 기능 등의 명령을 입력하기 위한 입력수단으로 사용되고 있다. 해당되는 키의 개수에 따라 86키, 101키, 103키, 106키가 있으며, 이들 키보드는 컴퓨터의 중앙처리장치(CPU)의 진보와 함께 발전되어 왔다. 즉, 86키는 XT, AT에서 101키는 386급 이상에서 사용되었으며, 103키는 101키에 한/영 전환키와 한자키가 더 있는 것이고, 106키는 윈도95에 따라 새롭게 나타난 키보드이다. 그런데, 이러한 키보드는 단순히 사용자의 손에 의지하여 각 키가 눌려져서 입력이 되는 것이므로 항상 소정의 기능 수행을 위해서는 사용자의 조작이 필요하였다.
즉, 키보드에 익숙한 사람이라 할지라도 각종 기능키들, 예를 들면 'F1' ~ 'F12', 'Insert', 'Delete', 'Home', 'End', 'Page Up', 'Page Down', 'Shift', 'Ctrl', 'Alt', '한/영', 'Space Bar' 등의 키들은 키를 능숙하게 다루지 못해서 오타를 내거나 눈으로 직접 확인한 후에 누름으로써 시간낭비와 불편을 초래하는 경우가 많았다.
또한, 음성인식에 의해 키 입력이 이루어지는 키보드가 개발되었는데, 연속적인 음성명령에 대한 음성인식률이 높지 않았으며, 경제적인 비용부담요인이 있는 등 오히려 사용상의 불편을 주게 되었다. 즉, 음성명령에 대한 인식률이 50% 정도로 현저히 낮은 것이었으며, 자연스러운 연속음이 아닌 또박또박 끊어서 하는 방식의 음성인식 방식으로 처리속도가 느리고 사용상의 불편이 증가하는 문제점이 있었다. 그리고, 마이크가 필수적으로 사용되기 때문에 컴퓨터 작업상 능률이 저하되는 문제점이 있었다.
전술한 문제점을 해결하기 위한 본 발명의 목적은, 문자, 숫자, 기능키 및 특수키 등 각각의 기능은 물론, 소정의 프로그램의 특정기능을 나타내는 키보드의 키 작업이 사용자의 연속음성 명령으로 인식되어 음성신호의 입력으로 이루어지도록 함으로써 작업효율을 높이고, 키보드 위주의 작업에서 마우스와 음성신호 입력이 병행되어 작업이 이루어져서 사용자 편의에 의한 키 작업이 이루어지도록 하기 위한 음성인식 기능이 구비된 키보드를 제공하는 데 있다.
도1은 본 발명에 따른 음성인식 기능이 구비된 키보드의 실시예에 의한 키보드와 컴퓨터 본체 및 모니터를 나타내는 블록도이다.
도2는 본 발명에 따른 실시예의 기능키의 음성신호 생성의 예를 나타내는 흐름도이다.
도3은 본 발명에 따른 실시예에 의한 키보드를 이용한 키입력 과정을 나타내는 흐름도이다.
도4는 본 발명에 의한 키보드의 형상을 개략적으로 나타내기 위해 부분 절개한 도면이다.
※ 도면의 주요 부분에 대한 부호의 설명
10 : 키보드 11 : 키
12 : 마이크로 프로세서 13 : 개송구
14 : 절환부 15 : 음성인식칩
16 : 기판 20 : 본체
22 : 바이오스 (BIOS) 30 : 모니터
40 : 헤드셋
상기 목적을 달성하기 위한 본 발명에 따른 음성인식 기능이 구비된 키보드는, 문자, 숫자, 각종 기능을 나타내는 키의 키동작에 의해 전류의 증감 형태의 전기적 신호를 제공하는 기계적 스위치; 상기 기계적 스위치의 키 각각의 명칭에 대한 음성신호가 하나 이상 미리 저장되며, 상기 음성신호의 입력에 해당되는 소정 전기적신호를 발생시키는 음성인식 수단; 및 상기 기계적 스위치와 상기 음성인식 수단으로부터 입력되는 신호를 판단하여 그에 대한 스캔코드를 제공하는 마이크로 프로세서를 구비하여 이루어진다.
상기 음성인식 수단은 상기 키 중 기능키, 특수기능 키, 영문키에 대한 음성신호를 인식하여 그에 대한 전기적 신호를 제공할 수 있으며, 특정 프로그램의 사용빈도가 높은 명령어 및 기능에 대한 명령을 나타내는 음성신호를 전기적 신호로 제공하는 것이 바람직하다.
상기 키보드에는 상기 음성인식 수단에 음성신호를 전기적 신호로 제공하는 음성신호 제공수단이 더 연결될 수 있으며, 음성이 상기 음성인식 수단에 전달되도록 하는 개송구(開送口)가 일측에 형성될 수 있다.
이하, 본 발명의 구체적인 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
먼저 도1을 참조하면, 본 발명에 의한 실시예의 키보드(10)와 컴퓨터 본체(20), 그리고 모니터(30)가 연결되어 있음을 볼 수 있으며, 키보드(10)는 키(11)의 눌림에 따라 접지되면서 전류의 증감 상태가 파악되는 마이크로 프로세서(12)와, 다수의 구멍이 뚫려 있어서 음성이 입력되도록 개방되어 있는 개송구(13)를 통해 들어오는 음성을 감지하여 음성신호를 마이크로 프로세서(12)에 제공하는 음성인식칩(15)이 구비되어 있으며, 음성신호가 헤드셋(40)을 통해 키보드에 입력될 경우 개송구(13)를 통해 입력되는 음성신호를 단속하기 위한 절환부(14)가 더 구비되어 이루어진다. 음성인식칩(15)은 자동 음성인식 엔진이 탑재된 칩으로써 ASR(Automatic Speech Recognition)을 이용하는데, 연속적인 음성명령에서도 인식률과 처리속도가매우 높은 특징이 있다.
전술한 바와 같은 구성에 의해 필요한 특정 문자, 숫자, 기능키, 특수키 등을 입력시킬 필요가 있는 경우에는 이들에 대한 명칭을 음성으로 입력하여 음성신호가 개송구(13)를 통해 음성인식칩(15)에서 처리되어서 그에 대한 소정의 코드가 마이크로 프로세서(12)로 제공된다. 그러면, 스캔코드(Scan Code)가 본체(20)의 바이오스 (22, BIOS : Basic Input/Output System)로 입력됨으로써 해당 기능에 대한 처리작업이 수행된다.
그리고, 음성신호는 키보드(10)의 일측에 설치되는 연결잭을 통해 연결되는 헤드셋 (40)을 통해 입력될 수 있는데, 이때에는 개송구(13)를 통해 입력되는 음성신호를 차단해야 할 필요가 있다. 절환부(14)는 상기 차단기능을 수행하는데, 헤드셋(40)이 연결잭에 삽입되면 자동으로 스위칭 상태를 'A-C'에서 'B-C'로 절환되게 함으로써 음성신호 입력 경로를 변경한다.
본 발명의 실시예에 따른 키보드(10)의 구체적인 예가 도4에 도시되어 있는데, 키보드(10)의 양변부에는 개송구(13)가 설치되어 있으며, 내부에는 마이크로 프로세서(12), 음성인식칩(15), 절환부(14), 그리고 기판(16)이 구비되어 있음을 볼 수 있다. 또한 키보드의 일측면에는 헤드셋(40)이 연결되는 잭이 설치되어 있어서 헤드셋(40)에 의한 음성신호가 입력되도록 구성된다.
도2는 개송구(13) 또는 헤드셋(40)을 통해 입력되는 음성신호의 표준을 설정하기 위한 흐름을 나타낸 것으로 전술한 키보드 각각의 키들에 하나 또는 그 이상의 음성샘플을 입력할 수 있다. 이때의 음성샘플은 음성인식칩(15)에 저장되어 입력되는음성신호로 구별되어 마이크로 프로세서(12)로 제공된다.
이를 위해 먼저, 음성인식을 위한 프로그램에서 키보드(10) 기능 설정을 위한 기능을 선택하고(S2), 음성인식 기능을 선택한다(S4). 음성인식을 원하는 키 중 하나를 선택하고(S6) 첫 번째 음성을 발음하여 제1음성명령을 입력하여(S8) 그에 대한 스캔코드와 일치시킨다(S10). 그리고, 두 번째 음성을 발음하여 제2음성명령을 입력하고(S12) 스캔코드와 일치시킨다(S14). 차례로 음성인식을 원하는 키들을 차례로 입력하여 입력이 완료되면 입력정보를 저장하여(S18) 음성인식 설정을 종료한다.
이와 같이 본 발명의 실시예에서 구현하고자 하는 각 기능키 및 특수키들과 그에 대한 제1음성명령 및 제2음성명령의 예가 다음의 표1에 제시되어 있고, 숫자는 표2에 영문자에 대한 예는 표3에 제시되어 있다.
그리고, 키의 다른 기능을 수행하는 '~', '!', '@' 등의 기호와 'Print Screen/SysRq', 화살표 등의 기능들도 음성으로 처리될 수 있으며, 익스플로러, 넷스케이프 등의 브라우저는 물론 MS워드, 엑셀, 한글, 파워포인트 등의 프로그램에서의 특별한 기능은 물론 컴퓨터 시스템의 시작/종료도 구현될 수 있다.
이와 같이 음성명령으로 입력된 각 키들의 기능이 제어되는 과정을 도3을 참조하여 설명한다.
즉, 도3에 의하면, 이상에서 설명한 바와 같은 음성신호, 키입력 신호처리 과정은, 먼저 헤드셋(40)이 연결되었는지의 여부에(S20) 의해 다른 처리과정을 밟게 된다.
헤드셋(40)이 연결되어 있는 경우에는 전술한 바와 같이 절환부(14)에 의해 개송구측의 입력을 차단하고(S22), 음성신호를 기다린다. 음성신호가 입력되면(S24) 등록된 신호인지의 여부에 따라(S26) 등록된 음성신호가 입력된 경우에는 해당되는 키의 코드를 입력한다(S28). 등록된 음성신호가 아닌 경우에는 해당 입력에 대한 오류안내를 하거나 무시하고(S30) 다시 음성신호를 기다린다.
각 영문자별 음성명령 신호
기능키 제1음성명령 제2음성명령 기능키 제1음성명령
A 대문자 에이 대 에이 a 에이
B 대문자 비이 대 비이 b 비이
C 대문자 시이 대 시이 c 시이
D 대문자 디이 대 디이 d 디이
E 대문자 이이 대 이이 e 이이
F 대문자 에프 대 에프 f 에프
G 대문자 지이 대 지이 g 지이
H 대문자 에이치 대 에이치 h 에이치
I 대문자 아이 대 아이 i 아이
J 대문자 제이 대 제이 j 제이
K 대문자 케이 대 케이 k 케이
L 대문자 엘 대 엘 l
M 대문자 엠 대 엠 m
N 대문자 엔 대 엔 n
O 대문자 오우 대 오우 o 오우
P 대문자 피이 대 피이 p 피이
Q 대문자 큐 대 큐 q
R 대문자 알 대 알 r
S 대문자 에스 대 에스 s 에스
T 대문자 티 대 티 t
U 대문자 유 대 유 u
V 대문자 브이 대 브이 v 브이
W 대문자 더블유 대 더블유 w 더블유
X 대문자 엑스 대 엑스 x 엑스
Y 대문자 와이 대 와이 y
Z 대문자 제트 대 제트 z 제트
음성신호의 입력이 없는 경우에는 키 입력이 있는지의 여부에 따라(S32) 해당 코드를 입력하게 되고(S28), 그렇지 않은 경우에는 계속 음성신호 또는 키 입력을 기다리게 된다.
헤드셋(40)이 연결되어 있지 않은 경우에는 개송구(13)로부터 음성신호 입력이 있는지의 여부를 판단하는데(S34), 음성신호가 입력되어 등록된 음성신호인 경우에는 (S36) 해당되는 코드를 입력하여 기능이 수행되도록 하며(S28), 등록된 음성신호가 아닌 경우에는 오류신호를 발생하거나 또는 무시하고(S38) 대기상태로 된다.
마지막으로, 헤드셋(40) 또는 개송구(13)로부터 아무 음성신호가 입력되지 않은 경우에는 키 입력에 의한 신호를 처리하여(S40) 해당되는 기능이 수행되도록 한다.
이러한 본 발명에 의한 키보드는 그 활용도가 대단히 높다고 할 수 있는데, 먼저몸 동작이 자유롭지 않은 지체 부자유자에게는 대단히 편리함을 줄 것이다. 즉, 각 기능키는 물론 키보드의 각 키들과 특별한 기능들이 음성으로도 실행이 가능하므로 사용상의 편의가 증진된다. 또한, 키보드 조작이 잦은 게이머(Gamer)에게는 명령어를 아는 수준에서 발전하여 알고 있는 명령어를 음성으로 직접 입력할 수 있으므로 실감나는 게임을 즐길 수 있다.
또한, 많은 경우에 사용되는 문서작업에서 익숙지 않은 영문자판을 용이하게 입력할 수 있으며, 신속하고 정확한 작업이 가능하며, 인터넷을 사용할 때에도 원하는 사이트로 이동할 경우에도 직접 음성으로 명령을 입력하여 키보드로 입력하는 불편이 해소된다.
전술한 바와 같이 본 발명에 의한 실시예에 의하면, 음성인식칩에 키보드의 각 키에 대한 연속적인 또는 일시적인 음성명령이 입력되면 그에 대한 코드가 마이크로 프로세서에 전달됨으로써 자주 사용되는 기능키는 물론 숫자, 문자키를 일일이 수작업으로 입력하지 않고 음성명령으로 실행되게 하는 편리한 이점이 있다.
따라서, 본 발명에 의하면 문자, 키보드의 숫자를 나타내는 키는 물론 다른 여타의 기능키와 소정 프로그램의 특정 기능까지도 음성으로 처리할 수 있는 편리성과 음성과 수작업이 동시에 병행될 수 있으므로 빠른 작업이 이루어져서 컴퓨터 작업능률이 향상되는 효과가 있다.
그리고, 음성인식칩이 인식해야할 어휘가 줄어듦에 따라 인식률과 키작업의 처리속도가 향상되는 효과가 있으며, 개송구를 활용하므로 마이크 사용에 따른 불편을 해소할 수 있으며 가격부담을 낮출 수 있는 효과가 있다.
이상에서 본 발명은 기재된 구체예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.

Claims (4)

  1. 문자, 숫자, 각종 기능을 나타내는 키의 키동작에 의해 전류의 증감 형태의 전기적 신호를 제공하는 기계적 스위치;
    상기 기계적 스위치의 키 각각의 명칭에 대한 음성신호가 하나 이상 미리 저장되며, 상기 키 중 기능키, 특수 기능키, 소정 프로그램의 명령 등에 대한 음성신호를 인식하여 상기 음성신호의 입력에 해당되는 소정 전기적 신호를 발생시키는 음성인식 수단;
    상기 음성인식 수단에 음성신호를 전기적 신호로 제공하는 음성신호 제공수단;
    상기 기계적 스위치와 상기 음성인식 수단으로부터 입력되는 신호를 판단하여 그에 대한 스캔코드를 제공하는 마이크로프로세서; 및
    일측에 형성되어 음성이 상기 음성인식 수단에 전달되도록 하는 개송구;
    를 포함하여 이루어지는 음성인식 기능이 구비된 키보드.
  2. 삭제
  3. 삭제
  4. 삭제
KR10-2000-0072885A 2000-12-04 2000-12-04 음성인식 기능이 구비된 키보드 KR100380538B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2000-0072885A KR100380538B1 (ko) 2000-12-04 2000-12-04 음성인식 기능이 구비된 키보드

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0072885A KR100380538B1 (ko) 2000-12-04 2000-12-04 음성인식 기능이 구비된 키보드

Publications (2)

Publication Number Publication Date
KR20020043771A KR20020043771A (ko) 2002-06-12
KR100380538B1 true KR100380538B1 (ko) 2003-04-26

Family

ID=27679302

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0072885A KR100380538B1 (ko) 2000-12-04 2000-12-04 음성인식 기능이 구비된 키보드

Country Status (1)

Country Link
KR (1) KR100380538B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210064928A (ko) 2019-11-26 2021-06-03 삼성전자주식회사 전자장치와 그의 제어방법, 및 기록매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000011645U (ko) * 1998-12-01 2000-07-05 윤종용 원격제어 컴퓨터의 음성인식 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000011645U (ko) * 1998-12-01 2000-07-05 윤종용 원격제어 컴퓨터의 음성인식 시스템

Also Published As

Publication number Publication date
KR20020043771A (ko) 2002-06-12

Similar Documents

Publication Publication Date Title
US8583440B2 (en) Apparatus and method for providing visual indication of character ambiguity during text entry
US20040243746A1 (en) Character generation system
KR100380538B1 (ko) 음성인식 기능이 구비된 키보드
US6799914B2 (en) Arabic-persian alphabeth input apparatus
EP0196355A2 (en) A non-coding method of Han-character processing and keyboard therefor
JP2008293498A (ja) 日本語入力方法
CN101377714A (zh) 一种输入过程中删除信息的方法及装置
KR20210135143A (ko) 사용자 단말용 점자 키패드 및 점자 스크린에 키패드가 부착된 사용자 단말
JP2003131793A (ja) 仮名文字入力装置および仮名文字入力方法
KR200221584Y1 (ko) 리모콘입력방식 한글자판
KR19980014261U (ko) 전화기의 새로운 한글입력방식(유선, 무선, 이동전화, 기타 정보기기 포함)
KR100428691B1 (ko) 한글 입력 시스템 및 그 방법
KR100839281B1 (ko) 통신단말기용 한글 자음 조합방법
KR100404339B1 (ko) 한글 자판배열 및 그 입력장치
JP2001175391A (ja) 文字入力キーボードを備えた電子機器
KR200221583Y1 (ko) 리모콘입력방식 한글자판 및 키배열방법
KR20050103803A (ko) 일본어 문자 입력 방법 및 그 장치
JP2004145434A (ja) キーボードを用いたアルファベット入力システムと該システムを備えた電子機器
JP2002333942A (ja) コンピュータ用「ローマ字入力」専用端末機のキーボード。
KR19990046758A (ko) 통신기기및전산이용기기문자입력방법
KR20040105503A (ko) 키보드를 이용한 정보전달장치 및 방법
JP2001282287A (ja) 音声認識装置
KR100524684B1 (ko) 한글 자음과 모음이 배치된 단말기 버튼과 그 입력방법
JPH07105202A (ja) 文書作成装置及び同装置の入力モード/シフト切替方法
JPH0354661A (ja) 仮名・アルファベット変換入力方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20060404

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee