KR100242201B1 - Speech command recognition device for automobile - Google Patents

Speech command recognition device for automobile Download PDF

Info

Publication number
KR100242201B1
KR100242201B1 KR1019960068589A KR19960068589A KR100242201B1 KR 100242201 B1 KR100242201 B1 KR 100242201B1 KR 1019960068589 A KR1019960068589 A KR 1019960068589A KR 19960068589 A KR19960068589 A KR 19960068589A KR 100242201 B1 KR100242201 B1 KR 100242201B1
Authority
KR
South Korea
Prior art keywords
command
voice
voice command
vowel
extracting
Prior art date
Application number
KR1019960068589A
Other languages
Korean (ko)
Other versions
KR19980049840A (en
Inventor
심갑종
Original Assignee
정몽규
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정몽규, 현대자동차주식회사 filed Critical 정몽규
Priority to KR1019960068589A priority Critical patent/KR100242201B1/en
Publication of KR19980049840A publication Critical patent/KR19980049840A/en
Application granted granted Critical
Publication of KR100242201B1 publication Critical patent/KR100242201B1/en

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0264—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for control means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 발명은 자동차의 음성 명령 인식 시스템에서 자동차에 구비되어 운행에 안정성과 편의성을 제공하여 주는 각종 주변장치를 동작시키기 위한 음성 명령을 키 스포팅 기법을 이용한 모음의 추출을 통하여 음성 명령을 인식하도록 함으로서 명령의 인식 및 제어에 신뢰성을 제공하도록 한 것이다.According to the present invention, a voice command for operating various peripheral devices which are provided in a car in a voice command recognition system of a car to provide stability and convenience to driving is recognized by recognizing the voice command through extraction of a vowel using a key spotting technique. It is to provide reliability in the recognition and control of the.

본 발명은 자동차의 음성 인식 장치에 있어서, 음성 입력수단으로 입력되는 주변장치를 제어를 위한 음성 신호에서 임의의 특징을 추출하는 특징 추출수단과, 상기 입력되는 음성 명령에서 각 음소를 구성하는 모음의 성분만을 추출하는 모음추출수단과, 각 주변장치의 선택 및 동작 실행에 대한 음성 명령어가 설정되는 음성 명령어 설정수단과, 상기 설정된 음성 명령어로부터 상기 추출된 모음에 해당하는 명령어 단어를 탐색하여 추출하는 대상 명령어 탐색수단과, 상기 탐색된 대상 명령어와 상기 추출된 특징을 비교하여 제어를 위한 음성 명령을 인식하는 음성 인식수단을 구비하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for recognizing a vehicle, comprising: feature extracting means for extracting an arbitrary feature from a voice signal for controlling a peripheral device input through a voice input means, and a vowel constituting each phoneme from the input voice command; A vowel extracting means for extracting only components, a voice command setting means for setting a voice command for selecting and executing an operation of each peripheral device, and an object for searching and extracting a command word corresponding to the extracted vowel from the set voice command And a voice recognition means for recognizing a voice command for control by comparing the command search means with the searched target command and the extracted feature.

Description

자동차의 음성 명령 인식장치Voice command recognition device of car

본 발명은 자동차의 음성 명령 인식 시스템에 관한 것으로, 보다 더 상세하게는 자동차에 구비되어 운행에 안정성과 편의성을 제공하여 주는 각종 주변장치를 동작시키기 위한 음성 명령을 키 스포팅(Key Spotting) 기법을 이용한 모음의 추출을 통하여 음성 명령을 인식하도록 함으로서 명령의 인식 및 제어에 신뢰성을 제공하도록 한 자동차의 음성 명령 인식장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a voice command recognition system of a vehicle. More particularly, the present invention relates to a voice command using a key spotting technique for operating various peripheral devices provided in a vehicle to provide stability and convenience to driving. The present invention relates to an apparatus for recognizing a voice command of a vehicle to provide a reliability for recognizing and controlling a command by recognizing a voice command through extraction of a vowel.

일반적으로 음성 명령 인식장치는 자동차에 구비되는 파워 윈도우, 와이퍼, 비상램프, 에어컨, 오디오 등 각종 주변장치를 운전자의 음성을 통해 편리하게 조작하는 것을 의미한다.In general, the voice command recognition device means to conveniently operate various peripheral devices such as a power window, a wiper, an emergency lamp, an air conditioner, and an audio provided in a vehicle through a driver's voice.

종래의 자동차에 구비되는 음성 명령 인식장치는 첨부된 제2도에서 알 수 있는 바와 같이, 운전자가 임의의 주변장치를 동작시키기 위하여 음성 입력수단을 통하여 소정의 음성 명령을 입력하면 음성 입력수단은 인가되는 음성 신호를 소정의 전기적 신호로 변환한 후 음성 인식부(1)측에 인가한다.As can be seen in the attached FIG. 2, when the driver inputs a predetermined voice command through the voice input means to operate an arbitrary peripheral device, the voice input means is provided in the conventional vehicle. The voice signal is converted into a predetermined electrical signal and applied to the voice recognition unit 1 side.

음성 인식부(1)는 인가되는 음성 명령과 명령어 설정부(2)에 수록되어 있는 음성 명령 실행을 위한 각각의 데이터를 비교 분석한 후 유사도가 가장 높은 단어를 검출하여 대상 주변장치를 제어하기 위한 소정의 제어신호를 출력한다.The voice recognition unit 1 compares and analyzes the applied voice command and each data for executing the voice command contained in the command setting unit 2, and then detects a word having the highest similarity to control the target peripheral device. Output a predetermined control signal.

전술한 바와 같은 종래의 자동차에 구비되는 음성 명령 인식장치는 입력되는 음성 명령어와 설정된 명령 실행 대상 데이터 각각을 비교한 후 유사도가 가장 큰 명령어 데이터를 검출하므로 음성 명령에 따른 대상 데이터의 추출에 많은 시간이 소요되는 문제점이 있으며, 명령 실행을 위하여 설정된 대상 데이터 사이에 유사도가 모호한 경우가 있어 음성 명령의 인식율을 저하시키게 되어 주변장치의 오동작을 일으키는 문제점이 있었다.The voice command recognition apparatus provided in the conventional vehicle as described above compares the input voice command with each of the set command execution target data and detects the command data having the highest similarity, thus a lot of time is required to extract the target data according to the voice command. There is a problem in this, and there is a case where the similarity between the target data set for command execution is ambiguous, which lowers the recognition rate of the voice command, causing a malfunction of the peripheral device.

본 발명은 전술한 바와 같은 문제점을 감안하여 안출한 것으로, 그 목적은 주변장치를 동작시키기 위한 음성 명령을 인식함에 있어 음성 명령의 특징과 음성 명령 구조의 모음을 추출한 후 모음 열의 구조로 설정되어 있는 명령 실행을 위한 데이터로부터 주변장치 동작 실행을 위한 데이터를 추출하도록 하여 음성 명령의 인식에 신속성과 음성 명령에 적합한 명령 실행 데이터의 검출로 인하여 주변장치의 오동작 발생을 배제시키도록 한 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and an object thereof is to extract a feature of a voice command and a collection of voice command structures in recognizing a voice command for operating a peripheral device, and then set the structure of a collection column. By extracting the data for the execution of the peripheral device operation from the data for the command execution, it is possible to exclude the occurrence of malfunction of the peripheral device due to the speed of recognition of the voice command and the detection of the command execution data suitable for the voice command.

이와 같은 목적을 달성하기 위한 본 발명은 자동차의 음성 인식 장치에 있어서, 음성 입력수단으로 입력되는 주변장치를 제어를 위한 음성 신호에서 임의의 특징을 추출하는 특징 추출수단과, 상기 입력되는 음성 명령에서 각 음소를 구성하는 모음의 성분만을 추출하는 모음 추출수단과, 각 주변장치의 선택 및 동작 실행에 대한 음성 명령어가 설정되는 음성 명령어 설정수단과, 상기 설정된 음성 명령어로부터 상기 추출된 모음에 해당하는 명령어 단어를 탐색하여 추출하는 대상 명령어 탐색수단과, 상기 탐색된 대상 명령어와 상기 추출된 특징을 비교하여 제어를 위한 음성 명령을 인식하는 음성 인식수단을 구비하는 것을 특징으로 한다.According to an aspect of the present invention, a feature extracting means for extracting an arbitrary feature from a voice signal for controlling a peripheral device input through a voice input means, and the input voice command A vowel extracting means for extracting only components of a vowel constituting each phoneme, voice command setting means for setting a voice command for selecting and executing each peripheral device, and a command corresponding to the vowel extracted from the set voice command And a voice recognition means for recognizing a voice command for control by comparing the searched target command with the extracted feature.

제1도는 본 발명의 일 실시예에 따른 자동차의 음성 명령 인식장치를 보이는 구성 블록도이고,1 is a block diagram showing a voice command recognition apparatus of a vehicle according to an embodiment of the present invention,

제2도는 종래의 자동차에 구비되는 음성 명령 인식장치의 구성 블록도이다.2 is a block diagram illustrating a configuration of a voice command recognition device provided in a conventional vehicle.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세히 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

제1도에서 알 수 있는 바와 같이 본 발명에 따른 자동차의 음성 명령 인식장치는 특징 추출부(10)와, 모음 추출부(20), 단모음 설정부(30), 음성 명령어 설정부(40), 대상 명령어 탐색부(50) 및, 음성 인식부(60)로 이루어지는데, 특징 추출부(10)는 음성 입력수단을 통해 입력되는 주변장치를 동작 실행을 위한 음성 명령 신호에서 설정된 임의의 특징을 추출한다.As can be seen in FIG. 1, the apparatus for recognizing a voice command of a vehicle according to the present invention includes a feature extractor 10, a vowel extractor 20, a short vowel setter 30, a voice command setter 40, The target command search unit 50 and the voice recognition unit 60, the feature extractor 10 extracts any feature set in the voice command signal for executing the operation of the peripheral device input through the voice input means; do.

단모음 설정부(20)는 현재 사용되고 있는 표준어에서 각 음소를 이루는 모음성분의 테이블이 설정된다.The short vowel setting unit 20 sets a table of vowel components constituting each phoneme from a standard word currently used.

모음 추출부(20)는 단모음 설정부(20)에 설정된 테이블로부터 입력되는 음성 명령에서 각 음소를 이루는 모음 성분만을 추출하여 그에 대한 데이터를 출력한다.The vowel extracting unit 20 extracts only vowel components constituting each phoneme from a voice command input from a table set in the short vowel setting unit 20 and outputs data thereof.

음성 명령어 설정부(40)는 각각의 음성 명령에 따라 주변장치를 선택 동작시키기 위한 대상 단어의 음성 데이터가 수록 저장된다.The voice command setting unit 40 stores voice data of a target word for selecting and operating a peripheral device according to each voice command.

대상 명령어 탐색부(50)는 상기 음성 명령어 설정부(40)에 수록되어 있는 대상 단어의 음성 데이터로부터 각 음소의 모음 성분만으로 추출되어 인가되는 음성 명령에서 해당 주변장치 선택 및 동작 제어에 대한 유사 명령어를 추출한 후 그에 해당하는 소정의 신호를 출력한다.The target command search unit 50 extracts only the vowel components of each phoneme from the voice data of the target word included in the voice command setting unit 40 and applies similar commands for selecting the peripheral device and controlling the operation in the applied voice command. After extracting a predetermined signal corresponding to the output.

음성 인식부(60)는 상기 추출된 음성 명령과 상기 특징 추출부(10)에서 검출된 데이터를 비교 분석한 후 실제의 대상 주변기기 동작을 위한 제어 데이터를 검출하여 해당 주변기기의 동작을 제어한다.The voice recognition unit 60 compares the extracted voice command with the data detected by the feature extractor 10, and then detects control data for actually operating the target peripheral device to control the operation of the peripheral device.

전술한 바와 같은 기능을 구비하여 이루어지는 본 발명에서 음성 명령 인식에 대한 동작을 설명하면 다음과 같다.Referring to the operation of the voice command recognition in the present invention having the function as described above are as follows.

이그니션 키의 접전 선택으로 인하여 각각의 부하장치에 동작전원이 공급되는 상태에서 운전자가 임의의 주변장치를 동작시키기 위하여 음성 입력수단을 통하여 소정의 음성 명령, 예를 들어 “라디오”란 단어를 입력하게 되면 특징 추출부(10)는 입력되는 음성 명령에서 소정의 특징 성분만을 추출한다.Due to the selection of the ignition key, the driver may input a predetermined voice command, for example, the word “radio,” through the voice input means to operate any peripheral device while operating power is supplied to each load device. The feature extractor 10 extracts only a predetermined feature component from an input voice command.

이후, “라디오”라는 음성 명령이 모음 추출부(30)측에 인가되면 모음 추출부(30)는 단모음 설정부(20)의 테이블에 따라 “라디오”라는 음성 명령으로부터 각 음소를 구성하는 모음의 성분 “ㅏ,ㅣ,ㅗ”만을 추출한 후 대상 명령어 탐색부(50)측에 인가한다.Subsequently, when a voice command of "radio" is applied to the vowel extracting unit 30 side, the vowel extracting unit 30 performs the vowel constituting each phoneme from the voice command of "radio" according to the table of the short vowel setting unit 20. After extracting only the components “ㅏ, ㅣ, ㅗ”, it applies to the target command search unit 50.

대상 명령어 탐색부(50)는 음성 명령어 설정부(40)에 수록 저장되어 있는 “라디오”, “오디오”, “유리창”, “와이퍼”, “비디오”, “트렁크”, “에프엠”, “에이엠”, “소리크게”, “소리작게” 등의 음성 데이터로부터 인가되는 “ㅏ,ㅣ,ㅗ”의 모음 성분에 해당하는 “라디오”, “오디오”, “비디오”의 음성 명령 데이터만을 추출한 후 추출된 음성 명령의 데이터를 음성 인식부(60)측에 인가한다.The target command search unit 50 includes "radio", "audio", "window", "wiper", "video", "trunk", "FM", and "AM" stored in the voice command setting unit 40. Extract only the voice command data of "Radio", "Audio" and "Video" corresponding to the vowel component of "ㅏ, ㅣ, ㅗ" applied from voice data such as "," Loud "," Slow " The data of the voice command is applied to the voice recognition unit 60 side.

음성 인식부(60)는 인가되는 유사 명령어가 포함된 “라디오”, “오디오”, “비디오” 등의 음성 명령과 상기 특징 추출부(10)에서 추출된 최초 입력된 음성 명령의 특징을 비교한후 제어하고자 하는 “라디오”의 음성 명령으로 인식하여 라디오를 제어하기 위한 소정의 제어신호를 출력한다.The voice recognition unit 60 compares voice commands, such as "radio", "audio", "video," including similar commands to be applied, with features of the first input voice command extracted from the feature extractor 10. Then, it recognizes the voice command of the "radio" to be controlled and outputs a predetermined control signal for controlling the radio.

이상에서 설명한 바와 같이 본 발명은 주변장치의 동작을 제어하기 위하여 입력되는 음성 명령에서 음성 명령에 대한 특징과 각 음소를 구성하는 모음의 성분만을 추출한 후 설정된 대상 음성 명령어로부터 추출된 모음이 구비되는 명령어만 취득하며, 취득된 음성 명령어와 추출된 특징을 비교하여 최초 입력한 명령어를 인식하므로 음성 명령의 인식에 신뢰성이 제공되며, 불필요한 단어의 비교가 배제되어 음성 명령의 인식에 신속성이 제공된다.As described above, the present invention provides a command including a vowel extracted from a target voice command set after extracting only a feature of a voice command and a component of a vowel constituting each phoneme from a voice command input to control the operation of a peripheral device. It acquires only and recognizes the first input command by comparing the acquired voice command and the extracted feature, thereby providing reliability in the recognition of the voice command, and eliminating unnecessary comparison of words, thereby providing speed in recognition of the voice command.

Claims (3)

자동차의 음성 인식 장치에 있어서, 음성 입력수단으로 입력되는 주변장치를 제어를 위한 음성 신호에서 임의의 특징을 추출하는 특징 추출수단과, 상기 입력되는 음성 명령에서 각 음소를 구성하는 모음의 성분만을 추출하는 모음 추출수단과, 각 주변장치의 선택 및 동작 실행에 대한 음성 명령어가 설정되는 음성 명령어 설정수단과, 상기 설정된 음성 명령어로부터 상기 추출된 모음에 해당하는 명령어 단어를 탐색하여 추출하는 대상 명령어 탐색수단과, 상기 탐색된 대상 명령어와 상기 추출된 특징을 비교하여 제어를 위한 음성 명령을 인식하는 음성 인식수단을 구비하는 것을 특징으로 하는 자동차의 음성 명령 인식장치.In the speech recognition apparatus of a vehicle, feature extraction means for extracting an arbitrary feature from a voice signal for controlling a peripheral device input through the voice input means, and extracts only components of a vowel constituting each phoneme from the input voice command. Vowel extracting means, voice command setting means for setting a voice command for selecting and executing each peripheral device, and target command search means for searching and extracting a command word corresponding to the extracted vowel from the set voice command; And voice recognition means for recognizing a voice command for control by comparing the searched target command with the extracted feature. 제1항에 있어서, 상기 음성 명령어를 구성하는 각 음소에서 모음을 성분만을 추출하기 위하여 단모음의 데이터가 테이블로 설정되는 단모음 설정수단을 더 구비하는 것을 특징으로 하는 자동차의 음성 명령 인식장치.The apparatus of claim 1, further comprising short vowel setting means for setting data of a short vowel in a table to extract only a vowel component from each phoneme constituting the voice command. 제1항에 있어서, 상기 대상 명령어 탐색수단에 검출되는 명령어는 모음의 구성이 유사한 명령어가 포함되는 것을 특징으로 하는 자동차의 음성 명령 인식장치.The apparatus of claim 1, wherein the command detected by the target command search unit includes a command having a similar configuration of a vowel.
KR1019960068589A 1996-12-20 1996-12-20 Speech command recognition device for automobile KR100242201B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960068589A KR100242201B1 (en) 1996-12-20 1996-12-20 Speech command recognition device for automobile

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960068589A KR100242201B1 (en) 1996-12-20 1996-12-20 Speech command recognition device for automobile

Publications (2)

Publication Number Publication Date
KR19980049840A KR19980049840A (en) 1998-09-15
KR100242201B1 true KR100242201B1 (en) 2000-02-01

Family

ID=19489535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960068589A KR100242201B1 (en) 1996-12-20 1996-12-20 Speech command recognition device for automobile

Country Status (1)

Country Link
KR (1) KR100242201B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610413B1 (en) * 2010-12-07 2016-04-08 현대자동차주식회사 Control device based upon recognition of prolonged-sound

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610413B1 (en) * 2010-12-07 2016-04-08 현대자동차주식회사 Control device based upon recognition of prolonged-sound

Also Published As

Publication number Publication date
KR19980049840A (en) 1998-09-15

Similar Documents

Publication Publication Date Title
US20020013706A1 (en) Key-subword spotting for speech recognition and understanding
EP2309491A1 (en) System and method for activating functions including a first function and a second function
KR870009322A (en) Speaker array language recognition system
DE112012007103B4 (en) Voice recognition device
US10950229B2 (en) Configurable speech interface for vehicle infotainment systems
CN110182155B (en) Voice control method of vehicle-mounted control system, vehicle-mounted control system and vehicle
CN100422916C (en) Method for selecting a list item and information or entertainment system, especially for motor vehicles
CN210489237U (en) Vehicle-mounted intelligent terminal voice control system
KR100242201B1 (en) Speech command recognition device for automobile
JPH11119792A (en) Equipment controller with voice recognizing function, and voice recognizing device
CN105955698B (en) Voice control method and device
JPH09134193A (en) Speech recognition device
KR102417899B1 (en) Apparatus and method for recognizing voice of vehicle
CN113593556A (en) Human-computer interaction method and device for vehicle-mounted voice operating system
JP2001154691A (en) Voice recognition device
JPH11184495A (en) Speech recognition device
JP3291347B2 (en) Voice recognition device
WO2015151494A1 (en) Speech recognition system and speech recognition program product
KR20060119557A (en) Apparatus and method to control power windows of motor vehicles by utilizing the voice recognition technology
KR19980049884A (en) Speech recognition processing device of car and its method
JPH05249989A (en) Voice recognition control device
JP2003131695A (en) Voice recognition equipment, and unit and method for voice recognition equipment control
KR100423495B1 (en) Operation control system by speech recognition for portable device and a method using the same
KR20220150640A (en) Vehicle and method for controlling thereof
JPS59117632A (en) Voice input system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20051031

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee