KR0146767B1 - 전화망 음성의 실시간 특징추출 방법 - Google Patents

전화망 음성의 실시간 특징추출 방법

Info

Publication number
KR0146767B1
KR0146767B1 KR1019950016284A KR19950016284A KR0146767B1 KR 0146767 B1 KR0146767 B1 KR 0146767B1 KR 1019950016284 A KR1019950016284 A KR 1019950016284A KR 19950016284 A KR19950016284 A KR 19950016284A KR 0146767 B1 KR0146767 B1 KR 0146767B1
Authority
KR
South Korea
Prior art keywords
value
predetermined
time
frequency
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1019950016284A
Other languages
English (en)
Other versions
KR970004581A (ko
Inventor
유창규
김종교
정광재
김태일
이형호
Original Assignee
양승택
한국전자통신연구원
조백제
한국전기통신공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양승택, 한국전자통신연구원, 조백제, 한국전기통신공사 filed Critical 양승택
Priority to KR1019950016284A priority Critical patent/KR0146767B1/ko
Publication of KR970004581A publication Critical patent/KR970004581A/ko
Application granted granted Critical
Publication of KR0146767B1 publication Critical patent/KR0146767B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q1/00—Details of selecting apparatus or arrangements
    • H04Q1/18—Electrical details
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 전화선을 통해 입력되는 음성의 패턴매칭을 위하여 실시간으로 정확한 음성특징을 추출하는 전화망 음성의 실시간 특징추출 방법에 관한 것으로, 전화망 음성의 실시간 특징추출 방법에 있어서, 상기 PC(16)내의 DSP 보드는 음성 데이타가 입력되면 LCR값을 게산하여 새로운 데이타 처리를 완료하는 제1단계와, 새로운 데이타의 처리가 완료되면 소정 시간 동안 데이타를 받아 FFT(Fast Foureir Transform)를 통하여 각 주파수 성분의 크기를 구하는 제2단계와, 상기 각 주파수 성분의 크기를 주파수축상과 시간축상에서 평균화하여 특징을 추출하는 제3단계를 포함하는 것을 특징으로 하여 전화망 음성에 대해 실시간으로 특징을 추출 하는데 있어서 비음성분등의 성도 특성을 나타낼 수 있는 특징 파라미터를 구할 수 있게 되었으며, 이를 이용하여 전화망 음성에 대해 인식할 경우 정확한 성도 모델을 나타내는 특징 파라미터를 제공하여 높은 인식률을 얻을 수 있는 효과가 있다.

Description

전화망 음성의 실시간 특징추출방법
제1도는 본 발명이 적용되는 시스템의 구성 블럭도,
제2a도 내지 제2b도는 본 발명에 따른 전화망 음성의 실시간 특징 추출 처리 흐름도.
제3도는 LCR값 계산의 설명도.
*도면의 주요 부분에 대한 부호의 설명
100:전화망 11:송신 전화기
12: 구내 전화기 13: 전화국 교환기
14:수신 전화기 15: SAIB(Stereo and Audio Interface Box)
16:PC(Personal Computer)
본 발명은 전화선을 통해 입력되는 음성의 패턴매칭을 위하여 실시간으로 정확한 음성특징을 추출하는 전화망 음성의 실시간 특징추출 방법에 관한 것이다.
전화의 보급으로 인해 전화를 이용한 정보획득의 기회가 확대됨에 따라 전화망 음성의 인식이 필요하게 되었다.
따라서,기존에는 음성인식을 위한 음성의 특징을 추출하는 방법으로 먼저, 현재블럭의 신호값들이 에너지가 정해진 값을 초과하건 특정 문턱치보다 큰 값이 정해진 횟수보다 더 많이 발생하는지를 보아 현재의 구간이 음성구간인지를 판단한다. 그리고, 입력된 음성에 대해 전처리를 한후 현재 블럭의 선형 예측 계수[LPC: Linear prediction coeffient)값을 구하거나 상기 LPC값을 다시 한번 처리하여 켑스트럼(Ceptrum)을 계산한다.
그런데, 상기 LPC값을 이용한 기존 방법은, 음성을 발생시키는 성도, 성문, 구강, 비강 등을 음성을 발생시키는 시스템(기관)으로 가정할 때 이 시스템은 영점(zero)과 극점(pole)을 갖고 있으므로, 영점이나 극점 중 하나를 제거 한 시스템을 이용하여 영점과 극점 모두를 갖는 시스템을 모델링하고자 하는 경우 차수를 아주 많이 늘려야만 비슷한 시스템으로 모델링이 가능해진다. 또 영점을 갖는 시스템의 경우 그 해를 찾기 위해 많은 개산량이 필요하게 된다.
따라서, 음성의 발생 모델에 대해 실시간으로 모델의 계수를 추출 할 경우 극점만을 갖고 있는 시스템으로 가정하고 계수를 찾게 되므로 이는 정확한 시스템 계수라 할 수 없는 문제점이 있었다.
상기와 같은 종래기술의 문제점을 해결하기 위하여 알출된 본 발명은, 상기 LPC값을 이용하지 않고 고주파 성분의 변화에 민감한 출력을 내기 위한 시간 주파수( time-frequency)개념을 도입하여 실시간으로 음성특징을 추출하도록 한 전화망 음성의 실시간 특징추출 방법을 제공함에 그 목적이 있다. 상기 목적을 달성하기 위한 본 발명은, 송신 전화기를 수용하는 구내 교환기 및 상기 구내 교환기와 수신 전화기를 수용하는 전화국 교환기를 포함하는 전화망; 상기 전화망 내의 전화국 교환기에 연결되어 스테레오 및 오디오 신호를 정합하는 SAIB(Stereo and Audio Interfece Box); 상기 SAIB에 동기식 직렬포트로 연결되되, 디지탈 신호 처리(DSP: Disital Signal Processing)보드를 내장하는 개인용 컴퓨터(PC: Personal Computer)를 구비하는 시스템에 적용되는 전화망 음성의 실시간 특징추출 방법에 있어서, 상기 PC내의 DSP보드는 음성 데이타가 입력되면 LPC(Level Crossing Rate)값을 계산하여 새로운 데이타 처리를 완료하는 제1단계; 새로운 데이타 처리가 완료되면 소정 시간동안 데이타를 받아 고속 퓨리에 변환(FFT: Fast Foureir Transform)을 통하여 각 주파수 성분의 크기를 구하는 제2단계; 및 상기 각 주파수 성분의 크기를 주파수축상과 시간축상에서 평균화하여 특징을 추출하는 제3단계를 포함하는 것을 특징으로 한다.
먼저, 본 발명에 따른 전화망 음성이 실시간 특징추출 방법을 개략적 으로 살펴보면, 음성의 비음성의 영점 특성을 잘 모델링 할 수 없는 LPC계수에 의한 특징추출 방법을 피하고, 실시간으로 FFT(Fast Foureir Transform)를 통하여 음성의 각 주파수 성분 크기를 구한 뒤 이를 이용하여 주파수축 상에서 스펙트럼의 평균화(spectral smmothing)를 한다.
그리고, 시간축상에서 시간 주파수(time-frequency)개념을 도입하여 O~600Hz, 600~1000Hz, 1000~2000Hz, 2000~4000Hz의 4개의 주파수 대역별로 각각 현재로부터 과거 50ms, 40ms, 30ms, 20ms동안의 평균을 구하여, 이렇게 구해진 값들을 20개의 비균등 주파수(mel-frequency)대역으로 나누어 에너지 합을 구하고, 이로 부터 특징을 추출한다.
이하, 첨부된 참조하여 본 발명에 따른 일실시예를 상세히 설명한다.
제1도는 본 발명이 적용되는 시스템의 구성 블럭도, 제2A도 내지 제2B도는 본 발명에 따른 전화망 음성의 실시간 특징추출 처리 흐름도, 제3도는 LCR값 계산의 설명도이다.
제1도는 본 발명이 적용되는 시스템의 구성 블럭도로서, 송신 전화기(11)를 수용하는 구내 교환기(12) 및 상기 구내 교환기(12) 및 수신 전화기(14)를 수용하는 전화국 교환기(13)를 포함하는 전화망(100)과, 상기 전화망(100)내의 전화국 교환기(13)에 연결되어 스테레오 및 오디오 신호를 정합하는 SAIB(Stereo and Audio Interface BoX)(15)와, 상기 SAIB(15)에 동기식 직렬 포트로 연결되되, DSP(Digital Signal Processing)보드를 내장하는 PC(Personal Computer)(16)를 구비한다.
상기와 같이 구성되는 시스템의 동작을 살펴보면, 전화망(100)과 접속된 상기 SAIB(15)는 전화망 특성을 A/D(Analog/Digital)변환하여 PC(16)내의 DSP보드로 데이타를 전달한다. 그리고, 상기 DSP보드에 음성 데이타가 입력되면 인터럽트가 발생하고 입력되는 음성 데이타는 서클러 버퍼(Circular Buffer)인 링(RING)버퍼에 저장된다.
즉, 상기 PC(16)내의 DSP보드는 음성 데이타가 입력되면 제2A도에 도시된 인터럽트 루틴이 수행되어 전달되는 음성 데이타를 수집하고(201), 시스템의 응답으로, H(z)=1-0.95z-1에 의한 전역 필터링 즉, 전처리를 수행한다(202).
그리고, 계산된 정수(integer)값을 시스템 내부에 가지고 있는 1초 분량의 링 버퍼에 인덱스값을 이용하여 저장한 (203) 후, 현재 입력된 값까지의 150ms동안 특정값을 초과한 회수인 LCR(Level Crossing Rate)값을 계산하되(204), 계산상의 부하를 고려하여 제3도와 같이 LCR값 계산시에 범위가 변하는 곳의 데이타에 대해서만 계산을 수행하도록 한다.
즉, 800개의 데이타를 갖는 1초 블럭을 시간에 따라 A가 들어있는 과거의 블럭과 새로운 데이타가 들어있는 현재의 블럭으로 구분할때, 상기 A의 값이 LCR값에서 1을 빼고, 상기 새로운 데이타가 LCR값보다 큰 경우 LCR값에 1을 더한다.
한편, 제2B도에 도시된 주루틴은 DSP보드가 새로운 음성 데이타에 대한 처리가 완료 되었는지 계속 확인하여(206), 완료되었으면 10ms가 경화 했는지를 확인하고(207), 시간이 경과하지 않았으면 상기 새로운 음성 데이타에 대한 처리가 완료되었는지 확인하는 단계(206)로 리턴한다. 이는 데이타처리 종료 플래그가 세트된 횟수를 비교하며 8Hz로 데이타를 샐플링하므로, 10ms동안에는 80개의 데이타가 발생하게 된다.
그리고, 상기 10ms가 경과하였으면 PC(16)의 호스트측은 상기 10ms동인의 데이타 값들을 받아 들인 후(208), 현재로부터 과거 20ms동안의 데이타 160샘플의 값에 해밍 창함수(Hamming Window)를 씌운다. 그리고 나서 창함수를 통과한 160샘플값과 0으로 채워진 96개의 값을 대상으로 채운후 266포인트 FFT(Fast Founter Transform)를 10ms마다 취한다(209).
이렇게 하여 구해진 0~8KHz 대역의 주파수 성분값들은 4KHz를 중심으로 대칭이므로 이 주파수 성분값을 이용하여 8000Hz/128마다 128샘플의 주파수 성분별 대수값을 구하는데, 이때 상기 주파수 성분별 대수값은 실수가 되며, 각 주파수 성분들의 값을 아래의 식(1)과 같이 위, 아래 주파수 2칸씩 모두 5칸 즉, (8000Hz/128)x5=35 1.5Hz범위의 값들의 평균하여 새로운 현재값으로 결정한다.
여기서 0 f 128, N=10이다.
이렇게 해서 스펙트럼 평균화(spectral smoothing)를 취하게 되고(210), 0∼600Hz대역은 과거 50ms동안의 값들을 평균하고, 600Hz∼1KHz는 과거 40ms동안의 값들을 평균하며, 1KHz∼2KHz까지는 과거 30ms동안의 값들을 평균한다. 그리고, 2KHz∼4KHz는 과거 20ms값들을 평균하여 128개의 새로운 값을 만듬으로서, 시간 주파수를 구한다(211).
이렇게 최종적으로 구해진 각 밴드별 128개의 데이타를 이용하여 특징을 추출하게 되는데(212), 먼저 0∼4KHz를 20개의 대역으로 구분하며, 1KHz이하는 균등하게, 1KHz∼4KHz까지는 대수적으로 균등하게 분할 되도록 한다. 이에 대한 주파수 할당표를 다음의 표1에 나타내는데, 이는 시작위치와 끝위치에 해당하는 주파수 성분들을 모두 더하여 비균등 주파수(mel-frequency)에너지를 구하는데 이용된다.
상기 표1의 주파수 할당표를 이용하여 상기 128개의 데이타로부터 20개의 데이타로 줄였으며 이 값으로부터 각 대역값들의 상관관계를 나타내도록 가중 함수를 적용하여 20차의 켑스트럼을 구한다. 이때 사용된 식은 다음과 같다.
Li:각 밴드별 에너지, N=20
상기한 바에 의하면 본 발명은, 전화망 음성에 대해 실시간으로 특징을 추하는데 있어서 비음성분등의 성도 특성을 나타낼 수 있는 특징 파라미터를 구할 수 있게 되었으며, 이를 이용하여 전화망 음성에 대해 인식한 경우 정확한 성도 모델을 나타내는 특징 파라미터를 제공하여 높은 인식률을 얻을 수 있는 효과가 있다.

Claims (9)

  1. 송신 전화기(11)를 수용하는 구내 전화기(12), 상기 구내 전화기(12)와 수신 전화기(14)를 수용하는 전화국 교환기(13)를 포함하는 전화망(100)과, 상기 전화망(100)내의 전화국 교환기(13)에 연결되어 스테레오 및 오디오 신호를 정합하는 SAIB(Stereo and Audio Interface BoX)(15); 상기 SAIB(15)에 동기식 직렬 포트로 연결되되, DSP(Digital Signal Processing)보드를 내장하는 PC(Personal Computer)(16)를 구비하는 시스템에 적용되는 전화망 음성의 실시간 특징추출 방법에 있어서, 상기 PC(16)내의 DSP보드는 음성 데이타가 입력되면 LCR(Level Crossing Rate)값을 계산하여 새로운 데이타 처리를 완료하는데 제1단계; 새로운 데이타의 처리가 완료되면 소정 시간동안 데이타를 받아 고속 퓨리에 변환(FFT: Fast Foureir Transform)을 통하여 각 주파수 성분의 크기를 구하는 제2단계; 상기 각 주파수 성분의 크기를 주파수축상과 시간축상에서 평균화하여 특징을 추출하는 제3단계를 포함하는 것을 특징으로 하는 전화망 음성의 실시간 특징추출 방법.
  2. 제1항에 있어서, 상기 제1단계는, 입력되는 음성 데이타를 수집하여 시스템의 응답으로, H(z)=1-0.95z-1에 의한 전역 필터링을 수행하는 제4단계;상기 전역 필터링에 의해 계산된 정수(integer)값을 시스템 내부에 가지고 있는 1초 분량의 링 버퍼에 인덱스값을 이용하여 저장하는 제5단계; 및 현재 입력된 값까지의 소정 시간동안 특정값을 초과한 회수인 LCR(Level Crossing Rate)값을 계산하고 종료 플래그를 세트하여 새로운 음성 데이타 처리가 완료되었음을 나타내는 제6단계를 포함하는 것을 특징으로 하는 전화망 음성의 실시간 특징추출 방법.
  3. 제2항에 있어서, 상기 제6단계는, 다수개의 데이타를 갖는 소정 블럭을 시간에 따라 A가 들어 있느 과거의 블럭과 새로운 데이타가 들어 있는 현재의 블럭으로 구분하는 제7단계; 상기 A의 값이 LCR값 보다 큰 경우 LCR값에서 1을 빼고, 상기 새로운 데이타가 LCR값보다 큰 경우 LCR값에 1을 더하는 제8단게; 및 종료 플래그를 세트하여 새로운 음성 데이타 처리가 완료되었음을 나타내는 제9단계를 포함하는 것을 특징으로 하는 전화망 음성의 실시간 특징추출 방법.
  4. 제1항에 있어서, 상기 제2단계는, 새로운 음성 데이타에 대한 처리가 완료 되었는지 계속 확인하여 완료 되었으면 PC의 호스트측이 소정 시간동안의 데이타를 받아들이는 제4단계; 과거 소정의 시간동안 데이타 샘플의 값에 해밍 창함수(Hamming window)를 씌우고 나머지 소정개의 값을 모두 0으로 채우는 제5단계; 소정 포인트 FFT(Fast Fourier Transform)를 위하여 소정 주파수대, 소정 샘플의 주파수 성분별 대수값을 구하는 제6단계를 포함하는 것을 특징으로 하는 전화망 음성의 실시간 특징추출 방법.
  5. 제4항에 있어서, 상기 제4단계는, 새로운 음성 데이타에 대한 처리가 완료되었는지 계속 확인하는 제7단계; 상기 새로운 음성 데이타에 대한 처리가 완료되었으면 소정 시간이 경과되었는지 확인하는 제8단게; 상기 소정 시간이 경과되지 않았으면 상기 제7단계로 리턴하고 소장 시간이 경과되었으면 PC의 호스트측이 소정 시간동안이 데이타를 받아들이는 제9단계를 포함하는 것을 특징으로 하는 전화망 음성의 실시간 특징추출 방법.
  6. 제1항에 있어서, 상기 제3단계는, 상기 각 주파수를 대수값들을 위, 아래 주파수 2칸씩 모두 5칸, 321.5Hz범위의 값들을 평균하고 새로운 현재값으로 결정하여 스펙트럼의 평균화(spectral smoothing)를 취하는 제4단계; 상기 스펙트럼의 평균화를 취한 후, 소정 대역별로 소정 시간동안의 값들을 평균하고 소정개의 새로운 값을 만들어 시간 주파수를 구하는 제5단계; 및 상기 소정개의 시간 주파수를 이용하여 특징추출을 하는 제6단계를 포함하는 것을 특징으로 하는 전화망 음성의 실시간 특징추출 방법.
  7. 제6항에 있어서, 상기 제6단계는, 소정의 주파수 대역을 소정의 주파수 할당표에 따라 소정개의 대역으로 구분하는 제7단계; 및 가중 함수를 적용하여 켑스트럼을 구하는 제8단계를 포함하는 것을 특징으로 하는 전화망 음성의 실시간 특징추출 방법.
  8. 제7항에 있어서, 상기 주파수 할당표는, 시작위치와 끝위치가 해당하는 주파수 성분들을 모두 더하여 비균등 주파수(mel-frequency)에너지를 구하도록 하는 것을 특징으로 하는 전화망 음성의 실시간 특징추출 방법.
  9. 제7항에 있어서, 상기 가중 함수는 Li이 각 밴드별 에너지이고, N=20일때,인 것을 특징으로 하는 전화망 음성의 실시간 특징추출 방법.
KR1019950016284A 1995-06-19 1995-06-19 전화망 음성의 실시간 특징추출 방법 Expired - Fee Related KR0146767B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950016284A KR0146767B1 (ko) 1995-06-19 1995-06-19 전화망 음성의 실시간 특징추출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950016284A KR0146767B1 (ko) 1995-06-19 1995-06-19 전화망 음성의 실시간 특징추출 방법

Publications (2)

Publication Number Publication Date
KR970004581A KR970004581A (ko) 1997-01-29
KR0146767B1 true KR0146767B1 (ko) 1998-08-17

Family

ID=19417503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950016284A Expired - Fee Related KR0146767B1 (ko) 1995-06-19 1995-06-19 전화망 음성의 실시간 특징추출 방법

Country Status (1)

Country Link
KR (1) KR0146767B1 (ko)

Also Published As

Publication number Publication date
KR970004581A (ko) 1997-01-29

Similar Documents

Publication Publication Date Title
EP1638083B1 (en) Bandwidth extension of bandlimited audio signals
EP0698876B1 (en) Method of decoding encoded speech signals
CA1216673A (en) Text to speech system
JP4624552B2 (ja) 狭帯域言語信号からの広帯域言語合成
EP0528324A2 (en) Auditory model for parametrization of speech
Yamashita et al. Nonstationary noise estimation using low-frequency regions for spectral subtraction
RU2366007C2 (ru) Способ и устройство для восстановления речи в системе распределенного распознавания речи
JP2002516420A (ja) 音声コーダ
CN109473091A (zh) 一种语音样本生成方法及装置
EP1093112B1 (en) A method for generating speech feature signals and an apparatus for carrying through this method
FI96247C (fi) Menetelmä puheen muuntamiseksi
Aneeja et al. Extraction of fundamental frequency from degraded speech using temporal envelopes at high SNR frequencies
Denbigh et al. Pitch extraction and separation of overlapping speech
JP3205560B2 (ja) オーディオ信号の調性を決定するための方法および装置
Christensen et al. A comparison of three methods of extracting resonance information from predictor-coefficient coded speech
CN112116909A (zh) 语音识别方法、装置及系统
KR0146767B1 (ko) 전화망 음성의 실시간 특징추출 방법
Kadiri et al. Determination of glottal closure instants from clean and telephone quality speech signals using single frequency filtering
Sun et al. Phase modelling of speech excitation for low bit-rate sinusoidal transform coding
KR100217372B1 (ko) 음성처리장치의 피치 추출방법
Chowdhury et al. Formant estimation from speech signal using the magnitude spectrum modified with group delay spectrum
Van Schalkwyk et al. Linear predictive speech coding at 2400 b/s
WO1995020216A1 (en) Method and apparatus for indicating the emotional state of a person
EP0713208B1 (en) Pitch lag estimation system
CN111048072A (zh) 一种应用于电力企业的声纹识别方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19950619

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19950619

Comment text: Request for Examination of Application

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 19980331

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 19980513

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 19980513

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20010427

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20020430

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20030430

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20040401

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20050502

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20060502

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20070502

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20080428

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20090504

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20100510

Start annual number: 13

End annual number: 13

FPAY Annual fee payment

Payment date: 20110504

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20110504

Start annual number: 14

End annual number: 14

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20130409