JP3877270B2 - 音声特徴量抽出装置 - Google Patents

音声特徴量抽出装置 Download PDF

Info

Publication number
JP3877270B2
JP3877270B2 JP2000212067A JP2000212067A JP3877270B2 JP 3877270 B2 JP3877270 B2 JP 3877270B2 JP 2000212067 A JP2000212067 A JP 2000212067A JP 2000212067 A JP2000212067 A JP 2000212067A JP 3877270 B2 JP3877270 B2 JP 3877270B2
Authority
JP
Japan
Prior art keywords
signal
voice
noise reduction
coefficient
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000212067A
Other languages
English (en)
Other versions
JP2002023790A (ja
Inventor
真吾 木内
利明 浅野
望 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2000212067A priority Critical patent/JP3877270B2/ja
Priority to US09/891,876 priority patent/US6959277B2/en
Publication of JP2002023790A publication Critical patent/JP2002023790A/ja
Application granted granted Critical
Publication of JP3877270B2 publication Critical patent/JP3877270B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、音声認識、話者認識、ラウドネス補償システム等において、周囲のノイズを減少しつつ、パワースペクトラムを用いて音声の特徴量を抽出する音声特徴量抽出装置に関する。
【0002】
【従来の技術】
利用者が発声した音声を認識する音声認識装置、複数の人が話した中から特定の人の音声を識別する話者認識装置、あるいは周囲のノイズを除去するラウドネス補償システム等においては、対象とする特定の音声を抽出するため、マイクから入力した音声のパワースペクトラムを求め、特定の音声を抽出する処理が行われている。
【0003】
このような特定の音声を抽出するためのシステムを採用する一分野としての音声認識装置における、例えば車両用ナビゲーション装置における目的地設定などを音声によって入力する音声認識装置にこれを用いる際には、車室内にはエンジン音、タイヤの摩擦音、風切り音、更にはオーディオ音等種々のノイズが存在する。そのような中でマイクに入力される利用者の音声は、ノイズによりSN比が低下して不明瞭な音声となってしまい、このような状態では精度良く音声の特徴量をとらえて正確な音声認識を行うことができなくなる。したがって、周囲に大きな雑音が存在する環境下で音声認識装置を使用する際には、利用者の音声を周囲の雑音と分離して処理することが、音声認識率を高める上で重要な要件となっている。このようなことは車両用音声認識装置に限らず、種々の分野で用いられている音声認識装置において問題となるところであり、更に音声認識装置に限らず、上記のような種々の音響技術分野で問題となる。
【0004】
このようなとき、従来の装置においては例えば図3のブロック図に示すように、マイク30から入力した周囲の雑音も含めた音声X(n)を、タップ長がNのFIRフィルタを備えたノイズリダクションシステム(NRシステム)31に入力する。このノイズリダクションシステムでは、サンプリング周波数をfs(Hz)としたとき、1/fs(秒)毎に動作を行う。
【0005】
その後ここで得られたx(n)*w(n)の信号を、ハニング窓やハミング窓32の窓関数部を通し、サンプリングした1フレーム毎の間のデータ飛躍による高周波成分の発生を防止し、これをL点について処理するFFT演算部33に入力する。このFFT演算部33では、1フレーム毎に高速フーリエ変換を行い、時間軸信号を周波数成分に変換する。ここで得られたスペクトル信号X(n)・W(n)をパワー算出部34に入力し、パワースペクトルの計算を行い、信号[X(w)]・[W(w)]を得ている。
【0006】
【発明が解決しようとする課題】
上記のような従来の音声特徴量抽出装置においては、このノイズリダクションシステム31でのサンプリング周波数をfs(Hz)とし、FIRフィルタのタップ長をNとしたとき、1回の処理を行うのにN回の乗算と(N−1)回の和算を行う必要がある。その後、この特徴量を求めるためにFFT演算部33に入力して処理を行うので、このときのFFT演算部33の処理点数をL点とすると、L/2次の特徴量ベクトルを出力するためには、ノイズリダクションの出力がL点必要になる。そのため、結局このノイズリダクションシステムではN×L回の乗算と、(N−1)×L回の和算を行う必要がある。
【0007】
このような処理を行うため、より正確な音声特徴量を抽出しようとして前記NやLの値を大きく設定するとその演算処理量が莫大となり、この装置におけるプロセッサへの負担が大きくなる。そのため、処理速度も遅くならざるを得ず、時には他の処理にも影響を与え、システムの円滑な処理を行うことができなくなる。また、前記NやLの値を小さくとると、当然正確な音声特徴量の抽出は行うことができない。
【0008】
したがって本発明は、音声特徴量の抽出に際して従来と同様の正確な抽出性能を維持しつつ演算処理量を削減し、プロセッサへの負担を軽くし、その処理速度を上昇させることができるようにした音声特徴量抽出装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明は上記課題を解決するため、音声認識装置を動作させるための音声が発声されていないときに模擬音声信号を発生させ、その信号を遅延させることで適応フィルタの目標信号を生成すると共に、模擬音声信号と車室内に設置されたマイクの出力信号により得られる車室内音を加算した信号を、適応フィルタの参照入力として用いることにより、適応フィルタを動作させて、使用するノイズリダクションシステムのフィルタ係数を確定するフィルタ係数算出手段と、前記適応フィルタが収束したフィルタ特性をFFT処理し、その結果から適応フィルタが収束したフィルタ特性の自乗振幅特性を求めることでノイズリダクション係数を得るパワー算出手段とからなり、予め使用するノイズリダクションシステムのノイズリダクションシステム係数を演算するノイズリダクションシステム係数演算手段と、被処理入力音声の時間軸信号を周波数成分に変換するFFT演算手段と、前記FFT演算手段で得られたスペクトル信号からパワースペクトルベクトルを演算するパワー算出手段とを備え、前記音声認識装置を動作させるための音声が発声されているときには、車室内に設置したマイクから出力される音声信号とその他の車室内音信号の混合信号に、ハニングあるいはハミング窓をかけ、その結果をFFT処理してその結果から信号のパワースペクトルを算出した後に、前記のようにして求めたノイズリダクション係数をかけることにより、音声信号とその他の車室内音信号の内、主にその他の車室内音信号の成分を低減した信号を出力することを特徴とする音声特徴抽出装置としたものである。
【0012】
また、前記模擬音声信号に対して所定のゲイン調整処理を行うことを特徴とする前記音声特徴量抽出装置としたものである。
【0013】
また、前記音声特徴量抽出装置を、車両用ナビゲーション装置の音声認識装置に適用したものである。
【0014】
【発明の実施の形態】
本発明の実施例を図面に沿って説明する。図1は本発明による音声特徴量抽出装置の基本的な機能ブロック図であり、前記従来の装置と同様の機能ブロック部分は同様に示している。同図において、例えば本発明による音声特徴量抽出装置が車両用ナビゲーション装置に適用される場合には、マイク1から目的地設定等の種々の操作用、指示用の音声や、それに伴って入力される周囲のエンジン音、タイヤの摩擦音、風切り音等の周囲の騒音が、信号x(n)として窓関数部2に入力される。
【0015】
したがって、本発明における「被処理入力音声」は、この実施例においては利用者の音声と周囲のノイズを含んだ信号x(n)となる。この被処理入力音声は窓関数部2において、前記従来例と同様にハニング窓やハミング窓の窓関数を通すことにより、サンプリングした1フレーム毎の間のデータ飛躍による高周波成分の発生防止等の処理がなされる。
【0016】
これをL点について演算するFFT演算部3に入力する。このFFT演算部3では、1フレーム毎に高速フーリエ変換を行い、時間軸信号を周波数成分に変換する。ここで得られたスペクトル信号X(w)をパワー算出部4に入力し、L/2次のパワースペクトルを算出し出力信号[X(w)]を得る。本発明においては、このようにして得られた入力音声の特徴量であるL/2次のパワースペクトルベクトルに対して、ノイズリダクションシステム5によって従来と同様のノイズリダクション処理を行うこととなる。
【0017】
このノイズリダクションシステム5においては、前記のように処理されて入力されるパワースペクトル信号はL/2次であるので、このシステムにおいて使用される係数値はL/2個となり、したがってここで計算されるWmにおけるmの値は0からL/2まで行えば良いこととなる。
【0018】
このノイズリダクションシステムでの処理において、前記のようにL/2次の特徴量ベクトルを出力する場合は、
入力される音声のパワースペクトルを
【数1】
Figure 0003877270
Figure 0003877270
後に説明する予め計算されたノイズリダクションシステムの係数を、
【数2】
Figure 0003877270
Figure 0003877270
としたとき、
出力される特徴量ベクトル
【数3】
Figure 0003877270
Figure 0003877270
は、
【数4】
Figure 0003877270
Figure 0003877270
となる。
【0019】
このときのノイズリダクションシステムの演算量は、L/2回の乗算となるため、前記図3に示す従来の音声特徴量抽出装置における、NタップのFIRフィルタによる時間領域のノイズリダクション処理と比較して、1/(4N−2)の演算量で済むこととなる。
【0020】
上記のノイズリダクションシステムの特性を決定する係数については、例えば図2に示すようなノイズリダクション係数算出システムによって予め得ておくことができる。ここで用いられるCNR係数を求めるシステムのブロック図においては、従来から用いられている1chの音声強調システムを応用した例を示しており、それにより比較的簡単なシステムにより前記係数算出を行うことができる。
【0021】
即ち、このシステムにおいては、マイク10で周囲の音を入力する一方、所定の模擬音声信号を発声する模擬音声発声部11からの信号を入力してこれにゲイン調整部12でゲイン調整を行い、これを加算器13でマイク10の信号と加算し、一方、ゲイン調整後の信号を遅延処理部14でm段(L/2段)の遅延を行い信号d(n)を得る。前記加算器13で加算された信号をタップ係数Wの適応フィルタ15で処理し信号y(n)を得る。この信号と前記遅延処理部14からの信号d(n)とを減算器16にかけ、その誤差信号e(n)によりタップ係数Wを調整している。このような制御により得られたタップ係数の値を、この適応フィルタの係数、即ちこのノイズリダクションシステムのフィルタ係数WCNRとして求める。上記処理部分が、本発明におけるフィルタ係数算出手段に相当する。
【0022】
ここで求められる適応フィルタのタップ長は、特徴量を求める際の前記FFTの処理点数と同じに設定し、このようにして得られたこのノイズリダクションシステムの特性を示す適応フィルタ係数WCNRに対してFFT演算部17でFFT処理する。これをパワー算出部18に入力し、前記ノイズリダクションシステムの係数を得る。上記処理部分が本発明におけるフィルタ係数をパワースペクトルベクトルに変換するパワー算出手段に相当し、前記フィルタ係数算出手段とこのパワー算出手段によって、本発明のノイズリダクションシステム係数演算手段が形成されている。
【0023】
なお、図2に示すシステムにおいて、ゲイン調整部12のゲインは、適応フィルタの出力y(n)の歪みとSN比改善量とのトレードオフによって決められる。即ち、ゲインを大きくすると、歪みは小さくなる反面、SN比の改善量は小さくなり、逆にゲインを大きくすると、歪みは大きくなるがSN比の改善量が大きくなる。したがって使用するシステムの特性に合わせて、前記ゲイン調整部12のゲインを調整する。
【0024】
このようにして、予め時間領域でノイズリダクションシステムの特性を求め、それにより予め確定してたフィルタ係数WCNRをFFT処理し、パワーを算出することによりパワードメインでのノイズリダクション係数ベクトルが求まり、それにより予め前記式(2)に示すようなL/2次のノイズリダクションシステムの係数が求められることとなる。
【0025】
図1に示すノイズリダクションシステム5においては、パワー算出部4で得られた前記式(1)に示すような音声のパワースペクトルベクトルに対して、前記のように求められた式(2)のノイズリダクションシステム係数を用いたノイズリダクションシステム5により、式(4)の演算処理を行うことによって特徴量ベクトルを得ることができる。
【0026】
上記のように、本発明による音声特徴量抽出装置においては、予めノイズリダクションシステムの特性を表すノイズリダクション係数を求めておき、音声処理の最初にFFT処理してパワースペクトルを得て、これに対して前記ノイズリダクションシステムで処理するため、従来の装置のように最初にノイズリダクションシステムで処理し、これをFFT処理するもののように入力音声処理時の位相部分の処理が不要となり、その処理負担は従来の装置の1/(4N−2)の処理量となり、しかも精度は従来のものとほとんど変わることがない高精度の音声特徴量抽出を行うことができるようになる。
【0027】
このような音声特徴量抽出装置は、上記のような車両用ナビゲーション装置の音声認識装置に限らず、各種音声認識装置、更には話者認識装置、ラウドネス補償システム等に広く用いることができる。
【0028】
【発明の効果】
本発明は上記のように構成したので、音声特徴量の抽出に際して従来と同様の正確な抽出性能を維持しつつ演算処理量を削減し、プロセッサへの負担を軽くし処理速度を上げることができる。また、予め使用するノイズリダクションシステムのノイズリダクションシステム係数を簡単な手法により容易に、且つ正確に求めることができる。また、予め使用するノイズリダクションシステムのノイズリダクションシステム係数を、従来から既に1chの音声強調システム等で用いられている方式を用いて容易に、且つ正確に求めることができる。
【0031】
前記模擬音声信号に対して所定のゲイン調整処理を行うものにおいては、そのゲインを大きくすると、歪みは小さくなる反面、SN比の改善量は小さくなり、逆にゲインを大きくすると、歪みは大きくなるがSN比の改善量が大きくなるので、使用するシステムの特性に合わせてこれを調整することにより、所望の特性の音声特徴量抽出装置を得ることができる。
【0032】
また、前記音声特徴量抽出装置を車両用ナビゲーション装置の音声認識装置に適用したものにおいては、エンジン音やタイヤの摩擦音、更には風切り音等、極めてノイズの多い音響上悪い環境条件下において、しかも大型の高価な演算処理装置を採用することが困難であり、且つ例えばナビゲーション装置の経路案内処理等にもその演算処理装置を併用しなければならないような環境下において、本発明を有効に利用することができる。
【図面の簡単な説明】
【図1】本発明による音声特徴量抽出装置に用いられる、主要処理部分を示す回路構成図である。
【図2】本発明に用いられるノイズリダクションシステムにおいて、予めそのノイズリダクションシステム係数を求める例を示す回路構成図である。
【図3】従来の音声特徴量抽出装置に用いられる、主要処理部分を示す回路構成図である。
【符号の説明】
1 マイク
2 窓関数部
3 FFT演算部
4 パワー算出部
5 ノイズリダクションシステム
11 模擬音声発声部
12 ゲイン調整部
15 適応フィルタ
17 FFT演算部
18 パワー算出部

Claims (3)

  1. 音声認識装置を動作させるための音声が発声されていないときに模擬音声信号を発生させ、その信号を遅延させることで適応フィルタの目標信号を生成すると共に、模擬音声信号と車室内に設置されたマイクの出力信号により得られる車室内音を加算した信号を、適応フィルタの参照入力として用いることにより、適応フィルタを動作させて、使用するノイズリダクションシステムのフィルタ係数を確定するフィルタ係数算出手段と、前記適応フィルタが収束したフィルタ特性をFFT処理し、その結果から適応フィルタが収束したフィルタ特性の自乗振幅特性を求めることでノイズリダクション係数を得るパワー算出手段とからなり、予め使用するノイズリダクションシステムのノイズリダクションシステム係数を演算するノイズリダクションシステム係数演算手段と、
    被処理入力音声の時間軸信号を周波数成分に変換するFFT演算手段と、
    前記FFT演算手段で得られたスペクトル信号からパワースペクトルベクトルを演算するパワー算出手段とを備え
    前記音声認識装置を動作させるための音声が発声されているときには、車室内に設置したマイクから出力される音声信号とその他の車室内音信号の混合信号に、ハニングあるいはハミング窓をかけ、その結果をFFT処理してその結果から信号のパワースペクトルを算出した後に、前記のようにして求めたノイズリダクション係数をかけることにより、音声信号とその他の車室内音信号の内、主にその他の車室内音信号の成分を低減した信号を出力することを特徴とする音声特徴抽出装置。
  2. 前記模擬音声信号に対して所定のゲイン調整処理を行うことを特徴とする請求項1記載の音声特徴量抽出装置。
  3. 前記音声特徴量抽出装置を、車両用ナビゲーション装置の音声認識装置に適用したことを特徴とする請求項1記載の音声特徴量抽出装置。
JP2000212067A 2000-07-12 2000-07-12 音声特徴量抽出装置 Expired - Fee Related JP3877270B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000212067A JP3877270B2 (ja) 2000-07-12 2000-07-12 音声特徴量抽出装置
US09/891,876 US6959277B2 (en) 2000-07-12 2001-06-26 Voice feature extraction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000212067A JP3877270B2 (ja) 2000-07-12 2000-07-12 音声特徴量抽出装置

Publications (2)

Publication Number Publication Date
JP2002023790A JP2002023790A (ja) 2002-01-25
JP3877270B2 true JP3877270B2 (ja) 2007-02-07

Family

ID=18708035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000212067A Expired - Fee Related JP3877270B2 (ja) 2000-07-12 2000-07-12 音声特徴量抽出装置

Country Status (2)

Country Link
US (1) US6959277B2 (ja)
JP (1) JP3877270B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596709B2 (en) * 2000-12-30 2009-09-29 Intel Corporation CPU power management based on utilization with lowest performance mode at the mid-utilization range
US7716712B2 (en) * 2003-06-18 2010-05-11 General Instrument Corporation Narrowband interference and identification and digital processing for cable television return path performance enhancement
DE102004008225B4 (de) * 2004-02-19 2006-02-16 Infineon Technologies Ag Verfahren und Einrichtung zum Ermitteln von Merkmalsvektoren aus einem Signal zur Mustererkennung, Verfahren und Einrichtung zur Mustererkennung sowie computerlesbare Speichermedien
JP4235128B2 (ja) * 2004-03-08 2009-03-11 アルパイン株式会社 入力音処理装置
GB0427968D0 (en) * 2004-12-21 2005-01-26 Davy Process Technology Switze Process
GB2437559B (en) * 2006-04-26 2010-12-22 Zarlink Semiconductor Inc Low complexity noise reduction method
US9401058B2 (en) 2012-01-30 2016-07-26 International Business Machines Corporation Zone based presence determination via voiceprint location awareness
US20140025374A1 (en) * 2012-07-22 2014-01-23 Xia Lou Speech enhancement to improve speech intelligibility and automatic speech recognition
US9530407B2 (en) * 2014-06-11 2016-12-27 Honeywell International Inc. Spatial audio database based noise discrimination

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1310709C (en) * 1989-06-26 1992-11-24 Simon Haykin Adaptive interference canceller
US5274560A (en) * 1990-12-03 1993-12-28 Audio Navigation Systems, Inc. Sensor free vehicle navigation system utilizing a voice input/output interface for routing a driver from his source point to his destination point
JP2797949B2 (ja) 1994-01-31 1998-09-17 日本電気株式会社 音声認識装置
FR2722631B1 (fr) * 1994-07-13 1996-09-20 France Telecom Etablissement P Procede et systeme de filtrage adaptatif par egalisation aveugle d'un signal telephonique numerique et leurs applications
US6263307B1 (en) * 1995-04-19 2001-07-17 Texas Instruments Incorporated Adaptive weiner filtering using line spectral frequencies
US5805696A (en) * 1996-12-09 1998-09-08 Lucent Technologies, Inc. Echo canceller adaptation technique
US6182036B1 (en) 1999-02-23 2001-01-30 Motorola, Inc. Method of extracting features in a voice recognition system

Also Published As

Publication number Publication date
US20020022957A1 (en) 2002-02-21
US6959277B2 (en) 2005-10-25
JP2002023790A (ja) 2002-01-25

Similar Documents

Publication Publication Date Title
JP4283212B2 (ja) 雑音除去装置、雑音除去プログラム、及び雑音除去方法
JP4753821B2 (ja) 音信号補正方法、音信号補正装置及びコンピュータプログラム
US6173258B1 (en) Method for reducing noise distortions in a speech recognition system
US9113241B2 (en) Noise removing apparatus and noise removing method
US10580428B2 (en) Audio noise estimation and filtering
US20070232257A1 (en) Noise suppressor
WO2006123721A1 (ja) 雑音抑圧方法およびその装置
JP4957810B2 (ja) 音処理装置、音処理方法及び音処理プログラム
JP2003534570A (ja) 適応ビームフォーマーにおいてノイズを抑制する方法
EP3276621B1 (en) Noise suppression device and noise suppressing method
JP3877270B2 (ja) 音声特徴量抽出装置
WO2020110228A1 (ja) 情報処理装置、プログラム及び情報処理方法
US7917359B2 (en) Noise suppressor for removing irregular noise
JP2000330597A (ja) 雑音抑圧装置
JP2836271B2 (ja) 雑音除去装置
US7542577B2 (en) Input sound processor
WO2018173526A1 (ja) 音声処理用コンピュータプログラム、音声処理装置及び音声処理方法
JPH11265199A (ja) 送話器
JP3110201B2 (ja) ノイズ除去装置
JP3270866B2 (ja) 雑音除去方法および雑音除去装置
JP2005157086A (ja) 音声認識装置
JP2001228893A (ja) 音声認識装置
JP2007058237A (ja) 雑音除去方法
CN111226278A (zh) 低复杂度的浊音语音检测和基音估计
JPH04235600A (ja) 適応型フィルタを用いた雑音除去装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061030

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091110

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111110

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111110

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131110

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees