JP3566197B2 - 雑音抑圧装置及び雑音抑圧方法 - Google Patents

雑音抑圧装置及び雑音抑圧方法 Download PDF

Info

Publication number
JP3566197B2
JP3566197B2 JP2000264196A JP2000264196A JP3566197B2 JP 3566197 B2 JP3566197 B2 JP 3566197B2 JP 2000264196 A JP2000264196 A JP 2000264196A JP 2000264196 A JP2000264196 A JP 2000264196A JP 3566197 B2 JP3566197 B2 JP 3566197B2
Authority
JP
Japan
Prior art keywords
spectrum
noise
suppression
coefficient
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000264196A
Other languages
English (en)
Other versions
JP2002073066A (ja
Inventor
幸司 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2000264196A priority Critical patent/JP3566197B2/ja
Priority to PCT/JP2001/007452 priority patent/WO2002019318A1/ja
Priority to GB0209894A priority patent/GB2371193B/en
Priority to US10/111,806 priority patent/US7054808B2/en
Priority to AU2001284414A priority patent/AU2001284414A1/en
Publication of JP2002073066A publication Critical patent/JP2002073066A/ja
Application granted granted Critical
Publication of JP3566197B2 publication Critical patent/JP3566197B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02168Noise filtering characterised by the method used for estimating noise the estimation exclusively taking place during speech pauses
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L2025/783Detection of presence or absence of voice signals based on threshold decision

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Noise Elimination (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Telephone Function (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、雑音抑圧装置及び雑音抑圧方法に関し、特に、通信システムにおける雑音抑圧に関する。
【0002】
【従来の技術】
携帯電話による音声通信では、自動車の中や街頭などの周囲に大きな騒音のある環境で行われることがある。このような大きな騒音のある環境で通話する場合、音声信号に含まれる雑音信号を抑圧が重要である。雑音抑圧技術の一つにスペクトルサブトラクションがある。
【0003】
以下に、スペクトルサブトラクション法を用いた雑音抑圧装置について説明する。図8は、従来の雑音抑圧装置の構成の例を示すブロック図である。図8において、雑音信号を含む入力音声信号は、窓かけ部11において台形窓などを利用して窓かけウインドウ処理され、FFT部12において入力音声スペクトルに高速フーリエ変換されてスペクトル減算部14と雑音スペクトル推定部13に出力される。
【0004】
入力音声スペクトルは、スペクトル減算部14において、雑音スペクトル推定部13で作成された推定雑音スペクトルを減算されて、IFFT部15において逆高速フーリエ変換により音声信号に変換されて、重ね合せ加算部16において各時間単位毎に雑音抑圧処理された音声信号について、時刻の重複する部分を加算して重ね合せ、時間に途切れのない音声信号として、雑音を抑圧した音声信号として出力される。
【0005】
このように、従来の雑音抑圧装置は、入力音声信号を高速フーリエ変換によって周波数領域に変換した入力音声スペクトルから、音声のない雑音のみの区間などから推定された推定雑音スペクトルを減算することで雑音成分を除去し、この減算したスペクトルを逆高速フーリエ変換によって時間領域に変換することにより雑音を抑圧した音声信号を出力している。
【0006】
【発明が解決しようとする課題】
しかしながら、従来の雑音抑圧装置は、音声スペクトルの振幅での減算を行うのみでありスペクトルの位相を考慮していないので、信号対雑音比の低い音声信号や非定常的に発生した雑音を含む音声信号では、推定雑音スペクトルの推定が困難になり大きな誤差が生じるので、十分な雑音抑圧が難しかった。
【0007】
本発明はかかる点に鑑みてなされたものであり、信号対雑音比の低い音声信号や非定常的に発生した雑音を含む音声信号でも高い雑音抑圧効果と抑圧歪の軽減とを両立することができる雑音抑圧装置及び雑音抑圧方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明の雑音抑圧装置は、入力された音声信号をフレーム単位で音声スペクトルに変換する変換手段と、前記音声スペクトルに音声成分が存在する有音か存在しない無音かをフレーム毎に判定する有音無音判定手段と、前記音声スペクトルに基づいて雑音スペクトルを推定する雑音推定手段と、前記音声スペクトルと雑音スペクトルとに基づいて信号対雑音比を算出するSNR算出手段と、前記音声スペクトルが有音でかつ信号対雑音比が所定の値以上である場合にあらかじめ設定された第一係数を用いて抑圧下限値係数を更新し、上記条件以外の場合に前記第一係数より大きい値であるあらかじめ設定された第二係数を用いて抑圧下限値係数を更新する抑圧係数制御手段と、前記音声スペクトルから前記雑音スペクトルを減算した減算スペクトルと前記音声スペクトルに前記抑圧下限値係数を乗算した減算下限スペクトルとを比較し、前記減算スペクトルと前記減算下限スペクトルの大きい箇所を選択して構成した抑圧音声スペクトルを出力する抑圧音声スペクトル算出手段と、を具備する構成を採る。
【0009】
この構成によれば、音声信号に対して、信号対雑音比の高い音声部分は、より正確な雑音スペクトルの推定ができるので、信号対雑音比の高い音声部分程、より強い抑圧を行うことにより、音声のひずみの少なく効果的な雑音抑圧を行うことができる。
【0012】
本発明の雑音抑圧装置は、前記雑音推定手段は、前記有音無音判定手段にて音声成分がないと判断されたフレームから雑音スペクトルを推定する構成を採る。
【0013】
この構成によれば、雑音スペクトルを正確に推定できるので、正確な雑音抑圧を行うことができる。
【0018】
本発明の雑音抑圧装置は、前記抑圧音声スペクトル算出手段から出力された抑圧音声スペクトルにあらかじめ設定された全帯域抑圧係数を乗算する全帯域抑圧手段を具備する構成を採る。
【0019】
本発明の雑音抑圧装置は、前記全帯域抑圧手段は、前記音声スペクトルが有音である場合に値「1」により更新された全帯域抑圧係数を音声スペクトルに乗算し、前記音声スペクトルが無音である場合に「1」より小さい値で更新された前記全帯域抑圧係数を前記音声スペクトルに乗算する構成を採る。
【0020】
本発明の雑音抑圧装置は、前記全帯域抑圧手段は、前記音声スペクトルが無音である場合に信号対雑音比の大きい信号ほどより強い全帯域抑圧係数で抑圧を行う構成を採る。
【0021】
これらの構成によれば、無音判定されたフレームに、抑圧による歪みを全く生じさせない全帯域抑圧を行うことにより、音声成分のない信号に対して歪みの少ない雑音抑圧を行うことができる。
【0022】
本発明の無線通信装置は、上記いずれかに記載の雑音抑圧装置を有する構成を採る。
【0023】
この構成によれば、音声信号に対して、信号対雑音比の高い音声部分は、より正確な雑音スペクトルの推定ができるので、信号対雑音比の高い音声部分により強い抑圧を行うことにより、音声のひずみの少なく効果的な雑音抑圧を行った音声を送信又は受信することができる。
【0024】
本発明のコンピュータ読み取り可能な記録媒体は、入力された音声信号をフレーム単位で音声スペクトルに変換する手順と、前記音声スペクトルに音声成分が存在する有音か存在しない無音かをフレーム毎に判定する手順と、前記音声スペクトルに基づいて雑音スペクトルを推定する手順と、前記音声スペクトルと雑音スペクトルとに基づいて信号対雑音比を算出する手順と、前記音声スペクトルが有音でかつ信号対雑音比が所定の値以上である場合にあらかじめ設定された第一係数を用いて抑圧下限値係数を更新し、上記条件以外の場合に前記第一係数より大きい値であるあらかじめ設定された第二係数を用いて抑圧下限値係数を更新する手順と、前記音声スペクトルから前記雑音スペクトルを減算した減算スペクトルと前記音声スペクトルに前記抑圧下限値係数を乗算した減算下限スペクトルとを比較し、前記減算スペクトルと前記減算下限スペクトルの大きい方を選択して構成した抑圧音声スペクトルを出力する手順と、を含む雑音抑圧プログラムを記録する。
【0025】
この構成によれば、音声信号に対して、信号対雑音比の高い音声部分は、より正確な雑音スペクトルの推定ができるので、信号対雑音比の高い音声部分程、より強い抑圧を行うことにより、音声のひずみの少なく効果的な雑音抑圧を行うことができる。
【0028】
本発明の雑音抑圧方法は、入力された音声信号をフレーム単位で音声スペクトルに変換する工程と、前記音声スペクトルに音声成分が存在する有音か存在しない無音かをフレーム毎に判定する工程と、前記音声スペクトルに基づいて雑音スペクトルを推定する工程と、前記音声スペクトルと雑音スペクトルとに基づいて信号対雑音比を算出する工程と、前記音声スペクトルが有音でかつ信号対雑音比が所定の値以上である場合にあらかじめ設定された第一係数を用いて抑圧下限値係数を更新し、上記条件以外の場合に前記第一係数より大きい値であるあらかじめ設定された第二係数を用いて抑圧下限値係数を更新する工程と、前記音声スペクトルから前記雑音スペクトルを減算した減算スペクトルと前記音声スペクトルに前記抑圧下限値係数を乗算した減算下限スペクトルとを比較し、前記減算スペクトルと前記減算下限スペクトルの大きい方を選択して構成した抑圧音声スペクトルを出力する工程と、を具備する
【0029】
これらの方法によれば、音声信号に対して、信号対雑音比の高い音声部分は、より正確な雑音スペクトルの推定ができるので、信号対雑音比の高い音声部分程、より強い抑圧を行うことにより、音声のひずみの少なく効果的な雑音抑圧を行うことができる。
【0030】
【発明の実施の形態】
本発明者は、音声信号の信号対雑音比の高い部分は、雑音信号をより正確に推定できることを見出し、本発明をするに至った。
【0031】
すなわち、本発明の骨子は、音声信号の有音部分と無音部分から信号対雑音比を算出して、信号対雑音比の高い信号部分により強い雑音抑圧を行い、信号対雑音比の低い信号部分で抑圧によりひずみの生じる部分に抑圧の制限をかけることである。
【0032】
以下、本発明について、図面を参照して詳細に説明する。
【0033】
(実施の形態1)
本発明の実施の形態1の雑音抑圧装置は、音声信号に対して、信号対雑音比の高い音声部分により強い抑圧を行い、信号対雑音比の低い部分に対する雑音抑圧に減算下限を設定して、抑圧に制限を設ける。
【0034】
図1は、本発明の実施の形態1に係る雑音抑圧装置の構成を示すブロック図である。
【0035】
図1において、雑音抑圧装置は、窓かけ部101と、FFT部102と、有音無音判定部103と、雑音スペクトル推定部104と、SNR推定部105と、抑圧係数制御部106と、スペクトル減算部107と、IFFT部108と、重ね合せ加算部109と、から構成される。
【0036】
窓かけ部101は、入力された音声信号に台形窓などを利用した窓かけ処理を行ってFFT部102に出力する。FFT部102は、窓かけ部101から出力された音声信号にFFT(Fast Fourier Transform)を行い、音声スペクトル信号を有音無音判定部103、雑音スペクトル推定部104、スペクトル減算部107、及びSNR推定部105に出力する。
【0037】
有音無音判定部103は、FFT部102から出力された音声スペクトル信号が音声を含む有音部分であるか、音声を含まず雑音のみの無音部分であるかの判定(以下「有音無音判定」という)を行う。そして、有音無音判定部103は、有音無音判定の結果を雑音スペクトル推定部104、SNR推定部105、及び抑圧係数制御部106に出力する。
【0038】
雑音スペクトル推定部104は、音声スペクトル信号が無音である場合、FFT部102から出力された音声スペクトル信号に基づいて雑音スペクトルを推定してSNR推定部105及びスペクトル減算部107に出力する。
【0039】
SNR推定部105は、有音無音判定に基づいて音声スペクトルの有音部分の平滑化スペクトルパワ値から音声信号パワを求め、音声スペクトルの無音部分の平滑化スペクトルパワ値から雑音信号パワを求めて、この2つの値の比を取ることによりSNR(Signal to Noise Ratio)を算出して抑圧係数制御部106に出力する。
【0040】
抑圧係数制御部106は、有音無音判定とSNRの値に基づいて抑圧下限値係数をスペクトル減算部107に出力する。具体的には、音声信号が有音部分でSNRが所定の値より大きい場合に、抑圧下限値係数を所定の値に設定し、それ以外の条件の時には、抑圧下限値係数を有音部分でSNRが所定の値より大きい場合に適用する抑圧下限値係数より小さな値に設定してスペクトル減算部107に出力する。
【0041】
スペクトル減算部107は、入力される音声スペクトルから推定した雑音スペクトルを減算して雑音を抑圧した音声スペクトルを出力する。ただし、減算後の音声スペクトルが入力されたスペクトルの強度に抑圧下限値係数を乗算した値以下となる場合、減算した音声スペクトルの代わりに音声スペクトルに抑圧下限値係数を乗算した値を減算下限スペクトルとしてIFFT部108に出力する。
【0042】
IFFT部108は、スペクトル減算部107から出力された音声スペクトルにIFFT(Inverse Fast Fourier Transform)を行って音声信号に変換した信号を重ね合せ加算部109に出力する。重ね合せ加算部109は、IFFT部108から出力された音声信号について、時刻の重複する部分を加算して重ね合せ出力音声信号として出力する。
【0043】
次に、上記構成を有する雑音抑圧装置の動作について図2に示すフロー図を用いて説明する。
【0044】
図2において、Cは平滑化係数、THR_SNRは閾値、sup_minは、前フレームにおける抑圧下限値係数である。また、DMPMIN_Sは、推定SNRが高い区間で適用される帯域別抑圧下限値定数、DMPMIN_Wは、推定SNRが低い区間で適用される帯域別抑圧下限値定数であり、DMPMIN_S<DMPMIN_Wの条件を満たす。また、Gは、減算する時の係数であり、apow[m]は推定雑音スペクトル、xpow[n]は入力音声スペクトルであり、推定雑音スペクトルapow[m]の帯域mは、音声スペクトルxpow[n]の帯域nに対応するものとする。
【0045】
ステップ(以下「ST」という)201では、有音無音判定部103が、入力されたフレームに音声があるか否かを判定し、ST201において、入力されたフレームに音声成分があると判定された場合、ST202に進み、入力されたフレームに音声成分がないと判定された場合、ST205に進む。
【0046】
ST202では、SNR推定部105がSNRを推定する。ST203では、抑圧係数制御部106が、SNRが所定の閾値より大きいか否か判断し、SNRが所定の閾値より大きいと判断した場合、ST204に進み、SNRが所定の閾値以下であると判断した場合、ST207に進む。
【0047】
ST204では、抑圧係数制御部106が、強い抑圧を行うために帯域別抑圧下限値定数DMPMIN_Sに漸近するように抑圧下限値係数sup_minを更新する。ST205では、雑音スペクトル更新部104が入力されたフレームから雑音スペクトルを推定する。ST206では、SNR推定部105がSNRを推定してST207に進む。
【0048】
ST207では、抑圧係数制御部106が、弱い抑圧を行うためにST204の値より大きな帯域別抑圧下限値定数DMPMIN_Wに漸近するように抑圧下限値係数sup_minを更新する。
【0049】
ST204あるいはST207で抑圧下限値係数の更新を行った後、ST208では、スペクトル減算部107が、音声スペクトルを雑音抑圧した結果が設定した雑音抑圧の下限より大きいか否かを判断する。
【0050】
ST208において、音声スペクトルを雑音抑圧した結果が雑音抑圧の下限より大きいと判断した場合、ST209では、スペクトル減算部107が音声スペクトルから雑音スペクトルを減算した結果を出力する。ST208において、音声スペクトルを雑音抑圧した結果が雑音抑圧の下限以下と判断した場合、ST210では、スペクトル減算部107が音声スペクトルに抑圧下限値係数を乗算した結果を出力する。
【0051】
次に、音声スペクトルの抑圧について説明する。
図3は、SNRが高い場合の音声スペクトルの雑音抑圧処理の例を示す図である。図3(a)〜(c)において、縦軸はスペクトルのパワを示し、横軸は周波数を示す。また、P1とP2は、音声信号のピークであり、P3は、雑音信号のピークである。
【0052】
図3(a)は、入力スペクトルと推定雑音スペクトルの例を示す図である。SNRが高い場合、雑音スペクトルの推定の精度が高いので、入力スペクトルA−1と雑音スペクトルA−2の雑音ピークP3の形状はほぼ一致している。
【0053】
入力スペクトルA−1から雑音スペクトルA−2を減算した結果を図3(b)に示す。図3(b)において、減算スペクトルB−1は、入力スペクトルA−1から雑音スペクトルA−2を減算したスペクトルであり、P3の雑音スペクトルのピークが抑圧されている。減算スペクトルB−1は、すべての周波数帯域で、減算下限スペクトルB−2より大きな値を示すので、出力される音声スペクトルとして、図3(c)に示す様にスペクトルC−1が出力される。
【0054】
図4は、SNRが低い場合の音声スペクトルの雑音抑圧処理の例を示す図である。図4(a)〜(c)において、縦軸はスペクトルのパワを示し、横軸は周波数を示す。また、P4とP5は、音声信号のピークである。
【0055】
図4(a)は、入力スペクトルと推定雑音スペクトルの例を示す図である。
領域S1では、推定した雑音スペクトルA−4の精度が低く実際の雑音より大きい雑音を推定している。
【0056】
図4(b)は、入力スペクトルから推定雑音スペクトルを減算した減算スペクトルと減算下限スペクトルの例を示す図である。図4(b)において、減算スペクトルB−3は、ピークP4近辺及びS1近辺の領域が必要以上に抑圧されている。
【0057】
このように、SNRが低い場合、雑音スペクトルの推定の精度が低いので、十分に雑音を抑圧できない周波数領域や必要以上に雑音を抑圧してしまう周波数領域が存在する。この結果、雑音抑圧された音声スペクトルにひずみが生じる。
【0058】
そこで、減算スペクトルB−3と減算下限スペクトルB−4を比較してスペクトル強度の大きい方を出力することにより必要以上の雑音抑圧により音声スペクトルがひずむことを防ぐ。
【0059】
図4(c)は、雑音抑圧後に出力するスペクトルの例を示す図である。図4(c)において、P4近辺のスペクトルのピーク及び、S1近辺の領域は、減算下限スペクトルB−4が減算スペクトルB−3より大きな値を示すので、減算下限B−4スペクトルが出力スペクトルC−2となり、P5近辺は、減算スペクトルB−3が減算下限スペクトルB−4より大きな値を示すので、減算スペクトルB−3が出力スペクトルC−2となる。
【0060】
このように、本実施の形態の雑音抑圧装置によれば、音声信号に対して、信号対雑音比の高い音声部分は、より正確な雑音スペクトルの推定ができるので、信号対雑音比の高い音声部分程、より強い抑圧を行うことにより、音声のひずみの少なく効果的な雑音抑圧を行うことができる。
【0061】
また、本実施の形態の雑音抑圧装置によれば、信号対雑音比の低い部分は、減算下限を設定することにより、必要以上の雑音抑圧を防ぎ、音声のひずみを少なくすることができる。
【0062】
(実施の形態2)
本発明の実施の形態2の雑音抑圧装置は、入力音声信号に対して、音声ではないと判定された区間に対して、信号対雑音比の高い区間程より強い抑圧を行い、信号対雑音比の低い区間程より弱い抑圧を行う。
【0063】
図5は、実施の形態2に係る雑音抑圧装置の構成の例を示すブロック図である。但し、図1と共通する構成については図1と同一番号を付し、詳しい説明を省略する。
【0064】
図5の雑音抑圧装置は、全帯域抑圧係数制御部501と全帯域抑圧部502を具備して、音声スペクトルの全帯域を抑圧する点が、図1と異なる。
【0065】
図5において、有音無音判定部103は、FFT部102から出力された音声スペクトル信号が音声を含む有音部分であるか、音声を含まず雑音のみの無音部分であるかを判断して、判断結果を雑音スペクトル推定部104、SNR推定部105、抑圧係数制御部106、及び全帯域抑圧係数制御部501に出力する。
【0066】
SNR推定部105は、有音無音判定部103から出力される音声信号の有音無音判定に基づいて音声スペクトルの有音部分の平滑化スペクトルパワ値から音声信号パワを求め、音声スペクトルの無音部分の平滑化スペクトルパワ値から雑音信号パワを求めて、この2つの値の比を取ることによりSNRを算出して抑圧係数制御部106と全帯域抑圧係数制御部501に出力する。
【0067】
全帯域抑圧係数制御部501は、音声信号が有音部分の場合には、全帯域抑圧係数の値を、抑圧を行わない値で全帯域抑圧部502に出力し、音声信号が無音部分の場合には、全帯域抑圧係数の値をSNRが高い場合により強い抑圧が行われ、SNRが低い場合により弱い抑圧が行われる値で全帯域抑圧部502に出力する。
【0068】
全帯域抑圧部502は、スペクトル減算部107から出力された音声スペクトルsup[n]から全帯域抑圧係数を乗算して音声スペクトルを周波数全域に抑圧を行ってIFFT部108に出力する。
【0069】
次に、上記構成を有する雑音抑圧装置の動作について図6に示すフロー図を用いて説明する。
【0070】
図6において、sup[n]は全帯域抑圧前の雑音抑圧スペクトル、sup2[n]は全帯域抑圧後の雑音抑圧スペクトル、sup_allは全帯域抑圧係数、SUPALL_HIは推定SNRが高い区間で適用される全帯域抑圧係数、SUPALL_MDは推定SNRが中程度の区間で適用される全帯域抑圧係数、SUPALL_LWは推定SNRが低い区間で適用される全帯域抑圧係数であり、0.0≦SUPALL_HI≦SUPALL_MD≦SUPALL_LW≦1.0を満たす。
【0071】
また、THR_SNR_HIとTHR_SNR_LWは閾値であり、THR_SNR_HI>THR_SNR_LWを満たす。C1とC2は、平滑化係数である。
【0072】
ST601では、有音無音判定部103が、入力されたフレームに音声があるか否かを判定する。ST601において、入力されたフレームに音声があると判定された場合、ST602では、全帯域抑圧係数制御部501が、全帯域抑圧係数を更新して、ST608に進む。
【0073】
ST601において、入力されたフレームに音声がないと判定された場合、ST603では、全帯域抑圧係数制御部501が、SNRが所定の閾値より大きいか否かを判断する。ST603において、SNRが所定の閾値より大きいと判断した場合、ST604では、全帯域抑圧係数制御部501が、全帯域抑圧係数を更新して、ST608に進む。
【0074】
ST603において、SNRが所定の閾値以下であると判断した場合、ST605では、全帯域抑圧係数制御部501が、SNRが所定の閾値より小さいか否かを判断する。ST605において、SNRが所定の閾値より小さいと判断した場合、ST606では、全帯域抑圧係数制御部501が、全帯域抑圧係数を更新するして、ST608に進む。
【0075】
ST605において、SNRが所定の閾値以上と判断した場合、ST607では、全帯域抑圧係数制御部501が、全帯域抑圧係数を更新する。
【0076】
ST608では、全帯域抑圧部502が音声スペクトルに全帯域抑圧係数を乗算した結果を出力する。
【0077】
このように、本実施の形態の雑音抑圧装置によれば、音声信号に対して、信号対雑音比の高い音声部分は、より正確な雑音スペクトルの推定ができるので、信号対雑音比の高い音声部分程、より強い抑圧を行うことにより、音声のひずみの少なく効果的な雑音抑圧を行うことができる。
【0078】
また、本実施の形態の雑音抑圧装置によれば、無音判定されたフレームに、抑圧による歪みを全く生じさせない全帯域抑圧を行うことにより、音声成分のない信号に対して歪みの少ない雑音抑圧を行うことができる。
【0079】
また、本実施の形態の雑音抑圧装置によれば、音声信号に対して、音声成分のないフレームで、信号対雑音比の高い領域により強い抑圧を行い、信号対雑音比の低い領域により弱い抑圧を行うことにより、雑音成分のみのフレームで歪の少ない効果的な雑音抑圧を行うことができる。
【0080】
(実施の形態3)
図7は、本発明の実施の形態1又は実施の形態2に係る雑音抑圧装置を備えた無線通信装置の構成の例を示すブロック図である。
【0081】
図7において無線通信装置は、音声入力部701と、A/D変換部702と、雑音抑圧装置703と、音声符号化部704と、変調部705と、無線送信部706と、アンテナ707と、アンテナ708と、無線受信部709と、復調部710と、音声復号部711と、雑音抑圧装置712と、D/A変換部713と、音声出力部714とから構成される。
【0082】
音声入力部701は、マイク等から入力された音声を電気信号に変換して音声信号としてA/D変換部702に出力する。A/D変換部702は、音声入力部701から出力された音声信号にアナログデジタル変換して雑音抑圧装置703に出力する。
【0083】
雑音抑圧装置703は、上記実施の形態1から3のいずれかの雑音抑圧装置であって、A/D変換部702から出力された音声信号に対して信号対雑音比の高い信号部分により強い雑音抑圧を行い、信号対雑音比の低い信号部分で抑圧によりひずみの生じる部分に抑圧の制限をかけてひずみの少ない雑音抑圧を行い、雑音抑圧された音声信号を音声符号化部704に出力する。
【0084】
音声符号化部704は、雑音抑圧装置703から出力された音声信号に音声符号化処理を行い、変調部705に出力する。変調部705は、音声符号化部704から出力された音声信号を変調して無線送信部706に出力する。無線送信部706は、変調部705から出力された音声信号を無線周波数に周波数変換して送信信号としてアンテナ707に出力する。アンテナ707は、送信信号を無線信号として送信する。
【0085】
アンテナ708は、無線信号を受信して受信信号として無線受信部709に出力する。無線受信部709は、アンテナ708で受信された受信信号をベースバンド周波数に周波数変換して、復調部710に出力する。復調部710は、無線受信部709から出力された受信信号を復調して音声復号部711に出力する。音声復号部711は、復調部710から出力された受信信号を音声復号して雑音抑圧装置712に出力する。
【0086】
雑音抑圧装置712は、音声復号部711から出力された音声信号に対して信号対雑音比の高い信号部分により強い雑音抑圧を行い、信号対雑音比の低い信号部分で抑圧によりひずみの生じる部分に抑圧の制限をかけてずみの少ない雑音抑圧を行い、雑音抑圧された音声信号をD/A変換部713に出力する。
【0087】
D/A変換部713は、雑音抑圧装置703から出力された受信信号にデジタルアナログ変換してアナログの音声信号を音声出力部714に出力する。音声出力部714は、D/A変換部713から出力された音声信号を音声としてスピーカー等で出力する。
【0088】
このように、本実施の形態の無線通信装置によれば、音声信号に対して、信号対雑音比の高い音声部分は、より正確な雑音スペクトルの推定ができるので、信号対雑音比の高い音声部分により強い抑圧を行うことにより、音声のひずみの少なく効果的な雑音抑圧を行った音声を送信又は受信することができる。
【0089】
なお、上記いずれかの実施の形態に係る音声強調は、音声強調装置として説明しているが、この音声強調をソフトウェアにより実現することもできる。例えば、上記音声強調を行うプログラムを予めROM(Read Only Memory)に格納しておき、そのプログラムをCPU(Central Processor Unit)によって動作するようにしてもよい。
【0090】
また、上記音声強調を行うプログラムをコンピュータ読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのRAM(Random Access Memory)に記録して、コンピュータをそのプログラムに従って実行させてもよい。このような場合においても、上記実施の形態と同様の作用及び効果を呈する。
【0091】
また、上記音声強調を行うプログラムをサーバに格納し、サーバに格納されたプログラムをクライアントに転送して、クライアント上でそのプログラムを実行させてもよい。このような場合においても、上記実施の形態と同様の作用及び効果を呈する。
【0092】
【発明の効果】
以上説明したように、本発明によれば、信号対雑音比の低い音声信号や非定常的に発生した雑音を含む音声信号でもひずみの少ない雑音抑圧を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る雑音抑圧装置の構成を示すブロック図
【図2】上記実施の形態における雑音抑圧装置の動作を示すフロー図
【図3】上記実施の形態におけるSNRが高い場合の音声スペクトルの雑音抑圧処理の例を示す図
【図4】上記実施の形態におけるSNRが低い場合の音声スペクトルの雑音抑圧処理の例を示す図
【図5】実施の形態2に係る雑音抑圧装置の構成の例を示すブロック図
【図6】上記実施の形態における雑音抑圧装置の動作を示すフロー図
【図7】実施の形態1又は実施の形態2に係る雑音抑圧装置を備えた無線通信装置の構成の例を示すブロック図
【図8】従来の雑音抑圧装置の構成の例を示すブロック図
【符号の説明】
101 窓かけ部
102 FFT部
103 有音無音判定部
104 雑音スペクトル推定部
105 SNR推定部
106 抑圧係数制御部
107 スペクトル減算部
108 IFFT部
109 重ね合せ加算部
501 全帯域抑圧係数制御部
502 全帯域抑圧部

Claims (8)

  1. 入力された音声信号をフレーム単位で音声スペクトルに変換する変換手段と、
    前記音声スペクトルに音声成分が存在する有音か存在しない無音かをフレーム毎に判定する有音無音判定手段と、
    前記音声スペクトルに基づいて雑音スペクトルを推定する雑音推定手段と、
    前記音声スペクトルと雑音スペクトルとに基づいて信号対雑音比を算出するSNR算出手段と、
    前記音声スペクトルが有音でかつ信号対雑音比が所定の値以上である場合にあらかじめ設定された第一係数を用いて抑圧下限値係数を更新し、上記条件以外の場合に前記第一係数より大きい値であるあらかじめ設定された第二係数を用いて抑圧下限値係数を更新する抑圧係数制御手段と、
    前記音声スペクトルから前記雑音スペクトルを減算した減算スペクトルと前記音声スペクトルに前記抑圧下限値係数を乗算した減算下限スペクトルとを比較し、前記減算スペクトルと前記減算下限スペクトルの大きい箇所を選択して構成した抑圧音声スペクトルを出力する抑圧音声スペクトル算出手段と、を具備することを特徴とする雑音抑圧装置。
  2. 前記雑音推定手段は、前記有音無音判定手段にて音声成分がないと判断されたフレームから雑音スペクトルを推定することを特徴とする請求項1に記載の雑音抑圧装置。
  3. 前記抑圧音声スペクトル算出手段から出力された抑圧音声スペクトルにあらかじめ設定された全帯域抑圧係数を乗算する全帯域抑圧手段を具備することを特徴とする請求項1又は請求項2記載の雑音抑圧装置。
  4. 前記全帯域抑圧手段は、前記音声スペクトルが有音である場合に値「1」により更新された全帯域抑圧係数を音声スペクトルに乗算し、前記音声スペクトルが無音である場合に「1」より小さい値で更新された前記全帯域抑圧係数を前記音声スペクトルに乗算することを特徴とする請求項1又は請求項2記載の雑音抑圧装置。
  5. 前記全帯域抑圧手段は、前記音声スペクトルが無音である場合に信号対雑音比の大きい信号ほどより強い全帯域抑圧係数で抑圧を行うことを特徴とする請求項4記載の雑音抑圧装置。
  6. 請求項1から請求項5のいずれかに記載の雑音抑圧装置を有することを特徴とする無線通信装置。
  7. 入力された音声信号をフレーム単位で音声スペクトルに変換する手順と、
    前記音声スペクトルに音声成分が存在する有音か存在しない無音かをフレーム毎に判定する手順と、
    前記音声スペクトルに基づいて雑音スペクトルを推定する手順と、
    前記音声スペクトルと雑音スペクトルとに基づいて信号対雑音比を算出する手順と、
    前記音声スペクトルが有音でかつ信号対雑音比が所定の値以上である場合にあらかじめ設定された第一係数を用いて抑圧下限値係数を更新し、上記条件以外の場合に前記第一係数より大きい値であるあらかじめ設定された第二係数を用いて抑圧下限値係数を更新する手順と、
    前記音声スペクトルから前記雑音スペクトルを減算した減算スペクトルと前記音声スペクトルに前記抑圧下限値係数を乗算した減算下限スペクトルとを比較し、前記減算スペクトルと前記減算下限スペクトルの大きい方を選択して構成した抑圧音声スペクトルを出力する手順と、を含む雑音抑圧プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
  8. 入力された音声信号をフレーム単位で音声スペクトルに変換する工程と、
    前記音声スペクトルに音声成分が存在する有音か存在しない無音かをフレーム毎に判定する工程と、
    前記音声スペクトルに基づいて雑音スペクトルを推定する工程と、
    前記音声スペクトルと雑音スペクトルとに基づいて信号対雑音比を算出する工程と、
    前記音声スペクトルが有音でかつ信号対雑音比が所定の値以上である場合にあらかじめ設定された第一係数を用いて抑圧下限値係数を更新し、上記条件以外の場合に前記第一係数より大きい値であるあらかじめ設定された第二係数を用いて抑圧下限値係数を更新する工程と、
    前記音声スペクトルから前記雑音スペクトルを減算した減算スペクトルと前記音声スペクトルに前記抑圧下限値係数を乗算した減算下限スペクトルとを比較し、前記減算スペクトルと前記減算下限スペクトルの大きい方を選択して構成した抑圧音声スペクトルを出力する工程と、を具備することを特徴とする雑音抑圧方法。
JP2000264196A 2000-08-31 2000-08-31 雑音抑圧装置及び雑音抑圧方法 Expired - Fee Related JP3566197B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2000264196A JP3566197B2 (ja) 2000-08-31 2000-08-31 雑音抑圧装置及び雑音抑圧方法
PCT/JP2001/007452 WO2002019318A1 (fr) 2000-08-31 2001-08-30 Unite et procede de suppression du bruit
GB0209894A GB2371193B (en) 2000-08-31 2001-08-30 Noise suppressor and noise suppressing method
US10/111,806 US7054808B2 (en) 2000-08-31 2001-08-30 Noise suppressing apparatus and noise suppressing method
AU2001284414A AU2001284414A1 (en) 2000-08-31 2001-08-30 Noise suppressor and noise suppressing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000264196A JP3566197B2 (ja) 2000-08-31 2000-08-31 雑音抑圧装置及び雑音抑圧方法

Publications (2)

Publication Number Publication Date
JP2002073066A JP2002073066A (ja) 2002-03-12
JP3566197B2 true JP3566197B2 (ja) 2004-09-15

Family

ID=18751646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000264196A Expired - Fee Related JP3566197B2 (ja) 2000-08-31 2000-08-31 雑音抑圧装置及び雑音抑圧方法

Country Status (5)

Country Link
US (1) US7054808B2 (ja)
JP (1) JP3566197B2 (ja)
AU (1) AU2001284414A1 (ja)
GB (1) GB2371193B (ja)
WO (1) WO2002019318A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116643B (fi) * 1999-11-15 2006-01-13 Nokia Corp Kohinan vaimennus
JP4282227B2 (ja) 2000-12-28 2009-06-17 日本電気株式会社 ノイズ除去の方法及び装置
DE10150519B4 (de) * 2001-10-12 2014-01-09 Hewlett-Packard Development Co., L.P. Verfahren und Anordnung zur Sprachverarbeitung
US7233894B2 (en) * 2003-02-24 2007-06-19 International Business Machines Corporation Low-frequency band noise detection
US20050069143A1 (en) * 2003-09-30 2005-03-31 Budnikov Dmitry N. Filtering for spatial audio rendering
FR2861247B1 (fr) * 2003-10-21 2006-01-27 Cit Alcatel Terminal de telephonie a gestion de la qualite de restituton vocale pendant la reception
JP4520732B2 (ja) * 2003-12-03 2010-08-11 富士通株式会社 雑音低減装置、および低減方法
JP4423300B2 (ja) * 2004-10-28 2010-03-03 富士通株式会社 雑音抑圧装置
GB2422237A (en) * 2004-12-21 2006-07-19 Fluency Voice Technology Ltd Dynamic coefficients determined from temporally adjacent speech frames
KR100657948B1 (ko) * 2005-02-03 2006-12-14 삼성전자주식회사 음성향상장치 및 방법
JP4670483B2 (ja) 2005-05-31 2011-04-13 日本電気株式会社 雑音抑圧の方法及び装置
US20070100611A1 (en) * 2005-10-27 2007-05-03 Intel Corporation Speech codec apparatus with spike reduction
US8744844B2 (en) * 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
JP5435204B2 (ja) 2006-07-03 2014-03-05 日本電気株式会社 雑音抑圧の方法、装置、及びプログラム
JP4827661B2 (ja) 2006-08-30 2011-11-30 富士通株式会社 信号処理方法及び装置
JP4836720B2 (ja) * 2006-09-07 2011-12-14 株式会社東芝 ノイズサプレス装置
US8615393B2 (en) * 2006-11-15 2013-12-24 Microsoft Corporation Noise suppressor for speech recognition
WO2008111462A1 (ja) * 2007-03-06 2008-09-18 Nec Corporation 雑音抑圧の方法、装置、及びプログラム
JP2008309955A (ja) * 2007-06-13 2008-12-25 Toshiba Corp ノイズサプレス装置
DE102007030209A1 (de) * 2007-06-27 2009-01-08 Siemens Audiologische Technik Gmbh Glättungsverfahren
US8554550B2 (en) * 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context processing using multi resolution analysis
US8213635B2 (en) * 2008-12-05 2012-07-03 Microsoft Corporation Keystroke sound suppression
JP2011191668A (ja) * 2010-03-16 2011-09-29 Sony Corp 音声処理装置、音声処理方法およびプログラム
JP4968355B2 (ja) * 2010-03-24 2012-07-04 日本電気株式会社 雑音抑圧の方法及び装置
US8666092B2 (en) * 2010-03-30 2014-03-04 Cambridge Silicon Radio Limited Noise estimation
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US8538035B2 (en) * 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8781137B1 (en) 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US8447596B2 (en) 2010-07-12 2013-05-21 Audience, Inc. Monaural noise suppression based on computational auditory scene analysis
JP2012058358A (ja) * 2010-09-07 2012-03-22 Sony Corp 雑音抑圧装置、雑音抑圧方法およびプログラム
JP5614261B2 (ja) * 2010-11-25 2014-10-29 富士通株式会社 雑音抑制装置、雑音抑制方法、及びプログラム
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
JP6135106B2 (ja) * 2012-11-29 2017-05-31 富士通株式会社 音声強調装置、音声強調方法及び音声強調用コンピュータプログラム
JP6300464B2 (ja) * 2013-08-09 2018-03-28 キヤノン株式会社 音声処理装置
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
CN106199549B (zh) * 2016-06-30 2019-01-22 南京理工大学 一种采用谱减法提升lfmcw雷达信噪比的方法
DE102019214220A1 (de) * 2019-09-18 2021-03-18 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0226613B1 (en) 1985-07-01 1993-09-15 Motorola, Inc. Noise supression system
JP2797616B2 (ja) * 1990-03-16 1998-09-17 松下電器産業株式会社 雑音抑圧装置
JP2962572B2 (ja) * 1990-11-19 1999-10-12 日本電信電話株式会社 雑音除去装置
JP3270866B2 (ja) * 1993-03-23 2002-04-02 ソニー株式会社 雑音除去方法および雑音除去装置
JP2616549B2 (ja) * 1993-12-10 1997-06-04 日本電気株式会社 音声復号装置
JP3353994B2 (ja) * 1994-03-08 2002-12-09 三菱電機株式会社 雑音抑圧音声分析装置及び雑音抑圧音声合成装置及び音声伝送システム
JP3484757B2 (ja) * 1994-05-13 2004-01-06 ソニー株式会社 音声信号の雑音低減方法及び雑音区間検出方法
JPH09160594A (ja) 1995-12-06 1997-06-20 Sanyo Electric Co Ltd 雑音除去装置
US5960391A (en) 1995-12-13 1999-09-28 Denso Corporation Signal extraction system, system and method for speech restoration, learning method for neural network model, constructing method of neural network model, and signal processing system
JPH1049197A (ja) * 1996-08-06 1998-02-20 Denso Corp 音声復元装置及び音声復元方法
JPH09212196A (ja) 1996-01-31 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> 雑音抑圧装置
JP3269969B2 (ja) 1996-05-21 2002-04-02 沖電気工業株式会社 背景雑音消去装置
DE19629132A1 (de) * 1996-07-19 1998-01-22 Daimler Benz Ag Verfahren zur Verringerung von Störungen eines Sprachsignals
KR100250561B1 (ko) * 1996-08-29 2000-04-01 니시무로 타이죠 잡음소거기 및 이 잡음소거기를 사용한 통신장치
US6044341A (en) * 1997-07-16 2000-03-28 Olympus Optical Co., Ltd. Noise suppression apparatus and recording medium recording processing program for performing noise removal from voice
US6070137A (en) * 1998-01-07 2000-05-30 Ericsson Inc. Integrated frequency-domain voice coding using an adaptive spectral enhancement filter
US6549586B2 (en) * 1999-04-12 2003-04-15 Telefonaktiebolaget L M Ericsson System and method for dual microphone signal noise reduction using spectral subtraction
JP2000047697A (ja) 1998-07-30 2000-02-18 Nec Eng Ltd ノイズキャンセラ
US6604071B1 (en) 1999-02-09 2003-08-05 At&T Corp. Speech enhancement with gain limitations based on speech activity
JP2000330597A (ja) 1999-05-20 2000-11-30 Matsushita Electric Ind Co Ltd 雑音抑圧装置
JP2001320289A (ja) * 2000-05-08 2001-11-16 Toshiba Corp ノイズキャンセラとこのノイズキャンセラを備えた通信装置、並びにノイズキャンセル処理プログラムを記憶した記憶媒体

Also Published As

Publication number Publication date
GB2371193B (en) 2005-01-12
US20020156623A1 (en) 2002-10-24
GB0209894D0 (en) 2002-06-05
AU2001284414A1 (en) 2002-03-13
US7054808B2 (en) 2006-05-30
WO2002019318A1 (fr) 2002-03-07
GB2371193A (en) 2002-07-17
JP2002073066A (ja) 2002-03-12

Similar Documents

Publication Publication Date Title
JP3566197B2 (ja) 雑音抑圧装置及び雑音抑圧方法
JP5183828B2 (ja) 雑音抑圧装置
JP4836720B2 (ja) ノイズサプレス装置
JP3565226B2 (ja) ノイズ低減システム、ノイズ低減装置及びこの装置を具える移動無線局
RU2199157C2 (ru) Способ последующей обработки с высокой разрешающей способностью для речевого декодера
US10043533B2 (en) Method and device for boosting formants from speech and noise spectral estimation
US9420370B2 (en) Audio processing device and audio processing method
US20140363020A1 (en) Sound correcting apparatus and sound correcting method
US20070232257A1 (en) Noise suppressor
JP3881946B2 (ja) 音響符号化装置及び音響符号化方法
WO2005041170A1 (en) Noise-dependent postfiltering
US8108210B2 (en) Apparatus and method to eliminate noise from an audio signal in a portable recorder by manipulating frequency bands
KR100250561B1 (ko) 잡음소거기 및 이 잡음소거기를 사용한 통신장치
CN104981870A (zh) 声音增强装置
JP3578461B2 (ja) 音声通信システムにおけるブロック符号化音声信号の処理方法及び装置
US9070372B2 (en) Apparatus and method for voice processing and telephone apparatus
JP2008309955A (ja) ノイズサプレス装置
JPH10254499A (ja) 帯域分割型雑音低減方法及び装置
JP2012177828A (ja) ノイズ検出装置、ノイズ低減装置及びノイズ検出方法
US20060089836A1 (en) System and method of signal pre-conditioning with adaptive spectral tilt compensation for audio equalization
JPWO2004097798A1 (ja) 音声復号化装置、音声復号化方法、プログラム、記録媒体
JP2002162982A (ja) 有音無音判定装置及び有音無音判定方法
JP3418855B2 (ja) 雑音除去装置
JP3522986B2 (ja) ノイズキャンセラおよびこのノイズキャンセラを使用した通信装置
KR20060091970A (ko) 이동통신단말기에서의 신호 대 잡음비 개선 방법 및 그 이동통신단말기

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040609

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees