JP3983421B2 - 音声認識装置 - Google Patents
音声認識装置 Download PDFInfo
- Publication number
- JP3983421B2 JP3983421B2 JP16580799A JP16580799A JP3983421B2 JP 3983421 B2 JP3983421 B2 JP 3983421B2 JP 16580799 A JP16580799 A JP 16580799A JP 16580799 A JP16580799 A JP 16580799A JP 3983421 B2 JP3983421 B2 JP 3983421B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- voice
- recognition
- detection
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【発明の属する技術分野】
この発明は、音声信号の始終端を検出する音声認識装置に関するものである。
【0002】
【従来の技術】
図18は例えば特公平7−54434号公報に示された従来の音声認識装置を示す構成図であり、図において、1は入力音声のS/Nを測定するS/N測定手段、2は入力音声のパワーを求めるパワー分析手段、3はS/N測定手段1によって測定されたS/Nが低い場合には雑音レベルに一定値を加えた値を閾値として設定し、また、S/Nが高い場合には入力音声の最大パワーより一定値を引いた値を閾値として設定するパワー閾値決定手段、4はパワー分析手段2によって求められたパワーに対し、パワー閾値決定手段3によって決定された閾値を用いて入力音声の音声区間の検出を行う音声区間検出手段、5は音声区間検出手段4によって検出された入力音声の音声区間に対して音声認識を行い音声認識結果を出力する音声認識手段である。
【0003】
次に動作について説明する。
このような音声認識装置は、例えば、マイクロホンなどから入力された入力音声の意味を認識して、その認識した意味に基づいて処理を行う装置に適用されるものであり、この音声認識装置での音声入力は、不規則的に短時間に行われる場合が多いので、音声が入力されたと判断される音声区間についてのみ、音声認識処理を行うことにより、音声認識処理の負荷を低減するものである。
図18において、S/N測定手段1は、マイクロホンなどからの入力音声のS/Nを測定し、パワー分析手段2は、入力音声のパワーを求める。そして、パワー閾値決定手段3は、S/N測定手段1によって測定されたS/Nが低い場合にはその雑音レベルに、例えば、5dBなどの一定値を加えた値を閾値として設定し、また、S/Nが高い場合にはその入力音声の最大パワーより例えば、40dBなどの一定値を引いた値を閾値として設定する。
音声区間検出手段4は、パワー分析手段2によって求められたパワーに対し、パワー閾値決定手段3によって決定された閾値以上の音声区間があれば、その入力音声の音声区間を検出する。音声認識手段5は、音声区間検出手段4によって検出された入力音声の音声区間に対して音声認識を行い、その音声認識結果を出力する。
【0004】
【発明が解決しようとする課題】
従来の音声認識装置は以上のように構成されているので、S/Nが低い場合に雑音レベルから一定値を加えた値を閾値として設定し、また、S/Nが高い場合にピーク値から一定値を引いた値を閾値として設定していた。
このような、S/Nの高低に応じた閾値は、例えば、放送用スタジオなどの良い音声認識環境で用いる場合では予め相対的に高く設定され、逆に、工事現場などの悪い音声認識環境で用いる場合では予め相対的に低く設定されるものである。
したがって、良い音声認識環境において、S/Nが低い入力音声に対して、雑音レベルから一定値を加えた値を閾値として設定した時には、その設定された閾値が相対的に高く設定されるので、S/Nが低い音声に対する音声区間の検出感度が落ちてしまい、逆に、悪い音声認識環境において、S/Nが高い入力音声に対して、ピーク値から一定値を引いた値を閾値として設定した時には、その設定された閾値が相対的に低く設定されるので、S/Nの高い音声においては発声前後の口唇雑音や、呼気音などの付帯雑音を拾いやすくなり音声区間の検出感度が高くなり過ぎる課題があった。
また、音声区間の検出において、入力音声が一定閾値以上であり、かつ一定時間以上継続した場合に音声区間であると判断するなど、時間長閾値を併用して検出する方式を用いる場合に、検出に用いられる閾値およびS/Nの変化に伴い、判定に用いるための最適な時間長閾値を変化させなくてはならず、その時間長閾値の設定が難しくなるなどの課題があった。
【0005】
この発明は上記のような課題を解決するためになされたもので、各S/Nに応じた最適な閾値を用いることにより、S/Nに影響されずに音声区間の検出精度を高める音声認識装置を得ることを目的とする。
【0006】
【課題を解決するための手段】
この発明に係る音声認識装置は、検出アルゴリズムおよびパラメータ閾値のセットをS/N毎に区分して記憶した検出アルゴリズム記憶手段と、S/N測定手段によって求められたS/Nに応じて検出アルゴリズム記憶手段から検出アルゴリズムおよびパラメータ閾値のセットを選択する検出アルゴリズム選択手段と、選択された検出アルゴリズムに応じて入力音声から音声区間検出に用いられるパラメータを求めるパラメータ分析手段と、パラメータ分析手段によって求められたパラメータに対し、選択された検出アルゴリズムおよびパラメータ閾値のセットを用いて音声区間の検出を行う音声区間検出手段とを備えたものである。
【0007】
この発明に係る音声認識装置は、S/N測定手段によって求められたS/Nに応じて検出アルゴリズム記憶手段から複数の検出アルゴリズム、および複数のパラメータ閾値のセットを選択し、複数の検出アルゴリズムに応じて入力音声から音声区間検出に用いられる複数のパラメータを求め、複数のパラメータに対し、複数の検出アルゴリズムおよび複数のパラメータ閾値のセットを用いて複数の音声区間の検出を行い、検出された入力音声の複数の音声区間に対して音声認識を行い、音声認識された複数の認識結果のうち尤度に応じて選択して1つの認識結果を出力する認識結果選択手段を備えたものである。
【0008】
この発明に係る音声認識装置は、S/N測定手段において、音声区間検出手段により検出された音声区間に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するようにしたものである。
【0009】
この発明に係る音声認識装置は、S/N測定手段において、音声区間検出手段により検出された音声区間のうちの認識結果選択手段により選択された認識結果に対応する音声区間に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するようにしたものである。
【0010】
この発明に係る音声認識装置は、S/N測定手段において、音声区間検出手段により検出された音声区間と音声認識手段による認識結果の尤度に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するようにしたものである。
【0011】
この発明に係る音声認識装置は、S/N測定手段において、音声区間検出手段により検出された音声区間のうちの認識結果選択手段により選択された認識結果に対応する音声区間と音声認識手段による認識結果の尤度に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するようにしたものである。
【0012】
この発明に係る音声認識装置は、S/N測定手段に対して、音声区間としての採用/非採用を指定する外部入力手段を備えたものである。
【0013】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態1.
図1はこの発明の実施の形態1による音声認識装置を示す構成図であり、図において、11は入力音声のS/Nを測定するS/N測定手段、12は入力音声から音声区間検出に用いられるパラメータを求めるパラメータ分析手段、13は音声区間検出に用いられるパラメータ閾値のセットをS/N毎に区分して記憶したパラメータ閾値記憶手段、14はS/N測定手段11によって求められたS/Nに応じてパラメータ閾値記憶手段13に記憶されたパラメータ閾値のセットを選択するパラメータ閾値選択手段、15はパラメータ分析手段12によって求められたパラメータに対し、パラメータ閾値選択手段14によって選択されたパラメータ閾値のセットを用いて音声区間検出を行う音声区間検出手段、16は音声区間検出手段15によって検出された入力音声の音声区間に対して音声認識を行い音声認識結果を出力する音声認識手段である。
【0014】
次に動作について説明する。
このような音声認識装置は、例えば、マイクロホンなどから入力された入力音声の意味を認識して、その認識した意味に基づいて処理を行う装置に適用されるものであり、この音声認識装置での音声入力は、不規則的に短時間に行われる場合が多いので、音声が入力されたと判断される音声区間についてのみ、音声認識処理を行うことにより、音声認識処理の負荷を低減するものである。
図2はパラメータ分析手段の処理を示す説明図であり、パラメータ分析手段12では、図2のように入力された音声のサンプルデータに対して、一定周期毎のフレーム周期に、音声波形一定長のフレーム長毎のサンプルデータを切り出し、音声の分析を行う。時刻iのフレームでの特徴ベクトルをV(i)とし、この実施の形態1においては、その特徴ベクトルV(i)は、その特徴ベクトルV(i)から求められ、音声認識手段16で音声認識に用いられる認識用特徴量v(i,0),v(i,1),・・・と、さらに、その特徴ベクトルV(i)から求められ、音声区間検出手段15で用いられるパラメータP(i)とを含むものとする。
ここで、この実施の形態1では、パラメータP(i)を短時間平均パワーとすれば、時刻iに対応するその短時間平均パワーP(i)は以下の式(1)のように求めることができる。
【0015】
【数1】
【0016】
ここで、nsmpはフレーム内に含まれているサンプルデータ数、smp(j)はフレームの先頭からj番目のサンプルデータの値である。
【0017】
S/N測定手段11では、入力音声のS/Nを求める。
図3はS/N測定手段の処理を示す説明図であり、S/N測定に用いる短時間平均パワーP(t)をパラメータ分析手段12での特徴量の演算と同様に、フレーム単位毎に短時間平均パワーP(t)を求める。そして、求められた短時間平均パワーP(t)の時系列のうち、一定閾値(Pth)以下の短時間平均パワーの内の最新一定時間分(Np)のモードを雑音のパワー(Pn)とする。次に、求められた雑音のパワーから一定閾値(Pth2)以上の値を持つ短時間平均パワーP(t)の最新一定時間(Np2)分の平均値を音声のパワー(Pv)とする。この、音声のパワー(Pv)と雑音のパワー(Pn)との差(Pv−Pn)をS/N(Psn)とする。
【0018】
パラメータ閾値記憶手段13は、音声区間検出に用いられる閾値を記憶したものであり、音声のS/N毎に区分して予め最適な閾値を記憶したものである。
図4はパラメータ閾値記憶手段に記憶されたテーブルを示す概念図であり、例えば、この図4に示すように、テーブルによって各S/N毎に区分して音声区間検出に用いられる閾値の値を予め記憶している。
【0019】
パラメータ閾値選択手段14では、S/N測定手段11によって求められた入力音声のS/Nに応じて、パラメータ閾値記憶手段13からそのS/Nに相当する閾値を選択する。例えば、S/N測定手段11によって測定された入力音声のS/Nが30dBであった場合、図4中のID=2の列の閾値が選択される。すなわち、パワー閾値1=10dB、パワー閾値2=13dB、パワー閾値3=20dB、時間閾値1=50msec、時間閾値2=150msec、時間閾値3=350msecが選択される。
【0020】
音声区間検出手段15では、パラメータ閾値選択手段14によって選択された閾値と、パラメータ分析手段12によって求められたパラメータとから音声区間検出する。
図5は音声区間検出手段の処理を示す説明図であり、例として閾値による音声区間の検出例を示す。TH1=ノイズパワー+パワー閾値1、TH2=ノイズパワー+パワー閾値2、TH3=ノイズパワー+パワー閾値3とする。
ここで、ノイズパワーは、パラメータ分析手段12によって出力された短時間平均パワーの時系列から、一定閾値以下の短時間平均パワーの内の最新一定時間分の平均値とする。また、この実施の形態1のように、音声区間検出手段15にに用いられるパラメータが、S/N測定手段11によって用いられた短時間平均パワーと同じものである場合は、S/N測定手段11によって求められた雑音パワーを用いても良い。
【0021】
音声区間検出は以下のように行う。
Step1 時刻T1でパワーがTH1以上になりTH1以下にならないままTH2を越えた後、時刻T2でTH1以下になった場合、T2−T1が時間閾値1以上であれば、T1からT2を音声区間として検出し、T1を始端(SP)、T2を終端(EP)とし、Step2へ。パワーがTH2以上にならないままTH1以下になった場合、および、TH2を越えてもT1からT2までの時間がTH2未満であった場合は、その区間は音声区間として検出せずに、Step1を操り返す。
Step2 EP検出後、パワーがTH1以上となりそのままパワーがTH1以下にならずにTH2を越えた後、TH1以下になった時、パワーがTH1以上となった時刻をT3、パワーがTH1以下となった時刻をT4とする。EPから時刻T3までの時間が時間閾値2以下かつ、時刻T3から時刻T4までの時間が時間閾値1以上の場合、T1を始端(SP)、T4を新たに終端(EP)とし、Step2を繰り返す。上記の条件に合う、T3,T4が検出されなかった場合はStep3へ。
Step3 SPからEPまでの時間が時間閾値T3以上かつ、SPからEPまでの間のパワーの最大値がパワー閾値3以上の場合、SPからEPまでを音声区間として採用。この条件を満たさない場合は音声区間として採用しない。
【0022】
音声認識手段16では、音声区間検出手段15によって検出された入力音声を用いて音声認識を行い、認識結果を出力する。
【0023】
以上のように、この実施の形態1によれば、パラメータ閾値のセットをS/N毎に区分して複数個記憶しておき、入力音声のS/Nに応じて、そのS/Nに最適なパラメータ閾値のセットを選択することで音声の入力環境に影響されず、最適な音声区間の検出ができ、認識率を向上させることができる効果がある。
【0024】
実施の形態2.
図6はこの発明の実施の形態2による音声認識装置を示す構成図であり、図において、17は音声区間検出に用いられるパラメータ閾値のセットの変更量をS/N毎に区分して記憶したパラメータ閾値変更量記憶手段、18はS/N測定手段11によって求められたS/Nに応じてパラメータ閾値変更量記憶手段17に記憶されたパラメータ閾値のセットの変更量を選択し、その選択した変更量に基づいてパラメータ閾値のセットを標準値から変更するパラメータ閾値変更手段である。
その他の構成は、実施の形態1と同一なので重複する説明を省略する。
【0025】
次に動作について説明する。
パラメータ閾値変更量記憶手段17は、音声区間検出に用いられるパラメータ閾値の変更量を記憶したものであり、パラメータ閾値に対していくつかのグループに分け、各グループ毎にパラメータ閾値変更手段18が予め記憶している標準値からどの程度変更させるかを音声のS/N毎に記憶したものである。
図7はパラメータ閾値変更量記憶手段に記憶されたテーブルを示す概念図であり、例えば、この図7に示すように、各S/N毎に検出に用いられるパラメータ閾値の閾値変更量を記憶している。この図7中のパワー関連閾値変更量は、実施の形態1で説明した音声区間検出手段15で用いているパワー閾値1、パワー閾値2、パワー閾値3に対する変更量である。
【0026】
パラメータ閾値変更手段18は、求められた入力音声のS/NからそのS/Nに相当するパラメータ閾値の変更量を、パラメータ閾値変更量記憶手段17から読み出し、パラメータ閾値変更手段18が予め記憶している標準値から変更する。例えば、標準閾値がパワー閾値1=8、パワー閾値2=10、パワー閾値3=12、時間閾値1=40msec、時間閾値2=130msec、時間閾値3=400msecでS/N=30dBの場合、図7のID=2(S/N=25〜40dB)の列が選択され、パワー閾値1=8+3=11、パワー閾値2=10+3=13、パワー閾値3=12+3=15、時間閾値1=40msec×1.2=48msec、時間閾値2=130msec×1.2=156msec、時間閾値3=400msec×0.9=360msecのように変更を行う。
S/N測定手段11、パラメータ分析手段12、音声区間検出手段15、および音声認識手段16の動作は実施の形態1と同様である。
【0027】
以上のように、この実施の形態2によれば、入力音声のS/Nに応じてそのS/Nに最適なパラメータ閾値を変更することにより、音声の入力環境に影響されず最適な音声区間の検出ができ、認識率を向上させることができる。また、パラメータ閾値をいくつかのグループに分け、その変更量を記憶させておくことにより、パラメータ閾値の種類が増えた際にもパラメータ閾値の変更に用いられる記憶量を低減することができる効果がある。
【0028】
実施の形態3.
図8はこの発明の実施の形態3による音声認識装置を示す構成図であり、図において、19はS/N測定手段11によって求められたS/Nに応じてパラメータ閾値のセットを算出するパラメータ閾値算出手段である。
その他の構成は、実施の形態1と同一なので重複する説明を省略する。
【0029】
次に動作について説明する。
パラメータ閾値算出手段19は、S/N測定手段11によって求められたS/Nに応じて、予め定められた数式によりパラメータ閾値のセットを算出するものであり、例えば、S/N測定手段11によって求められたS/Nの値をPsnとすると、
パワー閾値1=min(max( 5,(Psn−5)/2 ),20)
パワー閾値2=min(max( 7,(Psn−5)/1.5),30)
パワー閾値3=min(max( 10,(Psn−8) ),40)
時間閾値1 =min(max( 25,(15+Psn ) ,60)
時間閾値2 =min(max(120,(100+Psn×2),180)
時間閾値3 =min(max(350,(500−Psn×8),500)
のような式によりパラメータ閾値のセットを算出する。
例えば、S/N=25の場合、パワー閾値1=10、パワー閾値2=13.3、パワー閾値3=17、時間閾値1=40、時間閾値2=150、および時間閾値3=350のようになる。
S/N測定手段11、パラメータ分析手段12、音声区間検出手段15、および音声認識手段16の動作は、実施の形態1と同様である。
【0030】
以上のように、この実施の形態3によれば、S/Nに応じてそのS/Nに最適なパラメータ閾値のセットを細かく算出することができ、音声の入力環境に影響されず最適な音声区間検出ができ、認識率を向上させることができる効果がある。
【0031】
実施の形態4.
図9はこの発明の実施の形態4による音声認識装置を示す構成図であり、図において、20は入力音声のパラメータの検出手法、および音声区間の検出手法からなる検出アルゴリズム、およびパラメータ閾値のセットをS/N毎に区分して記憶した検出アルゴリズム記憶手段、21はS/N測定手段11によって求められたS/Nに応じて検出アルゴリズム記憶手段20から検出アルゴリズム、およびパラメータ閾値のセットを選択する検出アルゴリズム選択手段、22は検出アルゴリズム選択手段21によって選択された検出アルゴリズムに応じて入力音声から音声区間検出に用いられるパラメータを求めるパラメータ分析手段、23はパラメータ分析手段22によって求められたパラメータに対し、検出アルゴリズム選択手段21によって選択された検出アルゴリズムおよびパラメータ閾値のセットを用いて音声区間の検出を行う音声区間検出手段である。
その他の構成は、実施の形態1と同一なので重複する説明を省略する。
【0032】
次に動作について説明する。
検出アルゴリズム記憶手段20は、S/N毎に用いられる検出アルゴリズム、およびパラメータ閾値のセットを記憶したものであり、例えば、
検出アルゴリズムに関しては、
S/Nが10dB未満の場合は、認識用特徴量と雑音のコードブックとの距離、および認識用特徴量と音声との距離値により検出を行う。
S/Nが10dB以上で20dB未満の場合は、スペクトルトラクション後の入力音声の短時間平均パワーにより検出を行う。
S/Nが20dB以上の場合は、入力音声の短時間平均パワーにより検出を行う。
閾値に関しては、
S/Nが10dB未満での閾値は、set1を使用する。
S/Nが10dB以上で20dB未満での閾値は、set2を使用する。
S/Nが20dB以上で30dB未満での閾値は、set3を使用する。
S/Nが30dB以上で40dB未満での閾値は、set4を使用する。
S/Nが40dB以上での閾値は、set5を使用する。
但し、
set1:{dis_Q=2.3,dis_V=1.0,dis_X=2.1,time1=120,time2=230}
set2:{sspwr1=6.0,sspwr2=10.0,time1=120,time2=230,time3=450}
set3:{pwr1=10.0,pwr2=12.0,pwr3=15.0,time1=120,time2=230,time3=450}
set4:{pwr1=12.0,pwr2=15.0,pwr3=20.0,time1=120,time2=230,time3=450}
set5:{pwr1=15.0,pwr2=20.0,pwr3=25.0,time1=120,time2=230,time3=450}
のように定めておく。
ここで、set1のdis_Q,dis_V,dis_Xはコードブックと認識用特徴量との距離値に関する閾値、set2のsspw1,sspwr2,sspwr3はスペクトルサブトラクション後の入力音声の短時間平均パワーに関する閾値である。
【0033】
検出アルゴリズム選択手段21は、S/N測定手段11によって求められたS/Nに応じて、検出アルゴリズム記憶手段20から音声区間検出に用いるために使用される検出アルゴリズム、およびパラメータ閾値のセットを選択する。
【0034】
パラメータ分析手段22では、検出アルゴリズム選択手段21によって選択された検出アルゴリズムに対応して、入力音声を分析する。
即ち、S/Nが10dB未満の場合は、パラメータ分析手段aを用い、入力音声の音声認識用特徴量、雑音コードブックと認識用特徴量との距離値、音声コードブックと入力音声との距離値を出力する。
S/Nが10dB以上で20dB未満の場合は、パラメータ分析手段bを用い、入力音声の音声認識用特徴量と入力音声にバンドパスフィルタをかけた後の短時間平均パワーを出力する。
S/Nが20dB以上の場合は、パラメータ分析手段cを用い、入力音声の音声の認識用特徴量と入力音声の短時間平均パワーを出力する。
【0035】
音声区間検出手段23は、パラメータ分析手段22によって求められたパラメータに対し、検出アルゴリズム選択手段21によって選択された検出アルゴリズムおよびパラメータ閾値のセットを用いて音声区間の検出を行う。
即ち、S/Nが10dB未満の場合は、パラメータ分析手段aによって求められたパラメータに対して、パラメータ閾値のset1を用いて音声区間の検出を行う。
S/Nが10dB以上で20dB未満の場合は、パラメータ分析手段bによって求められたパラメータに対して、パラメータ閾値のset2を用いて音声区間の検出を行う。
S/Nが20dB以上の場合は、パラメータ分析手段cによって求められたパラメータに対して、パラメータ閾値のset3からset5のうちのいずれか選択されたsetを用いて音声区間の検出を行う。
S/N測定手段11、および音声認識手段16の動作は、実施の形態1と同様である。
【0036】
以上のように、この実施の形態4によれば、S/Nに応じてそのS/Nに最適なパラメータ閾値を細かく設定できると共に、各S/Nの音声を検出するのに最適な検出アルゴリズムを使用することができ、音声の入力環境に影響されずに最適な音声区間の検出ができ、認識率を向上させることができる効果がある。
【0037】
実施の形態5.
図10はこの発明の実施の形態5による音声認識装置を示す構成図であり、図において、25は音声認識手段24によって音声認識された複数の認識結果のうち尤度に応じて選択して1つの認識結果を出力する認識結果選択手段である。
なお、検出アルゴリズム選択手段21は、検出アルゴリズム記憶手段20から複数の検出アルゴリズムおよび複数のパラメータ閾値のセットを選択し、パラメータ分析手段22は、複数の検出アルゴリズムに応じて入力音声から音声区間検出に用いられる複数のパラメータを求め、音声区間検出手段23は、複数のパラメータに対し、複数の検出アルゴリズムおよび複数のパラメータ閾値のセットを用いて複数の音声区間の検出を行い、音声認識手段24は、入力音声の複数の音声区間に対してそれぞれ音声認識を行うものである。
その他の構成は、実施の形態1と同一なので重複する説明を省略する。
【0038】
次に動作について説明する。
実施の形態4とは異なり、検出アルゴリズム選択手段21は、検出アルゴリズム記憶手段20から複数の検出アルゴリズムおよび複数のパラメータ閾値のセットを選択可能にする。
例えば、検出アルゴリズム記憶手段20に以下のように記憶されているものとする。
S/Nが15dB未満では、認識用特徴量と雑音のコードブックとの距離値、および認識用特徴量と音声との距離値により検出を行い、パラメータ閾値は、Set1を使用する。
S/Nが10dB以上で20dB未満では、スペクトルサブトラクション後の入力音声の短時間平均パワーにより検出を行い、パラメータ閾値はSet2を使用する。
S/Nが15dB以上で30dB未満では、入力音声の短時間平均パワーにより検出を行い、パラメータ閾値はset3を使用する。
S/Nが25dB以上で40dB未満では、入力音声の短時間平均パワーにより検出を行い、パラメータ閾値はset4を使用する。
S/Nが35dB以上では、パラメータ閾値はset5を使用する。
但し、set1〜set5のパラメータ閾値は、実施の形態4に示したものと同一とする。
以上のように検出アルゴリズム記憶手段20に記憶されている場合に、S/N測定手段11によって、S/N=12dBと求められた場合には、検出アルゴリズム選択手段21は、検出アルゴリズム記憶手段20から、パラメータ閾値をset1として、検出アルゴリズムを認識用特徴量と雑音のコードブックとの距離値、および認識用特徴量と音声との距離値により検出とするを選択すると共に、パラメータ閾値をset2として、検出アルゴリズムをスペクトルサブトラクション後の入力音声の短時間平均パワーにより検出とするを選択する。
【0039】
パラメータ分析手段22は、検出アルゴリズム選択手段21によって選択された複数の検出アルゴリズムに応じて入力音声から音声区間検出に用いられる複数のパラメータを求め、音声区間検出手段23は、パラメータ分析手段22によって求められた複数のパラメータに対し、検出アルゴリズム選択手段21によって選択された複数の検出アルゴリズムおよび複数のパラメータ閾値のセットを用いて複数の音声区間の検出を行い、音声認識手段24は、音声区間検出手段23によって検出された入力音声の複数の音声区間に対してそれぞれ音声認識を行う。
さらに、認識結果選択手段25は、音声認識手段24によって音声認識された複数の認識結果の尤度を比較し、一番尤度の高い認識結果を最終的な認識結果として選択し出力する。
【0040】
以上のように、この実施の形態5によれば、S/Nに応じてそのS/Nに最適なパラメータ閾値を細かく設定できると共に、各S/Nの音声を検出するのに最適な検出アルゴリズムを使用することができ、音声の入力環境に影響されずに最適な音声区間の検出ができ、認識率を向上させることができる効果がある。
また、検出アルゴリズム、およびパラメータ閾値の切り替わる近辺の不安定さを取り除くことができる効果がある。
【0041】
実施の形態6.
図11はこの発明の実施の形態6による音声認識装置を示す構成図であり、図において、S/N測定手段26は、音声区間検出手段27により検出された音声区間に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するものである。
その他の構成は、実施の形態1と同一なので重複する説明を省略する。
【0042】
次に動作について説明する。
図12はS/N測定手段の処理を示す説明図であり、図に示すように、S/N測定手段26は、音声区間検出手段27により検出された音声区間に関する情報を入力し、過去に検出された音声区間がNs個を越えた場合は、検出された音声区間のうち最新のNs個分の音声区間のピークパワーの平均値を音声パワーとする。また、過去に検出された音声区間の数がNs個未満の場合は、その平均値を音声パワーとし、過去に検出された音声区間の数がNs_min個未満の場合は、初期値を音声パワーとして用いる。
また、過去の一定閾値以下のパワーNp時間分のモードを雑音のパワーとして用いる。一定閾値以下のパワーがNp時間未満の場合はその最頻値を用いる。以上のようにして求められた音声パワーと雑音のパワーとの差分を入力音声のS/Nとする。
なお、音声区間のピークパワーの代わりに音声区間内の平均値、あるいは、音声区間内の雑音レベルより一定閾値以上の値を持つパワーの平均値を音声パワーとしても良い。また、雑音レベルは音声区間外の一定時間の平均値でも良い。
その他、パラメータ分析手段12、パラメータ閾値記憶手段13、パラメータ閾値選択手段14、および音声認識手段16の動作は、実施の形態1と同様である。
【0043】
以上のように、この実施の形態6によれば、音声区間検出手段27により検出された音声区間に応じてS/Nを測定することにより、認識対象以外の音声、例えば、別の人と会話している音声や、外部雑音などによりS/Nの測定を誤ることが減り、S/Nの測定精度が高くなり、音声区間検出の精度も上がるため、認識率を向上させることができる効果がある。
【0044】
実施の形態7.
図13はこの発明の実施の形態7による音声認識装置を示す構成図であり、図において、S/N測定手段28は、音声区間検出手段29により検出された音声区間のうちの認識結果選択手段30により選択された認識結果に対応する音声区間に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するものである。
その他の構成は、実施の形態5と同一なので重複する説明を省略する。
【0045】
次に動作について説明する。
S/N測定手段28では、音声区間検出手段29により検出された音声区間のうちの認識結果選択手段30により選択された認識結果に対応する音声区間に応じて入力音声のS/Nを測定するものである。
その測定方法は、実施の形態6と同様である。
その他、検出アルゴリズム記憶手段20、検出アルゴリズム選択手段21、パラメータ分析手段22、および音声認識手段24の動作は、実施の形態5と同様である。
【0046】
以上のように、この実施の形態7によれば、音声区間検出手段29により検出された音声区間のうちの認識結果選択手段30により選択された認識結果に対応する音声区間に応じてS/Nを測定することにより、認識対象以外の音声、例えば、別の人と会話している音声や、外部雑音などによりS/Nの測定を誤ることが減り、S/Nの測定精度が高くなり、音声区間検出の精度も上がるため、認識率を向上させることができる効果がある。
【0047】
実施の形態8.
図14はこの発明の実施の形態8による音声認識装置を示す構成図であり、図において、S/N測定手段31は、音声区間検出手段27により検出された音声区間と音声認識手段32による認識結果の尤度に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するものである。
その他の構成は、実施の形態6と同一なので重複する説明を省略する。
【0048】
次に動作について説明する。
S/N測定手段31では、雑音レベルを測定するために用いる雑音区間の時間をNp、音声区間の数の最小値をNs_min、通常Ns個とする。この場合、以下のような方法でS/Nを測定する。
図15はS/N測定手段の処理を示す説明図であり、図において、過去に検出された音声区間のうち、認識結果の尤度が一定値以上となった音声区間の数がNs個を越えた場合は、その尤度が一定以上の音声区間のうち最新のNs個分の区間のピークパワーの平均値を音声パワーとする。
過去に検出された尤度が一定以上の音声区間の数がNs個未満の場合は、その平均値を音声パワーとし、過去に検出された尤度が一定以上の音声区間の数がNs_min個未満の場合は、初期値を音声パワーとして用いる。
また、過去の一定閾値以下のパワーNp時間分のモードを雑音のパワーとして用いる。一定閾値以下のパワーがNp時間未満の場合は、その最頻値を用いる。
以上のようにして求めた音声パワーと雑音のパワーとの差分を入力音声のS/Nとする。
なお、音声区間のピークパワーの代わりに音声区間内の平均値、あるいは、音声区間内の雑音レベルより一定閾値以上の値を持つパワーの平均値を音声パワーとしても良い。また、雑音レベルは音声区間外の一定時間の平均値でも良い。
その他、パラメータ分析手段12、パラメータ閾値記憶手段13、パラメータ閾値選択手段14、および音声区間検出手段27の動作は、実施の形態6と同様である。
【0049】
以上のように、この実施の形態8によれば、音声区間検出手段27により検出された音声区間のうち、音声認識手段32による一定値以上の尤度を有する認識結果に応じた音声区間に応じてS/Nを測定することにより、認識対象以外の音声、例えば、別の人と会話している音声や、外部雑音などによりS/Nの測定を誤ることが減り、S/Nの測定精度が高くなり、音声区間検出の精度も上がるため、認識率を向上させることができる効果がある。
【0050】
実施の形態9.
図16はこの発明の実施の形態9による音声認識装置を示す構成図であり、図において、S/N測定手段33は、音声区間検出手段29により検出された音声区間のうちの認識結果選択手段30により選択された認識結果に対応する音声区間と音声認識手段34による認識結果の尤度に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するものである。
その他の構成は、実施の形態7と同一なので重複する説明を省略する。
【0051】
次に動作について説明する。
S/N測定手段33では、音声区間検出手段29により検出された音声区間のうちの認識結果選択手段30により選択された認識結果に対応する音声区間と音声認識手段34による認識結果の尤度に応じて入力音声のS/Nを測定するものである。
その測定方法は、実施の形態8と同様である。
その他、検出アルゴリズム記憶手段20、検出アルゴリズム選択手段21、パラメータ分析手段22、および音声区間検出手段29の動作は、実施の形態7と同様である。
【0052】
以上のように、この実施の形態9によれば、音声区間検出手段29により検出された音声区間のうちの認識結果選択手段30により選択された認識結果に対応する音声区間と音声認識手段34による認識結果の尤度に応じて入力音声のS/Nを測定することにより、認識対象以外の音声、例えば、別の人と会話している音声や、外部雑音などによりS/Nの測定を誤ることが減り、S/Nの測定精度が高くなり、音声区間検出の精度も上がるため、認識率を向上させることができる効果がある。
【0053】
実施の形態10.
図17はこの発明の実施の形態10による音声認識装置を示す構成図であり、図において、35はS/N測定手段31に対して、音声区間としての採用/非採用を指定する外部入力手段である。
その他の構成は、実施の形態8と同一なので重複する説明を省略する。
【0054】
次に動作について説明する。
外部入力手段35では、認識を行った音声区間をS/N測定手段31で使用するか、使用しないかを明示的に与えるものである。例えば、電話回線の音声認識などで、音声認識と同時にプッシュボタン認識を行い、プッシュボタン認識で結果が出力された場合には、その区間は音声認識結果にかかわらずS/N測定手段31で使用しないようにする。
S/N測定手段31では、過去に検出された音声区間のうち、認識結果の尤度が一定値以上かつ外部入力手段35により非採用とならなかった音声区間、および外部入力手段35により採用となった音声区間をS/N判定に用いる音声区間とする。
その他の動作は、実施の形態8と同一である。
【0055】
以上のように、この実施の形態10によれば、外部入力手段35により、S/N測定手段31に対して、音声区間としての採用/非採用を指定するようにしたので、外部から現在の入力の正/誤を入力することができ、アプリケーション側からのチェックを行うことが可能となり、より高い精度でのS/Nの測定ができ、認識率を向上させることができる効果がある。
【0056】
【発明の効果】
以上のように、この発明によれば、検出アルゴリズムおよびパラメータ閾値のセットをS/N毎に区分して記憶した検出アルゴリズム記憶手段と、S/N測定手段によって求められたS/Nに応じて検出アルゴリズム記憶手段から検出アルゴリズムおよびパラメータ閾値のセットを選択する検出アルゴリズム選択手段と、選択された検出アルゴリズムに応じて入力音声から音声区間検出に用いられるパラメータを求めるパラメータ分析手段と、パラメータ分析手段によって求められたパラメータに対し、選択された検出アルゴリズムおよびパラメータ閾値のセットを用いて音声区間の検出を行う音声区間検出手段とを備えるように構成したので、S/Nに応じてそのS/Nに最適なパラメータ閾値を細かく設定できると共に、各S/Nの音声を検出するのに最適な検出アルゴリズムを使用することができ、音声の入力環境に影響されずに最適な音声区間の検出ができ、認識率を向上させることができる効果がある。
【0057】
さらに、この発明によれば、S/N測定手段によって求められたS/Nに応じて検出アルゴリズム記憶手段から複数の検出アルゴリズム、および複数のパラメータ閾値のセットを選択し、複数の検出アルゴリズムに応じて入力音声から音声区間検出に用いられる複数のパラメータを求め、複数のパラメータに対し、複数の検出アルゴリズムおよび複数のパラメータ閾値のセットを用いて複数の音声区間の検出を行い、検出された入力音声の複数の音声区間に対して音声認識を行い、音声認識された複数の認識結果のうち尤度に応じて選択して1つの認識結果を出力する認識結果選択手段を備えるように構成したので、S/Nに応じてそのS/Nに最適なパラメータ閾値を細かく設定できると共に、各S/Nの音声を検出するのに最適な検出アルゴリズムを使用することができ、音声の入力環境に影響されずに最適な音声区間の検出ができ、認識率を向上させることができる効果がある。
また、検出アルゴリズム、およびパラメータ閾値の切り替わる近辺の不安定さを取り除くことができる効果がある。
【0058】
さらに、この発明によれば、S/N測定手段において、音声区間検出手段により検出された音声区間に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するように構成したので、認識対象以外の音声、例えば、別の人と会話している音声や、外部雑音などによりS/Nの測定を誤ることが減り、S/Nの測定精度が高くなり、音声区間検出の精度も上がるため、認識率を向上させることができる効果がある。
【0059】
さらに、この発明によれば、S/N測定手段において、音声区間検出手段により検出された音声区間のうちの認識結果選択手段により選択された認識結果に対応する音声区間に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するように構成したので、認識対象以外の音声、例えば、別の人と会話している音声や、外部雑音などによりS/Nの測定を誤ることが減り、S/Nの測定精度が高くなり、音声区間検出の精度も上がるため、認識率を向上させることができる効果がある。
【0060】
さらに、この発明によれば、S/N測定手段において、音声区間検出手段により検出された音声区間と音声認識手段による認識結果の尤度に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するように構成したので、認識対象以外の音声、例えば、別の人と会話している音声や、外部雑音などによりS/Nの測定を誤ることが減り、S/Nの測定精度が高くなり、音声区間検出の精度も上がるため、認識率を向上させることができる効果がある。
【0061】
さらに、この発明によれば、S/N測定手段において、音声区間検出手段により検出された音声区間のうちの認識結果選択手段により選択された認識結果に対応する音声区間と音声認識手段による認識結果の尤度に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定するように構成したので、認識対象以外の音声、例えば、別の人と会話している音声や、外部雑音などによりS/Nの測定を誤ることが減り、S/Nの測定精度が高くなり、音声区間検出の精度も上がるため、認識率を向上させることができる効果がある。
【0062】
さらに、この発明によれば、S/N測定手段に対して、音声区間としての採用/非採用を指定する外部入力手段を備えるように構成したので、外部から現在の入力の正/誤を入力することができ、アプリケーション側からのチェックを行うことが可能となり、より高い精度でのS/Nの測定ができ、認識率を向上させることができる効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による音声認識装置を示す構成図である。
【図2】 パラメータ分析手段の処理を示す説明図である。
【図3】 S/N測定手段の処理を示す説明図である。
【図4】 パラメータ閾値記憶手段に記憶されたテーブルを示す概念図である。
【図5】 音声区間検出手段の処理を示す説明図である。
【図6】 この発明の実施の形態2による音声認識装置を示す構成図である。
【図7】 パラメータ閾値変更量記憶手段に記憶されたテーブルを示す概念図である。
【図8】 この発明の実施の形態3による音声認識装置を示す構成図である。
【図9】 この発明の実施の形態4による音声認識装置を示す構成図である。
【図10】 この発明の実施の形態5による音声認識装置を示す構成図である。
【図11】 この発明の実施の形態6による音声認識装置を示す構成図である。
【図12】 S/N測定手段の処理を示す説明図である。
【図13】 この発明の実施の形態7による音声認識装置を示す構成図である。
【図14】 この発明の実施の形態8による音声認識装置を示す構成図である。
【図15】 S/N測定手段の処理を示す説明図である。
【図16】 この発明の実施の形態9による音声認識装置を示す構成図である。
【図17】 この発明の実施の形態10による音声認識装置を示す構成図である。
【図18】 従来の音声認識装置を示す構成図である。
【符号の説明】
11,26,28,31,33 S/N測定手段、12,22 パラメータ分析手段、13 パラメータ閾値記憶手段、14 パラメータ閾値選択手段、15,23,27,29 音声区間検出手段、16,24,32,34 音声認識手段、17 パラメータ閾値変更量記憶手段、18 パラメータ閾値変更手段、19 パラメータ閾値算出手段、20 検出アルゴリズム記憶手段、21 検出アルゴリズム選択手段、25,30 認識結果選択手段、35 外部入力手段。
Claims (7)
- 入力音声のS/Nを測定するS/N測定手段と、入力音声のパラメータの検出手法、および音声区間の検出手法からなる検出アルゴリズム、およびパラメータ閾値のセットをS/N毎に区分して記憶した検出アルゴリズム記憶手段と、上記S/N測定手段によって求められたS/Nに応じて上記検出アルゴリズム記憶手段から検出アルゴリズム、およびパラメータ閾値のセットを選択する検出アルゴリズム選択手段と、上記検出アルゴリズム選択手段によって選択された検出アルゴリズムに応じて入力音声から音声区間検出に用いられるパラメータを求めるパラメータ分析手段と、上記パラメータ分析手段によって求められたパラメータに対し、上記検出アルゴリズム選択手段によって選択された検出アルゴリズムおよびパラメータ閾値のセットを用いて音声区間の検出を行う音声区間検出手段と、上記音声区間検出手段によって検出された入力音声の音声区間に対して音声認識を行い、その認識結果を出力する音声認識手段とを備えた音声認識装置。
- 入力音声のS/Nを測定するS/N測定手段と、入力音声のパラメータの検出手法、および音声区間の検出手法からなる検出アルゴリズム、およびパラメータ閾値のセットをS/N毎に区分して記憶した検出アルゴリズム記憶手段と、上記S/N測定手段によって求められたS/Nに応じて上記検出アルゴリズム記憶手段から複数の検出アルゴリズム、および複数のパラメータ閾値のセットを選択する検出アルゴリズム選択手段と、上記検出アルゴリズム選択手段によって選択された複数の検出アルゴリズムに応じて入力音声から音声区間検出に用いられる複数のパラメータを求めるパラメータ分析手段と、上記パラメータ分析手段によって求められた複数のパラメータに対し、上記検出アルゴリズム選択手段によって選択された複数の検出アルゴリズムおよび複数のパラメータ閾値のセットを用いて複数の音声区間の検出を行う音声区間検出手段と、上記音声区間検出手段によって検出された入力音声の複数の音声区間に対して音声認識を行い、それら複数の認識結果を出力する音声認識手段と、上記音声認識手段によって音声認識された複数の認識結果のうち尤度に応じて選択して1つの認識結果を出力する認識結果選択手段とを備えた音声認識装置。
- S/N測定手段は、音声区間検出手段により検出された音声区間に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定することを特徴とする請求項1記載の音声認識装置。
- S/N測定手段は、音声区間検出手段により検出された音声区間のうちの認識結果選択手段により選択された認識結果に対応する音声区間に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定することを特徴とする請求項2記載の音声認識装置。
- S/N測定手段は、音声区間検出手段により検出された音声区間と音声認識手段による認識結果の尤度に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定することを特徴とする請求項1記載の音声認識装置。
- S/N測定手段は、音声区間検出手段により検出された音声区間のうちの認識結果選択手段により選択された認識結果に対応する音声区間と音声認識手段による認識結果の尤度に応じて音声パワーを求め、その求めた音声パワーに応じて入力音声のS/Nを測定することを特徴とする請求項2記載の音声認識装置。
- S/N測定手段に対して、音声区間としての採用/非採用を指定する外部入力手段を備えたことを特徴とする請求項3から請求項6のうちのいずれか1項記載の音声認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16580799A JP3983421B2 (ja) | 1999-06-11 | 1999-06-11 | 音声認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16580799A JP3983421B2 (ja) | 1999-06-11 | 1999-06-11 | 音声認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000352987A JP2000352987A (ja) | 2000-12-19 |
JP3983421B2 true JP3983421B2 (ja) | 2007-09-26 |
Family
ID=15819380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16580799A Expired - Lifetime JP3983421B2 (ja) | 1999-06-11 | 1999-06-11 | 音声認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3983421B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7219062B2 (en) * | 2002-01-30 | 2007-05-15 | Koninklijke Philips Electronics N.V. | Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system |
JP4601970B2 (ja) * | 2004-01-28 | 2010-12-22 | 株式会社エヌ・ティ・ティ・ドコモ | 有音無音判定装置および有音無音判定方法 |
JP4490090B2 (ja) | 2003-12-25 | 2010-06-23 | 株式会社エヌ・ティ・ティ・ドコモ | 有音無音判定装置および有音無音判定方法 |
-
1999
- 1999-06-11 JP JP16580799A patent/JP3983421B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000352987A (ja) | 2000-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Moattar et al. | A simple but efficient real-time voice activity detection algorithm | |
US5819217A (en) | Method and system for differentiating between speech and noise | |
EP3252771B1 (en) | A method and an apparatus for performing a voice activity detection | |
CN109545188A (zh) | 一种实时语音端点检测方法及装置 | |
WO2010070840A1 (ja) | 音声検出装置、音声検出プログラムおよびパラメータ調整方法 | |
JP2002366174A (ja) | G.729の付属書bに準拠した音声アクティビティ検出回路を収束させるための方法 | |
JPH0222398B2 (ja) | ||
JP3105465B2 (ja) | 音声区間検出方法 | |
JP5234117B2 (ja) | 音声検出装置、音声検出プログラムおよびパラメータ調整方法 | |
GB2347252A (en) | Voice recognition system | |
JP3983421B2 (ja) | 音声認識装置 | |
JPWO2003107326A1 (ja) | 音声認識方法及びその装置 | |
US7292974B2 (en) | Method for recognizing speech with noise-dependent variance normalization | |
JP2000250568A (ja) | 音声区間検出装置 | |
US6539350B1 (en) | Method and circuit arrangement for speech level measurement in a speech signal processing system | |
JP3091537B2 (ja) | 音声パターン作成方法 | |
JP2589468B2 (ja) | 音声認識装置 | |
JPH056193A (ja) | 音声区間検出方式及び音声認識装置 | |
JP3328642B2 (ja) | 音声判別装置及び音声判別方法 | |
JP3484559B2 (ja) | 音声認識装置および音声認識方法 | |
JP4360527B2 (ja) | ピッチ検出方法 | |
KR100345402B1 (ko) | 피치 정보를 이용한 실시간 음성 검출 장치 및 그 방법 | |
JPH10301593A (ja) | 音声区間検出方法およびその装置 | |
JP2001022368A (ja) | 音声判別装置及び音声判別方法 | |
JP3026855B2 (ja) | 音声認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070704 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3983421 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |