JP3452443B2 - 騒音下音声認識装置及び騒音下音声認識方法 - Google Patents

騒音下音声認識装置及び騒音下音声認識方法

Info

Publication number
JP3452443B2
JP3452443B2 JP06821096A JP6821096A JP3452443B2 JP 3452443 B2 JP3452443 B2 JP 3452443B2 JP 06821096 A JP06821096 A JP 06821096A JP 6821096 A JP6821096 A JP 6821096A JP 3452443 B2 JP3452443 B2 JP 3452443B2
Authority
JP
Japan
Prior art keywords
noise
model
speech
superimposed
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP06821096A
Other languages
English (en)
Other versions
JPH09258768A (ja
Inventor
鈴木  忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP06821096A priority Critical patent/JP3452443B2/ja
Priority to US08/732,891 priority patent/US5749068A/en
Publication of JPH09258768A publication Critical patent/JPH09258768A/ja
Application granted granted Critical
Publication of JP3452443B2 publication Critical patent/JP3452443B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、騒音環境下で発声
され、雑音が重畳した音声を対象とする音声認識装置及
び音声認識方法に関するものである。
【0002】
【従来の技術】音声認識においては、音声のスペクトル
情報に基づく照合処理が行われる。このため、照合用の
音声モデルの学習に用いた好適環境、即ち、照合用の音
声データが発声された好適環境とは異なる騒音環境にお
いて発声された音声を認識対象する場合がある。この場
合、音声信号に重畳する環境騒音信号の影響により、認
識性能が大きく劣化する。
【0003】この問題に対し、入力信号中の非音声区間
から雑音の様態を学習した上で、音声区間中にも同じ雑
音が重畳していると仮定してこの雑音の成分をパワース
ペクトル上で除去する手法がある。図23は、文献「日
本音響学会編音響工学講座改訂音声」(中田和男、コ
ロナ社、P.130−131)に示されているスペクト
ル差引法を用いる騒音下音声認識装置の構成図の一例で
ある。図において、3は入力端1から入力される雑音重
畳音声信号200に対しスペクトル分析を行い雑音重畳
音声スペクトル時系列201を出力するスペクトル演算
手段、4は予め用意された推定重畳雑音スペクトル5を
用いて、雑音重畳音声スペクトル時系列201から雑音
成分を除去し、雑音除去音声スペクトル時系列202を
出力する雑音スペクトル除去手段、6は雑音除去音声ス
ペクトル時系列202から雑音除去音声特徴ベクトル時
系列203を求める特徴ベクトル演算手段、7は雑音除
去音声特徴ベクトル時系列203と参照モデルメモリ8
に記憶されている照合用音声モデル204との照合処理
を行い、最も尤度が高くなる照合用音声モデル204の
カテゴリを認識結果9として出力する照合手段である。
【0004】また、図24は、図23の音声認識装置に
おいて、推定重畳雑音スペクトル5を生成する手段とし
て、平均スペクトル演算手段10を用いた騒音下音声認
識装置の構成図の一例である。平均スペクトル演算手段
10は、スペクトル演算手段3の出力である雑音重畳音
声スペクトル時系列201を用いて推定重畳雑音スペク
トル5を求め、雑音スペクトル除去手段4に出力する。
図25は、入力端1から入力された雑音重畳音声信号2
00と分析フレームの関係を示す図である。図26は、
音声区間T2,T4と雑音区間T1,T3を示す図であ
る。
【0005】次に、動作について説明する。照合用音声
モデル204は、予め静かな環境で発声され雑音重畳が
ない音声データを用いて作成され、参照モデルメモリ8
に格納されている。入力端1から入力された雑音重畳音
声信号200は、スペクトル演算手段3において、分析
フレームF1,F2,・・・,Fi,・・・,FI毎に
パワースペクトルが計算され、雑音重畳音声スペクトル
時系列201として出力される。雑音スペクトル除去手
段4では、この雑音重畳音声スペクトル時系列201の
各雑音重畳音声スペクトルに対し、雑音のパワースペク
トルとして推定重畳雑音スペクトル5が重畳していると
見なして、式(1)に示す雑音除去処理が施される。
【0006】
【数1】
【0007】ここで、S(ω)は雑音除去音声スペクト
ルの周波数ωにおけるパワー、X(ω)は雑音重畳音声
スペクトルの周波数ωにおけるパワー、N(ω)は推定
重畳雑音スペクトルの周波数ωにおけるパワーである。
αは正の値をとり雑音成分を除去する程度を表すパラメ
ータで、認識精度を最大にするように調整される。な
お、max{...}は、カンマで区切られたかっこ内
の要素の中で最も大きい値を返す関数である。
【0008】特徴ベクトル演算手段6は、雑音スペクト
ル除去手段4が出力した雑音除去音声スペクトル時系列
202の各雑音除去音声スペクトルに対し、特徴ベクト
ル演算処理を施し、自己相関係数やLPC(Linea
r PredictiveCoding)ケプストラム
などの、音声認識において用いられる音響的な特徴を示
すベクトルに変換する。これを全ての雑音除去音声スペ
クトル時系列202に施し、雑音除去音声特徴ベクトル
時系列203として出力する。
【0009】照合手段7は、特徴ベクトル演算手段6が
出力した雑音除去音声特徴ベクトル時系列203に対
し、参照モデルメモリ8に格納されている照合用音声モ
デル204との照合を行い、最大尤度を与える照合用音
声モデル204のカテゴリを認識結果9として出力す
る。
【0010】また、平均スペクトル演算手段10は、ス
ペクトル演算手段3の出力であるところの雑音重畳音声
スペクトル時系列201を入力として、図26に示すよ
うに、雑音重畳音声スペクトル時系列201の中で音声
でない区間、例えば、音声区間の直前の雑音区間T1
や、音声発声中の休止区間に生ずる雑音区間Tなどに
あたる1つ以上の雑音重畳音声スペクトルを各周波数毎
に平均し、推定重畳雑音スペクトル5として出力する。
【0011】以上の動作により、入力される雑音重畳音
声信号200のスペクトル分析の結果である雑音重畳音
声スペクトル時系列201の音声区間T2又はT4の各
雑音重畳音声スペクトルに、音声発声直前などの雑音区
間T1又はT3の平均パワースペクトルが重畳している
と見なして、パワースペクトル上で雑音成分を除去した
上で、雑音無し照合モデルとの照合処理が施され、認識
結果が得られる。
【0012】
【発明が解決しようとする課題】従来の装置は、以上の
ように構成されているため、音声発声直前などの雑音区
間T1,T3の平均パワースペクトルと、実際の音声区
間T2,T4の音声に重畳している雑音のパワースペク
トルとの差が小さい場合、即ち、環境騒音の変動が小さ
い場合は、比較的良好に動作する。しかし、音声認識装
置使用者が音声の入力端である音声入力マイクの装着動
作中であったり、騒音源が移動物であるなど、音声信号
の入力端と騒音源との距離が経時変化する場合や、環境
騒音が非定常で変動が大きい場合は、音声発声直前など
から得られる平均パワースペクトルと、実際に音声に重
畳してる雑音のパワースペクトルとの誤差が大きくな
り、認識性能が劣化するという問題があった。
【0013】本発明は、上記の問題を解決するためにな
されたもので、雑音重畳音声スペクトル時系列201の
各雑音重畳音声スペクトル毎に、雑音信号を表す雑音モ
デルと雑音無し音声を表す雑音無し音声モデルとを用い
て、推定重畳雑音スペクトルを求めるようにすること
で、環境騒音の変動や騒音源と音声入力マイクとの距離
変動による認識性能劣化に対処することを目的としてい
る。
【0014】
【課題を解決するための手段】この発明に係る騒音下音
声認識装置は、雑音モデルを記憶する雑音モデルメモリ
と、雑音無し音声モデルを記憶する音声モデルメモリ
と、照合用音声モデルを記憶する参照モデルメモリと、
雑音重畳音声信号を入力し音響分析を施し、雑音重畳音
声特徴ベクトル時系列を出力する音響分析手段と、前記
音響分析手段の出力である雑音重畳音声特徴ベクトル時
系列に対し、雑音モデルメモリに記憶されている雑音モ
デルと、音声モデルメモリに記憶されている雑音無し音
声モデルとを用いて、重畳雑音推定処理を行い、推定重
畳雑音スペクトルを出力する重畳雑音推定手段と、雑音
重畳音声信号を入力しスペクトル分析を施し、雑音重畳
音声スペクトル時系列を出力するスペクトル演算手段
と、前記スペクトル演算手段の出力である雑音重畳音声
スペクトル時系列に対し、前記重畳雑音推定手段の出力
である推定重畳雑音スペクトルを用いて雑音のスペクト
ル成分を除去する雑音スペクトル除去手段と、前記雑音
スペクトル除去手段の出力である雑音除去音声スペクト
ル時系列から、特徴ベクトルを演算し、雑音除去音声特
徴ベクトル時系列を出力する特徴ベクトル演算手段と、
前記特徴ベクトル演算手段の出力である雑音除去音声特
徴ベクトル時系列に対し、参照モデルメモリに記憶され
ている照合用音声モデルとの照合を行い、最も尤度が高
くなる照合用音声モデルを認識結果として出力する照合
手段とで構成されることを特徴とする。
【0015】前記重畳雑音推定手段は、音響分析手段の
出力である雑音重畳音声特徴ベクトル時系列を入力とし
て、雑音モデルメモリに記憶されている雑音モデルと、
音声モデルメモリに記憶されている雑音無し音声モデル
とを用いて、各雑音重畳音声特徴ベクトルの推定SN比
を演算する推定SN比演算手段と、前記推定SN比演算
手段の出力である推定SN比に従って、雑音モデルメモ
リに記憶されている雑音モデルと音声モデルメモリに記
憶されている雑音無し音声モデルとの合成を行い、雑音
重畳音声モデルを生成する雑音重畳音声モデル生成手段
と、前記雑音重畳音声モデル生成手段の出力である雑音
重畳音声モデルと、前記推定SN比演算手段において推
定SN比演算の対象となった雑音重畳音声特徴ベクトル
との照合を行い尤度を求め照合データとして出力する尤
度演算手段と、前記尤度演算手段から出力される照合デ
ータを用いて、各雑音重畳音声特徴ベクトルと雑音モデ
ルと雑音無し音声モデルとの3者の組み合わせに対する
重みデータを演算する重みデータ演算手段と、前記重み
データ演算手段から出力される重みデータと、前記推定
SN比演算手段の出力である推定SN比と、雑音重畳音
声特徴ベクトル時系列と、雑音モデルとを用いて、推定
重畳雑音スペクトルを生成する雑音スペクトル生成手段
とで構成されることを特徴とする。
【0016】前記雑音モデルメモリに記憶される雑音モ
デルとして、1個以上の雑音スペクトルと各雑音スペク
トルに対応する特徴ベクトルを用いたことを特徴とす
る。
【0017】前記音声モデルメモリに記憶される雑音無
し音声モデルとして、1個以上の雑音無し音声特徴ベク
トルを用いたことを特徴とする。
【0018】前記音声モデルメモリに記憶される雑音無
し音声モデルとして、音節のモデルを相互に接続したモ
デルを用いたことを特徴とする。
【0019】前記尤度演算手段は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算手段は、前記尤度演算手段が
出力した照合データの中から、最も尤度の高いものを選
択して重みデータを演算することを特徴とする。
【0020】前記尤度演算手段は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算手段は、前記尤度演算手段が
出力した照合データの中から、尤度の高いものを順に複
数個選択して重みデータを演算することを特徴とする。
【0021】前記尤度演算手段は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算手段は、前記尤度演算手段が
出力した照合データの中から、尤度の高いものを順に複
数個選択し、同一の雑音モデルにより得られた尤度を重
み付け加算し、この重み付け加算の結果の値が最も大き
い雑音モデルを求めて重みデータを演算することを特徴
とする。
【0022】この発明に係る騒音下音声認識方法は、雑
音モデルを記憶する雑音モデルメモリと、雑音無し音声
モデルを記憶する音声モデルメモリと、照合用音声モデ
ルを記憶する参照モデルメモリとを備え、雑音重畳音声
信号を入力し音響分析を施し、雑音重畳音声特徴ベクト
ル時系列を出力する音響分析工程と、前記音響分析工程
の出力である雑音重畳音声特徴ベクトル時系列に対し、
雑音モデルメモリに記憶されている雑音モデルと、音声
モデルメモリに記憶されている雑音無し音声モデルとを
用いて、重畳雑音推定処理を行い、推定重畳雑音スペク
トルを出力する重畳雑音推定工程と、雑音重畳音声信号
を入力しスペクトル分析を施し、雑音重畳音声スペクト
ル時系列を出力するスペクトル演算工程と、前記スペク
トル演算工程の出力である雑音重畳音声スペクトル時系
列に対し、前記重畳雑音推定工程の出力である推定重畳
雑音スペクトルを用いて雑音のスペクトル成分を除去す
る雑音スペクトル除去工程と、前記雑音スペクトル除去
工程の出力である雑音除去音声スペクトル時系列から特
徴ベクトルを演算し、雑音除去音声特徴ベクトル時系列
を出力する特徴ベクトル演算工程と、前記特徴ベクトル
演算工程の出力である雑音除去音声特徴ベクトル時系列
に対し、参照モデルメモリに記憶されている照合用音声
モデルとの照合を行い、最も尤度が高くなる照合用音声
モデルを認識結果として出力する照合工程とで構成され
ることを特徴とする。
【0023】前記重畳雑音推定工程は、音響分析工程の
出力である雑音重畳音声特徴ベクトル時系列を入力とし
て、雑音モデルメモリに記憶されている雑音モデルと、
音声モデルメモリに記憶されている雑音無し音声モデル
とを用いて、各雑音重畳音声特徴ベクトルの推定SN比
を演算する推定SN比演算工程と、前記推定SN比演算
工程の出力である推定SN比に従って、雑音モデルメモ
リに記憶されている雑音モデルと音声モデルメモリに記
憶されている雑音無し音声モデルとの合成を行い、雑音
重畳音声モデルを生成する雑音重畳音声モデル生成工程
と、前記雑音重畳音声モデル生成工程の出力である雑音
重畳音声モデルと、前記推定SN比演算工程において推
定SN比演算の対象となった雑音重畳音声特徴ベクトル
との照合を行い尤度を求め照合データとして出力する尤
度演算工程と、前記尤度演算工程から出力される照合デ
ータを用いて、各雑音重畳音声特徴ベクトルと雑音モデ
ルと雑音無し音声モデルとの3者の組み合わせに対する
重みデータを演算する重みデータ演算工程と、前記重み
データ演算工程から出力される重みデータと、前記推定
SN比演算工程の出力である推定SN比と、雑音重畳音
声特徴ベクトル時系列と、雑音モデルとを用いて、推定
重畳雑音スペクトルを生成する雑音スペクトル生成工程
とで構成されることを特徴とする。
【0024】前記尤度演算工程は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算工程は、照合データの中か
ら、最も尤度の高いものを選択して重みデータを演算す
ることを特徴とする。
【0025】前記尤度演算工程は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算工程は、照合データの中か
ら、尤度の高いものを順に複数個選択して重みデータを
演算することを特徴とする。
【0026】前記尤度演算工程は、雑音モデルと音声モ
デルの組み合わせ毎に照合データを演算し出力するとと
もに、前記重みデータ演算工程は、照合データの中か
ら、尤度の高いものを順に複数個選択し、同一の雑音モ
デルにより得られた尤度を重み付け加算し、この重み付
け加算の結果の値が最も大きい雑音モデルを求めて重み
データを演算することを特徴とする。
【0027】
【発明の実施の形態】
実施の形態1.図1は、この発明に係る音声認識システ
ムの構成図である。音声認識システム60は、ディスプ
レイユニット61、キーボード62、マウス63、マウ
スパット64、システムユニット65、音声入力マイク
66、音声認識装置100を備えている。この発明の音
声認識システムは、例えば、図1に示すように、音声入
力マイク66から入力した音声を音声認識装置100で
認識し、認識した音声をシステムユニット65に転送
し、ディスプレイユニット61に文字として表示するも
のである。しかし、この発明に係る音声認識システム
は、このようにパーソナルコンピューターやワークステ
ーションと一緒に用いられる必要はなく、以下に述べる
音声認識装置100が用いられるシステムであれば、ど
のような形式のものであっても良い。例えば、音声入力
マイク66の代わりに、テープレコーダを入力装置にし
ても構わないし、ネットワークからの音声データを入力
するようにしても構わない。また、入力するデータは、
アナログデータであっても構わないし、デジタルデータ
であっても構わない。また、音声認識装置100は、独
立した筐体で存在しても構わないが、システムユニット
65の内部に納められているものでも構わないし、その
他の測定機や計算機のシステムボードの一部分として存
在している場合であっても構わない。また、認識結果を
文字として表示する場合に限らず、認識結果に基づいて
データ検索や加工作業や測定作業を行わせるようにして
も良い。
【0028】図2は、本発明に係る騒音下の音声認識装
置100の一実施の形態の構成を示すブロック図であ
る。図において、11は入力端1から入力される雑音重
畳音声信号200に対し音響分析を行い、雑音重畳音声
特徴ベクトル時系列120を出力する音響分析手段、1
3は雑音無し音声を表す雑音無し音声モデルを記憶して
いる音声モデルメモリ、14は雑音を表す雑音モデルを
記憶している雑音モデルメモリ、15は音響分析手段1
1から出力された雑音重畳音声特徴ベクトル時系列12
0に対し、雑音モデルメモリに記憶されている雑音モデ
ル121と、音声モデルメモリに記憶されている雑音無
し音声モデル122を用いて、重畳雑音推定を行い、推
定重畳雑音スペクトル5を出力する重畳雑音推定手段で
ある。他の構成要素は、従来例と同じである。
【0029】図3は、本発明に係る騒音下の音声認識装
置100における重畳雑音推定手段15の一実施の形態
の構成を示すブロック図である。図において、16は音
響分析手段11の出力であるところの雑音重畳音声特徴
ベクトル時系列120の各雑音重畳音声特徴ベクトルに
対し、音声モデルメモリ13に記憶されている雑音無し
音声モデル122と、雑音モデルメモリ14に記憶され
ている雑音モデル121を用いて推定SN(シグナルノ
イズ)比130を演算する推定SN比演算手段、17は
推定SN比演算手段16の出力である推定SN比データ
に従い、雑音無し音声モデル122と雑音モデル121
の合成を行い、雑音重畳音声モデル131を生成する雑
音重畳音声モデル生成手段、18は生成された雑音重畳
音声モデル131と雑音重畳音声特徴ベクトル時系列1
20との照合を行い、各雑音重畳音声特徴ベクトルと雑
音重畳音声モデル131との対応付けデータと尤度を求
め、照合データ132として出力する尤度演算手段、1
9は尤度演算手段18の出力である照合データ132を
入力とし、尤度最大基準重みデータ133を作成する最
大尤度選択型重みデータ演算手段、20は雑音重畳音声
特徴ベクトル時系列120と、推定SN比演算手段の出
力である推定SN比データと、最大尤度選択型重みデー
タ演算手段19の出力である重みデータ133と、雑音
モデルメモリ14に記憶されている雑音モデル121を
用いて、推定重畳雑音スペクトル5を生成する雑音スペ
クトル生成手段である。
【0030】次に、動作について説明する。まず、図4
を用いて自己相関係数、正規化自己相関係数について説
明する。図4は、分析フレームF1を示す図である。分
析フレームF1において、A個のサンプリングを行い、
各サンプリングにおける特徴ベクトルの値をB(1),
B(2),・・・,B(a),・・・,B(A)とす
る。自己相関係数は、自分自身の特徴ベクトルの値B
(a)と、自分自身からkだけ離れた特徴ベクトルの値
B(a+k)を積算し、その総和を取ることにより求め
られる。即ち、自己相関係数z(k)は、式(2)のよ
うにして求められる。
【0031】
【数2】
【0032】ここで、kは次元を表し、k=0は0次元
を示す。即ち、z(0)は0次元の自己相関係数を示
し、0次の自己相関係数は、式(3)に示すように、特
徴ベクトルの値B(a)2 の総和となる。
【0033】
【数3】
【0034】この0次の自己相関係数は、パワーを示す
値である。そして、自己相関係数z(k)をパワーで正
規化したものが、式(4)に示すように、正規化自己相
関係数zn(k)である。
【0035】
【数4】
【0036】そして、このようにして求められた正規化
自己相関係数を0次から一例として15次までベクトル
化したものが、式(5)に示す正規化自己相関係数ベク
トルZである。
【0037】
【数5】
【0038】なお、自己相関係数は、分析フレームF1
におけるパワースペクトルを逆フーリエ変換して求めて
も構わない。図4に示した場合は、分析フレームF1か
ら正規化自己相関係数ベクトルを求める場合を説明した
が、雑音無し音声及び雑音についても同様にして正規化
自己相関係数ベクトルを求めることができる。
【0039】以下に、この実施の形態の具体的動作につ
いて説明する。図5に示すように、予め、雑音無し音声
の代表的なパワースペクトル、例えば、母音「あ」
「い」「う」「え」「お」や種々の子音のパワースペク
トルを複数個(M個)求め、それぞれ対応する正規化自
己相関係数ベクトルを、雑音無し音声モデル122とし
て音声モデルメモリ13に格納しておく。即ち、音声モ
デルメモリに記憶される雑音無し音声モデルとして、1
個以上の雑音無し音声特徴ベクトルを記憶している。第
m正規化自己相関係数ベクトルをSm(1≦m≦M)と
する。雑音無し音声において、それぞれの代表点にあた
る正規化自己相関係数ベクトルが等確率で観測されると
見なす。
【0040】また、図6に示すように、雑音についても
複数個(N個)の代表的なパワースペクトルを求め、そ
れに対応する正規化自己相関係数ベクトルと正規化パワ
ースペクトルを雑音モデル121として雑音モデルメモ
リ14に格納しておく。即ち、雑音モデルメモリに記憶
される雑音モデルとして、1個以上の雑音スペクトルと
各スペクトルに対応する特徴を記憶している。正規化パ
ワースペクトルは、正規化自己相関係数をフーリエ変換
して求めることができる。従って、処理時間に十分余裕
がある場合には、正規化パワースペクトルを予め計算し
ておく必要はなく、必要がある度に正規化自己相関係数
ベクトルからフーリエ変換を施して、正規化パワースペ
クトルを求めるようにしても構わない。ここでは、第n
正規化自己相関係数ベクトルをVn(1≦n≦N)、正
規化パワースペクトルをWn(1≦n≦N)とする。ま
た、雑音において、それぞれの代表点に当たる正規化自
己相関係数ベクトルが等確率で観測されると見なす。
【0041】音響分析手段11は、入力端1から入力さ
れる雑音重畳音声信号200について、スペクトル演算
手段3におけるスペクトル分析処理の対象となる各分析
フレームF1,F2,・・・,Fi,・・・,FIに対
し、音響分析を行い、雑音重畳音声特徴ベクトル時系列
120として出力する。図7に示すように、第iフレー
ム目の雑音重畳音声特徴ベクトルの正規化自己相関係数
ベクトルを、Xi(1≦i≦I、Iはフレーム数)とす
る。推定SN比演算手段16は、図8に示すように、雑
音重畳音声特徴ベクトル時系列120に対し、音声モデ
ルメモリ13に記憶されている雑音無し音声モデル12
2と、雑音モデルメモリ14に記憶されている雑音モデ
ル121を用いて、式(6)のように推定SN比Ri
(m,n)(1≦i≦I、1≦m≦M、1≦n≦N)を
求める。
【0042】
【数6】
【0043】ここで、(k)で表しているのは、各ベク
トルのk次元成分、Ri(m,n)は、第iフレーム目
の雑音重畳音声特徴ベクトルに対し、雑音無し音声モデ
ル122の第m正規化自己相関係数ベクトルSmと、雑
音モデル121の第n正規化自己相関係数ベクトルVn
を用いた時の推定SN比である。また、Amは、雑音無
し音声モデル122の正規化自己相関係数ベクトルSm
から求められる最尤パラメータである。
【0044】図9に示すように、雑音重畳音声モデル生
成手段17は、推定SN比演算手段16の出力である推
定SN比データRi(m,n)(1≦i≦I、1≦m≦
M、1≦n≦N)に従い、音声モデルメモリ13に記憶
されている雑音無し音声モデル122と、雑音モデルメ
モリ14に記憶されている雑音モデル121とを用い
て、雑音重畳音声モデルTi(m,n)(1≦i≦I、
1≦m≦M、1≦n≦N)を式(7)のように、雑音無
し音声モデル122の正規化自己相関係数ベクトルと、
雑音モデル121の正規化自己相関係数ベクトルの推定
SN比に従う重み付け和として生成する。
【0045】
【数7】
【0046】尤度演算手段18は、図10に示すよう
に、雑音重畳音声特徴ベクトル時系列120に対し、雑
音重畳音声モデル生成手段17の出力である雑音重畳音
声モデル131との照合を行い、尤度Li(m,n)
(1≦i≦I、1≦m≦M、1≦n≦N)を式(8)の
ように求める。
【0047】
【数8】
【0048】ここで、d(*,*)は、2つの正規化自
己相関係数ベクトルの間で定義される適当な距離を表
し、例えば、それぞれの正規化自己相関係数ベクトルを
LPC分析により、LPCケプストラムベクトルに変換
した時のユークリッド距離などである。
【0049】最大尤度選択型重みデータ演算手段19
は、まず、尤度演算手段の出力である尤度データを用い
て、雑音重畳音声特徴ベクトル時系列120に対し、尤
度最大にする雑音重畳音声モデル131の系列データ
(Pi,Qi)を求める。即ち、例えば、1≦pi≦M
を満たす任意の系列{pi|i=1・・・I}と、1≦
qi≦Nを満たす任意の系列{qi|i=1・・・I}
について、常に、
【0050】
【数9】 を満たすか、もしくは、
【0051】
【数10】 を満たす系列データ(Pi,Qi)(但し、i=1・・
・I)を求める。
【0052】上記系列データの求め方を、図11を用い
て説明する。図11は、図10に示した尤度Li(m,
n)がM個×N個=2×2で構成され、かつ、第1と第
2の分析フレーム(i=1,i=2)が存在する場合
(I=2)の系列データ(Pi,Qi)の求め方を示し
ている。尤度が図11に示すように求められている場
合、式(5)は、第1と第2の分析フレームから得られ
た尤度の全ての組み合わせの総和を演算し、その総和が
最大となるものを選び出す。図11に示す場合は、5+
4=9が最大となる。従って、尤度L1(1,1)+L
2(2,2)=9の場合が最大となる。従って、(P
1,Q1)=(1,1)と(P2,Q2)=(2,2)
を、系列データとして求める。
【0053】次に、この系列データに従い、重みデータ
Gi(m,n)を、式(11)のように求める。
【0054】
【数11】
【0055】図12は、図11に示した具体例から求め
られた重みデータを示す図である。第1の分析フレーム
(i=1)に対して、系列データ(1,1)で示された
重みだけが1となり、他の値は0となる。また、第2の
分析フレーム(i=2)の場合も、系列データ(2,
2)に対応する重みデータが1となり、その他の重みデ
ータは0となる。
【0056】雑音スペクトル生成手段20は、最大尤度
選択型重みデータ演算手段19の出力である重みデータ
と、推定SN比演算手段16が演算した推定SN比デー
タと、雑音重畳音声特徴ベクトル時系列120と、雑音
モデルメモリ14に記憶されている雑音モデル121の
パワースペクトルを用いて、推定重畳雑音スペクトル5
を生成する。まず、重みデータGi(m,n)が0でな
い(即ち、1である)iとmとnの組み合わせについ
て、推定SN比データRi(m,n)と雑音重畳音声特
徴ベクトル時系列120の第iフレーム目の雑音重畳音
声特徴ベクトルにおける雑音パワーデータUi、雑音モ
デルメモリ14に記憶されている正規化パワースペクト
ルWnを用いて、重畳雑音パワースペクトルZi(m,
n)を式(12)で求める。これにより、Zi(m,
n)は、パワースペクトルの概形が雑音モデル121の
正規化パワースペクトルWnに同じで、推定SN比デー
タRi(m,n)に従うところの第i雑音重畳音声特徴
ベクトルの中の雑音パワーを持つパワースペクトルとな
る。
【0057】
【数12】
【0058】図12に示す場合は、重みデータが1であ
るiとmとnの組み合わせは、i=1,m=1,n=1
の場合と、i=2,m=2,n=2の2つの場合であ
る。従って、重畳雑音パワースペクトルは、Z1(1,
1)とZ2(2,2)の2つの場合について計算され
る。その他の場合は、重みデータが0なので、重畳雑音
パワースペクトルの計算は行われない。
【0059】次に、i毎に、全てのmとnの組み合わせ
について、重みデータGi(m,n)による重畳雑音パ
ワースペクトルZi(m,n)の重み付け平均を式(1
3)のように行い、得られたYiを推定重畳雑音スペク
トル5として出力する。
【0060】
【数13】
【0061】上記重み付け平均の計算は、後述する実施
の形態2及び実施の形態3において特に意味を持つもの
であり、この実施の形態1においては、重みデータが1
であるため、重畳雑音パワースペクトルZi(m,n)
がそのまま出力される。図12に示す具体例の場合は、 Y1=Z1(1,1) Y2=Z2(2,2) として出力される。推定重畳雑音スペクトル5が得られ
た後は、従来例と同様の認識照合処理が行われ認識結果
が得られる。
【0062】上記のような処理により、雑音重畳音声特
徴ベクトル時系列120に対し、雑音モデル121が表
す雑音が重畳することを考慮した雑音無し音声モデル1
22との尤度演算が行われ、雑音重畳入力音声の各分析
フレーム毎に、尤度最大基準による重畳雑音のパワース
ペクトル推定がなされるため、非定常騒音環境や、音声
入力マイクと騒音源との距離変動による重畳雑音の変動
の影響を受けにくい推定重畳雑音スペクトルが得られる
こととなり、認識性能の劣化を抑えることができる。
【0063】また、雑音無し音声の代表的なパワースペ
クトルに対応する正規化自己相関係数ベクトルが、雑音
無し音声において等確率で観測されると見なして、雑音
無し音声モデル122を構成したこと、また、雑音も同
様に、雑音の代表的なパワースペクトルに対応する正規
化自己相関係数ベクトルが、雑音において等確率で観測
されると見なして、雑音モデル121を構成したことに
より、式(9)や式(10)を満たす系列データの決定
が、各iについて、式(14)を満たすmとnの組み合
わせを見つけることで代用できる。
【0064】
【数14】
【0065】上記系列データの決定方法を、具体的に図
11を用いて説明する。上記式(14)は、各分析フレ
ームi毎に最大の尤度を見つければよいものである。従
って、図11に示すi=1の場合は、4つの尤度5,
1,4,2の中から最大の尤度5を選択すれば良い。ま
た、i=2の場合は、4つの尤度3,1,2,4の中か
ら最大の尤度4を選択すれば良い。この例においては、
前述した図11と同じ尤度が選択され、結果として図1
1の場合と同じ系列データ(1,1)と(2,2)が決
定されるが、場合によっては、異なる系列データが決定
される。このように、式(14)に従えば、各分析フレ
ーム毎に最大尤度を決定することができるので、式
(9)や式(10)に従った場合のように、全ての分析
フレームの尤度が計算されるのを待つ必要がない。これ
により、雑音重畳入力音声の分析フレーム毎に、推定重
畳雑音スペクトルが推定でき、特徴ベクトル演算手段6
までの処理が、パイプライン処理などによる高速化が可
能になる。
【0066】以下に、この実施の形態の処理手順をまと
めて記載する。 (1)入力音声の任意の分析フレームに対し、雑音モデ
ルと雑音無し音声モデルの全ての組み合わせについて推
定SN比を求める。 (2)得られた推定SN比に従い、それぞれの組み合わ
せについて、雑音無し音声モデルに雑音モデルを重畳さ
せる。 (3)入力音声の分析フレームと(2)で求められた雑
音重畳音声との距離を求め、最小距離を与える雑音モデ
ルと雑音無し音声モデルの組み合わせを決定する。 (4)(3)で決定された組み合わせによる推定SN比
と、入力音声の該当分析フレームのパワーから、雑音パ
ワーを計算する。 (5)入力音声の分析フレームに、(3)で決定された
組み合わせの雑音モデルに対応するパワースペクトル
が、(4)で計算されたパワーで重畳していると見なし
てスペクトルサブトラクション処理する。 (6)(1)〜(5)を入力音声の全ての分析フレーム
について行う。 以上の処理により、入力音声の各分析フレーム毎に雑音
の重畳を考慮した雑音無し音声モデルとの尤度最大基準
による重畳雑音の雑音モデル選択とパワー計算がなさ
れ、非定常雑音や推定SN比の変動の影響を受けにくい
雑音除去が行われる。
【0067】本発明における雑音無し音声モデル122
は、上記の複数個の代表的なパワースペクトルに対応す
る正規化自己相関係数ベクトルに限定されるものではな
く、日本語に現れる音節のモデルを相互に全て接続した
モデルを用いても構わない。音節のモデルとして、連続
分布型のHMM(Hiden Marcov Mode
l)を用いた場合、HMMにおける平均ベクトルに対応
する正規化自己相関係数ベクトルを各HMMの平均ベク
トル毎に求め、雑音無し音声モデル122として音声モ
デルメモリに格納する。式(6)における推定SN比演
算は、該正規化自己相関係数ベクトルを用いて行う。雑
音重畳音声モデルの生成は、式(7)により雑音無し音
声モデル122の正規化自己相関係数ベクトルと、雑音
モデル121の正規化自己相関係数ベクトルとの推定S
N比に従う重み付け和で得られた自己相関係数ベクトル
を音響分析し、その分析結果をHMMの平均ベクトルと
置き換えることで行う。式(8)の尤度は、HMMにお
ける出力確率を用い、最大尤度選択型重みデータ演算手
段19における系列データ(Pi,Qi)は、式(9)
や式(10)の代わりにHMMにおけるビタビ演算によ
り求める。これにより、雑音無し音声を表す雑音無し音
声モデル122としての精度が向上し、重畳雑音の推定
精度が改善され、より精度の高い騒音下音声認識が実現
する。
【0068】実施の形態2.図13は、本発明における
重畳雑音推定手段15の一実施の形態の構成を示すブロ
ック図である。実施の形態1との差異は、最大尤度選択
型重みデータ演算手段の代わりに、複数候補併用型重み
データ演算手段21を用いている点である。
【0069】次に、動作について説明する。複数候補併
用型重みデータ演算手段21は、まず、尤度演算手段1
8の出力である尤度データを用いて、雑音重畳音声特徴
ベクトル時系列120の雑音重畳音声特徴ベクトル毎
に、尤度Li(m,n)を1≦m≦M、1≦n≦Nにつ
いてソーティングを行い、尤度の大きい順に、その尤度
を与えるmとnの組み合わせ(m,n)の系列データ
(Pi(j),Qi(j))を求める。jは順位を表
し、Pi(j){1,2,...,M}、Qi(j)
{1,2,...,N}である。
【0070】次に、この系列データに従い、重みデータ
Gi(m,n)を式(15)のように求める。式中、H
は推定重畳雑音スペクトルの生成に用いる尤度上位候補
の数である。
【0071】
【数15】
【0072】図14は、この実施の形態の具体例を示す
図である。図14は、図11に示すような尤度が計算さ
れた場合、かつ、尤度上位候補の数H=2の場合の重み
データを示している。図11に示す第1の分析フレーム
(i=1)の場合、尤度の大きい順に並べると5,4,
2,1となる。その上位2つの尤度5,4に対して、重
みデータが均等に1/2ずつ割り当てられる。また、第
2の分析フレーム(i=2)の尤度を大きい順に並べる
と4,3,2,1となり、尤度が4,3に対して重みデ
ータが1/2ずつ与えられる。このように、重みが1/
2ずつ割り当てられた場合は、前述した式(13)によ
り2つの重畳雑音パワースペクトルの平均が計算され、
推定重畳雑音スペクトルYiとして出力される。これに
より、尤度が大きい複数のmとnの組み合わせを併用し
た推定重畳雑音スペクトルが生成されることになり、雑
音モデル121と実際の雑音との誤差や、雑音無し音声
モデル122と実際の音声のとの誤差による推定重畳雑
音スペクトルの精度の劣化を抑えられ、認識精度も向上
する。
【0073】また、重みデータの演算式は、式(15)
に限定されるものではなく、図15に示すように、尤度
に比例して重みを大きくするようなものでも構わない。
【0074】実施の形態3.図16は、本発明における
重畳雑音推定手段15の一実施の形態の構成を示すブロ
ック図である。実施の形態1との差異は、最大尤度選択
型重みデータ演算手段の代わりに、平均尤度演算型重み
データ演算手段22を用いている点である。
【0075】次に、動作について説明する。平均尤度演
算型重みデータ演算手段22は、まず、尤度演算手段1
8の出力である尤度データを用いて、雑音重畳音声特徴
ベクトル時系列120の雑音重畳音声特徴ベクトル毎に
任意のnに対し、尤度Li(m,n)を1≦m≦Mにつ
いてソーティングし、尤度の大きい順に、その尤度を与
えるmの系列Pin(j){1,2,...,M}を求
める。jは順位を表す。ついで、各n毎の平均尤度Ei
n,をj≦Cを満たすLi(Pin(j),n)を平均
することで求める。ここで、Cは平均尤度の計算に用い
る尤度上位候補の数である。1≦n≦Nにおいて、Ei
nの最大値を与えるnをnmaxとすると、重みデータ
Gi(m,n)を式(16)のように求める。
【0076】
【数16】
【0077】この実施の形態3における具体的な重みデ
ータの算出方法を、図17を用いて説明する。図17
は、算出された尤度を示している。ここで、尤度上位候
補の数CをC=2とする。n=1の場合、上位候補2つ
は5と3であり、その平均値は4である。n=2の場
合、上位候補は4と2であり、その平均値は3である。
同様にして、n=3の場合、平均値は3.5、n=4の
場合、平均値は3となる。従って、平均値は、n=1の
場合が最大となり、n=1の雑音モデルを用いることが
決定される。そして、図18に示すように、尤度上位候
補の数Cの逆数である重みデータが計算される。ここで
は、重みを単に均等に1/2にした場合を示している
が、重みデータの演算式は、式(16)に限定されるも
のではなく、図示しないが、尤度に比例して重みを大き
くするようなものでも構わない。
【0078】これにより、各雑音モデル121毎に雑音
無し音声モデル122との組み合わせにおいて、尤度が
高いものを複数個用いて平均尤度を求め、最大平均尤度
を与える雑音モデル121を選択するため、雑音モデル
121と実際の雑音との誤差や、雑音無し音声モデル1
22と実際の音声のとの誤差による推定重畳雑音スペク
トルの精度の劣化を抑えられ、認識精度も向上する。
【0079】実験例. (1)実験条件 実施の形態1で述べた雑音除去手法を、連続分布型の音
素片HMMに基づく特定話者離散単語認識実験により評
価を行なった。実験条件を図19に示す。PINK雑音
並びに工場内の非定常騒音を重畳させた100地名音声
に対し、音素片HMMによる離散単語認識実験を行う。
雑音重畳音声は、雑音無し音声データに、計算機上で雑
音データを付加することで得た。推定SN比は、雑音部
を除く音声データの平均パワーと、雑音データの平均パ
ワー比で定義している。音声モデルは、学習用音声の音
声部について、LBG(Linde,Buzo,Gra
y)アルゴリズムによるクラスタリングを行い、各クラ
スタの正規化自己相関係数を平均することで求めた。各
雑音の雑音モデルは、それぞれの全雑音データに対し、
LBGアルゴリズムによるクラスタリングを行い、各カ
テゴリの正規化自己相関係数の平均と、パワースペクト
ルの平均を求めた。クラスタリングにおける距離尺度は
共に、LPCケプストラムのユークリッド距離である。
認識実験には、100地名辞書を用い、従来手法として
音声直前の10フレームのパワースペクトルの平均を、
推定重畳雑音とするスペクトルサブトラクション(S
S)法と比較した。 (2)PINK雑音重畳音声による評価 定常的なPINK雑音を重畳させた音声データによる認
識評価を行なった。推定SN比は、10dBである。雑
音モデルはクラスタ数1、音声モデルはクラスタ数64
の時のセントロイドを用いた。スペクトルサブトラクシ
ョン(SS)における雑音除去係数を変えた時の誤認識
率を、各話者(TH,TS)について求めた結果が図2
0である。図中、SSが従来法、EST−SSが実施の
形態1で述べた雑音除去手法である。実施の形態1で述
べた雑音除去手法において、話者や除去係数によらず、
従来方式とほぼ同じか、若干良好な認識性能が得られて
いること、誤認識が最小となる除去係数は、2.0であ
ることが分かる。このことから、定常的なPINK雑音
が重畳した音声データに対し、実施の形態1で述べた雑
音除去手法が良好に動作することが確認された。 (3)非定常雑音重畳音声による評価 次に、自動車工場の検査ラインで収録した非定常騒音を
重畳させた音声データを用いて、認識実験を行なった。
雑音モデルはクラスタ数4でのセントロイド、音声モデ
ルは先の実験と共通である。図21は、推定SN比が1
0dBの非定常雑音重畳音声データに対する認識実験の
結果である。図中の記号並びに軸は、図20と同じであ
る。PINK雑音を用いた先の実験結果と比較して、同
じ推定SN比でありながら、方式、話者、除去係数によ
らず誤認識が増大しており、非定常雑音による性能低下
が著しい。実施の形態1で述べた雑音除去手法は、話者
や除去係数によらず、従来法式を上回る認識精度が得ら
れており、非定常雑音においても、実施の形態1で述べ
た雑音除去手法の有効性が明らかである。次に、音声デ
ータの推定SN比を変えた時の認識実験を行った。結果
を図22に示す。横軸が推定SN比である。先の実験結
果から除去係数は、2.0とした。ここでは、比較デー
タとして、全く雑音除去処理を行わない場合の認識性能
も示している。推定SN比によらず、実施の形態1で述
べた雑音除去手法が有効に動作していることが分かる。 (4)結び 以上のように、雑音重畳音声の認識手法として、雑音モ
デルと雑音無し音声モデルを用いて重畳雑音推定し、パ
ワースペクトル上で除去する手法を実験した。PINK
雑音並びに非定常な工場雑音を重畳させた100地名音
声データによる認識実験の結果、その有効性が確認され
た。
【0080】
【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に記載するような効果を持つ。
【0081】以上のように、この発明によれば、環境騒
音の変動などによる推定重畳雑音スペクトルと実際に重
畳している雑音スペクトルとの誤差が小さく、認識精度
の劣化が抑えられる。
【0082】また、この発明によれば、雑音重畳音声特
徴ベクトル時系列120に対し、雑音モデル121が表
す雑音が重畳することを考慮した雑音無し音声モデル1
22との尤度演算が行われ、雑音重畳入力音声の各分析
フレーム毎に尤度最大基準による重畳雑音のパワースペ
クトル推定がなされるため、非定常騒音環境や、音声入
力マイクと騒音源との距離変動による重畳雑音の変動の
影響を受けにくい推定重畳雑音スペクトルが得られるこ
ととなり、認識性能の劣化を抑えることができる。
【0083】また、この発明によれば、1個以上の雑音
スペクトルと各スペクトルに対応する特徴ベクトルを、
雑音モデル121として雑音モデルメモリに記憶するた
め、非定常な環境騒音による重畳雑音を精度良くモデル
化でき、推定重畳雑音スペクトルの精度が向上し、認識
精度の劣化が抑えられる。
【0084】また、この発明によれば、1個以上の雑音
無し音声特徴ベクトルを雑音無し音声モデル122とし
て、音声モデルメモリに記憶するため、雑音無し音声を
精度良くモデル化でき、推定重畳雑音スペクトルの精度
が向上する。また、雑音重畳入力音声の分析フレームに
毎に推定重畳雑音スペクトルが推定でき、特徴ベクトル
演算手段までの処理が、パイプライン処理などによる高
速化が可能になる。
【0085】また、この発明によれば、音節のモデルを
相互に全て接続したモデルを、雑音無し音声モデル12
2として音声モデルメモリに記憶するため、雑音無し音
声を表す雑音無し音声モデル122としての精度が向上
し、重畳雑音の推定精度が改善され、より精度の高い騒
音下音声認識が実現する。
【0086】また、この発明によれば、尤度演算手段が
雑音モデル121と音声モデルの組み合わせ毎に尤度を
演算し、出力する照合データ132の中から最も尤度の
高いものを選択して重みデータを演算するため、少ない
演算量で推定重畳雑音スペクトルを求めることができ
る。
【0087】また、この発明によれば、尤度演算手段が
雑音モデル121と音声モデルの組み合わせ毎に尤度を
演算し、出力する照合データ132の中から尤度の高い
ものを順に複数個選択して重みデータを演算するため、
雑音モデル121と実際に重畳している雑音との誤差
や、雑音無し音声モデル122と実際の音声との誤差に
よる推定重畳雑音スペクトルの精度低下が抑制される。
【0088】また、この発明によれば、尤度演算手段が
雑音モデル121と音声モデルの組み合わせ毎に尤度を
演算し、出力する照合データ132の中から尤度の高い
ものを順に複数個選択し、同一の雑音モデル121によ
り得られた尤度を重み付け加算し、この重み付け加算の
結果の値が最も大きい雑音モデル121を求めて重みデ
ータを演算するため、雑音モデル121と実際に重畳し
ている雑音との誤差や、雑音無し音声モデル122と実
際の音声との誤差による推定重畳雑音スペクトルの精度
低下が抑制される。
【図面の簡単な説明】
【図1】 この発明の実施の形態1における音声認識シ
ステムの構成を示す図である。
【図2】 この発明の実施の形態1における騒音下音声
認識装置の一実施の形態の構成を示すブロック図であ
る。
【図3】 この発明の実施の形態1における重畳雑音推
定手段の一実施の形態の構成を示すブロック図である。
【図4】 この発明の実施の形態1における自己相関係
数を説明する図である。
【図5】 この発明の実施の形態1における音声モデル
メモリを示す図である。
【図6】 この発明の実施の形態1における雑音モデル
メモリの構成を示す図である。
【図7】 この発明の実施の形態1における各分析フレ
ームの正規化自己相関係数ベクトルを示す図である。
【図8】 この発明の実施の形態1における推定SN比
を示す図である。
【図9】 この発明の実施の形態1における雑音重畳音
声モデルを示す図である。
【図10】 この発明の実施の形態1における尤度を示
す図である。
【図11】 この発明の実施の形態1における系列デー
タの求め方を示す図である。
【図12】 この発明の実施の形態1における重みデー
タを示す図である。
【図13】 この発明の実施の形態2における重畳雑音
推定手段の一実施の形態の構成を示すブロック図であ
る。
【図14】 この発明の実施の形態2における重みデー
タを示す図である。
【図15】 この発明の実施の形態2における重みデー
タを示す図である。
【図16】 この発明の実施の形態3における重畳雑音
推定手段の一実施の形態の構成を示すブロック図であ
る。
【図17】 この発明の実施の形態3における平均尤度
の最大値を求める方法を示す図である。
【図18】 この発明の実施の形態3における重みデー
タを示す図である。
【図19】 この発明の実験条件を示す図である。
【図20】 この発明のPINK雑音重畳音声の認識結
果を示す図である。
【図21】 この発明の非定常雑音重畳音声の認識結果
を示す図である。
【図22】 この発明の推定SN比による認識性能の変
化を示す図である。
【図23】 従来のスペクトル差引法を用いる騒音下音
声認識装置の一実施の形態の構成を示すブロック図であ
る。
【図24】 従来の騒音下音声認識装置の一実施の形態
の構成を示すブロック図である。
【図25】 入力された雑音重畳音声信号と分析フレー
ムの関係を示す図である。
【図26】 音声区間と雑音区間の関係を示す図であ
る。
【符号の説明】
1 入力端、3 スペクトル演算手段、4 雑音スペク
トル除去手段、5 推定重畳雑音スペクトル、6 特徴
ベクトル演算手段、7 照合手段、8 参照モデルメモ
リ、9 認識結果、10 平均スペクトル演算手段、1
1 音響分析手段、13 音声モデルメモリ、14 雑
音モデルメモリ、15 重畳雑音推定手段、16 推定
SN比演算手段、17 雑音重畳音声モデル生成手段、
18 尤度演算手段、19 最大尤度選択型重みデータ
演算手段、20 雑音スペクトル生成手段、21 複数
候補併用型重みデータ演算手段、22 平均尤度演算型
重みデータ演算手段。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平6−289891(JP,A) 鈴木忠,阿部芳春,中島邦男,発声変 形モデルを用いた騒音環境下音声認識, 日本音響学会平成7年度春季研究発表会 講演論文集,1995年 3月14日,1−5 −1,p.1−2 鈴木忠,阿部芳春,雑音標準パタンを 用いた非定常騒音下音声認識の検討,日 本音響学会平成8年度春季研究発表会講 演論文集,1996年 3月26日,2−5− 12,p.81−82 鈴木忠,阿部芳春,重畳雑音のパタン 選択とパワー推定を用いた騒音下音声認 識手法の改良,日本音響学会平成8年度 秋季研究発表会講演論文集,1996年 9 月25日,2−Q−16,p.161−162 (58)調査した分野(Int.Cl.7,DB名) G10L 15/20 G10L 21/02 JICSTファイル(JOIS)

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項1】 パワースペクトルを含む雑音モデルを記
    憶する雑音モデルメモリと、 入力音声に重畳した雑音を推定するために用いるところ
    の、雑音無し音声モデルを記憶する音声モデルメモリ
    と、 入力音声から雑音成分が除去された特徴ベクトル時系列
    に対し認識照合処理を行うために用いるところの、照合
    用音声モデルを記憶する参照モデルメモリと、 雑音重畳音声信号を入力し音響分析を施し、雑音重畳音
    声特徴ベクトル時系列を出力する音響分析手段と、 前記音響分析手段の出力である雑音重畳音声特徴ベクト
    ル時系列に対し、雑音モデルメモリに記憶されている雑
    音モデルと、音声モデルメモリに記憶されている雑音無
    し音声モデルとを用いて、重畳雑音推定処理を行い、推
    定重畳雑音スペクトルを出力する重畳雑音推定手段と、 雑音重畳音声信号を入力しスペクトル分析を施し、雑音
    重畳音声スペクトル時系列を出力するスペクトル演算手
    段と、 前記スペクトル演算手段の出力である雑音重畳音声スペ
    クトル時系列に対し、前記重畳雑音推定手段の出力であ
    る推定重畳雑音スペクトルを用いて雑音のスペクトル成
    分を除去する雑音スペクトル除去手段と、 前記雑音スペクトル除去手段の出力である雑音除去音声
    スペクトル時系列から、特徴ベクトルを演算し、雑音除
    去音声特徴ベクトル時系列を出力する特徴ベクトル演算
    手段と、 前記特徴ベクトル演算手段の出力である雑音除去音声特
    徴ベクトル時系列に対し、参照モデルメモリに記憶され
    ている照合用音声モデルとの照合を行い、最も尤度が高
    くなる照合用音声モデルを認識結果として出力する照合
    手段とを備え、 前記重畳雑音推定手段は、 音響分析手段の出力である雑音重畳音声特徴ベクトル時
    系列を入力として、雑音モデルメモリに記憶されている
    雑音モデルと、音声モデルメモリに記憶されている雑音
    無し音声モデルとを用いて、各雑音重畳音声特徴ベクト
    ルの推定SN(シグナルノイズ)比を演算する推定SN
    比演算手段と、 前記推定SN比演算手段の出力である推定SN比に従っ
    て、雑音モデルメモリに記憶されている雑音モデルと音
    声モデルメモリに記憶されている雑音無し音声モデルと
    の合成を行い、雑音重畳音声モデルを生成する雑音重畳
    音声モデル生成手段と、 前記雑音重畳音声モデル生成手段の出力である雑音重畳
    音声モデルと、前記推定SN比演算手段において推定S
    N比演算の対象となった雑音重畳音声特徴ベクトルとの
    照合を行い尤度を求め照合データとして出力する尤度演
    算手段と、 前記尤度演算手段から出力される照合データを用いて、
    各雑音重畳音声特徴ベクトルと雑音モデルと雑音無し音
    声モデルとの3者の組み合わせに対する重みデータを演
    算する重みデータ演算手段と、 前記重みデータ演算手段から出力される重みデータと、
    前記推定SN比演算手段の出力である推定SN比と、雑
    音重畳音声特徴ベクトル時系列と、雑音モデルのパワー
    スペクトルとを用いて、重みデータが0でないものに対
    してパワースペクトルの概形が雑音モデルのパワースペ
    クトルと同じで推定SN比に従うところの雑音重畳音声
    特徴ベクトルの中の雑音パワーを持つ推定重畳雑音スペ
    クトルを生成する雑音スペクトル生成手段とを備えたこ
    とを特徴とする騒音下音声認識装置。
  2. 【請求項2】 前記雑音モデルメモリに記憶される雑音
    モデルとして、1個以上の雑音スペクトルと各雑音スペ
    クトルに対応する特徴ベクトルを用いたことを特徴とす
    る請求項1記載の騒音下音声認識装置。
  3. 【請求項3】 前記音声モデルメモリに記憶される雑音
    無し音声モデルとして、1個以上の雑音無し音声特徴ベ
    クトルを用いたことを特徴とする請求項1記載の騒音下
    音声認識装置。
  4. 【請求項4】 前記音声モデルメモリに記憶される雑音
    無し音声モデルとして、音節のモデルを相互に接続した
    モデルを用いたことを特徴とする請求項1記載の騒音下
    音声認識装置。
  5. 【請求項5】 前記尤度演算手段は、雑音モデルと音声
    モデルの組み合わせ毎に照合データを演算し出力すると
    ともに、前記重みデータ演算手段は、前記尤度演算手段
    が出力した照合データの中から、最も尤度の高いものを
    選択して重みデータを演算することを特徴とする請求項
    1記載の騒音下音声認識装置。
  6. 【請求項6】 前記尤度演算手段は、雑音モデルと音声
    モデルの組み合わせ毎に照合データを演算し出力すると
    ともに、前記重みデータ演算手段は、前記尤度演算手段
    が出力した照合データの中から、尤度の高いものを順に
    複数個選択して重みデータを演算することを特徴とする
    請求項1記載の騒音下音声認識装置。
  7. 【請求項7】 前記尤度演算手段は、雑音モデルと音声
    モデルの組み合わせ毎に照合データを演算し出力すると
    ともに、前記重みデータ演算手段は、前記尤度演算手段
    が出力した照合データの中から、尤度の高いものを順に
    複数個選択し、同一の雑音モデルにより得られた尤度を
    重み付け加算し、この重み付け加算の結果の値が最も大
    きい雑音モデルを求めて重みデータを演算することを特
    徴とする請求項6記載の騒音下音声認識装置。
  8. 【請求項8】 パワースペクトルを含む雑音モデルを記
    憶する雑音モデルメモリと、 入力音声に重畳した雑音を推定するために用いるところ
    の、雑音無し音声モデルを記憶する音声モデルメモリ
    と、 入力音声から雑音成分が除去された特徴ベクトル時系列
    に対し認識照合処理を行うために用いるところの、照合
    用音声モデルを記憶する参照モデルメモリとを備え、 雑音重畳音声信号を入力し音響分析を施し、雑音重畳音
    声特徴ベクトル時系列を出力する音響分析工程と、 前記音響分析工程の出力である雑音重畳音声特徴ベクト
    ル時系列に対し、雑音モデルメモリに記憶されている雑
    音モデルと、音声モデルメモリに記憶されている雑音無
    し音声モデルとを用いて、重畳雑音推定処理を行い、推
    定重畳雑音スペクトルを出力する重畳雑音推定工程と、 雑音重畳音声信号を入力しスペクトル分析を施し、雑音
    重畳音声スペクトル時系列を出力するスペクトル演算工
    程と、 前記スペクトル演算工程の出力である雑音重畳音声スペ
    クトル時系列に対し、前記重畳雑音推定工程の出力であ
    る推定重畳雑音スペクトルを用いて雑音のスペクトル成
    分を除去する雑音スペクトル除去工程と、 前記雑音スペクトル除去工程の出力である雑音除去音声
    スペクトル時系列から特徴ベクトルを演算し、雑音除去
    音声特徴ベクトル時系列を出力する特徴ベクトル演算工
    程と、 前記特徴ベクトル演算工程の出力である雑音除去音声特
    徴ベクトル時系列に対し、参照モデルメモリに記憶され
    ている照合用音声モデルとの照合を行い、最も尤度が高
    くなる照合用音声モデルを認識結果として出力する照合
    工程とを備え、 前記重畳雑音推定工程は、 音響分析工程の出力である雑音重畳音声特徴ベクトル時
    系列を入力として、雑音モデルメモリに記憶されている
    雑音モデルと、音声モデルメモリに記憶されている雑音
    無し音声モデルとを用いて、各雑音重畳音声特徴ベクト
    ルの推定SN比を演算する推定SN比演算工程と、 前記推定SN比演算工程の出力である推定SN比に従っ
    て、雑音モデルメモリに記憶されている雑音モデルと音
    声モデルメモリに記憶されている雑音無し音声モデルと
    の合成を行い、雑音重畳音声モデルを生成する雑音重畳
    音声モデル生成工程と、 前記雑音重畳音声モデル生成工程の出力である雑音重畳
    音声モデルと、前記推定SN比演算工程において推定S
    N比演算の対象となった雑音重畳音声特徴ベクトルとの
    照合を行い尤度を求め照合データとして出力する尤度演
    算工程と、 前記尤度演算工程から出力される照合データを用いて、
    各雑音重畳音声特徴ベクトルと雑音モデルと雑音無し音
    声モデルとの3者の組み合わせに対する重みデータを演
    算する重みデータ演算工程と、 前記重みデータ演算工程から出力される重みデータと、
    前記推定SN比演算工程の出力である推定SN比と、雑
    音重畳音声特徴ベクトル時系列と、雑音モデルとを用い
    て、重みデータが0でないものに対してパワースペクト
    ルの概形が雑音モデルのパワースペクトルと同じで推定
    SN比に従うところの雑音重畳音声特徴ベクトルの中の
    雑音パワーを持つ推定重畳雑音スペクトルを生成する雑
    音スペクトル生成工程とを備えたことを特徴とする騒音
    下音声認識方法。
  9. 【請求項9】 前記尤度演算工程は、雑音モデルと音声
    モデルの組み合わせ毎に照合データを演算し出力すると
    ともに、前記重みデータ演算工程は、照合データの中か
    ら、最も尤度の高いものを選択して重みデータを演算す
    ることを特徴とする請求項8記載の騒音下音声認識方
    法。
  10. 【請求項10】 前記尤度演算工程は、雑音モデルと音
    声モデルの組み合わせ毎に照合データを演算し出力する
    とともに、前記重みデータ演算工程は、照合データの中
    から、尤度の高いものを順に複数個選択して重みデータ
    を演算することを特徴とする請求項8記載の騒音下音声
    認識方法。
JP06821096A 1996-03-25 1996-03-25 騒音下音声認識装置及び騒音下音声認識方法 Expired - Fee Related JP3452443B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP06821096A JP3452443B2 (ja) 1996-03-25 1996-03-25 騒音下音声認識装置及び騒音下音声認識方法
US08/732,891 US5749068A (en) 1996-03-25 1996-10-17 Speech recognition apparatus and method in noisy circumstances

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06821096A JP3452443B2 (ja) 1996-03-25 1996-03-25 騒音下音声認識装置及び騒音下音声認識方法

Publications (2)

Publication Number Publication Date
JPH09258768A JPH09258768A (ja) 1997-10-03
JP3452443B2 true JP3452443B2 (ja) 2003-09-29

Family

ID=13367215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06821096A Expired - Fee Related JP3452443B2 (ja) 1996-03-25 1996-03-25 騒音下音声認識装置及び騒音下音声認識方法

Country Status (2)

Country Link
US (1) US5749068A (ja)
JP (1) JP3452443B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037527A (ja) * 2002-06-28 2004-02-05 Canon Inc 情報処理装置およびその方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970446A (en) * 1997-11-25 1999-10-19 At&T Corp Selective noise/channel/coding models and recognizers for automatic speech recognition
US6411927B1 (en) 1998-09-04 2002-06-25 Matsushita Electric Corporation Of America Robust preprocessing signal equalization system and method for normalizing to a target environment
US6826528B1 (en) 1998-09-09 2004-11-30 Sony Corporation Weighted frequency-channel background noise suppressor
US6275800B1 (en) * 1999-02-23 2001-08-14 Motorola, Inc. Voice recognition system and method
WO2001003113A1 (en) * 1999-07-01 2001-01-11 Koninklijke Philips Electronics N.V. Robust speech processing from noisy speech models
US6910011B1 (en) * 1999-08-16 2005-06-21 Haman Becker Automotive Systems - Wavemakers, Inc. Noisy acoustic signal enhancement
JP3969908B2 (ja) * 1999-09-14 2007-09-05 キヤノン株式会社 音声入力端末器、音声認識装置、音声通信システム及び音声通信方法
WO2001024167A1 (fr) 1999-09-30 2001-04-05 Fujitsu Limited Dispositif antiparasite
WO2001029826A1 (en) * 1999-10-21 2001-04-26 Sony Electronics Inc. Method for implementing a noise suppressor in a speech recognition system
EP1141949A1 (en) * 1999-10-29 2001-10-10 Koninklijke Philips Electronics N.V. Elimination of noise from a speech signal
US6735538B1 (en) * 2000-03-29 2004-05-11 Advantest Corporation Apparatus and method for measuring quality measure of phase noise waveform
DE10041456A1 (de) * 2000-08-23 2002-03-07 Philips Corp Intellectual Pty Verfahren zum Steuern von Geräten mittels Sprachsignalen, insbesondere bei Kraftfahrzeugen
US6985858B2 (en) * 2001-03-20 2006-01-10 Microsoft Corporation Method and apparatus for removing noise from feature vectors
JP4858663B2 (ja) * 2001-06-08 2012-01-18 日本電気株式会社 音声認識方法及び音声認識装置
US6959276B2 (en) 2001-09-27 2005-10-25 Microsoft Corporation Including the category of environmental noise when processing speech signals
JP4224250B2 (ja) * 2002-04-17 2009-02-12 パイオニア株式会社 音声認識装置、音声認識方法および音声認識プログラム
JP2003308091A (ja) * 2002-04-17 2003-10-31 Pioneer Electronic Corp 音声認識装置、音声認識方法および音声認識プログラム
DE60327020D1 (de) * 2002-05-27 2009-05-20 Pioneer Corp Vorrichtung, Verfahren und computerlesbares Aufzeichnungsmedium zur Erkennung von Schlüsselwörtern in spontaner Sprache
JP4352790B2 (ja) * 2002-10-31 2009-10-28 セイコーエプソン株式会社 音響モデル作成方法および音声認識装置ならびに音声認識装置を有する乗り物
JP4583781B2 (ja) * 2003-06-12 2010-11-17 アルパイン株式会社 音声補正装置
US7363221B2 (en) * 2003-08-19 2008-04-22 Microsoft Corporation Method of noise reduction using instantaneous signal-to-noise ratio as the principal quantity for optimal estimation
JP2005249816A (ja) * 2004-03-01 2005-09-15 Internatl Business Mach Corp <Ibm> 信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラム
WO2006089055A1 (en) * 2005-02-15 2006-08-24 Bbn Technologies Corp. Speech analyzing system with adaptive noise codebook
US8219391B2 (en) * 2005-02-15 2012-07-10 Raytheon Bbn Technologies Corp. Speech analyzing system with speech codebook
JP4765461B2 (ja) * 2005-07-27 2011-09-07 日本電気株式会社 雑音抑圧システムと方法及びプログラム
JP4245617B2 (ja) * 2006-04-06 2009-03-25 株式会社東芝 特徴量補正装置、特徴量補正方法および特徴量補正プログラム
JP4316583B2 (ja) * 2006-04-07 2009-08-19 株式会社東芝 特徴量補正装置、特徴量補正方法および特徴量補正プログラム
WO2009038013A1 (ja) * 2007-09-21 2009-03-26 Nec Corporation 雑音除去システム、雑音除去方法および雑音除去プログラム
KR100930060B1 (ko) * 2008-01-09 2009-12-08 성균관대학교산학협력단 신호 검출 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체
GB2464093B (en) * 2008-09-29 2011-03-09 Toshiba Res Europ Ltd A speech recognition method
WO2011010647A1 (ja) * 2009-07-21 2011-01-27 独立行政法人産業技術総合研究所 混合音信号中の混合比率推定方法及びシステム並びに音素認識方法
JP5867389B2 (ja) * 2010-05-24 2016-02-24 日本電気株式会社 信号処理方法、情報処理装置、及び信号処理プログラム
JP5870476B2 (ja) * 2010-08-04 2016-03-01 富士通株式会社 雑音推定装置、雑音推定方法および雑音推定プログラム
US8838445B1 (en) * 2011-10-10 2014-09-16 The Boeing Company Method of removing contamination in acoustic noise measurements
US8972256B2 (en) 2011-10-17 2015-03-03 Nuance Communications, Inc. System and method for dynamic noise adaptation for robust automatic speech recognition
JP5683446B2 (ja) * 2011-12-09 2015-03-11 日本電信電話株式会社 スペクトル歪みパラメータ推定値補正装置とその方法とプログラム
US20130211832A1 (en) * 2012-02-09 2013-08-15 General Motors Llc Speech signal processing responsive to low noise levels
JP6024180B2 (ja) * 2012-04-27 2016-11-09 富士通株式会社 音声認識装置、音声認識方法、及びプログラム
JP5885686B2 (ja) * 2013-02-22 2016-03-15 日本電信電話株式会社 音響モデル適応化装置、音響モデル適応化方法、プログラム
JP2016212929A (ja) * 2013-10-17 2016-12-15 三菱電機株式会社 アクチュエータ駆動制御装置、アクチュエータ駆動制御方法、及び振動抑制制御装置
JP6261749B2 (ja) * 2014-09-10 2018-01-17 三菱電機株式会社 雑音抑圧装置、雑音抑圧方法および雑音抑圧プログラム
CN111369979B (zh) * 2020-02-26 2023-12-19 广州市百果园信息技术有限公司 训练样本获取方法、装置、设备及计算机存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5850360B2 (ja) * 1978-05-12 1983-11-10 株式会社日立製作所 音声認識装置における前処理方法
US4532649A (en) * 1983-07-03 1985-07-30 Gaspare Bellafiore Hearing aid
US4897878A (en) * 1985-08-26 1990-01-30 Itt Corporation Noise compensation in speech recognition apparatus
US4852181A (en) * 1985-09-26 1989-07-25 Oki Electric Industry Co., Ltd. Speech recognition for recognizing the catagory of an input speech pattern
US5212764A (en) * 1989-04-19 1993-05-18 Ricoh Company, Ltd. Noise eliminating apparatus and speech recognition apparatus using the same
JPH05134694A (ja) * 1991-11-15 1993-05-28 Sony Corp 音声認識装置
US5400409A (en) * 1992-12-23 1995-03-21 Daimler-Benz Ag Noise-reduction method for noise-affected voice channels
IT1272653B (it) * 1993-09-20 1997-06-26 Alcatel Italia Metodo di riduzione del rumore, in particolare per riconoscimento automatico del parlato, e filtro atto ad implementare lo stesso
JP2737624B2 (ja) * 1993-12-27 1998-04-08 日本電気株式会社 音声認識装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
鈴木忠,阿部芳春,中島邦男,発声変形モデルを用いた騒音環境下音声認識,日本音響学会平成7年度春季研究発表会講演論文集,1995年 3月14日,1−5−1,p.1−2
鈴木忠,阿部芳春,重畳雑音のパタン選択とパワー推定を用いた騒音下音声認識手法の改良,日本音響学会平成8年度秋季研究発表会講演論文集,1996年 9月25日,2−Q−16,p.161−162
鈴木忠,阿部芳春,雑音標準パタンを用いた非定常騒音下音声認識の検討,日本音響学会平成8年度春季研究発表会講演論文集,1996年 3月26日,2−5−12,p.81−82

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037527A (ja) * 2002-06-28 2004-02-05 Canon Inc 情報処理装置およびその方法
US7337113B2 (en) 2002-06-28 2008-02-26 Canon Kabushiki Kaisha Speech recognition apparatus and method

Also Published As

Publication number Publication date
US5749068A (en) 1998-05-05
JPH09258768A (ja) 1997-10-03

Similar Documents

Publication Publication Date Title
JP3452443B2 (ja) 騒音下音声認識装置及び騒音下音声認識方法
JP2692581B2 (ja) 音響カテゴリ平均値計算装置及び適応化装置
WO2019102884A1 (ja) ラベル生成装置、モデル学習装置、感情認識装置、それらの方法、プログラム、および記録媒体
US5903863A (en) Method of partitioning a sequence of data frames
US20050060153A1 (en) Method and appratus for speech characterization
CN104685562B (zh) 用于从嘈杂输入信号中重构目标信号的方法和设备
JPH05216490A (ja) 音声コード化装置及び方法並びに音声認識装置及び方法
JP2004347761A (ja) 音声認識装置、音声認識方法、該音声認識方法をコンピュータに対して実行させるためのコンピュータ実行可能なプログラムおよび記憶媒体
JP3298858B2 (ja) 低複雑性スピーチ認識器の区分ベースの類似性方法
Le Roux et al. Single and Multiple ${F} _ {0} $ Contour Estimation Through Parametric Spectrogram Modeling of Speech in Noisy Environments
Chatterjee et al. Auditory model-based design and optimization of feature vectors for automatic speech recognition
US5832181A (en) Speech-recognition system utilizing neural networks and method of using same
Deb et al. Exploration of phase information for speech emotion classification
Rahaman et al. Performance analysis of isolated speech recognition technique using MFCC and cross-correlation
JP3102195B2 (ja) 音声認識装置
JP2017520016A (ja) パラメトリック音声合成システムに基づく声門パルスモデルの励磁信号形成方法
Tobing et al. Cyclic Spectral Modeling for Unsupervised Unit Discovery into Voice Conversion with Excitation and Waveform Modeling.
JP6791816B2 (ja) 音声区間検出装置、音声区間検出方法、およびプログラム
JP4860962B2 (ja) 音声認識装置、音声認識方法、及び、プログラム
Reshma et al. A survey on speech emotion recognition
JP2001067094A (ja) 音声認識装置及び方法
Lalitha et al. An encapsulation of vital non-linear frequency features for various speech applications
Pishdadian et al. On the transcription of monophonic melodies in an instance-based pitch classification scenario
JP3075250B2 (ja) 話者認識方法及び装置
Hwang et al. A fast algorithm for parallel model combination for noisy speech recognition

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030708

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090718

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees