JPH096388A - 音声認識装置 - Google Patents

音声認識装置

Info

Publication number
JPH096388A
JPH096388A JP8147357A JP14735796A JPH096388A JP H096388 A JPH096388 A JP H096388A JP 8147357 A JP8147357 A JP 8147357A JP 14735796 A JP14735796 A JP 14735796A JP H096388 A JPH096388 A JP H096388A
Authority
JP
Japan
Prior art keywords
vector
signal
recognition device
spectral
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8147357A
Other languages
English (en)
Other versions
JP3869888B2 (ja
Inventor
Hans Kalveram
カルヴェラム ハンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JPH096388A publication Critical patent/JPH096388A/ja
Application granted granted Critical
Publication of JP3869888B2 publication Critical patent/JP3869888B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Noise Elimination (AREA)

Abstract

(57)【要約】 【課題】 エラーが最小限に抑えられた音声認識を確実
に行わせる音声認識装置を提供することである。 【解決手段】 規準スペクトル値(yd)からなる規準
ベクトル(y)を記憶するためのメモリユニット(8)
を有し、前記規準ベクトル(y)にはインデックス
(j)が配属されており、該インデックスは規準音声信
号のスペクトルに相応するものであり、インデックス
(j)に配属された比較ベクトル(y’)を、規準ベク
トル(y)および第2のスペクトルベクトル(n)から
形成するための手段(9)を有し、比較ベクトル
(y’)の少なくとも1つを第2のスペクトルベクトル
(n)に連続的に適合され、さらに、比較ベクトル
(y’)を第1のスペクトルベクトル(x)と比較する
ことにより、インデックス(j)を選択するための手段
(10、11)が設けられている

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ノイズ信号の重畳
された音声信号を受信するための音声認識装置に関す
る。
【0002】
【従来の技術】発声された音声の自動認識は多数の適用
事例に利用できる。その際、受信した音声信号に重畳さ
れた妨害ノイズによって、音声認識に悪影響の及ぼされ
ることが多い。このことで音声認識におけるエラーレー
トが高まってしまう。妨害ノイズはたとえば、音声認識
装置を有する機器の周囲に存在する妨害源によって発生
される。
【0003】また、電話回線と接続されている通信ター
ミナルに音声認識装置を用いた場合には、ラインエコー
によってもこの種のノイズ信号が形成される可能性があ
る。ドイツ連邦共和国特許出願第4427124.7号
明細書によれば、音声アナウンスを発生させかつ音声信
号を認識する手段を有する通信装置が公知である。音声
アナウンスおよび音声認識手段によって、遠隔地の加入
者との通信が行われる。この場合、遠隔地の加入者への
伝送に際して音声アナウンスが反射することにより不所
望なエコーが発生し、これによって遠隔地の加入者から
の音声信号の認識に悪影響が及ぼされる。音声認識にお
いてエラーレートを低減するためのエコー補償はスペク
トル領域で行われ、その際、通信機器における受信信号
の短期間のスペクトル値と推定されたエコーの短期間の
スペクトル値との差が形成される。エコーの短期間のス
ペクトル値を推定するために、通信機器の送信信号(音
声アナウンス)の短期間のスペクトル値が求められて、
それに対し適応形の重み付けが加えられる。そしてエコ
ー作用の抑圧された差分スペクトル値が音声認識手段に
より評価される。
【0004】
【発明が解決しようとする課題】本発明の課題は、エラ
ーが最小限に抑えられた音声認識を確実に行わせる音声
認識装置を提供することにある。
【0005】
【課題を解決するための手段】上記課題は、第1のスペ
クトル値を送出するための第1のスペクトル分析手段を
有し、前記第1のスペクトル値は、妨害された音声信号
から導出され、第1のスペクトルベクトルに統合される
ものであり、ノイズ信号の推定値を送出するための手段
を有し、前記ノイズ信号推定値から第2のスペクトル値
を形成するための第2のスペクトル分析手段を有し、前
記第2のスペクトル値は、第2のスペクトルベクトルに
統合されており、規準スペクトル値からなる規準ベクト
ルを記憶するためのメモリユニットを有し、前記規準ベ
クトルにはインデックスが配属されており、該インデッ
クスは規準音声信号のスペクトルに相応するものであ
り、インデックスに配属された比較ベクトルを、規準ベ
クトルおよび第2のスペクトルベクトルから形成するた
めの手段を有し、比較ベクトルの少なくとも1つを第2
のスペクトルベクトルに連続的に適合され、さらに、比
較ベクトルを第1のスペクトルベクトルと比較すること
により、インデックスを選択するための手段が設けられ
ているように構成して解決される。
【0006】
【発明の実施の形態】ノイズ信号の推定値には、目下の
ノイズ信号に関する付加的な情報が含まれている。これ
はたとえば、ノイズ信号を発するノイズ源の近くに配置
された付加的なマイクロフォンを用いることで捕捉さ
れ、このことで音声信号から十分に分離されたノイズ信
号を用いることができ、推定することができる。ノイズ
信号が既知の音声信号(たとえば留守番電話機に記憶さ
れている音声アナウンスまたは車両内での音楽再生)の
エコーであるならば、エコーを発生させたもとの音声信
号から、伝達関数の推定によりノイズ信号を求めること
ができる。基準ベクトルと第2のスペクトルベクトル
(ノイズベクトル)から導出された比較ベクトルの連続
的な整合により、エラーが最小限に抑えられた音声認識
が確実に行われるようになり、その際、順次連続して選
択される指標は音声信号休止を伴う音声信号波形に対応
し、したがって個々の音声認識の結果を表す。この音声
認識装置は信号プロセッサを用いて実現すると有利であ
り、それによって音声認識装置のための信号処理がプロ
グラミング制御されて実行される。
【0007】比較はたとえば次のようにして行われる。
すなわち、第1のスペクトルベクトルと比較ベクトルと
の間の距離が形成され、これは第1のスペクトルベクト
ルと比較ベクトルとの類似性を表す尺度を成すものであ
って、その際、距離が小さければ類似性が高いことにな
る。この場合、複数の比較ベクトルが1つの指標に対応
づけられるものとすれば、比較ベクトルのための所定の
重み付け係数を導入することで音声認識結果が改善され
る。指標の選択に際して、結果として距離が最小化され
るような指標が選択され、この場合、たとえば総和距離
の最小化が行われるようにして選択される。基準ベクト
ルは、音声認識装置の稼働開始前に求められメモリユニ
ットに格納された基準音声信号のスペクトルに対応す
る。本発明による特徴を備えた音声認識装置は音声認識
に関して、音声信号に重畳されるノイズ信号に対しロバ
ストな特性を有している。その際、システムの周囲から
の妨害ノイズも効果的に補償されるし、たとえば電話回
線中の反射により生じるような持続的ないしは大きな遅
延を伴って到来しノイズ信号として作用するエコー信号
も、効果的に補償される。
【0008】ノイズ信号の推定値はたとえば、付随する
ノイズ信号源の近くでノイズ信号を別個に捕捉すること
により導出できる。この目的で、ノイズ信号源の近くに
マイクロフォンが配置される。音声信号または別の音響
信号のエコーであれば、ノイズ信号として到来するエコ
ーの構造は既知である。このことをノイズ信号の推定値
の形成に利用する。また、これらの構成の組み合わせも
可能である。
【0009】本発明の1つの実施形態によれば、それぞ
れ1つの指標に対し、その指標のための比較ベクトルの
相応の個数を形成するために、少なくとも1つの基準ベ
クトルと1つまたは複数の順次連続する第2のスペクト
ルベクトルが割り当てられ、第1のスペクトルベクトル
との比較に際して、個々の比較ベクトルの評価が重み付
け係数と個々のベクトル距離との加算により行われ、こ
のような実施形態によってきわめて信頼性の高い音声認
識結果が得られる。
【0010】有利にはこの音声認識装置は、音響経路を
介して伝送される音声認識装置を含む機器の近くのユー
ザによる音声信号を認識するために用いられ、その際、
この音声認識装置は機器の部分的な機能を制御するため
に用いられる。たとえば車両内の無線受信機の機能また
は車両の他の機器における機能を制御するために、この
音声認識装置を用いることができる。また、通信機器の
部分的な機能を制御するために用いられ電話回線を介し
て伝送される音声信号を認識するために、この音声認識
装置を使用することができ、たとえばライン接続された
電話端末、移動電話機あるいは留守番電話機に適用する
ことができる。これら両方の実施構成すなわち近くの加
入者ないしは遠隔地の加入者の音声信号の音声認識は、
それぞれ別個にも利用できるしそれらを組み合わせても
利用できる。
【0011】さらにこの音声認識装置を種々の複数の機
器の制御にも使用できる。また、口述記録機における適
用も有利である。
【0012】次に、図面を参照して本発明の実施例につ
いて詳細に説明する。
【0013】
【実施例】図1に示されている本発明による音声認識装
置1は、妨害を受けた音声信号X(t)を受信する受信
分岐2を有しており、この音声信号X(t)は、妨害を
受けていない音声信号S(t)とノイズ信号N(t)と
から加算的に合成されたものである。第2の受信分岐3
を介して音声認識装置1へノイズ信号源の信号を表す信
号N ̄(t)が供給され、この信号N ̄(t)によって
ノイズ信号N(t)が引き起こされる。ノイズ信号N
(t)と信号N ̄(t)との関係は1つの伝達関数によ
り作り出されるものであり、この伝達関数によってノイ
ズ信号源から受信分岐2の入力側に配置された受信手段
への伝送経路が記述される。その際、この受信手段は妨
害を受けた音声信号X(t)を供給する。
【0014】音声認識装置1が留守番電話機内に統合さ
れていて、ノイズ信号N(t)が、留守番電話機におけ
る遠隔問い合わせにあたり電話回線中の音声アナウンス
の反射により生じるラインエコーである場合、信号N ̄
(t)は留守番電話機内に記憶されている音声アナウン
スにより定まり、これを利用できる。また、音声認識装
置1が車両で用いられる機器内に統合されていて、ノイ
ズ信号N(t)が走行時の騒音により引き起こされると
みなされるならば、認識すべき音声信号S(t)とはほ
とんど無関係に妨害ノイズを検出する車両内の付加的な
マイクロフォンを用いて走行時の騒音を捕捉すること
で、信号N ̄(t)が得られる。この場合、音声アナウ
ンスがユーザガイドに用いられるところでは、信号N ̄
(t)は機器ユーザ向けの音声アナウンスの音響エコー
を表す可能性もある。ここではいずれにしても、音響エ
コーとその他の妨害ノイズ(たとえば車両騒音)とが別
個に記録されるようにした、信号N ̄(t)のマルチチ
ャネル記録が有利である。
【0015】ノイズ信号源と受信分岐2の受信手段との
間の既述の伝達関数に整合される適応形フィルタ4によ
り、信号N ̄(t)からノイズ信号推定値N^(t)が
形成され、このノイズ信号推定値N^(t)はノイズ信
号N(t)に対する近似として用いられる。適応形フィ
ルタ4は受信分岐2と結合されていて、信号X(t)が
ノイズ信号N(t)だけから成る音声休止中、すでに存
在している信号N ̄(t)およびX(t)=N(t)か
らそのまま得られる既述の伝達関数に応じて、適応形フ
ィルタ4が調整される。
【0016】減算手段5により、妨害を受けた音声信号
X(t)からノイズ信号推定値N^(t)が減算され、
音声信号S(t)を近似的に表す音声信号推定値X^
(t)=X(t)−N^(t)が形成される。このよう
にして、信号X(t)に含まれているノイズ信号N
(t)をすでに部分的に補償することができる。
【0017】機能ブロック6により、推定された音声信
号X^(t)に対してかけられた短期間スペクトル分析
がまとめられる。この場合、サンプル値として用いられ
る時間信号X^(t)が一定長のタイムスロットに分け
られる。次に、スペクトル変換たとえばフーリエ変換に
よって出力密度スペクトルが算出される。このようにし
て得られたスペクトル値はサブサンプリングされて、そ
れらの個数が低減される。特別な実施形態によれば、得
られたサンプリング値が対数化され、続いてそれらに対
し高域通過フィルタリング処理がなされる。このことは
ヨーロッパ特許出願公開第0508547号公報に詳細
に述べられている。この場合、受信分岐2で受信された
妨害を受けた音声信号X^は、振幅周波数および変調と
はほとんど無関係になる。このようにして機能ブロック
6は音声信号推定値X^(t)から、D個の成分ないし
スペクトル値xd(i)(d=1,2,...,D)を
有する第1のスペクトルベクトルx(i)を生成する。
ここでiは、短期間スペクトル分析に基づくX^(t)
のタイムスロットを表す。
【0018】時間信号を表すノイズ信号推定値N^
(t)は機能ブロック7へ供給され、このブロックは機
能ブロック6のように短期間スペクトル分析を行い、D
個の成分nd(i)(d=1,2,...,D)を有す
るスペクトルベクトルn(i)を生成する。音声認識装
置1は信号プロセッサを用いて実現するのが有利であ
る。この場合、機能ブロック6,7によりまとめられる
両方のスペクトル変換は順次連続して実施される。
【0019】メモリ8には基準ベクトルy(j,m)が
記憶されており(j=1,2,...;m=1,
2,...,M)、これらの基準ベクトルは1つの基準
音声信号の短期間スペクトルによりそれぞれ形成され
る。付加的な指標j=0に対し音声休止が割り当てられ
ている。対応する基準ベクトルはやはりメモリ8に格納
されている。1つの基準音声信号は、指標jで記述され
る1つのワードセクションを成している。また、Mによ
り基準ベクトルの個数つまり基準音声信号の個数が表さ
れ、これらは1つのワードセクションまたは音声休止を
記述するために用いられる。種々の話し手のタイプが用
いられる場合、1つの特定のワードセクションに対しそ
れぞれ異なる基準音声信号が生じる。種々の妨害源形式
を考慮することで、音声休止に対しそれぞれ異なる基準
音声信号が生じる。Mが1よりも大きければ重み付け係
数g(j,m)によって、個々の比較ベクトルがj個の
付随のワードセクションまたは付随する音声休止の記述
にどの程度適しているかが表される。これらの重み付け
係数の適用法については後述する。基準ベクトルy
(j,m)を形成するために、個々の音声認識の適用事
例に必要な基準音声信号が音声認識装置の稼働開始前に
記録され、それらに対して機能ブロック6,7の処理に
よる短期間スペクトル分析がかけられる。そして平均値
形成により得られたスペクトルベクトルが基準ベクトル
y(j,m)としてメモリユニット8に格納される。
【0020】図2の場合、本発明による音声認識装置1
は、車両における機器17用の対話制御形ユーザインタ
ーフェースの1つの構成部分である。機器17はたとえ
ば移動電話機、交通情報システムまたは無線受信機であ
る。機器17の機能の少なくとも一部分は音声認識装置
の音声認識結果Eにより制御され、たとえば移動電話機
に統合されているならば音声認識結果Eによって相手先
の電話番号が発せられる。音声認識装置1の受信分岐2
は、車両のドライバに対し配向されたマイクロフォン1
2と接続されており、ドライバの音声信号を受信するた
めに用いられる。第2の受信分岐3は3つの受信経路3
a,3b,3cにより構成されている。受信経路3aと
3bを介して、音声増幅器15からスピーカ装置14へ
伝送されるステレオ音声信号が信号N ̄(t)および
N ̄(t)として音声認識装置へマルチチャネル形式
で導かれる。これらの信号N ̄(t)およびN ̄
(t)は、それらがスピーカ14によって発せられた
後で受信分岐2の受信信号X(t)へ妨害を及ぼし、車
両のドライバの音声信号に重畳される。さらにこの場
合、付加的なマイクロフォン13が設けられており、こ
のマイクロフォンは妨害ノイズを捕捉するために用いら
れ、そのマイクロフォン信号は信号N ̄(t)として
受信経路3cへ導かれる。この特別な事例では受信経路
3cにおいて3つの受信経路3a,3b,3cを介し
て、それぞれ1つのノイズ信号源の信号に対応する異な
る複数の信号N ̄(t),N ̄(t)およびN ̄
(t)が受信されるので、これらの信号をコスト的に有
利に処理するために図1による音声処理システムにおい
て、適応形フィルタ4および減算手段5を省略するかな
いしは減算手段5による減算を省略するよう変形でき
る。信号N ̄(t),N ̄(t)およびN ̄
(t)の処理については、図4を説明する際に詳細に
説明する。
【0021】対話式制御装置16により、音声認識装置
1の認識結果Eに依存して車両のドライバへのリターン
メッセージとして音声アナウンスが発せられ、さらにこ
の装置16により、車両のドライバとの対話中にたとえ
ば音声増幅器15のミューティング回路も制御される。
【0022】図1による音声認識装置のその他の動作モ
ードについては多数の変形実施例がある。次に、図3を
参照しながら第1の変形実施例について詳細に説明す
る。
【0023】この第1の変形実施例の場合、M=1にセ
ットされ、つまり各指標jに対して正確に1つの基準ベ
クトルy(j)が割り当てられる。したがって、図3の
縦座標上に表されたダイアグラムにプロットされている
1つの指標jに対し、正確に1つの基準ベクトルy
(j)が割り当てられる。この場合、メモリ8により基
準ベクトルy(j)が機能ブロック9へ伝送され、この
機能ブロック9は各基準ベクトルy(j)と第2のスペ
クトルベクトルn(i)から比較ベクトルy’(i,
j)を形成するために用いられる。各指標jに対し時点
iで1つの比較ベクトルy’(i,j)が割り当てられ
る。図3による変形実施例では、音声休止を記述する比
較ベクトルy’(i,0)だけが継続的に第2のスペク
トルベクトルn(i)に整合される。比較ベクトルy’
(i,0)は、 y’(i,0)=n’(i)=a.n(i) により求められ、ここでaは一定の所定の係数を表し、
これによって減算手段5を用いたノイズ信号推定値N^
(t)の減算によるノイズ信号N(t)の減衰が表され
る。したがって音声信号推定値X^(t)には、妨害を
受けた音声信号X(t)よりも係数aだけ減衰されたノ
イズ信号成分が含まれている。減算手段5による差の形
成を省略した場合、係数aは値a=1をとる。このよう
な省略を行っても音声認識装置1はまだ機能を果たせる
が、減算手段5による差の形成により音声認識結果は改
善される。係数aは経験的に求めることができ、音声認
識装置1の使用条件に依存するものである。対数化され
たスペクトル値を用いる場合、y’(i,0)=n’
(i)はln(a)をn(i)の成分と加算することに
より形成される。すべてについてj>0であれば、 y’(i,j)=y’(j)=y(j) が成り立つ。
【0024】したがって比較ベクトルy’(i,j)は
時間とは無関係であり、つまり時間変数iには依存せ
ず、基準ベクトルy(j)に等しい。
【0025】比較ユニット10において、機能ブロック
9から供給された比較ベクトルy’(i,j)および第
2のスペクトルベクトルx(i)から、
【0026】
【数1】
【0027】にしたがって距離d(i,j)が形成され
る。ここでxd(i)とyd’(i)は、第1のスペク
トルベクトルx(i)と比較ベクトルy’(i,j)の
成分を表す。値pはこの実施例ではp=1にセットされ
るが、p=2とした距離算出も可能である。すべての指
標jについて各サンプリング時点iごとに距離が形成さ
れる。これらは第1のスペクトルベクトルx(i)と比
較ベクトルy’(i,j)との間の類似性を表す尺度を
成し、この場合、各ベクトル間の類似性は距離が小さく
なるにつれて増大する。図3では、比較ユニット10へ
供給される第1のスペクトルベクトルx(i)は、ダイ
アグラムの横座標にプロットされたサンプリング時点i
に対応づけられている。
【0028】機能ブロック11により、比較ユニット1
0において求められた距離d(i,j)の評価が行われ
る。各サンプリング時点iごとに各指標jに対しそれぞ
れ所属の距離が求められる。この評価はたとえば(ヴィ
タビ・アルゴリズムとも呼ばれる)ダイナミックプログ
ラミング方式により行われ、これについてはたとえばI
EEE Transaction on Acoust
ics, Speech, and Signal P
rocessing, ASSP−32(1984)
における H. Ney による論文の第263頁〜2
71頁に記載されている。距離d(i,j)を評価する
ためのさらに別の可能性として、Hidden−Mar
kov モデルを用いることが挙げられ、そこにおいて
ヴィタビ・アルゴリズムまたはその他の最適化アルゴリ
ズムが適用される。この場合、図3によるダイアグラム
j(i)において、結果として最小の総和距離となる経
路が求められる。
【0029】図3による実施例では、音声認識装置1の
語彙の中にはたとえば単語”stop”が含まれてお
り、この単語の音形が基準ベクトルy(1)〜y(4)
により表されている。音声認識装置は対話形システムの
一部分を成し、このシステムはまずはじめに単語”st
op”をアナウンスN ̄(t)として送出する。このア
ナウンスによりノイズ信号として作用するエコー信号N
(t)が生じ、これは受信分岐2により受信される信号
X(t)の構成部分となる(最初の”stop”がX
(t)に入る)。図3の場合、エコー遅延時間は無視で
きる程度に小さいものとしている。次に単語”sto
p”が発声されて、音声認識装置1の受信分岐2により
認識すべき音声信号S(t)として記録される。音声信
号S(t)は信号X(t)の一部分を成すにすぎず、S
(t)とは無関係に生成される信号N ̄(t)の一部分
ではない。図3には、個々の文字が繰り返されることで
発声速度の変化している様子が示されている。ここに図
示されている各単語の構成部分(文字)とスペクトルベ
クトルx(i)との対応づけは、必ずしも行う必要はな
い。また、長かったり短かったりする単語の構成部分
も、基本的にそれぞれ1つのスペクトルベクトルx
(i)によって記述できる。
【0030】共に距離マトリクスを形成する距離d
(i,j)を計算する際には、機能ブロック6により形
成された第1のスペクトルベクトルx(i)が比較ベク
トルy’(i,j)と比較される。ここでy’(i,
0)=n’(i)はノイズエコー信号N(t)を反映す
る。これにより、信号X(t)の第1のワード(ノイズ
エコー信号に相応する)に対して、インデックスj=0
に対する特に小さな距離が得られる。
【0031】この実施例ではノイズエコー信号は識別語
彙にも含まれるから、規準ベクトルのシーケンスy
(1),y(2),y(3),y(3),y(4)、な
いし適合された比較ベクトルのシーケンスy’(i,
1),y’(i,2),y’(i,3),y’(i,
3),y(i,4)により表すことができる。これは図
3に破線で示されている。にもかかわらず、サンプリン
グ時点i=1からi=6に対する経路はインデックスj
=0に留まる。これは、破線の経路ではワード“ストッ
プ”の一般的表現がこのワードの固有の発音と比較さ
れ、一方j=0に対してはこのような発音変化が比較を
損ない、距離の増大することがあるからである。
【0032】これに対して、音声信号S(t)、すなわ
ち識別すべき有用信号を表す振動X(t)の第2のワー
ドは、シーケンスy(1),y(1),y(2),y
(3),y(4)との比較で小さなディスタンスd
(i,j)しか示さない。これはベクトルn’(i)が
この領域では音声休止を表すからである。
【0033】このようにして機能ブロック11は、図3
に示された所属経路j(i)を送出する。この所属経路
は、信号X(t)のエコー(第1の“ストップ”)の間
は信号X(t)における音声休止を表し、実際に発声さ
れたワード(第2の“ストップ”)の間は識別されたワ
ードを表す。この所属経路j(i)は機能ブロック11
から送出された識別結果Eに相応する。
【0034】ノイズ信号N(t)としての音声信号は、
例えば対話システムでのエコーとして発生する。この音
声信号は通有情の音声認識装置に対しては特に問題とな
る。なぜならこの信号は有用信号S(t)がない場合で
は強く減衰しても、ワードを機能ブロック11から送出
された識別結果Eに簡単にワードを間違って挿入してし
まい、エラー経路j(i)となるからである。このこと
は本発明の音声認識装置により回避される。
【0035】ノイズ信号N ̄(t)および有用信号(音
声信号)S(t)が同時に発生する場合、有用信号休止
に相応する規準ベクトルy(0)だけを置換するのでは
十分でない。むしろすべての規準ベクトルy(j)を適
合しなければならない。このことは図3には示されてい
ない。
【0036】適合された比較ベクトルは次式にしたがっ
て形成される。
【0037】y’(i,j)=y(j)+n’(i) 対数スペクトル値を使用する場合には、適合された比較
ベクトルの成分は次式にしたがって計算される。
【0038】yd’(i,j)=ln(exp(yd
(j))+exp(nd’(i)) 計算コストを低減するために、この成分は次式により近
似される。
【0039】yd’(i,j)=max(yd(j),
nd’(i)) この手段により、音声情報の掩蔽がモデル化される。な
ぜなら、インデックスjおよび周波数バンドdに対して
記憶されたスペクトル値yd(j)が瞬時のノイズ信号
スペクトルnd’(i)により、後者の方が大きい値を
有する場合に置換されるからである。このようにして、
音声情報の瞬時の隠蔽部分がノイズ信号N ̄(t)ない
しN(t)により比較の際に考慮され、これにより個々
の発音が完全にバックグランドノイズの中で行われて
も、ワードの識別が可能となる。
【0040】ハイパスフィルタリングされたスペクトル
値が規準ベクトルの成分として使用される場合には、隠
蔽を上に述べたようにパワー付加により計算することは
できない。この場合に対しては本発明は変形される。以
下それを説明する。
【0041】音声信号推定値X^(t)におけるノイズ
信号パワーがノイズ信号成分N(t)のパワーに対し
て、すべての周波数帯域で均一に一定の係数aだけ減衰
されていない場合には、音声認識装置1は最適の音声識
別結果を得るために変形しなければならない。とくに、
時間領域で動作する適合係数4が省略される場合には、
n’(i)はスペクトルベクトルn(i)に依存するだ
けでなく、ノイズ信号源と受信経路2との間の伝送関数
に所属するパルス応答の持続時間に相応して、複数のス
ペクトルベクトルn(i−r)にも依存する。ここでr
=0、1、…、R。
【0042】この考察から本発明は次のように変形され
る。すなわち、機能ブロック9により比較ベクトルy’
(i,j)次のように形成されるのである。すなわち、
各サンプリング時点iに対する1つのインデックスj
に、少なくとも1つの規準ベクトルy(j,m)と、付
加的に1つまたは複数の順次連続する第2のスペクトル
ベクトルn(i−r)を配属するのである。図4の所属
の実施例では、各インデックスjに対して1つの規準ベ
クトルy(i)と2つの順次連続する第2のスペクトル
ベクトルn(i−1)およびn(i)が比較ベクトル
y’(i,j,m)として設けられている。ただし、m
=−R、…、M=−1、0、1、(M=1,R=1)。
【0043】以下のことが当てはまる。
【0044】y’(i,j,−1)=n(i−1) y’(i,j,0)=n(i) y’(i,j,1)=y(j) このために、機能ブロック9にはスペクトルベクトルn
(i−1)が中間記憶される。重み付け係数g(i,
j,m)(ただしm=−R,…、M)により、n(i)
ないしn(i−r)により表されるノイズの隠蔽がイン
デックスjに相応する基準語の部分によって行われるこ
とが予想されるか否かが考慮される。この予想は、2つ
の信号が各時点で付加されるなら、一般的に一方の信号
は他方の信号をほぼ隠蔽し、したがってスペクトルベク
トルは実質的に2つの信号のどちらかに相応する、とい
う過程に基づくものである。M>1に対しては(すなわ
ち複数の規準ベクトルが1つのインデックスjに配属さ
れる)、相応の重み付け係数g(i,j,m)が、相応
する適用例において同じインデックスjを有する一方の
規準ベクトルが他方の規準ベクトルと比較して、音声信
号を表すのにより適切であるか否かを示す。
【0045】このようにして形成された、比較ベクトル
における時間依存量により、またこれを機能ブロック9
から比較ユニット10に送出することにより、比較ユニ
ット10により検出すべきディスタンスとして次のもの
が得られる。
【0046】
【数2】
【0047】重み付け係数g(i,j,m)はまず粗く
評価される。上にすでに述べたように、pは1に設定す
ることができ、p=2も可能である。別の距離計算では
わずかな付加コストしか必要としない。なぜなら、付加
項が重み付け係数g(i,j,−r)によりjだけに依
存することができ、x(i)とノイズベクトルn(i)
からn(i−N)までの距離は各時点iごとに一度計算
すればよいからである。付加項とは、rが伝搬変数とし
て現れる項をいう。
【0048】距離d(i,j)の検出は、変形実施例に
したがって次のように行われる。すなわち、比較ユニッ
ト10によりスペクトルベクトルx(i)とこれら3つ
のベクトル間の部分距離がそれぞれ重み付け係数g
(i,j,m)により加算され、引き続き最小値が選択
されるようにして行われる。この実施例では、メモリ8
にファイルされた規準ベクトルy(j)に相応するすべ
ての時間不変比較ベクトルy’(i,j,1)に対し
て、重み付け係数g(i,j,1)として値ゼロが設定
される。ノイズ信号N ̄(t)にエコー遅延に関する知
識が仮定されなければg(i,j,−1)=g(i,
j,0)が良好な音声識別結果を得るための式である。
【0049】重み付け係数g(i,j,m)はとくに、
純粋なノイズ信号(X(t)=N(t))の場合に、休
止状態j=0が優先されることを保証しなければならな
い。このことは、j≧1に対してg(i,j,0)>g
(i,0,0)の重み付け係数が設定される場合に達成
される。このことは図4に、相応する比較ベクトルn
(i)またはn(i−1)の下線によって示されてい
る。
【0050】相対的に信号パワーが大きく、確実に識別
できる言語音、例えば母音に対しては、重み付け係数g
(i,j,0)をj≧1に対して特に大きく選択するこ
とができる。なぜなら、所属のワードの識別はこのよう
な言語音がノイズ信号N(t)により隠蔽されない場合
だけ考慮されるからである。このようにして重み付け係
数g(i,j,m)のインデックスjへの依存性によ
り、個々のワード区間の隠蔽またはノイズ信号N(t)
による隠蔽を勘案すべきか否かが表される。このことは
特に休止状態に対して当てはまる。
【0051】図4では、図3と同じ信号が基礎となって
いる。ここでは特にエコー信号、第1の“ストップ”の
エコー遅延が信号X(t)において信号N ̄(t)に対
して考慮される。ほぼ1つのサンプリング間隔のエコー
遅延が示されている。このエコー遅延にかかわらず、音
声認識装置1は正しい識別結果Eを送出する。音声識別
の際の脱落エラーの危険性は非常に小さい。なぜなら、
それぞれ個々のスペクトルベクトルx(i)はR+1ノ
イズベクトル(第2のスペクトルベクトル)と、すなわ
ちノイズ信号N ̄(t)ないしN(t)の非常に短い区
間と付加的に比較されるだけであるからである。
【0052】図2に示したマルチチャネル・ノイズ信号
の場合は、信号N ̄(t),N ̄(t)およびN ̄
(t)はこの場合、直接ノイズ信号推定値として機能
ブロック7のスペクトル分析手段により第2のスペクト
ルベクトルn(i),n(i)およびn(i)に
さらに処理される。ここで時間変数iの値に対して、3
つのスペクトルベクトルn(i),n(i)および
(i)からのセット、例えば時間的に順次連続する
2つのスペクトルベクトル(n(i−1)およびn
(i))のセットが、受信分岐路3が1つだけの受信経
路からなる(図4参照)場合に、各インデックスjに配
属される。数式の組み合わせは、複数の受信経路も、各
インデックスに対して時間的に順次連続する複数のスペ
クトルベクトルも考慮されるように行われる。この組み
合わせも有利な実施例あり、例えば時間変数iの値に対
するインデックスjに、2つのスペクトルベクトルn
(i−1),n(i),n(i−1),n
(i),n(i−1)およびn(i)からのそれ
ぞれ1つのセットが配属される。
【0053】とくにエコー伝搬時間が大きい場合は、信
号X^(t)におけるノイズ信号の抑圧は適応形フィル
タ4の精度に依存する。この要求は比較ベクトルを機能
ブロック9で連続的に適合することにより格段に低減さ
れる。ここに述べたすべての変形実施例で、適応形フィ
ルタ4を省略することができる。減算手段5による差形
成はすでに上に述べたのと同じように必ずしも必要では
ない。
【0054】本発明の音声認識装置1により、次のよう
な適用例に対して信頼性の高い音声識別が実現される。
すなわち、例えば自動車で使用される移動電話または無
線受信機での使用、および「電話を介して通信する呼び
かけ応答または自動案内装置での使用の際に、機器の音
声制御が行われるような適用例で実現される。
【0055】自動車で使用される移動電話または無線受
信機では、使用者に音響ユーザーインターフェースを介
して出力される音声の音響エコーがノイズ信号として発
声する。自動車の無線受信機では、使用者の音声信号の
識別が無線送信の出力(例えば音楽)により障害を受け
ることもある。遠距離通話中に音声信号により制御可能
な呼びかけ応答機の場合、ラインエコーがノイズ信号と
して発生する。このラインエコーは呼びかけ応答機の声
の反射によって使用者への伝送の際に生じるものであ
る。自動案内装置の場合は、呼びかけ応答機と同じよう
に音声に起因するラインエコーがノイズ信号として発生
する。このようなラインエコーがこのような機器での音
声識別に障害的な影響を与えることが本発明の音声認識
装置によって最小の程度となる。
【0056】さらに音声認識装置1により、自動車の部
分機能の音声制御を実現することができる。例えば、窓
開閉を制御することができる。また口述記録機の音声識
別の際のエラー率を低減することができる。この口述記
録機は発声された音声を直接テキストに変換するもので
あり、本発明の音声認識装置を使用することができる。
【0057】前記の音声認識装置ではノイズ成分および
有用信号成分の推定を省略しており、有用信号またはノ
イズ信号としてそれぞれ受信された信号の個々の時間間
隔の解釈を最終的な識別決定と関連して行っているの
で、音声認識装置はノイズ信号に対して非常に頑強であ
る。
【0058】音声認識装置で付加的に必要な計算コスト
はわずかである。したがって、音声認識装置は、識別可
能な語数の大きな語彙を有する適用例にも、相応に語彙
容量が小さい適用例にも使用することができる。
【0059】
【数3】
【図面の簡単な説明】
【図1】本発明の音声認識装置のブロック回路図であ
る。
【図2】対話型ユーザーインターフェースを拡張し、本
発明の音声認識装置を有する構成のブロック回路図であ
る。
【図3】音声識別の時間経過を示す線図である。
【図4】音声識別の時間経過を示す線図である。
【符号の説明】
1 音声認識装置 2 第1の受信分岐 3 第2の受信分岐 4 適応形フィルタ

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 ノイズ信号(N)の重畳された音声信号
    (S)を受信するための音声認識装置において、 第1のスペクトル値(xd)を送出するための第1のス
    ペクトル分析手段(6)を有し、 前記第1のスペクトル値は、妨害された音声信号(X)
    から導出され、第1のスペクトルベクトル(x)に統合
    されるものであり、 ノイズ信号(N)の推定値(N^)を送出するための手
    段(3、4)を有し、 前記ノイズ信号推定値(N^)から第2のスペクトル値
    を形成するための第2のスペクトル分析手段(7)を有
    し、 前記第2のスペクトル値は、第2のスペクトルベクトル
    (n)に統合されており、 規準スペクトル値(yd)からなる規準ベクトル(y)
    を記憶するためのメモリユニット(8)を有し、 前記規準ベクトル(y)にはインデックス(j)が配属
    されており、該インデックスは規準音声信号のスペクト
    ルに相応するものであり、 インデックス(j)に配属された比較ベクトル(y’)
    を、規準ベクトル(y)および第2のスペクトルベクト
    ル(n)から形成するための手段(9)を有し、 比較ベクトル(y’)の少なくとも1つを第2のスペク
    トルベクトル(n)に連続的に適合され、 さらに、比較ベクトル(y’)を第1のスペクトルベク
    トル(x)と比較することにより、インデックス(j)
    を選択するための手段(10、11)が設けられてい
    る、ことを特徴とする音声認識装置。
  2. 【請求項2】 ノイズ信号(N)の推定値(N^)を形
    成するため、ノイズ信号(N)を所属のノイズ信号源の
    近傍で記録する、請求項1記載の音声認識装置。
  3. 【請求項3】 ノイズ信号(N)の推定値(N^)を形
    成するため、既知のオーディオ信号のエコーをシミュレ
    ートする、請求項1または2記載の音声認識装置。
  4. 【請求項4】 ノイズ信号源の信号(N ̄)をフィルタ
    リングして、ノイズ信号(N)の推定値(N^)を形成
    するための適応形フィルタ(4)が設けられており、 さらに、形成された推定値(N ̄)を妨害を受けた音声
    信号(X)から減算するための手段(5)が設けられて
    いる、請求項1から3までのいずれか1項記載の音声認
    識装置。
  5. 【請求項5】 音声信号休止(j=0)に相応する比較
    ベクトル(y’)を、それぞれ存在する第2のスペクト
    ルベクトル(n)により連続的に置換する、請求項1か
    ら4までのいずれか1項記載の音声認識装置。
  6. 【請求項6】 すべての比較ベクトル(y’)をそれぞ
    れ存在する第2のスペクトルベクトル(n)に適応す
    る、請求項1から4までのいずれか1項記載の音声認識
    装置。
  7. 【請求項7】 それぞれのインデックス(j)に規準ベ
    クトル(y)および1つまたは複数の順次連続する第2
    のスペクトルベクトル(n(i),n(i−1),…)
    を、当該インデックス(j)に対して相応する数の比較
    ベクトル(y’)を配属し、 第1のスペクトルベクトル(x)との比較の際に、個々
    の比較ベクトル(y’)の評価を、評価数(g)をそれ
    ぞれのベクトル距離に加算することによって行う、請求
    項1から4までのいずれか1項記載の音声認識装置。
  8. 【請求項8】 音響経路で通信機器まで伝送される使用
    者の音声信号を識別し、通信機器の部分機能を識別され
    た音声信号に従って制御する、請求項1から7までのい
    ずれか1項記載の音声認識装置。
  9. 【請求項9】 遠距離通話網を介して通信機器に伝送さ
    れる音声信号を識別し、通信機器の部分機能を制御す
    る、請求項1から8までのいずれか1項記載の音声認識
    装置。
  10. 【請求項10】 通信機器として移動電話を使用する、
    請求項8または9記載の音声認識装置。
  11. 【請求項11】 通信機器として呼びかけ応答機を使用
    する、請求項8または9記載の音声認識装置。
  12. 【請求項12】 自動車の無線受信機の部分機能を制御
    する、請求項1から7までのいずれか1項記載の音声認
    識装置。
  13. 【請求項13】 自動車の部分機能の制御に用いる、請
    求項1から7までのいずれか1項記載の音声認識装置。
  14. 【請求項14】 当該電気機器または他の電気機器の部
    分機能を、音声認識装置の識別された音声信号に依存し
    て制御する、請求項1から13までのいずれか1項記載
    の音声認識装置。
JP14735796A 1995-06-10 1996-06-10 音声認識装置 Expired - Lifetime JP3869888B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19521258A DE19521258A1 (de) 1995-06-10 1995-06-10 Spracherkennungssystem
DE19521258.4 1995-06-10

Publications (2)

Publication Number Publication Date
JPH096388A true JPH096388A (ja) 1997-01-10
JP3869888B2 JP3869888B2 (ja) 2007-01-17

Family

ID=7764131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14735796A Expired - Lifetime JP3869888B2 (ja) 1995-06-10 1996-06-10 音声認識装置

Country Status (4)

Country Link
US (1) US5864804A (ja)
EP (1) EP0747880B1 (ja)
JP (1) JP3869888B2 (ja)
DE (2) DE19521258A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6253069B1 (en) * 1992-06-22 2001-06-26 Roy J. Mankovitz Methods and apparatus for providing information in response to telephonic requests
USRE38600E1 (en) 1992-06-22 2004-09-28 Mankovitz Roy J Apparatus and methods for accessing information relating to radio television programs
JP2921472B2 (ja) * 1996-03-15 1999-07-19 日本電気株式会社 音声および雑音の除去装置、音声認識装置
US6814293B2 (en) * 1997-02-10 2004-11-09 Symbol Technologies, Inc. Arrangement for and method of establishing a logical relationship among peripherals in a wireless local area network
DE19712632A1 (de) * 1997-03-26 1998-10-01 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Sprachfernsteuerung von Geräten
AU3867099A (en) * 1998-04-24 1999-11-16 Roy J. Mankovitz Methods and apparatus for providing information in response to telephonic requests
US6275800B1 (en) * 1999-02-23 2001-08-14 Motorola, Inc. Voice recognition system and method
GB9910448D0 (en) * 1999-05-07 1999-07-07 Ensigma Ltd Cancellation of non-stationary interfering signals for speech recognition
US6665645B1 (en) * 1999-07-28 2003-12-16 Matsushita Electric Industrial Co., Ltd. Speech recognition apparatus for AV equipment
US7016835B2 (en) * 1999-10-29 2006-03-21 International Business Machines Corporation Speech and signal digitization by using recognition metrics to select from multiple techniques
DE10005609C1 (de) * 2000-02-09 2001-08-09 Siemens Ag Verfahren zur Spracherkennung
US6725193B1 (en) * 2000-09-13 2004-04-20 Telefonaktiebolaget Lm Ericsson Cancellation of loudspeaker words in speech recognition
US6731724B2 (en) * 2001-01-22 2004-05-04 Pumatech, Inc. Voice-enabled user interface for voicemail systems
US20030095674A1 (en) * 2001-11-20 2003-05-22 Tokheim Corporation Microphone system for the fueling environment
US6990445B2 (en) * 2001-12-17 2006-01-24 Xl8 Systems, Inc. System and method for speech recognition and transcription
US20030115169A1 (en) * 2001-12-17 2003-06-19 Hongzhuan Ye System and method for management of transcribed documents
JP4209247B2 (ja) * 2003-05-02 2009-01-14 アルパイン株式会社 音声認識装置および方法
DE102004012209A1 (de) * 2004-03-12 2005-10-06 Siemens Ag Durch einen Benutzer steuerbare oder durch externe Parameter beeinflussbare Geräuschreduktion
US20090222270A2 (en) * 2006-02-14 2009-09-03 Ivc Inc. Voice command interface device
CN102111697B (zh) * 2009-12-28 2015-03-25 歌尔声学股份有限公司 一种麦克风阵列降噪控制方法及装置
US20130211828A1 (en) * 2012-02-13 2013-08-15 General Motors Llc Speech processing responsive to active noise control microphones
CN112270929B (zh) * 2020-11-18 2024-03-22 上海依图网络科技有限公司 一种歌曲识别的方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797929A (en) * 1986-01-03 1989-01-10 Motorola, Inc. Word recognition in a speech recognition system using data reduced word templates
JPH04182700A (ja) * 1990-11-19 1992-06-30 Nec Corp 音声認識装置
DE4111995A1 (de) * 1991-04-12 1992-10-15 Philips Patentverwaltung Schaltungsanordnung zur spracherkennung
FR2687496B1 (fr) * 1992-02-18 1994-04-01 Alcatel Radiotelephone Procede de reduction de bruit acoustique dans un signal de parole.
AU676714B2 (en) * 1993-02-12 1997-03-20 British Telecommunications Public Limited Company Noise reduction
IT1272653B (it) * 1993-09-20 1997-06-26 Alcatel Italia Metodo di riduzione del rumore, in particolare per riconoscimento automatico del parlato, e filtro atto ad implementare lo stesso
CA2153170C (en) * 1993-11-30 2000-12-19 At&T Corp. Transmitted noise reduction in communications systems
DE4427124A1 (de) * 1994-07-30 1996-02-01 Philips Patentverwaltung Anordnung zur Kommunikation mit einem Teilnehmer

Also Published As

Publication number Publication date
DE19521258A1 (de) 1996-12-12
EP0747880A2 (de) 1996-12-11
EP0747880B1 (de) 2001-10-10
US5864804A (en) 1999-01-26
JP3869888B2 (ja) 2007-01-17
DE59607861D1 (de) 2001-11-15
EP0747880A3 (de) 1998-02-25

Similar Documents

Publication Publication Date Title
JP3869888B2 (ja) 音声認識装置
US7392188B2 (en) System and method enabling acoustic barge-in
KR101444100B1 (ko) 혼합 사운드로부터 잡음을 제거하는 방법 및 장치
JP3229335B2 (ja) 音声処理装置および方法
US5970446A (en) Selective noise/channel/coding models and recognizers for automatic speech recognition
EP1885154B1 (en) Dereverberation of microphone signals
US6411927B1 (en) Robust preprocessing signal equalization system and method for normalizing to a target environment
US8606573B2 (en) Voice recognition improved accuracy in mobile environments
JP5649488B2 (ja) 音声判別装置、音声判別方法および音声判別プログラム
KR20010005685A (ko) 음성 분석 시스템
US11089404B2 (en) Sound processing apparatus and sound processing method
US20030133565A1 (en) Echo cancellation system method and apparatus
JPH11500277A (ja) 音声活性度検出
US20030061049A1 (en) Synthesized speech intelligibility enhancement through environment awareness
WO2009117084A2 (en) System and method for envelope-based acoustic echo cancellation
CN101313483A (zh) 回音消除的配置
JP6545419B2 (ja) 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置
US20080249779A1 (en) Speech dialog system
JP4520596B2 (ja) 音声認識方法および音声認識装置
US20070198268A1 (en) Method for controlling a speech dialog system and speech dialog system
US6377918B1 (en) Speech analysis using multiple noise compensation
US20080172231A1 (en) Method of Processing Sound Signals for a Communication Terminal and Communication Terminal Using that Method
US5784454A (en) Arrangement for communication with a subscriber
EP1185976B1 (en) Speech recognition device with reference transformation means
US7043427B1 (en) Apparatus and method for speech recognition

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060522

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061016

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term