JPH096388A - 音声認識装置 - Google Patents
音声認識装置Info
- Publication number
- JPH096388A JPH096388A JP8147357A JP14735796A JPH096388A JP H096388 A JPH096388 A JP H096388A JP 8147357 A JP8147357 A JP 8147357A JP 14735796 A JP14735796 A JP 14735796A JP H096388 A JPH096388 A JP H096388A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- signal
- recognition device
- spectral
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 130
- 238000001228 spectrum Methods 0.000 claims abstract description 20
- 230000003595 spectral effect Effects 0.000 claims description 61
- 238000004891 communication Methods 0.000 claims description 13
- 230000005236 sound signal Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 230000036961 partial effect Effects 0.000 claims description 9
- 238000010183 spectrum analysis Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 20
- 230000002452 interceptive effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006266 hibernation Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mobile Radio Communication Systems (AREA)
- Noise Elimination (AREA)
Abstract
に行わせる音声認識装置を提供することである。 【解決手段】 規準スペクトル値(yd)からなる規準
ベクトル(y)を記憶するためのメモリユニット(8)
を有し、前記規準ベクトル(y)にはインデックス
(j)が配属されており、該インデックスは規準音声信
号のスペクトルに相応するものであり、インデックス
(j)に配属された比較ベクトル(y’)を、規準ベク
トル(y)および第2のスペクトルベクトル(n)から
形成するための手段(9)を有し、比較ベクトル
(y’)の少なくとも1つを第2のスペクトルベクトル
(n)に連続的に適合され、さらに、比較ベクトル
(y’)を第1のスペクトルベクトル(x)と比較する
ことにより、インデックス(j)を選択するための手段
(10、11)が設けられている
Description
された音声信号を受信するための音声認識装置に関す
る。
事例に利用できる。その際、受信した音声信号に重畳さ
れた妨害ノイズによって、音声認識に悪影響の及ぼされ
ることが多い。このことで音声認識におけるエラーレー
トが高まってしまう。妨害ノイズはたとえば、音声認識
装置を有する機器の周囲に存在する妨害源によって発生
される。
ミナルに音声認識装置を用いた場合には、ラインエコー
によってもこの種のノイズ信号が形成される可能性があ
る。ドイツ連邦共和国特許出願第4427124.7号
明細書によれば、音声アナウンスを発生させかつ音声信
号を認識する手段を有する通信装置が公知である。音声
アナウンスおよび音声認識手段によって、遠隔地の加入
者との通信が行われる。この場合、遠隔地の加入者への
伝送に際して音声アナウンスが反射することにより不所
望なエコーが発生し、これによって遠隔地の加入者から
の音声信号の認識に悪影響が及ぼされる。音声認識にお
いてエラーレートを低減するためのエコー補償はスペク
トル領域で行われ、その際、通信機器における受信信号
の短期間のスペクトル値と推定されたエコーの短期間の
スペクトル値との差が形成される。エコーの短期間のス
ペクトル値を推定するために、通信機器の送信信号(音
声アナウンス)の短期間のスペクトル値が求められて、
それに対し適応形の重み付けが加えられる。そしてエコ
ー作用の抑圧された差分スペクトル値が音声認識手段に
より評価される。
ーが最小限に抑えられた音声認識を確実に行わせる音声
認識装置を提供することにある。
クトル値を送出するための第1のスペクトル分析手段を
有し、前記第1のスペクトル値は、妨害された音声信号
から導出され、第1のスペクトルベクトルに統合される
ものであり、ノイズ信号の推定値を送出するための手段
を有し、前記ノイズ信号推定値から第2のスペクトル値
を形成するための第2のスペクトル分析手段を有し、前
記第2のスペクトル値は、第2のスペクトルベクトルに
統合されており、規準スペクトル値からなる規準ベクト
ルを記憶するためのメモリユニットを有し、前記規準ベ
クトルにはインデックスが配属されており、該インデッ
クスは規準音声信号のスペクトルに相応するものであ
り、インデックスに配属された比較ベクトルを、規準ベ
クトルおよび第2のスペクトルベクトルから形成するた
めの手段を有し、比較ベクトルの少なくとも1つを第2
のスペクトルベクトルに連続的に適合され、さらに、比
較ベクトルを第1のスペクトルベクトルと比較すること
により、インデックスを選択するための手段が設けられ
ているように構成して解決される。
ノイズ信号に関する付加的な情報が含まれている。これ
はたとえば、ノイズ信号を発するノイズ源の近くに配置
された付加的なマイクロフォンを用いることで捕捉さ
れ、このことで音声信号から十分に分離されたノイズ信
号を用いることができ、推定することができる。ノイズ
信号が既知の音声信号(たとえば留守番電話機に記憶さ
れている音声アナウンスまたは車両内での音楽再生)の
エコーであるならば、エコーを発生させたもとの音声信
号から、伝達関数の推定によりノイズ信号を求めること
ができる。基準ベクトルと第2のスペクトルベクトル
(ノイズベクトル)から導出された比較ベクトルの連続
的な整合により、エラーが最小限に抑えられた音声認識
が確実に行われるようになり、その際、順次連続して選
択される指標は音声信号休止を伴う音声信号波形に対応
し、したがって個々の音声認識の結果を表す。この音声
認識装置は信号プロセッサを用いて実現すると有利であ
り、それによって音声認識装置のための信号処理がプロ
グラミング制御されて実行される。
すなわち、第1のスペクトルベクトルと比較ベクトルと
の間の距離が形成され、これは第1のスペクトルベクト
ルと比較ベクトルとの類似性を表す尺度を成すものであ
って、その際、距離が小さければ類似性が高いことにな
る。この場合、複数の比較ベクトルが1つの指標に対応
づけられるものとすれば、比較ベクトルのための所定の
重み付け係数を導入することで音声認識結果が改善され
る。指標の選択に際して、結果として距離が最小化され
るような指標が選択され、この場合、たとえば総和距離
の最小化が行われるようにして選択される。基準ベクト
ルは、音声認識装置の稼働開始前に求められメモリユニ
ットに格納された基準音声信号のスペクトルに対応す
る。本発明による特徴を備えた音声認識装置は音声認識
に関して、音声信号に重畳されるノイズ信号に対しロバ
ストな特性を有している。その際、システムの周囲から
の妨害ノイズも効果的に補償されるし、たとえば電話回
線中の反射により生じるような持続的ないしは大きな遅
延を伴って到来しノイズ信号として作用するエコー信号
も、効果的に補償される。
ノイズ信号源の近くでノイズ信号を別個に捕捉すること
により導出できる。この目的で、ノイズ信号源の近くに
マイクロフォンが配置される。音声信号または別の音響
信号のエコーであれば、ノイズ信号として到来するエコ
ーの構造は既知である。このことをノイズ信号の推定値
の形成に利用する。また、これらの構成の組み合わせも
可能である。
れ1つの指標に対し、その指標のための比較ベクトルの
相応の個数を形成するために、少なくとも1つの基準ベ
クトルと1つまたは複数の順次連続する第2のスペクト
ルベクトルが割り当てられ、第1のスペクトルベクトル
との比較に際して、個々の比較ベクトルの評価が重み付
け係数と個々のベクトル距離との加算により行われ、こ
のような実施形態によってきわめて信頼性の高い音声認
識結果が得られる。
介して伝送される音声認識装置を含む機器の近くのユー
ザによる音声信号を認識するために用いられ、その際、
この音声認識装置は機器の部分的な機能を制御するため
に用いられる。たとえば車両内の無線受信機の機能また
は車両の他の機器における機能を制御するために、この
音声認識装置を用いることができる。また、通信機器の
部分的な機能を制御するために用いられ電話回線を介し
て伝送される音声信号を認識するために、この音声認識
装置を使用することができ、たとえばライン接続された
電話端末、移動電話機あるいは留守番電話機に適用する
ことができる。これら両方の実施構成すなわち近くの加
入者ないしは遠隔地の加入者の音声信号の音声認識は、
それぞれ別個にも利用できるしそれらを組み合わせても
利用できる。
器の制御にも使用できる。また、口述記録機における適
用も有利である。
いて詳細に説明する。
置1は、妨害を受けた音声信号X(t)を受信する受信
分岐2を有しており、この音声信号X(t)は、妨害を
受けていない音声信号S(t)とノイズ信号N(t)と
から加算的に合成されたものである。第2の受信分岐3
を介して音声認識装置1へノイズ信号源の信号を表す信
号N ̄(t)が供給され、この信号N ̄(t)によって
ノイズ信号N(t)が引き起こされる。ノイズ信号N
(t)と信号N ̄(t)との関係は1つの伝達関数によ
り作り出されるものであり、この伝達関数によってノイ
ズ信号源から受信分岐2の入力側に配置された受信手段
への伝送経路が記述される。その際、この受信手段は妨
害を受けた音声信号X(t)を供給する。
れていて、ノイズ信号N(t)が、留守番電話機におけ
る遠隔問い合わせにあたり電話回線中の音声アナウンス
の反射により生じるラインエコーである場合、信号N ̄
(t)は留守番電話機内に記憶されている音声アナウン
スにより定まり、これを利用できる。また、音声認識装
置1が車両で用いられる機器内に統合されていて、ノイ
ズ信号N(t)が走行時の騒音により引き起こされると
みなされるならば、認識すべき音声信号S(t)とはほ
とんど無関係に妨害ノイズを検出する車両内の付加的な
マイクロフォンを用いて走行時の騒音を捕捉すること
で、信号N ̄(t)が得られる。この場合、音声アナウ
ンスがユーザガイドに用いられるところでは、信号N ̄
(t)は機器ユーザ向けの音声アナウンスの音響エコー
を表す可能性もある。ここではいずれにしても、音響エ
コーとその他の妨害ノイズ(たとえば車両騒音)とが別
個に記録されるようにした、信号N ̄(t)のマルチチ
ャネル記録が有利である。
間の既述の伝達関数に整合される適応形フィルタ4によ
り、信号N ̄(t)からノイズ信号推定値N^(t)が
形成され、このノイズ信号推定値N^(t)はノイズ信
号N(t)に対する近似として用いられる。適応形フィ
ルタ4は受信分岐2と結合されていて、信号X(t)が
ノイズ信号N(t)だけから成る音声休止中、すでに存
在している信号N ̄(t)およびX(t)=N(t)か
らそのまま得られる既述の伝達関数に応じて、適応形フ
ィルタ4が調整される。
X(t)からノイズ信号推定値N^(t)が減算され、
音声信号S(t)を近似的に表す音声信号推定値X^
(t)=X(t)−N^(t)が形成される。このよう
にして、信号X(t)に含まれているノイズ信号N
(t)をすでに部分的に補償することができる。
号X^(t)に対してかけられた短期間スペクトル分析
がまとめられる。この場合、サンプル値として用いられ
る時間信号X^(t)が一定長のタイムスロットに分け
られる。次に、スペクトル変換たとえばフーリエ変換に
よって出力密度スペクトルが算出される。このようにし
て得られたスペクトル値はサブサンプリングされて、そ
れらの個数が低減される。特別な実施形態によれば、得
られたサンプリング値が対数化され、続いてそれらに対
し高域通過フィルタリング処理がなされる。このことは
ヨーロッパ特許出願公開第0508547号公報に詳細
に述べられている。この場合、受信分岐2で受信された
妨害を受けた音声信号X^は、振幅周波数および変調と
はほとんど無関係になる。このようにして機能ブロック
6は音声信号推定値X^(t)から、D個の成分ないし
スペクトル値xd(i)(d=1,2,...,D)を
有する第1のスペクトルベクトルx(i)を生成する。
ここでiは、短期間スペクトル分析に基づくX^(t)
のタイムスロットを表す。
(t)は機能ブロック7へ供給され、このブロックは機
能ブロック6のように短期間スペクトル分析を行い、D
個の成分nd(i)(d=1,2,...,D)を有す
るスペクトルベクトルn(i)を生成する。音声認識装
置1は信号プロセッサを用いて実現するのが有利であ
る。この場合、機能ブロック6,7によりまとめられる
両方のスペクトル変換は順次連続して実施される。
記憶されており(j=1,2,...;m=1,
2,...,M)、これらの基準ベクトルは1つの基準
音声信号の短期間スペクトルによりそれぞれ形成され
る。付加的な指標j=0に対し音声休止が割り当てられ
ている。対応する基準ベクトルはやはりメモリ8に格納
されている。1つの基準音声信号は、指標jで記述され
る1つのワードセクションを成している。また、Mによ
り基準ベクトルの個数つまり基準音声信号の個数が表さ
れ、これらは1つのワードセクションまたは音声休止を
記述するために用いられる。種々の話し手のタイプが用
いられる場合、1つの特定のワードセクションに対しそ
れぞれ異なる基準音声信号が生じる。種々の妨害源形式
を考慮することで、音声休止に対しそれぞれ異なる基準
音声信号が生じる。Mが1よりも大きければ重み付け係
数g(j,m)によって、個々の比較ベクトルがj個の
付随のワードセクションまたは付随する音声休止の記述
にどの程度適しているかが表される。これらの重み付け
係数の適用法については後述する。基準ベクトルy
(j,m)を形成するために、個々の音声認識の適用事
例に必要な基準音声信号が音声認識装置の稼働開始前に
記録され、それらに対して機能ブロック6,7の処理に
よる短期間スペクトル分析がかけられる。そして平均値
形成により得られたスペクトルベクトルが基準ベクトル
y(j,m)としてメモリユニット8に格納される。
は、車両における機器17用の対話制御形ユーザインタ
ーフェースの1つの構成部分である。機器17はたとえ
ば移動電話機、交通情報システムまたは無線受信機であ
る。機器17の機能の少なくとも一部分は音声認識装置
の音声認識結果Eにより制御され、たとえば移動電話機
に統合されているならば音声認識結果Eによって相手先
の電話番号が発せられる。音声認識装置1の受信分岐2
は、車両のドライバに対し配向されたマイクロフォン1
2と接続されており、ドライバの音声信号を受信するた
めに用いられる。第2の受信分岐3は3つの受信経路3
a,3b,3cにより構成されている。受信経路3aと
3bを介して、音声増幅器15からスピーカ装置14へ
伝送されるステレオ音声信号が信号N ̄1(t)および
N ̄2(t)として音声認識装置へマルチチャネル形式
で導かれる。これらの信号N ̄1(t)およびN ̄
2(t)は、それらがスピーカ14によって発せられた
後で受信分岐2の受信信号X(t)へ妨害を及ぼし、車
両のドライバの音声信号に重畳される。さらにこの場
合、付加的なマイクロフォン13が設けられており、こ
のマイクロフォンは妨害ノイズを捕捉するために用いら
れ、そのマイクロフォン信号は信号N ̄3(t)として
受信経路3cへ導かれる。この特別な事例では受信経路
3cにおいて3つの受信経路3a,3b,3cを介し
て、それぞれ1つのノイズ信号源の信号に対応する異な
る複数の信号N ̄1(t),N ̄2(t)およびN ̄3
(t)が受信されるので、これらの信号をコスト的に有
利に処理するために図1による音声処理システムにおい
て、適応形フィルタ4および減算手段5を省略するかな
いしは減算手段5による減算を省略するよう変形でき
る。信号N ̄1(t),N ̄2(t)およびN ̄
3(t)の処理については、図4を説明する際に詳細に
説明する。
1の認識結果Eに依存して車両のドライバへのリターン
メッセージとして音声アナウンスが発せられ、さらにこ
の装置16により、車両のドライバとの対話中にたとえ
ば音声増幅器15のミューティング回路も制御される。
ードについては多数の変形実施例がある。次に、図3を
参照しながら第1の変形実施例について詳細に説明す
る。
ットされ、つまり各指標jに対して正確に1つの基準ベ
クトルy(j)が割り当てられる。したがって、図3の
縦座標上に表されたダイアグラムにプロットされている
1つの指標jに対し、正確に1つの基準ベクトルy
(j)が割り当てられる。この場合、メモリ8により基
準ベクトルy(j)が機能ブロック9へ伝送され、この
機能ブロック9は各基準ベクトルy(j)と第2のスペ
クトルベクトルn(i)から比較ベクトルy’(i,
j)を形成するために用いられる。各指標jに対し時点
iで1つの比較ベクトルy’(i,j)が割り当てられ
る。図3による変形実施例では、音声休止を記述する比
較ベクトルy’(i,0)だけが継続的に第2のスペク
トルベクトルn(i)に整合される。比較ベクトルy’
(i,0)は、 y’(i,0)=n’(i)=a.n(i) により求められ、ここでaは一定の所定の係数を表し、
これによって減算手段5を用いたノイズ信号推定値N^
(t)の減算によるノイズ信号N(t)の減衰が表され
る。したがって音声信号推定値X^(t)には、妨害を
受けた音声信号X(t)よりも係数aだけ減衰されたノ
イズ信号成分が含まれている。減算手段5による差の形
成を省略した場合、係数aは値a=1をとる。このよう
な省略を行っても音声認識装置1はまだ機能を果たせる
が、減算手段5による差の形成により音声認識結果は改
善される。係数aは経験的に求めることができ、音声認
識装置1の使用条件に依存するものである。対数化され
たスペクトル値を用いる場合、y’(i,0)=n’
(i)はln(a)をn(i)の成分と加算することに
より形成される。すべてについてj>0であれば、 y’(i,j)=y’(j)=y(j) が成り立つ。
時間とは無関係であり、つまり時間変数iには依存せ
ず、基準ベクトルy(j)に等しい。
9から供給された比較ベクトルy’(i,j)および第
2のスペクトルベクトルx(i)から、
る。ここでxd(i)とyd’(i)は、第1のスペク
トルベクトルx(i)と比較ベクトルy’(i,j)の
成分を表す。値pはこの実施例ではp=1にセットされ
るが、p=2とした距離算出も可能である。すべての指
標jについて各サンプリング時点iごとに距離が形成さ
れる。これらは第1のスペクトルベクトルx(i)と比
較ベクトルy’(i,j)との間の類似性を表す尺度を
成し、この場合、各ベクトル間の類似性は距離が小さく
なるにつれて増大する。図3では、比較ユニット10へ
供給される第1のスペクトルベクトルx(i)は、ダイ
アグラムの横座標にプロットされたサンプリング時点i
に対応づけられている。
0において求められた距離d(i,j)の評価が行われ
る。各サンプリング時点iごとに各指標jに対しそれぞ
れ所属の距離が求められる。この評価はたとえば(ヴィ
タビ・アルゴリズムとも呼ばれる)ダイナミックプログ
ラミング方式により行われ、これについてはたとえばI
EEE Transaction on Acoust
ics, Speech, and Signal P
rocessing, ASSP−32(1984)
における H. Ney による論文の第263頁〜2
71頁に記載されている。距離d(i,j)を評価する
ためのさらに別の可能性として、Hidden−Mar
kov モデルを用いることが挙げられ、そこにおいて
ヴィタビ・アルゴリズムまたはその他の最適化アルゴリ
ズムが適用される。この場合、図3によるダイアグラム
j(i)において、結果として最小の総和距離となる経
路が求められる。
語彙の中にはたとえば単語”stop”が含まれてお
り、この単語の音形が基準ベクトルy(1)〜y(4)
により表されている。音声認識装置は対話形システムの
一部分を成し、このシステムはまずはじめに単語”st
op”をアナウンスN ̄(t)として送出する。このア
ナウンスによりノイズ信号として作用するエコー信号N
(t)が生じ、これは受信分岐2により受信される信号
X(t)の構成部分となる(最初の”stop”がX
(t)に入る)。図3の場合、エコー遅延時間は無視で
きる程度に小さいものとしている。次に単語”sto
p”が発声されて、音声認識装置1の受信分岐2により
認識すべき音声信号S(t)として記録される。音声信
号S(t)は信号X(t)の一部分を成すにすぎず、S
(t)とは無関係に生成される信号N ̄(t)の一部分
ではない。図3には、個々の文字が繰り返されることで
発声速度の変化している様子が示されている。ここに図
示されている各単語の構成部分(文字)とスペクトルベ
クトルx(i)との対応づけは、必ずしも行う必要はな
い。また、長かったり短かったりする単語の構成部分
も、基本的にそれぞれ1つのスペクトルベクトルx
(i)によって記述できる。
(i,j)を計算する際には、機能ブロック6により形
成された第1のスペクトルベクトルx(i)が比較ベク
トルy’(i,j)と比較される。ここでy’(i,
0)=n’(i)はノイズエコー信号N(t)を反映す
る。これにより、信号X(t)の第1のワード(ノイズ
エコー信号に相応する)に対して、インデックスj=0
に対する特に小さな距離が得られる。
彙にも含まれるから、規準ベクトルのシーケンスy
(1),y(2),y(3),y(3),y(4)、な
いし適合された比較ベクトルのシーケンスy’(i,
1),y’(i,2),y’(i,3),y’(i,
3),y(i,4)により表すことができる。これは図
3に破線で示されている。にもかかわらず、サンプリン
グ時点i=1からi=6に対する経路はインデックスj
=0に留まる。これは、破線の経路ではワード“ストッ
プ”の一般的表現がこのワードの固有の発音と比較さ
れ、一方j=0に対してはこのような発音変化が比較を
損ない、距離の増大することがあるからである。
ち識別すべき有用信号を表す振動X(t)の第2のワー
ドは、シーケンスy(1),y(1),y(2),y
(3),y(4)との比較で小さなディスタンスd
(i,j)しか示さない。これはベクトルn’(i)が
この領域では音声休止を表すからである。
に示された所属経路j(i)を送出する。この所属経路
は、信号X(t)のエコー(第1の“ストップ”)の間
は信号X(t)における音声休止を表し、実際に発声さ
れたワード(第2の“ストップ”)の間は識別されたワ
ードを表す。この所属経路j(i)は機能ブロック11
から送出された識別結果Eに相応する。
例えば対話システムでのエコーとして発生する。この音
声信号は通有情の音声認識装置に対しては特に問題とな
る。なぜならこの信号は有用信号S(t)がない場合で
は強く減衰しても、ワードを機能ブロック11から送出
された識別結果Eに簡単にワードを間違って挿入してし
まい、エラー経路j(i)となるからである。このこと
は本発明の音声認識装置により回避される。
声信号)S(t)が同時に発生する場合、有用信号休止
に相応する規準ベクトルy(0)だけを置換するのでは
十分でない。むしろすべての規準ベクトルy(j)を適
合しなければならない。このことは図3には示されてい
ない。
て形成される。
ベクトルの成分は次式にしたがって計算される。
(j))+exp(nd’(i)) 計算コストを低減するために、この成分は次式により近
似される。
nd’(i)) この手段により、音声情報の掩蔽がモデル化される。な
ぜなら、インデックスjおよび周波数バンドdに対して
記憶されたスペクトル値yd(j)が瞬時のノイズ信号
スペクトルnd’(i)により、後者の方が大きい値を
有する場合に置換されるからである。このようにして、
音声情報の瞬時の隠蔽部分がノイズ信号N ̄(t)ない
しN(t)により比較の際に考慮され、これにより個々
の発音が完全にバックグランドノイズの中で行われて
も、ワードの識別が可能となる。
値が規準ベクトルの成分として使用される場合には、隠
蔽を上に述べたようにパワー付加により計算することは
できない。この場合に対しては本発明は変形される。以
下それを説明する。
信号パワーがノイズ信号成分N(t)のパワーに対し
て、すべての周波数帯域で均一に一定の係数aだけ減衰
されていない場合には、音声認識装置1は最適の音声識
別結果を得るために変形しなければならない。とくに、
時間領域で動作する適合係数4が省略される場合には、
n’(i)はスペクトルベクトルn(i)に依存するだ
けでなく、ノイズ信号源と受信経路2との間の伝送関数
に所属するパルス応答の持続時間に相応して、複数のス
ペクトルベクトルn(i−r)にも依存する。ここでr
=0、1、…、R。
る。すなわち、機能ブロック9により比較ベクトルy’
(i,j)次のように形成されるのである。すなわち、
各サンプリング時点iに対する1つのインデックスj
に、少なくとも1つの規準ベクトルy(j,m)と、付
加的に1つまたは複数の順次連続する第2のスペクトル
ベクトルn(i−r)を配属するのである。図4の所属
の実施例では、各インデックスjに対して1つの規準ベ
クトルy(i)と2つの順次連続する第2のスペクトル
ベクトルn(i−1)およびn(i)が比較ベクトル
y’(i,j,m)として設けられている。ただし、m
=−R、…、M=−1、0、1、(M=1,R=1)。
(i−1)が中間記憶される。重み付け係数g(i,
j,m)(ただしm=−R,…、M)により、n(i)
ないしn(i−r)により表されるノイズの隠蔽がイン
デックスjに相応する基準語の部分によって行われるこ
とが予想されるか否かが考慮される。この予想は、2つ
の信号が各時点で付加されるなら、一般的に一方の信号
は他方の信号をほぼ隠蔽し、したがってスペクトルベク
トルは実質的に2つの信号のどちらかに相応する、とい
う過程に基づくものである。M>1に対しては(すなわ
ち複数の規準ベクトルが1つのインデックスjに配属さ
れる)、相応の重み付け係数g(i,j,m)が、相応
する適用例において同じインデックスjを有する一方の
規準ベクトルが他方の規準ベクトルと比較して、音声信
号を表すのにより適切であるか否かを示す。
における時間依存量により、またこれを機能ブロック9
から比較ユニット10に送出することにより、比較ユニ
ット10により検出すべきディスタンスとして次のもの
が得られる。
評価される。上にすでに述べたように、pは1に設定す
ることができ、p=2も可能である。別の距離計算では
わずかな付加コストしか必要としない。なぜなら、付加
項が重み付け係数g(i,j,−r)によりjだけに依
存することができ、x(i)とノイズベクトルn(i)
からn(i−N)までの距離は各時点iごとに一度計算
すればよいからである。付加項とは、rが伝搬変数とし
て現れる項をいう。
したがって次のように行われる。すなわち、比較ユニッ
ト10によりスペクトルベクトルx(i)とこれら3つ
のベクトル間の部分距離がそれぞれ重み付け係数g
(i,j,m)により加算され、引き続き最小値が選択
されるようにして行われる。この実施例では、メモリ8
にファイルされた規準ベクトルy(j)に相応するすべ
ての時間不変比較ベクトルy’(i,j,1)に対し
て、重み付け係数g(i,j,1)として値ゼロが設定
される。ノイズ信号N ̄(t)にエコー遅延に関する知
識が仮定されなければg(i,j,−1)=g(i,
j,0)が良好な音声識別結果を得るための式である。
純粋なノイズ信号(X(t)=N(t))の場合に、休
止状態j=0が優先されることを保証しなければならな
い。このことは、j≧1に対してg(i,j,0)>g
(i,0,0)の重み付け係数が設定される場合に達成
される。このことは図4に、相応する比較ベクトルn
(i)またはn(i−1)の下線によって示されてい
る。
できる言語音、例えば母音に対しては、重み付け係数g
(i,j,0)をj≧1に対して特に大きく選択するこ
とができる。なぜなら、所属のワードの識別はこのよう
な言語音がノイズ信号N(t)により隠蔽されない場合
だけ考慮されるからである。このようにして重み付け係
数g(i,j,m)のインデックスjへの依存性によ
り、個々のワード区間の隠蔽またはノイズ信号N(t)
による隠蔽を勘案すべきか否かが表される。このことは
特に休止状態に対して当てはまる。
いる。ここでは特にエコー信号、第1の“ストップ”の
エコー遅延が信号X(t)において信号N ̄(t)に対
して考慮される。ほぼ1つのサンプリング間隔のエコー
遅延が示されている。このエコー遅延にかかわらず、音
声認識装置1は正しい識別結果Eを送出する。音声識別
の際の脱落エラーの危険性は非常に小さい。なぜなら、
それぞれ個々のスペクトルベクトルx(i)はR+1ノ
イズベクトル(第2のスペクトルベクトル)と、すなわ
ちノイズ信号N ̄(t)ないしN(t)の非常に短い区
間と付加的に比較されるだけであるからである。
の場合は、信号N ̄1(t),N ̄2(t)およびN ̄
3(t)はこの場合、直接ノイズ信号推定値として機能
ブロック7のスペクトル分析手段により第2のスペクト
ルベクトルn1(i),n2(i)およびn3(i)に
さらに処理される。ここで時間変数iの値に対して、3
つのスペクトルベクトルn1(i),n2(i)および
n3(i)からのセット、例えば時間的に順次連続する
2つのスペクトルベクトル(n(i−1)およびn
(i))のセットが、受信分岐路3が1つだけの受信経
路からなる(図4参照)場合に、各インデックスjに配
属される。数式の組み合わせは、複数の受信経路も、各
インデックスに対して時間的に順次連続する複数のスペ
クトルベクトルも考慮されるように行われる。この組み
合わせも有利な実施例あり、例えば時間変数iの値に対
するインデックスjに、2つのスペクトルベクトルn1
(i−1),n1(i),n2(i−1),n
2(i),n3(i−1)およびn3(i)からのそれ
ぞれ1つのセットが配属される。
号X^(t)におけるノイズ信号の抑圧は適応形フィル
タ4の精度に依存する。この要求は比較ベクトルを機能
ブロック9で連続的に適合することにより格段に低減さ
れる。ここに述べたすべての変形実施例で、適応形フィ
ルタ4を省略することができる。減算手段5による差形
成はすでに上に述べたのと同じように必ずしも必要では
ない。
な適用例に対して信頼性の高い音声識別が実現される。
すなわち、例えば自動車で使用される移動電話または無
線受信機での使用、および「電話を介して通信する呼び
かけ応答または自動案内装置での使用の際に、機器の音
声制御が行われるような適用例で実現される。
信機では、使用者に音響ユーザーインターフェースを介
して出力される音声の音響エコーがノイズ信号として発
声する。自動車の無線受信機では、使用者の音声信号の
識別が無線送信の出力(例えば音楽)により障害を受け
ることもある。遠距離通話中に音声信号により制御可能
な呼びかけ応答機の場合、ラインエコーがノイズ信号と
して発生する。このラインエコーは呼びかけ応答機の声
の反射によって使用者への伝送の際に生じるものであ
る。自動案内装置の場合は、呼びかけ応答機と同じよう
に音声に起因するラインエコーがノイズ信号として発生
する。このようなラインエコーがこのような機器での音
声識別に障害的な影響を与えることが本発明の音声認識
装置によって最小の程度となる。
分機能の音声制御を実現することができる。例えば、窓
開閉を制御することができる。また口述記録機の音声識
別の際のエラー率を低減することができる。この口述記
録機は発声された音声を直接テキストに変換するもので
あり、本発明の音声認識装置を使用することができる。
有用信号成分の推定を省略しており、有用信号またはノ
イズ信号としてそれぞれ受信された信号の個々の時間間
隔の解釈を最終的な識別決定と関連して行っているの
で、音声認識装置はノイズ信号に対して非常に頑強であ
る。
はわずかである。したがって、音声認識装置は、識別可
能な語数の大きな語彙を有する適用例にも、相応に語彙
容量が小さい適用例にも使用することができる。
る。
発明の音声認識装置を有する構成のブロック回路図であ
る。
Claims (14)
- 【請求項1】 ノイズ信号(N)の重畳された音声信号
(S)を受信するための音声認識装置において、 第1のスペクトル値(xd)を送出するための第1のス
ペクトル分析手段(6)を有し、 前記第1のスペクトル値は、妨害された音声信号(X)
から導出され、第1のスペクトルベクトル(x)に統合
されるものであり、 ノイズ信号(N)の推定値(N^)を送出するための手
段(3、4)を有し、 前記ノイズ信号推定値(N^)から第2のスペクトル値
を形成するための第2のスペクトル分析手段(7)を有
し、 前記第2のスペクトル値は、第2のスペクトルベクトル
(n)に統合されており、 規準スペクトル値(yd)からなる規準ベクトル(y)
を記憶するためのメモリユニット(8)を有し、 前記規準ベクトル(y)にはインデックス(j)が配属
されており、該インデックスは規準音声信号のスペクト
ルに相応するものであり、 インデックス(j)に配属された比較ベクトル(y’)
を、規準ベクトル(y)および第2のスペクトルベクト
ル(n)から形成するための手段(9)を有し、 比較ベクトル(y’)の少なくとも1つを第2のスペク
トルベクトル(n)に連続的に適合され、 さらに、比較ベクトル(y’)を第1のスペクトルベク
トル(x)と比較することにより、インデックス(j)
を選択するための手段(10、11)が設けられてい
る、ことを特徴とする音声認識装置。 - 【請求項2】 ノイズ信号(N)の推定値(N^)を形
成するため、ノイズ信号(N)を所属のノイズ信号源の
近傍で記録する、請求項1記載の音声認識装置。 - 【請求項3】 ノイズ信号(N)の推定値(N^)を形
成するため、既知のオーディオ信号のエコーをシミュレ
ートする、請求項1または2記載の音声認識装置。 - 【請求項4】 ノイズ信号源の信号(N ̄)をフィルタ
リングして、ノイズ信号(N)の推定値(N^)を形成
するための適応形フィルタ(4)が設けられており、 さらに、形成された推定値(N ̄)を妨害を受けた音声
信号(X)から減算するための手段(5)が設けられて
いる、請求項1から3までのいずれか1項記載の音声認
識装置。 - 【請求項5】 音声信号休止(j=0)に相応する比較
ベクトル(y’)を、それぞれ存在する第2のスペクト
ルベクトル(n)により連続的に置換する、請求項1か
ら4までのいずれか1項記載の音声認識装置。 - 【請求項6】 すべての比較ベクトル(y’)をそれぞ
れ存在する第2のスペクトルベクトル(n)に適応す
る、請求項1から4までのいずれか1項記載の音声認識
装置。 - 【請求項7】 それぞれのインデックス(j)に規準ベ
クトル(y)および1つまたは複数の順次連続する第2
のスペクトルベクトル(n(i),n(i−1),…)
を、当該インデックス(j)に対して相応する数の比較
ベクトル(y’)を配属し、 第1のスペクトルベクトル(x)との比較の際に、個々
の比較ベクトル(y’)の評価を、評価数(g)をそれ
ぞれのベクトル距離に加算することによって行う、請求
項1から4までのいずれか1項記載の音声認識装置。 - 【請求項8】 音響経路で通信機器まで伝送される使用
者の音声信号を識別し、通信機器の部分機能を識別され
た音声信号に従って制御する、請求項1から7までのい
ずれか1項記載の音声認識装置。 - 【請求項9】 遠距離通話網を介して通信機器に伝送さ
れる音声信号を識別し、通信機器の部分機能を制御す
る、請求項1から8までのいずれか1項記載の音声認識
装置。 - 【請求項10】 通信機器として移動電話を使用する、
請求項8または9記載の音声認識装置。 - 【請求項11】 通信機器として呼びかけ応答機を使用
する、請求項8または9記載の音声認識装置。 - 【請求項12】 自動車の無線受信機の部分機能を制御
する、請求項1から7までのいずれか1項記載の音声認
識装置。 - 【請求項13】 自動車の部分機能の制御に用いる、請
求項1から7までのいずれか1項記載の音声認識装置。 - 【請求項14】 当該電気機器または他の電気機器の部
分機能を、音声認識装置の識別された音声信号に依存し
て制御する、請求項1から13までのいずれか1項記載
の音声認識装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19521258A DE19521258A1 (de) | 1995-06-10 | 1995-06-10 | Spracherkennungssystem |
DE19521258.4 | 1995-06-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH096388A true JPH096388A (ja) | 1997-01-10 |
JP3869888B2 JP3869888B2 (ja) | 2007-01-17 |
Family
ID=7764131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14735796A Expired - Lifetime JP3869888B2 (ja) | 1995-06-10 | 1996-06-10 | 音声認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5864804A (ja) |
EP (1) | EP0747880B1 (ja) |
JP (1) | JP3869888B2 (ja) |
DE (2) | DE19521258A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6253069B1 (en) * | 1992-06-22 | 2001-06-26 | Roy J. Mankovitz | Methods and apparatus for providing information in response to telephonic requests |
USRE38600E1 (en) | 1992-06-22 | 2004-09-28 | Mankovitz Roy J | Apparatus and methods for accessing information relating to radio television programs |
JP2921472B2 (ja) * | 1996-03-15 | 1999-07-19 | 日本電気株式会社 | 音声および雑音の除去装置、音声認識装置 |
US6814293B2 (en) * | 1997-02-10 | 2004-11-09 | Symbol Technologies, Inc. | Arrangement for and method of establishing a logical relationship among peripherals in a wireless local area network |
DE19712632A1 (de) * | 1997-03-26 | 1998-10-01 | Thomson Brandt Gmbh | Verfahren und Vorrichtung zur Sprachfernsteuerung von Geräten |
AU3867099A (en) * | 1998-04-24 | 1999-11-16 | Roy J. Mankovitz | Methods and apparatus for providing information in response to telephonic requests |
US6275800B1 (en) * | 1999-02-23 | 2001-08-14 | Motorola, Inc. | Voice recognition system and method |
GB9910448D0 (en) * | 1999-05-07 | 1999-07-07 | Ensigma Ltd | Cancellation of non-stationary interfering signals for speech recognition |
US6665645B1 (en) * | 1999-07-28 | 2003-12-16 | Matsushita Electric Industrial Co., Ltd. | Speech recognition apparatus for AV equipment |
US7016835B2 (en) * | 1999-10-29 | 2006-03-21 | International Business Machines Corporation | Speech and signal digitization by using recognition metrics to select from multiple techniques |
DE10005609C1 (de) * | 2000-02-09 | 2001-08-09 | Siemens Ag | Verfahren zur Spracherkennung |
US6725193B1 (en) * | 2000-09-13 | 2004-04-20 | Telefonaktiebolaget Lm Ericsson | Cancellation of loudspeaker words in speech recognition |
US6731724B2 (en) * | 2001-01-22 | 2004-05-04 | Pumatech, Inc. | Voice-enabled user interface for voicemail systems |
US20030095674A1 (en) * | 2001-11-20 | 2003-05-22 | Tokheim Corporation | Microphone system for the fueling environment |
US6990445B2 (en) * | 2001-12-17 | 2006-01-24 | Xl8 Systems, Inc. | System and method for speech recognition and transcription |
US20030115169A1 (en) * | 2001-12-17 | 2003-06-19 | Hongzhuan Ye | System and method for management of transcribed documents |
JP4209247B2 (ja) * | 2003-05-02 | 2009-01-14 | アルパイン株式会社 | 音声認識装置および方法 |
DE102004012209A1 (de) * | 2004-03-12 | 2005-10-06 | Siemens Ag | Durch einen Benutzer steuerbare oder durch externe Parameter beeinflussbare Geräuschreduktion |
US20090222270A2 (en) * | 2006-02-14 | 2009-09-03 | Ivc Inc. | Voice command interface device |
CN102111697B (zh) * | 2009-12-28 | 2015-03-25 | 歌尔声学股份有限公司 | 一种麦克风阵列降噪控制方法及装置 |
US20130211828A1 (en) * | 2012-02-13 | 2013-08-15 | General Motors Llc | Speech processing responsive to active noise control microphones |
CN112270929B (zh) * | 2020-11-18 | 2024-03-22 | 上海依图网络科技有限公司 | 一种歌曲识别的方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4797929A (en) * | 1986-01-03 | 1989-01-10 | Motorola, Inc. | Word recognition in a speech recognition system using data reduced word templates |
JPH04182700A (ja) * | 1990-11-19 | 1992-06-30 | Nec Corp | 音声認識装置 |
DE4111995A1 (de) * | 1991-04-12 | 1992-10-15 | Philips Patentverwaltung | Schaltungsanordnung zur spracherkennung |
FR2687496B1 (fr) * | 1992-02-18 | 1994-04-01 | Alcatel Radiotelephone | Procede de reduction de bruit acoustique dans un signal de parole. |
AU676714B2 (en) * | 1993-02-12 | 1997-03-20 | British Telecommunications Public Limited Company | Noise reduction |
IT1272653B (it) * | 1993-09-20 | 1997-06-26 | Alcatel Italia | Metodo di riduzione del rumore, in particolare per riconoscimento automatico del parlato, e filtro atto ad implementare lo stesso |
CA2153170C (en) * | 1993-11-30 | 2000-12-19 | At&T Corp. | Transmitted noise reduction in communications systems |
DE4427124A1 (de) * | 1994-07-30 | 1996-02-01 | Philips Patentverwaltung | Anordnung zur Kommunikation mit einem Teilnehmer |
-
1995
- 1995-06-10 DE DE19521258A patent/DE19521258A1/de not_active Withdrawn
-
1996
- 1996-06-05 EP EP96201572A patent/EP0747880B1/de not_active Expired - Lifetime
- 1996-06-05 DE DE59607861T patent/DE59607861D1/de not_active Expired - Lifetime
- 1996-06-10 US US08/662,722 patent/US5864804A/en not_active Expired - Lifetime
- 1996-06-10 JP JP14735796A patent/JP3869888B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE19521258A1 (de) | 1996-12-12 |
EP0747880A2 (de) | 1996-12-11 |
EP0747880B1 (de) | 2001-10-10 |
US5864804A (en) | 1999-01-26 |
JP3869888B2 (ja) | 2007-01-17 |
DE59607861D1 (de) | 2001-11-15 |
EP0747880A3 (de) | 1998-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3869888B2 (ja) | 音声認識装置 | |
US7392188B2 (en) | System and method enabling acoustic barge-in | |
KR101444100B1 (ko) | 혼합 사운드로부터 잡음을 제거하는 방법 및 장치 | |
JP3229335B2 (ja) | 音声処理装置および方法 | |
US5970446A (en) | Selective noise/channel/coding models and recognizers for automatic speech recognition | |
EP1885154B1 (en) | Dereverberation of microphone signals | |
US6411927B1 (en) | Robust preprocessing signal equalization system and method for normalizing to a target environment | |
US8606573B2 (en) | Voice recognition improved accuracy in mobile environments | |
JP5649488B2 (ja) | 音声判別装置、音声判別方法および音声判別プログラム | |
KR20010005685A (ko) | 음성 분석 시스템 | |
US11089404B2 (en) | Sound processing apparatus and sound processing method | |
US20030133565A1 (en) | Echo cancellation system method and apparatus | |
JPH11500277A (ja) | 音声活性度検出 | |
US20030061049A1 (en) | Synthesized speech intelligibility enhancement through environment awareness | |
WO2009117084A2 (en) | System and method for envelope-based acoustic echo cancellation | |
CN101313483A (zh) | 回音消除的配置 | |
JP6545419B2 (ja) | 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置 | |
US20080249779A1 (en) | Speech dialog system | |
JP4520596B2 (ja) | 音声認識方法および音声認識装置 | |
US20070198268A1 (en) | Method for controlling a speech dialog system and speech dialog system | |
US6377918B1 (en) | Speech analysis using multiple noise compensation | |
US20080172231A1 (en) | Method of Processing Sound Signals for a Communication Terminal and Communication Terminal Using that Method | |
US5784454A (en) | Arrangement for communication with a subscriber | |
EP1185976B1 (en) | Speech recognition device with reference transformation means | |
US7043427B1 (en) | Apparatus and method for speech recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060224 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060522 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060525 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061016 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |