JP4666129B2 - 発声速度正規化分析を用いた音声認識装置 - Google Patents
発声速度正規化分析を用いた音声認識装置 Download PDFInfo
- Publication number
- JP4666129B2 JP4666129B2 JP2001229310A JP2001229310A JP4666129B2 JP 4666129 B2 JP4666129 B2 JP 4666129B2 JP 2001229310 A JP2001229310 A JP 2001229310A JP 2001229310 A JP2001229310 A JP 2001229310A JP 4666129 B2 JP4666129 B2 JP 4666129B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- analysis
- control parameter
- utterance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、音声認識に関し、特に音声分析に発声速度正規化を用いた音声認識に関する。
【０００２】
【従来の技術】
従来、音声認識において発声速度の変動による影響を軽減し認識率を向上させるために用いられている方法を、ＨＭＭを用いた音声認識の場合を例にとって、以下に説明する。
【０００３】
まず、音声の性質を調べる際には、音声波形に対し分析を行い周波数スペクトルに関連した特徴の抽出を行う。具体的には、音声波形に時間窓をかけ高速フーリエ変換のアルゴリズムを用いて離散フーリエ変換を行い、短時間スペクトルを求める。時間窓をかけて切り出した音声区間のことはフレーム、この区間を移動させる周期をフレーム周期（間隔）とよぶ。一般的に、時間窓長は２０ｍｓ程度であり、フレーム周期（間隔）は一定である。
【０００４】
音声の短時間スペクトルは、周波数と共にゆるやかに変化する成分（スペクトル包絡）と細かく変化する成分（スペクトル微細構造）に分解でき、これを調べることで声道の共振・反共振特性や音源の周期性などその音声に含まれる特徴を捉えることができる。一般的に、音声認識に用いる特徴ベクトルは４０次元程度である。
【０００５】
ＨＭＭ音声認識では、音声の特徴ベクトルの時系列は確率的に変動するとみなし、各単語や音素を確率状態遷移モデル（ＨＭＭ）で表現し、認識を行う
図８はＨＭＭの例を示す図である。図８に示すように、ＨＭＭは、各状態とそれらの間の遷移で表される。各アークには、出現確率と遷移確率が割り当てられ、これらの確率によって音声に対応する記号と時間的な変動が確率的に表現される。音声認識の際に認識率の良いＨＭＭを用意するためには、統計的に十分な量の音声の特徴ベクトル時系列と対応する記号系列をセットにした学習データを用い、その記号系列を最も高い確率で生成するようにＨＭＭの確率パラメータを推定する「学習」を行う。
【０００６】
認識の際は、認識したい単語や音素の数だけＨＭＭを用意し、全てのＨＭＭに対し、そのＨＭＭが入力音声の記号系列を出力する確率を計算し、最も確率の高かったＨＭＭが出力する単語や音素を認識結果とする。
【０００７】
ＨＭＭの確率パラメータは学習データを用いて推定されるため、入力音声の発声速度が学習データの発声速度の分布からかけ離れている場合、認識性能が悪かった。これに対し、入力音声の発声速度を測定し、この発声速度に基づいて音声の記号系列の継続時間を制限することで認識性能を上げる方法が提案されている。
【０００８】
従来の音声認識装置の一例が、特開平２−１１３２９８号公報に記載されている。その構成を図９に示す。図９において、発声速度検出部１０１では、音声パワー概形スペクトルのピークから発声速度１０３を検出する。音声記号化部１０２では、入力音声を分析して、ベクトル量子化により記号化した記号系列１０４を出力する。ＨＭＭ法に基づく音声認識部１０５は、発声速度検出部１０１の出力した発声速度１０３と音声記号化部１０２が出力した記号系列１０４を入力とし、発声速度を用いてＨＭＭの状態の継続時間の制限を行いながら、単語ＨＭＭデータベース１０６中の各単語ＨＭＭと記号系列１０４との確率計算を行い、最も高い確率の単語を認識結果１０８として出力する。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の装置には、音声の発声速度に即した適切な特徴抽出ができないという問題がある。その理由は、従来の音声認識装置は音声分析に一定フレーム間隔、あるいはその整数倍のフレーム間隔を用いているためである。
【００１０】
そこで、本発明の技術的課題は、入力音声の発声速度に即した適切な特徴量抽出を行うことのできる音声認識装置を提供することにある。
【００１１】
また、本発明の他の技術的課題は、処理時間を削減することができる音声認識装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明によれば、学習用音声及び認識用音声の内の少なくとも一方を入力音声とし、前記入力音声の発声速度を発声速度出力手段と、前記発声速度出力手段からの前記発声速度に基づいて分析フレーム間隔Ｉを伸縮させて分析する分析制御パラメータ計算部と、前記分析制御パラメータ計算部からの分析制御パラメータを受け、分析パラメータ制御パラメータにしたがって、前記入力音声の特徴抽出を行う特徴抽出手段を備え、前記分析制御パラメータ計算手段は、次式（１）にしたがって、前記分析フレーム間隔Ｉを前記分析制御パラメータとして計算することを特徴とする音声認識装置が得られる。
【００１３】
【数１】
（但し、Ｉｏは、一定の分析フレーム間隔、Ｃは前記発声速度出力手段から出力された発声速度より計算された係数、Ｒは正規化する単位、及びｓは分析方法を切り替えるスイッチであり、０＜ｓ≦１である。）
【００１４】
また、本発明によれば、前記音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）の係数Ｃとして、前記全発声の平均発声速度を用いることを特徴とする音声認識装置が得られる。
【００１５】
また、本発明によれば、前記いずれか一つの音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）の正規化する単位Ｒとして、母音は母音の発声速度、子音は子音の発声速度を用いることを特徴とする音声認識装置が得られる。
【００１６】
また、本発明によれば、前記いずれか一つの音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）の正規化する単位Ｒとして、定常部と非定常部の発声速度を用いることを特徴とする音声認識装置が得られる。
【００１７】
また、本発明によれば、前記いずれか一つの音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）のｓの値に、発声速度の閾値を設けておき、前記入力音声の発声速度が前記閾値よりも速ければ、ｓの値を１とすることを特徴とする音声認識装置が得られる。
【００２６】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２７】
図１は本発明の第１の実施の形態による音声認識装置の構成を示すブロック図である。図１を参照すると、本発明の第１の実施の形態による音声認識装置１０は、音響モデル学習に用いる音声を入力する学習用音声入力手段１と、学習用音声に対する発声速度出力手段２、発声速度に基づいて分析フレーム間隔を算出する分析制御パラメータ計算（機能部）３、特徴抽出手段４と、認識用音声入力手段６と、認識音声に対する発声速度出力手段７、発声速度に基づいて分析フレーム間隔を算出する分析制御パラメータ計算（機能部）８、特徴抽出手段９と、音響モデル学習手段５、認識手段１１、認識結果出力手段１２とを含む。
【００２８】
分析制御パラメータ計算３，８は、発声速度出力手段２，７の出力を夫々入力とし、特徴抽出手段４，９で発声速度に即した適切な特徴量を抽出するための分析制御パラメータとして、発声速度に基づいた分析フレーム間隔を計算する。特徴抽出手段４，９は、分析制御パラメータと入力音声を入力とし、分析制御パラメータに従って入力音声を分析し特徴抽出を行う。
【００２９】
音響モデル学習手段５は、特徴抽出手段４で出力された学習用音声の特徴量を用いて音響モデルのパラメータを推定し、音声認識処理のうち音響処理で参照するパターンを作成する。
【００３０】
認識手段１１は、音響モデル学習手段５で作成された音響モデルと特徴抽出手段９が出力した認識用音声の特徴量等を入力としてマッチングを行い最も確からしい正解候補を認識結果出力手段１２で認識結果として出力する。
【００３１】
本発明の第１の実施の形態の作用効果について説明する。
【００３２】
本実施の形態では、入力音声の発声速度を分析制御パラメータ計算に用い、この分析制御パラメータに従って分析を行うことで発声速度に即した適切な特徴抽出を行うことができる。こうして得た学習用音声の特徴量を用いて学習した音響モデルと認識用音声の特徴量を認識手段の入力とすることで認識率が向上する。
【００３３】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００３４】
図２は本発明の第２の実施の形態による音声認識装置の構成を示すブロック図である。
【００３５】
図２を参照すると、本発明の第２の実施の形態による音声認識装置２０は、認識用音声処理部を構成する分析制御パラメータ計算部８の入力に、学習用音声の発声速度出力手段２の出力も利用する点が、図１に示された第１の実施の形態における認識用音声処理部と異なる。
【００３６】
次に本発明の第２の実施の形態の作用効果について説明する。
【００３７】
本発明の第２の実施の形態では、第１の実施の形態の効果に加え、認識用音声の特徴抽出に認識用音声の情報だけでなく学習用音声の情報を利用することで、認識用音声に対し、音響モデルを作成した環境にも合わせた音声分析を行うことができる。
【００３８】
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
【００３９】
図３は本発明の第３の実施の形態による音声認識装置の構成を示すブロック図である。
【００４０】
図３を参照すると、本発明の第３の実施の形態による音声認識装置３０は、学習用音声処理部に、図１に示された第１の実施の形態における学習音声処理部を構成する発声速度出力手段２と分析制御パラメータ計算３が存在しない点が異なる。これにより、学習用音声の特徴抽出手段４は従来の分析を行う。
【００４１】
次に本発明の第３の実施の形態の効果について説明する。
【００４２】
本発明の第３の実施の形態では、第１の実施の形態と比較した時、学習用音声処理部の処理は従来と同様であり、発声速度の測定および分析パラメータ計算は必要なく処理時間を削減できる。
【００４３】
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。
【００４４】
図４は本発明の第４の実施の形態による音声認識装置の構成を示すブロック図である。
【００４５】
図４を参照すると、本発明の第４の実施の形態による音声認識装置４０は、学習用音声処理部に、図２に示された第２の実施の形態における学習音声処理部を構成する分析制御パラメータ計算３が存在しない点が異なる。これにより、学習用音声の特徴抽出手段４は従来の分析を行う。
【００４６】
次に本発明の第４の実施の形態の作用効果について説明する。
【００４７】
本発明の第４の実施の形態では、第２の実施の形態と比較した時、学習用音声処理部では、分析パラメータ計算は必要なく処理時間を削減できる。
【００４８】
次に、本発明の第５の実施の形態について図面を参照して詳細に説明する。
【００４９】
図５は本発明の第５の実施の形態による音声認識装置の構成を示すブロック図である。
【００５０】
図５を参照すると、本発明の第５の実施の形態による音声認識装置５０は、認識用音声処理部に図１に示された第１の実施の形態における認識音声処理部を構成する発声速度出力手段７と分析制御パラメータ計算８が存在しない点が異なる。これにより、認識用音声の特徴抽出手段９は、従来の分析を行う。
【００５１】
次に本発明の第５の実施の形態の作用効果について説明する。
【００５２】
本発明の第５の実施の形態では、第１の実施の形態と比較した時、認識音声入力手段６及び特徴抽出手段９からなる認識用音声処理部の処理は従来と同様であり、発声速度の測定および分析パラメータ計算は必要なく処理時間を削減できる。
【００５３】
次に、本発明の第６の実施の形態について図面を参照して詳細に説明する。
【００５４】
図６は本発明の第６の実施の形態による音声認識装置の構成を示すブロック図である。
【００５５】
図６を参照すると、本発明の第６の実施の形態による音声認識装置６０は、認識用音声処理部が、図１に示された第１の実施の形態における認識音声処理部の構成に加え、パラメータ記憶・読み出し手段１３を有する点で異なる。
【００５６】
パラメータ記憶・読み出し手段１３は、直前発声を用いて計算され保持されていた分析制御パラメータを読み出し、次の発声の特徴抽出のために、現在の発声を用いて計算された分析制御パラメータの記憶を行う。
【００５７】
特徴量抽出手段９は、パラメータ記憶・読み出し手段１３が読み出した、直前発声を用いて計算された分析制御パラメータと認識用音声入力手段６に入力された現在の認識用音声を入力とし、分析制御パラメータに従って認識用音声の特徴抽出を行う。
【００５８】
次に本発明の第６の実施の形態の作用効果について説明する。
【００５９】
本発明の第６の実施の形態では、直前発声を用いて計算された分析制御パラメータを用いて現在の認識用音声の特徴抽出を行うことで、発声速度測定および分析制御パラメータ計算に要する処理時間の削減を行うことができる。
【００６０】
次に、本発明の具体例について、図７（ａ）及び図７（ｂ）を参照して説明する。かかる具体例は本発明の第２の実施の形態に対応するものである。
【００６１】
本方式は、学習用音声、認識用音声に対し、発声速度を測定し分析制御パラメータを自由に変えながら発声速度に即した適切な特徴抽出を行うことができるが、ここでは、図７（ａ）に示すように、発声速度出力手段に予備特徴抽出手段２１および発声速度計算手段２２を用いた場合、あるいは図７（ｂ）に示すように、規定文発声時間長測定（機能部）２５および発声速度計算手段２６を用いた場合を例に挙げる。
【００６２】
まず、学習用音声の特徴抽出の方法を述べる。学習用音声入力手段１でマイクから入力された学習用音声は、発声速度出力手段２と特徴抽出手段４の入力となる。
【００６３】
ここで、まず一例として、発声速度出力手段２が図７（ａ）に示されるように、予備特徴抽出手段２１と発声速度計算手段２２で構成される場合について説明する。
【００６４】
予備特徴抽出手段２１では、入力音声の発声速度を測定するための特徴抽出を行う。予備特徴抽出手段２１では、入力音声に対して従来の分析を行い特徴抽出を行う。発声速度計算手段２２では、予備特徴抽出手段２１で抽出された特徴量と、予め用意している各音素のＨＭＭとの時間軸対応付けを行い、入力音声の発声速度を計算して出力する。発声速度を計算する際の単位の例としては、一発声、母音部分、子音部分、定常部、非定常部が挙げられる。
【００６５】
次に、他の例として発声速度出力手段２が図７（ｂ）に示されるように、規定文発声時間長測定（機能部）２５および発声速度計算手段２６で構成される場合について説明する。規定文発声時間長測定２５では、予め用意している規定文を発声した音声を入力とし、発声に要した時間を測定する。発声速度計算手段２６では、規定文に含まれる音素数と規定文発声時間長測定２５で測定された規定文発声時間長から、入力音声の発声速度を計算して出力する。
【００６６】
図２を再び参照して、分析制御パラメータ計算３に、発声速度出力手段２の出力した発声速度を入力とし、特徴抽出手段４で入力音声の発声速度に即した適切な特徴量を抽出するための分析制御パラメータとして、発声速度に基づいた分析フレーム間隔を計算する。分析フレーム間隔の計算例を下記数１式に示す。
【００６７】
【数２】
ここで、「Ｉ」は特徴抽出手段４で用いる分析フレーム間隔、Ｉｏは通常の分析に用いられている一定の分析フレーム間隔、Ｃは発声速度出力手段２で出力された発声速度より計算された係数、例えば、全発声の平均発声速度、Ｒは正規化する単位、例えば、一発声、母音部分、子音部分、定常部、非定常部の発声速度である。ｓは、分析方法を切り替えるスイッチとして動作する。ｓが０であれば、ＩはＩｏと同等になり従来の分析方法と同等になり、ｓが１であれば、「Ｉ」は発声速度で正規化された分析フレーム間隔となり発声速度正規化分析が行われる。従来の分析方法と同様にならないよう、ｓは全発声を通じて０ということはないものとする。正規化する単位に合わせてこの数１式を計算することで、母音に対しては母音の発声速度、子音に対しては、子音の発声速度、定常部に対しては定常部の発声速度、非定常部に対しては非定常部の発声速度を用いた分析フレーム間隔を求めることができる。ｓの値は、例えば、全発声を通じて１にし、全発声に対して発声速度正規化分析を行ってもよいし、ある発声速度の閾値を設け、入力発声の発声速度がその発声速度よりも速ければ１とし、発声速度正規化分析を行い、遅ければ０とし、従来の分析を行うようにしてもよい。
【００６８】
特徴抽出手段４は、分析パラメータ計算（機能部）３の出力した分析制御パラメータと学習用音声入力手段１で入力された学習用音声を入力とし、分祈制御パラメータに従って学習用音声の特徴抽出を行う。
【００６９】
次に、認識用音声の特徴抽出の方法を述べる。認識用音声入力手段６は学習用音声入力手段１と同様、発声速度出力手段７は発声速度出力手段２と同様、特徴抽出手段９は特徴抽出手段４と同様な動作を行う。分析制御パラメータ計算（機能部）８では、上記数１式のＣに発声速度出力手段２が出力した学習用音声の発声速度から計算された係数、例えば、全発声の平均発声速度、Ｒに発声速度出力手段７が出力した認識用音声の発声速度、例えば、一発声、母音部分、子音部分、定常部、非定常部の発声速度を用いる。
【００７０】
特徴抽出手段９は、分析パラメータ計算（機能部）８の出力した分析制御パラメータと認識用音声入力手段６で入力された認識用音声を入力とし、分析制御パラメータに従って認識用音声の特徴抽出を行う。
【００７１】
音響モデル学習手段５では、特徴抽出手段４が出力した特徴量を入力とし、音響モデルのパラメータを推定し、音声認識処理のうち音響処理で参照するパターンを作成する。
【００７２】
認識手段１１は、音響モデル学習手段５で作成された音響モデルと特徴抽出手段９が出力した認識用音声の特徴量等を入力としてマッチングを行い、最も確からしい正解候補を認識結果出力手段１２で認識結果として出力する。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、入力音声の発声速度から計算した分析制御パラメータを用いることにより、発声速度に即した適切な特徴抽出をするために、発声速度正規化分析を行うことで、音響モデルの認識性能および全体の認識性能が向上する音声認識装置を提供することができる。
【００７４】
また、本発明によれば、直前発声を用いて計算された分析制御パラメータの保持・読み出しを行って現在の認識用音声の特徴抽出を行うため、現在の発声に対して、直前の発声の情報を用いて逐次的に特徴抽出を行うことができるため、処理時間を削減できる音声認識装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による音声認識装置の構成を示すブロック図である。
【図２】本発明の第２の実施の形態による音声認識装置の構成を示すブロック図である。
【図３】本発明の第３の実施の形態による音声認識装置の構成を示すブロック図である。
【図４】本発明の第４の実施の形態による音声認識装置の構成を示すブロック図である。
【図５】本発明の第５の実施の形態による音声認識装置の構成を示すブロック図である。
【図６】本発明の第６の実施の形態による音声認識装置の構成を示すブロック図である。
【図７】（ａ）及び（ｂ）は本発明の第２の実施の形態における発声速度出力手段の具体的な構成例を夫々示すブロック図である。
【図８】従来のＨＭＭの一例を示す図である。
【図９】従来例における音声認識装置の構成を示すブロック図である。
【符号の説明】
１ 学習用音声入力手段
２ 発声速度出力手段
３ 分析制御パラメータ計算
４ 特徴抽出手段
５ 音響モデル学習手段
６ 認識用音声入力手段
７ 発声速度出力手段
８ 分析制御パラメータ計算
９ 特徴抽出手段
１０，２０，３０，４０，５０，６０ 音声認識装置
２１ 予備特徴抽出手段
２２ 発声速度計算手段
２５ 規定文発声時間長測定
２６ 発声速度計算手段
１００ 入力端子
１０１ 発声速度検出部
１０２ 音声記号化部
１０３ 発声速度
１０４ 記号系列
１０５ ＨＭＭ法に基づく音声認識部
１０６ 単語ＨＭＭデータベース
１０７ ＨＭＭパラメータ
１０８ 認識結果
【発明の属する技術分野】
本発明は、音声認識に関し、特に音声分析に発声速度正規化を用いた音声認識に関する。
【０００２】
【従来の技術】
従来、音声認識において発声速度の変動による影響を軽減し認識率を向上させるために用いられている方法を、ＨＭＭを用いた音声認識の場合を例にとって、以下に説明する。
【０００３】
まず、音声の性質を調べる際には、音声波形に対し分析を行い周波数スペクトルに関連した特徴の抽出を行う。具体的には、音声波形に時間窓をかけ高速フーリエ変換のアルゴリズムを用いて離散フーリエ変換を行い、短時間スペクトルを求める。時間窓をかけて切り出した音声区間のことはフレーム、この区間を移動させる周期をフレーム周期（間隔）とよぶ。一般的に、時間窓長は２０ｍｓ程度であり、フレーム周期（間隔）は一定である。
【０００４】
音声の短時間スペクトルは、周波数と共にゆるやかに変化する成分（スペクトル包絡）と細かく変化する成分（スペクトル微細構造）に分解でき、これを調べることで声道の共振・反共振特性や音源の周期性などその音声に含まれる特徴を捉えることができる。一般的に、音声認識に用いる特徴ベクトルは４０次元程度である。
【０００５】
ＨＭＭ音声認識では、音声の特徴ベクトルの時系列は確率的に変動するとみなし、各単語や音素を確率状態遷移モデル（ＨＭＭ）で表現し、認識を行う
図８はＨＭＭの例を示す図である。図８に示すように、ＨＭＭは、各状態とそれらの間の遷移で表される。各アークには、出現確率と遷移確率が割り当てられ、これらの確率によって音声に対応する記号と時間的な変動が確率的に表現される。音声認識の際に認識率の良いＨＭＭを用意するためには、統計的に十分な量の音声の特徴ベクトル時系列と対応する記号系列をセットにした学習データを用い、その記号系列を最も高い確率で生成するようにＨＭＭの確率パラメータを推定する「学習」を行う。
【０００６】
認識の際は、認識したい単語や音素の数だけＨＭＭを用意し、全てのＨＭＭに対し、そのＨＭＭが入力音声の記号系列を出力する確率を計算し、最も確率の高かったＨＭＭが出力する単語や音素を認識結果とする。
【０００７】
ＨＭＭの確率パラメータは学習データを用いて推定されるため、入力音声の発声速度が学習データの発声速度の分布からかけ離れている場合、認識性能が悪かった。これに対し、入力音声の発声速度を測定し、この発声速度に基づいて音声の記号系列の継続時間を制限することで認識性能を上げる方法が提案されている。
【０００８】
従来の音声認識装置の一例が、特開平２−１１３２９８号公報に記載されている。その構成を図９に示す。図９において、発声速度検出部１０１では、音声パワー概形スペクトルのピークから発声速度１０３を検出する。音声記号化部１０２では、入力音声を分析して、ベクトル量子化により記号化した記号系列１０４を出力する。ＨＭＭ法に基づく音声認識部１０５は、発声速度検出部１０１の出力した発声速度１０３と音声記号化部１０２が出力した記号系列１０４を入力とし、発声速度を用いてＨＭＭの状態の継続時間の制限を行いながら、単語ＨＭＭデータベース１０６中の各単語ＨＭＭと記号系列１０４との確率計算を行い、最も高い確率の単語を認識結果１０８として出力する。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の装置には、音声の発声速度に即した適切な特徴抽出ができないという問題がある。その理由は、従来の音声認識装置は音声分析に一定フレーム間隔、あるいはその整数倍のフレーム間隔を用いているためである。
【００１０】
そこで、本発明の技術的課題は、入力音声の発声速度に即した適切な特徴量抽出を行うことのできる音声認識装置を提供することにある。
【００１１】
また、本発明の他の技術的課題は、処理時間を削減することができる音声認識装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明によれば、学習用音声及び認識用音声の内の少なくとも一方を入力音声とし、前記入力音声の発声速度を発声速度出力手段と、前記発声速度出力手段からの前記発声速度に基づいて分析フレーム間隔Ｉを伸縮させて分析する分析制御パラメータ計算部と、前記分析制御パラメータ計算部からの分析制御パラメータを受け、分析パラメータ制御パラメータにしたがって、前記入力音声の特徴抽出を行う特徴抽出手段を備え、前記分析制御パラメータ計算手段は、次式（１）にしたがって、前記分析フレーム間隔Ｉを前記分析制御パラメータとして計算することを特徴とする音声認識装置が得られる。
【００１３】
【数１】
【００１４】
また、本発明によれば、前記音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）の係数Ｃとして、前記全発声の平均発声速度を用いることを特徴とする音声認識装置が得られる。
【００１５】
また、本発明によれば、前記いずれか一つの音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）の正規化する単位Ｒとして、母音は母音の発声速度、子音は子音の発声速度を用いることを特徴とする音声認識装置が得られる。
【００１６】
また、本発明によれば、前記いずれか一つの音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）の正規化する単位Ｒとして、定常部と非定常部の発声速度を用いることを特徴とする音声認識装置が得られる。
【００１７】
また、本発明によれば、前記いずれか一つの音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）のｓの値に、発声速度の閾値を設けておき、前記入力音声の発声速度が前記閾値よりも速ければ、ｓの値を１とすることを特徴とする音声認識装置が得られる。
【００２６】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２７】
図１は本発明の第１の実施の形態による音声認識装置の構成を示すブロック図である。図１を参照すると、本発明の第１の実施の形態による音声認識装置１０は、音響モデル学習に用いる音声を入力する学習用音声入力手段１と、学習用音声に対する発声速度出力手段２、発声速度に基づいて分析フレーム間隔を算出する分析制御パラメータ計算（機能部）３、特徴抽出手段４と、認識用音声入力手段６と、認識音声に対する発声速度出力手段７、発声速度に基づいて分析フレーム間隔を算出する分析制御パラメータ計算（機能部）８、特徴抽出手段９と、音響モデル学習手段５、認識手段１１、認識結果出力手段１２とを含む。
【００２８】
分析制御パラメータ計算３，８は、発声速度出力手段２，７の出力を夫々入力とし、特徴抽出手段４，９で発声速度に即した適切な特徴量を抽出するための分析制御パラメータとして、発声速度に基づいた分析フレーム間隔を計算する。特徴抽出手段４，９は、分析制御パラメータと入力音声を入力とし、分析制御パラメータに従って入力音声を分析し特徴抽出を行う。
【００２９】
音響モデル学習手段５は、特徴抽出手段４で出力された学習用音声の特徴量を用いて音響モデルのパラメータを推定し、音声認識処理のうち音響処理で参照するパターンを作成する。
【００３０】
認識手段１１は、音響モデル学習手段５で作成された音響モデルと特徴抽出手段９が出力した認識用音声の特徴量等を入力としてマッチングを行い最も確からしい正解候補を認識結果出力手段１２で認識結果として出力する。
【００３１】
本発明の第１の実施の形態の作用効果について説明する。
【００３２】
本実施の形態では、入力音声の発声速度を分析制御パラメータ計算に用い、この分析制御パラメータに従って分析を行うことで発声速度に即した適切な特徴抽出を行うことができる。こうして得た学習用音声の特徴量を用いて学習した音響モデルと認識用音声の特徴量を認識手段の入力とすることで認識率が向上する。
【００３３】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００３４】
図２は本発明の第２の実施の形態による音声認識装置の構成を示すブロック図である。
【００３５】
図２を参照すると、本発明の第２の実施の形態による音声認識装置２０は、認識用音声処理部を構成する分析制御パラメータ計算部８の入力に、学習用音声の発声速度出力手段２の出力も利用する点が、図１に示された第１の実施の形態における認識用音声処理部と異なる。
【００３６】
次に本発明の第２の実施の形態の作用効果について説明する。
【００３７】
本発明の第２の実施の形態では、第１の実施の形態の効果に加え、認識用音声の特徴抽出に認識用音声の情報だけでなく学習用音声の情報を利用することで、認識用音声に対し、音響モデルを作成した環境にも合わせた音声分析を行うことができる。
【００３８】
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
【００３９】
図３は本発明の第３の実施の形態による音声認識装置の構成を示すブロック図である。
【００４０】
図３を参照すると、本発明の第３の実施の形態による音声認識装置３０は、学習用音声処理部に、図１に示された第１の実施の形態における学習音声処理部を構成する発声速度出力手段２と分析制御パラメータ計算３が存在しない点が異なる。これにより、学習用音声の特徴抽出手段４は従来の分析を行う。
【００４１】
次に本発明の第３の実施の形態の効果について説明する。
【００４２】
本発明の第３の実施の形態では、第１の実施の形態と比較した時、学習用音声処理部の処理は従来と同様であり、発声速度の測定および分析パラメータ計算は必要なく処理時間を削減できる。
【００４３】
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。
【００４４】
図４は本発明の第４の実施の形態による音声認識装置の構成を示すブロック図である。
【００４５】
図４を参照すると、本発明の第４の実施の形態による音声認識装置４０は、学習用音声処理部に、図２に示された第２の実施の形態における学習音声処理部を構成する分析制御パラメータ計算３が存在しない点が異なる。これにより、学習用音声の特徴抽出手段４は従来の分析を行う。
【００４６】
次に本発明の第４の実施の形態の作用効果について説明する。
【００４７】
本発明の第４の実施の形態では、第２の実施の形態と比較した時、学習用音声処理部では、分析パラメータ計算は必要なく処理時間を削減できる。
【００４８】
次に、本発明の第５の実施の形態について図面を参照して詳細に説明する。
【００４９】
図５は本発明の第５の実施の形態による音声認識装置の構成を示すブロック図である。
【００５０】
図５を参照すると、本発明の第５の実施の形態による音声認識装置５０は、認識用音声処理部に図１に示された第１の実施の形態における認識音声処理部を構成する発声速度出力手段７と分析制御パラメータ計算８が存在しない点が異なる。これにより、認識用音声の特徴抽出手段９は、従来の分析を行う。
【００５１】
次に本発明の第５の実施の形態の作用効果について説明する。
【００５２】
本発明の第５の実施の形態では、第１の実施の形態と比較した時、認識音声入力手段６及び特徴抽出手段９からなる認識用音声処理部の処理は従来と同様であり、発声速度の測定および分析パラメータ計算は必要なく処理時間を削減できる。
【００５３】
次に、本発明の第６の実施の形態について図面を参照して詳細に説明する。
【００５４】
図６は本発明の第６の実施の形態による音声認識装置の構成を示すブロック図である。
【００５５】
図６を参照すると、本発明の第６の実施の形態による音声認識装置６０は、認識用音声処理部が、図１に示された第１の実施の形態における認識音声処理部の構成に加え、パラメータ記憶・読み出し手段１３を有する点で異なる。
【００５６】
パラメータ記憶・読み出し手段１３は、直前発声を用いて計算され保持されていた分析制御パラメータを読み出し、次の発声の特徴抽出のために、現在の発声を用いて計算された分析制御パラメータの記憶を行う。
【００５７】
特徴量抽出手段９は、パラメータ記憶・読み出し手段１３が読み出した、直前発声を用いて計算された分析制御パラメータと認識用音声入力手段６に入力された現在の認識用音声を入力とし、分析制御パラメータに従って認識用音声の特徴抽出を行う。
【００５８】
次に本発明の第６の実施の形態の作用効果について説明する。
【００５９】
本発明の第６の実施の形態では、直前発声を用いて計算された分析制御パラメータを用いて現在の認識用音声の特徴抽出を行うことで、発声速度測定および分析制御パラメータ計算に要する処理時間の削減を行うことができる。
【００６０】
次に、本発明の具体例について、図７（ａ）及び図７（ｂ）を参照して説明する。かかる具体例は本発明の第２の実施の形態に対応するものである。
【００６１】
本方式は、学習用音声、認識用音声に対し、発声速度を測定し分析制御パラメータを自由に変えながら発声速度に即した適切な特徴抽出を行うことができるが、ここでは、図７（ａ）に示すように、発声速度出力手段に予備特徴抽出手段２１および発声速度計算手段２２を用いた場合、あるいは図７（ｂ）に示すように、規定文発声時間長測定（機能部）２５および発声速度計算手段２６を用いた場合を例に挙げる。
【００６２】
まず、学習用音声の特徴抽出の方法を述べる。学習用音声入力手段１でマイクから入力された学習用音声は、発声速度出力手段２と特徴抽出手段４の入力となる。
【００６３】
ここで、まず一例として、発声速度出力手段２が図７（ａ）に示されるように、予備特徴抽出手段２１と発声速度計算手段２２で構成される場合について説明する。
【００６４】
予備特徴抽出手段２１では、入力音声の発声速度を測定するための特徴抽出を行う。予備特徴抽出手段２１では、入力音声に対して従来の分析を行い特徴抽出を行う。発声速度計算手段２２では、予備特徴抽出手段２１で抽出された特徴量と、予め用意している各音素のＨＭＭとの時間軸対応付けを行い、入力音声の発声速度を計算して出力する。発声速度を計算する際の単位の例としては、一発声、母音部分、子音部分、定常部、非定常部が挙げられる。
【００６５】
次に、他の例として発声速度出力手段２が図７（ｂ）に示されるように、規定文発声時間長測定（機能部）２５および発声速度計算手段２６で構成される場合について説明する。規定文発声時間長測定２５では、予め用意している規定文を発声した音声を入力とし、発声に要した時間を測定する。発声速度計算手段２６では、規定文に含まれる音素数と規定文発声時間長測定２５で測定された規定文発声時間長から、入力音声の発声速度を計算して出力する。
【００６６】
図２を再び参照して、分析制御パラメータ計算３に、発声速度出力手段２の出力した発声速度を入力とし、特徴抽出手段４で入力音声の発声速度に即した適切な特徴量を抽出するための分析制御パラメータとして、発声速度に基づいた分析フレーム間隔を計算する。分析フレーム間隔の計算例を下記数１式に示す。
【００６７】
【数２】
【００６８】
特徴抽出手段４は、分析パラメータ計算（機能部）３の出力した分析制御パラメータと学習用音声入力手段１で入力された学習用音声を入力とし、分祈制御パラメータに従って学習用音声の特徴抽出を行う。
【００６９】
次に、認識用音声の特徴抽出の方法を述べる。認識用音声入力手段６は学習用音声入力手段１と同様、発声速度出力手段７は発声速度出力手段２と同様、特徴抽出手段９は特徴抽出手段４と同様な動作を行う。分析制御パラメータ計算（機能部）８では、上記数１式のＣに発声速度出力手段２が出力した学習用音声の発声速度から計算された係数、例えば、全発声の平均発声速度、Ｒに発声速度出力手段７が出力した認識用音声の発声速度、例えば、一発声、母音部分、子音部分、定常部、非定常部の発声速度を用いる。
【００７０】
特徴抽出手段９は、分析パラメータ計算（機能部）８の出力した分析制御パラメータと認識用音声入力手段６で入力された認識用音声を入力とし、分析制御パラメータに従って認識用音声の特徴抽出を行う。
【００７１】
音響モデル学習手段５では、特徴抽出手段４が出力した特徴量を入力とし、音響モデルのパラメータを推定し、音声認識処理のうち音響処理で参照するパターンを作成する。
【００７２】
認識手段１１は、音響モデル学習手段５で作成された音響モデルと特徴抽出手段９が出力した認識用音声の特徴量等を入力としてマッチングを行い、最も確からしい正解候補を認識結果出力手段１２で認識結果として出力する。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、入力音声の発声速度から計算した分析制御パラメータを用いることにより、発声速度に即した適切な特徴抽出をするために、発声速度正規化分析を行うことで、音響モデルの認識性能および全体の認識性能が向上する音声認識装置を提供することができる。
【００７４】
また、本発明によれば、直前発声を用いて計算された分析制御パラメータの保持・読み出しを行って現在の認識用音声の特徴抽出を行うため、現在の発声に対して、直前の発声の情報を用いて逐次的に特徴抽出を行うことができるため、処理時間を削減できる音声認識装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による音声認識装置の構成を示すブロック図である。
【図２】本発明の第２の実施の形態による音声認識装置の構成を示すブロック図である。
【図３】本発明の第３の実施の形態による音声認識装置の構成を示すブロック図である。
【図４】本発明の第４の実施の形態による音声認識装置の構成を示すブロック図である。
【図５】本発明の第５の実施の形態による音声認識装置の構成を示すブロック図である。
【図６】本発明の第６の実施の形態による音声認識装置の構成を示すブロック図である。
【図７】（ａ）及び（ｂ）は本発明の第２の実施の形態における発声速度出力手段の具体的な構成例を夫々示すブロック図である。
【図８】従来のＨＭＭの一例を示す図である。
【図９】従来例における音声認識装置の構成を示すブロック図である。
【符号の説明】
１ 学習用音声入力手段
２ 発声速度出力手段
３ 分析制御パラメータ計算
４ 特徴抽出手段
５ 音響モデル学習手段
６ 認識用音声入力手段
７ 発声速度出力手段
８ 分析制御パラメータ計算
９ 特徴抽出手段
１０，２０，３０，４０，５０，６０ 音声認識装置
２１ 予備特徴抽出手段
２２ 発声速度計算手段
２５ 規定文発声時間長測定
２６ 発声速度計算手段
１００ 入力端子
１０１ 発声速度検出部
１０２ 音声記号化部
１０３ 発声速度
１０４ 記号系列
１０５ ＨＭＭ法に基づく音声認識部
１０６ 単語ＨＭＭデータベース
１０７ ＨＭＭパラメータ
１０８ 認識結果
Claims (5)
- 学習用音声及び認識用音声の内の少なくとも一方を入力音声とし、前記入力音声の発声速度を発声速度出力手段と、前記発声速度出力手段からの前記発声速度に基づいて分析フレーム間隔Ｉを伸縮させて分析する分析制御パラメータ計算部と、前記分析制御パラメータ計算部からの分析制御パラメータを受け、分析パラメータ制御パラメータにしたがって、前記入力音声の特徴抽出を行う特徴抽出手段を備え、前記分析制御パラメータ計算手段は、次式（１）にしたがって、前記分析フレーム間隔Ｉを前記分析制御パラメータとして計算することを特徴とする音声認識装置。
- 請求項１に記載の音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）の係数Ｃとして、前記全発声の平均発声速度を用いることを特徴とする音声認識装置。
- 請求項１又は２に記載の音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）の正規化する単位Ｒとして、母音は母音の発声速度、子音は子音の発声速度を用いることを特徴とする音声認識装置。
- 請求項１乃至３の内のいずれか一つに記載の音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）の正規化する単位Ｒとして、定常部と非定常部の発声速度を用いることを特徴とする音声認識装置。
- 請求項１乃至４の内のいずれか一つに記載の音声認識装置において、前記分析制御パラメータ計算部は、前記分析フレーム間隔の算出の際に、上記式（１）のｓの値に、発声速度の閾値を設けておき、前記入力音声の発声速度が前記閾値よりも速ければ、ｓの値を１とすることを特徴とする音声認識装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001229310A JP4666129B2 (ja) | 2001-07-30 | 2001-07-30 | 発声速度正規化分析を用いた音声認識装置 |
| CN02127010.4A CN1236728C (zh) | 2001-07-30 | 2002-07-25 | 断层图像重建方法和射线照相设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001229310A JP4666129B2 (ja) | 2001-07-30 | 2001-07-30 | 発声速度正規化分析を用いた音声認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003044078A JP2003044078A (ja) | 2003-02-14 |
| JP4666129B2 true JP4666129B2 (ja) | 2011-04-06 |
Family
ID=19061676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001229310A Expired - Fee Related JP4666129B2 (ja) | 2001-07-30 | 2001-07-30 | 発声速度正規化分析を用いた音声認識装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4666129B2 (ja) |
| CN (1) | CN1236728C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021049795A1 (en) * | 2019-09-11 | 2021-03-18 | Samsung Electronics Co., Ltd. | Electronic device and operating method thereof |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7186023B2 (en) * | 2003-06-10 | 2007-03-06 | Shimadzu Corporation | Slice image and/or dimensional image creating method |
| CN1296874C (zh) * | 2003-12-22 | 2007-01-24 | 中国科学院自动化研究所 | 基于点重建的超大规模医学影像三维可视化方法 |
| WO2006038142A1 (en) * | 2004-10-08 | 2006-04-13 | Koninklijke Philips Electronics N.V. | Image reconstruction with voxel dependent interpolation |
| US9092895B2 (en) * | 2010-12-20 | 2015-07-28 | General Electric Company | System and method for soft-field reconstruction |
| US20150145968A1 (en) * | 2012-07-10 | 2015-05-28 | Koninklijke Philips N.V. | Embolization volume reconstruction in interventional radiography |
| US10140735B2 (en) | 2015-09-15 | 2018-11-27 | Shanghai United Imaging Healthcare Co., Ltd. | Image reconstruction system and method |
| CN105396229B (zh) * | 2015-12-28 | 2018-05-04 | 上海联影医疗科技有限公司 | 一种放射治疗设备的成像装置和方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5324205A (en) * | 1976-08-18 | 1978-03-06 | Nec Corp | Voice reco gnition device |
| JPH07295588A (ja) * | 1994-04-21 | 1995-11-10 | Nippon Hoso Kyokai <Nhk> | 発話速度推定方法 |
| JPH09325798A (ja) * | 1996-06-06 | 1997-12-16 | Matsushita Electric Ind Co Ltd | 音声認識装置 |
-
2001
- 2001-07-30 JP JP2001229310A patent/JP4666129B2/ja not_active Expired - Fee Related
-
2002
- 2002-07-25 CN CN02127010.4A patent/CN1236728C/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5324205A (en) * | 1976-08-18 | 1978-03-06 | Nec Corp | Voice reco gnition device |
| JPH07295588A (ja) * | 1994-04-21 | 1995-11-10 | Nippon Hoso Kyokai <Nhk> | 発話速度推定方法 |
| JPH09325798A (ja) * | 1996-06-06 | 1997-12-16 | Matsushita Electric Ind Co Ltd | 音声認識装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021049795A1 (en) * | 2019-09-11 | 2021-03-18 | Samsung Electronics Co., Ltd. | Electronic device and operating method thereof |
| US11651769B2 (en) | 2019-09-11 | 2023-05-16 | Samsung Electronics Co., Ltd. | Electronic device and operating method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1399941A (zh) | 2003-03-05 |
| CN1236728C (zh) | 2006-01-18 |
| JP2003044078A (ja) | 2003-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108447490B (zh) | 基于记忆性瓶颈特征的声纹识别的方法及装置 | |
| US6845357B2 (en) | Pattern recognition using an observable operator model | |
| JP4911034B2 (ja) | 音声判別システム、音声判別方法及び音声判別用プログラム | |
| EP1355295B1 (en) | Speech recognition apparatus, speech recognition method, and computer-readable recording medium in which speech recognition program is recorded | |
| EP1355296B1 (en) | Keyword detection in a speech signal | |
| JPH05216490A (ja) | 音声コード化装置及び方法並びに音声認識装置及び方法 | |
| US20030220792A1 (en) | Speech recognition apparatus, speech recognition method, and computer-readable recording medium in which speech recognition program is recorded | |
| JP4666129B2 (ja) | 発声速度正規化分析を用いた音声認識装置 | |
| Fosler et al. | Automatic learning of word pronunciation from data | |
| JP5296455B2 (ja) | 話者識別装置、及びコンピュータプログラム | |
| Yavuz et al. | A Phoneme-Based Approach for Eliminating Out-of-vocabulary Problem Turkish Speech Recognition Using Hidden Markov Model. | |
| JP2012053218A (ja) | 音響処理装置および音響処理プログラム | |
| JP2001312293A (ja) | 音声認識方法およびその装置、並びにコンピュータ読み取り可能な記憶媒体 | |
| JPH06266386A (ja) | ワードスポッティング方法 | |
| JP2010072446A (ja) | 調音特徴抽出装置、調音特徴抽出方法、及び調音特徴抽出プログラム | |
| Shafie et al. | Sequential classification for articulation and Co-articulation classes of Al-Quran syllables pronunciations based on GMM-MLLR | |
| Mathew et al. | Significance of feature selection for acoustic modeling in dysarthric speech recognition | |
| JPH08314490A (ja) | ワードスポッティング型音声認識方法と装置 | |
| JPH0772899A (ja) | 音声認識装置 | |
| Li et al. | A detection method of lip-smack in spontaneous speech | |
| JPH0997095A (ja) | 音声認識装置 | |
| JP3917880B2 (ja) | 音声認識装置、音声認識方法及び音声認識プログラム | |
| JP2003345384A (ja) | 音声認識装置、音声認識方法および音声認識プログラム | |
| JP3583930B2 (ja) | 音声認識装置及びその方法 | |
| JP2003295887A (ja) | 音声認識方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050502 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101215 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101228 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |