JP4612435B2 - 音響モデル学習装置および音声認識装置 - Google Patents

音響モデル学習装置および音声認識装置 Download PDF

Info

Publication number
JP4612435B2
JP4612435B2 JP2005051814A JP2005051814A JP4612435B2 JP 4612435 B2 JP4612435 B2 JP 4612435B2 JP 2005051814 A JP2005051814 A JP 2005051814A JP 2005051814 A JP2005051814 A JP 2005051814A JP 4612435 B2 JP4612435 B2 JP 4612435B2
Authority
JP
Japan
Prior art keywords
posterior
common term
acoustic model
value
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005051814A
Other languages
English (en)
Other versions
JP2006235389A (ja
Inventor
晋治 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005051814A priority Critical patent/JP4612435B2/ja
Publication of JP2006235389A publication Critical patent/JP2006235389A/ja
Application granted granted Critical
Publication of JP4612435B2 publication Critical patent/JP4612435B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、音響モデル作成方法と音響スコア計算方法と、それらの方法を用いた音声認識装置および音声認識方法に関するものである。
音声認識装置の概略を、図1を用いて説明する。音声認識装置は、音声特徴量抽出部900、音響モデル学習部910、音響モデル記録部920、音声認識部930、辞書940から構成される。また、音声認識装置には学習モードと認識モードがある。学習モードでは、音声特徴量抽出部900で入力音声データ(学習データ)をフレームごとに時系列の音声特徴量ベクトルに変換し、音響モデル学習部910でモデルパラメータ学習及び適切なモデル構造決定を行い、音響モデル記録部920に記録する。認識モードでは、音声特徴量抽出部900で入力音声データ(未知データ)をフレームごとに時系列の音声特徴量ベクトルに変換し、音声認識部930で、音響モデル記録部920に記録された音響モデルを用いて音声特徴量ベクトルに対するスコアを算出し、辞書940に記録された情報を用いて発音辞書モデルや言語モデル等に対するスコアを考慮して認識結果を得る。
音響モデルについて説明する。通常音声認識用音響モデルでは、各音素をLeft to rightの隠れマルコフモデル(HMM)で、HMM状態の出力確率分布を混合ガウス分布モデル(GMM)で表現する。学習データに対しては、その何れの部分が何れの音素であるかを示すラベル情報が与えられている。ラベル情報により得られる学習データ中の各音素に対応するデータから、尤度を最大化するようにモデルパラメータ(ガウス分布の平均、分散、混合重み係数、状態遷移確率)を推定することをモデルパラメータの学習と呼ぶ。モデルパラメータを学習する手法としては最尤学習法がある。また、近年では変分ベイズ学習によるモデルパラメータの事後確率分布に対する学習法も用いられている。
変分ベイズ学習を用いた音響モデル学習は特許文献1にて実現されている。ここでは、変分ベイズ学習を用いたBaum-Welchアルゴリズムによる音響モデル学習について説明を行う。図2は変分ベイズ学習を用いたBaum-Welchアルゴリズムの従来計算法での音声認識用音響モデル作成装置の機能構成例を示す図である。Baum-Welchアルゴリズムは、もともと最尤学習の枠組みであり、出力信号系列は与えられているが、状態系列・混合ガウス分布系列は与えられていない場合に、HMM・GMMのパラメータΘを繰返し処理によって推定する方法である(非特許文献1)。これを変分ベイズ学習に適用することにより、モデルパラメータΘではなく、学習データxが与えられたときの、ハイパーパラメータΦを持つ変分ベイズ事後確率分布q(Θ|x,Φ)を推定することが可能となる。これを変分ベイズ学習版のBaum-Welchアルゴリズムと呼ぶ。変分ベイズ学習版のBaum-Welchアルゴリズムでは、まず統計量初期設定部911で、ハイパーパラメータΦで表現されるモデルパラメータ集合Θの事前分布p(Θ|Φ)を設定する。その後p(Θ|Φ)と観測された出力信号系列xを手がかりに、全ての状態系列Sおよび混合ガウス分布系列Vについて変分ベイズ学習により求まる事後出現確率Q(S,V|x,Φ)を計算する。しかし、実際に全ての状態系列に対してQ(S,V|x,Φ)を求めるためには、膨大な計算量が必要とされる。そこで、効率的に期待値を計算する前向き・後向きアルゴリズム(FBアルゴリズム)を用いる。FBアルゴリズムは、モデルと出力信号が与えられた下で、時間tにおいて状態iに至る確率α (前向き確率)と、時刻tに状態jを出発して最終時刻Tに最終状態に到達する確率β (後向き確率)とを、あらかじめ計算して計算量の削減を図るアルゴリズムである。計算した前向き・後ろ向き確率をメモリに格納しておけば、必要なときにその都度メモリを参照すればよいため、計算量は大幅に削減できる。このFBアルゴリズムが含まれる計算部をFB計算部(E-step)912と呼ぶ。その後統計量更新部(M-step)913においてハイパーパラメータΦを更新し、それを元に変分ベイズ学習により求まる事後確率分布q(Θ|x,Φ)の推定を行う。さらに、得られた事後確率分布q(Θ|x,Φ)を初期モデルとして学習を繰返すことで、より高い確率で学習データを出力しうる音響モデルの学習を行う。
次に、FBアルゴリズムについて説明する。まず初めにD次元時系列特徴量ベクトル集合x={x∈R|t=1,…,T}を定義する。フレーム数をTとする。また、状態系列集合をS={s,s,…,s}、混合ガウス成分系列をV={v,v,…,v}を定義する。t時にHMMの状態系列がiからjに移るときの事後遷移確率値Q(st−1=i,s=j|x,Φ)≡γ ijは、フォワード係数αおよびバックワード係数βを用いて次のように求めることができる。
Figure 0004612435
ここで、kはGMM成分の指標を表す。また、αおよびβは次のように定義される。
Figure 0004612435
ここで、α =0およびβ =Tにはフレームの境界条件を元に適切な初期値を与える。同様に、t時のHMM状態jにおいてGMM成分kが存在する事後占有確率値Q(s=j,v=k|x,Φ)≡ζ jkの計算も、フォワード係数αおよびバックワード係数βを用いて次のように求めることができる。
Figure 0004612435
ここで、式(1)〜(3)中のaij,wjk,bjk(x)は、共分散行列が対角であることを仮定すると、ハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}を用いて次のように計算することができる。
Figure 0004612435
ここで、Ψ(・)は、ディガンマ関数であり、dは特徴量次元の指数を表す。このようにして、FBアルゴリズムにより、γ ijおよびζ jkを計算することが可能となるが、それを求めるには事後確率分布のハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}が必要となる。
事後確率分布のハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}は、統計量初期設定部911であらかじめ設定されるものであり、Baum-Welchアルゴリズムの統計量更新部913(EMアルゴリズムのM−step)で0次の統計量γij、ζjk、1次の統計量Μjk、2次の統計量Vjkを用いて更新される。0次の統計量γij、ζjk、1次の統計量Μjk、2次の統計量Vjkは、FB計算部912によって求まるγ ij、ζ jkを用いて次のように求めることができる。
Figure 0004612435
ここで、’は行列やベクトルの転置を表す。統計量はΩで定義する(Ω≡{γij,ζjk,Μjk,Vjk})。これらの統計量と事前確率分布のハイパーパラメータΦと用いると、Φは次のように求めることができる。
Figure 0004612435
このようにして求まったΦを用いてFB計算部に戻り、繰り返し処理によってHMM・GMMの変分ベイズ事後確率分布q(Θ|x,Φ)に対しての学習を再度行う。
この処理は、τ回目の繰り返し計算によって得られるΦ[τ]を用いて計算される変分ベイズ評価関数F(Φ[τ])と前回の変分ベイズ評価関数F(Φ[τ−1])の差があらかじめ定めた収束判定のしきい値ε以下になると終了する。つまり、
Figure 0004612435
が成立すれば音響モデル学習が終了する。なお、εは、例えば0.1などの数値をあらかじめ決めておく。また、あらかじめ実験等により収束する繰り返し回数を調べておき、繰り返し回数が所定の回数に達したときに音響モデル学習を終了する方法もある。
また、繰り返し計算をFB計算部912、統計量更新部913、評価部914の繰り返しで行い、収束条件を満たす場合に、評価部914で繰り返し処理を中止するのだから、繰り返し処理をFB計算部912から始めるのではなく、図3に示すように統計量更新部913から始めることもある。この場合は式(7)から繰り返し計算を始めることになるので、統計量初期設定部911−2では、事後遷移確率値γ ij、事後占有確率値ζ jk(t=1,…,T)を設定する。
特開2004−117503号公報 鹿野清宏他、"音声認識システム"、オーム杜、2001、pp.25-36.
変分ベイズ学習を用いた音声認識におけるBaum-Welchアルゴリズム及びViterbiアルゴリズムでは、繰り返し処理により音響パラメータを求めるため、計算量が膨大となる。特に図2に示した従来のFB計算部912での計算では、式(1)(2)に必要な
Figure 0004612435
および、式(3)に必要な
Figure 0004612435
の計算では、式(4)〜(6)をフレームごとに計算する必要があるため、多くの時間を要するという問題があった。
このような問題を解決する方法として、あらかじめフレームごとの計算に共通する項(以下、「共通項」という。)を計算して記録部に記録しておき、フレームごとの計算では記録部に記録された量を用いて計算する方法が一般的に利用される。
しかし、変分ベイズ学習の計算は大変複雑であり、特に指数関数およびその因数計算内の初等計算のみならず、ΣやΣといった和計算が存在するため、共通項の導出が大変困難である。したがって、共通項を抽出することができず、共通項を記録部に記録して計算量を削減する方法が利用できなかった。
また、音響モデル学習から音声認識へとモードを変えると、共通項のフォーマットおよび音響スコア計算の関数形を変更する必要があるため、ソースコード上に複数の複雑な共通項のフォーマットおよび音響スコア計算の関数形が存在して、プログラムが大変複雑になっていた。
本発明では、変分ベイズ学習を用いたBaum-Welchアルゴリズム及びViterbiアルゴリズムでのフレームごとの音響モデル学習の計算および音声認識でのスコア計算において、フレームごとに計算する必要が無い量をあらかじめ計算しておき、フレームごとの計算に利用する。また、音響スコア計算で、共通項のフォーマットおよび音響スコア計算の関数形が同一となる汎用的なスコア計算関数を用いる。
本発明は、フレームごとのスコア計算において、フレームごとに計算する必要が無い量をあらかじめ計算を行っている。したがって、フレームごとのスコア計算を大幅に削減することが可能となり、本発明の目的である変分ベイズ法を用いたBaum-Welchアルゴリズム及びViterbiアルゴリズムでのフレームごとの計算を高速におこなうことができるようになる。また、音響モデル学習から音声認識へとモードを変える場合にも、共通項のフォーマットおよび音響スコア計算の関数形が同一となる汎用的なスコア計算関数を導入することにより、プログラムを簡略化できる。
[第1実施形態]
共通項の導出
本発明のポイントは、ベイズ音声認識において重要なFB計算部912での各状態i,j、フレームtごとの音響スコア計算を、どのような方法で共通項とフレームごとに計算を行う項とに分離するかである。そこで、実施形態の説明の前に、各実施形態で用いる共通項の導出方法について説明する。本発明では、以下のようなNで関数を変更できる汎用的な関数(以下、「汎用スコア計算関数」という。)L ij,Nを適用して、計算を簡略化させることで、共通項を抽出した。
Figure 0004612435
ただし、logは、e=2.718…を底とする自然対数である。この関数は、Nによって形を変えることができ、例えばN=1のときは、
Figure 0004612435
となる。ここで、Hij、Ajk、Cjkはスカラー、GjkはD次元ベクトル、BjkはD×D行列であり、Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}が共通項となる。この共通項Λは、3つのスカラー量、1つのベクトル、および1つの行列から構成されており、汎用スコア計算関数L ij,NのNの値を変えることで関数が変化しても、共通項の構成(フォーマット)は変わらない。そこで、以下ではΛを汎用共通項と呼ぶ。汎用的な関数とは、音声学習モードで事後遷移確率値と事後占有確率値を求めるときに使用しうる複数の関数や、音声認識モードで音響スコアを求めるときに使用しうる複数の関数を、関数の形を決定するパラメータ(式(10)の場合はN)を含む1つの関数で表現したものをいう。
以下には、関数L ij,Nを用いて汎用共通項を抽出することで、図2、図3に示した構成を、図4または図6に示すようにFB計算部112、統計量更新部913、共通項計算部111、評価部914が主な構成要素となり、パラメータ記録部115には、統計量Ω≡{γij,ζjk,Μjk,Vjk}、ハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}、汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}の3種類のデータが記録される実施形態を実現できることを証明する。
FB計算部112の式(1)(2)計算に必要であり、膨大な計算時間を要する
Figure 0004612435
の計算では、音響スコア計算手段9121で行う式(4)〜(6)の計算をフレームごとに行わなければならないために、計算量が膨大となる。
Figure 0004612435
に、式(4)〜(6)を代入し、対数を取ると、
Figure 0004612435
となる。この式の簡略化(関数L ij,Nへの変形)していく。式(13)中のディガンマ関数Ψ(・)や、後ほど説明するガンマ関数Γ(・)などの特殊関数は計算量が多いため、これらの計算をできるだけ避ける必要がある。そこで、フレームtに依存せず計算できる共通項を見つけ出し、統計量初期設定部911−2(911)や統計量更新部913であらかじめ計算しておくことを考える。
まず、式(13)中で加算の指標k、dや指標jといった共通の指標を持つ項およびその定数因子が掛けられたもの、定数項が足されたものを共通項としてまとめると、式(13)は次のように書き直すことができる。
Figure 0004612435
ここで、wjkは式(5)に定義されており、その他の項は、
Figure 0004612435
である。式(14)によって、Σ、Σに注意しながら共通項(Hij,wjk,Ujk,Vjk,d,Yjk、d)を見つけ出すことができた。さらに式(14)の指数関数の特性exp(r+s)=exp(r)・exp(s)を用いて共通項のうちwjk,Ujk,Vjk,dを次のようにさらに共通化することができる。
Figure 0004612435
以上の結果をまとめると、式(13)は次のように共通項をまとめることができる。
Figure 0004612435
ここで、|・|は行列式をあらわす。したがって、共通項Hij、Ajk、Cjk、Gjk、Bjkを共通項計算部111であらかじめ計算し、それらをパラメータ記録部115に記録して、フレームごとの計算に利用することにより、FB計算部112のフレームごとの計算は大幅に削減することができる。
同様に、t時のHMM状態jにおいてGMM成分kが存在する事後占有確率値ζ jkの計算(式(3))に対しても、aijjkjk(x)の対数log(aijjkjk(x))は式(19)で定義されたHij、Ajk、Cjk、Gjk、Bjkを用いて、次のように簡略化できる。
Figure 0004612435
これは、式18において、Σを除いたものであり、L ij,N=1の特殊形態とみなせる。したがって、先程と同様に、式(19)をもとにHij、Ajk、Cjk、Gjk、Bjkを共通項計算部111であらかじめ計算することにより、フレームごとの計算量を大幅に削減できる。
具体的な実施形態
具体的な実施形態を図4に示す。音響モデル学習部110は、統計量初期設定部911−2、統計量更新部913、共通項計算部111、評価部914、FB計算部112、およびパラメータ記録部115から構成され、音響モデル学習部110へは音声特徴量抽出部900で音声データの特徴量が抽出された信号が入力される、音響モデル学習部110からは、音響パラメータとなるハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}が出力される。統計量初期設定部911−2は、音声特徴量が入力されると、統計量更新部913で最初に計算される式(7)に必要な事後遷移確率値γ ij、事後占有確率値ζ jk(t=1,…,T)を設定し、出力する。統計量更新部913は、式(7)を計算して統計量Ω≡{γij,ζjk,Μjk,Vjk}をパラメータ記録部115に記録し、式(8)を計算してハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}をパラメータ記録部115に記録する。繰り返し計算の1フレーム目の場合は、共通項計算部111へ進み、式(19)を計算して汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}をパラメータ記録部115に記録する。評価部914は、式(9)の計算と評価によって、繰り返し処理を終了するか否かを判断する。なお、評価部914では、前述のように式(9)による計算と評価ではなく、あらかじめ定めた繰り返し回数に達したか否かで判断する方法もある。繰り返し処理を終了する場合には、パラメータ記録部115に記録されたハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}を音響モデルとして記録部920に出力し、音響モデル学習が終了する。繰り返し処理を継続する場合には、FB計算部112へ進み、パラメータ記録部115から汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を読み出して音響スコア計算手段1121で式(11)(20)を計算し、その結果を利用して式(1)〜(3)を計算する。この結果を用いて統計量更新部913に戻り処理が繰り返される。パラメータ記録部115には、統計量Ω≡{γij,ζjk,Μjk,Vjk}、ハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}、汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}の3種類のデータが記録される。図5に処理フローを示す。
具体的な例として1500文の音声データで学習した場合、従来方法と本発明の方法で学習時間が103秒から56秒へと短縮された。
[変形例1]
図6に第1実施形態の変形例の機能構成を示す。前述のように繰り返し処理では、統計量の初期設定の方法を変えることによって、どの処理から始めるかを変えることができる。図5の構成では、統計量初期設定部911で、ハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}の初期値を設定する。共通項計算部111で式(19)を計算して汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}をパラメータ記録部115に記録し、繰り返し処理をFB計算部112から始める。繰り返し計算が始まった後は、第1実施形態と同じである。図7に処理フローを示す。
[変形例2]
第1実施形態の方法は、Viterbiアルゴリズムを用いて音響モデルを学習する場合にも有効である。Viterbiアルゴリズムを用いる場合には、式(1)と(3)の代わりに
Figure 0004612435
を計算する。この計算でも、第1実施形態の変分ベイズ版のBaum-Welchアルゴリズムと同様に、
Figure 0004612435
の計算のために、あらかじめ式(19)によって汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を計算しておき、式(11)を用いることで計算時間の大幅な短縮が可能である。
[変形例3]
本手法は分布族が異なり、関数形が異なるような場合にも適切に汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を設定すれば、式(10)により式を簡略化し、高速に計算することができる。たとえば対角共分散行列ではなく、通常の共分散行列を用いた場合には、変分ベイズ事後確率分布q(Θ|x,Φ)の分布族が変わり、式(6)中のbjkが次のように変わる。
Figure 0004612435
と変えるだけでよい。
つまり、汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}の構成(フォーマット)は維持したまま、汎用共通項Λの各要素の定義と関数L ij,NのNの値を変えることで、本手法は広く利用可能である。
変形例2と変形例3から分かるように、音響スコア計算の方法が変わっても、使用する関数が汎用スコア計算関数を利用できる限り、汎用共通項Λの構成(フォーマット)は変わらない。このことは、ソフトウェア作成上の大きな効果である。つまり、同じプログラム資源を利用して音響スコア計算関数を変更する場合でも、汎用スコア計算関数L ij,NのNの値を変えるだけで、データベース(記録部)のフォーマットを変えたり、データをやり取りするサブルーチンのプログラムを変更したりする必要が無いため、軽微な変更で利用できる。
[第2実施形態]
共通項の導出
第1実施形態で示した方法は、認識モードでの音響スコア計算においても有効である。音声データの特徴量時系列x={x∈R|t=1,…}を未知のデータとし、与えられた音響モデルをもとに音響スコア計算を行う場合を考える。変分ベイズ学習で音響モデルを作成した場合の音響スコア計算は、各フレーム(t)の各状態(j)に対する音響スコアを計算し、Viterbiアルゴリズムを用いることにより行う。共分散行列が対角な時、音響スコアの具体形はStudent-t分布型の分布関数の対数形を用いて、次式のように表すことができる。
Figure 0004612435
ここで、Γ(・)はガンマ関数を表す。式(24)に対しても、汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を次のように定義し、
Figure 0004612435
これらの共通項をあらかじめ計算しておけば、式(24)の計算は、次式のように簡略化できる。
Figure 0004612435
したがって、式(25)に定義された汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}をあらかじめ計算し、記録しておくことで大幅に計算量を削減することができる。
具体的な実施形態
図8に学習モードでの本発明の機能構成例を示す。図4との違いは、評価部914で収束していることが確認された後、パラメータ計算部216では式(25)で定義された汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を計算し、ハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}とともに式(25)の汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を記録部220に記録することである。図9に処理フローを示す。なお、図6に示した第1実施形態の変形例1の場合も、パラメータ計算部216を追加し、式(25)の汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を計算し、記録部220に記録する変更をするだけでよい。
また認識モードでの機能構成例を図10に示す。認識モードの場合は、音声認識部230内の音響スコア計算部231で、音声特徴量抽出部900で特徴量に変換された音声データ(未知データ)の時系列に対しての音響スコアを、記録部220に記録された音響モデルと汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を用いて式(12)にしたがって計算する。このように、フレームごとに共通の項を記録部220に記録しておき、計算に必要なときに読み出すことにより計算量を大幅に削減することができる。図11に認識モードでの処理フローを示す。
なお、式(26)から分かるように、音声認識でも音響スコアをStudent-t分布型の分布関数の対数形を用いて計算する場合は、汎用スコア計算関数L ij,NのNを∞とすることで音響スコア計算に使用する関数を定義することができる。また、共通項は汎用共通項Λの構成(フォーマット)をそのまま用いることができる。したがって、第1実施形態の学習モード(音響スコア計算では、汎用スコア計算関数L ij,NのNを1とした関数を用いた。)と第2実施形態の認識モードとを組み合わせた音声認識装置の場合に、汎用スコア計算関数と汎用共通項を用いることで、共通項のフォーマットおよび音響スコア計算の関数形が同一となり、学習用と認識用の音響スコア計算を行うプログラムを共通化することができる。このように音響スコア計算を学習モードと認識モードとで共通化することで、図10に示したように音響スコアの計算に音響スコア計算手段1121(図4の学習モードで使用した手段)を用いることができる。
[変形例1]
第2実施形態では学習モードの最後に、認識モードで使用する汎用共通項Λを求めた。しかし、学習モードではハイパーパラメータΦのみを記録部920に記録し、認識モードの音声認識の前に汎用共通項Λを求める方法もある。図12は、認識モード中で音声認識時の音響スコア計算に用いる共通項を求める場合の機能構成例を示している。図10との違いは、記録部920にはハイパーパラメータΦのみが記録されており、音声認識部230’内には、音響スコア計算手段231の他に、式(25)にしたがって汎用共通項Λを計算する共通項計算手段232と汎用共通項Λを記録しておくパラメータ記録手段233が備えられている点である。このように構成することで、学習モードで認識モードのときに使用する共通項Λが計算されていない場合にも、認識モードでの計算を簡略化できる。図13には、この場合の認識モードでの処理フローを示す。
[変形例2]
共通項の導出
第2実施形態では音響スコアをStudent-t分布型の分布関数の対数形を用いて解析的に求める場合を説明したが、事後確率最大化近似により音響スコアの具体形を、ガウス分布を用いて近似的に求める場合の例を以下に示す。この場合の音響スコアの計算は次のようになる。
Figure 0004612435
式(27)に対しても、汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を次のように定義し、
Figure 0004612435
これらの共通項をあらかじめ計算しておけば、式(27)の計算は、次式のように簡略化できる。
Figure 0004612435
したがって、式(28)に定義された汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}をあらかじめ計算し、記録しておくことで大幅に計算量を削減することができる。
具体的な実施形態
図8に学習モードでの本発明の機能構成例を示す。第2実施形態との違いは、パラメータ計算部216では式(28)で定義された汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を計算し、ハイパーパラメータΦ≡{φij、ρjk,ξjk,νjk,ηjk,Rjk}とともに式(28)の汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を記録部220に記録することである。図9に処理フローを示す。なお、図6に示した第1実施形態の変形例1の場合も、パラメータ計算部216を追加し、式(28)の汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を計算し、記録部220に記録する変更をするだけでよい。
また認識モードでの機能構成例を図10に示す。認識モードの場合は、音声認識部230内の音響スコア計算部231で、音声特徴量抽出部900で特徴量に変換された音声データ(未知データ)の時系列に対しての音響スコアを、記録部220に記録された音響モデルと汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}を用いて式(11)にしたがって計算する。このように、フレームごとに共通の項を記録部220に記録しておき、計算に必要なときに読み出すことにより計算量を大幅に削減することができる。図11に認識モードでの処理フローを示す。
[変形例3]
第2実施形態と変形例1との関係と同じように、変形例2も音声認識時の音響スコア計算に用いる共通項を認識モード中で求めるように変更することができる。図12は、認識モード中で音声認識時の音響スコア計算に用いる共通項を求める場合の機能構成例を示している。この場合は、共通項計算手段232は、式(28)にしたがって汎用共通項Λを計算する。図13には、この場合の認識モードでの処理フローを示す。
[第3実施形態]
第1実施形態において汎用共通項Λを式(19)で定義したが、共通項を単純に変更することは容易である。たとえば、
Figure 0004612435
を以下のようにフレームtに依存する成分と依存しない成分とに、
Figure 0004612435
のように簡略化させ、共通項を
Figure 0004612435
と定義することも可能である。しかし、共通項aij、Xjk、Yjk,dと式(19)で定義した汎用共通項とを比較してみると、
Figure 0004612435
であり、汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}の一部を単純に変形しただけである。したがって、本質的には第1実施形態と同じである。ここで、単純な変形とは、たとえば足して2で割る((A+B)/2)を2で割った後足す((A/2)+(B/2))などの演算の順番を変更しただけ、たとえば行列式の計算結果と行列式の表現などの数学的な表現を変更しただけ、たとえば対数計算と指数計算を組み合わせる(Hをexp(logH)と置き換える)などの逆の演算を付け足しただけの変形などを言う。
[第4実施形態]
第2実施形態のStudent-t分布型の分布関数を用いて、次式のように表すことができる。
Figure 0004612435
式(33)に対しても、
Figure 0004612435
と共通項を定義すれば、
Figure 0004612435
と簡略化することができる。ここで、式(34)と式(25)とを比較してみると、
Figure 0004612435
であり、汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}の一部を単純に変形しただけである。したがって、本質的には第2実施形態と同じである。
[変形例]
第2実施形態の変形例のガウス分布を用いて近似的に求める場合も、
Figure 0004612435
を、共通項
Figure 0004612435
によって、
Figure 0004612435
と簡略化することも可能である。ここで、式(38)と式(28)とを比較すると、
Figure 0004612435
であり、汎用共通項Λ≡{Hij,Ajk,Cjk,Gjk,Bjk}の一部を単純に変形しただけである。したがって、本質的には第2実施形態の変形例と同じである。
音声認識装置の概略を示す図。 変分ベイズ学習を用いたBaum-Welchアルゴリズムの従来の計算法での音声認識用音響モデル作成装置の機能構成例を示す図。 変分ベイズ学習を用いたBaum-Welchアルゴリズムの従来の計算法での音声認識用音響モデル作成装置の第2の機能構成例を示す図。 第1実施形態の変分ベイズ版のBaum-Welchアルゴリズムを用いた音響モデル学習部を備えた音響モデル学習装置の機能構成例を示す図。 第1実施形態の変分ベイズ版のBaum-Welchアルゴリズムを用いた音響モデル学習部を備えた音響モデル学習方法の処理フローを示す図。 第1実施形態の変形例の機能構成を示す図。 第1実施形態の変形例の処理フローを示す図。 第2実施形態の学習モードでの機能構成例を示す図。 第2実施形態の学習モードでの処理フローを示す図。 第2実施形態の認識モードでの機能構成例を示す図。 第2実施形態の認識モードでの処理フローを示す図。 第2実施形態の変形例の認識モードでの機能構成例を示す図。 第2実施形態の変形例の認識モードでの処理フローを示す図。

Claims (8)

  1. 各状態の出力確率分布を混合ガウス分布でモデル化した隠れマルコフモデルでモデル化された音響モデルのパラメータを変分ベイズ学習によって推定する音響モデル学習装置であって、
    時刻t時に隠れマルコフモデルの状態系列が状態iから状態jに移るときの事後遷移確率値をγ ij
    時刻t時の隠れマルコフモデルの状態jにおいて混合ガウス分布の成分kが存在する事後占有確率値をζ jkとし、
    音声学習データをフレームごとに音声特徴量に変換する音声特徴量抽出部と、
    音響モデルパラメータを推定する繰り返し処理で、フレームごとの計算に共通する項(以下、「共通項」という。)をあらかじめ計算しておき、前記繰り返し処理の計算に前記共通項を使用する音響モデル学習部と、
    を備え、
    前記音響モデル学習部は、
    事後遷移確率値と事後占有確率値の初期値を設定する初期値設定手段と、
    時刻tのフレームの前記音声特徴量であるxおよび事後遷移確率値と事後占有確率値を用いて統計量の更新値を
    Figure 0004612435
    を用いて計算し(ただし´は行列やベクトルの転置を表す)、更新済みの統計量より事後確率分布のハイパーパラメータである{φij、ρjk、ξjk、νjk、ηjk、R
    }の更新値を
    Figure 0004612435
    を用いて計算する(ただし、右上にがつくパラメータは、更新前のハイパーパラメータ)更新手段と、
    Ψをディガンマ関数とした場合に、
    Figure 0004612435
    の少なくとも1つを隠れマルコフモデルの各状態に応じた項であるFBアルゴリズムを用いたフレームごとの計算で用いる共通項として計算をする共通項計算手段と
    事後確率分布のハイパーパラメータの更新値が収束しているかを判断し、収束している場合には事後確率分布のハイパーパラメータを音響モデルパラメータの推定結果とする評価手段と、
    事後確率分布のハイパーパラメータの更新値と前記共通項を用いてFBアルゴリズムを用いたフレームごとの計算を行い、事後遷移確率値と事後占有確率値を出力するFB計算手段と、
    前記事後確率分布のハイパーパラメータの更新値と前記共通項とを記録するパラメータ記録手段と、
    を有し、
    前記繰り返し処理とは、FB計算手段、更新手段、評価手段での処理を繰り返すことであることを特徴とする
    音響モデル学習装置
  2. 各状態の出力確率分布を混合ガウス分布でモデル化した隠れマルコフモデルでモデル化された音響モデルのパラメータを変分ベイズ学習によって推定する音響モデル学習装置であって、
    時刻t時に隠れマルコフモデルの状態系列が状態iから状態jに移るときの事後遷移確率値をγ ij
    時刻t時の隠れマルコフモデルの状態jにおいて混合ガウス分布の成分kが存在する事後占有確率値をζ jkとし、
    音声学習データをフレームごとに音声特徴量に変換する音声特徴量抽出部と、
    音響モデルパラメータを推定する繰り返し処理で、フレームごとの計算に共通する項(以下、「共通項」という。)をあらかじめ計算しておき、前記繰り返し処理の計算に前記共通項を使用する音響モデル学習部と、
    を備え、
    前記音響モデル学習部は、
    事後確率分布のハイパーパラメータである{φij、ρjk、ξjk、νjk、ηjk
    、Rjk}の初期値を設定する初期値設定手段と、
    Ψをディガンマ関数とした場合に、
    Figure 0004612435
    の少なくとも1つを隠れマルコフモデルの各状態に応じた項であるFBアルゴリズムを用いたフレームごとの計算で用いる共通項として計算をする(ただし´は行列やベクトルの転置を表す)共通項計算手段と
    事後確率分布のハイパーパラメータの更新値と前記共通項を用いてFBアルゴリズムを用いたフレームごとの計算を行い、事後遷移確率値と事後占有確率値を出力するFB計算手段と、
    時刻tのフレームの前記音声特徴量であるxおよび事後遷移確率値と事後占有確率値を用いて統計量の更新値を
    Figure 0004612435
    を用いて計算し(ただし´は行列やベクトルの転置を表す)、更新済みの統計量より事後確率分布のハイパーパラメータである{φij、ρjk、ξjk、νjk、ηjk、R
    }の更新値を
    Figure 0004612435
    を用いて計算する(ただし、右上にがつくパラメータは、更新前のハイパーパラメータ)更新手段と、
    事後確率分布のハイパーパラメータの更新値が収束しているかを判断し、収束している場合には事後確率分布のハイパーパラメータを音響モデルパラメータの推定結果とする評価手段と、
    前記事後確率分布のハイパーパラメータの更新値と前記共通項とを記録するパラメータ記録手段と、
    を有し、
    前記繰り返し処理とは、FB計算手段、更新手段、評価手段での処理を繰り返すことであることを特徴とする
    音響モデル学習装置
  3. 請求項1又は2記載の音響モデル学習装置であって、
    前記共通項のかわりに、
    Nを∞、前記事後確率分布のハイパーパラメータを{φij、ρjk、ξjk、νjk
    、ηjk、Rjk}、前記音声特徴量がD次元時系列特徴量ベクトル、Γをガンマ関数と
    した場合に、
    Figure 0004612435
    で定まるHij、Ajk、Cjk、Gjk、Bjkの少なくとも1つを共通項とする前記音響モデル学習部
    を備える音響モデル学習装置。
  4. 請求項1又は2記載の音響モデル学習装置であって、
    前記共通項のかわりに、
    Nを1、前記事後確率分布のハイパーパラメータを{φij、ρjk、ξjk、νjk
    、ηjk、Rjk}、前記音声特徴量がD次元時系列特徴量ベクトルとした場合に、
    Figure 0004612435
    で定まるHij、Ajk、Cjk、Gjk、Bjkの少なくとも1つを共通項とする前記音響モデル学習部
    を備える音響モデル学習装置。
  5. 各状態の出力確率分布を混合ガウス分布でモデル化した隠れマルコフモデルでモデル化された変分ベイズ学習によって作成した音響モデルのパラメータを用いる音声認識装置であって、
    時刻t時に隠れマルコフモデルの状態系列が状態iから状態jに移るときの事後遷移確率値をγ ij
    時刻t時の隠れマルコフモデルの状態jにおいて混合ガウス分布の成分kが存在する事後占有確率値をζ jkとし、
    音声学習データをフレームごとに学習データの音声特徴量に、音声認識対象となる未知の音声データをフレームごとに未知データの音声特徴量に、それぞれ変換する音声特徴量抽出部と、
    音響モデルパラメータを推定する繰り返し処理で、フレームごとの計算に共通する項(以下、「共通項」という。)をあらかじめ計算しておき、前記繰り返し処理の計算に前記共通項を使用する音響モデル学習部と、
    前記音響モデル学習部の結果を用いて音声認識を行う音声認識部と、
    を備え、
    前記音響モデル学習部は、
    事後遷移確率値と事後占有確率値の初期値を設定する初期値設定手段と、
    時刻tのフレームの前記学習データの音声特徴量であるxおよび事後遷移確率値と事後占有確率値を用いて統計量の更新値を
    Figure 0004612435
    を用いて計算し(ただし´は行列やベクトルの転置を表す)、更新済みの統計量より事後確率分布のハイパーパラメータである{φij、ρjk、ξjk、νjk、ηjk、R
    }の更新値を
    Figure 0004612435
    を用いて計算する(ただし、右上にがつくパラメータは、更新前のハイパーパラメータ)更新手段と、
    Ψをディガンマ関数とした場合に、
    Figure 0004612435
    の少なくとも1つを隠れマルコフモデルの各状態に応じた項であるFBアルゴリズムを用いたフレームごとの計算で用いる共通項として計算をする共通項計算手段と
    事後確率分布のハイパーパラメータの更新値が収束しているかを判断し、収束している場合には事後確率分布のハイパーパラメータを音響モデルパラメータの推定結果とする評価手段と、
    事後確率分布のハイパーパラメータの更新値と前記共通項を用いてFBアルゴリズムを用いたフレームごとの計算を行い、事後遷移確率値と事後占有確率値を出力するFB計算手段と、
    前記事後確率分布のハイパーパラメータの更新値と前記共通項とを記録するパラメータ記録手段と、
    前記収束した事後確率分布のハイパーパラメータを用いて、音声認識用の共通項を計算するパラメータ計算手段と、
    を有し、
    前記繰り返し処理とは、FB計算手段、更新手段、評価手段での処理を繰り返すことであり、
    前記音声認識部は、
    前記未知データの音声特徴量と、前記音声認識用の共通項とを用いて音響スコアを計算する音響スコア計算手段
    を備えることを特徴とする音声認識装置。
  6. 各状態の出力確率分布を混合ガウス分布でモデル化した隠れマルコフモデルでモデル化された変分ベイズ学習によって作成した音響モデルのパラメータを用いる音声認識装置であって、
    時刻t時に隠れマルコフモデルの状態系列が状態iから状態jに移るときの事後遷移確率値をγ ij
    時刻t時の隠れマルコフモデルの状態jにおいて混合ガウス分布の成分kが存在する事後占有確率値をζ jkとし、
    音声学習データをフレームごとに学習データの音声特徴量に、音声認識対象となる未知の音声データをフレームごとに未知データの音声特徴量に、それぞれ変換する音声特徴量抽出部と、
    音響モデルパラメータを推定する繰り返し処理で、フレームごとの計算に共通する項(以下、「共通項」という。)をあらかじめ計算しておき、前記繰り返し処理の計算に前記共通項を使用する音響モデル学習部と、
    前記音響モデル学習部の結果を用いて音声認識を行う音声認識部と、
    を備え、
    前記音響モデル学習部は、
    事後確率分布のハイパーパラメータである{φij、ρjk、ξjk、νjk、ηjk
    、Rjk}の初期値を設定する初期値設定手段と、
    Ψをディガンマ関数とした場合に、
    Figure 0004612435
    の少なくとも1つを隠れマルコフモデルの各状態に応じた項であるFBアルゴリズムを用いたフレームごとの計算で用いる共通項として計算をする(ただし´は行列やベクトルの転置を表す)共通項計算手段と
    事後確率分布のハイパーパラメータの更新値と前記共通項を用いてFBアルゴリズムを用いたフレームごとの計算を行い、事後遷移確率値と事後占有確率値を出力するFB計算手段と、
    時刻tのフレームの前記学習データの音声特徴量であるxおよび事後遷移確率値と事後占有確率値を用いて統計量の更新値を
    Figure 0004612435
    を用いて計算し(ただし´は行列やベクトルの転置を表す)、更新済みの統計量より事後確率分布のハイパーパラメータである{φij、ρjk、ξjk、νjk、ηjk、R
    }の更新値を
    Figure 0004612435
    を用いて計算する(ただし、右上にがつくパラメータは、更新前のハイパーパラメータ)更新手段と、
    事後確率分布のハイパーパラメータの更新値が収束しているかを判断し、収束している場合には事後確率分布のハイパーパラメータを音響モデルパラメータの推定結果とする評価手段と、
    前記事後確率分布のハイパーパラメータの更新値と前記共通項とを記録するパラメータ記録手段と、
    前記収束した事後確率分布のハイパーパラメータを用いて、音声認識用の共通項を計算するパラメータ計算手段と、
    を有し、
    前記繰り返し処理とは、FB計算手段、更新手段、評価手段での処理を繰り返すことであり、
    前記音声認識部は、
    前記未知データの音声特徴量と、前記音声認識用の共通項とを用いて音響スコアを計算する音響スコア計算手段
    を備えることを特徴とする音声認識装置。
  7. 請求項5又は6記載の音声認識装置であって、
    前記パラメータ計算手段は、
    前記収束した事後確率分布のハイパーパラメータを{φij、ρjk、ξjk、νjk
    ηjk、Rjk}とした場合に、
    Figure 0004612435
    で定まるHij、Ajk、Cjk、Gjk、Bjkの少なくとも1つを
    前記音声認識用の共通項とする
    ことを特徴とする音声認識装置。
  8. 請求項5又は6記載の音声認識装置であって、
    前記パラメータ計算手段は、
    前記収束した事後確率分布のハイパーパラメータを{φij、ρjk、ξjk、νjk
    ηjk、Rjk}とした場合に、
    Figure 0004612435
    で定まるHij、Ajk、Cjk、Gjk、Bjkの少なくとも1つを
    前記音声認識用の共通項とする
    ことを特徴とする音声認識装置。
JP2005051814A 2005-02-25 2005-02-25 音響モデル学習装置および音声認識装置 Expired - Fee Related JP4612435B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005051814A JP4612435B2 (ja) 2005-02-25 2005-02-25 音響モデル学習装置および音声認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005051814A JP4612435B2 (ja) 2005-02-25 2005-02-25 音響モデル学習装置および音声認識装置

Publications (2)

Publication Number Publication Date
JP2006235389A JP2006235389A (ja) 2006-09-07
JP4612435B2 true JP4612435B2 (ja) 2011-01-12

Family

ID=37043078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005051814A Expired - Fee Related JP4612435B2 (ja) 2005-02-25 2005-02-25 音響モデル学習装置および音声認識装置

Country Status (1)

Country Link
JP (1) JP4612435B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107735B2 (en) 2007-04-10 2012-01-31 Denso Corporation Three dimensional shape reconstitution device and estimation device
US8484024B2 (en) 2011-02-24 2013-07-09 Nuance Communications, Inc. Phonetic features for speech recognition
KR102637733B1 (ko) 2018-10-31 2024-02-19 삼성전자주식회사 뉴럴 네트워크 프로세서 및 그것의 컨볼루션 연산 방법
KR20200084687A (ko) 2019-01-03 2020-07-13 삼성전자주식회사 비이진 폴라 코드를 수신하는 장치 및 이의 디코딩 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184472A (ja) * 1999-12-27 2001-07-06 Hitachi Ltd アプリケーションプログラムの供給方法、スマートカード、スクリプト供給方法、端末装置およびアプリケーションプログラムを有する記憶媒体
JP2004117503A (ja) * 2002-09-24 2004-04-15 Nippon Telegr & Teleph Corp <Ntt> 音声認識用音響モデル作成方法、その装置、そのプログラムおよびその記録媒体、上記音響モデルを用いる音声認識装置
JP2006053431A (ja) * 2004-08-13 2006-02-23 Nippon Telegr & Teleph Corp <Ntt> 音声認識用音響モデル作成方法、音声認識用音響モデル作成装置、音声認識用音響モデル作成プログラム及びこのプログラムを記録した記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184472A (ja) * 1999-12-27 2001-07-06 Hitachi Ltd アプリケーションプログラムの供給方法、スマートカード、スクリプト供給方法、端末装置およびアプリケーションプログラムを有する記憶媒体
JP2004117503A (ja) * 2002-09-24 2004-04-15 Nippon Telegr & Teleph Corp <Ntt> 音声認識用音響モデル作成方法、その装置、そのプログラムおよびその記録媒体、上記音響モデルを用いる音声認識装置
JP2006053431A (ja) * 2004-08-13 2006-02-23 Nippon Telegr & Teleph Corp <Ntt> 音声認識用音響モデル作成方法、音声認識用音響モデル作成装置、音声認識用音響モデル作成プログラム及びこのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
JP2006235389A (ja) 2006-09-07

Similar Documents

Publication Publication Date Title
JP6671020B2 (ja) 対話行為推定方法、対話行為推定装置及びプログラム
JP6637078B2 (ja) 音響モデル学習装置、音響モデル学習方法及びプログラム
US8751227B2 (en) Acoustic model learning device and speech recognition device
JP6243858B2 (ja) 音声モデル学習方法、雑音抑圧方法、音声モデル学習装置、雑音抑圧装置、音声モデル学習プログラム及び雑音抑圧プログラム
JP5418223B2 (ja) 音声分類装置、音声分類方法、および音声分類用プログラム
CN110085215B (zh) 一种基于生成对抗网络的语言模型数据增强方法
WO2019163849A1 (ja) 音声変換学習装置、音声変換装置、方法、及びプログラム
US8494847B2 (en) Weighting factor learning system and audio recognition system
US10311888B2 (en) Voice quality conversion device, voice quality conversion method and program
JP4612435B2 (ja) 音響モデル学習装置および音声認識装置
WO2019138897A1 (ja) 学習装置および方法、並びにプログラム
US20210049324A1 (en) Apparatus, method, and program for utilizing language model
JP6910002B2 (ja) 対話行為推定方法、対話行為推定装置及びプログラム
JP5288378B2 (ja) 音響モデルの話者適応装置及びそのためのコンピュータプログラム
JP3920749B2 (ja) 音声認識用音響モデル作成方法、その装置、そのプログラムおよびその記録媒体、上記音響モデルを用いる音声認識装置
JP4950600B2 (ja) 音響モデル作成装置、その装置を用いた音声認識装置、これらの方法、これらのプログラム、およびこれらの記録媒体
JP6646337B2 (ja) 音声データ処理装置、音声データ処理方法および音声データ処理プログラム
JP5308102B2 (ja) 誤り数別識別スコア・事後確率計算方法と、その方法を用いた誤り数重み付き識別学習装置とその方法と、その装置を用いた音声認識装置と、プログラムと記録媒体
JP6324647B1 (ja) 話者適応化装置、音声認識装置および音声認識方法
JP6114209B2 (ja) モデル処理装置、モデル処理方法、およびプログラム
JP5647159B2 (ja) 事前分布計算装置、音声認識装置、事前分布計算方法、音声認識方法、プログラム
JP6220694B2 (ja) モデル処理装置、その方法、およびプログラム
US20230386489A1 (en) Audio signal conversion model learning apparatus, audio signal conversion apparatus, audio signal conversion model learning method and program
JP2008197463A (ja) 音声認識装置及び音声認識方法
JP6057170B2 (ja) 音声言語評価装置、パラメータ推定装置、方法、及びプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101015

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees