JP4989379B2 - 雑音抑圧装置、雑音抑圧方法、雑音抑圧プログラム、および記録媒体 - Google Patents

雑音抑圧装置、雑音抑圧方法、雑音抑圧プログラム、および記録媒体 Download PDF

Info

Publication number
JP4989379B2
JP4989379B2 JP2007230338A JP2007230338A JP4989379B2 JP 4989379 B2 JP4989379 B2 JP 4989379B2 JP 2007230338 A JP2007230338 A JP 2007230338A JP 2007230338 A JP2007230338 A JP 2007230338A JP 4989379 B2 JP4989379 B2 JP 4989379B2
Authority
JP
Japan
Prior art keywords
noise
signal
theta
parameter
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007230338A
Other languages
English (en)
Other versions
JP2009063747A (ja
Inventor
拓也 吉岡
正人 三好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007230338A priority Critical patent/JP4989379B2/ja
Publication of JP2009063747A publication Critical patent/JP2009063747A/ja
Application granted granted Critical
Publication of JP4989379B2 publication Critical patent/JP4989379B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は例えば音声認識システムやテレビ会議システム等に利用することができる雑音抑圧装置、雑音抑圧方法、雑音抑圧プログラム、および記録媒体に関する。
雑音抑圧技術は、
1.スペクトル減算に基づく方法
2.音声の調波構造に基づく方法
3.音声と雑音のパラメトリックモデルに基づく方法
の3つに大別される。本発明は3つめの分類に属する。そこで、音声と雑音のパラメトリックモデルに基づく雑音抑圧技術について図を用いて説明する。図1は、一般的な音声と雑音のパラメトリックモデルに基づく雑音抑圧装置の機能構成例を示す図である。雑音抑圧装置900は、入力部910、フレーム化処理部920、バッファリング/データ流制御部930、雑音抑圧部940、音声パラメータ推定部950、雑音パラメータ推定部960から構成される。
入力部910はマイクロホンや音声ファイル等の入力手段から音響波形データを読み出し、離散化/量子化された雑音を含む音声信号を出力する。以後、この雑音を含む音声信号を観測信号と呼ぶ。なお、本明細書での「信号」とは波形の標本系列のことである。フレーム化処理部920は、観測信号をあらかじめ定めた長さの短時間フレーム毎に切り出して出力する。フレーム長としては、通常、20〜30ミリ秒程度が採用される。この短時間フレームにおいて、音声信号と雑音信号の統計的性質は定常であると仮定される。雑音抑圧処理を実施する雑音抑圧部940は1フレームを処理単位として逐次的に動作する。そのため、バッファリング/データ流制御部930は、フレーム毎の観測信号を受け取り、雑音抑圧部940が1フレームの観測信号の処理を完了した時点で、その次のフレームの観測信号を雑音抑圧部940へ送出する。雑音抑圧部940は、1フレームの観測信号、音声パラメータ、雑音パラメータを受け取り、これらに基づいて当該フレームの雑音抑圧信号を出力する。また、当該フレームの処理が終了したことをバッファリング/データ流制御部930に通知する。
雑音パラメータ推定部960は、雑音に関する何らかの統計量を用いて処理対象のフレームに含まれる雑音のパラメータを推定する。音声パラメータ推定部950は、処理対象のフレームにおける観測信号と雑音パラメータの推定値を用いて音声のパラメータを推定する(非特許文献1)。別の方法として、音声パラメータ推定部950と雑音パラメータ推定部960を協調させることによって、音声パラメータと雑音パラメータを同時に推定することも可能である(非特許文献2)。いずれの方法を用いるにせよ、雑音パラメータの推定精度が雑音抑圧性能に密接に関連する。
Lim,J.S. and Oppenheim, A.V.: All-pole modeling of degraded speech, IEEE Trans. Acoust. Speech, Signal Process., Vol.26,No.3,pp.197-210(1978). Ephraim, Y.: A bayesian estimation approach for speech enhancement using hidden Markov models, IEEE Trans. Signal Process., Vo1.40,No.4,pp.725-735(1992).
雑音パラメータを推定するためには、雑音に関する統計量を必要とする。従来、雑音統計量を得るために、主として次の3つの方法が採用されてきた。
1.すべてのフレームのうち音声を含まない、すなわち雑音のみを含むフレームを検出し、検出されたフレームの観測信号を雑音信号とみなして雑音統計量を計算する方法。
2.すべてのフレーム、あるいは長時間のフレーム系列にわたって雑音は定常と仮定して、音声を含むフレームと含まないフレームを識別せずに観測信号から雑音統計量を推定する方法。
3.あらかじめ収録された雑音のみを含むデータを用いて雑音統計量を学習しておく方法。この方法では、いくつかの異なる雑音環境を対象とする目的で、雑音環境毎に雑音統計量を計算しておくことも可能である。その場合、雑音抑圧に用いる雑音統計量をフレーム毎に選択する処理も必要となる。
上記1、2の方法は、すべてのフレームにわたって雑音が定常であることを仮定している。したがって、観測途中のフレームで雑音統計量が変化する状況では、これらの方法を適用できない。上記3の方法で複数の雑音統計量を併用する場合は、雑音抑圧に用いる雑音統計量をフレーム毎に選択するため雑音の定常性は必須要件ではない。しかしながら、抑圧対象の雑音が雑音統計量の学習時に想定した雑音のいずれとも異なる場合には適用できないという問題がある。
本発明の目的は、上記の欠点を解決するために、音声を含むフレームと含まないフレームを識別することなく、観測信号から雑音のパラメータを逐次的に推定する方法を提供することにある。
本発明の雑音抑圧装置は、入力部、フレーム化処理部、バッファリング/データ流制御部、初期化部、q(s)計算部、q(Θ)計算部、第1切替部、第2切替部、終了判定部を備える。
入力部は、入力された音響波形データを離散化または量子化し、観測信号を出力する。フレーム化処理部は、観測信号をあらかじめ定めた長さの短時間フレーム毎に切り出し、フレームごとの観測信号を出力する。バッファリング/データ流制御部は、フレーム化処理部より供給されるフレームごとの観測信号をバッファリングするとともに、終了通知信号を受信するたびに観測信号をフレームごとに出力する。初期化部は、フレームごとに音声パラメータの初期分布q(Θ)(0)と雑音パラメータの初期分布q(Θ)(0)を定め、繰返し回数iを0とする。q(s)計算部は、音声信号の事後分布q(s)(i+1)を、バッファリング/データ流制御部から入力されたフレームごとの観測信号と音声パラメータの事後分布q(Θ(i)と雑音パラメータの事後分布q(Θ(i)から求める。q(Θ)計算部は、音声パラメータの事後分布q(Θ(i+1)と雑音パラメータの事後分布q(Θ(i+1)を、音声パラメータの事前分布p(Θ)と雑音パラメータの事前分布p(Θ)と音声信号の事後分布q(s)(i+1)から求める。終了判定部は、あらかじめ定めた終了条件を満足するかを確認する。終了条件を満足しない場合には、繰返し回数iを1増加させてq(s)計算部の処理に戻る。終了条件を満足する場合には、バッファリング/データ流制御部、第1切替部、第2切替部に終了通知信号を送信する。第1切替部は、終了通知信号を受信すると、音声信号の事後分布q(s)(i+1)を、当該フレームの音声信号の事後分布q(s)として出力する。第2切替部は、終了通知信号を受信すると、雑音パラメータの事後分布q(Θ(i+1)を、当該フレームの雑音パラメータの事後分布q(Θ)として出力する。当該フレームの観測信号に対する処理を終了する。そして、バッファリング/データ流制御部が終了通知信号を受信するので、次のフレームの観測信号がq(s)計算部に供給され、雑音抑圧装置は、次のフレームの観測信号の処理に移行する。
なお、終了判定部の終了条件とは、繰返し回数iがあらかじめ定めた値より大きい、または音声信号の事後分布q(s)(i+1)とパラメータの事後分布q(Θ)(i+1)が収束していることである。q(Θ)計算部の音声パラメータの事前分布p(Θ)とは、あらかじめ定めたものである。また、q(Θ)計算部の雑音パラメータの事前分布p(Θ)とは、最初のフレームの時にはあらかじめ定めたものであり、それ以外のフレームの時には1つ前のフレームの雑音パラメータの事後分布q(Θ)である。
本発明では、t番目のフレームに関する推定をするときに、雑音パラメータの事前分布として、(t−1)番目のフレームにおいて計算された事後分布を用いる。本発明は、このように雑音のパラメータを逐次的に計算するため、観測途中のフレームで雑音統計量が変化する状況にも適用可能である。
本発明は、雑音として、その統計量が十分にゆっくりと変化する広帯域雑音を対象としている。この性質を利用して抑圧対象の雑音を特徴づけるパラメータを適応的に推定し、推定されたパラメータに基づいて観測信号から雑音を抑圧する。
従来技術と同じく、本発明では、観測信号はフレーム長N標本の窓関数によって短時間フレームに分割される。以降の議論では、単一の短時間フレームを対象とする。ある短時間フレーム内でn番目の離散時刻における観測信号、音声信号、雑音信号の標本をそれぞれx(n),s(n),v(n)と表す(1N)。観測信号x(n)は、音声信号s(n)に雑音信号v(n)を重畳したものである。
x(n)=s(n)+v(n) (1)
短時間フレームに含まれる観測信号の全標本をx=[x(n),…,x(1)]と表す。同様に、短時間フレームに含まれる音声信号及び雑音信号の全標本をそれぞれs=[s(n),…,s(1)]、v=[v(n),…,v(1)]と書く。xはsとvの和である。
x=s+v (2)
通常、sとvは統計的に独立であるとみなすことができる。
p(s,v)=p(s)p(v) (3)
今、短時間フレームの音声信号sの確率密度関数が、音声に関するパラメータの集合Θを用いてp(s|Θ)と表されているとする。同様に、短時間フレームの雑音信号vの確率密度関数が、雑音に関するパラメータ集合Θを用いてp(v|Θ)と表されているとする。音声と雑音のパラメータを合わせて、Θ={Θ,Θ}と書く。さらに、ΘとΘに関する事前知識が、それぞれp(Θ)、p(Θ)という事前分布で与えられているとする。パラメータΘとΘはそれぞれ音声信号、雑音信号の特徴を記述する。また、sは観測信号xから雑音信号を取り除いた音声信号である。したがって、雑音抑圧とは、xを観測したときに、s及びΘを推定することに他ならない。
音声パラメータ、雑音パラメータ及び音声信号のベイズ推定
本発明においては、s及びΘを推定する方法としてベイズ推定を用いる。ベイズ推定とは、次式で定義される。xが観測された後のパラメータと音声信号の結合事後分布p(s,Θ|x)を推定する方法である。
Figure 0004989379
右辺の各項は次のように計算できる。
p(x|s,Θ)=p(v|Θ)、ただし、v=x−s (5)
p(s,Θ)=p(s|Θ)p(Θ)
=p(s|Θ)p(Θ)p(Θ) (6)
Figure 0004989379
ただし、Θの積分領域DはΘのとりうる値の範囲を示し、sの積分領域RはN次元ユークリッド空間である。式(5)〜(7)の右辺に現れる項は、すべて定義済みであることに注意されたい。
さらに、式(4)のp(s,Θ|x)からΘとsを積分消去することで、音声パラメータの周辺事後分布p(Θ|x)が計算できる。同様に、雑音パラメータの周辺事後分布p(Θ|x)や音声信号の周辺事後分布p(s|x)も求めることができる。
今、xはt番目のフレームに属する観測信号であるとして、(t−1)番目のフレームに属する観測信号を得た後の雑音パラメータの周辺事後分布が既知であると仮定しよう。本発明では、t番目のフレームに関する推定をするときに、雑音パラメータの事前分布として、(t−1)番目のフレームにおいて計算された周辺事後分布を用いる。これによって、雑音の統計的性質の変動を追従して推定することが可能となっている。本発明では、このように雑音のパラメータを逐次的に計算するため、観測途中のフレームで雑音統計量が変化する状況にも適用できる。
変分ベイズ法
一般に、ベイズの定理(式(4))にしたがって結合事後分布p(s,Θ|x)を解析的に求めることは困難な場合が多い。そこで、本発明ではこれを近似的に求める変分ベイズ法(上田修功:ベイズ学習[I],信学誌,Vo1.85,No.4,pp.265-271(2002). 上田修功:ベイズ学習[II],信学誌,Vo1.85,No.6,pp.421-426(2002). 上田修功:ベイズ学習[III],信学誌,Vo1.85,No.7,pp.504-509(2002). 上田修功:ベイズ学習[IV],信学誌,Vo1.85,No.8,pp.633-638(2002).)を用いる。変分ベイズ法では真の事後分布p(s,Θ|x)を仮説的な事後分布q(s,Θ)で近似する。
本発明では、仮説的な事後分布として次式の分解形式を仮定する。
q(s,Θ)=q(s)q(Θ) (8)
変分ベイズ法では、真の事後分布p(s,Θ|x)と仮説的な事後分布q(s,Θ)のKLダイバージェンスが最小化されるようにq(s,Θ)、すなわちq(s)とq(Θ)を推定する。KLダイバージェンスは確率分布間の相違の度合いを表す指標である。p(s,Θ|x)とq(s,Θ)のKLダイバージェンスを最小化するq(s)とq(Θ)は次式で表されることが知られている。
Figure 0004989379
ただし、表記<f(x)>p(x)は、次式のとおり、領域Rで定義された確率変数xの関数f(x)のp(x)に関する期待値を表すものとする。
Figure 0004989379
また、C,Cはそれぞれ仮説的な確率密度関数q(s),q(Θ)が積分して1になるための定数である。以後、式(9)、式(10)により計算される仮説的な事後分布を最適変分事後分布と呼ぶ。
式(9)、式(10)から明らかなように、q(s)とq(Θ)は相互に依存関係にあり閉形式で解くことはできない。そこで、変分ベイズ法では、図2に示す反復アルゴリズムによりq(s)とq(Θ)を推定する。
変分ベイズアルゴリズム
図2に変分ベイズアルゴリズムのフローを示す。事前分布p(Θ)を設定する(S1)。初期分布q(Θ)(0) を設定し、繰り返し回数i=0とする(S2)。q(s)(i+1)=Cexp{<log p(x,s|Θ)>q(Θ)(i)}を計算する(S3)。q(Θ)(i+1)=Cp(Θ)exp{<log p(x,s|Θ)>q(s)(i+1)}を計算する(S4)。繰り返し回数iが既定値より大きいか、q(s)とq(Θ)が収束していれば終了し、そうでなければ、iを漸増してステップS3に戻る(S5)。
[第1実施形態]
図3に、上述の発明を用いた本実施形態の雑音抑圧装置の機能構成例を示す。また、図4に雑音抑圧装置の処理フローを示す。雑音抑圧装置100は、入力部910、フレーム化処理部920、バッファリング/データ流制御部930、初期化部110、q(s)計算部120、q(Θ)計算部130、第1切替部140、第2切替部150、終了判定部160を備える。
入力部910は、入力された音響波形データを離散化または量子化し、観測信号を出力する(S910)。フレーム化処理部920は、観測信号をあらかじめ定めた長さの短時間フレーム毎に切り出し、フレームごとの観測信号を出力する(S920)。バッファリング/データ流制御部930は、フレーム化処理部920より供給されるフレームごとの観測信号をバッファリングするとともに、終了通知信号を受信するたびに観測信号をフレームごとに出力する(S930)。初期化部110は、フレームごとに音声パラメータの初期分布q(Θ)(0)と雑音パラメータの初期分布q(Θ)(0)を定め、繰返し回数iを0とする(S110)。q(s)計算部120は、音声信号の事後分布q(s)(i+1)を、バッファリング/データ流制御部930から入力されたフレームごとの観測信号と音声パラメータの事後分布q(Θ(i)と雑音パラメータの事後分布q(Θ(i)から求める(S120)。q(Θ)計算部130は、音声パラメータの事後分布q(Θ(i+1)と雑音パラメータの事後分布q(Θ(i+1)を、音声パラメータの事前分布p(Θ)と雑音パラメータの事前分布p(Θ)と音声信号の事後分布q(s)(i+1)から求める(S130)。終了判定部160は、あらかじめ定めた終了条件を満足するかを確認する(S161)。終了条件を満足しない場合には、繰返し回数iを1増加させてステップS120に戻る(S162)。終了条件を満足する場合には、バッファリング/データ流制御部930、第1切替部140、第2切替部150に終了通知信号を送信する(S163)。第1切替部140は、終了通知信号を受信すると、音声信号の事後分布q(s)(i+1)を、当該フレームの音声信号の事後分布q(s)として出力する(S140)。第2切替部150は、終了通知信号を受信すると、雑音パラメータの事後分布q(Θ(i+1)を、当該フレームの雑音パラメータの事後分布q(Θ)として出力する(S150)。当該フレームの観測信号に対する処理を終了する。そして、バッファリング/データ流制御部930が、終了通知信号を受信するので、次のフレームの観測信号がq(s)計算部120に供給され、雑音抑圧装置100は、次のフレームの観測信号の処理に移行する(言い換えると、次のフレームに対するステップS930に戻る)。
なお、終了判定部160の終了条件とは、繰返し回数iがあらかじめ定めた値より大きい、または音声信号の事後分布q(s)(i+1)とパラメータの事後分布q(Θ)(i+1)が収束していることである。q(Θ)計算部130の音声パラメータの事前分布p(Θ)とは、あらかじめ定めたものである。また、q(Θ)計算部130の雑音パラメータの事前分布p(Θ)とは、最初のフレームの時にはあらかじめ定めたものであり、それ以外のフレームの時には1つ前のフレームの雑音パラメータの事後分布q(Θ)である。つまり、t番目のフレームに関する推定をするときに、雑音パラメータの事前分布として、(t−1)番目のフレームにおいて計算された事後分布を用いている。このように雑音の統計量を逐次的に計算するため、観測途中のフレームで雑音統計量が変化する状況にも適用可能である。
[第2実施形態]
第1実施形態では、音声や雑音に関するパラメータΘ、Θを特定せずに実施形態を示した。本実施形態では、これらのパラメータを具体化した例を示す。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための方法を例示するものであって、本発明の方法を、音声と雑音のパラメータを下記のものに限定する趣旨ではない。
音声及び雑音のパラメータ
本実施形態では、音声信号sと雑音信号vの確率密度関数を以下のように定義する。以下では、M個の標本をまとめてx(n)=[x(n),…,x(n−M+1)]などと書く。
まず、音声信号はP次の定常ガウス性自己回帰過程であるとして、音声信号の確率密度関数を与える。回帰係数をベクトル形式でa=[a,…,a、イノベーション過程の分散をσs 2と書くと、一標本s(n)の条件つき確率密度関数は次式のように表せる。
Figure 0004989379
N{x;μ,σ}は、平均μ、分散σの正規分布に従う一変量確率変数xの確率密度関数である。すなわち、
Figure 0004989379
なお、本明細書では平均m、共分散行列Vの正規分布に従う多変量確率変数xの確率密度関数もN{x;m,V}と表記する。すなわち、
Figure 0004989379
Θ={a,σs 2}として、式(12)を用いてp(s|Θ)は次式のように表せる。
Figure 0004989379
次に雑音信号はQ次の定常ガウス性自己回帰過程であるとして、雑音信号の確率密度関数を与える。回帰係数をベクトル形式でb=[b,…,b、イノベーション過程の分散をσv 2と書くと、v(n)の条件つき確率密度関数は次式のように表せる。
Figure 0004989379
Θ={b,σv 2}とすると、式(16)を用いてp(v|Θ)は次式のように表せる。
Figure 0004989379
パラメータの事前分布
音声、雑音パラメータの事前分布として次式の自然共役事前分布を仮定する。自然共役事前分布を用いるのは、数学的取り扱いの良さのためである。
Figure 0004989379
ただし、χ-2{x;ρ,λ}は、自由度ρ、尺度λの逆カイ二乗分布にしたがう非負の確率変数xの確率密度関数を示す。{ζs’,Ξs’,νs’,ρs’,λs’}は音声パラメータΘの事前分布を規定する超パラメータ、{ζv’,Ξv’,νv’,ρv’,λv’}は雑音パラメータΘの事前分布を規定する超パラメータである。
パラメータの最適変分事後分布
p(s|Θ)、p(v|Θ)、及びp(Θ)、p(Θ)がそれぞれ、式(15)、式(17)、式(18)と表されている場合に、式(9)、式(10)で定義される最適変分事後分布を具体的に導く。まず、式(10)で与えられる音声と雑音のパラメータの最適変分事後分布を計算する。q(Θ)の計算においては、q(s)は既知として扱われる。
式(10)を計算すると、Θの最適変分事後分布が次式となることが示される。
Figure 0004989379
ただし、q(Θ)を規定する各パラメータはそれぞれ次式で定義される。
Figure 0004989379
上式に現れるαはあらかじめ設定された忘却係数であり、0<α<1の範囲の値をとる。忘却係数は雑音パラメータの事前分布p(Θ)に課せられる重み係数とみなすことができる。α→0は事前分布を用いない、すなわち各フレームにおける雑音パラメータを当該フレームの観測信号のみから推定することを意味する。
結局、q(Θ)の計算では、超パラメータ{ζs’,Ξs’,νs’,ρs’,λs’,ζv’,Ξv’,νv’,ρv’,λv’}を、式(20)〜(29)にしたがって{ζs,Ξs,νs,ρs,λs,ζv,Ξv,νv,ρv,λv}に更新すればよい。式(20)〜(29)に現れる
Figure 0004989379
は、次式で計算される音声信号の自己相関係数からなる行列、ベクトル、スカラーのq(s)に関する期待値である。
Figure 0004989379
周辺化に用いる確率密度関数q(s)はN次元正規分布である。その平均と分散をそれぞれ
Figure 0004989379
とする。γN−p+1,N−q+1はΓの第(p,q)要素である。このとき、式(30)〜(32)の右辺に現れる項は次式で計算される。
Figure 0004989379
式(35)〜(40)を式(30)〜(32)に代入して、
Figure 0004989379
の計算式を次式の通り得ることができる。
Figure 0004989379
同様に、雑音信号の自己相関係数からなる行列、ベクトル、スカラーの期待値
Figure 0004989379
は次式にしたがって計算される。
Figure 0004989379
以上で、音声と雑音パラメータΘの最適変分事後分布q(Θ)の具体的な計算方法が導かれた。まとめると、q(Θ)を規定する超パラメータ{ζs,Ξs,νs,ρs,λs,ζv,Ξv,νv,ρv,λv}を式(20)〜(29)にしたがって計算すればよい。
音声信号の最適変分事後分布
次に、式(9)で与えられる音声信号の最適変分事後分布q(s)を計算する。q(s)の計算においては、q(Θ)は既知として扱う。式(9)は、具体的に次式のN次元正規分布となることが示される。
Figure 0004989379
平均μと共分散行列Γは、それぞれ次のように定義される。
Figure 0004989379
A及びBは第一行がそれぞれ
Figure 0004989379
のN次上三角Toeplitz行列である。ΩとΩの定義は、以下の通りである。まず、P次正方行列Ξ -1の第(p,q)要素を sξp,qとおいて、N次正方行列Ω(n)を次のように定める。
Figure 0004989379
このようにして定義されたΩ(n)を用いて、Ωは次式のように与えられる。
Figure 0004989379
Ωについても同様で、
Figure 0004989379
で定義されるΩ(n)を用いて、Ωは次式のように与えられる。
Figure 0004989379
ただし、vξp,qはQ次正方行列Ξv -1の第(p,q)要素である。
以上で、音声信号sの最適変分事後分布q(s)の具体的な計算方法が導かれた。まとめると、式(48)、式(49)にしたがってμ及びΓを計算すればよい。
雑音抑圧アルゴリズム
図2に示した変分ベイズアルゴリズムを本実施形態に適用した場合のアルゴリズムを図5に示す。
ステップS11(事前分布の設定)
Θ,Θに関する事前分布の超パラメータ{ζs’,Ξs’,νs’,ρs’,λs’}、及び{ζv’,Ξv’,νv’,ρv’,λv’}を設定する。特に、{ζv’,Ξv’,νv’,ρv’,λv’}には、直前フレームで計算されたΘに関する事後分布の超パラメータを用いる。
ステップS12(事後分布の初期化)
Θ,Θに関する最適変分事後分布の超パラメータの初期値{ζs (0),Ξs (0),νs (0),ρs (0),λs (0)}、及び{ζv (0),Ξv (0),νv (0),ρv (0),λv (0)}を設定する。繰り返し回数i=0とする。
ステップS13(音声信号の最適変分事後分布の更新)
音声信号の最適変分事後分布の平均μ(i+1)と共分散行列Γ(i+1)をそれぞれ式(48)、式(49)にしたがって計算する。ただし、その計算過程に現れる{ζs,Ξs,νs,ρs,λs}と{ζv,Ξv,νv,ρv,λv}には、既に計算済みの{ζs (i),Ξs (i),νs (i),ρs (i),λs (i)},{ζ (i),Ξ (i),ν (i),ρ (i),λ (i)}を用いる。
ステップS14(音声と雑音パラメータの最適変分事後分布の更新)
音声パラメータの最適変分事後分布を規定する超パラメータ{ζs (i+1),Ξs (i+1),νs (i+1),ρs (i+1),λs (i+1)}、及び雑音パラメータの最適変分事後分布を規定する超パラメータ{ζ (i+1),Ξ (i+1),ν (i+1),ρ (i+1),λ (i+1)}を、式(20)〜(29)にしたがって計算する。ただし、その計算過程に現れるμ(式(33)を参照)及びΓ(式(34)を参照)には、既に計算済みのμ(i+1)とΓ(i+1)を用いる。
ステップS15(収束判定)
繰り返し回数iが既定値より大きいか、超パラメータの更新量が十分小さいならばステップS16へ、そうでなければ、iを漸増してステップS13に戻る。
ステップS16(雑音抑圧信号の出力)
現在のフレームにおける雑音抑圧信号をμ(i+1)とする。また、雑音パラメータの最適変分事後分布の超パラメータ{ζ (i+1),Ξ (i+1),ν (i+1),ρ (i+1),λ (i+1)}は、直後のフレームにおいて、雑音パラメータに関する事前分布の超パラメータとして用いられる。
機能構成および処理フロー
図6に、上述の発明を用いた本実施形態の雑音抑圧装置の機能構成例を示す。また、図7に雑音抑圧装置の処理フローを示す。雑音抑圧装置200は、入力部910、フレーム化処理部920、バッファリング/データ流制御部930、初期化部210、q(s)計算部220、q(Θ)計算部230、第1切替部240、第2切替部250、終了判定部260を備える。
入力部910は、マイクロホンや音声ファイル等の入力手段から音響波形データを読み出し、離散化/量子化された観測信号を出力する(S910)。フレーム化処理部920は、観測信号をあらかじめ規定された長さの短時間フレーム毎に切り出す。その後、各フレームについて、当該フレームに含まれる観測信号を出力する(S920)。バッファリング/データ流制御部930は、フレーム化処理部920より供給されるフレーム毎の観測信号をバッファリングしていく。バッファリング/データ流制御部930は現在処理中のフレーム番号に関するカウンタを備えており、終了通知信号を受け取った時点でフレーム番号のカウンタを漸増し、新しいフレームに含まれる観測信号を出力する(S930)。
初期化部210の目的は、q(s)計算部220に超パラメータの初期値{ζs (0),Ξs (0),νs (0),ρs (0),λs (0)}及び{ζv (0),Ξv (0),νv (0),ρv (0),λv (0)}を与えることである。初期化部の実現方法としては色々な選択肢があるが、一例として、初期化部210は、
Figure 0004989379
とし、繰返し回数iを0とする(S210)。
q(s)計算部220は、バッファリング/データ流制御部930から入力されたフレームごとの観測信号と、q(Θ)計算部230より供給される超パラメータ{ζs,Ξs,νs,ρs,λs}と{ζv,Ξv,νv,ρv,λv}を用いて、音声信号の最適変分事後分布の平均μと共分散行列Γを式(48)、式(49)にしたがって計算する。ただし、繰り返し処理の1巡目においてのみq(Θ)計算部230から超パラメータが供給されないため、初期化部により供給される超パラメータの初期値{ζs (0),Ξs (0),νs (0),ρs (0),λs (0)}と{ζv (0),Ξv (0),νv (0),ρv (0),λv (0)}を用いる。(S220)。q(Θ)計算部230は、q(s)計算部220より供給される音声信号の最適変分事後分布の平均μと分散Γを用いて、音声及び雑音のパラメータの最適変分事後分布を規定する超パラメータ{ζs,Ξs,νs,ρs,λs}及び{ζv,Ξv,νv,ρv,λv}を、式(20)〜式(29)にしたがって計算する。(S230)。
終了判定部260は、q(s)とq(Θ)の計算回数に関するカウンタを備えている。新しいフレームの処理が開始される毎に、カウントは0に初期化される。そして、あらかじめ定めた終了条件を満足するかを確認する(S261)。なお、終了判定部260の終了条件とは、繰返し回数iがあらかじめ定めた値より大きい、または超パラメータの更新量があらかじめ定めた値より小さいことである。終了条件を満足しない場合には、繰返し回数iを1増加させてステップS220に戻る(S162)。終了条件を満足する場合には、バッファリング/データ流制御部930、第1切替部140、第2切替部150に終了通知信号を送信する(S263)。第1切替部240は、終了通知信号を受信すると、音声信号の最適変分事後分布の平均μと共分散行列Γを出力する(S240)。第2切替部250は、終了通知信号を受信すると、雑音のパラメータの最適変分事後分布を規定する超パラメータ{ζv,Ξv,νv,ρv,λv}を出力する(S250)。当該フレームの観測信号に対する処理を終了する。そして、バッファリング/データ流制御部930が、終了通知信号を受信するので、次のフレームの観測信号がq(s)計算部220に供給され、雑音抑圧装置200は、次のフレームの観測信号の処理に移行する(言い換えると、次のフレームに対するステップS930に戻る)。
実験
本発明の効果を実験により示す。ASJ−JNASデータベースから男性話者による10秒間の発話を抽出した。標本化周波数は8kHz、量子化ビット数は16ビットとした。この音声信号に、信号対雑音比(SNR)が10dBとなるように計算機上で合成した定常白色雑音を加算した。したがって、この雑音のパラメータΘ={b,σv 2}は計算可能であり、これをΘv *={b* ,σv 2*}とおく。
信号分析及び雑音抑圧に用いるパラメータは次のように設定した。まず、音声及び雑音の回帰次数P,QはそれぞれP=12,Q=4とした。フレーム長NはN=256、忘却係数αはα=0.8とした。Θに関する事前分布の超パラメータは、すべてのフレームについてζs (0)=0,Ξs (0)=I,νs (0)=o,ρs (0)=0,λs (0)=0とした。ただし、IはP次元単位行列、oはP次元零ベクトルである。Θに関する事前分布の超パラメータは、最初のフレームについてのみ設定しておく必要がある。本実験では、ζv (0)=N/(1−α),Ξv (0)=σv 2*/2,νv (0)=b,ρv (0) =N/(1−α),λv (0)=σv 2*N/2(1−α)とした。これは、真値の半分のレベルの白色雑音が重畳されていると過小に見積もったことに相当する。なお、ζv (0)は事前分布の信頼度に相当するが、α→1でζv (0)→∞であるため、α≒1とすると事前分布のみから雑音パラメータが決定される。これは従来技術に等価である。
上記の実験条件では、従来技術は雑音抑圧過程でフレーム毎に逐次的に雑音を推定しないため、雑音抑圧量が常に不十分となることが予想される。これに対して、本発明は雑音抑圧過程でフレーム毎に逐次的に雑音パラメータを更新するため、雑音レベルの推定値が徐々に修正され、雑音抑圧量が適正化されることが期待される。
図8にフレーム毎の雑音抑圧後の信号歪みを示す。横軸は時間を、縦軸は板倉斉藤歪み尺度(I-S distortion)で測定した信号歪みを表す(板倉文忠,斎藤収三:統計的手法による音声スペクトル密度とホルマント周波数の推定,信学論,Vo1.53-A,No.1,pp.35-42(1970).)。図8Aは前半5秒間の信号歪、図8Bは後半5秒間の信号歪を示している。信号歪みが小さいほど、雑音抑圧性能がより高いことを意味する。約2秒経過した時点から、本発明による雑音抑圧性能が従来技術による雑音抑圧性能を上回っていることが分かる。この結果から、雑音除去過程で雑音パラメータを逐次的に推定することによって、適応的な雑音抑圧が実現できたことが示された。
プログラムおよび記録媒体
図9に、コンピュータの機能構成例を示す。本発明の収音装置は、コンピュータ2000の記録部2020に本発明の各構成部としてコンピュータ2000を動作させるプログラムを読み込ませ、処理部2010、入力部2030、出力部2040などを動作させることで実現できる。また、コンピュータに読み込ませる方法としては、プログラムをコンピュータ読み取り可能な記録媒体に記録しておき、記録媒体からコンピュータに読み込ませる方法、サーバ等に記録されたプログラムを、電気通信回線等を通じてコンピュータに読み込ませる方法などがある。
一般的な音声と雑音のパラメトリックモデルに基づく雑音抑圧装置の機能構成例を示す図。 変分ベイズアルゴリズムを示す図。 第1実施形態の雑音抑圧装置の機能構成例を示す図。 第1実施形態の雑音抑圧装置の処理フローを示す図。 第2実施形態の雑音抑圧方法のアルゴリズムを示す図。 第2実施形態の雑音抑圧装置の機能構成例を示す図。 第2実施形態の雑音抑圧装置の処理フローを示す図。 実験結果を示す図。 コンピュータの機能構成例を示す図。

Claims (8)

  1. 入力された音響波形データを離散化及び量子化して得られる観測信号を出力する入力部と、
    観測信号をあらかじめ定めた長さの短時間フレーム毎に切り出し、フレームごとの観測信号を出力するフレーム化処理部と、
    前記フレーム化処理部より供給されるフレームごとの観測信号をバッファリングするとともに、終了通知信号を受信するたびに観測信号をフレームごとに出力するバッファリング/データ流制御部と、
    フレームごとに音声パラメータΘ の初期分布q(Θ)(0)と雑音パラメータΘ の初期分布q(Θ)(0)を定め、繰返し回数iを0とする初期化部と、
    音声信号の更新された事後分布q(s)(i+1)を、前記バッファリング/データ流制御部から入力されたフレームごとの観測信号と音声パラメータの事後分布q(Θ(i)と雑音パラメータの事後分布q(Θ(i)から変分ベイズ法を用いて求めるq(s)計算部と、
    前記音声パラメータΘ の更新された事後分布q(Θ(i+1)前記雑音パラメータΘ の更新された事後分布q(Θ(i+1)を、前記音声パラメータΘ の事前分布p(Θ)と前記雑音パラメータΘ の事前分布p(Θ)と前記音声信号の事後分布q(s)(i+1)から変分ベイズ法を用いて求めるq(Θ)計算部と、
    終了通知信号を受信すると、前記音声信号前記更新された事後分布q(s)(i+1) の平均を、当該フレームの前記観測信号xから前記雑音信号vを取り除いた音声信号として出力する第1切替部と、
    終了通知信号を受信すると、前記雑音パラメータΘ 前記更新された事後分布q(Θ(i+1)を、当該フレームの前記雑音パラメータΘ の事後分布q(Θ)として出力する第2切替部と、
    あらかじめ定めた終了条件を満足する場合には、前記バッファリング/データ流制御部、前記第1切替部、前記第2切替部に終了通知信号を送信して当該フレームの観測信号に対する処理を終了し、前記終了条件を満足しない場合には、繰返し回数iを1増加させる終了判定部と、
    を備え、
    前記音声パラメータΘ は、前記音声信号sについてあらかじめ仮定された確率密度関数p(s|Θ )を規定するパラメータの集合であり、
    前記雑音パラメータΘ は、前記雑音信号vについてあらかじめ仮定された確率密度関数p(v|Θ )を規定するパラメータの集合であり、
    前記q(Θ)計算部の前記音声パラメータΘ 前記事前分布p(Θ)とは、あらかじめ定めたものであり、
    前記q(Θ)計算部の前記雑音パラメータΘ 前記事前分布p(Θ)とは、第1フレームの時にはあらかじめ定めたものであり、それ以外のフレームの時には1つ前のフレームの前記雑音パラメータΘ 前記事後分布q(Θ)であり、
    前記終了判定部の終了条件とは、前記繰返し回数iがあらかじめ定めた値より大きい、または前記音声信号前記更新された事後分布q(s)(i+1)、前記音声パラメータΘ の前記更新された事後分布q(Θ (i+1) と前記雑音パラメータΘ の前記更新された事後分布q(Θ (i+1) を合わせたパラメータΘ更新された事後分布q(Θ)(i+1)が収束していることであり、
    前記繰返し回数iが0とされたとき、または1増加されるたびに、前記q(s)計算部が前記音声信号前記更新された事後分布q(s)(i+1)を求め、前記q(Θ)計算部が前記パラメータΘ前記更新された事後分布q(Θ)(i+1)を求めることで、前記終了条件が満たされるまで処理が繰り返される
    ことを特徴とする雑音抑圧装置。
  2. 請求項1記載の雑音抑圧装置であって、
    前記音声パラメータΘ 前記音声信号を定常ガウス性自己回帰過程として表現したときの音声回帰係数と音声イノベーション分散であり、前記雑音パラメータΘ 前記雑音信号を定常ガウス性自己回帰過程として表現したときの雑音回帰係数と雑音イノベーション分散である
    ことを特徴とする雑音抑圧装置。
  3. 請求項2記載の雑音抑圧装置であって、
    前記確率密度関数p(s|Θ )が
    Figure 0004989379

    であり、
    前記音声パラメータΘ が{a,σ }であり、
    前記音声回帰係数のベクトルがaであり、
    前記音声イノベーション分散がσ であり、
    s(n)は前記音声信号sのn番目の標本であり、
    (n)は前記音声信号sのP個の標本からなるベクトルであり、
    Nはフレームに含まれる標本数であり、
    N{x;μ,σ }は平均μ、分散σ の正規分布の確率密度関数であり、
    前記確率密度関数p(v|Θ )が
    Figure 0004989379

    であり、
    前記雑音パラメータΘ が{b,σ }であり、
    前記雑音回帰係数のベクトルがbであり、
    前記雑音イノベーション分散がσ であり、
    v(n)は前記雑音信号vのn番目の標本であり、
    (n)は前記雑音信号vのQ個の標本からなるベクトルである
    ことを特徴とする雑音抑圧装置。
  4. 入力された音響波形データを離散化及び量子化して得られる観測信号を出力する入力ステップと、
    観測信号をあらかじめ定めた長さの短時間フレーム毎に切り出し、フレームごとの観測信号を出力するフレーム化処理ステップと、
    前記フレーム化処理ステップより供給されるフレームごとの観測信号をバッファリングするとともに、終了通知信号を受信するたびに観測信号をフレームごとに出力するバッファリング/データ流制御ステップと、
    フレームごとに音声パラメータΘ の初期分布q(Θ)(0)と雑音パラメータΘ の初期分布q(Θ)(0)を定め、繰返し回数iを0とする初期化ステップと、
    音声信号の更新された事後分布q(s)(i+1)を、前記バッファリング/データ流制御ステップから入力されたフレームごとの観測信号と音声パラメータの事後分布q(Θ(i)と雑音パラメータの事後分布q(Θ(i)から変分ベイズ法を用いて求めるq(s)計算ステップと、
    前記音声パラメータΘ の更新された事後分布q(Θ(i+1)前記雑音パラメータΘ の更新された事後分布q(Θ(i+1)を、前記音声パラメータΘ の事前分布p(Θ)と前記雑音パラメータΘ の事前分布p(Θ)と前記音声信号の事後分布q(s)(i+1)から変分ベイズ法を用いて求めるq(Θ)計算ステップと、
    終了通知信号を受信すると、前記音声信号前記更新された事後分布q(s)(i+1) の平均を、当該フレームの前記観測信号xから前記雑音信号vを取り除いた音声信号として出力する第1切替ステップと、
    終了通知信号を受信すると、前記雑音パラメータΘ 前記更新された事後分布q(Θ(i+1)を、当該フレームの前記雑音パラメータΘ の事後分布q(Θ)として出力する第2切替ステップと、
    あらかじめ定めた終了条件を満足する場合には、前記バッファリング/データ流制御ステップ、前記第1切替ステップ、前記第2切替ステップに終了通知信号を送信して当該フレームの観測信号に対する処理を終了し、前記終了条件を満足しない場合には、繰返し回数iを1増加させる終了判定ステップと、
    を有し、
    前記音声パラメータΘ は、前記音声信号sについてあらかじめ仮定された確率密度関数p(s|Θ )を規定するパラメータの集合であり、
    前記雑音パラメータΘ は、前記雑音信号vについてあらかじめ仮定された確率密度関数p(v|Θ )を規定するパラメータの集合であり、
    前記q(Θ)計算ステップの前記音声パラメータΘ 前記事前分布p(Θ)とは、あらかじめ定めたものであり、
    前記q(Θ)計算ステップの前記雑音パラメータΘ 前記事前分布p(Θ)とは、第1フレームの時にはあらかじめ定めたものであり、それ以外のフレームの時には1つ前のフレームの前記雑音パラメータΘ 前記事後分布q(Θ)であり、
    前記終了判定ステップの終了条件とは、前記繰返し回数iがあらかじめ定めた値より大きい、または前記音声信号前記更新された事後分布q(s)(i+1)、前記音声パラメータΘ の前記更新された事後分布q(Θ (i+1) と前記雑音パラメータΘ の前記更新された事後分布q(Θ (i+1) を合わせたパラメータΘ更新された事後分布q(Θ)(i+1)が収束していることであり、
    前記繰返し回数iが0とされたとき、または1増加されるたびに、前記q(s)計算ステップが前記音声信号前記更新された事後分布q(s)(i+1)を求め、前記q(Θ)計算ステップがパラメータΘ前記更新された事後分布q(Θ)(i+1)を求めることで、前記終了条件が満たされるまで処理が繰り返される
    ことを特徴とする雑音抑圧方法。
  5. 請求項記載の雑音抑圧方法であって、
    前記音声パラメータΘ 前記音声信号を定常ガウス性自己回帰過程として表現したときの音声回帰係数と音声イノベーション分散であり、前記雑音パラメータΘ 前記雑音信号を定常ガウス性自己回帰過程として表現したときの雑音回帰係数と雑音イノベーション分散である
    ことを特徴とする雑音抑圧方法。
  6. 請求項5記載の雑音抑圧方法であって、
    前記確率密度関数p(s|Θ )が
    Figure 0004989379

    であり、
    前記音声パラメータΘ が{a,σ }であり、
    前記音声回帰係数のベクトルがaであり、
    前記音声イノベーション分散がσ であり、
    s(n)は前記音声信号sのn番目の標本であり、
    (n)は前記音声信号sのP個の標本からなるベクトルであり、
    Nはフレームに含まれる標本数であり、
    N{x;μ,σ }は平均μ、分散σ の正規分布の確率密度関数であり、
    前記確率密度関数p(v|Θ )が
    Figure 0004989379

    であり、
    前記雑音パラメータΘ が{b,σ }であり、
    前記雑音回帰係数のベクトルがbであり、
    前記雑音イノベーション分散がσ であり、
    v(n)は前記雑音信号vのn番目の標本であり、
    (n)は前記雑音信号vのQ個の標本からなるベクトルである
    ことを特徴とする雑音抑圧方法。
  7. 請求項1から3記載の雑音抑圧装置として、コンピュータを動作させる雑音抑圧プログラム。
  8. 請求項記載の雑音抑圧プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007230338A 2007-09-05 2007-09-05 雑音抑圧装置、雑音抑圧方法、雑音抑圧プログラム、および記録媒体 Expired - Fee Related JP4989379B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007230338A JP4989379B2 (ja) 2007-09-05 2007-09-05 雑音抑圧装置、雑音抑圧方法、雑音抑圧プログラム、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007230338A JP4989379B2 (ja) 2007-09-05 2007-09-05 雑音抑圧装置、雑音抑圧方法、雑音抑圧プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2009063747A JP2009063747A (ja) 2009-03-26
JP4989379B2 true JP4989379B2 (ja) 2012-08-01

Family

ID=40558382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007230338A Expired - Fee Related JP4989379B2 (ja) 2007-09-05 2007-09-05 雑音抑圧装置、雑音抑圧方法、雑音抑圧プログラム、および記録媒体

Country Status (1)

Country Link
JP (1) JP4989379B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0668251A (ja) * 1992-08-14 1994-03-11 Matsushita Electric Ind Co Ltd 雑音除去の方法並びに装置
JP4512848B2 (ja) * 2005-01-18 2010-07-28 株式会社国際電気通信基礎技術研究所 雑音抑圧装置及び音声認識システム
JP5374845B2 (ja) * 2007-07-25 2013-12-25 日本電気株式会社 雑音推定装置と方法およびプログラム

Also Published As

Publication number Publication date
JP2009063747A (ja) 2009-03-26

Similar Documents

Publication Publication Date Title
US9208780B2 (en) Audio signal section estimating apparatus, audio signal section estimating method, and recording medium
Gannot et al. Iterative and sequential Kalman filter-based speech enhancement algorithms
US6954745B2 (en) Signal processing system
JP4861645B2 (ja) スピーチノイズサプレッサ、スピーチノイズ抑圧方法、および、スピーチ信号におけるノイズ抑圧方法
Ephraim et al. Recent advancements in speech enhancement
JP4586577B2 (ja) 外乱成分抑圧装置、コンピュータプログラム、及び音声認識システム
US7072833B2 (en) Speech processing system
KR101224755B1 (ko) 음성-상태 모델을 사용하는 다중-감각 음성 향상
JP4824286B2 (ja) 漸進的ベイズ学習を使用する雑音推定の方法
US7035790B2 (en) Speech processing system
Cohen et al. Spectral enhancement methods
Novoa et al. Uncertainty weighting and propagation in DNN–HMM-based speech recognition
JP2004264816A (ja) 再帰的構成における反復ノイズ推定法
Chowdhury et al. Bayesian on-line spectral change point detection: a soft computing approach for on-line ASR
KR20050000541A (ko) 잡음 감소와 관련된 불확실성을 결정하는 방법
US7010483B2 (en) Speech processing system
JP2000099080A (ja) 信頼性尺度の評価を用いる音声認識方法
Veisi et al. Hidden-Markov-model-based voice activity detector with high speech detection rate for speech enhancement
JP4512848B2 (ja) 雑音抑圧装置及び音声認識システム
JP2007041499A (ja) 雑音抑圧装置、コンピュータプログラム、及び音声認識システム
Enzner et al. Bayesian MMSE filtering of noisy speech by SNR marginalization with global PSD priors
JP4755555B2 (ja) 音声信号区間推定方法、及びその装置とそのプログラムとその記憶媒体
JP4989379B2 (ja) 雑音抑圧装置、雑音抑圧方法、雑音抑圧プログラム、および記録媒体
Roy et al. Deep residual network-based augmented Kalman filter for speech enhancement
LeBlanc et al. A two-stage deep neuroevolutionary technique for self-adaptive speech enhancement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110801

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees