JP5195979B2 - 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム - Google Patents
信号分離装置、および信号分離方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP5195979B2 JP5195979B2 JP2011167935A JP2011167935A JP5195979B2 JP 5195979 B2 JP5195979 B2 JP 5195979B2 JP 2011167935 A JP2011167935 A JP 2011167935A JP 2011167935 A JP2011167935 A JP 2011167935A JP 5195979 B2 JP5195979 B2 JP 5195979B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- separation
- spectrogram
- time
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
(1)時間領域で畳み込み混合を直接解く。(時間領域逆畳み込み)
(2)観測信号を時間周波数領域に変換し、瞬時混合問題として解く。
以下では、それぞれの方法について説明する。
上記した式[1.2]の畳み込みを解くために、以下に示す式[2.1]のような、観測信号の畳み込み混合の式を用意する。
時間領域の畳み込み混合は、時間周波数領域では瞬時混合で表わされることが知られており、その特徴を利用したのが時間周波数領域のICA(Independent Component Analysis)である。時間周波数領域ICA自体については、上述の非特許文献2(「詳解独立成分分析」(Aapo Hyvarinenn ほか著。東京電機大学出版局「19.2.4フーリエ変換法」)や、特許文献1(特開2006−238409「音声信号分離装置・雑音除去装置および方法」)などを参照されたい。
時間周波数領域でS(ω,t)、A(ω)を推定するには、先ず、下記式(4)のような式を考える。式[3.5]において、Y(ω,t)はyk(t)を長さLの窓で短時間フーリエ変換したYk(ω,t)を要素とする列ベクトルを表し、W(ω)はwij(ω)を要素とするn行n列の行列(分離行列)を表す。
(1)時間領域で畳み込み混合を直接解く。(時間領域逆畳み込み)
(2)観測信号を時間周波数領域に変換し、瞬時混合問題として解く。
この2つの手法には、課題がある。すなわち、
(1)時間領域で畳み込み混合を直接解く。(時間領域逆畳み込み)
この方法については、収束が遅いという問題がある。遅収束の理由は、分離フィルターの係数が変化すると波形全体が変化することや、分離フィルターの更新式の計算量がタップ数L'の2乗に比例することなどが挙げられる。そのため、フィルターのタップ数L'が大きい場合は、分離フィルターの初期値として、収束値にできる限り近い値を事前に求めておかないと、実用的な時間で分離することは難しい。実環境の残響に対応させるためには、少なくとも数千のオーダーのタップ数が必要であるため、(1)の方法では数千の2乗の計算量が必要である。
特許文献2(特開2003−271168「信号抽出方法および信号抽出装置、信号抽出プログラムとそのプログラムを記録した記録媒体」)
非特許文献3(「サブバンド処理によるブラインド音源分離に関する検討」荒木章子・Robert Aichner・牧野昭二・西川剛樹・猿渡洋 日本音響学会講演論文集2002年3月 pp.619−−620)
非特許文献4(「帯域分割型ICAを用いたBlind Source Separationにおける帯域分割数の最適化」西川剛樹・荒木章子・牧野昭二・猿渡洋 日本音響学会講演論文集2001年3月 pp.569−−570)
(1)時間領域で畳み込み混合を直接解く。(時間領域逆畳み込み)
(2)観測信号を時間周波数領域に変換し、瞬時混合問題として解く。
この2つの方式のいずれも、タップ数の大きい畳み込み混合に対しては分離精度が不十分であるという問題が存在する。
(1)窓長(=分析フレームの長さ)を超える残響に対する対処、
(2)パーミュテーション(permutation)問題に対する対処、
(3)2つの入出力を超える入出力構成に対する対処、
これらの様々な問題に対する十分な解決策が提示されていないのが現状である。
複数の信号が混合した信号を入力して個別の信号に分離する信号分離装置であり、
入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換手段と、
前記信号変換手段の生成した観測信号スペクトログラムから信号分離結果を生成する信号分離手段を有し、
前記信号分離手段は、
前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により、信号分離結果を生成する構成であることを特徴とする信号分離装置にある。
複数の信号が混合した信号を入力して個別の信号に分離する信号分離装置であり、
入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換手段と、
前記信号変換手段の生成した観測信号スペクトログラムから信号分離結果を生成する信号分離手段を有し、
前記信号分離手段は、
前記観測信号スペクトログラムに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により信号分離結果Y1〜Ynを生成し、
信号分離結果Y1〜Ynの各々に対応する信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により残響除去処理を実行し、残響除去済みスペクトログラムの統合処理によって、残響を除去した信号分離結果を生成する構成であることを特徴とする信号分離装置にある。
信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離方法であり、
信号変換手段が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換ステップと、
信号分離手段が、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成する信号分離ステップを有し、
前記信号分離ステップは、
前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により、信号分離結果を生成するステップであることを特徴とする信号分離方法にある。
信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離方法であり、
信号変換手段が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換ステップと、
信号分離手段が、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成する信号分離ステップを有し、
前記信号分離ステップは、
前記観測信号スペクトログラムに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により信号分離結果Y1〜Ynを生成し、
信号分離結果Y1〜Ynの各々に対応する信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により残響除去処理を実行し、残響除去済みスペクトログラムの統合処理によって、残響を除去した信号分離結果を生成するステップであることを特徴とする信号分離方法にある。
信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離処理を実行させるコンピュータ・プログラムであり、
信号変換手段に、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成させる信号変換ステップと、
信号分離手段に、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成させる信号分離ステップを有し、
前記信号分離ステップは、
前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により、信号分離結果を生成させるステップであることを特徴とするコンピュータ・プログラムにある。
(1)時間領域で畳み込み混合を直接解く。(時間領域逆畳み込み)
(2)観測信号を時間周波数領域に変換し、瞬時混合問題として解く。
これらの手法があったが、
(2)観測信号を時間周波数領域に変換し瞬時混合問題として解くという処理を行なう前提として、従来の時間周波数領域ICAの枠組みでは、時間領域の畳み混合が時間周波数領域では瞬時混合で表わされると考えていた。それに対し本発明では、時間周波数領域でも依然として畳み込み混合であると考える。この概念について図6を参照して説明する。
1フレーム分のデータに対して、離散フーリエ変換(有限区間のフーリエ変換のこと。略称DFT)または高速フーリエ変換(FFT)を施すことにより、周波数領域のデータであるスペクトルXk(t)を得る(tはフレーム番号)。
両者の畳み込みを区別するため、
式[1.2]のLを「時間タップ数」、
式[6.1]のLを「フレームタップ数」、
と定義する。
[Hiroe,A.Blind Vector Deconvolution:Convolutive Mixture Models in Short−Time Fourier Transform Domain.In M.E. Davies et al.(Eds.):ICA 2007,LNCS 4666,pp.471-479,2007.]
原信号から観測信号が生成される際のフレームタップ数をLという文字で表わし、
一方、
観測信号から分離結果を生成する際のフレームタップ数をL'と表わす。
Lはその環境の残響時間およびSTFTの窓長とシフト幅から決まる値である。一方、L'はLとは異なる値に設定することができる。(L'=0とすると、従来法と等価になる。)
L=Tr×Fs/S
ただし、
Tr:環境の残響時間
Fs:サンプリング周波数
S:STFTのシフト幅
である。
残響時間Tr=0.3秒、
サンプリング周波数Fs=16000Hz、
シフト幅S=256、
とすると、
原信号から観測信号が生成される際のフレームタップ数Lは、
L=18.75である。
すなわち、残響の影響は19フレームに及ぶ(端数切り上げ)ことが分かる。
L'=αL
とすればよい(αは適切な正の実数)。
Lが未知である場合、L'は例えば以下のいずれかの方法で決定することができる。
第二の方法は、何らかの方法で残響時間を測定し、その残響時間から上記の式で求めたLの値の定数倍をL'、すなわちL'=αLとする方法である。残響時間の測定方法としては、例えば装置自体に装備されたスピーカーからインパルス性の音を発し、その音が十分減衰するまでの時間を計測する。
第三の方法は、既知の原信号から生成された観測信号に対してさまざまなL'の下で分離を行ない、最も良い分離結果をもたらすL'の値を採用することである。そのためには、例えば装置の周辺にスピーカーを複数設置し、それぞれから既知の音を鳴らし、それらの音を複数のマイクで観測する。その観測結果に対して、異なるL'(例えばL'=0〜100のそれぞれの値)で分離結果を生成する。分離結果と原信号とから、後述のSIR(signal−interference ratio)という分離性能尺度を計算し、最高のSIRをもたらすL'を採用する。環境が同じであれば、原信号が未知の場合でも、そのL'が最高の分離信号をもたらす可能性が高い。
(1)時間周波数領域において、畳み込み混合を直接解く。
(2)スペクトログラムを時間方向へもう一度短時間フーリエ変換(STFT)し、瞬時混合として解く。
(3)シフト積み重ねと瞬時混合ICAを組み合わせた処理によって解く。
以下では、それぞれの方法について説明する。
まず、時間周波数領域において、畳み込み混合を直接解くことで、時間周波数領域において畳み込み混合された観測信号を分離する処理について説明する。
両者の式は、S(t)とのフレームのずれが異なるが、本質的には等価であるため、以下では式[6.2]からY(t)を推定する方法について説明する。
次に、スペクトログラムを時間方向へもう一度短時間フーリエ変換(STFT)し、瞬時混合として解くことで、時間周波数領域において畳み込み混合された観測信号を分離する処理について説明する。
チャンネル数は任意である)。
図8(b)は、観測信号の波形(図8(a))を短時間フーリエ変換(STFT)することで生成されたスペクトログラムである(チャンネルごとにSTFTを行ない、それぞれの結果を縦に並べて表示してある)。窓長=Nでフーリエ変換するとN個の周波数成分が得られるが、実数データの変換においては負の周波数成分は正の周波数成分の共役複素数の関係にある(共役対称と呼ぶ)ため、直流成分と正の周波数成分とのN/2+1=M本の周波数ビンだけ考慮すればよい。図8(b)に示す周波数ビン201は、周波数ビンの1本を示している。なお、通常、スペクトログラムはXの絶対値をプロットしたものを指すが、ここではX自体もスペクトログラムと呼ぶ。原信号Sや分離結果Yについても同様である。
また、分離行列更新の式として自然勾配法に基づく式を導出したが、代わりに他のアルゴリズムを用いてもよい。他のアルゴリズムとしては、正規直交制約つき勾配法や不動点法やニュートン法などがあるが、この点は従来の瞬時混合ICAと同様である。
次に、シフト積み重ねと瞬時混合ICAを組み合わせた処理によって、時間周波数領域において畳み込み混合された観測信号を分離する処理について説明する。
データ311−0が、シフト量l=0、
データ311−1が、シフト量l=l(エル)フレーム
:
データ311−L'が、シフト量l=L'フレーム
である。
なお、L'は前述したように、観測信号から分離結果を生成する際のフレームタップ数である。
観測信号スペクトログラム[X]はnチャンネル分のスペクトログラム、
であるのに対して、
観測信号スペクトログラムシフトセット[X'']は見かけ上、n×(L'+1)チャンネル分のスペクトログラムを含む。nがマイク数に相当するチャンネル数、(L'+1)が1つのチャンネルに対応して設定されるシフトデータ数である。
W[l,0]〜W[l,L']
と表わす。すなわち、分離行列[W]は、シフトフレーム数[l(エル)]と、各々のシフトスペクトログラムに応じて設定する。
分離信号[Y[l](t)]と分離行列[W[l,τ]]は、それぞれ、各チャンネルの成分に対応したベクトルや行列からなる。なお、Wに対する添字τはτ=0〜L'である、
分離結果:Y[0](t)〜Y[L'](t)
をすべて包含したベクトル
分離結果ベクトルY''(t)と、
式[11.7]で示される複数の分離行列、
W[0,0]〜W[L'+1,L']
をすべて包含した行列
W''
これらのベクトル[Y''(t)]と、行列[W'']とを用いると、分離処理を示す式は、単純に式[11.8]、すなわち、
Y''(t)=W''X''(t)・・・[11.8]
このように示すことができる。
Y(t)=WX(t)・・・[4.4]
上記式を用いた処理としているが、式[11.8]と式[4.4]と比較すると、式[11.8]は単にチャンネル数がnからn×(L'+1)に増えたものとして、式[4.4]を適用したとみなすことができる。
1)ゼロ除算を防ぐために分母に正の値βk [l](ω)を加える。さらに、その値として、kやl(エル)やωごとに異なるものを用いる。
2)L2ノルムの代わりにL−mノルム(式[13.2])を用いる。
3)スコア関数の係数Kの代わりに、kやl(エル)やωごとに異なる正値γk [l](ω)を用いる
このようなことを行なう。
本発明の信号分離装置の構成例を図15および図16に示す。図15は時間周波数領域で畳み込み混合を解く方式を実行する信号分離装置、図16はモジュレーション・スペクトログラムに変換してから瞬時混合を解く方式を実行する信号分離装置に対応する構成例である。
先に、図15に示す時間周波数領域で畳み込み混合を解く方式を実行する信号分離装置の構成および処理について説明する。なお、以下に説明する処理の統括的な制御は制御部409において実行される。制御部409は、例えば、装置の記憶部(図示せず)に予め記憶された以下に説明する処理を実行するプログラムに従って処理を制御する。以下、各構成部の処理について説明する。複数の音源が発する独立な音を複数のマイク401で観測し、AD変換部402において入力アナログ信号をデジタル信号に変換してデジタル観測信号を得る。
(a)L'=64やL'=100といった一定の値に決め打つ。
(b)残響時間を測定し、その残響時間から求めたLの値をL'とする。
(c)さまざまなL'の下で分離を行ない、最も良い分離結果をもたらすL'の値を採用する。例えばSIR(signal−interference ratio)という分離性能尺度を計算し、最高のSIRをもたらすL'を採用する。
上記いずれかの方法によって、L'、すなわち、観測信号Xから分離結果Yを生成するためのフレームタップ数L'、具体的には、例えば、図6(b)の観測信号Xから図6(c)の分離結果Yを生成するためのフレームタップ数L'を決定し、このフレームタップ数L'を用いて、観測信号の複数の連続フレームから分離結果を生成する。
次に、図16に示すモジュレーション・スペクトログラムに変換してから瞬時混合を解く方式を実行する信号分離装置の構成、および処理について説明する。なお、以下に説明する処理の統括的な制御は制御部461において実行される。制御部461は、例えば、装置の記憶部(図示せず)に予め記憶された以下に説明する処理を実行するプログラムに従って処理を制御する。以下、各構成部の処理について説明する。複数の音源が発する独立な音を複数のマイク451で観測し、AD変換部452において入力アナログ信号をデジタル信号に変換してデジタル観測信号を得る。
図18、図19に示す分離処理シーケンスは、それぞれ、先に、図15、図16を参照して説明した信号分離装置において実行する分離処理の具体的シーケンであり、
図18は、図15の信号分離装置の実行する時間周波数領域で畳み込み混合を解く方式における分離処理、
図19は、図16の信号分離装置の実行するモジュレーション・スペクトログラムに変換してから瞬時混合を解く方式における分離処理、
これらの詳細シーケンスである。
ステップS203:分離行列が収束したか否かの判定、
ステップS204:分離信号Yの計算、
ステップS205:周波数ビンループの開始(ω=1,...,M)、
ステップS206:フレームタップループの開始(τ=0,...,L)、
ステップS207:τ番目のフレームタップに対応する増分ΔW[τ]の計算、
ステップS208:フレームタップループの終了、
ステップS209:ΔW[0](ω)〜W[L'](ω)の更新、
ステップS210:周波数ビンループの終了、
これらのステップからなるループを繰り返し実行する。
次に、上述した実施例を変形した実施例について説明する。上記の実施例では、分離結果を生成する際に適用するフレームタップL'は、すなわち観測信号から分離結果を生成する際のフレームタップL'は、全ての周波数で一定値を用いていた。これを、周波数毎で一律とするのではなく周波数ごとにフレームタップL'の値を変えても良い。
低い周波数はタップ数=32・シフト幅=16を用い、
高い周波数はタップ数=16・シフト幅=8を用いると、
変換後のモジュレーション・スペクトログラムにおける1フレームあたりの時間長は、低い周波数が高い周波数の倍となる。すなわち、低い周波数の方が単位時間当たりのフレーム数が少ない(半分である)。
生成されたモジュレーション・スペクトログラムにおいて、単位時間当たりのフレーム数が多い方のビンからデータを間引くことで、フレーム数が少ない方のビンとデータの個数を合わせる。上記の32タップ・16シフトと16タップ・8シフトの例では、16タップ・8シフトの短時間フーリエ変換(STFT)を行なったビンに対して、一つ置きにデータを間引くと、両者で単位時間当たりのフレーム数が一致する(=1フレーム当たりの時間が同じ)ようになる。
上述の(方法1)とは逆に、個数が少ない方を多い方に合わせる方法。上記の32タップ・16シフトと16タップ・8シフトの例では、32タップ・16シフトを行なったビンに対して、データの補間を行なう。例えば、前後のフレームデータの平均を取ることで、中間に新しいデータを挿入する。
上述の(方法2)と同様に、個数が少ない方を多い方に合わせる方法。上記の32タップ・16シフトと16タップ・8シフトの例では、32タップ・16シフトを行なったビンに対して、データを2回ずつ重複させることで、16タップ・8シフトのビンとデータ数を合わせる。
「周波数ごとに[L']の値、すなわち、観測信号から分離結果を生成する際のフレームタップ数[L']の値を異ならせる」という変形例について説明する。
1≦ω<M/4では、L'(ω)=2
M/4≦ω<M/2では、L'(ω)=1
M/2≦ω<Mでは、L'(ω)=0
これを実現するためには、先に、図11を参照して説明したシフト処理によって生成されるデータXk [0],Xk [1],Xk [2]に対して以下の操作を行なう。
Xk [0]は、Xkそのまま。(全ての周波数ビンで、シフト=0は必要)、
Xk [1]は、M/2≦ωの周波数ビンを0でマスク。(M/2≦ωでは、1以上のシフトは不要)
Xk [2]は、M/4≦ωの周波数ビンを0でマスク。(M/4≦ωでは、2以上のシフトは不要)
(1)基本的な2段階分離
(2)チャンネル数の削減
(3)残響除去として利用
従来の時間周波数領域の瞬時混合ICAにおいて、残響よりも短い分析フレーム(または分析窓)を用いた場合、複数のフレームにまたがる妨害音は除去しきれない。その反面、本発明よりも(1回目のSTFTにおける分析フレーム長が同じであれば)計算量は少ない。そこで、最初に従来の時間周波数領域ICAで分離を行い、その結果のスペクトログラムを本発明の方法でさらに分離すれば、最初から本発明だけを用いる場合と比べて少ない時間で同等の分離精度を達成することができる。
一般に、ICAの計算量は、チャンネル数の2乗に比例する。そのため、チャンネル数を削減することができれば、計算量を大幅に削減することができる。2段階分離を用いると、本発明のステップのチャンネル数を削減することもできる。その方法について説明する。
(1)時間周波数領域において、畳み込み混合を直接解く。
(2)スペクトログラムを時間方向へもう一度短時間フーリエ変換(STFT)し、瞬時混合として解く。
(3)シフト積み重ねと瞬時混合ICAを組み合わせた処理によって解く。
これらのいずれかの処理によって、時間周波数領域において畳み込み混合された観測信号を分離する処理を実行すれば、分離処理における計算量を削減することができる。なお、入力チャンネル数=音源数であれば分離は可能であるため、ステップS502においてチャンネル数を削減しても分離精度には影響しない。
第1信号変換手段が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成し、不要チャンネル除去手段が、第1信号変換手段の生成した観測信号スペクトログラムに対して、瞬時混合ICAを適用した処理により第1の信号分離結果を生成し、この信号分離結果から、どの音源にも対応しないと判定される不要チャンネル除去処理を実行し、さらに、第2信号変換手段が、不要チャンネルが除去された観測信号スペクトログラムに対してデータ変換を実行してモジュレーション・スペクトログラムを生成し、信号分離手段が、モジュレーション・スペクトログラムから信号分離結果を生成するといった処理となる。
観測信号スペクトログラムに対して、瞬時混合ICAを適用した処理により第1の信号分離結果を生成し、生成した第1の信号分離結果から、どの音源にも対応しないと判定される不要チャンネル除去処理を実行し、除去処理後に残存する観測信号スペクトログラムをフレーム方向へシフトさせて観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、再度、瞬時混合ICAを適用して信号分離結果を生成する構成となる。
本発明の分離処理、すなわち、
(1)時間周波数領域において、畳み込み混合を直接解く。
(2)スペクトログラムを時間方向へもう一度短時間フーリエ変換(STFT)し、瞬時混合として解く。
(3)シフト積み重ねと瞬時混合ICAを組み合わせた処理によって解く。
これらの処理のうち、3番目の「シフト積み重ね+従来法」を用いた場合、分離自体は前処理の従来法で行ない、本発明は残響除去のみを行なうという役割分担も可能である。こうすることで、計算量はO({n×(L'+1)}2)からO(n×n×(L'+1))に削減される。以下はその方法について説明する。
ステップS621〜S623の処理は、処理対象が異なるチャンネル対応の信号Ynである点を除いてはステップS611〜S613の処理と同様である。
上述した本発明の方法により、従来の時間周波数領域ICAを超える分離性能が出ることを実験で確かめた。以下、この実験結果に基づいて本発明に従った信号分離処理による効果について説明する。
音データの収録を、図23に示す環境(オフィスの部屋)で行なった。
マイク数=4(間隔=7.5cm)、音源数=3であり、音源として以下のWebページで公開されているものを用いた。
原信号:
ICA'99 SYNTHETIC BENCHMARKS
http://sound.media.mit.edu/ica−bench/sources/
src1:beet.wav
src2:beet9.wav
src3: mike.wav
なお、収録はそれぞれの音源を単独に鳴らした状態で行ない、後で計算機上で混合している。
サンプリング周波数:16kHz
STFTの窓長:64,128,256,512,1024,(2048,4096)
STFTのシフト幅:窓長の1/2
窓:短時間フーリエ変換(STFT)時にサイン窓、逆フーリエ変換(FT)時に再びサイン窓
η0=0.5(式)
ループ回数=200 or 400
方式:
(方式1)式[5.2] (従来法に相当)
(方式2)式[7.1]&式[7.2](以降「逆方向畳み込み」)
(方式3)式[9.5](以降「再STFT」)
スコア関数:式[7.7]を使用
スコア関数のγの値:
(方式1&2)γ=sqrt(M) M:周波数ビンの本数
(方式3) γ=sqrt(L'M)
フレームタップ:
(方式2)L'=4,5,8,10,15,16,20,25,30,32
(方式3)L'=4,8,16,32
yk(t)をi番目の音源si(t)の推定結果と見なした場合、SIRはsi(t)とそれ以外の音源とのパワー比として定義される(式[10.3])。
出力チャンネル数(=マイク数)をnとすると、1つの音源に対してSIRはn通り計算されるが、その内の最大値を音源iのSIRと定義する(式[10.4])。以降の実験結果では、3つの音源のからそれぞれ求めたSIRを、さらに平均している。
周波数ビンベースのSIRは、周波数ビンごとにSIRを計算した後、全ての周波数ビンについて平均を取ることで計算する(式[10.6])。
各表において、
窓長:STFTの窓長、
frm−tapはフレームタップ数、
SIR(wave)は波形ベースのSIR、
SIR(bin)は周波数ビンベースのSIR、
を表わす。
(1)方式1(従来法)、200回ループ
(2)方式2(式[6.1],[7.1],[7.2])、200回ループ
(3)方式3(式[9.2],[9.5])、200回ループ
(4)方式1(従来法)、400回ループ
(5)方式2(式[6.1],[7.1],[7.2])、400回ループ
(6)方式3(式[9.2],[9.5])、400回ループ
これらの実験結果を示す。
(1)方式1(従来法)、200回ループ
(2)方式2(式[6.1],[7.1],[7.2])、200回ループ
(3)方式3(式[9.2],[9.5])、200回ループ
これらの3方式を実行した場合の結果データに基づくSIRデータをプロットしたものであり、
(a)波形ベースのSIR(signal−interference−ratio)
(b)周波数ビンベースのSIR
これらのSIRデータをプロットしたものである。横軸がSTFTの窓長、縦軸がSIRである。各グラフにおいて、
*(実線):方式1、
◆:が方式2、
+:が方式3、
である。
いくつかの設定において、方式2と方式3は、従来法を上回っているのが確認できる。
time_span={(frame_tap−1)×frame_shift+window_len}/srate
なお、
frame_tap:フレームタップ数(=L')
window_len:窓長(一度目のSTFTの切り出し区間長)
frame_shift:窓シフト幅(今回は窓長の1/2)
srate:サンプリング周波数(16kHz)
(1)方式1(従来法)、200回ループ
(2)方式2(式[6.1],[7.1],[7.2])、200回ループ
(3)方式3(式[9.2],[9.5])、200回ループ
これらの3方式を実行した場合の結果データに基づくSIRデータをプロットしたものであり、
(a)波形ベースのSIR(signal−interference−ratio)
(b)周波数ビンベースのSIR
これらのSIRデータをプロットしたものである。横軸が上述したタイムスパン(Time_span)の窓長、縦軸がSIRである。各グラフにおいて、
*(実線):方式1、
◆:が方式2、
+:が方式3、
である。
(4)方式1(従来法)、400回ループ
(5)方式2(式[6.1],[7.1],[7.2])、400回ループ
(6)方式3(式[9.2],[9.5])、400回ループ
これらの3方式を実行した場合の結果データに基づくSIRデータをプロットしたものであり、
(a)波形ベースのSIR(signal−interference−ratio)
(b)周波数ビンベースのSIR
これらのSIRデータをプロットしたものである。横軸がSTFTの窓長、縦軸がSIRである。各グラフにおいて、
*(実線):方式1、
◆:が方式2、
+:が方式3、
である。
図26に示すデータに対応するデータとして、横軸としてタイムスパンを用いてプロットした評価データを図27に示す。以下の3方式による分離結果についての評価データである。
(4)方式1(従来法)、400回ループ
(5)方式2(式[6.1],[7.1],[7.2])、400回ループ
(6)方式3(式[9.2],[9.5])、400回ループ
これらの3方式を実行した場合の結果データに基づくSIRデータをプロットしたものであり、
(a)波形ベースのSIR(signal−interference−ratio)
(b)周波数ビンベースのSIR
これらのSIRデータをプロットしたものである。横軸が上述したタイムスパン(Time_span)の窓長、縦軸がSIRである。各グラフにおいて、
*(実線):方式1、
◆:が方式2、
+:が方式3、
である。
音源1(src1):女性1名の発話(以降、女声またはF)
音源2(src2):男性1名の発話(以降、男声またはM)
音源3(src3):以下のURLで公開されているストリートノイズ(以降、雑踏またはS)http://sound.media.mit.edu/ica−bench/sources/street.wav
(1)sp1=S,sp2=0、sp3=F、sp4=M
(2)sp1=S,sp2=0、sp3=M、sp4=F
(3)sp1=F,sp2=S、sp3=0、sp4=M
(4)sp1=M,sp2=S、sp3=0、sp4=M
(5)sp1=0,sp2=0、sp3=F、sp4=M
(6)sp1=0,sp2=0、sp3=M、sp4=F
(7)sp1=F,sp2=0、sp3=0、sp4=M
(8)sp1=M,sp2=0、sp3=0、sp4=M
これらの8つのパターンである。
なお、実験では、(1)〜(8)の各パターンについて、観測信号が4秒の場合と8秒の場合とについて実験しているため、観測信号のバリエーションは合計で8×2=16通り存在する。
(3)sp1=F,sp2=S、sp3=0、sp4=M
図31(a)に示すX1〜X4の4枚のスペクトログラムは、図28に示す4本のマイク(mic1〜mic4)で観測された観測信号である。図31(b)は周波数ビンごとのSIRである。4枚のスペクトログラムの間で、4つの音源の混ざり具合はほぼ同じであることが分かる。
(方式1)式[5.2] (従来法に相当)
(方式3)式[9.5](以降「再STFT」)
(方式4)式[11.1]&式[5.2](以降「シフト積み重ね」)
共通:
サンプリング周波数=16kHz
サンプルビット数=16
観測信号の長さ:4秒および8秒
STFTの窓長:256,512,1024,2048,4096,8192
STFTのシフト幅:窓長の1/4
窓:短時間フーリエ変換(STFT)時にハニング窓、逆フーリエ変換(FT)時には窓なし。
η0=0.3
ループ回数=400
スコア関数のγの値:γ=sqrt(M) M:周波数ビンの本数
STFT(1回目)の窓長:512
STFT(1回目)のシフト幅:窓長の1/4
窓(1回目):短時間フーリエ変換(STFT)時にハニング窓、逆フーリエ変換(FT)時には窓なし。
η0=0.3
ループ回数=400
スコア関数のγの値:γ=sqrt(M(L'+1)) M:周波数ビンの本数
STFT(2回目)の窓長:L'+1=4,8,16,32
STFT(2回目)のシフト幅:窓長の1/8(端数切り上げ)
窓(2回目):短時間フーリエ変換(STFT)時にハミング窓、逆フーリエ変換(FT)時には窓なし。
STFT(1回目)の窓長:512
STFT(1回目)のシフト幅:窓長の1/4
窓(1回目):短時間フーリエ変換(STFT)時にハニング窓、逆フーリエ変換(FT)時には窓なし。
η0=0.3
ループ回数=400
スコア関数のγの値:γ=sqrt(M(L'+1)) M:周波数ビンの本数
フレームタップ:L'+1=2,4,8,12
Y2 [1],Y4 [0]:音源1
Y3 [0],Y3 [1]:音源2
Y1 [0],Y1 [1]:音源3
Y2 [0],Y4 [1]:対応なし
13 同時エントロピー
111 音源
121 マイク
201 周波数ビン
202 ビン
203 ビン
221 モジュレーション・スペクトログラム
222 多変量確率密度関数
223,224 エントロピー
401 マイク
402 AD変換部
403 STFT部
404 信号分離部
405 リスケーリング部
406 逆FT部
407 後段処理実行部
408 畳み込み演算部
409 制御部
451 マイク
452 AD変換部
453 第1STFT部
454 第2STFT部
455 信号分離部
456 第1リスケーリング部
457 第1逆FT部
458 第2リスケーリング部
459 第2逆FT部
460 後段処理実行部
461 制御部
Claims (13)
- 複数の信号が混合した信号を入力して個別の信号に分離する信号分離装置であり、
入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換手段と、
前記信号変換手段の生成した観測信号スペクトログラムから信号分離結果を生成する信号分離手段を有し、
前記信号分離手段は、
前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により、信号分離結果を生成する構成であることを特徴とする信号分離装置。 - 前記瞬時混合ICAを適用した処理は、時間周波数領域の観測信号と分離行列から時間周波数領域の分離信号を生成し、生成した時間周波数領域の分離信号と、多次元確率密度関数から導出される多次元スコア関数によって計算される分離行列とがほぼ収束するまで分離行列を修正し、修正した分離行列を適用して時間周波数領域の分離信号を生成する処理であることを特徴とする請求項1に記載の信号分離装置。
- 前記信号分離手段は、
複数の信号入力源の観測信号各々に対応して生成される複数の観測信号スペクトログラムシフトセットを積み重ねた複数チャンネル対応の観測信号スペクトログラムシフトセットに対して、瞬時混合ICAを適用して信号分離結果を生成することを特徴とする請求項1に記載の信号分離装置。 - 前記信号分離手段は、
前記シフトの際に生じた隙間をゼロまたはゼロに近い値、または前記観測信号スペクトログラムの両端の値をコピーして設定して、前記観測信号スペクトログラムシフトセットを生成することを特徴とする請求項1に記載の信号分離装置。 - 前記信号分離手段は、
前記シフトをシフトではみ出した一端のデータを他端にコピーする巡回シフト処理を実行することを特徴とする請求項1に記載の信号分離装置。 - 前記信号分離手段は、
最小シフト量を0、最大シフト量を観測信号から分離結果を生成する際のフレームタップ数[L']として設定した複数のシフトデータを生成し、生成した異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成することを特徴とする請求項1に記載の信号分離装置。 - 前記信号分離手段は、
周波数に応じて前記フレームタップ数[L']を変更して前記観測信号スペクトログラムシフトセットを生成することを特徴とする請求項1に記載の信号分離装置。 - 前記信号分離手段は、
前記観測信号スペクトログラムに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により第1の信号分離結果を生成し、該第1の信号分離結果から、どの音源にも対応しないと判定される不要チャンネル除去処理を実行し、該除去処理後に残存する観測信号スペクトログラムをフレーム方向へシフトさせて観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAを適用して信号分離結果を生成する構成であることを特徴とする請求項1に記載の信号分離装置。 - 複数の信号が混合した信号を入力して個別の信号に分離する信号分離装置であり、
入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換手段と、
前記信号変換手段の生成した観測信号スペクトログラムから信号分離結果を生成する信号分離手段を有し、
前記信号分離手段は、
前記観測信号スペクトログラムに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により信号分離結果Y1〜Ynを生成し、
信号分離結果Y1〜Ynの各々に対応する信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により残響除去処理を実行し、残響除去済みスペクトログラムの統合処理によって、残響を除去した信号分離結果を生成する構成であることを特徴とする信号分離装置。 - 前記瞬時混合ICAを適用した処理は、時間周波数領域の観測信号と分離行列から時間周波数領域の分離信号を生成し、生成した時間周波数領域の分離信号と、多次元確率密度関数から導出される多次元スコア関数によって計算される分離行列とがほぼ収束するまで分離行列を修正し、修正した分離行列を適用して時間周波数領域の分離信号を生成する処理であることを特徴とする請求項9に記載の信号分離装置。
- 信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離方法であり、
信号変換手段が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換ステップと、
信号分離手段が、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成する信号分離ステップを有し、
前記信号分離ステップは、
前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により、信号分離結果を生成するステップであることを特徴とする信号分離方法。 - 信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離方法であり、
信号変換手段が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換ステップと、
信号分離手段が、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成する信号分離ステップを有し、
前記信号分離ステップは、
前記観測信号スペクトログラムに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により信号分離結果Y1〜Ynを生成し、
信号分離結果Y1〜Ynの各々に対応する信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により残響除去処理を実行し、残響除去済みスペクトログラムの統合処理によって、残響を除去した信号分離結果を生成するステップであることを特徴とする信号分離方法。 - 信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離処理を実行させるコンピュータ・プログラムであり、
信号変換手段に、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成させる信号変換ステップと、
信号分離手段に、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成させる信号分離ステップを有し、
前記信号分離ステップは、
前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICA(Independent Component Analysis)を適用した処理により、信号分離結果を生成させるステップであることを特徴とするコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011167935A JP5195979B2 (ja) | 2007-02-21 | 2011-08-01 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007041455 | 2007-02-21 | ||
JP2007041455 | 2007-02-21 | ||
JP2011167935A JP5195979B2 (ja) | 2007-02-21 | 2011-08-01 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009111773A Division JP5233827B2 (ja) | 2007-02-21 | 2009-05-01 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011215649A JP2011215649A (ja) | 2011-10-27 |
JP5195979B2 true JP5195979B2 (ja) | 2013-05-15 |
Family
ID=39906670
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007328516A Expired - Fee Related JP4403436B2 (ja) | 2007-02-21 | 2007-12-20 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
JP2009111773A Expired - Fee Related JP5233827B2 (ja) | 2007-02-21 | 2009-05-01 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
JP2011167935A Expired - Fee Related JP5195979B2 (ja) | 2007-02-21 | 2011-08-01 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007328516A Expired - Fee Related JP4403436B2 (ja) | 2007-02-21 | 2007-12-20 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
JP2009111773A Expired - Fee Related JP5233827B2 (ja) | 2007-02-21 | 2009-05-01 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP4403436B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4403436B2 (ja) * | 2007-02-21 | 2010-01-27 | ソニー株式会社 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
JP5229053B2 (ja) * | 2009-03-30 | 2013-07-03 | ソニー株式会社 | 信号処理装置、および信号処理方法、並びにプログラム |
US8620976B2 (en) | 2009-11-12 | 2013-12-31 | Paul Reed Smith Guitars Limited Partnership | Precision measurement of waveforms |
CN102770856B (zh) | 2009-11-12 | 2016-07-06 | 保罗-里德-史密斯-吉塔尔斯股份合作有限公司 | 用于精确波形测量的域识别和分离 |
JP5706910B2 (ja) * | 2009-11-12 | 2015-04-22 | ポール リード スミス ギターズ、リミテッド パートナーシップ | デジタル信号処理のための方法、コンピュータ可読ストレージ媒体および信号処理システム |
CN102708860B (zh) * | 2012-06-27 | 2014-04-23 | 昆明信诺莱伯科技有限公司 | 一种基于声信号识别鸟类种类的判断标准建立方法 |
JP6559427B2 (ja) * | 2015-01-22 | 2019-08-14 | 株式会社東芝 | 音声処理装置、音声処理方法およびプログラム |
WO2018199721A1 (ko) | 2017-04-28 | 2018-11-01 | 서울대학교 산학협력단 | 뉴럴네트워크에서 데이터 처리를 가속화하는 방법 및 장치 |
KR102415214B1 (ko) * | 2017-12-22 | 2022-06-30 | 서울대학교산학협력단 | 이상치를 고려한 뉴럴네트워크 가속 방법 및 장치 |
CN116964668A (zh) * | 2021-03-10 | 2023-10-27 | 索尼集团公司 | 信号处理装置和方法以及程序 |
CN113804981B (zh) * | 2021-09-15 | 2022-06-24 | 电子科技大学 | 一种时频联合最优化多源多信道信号分离方法 |
CN114399996A (zh) * | 2022-03-16 | 2022-04-26 | 阿里巴巴达摩院(杭州)科技有限公司 | 处理语音信号的方法、装置、存储介质及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010044719A1 (en) * | 1999-07-02 | 2001-11-22 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for recognizing, indexing, and searching acoustic signals |
JP4449871B2 (ja) * | 2005-01-26 | 2010-04-14 | ソニー株式会社 | 音声信号分離装置及び方法 |
JP2006243664A (ja) * | 2005-03-07 | 2006-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 信号分離装置、信号分離方法、信号分離プログラム及び記録媒体 |
JP4714892B2 (ja) * | 2005-04-28 | 2011-06-29 | 財団法人北九州産業学術推進機構 | 耐高残響ブラインド信号分離装置及び方法 |
JP2006337851A (ja) * | 2005-06-03 | 2006-12-14 | Sony Corp | 音声信号分離装置及び方法 |
JP4403436B2 (ja) * | 2007-02-21 | 2010-01-27 | ソニー株式会社 | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム |
-
2007
- 2007-12-20 JP JP2007328516A patent/JP4403436B2/ja not_active Expired - Fee Related
-
2009
- 2009-05-01 JP JP2009111773A patent/JP5233827B2/ja not_active Expired - Fee Related
-
2011
- 2011-08-01 JP JP2011167935A patent/JP5195979B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP4403436B2 (ja) | 2010-01-27 |
JP2009169439A (ja) | 2009-07-30 |
JP2011215649A (ja) | 2011-10-27 |
JP2008233866A (ja) | 2008-10-02 |
JP5233827B2 (ja) | 2013-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5195979B2 (ja) | 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム | |
US20210089967A1 (en) | Data training in multi-sensor setups | |
US20080228470A1 (en) | Signal separating device, signal separating method, and computer program | |
US9668066B1 (en) | Blind source separation systems | |
US8874439B2 (en) | Systems and methods for blind source signal separation | |
Grais et al. | Raw multi-channel audio source separation using multi-resolution convolutional auto-encoders | |
JP5124014B2 (ja) | 信号強調装置、その方法、プログラム及び記録媒体 | |
JP4556875B2 (ja) | 音声信号分離装置及び方法 | |
JP4449871B2 (ja) | 音声信号分離装置及び方法 | |
JP2011215317A (ja) | 信号処理装置、および信号処理方法、並びにプログラム | |
JP5965487B2 (ja) | 直接−拡散分解方法 | |
JP2007219479A (ja) | 音源分離装置、音源分離プログラム及び音源分離方法 | |
JP6987075B2 (ja) | オーディオ源分離 | |
BRPI0621733A2 (pt) | método adaptável para extrair pelo menos um sinal, e, aparelho para extrair adaptavelmente pelo menos um sinal | |
JP5911101B2 (ja) | 音響信号解析装置、方法、及びプログラム | |
Moorer | A note on the implementation of audio processing by short-term fourier transform | |
TWI767696B (zh) | 自我語音抑制裝置及方法 | |
JP2014048398A (ja) | 音響信号解析装置、方法、及びプログラム | |
JP4946330B2 (ja) | 信号分離装置及び方法 | |
JP6644356B2 (ja) | 音源分離システム、方法及びプログラム | |
JPWO2018167921A1 (ja) | 信号処理装置 | |
JP2008134298A (ja) | 信号処理装置、信号処理方法およびプログラム | |
Bagchi et al. | Extending instantaneous de-mixing algorithms to anechoic mixtures | |
Jiang et al. | A Complex Neural Network Adaptive Beamforming for Multi-channel Speech Enhancement in Time Domain | |
JP4714892B2 (ja) | 耐高残響ブラインド信号分離装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130121 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |