JP5166460B2 - 残響予測フィルタ算出装置、残響抑圧装置、残響予測フィルタ算出方法、残響抑圧方法、プログラム - Google Patents
残響予測フィルタ算出装置、残響抑圧装置、残響予測フィルタ算出方法、残響抑圧方法、プログラム Download PDFInfo
- Publication number
- JP5166460B2 JP5166460B2 JP2010026427A JP2010026427A JP5166460B2 JP 5166460 B2 JP5166460 B2 JP 5166460B2 JP 2010026427 A JP2010026427 A JP 2010026427A JP 2010026427 A JP2010026427 A JP 2010026427A JP 5166460 B2 JP5166460 B2 JP 5166460B2
- Authority
- JP
- Japan
- Prior art keywords
- short
- reverberation
- power spectrum
- harmonic
- prediction filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
現在の残響予測フィルタを観測短時間フーリエ係数列に適用して得られる残響成分の暫定的な推定値を観測短時間フーリエ係数列から差し引くことにより、観測された音楽信号から残響が抑圧された信号の短時間フーリエ係数列の暫定的な推定値(暫定短時間フーリエ係数列)を得て[残響暫定抑圧処理]、
音源信号の短時間パワースペクトルのモデルとして、調波GMMによる調波成分間のパワースペクトルのギャップを埋めるためのパワースペクトルであるパワースペクトルフロアを当該調波GMMに加算したモデル(フロアつき調波GMM)を用いて、
暫定短時間フーリエ係数列のエネルギースペクトルに基づきフロアつき調波GMMの調波パラメータ(フロアつき調波パラメータ)を推定し、このフロアつき調波パラメータの推定値で規定されるフロアつき調波GMMにより暫定短時間パワースペクトル系列を求め[短時間パワースペクトル推定処理]、
現在の残響予測フィルタを、暫定短時間パワースペクトル系列に基づいて更新し[残響予測フィルタ更新処理]、
残響暫定抑圧処理と、短時間パワースペクトル推定処理と、残響予測フィルタ更新処理を、予め定められた第1の条件を満たすまで繰り返す[制御処理]。
なお、フロアつき調波GMMが表わすパワースペクトルのうち、調波GMMに由来する成分を音源成分、パワースペクトルフロアに由来する成分をフロア成分と呼ぶ。
音楽信号は明確な調波構造を持つため、残響を含まない音楽信号(音源信号と呼ぶ)のパワースペクトルのモデルとして調波GMM(Harmonic Gaussian Mixture Model)を用いて、音源信号の短時間パワースペクトル系列{λn,m}0≦n≦N−1,0≦m≦M−1を推定することを考える。調波GMMは、調波構造を表現するのに適しているため、調波GMMを用いることで音源信号の短時間パワースペクトル系列{λn,m}0≦n≦N−1,0≦m≦M−1を精度良く推定できると考えられる。調波GMMについては例えば参考文献Aを参照されたい。
(参考文献A)H. Kameoka, T. Nishimoto, and S. Sagayama, “Multi-pitch trajectory estimation of concurrent speech based on harmonic GMM and nonlinear Kalman filtering,” in Proc. Interspeech, 2004, pp. 2433-2466.
(参考文献B)A. P. Dempster, N. M. Laird and D. B. Rubin, "Maximum Likelihood from Incomplete Data via the EM Algorithm", Journal of the Royal Statistical Society. Series B (Methodological), Vol. 39, No. 1. (1977), pp. 1-38.
実施形態における残響予測フィルタ算出装置は、それ単体で独立に存在するよりは、算出された残響予測フィルタを用いて残響抑圧を行う装置(実施形態における残響抑圧装置)を構成する構成要素として存在することが実用的な場合がある。さらに云えば、残響予測フィルタ算出装置は、残響抑圧装置とは容易に分離可能に残響抑圧装置を構成する構成要素ではなく、残響抑圧装置自体を或る機能に着眼して片面的に評価したものと云うこともできる。要するに、残響予測フィルタ算出装置は、残響抑圧装置そのものであることが凡そ実用的と言うことができる。
ただし、残響予測フィルタ算出装置が、単体独立の構成要素として存在すること、残響抑圧装置とは容易に分離可能に残響抑圧装置を構成する構成要素であることを排除する趣旨ではない。例えば残響予測フィルタの算出自体を目的とするならば、残響予測フィルタ算出装置を単体独立の構成要素として実現することに何らの妨げは無い。
ここで残響抑圧装置は、例えば専用のハードウェアで構成された専用機やパーソナルコンピュータのような汎用機といったコンピュータで実現されるとし、単体独立の構成要素として残響予測フィルタ算出装置を実現する場合も同様である。
残響抑圧装置は、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、CPU(Central Processing Unit)〔キャッシュメモリなどを備えていてもよい。〕、メモリであるRAM(Random Access Memory)やROM(Read Only Memory)と、ハードディスクである外部記憶装置、並びにこれらの入力部、出力部、CPU、RAM、ROM、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、残響抑圧装置に、CD−ROMなどの記憶媒体を読み書きできる装置(ドライブ)などを設けるとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
なお、実施形態の残響予測フィルタ算出装置は、残響予測フィルタ算出部つまり残響暫定抑圧部、音源短時間パワースペクトル推定部、残響予測フィルタ更新部、制御部を含んで構成されるが、短時間フーリエ変換部、残響抑圧部、短時間逆フーリエ変換部は、残響予測フィルタ算出装置の必須の構成要素ではない。
第1実施形態は、従来技術として非特許文献1を例に挙げて説明した上述の残響抑圧処理における残響予測フィルタ算出過程S110に含まれる音源短時間パワースペクトル推定過程S114の処理を変更するものである(図5参照)。よって、この変更される部分について説明し、その他の技術事項については上述の残響抑圧処理に関する説明を援用して重複説明を省略する。
(参考文献C)I. Csiszar, "I-Divergence Geometry of Probability Distributions and Minimization Problems", The Annals of Probability, Vol. 3, No. 1. (Feb., 1975), pp. 146-158.
第2実施形態では、音源短時間パワースペクトル推定部114が式(17)を最大化するフロアつき調波パラメータを計算する方法として、EMアルゴリズムに拠る場合の方法を説明する。
初期化過程S300では、制御部111が、フロアつき調波パラメータ{μn,γn,1,γn,2,αn,1,…,αn,NH,βn,1,…,βn,NI}を初期化する。
分配過程S310では、分配係数と呼ばれる値を計算する。分配係数は、音源成分について、各調波成分k(1≦k≦NH)、各周波数ビンm(0≦m≦M−1)に一つ定義される。同様に、フロア成分について、各帯域k(1≦k≦NI)、各周波数ビンm(0≦m≦M−1)に一つ定義される。すなわち、分配係数の集合は{w1,1,m,…,w1,NH,m,w2,1,m,…,w2,NI,m}0≦m≦M−1と表せる。各{w1,k,m}1≦k≦NHおよび各{w2,k,m}1≦k≦NIはそれぞれ式(19)、式(20)にしたがって計算される。
パラメータ更新過程S320では、フロアつき調波パラメータ{μn,γn,1,γn,2,αn,1,…,αn,NH,βn,1,…,βn,NI}の値を更新する。まず、音源成分とフロア成分の音量γn,1ならびにγn,2は、式(21)と式(22)にしたがって更新される。
第3実施形態では、図1に示した残響抑圧処理の流れにおいて、残響抑圧過程S120を式(1)及び式(2)を用いる方法とは異なる方法で実施する。式(1)と式(2)による残響抑圧過程は、残響予測フィルタ{gΔm,m,…,gΔm+Km−1,m}0≦m≦M−1のみ用いる。一方、第3実施形態による残響抑圧過程S120では、残響予測フィルタ{gΔm,m,…,gΔm+Km−1,m}0≦m≦M−1と音源信号の短時間パワースペクトル系列の推定値{λ^ n,0,…,λ^ n,M−1}0≦n≦N−1の両方が用いられる(図7参照)。ここでの音源信号の短時間パワースペクトル系列の推定値{λ^ n,0,…,λ^ n,M−1}0≦n≦N−1は、第1実施形態によるとダイバージェンス最小化フロアつき調波パラメータが求められた時点において、第2実施形態によるとループ処理321でi=NQが成立した時点において、式(15)により得られているものである。従って、この音源信号の短時間パワースペクトル系列の推定値{λ^ n,0,…,λ^ n,M−1}0≦n≦N−1として第1ないし第2実施形態により得られたものを用いることができる。
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
Claims (11)
- 観測された音楽信号の短時間フーリエ係数列(以下、観測短時間フーリエ係数列という)から差し引かれる残響成分を求めるために前記観測短時間フーリエ係数列に適用される残響予測フィルタを、残響を含まない音楽信号(以下、音源信号という)の短時間パワースペクトル系列の暫定的な推定値である短時間パワースペクトル系列(以下、暫定短時間パワースペクトル系列という)に基づいて更新することにより算出する残響予測フィルタ算出装置であって、
現在の残響予測フィルタを前記観測短時間フーリエ係数列に適用して得られる残響成分の暫定的な推定値を前記観測短時間フーリエ係数列から差し引くことにより、前記観測された音楽信号から残響が抑圧された信号の短時間フーリエ係数列の暫定的な推定値(以下、暫定短時間フーリエ係数列という)を得る残響暫定抑圧部と、
前記音源信号の短時間パワースペクトルのモデルとして、調波GMMによる調波成分間のパワースペクトルのギャップを埋めるためのパワースペクトルであるパワースペクトルフロアを当該調波GMMに加算したモデル(以下、フロアつき調波GMMという)を用いて、前記暫定短時間フーリエ係数列のエネルギースペクトルに基づき前記フロアつき調波GMMの調波パラメータ(以下、フロアつき調波パラメータという)を推定し、この推定されたフロアつき調波パラメータを持つ前記フロアつき調波GMMにより前記暫定短時間パワースペクトル系列を求める短時間パワースペクトル推定部と、
現在の残響予測フィルタを、前記暫定短時間パワースペクトル系列に基づいて更新する残響予測フィルタ更新部と、
前記残響暫定抑圧部による処理と、前記短時間パワースペクトル推定部による処理と、前記残響予測フィルタ更新部による処理を、予め定められた第1の条件を満たすまで繰り返す制御を行う制御部と
を含む残響予測フィルタ算出装置。 - 請求項1に記載の残響予測フィルタ算出装置において、
前記短時間パワースペクトル推定部は、前記推定されたフロアつき調波パラメータとして、前記暫定短時間フーリエ係数列のエネルギースペクトルに対してI−ダイバージェンスを最小化するパワースペクトルを与えるフロアつき調波パラメータ(以下、ダイバージェンス最小化フロアつき調波パラメータという)を求める
ことを特徴とする残響予測フィルタ算出装置。 - 請求項2に記載の残響予測フィルタ算出装置において、
前記フロアつき調波パラメータは、基本周波数を表すパラメータと、前記調波GMMに基づくパワースペクトルにおける音量を表すパラメータと、前記パワースペクトルフロアにおける音量を表すパラメータと、第k調波成分の相対強度を表すパラメータと、前記パワースペクトルフロアの周波数帯域ごとの相対強度を表すパラメータを含み、
前記短時間パワースペクトル推定部は、各前記調波成分と各前記周波数帯域に対応して定まる分配係数の算出と、当該分配係数を用いることによる前記フロアつき調波パラメータの更新とを予め定められた第2の条件を満たすまで繰り返し、当該第2の条件を満たしたときの前記フロアつき調波パラメータを、前記ダイバージェンス最小化フロアつき調波パラメータとして求める
ことを特徴とする残響予測フィルタ算出装置。 - 観測された音楽信号に含まれる残響を抑圧する残響抑圧装置であって、
前記観測された音楽信号の短時間フーリエ係数列(以下、観測短時間フーリエ係数列という)を求める短時間フーリエ変換部と、
請求項1から請求項3のいずれかに記載の残響予測フィルタ算出装置と、
前記残響予測フィルタ算出装置によって得られた残響予測フィルタを前記観測短時間フーリエ係数列に適用して得られる残響成分を前記観測短時間フーリエ係数列から差し引くことにより、前記観測された音楽信号から残響が抑圧された信号の短時間フーリエ係数列として推定された短時間フーリエ係数列(以下、終局短時間フーリエ係数列という)を得る残響抑圧部と、
前記終局短時間フーリエ係数列を短時間逆フーリエ変換して得られる信号を出力する短時間逆フーリエ変換部と
を含む残響抑圧装置。 - 請求項4に記載の残響抑圧装置において、
前記残響抑圧部に替えて、
前記残響予測フィルタ算出装置によって得られた残響予測フィルタを前記観測短時間フーリエ係数列に適用して得られる残響成分と、前記残響予測フィルタ算出装置によって得られる前記第1の条件が満たされた時点における前記暫定短時間パワースペクトル系列とを入力とするWienerフィルタの出力を、前記観測短時間フーリエ係数列に適用することにより、前記観測された音楽信号から残響が抑圧された信号の短時間フーリエ係数列の推定値(以下、終局短時間フーリエ係数列という)を得る残響抑圧部を含む
ことを特徴とする残響抑圧装置。 - 観測された音楽信号の短時間フーリエ係数列(以下、観測短時間フーリエ係数列という)から差し引かれる残響成分を求めるために前記観測短時間フーリエ係数列に適用される残響予測フィルタを、残響を含まない音楽信号(以下、音源信号という)の短時間パワースペクトル系列の暫定的な推定値である短時間パワースペクトル系列(以下、暫定短時間パワースペクトル系列という)に基づいて更新することにより算出する残響予測フィルタ算出方法であって、
現在の残響予測フィルタを前記観測短時間フーリエ係数列に適用して得られる残響成分の暫定的な推定値を前記観測短時間フーリエ係数列から差し引くことにより、前記観測された音楽信号から残響が抑圧された信号の短時間フーリエ係数列の暫定的な推定値(以下、暫定短時間フーリエ係数という)を得る残響暫定抑圧過程と、
前記音源信号の短時間パワースペクトルのモデルとして、調波GMMによる調波成分間のパワースペクトルのギャップを埋めるためのパワースペクトルであるパワースペクトルフロアを当該調波GMMに加算したモデル(以下、フロアつき調波GMMという)を用いて、前記暫定短時間フーリエ係数列のエネルギースペクトルに基づき前記フロアつき調波GMMの調波パラメータ(以下、フロアつき調波パラメータという)を推定し、この推定されたフロアつき調波パラメータを持つ前記フロアつき調波GMMにより前記暫定短時間パワースペクトル系列を求める短時間パワースペクトル推定過程と、
現在の残響予測フィルタを、前記暫定短時間パワースペクトル系列に基づいて更新する残響予測フィルタ更新過程と、
前記残響暫定抑圧過程における処理と、前記短時間パワースペクトル推定過程における処理と、前記残響予測フィルタ更新過程における処理を、予め定められた第1の条件を満たすまで繰り返す制御を行う制御過程と
を有する残響予測フィルタ算出方法。 - 請求項6に記載の残響予測フィルタ算出方法において、
前記短時間パワースペクトル推定過程では、前記推定されたフロアつき調波パラメータとして、前記暫定短時間フーリエ係数列のエネルギースペクトルに対してI−ダイバージェンスを最小化するパワースペクトルを与えるフロアつき調波パラメータ(以下、ダイバージェンス最小化フロアつき調波パラメータという)を求める
ことを特徴とする残響予測フィルタ算出方法。 - 請求項7に記載の残響予測フィルタ算出方法において、
前記フロアつき調波パラメータは、基本周波数を表すパラメータと、前記調波GMMに基づくパワースペクトルにおける音量を表すパラメータと、前記パワースペクトルフロアにおける音量を表すパラメータと、第k調波成分の相対強度を表すパラメータと、前記パワースペクトルフロアの周波数帯域ごとの相対強度を表すパラメータを含み、
前記短時間パワースペクトル推定過程では、各前記調波成分と各前記周波数帯域に対応して定まる分配係数の算出と、当該分配係数を用いることによる前記フロアつき調波パラメータの更新とを予め定められた第2の条件を満たすまで繰り返し、当該第2の条件を満たしたときの前記フロアつき調波パラメータを、前記ダイバージェンス最小化フロアつき調波パラメータとして求める
ことを特徴とする残響予測フィルタ算出方法。 - 観測された音楽信号に含まれる残響を抑圧する残響抑圧方法であって、
前記観測された音楽信号の短時間フーリエ係数列(以下、観測短時間フーリエ係数列という)を求める短時間フーリエ変換過程と、
請求項1から請求項3のいずれかに記載の残響予測フィルタ算出方法にしたがってと残響予測フィルタを得る残響予測フィルタ算出過程と、
前記残響予測フィルタ算出過程において得られた残響予測フィルタを前記観測短時間フーリエ係数列に適用して得られる残響成分を前記観測短時間フーリエ係数列から差し引くことにより、前記観測された音楽信号から残響が抑圧された信号の短時間フーリエ係数列として推定された短時間フーリエ係数列(以下、終局短時間フーリエ係数列という)を得る残響抑圧過程と、
前記終局短時間フーリエ係数を短時間逆フーリエ変換して得られる信号を出力する短時間逆フーリエ変換過程と
を有する残響抑圧方法。 - 請求項9に記載の残響抑圧方法において、
前記残響抑圧過程に替えて、
前記残響予測フィルタ算出過程において得られた残響予測フィルタを前記観測短時間フーリエ係数列に適用して得られる残響成分と、前記残響予測フィルタ算出過程において得られる前記第1の条件が満たされた時点における前記暫定短時間パワースペクトル系列とを入力とするWienerフィルタの出力を、前記観測短時間フーリエ係数列に適用することにより、前記観測された音楽信号から残響が抑圧された信号の短時間フーリエ係数列の推定値(以下、終局短時間フーリエ係数列という)を得る残響抑圧過程を有する
ことを特徴とする残響抑圧方法。 - 請求項1から請求項3のいずれかに記載の残響予測フィルタ算出装置および/または請求項4または請求項5に記載の残響抑圧装置として、コンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010026427A JP5166460B2 (ja) | 2010-02-09 | 2010-02-09 | 残響予測フィルタ算出装置、残響抑圧装置、残響予測フィルタ算出方法、残響抑圧方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010026427A JP5166460B2 (ja) | 2010-02-09 | 2010-02-09 | 残響予測フィルタ算出装置、残響抑圧装置、残響予測フィルタ算出方法、残響抑圧方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011164335A JP2011164335A (ja) | 2011-08-25 |
JP5166460B2 true JP5166460B2 (ja) | 2013-03-21 |
Family
ID=44595084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010026427A Expired - Fee Related JP5166460B2 (ja) | 2010-02-09 | 2010-02-09 | 残響予測フィルタ算出装置、残響抑圧装置、残響予測フィルタ算出方法、残響抑圧方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5166460B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5923994B2 (ja) * | 2012-01-23 | 2016-05-25 | 富士通株式会社 | 音声処理装置及び音声処理方法 |
JP6677662B2 (ja) * | 2017-02-14 | 2020-04-08 | 株式会社東芝 | 音響処理装置、音響処理方法およびプログラム |
CN110634285B (zh) * | 2019-08-05 | 2021-10-08 | 江苏大学 | 一种基于高斯混合模型的路段出行时间预测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4313740B2 (ja) * | 2004-08-25 | 2009-08-12 | 日本電信電話株式会社 | 残響除去方法、プログラムおよび記録媒体 |
JP2006251712A (ja) * | 2005-03-14 | 2006-09-21 | Univ Of Tokyo | 観測データ、特に、複数の音源からの音が混在している音響信号の解析方法 |
JP4977062B2 (ja) * | 2008-02-29 | 2012-07-18 | 日本電信電話株式会社 | 残響除去装置とその方法と、そのプログラムと記録媒体 |
-
2010
- 2010-02-09 JP JP2010026427A patent/JP5166460B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011164335A (ja) | 2011-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4107613B2 (ja) | 残響除去における低コストのフィルタ係数決定法 | |
JP4517045B2 (ja) | 音高推定方法及び装置並びに音高推定用プラグラム | |
JP6180553B2 (ja) | 入力雑音混入信号を強調する方法およびシステム | |
JP6623376B2 (ja) | 音源強調装置、その方法、及びプログラム | |
JP4977062B2 (ja) | 残響除去装置とその方法と、そのプログラムと記録媒体 | |
CN113436643A (zh) | 语音增强模型的训练及应用方法、装置、设备及存储介质 | |
JP2019078864A (ja) | 楽音強調装置、畳み込みオートエンコーダ学習装置、楽音強調方法、プログラム | |
CN110998723B (zh) | 使用神经网络的信号处理装置及信号处理方法、记录介质 | |
JP2020086434A (ja) | 音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法および装置 | |
JP2009210647A (ja) | 雑音除去装置、その方法、そのプログラム及び記録媒体 | |
JP5166460B2 (ja) | 残響予測フィルタ算出装置、残響抑圧装置、残響予測フィルタ算出方法、残響抑圧方法、プログラム | |
KR100701452B1 (ko) | 스펙트럼 모델링 | |
JP6567478B2 (ja) | 音源強調学習装置、音源強調装置、音源強調学習方法、プログラム、信号処理学習装置 | |
JP6721165B2 (ja) | 入力音マスク処理学習装置、入力データ処理関数学習装置、入力音マスク処理学習方法、入力データ処理関数学習方法、プログラム | |
EP3136387A1 (en) | Frequency domain parameter sequence generation method, coding method, decoding method, frequency domain parameter sequence generation device, coding device, decoding device, program, and recording medium | |
JP4977100B2 (ja) | 残響除去装置、残響除去方法、そのプログラムおよび記録媒体 | |
JP5191500B2 (ja) | 雑音抑圧フィルタ算出方法と、その装置と、プログラム | |
JP5583181B2 (ja) | 縦続接続型伝達系パラメータ推定方法、縦続接続型伝達系パラメータ推定装置、プログラム | |
JP6827908B2 (ja) | 音源強調装置、音源強調学習装置、音源強調方法、プログラム | |
JP2020030373A (ja) | 音源強調装置、音源強調学習装置、音源強調方法、プログラム | |
US11758324B2 (en) | PSD optimization apparatus, PSD optimization method, and program | |
JP7173355B2 (ja) | Psd最適化装置、psd最適化方法、プログラム | |
JP7428251B2 (ja) | 目的音信号生成装置、目的音信号生成方法、プログラム | |
WO2023132018A1 (ja) | 学習装置、信号処理装置、学習方法及び学習プログラム | |
JP7218810B2 (ja) | 音声非音声判定装置、音声非音声判定用モデルパラメータ学習装置、音声非音声判定方法、音声非音声判定用モデルパラメータ学習方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110624 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121220 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5166460 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |