JP3472046B2 - 信号分離装置 - Google Patents
信号分離装置Info
- Publication number
- JP3472046B2 JP3472046B2 JP22258196A JP22258196A JP3472046B2 JP 3472046 B2 JP3472046 B2 JP 3472046B2 JP 22258196 A JP22258196 A JP 22258196A JP 22258196 A JP22258196 A JP 22258196A JP 3472046 B2 JP3472046 B2 JP 3472046B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- spectrum
- frequency
- fundamental frequency
- convolution operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
し、特に、音声などの音響信号が複数混在するとき、そ
の中の1つの信号の基本周波数を持つ信号の基本周波数
を用いてその信号のスペクトルを平坦化することによ
り、競合している他方の信号のスペクトルを抽出するこ
とにより信号を分離するような信号分離装置に関する。
が混合した信号のうちで、1つの基本周波数が既知、も
しくは抽出可能であるとき、2つの信号を分離する手段
として、従来ではたとえばEnhancement of Speech by A
daptive Filtering, R.H. franzier他 Proc. IEEE. In
t. Conf. on Acoust. Speech and signal processing A
pr. 12-14 pp. 251-253(1976)に記載されているよう
な櫛形フィルタが広く用いられてきた。
号分離装置の概略ブロック図である。図13において、
入力部1から入力信号が入力されて基本周波数抽出部2
に与えられ、入力された信号に混在している信号のうち
の1つの信号の基本周波数が抽出される。この抽出され
た基本周波数は櫛形フィルタ設計部3に与えられ、抽出
された基本周波数の整数倍にあたる周波数帯域のみが通
過帯域となるような櫛形フィルタが作成される。そし
て、設計されたフィルタリング部4によってフィルタリ
ングが施され、出力部5から出力される。
音環境では、調波構造を持ちエネルギーの大きい有声音
が目的信号をマスキングすることが多いので、目的信号
抽出のためには、アンチドミナント信号を求める機会が
多い。しかし、上述の従来の構造では、このような場合
でも、基本周波数などといったアンチドミナント信号の
性質を直接得る必要があり、これは実際には難しい。
出しやすいドミナント信号の基本周波数を用いることに
より、アンチドミナント信号を抽出できるような信号分
離装置を提供することである。
第1の信号成分が支配的に含まれ、第2の信号成分が副
次的に含まれている入力信号から各信号成分を分離する
信号分離装置であって、入力信号の周波数分析を行なう
周波数分析手段と、周波数分析された入力信号に含まれ
る信号のうち支配的な第1の信号成分の基本周波数を求
める基本周波数抽出手段と、抽出された基本周波数の数
倍の長さを持つバートレット窓とスペクトルとの畳み込
み演算を行なう畳み込み演算手段と、周波数分析された
入力信号の副次的な信号のスペクトルエンベロープを算
出する振幅決定手段と、求められたスペクトルエンベロ
ープにより信号を再合成する合成手段とを備えて構成さ
れる。
支配的に含まれ、第2の信号成分が副次的に含まれてい
る入力信号から各信号成分を分離する信号分離装置であ
って、入力信号の周波数分析を行なう周波数分析手段
と、周波数分析された入力信号に含まれる信号のうち支
配的な第1の信号成分の基本周波数を求める基本周波数
抽出手段と、抽出された基本周波数の数倍の長さを持つ
バートレット窓とスペクトルとの畳み込み演算を行なう
畳み込み演算手段と、畳み込み演算された結果を数回差
分して副次的な信号のスペクトルエンベロープを決定す
る振幅決定手段と、決定されたスペクトルエンベロープ
より信号を再合成する合成手段とを備えて構成される。
れた信号を音響信号に変換して出力する出力手段を含
む。
込み演算手段は、基本周波数の数倍の長さを持つ窓関数
とスペクトルの実部の畳み込みを行なう第1の畳み込み
演算手段と、基本周波数の数倍の長さを持つ窓関数とス
ペクトルの虚部の畳み込みを行なう第2の畳み込み演算
手段とを含み、振幅決定手段は、第1の畳み込み演算手
段によって畳み込みされたスペクトルのピークを滑らか
に繋いだエンベロープとスペクトルのディップを滑らか
に繋いだエンベロープの差を各周波数について求める第
1の振幅決定手段と、第2の畳み込み演算手段によって
畳み込みされたスペクトルのピークを滑らかに繋いだエ
ンベロープとスペクトルのディップを滑らかに繋いだエ
ンベロープの差を各周波数について求める第2の振幅決
定手段とを含む。
すブロック図である。図1において、入力部11から入
力され入力信号は周波数分析部12に与えられ、入力信
号の周波数分析が行なわれる。周波数分析された入力信
号は基本周波数抽出部13と畳み込み演算部14とに与
えられる。基本周波数抽出部13は周波数分析された入
力信号に含まれる周波数のうちドミナントな信号の基本
周波数を求める。畳み込み演算部14は抽出された基本
周波数の数倍の長さを持つバートレット窓とスペクトル
の畳み込み演算を行なう。振幅決定部15は周波数分析
された入力信号のアンチドミナントな信号のスペクトル
エンベロープを算出し、合成部16に与える。合成部1
6は求められたスペクトルエンベロープにより信号を再
合成し、出力部17に与える。出力部17は再合成され
信号を音響信号に変換して出力する。
が含まれている入力信号のスペクトルを示し、図3は信
号f1(t)のスペクトルを示し、図4は信号f2
(t)のスペクトルを示し、図5は図2の入力信号のス
ペクトルと入力信号に含まれるドミナントな信号の基本
周波数の2倍の長さの窓長を持つバートレット関数の畳
み込みの結果を示す。
をフーリエ変換したスペクトルを示し、図7は図6を構
成する一方の信号のスペクトルを示し、図8は図6の信
号を構成する他方の信号のスペクトルを示し、図9は図
6の入力信号のスペクトルと入力信号に含まれる1つの
信号の基本周波数の2倍の長さの窓長を持つバートレッ
ト関数の畳み込みの結果を示す図である。
一実施形態の動作について説明する。入力部11は図2
に示すような入力信号を周波数分析部12に与える。こ
の入力信号f(t)は2つの信号f1(t)とf2
(t)が含まれており、次の第(1)式で表わされる。
入力信号の周波数分析を行なう。その分析結果は、次の
第(2)式で表わされ、その振幅値は第(3)式で表わ
される。異なる2つの信号が混合した信号をフーリエ変
換すると図2に示すようなスペクトルとなり、2つの信
号f1(t),f2(t)のスペクトルは図3および図
4に示しように、それぞれの信号の基本周波数の整数倍
間隔でスペクトルがたっている。
ずれか一方の信号の基本周波数を抽出し、畳み込み演算
部14は基本周波数の2倍の長さを持つ窓関数とスペク
トルの畳み込みを行なう。その結果は次の第(4)式で
表わされる。
の窓長を持つバートレット窓関数を図2のスペクトルに
対して畳み込み演算を行なうと、F1(ω)のエンベロ
ープが十分に滑らかなとき、F1(ω)による線スペク
トルは補間されてそのエンベロープだけが表われる。し
かし、F2(ω)による線スペクトルはスペクトル間隔
と補間関数であるバートレット窓関数の窓長の長さの関
係が適当でないため、図5に示すように、線スペクトル
の影響が補間後のエンベロープに表われる。このときの
エンベロープのピークとディップの間隔Δdは、F1
(ω)の線スペクトルの振幅が一定であれば一定値であ
る。
の長さの窓長を持つバートレット関数を畳み込みをする
と、図9に示すような関数が得られる。図9および上述
の第(4)式から図5で見られたピークとディップの間
隔ΔdはBn倍されてB(ω)・Δdとなっていること
がわかる。さらに、第(4)式より、信号f1(t)の
スペクトルAnの影響は、バイアスとしてピークとディ
ップに均等に付加されていることになる。このことによ
り、畳み込み演算後のスペクトル関数のピークとディッ
プの差B(ω)・Δdが信号f2(t)のスペクトル包
絡の相似形となっており、またそのエンベロープのピー
クの位置がF2(ω)の線スペクトルの位置に相当する
ことがわかる。
スペクトルのピークを滑らかに繋いだエンベロープのス
ペクトルのディップを滑らかに繋いだエンベロープの差
を各周波数について求める。そして、合成部16は求め
られたエンベロープの差を振幅エンベロープとするスペ
クトルをフーリエ逆変換して時間信号とし、出力部17
はその信号を音響信号に変換して出力する。
析部12はフーリエ変換を用いるようにしたが、これに
限ることなく、たとえばLPC,ケプストラム,狭帯域
フィルタなどを用いて周波数分析を行なうようにしても
よい。また、検出されるスペクトルは振幅スペクトルで
はなく、パワースペクトルであってもよい。さらに、求
められたドミナントな信号が調波構造を持つならば、そ
の基本周波数を求めて同様の処理を行ない、アンチドミ
ナントな信号を抽出するようにしてもよい。
ロック図である。この実施形態は周波数特性の実部と虚
部を別々に処理することにより、複素信号を分離するよ
うにしたものである。このために、周波数分析部12は
フーリエ変換を用いて入力信号の周波数分析を行ない、
実部と虚部を出力する。実部は第1の畳み込み演算部1
41に与えられ、虚部は第2の畳み込み演算部142に
与えられる。第1および第2の畳み込み演算部141,
142はそれぞれ基本周波数の2倍の長さを持つ窓関数
とスペクトルの虚部および実部の畳み込みを行ない、第
1の振幅決定部151と第2の振幅決定部152に与え
る。第1および第2の振幅決定部151,152は畳み
込みをされたスペクトルのピークを滑らかに繋いだエン
ベロープとスペクトルのディップを滑らかに繋いだエン
ベロープの差を各周波数について求める。第1および第
2の振幅決定部151,151で求められた実部と虚部
を持つスペクトルは合成部16に与えられ、フーリエ逆
変換が行なわれる。それ以外の入力部11と基本周波数
抽出部13と出力部17は前述の図1と同様にして構成
される。
からは前述の第(1)を式で示した入力信号が入力さ
れ、周波数分析部12はフーリエ変換を用いて入力信号
の周波数分析を行ない、その結果は前述の第(2)式で
表わされる。第(2)式において、A=ar+iai,
b=br+ibiとすると、実部と虚部はそれぞれ第
(5),第(6)式で表わされる。
(7)式に従って、基本周波数の2倍の長さを持つ窓関
数とスペクトルの実部の畳み込みを行なう。
第(8)式に従って、基本周波数の2倍の長さを持つ窓
関数とスペクトルの虚部の畳み込みを行なう。
演算部141によって畳み込みをされたスペクトルのピ
ークを滑らかに繋いだエンベロープとスペクトルのディ
ップを滑らかに繋いだエンベロープの差を各周波数につ
いて求め、第2の振幅決定部152は第2の畳み込み演
算部142で畳み込みの結果得られたスペクトルのピー
クを滑らかに繋いだエンベロープとスペクトルのディッ
プを滑らかに繋いだエンベロープの差を各周波数につい
て求める。そして、合成部16は第1および第2の振幅
決定部151,152で求められた実部と虚部を持つス
ペクトルのフーリエ逆変換を行なって時間信号を求め、
出力部17は構成部16の出力信号を音響信号に変換し
て出力する。
いて説明する。ドミナントな信号f1(t)のスペクト
ル包絡をF1(ω)、最高倍音の次数をN1,アンチド
ミナントな信号f2(t)のスペクトル包絡をF2
(ω)、最高倍音の次数をN2、それぞれの基本周波数
をω1 ,ω2 とする。またそれぞれのスペクトルは調波
構造を持ち、線スペクトルで記述できるものとする。こ
のとき、信号f1(t)、f2(t)が合成された信号
のスペクトルF(ω)は次の第(9)式で表わされる。
周波数の倍音成分を持たなければ、次の第(10)式で
示される。
の周波数の倍音成分を持つときは、その位相関係によっ
てその倍音のスペクトルの振幅値が干渉を受けることに
なる。ひとまずここでは、共通の倍音成分がない場合を
仮定する。
本周波数ω1 の2倍の窓長を持つバートレット窓関数を
周波数領域で畳み込む。f1(t)のスペクトルが十分
に滑らかなとき、
1 (ω)|となる。次に、第2項の
(13)式の真中の項はω2 の間隔で線スペクトルが並
んでいる。ω1 <ω2 のとき、次の第(14)式は図1
1に示すようなスペクトルになり、また、ω1 >ω2 の
とき第(14)式は図12に示すようなスペクトルにな
る。
波複合音のスペクトルであり、(b)はそのスペクトル
を窓長200Hzのバートレット窓で平滑化したスペク
トルである。また図12(a)は基本周波数100Hz
の調波複合音のスペクトルであり、図12(b)はその
スペクトルを窓長256Hzのバートレット窓で平滑化
したスペクトルを示す。
つ関数であることがわかる。またさらにf2(t)が調
波構造を持つ周期信号であれば、極小値と極大値を結ぶ
線分の傾きは周波数に依らず一定となる。特に、ω1 >
ω2 のときは、極大点間の中点に極小点が存在する。極
大値をMx ,極小値をMn ,基本周波数をω1 とする
と、ω1 >ω2 のとき、第(14)式の極小値と極大値
を結ぶ線分の傾きは、次の第(15)式で与えられる。
きは第(17)式となり、極小値と極大値を結ぶ線分の
傾きは一定のバイアスC1 Mn を伴うが、|F2(ω)
|の振幅がその傾きに反映されていることがわかる。
点を中心としたある範囲に分布するので、極小値と極大
値を結ぶ線分の傾きはω1 >ω2 のときよりも大きくな
るが、その傾きは周波数によらず一定であるので、第
(17)式と同様に|F2(ω)|の振幅がその傾きに
反映されていることがわかる。
14によって行なわれる。次に、振幅決定部15の動作
について説明する。第(11)式をωについて2回微分
する。ここで、
(ω)|がG(ω)に対して十分滑らかに変化すると
き、近似的に第(21)式となる。
トルの存在する周波数に極大値を持つ関数であるので、
その周波数ではG(ω)の1回微分dG(ω)/dω=
0,G(ω)の2回微分d2 G(ω)/dω2 =−∞と
なる。
差分を用いると、Δ2 (G(ω))は有限の値となり、
その大きさは極大値と極小値を結ぶ線分の傾きを反映し
ている。結局、求めるf2(t)のスペクトルは次の第
(22)式となる。
は、畳み込み関数の窓長に対し、非畳み込み関数のスペ
クトルの間隔が小さいため、最小の周波数と最大の周波
数のピークが明確でないことがわかる。このように、ス
ペクトルの振幅値が0である帯域に隣接するスペクトル
成分は、第(22)式の条件では、抽出することができ
なくなる。特に、基本周波数に相当する成分の欠落は大
きな音色の変化を引起こすおそれがある。そこで基本周
波数が欠落しないように、低域のスペクトル振幅に等し
い直流の成分を加えてからスペクトル平滑化を行なっ
た。
信号の周波数分析を行ない、入力信号に含まれる周波数
のうちのドミナントな信号の基本周波数を求め、求めた
基本周波数の数倍の長さを持つバートレット窓とスペク
トルの畳み込み演算を行ない、入力信号のアンチドミナ
ントな信号のスペクトルエンベロープを算出し、求めた
スペクトルエンベロープ信号を再合成するようにしたの
で、混合信号のうちのドミナントな信号のスペクトルを
平坦化してアンチドミナントな信号のスペクトルの特徴
を引出すことができ、2つの信号を分離可能な優れた信
号分離装置を実現できる。
いる入力信号のスペクトルを示す図である。
れる1つの信号の基本周波数の2倍の長さの窓長を持つ
バートレット関数の畳み込みの結果を示す図である。
変換したスペクトルを示す図である。
を示す図である。
を示す図である。
に含まれる1つの信号の基本周波数の2倍の長さの窓長
を持つバートレット関数の畳み込みの結果を示す図であ
る。
ある。
トルとバートレット窓で平滑化したスペクトルを示す図
である。
トルとバートレット窓で平滑化したスペクトルを示す図
である。
である。
Claims (4)
- 【請求項1】 第1の信号成分が支配的に含まれ、第2
の信号成分が副次的に含まれている入力信号から各信号
成分を分離する信号分離装置であって、 前記入力信号の周波数分析を行なう周波数分析手段、 前記周波数分析手段によって周波数分析された入力信号
に含まれる信号のうち、前記支配的な第1の信号成分の
基本周波数を求める基本周波数抽出手段、 前記基本周波数抽出手段によって抽出された基本周波数
の数倍の長さを持つバートレット窓とスペクトルとの畳
み込み演算を行なう畳み込み演算手段、 前記周波数分析された入力信号の前記副次的な信号のス
ペクトルエンベロープを決定する振幅決定手段、および
前記振幅決定手段によって求められたスペクトルエンベ
ロープにより信号を再合成する合成手段を備えた、信号
分離装置。 - 【請求項2】 第1の信号成分が支配的に含まれ、第2
の信号成分が副次的に含まれている入力信号から各信号
成分を分離する信号分離装置であって、 前記入力信号の周波数分析を行なう周波数分析手段、 前記周波数分析手段によって周波数分析された入力信号
に含まれる信号のうち、支配的な第1の信号成分の基本
周波数を求める基本周波数抽出手段、 前記基本周波数抽出手段によって抽出された基本周波数
の数倍の長さを持つバートレット窓とスペクトルとの畳
み込み演算を行なう畳み込み演算手段、 前記畳み込み演算手段によって畳み込み演算された結果
をn回(nは1以上の整数)差分して前記副次的な信号
のスペクトルエンベロープを決定する振幅決定手段、お
よび前記振幅決定手段によって決定されたスペクトルエ
ンベロープにより信号を再合成する合成手段を備えた、
信号分離装置。 - 【請求項3】 さらに、前記合成手段によって再合成さ
れた信号を音響信号に変換して出力する出力手段を備え
た、請求項1または2の信号分離装置。 - 【請求項4】 前記畳み込み演算手段は、 前記基本周波数の数倍の長さを持つ窓関数とスペクトル
の実部の畳み込みを行なう第1の畳み込み演算手段と、 前記基本周波数の数倍の長さを持つ窓関数とスペクトル
の虚部の畳み込みを行なう第2の畳み込み演算手段とを
含み、 前記振幅決定手段は、 前記第1の畳み込み演算手段によって畳み込みされたス
ペクトルのピークを滑らかに繋いだエンベロープとスペ
クトルのディップを滑らかに繋いだエンベロープとの差
を各周波数に基づいて求める第1の振幅決定手段と、 前記第2の畳み込み演算手段によって畳み込みされたス
ペクトルのピークを滑らかに繋いだエンベロープとスペ
クトルのディップとを滑らかに繋いだエンベロープの差
を各周波数について求める第2の振幅決定手段とを含
む、請求項1の信号分離装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22258196A JP3472046B2 (ja) | 1996-08-23 | 1996-08-23 | 信号分離装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22258196A JP3472046B2 (ja) | 1996-08-23 | 1996-08-23 | 信号分離装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1062460A JPH1062460A (ja) | 1998-03-06 |
JP3472046B2 true JP3472046B2 (ja) | 2003-12-02 |
Family
ID=16784720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22258196A Expired - Lifetime JP3472046B2 (ja) | 1996-08-23 | 1996-08-23 | 信号分離装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3472046B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6970567B1 (en) | 1999-12-03 | 2005-11-29 | Dolby Laboratories Licensing Corporation | Method and apparatus for deriving at least one audio signal from two or more input audio signals |
US6920223B1 (en) * | 1999-12-03 | 2005-07-19 | Dolby Laboratories Licensing Corporation | Method for deriving at least three audio signals from two input audio signals |
JP4624643B2 (ja) | 2000-08-31 | 2011-02-02 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | オーディオ・マトリックス・デコーディング装置に関する方法 |
JP6018141B2 (ja) | 2014-08-14 | 2016-11-02 | 株式会社ピー・ソフトハウス | オーディオ信号処理装置、オーディオ信号処理方法およびオーディオ信号処理プログラム |
-
1996
- 1996-08-23 JP JP22258196A patent/JP3472046B2/ja not_active Expired - Lifetime
Non-Patent Citations (2)
Title |
---|
増田郁代,Hani Yehia,河原英紀,バートレット窓特性を用いたスペクトル補間による信号分離方法の一考察,電子情報通信学会研究報告[応用音響],1996年 8月29日,EA96−29,p.17−24 |
河原英紀,増田郁代,時間周波数領域での補間を用いた音声の変換について,電子情報通信学会研究報告[応用音響],1996年 8月29日,EA96−28,p.9−16 |
Also Published As
Publication number | Publication date |
---|---|
JPH1062460A (ja) | 1998-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5507596B2 (ja) | スピーチ増強 | |
JP4177755B2 (ja) | 発話特徴抽出システム | |
EP1914727B1 (en) | Noise suppression methods and apparatuses | |
KR100708121B1 (ko) | 음성 신호의 대역 확장 방법 및 장치 | |
JP4818335B2 (ja) | 信号帯域拡張装置 | |
EP2178082A1 (en) | Cyclic signal processing method, cyclic signal conversion method, cyclic signal processing device, and cyclic signal analysis method | |
KR20040066835A (ko) | 대역폭 확장기 및 광대역 오디오 신호 생성 방법 | |
JPS63259696A (ja) | 音声予処理方法および装置 | |
EP2249333B1 (en) | Method and apparatus for estimating a fundamental frequency of a speech signal | |
JP4434813B2 (ja) | 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置 | |
JP3472046B2 (ja) | 信号分離装置 | |
JP2012181475A (ja) | 音響信号における特徴抽出方法及び当該特徴を用いた音響信号の処理方法 | |
JPH05281996A (ja) | ピッチ抽出装置 | |
KR970063031A (ko) | 음성합성방법 및 장치 | |
Yegnanarayana et al. | Analysis of instantaneous f 0 contours from two speakers mixed signal using zero frequency filtering | |
JP2830276B2 (ja) | 信号処理装置 | |
JP4125322B2 (ja) | 基本周波数抽出装置、その方法、そのプログラム並びにそのプログラムを記録した記録媒体 | |
JP2001222289A (ja) | 音響信号分析方法及び装置並びに音声信号処理方法及び装置 | |
JP2003044077A (ja) | 音声特徴量抽出方法と装置及びプログラム | |
JPH10190470A (ja) | 周波数荷重評価関数に基づくスペクトル特徴パラメータ抽出装置 | |
JP3271193B2 (ja) | 音声符号化方法 | |
JP7461192B2 (ja) | 基本周波数推定装置、アクティブノイズコントロール装置、基本周波数の推定方法及び基本周波数の推定プログラム | |
JP2880683B2 (ja) | 雑音抑制装置 | |
Okazaki et al. | Multi-stage spectral subtraction for enhancement of audio signals | |
JP3223564B2 (ja) | ピッチ抽出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030826 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100912 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100912 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |