JPH08116546A - 量子化装置および量子化方法 - Google Patents
量子化装置および量子化方法Info
- Publication number
- JPH08116546A JPH08116546A JP27839694A JP27839694A JPH08116546A JP H08116546 A JPH08116546 A JP H08116546A JP 27839694 A JP27839694 A JP 27839694A JP 27839694 A JP27839694 A JP 27839694A JP H08116546 A JPH08116546 A JP H08116546A
- Authority
- JP
- Japan
- Prior art keywords
- value
- input signal
- quantization
- quantized
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
て、動きが生じないような画質劣化を防止する。 【構成】 動きベクトル検出部18は、ブロック毎に動
きベクトルを検出し、検出された動きベクトルによっ
て、動き補償部15が動き補償を実行する。動き補償さ
れた画素値が処理部13の判定部16に供給される。判
定部16では、入力信号値と量子化復号値の量子化誤差
であるS/N評価値と、入力信号値の空間変動と量子化
復号値の空間変動の差分である空間変動評価値と、入力
信号値の時間変動と量子化復号値の時間変動の差分であ
る時間変動評価値とが決定された重みを使用して重み付
け加算され、それによって、新規範評価値が算出され
る。この場合、動き補償後の画素値が過去の画素値とし
て判定部16で使用される。新規範評価値を最小とする
量子化候補が選択的に出力端子14に取り出される。
Description
像信号を量子化する場合に入力信号値と量子化復号値と
で定義される量子化誤差最小規範に対して、さらに視覚
特性を考慮した空間変動規範、および/または、時間変
動規範を加味するようにした量子化装置および量子化方
法に関する。
ィジタル画像信号が入力され、各画素を8ビットより少
ないビット数で量子化(再量子化)することによって、
データ量を圧縮することが行われる。従来この量子化と
しては、入力信号値と量子化復号値との量子化誤差が最
小となるように量子化値が選択されていた。この量子化
装置において、入力信号レベルの分布に極端な偏りがな
い場合、その量子化誤差の積算値は最小となりS/N
(Signal/Noise)比は、最良となる。そのため、従来の
量子化装置は、S/N規範に基づいて量子化値が決定さ
れている。この規範とは、のっとるべき規則を言い、す
なわちS/N規範とは、量子化誤差を最小とする量子化
値を選択する規則を意味する。
れる。L(i)は入力信号値を表し、L(i)^は量子
化復号値を表し、q(i)は量子化値を表し、nは量子
化ビット数を表す。また、一般的な8ビット量子化の入
力ディジタル画像信号に対する量子化式と復号式を式
(2)、(3)に示す。
内の値が最小値となる量子化値を選択することを意味す
る。入力信号値に対する各量子化値の量子化復号値の量
子化誤差を比較し、S/N規範Q1に基づいて量子化値
が選択される。図5に3ビット量子化の例を示す。従来
のS/N規範量子化装置は、入力信号を8階調に量子化
し、各量子化区間の中央値を量子化復号値として出力す
る。
る平坦領域において画質劣化が認められる。つまり、入
力信号が領域境界レベルを挟み僅かに変動しているにも
拘らず、量子化復号値においては、量子化ステップ幅に
相当する信号変動に拡大されることになる。このような
画質劣化は空間方向と時間方向の両者に発生し、画像の
エッジ部分がザラザラと見える、すなわちエッジビジネ
スや時間的劣化の原因となる。このように、人間の視覚
特性を考慮すると、必ずしもS/N規範による量子化が
最適とは言えない。特に人間の視覚特性は、入力信号の
空間的、あるいは時間的な信号変化に対する感度が高い
と考えられるにも拘らず、従来の量子化装置は、入力信
号値そのものを基準として量子化を行うため、信号変化
に伴う画質劣化が目立つという欠点があった。
量子化装置の欠点を克服するため、本出願人は、上述の
ような人間の視覚特性を考慮した新規範Q2を用いた量
子化装置を先に提案している(特開平6−169257
号公報参照)。新規範Q2を式(4)に示す。 Q2=MIN〔α〔S/N〕+β〔ΔS〕+γ〔ΔT〕〕 (4)
し、〔ΔS〕は空間変動評価値を表し、〔ΔT〕は時間
変動評価値を表し、さらにα、β、γはそれぞれの重み
を表している。この式(4)で表される新規範Q2は、
複数の量子化値候補に関して、S/N評価値、空間変動
評価値および時間変動評価値を重み付け加算した新規範
評価値を求め、この評価値を最小とする量子化値候補を
出力量子化値として選択する規則である。図6には、空
間的に対応するkフレームと(k−1)フレームの画素
配置図を示す。kフレームのLx(k)の値を有する画
素の量子化を行う場合、新量子化規範Q2で用いられる
各評価値は次式で表される。
S4 〕は、次式で定義される。
装置で評価されるのと同様の量子化誤差である。空間変
動評価値〔ΔS〕は、空間内の量子化復号値の信号変化
量(すなわち、空間内の量子化復号値の傾き)と入力信
号の信号変化量(すなわち、空間内の入力信号値の傾
き)との比較を行うものである。量子化復号値の信号変
化量を算出する場合、既に新規範Q2により決定済み
の、過去の画素の量子化値を使用して比較するという処
理上の制約がある。図6においては、量子化対象画素L
x(k)に関し、処理済み画素は近傍4画素La
(k)、Lb(k)、Lc(k)、Ld(k)であり、
これらを使用して〔ΔS1 〕、〔ΔS2 〕、〔Δ
S3 〕、〔ΔS4 〕がそれぞれ求められる。
素Lx(k)と同一位置にある前フレームの画素Lx
(k−1)とに関し、入力信号のフレーム間の変化量と
量子化復号値のフレーム間の信号変化量とを比較するも
のである。上述のように式(4)のMIN〔 〕は、
〔 〕内の評価値を最小とする量子化値候補が最終的な
量子化値として選択されることを意味する。その結果、
従来の量子化装置で問題となる画質劣化が低減される。
量子化装置では、入力信号が量子化境界レベル近傍で僅
かに変動している場合、量子化復号値においては量子化
ステップ幅に相当する信号変動に拡大されていたが、上
述の式(4)に基づく新規範量子化装置においては、こ
の信号変動は抑圧され安定した量子化復号化値が得られ
る。こうして新規範量子化装置によって、意図した画質
改善が達成できる。
置と従来の量子化装置とを比較すると、画質劣化はかな
り低減される。しかしながら、新規範量子化の構造に起
因する独特な画質劣化が発生する。そのひとつに『時間
へばりつき』パターンが挙げられる。この画質劣化は、
式(4)における時間変動評価値の寄与率が高すぎる場
合に発生する。
変化が大きい対象が動く場合には、評価値の中で時間変
動評価値が大きくなり、入力信号値の時間変化に追従し
た量子化値が選択される。一方、空間内の信号変化が小
さい平坦部分が動いたときでは、時間変動評価値も小さ
くなる。この平坦部分が動く時には、時間変動評価値の
全体の評価値に対する寄与率が適切でないと、動き部分
であっても、過去と同じ量子化値が選択され、時間的に
変化しない、『時間へばりつき』パターンが発生するこ
とになる。より具体的には、画面内の比較的大きな面積
の物体が動いた時に、量子化復号値の画像では、その輪
郭部は動くが、物体内の平坦部分が動かない現象が生
じ、見る者が違和感を持つことになる。
量子化に独特な画質劣化である、上述の『時間へばりつ
き』現象を防止できる量子化装置および量子化方法を提
供することにある。
化ビット数の入力信号値が供給され、量子化ビット数と
異なるnビットの量子化値を出力する量子化装置におい
て、量子化値の複数の量子化値候補に関して、入力信号
値と量子化値候補の復号値の差であるS/N評価値と、
入力信号値の空間変動と量子化値候補の復号値の空間変
動の差である空間変動評価値および/または入力信号値
の時間変動と量子化値候補の復号値の時間変動の差であ
る時間変動評価値とを重み付け加算した評価値をそれぞ
れ求め、評価値を最小とする量子化候補を出力すべき量
子化値として選択的に出力すると共に、時間変動評価値
を求める際に、動きベクトルを使用した動き補償画像内
に含まれる過去の画素の値が使用されることを特徴とす
る量子化装置である。
復号値の時間変化とを比較し、入力信号値の時間変化と
量子化復号値の時間変化の差分を時間変動評価値とす
る。この場合、時間変化を求めるために使用する過去の
画素値として、動き補償画像中のものを使用する。動き
補償によって、動きの影響が除去され、同一画素の時間
変動に基づいて、評価値を生成できる。これによって、
『時間へばりつき』パターンの発生を防止する。
について説明する。この発明は、時間変動評価値を算出
する時に使用される過去の画像に対して動き補償を施
す。動き補償は、基本的に現画像と過去画像の間で移動
量および移動方向を表す動きベクトルを検出し、過去の
画像を動きベクトルによって移動させ、それによって、
現画像と過去画像の位置を合わせる処理である。最初に
動きベクトルの検出について説明する。
て次の3種類が挙げられる。 (1)ブロックマッチング法 (2)勾配法 (3)位相相関法
ングと同じ発想で、現画像のブロック化された領域が、
過去の画像中の何処に存在したか、現画像と過去画像の
比較を行う。具体例としては、ブロック内対応画素毎の
差分絶対値を加算し、ブロック毎の差分絶対値和(ある
いは差分の二乗和)が最小となる位置を動きベクトルと
するものである。
ータの構造例を図1に示す。隣接フレーム間での動きベ
クトルを検出する場合、空間的に対応する位置にブロッ
ク(M画素×Nライン)が設定される。kフレーム(現
フレーム)とk−1フレーム(前フレーム)で探索座標
分ずらし、すなわち、水平方向で(X+M)画素、垂直
方向で(Y+N)ラインずらし、各座標位置においてパ
ターンマッチングを行ない、ブロック毎の差分絶対値和
(あるいは差分の二乗和)が最小となる座標位置を検出
する。
をLK (i,j) 、k−1フレームの座標(i,j) の画素
レベルをLk-1 (i,j)とすると、座標(x,y)におけ
る評価式の例として式(12)が挙げられる。
標についての評価式(式12)の評価値Eを演算する。
サーチ点の数はX・Y点となる。その中で、評価値Eが
最小となる座標(x,y)が動きベクトルに対応する。
求められた動きベクトルをv=(vx , vy )とする
と、vx =−x、vy =−yで与えられる。この手法は
演算量が膨大となる欠点があるが、検出精度は良いので
広く一般的に用いられている。
位置まで動くと、動き量に応じた時間差分が発生すると
いうモデルに基づく。よって、時間差分を空間傾斜で割
算すれば動きベクトルが得られる。勾配法の基本処理を
次に示す。
y)とする。動きベクトルをv=(vx ,vy )とする
と、次の時刻の画素値は、g(x−vx ,y−vy )と
なる。これをテーラー展開すると式(13)になる。
トルを求めることが出来る。
を式(15)に適用しvについて解くと、式(16)、
式(17)が得られる。 vx =−(ΣΔt Δx )/(ΣΔx 2 ) (16) vy =−(ΣΔt Δy )/(ΣΔy 2 ) (17) Δt は時間差分、Δx は水平勾配、Δy は垂直勾配を表
す。
9)が得られる。 vx =−{ΣΔt sign(Δx )}/(Σ|Δx |) (18) vy =−{ΣΔt sign(Δy )}/(Σ|Δy |) (19) sign( )は符号を表す。
(18)、式(19)が用いられる。勾配法は演算量は
少ないが、動き量が大きくなると検出動きベクトルの精
度が落ちるという欠点がある。それは前述のモデルが成
り立たなくなるからである。しかしながら、実用上は、
反復的に動きベクトルを順次検出していくなど、様々な
工夫により精度を得るようにしている。
の同一位置のブロックデータに対し、各々フーリエ変換
を施し、周波数領域で位相のずれ量を検出し、その位相
項を逆フリーエ変換を用いて動きベクトル値を検出する
手法である。この手法の特徴として、精度を確保するた
めには、ある程度以上の大きいブロックサイズが要求さ
れる。そのためフーリエ変換により演算量が膨大とな
る。また、一般的に大きいブロックの中には複数の動き
が存在し、その識別判定が難しくなるという欠点があ
る。
適用し、図2の各ブロック毎に動きベクトルv=
(vx ,vy ) を検出する。図2に示すように、各ブロ
ックは、m画素×nラインの画素数から構成されてい
る。検出された動きベクトルにより動き補償された画素
値は、次の式(20)で与えられる。座標(x,y)に
おける過去の画素値をgk-1 (x,y)、動き補償後の
画素値をGk-1 (x,y)とする。
て、この動き補償された画素値を採用することで、物体
の動きに依存しない量子化を行なうことができる。これ
によって、上述したような『時間へばりつき』のような
画質劣化を防止することができる。
過去の画素値として使用するこの発明の一実施例は、図
3のフローチャートに従って量子化値が決定される。基
本的には、設定された量子化ビット数nで生成可能な全
ての線形量子化値q(i)に関し、式(4)で定義され
る新規範評価値を算出し、その最小値を有する量子化コ
ードを出力値とする。この図3のフローチャートのステ
ップ1において、上述したような方法を使用して動きベ
クトルが検出される。
ベクトルを使用して、過去の画素に対して動き補償が実
行される。これによって、式(4)の各評価値を計算す
る式が定まる。
に `0' が設定される。カウンタqは、量子化値候補と
対応している。次のステップ4では、qと対応する量子
化値候補について、式(4)を使用した評価値の算出が
なされる。算出された新規範評価値が登録される。
タqに `+1' が加算され、ステップ6へ制御が移る。
ステップ6のq=Nでは、ステップ5(インクリメン
ト)において加算されたカウンタqがNと等しいか否か
が判別され、q≠Nの場合、ステップ4(評価値の算出
および登録)へ制御が戻り、q=Nの場合、ステップ7
へ制御が移る。すなわち、評価対象の量子化コードの最
大値が(N−1)の場合には、この(N−1)で設定さ
れる回数、ステップ4およびステップ5の処理が繰り返
され、カウンタqがNに等しくなるとき、ループは終了
する。
おいて、量子化コード候補の内で最小の新規範評価値の
を生じさせる量子化コードqが最終結果として選択され
る。ステップ8の量子化値q登録において、選択された
量子化コードqが登録され、このフローチャートは終了
する。
する一実施例のブロック図を図4に示す。入力端子11
から供給される入力信号値L(i)、例えば各画素が8
ビットに量子化されたディジタル画像信号は、量子化器
12、処理部13へ供給される。この処理部13は、動
きベクトル検出部18、動き補償部15、判定部16、
メモリ部17から構成され、入力端子11から供給され
た入力信号値L(i)は、量子化器12、動きベクトル
検出部18、動き補償部15および判定部16へ供給さ
れる。量子化器12において、供給された入力信号値L
(i)が8ビットより少ないnビットへ量子化される。
この量子化器12からは、2n の数の量子化値候補d1
が発生する。
値q(i)は、d1として判定部16へ供給される。動
き補償部15は、検出された動きベクトルに基づいて、
式(20)で示される動き補償を実行する。動き補償画
素値d3が判定部16へ供給される。
される新規範Q2が用いられるため、入力信号値L
(i)と決定済み量子化値d0を記憶しておく必要があ
る。メモリ部17からは、必要に応じて記憶データd0
(すなわち、決定済み量子化値)が、判定部16へ供給
される。判定部16では、上述した図3に示すフローチ
ャートの処理が行われる。すなわち、供給された入力信
号値L(i)、線形量子化値d1、動き補償画素値d
3、記憶データd0から式(4)の判定が実行され、最
終的な量子化値q(i)が選択され、出力端子14から
取り出される。
化装置の画質劣化を低減し、視覚特性に合致する量子化
画像を得ることができる。
子化値を発生するのと異なり、S/N規範に基づいて選
択された基準の量子化値を生成し、この量子化値と、そ
の上下の量子化値の3種類の量子化値候補について、判
定部16が新規範評価値をそれぞれ求め、この3個の新
規範評価値の中で最小のものと対応する量子化値候補を
選択的に出力する構成としても良い。
変動評価値との一方のみを使用して新規範評価値を構成
するようにしても良い。例えば、ディジタルオーディオ
信号のような場合には、S/N評価値と時間変動評価値
とを使用した評価値を使用することができる。
量子化が行えることで、量子化境界レベル近傍の入力信
号値の変化が拡大されることによる空間方向、あるいは
時間方向の画質劣化を低減することができる。
れた画素値を過去の画素値として使用することによっ
て、評価値を計算するので、動きの影響を評価値の計算
から除去することができ、それによって、、冒頭に述べ
たような画質劣化を防止することが可能となる。
ット数より少ないビット数でも良好な画像を得ることが
でき、例えばディジタル入力信号の圧縮を良好に得るこ
とができる。
略線図である。
一例を示す略線図である。
の処理を示すフローチャートである。
ロック図である。
例を示す略線図である。
Claims (4)
- 【請求項1】 所定の量子化ビット数の入力信号値が供
給され、上記量子化ビット数と異なるnビットの量子化
値を出力する量子化装置において、 上記量子化値の複数の量子化値候補に関して、上記入力
信号値と上記量子化値候補の復号値の差であるS/N評
価値と、上記入力信号値の空間変動と上記量子化値候補
の復号値の空間変動の差である空間変動評価値および/
または上記入力信号値の時間変動と上記量子化値候補の
復号値の時間変動の差である時間変動評価値とを重み付
け加算した評価値をそれぞれ求め、上記評価値を最小と
する上記量子化候補を上記出力すべき量子化値として選
択的に出力すると共に、 上記時間変動評価値を求める際に、動きベクトルを使用
した動き補償画像内に含まれる過去の画素の値が使用さ
れることを特徴とする量子化装置。 - 【請求項2】 請求項1に記載の量子化装置において、 入力信号がディジタルビデオ信号であって、空間変動評
価値が同一フィールドまたは同一フレーム内の入力信号
値と復号値とを用いて求められることを特徴とする量子
化装置。 - 【請求項3】 請求項1に記載の量子化装置において、 入力信号がディジタルビデオ信号であって、時間変動評
価値が現フレームの入力信号値および復号値と前フレー
ムの入力信号を動き補償した画像中の信号値と復号値と
を用いて求められることを特徴とする量子化装置。 - 【請求項4】 所定の量子化ビット数の入力信号値が供
給され、上記量子化ビット数と異なるnビットの量子化
値を出力する量子化方法において、 動きベクトルを検出するステップと、 上記動きベクトルにより動き補償を行なうステップと、 上記量子化値の複数の量子化値候補に関して、上記入力
信号値と上記量子化値候補の復号値の差であるS/N評
価値と、上記入力信号値の空間変動と上記量子化値候補
の復号値の空間変動の差である空間変動評価値および/
または上記動き補償された画像を使用して求められた、
上記入力信号値の時間変動と上記量子化値候補の復号値
の時間変動の差である時間変動評価値とを、上記重みに
よって重み付け加算した評価値をそれぞれ求めるステッ
プと、 上記評価値を最小とする上記量子化値候補を上記出力す
べき量子化値として選択的に出力するステップとからな
ることを特徴とする量子化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27839694A JP3697727B2 (ja) | 1994-10-18 | 1994-10-18 | 量子化装置および量子化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27839694A JP3697727B2 (ja) | 1994-10-18 | 1994-10-18 | 量子化装置および量子化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08116546A true JPH08116546A (ja) | 1996-05-07 |
JP3697727B2 JP3697727B2 (ja) | 2005-09-21 |
Family
ID=17596765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27839694A Expired - Lifetime JP3697727B2 (ja) | 1994-10-18 | 1994-10-18 | 量子化装置および量子化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3697727B2 (ja) |
-
1994
- 1994-10-18 JP JP27839694A patent/JP3697727B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP3697727B2 (ja) | 2005-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100534207B1 (ko) | 비디오 부호화기의 움직임 추정기 및 그 방법 | |
EP1503599A2 (en) | Block motion vector estimation | |
JP4724459B2 (ja) | 適応時間予測を用いた動きベクトル検出 | |
EP0609022A2 (en) | Image encoding apparatus | |
KR960033130A (ko) | 영상 신호 처리기에 대한 일시적 및 공간적 오류 제거 장치 및 방법 | |
JP2996657B2 (ja) | 階調パターン整合による動き検出装置及びその方法 | |
JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
JP3627279B2 (ja) | 量子化装置および量子化方法 | |
KR100816593B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
JP2000348187A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
JP3704740B2 (ja) | 量子化装置および量子化方法 | |
JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
KR100243137B1 (ko) | 옵티컬 플로우를 예측하는 국부 이장방법 | |
JPH08116546A (ja) | 量子化装置および量子化方法 | |
JPH057371A (ja) | 動ベクトル検出装置 | |
JP3941900B2 (ja) | 動きベクトル検出装置 | |
JP3861325B2 (ja) | 動きベクトル検出装置および検出方法 | |
JP3629732B2 (ja) | 量子化装置および量子化方法 | |
JP3046689B2 (ja) | 動きベクトル検出方法 | |
JP3735875B2 (ja) | 量子化装置および量子化方法 | |
KR100243862B1 (ko) | 전송되는 비디오 신호의 에러 은폐 방법 및 장치 | |
JPH08116544A (ja) | 量子化装置および量子化方法 | |
JP2002077798A (ja) | 動画像処理装置、動画像処理方法および記録媒体 | |
JP3901747B2 (ja) | 量子化装置および量子化方法 | |
JPH09187013A (ja) | 動きベクトル検出装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040707 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040803 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040930 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041111 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050627 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080715 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130715 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |