JPH10191359A - 画像符号化復号化装置及びその方法 - Google Patents

画像符号化復号化装置及びその方法

Info

Publication number
JPH10191359A
JPH10191359A JP35906296A JP35906296A JPH10191359A JP H10191359 A JPH10191359 A JP H10191359A JP 35906296 A JP35906296 A JP 35906296A JP 35906296 A JP35906296 A JP 35906296A JP H10191359 A JPH10191359 A JP H10191359A
Authority
JP
Japan
Prior art keywords
signal
motion vector
reproduction
image
special reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP35906296A
Other languages
English (en)
Other versions
JP3669536B2 (ja
Inventor
Hiroya Nakamura
博哉 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP35906296A priority Critical patent/JP3669536B2/ja
Publication of JPH10191359A publication Critical patent/JPH10191359A/ja
Application granted granted Critical
Publication of JP3669536B2 publication Critical patent/JP3669536B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 動画像情報の記録あるいは再生を行なう装置
において、高速サーチ、スチル、スロー、逆転再生、倍
速再生等に対応した画像符号化装置及び画像復号化装置
を提供する。 【解決手段】 符号化画像信号と通常再生のための参照
画像信号とから通常再生用の動きベクトルを検出し、前
記動きベクトルを用いて動き補償予測を行ない、前記符
号化画像信号と参照画像信号との残差信号と前記動きベ
クトルを符号化し、通常再生用符号化信号を生成する画
像符号化装置において、前記符号化画像信号と特殊再生
のための参照画像信号とから特殊再生用動きベクトルを
検出する手段10と、前記特殊再生用動きベクトルを符
号化して特殊再生用符号化信号を生成する手段15と、
前記通常再生用符号化信号と特殊再生用符号化信号とを
多重化する手段17とを有する構成とし、通常再生用の
符号だけでは再生出来ない特殊再生を可能にする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】動画像情報の記録あるいは再
生を行なう装置において、高速サーチ、スチル、スロ
ー、逆転再生、倍速再生等に対応した画像符号化装置及
び画像復号化装置に関する。
【0002】
【従来の技術】ディジタル動画像の高能率符号化方式と
して動き補償画像間予測符号化方式がある。この手法は
動きベクトル検出器により複数画素で構成されるブロッ
ク単位で動きベクトルを検出し、画像間の相関を用いて
データの情報量を削減する方法である。
【0003】<画像符号化装置>従来例の画像符号化装
置のブロック図を図4に示す。符号化信号41と通常再
生用参照信号42から動きベクトル検出器43を用いて
画素で構成されるブロック単位で両信号間のマッチング
信号を算出する。この際の通常再生用参照信号42は、
符号化信号を符号化し局部復号化することによって得ら
れる信号である。
【0004】マッチング信号を算出する方法は様々なも
のがあるが画素間の絶対値差分や画素間の2 乗差分の和
をとるのが一般的である。このマッチング信号をもとに
して通常再生用動きベクトル44を算出する。このとき
の検出方法はマッチング信号の最も小さいときの動き量
を動きベクトルとするのが一般的であるが、場合により
重み付けを行なうこともある。
【0005】この通常再生用動きベクトル44をもとに
して通常再生用参照信号42からブロック単位で動き補
償予測器45により動き補償予測を行ない、動き補償画
像信号を求める。この動き補償画像信号と符号化画像信
号41の差分を求め、通常再生用残差信号46を得る。
【0006】符号化器47を用いて動きベクトル44や
残差信号46の冗長性を削減し、通常再生用符号化信号
48を生成する。この通常再生用符号化信号48は、例
えばMPEG信号などである。この符号化器47ではD
CT、量子化ゼロ・ランレングス符号化、可変長符号化
等を行なう。
【0007】<画像復号化装置>従来の画像復号化装置
のブロック図を図5に示す。符号化信号48から復号化
器53を用いて動きベクトル54や残差信号55を得
る。この復号化器53では可変長復号化、ゼロ・ランレ
ングス復号化、逆量子化、逆DCT等を行なうことが多
い。
【0008】さらに、動き補償予測器57により参照画
像信号56から動きベクトル54を用いてブロック単位
で動き補償画像信号を求める。この動き補償画像信号に
復号化された残差信号55を付加して、復号化画像信号
58を得る。ここで、復号化画像信号58が画像メモリ
59に蓄えられ、参照画像信号56となる。
【0009】<画像復号化装置により復号化された画像
の出力例>ここで、例えばMPEG(Moving Picture E
xperts Group)規格に準拠した信号(MPEG信号)で
ある、画面内で符号化される画面内符号化画像(Iピク
チャ)と画面間予測符号化される片方向予測符号化画像
(Pピクチャ)を多重化して記録したときの画面表示デ
ータ列を図6に示す。
【0010】普通の再生は1、2、3、…、の順序で再
生することが出来る。一方、特殊再生では連続して画像
を復号化することが出来ないので、参照画像が復号化さ
れていない片方向予測符号化画像は再生することが出来
ず、画面内符号化画像しか再生することが出来ない。よ
って、例えば高速サーチの場合、1、16、31、…、
の順序でIピクチャのみI1 、I16、I31、…を再生す
ることになる。なお、逆転再生の場合は、16、1、
…、とI16、I1 、…を再生することになる。
【0011】
【発明が解決しようとする課題】従来の画像処理装置は
画面間の予測を用いるので符号化効率がよいが、特殊再
生は画面内符号化画像だけしか再生出来ないので、再生
出来る画像が少なく、高速サーチの速度が限定された
り、コマ落としで動きが不自然な画像になったりする。
【0012】
【課題を解決するための手段】本発明は画像処理装置に
おいて、画像信号の動きベクトルを検出する際に、通常
の再生のための動きベクトルに加えて、特殊再生のため
の動きベクトルを検出し、場合により通常再生の動き補
償予測に加えて特殊再生用残差信号を算出して、特殊再
生用動きベクトルと場合により特殊再生用残差信号を符
号化し、通常再生用の符号化信号に多重化して記録する
ようにする。
【0013】( 作 用 )予め特殊再生用の情報を通
常の符号化信号に多重化し記録することにより、通常の
符号化信号だけでは復号することの出来ない特殊再生を
可能にするものである。
【0014】
【発明の実施の形態】本発明の画像符号化装置及び復号
化装置の実施例について、図と共に以下に順次説明す
る。
【0015】<第1の画像符号化装置>図1に本発明の
第1の画像符号化装置の一実施例のブロック図を示す。
図4の従来例の画像符号化装置のブロック図とは、特殊
再生のための動きベクトルを検出するための動きベクト
ル検出器10が追加されている点と、特殊再生のための
動きベクトルを符号化するための符号化器15が追加さ
れている点と、通常再生のための符号化信号と特殊再生
のための符号化信号とを多重化するための多重化器17
が追加されている点が異なる。
【0016】符号化画像信号1と通常再生用参照画像信
号2とを用いて動きベクトル検出器3により通常再生用
動きベクトル4を求め、この通常再生用動きベクトル4
をもとにして動き補償予測器5により動き補償を行な
い、動きベクトル4と残差信号6とを符号化器7に供給
して符号化して通常再生用の符号化信号8を得るところ
までは従来例と同様である。この通常再生用符号化信号
8は、例えばMPEG信号などである。
【0017】本発明の画像符号化装置の一実施例におい
て、例えばMPEG(Moving Picture Experts Group)
規格に準拠した信号(MPEG信号)であるIピクチャ
とPピクチャとを多重化して記録したときの画面表示デ
ータ列を図6に示す。特殊再生で、例えば5倍速再生
(サーチ)を行なう場合は、1、6、11、…、と再生
することになる。
【0018】画面内符号化画像であるI1は画面内処理
で再生を行なうことが出来る。しかし、従来の方法では
片方向予測符号化画像であるP6はP5から予測される
ため、再生することが出来ない。
【0019】そこで、P6を符号化する際に通常再生の
ためにP5から予測した動きベクトル4に加えて、特殊
再生、この場合は5倍速再生のためにI1から予測した
動きベクトル11も符号化する。また、P11を符号化す
る際には通常再生のためにP10から予測した動きベクト
ル4に加えて、P6から予測した動きベクトル11も符
号化する。
【0020】ただし、この方式では特殊再生の時に動き
補償予測の残差信号を符号化しないので、複雑な動きの
ある画像等では特殊再生用参照画像信号は画面内で符号
化される画面内符号化画像であるI1を用い、I1から
予測した動きベクトル11を符号化する方が望ましいこ
ともある。
【0021】符号化画像信号1と特殊再生用参照信号9
から動きベクトル検出器10を用いて画素で構成される
ブロック単位で両信号間のマッチング信号を算出する。
この場合の特殊再生用参照信号9は5倍速再生(サー
チ)でP6の符号化を行なう場合、I1を符号化し、さ
らに復号化した局部復号画像信号をメモリに蓄えてお
く。または、符号化画像信号I1をそのまま用いること
もある。このマッチング信号をもとにして特殊再生用動
きベクトル11を算出する。
【0022】さらに、符号化器15を用いて動きベクト
ル13の冗長性を削減し、特殊再生用符号化信号16を
生成する。この符号化器15では可変長符号化等を行な
う。また、参照画像の情報、次の再生画像の情報等を特
殊再生用符号化器15に多重化することもある。さら
に、通常再生用の符号化信号8と特殊再生用符号化信号
16とを多重化器17で多重化し、最終的な符号化信号
18とする。
【0023】図6において、逆転再生は16、15、1
4、…、と再生するがこのときも従来の方法では画面内
符号化画像であるI16は再生することが出来るが、P14
から予測される片方向予測符号化画像であるP15は再生
することが出来ない。そこで、I16の参照画像信号9と
P15の符号化画像信号1から動きベクトル検出器10を
用いて特殊再生用動きベクトル11を検出し、符号化す
る。P14、P13、…、も同様に特殊再生用動きベクトル
11を検出し、符号化する。
【0024】<第2の画像符号化装置>図2に本発明の
第2の画像符号化装置の一実施例のブロック図を示す。
図1の本発明の第1の画像符号化装置のブロック図と
は、特殊再生のための動きベクトルを検出するための動
きベクトル検出器10により求められた特殊再生用動き
ベクトル11が動き補償予測器12に入力されている点
と動き補償により得られた特殊再生のための残差信号1
3が符号化器25に入力されているが異なる。
【0025】符号化画像信号1と通常再生用参照画像信
号2とを用いて動きベクトル検出器3により通常再生用
動きベクトル4を求め、この通常再生用動きベクトル4
をもとにして動き補償予測器5により動き補償を行な
い、動きベクトル4と残差信号6とを符号化器7に供給
して符号化して通常再生用の符号化信号8を得るところ
までは従来例と同様である。
【0026】さらに、特殊再生用参照画像信号9と符号
化画像信号1を用いて動きベクトル検出器10により特
殊再生のための動きベクトル11を求めるところまでは
本発明の第1の画像符号化装置と同様である。
【0027】本発明の第2の画像符号化装置では検出さ
れた特殊再生のための動きベクトル11をもとにしてブ
ロック単位で動き補償予測器12により動き補償予測を
行ない、動き補償画像信号を求める。この動き補償画像
信号と符号化信号1の差分を求め、特殊再生用残差信号
13を得る。
【0028】さらに、符号化器25を用いて動きベクト
ル11や残差信号13の冗長性を削減し、特殊再生用符
号化信号26を生成する。この符号化器25では通常再
生の場合と同様にDCT、量子化、ゼロ・ランレング
ス、可変長符号化等を行なう。
【0029】その後、本発明の第1の画像符号化装置と
同様に通常再生用の符号化信号8と特殊再生用の符号化
信号26とを多重化器27で多重化し、最終的な符号化
信号28を得る。
【0030】<画像復号化装置>本発明の第1の画像復
号化装置は本発明の第1又は第2の画像符号化装置で得
られた符号化信号18,28を復号化する装置である。
図3に本発明の画像復号化装置の一実施例のブロック図
を示す。図5の従来例の画像復号化装置のブロック図と
は、符号化信号を通常再生のための符号化信号29と特
殊再生のための符号化信号30に分離するための分離化
器39が追加されている点と、通常再生のための符号化
信号29と特殊再生のための符号化信号30のどちらを
復号化するかを切り替える制御用セレクタ32が追加さ
れている点が異なる。
【0031】まず、本発明の装置では多重化された符号
化信号を分離化器39により通常再生のための符号化信
号29と特殊再生のための符号化信号30とに分離す
る。さらに、再生用制御信号31により通常再生用符号
化信号29と特殊再生用符号化信号30のどちらを復号
化するかを制御用セレクタ32により切り替える。
【0032】このとき、画面内符号化画像を復号化する
場合は特殊再生の際にも通常再生用符号化信号29を復
号化する。選択された符号化信号から復号化器33を用
いて動きベクトル34や残差信号35を得る。ここで、
本発明の第1の画像符号化装置で符号化された符号を復
号化するときは特殊再生の符号には残差信号35が含ま
れていないので値を0とする。
【0033】さらに、従来例と同様に動き補償予測器3
7により参照画像36から動きベクトル34を用いてブ
ロック単位で動き補償画像信号を求める。この動き補償
画像信号に復号化された残差信号35を付加し、復号化
画像信号40を得る。
【0034】ここで、復号化画像信号40が画像メモリ
38に蓄えられ、参照画像信号36となる。本発明の画
像符号化装置は、ビデオCD、DVD等のMPEG信号
を用いたストレージメディア等に有効であるが、それ以
外のディジタル信号による符号化方式全般にも有効であ
る。
【0035】
【発明の効果】特殊再生用の動きベクトルの情報を通常
再生用の情報と共に符号化する本発明では、特殊再生用
動きベクトルの情報を算出して符号化し、通常再生用符
号に付加するので、動き補償を用いた少ない情報量でも
本発明の復号化を用いて通常再生用の符号だけでは再生
することが出来ない特殊再生を可能にする。
【0036】さらに、特殊再生用の残差成分の情報も加
えて通常再生用の情報と共に符号化する本発明の第2の
画像符号化では特殊再生のための動きベクトルに加えて
特殊再生のための残差信号を付加することにより、本発
明の第1の画像符号化で符号化した場合に比べて、高画
質な特殊再生を可能にする。
【図面の簡単な説明】
【図1】本発明の画像符号化装置の第1の実施例のブロ
ック構成を示す図である。
【図2】本発明の画像符号化装置の第2の実施例のブロ
ック構成を示す図である。
【図3】本発明の画像復号化装置の実施例のブロック構
成を示す図である。
【図4】従来例の画像符号化装置のブロック構成を示す
図である。
【図5】従来例の画像復号化装置のブロック構成を示す
図である。
【図6】本発明の一実施例の画像表示データ列を示す図
である。
【符号の説明】
1 符号化画像信号 2 通常再生用参照画像信号 3,10,43 動きベクトル検出器 4 通常再生用動きベクトル 5,12,37,45,57 動き補償予測器 6 通常再生用残差信号 7,15,25,47 符号化器 8,29 通常再生用符号化信号 9 特殊再生用参照画像信号 11 特殊再生用動きベクトル 13 特殊再生用残差信号 16,26,30 特殊再生用符号化信号 17,27 多重化器 18,28 符号化信号 31 再生用制御信号 32 制御用セレクタ 33,53 復号化器 36 参照画像信号 38,59 画像メモリ 39 分離化器 40,58 復号化画像信号

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】符号化画像信号と通常再生のための参照画
    像信号とから通常再生用の動きベクトルを検出し、前記
    動きベクトルを用いて動き補償予測を行ない、前記符号
    化画像信号と参照画像信号との残差信号と前記動きベク
    トルを符号化し、通常再生用符号化信号を生成する画像
    符号化装置において、 前記符号化画像信号と特殊再生のための参照画像信号と
    から特殊再生用動きベクトルを検出する手段と、 前記特殊再生用動きベクトルを符号化して特殊再生用符
    号化信号を生成する手段と、 前記通常再生用符号化信号と特殊再生用符号化信号を多
    重化する手段とを有する構成としたことを特徴とする画
    像符号化装置。
  2. 【請求項2】符号化画像信号と通常再生のための参照画
    像信号とから通常再生用の動きベクトルを検出し、前記
    動きベクトルを用いて動き補償予測を行ない、前記符号
    化画像信号と参照画像信号との残差信号と前記動きベク
    トルを符号化し、通常再生用符号化信号を生成する画像
    符号化装置において、 前記符号化画像信号と特殊再生のための参照画像信号と
    から特殊再生用動きベクトルを検出する手段と、 前記特殊再生用動きベクトルから動き補償予測を行な
    い、特殊再生用残差信号を得る手段と、 前記特殊再生用動きベクトルと特殊再生用残差信号を符
    号化し特殊再生用符号化信号を生成する手段と、 前記通常再生用符号化信号と特殊再生用符号化信号を多
    重化する手段とを有する構成としたことを特徴とする画
    像符号化装置。
  3. 【請求項3】前記請求項1または請求項2に記載の画像
    符号化装置において前記通常再生用符号化信号はMPE
    G信号としたことを特徴とする画像符号化装置。
  4. 【請求項4】符号化信号から動きベクトルと残差信号を
    復号化し、前記動きベクトルと残差信号から動き補償予
    測を行ない、復号化信号を生成する画像復号化装置にお
    いて、 前記符号化信号から通常再生用符号化信号と特殊再生用
    符号化信号とに分離する手段と、 前記分離された通常再生用符号化信号と特殊再生用符号
    化信号のうちどちらを復号化するのかを選択する手段と
    を有する構成としたことを特徴とする画像復号化装置。
  5. 【請求項5】前記請求項4に記載の画像復号化装置にお
    いて前記通常再生用符号化信号はMPEG信号としたこ
    とを特徴とする画像復号化装置。
  6. 【請求項6】符号化画像信号と通常再生のための参照画
    像信号とから通常再生用の動きベクトルを検出し、前記
    動きベクトルを用いて動き補償予測を行ない、前記符号
    化画像信号と参照画像信号との残差信号と前記動きベク
    トルを符号化し、符号化信号を生成する画像符号化方法
    において、 前記符号化画像信号と特殊再生のための参照画像信号と
    から特殊再生用動きベクトルを検出し、前記特殊再生用
    動きベクトルを符号化して特殊再生用符号化信号を生成
    し、前記通常再生用符号化信号と特殊再生用符号化信号
    を多重化するようにしたことを特徴とする画像符号化方
    法。
  7. 【請求項7】符号化信号から動きベクトルと残差信号を
    復号化し、前記動きベクトルと残差信号から動き補償予
    測を行ない、復号化信号を生成する画像復号化方法にお
    いて、 前記符号化信号から通常再生用符号化信号と特殊再生用
    符号化信号とに分離し、前記通常再生用符号化信号と特
    殊再生用符号化信号を選択するようにしたことを特徴と
    する画像復号化方法。
JP35906296A 1996-12-27 1996-12-27 画像符号化復号化装置及びその方法 Expired - Lifetime JP3669536B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35906296A JP3669536B2 (ja) 1996-12-27 1996-12-27 画像符号化復号化装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35906296A JP3669536B2 (ja) 1996-12-27 1996-12-27 画像符号化復号化装置及びその方法

Publications (2)

Publication Number Publication Date
JPH10191359A true JPH10191359A (ja) 1998-07-21
JP3669536B2 JP3669536B2 (ja) 2005-07-06

Family

ID=18462542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35906296A Expired - Lifetime JP3669536B2 (ja) 1996-12-27 1996-12-27 画像符号化復号化装置及びその方法

Country Status (1)

Country Link
JP (1) JP3669536B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801712B1 (en) 1999-06-16 2004-10-05 Victor Company Of Japan, Ltd. Recording apparatus with jump destination position information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801712B1 (en) 1999-06-16 2004-10-05 Victor Company Of Japan, Ltd. Recording apparatus with jump destination position information

Also Published As

Publication number Publication date
JP3669536B2 (ja) 2005-07-06

Similar Documents

Publication Publication Date Title
EP1079634B1 (en) Image predictive decoding method
JPH05153577A (ja) 動画像復号化装置
JPH11275592A (ja) 動画像符号列変換装置及びその方法
JPH06197273A (ja) ビデオ信号符号化方法及び装置、ビデオ信号復号化方法及び装置、又はビデオ信号記録メディア
KR19990072968A (ko) 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법
KR100424246B1 (ko) 화상복호화방법,화상복호화장치및데이터기억매체
KR100260475B1 (ko) 화상 데이타 부호화 방법 및 장치, 화상 데이타 복호화 방법 및 장치 및 화상 기록 매체
JPH10191259A (ja) Mpegビデオの反転再生方法
KR0185932B1 (ko) 고속재생을 위한 비디오데이타 복호방법 및 그 장치
JPH06284412A (ja) 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
KR100226563B1 (ko) 동화상 데이타 복호화장치
JP3191583B2 (ja) 情報復号化装置
JP2776212B2 (ja) 符号記録装置
JPH05344494A (ja) Mpeg動画像の早送り再生方式
JPH11289539A (ja) 画像信号処理装置及び方法並びに記録媒体
JP3669536B2 (ja) 画像符号化復号化装置及びその方法
JP3189252B2 (ja) 画像データエンコーダおよびデコーダ
JP2614212B2 (ja) 画像信号の符号化方法およびその装置
JPH06351000A (ja) 画像信号符号化装置と画像信号復号装置
JP3128393B2 (ja) 圧縮動画像再生装置
JP3776735B2 (ja) 画像予測復号化方法,画像予測復号化装置,画像予測符号化方法,画像予測符号化装置,及びデータ記憶媒体
JPS63310293A (ja) 圧縮記録画像の再生方式
JPH05153573A (ja) 動画像データ復号化装置
JPH11262009A (ja) 映像信号再生装置
JPH06319124A (ja) 画像データ変換装置及びその逆変換装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050407

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100422

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110422

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120422

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120422

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130422

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 9

EXPY Cancellation because of completion of term