JPH11164306A - 動き補償動画像符号化装置及びその方法 - Google Patents

動き補償動画像符号化装置及びその方法

Info

Publication number
JPH11164306A
JPH11164306A JP34209197A JP34209197A JPH11164306A JP H11164306 A JPH11164306 A JP H11164306A JP 34209197 A JP34209197 A JP 34209197A JP 34209197 A JP34209197 A JP 34209197A JP H11164306 A JPH11164306 A JP H11164306A
Authority
JP
Japan
Prior art keywords
motion
motion compensation
accuracy
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP34209197A
Other languages
English (en)
Other versions
JP3804237B2 (ja
Inventor
Kenji Sugiyama
賢二 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP34209197A priority Critical patent/JP3804237B2/ja
Publication of JPH11164306A publication Critical patent/JPH11164306A/ja
Application granted granted Critical
Publication of JP3804237B2 publication Critical patent/JP3804237B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 画像を効率的に伝送、蓄積、表示するため
に、画像情報をより少ない符号量でディジタル信号にす
る高能率符号化復号化において、特に動画像を対象とし
て動き補償画像間予測処理を行なうものに関する。 【解決手段】 動き補償を用いて画像間予測符号化を行
ない、前記画像間予測化に用いる再生画像を局部復号処
理で得る動き補償動画像符号化装置において、前記画像
の各部分の動きに対応した動きベクトルを、画素精度よ
り細かな精度で求める動きベクトル検出手段8と、前記
動きベクトルにより、画素精度より細かな精度の処理に
ついて復号化装置より予測確度の高い処理で動き補償を
行ない、予測残差を符号化するための動き補償予測信号
を得る第1の動き補償手段(14、9)と、前記動きベ
クトルにより、画素精度より細かな精度の処理について
復号化装置と同一処理で動き補償を行ない、再生画像を
局部復号するための動き補償予測信号を得る第2の動き
補償手段(14、10)とを有して構成した。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】画像を効率的に伝送、蓄積、
表示するために、画像情報をより少ない符号量でディジ
タル信号にする高能率符号化復号化において、特に動画
像を対象として動き補償画像間予測処理を行なうものに
関する。
【0002】
【従来の技術】<動き補償画像符号化>動画像の高能率
符号化において、画像間予測を行なう際に動きに合わせ
て画像の各部分をブロック毎に移動させてから予測する
手法がある。この様な画像の空間的な移動処理は動き補
償と呼ばれ、MPEGなど国際標準方式でも広く用いら
れている。画像間予測で動き補償を用いた場合、復号化
でも符号化と同じ動き補償を行なう必要があるので、画
像の動きに関する情報(動きベクトル)を符号化して復
号側に伝送する。
【0003】この様な動き補償符号化において、符号化
装置における動き補償の精度を動きベクトル(MV)情
報の伝送規格の精度より高くしたものがある。その例は
本願の特許出願人と同一出願による「動き補償予測符号
化装置」(特開平8−51630号)で示されている。
この手法は動き補償の精度が不十分なために生じる画像
間予測残差成分については符号化せず、画像本来の変化
のみ符号化することで、符号化効率を高めるものであ
る。
【0004】<従来例の符号化装置1>図5に上記の様
な動き補償を行なう符号化装置の構成例を示す。画像入
力端子1から供給される画像信号は、減算器2において
微小動補償(予測)器10から与えられる画像間予測信
号が減算され、予測残差となってDCT3に与えられ
る。DCT3は8×8画素単位で離散コサイン変換(D
CT)の変換処理を行ない、得られた係数を量子化器4
に与える。量子化器4は所定のステップ幅で係数を量子
化し、固定長の符号となった係数を可変長符号化器5と
逆量子化器11とに与える。可変長符号化器5はジグザ
グスキャンと呼ばれる順序で、2次元の8×8個の係数
を1次元に配列変換して、係数を0の連続数と0以外の
係数の値としてハフマン符号で符号化する。この様にし
て符号列となった画像間予測残差は多重化器6でMV符
号化器51からの動きベクトル(MV)の符号列と多重
化され、符号出力端子7より出力される。
【0005】一方、逆量子化器11及び逆DCT17で
はDCT3及び量子化器4の逆処理が行なわれ、画像間
予測残差を再生する。得られた再生画像間予測残差は加
算器16で画素精度の動き補償予測信号が加算されて再
生画像となり、画像メモリ15に与えられる。画像メモ
リ15に蓄えられている再生画像は、画素移動器14と
MV検出器13に与えられる。MV検出器13は画素精
度のMVを、入力画像と画像メモリ15の出力から16
×16画素乃至8×8画素の大きさのブロック毎に求め
て、その値を画素移動器14とMV符号化器51に与え
る。画素移動器14は画素精度のMVに従って、再生画
像を移動させ画素精度の動き補償予測信号として微小M
V検出器8、微小動補償器10、及び加算器16に与え
る。
【0006】微小MV検出器8は、1/2乃至1/4画
素精度など画素精度より細かな精度で、再度MVを求め
る。対象画像は既に画素精度で動き補償されているの
で、得られる微小MVは画素精度MVに対する差分とな
り微小動補償器10に与えられる。微小動補償器10は
与えられた微少MVに基づいてリサンプリングフィルタ
の係数を設定し、1/2乃至1/4画素精度の動き補償
予測信号を減算器2に与える。一方、MV符号化器51
は、画素精度のMVに対し符号化済みの前値(通常は左
ブロックの値)と符号化対象となるブロックのベクトル
値をx成分y成分毎に比較し、その差分値をハフマン符
号で符号化して多重化器6に出力する。得られたMV符
号列は多重化器6で、画像間予測残差の符号列と多重化
される。
【0007】<従来例の復号化装置>図5の動き補償動
画像符号化装置に対応する復号化装置について以下に説
明する。図6は、その復号化装置の構成を示したもので
ある。ここで、画素移動器14、加算器16、逆量子化
器11、逆DCT17の動作は図5の符号化装置のもの
と同じである。符号入力端子21より入来する符号は、
多重分離器22で画像間予測残差の符号列と動きベクト
ルの符号列に分離され、画像間予測残差の符号列は可変
長復号化器23で固定長の符号に戻され、得られた係数
は逆量子化器11、逆DCT17で再生画像間予測残差
となり、加算器16で画像間予測信号が加算され再生画
像となる。
【0008】この様にして得られた再生画像信号は、画
像出力端子24から出力されると共に画像メモリ26に
与えられる。画素移動器14は、画像メモリ26に蓄積
されている画像を画素精度のMVに従って動き補償し、
画像間予測信号として加算器16に与える。一方、多重
分離器22で分離されたMV符号は、MV復号化器61
で可変長符号化器51の逆処理が行なわれ、得られた画
素精度のMVは画素移動器14に与えられる。
【0009】
【発明が解決しようとする課題】従来の動き補償動画像
符号化装置は、予測残差を得るための動き補償と局部復
号の動き補償で処理に差が大きく、絵柄により再生画像
が不自然になる問題を生じた。本発明は以上の点に着目
してなされたもので、局部復号の動き補償は復号化装置
と同一とし、予測残差を得るための動き補償を、精度は
同一であるが画素精度より細かな精度での動き補償を高
次フィルタリングにより行なうことで、予測残差を少な
くして符号化効率を改善する動き補償動画像符号化及び
復号化装置を提供することを目的とする。
【0010】
【課題を解決するための手段】本発明は、動き補償を用
いて画像間予測符号化を行ない、画像間予測に用いる再
生画像を局部復号処理で得る動画像の高能率符号化にお
いて、画像の各部分の動きに対応した動きベクトルを、
画素精度より細かな精度で求め、前記動きベクトルによ
り、画素精度より細かな精度の処理について復号化装置
より予測確度の高い処理で動き補償を行ない、予測残差
を符号化するための第1の動き補償予測信号を得、復号
化装置と同一処理で動き補償を行ない、再生画像を局部
復号するための第2の動き補償予測信号を得る動き補償
動画像符号化装置である。
【0011】また、前記動き補償動画像符号化装置で、
第1の動き補償信号は画素精度より細かな精度の処理
が、近傍以外の画素も用いた高次のフィルタリングでな
され、第2の動き補償信号は画素精度より細かな精度の
処理が近傍の画素からの線形内挿でなされる動き補償動
画像符号化装置である。
【0012】( 作 用 )本発明では、局部復号の動
き補償は復号化装置と同一とすることで、復号化装置と
のミスマッチは起こらないので誤差の累積は起こらな
い。一方、予測残差を得るための動き補償を、精度は同
一であるが画素精度より細かな精度での動き補償をより
予測確度の高いものとすると、予測信号の特性が改善さ
れ、確からしさが増加する。そのため、予測残差成分が
減少し発生符号量が減少する。2種類の動き補償処理結
果は大きく異なるものではないので、再生画像が不自然
にならなくなる。また、画素精度より細かな精度の動き
補償処理が、予測残差を得るためのものは近傍以外の画
素も用いた高次のフィルタリングであり、局部復号のも
のが近傍の画素からの線形内挿であるので装置としての
実現性が高い。
【0013】
【発明の実施の形態】<実施例の動き補償動画像符号化
装置>本発明の動き補償動画像符号化装置の一実施例に
ついて、以下に図と共に説明する。図1はその構成を示
したもので、図5の従来例と同一構成要素には同一付番
を記してある。図1には、図5と比較して高次動補償器
9があり、微少動補償器10の出力の接続が異なる。本
実施例において、従来例と異なるのは動き補償処理であ
り、画像間予測残差の符号化処理は同じである。また、
MV符号化器12の動作が従来例と異なる。
【0014】画像入力端子1から入来する画像信号は、
減算器2において高次動補償器9から与えられる画像間
予測信号が減算される。得られた予測残差は従来例と同
様にDCT3、量子化器4、可変長符号化器5で符号化
され、符号列となった画像間予測残差は多重化器6で動
きベクトル(MV)の符号列と多重化され、符号出力端
子7より出力される。
【0015】一方、逆量子化器11及び逆DCT17で
はDCT3及び量子化器4の逆処理が行なわれ、画像間
予測残差を再生する。得られた再生画像間予測残差は加
算器16で動き補償予測信号が加算され再生画像とな
り、画像メモリ15に与えられる。画像メモリ15に蓄
えられている再生画像は、画素移動器14とMV検出器
13に与えられる。MV検出器13は画素精度のMV
を、入力画像と画像メモリ15の出力から16×16画
素乃至8×8画素の大きさのブロック毎に求め、その値
を画素移動器14とMV符号化器12に与える。
【0016】画素移動器14は画素精度のMVに従っ
て、再生画像を移動させ画素精度の動き補償予測信号と
して微小MV検出器8、微小動補償器10、及び高次動
補償器9に与える。微小MV検出器8は、1/2乃至1
/4画素精度など画素精度より細かな精度で再度MVを
求める。1/4画素精度の動き補償位置と画素との関係
を図3に示す。対象画像は既に画素精度で動き補償され
ているので、得られる微小MVは画素精度MVに対する
差分となり微小動補償器10と高次動補償器9に与えら
れる。
【0017】微小動補償器10と高次動補償器9は、共
に与えられた微少MVに基づいてリサンプリングフィル
タを設定し、微小動補償器10の出力は加算器16に、
高次動補償器9の出力は減算器2に夫々与えられる。微
小動補償器10と高次動補償器9から出力される動き補
償予測信号は、画素精度については同じであるが、リサ
ンプリング処理の方法が異なる。微小動補償器10は、
近傍画素からの線形内挿(バイリニア)処理であり、高
次動補償器9は近傍以外の画素も用いた高次のフィルタ
リング処理である。
【0018】線形内挿は最も簡易なフィルタリングと見
做すことが出来、処理は比較的簡単であるが、リサンプ
ルされた信号の周波数特性はあまり良好ではない。一
方、高次フィルタは周波数特性が改善されるので、予測
信号は線形内挿で作られたものより確からしいものとな
る。それぞれのリサンプル処理方法は図4の様な処理が
行なわれる。フィルタリングは垂直と水平の2次元縦属
処理となるが、図4ではその片方の次元のみを示した。
【0019】Xa,Xb,Xc,Xd は動き補償された画素の相対
位置であり、Pa,Pb,Pc,Pd は基となる画素である。線形
内挿と高次フィルタとではフィルタのタップ係数が異な
るのみならず必要となる周辺画素も異なる。線形内挿は
対象となる動き補償位置の周辺4画素のみが使われる
が、高次フィルタではさらにその周辺の画素も使われ
る。
【0020】このことは、画素移動器14の動作にも関
係する。16×16(8×8)画素の動き補償予測を得
るために必要となる画素数は、微小動補償器10の場合
では垂直水平に1画素づつ多い17×17(9×9)画
素となるが、高次動補償器9の場合にはさらに2画素づ
つ多い19×19(11×11)画素となる。画素移動
器14の出力は高次動補償器9と微小動補償器10で共
通なので、19×19(11×11)画素を常に出力す
る必要がある。
【0021】ここで、高次動補償器9の処理をブロック
端の画素について修正すると、画素移動器14で得る画
素は、微小動補償器10の場合と同じ17×17(9×
9)画素となる。具体的には、ブロックからはみ出す部
分について線形内挿と似た処理とするもので、使用画素
を17×17(9×9)とした場合にPaが存在しないな
らPbで置き換え、Pdが存在しないならPcで置き換える。
これによりブロック端での特性が線形内挿にやや近くな
るが、画素移動器14の出力は17×17(9×9)画
素で済む。
【0022】<実施例の動き補償復号化装置>図1の動
き補償動画像符号化装置に対応する復号化装置の一実施
例について、以下に図と共に説明する。図2は、動き補
償動画像復号化装置の一実施例の構成を示したものであ
る。符号入力端子21より入来する符号は、多重分離器
22で画像間予測残差の符号列と動きベクトル(MV)
の符号列に分離される。
【0023】画像間予測残差の符号列は可変長復号化器
23で固定長の符号に戻され、得られた8×8の係数は
逆量子化器11、逆DCT17で再生画像間予測残差と
なり、加算器16で画像間予測信号が加算されて再生画
像信号となる。この様にして得られた再生画像信号は、
画像出力端子24から出力されると共に画像メモリ26
に与えられる。画像メモリ26は1フレーム分の画像を
保持し、画素移動器14に与える。
【0024】画素移動器14では、MV復号化器25か
ら与えられる画素精度のMVに従って、画素精度の動き
補償予測信号を作り、微小動補償器10に与える。微小
動補償器10では、MV復号化器25から与えられる1
/2乃至1/4画素精度の差分MVに従って、線形内挿
で1/2乃至1/4画素精度の動き補償予測信号を作
り、加算器16に与える。
【0025】ここで、画素移動器14、微小動補償器1
0、加算器16、逆量子化器11、逆DCT17の動作
は図1の符号化装置のものと同じである。一方、多重分
離器22で分離されたMV符号は、MV復号化器25
で、MV符号化器12の逆処理が行なわれ、画素精度の
MV値と1/2乃至1/4画素精度の差分MVを得、画
素精度のMV値を画素移動器14に、1/2乃至1/4
画素精度の差分MVを微小動補償器10に与える。
【0026】
【発明の効果】本発明は、予測残差を得るための動き補
償を、精度は同一であるが、画素精度以下の動き補償フ
ィルタリングをより確からしいものとして、予測信号の
周波数特性を改善し、予測確度を向上させることが出
来、予測残差成分が減少し発生符号量を減少させること
が出来る。ここで、局部復号の動き補償は復号化装置と
同一とすることで、復号化装置とのミスマッチは起こら
ず、誤差の累積は起こらない。
【0027】2種類の動き補償処理結果は大きく異なる
ものではないので、再生画像が不自然になることもな
く、結果的により少ない符号量で動画像の記録・伝送が
可能になる。また、画素精度より細かな精度の動き補償
処理が、予測残差を得るためのものは近傍以外の画素も
用いた高次のフィルタリングであり、局部復号のものが
近傍の画素からの線形内挿であるので装置として効率よ
く実現出来る。
【図面の簡単な説明】
【図1】本発明の動き補償動画像符号化装置の一実施例
の構成を示す図である。
【図2】本発明の動き補償動画像復号化装置の一実施例
の構成を示す図である。
【図3】1/4画素精度の動きベクトルの様子を示す図
である。
【図4】1/4画素精度のリサンプルフィルタの様子を
示す図である。
【図5】従来の動き補償動画像符号化装置の構成例を示
す図である。
【図6】従来の動き補償動画像復号化装置の構成例を示
す図である。
【符号の説明】
1 画像入力端子 2 減算器 3 DCT 4 量子化器 5 可変長符号化器 6 動き補償予測器 7 符号出力端子 8 精細MV検出器(動きベクトル検出手段) 9 高次動補償器(第1の動き補償手段) 10 微小動き補償器(第2の動き補償手段、動き補償
手段) 11 逆量子化器 12,51 MV符号化器 13 精細MV検出器 14 画素移動器(第1の動き補償手段、第2の動き補
償手段) 15,26 画像メモリ 16 加算器 17 逆DCT 21 符号入力端子 22 多重分離器 23 可変長復号化器 24 画像出力端子 25,61 MV復号化器

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】動き補償を用いて画像間予測符号化を行な
    い、前記画像間予測化に用いる再生画像を局部復号処理
    で得る動き補償動画像符号化装置において、 前記画像の各部分の動きに対応した動きベクトルを、画
    素精度より細かな精度で求める動きベクトル検出手段
    と、 前記動きベクトルにより、画素精度より細かな精度の処
    理について復号化装置より予測確度の高い処理で動き補
    償を行ない、予測残差を符号化するための動き補償予測
    信号を得る第1の動き補償手段と、 前記動きベクトルにより、画素精度より細かな精度の処
    理について復号化装置と同一処理で動き補償を行ない、
    再生画像を局部復号するための動き補償予測信号を得る
    第2の動き補償手段とを有することを特徴とする動き補
    償動画像符号化装置。
  2. 【請求項2】請求項1記載の動き補償動画像符号化装置
    において、 前記第1の動き補償手段は画素精度より細かな精度の処
    理が、近傍以外の画素も用いた高次のフィルタリング処
    理を行なうものであり、 前記第2の動き補償手段は画素精度より細かな精度の処
    理が、近傍の画素からの線形内挿処理を行なうものであ
    ることを特徴とする動き補償動画像符号化装置。
  3. 【請求項3】動き補償を用いて画像間予測符号化を行な
    い、前記画像間予測化に用いる再生画像を局部復号処理
    で得る動き補償動画像符号化方法において、 前記画像の各部分の動きに対応した動きベクトルを、画
    素精度より細かな精度で求める動きベクトル検出ステッ
    プと、前記動きベクトルにより、画素精度より細かな精
    度の処理について復号化装置より予測確度の高い処理で
    動き補償を行ない、予測残差を符号化するための動き補
    償予測信号を得る第1の動き補償ステップと、前記動き
    ベクトルにより、画素精度より細かな精度の処理につい
    て復号化装置と同一処理で動き補償を行ない、再生画像
    を局部復号するための動き補償予測信号を得る第2の動
    き補償ステップを有することを特徴とする動き補償動画
    像符号化方法。
  4. 【請求項4】請求項3記載の動き補償動画像符号化方法
    において、 前記第1の動き補償ステップは画素精度より細かな精度
    の処理が、近傍以外の画素も用いた高次のフィルタリン
    グ処理であり、前記第2の動き補償ステップは画素精度
    より細かな精度の処理が、近傍の画素からの線形内挿処
    理であることを特徴とする動き補償動画像符号化方法。
JP34209197A 1997-11-27 1997-11-27 動き補償動画像符号化装置及びその方法 Expired - Lifetime JP3804237B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34209197A JP3804237B2 (ja) 1997-11-27 1997-11-27 動き補償動画像符号化装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34209197A JP3804237B2 (ja) 1997-11-27 1997-11-27 動き補償動画像符号化装置及びその方法

Publications (2)

Publication Number Publication Date
JPH11164306A true JPH11164306A (ja) 1999-06-18
JP3804237B2 JP3804237B2 (ja) 2006-08-02

Family

ID=18351096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34209197A Expired - Lifetime JP3804237B2 (ja) 1997-11-27 1997-11-27 動き補償動画像符号化装置及びその方法

Country Status (1)

Country Link
JP (1) JP3804237B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055538A (ja) * 2005-04-13 2011-03-17 Ntt Docomo Inc 動画像符号化装置および動画像復号装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055538A (ja) * 2005-04-13 2011-03-17 Ntt Docomo Inc 動画像符号化装置および動画像復号装置

Also Published As

Publication number Publication date
JP3804237B2 (ja) 2006-08-02

Similar Documents

Publication Publication Date Title
JP2897763B2 (ja) 動き補償符号化装置、復号化装置、符号化方法及び復号化方法
KR100929330B1 (ko) 공간 스케일가능 압축
JP3856262B2 (ja) 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
JPH11275592A (ja) 動画像符号列変換装置及びその方法
JP2005506815A5 (ja)
JP2005507589A5 (ja)
EP0644697A2 (en) Method for half-pixel motion compensation in image decoding
JP2006518568A (ja) ビデオ符号化
KR100264711B1 (ko) 움직임 보상 부호화 및 복호화 장치
KR100364312B1 (ko) 블록간예측부호화복호화장치및그방법
US6219103B1 (en) Motion-compensated predictive coding with video format conversion
JPH1155678A (ja) ブロック間内挿予測符号化装置、復号化装置、符号化方法及び復号化方法
US6490321B1 (en) Apparatus and method of encoding/decoding moving picture using second encoder/decoder to transform predictive error signal for each field
JPH11164306A (ja) 動き補償動画像符号化装置及びその方法
JP2897649B2 (ja) 動き補償予測符号化装置
JP4164903B2 (ja) 動画像符号列変換装置及びその方法
JPH10276436A (ja) 動き補償符号化復号化装置及び動き補償符号化復号化方法
JP2917782B2 (ja) 画像ブロック符号化装置
EP1790166A2 (en) A method and apparatus for motion estimation
JPH0216887A (ja) 画像符号化装置
KR0178226B1 (ko) 영상 부호기의 왜곡값 보정방법
JPH09116908A (ja) 画像符号化装置及び画像復号装置
JPH09200773A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050913

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060501

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090519

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 7

EXPY Cancellation because of completion of term