JP2811425B2 - 運動ベクトル抽出装置 - Google Patents

運動ベクトル抽出装置

Info

Publication number
JP2811425B2
JP2811425B2 JP18085695A JP18085695A JP2811425B2 JP 2811425 B2 JP2811425 B2 JP 2811425B2 JP 18085695 A JP18085695 A JP 18085695A JP 18085695 A JP18085695 A JP 18085695A JP 2811425 B2 JP2811425 B2 JP 2811425B2
Authority
JP
Japan
Prior art keywords
pixel data
pixel
input
motion vector
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP18085695A
Other languages
English (en)
Other versions
JPH0884346A (ja
Inventor
淳華 張
庸石 文
Original Assignee
韓國電氣通信公社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 韓國電氣通信公社 filed Critical 韓國電氣通信公社
Publication of JPH0884346A publication Critical patent/JPH0884346A/ja
Application granted granted Critical
Publication of JP2811425B2 publication Critical patent/JP2811425B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本願発明は、制限された帯域幅を
有する伝送媒体を介して映像データを実時間で伝送する
ために映像データを圧縮する映像データ圧縮装置におい
て、伝送される映像データから運動ベクトルを抽出する
運動ベクトル抽出装置に関する。
【0002】
【従来の技術】最近のディジタル映像伝送システムにお
いては、制限された帯域幅の伝送チャンネルを介して、
ディジタル映像電話機、ディジタル映像会議システム、
ディジタルテレビジョン、高解像度テレビジョンなどの
ようなディジタル映像受信システム側に実時間の映像デ
ータを伝送するために、データ圧縮方法を採用してい
る。
【0003】このデータ圧縮方法は、映像データが有す
る時間及び空間的重複性を除去することにより映像デー
タを圧縮するものである。そして、このような重複性除
去方法のうち、時間的な重複性を除去する方法として
は、運動ベクトル推定及び補償方法がある。この運動ベ
クトル推定及び補償方法は、物体又は物体の一部分に対
する運動ベクトルだけを伝送して実質的な映像データの
伝送効果を達成するものである。すなわち、映像データ
の一連のフレームには動く物体が存在するので、そのよ
うな物体に関して、同じ映像データを重複して伝送せず
に、運動ベクトルだけを伝送すれば、ディジタル映像受
信システム側で映像データを再現でき、伝送データ量を
減少させることができるのである。また、運動ベクトル
の推定方法は、循環的方法(Recursive Method) と整合
(Matching)による方法とに大別され、これら二つの方
法のうち、ブロックの単位に整合して運動ベクトルを推
定するブロック整合アルゴリズムが広く用いられてい
る。
【0004】そして、一名“MPEC”という映像圧縮符号
化専門家グループにより提案されたISO/IEC JTC1/SC29/
WG11勧告案は、16×16個の画素からなるマクロブロ
ック(Macro Block )単位に運動ベクトルを探すブロッ
ク整合アルゴリズムを勧告している。また、この勧告案
は、運動ベクトルの正確性を向上させるために、1/2
画素単位の運動ベクトルを推定するよう勧告している。
【0005】このような勧告案により、ディジタル映像
伝送システムにおいては、一般に、伝送される映像デー
タの正確性を保障するため、1/4画素単位または1/
2画素単位のような定数画素以下の単位の運動ベクトル
を抽出できる運動ベクトル抽出装置を備えている。
【0006】定数画素以下の単位の運動ベクトルを抽出
するための従来の運動ベクトル抽出装置は、探索ブロッ
ク内の任意の定数画素データと、それに隣接する定数画
素データとを用いて補間画素データを生成し、それら補
間画素データと上記任意の定数画素データとの平均絶対
偏差(Mean Absolute Difference:以下“MAD ”とい
う)を算出し、それらMAD を比較して運動ベクトルを算
出する。この従来の運動ベクトル抽出装置においては、
1/4画素単位の運動ベクトルを推定する場合、49個
の補間画素中、画素の一方の部分に隣接する16個の補
間画素およびMADを算出しなければならない。また、1
/2画素単位の運動ベクトルを推定する場合、9個の補
間画素中、画素の一方の部分に隣接する4個の補間画素
およびMADを算出しなければならない。
【0007】図5は、1/4画素単位の運動ベクトルを
抽出する従来の運動ベクトル抽出装置のブロック図であ
って、この運動ベクトル抽出装置は、第1補間回路10
と、第1レジスター12と、第2レジスター14と、第
3レジスター16と、第4レジスター18と、第5レジ
スター20と、第2補間回路22と、第1変異検出部2
4と、第2変異検出部26と、第3変異検出部28と、
第4変異検出部30と、比較器32とを備えている。第
1補間回路10の一方の入力端には第1入力ライン11
が接続されており、第1補間回路10の他方の入力端に
は第2入力ライン13が接続されている。第1〜第4変
異検出部24,26,28,30の一方の入力端には第
3入力ライン15が接続されており、比較器32の出力
端には出力ライン17が接続されている。
【0008】第1補間回路10には、以前フレームすな
わち現在フレームよりも時間的に前のフレームにおける
探索ブロックの任意の画素データ(b(i ,j))(以下
「現在画素データ」という)が第1入力ライン11を介
して入力され、また、探索ブロックの次のラインの画素
データ(b(i+1 ,j))(以下「後続ラインの画素デー
タ」という)が第2入力ライン13を介して入力され
る。ここで、"i" は画素データの垂直座標を示してお
り、"j" は画素データの水平座標を示している。これに
より第1補間回路10は、後続ラインの画素データ(b
(i+1 ,j))と現在画素データ(b(i ,j))とを用い
て、現在画素データ(b(i ,j))に対する4個の垂直方
向の補間画素データ(b0 0(i ,j),b0 1(i ,j),b0 2(i
,j),b0 3(i ,j))を算出し、これらを第1レジスタ
ー12に順次供給する。これにより第1レジスター12
は、第1補間回路10からの垂直方向の補間画素データ
(b0 0(i ,j),b0 1(i ,j),b0 2(i ,j),b0 3(i ,j))
を第2補間回路22および第2レジスター14に供給す
る。第1〜第5レジスター12,14,16,18,2
0は、順次縦続に接続されており、第2〜第5レジスタ
ー14,16,18,20は、垂直方向の補間画素デー
タ(b0 0(i ,j),b0 1(i ,j),b0 2(i ,j),b0 3(i ,
j))を1つの画素期間遅延させる。結果的に、第5レジ
スター20は、現在画素データ(b(i ,j))に対する垂
直方向の補間画素データ(b0 0(i ,j),b0 1(i ,j),b0
2(i ,j),b0 3(i ,j))を順次第2補間回路22に供給
し、第1レジスター12は、後続画素データ(b(i ,j+
1))に対する垂直方向の補間画素データ(b0 0(i,j+
1),b0 1(i ,j+1),b0 2(i ,j+1),b0 3(i ,j+1))を順
次第2補間回路22に供給する。これにより第2補間回
路22は、第1レジスター12からの後続画素データ
(b(i ,j+1))に対する垂直方向の補間画素データ(b0
0(i ,j+1),b0 1(i ,j+1),b0 2(i ,j+1),b0 3(i ,j+
1))と、第5レジスター20からの現在画素データ(b
(i ,j))に対する垂直方向の補間画素データ(b0 0(i
,j),b0 1(i ,j),b0 2(i ,j),b0 3(i ,j))とを組
み合わせて、各垂直方向の補間画素データ(b0 0(i ,
j),b0 1(i ,j),b0 2(i ,j),b0 3(i ,j))に対するそ
れぞれ4個の水平方向の補間画素データ(b0 k (i,j),
b1 k (i,j),b2 k (i,j),b3 k (i,j))を各々算出す
る。ここで、k=0〜3である。
【0009】第1〜第4変異検出部24,26,28,
30には、現在のフレームの画素データ(a(i ,j))が
第3入力ライン15を介して入力される。これにより第
1変異検出部24は、第3入力ライン15を介して入力
された現在フレームの画素データ(a(i ,j))と、第2
補間回路22からの補間画素データ(b0 k (i,j))とを
用いて、垂直方向に存在する4個のMAD を順次算出し、
それら4個のMAD を比較器32に順次供給する。第2〜
第4変異検出部26,28,30も、第1変異検出部2
4と同様に、現在のフレームの画素データ(a(i ,j))
と、第2補間回路22からの水平方向の補間画素データ
(b1 k (i,j),b2 k (i,j),b3 k (i,j))とを用いて画
素のMAD を算出し、それらのMAD を比較器32に順次供
給する。これにより比較器32は、第1〜第4変異検出
部24,26,28,30からのMAD を相互に比較して
画素の運動ベクトルを検出する。
【0010】すなわち、第2補間回路22と第1〜第4
変異検出部24,26,28,30と比較器32とは、
一つの画素に対する運動ベクトルを算出するために4回
動作する。また、第1補間回路10および第2補間回路
22が4回動作して16個の補間画素データを発生する
のであるが、これら16個の補間画素データは下記数式
1により算出される。
【0011】
【数1】
【0012】図6は、図5に示した第1補間回路10の
詳細を示すブロック図である。第1補間回路10は、第
1減衰器34と、第2減衰器36と、第1加算器38
と、マルチプレクサ40と、第6レジスター42と、第
1減算器44とを備えている。第1減衰器34の入力端
およびマルチプレクサ40の一方の入力端には、第1入
力ライン11が接続されており、第2減衰器36の入力
端には、第2入力ライン13が接続されている。マルチ
プレクサ40の出力端および第6レジスター42の入力
端には、出力ライン35が接続されている。
【0013】第1減衰器34には、現在画素データ(b
(i ,j))が第1入力ライン11を介して入力され、第
2減衰器36には、後続ラインの画素データ(b(i+1 ,
j))が第2入力ライン13を介して入力される。これに
より第2減衰器36は、後続ラインの画素データ(b(i+
1 ,j))の振幅を1/4に減衰させ、その画素データ
(b(i+1 ,j)/4)を第1加算器38に供給する。これに
より第1加算器38は、第2減衰器36からの減衰した
後続ラインの画素データ(b(i+1 ,j)/4)に第1減算器
44からの画素データを加算して、垂直方向の補間画素
データ(b0 k (i,j))を算出し、それらをマルチプレク
サ40に供給する。マルチプレクサ40は、第1加算器
38からの補間画素データ(b0 k (i,j))と、第1入力
ライン11を介して供給される現在画素データ(b(i ,
j))とを、選択的に出力ライン35に出力する。この出
力は、出力ライン35を介して図1に示した第1レジス
ター12に供給される。さらに詳細に説明すると、マル
チプレクサ40は、初期状態である場合、第1入力ライ
ン11を介して供給される現在画素データ(b(i ,j))
を、垂直方向の補間画素データ(b0 k (i,j))として、
出力ライン35側に伝送する。また、マルチプレクサ4
0は、正常動作の際には、第1加算器38からの補間画
素データ(b0 k (i,j))を出力ライン35側に送り出
す。
【0014】第6レジスター42には、マルチプレクサ
40により選択された補間画素データが出力ライン35
を介して入力される。これにより第6レジスター42
は、マルチプレクサ40からの補間画素データ(b
0 k (i,j))を所定期間遅延させて、第1減算器44に
供給する。第1減衰器34は、第1入力ライン11を介
して供給される現在画素データ(b(i ,j))の振幅を1
/4に減衰させ、その画素データ(b(i ,j)/4)を第1
減算器44に供給する。第1減算器44は、第6レジス
ター42からの遅延した垂直方向の補間画素データか
ら、第1減衰器34からの減衰された現在画素データ
(b(i ,j)/4)を減算することにより、減算された画素
データを算出し、その画素データを第1加算器38に供
給する。
【0015】結果的に、第1補間回路10から出力され
る4個の垂直方向の補間画素データは、下記数式2によ
り算出されたものとなる。
【0016】
【数2】
【0017】図7は、図1に示した第2補間回路22の
詳細を示すブロック図である。第2補間回路22は、第
3減衰器46と、第4減衰器48と、第2加算器50
と、第5減衰器52と、第3加算器54と、第4加算器
56とを備えている。第3減衰器46の入力端には、第
1入力ライン47が接続されており、第4減衰器48の
入力端には、第2入力ライン49が接続されている。第
3加算器54の出力端には、第1出力ライン51が接続
されており、第2加算器50の出力端および第5減衰器
52の入力端には、第2出力ライン53が接続されてい
る。第4加算器56の出力端には、第3出力ライン55
が接続されている。
【0018】第3減衰器46には、図5に示した第1レ
ジスター12からの後続画素データに対する垂直方向の
補間画素データ(b0 k (i,j+1))が第1入力ライン47
を介して入力され、第4減衰器48には、図5に示した
第5レジスター20からの現在画素データに対する補間
画素データ(b0 k (i,j))が第2入力ライン49を介し
て入力される。第3減衰器46は、入力された後続画素
データに対する垂直方向の補間画素データ(b0 k (i,j+
1))の振幅を1/2に減衰させ、その補間画素データ
(b0 k (i,j+1)/2)を第2加算器50および第4加算器
56に供給する。
【0019】第4減衰器48は、第5レジスター20か
らの現在画素データに対する垂直方向の補間画素データ
(b0 k (i,j))の振幅を1/2に減衰させ、その補間画
素データ(b0 k (i,j)/2)を第2加算器50及び第3加
算器54に供給する。第2加算器50は、第3および第
4減衰器46,48からの減衰した補間画素データ(b0
k (i,j+1)/2,b k (i,j)/2)を合算して水平方向の補
間画素データ(b2 k (i,j))を発生し、第2出力ライン
53に出力する。
【0020】第5減衰器52は、第2加算器50からの
水平方向の補間画素データ(b0 k (i,j+1)/2+ b0 k (i,
j)/2= b2 k (i,j))の振幅を1/2に減衰させ、その水
平方向の補間画素データ(b0 k (i,j+1)/4+ b0 k (i,j)
/4= b2 k (i,j)/2)を第3加算器54および第4加算器
56に供給する。第3加算器54は、第4減衰器48か
らの減衰した垂直方向の補間画素データ(b0 k (i,j)/
2)に、第5減衰器52からの減衰した補間画素データ
(b0 k (i,j+1)/4+ b0 k (i,j)/4= b2 k (i,j)/2)を加
算して、水平方向の補間画素データ(b1 k (i,j))を発
生し、第1出力ライン51に出力する。一方、第4加算
器56は、第3減衰器46からの減衰した後続画素デー
タに対する垂直方向の補間画素データ(b0 k (i,j+1)/
2)に、第5減衰器52からの減衰した現在画素に対す
る垂直方向の補間画素データ(b0 k (i,j+1)/4+ b
0 k (i,j)/4= b2 k (i,j)/2)を加算して、水平方向の
補間画素データ(b3 k (i,j)=3b0 k (i,j+1)/4+ b0 k
(i,j)/4)を発生し、第3出力ライン55に出力する。
【0021】第2入力ライン49は、第5レジスター2
0からの現在画素に対する垂直方向の補間画素データ
(b0 k (i,j))を、現在画素に対する水平方向の補間画
素データとして、図5に示した第1変異検出部24に伝
送する。また、第1〜第3出力ライン51,53,55
は、第3、第2、第4加算器54,50,56からの水
平方向の補間画素データ(b1 k (i,j))、(b2 k (i,
j))、(b3 k (i,j))を、図1に示した第2〜第4変異
検出部26,28,30に各々伝送する。
【0022】図8は、図5に示した第2変異検出部26
の詳細を示すブロック図である。第2変異検出部26
は、第2減算器58と、第7レジスター60と、絶対値
器62と、第8レジスター64と、累算器66と、第9
レジスター68と、第10レジスター70と、第11レ
ジスター72と、第12レジスター74とを備えてい
る。第2減算器58の一方の入力端には、第3入力ライ
ン15が接続されており、第2減算器58の他方の入力
端には、第2入力ライン59が接続されている。第12
レジスター74の出力端および累算器66の入力端に
は、出力ライン61が接続されている。第2入力ライン
59は、図7に示した第1出力ライン51に接続されて
いる。
【0023】第2減算器58には、現在フレームの画素
データ(a(i ,j))が第3入力ライン15を介して入力
されると共に、第2補間回路22から現在画素に対する
水平方向の補間画素データ(b1 k (i,j))が第2入力ラ
イン59を介して入力される。第2減算器58は、現在
のフレームの画素データ(a(i ,j))から、現在画素に
対する水平方向の補間画素データ(b1 k (i,j))を減算
して、両画素データ間の差成分を検出し、その差成分を
第7レジスター60に供給する。これにより第7レジス
ター60は、第2減算器58からの画素間の差成分を一
時保管した後、絶対値器62に供給する。結局、第7レ
ジスター60は、画素間の差成分を安全に絶対値器62
側に伝える役割を果たす。絶対値器62は、第7レジス
ター60からの画素間の差成分を絶対値に置き換え、そ
の絶対値を第8レジスター64に供給する。これにより
第8レジスター64は、絶対値器62からの画素間の差
成分の絶対値を一時保管した後、累算器66に供給す
る。これにより累算器66は、第8レジスター64から
の画素間の差成分の絶対値と、出力ライン61からのMA
D とを加算して新たなMAD を算出し、そのMAD を第9レ
ジスター68に供給する。これにより第9レジスター6
8は、累算器66からのMAD を、第10〜第12レジス
ター70,72,74を介して出力ライン61に出力す
る。累算器66と出力ライン61との間に接続された第
9〜第12レジスター68,70,72,74は、4個
の補間画素データと現在のフレームの画素データとの間
に発生された4個のMAD を貯蔵するために用いられてい
る。なお、他の第1変異検出部24、第3変異検出部2
8、第4変異検出部30も、第2変異検出部26と同様
の構成である。
【0024】図9は、図5に示した第1入力ライン11
および第2入力ライン13を介して入力される画素デー
タに対して、第1および第2補間回路10,22から出
力される補間画素データと、第1〜第4変異検出部2
4,26,28,30から出力されるMAD との説明図で
ある。図9において、Aは第1入力ライン11および第
2入力ライン13を介して第1補間回路10に入力され
る画素データ、Bは第1補間回路10の出力、Cは第2
補間回路22の出力、Dは第1変異検出部24の出力、
Eは第2変異検出部26の出力、Fは第3変異検出部2
8の出力、Gは第4変異検出部30の出力を表してい
る。
【0025】
【発明が解決しようとする課題】しかし、上記従来の運
動ベクトル抽出装置では、任意の定数画素に対する補間
画素を1つずつ順次算出するようなっているため、運動
ベクトルの算出のため多くの時間を要するという課題が
あった。また、従来の運動ベクトル抽出装置では、運動
ベクトルの算出時間を向上させようとする場合、複雑な
回路構成を有することになるという課題があった。
【0026】すなわち、上記従来の運動ベクトル抽出装
置は、1つの画素に対する運動ベクトルを算出するため
に同様な動作を4回行わなければならないので、運動ベ
クトルの算出速度が非常に遅い。さらに、運動ベクトル
の算出速度を向上させるため、補間画素データおよびMA
D の算出を並列にすると、回路が非常に複雑になってし
まう。
【0027】本願発明は上記の点に鑑みて提案されたも
のであって、簡素な回路構成で運動ベクトルを高速に算
出できる運動ベクトル抽出装置を提供することを、その
目的としている。
【0028】
【課題を解決するための手段】上記の課題を解決するた
め、本願発明では、次の技術的手段を講じている。
【0029】すなわち、本願の請求項1に記載した発明
は、現在フレームよりも時間的に前のフレームである以
前のフレームの画素データを、1画素の期間遅延させる
第1遅延手段と、以前のフレームの画素データを、探索
ブロックの1水平ラインの期間遅延させる第2遅延手段
と、以前のフレームの画素データを、探索ブロックの1
水平ラインの期間と1画素の期間との合計の期間遅延さ
せる第3遅延手段と、第1〜第3遅延手段からの遅延し
た画素データと、以前のフレームの画素データとを組み
合わせることにより、2つの画素の間に位置する、少な
くとも1つ以上の補間画素データを各々算出する画素補
間手段と、現在フレームの画素データを遅延させて長方
形に配列した現在フレーム画素データを発生させる第4
遅延手段と、第4遅延手段からの現在フレーム画素デー
タから、画素補間手段からの補間画素データを減算する
ことにより、各現在フレーム画素データに対する平均差
成分を各々算出する複数の平均偏差検出手段と、複数の
平均偏差検出手段からの平均差成分を相互に比較するこ
とにより、画素の動き量を検出する比較手段とを備えた
ことを特徴としている。
【0030】
【作用】上記請求項1に記載した発明によれば、第1遅
延手段は、現在フレームよりも時間的に前のフレームで
ある以前のフレームの画素データを、1画素の期間遅延
させる。第2遅延手段は、以前のフレームの画素データ
を、探索ブロックの1水平ラインの期間遅延させる。第
3遅延手段は、以前のフレームの画素データを、探索ブ
ロックの1水平ラインの期間と1画素の期間との合計の
期間遅延させる。画素補間手段は、第1〜第3遅延手段
からの遅延した画素データと、以前のフレームの画素デ
ータとを組み合わせることにより、2つの画素の間に位
置する、少なくとも1つ以上の補間画素データを各々算
出する。第4遅延手段は、現在フレームの画素データを
遅延させて長方形に配列した現在フレーム画素データを
発生させる。複数の平均偏差検出手段は、第4遅延手段
からの現在フレーム画素データから、画素補間手段から
の補間画素データを減算することにより、各現在フレー
ム画素データに対する平均差成分を各々算出する。比較
手段は、複数の平均偏差検出手段からの平均差成分を相
互に比較することにより、画素の動き量を検出する。
【0031】
【実施例の説明】以下、本願発明の好ましい実施例を、
図面を参照しつつ具体的に説明する。
【0032】図1は、本願発明に係る運動ベクトル抽出
装置のブロック図であって、この運動ベクトル抽出装置
は、1/2画素単位の運動ベクトルを抽出するよう構成
されたもので、現在フレームにおける3×3の画素を有
する基準ブロックの画素データに対する、現在フレーム
よりも時間的に前のフレームである以前フレームにおけ
る5×5の画素を有する探索ブロックの画素データを処
理するものと仮定して説明する。
【0033】この運動ベクトル抽出装置は、第1〜第5
画素遅延器80,82,84,86,88と、補間回路
90と、第6〜第9画素遅延器92,94,96,98
と、第1〜第9変異検出部100,102,104,1
06,108,110,112,114,116と、比
較器118とを備えている。第1画素遅延器80の入力
端には、第1入力ライン81が接続されており、補間回
路90の入力端および第1画素遅延器80の出力端に
は、第1入力ライン83が接続されている。補間回路9
0の入力端および第2画素遅延器82の出力端には、第
2入力ライン85が接続されており、補間回路90の入
力端および第4画素遅延器86の出力端には、第3入力
ライン87が接続されている。補間回路90の入力端お
よび第5画素遅延器88の出力端には、第4入力ライン
89が接続されており、補間回路90の出力端および第
1変異検出部100の入力端には、第1出力ライン93
が接続されている。補間回路90の出力端および第2,
第5変異検出部102,108の入力端には、第2出力
ライン95が接続されており、補間回路90の出力端お
よび第3,第7変異検出部104,112の入力端に
は、第3出力ライン97が接続されている。補間回路9
0の出力端および第4,第9変異検出部106,116
の入力端には、第4出力ライン99が接続されており、
比較器118の出力端には、出力ライン101が接続さ
れている。
【0034】第1〜第5画素遅延器80,82,84,
86,88は、現在フレームよりも時間的に前のフレー
ムである以前のフレームの画素データを、1画素の期間
遅延させる第1遅延手段と、以前のフレームの画素デー
タを、探索ブロックの1水平ラインの期間遅延させる第
2遅延手段と、以前のフレームの画素データを、探索ブ
ロックの1水平ラインの期間と1画素の期間との合計の
期間遅延させる第3遅延手段とを構成している。補間回
路90は、第1〜第3遅延手段からの遅延した画素デー
タと、以前のフレームの画素データとを組み合わせるこ
とにより、2つの画素の間に位置する、少なくとも1つ
以上の補間画素データを各々算出する画素補間手段を構
成している。第6〜第9画素遅延器92,94,96,
98は、現在フレームの画素データを遅延させて長方形
に配列した現在フレーム画素データを発生させる第4遅
延手段を構成している。第1〜第9変異検出部100,
102,104,106,108,110,112,1
14,116は、第4遅延手段からの現在フレーム画素
データから、画素補間手段からの補間画素データを減算
することにより、各現在フレーム画素データに対する平
均差成分を各々算出する複数の平均偏差検出手段を構成
している。比較器118は、複数の平均偏差検出手段か
らの平均差成分を相互に比較することにより、画素の動
き量を検出する比較手段を構成している。
【0035】第1画素遅延器80は、第1入力ライン8
1を介して入力された現在画素データ(b(i ,j))を、
第2画素遅延器82および補間回路90の第1入力ライ
ン83に供給する。第2画素遅延器82は、1つの画素
期間遅延された画素データ(b(i ,j-1))を第3画素遅
延器84および補間回路90の第2入力ライン85に供
給する。第4画素遅延器86は、現在画素データ(b(i
,j))に比べて探索ブロックの1水平ライン期間(す
なわち、5個の画素期間)遅延された画素データ(b(i-
1 ,j))を、第5画素遅延器88および補間回路90の
第3入力ライン87に供給する。第5画素遅延器88
は、現在画素データ(b(i ,j))に比べて探索ブロック
の1水平ラインおよび1画素の期間(すなわち、6個の
画素期間)遅延された画素データ(b(i-1 ,j-1))を、
補間回路90の第4入力ライン89に供給する。したが
って、第3画素遅延器84は、第2画素遅延器82から
の遅延された画素データ(b(i ,j-1))を3個の画素期
間遅延させることになる。
【0036】補間回路90は、自己の第1〜第4入力ラ
イン83,85,87,89を介して供給される、現在
画素データ(b(i ,j))と、遅延された画素データ(b
(i ,j-1))、(b(i-1 ,j))、(b(i-1 ,j-1))とを
組み合わせて、4個の補間画素データ(b0 0(i ,j),b
-1 0(i ,j),b0 -1(i,j),b -1 -1(i,j))を発生する。
これら4個の補間画素データ(b0 0(i ,j),b -1 0(i ,
j),b0 -1(i,j),b -1 -1(i,j))は、下記数式3〜数式
6に基づいて生成される。
【0037】
【数3】
【0038】
【数4】
【0039】
【数5】
【0040】
【数6】
【0041】第6画素遅延器92は、第2入力ライン9
1を介して入力される現在のフレームの画素データ(a
(i ,j))を1つの画素期間遅延させ、その画素データ
(a(i,j-1))を第7画素遅延器94と第5および第6
変異検出部108,110に供給する。第7画素遅延器
94は、第6画素遅延器92からの遅延された現在フレ
ームの画素データ(a(i-1 ,j))を再び1つの画素期間
遅延させ、2個の画素期間遅延された現在フレームの画
素データ(a(i ,j-2))を第8画素遅延器96に供給す
る。第8画素遅延器96は、第7画素遅延器94の出力
を1画素期間遅延させ、第2入力ライン91を介して入
力された画素データ(a(i ,j))に比べて基準ブロック
の1水平ラインの期間(すなわち、3個の画素期間)遅
延された現在フレームの画素データ(a(i-1 ,j))を、
第9画素遅延器98と第7および第8変異検出部11
2,114とに供給する。第9画素遅延器98は、第8
画素遅延器96の出力を再び1個の画素期間遅延させ、
第2入力ライン91を介して入力された画素データ(a
(i ,j))に比べて基準ブロックの1水平ラインおよび
1画素に相当する期間(すなわち、4個の画素期間)遅
延された現在フレームの画素データ(a(i-1 ,j-1))を
第9変異検出部116に供給する。
【0042】第1変異検出部100は、第2入力ライン
91を介して入力される現在フレームの画素データ(a
(i ,j))と補間回路90から第1出力ライン93を介
して入力される補間画素データb0 0(i ,j)とのMAD を算
出し、そのMAD を比較器118に供給する。第2〜第4
変異検出部102,104,106は、第1変異検出部
100と同様に、補間回路90から第2〜第4出力ライ
ン95,97,99を介して入力される補間画素データ
(b -1 0(i ,j))、(b0 -1(i,j))、(b -1 -1(i,j))
と、第2入力ライン91を介して入力される現在フレー
ムの画素データ(a(i ,j))とのMAD をそれぞれ算出
し、そのMAD を比較器118に供給する。
【0043】さらに、第5〜第9変異検出部108,1
10,112,114,116も、第1〜第4変異検出
部100,102,104,106と同様に動作して、
それぞれのMAD を算出し、そのMAD を比較器118に供
給する。すなわち、第5変異検出部108は、1つの画
素期間遅延された現在フレームの画素データ(a(i ,j-
1))と、補間回路90から第2出力ライン95を介して
入力された補間画素データ(b -1 0(i ,j))とのMAD を
算出する。第6変異検出部110は、1つの画素期間遅
延された現在フレームの画素データ(a(i ,j-1))と、
補間回路90から第4出力ライン99を介して入力され
る補間画素データ(b -1 -1(i,j))とのMAD を算出し、
そのMAD を比較器118に供給する。第7変異検出部1
12は、基準ブロックの1水平ラインの期間遅延された
現在フレームの画素データ(a(i-1 ,j))と、補間回路
90から第3出力ライン97を介して入力される補間画
素データ(b0 -1(i,j))とのMAD を算出し、そのMAD を
比較器118に供給する。第8変異検出部114は、基
準ブロックの1水平ラインの期間遅延された現在フレー
ムの画素データ(a(i-1 ,j))と、補間回路90から第
4出力ライン99を介して入力される補間画素データ
(b -1 -1(i,j))とのMAD を算出し、そのMADを比較器
118に供給する。第9変異検出部116は、基準ブロ
ックの1水平ラインの期間および1画素に相当する期間
遅延された現在フレームの画素データ(a(i-1 ,j-1))
と、補間回路90から第4出力ライン99を介して入力
される補間画素データ(b -1 -1(i,j))とのMAD を算出
し、そのMAD を比較器118に供給する。
【0044】これにより比較器118は、第1〜第9変
異検出部100,102,104,106,108,1
10,112,114,116から各々入力される9個
のMAD を比較して最小値を有するMAD を選択し、その最
小値のMAD を運動ベクトルとして出力ライン101を介
して出力する。
【0045】図2は、図1に示した補間回路90の詳細
を示すブロック図で、補間回路90は、第1加算器12
0と、第2加算器122と、第3加算器124と、第4
加算器126と、第1減衰器128と、第2減衰器13
0と、第3減衰器132とを備えている。第1加算器1
20の入力端と第2加算器122の入力端とには、第1
入力ライン83が接続されており、第1加算器120の
入力端には、第2入力ライン85が接続されている。第
2加算器122の入力端と第3加算器124の入力端と
には、第3入力ライン87が接続されており、第3加算
器124の入力端には、第4入力ライン89が接続され
ている。第1入力ライン83には、第1出力ライン93
が接続されており、第1減衰器128の出力端には、第
2出力ライン95が接続されている。第2減衰器130
の出力端には、第3出力ライン97が接続されており、
第3減衰器132の出力端には、第4出力ライン99が
接続されている。
【0046】第1加算器120は、図1に示した第1画
素遅延器80から第1入力ライン83を介して入力され
る現在画素データ(b(i ,j))と、第2画素遅延器82
から第2入力ライン85を介して入力される1画素の期
間遅延された画素データ(b(i ,j-1))とを加算し、そ
の画素データ(b(i ,j)+b(i ,j-1))を第1減衰器1
28および第4加算器126に供給する。これにより第
1減衰器128は、第1加算器120からの加算された
画素データ(b(i ,j)+b(i ,j-1))を1/2に減衰さ
せ、その画素データ((b(i,j)+b(i ,j-1))/2 )を、
補間画素データ(b -1 0(i ,j))として、第2出力ライ
ン95を介して図1に示した第2および第5変異検出部
102,108に供給する。
【0047】第2加算器122は、図1に示した第4画
素遅延器86から第3入力ライン87を介して入力され
る基準ブロックの1水平ライン(すなわち、3個の画
素)の期間遅延された画素データ(b(i-1 ,j))と、第
1入力ライン83を介して入力される現在画素データ
(b(i ,j))とを加算し、その画素データ(b(i ,j)+
b(i-1 ,j))を第2減衰器130に供給する。これによ
り第2減衰器130は、第2加算器122からの加算さ
れた画素データ(b(i ,j)+b(i-1 ,j))を1/2に減
衰させ、その画素データ((b(i,j)+b(i-1 ,j))/2 )
を、補間画素データ(b0 -1(i,j))として、第3出力ラ
イン97を介して図1に示した第3および第7変異検出
部104,112に供給する。
【0048】第3加算器124は、図1に示した第5画
素遅延器88から第4入力ライン89を介して入力され
る、基準ブロックの一水平ラインおよび1画素に相当す
る期間(すなわち、4個の画素に相当する期間)遅延さ
れた画素データ(b(i-1 ,j-1))と、第3入力ライン8
7を介して入力される、基準ブロックの一水平ラインの
期間遅延された画素データ(b(i-1 ,j))とを加算し、
その画素データ(b(i-1 ,j)+b(i-1 ,j-1))を第4加
算器126に供給する。これにより、第4加算器126
は、第3加算器124からの画素データ(b(i-1 ,j)+
b(i-1 ,j-1))と第1加算器120からの画素データ
(b(i ,j)+b(i ,j-1))と加算し、その画素データ
((b(i-1 ,j)+b(i-1 ,j-1))+(b(i ,j)+b(i ,
j-1)))を第3減衰器132に供給する。これにより第
3減衰器132は、第4加算器126からの加算された
画素データ((b(i-1 ,j)+b(i-1 ,j-1))+(b(i ,
j)+b(i ,j-1)))を1/2に減衰させ、その画素デー
タ((b(i-1 ,j)+b(i-1 ,j-1)+b(i ,j)+b(i ,j-
1))/2)を、第4出力ライン99を介して図1に示した
第4、第6、第8および第9変異検出部106,11
0,114,116に供給する。
【0049】図3は、図1に示した第1〜第9変異検出
部100,102,104,106,108,110,
112,114,116の詳細を示すブロック図であっ
て、これらは各々、減算器134と、第1レジスター1
36と、絶対値器138と、第2レジスター140と、
累算器142と、第3レジスター144とを備えてい
る。減算器134の一方の入力端には、第1入力ライン
135が接続されており、減算器134の他方の入力端
には、第2入力ライン137が接続されている。第3レ
ジスター144の出力端には、出力ライン139が接続
されている。
【0050】減算器134には、第1入力ライン135
を介して補間画素データ(b1 k (i,j))が入力され、第
2入力ライン137を介して現在フレームの画素データ
(a(i ,j))が入力される。第1入力ライン135は、
図1および図2に示した補間回路90の第1〜第4出力
ライン93,95,97,99のいずれかに接続され、
4個の補間画素データ(b0 0(i ,j))、(b0 -1(i,
j))、(b -1 0(i ,j))、(b -1 -1(i,j))のうち、い
ずれか1つの補間画素データ(b1 k (i,j))を減算器1
34に入力させる。また、第2入力ライン137は、図
1に示した第2入力ライン91や、第6、第8、または
第9画素遅延器92,96,98の出力ラインのいずれ
かに接続され、現在フレームの画素データ(a(i ,
j))、1画素の期間遅延された現在フレームの画素デー
タ(a(i ,j-1))、基準ブロックの一水平ライン(すな
わち、3個の画素)の期間遅延された現在フレームの画
素データ(a(i-1 ,j))、または基準ブロックの1水平
ラインおよび1画素に相当する期間(すなわち、4個の
画素の期間)遅延された現在フレームの画素データ(a
(i-1,j-1))のいずれかを減算器134に入力させる。
しかし、ここでは説明の便宜のため、第2入力ライン1
37に入力される画素データを、遅延されない現在フレ
ームの画素データ(a(i ,j))と仮定する。
【0051】減算器134は、補間画素データ(b
1 k (i,j))と現在フレームの画素データ(a(i ,j))
との差成分を検出し、その差成分を第1レジスター13
6に供給する。これにより第1レジスター136は、減
算器134からの画素間の差成分を一時保管した後、絶
対値器138に供給して、画素の差成分を安全に絶対値
器138側に伝達されるようにする。絶対値器138
は、第1レジスター136からの画素の差成分を絶対値
に置き換え、その絶対値を第2レジスター140に供給
する。
【0052】累算器142は、第2レジスター140か
らの画素の差成分の絶対値を、自己の出力である現在の
MAD に加算することにより、新たなMAD を算出して、そ
のMAD を第3レジスター144に供給する。これにより
第3レジスター144は、累算器142からのMAD を、
出力ライン139を介して図1に示した比較器118に
出力する。
【0053】図4は、図1に示した第1入力ライン81
に入力される5×5の画素データに対する、補間回路9
0および第1〜第9変異検出部100,102,10
4,106,108,110,112,114,116
の出力データの説明図である。図4において、Hは第1
入力ライン81を介して第1画素遅延器80に入力され
る画素データ、Iは補間回路90から出力される補間デ
ータ、Jは第1変異検出部100から出力されるMAD 、
Kは第2変異検出部102から出力されるMAD 、Lは第
3変異検出部104から出力されるMAD 、Mは第4変異
検出部106から出力されるMAD 、Nは第5変異検出部
108から出力されるMAD 、Oは第6変異検出部110
から出力されるMAD 、Pは第7変異検出部112から出
力されるMAD 、Qは第8変異検出部114から出力され
るMAD 、Rは第9変異検出部116から出力されるMAD
をそれぞれ表している。この図4からも明らかなよう
に、図1に示した上記運動ベクトル抽出装置によれば、
1回の演算過程により運動ベクトルを算出することがで
きる。
【0054】このように、補間画素を一括的に算出する
ので、簡素な回路構成で運動ベクトルを高速に算出でき
る。
【0055】
【発明の効果】以上説明したように請求項1の発明によ
れば、現在フレームよりも時間的に前のフレームである
以前のフレームの画素データを、1画素の期間遅延させ
る第1遅延手段と、以前のフレームの画素データを、探
索ブロックの1水平ラインの期間遅延させる第2遅延手
段と、以前のフレームの画素データを、探索ブロックの
1水平ラインの期間と1画素の期間との合計の期間遅延
させる第3遅延手段と、第1〜第3遅延手段からの遅延
した画素データと、以前のフレームの画素データとを組
み合わせることにより、2つの画素の間に位置する、少
なくとも1つ以上の補間画素データを各々算出する画素
補間手段と、現在フレームの画素データを遅延させて長
方形に配列した現在フレーム画素データを発生させる第
4遅延手段と、第4遅延手段からの現在フレーム画素デ
ータから、画素補間手段からの補間画素データを減算す
ることにより、各現在フレーム画素データに対する平均
差成分を各々算出する複数の平均偏差検出手段と、複数
の平均偏差検出手段からの平均差成分を相互に比較する
ことにより、画素の動き量を検出する比較手段とを備え
たので、補間画素を一括的に算出することから、簡素な
回路構成で運動ベクトルを高速に算出できる。
【図面の簡単な説明】
【図1】本願発明に係る運動ベクトル抽出装置のブロッ
ク図である。
【図2】本願発明に係る運動ベクトル抽出装置に備えら
れた補間回路のブロック図である。
【図3】本願発明に係る運動ベクトル抽出装置に備えら
れた変異検出部のブロック図である。
【図4】本願発明に係る運動ベクトル抽出装置の各部か
ら出力されるデータの説明図である。
【図5】従来の運動ベクトル抽出装置のブロック図であ
る。
【図6】従来の運動ベクトル抽出装置に備えられた第1
補間回路のブロック図である。
【図7】従来の運動ベクトル抽出装置に備えられた第2
補間回路のブロック図である。
【図8】従来の運動ベクトル抽出装置に備えられた変異
検出部のブロック図である。
【図9】従来の運動ベクトル抽出装置の各部から出力さ
れるデータの説明図である。
【符号の説明】
80〜88,92〜98 第1〜第9画素遅延器 90 補間回路 100〜116 第1〜第9変異検出部 118 比較器

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 現在フレームよりも時間的に前のフレー
    ムである以前のフレームの画素データを、1画素の期間
    遅延させる第1遅延手段と、前記第1遅延手段を一部に含み、 前記以前のフレームの
    画素データを、探索ブロックの1水平ラインの期間遅延
    させる第2遅延手段と、前記第2遅延手段を一部に含み、 前記以前のフレームの
    画素データを、探索ブロックの1水平ラインの期間と1
    画素の期間との合計の期間遅延させる第3遅延手段と、複数の加算器と減衰器とからなり、 前記第1〜第3遅延
    手段からの前記遅延した画素データと、前記以前のフレ
    ームの画素データとを組み合わせることにより、前記2
    つの画素の間に位置する、少なくとも1つ以上の補間画
    素データを各々算出する画素補間手段と、縦続接続された複数の遅延器からなり、 現在フレームの
    画素データを遅延させて長方形に配列した現在フレーム
    画素データを発生させる第4遅延手段と、 前記第4遅延手段からの前記現在フレーム画素データか
    ら、前記画素補間手段からの前記補間画素データを減算
    することにより、前記各現在フレーム画素データに対す
    る平均差成分を各々算出する複数の平均偏差検出手段
    と、 前記複数の平均偏差検出手段からの平均差成分を相互に
    比較することにより、画素の動き量を検出する比較手段
    と、 を備えたことを特徴とする、運動ベクトル抽出装置。
JP18085695A 1994-06-24 1995-06-23 運動ベクトル抽出装置 Expired - Lifetime JP2811425B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR94-14584 1994-06-24
KR19940014584A KR970010094B1 (en) 1994-06-24 1994-06-24 Improved motion vector extraction method

Publications (2)

Publication Number Publication Date
JPH0884346A JPH0884346A (ja) 1996-03-26
JP2811425B2 true JP2811425B2 (ja) 1998-10-15

Family

ID=19386203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18085695A Expired - Lifetime JP2811425B2 (ja) 1994-06-24 1995-06-23 運動ベクトル抽出装置

Country Status (3)

Country Link
US (1) US5579059A (ja)
JP (1) JP2811425B2 (ja)
KR (1) KR970010094B1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0151922B1 (ko) * 1995-12-12 1998-10-15 양승택 필드 및 프레임 움직임 추정 장치
US5784108A (en) * 1996-12-03 1998-07-21 Zapex Technologies (Israel) Ltd. Apparatus for and method of reducing the memory bandwidth requirements of a systolic array
US20050254716A1 (en) * 2004-05-11 2005-11-17 Princeton Technology Corporation Method for compressing workload of digital-animation calculation
KR20080042997A (ko) * 2006-11-13 2008-05-16 삼성전자주식회사 디스플레이 장치 및 그 방법
KR102250449B1 (ko) * 2014-09-19 2021-05-12 삼성디스플레이 주식회사 표시 장치 및 표시 장치의 영상 보정 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8328362D0 (en) * 1983-10-24 1983-11-23 Indep Broadcasting Authority Movement detector
JP2523369B2 (ja) * 1989-03-14 1996-08-07 国際電信電話株式会社 動画像の動き検出方法及びその装置
JPH03256485A (ja) * 1990-03-06 1991-11-15 Victor Co Of Japan Ltd 動きベクトル検出回路
DE69126930T2 (de) * 1990-09-03 1998-02-19 Philips Electronics Nv Video-Bewegungsvektorabschätzung mit asymmetrischem Aktualisierungsgebiet
FR2670978A1 (fr) * 1990-12-21 1992-06-26 Philips Electronique Lab Procede d'extraction de mouvement comprenant la formation d'images de differences et un filtrage tridimensionnel.
US5497203A (en) * 1991-10-30 1996-03-05 Mitsubishi Denki Kabushiki Kaisha Motion detection circuit for high definition television based on muse
JPH05336514A (ja) * 1992-05-29 1993-12-17 Sony Corp 画像符号化装置
US5448310A (en) * 1993-04-27 1995-09-05 Array Microsystems, Inc. Motion estimation coprocessor
US5477272A (en) * 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding

Also Published As

Publication number Publication date
KR970010094B1 (en) 1997-06-21
KR960003405A (ko) 1996-01-26
US5579059A (en) 1996-11-26
JPH0884346A (ja) 1996-03-26

Similar Documents

Publication Publication Date Title
AU643565B2 (en) pideo image processing
US5745183A (en) Image motion estimation system which derives candidate block from interpolated motion vectors
EP0630157B1 (en) Systems and methods for coding alternate fields of interlaced video sequences
US7110455B2 (en) Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
EP0579844B1 (en) Method and apparatus for motion estimation
EP1592258B1 (en) Motion estimation employing adaptive spatial update vectors
EP1592248B1 (en) Motion vector estimation employing adaptive temporal prediction
KR100541953B1 (ko) 움직임 보상을 위한 화소값 선택 장치 및 방법
US5508744A (en) Video signal compression with removal of non-correlated motion vectors
US6430223B1 (en) Motion prediction apparatus and method
EP1431917A2 (en) Motion estimation engine with parallel interpolation and search hardware
US20050243928A1 (en) Motion vector estimation employing line and column vectors
JPS62213392A (ja) フイ−ルド補間方法
JPH09179987A (ja) 動きベクトル検出方法及び動きベクトル検出装置
KR100605746B1 (ko) 블럭 기반의 움직임 보상 장치 및 방법
JP2001516186A (ja) 適応的動き推定方法及びその装置
EP0529587B1 (en) Image encoding apparatus
Kappagantula et al. Motion compensated predictive coding
US6104439A (en) Method and apparatus for motion estimation
JP2811425B2 (ja) 運動ベクトル抽出装置
KR0185940B1 (ko) 미세한 움직임 추정 방법 및 그 장치
JP3596137B2 (ja) 画像信号符号化方法及び装置、並びに画像信号復号方法及び装置
EP0474272B1 (en) Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems
JP3237029B2 (ja) 動画像圧縮装置
JPH0414980A (ja) テレビジョン信号内挿方式

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080807

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080807

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090807

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090807

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100807

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100807

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110807

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 15

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term