JP2954120B2 - 動きベクトル検出装置 - Google Patents

動きベクトル検出装置

Info

Publication number
JP2954120B2
JP2954120B2 JP35080697A JP35080697A JP2954120B2 JP 2954120 B2 JP2954120 B2 JP 2954120B2 JP 35080697 A JP35080697 A JP 35080697A JP 35080697 A JP35080697 A JP 35080697A JP 2954120 B2 JP2954120 B2 JP 2954120B2
Authority
JP
Japan
Prior art keywords
value
difference
absolute value
motion vector
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35080697A
Other languages
English (en)
Other versions
JPH10257504A (ja
Inventor
敏之 荒木
勝司 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP35080697A priority Critical patent/JP2954120B2/ja
Publication of JPH10257504A publication Critical patent/JPH10257504A/ja
Application granted granted Critical
Publication of JP2954120B2 publication Critical patent/JP2954120B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像の圧縮手法の1
つである動き補償予測において、その予測に用いられる
動きベクトルを検出するための動きベクトル検出装置の
改良に関するものである。
【0002】
【従来の技術】膨大なデータ量を有する動画像の転送又
は蓄積には、データ量を削減する動画像圧縮技術が必要
不可欠である。この動画像圧縮技術において、動き補償
予測と呼ばれる圧縮手法がある。この動き補償予測は、
相関性が高い画像間の変位を抽出することにより、動画
像が持つ時間軸方向の冗長性を低めて、情報量を圧縮す
る手法である。この動き補償において用いる相関性が高
い画像間の変位は、動きベクトルと呼ばれており、その
検出には、ブロックマッチング法と呼ばれる検出手法を
用いることが一般的である。以下、前記ブロックマッチ
ング法を図5を用いて簡単に説明する。
【0003】ブロックマッチング法とは、2つの画像間
の相関を所定のブロック単位で評価判定する方法であ
る。図5において、PictureA 501上のブロック(前画
像)502に対する動きベクトルを検出する場合に、Pictu
reB 503上の所定探索画像範囲504内の複数のブロック
に対して評価値を計算する。この計算において、評価値
が最も良い(相関が最高の)値が算出されたブロックが
図5のブロックX 505であった場合、前画像ブロック50
2をPictureB 503上に投影した位置からブロックX505
までの変位を動きベクトル506として検出する。
【0004】相関性の高さを示す評価値には、一般的
に、同一画素数を持つ2つのブロック相互において、空
間的に対応する画素同士の差の絶対値を全ての画素につ
いて累積加算した総和値を用いる。従って、この評価値
が小値なほど、相互のブロック間の差が少ない、つまり
相関性が高いことを示す。
【0005】前記ブロックマッチング法により動きベク
トルを検出する従来の動きベクトル回路として、例えば
特開平7-184210号公報に開示された技術が知られてい
る。図1は動きベクトル検出装置の全体構成を示す。こ
の構成は、1つのブロック内の画素数が256個、画素
値が8ビット値である場合の一例である。同図におい
て、601はカスケード接続されたプロセッサエレメント
(以下、PEという)であって、1つのブロック内の画素
数と同数個(即ち、256個)設けられる。602は探索
範囲504内の1つのブロックの画素データを転送するバ
スR、603は前画像ブロック502の画素データを転送する
バスS、604は各PE601に動作クロックを供給するクロ
ックライン、605は最終段のPE601の出力を入力し、そ
の出力の前回値と今回値とを比較する比較手段である。
【0006】図9は、前記動きベクトル検出装置におい
て、各PE601の従来の内部構成を示す。同図におい
て、610はバスR 602及びバスS 603を通じて転送され
る画素データの差分値の絶対値を計算する差分絶対値演
算器、611は前記差分絶対値演算器610の出力値と前段の
PE601の出力値とを加算し、その加算結果を後段のP
E601に出力する加算器、612はバスS 603を通じて転送
される前画像ブロックの画素データを保持するレジス
タ、613は前記差分絶対値演算器610及び加算器611の演
算をパイプライン処理するためのパイプラインレジス
タ、614は各PE601の加算器611の演算をパイプライン
処理するためのパイプラインレジスタである。
【0007】次に、前記動きベクトル検出装置の動作を
説明する。前画像ブロック502の先頭の画素データが最
初段のPE0のレジスタ612に保持されると共に差分絶
対値演算器610に転送される。また、探索範囲504内の1
つのブロック(例えばブロックX 505)の先頭の画素デ
ータが前記最初段のPE0の差分絶対値演算器610に転
送される。この差分絶対値演算器610は、前記転送され
た2つの画素データの差分絶対値を演算し、その結果を
パイプラインレジスタ613に転送する。加算器611は前記
レジスタ613の差分絶対値を後段のパイプラインレジス
タ614に転送し、この差分絶対値は後段のPE1に転送
される。
【0008】続いて、前画像ブロック502内の前記先頭
画素データに続く第2番目の画素データが第2段目のP
E1に転送されると共に、探索範囲504内の前記ブロッ
クX505の次の画素データが前記第2段目のPE1に転
送される。この第2段目のPE1では、前記最初段のP
E0と同様に、転送された2つの画素データの差分絶対
値が演算され、パイプラインレジスタ613に格納され
る。更に、この第2段目のPE1では、加算器611は、
前記最初段のPE0から転送された先頭画素データの差
分絶対値と、第2番目の画素データの差分絶対値とを加
算し、その結果はパイプラインレジスタ614に保持され
ると共に、後段のPE2に転送される。
【0009】以下、同様の動作を繰り返して、最終段の
PE255では、パイプラインレジスタ614に、前画像ブロ
ック502と探索範囲504のブロックX 505との間での全画
素の差分絶対値の総和値が得られる。
【0010】以上の動作は、探索範囲504に含まれる全
てのブロック(図5では他の1つのブロックY 507を図
示した)について、順次、繰り返し行われる。
【0011】比較手段605は、最終段のPE601が出力し
た差分絶対値の総和値を受け、前回のブロック(例えば
ブロックx 505)での総和値と今回のブロック(例えば
図5のブロックY 507)での総和値とを比較し、そのう
ち小値の総和値を選択する。探索範囲504内の全てのブ
ロックについて差分絶対値の総和値が演算され、その大
小比較が終了すると、比較手段605には、最小の総和値
が得られ、この最小値を持つブロックの前画像ブロック
502に対する変位が、動きベクトルとして出力されるこ
とになる。
【0012】
【発明が解決しようとする課題】しかしながら、前記従
来の動きベクトル検出装置では、膨大な演算処理を要し
て、消費電力が大電力になる欠点を有すると共に、回路
規模も膨大である欠点を持つ。以下、これ等の欠点を詳
細に説明する。
【0013】即ち、図5に示すpictureA 501は、標準
的なテレビ動画像の場合、1秒間に30個のpictureを
表示する動画像のうちの1pictureであり、その大きさ
は、720画素×480ラインである。また、図5における前
画像ブロック502の大きさは、動画像圧縮における動き
補償予測に用いる動きベクトル検出では、16画素×16ラ
インが標準的であり、従って、探索範囲504内に存在す
るブロックの個数は1024個になる。以上の数値の場
合、ブロックマッチングを行うブロックの個数は、1秒
間に40,500 (=720×480×30÷16÷16)個存在することに
なる。また、各ブロック毎に行われるブロックマッチン
グには、262,114(= 1,024×16×16)回の差分絶対値の演
算と総和演算とを行う必要がある。このため、前記ブロ
ックマッチング法により動きベクトルの検出を行うに
は、1秒間に10,616,832,000(= 40500×262114)回もの膨
大な差分絶対値の演算と総和演算処理とを必要とする。
従って、電力消費は大電力になる。
【0014】また、前記各画素の差分絶対値の演算及び
それ等の加算演算(総和)を精度良く行うには、各PE
内の差分絶対値演算器、加算器、パイプラインレジスタ
等を広ビット幅のもので構成する必要がある。更には、
これ等を内部に有するPEを256個も備える必要があ
る。その結果、回路規模が膨大になる。
【0015】本発明は前記問題点を解決するものであ
り、その目的は、動きベクトル検出装置において、回路
規模を小さくし、また低消費電力で動きベクトルを検出
することにある。
【0016】
【課題を解決するための手段】以上の目的を達成するた
め、本発明では次の点に着目した。即ち、動き補償予測
において、動きベクトルは、前画像ブロックとの相関性
が最高のブロックの変位でなくても、前記相関性が十分
に高いブロックの変位であれば、画像間の冗長性を有効
に低めて、動画像を高い圧縮効率で圧縮することが可能
である。
【0017】従って、第1に、探索範囲内の複数のブロ
ックについての評価値の計算に際し、最良の評価値でな
くても、この評価値に準ずる評価値が得られるような構
成、即ち、評価値が相関性の高低を示す程度に精度(分
解能)が低くても良い構成とすれば、各PE内の加算器
等の持つビット幅を小さく制限でき、その分、回路規模
を小さく且つ低消費電力にできる。
【0018】第2に、複数個のPEを使用して各画素の
差分絶対値を順次加算する総和計算において、各PEの
加算器の加算結果として予め設定値(スレッシュホール
ド値)を設定しておき、この設定値を越える加算結果が
算出された時、即ち、最終的に総和値を得ても相関性が
低いと予測できる場合には、これ以降のPEの差分絶対
値の無駄な加算処理を停止すれば、消費電力を低減でき
る。
【0019】第3に、前画像ブロックとの相関性が十分
に高いブロックが検出されれば、それ以上に高い相関性
を持つブロックの検出は不要であり、従って、この時点
以降の評価値の計算を停止でき、その分、計算回数が減
少して、低消費電力になる。
【0020】また、従来の動きベクトル検出装置では、
各PE0〜PE255の加算器611は、全て、最終段のPE2
55(601)で得られる差分絶対値の総和値の最大値を表現
できるビット幅を持つ。しかし、各加算器611は、前段
のPEの加算器611で得られた値、即ち既に算出された
各画素の差分絶対値の合計値に、自段のPEで算出され
た差分絶対値を加算するので、後段のPEの加算器ほど
算出する最大値は大きく、前段のPEの加算器ほど必要
とするビット幅は小さくて済む。従って、前段のPEの
加算器ほどビット幅の小さもので構成すれば、回路規模
を小さくすることができる。
【0021】以上の観点から、請求項1記載の発明の動
きベクトル検出装置は、複数画素から成る画像と、前記
画素の数よりも多数の画素を含む所定探索画像範囲内で
前記画像の画素と同一数の画素を持つ複数のブロックと
の相関を検出する動きベクトル検出装置であって、前記
画像と1つのブロックとの対応する画素同士のデータの
差分の絶対値を演算し、各画素の差分の絶対値を累積加
算することを順次前記各ブロックについて行う複数個の
カスケード接続されたプロセッサエレメントと、最終段
のプロセッサエレメントにより得られた各ブロックの差
分絶対値の累積加算値同士を減算により比較して小値の
累積加算値を選択することを繰り返す比較手段と、前記
比較手段で最終的に得られる差分絶対値の累積加算値が
最小値に準ずる小値の累積加算値となるように、前記
数個のプロセッサエレメント及び前記比較手段の少なく
とも一方の演算を制限する制限手段とを備えたことを特
徴とする。
【0022】また、請求項2記載の発明は、前記請求項
1記載の動きベクトル検出装置において、前記各プロセ
ッサエレメントは、前記画像と1つのブロックとの対応
する画素同士のデータの差分を演算すると共に、その差
分値の絶対値を演算して、所定ビット数の差分絶対値を
得る差分絶対値演算手段と、前記差分絶対値演算手段に
より得られた差分絶対値と、前段のプロセッサエレメン
トの出力とを加算し、その加算結果を次段のプロセッサ
エレメントに転送する加算手段とを備え、前記制限手段
は、前記差分絶対値演算手段で得られた差分絶対値の下
位の所定ビットを切り捨て又は丸め処理して、上位ビッ
トの差分絶対値を得る処理手段より成ることを特徴とす
る。
【0023】更に、請求項3記載の発明は、前記請求項
1記載の動きベクトル検出装置において、前記各プロセ
ッサエレメントは、前記画像と1つのブロックとの対応
する画素同士のデータの差分を演算すると共に、その差
分値の絶対値を演算して、差分絶対値を得る差分絶対値
演算手段と、前記差分絶対値演算手段により得られた差
分絶対値と、前段のプロセッサエレメントの出力とを加
算し、その加算結果を次段のプロセッサエレメントに転
送する加算手段とを備え、前記加算手段は、ビット幅の
小さい演算器で構成され、前記制限手段は、前記加算手
段を構成する前記演算器と、前記演算器が前記ビット幅
で表現できる最大値よりも大値を演算した際に後段のプ
ロセッサエレメント以降での差分絶対値の累積加算を強
制的に停止させる強制停止手段とから成ることを特徴と
する。
【0024】加えて、請求項4記載の発明は、前記請求
項3記載の動きベクトル検出装置において、前記ビット
幅の小さい演算器は、前記ビット幅で表現できる最大値
よりも大値を演算した際にオーバーフロー信号を出力す
る演算器により構成されており、前記強制停止手段は、
前段のプロセッサエレメントの前記演算器のオーバーフ
ロー信号を受けて、前記加算手段の加算結果を無視する
と共に、自段及び前段のプロセッサエレメントの前記オ
ーバーフロー信号を次段のプロセッサエレメントに転送
することを特徴とする。
【0025】更に加えて、請求項5記載の発明は、前記
請求項1記載の動きベクトル検出装置において、前記制
限手段は、前記比較手段により選択された小値の累積加
算値を設定値と比較し、前記小値の累積加算値が前記設
定値未満のとき、動きベクトル検出装置の全体の動作を
停止させることを特徴とする。
【0026】また、請求項6記載の発明は、前記請求項
5記載の動きベクトル検出装置において、前記制限手段
は、前記小値の累積加算値が前記設定値未満のとき、停
止信号を発生する信号発生手段と、前記信号発生手段が
停止信号を発生したとき、前記各プロセッサエレメント
及び前記比較手段へのクロック信号の供給を断つ制御手
段とを有することを特徴とする。
【0027】更に、請求項7記載の発明は、前記請求項
1記載の動きベクトル検出装置において、前記各プロセ
ッサエレメント内に備えられ、データを格納する複数の
レジスタと、1つのブロックを構成する複数の画素デー
タを前記各プロセッサエレメントに伝送するデータバス
に配置されたデータ転送制御回路とを備え、前記制限手
段は、前記複数のレジスタ及び前記データ転送制御回路
の各ビット列を連続する複数のビット列に分割し、その
分割した各ビット列別に独立して書き込み制御又は転送
制御を行うことを特徴とする。
【0028】加えて、請求項8記載の発明は、前記請求
項7記載の動きベクトル検出装置において、前記制限手
段は、切換信号を発生し、この切換信号により前記複数
のレジスタ及び前記データ転送制御回路の各ビット列の
下位所定ビット列へのクロック信号の供給を停止するも
のであることを特徴とする。
【0029】更に加えて、請求項9記載の発明の動きベ
クトル検出装置は、複数画素から成る画像と、前記画素
の数よりも多数の画素を含む所定探索画像範囲内で前記
画像の画素と同一数の画素を持つ複数のブロックとの相
関を検出する動きベクトル検出装置であって、前記画像
と1つのブロックとの対応する画素同士のデータの差分
の絶対値を演算し、各画素の差分の絶対値を累積加算す
ることを順次前記各ブロックについて行う複数個のカス
ケード接続されたプロセッサエレメントを備え、前記各
プロセッサエレメントは、前記画像と1つのブロックと
の対応する画素同士のデータの差分を演算すると共に、
その差分値の絶対値を演算して、差分絶対値を得る差分
絶対値演算手段と、前記差分絶対値演算手段により得ら
れた差分絶対値と、前段のプロセッサエレメントの出力
とを加算し、その加算結果を次段のプロセッサエレメン
トに転送する加算手段とを有し、前記各プロセッサエレ
メントの加算手段は、後段に位置するプロセッサエレメ
ントの加算手段ほどビット幅が大きいことを特徴とす
る。
【0030】また、請求項10記載の発明は、前記請求
項9記載の動きベクトル検出装置において、前記各プロ
セッサエレメントの加算手段は、オーバーフローを生じ
ない必要最低限のビット幅を持つことを特徴とする。
【0031】以上の構成により、請求項1ないし請求項
8記載の発明では、複数個のプロセッサエレメントでの
演算及び比較手段での減算処理の少なくとも一方が、制
限手段により制限されるので、消費電力が低減すると共
に、回路規模を小さく構成できる。その際、比較手段で
最終的に得られる差分絶対値の累積加算値が、最小値の
近傍の値である場合に、この近傍値のブロックを相関性
の十分に高いブロックとして動きベクトルを検出して
も、画像間の冗長性を有効に低めることができ、動画像
を高い圧縮効率で圧縮することが可能である。
【0032】特に、請求項2記載の発明では、各プロセ
ッサエレメントにおいて、加算手段のビット幅が狭く設
定されるので、回路規模が小さい。更に、その回路規模
が小さい分、消費電力も低減される。
【0033】また、請求項3及び請求項4記載の発明で
は、各プロセッサエレメントにおいて、加算器が設定値
を越える加算結果を算出した場合、即ち、以降の加算結
果を続行して最終的に総和値を得ても相関性が低いと予
測される場合には、以降のプロセッサエレメントでの差
分絶対値の無駄な加算処理を停止するので、消費電力が
低減されることになる。
【0034】更に、請求項5及び請求項6記載の発明で
は、前画像ブロックとの相関性が十分に高いブロックが
検出されれば、このブロックに基づいて動きベクトルを
検出することとし、それ以上に高い相関性を持つブロッ
クの検出を不要とするので、この時点以降のブロックの
差分絶対値の累積加算値の計算を停止して、計算回数が
効果的に減少する分、低消費電力になる。
【0035】加えて、請求項7及び請求項8記載の発明
では、切換信号により、各レジスタ及びデータ転送制御
回路の下位ビットの動作を強制的に停止させるので、全
ビットを用いた所期精度が得られる処理と、上位ビット
のみを用いて精度が低下した処理との両処理を実現で
き、上位ビットのみを用いた処理では低消費電力化が図
られる。
【0036】また、請求項9及び請求項10記載の発明
では、各プロセッサエレメントの加算手段のビット幅
は、後段のプロセッサエレメントの加算手段ほど大きく
設定されているので、従来のように最終段の加算手段の
ビット幅を全ての加算手段で採用する場合に比して、回
路規模を有効に低減できると共に、回路規模が小さい
分、低消費電力になる。
【0037】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
【0038】(第1の実施の形態)図1及び図2は本発
明の第1の実施の形態の動きベクトル検出装置を示し、
図1はその全体構成を示す。動きベクトル検出装置の全
体構成は既述したので、以下、その構成要素であるプロ
セッサエレメント(以下、PEと略す)の内部構成を図2
に基づいて説明する。
【0039】図2において、110は差分値の絶対値を計
算して8ビット幅の差分絶対値を得る差分絶対値演算
器、111は加算器(加算手段)、112は前記差分絶対値演
算器110のB端子に接続されたレジスタであって、図5
の前画像ブロック502の画素データが入力される。113は
前記差分絶対値演算器110の出力側に配置されたパイプ
ラインレジスタ、114は前記加算器111の出力側に配置さ
れたパイプラインレジスタである。
【0040】本実施の形態のPE601は、差分絶対値演
算器110により演算された8ビット幅の差分絶対値のう
ち上位4ビットのみがパイプラインレジスタ113を経て
加算器111に入力される。従って、前記加算器111及び2
個のパイプラインレジスタ113、114は4ビット幅のもの
で構成される。
【0041】前記差分絶対値演算器110の差分絶対値の
うち上位4ビットのみを加算器111に入力する構成によ
り、差分絶対値演算器110の差分絶対値の下位4ビット
を切り捨て処理して、上位4ビットの差分演算値を得る
処理手段10を構成している。また、この処理手段10によ
り、プロセッサエレメントPEの加算器111での演算を
制限する制限手段を構成する。
【0042】以下、本実施の形態の動きベクトル検出装
置の動作を説明する。レジスタ112に保持された前画像
ブロック502内の画素と、この画素と空間的に対応する
ブロックX 505内の画素との差分の絶対値が絶対値差分
演算器110で計算され、その計算された差分絶対値の上
位4ビットがパイプラインレジスタ113に保持される。
そして、パイプラインレジスタ113に保持された差分絶
対値と、前段のPEの加算器111の出力(即ち、既に計
算された差分絶対値の合計値)とが自段のPEの加算器
111で加算され、その加算結果がパイプラインレジスタ1
14に格納される。
【0043】ここで、各PEでは、差分絶対値演算器11
0で得られた差分絶対値の下位4ビットが捨てられるの
で、差分絶対値演算器110の差分絶対値を“16”で除
算した値がパイプラインレジスタ113に保持され、この
上位4ビットの差分絶対値が加算器111に与えられる。
その結果、本実施の形態の動きベクトル検出装置では、
最終段のPEに、各画素の差分絶対値を“16”で除算
した値の総和値が出力されるので、従来と比較して、精
度(分解能)は低いが、その総和値は十分に相関性の高低
を示す指標値であるので、この総和値に基づいて得られ
る動きベクトルを動き補償予測に用いても、十分に高い
圧縮率が得られる。
【0044】しかも、本実施の形態では、加算器111及
びパイプラインレジスタ113、114のビット幅が従来の8
ビットに対し4ビットと狭いので、回路規模が小さい。
更には、回路規模が小さい分、消費電力も小さくなる。
【0045】具体的に、本実施の形態では、従来の動き
ベクトル検出装置に比べ、パイプラインレジスタ113は5
0%、加算器111は75%、パイプラインレジスタ114は75%の
回路規模で構成することができる。
【0046】尚、本実施の形態では、差分絶対値演算器
110の出力の下位4ビットを切り捨てたが、差分絶対値
演算器110の出力の所定ビット目に対し4捨5入等の丸
め処理を施して、ビット幅を削減する場合であっても、
同様の効果が得られるのは勿論である。
【0047】(第2の実施の形態)次に、本発明の第2
の実施の形態を図3に基づいて説明する。動きベクトル
検出装置の全体構成は図1と同様であるので、その説明
を省略する。
【0048】図3はPEの内部構成を示す。同図におい
て、210は差分絶対値演算器、211は加算器、212はレジ
スタ、213、214はパイプラインレジスタである。図9に
示した従来の加算器611は16ビット幅のもので構成さ
れるが、本実施の形態では、加算器211はビット幅の小
さい演算器、例えば10ビット幅の演算器で構成されて
いる。
【0049】前記加算器211は、前記10ビット幅で表
現できる最大値(スレッシュホールド値)よりも大きな
値を演算した際には、オーバーフロー信号215を出力す
る。OR回路216は、前記加算器211からのオーバーフロ
ー信号215を受けると共に、前段のPE(図示せず)の
出力信号を信号線路216aを経て受け、この両信号の論理
和をとる。前記OR回路216の出力はパイプラインレジ
スタ217を経て次段のPE(図示せず)のOR回路に出
力される。遷移禁止手段218は、前記加算器211からのオ
ーバーフロー信号215を受けて、前記加算器211の後段に
位置するパイプラインレジスタ214のデータの遷移を禁
止する。
【0050】何れかのPEの加算器211が前記スレッシ
ュホールド値よりも大きな値を演算した際には、その次
段のPEの遷移禁止手段218が前記オーバーフロー信号2
15に基づいて自段のPEのパイプラインレジスタ214の
データの遷移を禁止することにより、自段の加算器211
の加算結果を無視して、次段のPE以降での差分絶対値
の累積加算を強制的に停止させると共に、自段及び前段
のPEからのオーバーフロー信号を前記OR回路216及
びパイプラインレジスタ217を経て後段のPEに転送す
る強制停止手段20を構成する。
【0051】以下、本実施の形態の動きベクトル検出装
置の動作を説明する。加算器211は、その計算結果がス
レッシュホールド値(10ビットで表現できる最大値)
以上となった際には、オーバーフロー信号215を出力す
る。OR回路216は、前記加算器211からのオーバーフロ
ー信号215と、前段のPEからのオーバーフロー信号と
の論理和をとり、その結果をパイプラインレジスタ217
を介して後段のPEに転送する。各PEでは、オーバー
フロー信号215が前段のPEから伝達された際には、遷
移禁止手段218がパイプラインレジスタ214でのデータの
遷移を、クロック信号の供給の停止等により禁止する。
その結果、スレッシュホールド値以上の値が計算された
場合には、それ以降の総和計算が停止される。従って、
低消費電力化を図ることができる。次回は、探索範囲50
4内の残るブロック(例えば図5のブロックY 507等)
に対し、差分絶対値の総和値の計算が行われ、その何れ
かのブロックの総和値が最小値となるので、この最小値
の総和値を持つブロックと前画像ブロックとの変位が動
きベクトルとして検出されることになる。
【0052】尚、オーバーフロー信号215に基づいて総
和計算が停止した場合、最終段のPEから出力される評
価値は不定値となる。しかし、比較手段605にオーバー
フロー信号215が入力され、その不定の評価値を比較対
象から除外するように構成すれば、その不定の評価値を
誤って最小の評価値と判断することを防止できる。
【0053】本実施の形態では、加算器211のビット幅
を10ビットとした場合には、従来の動きベクトル検出
装置に比べて、加算器211は62.5%、パイプラインレジス
タ214は62.5%の回路規模で構成可能である。
【0054】尚、本実施の形態では、各PEにおいて、
前段のPEのオーバーフロー信号215により、自段のP
Eのパイプラインレジスタ214でのデータ遷移を禁止し
たが、この構成に加えて、前々段のPEのオーバーフロ
ー信号215により自段のPEのパイプラインレジスタ213
でのデータの遷移を禁止すれば、自段以降のPEで不必
要な計算を行っている加算器211の加算動作と、パイプ
ラインレジスタ213でのデータの遷移をも禁止できる。
更に加えて、前々々段のPEのオーバーフロー信号215
により自段の差分絶対値演算器210のA端子に入力する
信号の遷移を禁止すれば、自段以降のPEで不必要な計
算を行っている差分絶対値演算器210の遷移も禁止で
き、より一層に低消費電力化を図ることが可能である。
【0055】(第3の実施の形態)続いて、本発明の第
3の実施の形態の動きベクトル検出装置を図4に基づい
て説明する。
【0056】図4(a)は、本実施の形態の動きベクト
ル検出装置の全体構成を示す。同図(a)は、1つのブ
ロック内の画素数が256個である場合の構成を示し、
301はカスケード接続された複数個のPEであって、ブ
ロック内の画素数と同数個(即ち、256個)存在す
る。302及び303は各PE301で行う演算に必要な画素デ
ータを転送するバスR及びバスS、304は各PE301に動
作クロックを供給するクロックライン、305は最終段の
PE301の出力値が入力される比較手段である。
【0057】本実施の形態では、前記比較手段305及び
クロックライン304の構成に特徴を持つ。図4(b)に
前記比較手段305の内部構成を示す。同図(b)の比較
手段305において、比較器310は、最終段のPE301の出
力値Aと、レジスタ311の保持値Bとを減算により比較
し、その減算結果(A-B)が負値である場合に、レジスタ3
11に保持する内容を前記最終段のPE301の出力値Aに
書き換える。このレジスタ311の書き込み制御は制御回
路312により行われる。前記制御回路312は、前記比較器
310の出力のMSB(Most Significant Bit)と、クロッ
クライン304より供給されるクロック信号とに基づいて
書き込み制御信号を生成し、この制御信号をレジスタ31
1に出力する。
【0058】また、313は減算器、314は最終段のPE30
1で得られる差分絶対値の累積加算値として予め決定し
た設定値を格納する設定値レジスタである。前記減算器
313は、前記設定値レジスタ314に格納した設定値から、
前記レジスタ311に格納した最終段のPE301で実際に得
られた小値の累積加算値を減算し、実際に得られた累積
加算値が前記設定値未満の場合には、前記減算結果のM
SB(Most Significant Bit)をクロック停止信号(停止
信号)として出力する。前記減算器313は信号発生回路
として機能する。
【0059】図4(a)において、クロックライン304
には制御回路(制御手段)320が配置される。この制御回
路320は、前記減算器313からのクロック停止信号を受け
て、クロックライン304へのクロック信号の供給を停止
する。従って、前記クロック停止信号の発生時には、各
PE301並びに比較手段305の比較器310及びレジスタ311
は、クロック信号を受けず、その動作を停止する。尚、
本実施の形態とは異なって、減算器313の停止信号によ
り、各PEへの画素データの転送を停止させる構成を採
用してもよい。前記減算器313及び制御回路320により、
レジスタ311に格納した値(即ち、最終段のPE301で実
際に得られた小値の累積加算値)が前記設定値未満のと
きに、動きベクトル検出装置の全体の動作を停止させる
制限手段を構成する。
【0060】従って、本実施の形態では、最終段のPE
301で実際に得られた累積加算値が前記設定値未満であ
れば、それ以降の装置全体の動作を止めて、前記設定値
未満の累積加算値を持つブロックを、前画像ブロックと
十分に相関性のあるブロックとして、動きベクトルを検
出できる。つまり、本実施の形態では、前画像ブロック
と十分に相関性のあるブロックが得られれば、探索範囲
504内の残るブロックについての差分絶対値の累積加算
値の算出を停止できるので、従来のように探索範囲504
内の全てのブロックについて常に差分絶対値の累積加算
値を算出する場合に比して、低消費電力化を達成でき
る。
【0061】(第4の実施の形態)続いて、本発明の第
4の実施の形態を図6及び図7に基づいて説明する。
【0062】図6は本実施の形態の動きベクトル検出装
置におけるプロセッサエレメントの構成を示す。同図に
おいて、710は差分絶対値演算器、711は加算器、712は
前記差分絶対値演算器710の前段に配置されたレジスタ
であって、図5の前画像ブロックの画素データを受け
る。713は前記差分絶対値演算器710の後段に配置された
パイプラインレジスタ(レジスタ)、714は前記加算器7
11の後段に配置されたパイプラインレジスタ(レジス
タ)、715はデータ転送制御回路であって、図5の探索
範囲504内の各ブロック505、507の画素データをデータ
バスRを経て受ける。
【0063】前記各レジスタ712、713、714において、
下位4ビットの格納部分では書き込み信号CLK-Aによ
り、上位ビットの格納部分では他の書き込み信号CLK-B
により、各々独立に画像データの書き込みが行われる。
前記2種の書き込み信号CLK-A、CLK-Bは、図7に示すよ
うに、外部より設定されるモード信号(切換信号)MODE
の値(“0”、“1”)に応じて発生し、一方の書き込
み信号CLK-Aは、モード信号MODEが“0”値の場合にの
み発生し、他方の書き込み信号CLK-Bは、モード信号MOD
Eの“0”値及び“1”値の双方で発生する。従って、
モード信号MODEが“1”値の場合には、各レジスタ71
2、713、714の下位4ビットへの書きこみを禁止するこ
とができる。尚、各レジスタ712、713、714の下位4ビ
ットは、起動前に“0”値にリセットされる。
【0064】また、前記データ転送制御回路715は、前
記モード信号MODEにより、下位4ビットを常に固定(通
常は“0”値に固定)し、上位4ビットはデータバスR
の画像データをそのまま差分絶対値演算器710に転送す
る。
【0065】以上の構成により、各レジスタ712、713、
714の各上位4ビットと下位4ビットとを2種の書き込
み信号CLK-A、CLK-Bにより独立して書き込み制御すると
共に、前記データ転送制御回路715の上位4ビットと下
位4ビットとをモード信号MODEにより独立して転送制御
する制限手段30を構成する。
【0066】動画像圧縮の規格のMPEG等の自然画像
を扱う動き検出においては、下位の数ビットを無視して
実行しても、全ビットで実行した場合の精度とほぼ同じ
精度が得られ、画質に対する影響は少ない。本実施の形
態では、自然画像を扱う動き検出を行う場合には、モー
ド信号MODEにより、レジスタ712〜714及びデータ転送制
御回路715の各下位4ビットの動作を停止すれば、画像
の良好な画質を確保しつつ、消費電力を低減できる。
【0067】尚、本実施の形態では、レジスタ712〜714
及びデータ転送制御回路715でのビット列の分割方法
は、下位4ビットと上位4ビットとに等分割したが、更
に分割数を3以上に増すと、一層細かい制御が可能であ
る。
【0068】(第5の実施の形態)最後に、本発明の第
5の実施の形態を図8に基づいて説明する。同図(a)
は、本実施の形態の動きベクトル検出装置の全体構成を
示す。同図(a)は、1つのブロック内の画素数が25
6個である場合の構成を示し、401はカスケード接続さ
れた256個のPE、402及び403は各PE401で行う演
算に必要なデータを転送するバスR及びバスS、404は
各PE401に動作クロックを供給するクロックライン、4
05は最終段PE401の出力値が入力される比較手段であ
る。
【0069】本実施の形態では、各PE401の内部構成
に特徴を有する。即ち、各PE401の加算手段(図2の
加算器111)は、そのビット幅が異なり、後段のPE401
の加算器111ほどビット幅が大きい。即ち、各PE401に
おいて、加算器111が次段のPEに転送するデータのダ
イナミックレンジは、後段のPEほど大きく設定され
る。オーバーフローが無ければ動作は正常であるので、
演算精度は各段のPEで変更することが可能である。画
素データを8ビットとした場合の各段(i)の加算器111の
ダイナミックレンジDは次式、 D = log2 (255(i+1)) i = 0,1,2, ・・・ ,255 で表現できる。従って、後段のPEに転送するデータの
必要最低限のビット幅は、前記値Dを整数に切り上げた
値となる。この結果を図8(b)に示す。
【0070】本実施の形態では、8、9、10、11、12、1
3、14、15及び16ビットの精度で出力する9種類のPE
を、図8(a)に示すようにカスケードに接続すること
により、実現する。
【0071】前記構成により、従来の構成に比べて、P
E内部に備える加算器及びパイプラインレジスタ(図2
に示す加算器111及びパイプラインレジスタ114)のビッ
ト数を削減できるので、回路規模を低減できると共に、
低消費電力化を図ることができる。
【0072】本実施の形態では、従来の動きベクトル検
出装置に比べ、図8(b)から判るように、各PE401
内の加算器111は約90%、パイプラインレジスタ114は約9
0%の回路規模で構成可能である。
【0073】尚、以上に説明した各実施の形態は、個々
独立に回路規模の縮減効果及び低消費電力効果が得られ
るので、各実施の形態を任意に組み合わせることがで
き、この場合には、より一層多くの回路規模の縮減効果
及び低消費電力効果が得られる。
【0074】
【発明の効果】以上説明したように、請求項1ないし請
求項8記載の発明の動きベクトル検出装置によれば、動
画像を高い圧縮効率で圧縮することを確保しつつ、消費
電力の低減化と、回路規模を縮小できる効果を奏する。
【0075】具体的には、請求項2記載の発明では、各
プロセッサエレメントにおいて、加算手段のビット幅を
狭く設定したので、回路規模を小さくできると共に、そ
の回路規模が小さい分、消費電力も低減できる。
【0076】また、請求項3及び請求項4記載の発明で
は、各プロセッサエレメントにおいて、加算器が設定値
を越える加算結果を算出して、最終的に相関性が低いと
予測される場合には、以降のプロセッサエレメントでの
差分絶対値の無駄な加算処理を停止したので、消費電力
を低減できる。
【0077】更に、請求項5及び請求項6記載の発明で
は、前画像ブロックとの相関性が十分に高いブロックが
検出されれば、このブロックに基づいて動きベクトルを
検出することとし、それ以上に高い相関性を持つブロッ
クの検出を不要とするので、この時点以降のブロックの
差分絶対値の累積加算値の計算を停止して、計算回数を
効果的に減少させることができ、低消費電力化を図るこ
とができる。
【0078】加えて、請求項7及び請求項8記載の発明
では、切換信号により、各レジスタ及びデータ転送制御
回路の下位ビットの動作を強制的に停止させるので、上
位ビットのみを用いた処理での低消費電力化を図ること
ができる。
【0079】また、請求項9及び請求項10記載の発明
では、各プロセッサエレメントの加算手段のビット幅
を、後段のプロセッサエレメントの加算手段ほど大きく
設定したので、従来のように最終段の加算手段のビット
幅を全ての加算手段で採用する場合に比して、回路規模
を有効に低減できると共に、回路規模が小さい分、低消
費電力化を図ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の動きベクトル検出
装置の全体構成を示す図である。
【図2】同動きベクトル検出装置の構成要素であるプロ
セッサエレメントの構成を示す図である。
【図3】本発明の第2の実施の形態の動きベクトル検出
装置のプロセッサエレメントの構成を示す図である。
【図4】(a)は本発明の第3の実施の形態の動きベク
トル検出装置の構成図、(b)は同動きベクトル検出装
置の構成要素である比較手段の内部構成を示す図であ
る。
【図5】ブロックマッチング法の説明図である。
【図6】本発明の第4の実施の形態の動きベクトル検出
装置のプロセッサエレメントの内部構成を示す図であ
る。
【図7】同動きベクトル検出装置におけるクロック信号
の制御の説明を示す図である。
【図8】(a)は本発明の第5の実施の形態の動きベク
トル検出装置の全体構成を示す図、(b)は各プロセッ
サエレメントにおける加算器の必要ビット数を示した特
性図である。
【図9】従来の動きベクトル検出装置の構成要素である
プロセッサエレメントの構成を示す図である。
【符号の説明】
10 処理手段(制限手段) 20 強制停止手段 30 制限手段 110,210,610,710 差分絶対値演算器 111,211,611,711 加算器(加算手段) 112,212,612,712 レジスタ 113,213,613,713 パイプラインレジスタ 114,214,614,714 パイプラインレジスタ 215 オーバーフロー信号 216 OR回路 217 パイプラインレジスタ 218 遷移禁止手段 301,401,601 プロセッサエレメント 305,405,605 比較手段 310 比較器 311 レジスタ 312 制御回路 313 減算器(信号発生手段) 314 設定値レジスタ 320 制御回路(制御手段) 502 前画像ブロック 504 探索範囲 506 動きベクトル 715 データ転送制御回路 MODE モード信号(切換信号) 716 データバス

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項1】 複数画素から成る画像と、前記画素の数
    よりも多数の画素を含む所定探索画像範囲内で前記画像
    の画素と同一数の画素を持つ複数のブロックとの相関を
    検出する動きベクトル検出装置であって、 前記画像と1つのブロックとの対応する画素同士のデー
    タの差分の絶対値を演算し、各画素の差分の絶対値を累
    積加算することを順次前記各ブロックについて行う複数
    個のカスケード接続されたプロセッサエレメントと、 最終段のプロセッサエレメントにより得られた各ブロッ
    クの差分絶対値の累積加算値同士を減算により比較して
    小値の累積加算値を選択することを繰り返す比較手段
    と、 前記比較手段で最終的に得られる差分絶対値の累積加算
    値が最小値に準ずる小値の累積加算値となるように、前
    複数個のプロセッサエレメント及び前記比較手段の少
    なくとも一方の演算を制限する制限手段とを備えたこと
    を特徴とする動きベクトル検出装置。
  2. 【請求項2】 前記各プロセッサエレメントは、 前記画像と1つのブロックとの対応する画素同士のデー
    タの差分を演算すると共に、その差分値の絶対値を演算
    して、所定ビット数の差分絶対値を得る差分絶対値演算
    手段と、 前記差分絶対値演算手段により得られた差分絶対値と、
    前段のプロセッサエレメントの出力とを加算し、その加
    算結果を次段のプロセッサエレメントに転送する加算手
    段とを備え、 前記制限手段は、前記差分絶対値演算手段で得られた差
    分絶対値の下位の所定ビットを切り捨て又は丸め処理し
    て、上位ビットの差分絶対値を得る処理手段より成るこ
    とを特徴とする請求項1記載の動きベクトル検出装置。
  3. 【請求項3】 前記各プロセッサエレメントは、 前記画像と1つのブロックとの対応する画素同士のデー
    タの差分を演算すると共に、その差分値の絶対値を演算
    して、差分絶対値を得る差分絶対値演算手段と、 前記差分絶対値演算手段により得られた差分絶対値と、
    前段のプロセッサエレメントの出力とを加算し、その加
    算結果を次段のプロセッサエレメントに転送する加算手
    段とを備え、 前記加算手段は、ビット幅の小さい演算器で構成され、 前記制限手段は、前記加算手段を構成する前記演算器
    と、前記演算器が前記ビット幅で表現できる最大値より
    も大値を演算した際に後段のプロセッサエレメント以降
    での差分絶対値の累積加算を強制的に停止させる強制停
    止手段とから成ることを特徴とする請求項1記載の動き
    ベクトル検出装置。
  4. 【請求項4】 前記ビット幅の小さい演算器は、前記ビ
    ット幅で表現できる最大値よりも大値を演算した際にオ
    ーバーフロー信号を出力する演算器により構成されてお
    り、 前記強制停止手段は、前段のプロセッサエレメントの前
    記演算器のオーバーフロー信号を受けて、前記加算手段
    の加算結果を無視すると共に、自段及び前段のプロセッ
    サエレメントの前記オーバーフロー信号を次段のプロセ
    ッサエレメントに転送することを特徴とする請求項3記
    載の動きベクトル検出装置。
  5. 【請求項5】 前記制限手段は、 前記比較手段により選択された小値の累積加算値を設定
    値と比較し、前記小値の累積加算値が前記設定値未満の
    とき、動きベクトル検出装置の全体の動作を停止させる
    ことを特徴とする請求項1記載の動きベクトル検出装
    置。
  6. 【請求項6】 前記制限手段は、 前記小値の累積加算値が前記設定値未満のとき、停止信
    号を発生する信号発生手段と、 前記信号発生手段が停止信号を発生したとき、前記各プ
    ロセッサエレメント及び前記比較手段へのクロック信号
    の供給を断つ制御手段とを有することを特徴とする請求
    項5記載の動きベクトル検出装置。
  7. 【請求項7】 前記各プロセッサエレメント内に備えら
    れ、データを格納する複数のレジスタと、 1つのブロックを構成する複数の画素データを前記各プ
    ロセッサエレメントに伝送するデータバスに配置された
    データ転送制御回路とを備え、 前記制限手段は、前記複数のレジスタ及び前記データ転
    送制御回路の各ビット列を連続する複数のビット列に分
    割し、その分割した各ビット列別に独立して書き込み制
    御又は転送制御を行うことを特徴とする請求項1記載の
    動きベクトル検出装置。
  8. 【請求項8】 前記制限手段は、 切換信号を発生し、この切換信号により前記複数のレジ
    スタ及び前記データ転送制御回路の各ビット列の下位所
    定ビット列へのクロック信号の供給を停止するものであ
    るを特徴とする請求項7記載の動きベクトル検出装置。
  9. 【請求項9】 複数画素から成る画像と、前記画素の数
    よりも多数の画素を含む所定探索画像範囲内で前記画像
    の画素と同一数の画素を持つ複数のブロックとの相関を
    検出する動きベクトル検出装置であって、 前記画像と1つのブロックとの対応する画素同士のデー
    タの差分の絶対値を演算し、各画素の差分の絶対値を累
    積加算することを順次前記各ブロックについて行う複数
    個のカスケード接続されたプロセッサエレメントを備
    え、 前記各プロセッサエレメントは、 前記画像と1つのブロックとの対応する画素同士のデー
    タの差分を演算すると共に、その差分値の絶対値を演算
    して、差分絶対値を得る差分絶対値演算手段と、 前記差分絶対値演算手段により得られた差分絶対値と、
    前段のプロセッサエレメントの出力とを加算し、その加
    算結果を次段のプロセッサエレメントに転送する加算手
    段とを有し、 前記各プロセッサエレメントの加算手段は、後段に位置
    するプロセッサエレメントの加算手段ほどビット幅が大
    きいことを特徴とする動きベクトル検出装置。
  10. 【請求項10】 前記各プロセッサエレメントの加算手
    段は、オーバーフローを生じない必要最低限のビット幅
    を持つことを特徴とする請求項9記載の動きベクトル検
    出装置。
JP35080697A 1997-01-09 1997-12-19 動きベクトル検出装置 Expired - Fee Related JP2954120B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35080697A JP2954120B2 (ja) 1997-01-09 1997-12-19 動きベクトル検出装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP202897 1997-01-09
JP9-2028 1997-01-09
JP35080697A JP2954120B2 (ja) 1997-01-09 1997-12-19 動きベクトル検出装置

Publications (2)

Publication Number Publication Date
JPH10257504A JPH10257504A (ja) 1998-09-25
JP2954120B2 true JP2954120B2 (ja) 1999-09-27

Family

ID=26335336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35080697A Expired - Fee Related JP2954120B2 (ja) 1997-01-09 1997-12-19 動きベクトル検出装置

Country Status (1)

Country Link
JP (1) JP2954120B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907080B1 (en) 2000-06-07 2005-06-14 Intel Corporation Adaptive early exit techniques in image correlation
US6654502B1 (en) 2000-06-07 2003-11-25 Intel Corporation Adaptive early exit techniques in image correlation
FI110744B (fi) * 2001-09-06 2003-03-14 Nokia Corp Menetelmä liike-estimoinnin suorittamiseksi videokoodauksessa, videokoodausjärjestelmä sekä videokoodauslaite
CN107615764A (zh) * 2015-06-03 2018-01-19 奥林巴斯株式会社 运算装置、运算方法和程序

Also Published As

Publication number Publication date
JPH10257504A (ja) 1998-09-25

Similar Documents

Publication Publication Date Title
KR100766198B1 (ko) 동벡터검출장치
US6473529B1 (en) Sum-of-absolute-difference calculator for motion estimation using inversion and carry compensation with full and half-adders
US5696836A (en) Motion estimation processor architecture for full search block matching
KR100416444B1 (ko) 모션벡터선택방법및이방법을수행하는이미지처리장치
EP0416869B1 (en) Digital adder/accumulator
JP2954120B2 (ja) 動きベクトル検出装置
JPH0846865A (ja) プログラマブル・ビデオ変換レンダリング方法及び装置
US5864372A (en) Apparatus for implementing a block matching algorithm for motion estimation in video image processing
US5581309A (en) Motion vector detecting circuit
JP2007228156A (ja) 動き検出処理装置および方法
US6990149B2 (en) Circuit and method for full search block matching
US5710732A (en) Calculating the average of four integer numbers rounded away from zero in a single instruction cycle
US5917739A (en) Calculating the average of four integer numbers rounded towards zero in a single instruction cycle
CN114201140A (zh) 指数函数处理单元、方法和神经网络芯片
JP2885039B2 (ja) 動きベクトル検出回路
KR19980077470A (ko) 움직임 벡터 검출장치
US5548665A (en) Vector correlation detecting circuit
CN116227507B (zh) 一种用于进行双线性插值处理的运算装置
JP3038935B2 (ja) 動き検出装置
CN1422402A (zh) 在通用处理器中有效多输入累加的最优化乘法器结构
JP2000105683A (ja) 適応型差分演算器および動き検出装置
JPH06284329A (ja) 動きベクトル検出回路
JPH0993581A (ja) 動画像符号化装置の動き検出装置
JP2901848B2 (ja) ベクトル相関検出回路
JP2934134B2 (ja) 動画像圧縮におけるブロック・マッチング方法と装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990629

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070716

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080716

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090716

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090716

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100716

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120716

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees