JP3277418B2 - 動きベクトル検出装置および方法 - Google Patents

動きベクトル検出装置および方法

Info

Publication number
JP3277418B2
JP3277418B2 JP24881493A JP24881493A JP3277418B2 JP 3277418 B2 JP3277418 B2 JP 3277418B2 JP 24881493 A JP24881493 A JP 24881493A JP 24881493 A JP24881493 A JP 24881493A JP 3277418 B2 JP3277418 B2 JP 3277418B2
Authority
JP
Japan
Prior art keywords
block
inspection
data
image data
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP24881493A
Other languages
English (en)
Other versions
JPH0787495A (ja
Inventor
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP24881493A priority Critical patent/JP3277418B2/ja
Priority to EP19940306606 priority patent/EP0643539B1/en
Priority to US08/302,420 priority patent/US5576772A/en
Priority to DE1994623557 priority patent/DE69423557T2/de
Priority to CN94113722A priority patent/CN1071978C/zh
Priority to KR1019940023023A priority patent/KR100303108B1/ko
Publication of JPH0787495A publication Critical patent/JPH0787495A/ja
Application granted granted Critical
Publication of JP3277418B2 publication Critical patent/JP3277418B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、ブロックマッチング
法により画像の動きの方向および量を表す動きベクトル
を検出するための装置および方法に関する。
【０００２】
【従来の技術】動きベクトルの一つの利用分野は、ディ
ジタル画像データの予測符号化における動き補償であ
る。一例として、動画の高能率符号化の国際的標準方式
である、ＭＰＥＧ(Moving Picture Coding Experts Gro
up) 方式が提案されている。このＭＰＥＧ方式は、ＤＣ
Ｔ(Discrete Cosine Transform) と動き補償予測符号化
とを組み合わせたものである。
【０００３】図１５は、動き補償予測符号化装置の一例
を示す。図１５において、入力端子６１からのディジタ
ルビデオデータが動きベクトル検出回路６２および減算
回路６３に供給される。動きベクトル検出回路６３で
は、現フレームと参照フレーム（例えば時間的に前フレ
ーム）との間の動きベクトルが検出される。この動きベ
クトルが動き補償回路６４に供給される。
【０００４】フレームメモリ６５に蓄えられている画像
が動き補償回路６４において動きベクトルに基づいて動
き補償された後に、減算回路６３および加算回路６６に
供給される。減算回路６３では、現フレームのビデオデ
ータと動き補償回路６４からの前フレームの復号ビデオ
データとが画素毎に減算される。減算回路６３からの差
分データがＤＣＴ回路６７においてＤＣＴ変換される。
ＤＣＴ回路６７からの係数データが量子化回路６８によ
り再量子化される。量子化回路６８の出力データが出力
端子６９に取り出されるとともに、逆量子化回路７０に
供給される。
【０００５】逆量子化回路７０とこれに接続された逆Ｄ
ＣＴ回路７１とは、ＤＣＴ回路６７および量子化回路６
８と反対の処理を行うためのローカル復号回路を構成す
る。逆ＤＣＴ回路７１からの復号差分データが加算回路
６６に供給される。加算回路６６の出力データがフレー
ムメモリ６５を介して動き補償回路６４に供給される。
動き補償回路６４からの前フレームの復号データが加算
回路６６に供給されることで、復号データが形成され、
この復号データがフレームメモリ６５に蓄えられる。
【０００６】動きベクトル検出回路６２では、ブロック
マッチング法により動きベクトルが検出される。これ
は、参照フレームの検査ブロックを所定の探索範囲内で
移動し、現フレームの基準ブロックと最も合致している
ブロックを検出することにより動きベクトルを求めるも
のである。
【０００７】ブロックマッチング法では、図１６Ａに示
すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖライ
ンの１フレームの画像が図１６Ｂに示すように、Ｐ画素
×Ｑラインのブロックに細分化される。図１６Ｂの例で
は、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画
素位置である。
【０００８】図１７は、ｃを中心画素とする基準ブロッ
クとｃ´を中心とする検査ブロックの位置関係を示して
いる。ｃを中心画素とする基準ブロックは、現フレーム
の注目しているある基準ブロックであり、その画像と一
致する参照フレームの検査ブロックが参照フレームにお
いてｃ´を中心とするブロックの位置にあるものとして
いる。ブロックマッチング法では、探索範囲内におい
て、基準ブロックと最も合致する検査ブロックを見出す
ことによって、動きベクトルを検出する。図１７Ａの場
合では、水平方向に＋１画素、垂直方向に＋１ライン、
すなわち、（＋１，＋１）の動きベクトルが検出され
る。図１７Ｂでは、（＋３，＋３）の動きベクトルが検
出され、図１７Ｃでは、（＋２，−１）の動きベクトル
が検出される。動きベクトルは、現フレームの基準ブロ
ック毎に求められる。
【０００９】動きベクトルを探索する範囲を水平方向で
±Ｓ画素、垂直方向で±Ｔラインとすると、基準ブロッ
クは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔず
れたところに中心ｃ´を有する検査ブロックと比較され
る必要がある。図１８は、現フレームのある基準ブロッ
クの中心ｃの位置をＲとする時に、比較すべき参照フレ
ームの（２Ｓ＋１）×（２Ｔ＋１）個の検査ブロックと
の比較が必要なことを示している。すなわち、この図１
８のます目の位置にｃ´が存在する検査ブロックの全て
が比較対象である。図１８は、Ｓ＝４，Ｔ＝３とした例
である。探索範囲内の比較で得られた評価値（すなわ
ち、フレーム差の絶対値和、このフレーム差の二乗和、
あるいはフレーム差の絶対値のｎ乗和）の中で、最小値
を検出することによって、動きベクトルが検出される。
図１８の探索範囲は、検査ブロックの中心が位置する領
域であり、検査ブロックの全体が含まれる探索範囲の大
きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。
【００１０】図１９は、従来の動きベクトル検出装置の
一例の構成を示す。図１９において、８１が現フレーム
の画像データの入力端子であり、この画像データが現フ
レームメモリ８３に蓄えられる。８２が参照フレームの
画像データの入力端子であり、この画像データが参照フ
レームメモリ８４に蓄えられる。
【００１１】現フレームメモリ８３および参照フレーム
メモリ８４の読出し／書込みは、コントローラ８５によ
って制御される。現フレームメモリ８３からは、現フレ
ームの基準ブロックの画素データが読出され、参照フレ
ームメモリ８４からは、参照フレームの検査ブロックの
画素データが読出される。参照フレームメモリ８４と関
連してアドレス移動回路８６が設けられる。コントロー
ラ８５がアドレス移動回路８６を制御する結果、検査ブ
ロックの中心位置が１画素ステップで、探索範囲内を移
動される。
【００１２】現フレームメモリ８３の出力と参照フレー
ムメモリ８４の出力とが差分検出回路８７に供給され、
１画素毎の差分が検出される。差分検出回路８７の出力
が絶対値化回路８８で絶対値に変換され、この絶対値が
累算回路８９に供給される。累算回路８９が１ブロック
で発生した絶対値差分を累算し、その出力が判断回路９
０に供給される。判断回路９０は、探索範囲内で検査ブ
ロックを移動させた時にそれぞれ発生する差分の絶対値
和から動きベクトルを検出する。すなわち、最小の差分
の絶対値和を発生する検査ブロックの位置を動きベクト
ルとして検出する。
【００１３】上述の従来のブロックマッチング法は、基
準ブロックと検査ブロックとの間でフレーム差分の絶対
値和を求める処理を探索範囲内で行う必要がある。上述
の図１６、図１７および図１８の例では、（Ｐ×Ｑ）回
の絶対値差分の累算を（２Ｓ＋１）×（２Ｔ＋１）回行
う必要がある。この関係から、演算量は、（Ｐ×Ｑ）×
（２Ｓ＋１）×（２Ｔ＋１）で表される。従って、上述
のブロックマッチング法は、ハードウエアの規模が大き
く、演算量が膨大であるという問題点があった。
【００１４】この対策として、二種類の方法が提案され
ている。その一つは、ブロックの要素数を減少させる手
法であり、他のものは、探索を簡略化する手法である。
要素の数を減少させる方法としては、基準ブロックおよ
び検査ブロックをそれぞれ水平方向および垂直方向のそ
れぞれの方向で小ブロックに更に分割し、小ブロック毎
に特徴量を抽出するものが提案されている。すなわち、
基準ブロックおよび検査ブロックの間で、水平方向小ブ
ロックの特徴量と垂直方向小ブロック特徴量とを別個に
比較し、比較結果の絶対値をそれぞれ累算し、累算結果
を加重平均したものをブロック間の比較結果として用い
る。小ブロックの特徴量は、例えばその小ブロック内の
画素データの累算結果である。この方法は、１ブロック
内の全画素数に関して必要とされた演算を水平および垂
直方向の小ブロックの数に減少することができる。
【００１５】探索を簡略化する方法としては、探索範囲
で検査ブロックを移動する時に、最初のステップとし
て、数画素の間隔で検査ブロックを移動させることによ
って、大まかな動きベクトルを検出し、次のステップ
で、検出された位置の付近で、１画素間隔で検査ブロッ
クを移動させることによって、最終的に動きベクトルを
求める方法（２ステップ法）が知られている。ステップ
数を３とした３ステップ法も考えられる。この方法によ
れば、フルサーチで必要とされた、探索範囲内の全画素
数と対応する演算回数を各ステップで検出された動きベ
クトルの周辺の画素数と対応する回数へ減少させること
ができる。
【００１６】さらに、要素数の減少と探索の簡略化との
両者を意図した動きベクトル検出方法として、階層構造
を採用するものが提案されている。その一つは、間引き
法と呼ぶことができるものである。つまり、ブロック内
の画素数をサブサンプリングによって間引き（例えば４
画素を１画素に間引き）、その間引かれた結果の画素で
構成されるブロックに関してブロックマッチングを行な
い、次に、検出された最小値の位置に原点を移動し、例
えば２画素を１画素に間引いたブロック構造に関してブ
ロックマッチングを行ない、検出された最小値の位置に
原点を移動し、最終的に１画素ステップのブロックマッ
チングで動きベクトルを検出する。間引きの結果、ブロ
ック内の要素数と探索範囲での演算回数との両者が減少
する。
【００１７】要素数の減少と探索の簡略化との両者を意
図する他のものとして、ローパスフィルタを使用するも
のがある。原画像（第１階層と称する）と、第１階層か
らローパスフィルタおよびサブサンプリングによって、
水平および垂直方向で画素数が１／２に間引かれた第２
階層と、さらに、第２階層をローパスフィルタおよびサ
ブサンプリングによって、水平および垂直方向で１／２
に間引いた第３階層とからなる階層構造を規定する。そ
して、第３階層に関してブロックマッチングを行ない、
検出された最小値の位置に原点を移動して第２階層に関
してブロックマッチングを行ない、検出された最小値の
位置に原点を移動して、第１階層に関してブロックマッ
チングを行う。
【００１８】
【発明が解決しようとする課題】ブロックマッチングの
上述したような種々の改良は、演算量を減少させること
はできるが、動きベクトルの誤検出が生じる欠点を有し
ている。これは、簡略化の結果として、原画像の有する
情報量の欠落が生じるからである。
【００１９】より具体的に述べると、ブロック内の要素
数を減らす方法では、小ブロックの特徴量は、小ブロッ
クの画像データをローパスフィルタを通したものであ
る。探索を簡略化する方法では、大まかな動きベクトル
を検出する時に、精度が粗いために、誤検出するおそれ
が生じる。要素数の減少および探索の簡略化を行う方法
では、やはり、間引かれた画像あるいはローパスフィル
タを通した画像に基づいて動きベクトルの検出する時
に、誤った検出のおそれがある。
【００２０】従って、この発明の目的は、演算量を減少
でき、ハードウエアが簡単な特徴を備えているのみなら
す、誤検出が防止された動きベクトル検出装置および検
出方法を提供することにある。
【００２１】この発明は、ブロックマッチングにより動
きベクトルを正しく検出するためには、画像のアクティ
ビィティーが必要であることに着目している。アクティ
ビィティーとは、レベル変化の大小、または高域周波数
成分の量を意味する。従来の簡略化の手法は、アクティ
ビィティーを失わせる結果をもたらし、アクティビィテ
ィーが失われた画像に基づいたブロックマッチングを行
うことによって誤検出の問題を生じていたのである。こ
の点について、理解の容易のために具体的数値を使用し
て以下に説明する。
【００２２】図１０Ａは、（８×８）画素の領域に含ま
れる画素の値の一例である。この値は、８ビットの各画
素のレベル（０〜２５５）を表している。ここで、（２
×２＝４画素）の領域毎に、定常成分特徴量としての平
均値を計算した結果を図１０Ｂに示し、この領域毎に過
渡成分特徴量としての標準偏差を計算した結果を図１０
Ｃに示す。図１０Ｂにおいて、平均値を見た時に、隣接
する平均値である、「１６４」および「１６３」は、極
めて近い値である。しかしながら、それぞれと対応する
標準偏差は、図１０Ｃに示すように、「０．５」および
「７」となり、大きく相違している。これは、レベル変
化の程度が二つの（２×２）の領域で相違しているから
である。
【００２３】次に、図１０Ａの最も左側の一列を取り除
き、その最も右側に新たに一列を追加した（８×８）の
領域を図１１Ａに示す。この領域に関して、上述と同様
に、平均値を計算した結果を図１１Ｂに示し、標準偏差
を計算した結果を図１１Ｃに示す。この図１１Ｂにおい
ても、上述の「１６４」および「１６３」と対応する位
置の平均値が「１６４」および「１６２」であり、標準
偏差が「２」および「１０．８」である。この例でも、
標準偏差の相違が平均値のものに比して大きいことが分
かる。
【００２４】さらに、図１２は、（１６×１６）画素の
領域のデータの一例である。（４×４）画素毎に平均値
を計算した結果を図１３に示し、標準偏差を計算した結
果を図１４に示す。図１３および図１４から分かるよう
に、この例でも、平均値が「１４５」と同じにもかかわ
らず、標準偏差が「４．９１」、「４．０５」と異なっ
ている。
【００２５】このように、（２×２）あるいは（４×
４）の画像の局所的特徴は、定常成分特徴量のみでは、
充分に表すことができず、過渡成分特徴量をも加味して
はじめて正確に表すことができる。ブロックマッチング
法は、基準ブロックと検査ブロックとの間で画像の合致
している程度を調べるものであるから、この発明のよう
に、ブロックの特徴量として過渡成分をも含めることが
理に適っている。
【００２６】
【課題を解決するための手段】請求項１に記載の発明
は、第１の画像データを分割してなる第１の基準ブロッ
クからなるデータを取り出すための手段と、第１の基準
ブロックに比して検出される動きベクトルの分解能がよ
り粗い第２の基準ブロックからなるデータを取り出し、
第２の基準ブロック内の第１の画像データの定常成分を
示す第１の定常成分特徴量と過渡成分を示す第１の過渡
成分特徴量を抽出するための手段と、第２の画像データ
を分割してなる第１の検査ブロックからなるデータを取
り出すための手段と、第１の基準ブロックの画素データ
と第１の検査ブロックの画素データとを比較し、比較結
果から第１の基準ブロックと第１の検査ブロックの合致
度を示す第１の評価値を生成するための手段と、第１の
検査ブロックに比して検出される動きベクトルの分解能
がより粗い第２の検査ブロックからなるデータを取り出
し、第２の検査ブロック内の第２の画像データの定常成
分を示す第２の定常成分特徴量と過渡成分を示す第２の
過渡成分特徴量を抽出するための手段と、第１および第
２の定常成分特徴量の比較結果と第１および第２の過渡
成分特徴量の比較結果とから、第２の基準ブロックと第
２の検査ブロックの合致度を示す第２の評価値を生成す
るための手段と、所定の探索範囲内で第２の検査ブロッ
クを移動することで生成された第２の評価値に基づい
て、第２の基準ブロックと最も合致する第２の検査ブロ
ックの位置を検出するための手段と、検出された第２の
検査ブロックの位置の近傍で、第１の検査ブロックを移
動することで生成された第１の評価値に基づいて、第１
の基準ブロックと最も合致する第１の検査ブロックの位
置と対応する動きベクトルを検出するための手段とを有
することを特徴とする動きベクトル検出装置である。
【００２７】請求項８に記載のこの発明は、第１の画像
データを分割してなる第１の基準ブロックからなるデー
タを取り出すステップと、第１の基準ブロックに比して
検出される動きベクトルの分解能がより粗い第２の基準
ブロックからなるデータを取り出し、第２の基準ブロッ
ク内の第１の画像データの定常成分を示す第１の定常成
分特徴量と過渡成分を示す第１の過渡成分特徴量を抽出
するステップと、第２の画像データを分割してなる第１
の検査ブロックからなるデータを取り出すステップと、
第１の基準ブロックの画素データと第１の検査ブロック
の画素データとを比較し、比較結果から第１の基準ブロ
ックと第１の検査ブロックの合致度を示す第１の評価値
を生成するステップと、第１の検査ブロックに比して検
出される動きベクトルの分解能がより粗い第２の検査ブ
ロックからなるデータを取り出し、第２の検査ブロック
内の第２の画像データの検査ブロックの定常成分を示す
第２の定常成分特徴量と過渡成分を示す第２の過渡成分
特徴量を抽出するステップと、第１および第２の定常成
分特徴量の比較結果と第１および第２の過渡成分特徴量
の比較結果とから、第２の基準ブロックと第２の検査ブ
ロックの合致度を示す第２の評価値を生成するステップ
と、所定の探索範囲内で第２の検査ブロックを移動する
ことで生成された第２の評価値に基づいて、第２の基準
ブロックと最も合致する第２の検査ブロックの位置を検
出するステップと、検出された第２の検査ブロックの位
置の近傍で、第１の検査ブロックを移動することで生成
された第１の評価値に基づいて、第１の基準ブロックと
最も合致する第１の検査ブロックの位置と対応する動き
ベクトルを検出するステップとを有することを特徴とす
る動きベクトル検出方法である。
【００２８】
【作用】この発明は、ブロック内の要素数の減少と探索
の簡略化のために、平均化、間引き、ローパスフィルタ
を通すことによって、階層構造の画像データを形成す
る。第２階層において、平均値等の定常成分特徴量のみ
ならず、過渡成分特徴量をも使用して評価値を生成し、
この評価値に基づいて動きベクトルを検出する。従っ
て、第２階層における誤検出のおそれを低減できる。次
に、この第２階層の動きベクトルに従って移動された原
点の近傍において、第１階層の動きベクトル検出がなさ
れる。
【００２９】
【実施例】以下、この発明の一実施例について図面を参
照して説明する。図１は、一実施例のブロック図であ
り、図１において、１が現フレームの画像データの入力
端子、２が参照フレームの画像データの入力端子、３が
現フレームの画像データを蓄える現フレームメモリ、４
が参照フレームの画像データを蓄える参照フレームメモ
リである。現フレームメモリ３および参照フレームの書
込み／読出し動作がコントローラ５により制御される。
さらに、参照フレームメモリ４と関連して設けられたア
ドレス移動回路６がコントローラ５によって、参照フレ
ーム内で検査ブロックが移動される。
【００３０】現フレームメモリ３の出力に関して、第３
階層の画像の特徴量を抽出するために、定常成分抽出回
路７ａおよび過渡成分抽出回路７ｂが現フレームメモリ
３に対して接続される。また、現フレームメモリ３に対
して小ブロック化回路１１ａが接続され、小ブロック化
回路１１ａによって第２階層の画像データが生成され
る。この第２階層の画像の特徴量を抽出するために、定
常成分抽出回路９ａおよび過渡成分抽出回路１０ａが小
ブロック化回路１１ａに対して接続される。第１階層の
画像データは、現フレームメモリ３からのブロック構造
を有する画像データである。
【００３１】参照フレームメモリ４に対しても、定常成
分抽出回路７ｂ、過渡成分抽出回路８ｂ、小ブロック化
回路１１ｂ、定常成分抽出回路９ｂ、過渡成分抽出回路
１０ｂが接続される。ここで、定常成分とは、平均値、
低域周波数成分、直交変換で得られた係数の低次成分、
最大値、最小値等であり、過渡成分とは、標準偏差、高
域周波数成分、直交変換で得られた係数の高次成分、ダ
イナミックレンジ、平均値に対する差分、平均値に対す
る差分の最大値等を意味している。過渡成分によって、
画像の局所的アクティビィティーの程度が示される。上
述のように、従来のブロックマッチング法の簡略化は、
ブロックの特徴量として、定常成分のみを使用するもの
であった。
【００３２】ブロックマッチングの対象としては、上述
のような現フレームと参照フレーム（現フレームに対し
て時間的に前あるいは後のフレーム）に限られない。例
えば２枚の静止画像間で動きベクトルを検出する場合、
または解像度が異なる画像同士の間で動きベクトルを検
出する場合に対しても、この発明を適用することができ
る。
【００３３】差分検出回路１２ａは、定常成分抽出回路
７ａおよび７ｂからの差分値を検出し、出力端子１３ａ
に出力する。差分検出回路１２ｂは、過渡成分抽出回路
８ａおよび８ｂからのの差分値を検出し、出力端子１３
ｂに出力する。この第３階層と同様に、第２階層に関し
ても差分検出回路１２ｃおよび１２ｄが設けられ、定常
成分および過渡成分に関しての差分値が検出され、出力
端子１３ｃ、１３ｄにこれらの差分値が取り出される。
さらに、第１階層に関して、すなわち、画素データ同士
の差分値が差分検出回路１２ｅで検出され、出力端子１
３ｅに取り出される。
【００３４】図１に対して図２の構成が接続される。本
来、一つのブロック図として表されるべき構成図が作図
スペースの関係で、図１および図２に分割されている。
図１の差分値が取り出される出力端子１３ａ〜１３ｅに
対してそれぞれ絶対値化回路１４ａ〜１４ｅが接続され
る。絶対値化回路１４ａ〜１４ｅは、差分値を絶対値に
変換する。第３階層に関しては、絶対値化回路１４ａお
よび１４ｂの出力が加重平均化回路１５に供給され、加
重平均値が形成される。
【００３５】第２階層に関しての差分値が絶対値化回路
１４ｃおよび１４ｄに供給され、絶対値へ変換される。
絶対値化回路１４ｃ、１４ｄに対して累算回路１６ｃ、
１６ｄがそれぞれ接続され、累算回路１６ｃ、１６ｄの
出力が加重平均化回路１７に供給される。加重平均化回
路１５および１７に対しては、コントローラ５から重み
係数ｗ１およびｗ２が供給される。
【００３６】加重平均化回路１５からの評価値が判断回
路１８に供給される。判断回路１８は、探索範囲内で計
算された評価値の中の最小値を検出する。検出された最
小の評価値の位置と対応する動きベクトルが判断回路１
８から発生する。これらの差分検出回路１２ａ、１２
ｂ、絶対値化回路１４ａ、１４ｂ、加重平均化回路１
５、判断回路１８は、第３階層に関しての処理ブロック
ＢＬ３を構成する。第３階層で検出された動きベクトル
がコントローラ５およびレジスタ２１に供給される。コ
ントローラ５に第３階層の動きベクトルを供給すること
により、第２階層でなされるブロックマッチングの原点
が移動され、第２階層では、移動原点の近傍でのみブロ
ックマッチングがなされる。
【００３７】加重平均化回路１７からの第２階層の評価
値が判断回路１９に供給され、第３階層と同様に動きベ
クトルが検出される。これらの差分検出回路１２ｃ、１
２ｄ、絶対値化回路１４ｃ、１４ｄ、累算回路１６ｃ、
１６ｄ、加重平均化回路１７、判断回路１９は、第２階
層に関しての処理ブロックＢＬ２を構成する。この第２
階層において検出された動きベクトルがコントローラ５
および加算器２３に供給される。コントローラ５に第２
階層の動きベクトルを供給することによって、次の第１
階層に関して、第２階層で検出された動きベクトルに従
って原点を移動し、その近傍の領域で動きベクトルを検
出することが可能となる。また、加算器２３には、第３
階層の動きベクトルがレジスタ２１から乗算器（シフト
回路で実現できる）２２で、２倍とされて供給される。
【００３８】第１階層の画素データ間の差分値が絶対値
化回路１４ｅを介して累算回路１６ｅに供給される。累
算回路１６ｅは、絶対値化された差分値をブロックで累
算する。累算回路１６ｅの出力（すなわち、第１階層の
評価値）が判断回路２０に供給される。これらの差分検
出回路１２ｅ、絶対値化回路１４ｅ、累算回路１６ｅ、
判断回路２０は、第１階層に関しての処理ブロックＢＬ
１を構成する。判断回路２０は、移動された原点の周辺
の領域において、ブロックマッチングにより１画素の分
解能の動きベクトルを検出する。判断回路２０の出力が
コントローラ５および加算器２６に供給される。
【００３９】この加算器２６には、第２階層の動きベク
トルがレジスタ２３から乗算器（シフト回路で実現でき
る）２４で、２倍とされて供給される。加算器２６から
注目している基準ブロックの動きベクトルが発生し、こ
れが出力端子２７から取り出される。
【００４０】この実施例では、動きベクトルの検出の分
解能あるいは精度が各階層で異なっている。つまり、第
３階層では、水平および垂直方向で４画素、４ラインの
分解能とされ、第２階層では、２画素、２ラインの分解
能とされ、第１階層では、１画素、１ラインの分解能と
されている。この関係から最終的な動きベクトルを求め
る時に、より上位の階層で検出された動きベクトルが２
倍とされてから、その階層の動きベクトルに対して加算
されている。
【００４１】図３および図４は、上述の一実施例のより
具体的な構成を示す。すなわち、定常成分抽出回路７
ａ、７ｂ、９ａ、９ｂとして、平均化回路３１ａ、３１
ｂ、３３ａ、３３ｂが設けられ、過渡成分抽出回路８
ａ、８ｂ、１０ａ、１０ｂとして標準偏差（σ）生成回
路３２ａ、３２ｂ、３４ａ、３４ｂが設けられている。
差分検出回路１２ａ〜１２ｅが減算器３５ａ〜３５ｅで
実現されている。
【００４２】累算器１６ｃ、１６ｄ、１６ｅは、加算器
３８ａ、３８ｂ、４２およびフィードバックループ内に
挿入されたレジスタ３９ａ、３９ｂ、４３で構成され
る。加重平均化回路１５は、重み係数ｗ１およびｗ２を
それぞれ乗じるための乗算器３６ａ、３６ｂと乗算出力
を加算する加算器３７で構成される。加重平均化回路１
７は、同様に乗算器４０ａ、４０ｂおよび加算器４１で
構成される。
【００４３】判断回路１８は、加重平均データ、すなわ
ち、評価値を記憶するメモリ４４とメモリ４４に蓄えら
れた評価値の中の最小値を検出し、最小値の位置を動き
ベクトルとして出力するための最小値検出回路４７とに
より構成される。同様に、判断回路１９がメモリ４５お
よび最小値検出回路４８で構成され、判断回路２０がメ
モリ４６および最小値検出回路４９で構成される。判断
回路１８、１９、２０としては、メモリ４４、４５、４
６を有しない構成も可能である。
【００４４】上述のこの発明の一実施例について、その
動きベクトルの検出動作について説明する。図５は、各
階層で使用される動きベクトル検出のための要素を示し
ている。第１階層は、（４×４画素）を１ブロックと
し、従って、その中には、１６個の画素データ（要素）
が含まれる。各画素データの値をｘ１〜ｘ16とする。第
１階層で検出される動きベクトルの分解能は、１画素、
１ラインである。
【００４５】第２階層は、下記のように、（２×２画
素）毎に計算された平均値ｍ１〜ｍ４および標準偏差σ
１〜σ４で構成される。 ｍ１＝（ｘ１＋ｘ２＋ｘ５＋ｘ６）／４ ｍ２＝（ｘ３＋ｘ４＋ｘ７＋ｘ８）／４ ｍ３＝（ｘ９＋ｘ10＋ｘ13＋ｘ14）／４ ｍ１＝（ｘ11＋ｘ12＋ｘ15＋ｘ16）／４ σ１＝｛Σ（ｘｉ−ｍ１）2 ×１／４｝1/2 σ２＝｛Σ（ｘｉ−ｍ２）2 ×１／４｝1/2 σ３＝｛Σ（ｘｉ−ｍ３）2 ×１／４｝1/2 σ４＝｛Σ（ｘｉ−ｍ４）2 ×１／４｝1/2 但し、Σは、各画素の値からその領域の平均値を減算し
たものを（２×２）の４画素について集計することを意
味する。例えばｉ＝１，２，５，６である。
【００４６】小ブロック化回路１１ａは、現フレームに
関して、（２×２）画素の小ブロックを形成し、小ブロ
ック化回路１１ｂは、参照フレームに関して、（２×
２）画素の小ブロックを形成する。そして、現フレーム
から取り出された第２階層に関しての平均値ｍ１〜ｍ４
は、平均化回路３３ａによって順次算出され、標準偏差
σ１〜σ４は、標準偏差生成回路３４ａによって順次生
成される。参照フレームの第２階層に関しても、平均化
回路３３ｂおよび標準偏差生成回路３４ｂによって平均
値ｍ１´〜ｍ４´、標準偏差σ１´〜σ４´（´は、参
照フレームに関する平均値および標準偏差を示す）が順
次生成される。
【００４７】減算器３５ｃおよび３５ｄでは、平均値の
差分および標準偏差の差分が計算され、差分値が絶対値
回路１４ｃ、１４ｄを介して累算器に供給される。従っ
て、加算器３８ａおよびレジスタ３９ａからなる累算器
からは、 Ｈｍ＝｜ｍ１−ｍ１´＋ｍ２−ｍ２´＋ｍ３−ｍ３´＋ｍ４−ｍ４´｜ の平均値特徴量が出力される。また、加算器３８ｂおよ
びレジスタ３９ｂからなる累算器からは、 Ｈσ＝｜σ１−σ１´＋σ２−σ２´＋σ３−σ３´＋σ４−σ４´｜ の標準偏差特徴量が出力される。このように、第２階層
で４個の（２×２）の小ブロックを集めるのは、階層の
違いにかかわらず、ブロックサイズを（４×４）の一定
とするためである。
【００４８】第２階層の基準ブロックの位置を（ｘ，
ｙ）とし、その検査ブロックの位置を（ｘ＋Δｘ，ｙ＋
Δｙ）（但し、Δｘは、２画素ステップ、Δｙは、２ラ
インステップで変化する）とした時に、上述の特徴量を
下式で表す。第２階層において検出される動きベクトル
の分解能は、２画素、２ラインである。 Ｈｍ（Δｘ，Δｙ）＝Σ｜ｍｉ´（ｘ＋Δｘ，ｙ＋Δｙ）−ｍｉ（ｘ，ｙ）｜ Ｈσ（Δｘ，Δｙ）＝Σ｜σｉ´（ｘ＋Δｘ，ｙ＋Δｙ）−σｉ（ｘ，ｙ）｜
【００４９】乗算器４０ａ、４０ｂおよび加算器４１か
らなる加重平均化回路では、上述の特徴量を加重平均し
た下記の評価値を発生する。 Ｈ（Δｘ，Δｙ）＝ｗ１×Ｈｍ（Δｘ，Δｙ）＋ｗ２×Ｈσ（Δｘ，Δｙ）
【００５０】ΔｘおよびΔｙを変化させた時、すなわ
ち、検査ブロックを２画素ステップおよび２ラインステ
ップでもって移動した時にそれぞれ得られる評価値がメ
モリ４５に蓄えられる。最小値検出回路４８は、メモリ
４５に蓄えられている評価値の中の最小値を検出する。
この最小値の位置と対応するΔｘ、Δｙが第２階層にお
いて検出された動きベクトルである。
【００５１】第３階層は、第１階層の（４×４）画素の
平均値ｍおよび標準偏差σで構成される。この第３階層
において検出される動きベクトルの分解能は、４画素、
４ラインである。 ｍ＝（ｘ１＋ｘ２＋・・・・＋ｘ16）／16 σ＝｛Σ（ｘｉ−ｍ）2 ×１／16｝1/2
【００５２】現フレームから取り出された第３階層に関
しての平均値ｍは、平均化回路３１ａによって順次算出
され、標準偏差σは、標準偏差生成回路３２ａによって
順次生成される。参照フレームの第３階層に関しても、
平均化回路３１ｂおよび標準偏差生成回路３２ｂによっ
て平均値ｍ´、標準偏差σ´が順次生成される。
【００５３】第３階層の基準ブロックの位置を（ｘ，
ｙ）とし、その検査ブロックの位置を（ｘ＋Δｘ，ｙ＋
Δｙ）（但し、Δｘは、４画素ステップ、Δｙは、４ラ
インステップで変化する）とした時に、上述の特徴量を
下式で表す。 Ｈｍ（Δｘ，Δｙ）＝｜ｍ´（ｘ＋Δｘ，ｙ＋Δｙ）−ｍ（ｘ，ｙ）｜ Ｈσ（Δｘ，Δｙ）＝｜σ´（ｘ＋Δｘ，ｙ＋Δｙ）−σ（ｘ，ｙ）｜
【００５４】乗算器３６ａ、３６ｂおよび加算器３７か
らなる加重平均化回路では、上述の特徴量を加重平均し
た下記の評価値を発生する。 Ｈ（Δｘ，Δｙ）＝ｗ１×Ｈｍ（Δｘ，Δｙ）＋ｗ２×Ｈσ（Δｘ，Δｙ）
【００５５】ΔｘおよびΔｙを変化させた時、すなわ
ち、検査ブロックを４画素ステップおよび４ラインステ
ップでもって移動した時にそれぞれ得られる評価値がメ
モリ４４に蓄えられる。最小値検出回路４７は、メモリ
４４に蓄えられている評価値の中の最小値を検出する。
この最小値の位置と対応するΔｘ、Δｙが第３階層にお
いて検出された動きベクトルである。
【００５６】図６、図７および図８を参照して動きベク
トルの検出動作についてより詳細に説明する。最初に第
３階層において、動きベクトルが検出される。図６に示
すように、探索範囲の原点に位置する現フレームの基準
ブロック（斜線を付したブロック）に対して、前フレー
ムの検査ブロックが探索範囲内で移動され、各位置で上
述のように第３階層の評価値が生成される。この検査ブ
ロックの移動は、参照フレームメモリ４と関連したアド
レス移動回路６をコントローラ５が制御することによっ
てなされる。
【００５７】探索範囲の各位置で得られた評価値の中で
最小値が検出される。第３階層では、分解能が４画素、
４ラインであるから、動きベクトルの値の範囲は、（−
４〜＋３）である。図６の例では、斜線を付した検査ブ
ロックの位置で評価値の最小値が発生している。従っ
て、第３階層で検出された動きベクトルは、（１，−
３）である。
【００５８】この動きベクトルの情報がコントローラ５
に伝えられ、コントローラ５によりアドレス移動回路６
が制御され、第２階層の探索範囲の原点が移動される。
移動原点の周辺において、第２階層の動きベクトル検出
がなされる。図７は第２階層の動きベクトル検出動作を
説明し、基準ブロックは、現フレーム中で斜線が付され
ている、原点に位置するブロックである。前フレーム中
で太線で囲んで示すような移動原点を中心とする領域、
すなわち、移動原点を含む（３×３）の９点に（２×
２）の４個の検査ブロックの中心を移動させる。この各
点で上述のように、第２階層の評価値が計算される。
【００５９】この評価値の中の最小値が検出される。図
７の例では、前フレーム中で斜線を付した位置の評価値
が最小値である。従って、第２階層で検出された動きベ
クトルは、（−１，−１）である。このように第３階層
から第２階層へ原点移動を行ない、第２階層で動きベク
トルを検出している。従って、第１階層へ伝達する原点
移動のため情報は、第３階層の動きベクトルを２倍した
ものと第２階層の動きベクトルとを加算した動きベクト
ル（すなわち、（２，−６）＋（−１，−１）＝（１，
−７））である。
【００６０】図８は、第１階層の動きベクトル検出動作
を説明するもので、基準ブロックは、現フレーム中で斜
線を付された（４×４）画素のブロックである。第１階
層では、太線で囲んで示される、上述の結果動きベクト
ルに従って規定される移動原点を中心とする領域、すな
わち、移動原点を含む（３×３）の９点に検査ブロック
の中心を移動させる。各点で第１階層の評価値が計算さ
れる。原点の移動および検査ブロックの移動は、アドレ
ス移動回路６をコントローラ５により制御することでな
される。
【００６１】第１階層では、減算器３５ｅにより基準ブ
ロックと検査ブロックの同一位置の画素間の差分値が計
算され、この差分値が絶対値に変換される。絶対値に変
換された差分値が加算器４２およびレジスタ４３からな
る累算器に供給され、１ブロックの画素数（この例では
１６）に等しい差分値が累算される。この差分値の絶対
値和が評価値である。
【００６２】そして、上述のような９点においてそれぞ
れ求められた評価値がメモリ４６に蓄えられる。最小値
検出回路４９は、この評価値の中で最小値を検出し、検
出された最小値の位置と対応する動きベクトルを出力す
る。このような動きベクトル検出は、フルサーチのブロ
ックマッチング法である。従って、差分値の累算に限ら
ず、差分値の二乗和、差分絶対値のｎ乗和等を評価値と
して使用することもできる。
【００６３】図８に示される例では、上述の動作の結
果、（−１，−１）の動きベクトルが検出される。この
動きベクトルが第２階層から伝達される（１，−７）の
動きベクトルを２倍したものと加算される。すなわち、
探索範囲の本来の原点を基準とする、（２，−１４）＋
（−１，−１）＝（１，−１５）の動きベクトルが最終
的に得られる。
【００６４】図９は、この発明の他の実施例を示す。他
の実施例では、現フレームおよび参照フレームのそれぞ
れに関して、各階層のデータ構造を作成し、これをメモ
リにそれぞれ蓄えるようにしたものである。現フレーム
メモリ３からは、（４×４）画素のブロック構造のデー
タが読出される。平均化回路３１ａは、各ブロックの平
均値を生成し、標準偏差生成回路３２ａは、各ブロック
の標準偏差を生成する。これらの平均値および標準偏差
により第３階層のデータが形成される。この第３階層の
データがメモリ５１に格納される。
【００６５】現フレームメモリ３と接続された小ブロッ
ク化回路１１ａは、（２×２）画素の小ブロック構造の
データを形成する。小ブロック化回路１１ａと接続され
た平均化回路３３ａおよび標準偏差生成回路３４ａが小
ブロックの平均値および標準偏差を生成する。これらの
成分で構成される第２階層のデータがメモリ５２に蓄え
られる。
【００６６】参照フレームメモリ４に対しても上述と同
様に複数の回路が設けられているが、図９では、簡単の
ため一つの回路ブロック５０でまとめて表す。そして、
参照フレームに関しても、第３階層のデータを蓄えるメ
モリ５３および第２階層のデータを蓄えるメモリ５４が
設けられる。
【００６７】検査ブロックは、上述のように、所定の範
囲で移動される必要があり、そのためのアドレス移動回
路５５および５６がメモリ５３および５４と関連して設
けられている。メモリ５１および５２の書込み／読出し
は、コントローラ５により制御される。メモリ５３およ
び５４の書込み／読出し並びにアドレス移動もコントロ
ーラ５により制御される。メモリ５３および５４に対し
て、予め探索範囲の全体のデータが格納される。但し、
メモリ５４に関しては、第３階層の検出動作により判明
した移動原点の周辺のデータのみを格納しても良い。
【００６８】メモリ５１および５３から読出された第３
階層のデータが処理ブロックＢＬ３に供給される。ま
た、メモリ５２および５４から読出された第２階層のデ
ータが処理ブロックＢＬ２に供給される。さらに、現フ
レームメモリ３および参照フレームメモリ４からの第１
階層のデータが処理ブロックＢＬ１に供給される。
【００６９】これらの処理ブロックＢＬ１、ＢＬ２、Ｂ
Ｌ３は、上述の一実施例における複数の回路を含むもの
である（図１および図２参照）。すなわち、処理ブロッ
クＢＬ３は、差分検出、絶対値化、加重平均化によって
評価値を作成し、この評価値の最小値を検出する処理を
行う。処理ブロックＢＬ２は、差分検出、絶対値化、４
ブロックに関する累算、加重平均化によって評価値を作
成し、この評価値の最小値を検出する処理を行う。処理
ブロックＢＬ１は、差分検出、絶対値和によって評価値
を作成し、この評価値の最小値を検出する処理を行う。
各処理ブロックにより検出された動きベクトルの合成の
処理は、上述の一実施例と同様であり、出力端子２７に
は、最終的な動きベクトルが得られる。
【００７０】以上の実施例における演算量について説明
する。まず、第３階層では、ブロック内の要素が２（平
均値および標準偏差）であり、探索範囲が（８×８＝６
４）であるから、演算量としては、（２×６４＝１２
８）で表される。次の第２階層では、ブロック内の要素
が（４×２＝８）であり、探索範囲は、移動原点を中心
とする９点であるから、演算量は、（８×９＝７２）で
表される。さらに、第１階層では、ブロック内の要素数
が（４×４＝１６）であり、探索範囲が移動原点を中心
とする９点であるから、演算量としては、（１６×９＝
１４４）で表される。従って、総計の演算量は、（１２
８＋７２＋１４４＝３４４）ということになる。
【００７１】一方、従来のフルサーチによるブロックマ
ッチングの場合では、ブロック内の要素数が１６であ
り、探索範囲が（３２×３２＝１０２４）であるから、
演算量は、（１６×１０２４＝１６３８４）となる。こ
の発明の一実施例は、この演算量を約１／５０に減少さ
せることができる。
【００７２】この発明の具体的構成は、上述の一実施例
および他の実施例の構成以外に種々のものが可能であ
る。例えば上述の説明では、各階層の処理を並列的に行
う構成が使用されているが、動きベクトルの検出が第３
階層から開始して、第２階層、第１階層と順番になされ
ることを利用して、並列的構成を各階層の処理で共用さ
れる回路ブロックにより統合しても良い。また、ソフト
ウェア処理によって、評価値の作成、動きベクトルの検
出を行うようにしても良い。
【００７３】また、上述の説明は、３個の階層の例であ
るが、２以上であれば、階層数は、適宜選定できる。ま
た、階層構造を構成する時に、間引きを利用しても良
い。すなわち、第１階層は、上述と同様の（４×４）画
素のブロックからなるものとし、第２階層および第３階
層は、それぞれ左上コーナの１画素とこの画素に対する
他の画素の差分の絶対値の平均値とからなるデータとす
る。より具体的には、図５を参照すると、第２階層の
（２×２）画素のデータは、例えばｘ１とこれに対する
他の画素の差分の絶対値（｜ｘ２−ｘ１｜，｜ｘ５−ｘ
１｜，｜ｘ６−ｘ１｜）の平均値とで表す。この場合で
は、画素の値ｘ１が定常成分であり、差分値の平均値が
過渡成分である。さらに、第３階層についても、左上コ
ーナーの画素値と、他の１５画素について上述と同様に
求められた差分の絶対値の平均値とからなるデータで構
成される。
【００７４】間引きを行う時に、ローパスフィルタおよ
びサブサンプリングを使用した場合にもこの発明は適用
することができる。すなわち、各階層の定常成分は、第
１階層の原画像データをローパスフィルタおよびサブサ
ンプリングに通すことで形成する。各階層の過渡成分
は、原画像データの所定数の画素データ毎に算出された
標準偏差等を使用する。
【００７５】さらに、平均値および標準偏差に限らず、
周波数成分の高低、直交変化の次数の高低等と対応する
定常成分および過渡成分を各階層において使用すること
もできる。よりさらに、第１階層で動きベクトルを求め
る時に、動きベクトルの精度を１画素ではなく、ハーフ
ペル精度とするようにしても良い。
【００７６】
【発明の効果】この発明は、階層構造によって、少ない
演算量で動きベクトルを検出することができる。特に、
この発明では、上位の階層において、原画像データの定
常成分のみならず、過渡成分をも使用するので、正しく
動きベクトルを検出することができる。従って、誤検出
のおそれを低減することができる。
【図面の簡単な説明】
【図１】この発明の一実施例の構成を示すブロック図で
ある。
【図２】この発明の一実施例の構成を示すブロック図で
ある。
【図３】この発明の一実施例の構成をより具体的に示す
ブロック図である。
【図４】この発明の一実施例の構成をより具体的に示す
ブロック図である。
【図５】この発明の一実施例における階層構造の説明に
用いる略線図である。
【図６】この発明の一実施例の第３階層における動きベ
クトル検出動作の説明に用いる略線図である。
【図７】この発明の一実施例の第２階層における動きベ
クトル検出動作の説明に用いる略線図である。
【図８】この発明の一実施例の第１階層における動きベ
クトル検出動作の説明に用いる略線図である。
【図９】この発明の他の実施例の構成を示すブロック図
である。
【図１０】この発明の動きベクトル検出を画像データの
一例を用いて説明するための略線図である。
【図１１】この発明の動きベクトル検出を画像データの
一例を用いて説明するための略線図である。
【図１２】この発明の動きベクトル検出を画像データの
他の例を用いて説明するための略線図である。
【図１３】この発明の動きベクトル検出を画像データの
他の例を用いて説明するための略線図である。
【図１４】この発明の動きベクトル検出を画像データの
他の例を用いて説明するための略線図である。
【図１５】この発明を適用することができる動き補償予
測符号化装置の一例を示すブロック図である。
【図１６】従来のブロックマッチング法による動きベク
トル検出方法の説明のための略線図である。
【図１７】従来のブロックマッチング法による動きベク
トル検出方法の説明のための略線図である。
【図１８】従来のブロックマッチング法による動きベク
トル検出方法における探索範囲の説明のための略線図で
ある。
【図１９】従来のブロックマッチング法による動きベク
トル検出装置の一例のブロック図である。
【符号の説明】
３ 現フレームメモリ ４ 参照フレームメモリ ７ａ、７ｂ、９ａ、９ｂ 定常成分抽出回路 ８ａ、８ｂ、１０ａ、１０ｂ 過渡成分抽出回路 １６ｃ、１６ｄ、１６ｅ 差分の絶対値の累算回路 １５、１７ 加重平均化回路 １８、１９、２０ 判断回路

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項１】 第１の画像データを分割してなる第１の
    基準ブロックからなるデータを取り出すための手段と、 上記第１の基準ブロックに比して検出される動きベクト
    ルの分解能がより粗い第２の基準ブロックからなるデー
    タを取り出し、上記第２の基準ブロック内の上記第１の
    画像データの定常成分を示す第１の定常成分特徴量と過
    渡成分を示す第１の過渡成分特徴量を抽出するための手
    段と、 第２の画像データを分割してなる第１の検査ブロックか
    らなるデータを取り出すための手段と、 上記第１の基準ブロックの画素データと上記第１の検査
    ブロックの画素データとを比較し、比較結果から上記第
    １の基準ブロックと上記第１の検査ブロックの合致度を
    示す第１の評価値を生成するための手段と、 上記第１の検査ブロックに比して検出される動きベクト
    ルの分解能がより粗い第２の検査ブロックからなるデー
    タを取り出し、上記第２の検査ブロック内の上記第２の
    画像データの定常成分を示す第２の定常成分特徴量と過
    渡成分を示す第２の過渡成分特徴量を抽出するための手
    段と、 上記第１および第２の定常成分特徴量の比較結果と上記
    第１および第２の過渡成分特徴量の比較結果とから、上
    記第２の基準ブロックと上記第２の検査ブロックの合致
    度を示す第２の評価値を生成するための手段と、 所定の探索範囲内で上記第２の検査ブロックを移動する
    ことで生成された上記第２の評価値に基づいて、上記第
    ２の基準ブロックと最も合致する上記第２の検査ブロッ
    クの位置を検出するための手段と、 上記検出された第２の検査ブロックの位置の近傍で、上
    記第１の検査ブロックを移動することで生成された上記
    第１の評価値に基づいて、上記第１の基準ブロックと最
    も合致する上記第１の検査ブロックの位置と対応する動
    きベクトルを検出するための手段とを有することを特徴
    とする動きベクトル検出装置。
  2. 【請求項２】 請求項１に記載の動きベクトル検出装置
    において、 上記第１および第２の定常成分特徴量は、ブロック内の
    画素データの平均値、上記画素データの最大値あるいは
    最小値、上記画素データの低域成分、または上記画素デ
    ータの直交変換で形成された低次の成分である装置。
  3. 【請求項３】 請求項１に記載の動きベクトル検出装置
    において、 上記第１および第２の過渡成分特徴量は、ブロック内の
    画素データの標準偏差、上記画素データのダイナミック
    レンジ、上記画素データの高域成分、または上記画素デ
    ータの直交変換で形成された高次の成分である装置。
  4. 【請求項４】 第１の画像データを分割してなる第１の
    基準ブロックからなる第１階層データと、上記第１の画
    像データのＮ画素の値を平均化した第１の平均値からな
    る第２の基準ブロックを含む第２階層データとを形成す
    るための手段と、 上記第２の基準ブロック内の上記第１の画像データの過
    渡成分を示す第１の過渡成分特徴量を抽出するための手
    段と、 第２の画像データを分割してなる第１の検査ブロックか
    らなる第１階層データと、上記第２の画像データのＮ画
    素の値を平均化した第２の平均値からなる第２の検査ブ
    ロックを含む第２階層データとを形成するための手段
    と、 上記第２の検査ブロック内の上記第２の画像データの過
    渡成分を示す第２の過渡成分特徴量を抽出するための手
    段と、 上記第１の基準ブロックの画素データと上記第１の検査
    ブロックの画素データとを比較し、比較結果から上記第
    １の基準ブロックと上記第１の検査ブロックの合致度を
    示す第１の評価値を生成するための手段と、 上記第１および第２の平均値の比較結果と上記第１およ
    び第２の過渡成分特徴量の比較結果とから、上記第２の
    基準ブロックと上記第２の検査ブロックの合致度を示す
    第２の評価値を生成するための手段と、 所定の探索範囲内で上記第２の検査ブロックを移動する
    ことで生成された上記第２の評価値に基づいて、上記第
    ２の基準ブロックと最も合致する上記第２の検査ブロッ
    クの位置を検出するための手段と、 上記検出された第２の検査ブロックの位置の近傍で、上
    記第１の検査ブロックを移動することで生成された上記
    第１の評価値に基づいて、上記第１の基準ブロックと最
    も合致する上記第１の検査ブロックの位置と対応する動
    きベクトルを検出するための手段とを有することを特徴
    とする動きベクトル検出装置。
  5. 【請求項５】 第１の画像データを分割してなる第１の
    基準ブロックからなる第１階層データと、上記第１の画
    像データを所定間隔で間引いた残りの１または複数の第
    １の画素からなる第２の基準ブロックを含む第２階層デ
    ータとを形成するための手段と、 上記第２の基準ブロック内の上記第１の画像データの過
    渡成分を示す第１の過渡成分特徴量を抽出するための手
    段と、 第２の画像データを分割してなる第１の検査ブロックか
    らなる第１階層データと、上記第２の画像データを所定
    間隔で間引いた残りの１または複数の第２の画素からな
    る第２の検査ブロックとを含む第２階層データを形成す
    るための手段と、 上記第２の検査ブロック内の上記第２の画像データの過
    渡成分を示す第２の過渡成分特徴量を抽出するための手
    段と、 上記第１の基準ブロックの画素データと上記第１の検査
    ブロックの画素データとを比較し、比較結果から上記第
    １の基準ブロックと上記第１の検査ブロックの合致度を
    示す第１の評価値を生成するための手段と、 上記第１および第２の画素の比較結果と上記第１および
    第２の過渡成分特徴量の比較結果とから、上記第２の基
    準ブロックと上記第２の検査ブロックの合致度を示す第
    ２の評価値を生成するための手段と、 所定の探索範囲内で上記第２の検査ブロックを移動する
    ことで生成された上記第２の評価値に基づいて、上記第
    ２の基準ブロックと最も合致する上記第２の検査ブロッ
    クの位置を検出するための手段と、 上記検出された第２の検査ブロックの位置の近傍で、上
    記第１の検査ブロックを移動することで生成された上記
    第１の評価値に基づいて、上記第１の基準ブロックと最
    も合致する上記第１の検査ブロックの位置と対応する動
    きベクトルを検出するための手段とを有することを特徴
    とする動きベクトル検出装置。
  6. 【請求項６】 第１の画像データを分割してなる第１の
    基準ブロックからなる第１階層データと、上記第１の画
    像データをローパスフィルタを介することで形成された
    １または複数の第１の画素からなる第２の基準ブロック
    を含む第２階層データとを形成するための手段と、 上記第２の基準ブロック内の上記第１の画像データの過
    渡成分を示す第１の過渡成分特徴量を抽出するための手
    段と、 第２の画像データを分割してなる第１の検査ブロックか
    らなる第１階層データと、上記第２の画像データをロー
    パスフィルタを介することで形成された１または複数の
    第２の画素からなる第２の検査ブロックとを含む第２階
    層データを形成するための手段と、 上記第２の検査ブロック内の上記第２の画像データの過
    渡成分を示す第２の過渡成分特徴量を抽出するための手
    段と、 上記第１の基準ブロックの画素データと上記第１の検査
    ブロックの画素データとを比較し、比較結果から上記第
    １の基準ブロックと上記第１の検査ブロックの合致度を
    示す第１の評価値を生成するための手段と、 上記第１および第２の画素の比較結果と上記第１および
    第２の過渡成分特徴量の比較結果とから、上記第２の基
    準ブロックと上記第２の検査ブロックの合致度を示す第
    ２の評価値を生成するための手段と、 所定の探索範囲内で上記第２の検査ブロックを移動する
    ことで生成された上記第２の評価値に基づいて、上記第
    ２の基準ブロックと最も合致する上記第２の検査ブロッ
    クの位置を検出するための手段と、 上記検出された第２の検査ブロックの位置の近傍で、上
    記第１の検査ブロックを移動することで生成された上記
    第１の評価値に基づいて、上記第１の基準ブロックと最
    も合致する上記第１の検査ブロックの位置と対応する動
    きベクトルを検出するための手段とを有することを特徴
    とする動きベクトル検出装置。
  7. 【請求項７】 第１の画像データを分割してなる第１の
    基準ブロックからなるデータを出力するための第１のメ
    モリと、 上記第１の基準ブロックに比して検出される動きベクト
    ルの分解能がより粗い第２の基準ブロックからなるデー
    タを取り出し、上記第２の基準ブロック内の上記第１の
    画像データの定常成分を示す第１の平均値と過渡成分を
    示す第１の標準偏差を生成するための演算手段と、 第２の画像データを分割してなる第１の検査ブロックか
    らなるデータを出力するためのメモリと、 上記第１の基準ブロックの画素データと上記第１の検査
    ブロックの画素データとを比較し、比較結果から上記第
    １の基準ブロックと上記第１の検査ブロックの合致度を
    示す第１の評価値を生成するための手段と、 上記第１の検査ブロックに比して検出される動きベクト
    ルの分解能がより粗い第２の検査ブロックからなるデー
    タを取り出し、上記第２の検査ブロック内の上記第２の
    画像データの定常成分を示す第２の平均値と過渡成分を
    示す第２の標準偏差を生成するための演算手段と、 上記第１および第２の平均値の比較結果と上記第１およ
    び第２の標準偏差の比較結果とから、上記第２の基準ブ
    ロックと上記第２の検査ブロックの合致度を示す第２の
    評価値を生成するための手段と、 所定の探索範囲内で上記第２の検査ブロックを移動する
    ことで生成された上記第２の評価値の最小値を検出する
    ことによって、上記第２の基準ブロックと最も合致する
    上記第２の検査ブロックの位置を検出するための手段
    と、 上記検出された第２の検査ブロックの位置と対応する位
    置の近傍で、上記第１の検査ブロックを移動した時に、
    最小の上記第１の評価値を発生する上記第１の検査ブロ
    ックの位置と対応する動きベクトルを検出するための手
    段とを有することを特徴とする動きベクトル検出装置。
  8. 【請求項８】 第１の画像データを分割してなる第１の
    基準ブロックからなるデータを取り出すステップと、 上記第１の基準ブロックに比して検出される動きベクト
    ルの分解能がより粗い第２の基準ブロックからなるデー
    タを取り出し、上記第２の基準ブロック内の上記第１の
    画像データの定常成分を示す第１の定常成分特徴量と過
    渡成分を示す第１の過渡成分特徴量を抽出するステップ
    と、 第２の画像データを分割してなる第１の検査ブロックか
    らなるデータを取り出すステップと、 上記第１の基準ブロックの画素データと上記第１の検査
    ブロックの画素データとを比較し、比較結果から上記第
    １の基準ブロックと上記第１の検査ブロックの合致度を
    示す第１の評価値を生成するステップと、 上記第１の検査ブロックに比して検出される動きベクト
    ルの分解能がより粗い第２の検査ブロックからなるデー
    タを取り出し、上記第２の検査ブロック内の上記第２の
    画像データの検査ブロックの定常成分を示す第２の定常
    成分特徴量と過渡成分を示す第２の過渡成分特徴量を抽
    出するステップと、 上記第１および第２の定常成分特徴量の比較結果と上記
    第１および第２の過渡成分特徴量の比較結果とから、上
    記第２の基準ブロックと上記第２の検査ブロックの合致
    度を示す第２の評価値を生成するステップと、 所定の探索範囲内で上記第２の検査ブロックを移動する
    ことで生成された上記第２の評価値に基づいて、上記第
    ２の基準ブロックと最も合致する上記第２の検査ブロッ
    クの位置を検出するステップと、 上記検出された第２の検査ブロックの位置の近傍で、上
    記第１の検査ブロックを移動することで生成された上記
    第１の評価値に基づいて、上記第１の基準ブロックと最
    も合致する上記第１の検査ブロックの位置と対応する動
    きベクトルを検出するステップとを有することを特徴と
    する動きベクトル検出方法。
JP24881493A 1993-09-09 1993-09-09 動きベクトル検出装置および方法 Expired - Lifetime JP3277418B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP24881493A JP3277418B2 (ja) 1993-09-09 1993-09-09 動きベクトル検出装置および方法
EP19940306606 EP0643539B1 (en) 1993-09-09 1994-09-08 Motion vector detection apparatus and method
US08/302,420 US5576772A (en) 1993-09-09 1994-09-08 Motion vector detection apparatus and method
DE1994623557 DE69423557T2 (de) 1993-09-09 1994-09-08 Vorrichtung und Verfahren zur Detektion eines Bewegungsvektors
CN94113722A CN1071978C (zh) 1993-09-09 1994-09-09 运动矢量检测装置和方法
KR1019940023023A KR100303108B1 (ko) 1993-09-09 1994-09-09 움직임벡터검출장치및방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24881493A JP3277418B2 (ja) 1993-09-09 1993-09-09 動きベクトル検出装置および方法

Publications (2)

Publication Number Publication Date
JPH0787495A JPH0787495A (ja) 1995-03-31
JP3277418B2 true JP3277418B2 (ja) 2002-04-22

Family

ID=17183811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24881493A Expired - Lifetime JP3277418B2 (ja) 1993-09-09 1993-09-09 動きベクトル検出装置および方法

Country Status (6)

Country Link
US (1) US5576772A (ja)
EP (1) EP0643539B1 (ja)
JP (1) JP3277418B2 (ja)
KR (1) KR100303108B1 (ja)
CN (1) CN1071978C (ja)
DE (1) DE69423557T2 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0643538B1 (en) * 1993-09-09 1999-03-17 Sony Corporation Motion vector detecting apparatus and method
GB9422018D0 (en) * 1994-10-31 1994-12-21 Vistek Electronics An improved method of estimating motion in a video signal
JP3803122B2 (ja) * 1995-05-02 2006-08-02 松下電器産業株式会社 画像メモリ装置および動きベクトル検出回路
KR0182058B1 (ko) * 1995-05-10 1999-05-01 김광호 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법
KR100207390B1 (ko) * 1995-09-15 1999-07-15 전주범 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법
US5682209A (en) * 1995-11-13 1997-10-28 Tektronix, Inc. Motion estimation using limited-time early exit with prequalification matrices and a predicted search center
US5761398A (en) * 1995-12-26 1998-06-02 C-Cube Microsystems Inc. Three stage hierarchal motion vector determination
JP3681835B2 (ja) * 1995-12-27 2005-08-10 三菱電機株式会社 画像符号化装置及び画像復号化装置及び符号化・復号化システム
US5867221A (en) * 1996-03-29 1999-02-02 Interated Systems, Inc. Method and system for the fractal compression of data using an integrated circuit for discrete cosine transform compression/decompression
US6414994B1 (en) * 1996-12-18 2002-07-02 Intel Corporation Method and apparatus for generating smooth residuals in block motion compensated transform-based video coders
EP0864999A3 (de) * 1997-03-13 1999-09-08 Philips Patentverwaltung GmbH Bildverarbeitungs-Verfahren für die medizinische Diagnostik
IT1296807B1 (it) * 1997-03-14 1999-08-02 Alsthom Cge Alcatel Metodo per la stima del movimento in sequenze di immagini codificate a blocchi in particolare per la elaborazione del segnale video
KR19990005282A (ko) * 1997-06-30 1999-01-25 배순훈 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법
DE19744134A1 (de) * 1997-09-29 1999-04-01 Hertz Inst Heinrich Verfahren zur Bestimmung von Blockvektoren für die Bewegungsschätzung
JPH11275587A (ja) * 1998-03-20 1999-10-08 Pioneer Electron Corp 動きベクトル生成装置、画像符号化装置、動きベクトル生成方法及び画像符号化方法
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
US6130912A (en) * 1998-06-09 2000-10-10 Sony Electronics, Inc. Hierarchical motion estimation process and system using block-matching and integral projection
JP2000308064A (ja) * 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US6968009B1 (en) * 1999-11-12 2005-11-22 Stmicroelectronics, Inc. System and method of finding motion vectors in MPEG-2 video using motion estimation algorithm which employs scaled frames
US6690728B1 (en) 1999-12-28 2004-02-10 Sony Corporation Methods and apparatus for motion estimation in compressed domain
US6483876B1 (en) 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation
US6671319B1 (en) 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
US6630912B2 (en) * 2001-03-20 2003-10-07 Netune Communications, Inc. Mount and controller assembly
US6813315B1 (en) 2001-04-24 2004-11-02 Vweb Corporation Motion estimation using multiple search windows
US6934332B1 (en) * 2001-04-24 2005-08-23 Vweb Corporation Motion estimation using predetermined pixel patterns and subpatterns
US6891890B1 (en) 2001-04-24 2005-05-10 Vweb Corporation Multi-phase motion estimation system and method
KR100431075B1 (ko) * 2001-08-23 2004-05-10 한국과학기술원 동영상 부호화기를 위한 고속 블록 정합 움직임 추정방법
WO2003060921A1 (fr) * 2002-01-11 2003-07-24 Sony Corporation Circuit a cellule de memoire, memoire, detecteur de vecteur de mouvement et codeur de prediction de compensation de mouvement
US7634111B2 (en) * 2002-07-30 2009-12-15 Sony Corporation Storage device, signal processor, image signal processor, and their methods
US7636481B2 (en) * 2002-10-09 2009-12-22 Sony Corporation Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels
US7336707B2 (en) 2003-06-06 2008-02-26 Samsung Electronics Co., Ltd. Method and apparatus for detecting improper area for motion compensation in video signal
US7424056B2 (en) * 2003-07-04 2008-09-09 Sigmatel, Inc. Method for motion estimation and bandwidth reduction in memory and device for performing the same
EP1763252B1 (en) * 2004-06-29 2012-08-08 Sony Corporation Motion prediction compensation method and motion prediction compensation device
TWI272852B (en) * 2004-12-21 2007-02-01 Ali Corp Motion estimation method for adaptive dynamic searching range
US20070076982A1 (en) * 2005-09-30 2007-04-05 Petrescu Doina I System and method for video stabilization
JP4802885B2 (ja) * 2006-06-19 2011-10-26 ソニー株式会社 動きベクトル検出装置および方法、プログラム並びに記録媒体
US7830565B2 (en) * 2006-06-27 2010-11-09 Motorola, Inc. Image capture device with rolling band shutter
JP2008219141A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 動きベクトル検出装置、それを用いた画像符号化装置および撮像装置
CN100592797C (zh) * 2007-09-14 2010-02-24 四川虹微技术有限公司 快速运动估计方法
US8223235B2 (en) * 2007-12-13 2012-07-17 Motorola Mobility, Inc. Digital imager with dual rolling shutters
KR101442153B1 (ko) * 2008-01-15 2014-09-25 삼성전자 주식회사 저조도 영상 처리 방법 및 시스템
JP5146388B2 (ja) * 2009-04-03 2013-02-20 沖電気工業株式会社 映像圧縮符号化データの復号装置
JP5683153B2 (ja) * 2010-07-09 2015-03-11 キヤノン株式会社 画像処理装置および画像処理方法
TWI533663B (zh) * 2012-01-17 2016-05-11 晨星半導體股份有限公司 立體影像處理裝置及立體影像處理方法
JP6135220B2 (ja) * 2013-03-18 2017-05-31 富士通株式会社 動画処理装置、動画処理方法および動画処理プログラム
BR112015024172B1 (pt) * 2013-03-26 2023-01-31 Dolby Laboratories Licensing Corporation Método, sistema e meio de armazenamento legível por computador
JP6163919B2 (ja) * 2013-07-01 2017-07-19 富士通株式会社 画像処理装置、補正方法および補正プログラム
WO2021025375A1 (en) * 2019-08-06 2021-02-11 Samsung Electronics Co., Ltd. Apparatus and method for efficient regularized image alignment for multi-frame fusion
US11151731B2 (en) * 2019-08-06 2021-10-19 Samsung Electronics Co., Ltd. Apparatus and method for efficient regularized image alignment for multi-frame fusion

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03117991A (ja) * 1989-09-29 1991-05-20 Victor Co Of Japan Ltd 動きベクトル符号化装置及び復号化装置
FR2663178B1 (fr) * 1990-06-06 1995-07-21 Thomson Csf Procede d'estimation hierarchique du mouvement dans une sequence d'images.
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
EP0520765B1 (en) * 1991-06-25 1999-05-12 Canon Kabushiki Kaisha Movement vector detecting method/apparatus and encoding method/apparatus using such method/apparatus
GB2264415B (en) * 1992-02-13 1995-09-20 Sony Broadcast & Communication Motion compensation for colour video signals

Also Published As

Publication number Publication date
JPH0787495A (ja) 1995-03-31
CN1109243A (zh) 1995-09-27
KR100303108B1 (ko) 2001-11-22
CN1071978C (zh) 2001-09-26
DE69423557T2 (de) 2000-07-27
US5576772A (en) 1996-11-19
EP0643539A3 (en) 1995-07-12
EP0643539A2 (en) 1995-03-15
DE69423557D1 (de) 2000-04-27
KR950010643A (ko) 1995-04-28
EP0643539B1 (en) 2000-03-22

Similar Documents

Publication Publication Date Title
JP3277418B2 (ja) 動きベクトル検出装置および方法
US5610658A (en) Motion vector detection using hierarchical calculation
US8130835B2 (en) Method and apparatus for generating motion vector in hierarchical motion estimation
US6549576B1 (en) Motion vector detecting method and apparatus
US20030063673A1 (en) Motion estimation and/or compensation
KR20030007087A (ko) 움직임 추정 장치 및 탐색영역에서 레퍼런스매크로블록창의 스캐닝 방법
EP2773123B1 (en) Padding of frame boundaries for video coding
US6266371B1 (en) Motion vector detecting apparatus and method
KR0166724B1 (ko) 반화소정확도를 갖는 동벡터추정방법 및 그 장치
US6104439A (en) Method and apparatus for motion estimation
US6496539B2 (en) Method and apparatus for detecting motion
JP2004529569A (ja) 埋め込みリサイジング機能を有するｍｐｅｇ復号化のためのインターレース移動領域の検出及び適正な補間
JP3277419B2 (ja) 動きベクトル検出装置および方法
JPH08294129A (ja) 動きベクトル検出装置および検出方法
JP3277417B2 (ja) 動きベクトル検出装置および方法
JP3309519B2 (ja) 動きベクトル検出装置
KR20040034702A (ko) 인터레이싱된 비디오를 위한 신호 적응성 공간 스케일링
JP3334316B2 (ja) 画像照合方法および装置
JPH1042300A (ja) 動きベクトル検出装置
JP3334317B2 (ja) 画像照合方法および装置
JP3171249B2 (ja) 動画像符号化の動きベクトル探索方法
JP3908793B2 (ja) 画像照合方法および装置
JP3908792B2 (ja) 画像照合方法および装置
JP2878580B2 (ja) 階層的動ベクトル検出方法
JP2000050278A (ja) 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080215

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090215

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100215

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100215

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130215

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140215

Year of fee payment: 12