JP3147893B2 - 画像の動きを見積もる方法 - Google Patents

画像の動きを見積もる方法

Info

Publication number
JP3147893B2
JP3147893B2 JP22450890A JP22450890A JP3147893B2 JP 3147893 B2 JP3147893 B2 JP 3147893B2 JP 22450890 A JP22450890 A JP 22450890A JP 22450890 A JP22450890 A JP 22450890A JP 3147893 B2 JP3147893 B2 JP 3147893B2
Authority
JP
Japan
Prior art keywords
vector
motion vector
candidate motion
image
partial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP22450890A
Other languages
English (en)
Other versions
JPH0392979A (ja
Inventor
デ ハーン ヘラルド
フエイヘン ヘンドリク
Original Assignee
コーニンクレッカ フィリップス エレクトロニクス エヌ ヴイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from NL8902178A external-priority patent/NL8902178A/nl
Priority claimed from NL8902179A external-priority patent/NL8902179A/nl
Application filed by コーニンクレッカ フィリップス エレクトロニクス エヌ ヴイ filed Critical コーニンクレッカ フィリップス エレクトロニクス エヌ ヴイ
Publication of JPH0392979A publication Critical patent/JPH0392979A/ja
Application granted granted Critical
Publication of JP3147893B2 publication Critical patent/JP3147893B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は画像の映像信号における、部分画像(pictur
e portion)の動き(motion)を見積もる方法に関する
もので、複数個の動きベクトル(motionvector)の候補
を、同数の出発ベクトル(starting vector)から決定
し、これら候補ベクトルから1個の動きベクトルを選び
だすことを含んでいる。
[従来の技術] そのような方法の1つは米国特許第4,853,775号明細
書に記載されている。ここで記載されている方法は、4
個の出発ベクトルから4個の候補動きベクトル(candid
ate motion vector)を作り、これら4個の候補ベクト
ルのうち、フレーム差最小の勾配アルゴリズムに関し収
斂する動きベクトルを1個だけ選びだすものである。こ
こで4個の出発ベクトルは、対象とする画素に隣接する
4画素について既に見積もりを終った動きベクトルのそ
れぞれに対応する。
[解決しようとする課題] 本発明は、とりわけ、その適用対象に対し動きの見積
もりの改善を実現しようとするものである。
[課題解決の手段] 冒頭に定義した型の方法の1つは、出発ベクトルの成
分として、既に決定済みの候補ベクトルの成分を用い、
これら各候補ベクトルとその成分はぞれぞれ出発ベクト
ルとその成分に対応させることを特徴としている。
ここでの記述では特に断らない限り、1個の部分画像
は、単一の画素から成る場合も、1群(例えば1ブロッ
ク)の画素から成る場合もある。
本発明によれば、出発ベクトルの成分としては、隣接
部分画像の動きベクトルとして最終的に選択したものの
成分ではなく、この隣接部分画像のために決定した候補
動きベクトルのうち最低1個のベクトルの成分を採用
し、これら候補動きベクトルをそれぞれこれら出発ベク
トルに対応させている。このため、各出発ベクトル成分
で決まる収斂方向、例えば画面の上から下、左から右と
いった方向は、出発ベクトル構成のため用いた1つの候
補動きベクトルがそれ自体の部分画像に対しては最善の
結果を与えなかった場合でも、十分に計算できるという
利点が生じる。しかし、出発ベクトルとして採用したこ
のような動きベクトルは、隣接部分画像につき最終的に
選んだ最善の動きベクトルを採用した場合よりも良い結
果を示すことが判明している。1個の出発ベクトルに対
応し、既に、例えば左側の隣接部分画像のため以前に決
定していた1つの候補動きベクトルというのは、その前
の段階を考えると、現左側隣接部分画像のさらに左に隣
接する部分画像の1個の候補動きベクトルを出発ベクト
ルとして作った候補動きベクトルの1つであると理解す
べきである。
本発明による動き見積もり方法の1実施例は、各部分
画像に対し2位相のサブ標本抽出(sub−sampling)を
行なうことにより、その部分画像の画素を第1、第2の
2群に分割し、第1群に対しては第1の候補動きベクト
ルを、第2群に対しては第2の候補ベクトルを決定する
ことを特徴とする。このように動き見積もりを2回行な
っても、1回の場合に比し回路素子を2倍必要とするこ
とはない。というのは、このサブ標本抽出実施により各
群には半数の画素しか残らず、各位相ごと異なる半数が
選ばれるからである。従ってこの実施例では、各部分画
像は最低2画素から成ることになる。
この実施例をさらに敷衍した1実施例は、動きを見積
もる対象部分画像のy座標に比べて、第1と第2の部分
画像のy座標は小さく、また対象部分画像のx座標に比
べると、第1部分画像のx座標は小さく第2部分画像の
x座標は大きい、ことで特徴付けられる。x座標は左か
ら右へ、y座標は頭部から底部へと大きくなる。このた
め、第1部分画像が、現在見積もり対象である部分画像
の左隣りに直接位置するような実施例があったとして、
それに比べると、この実施例では、第1候補動きベクト
ル決定時点と、その決定結果が、現在動き見積もり対象
の部分画像に属する出発ベクトルを得るため再度必要と
なる時点と間に、時間の余裕ができるという利点があ
る。
本発明に基づく別の実施例の1つは、1画面の部分画
像が、各行(横)ごとにずらして積み重ねた画素ブロッ
クである、という特徴を有する。これは、特に上記実施
例との関連で、極めて適切な選択であると判る。
例えば、「歩進探索(OTS)」の基準(IEEE Transact
ions on Communications,No.8,1985,pp 888−896で発
表)によれば、見積もられた動きベクトルは出発ベクト
ルと等しくても構わない。これに対し、本発明に基づく
見積もり方法の1実施例は、候補動きベクトルの決定に
あたっては、出発ベクトルと異なるベクトルに限りそれ
を候補動きベクトルとして決定できる、という基準に従
うことで特徴付けられる。この結果、アルゴリズムが局
所的最小(locao minimum)に止まるのを防止できる。
さらに本発明に基づくこの方法の別の実施例の1つ
は、見積もられた動きベクトルの成分に対して空間的な
低域濾波(low−pass filtering)を加えることを特徴
とする。この結果、ベクトル場には急激な過渡現象がな
くなり、低域濾波により精度が落ちるにも拘らず結果は
却って正確になるようである、というのは、ベクトルに
より補間された画面におけるブロック状誤りが発生し難
くなるからである。この低域濾波の平均化効果により、
サブ画素(sub−pixel)の精度すら得られそうである。
ここでサブ画素精度とは、隣接画素間の距離よりも微小
な精度を意味すると理解されたい。
これを更に敷衍した1実施例は、この低域濾波に以下
の段階を含むことで特徴付けられる: −出力成分を得るため、選択したベクトルの成分を巡回
濾波(recursivelyfilter)する、−この出力成分を、
選択したベクトル成分と比較し、選択したベクトルの成
分と出力成分との差が与えられたしきい値を超えるかど
うか示す制御信号を作成する、そして、−この制御信号
により選択ベクトル成分と出力成分との差がしきい値を
超えると判った場合には巡回濾波を無効にする。
新たに見積もったベクトルと濾波された出力ベクトル
との差がしきい値を超えた時のこの後置濾波機能の無効
化により、同一情景下で別の対象に属し別の方向に動い
ている2つ以上のベクトルを誤って平均化する、という
無駄を防ぐことができる。
もっと特定化した1実施例は、低域濾波したベクトル
成分を用いて空間的サブ標本化動作を行いデータの節約
を図ることを特徴とするもので、この方法は例えば、伝
送または蓄積システムの符号化回路に用いられ、その場
合、対応する復号回路では、伝送されたベクトル情報を
用いた補間により動き補償が行なわれる。
本発明による見積もり方法のさらに別の実施例は、動
きの見積もりに先立ち、画像信号を、係数(1/4、1/2、
1/4)の時間的濾波器により時間的に低域濾波すること
を特徴とするものである。この場合、フィールドからフ
ィールドにかけ、現フィールドに隣接して交互に上下に
現われる走査線には係数1/4が乗ぜられる。こうするこ
とで、引き続くフィールド間に、画像の動きと無関係に
大きな差を起こし兼ねない高い垂直周波数を濾波し去る
ことができ、より良い動き見積もりが可能になる。
本発明による今1つの実施例は、候補動きベクトルの
決定過程に以下の段階を含むことで特徴付けられる:−
対象画像信号、1フィールド遅れの画像信号、および1
フィールド・1走査線遅れの画像信号の3つのうちから
メディアン(中央値)を採り、これに濾波した信号を作
ること、ならびに−対象画像信号と濾波した信号とに基
づき候補動きベクトルを見積もること。このメディアン
前置濾波器により、本来の見積もり回路には一種の準順
次走査信号(quasiprogressive scan signal)が加えら
れ、飛び越し走査に基づく見積もり誤差が回避できる。
[実施例] 次に、本発明の上記およびその他の(より詳細な)局
面を、以下の例と図面を用いてもっと詳細に記述し解明
する。
第1図には、部分画像の可能な第1の配置とそれらの
ベクトル成分とを示す。第1図の右下隅には、以下の記
述および前記の特許請求範囲記載におけるx、y座標の
定め方を示している。x座標は左から右へ、y座標は上
から下へ増加する。第1図の中央に位置する部分画像
は、これを対象に2個の候補動きベクトルから1個の動
きベクトルを選択しようとしている部分画像を示し、ま
た、これら候補ベクトルは、2個の出発ベクトル(x0,y
0)から出発し、ある既定の基準に基づいて決定される
べきものである。これら出発ベクトルの成分は、他の部
分画像のため既に決定済みの候補動きベクトルの成分で
あり、ここでは各出発ベクトルごとに最低1個の候補動
きベクトルが用いられる。注意したいのは、現時点の見
積もり対象である部分画像φのための出発ベクトルとし
ては、隣接部分画像の見積もり過程で先に決定した「候
補」動きベクトルが用いられる点である。また、ここで
用いる候補動きベクトルが最終的に動きベクトルとして
選択されたものかどうかは無関係であることも注意を要
する。ここで出発ベクトルの1つに対応する候補ベクト
ルとして、例えば左側に隣接する部分画像のために先に
既に決定済みの候補動きベクトルを考えると、これは、
左側のさらに左側に隣接する部分画像に関する候補ベク
トルを出発ベクトルとして作られた候補動きベクトルを
意味する、と理解せねばならない。その結果として、各
出発ベクトルに属する収斂方向は、このようにして得た
候補動きベクトルが最善の結果をもたらしていない場合
でも、各出発ベクトルに属する収斂方向は十分に計算で
きる。しかし、このようにして得られる動きベクトルの
方が、以前ある1個の部分画像のため最適として最終的
に選択した動きベクトルを、出発ベクトルとして見積も
った動きベクトルよりも、好結果を与えることが判っ
た。従って、候補動きベクトルから出発できるようにす
るのには、各部分画像ごとに、両出発ベクトルともに1
個の候補動きベクトルに到達する必要がある。
1つの部分画像は、単一の画素でも、1群(ブロッ
ク)の画素でもよい。既定の基準とは、例えば「歩進探
索(One step at a Time Search,OTS)」(IEEE Transa
ctions on Communications,No.8,1985,pp 888−896)、
あるいは第5回デジタル通信信号処理国際会議(Loughb
orough,20−23,September 1988)で発表された「勾配適
応探索(Gradient Adaptive Search)」基準(No.82,In
stitution of Electronic and Radio Engineers,pp 109
−115)などである。この歩進探索基準の内容は、見積
もり誤差最小の変化(シフト)を、先ず出発ベクトルか
ら出発して水平またはx方向について求め、引き続き、
このシフトから出発して垂直またはy方向について見積
もり誤差最小のシフトを求めるものである。
予め設定する基準としては、出発ベクトル自体が見積
もり結果と成り得るもの、成り得ないもの、のいずれで
もよい。もし出発ベクトル自体が見積もり結果と成り得
ない場合、複数の候補動きベクトルの見積もり誤差を比
較する基準回路に要する素子は相対的に少なくて済む、
というのは、出発ベクトルを用いる時発生する見積もり
誤差を算定し比較する必要がなくなるからである。その
上、基準として、出発ベクトルを除外することにより、
アルゴリズムが局所最小に陥ることが防げる。このよう
な基準を用いることにより、動きの見積もりは、連続す
る部分画像について類似の見積もり結果を生じることが
少なくなるが、ベクトル成分を空間的に低域濾波するこ
とにより、正しいベクトル値の周辺ではこの基準に起因
する振動が防げるので問題は無い。
大きなブロックを用いる場合、最大の誤り勾配(faul
t gradient)を有する軸上で誤差が最小になるようなベ
クトルを選択する、という基準が良い結果をもたらすこ
とが判った。この種の基準の1つとして、4個のベクト
ル(a±k,b)と(a,b±k)、すなわち出発ベクトル
(a,b)に対し水平または垂直方向に±k画素分だけ変
化させたベクトル、を比較して最適ベクトルを決定す
る、という内容の基準も良い結果を与える上、実現が容
易である。一般に、kの値を増すほど収斂度は良くなる
が不安定度も高くなることが知られている。実際上、部
分画像の大きさとして1x2画素を用いる時のkの最適値
は1、4x8画素を用いる時のkの最適値は2となるよう
である。別の方法として、kの値を見積もり誤差と関連
付けることも可能である。すなわち、比較的大きな誤差
が生じた場合には、別のもっと適当なベクトルを迅速に
探しだせることを期待してkの値を大きくし、誤差が小
さい場合には、そのベクトルがほぼ正しいことが明らか
なためkの値は小さくても十分である。さらに、1回の
見積もり動作で、k=1ないし3に対応する8個のベク
トルを比較することも可能である。
第1図では、中央の部分画像φの左に第1部分画像
I、上に部分画像IIが位置し、φに対して左から発生す
る第1の候補動きベクトル(x1,y1)と、上から発生す
る第2の候補動きベクトル(x2,y2)とが、それぞれ既
に決定されでいることを示している。極めて素直な実現
形態としては、候補ベクトル(x1,y1)を中央部分画像
φの第1出発ベクトル、候補ベクトル(x2,y2)を第2
出発ベクトルとして採用することもできよう。
注意しておくが、1つの動き見積もり方法における出
発ベクトルの成分は、異なる2つの隣接部分画像につい
て既に見積もった2つの動きベクトルの成分を組合せる
のが望ましい、という認識は一般に適用できるものであ
り、出発ベクトルの成分として望ましいのは、少なくと
も1つの最終選択動きベクトルではなく、少なくとも1
つの候補動きベクトルの成分である、という別の認識と
結びついた場合に限定されるものではない。
連続した部分画像の第2の可能な配置を、それぞれの
ベクトル成分とともに第2図に示す。この配置では、第
1の部分画像Iが、動きを見積もろうとする部分画像φ
の斜め上に位置しており、これには次のような利点があ
る。すなわち、第1図に示した配置のように、第1部分
画像Iが動きを見積もろうとする部分画像φと同一走査
線上にある場合に比較して、第2図の配置では、候補動
きベクトル(x1,y1)が決定される時点と、この候補ベ
クトルが出発ベクトル(x0,y0)構成のため要求される
時点との間に時間の余裕ができるのである。この出発ベ
クトルは第1図に関連して述べたと同様な複合型でも構
わない。
第1図または第2図の部分画像IIIおよびIVの候補動
きベクトルを用いる場合に発生する因果喪失問題(non
−causalirty problem)のもう1つの解決策は、先行フ
ィールド周期においてこれら部分画像のため決定した候
補動きベクトルを用いることである。
望ましい場合には、すべての部分画像IからIVまでの
対応する4個の候補動きベクトルから出発して決定した
候補動きベクトルを比較することも可能である。ここで
も部分画像IIIとIVの候補ベクトルは先行フィールド周
期中に決定したものが用いられる。この実施例のもう1
つの変形として、各出発ベクトルを、隣接部分画像I−
IVのため既に決定した候補動きベクトルのうち各2個ず
つ、の成分を用いて構成してもよい。これらの変形によ
れば、画面の輪郭を通過する場合にアルゴリズムを迅速
に収斂させることができる、というのは、輪郭の両側の
見積もり結果が勘案されるからである。
さらにいま1つの変形として、先行フィールドのベク
トルに基づく見積もりと、現フィールドのベクトルに基
づく見積もりとを比較選択する方法があり得る。この変
形において、先行フィールドのベクトルに基づく見積も
りを行なう際には、第1図の配置によればよく、この場
合部分画像I−IVのすべての候補動きベクトルが利用さ
れる。現フィールドのベクトルに基づく見積もりは第2
図の配置によればよく、ここでは部分画像IとIIの候補
動きベクトルのみ使用される。先行フィールドのベクト
ルによる見積もりと、現フィールドのベクトルによる見
積もりのうち、いずれを選択するかは、候補動きベクト
ル(x1,y1)を第1図と第2図の部分画像Iにそれぞれ
当てはめた結果の見積もり誤差を蓄積しておき、これに
基づいて行なうのが望ましい。この選択は先験的なも
の、すなわち、見積もりを実施する以前のデータによる
選択なので、選択の見込みのないものについて、見積も
りを行なう必要はない。もちろん、両者をそれぞれ実際
に見積もってその結果を比較のうえ選択することは可能
であるが、そうすると処理回路は大きくなる。先行フィ
ールドのベクトルに基づく見積もり法は、もし先行フィ
ールドのベクトルのうち、第1図の部分画像IVのため決
定した候補動きベクトルのみを考慮することとすれば、
簡略化が可能となる。つまり全部で、第2図の部分画像
IおよびIIと第1図の部分画像IVだけを用いるのであ
る。
第3図は、2x4画素のブロックをずらして積み重ね配
置し、これらの画素を第1、第2の2位相に分けて標本
抽出する様子を示す。第1位相で抽出される標本は第3
図の「1」で、第2位相のそれは第3図の「2」で示し
てある。この標本抽出動作では、各位相ごと原画素の半
数が残るので、本発明によれば、2倍の回路素子を要せ
ずに、異なる出発ベクトルを用いた2重の見積もりを行
なうことが可能になる。ここで、出発ベクトルとして
は、第2図の方法において、ブロックφの動きを見積も
るためIおよびIIで示したブロックに関し、既に決定済
みの候補動きベクトルの成分から成るものを利用する。
図面に示した以外のどんな標本抽出法を採用しても構わ
ないのは明らかであるが、ここで例えば、走査線から走
査線へと逆位相で(anti−phase)標本抽出する必要は
ない。
動きの見積もりを行なうに先立ち、画像信号を時間的
に低域濾波してもよい。この濾波により、画像の動きと
無関係に隣接フィールド間に大きな差異を引き起こす高
い垂直周波数が除去され、見積もり結果が改善されると
いう利益が生まれる。この時間前置濾波器に関する望ま
しい1実施例における動作モードを図式的に示したのが
第4図である。第4図は点線で上下に分かれ、それぞれ
には、濾波の対象である現フィールドとその前後の、時
間的に引き続く計3つのフィールドからの、複数の走査
線を示してある。この濾波器は係数(1/4,1/2,1/4)に
従って動作し、フィールドからフィールドへと現フィー
ルドの走査線の上下に交替に出てくる、隣接両フィール
ドからの走査線に対しては係数1/4を乗じる。実用上こ
の濾波器は良い結果をもたらすようである。
雑音の影響を減らすため、動き見積もりに先立ち、画
像信号を空間的に低域濾波することができる。画像信号
はここでも、空間的にサブ抽出すれば、フィールドの所
要記憶容量を半減することができる。
選択したベクトルの成分を空間的に濾波すれば、急激
な過渡現象の無いベクトル場が得られ、濾波による精度
の低下にも拘らず、より精密な結果が期待できる、とい
うのは、このようにして得られたベクトルで補間した画
像では、ブロック状の誤差が起こり難くなるからであ
る。この低域濾波の平均化効果によれば、サブ画素精
度、すなわち、隣接画素間の距離よりも細かな精度すら
得られそうである。見積もった動きベクトルの成分を低
域濾波すると、さらに、低域濾波されたベクトル成分に
ついて、折り返し(fold−back)効果を生じることなし
に空間的なサブ標本抽出ができる、という利益が加わ
る。このサブ標本抽出動作によりデータが節約出来る結
果、本発明による方法では部分画像の寸法を縮小できる
こととなる。その利点としては、対象物の境界線を忠実
にたどれることであり、一方欠点としては、出てくるベ
クトルの数が増加することである。しかしこの方法の用
途として、伝送されたベクトル情報を用いて復号回路で
動き補償用の補間をするような、画像信号伝送または蓄
積システムにおいて、そのための動き情報の伝送容量が
限られているような場合には、この方法をそのシステム
の符号化回路部分に適用するのが依然有効である。伝送
されたベクトル情報の補間で回復したベクトル成分を用
いて画像信号の補間を行なうことにより、大きなブロッ
クのブロック境界で生じるブロック誤差のうち、対象物
の境界とは一致しないものの発生は減るが、その一方
で、ベクトル成分についてサブ標本抽出を行なうため、
より大きなブロックの動きを見積もる場合に伝送された
筈のベクトル情報を上回るような情報は伝送されていな
い。
画像信号の動きを見積もるに先立つ濾波、見積もりを
終わったベクトルの成分の濾波、の何れかまたは双方を
を行なうために適した、空間低域濾波器の可能な1つの
構造を第5図に示す。濾波器の1つの入力1が加算器5
の入力3に接続され、加算器5の出力7は、メモリーP
を介し1画素周期遅れて加算器5の第2入力9に接続さ
れる。メモリーPの出力11は、加算器15の第1入力13に
接続され、加算器15の出力17はメモリーLを介し1走査
線周期だけ遅れて加算器15の入力19に接続される。メモ
リーLの出力21は、この空間濾波器の出力23に接続され
る。
本発明による動き見積もり装置の1実施例を第6図に
示す。この動き見積もり装置の1つの入力61は、第1の
2相標本抽出回路63、および、フィールドメモリーFを
介し第2の2相標本抽出回路65、の双方に接続される。
これら2相標本抽出回路63、65はそれぞれ、第1相候補
動きベクトル決定器67と第2相候補ベクトル決定器69に
接続される。第1相決定器67は、第3図の「1」で示し
た標本の動きを見積もり、第2相決定器69は、第3図の
「2」で示した標本の動きを見積もる。これら候補動き
ベクトル決定器67と69は、最適ベクトル選択回路71へ接
続されると同時に、それぞれベクトル成分メモリー73、
75を介して、新たな出発ベクトル成分蓄積のため、それ
ら(67、69)自体にも接続される。既に述べたように、
第1相の動き見積もりには、第2相の動き見積もりと異
なる出発ベクトルが用いられる。最適ベクトル選択回路
は、候補動きベクトル決定器67、69により見積もった候
補動きベクトルから最適のベクトルを選んで、この動き
見積もり装置の出力77へ導く。第6図から明らかなよう
に、ベクトル成分メモリー73と75の入力には、それぞれ
候補動きベクトル決定器67、69の出力が接続されでい
る。本発明によるこの構成、すなわち、そこでは、各出
発ベクトルから出発して候補ベクトルが別々に決定され
た後、両候補ベクトルのうち1つの動きベクトルが選択
され、またそこでは、出発ベクトルの成分として、既に
決定されそれぞれ出発ベクトルに対応する候補動きベク
トルの、対応する成分が採用されている、というこの構
成は、これまでの技術による構成として、ベクトル成分
メモリー73、75が最適ベクトル選択回路71の出力77に接
続されその結果として、出発ベクトルの成分としては選
択された最適動きベクトルに対応する成分が採用される
ような構成、よりも優れた結果を与えるようである。1
つの出発ベクトルに対応し、既に例えば左側隣接部分画
像のために決定済みの1つの候補動きベクトルというの
は、それ自体、ここでいう左側隣接部分画像のすぐ左に
位置する部分画像の候補動きベクトルである、出発ベク
トルに基づいて作られた候補動きベクトルを意味する、
と理解せねばならない。
既に述べたような変形、すなわち直前のフィールドベ
クトルに基づく見積もりと、現時点のフィールドベクト
ルに基づく見積もりとを併用する方法を具体化するに
は、各ベクトル成分メモリー(73または75)は、現時点
フィールドからの候補動きベクトルを蓄積する第1メモ
リーと、直前フィールドからの候補動きベクトルを蓄え
る第2メモリー、および、第1メモリーの出力か第2メ
モリーの出力かを、候補動きベクトル決定器(67か69そ
れぞれ)に選択結合するスイッチ、から成る必要があ
る。このスイッチは既に述べたように、蓄積した見積も
り誤差により制御される。
前述のように、画信号は空間および(または)時間的
な低域濾波器を介して動き見積もり装置に加えてもよい
(第7図参照)。空間および時間両濾波を行なう場合に
は、先ず空間次いで時間濾波という順序を採れば、時間
濾波に必要なメモリーが少なくて済むという利益があ
る。さらに、動き見積もり装置の出力77は、空間低域濾
波器につなぐことも出来るし(第8図参照)、さらにオ
プションとして標本抽出回路につなぐこともできる。
第7図に示すのは、本発明による動き見積もり装置の
もう1つの実施例の一部分であり、ここでは、候補動き
ベクトル決定回路の前位に1個のメディアン前置濾波器
が置かれる。このメディアン前置濾波器は第4図の前置
濾波器の代替と考えてよい。第7図において、入力信号
61は、メディアン前置濾波器79の入力として、直接、フ
ィールドメモリーF経由、およびフィールドメモリーF
と走査線メモリーL経由、の3形態で供給される。この
種のメディアン濾波器は既知の技術であり、米国特許第
4,740,842号明細書を参照されたい。メディアン濾波器7
9の出力と入力61とは、候補動きベクトル決定回路81の
入力として供給されるが、この決定回路81は、第6図に
示したような候補動きベクトル決定器69とベクトル成分
メモリー75との組合せから成っていてもよい。この前置
濾波器の存在により、候補動きベクトル決定回路には、
一種の準順次走査信号が加えられ、これにより飛び越し
走査による見積もり誤差が軽減される。
第8図には、見積もった動きベクトルに対する空間型
後置濾波器を示す。動き見積もり装置の出力77(第6図
参照)は、第1の乗算器83、加算器85、遅延回路87、お
よび遅延回路87の出力を加算器85の入力端子に供給する
第2の乗算器89、から成る重み付き平均回路に加えられ
る。この後置濾波器の出力は遅延回路87の出力により形
成されるが、代わりに加算器85の出力で形成してもよ
い。乗算器83は1−kを乗じ、乗算器89はkを乗じる。
1つの望ましい実施例によれば、これらの乗算器が両方
とも、減算器91と1つの敷居値回路93を含む1つの非直
線デバイスによって制御されている。この減算器は新た
に見積もった動きベクトルを濾波器の出力と比較し、こ
れら2つのベクトルの差が与えられた値より大きい場合
には、敷居値回路93は乗算係数k(通常は1/2)を0に
セットし、これにより濾波作用を実質無効にして、新た
に見積もったベクトルを濾減せずにそのまま出力する。
この切り替え動作を行なう根拠としては、もし新たに見
積もったベクトルと濾波器の出力(または以前見積もっ
たベクトル)との差が大きくなり過ぎる場合には、新た
に見積もったベクトルは多分、その情景のなかで別の方
向へ動いている異なる対象物に属するだろう、または換
言すれば、最適ベクトル選択回路71は、2つの異なる収
斂方向の間で切り替えを行なっている、という認識に基
づいている。そうであれば、動きベクトルの平均値算定
は全く無意味であり、濾波作用は殺した方が良い。
上記の説明では、請求する発明と組合せる形で、数個
の変形と拡張を述べてきたが、これら変形も拡張もそれ
ぞれ、これ以外の動き見積もり装置との組合せ利用も可
能な筈、という点に注意を喚起しておく。例えば、ここ
で延べた前置、後置の濾波器は他の動き見積もり装置に
も利用出来る。本申請者たちは、ここに、本申請あるい
は関連して派生する何らかの申請の続行過程において、
これらの機能および(または)機能の組合せに関して新
たな請求が形成されるかも知れないことを通告するもの
である。
【図面の簡単な説明】
第1図には、部分画像に関する可能な第1の配置を、各
関連ベクトル成分と併せて示す; 第2図には、同じく第2の配置を、各関連ベクトル成分
と併せて示す; 第3図には、ずらして積み重ねた画素のブロックに関
し、第1、第2の2位相で標本抽出した画素の配置を示
す; 第4図には、走査線から発生するラスター列のスケッチ
との関連で、時間的前置濾波器の動作モードを示す; 第5図には、空間的、前置または後置濾波器の可能な構
造を示す; 第6図には、本発明に基づく、動き見積もり装置の1実
施例を示す; 第7図には、本発明に基づく、動き見積もり装置の別の
実施例の一部を示し、この例では、メディアン前置濾波
器が動きベクトル候補の決定回路の前位に設けられてい
る; 第8図には、見積もった動きベクトルのための空間的後
置濾波器を示す。
フロントページの続き (56)参考文献 特開 昭62−53584(JP,A) 特開 昭62−206980(JP,A) 特開 昭64−13882(JP,A) 特開 昭64−69179(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 G06T 7/20

Claims (13)

    (57)【特許請求の範囲】
  1. 【請求項1】画像の映像信号における部分画像の動きベ
    クトルを見積もる方法であって、複数の候補動きベクト
    ルを同数の出発ベクトルから出発して決定し、これら決
    定した候補動きベクトルのうちから1個の動きベクトル
    を選択する方法において、前記出発ベクトルの成分とし
    て、空間的に及び/又は時間的に隣接する部分画像の既
    に以前決定した候補動きベクトルの対応する成分を採用
    することを特徴とする方法。
  2. 【請求項2】前記動きベクトルが見積もられる前に、前
    記画像の映像信号をサブ標本抽出することを特徴とする
    請求項1に記載の方法。
  3. 【請求項3】各部分画像の画素が、第1及び第2の位相
    で前記部分画像をサブ標本抽出することにより、第1群
    及び第2群に分けられ、第1の候補動きベクトルは第1
    群に対して決定され、第2の候補動きベクトルは第2群
    に対して決定されることを特徴とする請求項2に記載の
    方法。
  4. 【請求項4】動きベクトルの見積もりが、直前のフィー
    ルド期間中において少なくとも1つの隣接する部分画像
    に対する少なくとも1つの候補動きベクトルに更に基づ
    くことを特徴とする請求項1に記載の方法。
  5. 【請求項5】前記直前のフィールド期間からの少なくと
    も1つの候補動きベクトルに対する部分画像が、現在の
    部分画像のy座標値を越えるy座標値を持つことを特徴
    とする請求項4に記載の方法。
  6. 【請求項6】1個の画像内の各部分画像が、行ごとにず
    らして積み重ねた画素ブロックであることを特徴とする
    請求項1ないし5のうちの何れか1項に記載の方法。
  7. 【請求項7】候補動きベクトル決定にあたっては、出発
    ベクトルと異なるベクトルに限り候補動きベクトルとし
    て決定可能とする、という基準に従うことを特徴とする
    請求項1ないし6のうちの何れか1項に記載の動き見積
    もり方法。
  8. 【請求項8】選択したベクトルの成分に対し空間的な低
    域濾波を行なうことを特徴とする請求項1ないし7のう
    ちの何れか1項に記載の動き見積もり方法。
  9. 【請求項9】請求項8に記載の方法であって、その低域
    濾波動作の中に、 −出力成分を得るため、選択したベクトルの成分を巡回
    濾波する段階、 −選択したベクトル成分がこの出力ベクトル成分に対
    し、与えられたしきい値以上異なるかどうかを示す制御
    信号を得るため、出力成分と選択したベクトルの成分を
    比較する段階、および −この制御信号により、選択したベクトル成分が、出力
    ベクトル成分に対ししきい値以上離れていることが分か
    ったら、巡回濾波を無効にする段階を含むことを特徴と
    する動き見積もり方法。
  10. 【請求項10】低域濾波したベクトル成分を、空間的に
    サブ標本抽出することを特徴とする請求項8に記載の動
    き見積もり方法。
  11. 【請求項11】動きの見積もりに先立ち、係数(1/4,1/
    2,1/4)の時間濾波器を用いて画像信号を低域濾波し、
    その場合、フィールドからフィールドにかけ、現フィー
    ルドの走査線の上下に交替に現われる、両隣接フィール
    ドからの走査線には係数1/4が乗じることを特徴とする
    請求項1ないし10のうちの何れか1項記載の動き見積も
    り方法。
  12. 【請求項12】候補動きベクトル決定段階として、 −濾波した信号を得るため、現画像信号、1フィールド
    遅れの画像信号、および1フィールドと1走査線遅れの
    画像信号、の3者のメディアンを採る段階、ならびに、 −現画像信号と濾波した信号とに基づき候補動きベクト
    ルを見積もる段階を含むことを特徴とする請求項1に記
    載の動き見積もり方法。
  13. 【請求項13】画像の映像信号における部分画像の動き
    ベクトルを見積もる装置であって、複数の候補動きベク
    トルを同数の出発ベクトルから出発して決定する手段
    と、これら決定した候補動きベクトルのうちから1個の
    動きベクトルを選択する手段とを有する装置において、
    前記出発ベクトルの成分としては、空間的に及び/又は
    時間的に隣接する部分画像の既に以前決定した候補動き
    ベクトルの対応する成分を採用する手段を有することを
    特徴とする装置。
JP22450890A 1989-08-29 1990-08-28 画像の動きを見積もる方法 Expired - Lifetime JP3147893B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
NL8902178A NL8902178A (nl) 1989-08-29 1989-08-29 Bewegingsschatting.
NL8902179 1989-08-29
NL8902178 1989-08-29
NL8902179A NL8902179A (nl) 1989-08-29 1989-08-29 Bewegingsschatting.

Publications (2)

Publication Number Publication Date
JPH0392979A JPH0392979A (ja) 1991-04-18
JP3147893B2 true JP3147893B2 (ja) 2001-03-19

Family

ID=26646572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22450890A Expired - Lifetime JP3147893B2 (ja) 1989-08-29 1990-08-28 画像の動きを見積もる方法

Country Status (4)

Country Link
US (1) US5072293A (ja)
EP (1) EP0415491B1 (ja)
JP (1) JP3147893B2 (ja)
DE (1) DE69026557T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406376B2 (en) 2009-12-18 2016-08-02 Kabushiki Kaisha Toshiba Motion vector detection apparatus and method
US10003782B2 (en) 2012-11-01 2018-06-19 Kabushiki Kaisha Toshiba Image processing device, method, computer-readable medium and 3D image display

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2651405B1 (fr) * 1989-08-29 1992-05-22 Philips Electronique Lab Procede et dispositif de traitement d'images a estimation de mouvement amelioree.
DE4111980A1 (de) * 1991-04-12 1992-10-15 Thomson Brandt Gmbh Verfahren zur codierung
JP3115651B2 (ja) * 1991-08-29 2000-12-11 シャープ株式会社 画像符号化装置
USRE39276E1 (en) * 1991-11-08 2006-09-12 Matsushita Electric Industrial Co., Ltd. Method for determining motion compensation
US5369449A (en) * 1991-11-08 1994-11-29 Matsushita Electric Industrial Co., Ltd. Method for predicting move compensation
USRE39279E1 (en) * 1991-11-08 2006-09-12 Matsushita Electric Industrial Co., Ltd. Method for determining motion compensation
KR100254956B1 (ko) * 1991-12-23 2002-12-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 재귀비데오신호프로세서
GB9204117D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
EP0577165B1 (en) * 1992-05-15 1997-12-10 Koninklijke Philips Electronics N.V. Motion-compensated picture signal interpolation
DE69323572T2 (de) * 1992-06-11 1999-09-16 Koninklijke Philips Electronics N.V., Eindhoven Anordnung zum bewegungsausgeglichenen Interpolieren eines Bildsignals
US5412435A (en) * 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
DE4322343C2 (de) * 1992-07-06 1996-10-02 Mitsubishi Electric Corp Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors
FR2699780B1 (fr) * 1992-12-22 1995-03-17 Philips Electronique Lab Dispositif de traitement récursif de signal vidéo comprenant une pluralité de branches.
KR960010198B1 (ko) * 1993-07-21 1996-07-26 배순훈 동영상 부호화기의 움직임 추정방법 및 장치
KR970002964B1 (ko) * 1993-12-24 1997-03-13 대우전자 주식회사 영상신호의 시간축 내삽필터
US5537155A (en) * 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
JP3468856B2 (ja) * 1994-07-28 2003-11-17 株式会社東芝 動きベクトル検出方法及び装置
FR2725577B1 (fr) * 1994-10-10 1996-11-29 Thomson Consumer Electronics Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede
US5617149A (en) * 1994-11-22 1997-04-01 Electronics And Telecommunications Research Institute Apparatus and method for detecting scene changes using the difference of mad between image frames
CN1166215C (zh) 1998-02-13 2004-09-08 皇家菲利浦电子有限公司 视频编码方法和装置
WO2000065829A1 (en) 1999-04-26 2000-11-02 Koninklijke Philips Electronics N.V. Sub-pixel accurate motion vector estimation and motion-compensated interpolation
WO2002021438A2 (en) * 2000-09-07 2002-03-14 Koninklijke Philips Electronics N.V. Image matching
CN1248509C (zh) 2001-02-13 2006-03-29 皇家菲利浦电子有限公司 运动信息编码和解码方法
US6931063B2 (en) 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
JP2004531012A (ja) * 2001-06-29 2004-10-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ セグメント照合における優先順位付け
KR100413770B1 (ko) * 2001-09-19 2004-01-03 삼성전자주식회사 완전 탐색블록 정합회로 및 완전 탐색블록 정합방법
US6885706B2 (en) * 2002-01-05 2005-04-26 Aiptek International Inc. Method for promoting temporal resolution of sequential images
US8073054B2 (en) 2002-01-17 2011-12-06 Trident Microsystems (Far East) Ltd. Unit for and method of estimating a current motion vector
US7305032B2 (en) * 2002-08-02 2007-12-04 Kddi Corporation Image matching device and method for motion pictures
US20060098886A1 (en) * 2003-01-10 2006-05-11 Koninklijke Philips Electronics N.V. Efficient predictive image parameter estimation
US20050013496A1 (en) * 2003-07-16 2005-01-20 Bruls Wilhelmus Hendrikus Alfonsus Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
KR100574523B1 (ko) * 2003-07-31 2006-04-27 삼성전자주식회사 움직임 타입 판단 장치 및 방법
US7660439B1 (en) 2003-12-16 2010-02-09 Verificon Corporation Method and system for flow detection and motion analysis
FR2871018A1 (fr) 2004-05-25 2005-12-02 St Microelectronics Sa Procede et dispositif pour les systemes d'interpolation d'images par estimation et compensation de mouvement
US20060198441A1 (en) * 2005-03-02 2006-09-07 Hua-Chang Chi Motion detection method for detecting motion objects in video frames generated from a video surveillance system
US8588513B2 (en) * 2005-07-18 2013-11-19 Broadcom Corporation Method and system for motion compensation
US8519928B2 (en) * 2006-06-22 2013-08-27 Entropic Communications, Inc. Method and system for frame insertion in a digital display system
DE102007051175B4 (de) * 2007-10-25 2012-01-26 Trident Microsystems (Far East) Ltd. Verfahren zur Bewegungsschätzung in der Bildverarbeitung
DE102007051174B4 (de) 2007-10-25 2011-12-08 Trident Microsystems (Far East) Ltd. Verfahren zur Bewegungsschätzung in der Bildverarbeitung
EP2487649A1 (de) * 2008-03-18 2012-08-15 Trident Microsystems (Far East) Ltd. Testen eines Bewegungsvektors
DE102008014790A1 (de) 2008-03-18 2009-10-01 Micronas Gmbh Verfahren zum Testen eines Bewegungsvektors
DE102008036279B4 (de) 2008-08-04 2011-03-17 Trident Microsystems (Far East) Ltd. Verfahren zur Ermittlung eines Bewegungsvektor zu einem Bildblock eines Zwischenbilds
BR112012009116A2 (pt) 2009-10-22 2020-08-18 Koninklijke Philips Electronics N.V método para o alinhamento de uma pilha ordenada de imagens de um corpo de prova, equipamento para o alinhamento de uma pilha ordenada de imagens de um corpo de prova, produto de programa de computador, transportador de dados
US8736767B2 (en) 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8501582A (nl) 1985-02-12 1986-09-01 Philips Nv Videosignaalverwerkingsschakeling voor de verwerking van een geinterlinieerd videosignaal.
FR2624682B2 (fr) * 1987-03-23 1990-03-30 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
DE3853554T2 (de) * 1987-06-09 1995-08-24 Sony Corp Bewegungsvektorabschätzung in Fernsehbildern.
EP0314018B1 (en) * 1987-10-30 1993-09-01 Nippon Telegraph And Telephone Corporation Method and apparatus for multiplexed vector quantization
FR2623955B1 (fr) * 1987-11-27 1990-04-27 Labo Electronique Physique Procede et dispositif d'estimation et de compensation de mouvement dans une sequence d'images et leur application dans un systeme de transmission d'images de television a haute definition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406376B2 (en) 2009-12-18 2016-08-02 Kabushiki Kaisha Toshiba Motion vector detection apparatus and method
US10003782B2 (en) 2012-11-01 2018-06-19 Kabushiki Kaisha Toshiba Image processing device, method, computer-readable medium and 3D image display

Also Published As

Publication number Publication date
US5072293A (en) 1991-12-10
EP0415491B1 (en) 1996-04-17
EP0415491A1 (en) 1991-03-06
DE69026557D1 (de) 1996-05-23
JPH0392979A (ja) 1991-04-18
DE69026557T2 (de) 1996-10-31

Similar Documents

Publication Publication Date Title
JP3147893B2 (ja) 画像の動きを見積もる方法
US6122017A (en) Method for providing motion-compensated multi-field enhancement of still images from video
US8208551B2 (en) Method and system for hierarchically layered adaptive median motion vector smoothing
US6452639B1 (en) Raster scan conversion system for interpolating interlaced signals
EP1850590A2 (en) Motion compensated video spatial up-conversion
JP3813320B2 (ja) 動きベクトル検出方法および装置
KR100565066B1 (ko) 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
JP2003512749A (ja) 動き推定方法及びその装置
US5386248A (en) Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems
JP2579930B2 (ja) 複合信号分離回路
US6714593B1 (en) Motion compensating prediction of moving image sequences
JP3674186B2 (ja) 画像情報変換装置および方法
JP2782766B2 (ja) 動画静止画変換方法
EP0801862B1 (en) Data filtering
JP2642846B2 (ja) フィールド間の動き検出装置
Chan et al. On block motion estimation using a novel search strategy for an improved adaptive pixel decimation
JP2650896B2 (ja) 動き適応信号処理回路
JP3022977B2 (ja) テレビジョン信号内挿方式
JP3024465B2 (ja) フレーム間輝度信号・色信号分離装置
JP2813228B2 (ja) 方式変換器
EP1617673A1 (en) Means and method for motion estimation in digital Pal-Plus encoded videos
Dantwala et al. High quality, cost-effective film-to-video converter for high definition television
JPS62173865A (ja) テレビジヨン信号処理装置
JPS5850863A (ja) 垂直補間装置
JPH07264630A (ja) Museデコーダ動き補正回路

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080112

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090112

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090112

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 10