JP3147893B2 - 画像の動きを見積もる方法 - Google Patents
画像の動きを見積もる方法Info
- Publication number
- JP3147893B2 JP3147893B2 JP22450890A JP22450890A JP3147893B2 JP 3147893 B2 JP3147893 B2 JP 3147893B2 JP 22450890 A JP22450890 A JP 22450890A JP 22450890 A JP22450890 A JP 22450890A JP 3147893 B2 JP3147893 B2 JP 3147893B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- motion vector
- candidate motion
- image
- partial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Television Systems (AREA)
Description
e portion)の動き(motion)を見積もる方法に関する
もので、複数個の動きベクトル(motionvector)の候補
を、同数の出発ベクトル(starting vector)から決定
し、これら候補ベクトルから1個の動きベクトルを選び
だすことを含んでいる。
書に記載されている。ここで記載されている方法は、4
個の出発ベクトルから4個の候補動きベクトル(candid
ate motion vector)を作り、これら4個の候補ベクト
ルのうち、フレーム差最小の勾配アルゴリズムに関し収
斂する動きベクトルを1個だけ選びだすものである。こ
こで4個の出発ベクトルは、対象とする画素に隣接する
4画素について既に見積もりを終った動きベクトルのそ
れぞれに対応する。
もりの改善を実現しようとするものである。
分として、既に決定済みの候補ベクトルの成分を用い、
これら各候補ベクトルとその成分はぞれぞれ出発ベクト
ルとその成分に対応させることを特徴としている。
は、単一の画素から成る場合も、1群(例えば1ブロッ
ク)の画素から成る場合もある。
部分画像の動きベクトルとして最終的に選択したものの
成分ではなく、この隣接部分画像のために決定した候補
動きベクトルのうち最低1個のベクトルの成分を採用
し、これら候補動きベクトルをそれぞれこれら出発ベク
トルに対応させている。このため、各出発ベクトル成分
で決まる収斂方向、例えば画面の上から下、左から右と
いった方向は、出発ベクトル構成のため用いた1つの候
補動きベクトルがそれ自体の部分画像に対しては最善の
結果を与えなかった場合でも、十分に計算できるという
利点が生じる。しかし、出発ベクトルとして採用したこ
のような動きベクトルは、隣接部分画像につき最終的に
選んだ最善の動きベクトルを採用した場合よりも良い結
果を示すことが判明している。1個の出発ベクトルに対
応し、既に、例えば左側の隣接部分画像のため以前に決
定していた1つの候補動きベクトルというのは、その前
の段階を考えると、現左側隣接部分画像のさらに左に隣
接する部分画像の1個の候補動きベクトルを出発ベクト
ルとして作った候補動きベクトルの1つであると理解す
べきである。
画像に対し2位相のサブ標本抽出(sub−sampling)を
行なうことにより、その部分画像の画素を第1、第2の
2群に分割し、第1群に対しては第1の候補動きベクト
ルを、第2群に対しては第2の候補ベクトルを決定する
ことを特徴とする。このように動き見積もりを2回行な
っても、1回の場合に比し回路素子を2倍必要とするこ
とはない。というのは、このサブ標本抽出実施により各
群には半数の画素しか残らず、各位相ごと異なる半数が
選ばれるからである。従ってこの実施例では、各部分画
像は最低2画素から成ることになる。
もる対象部分画像のy座標に比べて、第1と第2の部分
画像のy座標は小さく、また対象部分画像のx座標に比
べると、第1部分画像のx座標は小さく第2部分画像の
x座標は大きい、ことで特徴付けられる。x座標は左か
ら右へ、y座標は頭部から底部へと大きくなる。このた
め、第1部分画像が、現在見積もり対象である部分画像
の左隣りに直接位置するような実施例があったとして、
それに比べると、この実施例では、第1候補動きベクト
ル決定時点と、その決定結果が、現在動き見積もり対象
の部分画像に属する出発ベクトルを得るため再度必要と
なる時点と間に、時間の余裕ができるという利点があ
る。
像が、各行(横)ごとにずらして積み重ねた画素ブロッ
クである、という特徴を有する。これは、特に上記実施
例との関連で、極めて適切な選択であると判る。
ions on Communications,No.8,1985,pp 888−896で発
表)によれば、見積もられた動きベクトルは出発ベクト
ルと等しくても構わない。これに対し、本発明に基づく
見積もり方法の1実施例は、候補動きベクトルの決定に
あたっては、出発ベクトルと異なるベクトルに限りそれ
を候補動きベクトルとして決定できる、という基準に従
うことで特徴付けられる。この結果、アルゴリズムが局
所的最小(locao minimum)に止まるのを防止できる。
は、見積もられた動きベクトルの成分に対して空間的な
低域濾波(low−pass filtering)を加えることを特徴
とする。この結果、ベクトル場には急激な過渡現象がな
くなり、低域濾波により精度が落ちるにも拘らず結果は
却って正確になるようである、というのは、ベクトルに
より補間された画面におけるブロック状誤りが発生し難
くなるからである。この低域濾波の平均化効果により、
サブ画素(sub−pixel)の精度すら得られそうである。
ここでサブ画素精度とは、隣接画素間の距離よりも微小
な精度を意味すると理解されたい。
の段階を含むことで特徴付けられる: −出力成分を得るため、選択したベクトルの成分を巡回
濾波(recursivelyfilter)する、−この出力成分を、
選択したベクトル成分と比較し、選択したベクトルの成
分と出力成分との差が与えられたしきい値を超えるかど
うか示す制御信号を作成する、そして、−この制御信号
により選択ベクトル成分と出力成分との差がしきい値を
超えると判った場合には巡回濾波を無効にする。
との差がしきい値を超えた時のこの後置濾波機能の無効
化により、同一情景下で別の対象に属し別の方向に動い
ている2つ以上のベクトルを誤って平均化する、という
無駄を防ぐことができる。
成分を用いて空間的サブ標本化動作を行いデータの節約
を図ることを特徴とするもので、この方法は例えば、伝
送または蓄積システムの符号化回路に用いられ、その場
合、対応する復号回路では、伝送されたベクトル情報を
用いた補間により動き補償が行なわれる。
きの見積もりに先立ち、画像信号を、係数(1/4、1/2、
1/4)の時間的濾波器により時間的に低域濾波すること
を特徴とするものである。この場合、フィールドからフ
ィールドにかけ、現フィールドに隣接して交互に上下に
現われる走査線には係数1/4が乗ぜられる。こうするこ
とで、引き続くフィールド間に、画像の動きと無関係に
大きな差を起こし兼ねない高い垂直周波数を濾波し去る
ことができ、より良い動き見積もりが可能になる。
決定過程に以下の段階を含むことで特徴付けられる:−
対象画像信号、1フィールド遅れの画像信号、および1
フィールド・1走査線遅れの画像信号の3つのうちから
メディアン(中央値)を採り、これに濾波した信号を作
ること、ならびに−対象画像信号と濾波した信号とに基
づき候補動きベクトルを見積もること。このメディアン
前置濾波器により、本来の見積もり回路には一種の準順
次走査信号(quasiprogressive scan signal)が加えら
れ、飛び越し走査に基づく見積もり誤差が回避できる。
面を、以下の例と図面を用いてもっと詳細に記述し解明
する。
ベクトル成分とを示す。第1図の右下隅には、以下の記
述および前記の特許請求範囲記載におけるx、y座標の
定め方を示している。x座標は左から右へ、y座標は上
から下へ増加する。第1図の中央に位置する部分画像
は、これを対象に2個の候補動きベクトルから1個の動
きベクトルを選択しようとしている部分画像を示し、ま
た、これら候補ベクトルは、2個の出発ベクトル(x0,y
0)から出発し、ある既定の基準に基づいて決定される
べきものである。これら出発ベクトルの成分は、他の部
分画像のため既に決定済みの候補動きベクトルの成分で
あり、ここでは各出発ベクトルごとに最低1個の候補動
きベクトルが用いられる。注意したいのは、現時点の見
積もり対象である部分画像φのための出発ベクトルとし
ては、隣接部分画像の見積もり過程で先に決定した「候
補」動きベクトルが用いられる点である。また、ここで
用いる候補動きベクトルが最終的に動きベクトルとして
選択されたものかどうかは無関係であることも注意を要
する。ここで出発ベクトルの1つに対応する候補ベクト
ルとして、例えば左側に隣接する部分画像のために先に
既に決定済みの候補動きベクトルを考えると、これは、
左側のさらに左側に隣接する部分画像に関する候補ベク
トルを出発ベクトルとして作られた候補動きベクトルを
意味する、と理解せねばならない。その結果として、各
出発ベクトルに属する収斂方向は、このようにして得た
候補動きベクトルが最善の結果をもたらしていない場合
でも、各出発ベクトルに属する収斂方向は十分に計算で
きる。しかし、このようにして得られる動きベクトルの
方が、以前ある1個の部分画像のため最適として最終的
に選択した動きベクトルを、出発ベクトルとして見積も
った動きベクトルよりも、好結果を与えることが判っ
た。従って、候補動きベクトルから出発できるようにす
るのには、各部分画像ごとに、両出発ベクトルともに1
個の候補動きベクトルに到達する必要がある。
ク)の画素でもよい。既定の基準とは、例えば「歩進探
索(One step at a Time Search,OTS)」(IEEE Transa
ctions on Communications,No.8,1985,pp 888−896)、
あるいは第5回デジタル通信信号処理国際会議(Loughb
orough,20−23,September 1988)で発表された「勾配適
応探索(Gradient Adaptive Search)」基準(No.82,In
stitution of Electronic and Radio Engineers,pp 109
−115)などである。この歩進探索基準の内容は、見積
もり誤差最小の変化(シフト)を、先ず出発ベクトルか
ら出発して水平またはx方向について求め、引き続き、
このシフトから出発して垂直またはy方向について見積
もり誤差最小のシフトを求めるものである。
もり結果と成り得るもの、成り得ないもの、のいずれで
もよい。もし出発ベクトル自体が見積もり結果と成り得
ない場合、複数の候補動きベクトルの見積もり誤差を比
較する基準回路に要する素子は相対的に少なくて済む、
というのは、出発ベクトルを用いる時発生する見積もり
誤差を算定し比較する必要がなくなるからである。その
上、基準として、出発ベクトルを除外することにより、
アルゴリズムが局所最小に陥ることが防げる。このよう
な基準を用いることにより、動きの見積もりは、連続す
る部分画像について類似の見積もり結果を生じることが
少なくなるが、ベクトル成分を空間的に低域濾波するこ
とにより、正しいベクトル値の周辺ではこの基準に起因
する振動が防げるので問題は無い。
t gradient)を有する軸上で誤差が最小になるようなベ
クトルを選択する、という基準が良い結果をもたらすこ
とが判った。この種の基準の1つとして、4個のベクト
ル(a±k,b)と(a,b±k)、すなわち出発ベクトル
(a,b)に対し水平または垂直方向に±k画素分だけ変
化させたベクトル、を比較して最適ベクトルを決定す
る、という内容の基準も良い結果を与える上、実現が容
易である。一般に、kの値を増すほど収斂度は良くなる
が不安定度も高くなることが知られている。実際上、部
分画像の大きさとして1x2画素を用いる時のkの最適値
は1、4x8画素を用いる時のkの最適値は2となるよう
である。別の方法として、kの値を見積もり誤差と関連
付けることも可能である。すなわち、比較的大きな誤差
が生じた場合には、別のもっと適当なベクトルを迅速に
探しだせることを期待してkの値を大きくし、誤差が小
さい場合には、そのベクトルがほぼ正しいことが明らか
なためkの値は小さくても十分である。さらに、1回の
見積もり動作で、k=1ないし3に対応する8個のベク
トルを比較することも可能である。
I、上に部分画像IIが位置し、φに対して左から発生す
る第1の候補動きベクトル(x1,y1)と、上から発生す
る第2の候補動きベクトル(x2,y2)とが、それぞれ既
に決定されでいることを示している。極めて素直な実現
形態としては、候補ベクトル(x1,y1)を中央部分画像
φの第1出発ベクトル、候補ベクトル(x2,y2)を第2
出発ベクトルとして採用することもできよう。
発ベクトルの成分は、異なる2つの隣接部分画像につい
て既に見積もった2つの動きベクトルの成分を組合せる
のが望ましい、という認識は一般に適用できるものであ
り、出発ベクトルの成分として望ましいのは、少なくと
も1つの最終選択動きベクトルではなく、少なくとも1
つの候補動きベクトルの成分である、という別の認識と
結びついた場合に限定されるものではない。
ベクトル成分とともに第2図に示す。この配置では、第
1の部分画像Iが、動きを見積もろうとする部分画像φ
の斜め上に位置しており、これには次のような利点があ
る。すなわち、第1図に示した配置のように、第1部分
画像Iが動きを見積もろうとする部分画像φと同一走査
線上にある場合に比較して、第2図の配置では、候補動
きベクトル(x1,y1)が決定される時点と、この候補ベ
クトルが出発ベクトル(x0,y0)構成のため要求される
時点との間に時間の余裕ができるのである。この出発ベ
クトルは第1図に関連して述べたと同様な複合型でも構
わない。
きベクトルを用いる場合に発生する因果喪失問題(non
−causalirty problem)のもう1つの解決策は、先行フ
ィールド周期においてこれら部分画像のため決定した候
補動きベクトルを用いることである。
対応する4個の候補動きベクトルから出発して決定した
候補動きベクトルを比較することも可能である。ここで
も部分画像IIIとIVの候補ベクトルは先行フィールド周
期中に決定したものが用いられる。この実施例のもう1
つの変形として、各出発ベクトルを、隣接部分画像I−
IVのため既に決定した候補動きベクトルのうち各2個ず
つ、の成分を用いて構成してもよい。これらの変形によ
れば、画面の輪郭を通過する場合にアルゴリズムを迅速
に収斂させることができる、というのは、輪郭の両側の
見積もり結果が勘案されるからである。
トルに基づく見積もりと、現フィールドのベクトルに基
づく見積もりとを比較選択する方法があり得る。この変
形において、先行フィールドのベクトルに基づく見積も
りを行なう際には、第1図の配置によればよく、この場
合部分画像I−IVのすべての候補動きベクトルが利用さ
れる。現フィールドのベクトルに基づく見積もりは第2
図の配置によればよく、ここでは部分画像IとIIの候補
動きベクトルのみ使用される。先行フィールドのベクト
ルによる見積もりと、現フィールドのベクトルによる見
積もりのうち、いずれを選択するかは、候補動きベクト
ル(x1,y1)を第1図と第2図の部分画像Iにそれぞれ
当てはめた結果の見積もり誤差を蓄積しておき、これに
基づいて行なうのが望ましい。この選択は先験的なも
の、すなわち、見積もりを実施する以前のデータによる
選択なので、選択の見込みのないものについて、見積も
りを行なう必要はない。もちろん、両者をそれぞれ実際
に見積もってその結果を比較のうえ選択することは可能
であるが、そうすると処理回路は大きくなる。先行フィ
ールドのベクトルに基づく見積もり法は、もし先行フィ
ールドのベクトルのうち、第1図の部分画像IVのため決
定した候補動きベクトルのみを考慮することとすれば、
簡略化が可能となる。つまり全部で、第2図の部分画像
IおよびIIと第1図の部分画像IVだけを用いるのであ
る。
置し、これらの画素を第1、第2の2位相に分けて標本
抽出する様子を示す。第1位相で抽出される標本は第3
図の「1」で、第2位相のそれは第3図の「2」で示し
てある。この標本抽出動作では、各位相ごと原画素の半
数が残るので、本発明によれば、2倍の回路素子を要せ
ずに、異なる出発ベクトルを用いた2重の見積もりを行
なうことが可能になる。ここで、出発ベクトルとして
は、第2図の方法において、ブロックφの動きを見積も
るためIおよびIIで示したブロックに関し、既に決定済
みの候補動きベクトルの成分から成るものを利用する。
図面に示した以外のどんな標本抽出法を採用しても構わ
ないのは明らかであるが、ここで例えば、走査線から走
査線へと逆位相で(anti−phase)標本抽出する必要は
ない。
に低域濾波してもよい。この濾波により、画像の動きと
無関係に隣接フィールド間に大きな差異を引き起こす高
い垂直周波数が除去され、見積もり結果が改善されると
いう利益が生まれる。この時間前置濾波器に関する望ま
しい1実施例における動作モードを図式的に示したのが
第4図である。第4図は点線で上下に分かれ、それぞれ
には、濾波の対象である現フィールドとその前後の、時
間的に引き続く計3つのフィールドからの、複数の走査
線を示してある。この濾波器は係数(1/4,1/2,1/4)に
従って動作し、フィールドからフィールドへと現フィー
ルドの走査線の上下に交替に出てくる、隣接両フィール
ドからの走査線に対しては係数1/4を乗じる。実用上こ
の濾波器は良い結果をもたらすようである。
像信号を空間的に低域濾波することができる。画像信号
はここでも、空間的にサブ抽出すれば、フィールドの所
要記憶容量を半減することができる。
な過渡現象の無いベクトル場が得られ、濾波による精度
の低下にも拘らず、より精密な結果が期待できる、とい
うのは、このようにして得られたベクトルで補間した画
像では、ブロック状の誤差が起こり難くなるからであ
る。この低域濾波の平均化効果によれば、サブ画素精
度、すなわち、隣接画素間の距離よりも細かな精度すら
得られそうである。見積もった動きベクトルの成分を低
域濾波すると、さらに、低域濾波されたベクトル成分に
ついて、折り返し(fold−back)効果を生じることなし
に空間的なサブ標本抽出ができる、という利益が加わ
る。このサブ標本抽出動作によりデータが節約出来る結
果、本発明による方法では部分画像の寸法を縮小できる
こととなる。その利点としては、対象物の境界線を忠実
にたどれることであり、一方欠点としては、出てくるベ
クトルの数が増加することである。しかしこの方法の用
途として、伝送されたベクトル情報を用いて復号回路で
動き補償用の補間をするような、画像信号伝送または蓄
積システムにおいて、そのための動き情報の伝送容量が
限られているような場合には、この方法をそのシステム
の符号化回路部分に適用するのが依然有効である。伝送
されたベクトル情報の補間で回復したベクトル成分を用
いて画像信号の補間を行なうことにより、大きなブロッ
クのブロック境界で生じるブロック誤差のうち、対象物
の境界とは一致しないものの発生は減るが、その一方
で、ベクトル成分についてサブ標本抽出を行なうため、
より大きなブロックの動きを見積もる場合に伝送された
筈のベクトル情報を上回るような情報は伝送されていな
い。
終わったベクトルの成分の濾波、の何れかまたは双方を
を行なうために適した、空間低域濾波器の可能な1つの
構造を第5図に示す。濾波器の1つの入力1が加算器5
の入力3に接続され、加算器5の出力7は、メモリーP
を介し1画素周期遅れて加算器5の第2入力9に接続さ
れる。メモリーPの出力11は、加算器15の第1入力13に
接続され、加算器15の出力17はメモリーLを介し1走査
線周期だけ遅れて加算器15の入力19に接続される。メモ
リーLの出力21は、この空間濾波器の出力23に接続され
る。
示す。この動き見積もり装置の1つの入力61は、第1の
2相標本抽出回路63、および、フィールドメモリーFを
介し第2の2相標本抽出回路65、の双方に接続される。
これら2相標本抽出回路63、65はそれぞれ、第1相候補
動きベクトル決定器67と第2相候補ベクトル決定器69に
接続される。第1相決定器67は、第3図の「1」で示し
た標本の動きを見積もり、第2相決定器69は、第3図の
「2」で示した標本の動きを見積もる。これら候補動き
ベクトル決定器67と69は、最適ベクトル選択回路71へ接
続されると同時に、それぞれベクトル成分メモリー73、
75を介して、新たな出発ベクトル成分蓄積のため、それ
ら(67、69)自体にも接続される。既に述べたように、
第1相の動き見積もりには、第2相の動き見積もりと異
なる出発ベクトルが用いられる。最適ベクトル選択回路
は、候補動きベクトル決定器67、69により見積もった候
補動きベクトルから最適のベクトルを選んで、この動き
見積もり装置の出力77へ導く。第6図から明らかなよう
に、ベクトル成分メモリー73と75の入力には、それぞれ
候補動きベクトル決定器67、69の出力が接続されでい
る。本発明によるこの構成、すなわち、そこでは、各出
発ベクトルから出発して候補ベクトルが別々に決定され
た後、両候補ベクトルのうち1つの動きベクトルが選択
され、またそこでは、出発ベクトルの成分として、既に
決定されそれぞれ出発ベクトルに対応する候補動きベク
トルの、対応する成分が採用されている、というこの構
成は、これまでの技術による構成として、ベクトル成分
メモリー73、75が最適ベクトル選択回路71の出力77に接
続されその結果として、出発ベクトルの成分としては選
択された最適動きベクトルに対応する成分が採用される
ような構成、よりも優れた結果を与えるようである。1
つの出発ベクトルに対応し、既に例えば左側隣接部分画
像のために決定済みの1つの候補動きベクトルというの
は、それ自体、ここでいう左側隣接部分画像のすぐ左に
位置する部分画像の候補動きベクトルである、出発ベク
トルに基づいて作られた候補動きベクトルを意味する、
と理解せねばならない。
クトルに基づく見積もりと、現時点のフィールドベクト
ルに基づく見積もりとを併用する方法を具体化するに
は、各ベクトル成分メモリー(73または75)は、現時点
フィールドからの候補動きベクトルを蓄積する第1メモ
リーと、直前フィールドからの候補動きベクトルを蓄え
る第2メモリー、および、第1メモリーの出力か第2メ
モリーの出力かを、候補動きベクトル決定器(67か69そ
れぞれ)に選択結合するスイッチ、から成る必要があ
る。このスイッチは既に述べたように、蓄積した見積も
り誤差により制御される。
な低域濾波器を介して動き見積もり装置に加えてもよい
(第7図参照)。空間および時間両濾波を行なう場合に
は、先ず空間次いで時間濾波という順序を採れば、時間
濾波に必要なメモリーが少なくて済むという利益があ
る。さらに、動き見積もり装置の出力77は、空間低域濾
波器につなぐことも出来るし(第8図参照)、さらにオ
プションとして標本抽出回路につなぐこともできる。
もう1つの実施例の一部分であり、ここでは、候補動き
ベクトル決定回路の前位に1個のメディアン前置濾波器
が置かれる。このメディアン前置濾波器は第4図の前置
濾波器の代替と考えてよい。第7図において、入力信号
61は、メディアン前置濾波器79の入力として、直接、フ
ィールドメモリーF経由、およびフィールドメモリーF
と走査線メモリーL経由、の3形態で供給される。この
種のメディアン濾波器は既知の技術であり、米国特許第
4,740,842号明細書を参照されたい。メディアン濾波器7
9の出力と入力61とは、候補動きベクトル決定回路81の
入力として供給されるが、この決定回路81は、第6図に
示したような候補動きベクトル決定器69とベクトル成分
メモリー75との組合せから成っていてもよい。この前置
濾波器の存在により、候補動きベクトル決定回路には、
一種の準順次走査信号が加えられ、これにより飛び越し
走査による見積もり誤差が軽減される。
後置濾波器を示す。動き見積もり装置の出力77(第6図
参照)は、第1の乗算器83、加算器85、遅延回路87、お
よび遅延回路87の出力を加算器85の入力端子に供給する
第2の乗算器89、から成る重み付き平均回路に加えられ
る。この後置濾波器の出力は遅延回路87の出力により形
成されるが、代わりに加算器85の出力で形成してもよ
い。乗算器83は1−kを乗じ、乗算器89はkを乗じる。
1つの望ましい実施例によれば、これらの乗算器が両方
とも、減算器91と1つの敷居値回路93を含む1つの非直
線デバイスによって制御されている。この減算器は新た
に見積もった動きベクトルを濾波器の出力と比較し、こ
れら2つのベクトルの差が与えられた値より大きい場合
には、敷居値回路93は乗算係数k(通常は1/2)を0に
セットし、これにより濾波作用を実質無効にして、新た
に見積もったベクトルを濾減せずにそのまま出力する。
この切り替え動作を行なう根拠としては、もし新たに見
積もったベクトルと濾波器の出力(または以前見積もっ
たベクトル)との差が大きくなり過ぎる場合には、新た
に見積もったベクトルは多分、その情景のなかで別の方
向へ動いている異なる対象物に属するだろう、または換
言すれば、最適ベクトル選択回路71は、2つの異なる収
斂方向の間で切り替えを行なっている、という認識に基
づいている。そうであれば、動きベクトルの平均値算定
は全く無意味であり、濾波作用は殺した方が良い。
の変形と拡張を述べてきたが、これら変形も拡張もそれ
ぞれ、これ以外の動き見積もり装置との組合せ利用も可
能な筈、という点に注意を喚起しておく。例えば、ここ
で延べた前置、後置の濾波器は他の動き見積もり装置に
も利用出来る。本申請者たちは、ここに、本申請あるい
は関連して派生する何らかの申請の続行過程において、
これらの機能および(または)機能の組合せに関して新
たな請求が形成されるかも知れないことを通告するもの
である。
関連ベクトル成分と併せて示す; 第2図には、同じく第2の配置を、各関連ベクトル成分
と併せて示す; 第3図には、ずらして積み重ねた画素のブロックに関
し、第1、第2の2位相で標本抽出した画素の配置を示
す; 第4図には、走査線から発生するラスター列のスケッチ
との関連で、時間的前置濾波器の動作モードを示す; 第5図には、空間的、前置または後置濾波器の可能な構
造を示す; 第6図には、本発明に基づく、動き見積もり装置の1実
施例を示す; 第7図には、本発明に基づく、動き見積もり装置の別の
実施例の一部を示し、この例では、メディアン前置濾波
器が動きベクトル候補の決定回路の前位に設けられてい
る; 第8図には、見積もった動きベクトルのための空間的後
置濾波器を示す。
Claims (13)
- 【請求項1】画像の映像信号における部分画像の動きベ
クトルを見積もる方法であって、複数の候補動きベクト
ルを同数の出発ベクトルから出発して決定し、これら決
定した候補動きベクトルのうちから1個の動きベクトル
を選択する方法において、前記出発ベクトルの成分とし
て、空間的に及び/又は時間的に隣接する部分画像の既
に以前決定した候補動きベクトルの対応する成分を採用
することを特徴とする方法。 - 【請求項2】前記動きベクトルが見積もられる前に、前
記画像の映像信号をサブ標本抽出することを特徴とする
請求項1に記載の方法。 - 【請求項3】各部分画像の画素が、第1及び第2の位相
で前記部分画像をサブ標本抽出することにより、第1群
及び第2群に分けられ、第1の候補動きベクトルは第1
群に対して決定され、第2の候補動きベクトルは第2群
に対して決定されることを特徴とする請求項2に記載の
方法。 - 【請求項4】動きベクトルの見積もりが、直前のフィー
ルド期間中において少なくとも1つの隣接する部分画像
に対する少なくとも1つの候補動きベクトルに更に基づ
くことを特徴とする請求項1に記載の方法。 - 【請求項5】前記直前のフィールド期間からの少なくと
も1つの候補動きベクトルに対する部分画像が、現在の
部分画像のy座標値を越えるy座標値を持つことを特徴
とする請求項4に記載の方法。 - 【請求項6】1個の画像内の各部分画像が、行ごとにず
らして積み重ねた画素ブロックであることを特徴とする
請求項1ないし5のうちの何れか1項に記載の方法。 - 【請求項7】候補動きベクトル決定にあたっては、出発
ベクトルと異なるベクトルに限り候補動きベクトルとし
て決定可能とする、という基準に従うことを特徴とする
請求項1ないし6のうちの何れか1項に記載の動き見積
もり方法。 - 【請求項8】選択したベクトルの成分に対し空間的な低
域濾波を行なうことを特徴とする請求項1ないし7のう
ちの何れか1項に記載の動き見積もり方法。 - 【請求項9】請求項8に記載の方法であって、その低域
濾波動作の中に、 −出力成分を得るため、選択したベクトルの成分を巡回
濾波する段階、 −選択したベクトル成分がこの出力ベクトル成分に対
し、与えられたしきい値以上異なるかどうかを示す制御
信号を得るため、出力成分と選択したベクトルの成分を
比較する段階、および −この制御信号により、選択したベクトル成分が、出力
ベクトル成分に対ししきい値以上離れていることが分か
ったら、巡回濾波を無効にする段階を含むことを特徴と
する動き見積もり方法。 - 【請求項10】低域濾波したベクトル成分を、空間的に
サブ標本抽出することを特徴とする請求項8に記載の動
き見積もり方法。 - 【請求項11】動きの見積もりに先立ち、係数(1/4,1/
2,1/4)の時間濾波器を用いて画像信号を低域濾波し、
その場合、フィールドからフィールドにかけ、現フィー
ルドの走査線の上下に交替に現われる、両隣接フィール
ドからの走査線には係数1/4が乗じることを特徴とする
請求項1ないし10のうちの何れか1項記載の動き見積も
り方法。 - 【請求項12】候補動きベクトル決定段階として、 −濾波した信号を得るため、現画像信号、1フィールド
遅れの画像信号、および1フィールドと1走査線遅れの
画像信号、の3者のメディアンを採る段階、ならびに、 −現画像信号と濾波した信号とに基づき候補動きベクト
ルを見積もる段階を含むことを特徴とする請求項1に記
載の動き見積もり方法。 - 【請求項13】画像の映像信号における部分画像の動き
ベクトルを見積もる装置であって、複数の候補動きベク
トルを同数の出発ベクトルから出発して決定する手段
と、これら決定した候補動きベクトルのうちから1個の
動きベクトルを選択する手段とを有する装置において、
前記出発ベクトルの成分としては、空間的に及び/又は
時間的に隣接する部分画像の既に以前決定した候補動き
ベクトルの対応する成分を採用する手段を有することを
特徴とする装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NL8902178A NL8902178A (nl) | 1989-08-29 | 1989-08-29 | Bewegingsschatting. |
NL8902179 | 1989-08-29 | ||
NL8902178 | 1989-08-29 | ||
NL8902179A NL8902179A (nl) | 1989-08-29 | 1989-08-29 | Bewegingsschatting. |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0392979A JPH0392979A (ja) | 1991-04-18 |
JP3147893B2 true JP3147893B2 (ja) | 2001-03-19 |
Family
ID=26646572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22450890A Expired - Lifetime JP3147893B2 (ja) | 1989-08-29 | 1990-08-28 | 画像の動きを見積もる方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5072293A (ja) |
EP (1) | EP0415491B1 (ja) |
JP (1) | JP3147893B2 (ja) |
DE (1) | DE69026557T2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9406376B2 (en) | 2009-12-18 | 2016-08-02 | Kabushiki Kaisha Toshiba | Motion vector detection apparatus and method |
US10003782B2 (en) | 2012-11-01 | 2018-06-19 | Kabushiki Kaisha Toshiba | Image processing device, method, computer-readable medium and 3D image display |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2651405B1 (fr) * | 1989-08-29 | 1992-05-22 | Philips Electronique Lab | Procede et dispositif de traitement d'images a estimation de mouvement amelioree. |
DE4111980A1 (de) * | 1991-04-12 | 1992-10-15 | Thomson Brandt Gmbh | Verfahren zur codierung |
JP3115651B2 (ja) * | 1991-08-29 | 2000-12-11 | シャープ株式会社 | 画像符号化装置 |
USRE39276E1 (en) * | 1991-11-08 | 2006-09-12 | Matsushita Electric Industrial Co., Ltd. | Method for determining motion compensation |
US5369449A (en) * | 1991-11-08 | 1994-11-29 | Matsushita Electric Industrial Co., Ltd. | Method for predicting move compensation |
USRE39279E1 (en) * | 1991-11-08 | 2006-09-12 | Matsushita Electric Industrial Co., Ltd. | Method for determining motion compensation |
KR100254956B1 (ko) * | 1991-12-23 | 2002-12-18 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 재귀비데오신호프로세서 |
GB9204117D0 (en) * | 1992-02-26 | 1992-04-08 | British Broadcasting Corp | Video image processing |
EP0577165B1 (en) * | 1992-05-15 | 1997-12-10 | Koninklijke Philips Electronics N.V. | Motion-compensated picture signal interpolation |
DE69323572T2 (de) * | 1992-06-11 | 1999-09-16 | Koninklijke Philips Electronics N.V., Eindhoven | Anordnung zum bewegungsausgeglichenen Interpolieren eines Bildsignals |
US5412435A (en) * | 1992-07-03 | 1995-05-02 | Kokusai Denshin Denwa Kabushiki Kaisha | Interlaced video signal motion compensation prediction system |
DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
FR2699780B1 (fr) * | 1992-12-22 | 1995-03-17 | Philips Electronique Lab | Dispositif de traitement récursif de signal vidéo comprenant une pluralité de branches. |
KR960010198B1 (ko) * | 1993-07-21 | 1996-07-26 | 배순훈 | 동영상 부호화기의 움직임 추정방법 및 장치 |
KR970002964B1 (ko) * | 1993-12-24 | 1997-03-13 | 대우전자 주식회사 | 영상신호의 시간축 내삽필터 |
US5537155A (en) * | 1994-04-29 | 1996-07-16 | Motorola, Inc. | Method for estimating motion in a video sequence |
JP3468856B2 (ja) * | 1994-07-28 | 2003-11-17 | 株式会社東芝 | 動きベクトル検出方法及び装置 |
FR2725577B1 (fr) * | 1994-10-10 | 1996-11-29 | Thomson Consumer Electronics | Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede |
US5617149A (en) * | 1994-11-22 | 1997-04-01 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting scene changes using the difference of mad between image frames |
CN1166215C (zh) | 1998-02-13 | 2004-09-08 | 皇家菲利浦电子有限公司 | 视频编码方法和装置 |
WO2000065829A1 (en) | 1999-04-26 | 2000-11-02 | Koninklijke Philips Electronics N.V. | Sub-pixel accurate motion vector estimation and motion-compensated interpolation |
WO2002021438A2 (en) * | 2000-09-07 | 2002-03-14 | Koninklijke Philips Electronics N.V. | Image matching |
CN1248509C (zh) | 2001-02-13 | 2006-03-29 | 皇家菲利浦电子有限公司 | 运动信息编码和解码方法 |
US6931063B2 (en) | 2001-03-26 | 2005-08-16 | Sharp Laboratories Of America, Inc. | Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding |
US6782054B2 (en) * | 2001-04-20 | 2004-08-24 | Koninklijke Philips Electronics, N.V. | Method and apparatus for motion vector estimation |
JP2004531012A (ja) * | 2001-06-29 | 2004-10-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | セグメント照合における優先順位付け |
KR100413770B1 (ko) * | 2001-09-19 | 2004-01-03 | 삼성전자주식회사 | 완전 탐색블록 정합회로 및 완전 탐색블록 정합방법 |
US6885706B2 (en) * | 2002-01-05 | 2005-04-26 | Aiptek International Inc. | Method for promoting temporal resolution of sequential images |
US8073054B2 (en) | 2002-01-17 | 2011-12-06 | Trident Microsystems (Far East) Ltd. | Unit for and method of estimating a current motion vector |
US7305032B2 (en) * | 2002-08-02 | 2007-12-04 | Kddi Corporation | Image matching device and method for motion pictures |
US20060098886A1 (en) * | 2003-01-10 | 2006-05-11 | Koninklijke Philips Electronics N.V. | Efficient predictive image parameter estimation |
US20050013496A1 (en) * | 2003-07-16 | 2005-01-20 | Bruls Wilhelmus Hendrikus Alfonsus | Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder |
KR100574523B1 (ko) * | 2003-07-31 | 2006-04-27 | 삼성전자주식회사 | 움직임 타입 판단 장치 및 방법 |
US7660439B1 (en) | 2003-12-16 | 2010-02-09 | Verificon Corporation | Method and system for flow detection and motion analysis |
FR2871018A1 (fr) | 2004-05-25 | 2005-12-02 | St Microelectronics Sa | Procede et dispositif pour les systemes d'interpolation d'images par estimation et compensation de mouvement |
US20060198441A1 (en) * | 2005-03-02 | 2006-09-07 | Hua-Chang Chi | Motion detection method for detecting motion objects in video frames generated from a video surveillance system |
US8588513B2 (en) * | 2005-07-18 | 2013-11-19 | Broadcom Corporation | Method and system for motion compensation |
US8519928B2 (en) * | 2006-06-22 | 2013-08-27 | Entropic Communications, Inc. | Method and system for frame insertion in a digital display system |
DE102007051175B4 (de) * | 2007-10-25 | 2012-01-26 | Trident Microsystems (Far East) Ltd. | Verfahren zur Bewegungsschätzung in der Bildverarbeitung |
DE102007051174B4 (de) | 2007-10-25 | 2011-12-08 | Trident Microsystems (Far East) Ltd. | Verfahren zur Bewegungsschätzung in der Bildverarbeitung |
EP2487649A1 (de) * | 2008-03-18 | 2012-08-15 | Trident Microsystems (Far East) Ltd. | Testen eines Bewegungsvektors |
DE102008014790A1 (de) | 2008-03-18 | 2009-10-01 | Micronas Gmbh | Verfahren zum Testen eines Bewegungsvektors |
DE102008036279B4 (de) | 2008-08-04 | 2011-03-17 | Trident Microsystems (Far East) Ltd. | Verfahren zur Ermittlung eines Bewegungsvektor zu einem Bildblock eines Zwischenbilds |
BR112012009116A2 (pt) | 2009-10-22 | 2020-08-18 | Koninklijke Philips Electronics N.V | método para o alinhamento de uma pilha ordenada de imagens de um corpo de prova, equipamento para o alinhamento de uma pilha ordenada de imagens de um corpo de prova, produto de programa de computador, transportador de dados |
US8736767B2 (en) | 2010-09-29 | 2014-05-27 | Sharp Laboratories Of America, Inc. | Efficient motion vector field estimation |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL8501582A (nl) | 1985-02-12 | 1986-09-01 | Philips Nv | Videosignaalverwerkingsschakeling voor de verwerking van een geinterlinieerd videosignaal. |
FR2624682B2 (fr) * | 1987-03-23 | 1990-03-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
DE3853554T2 (de) * | 1987-06-09 | 1995-08-24 | Sony Corp | Bewegungsvektorabschätzung in Fernsehbildern. |
EP0314018B1 (en) * | 1987-10-30 | 1993-09-01 | Nippon Telegraph And Telephone Corporation | Method and apparatus for multiplexed vector quantization |
FR2623955B1 (fr) * | 1987-11-27 | 1990-04-27 | Labo Electronique Physique | Procede et dispositif d'estimation et de compensation de mouvement dans une sequence d'images et leur application dans un systeme de transmission d'images de television a haute definition |
-
1990
- 1990-08-14 US US07/567,414 patent/US5072293A/en not_active Expired - Lifetime
- 1990-08-27 DE DE69026557T patent/DE69026557T2/de not_active Expired - Lifetime
- 1990-08-27 EP EP90202278A patent/EP0415491B1/en not_active Expired - Lifetime
- 1990-08-28 JP JP22450890A patent/JP3147893B2/ja not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9406376B2 (en) | 2009-12-18 | 2016-08-02 | Kabushiki Kaisha Toshiba | Motion vector detection apparatus and method |
US10003782B2 (en) | 2012-11-01 | 2018-06-19 | Kabushiki Kaisha Toshiba | Image processing device, method, computer-readable medium and 3D image display |
Also Published As
Publication number | Publication date |
---|---|
US5072293A (en) | 1991-12-10 |
EP0415491B1 (en) | 1996-04-17 |
EP0415491A1 (en) | 1991-03-06 |
DE69026557D1 (de) | 1996-05-23 |
JPH0392979A (ja) | 1991-04-18 |
DE69026557T2 (de) | 1996-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3147893B2 (ja) | 画像の動きを見積もる方法 | |
US6122017A (en) | Method for providing motion-compensated multi-field enhancement of still images from video | |
US8208551B2 (en) | Method and system for hierarchically layered adaptive median motion vector smoothing | |
US6452639B1 (en) | Raster scan conversion system for interpolating interlaced signals | |
EP1850590A2 (en) | Motion compensated video spatial up-conversion | |
JP3813320B2 (ja) | 動きベクトル検出方法および装置 | |
KR100565066B1 (ko) | 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치 | |
JP2003512749A (ja) | 動き推定方法及びその装置 | |
US5386248A (en) | Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems | |
JP2579930B2 (ja) | 複合信号分離回路 | |
US6714593B1 (en) | Motion compensating prediction of moving image sequences | |
JP3674186B2 (ja) | 画像情報変換装置および方法 | |
JP2782766B2 (ja) | 動画静止画変換方法 | |
EP0801862B1 (en) | Data filtering | |
JP2642846B2 (ja) | フィールド間の動き検出装置 | |
Chan et al. | On block motion estimation using a novel search strategy for an improved adaptive pixel decimation | |
JP2650896B2 (ja) | 動き適応信号処理回路 | |
JP3022977B2 (ja) | テレビジョン信号内挿方式 | |
JP3024465B2 (ja) | フレーム間輝度信号・色信号分離装置 | |
JP2813228B2 (ja) | 方式変換器 | |
EP1617673A1 (en) | Means and method for motion estimation in digital Pal-Plus encoded videos | |
Dantwala et al. | High quality, cost-effective film-to-video converter for high definition television | |
JPS62173865A (ja) | テレビジヨン信号処理装置 | |
JPS5850863A (ja) | 垂直補間装置 | |
JPH07264630A (ja) | Museデコーダ動き補正回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080112 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090112 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090112 Year of fee payment: 8 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 10 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 10 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 10 |