JPH04248789A - 撮像された画像の中の動きの推定方法 - Google Patents

撮像された画像の中の動きの推定方法

Info

Publication number
JPH04248789A
JPH04248789A JP3247240A JP24724091A JPH04248789A JP H04248789 A JPH04248789 A JP H04248789A JP 3247240 A JP3247240 A JP 3247240A JP 24724091 A JP24724091 A JP 24724091A JP H04248789 A JPH04248789 A JP H04248789A
Authority
JP
Japan
Prior art keywords
motion
vectors
vector
block
image according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3247240A
Other languages
English (en)
Other versions
JP3390024B2 (ja
Inventor
Christoph Stiller
シュティラー クリストフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JPH04248789A publication Critical patent/JPH04248789A/ja
Application granted granted Critical
Publication of JP3390024B2 publication Critical patent/JP3390024B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/533Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Color Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は請求項1の上位概念に記
載の画像の中の動きの推定方法に関する。
【0002】
【従来の技術】例えば狭帯域画像電話における動画像を
伝送するために、データを低減する種々の符号化方法が
公知である。重要なデータ低減は、DPCMにより時間
レベルで行われる。このDPCMの効果を十分にするた
めに、DPCMに必要な予測メモリからデータを読取る
際に、画像の中で行われる動きを考慮することが必要で
ある。この場合、それぞれ1つの群の画素(ブロック)
に対して、先行画像における対応するブロックに対して
このブロックの動きの大きさ及び方向に対応する1つの
動きベクトルが求められる。
【0003】動きベクトルを求めるために、1つの画素
の信号が、先行の画像における対応するブロックの画素
の信号と、画像における動きにより惹起されるずれを考
慮して比較される。この場合にその都度に変位の和が形
成され、変位の正負符号は、絶対値を形成するか又は自
乗を形成するので考慮されない。最小の和を形成したず
れが動きベクトルとして採用される。このような方法及
び装置は本出願人のドイツ特許出願第3834477.
7号明細書に記載されている。
【0004】しかしこれらの既知の方法においては、種
々の誤差の可能性が生じる。例えば、評価するブロック
の画素の信号が同一の大きさである場合すなわち画像が
均一の面である場合には変位の和は零である。更に、有
効信号に重畳されているノイズによる“誤りの”ずれに
おいて最小値として求めるおそれがある。顕著な輝度特
性を有する稀な個所の小さいブロックは、大きいブロッ
クに比して大きいノイズを有するので、動きベクトルの
信頼性は、ブロックの大きさが減少するとともに低下す
る。
【0005】公知の方法においては、計算コストを最小
化するために1つのブロックのすべての可能な変位に対
して変位の和を求め次いで最小値を形成することは行わ
ず、サーチ手法を実施する。このために、先ず初めに種
々の方向におけるより大きいずれに対して変位の和を求
める。この第1のサーチステップの後に、最小の変位を
有するずれから出発して、次のステップが実施される。 文献ではこのために、3つ又は4つのサーチステップを
有する手法が提案された。しかしこのような手法におい
てはすべてのずれを完全に検査することができないこと
が、動きベクトルを決める際の不確実性の新たな原因と
なる。
【0006】
【発明が解決しようとする課題】本発明の課題は上記の
欠点を回避して、画像にその都度に存在する物理的動き
に大幅に対応する動きベクトルを求める、動きの推定方
法を提供することにある。さらに求めた動きベクトルを
できるだけ可及的に良好にコード化されるようにするこ
とである。
【0007】
【課題を解決するための手段】請求項1の特徴部分に記
載の特徴を有する方法は、動きベクトルをより正確に求
めることができる利点を有する。この場合に、物理的動
きにおいて大多数の場合に存在する相関関係が巧妙な方
法で利用される。
【0008】特に好適である、データを低減する符号化
は本発明の1つの実施例において、ブロック対応の動き
ベクトル場を符号化するためにベクトルを、零ベクトル
しか有しない領域と、零ではないベクトルを有する領域
とに分割し、零ベクトルを有しない領域の輪郭を符号化
し、零ではないベクトルを有する領域において、求めら
れた動きベクトルと、すでに符号化されている、空間的
隣接部の動きベクトルから予測された動きベクトルとの
差を伝送することにより解決される。
【0009】そのほかの請求項には本発明の有利な実施
例が記載されている。
【0010】
【実施例】図1は本発明の方法を著しく簡単化して示す
ブロック図である。
【0011】図1に示されている方法において、1にお
いて先ず初めに公知の方法によるハイアラーキ的な動き
推定が行われる。これらの公知の方法のうちの1つを図
3と関連して詳しく後述する。ステップ1は、例えば1
6×16画素から成るそれぞれブロックに対して行われ
る。結果として例えば22×18ベクトルのベクトル場
が発生する。
【0012】第2のステップ2ではこのベクトル場の動
きベクトルが、隣接しているブロックの中の動きの間の
相関関係を考慮して補正される。この場合、それぞれ1
つのブロックの動きベクトルの多数の値に対して詳しく
後述する品質基準が計算され、品質基準が最適である、
後続の1つの処理過程のために値が記憶される。例えば
3つの反復過程の後に、補正された動きベクトルは、補
正されたベクトル場として出力され、データを低減する
符号化ステップである第3のステップ3に供給される。
【0013】符号化は予測法により、例えばU.Fra
nke著“領域対応の画像描写−アルゴリズム及び方法
”(VDI  Fortschrittbericht
e,シリーズ10,Nr.101,第3章)に記載され
ているように動きベクトルが0ではない領域の輪郭が輪
郭追跡法により符号化されるように行われる。動きベク
トルの伝達は、求められた動きベクトルと、空間的隣接
領域におけるすでに符号化された動きベクトルから予測
された動きベクトル(予測子)との間の差として行われ
る。
【0014】このために用いられる局所的な予測子は、
左側隣接ベクトルa、左側/上側隣接ベクトルb、上側
隣接ベクトルc及び右側/上側隣接ベクトルdからベク
トルvをv=(4a+b+2c+d)/8として予測す
る。この場合、零ベクトルは考慮されず、ベクトルは残
りのベクトルの平均値により置換される。a,b,c及
びdが同時に零ベクトルの場合、時間的に先行している
ベクトル場のベクトルは、同様に零ベクトルであるかど
うかとは無関係に、予測ベクトルとして用いられる。本
発明は、有利な数である4つの隣接ベクトルに制限され
ない。対応する前提条件が満足される場合には予測子を
異なる方法で導出することもできる。
【0015】本発明の理解を容易にするために、次に図
2を用いて簡単なDPCM符号の例を説明する。すでに
デジタル形で存在するビデオ信号は、入力側4及び画像
メモリ5を介して減算回路6に供給される。減算回路6
の出力側は量子化器7を介して符号器8と接続され、符
号器8の出力側から、符号化されたデータが伝送チャネ
ル9に供給される。量子化された信号は加算回路10を
介して予測メモリ11に供給され、予測メモリ11の出
力側は減算回路6及び加算回路10と接続されている。
【0016】伝送されるデータの量は、予測メモリ11
に記憶されている画像が、その都度伝送すべき画像に良
好に対応していればいるほど小さい。このために、予測
メモリ11からデータを読取る際に、画像の中に存在す
る動きを考慮することが必要である。このために、入力
側4に供給されるデジタルビデオ信号が動き推定器12
に供給され、動き推定器12は画像(ブロック)のそれ
ぞれ一部に対して動きベクトルを求める。動きベクトル
は予測メモリ11に供給され、符号化された画像データ
と一緒に伝送チャネル9を介して伝送されて復号化の際
に考慮される。
【0017】図3のaは、公知の方法による1つのブロ
ックにおける1つの動きベクトルを求める方法を示して
いる。図3のaにおけるより小さい方形は、第k番の画
像の中のその都度符号化するブロックBを示す。ブロッ
クBはM×Nの画素から成る。実際に実施された例にお
いて、M及びNはそれぞれ16である。先行の第k−1
番の画像の中の比較可能なブロック(比較ブロックVB
)とこのブロックの位置を比較するために、画像メモリ
5(図2)から、双方の方向に数dmだけブロックBよ
り画素の数が多い1つのサーチフィールドSFが読取ら
れる。この数は、検出しなければならない2つの順次に
続く画像の間の最大の動きから得られる。従ってサーチ
フィールドSFはN+2dm及びM+2dmの寸法を有
する。図3のaに示されているようにブロックBは、サ
ーチフィールドSFの中心に置かれて先行の画像VBと
比較される。座標i,jはこの位置からのずれを示す。
【0018】2つの比較するブロックの間又は実際のブ
ロックとこれに対応する、サーチフィールドSFの中の
部分との間の変位の尺度として、画像絶対差値(MAD
)の平均値が用いられる。この平均値は、次式から得ら
れる。
【0019】
【数6】
【0020】m及びnはそれぞれ、1つのブロックBの
中の画素の座標であり、sは、画素に所属する信号を意
味し、べき指数kは第k番の画像に対応し、べき指数k
−1は先行の画像に対応する。
【0021】MADの値はそれぞれ、サーチフィールド
SFの中のブロックの異なる位置に対して形成される。 この値の最小値から、第k番の画像のブロックBが第k
−1番の画像の中の対応する位置に存在した、すなわち
この位置から第k番の画像の中のブロックの当該位置へ
動いたと推測される。
【0022】この最小値を求めるために、異なるステッ
プによるサーチ手法が可能であり、そのうちの1つの手
法、すなわち4ステップ法が図3のbに示されている。 第1のステップでは値MADが、動きには対応しない中
心点P0に対してと、点P0の周りに位置する方形の上
の点P1からP8とに対して計算される。図3のbに示
されている例においては、ブロックにおける点P3によ
り示されている位置が、点P0からP2及びP4からP
8に対して最小のMAD値を提供する。従って、点P3
から出発して、水平、垂直及び双方の方向において3つ
の画素の間隔だけP3から離れている点におけるMAD
の値が求められる。このステップは、点P9において最
小のMAD値を提供し、第3のステップでは点P9から
出発して、それぞれ2つの画素だけ離れている点におけ
るMADが求められる。
【0023】点P10において再び最小値が得られ、従
って点P10に隣接する点が後続のサーチに用いられる
。次いで例えばP11で最小がサーチされたとすると、
P0P11が、求められたすなわち推定された動きベク
トルvである。
【0024】絶対差値の平均値(MAD)の代りに、別
の基準を用いることもできる。例えば動きベクトルを、
誤差の自乗の和(DFD,displaced  fr
amediffence)の最小値を計算することによ
り求めることができる。この場合、
【0025】
【数7】
【0026】が得られる。ただしN=1つのブロックの
画素数、i=第i番目の画素、v(i)=第i番の画素
の変位ベクトルである。
【0027】公知の方法において存在することのある誤
りはすでに指摘した。本発明においては、隣接する動き
ベクトルがしばしば同一の対象に所属し、従って相関関
係にあることから出発している。この相関関係は、先ず
初めに求めた動きベクトルを補正する際と、動きベクト
ル場を符号化する際との双方に利用される。これに対応
して本発明においては、MAD又はDFDを最小化して
動きベクトルのための品質基準を形成することは行わず
、調べられるベクトルが物理的動きを示す確率を最大化
する。
【0028】確率を式で表すために、シフトの影響をモ
デル化しているシフトモデルと、同一のベクトル場の中
のベクトルの間の相互作用をモデル化しているベクトル
モデルとが導入される。2つのモデルを用いて、与えら
れている画像A及びBにおけるベクトル場Vの条件付き
確率密度、
【0029】
【数8】
【0030】が最大化される。この場合、ベイズの定理
により、 p(A,B,V)=p(V|A,B)・p(A,B)=
p(A,B|V)・p(V)            
    (2)が成立し、従って画像A及びBが固定し
ている場合に要求(1)は、
【0031】
【数9】
【0032】と同等になる。
【0033】与えられたシフトベクトル場Vにおいて画
像A及びBが発生する確率密度p(A,B|V)は次の
ようにモデル化される。
【0034】−  p(A,B|V)は予測誤差画像の
振幅のみに依存する。
【0035】−  予測誤差画像の振幅は、周波数に無
関係に平均値なしにガウス分布している。
【0036】従って、N個の画素から成る画像の式(4
)が成立する。ただしd(i,v(i))は、残留誤差
画像のi画素に対してシフトベクトルv(i)が有効で
ある場合にこの画素の振幅を表す。分散量σ2は、カメ
ラノイズの出力PKと、シーケンスの完全でない動き補
償可能性によるノイズとの和として見なすことができ、
従って、PKに制限されている推定器により、式(5)
に対応して推定することができる。これにより、小さい
ノイズ出力PKに対して式(6)が得られる。
【0037】
【数10】
【0038】式(6)は、A,BがVにより相互に移行
する確率密度は、DFDを最小化することにより最大化
することができることを意味する。しかし、A,Bが与
えられている場合に、最も確率の高いベクトル場Vを同
様にDFDの最小化によりサーチすることができるとい
う逆の推論は、無条件には成立しない。
【0039】動きベクトル場に対して、共に整合基準の
中に入込む2つの異なるモデルが用いられる。先ず初め
に、相互作用理論に由来し画像セグメント化ですでに成
功を収めているギッブス分布が用いられる。シフトベク
トル場は、異なる準定常のシフト場領域から合成される
と解釈することができるので、セグメント化において試
験済のモデルを用いることができる。H.Derin及
びW.S.Cohle著“ギッブスランダム場を用いて
の織物状映像のセグメント化”(Computer  
Vision,Graphics  and  Ima
ge  Processing  35,pp.72−
98,1986)には式(7)によるギッブス分布が記
載されている。ただしMはクリークの数であり、Ciは
第i番のクリークポテンシャルを示す。8隣接ベクトル
システムを選択した場合、ベクトルv1及びv2を有す
る2クリークのポテンシャルは相互作用理論に基づいて
、水平/垂直隣接ベクトルに対しては、 C=c・|v1−v2|              
                      (8)
により表すことができ、対角線隣接ベクトルに対しては
【0040】
【数11】
【0041】により表すことができる。ただしcは正の
実数パラメータである。すべてのその他のクリークは、
式(3)の確率密度を最大化するためには重要でない一
定のポテンシャルである。このようにして定められたギ
ッブス分布により、動きエッジを研磨することなく平滑
なベクトル場が優先される。
【0042】第2のベクトル場モデルとしてエントロピ
ー符号の符号長L、 L=−ld(P(V))又はP(V)=exp(−L・
ln2)    (10)が用いられる。このようにし
て、前記のように前提とされているギップス分布が得ら
れる。式(10)を式(7)と比較することにより、ギ
ッブス−クリーク−ポテンシャルを符号長Lによりモデ
ル化できると推論することができる。ベクトル場符号化
に対応して輪郭及び予測誤差に従って分離されて、個々
の動きベクトルのコストはその隣接ベクトルから局所的
に近似することができる。
【0043】この場合に輪郭コストは式(11)により
近似される。
【0044】
【数12】
【0045】ただし、kは一定の計数である。viは当
該のベクトルvの8つの最も近くの隣接ベクトルを示し
、bin(v,vi)は、v及びviは共に零ベクトル
であるか又は零ベクトルでない場合に値0をとり、これ
ら2つのベクトルのうちの1つのみが零ベクトルすなわ
ちこれら2つのベクトルの間に輪郭が走行する場合には
値1をとる。giは、vの4隣接ベクトルに対しては1
に設定され、対角線隣接ベクトルに対しては
【0046
【数13】
【0047】に設定される重みを示す。
【0048】個々の動きベクトルにより、5つまでの予
測誤差ベクトルが変化される。従って1つのベクトルの
予測コストは式(12)の中のこれらの5つのベクトル
のコストK(vi)(符号長はbit単位)の和である
【0049】
【数14】
【0050】従って全コストは、 L=LK+LP                  
                         
   (13)となる(bit単位)。
【0051】結果のベクトル品質基準は、式(6)、(
7)及び(13)を式(3)の中に代入して、式(1)
と等価の要求(14)に変形して得られる。ただしk、
a及びbは正の定数であり、bにより重み付けされてい
る和はベクトル場のすべてのベクトルに関してである。
【0052】
【数15】
【0053】結果の動き推定器の構成は図1に概略的に
示されている。先ず初めに、例えば3ステップ方式等の
迅速なサーチによりベクトル場の大まかな推定が得られ
る。ベクトル場は、例えば22×18ベクトル等の制限
されている数のベクトルを有するので、ブロック毎の最
小化が有利である。これにより、ブロックに対する要求
の式(14)はK個の画素により要求の式(15)に簡
単化される。ci=一定においてviはvの4隣接ベク
トルであり、
【0054】
【数16】
【0055】においてviはvの対角線隣接ベクトルで
ある。c及びdは定数である。
【0056】
【数17】
【0057】計算コストを小さく保持するために、本実
施例において要求の式(15)はすべての可能なベクト
ルに対してではなく、それぞれ次の18の“ベクトル候
補”に対してのみテストされた。
【0058】−  最後のサーチ処理過程で推定された
ベクトル、 −  上記ベクトルから1/2画素だけずれている4つ
のベクトル、 −  8つの隣接しているブロックのベクトル、−  
後続する予測子が、この予測子が4つの画像コーナのう
ちの1つで開始する場合にベクトルを符号化するために
予測する4つのベクトル、 −  8つの隣接するブロックのベクトルの平均値、た
だし対角線で隣接するブロックのベクトルは
【0059
【数18】
【0060】により重み付けされる。
【0061】最後のサーチ処理過程において推定された
ベクトルから1/2画素だけしかずれていないベクトル
は、サブ画素分解能を有する推定であることを前提とす
る、すなわち時間的に先行する画像のそれぞれ2つの画
素の間に先ず初めに1つの別の画素が補間され(水平及
び垂直)、従って4倍の数の画素が存在する。これによ
り、当該のブロックを1/2画素だけ(正確には元の分
解能の2つの画素の間隔の1/2だけ)ずらすことが可
能である。
【0062】例えば、最後のサーチ処理過程のベクトル
がv=(1.0,2.5)の場合、これから1/2画素
だけずれているベクトルは(0.5,2.5)、(1.
5,2.5)、(1.0,2.0)及び(1.0,3.
0)である。
【0063】後続の予測子が、この予測子が4つの画像
コーナのうちの1つで開始する場合に予測する4つのベ
クトルを次の例に基づいて説明する。3×3ベクトルブ
ロックのベクトルは走査線毎にa,b,...iにより
示されている。ただしeは、予測すべき平均ベクトルで
ある。この場合、上部左側の画像コーナで開始する予測
子eは(a+2b+c+4d)/8と予測する。これに
対して、下部左側の画像コーナで開始する予測子はeを
(g+2h+i+4d)/8と予測する。以下同様。
【0064】18のベクトル候補は、所要の計算作業と
、ベクトル場の質との間の妥協と見なすことができる好
適な選択である。しかし、別の候補を付加することは、
計算作業の他にベクトル場の質も高める。これに対応し
て、個々の候補を除去することは、計算作業と、ベクト
ル場の質とを低減する。しかし個々の前提に依存して当
業者はベクトル候補をより多く設けたりより少なく設け
たりすることができる。
【0065】個々の前提に依存して3から4の処理過程
でベクトル場の実質的な改善を行うことができる。要求
(15)は、大きいdに対して収束が劣悪であるので、
反復法は小さいdで開始され、dを増大している。1つ
又は複数の処理過程においてc又はkは零に設定するこ
とができる。
【0066】種々の公知のデータを低減する符号化にお
いて、符号化のパラメータは、その都度に発生するデー
タ流に依存して制御される。このような制御は、本発明
の方法においては定数dを制御することができ、従って
動き推定とアップデイトとの間のデータ流の分配を制御
することができる。
【0067】図4は機能ブロック2(図1)による最適
化を示すフローチャートを示す。先ず初めに11におい
て処理過程の数に対するカウンタがj=1にセットされ
る。プログラムステップ12では第1のブロックが座標
x,yにより定められる。更に定数c及びdが、第1の
処理過程のために前もって与えられている値にセットさ
れる。次いで13においてカウンタが、それぞれ1つの
ベクトルに対して式(15)に代入する候補に対して1
にセットされ、QMinが、可及的最大値(“無限”)
にセットされる。
【0068】プログラムステップ14では次のベクトル
候補又は第1の処理工程においては第1のベクトル候補
が求められる。プログラムステップ15及び16では式
(15)を用いて値Qが計算される。次いでプログラム
は17で、QがQMinより小さいかどうか判断される
。 QがQMinより小さい場合にはステップ18でQMi
n=Q及びVOPT=Vにセットされる。VOPT=V
は、Qを計算する際に用いられたベクトル候補が、とり
あえず最適なベクトルと見なされることを意味する。
【0069】次いでステップ19においてプログラムは
、zが18すなわちベクトル候補の数より依然小さいか
どうか判断する。zが18すなわちベクトル候補の数よ
り依然小さい場合にはzはステップ20において増分さ
れ、Qの計算は後続のベクトル候補により行われる。 QがQMinより小さいかどうかに依存してQMin及
びVOPTは新しい値により置換され又はされない。
【0070】最後にQがすべてのベクトル候補に対して
計算されると、ステップ21において、すでにすべての
ブロックが処理されたかどうかが確認される。すべての
ブロックが処理されていない場合にはステップ22にお
いて次のブロックが(x又はyを相応して増分すること
により)検出され、この新しいブロックのためのプログ
ラムが実施される。しかしステップ21ですべてのブロ
ックが処理されている場合にはステップ23で、j≧j
Maxであるかどうかが質問される。j≧jMaxでな
い場合にはjはステップ24で増分され、従って、第1
のブロックから開始して最適化の新しい処理過程が行わ
れる。 ステップ23で処理過程の所定の数jMaxに到達する
とプログラムはステップ25で輪郭/内容の符号化によ
り継続される。
【図面の簡単な説明】
【図1】本発明の方法のフローチャートである。
【図2】公知のDPCM符号器のブロック回路図である
【図3】動きベクトルを求めるための公知のサーチ対策
を説明するための概略図である。
【図4】本発明の方法を実施するために用いられる信号
プロセッサのプログラムのためのフローチャートである
【符号の説明】
4    入力側 5    画像メモリ 6    減算回路 7    量子化器 8    符号器 9    伝送チャネル 10    加算回路 11    予測メモリ 12    動き推定器

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】  撮像された画像のそれぞれ1つのブロ
    ックに対して、1つの画像から後続の1つの画像へのブ
    ロック中での動きを表す動きベクトルを求める、撮像さ
    れた画像の中の動きの推定方法において、先ず初めにそ
    れぞれブロックに対してそれぞれ第1の動きベクトルを
    互いに無関係に求め、求めた第1の動きベクトルを、隣
    接するブロックの動きベクトルとの相関関係を考慮して
    補正することを特徴とする撮像された画像の中の動きの
    推定方法。
  2. 【請求項2】  補正された動きベクトルの間の統計的
    依存性をギッブス分布により示すことを特徴とする請求
    項1に記載の撮像された画像の中の動きの推定方法。
  3. 【請求項3】  第1の動きベクトルを、補正された動
    きベクトルの次の符号化コストを考慮して補正すること
    を特徴とする請求項1に記載の撮像された画像の中の動
    きの推定方法。
  4. 【請求項4】  動きベクトルを補正する際に、(A)
    供給信号のノイズ出力に1ブロックの画素数を乗算した
    積と予測誤差振幅との自乗和の最大値の対数に1ブロッ
    クの画素数を乗算した積と、(B)当該ブロックの動き
    ベクトルと隣接ブロックの動きベクトルとの間の差ベク
    トルの長さの和と、(C)当該ベクトルの符号化に必要
    なビット数とを加数として加算して得られた和を最小化
    することを特徴とする請求項1に記載の撮像された画像
    の中の動きの推定方法。
  5. 【請求項5】  1つの画像の動きベクトルにより形成
    されているベクトル場に対して最小化を多数回行うこと
    を特徴とする請求項4に記載の撮像された画像の中の動
    きの推定方法。
  6. 【請求項6】    最小化を繰返し行う際に変化する
    係数により加数を重み付けすることを特徴とする請求項
    5に記載の撮像された画像の中の動きの推定方法。
  7. 【請求項7】  加数(C)を重み付けする係数の値を
    、処理過程の数が増加するとともに大きくすることを特
    徴とする請求項6に記載の撮像された画像の中の動きの
    推定方法。
  8. 【請求項8】  加数(B)において、当該ブロックに
    対して対角線に配置されている隣接のブロックの長さ及
    び大きさを、その他の隣接しているブロックに対して係
    数【数1】 により重み付けすることを特徴とする請求項4に記載の
    画像の中の動きの推定方法。
  9. 【請求項9】  各ベクトルの最小化が、選択された特
    定の候補に対してのみ行われ、これらの候補は有利には
    、−  最後のサーチ処理過程における推定されたベク
    トルと、 −  このベクトルから1/2画素だけずれている4つ
    のベクトルと、 −  8つの隣接しているブロックのベクトルと、− 
     後続の予測子が4つの画像コーナのうちの1つで開始
    する場合にベクトルの符号化のために該予測子により予
    測される4つのベクトルと、 −  8つの隣接しているブロックのベクトルの平均値
    とであること、ただし対角線的に隣接しているブロック
    は【数2】 により重み付けされることを特徴とする請求項4に記載
    の画像の中の動きの推定方法。
  10. 【請求項10】  動きベクトルを補正する際に【数3
    】 を最小化し、ただし −  Kは当該画素の数、 −  logは自然対数、 −  Maxは最大値、 −  DFDは当該領域の中の予測誤差の自乗和、− 
     PKは例えばカメラノイズに起因する装置のノイズ出
    力、 −  c,d,kは正の定数、 −  v,viは当該動きベクトルとその隣接ベクトル
    、−  ciは4隣接子の定数と、対角線上の隣接部の
    、係数 【数4】 だけ小さい定数、 −  |  |はベクトルのノルム(長さ)、−  g
    iは4つの隣接子に対しては1、対角線隣接部に対して 【数5】 −  bin(v,vi)は、ベクトルのうちの1つが
    零ベクトルの場合には1、その他の場合には0、−  
    K(vi)はベクトルviを符号化するための符号ワー
    ドの長さである請求項1に記載の画像の中の動きの推定
    方法。
  11. 【請求項11】  ブロック対応の動きベクトル場を符
    号化するためにベクトル場を、零ベクトルしか有しない
    領域と、零ではないベクトルを有する領域とに分割し、
    零ベクトルを有しない領域の輪郭を符号化し、零ではな
    いベクトルを有する領域において、求められた動きベク
    トルと、すでに符号化されている、空間的隣接領域の中
    の動きベクトルから予測された動きベクトルとの差を伝
    達することを特徴とする請求項1に記載の画像の中の動
    きの推定方法。
  12. 【請求項12】  予測された動きベクトルを、4つの
    隣接しているベクトルを平均することにより形成するこ
    とを特徴とする請求項11に記載の画像の中の動きの推
    定方法。
JP24724091A 1990-09-28 1991-09-26 撮像された画像の中の動きの推定方法 Expired - Lifetime JP3390024B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE4030703.4 1990-09-28
DE4030703A DE4030703A1 (de) 1990-09-28 1990-09-28 Verfahren zur schaetzung von bewegung in einem aufgenommenen bild

Publications (2)

Publication Number Publication Date
JPH04248789A true JPH04248789A (ja) 1992-09-04
JP3390024B2 JP3390024B2 (ja) 2003-03-24

Family

ID=6415168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24724091A Expired - Lifetime JP3390024B2 (ja) 1990-09-28 1991-09-26 撮像された画像の中の動きの推定方法

Country Status (4)

Country Link
EP (1) EP0477616B1 (ja)
JP (1) JP3390024B2 (ja)
AT (1) ATE152312T1 (ja)
DE (2) DE4030703A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0923425A (ja) * 1995-07-04 1997-01-21 Sony Corp ピクチャースタンプ用画像圧縮装置
JP2007288810A (ja) * 2007-07-03 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
WO2019124191A1 (ja) * 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019124193A1 (ja) * 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5508744A (en) * 1993-03-12 1996-04-16 Thomson Consumer Electronics, Inc. Video signal compression with removal of non-correlated motion vectors
GB0500174D0 (en) 2005-01-06 2005-02-16 Kokaram Anil Method for estimating motion and occlusion
US10554965B2 (en) 2014-08-18 2020-02-04 Google Llc Motion-compensated partitioning
US10397600B1 (en) 2016-01-29 2019-08-27 Google Llc Dynamic reference motion vector coding mode
US10462457B2 (en) 2016-01-29 2019-10-29 Google Llc Dynamic reference motion vector coding mode

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231751B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0923425A (ja) * 1995-07-04 1997-01-21 Sony Corp ピクチャースタンプ用画像圧縮装置
JP2007288810A (ja) * 2007-07-03 2007-11-01 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
WO2019124191A1 (ja) * 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019124193A1 (ja) * 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11197019B2 (en) 2017-12-18 2021-12-07 Panasonic Intellectual Property Corporation Of America Encoder that calculates a set of prediction samples for a first partition included in a video and encodes the first partition using the set of prediction samples

Also Published As

Publication number Publication date
EP0477616A2 (de) 1992-04-01
EP0477616B1 (de) 1997-04-23
EP0477616A3 (en) 1993-02-24
DE59108675D1 (de) 1997-05-28
JP3390024B2 (ja) 2003-03-24
ATE152312T1 (de) 1997-05-15
DE4030703A1 (de) 1992-04-02

Similar Documents

Publication Publication Date Title
KR0178231B1 (ko) 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치
US5668608A (en) Motion vector estimation method and apparatus for use in an image signal encoding system
US5581308A (en) Method and apparatus for determining true motion vectors for selected pixels
EP0652678B1 (en) Method, apparatus and circuit for improving motion compensation in digital video coding
KR950009699B1 (ko) 움직임벡터 검출방법 및 장치
KR100492127B1 (ko) 적응형 움직임 추정장치 및 추정 방법
US5587741A (en) Apparatus and method for detecting motion vectors to half-pixel accuracy
US5686973A (en) Method for detecting motion vectors for use in a segmentation-based coding system
JP2801559B2 (ja) 動き大小に適応する動き補償符号化方法及びその装置
US5614959A (en) Method and apparatus for motion estimation
KR101217627B1 (ko) 블록 기반의 움직임 추정 방법 및 장치
KR100207390B1 (ko) 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법
KR100238893B1 (ko) 참조 움직임 벡터수에 기초한 움직임 벡터 부호화 방법 및 그 장치
US6104439A (en) Method and apparatus for motion estimation
KR20050097936A (ko) 효과적인 예측 이미지 파라미터 추정
JPH04248789A (ja) 撮像された画像の中の動きの推定方法
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
EP0783820B1 (en) Method and system for coding an image sequence
JPH10327401A (ja) 動きベクトル検出方法及びそれを用いた画像信号の符号化方法及び装置
KR0152014B1 (ko) 화상데이타압축에서의 움직임추정방법 및 그 장치
KR0178228B1 (ko) 이미지 신호 복호화용 개선된 움직임 벡터 추정 방법 및 장치
JPH0785287A (ja) 予測符号化装置およびその復号装置
JP2765528B2 (ja) 半画素精度動きベクトル探索装置
JP3627871B2 (ja) 動き量検出方法及び動き量検出装置
JP2596352B2 (ja) 小数精度動きベクトル探索装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100117

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100117

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110117

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110117

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120117

Year of fee payment: 9

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120117

Year of fee payment: 9