JP3836559B2 - ディジタルビデオ符号化器における動き推定方法 - Google Patents

ディジタルビデオ符号化器における動き推定方法 Download PDF

Info

Publication number
JP3836559B2
JP3836559B2 JP03947797A JP3947797A JP3836559B2 JP 3836559 B2 JP3836559 B2 JP 3836559B2 JP 03947797 A JP03947797 A JP 03947797A JP 3947797 A JP3947797 A JP 3947797A JP 3836559 B2 JP3836559 B2 JP 3836559B2
Authority
JP
Japan
Prior art keywords
macroblock
picture
motion
motion vector
previous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03947797A
Other languages
English (en)
Other versions
JPH09261662A (ja
Inventor
ジョン・アシュレイ・マードック
アグネス・イー・ガイ
エヴェレット・ジョージ・ヴァイル・サード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH09261662A publication Critical patent/JPH09261662A/ja
Application granted granted Critical
Publication of JP3836559B2 publication Critical patent/JP3836559B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ディジタルビデオ画像の圧縮に関し、特に時間的圧縮、すなわちピクチャ間の冗長性の減少に関する。ピクチャ間の冗長性は、動きベクトルを使うことによって減少され、場合によっては除去される。
【0002】
【従来の技術】
過去10年の間に、世界規模の電子通信システムの出現により、情報の送受方法が改良されている。特に、ここ数年間で、リアルタイムビデオおよびオーディオシステムの性能が大幅に改善されている。ビデオ・オン・デマンドおよび加入者へのビデオ会議などのサービスを提供するためには、膨大な量のネットワーク帯域幅が必要である。実際、ネットワーク帯域幅がかかるシステムの効率を抑制する主な原因であることが多い。
【0003】
ネットワークにより強いられるこれらの制限を克服するために、圧縮システムが登場した。これらのシステムは、ピクチャシーケンスにおける冗長性を減少させることによって、伝達しなければならないビデオおよびオーディオデータの量を減少させる。受信側では、ピクチャシーケンスは解凍され、リアルタイムで表示することができる。
【0004】
出現したビデオ圧縮標準の一つの例は、MPEG標準である。MPEG標準によれば、ビデオ圧縮はピクチャ内およびピクチャ間の両方に定義されている。ピクチャ内のビデオ圧縮は、離散コサイン変換、量子化、可変長符号化、ハフマン符号化による時間領域から周波数領域へのディジタル画像の変換によりなされる。ピクチャ間のビデオ圧縮は、動き推定というプロセスを介してなされ、そこでは動きベクトルが1つのピクチャから他のピクチャへの画素のセットの平行移動を記すのに使われる。
【0005】
【発明が解決しようとする課題】
本発明の主な目的は、前ピクチャおよび現ピクチャのマクロブロック間の動きベクトルが、これら2つのマクロブロック間の実際の動き軌跡に近くなるように、前ピクチャにおいて最もよくマッチするマクロブロック(以下、最適マクロブロックという)を探索し、それと現ピクチャとの間の動きベクトルを作成する方法を提供することである。
本発明の他の目的は、ピクチャ間圧縮を改善することである。
【0006】
【課題を解決するための手段】
MPEG2標準における基本動き推定単位は、マクロブロックである。16x16画素のブロックとして定義されるマクロブロックは、非常に小さなピクチャのセグメントである。このような小さなセグメントが比較的大きな探索ウィンドウに対してマップされるとき、同じ予測差分または非常に近い予測差分を有するいくつかのマクロブロックが参照ピクチャにあることが多い。このような状況では、符号化器が参照ピクチャにおいて真の最適マクロブロックを判断しなければならない。この「予測差分」とは、現ピクチャマクロブロックおよび参照ピクチャマクロブロックにある対応する個々の画素との間の差分の絶対値の合計であり、次式で表される。
【数1】
Figure 0003836559
【0007】
ここでci,jは現ピクチャマクロブロックにあるi,j画素の画素値であり、ri,jは参照ピクチャマクロブロックにある対応するi,j画素の画素値である。好ましい実施形態によれば、動き推定は上部画素から下部画素へ、左コラムから右コラムへ、規則的に実行される。最小の予測差分が2つ以上の参照マクロブロックで得られる場合には、システムが最初に計算したマクロブロック、現マクロブロックから最も短い距離にあるマクロブロック、または動きパスに最も近いマクロブロックを最適マクロブロックにすることができる。動きの方向は様々なため、最も近いマクロブロックを選択することによって良い結果を得ることができるが、最初に計算されたマクロブロックを選択した場合には、その結果の良否は不規則になる。しかし、本発明のフレキシブルな符号化器では、軌跡に基づいて動きを選択することができる方式を用いている。
【0008】
本発明の方法と装置によれば、動き軌跡値およびベース重みは、符号器のオンチップ回路またはマイクロコードにより計算でき、異なるベース重みを回路に設定することができる。前ピクチャからの動き軌跡値は、現ピクチャで予想される動きの方向と量を示す。前ピクチャにあるすべてのマクロブロックに対する動きベクトルの平均である前平均動きベクトルが動き軌跡値の一例である。探索ウィンドウは、現マクロブロックがその中心に位置しているものとして決められる。ウィンドウは、ピクチャの端部で最小になる。動きベクトルには、x(水平)コンポーネントと、y(垂直)コンポーネントの2つのコンポーネントがある。xは現マクロブロック位置からの水平の変位または移動であり、yは現マクロブロック位置からの垂直の変位または移動である。動きが現マクロブロックの右への場合には、xの値は正である。動きが現マクロブロックのへの場合には、yの値は正である。前ピクチャの平均動きベクトル(x,y)が負の場合には、ベース重みが好ましくはピクチャの左上隅へバイアスするよう計算される。ベース重みには、水平用と垂直用の2つのコンポーネントがある。初期ベース重みは、ウィンドウの左上隅へ直接適用される。ベース重みは、初期位置からの各垂直または水平ペル距離に対して可変単位重み(たとえば±1)により調整される。ベース重みは、動き軌跡値の位置では0となる。
【0009】
xを探索ウィンドウの左端からの現マクロブロックの水平オフセットとし、yを探索ウィンドウの上端からの現マクロブロックの垂直オフセットとする。このxとyの対の値をベース重みとして使うとき、動き推定は、現マクロブロックから最短距離の最適マクロブロックを提供する。ベース重みを0に設定すると、動き推定は探索回路が見出す最初の最適マクロブロックを作成する。
【0010】
【発明の実施の形態】
本発明はMPEGおよびHDTV用の符号化器および符号化プロセスに関し、特に平均化やバイアスを利用した動き推定に関する。平均化およびバイアスは不連続および断続を除去するのに役立ち、圧縮を改善する。符号化器により実行される符号化機能には、データ入力、空間圧縮、動き推定、マクロブロックモード生成、データ再構築、エントロピー符号化およびデータ出力が含まれる。動き推定および補償は時間圧縮機能である。これらは高い計算能力を必要とする繰り返し機能であり、逆離散コサイン変換、逆量子化、動き補償、特に時間的に変化しているピクチャ間での最適マクロブロックの探索といった高度の再構築処理を含んでいる。
【0011】
特に、本発明は、動きの推定、補償および予測に関し、さらに最適マクロブロックの探索およびそれに続く動きベクトルの計算に関する。動き補償は、現ピクチャをブロック、例えばマクロブロックへ分割し、前に伝送したピクチャにおいて同様の内容を持つ近くのブロックを探索することにより、時間的冗長性を利用する。現ブロックペルと参照ピクチャから抽出された予測ブロックペルとの差分だけが実際に圧縮され、しかる後伝送される。
【0012】
動き補償および動き予測の最も簡単な方法は、各画素の輝度および色差を「I」ピクチャに記録し、それらの変更を次ピクチャに記録するものである。しかし、オブジェクトがピクチャ間で動くため、すなわち、画素内容があるピクチャ内のあるロケーションから次ピクチャ内の異なるロケーションへ動くため、この方法は伝送媒体帯域、メモリ、プロセッサ容量および処理時間の点で不経済である。より進んだアイデアとしては、前または次ピクチャを使って、例えば、動きベクトルによって、画素のブロックが次または前ピクチャのどこにあるかを予測し、結果を「予測ピクチャ」すなわち「P」ピクチャとして書き込むことである。特に、これには、i番目のピクチャの画素または画素のマクロブロックがi−1またはi+1番目のピクチャのどこにあるかの最適な判断または予測が含まれる。さらに、次ピクチャおよび前ピクチャの両方を使って、画素のブロックが中間ピクチャすなわち「B」ピクチャのどこにあるかが予測される。
【0013】
注意すべきことは、ピクチャ符号化順序およびピクチャ伝送順序を必ずしもピクチャ表示順序に合わせる必要がないことである。これは図2に示してある。I−P−Bシステム、つまり、イントラ/予測/双方向ピクチャシステムでは、入力ピクチャ伝送順序は符号化順序とは異なり、入力ピクチャは、符号化に使われるまで一時的にバッファストアされなければならない。
【0014】
例示のために、MPEG符号化の一般的なフローチャートを図1に示す。フローチャートでは、i番目のピクチャおよびi+1番目のピクチャの画像が処理されて、動きベクトルが生成される。動きベクトルは、画素のマクロブロック(MB)が、前ピクチャまたは次ピクチャのどこにあるかを予測する。画像全体の代わりに動きベクトルを使うことが、MPEGおよびHDTV標準における時間圧縮の鍵となる態様である。図1に示すように、動きベクトルは、生成されると、i番目のピクチャからi+1番目のピクチャへの画素のマクロブロックの平行移動に使われる。
【0015】
図1に示すように、符号化プロセスでは、i番目のピクチャおよびi+1番目のピクチャの画像が、符号化器11で処理され、例えばi+1番目のおよびそれに続くピクチャが符号化され伝送される形の動きベクトルを生成する。次ピクチャの入力画像111は、符号化器の動き推定ユニット43へ進む。動き推定ユニット43は複数の動きベクトルを出力する。これらのベクトルは、動き補償ユニット41へ供給され、このユニットの出力のために、過去または未来のピクチャから「参照」データとよばれるマクロブロックデータを検索する。動き補償ユニット41の出力は、動き推定ユニット43からの出力とマイナスに合計されて、離散コサイン変換器21の入力に進む。離散コサイン変換器21の出力は、量子化器23で量子化される。量子化器23の出力は、121と131の2つの出力に分けられる。出力121は、伝送前のさらなる圧縮および処理のために、可変長(ランレングス)符号化器などの下流エレメント25へ進む。出力131は、フレームメモリ42への保管のために、画素の符号化されたマクロブロックの再構築処理(復号処理)を受ける。例示のために示された符号化器11において、この第2の出力131は逆量子化29および逆離散コサイン変換器31で再構築され、損失のある差分マクロブロックを復元する。このデータは、動き補償ユニット41の出力と合計され、元のピクチャの再構築マクロブロックデータをフレームメモリ42へ戻す。
【0016】
図2に示す通り、3つのタイプのピクチャ、すなわちイントラ符号化ピクチャ(Iピクチャ)、双方向符号化ピクチャ(Bピクチャ)および予測符号化ピクチャ(Pピクチャ)がある。Iピクチャは、全体が符号化および伝送されるもので、動きベクトルを定義する必要はない。これらのIピクチャは、動きベクトルのソースとなる。Pピクチャは、前ピクチャからの動きベクトルによって形成され、未来ピクチャへの動きベクトルのソースとなり得る。最後に、Bピクチャは、他の2つのピクチャ(一方は過去、もう一方は未来)からの動きベクトルによって形成されるもので、動きベクトルのソースとはなり得ない。動きベクトルは、IピクチャおよびPピクチャから生成され、PピクチャおよびBピクチャを形成するのに使われる。
【0017】
動き推定が実行される一つの方法は、図3に示すように、現フレームのマクロブロック(現マクロブロック)211に対して、隣接フレーム(参照フレーム)を探索して最適マクロブロック213を見つけることである。この方法でマクロブロックを平行移動すると、図4の右側に示すようなマクロブックのパターンが得られる。このように、参照フレームのピクチャは、動きベクトルおよび差分データによって少し変化し、現フレームのピクチャを生成する。符号化されたのは動きベクトルおよび差分データであり、現フレームのピクチャそのものではない。動きベクトルは、ピクチャ間で画像の位置を変換し、一方差分データは色差、輝度および彩度における変化、すなわち陰影および照度の変化を示す。
【0018】
図3に戻って、現フレームおよび隣接フレーム(参照フレーム)の同じロケーションから探索を開始する。探索ウィンドウは、隣接フレーム内に作成される。この探索ウィンドウ内で最適マクロブロック213を探索する。一度見つかると、その最適マクロブロック213を用いた符号化が行われる。この符号化には、動きベクトルが含まれる、すなわち、現フレームにおいて最適マクロブロックがx方向およびy方向に何画素分変位しているか、ということである。同じく符号化されるのは、「予測誤差」とも言われる差分データであり、これは現マクロブロック211と最適参照マクロブロック213との間の色差および輝度の差分である。
【0019】
上述した通り、ディジタル画像の時間領域圧縮におけるビデオ動き推定は、1つのフレームの位置(画素またはマクロブロック)x1,y1から次フレームの位置(画素またはマクロブロック)x2,y2への画像の動きベクトルに依存する。動き推定アルゴリズムおよび装置が、フレーム間でのオブジェクトの変換を正確に定義する一組の動きベクトルを見出す。
【0020】
動き推定アルゴリズムおよび装置は、前フレームすなわち参照フレームの画素ブロック(マクロブロック)とほぼ一致する現フレームの画素ブロック(マクロブロック)を見出す。これは、「予測差分」を最小にすることによって行われる。画素またはマクロブロックの絶対累積差分、すなわち予測差分は、上述したように、探索ウィンドウ内の参照マクロブロックについて計算される。場合によっては、残りのマクロブロックよりかなり低い予測差分を持つ1つの参照マクロブロックが存在し得る。このマクロブロックは、動き推定のため、すなわち動きベクトルの起点として選択される。xおよびyベクトルは、スクリーンにおける画像の移動をマップする。1つの問題は、そのような移動が、ビデオ中での本当の動きの軌跡ではないことがあることである。これは、おそらく輝度の変化、ノイズ、ズーミング、スケーリング、速い動き、またはカメラあるいはシステムにより引き起こされるその他の変則によるものである。その結果、動き推定アルゴリズムにより計算された動き軌跡は、ビデオ画像シーケンスにおいてスムースな動きを示さないことがある
【0021】
動き軌跡をスムースにし、圧縮を改善するために、本発明の方法は、予測差分の計算で「ベース重み」を加算する。ベース重みには、フレーム間の動きにバイアスをかける働きがある。ベース重みは、上述した通りである。
【0022】
動きベクトルは、差分的に符号化されるため、累積絶対画素差分が探索ウィンドウ内の最低差分にかなり近い場合には、同じまたは類似の動きベクトルを持つ参照マクロブロックを選ぶと、符号化すべき動きベクトル間の差分が小さくなるので好ましい。前平均動きベクトルなどの動き軌跡値およびベース重みを使って、これを達成することができる。
【0023】
前平均動きベクトルは、前ピクチャ内のすべてのマクロブロックについての動きベクトルの平均である。前平均動きベクトルは、水平および垂直コンポーネントに分解され、それらのコンポーネントは正負いずれかの値を独立して持つことができる。初期ベース重みは、前平均動きベクトルおよび探索ウィンドウのサイズに基づいて設定される。ベース重みは、探索ウィンドウ内の各ロケーションについて調整される。本発明の方法および装置で使用されるアルゴリズムは、前フレームにおけるすべてのマクロブロックのすべての動きベクトルの平均である「前平均動きベクトル」の計算から始まる。第2の開始点は、表1に示すように、「前平均動きベクトル」と探索ウィンドウのサイズとの関数である「初期ベース重み」である。
【0024】
ベース重みの初期値は、「前平均動きベクトル」に対応する位置のベース重みの値がゼロになるように設定される。これらのベース重みは、初期値設定後、ベース重みを0になるまで減分し、次いで増分することにより調製される。動き推定回路には、水平方向および垂直方向の増減分のために加算器が設けられる。動き計算が1つのマクロブロックユニットから次へ進むときに、ベース重みの値は単位重み値によって増減分され、予測差分に加えられる。位置が前平均動きベクトルから離れるほど、累積画素差分へ加えられるベース重みは大きくなる。これは前平均動きベクトルに対応する位置の方へバイアスするという所望の効果を有する。
【0025】
ベース重みを使って、ほぼ等しい予測差分を持つ一組のマクロブロックから選択する。これは、最低予測差分を持つマクロブロックが2つ以上あるか、あるいは最低予測差分に近い複数のマクロブロックがあるケースが多いためである。この状況においては、どの参照マクロブロックが動き推定に使うのに最も適した候補であるかははっきりしない。本発明によれば、ベース重みは、各マクロブロックの予測差分へ加えられる。このベース重みは、既知の動き軌跡からの候補参照マクロブロックの変位に比例している。
【0026】
本発明の方法によれば、可変またはプリセットの単位重み値を使うことによって柔軟性が得られる。単位重み値は、参照マクロブロックロケーションが一位置分だけ動いたときにベース重みを増分または減分する量である。単位重み値を変えることによって、バイアスの量は調整可能である。単位重みを増やすと、より大きなベース重みが動き軌跡より遠く離れた位置にある予測差分へ加えられるため、結果を動き軌跡位置の方へより強くバイアスする。
【0027】
以下の表1に、負および正の前平均動きベクトルならびにベース重みの使い方を示す。表には、水平方向のみを示す。もちろん垂直の方法も同様である。
【0028】
表1では以下の変数を使っている。
j=探索ウィンドウのサイズ(±8の場合、j=8)
m=平均動きベクトルの大きさ
w=初期ベース重み
u=単位重み値(u=1)
4つのケースを取り上げている。
Figure 0003836559
【0029】
図5のダイアグラムに、表1に示した各ケースについて、探索ウィンドウ内で最適マクロブロックを見つけるために各参照マクロブロックに適用されるベース重みを調整する方法を示す。例えばケース1では、前平均動きベクトルが−3なので、0のベース重みが左に3だけずれている。
【0030】
図6は、最適マクロブロックをいかにして探索するかを、25の探索のうちの4つを例示して示している。アスタリスクは、探索ウィンドウがそのまわりに形成される現ブロックの左上画素の位置を示している。図示されているのは、4x4画素のマクロブロックの処理である。図示された探索ウィンドウのサイズは、水平および垂直方向に±2である。画素数で言えば、8×8である。図示したように、水平方向および垂直方向にそれぞれ5つの可能なロケーションがあり、合計で25の可能な最適ロケーションがある。
【0031】
図7は、最適マクロブロックを探索する方法のフローチャートである。このフローチャートは、m×n(図6の例では4×4)のマクロブロック、a×b(図6の例では8×8)の探索ウィンドウについてであり、cは現画素値、rは参照画素値、PDは予測差分、PD(b)は予測差分の最適値、MVは動きベクトルである。ブロック1は初期化ブロックであって、PD(b)を最大値に初期化し、xを0に初期化し、yを0に初期化する。ブロック2は、iが0からm−1までと、jが0からn−1まで、すなわちマクロブロック全体にわたる予測差分の合計を次式で計算する。なお、ブロック2中の「∈」は下記の数2における総和記号である。
【数2】
Figure 0003836559
z
【0032】
ブロック3は、予測差分がこれまでに見出した最適値PD(b)より小さいかどうかをテストする。これが真の場合には、ブロック4に示したように、PD(b)は、新たに計算された値に設定され、動きベクトルがx,yに設定される。次に、ブロック5で、xがa−mよりも小さいか否かのテストが行われる。これが真の場合にば、xはブロック6に示すように増分され、xの新しい値がブロック2の総和式に戻される。偽の場合には、ブロック7でxが0に設定され、ブロック8でyがb−nより小さいか否かのテストが行われる。ブロック8のテストが真の場合には、ブロック9でyは増分され、yの新しい値がブロック2の総和式に戻される。偽の場合には、アルゴリズムは終了する。
【0033】
本発明の方法および装置によれば、平均動きベクトルおよびベース重みは符号化器のオンチップ回路またはマイクロコードにより計算することができ、異なる初期ベース重みを、回路またはマイクロコードへ設定することができる。xを探索ウィンドウの左端からの現マクロブロックの水平オフセットとし、yを探索ウィンドウの上端からの現マクロブロックの垂直オフセットとする。このxおよびyの対の値を初期ベース重みとして使うとき、動き推定は、現マクロブロックから最短距離の最適マクロブロックを与える。初期ベース重みを0に設定すると、動き推定は、探索回路が見出す最初の最適マクロブロックを作成する。初期ベース重みを平均動きベクトルに設定すると、動き推定は、元の動きベクトルに最も近い最適マクロブロックを作成する。
【0034】
本発明の特定の好ましい実施態様および実施例について説明したが、これらは本発明の範囲を制限するものではない。
【0035】
まとめとして、本発明の構成に関して以下の事項を開示する。
(1)ディジタルビデオ符号化器における動き推定方法であって、
直交するxコンポーネントおよびyコンポーネントを有する動き軌跡値を前ピクチャから定義するステップと、
絶対画素差分を定義するステップと、
前平均動きベクトルの原点に対応する位置ではゼロになるように、前記前平均動きベクトルおよび探索ウィンドウのサイズの関数としてゼロまたは正のベース重みを定義するステップと、
と具備する動き推定方法。
(2)前記ベース重みは、探索ウィンドウによる最適マクロブロックの探索時に調整されて前記絶対画素差分に加えられ、2以上のマクロブロックが最良の予測差分を有している場合には、そのうち現マクロブロックから最短距離にあるマクロブロック、または最初に見つけたマクロブロックを前記最適マクロブロックとする上記(1)記載の方法。
(3)前記動き軌跡値は前記前平均動きベクトルである上記(1)記載の方法。
(4)前記ベース重みをゼロへ減分させた後、増分させる上記(1)記載の方法。
【図面の簡単な説明】
【図1】 離散コサイン変換器21、量子化器23、可変長符号化器25、逆量子化器29、逆離散コサイン変換器31、動き補償41、フレームメモリ42および動き推定43を含む一般的なMPEG2符号化器11のフローダイアグラムを示す。データパスには、i番目のピクチャ入力111、差分データ112、動きベクトル113、ピクチャ出力121、動き推定および補償のためのフィードバックピクチャ131および動き補償済みピクチャ101が含まれる。本図においては、i番目のピクチャがフレームメモリ42にあり、i+1番目のピクチャが動き推定により符号化されていることを仮定している。
【図2】 I、PおよびBピクチャ、それらのピクチャの表示および伝送順序、ならびに逆方向/順方向動き予測を示す。
【図3】 現フレームまたはピクチャにある動き推定ブロックから次または前フレームまたはピクチャにある最適ブロックへの探索を示す。ブロック211および211'は、両方のピクチャにおいて同じ位置を示す。
【図4】 前ピクチャから新ピクチャにかけての動きベクトルに従ったブロックの移動、および動きベクトルを使った後調整された前ピクチャのブロックを示す。
【図5】 正と負の平均動きベクトルコンポーネントのケースについて探索ウィンドウを横断してマクロブロックベース重みを調整する方法を示す。
【図6】 最適マクロブロックのための25の探索のうちの4つを示している。アスタリスクは、探索ウィンドウがそのまわりに形成される現ブロックの左上画素の位置を示している。図示されているのは4x4ブロックの処理である。図示された探索ウィンドウのサイズは、水平および垂直方向に±2である。図示したように、1行につき5つの可能な水平位置と、5つの可能な垂直行位置があり、合計で25の可能な最適ロケーションがある。
【図7】 最適マクロブロックを探索する方法のフローチャートである。このフローチャートは、m×nのマクロブロック、a×bの探索ウィンドウについてであり、cは現画素値、rは参照画素値、PDは予測差分、PD(b)は予測差分の最適値およびMVは動きベクトルである。
【符号の説明】
11 符号化器
21 離散コサイン変換器
23 量子化器
25 可変長符号器
29 逆量子化器
31 逆離散コサイン変換器
41 動き補償
42 フレームメモリ
43 動き推定
211 マクロブロック
213 最適マクロブロック

Claims (1)

  1. ディジタルビデオ符号化器における動き推定方法であって、
    直交するxコンポーネントおよびyコンポーネントを有し、前ピクチャにあるすべてのマクロブロックに対する動きベクトルの平均である前平均動きベクトルを定義するステップと、
    現ピクチャにある符号化すべき現マクロブロックと前ピクチャにある参照マクロブロックとの間の予測差分を定義するステップと、
    初期値が前記前平均動きベクトルの原点に対応する位置ではゼロになるように、前記前平均動きベクトルおよび探索ウィンドウのサイズの関数としてゼロまたは正のベース重みを定義するステップと、
    前記ベース重みを前記予測差分に加算するステップと、
    前記ベース重みを加算された予測差分から最適マクロブロックを決定するステップと、
    具備する動き推定方法。
JP03947797A 1996-03-08 1997-02-24 ディジタルビデオ符号化器における動き推定方法 Expired - Fee Related JP3836559B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/612639 1996-03-08
US08/612,639 US5661524A (en) 1996-03-08 1996-03-08 Method and apparatus for motion estimation using trajectory in a digital video encoder

Publications (2)

Publication Number Publication Date
JPH09261662A JPH09261662A (ja) 1997-10-03
JP3836559B2 true JP3836559B2 (ja) 2006-10-25

Family

ID=24454018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03947797A Expired - Fee Related JP3836559B2 (ja) 1996-03-08 1997-02-24 ディジタルビデオ符号化器における動き推定方法

Country Status (5)

Country Link
US (1) US5661524A (ja)
JP (1) JP3836559B2 (ja)
KR (1) KR100242406B1 (ja)
DE (1) DE19704439C2 (ja)
TW (1) TW373388B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3783238B2 (ja) * 1995-07-31 2006-06-07 ソニー株式会社 撮像システム、画像処理装置、符号化装置、符号化方法及びランダムノイズを除去する方法
US5940131A (en) * 1995-12-15 1999-08-17 Kokusai Denshin Denwa Co. Ltd. Method and apparatus for coding moving pictures
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP3019787B2 (ja) * 1996-09-20 2000-03-13 日本電気株式会社 動きベクトル検出装置
KR100234264B1 (ko) 1997-04-15 1999-12-15 윤종용 타겟윈도우 이동을 통한 블록 매칭방법
US6594311B1 (en) * 1997-10-20 2003-07-15 Hitachi America, Ltd. Methods for reduced cost insertion of video subwindows into compressed video
US6081553A (en) * 1998-04-06 2000-06-27 Hewlett Packard Company Block-matching motion estimation technique for video compression of noisy source signals
US6081209A (en) * 1998-11-12 2000-06-27 Hewlett-Packard Company Search system for use in compression
JP3957915B2 (ja) * 1999-03-08 2007-08-15 パイオニア株式会社 フェード検出装置及び情報符号化装置
DE60036288T2 (de) * 1999-06-30 2008-05-29 Sharp K.K. Dynamisches bildsuch-informations-aufzeichnungsgerät und dynamische bildsuchvorrichtung
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US8111754B1 (en) 2001-07-11 2012-02-07 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030112863A1 (en) 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
TW530489B (en) * 2001-09-11 2003-05-01 Pixart Imaging Inc Moving distance detection method of image sensor
US7133572B2 (en) * 2002-10-02 2006-11-07 Siemens Corporate Research, Inc. Fast two dimensional object localization based on oriented edges
DE102004026597A1 (de) * 2004-06-01 2005-12-29 Micronas Gmbh Verfahren zur Ermittlung von Bewegungsvektoren, die Bildbereichen eines Bildes zugeordnet sind
TWI274509B (en) * 2005-02-22 2007-02-21 Sunplus Technology Co Ltd Method and system for dynamically adjusting motion estimation
US9137537B2 (en) * 2006-02-01 2015-09-15 Flextronics Ap, Llc Dynamic reference frame decision method and system
JP4866417B2 (ja) * 2006-03-09 2012-02-01 パイオニア株式会社 画像処理装置、画像処理方法、および画像処理プログラム
KR101356734B1 (ko) * 2007-01-03 2014-02-05 삼성전자주식회사 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
WO2019234672A1 (en) * 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partial cost calculation
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
CN110645917B (zh) * 2019-09-24 2021-03-09 东南大学 基于阵列式相机的高空间分辨率三维数字图像测量方法
CN111414444A (zh) * 2020-03-02 2020-07-14 北京明略软件系统有限公司 一种时空轨迹信息的处理方法和装置
CN112906475B (zh) * 2021-01-19 2022-08-02 郑州凯闻电子科技有限公司 基于人工智能的城市测绘无人机滚动快门成像方法与系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4679086A (en) * 1986-02-24 1987-07-07 The United States Of America As Represented By The Secretary Of The Air Force Motion sensitive frame integration
JP2833236B2 (ja) * 1991-01-31 1998-12-09 日本電気株式会社 画像の予測符号化方式
US5200820A (en) * 1991-04-26 1993-04-06 Bell Communications Research, Inc. Block-matching motion estimator for video coder
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
US5367343A (en) * 1992-07-30 1994-11-22 Global Telecommunications Industries, Inc. Motion enhanced compressed video system
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
US5438374A (en) * 1993-12-10 1995-08-01 At&T Corp. System and method for filtering video signals

Also Published As

Publication number Publication date
JPH09261662A (ja) 1997-10-03
DE19704439C2 (de) 2002-10-24
US5661524A (en) 1997-08-26
KR100242406B1 (ko) 2000-02-01
KR970068655A (ko) 1997-10-13
DE19704439A1 (de) 1997-09-11
TW373388B (en) 1999-11-01

Similar Documents

Publication Publication Date Title
JP3836559B2 (ja) ディジタルビデオ符号化器における動き推定方法
US6711211B1 (en) Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
US8571105B2 (en) Enhanced motion estimation method, video encoding method and apparatus using the same
US5847776A (en) Method for entropy constrained motion estimation and coding of motion vectors with increased search range
US5786856A (en) Method for adaptive quantization by multiplication of luminance pixel blocks by a modified, frequency ordered hadamard matrix
US20030156646A1 (en) Multi-resolution motion estimation and compensation
US20040114688A1 (en) Device for and method of estimating motion in video encoder
US20050243921A1 (en) Efficient multi-frame motion estimation for video compression
Chan et al. Experiments on block-matching techniques for video coding
KR100246167B1 (ko) 듀얼프라임 움직임 추정시스템 및 방법
KR19980041898A (ko) 디지탈 비디오 데이타 스트림의 일시적인 압축 방법 및 탐색 프로세서
KR20050092306A (ko) 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법
US5844607A (en) Method and apparatus for scene change detection in digital video compression
JP3703299B2 (ja) ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品
US7072399B2 (en) Motion estimation method and system for MPEG video streams
US6996180B2 (en) Fast half-pixel motion estimation using steepest descent
EP0825778A2 (en) Method for motion estimation
JP4284265B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
KR100221171B1 (ko) 조밀한 이동벡터필드를 재생하는 방법 및 장치
KR100367468B1 (ko) 픽셀들을 가지는 디지털화 된 화상에서 동작을추정하기위한 방법 및 장치
EP3754983B1 (en) Early intra coding decision
KR101691380B1 (ko) 시프팅 매트릭스를 이용한 dct 기반의 부화소 단위 움직임 예측 방법
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
AU681324C (en) Method and apparatus for regenerating a dense motion vector field
KR100189268B1 (ko) 프레임 화상에서 필드 모션 추정의 산출 방법 및 장치

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050613

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060727

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100804

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees