JPH09261661A - 2つの基準ピクチャから双方向コード化ピクチャを形成するための方法 - Google Patents

2つの基準ピクチャから双方向コード化ピクチャを形成するための方法

Info

Publication number
JPH09261661A
JPH09261661A JP9029047A JP2904797A JPH09261661A JP H09261661 A JPH09261661 A JP H09261661A JP 9029047 A JP9029047 A JP 9029047A JP 2904797 A JP2904797 A JP 2904797A JP H09261661 A JPH09261661 A JP H09261661A
Authority
JP
Japan
Prior art keywords
picture
macroblock
pictures
pixels
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9029047A
Other languages
English (en)
Inventor
Ronald Steven Svec
ロナルド・スティーヴン・スヴィック
Everett George Vail
エヴェレット・ジョージ・ヴェイル・ザ=サード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH09261661A publication Critical patent/JPH09261661A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/533Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 2つの基準ピクチャから双方向コード化ピク
チャを形成する方法を提供することにある。 【解決手段】 この方法は、各基準ピクチャのメモリ取
出しを行い、その全ピクセル境界で最善一致マクロブロ
ックを検出し、全ピクセル境界マクロブロックを補間し
て双方向マクロブロックを形成し、それから半ピクセル
基準ピクチャ・データを計算することから始まる。サイ
ズ、形状、向きの点で最善一致マクロブロックが対称的
になるように、最善一致マクロブロックから過剰ピクセ
ルが除去される。これは、過剰ピクセルを示すようにエ
ッジ検出器を設定することによって達成することができ
る。過剰ピクセルは、最善一致マクロブロックをサイ
ズ、形状、または向きの点で互いに異なるものにするピ
クセルに対応する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ディジタル視覚画
像の圧縮に関し、より具体的には、時間圧縮、すなわ
ち、MPEG2規格によるピクチャ間の冗長性の低減に
関する。動きベクトルの使用により、ピクチャ間の冗長
性が低減されるか、または解消される。本発明によれ
ば、対称的な過去および今後の最善一致マクロブロック
から双方向予測ピクチャ用の半ペル動きベクトルが生成
される。対称的とは、マクロブロックが、同じサイズ、
形状、向きであることを意味する。
【0002】
【従来の技術】この10年間、世界中に及ぶ電子通信シ
ステムの出現により、情報の送受信を可能にする方法が
強化されてきた。特に、リアルタイム・ビデオおよびオ
ーディオ・システムの諸機能は、近年、非常に改善され
てきた。ビデオオンデマンドやテレビ会議などのサービ
スを加入者に提供するため、膨大な量のネットワーク帯
域幅が必要になっている。事実、ネットワーク帯域幅が
このようなシステムの有効性を阻害する主な原因になっ
ている場合が多い。
【0003】ネットワークによって課せられた制約を克
服するため、圧縮システムが現れた。このようなシステ
ムは、ピクチャ・シーケンス内の冗長性を除去すること
によって、伝送しなければならないビデオおよびオーデ
ィオ・データの量を削減するものである。受信端では、
ピクチャ・シーケンスが圧縮解除され、リアルタイムで
表示することもできる。
【0004】新たなビデオ圧縮規格の一例は、Moving P
icture Experts Group(「MPEG」)規格である。こ
のMPEG規格では、所与の1つのピクチャ内と、複数
のピクチャ間の両方について、ビデオ圧縮が定義されて
いる。1つのピクチャ内のビデオ圧縮は、離散余弦変
換、量子化、可変長コーディング、ハフマン・コーディ
ングによってディジタル画像を時間ドメインから周波数
ドメインに変換することにより行われる。複数のピクチ
ャ間のビデオ圧縮は、動き推定と呼ばれるプロセスによ
り行われるが、そのプロセスでは、動きベクトルを使用
して、あるピクチャから別のピクチャへの1組の画素
(ペル)の変換を記述する。
【0005】動き推定は、現行ピクチャから16×16
のマクロブロックのデータを取り、それを基準ピクチャ
の探索ウィンドウ、すなわち、双方向予測のための両方
の基準ピクチャの探索ウィンドウ内のすべての16×1
6のマクロブロックと比較することによって行われる。
探索ウィンドウの中心は、現行の16×16のマクロブ
ロックの位置周辺に位置する。この比較は、現行マクロ
ブロックと基準マクロブロックの累算絶対ペル差を取
り、最善一致マクロブロックとして最も低い予測差に関
連する基準マクロブロックを選択することによって行わ
れる。
【0006】MPEG2規格では、過去および今後の基
準ピクチャの双方向補間を使用して、ピクチャ符号化の
ための動き推定を計算することができる。事実、これ
は、最も高度のデータ圧縮を備えているので、最も効率
のよい形式の動き推定である。この推定は、全ペル値を
使って行うか、または半ペル値を使って行うことができ
る。半ペル値は、全ペル値同士の補間によって形成され
る。16×16のマクロブロックについて可能なすべて
の半ペル値を形成するためには、マクロブロックの両側
に余分な全ペル値が1つずつある、全ペル値からなる1
8×18の領域が必要である。
【0007】半ペル動き推定に関して発生する問題の1
つは、基準データの最善一致全ペル位置が全ペル探索ウ
ィンドウのエッジなどの1つのエッジ上にあるときに、
マクロブロックのその側にある余分な全ペル値を半ペル
値の形成に利用できないことである。
【0008】この問題は、一方の基準ピクチャからの最
善一致全ペル・データがそのピクチャの1つのエッジ上
にあり、もう一方のピクチャからのデータが同じエッジ
上にないときに双方向半ペル動き推定で発生する。この
場合、半ペル計算プロセッサには、現行マクロブロック
の原点に関する寸法、形状、または向きが異なる2組の
基準データが与えられるはずである。このため、双方向
半ペル値を形成するためにデータの埋込み、位置合せ、
スキップを行うには、基準データに関する個別の読取り
制御が必要になるはずである。
【0009】
【発明が解決しようとする課題】本発明の主な目的は、
非対称探索ウィンドウに対称性を取り入れることにあ
る。これは、双方向に補間したピクチャを形成する際に
使用する最善一致マクロブロックが同数のピクセルと、
同じ形状と、同じ向きを備えるようにするためである。
【0010】
【課題を解決するための手段】本発明の方法および装置
により、上記の目的は、2つの基準ピクチャから双方向
コード化ピクチャを形成することによって達成される。
この方法は、各基準ピクチャのメモリ取出しを行い、探
索ウィンドウの全ピクセル境界で最善一致マクロブロッ
クを検出することから始まる。サイズ、形状、向きの点
で最善一致マクロブロックが対称的になるように、最善
一致マクロブロックから過剰ピクセルが除去される。こ
れは、過剰ピクセルを示すようにエッジ検出器を設定す
ることによって達成することができる。過剰ピクセル
は、最善一致マクロブロックをサイズ、形状、または向
きの点で互いに異なるものにするピクセルに対応する。
【0011】したがって、本発明によれば、過去および
今後両方のピクチャからの対称的な基準データを半ペル
計算回路に必ず与えることが可能になる。すなわち、こ
のデータは、現行マクロブロック位置に対して同じ寸法
と同じ向きを備えている。より正確には、2つのマクロ
ブロックが同じ寸法を備えていない場合、大きい方のマ
クロブロックは小さい方のマクロブロックのサイズまで
縮小される。
【0012】本明細書に添付した図面を参照すれば、本
発明をより明確に理解できるだろう。
【0013】
【発明の実施の形態】ここに記載する本発明は、Bすな
わち双方向に補間したピクチャのための半ペル動き推定
の完了された方法に関するものであり、Bピクチャの半
ペル動き推定方法に関してAgnes NgaiおよびRonald S.
Svecにより1995年3月27に出願され、本出願人に
譲渡された関連米国特許出願第08/411100号に
記載された方法の改良である。
【0014】本発明は、MPEGおよびHDTV適合エ
ンコーダと、符号化プロセスとに関する。このエンコー
ダが実行する符号化機能は、データ入力と、動き推定
と、マクロブロック・モード生成と、データ再構築と、
エントロピ・コーディングと、データ出力とを含む。動
き推定および補償は時間圧縮機能である。これは、計算
要件が高い反復機能であり、逆離散余弦変換、逆量子
化、動き補償など、集中的な再構築処理を含む。
【0015】より具体的には、本発明は、動き推定、補
償、予測に関し、さらに具体的には、動きベクトルの計
算に関する。動き補償では、現行ピクチャをブロック、
たとえば、マクロブロックに分割し、次に事前に伝送し
たピクチャ内を探索して同様の内容の近隣ブロックを探
すことにより、時間的冗長性を活用する。実際には、現
行ブロック・ペルと基準ピクチャから抽出した予測ブロ
ック・ペルとの差だけが伝送用に圧縮され、その後、伝
送される。
【0016】動き補償および予測の最も単純な方法は、
「I」ピクチャ内のすべてのピクセルの輝度とクロミナ
ンス、すなわち、強度と色を記録し、次に後続ピクチャ
内のすべての特定のピクセルの輝度とクロミナンス、す
なわち、強度と色の変化を記録することである。しか
し、これは、伝送媒体帯域幅、メモリ、プロセッサ容
量、処理時間の点で不経済である。というのは、物体は
ピクチャ間で移動する、すなわち、ピクセル内容は1つ
のピクチャ内の1つの位置から後続ピクチャ内の別の位
置に移動するからである。より進んだ考え方としては、
直前または後続のピクチャを使用して、たとえば、動き
ベクトルによって1ブロック分のピクセルが後続または
直前のピクチャ(複数も可)内のどこに入るかを予測
し、その結果を「予測ピクチャ」または「P」ピクチャ
として書き込む方法がある。より具体的には、これは、
i番目のピクチャの複数のピクセルまたはそのピクセル
のマクロブロックがi−1番目またはi+1番目のピク
チャ内のどこに入るかという最善推定または予測を含
む。さらにもう1つのステップは、後続ピクチャと直前
ピクチャの両方を使用して、1ブロック分のピクセルが
中間ピクチャまたは「B」ピクチャ内のどこに入るかを
予測することである。
【0017】ピクチャ符号化順序およびピクチャ伝送順
序は必ずしもピクチャ表示順序と一致しないことに留意
されたい。これについては図2に示す。I−P−Bシス
テムの場合、入力ピクチャ伝送順序は符号化順序とは異
なるので、入力ピクチャは符号化に使用するまで一時的
に格納する必要がある。したがって、この入力を使用す
るまでバッファがそれを格納する。
【0018】例示のため、MPEG適合符号化の汎用流
れ図を図1に示す。この流れ図では、i番目のピクチャ
とi+1番目のピクチャの画像を処理して、動きベクト
ルを生成する。動きベクトルにより、1マクロブロック
分のピクセルが直前または後続ピクチャ内のどこに入る
かを予測する。完全画像の代わりに動きベクトルを使用
することは、MPEGおよびHDTV規格の時間圧縮の
重要な態様の1つである。図1に示すように、生成した
動きベクトルは、i番目のピクチャからi+1番目のピ
クチャへのマクロブロックのピクセルの変換に使用す
る。
【0019】図1に示すように、符号化プロセスでは、
i番目のピクチャとi+1番目のピクチャの画像をエン
コーダ11で処理し、たとえば、i+1番目のピクチャ
と後続ピクチャを符号化し伝送する際の形式である動き
ベクトルを生成する。後続ピクチャの入力画像111
は、エンコーダの動き推定ユニット43に移行する。動
きベクトル113は動き推定ユニット43の出力として
形成される。これらのベクトルは、動き補償ユニット4
1が使用し、このユニットによる出力のために、「基
準」データというマクロブロック・データを直前または
今後のピクチャから取り出す。動き補償ユニット41の
一方の出力と、動き推定ユニット43からの出力との差
が計算され、離散余弦変換器21の入力に移行する。離
散余弦変換器21の出力は量子化器23で量子化され
る。量子化器23の出力は2つの出力、121と131
に分割され、一方の出力121は伝送前にさらに圧縮し
処理するためにラン・レングス・エンコーダなどのダウ
ンストリーム要素25に移行し、もう一方の出力131
はフレーム・メモリ42に格納するために符号化したマ
クロブロック分のピクセルの再構築が行われる。例示の
ために図示したエンコーダでは、この第2の出力131
は逆量子化29と逆離散余弦変換31が行われ、差マク
ロブロックの損失バージョンを返す。このデータは、動
き補償ユニット41の出力と加算され、元のピクチャの
損失バージョンをフレーム・メモリ42に返す。
【0020】図2に示すように、ピクチャには3種類の
タイプがある。「イントラ・ピクチャ」すなわち「I」
ピクチャは、全面的に符号化し伝送されるもので、動き
ベクトルを定義する必要はない。このような「I」ピク
チャは、動きベクトルの発生源として機能する。次に、
「予測ピクチャ」すなわち「P」ピクチャは、直前ピク
チャからの動きベクトルによって形成されるもので、他
のピクチャのための動きベクトルの発生源として機能す
ることができる。最後に、「双方向ピクチャ」すなわち
「B」ピクチャは、他の2つのピクチャ、すなわち、一
方は過去のピクチャでもう一方は今後のピクチャからの
動きベクトルによって形成されるもので、動きベクトル
の発生源として機能することはできない。動きベクトル
は「I」ピクチャおよび「P」ピクチャから生成され、
「P」ピクチャおよび「B」ピクチャを形成するために
使用する。
【0021】図3に示す、動き推定を実行する方法は、
i番目のピクチャのマクロブロック211から次のピク
チャの領域全体にわたって探索し、最善一致マクロブロ
ック213を検出する方法である。このようにしてマク
ロブロックを変換すると、図4に示すように、i+1番
目のピクチャ用のマクロブロックのパターンが得られ
る。このため、i番目のピクチャは、たとえば、動きベ
クトルと差データにより、わずかに変化してi+1番目
のピクチャを生成する。符号化されるのは、動きベクト
ルと差データであって、i+1番目のピクチャそのもの
ではない。動きベクトルはピクチャごとの画像の位置を
変換し、差データはクロミナンス、輝度、彩度の変化、
すなわち、色と明るさの変化を伝える。
【0022】図3に戻ると、i番目のピクチャ内でi+
1番目のピクチャと同じ位置から始めることにより一致
を探す。探索ウィンドウはi番目のピクチャに作成され
る。この探索ウィンドウ内で最善一致を探索する。検出
後、マクロブロック用の最善一致動きベクトルがコード
化される。最善一致マクロブロックのコーディングは、
動きベクトル、すなわち、次のピクチャで変位している
最善一致であるy方向のピクセル数とx方向のピクセル
数とを含む。また、現行マクロブロックと最善一致基準
マクロブロックとのクロミナンスと輝度の差である、
「予測エラー」とも呼ばれる差データも符号化される。
【0023】MPEG規格で定義されるように、ビデオ
画像は3通りのピクチャ・タイプ、すなわち、I、P、
Bのいずれかとして圧縮することができる。Iピクチャ
は、そのピクチャ自体の内部の空間的冗長性を除去する
ことによって圧縮される。Pピクチャは、前に符号化
(圧縮)した1つのピクチャに関する時間的冗長性を除
去することによって圧縮される。Bピクチャも、時間的
冗長性を除去することによって圧縮されるが、前に符号
化した2つのピクチャに関して行われる。Bピクチャ
は、両方の基準ピクチャの補間によって圧縮することが
できる。これにより、Bピクチャは、3通りのピクチャ
・タイプのうちで最高の圧縮を達成することができる。
【0024】Bピクチャ内の双方向補間は以下のように
定義される。基準ピクチャIからのピクセルをxとし、
基準ピクチャPからのピクセルをyとする。
【0025】双方向に補間した基準ピクセルは以下のよ
うになる。 (x+y)/2 式中、/は丸めを伴う除算である。
【0026】ピクセルは、0〜255の範囲の8ビット
幅の正の整数として定義される。したがって、丸めると
いうことは、剰余の最上位ビットが1である場合に商の
最下位ビットに1が加算されることを意味する。除算の
結果として商だけが保管され、剰余は破棄される。これ
は、右シフトの次に増分を行うものとしてハードウェア
で容易に実現される。
【0027】動画の符号化では、除去できるように時間
的冗長性を識別する必要がある。これは、動き推定とい
うプロセスで実行される。比較回路を使用して、探索ウ
ィンドウ内の現行ピクチャに関する最も近い一致を検出
する。したがって、Bピクチャの最も近い一致を検出す
るには3回の動き推定が必要になるはずである。すなわ
ち、2つの基準ピクチャのそれぞれによる動き推定が1
回ずつと、補間した基準による動き推定が1回である。
【0028】MPEG規格により、マクロブロックにつ
いて動き推定が行われる。ビデオ画像は、マクロブロッ
クという16×16ピクセルの単位に分割される。この
ため、最も近い一致のマクロブロックのサイズも16×
16ピクセルでなければならない。識別した最も近い一
致(16×16)のマクロブロック周辺に可能な半ピク
セルをすべて形成するには、18×18のピクセル域が
必要である。動き推定で使用する半ピクセルのタイプに
ついては後述する。
【0029】Bピクチャの動き推定はメモリ取出しを伴
う。1つのピクチャ(720×480ピクセル)は、3
46Kバイトの輝度データを必要とし、通常、圧縮を実
行するプロセッサの外部にあるメモリに格納される。
【0030】先行技術で使用する方法の1つは、外部メ
モリから基準ピクチャを1つ取りだし、それを使って動
き推定を実行する方法である。次に、第1の基準ピクチ
ャと同じように、第2の基準ピクチャが取り出され、動
き推定が行われる。次に、第1および第2の基準ピクチ
ャから最も近い一致の基準データ(18×18ピクセル
・ブロック)も取り出され、補間したピクチャについて
動き推定が行われる。
【0031】前述の本出願人に譲渡された関連米国特許
出願第08/411100号に記載された方法は、各基
準ピクチャを1回だけ取り出す方法である。各基準ピク
チャからの最も近い一致の基準データはオンチップ・バ
ッファに保管される。その後、このバッファ済みデータ
を使って補間動き推定が行われる。このため、必要なメ
モリ帯域幅が低減される。
【0032】このような3回の全ペル境界探索から最も
近い一致を識別後、半ピクセル基準データを計算し、も
う一度動き推定を行って、半ペル境界で最も近い一致の
基準データを検出しなければならない。3回の全ペル探
索のうちの1回、すなわち、最善一致探索だけが半ペル
探索のために続行される。半ピクセル基準データの計算
に使用する半ペル補間には、水平半ピクセル、垂直半ピ
クセル、完全半ピクセルという3種類のタイプがある。
【0033】基準ピクチャ内の4つの隣接ピクセルを以
下のようにa、b、c、dとする。 a b c d 水平半ピクセルは以下のように形成される。 (a+b)/2 (c+d)/2 式中、/は丸めを伴う除算である。垂直半ピクセルは以
下のように形成される。 (a+c)/2 (b+d)/2 式中、/は丸めを伴う除算である。完全半ピクセルは以
下のように形成される。 (a+b+c+d)/4 式中、/は丸めを伴う除算である。
【0034】まず、各基準ピクチャ用のバッファ済みデ
ータから半ピクセルを形成しなければならない。次に、
これらの結果からBピクチャ用の補間済み半ピクセルを
形成し、動き推定を完了することができる。丸めを行う
ので、補間済み結果を正しく生成するために動作の順序
を維持しなければならない。先行技術では、これには、
各基準ピクチャごとに1組ずつ、Bピクチャ用として2
組の18×18×8ビット・バッファを必要とする。
【0035】このバッファ要件は、単一の18×18×
11ビット・バッファに低減することができる。このバ
ッファは、対応するIおよびPピクチャ・ピクセルの6
つの最上位ビットを加算することによって形成した、各
ピクセルごとの7ビットの部分合計を保持する。バッフ
ァ内の各ワードの残りの4ビットは、対応するIおよび
Pピクセルの2つの最下位ビットから構成される。
【0036】前述のように、Bピクチャの半ペル動き推
定には、各基準ピクチャでの半ペル補間に続いて2つの
基準ピクチャに及ぶこれらの半ペル結果の補間が必要で
ある。
【0037】Iフレームに関して以下のピクチャが使用
される。基準Iピクチャ内のピクセルを以下のように示
す。 I00(x) I01(x) I10(x) I11(x) ただし、xは各ピクセルのビット位置を示し、1〜8の
範囲の整数である。
【0038】水平半ペル用の式は以下の通りである。 IHH = (I00(1) I00(2) ... I00(7) I00(8) +I01(1) I01
(2) ... I01(7) I01(8)) / 2 ピクセル対の2つの最下位ビットのみを考慮すると、以
下のようになる。
【0039】ただし、2で除算を行うので、ISOx(8)は
この半ペル計算用の「丸め」の項になることに留意され
たい。この点を考慮すると、Iピクチャ用の水平半ペル
式は以下のように変更することができる。 I00(1) I00(2) I00(3) I00(4) I00(5) I00(6) '0' I01(1) I01(2) I01(3) I01(4) I01(5) I01(6) '0' ICOx(6) ISOx(7) + ISOx(8) ------------------------------------------------------------- IHH
【0040】同様の演繹により、Iピクチャ用の垂直半
ペル式は以下のように書くことができる。 I00(1) I00(2) I00(3) I00(4) I00(5) I00(6) '0' I10(1) I10(2) I10(3) I10(4) I10(5) I10(6) '0' ICOx(6) ISOx(7) + ISOx(8) ------------------------------------------------------------- IVH 式中、ICx0(6)、ISx0(7)、ISx0(8)は以下のように求め
られる。
【0041】この場合も、2で除算を行うので、I
Sx0(8)はこの計算用の「丸め」の項になることに留意さ
れたい。
【0042】同様の演繹により、完全半ペル式は以下の
ように書くことができる。 I00(1) I00(2) I00(3) I00(4) I00(5) I00(6) I01(1) I01(2) I01(3) I01(4) I01(5) I01(6) I10(1) I10(2) I10(3) I10(4) I10(5) I10(6) I11(1) I11(2) I11(3) I11(4) I11(5) I11(6) IC(5) IC(6) + IS(7) ------------------------------------------------------------- IFH 式中、IC(5)、IC(6)、IS(7)は以下の式から求められ
る。
【0043】ただし、この計算では、4で除算するので
「丸め」の項はIS(7)になり、IS(8)は破棄されることに
留意されたい。
【0044】Pピクチャ用の半ピクセル計算も同様に処
理することができる。基準Pピクチャ内のピクセルを以
下のように示す。 P00(x) P01(x) P10(x) P11(x) ただし、xは各ピクセルのビット位置を示し、1〜8の
範囲の整数である。
【0045】Iピクチャと同じ方法により、Pピクチャ
内の水平半補間の式は以下のように書くことができる。 P00(1) P00(2) P00(3) P00(4) P00(5) P00(6) '0' P01(1) P01(2) P01(3) P01(4) P01(5) P01(6) '0' PCOx(6) PSOx(7) + PSOx(8) ------------------------------------------------------------- PHH 式中、PCOx(6)、PSOx(7)、PSOx(8)は以下のように求め
られる。
【0046】Pピクチャ内の垂直半補間の式は以下のよ
うに書くことができる。 P00(1) P00(2) P00(3) P00(4) P00(5) P00(6) '0' P10(1) P10(2) P10(3) P10(4) P10(5) P10(6) '0' PCx0(6) PSx0(7) + PSx0(8) ------------------------------------------------------------- PVH 式中、PCx0(6)、PSx0(7)、PSx0(8)は以下のように求め
られる。
【0047】最後に、Pピクチャ内の完全半ペル補間の
式は以下のように書くことができる。 P00(1) P00(2) P00(3) P00(4) P00(5) P00(6) P01(1) P01(2) P01(3) P01(4) P01(5) P01(6) P10(1) P10(2) P10(3) P10(4) P10(5) P10(6) P11(1) P11(2) P11(3) P11(4) P11(5) P11(6) PC(5) PC(6) + PS(7) ------------------------------------------------------------- PFH 式中、PC(5)、PC(6)、PS(7)は以下の式から求められ
る。
【0048】Bピクチャ内の双方向に補間した水平半ピ
クセルは、IおよびP基準ピクチャからの水平半ピクセ
ルの補間によって形成される。したがって、IHHの式とP
HHの式を双方向補間の式と結合することができる。これ
により、補間済み水平半ピクセル用の以下の式が得られ
る。 I00(1) I00(2) I00(3) I00(4) I00(5) I00(6) I01(1) I01(2) I01(3) I01(4) I01(5) I01(6) P00(1) P00(2) P00(3) P00(4) P00(5) P00(6) P01(1) P01(2) P01(3) P01(4) P01(5) P01(6) IPCOx(4) IPCOx(5) IPCOx(6) + IPSOx(7) -------------------------------------------------------- HH 式中、IPCOx(4)、IPCOx(5)、IPCOx(6)、IPSOx(7)は以下
のように形成される。 ICOx(6) ISOx(7) ISOx(8) PCOx(6) PSOx(7) + PSOx(8) ------------------------------------------------------------- IPCOx(4)、IPCOx(5)、IPCOx(6)、IPSOx(7) また、ICOx(6)、ISOx(7)、ISOx(8)、PCOx(6)、P
SOx(7)、PSOx(8)は、それぞれIピクチャおよびPピク
チャ用の水平半ペル式で前に定義された通りである。
【0049】HH式は、以下のように再構成することがで
きる。 IP00(0) IP00(1) IP00(2) IP00(3) IP00(4) IP00(5) IP00(6) IP01(0) IP01(1) IP01(2) IP01(3) IP01(4) IP01(5) IP01(6) IPCOx(4) IPCOx(5) IPCOx(6) + IPSOx(7) ------------------------------------------------------------------ HH 式中、IP00nはI00(n)とP00(n)から形成された部分合計
を示し、IP01nはI01(n)とP01(n)から形成された部分合
計を示し、「n」はピクセル・バイト内のビット位置を
示し、0〜6の範囲内に入っている。
【0050】また、以下の点に留意されたい。IP00(0)
はI00(1:6)+P00(1:6)からの繰り上がりである。IP01(0)
はI01(1:6)+P01(1:6)からの繰り上がりである。
【0051】したがって、補間済み水平半ピクセルの結
果は、IおよびP基準ピクチャからの各ピクセルの2つ
の最下位ビットとあいまって、IおよびP基準ピクチャ
からの部分合計(IP00(n)とIP01(n))によって計算する
ことができる。
【0052】VH式およびFH式についても同じ再構成を行
うことができる。したがって、VHは以下のようになる。 IP00(0) IP00(1) IP00(2) IP00(3) IP00(4) IP00(5) IP00(6) IP10(0) IP10(1) IP10(2) IP10(3) IP10(4) IP10(5) IP10(6) IPCx0(4) IPCx0(5) IPCx0(6) + IPSx0(7) ------------------------------------------------------------------ VH 式中、IP00(n)はI00(n)とP00(n)から形成された部分合
計を示し、IP01(n)はI10(n)とP10(n)から形成された部
分合計を示し、「n」はピクセル・バイト内のビット位
置を示し、0〜6の範囲内に入っている。
【0053】また、以下の点に留意されたい。IP00(0)
はI00(1:6)+P00(1:6)からの繰り上がりである。IP01(0)
はI10(1:6)+P10(1:6)からの繰り上がりである。また、I
PCx0(4)、IPCx0(5)、IPCx0(6)、IPSx0(7)は以下のよう
に形成される。 ICx0(6) ISx0(7) ISx0(8) PCx0(6) PSx0(7) + PSx0(8) ------------------------------------------------------------- IPCx0(4) IPCx0(5) IPCx0(6) IPSx0(7) 式中、ICx0(6)、ISx0(7)、ISx0(8)、PCx0(6)、P
Sx0(7)、PSx0(8)は、前に定義された通りである。
【0054】同様の演繹により、FH式は以下のようにな
る。 IP00(0) IP00(1) IP00(2) IP00(3) IP00(4) IP00(5) IP01(0) IP01(1) IP01(2) IP01(3) IP01(4) IP01(5) IP10(0) IP10(1) IP10(2) IP10(3) IP10(4) IP10(5) IP11(0) IP11(1) IP11(2) IP11(3) IP11(4) IP11(5) IPC(3) IPC(4) IPC(5) + IPC(6) ------------------------------------------------------------------ FH 式中、IP00(n)はI00(n)とP00(n)から形成された部分合
計を示し、IP01(n)はI01(n)とP01(n)から形成された部
分合計を示し、IP10(n)はI10(n)とP10(n)から形成され
た部分合計を示し、IP11(n)はI11(n)とP11(n)から形成
された部分合計を示し、nはピクセル・バイト内のビッ
ト位置を示し、0〜6の範囲内に入っている。
【0055】IP00(0)はI00(1:6)+P00(1:6)からの繰り上
がりである。IP01(0)はI01(1:6)+P0 1(1:6)からの繰り上
がりである。IP01(0)はI10(1:6)+P01(1:6)からの繰り上
がりである。IP11(0)はI11(1:6)+P11(1:6)からの繰り上
がりである。
【0056】上記の式のIPC(3)、IPC(4)、IPC(5)、IP
C(6)は以下の式によって形成される。 式中、IC(5)、IC(6)、IS(7)、PC(5)、PC(6)、PS(7)は前
に定義された通りである。
【0057】また、この場合は、各部分合計(IP
00(6)、IP01(6)、IP10(6)、IP11(6))の最下位ビットを
上記の式に反映しなければならないことに留意された
い。
【0058】上記の式は、まず2つの基準ピクチャの対
応するバイト位置のピクセルを補間し、次にこのような
補間済みピクセルから半ピクセル値を計算することによ
って、Bピクチャの動き推定に必要な半ピクセルを形成
できることを明白に示している。
【0059】また、上記の式は、通常必要な2つの18
×18の完全なピクセル・ブロックではなく「縮小」セ
ットのデータから、Bピクチャの動き推定に必要な半ピ
クセルを形成できることも明白に示している。この縮小
セットのデータは、各ピクセルの2つの最下位ビットと
ともに、IおよびPピクチャ内の対応するピクセルの6
つの上位ビットから形成された7ビットの部分合計の1
8×18×11のアレイから構成される。この方法を使
用すると、必要なバッファ域での31%の改善のため
に、オンチップ・バッファ空間を5184ビット(2×
18×18×18)から3564ビット(18×18×
11)まで縮小することができる。
【0060】本発明の方法および装置は、特に「B」ま
たは双方向予測ピクチャに関し、過去のピクチャと今後
のピクチャの両方からの対称的な基準データを半ペル計
算プロセッサに絶えず供給するようなものである。すな
わち、両方の基準ピクチャ内のデータは現行マクロブロ
ック位置に対して同じ寸法と同じ向きを備えている。よ
り正確には、2つのマクロブロックが同じ寸法を備えて
いない場合、本発明の方法および装置は、大きい方の探
索ウィンドウを小さい方の探索ウィンドウのサイズまで
縮小する。過去、今後、または双方向のいずれかのピク
チャについて単一のマクロブロックのみになるので、半
ペル計算プロセッサは単純化される。
【0061】エッジ検出回路を使用して、全ペル最善一
致基準マクロブロックが1つのピクチャまたは探索ウィ
ンドウのエッジ上にある場合を検出する。マクロブロッ
クの各側、すなわち、上、下、左、右のそれぞれについ
てエッジ・インジケータが1つずつ存在する。各ピクチ
ャごとに活動状態のエッジ・インジケータを多くても2
つ設けることは可能であるが、最善一致双方向マクロブ
ロックでは、4つのエッジ・インジケータがすべて活動
状態になる可能性がある。
【0062】各基準ピクチャには、ピクチャごとに最善
一致基準マクロブロックが位置するときに設定される独
自の独立したセットのエッジ・インジケータが存在す
る。たとえば、最善一致基準マクロブロックが基準探索
ウィンドウの右上隅で検出された場合、上と右のエッジ
・インジケータが活動状態になるはずである。この場
合、全ペル探索処理回路は、基準マクロブロックより上
と基準マクロブロックの右側にあるペルに使用可能な基
準データを備えていないので、それより上および右側の
半ペル値を計算できないはずである。
【0063】過去および今後両方の基準探索ウィンドウ
の全ペル探索が完了すると、各ピクチャからの最善一致
基準データがプロセッサに送られ、そこで半ペル双方向
値が計算される。このとき、両方の基準ピクチャ探索か
らのエッジ・インジケータを使用して対称的な探索ウィ
ンドウを形成する。
【0064】エッジ・インジケータが2つの基準ピクチ
ャのうちの一方についてオンになっている場合、エッジ
・インジケータがオフになっているピクチャがそのエッ
ジに関連する基準データを備えており、もう一方のピク
チャは備えていないという条件が存在する。すなわち、
一方のマクロブロックは完全な18×18ピクセルを備
え、もう一方は備えていない。この場合、インジケータ
がオフになっているピクチャがデータを備えていても、
過剰データは除去され、送られない。すなわち、エッジ
・インジケータに関連する余分な基準データは、そのエ
ッジ・インジケータが両方のピクチャのすべてのマクロ
ブロックについてオフになっている場合のみ送られる。
一方のピクチャだけに存在する余分なピクセル・データ
を除去することにより、必ず両方のピクチャについて対
称的な探索ウィンドウが形成される。
【0065】図6は、すべての基準データが使用可能に
なっているわけではないときに半ペル値を計算するため
に必要な基準データを示す。図7は、対称的な過去/今
後のデータを備えた双方向エッジ条件によって半ペル値
を計算するのに必要な基準データを示す。
【0066】所与の好ましい実施例および具体例に関連
して本発明を説明してきたが、それにより本発明の範囲
を制限するものではなく、本明細書の特許請求の範囲に
よってのみ制限するものとする。
【0067】まとめとして、本発明の構成に関して以下
の事項を開示する。
【0068】(1)2つの基準ピクチャから双方向コー
ド化ピクチャを形成する方法において、各基準ピクチャ
のメモリ取出しを行うことと、その全ピクセル境界で最
善一致マクロブロックを検出することと、全ピクセル境
界マクロブロックを補間して双方向マクロブロックを形
成することと、それから半ピクセル基準ピクチャ・デー
タを計算することを含み、サイズ、形状、向きの点で最
善一致マクロブロックが対称的になるように、最善一致
マクロブロックから過剰ピクセルを除去することを特徴
とする方法。 (2)過剰ピクセルを示すようにエッジ検出器を設定す
ることを含むことを特徴とする、上記(1)に記載の方
法。 (3)過剰ピクセルが、最善一致マクロブロックをサイ
ズ、形状、または向きの点で互いに異なるものにするピ
クセルに対応することを特徴とする、上記(1)に記載
の方法。
【図面の簡単な説明】
【図1】離散余弦変換器21と、量子化器23と、可変
長コーダ25と、逆量子化器29と、逆離散余弦変換器
31と、動き補償41と、フレーム・メモリ42と、動
き推定43とを含む、汎用MPEG2適合エンコーダ1
1の流れ図である。データ経路は、i番目のピクチャ入
力111と、差データ112と、動きベクトル113
と、ピクチャ出力121と、動き推定および補償のため
のフィードバック・ピクチャ131と、動き補償済みピ
クチャ101とを含む。この図では、i番目のピクチャ
はフレーム・メモリまたはフレーム・ストア42内に存
在し、i+1番目のピクチャは動き推定によって符号化
されると想定している。
【図2】I、P、Bの各ピクチャと、それらの表示順序
および伝送順序の例と、順方向および逆方向の動き予測
とを示す図である。
【図3】現行フレームまたはピクチャ内の動き推定ブロ
ックから後続または直前フレームまたはピクチャ内の最
善一致ブロックまでの探索を示す図である。
【図4】基準ピクチャ内のその位置から現行ピクチャへ
の動きベクトルによるブロックの動きと、動きベクトル
使用後に調整した基準ピクチャのブロックとを示す図で
ある。
【図5】半ペル値のすべてを計算するのに必要な基準デ
ータを示す図である。
【図6】基準データのすべてが使用可能になっているわ
けではないときに半ペル値の計算を可能にするのに必要
な基準データを示す図である。
【図7】対称的な過去/今後のデータにより双方向エッ
ジ条件を備えた半ペル値を計算するのに必要な基準デー
タを示す図である。
【図8】対称的な過去/今後のデータにより双方向エッ
ジ条件を備えた半ペル値を計算するのに必要な基準デー
タを示す図である。
【符号の説明】
11 汎用MPEG2適合エンコーダ 21 離散余弦変換器 23 量子化器 25 可変長コーダ 29 逆量子化器 31 逆離散余弦変換器 41 動き補償ユニット 42 フレーム・メモリ 43 動き推定ユニット 101 動き補償済みピクチャ 111 i番目のピクチャ入力 112 差データ 113 動きベクトル 121 ピクチャ出力 131 フィードバック・ピクチャ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 エヴェレット・ジョージ・ヴェイル・ザ= サード アメリカ合衆国13901 ニューヨーク州ビ ンガムトン エレン・ストリート 4

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】2つの基準ピクチャから双方向コード化ピ
    クチャを形成する方法において、各基準ピクチャのメモ
    リ取出しを行うことと、その全ピクセル境界で最善一致
    マクロブロックを検出することと、全ピクセル境界マク
    ロブロックを補間して双方向マクロブロックを形成する
    ことと、それから半ピクセル基準ピクチャ・データを計
    算することを含み、サイズ、形状、向きの点で最善一致
    マクロブロックが対称的になるように、最善一致マクロ
    ブロックから過剰ピクセルを除去することを特徴とする
    方法。
  2. 【請求項2】過剰ピクセルを示すようにエッジ検出器を
    設定することを含むことを特徴とする、請求項1に記載
    の方法。
  3. 【請求項3】過剰ピクセルが、最善一致マクロブロック
    をサイズ、形状、または向きの点で互いに異なるものに
    するピクセルに対応することを特徴とする、請求項1に
    記載の方法。
JP9029047A 1996-02-16 1997-02-13 2つの基準ピクチャから双方向コード化ピクチャを形成するための方法 Pending JPH09261661A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US60247296A 1996-02-16 1996-02-16
US08/602472 1996-02-16

Publications (1)

Publication Number Publication Date
JPH09261661A true JPH09261661A (ja) 1997-10-03

Family

ID=24411484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9029047A Pending JPH09261661A (ja) 1996-02-16 1997-02-13 2つの基準ピクチャから双方向コード化ピクチャを形成するための方法

Country Status (4)

Country Link
JP (1) JPH09261661A (ja)
KR (1) KR100240620B1 (ja)
DE (1) DE19702728A1 (ja)
TW (1) TW366647B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587145B2 (en) 2016-03-28 2020-03-10 Fujitsu Limited Charging circuit and electronic device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100599935B1 (ko) 2003-10-15 2006-07-13 한국전자통신연구원 정화소 탐색시의 사드값 및 확률 변수에 기반한 고속의반화소 탐색 방법
CN105190689A (zh) 2013-06-14 2015-12-23 英特尔公司 包括基于毗连特征的对象检测和/或双边对称对象分段的图像处理

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587145B2 (en) 2016-03-28 2020-03-10 Fujitsu Limited Charging circuit and electronic device

Also Published As

Publication number Publication date
DE19702728A1 (de) 1997-08-21
KR970064262A (ko) 1997-09-12
TW366647B (en) 1999-08-11
KR100240620B1 (ko) 2000-01-15

Similar Documents

Publication Publication Date Title
US7379501B2 (en) Differential coding of interpolation filters
KR100393125B1 (ko) 동화상의 부호화방법 및 복호화방법
AU2002324085C1 (en) Method for sub-pixel value interpolation
US6859494B2 (en) Methods and apparatus for sub-pixel motion estimation
KR100294999B1 (ko) 디지탈비디오데이타스트림의시간적인압축방법및탐색프로세서
JP3836559B2 (ja) ディジタルビデオ符号化器における動き推定方法
US20070133687A1 (en) Motion compensation method
WO1996041482A1 (en) Hybrid hierarchical/full-search mpeg encoder motion estimation
JP3417443B2 (ja) Bピクチャ用動き予測装置及び方法
JPH09233477A (ja) 動きベクトル生成方法
EP0825778A2 (en) Method for motion estimation
US5689312A (en) Block matching motion estimation method
US20070047643A1 (en) Video data compression
JP2898413B2 (ja) 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法
KR100926752B1 (ko) 동영상 부호화를 위한 미세 움직임 추정 방법 및 장치
JPH09261661A (ja) 2つの基準ピクチャから双方向コード化ピクチャを形成するための方法
KR100189268B1 (ko) 프레임 화상에서 필드 모션 추정의 산출 방법 및 장치
JP3407726B2 (ja) 符号化方法、符号化装置、および、コンピュータ読み取り可能な記録媒体
JPH10145792A (ja) 画像符号化装置および画像符号化方法
AU2007237319B2 (en) Method for sub-pixel value interpolation
KR100657714B1 (ko) 3차원 스캐닝을 이용한 영상데이터 부호화 방법
KR0174444B1 (ko) 초저속 전송을 위한 움직임 보상장치
KR100248651B1 (ko) 움직임 보상장치
KR100213276B1 (ko) 영상 압축 장치의 3단 탐색 회로
JP2003235047A (ja) 動画像の符号化方法および復号化方法