JPH10150666A - デジタル・ビデオ・データ・ストリームの圧縮方法及び探索プロセッサ - Google Patents

デジタル・ビデオ・データ・ストリームの圧縮方法及び探索プロセッサ

Info

Publication number
JPH10150666A
JPH10150666A JP9278522A JP27852297A JPH10150666A JP H10150666 A JPH10150666 A JP H10150666A JP 9278522 A JP9278522 A JP 9278522A JP 27852297 A JP27852297 A JP 27852297A JP H10150666 A JPH10150666 A JP H10150666A
Authority
JP
Japan
Prior art keywords
search
macroblock
unit
data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9278522A
Other languages
English (en)
Inventor
Steffen Butter Adrian
エイドリアン・ステファン・バター
Mark Kakutsumarusukii John
ジョン・マーク・カクツマルスキー
E Ngai Agnes
アグネス・イー・ンガイ
Francis Westermann Edward
エドワード・フランシス・ウェスターマン
J Yagurei Robert
ロバート・ジェイ・ヤグレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH10150666A publication Critical patent/JPH10150666A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 リアルタイム符号化要求を満足するように、
計算能力を最大化する一方で、それを実現するために消
費されるチップ面積を最小化する、確固たる動き推定デ
ータフローを提供すること。 【解決手段】 デジタル・ビデオ・データ・ストリーム
の時間圧縮方法が、少なくとも1つの探索ユニット内
で、基準ピクチャ内の画素を階層的に探索することによ
り、現マクロブロックに対応する最良合致マクロブロッ
クを見い出すステップと、現マクロブロックと基準ピク
チャ内の最良合致マクロブロックとの間の動きベクトル
を構成するステップとを含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は一般に、MPEG2
準拠デジタル・ビデオ符号化におけるリアルタイム動き
推定に関する。動き推定は、動きベクトルの使用によ
る、ピクチャ間の圧縮である。本発明によれば、デジタ
ル・ビデオ・データ・ストリームの時間圧縮が、少なく
とも1つの探索ユニット内で、基準ピクチャ内の画素を
階層的に探索し、現マクロブロックに対する最良合致マ
クロブロックを見い出すことにより実行される。次のス
テップでは、現マクロブロックと基準ピクチャ内の最良
合致マクロブロック間の動きベクトルを構成する。
【0002】
【従来の技術】過去10年の間に、世界的な電子通信シ
ステムの出現により、人々が情報を送受信する方法が向
上した。特に、リアルタイム・ビデオ及び音声システム
の能力は、近年、多大に改善した。ビデオ・オンデマン
ド及びビデオ会議などのサービスを加入者に提供するた
めには、莫大な量のネットワーク帯域幅が要求される。
実際にネットワーク帯域幅は、しばしばこうしたシステ
ムの有効性に対する第1の抑制要因である。
【0003】ネットワークにより課せられる制限を克服
するために、圧縮システムが出現した。これらのシステ
ムは、ピクチャ・シーケンスにおける冗長性を除去する
ことにより、伝送されなければならないビデオ及び音声
データの量を低減する。受信端において、ピクチャ・シ
ーケンスが伸長され、リアルタイムに表示され得る。
【0004】出現したビデオ圧縮規格の1つの例は、M
PEG規格である。MPEG規格では、ビデオ圧縮が所
与のピクチャ内及びピクチャ間の両方において定義され
る。ピクチャ内のビデオ圧縮は、離散コサイン変換、量
子化、及びラン・レングス符号化のプロセスを介して、
達成される。ピクチャ間のビデオ圧縮は、動き推定と呼
ばれるプロセスを介して達成され、そこでは、あるピク
チャから別のピクチャへのピクチャ要素(画素)のセッ
トの変換を記述するために、動きベクトルが使用され
る。これらの動きベクトルは、それら自体符号化され
る。
【0005】動き推定アルゴリズムは、効果的に実現さ
れるとき、大量の計算能力を要求する繰り返し関数であ
る。このことは、動き推定がリアルタイム・ビデオ伝送
環境において実行されている場合に、特に当てはまる。
更に、システム設計者により課せられる2つの重要な制
限は、消費されるカード/ボード面積、及びビデオ圧縮
機能を実行するために要求される構成要素のコストであ
る。これは特に、基準ピクチャ・データを記憶するため
に要求されるDRAMやSRAMの量を含む。リアルタ
イム符号化要求を満足するように、計算能力を最大化す
る一方で、それを実現するために消費されるチップ面積
を最小化する、確固たる動き推定データフローが待望さ
れる。また、多数のシステム・コスト・ポイントが獲得
され得るように、動き推定データ・フローをスケーラブ
ルにすることが、待望される。
【0006】
【発明が解決しようとする課題】本発明の目的は、リア
ルタイム符号化要求を満足するように、計算能力を最大
化する一方で、それを実現するために消費されるチップ
面積を最小化する、確固たる動き推定データフローを提
供することである。
【0007】本発明の別の目的は、多数のシステム・コ
スト・ポイントが獲得され得るように、動き推定データ
・フローをスケーラブルにすることである。
【0008】本発明の更に別の目的は、階層的な動き推
定方法及び装置を提供することである。
【0009】本発明の更に別の目的は、ダウンサンプル
される全画素値を用いて、階層的動き推定探索を実行す
る階層的動き推定方法及び装置を提供することである。
【0010】本発明の更に別の目的は、階層的動き推定
探索がフィールド探索である、階層的動き推定方法及び
装置を提供することである。
【0011】
【課題を解決するための手段】本発明によれば、デジタ
ル・ビデオ・データ・ストリームの時間圧縮方法が提供
される。この方法は、少なくとも1つの探索ユニット内
で、基準ピクチャ内の画素を階層的に探索し、現マクロ
ブロックに対応する最良合致マクロブロックを見い出す
ことから開始する。次のステップでは、最良合致マクロ
ブロックと現マクロブロックとの間で、動きベクトルが
構成される。
【0012】本発明の別の実施例によれば、デジタル・
ビデオ・データ・ストリームの時間圧縮の方法が提供さ
れる。この方法はダウンサンプルされる全画素値を用い
て、基準ピクチャ内の画素を探索し、最良合致マクロブ
ロックを見い出す。最良合致マクロブロックは、現マク
ロブロックに最も類似する基準ピクチャ内のマクロブロ
ックを指す。次のステップでは、最良合致マクロブロッ
クと現マクロブロックとの間の動きベクトルを構成す
る。
【0013】本発明の更に別の実施例によれば、デジタ
ル・ビデオ・データ・ストリームの時間圧縮の方法が、
偶数/偶数、奇数/奇数、偶数/奇数、及び奇数/偶数
フィールド探索ユニット入力によるフィールド探索を含
む。この探索は、基準ピクチャ・フィールド内の画素を
探索し、現マクロブロックに対応する最良合致マクロブ
ロックを見い出す。前回同様に、最良合致マクロブロッ
クと現マクロブロックとの間の、動きベクトルが構成さ
れる。
【0014】
【発明の実施の形態】スケーラブルかつ効率的で、リア
ルタイム符号化環境の厳しい要求を好適に満足するよう
に実行される動き推定アーキテクチャが開示される。
【0015】本発明は、MPEG及びHDTV準拠符号
化器及び符号化プロセスに関する。符号化器により実行
される符号化機能は、データ入力、動き推定、マクロブ
ロック・モード生成、データ復元、エントロピ符号化、
及びデータ出力を含む。動き推定及び補償は、時間圧縮
機能である。これらはそれぞれが、高度な計算要求を有
する機能であり、逆離散コサイン変換、逆量子化、及び
動き補償などの、集中的な復元処理を含む。
【0016】より詳細には、本発明は動き推定、補償及
び予測に関し、より詳細には、動きベクトルの計算に関
する。動き補償は、現ピクチャをブロック、例えばマク
ロブロックに分割し、次に以前に伝送されたピクチャ内
で、類似の内容を有する近くのブロックを探索すること
により、時間的冗長性を利用する。現ブロック画素と、
基準ピクチャから抽出される予測ブロック画素との間の
差が、実際に伝送のために圧縮され、その後伝送され
る。
【0017】動き補償及び予測の最も単純な方法は、"
I"ピクチャ内のあらゆる画素の輝度及び色差、すなわ
ち強度及び色を記録し、次に後続ピクチャ内のあらゆる
特定画素の輝度及び色差、すなわち強度及び色の変化を
記録することである。しかしながら、これは伝送媒体の
帯域幅、メモリ、プロセッサ能力、及び処理時間におい
て、非経済的である。なぜなら、オブジェクトがピクチ
ャ間を移動するからである。すなわち、画素内容がピク
チャ内のある位置から、後続ピクチャの異なる位置に移
動するからである。より進歩的な考えは、先行ピクチャ
を用いて、画素ブロックが後続ピクチャのどこに存在す
るかを、例えば動きベクトルにより予測し、結果を"予
測ピクチャ"または"P"ピクチャとして作成することで
ある。より詳細には、これはi+1番目のピクチャの画
素または画素のマクロブロックが、i番目のピクチャ内
のどこに存在するかに関する最良予測を提供するステッ
プを含む。後続ピクチャ及び先行ピクチャの両方を用い
て、画素のブロックが中間ピクチャまたは"B"ピクチャ
内のどこに存在するかを予測する、更に別のステップが
存在する。
【0018】注意すべき点は、ピクチャ符号化順序及び
ピクチャ伝送順序は、必ずしもピクチャ表示順序に一致
しないということである。図2を参照されたい。I−P
−Bシステムでは、入力ピクチャ伝送順序が、符号化順
序と異なり、入力ピクチャは符号化のために使用される
まで、一時的に記憶されなければならない。バッファが
この入力を、それが使用されるまで記憶する。
【0019】説明の都合上、MPEG準拠符号化の一般
的なフロー図を図1に示す。このフロー図では、i番目
のピクチャ及びi+1番目のピクチャのイメージが、動
きベクトルを生成するために処理される。動きベクトル
は、画素のマクロブロックが先行ピクチャまたは後続ピ
クチャ内のどこに存在するかを予測する。全画素の代わ
りに動きベクトルを使用することは、MPEG及びHD
TV規格における時間圧縮の主要面である。図1に示さ
れるように、動きベクトルは1度生成されると、i番目
のピクチャからi+1番目のピクチャへの、画素のマク
ロブロックの変換のために使用される。
【0020】図1に示されるように、符号化プロセスに
おいて、i番目のピクチャ及びi+1番目のピクチャの
イメージが、符号化器11内で処理され、動きベクトル
が生成される。これは例えば、i+1番目及び後続ピク
チャが符号化され、伝送される様式に相当する。後続ピ
クチャの入力イメージ111が、符号化器の動き推定ユ
ニット43に入力する。動きベクトル113は、動き推
定ユニット43の出力として形成される。これらのベク
トルは、動き補償ユニット41により、前のピクチャま
たは将来のピクチャから、"基準データ"と呼ばれるマク
ロブロック・データを取り出すために使用され、これが
このユニットにより出力される。動き補償ユニット41
の出力は、動き推定ユニット43の出力から減算され、
結果が離散コサイン変換器21に入力される。離散コサ
イン変換器21の出力は、量子化器23内で量子化され
る。量子化器23の出力は2つの出力121及び131
に分割され、一方の出力121は、例えばラン・レング
ス符号化器などの下流の要素25に提供され、伝送前に
圧縮及び処理される。他の出力131は、画素の符号化
マクロブロックの復元を通じて、フレーム・メモリ42
に記憶される。図示の符号化器11では、説明の都合
上、この第2の出力131は逆量子化器29及び逆離散
コサイン変換器31を通じて、差分マクロブロックの有
損失バージョンを生成する。このデータは動き補償ユニ
ット41の出力と加算され、オリジナル・ピクチャの有
損失バージョンをフレーム・メモリ42に戻す。
【0021】図2に示されるように、3つのタイプのピ
クチャが存在する。"イントラ符号化ピクチャ"または"
I"ピクチャは、全部が符号化されて伝送され、動きベ
クトルの定義を要求しない。これらの"I"ピクチャは、
動きベクトルの発生源となる。"予測符号化ピクチャ"ま
たは"P"ピクチャは、前のピクチャからの動きベクトル
により形成され、将来のピクチャの動きベクトルの発生
源となる。最後に、"双方向符号化ピクチャ"または"B"
ピクチャは、他の2つのピクチャ(1つは過去のピクチ
ャ、もう1つは将来のピクチャ)からの動きベクトルに
より形成され、動きベクトルの発生源とはなり得ない。
動きベクトルは"I"及び"P"ピクチャから生成され、"
P"及び"B"ピクチャを形成するために使用される。
【0022】図3に示される動き推定が実行される1方
法では、前のピクチャの領域全体にわたり、i+1番目
のピクチャのマクロブロック211からの探索により、
最良合致マクロブロック213を見い出す(211'は
211と同一の位置であるが、前のピクチャ内にあ
る)。このようにマクロブロックを変換することによ
り、図4に示されるように、i+1番目のピクチャにお
けるマクロブロックのパターンが生成される。このよう
に、i番目のピクチャが、例えば動きベクトル及び差分
データにより少し変化され、i+1番目のピクチャが生
成される。符号化されるのは動きベクトル及び差分デー
タであり、i+1番目のピクチャそのものではない。動
きベクトルはピクチャからピクチャへのイメージの位置
を変換し、差分データは色差、輝度、及び彩度の変化、
すなわち色及び明るさの変化を伝達する。
【0023】図3に戻り、i番目のピクチャ内におい
て、i+1番目のピクチャの位置211と同一の位置2
11'から開始し、良好な合致を探す。探索窓がi番目
のピクチャ内で生成される。この探索窓内で、最良合致
を探索する。見い出されると、マクロブロックに対する
最良合致動きベクトルが符号化される。最良合致マクロ
ブロックの符号化は、動きベクトル、すなわち次のピク
チャ内で変位される最良合致に相当するy方向の画素数
及びx方向の画素数を含む。また、"予測誤差"とも呼ば
れる差分データが符号化され、これは現マクロブロック
と最良合致基準マクロブロック間の色差及び輝度の差分
を示す。
【0024】図4は、動きベクトルに従う、前のピクチ
ャから新たなピクチャへのブロック位置の移動、並びに
動きベクトルにより調整された後の前のピクチャのブロ
ックを示す。
【0025】本発明のアーキテクチャの概要が、図5及
び図6に示される。図5に示されるように、2ステージ
の階層プロセッサ構造が使用される一方、図6に示され
るように、2レベルの階層探索アプローチが使用され
る。
【0026】現マクロブロック(CMB)・データ・バ
ス205が、現マクロブロック(CMB)輝度データ
を、階層探索ユニット201及び洗練探索/復元ユニッ
ト221の両方に入力するために使用される。このバス
はまた、CMB色差データを洗練探索/復元ユニット2
21に提供する。
【0027】図示の階層探索ユニット201は通常、ダ
ウンサンプルされるCMBデータにより、探索操作を実
行するために使用される。ユーザは、データがダウンサ
ンプルされる範囲を、水平方向に最大4:1から、最小
1:1(すなわちダウンサンプルされない)の範囲で選
択し得る。こうしたユニットの数は、所望される探索範
囲に依存して、スケーラブル(1、2または4)であ
る。階層探索ユニット201は、I及びPフレームに対
する輝度探索データを、階層探索メモリ215に記憶及
びフェッチする。階層探索メモリ215のサイズは、ピ
クチャ・データがダウンサンプルされる範囲に依存す
る。記憶される輝度探索データは、ユーザにより選択さ
れるダウンサンプルが適用される入力現マクロブロック
(CMB)・データと等価である。その探索の完了時
に、階層探索ユニット201は、最小絶対差分及び、現
マクロブロック(CMB)位置に対するその対応するオ
フセットにもとづき、最良合致差分/オフセット・バス
を介して、所与の現マクロブロック(CMB)に対する
最良合致探索結果を出力する。前記説明は輝度に関する
ものであるが、色差データにも当てはまるものである。
【0028】図5、図6及び図8に示される洗練探索/
復元ユニット221は、IP符号化のための独立型の環
境(すなわち階層探索ユニットとの接続が無い)、或い
はIPB符号化のために階層探索ユニットが接続される
環境において動作する。このユニット221は、非ダウ
ンサンプル現マクロブロック(CMB)輝度データを用
いて、洗練探索メモリ229内に含まれる復元された過
去または将来のI及びPフレーム・データに対して、そ
の探索操作を実行する。その探索の完了時に、洗練探索
/復元ユニット221は、差分/QXFRMデータ・バ
ス231上に、イントラ現マクロブロック輝度及び色差
画素データを出力するか、または非イントラ現マクロブ
ロック輝度及び色差から、最良合致洗練マクロブロック
(RMB)輝度及び色差画素差分データを差し引いたも
のを出力する。更に、非イントラ差分データが出力され
るとき、現マクロブロック位置に対する最良合致基準マ
クロブロック(RMB)の位置に対応する動きベクトル
が、動きベクトル(MV)・バス241上に出力され
る。
【0029】出力イントラ・データまたは非イントラ差
分データに対する離散コサイン変換(DCT)及び量子
化の完了時に、変換された輝度及び色差ブロックが、差
分/QXFRMデータ・バス231を介して、洗練探索
/復元ユニット221に入力され、洗練探索/復元ユニ
ット221がI及びPフレーム・データを正しく復元
し、これらを洗練探索メモリ229に出力する。リアル
タイム符号化環境に対する性能要求を満たすために、拡
張パイプラインが各ユニット内で使用される。
【0030】開示される動き推定アーキテクチャにより
採用される全体的な探索方法は、図6及び図8に示され
る次のパイプライン式構成要素に分解される。
【0031】図6及び図8に示されるように、階層探索
ユニット201は、ダウンサンプル(平均化)された全
画素値を用いて、通常の探索を実行する。過去または将
来のI及びPフレームからの非復元現マクロブロック・
データを用いて、最良のダウンサンプル合致が決定され
た後、洗練探索ユニット221は、最良ダウンサンプル
合致のオフセット周辺の復元された洗練探索データを用
いて、非ダウンサンプル全画素探索を実行する。最良の
非ダウンサンプル全画素合致が決定された後、最良の非
ダウンサンプル全画素合致の位置にもとづき復元された
洗練データを用いて、半画素及び任意選択的にデュアル
・プライム(DP)洗練探索が実行される。最小絶対差
分値により決定される最良合致動き推定結果にもとづ
き、オリジナル現マクロブロック(CMB)または最良
合致差分マクロブロックの輝度及び色差データが、それ
ぞれマクロブロックがイントラ符号化または非イントラ
符号化される場合に対応して、出力される。次に示す3
つの異なる非イントラ結果が可能である。 CMB−RMB全画素最良合致 CMB−RMB半画素最良合致 CMB−RMBデュアル・プライム最良合致
【0032】階層探索ユニット201が、図5及び図6
に示される。このユニットのデータ・フロー図が、図7
に示される。図7に示されるように、現マクロブロック
輝度データが輝度バッファ207に記憶される。この時
点で、データのダウンサンプリングが発生する。探索範
囲及び探索メモリ・サイズに関し、ユーザにできるだけ
大きな柔軟性を提供するために、次のダウンサンプリン
グ任意選択が使用可能である。
【0033】4:1−行の4つの連続画素値毎の平均を
取ることにより、マクロブロックの各画素行に対して、
4画素を記憶する。これは1ユニットにつき、最大の探
索窓(水平方向に±64、垂直方向に±56)を提供
し、最小量の探索メモリ(2つの探索基準フレームに対
して0.25MB)を要求する。
【0034】2:1−行の2つの連続画素値毎の平均を
取ることにより、マクロブロックの各画素行に対して、
8画素を記憶する。これは1ユニットにつき、2番目に
大きな探索窓(水平方向に±32、垂直方向に±32)
を提供し、2番目に大きな量(2つの探索基準フレーム
に対して0.5MB)の探索メモリを要求する。
【0035】1:1−マクロブロックの各画素行に対し
て、16画素を記憶する(ダウンサンプル無し)。これ
は1ユニットにつき、最も小さな探索窓(水平方向に±
16、垂直方向に±16)を提供し、最大量の探索メモ
リ(2つの探索基準フレームに対して1MB)を要求す
る。
【0036】図7に示されるように、ダウンサンプル形
式または非ダウンサンプル形式の現マクロブロック(C
MB)・データが、輝度バッファ207から4つのフィ
ールド探索ユニット301、303、305及び307
に出力される。I及びPピクチャに対して、CMBデー
タは探索データ・バス209を介し、階層探索メモリ2
15にも出力される。CMBデータはBピクチャに対し
ては、階層探索メモリ215に出力されない。なぜな
ら、MPEG2規格は、Bピクチャが基準フレームとし
て作用することを阻止するからである。探索窓内に含ま
れる全てのマクロブロックの探索メモリ・データもま
た、4つのフィールド探索ユニットに入力される。1つ
の階層探索ユニットだけを使用する場合、探索窓の中央
の探索マクロブロック(SMB)が、探索操作が実行さ
れているCMBと同じ位置になるように、探索データが
フェッチされる。2つまたは4つの階層探索ユニットを
使用する場合には、全てのユニットの間の組み合わされ
た探索窓の中央の探索マクロブロック(SMB)が、C
MB位置から前のピクチャの平均動きベクトル・オフセ
ット位置に配置されるように、探索データがフェッチさ
れる。
【0037】階層探索ユニット201内で、フィールド
探索が図7に示されるように実行される。f1/f1フ
ィールド探索ユニット301は、探索データ奇数ライン
に対する現マクロブロック(CMB)の奇数ラインの探
索を処理する。f2/f2フィールド探索ユニット30
3は、探索データ偶数ラインに対する現マクロブロック
(CMB)の偶数ラインの探索を処理する。f1/f2
フィールド探索ユニット305は、探索データ偶数ライ
ンに対する現マクロブロック(CMB)の奇数ラインの
探索を処理する。f2/f1フィールド探索ユニット3
07は、探索データ奇数ラインに対する現マクロブロッ
ク(CMB)の偶数ラインの探索を処理する。
【0038】これらのユニットにより出力される各差分
値に対して、f1/f1及びf2/f2フィールド探索
結果、並びにf1/f2及びf2/f1フィールド探索
結果を結合することにより、2つの追加のフレーム探索
結果が生成される。各結果は最良合致結果選択ユニット
311に入力される。このユニット311により実行さ
れる第1ステップは、基準重みと呼ばれる重み係数を各
結果に加算することである。基準重み値は、前のピクチ
ャの平均的動きに対する探索マクロブロック(SMB)
のオフセット位置に従い変化する。所与の探索マクロブ
ロック(SMB)が、現マクロブロック(CMB)位置
からの前のピクチャの平均動きベクトル・オフセットに
対して遠ざかるほど、その探索位置結果に加算される基
準重みは大きくなる。従って、探索は、前のピクチャの
平均動き軌道に最も接近して追従するSMB位置を選ぼ
うとする。
【0039】このユニット311により最良合致差分/
オフセット・バス313上に出力される結果の数は、探
索されるピクチャの形式に依存する。フレーム(プログ
レッシブ)形式探索では、5つの結果、すなわち、4つ
の最良合致フィールド探索結果(f1/f1、f2/f
2、f1/f2、f2/f1)、及び1つの最良CMB
フレーム探索結果(f1/f1+f2/f2差分及びf
1/f2+f2/f1差分の最小値)が出力される。フ
ィールド(インタレース)形式探索では、2つの結果、
すなわち最良現マクロブロック(CMB)同一パリティ
・フレーム探索(f1/f1+f2/f2差分の最小
値)、及び最良CMB反対パリティ・フレーム探索(f
1/f2+f2/f1差分の最小値)が出力される。
【0040】更に、Bピクチャに対して探索操作を実行
するとき、これらの結果の2つのセット(過去の基準探
索に対する1セット、及び将来の基準探索に対する1セ
ット)が生成される。最小絶対差分値に加え、最小値を
生成したSMBのオフセット位置が出力される。
【0041】前述のように、複数の階層探索ユニット
が、探索窓サイズを増加するために使用され得る。2つ
の階層探索ユニットが使用されるとき、水平方向±12
8、垂直方向±56、または水平方向±64、垂直方向
±112の最大探索窓サイズは、0.5MBの探索メモ
リを用いて定義され得る。最大4つのユニットが使用さ
れるとき、水平方向±128、垂直方向±112の最大
探索窓サイズは、1MBの探索メモリを用いて定義され
得る。複数の階層探索ユニット構成では、最良合致差分
/オフセット結果がデイジー・チェイン式に、あるユニ
ットから別のユニットに渡される。こうした構成では、
デイジー・チェインの終端の第1の送信ユニットが、そ
の絶対差分及びオフセット結果を、第1の受信ユニット
に渡す。第1の受信ユニットはその探索結果を、第1の
送信ユニットから受信されるものと比較し、最小の絶対
差分及びオフセット結果を第2の受信ユニットに送信す
る。このプロセスは、デイジー・チェイン内の最後の受
信者が、最終的な最小絶対差分及びオフセット結果を洗
練探索/復元ユニット221に渡すまで、継続される。
【0042】洗練探索/復元ユニット221が、図5、
図6及び図8に示される。このユニットのデータフロー
図が、図8に詳細に示される。図示のように、現マクロ
ブロック(CMB)輝度及び色差データが、CMBデー
タ・バス205から受信され、輝度/色差バッファ20
7に記憶される。輝度データは、前述の階層探索ユニッ
トにより受信されるそれと同一である。動き推定プロセ
スを最も効果的にパイプライン化するために、バッファ
207は2つのマクロブロックに対する輝度データ、及
び1つのマクロブロックに対する色差データを保持する
ように設計される。
【0043】第1の動き推定・洗練ステップは、全解像
度(FR)ユニット321において発生する。このユニ
ット321は、現マクロブロック(CMB)輝度データ
を輝度/色差バッファ207からフェッチし、全画素洗
練探索窓に関連する基準マクロブロック(RMB)輝度
データを、洗練探索メモリ229から、メモリ制御装置
301を介して、フェッチする。洗練データ・フェッチ
を実行するために、全解像度ユニット(FR)321に
より要求される制御情報(アドレス及びフェッチ・サイ
ズ)は、動き推定処理ユニット331により、階層探索
または非階層探索(すなわち階層探索ユニット無し)の
いずれが実行されているかにもとづき、セットアップさ
れる。非階層探索モードで動作しているとき、動き推定
処理ユニット331は、現マクロブロック(CMB)の
位置付近に、全画素洗練探索を中心づけする。階層探索
モードで動作しているときには、動き推定処理ユニット
331は、最良合致差分/オフセット・バス330を通
じて受信される階層探索ユニット結果を用いて、全画素
洗練探索をオフセット位置付近に中心づけする。リアル
タイム性能要求を満たすために、実行される探索の回数
及びタイプ、並びに探索窓のサイズは、探索モード(階
層的または非階層的)、ピクチャ構造及びタイプ、並び
にユーザにより選択される動き推定のオプションに依存
して変化する。表1及び表2はこの情報を要約するもの
である。ここで、ユーザが圧縮ビット・ストリームに挿
入するために選択し得る誤差隠蔽動きベクトルを生成す
るために、動き推定探索がIピクチャに対して実行され
ることに注意されたい。
【表1】
【表2】
【0044】表1及び表2において、HIERは階層探
索モードを指し、NON−HIERは非階層探索モード
を指し、DPはデュアル・プライム動き推定を指し、x
REFは、探索のために1つ(反対パリティ)または
2つ(同一パリティ及び反対パリティ)の基準フィール
ドのどちらが指定されるかを示し、OPは現マクロブロ
ック(CMB)のパリティに関し、反対パリティの基準
マクロブロック(RMB)・フィールド・データを指
し、SPは現マクロブロック(CMB)のパリティに関
し、同一パリティの基準マクロブロック(RMB)・フ
ィールド・データを指し、(PR)は洗練探索メモリに
記憶される過去の洗練探索データを指し、(FR)は洗
練探索メモリに記憶される将来の洗練探索データを指
し、(BR)は洗練探索メモリに記憶される過去と将来
の洗練探索データ間の双方向補間(平均化)を指し、f
1/f1は現マクロブロック(CMB)奇数フィールド
・ラインを探索するために使用される奇数ライン洗練デ
ータを指し、f1/f2は現マクロブロック(CMB)
奇数フィールド・ラインを探索するために使用される偶
数ライン洗練データを指し、f2/f1は現マクロブロ
ック(CMB)偶数フィールド・ラインを探索するため
に使用される奇数ライン洗練データを指し、f2/f2
は現マクロブロック(CMB)偶数フィールド・ライン
を探索するために使用される偶数ライン洗練データを指
し、f1/fxは、f1/f1またはf1/f2階層探
索ユニット結果のいずれが、より良好な合致を生成した
かにもとづき、現マクロブロック(CMB)奇数フィー
ルド・ラインを探索するために使用されるそれぞれ奇数
ラインまたは偶数ライン洗練データを指し、f2/fx
は、f2/f1またはf2/f2階層探索ユニット結果
のいずれが、より良好な合致を生成したかにもとづき、
現マクロブロック(CMB)偶数フィールド・ラインを
探索するために使用されるそれぞれ奇数ラインまたは偶
数ライン洗練データを指す。各探索位置における絶対差
分値の決定に際して、階層探索ユニットに関連して上述
したのと同様に、基準重み係数が各結果に加算される。
実行される各探索タイプの最終的な最良合致結果は、最
小絶対差分と基準重み値との和により決定される。
【0045】その探索操作の完了時に、FRユニット3
21は最大8回までの半画素マクロブロック探索を実行
するために、各RMB最良合致を囲む十分な洗練データ
と一緒に、CMBデータを出力する。インタレース式ピ
クチャでは、1つ(OPフィールド)または2つ(SP
フィールド、OPフィールド)の最良合致基準マクロブ
ロック(RMB)探索領域が出力され、プログレッシブ
・ピクチャでは、2つのフィールド最良合致基準マクロ
ブロック(RMB)探索領域(最良CMB f1合致、
最良CMB f2合致)、及び1つの最良合致基準マク
ロブロック(RMB)・フレーム探索領域が出力され
る。ここで、最良合致基準マクロブロック(RMB)探
索領域データを送信するために、44ビット・バスが使
用されるということに注目されたい。なぜなら、双方向
基準マクロブロック(RMB)・データが、Bピクチャ
内で最良合致を生成するとき、各基準マクロブロック
(RMB)最良合致画素値が、11ビット・バイトによ
り表されるからである(米国特許出願番号第41110
0号及び米国特許出願番号第602472号を参照)。
更に、各最良合致RMB探索領域に対する最良合致絶対
差分及びオフセット結果が、動き推定処理ユニット33
1に出力される。
【0046】第2の動き推定・洗練ステップは、半解像
度(HR)ユニット323において発生する。このユニ
ットは、全解像度(FR)ユニット321により決定さ
れる最良合致全画素基準マクロブロック(RMB)を囲
む最大8個の半画素基準マクロブロック(RMB)に対
して、洗練探索を実行する。特定の探索操作において、
最良合致半画素基準マクロブロック(RMB)位置(す
なわち、最小絶対差分値を生成したもの)の決定に際し
て、最良合致絶対差分値及びその対応する半画素オフセ
ットが、動き推定処理ユニット331に出力される。動
き推定処理ユニット331は次に、全解像度(FR)ユ
ニット321及び半解像度(HR)ユニット323から
受信される最良合致絶対差分値を比較し、半解像度(H
R)ユニット323に、各探索操作において、最小絶対
差分値を生成した基準マクロブロック(RMB)全画素
または半画素輝度データを出力するように命じる。半解
像度(HR)ユニット323はこのデータを、対応する
現マクロブロック(CMB)・データと一緒に、デュア
ル・プライム・ユニット(DP)325に出力する。
【0047】別の動き推定洗練ステップは、DPユニッ
ト325内で発生する。このユニットは、全解像度(F
R)ユニット321または半解像度(HR)ユニット3
23からの現マクロブロック(CMB)及び基準マクロ
ブロック(RMB)・データを用いて、デュアル・プラ
イム洗練を実行するように構成され得る。更に、インタ
レース式(フィールド)・ピクチャでは、DPユニット
325は2つの基準フィールドが提供されるときに、同
一または反対パリティ基準マクロブロック(RMB)の
いずれかを用いるように構成され得る。FRユニット3
21の現マクロブロック(CMB)及び基準マクロブロ
ック(RMB)・データを用い、デュアル・プライム動
き推定を実行するデフォルト指定モードにより、2つの
利点が実現される。
【0048】第1に、HRユニット323及びDPユニ
ット325の探索操作が並列に発生するので、性能が最
適化される。
【0049】第2に、プログレッシブ(フレーム)・ピ
クチャでは、半解像度(HR)基準マクロブロック(R
MB)・フレーム最良合致が、反対パリティ・フィール
ド間の垂直補間を含む無効な場合が排除される。このこ
とは所与の現マクロブロック(CMB)に対して、有効
なデュアル・プライム洗練が実行され得る確率を、33
%から100%に増加する。
【0050】階層探索ユニット201、FRユニット3
21及びHRユニット323(デュアル・プライム洗練
のために、データをDPユニット325に提供するため
に選択される場合)から受信されるオフセット情報にも
とづき、動き推定処理ユニット331は、デュアル・プ
ライム基準マクロブロック(RMB)を指し示す動きベ
クトルを組み立てる。動き推定処理ユニット331は次
に、適切な動きベクトルのスケーリング操作を実行し、
スケーリングされたベクトルを適切な洗練探索メモリ位
置に変換し、そこからデュアル・プライム動き推定を実
行するために、追加の輝度洗練探索データがフェッチさ
れる。デュアル・プライム最良合致が決定されると、対
応する絶対差分値及びオフセットが、動き推定処理ユニ
ット331に出力される。動き推定処理ユニット331
は、次に示すように、ピクチャ構造に依存して、3つの
どの結果が全体的に最良合致を生成したかを決定する。 プログレッシブ: 最良合致フレーム基準マクロブロック(RMB) 最良合致f1及びf2結合フィールド基準マクロブロッ
ク(RMB) 最良合致デュアル・プライム基準マクロブロック(RM
B) インタレース式: 最良合致反対パリティ・フィールド基準マクロブロック
(RMB) 最良合致同一パリティ・フィールド基準マクロブロック
(RMB) 最良合致デュアル・プライム基準マクロブロック(RM
B)
【0051】動き推定処理ユニット331はDPユニッ
ト325に、FDユニット327に出力する基準マクロ
ブロック(RMB)結果を知らせる。この時点で、洗練
動き推定フェーズが完了する。
【0052】マクロブロック復元フェーズを開始する次
のユニットは、FDユニット327である。このユニッ
トは現マクロブロック(CMB)及び最良合致基準マク
ロブロック(RMB)輝度データを、DPユニット32
5から集め、対応する現マクロブロック(CMB)色差
データを輝度/色差バッファ207からフェッチし、非
イントラ符号化マクロブロックに対する基準マクロブロ
ック(RMB)色差データを、洗練探索メモリ229か
らフェッチする。動き推定処理ユニット331から受信
され、現マクロブロック(CMB)がイントラまたは非
イントラのいずれに符号化されるかを示す情報に依存し
て、このユニットは輝度及び色差データを異なる方法で
処理する。判定がイントラ(動き無し)の場合、FDユ
ニット327は現マクロブロック(CMB)輝度及び色
差データを、直接、差分/QXFRMデータ・バス33
2に出力し、全てが'00'の基準マクロブロック(RM
B)輝度及び色差データを、動き調整(MA)ユニット
329に送信する。判定が非イントラ(動き有り)の場
合、FDユニット327はCMB−RMB輝度及び色差
データを、差分/QXFRMデータ・バス332上に出
力し、選択された基準マクロブロック(RMB)輝度及
び色差データを、MAユニット329に送信する。非イ
ントラの場合、動き推定処理ユニット331が、FDユ
ニット327内の洗練探索メモリ・ポインタを初期化
し、要求される基準マクロブロック(RMB)色差デー
タをフェッチし、CMB−RMB色差差分を計算する。
ここでFDユニット327は差分/QXFRMデータ・
バス332の適正な調停を請け負うことに注目された
い。これは、このユニットにより送信される輝度(また
は色差)データの全部が、次の色差(または輝度)デー
タの伝送前に、IQ(逆量子化)ユニット333に戻さ
れるように保証することにより達成される。FDユニッ
ト327により出力されるデータは更に、動き推定処理
ユニット331により、非イントラ・マクロブロックに
対して動きベクトルをタグ付けされる。動きベクトル・
データは動き推定処理ユニット331により、動きベク
トル(MV)・バス241上に出力される。
【0053】FDユニット327により出力されるデー
タに対する離散コサイン変換(DCT)及び量子化変換
の適用に際して、このデータが変換及び量子化されたデ
ータの復元(復号)のために、IQユニット333にブ
ロック形式で戻される。IQユニット333及びID
(逆DCT)ユニット335の両方が、MPEG2規格
により指定される逆量子化機能及び逆離散コサイン変換
機能を実行する。従って、FDユニット327により出
力されるオリジナル輝度及び色差マクロブロック・デー
タの有損失バージョンが獲得され、これは正に外部MP
EG2復号器がマクロブロックを伸張する方法に相当す
る。この有損失輝度及び色差マクロブロック・データが
MA(動き調整)ユニット329に送信され、MAユニ
ット329はこのデータに、FDユニット327から以
前に受信した基準マクロブロック(RMB)・データを
加算する。結果の輝度及び色差マクロブロック・データ
が、処理される全てのI及びPピクチャに対して、メモ
リ制御装置301を介して、洗練探索メモリ229に出
力される。
【0054】最後に、本発明は特定の好適な実施例に関
し述べられてきたが、これらは本発明の範囲を制限する
ものではないことを述べておく。
【0055】まとめとして、本発明の構成に関して以下
の事項を開示する。
【0056】(1)デジタル・ビデオ・データ・ストリ
ームの時間圧縮方法であって、少なくとも1つの探索ユ
ニット内で、基準ピクチャ内の画素を階層的に探索し、
現マクロブロックに対応する最良合致マクロブロックを
見い出すステップと、前記最良合致マクロブロックと前
記現マクロブロックとの間の動きベクトルを構成するス
テップと、を含む、方法。 (2)複数の探索ユニット内で複数の階層的探索を実行
し、探索窓サイズを増加するステップを含む、前記
(1)記載の方法。 (3)最良合致マクロブロック差分及びオフセットを、
1つの探索ユニットから次の探索ユニットにデイジー・
チェイン式に渡すステップを含む、前記(2)記載の方
法。 (4)最良合致マクロブロック最小絶対差分及びオフセ
ットを、最後の階層探索ユニットから洗練探索及び復元
ユニットに渡すステップを含む、前記(3)記載の方
法。 (5)デジタル・ビデオ・データ・ストリームの時間圧
縮方法であって、ダウンサンプルされる全画素値を用い
て、基準ピクチャ内の画素を探索し、現マクロブロック
に対応する最良合致マクロブロックを見い出すステップ
と、前記最良合致マクロブロックと前記現マクロブロッ
クとの間の動きベクトルを構成するステップと、を含
む、方法。 (6)全探索、2:1ダウンサンプル式探索、または
4:1ダウンサンプル式探索により探索するステップを
含む、前記(5)記載の方法。 (7)次のピクチャがイントラ符号化され、出力がオリ
ジナル現マクロブロックである、前記(5)記載の方
法。 (8)次のピクチャが双方向符号化されるか、または予
測符号化され、出力が最良合致差分マクロブロックであ
る、前記(5)記載の方法。 (9)非復元基準マクロブロック・データを用いて、前
記最良合致マクロブロックを探索するステップを含む、
前記(5)記載の方法。 (10)その後、ダウンサンプル式合致のオフセット周
辺の復元された洗練探索データを用いて、非ダウンサン
プル式全画素探索を実行するステップを含む、前記
(9)記載の方法。 (11)その後、最良合致非ダウンサンプル式全画素最
良合致マクロブロックの位置にもとづき、復元された洗
練データを用いて、半画素探索を実行するステップを含
む、前記(10)記載の方法。 (12)デュアル・プライム探索を実行するステップを
含む、前記(11)記載の方法。 (13)デジタル・ビデオ・データ・ストリームの時間
圧縮方法であって、偶数/偶数、奇数/奇数、偶数/奇
数、及び奇数/偶数フィールド探索ユニット入力によ
り、基準ピクチャ・フィールド内の画素をフィールド探
索し、現マクロブロックに対応する最良合致マクロブロ
ックを見い出すステップと、前記最良合致マクロブロッ
クと前記現マクロブロックとの間の動きベクトルを構成
するステップと、を含む、方法。 (14)最良フィールド探索の補間により探索するステ
ップを含む、前記(13)記載の方法。 (15)デジタル・ビデオ動き推定のための探索プロセ
ッサであって、階層探索ユニットと、前記階層探索ユニ
ットに直列な洗練探索ユニットと、を含む、探索プロセ
ッサ。 (16)前記階層探索ユニットがダウンサンプル式全画
素探索手段を含む、前記(15)記載の探索プロセッ
サ。 (17)前記洗練探索ユニットが全画素探索手段、半画
素探索手段、及びデュアル・プライム探索手段を含み、
前記全画素探索手段が前記半画素探索手段及び前記デュ
アル・プライム探索手段と直列であり、前記半画素探索
手段が前記デュアル・プライム探索手段と直列である、
前記(15)記載の探索プロセッサ。
【図面の簡単な説明】
【図1】図1は一般的なMPEG2準拠符号化器11の
フロー図を示し、これは離散コサイン変換器21、量子
化器23、可変長符号化器25、逆量子化器29、逆離
散コサイン変換器31、動き補償41、フレーム・メモ
リ42、及び動き推定43を含む。データ・パスはi番
目のピクチャ入力111、差分データ112、動きベク
トル113、ピクチャ出力121、動き推定及び補償の
ためのフィードバック・ピクチャ131、及び動き補償
済みピクチャ101を含む。この図は、i番目のピクチ
ャがフレーム・メモリ42内に存在し、i+1番目のピ
クチャが動き推定により符号化されていることを想定す
る。
【図2】I、P及びBピクチャ、それらの表示及び伝送
順序の例、並びに順方向及び逆方向動き推定を示す図で
ある。
【図3】現フレームまたはピクチャ内の動き推定ブロッ
クから、次のまたは前のフレームまたはピクチャ内の最
良合致ブロックへの探索を示す図である。要素211及
び211'は、両方のピクチャ内の同一の位置を表す。
【図4】動きベクトルに従う前のピクチャ内の位置から
新たなピクチャへのブロックの動き、及び動きベクトル
により調整された後の前のピクチャのブロックを示す図
である。
【図5】階層探索ユニット201及び洗練探索ユニット
221を有する探索ユニットの全体アーキテクチャを示
す図である。階層探索ユニット201は、ダウンサンプ
ル式全画素探索ユニット203を有する。洗練探索ユニ
ット221は、全画素探索ユニット223を有し、これ
は入力を半画素探索ユニット225及びデュアル・プラ
イム探索ユニット227の両方に提供する。デュアル・
プライム探索ユニット227は、半画素探索ユニット2
25からも入力を受信する。
【図6】階層動き推定データ・フローを示し、階層探索
ユニット201が、前の階層探索ユニット(図示せず)
からの最良合致/差分オフセット・データと、現マクロ
ブロック(CMB)・データ・バス205からのデータ
とを受信し、洗練探索/復元ユニット221及び階層探
索メモリ215への出力を有する。洗練探索/復元ユニ
ット221は、現マクロブロック・データ・バス205
からデータを受信し、差分/QXFRMデータ・バス2
31及び洗練探索メモリ229との間でデータを送受信
する。洗練探索/復元ユニット221の出力は、動きベ
クトル・バス241に出力される。
【図7】階層探索ユニットのデータ・フローを示し、現
マクロブロック・データ・バス205から輝度バッファ
207を通じて、データ(輝度データのみ)を受信し、
探索データ・バス209にデータを送受信する。4つの
フィールド探索f1/f1 301、f2/f2 30
3、f1/f2 305、及びf2/f1 307が示
される。これらはそれぞれf1/f1差分、f2/f2
差分、f1/f2差分、及びf2/f1差分を提供す
る。これらのデータは最良合致結果選択ユニット311
に提供され、これは最良合致差分/オフセット313を
出力する。
【図8】洗練探索/復元ユニット221のデータ・フロ
ーを示す。輝度及び色差データが、メモリ制御装置30
1の制御の下で、現マクロブロック・データ・バス20
5及び輝度/色差バッファ207を通じて、このユニッ
トに入力する。データは全解像度ユニット(FR)32
1、半解像度ユニット(HR)323、更にデュアル・
プライム・ユニット(DP)325、FDユニット32
7を通じて、動き調整ユニット(MA)329に渡され
る。動き推定処理ユニット331がこれらのユニットを
制御し、制御信号を動きベクトル・バス(MVバス)2
41に送信する。FDユニット327の出力は、差分/
QXFRMデータ・バス332に出力され、逆量子化器
(IQ)333及び逆離散コサイン変換ユニット・ユニ
ット335を通じて、動き調整ユニット(MA)329
に戻される。
【符号の説明】
11 符号化器 21 離散コサイン変換器 23 量子化器 25 可変長符号化器 29 逆量子化器 31 逆離散コサイン変換器 41 動き補償 42 フレーム・メモリ 43 動き推定 101 動き補償済みピクチャ 111 ピクチャ入力 112 差分データ 113 動きベクトル 121 ピクチャ出力 131 フィードバック・ピクチャ 201 階層探索ユニット 203 ダウンサンプル式全画素探索ユニット 205 現マクロブロック(CMB)・データ・バス 207 輝度/色差バッファ 209 探索データ・バス 215 階層探索メモリ 221 洗練探索/復元ユニット 223 全画素探索ユニット 225 半画素探索ユニット 227 デュアル・プライム探索ユニット 229 洗練探索メモリ 231、332 差分/QXFRMデータ・バス 241 動きベクトル・バス 301 フィールド探索f1/f1 303 フィールド探索f2/f2 305 フィールド探索f1/f2 307 フィールド探索f2/f1 311 最良合致結果選択ユニット 313 最良合致差分/オフセット 321 全解像度ユニット(FR) 323 半解像度ユニット(HR) 325 デュアル・プライム・ユニット(DP) 327 FDユニット 329 動き調整ユニット(MA) 331 動き推定処理ユニット 333 逆量子化器(IQ) 335 逆離散コサイン変換ユニット(逆DCT)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョン・マーク・カクツマルスキー アメリカ合衆国13760、ニューヨーク州エ ンディコット、サラー・レーン 908 (72)発明者 アグネス・イー・ンガイ アメリカ合衆国13760、ニューヨーク州エ ンドウェル、パートリッジ・プレース 725 (72)発明者 エドワード・フランシス・ウェスターマン アメリカ合衆国13760、ニューヨーク州エ ンディコット、ドロシー・ストリート 189 (72)発明者 ロバート・ジェイ・ヤグレイ アメリカ合衆国13760、ニューヨーク州エ ンディコット、レオン・ドライブ 580

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】デジタル・ビデオ・データ・ストリームの
    時間圧縮方法であって、 少なくとも1つの探索ユニット内で、基準ピクチャ内の
    画素を階層的に探索し、現マクロブロックに対応する最
    良合致マクロブロックを見い出すステップと、 前記最良合致マクロブロックと前記現マクロブロックと
    の間の動きベクトルを構成するステップと、 を含む、方法。
  2. 【請求項2】複数の探索ユニット内で複数の階層的探索
    を実行し、探索窓サイズを増加するステップを含む、請
    求項1記載の方法。
  3. 【請求項3】最良合致マクロブロック差分及びオフセッ
    トを、1つの探索ユニットから次の探索ユニットにデイ
    ジー・チェイン式に渡すステップを含む、請求項2記載
    の方法。
  4. 【請求項4】最良合致マクロブロック最小絶対差分及び
    オフセットを、最後の階層探索ユニットから洗練探索及
    び復元ユニットに渡すステップを含む、請求項3記載の
    方法。
  5. 【請求項5】デジタル・ビデオ・データ・ストリームの
    時間圧縮方法であって、 ダウンサンプルされる全画素値を用いて、基準ピクチャ
    内の画素を探索し、現マクロブロックに対応する最良合
    致マクロブロックを見い出すステップと、 前記最良合致マクロブロックと前記現マクロブロックと
    の間の動きベクトルを構成するステップと、 を含む、方法。
  6. 【請求項6】全探索、2:1ダウンサンプル式探索、ま
    たは4:1ダウンサンプル式探索により探索するステッ
    プを含む、請求項5記載の方法。
  7. 【請求項7】次のピクチャがイントラ符号化され、出力
    がオリジナル現マクロブロックである、請求項5記載の
    方法。
  8. 【請求項8】次のピクチャが双方向符号化されるか、ま
    たは予測符号化され、出力が最良合致差分マクロブロッ
    クである、請求項5記載の方法。
  9. 【請求項9】非復元基準マクロブロック・データを用い
    て、前記最良合致マクロブロックを探索するステップを
    含む、請求項5記載の方法。
  10. 【請求項10】その後、ダウンサンプル式合致のオフセ
    ット周辺の復元された洗練探索データを用いて、非ダウ
    ンサンプル式全画素探索を実行するステップを含む、請
    求項9記載の方法。
  11. 【請求項11】その後、最良合致非ダウンサンプル式全
    画素最良合致マクロブロックの位置にもとづき、復元さ
    れた洗練データを用いて、半画素探索を実行するステッ
    プを含む、請求項10記載の方法。
  12. 【請求項12】デュアル・プライム探索を実行するステ
    ップを含む、請求項11記載の方法。
  13. 【請求項13】デジタル・ビデオ・データ・ストリーム
    の時間圧縮方法であって、 偶数/偶数、奇数/奇数、偶数/奇数、及び奇数/偶数
    フィールド探索ユニット入力により、基準ピクチャ・フ
    ィールド内の画素をフィールド探索し、現マクロブロッ
    クに対応する最良合致マクロブロックを見い出すステッ
    プと、 前記最良合致マクロブロックと前記現マクロブロックと
    の間の動きベクトルを構成するステップと、 を含む、方法。
  14. 【請求項14】最良フィールド探索の補間により探索す
    るステップを含む、請求項13記載の方法。
  15. 【請求項15】デジタル・ビデオ動き推定のための探索
    プロセッサであって、 階層探索ユニットと、 前記階層探索ユニットに直列な洗練探索ユニットと、 を含む、探索プロセッサ。
  16. 【請求項16】前記階層探索ユニットがダウンサンプル
    式全画素探索手段を含む、請求項15記載の探索プロセ
    ッサ。
  17. 【請求項17】前記洗練探索ユニットが全画素探索手
    段、半画素探索手段、及びデュアル・プライム探索手段
    を含み、前記全画素探索手段が前記半画素探索手段及び
    前記デュアル・プライム探索手段と直列であり、前記半
    画素探索手段が前記デュアル・プライム探索手段と直列
    である、請求項15記載の探索プロセッサ。
JP9278522A 1996-11-07 1997-10-13 デジタル・ビデオ・データ・ストリームの圧縮方法及び探索プロセッサ Pending JPH10150666A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/745,584 US6549575B1 (en) 1996-11-07 1996-11-07 Efficient, flexible motion estimation architecture for real time MPEG2 compliant encoding
US08/745584 1996-11-07

Publications (1)

Publication Number Publication Date
JPH10150666A true JPH10150666A (ja) 1998-06-02

Family

ID=24997330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9278522A Pending JPH10150666A (ja) 1996-11-07 1997-10-13 デジタル・ビデオ・データ・ストリームの圧縮方法及び探索プロセッサ

Country Status (5)

Country Link
US (1) US6549575B1 (ja)
JP (1) JPH10150666A (ja)
KR (1) KR100294999B1 (ja)
CN (1) CN1196340C (ja)
TW (1) TW339495B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009504035A (ja) * 2005-07-28 2009-01-29 トムソン ライセンシング 階層的キャッシュを使うビデオ動き処理最適化のための方法および装置

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
US7551201B2 (en) 1997-07-15 2009-06-23 Silverbrook Research Pty Ltd Image capture and processing device for a print on demand digital camera system
IL122299A (en) * 1997-11-25 2003-11-23 Broadcom Corp Video encoding device
KR20000014769A (ko) * 1998-08-22 2000-03-15 구자홍 동영상 부호화기의 움직임 추정방법
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
US6968009B1 (en) * 1999-11-12 2005-11-22 Stmicroelectronics, Inc. System and method of finding motion vectors in MPEG-2 video using motion estimation algorithm which employs scaled frames
KR100677082B1 (ko) * 2000-01-27 2007-02-01 삼성전자주식회사 움직임 추정기
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
KR100407691B1 (ko) * 2000-12-21 2003-12-01 한국전자통신연구원 계층탐색을 이용한 움직임 추정장치 및 방법
US20020136302A1 (en) * 2001-03-21 2002-09-26 Naiqian Lu Cascade window searching method and apparatus
US7694224B2 (en) * 2001-05-31 2010-04-06 International Business Machines Corporation Location predicative restoration of compressed images stored on a hard disk drive with soft and hard errors
US20030059089A1 (en) * 2001-09-25 2003-03-27 Quinlan James E. Block matching at the fractional pixel level for motion estimation
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
KR100699821B1 (ko) * 2002-07-22 2007-03-27 삼성전자주식회사 가변 탐색창을 이용한 고속 움직임 추정방법
JPWO2004012460A1 (ja) * 2002-07-29 2005-11-24 松下電器産業株式会社 動きベクトル検出装置及び動きベクトル検出方法
JP4841101B2 (ja) * 2002-12-02 2011-12-21 ソニー株式会社 動き予測補償方法及び動き予測補償装置
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR20060105408A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8761252B2 (en) * 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
FR2866737B1 (fr) * 2004-02-25 2006-11-17 Nextream France Dispositif et procede de pre-traitement avant codage d'une sequence d'images
US20080037642A1 (en) * 2004-06-29 2008-02-14 Sony Corporation Motion Compensation Prediction Method and Motion Compensation Prediction Apparatus
US8462850B2 (en) * 2004-07-02 2013-06-11 Qualcomm Incorporated Motion estimation in video compression systems
TWI308841B (en) * 2005-01-24 2009-04-11 Via Tech Inc Method and system for reducing the bandwidth access in video encoding
US20060215755A1 (en) * 2005-03-24 2006-09-28 Mediatek Incorporation Video encoding methods and systems for battery-powered apparatus
US8660180B2 (en) * 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
EP1880553A4 (en) * 2005-04-13 2011-03-02 Lg Electronics Inc METHOD AND DEVICE FOR DECODING A VIDEO SIGNAL USING REFERENCE PICTURES
US20060256864A1 (en) * 2005-05-13 2006-11-16 Mediatek Incorporation Motion estimation methods and systems in video encoding for battery-powered appliances
US8755434B2 (en) * 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US8116371B2 (en) * 2006-03-08 2012-02-14 Texas Instruments Incorporated VLC technique for layered video coding using distinct element grouping
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8565310B2 (en) 2008-01-08 2013-10-22 Broadcom Corporation Hybrid memory compression scheme for decoder bandwidth reduction
US20090207915A1 (en) * 2008-02-15 2009-08-20 Freescale Semiconductor, Inc. Scalable motion search ranges in multiple resolution motion estimation for video compression
CN101272498B (zh) * 2008-05-14 2010-06-16 杭州华三通信技术有限公司 一种视频编码方法及视频编码装置
US20120281759A1 (en) * 2010-03-31 2012-11-08 Lidong Xu Power efficient motion estimation techniques for video encoding
WO2018200862A1 (en) * 2017-04-28 2018-11-01 Ascava, Inc. Lossless reduction of data by using a prime data sieve and performing multidimensional search and content-associative retrieval on data that has been losslessly reduced using a prime data sieve

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414469A (en) * 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US5412435A (en) * 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
US5448310A (en) * 1993-04-27 1995-09-05 Array Microsystems, Inc. Motion estimation coprocessor
JPH0746457A (ja) * 1993-07-31 1995-02-14 Sony Corp 動き量検出装置及び動き量検出方法
JPH07154801A (ja) * 1993-11-29 1995-06-16 Ricoh Co Ltd 階層型動きベクトル検出方法
US5500678A (en) * 1994-03-18 1996-03-19 At&T Corp. Optimized scanning of transform coefficients in video coding
US5526054A (en) * 1995-03-27 1996-06-11 International Business Machines Corporation Apparatus for header generation
US5694170A (en) * 1995-04-06 1997-12-02 International Business Machines Corporation Video compression using multiple computing agents
US5761398A (en) 1995-12-26 1998-06-02 C-Cube Microsystems Inc. Three stage hierarchal motion vector determination
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation
JP3297293B2 (ja) * 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009504035A (ja) * 2005-07-28 2009-01-29 トムソン ライセンシング 階層的キャッシュを使うビデオ動き処理最適化のための方法および装置

Also Published As

Publication number Publication date
KR100294999B1 (ko) 2001-11-14
US6549575B1 (en) 2003-04-15
CN1196340C (zh) 2005-04-06
CN1182335A (zh) 1998-05-20
KR19980041898A (ko) 1998-08-17
TW339495B (en) 1998-09-01

Similar Documents

Publication Publication Date Title
JPH10150666A (ja) デジタル・ビデオ・データ・ストリームの圧縮方法及び探索プロセッサ
US5565922A (en) Motion compensation for interlaced digital video signals
KR100600419B1 (ko) 움직임 보상된 예측 영상 부호화 및 복호화
US5768537A (en) Scalable MPEG2 compliant video encoder
US5847776A (en) Method for entropy constrained motion estimation and coding of motion vectors with increased search range
JP3836559B2 (ja) ディジタルビデオ符号化器における動き推定方法
EP1006732A2 (en) Motion compensated interpolation for digital video signal processing
US20040114688A1 (en) Device for and method of estimating motion in video encoder
JPH11112973A (ja) 映像信号変換装置及び映像信号変換方法
ZA200308785B (en) Method for sub-pixel value interpolation.
JPH09179987A (ja) 動きベクトル検出方法及び動きベクトル検出装置
JPH10294947A (ja) 改善された効率のためにスキュードタイル記憶フォーマットを用いる動作補正を行うシステム及び方法
EP1032211A2 (en) Moving picture transcoding system
EP0953253A2 (en) Motion-compensated predictive image encoding and decoding
EP1386486B1 (en) Detection and proper interpolation of interlaced moving areas for mpeg decoding with embedded resizing
US20010014125A1 (en) Motion image coding device and decoding device
US5689312A (en) Block matching motion estimation method
US8218639B2 (en) Method for pixel prediction with low complexity
JPH06153185A (ja) 動き補償装置及びこれを用いた符号化装置
JPH0795590A (ja) 映像信号処理装置、映像信号処理方法及び撮像装置
KR0129214B1 (ko) 고화질 티브이의 디코더
KR100189268B1 (ko) 프레임 화상에서 필드 모션 추정의 산출 방법 및 장치
JPH09261661A (ja) 2つの基準ピクチャから双方向コード化ピクチャを形成するための方法
JPH0738899A (ja) 画像符号化装置
AU681324B2 (en) Method and apparatus for regenerating a dense motion vector field