JPH1118093A - 共用情報を用いるdctドメイン逆動き補償のためのシステム及び方法 - Google Patents

共用情報を用いるdctドメイン逆動き補償のためのシステム及び方法

Info

Publication number
JPH1118093A
JPH1118093A JP10153226A JP15322698A JPH1118093A JP H1118093 A JPH1118093 A JP H1118093A JP 10153226 A JP10153226 A JP 10153226A JP 15322698 A JP15322698 A JP 15322698A JP H1118093 A JPH1118093 A JP H1118093A
Authority
JP
Japan
Prior art keywords
block
coded
intra
blocks
dct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10153226A
Other languages
English (en)
Inventor
Son June-Wa
ジュネーワ・ソン
Eo Boone-Rock
ブーン−ロック・エオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH1118093A publication Critical patent/JPH1118093A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 共用情報を用い、MPEGビデオの相互符号
化フレームをDCTイントラ符号化フレームに変換する
システム及び方法を提供することである。 【解決手段】 離散コサイン変換(DCT)及び動き補
償を通じて、インタレース式及び非インタレース式フレ
ームの符号化をサポートする圧縮ビデオが提供される場
合、マクロブロック内の共用情報を用いて、相互符号化
ブロックをDCTイントラ符号化ブロックに効率的に変
換する。共用情報はまた、伸長無しに、空間的に低減さ
れたイメージを効率的に構成するためにも使用される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、DCTドメイン逆
動き補償の分野に関し、特に、共用情報を用い、MPE
G圧縮形式のビデオ情報からの相互符号化フレームを、
イントラ符号化フレームに変換する分野に関する。
【0002】
【従来の技術】
【数1】 は、以降ハットXと記載する。
【0003】
【数2】 は、以降ティルドXと記載する。
【0004】MPEG−1ビデオ規格は3つの異なるタ
イプのフレーム、すなわちイントラ符号化フレーム(I
フレーム)、予測フレーム(Pフレーム)、及び双方向
予測フレーム(Bフレーム)を定義する(図1参照)。
P及びBフレームは、前のアンカ(anchor)または基準
フレームにもとづき符号化されるので、相互に符号化さ
れる(inter-coded)とも言われる。MPEG1規格の
詳細については、ISO/IEC JTC1 CD 1
1172 Codeing of moving pictures and associated
audio for digital storage media up to 1.5 Mbits/
s、1992(以下、参考文献1)を参照されたい。Iフレ
ームはイントラ・フレーム符号化を用いて圧縮される。
すなわち、これらは符号化ストリーム内の他のフレーム
を参照しない。各Iフレームは8×8個のブロック(図
2の112)に分割され、離散コサイン変換(DCT)
が実行される。64個のDCT係数の内、DC、AC0
1及びAC10が特に関心の対象となる。これらが図2
に示される。予測フレームは、過去のIフレームまたは
Pフレームからの動き補償情報を用いて符号化される。
Bフレームは、過去のまたは将来のIフレームまたはP
フレームのいずれかからの動き補償情報を用いて符号化
される。Pフレーム及びBフレームはイントラ符号化ブ
ロックを含むこともでき、これらもIフレーム内のブロ
ック同様、DCTを用いて符号化される。
【0005】MPEG−1ビット・ストリームは6層に
よる階層表現を有し、それらはシーケンス層、ピクチャ
層のグループ、ピクチャ層、スライス層、マクロブロッ
ク層及びブロック層である。シーケンス層は最上位の符
号化層である。ピクチャ層のグループ(GOP)は、連
続表示順序のピクチャのセットであり、少なくとも1つ
のIフレームを含む。各ピクチャはフレームに対応す
る。各ピクチャはスライスに分割され、スライスは更に
マクロブロックに分割される。マクロブロックは6ブロ
ック112から成り、4ブロックが輝度用で2ブロック
が色差用である。MPEG−1規格に関する更に詳細に
ついては、前記参考文献1を参照されたい。
【0006】低減されたイメージを生成するプロセスの
詳細が、B.L.Yeo及びB.Liuによる"On the extractio
n of DC sequences from MPEG compressed video"(Int
ernational Conference on Image Processing、Vol.I
I、pp.260-263、1995)(以下、参考文献2)で述べら
れている。DCイメージは、8×8ブロックのブロック
・ベースの平均から成る。MPEG−1符号化ビデオの
Iフレームにおいて、DCイメージ内の各画素は、各D
CTブロックのDC係数の基準化(scaled)バージョン
に対応する。
【0007】Pフレーム及びBフレームからのDCイメ
ージの総称的な抽出が、図3に示される。ここではP
ref131Dが関心のターゲット・ブロックであり、相
互に符号化される。それをイントラ符号化DCT形式に
変換し、DC係数を抽出することが望まれる。
0、...、P3(134、135、136及び13
7)が、P refを導出する4つのオリジナルのイントラ
符号化隣接ブロック(アンカ・ブロックと呼ばれる)で
あり、動きベクトルは(Δx、Δy)である。動きベク
トル(Δx、Δy)150は、ブロックPrefに関連付
けられる動き補償情報の一部である。アンカ・ブロック
0、...、P3内の共用領域134P、135P、1
36P及び137Pは、寄与サブブロック(contributi
ng subblocks)と呼ばれ、(Δx、Δy)により移動さ
れる。こうしてPrefのDC係数がDCイメージ・シー
ケンスに対して導出される。
【0008】Piに関して相互に符号化されるPrefの関
係が、S.F.Chang及びD.G.Messerschmittによる"Man
ipulation and compositing of MC-DCT compressed vid
eo"(IEEE Journal on Selected Areas in Communicati
ons:Special Issue on Intelligent Signal Processin
g、Vol.13、pp.1-11、Jan 1995)(以下、参考文献
3)から得られる。各ブロックを8×8マトリックスと
して表す場合、Prefは空間ドメイン内において、次の
マトリックス乗算を通じて記述できる。
【数3】
【0009】ここでSijは次のようなマトリックスであ
る。
【数4】
【0010】または
【数5】
【0011】ここで各Inはサイズnの識別マトリック
スである。Pに対するSijの影響の例が、図4に示され
る。目標はサブブロックを左上隅から右下隅に移動し、
ブロック内の残りの値を0にセットすることである。事
前の乗算は関心のサブブロックを垂直方向にシフトし、
事後の乗算はサブブロックを水平方向にシフトする。関
心のサブブロックの4つの可能な位置が存在し、それら
は左上、右上、右下及び左下である。マトリックスに関
するアクションが、表1に示される。
【表1】
【0012】Sijの値は表1から明らかであり、hi
びwiの所与の値を有するが、Sijは時に、hi及びwi
の関数として、例えばS01=S01(h0、w0)=S
01(h0)のように記述される。
【0013】8×8ブロックPの2次元DCTをDCT
(P)として表す場合、DCT(P ref)の係数は、幾
つかの重み係数wi mlに対して、次のように表される。
【数6】
【0014】前記考文献2の重要な結果は、wi 00=hi
i/64、すなわち重みwi 00が、ブロックPrefのブ
ロックPiとのオーバラップの比率であることである。
1次近似と呼ばれる近似は(DCT(Pref))00を次
のように近似する。
【数7】
【0015】この近似は、動きベクトル情報及び基準フ
レーム内のDC値だけを要求する。こうした近似がBフ
レーム及びPフレームに適用されるとき、実際に良好な
結果が生成されることが前記参考文献2に示されてい
る。
【0016】MPEG−1ビデオから直接抽出されるD
Cイメージの使用は、MPEG−1ビデオを処理する効
率的なアルゴリズムをもたらす。アプリケーションの例
が、B.L.Yeo及びB.Liuによる"Rapid scene analysis
on compressed videos"(IEEE Transactions on Circu
its and Systems For Video Technology、Vol.5、pp.
533-544、Dec.1995)(以下、参考文献4)、及びM.
M.Yeung及びB.Liuによる"Efficient Matching and Cl
ustering of Video Shots"(International Conference
on Image Processing、Vol.I、pp.338-341、1995)
(以下、参考文献5)に述べられている。
【0017】MPEG−1ビデオのIフレームに対し
て、DC+2ACを次のように定義する。すなわち各8
×8DCTブロックに対して、DC及び2つの下位のA
C係数AC0、1及びAC1、0が保存され、2×2逆DCT
が実行されて、4画素が獲得される。Bフレーム及びP
フレームに対しては、下記の式(2)が使用され、DC
TブロックPiのDC及び2つの下位のAC係数から、
refのDC及び2つの下位のAC係数を構成する。
【数8】
【0018】ここで、a+b≦1であり、hi及びwi
ブロックPi(図3)のそれぞれ高さ及び幅である。更
に詳細については、B.L.Yeoによる"On Fast Microsco
picBrowsing of MPEG compressed video"(IBM T.J.W
atson Research Center、Technical Report RC20841、M
ay 1997)(以下、参考文献6)で述べられている。
【0019】MPEG−2はより高速なデータ転送率を
目的として、高品質のビデオを同報するために使用され
る。それに対してMPEG−1は毎秒約1.5Mビット
のデータ転送率を目的とする。MPEG−2は、より広
範なアプリケーション及び操作モードをサポートし、全
てのMPEG−1ビデオ構文を保持し、追加の柔軟性及
び機能のための拡張を用いる。MPEG−2はまた、イ
ンタレース式ビデオ及びスケーラブル・データ・ストリ
ームの符号化をサポートする。MPEG−1はインタレ
ース式ビデオをサポートせず、非インタレース式(プロ
グレッシブ)ビデオだけをサポートする。
【0020】インタレース式ビデオでは、各フレームは
上フィールドと下フィールドの2つのフィールドから成
る。MPEG−2では、各フィールドは別々のピクチャ
(フィールド・ピクチャ)として、または完全なフレー
ム(フレーム・ピクチャ)として符号化され得る。フレ
ーム・ピクチャ及びフィールド・ピクチャが、MPEG
−2データ・ストリーム内で混合され得る。フィールド
・ピクチャのDCT係数は常に独立なフィールドとして
編成される。しかしながら、フレーム・ピクチャでは、
DCTがフィールドまたはフレームに対してマクロブロ
ック・ベースで実行される。すなわちフレーム・ピクチ
ャは、フレーム符号化マクロブロック及びフィールド符
号化マクロブロックの両方を含み得る。
【0021】図5、図6及び図7は、MPEG−2ビデ
オにおいて可能なDCT符号化マクロブロックの異なる
形式を示す。図5は、MPEG−2ビデオ規格における
フレーム・ピクチャ内の、従来のフィールドDCT符号
化を示す。図6は、MPEG−2ビデオ規格におけるフ
レーム・ピクチャ内の、従来のフレームDCT符号化を
示す。図7は、MPEG−2ビデオ規格におけるフィー
ルド・ピクチャ内の、従来の符号化マクロブロックを示
す。
【0022】MPEG−2における動き補償(MC)
は、MPEG−1におけるそれよりもより一般的であ
る。動き補償の2つの基本的なモード、すなわちフィー
ルド・ベースの動き補償及びフレーム・ベースの動き補
償が存在する。フィールド・ベースのMCでは、上下の
フィールドの変換を指定するために、2つの動きベクト
ルが使用される(フィールド・ベースMCモード及び2
つの動きベクトルが、フィールド・ベースのMCの動き
補償情報を構成する)。フレーム・ベースのMCでは、
1つの動きベクトルだけが使用される(フレーム・ベー
スMCモード及び動きベクトルが、フィールド・ベース
MCの動き補償情報を構成する)。フレーム・ベースM
Cは、MPEG−1で実行されるものと類似である。フ
ィールド・ピクチャでは、フィールド・ベースMCだけ
が使用されるのに対してフレーム・ピクチャでは、フレ
ーム・ベース及びフィールド・ベースの両方のMCが許
可される。
【0023】2つのケースが図8及び図9に示される。
図8はMPEG−2ビデオ規格におけるフレーム・ピク
チャ内の従来のフレーム予測、またはフィールド・ピク
チャ内の予測を示す。図9は、MPEG−2ビデオ規格
におけるフレーム・ピクチャ内の従来のフィールド予測
を示す。
【0024】要するに、MPEG−2及びMPEG−1
間の1つの違いは、DCTの使用によるインタレース式
ビデオの符号化、及び(または)フレームまたはフィー
ルド符号化によるインタレース式フレームの動き補償の
サポートである。
【0025】予測効率を改善するために、MPEG−2
は更に、16×8動き補償モードを支援する。このモー
ドは、マクロブロックが16×8の上領域及び16×8
の下領域として処理されることを可能にする。各領域は
この時、独立に動き補償される。別のモードは、2重プ
ライム動き予測である。これは所与のフィールドまたは
フレームを符号化するとき、反対のパリティの2つの隣
接フィールドからの予測を平均する。2重プライム動き
予測はデータ内のノイズを低減する傾向がある。
【0026】MPEG−2規格の詳細については、IS
O/IEC JTC1 CD 13818 Generic Co
ding of moving pictures and associated audio、199
4、MPEG Video Compression Standard(J.L.Mitchel
l、W.E.Pennebaker、C.E.Foog及びD.J.Le Gall共
著、Chapman and Hall、1996)(以下、参考文献7)、
及びDigital Video:An Introduction to MPEG-2(B.
G.Haskell、A.Puri及びA.N.Netravali共著、Chapma
n and Hall、1997)(以下、参考文献8)に述べられて
いる。
【0027】表記法:本開示では、次に示す表記法を使
用する。すなわち混乱が無い限り、8×8(16×1
6)データ・ブロック(マクロブロック)を、8×8マ
トリックス(16×16マトリックス)として表現す
る。空間ドメイン・ブロックまたはマクロブロック(ま
たはマトリックス)を大文字(例えばD、D'、Di、P
など)で表し、対応するDCTドメイン・ブロック(ま
たはマトリックス)を、ハット記号を付加した同一の大
文字(例えば、ハットDi、ハットPiなど)により表す
ことにする。すなわち、マトリックスDにより表される
8×8ブロックに対して、次の関係がもたらされる。
【数9】
【0028】ここでTは、エントリt(i、j)(iは
i番目の行を示し、jはj番目の列を示す)を有する8
×8DCTマトリックスであり、t(i、j)は次式に
より与えられる。
【数10】
【0029】ここで、k(i)は次式により与えられ
る。
【数11】
【0030】また、ここではより明瞭な表記法が要求さ
れる場合、DCTを明示的に用いて、ブロックのDCT
ドメイン値を示す。例えば、DCT(AB)は、マトリ
ックス積ABに適用される2次元DCTを示す。また、
2次元DCTの分配属性を不断に使用する。すなわち、
【数12】
【0031】従って、空間ドメイン内におけるサブブロ
ックの移動を記述する前記Prefの2次元DCTを、D
CTドメイン内において次の様に書くことができる。
【数13】
【0032】
【数14】
【0033】DCTドメイン内において、PiのDCT
値及び動きベクトル(Δx、Δy)150だけを用い、
相互符号化ブロックPrefから、イントラ符号化DCT
ブロックDCT(Pref)に直接変換することは、DC
Tドメイン逆動き補償と呼ばれる。表記法の簡略化のた
め、本開示では空間ドメイン内におけるサブブロックの
移動について述べるが、ブロックのDCTドメイン値に
ついても、同様に式(6)から推論される。
【0034】非インタレース式16×16マクロブロッ
クは、単なる大文字(例えばD)により表され、対応す
るインタレース式マクロブロックは、プライム符号付き
大文字(例えばD')により表される。非インタレース
式マクロブロックDが与えられる場合、4つの8×8要
素ブロックはD0、D1、D2及びD3により、次のように
表される。
【数15】
【0035】同様に、対応するインタレース式マクロブ
ロックD'において、その4つの要素ブロックはD0'、
1'、D2'及びD3'により、次のように表される。
【数16】
【0036】ブロック(マトリックス)内の各要素は、
2つの指標により参照される。すなわち、Aijはブロッ
ク(マトリックス)A内の行i及び列jの要素を表す。
マトリックスの行または列ベクトルを表すために、"−"
を使用し、例えばAi-はi番目の行ベクトルを表し、A
-iはi番目の列ベクトルを表す。
【0037】次に、Dに対する前記式により表される非
インタレース式16×16マクロブロックDについて考
えてみよう。
【数17】
【0038】ここで、Di(i=0、1、2、3)は、
8×8のブロックである。同様に、D'に対する前記式
により表されるD'を、対応するインタフェース式マク
ロブロックとしよう。
【数18】
【0039】すなわち、D0'及びD1'はDの上フィール
ドに対応し、D2'及びD3'はDの下フィールドに対応す
る。DとD'との間の関係は、16×16の置換マトリ
ックスPを用いて、次のように記述される。
【数19】D=PD' (7)
【0040】ここで、P及びP0乃至P3は次のように表
される。
【数20】
【0041】及び、
【数21】
【0042】従来技術の問題点:従来技術はDCTドメ
イン内において、インタレース式ビデオ・フレームを処
理しない。また従来技術は、伸長無しに、MPEG−2
圧縮ビデオ内の相互符号化フレームを処理する便利な方
法を提供しない。更に従来技術は、MPEG−2圧縮ビ
デオのフレーム間動き補償符号化フレームから、イント
ラ・フレームDCT符号化フレームを構成する方法を教
示しない(このプロセスはDCTドメイン逆動き補償と
呼ばれる)。
【0043】また、従来技術は、マクロブロック内の共
用情報を用いる、MPEG−1ビデオ内の相互符号化フ
レームの変換を教示しない。その上、従来技術は、伸長
の必要無しに、マクロブロック内の共用情報を用いて、
MPEG−2圧縮ビデオ・シーケンスから、空間的に低
減されたイメージ・シーケンスを抽出する方法を提供し
ない。
【0044】
【発明が解決しようとする課題】従って、本発明の目的
は、共用情報を用い、MPEGビデオの相互符号化フレ
ームをDCTイントラ符号化フレームに変換するシステ
ム及び方法を提供することである。
【0045】本発明の別の目的は、共用情報を用い、動
き補償圧縮形式の空間的に低減されたイメージ・シーケ
ンスを構成するシステム及び方法を提供することであ
る。
【0046】更に本発明の別の目的は、完全な伸長無し
に、動き補償圧縮形式の空間的に低減されたイメージ・
シーケンスを効率的に構成するシステム及び方法を提供
することである。
【0047】
【課題を解決するための手段】DCT及び動き補償を通
じて、インタレース式及び非インタレース式フレームの
符号化をサポートする圧縮ビデオが提供される場合、本
発明はマクロブロック内の共用情報を利用し、アンカ・
ブロックのDCTドメイン係数及び(または)動きベク
トル情報にもとづき、相互符号化ブロックをDCTイン
トラ符号化ブロックに効率的に変換する。本発明はま
た、共用情報を用い、空間的に低減されたイメージを効
率的に構成する。
【0048】
【発明の実施の形態】図10は、本発明の好適な実施例
が動作するコンピュータ・システム200を示すブロッ
ク図であり、コンピュータ・システムは、例えばIBM RI
SC System/6000(IBMの商標)である。コンピュータ
・システム200内の構成要素は、システム・バス21
2により接続され、それを通じて通信する。中央処理ユ
ニット(CPU)210、読出し専用メモリ(ROM)
216、及びランダム・アクセス・メモリ(RAM)2
14は、通常、システム・バス212に接続される。好
適な実施例は、1つ以上のアプリケーション・プログラ
ム202を含む。アプリケーション・プログラム202
の1つのタイプは、図11に示されるプロセス300で
ある。追加のメモリ、例えばディスケット219、ディ
スク220、及びCD−ROM221が、適切なメモリ
・アダプタ218により、システム・バス212に接続
され得る。入力/出力アダプタ(222、236)は、
ユーザと対話する装置をシステム・バス212に接続す
る。例えば、キーボード224及び(または)マウス2
26が、適切なユーザ入力アダプタ222を通じて、シ
ステム・バス212に接続され、表示装置(例えばグラ
フィカル・ユーザ・インタフェース(GUI))238
及び(または)プリンタ239が、適切なユーザ出力ア
ダプタ236を通じて、システム・バス212に接続さ
れる。例えば、GUIを制御するために使用されるユー
ザ出力アダプタ236は、IBM RISC System/6000カラー
・グラフィックス表示アダプタである。
【0049】ActionMedia II表示アダプタ234(IBM
ActionMedia II Technical Referenceに記載)などの適
切なマルチメディア・アダプタ234の使用により、マ
ルチメディア機能がシステム200に追加され得る。こ
のようなアダプタは、音声入力装置(例えばマイクロフ
ォン)232及び音声出力装置(例えば1つ以上のラウ
ドスピーカ)228を通じて、音声信号を入力及び出力
するために使用される。(例えばカメラを通じる)ビデ
オ入力230及びビデオ出力238も、このようなアダ
プタにより可能にされる。音声認識がIBM VoiceType Di
ctation Adapter234を用いることにより達成され得
る。他の機能、例えばバーチャル・リアリティ・システ
ムのためのユーザ・インタフェース(222、236)
が、システム・バス212に接続され得る。適切なコネ
クタ275がコンピュータ・システム200を汎用ネッ
トワーク(例えばインターネット、広域ネットワーク
(WAN)、及び(または)ローカル・エリア・ネット
ワーク(LAN))280に接続するために使用され得
る。ネットワーク上では、サーバ290及びクライアン
トが通信する。これらのコンピュータ290の一部は、
コンピュータ・システム200と同一の機能を実行する
ことができる。このようなコンピュータ・システムのハ
ードウェアは、公知である。
【0050】図11乃至図15は、MPEG−2ビデオ
から空間的にイメージ・シーケンスを抽出するために、
本発明により実行される様々なプロセスを示す流れ図で
ある。図16乃至図21は、これらのプロセスの結果と
してのビデオの変化を示すブロック図である。MPEG
−2ビデオが提供される場合、或いはより一般的には、
MPEG−2におけるようなDCT及び動き補償を通じ
るインタレース式フレームの符号化をサポートする任意
の圧縮ビデオが提供される場合、本発明は伸長の必要無
しに、異なる符号化フレーム・タイプ(すなわちI、P
及びB)を有する異なるフレームから、空間的に低減さ
れたイメージ・シーケンスを抽出する。(本開示では、
DCT及び動き補償を通じて、インタレース式フレーム
の符号化をサポートする圧縮ビデオは一般性を失うこと
無く、MPEG−2ビデオとして参照される。)フレー
ム・タイプ及び符号化モードの詳細に従い、本発明は選
択DCTドメイン係数及び(または)動きベクトル情報
にもとづき、異なる抽出方法を適用する。そして、空間
的に低減されたイメージが、ビデオ・ブラウジング(走
査検索)、オーサリング及び処理目的のために使用され
る。
【0051】図11は、MPEG−2ビデオから、低減
されたイメージ・シーケンスを構成する全体プロセス3
00を示す流れ図である。ステップ310で、MPEG
−2ビデオ・シーケンスが入力として受け取られる。こ
のビデオ・シーケンスはヘッダを有し、ヘッダは公知の
ように自身に関連付けられるデータ・パケットに含まれ
るフレームのタイプの記述を有する。ステップ320
で、ヘッダ情報が公知の技術を用いて調査され、処理さ
れるべきフレームが更に存在するか否かが判断される。
存在しない場合、これまでに生成された低減イメージ・
シーケンスが出力され(ステップ330)、プロセスは
終了する。処理されるべきフレームが更に存在する場合
には、次のフレームが現フレームとして受け取られ、こ
れがFと命名される(ステップ340)。ステップ35
0は、現フレームFがIフレーム、Pフレーム、または
Bフレームのいずれであるかをテストする。ヘッダ内の
情報は、これらのフレームをこのように分類するために
提供される。Iフレームの場合、現フレームFがステッ
プ360で処理される。それ以外では、現フレームFは
ステップ370で処理される。現フレームFがブロック
360または370で処理された後、プロセスはブロッ
ク320に移行し、継続する。
【0052】図12は、図11のステップ360の詳細
を示す流れ図であり、Iフレームを処理し、低減された
イメージを構成するステップを示す。ステップ361
は、現フレームが更に、処理されるべきマクロブロック
を有するか否かを判断する。有さない場合、ステップ3
66に示されるように、プロセスは図11のステップ3
20に戻る。更に処理されるべきマクロブロックが存在
する場合、ステップ362で、次のマクロブロックが現
マクロブロックとして受け取られ、これがMと命名され
る。次にステップ363は、MPEG−2ビットストリ
ーム内のヘッダ情報にもとづき、現マクロブロックMが
フレームDCT符号化か、或いはフィールドDCT符号
化かを判断する。フレームDCT符号化の場合、現マク
ロブロックMがステップ365に渡される。フィールド
DCT符号化の場合には、ステップ364で、DCTド
メイン脱インタレース処理がマクロブロックMに適用さ
れ(詳細な好適な実施例が後述される)、続いてステッ
プ365に渡される。ステップ365では、DC、AC
10及びAC01値が現マクロブロックから取り出さ
れ、その後プロセス360はステップ361に戻る。D
C成分はそれぞれのブロックの平均輝度値を表し、AC
10及びAC01値は、ブロック内の輝度変化の様々な
最低周波数成分を表す。他の周波数係数、例えば111
が別の実施例では使用され得る。しかしながら、好適な
実施例では、これら2つの最低周波数成分が選択され
る。なぜなら、これらはDC成分と共にオリジナル・ブ
ロックに含まれる十分な量の情報を有する低減されたサ
イズのブロックを、十分に迅速に且つ効率的に生成する
からである。
【0053】(好適な実施例では)プロセス360の目
的は、フレーム符号化マクロブロックのDC、AC10
及びAC01成分を識別することである。マクロブロッ
クがフレーム符号化の場合(ステップ365)、これは
直接的である。しかしながら、マクロブロックがフィー
ルド符号化の場合(ステップ364)、要求される係数
を識別するために、マクロブロックはフレーム符号化形
式に変換される必要がある。これを実行する方法を示す
好適な実施例が、以下で述べられる。
【0054】図12のより厳密な説明を次に開示する。
ステップ362で、Mを4つの8×8DCTブロックD
CT(Di')を含むフィールド符号化マクロブロックと
仮定する。DCT(Di00の脱インタレース化バージ
ョンのDC係数が計算され、獲得されなければならな
い。
【0055】マクロブロックのDCT(Di)のDC係
数を計算する1つの好適な方法は、フィールド符号化マ
クロブロック内のDCT係数の加重1次結合にもとづ
く。すなわち、
【数22】
【0056】ここで、1次結合において使用される重み
は、次のようである。
【数23】
【0057】5つの乗算だけが必要とされる。別の実施
例では、最後の2つの非ゼロの係数が無視されるなら
ば、3つの乗算だけが使用される。これら最後の2つの
非ゼロの係数を無視しても、ブラウジングやショット境
界検出などの一部のアプリケーションにおいては、低減
されたサイズのブロック内に、十分な解像度が生成され
る。
【0058】いかなる乗算も使用すること無く、(ハッ
トD200を計算する好適な実施例では、(ハットD0
00の結果を使用する。すなわち、
【数24】
【0059】同様に、D1及びD3のDC値は次式により
計算される。
【数25】
【0060】従って、非インタレース形式のブロックの
DC値の構成は、高々2.5回の乗算(5/2=2.
5)を要求するに過ぎない。式(10)の最後の2つの
非ゼロの係数が無視される場合、1.5回の乗算(3/
2=1.5)が必要とされるだけである。
【0061】再度、ステップ362で、Mがフィールド
符号化マクロブロックの場合、対応するフィールド符号
化マクロブロックから、フレーム符号化マクロブロック
の下位のAC係数(例えばAC01及びAC10)を生
成することが必要かも知れない。加重1次結合を計算す
る好適な実施例は、ステップ364を次のように実行す
る。
【数26】
【0062】図13は、図11のステップ370の詳細
を示す流れ図であり、PフレームまたはBフレームか
ら、低減されたイメージ・シーケンスを構成するステッ
プを示す。ここでは再度、フレーム符号化マクロブロッ
クに対して、DC、AC10、及びAC01係数が識別
される。しかしながら、Pフレーム及びBフレーム形式
の動き補償マクロブロックでは、マクロブロックがイン
トラ符号化及びフレーム符号化マクロブロックに変換さ
れなければならない。
【0063】ステップ371は、現フレームが更に処理
されるべきマクロブロックを有するか否かを判断する。
有さない場合、プロセスは図11のステップ320に継
続する。更に処理されるべきマクロブロックが存在する
場合、次のマクロブロックが現マクロブロックとして受
け取られ、Fと命名される(ステップ372)。ステッ
プ373は、現マクロブロックFが相互符号化か否かを
テストする。そうでない場合、ステップ375が現マク
ロブロックFがフレームDCT符号化か、或いはフィー
ルドDCT符号化かをテストする。フレームDCT符号
化の場合、Fがステップ377により直接処理される。
フィールドDCT符号化の場合には、式(9)及び式
(11)乃至式(16)により示されるDCTドメイン
脱インタレース処理がFに適用され(ステップ37
6)、脱インタレース化マクロブロックがステップ37
7で処理される。ステップ377では、現マクロブロッ
クFからDC、AC01及びAC10値が取り出され、
プロセスはステップ371に継続する。ここでブロック
375、376及び377は、図12のブロック36
3、364及び365とそれぞれ同一である。ステップ
373で現マクロブロックが相互符号化の場合、後述の
DCTドメイン逆動き補償がFに適用される(ステップ
374)。ステップ375の後、誤差項が計算されて、
ステップ377から生成された各DCT係数に追加され
(ステップ378)、プロセスはステップ371に継続
する。この誤差項の計算は、図12でIフレームが処理
されたのと同様に実行され得る。
【0064】図14は、図13の詳細を示すブロック図
であり、DCTドメイン逆動き補償を適用し、相互符号
化マクロブロックをイントラ符号化フレーム符号化マク
ロブロックに変換するステップの好適な実施例を示す。
それにより、DC、AC10、及びAC01係数が識別
され得る。
【0065】ステップ640で、現マクロブロック内の
ブロックの数がNにセットされ、各ブロックがB1
2、...、BNにセットされる。ステップ641で、
指標変数iが0にセットされる。ステップ642で、指
標変数iが1増分される。ステップ643は、指標変数
iの現値がN以下であるか否かを判断する。そうでない
場合、DCTドメイン逆動き補償が終了され、プロセス
は図13のステップ371に継続する。それ以外では、
ステップ644で、ブロックBiが受け取られる。我々
は、Biに関連付けられる低減されたイメージ表現を獲
得することを希望する。より一般的には、イントラ・フ
レーム動き補償を用いて符号化される、B iのイントラ
・フレームDCT符号化表現を獲得したい訳である。ブ
ロックBiに関連付けられる動きベクトルにもとづき、
寄与するアンカ・ブロックの数Kが決定される。ここで
寄与するアンカ・ブロックをAj(j=1、
2、...、K)と呼ぶことにする。ステップ645乃
至647では、指標jが初期化され、BiのDCT表現
に対するアンカ・ブロックAjの寄与度を計算するため
に使用される。現アンカ・ブロックAjの寄与度が計算
され、これがCにより表され(ステップ648)、次に
C(Bi)に加算される(ステップ649)。プロセス
はステップ646に戻り、再度繰り返される。結果のC
(Bi)は、ブロックBiのDCT表現、或いはブロック
iの低減されたイメージ表現を提供し、これはブロッ
クBiのDCTドメイン値のDC係数及び下位のAC係
数と等価である。
【0066】図3及び図4を参照すると、現ブロック1
31が、基準フレームのそれぞれのアンカ・ブロック1
34乃至137の一部134P乃至137Pから生成さ
れることが示される。従って、現ブロック131を生成
するために、これらの部分134P乃至137Pの各々
の現ブロック131に対する寄与度が決定されなければ
ならない。これらの寄与度は、現ブロックを生成するた
めに線形的に重み付けされ、重みは動き補償のモード
(フィールドまたはフレーム・ベースの動き補償)、ア
ンカ・ブロックの符号化タイプ(フィールドまたはフレ
ーム符号化)、及び動きベクトルにより決定される。こ
れはMPEG−1に対する従来技術でも、フレーム符号
化ブロック及びフレーム・ベースの動き補償に限り実施
されるが、従来技術では、フレーム及び(または)フィ
ールド・ベースの動き補償に関連して、すなわちMPE
G−2に関連して、フレーム及び(または)フィールド
符号化ブロックにおけるこれらの寄与度を決定する装置
または方法は、開示または提案されていない。
【0067】マクロブロック132の現ブロック131
Dへの、それぞれのブロック134乃至137の各部分
134P乃至137Pの寄与度を決定するために、各マ
クロブロック132のヘッダが使用され、マクロブロッ
ク132が、1)フィールド・ベースの動き補償により
生成されるか、或いは2)フレーム・ベースの動き補償
により生成されるかが判断される。次に、それぞれのブ
ロック134乃至137の各々がフィールド符号化か、
或いはフレーム符号化かが判断される。次に示す4つの
ケースの各々が、イントラ符号化且つフレーム符号化D
CTブロックに変換される。 a.現ブロックがフィールド・ベースの動き補償から生
成され、寄与するアンカ・ブロック(例えば134)が
フィールド符号化される。 b.現ブロックがフィールド・ベースの動き補償から生
成され、寄与するアンカ・ブロック(例えば134)が
フレーム符号化される。 c.現ブロックがフレーム・ベースの動き補償から生成
され、寄与するアンカ・ブロック(例えば134)がフ
ィールド符号化される。 d.現ブロックがフレーム・ベースの動き補償から生成
され、寄与するアンカ・ブロック(例えば134)がフ
レーム符号化される。
【0068】これがどのように実行されるかに関する詳
細については、図14のステップ648の詳細を示す図
15に関する後述の説明を参照されたい。
【0069】図15は、アンカ・ブロックの寄与度を計
算するために使用されるステップ、すなわち図14のス
テップ648の詳細を示す流れ図である。ステップ6A
1で、アンカ・ブロックがブロックAjにセットされ、
動きタイプがMTにセットされる。ブロック6A2で
は、動きタイプMTがフレーム予測か、或いはフィール
ド予測かがテストされる。フレーム予測の場合、更にブ
ロックAjがフレーム符号化か、或いはフィールド符号
化かがテストされる。フレーム符号化の場合、プロセス
はステップ684に移行し、フィールド符号化の場合に
は、プロセスはステップ683に移行する。一方、動き
タイプMTがフィールド・ベースの予測の場合、ステッ
プ6A4でアンカ・ブロックがフレーム符号化か、或い
はフィールド符号化かがテストされる。フレーム符号化
の場合、プロセスはステップ682に移行し、そうでな
い場合にはステップ681に移行する。ステップ68
1、682、683及び684は、上述のパラグラフの
a、b、c及びdにより記されるケースをそれぞれ処理
する。
【0070】次に、関心の現ブロックBiへのアンカ・
ブロックAj(j=1、2、...、K)の寄与度を計
算する、1つの好適な方法について述べる。アンカ・ブ
ロックAjのDCTドメイン値が存在し、BiのDCTド
メイン値を計算したい訳である。更に、動きベクトル情
報が使用される。BiのDCT係数の完全なセット、及
びBiのフレーム符号化バージョンのDC係数の構成に
ついて述べる。
【0071】以下の説明では、表記の簡略化のため、構
成される現ブロックをQと呼び、アンカ・ブロックをM
iまたはNi(0≦i≦3)と呼ぶ。最初に、動き補償が
フィールド・ベースの予測であるステップ681及び6
82(上述のケースa及びbに対応)について考えてみ
よう。
【0072】1)ターゲット・ブロックのフィールド・
ベースの予測:ステップ681及び682、すなわちケ
ースa及びb:フィールド・ベースのMCでは、マクロ
ブロックの上下のフィールドを予測するために、2つの
動きベクトルが使用される。空間ドメイン内のフィール
ド・ベースのMCが、図16に示される。ここでの目標
は、アンカ・ブロックMi、NiのDCTドメイン表現、
及び動きベクトル(wt 0、ht 0)及び(wb 0、hb 0)か
ら、8×8ブロックQのDCTドメイン表現を構成する
ことである。ここでアンカ・ブロックは、インタレース
形式または非インタレース形式に符号化され得る点に注
意されたい。次に、好適な実施例の詳細について述べる
ことにする。
【0073】図16では、ターゲット・ブロックQの上
フィールド710が、4つの8×8アンカ・ブロックM
0、M1、M2、M3から予測され、下フィールド720が
4つの8×8アンカ・ブロックN0、N1、N2、N3の別
のセットから予測される。一般性を失うことなく、Qの
上下のフィールドを生成するための動きベクトルを、そ
れぞれ(wt 0、ht 0)及び(wb 0、hb 0)と仮定する。
図16では、アンカ・ブロック及びターゲット・ブロッ
クが、非インタレース形式の空間ドメイン・ブロックで
ある。しかしながら、DCTドメイン内で、これらのア
ンカ・ブロックは異なるアンカ・マクロブロックに属し
得、異なる形式で符号化され得る、すなわちフレーム符
号化またはフィールド符号化され得る。空間ドメイン内
のブロックQの予測は、次のように表される。
【数27】
【0074】ここで、Mi及びNiは、インタレース形式
または非インタレース形式のアンカ・ブロックを表す。
各アンカ・ブロックMiまたはNiに対して、QMiまたは
Niは、ターゲットQの予測へのMiまたはNiの寄与度
を示し、Pt it i1it i2またはPb ib i1ib i2
より計算される。ここでPt i、Pb i、St ij、及びS b ij
(0≦i≦3、0≦j≦2)はマトリックスであり、こ
れらについては以下で述べる。ターゲット・ブロックQ
は、各アンカ・ブロックからの寄与度の総和により形成
される。
【0075】QのDCTドメイン表現は、次の式により
与えられる。
【数28】
【0076】寄与度QMiまたはQNi(0≦i≦3)を計
算するために、3つのステップが含まれる。第1に、各
アンカ・ブロックMiまたはNiから、Qの予測に寄与す
るサブブロック(以下、寄与サブブロック)が識別され
る。第2に、識別された寄与サブブロックが、適切な隅
に向けて垂直方向及び水平方向にシフトされる。これは
マトリックスSt ij及びSb ij(0≦i≦3、0≦j≦
2)を乗算することにより達成される。第3に、シフト
された寄与サブブロックの各行が、Pt i及びPb iを乗算
することにより、Qに対応する正しい行位置に配置され
る。マトリックスSt ij、Sb ij、Pt i及びPb iは、Mi
及びNiの表現にもとづいて決定される。
【0077】次に、アンカ・ブロックの2つの別々のケ
ースについて、すなわちi)アンカ非インタレース形
式、及びii)アンカ・インタレース形式について考え
てみよう。
【0078】i)アンカ非インタレース形式:ステップ
681、すなわちケースa:Mi(Ni)が非インタレー
ス形式のブロックを表すとき、Mi=Mi(Ni=Ni)と
書くことにする。この場合、我々は、DCTドメイン内
において、非インタレース形式で符号化されるMiの、
Qに対する寄与度を計算したい。しかしながら、動き補
償のモードは、依然フィールド・ベースの動き補償であ
る。
【0079】最初に、適切なフィールド選択の後(この
場合、図16に従う上(下)フィールド)、Mi(Ni
の寄与サブブロックをシフトし、寄与ブロックを構成す
る。図17は、QM2を構成する手順を示す。
【0080】サブブロックは単に、水平及び垂直変位
(wt i、hti)または(wb i、hb i)から識別され
る。アンカ・ブロック内のサブブロックの位置、及びそ
の水平及び垂直サイズは、MPEG−1の場合と同様
に、シフトの量及び方向を決定する。従って、MPEG
−1におけるDCTドメイン動き予測におけるシフトの
ためのマトリックス(表1のSijにより示される)は、
t ij及びSb ijとして使用される。すなわち、
【数29】St ij=Sij(ht i、wt i) (20) Sb ij=Sij(hb i、wb i) (21)
【0081】図17では、寄与サブブロックがアンカ・
ブロックM2の右上隅のht ixwt iブロックであり、寄
与ブロックQM2内の左下隅にシフトされる。
【0082】寄与ブロックにおけるフィールド選択は、
上フィールド予測と下フィールド予測とで異なる。上フ
ィールド予測では、あらゆる奇数行が選択される。しか
しながら、下フィールド予測では、選択された奇数行が
偶数行にマップされる。すなわち、
【数30】Pt i=Psel、Pb iswapsel (22)
【0083】ここでPsel及びPswapは次のように与え
られる。
【数31】
【0084】
【表2】
【0085】ii)アンカ・インタレース形式:ステッ
プ682、すなわちケースb:Mi(Ni)がインタレー
ス形式のブロックを表すとき、特定のインタレース式マ
クロブロックD'内において、Mi(Ni)=Dj'であ
る。
【数32】
【0086】この場合、我々はDCTドメイン内におい
て、インタレース形式で符号化されるMiの、Qに対す
る寄与度を計算したい。動き補償のモードは、依然フィ
ールド・ベースの動き補償である。
【0087】インタレース形式の8×8ブロックが提供
される場合、ブロックの上半分(すなわち最初の4行)
を上領域と呼び、ブロックの下半分(すなわち最後の4
行)を下領域と呼ぶ。従って、各インタレース式アンカ
・ブロックの寄与サブブロックは、上領域または下領域
のいずれかに属する。各領域内において、寄与サブブロ
ックは、i=0、1のとき、Mi及びNiに対して、
【数33】
【0088】により変位され、i=2、3の時には、M
i及びNiに対して、
【数34】
【0089】により変位される。
【0090】図18及び図19は、フィールド・ベース
MC及びフィールド符号化アンカ・ブロックM2の状況
を示す。図18及び図19において、動きベクトル15
0は(ht 2、wt 2)であり、M2内の寄与サブブロック
が、Qの上フィールドに寄与することが望まれる。図1
8では、寄与サブブロックが上領域に由来するのに対し
て、図19では、寄与サブブロックが下領域に由来す
る。
【0091】水平シフトの方向及び量は、アンカ非イン
タレースの場合同様、wt iまたはw b iにより決定され
る。すなわち、St i2=Si2(wt i)及びSb i2=S
i2(wb i)である。しかしながら、垂直シフトは、ブロ
ックがインタレース形式に符号化されるために各領域に
対して異なる。垂直シフトにおけるマトリックスSt i1
及びSb i1の選択が表2に示される。寄与サブブロック
がインタレース式アンカ・ブロックの上領域に属する場
合、Su i1がSt i1及びSb i1の両方に対して選択され、
寄与サブブロックが下領域に属する場合には、Sl i1
選択される。
【0092】従って、St i1it i2またはSb i1ib
i2においてシフトされた寄与サブブロックは、依然イン
タレースされている。従って、非インタレース形式の寄
与ブロック、すなわちQMiまたはQNiを構成するため
に、その各行が右の行位置にマップされる必要がある。
これはDCTドメイン脱インタレース処理に使用される
置換マトリックスPの、2つの要素マトリックスP0
びP1を用いて達成される。上フィールド予測では、P0
すなわちPt i=P0(0≦i≦3)を用い、サブブロッ
クの各行が、ターゲット・ブロックの第1行から開始し
て、1つ置きの行に拡張される。下フィールド予測で
は、P1すなわちPb i=P1(0≦i≦3)を用い、各行
がターゲット・ブロックの第2行から開始して、1つ置
きの行に拡張される。
【0093】2)ターゲット・ブロックQのフレーム・
ベースの予測:ステップ683及び684、すなわちケ
ースcおよびd:フレーム予測では、ターゲット・ブロ
ックの上下の両方のフィールドを予測するために、動き
ベクトルが使用される。空間ドメイン・ブロックの予測
は、一般に次のように表される。
【数35】
【0094】アンカ・ブロックMiが非インタレースさ
れる場合、それはターゲット・ブロックの上下の両方の
フィールドに寄与する。寄与度は次のように表される。
【数36】QMi=Silii2
【0095】ここで、Sij(i=0、1、2、3及びj
=1、2)は、前述のように、寄与サブブロックをシフ
トするためのマトリックスである。アンカ・ブロックM
iがインタレースされる場合、Miはターゲット・ブロッ
クの上下のいずれかのフィールドに寄与し、5つ以上の
アンカ・ブロックが存在し得る。この場合、寄与度QMi
は、フィールド・ベースの予測(アンカ・インタレース
式)の場合のように計算され得る。すなわち、
【数37】QMi=Pt it ilit i2 (24)
【0096】または
【数38】QMi=Pb ib ilib i2 (25)
【0097】低減されたイメージ生成のための選択DC
T係数の計算:相互符号化P及びBフレームから、DC
またはDC+2ACイメージのような低減されたイメー
ジを生成するために、Qの選択DCT係数、ハットSt
ij、ハットSb ij、ハットPt i、及びハットPb i(0≦
i≦3及び1≦j≦2)だけが事前に計算され得る。ハ
ットQ内の各要素に対する各アンカ・ブロックの寄与度
は、寄与アンカ・ブロックのDCT係数の加重1次結合
として、次のように表すことができる。
【数39】
【0098】ここで重みは、
【数40】
【0099】であり、a)動き補償のモード(フィール
ド・ベースまたはフレーム・ベース)、b)寄与アンカ
・ブロックの符号化モード(フィールド符号化またはフ
レーム符号化)、及びc)動きベクトルに依存する。従
って、次のように表すことができる。
【数41】
【0100】式(27)から、寄与ブロックの成分DC
T値の予測は、64回の乗算を要求し、ターゲット・ブ
ロックの予測のために、最大64×8回の乗算を生じ
る。なぜなら、最大8つの可能な寄与アンカ・ブロック
が存在するからである。
【0101】更に、潜在的に将来のアンカ・ブロックと
して使用され得るターゲット・ブロックの、DC及び選
択AC値を構成する必要がある。MPEG−1と異な
り、Bフレーム内のブロックは、アンカ・ブロック(他
のフィールドの予測のためのフィールド・ベースの動き
補償)として使用され得る。このことは、Pフレーム及
びBブレーム内のほとんどの予測ブロックのDC及び選
択AC値を維持する必要があることを意味する。
【0102】式(27)の加重1次結合の高速の計算
が、式(28)内の係数の選択セットだけを用いること
により達成される。1つの好適な実施例は、式(27)
の計算を0≦m+n≦1に制限する、すなわちイントラ
符号化アンカ・ブロックのDC、AC01及びAC10
係数だけを使用することである。これはDC+2AC近
似と呼ばれる。DC+2AC近似では、式(27)は次
のようになる。
【数42】
【0103】ここで、wkl(i、m、n)は式(28)
で定義される。特に興味深いことは、DCT(Q)00
DCT(Q)01、及びDCT(Q)10だけを保存するこ
とである。
【0104】高速アルゴリズム:次に、共用情報にもと
づく、空間的に低減されたイメージの高速DCTドメイ
ン逆動き補償及び高速抽出のための好適なアルゴリズム
について述べる。より厳密には、式(18)及び式(3
1)の高速評価のための好適なアルゴリズムについて述
べる。高速化は2つのクラスの方法、すなわちi)同一
の符号化形式を有する隣接アンカ・ブロック、及びi
i)同一のマクロブロック内のアンカ・ブロックにまた
がる共用情報にもとづく。
【0105】高速化の共通のテーマは、置換マトリック
スが含まれるように、逆動き補償プロセスにおいて、寄
与サブブロックの動きを再順序化することである。置換
マトリックスの使用は、同一の符号化形式を有する隣接
アンカ・ブロック、及び同一のマクロブロック内のアン
カ・ブロックにまたがる共用情報の最大利用を可能にす
る。まず最初に、置換マトリックスが、空間的に低減さ
れたイメージの再構成の高速化を如何に可能にするか、
すなわち、同一の符号化形式を有する隣接アンカ・ブロ
ック、及び同一のマクロブロック内のアンカ・ブロック
にまたがる共用情報を用い、式(31)の評価の高速化
を如何に可能にするかについて述べる。
【0106】最初に、書式DCT(ABC)のDC、A
C01及びAC10係数の近似計算の好適な実施例は、
次のようである。ここでA、B及びCは、8×8のマト
リックスである。
【数43】
【0107】vkl(m、n)は、ハットAkmハットCnl
であり、0≦k+l≦1である。AまたはCが置換マト
リックスPの場合、次の式が得られる。
【数44】
【0108】ここで、k+l≦1及びm+n≦1であ
る。表3、表4及び表5は、近似式内で使用される9個
の係数の値を示す。すなわち、各(k、l)及び(m、
n)対に対して、v0 kl(m、n)(表3)、v
1 kl(m、n)(表4)、及びv2 kl(m、n)(表5)
である。表3及び表4は、4つのエントリが0である一
般的な場合に、ティルドDCT(PBA)またはティル
ドDCT(ABP)の3つの値(DC、AC01及びA
C10)が、5回の乗算により計算され、4回の乗算を
節約することを示す。同様に、表5は1つのエントリが
1で、6つのエントリが0の時、ティルドDCT(PB
P')が2回の乗算だけにより計算され得ることを示
す。
【0109】垂直方向または水平方向に隣接するアンカ
・ブロックが同一の符号化形式を有する場合、DCTド
メイン逆動き補償の式が、置換マトリックスを含むよう
に再編成され得、それにより図3、図4及び図5により
提案されるように、同一の計算に対する計算費用が低減
され得る。更に説明を続けると、水平シフトSi2のため
のマトリックスは次の属性を有する。
【数45】
【0110】そして、P0は8×8置換マトリックスで
ある。
【0111】次に、式(36)及び式(37)、及び表
3乃至表5により提案される高速化を利用するように、
式(31)を書き直す好適な実施例について述べること
にする。
【表3】
【0112】
【表4】
【0113】
【表5】
【0114】同一の符号化形式を有する隣接アンカ・ブ
ロック: i)同一の符号化形式を有する2つの隣接アンカ・ブロ
ック、及びii)同一の符号化形式を有する4つの全て
の隣接アンカ・ブロックの2つの場合が存在する。
【0115】i)同一の符号化形式を有する2つの隣接
アンカ・ブロック:2つの上アンカ・ブロックM0及び
M1が、同一形式で符号化されたマクロブロックに属す
るものと仮定する。この場合、符号化形式または動き予
測モードに関係無しに、
【数46】S01=S11、P0=P1 (38)
【0116】である。これらの関係を用い、QM0+QM1
の予測を記述する好適な方法は、次のようになる。
【数47】 QM0+QM1=P001002+P111112 (39) =P001(M0−M1)S02+P00110 (40)
【0117】式(40)の第2項内には、置換マトリッ
クスによる事後乗算が存在する。式(40)内の第1項
のDC+2AC近似は、9回の乗算を要求するが、第2
項のDC+2AC近似を計算する好適な方法は、表4か
ら5回の乗算により実行され得る。式(39)に比較し
て、ハットM0−ハットM1を計算するためには、余分な
3回の加算が必要とされる。しかしながら、(表4か
ら)4つの項が0であるので4回の加算が節約され、結
果的に4回の乗算及び1回の加算演算が節約される。こ
の好適な実施例は、寄与度を2つの別々のステップで計
算する(すなわち、QM0及びQM1を独立に計算する)の
ではなしに、QM0+QM1の寄与度を1つのステップで一
緒に計算する。それによる利点は、QM0+QM1を置換マ
トリックスに関して表現すること、従って表4により提
案されるように、乗算の回数が低減されることに由来す
る。
【0118】同様に、2つの下アンカ・ブロックM2
びM3が、同一形式で符号化される場合、QM2+QM3
予測に対する式が同様に書き直され、同一の計算量を節
約する。この場合、S21=S31及びP2=P3の事実が使
用される。
【0119】垂直方向に隣接するアンカ・ブロックが同
一の形式により符号化される場合、類似の節約が達成さ
れ得る。しかしながら、計算の低減は、アンカ・ブロッ
クの予測モード及び符号化形式に依存する。例えば、2
つのアンカ・ブロックM0及びM2が同一形式で符号化さ
れる場合、P0=P2、及び
【数48】 QM0+QM2=P001002+P221222 =P001(M0−M2)S02+P0XM202 (41)
【0120】を有する。ここでX=S01+S21である。
フレーム・ベースのMC及び非インタレース式アンカ・
ブロックの場合、P0=Iであり、Xは置換マトリック
スであり、水平方向の隣接ケースと同じ節約がもたらさ
れる。一般に、インタレース式アンカ・ブロックを有す
る場合には、Xは置換マトリックスではない。
【0121】ii)同一の符号化形式を有する4つの全
ての隣接アンカ・ブロック:4つの全てのアンカ・ブロ
ックが同一形式で符号化される場合、Qを表す好適な方
法は、次のようである。
【数49】
【0122】式(42)において、2つの項は置換マト
リックスP0を含む。従って、QのDC+2AC近似
が、28(=9+9+5+5)回の乗算により計算され
得る。これはまた、R1=ハットM1−ハットM3、R2
ハットM2−ハットM3、及びハットM0−R1−R2を計
算するために、9回の余分な加算演算を要求し、0の係
数により8回の加算が節約される。この近似は、8回の
乗算演算を節約し、1回の余分な加算演算を要求する。
フレーム・ベースのMC及び非インタレース式アンカの
場合、P0Xもまた置換マトリックスである。この場
合、乗算の回数は21(=9+5+5+2)に低減さ
れ、15回の乗算及び5回の加算演算が節約される。ま
た、ここでは式(42)の項をZ1、Z2、Z3及びZ4
ラベル付けする。これらは後に、式(47)、式(4
8)及び式(49)において、並びに同一のマクロブロ
ック内の4つのブロックのDCTドメイン逆動き補償を
実行する高速な方法を示す図26乃至図33において参
照される。
【0123】マクロブロック・ベースの予測:中間計算
の再利用: 多くの場合、隣接ターゲット・ブロックのセットは同一
の動きベクトルを用いて予測される。例えば、マクロブ
ロック内の4つの8×8輝度データ・ブロック(または
クロマ444の色差データ・ブロック)は、フィールド
予測及びフレーム予測の両方において、同一の動きベク
トルを共用する。クロマ422では、色差の2つの垂直
方向に隣接するブロックが同一の動きベクトルを共用す
る。こうしたケースでは、同一のアンカ・ブロックが複
数のターゲット・ブロックにまたがり共用され得る。こ
のことは、複数のターゲット・ブロックの予測におい
て、多分共用情報が存在することを意味する。以下の説
明において、ブロック間の共用情報を考慮することによ
り、8×8ブロックを含む16×16マクロブロックの
DCT逆動き補償を計算する好適な実施例について述
べ、獲得される高速化を例証することにする。他の類似
のケースについても推論され得る。
【0124】図20は、16×16マクロブロックQの
予測を示す。4つの8×8ターゲット・ブロックQM
005、QN1010、QT1015、及びQU1020
の各々は、それぞれ4つのアンカ・ブロックMi、Ni
i及びUi(i=0、1、2、3)から予測される。タ
ーゲット・ブロック(1005、1010、1015、
1020)の予測において、4つの寄与アンカ・ブロッ
クのDCTドメイン値が計算され、加算される必要があ
る。しかしながら、4つのターゲット・ブロックの予測
は、互いに強く相関付けられ、独立に計算される必要が
ない点に注意されたい。次の2つの観測について考えて
みよう。
【0125】第1に、合計16個の寄与アンカ・ブロッ
クが存在するが、実際には9個の異なるアンカ・ブロッ
クだけが存在し、それらの5個は複数のターゲット・ブ
ロック間で共用される。なぜなら、ターゲット・ブロッ
クは同一のマクロブロックに属し、同一の動きベクトル
1050を用いて予測されるからである。例えば、ター
ゲット・ブロックQM1005及びQN1010は、2つ
のアンカ・ブロックを共用する。すなわち、M1=N0
びM3=N2である。同様に、QM1005及びQT101
5は、M2=T0及びM3=T1を共用する(以下同様)。
第2に、アンカ・ブロック内の各寄与サブブロックの垂
直方向及び水平方向の変位は、4つのターゲット・ブロ
ックQM1005、QN1010、QT1015、及びQU
1020に渡り同一である。すなわち0≦i≦3におい
て、wMi=wNi=wTi=wUi及びhMi=hNi=hTi=h
Uiである。ここでアンカ・ブロックを上付き文字として
有するw及びh(wMi、hMiなど)は、各アンカ・ブロ
ックに関連付けられる動きベクトルに起因する水平方向
及び垂直方向の変位を示す。
【0126】i)2つの隣接領域の寄与度の計算: 最初に、それぞれのアンカ・ブロックが同一の符号化形
式を有するとき、図20及び図21に示されるように、
2つの水平方向に隣接するターゲット・ブロックQM
005及びQN1010の上領域1115の予測につい
て考えよう。図22以降、寄与サブブロックが非インタ
レース形式で符号化されるものと仮定し、それらの移動
及び加算だけについて示す。すなわち、寄与サブブロッ
クの各移動が、総称的にP0YLZにより表され、ここ
でYはSi1またはXの形式であり、Lはアンカ・ブロッ
ク(例えばM0)またはアンカ・ブロックの組み合わせ
(例えばM0−M1)であり、ZはSi2またはP0の形式
であり、図においてP0の影響は単純化のために無視す
る。寄与サブブロックがインタレース形式で符号化され
るときの状況についても類似である。
【0127】強引な力任せのアプローチ(従来技術)
が、図22に示される。サブブロックA、B、C及びD
の各々は、DCTドメイン内で別々に処理され、A及び
CはそれぞれM0及びM1の右下隅から、中間ブロック1
220及び1225の左上隅に移動され、B及びDはそ
れぞれM1(=N0)及びN1の左下隅から、中間ブロッ
ク1230及び1235の右上隅に移動される。中間ブ
ロックの残りの係数は0にセットされる(中間ブロック
1220、1225、1230及び1235内の白の空
間)。ブロックを移動するために、事前及び事後乗算に
使用されるS0、jマトリックスもまた、図22に示され
る。移動の後、A及びBを含む中間ブロックが一緒に加
算され、またC及びDを含む中間ブロックが一緒に加算
されて、イントラ符号化ターゲット・ブロック1005
A及び1010Aの上領域(1105及び1110)が
生成される。この方法では、4対の事前及び事後乗算が
必要とされる。
【0128】しかしながら、本発明は、3つの寄与イン
トラ符号化アンカ・ブロックM0、M1(=N0)及びN1
にまたがる共用情報(B及びC)を考慮し、ターゲット
・ブロックの上領域1105及び1110の寄与度を計
算する好適な実施例を示す。本発明により処理される情
報の共用が図23に示され、このプロセスの流れ図が図
24に示される。好適な実施例では、サブブロックA、
B、C及びDの各々を別々に移動する代わりに、図24
に示されるように、隣接するイントラ符号化アンカ・ブ
ロックの各対(M0、M1対及びM1、N1対)が、最初に
お互いから減算される(ステップ1402)。ステップ
1403では、ステップ1402のブロック減算から生
じた右下のサブブロックA−Cが左上隅に移動され、ス
テップ1404では、ステップ1402のブロック減算
から生じたサブブロックD−Bが、右上隅に移動され
る。この移動のためのマトリックスが図23に示され、
これらは図21で使用されたマトリックスと同じであ
る。基本的な違い(ステップ1404)は、左下隅のサ
ブブロックB及び右下隅のサブブロックCを、それぞれ
右上及び左上に同時に移動することである。こうした移
動は、1つの事前及び事後乗算、すなわちS01(h)M
10(w)により表すことができる。ここでP 0(w)
は式(37)により定義される。結果が再度加算され
(1306、1406)、L1(1305A)及びL
2(1310A)が生成される。好適な実施例では、3
対の事前及び事後マトリックス乗算が必要とされる。そ
れに対して、図22に示される強引なアプローチでは、
4対の乗算を使用する。
【0129】従来技術のように、イントラ符号化共用ア
ンカ・ブロックの共用情報(すなわち寄与サブブロック
B及びC)を、4つの中間ブロックに分離するのではな
く、本発明は"非共用"イントラ符号化アンカ・ブロック
の各々内の共用情報(サブブロックB及びC)を考慮す
る。次に、寄与サブブロック(B及びC)の位置が、イ
ントラ符号化共用アンカ・ブロック内で反転され、中間
ブロックのそれぞれの対を加算することにより、イント
ラ符号化ターゲット・ブロック(例えば1305A=1
005A及び1310A=1010A)の、同一の上領
域(それぞれ1105及び1110)が生成される。し
かしながら、これはサブブロック(A、B、C及びD)
を移動するために、25%少ないマトリックス乗算によ
り達成される。更に、3つの中間ブロックが使用される
だけである。
【0130】図24の流れ図のより厳密な説明を以下で
述べる。式(40)はステップ1402、1404及び
1406を定義する。式(40)は次のように書き直す
ことが出来る。
【数50】 QM0+QM1=P001(M0−M1)S12+P00100 (43)
【0131】また、ターゲット・ブロックQNの対応す
る式を、次のように書き表すことが出来る。
【数51】 QN0+QN1=P001(N1−N0)S12+P00100 (44)
【0132】前記式(44)はステップ1402、14
04及び1406を定義する。式(44)の第2項のD
CTドメイン値、すなわちハットP0ハットS01ハット
0ハットP0は、既に式(40)を用いて、ハットP0
ハットS01ハットM1ハットP0として計算済みである。
これは共用サブブロックB及びCのシフト1404及び
ワップ1404である。ハットP0ハットS01(ハット
1−ハットN0)ハットS12(の対の減算及び移動)だ
けが、ハットQN0+ハットQN1を獲得するために、更に
計算される必要がある。従って、DC+2AC近似を生
成する状況では、9回の追加の乗算が必要とされる。式
(43)は14回の乗算を必要とするので、ハットQM0
+ハットQM1及びハットQN0+ハットQN1のDC+2A
C近似を構成するために、合計23(=14+9)回の
乗算か必要とされる。
【0133】本開示により、同一の新規のステップが、
任意の3つの隣接する(すなわち、水平、垂直、及び対
角方向に隣接する)イントラ符号化アンカ・ブロックに
適用され得る。より厳密には、ハットQM0+ハットQM2
及びハットQT0+ハットQT2の予測は、それぞれ次のよ
うになる。
【数52】 QM0+QM2=P001002+P021222=P0(S010+S212)S0 2 =P0(S010+(X−S01)M2)S02=P001(M0−M2)S02+P0XM202 (45)
【0134】同様に、
【数53】 QT0+QT2=P021(T2−T0)S02+P0XT002 (46)
【0135】前記2つの式の第2項は、M2=T0である
ので同一である。これはXが置換行列である無しに関わ
らず、当てはまる。この場合、2つの領域を予測するた
めの乗算の総数は、27(=9+9+9)となる。フレ
ーム予測及びアンカ非インタレースの場合、これは23
(=9+5+9)である。
【0136】ii)2つの隣接ブロックの予測: 次に、本発明により、3つ以上の(例えば6つの)アン
カ・ブロック(ここではM0、M1、N1、M2、M3及び
3)を用いて、2つの隣接する相互符号化ターゲット
・ブロック(例えば1005及び1010)を、2つの
隣接するイントラ符号化ターゲット・ブロック(100
5A及び1010A)に変換することについて述べる。
【0137】図25において、最初に図26で使用され
る表記法を設定する。これは図20におけるブロックの
設定と同一のものを示し、寄与サブブロックA乃至Pを
有するように示される。アンカ・ブロックM0及びM1
ラベル付けされ、M0−M1として結合される(151
0)。この表記法では、M0から引き出される実線の矢
印はM0が変更無しに取り出されることを意味し、M1
ら引き出される破線の矢印はM1が−M1として、すなわ
ちブロックM1内の値が否定されて取り出されることを
意味する。前述のように、合計されたブロックM0−M1
をシフトするための、事前及び事後マトリックス乗算の
効果は、2つのマトリックスS01及びS02により表され
る。図26は、式(42)で表されるアンカ・ブロック
結合及び移動の効果を示す。サブブロックA、B、C、
E、F、G、I、J及びKは、QMの値に寄与する。ブ
ロック結合(1605乃至1607)及び移動(161
5乃至1618)の効果は、図26及び式(42)でラ
ベル付けされるように、中間ブロックZ1、Z2、Z3
びZ4を生成する。サブブロックの結合及び移動は、図
23に示されるものと類似である。より詳細には、それ
ぞれの隣接アンカ・ブロック(M0、M1、M2及びM3
からの寄与サブブロックA、C、I及びKが結合されて
(1605)、移動され(1615)、その結果、中間
ブロックZ1は、その左上隅にシフト(1615)され
る共用情報A−C−I+Kを含む。それぞれの隣接アン
カ・ブロック(M0及びM3)からの寄与サブブロック
B、C、J及びKは、結合されて(1606)、移動さ
れ(1616)、その結果、中間ブロックZ2は、その
左上隅にシフト(1616)される共用情報C−K、及
び同時に右上隅にシフト(1616)されるB−Jを含
む。同様にそれぞれの隣接アンカ・ブロック(M2及び
3)からの寄与サブブロックE、G、I及びKは、結
合されて(1607)、移動され(1617)、その結
果、中間ブロックZ3は、その左上隅にシフト(161
7)される共用情報I−K、及び同時に左下隅にシフト
(1617)されるE−Gを含む。最後に、アンカ・ブ
ロックM3からの寄与サブブロックG、F、K及びJ
は、結合され(1618)、その結果、中間ブロックZ
4はサブブロックG、F、K及びJを含むが、これらは
3からZ4へ向けて、左から右に、また下から上にシフ
トされる。
【0138】図27では、Z1乃至Z4が一緒に加算さ
れ、QMが生成される。図28では、ブロックが結合及
びシフトされ、隣接ターゲット・ブロックQNを生成す
る様子が示される。ここでは、ブロックの結合及び移動
が図26のそれらと類似する。更に、Z2及びZ4が図2
6から再利用され、2つのブロックが更に円印によりマ
ークされる。この共用形態は再度、図22に示されるも
のと類似する。図29では、結果が加算され、QNが獲
得される。新たなイントラ符号化ターゲット・ブロック
M1005及びQN1010を生成する、図26及び図
28でのサブブロックの結合及び加算から共用情報の使
用により、僅かに6対の事前及び事後マトリックス乗算
が必要とされるだけであり、これは各々の寄与サブブロ
ックが別々に処理される場合に必要な8対の事前及び事
後マトリックス乗算と対比される。
【0139】図26乃至図29のより厳密な説明は、式
(42)及び次に示す式(47)により表される。
【数54】
【0140】ここで、式(47)の第2項(Z2)及び
第4項(Z4)は、式(42)と同一であり、N0=M1
及びN2=M3であるので、再利用可能である。従って、
第1項及び第3項にそれぞれ対応する次式が、更に計算
される必要がある。Z1=ハットP0ハットS01(ハット
1−ハットN0−ハットN3+ハットN2)ハットS12
びZ3=ハットP0ハットX(ハットN3−ハットN2)ハ
ットS12。情報の共用は、図23に示されるものと類似
であるが、この場合には各ブロック内の2つのサブブロ
ックだけを考慮する代わりに、4つの全てのサブブロッ
クを含む。ハットQM及びハットQNのDC+2AC近似
を構成するための乗算の総数は、46(=9+5+9+
5+9+9)となる。フレーム予測では、これは35
(=9+5+5+2+9+5)となる。
【0141】iii)マクロブロック全体の予測: マクロブロック内の4つのターゲット・ブロックに対し
て、全てのアンカ・ブロックが同一の形式の場合、類似
の考え方を適用し、計算を節約することができる。QM
1005及びQN1010のイントラ符号化DCT表現
が、式(42)及び式(47)及び図26乃至図29に
より示される共用にもとづき、既に計算済みと仮定する
と、更に共用情報を使用し、QT1015及びQU102
0を計算することができる。
【0142】図30では、QTを生成する結合及びシフ
トが示される。再度、4つの中間ブロックの2つ(図2
6のZ3及びZ4)が再利用される。図32では、QU
生成する結合及びシフトが示される。ここでは、4つの
中間ブロックの3つ(図30のZ8、図28のZ6、及び
図26のZ4)が再利用される。正味の効果は、この好
適な実施例において、僅かに9対の事前及び事後マトリ
ックス乗算が必要とされるだけであり、これは各々のブ
ロックQM、QN、QT及びQUが別々に処理される場合の
16回と対比される。
【0143】図30乃至図33のより厳密な説明を次に
示し、ここでQT及びQUがそれぞれ次のように表され
る。
【数55】
【0144】DC+2AC近似において、ハットQM
びハットQNが46回の乗算(またはフレーム予測及び
アンカ非インタレースの場合には35回)により計算さ
れ得ることを示した。式(48)の新たな2つの項の1
つは置換行列を含み、ハットQ TのDC+2AC近似
は、14(=9+5)回の乗算だけにより計算され得
る。ハットQUのDC+2AC近似では、第1項に対し
て9回の追加の乗算が必要とされるだけである。従っ
て、マクロブロック全体のDC+2AC近似では、69
回(フレーム予測及びアンカ非インタレースの場合には
58回)の乗算が使用され、結果的に、1ブロックにつ
き17.25回(または14.5回)の乗算が生じる。
従って、式(31)の高速計算のための好適な実施例
は、36回の乗算を要求する従来方法に対して、乗算回
数において約50%(または60%)の改善をもたら
す。
【0145】低減されたイメージのアプリケーション:
本発明を用いて、圧縮ビデオから抽出される低減された
イメージのセットは、更にビデオ・ブラウジングのため
に使用され得る。低減イメージを使用するブラウジング
技術の例が、前記参考文献6で見い出される。各低減イ
メージのサイズは、全フレーム及び圧縮ビデオ自身に比
較して小さいので(例えば、空間解像度708×480
で符号化される4Mビット/秒のMPEG−2ビデオの
DCイメージのサイズは、88×60)、約0.2Mビ
ット/秒を有するに過ぎない。更に、DCイメージのセ
ットまたはDCイメージのサブセットが、迅速なブラウ
ジングのために、たくさんの帯域幅を使用することな
く、サーバからクライアントへ伝送され得る。DCイメ
ージは更に、ビット・レートを低減するために圧縮され
得る。
【0146】ブラウジング時に、低減イメージが図形表
示装置(例えば図10の200)上に次々に再生され得
る。表示装置238はテレビまたはコンピュータ・モニ
タである。計算的に高価な伸張タスクを実行する必要が
ないので、DCイメージは実時間、すなわち毎秒30フ
レームのビデオよりも高速に再生され得る。従って、D
Cイメージのセットが毎秒30フレームよりも高速に再
生され得る。この機能は、ユーザがビデオ内容を迅速に
ざっと眺めることを可能にする。更に、ビデオの他の部
分へのランダム・アクセスが提供される。圧縮ビデオで
は、ランダム・アクセスがより困難となり、時間を消費
する。低減イメージは更に、それぞれのビデオ・セグメ
ントへの指標として役立つ。こうした指標は、ユーザが
選択された低減イメージを見ることにより(例えば各シ
ョットにつき1イメージ)、容易にそれぞれのショット
にナビゲートすることが可能になる点で視覚的といえ
る。
【0147】図24は、低減イメージ・シーケンスを表
示するTVのブロック図である。画面は主TV番組(2
405)の表示と、低減イメージ・シーケンスを表示す
る1つ以上のウィンドウ(2402、2403)を含
む。セットトップ・ボックス2401内には、主TV番
組のフル・サイズ表示を復号する正規のMPEG−2復
号器が存在する。更に、セットトップ・ボックス240
1は、MPEG−2ビデオからの、1つ以上の低減イメ
ージの抽出器を含み得る(プロセス300、360及び
370)。この時、低減イメージ抽出器は、同一のTV
番組の複数のビュー(例えば、同一のスポーツ事象の異
なるカメラ・ビュー)を表示するために、或いは異なる
チャネルから異なる番組を同時に示すために使用され得
る。制御ボタン2404は、(例えば遠隔制御を介し
て)他の番組からの低減イメージの表示をオンまたはオ
フしたり、異なる番組を追加のウィンドウ(例えば24
02及び2403)内に表示するように、切り替えるた
めに使用され得る。セットトップ・ボックス内の低減イ
メージ抽出器は、完全なMPEG−2コーダに比較して
かなり安価であり、少数の抽出器の追加は、セットトッ
プ・ボックスの価格を多大に押し上げることなく、視聴
者により優れたTV鑑賞及びチャネル・サーフィン経験
を提供する。
【0148】まとめとして、本発明の構成に関して以下
の事項を開示する。
【0149】(1)DCTドメイン逆動き補償のための
システムであって、該システムが、ビット・ストリーム
により定義され、メモリに記憶される複数の画素を有す
る動き補償圧縮ビデオ・フレームのシーケンスであっ
て、前記フレームの各々が、フレーム間形式またはイン
トラ・フレーム形式のいずれかにより符号化され、前記
フレーム間形式で符号化される前記フレームが、1つ以
上の基準フレームに関する動き補償情報を用いて符号化
される1つ以上の相互符号化ブロックを有し、各イント
ラ符号化ブロックが、前記フレーム内の画素の離散コサ
イン変換(DCT)により生成される1つ以上の周波数
成分を含む、シーケンスと、プロセッサにより実行さ
れ、前記ビット・ストリームを横断し、1つ以上の前記
相互符号化ブロックから前記動き補償情報を選択し、1
つのイントラ符号化基準フレームの1つ以上のイントラ
符号化アンカ・ブロックから、前記周波数成分のサブセ
ットを選択する抽出器であって、該抽出器が前記ビット
・ストリーム内のヘッダ情報を用い、前記相互符号化ブ
ロック及び前記イントラ符号化ブロックを識別する、抽
出器と、前記プロセッサにより実行され、前記選択され
た動き補償情報を用いることにより、3つ以上の前記イ
ントラ符号化アンカ・ブロックの一部を用い、1つ以上
の相互符号化ターゲット・ブロックを、1つ以上のイン
トラ符号化DCTターゲット・ブロックに変換する構成
器であって、新たな前記イントラ符号化DCTターゲッ
ト・ブロックの各々が、共用ブロックである1つ以上の
前記イントラ符号化アンカ・ブロックからの情報を有す
る、構成器と、を含む、システム。 (2)前記共通情報が動きベクトルである、前記(1)
記載のシステム。 (3)第1及び第2の新たなイントラ符号化DCTブロ
ックが存在し、前記第1のイントラ符号化DCTブロッ
クが、前記共用イントラ符号化アンカ・ブロックの第1
の側に隣接する第1のイントラ符号化アンカ・ブロック
からの情報と、前記共用イントラ符号化アンカ・ブロッ
クからの第1の情報とを有し、前記第2のイントラ符号
化DCTブロックが、前記共用イントラ符号化アンカ・
ブロックの第2の側に隣接する第2のイントラ符号化ア
ンカ・ブロックからの情報と、前記共用イントラ符号化
アンカ・ブロックからの第2の情報とを有する、前記
(1)記載のシステム。 (4)前記第1の側が前記共用ブロックの左側であり、
前記第2の側が前記共用ブロックの右側である、前記
(3)記載のシステム。 (5)前記第1の側が前記共用ブロックの上側であり、
前記第2の側が前記共用ブロックの下側である、前記
(3)記載のシステム。 (6)前記第1の側が前記共用ブロックの対角的に左上
であり、前記第2の側が前記共用ブロックの対角的に右
下である、前記(3)記載のシステム。 (7)前記第1の側が前記共用ブロックの対角的に左下
であり、前記第2の側が前記共用ブロックの対角的に右
上である、前記(3)記載のシステム。 (8)前記シーケンスが、DC、AC01、及びAC1
0成分を含む周波数成分のサブセットを選択することに
より低減される、前記(1)記載のシステム。 (9)前記シーケンスが、i)DC成分だけ、ii)D
C成分とAC01、AC10、及びAC11成分、及び
iii)DC、AC01、AC10、AC11、AC2
0、及びAC02成分のいずれか、またはそれらの組み
合わせの周波数成分のサブセットを選択することにより
低減される、前記(1)記載のシステム。 (10)前記シーケンスが、DC、AC01、及びAC
10成分だけを含む周波数成分のサブセットを選択する
ことにより低減される、前記(1)記載のシステム。 (11)第1及び第2の新たなイントラ符号化DCTブ
ロックが存在し、前記第1のイントラ符号化DCTブロ
ックが、前記共用イントラ符号化アンカ・ブロックの第
1の側に隣接する第1のイントラ符号化アンカ・ブロッ
クからの情報と、前記共用イントラ符号化アンカ・ブロ
ックからの第1の情報とを有し、前記第2のイントラ符
号化DCTブロックが、前記共用イントラ符号化アンカ
・ブロックの第2の側に隣接する第2のイントラ符号化
アンカ・ブロックからの情報と、前記共用イントラ符号
化アンカ・ブロックからの第2の情報とを有する、前記
(10)記載のシステム。
【図面の簡単な説明】
【図1】MPEGビデオ規格における3つの異なる従来
のフレーム・タイプを示す図である。
【図2】MPEGビデオ規格における従来の8×8離散
コサイン変換(DCT)ブロックを示す図である。
【図3】MPEG−1ビデオ規格における従来の基準ブ
ロック、動きベクトル、及びオリジナル・ブロックを示
す図である。
【図4】MPEG−1ビデオ寄与サブブロックを移動す
るために使用される従来のマトリックス乗算を示す図で
ある。
【図5】MPEG−2ビデオ規格におけるフレーム・ピ
クチャ内の従来のフィールドDCT符号化を示す図であ
る。
【図6】MPEG−2ビデオ規格におけるフレーム・ピ
クチャ内の従来のフレームDCT符号化を示す図であ
る。
【図7】MPEG−2ビデオ規格におけるフィールド・
ピクチャ内の従来の符号化マクロブロックを示す図であ
る。
【図8】MPEG−2ビデオ規格におけるフレーム・ピ
クチャ内の従来のフレーム予測またはフィールド・ピク
チャ内の予測を示す図である。
【図9】MPEG−2ビデオ規格におけるフレーム・ピ
クチャ内の従来のフィールド予測を示す図である。
【図10】本発明を実行するコンピュータ・システムの
好適な実施例のブロック図である。
【図11】MPEG−2ビデオから低減されたイメージ
・シーケンスを構成するステップを示す流れ図である。
【図12】Iフレームから低減されたイメージ・シーケ
ンスを構成するステップを示す流れ図である。
【図13】P及び(または)Bフレームから低減された
イメージ・シーケンスを構成するステップを示す流れ図
である。
【図14】DCTドメイン逆動き補償を適用するステッ
プを示す流れ図である。
【図15】ブロックの予測における各アンカ・ブロック
の寄与度を計算するステップを示す流れ図である。
【図16】フィールド予測を示すブロック図である。
【図17】フィールド・ベースの動き補償及びフレーム
符号化されるアンカ・ブロックを示すブロック図であ
る。
【図18】アンカ・ブロックがフィールド符号化され、
寄与するサブブロックが上領域に由来するフィールド・
ベースの動き補償を示すブロック図である。
【図19】アンカ・ブロックがフィールド符号化され、
寄与するサブブロックが下領域に由来するフィールド・
ベースの動き補償を示すブロック図である。
【図20】16×16マクロブロックの予測を示すブロ
ック図である。
【図21】2つの水平方向に隣接する領域の予測を示す
ブロック図である。
【図22】同一の動きベクトルを有する2つの隣接ブロ
ックのDCTドメイン逆動き補償の強引な計算を示すブ
ロック図である。
【図23】2つのブロック内の共用情報を使用する、同
一の動きベクトルを有する2つの隣接ブロックの高速D
CTドメイン逆動き補償の好適な方法を示すブロック図
である。
【図24】2つの隣接ブロックにまたがる共用情報を用
いる、高速DCTドメイン逆動き補償の好適な方法の流
れ図である。
【図25】図20の寄与サブブロックのラベル付け及び
図26乃至図33で使用される表記法を示す図である。
【図26】4つのブロック内の共用情報を用いブロック
Mを構成する、同一の動きベクトルを有する4つの隣
接ブロックの高速DCTドメイン逆動き補償の好適な方
法を示すブロック図である。
【図27】4つのブロック内の共用情報を用いブロック
Mを構成する、同一の動きベクトルを有する4つの隣
接ブロックの高速DCTドメイン逆動き補償の好適な方
法を示すブロック図である。
【図28】4つのブロック内の共用情報を用いブロック
Nを構成する、同一の動きベクトルを有する4つの隣
接ブロックの高速DCTドメイン逆動き補償の好適な方
法を示すブロック図である。
【図29】4つのブロック内の共用情報を用いブロック
Nを構成する、同一の動きベクトルを有する4つの隣
接ブロックの高速DCTドメイン逆動き補償の好適な方
法を示すブロック図である。
【図30】4つのブロック内の共用情報を用いブロック
Tを構成する、同一の動きベクトルを有する4つの隣
接ブロックの高速DCTドメイン逆動き補償の好適な方
法を示すブロック図である。
【図31】4つのブロック内の共用情報を用いブロック
Tを構成する、同一の動きベクトルを有する4つの隣
接ブロックの高速DCTドメイン逆動き補償の好適な方
法を示すブロック図である。
【図32】4つのブロック内の共用情報を用いブロック
Uを構成する、同一の動きベクトルを有する4つの隣
接ブロックの高速DCTドメイン逆動き補償の好適な方
法を示すブロック図である。
【図33】4つのブロック内の共用情報を用いブロック
Uを構成する、同一の動きベクトルを有する4つの隣
接ブロックの高速DCTドメイン逆動き補償の好適な方
法を示すブロック図である。
【図34】低減されたイメージ・シーケンスを表示する
TV画面を示す図である。
【符号の説明】
150 動きベクトル 200 コンピュータ・システム 202 アプリケーション・プログラム 210 中央処理ユニット(CPU) 212 システム・バス 214 ランダム・アクセス・メモリ(RAM) 216 読出し専用メモリ(ROM) 218 メモリ・アダプタ 219 ディスケット 220 ディスク 221 CD−ROM 222、236 ユーザ・インタフェース 224 キーボード 226 マウス 228 ラウド・スピーカ 230 ビデオ入力 232 マイクロフォン 234 表示アダプタ 238 表示装置 239 プリンタ 275 コネクタ 280 ローカル・エリア・ネットワーク(LAN) 290 サーバ
フロントページの続き (72)発明者 ブーン−ロック・エオ アメリカ合衆国10566、ニューヨーク州コ ートランディット・マナー、テレサ・レー ン 6

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】DCTドメイン逆動き補償のためのシステ
    ムであって、該システムが、 ビット・ストリームにより定義され、メモリに記憶され
    る複数の画素を有する動き補償圧縮ビデオ・フレームの
    シーケンスであって、前記フレームの各々が、フレーム
    間形式またはイントラ・フレーム形式のいずれかにより
    符号化され、前記フレーム間形式で符号化される前記フ
    レームが、1つ以上の基準フレームに関する動き補償情
    報を用いて符号化される1つ以上の相互符号化ブロック
    を有し、各イントラ符号化ブロックが、前記フレーム内
    の画素の離散コサイン変換(DCT)により生成される
    1つ以上の周波数成分を含む、シーケンスと、 プロセッサにより実行され、前記ビット・ストリームを
    横断し、1つ以上の前記相互符号化ブロックから前記動
    き補償情報を選択し、1つのイントラ符号化基準フレー
    ムの1つ以上のイントラ符号化アンカ・ブロックから、
    前記周波数成分のサブセットを選択する抽出器であっ
    て、該抽出器が前記ビット・ストリーム内のヘッダ情報
    を用い、前記相互符号化ブロック及び前記イントラ符号
    化ブロックを識別する、抽出器と、 前記プロセッサにより実行され、前記選択された動き補
    償情報を用いることにより、3つ以上の前記イントラ符
    号化アンカ・ブロックの一部を用い、1つ以上の相互符
    号化ターゲット・ブロックを、1つ以上のイントラ符号
    化DCTターゲット・ブロックに変換する構成器であっ
    て、新たな前記イントラ符号化DCTターゲット・ブロ
    ックの各々が、共用ブロックである1つ以上の前記イン
    トラ符号化アンカ・ブロックからの情報を有する、構成
    器と、 を含む、システム。
  2. 【請求項2】前記共通情報が動きベクトルである、請求
    項1記載のシステム。
  3. 【請求項3】第1及び第2の新たなイントラ符号化DC
    Tブロックが存在し、前記第1のイントラ符号化DCT
    ブロックが、前記共用イントラ符号化アンカ・ブロック
    の第1の側に隣接する第1のイントラ符号化アンカ・ブ
    ロックからの情報と、前記共用イントラ符号化アンカ・
    ブロックからの第1の情報とを有し、前記第2のイント
    ラ符号化DCTブロックが、前記共用イントラ符号化ア
    ンカ・ブロックの第2の側に隣接する第2のイントラ符
    号化アンカ・ブロックからの情報と、前記共用イントラ
    符号化アンカ・ブロックからの第2の情報とを有する、
    請求項1記載のシステム。
  4. 【請求項4】前記第1の側が前記共用ブロックの左側で
    あり、前記第2の側が前記共用ブロックの右側である、
    請求項3記載のシステム。
  5. 【請求項5】前記第1の側が前記共用ブロックの上側で
    あり、前記第2の側が前記共用ブロックの下側である、
    請求項3記載のシステム。
  6. 【請求項6】前記第1の側が前記共用ブロックの対角的
    に左上であり、前記第2の側が前記共用ブロックの対角
    的に右下である、請求項3記載のシステム。
  7. 【請求項7】前記第1の側が前記共用ブロックの対角的
    に左下であり、前記第2の側が前記共用ブロックの対角
    的に右上である、請求項3記載のシステム。
  8. 【請求項8】前記シーケンスが、DC、AC01、及び
    AC10成分を含む周波数成分のサブセットを選択する
    ことにより低減される、請求項1記載のシステム。
  9. 【請求項9】前記シーケンスが、i)DC成分だけ、i
    i)DC成分とAC01、AC10、及びAC11成
    分、及びiii)DC、AC01、AC10、AC1
    1、AC20、及びAC02成分のいずれか、またはそ
    れらの組み合わせの周波数成分のサブセットを選択する
    ことにより低減される、請求項1記載のシステム。
  10. 【請求項10】前記シーケンスが、DC、AC01、及
    びAC10成分だけを含む周波数成分のサブセットを選
    択することにより低減される、請求項1記載のシステ
    ム。
  11. 【請求項11】第1及び第2の新たなイントラ符号化D
    CTブロックが存在し、前記第1のイントラ符号化DC
    Tブロックが、前記共用イントラ符号化アンカ・ブロッ
    クの第1の側に隣接する第1のイントラ符号化アンカ・
    ブロックからの情報と、前記共用イントラ符号化アンカ
    ・ブロックからの第1の情報とを有し、前記第2のイン
    トラ符号化DCTブロックが、前記共用イントラ符号化
    アンカ・ブロックの第2の側に隣接する第2のイントラ
    符号化アンカ・ブロックからの情報と、前記共用イント
    ラ符号化アンカ・ブロックからの第2の情報とを有す
    る、請求項10記載のシステム。
JP10153226A 1997-06-12 1998-06-02 共用情報を用いるdctドメイン逆動き補償のためのシステム及び方法 Pending JPH1118093A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/873490 1997-06-12
US08/873,490 US6115070A (en) 1997-06-12 1997-06-12 System and method for DCT domain inverse motion compensation using shared information

Publications (1)

Publication Number Publication Date
JPH1118093A true JPH1118093A (ja) 1999-01-22

Family

ID=25361738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10153226A Pending JPH1118093A (ja) 1997-06-12 1998-06-02 共用情報を用いるdctドメイン逆動き補償のためのシステム及び方法

Country Status (5)

Country Link
US (1) US6115070A (ja)
JP (1) JPH1118093A (ja)
KR (1) KR100305489B1 (ja)
SG (1) SG83682A1 (ja)
TW (1) TW443066B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100372382C (zh) * 2003-03-24 2008-02-27 华为技术有限公司 一种视频图象编码方法
CN100440978C (zh) * 2004-09-28 2008-12-03 华为技术有限公司 一种视频图像编码方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU4884397A (en) * 1996-11-07 1998-05-29 Matsushita Electric Industrial Co., Ltd. Image encoder and image decoder
US6359929B1 (en) * 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
JP3667105B2 (ja) * 1997-10-01 2005-07-06 松下電器産業株式会社 動きベクトル検出方法及びその方法を実施する装置
US7263127B1 (en) 1998-04-02 2007-08-28 Intel Corporation Method and apparatus for simplifying frame-based motion estimation
US7046734B2 (en) * 1998-04-02 2006-05-16 Intel Corporation Method and apparatus for performing real-time data encoding
US6904174B1 (en) * 1998-12-11 2005-06-07 Intel Corporation Simplified predictive video encoder
CA2347383A1 (en) * 1998-07-03 2000-01-13 Hudson Co., Ltd. Image coding/decoding method and recordind medium having program for this method recorded thereon
US6452969B1 (en) * 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
EP1107609A1 (en) * 1999-12-02 2001-06-13 STMicroelectronics S.r.l. Method of processing motion vectors histograms to detect interleaved or progressive picture structures
US6678423B1 (en) * 2000-03-13 2004-01-13 International Business Machines Corporation Shift and/or merge of transformed data along two axes
US6671414B1 (en) * 2000-03-13 2003-12-30 International Business Machines Corporation Shift and/or merge of transformed data along one axis
US6807310B1 (en) * 2000-05-23 2004-10-19 The Board Of Trustees Of The University Of Illinois Transformation of image parts in different domains to obtain resultant image size different from initial image size
US8582031B2 (en) * 2002-01-22 2013-11-12 Broadcom Corporation System and method of transmission and display of progressive video with hints for interlaced display
WO2003063464A2 (en) * 2002-01-22 2003-07-31 Broadcom Corporation System and method of transmission and reception of video using compressed differential time stamps
US9497452B2 (en) * 2002-01-22 2016-11-15 Broadcom Corporation System and method of transmission and reception of video using compressed differential time stamps
US7263660B2 (en) * 2002-03-29 2007-08-28 Microsoft Corporation System and method for producing a video skim
US7921445B2 (en) * 2002-06-06 2011-04-05 International Business Machines Corporation Audio/video speedup system and method in a server-client streaming architecture
JP3934568B2 (ja) * 2003-03-04 2007-06-20 松下電器産業株式会社 動画符号化方法および装置
US7843997B2 (en) * 2004-05-21 2010-11-30 Broadcom Corporation Context adaptive variable length code decoder for decoding macroblock adaptive field/frame coded video data
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
KR100703751B1 (ko) * 2005-02-14 2007-04-06 삼성전자주식회사 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
WO2006085726A1 (en) * 2005-02-14 2006-08-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding and referencing virtual area image
US8031777B2 (en) * 2005-11-18 2011-10-04 Apple Inc. Multipass video encoding and rate control using subsampling of frames
US20070116117A1 (en) * 2005-11-18 2007-05-24 Apple Computer, Inc. Controlling buffer states in video compression coding to enable editing and distributed encoding
US8233535B2 (en) 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
US8780997B2 (en) * 2005-11-18 2014-07-15 Apple Inc. Regulation of decode-side processing based on perceptual masking
US8295343B2 (en) 2005-11-18 2012-10-23 Apple Inc. Video bit rate control method
US8358700B2 (en) * 2008-06-03 2013-01-22 Omnivision Technologies, Inc. Video coding apparatus and method for supporting arbitrary-sized regions-of-interest
US8634466B2 (en) * 2009-03-17 2014-01-21 Freescale Semiconductor, Inc. Video decoder plus a discrete cosine transform unit
US20120170653A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Block based sampling coding systems
US8958642B2 (en) * 2011-10-19 2015-02-17 Electronics And Telecommunications Research Institute Method and device for image processing by image division
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US11205249B2 (en) * 2019-11-14 2021-12-21 Adobe Inc. Table shifting and skewing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5212742A (en) * 1991-05-24 1993-05-18 Apple Computer, Inc. Method and apparatus for encoding/decoding image data
US5408274A (en) * 1993-03-11 1995-04-18 The Regents Of The University Of California Method and apparatus for compositing compressed video data
US5414455A (en) * 1993-07-07 1995-05-09 Digital Equipment Corporation Segmented video on demand system
US5521630A (en) * 1994-04-04 1996-05-28 International Business Machines Corporation Frame sampling scheme for video scanning in a video-on-demand system
EP0702493A1 (en) * 1994-09-19 1996-03-20 International Business Machines Corporation Interactive playout of videos
US5589829A (en) * 1994-10-26 1996-12-31 Intel Corporation Decoding variable-length encoded signals
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction
JPH08275170A (ja) * 1995-03-30 1996-10-18 Canon Inc 画像処理装置
JP3493872B2 (ja) * 1996-02-29 2004-02-03 ソニー株式会社 画像データ処理方法およびその装置
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
US5796434A (en) * 1996-06-07 1998-08-18 Lsi Logic Corporation System and method for performing motion estimation in the DCT domain with improved efficiency

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100372382C (zh) * 2003-03-24 2008-02-27 华为技术有限公司 一种视频图象编码方法
CN100440978C (zh) * 2004-09-28 2008-12-03 华为技术有限公司 一种视频图像编码方法

Also Published As

Publication number Publication date
KR19990006499A (ko) 1999-01-25
US6115070A (en) 2000-09-05
TW443066B (en) 2001-06-23
SG83682A1 (en) 2001-10-16
KR100305489B1 (ko) 2001-10-29

Similar Documents

Publication Publication Date Title
JP3177213B2 (ja) 空間的に低減されたイメージ・シーケンスを抽出するシステム
JPH1118093A (ja) 共用情報を用いるdctドメイン逆動き補償のためのシステム及び方法
US6404814B1 (en) Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US6005980A (en) Motion estimation and compensation of video object planes for interlaced digital video
US8798153B2 (en) Video decoding method
US20090110075A1 (en) Method and System for Motion Compensated Picture Rate Up-Conversion of Digital Video Using Picture Boundary Processing
JPH1175191A (ja) インターレースされたデジタルビデオ用の双方向予測ビデオオブジェクト平面の予測及び符号化
KR20080077539A (ko) 오버 레이를 포함하는 비디오 배열의 영역에서 가상 제로움직임 벡터를 채용하는 시스템 및 방법
US20060109904A1 (en) Decoding apparatus and program for executing decoding method on computer
JP4847076B2 (ja) トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
US7151799B2 (en) Transcoder for coded video
Song et al. Fast extraction of spatially reduced image sequences from MPEG-2 compressed video
KR20090123772A (ko) 부호화 장치/복호화 장치, 부호화 방법/복호화 방법 및 기록 매체
JP2006279917A (ja) 動画像符号化装置、動画像復号装置及び動画像伝送システム
JP2002314998A (ja) 同時的フォーマット縮小方法、及びエンコード・ビデオ信号のデコード方法
JP2007266748A (ja) 符号化方法
Furht A survey of multimedia compression techniques and standards. Part II: Video compression
JP5037517B2 (ja) 動き及びテクスチャデータを予測する方法
JP2868445B2 (ja) 動画像圧縮方法および装置
JPH0698311A (ja) 画像信号の高能率符号化及び復号化装置
JP2005184525A (ja) 画像処理装置
JP2883585B2 (ja) 動画像符号化装置及び動画像符号化方法
JPH11155147A (ja) 画像再生方法、画像符号化装置及び画像符号化方法
JP2758378B2 (ja) 動画像復号化装置及び動画像復号化方法
Tan et al. A unified transcoding approach to fast forward and reverse playback of compressed video