JP3177213B2 - 空間的に低減されたイメージ・シーケンスを抽出するシステム - Google Patents

空間的に低減されたイメージ・シーケンスを抽出するシステム

Info

Publication number
JP3177213B2
JP3177213B2 JP15329598A JP15329598A JP3177213B2 JP 3177213 B2 JP3177213 B2 JP 3177213B2 JP 15329598 A JP15329598 A JP 15329598A JP 15329598 A JP15329598 A JP 15329598A JP 3177213 B2 JP3177213 B2 JP 3177213B2
Authority
JP
Japan
Prior art keywords
frame
block
blocks
coded
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15329598A
Other languages
English (en)
Other versions
JPH1118094A (ja
Inventor
ジュネーワ・ソン
ブーン−ロック・エオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH1118094A publication Critical patent/JPH1118094A/ja
Application granted granted Critical
Publication of JP3177213B2 publication Critical patent/JP3177213B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、圧縮ビデオ・シー
ケンスから情報を抽出する分野に関し、特に、伸長の必
要無しに、ＭＰＥＧ−２圧縮形式のビデオ情報から、空
間的に低減されたイメージ・シーケンスを抽出する分野
に関する。
【０００２】
【従来の技術】
【数１】 は、以降ハットＸと記載する。
【０００３】
【数２】 は、以降ティルドＸと記載する。
【０００４】ＭＰＥＧ−１ビデオ規格は３つの異なるタ
イプのフレーム、すなわちイントラ符号化フレーム（Ｉ
フレーム）、予測フレーム（Ｐフレーム）、及び双方向
予測フレーム（Ｂフレーム）を定義する（図１参照）。
Ｐ及びＢフレームは、前のアンカ（anchor）または基準
フレームにもとづき符号化されるので、相互に符号化さ
れる（inter-coded）とも言われる。ＭＰＥＧ１規格の
詳細については、ＩＳＯ／ＩＥＣ ＪＴＣ１ ＣＤ １
１１７２ Codeing of moving pictures and associated
audio for digital storage media up to 1．5 Mbits/
s、1992（以下、参考文献１）を参照されたい。Ｉフレ
ームはイントラ・フレーム符号化を用いて圧縮される。
すなわち、これらは符号化ストリーム内の他のフレーム
を参照しない。各Ｉフレームは８×８個のブロック（図
２の１１２）に分割され、離散コサイン変換（ＤＣＴ）
が実行される。６４個のＤＣＴ係数の内、ＤＣ、ＡＣ０
１及びＡＣ１０が特に関心の対象となる。これらが図２
に示される。予測フレームは、過去のＩフレームまたは
Ｐフレームからの動き補償情報を用いて符号化される。
Ｂフレームは、過去のまたは将来のＩフレームまたはＰ
フレームのいずれかからの動き補償情報を用いて符号化
される。Ｐフレーム及びＢフレームはイントラ符号化ブ
ロックを含むこともでき、これらもＩフレーム内のブロ
ック同様、ＤＣＴを用いて符号化される。
【０００５】ＭＰＥＧ−１ビット・ストリームは６層に
よる階層表現を有し、それらはシーケンス層、ピクチャ
・グループ層、ピクチャ層、スライス層、マクロブロッ
ク層及びブロック層である。シーケンス層は最上位の符
号化層である。ピクチャ・グループ（ＧＯＰ）層は、連
続表示順序のピクチャのセットであり、少なくとも１つ
のＩフレームを含む。各ピクチャはフレームに対応す
る。各ピクチャはスライスに分割され、スライスは更に
マクロブロックに分割される。マクロブロックは６ブロ
ック１１２から成り、４ブロックが輝度用で２ブロック
が色差用である。ＭＰＥＧ−１規格に関する更に詳細に
ついては、前記参考文献１を参照されたい。
【０００６】低減されたイメージを生成するプロセスの
詳細が、B．L．Yeo及びB．Liuによる"On the extractio
n of DC sequences from MPEG compressed video"（Int
ernational Conference on Image Processing、Vol．I
I、pp．260-263、1995）（以下、参考文献２）で述べら
れている。ＤＣイメージは、８×８ブロックのブロック
・ベースの平均から成る。ＭＰＥＧ−１符号化ビデオの
Ｉフレームにおいて、ＤＣイメージ内の各画素は、各Ｄ
ＣＴブロックのＤＣ係数の基準化（scaled）バージョン
に対応する。
【０００７】Ｐフレーム及びＢフレームからのＤＣイメ
ージの一般的な抽出が、図３に示される。ここではＰ
ｒｅｆ１３１Ｄが関心のターゲット・ブロックであり、
相互に符号化される。それをイントラ符号化ＤＣＴ形式
に変換し、ＤＣ係数を抽出することが望まれる。
Ｐ０、．．．、Ｐ３（１３４、１３５、１３６及び１３
７）が、Ｐｒｅｆを導出する４つのオリジナルのイント
ラ符号化隣接ブロック（アンカ・ブロックと呼ばれる）
であり、動きベクトルは（Δｘ、Δｙ）である。動きベ
クトル（Δｘ、Δｙ）１５０は、ブロックＰｒｅｆに関
連付けられる動き補償情報の一部である。アンカ・ブロ
ックＰ０、．．．、Ｐ３内の共用領域１３４Ｐ、１３５
Ｐ、１３６Ｐ及び１３７Ｐは、寄与サブブロック（cont
ributing subblocks）と呼ばれ、（Δｘ、Δｙ）により
移動される。こうしてＰｒｅｆのＤＣ係数がＤＣイメー
ジ・シーケンスに対して導出される。
【０００８】Ｐiに関して相互に符号化されるＰrefの関
係が、S．F．Chang及びD．G．Messerschmittによる"Man
ipulation and compositing of MC-DCT compressed vid
eo"（IEEE Journal on Selected Areas in Communicati
ons：Special Issue on Intelligent Signal Processin
g、Vol．13、pp．1-11、Jan 1995）（以下、参考文献
３）から得られる。各ブロックを８×８マトリックスと
して表す場合、Ｐrefは空間ドメイン内において、次の
マトリックス乗算を通じて記述できる。
【数３】
【０００９】ここでＳijは次のようなマトリックスであ
る。
【数４】
【００１０】または
【数５】
【００１１】ここで各Ｉｎはサイズｎの恒等マトリック
スである。Ｐに対するＳｉｊの影響の例が、図４に示さ
れる。目標はサブブロックを左上隅から右下隅に移動
し、ブロック内の残りの値を０にセットすることであ
る。事前の乗算は関心のサブブロックを垂直方向にシフ
トし、事後の乗算はサブブロックを水平方向にシフトす
る。関心のサブブロックの４つの可能な位置が存在し、
それらは左上、右上、右下及び左下である。マトリック
スに関するアクションが、表１に示される。
【表１】
【００１２】Ｓijの値は表１から明らかであり、ｈi及
びｗiの所与の値を有するが、Ｓijは時に、ｈi及びｗi
の関数として、例えばＳ01＝Ｓ01（ｈ0、ｗ0）＝Ｓ
01（ｈ0）のように記述される。
【００１３】８×８ブロックＰの２次元ＤＣＴをＤＣＴ
（Ｐ）として表す場合、ＤＣＴ（Ｐ ref）の係数は、幾
つかの重み係数ｗi mlに対して、次のように表される。
【数６】
【００１４】前記参考文献２の重要な結果は、ｗｉ ００
＝ｈｉｗｉ／６４、すなわち重みｗｉ ００が、ブロック
ＰｒｅｆのブロックＰｉとのオーバラップの比率である
ことである。１次近似と呼ばれる近似は（ＤＣＴ（Ｐ
ｒｅｆ））００を次のように近似する。
【数７】
【００１５】この近似は、動きベクトル情報及び基準フ
レーム内のＤＣ値だけを要求する。こうした近似がＢフ
レーム及びＰフレームに適用されるとき、実際に良好な
結果が生成されることが前記参考文献２に示されてい
る。
【００１６】ＭＰＥＧ−１ビデオから直接抽出されるＤ
Ｃイメージの使用は、ＭＰＥＧ−１ビデオを処理する効
率的なアルゴリズムをもたらす。アプリケーションの例
が、B．L．Yeo及びB．Liuによる"Rapid scene analysis
on compressed videos"（IEEE Transactions on Circu
its and Systems For Video Technology、Vol．5、pp．
533-544、Dec．1995）（以下、参考文献４）、及びM．
M．Yeung及びB．Liuによる"Efficient Matching and Cl
ustering of Video Shots"（International Conference
on Image Processing、Vol．I、pp．338-341、1995）
（以下、参考文献５）に述べられている。
【００１７】ＭＰＥＧ−１ビデオのＩフレームに対し
て、ＤＣ＋２ＡＣを次のように定義する。すなわち各８
×８ＤＣＴブロックに対して、ＤＣ及び２つの下位のＡ
Ｃ係数ＡＣ0、1及びＡＣ1、0が保存され、２×２逆ＤＣＴ
が実行されて、４画素が獲得される。Ｂフレーム及びＰ
フレームに対しては、下記の式（２）が使用され、ＤＣ
ＴブロックＰiのＤＣ及び２つの下位のＡＣ係数から、
ＰrefのＤＣ及び２つの下位のＡＣ係数を構成する。
【数８】
【００１８】ここで、ａ＋ｂ≦１であり、ｈi及びｗiは
ブロックＰi（図３）のそれぞれ高さ及び幅である。更
に詳細については、B．L．Yeoによる"On Fast Microsco
picBrowsing of MPEG compressed video"（IBM T．J．W
atson Research Center、Technical Report RC20841、M
ay 1997）（以下、参考文献６）で述べられている。
【００１９】ＭＰＥＧ−２はより高速なデータ転送率を
目的として、高品質のビデオを同報通信または放送する
ために使用される。それに対してＭＰＥＧ−１は毎秒約
１．５Ｍビットのデータ転送率を目的とする。ＭＰＥＧ
−２は、より広範なアプリケーション及び操作モードを
サポートし、全てのＭＰＥＧ−１ビデオ構文を保持し、
追加の柔軟性及び機能のための拡張を用いる。ＭＰＥＧ
−２はまた、インタレース式ビデオ及びスケーラブル・
データ・ストリームの符号化をサポートする。ＭＰＥＧ
−１はインタレース式ビデオをサポートせず、非インタ
レース式（プログレッシブ）ビデオだけをサポートす
る。
【００２０】インタレース式ビデオでは、各フレームは
上フィールドと下フィールドの２つのフィールドから成
る。ＭＰＥＧ−２では、各フィールドは別々のピクチャ
（フィールド・ピクチャ）として、または完全なフレー
ム（フレーム・ピクチャ）として符号化され得る。フレ
ーム・ピクチャ及びフィールド・ピクチャが、ＭＰＥＧ
−２データ・ストリーム内で混合され得る。フィールド
・ピクチャのＤＣＴ係数は常に独立なフィールドとして
編成される。しかしながら、フレーム・ピクチャでは、
ＤＣＴがフィールドまたはフレームに対してマクロブロ
ック・ベースで実行される。すなわちフレーム・ピクチ
ャは、フレーム符号化マクロブロック及びフィールド符
号化マクロブロックの両方を含み得る。
【００２１】図５、図６及び図７は、ＭＰＥＧ−２ビデ
オにおいて可能なＤＣＴ符号化マクロブロックの異なる
形式を示す。図５は、ＭＰＥＧ−２ビデオ規格における
フレーム・ピクチャ内の、従来のフィールドＤＣＴ符号
化を示す。図６は、ＭＰＥＧ−２ビデオ規格におけるフ
レーム・ピクチャ内の、従来のフレームＤＣＴ符号化を
示す。図７は、ＭＰＥＧ−２ビデオ規格におけるフィー
ルド・ピクチャ内の、従来の符号化マクロブロックを示
す。
【００２２】ＭＰＥＧ−２における動き補償（ＭＣ）
は、ＭＰＥＧ−１におけるそれよりもより一般的であ
る。動き補償の２つの基本的なモード、すなわちフィー
ルド・ベースの動き補償及びフレーム・ベースの動き補
償が存在する。フィールド・ベースのＭＣでは、上下の
フィールドの変換を指定するために、２つの動きベクト
ルが使用される（フィールド・ベースＭＣモード及び２
つの動きベクトルが、フィールド・ベースのＭＣの動き
補償情報を構成する）。フレーム・ベースのＭＣでは、
１つの動きベクトルだけが使用される（フレーム・ベー
スＭＣモード及び動きベクトルが、フィールド・ベース
ＭＣの動き補償情報を構成する）。フレーム・ベースＭ
Ｃは、ＭＰＥＧ−１で実行されるものと類似である。フ
ィールド・ピクチャでは、フィールド・ベースＭＣだけ
が使用されるのに対してフレーム・ピクチャでは、フレ
ーム・ベース及びフィールド・ベースの両方のＭＣが許
可される。
【００２３】２つのケースが図８及び図９に示される。
図８はＭＰＥＧ−２ビデオ規格におけるフレーム・ピク
チャ内の従来のフレーム予測、またはフィールド・ピク
チャ内の予測を示す。図９は、ＭＰＥＧ−２ビデオ規格
におけるフレーム・ピクチャ内の従来のフィールド予測
を示す。
【００２４】要するに、ＭＰＥＧ−２及びＭＰＥＧ−１
間の１つの違いは、ＤＣＴの使用によるインタレース式
ビデオの符号化、及び（または）フレームまたはフィー
ルド符号化によるインタレース式フレームの動き補償の
サポートである。
【００２５】予測効率を改善するために、ＭＰＥＧ−２
は更に、１６×８動き補償モードを支援する。このモー
ドは、マクロブロックが１６×８の上領域及び１６×８
の下領域として処理されることを可能にする。各領域は
この時、独立に動き補償される。別のモードは、２重プ
ライム動き予測である。これは所与のフィールドまたは
フレームを符号化するとき、反対のパリティの２つの隣
接フィールドからの予測を平均する。２重プライム動き
予測はデータ内のノイズを低減する傾向がある。
【００２６】ＭＰＥＧ−２規格の詳細については、ＩＳ
Ｏ／ＩＥＣ ＪＴＣ１ ＣＤ １３８１８ Generic Co
ding of moving pictures and associated audio、199
4、MPEG Video Compression Standard（J．L．Mitchel
l、W．E．Pennebaker、C．E．Foog及びD．J．Le Gall共
著、Chapman and Hall、1996）（以下、参考文献７）、
及びDigital Video：An Introduction to MPEG-2（B．
G．Haskell、A．Puri及びA．N．Netravali共著、Chapma
n and Hall、1997）（以下、参考文献８）に述べられて
いる。
【００２７】表記法：本開示では、次に示す表記法を使
用する。すなわち混乱が無い限り、８×８（１６×１
６）データ・ブロック（マクロブロック）を、８×８マ
トリックス（１６×１６マトリックス）として表現す
る。空間ドメイン・ブロックまたはマクロブロック（ま
たはマトリックス）を大文字（例えばＤ、Ｄ'、Ｄi、Ｐ
など）で表し、対応するＤＣＴドメイン・ブロック（ま
たはマトリックス）を、ハット記号を付加した同一の大
文字（例えば、ハットＤi、ハットＰiなど）により表す
ことにする。すなわち、マトリックスＤにより表される
８×８ブロックに対して、次の関係がもたらされる。
【数９】
【００２８】ここでＴは、エントリｔ（ｉ、ｊ）（ｉは
ｉ番目の行を示し、ｊはｊ番目の列を示す）を有する８
×８ＤＣＴマトリックスであり、ｔ（ｉ、ｊ）は次式に
より与えられる。
【数１０】
【００２９】ここで、ｋ（ｉ）は次式により与えられ
る。
【数１１】
【００３０】また、ここではより明瞭な表記法が要求さ
れる場合、ＤＣＴを明示的に用いて、ブロックのＤＣＴ
ドメイン値を示す。例えば、ＤＣＴ（ＡＢ）は、マトリ
ックス積ＡＢに適用される２次元ＤＣＴを示す。また、
２次元ＤＣＴの分配属性を不断に使用する。すなわち、
【数１２】
【００３１】従って、空間ドメイン内におけるサブブロ
ックの移動を記述する前記Ｐrefの２次元ＤＣＴを、Ｄ
ＣＴドメイン内において次の様に書くことができる。
【数１３】
【００３２】
【数１４】
【００３３】ＤＣＴドメイン内において、ＰiのＤＣＴ
値及び動きベクトル（Δｘ、Δｙ）１５０だけを用い、
相互符号化ブロックＰrefから、イントラ符号化ＤＣＴ
ブロックＤＣＴ（Ｐref）に直接変換することは、ＤＣ
Ｔドメイン逆動き補償と呼ばれる。表記法の簡略化のた
め、本開示では空間ドメイン内におけるサブブロックの
移動について述べるが、ブロックのＤＣＴドメイン値に
ついても、同様に式（６）から推論される。
【００３４】非インタレース式１６×１６マクロブロッ
クは、単なる大文字（例えばＤ）により表され、対応す
るインタレース式マクロブロックは、プライム符号付き
大文字（例えばＤ'）により表される。非インタレース
式マクロブロックＤが与えられる場合、４つの８×８要
素ブロックはＤ0、Ｄ1、Ｄ2及びＤ3により、次のように
表される。
【数１５】
【００３５】同様に、対応するインタレース式マクロブ
ロックＤ'において、その４つの要素ブロックはＤ0'、
Ｄ1'、Ｄ2'及びＤ3'により、次のように表される。
【数１６】
【００３６】ブロック（マトリックス）内の各要素は、
２つの指標により参照される。すなわち、Ａijはブロッ
ク（マトリックス）Ａ内の行ｉ及び列ｊの要素を表す。
マトリックスの行または列ベクトルを表すために、"−"
を使用し、例えばＡi-はｉ番目の行ベクトルを表し、Ａ
-iはｉ番目の列ベクトルを表す。
【００３７】次に、Ｄに対する前記式により表される非
インタレース式１６×１６マクロブロックＤについて考
えてみよう。
【数１７】
【００３８】ここで、Ｄｉ（ｉ＝０、１、２、３）は、
８×８のブロックである。同様に、Ｄ'に対する前記式
により表されるＤ'を、対応するインタレース式マクロ
ブロックとしよう。
【数１８】
【００３９】すなわち、Ｄ０'及びＤ１'はＤの上フィー
ルドに対応し、Ｄ２'及びＤ３'はＤの下フィールドに対
応する。ＤとＤ'との間の関係は、１６×１６の置換マ
トリックス（permutation matrix：順序行列とも呼ばれ
る）Ｐを用いて、次のように記述される。
【数１９】 Ｄ＝ＰＤ' （７）
【００４０】ここで、Ｐ及びＰ0乃至Ｐ3は次のように表
される。
【数２０】
【００４１】及び、
【数２１】
【００４２】従来技術の問題点：従来技術はＤＣＴドメ
イン内において、インタレース式ビデオ・フレームを処
理しない。また従来技術は、伸長無しに、ＭＰＥＧ−２
圧縮ビデオ内の相互符号化フレームを処理する便利な方
法を提供しない。更に従来技術は、ＭＰＥＧ−２圧縮ビ
デオのフレーム間動き補償符号化フレームから、イント
ラ・フレームＤＣＴ符号化フレームを構成する方法を教
示しない（このプロセスはＤＣＴドメイン逆動き補償と
呼ばれる）。
【００４３】また、従来技術は、伸長の必要無しに、Ｍ
ＰＥＧ−２圧縮ビデオ・シーケンスから、空間的に低減
されたイメージ・シーケンスを抽出する方法を提供しな
い。更に従来技術は、ビデオ処理タスクにおいて、動き
補償及びＤＣＴを用いて符号化されたインタレース式ビ
デオ・フレームから抽出される、空間的に低減されたイ
メージの利用を教示しない。その上、従来技術は、ＭＰ
ＥＧ−２におけるように、ＤＣＴ及び動き補償によるイ
ンタレース式ビデオの符号化を含む機構により符号化さ
れるビデオを有する、大規模ビデオ・データベースの分
析を阻む。また、従来技術は、ＭＰＥＧ−２ビデオを含
む大規模ビデオ・データベースにおける指標付け及び検
索を阻む。更に従来技術は、ＭＰＥＧ−２ビデオ内のフ
レームへのランダム・アクセスを提供しない。
【００４４】
【発明が解決しようとする課題】従って、本発明の目的
は、空間的に低減されたイメージ・シーケンスを構成す
るシステムを提供することである。
【００４５】本発明の別の目的は、完全な伸長無しに、
空間的に低減されたイメージ・シーケンスを効率的に構
成するシステムを提供することである。
【００４６】更に本発明の別の目的は、ビデオ情報を指
標付け及び（または）探索するシステムを提供すること
である。
【００４７】更に本発明の別の目的は、ビデオ情報を効
率的にブラウジングするシステムを提供することであ
る。
【００４８】更に本発明の別の目的は、ビデオ・シーケ
ンス内の個々のフレームへのランダム・アクセスを可能
にする、ビデオ情報の効率的なブラウジングのためのシ
ステムを提供することである。
【００４９】
【課題を解決するための手段】ＤＣＴ及び動き補償を通
じて、インタレース式フレームの符号化をサポートする
圧縮ビデオが提供される場合、本発明は、選択ＤＣＴド
メイン係数及び（または）動きベクトル情報にもとづ
き、伸長無しに空間的に低減されたイメージを生成する
異なる構成方法を適用する。そして、空間的に低減され
たイメージは、ビデオ・ブラウジング（走査検索）、オ
ーサリング及び処理目的のために使用され得る。
【００５０】
【発明の実施の形態】 図１０は、本発明の好適な実施例
が動作するコンピュータ・システム２００を示すブロッ
ク図である。コンピュータ・システム２００内の構成要
素は、システム・バス２１２により接続され、それを通
じて通信する。中央処理ユニット（ＣＰＵ）２１０、読
出し専用メモリ（ＲＯＭ）２１６、及びランダム・アク
セス・メモリ（ＲＡＭ）２１４は、通常、システム・バ
ス２１２に接続される。好適な実施例は、１つ以上のア
プリケーション・プログラム２０２を含む。アプリケー
ション・プログラム２０２の１つのタイプは、図１１に
示されるプロセス３００である。追加のメモリ、例えば
ディスケット２１９、ディスク２２０、及びＣＤ−ＲＯ
Ｍ２２１が、適切なメモリ・アダプタ２１８により、シ
ステム・バス２１２に接続され得る。入力／出力アダプ
タ（２２２、２３６）は、ユーザと対話する装置をシス
テム・バス２１２に接続する。例えば、キーボード２２
４及び（または）マウス２２６が、適切なユーザ入力ア
ダプタ２２２を通じて、システム・バス２１２に接続さ
れ、表示装置（例えばグラフィカル・ユーザ・インタフ
ェース（ＧＵＩ））２３８及び（または）プリンタ２３
９が、適切なユーザ出力アダプタ２３６を通じて、シス
テム・バス２１２に接続される。 ActionMedia II表示ア
ダプタ２３４（IBM ActionMedia II Technical Referen
ceに記載）などの適切なマルチメディア・アダプタ２３
４の使用により、マルチメディア機能がシステム２００
に追加され得る。このようなアダプタは、音声入力装置
（例えばマイクロフォン）２３２及び音声出力装置（例
えば１つ以上のラウドスピーカ）２２８を通じて、音声
信号を入力及び出力するために使用される。（例えばカ
メラを通じる）ビデオ入力２３０及びビデオ出力２３８
も、このようなアダプタにより可能にされる。音声認識
がIBM VoiceType Dictation Adapter２３４を用いるこ
とにより達成され得る。他の機能、例えばバーチャル・
リアリティ・システムのためのユーザ・インタフェース
（２２２、２３６）が、システム・バス２１２に接続さ
れ得る。適切なコネクタ２７５がコンピュータ・システ
ム２００を汎用ネットワーク（例えばインターネット、
広域ネットワーク（ＷＡＮ）、及び（または）ローカル
・エリア・ネットワーク（ＬＡＮ））２８０に接続する
ために使用され得る。ネットワーク上では、サーバ２９
０及びクライアントが通信する。これらのコンピュータ
２９０の一部は、コンピュータ・システム２００と同一
の機能を実行することができる。このようなコンピュー
タ・システムのハードウェアは、公知である。
【００５１】図１１乃至図１５は、ＭＰＥＧ−２ビデオ
から空間的にイメージ・シーケンスを抽出するために、
本発明により実行される様々なプロセスを示す流れ図で
ある。図１６乃至図２１は、これらのプロセスの結果と
してのビデオの変化を示すブロック図である。ＭＰＥＧ
−２ビデオが提供される場合、或いはより一般的には、
ＭＰＥＧ−２におけるようなＤＣＴ及び動き補償を通じ
るインタレース式フレームの符号化をサポートする任意
の圧縮ビデオが提供される場合、本発明は伸長の必要無
しに、異なる符号化フレーム・タイプ（すなわちＩ、Ｐ
及びＢ）を有する異なるフレームから、空間的に低減さ
れたイメージ・シーケンスを抽出する。（本開示では、
ＤＣＴ及び動き補償を通じて、インタレース式フレーム
の符号化をサポートする圧縮ビデオは一般性を失うこと
無く、ＭＰＥＧ−２ビデオとして参照される。）フレー
ム・タイプ及び符号化モードの詳細に従い、本発明は選
択ＤＣＴドメイン係数及び（または）動きベクトル情報
にもとづき、異なる抽出方法を適用する。そして、空間
的に低減されたイメージが、ビデオ・ブラウジング（走
査検索）、オーサリング及び処理目的のために使用され
る。
【００５２】図１１は、ＭＰＥＧ−２ビデオから、低減
されたイメージ・シーケンスを構成する全体プロセス３
００を示す流れ図である。ステップ３１０で、ＭＰＥＧ
−２ビデオ・シーケンスが入力として受け取られる。こ
のビデオ・シーケンスはヘッダを有し、ヘッダは公知の
ように自身に関連付けられるデータ・パケットに含まれ
るフレームのタイプの記述を有する。ステップ３２０
で、ヘッダ情報が公知の技術を用いて調査され、処理さ
れるべきフレームが更に存在するか否かが判断される。
存在しない場合、これまでに生成された低減イメージ・
シーケンスが出力され（ステップ３３０）、プロセスは
終了する。処理されるべきフレームが更に存在する場合
には、次のフレームが現フレームとして受け取られ、こ
れがＦと命名される（ステップ３４０）。ステップ３５
０は、現フレームＦがＩフレーム、Ｐフレーム、または
Ｂフレームのいずれであるかをテストする。ヘッダ内の
情報は、これらのフレームをこのように分類するために
提供される。Ｉフレームの場合、現フレームＦがステッ
プ３６０で処理される。それ以外では、現フレームＦは
ステップ３７０で処理される。現フレームＦがブロック
３６０または３７０で処理された後、プロセスはブロッ
ク３２０に移行し、継続する。
【００５３】図１２は、図１１のステップ３６０の詳細
を示す流れ図であり、Ｉフレームを処理し、低減された
イメージを構成するステップを示す。ステップ３６１
は、現フレームが更に、処理されるべきマクロブロック
を有するか否かを判断する。有さない場合、ステップ３
６６に示されるように、プロセスは図１１のステップ３
２０に戻る。更に処理されるべきマクロブロックが存在
する場合、ステップ３６２で、次のマクロブロックが現
マクロブロックとして受け取られ、これがＭと命名され
る。次にステップ３６３は、ＭＰＥＧ−２ビットストリ
ーム内のヘッダ情報にもとづき、現マクロブロックＭが
フレームＤＣＴ符号化か、或いはフィールドＤＣＴ符号
化かを判断する。フレームＤＣＴ符号化の場合、現マク
ロブロックＭがステップ３６５に渡される。フィールド
ＤＣＴ符号化の場合には、ステップ３６４で、ＤＣＴド
メイン脱インタレース処理がマクロブロックＭに適用さ
れ（詳細な好適な実施例が後述される）、続いてステッ
プ３６５に渡される。ステップ３６５では、ＤＣ、ＡＣ
１０及びＡＣ０１値が現マクロブロックから取り出さ
れ、その後プロセス３６０はステップ３６１に戻る。Ｄ
Ｃ成分はそれぞれのブロックの平均輝度値を表し、ＡＣ
１０及びＡＣ０１値は、ブロック内の輝度変化の様々な
最低周波数成分を表す。他の周波数係数、例えば１１１
が別の実施例では使用され得る。しかしながら、好適な
実施例では、これら２つの最低周波数成分が選択され
る。なぜなら、これらはＤＣ成分と共にオリジナル・ブ
ロックに含まれる十分な量の情報を有する低減されたサ
イズのブロックを、十分に迅速に且つ効率的に生成する
からである。
【００５４】（好適な実施例では）プロセス３６０の目
的は、フレーム符号化マクロブロックのＤＣ、ＡＣ１０
及びＡＣ０１成分を識別することである。マクロブロッ
クがフレーム符号化の場合（ステップ３６５）、これは
直接的である。しかしながら、マクロブロックがフィー
ルド符号化の場合（ステップ３６４）、要求される係数
を識別するために、マクロブロックはフレーム符号化形
式に変換される必要がある。これを実行する方法を示す
好適な実施例が、以下で述べられる。
【００５５】図１２のより厳密な説明を次に開示する。
ステップ３６２で、Ｍを４つの８×８ＤＣＴブロックＤ
ＣＴ（Ｄi'）を含むフィールド符号化マクロブロックと
仮定する。ＤＣＴ（Ｄi）00の脱インタレース化バージ
ョンのＤＣ係数が計算され、獲得されなければならな
い。
【００５６】マクロブロックのＤＣＴ（Ｄi）のＤＣ係
数を計算する１つの好適な方法は、フィールド符号化マ
クロブロック内のＤＣＴ係数の加重１次結合にもとづ
く。すなわち、
【数２２】
【００５７】ここで、１次結合において使用される重み
は、次のようである。
【数２３】
【００５８】５つの乗算だけが必要とされる。別の実施
例では、最後の２つの非ゼロの係数が無視されるなら
ば、３つの乗算だけが使用される。これら最後の２つの
非ゼロの係数を無視しても、ブラウジングやショット境
界検出などの一部のアプリケーションにおいては、低減
されたサイズのブロック内に、十分な解像度が生成され
る。
【００５９】いかなる乗算も使用すること無く、（ハッ
トＤ2）00を計算する好適な実施例では、（ハットＤ0）
00の結果を使用する。すなわち、
【数２４】
【００６０】同様に、Ｄ1及びＤ3のＤＣ値は次式により
計算される。
【数２５】
【００６１】従って、非インタレース形式のブロックの
ＤＣ値の構成は、高々２．５回の乗算（５／２＝２．
５）を要求するに過ぎない。式（１０）の最後の２つの
非ゼロの係数が無視される場合、１．５回の乗算（３／
２＝１．５）が必要とされるだけである。
【００６２】再度、ステップ３６２で、Ｍがフィールド
符号化マクロブロックの場合、対応するフィールド符号
化マクロブロックから、フレーム符号化マクロブロック
の下位のＡＣ係数（例えばＡＣ０１及びＡＣ１０）を生
成することが必要かも知れない。加重１次結合を計算す
る好適な実施例は、ステップ３６４を次のように実行す
る。
【数２６】
【００６３】図１３は、図１１のステップ３７０の詳細
を示す流れ図であり、ＰフレームまたはＢフレームか
ら、低減されたイメージ・シーケンスを構成するステッ
プを示す。ここでは再度、フレーム符号化マクロブロッ
クに対して、ＤＣ、ＡＣ１０、及びＡＣ０１係数が識別
される。しかしながら、Ｐフレーム及びＢフレーム形式
の動き補償マクロブロックでは、マクロブロックがイン
トラ符号化及びフレーム符号化マクロブロックに変換さ
れなければならない。
【００６４】ステップ３７１は、現フレームが更に処理
されるべきマクロブロックを有するか否かを判断する。
有さない場合、プロセスは図１１のステップ３２０に継
続する。更に処理されるべきマクロブロックが存在する
場合、次のマクロブロックが現マクロブロックとして受
け取られ、Ｍと命名される（ステップ３７２）。ステッ
プ３７３は、現マクロブロックＭが相互符号化か否かを
テストする。そうでない場合、ステップ３７５が現マク
ロブロックＭがフレームＤＣＴ符号化か、或いはフィー
ルドＤＣＴ符号化かをテストする。フレームＤＣＴ符号
化の場合、Ｍがステップ３７７により直接処理される。
フィールドＤＣＴ符号化の場合には、式（９）及び式
（１１）乃至式（１６）により示されるＤＣＴドメイン
脱インタレース処理がＭに適用され（ステップ３７
６）、脱インタレース化マクロブロックがステップ３７
７で処理される。ステップ３７７では、現マクロブロッ
クＭからＤＣ、ＡＣ０１及びＡＣ１０値が取り出され、
プロセスはステップ３７１に継続する。ここでブロック
３７５、３７６及び３７７は、図１２のブロック３６
３、３６４及び３６５とそれぞれ同一である。ステップ
３７３で現マクロブロックが相互符号化の場合、後述の
ＤＣＴドメイン逆動き補償がＭに適用される（ステップ
３７４）。ステップ３７４の後、誤差項が計算されて、
ステップ３７７から生成された各ＤＣＴ係数に追加され
（ステップ３７８）、プロセスはステップ３７１に継続
する。この誤差項の計算は、図１２でＩフレームが処理
されたのと同様に実行され得る。
【００６５】図１４は、図１３の詳細を示すブロック図
であり、ＤＣＴドメイン逆動き補償を適用し、相互符号
化マクロブロックをイントラ符号化フレーム符号化マク
ロブロックに変換するステップの好適な実施例を示す。
それにより、ＤＣ、ＡＣ１０、及びＡＣ０１係数が識別
され得る。
【００６６】ステップ６４０で、現マクロブロック内の
ブロックの数がＮにセットされ、各ブロックがＢ1、
Ｂ2、．．．、ＢNにセットされる。ステップ６４１で、
指標変数ｉが０にセットされる。ステップ６４２で、指
標変数ｉが１増分される。ステップ６４３は、指標変数
ｉの現値がＮ以下であるか否かを判断する。そうでない
場合、ＤＣＴドメイン逆動き補償が終了され、プロセス
は図１３のステップ３７１に継続する。それ以外では、
ステップ６４４で、ブロックＢiが受け取られる。我々
は、Ｂiに関連付けられる低減されたイメージ表現を獲
得することを希望する。より一般的には、イントラ・フ
レーム動き補償を用いて符号化される、Ｂ iのイントラ
・フレームＤＣＴ符号化表現を獲得したい訳である。ブ
ロックＢiに関連付けられる動きベクトルにもとづき、
寄与するアンカ・ブロックの数Ｋが決定される。ここで
寄与するアンカ・ブロックをＡj（ｊ＝１、
２、．．．、Ｋ）と呼ぶことにする。ステップ６４５乃
至６４７では、指標ｊが初期化され、ＢiのＤＣＴ表現
に対するアンカ・ブロックＡjの寄与度を計算するため
に使用される。現アンカ・ブロックＡjの寄与度が計算
され、これがＣにより表され（ステップ６４８）、次に
Ｃ（Ｂi）に加算される（ステップ６４９）。プロセス
はステップ６４６に戻り、再度繰り返される。結果のＣ
（Ｂi）は、ブロックＢiのＤＣＴ表現、或いはブロック
Ｂiの低減されたイメージ表現を提供し、これはブロッ
クＢiのＤＣＴドメイン値のＤＣ係数及び下位のＡＣ係
数と等価である。
【００６７】図３及び図４を参照すると、現ブロック１
３１が、基準フレームのそれぞれのアンカ・ブロック１
３４乃至１３７の一部１３４Ｐ乃至１３７Ｐから生成さ
れることが示される。従って、現ブロック１３１を生成
するために、これらの部分１３４Ｐ乃至１３７Ｐの各々
の現ブロック１３１に対する寄与度が決定されなければ
ならない。これらの寄与度は、現ブロックを生成するた
めに線形的に重み付けされ、重みは動き補償のモード
（フィールドまたはフレーム・ベースの動き補償）、ア
ンカ・ブロックの符号化タイプ（フィールドまたはフレ
ーム符号化）、及び動きベクトルにより決定される。こ
れはＭＰＥＧ−１に対する従来技術でも、フレーム符号
化ブロック及びフレーム・ベースの動き補償に限り実施
されるが、従来技術では、フレーム及び（または）フィ
ールド・ベースの動き補償に関連して、すなわちＭＰＥ
Ｇ−２に関連して、フレーム及び（または）フィールド
符号化ブロックにおけるこれらの寄与度を決定する装置
または方法は、開示または提案されていない。
【００６８】マクロブロック１３２の現ブロック１３１
Ｄへの、それぞれのブロック１３４乃至１３７の各部分
１３４Ｐ乃至１３７Ｐの寄与度を決定するために、各マ
クロブロック１３２のヘッダが使用され、マクロブロッ
ク１３２が、１）フィールド・ベースの動き補償により
生成されるか、或いは２）フレーム・ベースの動き補償
により生成されるかが判断される。次に、それぞれのブ
ロック１３４乃至１３７の各々がフィールド符号化か、
或いはフレーム符号化かが判断される。次に示す４つの
ケースの各々が、イントラ符号化且つフレーム符号化Ｄ
ＣＴブロックに変換される。 ａ．現ブロックがフィールド・ベースの動き補償から生
成され、寄与するアンカ・ブロック（例えば１３４）が
フィールド符号化される。 ｂ．現ブロックがフィールド・ベースの動き補償から生
成され、寄与するアンカ・ブロック（例えば１３４）が
フレーム符号化される。 ｃ．現ブロックがフレーム・ベースの動き補償から生成
され、寄与するアンカ・ブロック（例えば１３４）がフ
ィールド符号化される。 ｄ．現ブロックがフレーム・ベースの動き補償から生成
され、寄与するアンカ・ブロック（例えば１３４）がフ
レーム符号化される。
【００６９】これがどのように実行されるかに関する詳
細については、図１４のステップ６４８の詳細を示す図
１５に関する後述の説明を参照されたい。
【００７０】図１５は、アンカ・ブロックの寄与度を計
算するために使用されるステップ、すなわち図１４のス
テップ６４８の詳細を示す流れ図である。ステップ６Ａ
１で、アンカ・ブロックがブロックＡjにセットされ、
動きタイプがＭＴにセットされる。ブロック６Ａ２で
は、動きタイプＭＴがフレーム予測か、或いはフィール
ド予測かがテストされる。フレーム予測の場合、更にブ
ロックＡjがフレーム符号化か、或いはフィールド符号
化かがテストされる。フレーム符号化の場合、プロセス
はステップ６８４に移行し、フィールド符号化の場合に
は、プロセスはステップ６８３に移行する。一方、動き
タイプＭＴがフィールド・ベースの予測の場合、ステッ
プ６Ａ４でアンカ・ブロックがフレーム符号化か、或い
はフィールド符号化かがテストされる。フレーム符号化
の場合、プロセスはステップ６８２に移行し、そうでな
い場合にはステップ６８１に移行する。ステップ６８
１、６８２、６８３及び６８４は、上述のパラグラフの
ａ、ｂ、ｃ及びｄにより記されるケースをそれぞれ処理
する。
【００７１】次に、関心の現ブロックＢiへのアンカ・
ブロックＡj（ｊ＝１、２、．．．、Ｋ）の寄与度を計
算する、１つの好適な方法について述べる。アンカ・ブ
ロックＡjのＤＣＴドメイン値が存在し、ＢiのＤＣＴド
メイン値を計算したい訳である。更に、動きベクトル情
報が使用される。ＢiのＤＣＴ係数の完全なセット、及
びＢiのフレーム符号化バージョンのＤＣ係数の構成に
ついて述べる。
【００７２】以下の説明では、表記の簡略化のため、構
成される現ブロックをＱと呼び、アンカ・ブロックをＭ
iまたはＮi（０≦ｉ≦３）と呼ぶ。最初に、動き補償が
フィールド・ベースの予測であるステップ６８１及び６
８２（上述のケースａ及びｂに対応）について考えてみ
よう。
【００７３】１）ターゲット・ブロックのフィールド・
ベースの予測：ステップ６８１及び６８２、すなわちケ
ースａ及びｂ：フィールド・ベースのＭＣでは、マクロ
ブロックの上下のフィールドを予測するために、２つの
動きベクトルが使用される。空間ドメイン内のフィール
ド・ベースのＭＣが、図１６に示される。ここでの目標
は、アンカ・ブロックＭi、ＮiのＤＣＴドメイン表現、
及び動きベクトル（ｗt 0、ｈt 0）及び（ｗb 0、ｈb 0）か
ら、８×８ブロックＱのＤＣＴドメイン表現を構成する
ことである。ここでアンカ・ブロックは、インタレース
形式または非インタレース形式に符号化され得る点に注
意されたい。次に、好適な実施例の詳細について述べる
ことにする。
【００７４】図１６では、ターゲット・ブロックＱの上
フィールド７１０が、４つの８×８アンカ・ブロックＭ
0、Ｍ1、Ｍ2、Ｍ3から予測され、下フィールド７２０が
４つの８×８アンカ・ブロックＮ0、Ｎ1、Ｎ2、Ｎ3の別
のセットから予測される。一般性を失うことなく、Ｑの
上下のフィールドを生成するための動きベクトルを、そ
れぞれ（ｗt 0、ｈt 0）及び（ｗb 0、ｈb 0）と仮定する。
図１６では、アンカ・ブロック及びターゲット・ブロッ
クが、非インタレース形式の空間ドメイン・ブロックで
ある。しかしながら、ＤＣＴドメイン内で、これらのア
ンカ・ブロックは異なるアンカ・マクロブロックに属し
得、異なる形式で符号化され得る、すなわちフレーム符
号化またはフィールド符号化され得る。空間ドメイン内
のブロックＱの予測は、次のように表される。
【数２７】
【００７５】ここで、Ｍi及びＮiは、インタレース形式
または非インタレース形式のアンカ・ブロックを表す。
各アンカ・ブロックＭiまたはＮiに対して、ＱMiまたは
ＱNiは、ターゲットＱの予測へのＭiまたはＮiの寄与度
を示し、Ｐt iＳt i1ＭiＳt i2またはＰb iＳb i1ＮiＳb i2に
より計算される。ここでＰt i、Ｐb i、Ｓt ij、及びＳ b ij
（０≦ｉ≦３、０≦ｊ≦２）はマトリックスであり、こ
れらについては以下で述べる。ターゲット・ブロックＱ
は、各アンカ・ブロックからの寄与度の総和により形成
される。
【００７６】ＱのＤＣＴドメイン表現は、次の式により
与えられる。
【数２８】
【００７７】寄与度ＱMiまたはＱNi（０≦ｉ≦３）を計
算するために、３つのステップが含まれる。第１に、各
アンカ・ブロックＭiまたはＮiから、Ｑの予測に寄与す
るサブブロック（以下、寄与サブブロック）が識別され
る。第２に、識別された寄与サブブロックが、適切な隅
に向けて垂直方向及び水平方向にシフトされる。これは
マトリックスＳt ij及びＳb ij（０≦ｉ≦３、０≦ｊ≦
２）を乗算することにより達成される。第３に、シフト
された寄与サブブロックの各行が、Ｐt i及びＰb iを乗算
することにより、Ｑに対応する正しい行位置に配置され
る。マトリックスＳt ij、Ｓb ij、Ｐt i及びＰb iは、Ｍi
及びＮiの表現にもとづいて決定される。
【００７８】次に、アンカ・ブロックの２つの別々のケ
ースについて、すなわちｉ）アンカ非インタレース形
式、及びｉｉ）アンカ・インタレース形式について考え
てみよう。
【００７９】ｉ）アンカ非インタレース形式：ステップ
６８１、すなわちケースａ：Ｍi（Ｎi）が非インタレー
ス形式のブロックを表すとき、Ｍi＝Ｍi（Ｎi＝Ｎi）と
書くことにする。この場合、我々は、ＤＣＴドメイン内
において、非インタレース形式で符号化されるＭiの、
Ｑに対する寄与度を計算したい。しかしながら、動き補
償のモードは、依然フィールド・ベースの動き補償であ
る。
【００８０】最初に、適切なフィールド選択の後（この
場合、図１６に従う上（下）フィールド）、Ｍi（Ｎi）
の寄与サブブロックをシフトし、寄与ブロックを構成す
る。図１７は、ＱM2を構成する手順を示す。
【００８１】サブブロックは単に、水平及び垂直変位
（ｗt i、ｈtｉ）または（ｗb i、ｈb i）から識別され
る。アンカ・ブロック内のサブブロックの位置、及びそ
の水平及び垂直サイズは、ＭＰＥＧ−１の場合と同様
に、シフトの量及び方向を決定する。従って、ＭＰＥＧ
−１におけるＤＣＴドメイン動き予測におけるシフトの
ためのマトリックス（表１のＳijにより示される）は、
Ｓt ij及びＳb ijとして使用される。すなわち、
【数２９】Ｓt ij＝Ｓij（ｈt i、ｗt i） （２０） Ｓb ij＝Ｓij（ｈb i、ｗb i） （２１）
【００８２】図１７では、寄与サブブロックがアンカ・
ブロックＭ2の右上隅のｈt iｘｗt iブロックであり、寄
与ブロックＱM2内の左下隅にシフトされる。
【００８３】寄与ブロックにおけるフィールド選択は、
上フィールド予測と下フィールド予測とで異なる。上フ
ィールド予測では、あらゆる奇数行が選択される。しか
しながら、下フィールド予測では、選択された奇数行が
偶数行にマップされる。すなわち、
【数３０】Ｐt i＝Ｐsel、Ｐb iＰswapＰsel （２２）
【００８４】ここでＰsel及びＰswapは次のように与え
られる。
【数３１】
【００８５】
【表２】
【００８６】ｉｉ）アンカ・インタレース形式：ステッ
プ６８２、すなわちケースｂ：Ｍi（Ｎi）がインタレー
ス形式のブロックを表すとき、特定のインタレース式マ
クロブロックＤ'内において、Ｍi（Ｎi）＝Ｄj'であ
る。
【数３２】
【００８７】この場合、我々はＤＣＴドメイン内におい
て、インタレース形式で符号化されるＭiの、Ｑに対す
る寄与度を計算したい。動き補償のモードは、依然フィ
ールド・ベースの動き補償である。
【００８８】インタレース形式の８×８ブロックが提供
される場合、ブロックの上半分（すなわち最初の４行）
を上領域と呼び、ブロックの下半分（すなわち最後の４
行）を下領域と呼ぶ。従って、各インタレース式アンカ
・ブロックの寄与サブブロックは、上領域または下領域
のいずれかに属する。各領域内において、寄与サブブロ
ックは、ｉ＝０、１のとき、Ｍi及びＮiに対して、
【数３３】
【００８９】により変位され、ｉ＝２、３の時には、Ｍ
i及びＮiに対して、
【数３４】
【００９０】により変位される。
【００９１】図１８及び図１９は、フィールド・ベース
ＭＣ及びフィールド符号化アンカ・ブロックＭ2の状況
を示す。図１８及び図１９において、動きベクトル１５
０は（ｈt 2、ｗt 2）であり、Ｍ2内の寄与サブブロック
が、Ｑの上フィールドに寄与することが望まれる。図１
８では、寄与サブブロックが上領域に由来するのに対し
て、図１９では、寄与サブブロックが下領域に由来す
る。
【００９２】水平シフトの方向及び量は、アンカ非イン
タレースの場合同様、ｗt iまたはｗ b iにより決定され
る。すなわち、Ｓt i2＝Ｓi2（ｗt i）及びＳb i2＝Ｓ
i2（ｗb i）である。しかしながら、垂直シフトは、ブロ
ックがインタレース形式に符号化されるために各領域に
対して異なる。垂直シフトにおけるマトリックスＳt i1
及びＳb i1の選択が表２に示される。寄与サブブロック
がインタレース式アンカ・ブロックの上領域に属する場
合、Ｓu i1がＳt i1及びＳb i1の両方に対して選択され、
寄与サブブロックが下領域に属する場合には、Ｓl i1が
選択される。
【００９３】従って、Ｓt i1ＭiＳt i2またはＳb i1ＭiＳb
i2においてシフトされた寄与サブブロックは、依然イン
タレースされている。従って、非インタレース形式の寄
与ブロック、すなわちＱMiまたはＱNiを構成するため
に、その各行が右の行位置にマップされる必要がある。
これはＤＣＴドメイン脱インタレース処理に使用される
置換マトリックスＰの、２つの要素マトリックスＰ0及
びＰ1を用いて達成される。上フィールド予測では、Ｐ0
すなわちＰt i＝Ｐ0（０≦ｉ≦３）を用い、サブブロッ
クの各行が、ターゲット・ブロックの第１行から開始し
て、１つ置きの行に拡張される。下フィールド予測で
は、Ｐ1すなわちＰb i＝Ｐ1（０≦ｉ≦３）を用い、各行
がターゲット・ブロックの第２行から開始して、１つ置
きの行に拡張される。
【００９４】２）ターゲット・ブロックＱのフレーム・
ベースの予測：ステップ６８３及び６８４、すなわちケ
ースｃおよびｄ：フレーム予測では、ターゲット・ブロ
ックの上下の両方のフィールドを予測するために、動き
ベクトルが使用される。空間ドメイン・ブロックの予測
は、一般に次のように表される。
【数３５】
【００９５】アンカ・ブロックＭiが非インタレースさ
れる場合、それはターゲット・ブロックの上下の両方の
フィールドに寄与する。寄与度は次のように表される。
【数３６】ＱMi＝ＳilＭiＳi2
【００９６】ここで、Ｓij（ｉ＝０、１、２、３及びｊ
＝１、２）は、前述のように、寄与サブブロックをシフ
トするためのマトリックスである。アンカ・ブロックＭ
iがインタレースされる場合、Ｍiはターゲット・ブロッ
クの上下のいずれかのフィールドに寄与し、５つ以上の
アンカ・ブロックが存在し得る。この場合、寄与度ＱMi
は、フィールド・ベースの予測（アンカ・インタレース
式）の場合のように計算され得る。すなわち、
【数３７】ＱMi＝Ｐt iＳt ilＭiＳt i2 （２４）
【００９７】または
【数３８】ＱMi＝Ｐb iＳb ilＭiＳb i2 （２５）
【００９８】低減されたイメージ生成のための選択ＤＣ
Ｔ係数の計算：相互符号化Ｐ及びＢフレームから、ＤＣ
またはＤＣ＋２ＡＣイメージのような低減されたイメー
ジを生成するために、Ｑの選択ＤＣＴ係数、ハットＳt
ij、ハットＳb ij、ハットＰt i、及びハットＰb i（０≦
ｉ≦３及び１≦ｊ≦２）だけが事前に計算され得る。ハ
ットＱ内の各要素に対する各アンカ・ブロックの寄与度
は、寄与アンカ・ブロックのＤＣＴ係数の加重１次結合
として、次のように表すことができる。
【数３９】
【００９９】ここで重みは、
【数４０】
【０１００】であり、ａ）動き補償のモード（フィール
ド・ベースまたはフレーム・ベース）、ｂ）寄与アンカ
・ブロックの符号化モード（フィールド符号化またはフ
レーム符号化）、及びｃ）動きベクトルに依存する。従
って、次のように表すことができる。
【数４１】
【０１０１】式（２７）から、寄与ブロックの成分ＤＣ
Ｔ値の予測は、６４回の乗算を要求し、ターゲット・ブ
ロックの予測のために、最大６４×８回の乗算を生じ
る。なぜなら、最大８つの可能な寄与アンカ・ブロック
が存在するからである。
【０１０２】更に、潜在的に将来のアンカ・ブロックと
して使用され得るターゲット・ブロックの、ＤＣ及び選
択ＡＣ値を構成する必要がある。ＭＰＥＧ−１と異な
り、Ｂフレーム内のブロックは、アンカ・ブロック（他
のフィールドの予測のためのフィールド・ベースの動き
補償）として使用され得る。このことは、Ｐフレーム及
びＢブレーム内のほとんどの予測ブロックのＤＣ及び選
択ＡＣ値を維持する必要があることを意味する。
【０１０３】式（２７）の加重１次結合の高速の計算
が、式（２８）内の係数の選択セットだけを用いること
により達成される。１つの好適な実施例は、式（２７）
の計算を０≦ｍ＋ｎ≦１に制限する、すなわちイントラ
符号化アンカ・ブロックのＤＣ、ＡＣ０１及びＡＣ１０
係数だけを使用することである。これはＤＣ＋２ＡＣ近
似と呼ばれる。ＤＣ＋２ＡＣ近似では、式（２７）は次
のようになる。
【数４２】
【０１０４】ここで、ｗkl（ｉ、ｍ、ｎ）は式（２８）
で定義される。特に興味深いことは、ＤＣＴ（Ｑ）00、
ＤＣＴ（Ｑ）01、及びＤＣＴ（Ｑ）10だけを保存するこ
とである。
【０１０５】高速アルゴリズム：次に、共用情報にもと
づく、空間的に低減されたイメージの高速ＤＣＴドメイ
ン逆動き補償及び高速抽出のための好適なアルゴリズム
について述べる。より厳密には、式（１８）及び式（３
１）の高速評価のための好適なアルゴリズムについて述
べる。高速化は２つのクラスの方法、すなわちｉ）同一
の符号化形式を有する隣接アンカ・ブロック、及びｉ
ｉ）同一のマクロブロック内のアンカ・ブロックにまた
がる共用情報にもとづく。
【０１０６】高速化の共通のテーマは、置換マトリック
スが含まれるように、逆動き補償プロセスにおいて、寄
与サブブロックの動きを再順序化することである。置換
マトリックスの使用は、同一の符号化形式を有する隣接
アンカ・ブロック、及び同一のマクロブロック内のアン
カ・ブロックにまたがる共用情報の最大利用を可能にす
る。まず最初に、置換マトリックスが、空間的に低減さ
れたイメージの再構成の高速化を如何に可能にするか、
すなわち、同一の符号化形式を有する隣接アンカ・ブロ
ック、及び同一のマクロブロック内のアンカ・ブロック
にまたがる共用情報を用い、式（３１）の評価の高速化
を如何に可能にするかについて述べる。
【０１０７】最初に、書式ＤＣＴ（ＡＢＣ）のＤＣ、Ａ
Ｃ０１及びＡＣ１０係数の近似計算の好適な実施例は、
次のようである。ここでＡ、Ｂ及びＣは、８×８のマト
リックスである。
【数４３】
【０１０８】ｖkl（ｍ、ｎ）は、ハットＡkmハットＣnl
であり、０≦ｋ＋ｌ≦１である。ＡまたはＣが置換マト
リックスＰの場合、次の式が得られる。
【数４４】
【０１０９】ここで、ｋ＋ｌ≦１及びｍ＋ｎ≦１であ
る。表３、表４及び表５は、近似式内で使用される９個
の係数の値を示す。すなわち、各（ｋ、ｌ）及び（ｍ、
ｎ）対に対して、ｖ0 kl（ｍ、ｎ）（表３）、ｖ
1 kl（ｍ、ｎ）（表４）、及びｖ2 kl（ｍ、ｎ）（表５）
である。表３及び表４は、４つのエントリが０である一
般的な場合に、ティルドＤＣＴ（ＰＢＡ）またはティル
ドＤＣＴ（ＡＢＰ）の３つの値（ＤＣ、ＡＣ０１及びＡ
Ｃ１０）が、５回の乗算により計算され、４回の乗算を
節約することを示す。同様に、表５は１つのエントリが
１で、６つのエントリが０の時、ティルドＤＣＴ（ＰＢ
Ｐ'）が２回の乗算だけにより計算され得ることを示
す。
【０１１０】垂直方向または水平方向に隣接するアンカ
・ブロックが同一の符号化形式を有する場合、ＤＣＴド
メイン逆動き補償の式が、置換マトリックスを含むよう
に再編成され得、それにより図３、図４及び図５により
提案されるように、同一の計算に対する計算費用が低減
され得る。更に説明を続けると、水平シフトＳi2のため
のマトリックスは次の属性を有する。
【数４５】
【０１１１】そして、Ｐ0は８×８置換マトリックスで
ある。
【０１１２】次に、式（３６）及び式（３７）、及び表
３乃至表５により提案される高速化を利用するように、
式（３１）を書き直す好適な実施例について述べること
にする。
【表３】
【０１１３】
【表４】
【０１１４】
【表５】
【０１１５】同一の符号化形式を有する隣接アンカ・ブ
ロック： ｉ）同一の符号化形式を有する２つの隣接アンカ・ブロ
ック、及びｉｉ）同一の符号化形式を有する４つの全て
の隣接アンカ・ブロックの２つの場合が存在する。
【０１１６】ｉ）同一の符号化形式を有する２つの隣接
アンカ・ブロック：２つの上アンカ・ブロックＭ０及び
Ｍ１が、同一形式で符号化されたマクロブロックに属す
るものと仮定する。この場合、符号化形式または動き予
測モードに関係無しに、
【数４６】Ｓ01＝Ｓ11、Ｐ0＝Ｐ1 （３８）
【０１１７】である。これらの関係を用い、ＱM0＋ＱM1
の予測を記述する好適な方法は、次のようになる。
【数４７】 ＱM0＋ＱM1＝Ｐ0Ｓ01Ｍ0Ｓ02＋Ｐ1Ｓ11Ｍ1Ｓ12 （３９） ＝Ｐ0Ｓ01（Ｍ0−Ｍ1）Ｓ02＋Ｐ0Ｓ01Ｍ1Ｐ0 （４０）
【０１１８】式（４０）の第２項内には、置換マトリッ
クスによる事後乗算が存在する。式（４０）内の第１項
のＤＣ＋２ＡＣ近似は、９回の乗算を要求するが、第２
項のＤＣ＋２ＡＣ近似を計算する好適な方法は、表４か
ら５回の乗算により実行され得る。式（３９）に比較し
て、ハットＭ0−ハットＭ1を計算するためには、余分な
３回の加算が必要とされる。しかしながら、（表４か
ら）４つの項が０であるので４回の加算が節約され、結
果的に４回の乗算及び１回の加算演算が節約される。こ
の好適な実施例は、寄与度を２つの別々のステップで計
算する（すなわち、ＱM0及びＱM1を独立に計算する）の
ではなしに、ＱM0＋ＱM1の寄与度を１つのステップで一
緒に計算する。それによる利点は、ＱM0＋ＱM1を置換マ
トリックスに関して表現すること、従って表４により提
案されるように、乗算の回数が低減されることに由来す
る。
【０１１９】同様に、２つの下アンカ・ブロックＭ2及
びＭ3が、同一形式で符号化される場合、ＱM2＋ＱM3の
予測に対する式が同様に書き直され、同一の計算量を節
約する。この場合、Ｓ21＝Ｓ31及びＰ2＝Ｐ3の事実が使
用される。
【０１２０】垂直方向に隣接するアンカ・ブロックが同
一の形式により符号化される場合、類似の節約が達成さ
れ得る。しかしながら、計算の低減は、アンカ・ブロッ
クの予測モード及び符号化形式に依存する。例えば、２
つのアンカ・ブロックＭ0及びＭ2が同一形式で符号化さ
れる場合、Ｐ0＝Ｐ2、及び
【数４８】 ＱM0＋ＱM2＝Ｐ0Ｓ01Ｍ0Ｓ02＋Ｐ2Ｓ21Ｍ2Ｓ22 ＝Ｐ0Ｓ01（Ｍ0−Ｍ2）Ｓ02＋Ｐ0ＸＭ2Ｓ02 （４１）
【０１２１】を有する。ここでＸ＝Ｓ01＋Ｓ21である。
フレーム・ベースのＭＣ及び非インタレース式アンカ・
ブロックの場合、Ｐ0＝Ｉであり、Ｘは置換マトリック
スであり、水平方向の隣接ケースと同じ節約がもたらさ
れる。一般に、インタレース式アンカ・ブロックを有す
る場合には、Ｘは置換マトリックスではない。
【０１２２】ｉｉ）同一の符号化形式を有する４つの全
ての隣接アンカ・ブロック：４つの全てのアンカ・ブロ
ックが同一形式で符号化される場合、Ｑを表す好適な方
法は、次のようである。
【数４９】
【０１２３】式（４２）において、２つの項は置換マト
リックスＰ0を含む。従って、ＱのＤＣ＋２ＡＣ近似
が、２８（＝９＋９＋５＋５）回の乗算により計算され
得る。これはまた、Ｒ1＝ハットＭ1−ハットＭ3、Ｒ2＝
ハットＭ2−ハットＭ3、及びハットＭ0−Ｒ1−Ｒ2を計
算するために、９回の余分な加算演算を要求し、０の係
数により８回の加算が節約される。この近似は、８回の
乗算演算を節約し、１回の余分な加算演算を要求する。
フレーム・ベースのＭＣ及び非インタレース式アンカの
場合、Ｐ0Ｘもまた置換マトリックスである。この場
合、乗算の回数は２１（＝９＋５＋５＋２）に低減さ
れ、１５回の乗算及び５回の加算演算が節約される。ま
た、ここでは式（４２）の項をＺ1、Ｚ2、Ｚ3及びＺ4と
ラベル付けする。これらは後に、式（４７）、式（４
８）及び式（４９）において、並びに同一のマクロブロ
ック内の４つのブロックのＤＣＴドメイン逆動き補償を
実行する高速な方法を示す図２６乃至図３３において参
照される。
【０１２４】マクロブロック・ベースの予測：中間計算
の再利用： 多くの場合、隣接ターゲット・ブロックのセットは同一
の動きベクトルを用いて予測される。例えば、マクロブ
ロック内の４つの８×８輝度データ・ブロック（または
クロマ４４４の色差データ・ブロック）は、フィールド
予測及びフレーム予測の両方において、同一の動きベク
トルを共用する。クロマ４２２では、色差の２つの垂直
方向に隣接するブロックが同一の動きベクトルを共用す
る。こうしたケースでは、同一のアンカ・ブロックが複
数のターゲット・ブロックにまたがり共用され得る。こ
のことは、複数のターゲット・ブロックの予測におい
て、多分共用情報が存在することを意味する。以下の説
明において、ブロック間の共用情報を考慮することによ
り、８×８ブロックを含む１６×１６マクロブロックの
ＤＣＴ逆動き補償を計算する好適な実施例について述
べ、獲得される高速化を例証することにする。他の類似
のケースについても推論され得る。
【０１２５】図２０は、１６×１６マクロブロックＱの
予測を示す。４つの８×８ターゲット・ブロックＱM１
００５、ＱN１０１０、ＱT１０１５、及びＱU１０２０
の各々は、それぞれ４つのアンカ・ブロックＭi、Ｎi、
Ｔi及びＵi（ｉ＝０、１、２、３）から予測される。タ
ーゲット・ブロック（１００５、１０１０、１０１５、
１０２０）の予測において、４つの寄与アンカ・ブロッ
クのＤＣＴドメイン値が計算され、加算される必要があ
る。しかしながら、４つのターゲット・ブロックの予測
は、互いに強く相関付けられ、独立に計算される必要が
ない点に注意されたい。次の２つの観測について考えて
みよう。
【０１２６】第１に、合計１６個の寄与アンカ・ブロッ
クが存在するが、実際には９個の異なるアンカ・ブロッ
クだけが存在し、それらの５個は複数のターゲット・ブ
ロック間で共用される。なぜなら、ターゲット・ブロッ
クは同一のマクロブロックに属し、同一の動きベクトル
１０５０を用いて予測されるからである。例えば、ター
ゲット・ブロックＱM１００５及びＱN１０１０は、２つ
のアンカ・ブロックを共用する。すなわち、Ｍ1＝Ｎ0及
びＭ3＝Ｎ2である。同様に、ＱM１００５及びＱT１０１
５は、Ｍ2＝Ｔ0及びＭ3＝Ｔ1を共用する（以下同様）。
第２に、アンカ・ブロック内の各寄与サブブロックの垂
直方向及び水平方向の変位は、４つのターゲット・ブロ
ックＱM１００５、ＱN１０１０、ＱT１０１５、及びＱU
１０２０に渡り同一である。すなわち０≦ｉ≦３におい
て、ｗMi＝ｗNi＝ｗTi＝ｗUi及びｈMi＝ｈNi＝ｈTi＝ｈ
Uiである。ここでアンカ・ブロックを上付き文字として
有するｗ及びｈ（ｗMi、ｈMiなど）は、各アンカ・ブロ
ックに関連付けられる動きベクトルに起因する水平方向
及び垂直方向の変位を示す。
【０１２７】ｉ）２つの隣接領域の寄与度の計算： 最初に、それぞれのアンカ・ブロックが同一の符号化形
式を有するとき、図２０及び図２１に示されるように、
２つの水平方向に隣接するターゲット・ブロックＱM１
００５及びＱN１０１０の上領域１１１５の予測につい
て考えよう。図２２以降、寄与サブブロックが非インタ
レース形式で符号化されるものと仮定し、それらの移動
及び加算だけについて示す。すなわち、寄与サブブロッ
クの各移動が、総称的にＰ0ＹＬＺにより表され、ここ
でＹはＳi1またはＸの形式であり、Ｌはアンカ・ブロッ
ク（例えばＭ0）またはアンカ・ブロックの組み合わせ
（例えばＭ0−Ｍ1）であり、ＺはＳi2またはＰ0の形式
であり、図においてＰ0の影響は単純化のために無視す
る。寄与サブブロックがインタレース形式で符号化され
るときの状況についても類似である。
【０１２８】強引な力任せのアプローチ（従来技術）
が、図２２に示される。サブブロックＡ、Ｂ、Ｃ及びＤ
の各々は、ＤＣＴドメイン内で別々に処理され、Ａ及び
ＣはそれぞれＭ0及びＭ1の右下隅から、中間ブロック１
２２０及び１２２５の左上隅に移動され、Ｂ及びＤはそ
れぞれＭ1（＝Ｎ0）及びＮ1の左下隅から、中間ブロッ
ク１２３０及び１２３５の右上隅に移動される。中間ブ
ロックの残りの係数は０にセットされる（中間ブロック
１２２０、１２２５、１２３０及び１２３５内の白の空
間）。ブロックを移動するために、事前及び事後乗算に
使用されるＳ0、jマトリックスもまた、図２２に示され
る。移動の後、Ａ及びＢを含む中間ブロックが一緒に加
算され、またＣ及びＤを含む中間ブロックが一緒に加算
されて、イントラ符号化ターゲット・ブロック１００５
Ａ及び１０１０Ａの上領域（１１０５及び１１１０）が
生成される。この方法では、４対の事前及び事後乗算が
必要とされる。
【０１２９】しかしながら、本発明は、３つの寄与イン
トラ符号化アンカ・ブロックＭ0、Ｍ1（＝Ｎ0）及びＮ1
にまたがる共用情報（Ｂ及びＣ）を考慮し、ターゲット
・ブロックの上領域１１０５及び１１１０の寄与度を計
算する好適な実施例を示す。本発明により処理される情
報の共用が図２３に示され、このプロセスの流れ図が図
２４に示される。好適な実施例では、サブブロックＡ、
Ｂ、Ｃ及びＤの各々を別々に移動する代わりに、図２４
に示されるように、隣接するイントラ符号化アンカ・ブ
ロックの各対（Ｍ0、Ｍ1対及びＭ1、Ｎ1対）が、最初に
お互いから減算される（ステップ１４０２）。ステップ
１４０３では、ステップ１４０２のブロック減算から生
じた右下のサブブロックＡ−Ｃが左上隅に移動され、ス
テップ１４０４では、ステップ１４０２のブロック減算
から生じたサブブロックＤ−Ｂが、右上隅に移動され
る。この移動のためのマトリックスが図２３に示され、
これらは図２１で使用されたマトリックスと同じであ
る。基本的な違い（ステップ１４０４）は、左下隅のサ
ブブロックＢ及び右下隅のサブブロックＣを、それぞれ
右上及び左上に同時に移動することである。こうした移
動は、１つの事前及び事後乗算、すなわちＳ01（ｈ）Ｍ
1Ｐ0（ｗ）により表すことができる。ここでＰ 0（ｗ）
は式（３７）により定義される。結果が再度加算され
（１３０６、１４０６）、Ｌ1（１３０５Ａ）及びＬ
2（１３１０Ａ）が生成される。好適な実施例では、３
対の事前及び事後マトリックス乗算が必要とされる。そ
れに対して、図２２に示される強引なアプローチでは、
４対の乗算を使用する。
【０１３０】従来技術のように、イントラ符号化共用ア
ンカ・ブロックの共用情報（すなわち寄与サブブロック
Ｂ及びＣ）を、４つの中間ブロックに分離するのではな
く、本発明は"非共用"イントラ符号化アンカ・ブロック
の各々内の共用情報（サブブロックＢ及びＣ）を考慮す
る。次に、寄与サブブロック（Ｂ及びＣ）の位置が、イ
ントラ符号化共用アンカ・ブロック内で反転され、中間
ブロックのそれぞれの対を加算することにより、イント
ラ符号化ターゲット・ブロック（例えば１３０５Ａ＝１
００５Ａ及び１３１０Ａ＝１０１０Ａ）の、同一の上領
域（それぞれ１１０５及び１１１０）が生成される。し
かしながら、これはサブブロック（Ａ、Ｂ、Ｃ及びＤ）
を移動するために、２５％少ないマトリックス乗算によ
り達成される。更に、３つの中間ブロックが使用される
だけである。
【０１３１】図２４の流れ図のより厳密な説明を以下で
述べる。式（４０）はステップ１４０２、１４０４及び
１４０６を定義する。式（４０）は次のように書き直す
ことが出来る。
【数５０】 ＱM0＋ＱM1＝Ｐ0Ｓ01（Ｍ0−Ｍ1）Ｓ12＋Ｐ0Ｓ01Ｍ0Ｐ0 （４３）
【０１３２】また、ターゲット・ブロックＱNの対応す
る式を、次のように書き表すことが出来る。
【数５１】 ＱN0＋ＱN1＝Ｐ0Ｓ01（Ｎ1−Ｎ0）Ｓ12＋Ｐ0Ｓ01Ｎ0Ｐ0 （４４）
【０１３３】前記式（４４）はステップ１４０２、１４
０４及び１４０６を定義する。式（４４）の第２項のＤ
ＣＴドメイン値、すなわちハットＰ０ハットＳ０１ハッ
トＮ０ハットＰ０は、既に式（４０）を用いて、ハット
Ｐ０ハットＳ０１ハットＭ１ハットＰ０として計算済み
である。これは共用サブブロックＢ及びＣのシフト１４
０４及びスワップ１４０４である。ハットＰ０ハットＳ
０１（ハットＮ１−ハットＮ０）ハットＳ１２（の対の
減算及び移動）だけが、ハットＱＮ０＋ハットＱＮ１を
獲得するために、更に計算される必要がある。従って、
ＤＣ＋２ＡＣ近似を生成する状況では、９回の追加の乗
算が必要とされる。式（４３）は１４回の乗算を必要と
するので、ハットＱＭ０＋ハットＱＭ１及びハットＱ
Ｎ０＋ハットＱＮ１のＤＣ＋２ＡＣ近似を構成するため
に、合計２３（＝１４＋９）回の乗算か必要とされる。
【０１３４】本開示により、同一の新規のステップが、
任意の３つの隣接する（すなわち、水平、垂直、及び対
角方向に隣接する）イントラ符号化アンカ・ブロックに
適用され得る。より厳密には、ハットＱM0＋ハットＱM2
及びハットＱT0＋ハットＱT2の予測は、それぞれ次のよ
うになる。
【数５２】 ＱM0＋ＱM2＝Ｐ0Ｓ01Ｍ0Ｓ02＋Ｐ0Ｓ21Ｍ2Ｓ22＝Ｐ0（Ｓ01Ｍ0＋Ｓ21Ｍ2）Ｓ0 2 ＝Ｐ0(Ｓ01Ｍ0＋(Ｘ−Ｓ01）Ｍ2）Ｓ02＝Ｐ0Ｓ01（Ｍ0−Ｍ2）Ｓ02＋Ｐ0ＸＭ2 Ｓ02 （４５）
【０１３５】同様に、
【数５３】 ＱT0＋ＱT2＝Ｐ0Ｓ21（Ｔ2−Ｔ0）Ｓ02＋Ｐ0ＸＴ0Ｓ02 （４６）
【０１３６】前記２つの式の第２項は、Ｍ2＝Ｔ0である
ので同一である。これはＸが置換行列である無しに関わ
らず、当てはまる。この場合、２つの領域を予測するた
めの乗算の総数は、２７（＝９＋９＋９）となる。フレ
ーム予測及びアンカ非インタレースの場合、これは２３
（＝９＋５＋９）である。
【０１３７】ｉｉ）２つの隣接ブロックの予測： 次に、本発明により、３つ以上の（例えば６つの）アン
カ・ブロック（ここではＭ0、Ｍ1、Ｎ1、Ｍ2、Ｍ3及び
Ｎ3）を用いて、２つの隣接する相互符号化ターゲット
・ブロック（例えば１００５及び１０１０）を、２つの
隣接するイントラ符号化ターゲット・ブロック（１００
５Ａ及び１０１０Ａ）に変換することについて述べる。
【０１３８】図２５において、最初に図２６で使用され
る表記法を設定する。これは図２０におけるブロックの
設定と同一のものを示し、寄与サブブロックＡ乃至Ｐを
有するように示される。アンカ・ブロックＭ0及びＭ1が
ラベル付けされ、Ｍ0−Ｍ1として結合される（１５１
０）。この表記法では、Ｍ0から引き出される実線の矢
印はＭ0が変更無しに取り出されることを意味し、Ｍ1か
ら引き出される破線の矢印はＭ1が−Ｍ1として、すなわ
ちブロックＭ1内の値が否定されて取り出されることを
意味する。前述のように、合計されたブロックＭ0−Ｍ1
をシフトするための、事前及び事後マトリックス乗算の
効果は、２つのマトリックスＳ01及びＳ02により表され
る。図２６は、式（４２）で表されるアンカ・ブロック
結合及び移動の効果を示す。サブブロックＡ、Ｂ、Ｃ、
Ｅ、Ｆ、Ｇ、Ｉ、Ｊ及びＫは、ＱMの値に寄与する。ブ
ロック結合（１６０５乃至１６０７）及び移動（１６１
５乃至１６１８）の効果は、図２６及び式（４２）でラ
ベル付けされるように、中間ブロックＺ1、Ｚ2、Ｚ3及
びＺ4を生成する。サブブロックの結合及び移動は、図
２３に示されるものと類似である。より詳細には、それ
ぞれの隣接アンカ・ブロック（Ｍ0、Ｍ1、Ｍ2及びＭ3）
からの寄与サブブロックＡ、Ｃ、Ｉ及びＫが結合されて
（１６０５）、移動され（１６１５）、その結果、中間
ブロックＺ1は、その左上隅にシフト（１６１５）され
る共用情報Ａ−Ｃ−Ｉ＋Ｋを含む。それぞれの隣接アン
カ・ブロック（Ｍ0及びＭ3）からの寄与サブブロック
Ｂ、Ｃ、Ｊ及びＫは、結合されて（１６０６）、移動さ
れ（１６１６）、その結果、中間ブロックＺ2は、その
左上隅にシフト（１６１６）される共用情報Ｃ−Ｋ、及
び同時に右上隅にシフト（１６１６）されるＢ−Ｊを含
む。同様にそれぞれの隣接アンカ・ブロック（Ｍ2及び
Ｍ3）からの寄与サブブロックＥ、Ｇ、Ｉ及びＫは、結
合されて（１６０７）、移動され（１６１７）、その結
果、中間ブロックＺ3は、その左上隅にシフト（１６１
７）される共用情報Ｉ−Ｋ、及び同時に左下隅にシフト
（１６１７）されるＥ−Ｇを含む。最後に、アンカ・ブ
ロックＭ3からの寄与サブブロックＧ、Ｆ、Ｋ及びＪ
は、結合され（１６１８）、その結果、中間ブロックＺ
4はサブブロックＧ、Ｆ、Ｋ及びＪを含むが、これらは
Ｍ3からＺ4へ向けて、左から右に、また下から上にシフ
トされる。
【０１３９】図２７では、Ｚ1乃至Ｚ4が一緒に加算さ
れ、ＱMが生成される。図２８では、ブロックが結合及
びシフトされ、隣接ターゲット・ブロックＱNを生成す
る様子が示される。ここでは、ブロックの結合及び移動
が図２６のそれらと類似する。更に、Ｚ2及びＺ4が図２
６から再利用され、２つのブロックが更に円印によりマ
ークされる。この共用形態は再度、図２２に示されるも
のと類似する。図２９では、結果が加算され、ＱNが獲
得される。新たなイントラ符号化ターゲット・ブロック
ＱM１００５及びＱN１０１０を生成する、図２６及び図
２８でのサブブロックの結合及び加算から共用情報の使
用により、僅かに６対の事前及び事後マトリックス乗算
が必要とされるだけであり、これは各々の寄与サブブロ
ックが別々に処理される場合に必要な８対の事前及び事
後マトリックス乗算と対比される。
【０１４０】図２６乃至図２９のより厳密な説明は、式
（４２）及び次に示す式（４７）により表される。
【数５４】
【０１４１】ここで、式（４７）の第２項（Ｚ2）及び
第４項（Ｚ4）は、式（４２）と同一であり、Ｎ0＝Ｍ1
及びＮ2＝Ｍ3であるので、再利用可能である。従って、
第１項及び第３項にそれぞれ対応する次式が、更に計算
される必要がある。Ｚ1＝ハットＰ0ハットＳ01（ハット
Ｎ1−ハットＮ0−ハットＮ3＋ハットＮ2）ハットＳ12及
びＺ3＝ハットＰ0ハットＸ（ハットＮ3−ハットＮ2）ハ
ットＳ12。情報の共用は、図２３に示されるものと類似
であるが、この場合には各ブロック内の２つのサブブロ
ックだけを考慮する代わりに、４つの全てのサブブロッ
クを含む。ハットＱM及びハットＱNのＤＣ＋２ＡＣ近似
を構成するための乗算の総数は、４６（＝９＋５＋９＋
５＋９＋９）となる。フレーム予測では、これは３５
（＝９＋５＋５＋２＋９＋５）となる。
【０１４２】ｉｉｉ）マクロブロック全体の予測： マクロブロック内の４つのターゲット・ブロックに対し
て、全てのアンカ・ブロックが同一の形式の場合、類似
の考え方を適用し、計算を節約することができる。ＱM
１００５及びＱN１０１０のイントラ符号化ＤＣＴ表現
が、式（４２）及び式（４７）及び図２６乃至図２９に
より示される共用にもとづき、既に計算済みと仮定する
と、更に共用情報を使用し、ＱT１０１５及びＱU１０２
０を計算することができる。
【０１４３】図３０では、ＱTを生成する結合及びシフ
トが示される。再度、４つの中間ブロックの２つ（図２
６のＺ3及びＺ4）が再利用される。図３２では、ＱUを
生成する結合及びシフトが示される。ここでは、４つの
中間ブロックの３つ（図３０のＺ8、図２８のＺ6、及び
図２６のＺ4）が再利用される。正味の効果は、この好
適な実施例において、僅かに９対の事前及び事後マトリ
ックス乗算が必要とされるだけであり、これは各々のブ
ロックＱM、ＱN、ＱT及びＱUが別々に処理される場合の
１６回と対比される。
【０１４４】図３０乃至図３３のより厳密な説明を次に
示し、ここでＱT及びＱUがそれぞれ次のように表され
る。
【数５５】
【０１４５】ＤＣ＋２ＡＣ近似において、ハットＱM及
びハットＱNが４６回の乗算（またはフレーム予測及び
アンカ非インタレースの場合には３５回）により計算さ
れ得ることを示した。式（４８）の新たな２つの項の１
つは置換行列を含み、ハットＱ TのＤＣ＋２ＡＣ近似
は、１４（＝９＋５）回の乗算だけにより計算され得
る。ハットＱUのＤＣ＋２ＡＣ近似では、第１項に対し
て９回の追加の乗算が必要とされるだけである。従っ
て、マクロブロック全体のＤＣ＋２ＡＣ近似では、６９
回（フレーム予測及びアンカ非インタレースの場合には
５８回）の乗算が使用され、結果的に、１ブロックにつ
き１７．２５回（または１４．５回）の乗算が生じる。
従って、式（３１）の高速計算のための好適な実施例
は、３６回の乗算を要求する従来方法に対して、乗算回
数において約５０％（または６０％）の改善をもたら
す。
【０１４６】低減されたイメージのアプリケーション：
本発明を用いて、圧縮ビデオから抽出される低減された
イメージのセットは、更にビデオ・ブラウジングのため
に使用され得る。低減イメージを使用するブラウジング
技術の例が、前記参考文献６で見い出される。各低減イ
メージのサイズは、全フレーム及び圧縮ビデオ自身に比
較して小さいので（例えば、空間解像度７０８×４８０
で符号化される４Ｍビット／秒のＭＰＥＧ−２ビデオの
ＤＣイメージのサイズは、８８×６０）、約０．２Ｍビ
ット／秒を有するに過ぎない。更に、ＤＣイメージのセ
ットまたはＤＣイメージのサブセットが、迅速なブラウ
ジングのために、たくさんの帯域幅を使用することな
く、サーバからクライアントへ伝送され得る。ＤＣイメ
ージは更に、ビット・レートを低減するために圧縮され
得る。
【０１４７】ブラウジング時に、低減イメージが図形表
示装置（例えば図１０の２００）上に次々に再生され得
る。表示装置２３８はテレビまたはコンピュータ・モニ
タである。計算的に高価な伸張タスクを実行する必要が
ないので、ＤＣイメージは実時間、すなわち毎秒３０フ
レームのビデオよりも高速に再生され得る。従って、Ｄ
Ｃイメージのセットが毎秒３０フレームよりも高速に再
生され得る。この機能は、ユーザがビデオ内容を迅速に
ざっと眺めることを可能にする。更に、ビデオの他の部
分へのランダム・アクセスが提供される。圧縮ビデオで
は、ランダム・アクセスがより困難となり、時間を消費
する。低減イメージは更に、それぞれのビデオ・セグメ
ントへの指標として役立つ。こうした指標は、ユーザが
選択された低減イメージを見ることにより（例えば各シ
ョットにつき１イメージ）、容易にそれぞれのショット
にナビゲートすることが可能になる点で視覚的といえ
る。
【０１４８】図３４は、低減イメージ・シーケンスを表
示するＴＶのブロック図である。画面は主ＴＶ番組（２
４０５）の表示と、低減イメージ・シーケンスを表示す
る１つ以上のウィンドウ（２４０２、２４０３）を含
む。セットトップ・ボックス２４０１内には、主ＴＶ番
組のフル・サイズ表示を復号する正規のＭＰＥＧ−２復
号器が存在する。更に、セットトップ・ボックス２４０
１は、ＭＰＥＧ−２ビデオからの、１つ以上の低減イメ
ージの抽出器を含み得る（プロセス３００、３６０及び
３７０）。この時、低減イメージ抽出器は、同一のＴＶ
番組の複数のビュー（例えば、同一のスポーツ事象の異
なるカメラ・ビュー）を表示するために、或いは異なる
チャネルから異なる番組を同時に示すために使用され得
る。制御ボタン２４０４は、（例えば遠隔制御を介し
て）他の番組からの低減イメージの表示をオンまたはオ
フしたり、異なる番組を追加のウィンドウ（例えば２４
０２及び２４０３）内に表示するように、切り替えるた
めに使用され得る。セットトップ・ボックス内の低減イ
メージ抽出器は、完全なＭＰＥＧ−２コーダに比較して
かなり安価であり、少数の抽出器の追加は、セットトッ
プ・ボックスの価格を多大に押し上げることなく、視聴
者により優れたＴＶ鑑賞及びチャネル・サーフィン経験
を提供する。
【０１４９】
【０１５０】
【図面の簡単な説明】
【図１】ＭＰＥＧビデオ規格における３つの異なる従来
のフレーム・タイプを示す図である。
【図２】ＭＰＥＧビデオ規格における従来の８×８離散
コサイン変換（ＤＣＴ）ブロックを示す図である。
【図３】ＭＰＥＧ−１ビデオ規格における従来の基準ブ
ロック、動きベクトル、及びオリジナル・ブロックを示
す図である。
【図４】ＭＰＥＧ−１ビデオ寄与サブブロックを移動す
るために使用される従来のマトリックス乗算を示す図で
ある。
【図５】ＭＰＥＧ−２ビデオ規格におけるフレーム・ピ
クチャ内の従来のフィールドＤＣＴ符号化を示す図であ
る。
【図６】ＭＰＥＧ−２ビデオ規格におけるフレーム・ピ
クチャ内の従来のフレームＤＣＴ符号化を示す図であ
る。
【図７】ＭＰＥＧ−２ビデオ規格におけるフィールド・
ピクチャ内の従来の符号化マクロブロックを示す図であ
る。
【図８】ＭＰＥＧ−２ビデオ規格におけるフレーム・ピ
クチャ内の従来のフレーム予測またはフィールド・ピク
チャ内の予測を示す図である。
【図９】ＭＰＥＧ−２ビデオ規格におけるフレーム・ピ
クチャ内の従来のフィールド予測を示す図である。
【図１０】本発明を実行するコンピュータ・システムの
好適な実施例のブロック図である。
【図１１】ＭＰＥＧ−２ビデオから低減されたイメージ
・シーケンスを構成するステップを示す流れ図である。
【図１２】Ｉフレームから低減されたイメージ・シーケ
ンスを構成するステップを示す流れ図である。
【図１３】Ｐ及び（または）Ｂフレームから低減された
イメージ・シーケンスを構成するステップを示す流れ図
である。
【図１４】ＤＣＴドメイン逆動き補償を適用するステッ
プを示す流れ図である。
【図１５】ブロックの予測における各アンカ・ブロック
の寄与度を計算するステップを示す流れ図である。
【図１６】フィールド予測を示すブロック図である。
【図１７】フィールド・ベースの動き補償及びフレーム
符号化されるアンカ・ブロックを示すブロック図であ
る。
【図１８】アンカ・ブロックがフィールド符号化され、
寄与するサブブロックが上領域に由来するフィールド・
ベースの動き補償を示すブロック図である。
【図１９】アンカ・ブロックがフィールド符号化され、
寄与するサブブロックが下領域に由来するフィールド・
ベースの動き補償を示すブロック図である。
【図２０】１６×１６マクロブロックの予測を示すブロ
ック図である。
【図２１】２つの水平方向に隣接する領域の予測を示す
ブロック図である。
【図２２】同一の動きベクトルを有する２つの隣接ブロ
ックのＤＣＴドメイン逆動き補償の強引な計算を示すブ
ロック図である。
【図２３】２つのブロック内の共用情報を使用する、同
一の動きベクトルを有する２つの隣接ブロックの高速Ｄ
ＣＴドメイン逆動き補償の好適な方法を示すブロック図
である。
【図２４】２つの隣接ブロックにまたがる共用情報を用
いる、高速ＤＣＴドメイン逆動き補償の好適な方法の流
れ図である。
【図２５】図２０の寄与サブブロックのラベル付け及び
図２６乃至図３３で使用される表記法を示す図である。
【図２６】４つのブロック内の共用情報を用いブロック
ＱMを構成する、同一の動きベクトルを有する４つの隣
接ブロックの高速ＤＣＴドメイン逆動き補償の好適な方
法を示すブロック図である。
【図２７】４つのブロック内の共用情報を用いブロック
ＱMを構成する、同一の動きベクトルを有する４つの隣
接ブロックの高速ＤＣＴドメイン逆動き補償の好適な方
法を示すブロック図である。
【図２８】４つのブロック内の共用情報を用いブロック
ＱNを構成する、同一の動きベクトルを有する４つの隣
接ブロックの高速ＤＣＴドメイン逆動き補償の好適な方
法を示すブロック図である。
【図２９】４つのブロック内の共用情報を用いブロック
ＱNを構成する、同一の動きベクトルを有する４つの隣
接ブロックの高速ＤＣＴドメイン逆動き補償の好適な方
法を示すブロック図である。
【図３０】４つのブロック内の共用情報を用いブロック
ＱTを構成する、同一の動きベクトルを有する４つの隣
接ブロックの高速ＤＣＴドメイン逆動き補償の好適な方
法を示すブロック図である。
【図３１】４つのブロック内の共用情報を用いブロック
ＱTを構成する、同一の動きベクトルを有する４つの隣
接ブロックの高速ＤＣＴドメイン逆動き補償の好適な方
法を示すブロック図である。
【図３２】４つのブロック内の共用情報を用いブロック
ＱUを構成する、同一の動きベクトルを有する４つの隣
接ブロックの高速ＤＣＴドメイン逆動き補償の好適な方
法を示すブロック図である。
【図３３】４つのブロック内の共用情報を用いブロック
ＱUを構成する、同一の動きベクトルを有する４つの隣
接ブロックの高速ＤＣＴドメイン逆動き補償の好適な方
法を示すブロック図である。
【図３４】低減されたイメージ・シーケンスを表示する
ＴＶ画面を示す図である。
【符号の説明】
１５０ 動きベクトル ２００ コンピュータ・システム ２０２ アプリケーション・プログラム ２１０ 中央処理ユニット（ＣＰＵ） ２１２ システム・バス ２１４ ランダム・アクセス・メモリ（ＲＡＭ） ２１６ 読出し専用メモリ（ＲＯＭ） ２１８ メモリ・アダプタ ２１９ ディスケット ２２０ ディスク ２２１ ＣＤ−ＲＯＭ ２２２、２３６ ユーザ・インタフェース ２２４ キーボード ２２６ マウス ２２８ ラウド・スピーカ ２３０ ビデオ入力 ２３２ マイクロフォン ２３４ 表示アダプタ ２３８ 表示装置 ２３９ プリンタ ２７５ コネクタ ２８０ ローカル・エリア・ネットワーク（ＬＡＮ） ２９０ サーバ
フロントページの続き (72)発明者 ブーン−ロック・エオ アメリカ合衆国10566、ニューヨーク州 コートランディット・マナー、テレサ・ レーン ６ (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項１】インタレース式フレームの符号化をサポー
    トする空間的に低減されたイメージ・シーケンスを抽出
    するシステムであって、 一のビット・ストリームにより定義され、メモリに記憶
    される動き補償圧縮ビデオ・フレームのシーケンスを備
    え、 複数の画素を有する前記フレームの各々が、フレーム間
    形式またはイントラ・フレーム形式のいずれかにより符
    号化され、前記イントラ・フレーム形式で符号化される
    前記フレームの各々が、１つ以上のイントラ符号化ブロ
    ックを有し、各イントラ符号化ブロックが、該フレーム
    内の画素の離散コサイン変換（ＤＣＴ）により生成され
    る１つ以上の周波数成分を含み、 一のプロセッサにより実行され、前記ビット・ストリー
    ムを横断し、１つ以上の前記イントラ符号化ブロックか
    ら、前記周波数成分のサブセットを選択する抽出器と、 前記プロセッサにより実行され、前記サブセット内の前
    記周波数成分の組み合わせを生成することにより、１つ
    以上の空間的に低減されたイメージのシーケンスを構成
    する構成器とを備え、 該空間的に低減されたイメージの各々が複数の第２の画
    素を有し、 １つ以上の前記第２の画素が、１つ以上の前記イントラ
    符号化ブロックのＤＣ周波数成分及び１つ以上のＡＣ周
    波数成分の加重線形結合を用いて生成され、 １つ以上の前記イントラ符号化ブロックが、フィールド
    符号化形式またはフレーム符号化形式のいずれかを有
    し、 前記加重線形結合の１つ以上の重みが、前記周波数成分
    を含むイントラ符号化マクロブロックがフレーム符号化
    形式またはフィールド符号化形式のいずれにより符号化
    されているかに依存 する、 前記システム。
  2. 【請求項２】インタレース式フレームの符号化をサポー
    トする空間的に低減されたイメージ・シーケンスを抽出
    するシステムであって、 一のビット・ストリームにより定義され、メモリに記憶
    される動き補償圧縮ビデオ・フレームのシーケンスを備
    え、 複数の画素を有する前記フレームの各々が、フレーム間
    形式またはイントラ・フレーム形式のいずれかにより符
    号化され、前記フレーム間形式で符号化される前記フレ
    ームが、１つ以上の相互符号化ブロックを有し、各相互
    符号化ブロックが、１つ以上の基準フレームに関する動
    き補償情報と、それ自身及び１つ以上の前記基準フレー
    ムに関する残余とを用いて符号化され、前記イントラ・
    フレーム形式で符号化される前記フレームが、１つ以上
    のイントラ符号化ブロックを有し、各イントラ符号化ブ
    ロックが、前記フレーム内の画素の離散コサイン変換
    （ＤＣＴ）により生成される１つ以上の周波数成分を含
    み、 一のプロセッサにより実行され、前記ビット・ストリー
    ムを横断し、１つ以上の前記相互符号化ブロックから前
    記動き補償情報を選択し、１つ以上の前記イントラ符号
    化ブロックから前記周波数成分のサブセットを選択する
    抽出器を備え、 前記抽出器が、前記ビット・ストリーム内のヘッダ情報
    を用いて、前記相互符号化ブロック及び前記イントラ符
    号化ブロックを識別し、 前記プロセッサにより実行され、前記選択された動き補
    償情報を用いて、前記サブセット内の前記周波数成分の
    組み合わせの生成の仕方を決定し、１つ以上の空間的に
    低減されたイメージのシーケンスを構成する構成器とを
    備え、 該空間的に低減されたイメージの各々が複数の第２の画
    素を有し、 １つ以上の前記第２の画素が、１つ以上の前記基準フレ
    ーム内の１つ以上の寄与アンカ・ブロックのＤＣ周波数
    成分及び１つ以上のＡＣ周波数成分の加重線形結合を用
    いて、前記相互符号化フレームの１つから生成され、各
    寄与アンカ・ブロックが、前記相互符号化ブロックの１
    つの１つ以上の動きベクトルにより決定され、前記動き
    ベクトルが前記選択された動き補償情報の一部であり、 各相互符号化ブロックが生成され、前記選択された動き
    補償情報が、フィールド・ベースまたはフレーム・ベー
    スの動き補償であ る、 前記システム。
  3. 【請求項３】前記基準フレーム内の前記寄与アンカ・ブ
    ロックが、フレームまたはフィールド符号化形式で符号
    化される、請求項２記載のシステム。
  4. 【請求項４】前記加重線形結合の重みが、 ａ）前記相互符号化ブロックの１つ以上の前記動きベク
    トル、 ｂ）前記寄与アンカ・ブロック内の周波数成分の数、 ｃ）前記選択された動き補償情報、 ｄ）前記基準フレーム内の前記寄与アンカ・ブロックが
    フレーム符号化形式またはフィールド符号化形式のいず
    れで符号化されているか、の 組み合わせから決定される、請求項３記載のシステ
    ム。
JP15329598A 1997-06-12 1998-06-02 空間的に低減されたイメージ・シーケンスを抽出するシステム Expired - Fee Related JP3177213B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/873,669 US6108448A (en) 1997-06-12 1997-06-12 System and method for extracting spatially reduced image sequences in a motion compensated compressed format
US08/873669 1997-06-12

Publications (2)

Publication Number Publication Date
JPH1118094A JPH1118094A (ja) 1999-01-22
JP3177213B2 true JP3177213B2 (ja) 2001-06-18

Family

ID=25362099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15329598A Expired - Fee Related JP3177213B2 (ja) 1997-06-12 1998-06-02 空間的に低減されたイメージ・シーケンスを抽出するシステム

Country Status (5)

Country Link
US (1) US6108448A (ja)
JP (1) JP3177213B2 (ja)
KR (1) KR100309721B1 (ja)
SG (1) SG87000A1 (ja)
TW (1) TW421758B (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321485B2 (en) 1997-04-08 2008-01-22 X2Y Attenuators, Llc Arrangement for energy conditioning
US7301748B2 (en) 1997-04-08 2007-11-27 Anthony Anthony A Universal energy conditioning interposer with circuit architecture
US9054094B2 (en) 1997-04-08 2015-06-09 X2Y Attenuators, Llc Energy conditioning circuit arrangement for integrated circuit
US7336468B2 (en) 1997-04-08 2008-02-26 X2Y Attenuators, Llc Arrangement for energy conditioning
US6445828B1 (en) * 1998-09-28 2002-09-03 Thomson Licensing S.A. Transform domain resizing of an image compressed with field encoded blocks
US6618507B1 (en) * 1999-01-25 2003-09-09 Mitsubishi Electric Research Laboratories, Inc Methods of feature extraction of video sequences
US7383504B1 (en) * 1999-08-30 2008-06-03 Mitsubishi Electric Research Laboratories Method for representing and comparing multimedia content according to rank
US6608867B2 (en) 2001-03-30 2003-08-19 Koninklijke Philips Electronics N.V. Detection and proper scaling of interlaced moving areas in MPEG-2 compressed video
US6956902B2 (en) * 2001-10-11 2005-10-18 Hewlett-Packard Development Company, L.P. Method and apparatus for a multi-user video navigation system
US6990146B2 (en) * 2001-11-16 2006-01-24 Koninklijke Philips Electronics N.V. Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video
US7263660B2 (en) * 2002-03-29 2007-08-28 Microsoft Corporation System and method for producing a video skim
US7386048B2 (en) * 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
US7921445B2 (en) * 2002-06-06 2011-04-05 International Business Machines Corporation Audio/video speedup system and method in a server-client streaming architecture
KR100472476B1 (ko) * 2002-08-31 2005-03-10 삼성전자주식회사 움직임 보상을 위한 보간 방법 및 그 장치
WO2004111789A2 (en) * 2003-06-10 2004-12-23 Rensselaer Polytechnic Institute A method for processing i-blocks used with motion compensated temporal filtering
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7856054B1 (en) 2003-11-14 2010-12-21 Apple Inc. Scene change identification during encoding of compressed video
CN1890854A (zh) 2003-12-22 2007-01-03 X2Y艾泰钮埃特有限责任公司 内屏蔽式能量调节装置
WO2006104613A2 (en) 2005-03-01 2006-10-05 X2Y Attenuators, Llc Conditioner with coplanar conductors
WO2006093831A2 (en) 2005-03-01 2006-09-08 X2Y Attenuators, Llc Energy conditioner with tied through electrodes
WO2007103965A1 (en) 2006-03-07 2007-09-13 X2Y Attenuators, Llc Energy conditioner structures
KR101498044B1 (ko) * 2007-01-10 2015-03-05 삼성전자주식회사 매크로 블럭이 적응적으로 부호화된 압축영상에 대한축소영상 생성방법 및 이를 적용한 영상기기
US8358700B2 (en) * 2008-06-03 2013-01-22 Omnivision Technologies, Inc. Video coding apparatus and method for supporting arbitrary-sized regions-of-interest
US8712930B1 (en) 2010-08-09 2014-04-29 Google Inc. Encoding digital content based on models for predicting similarity between exemplars
US20120170653A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Block based sampling coding systems
US8515193B1 (en) * 2011-04-08 2013-08-20 Google Inc. Image compression using exemplar dictionary based on hierarchical clustering
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69516734T2 (de) * 1994-02-01 2000-09-28 Canon Kk Bildverarbeitungsverfahren und -gerät
US5845015A (en) * 1995-10-12 1998-12-01 Sarnoff Corporation Method and apparatus for resizing images using the discrete cosine transform
US5832120A (en) * 1995-12-22 1998-11-03 Cirrus Logic, Inc. Universal MPEG decoder with scalable picture size
US5737019A (en) * 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US5933537A (en) * 1996-07-29 1999-08-03 Polaroid Corporation Method and apparatus for conversion of frequency-coefficient matrices

Also Published As

Publication number Publication date
US6108448A (en) 2000-08-22
JPH1118094A (ja) 1999-01-22
SG87000A1 (en) 2002-03-19
TW421758B (en) 2001-02-11
KR100309721B1 (ko) 2001-12-17
KR19990006500A (ko) 1999-01-25

Similar Documents

Publication Publication Date Title
JP3177213B2 (ja) 空間的に低減されたイメージ・シーケンスを抽出するシステム
JPH1118093A (ja) 共用情報を用いるｄｃｔドメイン逆動き補償のためのシステム及び方法
US6404814B1 (en) Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US20060109904A1 (en) Decoding apparatus and program for executing decoding method on computer
JPH114441A (ja) インターレースされたデジタルビデオ用のビデオオブジェクト平面の移動推定及び補償
KR20010072074A (ko) 비디오 신호의 인코딩
JPH05268594A (ja) 動画像の動き検出装置
JP2006109418A (ja) トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
JP4332246B2 (ja) 画像処理装置、方法、及び記録媒体
WO1993003578A1 (en) Apparatus for coding and decoding picture signal with high efficiency
JP2000050258A (ja) 映像検索方法および映像検索装置
JP2007266748A (ja) 符号化方法
JP2755851B2 (ja) 動画像符号化装置及び動画像符号化方法
Furht A survey of multimedia compression techniques and standards. Part II: Video compression
JP5037517B2 (ja) 動き及びテクスチャデータを予測する方法
JP2002064823A (ja) 圧縮動画像のシーンチェンジ検出装置、圧縮動画像のシーンチェンジ検出方法及びそのプログラムを記録した記録媒体
JP2868445B2 (ja) 動画像圧縮方法および装置
JP2883592B2 (ja) 動画像復号化装置及び動画像復号化方法
JPH0698311A (ja) 画像信号の高能率符号化及び復号化装置
JP2883585B2 (ja) 動画像符号化装置及び動画像符号化方法
JPH10145788A (ja) 映像再生装置
JP2758378B2 (ja) 動画像復号化装置及び動画像復号化方法
JP2002199405A (ja) 動画像再生装置、及び動画像再生方法
JP2872109B2 (ja) 動画像符号化方法および装置
Tan et al. A unified transcoding approach to fast forward and reverse playback of compressed video

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080406

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080406

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090406

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090406

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100406

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees