JP4597511B2 - 細粒度スケーラブル・ビデオ用の動き補償 - Google Patents
細粒度スケーラブル・ビデオ用の動き補償 Download PDFInfo
- Publication number
- JP4597511B2 JP4597511B2 JP2003504655A JP2003504655A JP4597511B2 JP 4597511 B2 JP4597511 B2 JP 4597511B2 JP 2003504655 A JP2003504655 A JP 2003504655A JP 2003504655 A JP2003504655 A JP 2003504655A JP 4597511 B2 JP4597511 B2 JP 4597511B2
- Authority
- JP
- Japan
- Prior art keywords
- bit rate
- data
- macroblock
- version
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 23
- 230000003044 adaptive effect Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 45
- 230000006870 function Effects 0.000 description 15
- 238000013139 quantization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
本出願は、2001年6月11日付け出願の米国特許仮出願第60/297,330号(整理番号PU010128)の利益を主張するものであり、その出願全体を参照により本出願に組み込む。
従来技術のこれらおよびその他の欠点および短所は、細粒度スケーラブル・ビデオ・データの動き補償を行う装置および方法によって解消される。細粒度スケーラブル・ビデオ・データは、符号化器と適応型動き補償器とによって発生される。その符号化器は、入力ビデオ・データを最小ビットレート・マクロブロック・データとして符号化して、マクロブロック・データの最小ビットレートのバージョンを表すDCT係数を有する離散コサイン変換(「DCT」)データを生成し、また、その入力ビデオ・データを中間ビットレート・マクロブロック・データとして符号化して、そのマクロブロック・データの中間ビットレートのバージョンを表すDCT係数を有するDCTデータを生成するものである。その適応型動き補償器は、その符号化器と信号交信を行って、その中間ビットレート・マクロブロック・データの復号バージョン(復号されたデータ)が、或る最大閾値を超えるような累積された予測エラー・フレーム・エネルギを持つかどうかを予測するものである。
特許請求の範囲と実施例との対応関係を実施例で使われている参照番号を用いて示すと以下の通りである。
(請求項1)
入力ビデオ・データを最小ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの最小ビットレート・バージョンを表すDCT係数を有するDCTデータを生成し、前記入力ビデオ・データを中間ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの中間ビットレート・バージョンを表すDCT係数を有するDCTデータを生成する符号化器(110)と、
前記符号化器と信号交信して、前記中間ビットレート・マクロブロック・データの復号バージョンが、最大閾値を超える累積された予測エラー・フレーム・エネルギを有するかどうか(228)を予測する適応型動き補償器(132)と、
を具える、細粒度スケーラブル・ビデオ・データ装置。
(請求項2)
前記入力ビデオ・データは、前記最小ビットレートと最大ビットレートの間で細粒度スケーラブルであり、前記中間ビットレートは、前記最小ビットレートと前記最大ビットレートの間の任意のビットレートに位置する、請求項1に記載の細粒度スケーラブル・ビデオ・データ装置。
(請求項3)
前記符号化器は、前記適応型動き補償器を含む、請求項1に記載の細粒度スケーラブル・ビデオ・データ装置。
(請求項4)
前記符号化器は、
エンハンスメント層フレーム・バッファ(144)と、
前記エンハンスメント層フレーム・バッファと信号交信する前記適応型動き補償器(132)と、
前記エンハンスメント層フレーム・バッファと信号交信するドリフト・フレーム・バッファ(146)と、
を具える、請求項1に記載の細粒度スケーラブル・ビデオ・データ装置。
(請求項5)
前記適応型動き補償器は、
各々の新しいグループ・オブ・ピクチャに対してドリフト・フレーム・バッファをリセットする(212)グループ・オブ・ピクチャ検出器と、
前記ドリフト・フレーム・バッファに対する中間レート予測のエネルギを計算するエネルギ・ユニット(226)と、
前記マクロブロック・データの動きベクトルを用いて、前ピクチャのデータから予測されるべき各ピクセル・ブロックに対して前記中間レート予測と最小レート予測の中の1つを選択する(228)予測ユニットと、
を具える、請求項1に記載の細粒度スケーラブル・ビデオ・データ装置。
(請求項6)
符号化されたビデオ・マクロブロック・データを受信する細粒度スケーラブル・ビデオ・データ装置であって、
各マクロブロックは、前記マクロブロック・データの最小ビットレート・バージョンを表すDCT係数と前記マクロブロック・データの中間ビットレート・バージョンを表すDCT係数の中の1つによって表され、
符号化器から受信された各マクロブロックに対して、前記中間ビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを復号して、累積された予測エラー・フレームの予測エネルギに応じて、再構成されたマクロブロック・データを生成する復号器を具える、細粒度スケーラブル・ビデオ・データ装置。
(請求項7)
細粒度スケーラブル・ビデオ・データ演算を実行する方法であって、
入力ビデオ・データを最小ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの最小ビットレート・バージョンを表すDCT係数を有するDCTデータを生成するステップと、
前記入力ビデオ・データを中間ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの中間ビットレート・バージョンを表すDCT係数を有するDCTデータを生成するステップと、
前記中間ビットレート・マクロブロック・データの復号バージョンが、最大閾値を超える累積された予測エラー・フレーム・エネルギを有するかどうかを予測するように、前記符号化されたデータを補償するステップと、
を含む、細粒度スケーラブル・ビデオ・データ演算を実行する方法。
(請求項8)
前記符号化された入力ビデオ・データから前記中間ビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを復号して、累積された予測エラー・フレームの予測エネルギに応じて、再構成されたマクロブロック・データを生成するステップを含む、請求項7に記載の細粒度スケーラブル・ビデオ・データ演算を実行する方法。
(請求項9)
前記入力ビデオ・データは、前記最小ビットレートと最大ビットレートの間で細粒度スケーラブルであり、前記中間ビットレートは、前記最小ビットレートと前記最大ビットレートの間の任意のビットレートに位置する、請求項7に記載の細粒度スケーラブル・ビデオ・データ演算を実行する方法。
(請求項10)
前ピクチャのエンハンスメント層データと前記マクロブロック・データの動きベクトルとを用いてエンハンスメント層ブロック・データを補償して、補償されたエンハンスメント層ブロック・データを生成し、前記補償されたエンハンスメント層ブロック・データに対してDCTを実行してエンハンスメント層DCTデータを生成するようにする、請求項7に記載の細粒度スケーラブル・ビデオ・データ演算を実行する方法。
(請求項11)
符号化されたビデオ・マクロブロック・データを受信する方法であって、
各マクロブロックは、前記マクロブロック・データの最小ビットレート・バージョンを表すDCT係数と前記マクロブロック・データの中間ビットレート・バージョンを表すDCT係数の中の1つによって表され、
符号化器から受信された各マクロブロックに対して前記中間ビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを復号して、累積された予測エラー・フレームの予測エネルギに応じて、再構成されたマクロブロック・データを生成するステップと、
を含む、符号化されたビデオ・マクロブロック・データを受信する方法。
(請求項12)
マシンによって読み取り可能なプログラム記憶装置であって、
前記記憶装置は、細粒度スケーラブル・ビデオ・データ演算を実行するステップを実行するための前記マシンによって実行可能な命令のプログラムを有形の形態で表現しており、
前記ステップは、
入力ビデオ・データを最小ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの最小ビットレート・バージョンを表すDCT係数を有するDCTデータを生成するステップと、
前記入力ビデオ・データを中間ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの中間ビットレート・バージョンを表すDCT係数を有するDCTデータを生成するステップと、
前記中間ビットレート・マクロブロック・データの復号バージョンが、最大閾値を超える累積された予測エラー・フレーム・エネルギを有するかどうかを予測するように、前記符号化されたデータを補償するステップと、
を含む、プログラム記憶装置。
(請求項13)
前記ステップは、前記符号化された入力ビデオ・データから前記中間ビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを復号して、累積された予測エラー・フレームの予測エネルギに応じて、再構成されたマクロブロック・データを生成するステップを含む、請求項12に記載のプログラム記憶装置。
(請求項14)
前記入力ビデオ・データは、前記最小ビットレートと最大ビットレートの間で細粒度スケーラブルであり、前記中間ビットレートは、前記最小ビットレートと前記最大ビットレートの間の任意のビットレートに位置する、請求項12に記載のプログラム記憶装置。
(請求項15)
前記ステップは、前ピクチャのエンハンスメント層データと前記マクロブロック・データの動きベクトルとを用いてエンハンスメント層ブロック・データを補償して、補償されたエンハンスメント層ブロック・データを生成し、前記補償されたエンハンスメント層ブロック・データに対してDCTを実行してエンハンスメント層DCTデータを生成するようにするステップを含む、請求項12に記載のプログラム記憶装置。
(請求項16)
マシンによって読み取り可能なプログラム記憶装置であって、
前記記憶装置は、符号化されたビデオ・マクロブロック・データを受信するステップを実行するための前記マシンによって実行可能な命令のプログラムを有形の形態で表現しており、
各マクロブロックは、前記マクロブロック・データの最小ビットレート・バージョンを表すDCT係数と前記マクロブロック・データの中間ビットレート・バージョンを表すDCT係数の中の1つによって表され、
前記ステップは、符号化器から受信された各マクロブロックに対して前記中間ビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを復号して、累積された予測エラー・フレームの予測エネルギに応じて、再構成されたマクロブロック・データを生成するステップと、
を含む、プログラム記憶装置。
(請求項17)
細粒度スケーラブル・ビデオ・データ演算を実行する細粒度スケーラブル・ビデオ・データ・システムであって、
入力ビデオ・データを最小ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの最小ビットレート・バージョンを表すDCT係数を有するDCTデータを生成する最小符号化手段と、
前記入力ビデオ・データを中間ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの中間ビットレート・バージョンを表すDCT係数を有するDCTデータを生成する中間符号化手段と、
前記中間ビットレート・マクロブロック・データの復号バージョンが、最大閾値を超える累積された予測エラー・フレーム・エネルギを有するかどうかを予測する、前記符号化されたデータを補償する補償手段と、
を具える、細粒度スケーラブル・ビデオ・データ演算を実行する細粒度スケーラブル・ビデオ・データ・システム。
(請求項18)
前記符号化された入力ビデオ・データの中の前記中間ビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを復号して、累積された予測エラー・フレームの予測エネルギに応じて、再構成されたマクロブロック・データを生成する復号手段を具える、請求項17に記載の細粒度スケーラブル・ビデオ・データ演算を実行する細粒度スケーラブル・ビデオ・データ・システム。
(請求項19)
前記入力ビデオ・データは、前記最小ビットレートと最大ビットレートの間で細粒度スケーラブルであり、前記中間ビットレートは、前記最小ビットレートと前記最大ビットレートの間の任意のビットレートに位置する、請求項17に記載の細粒度スケーラブル・ビデオ・データ演算を実行する細粒度スケーラブル・ビデオ・データ・システム。
(請求項20)
前ピクチャのエンハンスメント層データと前記マクロブロック・データの動きベクトルとを用いてエンハンスメント層ブロック・データを補償して、補償されたエンハンスメント層ブロック・データを生成し、前記補償されたエンハンスメント層ブロック・データに対してDCTを実行してエンハンスメント層DCTデータを生成するようにする補償手段を具える、請求項17に記載の細粒度スケーラブル・ビデオ・データ演算を実行する細粒度スケーラブル・ビデオ・データ・システム。
Prediction =Pmin
そうでなければ、
Prediction = Pmid
Pd=Pd + Pmin− Pmid
(E(Pd + Pmin − Pmid) > Emaxの場合は、Prediction =Pminとし、
その他の場合は、Prediction =Pmid、Pd = Pd + Pmin = Pmidとする)
Claims (20)
- 入力ビデオ・データを最小ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの最小ビットレートを有する最小ビットレート・バージョンを表すDCT係数を有するDCTデータを生成し、前記入力ビデオ・データをより高いビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの、前記最小ビットレートよりも大きいビットレートである、より高いビットレートを有するより高いビットレート・バージョンを表すDCT係数を有するDCTデータを生成する符号化器と、
前記符号化器と信号交信して、前記より高いビットレート・マクロブロック・データの復号バージョンが、閾値を超える1以上のマクロブロックに対して累積された、前記最小ビットレート・バージョンと前記より高いビットレート・バージョンとを用いる差分を示す予測エラー・フレーム・エネルギを有するかどうかを予測する適応型動き補償器と、を具え、
前記より高いビットレート・マクロブロック・データの前記累積された予測エラー・フレーム・エネルギが前記閾値より大きい場合、前記最小ビットレート・バージョンが現在のマクロブロックを予測するために選択され、前記累積された予測エラー・フレーム・エネルギが前記閾値以下の場合、前記より高いビットレート・バージョンが現在のマクロブロックを予測するために選択される、細粒度スケーラブル・ビデオ・データ装置。 - 前記入力ビデオ・データは、前記最小ビットレートと最大ビットレートの間で細粒度スケーラブルであり、前記より高いビットレートは、前記最小ビットレートと前記最大ビットレートの間の任意のビットレートに位置する、請求項1に記載の細粒度スケーラブル・ビデオ・データ装置。
- 前記符号化器と前記適応型動き補償器とは1つの装置に含まれる、請求項1に記載の細粒度スケーラブル・ビデオ・データ装置。
- 前記符号化器は、
エンハンスメント層フレーム・バッファと、
前記エンハンスメント層フレーム・バッファと信号交信する前記適応型動き補償器と、
累積された予測変動を記憶するための、前記適応型動き補償器と信号交信するドリフト・フレーム・バッファと、を具える、請求項1に記載の細粒度スケーラブル・ビデオ・データ装置。 - 前記適応型動き補償器は、
各々の新しいグループ・オブ・ピクチャに対して、累積された予測変動を記憶するドリフト・フレーム・バッファをリセットするグループ・オブ・ピクチャ検出器と、
前記ドリフト・フレーム・バッファに対するより高いレート予測のエネルギを計算するエネルギ・ユニットと、
前記マクロブロック・データの動きベクトルを用いて、前ピクチャのデータから予測されるべき各ピクセル・ブロックに対して前記より高いレート予測と最小レート予測の中の1つを選択する予測ユニットと、
を具える、請求項1に記載の細粒度スケーラブル・ビデオ・データ装置。 - 符号化されたビデオ・マクロブロック・データを受信する細粒度スケーラブル・ビデオ・データ装置であって、
前記マクロブロック・データの最小ビットレート・バージョンを表すDCT係数と前記マクロブロック・データのより高いビットレート・バージョンを表すDCT係数の中の1つによって表され、より高いビットレートは最小ビットレートよりも大きく、
現在のマクロブロックに対して符号化されたマクロブロック・データを生成するために用いられた前記最小ビットレート・バージョンと前記より高いビットレート・バージョンのどちらかを示す識別子及び前記符号化されたマクロブロック・データを受信し、前記識別子は予測エラー・フレームの予測エネルギに基づき、
1以上のマクロブロックに対して累積された、前記最小ビットレート・バージョンと前記より高いビットレート・バージョンとを用いる差分を示す前記予測エラー・フレームの予測エネルギに応じて、現在のマクロブロックのために再構成されたマクロブロック・データを生成する符号化器から受信された各マクロブロックに対して、前記より高いビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを前記識別子に基づいて復号する復号器を具える、細粒度スケーラブル・ビデオ・データ装置。 - 細粒度スケーラブル・ビデオ・データ演算を実行する方法であって、
入力ビデオ・データを最小ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの最小ビットレート・バージョンを表すDCT係数を有するDCTデータを生成するステップと、
前記入力ビデオ・データをより高いビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの、前記最小ビットレートよりも大きいビットレートであるより高いビットレートを有するより高いビットレート・バージョンを表すDCT係数を有するDCTデータを生成するステップと、
前記より高いビットレート・マクロブロック・データの復号バージョンが、閾値を超える1以上のマクロブロックに対して累積された、前記最小ビットレート・バージョンと前記より高いビットレート・バージョンとを用いる差分を示す予測エラー・フレーム・エネルギを有するかどうかを予測するように、前記符号化されたデータを補償するステップと、を含み、
前記より高いビットレート・マクロブロック・データの前記累積された予測エラー・フレーム・エネルギが前記閾値より大きい場合、前記最小ビットレート・バージョンが現在のマクロブロックを予測するために選択され、前記累積された予測エラー・フレーム・エネルギが前記閾値以下の場合、前記より高いビットレート・バージョンが現在のマクロブロックを予測するために選択される、細粒度スケーラブル・ビデオ・データ演算を実行する方法。 - 前記符号化された入力ビデオ・データから前記より高いビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを復号して、累積された予測エラー・フレームの予測エネルギに応じて、再構成されたマクロブロック・データを生成するステップを含む、請求項7に記載の細粒度スケーラブル・ビデオ・データ演算を実行する方法。
- 前記入力ビデオ・データは、前記最小ビットレートと最大ビットレートの間で細粒度スケーラブルであり、前記より高いビットレートは、前記最小ビットレートと前記最大ビットレートの間の任意のビットレートに位置する、請求項7に記載の細粒度スケーラブル・ビデオ・データ演算を実行する方法。
- 前記符号化されたデータを補償するステップは、
補償されたエンハンスメント層ブロック・データと現在のマクロブロックの入力映像データとの差分に対してDCTを実行してエンハンスメント層DCTデータが生成されるように、前記補償されたエンハンスメント層ブロック・データを生成するため前ピクチャのエンハンスメント層データを補償する、請求項7に記載の細粒度スケーラブル・ビデオ・データ演算を実行する方法。 - マクロブロック・データの最小ビットレート・バージョンを表すDCT係数と前記マクロブロック・データのより高いビットレート・バージョンを表すDCT係数の中の1つによって表される符号化されたビデオ・マクロブロック・データを受信する方法であって、
より高いビットレートは最小ビットレートよりも大きく、
現在のマクロブロックに対して符号化されたマクロブロック・データを生成するために用いられた前記最小ビットレート・バージョンと前記より高いビットレート・バージョンのどちらかを示す識別子及び前記符号化されたマクロブロック・データを受信し、前記識別子は予測エラー・フレームの予測エネルギに基づき、
1以上のマクロブロックに対して累積された、前記最小ビットレート・バージョンと前記より高いビットレート・バージョンとを用いる差分を示す前記予測エラー・フレームの予測エネルギに応じて、現在のマクロブロックのために再構成されたマクロブロック・データを生成する符号化器から受信された各マクロブロックに対して前記より高いビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを前記識別子に基づいて復号するステップと、
を含む、符号化されたビデオ・マクロブロック・データを受信する方法。 - マシンによって読み取り可能なプログラム記憶装置であって、
前記記憶装置は、細粒度スケーラブル・ビデオ・データ演算を実行するステップを実行するための前記マシンによって実行可能な命令のプログラムを記憶しており、
前記ステップは、
入力ビデオ・データを最小ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの最小ビットレート・バージョンを表すDCT係数を有するDCTデータを生成するステップと、
前記入力ビデオ・データをより高いビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの、前記最小ビットレートよりも大きいビットレートであるより高いビットレートを有するより高いビットレート・バージョンを表すDCT係数を有するDCTデータを生成するステップと、
前記より高いビットレート・マクロブロック・データの復号バージョンが、閾値を超える1以上のマクロブロックに対して累積された、前記最小ビットレート・バージョンと前記より高いビットレート・バージョンとを用いる差分を示す予測エラー・フレーム・エネルギを有するかどうかを予測するように、前記符号化されたデータを補償するステップと、を含み、
前記より高いビットレート・マクロブロック・データの前記累積された予測エラー・フレーム・エネルギが前記閾値より大きい場合、前記最小ビットレート・バージョンが現在のマクロブロックを予測するために選択され、前記累積された予測エラー・フレーム・エネルギが前記閾値以下の場合、前記より高いビットレート・バージョンが現在のマクロブロックを予測するために選択される、プログラム記憶装置。 - 前記ステップは、前記符号化された入力ビデオ・データから前記より高いビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを復号して、累積された予測エラー・フレームの予測エネルギに応じて、再構成されたマクロブロック・データを生成するステップを含む、請求項12に記載のプログラム記憶装置。
- 前記入力ビデオ・データは、前記最小ビットレートと最大ビットレートの間で細粒度スケーラブルであり、前記より高いビットレートは、前記最小ビットレートと前記最大ビットレートの間の任意のビットレートに位置する、請求項12に記載のプログラム記憶装置。
- 前記符号化されたデータを補償するステップは、補償されたエンハンスメント層ブロック・データと現在のマクロブロックの入力映像データとの差分に対してDCTを実行してエンハンスメント層DCTデータが生成されるように、前記補償されたエンハンスメント層ブロック・データを生成するため前ピクチャのエンハンスメント層データを補償する、請求項12に記載のプログラム記憶装置。
- マシンによって読み取り可能なプログラム記憶装置であって、
前記記憶装置は、前記マクロブロック・データの最小ビットレート・バージョンを表すDCT係数と前記マクロブロック・データのより高いビットレート・バージョンを表すDCT係数の中の1つによって表される符号化されたビデオ・マクロブロック・データを受信するステップを実行するための前記マシンによって実行可能な命令のプログラムを記憶しており、より高いビットレートは最小ビットレートより大きく、
現在のマクロブロックに対して符号化されたマクロブロック・データを生成するために用いられた前記最小ビットレート・バージョンと前記より高いビットレート・バージョンのどちらかを示す識別子及び前記符号化されたマクロブロック・データを受信し、前記識別子は予測エラー・フレームの予測エネルギに基づき、
前記ステップは、1以上のマクロブロックに対して累積された、前記最小ビットレート・バージョンと前記より高いビットレート・バージョンとを用いる差分を示す前記予測エラー・フレームの予測エネルギに応じて、現在のマクロブロックのために再構成されたマクロブロック・データを生成する符号化器から受信された各マクロブロックに対して前記より高いビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを前記識別子に基づいて復号するステップと、
を含む、プログラム記憶装置。 - 細粒度スケーラブル・ビデオ・データ演算を実行する細粒度スケーラブル・ビデオ・データ・システムであって、
入力ビデオ・データを最小ビットレート・マクロブロック・データとして符号化して当該マクロブロック・データの最小ビットレート・バージョンを表すDCT係数を有するDCTデータを生成する最小符号化手段と、
前記入力ビデオ・データをより高いビットレート・マクロブロック・データとして符号化して当該マクロブロック・データのより高いビットレート・バージョンを表すDCT係数を有するDCTデータを生成するより高い符号化手段と、
前記より高いビットレート・マクロブロック・データの復号バージョンが、閾値を超える1以上のマクロブロックに対して累積された、前記最小ビットレート・バージョンと前記より高いビットレート・バージョンとを用いる差分を示す予測エラー・フレーム・エネルギを有するかどうかを予測する、前記符号化されたデータを補償する補償手段と、を具え、
高いビットレートは、最小ビットレートより大きく、
前記より高いビットレート・マクロブロック・データの前記累積された予測エラー・フレーム・エネルギが前記閾値より大きい場合、前記最小ビットレート・バージョンが現在のマクロブロックを予測するために選択され、前記累積された予測エラー・フレーム・エネルギが前記閾値以下の場合、前記より高いビットレート・バージョンが現在のマクロブロックを予測するために選択される、細粒度スケーラブル・ビデオ・データ演算を実行する細粒度スケーラブル・ビデオ・データ・システム。 - 前記符号化された入力ビデオ・データの中の前記より高いビットレート符号化および最小ビットレート符号化されたDCTデータの中の1つを復号して、累積された予測エラー・フレームの予測エネルギに応じて、再構成されたマクロブロック・データを生成する復号手段を具える、請求項17に記載の細粒度スケーラブル・ビデオ・データ演算を実行する細粒度スケーラブル・ビデオ・データ・システム。
- 前記入力ビデオ・データは、前記最小ビットレートと最大ビットレートの間で細粒度スケーラブルであり、前記より高いビットレートは、前記最小ビットレートと前記最大ビットレートの間の任意のビットレートに位置する、請求項17に記載の細粒度スケーラブル・ビデオ・データ演算を実行する細粒度スケーラブル・ビデオ・データ・システム。
- 前記符号化されたデータを補償する補償手段は、
補償されたエンハンスメント層ブロック・データと現在のマクロブロックの入力映像データとの差分に対してDCTを実行してエンハンスメント層DCTデータが生成されるように、前記補償されたエンハンスメント層ブロック・データを生成するため前ピクチャのエンハンスメント層データを補償する、請求項17に記載の細粒度スケーラブル・ビデオ・データ演算を実行する細粒度スケーラブル・ビデオ・データ・システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US29733001P | 2001-06-11 | 2001-06-11 | |
PCT/US2002/018444 WO2002102048A2 (en) | 2001-06-11 | 2002-06-11 | Motion compensation for fine-grain scalable video |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009294369A Division JP2010098760A (ja) | 2001-06-11 | 2009-12-25 | 細粒度スケーラブル・ビデオ用の動き補償 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004538686A JP2004538686A (ja) | 2004-12-24 |
JP2004538686A5 JP2004538686A5 (ja) | 2006-01-05 |
JP4597511B2 true JP4597511B2 (ja) | 2010-12-15 |
Family
ID=23145854
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003504655A Expired - Fee Related JP4597511B2 (ja) | 2001-06-11 | 2002-06-11 | 細粒度スケーラブル・ビデオ用の動き補償 |
JP2009294369A Pending JP2010098760A (ja) | 2001-06-11 | 2009-12-25 | 細粒度スケーラブル・ビデオ用の動き補償 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009294369A Pending JP2010098760A (ja) | 2001-06-11 | 2009-12-25 | 細粒度スケーラブル・ビデオ用の動き補償 |
Country Status (9)
Country | Link |
---|---|
US (1) | US7912124B2 (ja) |
EP (1) | EP1396091A4 (ja) |
JP (2) | JP4597511B2 (ja) |
KR (1) | KR100936635B1 (ja) |
CN (1) | CN100366094C (ja) |
AU (1) | AU2002312451A1 (ja) |
BR (2) | BRPI0210276B1 (ja) |
MX (1) | MXPA03011303A (ja) |
WO (1) | WO2002102048A2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006001777A1 (en) * | 2004-06-23 | 2006-01-05 | Agency For Science, Technology And Research | Scalable video coding with grid motion estimation and compensation |
US7809064B2 (en) * | 2004-11-15 | 2010-10-05 | Industrial Technology Research Institute | Systems and methods of flexible power management applicable to digital broadcasting |
US8081755B2 (en) * | 2005-05-20 | 2011-12-20 | Microsoft Corporation | JPEG2000 syntax-compliant encryption with full scalability |
US7953224B2 (en) * | 2005-05-20 | 2011-05-31 | Microsoft Corporation | MPEG-4 encryption enabling transcoding without decryption |
FR2891966A1 (fr) * | 2005-10-11 | 2007-04-13 | France Telecom | Dispositifs et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'images correspondants |
US20070160127A1 (en) * | 2006-01-10 | 2007-07-12 | International Business Machines Corporation | Bandwidth adaptive stream selection |
CN101828401B (zh) * | 2007-10-16 | 2013-07-17 | 汤姆森许可贸易公司 | 用于比特深度缩放的伪像去除的方法和设备 |
KR100937590B1 (ko) * | 2007-10-23 | 2010-01-20 | 한국전자통신연구원 | 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법 |
KR20090097015A (ko) | 2008-03-10 | 2009-09-15 | 삼성전자주식회사 | 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5956088A (en) * | 1995-11-21 | 1999-09-21 | Imedia Corporation | Method and apparatus for modifying encoded digital video for improved channel utilization |
US5652616A (en) * | 1996-08-06 | 1997-07-29 | General Instrument Corporation Of Delaware | Optimal disparity estimation for stereoscopic video coding |
US6055330A (en) * | 1996-10-09 | 2000-04-25 | The Trustees Of Columbia University In The City Of New York | Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information |
US6249318B1 (en) * | 1997-09-12 | 2001-06-19 | 8×8, Inc. | Video coding/decoding arrangement and method therefor |
EP0940774A3 (en) * | 1998-03-05 | 2000-07-05 | Matsushita Electric Industrial Co., Ltd. | Motion vector coding and decoding apparatus and method |
US6353700B1 (en) * | 1998-04-07 | 2002-03-05 | Womble Multimedia, Inc. | Method and apparatus for playing an MPEG data file backward |
US6289054B1 (en) * | 1998-05-15 | 2001-09-11 | North Carolina University | Method and systems for dynamic hybrid packet loss recovery for video transmission over lossy packet-based network |
US6292512B1 (en) * | 1998-07-06 | 2001-09-18 | U.S. Philips Corporation | Scalable video coding system |
US6167084A (en) * | 1998-08-27 | 2000-12-26 | Motorola, Inc. | Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals |
US6418242B1 (en) * | 1998-11-18 | 2002-07-09 | Tektronix, Inc. | Efficient detection of error blocks in a DCT-based compressed video sequence |
US6414996B1 (en) * | 1998-12-08 | 2002-07-02 | Stmicroelectronics, Inc. | System, method and apparatus for an instruction driven digital video processor |
US6327000B1 (en) * | 1999-04-02 | 2001-12-04 | Teralogic, Inc. | Efficient image scaling for scan rate conversion |
US6275536B1 (en) * | 1999-06-23 | 2001-08-14 | General Instrument Corporation | Implementation architectures of a multi-channel MPEG video transcoder using multiple programmable processors |
JP3407872B2 (ja) * | 1999-09-29 | 2003-05-19 | 日本電気株式会社 | 付加情報検出方法及び装置 |
EP1139669A1 (en) * | 2000-03-28 | 2001-10-04 | STMicroelectronics S.r.l. | Coprocessor for motion estimation in digitised video sequence encoders |
US7133449B2 (en) * | 2000-09-18 | 2006-11-07 | Broadcom Corporation | Apparatus and method for conserving memory in a fine granularity scalability coding system |
EP1598714B1 (en) | 2000-12-13 | 2016-09-28 | LG Electronics Inc. | Apparatus and method for remotely controlling household appliances |
US6907070B2 (en) * | 2000-12-15 | 2005-06-14 | Microsoft Corporation | Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding |
US20020118743A1 (en) * | 2001-02-28 | 2002-08-29 | Hong Jiang | Method, apparatus and system for multiple-layer scalable video coding |
-
2002
- 2002-06-11 KR KR1020037016221A patent/KR100936635B1/ko active IP Right Grant
- 2002-06-11 CN CNB028117638A patent/CN100366094C/zh not_active Expired - Fee Related
- 2002-06-11 WO PCT/US2002/018444 patent/WO2002102048A2/en active Application Filing
- 2002-06-11 JP JP2003504655A patent/JP4597511B2/ja not_active Expired - Fee Related
- 2002-06-11 BR BRPI0210276-5A patent/BRPI0210276B1/pt unknown
- 2002-06-11 US US10/479,537 patent/US7912124B2/en not_active Expired - Fee Related
- 2002-06-11 MX MXPA03011303A patent/MXPA03011303A/es active IP Right Grant
- 2002-06-11 AU AU2002312451A patent/AU2002312451A1/en not_active Abandoned
- 2002-06-11 EP EP02739825A patent/EP1396091A4/en not_active Withdrawn
- 2002-06-11 BR BR0210276-5A patent/BR0210276A/pt not_active IP Right Cessation
-
2009
- 2009-12-25 JP JP2009294369A patent/JP2010098760A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
MXPA03011303A (es) | 2004-03-19 |
KR100936635B1 (ko) | 2010-01-14 |
JP2010098760A (ja) | 2010-04-30 |
AU2002312451A1 (en) | 2002-12-23 |
US20040156433A1 (en) | 2004-08-12 |
EP1396091A2 (en) | 2004-03-10 |
WO2002102048A3 (en) | 2003-09-12 |
WO2002102048A2 (en) | 2002-12-19 |
BRPI0210276B1 (pt) | 2019-04-09 |
CN100366094C (zh) | 2008-01-30 |
CN1515085A (zh) | 2004-07-21 |
KR20040007694A (ko) | 2004-01-24 |
BR0210276A (pt) | 2005-04-26 |
EP1396091A4 (en) | 2006-05-31 |
JP2004538686A (ja) | 2004-12-24 |
US7912124B2 (en) | 2011-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010098760A (ja) | 細粒度スケーラブル・ビデオ用の動き補償 | |
JP5061179B2 (ja) | 照明変化補償動き予測符号化および復号化方法とその装置 | |
JP3861698B2 (ja) | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム | |
US9584832B2 (en) | High quality seamless playback for video decoder clients | |
KR100694137B1 (ko) | 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체 | |
KR20110048555A (ko) | 부호화 장치 및 부호화 방법 | |
KR20090095012A (ko) | 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치 | |
KR20040047977A (ko) | 공간적으로 스케일가능한 압축 | |
KR20070032111A (ko) | 동영상의 무손실 부호화, 복호화 방법 및 장치 | |
JP2011130410A (ja) | 符号化方法、復号化方法及び装置 | |
US6947486B2 (en) | Method and system for a highly efficient low bit rate video codec | |
KR20050089838A (ko) | 선택된 매크로블록에 대한 스킵 모션 추정으로 비디오인코딩하는 방법 | |
KR20070028404A (ko) | 픽처를 저장하는 방법, 비디오 복호기, 비디오 부호기,휴대 장치 및 컴퓨터 프로그램 제품 | |
JP2007019761A (ja) | 動画像符号化装置 | |
JP2006511164A (ja) | 弾性記憶 | |
JP2003224855A (ja) | 符号化されたビデオ信号を復号化する方法 | |
JP2007036889A (ja) | 符号化方法 | |
Richardson et al. | Adaptive algorithms for variable-complexity video coding | |
JP4642033B2 (ja) | 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法 | |
KR100575962B1 (ko) | 비디오 처리 장치의 파이프 라인 동작 방법과 그에 따른비트율 제어 방법 | |
JP2007036887A (ja) | 符号化方法 | |
KR100676772B1 (ko) | 휴대용 기기에 적용된 d―vop 디코딩이 가능한 엠펙-4디코더 | |
JP2010268505A (ja) | ブロック動きビデオのコード化及びデコード化 | |
JP4465529B2 (ja) | 画像符号化装置及び方法 | |
JP6178698B2 (ja) | 映像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050519 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060929 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061120 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20080318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080415 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080625 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080929 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090902 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090915 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091225 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100831 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4597511 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |