JP4429968B2 - Svcの圧縮率を高めるシステムおよび方法 - Google Patents

Svcの圧縮率を高めるシステムおよび方法 Download PDF

Info

Publication number
JP4429968B2
JP4429968B2 JP2005156101A JP2005156101A JP4429968B2 JP 4429968 B2 JP4429968 B2 JP 4429968B2 JP 2005156101 A JP2005156101 A JP 2005156101A JP 2005156101 A JP2005156101 A JP 2005156101A JP 4429968 B2 JP4429968 B2 JP 4429968B2
Authority
JP
Japan
Prior art keywords
prediction
mode
unit
temporal
video coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005156101A
Other languages
English (en)
Other versions
JP2006115459A (ja
Inventor
陳信豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of JP2006115459A publication Critical patent/JP2006115459A/ja
Application granted granted Critical
Publication of JP4429968B2 publication Critical patent/JP4429968B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、映像符号化システムおよびその方法に関する。特に、本発明は、最も高いエネルギーを有する時間低サブバンド画像(temporal low sub−band picture)の最適予測を通じて符号化データを低減させることにより、スケーラブル映像符号化(SVC)の圧縮率を高めることのできるシステム、およびその方法に関する。
スケーラブル映像符号化(SVC)は、最新の映像符号化標準である。その主たる目的は、伝送環境に応じて映像の解像度、画質、および1秒あたりの伝送速度を調整することである。スケーラビリティを実現するための一般的方法として、空間離散ウェーブレット変換(DWT)は、離散コサイン変換(DCT)よりも実現が容易である。そのためDWTは、SVC構造における変換符号化技術の主流をなしている。
SVC構造の例として、MCTF_EZBC(動き補償時間フィルタリング構造)をあげると、MCTF_EZBCでは、圧縮の基本単位として主として画像グループ(GOP)を用いる。MCTF_EZBCでは、最初に、動き予測を実行し、連続する2つの画像の各々における動きベクトルを調べる。その後、画像の運動方向に沿って時間フィルタリングを行い、時間高バンド画像(temporal high−band picture)および時間低バンド画像(temporal low−band picture)を生成し、時間冗長性を低減することにより、データ圧縮を低減するという目標が達成される。これを連続するレベルで実行することにより、GOPのうち1つの時間低サブバンド画像(図2の10)が残る。解像度のスケーラビリティを満足するため、SVC構造は、空間フィルタリング後に、すべての画像に対して空間ウェーブレット分解をさらに実行する。レベル数が多いほど、解像度におけるスケーラブルレベルの数が多くなる。DWTの各レベルが終了するたびに、各画像には空間軸に4つのサブバンドが生成される。DWTの次のレベルが終了すると、各々の低サブバンドはさらに4つのサブバンドに分割される。さまざまなスケーラビリティ条件に応じて、このような処理を連続することができる(例えば図3は3レベルの処理を示している)。最後に、DWTから得られた係数をエントロピー符号化を用いて処理する。さらに、係数間の相関関係を符号化することにより、全体の圧縮率が高まる。
上述した例は、完全なスケーラブルSVC構造であるが、時間フィルタリングから最後に1つ残った時間低サブバンド画像については、符号化の処理があまり多く行なわれない。そのため、従来の技術においては、データ量が最も多い時間低サブバンド画像について圧縮率を最適化することができない。その結果、全体の圧縮率が低下する。
関連する従来の技術、例えばH.264のSVC構造においては、I画像に対して内部予測を行なうことにより、I画像の圧縮率を高める手法が提案されている。さらに、米国特許第2004/0008771A1号明細書では、単一のデジタル画像の符号化手法が提案されている。この手法では、主として、デジタル画像を同じ大きさのいくつかのブロックに分割する。各ブロックを符号化する前に、まず、隣接するブロックに使用される予測モードを求める。隣接するブロックに使用される予測モードの使用頻度を用いて、現在のブロックの予測モードを決定し、これによって単一デジタル画像の効率的な符号化を達成する。
そのため、SVC構造が急速に発展している状況下では、この分野における研究開発の主たる方向は、画質を犠牲にすることなくSVC構造の符号化データを効率的に低減し、それと同時にSVC構造のスケーラビリティを維持することにより、圧縮率を高める方法である。
上記に鑑み、本発明の目的は、新規のSVCシステムとその方法を提供することである。本発明では、時間フィルタリングおよび空間DWT処理を行なった後に、GOP内の時間低サブバンド画像の空間低サブバンドに対して予測映像符号化を実行し、データ量が最も多い時間低サブバンド画像の最適な予測モードおよび関連情報を求めて、それらを実際の映像符号化の基準として用いる。このことは、符号化データを低減し、映像符号化の圧縮率を高めるという目的を達成するうえで有効である。
前述の目的を達成するため、開示するシステムは、動き予測ユニットと、動き補償時間フィルタリングユニットと、DWTユニットと、動きベクトル符号化ユニットと、映像符号化ユニットと、バッファユニットと、を含む。このシステムは、時間低サブバンド画像に対する映像符号化予測を行う目的で、DWTユニットと映像符号化ユニットの間に映像符号化予測ユニットが挿入されており、この映像符号化予測ユニットによって符号化データが減少し、圧縮率が高まる、ことを特徴としている。
本明細書の第1の実施例においては、本発明の方法は、以下のステップ、すなわち、空間低サブバンドを同じ大きさのいくつかの予測ブロックに分割するステップと、予測ブロックを順に読み取り、音声符号化予測モードに従って予測ブロック内のすべてのピクセルに対して映像符号化予測を行い、それにより予測ブロックの各々について予測を生成するステップと、予測ブロックに関連付けられる実際値を計算して予測と比較し、それにより予測ブロックの最適モードおよび対応する差を決定するステップと、予測ブロックに関連付けられる、最小の対応する差を有する最適予測モードおよび差を、時間低サブバンド画像に対する映像符号化の主基準として出力するステップと、を含んでいる。
本明細書に開示する第2の実施例においては、単一の空間低サブバンドのみについて、第1の実施例のように予測ブロックに対する映像符号化予測(video coding presetting)を行なう。空間低サブバンドのすべての予測ブロックの最適予測モードについて統計的分析を行なった後、最も代表的な最適予測モードを決定し、それを時間低サブバンド画像に対する映像符号化の主基準として用いる。
映像符号化時のデータ量を大幅に低減し、SVC構造の圧縮率を高める効果を達成することができる。
本発明は、以下に示す詳細な説明から、さらに完全に理解されるであろう。以下の詳細な説明は、例示を目的としているのみであり、本発明の範囲を制限するものではない。
図1に図示した、開示するシステム構造は、SVC構造に基づくGOPのうち最大のデータ量を有する時間低サブバンド画像10に対して映像符号化予測処理を行なう。このシステム構造は、以下の部分を含む。
(a)動き予測ユニット20。このユニットは、GOP内の画像間の動きベクトルを予測する。
(b)動き補償時間フィルタリングユニット30。時間フィルタリングを用いて、連続した2つの画像の各々について、動きベクトル方向に沿って時間高サブバンド画像と時間低サブバンド画像を生成する。この動き補償時間フィルタリングユニット30は、第1レベルの時間フィルタリングの後、高サブバンド画像を保持し、次のレベルの時間フィルタリングのための時間低サブバンド画像を残す。図2に示したように、いくつかのレベルの時間フィルタリングを行なった後(図2は4レベルの時間フィルタリング後の結果を示している)、1つの時間高サブバンド画像と1つの時間低サブバンド画像10のみが保持される。
(c)DWTユニット40。このユニットは、DWT法を使用して、動き補償時間フィルタリングユニット30によって生成された時間低サブバンド画像を処理し、図3に示したように、1つ以上の空間低サブバンドを生成する。時間低サブバンド画像10が1レベルのDWTを経ると、4つの空間サブバンドが形成される。さらに1レベルのDWTを経ると、元のサブバンドの各々がさらに4つのサブバンドに分割される。システムは、スケーラビリティ条件に応じてこの処理を繰り返すことができる。処理のレベル数が多いほど、システムのスケーラビリティは高くなる(図3は、3レベルの処理後の結果を示している)。
(d)映像符号化予測ユニット50。このユニットは、本発明の主要な特徴であり、DWTユニット40と映像符号化ユニット60の間に位置している。このユニットは、映像符号化を行なう前に、時間低サブバンド画像10から生成される空間低サブバンドに対する予測を行なう目的で用いられる。その動作は、以下の2つの実施例に記載してある。
(1)図6は、この動作の第1の実施例を示している。まず、時間低サブバンド画像10の個々の空間低サブバンドを、同じ大きさのM*Mの予測ブロックに分割する(ステップ200)。空間低サブバンドのM*Mの予測ブロックを、順に読み取る。M*Mの予測ブロック内の個々のピクセルに対して、映像符号化予測を行なう。すなわち、すべてのピクセルのDWT係数に対して予測が行なわれ、空間低サブバンドの個々の予測ブロックについて予測値が生成される(ステップ300)。空間低サブバンドの個々の予測ブロックに関連付けられる実際値と、対応する予測値とを比較し、空間低サブバンドの個々の予測ブロックについて、最適予測モードとそれに対応する差とを決定する(ステップ400)。その後、すべての空間低サブバンドについて予測が完了したかどうかを判定する(ステップ500)。予測の行なわれていない空間低サブバンドが残っている場合は、動作はステップ300に戻り、ステップ300とステップ400を繰り返す。すべての予測が完了すると、時間低サブバンド画像10の映像符号化を行なう目的で、個々の空間低サブバンドに関連付けられる予測ブロック、最適予測モード、および差を順に出力する(ステップ600)。
この実施例では、時間低サブバンド画像10の個々の空間低サブバンドを分割することにより得られた予測ブロックに対して、個別に予測を行なう。そのため、個々の予測ブロックに対して1回の予測が行なわれ、その後、対応する最適予測モードと差とが出力される。
(2)図7は、第2の実施例の手順を示している。このステップは、おおむね第1の実施例と同じである。まず、時間低サブバンド画像10の個々の空間低サブバンドを、同じ大きさのM*Mの予測ブロックに分割する(ステップ200)。1つの空間低サブバンドのM*Mの予測ブロックを読み取り、前述した映像符号化予測モードに従って、予測ブロック内の全てのピクセルに対して映像符号化予測を行なう。すなわち、個々のピクセルのDWT係数に対して予測を行い、空間低サブバンドの個々の予測ブロックに関連付けられる予測値を生成する(ステップ310)。空間低サブバンドの個々の予測ブロックの実際値を、対応する予測値と比較し、空間低サブバンドの個々の予測ブロックに関連付けられる最適予測モードと対応する差とを決定する(ステップ400)。最適予測モードを収集し、代表的最適予測モードを決定する。時間低サブバンド画像の映像符号化を行なう目的で、代表的最適予測モードと、対応する差とを順に出力する(ステップ700)。
第2の実施例と第1の実施例の違いは、ステップ310において、時間低サブバンド画像10の空間低サブバンドの1つのみにおいて読み取りを行い、予測ブロックに対して個別の予測を行なう点である。ステップ700においては、予測ブロックの中で最も使用頻度の高い最適予測モード(すなわち代表的最適予測モード)と対応する差とが、時間低サブバンド画像10のすべての空間低サブバンドの出力として用いられる。これにより、映像符号化予測ユニット50が予測を行なうために必要な処理手順とデータを大幅に低減することができる。これにより、予測時の効率と映像符号化全体の効率が高まる。
一般的には、予測ブロックのサイズは16*16または4*4である(例としてH.264を用いる)。16*16の予測ブロックは、通常、ピクセル値がなめらかに変化するブロックの予測に用いられる。4*4の予測ブロックはピクセル値が急激に変化するブロックの予測に用いられる。これら2つの方法の目的は異なる。以下では、4*4の予測ブロックを用いて、映像符号化予測モードを詳細に説明する。
図4に示したように、映像符号化予測モードとは、以下の9つの計算基準方位(すなわち予測方位)における予測ブロックに対する予測処理を意味する。すなわち垂直予測(モード0)、水平予測(モード1)、平均予測(モード2、図示していない)、左下斜め予測(モード3)、右下斜め予測(モード4)、垂直右予測(モード5)、水平下予測(モード6)、垂直左予測(モード7)、および水平上予測(モード8)である。
上述の9つの計算基準方位と以下の計算法とを使用して、すべての映像符号化予測モードの予測値を得ることができる。図5において、a、b、c、d、…m、n、o、pは、4*4の予測ブロックの16のピクセル値を表しており、A、B、C、D、…M、N、O、Pは、4*4の予測ブロックの周囲の基準ピクセル値を示している。(これらの基準ピクセル値は、同じ画像および同じ空間低サブバンドに属しているという基本条件を満たしていなければならない)。予測値は、以下の計算法を用いて予測される。
(1)垂直予測(モード0)
Aを参照して、a、e、i、mの予測を行なう。
Bを参照して、b、f、j、nの予測を行なう。
Cを参照して、c、g、k、oの予測を行なう。
Dを参照して、d、h、l、pの予測を行なう。
(2)水平予測(モード1)
Iを参照して、a、b、c、dの予測を行なう。
Jを参照して、e、f、g、hの予測を行なう。
Kを参照して、i、j、k、lの予測を行なう。
Lを参照して、m、n、o、pの予測を行なう。
(3)平均予測(モード2)
すべての基準ピクセル値が存在する場合は、(A+B+C+D+I+J+K+L+4)>>3を参照して、a、b、c、d、…、m、n、o、pの予測を行なう。
A、B、C、Dのみが存在する場合は、(A+B+C+D+2)>>2を参照してa、b、c、d、…、m、n、o、pの予測を行なう。
I、J、K、Lのみが存在する場合は、(I+J+K+L+2)>>2を参照してa、b、c、d、…、m、n、o、pの予測を行なう。
(4)左下斜め予測(モード3)
aは(A+2B+C+I+2J+K+4)>>3により表される。
bおよびeは(B+2C+D+J+2K+L+4)>>3により表される。
c、f、iは(C+2D+E+K+2L+M+4)>>3により表される。
d、g、j、mは(D+2E+F+L+2M+N+4)>>3により表される。
h、k、nは(E+2F+G+M+2N+O+4)>>3により表される。
l、oは(F+2G+H+N+2O+P+4)>>3により表される。
pは(G+H+O+P+2)>>2により表される。
(5)右下斜め予測(モード4)
mは(J+2K+L+2)>>2により表される。
i、nは(I+2J+K+2)>>2により表される。
e、j、oは(Q+2I+J+2)>>2により表される。
a、f、k、pは(A+2Q+I+2)>>2により表される。
b、g、lは(Q+2A+B+2)>>2により表される。
c、hは(A+2B+C+2)>>2により表される。
dは(B+2C+D+2)>>2により表される。
(6)垂直右予測(モード5)
a、jは(Q+A+1)>>1により表される。
b、kは(A+B+1)>>1により表される。
c、lは(B+C+1)>>1により表される。
dは(C+D+1)>>1により表される。
e、nは(I+2Q+A+2)>>2により表される。
f、oは(Q+2A+B+2)>>2により表される。
g、pは(A+2B+C+2)>>2により表される。
hは(B+2C+D+2)>>2により表される。
iは(Q+2I+J+2)>>2により表される。
mは(I+2J+K+2)>>2により表される。
(7)水平下予測(モード6)
a、gは(Q+I+1)>>1により表される。
b、hは(I+2Q+A+2)>>2により表される。
cはQ+2A+B+2)>>2により表される。
dは(A+2B+C+2)>>2により表される。
e、kは(I+J+1)>>1により表される。
f、lは(Q+2I+J+2)>>2により表される。
i、oは(J+K+1)>>1により表される。
j、pは(I+2J+K+2)>>2により表される。
mは(K+L+1)>>1により表される。
nは(J+2K+L+2)>>2により表される。
(8)垂直左予測(モード7)
aは(2A+2B+J+2K+L+4)>>4により表される。
b、iは(B+C+1)>>1により表される。
c、jは(C+D+1)>>1により表される。
d、kは(D+E+1)>>1により表される。
lは(E+F+1)>>1により表される。
eは(A+2B+C+K+2L+M+4)>>4により表される。
f、mは(B+2C+D+2)>>2により表される。
g、nは(C+2D+E+2)>>2により表される。
h、oは(D+2E+F+2)>>2により表される。
pは(E+2F+G+2)>>2により表される。
(9)水平上予測(モード8)
aは(B+2C+D+2I+2J+4)>>3により表される。
bは(C+2D+E+I+2J+K+4)>>3により表される。
c、eは(J+K+1)>>1により表される。
d、fは(J+2K+L+2)>>2により表される。
g、iは(K+L+1)>>1により表される。
h、jはK+2L+M+2)>>2により表される。
l、nは(L+2M+N+2)>>2により表される。
k、mは(L+M+1)>>1により表される。
oは(M+N+1)>>1により表される。
pは(M+2N+O+2)>>2により表される。
個々の予測ブロックの映像符号化予測モードの各々に関連付けられる予測値の計算を行なった後に、引き続き、予測ブロック内のすべてのピクセルの予測値のそれぞれと実際値とを比較し、それにより予測ブロックに関連付けられる最適予測モードと対応する差とを決定する。対応する差とは、個々のピクセルの予測値と実際値との間の差分絶対和(SAD)を意味する。最適予測モードは、SADが最も小さい予測モードである。
第2の実施例においては、いわゆる代表的最適予測モードに言及した。代表的最適予測モードは、いくつかの最適予測モードの使用の回数を累算することにより求められる。最も使用回数の多い最適予測モードが、空間低サブバンド全体に用いる最適予測モードとなる。
(e)映像符号化ユニット60。このユニットは、DWTユニット40において予測符号化によって処理されていない空間低サブバンドの係数と、映像符号化予測ユニット50により生成された予測エラーとに対して、エントロピー符号化を行なう。
(f)動きベクトル符号化ユニット70。このユニットは、2つの連続する画像の各々から、動き予測ユニット20により予測される動きベクトルに対する映像符号化を行なう。
(g)バッファユニット80。このユニットは、空間低サブバンド、予測ブロック、最適予測モード、および対応する差など、映像符号化の内容を一時的に保持する。
最もデータ量の多い時間低サブバンド画像10に基づいて前述のシステムおよび方法を実施することにより、映像符号化の基礎として用いられる、個々の空間低サブバンドの最適予測モードと対応する差とを求める。これによって、映像符号化時のデータ量を大幅に低減し、SVC構造の圧縮率を高める効果を達成することができる。
当業者には、請求項に定義されている本発明の精神および範囲内であるとみなされる変更が明らかであろう。
本発明のシステム構造を示す図である。 本発明による動き補償時間フィルタリングユニットにおける時間フィルタリングの概略図である。 本発明による離散ウェーブレット変換ユニットにおける空間ウェーブレット分解の概略図である。 開示した符号化予測モードによる計算基準方位の概略図である。 開示した符号化予測モードによる計算基準の概略図である。 本発明の第1の実施例のフローチャートである。 本発明の第2の実施例のフローチャートである。
符号の説明
20 動き予測ユニット
30 動き補償時間フィルタリングユニット
40 DWTユニット
50 映像符号化予測ユニット
60 映像符号化ユニット
70 動きベクトル符号化ユニット
80 バッファユニット

Claims (12)

  1. SVC構造に基づく、スケーラブル映像符号化(SVC)の圧縮率を高めるシステムであって、画像グループ(GOP)内の画像間の動きベクトルに関する予測を行なう動き予測ユニットと、時間フィルタリングにより時間低サブバンド画像を含む時間画像を生成する動き補償時間フィルタリングユニットと、空間DWT法を用いて前記時間低サブバンド画像を処理し、1つ以上の空間低サブバンドを生成する離散ウェーブレット変換(DWT)ユニットと、前記動きベクトルの映像符号化を行なう動きベクトル符号化ユニットと、エントロピー符号化を行う映像符号化ユニットと、映像符号化の内容を一時的に保存するバッファユニットと、を有し、さらに、
    前記DWTユニットと前記映像符号化ユニットとの間の映像符号化予測ユニットであって、前記空間低サブバンドのそれぞれを同じ大きさのM*Mの予測ブロックに分割し、前記空間低サブバンドのうち何れか1つのみにおいてM*Mの予測ブロックを読み取り、映像符号化予測モードに従って前記M*Mの予測ブロック内のすべてのピクセルについてイントラ予測を行なうことにより、前記空間低サブバンドの前記予測ブロックのそれぞれについて予測値を生成し、前記空間低サブバンドの前記予測ブロックのそれぞれに関連付けられる実際値を計算し、それを前記関連付けられる予測値と比較することにより、前記空間低サブバンドの前記予測ブロックのそれぞれについて対応する差と最小の差を有する最適予測モードとを決定し、前記最適予測モードを収集して代表的最適モードを決定し、前記時間低サブバンド画像に対するエントロピー符号化を行なう目的で、前記代表的最適モードおよび前記対応する差を順に出力する、前記映像符号化予測ユニット、
    を備えている、システム。
  2. 前記M*Mの予測ブロックが4*4の大きさを有する、請求項に記載のシステム。
  3. 前記M*Mの予測ブロック内の前記ピクセルすべてに対する映像符号化予測が、前記ピクセルのDWT係数に対して行われる、請求項に記載のシステム。
  4. 映像符号化予測モードが、平均予測、水平予測、垂直予測、右下斜め予測、左下斜め予測、垂直左予測、垂直右予測、水平上予測、水平下予測、から成るグループから選択される、請求項に記載のシステム。
  5. 前記対応する差が、前記予測値と前記実際値との間の差分絶対和(SAD)である、請求項に記載のシステム。
  6. 前記代表的最適モードが、前記空間低サブバンドの前記予測ブロックの中で使用頻度が最も高い前記最適予測モードである、請求項に記載のシステム。
  7. SVC構造における符号化データを減少させることによりSVC圧縮率を高める方法であって、GOPに対する時間フィルタリングと空間DWTとの後に生成される時間低サブバンド画像内の複数の空間低サブバンドに対してイントラ予測を行うことにより実現され、
    (a)前記空間低サブバンドのそれぞれを同じ大きさのM*Mの予測ブロックに分割するステップと、
    (b)前記空間低サブバンドのうち何れか1つのみにおいてM*Mの予測ブロックを読み取り、映像符号化予測モードに従って前記M*Mの予測ブロック内のすべてのピクセルに対して映像符号化予測を行い、それにより前記空間低サブバンドの前記予測ブロックのそれぞれの予測値を生成するステップと、
    (c)前記空間低サブバンドの前記予測ブロックのそれぞれに関連付けられる実際値を計算し、それを前記関連付けられる予測値と比較することにより、前記空間低サブバンドの前記予測ブロックのそれぞれについて最適予測モードと対応する差とを求めるステップと、
    (d)前記時間低サブバンド画像に対するエントロピー符号化を行なう目的で、前記最適予測モードを収集して代表的最適モードを生成し、前記代表的最適モードと前記対応する差とを順に出力するステップと、
    を含む、方法。
  8. 前記M*Mの予測ブロックが4*4の大きさを有する、請求項に記載の方法。
  9. 前記M*Mの予測ブロック内の前記ピクセルすべてに対する映像符号化予測が、ピクセルのDWT係数に対して行われる、請求項に記載の方法。
  10. 前記映像符号化予測モードが、平均予測、水平予測、垂直予測、右下斜め予測、左下斜め予測、垂直左予測、垂直右予測、水平上予測、水平下予測、より成るグループから選択される、請求項に記載の方法。
  11. 前記対応する差が、前記予測値と前記実際値との間の差分絶対和(SAD)である、請求項に記載の方法。
  12. 前記代表的最適モードが、前記空間低サブバンドの前記予測ブロックの中で使用頻度が最も高い最適予測モードである、請求項の方法。
JP2005156101A 2004-10-11 2005-05-27 Svcの圧縮率を高めるシステムおよび方法 Expired - Fee Related JP4429968B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW93130748A TWI243615B (en) 2004-10-11 2004-10-11 System for enhancing compression ratio of scalable video coding and method thereof

Publications (2)

Publication Number Publication Date
JP2006115459A JP2006115459A (ja) 2006-04-27
JP4429968B2 true JP4429968B2 (ja) 2010-03-10

Family

ID=36145293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005156101A Expired - Fee Related JP4429968B2 (ja) 2004-10-11 2005-05-27 Svcの圧縮率を高めるシステムおよび方法

Country Status (3)

Country Link
US (1) US20060078050A1 (ja)
JP (1) JP4429968B2 (ja)
TW (1) TWI243615B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8599926B2 (en) 2006-10-12 2013-12-03 Qualcomm Incorporated Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
US8325819B2 (en) 2006-10-12 2012-12-04 Qualcomm Incorporated Variable length coding table selection based on video block type for refinement coefficient coding
US8565314B2 (en) 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
US9319700B2 (en) 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US8942292B2 (en) * 2006-10-13 2015-01-27 Qualcomm Incorporated Efficient significant coefficients coding in scalable video codecs
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
JP5609737B2 (ja) * 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US20120075346A1 (en) * 2010-09-29 2012-03-29 Microsoft Corporation Low Complexity Method For Motion Compensation Of DWT Based Systems
US9900615B2 (en) 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
US9532080B2 (en) 2012-05-31 2016-12-27 Sonic Ip, Inc. Systems and methods for the reuse of encoding information in encoding alternative streams of video data
US9357210B2 (en) * 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming
US9973780B2 (en) * 2013-10-31 2018-05-15 Microsoft Technology Licensing, Llc Scaled video for pseudo-analog transmission in spatial domain
TWI646823B (zh) * 2017-04-27 2019-01-01 晨星半導體股份有限公司 視訊壓縮方法及視訊壓縮裝置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373894B1 (en) * 1997-02-18 2002-04-16 Sarnoff Corporation Method and apparatus for recovering quantized coefficients
US7289674B2 (en) * 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
DE60317670T2 (de) * 2003-09-09 2008-10-30 Mitsubishi Denki K.K. Verfahren und Vorrichtung zur 3D-Teilbandvideokodierung

Also Published As

Publication number Publication date
JP2006115459A (ja) 2006-04-27
TW200612755A (en) 2006-04-16
TWI243615B (en) 2005-11-11
US20060078050A1 (en) 2006-04-13

Similar Documents

Publication Publication Date Title
JP4429968B2 (ja) Svcの圧縮率を高めるシステムおよび方法
US6519284B1 (en) Encoding method for the compression of a video sequence
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
KR100971835B1 (ko) 화상 복호 방법 및 장치
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
US6438168B2 (en) Bandwidth scaling of a compressed video stream
EP1138152B8 (en) Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid
US7627040B2 (en) Method for processing I-blocks used with motion compensated temporal filtering
US20070160299A1 (en) Moving image coding apparatus, moving image decoding apparatus, control method therefor, computer program, and computer-readable storage medium
US20060250520A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
JP3703299B2 (ja) ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品
KR20000059799A (ko) 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법
KR20050012782A (ko) 코딩 중에 이미지 선명도를 최적화하기 위한 방법과 시스템
WO2006046550A1 (ja) 画像符号化方法および装置、ならびに画像復号方法および装置
JP4580880B2 (ja) 画像符号化装置、画像復号装置及び画像処理システム
EP1889487A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
JP4522951B2 (ja) 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体
JP4667424B2 (ja) 画像復号装置
JP4667423B2 (ja) 画像復号装置
JP4153774B2 (ja) 動画像符号化方法とその復号化方法、およびそれらの装置
JPH10145797A (ja) 画像符号化方法および装置
KR20050074151A (ko) 스케일러블 비디오 코딩에서 모션 벡터를 선정하는 방법및 그 방법을 이용한 비디오 압축 장치
JP2002064826A (ja) 圧縮画像の解像度変換装置及び方法
JP4672594B2 (ja) 符号化ストリーム再符号化方法、符号化ストリーム再符号化装置、符号化ストリーム復元方法、符号化ストリーム復元装置、符号化ストリーム再符号化プログラム、符号化ストリーム復元プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2006109989A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090107

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090113

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090206

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090407

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091023

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131225

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees