JP4587321B2 - インタレースデジタルビデオデータのスケーラブル符号化および復号化 - Google Patents

インタレースデジタルビデオデータのスケーラブル符号化および復号化 Download PDF

Info

Publication number
JP4587321B2
JP4587321B2 JP2006504438A JP2006504438A JP4587321B2 JP 4587321 B2 JP4587321 B2 JP 4587321B2 JP 2006504438 A JP2006504438 A JP 2006504438A JP 2006504438 A JP2006504438 A JP 2006504438A JP 4587321 B2 JP4587321 B2 JP 4587321B2
Authority
JP
Japan
Prior art keywords
video sequence
sequence
stream
interlaced
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006504438A
Other languages
English (en)
Other versions
JP2006521727A (ja
Inventor
マルカン グウェナエル
ボワソン ギョーム
フランソワ エドゥワール
ヴィエロン ジェローム
ロベール フィリップ
ギュイモ クリスティーヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2006521727A publication Critical patent/JP2006521727A/ja
Application granted granted Critical
Publication of JP4587321B2 publication Critical patent/JP4587321B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Systems (AREA)

Description

本発明は、ビデオ圧縮法に関する。さらに詳しくいうと本発明は、デジタルビデオデータのインタレースシーケンスを符号化および復号化する際にスケーラビリティを達成する方法に関する。
発明の背景
今日、ほとんどのビデオ符号化アルゴリズムは、動き補償予測符号化を使用して伝送帯域幅を低減している。このようなハイブリッド方式では時間的な冗長性が動き補償によって低減され、空間的な冗長性が動き補償残差変換符号化によって低減される。テストを目的とした利用可能なMPEGビデオ素材を含むほとんどの標準定義(SD standard definition)のビデオ素材はインタレースされているが、スケーラブルビデオ符号化における最近の研究は、プログレッシブビデオの評価だけに力が注がれて来た。この点についての努力は、例えばMPEG−4に対して払われ、これは"Description of Exploration experiments in Scalable Video Coding", ISO/IEC JEC1/SC29/WG11, MPEG2002/N5414, Awaji, December 2002に記載されている通りである。例えばHDTVに対してWO9003082に記載されている公知のアルゴリズムは、空間的および時間的にスケーラブルなインタレースビデオを伝送するのに十分でない。それは、より広範なスケーラビリティが要求されるからである。新しいディスプレイタイプ、例えば小型モバイルディスプレイは、低い空間および時間解像度のプログレッシブビデオで対処しているが、その他のもの、例えばHDTV受信器には、高い空間解像度および標準の時間解像度を有するインタレースシーケンスが必要である。
発明の要約
本発明の目的は、インタレースビデオのサブバンドまたはウェーブレット符号化を改善することである。インタレースビデオにおいて空間および時間的な次元は密に結合しているため、本発明の方法は空間時間SN比(SNR)との関わり合いにおいて付加的な研究を使用する。
本発明によって解決すべき課題は、インタレースビデオの符号化および復号化において十分な空間的および時間的なスケーラビリティが得られるようにする方法を提供することである。このような方法は、符号化については請求項1に、また復号化については請求項6に記載されている。この符号化方法を利用する装置は請求項10に記載されている。上記の復号化方法を利用する装置は請求項11に記載されている。これは、受信信号をプログレッシブかまたはインタレースの時間解像度レベルの異なるビデオシーケンスに、またさまざまなレベルの空間解像度に変換することができる。
本発明によれば、インタレースデジタルビデオデータはつぎのように処理される。すなわちここでは、空間的、時間的および品質、SNRについての品質上のスケーラビリティがサポートされるように処理されるのであり、すなわち十分な分解操作および空間時間フィルタリングによって、スケーラブルな空間的および/または時間的なサブレゾリューションシーケンスが生成されるのである。
これはインタレースソースビデオ素材を2つのレイヤ、すなわち基本レイヤ(BL base layer)と拡張レイヤ(EL enhancement layer)とに分けるまたは分解することによって達成される。BLには、プログレッシブモードにおける入力ビデオソースのフルにスケーラブルな記述が含まれ、ここでスケーラビリティは空間解像度、時間解像度および品質についてのスケーラビリティである。ELとBLとを組み合わせた場合、ELにより、オリジナルのインタレースビデオ素材を低コストでスケーラブルに再構成することができる。これにはオリジナルの空間解像度、時間解像度およびSNR品質の達成が含まれる。
上記の分解は、インタレースビデオシーケンスの1つおきのフィールドを同じレイヤに関連づけることによって達成可能であり、例えば、1レイヤが偶数フィールドを処理し、別のレイヤが奇数フィールドを処理するのである。有利にも、EL処理の一部に対してBLからの動き推定(ME motion estimation)ベクトルを使用することにより、計算能力を節約することができる。インタレースビデオシーケンスは5つの成分に分解され、これらは2つのレイヤBLおよびELに属する。本発明による受信器は、空間時間解像度およびSNRが異なるさまざまな品質レベルのビデオシーケンスにこれらの成分を結合することができる。
本発明の有利な実施形態は、従属請求項、以下の説明、および図に示されている。
図の簡単な説明
本発明の例示的な実施形態を、添付の図面に関連して説明する。ここで、
図1は、本発明にしたがってスケーラブル符号化を行うビデオコーダの構造を示しており、
図2は、本発明によるスケーラブルビデオデコーダの構造を示している。
本発明の詳細な説明
図1は、本発明によるビデオコーダの構造を示している。入力信号Iは、2αHzの時間解像度、すなわち秒当たり2α個のフィールドまたは秒当たりα個のフレームと、2M×2Nの空間解像度、すなわちそれぞれ2M個のピクセルを有する2N行のフレームまたはそれぞれ2M個のピクセルを有するN行のフィールドとを有するインタレースビデオシーケンスである。分解ブロックSPは、このシーケンスを分配して、フィールドが交互に第1分岐または第2分岐に渡されるようにする。第1分岐は、BL情報とEL情報を生成するが、ここではBL分岐と称される。別の1つの分岐はEL情報だけを形成し、ここではEL分岐と称される。各分岐は秒当たりαフレームの時間解像度と、2M×Nピクセルの空間解像度を有するビデオシーケンスを受け取る。例えば、BLシーケンスF1は、偶数フィールドを含み、ELシーケンスは奇数フィールドを含む。一般的には分解ブロックSPは任意の分解変換を行って、単一のソース表現から2つの表現を形成する。これはまた、さらに高度な処理、例えばロー/ハイフィルタリングのためにさまざまなフィルタもを利用する。
BL分岐はx軸に沿って、すなわち行内でF1シーケンスに空間フィルタリングSF1を行い、F1の比較的周波数の低い部分からM×Nピクセルの空間解像度を有するビデオシーケンスLを生成し、F1の比較的周波数の高い部分から空間解像度拡張信号Hを生成する。簡単な例ではこのフィルタリングは、ローパスフィルタLProwおよびハイパスフィルタHProwによって行うことができ、これらは共に例えばファクタ2の水平サブサンプリングを行う。別のファクタが有利な場合もある。低解像度シーケンスLは、空間時間フィルタSTFに入力され、また動き推定(ME Motion Estimating)ブロックME1に入力される。空間時間フィルタSTFは、3Dウェーブレット変換または2D+tウェーブレット変換とも称される動き補償時間変換を行う。これは例えば、長さ2のHaar変換フィルタ、または長さ9および7または長さ5および3のDaubechiesフィルタとして実現することができる。MEブロックME1は動きベクトルMV1を生成し、これは3つの目的に使用される。すなわち、第1にこれらの動きベクトルは空間時間フィルタリング処理を最適化するために使用される。第2にこれは受信器に伝送され、例えば逆フィルタリング7処理に使用される。また第3にこれらはコーダのEL分岐に使用される。
空間時間フィルタSTFの出力信号Pは伝送され、受信器によって動きベクトルMV1と組み合わされて、例えばM×Nピクセル、αHzのプログレッシブモードビデオシーケンスを再生することができる。有利にも上に述べた実現を使用する場合、空間時間フィルタを設計して、このプログレッシブシーケンスが時間解像度について、またxおよびyの両方向の空間解像度についてスケーラブルであるようにすることも可能である。このフィルタは、ターゲットフレームレートまたはフォーマットに応じて、複数のフィルタリングレベルを有することができるため、例えば、M′×N′の空間解像度および/またはθαHzの時間解像度を達成することができる。ただしここでM′およびN′はそれぞれ[0,M]および[0,N]の範囲にあり、θ∈Q01であり、Q01は[0,1]の範囲にある有理数である。このフィルタリングによって、相異なる空間時間周波数が得られ、その適合のさせ方によって、例えば、データストリーム内での編成によって、基本レイヤを完全にスケーラブルすることができる。このブロックSTFの出力Pは、解像度M′×N′のプログレッシブシーケンスであり、これはオリジナルの2M×2Mフォーマットのサブレゾリューションであり、また本発明のシステムが生成する最も低い空間および時間解像度レベルを表す。
x軸に沿った高周波数フィールドを含む空間解像度エンハンスメント信号Hは、拡張レイヤELに属しており、また高性能受信器によって使用されて、x軸方向に空間解像度がより高い、オリジナルの解像度までのフレームを再構成することができる。
EL分岐により、F2シーケンスに対して動き補償時間フィルタリング(MCTF Motion Compensated Temporal Filtering)が行われる。これは動きベクトル(MV Motion Vector)を使用して、1つの画像におけるオブジェクトの位置が別の画像に対して移動している場合に伝送するデータの量を最小化する。MVの相異なる2つの集合を使用することができる。すなわち、オリジナルのインタレースシーケンスから生成されるMVか、奇数または偶数の同じパリティのフィールドを比較することよって生成されるMVかのいずれかを使用することができる。有利にも、後者の場合にBL分岐のME1ブロックで生成されるMV1ベクトルを使用可能である。それは、例えば連続する2つの偶数フィールド間の動きは、相応する2つの奇数フィールド間の動きに極めて類似しており、またこの逆が成り立つことが多いからである。4つのフィールドのシーケンス内で動きが変化することがなおあり得るため、第2の動き推定ブロックME2においてインタレースシーケンスIから生成されるより良好な動きベクトルMV2を使用することが有利なこともある。このため決定ブロックがEL分岐に組み込まれており、これによってMVのいずれの集合をMCTFに対して使用するかが決定され。この決定情報を伝送することも有利である。
動き補償時間フィルタリング(MCTF)により、フィルタリングされたF2フィールドFF2、すなわちオリジナルのF2フィールドよりもコストの低いF2フィールドを生成することができる。これらのフィルタリングされたフィールドFF2は、入力F2フィールドと同じ空間および時間解像度を有する。コストの低減は、上記の動きベクトルを使用することによって達成される。それは伝送データ量が低減されるからである。動き推定および動き補償は、パリティとは無関係にフィールドにわたって行うことができ、これによってフィールド内およびフィールド間の相関が取り込まれる。さまざまな予測モード(後方、前方または双方向)ならびに多重基準フィールドアルゴリズム(multiple reference fields algorithm)を使用可能である。MV符号化コストおよび推定の複雑度を低減するため、目標とされる要求に応じて、基本レイヤからの動き情報を事前または事後に使用することができる。
本発明の1実施形態では、動き補償時間フィルタリングMCTFによって、上記のインタレースビデオ信号Iまたは第1動き推定ME1の結果も使用する、
伝送に対して有利であるのは、結果的に得られる複数のストリームを1ビットストリームに多重化することである。ここで示した符号化方法により、インタレースされたオリジナルのビデオシーケンスは2つのレイヤ、BLおよびELに分解される。これによって、結果的に得られるビットストリームは、コーダ側でもデコーダ側でも共にさまざまな空間および時間解像度レベルをサポートすることができる。上記のELは複数のレイヤとしてみなすことも可能である。それはこれが複数の解像度のレベルを含むからである。
本発明の1実施形態では、上記の第1基本レイヤ信号P、第1サブシーケンスF1から生成される動きベクトルMV1、第1サブシーケンスF1から生成される比較的周波数の高いストリームH、インタレースシーケンスIから生成される動きベクトルMV2、動き補償時間フィルタリングMCTFから得られる拡張レイヤ信号FF2のうちの少なくともいくつかを伝送する。
具体例として、入力ビデオシーケンスIが、α=30ないしは2αHzが60Hzである標準定義(SD)ビデオ、F1が例えば偶数フィールドを、またF2が例えば奇数フィールドを表し、LProwによって2:1のサブサンプリングが行われ、Lが30Hzにおける共通イメージフォーマット(CIF Common Image Format)シーケンスであり、STFが1レベルの空間時間フィルタとすると、Pは15HzのCIFシーケンスである。
デコーダ側では目的とするアプリケーションに応じて、すなわち、プログレッシブかまたはインタレースモードにおいて復号化のロスがないかまたはあるかに応じて、複数のシナリオを考慮しなければならない。図2は例示的な高性能デコーダを示しており、これは、技術的な要求またはユーザの要求によって選択可能な複数の品質レベルを生成することができる。デコーダモードは、品質セレクタQS(quality selector)によって選択可能である。これは、例えば、送信器またはコンテンツプロバイダ、ないしは受信器の技術的な性能、またはユーザの好みによって制御可能である。さまざまなモードの例は、ロスのの有無、異なるフィールドレート、異なる空間解像度などである。復号化処理は、選択された復号品質に依存する。
デコーダ側から見て最も簡単なモードは、ロスのないプログレッシブモードである。この場合、プログレッシブシーケンスPと動きベクトルMV1とを含む基本レイヤ信号BLだけを完全に復号化するだけでよい。復号化は空間時間合成STS(spatio-temporal systhesis)を使用して行われる。このようにして、再構成されるビデオシーケンスV1は、フルの空間時間解像度、すなわち、M×Nピクセルの空間解像度およびαHzの時間解像度を有するのである。
別のモードは、ロスがあるプログレッシブなモードである。つまり、再構成されるビデオシーケンスV2の空間時間解像度は、ロスのないプログレッシブモードV1で達成される解像度のサブレゾリューションである。復号化に対して空間時間合成STSを使用することによって可能になるのは、任意のM′×N′、θ′αHzのプログレッシブシーケンスを再構成することであり、ここでM′およびN′はそれぞれ]0,M]および]0,N]の範囲にあり、θ′は]0,1]の範囲にある。ここでも基本レイヤだけを復号化すればよい。
フルのオリジナルのインタレースビデオ素材を再構成する場合には、すなわち、情報のロスなしに再構成したい場合、ロスのないインタレースモードが必要である。つまり、基本レイヤBL全体および拡張レイヤELの両方を完全に復号化しなければならないのである。コーダについて述べたように、EL信号は、F1フィールドのx方向における比較的高い周波数に関連する付加的なデータHと、入力インタレースシーケンスから生成される動きベクトルMV2と、F2フィールドに関連する情報FF2とを含む。適切な復号化のためには、すべてのコーダ操作を逆に実行しなければならない。逆フィルタリングは、ふつう合成(synthesis)と称される。ここでは空間合成SS(spatial synthesis)である相応の逆フィルタリングが上記の付加的なデータHおよび再構成されたBL信号V1に適用される場合、この逆フィルタリングによってビデオシーケンスV3が形成される。これは、解像度2M×NおよびαHzのコーダ側におけるオリジナルのF1シーケンスに相応する。同じ解像度を有する、コーダ側からのオリジナルのF2シーケンスは、逆動き補償時間フィルタIMCTF(inverse motion compensated temporal filter)を使用することにより、別のEL信号FF2およびMV2から合成することができる。つぎにF1フィールドは、逆分解操作ISP(inverse splitting operation)によってF2フィールドとマージされ、フルの2M×2Nの空間時間解像度および2αHzないしは秒当たりα個のインタレースフレームを有する完全なインタレースビデオシーケンスV4が再構成される。
別の可能性として、ロスのあるインタレースモードを使用することができる。すなわち、再構成される空間時間解像は、フルの解像度のサブレゾリューションである。上でロスのあるプログレッシブモードに対して示したように、復号化により、任意のM′×N′、θαHzのインタレースシーケンスを再構成することができる。このロスのあるケースが意味するのは、基本レイヤまたは拡張レイヤ、またはこれらの両方が完全には復号化されないことである。これは空間時間合成STSによって行うことができ、さらなる処理のためにV1の代わりにV2を使用することができる。これはまた空間合成SSまたは逆動き補償時間フィルタリングIMCTFによって行うことも可能である。
本発明の別の実施形態では、コーダにおける空間時間フィルタSTFを単純化して、F1シーケンスを直接伝送することができる。この場合、受信器において空間時間合成STSを取り消すことも可能である。
有利にも本発明の方法により、インタレースビデオを含めたスケーラブルビデオを生成することができ、ここでこれスケーラブルビデオは、高解像度インタレースモードのTVおよび低解像度プログレッシブモードのモバイル装置に使用可能な同じビットストリームを有する。このビットストリームは完全に埋め込まれているため、送信器側でも受信器側でも共に所望のすべての空間的または時間的なサブレゾリューションを抽出することができる。
本発明の方法は、すべてのビデオアプリケーション、有利にはすべてのMPEG準拠システムに使用可能である。
本発明にしたがってスケーラブル符号化を行うビデオコーダの構造を示す図である。 本発明によるスケーラブルビデオデコーダの構造を示す図である。

Claims (10)

  1. ビデオデータの基本的な再構成のための基本レイヤと、前記基本レイヤ再構成を拡張するまたは以上の拡張レイヤとを生成する、デジタルビデオデータのインタレースシーケンスを符号化する方法において、
    前記インタレースシーケンスを2つのサブシーケンスに分割するステップと、
    第1サブシーケンスを空間的にフィルタリングするステップであって、比較的周波数の低いストリームと、比較的周波数の高いストリームとを生成する、前記ステップと、
    前記比較的周波数の低いストリームを空間時間的にフィルタリングするステップであって、第1解像度のプログレッシブモードにおけるビデオシーケンス再構成ための第1信号を生成する、前記ステップと、
    前記比較的周波数の低いストリームに第1の動き推定を行うステップであって、得られた動きベクトルと信号と、第2解像度のプログレッシブモードにおけるビデオシーケンス再構成ため基本レイヤ信号を形成する、前記ステップと、
    前記インタレースビデオシーケンスに第2の動き推定を行うステップであって、第2の動きベクトルを生成する、前記ステップと、
    第2のサブシーケンスを動き補償時間フィルタリングして、拡張レイヤ信号得るステップと
    を有することを特徴とする、前記方法。
  2. 前記空間時間フィルタリングによって、時間的または空間的な次元または両方の次元における前記ビデオ解像度を変更する、請求項1に記載の方法。
  3. 前記比較的周波数の低いストリームを空間時間的にフィルタリングするステップは、長さ2のHaar変換フィルタ、または、長さ9および7または長さ5および3のDaubechiesフィルタによって、2D+tウェーブレット変換を行うステップを含む、請求項1または2に記載の方法。
  4. 前記動き補償時間フィルタリング、前インタレースビデオシーケンスおよび/または前記第1動き推定の結果も使用する、請求項1から3いずれか1項に記載の方法。
  5. 前記第1信号、
    第1サブシーケンスから生成される動きベクトル、
    第1サブシーケンスから生成される比較的周波数の高いストリーム、
    インタレースシーケンスから生成される動きベクトル、
    前記動き補償時間フィルタリングから得られる拡張レイヤ信号、のサブシーケンスのうちの少なくともいくつかを伝送する、請求項1から4いずれか1項に記載の方法。
  6. 個々のサブストリームが基本レイヤまたは拡張レイヤのいずれかに関連づけられている、ビデオデータのインタレースシーケンスを表ビットストリームの複数のサブストリームを復号化する方法において、
    記ビットストリームから、基本レイヤに関連づけられているサブストリームを抽出するステップであって、前記基本レイヤに関連づけられている前記サブストリームの1つが第1の動きベクトルを有する、前記ステップと、
    記サブストリームに空間時間合成を行うステップであって、プログレッシブモードビデオシーケンスを生成する、前記ステップと、
    基本復号化品質または拡張復号化品質のいずれかである復号化品質を選択または決定するステップであって、送信器またはコンテンツプロバイダからの制御信号、受信器側の技術的な性能および/またはユーザの好みを評価する、前記ステップと、
    張復号化品質の選択に応じて、前記プログレッシブモードビデオシーケンスと、前記拡張レイヤに関連づけられたサブストリームとに空間合成を行うステップであって、前記空間合成によって拡張プログレッシブモードビデオシーケンスを生成する、前記ステップと
    前記拡張プログレッシブモードビデオシーケンスと、前記拡張レイヤに関連づけられた1または2以上のサブストリームとに逆動き補償時間フィルタリングを行うステップであって、前記拡張レイヤに関連づけられている前記サブストリームの1つが第2の動きベクトルを有する、前記ステップと、
    前記逆動き補償空間フィルタリングの出力および前記拡張プログレッシブモードビデオシーケンスに逆分割を行うステップであって、拡張された空間時間解像度またはフル空間時間解像度のインタレースビデオシーケンスを生成する、前記ステップと、
    を有することを特徴とする、前記方法。
  7. 基本レイヤに関連づけられたサブストリームへの空間時間合成によって、プログレッシブモードビデオシーケンスのスケーリング表現、空間的な次元、時間的な次元または両方の次元についてのスケーリングを成する、請求項に記載の方法。
  8. 基本レイヤおよびまたは以上の拡張レイヤが生成される、デジタルビデオデータのインタレースシーケンスを符号化する装置において、
    前記インタレースシーケンスを2つのサブシーケンスに分解する分ブロックと、
    第1サブシーケンスを比較的周波数の低いストリームと、比較的周波数の高いストリームとに分解する空間フィルタと、
    前記比較的周波数の低いストリームを処理する空間時間フィルタであって、第1の解像度のプログレッシブモードにおけるビデオシーケンスの再構成のための第1の信号を生成する、前記空間時間フィルタと、
    前記比較的周波数の低いストリームを処理する第1動き推定ブロックであって、得られる動きベクトルと、前記第1の信号とによって、第2の解像度のプログレッシブモードにおけるビデオシーケンスの再構成のための基本レイヤ信号を形成する、前記第1の動き推定ブロックと、
    前記インタレースビデオシーケンスを処理する第2の動き推定ブロックであって、第2の動きベクトルを生成する、前記第2の動き推定ブロックと、
    第2サブシーケンスを処理して拡張レイヤ信号を得る動き補償時間フィルタと、を有することを特徴とする、前記装置。
  9. 前記の空間時間フィルタは、2D+tウェーブレット変換を行い、長さ2のHaar変換フィルタ、または、長さ9および7または長さ5および3のDaubechiesフィルタを含む、請求項8に記載の装置。
  10. 個々のサブストリームが基本レイヤまたは拡張レイヤのいずれかに関連づけられている、ビデオデータのインタレースシーケンスを表ビットストリームの複数のサブストリームを復号化する装置において、
    前記基本レイヤに関連づけられているサブストリームから、第1解像度のプログレッシブモードビデオシーケンスを生成す空間時間合成ブロックであって、前記基本レイヤに関連づけられている前記サブストリームの1つが第1の動きベクトルを有する、前記空間時間合成ブロックと、
    本復号化品質または拡張復号化品質のいずれかである復号化品質を選択または決定す品質選択ブロックであって、送信器またはコンテンツプロバイダからの制御信号、受信器側の技術的な性能および/またはユーザの好みを評価する、前記品質選択ブロックと、
    前記品質選択ブロックにおける拡張符号化品質の選択に応じて、前プログレッシブモードビデオシーケンスと、拡張レイヤに関連づけられたサブストリームを処理する空間合成ブロックであって、拡張プログレッシブモードビデオシーケンスを生成する、前記空間合成ブロック
    前記拡張プログレッシブモードビデオシーケンスと、前記拡張レイヤに関連づけられている1または2以上のサブストリームとを処理する逆動き補償時間フィルタリングブロックであって、前記拡張レイヤに関連づけられている前記サブストリームの1つが第2の動きベクトルを有する、前記逆動き補償時間フィルタリングブロックと、
    前記逆動き補償時間フィルタリングブロックの出力および前記拡張プログレッシブモードビデオシーケンスを処理する逆分割ブロックであって、拡張された空間時間解像度またはフル空間時間解像度のインタレースビデオシーケンスを生成する、前記逆分割ブロックと、
    を有することを特徴とする、前記装置。
JP2006504438A 2003-03-03 2004-02-20 インタレースデジタルビデオデータのスケーラブル符号化および復号化 Expired - Lifetime JP4587321B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03290507A EP1455534A1 (en) 2003-03-03 2003-03-03 Scalable encoding and decoding of interlaced digital video data
PCT/EP2004/001658 WO2004080079A1 (en) 2003-03-03 2004-02-20 Scalable encoding and decoding of interlaced digital video data

Publications (2)

Publication Number Publication Date
JP2006521727A JP2006521727A (ja) 2006-09-21
JP4587321B2 true JP4587321B2 (ja) 2010-11-24

Family

ID=32799089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006504438A Expired - Lifetime JP4587321B2 (ja) 2003-03-03 2004-02-20 インタレースデジタルビデオデータのスケーラブル符号化および復号化

Country Status (12)

Country Link
US (1) US8155192B2 (ja)
EP (2) EP1455534A1 (ja)
JP (1) JP4587321B2 (ja)
KR (1) KR100974397B1 (ja)
CN (1) CN1778116B (ja)
AT (1) ATE506812T1 (ja)
BR (1) BRPI0407963A (ja)
DE (1) DE602004032322D1 (ja)
MX (1) MXPA05009234A (ja)
MY (1) MY145020A (ja)
TW (1) TWI329457B (ja)
WO (1) WO2004080079A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
US20050201468A1 (en) * 2004-03-11 2005-09-15 National Chiao Tung University Method and apparatus for interframe wavelet video coding
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
KR100714071B1 (ko) * 2004-10-18 2007-05-02 한국전자통신연구원 적응적으로 세분화된 gop 구조를 이용한 mctf-기반동영상 부호화 및복호화 방법
WO2006043754A1 (en) * 2004-10-21 2006-04-27 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting temporal scalability
KR100664929B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
CN101213840B (zh) 2005-02-18 2011-02-02 汤姆森许可贸易公司 从低分辨率图像导出高分辨率图像的编码信息的方法以及实现该方法的编码和解码设备
EP1884063A1 (en) * 2005-05-24 2008-02-06 Nokia Corporation Method and apparatuses for hierarchical transmission/reception in digital broadcast
EP1727372A1 (en) * 2005-05-27 2006-11-29 Thomson Licensing Method and apparatus for encoding and decoding video data,
JP2007053554A (ja) * 2005-08-17 2007-03-01 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム
KR100825743B1 (ko) * 2005-11-15 2008-04-29 한국전자통신연구원 실시간으로 비트스트림의 공간 해상도를 변환할 수 있는스케일러블 비디오 코딩 방법 및 그 방법을 이용한 코덱
FR2894422A1 (fr) * 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
WO2007077116A1 (en) * 2006-01-05 2007-07-12 Thomson Licensing Inter-layer motion prediction method
KR100809296B1 (ko) * 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
CN100584026C (zh) * 2006-03-27 2010-01-20 华为技术有限公司 交织模式下的视频分层编码方法
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
US8676030B2 (en) * 2008-04-15 2014-03-18 Shlomo Selim Rakib Methods and systems for interacting with viewers of video content
US20100250763A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Transmitting Information on Operation Points
US20100250764A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Signaling Layer Information of Scalable Media Data
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
EP2532162B1 (en) 2010-02-01 2017-08-30 Dolby Laboratories Licensing Corporation Filtering for image and video enhancement using asymmetric samples
EP2716041A4 (en) 2011-05-31 2014-10-15 Dolby Lab Licensing Corp VIDEO COMPRESSION WITH RESOLUTION COMPENSATION AND OPTIMIZATION
US10432951B2 (en) 2014-06-24 2019-10-01 Qualcomm Incorporated Conformance and inoperability improvements in multi-layer video coding
WO2017213033A1 (ja) * 2016-06-06 2017-12-14 日本電気株式会社 映像符号化装置、映像符号化方法および記録媒体
US11140368B2 (en) 2017-08-25 2021-10-05 Advanced Micro Devices, Inc. Custom beamforming during a vertical blanking interval
US11539908B2 (en) 2017-09-29 2022-12-27 Advanced Micro Devices, Inc. Adjustable modulation coding scheme to increase video stream robustness
US11398856B2 (en) 2017-12-05 2022-07-26 Advanced Micro Devices, Inc. Beamforming techniques to choose transceivers in a wireless mesh network
US10938503B2 (en) * 2017-12-22 2021-03-02 Advanced Micro Devices, Inc. Video codec data recovery techniques for lossy wireless links
US11699408B2 (en) 2020-12-22 2023-07-11 Ati Technologies Ulc Performing asynchronous memory clock changes on multi-display systems

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2240230B (en) * 1990-01-18 1994-04-13 British Broadcasting Corp Field-rate upconversion of television signals
JPH04372292A (ja) * 1991-06-20 1992-12-25 Nippon Hoso Kyokai <Nhk> 動きベクトル検出装置
US5253056A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
JPH08172630A (ja) * 1994-12-16 1996-07-02 Matsushita Electric Ind Co Ltd 動画像符号化装置
JP3534465B2 (ja) * 1994-12-28 2004-06-07 パイオニア株式会社 サブバンド符号化方法
US6728775B1 (en) * 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
JP3164031B2 (ja) * 1997-05-30 2001-05-08 日本ビクター株式会社 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体
JPH1175184A (ja) * 1997-08-28 1999-03-16 Sanyo Electric Co Ltd 画像符号化装置及び画像符号化方法
US6058143A (en) * 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
US6961383B1 (en) * 2000-11-22 2005-11-01 At&T Corp. Scalable video encoder/decoder with drift control
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US7042946B2 (en) * 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US7116828B2 (en) * 2002-09-25 2006-10-03 Lsi Logic Corporation Integrated video decoding system with spatial/temporal video processing
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors
US7627040B2 (en) * 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering

Also Published As

Publication number Publication date
CN1778116A (zh) 2006-05-24
BRPI0407963A (pt) 2006-04-11
US20070147492A1 (en) 2007-06-28
US8155192B2 (en) 2012-04-10
MY145020A (en) 2011-12-15
TWI329457B (en) 2010-08-21
WO2004080079A1 (en) 2004-09-16
DE602004032322D1 (de) 2011-06-01
KR20050107488A (ko) 2005-11-11
TW200420134A (en) 2004-10-01
EP1455534A1 (en) 2004-09-08
CN1778116B (zh) 2010-09-29
EP1606950A1 (en) 2005-12-21
KR100974397B1 (ko) 2010-08-05
EP1606950B1 (en) 2011-04-20
JP2006521727A (ja) 2006-09-21
ATE506812T1 (de) 2011-05-15
MXPA05009234A (es) 2006-05-19

Similar Documents

Publication Publication Date Title
JP4587321B2 (ja) インタレースデジタルビデオデータのスケーラブル符号化および復号化
US7027512B2 (en) Spatio-temporal hybrid scalable video coding apparatus using subband decomposition and method
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100621581B1 (ko) 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
JP4891234B2 (ja) グリッド動き推定/補償を用いたスケーラブルビデオ符号化
JP2004502358A (ja) ビデオ系列の圧縮のための符号化方法
US20060008000A1 (en) Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering
US20060146937A1 (en) Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions
US20060159173A1 (en) Video coding in an overcomplete wavelet domain
JP2005516494A (ja) ドリフトフリー映像符合化及び復号化方法並びに対応する装置
EP1707008A1 (en) Method and apparatus for reproducing scalable video streams
AU2004310917A1 (en) Method and apparatus for scalable video encoding and decoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100311

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100323

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100324

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100428

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100902

R150 Certificate of patent or registration of utility model

Ref document number: 4587321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term