JP5238021B2 - スケーラブル・ストリームの形でビデオ・コンテンツを符号化する装置および方法 - Google Patents

スケーラブル・ストリームの形でビデオ・コンテンツを符号化する装置および方法 Download PDF

Info

Publication number
JP5238021B2
JP5238021B2 JP2010510750A JP2010510750A JP5238021B2 JP 5238021 B2 JP5238021 B2 JP 5238021B2 JP 2010510750 A JP2010510750 A JP 2010510750A JP 2010510750 A JP2010510750 A JP 2010510750A JP 5238021 B2 JP5238021 B2 JP 5238021B2
Authority
JP
Japan
Prior art keywords
field
group
image
encoded
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010510750A
Other languages
English (en)
Other versions
JP2010529763A (ja
Inventor
フランソワ,エドワール
ボトロー,ヴァンサン
シェヴァンス,クリストフ
ヴィロン,ジェローム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010529763A publication Critical patent/JP2010529763A/ja
Application granted granted Critical
Publication of JP5238021B2 publication Critical patent/JP5238021B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

1.発明の分野
本発明は、時間的にスケーラブルなストリームの形でビデオ・コンテンツを符号化するという一般的な領域に関する。
本発明はより詳細には、第二フィールドとインターレースされた第一フィールドによって形成されるインターレースされた画像からなる第一のグループと順次走査画像からなる第二のグループとによって表されるビデオ・コンテンツを時間的にスケーラブルなストリームの形で符号化するための装置および方法に関する。
2.従来技術
ビデオ・コンテンツを符号化されたデータのスケーラブルなストリームの形で符号化するのに好適な多層〔マルチレイヤー〕符号化法が知られている。スケーラビリティとは、解像度および/または品質および/または時間的周波数のいくつかのレベルでデコードできるようにするよう情報をスケーリングする能力を表す。この型の符号化方法によって生成される符号化されたデータ・ストリームは、一般にいくつかの層、具体的には基本層(base layer)および一つまたは複数の向上層(enhancement layer)に分けられる。そのような符号化手順は、ビデオ・コンテンツが単一のストリームの形で符号化され、その単一のストリームがたとえば受信装置のさまざまな能力(CPU、表示装置の特性などの面で)に対して適応することを可能にする。第一の受信装置は、ストリームの基本層に関する部分をデコードできるのみであり、一方、第二のより強力な装置はストリーム全体をデコードできる。そのような符号化方法は、ビデオ・コンテンツを、基本層がコンテンツの第一のバージョン、たとえばHD1080i 30Hzバージョンに関し、向上層が同じビデオ・コンテンツの第二のバージョン、たとえばHD1080p 60Hzバージョンに関する単一のストリームの形で符号化するために特に有益である。そのような符号化されたデータ・ストリームは有利なことに、HD1080i 30Hzフォーマットのコンテンツを再構成できる現在のデコード・プラットフォームによってデコードされることができる。この同じコンテンツは将来には、HD1080p 60Hzフォーマットでコンテンツを再構成できる将来のデコード・プラットフォームによってデコードされることもできるであろう。現在のプラットフォームはストリームの基本層に関する部分をデコードするのみで、将来のプラットフォームはストリーム全体をデコードすることになる。
そのような符号化方法は、層間予測(inter-layer prediction)の名で知られるツールによって基本層の画像部分から、向上層の画像または画像部分(たとえばブロックまたはマクロブロック)を符号化するのに好適である。そのようなツールは、2007年1月に公開され、「SVC改訂合同草案9(Joint Draft 9 of SVC amendment)」と題されたISO/IEC MPEGおよびITU-T VCEGの文書JVT-V201において定義されている。この文書は、スケーラビリティに関係するMPEG-4 AVCのSVC拡張を記載している。より精密には、向上層の画像の画像データ・ブロックが空間的(イントラ符号化モード)または時間的(インター符号化モード)に予測される。この後者の場合、向上層の画像ブロックから標準的な予測モード(たとえば双方向予測(bidirectional prediction)モード、直接予測(direct prediction)モード、予期予測(anticipated prediction)モードなど)に従って予測され、あるいはさもなければ基本層の画像ブロックから層間予測モードに従って予測される。この後者の場合、向上層の画像ブロックに関連付けられた動きデータ(たとえば、マクロブロックのブロックへの分割、可能性としては動きベクトルおよび参照画像インデックス)および可能性としては画像データが、基本層の画像ブロックに関連付けられた画像データの動きデータからそれぞれ推定または継承される。
さらに、順次走査画像について図1に示されているような階層的GOP構造に従ってGOP(Group Of Pictures[ピクチャー・グループ])ごとにビデオ・コンテンツを符号化するために好適な符号化方法が知られている。この図において、GOPは、二価の(dyadic)画像間(inter-picture)時間依存性構造に従って符号化される(非特許文献1)。画像間の時間的依存性は点線によって示されている。画像2は画像0および4に時間的に依存する。すなわち、画像2または画像2の部分は、画像0および4を参照して時間的予測によって符号化できる。そのような構造によれば、画像はいくつかの時間的レベル(temporal level)で符号化される。所与の時間的レベルの画像は、前に符号化済みの、より下位のまたは同じ時間的レベルの画像を参照して符号化されることができるのみである。この構造は、所与の時間的レベルの画像が周波数Fであるとして、次の時間的レベルの画像が加えられたら、前のものの二倍の周波数、すなわち2Fのシーケンスが得られるという意味で二価(dyadic)として知られている。そのような構造は有利なことに、高い圧縮率を提供することによって時間的にスケーラブルなデータ・ストリームが生成されることを可能にする。実際、高い時間的レベルを無視することによって、すなわちそれらのレベルに関する符号化されたデータ・ストリーム部分をデコードしないことによって、ビデオの時間的周波数はこのように、符号化データ・ストリーム全体をデコードすることによって再構成されたはずのビデオの時間的周波数と比べて低下させられる。これを達成するために、時間的レベル情報がストリーム中に挿入される。この情報は特に、デコード方法によって、所与の時間的レベルに関する符号化データ・パケットを識別し、その結果として所与の周波数でビデオ・コンテンツを再構成するために無視すべき符号化データ・パケットを識別するために使われる。SVC規格によれば、この時間的レベル情報は各NAL(Network Adaptation Layer[ネットワーク適応層])型パケットのヘッダ中において符号化される。
インターレースされたビデオの場合、各画像は、第二フィールドとインターレースされた第一フィールドによって形成される。インターレースされたビデオが画像モード(picture mode)で符号化されるとき、画像の二つのフィールドは同時に符号化される。インターレースされたビデオがフィールド・モード(field mode)で符号化されるとき、画像の両フィールドは相続いて符号化される、つまり、第二フィールドは第一フィールドの直後に符号化される。この型の符号化は有利なことに、デコーダのメモリ・スペース要件を低減することを可能にする。実際、同じ画像の二つのフィールドが相続いて符号化されない場合、画像全体を復元できるよう、この第二のフィールド自身が再構成されるまで、デコーダ側で第一の再構成されたフィールドをメモリ中に記憶しておくことが必要になる。
第一フィールドが上(up)フィールドまたは表(TOP)フィールドとして知られるフィールドであれば、第二フィールドは下(lower)フィールドまたは裏(BOTTOM)フィールドとして知られるフィールドであり、逆に、第一フィールドが下フィールドまたは裏フィールドとして知られるフィールドであれば、第二フィールドは上フィールドまたは表フィールドとして知られるフィールドである。順次走査ビデオの場合に図1によって示される階層的GOP構造は、フィールド・モードで符号化されたインターレースされたビデオの場合には、図2に示されるように、画像をそれを構成する二つのフィールドで置き換えることによって適用される。この図において、表フィールドは実線で示されており、裏フィールドは点線で示されている。図2では、インデックスkのインターレースされた画像は、参照符号kTを付された表フィールドおよび参照符号kBを付された裏フィールドからなる。そのような図において、画像2の二つのフィールド2Tおよび2Bは相続いて符号化される。つまり、画像2の第二フィールドは画像2の第一フィールドの直後に符号化される。これは、画像2の符号化のために、よって該画像の将来のデコードのために、いかなる時間も導入しないことを可能にする。そのような図において、フィールド2Tの全部または一部は、前に符号化されたフィールド0T、0B、4T、4Bを参照して符号化できる。このフィールドはまた、完全にまたは部分的に、イントラ・モードで、すなわちシーケンス中の他のいかなる画像からも独立に符号化されることもできることを注意しておく。フィールド2Bについては、完全にまたは部分的に、前に符号化されたフィールド0T、0B、4T、4Bを参照して、またフィールド2Tを参照しても、符号化できる。この構造は、インターレースされた場合においても順次走査の場合と同じ利点をもつ(つまり、高い圧縮率および時間的スケーラビリティ)。
さらに、基本層と向上層が図1および図2によって示されるような階層的GOP構造に従って符号化される多層符号化法が知られている。インターレースされた基本層および順次走査の向上層の二層の階層的GOP構造が図3に示されている。この図において、向上層の順次走査画像はそのインデックスkによって参照される。向上層の各画像および基本層の各フィールドにはタイムスタンプが関連付けられている。図3において、同じタイムスタンプをもつ向上層の画像および基本層のフィールドは縦に一致している。向上層の画像は、基本層における対応するすなわち同じタイムスタンプをもつフィールドを参照して層間予測ツールを使って、あるいは向上層の一つまたは複数の以前に符号化された画像を参照して、あるいはさらにはシーケンスの他の画像からは独立して(イントラ符号化)、符号化できる。たとえば、向上層の画像2は、完全にまたは部分的に、層間予測法によって基本層のフィールド1Tのデータから符号化できる。しかしながら、そのような構造がSVC規格のコンテキスト内で使用されるとき、向上層のいくつかの画像は層間予測を使うことができない。これは時間的レベル3画像の場合である。実際、SVC規格は、同じ時間的レベルの画像間の層間予測を許容するのみである。しかしながら、画像1は時間的レベル3にあり、一方、同じタイムスタンプのフィールド、つまりフィールド0Bは時間的レベル0にある。さらに、SVC規格は、プロファイルの定義を通じて、参照画像を記憶するために好適なメモリのサイズを制限する。メモリ・サイズのこの制限のおかげで、向上層の画像1の符号化の際、画像0Bはもはや前記参照画像メモリ内に存在しない。実際、画像およびフレームは次の順序で符号化される:0T,0B,0,4B,4T,8,2T,2B,4,1T,1B,2,3T,3B,6,1,3,5,7,9。よって、参照画像メモリが4枚の参照画像を記憶する機能があるとすると、画像0T,0Bおよび0は画像1の符号化の際にはもはや参照として使うために利用可能ではない。画像1および対応するフィールド0Bの間の層間予測レベルを作ることができるためには、15枚の参照画像がメモリに記憶されねばならない。向上層のいくつかの画像を層間予測によって符号化することができないという事実は、符号化パフォーマンスに対してマイナスの効果をもつ。
M. Flierl and B. Girod, "Generalized B Pictures and the Draft JVT/H.264 Video Compression standard", IEEE trans. on Circuits and Systems for Video Technology, vol. 13, pp. 587-597, July 2003
3.発明の要約
本発明の目的は、従来技術の少なくとも一つの欠点を補償することである。
本発明は、時間的にスケーラブルなストリームの形でビデオ・コンテンツを符号化する方法に関する。このコンテンツは、第二フィールドとインターレースされた第一フィールドによって形成されるインターレースされた画像の第一のグループと順次走査画像の第二のグループとによって表される。第二のグループの各画像は第一のグループのあるフィールドと一致する。本方法は以下のステップを含む:
・第一のグループのフィールドを、第一の所定の符号化順に従って、Mを厳密に1より大きい整数としてM個の時間的レベル上で符号化し、その際、インターレースされた画像の第二フィールドがこのインターレースされた画像の第一フィールドの直後に符号化される。
・画像の第二のグループの画像を、M個の時間的レベル上で、第二の所定の符号化順で符号化する。
本発明の本質的な特性によれば、第二の符号化順は第一の符号化順に等しい。
有利なことに、本発明は、向上層の各画像が、基本層のフィールドを参照して層間予測によって完全にまたは部分的に符号化されることを可能にする。
別の側面によれば、前記第一のグループの画像のうちの画像の第二フィールドが、前記画像の第一フィールドが符号化される時間的レベルよりも厳密に高い時間的レベルにおいて符号化され、前記第二フィールドと一致する前記第二のグループの画像は前記第一フィールドと一致する前記第二のグループの画像が符号化される時間的レベルよりも厳密に高い時間的レベルで符号化される。
本発明のある個別的な特性によれば、所与の時間的レベルで符号化されたフィールドは、完全にまたは部分的に、前記時間的レベルより低いまたはそれに等しいレベルで以前に符号化されたフィールドを参照して符号化される。
本発明はまた、時間的にスケーラブルなストリームの形でビデオ・コンテンツを符号化する装置に関する。このコンテンツは、第二フィールドとインターレースされた第一フィールドによって形成されるインターレースされた画像の第一のグループと順次走査画像の第二のグループとによって表される。第二のグループの各画像は第一のグループのあるフィールドと一致する。本装置は:
・第一のグループのフィールドを、第一の所定の符号化順に従って、Mを厳密に1より大きい整数としてM個の時間的レベル上で符号化し、その際、インターレースされた画像の第二フィールドがこのインターレースされた画像の第一フィールドの直後に符号化される、第一符号化手段と、
・画像の第二のグループの画像を、M個の時間的レベル上で、第二の所定の符号化順で符号化する第二符号化手段とを有する。
本発明の本質的な特性によれば、第二の符号化順は第一の符号化順に等しい。
4.図面一覧
本発明は、付属の図面を参照しつつ、決して限定するものではない実施形態および実装によってよりよく理解され、例示される。
従来技術に基づく順次走査画像からなるグループの階層構造を示す図である。 従来技術に基づくインターレース画像からなるグループの階層構造を示す図である。 従来技術に基づく画像のグループの多層構造を示す図である。 本発明の第一の実施形態に基づく、画像のグループの多層構造を示す図である。 本発明の第二の実施形態に基づく、画像のグループの多層構造を示す図である。 本発明に基づく符号化方法を示す図である。 本発明に基づく符号化装置を示す図である。 本発明の変形例に基づく符号化装置を示す図である。
5.発明の詳細な説明
本発明は、時間的にスケーラブルなストリームの形でビデオ・コンテンツを符号化する方法および装置に関する。ビデオ・コンテンツは、インターレースされた、すなわち第二フィールドとインターレースされた第一フィールドによって形成される画像の第一のグループと、順次走査画像の第二のグループとによって表される。第二のグループの各画像は第一のグループのあるフィールドと時間的に一致する、すなわち同じタイムスタンプをもつ。基本層の画像と呼ばれる第一のグループの画像は基本層の形で符号化され、向上層の画像と呼ばれる第二のグループの画像は向上層の形で符号化される。
図4および図6を参照すると、本発明の第一の実施形態は、M/2枚のインターレース画像すなわちM枚のフィールドの第一のグループおよびM枚の順次走査画像の第二のグループについて記述される。ここで、Mは正の整数である。図4および図6では、M=10である。10枚の画像またはフィールドは、階層的GOPの二価構造に従って、レベル0、レベル1、レベル2と参照符号を付された3つの時間的レベル上で符号化される。本発明は、基本層のインターレース画像のフィールド・モードでの符号化ステップ10を有する。基本層の画像はたとえば、ISO/IEC文書14496-10:2005において定義されている規格MPEG-4 AVCに従って符号化される。時間的依存性は、図2を参照して定義されるGOP構造によって決定される。基本層のフレームは所定の符号化順に従って符号化される。この例では、レベル0のフィールドは、より高いレベルのフィールドより前に次の順序で符号化される:0T,0B,4T,4B。次いでレベル1のフィールドは、可能性としてはレベル0のフィールドを参照して、次の順序で符号化される:2T,2B。フィールド2Bは、完全にまたは部分的にフィールド2Tを参照して符号化されることもできる。次いでレベル2のフィールドは次の順序で符号化される:1T,1B,3T,3B。フィールド1Tは完全にまたは部分的に、以前に符号化され、その符号化の時点でまだメモリに記憶されているより低い層のフレームを参照して符号化される。同様に、フィールド1B、フィールド3Tおよびフィールド3Bは、より低いレベルのフィールドを参照して、あるいは以前に符号化された同じ時間的レベルのフィールドを参照して、符号化される。本発明のステップ10は、図2を参照して本稿で記載した従来技術の方法に基づく基本層の符号化ステップと同一である。
本発明の本質的な特性によれば、ステップ20において、向上層の画像が、図1および図3を参照して従来技術において定義される標準的な階層的GOP構造に従って符号化される。この目的のため、図3に示されるGOPの構造は、向上層の画像が基本層のフィールドと同じ符号化順で符号化されるような仕方で修正される。基本層の同じ画像の二つのフィールドと時間的に一致する向上層の二つの画像は相続いて符号化され、第二の画像は第一の画像の直後に符号化される。標準的な構造ではそうではなかった。たとえば、標準的な階層的GOP構造では、画像1は画像0の直後に符号化されるのではない。実際、画像8、4、2および6が両者の間に符号化される。
新しい階層的GOP構造は、向上層の画像が、基本層のフィールドと同じ符号化順で対ごとに符号化されること、すなわち、基本層のある画像の第二フィールドと同じタイムスタンプをもつ向上層の画像が基本層の前記画像の第一フィールと同じタイムスタンプをもつ向上層の画像の直後に符号化されることを可能にする。この実施形態では、画像およびフレームは次の順序で符号化される:0T,0B,0,1,4T,4B,8,9,2T,2B,4,5,1T,1B,2,3,3T,3B,6,7。したがって、基本層の画像は次の順序で符号化される:0,1,8,9,4,5,2,3,6,7。これは基本層のフィールド、すなわち0T,0B,4T,4B,2T,2B,1T,1B,3T,3Bと同じ符号化順である。結果として、参照画像メモリが4枚の参照画像を記憶する容量をもつとすると、画像1の符号化の際、画像0T,0Bおよび0が参照として使うために利用可能である。図3を参照して定義した二価GOP構造ではそうではなかった。図3の場合、画像1が層間予測の恩恵を受けるためには15枚の参照画像を記憶することが必要である。よって、インデックス2kの向上層の画像は、k表(kTOP)フィールドからの層間予測の恩恵を受け、一方、画像2k+1はk裏(kBOTTOM)フィールドからの層間予測の恩恵を受ける。画像2kおよび2k+1が相続いて、すなわち基本層のフィールドと同じ符号化順で符号化されるので、k裏フィールドの利用不能の問題はもはや生起しない。したがって、奇数インデックスをもつすべての画像はそれらの対応する裏フィールドからの層間予測の恩恵を受けることができる(図4の灰色の長方形によって示されるように)。このことは、ビデオ・コンテンツの符号化効率の向上を可能にする。そのようなGOP構造は、向上層の画像すべてについて、層間予測に優先性を与える。
しかしながら、それは、より高い時間的レベル、つまりレベル2の画像を落とすことによって時間的スケーラビリティが得られることを可能にするが、この時間的スケーラビリティは、図3を参照して定義されたGOP構造を用いて得られるスケーラビリティほど細かくない。二つの相続く画像、たとえば画像2と3、6と7が必然的に除去されるからである。
図5を参照して記述される本発明のもう一つの側面によれば、画像およびフィールドに関連付けられた時間的レベルは図4の画像およびフィールドに関連付けられたレベルに対して修正される。SVC規格のフレームワーク内で、時間的レベルは上記したように各NALユニットのヘッダ内に符号化されることを注意しておく。本発明によれば、基本層の各画像について、該画像の第二フィールド、すなわち裏フィールドには、前記画像の第一フィールド、すなわち表フィールドに関連付けられた時間的レベルより厳密に高い時間的レベルが関連付けられる。たとえば、時間的レベル0がフィールド0Tに、時間的レベル3がフィールド0Bに関連付けられ、時間的レベル1がフィールド2Tに、時間的レベル4がフィールド2Bに関連付けられる。同様に、向上層の各画像対について、基本層の画像の第二フィールド、すなわち図5における裏フィールドに一致する前記対の画像には、基本層の前記画像の第一フィールド、すなわち図5における表フィールドに一致する前記対の画像に関連付けられた時間的レベルより厳密に高い時間的レベルが前記対に関連付けられる。より一般には、基本層のすべての裏フィールドおよび向上層の奇数インデックスをもつすべての画像に対して、それぞれ、基本層の表フィールドの時間的レベルより高い時間的レベルおよび向上層の偶数インデックスをもつ画像の時間的レベルより高い時間的レベルが割り当てられる。一般に、時間的レベルは次のようにして画像およびフレームに関連付けられる。
i=0からN−1について。ここで、Nは2N+2=Mとなるよう定義される正の整数、すなわちN=log(M−2)/log2
基本層について
k*2N-iが0から2N−1までの間にあるような任意のkについて:
・レベルiがインデックスk*2N-iの表フィールドに関連付けられる
・レベルi+Nがインデックスk*2N-iの裏フィールドに関連付けられる
向上層について
k*2N+1-iが0から2N+1−1までの間にあるような任意のkについて:
・レベルiがインデックスk*2N+1-iの画像に関連付けられる
・レベルI+Nがインデックス1+k*2N+1-iの画像に関連付けられる。
さらに、SVC符号化規格によって課される制約に準拠するため、所与の時間的レベルのフィールドまたは画像は、厳密により高いレベルの画像または以前に符号化されていない画像を参照して符号化されることはできない。たとえば、本発明によれば、時間的レベル3が関連付けられている画像1は、時間的レベル2が関連付けられている画像2についての時間的参照基準として使うことはできない。有利なことに、このように、最も高い諸時間的レベル、つまり時間的レベル3、4、5に対応するNALユニットをデコードしないことによって、図3で定義された二価GOP構造を用いて得られたのと同じ時間的スケーラビリティを得ることが可能である。よって、時間的レベルを画像およびフィールドと関連付けることによって、細かい粒度で時間的スケーラビリティを保ちつつ、向上層のすべての画像が基本層の対応するフィールドから層間予測を使うことによって符号化されることができる。
図7を参照するに、本発明は、符号化装置6に関する。この図では本発明の本質的な要素のみが示されている。ビデオ符号化器の分野の当業者によく知られている要素、たとえば動き推定モジュール、動き補償モジュールなどは示されていない。示されているモジュールは、物理的に区別できるユニットに対応してもよいししなくてもよい機能ユニットである。たとえば、これらのモジュールまたはその一部は単一のコンポーネント中に一緒にまとめられることができ、あるいは同じソフトウェアの諸機能をなすことができる。逆に、いくつかのモジュールは別個の物理的実体から構成されてもよい。本装置は、第一の入力60、第二の入力62、第一の符号化モジュール64、第一のメモリ66、第二のメモリ67、第二の符号化モジュール68、多重化モジュール70および出力72を有する。
第一の入力60は、基本層の画像と呼ばれる、ビデオ・コンテンツを表すインターレース画像からなる第一のグループI1を受領するのに好適である。第二の入力62は、向上層の画像と呼ばれる、同じビデオ・コンテンツを表す順次走査画像の第二のグループI1を受領するのに好適である。第一の符号化モジュール64は、第一の入力60から基本層のインターレース画像を受領し、フィールド・モードで該画像を第一のストリームS1の形で符号化するのに好適である。基本層の画像はたとえば、ビデオ符号化規格MPEG-4 AVCで符号化され、フィールド間の時間的依存性は図2を参照して定義された階層的GOP構造によって決定される。したがって、この目的のため、フィールドは所定の符号化順序に従って符号化される。フィールドは、可能性としては、完全にまたは部分的に、別の以前に符号化されたフィールドを参照して符号化され、再構成されて第一のメモリ66に記憶される。ひとたび符号化され、再構成されたとき、フィールドは可能性としては第一のメモリ66および第二のメモリ67に記憶される。第一の符号化モジュールは、本発明に基づく方法のステップ10を実装する。
本発明の本質的な特徴によれば、第二の符号化モジュール68は、第二の入力62から向上層の順次走査画像を受領し、基本層のフィールドと同じ符号化順序に従って該画像を第二のストリームS2の形で符号化するのに好適である。基本層の同じ画像の二つのフィールドに時間的に一致する向上層の二つの画像は相続いて符号化され、第二の画像は第一の画像の直後に符号化される。標準的な構造ではそうではなかった。たとえば、標準的な階層的GOP構造では、画像1は画像0の直後に符号化されるのではない。実際、画像8、4、2および6が両者の間に符号化される。ひとたび符号化され、再構成されたとき、画像は第二のメモリ66に記憶される。第二の符号化モジュールは、本発明に基づく方法のステップ20を実装する。
多重化モジュール70は第一の符号化モジュール64、第二の符号化モジュール68それぞれのストリームS1およびS2を受領し、S1およびS2を単一のストリームSに多重化する。この単一のストリームSが出力72に送られる。
図8に示される変形例によれば、符号化装置7は、画像の第二のグループを受領するのに好適な単一の入力8を有する。符号化装置7はさらに、画像の第一のグループから画像の第二のグループI2を生成するのに好適な処理モジュール82を有する。
本発明の別の側面によれば、符号化装置6は、本稿に記載される方法に従って時間的レベルを基本層のフィールドと、かつ向上層の画像と関連付けるのに好適である。
もちろん、本発明は上で述べた実施例に限定されるものではない。特に、当業者は述べられている実施形態に対していかなる変形をも適用し、それらの実施形態を組み合わせてそれらのさまざまな利点から裨益してもよい。特に、SVCビデオ符号化規格の枠組みの範囲内で記載されている本発明は、決してこの規格に制約されるものではない。インターレース画像の基本層および順次走査画像の向上層の二つの層を用いて記載されている本発明は、いくつかの向上層に拡張されることができる。さらに、基本層の画像を、表画像が裏画像より前に符号化されるフィールド・モード(「表フィールド先行」モード)に符号化する枠組みの範囲内で記載されている本発明は、基本層の画像を裏画像が表画像より前に符号化されるフィールド・モード(「裏フィールド先行」モード)に符号化する場合にも同じように適用されることができる。

Claims (4)

  1. 基本層および向上層を有する時間的にスケーラブルなストリームの形でビデオ・コンテンツを符号化する方法であって、前記コンテンツは、第二フィールドとインターレースされた第一フィールドによって形成されるインターレース画像の第一のグループと順次走査画像の第二のグループとによって表され、第二のグループの各画像は第一のグループのあるフィールドと時間的に一致し、当該方法は以下のステップ、すなわち:
    ・第一のグループのフィールドを、インターレース画像の第二フィールドが該インターレース画像の第一フィールドの直後に符号化されるよう第一の所定の符号化順に従って、Mを厳密に1より大きい整数としてM個の時間的レベル上で基本層として符号化するステップと、
    ・画像の第二のグループの画像を、M個の時間的レベル上で、第二の所定の符号化順で符号化するステップとを有し、
    前記第二の符号化順が前記第一の符号化順に等しいことを特徴とする、
    方法。
  2. 前記第一のグループの画像のうちの画像の第二フィールドが、前記画像の第一フィールドが符号化される時間的レベルよりも厳密に高い時間的レベルにおいて符号化され、前記第二フィールドと時間的に一致する前記第二のグループの画像は、前記第一フィールドと時間的に一致する前記第二のグループの画像が符号化される時間的レベルよりも厳密に高い時間的レベルで符号化される、請求項1記載の方法。
  3. 所与の時間的レベルで符号化されたフィールドは、完全にまたは部分的に、前記所与の時間的レベルより低いまたはそれに等しいレベルで以前に符号化されたフィールドを参照して符号化される、請求項1または2記載の方法。
  4. 基本層および向上層を有する時間的にスケーラブルなストリームの形でビデオ・コンテンツを符号化する装置であって、前記コンテンツは、第二フィールドとインターレースされた第一フィールドによって形成されるインターレース画像の第一のグループと順次走査画像の第二のグループとによって表され、第二のグループの各画像は第一のグループのあるフィールドと時間的に一致し、当該装置は:
    ・第一のグループのフィールドを、インターレース画像の第二フィールドが前記インターレース画像の第一フィールドの直後に符号化されるよう第一の所定の符号化順に従って、Mを厳密に1より大きい整数としてM個の時間的レベル上で基本層として符号化する第一符号化手段と、
    ・画像の第二のグループの画像を、M個の時間的レベル上で、第二の所定の符号化順で符号化する第二符号化手段とを有し、
    前記第二の符号化順が前記第一の符号化順に等しいことを特徴とする、
    装置。
JP2010510750A 2007-06-05 2008-05-30 スケーラブル・ストリームの形でビデオ・コンテンツを符号化する装置および方法 Active JP5238021B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0755464 2007-06-05
FR0755464A FR2917262A1 (fr) 2007-06-05 2007-06-05 Dispositif et procede de codage d'un contenu video sous la forme d'un flux scalable.
PCT/EP2008/056668 WO2008148708A1 (en) 2007-06-05 2008-05-30 Device and method for coding a video content in the form of a scalable stream

Publications (2)

Publication Number Publication Date
JP2010529763A JP2010529763A (ja) 2010-08-26
JP5238021B2 true JP5238021B2 (ja) 2013-07-17

Family

ID=39149199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010510750A Active JP5238021B2 (ja) 2007-06-05 2008-05-30 スケーラブル・ストリームの形でビデオ・コンテンツを符号化する装置および方法

Country Status (9)

Country Link
EP (1) EP2163098B1 (ja)
JP (1) JP5238021B2 (ja)
KR (1) KR101485014B1 (ja)
CN (1) CN101682766B (ja)
AT (1) ATE522087T1 (ja)
BR (1) BRPI0811999A2 (ja)
FR (1) FR2917262A1 (ja)
TW (1) TWI423171B (ja)
WO (1) WO2008148708A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2357732B1 (en) 2002-10-05 2022-04-06 QUALCOMM Incorporated Systematic encoding and decoding of chain reaction codes
EP1743431A4 (en) 2004-05-07 2007-05-02 Digital Fountain Inc SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
AU2008298602A1 (en) 2007-09-12 2009-03-19 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
KR101438385B1 (ko) 2010-06-15 2014-11-03 돌비 레버러토리즈 라이쎈싱 코오포레이션 주문형 비디오 컨텐트 버전들을 포함하는 비디오 데이터를 인코딩, 분배 및 디스플레이하는 방법
US8930562B2 (en) 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
CN102625099A (zh) * 2012-01-18 2012-08-01 广州中大电讯科技有限公司 一种面向视频传输的svc码流排序方法
CN103313054B (zh) * 2013-05-22 2016-05-04 中国科学院声学研究所 可伸缩视频编码svc视频的传输调度方法
KR20150026927A (ko) 2013-09-03 2015-03-11 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
CN105519115A (zh) * 2013-09-10 2016-04-20 株式会社Kt 用于对可扩展视频信号进行编码/解码的方法及装置
EP2854405A1 (en) 2013-09-26 2015-04-01 Thomson Licensing Method and apparatus for encoding and decoding a motion vector representation in interlaced video using progressive video coding tools
EP3090549A1 (en) * 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193004A (en) * 1990-12-03 1993-03-09 The Trustees Of Columbia University In The City Of New York Systems and methods for coding even fields of interlaced video sequences
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
KR20020030101A (ko) * 2000-06-30 2002-04-22 요트.게.아. 롤페즈 비디오 시퀀스의 압축을 위한 인코딩 방법
FR2834178A1 (fr) * 2001-12-20 2003-06-27 Koninkl Philips Electronics Nv Procede de decodage de signaux video codes
JP4127182B2 (ja) * 2002-11-07 2008-07-30 日本ビクター株式会社 動画像時間軸階層符号化方法、符号化装置、復号化方法及び復号化装置並びにコンピュータプログラム
MXPA06006117A (es) * 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.
KR100834750B1 (ko) * 2004-01-29 2008-06-05 삼성전자주식회사 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
KR100679011B1 (ko) * 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
CN1753493A (zh) * 2004-09-24 2006-03-29 松下电器产业株式会社 无线多媒体通信系统的跨层联合方法
EP1878252A4 (en) * 2005-05-02 2013-01-16 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING / DECODING MULTILAYER VIDEO USING WEIGHTED PREDICTION
KR100667806B1 (ko) * 2005-07-07 2007-01-12 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法

Also Published As

Publication number Publication date
TWI423171B (zh) 2014-01-11
EP2163098B1 (en) 2011-08-24
KR101485014B1 (ko) 2015-01-26
KR20100017507A (ko) 2010-02-16
EP2163098A1 (en) 2010-03-17
FR2917262A1 (fr) 2008-12-12
ATE522087T1 (de) 2011-09-15
CN101682766B (zh) 2012-07-18
CN101682766A (zh) 2010-03-24
JP2010529763A (ja) 2010-08-26
WO2008148708A1 (en) 2008-12-11
TW200849142A (en) 2008-12-16
BRPI0811999A2 (pt) 2015-08-11

Similar Documents

Publication Publication Date Title
JP5238021B2 (ja) スケーラブル・ストリームの形でビデオ・コンテンツを符号化する装置および方法
CN111869212B (zh) 视频解码方法、装置和可读介质
JP4991699B2 (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
JP2023054290A (ja) ビデオ符号化のための方法、装置及びコンピュータプログラム
US8155181B2 (en) Multilayer-based video encoding method and apparatus thereof
JP5612214B2 (ja) 階層的映像符号化及び復号化のための方法及び装置
JP2011120281A (ja) 複数層を使用するマルチメディア・データのスケーリング可能なエンコーディング及びデコーディングのためのシステム及び方法
JP7299345B2 (ja) マルチレイヤビデオストリームにおける出力レイヤセットモードのための方法
JP2010531608A (ja) 映像符号化装置及び方法と、映像復号化装置及び方法
JP2007081720A (ja) 符号化方法
CN113557527A (zh) 通用视频编解码中色彩变换的方法和装置
EP1972140A1 (en) Method of encoding flag, method of decoding flag, and apparatus thereof
JP2007266749A (ja) 符号化方法
KR100880640B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100878824B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
US9167266B2 (en) Method for deriving motion for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
KR100878825B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
CN116830581A (zh) 用于运动矢量差的经改进的信令方法和装置
CN115486075A (zh) 视频编解码的方法和装置
KR20230117614A (ko) 움직임 벡터 차이 제한 방법 및 디바이스
Jia et al. SP picture for scalable video coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130329

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5238021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350