JP5213456B2 - 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置 - Google Patents

高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置 Download PDF

Info

Publication number
JP5213456B2
JP5213456B2 JP2007555591A JP2007555591A JP5213456B2 JP 5213456 B2 JP5213456 B2 JP 5213456B2 JP 2007555591 A JP2007555591 A JP 2007555591A JP 2007555591 A JP2007555591 A JP 2007555591A JP 5213456 B2 JP5213456 B2 JP 5213456B2
Authority
JP
Japan
Prior art keywords
macroblock
resolution picture
information
higher layer
layer macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007555591A
Other languages
English (en)
Other versions
JP2008530927A (ja
Inventor
ヴィエロン,ジェローム
フランソワ,エドワール
ビュルダン,ニコラ
ボワッソン,ギヨーム
ロペ,パトリック
マルカン,グウェナエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP05101224A external-priority patent/EP1694074A1/en
Priority claimed from EP05102465A external-priority patent/EP1694075A1/fr
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2008530927A publication Critical patent/JP2008530927A/ja
Application granted granted Critical
Publication of JP5213456B2 publication Critical patent/JP5213456B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化情報を導き出す方法を用いる、空間スケーラブル符号化及び復号化処理に関する。特に、本発明は、低分解能ピクチャの符号化情報から高分解能ピクチャの符号化情報を導き出す、インターレイヤ予測方法とも呼ばれる方法に関する。
従来技術のスケーラブル階層符号化手法は、種々の分解能及び/又は品質レベルで復号化することが可能であるために情報を階層的に符号化することを可能にする。スケーラブル符号化装置によって生成されるデータ・ストリームはよって、いくつかの層(すなわち、ベース層、及び1つ又は複数のエンハンスメント層(高位層とも呼ばれる))に分けられる。前述の装置は、固有のデータ・ストリームを、可変的な伝送条件(帯域幅、エラーレート等)に適合させ、受信装置の容量(CPU、再生装置の特性等)にも適合させることを可能にする。空間スケーラブルな階層符号化手法は、低分解能ピクチャに関する、ベース層と呼ばれている第1のデータ部分を符号化(又は復号化)し、このベース層から少なくとも、高分解能ピクチャに関する、エンハンスメント層と呼ばれている別のデータ部分を符号化(又は復号化)する。エンハンスメント層に関する符号化情報が場合によっては、インターレイヤ予測手法と呼ばれている手法によって、ベース層に関する符号化情報から場合によっては、承継される(すなわち、導き出される)。この導き出される符号化情報は場合によっては、(ブロックをいくつかのサブブロックに分割するための)高分解能ピクチャの画素ブロックに関連した分割パターンと、ブロックに関連した符号化モードと、場合によっては、ブロックの予測に用いるピクチャの参照を可能にする特定のブロックに関連した動きベクトル及び1つ又は複数のピクチャ参照インデックスを含み得る。参照ピクチャは、系列の別のピクチャの予測に用いる、系列のピクチャである。
よって、データ・ストリームにおいて明示的に符号化されない場合、エンハンスメント層に関する符号化情報は、低分解能ピクチャに関する符号化情報から導き出さなければならない。符号化情報を導き出す従来技術の手法は、2進変換によって低分解能ピクチャの形式に、形式がリンクされない高分解能ピクチャに用いることが可能でない。
本発明は、高分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報を、低分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報から導き出す方法に関する。各ピクチャは、重ならないマクロブロックに分けられ、符号化情報は、少なくとも分割情報を備えている。本発明によれば、低分解能ピクチャ部分の少なくとも1つのマクロブロック(ベース層マクロブロックと呼ばれている)は、高分解能ピクチャ部分の各マクロブロック(高位層マクロブロックと呼ばれている)に関連している。よって、水平方向において第1の所定の比でアップサンプリングされ、垂直方向において第2の所定の比でアップサンプリングされた低分解能ピクチャ部分は、高分解能ピクチャ部分にスーパインポーズされた場合、関連した低分解能マクロブロックは高分解能マクロブロックに少なくとも部分的に重なる。上記方法は、
高位層マクロブロックに関連したベース層マクロブロック(対応するベース層マクロブロックと呼ばれる)に対する、高位層マクロブロックの位置に基づいて、高分解能ピクチャ部分における高位層マクロブロック毎の幾何学的パラメータを計算する工程、
高分解能ピクチャ部分における高位層マクロブロック毎のマクロブロック・クラスを幾何学的パラメータに基づいて導き出す工程、及び
高分解能ピクチャ部分における高位層マクロブロック毎の分割情報を、対応するベース層マクロブロックの分割情報から、幾何学的パラメータ及び高位層マクロブロック・クラスに基づいて導き出す工程を備える。
優先的には、座標系が各高分解能ピクチャと関連しており、以下の通り、高分解能ピクチャ座標系において、重ならないブロックに分けられる高位層マクロブロック毎に4つの幾何学的パラメータが計算される。
第1の幾何学的パラメータは、高位層マクロブロックの中心と、対応するベース層マクロブロックの最も近い垂直境界との間の代数距離MbBorderXであり、この距離は第1の方向によって定められ、
第2の幾何学的パラメータは、高位層マクロブロックの中心と、対応するベース層マクロブロックの最も近い水平境界との間の代数距離であり、この距離は第2の方向によって定められ、
第3の幾何学的パラメータは、高位層マクロブロックの中心と、対応するベース層マクロブロックのブロックの最も近い垂直境界との間の代数距離であり、この距離は第1の方向によって定められ、
第4の幾何学的パラメータは、高位層マクロブロックの中心と、対応するベース層マクロブロックのブロックの最も近い水平境界との間の代数距離であり、この距離は第2の方向によって定められる。
効果的には、符号化情報はサブ分割情報を更に備えており、方法は、分割情報及びサブ分割情報(存在する場合)から、高分解能ピクチャ部分における高位層マクロブロックのサブ分割情報を、幾何学的パラメータ及び高位層マクロブロック・クラスに基づいて導き出す工程を更に含む。
効果的には、符号化情報は動き情報を更に備えており、方法は、対応するベース層マクロブロックの動き情報から高分解能ピクチャ部分における高位層マクロブロック毎の動き情報を導き出す工程を更に含む。
優先的には、高分解能ピクチャ部分における高位層マクロブロック毎の動き情報を導き出す工程は、高位層マクロブロック分割毎の動き情報、及び各分割の各サブ分割(存在する場合)の動き情報を導き出す工程を含む。
優先的には、1つのマクロブロック、1つの分割又は1つのサブ分割の動き情報は、第1及び第2の成分を有する少なくとも1つの運動ベクトル、及び、参照インデックスの第1又は第2のリストから選択される動きベクトルに関連した少なくとも1つの参照インデックスを有し、このインデックスは参照ピクチャを識別する。
例示的な実施例によれば、動き情報を導き出す工程は、同じ分割のサブ分割間で動き情報を、高分解能ピクチャ部分における高位層マクロブロック毎に均一化する工程を備えている。この工程は、参照インデックスのリスト毎に、
高位層マクロブロックの分割毎に、参照インデックスのリストの参照インデックスのうちのサブ分割の最低インデックスを識別する工程と、
現在の参照インデックスが最低参照インデックスに等しくないサブ分割それぞれと最低参照インデックスを関連付ける工程であって、現在の参照インデックスが、先行参照インデックスになる工程と、
先行参照インデックスが最低インデックスに等しくないサブ分割それぞれと、先行参照インデックスが最低インデックスに等しいその近傍サブ分割のうちの1つの動きベクトルを関連付ける工程とを含む。
優先的には、関連付けられる動きベクトルは、第1に水平方向の近傍サブ分割を検査し、第2に垂直方向の近傍サブ分割を検査し、第3に対角線方向の近傍サブ分割を検査した場合に直面する第1の近傍サブ分割の動きベクトルである。
優先的には、マクロブロック、分割及びサブ分割(存在する場合)それぞれの動きベクトルの動きベクトル成分は、
Figure 0005213456
の式によってスケーリングされる。ここで、
dx及びdyは、導き出された動きベクトルの座標を表し、
dsx及びdsyは、スケーリングされた動きベクトルの座標を表し、
sign[x]は、xが正の場合、1に等しく、xが負の場合、−1に等しい。
scaled_base_width及びscaled_base_heightはそれぞれ、高分解能画像部分の幅及び高さであり、
base_width及びbase_heightはそれぞれ、低分解能画像部分の幅及び高さである。
例示的な実施例によれば、マクロブロックは16×16画素のサイズを有し、ブロックは8×8画素のサイズを有し、第1の所定の比は第2の所定の比に等しい。
優先的には、方法は、ビデオ信号を符号化する処理の一部であり、かつ/又はビデオ信号を復号化する処理の一部である。
本発明は、少なくとも高分解能ピクチャ系列及び低分解能ピクチャ系列を符号化する装置にも関する。各ピクチャはマクロブロックに分けられる。この装置は、
低分解能ピクチャを符号化する第1の符号化手段であって、低分解能ピクチャ及びベース層データ・ストリームの符号化情報を生成する第1の符号化手段と、
高分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報を、低分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報から導き出す継承手段と、
導き出された符号化情報を用いて高分解能ピクチャを符号化する第2の符号化手段であって、エンハンスメント層データ・ストリームを生成する第2の符号化手段とを有する。
更に、本発明は、少なくとも、前述の符号化装置によって符号化された高分解能ピクチャ系列及び低分解能ピクチャ系列を復号化する装置に関する。符号化ピクチャは、データ・ストリームによって表される。この装置は、
低分解能ピクチャ、及び低分解能ピクチャの符号化情報を生成するために少なくとも第1のデータ・ストリーム部分を復号化する第1の復号化手段と、
高分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報を、低分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報から導き出す継承手段と、
高分解能ピクチャを生成するために、導き出された符号化情報を用いてデータ・ストリームの少なくとも第2の部分を復号化する第2の復号化手段とを有する。
本発明の重要な特徴によれば、符号化情報は少なくとも分割情報を有し、符号化装置及び復号化装置の継承手段は、
ベース層マクロブロックと呼ばれる、低分解能ピクチャ部分の少なくとも1つのマクロブロックを、高位層マクロブロックと呼ばれる、高分解能ピクチャ部分の各マクロブロックに関連付け、よって、関連付けられた低分解能マクロブロックは、水平方向において第1の所定の比でアップサンプリングされ、垂直方向において第2の所定の比でアップサンプリングされた少なくとも1つの低分解能ピクチャ部分が、少なくとも1つの高分解能ピクチャ部分にスーパインポーズされた場合に、高分解能マクロブロックに少なくとも部分的に重なる手段と、
少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎の幾何学的パラメータを、対応するベース層マクロブロックと呼ばれる、高位層マクロブロックに関連したベース層マクロブロックに対する、高位層マクロブロックの位置に基づいて計算する手段と、
高位分解能ピクチャ部分における高位層マクロブロックのマクロブロック・クラスを幾何学的パラメータに基づいて導き出す手段と、
高分解能ピクチャ部分における高位層マクロブロックの分割情報を、対応するベース層マクロブロックの分割情報から、幾何学的パラメータ及び高位層マクロブロック・クラスに基づいて導き出す手段とを有する。
効果的には、符号化装置は、ベース層データ・ストリーム及びエンハンスメント層データ・ストリームを単一のデータ・ストリームに合成するモジュールを更に有し、第1の符号化手段はMPEG‐4AVCビデオ符号器である。
効果的には、復号化装置は、データ・ストリームの第1の部分及びデータ・ストリームの第2の部分をデータ・ストリームから抽出する手段を更に備え、第1の復号化手段はMPEG‐4 AVCビデオ復号器である。
本発明の他の特徴及び利点は、その実施例の一部の以下の説明から明らかになる。この説明は図面に関して行う。
本発明は、高分解能ピクチャ部分の寸法(すなわち、幅及び高さ)と、低分解能ピクチャ部分の寸法(すなわち、幅及び高さ)との間の比が、特定の比(インターレイヤ比又はアップサンプリング比と呼ばれている(1以上2以下))と関係付けられる場合に、低分解能ピクチャの少なくとも一部の符号化情報から高分解能ピクチャの少なくとも一部の符号化情報を導き出す、インターレイヤ予測方法と呼ばれる方法に関する。異なる2つのインターレイヤ比を、水平方向において、かつ垂直方向において用いることができる。各ピクチャはマクロブロックに分けられる。ピクチャにおけるマクロブロック位置は、その画素の1つ(例えば、マクロブロックの左上画素)によって、又は、マクロブロック単位でのその座標によって識別することができる。例えば、ラスタ・スキャン順序におけるピクチャの第2のマクロブロックは、画素単位で座標(16,0)(すなわち、その左上画素の座標)を有し、マクロブロック単位で座標(1,0)を有する。低分解能ピクチャのマクロブロックは、低分解能マクロブロック又はベース層マクロブロックと呼ばれ、BL MBと表す。高分解能ピクチャのマクロブロックは、高分解能マクロブロック又は高位層マクロブロックと呼ばれ、HL MBと表す。好ましい実施例は本発明を、空間スケーラブル符号化及び復号化の意味合いで表し、特に、「Information technology − Coding of audio-visual objects − Part 10: Advanced Video Coding」と題する、ISO/IEC 14496-10という文献に記載された標準的なMPEG4 AVCによる空間スケーラブル符号化及び復号化の意味合いで表す。この場合、低分解能ピクチャは、上記文書に記載されている符号化/復号化処理によって、符号化され、よって、復号化される。低分解能ピクチャを符号化する場合、符号化情報は、上記低分解能ピクチャにおける各マクロブロックと関連付けられる。この符号化情報は、例えば、マクロブロックの分割に関する情報を有し、場合によっては、マクロブロックのサブ分割に関する情報を有し、符号化モード(例えば、インター符号化モード、イントラ符号化モード…)に関する情報を有し、場合によっては、動きベクトル及び参照インデックスに関する情報を有する。画素の現行ブロックに関連した参照インデックスによって、現行ブロックの予測に用いるブロックがあるピクチャを識別することが可能になる。MPE4‐AVCによれば、2つの参照インデックス・リストL0及びL1を用いる。図13は、MPEG4 AVCによる、ブロック単位でのマクロブロックの分割を表す。第1の行では、MPEG4 AVCにおいて提案された、考えられる異なるマクロブロック分割を備えたマクロブロックを表す(例えば、16×8画素のサイズのブロック(16×8ブロックと呼ばれている)、8×16画素のブロック(ブロック8×16と呼ばれている)、及び8×8画素のブロック(ブロック8×8と呼ばれている))。図13の第2の行は、MPEG4 AVCに提案された、サブ分割とも呼ばれている、考えられる異なる8×8ブロック分割を備えたサイズ8×8画素のブロック(8×8ブロック)を表す。実際に、MPEG4 AVCによれば、マクロブロックが4つの8×8ブロックに分けられる場合、上記ブロックそれぞれは、8x4サブブロックに、8x4サブブロックに、又は4x4サブブロックに更に分けることができる。
以下では、2つの空間層(低分解能のピクチャに対応する低位層(ベース層と呼ばれる)、及び、高分解能のピクチャに対応する高位層(エンハンスメント層と呼ばれる))が考察される。エンハンスメント層ピクチャ(すなわち、高分解能ピクチャ)の幅及び高さはそれぞれ、enh_width及びenh_heightによって定義される。ベース層ピクチャ(すなわち、低分解能ピクチャ)の寸法は、base_width及びbase_heightによって定義される。低分解能ピクチャは、エンハンスメント層ピクチャ座標系における座標(scaled_based_X,scaled_based_Y)にある、寸法scaled_base_width及びscaled_base_heightの、エンハンスメント層ピクチャの下位ピクチャのダウンサンプリングされたバージョンであり得る。低分解能ピクチャ及び高分解能ピクチャは、別々のカメラによって供給することもできる。この場合、低分解能ピクチャは高分解能ピクチャをダウンサンプリングすることによって得られず、幾何学的パラメータは外部手段(例えば、カメラ自体によって)によって供給することができる。値scaled_based_X及びscaled_based_Yは必ずしも、高位層ピクチャのマクロブロック構造上でアラインされていない。スケーリングされたベース層に対応するウィンドウは、クロッピング・ウィンドウと呼ばれている。低分解能マクロブロックは高分解能マクロブロックと関係付けられ、両方の方向においてインターレイヤ比でアップサンプリングされた低分解能ピクチャに高分解能ピクチャ部分をスーパインポーズした場合、低分解能マクロブロックは、高分解能ピクチャの少なくとも一部のマクロブロックに重なる。HL MBと関連したBL MBは、対応するマクロブロックと呼ばれている。高分解能ピクチャの境界上に、マクロブロックは、対応するベース層マクロブロックを有しないことがあり得るか、又は、マクロブロックに、スケーリングされたベース層マクロブロックが部分的に重なり得る。よって、J.Reichel、H.Schwarz、M.Wienによる「ジョイント・スケーラブル・ビデオ・モデルJSVM 1」と題するISO/IEC MPEG及びITU‐T VCEG JVT-N021のジョイント・ビデオ・チーム(JVT)による文献中の、インターレイヤ予測の管理とは別の管理が必要である。この文書は、以下では、JSVM1として参照する。
JSVM1に記載されているような空間スケーラブル符号化処理の意味合いでは、高分解能マクロブロックは、低分解能ピクチャの符号化に使用するものと同様の伝統的な符号化モード(すなわち、イントラ予測及びインター予測)を用いて符号化することができる。更に、高分解能ピクチャのいくつかの特定のマクロブロックは、インターレイヤ予測モードと呼ばれている新たなモードを使用することができる。このモードは、スケーリングされたベース層が完全に重なった(マクロブロック単位での座標(Mbx,MBy)が、
MBx>=scaled_base_column_in_mbsであり、
MBx<scaled_base_column_in_mbs+scaled_base_width/16であり、
MBy>=scaled_base_line_in_mbsであり、
MBy< scaled_base_ line_in_mbs+ scaled_base_height/16であり、
ここで、scaled_base_column_in_mbs= scaled_based_X/16であり、
scaled_base_line_in_mbs= scaled_based_Y/16である
という条件にあてはまる)高位層マクロブロックについてのみ認可される。
前述の条件に従わないマクロブロックは、伝統的なモード(すなわち、イントラ予測及びインター予測モード)を用いることしかできない一方、前述の条件に従うマクロブロックは、イントラ予測モード、インター予測モード又はインターレイヤ予測モードを使用することができる。前述の高位層マクロブロックは、JSVM1に記載されているマクロブロック・アラインされた2値空間スケーラビリティと同様に、「BASE_LAYER_MODE」又は「QPEL_REFINEMENT_MODE」を使用して、スケーリングされたベース層動き情報を使用してインターレイヤ予測を利用することができる。「QPEL_REFINEMENT_MODE」モードを使用すると、4分の1サンプル動きベクトル精緻化が達成される。その後、符号化処理によって、イントラ予測、インター予測、及び/又はインターレイヤのうちから選択する対象の符号化モードが、完全にクロッピング・ウィンドウに含まれるマクロブロック毎に決定されなければならない。どの符号化モードを最終的に選択するかを決定する前に、インターレイヤ符号化モードが符号化処理によって最終的に選択された場合にこのマクロブロックの予測に用いる符号化情報を、上記条件にあてはまるマクロブロック毎に導き出すことが必要である。同様に、復号器側では、特定のマクロブロックについて「BASE_LAYER_MODE」又は「QPEL_REFINEMENT_MODE」が復号化された場合、前述のインターレイヤ符号化情報をまず導き出さなければならない。好ましい実施例によれば、予測マクロブロックと呼ばれる中間構造、及び参照されたMBi_predを符号化処理において用いて、対応するマクロブロックMBiの符号化モードを後に選択する。
以下の部分において用いるビット単位の算術演算子及び関係演算子は、「Information technology − Coding of audio-visual objects − Part 10: Advanced Video Coding」と題する文献ISO/IEC14496-10に記載されている。ビット単位の演算子「>>」は、演算子「符号拡張を有する右シフト」であり、算術演算子「%」は剰余演算子であり、関係演算子「==」は「等しい」ことを意味し、関係演算子「!=」は「等しくない」ことを意味し、「||」は論理演算子ORである。
以下では、次のケースを考察する。
一般的なケース:アップサンプリング比及びクロッピング・ウィンドウは、条件付きでない(唯一の制限は、インターレイヤ比とも呼ばれているアップサンプリング比が1以上2以下でなければならないことである)。垂直方向のアップサンプリング比及び水平方向のアップサンプリング比は異なる値を有し得る。この構成は、文献JSVM2(ISO/IEC JTC1/SC29/WG11及びITU-T SG16 Q.6からのJoint Scalable Video Model JSVM‐2 Annex S, JVT‐O202)においてSpatialScalabilityType = 3としても識別されている、ESS_generic解決策に対応している。
比3/2のケース:アップサンプリング比(両方の方向で同じ)は3/2に等しく、クロッピング・ウィンドウはマクロブロック構造上でアラインされる。この構成は、JSVM2におけるSpatialScalabilityType = 2としても識別されるESS_3_2解決策に対応する。これは、実際は、一般的なケースのサブケースである。
scaled_based_X%16=0、scaled_based_Y%16=0であり、
scaled_based_width=3/2*based_width、
scaled_based_height=3/2*based_heightである。
比の1ケース:アップサンプリング比は1に等しく、クロッピング・ウィンドウはマクロブロック構造上でアラインされる。この構成は、文献JSVM2におけるSpatialScalabilityType = 0として識別される。
比の2ケース:アップサンプリング比は2に等しく、クロッピング・ウィンドウはマクロブロック構造上でアラインされる。この構成は、文献JSVM2におけるSpatialScalabilityType = 1として識別される。
慣行によれば、画素単位での高位層ピクチャ座標系は、高位層ピクチャの第1の画素であるその原点によって規定され、その水平軸は左から右に向かい、その垂直軸は上から下に向かう。MB単位での高位層ピクチャ座標系は、高位層ピクチャの第1のMBであるその原点によって規定され、その水平軸は左から右に向かい、その垂直軸は上から下に向かう。同様に、画素単位でのベース層座標系及びMB単位でのベース層座標系が規定される。他の向き又は原点を用いることができる。
マクロブロック単位で規定され、インターレイヤ予測モードが認可される位置(MbldxX、MbldxY)にある現在の高位層マクロブロックHL MBの場合、継承動き情報処理は、次の工程を含む。
対応するベース層マクロブロックに対する、高位層マクロブロックの位置を特徴付ける幾何学的パラメータを計算し(110)、前述のパラメータから、MB HLのマクロブロック・クラス(MBクラスと呼ばれる)を導き出す(120)工程と、
HL MBの分割毎に分割(例えば、16×16、16×8等)、及び場合によってはサブ分割(例えば、8×8、8×4等)を、対応するベース層マクロブロックの分割及びサブ分割から、幾何学的パラメータ及びHL MBクラスに基づいて導き出す(20)工程と、
HL MBの(すなわち、HL MBの分割/サブ分割毎の)動き情報(例えば、動きベクトルや参照インデックス)を、対応するベース層マクロブロックの動き情報から導き出す(30)工程とを備える。
上記方法は、1つのHL MBについて表されており、インターレイヤ予測モードが認可されるHL MB全てにあてはまり得る。
工程10は、図1によって規定された4つのクラスのうちの現在のHL MBのマクロブロック・クラスを導き出す(120)ために幾何学的パラメータを計算する(110)工程を含む。この図では、HL MBは点線によって識別される一方、4つのスケーリングされた(すなわち、両方の方向におけるインターレイヤ比でアップサンプリングされた)BLマクロブロックは、異なる灰色によって満たされている。図1に関しては、クラスがCornerであるMB HLは単一の対応するBL MBを有し、クラスがVertであるHL MBは2つの対応するBL MB(左MB及び右MB)を有し、クラスがHoriであるHL MBは2つの対応するBL MB(上MB及び下MB)を有し、クラスがCenterであるHL MBは4つの対応するBL MBを有する。図1に表すようにその対応するBL MBの境界によって、クラスがHoriであるHL MBは水平方向に分けられ、クラスがVertであるHL MBは垂直方向に分けられる。クラスがCenterであるHL MBは垂直方向及び水平方向に分けられる一方、Corner MBは、その対応するBL MBのいかなる境界にもよって分けられない。
以下の幾何学的パラメータは、図2に表されるように、画素単位で高位層ピクチャ座標系において計算される(110)。
高位層MBの中心と、最も近い垂直ベース層MB境界との間の水平方向の代数距離MbBorderX。この距離は第1の方向によって定められる。すなわち、高位層MBの中心を通過し、最も近いベース層垂直MB境界に垂直である線は、例えば、高位層ピクチャ座標系の水平軸として向けられている。
高位層MBの中心と、最も近い水平ベース層MB境界との間の垂直方向の代数距離MbBorderY。この距離は、第2の方向によって定められる。すなわち、高位層MBの中心を通過し、最も近いベース層水平MB境界に垂直である線は、例えば、高位層ピクチャ座標系の垂直軸として向けられている。
高位層MBの中心と、最も近い垂直ベース層8x8ブロック境界との間の水平方向の代数距離B8x8BorderX。この距離は、第1の方向によって定められる。
そして、
高位層MBの中心と、最も近い水平ベース層8x8ブロック境界との間の水平方向の代数距離B8x8BorderX。この距離は、第2の方向によって定められる。
図3に一次元で表されるように、幾何学的パラメータの計算110はまず、ベース層座標系におけるHL MB中心位置(XC,YC)の計算を必要とする。(XP,YP)を、高位層座標系におけるHLマクロブロックの左上サンプル(すなわち、画素)の位置とする。ベース層座標系における対応する位置(XB,YB)は、
XB=(XP0*base_width+base_width/2)/scaled_base_width (式1)
YB=(YP0*base_height+base_ height/2)/scaled_base_height
として計算され、(XP0,YP0)は、
XP0=XP−scaled_base_X (式2)
YP0 =YP−scaled_base_Y
として定義される。
更に、(XC,YC)は、ベース層座標系における高位層MBの中心の位置として定義され、
XC =((XP0+8)*base_width+base_width/2)/scaled_base_width (式3)
YC =((YP0+8)*base_height+base_height/2)/scaled_base_height
として計算される。
第1実施例によれば、幾何学的パラメータは、一般的なケースにおいて、後述するように(XC,YC)から計算される(110)。bを、座標点(XC,YC)を含む8x8 BLブロックとする。図4を参照すれば、HL座標系において再スケーリングされた、座標点(XC、YC)と、bの左境界及び上境界それぞれとの間の代数距離dX1及びdY1が計算される。同様に、HL座標系において再スケーリングされた、座標点(XC、YC)と、bの右境界及び下境界それぞれとの間の代数距離dX2及びdY2が計算される。陽方程式を以下に表す。
Figure 0005213456
前述のパラメータは次いで、
dZi=sign(dZi)*(|dZi|/4 +((|dZi|%4)>2))*4 (i=1,2) (式6)
として、最も近い4分値に丸められる。
ここで、Zは連続してX及びYで置き換えられる。
幾何学的パラメータMbBorderX及びB8×8BorderXはそれぞれ、XCがBL MBの左8×8ブロック内の場合はdX1及びdX2にセットされ、XCがBL MBの右8×8ブロック内の場合はdX2及びdX1にセットされる。Y次元も同様である。
((8*(ZC>>3))%16== 0)の場合、
MbBorderZ=dZ1、B8x8BorderZ=dZ2 (式7a)であり、
さもなければ、
MbBorderZ=dZ2、B8x8BorderZ=dZ1 (式7b)
である。
この一般的なケースの処理は、比1、2及び3/2でも該当し得る。
好ましい実施例によれば、幾何学的パラメータは、一般的なケースにおいて、以下として計算される(110)。
dX1及びdX2を、
dX1 =((8*(Xc>>3)−XC)* scaled_base_width + base_width/2)/base_width
dX2 =((8 *(Xc>>3 +1)−XC)* scaled_base_width + base_width/2)/base_width
として定義する。
dY1及びdY2を、
dY1 =((8*(Yc>>3)−YC)* scaled_base_height + base_height/2)/base_height
dY2 =((8*(Yc>>3 + 1)−YC)* scaled_base_height + base_height/2)/base_height
として定義する。
ZをX及びYで置き換えると、以下があてはまる。
((8*(ZC>>3))%16== 0)の場合、以下があてはまる。
mbBorderZ=dZ1
b8x8BorderZ = dZ2
さもなければ、以下があてはまる。
mbBorderZ = dZ2
b8x8BorderZ = dZ1
現在のHL MBの対応するBL MBのうちの左上MBのBL MB座標(マクロブロック・アドレスとも呼ばれている(mbAddrBaseX,mbAddrBaseY))は、以下として導き出される。
((8*(ZC>>3))%16==0)、以下があてはまる。
mbAddrBaseX = XC/16
mbAddrBaseY = YC/16
mbBorderXが−6より大きく、0以下の場合、mbAddrBaseX=mbAddrBaseX−1である。
mbBorderYが−6より大きく、0以下の場合、mbAddrBaseY=mbAddrBaseY−1である。
幾何学的パラメータは次いで、以下として、最も近い4分値に丸められる。
mbBorderZ=sign(mbBorderZ)*((|mbBorderZ|+2)/4)*4であり、
b8x8BorderZ=sign(b8x8BorderZ)*((|b8x8BorderZ|+ 2)/4)* 4である。ここで、ZはX及びYで連続して置き換えられる。
HL MBクラスは次いで、以下のように、計算された幾何学的パラメータから導き出される(120)。
((|MbBorderX|≧8)の場合、以下があてはまる。
(|MbBorderY|≧8)の場合、 MbClass=cornerであり、
さもなければ、 MbClass=horizである。
さもなければ、以下があてはまる。
(|MbBorderY|≧8)の場合、 MbClass=vertであり、
さもなければ、 MbClass=centerである。
インターレイヤ比1、2及び3/2の場合、幾何学的パラメータは、以下の関係によって関係付けられる。
インターレイヤ比1: (|MbBorderX|+|B8x8BorderX|)及び(|MbBorderY|+|B8x8BorderY|)は8に等しく、
インターレイヤ比2: (|MbBorderX|+|B8x8BorderX|)及び(|MbBorderY|+|B8x8BorderY|)は16に等しく、
インターレイヤ比3/2: (|MbBorderX|+|B8x8BorderX|)及び(|MbBorderY|+|B8x8BorderY|)は12に等しい。
特定の実施例によれば、SpatialScalabilityTypeが0、1又は2に等しい場合、幾何学的パラメータ及びMBクラスは後述するように直接導き出すことが可能である。このように、明示的な(explicit)計算を避けることができる。
SpatialScalabilityTypeが0に等しい場合、すなわち、MBがアラインされたクロップを有する(すなわち、クロッピング・ウィンドウが、マクロブロック構造上でアラインされる。すなわち、scaled_base_X%16==0、scaled_base_Y%16==0である)場合、MbClassは、規則正しくcorneに等しい。更に、この場合、MbBorderX=MbBorderY=−8であり、B8x8BorderX=B8x8BorderY=0である。
SpatialScalabilityType=1の場合、すなわち、MBがアラインされたクロップを有するインターレイヤ比=2の場合、MbClassは、規則正しくcornerに等しい。幾何学的パラメータは、表1に表すように、マクロブロック位置から直接導き出される。ここで、(modX,modY)は以下として定義される。
modX =(MbIdxX−(scaled_base_X/16))% 2
modY =(MbIdxY−(scaled_base_Y/16))% 2
Figure 0005213456
SpatialScalabilityType=2の場合(すなわち、MBがアラインされたクロップを有するインターレイヤ比=3/2の場合、異なるパラメータが、表2に表すように、マクロブロック位置から直接導き出される。ここで、(modX,modY)は、
modX =(MbIdxX−(scaled_base_X/16))%3
modY =(MbIdxY−(scaled_base_Y/16))%3
として定義され、
Figure 0005213456
現在のHL MBの場合、工程20は、
分割(例えば、16x16、16x8…)を導き出す工程(210)と、
必要な場合(すなわち、分割が8x8の場合)、
サブ分割(例えば、8x8、8x4…)を導き出す工程(220)とを含む。
より厳密には、工程20は、現在のHL MBについて、HL MBクラス(MbClassと表す)に基づいて、かつ、その幾何学的パラメータ(MbBorderX,MbBorderY)及び(B8x8BorderX,B8x8BorderY)に基づいて、対応するベース層マクロブロックからマクロブロック分割を導き出し、場合によっては、サブ分割を導き出す工程を含む。幾何学的パラメータは、高位層マクロブロックが潜在的に分けられているかを識別するために用いる。当該処理を一次元で(例えば、水平次元Xで)考えてみる。当該処理は、両方の次元(垂直方向の分割/サブ分割を識別するのに用いられるMbBorderX及びB8x8BorderX、並びに、水平方向の分割/サブ分割を識別するのに用いられるMbBorderY及びB8x8BorderY)に同様にあてはまる。
BLマクロブロック境界がHL MBに含まれる場合、HL MBは以下の通り、分けられる。
|MbBorderX|が0に等しい場合、HL MBは、8画素のサイズの2分割に垂直方向に分けられる。このケースは、図5に示す。
|MbBorderX|が4に等しい場合、HL MBは8画素のサイズの2分割に垂直方向に分けられ、更に、前述の分割の1つは4画素のサイズの2サブ分割に分けられる。このケースは、図6に示す。
8画素のサイズの2分割に分割されたBL MBに属するBL8x8ブロック境界がHL MBに含まれている場合、HL MBは、以下の通り、分けられる。
|B8x8BorderX|が0に等しい場合、HL MBは8画素のサイズの2分割に垂直方向に分けられる。このケースは、図7に示す。
|B8x8BorderX|が4に等しい場合、HL MBは8画素のサイズの2分割に垂直方向に分けられ、前述の分割の1つは4画素のサイズの2サブ分割に分けられる。このケースは、図8に示す。
BLサブ分割境界がHL MBに含まれる場合、HL8x8ブロックは分けられる。これは、以下の条件に対応する。
|MbBorderX+B8x8BorderX|/2 = 4。このケースは、図9に示す。
工程20の好ましい実現形態は、疑似コード・ファンクションを用いて付録に記載する。
サブ工程210は、現在のHL MBについて、mbLabelと表す(マクロブロック分割とも呼ばれている)マクロブロック分割モードを導き出す工程を含む。mbLabelは、MbClass(すなわち、(MbBorderX,MbBorderY)及び(B8x8BorderX,B8x8BorderY))に応じて導き出される。MbClassに基づけば、MB単位で、対応するBL MB座標を計算することが可能である。
MbClassがCornerの場合、mbAddrBase[0]=(mbAddrBaseX,mbAddrBaseY)にある対応するBL MBはN=1しかなく、
MbClassがHorizの場合、mbAddrBase[0]=(mbAddrBaseX,mbAddrBaseY)及びmbAddrBase[1] =(mbAddrBaseX,mbAddrBaseY+1)にある対応するBL MBはN=2あり、
MbClassがVertの場合、mbAddrBase[0]=(mbAddrBaseX,mbAddrBaseY)及びmbAddrBase[1] =(mbAddrBaseX+1,mbAddrBaseY)にある対応するBL MBはN=2あり、
MbClassがCornerの場合、mbAddrBase[0] =(mbAddrBaseX,mbAddrBaseY)、mbAddrBase[1] =(mbAddrBaseX+1,mbAddrBaseY)、mbAddrBase[2]=(mbAddrBaseX,mbAddrBaseY+1)、mbAddrBase[3]=(mbAddrBaseX+1、mbAddrBaseY+1)にある対応するBL MBはN=4ある。
MbTypeBase[j]を、対応するBL MBj(jは、0とN−1との間のその値を呈する)のMB分割モードとして定義する。例えば、対応するBL MB 1のモードがB_L0_L0_16x8(MPEG4 AVCにおいて規定されたように)の場合、MbTypeBase[1]は16x8に等しい。
MbTypeBase[j]及びmbLabelは、集合{16x16、16x8、8x16、8x8、INTRA(イントラ)}においてそれらの値を呈する。
|MbBorderX|が4に等しいか、又は、|MbBorderY|が4に等しい場合、mbLabelは8x8にセットされる。
さもなければ、
MbClassがCenterに等しい場合、以下があてはまる。
cptrIntraを、対象マクロブロックがINTRA(イントラ)として分類されるかを識別することを可能にするカウンタとする。cptrIntraは、当初、0に等しくセットされ、以下のように導き出される。
0以上3以下の値を呈する(左上ブロック・インデックスが0であり、右上ブロック・インデックスが1であり、左下ブロック・インデックスが2であり、右下ブロック・インデックスが3である)B8x8Idxによってインデックスが付けられた、現在のHL MBの8x8ブロック毎に、以下があてはまる。
MbTypeBase[B8x8Idx]がINTRAに等しい場合、cptrIntraが2だけ増やされる。
インデックスB8x8Idxの8x8ブロックがBL8x8ブロック境界によって分割される(B8x8BorderXが−4に等しい場合、インデックス0及び2の左8x8ブロックが分割され、B8x8BorderXが4に等しい場合、インデックス1及び3の右8x8ブロックが分割され、B8x8BorderYが−4に等しい場合、インデックス0及び1の上8x8ブロックが分割され、
B8x8BorderYが4に等しい場合、インデックス2及び3の下8x8ブロックが分割される)場合、cptrIntraは、1だけ減らされる。
cptrIntraが4以上の場合、mbLabelはINTRAにセットされる。
さもなければ、mbLabelは8x8にセットされる。
さもなければ、3つの新らたなパラメータmbTypeBaseSuffixX、mbTypeBaseSuffixY及びis8x8Baseが、以下の通りに導き出される。
MbClassがCornerに等しい場合、以下があてはまる。
mbTypeBaseSuffixXをインデックスj=0のBL MBの水平分割モードとする(例えば、BL MB分割モードが16x8の場合、水平分割モードは16に等しい。BL MB分割モードが8x16の場合、水平分割モードは8に等しい)。BL MBモードがINTRAの場合、mbTypeBaseSuffixXはINTRAにセットされる。
mbTypeBaseSuffixYをインデックスj=0のBL MBの垂直分割モードとする(例えば、BL MB分割モードが16x8の場合、垂直分割モードは8に等しい。BL MB分割モードが8x16の場合、垂直分割モードは16に等しい)。BL MBモードがINTRAの場合、mbTypeBaseSuffixXはINTRAにセットされる。
is8x8Baseを、BL MB分割モードのうちの1つが8x8であることを示すフラグとする。インデックスj=0のBL MBの分割モードが8x8の場合、is8x8Baseは、TRUEにセットされ、さもなければ、FALSEにセットされる。
さもなければ、MbClassがVertに等しい場合、以下があてはまる。
mbTypeBaseSuffixXは8にセットされ、
mbTypeBaseSuffixYは、インデックスj=0のBL MBの垂直分割モード及びインデックスj=1のBL MBの垂直分割モードのうちの最小値にセットされる。インデックスj=0又はj=1の両方のBL MBがINTRAの場合、mbTypeBaseSuffixYはINTRAにセットされる。
インデックスj=0のBL MBの分割モード又はインデックスj=1のBL MBの分割モードが8x8の場合、is8x8Baseは、TRUEにセットされ、さもなければ、FALSEにセットされる。
さもなければ(すなわち、MbClassがHoriに等しい場合)、
mbTypeBaseSuffixXは、インデックスj=0のBL MBの水平分割モード及びインデックスj=1のBL MBの水平分割モードのうちの最小値にセットされる。インデックスj=0又はj=1の両方のBL MBがINTRAの場合、mbTypeBaseSuffixXはINTRAにセットされる。
mbTypeBaseSuffixYは、8にセットされる。
インデックスj=0のBL MBの分割モード又はインデックスj=1のBL MBの分割モードが8x8の場合、is8x8Baseは、TRUEにセットされ、さもなければ、FALSEにセットされる。
mbTypeBaseSuffixXがINTRAに等しいか、又は、mbTypeBaseSuffixYがINTRAに等しい場合、mbLabelはINTRAにセットされる。
さもなければ、2つの新たなパラメータmbLabelX及びmbLabelYは、以下のように導き出される。
mbLabelXは、16及び(mbTypeBaseSuffixX+|B8x8BorderX|)のうちの最小値としてセットされる。
mbLabelYは、16及び(mbTypeBaseSuffixY+|B8x8BorderY|)のうちの最小値としてセットされる。
mbLabelXが12に等しいか、又は、mbLabelYが12に等しい場合、これは、一部の8x8ブロックがベース層分割境界によって分けられ、よって、mbLabelが8x8にセットされることを意味する。
さもなければ、一部の8x8ブロックがベース層サブ分割境界によって分けられるかを調べるために更なる解析を行う。
is8x8BaseがTRUEであり、mbLabelXが8と異なり、mbLabelYが8と異なる場合、以下があてはまる。
ブロック・インデックス・パラメータB8x8Idxは、
B8x8Idx =(1−sign(B8x8BorderX))+(1−sign(B8x8BorderY))/2
として導き出される。ここで、sign(x)は、x<0の場合は−1を戻し、x>0の場合は1を戻し、x==0の場合は0を戻す。
|B8x8BorderX|が8に等しい場合、mbLabelXを導き出すための次の処理があてはまる(実際には、垂直ベース層サブ分割境界がインデックスB8x8Idxの8x8ブロックを分けるかを調べる)。
BL4x4B0を、インデックスB8x8Idxの対象8x8ブロックの左上4x4ブロックの対応するBL 4x4ブロックとする。
subMbTypeBase0を、BL4x4B0(B8x8Idx及び0を入力パラメータとして、「4x4識別」処理を用いて識別される)を含むサブ分割又は分割のサブ分割若しくは分割タイプとする。
BL4x4B1を、インデックスB8x8Idxの対象8x8ブロックの右下4x4ブロックの対応するBL 4x4ブロックとする。
subMbTypeBase1を、BL4x4B1(B8x8Idx及び3を入力パラメータとして、「4x4識別」処理を用いて識別される)を含むサブ分割又は分割のサブ分割又は分割タイプとする。
mbLabelXは、subMbTypeBase0及びsubMbTypeBase1の水平値のうちの最小値にセットされる(例えば、subMbTypeBase0が4x8の場合、水平値は4に等しい)。両方ともINTRAの場合、mbLabelXはINTRAにセットされる。
|B8x8BorderY|が8に等しい場合、mbLabelYを導き出すための次の処理があてはまる(実際には、水平ベース層サブ分割境界がインデックスB8x8Idxの8x8ブロックを分けるかを調べる)。
subMbTypeBase0及びsubMbTypeBase1を上記のように定義する。
mbLabelYは、subMbTypeBase0及びsubMbTypeBase1の垂直値(例えば、subMbTypeBase0が4x8の場合、垂直値は8に等しい)のうちの最小値にセットされる。両方ともINTRAの場合、mbLabelXはINTRAにセットされる。
mbLabelは、mbLabelXの値及びmbLabelYの値の結合にセットされる(例えば、mbLabelXが8に等しく、mbLabelYが16に等しい場合、mbLabelは8x16にセットされる)。
サブ工程210、220、及び工程30は、現在のHL MBにおけるインデックスb8x8Idxの8x8ブロックのインデックスb4x4Idxの特定の4x4ブロックについて、対象HL 4x4ブロックの対応するBL4x4ブロックを含む、BLマクロブロック、並びにBL分割(及び、存在する場合にBLサブ分割)を識別するために、「4x4識別」処理(付録のファンクション「getBaseIdx()」に等しい)と呼ばれる通常の処理を利用する。このサブ工程の出力は、BLマクロブロック・アドレス(BLMBIdxX,BLMBIdxY)、BL分割インデックスBLpartIdx、及びBLサブ分割インデックスBLSubPartIdxである。1次元(例えば、X)の場合、高位層4x4ブロックの水平インデックス(b4x4Idx%4として導き出されたb4x4X)
MbBorderX、B8x8BorderXを入力とし、対応するBL 4x4ブロックoutB4x4Xの垂直インデックスを出力として、直接マッピング・テーブルを用いる(表3を参照)。
outB4x4X=MapTab[b4x4X,MbBorderX,B8x8BorderX]
Y次元の場合、outB4x4Yは以下のように導き出され、b4x4Y=b4x4Idx/4である。
outB4x4Y=MapTab[b4x4Y,MbBorderY,B8x8BorderY]
mbIdxを、(outB4x4X,outB4x4Y)にあるBL4x4ブロックを備えたBL MBの数として定義する。
MbClassがCornerに等しい場合、mbIdx = 0であり、
さもなければ、MbClass==Vertの場合、mbIdx=outB4x4X/4であり、
さもなければ、MbClass==Horiの場合、mbIdx=outB4x4Y/4であり、
さもなければ(すなわち、MbClass ==Centerの場合)、mbIdx=2*(outB4x4Y/4)+outB4x4X/4である。(BLMBIdxX,BLMBIdxY)はmbAddrBase[mbIdx]にセットされる。
Figure 0005213456
サブ工程220は、必要な場合(すなわち、mbLabelが8x8に等しい場合)、各HL MB分割のサブ分割モード又はラベルを導き出す工程を含む。インデックスb8x8Idxを有する8x8ブロック(すなわち、8x8分割)の場合、サブ分割モードmbPartLabelは、以下のように導き出される。
BL MB境界が垂直方向に8x8ブロックを分割する場合、mbPartLabelXは4に等しくセットされる。
さもなければ、BL8x8ブロック境界が垂直方向に8x8ブロックを分割する場合、以下があてはまる。
対象8x8ブロックの対応するBL MBが、INTRAとして符号化された場合、mbPartLabelXは、−1に等しくセットされる。
さもなければ、mbPartLabelXは、以下のように導き出される(実際は、垂直ベース層サブ分割境界が8x8ブロックを分けるかを調べる)。
BL4x4B0を、インデックスB8x8Idxの対象8x8ブロックの左上4x4ブロックの対応するBL4x4ブロックとする。
subMbTypeBase0を、BL4x4B0(B8x8Idx及び0を入力パラメータとして、「4x4識別」処理を用いて識別された)を含むサブ分割又は分割のサブ分割若しくは分割タイプとする。
BL4x4B1を、インデックスB8x8Idxの対象8x8ブロックの右下4x4ブロックの対応するBL 4x4ブロックとする。
subMbTypeBase1を、BL4x4B1(B8x8Idx及び3を入力パラメータとして、「4x4識別」処理を用いて識別された)を含むサブ分割又は分割のサブ分割若しくは分割タイプとする。
mbLabelXは、subMbTypeBase0及びsubMbTypeBase1の水平値(例えば、subMbTypeBase0が4x8の場合、水平値は4に等しい)のうちの最小値にセットされる。
両方ともINTRAの場合、mbLabelXはINTRAにセットされる。
さもなければ、mbPartLabelXは、8に等しくセットされる。
mbPartLabelYを以下のように導き出すこととする。
BL MB境界が8x8ブロックを水平方向に分割する場合、mbPartLabelYは4に等しくセットされる。
さもなければ、BL8x8ブロック境界が8x8ブロックを水平方向に分割する場合、以下があてはまる。
対象8x8ブロックの対応するBL MBがINTRAとして符号化される場合、mbPartLabelYは、−1に等しく設定される。
さもなければ、mbPartLabelYは、以下のように導き出される(実際は、水平ベース層サブ分割境界が8x8ブロックを分けるかを調べる)。
BL4x4B0を、インデックスB8x8Idxの対象8x8ブロックの左上4x4ブロックの対応するBL 4x4ブロックとする。
subMbTypeBase0を、BL4x4B0(B8x8Idx及び0を入力パラメータとして、「4x4識別」処理を用いて識別された)を含むサブ分割又は分割のサブ分割若しくは分割タイプとする。
BL4x4B1を、インデックスB8x8Idxの対象8x8ブロックの右下4x4ブロックの対応するBL4x4ブロックとする。
subMbTypeBase1を、BL4x4B1(B8x8Idx及び3を入力パラメータとして、「4x4識別」処理を用いて識別された)を含むサブ分割又は分割のサブ分割若しくは分割タイプとする。
mbPartLabelYは、subMbTypeBase0及びsubMbTypeBase1の垂直値(例えば、subMbTypeBase0が4x8の場合、垂直値は8に等しい)のうちの最小値にセットされる。両方ともINTRAの場合、mbLabelXはINTRAにセットされる。
さもなければ、mbPartLabelYは、8に等しくセットされる。
mbPartLabelXが−1に等しいか、又は、mbPartLabelYが−1に等しい場合、mbPartLabelはINTRAに等しくセットされる。
さもなければ、mbPartLabelは、mbPartLabelX及びmbPartLabelYの値の結合にセットされる(例えば、mbPartLabelXが8に等しく、mbPartLabelYが4に等しい場合、mbLabelは8x4にセットされる)。
工程30は、現在のHL MBの分割/サブ分割毎の動き情報を導き出す工程を含む。動き情報は、以下のように導き出される。
対象分割/サブ分割の左上HL 4x4ブロックを識別し、
表3を用いて、その対応するBL 4x4ブロックを識別し、
識別されたBL 4x4ブロックを有するBL分割/サブ分割から分割/サブ分割動き情報を継承する。BL分割/サブ分割がINTRA BL MBにある場合、動き情報は、INTRA BL MBから継承しない近傍分割/サブ分割から複製される。
インデックスmbPartIdxの分割の動き情報はよって、以下のように導き出される。
NotIntraFlagを、1に初期化されたパラメータとする。
mbLabelが8x8に等しくない場合、以下があてはまる。
(インデックスmbPartIdxの)対象分割の左上4x4ブロックに対応するBLマクロブロック並びに分割(及び、存在する場合、サブ分割)を識別するために「4x4識別」処理が呼び出される。
このBLマクロブロックがINTRAモードにある場合、NotIntraFlagは0に等しくセットされる。
さもなければ、識別されたBL分割(又は、存在する場合、サブ分割)からの動きベクトル及び参照インデックスが、インデックスmbPartIdxの対象分割に複製される。
さもなければ、以下があてはまる。
mbPartLabelを、mbPartIdxを入力としてサブ工程220を用いて導き出されるサブ分割モードとする。
mbPartLabelがINTRAに等しい場合、NotIntraFlagは、0に等しくセットされる。
さもなければ、以下があてはまる。
対象分割のサブ分割毎に、動きベクトル及び参照インデックスが、対応するBL分割(又は、存在する場合、サブ分割)から継承される。このBL分割、又は、存在する場合、サブ分割がINTRA BL MBに属する場合、動きベクトル及び参照インデックスが、近傍サブ分割の1つ(最初に、水平方向の近傍が検査され、次いで、垂直方向の近傍、対角線方向の近傍が検査される)から複製される。
動き情報均一化サブ工程は、同じ参照インデックスを有するよう対象分割の各サブ分割に徹底するよう達成される。リスト(0及び1)毎に、サブ分割のうちの最小参照インデックスが識別される。この最小参照インデックスに等しくない参照インデックスを有するサブ分割の動きベクトル及び参照インデックスは、この最小参照インデックス(まず、水平方向の近傍が検査され、次いで、垂直方向の近傍、対角線方向の近傍が検査される)に等しい参照インデックスを有する近傍サブ分割から複製される。
第3の工程30は、対象HL MBの各分割に施される。0に等しいNotIntraFlagを有する分割の場合、サブ分割モード、動きベクトル及び参照インデックスが、NotIntraFlagが1に等しい近傍分割(まず、水平方向の近傍が検査され、次いで、垂直方向の近傍が検査され、対角線方向の近傍が検査される)から複製される。
最小の参照インデックスの代わりに、現在の分割mbPartIdxにおいて最も一般的に使用される参照インデックスを動き情報均一化サブ工程によって用いることができる。
工程40は、スケーリングによって導き出される動きベクトルを有する。この目的で、動きベクトル・スケーリングが、導き出された動きベクトルに施される。動きベクトルmv =(dx,dy)は、
Figure 0005213456
の方程式を用いてスケーリングされる。
ここで、sign[x]は、xが正の場合は1に等しく、xが負の場合は−1に等しい。
本発明による方法はよって、高分解能ピクチャにおける少なくとも1つのマクロブロックの前述の符号化情報を導き出すことを可能にする。高分解能ピクチャは次いで、場合によっては、前述の導き出された符号化情報を用いて符号化される。その場合、高分解能ピクチャの符号化に必要なビット数は減少する。低分解能ピクチャから符号化情報が導き出されるマクロブロック毎にデータ・ストリームにおいて符号化される符号化情報がないからである。実際に、復号化処理が高分解能ピクチャの符号化情報の導出に同じ方法を用いるので、それを送信する必要がない。
本発明は、図11に表す符号化装置8に関する。符号化装置8は、低分解能ピクチャを符号化する第1の符号化モジュール80を備えている。モジュール80は、ベース層データ・ストリーム、及び上記低分解能ピクチャの符号化情報を生成する。優先的には、モジュール80は、MPEG4 AVC標準と互換性を有するベース層データ・ストリームを生成するよう適合させる。符号化装置8は、第1の符号化モジュール80によって生成される低分解能ピクチャの符号化情報から高分解能ピクチャの符号化情報を導き出すために用いる継承手段82を含む。継承手段82は、本発明による方法の工程10、20及び30を実現するよう適合させる。符号化装置8は、高分解能ピクチャを符号化する第2の符号化モジュール81を備えている。第2の符号化モジュール81は、高分解能ピクチャを符号化するために、継承手段82によって導き出される符号化情報を使用する。第2の符号化モジュール81は、よって、エンハンスメント層データ・ストリームを生成する。優先的には、符号化装置8は、第1の符号化モジュール80及び第2の符号化モジュール81それぞれによって供給されるベース層データ・ストリーム及びエンハンスメント層データ・ストリームを合成して単一のデータ・ストリームを生成するモジュール83(例えば、多重化器)も含む。高分解能ピクチャに関係する符号化情報は、モジュール80によって供給される低分解能ピクチャに関係した符号化情報から導き出されるので、データ・ストリームにおいて符号化されない。このことは、数ビットの節減を可能にする。
本発明は、図12に表す復号化装置9にも関する。この装置9は、符号化装置8で生成されるデータ・ストリームを受信する。復号化装置9は、低分解能ピクチャ、及び低分解能ピクチャの符号化情報を生成するために、データ・ストリームの第1の部分(ベース層データ・ストリームと呼ばれている)を復号化する第1の復号化モジュール91を備えている。優先的には、モジュール91は、MPEG4 AVC標準と互換性を有するデータ・ストリームを復号化するよう適合させる。復号化装置9は、第1の復号化モジュール91によって生成される低分解能ピクチャの符号化情報から高分解能ピクチャの符号化情報を導き出すために用いる継承手段82を含む。復号化装置9は、データ・ストリームの第2の部分(エンハンスメント層データ・ストリームと呼ばれている)を復号化する第2の復号化モジュール92を含む。第2の復号化モジュール92は、データ・ストリームの第2の部分を復号化するために、継承手段82によって導き出される符号化情報を用いる。第2の復号化モジュール92はよって、高分解能ピクチャを生成する。効果的には、装置9は、ベース層データ・ストリーム及びエンハンスメント層データ・ストリームを受信データ・ストリームから抽出する抽出モジュール90(例えば、逆多重化器)も有する。
別の実施例によれば、復号化装置は、2つのデータ・ストリーム(ベース層データ・ストリーム及びエンハンスメント層データ・ストリーム)を受信する。この場合、装置9は、抽出モジュール90を備えるものでない。
本発明は、前述の実施例に限定されない。特に、2つのピクチャ系列(すなわち、2つの空間層)について説明した本発明は、3つ以上のピクチャ系列を符号化するために用いることができる。
付録
以下の章では、導出工程20(すなわち、サブ工程210及び220)並びに工程30の好ましい実現形態を、以下に規定する疑似コード・ファンクションを用いて表す。
サブ工程210は、HL MB毎に、以下のように、分割モードmbLabelを導き出す工程を含む。
(|MbBorderX|==4)又は(|MbBorderY|==4)の場合、mbLabel=8x8であり、
さもなければ、
(MbClass==Center)の場合、
cptrintraを、0に等しくセットされた変数とし、
0.3によってインデックスを付けられたB8x8Idxの場合、
(MbTypeBase[B8x8Idx]==INTRA)の場合、cptrIntra +=2であり、
splitBlock(B8x8BorderX,B8x8Idx,0)の場合、cptrIntra +=−1であり、
splitBlock(B8x8BorderY,B8x8Idx,1)の場合、cptrIntra+=−1であり、
(cptrIntra>=4)の場合、mbLabel =INTRAであり、
さもなければ、mbLabel = 8x8である。
さもなければ、
(MbClass==Corner)の場合、
mbTypeBaseSuffixX=Suffix(MbTypeBase[0],0)、
mbTypeBaseSuffixY= Suffix(MbTypeBase[0],1)、
is8x8Base =(MbTypeBase[0]==8x8)であり、
さもなければ、(MbClass==Vert)の場合、
mbTypeBaseSuffixX=8、
mbTypeBaseSuffixY=minBlockSize(Suffix(MbTypeBase[0],1),Suffix(MbTypeBase[1],1))、
is8x8Base=(mbTypeBase0==8x8)||(mbTypeBase1==8x8)であり、
さもなければ(すなわち、MbClass==Horiの場合)、
mbTypeBaseSuffixX=minBlockSize(Suffix(MbTypeBase[0],0))、Suffix,MbTypeBase[1],0)))、
mbTypeBaseSuffixY = 8、
is8x8Base=(mbTypeBase0==8x8)||(mbTypeBase1==8x8)である。
(mbTypeBaseSuffixX==INTRA)又は(mbTypeBaseSuffixY==INTRA)の場合、
mbLabel =INTRAであり、
さもなければ、
mbLabelX =min(16,mbTypeBaseSuffixX +|B8x8BorderX|))、
mbLabelY =min(16,mbTypeBaseSuffixY +|B8x8BorderY|))であり、
(mbLabelX==12)又は(mbLabelY==12)の場合、mbLabel=INTRA=8x8であり、
さもなければ、
(is8x8Base)並びに(mbLabelX!= 8)及び(mbLabelY!= 8)の場合、
B8x8Idx=(1−sign(B8x8BorderX))+(1−sign(B8x8BorderY))/2、
(|B8x8BorderX|==8)の場合、
mbLabelX=min(mbLabelX,2* getSubMbtypeBaseDim(B8x8Idx,0))であり、
(| B8x8BorderY|==8)の場合、
mbLabelY=min(mbTypeY,2*getSubMbtypeBaseDim(B8x8Idx,1))であり、
mbLabel= mbLabelX_mbLabelYである。
サブ工程220は、必要な場合、以下のように、HL MB分割毎にサブ分割モードmbPartLabelを導き出す工程を含む。
mbPartLabelXを、computeSubMbTypeSize(MbBorderX,B8x8BorderX,b8x8Idx,0)を呼び出すことによって導き出すこととし、
mbPartLabelYを、computeSubMbTypeSize(MbBorderY,B8x8BorderY,b8x8Idx,1)を呼び出すことによって導き出すこととする。
(mbPartLabelX==−1)又は(mbPartLabelY==−1)の場合、mbPartLabel=INTRAであり、
さもなければ、mbPartLabel= mbPartLabelX_mbPartLabelYである。
工程30は、インデックスmbPartIdxのHL MB分割毎に動き情報を導き出す工程を含む。この工程は、
マクロブロック分割ラベルmbLabel及び
マクロブロック分割インデックスmbPartIdx
を入力として取り込み、
参照インデックスRefIdxL0[ mbPartIdx ]及びRefIdxL1[ mbPartIdx ]及び
動きベクトルMvL0[ mbPartIdx ][ i ]及びMvL1[ mbPartIdx ][ i ]を出力し、i=0..nbPart及びnbPartは、mbLabelに対応する分割数である。
工程30は、以下を含む。
inheritPartitionMotion(mbLabel,predIdx)が0に等しい場合、以下があてはまる。
predIdxを、computePredIdx(subMbPartIdx,1)を呼び出すことによって導き出される変数とする。
inheritPartitionMotion(mbLabel,predIdx)が0に等しい場合、以下があてはまる。
predIdxが、computePredIdx(subMbPartIdx,2)を呼び出すことによって導き出される。
inheritPartitionMotion(mbLabel,predIdx)が呼び出される。
RefIdxLX[ mbPartIdx ]=RefIdxLX[ predIdx ]である。
mbPartLabelを、サブ工程210を施すことによってによって導き出すこととする。
nbSubPartを、mbPartLabelに対応するサブ分割の数とする。
0..nbSubPart−1によってインデックスを付けられたsubMbPartIdxの場合、以下があてはまる。
MvLX[ mbPartIdx][subMbPartIdx]=MvLX[predIdx][subMbPartIdx]。
Suffix(type,dim)
このファンクションは、次元dimに対応する、「type」と呼ばれる変数のサフィックスをもたらす(dimは、X(すなわち、水平次元)の場合は0に等しく、Y(すなわち、垂直次元)の場合は1に等しい)。入力がINTRAの場合、INTRAが戻される。
typeがINTRAモードの場合、INTRAが戻される。
さもなければ、以下があてはまる。
type名の最後の部分がまず抽出される(例えば、16x8)。
(dim==0)の場合、第1の次元値が戻される(先行例では16)。
さもなければ、第2の次元値が戻される(先行例では8)。
splitBlock(borderPos,b8x8Idx,dim)
8x8ブロックb8x8Idxが潜在的に次元dimに(すなわち、水平次元又は垂直次元に)分かれている場合、このファンクションは1を戻す。
(|D|==4)の場合、
(dim)の場合、−(2*(b8x8Idx/2)−1))==sign(borderPos)を戻し、
さもなければ、−(2*(b8x8Idx %2)−1))==sign(borderPos)を戻し、
さもなければ、0を戻す。
minBlockSize(size0,size1)
この機能は、size0とsize1との間のminを戻す。両入力がINTRAの場合、INTRAが戻される。
(size0==INTRA)の場合、
(size1==INTRA)の場合、INTRAを戻す。
さもなければ、size1を戻す。
さもなければ、(size1==INTRA)の場合、size0を戻し、
さもなければ、min(size0,size1)を戻す。
getMbtypeBaseDim(B8x8Idx,dim)
この機能は、8x8ブロックB8x8Idxが承継するベース・マクロブロックの次元dimに対応するmb_Type Suffixを戻す。
(MbClass==Corner)の場合、
Suffix(MbTypeBase[0],dim)を戻す。
さもなければ、(MbClass==Verti)の場合、
splitBlock(MbBorderX,B8x8Idx,0)の場合、
minBlockSize(Suffix(MbTypeBase[0],dim)、Suffix(MbTypeBase[1],dim))を戻し、
さもなければ、
mbIdx= B8x8Idx %2であり、
Suffix(MbTypeBase[mbIdx],dim)を戻す。
さもなければ、(MbClass==Hori)の場合、
splitBlock(MbBorderY、B8x8Idx、1)の場合、
minBlockSize(Suffix(MbTypeBase[0],dim),Suffix(MbTypeBase[1],dim))を戻し、
さもなければ、
mbIdx= B8x8Idx/2であり、
Suffix(MbTypeBase[mbIdx],dim)を戻す。
さもなければ、(MbClass==Center)の場合、
splitBlock(MbBorderX、B8x8Idx、0)の場合、
minBlockSize(Suffix(MbTypeBase[0],dim),Suffix(MbTypeBase[1],dim))を戻し、
さもなければ、
splitBlock(MbBorderY、B8x8Idx、1)の場合、
minBlockSize(Suffix(MbTypeBase[0],dim),Suffix(MbTypeBase[1],dim))を戻し、
さもなければ、Suffix(MbTypeBase[b8x8Idx],dim)を戻す。
getSubMbtypeBaseDim(B8x8Idx,dim)
この機能は、8x8ブロックB8x8Idxが継承するベース8x8ブロックの、次元dimに対応するsubmb_Type Suffixを戻す。
subMbTypeBase0及びsubMbTypeBase1を以下のように規定することとする。
mbAddrBase0、mbPartIdx0、subMbPartIdx0は、ファンクションgetBaseIdx(B8x8Idx,0)を呼び出すことによって導き出されることとする。
mbAddrBase1、mbAddrBase1、subMbPartIdx1は、ファンクションgetBaseIdx(B8x8Idx,3)を呼び出すことによって導き出されることとする。
subMbTypeBase0は、mbAddrBase0の分割mbPartIdx0のサブMBタイプであることとする。
subMbTypeBase1は、mbAddrBase1の分割mbPartIdx1のサブMBタイプであることとする。
minBlockSize(Suffix(subMbTypeBase0,dim),Suffix(subMbTypeBase1,dim))を戻す。
getBaseIdx(B8x8Idx,b4x4Idx)
このファンクションは、4x4ブロックB8x8Idx/b4x4Idxが継承する、ベース・マクロブロック・アドレス、ベース分割インデックス、及び存在する場合、ベース・サブ分割インデックスそれぞれである(mbAddrBase、mbPartIdxBase、subMbPartIdxBase)を戻す。
idxBaseBX及びidxBaseBYが以下のように定義されることとする。
MapTabを、MbBorderZ及びB8x8BorderZ(ZはX又はYに等しい)の関数として、現在及びベース層の4x4ブロック間のマッピングを表す表3とする。
idxBaseBX=MapTab[MbBorderX,B8x8BorderX,2*(B8x8Idx%2)+(b4x4Idx % 2)] であり、
idxBaseBY=MapTab[MbBorderY,B8x8BorderY,2*(B8x8Idx/2)+(b4x4Idx/2)] である。
mbIdxを、以下のように定義することとする。
(MbClass==Corner)の場合、
mbIdx=0
があてはまる。
さもなければ、(MbClass==Vert)の場合、
mbIdx=idxBaseBX/2
があてはまる。
さもなければ、(MbClass==Hori)の場合、
mbIdx=idxBaseBY/2
があてはまる。
さもなければ、(MbClass==Center)の場合、
mbIdx =2 *(idxBaseBY/2)+ idxBaseBX/2
があてはまる。
mbAddrBaseはaMbAddrBase[mbIdx]にセットされる。
B8x8IdxBaseは、(2*((idxBaseBY/2)%2)+((idxBaseBX/2)%2))にセットされる。
b4x4IdxBaseは、(2*(idxBaseBY%2)+(idxBaseBX%2))にセットされる。
mbPartIdxBaseは、4x4ブロックb4x4IdxBaseを有するmbAddrBaseのマクロブロック分割のインデックスとして定義することとする。
submbPartIdxBaseは、4x4ブロックB8x8IdxBase/b4x4IdxBaseを有する、分割mbPartIdxBaseのサブ分割が存在している場合、サブ分割のインデックスとして定義することとする。
(mbAddrBase,mbPartIdxBase,submbPartIdxBase)を戻す。
computeSubMbTypeSize(D,d,B8x8Idx,dim)
splitBlock(D,B8x8Idx,dim)==1の場合、ファンクションは4を戻す。
さもなければ、splitBlock(D,B8x8Idx,dim)==1の場合、以下があてはまる。
getMbtypeBaseDim(B8x8Idx,dim==INTRAの場合、ファンクションは−1を戻す。
さもなければ、ファンクションは、getMbtypeBaseDim(B8x8Idx,dim)/2を戻す。
さもなければ、(|(D +d)/2|==4)の場合、
getsubMbtypeBaseDim(B8x8Idx,dim)==INTRAの場合、ファンクションは−1を戻す。
さもなければ、ファンクションは、getsubMbtypeBaseDim(B8x8Idx,dim)を戻す。さもなければ、ファンクションは8を戻す。
動きデータ継承関連ファンクションは、以下に定義する。
inheritPartitionMotion(mbLabel,mbPartIdx)
このファンクションは、マクロブロック分割の動きデータ継承を実行する。対応するベース・マクロブロックがINTRAの場合、動きデータ継承は実行されず、ファンクションは0を戻す。さもなければ、動きデータ継承が実行され、1が戻される。
(mbLabel!=8x8)の場合、以下があてはまる。
b8x8Idxを以下のように定義することとする。
(mbLabel==16x8)の場合、b8x8Idx =2*mbPartIdxであり、
さもなければ、b8x8Idx = mbPartIdxである。
mbAddrBase、mbPartIdxBase、subMbPartIdxBaseを、ファンクションgetBaseIdx(b8x8Idx,0)を呼び出すことによって導き出すこととする。
mbAddrBaseのmb_typeがINTRAの場合、ファンクションは0を戻す。
さもなければ、Xが0及び1によって置き換えられた場合、RefIdxLX[mbPartIdx]及びMvLX[mbPartIdx][0]は、mbAddrBase/mbPartIdxBase/subMbPartIdxBaseの参照インデックス及び動きベクトルにセットされる。
さもなければ、
mbPartLabelを、mbPartIdxを入力として、サブ工程220を施すことによって導き出すこととする。
mbPartLabelがINTRAに等しい場合、ファンクションは0を戻す。
さもなければ、以下の点があてはまる。
nbSubPartを、mbPartLabelに対応するサブ分割の数とする。
i=0..、nbSubPart−1を有するrefIdxBaseL0[i]及びrefIdxBaseL1[i]を、2つの変数配列とする。
i=0..、nbSubPart−1を有するmvBaseL0[i]及びmvBaseL1[i]を、2つの動きベクトル配列とする。
0..、nbSubPart−1によってインデックスが付けられたsubMbPartIdxの場合、動き継承は以下のように達成される。
inheritSubPartitionMotion(mbPartLabel,mbPartIdx,subMbPartIdx,refIdxBaseL0,refIdxBaseL1,mvBaseL0,mvBaseL1)が0に等しい場合、以下があてはまる。
predIdxを、computePredIdx(subMbPartIdx,1)を呼び出すことによって初期化される変数とする。
inheritSubPartitionMotion(mbPartLabel,mbPartIdx,predIdx,refIdxBaseL0,refIdxBaseL1,mvBaseL0,mvBaseL1)が0に等しい場合、以下があてはまる。
predIdxは、computePredIdx(subMbPartIdx,2)を呼び出すことによって導き出される。
inheritSubPartitionMotion(mbPartLabel,mbPartIdx,predIdx,refIdxBaseL0,refIdxBaseL1,mvBaseL0,mvBaseL1)が、呼び出される。
0及び1に置き換えられるXの場合、参照インデックスのマージは、以下のように達成される。
minRedIdxLXを、refIdxBaseLX[i](i=0..nbSubPart−1)の最小参照インデックスにセットされる変数とする。
少なくとも2つのrefIdxBaseLX[i](i=0..nbSubPart−1)が異なる場合、以下があてはまる。
subMbPartIdx=0..nbSubPart−1によってインデックスを付けられるサブマクロブロック分割毎に、
(refIdxBaseLX[ subMbPartIdx ]!= minRefIdxLX)の場合、以下があてはまる。
predIdxを、computePredIdx(subMbPartIdx,1)を呼び出すことによって計算するとする。
(refIdxBaseLX[predIdx]!= minRefIdxLX)の場合、
predIdxは、computePredIdx(subMbPartIdx,2)を呼び出すことによって計算される。
mvBaseLX[ subMbPartIdx] = mvBaseLX[predIdx]である。
RefIdxLX[mbPartIdx ]は、minRedIdxLXにセットされる。
subMbPartIdx=0..nbSubPart−1によってインデックスを付けられるサブマクロブロック分割毎に、以下があてはまる。
MvLX[mbPartIdx][subMbPartIdx]=mvBaseLX[subMbPartIdx]
ファンクションは、1を戻す。
inheritSubPartitionMotion(mbPartLabel,mbPartIdx,subMbPartIdx,refIdxBaseL0,refIdxBaseL1,mvBaseL0,mvBaseL1)
このファンクションは、サブ分割の動きデータ継承を実行する。対応するベース・マクロブロックがINTRAの場合、動きデータ継承は実行されず、ファンクションは0を戻す。さもなければ、動きデータ継承が実行され、そして、ファンクションは1を戻す。
b4x4Idxを、以下のように定義することとする。
(mbPartLabel==8x4)の場合、b4x4Idx=2* subMbPartIdxであり、
さもなければ、b4x4Idx = subMbPartIdxである。
mbAddrBase、mbPartIdxBase、subMbPartIdxBaseを、ファンクションgetBaseIdx(mbPartIdx,b4x4Idx)を呼び出すことによって導き出すこととする。
mbAddrBaseのmb_typeがINTRAの場合、ファンクションは0を戻す。
さもなければ、以下があてはまる。
0及び1によって置き換えられるXの場合、refIdxBaseLX[subMbPartIdx]及びmvBaseLX[subMbPartIdx]は、mbAddrBase/mbPartIdxBase/subMbPartIdxBaseの参照インデックス及び動きベクトルにセットされる。
ファンクションは1を戻す。
高位層マクロブロック(HL MB)の、その対応するベース層マクロブロック(BL MB)に対する位置を表し、そのMBクラスを識別する図である。 HL MB及びその対応するBL MBを表す図である。 ベース層座標系におけるMB HLの中心位置(XC,YC)を表す図である。 高位層座標系において再スケーリングされたMB HLの中心位置(XC,YC)に対する、8×8ベース層ブロックの左境界の位置dX1、及び、高位層座標系において再スケーリングされたMB HLの中心位置(XC,YC)に対する、8×8ベース層ブロックの右境界の位置dX2を表す図である。 8画素のサイズの2つの分割に垂直方向に分けられるHL MBを表す図である。 8画素のサイズの2つの分割に垂直方向に分けられ、前述の分割の1つが更に、4画素のサイズの2つのサブ分割に垂直方向に分けられるHL MBを表す図である。 8画素のサイズの2つの分割に垂直方向に分けられるHL MBを表す図である。 8画素のサイズの2つの分割に垂直方向に分けられ、前述の分割の1つが更に、4画素のサイズの2つのサブ分割に垂直方向に分けられるHL MBを表す図である。 ベース層サブ分割境界によって垂直方向に分けられるHL MBを表す図である。 中立の分割/サブ分割を表す図である。 本発明による符号化装置を表す図である。 本発明による復号化装置を表す図である。 MPEG4 AVCによる分割パターン及びサブ分割パターンを表す図である。 本発明による方法を表すフロー図である。

Claims (17)

  1. 低分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報から高分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報を導き出す、ビデオ符号化器又はビデオ復号化器が行う方法であって、各ピクチャは、重ならないマクロブロックに分けられ、前記符号化情報は、少なくとも、マクロブロックがブロックにどのようにして分けられるかを示す分割情報を有し、ベース層マクロブロックと呼ばれる、前記少なくとも1つの低分解能ピクチャ部分の少なくとも1つのマクロブロックは、高位層マクロブロックと呼ばれる、前記少なくとも1つの高分解能ピクチャ部分のマクロブロックそれぞれと関連付けられ、よって、水平方向における第1の所定比及び垂直方向における第2の所定比でアップサンプリングされた前記少なくとも1つの低分解能ピクチャ部分が、前記少なくとも1つの高分解能ピクチャ部分にスーパインポーズされた場合に、前記関連付けられた低分解能マクロブロックが前記高分解能マクロブロックに少なくとも部分的に重なり、
    対応するベース層マクロブロックと呼ばれる、前記高位層マクロブロックに関連付けられた前記ベース層マクロブロックに対する、前記高位層マクロブロックの位置を表す、前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎の幾何学的パラメータを計算する工程と、
    前記幾何学的パラメータ及び高位層マクロブロックに基づいて前記対応するベース層マクロブロックの前記分割情報から前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎の分割情報を導き出す工程とを備える方法。
  2. 請求項1記載の方法であって、分割情報を導き出す工程には、前記幾何学的パラメータに基づいて前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎にマクロブロック・クラスを導き出す工程が先行し、前記マクロブロック・クラスは、前記対応するベース層マクロブロックの境界による前記高位層マクロブロックの分割を表し、前記分割情報は、前記幾何学的パラメータ及び前記マクロブロック・クラスに基づいて導き出される方法。
  3. 請求項1又は2に記載の方法であって、座標系が各高分解能ピクチャと関連付けられ、4つの幾何学的パラメータが、前記高分解能ピクチャ座標系において、重ならないブロックに分けられる高位層マクロブロック毎に、
    第1の幾何学的パラメータが、高位層マクロブロックの中心と、対応するベース層マクロブロックの最も近い垂直境界との間の代数距離MbBorderXであり、該距離が第1の方向によって規定される工程と、
    第2の幾何学的パラメータが、高位層マクロブロックの中心と、対応するベース層マクロブロックの最も近い水平境界との間の代数距離であり、該距離が第2の方向によって規定される工程と、
    第3の幾何学的パラメータが、高位層マクロブロックの中心と、対応するベース層マクロブロックのうちのブロックの最も近い垂直境界との間の代数距離であり、該距離が前記第1の方向によって規定される工程と、
    第4の幾何学的パラメータが、高位層マクロブロックの中心と、対応するベース層マクロブロックのうちのブロックの最も近い水平境界との間の代数距離であり、該距離が前記第2の方向によって規定される工程として計算される方法。
  4. 請求項1乃至3に記載の方法であって、前記符号化情報はサブ分割情報を更に有し、前記方法は、前記幾何学的パラメータに基づいて、前記対応するベース層マクロブロックの分割情報から、かつ、前記対応するベース層マクロブロックのサブ分割情報が存在する場合、前記対応するベース層マクロブロックのサブ分割情報から前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロックのサブ分割情報を導き出す工程を更に備える方法。
  5. 請求項1乃至4の何れか一項に記載の方法であって、前記符号化情報は動き情報を更に有し、前記方法は、前記対応するベース層マクロブロックの動き情報から前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎の動き情報を導き出す工程を更に備える方法。
  6. 請求項5記載の方法であって、前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎の動き情報を導き出す工程は、前記高位層マクロブロックの分割毎に、かつ、前記分割毎のサブ分割が存在する場合、前記分割それぞれのサブ分割毎に動き情報を導き出す工程を含む方法。
  7. 請求項6記載の方法であって、一マクロブロック、一分割又は一サブ分割の前記動き情報は、第1の成分及び第2の成分を有する少なくとも1つの動きベクトルと、第1又は第2の参照インデックス・リストのうちから選択される前記動きベクトルに関連した少なくとも1つの参照インデックスとを備え、前記参照インデックスが参照ピクチャを識別する方法。
  8. 請求項7記載の方法であって、動き情報を導き出す工程が、前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎に、同じ分割のサブ分割間で動き情報を均一化する工程を備え、該工程が、参照インデックスのリスト毎に、
    参照インデックスの前記リストの前記参照インデックスのうちで前記サブ分割の最低インデックスを識別する工程と、
    現在の参照インデックスが前記最低参照インデックスに等しくない前記サブ分割それぞれと前記最低参照インデックスとを関連付ける工程であって、前記現在の参照インデックスが先行参照インデックスになる工程と、
    先行参照インデックスが最低インデックスに等しくない前記サブ分割それぞれと、前記先行参照インデックスが前記最低参照インデックスに等しいその近傍サブ分割の1つの動きベクトルとを関連付ける工程とを含む方法。
  9. 請求項8記載の方法であって、前記関連付けられる動きベクトルは、第1に、水平方向の近傍サブ分割を調べ、第2に、垂直方向の近傍サブ分割を調べ、第3に、対角線方向の近傍サブ分割を調べた場合に直面する第1の近傍サブ分割の動きベクトルである方法。
  10. 請求項8又は9の何れか一項に記載の方法であって、各マクロブロック、分割の動きベクトルの動きベクトル成分と、サブ分割が存在する場合、サブ分割の動きベクトルの動きベクトル成分が、式
    Figure 0005213456
    によってスケーリングされ、
    dx及びdyは、導き出された動きベクトルの座標を表し、
    dsx及びdsyは、スケーリングされた動きベクトルの座標を表し、
    sign[x]は、xが正の場合は1に等しく、xが負の場合は−1に等しく、
    scaled_base_width及びscaled_base_heightはそれぞれ、高分解能画像部分の幅及び高さであり、
    base_width及びbase_heightはそれぞれ、低分解能画像部分の幅及び高さである方法。
  11. 請求項4乃至10の何れか一項に記載の方法であって、前記マクロブロックは、16×16画素のサイズを有し、前記ブロックは8×8画素のサイズであり、前記第1の所定比は前記第2の所定比に等しい方法。
  12. 少なくとも高分解能ピクチャ系列及び低分解能ピクチャ系列を符号化する装置であって、各ピクチャはマクロブロックに分けられ、
    低分解能ピクチャを符号化する第1の符号化手段であって、前記低分解能ピクチャの符号化情報、及びベース層データ・ストリームを生成する第1の符号化手段と、
    低分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報から高分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報を導き出す承継手段と、
    前記導き出された符号化情報を用いて前記高分解能ピクチャを符号化する第2の符号化手段であって、エンハンスメント層データ・ストリームを生成する第2の符号化手段とを有し、
    前記符号化情報は少なくとも、マクロブロックがブロックにどのようにして分けられるかを示す分割情報を有し、前記承継手段は、
    ベース層マクロブロックと呼ばれる、前記少なくとも1つの低分解能ピクチャ部分の少なくとも1つのマクロブロックを、高位層マクロブロックと呼ばれる、前記少なくとも1つの高分解能ピクチャ部分のマクロブロックそれぞれと関連付ける手段であって、水平方向における第1の所定比及び垂直方向における第2の所定比でアップサンプリングされた前記少なくとも1つの低分解能ピクチャ部分が、前記少なくとも1つの高分解能ピクチャ部分にスーパインポーズされた場合に、前記関連付けられた低分解能マクロブロックが前記高分解能マクロブロックに少なくとも部分的に重なる関連付ける手段と、
    対応するベース層マクロブロックと呼ばれる、前記高位層マクロブロックに関連付けられた前記ベース層マクロブロックに対する、前記高位層マクロブロックの位置に基づいて、前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎の幾何学的パラメータを計算する手段と、
    前記幾何学的パラメータに基づいて前記対応するベース層マクロブロックの前記分割情報から前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎の分割情報を導き出す手段とを備える装置。
  13. 請求項12記載の装置であって、前記ベース層データ・ストリーム及び前記エンハンスメント層データ・ストリームを単一のデータ・ストリームに合成するモジュールを更に備える装置。
  14. 請求項12又は13に記載の装置であって、前記第1の符号化手段がMPEG‐4 AVCビデオ符号器である装置。
  15. 請求項12乃至14の何れか一項に記載の装置によって符号化された少なくとも高分解能ピクチャ系列及び低分解能ピクチャ系列を復号化する装置であって、前記符号化ピクチャはデータ・ストリームによって表され、
    低分解能ピクチャ、及び前記低分解能ピクチャの符号化情報を生成するために前記データ・ストリームの少なくとも第1の部分を復号化する第1の復号化手段と、
    低分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報から高分解能ピクチャの少なくとも1つのピクチャ部分の符号化情報を導き出す承継手段と、
    高分解能ピクチャを符号化するために前記導き出された符号化情報を用いて少なくとも、前記データ・ストリームの第2の部分を復号化する第2の復号化手段とを有し、
    前記符号化情報は少なくとも、マクロブロックがブロックにどのようにして分けられるかを示す分割情報を有し、前記承継手段は、
    ベース層マクロブロックと呼ばれる、前記少なくとも1つの低分解能ピクチャ部分の少なくとも1つのマクロブロックを、高位層マクロブロックと呼ばれる、前記少なくとも1つの高分解能ピクチャ部分のマクロブロックそれぞれと関連付ける手段であって、水平方向における第1の所定比及び垂直方向における第2の所定比でアップサンプリングされた前記少なくとも1つの低分解能ピクチャ部分が、前記少なくとも1つの高分解能ピクチャ部分にスーパインポーズされた場合に、前記関連付けられた低分解能マクロブロックが前記高分解能マクロブロックに少なくとも部分的に重なる関連付ける手段と、
    対応するベース層マクロブロックと呼ばれる、前記高位層マクロブロックに関連付けられた前記ベース層マクロブロックに対する、前記高位層マクロブロックの位置に基づいて、前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎の幾何学的パラメータを計算する手段と、
    前記幾何学的パラメータに基づいて前記対応するベース層マクロブロックの前記分割情報から前記少なくとも1つの高分解能ピクチャ部分における高位層マクロブロック毎の分割情報を導き出す手段とを備える装置。
  16. 請求項15記載の装置であって、前記データ・ストリームの前記第1の部分及び前記データ・ストリームの前記第2の部分を前記データ・ストリームから抽出する抽出手段を更に備える装置。
  17. 請求項15又は16に記載の装置であって、前記第1の復号化手段がMPEG‐4 AVCビデオ復号器である装置。
JP2007555591A 2005-02-18 2006-02-14 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置 Expired - Fee Related JP5213456B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
EP05101224A EP1694074A1 (en) 2005-02-18 2005-02-18 Process for scalable coding of images
EP05101224.3 2005-02-18
FR0550477 2005-02-21
FR0550477 2005-02-21
EP05102465.1 2005-03-29
EP05102465A EP1694075A1 (fr) 2005-02-21 2005-03-29 Méthode d'héritage inter couches utilisée dans un dispositif de codage et de décodage d'une image haute résolution à partir d'une image basse résolution
EP05290819.1 2005-04-13
EP05290819 2005-04-13
EP05291194 2005-06-02
EP05291194.8 2005-06-02
PCT/EP2006/050913 WO2006087319A2 (en) 2005-02-18 2006-02-14 Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method

Publications (2)

Publication Number Publication Date
JP2008530927A JP2008530927A (ja) 2008-08-07
JP5213456B2 true JP5213456B2 (ja) 2013-06-19

Family

ID=39730638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007555591A Expired - Fee Related JP5213456B2 (ja) 2005-02-18 2006-02-14 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置

Country Status (7)

Country Link
US (1) US8345762B2 (ja)
EP (1) EP1849303A2 (ja)
JP (1) JP5213456B2 (ja)
KR (1) KR101233854B1 (ja)
CN (1) CN101213840B (ja)
TW (1) TWI403959B (ja)
WO (1) WO2006087319A2 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1977607A4 (en) * 2006-01-09 2014-12-17 Lg Electronics Inc INTER-LAYER PREDICTION PROCEDURE FOR A VIDEO SIGNAL
KR100908062B1 (ko) * 2006-09-07 2009-07-15 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
WO2008060125A1 (en) * 2006-11-17 2008-05-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
JP5029543B2 (ja) * 2008-09-09 2012-09-19 富士通株式会社 符号化装置および符号化プログラム
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
FR2947134A1 (fr) * 2009-06-23 2010-12-24 France Telecom Procedes de codage et de decodages d'images, dispositifs de codage et de decodage, flux de donnees et programme d'ordinateur correspondants.
CN106231336B (zh) 2010-04-13 2020-06-12 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
KR102282803B1 (ko) 2010-04-13 2021-07-28 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
DK3301648T3 (da) 2010-04-13 2020-04-06 Ge Video Compression Llc Nedarvning i samplearraymultitræsunderinddeling
KR102145722B1 (ko) 2010-04-13 2020-08-20 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
SI2953356T1 (sl) * 2010-08-17 2018-12-31 Samsung Electronics Co., Ltd Postopek dekodiranja videa z uporabo transformacijske enote z variabilno drevesno strukturo
US8923395B2 (en) * 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP2013126157A (ja) * 2011-12-15 2013-06-24 Sony Corp 画像処理装置及び画像処理方法
CN104255031B (zh) * 2012-02-29 2017-12-22 Lg 电子株式会社 层间预测方法和使用层间预测方法的装置
WO2013147557A1 (ko) * 2012-03-29 2013-10-03 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
US9819946B2 (en) 2012-04-05 2017-11-14 Newsouth Innovations Pty Limited Method and apparatus for coding of spatial data
GB2501517A (en) 2012-04-27 2013-10-30 Canon Kk Scalable Encoding and Decoding of a Digital Image
JP6085601B2 (ja) * 2012-07-03 2017-02-22 シャープ株式会社 画像復号装置、および画像符号化装置
KR20220131366A (ko) 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US20140098880A1 (en) * 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
US9270991B2 (en) * 2013-01-07 2016-02-23 Qualcomm Incorporated Inter-layer reference picture generation for HLS-only scalable video coding
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
US10284842B2 (en) * 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
KR20160009543A (ko) * 2013-04-17 2016-01-26 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
US9756335B2 (en) * 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
CN115118968A (zh) 2015-11-20 2022-09-27 韩国电子通信研究院 用于对图像进行编/解码的方法
WO2017195945A1 (ko) * 2016-05-10 2017-11-16 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
CN108810531B (zh) * 2017-05-03 2019-11-19 腾讯科技(深圳)有限公司 视频编码处理方法、装置及电子设备
GB2619430B (en) * 2019-03-20 2024-02-21 V Nova Int Ltd Low complexity enhancement video coding
EP3962082A4 (en) * 2019-06-12 2022-10-05 Sony Group Corporation IMAGE PROCESSING DEVICE AND METHOD
US20220385888A1 (en) * 2019-09-20 2022-12-01 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium storing bitstream
CN114710664A (zh) * 2019-09-20 2022-07-05 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
CN112106362A (zh) * 2019-09-30 2020-12-18 深圳市大疆创新科技有限公司 可移动平台的图像处理方法、装置、可移动平台及介质
CN114731431A (zh) * 2019-11-15 2022-07-08 寰发股份有限公司 在360度虚拟现实视频编码中用于发送水平环绕移动补偿的方法和装置
US12022126B2 (en) * 2019-11-22 2024-06-25 Sharp Kabushiki Kaisha Systems and methods for signaling tiles and slices in video coding
KR20220146647A (ko) * 2020-05-19 2022-11-01 구글 엘엘씨 품질-정규화된 비디오 트랜스코딩을 위한 동적 파라미터 선택
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59107736D1 (de) 1991-08-24 1996-05-30 Itt Ind Gmbh Deutsche Monolithisch integrierter Differenzverstärker mit digitaler Verstärkungseinstellung
US5270813A (en) 1992-07-02 1993-12-14 At&T Bell Laboratories Spatially scalable video coding facilitating the derivation of variable-resolution images
JP3189258B2 (ja) 1993-01-11 2001-07-16 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5831678A (en) 1996-08-09 1998-11-03 U.S. Robotics Access Corp. Video encoder/decoder system
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US5978509A (en) 1996-10-23 1999-11-02 Texas Instruments Incorporated Low power video decoder system with block-based motion compensation
US6690724B1 (en) 1997-01-10 2004-02-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing device, and data recording medium
US6728775B1 (en) * 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6741748B1 (en) * 1997-06-19 2004-05-25 Samsung Electronics Co. Scan interleaving method based on context values of neighboring pixels, improved encoding/decoding method of binary shape data and encoding/decoding apparatus suitable for the same
US6351563B1 (en) 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
JP2000013790A (ja) 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6233283B1 (en) * 1998-06-23 2001-05-15 Lucent Technologies Inc. Layered video coding using perceptual coding criteria for error resilience in packet networks
US6603883B1 (en) * 1998-09-08 2003-08-05 Canon Kabushiki Kaisha Image processing apparatus including an image data encoder having at least two scalability modes and method therefor
AU743246B2 (en) * 1998-11-04 2002-01-24 Mitsubishi Denki Kabushiki Kaisha Image decoder and image encoder
DE19855038A1 (de) * 1998-11-28 2000-05-31 Thomson Brandt Gmbh Verfahren zur Bildcodierung und -decodierung sowie Verfahren zum Aufbau einer Teilbilddateneinheit für ein elektronisches Gerät und elektronisches Gerät
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6931060B1 (en) * 1999-12-07 2005-08-16 Intel Corporation Video processing of a quantized base layer and one or more enhancement layers
JP2001223665A (ja) * 2000-02-08 2001-08-17 Matsushita Electric Ind Co Ltd 信号符号化伝送装置、信号復号化受信装置、およびプログラム記録媒体
US6510177B1 (en) 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
CA2406459C (en) 2000-04-07 2006-06-06 Demografx Enhanced temporal and resolution layering in advanced television
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
US6907070B2 (en) 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
TW567728B (en) * 2001-02-20 2003-12-21 Sanyo Electric Co Method and apparatus for decoding graphic image
US7421127B2 (en) * 2001-10-26 2008-09-02 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using spatial sharpness enhancement techniques
KR20040054743A (ko) * 2001-10-26 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 스케일가능 압축
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US6898313B2 (en) * 2002-03-06 2005-05-24 Sharp Laboratories Of America, Inc. Scalable layered coding in a multi-layer, compound-image data transmission system
WO2003079692A1 (en) * 2002-03-19 2003-09-25 Fujitsu Limited Hierarchical encoder and decoder
US7397858B2 (en) * 2002-05-29 2008-07-08 Innovation Management Sciences, Llc Maintaining a plurality of codebooks related to a video signal
US8005148B2 (en) * 2003-01-30 2011-08-23 Koninklijke Philips Electronics N.V. Video coding
EP1597919A1 (en) * 2003-02-17 2005-11-23 Koninklijke Philips Electronics N.V. Video coding
EP1455534A1 (en) 2003-03-03 2004-09-08 Thomson Licensing S.A. Scalable encoding and decoding of interlaced digital video data
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR20060105408A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7142601B2 (en) 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
JP2005033336A (ja) 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US7362809B2 (en) 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
JP2005260912A (ja) * 2004-02-10 2005-09-22 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
US8503542B2 (en) 2004-03-18 2013-08-06 Sony Corporation Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US7817723B2 (en) 2004-12-14 2010-10-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus and method of optimizing motion estimation parameters for encoding a video signal
US8363730B2 (en) * 2004-12-16 2013-01-29 Intel Corporation Local macroblock information buffer
US20060176955A1 (en) 2005-02-07 2006-08-10 Lu Paul Y Method and system for video compression and decompression (codec) in a microprocessor
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1878250A4 (en) 2005-04-01 2012-11-28 Lg Electronics Inc METHOD OF ENCODING AND DECODING THAT CAN BE SCALED ON A VIDEO SIGNAL
KR100763179B1 (ko) 2005-04-01 2007-10-04 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
KR100896279B1 (ko) 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US7777812B2 (en) 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling
CN101438596B (zh) * 2006-05-05 2014-03-26 汤姆森许可贸易公司 用于可伸缩视频编码的简化的层间运动预测

Also Published As

Publication number Publication date
CN101213840B (zh) 2011-02-02
WO2006087319A3 (en) 2006-11-23
TW200636605A (en) 2006-10-16
JP2008530927A (ja) 2008-08-07
KR20070103459A (ko) 2007-10-23
CN101213840A (zh) 2008-07-02
KR101233854B1 (ko) 2013-02-15
TWI403959B (zh) 2013-08-01
EP1849303A2 (en) 2007-10-31
US8345762B2 (en) 2013-01-01
US20090028245A1 (en) 2009-01-29
WO2006087319A2 (en) 2006-08-24

Similar Documents

Publication Publication Date Title
JP5213456B2 (ja) 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
JP5112332B2 (ja) インターレイヤ動き予測方法
JP5011378B2 (ja) スケーラブルビデオ符号化向け簡略化されたレイヤ間動き予測
JP5065051B2 (ja) 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
KR100904441B1 (ko) 영상신호의 레이어간 예측 방법
CN101073265B (zh) 可缩放视频编码方法
JP5211048B2 (ja) 低解像度画像のモーションデータから高解像度画像用のモーションデータを取得する方法並びにその方法を実施する符号化及び復号装置
WO2007065796A2 (en) Method of predicting motion and texture data
EP1848218A1 (en) Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
KR101336104B1 (ko) 모션과 텍스처 데이터를 예측하는 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130226

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees