JP5768180B2 - 画像復号方法及び画像復号装置 - Google Patents

画像復号方法及び画像復号装置 Download PDF

Info

Publication number
JP5768180B2
JP5768180B2 JP2014507013A JP2014507013A JP5768180B2 JP 5768180 B2 JP5768180 B2 JP 5768180B2 JP 2014507013 A JP2014507013 A JP 2014507013A JP 2014507013 A JP2014507013 A JP 2014507013A JP 5768180 B2 JP5768180 B2 JP 5768180B2
Authority
JP
Japan
Prior art keywords
layer
decoding
unit
image
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014507013A
Other languages
English (en)
Other versions
JPWO2013145021A1 (ja
Inventor
村上　智一
智一 村上
横山　徹
徹 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2014507013A priority Critical patent/JP5768180B2/ja
Publication of JPWO2013145021A1 publication Critical patent/JPWO2013145021A1/ja
Application granted granted Critical
Publication of JP5768180B2 publication Critical patent/JP5768180B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は画像を符号化する画像符号化方法、画像符号化装置、符号化画像データを復号する画像復号方法、画像復号装置及び符号化画像データに関する。
画像符号化規格にH.264/AVC(Advanced Video Coding)がある。ISO/IEC MPEGとITU-T VCEGはこれを超える圧縮率を実現するため、JCT-VC(Joint Collaborative Team on Video Coding)を設立し、HEVC(High Efficiency Video Coding)と呼ばれる次世代方式の検討を始めている。
符号化された画像を復号、再生する端末には、高い解像度で再生できるもの、低い解像度でのみ再生できるものなど複数種類のものが存在するため、１本の符号化ストリームから部分的にデータを取り出すことによって必要に応じて複数の解像度を再生可能なスケーラビリティ拡張符号化方式が必要とされている。H.264/AVCのスケーラビリティ拡張としてSVC(Scalable Video Coding)が規格化されている。
H.264/AVCやSVC、MPEG-2を含むこれまでの画像符号化規格では、符号化を行う単位であるマクロブロックは固定サイズであった。
現在策定中のHEVCでは、H264AVCまでは固定化されていたブロックサイズを可変にすることが検討されている。具体的には、符号化を行う単位CU(Coding Unit)を一辺の画素数が２のべき乗となるようにブロックサイズをツリー構造管理し、任意の階層のブロックサイズで符号化・復号化する。（非特許文献１)
T. Wiegand, W. Han, B. Bross, J. Ohm and G. Sullivan, p.39〜p.40「7.3.6 Coding unit syntax」, p.63〜p.64「7.4.6 Coding unit semantics」 "Working Draft 3 of High-Efficiency Video Coding", Doc. JCTVC-E603, Joint Collaborative Team on Video Coding (JCT-VC), March 2011.
画像符号化方式には、符号化の単位が固定サイズであるものと、画像の位置によってサイズが異なるものとがある。サイズが異なるものを含む符号化方式において、どのようにスケーラビリティ拡張を行うか検討されていない。そのため、効率的な圧縮ができない。
また、CUだけでなく、予測単位であるPU (Prediction Unit)、周波数変換単位であるTU (Transform Unit)についても、記述方法が検討されていない。そのため、効率的な圧縮ができないという問題点があった。
また、ベースレイヤがH.264/AVCやMPEG-2のような固定サイズのマクロブロックで、拡張レイヤがHEVCのようなサイズが異なるCUである場合についても、記述方法が検討されていない。そのため、効率的な圧縮ができないという問題点があった。
このように、本発明の目的は、サイズが異なる符号化単位が含まれる符号化方式において、レイヤ間の対応関係を明確にすることにより、スケーラビリティ拡張に対応した高い符号化効率を持つ画像符号化技術、画像復号技術を提供することにある。
本願は、上記課題を解決するための手段を種々含むものであるが、その一つを挙げると次の通りである。
画像を符号化した符号化ストリームを復号する画像復号方法であって、該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、各レイヤにおいて符号化する単位CUの分割方法を復号するステップと、予測単位PUの分割方法を復号するステップと、周波数変換単位TUの分割方法を復号するステップを備え、前記あるレイヤ１のCUを復号するステップは、別のレイヤ０のCU分割方法を参照し、一定のルールに従ってCU分割方法を計算し、前記あるレイヤ１のPUを復号するステップは、同じレイヤ１のCU分割方法と、別のレイヤ０のPU分割方法を参照し、一定のルールに従ってPU分割方法を計算し、前記あるレイヤ１のTUを復号するステップは、同じレイヤ１のCU分割方法と、別のレイヤ０のTU分割方法を参照し、一定のルールに従ってTU分割方法を計算し、前記一定のルールをフラグによって判別することを特徴とする画像復号方法。
本発明によれば、スケーラビリティ拡張機能を持った符号化方式の符号化効率を向上することができる。
実施例１に係る画像符号化装置のブロック図である。 実施例１に係る画像復号装置のブロック図である。 実施例１に係る符号化単位の説明図である。 実施例１に係る符号化単位の説明図である。 実施例１に係る画像符号化装置で用いられる画像符号化フロー図である。 実施例１に係る画像符号化装置で用いられる画像符号化フロー図である。 実施例１に係る画像復号方法のフロー図である。 実施例１に係るデータ記録媒体の説明図である。
以下、実施例を、図面を参照して説明する。
また、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
また、本明細書の各記載及び各図面における「マクロブロック」とは従来の符号化方式における固定サイズの符号化単位を示し、「CU」とは複数のサイズを選択できる符号化単位であるCoding Unitを示す。「PU」とは、複数のサイズを選択できる予測単位であるPrediction Unitを示す。「TU」とは、複数のサイズを選択できる周波数変換単位であるTransform Unitを示す。
また、本明細書の各記載及び各図面における「フラグとともに伝送」という表現は、「フラグに含めて伝送」という意味も含む。
また、本明細書の各記載及び各図面における「符号化モード」という表現は、イントラ予測／インター予測の種別と適用するブロックサイズとの組み合わせを含むものである。
また、本明細書の各記載及び各図面における「予測モード情報」という表現は、分割方法（CU、PU）またはMBであることの一方と、符号化モードを含む情報、さらに、MBの場合マクロブロック内の予測ブロックサイズ含む情報を意味する。
また、本明細書の各記載及び各図面における「変換モード情報」という表現は、分割方法（CU、TU）とMBであることの一方、および符号化モードを含む情報を意味する。
また、本明細書の各記載及び各図面における「ユニット情報」という表現は、分割方法（CU、PU、TU）またはMBであることの一方と、符号化モードを含む情報、さらに、MBの場合マクロブロック内の予測ブロックサイズ含む情報を意味する。
また、本明細書の各記載及び各図面における「スケーラビリティ拡張」という表現は、単独で復号可能な下位レイヤに対して、解像度を拡張する上位レイヤを追加する方式を意味するものとして説明している。但し、下位レイヤに対して、解像度は同じだがSN比を改善する上位レイヤのデータを追加するSNRスケーラビリティ拡張や、フレーム数を増やす上位レイヤを追加するフレームレートスケーラビリティ拡張についても適用可能であり、これらの意味も含んでいる。
まず、実施例１について図面を参照して説明する。 図１に実施例１に係る画像符号化装置のブロック図を示す。以下では入力画像を３つの異なる解像度で符号化可能にした例を示す。解像度が低い方からレイヤ０、レイヤ１、レイヤ２とし、低い方を下位レイヤ、高い方を上位レイヤとする。最も解像度が低い最下位レイヤであるレイヤ０をベースレイヤと呼ぶ。それ以外を拡張レイヤと呼ぶ。
画像符号化装置は、解像度変換部１０１、レイヤ０ユニット情報計算部１０２、レイヤ１ユニット情報計算部１０３、レイヤ２ユニット情報計算部１０４、レイヤ０CU計算部１０５、レイヤ０PU計算部１０６、レイヤ０TU計算部１０７、レイヤ１CU計算部１０８、レイヤ１PU計算部１０９、レイヤ１TU計算部１１０、レイヤ２CU計算部１１１、レイヤ２PU計算部１１２、レイヤ２TU計算部１１３、レイヤ０イントラ・インター予測部１１４、レイヤ０変換・量子化部１１５、レイヤ０符号化処理部１１６、レイヤ１イントラ・インター予測部１１７、レイヤ１変換・量子化部１１８、レイヤ１符号化処理部１１９、レイヤ２イントラ・インター予測部１２０、レイヤ２変換・量子化部１２１、レイヤ２符号化処理部１２２、多重化部１２３、データ出力部１２４を備えている。
以下に画像符号化装置の各構成要素の動作を詳細に説明する。
なお、画像符号化装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、コンピュータの制御部がコンピュータの記憶部が記憶するソフトウェアと協働することにより実現しても構わない。
まず、解像度変換部１０１は入力画像を複数の解像度に変換し、それぞれ別レイヤとして各レイヤのユニット情報計算部に送る。例えば３つの解像度にて符号化を行う場合、入力画像と同じ解像度をレイヤ２とし、縦横半分の解像度に変換したものをレイヤ１とし、縦横それぞれ４分の１の解像度に変換したものをレイヤ０とし、レイヤ０をベースレイヤとすればよい。解像度変換には一般的なサンプリングフィルタを用いればよい。
次に各レイヤにおける符号化方法について説明する。
まず、ベースレイヤであるレイヤ０の符号化を行う。ベースレイヤの符号化方式は、HEVCのような複数のサイズを選択できるCUを用いて符号化する場合と、H.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化する場合とを含む。以下、CUを用いる場合を「CUケース」、マクロブロックを用いる場合を「MBケース」とする。
レイヤ０ユニット情報計算部１０２は、「CUケース」か「MBケース」か決定し、レイヤ０の画像と「ユニット情報」を出力する。
「ユニット情報」は、「CUケース」の場合、CUの分割方法、PUの分割方法、TUの分割方法の３つの分割方法と符号化モードであり、「MBケース」の場合、マクロブロック内の予測ブロックサイズと符号化モードである。
レイヤ０CU計算部１０５は、レイヤ０のCUの分割方法を決定する。CUでは、既存の方式と同様に画像全体の符号化効率が高くなるように最適化を行い、分割方法を決定する。MBでは、固定サイズで分割する。
レイヤ０PU計算部１０６は、レイヤ０のPUの分割方法を決定する。CUでは、PUの分割はCUの分割結果を参照して行われる。CUでは、画像全体の符号化効率が高くなるように最適化を行い、分割方法と予測モードとを決定する。MBケースでも同様に、画像全体の符号化効率が高くなるように最適化を行い、マクロブロック内の予測ブロックサイズと予測モードを決定する。
レイヤ０TU計算部１０７は、レイヤ０のTUの分割方法を決定する。TUの分割はCUの分割結果を参照して行われる。CUでは、画像全体の符号化効率が高くなるように最適化を行い、分割方法、変換方式を決定する。MBケースでは固定サイズの変換方式を用いる。
このようにして、レイヤ０ユニット情報計算部１０２は、レイヤ０の解像度の画像と、ユニット情報をレイヤ０イントラ・インター予測部１１４に送るとともに、レイヤ１の同計算部へ決定結果を送る。この際、ユニット情報はあらかじめ定めておいたフラグに変換しておく。
続いて、レイヤ０のユニット情報に基づいて、レイヤ０の解像度の画像の符号化を行う。
レイヤ０イントラ・インター予測部１１４では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。これらの予測モードは既存の手法を用いる。予測モード情報がレイヤ０符号化処理部１１６に送られ、予測後の残差成分とユニット情報におけるCU分割方法およびTU分割方法がレイヤ０変換・量子化部１１５に送られる。
レイヤ０変換・量子化部１１５では、ユニット情報におけるCU分割方法、TU分割方法に従って周波数変換と量子化が行われる。これらの処理方法は既存の手法を用いる。量子化後の係数情報がレイヤ０符号化処理部１１６に送られる。
レイヤ０符号化処理部１１６は、予測モード情報と係数情報のエントロピー符号化を行い、符号化データを多重化部１２３に出力する。
また、必要に応じて逆量子化、逆周波数変換を行い、参照用画像データを復元してレイヤ０イントラ・インター予測部１１４に送る。これらの処理方法は既存の手法を用いる。
レイヤ０の符号化に続いて、一つ上位の解像度を持つレイヤ１の符号化を行う。
レイヤ１ユニット情報計算部１０３は、レイヤ１のCUの分割方法、PUの分割方法、TUの分割方法の３つの分割方法と符号化モードを決定する。レイヤ１以上の拡張レイヤでは、HEVCのような符号化単位のサイズが異なるCUを用いて符号化を行う。
レイヤ１CU計算部１０８は、レイヤ１のCUの分割方法を決定する。この際一つ下位のレイヤであるレイヤ０のCU計算部１０５からCU分割方法を参照し、一定のルールに従ってCU分割方法を決定する。レイヤ０とは独立にCU分割を行ってもよい。その場合、基本的にはルールに従い、例外的にフラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法は画像全体の符号化効率が高くなるように最適化を行って決定される。下位レイヤを参照した時のCU分割方法のルールについては後述する。
レイヤ１PU計算部１０９は、レイヤ１のPUの分割方法と予測モードを決定する。PUの分割はレイヤ１のCUの分割結果と、レイヤ０のPUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のPU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、予測モードは画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。
レイヤ１TU計算部１１０は、レイヤ１のTUの分割方法、変換方法を決定する。TUの分割はレイヤ１のCUの分割結果と、レイヤ０のTUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のTU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。その場合、基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、変換方法は画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。
このようにして、レイヤ１ユニット情報計算部１０３は、レイヤ１の解像度の画像と、ユニット情報をレイヤ１イントラ・インター予測部１１７に送るとともに、レイヤ２の同計算部へ決定結果を送る。この際、ユニット情報はあらかじめ定めておいたフラグに変換しておく。
続いて、レイヤ１のユニット情報に基づいて、レイヤ１の符号化を行う。
レイヤ１イントラ・インター予測部１１７では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。この時、レイヤ間予測により、下位レイヤであるレイヤ０の復号画像や、解像度変換によって調整した時に同じ位置になる箇所の予測モードも参照する。これらの予測方法については既存の手法を用いる。予測モード情報がレイヤ１符号化処理部１１９に送られ、予測後の残差成分とユニット情報におけるCU分割方法およびTU分割方法がレイヤ１変換・量子化部１１８に送られる。
レイヤ１変換・量子化部１１８では、ユニット情報におけるCU分割方法、TU分割方法に従って周波数変換と量子化が行われる。これらの処理方法は既存の手法を用いる。量子化後の係数情報がレイヤ１符号化処理部１１９に送られる。
レイヤ１符号化処理部１１９は、予測モード情報と係数情報のエントロピー符号化を行い、符号化データを多重化部１２３に出力する。
また、必要に応じて逆量子化、逆周波数変換を行い、参照用画像データを復元してレイヤ１イントラ・インター予測部１１７に送る。これらの処理方法は既存の手法を用いる。
レイヤ１の符号化に続いて、一つ上位の解像度を持つレイヤ２の符号化を行う。
レイヤ２ユニット情報計算部１０４は、レイヤ２のCUの分割方法、PUの分割方法、TUの分割方法の３つの分割方法符号化モードの決定を行う。レイヤ１以上の拡張レイヤでは、HEVCのような符号化単位のサイズが異なるCUを用いて符号化を行う。
レイヤ２CU計算部１１１は、レイヤ２のCUの分割方法を決定する。この際一つ下位のレイヤであるレイヤ１のCU計算部１０８からCU分割方法を参照し、一定のルールに従ってCU分割方法を決定する。レイヤ１とは独立にCU分割を行ってもよい。その場合、基本的にはルールに従い、例外的にフラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法は画像全体の符号化効率が高くなるように最適化を行って決定される。下位レイヤを参照した時のCU分割方法のルールについては後述する。
レイヤ２PU計算部１１２は、レイヤ２のPUの分割方法と予測モードを決定する。PUの分割はレイヤ２のCUの分割結果と、レイヤ１のPUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のPU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。その場合、基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、予測モードは画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。
レイヤ２TU計算部１１３は、レイヤ２のTUの分割方法、変換方法を決定する。TUの分割はレイヤ２のCUの分割結果と、レイヤ１のTUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のTU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、変換方法は画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。
このようにして、レイヤ２ユニット情報計算部１１１は、レイヤ２の解像度の画像と、ユニット情報をレイヤ２イントラ・インター予測部１２０に送る。この際、ユニット情報はあらかじめ定めておいたフラグに変換しておく。
続いてレイヤ２のユニット情報に基づいて、レイヤ２の符号化を行う。
レイヤ２イントラ・インター予測部１２０では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。この時、レイヤ間予測により、下位レイヤであるレイヤ１の復号画像や、解像度変換によって調整した時に同じ位置になる箇所の予測モードも参照する。これらの予測方法については既存の手法を用いれば良い。予測モード情報がレイヤ２符号化処理部１２２に送られ、予測後の残差成分とユニット情報におけるCU分割方法およびTU分割方法がレイヤ２変換・量子化部１２１に送られる。
レイヤ２変換・量子化部１２１では、ユニット情報におけるCU分割方法、TU分割方法に従って周波数変換と量子化が行われる。これらの処理方法は既存の手法を用いる。量子化後の係数情報がレイヤ２符号化処理部１２２に送られる。
レイヤ２符号化処理部１２２は、予測モード情報と係数情報のエントロピー符号化を行い、符号化データを多重化部１２３に出力する。また、必要に応じて逆量子化、逆周波数変換を行い、参照用画像データを復元してレイヤ２イントラ・インター予測部１２０に送る。これらの処理方法は既存の手法を用いる。
多重化部１２３は、符号化されたレイヤ０、レイヤ１、レイヤ２のデータを一つのストリームに多重化する。データのパケット化の方法や、インデックス、フラグの設定方法、多重化方法については既存の手法を用いれば良い。最後にデータ出力部１２４が多重化されたストリームデータを出力する。
続いて図３を用いて、下位レイヤのCU,PU,TUの分割方法から、上位レイヤのCU,PU,TUの分割方法を算出するルールについて説明する。以下CUを例に説明する。
ベースレイヤのCUが３０１のように分割されているとする。分割方法は四分木などによってツリー状に管理、記録されているものとする。ここで、解像度が縦横それぞれ２倍の拡張レイヤの分割方法を記述する時、３０２のような分割方法のルールを定め、これをフラグ等によって指定すれば良い。３０２の分割方法は、ベースレイヤのCUを解像度比に従って拡大し、CUの最大サイズを超えてしまう場所については最大サイズとするというものである。これによって別途CUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。
次に別の例として、拡張レイヤが３０３のように分割されるルールについて説明する。３０３の分割方法は、拡張レイヤの各位置において、解像度比に従ってベースレイヤのCUを参照し、ベースレイヤと同じCUサイズを用いるものである。従って、拡張レイヤのCUの数はベースレイヤよりも多くなる。この手法によっても同様に、別途CUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。
次に図４を用いて、ベースレイヤがH.264/AVCやMPEG-2のような固定サイズのマクロブロックと予測モードによって符号化されており、拡張レイヤがHEVCのように複数のサイズを選択できる「CU」と「PU」を用いている場合に、拡張レイヤの分割方法を算出するルールについて説明する。
ベースレイヤは４０１のように固定サイズのマクロブロックによって符号化され、予測の単位は各マクロブロックの予測モードによって規定されているとする。ここで解像度が縦横それぞれ２倍の拡張レイヤの分割方法を記述する時、４０２のような分割方法のルールを定め、これをフラグ等によって指定すれば良い。４０２の分割方法は、ベースレイヤのマクロブロックを解像度比に従って拡大しCUとするものである。CUの最大サイズを超えてしまう場所については最大サイズに設定すればよい。またPUについては、予測モードによって指定されるサイズを解像度比に従って拡大しPUとすればよい。これによって別途CUやPUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。
次に別の例として、拡張レイヤが４０３のように分割されるルールについて説明する。４０３の分割方法は、拡張レイヤの各位置において、解像度比に従ってベースレイヤのマクロブロックを参照し、マクロブロックと同じCUサイズを用いるものである。PUについては、ベースレイヤの予測モードで指定されるサイズと同じサイズを用いてもよいし、拡張レイヤのCUサイズに合わせてもよい。この手法によっても同様に、別途CUやPUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。
拡張レイヤからベースレイヤのユニットを参照する場合、解像度比に従って同じ位置にあるユニットの情報を参照すれば良い。上記ではCUを例に説明したが、PUやTUでも同様のルール適用が可能である。また上記の例では分割したユニットは全て正方形となっているが、PU_MERGE等の方法によりユニット毎に周辺のユニットとマージすることによって長方形など正方形以外の分割も可能である。上記を基本ルールとして、フラグ等を挿入することにより部分的に別の分割方法を適用してもよい。
拡張レイヤとベースレイヤにおいて、CU,PU,TUの使用可能なサイズを予め指定しておき、これらをフラグによって切り替えてもよい。サイズだけでなく、各レイヤにおいて使用可能な符号化モードを指定しておき、フラグによって切り替えてもよい。例えば、解像度の低い画像と解像度の高い画像では、効果の高い符号化モードや、CU,PU,TUのサイズが異なる場合がある。従って、解像度に応じてこれらの数、パターンを予め決めておけば効率的な符号化が可能となる。
CU,PU,TUの従うルールはそれぞれ別であってもよいし、同じでもよい。これを統一するか別々にするかをフラグによって判定してもよい。
各レイヤにおいて符号化するピクチャタイプ、例えばＩピクチャ、Ｐピクチャ、Ｂピクチャなどによって、適用する分割方法、上記のルールを切り換えてもよい。
上記のようなスケーラビリティ拡張は多視点画像の符号化にも応用可能である。この場合、拡張するレイヤが解像度方向と視点（ビュー）方向に２次元的に配置される。従って多視点画像での応用では、解像度方向と視点方向に対してそれぞれ別の分割方法、ルールを適用してもよい。
次に、図５を用いて、画像符号化装置で用いられる画像符号化フローについて説明する。
まずステップ５０１は、原画像から複数の解像度画像を作成する。作成された画像はそれぞれ別レイヤとして符号化される。例えば３つの解像度にて符号化を行う場合、入力画像と同じ解像度をレイヤ２とし、縦横半分の解像度に変換したものをレイヤ１とし、縦横それぞれ４分の１の解像度に変換したものをレイヤ０とし、レイヤ０をベースレイヤとすればよい。解像度変換には一般的なサンプリングフィルタを用いればよい。
続いて各レイヤの符号化を行う。以下では、ベースレイヤも拡張レイヤもHEVCのように複数のサイズを選択できる「CU」を用いて符号化する場合について説明する。
ステップ５０２は、処理対象レイヤがベースレイヤであるかどうかを判定する。ベースレイヤであればステップ５０３に進み、それ以外であればステップ５０４に進む。
ステップ５０３〜５０５ではベースレイヤの符号化を行う。
ステップ５０３ではCU,PU,TUの分割方法を決定する。分割方法は前述の通り、画像全体の符号化効率が高くなるように最適化を行い、決定すれば良い。
ステップ５０４ではCU,PU,TUをツリー構造として符号化する。
ステップ５０５では予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。
ステップ５１１では、符号化されたレイヤのデータのバッファリングを行い、他のレイヤが符号化された後にパケット化処理によって多重化し、多重化された符号化ストリームを出力する。
ステップ５１２では、全てのレイヤを処理したかどうかを判定し、全てのレイヤが処理済みであれば終了し、まだ符号化していないレイヤがあればステップ５０２に戻って他のレイヤの処理を行う。
ステップ５０６〜５１０では拡張レイヤの符号化を行う。
ステップ５０６ではCU,PU,TUの分割方法を下位レイヤのルールに従って決定するか、独立に決定するかを判定する。ルールに従って決定する場合はステップ５０７に進み、独立に決定する場合はステップ５０８に進む。
ステップ５０７では下位レイヤを参照してルールに従ってCU,PU,TUの分割方法を決定する。分割方法のルールは前述の通りである。
ステップ５０８では下位レイヤとは独立にCU,PU,TUの分割方法を決定する。
ステップ５０９ではCU,PU,TUをツリー構造として符号化する。
ステップ５１０では予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。
拡張レイヤの符号化後も同様にステップ５１１、５１２の処理を行う。
上記のプロセスにより複数解像度に適応した画像符号化が行われる。
次に、図６を用いて、画像符号化装置で用いられる別の画像符号化フローについて説明する。
まず、ステップ６０１は、原画像から複数の解像度画像を作成する。作成された画像はそれぞれ別レイヤとして符号化される。解像度変換手法は前述の通りである。
続いて、各レイヤの符号化を行う。以下では、ベースレイヤではH.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化を行い、拡張レイヤではHEVCのように複数のサイズを選択できる「CU」を用いて符号化を行う場合について説明する。
ステップ６０２は、処理対象レイヤがベースレイヤであるかどうかを判定する。ベースレイヤであればステップ６０３に進み、それ以外であればステップ６０４に進む。
ステップ６０３、６０４ではベースレイヤの符号化を行う。
ステップ６０３では固定サイズの各マクロブロックについて、予測ブロックサイズ、予測モードを判定し、これらの符号化モードを決定する。符号化モードの決定方法は、既存の手法に従い、画像全体の符号化効率が高くなるように最適化し決定すれば良い。
ステップ６０４では符号化モードに従って予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。
ステップ６１０では、符号化されたレイヤのデータのバッファリングを行い、他のレイヤが符号化された後にパケット化処理によって多重化し、多重化された符号化ストリームを出力する。
ステップ６１１では、全てのレイヤを処理したかどうかを判定し、全てのレイヤが処理済みであれば終了し、まだ符号化していないレイヤがあればステップ６０２に戻って他のレイヤの処理を行う。
ステップ６０５〜６０９では拡張レイヤの符号化を行う。
ステップ６０５ではCU,PU,TUの分割方法を下位レイヤのルールに従って決定するか、独立に決定するかを判定する。ルールに従って決定する場合はステップ６０６に進み、独立に決定する場合はステップ６０７に進む。
ステップ６０６では下位レイヤを参照してルールに従ってCU,PU,TUの分割方法を決定する。分割方法のルールは前述の通りである。
ステップ６０７では下位レイヤとは独立にCU,PU,TUの分割方法を決定する。
ステップ６０８ではCU,PU,TUをツリー構造として符号化する。
ステップ６０９では予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。
拡張レイヤの符号化後も同様にステップ６１０、６１１の処理を行う。
上記のプロセスにより複数解像度に適応した画像符号化が行われる。
以上説明した画像符号化装置及び画像符号化方法によれば、既存の符号化方式よりも効率的な複数の解像度レイヤに対応したCU,PU,TUの記述が可能となり、既存方式よりも圧縮効率の高い画像符号化装置及び画像符号化方法を実現することが可能となる。
また、この画像符号化装置及び画像符号化方法は、これらを用いた記録装置、携帯電話、デジタルカメラ等に適用することが可能である。
以上説明した画像符号化装置及び画像符号化方法によれば、符号化データの符号量を低減し、当該符号化データを復号した場合の復号画像の画質の劣化を防ぐことが可能となる。すなわち、高い圧縮率とより良い画質とを実現することができる。
次に、図２に画像復号装置のブロック図の例を示す。
本実施例の画像復号装置は、ストリーム解析部２０１、レイヤ０ユニット情報復号部２０２、レイヤ１ユニット情報復号部２０３、レイヤ２ユニット情報復号部２０４、レイヤ０CU復号部２０５、レイヤ０PU復号部２０６、レイヤ０TU復号部２０７、レイヤ１CU復号部２０８、レイヤ１PU復号部２０９、レイヤ１TU復号部２１０、レイヤ２CU復号部２１１、レイヤ２PU復号部２１２、レイヤ２TU復号部２１３、レイヤ０エントロピー復号部２１４、レイヤ０イントラ・インター予測部２１５、レイヤ０逆変換・逆量子化部２１６、レイヤ０合成部２１７、レイヤ１エントロピー復号部２１８、レイヤ１イントラ・インター予測部２１９、レイヤ１逆変換・逆量子化部２２０、レイヤ１合成部２２１、レイヤ２エントロピー復号部２２２、レイヤ２イントラ・インター予測部２２３、レイヤ２逆変換・逆量子化部２２４、レイヤ２合成部２２５、画像出力部２２６を備えている。
以下に、画像復号装置の各構成要素の動作を詳細に説明する。なお、画像復号装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、例えば、コンピュータの制御部や記憶部が記憶するソフトウェアと協働することにより実現しても構わない。
まず、ストリーム解析部２０１が、入力された符号化ストリームを解析する。ここで、ストリーム解析部２０１は、パケットからのデータ抽出処理や各種ヘッダ、フラグの情報取得処理も行う。
また、このとき、ストリーム解析部２０１に入力される符号化ストリームは、実施例１に係る画像符号化装置及び画像符号化方法により生成された符号化ストリームである。その生成方法は、実施例１に示したとおりであるので説明を省略する。後述するデータ記録媒体から読み出した符号化ストリームであってもよい。その記録方法は後述する。
ストリーム解析部によって各レイヤの符号化データが分離される。まずベースレイヤのデータが復号され、次に順次上位のレイヤが復号される。ここではレイヤ０、レイヤ１、レイヤ２の順に復号される例を示す。
まずベースレイヤであるレイヤ０の復号が行われる。前述のようにベースレイヤの符号化方式は、H.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化する場合と、HEVCのように複数のサイズを選択できる符号化単位であるCUを用いて符号化する場合を含む。以下、マクロブロックを用いる場合にはCUをマクロブロックと読み替えればよい。またPUをマクロブロック内で決定される予測ブロックと読み替えればよい。
レイヤ０ユニット情報復号部２０２はレイヤ０のCU,TU,PUを復号する。
レイヤ０CU復号部２０５はレイヤ０のCUを復号する。これは前述のCU符号化手順に従って、対応する復号手順によって復号すればよい。
レイヤ０PU復号部２０６はレイヤ０のPUを復号する。これはレイヤ０CU復号部２０５によって復号されたCUの情報を参照しながら、前述のPU符号化手順に対応する復号手順によって復号すればよい。
レイヤ０TU復号部２０７はレイヤ０のTUを復号する。これはレイヤ０CU復号部２０５によって復号されたCUの情報を参照しながら、前述のTU符号化手順に対応する復号手順によって復号すればよい。
続いてレイヤ０のユニット情報に基づいて、レイヤ０の復号を行う。
レイヤ０エントロピー復号部２１４では、エントロピー符号化された符号化モード情報、フラグ情報、残差係数を復号する。
レイヤ０イントラ・インター予測部２１５では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。これらの予測方法については既存の手法を用いる。
レイヤ０逆変換・逆量子化部２１６では、ユニット情報におけるCU分割方法、TU分割方法に従って逆量子化と逆周波数変換が行われる。これらの処理方法は既存の手法を用いる。
レイヤ０合成部２１７は、レイヤ０イントラ・インター予測部２１５によって作成された予測画素と、レイヤ０逆変換・逆量子化部２１６によって作成された残差成分を合成し、復号画像を作成する。復号された画像は画像出力部２２６に送られる。
次に一つ上のレイヤであるレイヤ１の復号が行われる。
レイヤ１ユニット情報復号部２０３はレイヤ１のCU,TU,PUを復号する。
レイヤ１CU復号部２０８は下位レイヤであるレイヤ０のCUを参照し、レイヤ１のCUを復号する。レイヤ１のCUを復号する際の手順、レイヤ０を参照する際のルールについては前述の通りである。
レイヤ１PU復号部２０９はレイヤ１のPUを復号する。これは下位レイヤであるレイヤ０のPUと、レイヤ１CU復号部２０８によって復号されたCUの情報を参照しながら、前述のPU符号化手順に対応する復号手順によって復号する。
レイヤ１TU復号部２１０はレイヤ１のTUを復号する。これは下位レイヤであるレイヤ０のTUと、レイヤ１CU復号部２０８によって復号されたCUの情報を参照しながら、前述のTU符号化手順に対応する復号手順によって復号する。
続いてレイヤ１のユニット情報に基づいて、レイヤ１の復号を行う。
レイヤ１エントロピー復号部２１８では、エントロピー符号化された符号化モード情報、フラグ情報、残差係数を復号する。
レイヤ１イントラ・インター予測部２１９では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。これらの予測方法については既存の手法を用いる。
レイヤ１逆変換・逆量子化部２２０では、ユニット情報におけるCU分割方法、TU分割方法に従って逆量子化と逆周波数変換が行われる。これらの処理方法は既存の手法を用いれば良い。
レイヤ１合成部２２１は、レイヤ１イントラ・インター予測部２１９によって作成された予測画素と、レイヤ１逆変換・逆量子化部２２０によって作成された残差成分を合成し、復号画像を作成する。復号された画像は画像出力部２２６に送られる。
次に、さらに一つ上のレイヤであるレイヤ２の復号が行われる。
レイヤ２ユニット情報復号部２０４はレイヤ２のCU,TU,PUを復号する。
レイヤ２CU復号部２１１は下位レイヤであるレイヤ１のCUを参照し、レイヤ２のCUを復号する。レイヤ２のCUを復号する際の手順、レイヤ１を参照する際のルールについては前述の通りである。
レイヤ２PU復号部２１２はレイヤ２のPUを復号する。これは下位レイヤであるレイヤ１のPUと、レイヤ２CU復号部２１１によって復号されたCUの情報を参照しながら、前述のPU符号化手順に対応する復号手順によって復号する。
レイヤ２TU復号部２１３はレイヤ２のTUを復号する。これは下位レイヤであるレイヤ１のTUと、レイヤ２CU復号部２１１によって復号されたCUの情報を参照しながら、前述のTU符号化手順に対応する復号手順によって復号する。
続いてレイヤ２のユニット情報に基づいて、レイヤ２の復号を行う。
レイヤ２エントロピー復号部２２２では、エントロピー符号化された符号化モード情報、フラグ情報、残差係数等を復号する。
レイヤ２イントラ・インター予測部２２３では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測、インター予測を行う。これらの予測方法については既存の手法を用いる。
レイヤ２逆変換・逆量子化部２２４では、ユニット情報におけるCU分割方法、TU分割方法に従って逆量子化と逆周波数変換が行われる。これらの処理方法は既存の手法を用いる。
レイヤ２合成部２２５は、レイヤ２イントラ・インター予測部２２３によって作成された予測画素と、レイヤ２逆変換・逆量子化部２２４によって作成された残差成分を合成し、復号画像を作成する。復号された画像は画像出力部２２６に送られる。
上記のような手法により複数の解像度に対応した画像符号化ストリームから画像が復号される。
次に、図７を用いて、実施例１に係る画像復号装置における画像復号方法の流れについて説明する。
まず、ステップ７０１で、復号対象となる符号化ストリームを取得する。この符号化ストリームには複数の解像度の符号化画像が含まれており、部分的にストリームを取り出すことによって指定された解像度の画像が復号可能であるとする。
ステップ７０２では、復号対象のレイヤを決定する。対象となったレイヤを復号するためには、ベースレイヤから対象レイヤまでの画像を順次復号する。以下、各レイヤを順に復号することを想定して説明する。またベースレイヤについては、H.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化されている場合と、HEVCのように複数のサイズを選択できる符号化単位であるCUを用いて符号化する場合の両方を含み、拡張レイヤについてはHEVCのような符号化単位のサイズが異なるCUを用いて符号化されている場合について説明する。
ステップ７０３は、下位レイヤのCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造を参照するかどうか判別する。ベースレイヤは最下位レイヤであるので参照しない。下位レイヤを参照する場合はステップ７０４に進み、参照しない場合はステップ７０６に進む。
ステップ７０４では、下位レイヤを参照してCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造を復号する。下位レイヤを参照する場合のルールについては前述の通りである。
ステップ７０５では、下位レイヤの復号画像を参照し、ステップ７０４で復号されたCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造情報を用いて、予測、逆量子化、逆周波数変換を行ってレイヤを復号する。
ステップ７０６では、そのレイヤで独立にCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造を復号する。
ステップ７０７では、下位レイヤの復号画像を参照し、ステップ７０６で復号されたCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造情報を用いて、予測、逆量子化、逆周波数変換を行ってレイヤを復号する。
ステップ７０８ではターゲットのレイヤを復号したかどうかを判定する。ターゲットのレイヤが復号済みであればステップ７０９に進み、そうでなければステップ７０２に進んでさらに上位のレイヤを復号する。
ステップ７０９では、復号された画像を出力する。
上記のような手法により複数の解像度に対応した画像符号化ストリームから画像が復号される。
以上説明した画像復号装置及び画像復号方法によれば、既存の符号化方式よりも効率的な複数の解像度レイヤに対応したCU,PU,TUの記述が可能となり、既存方式よりも圧縮効率の高い画像復号装置及び画像復号方法を実現することが可能となる。
また、この画像復号装置及び画像復号方法は、これらを用いた再生装置、携帯電話、デジタルカメラ等に適用することが可能である。
以上説明した画像復号装置及び画像復号方法によれば、符号量の少ない符号化データをより高画質に復号することが可能となる。
次に、図８に上述した画像符号化装置または画像符号化方法により生成された符号化ストリームが格納されたデータ記録媒体を示す。格納された符号化ストリームは、上述した画像符号化装置または画像符号化方法により生成された符号化ストリームである。その生成方法は、上述したとおりであるので、説明を省略する。ここで、符号化ストリームは、データ記録媒体８０１上にデータ列８０２として記録される。データ列８０２は、所定の文法に従う符号化ストリームとして記録されている。以下ではHEVCの一部を変更したものとして説明する。
まず、HEVCでは、シーケンスパラメータセット８０３、ピクチャパラメータセット８０４、スライス８０５、８０６、８０７からストリームが構成される。以下、１つのスライスに１つの画像（ピクチャ）が格納される場合を示す。
各スライスの内部には、それぞれのCU,PU,TUに関する情報８０８が含まれている。CU,PU,TUに関する情報８０８の内部には、CU,PU,TUごとにそれぞれの予測方法、変換方法を記録する領域があり、これを符号化モードフラグ８０９とする。
以上説明したデータ記録媒体によれば、既存方式よりも圧縮効率が高い符号化ストリームで記録されているので、多くの画像を記録することができる。
１０１…解像度変換部、１０２…レイヤ０ユニット情報計算部、１０３…レイヤ１ユニット情報計算部、１０４…レイヤ２ユニット情報計算部、１０５…レイヤ０CU計算部、１０６…レイヤ０PU計算部、１０７…レイヤ０TU計算部、１０８…レイヤ１CU計算部、１０９…レイヤ１PU計算部、１１０…レイヤ１TU計算部、１１１…レイヤ２CU計算部、１１２…レイヤ２PU計算部、１１３…レイヤ２TU計算部、１１４…レイヤ０イントラ・インター予測部、１１５…レイヤ０変換・量子化部、１１６…レイヤ０符号化処理部、１１７…レイヤ１イントラ・インター予測部、１１８…レイヤ１変換・量子化部、１１９…レイヤ１符号化処理部、１２０…レイヤ２イントラ・インター予測部、１２１…レイヤ２変換・量子化部、１２２…レイヤ２符号化処理部、１２３…多重化部、１２４…データ出力部、２０１…ストリーム解析部、２０２…レイヤ０ユニット情報復号部、２０３…レイヤ１ユニット情報復号部、２０４…レイヤ２ユニット情報復号部、２０５…レイヤ０CU復号部、２０６…レイヤ０PU復号部、２０７…レイヤ０TU復号部、２０８…レイヤ１CU復号部、２０９…レイヤ１PU復号部、２１０…レイヤ１TU復号部、２１１…レイヤ２CU復号部、２１２…レイヤ２PU復号部、２１３…レイヤ２TU復号部、２１４…レイヤ０エントロピー復号部、２１５…レイヤ０イントラ・インター予測部、２１６…レイヤ０逆変換・逆量子化部、２１７…レイヤ０合成部、２１８…レイヤ１エントロピー復号部、２１９…レイヤ１イントラ・インター予測部、２２０…レイヤ１逆変換・逆量子化部、２２１…レイヤ１合成部、２２２…レイヤ２エントロピー復号部、２２３…レイヤ２イントラ・インター予測部、２２４…レイヤ２逆変換・逆量子化部、２２５…レイヤ２合成部、２２６…画像出力部

Claims (12)

  1. 画像を符号化した符号化ストリームを復号する画像復号方法であって、
    該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
    各レイヤにおいて符号化する単位ＣＵの分割方法を復号するステップと、
    予測単位ＰＵの分割方法を復号するステップと、
    周波数変換単位ＴＵの分割方法を復号するステップを備え、
    前記あるレイヤ１のＣＵを復号するステップは、別のレイヤ０のＣＵ分割方法を参照し、一定のルールに従ってＣＵ分割方法を計算し、
    前記あるレイヤ１のＰＵを復号するステップは、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＰＵ分割方法を参照し、一定のルールに従ってＰＵ分割方法を計算し、
    前記あるレイヤ１のＴＵを復号するステップは、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＴＵ分割方法を参照し、一定のルールに従ってＴＵ分割方法を計算し、
    前記一定のルールをフラグによって判別し、
    前記一定のルールとは、
    下位レイヤのＣＵ，ＴＵ，ＰＵのサイズは、解像度比に従って対応する上位レイヤの位置にあるＣＵ，ＴＵ，ＰＵを解像度比に従って拡大したサイズを設定し、ＣＵ，ＴＵ，ＰＵの最大サイズを超える場所については該最大サイズに設定するというルールであることを特徴とする画像復号方法。
  2. 請求項１において、
    ベースレイヤの復号化方式は、復号化単位が固定サイズのマクロブロックを用いて復号化され、
    拡張レイヤの復号化方式は、複数のサイズを選択できる符号化単位であるＣＵを用いて復号化されていることを特徴とする画像復号方法。
  3. 請求項１において、
    レイヤ毎にＣＵ，ＰＵ，ＴＵの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号方法。
  4. 画像を符号化した符号化ストリームを復号する画像復号方法であって、
    該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
    各レイヤにおいて符号化する単位ＣＵの分割方法を復号するステップと、
    予測単位ＰＵの分割方法を復号するステップと、
    周波数変換単位ＴＵの分割方法を復号するステップを備え、
    前記あるレイヤ１のＣＵを復号するステップは、別のレイヤ０のＣＵ分割方法を参照し、一定のルールに従ってＣＵ分割方法を計算し、
    前記あるレイヤ１のＰＵを復号するステップは、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＰＵ分割方法を参照し、一定のルールに従ってＰＵ分割方法を計算し、
    前記あるレイヤ１のＴＵを復号するステップは、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＴＵ分割方法を参照し、一定のルールに従ってＴＵ分割方法を計算し、
    前記一定のルールをフラグによって判別し、
    下位レイヤのＣＵ，ＴＵ，ＰＵのサイズは、解像度比に従って対応する上位レイヤの位置にあるＣＵ，ＴＵ，ＰＵを参照し、上位レイヤのＣＵ，ＴＵ，ＰＵのサイズと同じサイズに設定するというルールであることを特徴とする画像復号方法。
  5. 請求項４において、
    ベースレイヤの復号化方式は、復号化単位が固定サイズのマクロブロックを用いて復号化され、
    拡張レイヤの復号化方式は、複数のサイズを選択できる符号化単位であるＣＵを用いて復号化されていることを特徴とする画像復号方法。
  6. 請求項４において、
    レイヤ毎にＣＵ，ＰＵ，ＴＵの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号方法。
  7. 画像を符号化した符号化ストリームを復号する画像復号装置であって、
    該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
    各レイヤにおいて符号化単位ＣＵの分割方法を復号するＣＵ復号部と、予測単位ＰＵの分割方法を復号するＰＵ復号部と、周波数変換単位ＴＵの分割方法を復号するＴＵ復号部とを備え、
    前記あるレイヤ１のＣＵ復号部は、別のレイヤ０のＣＵ復号部の出力するＣＵ分割方法を参照し、一定のルールに従ってＣＵ分割方法を計算し、
    前記あるレイヤ１のＰＵ復号部は、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＰＵ復号部の出力するＰＵ分割方法を参照し、一定のルールに従ってＰＵ分割方法を計算し、
    前記あるレイヤ１のＴＵ復号部は、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＴＵ復号部の出力するＴＵ分割方法を参照し、一定のルールに従ってＴＵ分割方法を計算し、
    前記一定のルールをフラグによって判別し、
    前記一定のルールとは、
    下位レイヤのＣＵ，ＴＵ，ＰＵのサイズは、解像度比に従って対応する上位レイヤの位置にあるＣＵ，ＴＵ，ＰＵを解像度比に従って拡大したサイズを設定し、ＣＵ，ＴＵ，ＰＵの最大サイズを超える場所については該最大サイズに設定するというルールであることを特徴とする画像復号装置。
  8. 請求項７において、
    ベースレイヤの符号化方式は、符号化単位が固定サイズのマクロブロックを用いて符号化され、
    拡張レイヤの符号化方式は、符号化単位のサイズが異なるＣＵを用いて符号化されていることを特徴とする画像復号装置。
  9. 請求項７において、
    レイヤ毎にＣＵ，ＰＵ，ＴＵの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号装置。
  10. 画像を符号化した符号化ストリームを復号する画像復号装置であって、
    該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
    各レイヤにおいて符号化単位ＣＵの分割方法を復号するＣＵ復号部と、予測単位ＰＵの分割方法を復号するＰＵ復号部と、周波数変換単位ＴＵの分割方法を復号するＴＵ復号部とを備え、
    前記あるレイヤ１のＣＵ復号部は、別のレイヤ０のＣＵ復号部の出力するＣＵ分割方法を参照し、一定のルールに従ってＣＵ分割方法を計算し、
    前記あるレイヤ１のＰＵ復号部は、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＰＵ復号部の出力するＰＵ分割方法を参照し、一定のルールに従ってＰＵ分割方法を計算し、
    前記あるレイヤ１のＴＵ復号部は、同じレイヤ１のＣＵ分割方法と、別のレイヤ０のＴＵ復号部の出力するＴＵ分割方法を参照し、一定のルールに従ってＴＵ分割方法を計算し、
    前記一定のルールをフラグによって判別し、
    前記一定のルールとは、
    下位レイヤのＣＵ，ＴＵ，ＰＵのサイズは、解像度比に従って対応する上位レイヤの位置にあるＣＵ，ＴＵ，ＰＵを参照し、上位レイヤのＣＵ，ＴＵ，ＰＵのサイズと同じサイズに設定するというルールであることを特徴とする画像復号装置。
  11. 請求項１０において
    ベースレイヤの符号化方式は、符号化単位が固定サイズのマクロブロックを用いて符号化され、
    拡張レイヤの符号化方式は、符号化単位のサイズが異なるＣＵを用いて符号化されていることを特徴とする画像復号装置。
  12. 請求項１０において、
    レイヤ毎にＣＵ，ＰＵ，ＴＵの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号装置。
JP2014507013A 2012-03-30 2012-03-30 画像復号方法及び画像復号装置 Active JP5768180B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014507013A JP5768180B2 (ja) 2012-03-30 2012-03-30 画像復号方法及び画像復号装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014507013A JP5768180B2 (ja) 2012-03-30 2012-03-30 画像復号方法及び画像復号装置
PCT/JP2012/002222 WO2013145021A1 (ja) 2012-03-30 2012-03-30 画像復号方法及び画像復号装置

Publications (2)

Publication Number Publication Date
JPWO2013145021A1 JPWO2013145021A1 (ja) 2015-08-03
JP5768180B2 true JP5768180B2 (ja) 2015-08-26

Family

ID=49258394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014507013A Active JP5768180B2 (ja) 2012-03-30 2012-03-30 画像復号方法及び画像復号装置

Country Status (4)

Country Link
US (1) US9491477B2 (ja)
JP (1) JP5768180B2 (ja)
CN (1) CN104205842B (ja)
WO (1) WO2013145021A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150043638A1 (en) * 2012-05-15 2015-02-12 Sony Corporation Image processing apparatus and image processing method
KR102367210B1 (ko) 2012-10-01 2022-02-24 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩
US10375405B2 (en) * 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
EP3021590A4 (en) * 2013-07-12 2017-03-29 Sony Corporation Image coding device and method
US9807406B2 (en) * 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams
CN110035287B (zh) 2018-01-12 2023-05-09 富士通株式会社 对统一转换单元模式进行分组标识的方法、装置和电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101495724B1 (ko) * 2010-02-02 2015-02-25 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8615043B2 (en) * 2010-03-04 2013-12-24 Texas Instruments Incorporated Fixed length coding based image data compression
JPWO2012121284A1 (ja) * 2011-03-10 2014-07-17 シャープ株式会社 画像復号装置、画像符号化装置、および符号化データのデータ構造
US20130188719A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using motion vector for intra-coded block

Also Published As

Publication number Publication date
JPWO2013145021A1 (ja) 2015-08-03
CN104205842B (zh) 2017-06-30
US20150063437A1 (en) 2015-03-05
CN104205842A (zh) 2014-12-10
US9491477B2 (en) 2016-11-08
WO2013145021A1 (ja) 2013-10-03

Similar Documents

Publication Publication Date Title
JP7443455B2 (ja) 映像復号化のための方法、装置及びコンピュータ・プログラム
CN107018424B (zh) 图像处理装置和图像处理方法
KR102062821B1 (ko) 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
TWI542219B (zh) 頻域取樣自適應偏移（ｓａｏ）
US20150010067A1 (en) Adaptive intra-prediction encoding and decoding method
KR20210113390A (ko) 인트라 예측의 인코더, 디코더 및 대응하는 방법
JP5676637B2 (ja) 符号化ビットストリームのマージ
TW201342920A (zh) 在視訊寫碼中用於色度分量之變換單位分割
JP5768180B2 (ja) 画像復号方法及び画像復号装置
KR102160242B1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
JP2022513203A (ja) ２次変換に基づく映像コーディング方法及びその装置
US20150117514A1 (en) Three-dimensional video encoding method using slice header and method therefor, and three-dimensional video decoding method and device therefor
WO2016115186A1 (en) Gradual updating using transform coefficients for encoding and decoding
JP5913542B2 (ja) 動画像符号化のための方法および構成
WO2013161690A1 (ja) 画像復号装置および画像符号化装置
JPWO2010055675A1 (ja) 動画像符号化装置及び動画像復号装置
US10757448B2 (en) Bitstream transformation apparatus, bitstream transformation method, distribution system, moving image encoding apparatus, moving image encoding method and computer-readable storage medium
KR20230012534A (ko) 영상 코딩 방법 및 그 장치
EP4088474A1 (en) Method and apparatus for video coding
KR20230027156A (ko) 서브레이어 레벨 정보에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
CN116584097A (zh) 联合运动矢量差编解码
CN116998153A (zh) 基于多个预测模式的交叉通道预测
CN116472711A (zh) 用于帧内模式编码的硬件友好设计
CN114930849A (zh) 基于变换的图像编译方法及其装置
CN116097646A (zh) 双向帧内预测和多参考线选择的协调设计

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150622

R151 Written notification of patent or utility model registration

Ref document number: 5768180

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151