JP6300046B2 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP6300046B2
JP6300046B2 JP2016215943A JP2016215943A JP6300046B2 JP 6300046 B2 JP6300046 B2 JP 6300046B2 JP 2016215943 A JP2016215943 A JP 2016215943A JP 2016215943 A JP2016215943 A JP 2016215943A JP 6300046 B2 JP6300046 B2 JP 6300046B2
Authority
JP
Japan
Prior art keywords
unit
layer
image
decoding
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016215943A
Other languages
English (en)
Other versions
JP2017076986A (ja
Inventor
佐藤　数史
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2017076986A publication Critical patent/JP2017076986A/ja
Application granted granted Critical
Publication of JP6300046B2 publication Critical patent/JP6300046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は画像処理装置および方法に関し、特に、スケーラブル符号化において、正しいタイミングで復号処理を行うことができるようにした画像処理装置および方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 Advanced Video Coding(以下 AVCと記す）などがある。
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。また、そのドラフトとして非特許文献１が発行されている。
ところで、これまでの、MPEG-2やAVCといった画像符号化方式は、画像を複数のレイヤに階層化して符号化するスケーラビリティ（scalability）機能を有していた。
すなわち、例えば携帯電話機のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
HEVCにおいては、画像圧縮情報の復号処理を行う際、バッファのオーバフローやアンダーフローが起きないよう、HRD(Hypothetical Reference Decoder)パラメータを指定することが可能である。特に、スケーラブル符号化を行う際には、階層毎にHRDパラメータを指定することができる（非特許文献２参照）。
Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand," High efficiency video coding (HEVC) text specification draft 9 ", JCTVC-K1003, 2012,10,21 Jill Boyce , Ye-Kui Wang," NAL unit header and parameter set designs for HEVC extensions", JCTVC-K1007, 2012,10,19
しかしながら、階層毎、もしくは、そのサブ階層の１つである時間階層毎に、HRDパラメータを指定する場合、その復号処理が、単一の復号装置により行われるものであるのか、複数の復号装置により行われるものであるのかわからなかった。
本開示は、このような状況に鑑みてなされたものであり、正しいタイミングで復号処理を行うことができるものである。
本開示の一側面の画像処理装置は、デコーダバッファを管理するパラメータが、当該レイヤのみの復号処理を行うためのパラメータであること、および当該レイヤとそれ以下のレイヤとを含む復号処理を行うためのパラメータであることの少なくとも１つを示す情報であるレイヤ毎のバッファ管理パラメータ情報を設定する設定部と、少なくとも１つのレイヤを含む画像を符号化し、ビットストリームを生成する符号化部と、前記設定部により設定された前記バッファ管理パラメータ情報と、前記符号化部により生成された前記ビットストリームとを伝送する伝送部とを備える。
前記レイヤは、サブレイヤを含むことができる。
前記レイヤは、マルチビュー符号化のビューである。
前記レイヤは、スケーラブル符号化のレイヤである。
前記バッファ管理パラメータ情報は、SEI(Supplemental Enhancement Information)に記述されている。
前記バッファ管理パラメータ情報は、buffering_period_SEIに記述されている。
前記当該レイヤのみの復号処理を行うためのパラメータであるデコーダバッファを管理するパラメータの有無を示す情報であるパラメータ有無情報は、vps（video parameter set）_extensionに記述されている。
前記設定部は、前記当該レイヤ以下のレイヤがAVC(MPEG-4 Part10 Advanced Video Coding)符号化により符号化されていることを示すAVCフラグと、前記デコーダバッファを管理するパラメータが、当該レイヤのみの復号処理を行うためのパラメータであることを示す情報であるレイヤ毎のバッファ管理パラメータ情報とを設定することができる。
本開示の一側面の画像処理方法は、画像処理装置が、デコーダバッファを管理するパラメータが、当該レイヤのみの復号処理を行うためのパラメータであること、および当該レイヤとそれ以下のレイヤとを含む復号処理を行うためのパラメータであることの少なくとも１つを示す情報であるレイヤ毎のバッファ管理パラメータ情報を設定し、少なくとも１つのレイヤを含む画像を符号化し、ビットストリームを生成し、設定された前記バッファ管理パラメータ情報と、生成された前記ビットストリームとを伝送する。
本開示の一側面においては、デコーダバッファを管理するパラメータが、当該レイヤのみの復号処理を行うためのパラメータであること、および当該レイヤとそれ以下のレイヤとを含む復号処理を行うためのパラメータであることの少なくとも１つを示す情報であるレイヤ毎のバッファ管理パラメータ情報を設定し、少なくとも１つのレイヤを含む画像を符号化し、ビットストリームが生成される。そして、設定された前記バッファ管理パラメータ情報と、生成された前記ビットストリームとが伝送される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
本開示の一側面によれば、画像を符号化することができる。特に、正しいタイミングで復号処理を行うことができる。
コーディングユニットの構成例を説明する図である。 スペーシャルなスケーラブル符号化の例を説明する図である。 テンポラルなスケーラブル符号化の例を説明する図である。 信号雑音比のスケーラブル符号化の例を説明する図である。 HEVCのHRDパラメータのシンタクスの例を示す図である。 スケーラビリティ符号化の並列処理を説明する図である。 本技術のHRDパラメータのシンタクスの例を示す図である。 本技術のHRDパラメータのシンタクスの他の例を示す図である。 本技術のHRDパラメータのシンタクスの他の例を示す図である。 スケーラブル符号化装置の主な構成例を示すブロック図である。 エンハンスメントレイヤ画像符号化部の主な構成例を示すブロック図である。 蓄積バッファおよびHRDタイプ設定部の主な構成例を示すブロック図である。 レイヤ構造の例を説明する図である。 符号化処理の流れの例を説明するフローチャートである。 レイヤ符号化処理の例を説明するフローチャートである。 HRDパラメータ符号化処理を説明するフローチャートである。 HRDパラメータ算出処理を説明するフローチャートである。 時間階層のHRDパラメータ算出処理を説明するフローチャートである。 HRDパラメータ符号化処理の他の例を説明するフローチャートである。 スケーラブル復号装置の主な構成例を示すブロック図である。 エンハンスメントレイヤ画像復号部の主な構成例を示すブロック図である。 蓄積バッファおよびHRDタイプ復号部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 レイヤ復号処理の流れの例を説明するフローチャートである。 HRDパラメータ復号処理の流れの他の例を説明するフローチャートである。 蓄積バッファ監視処理の流れの他の例を説明するフローチャートである。 vps_extensionのシンタクスの例を示す図である。 sps_extensionのシンタクスの例を示す図である。 vpsのシンタクスの例を示す図である。 layer_id_included_flagのセマンティクスの例を示す図である。 LayerSetの設定例を説明する図である。 buffering_period_SEIのシンタクスの例を示す図である。 buffering_period_SEIのシンタクスの例を示す図である。 buffering_period_SEIのシンタクスの例を示す図である。 buffering_period_SEIのシンタクスの例を示す図である。 エンハンスメントレイヤ画像符号化部の主な構成の他の例を示すブロック図である。 バッファリングピリオドSEI設定部の構成例を示すブロック図である。 レイヤ符号化処理の例を説明するフローチャートである。 バッファリングピリオドSEI符号化処理の例を説明するフローチャートである。 エンハンスメントレイヤ画像復号部の主な構成の他の例を示すブロック図である。 バッファリングピリオドSEI復号部の構成例を示すブロック図である。 レイヤ復号処理の例を説明するフローチャートである。 バッファリングピリオドSEI復号処理の例を説明するフローチャートである。 AVCフラグの場合のHRDパラメータ符号化処理の例を説明するフローチャートである。 AVCフラグの場合のバッファリングピリオドSEI符号化処理の例を説明するフローチャートである。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化利用の一例を示すブロック図である。 スケーラブル符号化利用の他の例を示すブロック図である。 スケーラブル符号化利用のさらに他の例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（シンタクスの例）
４．第４の実施の形態（buffering_period_SEIの例）
５．第５の実施の形態（AVCフラグの例）
６．第６の実施の形態（多視点画像符号化装置・多視点画像復号装置）
７．第７の実施の形態（コンピュータ）
８．応用例
９．スケーラブル符号化の応用例
＜０．概要＞
＜符号化方式＞
以下においては、HEVC（High Efficiency Video Coding）方式の画像符号化・復号に適用する場合を例に、本技術を説明する。
＜コーディングユニット＞
AVC（Advanced Video Coding）方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、１６画素×１６画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対して最適ではない。
これに対して、HEVC方式においては、図１に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。
CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（SCU（Smallest Coding Unit））が規定される。
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図１の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。
以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。
よって、以下、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック（サブブロック）をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域（処理単位）が含まれる。もちろん、これら以外の部分領域（処理単位）も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。
＜モード選択＞
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。
かかる選択方式の例として、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている) に実装されている方法を挙げることが出来る。
JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
High Complexity Modeにおけるコスト関数は、以下の式（１）のように示される。
Cost(Mode∈Ω) = D + λ＊R ・・・（１）
ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Ｒは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。
つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤ及びＲを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
Low Complexity Modeにおけるコスト関数は、以下の式（２）のように示される。
Cost(Mode∈Ω) = D + QP2Quant(QP) ＊ HeaderBit ・・・（２）
ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
＜階層符号化＞
ところで、これまでの、MPEG2、AVCといった画像符号化方式は、図２乃至図４に示されるような、スケーラビリティ（scalability）機能を有していた。スケーラブル符号化（階層符号化）とは、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化する方式である。
画像の階層化においては、所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。基本的に各レイヤは、冗長性が低減されるように、差分データにより構成される。例えば、１の画像をベースレイヤとエンハンスメントレイヤに２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとエンハンスメントレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話機のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
このようなスケーラビリティ性を持たせるパラメータとして、例えば、図２に示されるような、空間解像度がある（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に解像度が異なる。つまり、図２に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元の空間解像度）が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図３に示されるような、時間解像度がある（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図３に示されるように、互いに異なるフレームレートのレイヤに階層化されており、低フレームレートのレイヤに、高フレームレートのレイヤを加えることで、より高フレームレートの動画像を得ることができ、全てのレイヤを加えることで、元の動画像（元のフレームレート）を得ることができる。この階層数は一例であり、任意の階層数に階層化することができる。
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、信号雑音比（SNR（Signal to Noise ratio））がある（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、図４に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元のSNR）が得られるエンハンスメントレイヤの２階層に階層化される。すなわち、ベースレイヤ（base layer）画像圧縮情報においては、低PSNRの画像に関する情報が伝送されており、これに、エンハンスメントレイヤ（enhancement layer）画像圧縮情報を加えることで、高PSNR画像を再構築することが可能である。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ（base layer）が8ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるビット深度スケーラビリティ（bit-depth scalability）がある。
また、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ（chroma scalability）がある。
さらに、スケーラビリティ性を持たせるパラメータとして、マルチビューがある。この場合、互いに異なるビュー（視点）のレイヤに階層化されている。
本実施の形態に記載のレイヤは、上述した、スケーラビリティ符号化のスペーシャル、テンポラル、SNR、ビット深度、カラー、ビューなどを含む。
なお、本明細書において使われているレイヤの用語は、上述したスケーラブル（階層）符号化のレイヤと、さらに、多視点のマルチビューを考えたときの各ビューを含むものである。
さらに、本明細書において使われているレイヤの用語は、主（サブに対応する）レイヤ、およびサブレイヤを含むものとする。具体例としては、主レイヤがスペーシャルスケーラビリティのレイヤであり、そのサブレイヤとしては、テンポラルスケーラビリティのレイヤで構成される場合があげられる。
また、本実施の形態においては、階層とレイヤは同意であるため、適宜、階層をレイヤとして説明される。
＜HRDパラメータ＞
ところで、HEVCにおいては、画像圧縮情報の復号処理を行う際、バッファのオーバフローやアンダーフローが起きないよう、図５に示されるHRD(Hypothetical Reference Decoder)パラメータを指定することが可能である。すなわち、HRDパラメータは、デコーダバッファを管理するパラメータである。特に、スケーラブル符号化を行う際には、VPS（Video Parameter Set）において、階層毎にHRDパラメータを指定することができる。
＜スケーラビリティ符号化の並列処理＞
図６の例においては、図中左側に、テンポラルスケーラビリティの例として、Ｉピクチャ、ｂピクチャ、Ｂピクチャ、ｂピクチャ、Ｂピクチャからなるシーケンスを用いた２つの例(ex1,ex2)が示されている。このシーケンスにおいて、Ｉピクチャ、Ｂピクチャ、Ｂピクチャは、下位時間階層であり、ｂピクチャとｂピクチャは上位時間階層である。
ここで、Ｂピクチャは、参照されるピクチャであることを表しており、ｂピクチャは参照されないピクチャであることを表している。
ex1は、これらのピクチャがすべて復号装置＃０により復号される例である。これに対して、ex2は、Ｉピクチャ、Ｂピクチャ、Ｂピクチャの下位時間階層が復号装置＃０により復号され、ｂピクチャとｂピクチャの上位時間階層が復号装置＃１で復号される例である。
図中右側に、スケーラブルHEVCの例として、上位階層であるEL（エンハンスメントレイヤ）のＩピクチャ、Ｂピクチャ、Ｂピクチャと、下位階層であるBL（ベースレイヤ）のＩピクチャ、Ｂピクチャ、Ｂピクチャからなるシーケンスを用いた２つの例(ex11,ex12)が示されている。なお、スケーラブルHEVCは、HEVCで定義されているスケーラブル符号化を意味している。
ex11は、これらのピクチャがすべて復号装置＃０により復号される例である。これに対して、ex12は、BLのＩピクチャ、Ｂピクチャ、Ｂピクチャの下位階層が復号装置＃０により復号され、ELのＩピクチャ、Ｂピクチャ、Ｂピクチャの上位階層が復号装置＃１で復号される例である。
なお、これらのスケーラブルHEVCの各階層について、サブ階層として、右側のテンポラルスケーラビリティの各時間階層が構成されている。
このように、従来からのテンポラルスケーラビリティにおいても、スケーラブルHEVCにおいても、単一の復号装置で処理を行うこともできるし、複数の復号装置で並行処理を行うこともできる。また、図５のシンタックスにより、階層毎、もしくは、そのサブ階層の１つである時間階層毎に、デコーダバッファを管理するパラメータであるHRDパラメータを指定することができる。
しかしながら、図６に示されるように、その復号処理が、単一の復号装置により行われるものであるのか、複数の復号装置により行われるものであるのかわからなかった。
そこで、本技術においては、図７に示されるようなシンタックスにより、HRDパラメータの伝送を行う。すなわち、本技術においては、HRDパラメータが、当該階層のみで復号処理を行うためのパラメータであるのか、当該階層およびそれ以下の階層を含めた復号処理を行うためのパラメータであるのかを示す情報を設定する。これにより、図６に示したように、復号処理が、単一の復号装置により行われるものであるのか、複数の復号装置により行われるものであるのかが明確に定義されるので、正しいタイミングで復号処理を行うことができる。
＜HRDパラメータの例＞
図７は、本技術のHRDパラメータのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
図７の例においては、第１０行目に、hrd_parameters_type_flagが定義されている。hrd_parameters_type_flagの値が１であるとき、それ以降の段落のHRDパラメータは、当該階層のみの復号処理を行うための値が設定される。hrd_parameters_type_flagの値が０であるとき、それ以降の段落のHRDパラメータは、当該階層およびそれ以下の階層を含んだ復号処理を行うための値が設定される。
なお、hrd_parameters_type_flagは、第１１行目から始まるif文の中に含まれるようにしてもよい。
第２５行目に、sub_hrd_parameters_type[i]_flagが定義されている。sub_hrd_parameters_type[i]_flagの値が１であるとき、それ以降の段落のサブHRDパラメータは、当該時間階層のみの復号処理を行うための値が設定される。hrd_parameters_type_flagの値が０であるとき、それ以降の段落のサブHRDパラメータは、当該時間階層およびそれ以下の時間階層を含んだ復号処理を行うための値が設定される。
なお、図７の例においては、それぞれの階層および時間階層毎に、どちらか（当該階層のみか下位階層も含めるか）一方のみの方法により指定を行う例を示したが、本技術はこれに限らない。例えば、HRDパラメータが両方の方法により指定されたHRDパラメータを含むように構成することもできる。
＜HRDパラメータの他の例＞
図８は、本技術のHRDパラメータのシンタックスの他の例を示す図である。各行の左端の数字は説明のために付した行番号である。
図８の例においては、第１１行目に、hrd_parameters_type1_present_flagが定義されている。hrd_parameters_type1_present_flagの値が１であるとき、第１３行目乃至第２４行目に設定されるtype1のHRDパラメータは、当該階層のみの復号処理を行うための値が設定される。hrd_parameters_type1_present_flagの値が０であるとき、type1のHRDパラメータは、当該階層およびそれ以下の階層を含んだ復号処理を行うための値が設定される。
第１２行目に、hrd_parameters_type2_present_flagが定義されている。hrd_parameters_type2_present_flagの値が１であるとき、第２５行目乃至第３６行目に設定されるtype2のHRDパラメータは、当該階層のみの復号処理を行うための値が設定される。hrd_parameters_type1_present_flagの値が０であるとき、type2のHRDパラメータは、当該階層およびそれ以下の階層を含んだ復号処理を行うための値が設定される。
なお、図７を参照して上述した例と同様に、第１１行目および第１２行目のフラグは、第１０行目から始まるif文の前に記述されてもよい。
第４０行目に、sub_hrd_parameters_type1_present_flagが定義されている。sub_hrd_parameters_type1_present_flagの値が１であるとき、第４５行目乃至第５２行目に設定されるtype1のHRDパラメータは、当該時間階層のみの復号処理を行うための値が設定される。sub_hrd_parameters_type1_present_flagの値が０であるとき、type1のHRDパラメータは、当該時間階層およびそれ以下の時間階層を含んだ復号処理を行うための値が設定される。
第４１行目に、sub_hrd_parameters_type2_present_flagが定義されている。sub_hrd_parameters_type2_present_flagの値が１であるとき、第５３行目乃至第６０行目に設定されるtype2のHRDパラメータは、当該時間階層のみの復号処理を行うための値が設定される。sub_hrd_parameters_type1_present_flagの値が０であるとき、type2のHRDパラメータは、当該時間階層およびそれ以下の時間階層を含んだ復号処理を行うための値が設定される。
以上のように、本技術においては、符号化側において、当該階層のみの復号処理のためのHRDパラメータと、当該階層およびその下位階層も含めた復号処理のためのHRDパラメータである、type1とtype2の両方のパラメータを設定するようにした。これにより、復号側において、その装置や受け取られるビットストリームに応じて選択することが可能である。
なお、当該画像圧縮情報が、スケーラビリティ階層、テンポラルスケーラビリティ階層で１階層しか持たない場合には、上述したhrd_parameter_type_flagおよびsub_hrd_parameter_type_flagの値は、どちらの値であってもよく、復号処理には影響がない。
次に、以上のような本技術について、具体的な装置への適用例について説明する。なお、以下においては、説明の便宜上、上述した図６のスケーラブルHEVCのex12で、かつ、テンポラルスケーラビリティのex1の場合の例について説明する。ただし、この場合に限定されない。例えば、図６のスケーラブルHEVCのex12で、かつ、テンポラルスケーラビリティのex2の場合、スケーラブルHEVCのex11で、かつ、テンポラルスケーラビリティのex2の場合、並びに、スケーラブルHEVCのex11で、かつ、テンポラルスケーラビリティのex1の場合もあり得る。
＜１．第１の実施の形態＞
＜スケーラブル符号化装置＞
図１０は、スケーラブル符号化装置の主な構成例を示すブロック図である。
図１０に示されるスケーラブル符号化装置１００は、ベースレイヤとエンハンスメントレイヤに階層化された画像データの各レイヤを符号化する。
スケーラブル符号化装置１００は、ベースレイヤ画像符号化部１０１−１、エンハンスメントレイヤ画像符号化部１０１−２、および符号化制御部１０２を含むように構成される。
ベースレイヤ画像符号化部１０１−１は、ベースレイヤの画像情報（ベースレイヤ画像情報）を取得する。ベースレイヤ画像符号化部１０１−１は、他のレイヤを参照せずに、そのベースレイヤ画像情報を符号化し、ベースレイヤの符号化データ（ベースレイヤ符号化データ）を生成し、出力する。
エンハンスメントレイヤ画像符号化部１０１−２は、エンハンスメントレイヤの画像情報（エンハンスメントレイヤ画像情報）を取得する。エンハンスメントレイヤ画像符号化部１０１−２は、そのエンハンスメントレイヤ画像情報を符号化する。その際、エンハンスメントレイヤ画像符号化部１０１−２は、必要に応じて、ベースレイヤの符号化に関する情報を参照してレイヤ間予測を行う。
また、エンハンスメントレイヤ画像符号化部１０１−２は、階層毎にHRDパラメータタイプを設定し、設定したHRDパラメータタイプに応じて、蓄積バッファの状態情報に基づいて、デコーダバッファを管理するパラメータであるHRDパラメータを算出する。エンハンスメントレイヤ画像符号化部１０１−２は、算出したHRDパラメータを符号化する。
具体的には、HRDパラメータタイプとは、HRDパラメータが、当該階層のみの復号を行うためのものであるのか、当該階層とそれ以下の階層とを含む復号処理を行うためのものであるのかを表すものである。このタイプは、どちらか一方だけでなく、両方設定することもできる。設定されたタイプを示すフラグ（情報）に応じて、符号化側でHRDパラメータが算出され、設定されたタイプを示すフラグと算出されたHRDパラメータとが復号側へ送られる。なお、HRDパラメータタイプを示すフラグを、以下、HRDパラメータタイプフラグとも適宜称する。
HRDパラメータタイプを示すフラグが１の場合、エンハンスメントレイヤ画像符号化部１０１−２は、自己の蓄積バッファの状態情報に基づいてHRDパラメータを算出する。HRDパラメータタイプを示すフラグが０の場合、エンハンスメントレイヤ画像符号化部１０１−２は、ベースレイヤ画像符号化部１０１−１の全体蓄積バッファの状態情報を取得して、ベースレイヤ画像符号化部１０１−１と自己の蓄積バッファの状態情報に基づいてHRDパラメータを算出する。この処理は、レイヤ（階層）およびサブレイヤ（時間階層）について行われる。なお、ベースレイヤ画像符号化部１０１−１においては、サブレイヤのみについて、この処理が行われる。
エンハンスメントレイヤ画像符号化部１０１−２は、このような符号化により、エンハンスメントレイヤの符号化データ（エンハンスメントレイヤ符号化データ）を生成し、出力する。
なお、ベースレイヤ画像符号化部１０１−１およびエンハンスメントレイヤ画像符号化部１０１−２を、適宜レイヤ画像符号化部１０１とまとめて称する。
符号化制御部１０２は、各レイヤ画像符号化部１０１の参照関係などを考慮して、各レイヤ画像符号化部１０１の符号化処理の制御を行う。
なお、図１０の例においては、エンハンスメントレイヤ画像符号化部１０１−２が１台しか記載されていないが、さらに、上位階層がある場合には、その上位階層を符号化するエンハンスメントレイヤ画像符号化部１０１−３，４，…も上位階層分構成される。
＜レイヤ画像符号化部の構成例＞
図１１は、エンハンスメントレイヤ画像符号化部１０１−２の主な構成例を示すブロック図である。なお、図１０のベースレイヤ画像符号化部１０１−１も、対象となる画像の種類が異なるだけであり、図１１のエンハンスメントレイヤ画像符号化部１０１−２と基本的に同様な構成をしている。図１１の例においては、説明の便宜上、エンハンスメントレイヤ画像符号化部１０１−２の構成を例に説明する。
図１１に示されるように、エンハンスメントレイヤ画像符号化部１０１−２は、A/D変換部１１１、画面並べ替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、および逆直交変換部１１９を有する。また、エンハンスメントレイヤ画像符号化部１０１−２は、演算部１２０、ループフィルタ１２１、フレームメモリ１２２、選択部１２３、イントラ予測部１２４、動き予測・補償部１２５、予測画像選択部１２６、およびレート制御部１２７を有する。さらに、エンハンスメントレイヤ画像符号化部１０１−２は、HRDタイプ設定部１２８を有する。
A/D変換部１１１は、入力された画像データ（エンハンスメントレイヤ画像情報）をA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１１２に供給し、記憶させる。画面並べ替えバッファ１１２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１１３に供給する。また、画面並べ替えバッファ１１２は、フレームの順番を並び替えた画像を、イントラ予測部１２４および動き予測・補償部１２５にも供給する。
演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、予測画像選択部１２６を介してイントラ予測部１２４若しくは動き予測・補償部１２５から供給される予測画像を減算し、その差分情報を直交変換部１１４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、イントラ予測部１２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、動き予測・補償部１２５から供給される予測画像を減算する。
直交変換部１１４は、演算部１１３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１１４は、その変換係数を量子化部１１５に供給する。
量子化部１１５は、直交変換部１１４から供給される変換係数を量子化する。量子化部１１５は、レート制御部１２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１１５は、量子化された変換係数を可逆符号化部１１６に供給する。
可逆符号化部１１６は、量子化部１１５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１２７の制御の下で量子化されているので、この符号量は、レート制御部１２７が設定した目標値となる（若しくは目標値に近似する）。
また、可逆符号化部１１６は、イントラ予測のモードを示す情報などをイントラ予測部１２４から取得し、インター予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部１２５から取得する。さらに、可逆符号化部１１６は、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むエンハンスメントレイヤのNALユニットを適宜生成する。
可逆符号化部１１６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）の一部とする（多重化する）。可逆符号化部１１６は、符号化して得られた符号化データを蓄積バッファ１１７に供給して蓄積させる。
可逆符号化部１１６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
蓄積バッファ１１７は、可逆符号化部１１６から供給された符号化データ（エンハンスメントレイヤ符号化データ）を、一時的に保持する。蓄積バッファ１１７は、所定のタイミングにおいて、保持しているエンハンスメントレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１１７は、符号化データを伝送する伝送部でもある。また、蓄積バッファ１１７は、HRDタイプ設定部１２８から要求があった場合に、蓄積バッファ１１７の状態を示す情報を供給する。また、例えば、点線に示されるように、上位階層のエンハンスメントレイヤ画像符号化部１０１−３が存在し、そのHRDタイプ設定部１２８から要求があった場合に、蓄積バッファ１１７は、蓄積バッファ１１７の状態を示す情報を上位階層のエンハンスメントレイヤ画像符号化部１０１−３に供給する。
また、量子化部１１５において量子化された変換係数は、逆量子化部１１８にも供給される。逆量子化部１１８は、その量子化された変換係数を、量子化部１１５による量子化に対応する方法で逆量子化する。逆量子化部１１８は、得られた変換係数を、逆直交変換部１１９に供給する。
逆直交変換部１１９は、逆量子化部１１８から供給された変換係数を、直交変換部１１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１２０に供給される。
演算部１２０は、逆直交変換部１１９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１２６を介してイントラ予測部１２４若しくは動き予測・補償部１２５からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１２１またはフレームメモリ１２２に供給される。
ループフィルタ１２１は、デブロックフィルタや、適応オフセットフィルタ、適応ループフィルタ等を含み、演算部１２０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１２１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ１２１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ１２１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１２２に供給する。
なお、ループフィルタ１２１が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１２１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１１６に供給し、それを符号化させるようにすることもできる。
フレームメモリ１２２は、演算部１２０から供給される再構成画像と、ループフィルタ１２１から供給される復号画像とをそれぞれ記憶する。フレームメモリ１２２は、所定のタイミングにおいて、若しくは、イントラ予測部１２４等の外部からの要求に基づいて、記憶している再構成画像を、選択部１２３を介してイントラ予測部１２４に供給する。また、フレームメモリ１２２は、所定のタイミングにおいて、若しくは、動き予測・補償部１２５等の外部からの要求に基づいて、記憶している復号画像を、選択部１２３を介して、動き予測・補償部１２５に供給する。
フレームメモリ１２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１２３に供給する。
選択部１２３は、フレームメモリ１２２から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部１２３は、フレームメモリ１２２から供給される参照画像（カレントピクチャ内の画素値）を動き予測・補償部１２５に供給する。また、例えば、インター予測の場合、選択部１２３は、フレームメモリ１２２から供給される参照画像を動き予測・補償部１２５に供給する。
イントラ予測部１２４は、選択部１２３を介してフレームメモリ１２２から供給される参照画像であるカレントピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１２４は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。
イントラ予測部１２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１２６に供給する。
また、上述したように、イントラ予測部１２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１１６に供給し、符号化させる。
動き予測・補償部１２５は、画面並べ替えバッファ１１２から供給される入力画像と、選択部１２３を介してフレームメモリ１２２から供給される参照画像とを用いて動き予測（インター予測）を行う。なお、図示しないが、動き予測・補償部１２５においては、ベースレイヤ画像符号化部１０１−１のフレームメモリ１２２からの参照画像も必要に応じて参照される。動き予測・補償部１２５は、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１２５は、予め用意された複数のインター予測モードでこのようなインター予測を行う。
動き予測・補償部１２５は、候補となる全てのインター予測モードで予測画像を生成する。動き予測・補償部１２５は、画面並べ替えバッファ１１２から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１２５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１２６に供給する。
動き予測・補償部１２５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１１６に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として、予測動きベクトルのインデックスを示すフラグなどがある。
予測画像選択部１２６は、演算部１１３や演算部１２０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１２６は、予測画像の供給元としてイントラ予測部１２４を選択し、そのイントラ予測部１２４から供給される予測画像を演算部１１３や演算部１２０に供給する。また、例えば、インター符号化の場合、予測画像選択部１２６は、予測画像の供給元として動き予測・補償部１２５を選択し、その動き予測・補償部１２５から供給される予測画像を演算部１１３や演算部１２０に供給する。
レート制御部１２７は、蓄積バッファ１１７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。
HRDタイプ設定部１２８は、ユーザの指示のもと、HRDパラメータタイプを決定し、決定したHRDパラメータタイプに応じて、蓄積バッファ１１７や、ベースレイヤ画像符号化部１０１−１の蓄積バッファ（下位階層）１１７から、蓄積状態を示す情報を取得する。HRDタイプ設定部１２８は、取得した情報に基づいて、HRDパラメータを算出し、HRDパラメータタイプを示すフラグとそのHRDパラメータとを、可逆符号化部１１６に符号化させる。
なお、出力となる画像圧縮情報（符号化データ）が単一階層しか含まない場合、HRDパラメータタイプを示すフラグの値は、任意であり、復号側の処理には影響を与えない。
＜蓄積バッファおよびHRDタイプ設定部の構成例＞
図１２は、図１１の蓄積バッファおよびHRDタイプ設定部の構成例を示すブロック図である。
図１２の例においては、蓄積バッファ１１７は、部分蓄積バッファ１３１および全体蓄積バッファ１３２を含むように構成されている。
HRDタイプ設定部１２８は、階層HRDパラメータ算出部１４１、時間階層HRDパラメータ算出部１４２、HRDパラメータタイプ設定部１４３、および時間HRDパラメータタイプ設定部１４４を含むように構成されている。
部分蓄積バッファ１３１は、全体蓄積バッファ１３２に蓄積される符号化データ（符号）のうち、各上位時間階層に関する符号化データをそれぞれ蓄積する各蓄積バッファにより構成されている。各蓄積バッファの状態を示す情報は、要求に応じて、時間階層HRDパラメータ算出部１４２に供給される。
全体蓄積バッファ１３２は、可逆符号化部１１６により符号化された符号化データ（符号）を蓄積する。なお、全体蓄積バッファ１３２の全体蓄積バッファの状態を示す情報は、要求に応じて、階層HRDパラメータ算出部１４１および時間階層HRDパラメータ算出部１４２に供給される。また、点線に示されるように、上位階層のエンハンスメントレイヤ画像符号化部１０１−３が存在する場合がある。この場合、エンハンスメントレイヤ画像符号化部１０１−３のHRDタイプ設定部（上位階層）１２８の要求に応じて、全体蓄積バッファ１３２の全体蓄積バッファの状態を示す情報は、HRDタイプ設定部（上位階層）１２８にも供給される。
階層HRDパラメータ算出部１４１は、HRDパラメータタイプ設定部１４３からのHRDパラメータタイプ（フラグ）に応じて、全体蓄積バッファ１３２の状態を示す情報およびベースレイヤ画像符号化部１０１−１の蓄積バッファ（下位階層）１１７の状態を示す情報を取得する。なお、実際には、ベースレイヤ画像符号化部１０１−１の蓄積バッファの全体蓄積バッファ１３２から情報が取得される。
HRDパラメータタイプフラグが１を示す場合、全体蓄積バッファ１３２の状態を示す情報が取得される。HRDパラメータタイプフラグが０を示す場合、全体蓄積バッファ１３２の状態を示す情報とベースレイヤ画像符号化部１０１−１の蓄積バッファ（下位階層）１１７の状態を示す情報とが取得される。
階層HRDパラメータ算出部１４１は、HRDパラメータタイプ設定部１４３からのHRDパラメータタイプフラグと取得された情報に基づいて、階層HRDパラメータを算出し、算出した階層HRDパラメータを、可逆符号化部１１６に供給する。
時間階層HRDパラメータ算出部１４２は、時間HRDパラメータタイプ設定部１４４からのサブHRDパラメータタイプ（フラグ）に応じて、全体蓄積バッファ１３２の状態を示す情報および部分蓄積バッファ１３１の対応する時間階層の蓄積バッファの状態を示す情報を取得する。
サブHRDパラメータタイプフラグが１を示す場合、部分蓄積バッファ１３１の対応する時間階層の蓄積バッファの状態を示す情報が取得される。サブHRDパラメータタイプフラグが０を示す場合、全体蓄積バッファ１３２の状態を示す情報および部分蓄積バッファ１３１の対応する時間階層の蓄積バッファの状態を示す情報とが取得される。
時間階層HRDパラメータ算出部１４２は、時間HRDパラメータタイプ設定部１４４からのサブHRDパラメータタイプと取得された情報に基づいて、時間階層HRDパラメータを算出し、算出した時間階層HRDパラメータを、可逆符号化部１１６に供給する。
HRDパラメータタイプ設定部１４３は、ユーザの指示に対応して、HRDパラメータタイプを設定し、設定したHRDパラメータタイプを示すフラグを、可逆符号化部１１６および階層HRDパラメータ算出部１４１に供給する。
時間HRDパラメータタイプ設定部１４４は、ユーザの指示に対応して、サブHRDパラメータタイプを設定し、設定したサブHRDパラメータタイプを示すフラグを、可逆符号化部１１６および時間階層HRDパラメータ算出部１４２に供給する。
可逆符号化部１１６は、HRDパラメータタイプ設定部１４３からのHRDパラメータタイプを示すフラグ、および階層HRDパラメータ算出部１４１からの階層HRDパラメータを符号化し、符号化データのヘッダ情報とする。可逆符号化部１１６は、時間HRDパラメータタイプ設定部１４４からのサブHRDパラメータタイプを示すフラグ、および時間階層HRDパラメータ算出部１４２からの時間階層HRDパラメータを符号化し、符号化データのヘッダ情報とする。符号化データは、全体蓄積バッファ１３２に出力される。
＜レイヤ構造＞
スケーラブル符号化（階層符号化）においては、図２乃至図４を参照して上述したように、画像データが複数レイヤに階層化される。以下においては説明の便宜上、このレイヤを主レイヤと称する。
各主レイヤのピクチャ群は、その主レイヤにおいてシーケンスを構成することになる。そのシーケンスにおいてピクチャは、単一主レイヤの動画像データと同様に、図１３に示されるように、さらに階層構造（GOP（Group Of Picture）構造）を形成する。以下においては説明の便宜上、この１主レイヤ内のレイヤをサブレイヤ（sublayer）と称する。
図１３の例の場合、主レイヤは、ベースレイヤ（BaseLayer）とエンハンスメントレイヤ（EnhLayer）の２つのレイヤにより構成される。ベースレイヤは、他の主レイヤに依存せず、自身の主レイヤのみで画像が形成されるレイヤである。ベースレイヤのデータは、他の主レイヤを参照せずに符号化・復号される。エンハンスメントレイヤは、ベースレイヤのデータと合成されることにより画像が得られる主レイヤである。エンハンスメントレイヤのデータは、対応するベースレイヤとの間の予測処理（主レイヤ間の予測処理（レイヤ間予測とも称する））が利用可能である。
スケーラブル符号化により階層化された符号化データの主レイヤ数は任意である。以下においては、各主レイヤがベースレイヤか若しくはエンハンスメントレイヤに設定され、各エンハンスメントレイヤには、いずれかのベースレイヤが参照先として設定されるものとする。
また、図１３の例の場合、ベースレイヤおよびエンハンスメントレイヤは、それぞれ、サブレイヤ０（Sublayer0）、サブレイヤ１（Sublayer1）、サブレイヤ２（Sublayer2）の３つのサブレイヤにより構成されるGOP構造を有する。図１３に示される四角は、ピクチャを示しており、その中の文字は、そのピクチャのタイプを示している。例えば、「Ｉ」と記載された四角は、Ｉピクチャを示し、「Ｂ」と記載された四角は、参照可能なＢピクチャを示し、「ｂ」と記載された四角は、参照されないＢピクチャを示す。また、各四角間の点線は、依存関係（参照関係）を示す。個の点線で示されるように、上位のサブレイヤのピクチャは、下位のサブレイヤのピクチャに依存する。つまり、サブレイヤ２（Sublayer2）のピクチャは、サブレイヤ１のピクチャやサブレイヤ０のピクチャを参照する。また、サブレイヤ１のピクチャは、サブレイヤ０のピクチャを参照する。サブレイヤ０のピクチャは、サブレイヤ０のピクチャを適宜参照する。
なお、サブレイヤの階層数（サブレイヤ数）は任意である。また、GOP構造も任意であり、図１３の例に限定されない。
ここで、本実施の形態との対応関係について説明する。図１２の全体蓄積バッファ１３２には、エンハンスメントレイヤのすべてのピクチャの符号化データが蓄積される。
また、図１２の部分蓄積バッファ１３１は、サブレイヤ１の蓄積バッファとサブレイヤ２の蓄積バッファを有している。すなわち、サブレイヤ１の蓄積バッファには、例えば、図１３のエンハンスメントレイヤにおけるサブレイヤ１のＢ２、Ｂ４、Ｂ６で示されるＢピクチャの符号データが蓄積される。サブレイヤ２の蓄積バッファには、エンハンスメントレイヤにおけるサブレイヤ２のｂ１、ｂ３、ｂ５、ｂ７で示されるＢピクチャの符号化データが蓄積される。
そして、図１２に示されるベースレイヤ画像符号化部１０１−１の蓄積バッファ１１７（の全体蓄積バッファ１３２）には、図１３のベースレイヤのすべてのピクチャの符号化データが蓄積され、そのバッファ状態を示す情報が、下位階層全体蓄積バッファの状態を示す情報として、階層HRDパラメータ算出部１４１に供給される。
なお、図示されないが、ベースレイヤ画像符号化部１０１−１の蓄積バッファ１１７の部分蓄積バッファ１３１は、サブレイヤ１の蓄積バッファとサブレイヤ２の蓄積バッファを有している。すなわち、サブレイヤ１の蓄積バッファには、例えば、図１３のベースレイヤにおけるサブレイヤ１のＢ２、Ｂ４、Ｂ６で示されるＢピクチャの符号データが蓄積される。サブレイヤ２の蓄積バッファには、ベースレイヤにおけるサブレイヤ２のｂ１、ｂ３、ｂ５、ｂ７で示されるＢピクチャの符号化データが蓄積される。
＜符号化処理の流れ＞
次に、以上のようなスケーラブル符号化装置１００により実行される各処理の流れについて説明する。最初に、図１４のフローチャートを参照して、符号化処理の流れの例を説明する。
符号化処理が開始されると、ステップＳ１０１において、スケーラブル符号化装置１００の符号化制御部１０２は、画像の参照関係などを考慮して、処理対象のレイヤを決定する。
ベースレイヤ画像符号化部１０１−１は、ステップＳ１０２において、符号化制御部１０２の制御のもと、レイヤ符号化処理を行う。このレイヤ符号化処理については、図１５を参照して後述される。ステップＳ１０２の処理が終了すると、処理は、ステップＳ１０３に進む。
ステップＳ１０３において、符号化制御部１０２は、全ての主レイヤを処理したか否かを判定する。未処理の主レイヤが存在すると判定された場合、処理は、ステップＳ１０４に進む。
ステップＳ１０４において、符号化制御部１０２は、次の未処理の主レイヤを処理対象（カレント主レイヤ）とする。ステップＳ１０４の処理が終了すると、処理は、ステップＳ１０２に戻る。ステップＳ１０２において、エンハンスメントレイヤ画像符号化部１０１−２は、符号化制御部１０２の制御のもと、レイヤ符号化処理を行う。このように、ステップＳ１０２乃至ステップＳ１０４の処理が繰り返し実行され、各主レイヤが符号化される。なお、ステップＳ１０２の処理は、参照関係のない複数のレイヤ画像符号化部１０１により並列処理されてもよい。
そして、ステップＳ１０３において、全ての主レイヤが処理されたと判定された場合、符号化処理が終了する。
＜レイヤ符号化処理の流れ＞
次に、図１５のフローチャートを参照して、図１４のステップＳ１０２におけるレイヤ符号化処理について説明する。なお、図１５の例においては、一例として、エンハンスメントレイヤ画像符号化部１０１−２の例について説明する。
ステップＳ１１１において、エンハンスメントレイヤ画像符号化部１０１−２のA/D変換部１１１は入力されたエンハンスメントレイヤの画像情報（画像データ）をA/D変換する。ステップＳ１１２において、画面並べ替えバッファ１１２は、A/D変換されたエンハンスメントレイヤの画像情報（デジタルデータ）を記憶し、各ピクチャを、表示する順番から符号化する順番へ並べ替える。
ステップＳ１１３において、イントラ予測部１２４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１１４において、動き予測・補償部１２５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。ステップＳ１１５において、予測画像選択部１２６は、イントラ予測部１２４および動き予測・補償部１２５から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、予測画像選択部１２６は、イントラ予測部１２４により生成された予測画像と、動き予測・補償部１２５により生成された予測画像のいずれか一方を選択する。ステップＳ１１６において、演算部１１３は、ステップＳ１１２の処理により並び替えられた画像と、ステップＳ１１５の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１１７において、直交変換部１１４は、ステップＳ１１６の処理により生成された差分情報に対する直交変換処理を行う。ステップＳ１１８において、量子化部１１５は、レート制御部１２７により算出された量子化パラメータを用いて、ステップＳ１１７の処理により得られた直交変換係数を量子化する。
ステップＳ１１８の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１１９において、逆量子化部１１８は、ステップＳ１１８の処理により生成された量子化された係数（量子化係数とも称する）を、量子化部１１５の特性に対応する特性で逆量子化する。ステップＳ１２０において、逆直交変換部１１９は、ステップＳ１１７の処理により得られた直交変換係数を逆直交変換する。ステップＳ１２１において、演算部１２０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１１３への入力に対応する画像）を生成する。
ステップＳ１２２においてループフィルタ１２１は、ステップＳ１２１の処理により生成された画像をフィルタリングする。これによりブロック歪み等が除去される。ステップＳ１２３において、フレームメモリ１２２は、ステップＳ１２２の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１２２にはループフィルタ１２１によりフィルタ処理されていない画像も演算部１２０から供給され、記憶される。このフレームメモリ１２２に記憶された画像は、ステップＳ１１３の処理やステップＳ１１４の処理に利用される。
ステップＳ１２４において、HRDタイプ設定部１２８は、HRDパラメータ符号化処理を行う。このHRDパラメータ符号化処理については、図１６を参照して後述するが、この処理により、HRDパラメータタイプを示すフラグとHRDパラメータとが、可逆符号化部１１６に供給される。
ステップＳ１２５において、可逆符号化部１１６は、ステップＳ１１８の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
また、このとき、可逆符号化部１１６は、ステップＳ１１５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１１６は、イントラ予測部１２４から供給される最適イントラ予測モード情報、または、動き予測・補償部１２５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。さらに、可逆符号化部１１６は、ステップＳ１２４の処理により供給されたHRDパラメータタイプを示すフラグとHRDパラメータなどの情報も符号化し、符号化データに付加する。
ステップＳ１２６において蓄積バッファ１１７は、ステップＳ１２５の処理により得られたエンハンスメントレイヤ符号化データを蓄積する。蓄積バッファ１１７に蓄積されたエンハンスメントレイヤ符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
ステップＳ１２７においてレート制御部１２７は、ステップＳ１２６の処理により蓄積バッファ１１７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。また、レート制御部１２７は、量子化パラメータに関する情報を、量子化部１１５に供給する。
ステップＳ１２７の処理が終了すると、符号化処理が終了し、処理は図１４のステップＳ１０２に戻る。
＜HRDパラメータ符号化処理の流れ＞
次に、図１６のフローチャートを参照して、なお、図１６の例においては、図７に示されるHRDパラメータが符号化される例が示されている。
ステップＳ１３１において、HRDパラメータタイプ設定部１４３は、ユーザの指示に対応して、HRDパラメータタイプを設定する。HRDパラメータタイプ設定部１４３は、設定したHRDパラメータタイプを示すフラグを、可逆符号化部１１６および階層HRDパラメータ算出部１４１に供給する。
ステップＳ１３２において、階層HRDパラメータ算出部１４１は、HRDパラメータタイプ設定部１４３からのHRDパラメータタイプを示すフラグに応じて、当該階層のHRDパラメータの算出処理を行う。このHRDパラメータの算出処理は、図１７を参照して後述される。
ステップＳ１３３において、階層HRDパラメータ算出部１４１は、ステップＳ１３２により算出された当該階層のHRDパラメータを、可逆符号化部１１６に供給し、符号化させる。
ステップＳ１３１により供給されたHRDパラメータタイプを示すフラグ、およびステップＳ１３３により供給された階層のHRDパラメータは、図１５のステップＳ１２５において符号化される。
ステップＳ１３４において、時間HRDパラメータタイプ設定部１４４は、ユーザの指示に対応して、サブHRDパラメータタイプを設定する。時間HRDパラメータタイプ設定部１４４は、設定したサブHRDパラメータタイプを示すフラグを、可逆符号化部１１６および時間階層HRDパラメータ算出部１４２に供給する。
ステップＳ１３５において、時間階層HRDパラメータ算出部１４２は、時間HRDパラメータタイプ設定部１４４からのサブHRDパラメータタイプを示すフラグに応じて、当該時間階層のHRDパラメータの算出処理を行う。この時間階層のHRDパラメータの算出処理は、図１８を参照して後述される。
ステップＳ１３６において、時間階層HRDパラメータ算出部１４２は、ステップＳ１３５により算出された当該時間階層のHRDパラメータを、可逆符号化部１１６に供給し、符号化させる。
ステップＳ１３４により供給されたサブHRDパラメータタイプを示すフラグ、およびステップＳ１３４により供給された時間階層のHRDパラメータは、図１５のステップＳ１２５において符号化される。
時間階層HRDパラメータ算出部１４２は、ステップＳ１３７において、すべての時間階層についての処理が終了したか否かを判定する。ステップＳ１３７において、すべての時間階層についての処理が終了したと判定された場合、HRDパラメータ符号化処理は終了され、処理は、図１５のステップＳ１２４に戻る。
ステップＳ１３７において、すべての時間階層についての処理がまだ終了していないと判定された場合、処理は、ステップＳ１３４に戻り、それ以降の処理が繰り返される。
＜HRDパラメータ算出処理の流れ＞
次に、図１７のフローチャートを参照して、図１６のステップＳ１３２におけるHRDパラメータの算出処理について説明する。
図１６のステップＳ１３１により階層HRDパラメータ算出部１４１にHRDパラメータタイプフラグが供給される。ステップＳ１４１において、階層HRDパラメータ算出部１４１は、HRDパラメータタイプ設定部１４３からのHRDパラメータタイプフラグが１であるか否かを判定する。
ステップＳ１４１において、HRDパラメータタイプフラグが１であると判定された場合、処理は、ステップＳ１４２に進む。
ステップＳ１４２において、階層HRDパラメータ算出部１４１は、全体蓄積バッファ１３２の状態を示す情報を取得する。ステップＳ１４３において、階層HRDパラメータ算出部１４１は、取得した全体蓄積バッファ１３２の状態を示す情報に基づいて、当該階層のHRDパラメータを算出する。
ステップＳ１４１において、HRDパラメータタイプフラグが１ではないと判定された場合、処理は、ステップＳ１４４に進む。
ステップＳ１４４において、階層HRDパラメータ算出部１４１は、全体蓄積バッファ１３２の状態を示す情報を取得する。ステップＳ１４５において、階層HRDパラメータ算出部１４１は、ベースレイヤ画像符号化部１０１−１の蓄積バッファ（下位階層）１１７の状態を示す情報を取得する。ステップＳ１４６において、階層HRDパラメータ算出部１４１は、取得した情報に基づいて、当該階層のHRDパラメータを算出する。
ステップＳ１４３およびＳ１４６の後、HRDパラメータ算出処理は終了され、図１６のステップＳ１３２に戻る。
＜時間階層のHRDパラメータ算出処理の流れ＞
次に、図１８のフローチャートを参照して、図１６のステップＳ１３５における時間階層のHRDパラメータの算出処理について説明する。
図１６のステップＳ１３４により時間階層HRDパラメータ算出部１４２にサブHRDパラメータタイプフラグが供給される。ステップＳ１５１において、時間階層HRDパラメータ算出部１４２は、時間HRDパラメータタイプ設定部１４４からのサブHRDパラメータタイプフラグが１であるか否かを判定する。
ステップＳ１５１において、サブHRDパラメータタイプフラグが１であると判定された場合、処理は、ステップＳ１５２に進む。
ステップＳ１５２において、時間階層HRDパラメータ算出部１４２は、部分蓄積バッファ１３１の対応する時間階層の蓄積バッファの状態を示す情報を取得する。ステップＳ１５３において、時間階層HRDパラメータ算出部１４２は、取得した部分蓄積バッファ１３１の状態を示す情報に基づいて、当該時間階層のHRDパラメータを算出する。
ステップＳ１５１において、サブHRDパラメータタイプフラグが１ではないと判定された場合、処理は、ステップＳ１５４に進む。
ステップＳ１５４において、時間階層HRDパラメータ算出部１４２は、全体蓄積バッファ１３２の状態を示す情報を取得する。ステップＳ１５５において、時間階層HRDパラメータ算出部１４２は、部分蓄積バッファ１３１の対応する時間階層の蓄積バッファの状態を示す情報を取得する。ステップＳ１５６において、時間階層HRDパラメータ算出部１４２は、取得した情報に基づいて、当該時間階層のHRDパラメータを算出する。
ステップＳ１５３およびＳ１５６の後、時間階層HRDパラメータ算出処理は終了され、図１６のステップＳ１３５に戻る。
＜HRDパラメータ符号化処理の他の流れ＞
次に、図１９のフローチャートを参照して、図１５のステップＳ１２４のHRDパラメータ符号化処理について説明する。なお、図１６の例においては、図８および図９に示されるHRDパラメータが符号化される例が示されている。
ステップＳ１６１において、HRDパラメータタイプ設定部１４３は、ユーザの指示に対応して、HRDパラメータタイプを設定する。HRDパラメータタイプ設定部１４３は、設定したHRDパラメータタイプを示すフラグを、可逆符号化部１１６および階層HRDパラメータ算出部１４１に供給する。
ステップＳ１６２において、階層HRDパラメータ算出部１４１は、HRDパラメータタイプ設定部１４３からのHRDパラメータタイプを示すフラグに応じて、当該階層のHRDパラメータの算出処理を行う。このHRDパラメータの算出処理は、図１７を参照して上述した処理と基本的に同様の処理を行うため、繰り返しになるので、その説明は省略される。
ステップＳ１６３において、階層HRDパラメータ算出部１４１は、タイプ１とタイプ２のすべてのタイプのHRDパラメータの算出処理を終了したか否かを判定する。ステップＳ１６３において、まだ、すべてのタイプのHRDパラメータの算出処理が終了していないと判定された場合、処理は、ステップＳ１６２に戻り、それ以降の処理が繰り返される。
なお、タイプ１またはタイプ２のどちらか一方しか算出されない場合、処理は、ステップＳ１６３に進む。
ステップＳ１６３において、すべてのタイプのHRDパラメータの算出処理を終了したと判定された場合、処理は、ステップＳ１６４に進む。
ステップＳ１６４において、階層HRDパラメータ算出部１４１は、ステップＳ１６２により算出された当該階層のHRDパラメータを、可逆符号化部１１６に供給し、符号化させる。
ステップＳ１６１により供給されたHRDパラメータタイプを示すフラグ、およびステップＳ１６４により供給された階層のHRDパラメータは、図１５のステップＳ１２５において符号化される。
ステップＳ１６５において、時間HRDパラメータタイプ設定部１４４は、ユーザの指示に対応して、サブHRDパラメータタイプを設定する。時間HRDパラメータタイプ設定部１４４は、設定したサブHRDパラメータタイプを示すフラグを、可逆符号化部１１６および時間階層HRDパラメータ算出部１４２に供給する。
ステップＳ１６６において、時間階層HRDパラメータ算出部１４２は、時間HRDパラメータタイプ設定部１４４からのサブHRDパラメータタイプを示すフラグに応じて、当該時間階層のHRDパラメータの算出処理を行う。この時間階層のHRDパラメータの算出処理は、図１８を参照して上述した処理と基本的に同様の処理を行うため、繰り返しになるので、その説明は省略される。
ステップＳ１６７において、階層HRDパラメータ算出部１４１は、タイプ１とタイプ２のすべてのタイプのHRDパラメータの算出処理を終了したか否かを判定する。ステップＳ１６３において、まだ、すべてのタイプのHRDパラメータの算出処理が終了していないと判定された場合、処理は、ステップＳ１６６に戻り、それ以降の処理が繰り返される。
なお、タイプ１またはタイプ２のどちらか一方しか算出されない場合、処理は、ステップＳ１６８に進む。
ステップＳ１６７において、すべてのタイプのHRDパラメータの算出処理を終了したと判定された場合、処理は、ステップＳ１６８に進む。
ステップＳ１６８において、時間階層HRDパラメータ算出部１４２は、ステップＳ１６６により算出された当該時間階層のHRDパラメータを、可逆符号化部１１６に供給し、符号化させる。
ステップＳ１６５により供給されたサブHRDパラメータタイプを示すフラグ、およびステップＳ１６８により供給された時間階層のHRDパラメータは、図１５のステップＳ１２５において符号化される。
時間階層HRDパラメータ算出部１４２は、ステップＳ１６９において、すべての時間階層についての処理が終了したか否かを判定する。ステップＳ１６９において、すべての時間階層についての処理が終了したと判定された場合、HRDパラメータ符号化処理は終了され、処理は、図１５のステップＳ１２４に戻る。
ステップＳ１６９において、すべての時間階層についての処理がまだ終了していないと判定された場合、処理は、ステップＳ１６５に戻り、それ以降の処理が繰り返される。
以上のように、符号化側において、HRDパラメータが、当該階層のみで復号処理を行うためのパラメータであるのか、当該階層およびそれ以下の階層を含めた復号処理を行うためのパラメータであるのかを示すHRDパラメータタイプフラグを設定するようにした。これにより、正しいタイミングで復号処理を行うことができる。
＜２．第２の実施の形態＞
＜スケーラブル復号装置＞
次に、以上のようにスケーラブル符号化（階層符号化）された符号化データ（ビットストリーム）の復号について説明する。図２０は、図１０のスケーラブル符号化装置１００に対応するスケーラブル復号装置の主な構成例を示すブロック図である。図２０に示されるスケーラブル復号装置２００は、例えばスケーラブル符号化装置１００により画像データがスケーラブル符号化されて得られた符号化データを、その符号化方法に対応する方法でスケーラブル復号する。
スケーラブル復号装置２００は、ベースレイヤ画像復号部２０１−１、エンハンスメントレイヤ画像復号部２０１−２、および復号制御部２０２を含むように構成される。
ベースレイヤ画像復号部２０１−１は、図１０のベースレイヤ画像符号化部１０１−１に対応する画像復号部であり、例えばベースレイヤ画像符号化部１０１−１によりベースレイヤ画像情報が符号化されて得られたベースレイヤ符号化データを取得する。ベースレイヤ画像復号部２０１−１は、他のレイヤを参照せずに、そのベースレイヤ符号化データを復号し、ベースレイヤ画像情報を再構築し、出力する。
エンハンスメントレイヤ画像復号部２０１−２は、エンハンスメントレイヤ画像符号化部１０１−２に対応する画像復号部であり、例えばエンハンスメントレイヤ画像符号化部１０１−２によりエンハンスメントレイヤ画像情報が符号化されて得られたエンハンスメントレイヤ符号化データを取得する。エンハンスメントレイヤ画像復号部２０１−２は、そのエンハンスメントレイヤ符号化データを復号する。その際、エンハンスメントレイヤ画像復号部２０１−２は、必要に応じて、ベースレイヤの復号に関する情報を参照してレイヤ間予測を行う。
また、各符号化データ（ビットストリーム）には、HRDパラメータタイプを示すフラグと、HRDパラメータとが付加されて送信されてくる。エンハンスメントレイヤ画像復号部２０１−２は、HRDパラメータタイプを示すフラグを受け取り、受け取ったHRDパラメータタイプを示すフラグに応じて、蓄積バッファの状態情報を取得し、蓄積バッファを監視する。
HRDパラメータタイプを示すフラグが１の場合、エンハンスメントレイヤ画像復号部２０１−２は、HRDパラメータが当該階層のみの復号を行うパラメータであるとして、自己の蓄積バッファの状態情報を取得して、蓄積バッファの監視を行う。HRDパラメータタイプを示すフラグが０の場合、エンハンスメントレイヤ画像復号部２０１−２は、HRDパラメータが当該階層とそれ以下の階層とを含む復号処理を行うパラメータであるとして、ベースレイヤ画像復号部２０１−１の蓄積バッファの状態情報を取得して、蓄積バッファの監視を行う。この処理は、レイヤ（階層）およびサブレイヤ（時間階層）について行われる。なお、ベースレイヤ画像復号部２０１−１においては、サブレイヤのみについて、この処理が行われる。
エンハンスメントレイヤ画像復号部２０１−２は、このような復号により、エンハンスメントレイヤの符号化データを復号し、エンハンスメントレイヤ画像情報を再構築し、出力する。
なお、ベースレイヤ画像復号部２０１−１およびエンハンスメントレイヤ画像復号部２０１−２を、適宜レイヤ画像復号部２０１とまとめて称する。
復号制御部２０２は、各レイヤ画像復号部２０１の参照関係などを考慮して、各レイヤ画像復号部２０１の復号処理の制御を行う。
なお、図２０の例においては、エンハンスメントレイヤ画像復号部２０１−２が１台しか記載されていないが、さらに、上位階層がある場合には、その上位階層を符号化するエンハンスメントレイヤ画像復号部２０１−３，４，…も上位階層分構成される。
＜レイヤ画像復号部の構成例＞
図２１は、図２０のエンハンスメントレイヤ画像復号部２０１−２の主な構成例を示すブロック図である。なお、図２０のベースレイヤ画像復号部２０１−１も、対象となる画像の種類が異なるだけであり、図２１のエンハンスメントレイヤ画像復号部２０１−２と基本的に同様な構成をしている。図２１の例においては、説明の便宜上、エンハンスメントレイヤ画像復号部２０１−２の構成と例に説明する。
図２１に示されるようにエンハンスメントレイヤ画像復号部２０１−２は、蓄積バッファ２１１、可逆復号部２１２、逆量子化部２１３、逆直交変換部２１４、演算部２１５、ループフィルタ２１６、画面並べ替えバッファ２１７、およびD/A変換部２１８を有する。また、エンハンスメントレイヤ画像復号部２０１−２は、フレームメモリ２１９、選択部２２０、イントラ予測部２２１、動き予測・補償部２２２、および選択部２２３を有する。さらに、エンハンスメントレイヤ画像復号部２０１−２は、HRDタイプ復号部２２４を有する。
蓄積バッファ２１１は、伝送されてきたエンハンスメントレイヤ符号化データを受け取る受け取り部でもある。蓄積バッファ２１１は、伝送されてきたエンハンスメントレイヤ符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部２１２に供給する。このエンハンスメントレイヤ符号化データには、予測モード情報などの復号に必要な情報が付加されている。エンハンスメントレイヤ符号化データには、HRDパラメータタイプを示すフラグとHRDパラメータも付加されている。
蓄積バッファ２１１は、HRDタイプ復号部２２４から要求があった場合に、蓄積バッファ２１１の状態を示す情報を供給する。また、例えば、点線に示されるように、上位階層のエンハンスメントレイヤ画像復号部２０１−３が存在し、そのHRDタイプ復号部２２４から要求があった場合に、蓄積バッファ２１１は、蓄積バッファ２１１の状態を示す情報を供給する。
可逆復号部２１２は、蓄積バッファ２１１より供給された、可逆符号化部１１６により符号化された情報を、可逆符号化部１１６の符号化方式に対応する方式で復号する。可逆復号部２１２は、復号して得られた差分画像の量子化された係数データを、逆量子化部２１３に供給する。
また、可逆復号部２１２は、エンハンスメントレイヤ符号化データに含まれるビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むNALユニットを適宜抽出し、取得する。可逆復号部２１２は、それらの情報から、最適な予測モードに関する情報を抽出し、その情報に基づいて最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部２２１および動き予測・補償部２２２の内、選択されたと判定したモードの方に供給する。
つまり、例えば、エンハンスメントレイヤ画像復号部２０１−２において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部２２１に供給される。また、例えば、エンハンスメントレイヤ画像復号部２０１−２において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き予測・補償部２２２に供給される。
さらに、可逆復号部２１２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報をNALユニット等から抽出し、それを逆量子化部２１３に供給する。また、可逆復号部２１２は、例えば、VPSなどから、HRDパラメータタイプを示すフラグとHRDパラメータを抽出し、それを、HRDタイプ復号部２２４に供給する。
逆量子化部２１３は、可逆復号部２１２により復号されて得られた量子化された係数データを、量子化部１１５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部２１３は、逆量子化部１１８と同様の処理部である。つまり、逆量子化部２１３の説明は、逆量子化部１１８にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。逆量子化部２１３は、得られた係数データを逆直交変換部２１４に供給する。
逆直交変換部２１４は、逆量子化部２１３から供給される係数データを、直交変換部１１４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部２１４は、逆直交変換部１１９と同様の処理部である。つまり、逆直交変換部２１４の説明は、逆直交変換部１１９にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
逆直交変換部２１４は、この逆直交変換処理により、直交変換部１１４において直交変換される前の残差データに対応する復号残差データを得る。逆直交変換されて得られた復号残差データは、演算部２１５に供給される。また、演算部２１５には、選択部２２３を介して、イントラ予測部２２１若しくは動き予測・補償部２２２から予測画像が供給される。
演算部２１５は、その復号残差データと予測画像とを加算し、演算部１１３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２１５は、その復号画像データをループフィルタ２１６に供給する。
ループフィルタ２１６は、供給された復号画像に対して、デブロックフィルタや、適応オフセットフィルタ、適応ループフィルタ等を含むフィルタ処理を適宜施し、それを画面並べ替えバッファ２１７およびフレームメモリ２１９に供給する。例えば、ループフィルタ２１６は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ２１６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。なお、このループフィルタ２１６は、ループフィルタ１２１と同様の処理部である。
なお、演算部２１５から出力される復号画像は、ループフィルタ２１６を介さずに画面並べ替えバッファ２１７やフレームメモリ２１９に供給することができる。つまり、ループフィルタ２１６によるフィルタ処理の一部若しくは全部は省略することができる。
画面並べ替えバッファ２１７は、復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ１１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２１８は、画面並べ替えバッファ２１７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
フレームメモリ２１９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部２２１や動き予測・補償部２２２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部２２０に供給する。
なお、フレームメモリ２１９は、記憶する復号画像を、エンハンスメントレイヤの復号に関する情報として、より上位階層のエンハンスメントレイヤ画像復号部２０１−２に供給する。
選択部２２０は、フレームメモリ２１９から供給される参照画像の供給先を選択する。選択部２２０は、イントラ符号化された画像を復号する場合、フレームメモリ２１９から供給される参照画像をイントラ予測部２２１に供給する。また、選択部２２０は、インター符号化された画像を復号する場合、フレームメモリ２１９から供給される参照画像を動き予測・補償部２２２に供給する。
イントラ予測部２２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２１２から適宜供給される。イントラ予測部２２１は、イントラ予測部１２４において用いられたイントラ予測モードで、フレームメモリ２１９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部２２１は、生成した予測画像を選択部２２３に供給する。
動き予測・補償部２２２は、ヘッダ情報を復号して得られた情報（最適予測モード情報、参照画像情報等）を可逆復号部２１２から取得する。
動き予測・補償部２２２は、可逆復号部２１２から取得された最適予測モード情報が示すインター予測モードで、フレームメモリ２１９から取得した参照画像を用いてインター予測を行い、予測画像を生成する。なお、図示しないが、動き予測・補償部２２２においては、ベースレイヤ画像復号部２０１−１のフレームメモリ２１９からの参照画像も必要に応じて参照される。
選択部２２３は、イントラ予測部２２１からの予測画像または動き予測・補償部２２２からの予測画像を、演算部２１５に供給する。そして、演算部２１５においては、動きベクトルが用いられて生成された予測画像と逆直交変換部２１４からの復号残差データ（差分画像情報）とが加算されて元の画像が復号される。
HRDタイプ復号部２２４は、可逆復号部２１２からのHRDパラメータタイプを示すフラグに応じて、蓄積バッファ２１１や、ベースレイヤ画像復号部２０１−１の蓄積バッファ（下位階層）２１１から、蓄積状態を示す情報を取得する。HRDタイプ復号部２２４は、HRDパラメータタイプを示すフラグに応じたHRDパラメータに従い、取得した情報に基づいて、蓄積バッファ２１１を監視する。
＜蓄積バッファおよびHRDタイプ復号部の構成例＞
図２２は、図２１の蓄積バッファおよびHRDタイプ復号部の構成例を示すブロック図である。
図２２の例においては、蓄積バッファ２１１は、部分蓄積バッファ２３１および全体蓄積バッファ２３２を含むように構成されている。
HRDタイプ復号部２２４は、階層HRDパラメータ監視部２４１、時間階層HRDパラメータ監視部２４２、HRDパラメータタイプ復号部２４３、および時間HRDパラメータタイプ復号部２４４を含むように構成されている。
部分蓄積バッファ２３１は、全体蓄積バッファ２３２に蓄積される符号化データ（符号）のうち、各上位時間階層に関する符号化データをそれぞれ蓄積する各蓄積バッファにより構成されている。各蓄積バッファの状態を示す情報は、要求に応じて、時間階層HRDパラメータ監視部２４２に供給される。
全体蓄積バッファ２３２は、エンハンストメントレイヤ画像符号化部１０１−２により符号化された符号化データ（符号）を蓄積する。なお、全体蓄積バッファ２３２の全体蓄積バッファの状態を示す情報は、要求に応じて、階層HRDパラメータ監視部２４１および時間階層HRDパラメータ監視部２４２に供給される。また、点線に示されるように、上位階層のエンハンスメントレイヤ画像復号部２０１−３が存在する場合がある。この場合、エンハンスメントレイヤ画像復号部２０１−３のHRDタイプ復号部（上位階層）２２４が要求に応じて、全体蓄積バッファ２３２の全体蓄積バッファの状態を示す情報は、HRDタイプ復号部（上位階層）２２４にも供給される。
階層HRDパラメータ監視部２４１は、可逆復号部２１２からのHRDパラメータを受け取り、HRDパラメータタイプ復号部２４３からのHRDパラメータタイプを示すフラグに対応するHRDパラメータを取得する。階層HRDパラメータ監視部２４１は、取得されたHRDパラメータに基づいて、蓄積バッファ２１１を監視する。
すなわち、階層HRDパラメータ監視部２４１は、HRDパラメータタイプ復号部２４３からのHRDパラメータタイプを示すフラグに応じて、全体蓄積バッファ２３２の状態を示す情報およびベースレイヤ画像復号部２０１−１の蓄積バッファ（下位階層）２１１の状態を示す情報を取得する。
フラグが１を示すHRDパラメータタイプの場合、全体蓄積バッファ２３２の状態を示す情報が取得される。フラグが０を示すHRDパラメータタイプの場合、全体蓄積バッファ２３２の状態を示す情報とベースレイヤ画像復号部２０１−１の蓄積バッファ（下位階層）２１１の状態を示す情報とが取得される。なお、実際には、ベースレイヤ画像復号部２０１−１の蓄積バッファの全体蓄積バッファ２３２から情報が取得される。
時間階層HRDパラメータ監視部２４２は、可逆復号部２１２からの時間階層HRDパラメータを受け取り、時間HRDパラメータタイプ復号部２４４からのサブHRDパラメータタイプを示すフラグに対応する時間階層HRDパラメータを取得する。階層HRDパラメータ監視部２４１は、取得された時間階層HRDパラメータに基づいて、蓄積バッファ２１１を監視する。
すなわち、時間階層HRDパラメータ監視部２４２は、時間HRDパラメータタイプ復号部２４４からのサブHRDパラメータタイプを示すフラグに応じて、全体蓄積バッファ２３２の状態を示す情報および部分蓄積バッファ２３１の対応する時間階層の蓄積バッファの状態を示す情報を取得する。
サブHRDパラメータタイプを示すフラグが１である場合、部分蓄積バッファ２３１の対応する時間階層の蓄積バッファの状態を示す情報が取得される。サブHRDパラメータタイプを示すフラグが０である場合、全体蓄積バッファ２３２の状態を示す情報および部分蓄積バッファ２３１の対応する時間階層の蓄積バッファの状態を示す情報とが取得される。
HRDパラメータタイプ復号部２４３は、可逆復号部２１２からのHRDパラメータタイプフラグを受け取る。そして、HRDパラメータタイプ復号部２４３は、受け取ったフラグのうち、実際のストリームのレイヤ構成や装置の構成や機能に対応するHRDパラメータタイプを示すフラグを選択して、階層HRDパラメータ監視部２４１に供給する。
時間HRDパラメータタイプ復号部２４４は、可逆復号部２１２からのサブHRDパラメータタイプフラグを受け取る。そして、時間HRDパラメータタイプ復号部２４４は、受け取ったフラグのうち、実際のストリームのレイヤ構成または装置の構成や機能に対応するサブHRDパラメータタイプを示すフラグを選択して、階層HRDパラメータ監視部２４１に供給する。
なお、図８および図９を参照して上述したHRDパラメータの場合、２つのタイプ（当該階層のみのタイプと当該階層以下の階層も含めるタイプ）が記載されているので、実際のストリームまたは装置の構成や機能によっていずれかを選択することができる。これに対して、図７を参照して上述したHRDパラメータの場合、どちらか一方のタイプしか記載されていないので、記載されているタイプと、実際のストリームまたは装置の構成や機能のタイプが異なるとき、HRDパラメータは無視されることとなる。
＜復号処理の流れ＞
次に、以上のようなスケーラブル復号装置２００により実行される各処理の流れについて説明する。最初に、図２３のフローチャートを参照して、復号処理の流れの例を説明する。
復号処理が開始されると、ステップＳ２０１において、スケーラブル復号装置２００の復号制御部２０２は、画像の参照関係などを考慮して、処理対象のレイヤを決定する。
ベースレイヤ画像復号部２０１−１は、ステップＳ２０２において、復号制御部２０２の制御のもと、レイヤ復号処理を行う。このレイヤ復号処理については、図２４を参照して後述される。ステップＳ２０２の処理が終了すると、処理は、ステップＳ２０３に進む。
ステップＳ２０３において、復号制御部２０２は、全ての主レイヤを処理したか否かを判定する。未処理の主レイヤが存在すると判定された場合、処理は、ステップＳ２０４に進む。
ステップＳ２０４において、復号制御部２０２は、次の未処理の主レイヤを処理対象（カレント主レイヤ）とする。ステップＳ２０４の処理が終了すると、処理は、ステップＳ２０２に戻る。ステップＳ２０２において、エンハンスメントレイヤ画像復号部２０１−２は、復号制御部２０２の制御のもと、レイヤ復号処理を行う。このように、ステップＳ２０２乃至ステップＳ２０４の処理が繰り返し実行され、各主レイヤが符号化される。なお、ステップＳ２０２の処理は、参照関係のない複数のレイヤ画像復号部２０１により並列処理されてもよい。
そして、ステップＳ２０３において、全ての主レイヤが処理されたと判定された場合、復号処理が終了する。
＜レイヤ復号処理の流れ＞
次に、図２４のフローチャートを参照して、図２３のステップＳ２０２において実行されるレイヤ復号処理の流れの例を説明する。なお、図２４の例においては、一例として、エンハンスメントレイヤ画像復号部２０１−２の例について説明する。
レイヤ復号処理が開始されると、ステップＳ２１１において、エンハンスメントレイヤ画像復号部２０１−２の蓄積バッファ２１１は、符号化側から伝送されたエンハンスメントレイヤのビットストリームを蓄積する。
ステップＳ２１２において、可逆復号部２１２は、蓄積バッファ２１１から供給されるエンハンスメントレイヤのビットストリーム（符号化された差分画像情報）を復号する。すなわち、可逆符号化部１１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。可逆復号部２１２からのHRDパラメータタイプを示すフラグおよびHRDパラメータが、HRDタイプ復号部２２４に供給される。
ステップＳ２１３において、HRDタイプ復号部２２４は、HRDパラメータ復号処理を行う。このHRDパラメータ復号処理は、図２６を参照して後述される。
ステップＳ２１３によりHRDパラメータが復号され、復号されたHRDパラメータに基づいて、蓄積バッファ２１１がオーバフローやアンダーフローがないように監視される。
ステップＳ２１４において、逆量子化部２１３は、ステップＳ２１２の処理により得られた、量子化された係数を逆量子化する。
ステップＳ２１５において、逆直交変換部２１４は、カレントブロック（カレントTU）を逆直交変換する。
ステップＳ２１６において、イントラ予測部２２１若しくは動き予測・補償部２２２は、予測処理を行い、予測画像を生成する。つまり、可逆復号部２１２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部２２１が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、動き予測・補償部２２２が、符号化の際に最適とされたインター予測モードで予測画像を生成する。
ステップＳ２１７において、演算部２１５は、ステップＳ２１５の逆直交変換処理により生成された差分画像情報に、ステップＳ２１６において生成された予測画像を加算する。これにより元の画像が復号される。
ステップＳ２１８において、ループフィルタ２１６は、ステップＳ２１７において得られた復号画像に対して、ループフィルタ処理を適宜行う。
ステップＳ２１９において、画面並べ替えバッファ２１７は、ステップＳ２１８においてフィルタ処理された画像の並べ替えを行う。すなわち画面並べ替えバッファ１１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ２２０において、D/A変換部２１８は、ステップＳ２１９においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
ステップＳ２２１において、フレームメモリ２１９は、ステップＳ２１８においてループフィルタ処理された画像を記憶する。
ステップＳ２２１の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図２３に戻る。
＜HRDパラメータ復号処理の流れ＞
次に、図２５のフローチャートを参照して、図２４のステップＳ２１３において実行されるHRDパラメータ復号処理の流れの例を説明する。
HRDパラメータタイプ復号部２４３は、ステップＳ２３１において、当該階層のHRDパラメータタイプを示すフラグを受け取る。そして、HRDパラメータタイプ復号部２４３は、受け取ったフラグのうち、例えば、実際のストリームのレイヤ構成に対応するHRDパラメータタイプを示すフラグを、階層HRDパラメータ監視部２４１に供給する。
ステップＳ２３２において、階層HRDパラメータ監視部２４１は、可逆復号部２１２からのHRDパラメータを受け取り、HRDパラメータタイプ復号部２４３からのHRDパラメータタイプを示すフラグに対応するHRDパラメータを取得する。
時間HRDパラメータタイプ復号部２４４は、ステップＳ２３３において、可逆復号部２１２からのHRDパラメータタイプを示すフラグを受け取る。そして、時間HRDパラメータタイプ復号部２４４は、受け取ったフラグのうち、例えば、実際のストリームのレイヤ構成に対応するサブHRDパラメータタイプを示すフラグを、階層HRDパラメータ監視部２４１に供給する。
ステップＳ２３４において、時間階層HRDパラメータ監視部２４２は、可逆復号部２１２からの時間階層HRDパラメータを受け取り、時間HRDパラメータタイプ復号部２４４からのサブHRDパラメータタイプフラグに対応する時間階層HRDパラメータを取得する。
時間階層HRDパラメータ監視部２４２は、ステップＳ２３５において、すべての時間階層についての処理が終了したか否かを判定する。ステップＳ２３５においてすべての時間階層についての処理が終了していないと判定された場合、処理は、ステップＳ２３３に戻り、それ以降の処理が繰り返される。
ステップＳ２３５において、すべての時間階層についての処理が終了したと判定された場合、処理は、ステップＳ２３６に進む。ステップＳ２３６において、階層HRDパラメータ監視部２４１および時間階層HRDパラメータ監視部２４２は、次に説明する蓄積バッファ監視処理を行う。
＜蓄積バッファ監視処理の流れ＞
次に、図２６のフローチャートを参照して、この、蓄積バッファ監視処理について説明する。なお、この蓄積バッファ監視処理は、本技術のHRDパラメータタイプフラグを用いた一例であり、この限りではない。また、この処理が実行されるタイミングも、説明の便宜上、HRDパラメータ復号処理内としたが、そこに限定されず、例えば、図２４のレイヤ復号処理内であればどのタイミングでもよい。
ステップＳ２５１において、階層HRDパラメータ監視部２４１は、ステップＳ２５１において、当該階層のHRDパラメータタイプを示すフラグが１であるか否かを判定する。ステップＳ２５１において、当該階層のHRDパラメータタイプを示すフラグが１であると判定された場合、処理は、ステップＳ２５２に進む。
階層HRDパラメータ監視部２４１は、ステップＳ２５２において、全体蓄積バッファ２３２の状態を示す情報を取得し、ステップＳ２５３において、取得した情報を用いて、当該階層のHRDパラメータに従って、当該階層の全体蓄積バッファ２３２を監視する。
ステップＳ２５１において、当該階層のHRDパラメータタイプを示すフラグが０であると判定された場合、処理は、ステップＳ２５４に進む。
階層HRDパラメータ監視部２４１は、ステップＳ２５４において、全体蓄積バッファ２３２の状態を示す情報を取得し、ステップＳ２５５において、下位階層の全体蓄積バッファ２３２の状態を示す情報を取得する。
そして、ステップＳ２５６において、階層HRDパラメータ監視部２４１は、ステップＳ２５４およびＳ２５５により取得された情報を用いて、当該階層のHRDパラメータに従って、当該階層の全体蓄積バッファ２３２を監視する。
時間階層HRDパラメータ監視部２４２は、ステップＳ２５７において、当該時間階層のHRDパラメータタイプを示すフラグが１であるか否かを判定する。ステップＳ２５７において、当該時間階層のHRDパラメータタイプを示すフラグが１であると判定された場合、処理は、ステップＳ２５８に進む。
ステップＳ２５８において、時間階層HRDパラメータ監視部２４２は、部分蓄積バッファ２３１の対応する各時間階層の蓄積バッファの状態を示す情報を取得する。
ステップＳ２５９において、時間階層HRDパラメータ監視部２４２は、ステップＳ２５８により取得した情報を用いて、各時間階層のHRDパラメータに従って、部分蓄積バッファ２３１（の各バッファ）を監視する。
ステップＳ２５７において、当該時間階層のHRDパラメータタイプを示すフラグが０であると判定された場合、処理は、ステップＳ２６０に進む。
ステップＳ２６０において、時間階層HRDパラメータ監視部２４２は、全体蓄積バッファ２３２の状態を示す情報を取得する。
ステップＳ２６１において、時間階層HRDパラメータ監視部２４２は、部分蓄積バッファ２３１の対応する各時間階層の蓄積バッファの状態を示す情報を取得する。
ステップＳ２５９において、時間階層HRDパラメータ監視部２４２は、ステップＳ２６０およびＳ２６１により取得した情報を用いて、各時間階層のHRDパラメータに従って、部分蓄積バッファ２３１（の各バッファ）を監視する。
以上のように、HRDパラメータが、当該階層のみの復号を行うためのものであるのか、当該階層とそれ以下の階層とを含む復号処理を行うためのものであるのかを表すものであるのかを示すフラグを少なくとも１つ設定するようにしたので、正しいタイミングで復号処理を行うことができる。
なお、このフラグは、SEI(Supplemental Enhancement Information)として復号側に送られるようにしてもよい。
また、ここで、図６を参照して上述したように、復号処理が単一の復号装置により行われるものであるのか、複数の復号装置により行われるものであるのかがわからなかった。そこで、上記説明においては、HRDパラメータが、当該階層のみで復号処理を行うためのパラメータであるのか、当該階層およびそれ以下の階層を含めた復号処理を行うためのパラメータであるのかを示す情報を設定する例を説明してきた。
しかしながら、現在のHEVCにおいては、図６に示されたex11の例（すなわち、マルチレイヤの復号処理が単一の復号装置により行われる例）のHRDパラメータのみがサポートされている。すなわち、現在のHEVCにおいては、ex11の例のHRDパラメータがVPS（video parameter set）に設定されて復号側に伝送されている。
そこで、本技術においては、第３の実施の形態として、スケーラブルHEVCにおいて、図６に示されたex12の例（すなわち、マルチレイヤの復号処理が複数の復号装置により行われる例）のHRDパラメータを、vps_extensionで復号側に送ることを提案する。
＜３．第３の実施の形態＞
＜vps_ extensionのシンタクスの例＞
図２７は、vps_ extensionのシンタックスの例を示す図である。なお、図２７の例において、i はlayer_setの数を示しており、jは、レイヤidの数を示している。また、j=1から開始されているのは、j=0が、ベースレイヤしか存在しないことを示しており、この場合、ex11およびex12の処理方法の違いはなく、どちらでも同じであるためである。
図２７の例においては、layer_id_included_flag[i][j]毎にlayer_set_hrd_layer_info_present_flag[i][j]が設定されている。layer_set_hrd_layer_info_present_flag[i][j]が１の場合、ex12の例に相当するHRDパラメータが(vps_ extensionに)存在することを示しており、その場合、次の行以降に、ex12の例に相当するHRDパラメータが定義される。
なお、次の図２８に示されるように、ex12の例に相当するHRDパラメータは、sps(sequence parameter set)_extensionに設定されてもよい。
＜sps_ extensionのシンタクスの例＞
図２８は、sps_ extensionのシンタクスの例を示す図である。
図２８の例においては、layer_set_hrd_layer_info_present_flagが設定されている。このフラグが１の場合、ex12の例に相当するHRDパラメータが(sps_ extensionに)存在することを示しており、その場合、次の行にex12の例に相当するHRDパラメータが定義される。
なお、図２７および図２８の例において、HRDパラメータは、layer_set毎に定義されている。layer_setは、図２９に示されるように、VPSにおいて設定されている。
＜VPSのシンタクスの例＞
図２９は、VPSのシンタクスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
図２９の第１６行目において、vps_num_layer_sets_minus1として、layer_setの数が設定されている。
第１７行目乃至第１９行目において、layer_id_included_flag[i][j]として、[i]のlayer_setにid[j]のレイヤが含まれているかが示されている。なお、layer_id_included_flag[i][j]については、図３０に示されるセマンティクスに詳しく後述されている。
第２７行目においては、vps_num_hrd_parametersとして、vpsにおけるhrdパラメータの数が設定されている。第２９行目においては、hrd_layer_set_idx[i]として、ここで、hrd_parametersと、layer_setとの対応付けがなされている。第３２行目においては、上述したようにex11の例のHRDパラメータが記述されている。
第３５行目に、vps_extension の有無を示すvps_extension_flagが記述されている。
＜layer_id_included_flag[i][j]のセマンティクスの例＞
図３０は、layer_id_included_flag[i][j]のセマンティクスの例を示している。
layer_id_included_flag[ i ][ j ] equal to 1 specifies that the value of nuh_layer_id equal to j is included in the layer identifier list layerSetLayerIdList[i ]. layer_id_included_flag[ i ][ j ] equal to 0 specifies that the value of nuh_layer_id equal to j is not included in the layer identifier list layerSetLayerIdList[ i ].

The value of numLayersInIdList[ 0 ] is set equal to 1 and the value of layerSetLayerIdList[ 0 ][ 0 ] is set equal to 0.

For each value of i in the range of 1 to vps_num_layer_sets_minus1, inclusive, the variable numLayersInIdList[ i ] and the layer identifier list layerSetLayerIdList[ i ] are derived as follows:
n = 0
for( m = 0; m <= vps_max_layer_id; m++ )
if( layer_id_included_flag[ i ][ m ] )
layerSetLayerIdList[ i ][ n++ ] = m
numLayersInIdList[ i ] = n

For each value of i in the range of 1 to vps_num_layer_sets_minus1, inclusive, numLayersInIdList[ i ] shall be in the range of 1 to vps_max_layers_minus1 + 1, inclusive.

When numLayersInIdList[ iA ] is equal to numLayersInIdList[ iB ] for any iA and iB in the range of 0 to vps_num_layer_sets_minus1, inclusive, with iA not equal to iB, the value of layerSetLayerIdList[ iA ][ n ] shall not be equal to layerSetLayerIdList[ iB ][ n ] for at least one value of n in the range of 0 to numLayersInIdList[ iA ], inclusive.

A layer set is identified by the associated layer identifier list. The i-th layer set specified by the VPS is associated with the layer identifier list layerSetLayerIdList[ i ], for i in the range of 0 to vps_num_layer_sets_minus1, inclusive.

A layer set consists of all operation points that are associated with the same layer identifier list.

Each operation point is identified by the associated layer identifier list, denoted as OpLayerIdList, which consists of the list of nuh_layer_id values of all NAL units included in the operation point, in increasing order of nuh_layer_id values, and a variable OpTid, which is equal to the highest TemporalId of all NAL units included in the operation point. The bitstream subset associated with the operation point identified by OpLayerIdList and OpTid is the output of the sub-bitstream extraction process as specified in clause 10 with the bitstream, the target highest TemporalId equal to OpTid, and the target layer identifier list equal to OpLayerIdList as inputs. The OpLayerIdList and OpTid that identify an operation point are also referred to as the OpLayerIdList and OpTid associated with the operation point, respectively.
特に、図中、枠で囲まれたところには、layer_setは、同じレイヤの識別子リストで関連付けられたすべてのオペレーションポイントからなること、および、ビットストリームのうち、抜き出すことができる一部が、OplayerIdListによって識別されるオペレーションポイントに関連付けられていることが記述されている。
具体的には、layer_setは、例えば、図３１に示されるように設定される。
例えば、LayerSet[1]には、レイヤ0,1,2が含まれており、LayerSet[2]には、レイヤ0,2が含まれている場合、layer_id_included_flag は、次のように設定される。
layer_id_included_flag[1][0]=1に設定され、LayerSet[1]にレイヤ0が含まれることが示される。また、layer_id_included_flag[1][1]=1に設定され、LayerSet[1]にレイヤ1が含まれること、layer_id_included_flag[1][2]=1に設定され、LayerSet[1]にレイヤ2に含まれることが示される。
layer_id_included_flag[2][0]=1に設定され、LayerSet[2]にレイヤ0が含まれることが示される。また、layer_id_included_flag[2][1]=0に設定され、LayerSet[2]にレイヤ1が含まれないこと、layer_id_included_flag[2][2]=1に設定され、LayerSet[2]にレイヤ2に含まれることが示される。
以上のように、図６のex11の例に相当するHRDパラメータが存在することを示すフラグと、ex11の例に相当するHRDパラメータとがvpsで復号側に送られる。これに対して、図６のex12の例に相当するHRDパラメータが存在することを示すフラグと、ex12の例に相当するHRDパラメータとをvps_extensionで復号側に送るようにした。これにより、復号側においては、正しいタイミングで復号処理を行うことができる。
なお、このex12の例に相当するHRDパラメータが存在することを示すフラグも、SEIメッセージとして復号側に送られるようにしてもよい。
＜４．第４の実施の形態＞
＜バッファのスケジュール管理方法の他の例＞
ところで、バッファのオーバフローやアンダーフローを回避するため、以下のいずれかの方法がバッファのスケジュール管理に適用される必要がある。
第１の方法は、第１乃至第３の実施の形態において上述したHRDパラメータシンタクスにおいて伝送されるパラメータによる方法である。
第２の方法は、buffering_period_SEIおよびpicture_timing_SEIによる方法である。
第３の方法は、システム層におけるtime stamp（例えば、PTS、DTS）など、ビデオ層より上位階層において伝送されているパラメータによる方法である。
これらの方法のうち、第２の方法のbuffering_period_SEIを用いる方法について、以下に説明する。
＜buffering_period_SEIのシンタクス＞
図３２は、buffering_period_SEIのシンタクスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
図３２の第２行目において、bp_seq_parameter_set_idとして、buffering_periodのパラメータが設定されており、SPSと関連付けることが可能である。
また、それ以降の行においては、下階層からの積み上げによる蓄積バッファのスケジュール管理のパラメータが設定されている。
ところで、図６を参照して上述したように、当該画像圧縮情報もしくは当該サブ画像圧縮情報における、hdr_parameters ()によるバッファ管理のためのパラメータとして、参照する階層を含み、単一の復号装置により復号処理を行うex11のケースに加え、それぞれの階層を別々の復号装置により復号処理を行うex12のケースのためのものを定義できるようにすることが提案されている。
上述した第１の方法のhdr_parameters()は、VPSもしくはSPSに関連して伝送することが可能であり、前者の場合には、単一レイヤ（階層）のみならず、VPSに関連付けられたレイヤセット（以下、階層セットとも称する）に対して、hdr_parameters()を伝送することが可能である。
しかしながら、図３２に示されたbuffering_period_SEIについては、SPSについてのみしか関連付けることができない。したがって、VPSにおけるhdr_parameters()のように、複数の階層セットに対して関連するパラメータを伝送することが困難であった。
そこで、本技術においては、図３３乃至図３５に示されるシンタクスにより、buffering_period_SEIによる蓄積バッファのスケジュール管理を行う。
本技術によるbuffering_period_SEIは、以下の点が、図３２に示されるbuffering_period_SEIと異なる。
すなわち、第１の違いは、本技術によるbuffering_period_SEIにおいては、SPSのみならず、VPSにも関連付けることが可能である点にある。第２の違いは、VPSにより関連付けられた場合には、VPSにおいて定義されている階層セット毎にパラメータを設定することが可能である点にある。第３の違いは、図６に示されたように、階層セットに含まれている全ての階層を単一の復号装置で復号する場合のパラメータと、それぞれの階層を別々の復号装置で復号する場合のパラメータとを設定することが可能である点にある。
図３３乃至図３５は、buffering_period_SEIのシンタクスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
図３３の例において第２行目にはassociated_parameter_set_flagが設定されている。このassociated_parameter_set_flagは、当該buffering_period_SEIがVPSおよびSPSのどちらに関連付けられているかを指定するフラグである。associated_parameter_set_flagが０の場合、VPSにより関連付けられることを示し、associated_parameter_set_flagが１の場合、SPSにより関連付けられることを示している。
第３行目乃至第１１行目は、associated_parameter_set_flagが０(VPS)の場合のパラメータが記述されている。第４行目のbp_video_parameter_set_idは、どのVPSと対応しているかを示し、第５行目のvps_num_bp_parametersは、bp_parameterを何個送るかを示している。
第７行目のbp_layer_set_idxは、各bp_parameterがどのレイヤーセットに対応しているかを示し、第１０行目のlayer_buffering_periodにより、図３４および図３５のlayer_buffering_periodのシンタクスが読み出される。
第１２行目乃至第１５行目は、elseに示されるように、associated_parameter_set_flagが１(SPS)の場合のパラメータが記述されている。
第１３行目のbp_seq_parameter_set_idは、どのSPSと対応しているかを示し、第１４行目のlayer_buffering_periodで、図３４および図３５のlayer_buffering_periodのシンタクスが読み出される。
すなわち、図３３のシンタクスによれば、VPSの場合、階層セットの数だけ、図３４のシンタクスが読み出され、SPSの場合、１回だけ、図３４および図３５のシンタクスが読み出される。
以上のように、associated_parameter_set_flagが０(VPS)の場合、VPSで指定された階層セットに対して、バッファ管理のためのパラメータを、図３４および図３５のlayer_buffering_period_SEIシンタクスによって伝送することが可能である。
図３４および図３５のNALおよびVCLに関するパラメータの伝送において、第１８行目と第３８行目に示されるように、当該階層のみのパラメータを伝送するか否かを示すフラグであるlayer_specific_parameters_present_flagが設定されている。このフラグが１である場合、第１９行目乃至第２７行目、および第３９行目乃至第４７行目に記述される、当該階層のみのパラメータを伝送することを示している。すなわち、layer_specific_parameters_present_flagが１であるとき、図６のex11に加え、ex12のように復号処理が行われるためのパラメータの伝送を行うことが可能である。
なお、図３４および図３５の例において上述した以外は、図３２を参照して上述したbuffering_period_SEIと基本的に同様であり、それら以外の行においては、下からの階層の積み上げによる蓄積バッファのスケジュール管理のパラメータが設定されている。
以上により、buffering_period_SEIによる蓄積バッファのスケジュール管理を行う際、単一階層のみならず、階層セットの管理を行うことが可能となる。また、階層セットに含まれる全ての階層を単一の復号装置で復号する場合と、それぞれの階層を別々の復号装置で復号する場合の両方のスケジュール管理を行うことが可能となる。
＜スケーラブル符号化装置＞
buffering_period_SEIの場合のスケーラブル符号化装置の構成は、基本的にHRDパラメータの場合と同様である。したがって、上述した図１０を参照して、buffering_period_SEIの場合のスケーラブル符号化装置の構成例について説明する。
すなわち、ベースレイヤ画像符号化部１０１−１は、HRDパラメータの場合と同様に、ベースレイヤの画像情報（ベースレイヤ画像情報）を取得する。ベースレイヤ画像符号化部１０１−１は、他のレイヤを参照せずに、そのベースレイヤ画像情報を符号化し、ベースレイヤの符号化データ（ベースレイヤ符号化データ）を生成し、出力する。
エンハンスメントレイヤ画像符号化部１０１−２は、HRDパラメータの場合と同様に、エンハンスメントレイヤの画像情報（エンハンスメントレイヤ画像情報）を取得する。エンハンスメントレイヤ画像符号化部１０１−２は、そのエンハンスメントレイヤ画像情報を符号化する。その際、エンハンスメントレイヤ画像符号化部１０１−２は、必要に応じて、ベースレイヤの符号化に関する情報を参照してレイヤ間予測を行う。
また、エンハンスメントレイヤ画像符号化部１０１−２には、必要に応じて、ベースレイヤ画像符号化部１０１−１からバッファ管理情報が供給される。エンハンスメントレイヤ画像符号化部１０１−２は、HRDパラメータの場合と異なり、関連するパラメータセットを指定し、指定したパラメータセットに応じて、階層セット毎のパラメータまたはシーケンスについてのパラメータを指定する。そして、エンハンスメントレイヤ画像符号化部１０１−２は、ベースレイヤ画像符号化部１０１−１からのバッファ管理情報を参照して、指定されたパラメータを設定する。
さらに、エンハンスメントレイヤ画像符号化部１０１−２は、HRDパラメータの場合と異なり、layer_specific_parameters_present_flagを設定し、layer_specific_parameters_present_flagの値に応じて、階層毎のパラメータを設定する。そして、エンハンスメントレイヤ画像符号化部１０１−２は、これらの設定されたパラメータからなるbuffering_period_SEI およびlayer_buffering_period_SEIを符号化し、符号化した情報を、可逆符号化部３０１に供給する。
エンハンスメントレイヤ画像符号化部１０１−２は、このような符号化により、エンハンスメントレイヤの符号化データ（エンハンスメントレイヤ符号化データ）を生成し、出力する。
符号化制御部１０２は、HRDパラメータの場合と同様に、各レイヤ画像符号化部１０１の参照関係などを考慮して、各レイヤ画像符号化部１０１の符号化処理の制御を行う。
＜レイヤ画像符号化部の構成例＞
図３６は、buffering_period_SEIの場合のエンハンスメントレイヤ画像符号化部１０１−２の主な構成例を示すブロック図である。
なお、buffering_period_SEIの場合のベースレイヤ画像符号化部１０１−１も、対象となる画像の種類が異なるだけであり、図３６のエンハンスメントレイヤ画像符号化部１０１−２と基本的に同様な構成をしている。図３６の例においては、説明の便宜上、エンハンスメントレイヤ画像符号化部１０１−２の構成を例に説明する。
図３６のエンハンスメントレイヤ画像符号化部１０１−２は、可逆符号化部１１６が可逆符号化部３０１に入れ替わった点と、HRDタイプ設定部１２８が除かれた点と、バッファリングピリオドSEI設定部３０２が追加された点が、図１１のエンハンスメントレイヤ画像符号化部１０１−２と異なっている。
すなわち、図３６のエンハンスメントレイヤ画像符号化部１０１−２は、A/D変換部１１１、画面並べ替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部３０１、蓄積バッファ１１７、逆量子化部１１８、および逆直交変換部１１９を有する。また、エンハンスメントレイヤ画像符号化部１０１−２は、演算部１２０、ループフィルタ１２１、フレームメモリ１２２、選択部１２３、イントラ予測部１２４、動き予測・補償部１２５、予測画像選択部１２６、およびレート制御部１２７を有する。さらに、エンハンスメントレイヤ画像符号化部１０１−２は、バッファリングピリオドSEI設定部３０２を有する。
可逆符号化部３０１は、図１１の可逆符号化部１１６と同様に、量子化部１１５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１２７の制御の下で量子化されているので、この符号量は、レート制御部１２７が設定した目標値となる（若しくは目標値に近似する）。
また、可逆符号化部３０１は、可逆符号化部１１６と同様に、イントラ予測のモードを示す情報などをイントラ予測部１２４から取得し、インター予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部１２５から取得する。
さらに、可逆符号化部３０１は、可逆符号化部１１６と異なり、バッファリングピリオドSEI設定部３０２からbuffering_period_SEI に加えて、layer_buffering_period_SEIの符号化情報（シンタクス）を取得する。
そして、可逆符号化部３０１は、それらを、可逆符号化部１１６と同様に、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むエンハンスメントレイヤのNALユニットを適宜生成する。可逆符号化部３０１は、可逆符号化部１１６と同様に、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）の一部とする（多重化する）。可逆符号化部３０１は、符号化して得られた符号化データを蓄積バッファ１１７に供給して蓄積させる。
なお、可逆符号化部３０１は、可逆符号化部１１６と異なり、例えば、点線に示されるように、上位階層のエンハンスメントレイヤ画像符号化部１０１−３が存在し、そのバッファリングピリオドSEI設定部３０２から要求があった場合に、蓄積バッファ１１７の管理情報を、上位階層のエンハンスメントレイヤ画像符号化部１０１−３に供給する。
蓄積バッファ１１７は、可逆符号化部３０１から供給された符号化データ（エンハンスメントレイヤ符号化データ）を、一時的に保持する。蓄積バッファ１１７は、所定のタイミングにおいて、保持しているエンハンスメントレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１１７は、符号化データを伝送する伝送部でもある。
バッファリングピリオドSEI設定部３０２は、関連するパラメータセットを指定し、指定したパラメータセットに応じて、階層セット毎のパラメータまたはシーケンスについてのパラメータを指定する。そして、バッファリングピリオドSEI設定部３０２は、ベースレイヤ画像符号化部１０１−１の可逆符号化部３０１（下位階層）からのバッファ管理情報を参照して、指定されたパラメータを設定する。例えば、このパラメータは、下階層からの積み上げのパラメータである。さらに、バッファリングピリオドSEI設定部３０２は、layer_specific_parameters_present_flagを設定し、設定されたlayer_specific_parameters_present_flagの値に応じて、階層毎のパラメータを設定する。
バッファリングピリオドSEI設定部３０２は、以上のようにして設定されたパラメータからなるbuffering_period_SEI およびlayer_buffering_period_SEIを符号化し、可逆符号化部３０１に供給する。
＜バッファリングピリオドSEI設定部の構成例＞
図３７は、図３６のバッファリングピリオドSEI設定部の構成例を示すブロック図である。
図３７の例においては、バッファリングピリオドSEI設定部３０２は、関連パラメータセット設定部３１１、階層セットバッファ３１２、レイヤバッファリングピリオドSEI設定部３１３、および階層毎パラメータ伝送指定部３１４を含むように構成されている。
関連パラメータセット設定部３１１は、ユーザの操作に対応して、associsted_parameter_set_flagに関する指定を行う。すなわち、ユーザにより、buffering_period_SEIがVPSに関連付けられる（フラグ＝０）のか、SPSに関連付けられる（フラグ＝１）のかが指示される。関連パラメータセット設定部３１１は、associsted_parameter_set_flagの値を指定し、指定した値を、可逆符号化部３０１に供給するとともに、レイヤバッファリングピリオドSEI設定部３１３にも供給する。
associsted_parameter_set_flag＝０の場合、すなわち、buffering_period_SEIがVPSに関連付けられる場合、エンハンスメントレイヤ画像圧縮情報のVPSに格納されている階層セットに関する情報が、可逆符号化部３０１より階層セットバッファ３１２に供給されて蓄積される。階層セットバッファ３１２は、階層セットに関する情報を蓄積し、所定のタイミングで、レイヤバッファリングピリオドSEI設定部３１３に供給する。
また、ベースレイヤ画像符号化部１０１−１の可逆符号化部３０１から、ベースレイヤにおけるバッファ管理情報がレイヤバッファリングピリオドSEI設定部３１３に供給される。
階層毎パラメータ伝送指定部３１４は、ユーザ操作に対応して、layer_specific_parameters_present_flagの指定を行う。すなわち、ユーザにより、階層毎のパラメータ設定を行うのか否かを示すlayer_specific_parameters_present_flagの値が指示される。階層毎パラメータ伝送指定部３１４は、layer_specific_parameters_present_flagの値を指定し、指定した値を、可逆符号化部３０１に供給するとともに、レイヤバッファリングピリオドSEI設定部３１３にも供給する。
レイヤバッファリングピリオドSEI設定部３１３は、buffering_period_SEI およびlayer_buffering_period_SEIの符号化処理を行い、それらの符号化情報を、可逆符号化部３０１に供給する。
具体的には、レイヤバッファリングピリオドSEI設定部３１３は、関連パラメータセット設定部３１１からのassocisted_parameter_set_flagに応じて、ベースレイヤ画像符号化部１０１−１の可逆符号化部３０１（下位階層）からのバッファ管理情報を参照し、指定されたパラメータを設定する。すなわち、レイヤバッファリングピリオドSEI設定部３１３は、associsted_parameter_set_flagの値が１（＝VPS）である場合、階層セットバッファ３１２からの階層セットに関する情報に基づいて、階層セット毎にパラメータを設定する。また、レイヤバッファリングピリオドSEI設定部３１３は、associsted_parameter_set_flagの値が０（＝SPS）である場合、シーケンスについてのパラメータを設定する。
さらに、レイヤバッファリングピリオドSEI設定部３１３は、layer_specific_parameters_present_flagの値に応じて、すなわち、layer_specific_parameters_present_flagの値が１である場合、階層毎のパラメータを設定する。そして、レイヤバッファリングピリオドSEI設定部３１３は、設定されたパラメータなどからなるbuffering_period_SEI およびlayer_buffering_period_SEIを符号化し、可逆符号化部３０１に供給する。
＜符号化処理の流れ＞
次に、buffering_period_SEIの場合のスケーラブル符号化装置１００により実行される各処理の流れについて説明する。なお、符号化処理の流れは、図１４を参照して上述した符号化処理の流れと基本的に同様であるので、その説明は省略される。
＜レイヤ符号化処理の流れ＞
次に、図３８のフローチャートを参照して、図１４のステップＳ１０２におけるレイヤ符号化処理について説明する。なお、図３８のステップＳ３１１乃至Ｓ３２３、Ｓ３２６、およびＳ３２７は、図１５のステップＳ１１１乃至Ｓ１２３、Ｓ１２６、およびＳ１２７と基本的にほぼ同様の処理を行うので、その説明は省略される。
すなわち、バッファリングピリオドSEI設定部３０２は、ステップＳ３２４において、バッファリングピリオドSEI符号化処理を行う。このバッファリングピリオドSEI符号化処理については、図３９を参照して後述するが、この処理により、各パラメータが設定されて、設定されたパラメータからなるbuffering_period_SEI およびlayer_buffering_period_SEIの情報が符号化されて、可逆符号化部３０１に供給される。
ステップＳ３２５において、可逆符号化部３０１は、ステップＳ３１８の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
また、このとき、可逆符号化部３０１は、ステップＳ３１５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部３０１は、イントラ予測部１２４から供給される最適イントラ予測モード情報、または、動き予測・補償部１２５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。さらに、可逆符号化部３０１は、ステップＳ３２４の処理により供給されたbuffering_period_SEI およびlayer_buffering_period_SEIの符号化情報（シンタクス）なども所定の符号化方式で符号化し、符号化データに付加する。
＜バッファリングピリオドSEI設定処理の流れ＞
次に、図３９のフローチャートを参照して、図３８のステップＳ３２４のバッファリングピリオドSEI符号化処理について説明する。
例えば、階層セットバッファ３１２は、階層セットに関する情報を蓄積し、所定のタイミングで、レイヤバッファリングピリオドSEI設定部３１３に供給している。
ステップＳ３３１において、関連パラメータセット設定部３１１は、ユーザの操作に対応して、関連するパラメータセットを指定する。すなわち、ユーザにより、buffering_period_SEIがVPSに関連付けられる（フラグ＝０）のか、SPSに関連付けられる（フラグ＝１）のかが指定される。
ステップＳ３３２において、関連パラメータセット設定部３１１は、関連するパラメータセットがVPSであるか否かを判定する。ステップＳ３３２において、VPSであると判定された場合、処理は、ステップＳ３３３に進む。
ステップＳ３３３において、関連パラメータセット設定部３１１は、階層セット毎にパラメータを指定する。すなわち、関連パラメータセット設定部３１１は、associsted_parameter_set_flagの値（フラグ＝０）を指定し、指定した値を、可逆符号化部３０１に供給するとともに、レイヤバッファリングピリオドSEI設定部３１３にも供給する。
このとき、可逆符号化部３０１により、エンハンスメントレイヤ画像圧縮情報のVPSに格納されている階層セットに関する情報が、階層セットバッファ３１２に供給されて蓄積される。そして、レイヤバッファリングピリオドSEI設定部３１３は、ベースレイヤ画像符号化部１０１−１の可逆符号化部３０１（下位階層）からのバッファ管理情報を参照し、階層セットバッファ３１２からの階層セットに関する情報に基づいて、階層セット毎にパラメータを設定する。
一方、ステップＳ３３２においてVPSではないと判定された場合、処理は、ステップＳ３３４に進む。
ステップＳ３３４において、関連パラメータセット設定部３１１は、シーケンスについてパラメータを指定する。すなわち、関連パラメータセット設定部３１１は、associsted_parameter_set_flagの値（フラグ＝１）を指定し、指定した値を、可逆符号化部３０１に供給するとともに、レイヤバッファリングピリオドSEI設定部３１３にも供給する。
レイヤバッファリングピリオドSEI設定部３１３は、ベースレイヤ画像符号化部１０１−１の可逆符号化部３０１（下位階層）からのバッファ管理情報を参照し、シーケンスについてパラメータを設定する。
ステップＳ３３５において、階層毎パラメータ伝送指定部３１４は、ユーザ操作に対応して、layer_specific_parameters_present_flagの設定を行う。すなわち、ユーザにより、階層毎のパラメータ設定を行うのか否かを示すlayer_specific_parameters_present_flagの値が指定される。
階層毎パラメータ伝送指定部３１４は、設定したlayer_specific_parameters_present_flagの値を、可逆符号化部３０１に供給するとともに、レイヤバッファリングピリオドSEI設定部３１３にも供給する。
レイヤバッファリングピリオドSEI設定部３１３は、ステップＳ３３６において、layer_specific_parameters_present_flagの値が１であるか否かを判定する。ステップＳ３３６において、layer_specific_parameters_present_flagの値が１であると判定された場合、処理は、ステップＳ３３７に進む。
ステップＳ３３７において、レイヤバッファリングピリオドSEI設定部３１３は、階層毎のパラメータを設定する。
また、ステップＳ３３６において、layer_specific_parameters_present_flagの値が０であると判定された場合、ステップＳ３３７の処理はスキップされる。
ステップＳ３３８において、レイヤバッファリングピリオドSEI設定部３１３は、上述したようにして設定されたパラメータからなるbuffering_period_SEI およびlayer_buffering_period_SEIを符号化し、可逆符号化部３０１に供給する。
以上のように、SPSだけでなく、VPSにも関連するようにしたので、buffering_period_SEIによる蓄積バッファのスケジュール管理を行う際、単一階層のみならず、階層セットの管理を行うことが可能となる。
また、レイヤ（階層）毎のパラメータを送れるようにしたので、階層セットに含まれる全ての階層を単一の復号装置で復号する場合と、それぞれの階層を別々の復号装置で復号する場合の両方のスケジュール管理を行うことが可能となる。
＜スケーラブル復号装置＞
buffering_period_SEIの場合のスケーラブル復号装置の構成は、基本的にHRDパラメータの場合と同様である。したがって、上述した図２０を参照して、buffering_period_SEIの場合のスケーラブル復号装置の構成例について説明する。
すなわち、ベースレイヤ画像復号部２０１−１は、図１０のベースレイヤ画像符号化部１０１−１に対応する画像復号部であり、HRDパラメータの場合と同様に、例えばベースレイヤ画像符号化部１０１−１によりベースレイヤ画像情報が符号化されて得られたベースレイヤ符号化データを取得する。ベースレイヤ画像復号部２０１−１は、他のレイヤを参照せずに、そのベースレイヤ符号化データを復号し、ベースレイヤ画像情報を再構築し、出力する。
エンハンスメントレイヤ画像復号部２０１−２は、エンハンスメントレイヤ画像符号化部１０１−２に対応する画像復号部であり、HRDパラメータの場合と同様に、例えばエンハンスメントレイヤ画像符号化部１０１−２によりエンハンスメントレイヤ画像情報が符号化されて得られたエンハンスメントレイヤ符号化データを取得する。エンハンスメントレイヤ画像復号部２０１−２は、そのエンハンスメントレイヤ符号化データを復号する。その際、エンハンスメントレイヤ画像復号部２０１−２は、必要に応じて、ベースレイヤの復号に関する情報を参照してレイヤ間予測を行う。
また、各符号化データ（ビットストリーム）には、HRDパラメータの場合と異なり、図３３のbuffering_period_SEIと、図３４および図３５のlayer_buffering_period_SEIとが付加されて送信されてくる。エンハンスメントレイヤ画像復号部２０１−２は、HRDパラメータの場合と異なり、buffering_period_SEIから、関連するパラメータセットに関する情報を取得し、取得した情報が示すパラメータセットに応じて、階層セット毎のパラメータまたはシーケンスについてのパラメータを復号する。
さらに、エンハンスメントレイヤ画像復号部２０１−２は、HRDパラメータの場合と異なり、layer_buffering_period_SEIからlayer_specific_parameters_present_flagを受信し、layer_specific_parameters_present_flagの値に応じて、階層毎のパラメータを復号する。そして、エンハンスメントレイヤ画像復号部２０１−２は、復号したこれらのパラメータに基づいて、蓄積バッファの監視を行う。
なお、階層毎のパラメータではない、すなわち、下階層から積み上げたパラメータの場合、エンハンスメントレイヤ画像復号部２０１−２は、ベースレイヤ画像復号部２０１−１の可逆復号部３５１からのバッファ管理情報を参照して、蓄積バッファの監視を行う。
エンハンスメントレイヤ画像復号部２０１−２は、このような復号により、エンハンスメントレイヤの符号化データを復号し、エンハンスメントレイヤ画像情報を再構築し、出力する。
復号制御部２０２は、HRDパラメータの場合と同様に、各レイヤ画像復号部２０１の参照関係などを考慮して、各レイヤ画像復号部２０１の復号処理の制御を行う。
＜レイヤ画像復号部の構成例＞
図４０は、buffering_period_SEIの場合のエンハンスメントレイヤ画像復号部２０１−２の主な構成例を示すブロック図である。
なお、buffering_period_SEIの場合のベースレイヤ画像復号部２０１−１も、対象となる画像の種類が異なるだけであり、図４０のエンハンスメントレイヤ画像復号部２０１−２と基本的に同様な構成をしている。図４０の例においては、説明の便宜上、エンハンスメントレイヤ画像復号部２０１−２の構成を例に説明する。
図４０のエンハンスメントレイヤ画像復号部２０１−２は、可逆復号部２１２が可逆復号部３５１に入れ替わった点と、HRDタイプ復号部２２４が除かれた点と、バッファリングピリオドSEI復号部３５２が追加された点が、図２１のエンハンスメントレイヤ画像復号部２０１−２と異なっている。
すなわち、エンハンスメントレイヤ画像復号部２０１−２は、蓄積バッファ２１１、可逆復号部３５１、逆量子化部２１３、逆直交変換部２１４、演算部２１５、ループフィルタ２１６、画面並べ替えバッファ２１７、およびD/A変換部２１８を有する。また、エンハンスメントレイヤ画像復号部２０１−２は、フレームメモリ２１９、選択部２２０、イントラ予測部２２１、動き予測・補償部２２２、および選択部２２３を有する。さらに、エンハンスメントレイヤ画像復号部２０１−２は、バッファリングピリオドSEI復号部３５２を有する。
蓄積バッファ２１１は、伝送されてきたエンハンスメントレイヤ符号化データを受け取る受け取り部でもある。このエンハンスメントレイヤ符号化データには、予測モード情報などの復号に必要な情報が付加されている。エンハンスメントレイヤ符号化データには、図３３のbuffering_period_SEIと、図３４および図３５のlayer_buffering_period_SEIが付加されている。蓄積バッファ２１１は、伝送されてきたエンハンスメントレイヤ符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部２１２に供給する。
また、蓄積バッファ２１１は、バッファリングピリオドSEI復号部３５２からのlayer_buffering_period_SEI復号情報を受け取り、layer_buffering_period_SEI復号情報に基づいて、バッファ管理を行う。
可逆復号部３５１は、図２１の可逆復号部２１２と同様に、蓄積バッファ２１１より供給された、可逆符号化部３０１により符号化された情報を、可逆符号化部３０１の符号化方式に対応する方式で復号する。可逆復号部３５１は、復号して得られた差分画像の量子化された係数データを、逆量子化部２１３に供給する。
また、可逆復号部３５１は、可逆復号部２１２と同様に、エンハンスメントレイヤ符号化データに含まれるビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むNALユニットを適宜抽出し、取得する。可逆復号部３５１は、可逆復号部２１２と同様に、それらの情報から、最適な予測モードに関する情報を抽出し、その情報に基づいて最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部２２１および動き予測・補償部２２２の内、選択されたと判定したモードの方に供給する。
つまり、例えば、エンハンスメントレイヤ画像復号部２０１−２において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部２２１に供給される。また、例えば、エンハンスメントレイヤ画像復号部２０１−２において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き予測・補償部２２２に供給される。
さらに、可逆復号部３５１は、可逆復号部２１２と同様に、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報をNALユニット等から抽出し、それを逆量子化部２１３に供給する。また、可逆復号部３５１は、可逆復号部２１２と異なり、例えば、図３３のbuffering_period_SEIと、図３４および図３５のlayer_buffering_period_SEIをパースして分離し、バッファリングピリオドSEI復号部３５２に供給する。
バッファリングピリオドSEI復号部３５２は、可逆復号部３５１からのbuffering_period_SEI のassocisted_parameter_set_flagに応じて、階層セット毎のパラメータまたはシーケンスについてのパラメータを復号する。すなわち、レイヤバッファリングピリオドSEI復号部３５２は、associsted_parameter_set_flagの値が０（＝VPS）である場合、階層セットバッファ３１２からの階層セットに関する情報に基づいて、階層セット毎にパラメータを受信する。そして、レイヤバッファリングピリオドSEI復号部３５２は、ベースレイヤ画像復号部２０１−１の可逆復号部（下位階層）３５１からのベースレイヤバッファ管理情報を参照して、受信した階層セット毎のパラメータを復号する。
また、レイヤバッファリングピリオドSEI設定部３１３は、associsted_parameter_set_flagの値が１（＝SPS）である場合、シーケンスについてのパラメータを受信する。そして、レイヤバッファリングピリオドSEI復号部３５２は、ベースレイヤ画像復号部２０１−１の可逆復号部（下位階層）３５１からのベースレイヤバッファ管理情報を参照して、受信したシーケンスについてのパラメータを復号する。
さらに、バッファリングピリオドSEI復号部３５２は、可逆復号部３５１からのlayer_buffering_period_SEIのlayer_specific_parameters_present_flagを受信し、その値に応じて、すなわち、layer_specific_parameters_present_flagの値が１である場合、階層毎のパラメータを受信し、復号する。そして、レイヤバッファリングピリオドSEI復号部３５２は、associsted_parameter_set_flagとlayer_specific_parameters_present_flagに応じて復号されたlayer_buffering_period_SEI復号情報を蓄積バッファ２１１に供給する。
なお、例えば、点線に示されるように、上位階層のエンハンスメントレイヤ画像復号部２０１−３が存在し、そのバッファリングピリオドSEI復号部３５２から要求があった場合に、可逆復号部３５１は、蓄積バッファ２１１の管理情報を上位階層のエンハンスメントレイヤ画像復号部２０１−３に供給する。
＜バッファリングピリオドSEI復号部の構成例＞
図４１は、図４０のバッファリングピリオドSEI復号部の構成例を示すブロック図である。
図４１の例においては、バッファリングピリオドSEI復号部３５２は、関連パラメータセット復号部３６１、階層セットバッファ３６２、レイヤバッファリングピリオドSEI復号部３６３、および階層毎パラメータ伝送受信部３６４を含むように構成されている。
可逆復号部３５１は、buffering_period_SEI およびlayer_buffering_period_SEIをパースして分離し、buffering_period_SEI符号化情報と、その中のassociated_parameter_set_flagを関連パラメータセット復号部３６１に供給する。また、可逆復号部３５１は、layer_buffering_period_SEI符号化情報をレイヤバッファリングピリオドSEI復号部３６３に供給し、その中のlayer_specific_parameters_present_flagを階層毎パラメータ伝送受信部３６４に供給する。
関連パラメータセット復号部３６１は、可逆復号部３５１からのassocisted_parameter_set_flagを受信し、その値に応じて、buffering_period_SEI符号化情報を解釈する。すなわち、関連パラメータセット復号部３６１は、associsted_parameter_set_flagの値に応じて、buffering_period_SEI符号化情報から必要な情報を取得し、レイヤバッファリングピリオドSEI復号部３６３に供給する。
可逆復号部３５１は、associsted_parameter_set_flag＝０の場合、すなわち、buffering_period_SEIがVPSに関連付けられる場合、エンハンスメントレイヤ画像圧縮情報のVPSに格納されている階層セットに関する情報を階層セットバッファ３６２に供給する。階層セットバッファ３６２は、階層セットに関する情報を蓄積し、所定のタイミングで、レイヤバッファリングピリオドSEI復号部３６３に供給する。
レイヤバッファリングピリオドSEI復号部３６３は、関連パラメータセット復号部３６１からのassocisted_parameter_set_flagに応じ、ベースレイヤ画像復号部２０１−１の可逆復号部（下位階層）３５１からのベースレイヤバッファ管理情報を参照し、layer_buffering_period_SEI符号化情報を解釈する。そして、レイヤバッファリングピリオドSEI復号部３６３は、解釈した符号化情報を用いて、階層セット毎のパラメータ、またはシーケンスについてのパラメータを復号する。
すなわち、レイヤバッファリングピリオドSEI復号部３６３は、associsted_parameter_set_flagの値が１（＝VPS）である場合、階層セットバッファ３６２からの階層セットに関する情報に基づいて、階層セット毎にパラメータを復号する。また、レイヤバッファリングピリオドSEI復号部３６３は、associsted_parameter_set_flagの値が０（＝SPS）である場合、シーケンスについてのパラメータを復号する。
また、レイヤバッファリングピリオドSEI復号部３６３は、階層毎パラメータ伝送受信部３６４からのlayer_specific_parameters_present_flagを受信し、その値に応じて、layer_buffering_period_SEI符号化情報を解釈する。layer_specific_parameters_present_flagの値が１である場合、レイヤバッファリングピリオドSEI復号部３６３は、階層毎のパラメータを復号する。
そして、レイヤバッファリングピリオドSEI復号部３６３は、associsted_parameter_set_flagとlayer_specific_parameters_present_flagに応じて復号されたlayer_buffering_period_SEI復号情報を蓄積バッファ２１１に供給する。
階層毎パラメータ伝送受信部３６４は、layer_specific_parameters_present_flagの値を解釈し、解釈したlayer_specific_parameters_present_flagの値をレイヤバッファリングピリオドSEI復号部３６３に供給する。
＜復号処理の流れ＞
次に、buffering_period_SEIの場合のスケーラブル復号装置２００により実行される各処理の流れについて説明する。なお、復号処理の流れは、図２３を参照して上述した復号処理の流れと基本的に同様であるので、その説明は省略される。
＜レイヤ復号処理の流れ＞
次に、図４２のフローチャートを参照して、図２３のステップＳ２０２におけるレイヤ復号処理について説明する。なお、図４２のステップＳ３５１、およびＳ３５４乃至Ｓ３６１は、図２４のステップＳ２１１、およびＳ２１４乃至Ｓ２２１と基本的にほぼ同様の処理を行うので、その説明は省略される。
すなわち、可逆復号部３５１は、ステップＳ３５２において、蓄積バッファ２１１から供給されるエンハンスメントレイヤのビットストリーム（符号化された差分画像情報）を復号する。すなわち、可逆符号化部３０１により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。例えば、可逆復号部３５１はbuffering_period_SEI およびlayer_buffering_period_SEIをパースして分離し、バッファリングピリオドSEI復号部３５２に供給する。
ステップＳ３５３において、バッファリングピリオドSEI復号部３５２は、バッファリングピリオドSEI復号処理を行う。このバッファリングピリオドSEI復号処理は、図４３を参照して後述される。
ステップＳ３５３によりlayer_buffering_period_SEIが復号されて、layer_buffering_period_SEI復号情報が、蓄積バッファ２１１に供給される。そして、蓄積バッファ２１１において、layer_buffering_period_SEI復号情報に基づいて、バッファ管理が行われる。
＜バッファリングピリオドSEI復号処理の流れ＞
次に、図４３のフローチャートを参照して、図４２のステップＳ３５３のバッファリングピリオドSEI復号処理について説明する。
可逆復号部３５１は、buffering_period_SEI およびlayer_buffering_period_SEIをパースして分離し、buffering_period_SEI符号化情報と、その中のassociated_parameter_set_flagを関連パラメータセット復号部３６１に供給する。また、可逆復号部３５１は、layer_buffering_period_SEI符号化情報をレイヤバッファリングピリオドSEI復号部３６３に供給し、その中のlayer_specific_parameters_present_flagを階層毎パラメータ伝送受信部３６４に供給する。
ステップＳ３７１において、関連パラメータセット復号部３６１は、可逆復号部３５１からの関連するパラメータセットに関する情報であるassocisted_parameter_set_flagを受信する。ステップＳ３７２において、関連パラメータセット復号部３６１は、可逆復号部３５１からのassocisted_parameter_set_flagの値を参照して、関連するパラメータセットがVPSであるか否かを判定する。
ステップＳ３７２において、associsted_parameter_set_flagの値が０であり、関連するパラメータセットがVPSであると判定された場合、処理は、ステップＳ３７３に進む。このとき、関連パラメータセット復号部３６１は、buffering_period_SEI符号化情報から必要な情報（階層セット毎のパラメータに関する情報）を取得し、レイヤバッファリングピリオドSEI復号部３６３に供給する。
これに対応して、レイヤバッファリングピリオドSEI復号部３６３は、関連パラメータセット復号部３６１からのassocisted_parameter_set_flag＝１に応じ、buffering_period_SEI符号化情報からの必要な情報と、ベースレイヤ画像復号部２０１−１の可逆復号部（下位階層）３５１からのベースレイヤバッファ管理情報をと参照し、layer_buffering_period_SEI符号化情報を解釈する。そして、レイヤバッファリングピリオドSEI復号部３６３は、ステップＳ３７３において、解釈した符号化情報を用いて、階層セット毎のパラメータを復号する。レイヤバッファリングピリオドSEI復号部３６３は、階層セット毎のパラメータを復号したものである、layer_buffering_period_SEI復号情報を、蓄積バッファ２１１に供給する。
また、ステップＳ３７２において、associsted_parameter_set_flagの値が１であり、関連するパラメータセットがVPSではない、すなわち、SPSであると判定された場合、処理は、ステップＳ３７４に進む。このとき、関連パラメータセット復号部３６１は、buffering_period_SEI符号化情報から必要な情報（シーケンスについてのパラメータに関する情報）を取得し、レイヤバッファリングピリオドSEI復号部３６３に供給する。
これに対応して、レイヤバッファリングピリオドSEI復号部３６３は、関連パラメータセット復号部３６１からのassocisted_parameter_set_flag＝０に応じ、buffering_period_SEI符号化情報からの必要な情報と、ベースレイヤ画像復号部２０１−１の可逆復号部（下位階層）３５１からのベースレイヤバッファ管理情報をと参照し、layer_buffering_period_SEI符号化情報を解釈する。そして、レイヤバッファリングピリオドSEI復号部３６３は、ステップＳ３７４において、解釈した符号化情報を用いて、シーケンスについてのパラメータを復号する。レイヤバッファリングピリオドSEI復号部３６３は、シーケンスについてのパラメータを復号したものである、layer_buffering_period_SEI復号情報を、蓄積バッファ２１１に供給する。
ステップＳ３７５において、階層毎パラメータ伝送受信部３６４は、可逆復号部３５１からのlayer_specific_parameters_present_flagを受信する。階層毎パラメータ伝送受信部３６４は、layer_specific_parameters_present_flagの値を解釈し、解釈したlayer_specific_parameters_present_flagの値をレイヤバッファリングピリオドSEI復号部３６３に供給する。
レイヤバッファリングピリオドSEI復号部３６３は、ステップＳ３７６において、layer_specific_parameters_present_flagの値が１であるか否かを判定する。ステップＳ３７６において、layer_specific_parameters_present_flagの値が１であると判定された場合、処理は、ステップＳ３７７に進む。
ステップＳ３７７において、レイヤバッファリングピリオドSEI復号部３６３は、layer_buffering_period_SEI符号化情報を解釈して、階層毎のパラメータを復号する。レイヤバッファリングピリオドSEI復号部３６３は、階層毎のパラメータを復号したものであるlayer_buffering_period_SEI復号情報を蓄積バッファ２１１に供給する。
また、ステップＳ３７６において、layer_specific_parameters_present_flagの値が０であると判定された場合、ステップＳ３７７は、スキップされる。
以上のように、SPSだけでなく、VPSにも関連するようにしたので、buffering_period_SEIによる蓄積バッファのスケジュール管理を行う際、単一階層のみならず、階層セットの管理を行うことが可能となる。
また、レイヤ（階層）毎のパラメータを送れるようにしたので、階層セットに含まれる全ての階層を単一の復号装置で復号する場合と、それぞれの階層を別々の復号装置で復号する場合の両方のスケジュール管理を行うことが可能となる。
＜５．第５の実施の形態＞
＜AVCフラグについて＞
ところで、図６を参照して上述したように、当該画像圧縮情報もしくは当該サブ画像圧縮情報における、hdr_parameters ()によるバッファ管理のためのパラメータとして、参照する階層を含み、単一の復号装置により復号処理を行うex11のケースに加え、それぞれの階層を別々の復号装置により復号処理を行うex12のケースのためのものを定義できるようにすることが提案されている。
しかしながら、下位階層であるBL（ベースレイヤ）がAVCにより符号化され、上位階層であるEL（エンハンスメントレイヤ）がHEVCにより符号化されている場合、BLとELとを単一の復号装置により処理する例は、その実現が困難であった。
そこで、Vps_extention()において、ベースレイヤがAVCにより符号化されていることを示すフラグであるavc_base_layer_flagを伝送する。そして、 avc_base_layer_flag＝１である場合、ex11の例のパラメータの伝送を禁止する。なお、これは、セマンティクスによる拘束により実現される。また、avc_base_layer_flagは、以下、AVCフラグとも称する。
＜AVCフラグの場合のHRDパラメータ符号化処理＞
次に、図４４のフローチャートを参照して、図１５のステップＳ１２４のHRDパラメータ符号化処理の他の例について説明する。なお、図４４のステップＳ４１３乃至Ｓ４１８は、図１６のステップＳ１３２乃至Ｓ１３７と基本的に同様の処理を行い、その説明は繰り返しになるので省略される。
例えば、図１２の可逆符号化部１１６は、Vps_extentionのavc_base_layer_flagをHRDパラメータタイプ設定部１４３に供給する。
ステップＳ４１１において、HRDパラメータタイプ設定部１４３は、可逆符号化部１１６からのavc_base_layer_flag（AVCフラグ）の値を確認する。
ステップＳ４１２において、HRDパラメータタイプ設定部１４３は、HRDパラメータタイプを設定する。なお、このとき、ステップＳ４１１により確認されたavc_base_layer_flag（AVCフラグ）の値が１である場合、ベースレイヤがAVCにより符号化されており、当該階層およびそれ以下の階層を含んだ復号処理を行う処理が禁止されることを示している。したがって、HRDパラメータタイプ設定部１４３は、HRDパラメータタイプを、当該階層のみの復号処理を行うための値である１に設定する。
ステップＳ４１１により確認されたavc_base_layer_flag（AVCフラグ）の値が０である場合、図１６のステップＳ１３１と同様に、HRDパラメータタイプ設定部１４３は、ユーザの指示に対応して、HRDパラメータタイプを設定する。
HRDパラメータタイプ設定部１４３は、設定したHRDパラメータタイプを示すフラグを、可逆符号化部１１６および階層HRDパラメータ算出部１４１に供給する。
以上のように、Vps_extention()において、ベースレイヤがAVCにより符号化されているavc_base_layer_flag＝１である場合、HRDパラメータタイプを、当該階層のみの復号処理を行うための値である１に設定するようにした。これにより、ベースレイヤがAVCにより符号化されている場合、復号側では、当該階層およびそれ以下の階層を含んだ復号処理を行う処理が禁止されるので、イリーガルなビットストリームを復号側で受け取ることが抑制される。
なお、上記セマンティクスは、buffering_period_SEIの場合にも適用することができる。
＜AVCフラグの場合のバッファリングピリオドSEI符号化処理＞
次に、図４５のフローチャートを参照して、図３８のステップＳ３２４のバッファリングピリオドSEI符号化処理の他の例について説明する。なお、図４５のステップＳ４３１乃至Ｓ４３４、およびＳ４３７乃至Ｓ４３９は、図３９のステップＳ３３１乃至Ｓ３３４、およびＳ３３６乃至Ｓ３３８と基本的に同様の処理を行い、その説明は繰り返しになるので省略される。
例えば、図３７の可逆符号化部３０１は、Vps_extentionのavc_base_layer_flagを階層毎パラメータ伝送指定部３１４に供給する。
ステップＳ４３５において、階層毎パラメータ伝送指定部３１４は、可逆符号化部３０１からのavc_base_layer_flag（AVCフラグ）の値を確認する。
ステップＳ４３６において、階層毎パラメータ伝送指定部３１４は、layer_specific_parameters_present_flagの設定を行う。なお、このとき、ステップＳ４３５により確認されたavc_base_layer_flag（AVCフラグ）の値が１である場合、ベースレイヤがAVCにより符号化されており、当該階層およびそれ以下の階層を含んだ復号処理を行う処理が禁止されることを示している。したがって、階層毎パラメータ伝送指定部３１４は、layer_specific_parameters_present_flagを、階層毎のパラメータ設定を行うことを示す値である１に設定する。なお、layer_specific_parameters_present_flag＝１の場合、下階層からの積み上げのパラメータを設定しないようにしてもよい。
ステップＳ４３５により確認されたavc_base_layer_flag（AVCフラグ）の値が０である場合、図３９のステップＳ３３５と同様に、階層毎パラメータ伝送指定部３１４は、ユーザ操作に対応して、layer_specific_parameters_present_flagの設定を行う。
階層毎パラメータ伝送指定部３１４は、設定したlayer_specific_parameters_present_flagの値を、可逆符号化部３０１に供給するとともに、レイヤバッファリングピリオドSEI設定部３１３にも供給する。また、ベースレイヤ画像符号化部１０１−１の可逆符号化部３０１から、ベースレイヤにおけるバッファ管理情報がレイヤバッファリングピリオドSEI設定部３１３に供給される。
以上のように、Vps_extention()において、avc_base_layer_flag＝１である場合、layer_specific_parameters_present_flagを、階層毎のパラメータ設定を行うことを示す値である１に設定するようにした。これにより、ベースレイヤがAVCにより符号化されている場合、復号側では、当該階層およびそれ以下の階層を含んだ復号処理を行う処理が禁止されるので、イリーガルなビットストリームを復号側で受け取ることが抑制される。
以上においては、スケーラブル符号化により画像データが階層化されて複数レイヤ化されるように説明したが、そのレイヤ数は任意である。また、例えば、一部のピクチャが階層化されるようにしてもよい。また、以上においては、符号化・復号において、エンハンスメントレイヤは、ベースレイヤを参照して処理されるように説明したが、これに限らず、エンハンスメントレイヤが、処理済の他のエンハンスメントレイヤを参照して処理されるようにしてもよい。
また、以上に説明したレイヤには、多視点画像符号化・復号におけるビューも含まれる。つまり、本技術は、多視点画像符号化・多視点画像復号に適用することができる。図４６は、多視点画像符号化方式の一例を示す。
＜６．第６の実施の形態＞
[多視点画像符号化・多視点画像復号への適用]
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図４６は、多視点画像符号化方式の一例を示す。
図４６に示されるように、多視点画像は、複数の視点（ビュー（view））の画像を含む。この多視点画像の複数のビューは、他のビューの画像を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの画像を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューは、ベースビューの画像を利用するようにしても良いし、他のノンベースビューの画像を利用するようにしてもよい。
図４６のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、第１の実施の形態および第２の実施の形態において上述した方法を適用するようにしてもよい。このようにすることにより、正しいタイミングで復号処理を行うことができる。
さらに、各ビューの符号化・復号において、第１の実施の形態および第２の実施の形態において上述した方法において使用されるフラグやパラメータを共有するようにしてもよい。このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量（符号量）を低減することができる（つまり、符号化効率の低減を抑制することができる）。
より具体的には、例えば、HRDパラメータタイプフラグやHRDパラメータ、またはbuffering_period_SEI およびlayer_buffering_period_SEI等を、各ビューの符号化・復号において共有するようにしてもよい。
もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。
[多視点画像符号化装置の構成例]
図４７は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図４７に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。
符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、スケーラブル符号化装置１００（図１０）を適用することができる。つまり、各ビューに対する符号化において、ビュー毎にHRDパラメータタイプフラグやHRDパラメータを設定することができ、正しいタイミングで復号処理を行うことができる。また、符号化部６０１および符号化部６０２は、互いに同一のHRDパラメータタイプフラグやHRDパラメータを用いることもできる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率の低減を抑制することができたり、また、正しいタイミングで復号処理を行うことができる。なお、buffering_period_SEI およびlayer_buffering_period_SEIについても同様にすることで同様に符号化効率の低減を抑制することができたり、また、正しいタイミングで復号処理を行うことができる。
[多視点画像復号装置の構成例]
図４８は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図４８に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。
逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、スケーラブル復号装置２００（図２０）を適用することができる。つまり、各ビューに対する符号化において、ビュー毎にHRDパラメータタイプフラグやHRDパラメータを設定することができ、正しいタイミングで復号処理を行うことができる。また、復号部６１２および復号部６１３は、互いに同一のHRDパラメータタイプフラグやHRDパラメータを用いることもできる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率の低減を抑制することができたり、また、正しいタイミングで復号処理を行うことができる。なお、buffering_period_SEI およびlayer_buffering_period_SEIについても同様にすることで同様に符号化効率の低減を抑制することができたり、また、正しいタイミングで復号処理を行うことができる。
以上のように、本技術の適用範囲は、スケーラブルな符号化・復号方式に基づくあらゆる画像符号化装置及び画像復号装置に適用することができる。
また、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれる直交変換装置若しくは逆直交変換装置にも適用することができる。
＜７．第７の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図４９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図４９に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜８．応用例＞
［第１の応用例：テレビジョン受像機］
図５０は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係るスケーラブル復号装置２００の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、正しいタイミングで復号処理を行うことができる。
［第２の応用例：携帯電話機］
図５１は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係るスケーラブル符号化装置１００及びスケーラブル復号装置２００の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、正しいタイミングで復号処理を行うことができる。
［第３の応用例：記録再生装置］
図５２は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送部としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係るスケーラブル符号化装置１００の機能を有する。また、デコーダ９４７は、上述した実施形態に係るスケーラブル復号装置２００の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、正しいタイミングで復号処理を行うことができる。
［第４の応用例：撮像装置］
図５３は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送部としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係るスケーラブル符号化装置１００及びスケーラブル復号装置２００の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、正しいタイミングで復号処理を行うことができる。
＜９．スケーラブル符号化の応用例＞
［第１のシステム］
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図５４に示される例のように、伝送するデータの選択のために利用される。
図５４に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。
その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。
なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
［第２のシステム］
また、スケーラブル符号化は、例えば、図５５に示される例のように、複数の通信媒体を介する伝送のために利用される。
図５５に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。
端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。
端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
［第３のシステム］
また、スケーラブル符号化は、例えば、図５６に示される例のように、符号化データの記憶に利用される。
図５６に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。
スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。
このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。
以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。
なお、本明細書では、HRDパラメータタイプフラグやHRDパラメータ、またはbuffering_period_SEI およびlayer_buffering_period_SEI等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
１００ スケーラブル符号化装置， １０１ レイヤ画像符号化部， １０１−１ ベースレイヤ画像符号化部， １０１−２，１０１−３ エンハンスメントレイヤ画像符号化部， １０２ 符号化制御部， １１６ 可逆符号化部， １１７ 蓄積バッファ， １２７ HRDタイプ設定部， １３１ 部分蓄積バッファ， １３２ 全体蓄積バッファ， １４１ 階層HRDパラメータ算出部， １４２ 時間階層HRDパラメータ算出部， １４３ HRDパラメータタイプ設定部， １４４ 時間HRDパラメータタイプ設定部， ２００ スケーラブル復号装置， ２０１ レイヤ画像復号部， ２０１−１ ベースレイヤ画像復号部， ２０１−２，２０１−３ エンハンスメントレイヤ画像復号部， ２０２ 復号制御部， ２１１ 蓄積バッファ， ２１２ 可逆復号部， ２２４ HRDタイプ復号部， ２３１ 部分蓄積バッファ， ２３２ 全体蓄積バッファ， ２４１ 階層HRDパラメータ監視部， ２４２ 時間階層HRDパラメータ監視部， ２４３ HRDパラメータタイプ復号部， ２４４ 時間HRDパラメータタイプ復号部， ３０１ 可逆符号化部， ３０２ バッファリングピリオドSEI設定部， ３１１ 関連パラメータセット設定部， ３１２ 階層セットバッファ， ３１３ レイヤバッファリングピリオドSEI設定部， ３１４ 階層毎パラメータ伝送指定部， ３５１ 可逆復号部， ３５２ バッファリングピリオドSEI復号部， ３６１ 関連パラメータセット復号部， ３６２ 階層セットバッファ， ３６３ レイヤバッファリングピリオドSEI復号部， ３６４ 階層毎パラメータ伝送受信部

Claims (9)

  1. デコーダバッファを管理するパラメータが、当該レイヤのみの復号処理を行うためのパラメータであること、および当該レイヤとそれ以下のレイヤとを含む復号処理を行うためのパラメータであることの少なくとも１つを示す情報であるレイヤ毎のバッファ管理パラメータ情報を設定する設定部と、
    少なくとも１つのレイヤを含む画像を符号化し、ビットストリームを生成する符号化部と、
    前記設定部により設定された前記バッファ管理パラメータ情報と、前記符号化部により生成された前記ビットストリームとを伝送する伝送部と
    を備える画像処理装置。
  2. 前記レイヤは、サブレイヤを含む
    請求項１に記載の画像処理装置。
  3. 前記レイヤは、マルチビュー符号化のビューである
    請求項２に記載の画像処理装置。
  4. 前記レイヤは、スケーラブル符号化のレイヤである
    請求項２に記載の画像処理装置。
  5. 前記バッファ管理パラメータ情報は、SEI(Supplemental Enhancement Information)に記述されている
    請求項１に記載の画像処理装置。
  6. 前記バッファ管理パラメータ情報は、buffering_period_SEIに記述されている
    請求項５に記載の画像処理装置。
  7. 前記当該レイヤのみの復号処理を行うためのパラメータであるデコーダバッファを管理するパラメータの有無を示す情報であるパラメータ有無情報は、vps（video parameter set）_extensionに記述されている
    請求項１に記載の画像処理装置。
  8. 前記設定部は、前記当該レイヤ以下のレイヤがAVC(MPEG-4 Part10 Advanced Video Coding)符号化により符号化されていることを示すAVCフラグと、前記デコーダバッファを管理するパラメータが、当該レイヤのみの復号処理を行うためのパラメータであることを示す情報であるレイヤ毎のバッファ管理パラメータ情報とを設定する
    請求項１に記載の画像処理装置。
  9. 画像処理装置が、
    デコーダバッファを管理するパラメータが、当該レイヤのみの復号処理を行うためのパラメータであること、および当該レイヤとそれ以下のレイヤとを含む復号処理を行うためのパラメータであることの少なくとも１つを示す情報であるレイヤ毎のバッファ管理パラメータ情報を設定し、
    少なくとも１つのレイヤを含む画像を符号化し、ビットストリームを生成し、
    設定された前記バッファ管理パラメータ情報と、生成された前記ビットストリームとを伝送する
    画像処理方法。
JP2016215943A 2012-12-26 2016-11-04 画像処理装置および方法 Active JP6300046B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2012283614 2012-12-26
JP2012283614 2012-12-26
JP2013143977 2013-07-09
JP2013143977 2013-07-09
JP2013182993 2013-09-04
JP2013182993 2013-09-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014554323A Division JP6300033B2 (ja) 2012-12-26 2013-12-16 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JP2017076986A JP2017076986A (ja) 2017-04-20
JP6300046B2 true JP6300046B2 (ja) 2018-03-28

Family

ID=51020851

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014554323A Active JP6300033B2 (ja) 2012-12-26 2013-12-16 画像処理装置および方法
JP2016215943A Active JP6300046B2 (ja) 2012-12-26 2016-11-04 画像処理装置および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014554323A Active JP6300033B2 (ja) 2012-12-26 2013-12-16 画像処理装置および方法

Country Status (13)

Country Link
US (2) US10187647B2 (ja)
EP (1) EP2941003B1 (ja)
JP (2) JP6300033B2 (ja)
KR (2) KR102307026B1 (ja)
CN (2) CN104885461B (ja)
AU (2) AU2013367540B2 (ja)
BR (2) BR112015014832A2 (ja)
CA (1) CA2895093A1 (ja)
MX (2) MX367727B (ja)
MY (2) MY186153A (ja)
RU (2) RU2653315C2 (ja)
SG (2) SG10201510265XA (ja)
WO (1) WO2014103763A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6410495B2 (ja) * 2014-07-07 2018-10-24 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号装置、および画像通信システム
JP6448386B2 (ja) * 2015-01-21 2019-01-09 キヤノン株式会社 符号化装置、復号化装置及び映像送受信システム
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
US10856023B2 (en) * 2016-04-12 2020-12-01 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
US10218644B1 (en) * 2016-09-21 2019-02-26 Apple Inc. Redundant communication path transmission
EP3836556A4 (en) * 2018-08-10 2021-09-29 Sony Group Corporation RECEIVING DEVICE, RECEPTION PROCESS, TRANSMISSION DEVICE, AND TRANSMISSION PROCESS
CN112533029B (zh) * 2020-11-17 2023-02-28 浙江大华技术股份有限公司 一种视频分时传输方法、摄像装置、系统和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359846A (ja) * 2001-05-31 2002-12-13 Sanyo Electric Co Ltd 画像復号方法および装置
EP1513350A1 (en) * 2003-09-03 2005-03-09 Thomson Licensing S.A. Process and arrangement for encoding video pictures
RU2329615C2 (ru) * 2003-12-01 2008-07-20 Самсунг Электроникс Ко., Лтд. Способ масштабируемого кодирования и декодирования видеосигнала и устройство для его осуществления
WO2005071970A1 (en) * 2004-01-16 2005-08-04 General Instrument Corporation Method and apparatus for determining timing information from a bit stream
KR100714696B1 (ko) * 2005-06-24 2007-05-04 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
WO2008130528A2 (en) 2007-04-17 2008-10-30 Thomson Licensing Hypothetical reference decoder for multiview video coding
CN103281563B (zh) 2007-04-18 2016-09-07 汤姆森许可贸易公司 解码方法
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
EP2213099A1 (en) * 2007-10-15 2010-08-04 QUALCOMM Incorporated Improved enhancement layer coding for scalable video coding
RU2461978C2 (ru) * 2007-10-25 2012-09-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ масштабируемого кодирования и способ масштабируемого декодирования видеоинформации, устройства для них, программы для них и носитель записи, на котором записаны программы

Also Published As

Publication number Publication date
AU2013367540A1 (en) 2015-06-04
BR122016028746A2 (pt) 2019-08-27
EP2941003A1 (en) 2015-11-04
MX353121B (es) 2017-12-20
MY186153A (en) 2021-06-28
KR20210045502A (ko) 2021-04-26
US20150312578A1 (en) 2015-10-29
EP2941003B1 (en) 2021-07-14
SG11201504698PA (en) 2015-07-30
KR102307026B1 (ko) 2021-10-01
MY201972A (en) 2024-03-27
JP6300033B2 (ja) 2018-03-28
BR112015014832A2 (pt) 2017-07-11
AU2017200741B2 (en) 2018-01-25
WO2014103763A1 (ja) 2014-07-03
MX2015007891A (es) 2016-07-15
CN105392016B (zh) 2019-01-18
US10187647B2 (en) 2019-01-22
AU2013367540B2 (en) 2017-02-02
SG10201510265XA (en) 2016-01-28
RU2653315C2 (ru) 2018-05-07
US20190068982A1 (en) 2019-02-28
JP2017076986A (ja) 2017-04-20
JPWO2014103763A1 (ja) 2017-01-12
RU2016141278A3 (ja) 2020-02-28
RU2015124037A (ru) 2017-01-10
CA2895093A1 (en) 2014-07-03
US10412397B2 (en) 2019-09-10
AU2017200741A1 (en) 2017-02-23
KR20150099743A (ko) 2015-09-01
MX367727B (es) 2019-09-04
RU2720605C2 (ru) 2020-05-12
CN105392016A (zh) 2016-03-09
KR102242721B1 (ko) 2021-04-22
RU2016141278A (ru) 2018-12-14
EP2941003A4 (en) 2016-07-20
CN104885461A (zh) 2015-09-02
CN104885461B (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
JP6508554B2 (ja) 画像処理装置および方法、並びに、プログラム
JP6642631B2 (ja) 画像復号装置および方法
JP6300046B2 (ja) 画像処理装置および方法
JP2020014225A (ja) 画像処理装置および方法、並びにプログラム
WO2014050731A1 (ja) 画像処理装置および方法
WO2013137047A1 (ja) 画像処理装置および方法
US9930353B2 (en) Image decoding device and method
WO2014103774A1 (ja) 画像処理装置および方法
WO2014103764A1 (ja) 画像処理装置および方法
WO2014141899A1 (ja) 画像処理装置および方法
WO2015098563A1 (ja) 画像符号化装置および方法、並びに画像復号装置および方法
JP2015089078A (ja) 画像処理装置および方法
WO2014141964A1 (ja) 画像処理装置および方法
WO2014156707A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法
WO2014156705A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180214

R151 Written notification of patent or utility model registration

Ref document number: 6300046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151