JPWO2014050732A1 - 符号化装置および符号化方法、並びに、復号装置および復号方法 - Google Patents

Abstract

本技術は、階層構造を有する画像のフィルタ処理を制御する情報を共有することができるようにする符号化装置および符号化方法、並びに、復号装置および復号方法に関する。エンハンスメント符号化部は、ベース画像を符号化する際に用いる適応オフセットフィルタ処理を制御する情報である制御情報に基づいて、エンハンスメントレイヤの復号画像に対して適応オフセットフィルタ処理を行う。エンハンスメント符号化部は、適応オフセットフィルタ処理されたエンハンスメントレイヤの復号画像を参照画像として用いて、エンハンスメント画像を符号化し、符号化データを生成する。伝送部は、符号化データを伝送する。本技術は、例えば、符号化装置に適用することができる。

Description

本技術は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、階層構造を有する画像のフィルタ処理を制御する情報を共有することができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group phase）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。

特に、MPEG2（ISO/IEC 13818-2）方式は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22MBpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496-2として規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H．26L （ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。この標準化は、2003年3月にH．264及びMPEG-4 Part10（AVC（Advanced Video Coding））という名の元に国際標準化された。

更に、その拡張として、RGBやYUV422、YUV444といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8×8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension)の標準化が2005年2月に完了した。これにより、AVC方式が、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となり、ＢＤ（Blu-ray（登録商標） Disc ）等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の4倍の4000×2000画素程度の画像を圧縮したい、または、インターネットのような限られた伝送容量の環境においてハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEG(Video Coding Expert Group)において、符号化効率の改善に関する検討が継続されている。

また、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC(Joint Collaboration Team - Video Coding)により、 HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。2012年8月現在、Draftとして非特許文献１が発行されている。

ところで、MPEG-2、AVCといった画像符号化方式は、画像を階層化して符号化するscalability機能を有していた。scalability機能によれば、トランスコード処理を行うことなく、復号側の処理能力に応じた符号化データを伝送することができる。

具体的には、例えば携帯電話のような処理能力の低い端末に対しては、ベースとなる階層であるベースレイヤ（base layer）の画像の符号化ストリームのみを伝送することができる。一方、テレビジョン受像機やパーソナルコンピュータのような処理能力の高い端末に対しては、ベースレイヤと、ベースレイヤ以外の階層であるエンハンスメントレイヤ（enhancement layer）の画像の符号化ストリームを伝送することができる。

また、HEVC方式においてもscalability機能は備えられており、非特許文献１に記載されているように、HEVC方式では、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)に加え、scalability機能に関するパラメータを含むVPS(Video Parameter Set)が規定されている。

図１は、HEVC version1におけるVPSのシンタックスの一例を示す図である。

HEVC version1においては、画像をフレームレートで階層化して符号化するscalability機能（以下、temporal scalabilityという）のみが備えられているため、図１に示すように、VPSでは、temporal scalabilityに関するパラメータのみが定義されている。

なお、HEVC version2においては、temporal scalability以外のscalability機能にも対応するための標準化が行われる予定である。

一方、HEVC方式においては、符号化時に復号画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO（Sample adaptive offset)）処理等のフィルタ処理が行われる。適応オフセットフィルタ処理の種類としては、2種類のバンドオフセット処理、6種類のエッジオフセット処理がある。また、適応オフセット処理を行わないようにすることもできる。

バンドオフセット処理とは、輝度画素値を複数のバンドに分割し、各バンドに応じたオフセットを用いて適応オフセットフィルタ処理を行う処理である。エッジオフセット処理とは、処理対象の画素の画素値と、その画素に隣接する画素の画素値の関係に応じたオフセットを用いて適応オフセットフィルタ処理を行う処理である。この処理により、モスキートノイズを補正することができる。

適応オフセットフィルタ処理において、復号画像をquad-treeに分割し、分割された領域ごとに適応オフセットフィルタ処理の種類とオフセットを設定することが提案されている（例えば、非特許文献２参照）。

図２は、quad-treeの一例を示す図である。

図２の例では、quad-treeの階層数は3である。図２に示すように、復号画像は、階層が1つ下位になるごとに4分割される。即ち、復号画像は、最上位の階層ではそのままであり、上から2番目の階層では4分割され、最下位の階層では16分割される。

符号化時には、まず、最上位の階層と上から2番目の階層について、分割された領域ごとのオフセットを用いた、候補となる種類の適応オフセットフィルタ処理が行われ、コスト関数が算出される。そして、最上位の階層のコスト関数と上から2番目の階層のコスト関数が、最上位の階層の分割された領域について比較され、コスト関数がより小さくなる階層が選択される。

なお、候補となる種類の適応オフセットフィルタ処理とは、全ての種類の適応オフセットフィルタ処理と、適応オフセットフィルタ処理を行わない処理である。

ここで、図２に示すように上から2番目の階層が選択されると、最下位の階層についても、分割された領域ごとのオフセットを用いた、候補となる種類の適応オフセットフィルタ処理が行われ、コスト関数が算出される。そして、最下位の階層のコスト関数と上から2番目の階層のコスト関数が、上から2番目の階層の分割された領域ごとに比較され、その領域ごとにコスト関数がより小さくなる階層が選択される。

その結果、図２の例では、上から2番目の階層の左上と右下の領域においては上から2番目の階層が選択され、右上と左下の領域においては最下位の階層が選択される。

図３は、図２に示したquad-treeに分割された領域ごとに設定された適応オフセットフィルタ処理の種類とオフセットの例を示す図である。

図３の例では、上から2番目の階層の左上と右下の領域においては最下位の階層が選択され、右上と左下の領域においては上から2番目の階層が選択されている。

選択された階層の分割された領域ごとに、候補となる種類の適応オフセットフィルタ処理のうちの、コスト関数が最小となる適応オフセットフィルタ処理の種類およびオフセットが設定される。なお、図３において、BOは、バンドオフセット処理を表し、EOは、エッジオフセット処理を表し、OFFは、適応オフセットフィルタ処理が行われないことを表す。

Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J. Sullivan, Thomas Wiegand,"High efficiency video coding (HEVC) text specification draft 8", JCTVC-I1003_d7,2012.7.11-7.20 ＣＨＩＨ-Ming Fu,Ching-Yeh Chen,Yu-Wen Huang,Shawmin Lei,"CE8 Subtest 3: Picture Quality Adaptive Offset",JCTVC-D122,2011.1.20-1.28

scalability機能を用いて符号化が行われる場合、ベースレイヤの画像とエンハンスメントレイヤの画像が対応しているとき、両方の画像のフィルタ処理を制御する情報は相関性が高いと考えられる。

しかしながら、従来のHEVC方式では、階層ごとにフィルタ処理を制御する情報が設定されるため、符号化効率が悪い。

本技術は、このような状況に鑑みてなされたものであり、階層構造を有する画像のフィルタ処理を制御する情報を共有することができるようにするものである。

本技術の第１の側面の符号化装置は、階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいて、第２の階層の復号画像に対してフィルタ処理を行うフィルタ処理部と、前記フィルタ処理部によりフィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の画像を符号化し、符号化データを生成する符号化部と、前記符号化部により生成された前記符号化データを伝送する伝送部とを備える符号化装置である。

本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。

本技術の第１の側面においては、階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいて、第２の階層の復号画像に対してフィルタ処理が行われ、フィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の画像が符号化されて、符号化データが生成され、前記符号化データが伝送される。

本技術の第２の側面の復号装置は、階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいてフィルタ処理が行われた第２の階層の復号画像を参照画像として用いて、符号化された前記第２の階層の画像の符号化データを受け取る受け取り部と、前記受け取り部により受け取られた前記符号化データを復号し、前記第２の階層の復号画像を生成する復号部と、前記制御情報に基づいて、前記復号部により生成された前記第２の階層の復号画像に対してフィルタ処理を行うフィルタ処理部とを備え、前記復号部は、前記フィルタ処理部によりフィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の符号化データを復号する復号装置である。

本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。

本技術の第２の側面においては、階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいてフィルタ処理が行われた第２の階層の復号画像を参照画像として用いて、符号化された前記第２の階層の画像の符号化データが受け取られ、前記符号化データが復号されて、前記第２の階層の復号画像が生成され、前記制御情報に基づいて、前記第２の階層の復号画像に対してフィルタ処理が行われる。フィルタ処理された前記第２の階層の復号画像は、前記第２の階層の符号化データの復号時に参照画像として用いられる。

なお、第１の側面の符号化装置及び第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

第１の側面の符号化装置及び第２の側面の復号装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術によれば、階層構造を有する画像のフィルタ処理を制御する情報を共有することができる。

HEVC version1におけるVPSのシンタックスの一例を示す図である。 quad-treeの一例を示す図である。 適応オフセットフィルタ処理の種類とオフセットの設定値の例を示す図である。 spatial scalabilityを説明する図である。 temporal scalabilityを説明する図である。 SNR scalabilityを説明する図である。 本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 ベースストリームのSPSのシンタックスの例を示す図である。 ベースストリームのSPSのシンタックスの例を示す図である。 ベースストリームのスライスヘッダのシンタックスの例を示す図である。 ベースストリームのスライスヘッダのシンタックスの例を示す図である。 ベースストリームのスライスヘッダのシンタックスの例を示す図である。 ベースストリームのcoding_tree_unitのシンタックスの例を示す図である。 ベースストリームの情報（sao）のシンタックスの例を示す図である。 図７のエンハンスメント符号化部の構成例を示すブロック図である。 図１５の符号化部の構成例を示すブロック図である。 CUを説明する図である。 図１６の適応オフセットフィルタとオフセットバッファの構成例を示すブロック図である。 バンドオフセット処理を説明する図である。 エッジオフセット処理を説明する図である。 エッジオフセット処理を説明する図である。 エンハンスメントストリームのSPSのシンタックスの例を示す図である。 エンハンスメントストリームのSPSのシンタックスの例を示す図である。 エンハンスメントストリームのスライスヘッダのシンタックスの構成例を示す図である。 エンハンスメントストリームのスライスヘッダのシンタックスの構成例を示す図である。 エンハンスメントストリームのスライスヘッダのシンタックスの構成例を示す図である。 エンハンスメントストリームの情報（sao）のシンタックスの例を示す図である。 エンハンスメントストリームの情報（sao）のシンタックスの例を示す図である。 VPSのシンタックスの例を示す図である。 ベース画像とエンハンスメント画像の共有関係の例を示す図である。 図７の符号化装置の階層符号化処理を説明するフローチャートである。 図３１のエンハンスメントストリーム生成処理の詳細を説明するフローチャートである。 図３２の符号化処理の詳細を説明するフローチャートである。 図３２の符号化処理の詳細を説明するフローチャートである。 図３４の共有適応オフセットフィルタ処理の詳細を説明するフローチャートである。 本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。 図３６のエンハンスメント復号部の構成例を示すブロック図である。 図３７の復号部の構成例を示すブロック図である。 図３８の適応オフセットフィルタとオフセットバッファの構成例を示すブロック図である。 図３６の復号装置の階層復号処理を説明するフローチャートである。 図３７のエンハンスメント画像生成処理を説明するフローチャートである。 図４１の復号処理の詳細を説明するフローチャートである。 図４２の共有適応オフセットフィルタ処理の詳細を説明するフローチャートである。 多視点画像符号化方式の例を示す図である。 階層画像符号化方式の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 本技術を適用したテレビジョン装置の概略構成例を示す図である。 本技術を適用した携帯電話機の概略構成例を示す図である。 本技術を適用した記録再生装置の概略構成例を示す図である。 本技術を適用した撮像装置の概略構成例を示す図である。 スケーラブル符号化利用の一例を示すブロック図である。 スケーラブル符号化利用の他の例を示すブロック図である。 スケーラブル符号化利用のさらに他の例を示すブロック図である。

＜scalability機能の説明＞
[spatial scalabilityの説明]
図４は、spatial scalabilityを説明する図である。

図４に示すように、spatial scalabilityは、画像を空間解像度で階層化して符号化するscalability機能である。具体的には、spatial scalabilityでは、低解像度の画像がベースレイヤの画像として符号化され、高解像度の画像と低解像度の画像の差分の画像がエンハンスメントレイヤの画像として符号化される。

従って、符号化装置は、処理能力の低い復号装置に対してベースレイヤの画像の符号化データのみを伝送することにより、復号装置は、低解像度の画像を生成することができる。また、符号化装置は、処理能力の高い復号装置に対してベースレイヤとエンハンスメントレイヤの画像の符号化データを伝送することにより、復号装置は、ベースレイヤとエンハンスメントレイヤの画像を復号して合成し、高解像度の画像を生成することができる。

[temporal scalabilityの説明]
図５は、temporal scalabilityを説明する図である。

上述したように、temporal scalabilityは、画像をフレームレートで階層化して符号化するscalability機能である。具体的には、図５に示すように、temporal scalabilityでは、例えば、低フレームレート（図５の例では7.5fps）の画像がベースレイヤの画像として符号化される。また、中フレームレート（図５の例では15fps）の画像と低フレームレートの画像の差分の画像がエンハンスメントレイヤの画像として符号化される。さらに、高フレームレート（図５の例では30fps）の画像と中フレームレートの画像の差分の画像がエンハンスメントレイヤの画像として符号化される。

従って、符号化装置は、処理能力の低い復号装置に対してベースレイヤの画像の符号化データのみを伝送することにより、復号装置は、低フレームレートの画像を生成することができる。また、符号化装置は、処理能力の高い復号装置に対してベースレイヤとエンハンスメントレイヤの画像の符号化データを伝送することにより、復号装置は、ベースレイヤとエンハンスメントレイヤの画像を復号して合成し、高フレームレートまたは中フレームレートの画像を生成することができる。

[SNR scalabilityの説明]
図６は、SNR scalabilityを説明する図である。

図６に示すように、SNR scalabilityは、画像をSNR(signal-noise ratio)で階層化して符号化するscalability機能である。具体的には、SNR scalabilityでは、低SNRの画像がベースレイヤの画像として符号化され、高SNRの画像と低SNRの画像の差分の画像がエンハンスメントレイヤの画像として符号化される。

従って、符号化装置は、処理能力の低い復号装置に対してベースレイヤの画像の符号化データのみを伝送することにより、復号装置は、低SNRの画像、即ち低画質の画像を生成することができる。また、符号化装置は、処理能力の高い復号装置に対してベースレイヤとエンハンスメントレイヤの画像の符号化データを伝送することにより、復号装置は、ベースレイヤとエンハンスメントレイヤの画像を復号して合成し、高SNRの画像、即ち高画質の画像を生成することができる。

なお、図示は省略するが、scalability機能としては、spatial scalability, temporal scalability、SNR scalabilityの他にも存在する。

例えば、scalability機能としては、画像をビット数で階層化して符号化するbit-depth scalabilityもある。この場合、例えば、8bitビデオの画像がベースレイヤの画像とされ、10bitビデオの画像と8bitビデオの画像の差分がエンハンスメントレイヤの画像とされ、符号化される。

また、scalability機能としては、画像を色差信号のフォーマットで階層化して符号化するchroma scalabilityもある。この場合、例えば、YUV420の画像がベースレイヤの画像とされ、YUV422の画像とYUV420の画像の差分の画像がエンハンスメントレイヤの画像とされ、符号化される。

なお、以下では、説明の便宜上、エンハンスメントレイヤが１つである場合について説明する。

＜第１実施の形態＞
［符号化装置の第１実施の形態の構成例］
図７は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。

図７の符号化装置１０は、ベース符号化部１１、エンハンスメント符号化部１２、合成部１３、および伝送部１４により構成され、scalability機能を用いてHEVC方式に準ずる方式で画像を符号化する。

符号化装置１０のベース符号化部１１には、外部からベースレイヤの画像（以下、ベース画像という）が入力される。ベース符号化部１１は、従来のHEVC方式の符号化装置と同様に構成され、ベース画像をHEVC方式で符号化する。但し、ベース符号化部１１は、ベース画像の符号化時に用いられた、適応オフセットフィルタ処理を制御する情報である制御情報と適応オフセットフィルタ処理におけるオフセットを、エンハンスメント符号化部１２に供給する。ベース符号化部１１は、符号化の結果得られる符号化データ、SPS,PPS等を含む符号化ストリームを、ベースストリームとして合成部１３に供給する。

エンハンスメント符号化部１２には、外部からエンハンスメントレイヤの画像（以下、エンハンスメント画像という）が入力される。エンハンスメント符号化部１２は、エンハンスメント画像をHEVC方式に準ずる方式で符号化する。このとき、エンハンスメント符号化部１２は、ベース符号化部１１からの制御情報に基づいて、適応オフセット処理を行う。

エンハンスメント符号化部１２は、必要に応じてベース符号化部１１からのオフセットを用いて、エンハンスメント画像の符号化データに、適応オフセット処理におけるオフセットに関する情報等を付加して符号化ストリームを生成する。エンハンスメント符号化部１２は、生成された符号化ストリームをエンハンスメントストリームとして合成部１３に供給する。

合成部１３は、ベース符号化部１１から供給されるベースストリームとエンハンスメント符号化部１２から供給されるエンハンスメントストリームを合成し、VPSなどを付加して、全階層の符号化ストリームを生成する。合成部１３は、全階層の符号化ストリームを伝送部１４に供給する。

伝送部１４は、合成部１３から供給される全階層の符号化ストリームを後述する復号装置に伝送する。

なお、ここでは、符号化装置１０は、全階層の符号化ストリームを伝送するものとするが、必要に応じて、ベースストリームのみを伝送することもできる。

[ベースストリームのSPSのシンタックスの例]
図８および図９は、ベースストリームに含まれるSPSのシンタックスの例を示す図である。

図９の５行目に示すように、ベースストリームのSPSには、そのSPSに対応するGOP（Group of Picture）の復号画像に対して適応オフセット処理を行うかどうかを表すGOP単位のシーケンスフラグ（sample_adaptive_offset_enabled_flag）が含まれる。

［ベースストリームのスライスヘッダのシンタックスの例］
図１０乃至図１２は、ベースストリームに含まれる符号化データにスライス単位で付加されるヘッダであるスライスヘッダのシンタックスの例を示す図である。

図１０の４０行目乃至４２行目に示すように、SPSに含まれるシーケンスフラグが、そのSPSに対応するGOPの復号画像に対して適応オフセット処理を行うことを表す1である場合、ベースストリームのスライスヘッダには、対応するスライスの復号画像の輝度信号に対して適応オフセット処理を行うかどうかを表すスライス単位の輝度スライスフラグ（slice_sao_luma_flag）が含まれる。

また、対応するスライスの復号画像の色差信号に対して適応オフセット処理を行うかどうかを表すスライス単位の色差スライスフラグ（slice_sao_chroma_flag）が含まれる。なお、以下では、輝度スライスフラグと色差スライスフラグを特に区別する必要がない場合、それらをまとめてスライスフラグという。

［ベースストリームの符号化データのcoding_tree_unitのシンタックスの例］
図１３は、ベースストリームの符号化データに最大の符号化単位であるLCU（Largest Coding Unit）単位で含まれるcoding_tree_unitのシンタックスの例を示す図である。

図１３の６行目と７行目に示すように、ベースストリームのスライスヘッダに含まれるスライスフラグが、適応オフセット処理を行うことを表す1である場合、ベースストリームのcoding_tree_unitには、適応オフセットフィルタの種類とオフセットの情報（sao）が含まれる。

［ベースストリームの情報（sao）のシンタックスの例］
図１４は、ベースストリームの情報（sao）のシンタックスの例を示す図である。

図１４の６行目に示すように、ベースストリームのsaoには、対応するLCUの適応オフセットフィルタの種類およびオフセットが、そのLCUの左に隣接するLCUの適応オフセットフィルタの種類およびオフセットと同一であるかどうかを表す左マージフラグ（sao_merge_left_flag）が含まれる。

また、左マージフラグが同一ではないことを表す0である場合、１２行目に示すように、ベースストリームのsaoには、対応するLCUの適応オフセットフィルタの種類およびオフセットが、そのLCUの上に隣接するLCUの適応オフセットフィルタの種類およびオフセットと同一であるかどうかを表す上マージフラグ（sao_merge_up_flag）が含まれる。

さらに、左マージフラグと上マージフラグが同一ではないことを表す0である場合、１８行目に示すように、ベースストリームのsaoには、対応するLCUの輝度信号の適応オフセットフィルタの種類を示す輝度タイプ情報（sao_type_idx_luma）が含まれる。また、２０行目に示すように、対応するLCUの色差信号の適応オフセットフィルタの種類を示す色差タイプ情報（sao_type_idx_chroma）が含まれる。

また、２３行目に示すように、対応するLCUの輝度信号や色差信号のオフセットの絶対値(sao_offset_abs)が含まれる。さらに、２６行目乃至２８行目に示すように、輝度タイプ情報や色差タイプ情報がバンドオフセット処理を示す1である場合、絶対値(sao_offset_abs)が0以外であるときの輝度信号や色差信号のオフセットの符号(sao_offset_sign)と、そのオフセットに対応するグループを示す情報（sao_band_position）が含まれる。

ここで、バンドオフセット処理は、輝度画素値を複数のバンドに分割し、各バンドに応じたオフセットを用いて適応オフセットフィルタ処理を行う処理であるが、そのバンドは、第１のグループ（first group）と第２のグループ（second group）に分類される。そして、第１のグループまたは第２のグループのいずれか一方のオフセットの絶対値と符号が、ベースストリームのsaoには含まれる。従って、ベースストリームのsaoに含まれるオフセットに対応するグループとして、第１または第２のグループを示す情報がベースストリームのsaoに含まれる。

なお、以下では、輝度タイプ情報と色差タイプ情報を特に区別する必要がない場合、それらをまとめてタイプ情報という。

また、２９乃至３３行目に示すように、タイプ情報がバンドオフセット処理を示す1ではない場合、即ちタイプ情報がエッジオフセット処理を示す0である場合、輝度信号と色差信号のエッジオフセット処理における隣接画素の種類（sao_eo_class_luma,sao_eo_class_chroma）（後述する図２１）が含まれる。

［エンハンスメント符号化部の構成例］
図１５は、図７のエンハンスメント符号化部１２の構成例を示すブロック図である。

図１５のエンハンスメント符号化部１２は、符号化部２１と設定部２２により構成される。

エンハンスメント符号化部１２の符号化部２１は、外部から入力されるフレーム単位のエンハンスメント画像を入力信号とする。符号化部２１は、ベース符号化部１１からの制御情報としてのシーケンスフラグ、スライスフラグ、左マージフラグ、上マージフラグ、およびタイプ情報、並びに、オフセット等を参照して、HEVC方式に準ずる方式で入力信号を符号化する。符号化部２１は、その結果得られる符号化データを設定部２２に供給する。

設定部２２は、SPS,PPSなどを設定する。設定部２２は、設定されたSPSおよびPPSと、符号化部２１から供給される符号化データとから符号化ストリームを生成し、エンハンスメントストリームとして合成部１３に供給する。

［符号化部の構成例］
図１６は、図１５の符号化部２１の構成例を示すブロック図である。

図１６の符号化部２１は、A/D変換部３１、画面並べ替えバッファ３２、演算部３３、直交変換部３４、量子化部３５、可逆符号化部３６、蓄積バッファ３７、逆量子化部３８、逆直交変換部３９、加算部４０、デブロックフィルタ４１、適応オフセットフィルタ４２、適応ループフィルタ４３、フレームメモリ４４、スイッチ４５、イントラ予測部４６、動き予測・補償部４７、予測画像選択部４８、レート制御部４９、およびオフセットバッファ５０により構成される。

具体的には、符号化部２１のA/D変換部３１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ３２に出力して記憶させる。画面並べ替えバッファ３２は、記憶した表示の順番のフレーム単位の画像を、GOP構造に応じて、符号化のための順番に並べ替え、演算部３３、イントラ予測部４６、および動き予測・補償部４７に出力する。

演算部３３は、符号化部として機能し、予測画像選択部４８から供給される予測画像と、画面並べ替えバッファ３２から出力された符号化対象の画像の差分を演算することにより符号化を行う。具体的には、演算部３３は、画面並べ替えバッファ３２から出力された符号化対象の画像から、予測画像選択部４８から供給される予測画像を減算することにより符号化を行う。演算部３３は、その結果得られる画像を、残差情報として直交変換部３４に出力する。なお、予測画像選択部４８から予測画像が供給されない場合、演算部３３は、画面並べ替えバッファ３２から読み出された画像をそのまま残差情報として直交変換部３４に出力する。

直交変換部３４は、演算部３３からの残差情報を直交変換し、生成された直交変換係数を量子化部３５に供給する。

量子化部３５は、直交変換部３４から供給される直交変換係数に対して量子化を行い、その結果得られる係数を、可逆符号化部３６に供給する。

可逆符号化部３６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部４６から取得する。また、可逆符号化部３６は、動き予測・補償部４７から供給される最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定する情報（以下、参照画像特定情報という）などを動き予測・補償部４７から取得する。

さらに、可逆符号化部３６は、ベース画像のオフセットからエンハンスメント画像のオフセットを生成する際に用いる生成情報またはオフセット、タイプ情報等を適応オフセットフィルタ４２から取得し、適応ループフィルタ４３からフィルタ係数を取得する。

可逆符号化部３６は、量子化部３５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。

また、可逆符号化部３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像特定情報、生成情報またはオフセットとタイプ情報、並びにフィルタ係数を、符号化に関する符号化情報として可逆符号化する。可逆符号化部３６は、可逆符号化された符号化情報をスライスヘッダとし、可逆符号化された係数を符号化データとして、符号化データにスライスヘッダを付加する。可逆符号化部３６は、スライスヘッダが付加された符号化データを蓄積バッファ３７に供給し、蓄積させる。

蓄積バッファ３７は、可逆符号化部３６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ３７は、記憶している符号化データを、図１５の設定部２２に供給する。

また、量子化部３５より出力された、量子化された係数は、逆量子化部３８にも入力される。逆量子化部３８は、量子化部３５により量子化された係数に対して逆量子化を行い、その結果得られる直交変換係数を逆直交変換部３９に供給される。

逆直交変換部３９は、逆量子化部３８から供給される直交変換係数に対して4次の逆直交変換を行い、その結果得られる残差情報を加算部４０に供給する。

加算部４０は、逆直交変換部３９から供給される残差情報と、予測画像選択部４８から供給される予測画像を加算して、局部的に復号された画像を得る。なお、予測画像選択部４８から予測画像が供給されない場合、加算部４０は、逆直交変換部３９から供給される残差情報を局部的に復号された画像とする。加算部４０は、局部的に復号された画像をデブロックフィルタ４１に供給するとともに、フレームメモリ４４に供給して蓄積させる。

デブロックフィルタ４１は、加算部４０から供給される局部的に復号された画像に対して、ブロック歪を除去する適応デブロックフィルタ処理を行い、その結果得られる画像を適応オフセットフィルタ４２に供給する。

適応オフセットフィルタ４２は、オフセットバッファ５０に記憶されているベース画像の制御情報のうちのシーケンスフラグとスライスフラグに基づいて適応オフセットフィルタ処理を行うかどうかを決定する。適応オフセットフィルタ４２は、適応オフセットフィルタ処理を行う場合、Scalability機能の種類に基づいて、ベース画像とエンハンスメント画像の間でLCU単位の対応が取れているかどうかを示す対応フラグを生成する。

具体的には、例えば、SNR Scalability、Bit Depth Scalability、またはChroma Format Scalabilityにおいて、ベース画像とエンハンスメント画像のLCUの大きさが等しい場合、もしくは、Spatial Scalabilityにおいて、ベース画像とエンハンスメント画像の解像度の比とLCUの大きさの比が同一である場合、適応オフセットフィルタ４２は、ベース画像とエンハンスメント画像の間でLCU単位の対応が取れていることを示す対応フラグ（sao_lcu_aligned_flag）を生成する。

なお、適応オフセット処理の種類はLCU単位で設定されるため、ベース画像とエンハンスメント画像の適応オフセット処理の種類を共有するためには、ベース画像のLCUとエンハンスメント画像のLCUが対応している必要がある。従って、ベース画像とエンハンスメント画像の間でLCU単位の対応が取れているかどうかを示す対応フラグ（sao_lcu_aligned_flag）は、ベース画像とエンハンスメント画像の適応オフセット処理の種類が共有可能であるかどうかを示す対応フラグである。

適応オフセットフィルタ４２は、対応フラグがベース画像とエンハンスメント画像の間でLCU単位の対応が取れていることを示す1である場合、制御情報から、タイプ情報とオフセット、左マージフラグ、上マージフラグなどを抽出する。

適応オフセットフィルタ４２は、制御情報からタイプ情報が抽出された場合、そのタイプ情報が表す種類の適応オフセットフィルタ処理で用いられるオフセットを算出する。具体的には、例えば、適応オフセットフィルタ４２は、候補となるオフセットを用いてタイプ情報が表す種類の適応オフセットフィルタ処理を行い、その結果得られるコスト関数が最小となるオフセットを選択する。適応オフセットフィルタ４２は、選択されたオフセットと、制御情報から抽出されたオフセットの差分を演算し、生成情報として可逆符号化部３６に供給する。

一方、適応オフセットフィルタ４２は、制御情報からタイプ情報が抽出されない場合、左マージフラグと上マージフラグに基づいて、処理対象のLCUの左または上に隣接するLCUのタイプ情報とオフセットを、処理対象のLCUのタイプ情報とオフセットとする。

また、適応オフセットフィルタ４２は、対応フラグがベース画像とエンハンスメント画像の間でLCU単位の対応が取れていないことを示す0である場合、適応オフセットフィルタ４２は、候補となる全ての種類およびオフセットの適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ４２は、その結果得られるコスト関数が最小となる種類およびオフセットを、処理対象のLCUの種類およびオフセットに決定する。そして、適応オフセットフィルタ４２は、決定された処理対象のLCUの種類を表すタイプ情報とオフセットを可逆符号化部３６に供給する。

また、適応オフセットフィルタ４２は、処理対象のLCUのタイプ情報とオフセットを内蔵するメモリに記憶する。適応オフセットフィルタ４２は、処理対象のLCUのオフセットを用いて、デブロックフィルタ４１による適応デブロックフィルタ処理後の画像に対して、処理対象のLCUの種類の適応オフセットフィルタ処理を行う。そして、適応オフセットフィルタ４２は、適応オフセットフィルタ処理後の画像を適応ループフィルタ４３に供給する。また、適応オフセットフィルタ４２は、対応フラグを可逆符号化部３６に供給する。

なお、high efficiency符号化条件においては、low delay符号化条件に比べて、1ビットだけオフセットが高精度に設定される。

適応ループフィルタ４３は、例えば、２次元のウィナーフィルタ（Wiener Filter）により構成される。適応ループフィルタ４３は、適応オフセットフィルタ４２から供給される適応オフセットフィルタ処理後の画像に対して、例えば、LCUごとに、適応ループフィルタ（ALF(Adaptive Loop Filter)）処理を行う。

具体的には、適応ループフィルタ４３は、LCUごとに、画面並べ替えバッファ３２から出力される画像である原画像と適応ループフィルタ処理後の画像の残差が最小となるように、適応ループフィルタ処理で用いられるフィルタ係数を算出する。そして、適応ループフィルタ４３は、適応オフセットフィルタ処理後の画像に対して、算出されたフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。

適応ループフィルタ４３は、適応ループフィルタ処理後の画像をフレームメモリ４４に供給する。また、適応ループフィルタ４３は、フィルタ係数を可逆符号化部３６に供給する。

なお、ここでは、適応ループフィルタ処理は、LCUごとに行われるものとするが、適応ループフィルタ処理の処理単位は、LCUに限定されない。但し、適応オフセットフィルタ４２と適応ループフィルタ４３の処理単位を合わせることにより、処理を効率的に行うことができる。

フレームメモリ４４は、適応ループフィルタ４３から供給される画像と、加算部４０から供給される画像を蓄積する。フレームメモリ４４に蓄積された画像は、参照画像としてスイッチ４５を介してイントラ予測部４６または動き予測・補償部４７に出力される。

イントラ予測部４６は、フレームメモリ４４からスイッチ４５を介して読み出された参照画像を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。

また、イントラ予測部４６は、画面並べ替えバッファ３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

イントラ予測部４６は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部４８に供給する。イントラ予測部４６は、予測画像選択部４８から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部３６に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。なお、H．264/AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に復号までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。

Cost(Mode)=D＋λ・R ・・・（１）

Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ未定乗数である。

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、予測画像の生成、および、符号化情報の符号量の算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。

Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit ・・・（２）

Dは、原画像と予測画像の差分（歪）、Header_Bitは、符号化情報の符号量、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するだけでよく、復号画像を生成する必要がないため、演算量が少なくて済む。

動き予測・補償部４７は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と、フレームメモリ４４からスイッチ４５を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。なお、参照画像は、例えば、ユーザにより設定される。動き予測・補償部４７は、検出された動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。

このとき、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部４７は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部４８に供給する。また、動き予測・補償部４７は、予測画像選択部４８から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルなどを可逆符号化部３６に出力し、参照画像特定情報を参照画像設定部５０に出力する。

予測画像選択部４８は、イントラ予測部４６および動き予測・補償部４７から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部４８は、最適予測モードの予測画像を、演算部３３および加算部４０に供給する。また、予測画像選択部４８は、最適予測モードの予測画像の選択をイントラ予測部４６または動き予測・補償部４７に通知する。

レート制御部４９は、蓄積バッファ３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３５の量子化動作のレートを制御する。

オフセットバッファ５０は、図７のベース符号化部１１から供給される制御情報とオフセットを記憶する。

［符号化処理単位の説明］
図１７は、HEVC方式における符号化単位であるCoding UNIT(CU)を説明する図である。

HEVC方式では、4000画素×2000画素のUHD（Ultra High Definition）などのような大きな画枠の画像も対象としているため、符号化単位のサイズを16画素×16画素に固定することは最適ではない。従って、HEVC方式では、符号化単位としてCUが定義されている。

CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす。具体的には、CUは、イントラ予測またはインター予測の単位であるPrediction Unit(PU)に分割されたり、直交変換の単位であるTransform Unit(TU)に分割されたりする。但し、CUのサイズは、シーケンスごとに可変の、2のべき乗画素で表される正方形である。また、現在、HEVC方式においては、TUのサイズとして、4×4画素、8×8画素のほか、16×16画素および32×32画素も用いることが可能である。

図１７の例では、最大のサイズのCUであるLCUのサイズが128であり、最小のサイズのCUであるSCU(Smallest Coding Unit)のサイズが8である。従って、Nごとに階層化された2N×2NのサイズのCUの階層深度（depth）は0乃至4となり、階層深度数は5となる。また、2N×2NのサイズのCUは、split_flagの値が1である場合、1つ下の階層である、N×NのサイズのCUに分割される。

LCUとSCUのサイズを指定する情報は、SPSに含められる。なお、CUの詳細については、非特許文献１に記載されている。

［適応オフセットフィルタとオフセットバッファの構成例］
図１８は、図１６の適応オフセットフィルタ４２とオフセットバッファ５０の構成例を示すブロック図である。

図１８のオフセットバッファ５０は、シーケンスバッファ７１、スライスバッファ７２、マージバッファ７３、タイプバッファ７４、および値バッファ７５により構成される。

オフセットバッファ５０のシーケンスバッファ７１は、図７のベース符号化部１１から供給される制御情報のうちのシーケンスフラグを記憶する。スライスバッファ７２は、制御情報のうちのスライスフラグを記憶する。

マージバッファ７３は、左マージフラグと上マージフラグをマージバッファ７３に供給する。また、タイプバッファ７４は、制御情報のうちのタイプ情報を記憶する。値バッファ７５は、ベース符号化部１１から供給されるベース画像のオフセットを記憶する。

適応オフセットフィルタ４２は、オンオフ設定部８１、マージ設定部８２、タイプ設定部８３、処理部８４、オフセットバッファ８５、および生成部８６により構成される。

適応オフセットフィルタ４２のオンオフ設定部８１は、シーケンスバッファ７１からシーケンスフラグを読み出し、スライスバッファ７３からスライスフラグを読み出す。オンオフ設定部８１は、シーケンスフラグとスライスフラグに基づいて、現在の符号化対象の画像のスライスのデブロックフィルタ処理後の画像に対して適応オフセット処理を行うかどうかを判定する。オンオフ設定部８１は、適応オフセット処理を行うと判定した場合、処理部８４に適応オフセット処理を指示する。

マージ設定部８２は、マージバッファ７３から左マージフラグと上マージフラグを読み出し、処理部８４に供給する。タイプ設定部８３は、タイプバッファ７４からタイプ情報を読み出し、処理部８４にタイプ情報を供給する。

処理部８４は、オンオフ設定部８１からの適応オフセット処理の指示とScalability機能の種類に基づいて、対応フラグを生成する。処理部８４は、生成された対応フラグが1であり、マージ設定部８２から供給される左マージフラグまたは上マージフラグが1である場合、オフセットバッファ８５から処理対象のLCUの左または上に隣接するLCUのタイプ情報とオフセットを読み出し、処理対象のLCUのタイプ情報とオフセットに決定する。

一方、対応フラグが1であり、左マージフラグと上マージフラグが0である場合、処理部８４は、タイプ設定部８３から供給されるタイプ情報が表す種類の適応オフセット処理における処理対象のLCUに対するオフセットを算出し、オフセットを生成部８６に供給する。そして、処理部８４は、タイプ設定部８３から供給されるタイプ情報を処理対象のLCUのタイプ情報に決定する。

また、対応フラグが0である場合、処理部８４は、候補となる全ての種類およびオフセットの適応オフセットフィルタ処理を行う。そして、処理部８４は、その結果得られるコスト関数が最小となる種類およびオフセットを、処理対象のLCUの種類およびオフセットに決定する。そして、処理部８４は、決定された種類を表すタイプ情報とオフセットを生成部８６に供給する。

そして、処理部８４は、処理対象のLCUのタイプ情報とオフセットをオフセットバッファ８５に供給し、記憶させる。処理部８４は、処理対象のLCUのオフセットを用いて、図１６のデブロックフィルタ４１による適応デブロックフィルタ処理後の画像に対して、処理対象のLCUのタイプ情報が表す種類の適応オフセットフィルタ処理を行う。そして、処理部８４は、適応オフセットフィルタ処理後の画像を図１６の適応ループフィルタ４３に供給する。処理部８４は、対応フラグを生成部８６に供給する。

生成部８６は、対応フラグが1である場合、値バッファ７５からベース画像のオフセットを読み出す。生成部８６は、読み出されたベース画像のオフセットと、処理部８４から供給されるエンハンスメント画像のオフセットの差分を演算し、生成情報として図１６の可逆符号化部３６に供給する。

一方、対応フラグが0である場合、生成部８６は、そのオフセットとタイプ情報を可逆符号化部３６に供給する。また、生成部８６は、対応フラグを可逆符号化部３６に供給する。

［バンドオフセット処理の説明］
図１９は、バンドオフセット処理を説明する図である。

図１９に示すように、バンドオフセット処理では、とり得る輝度画素値の範囲が、例えば、８つのバンドに分割され、各バンドに対してオフセットが設定される。このバンドは、中央の４つのバンドからなる第１のグループと、両端の２つのバンドからなる第２のグループに分類される。

そして、情報（SAO）には、第１のグループと第２のグループのうちの、対応するLCUの輝度画素値が含まれる方のグループのオフセットのみが含まれ、復号側に伝送される。これにより、LCUの輝度画素値が含まれない方のグループのオフセットの伝送により符号量が増大することを防止することができる。

なお、ここでは、符号化対象の画像が放送用の画像ではないものとし、とり得る輝度画素値の範囲が0乃至255であるものとするが、符号化対象の画像が放送用の画像である場合、とり得る輝度画素値の範囲は16乃至235である。また、とり得る色差画素値の範囲は16乃至240である。

［エッジオフセット処理の説明］
図２０と図２１は、エッジオフセット処理を説明する図である。

エッジオフセット処理では、図２０に示すように、処理対象の画素の画素値と、その画素に隣接する2つの画素（以下、隣接画素という）の画素値の関係に応じて、処理対象の画素が5つのカテゴリに分類される。

図２０に示すように、5つのカテゴリのうちの1番のカテゴリは、処理対象の画素の画素値が2つの隣接画素の両方の画素の画素値より小さい場合に分類される。2番のカテゴリは、処理対象の画素の画素値が2つの隣接画素のうちの一方の隣接画素の画素値より小さく、他方の隣接画素の画素値と同一である場合に分類される。

3番のカテゴリは、処理対象の画素の画素値が2つの隣接画素のうちの一方の隣接画素の画素値より大きく、他方の隣接画素の画素値と同一である場合に分類される。4番のカテゴリは、処理対象の画素の画素値が2つの隣接画素の両方の画素の画素値より大きい場合に分類される。0番のカテゴリは、1番乃至4番のカテゴリのいずれにも分類されない場合に分類される。

なお、図２１に示すように、2つの隣接画素の種類は4種類である。第１の種類の隣接画素は、処理対象の画素と水平方向の両隣に隣接する2つの画素である。第２の種類の隣接画素は、処理対象の画素と垂直方向の両隣に隣接する2つの画素である。第３の種類の隣接画素は、処理対象の画素の左上の画素と右下の画素である。第４の種類の隣接画素は、処理対象の画素の右上の画素と左下の画素である。

エッジオフセット処理では、隣接画素の種類およびカテゴリごとにオフセットが設定される。

［エンハンスメントストリームのSPSのシンタックスの例］
図２２および図２３は、図１５の設定部２２により設定されるSPSのシンタックスの例を示す図である。

図２３の５行目と６行目に示すように、後述するVPSに含まれるベースレイヤと参照レイヤの差分（diff_ref_layer）が0である場合、即ち参照レイヤがない場合、SPSには、シーケンスフラグが含まれる。一方、７行目と８行目に示すように、差分（diff_ref_layer）が0以外である場合、即ち参照レイヤがある場合、参照レイヤのベースストリームのSPSに含まれるシーケンスフラグがエンハンスメント画像のシーケンスフラグとされる。

［エンハンスメントストリームのスライスヘッダのシンタックスの例］
図２４乃至図２６は、エンハンスメントストリームのスライスヘッダのシンタックスの構成例を示す図である。

図２４の４０行目と４１行目に示すように、シーケンスフラグが1である場合、エンハンスメントストリームのスライスヘッダには、対応フラグ（sao_lcu_aligned_flag）として、ベース画像とエンハンスメント画像の間でLCU単位の対応が取れていないことを示す0が含まれる。

また、４２行目乃至４４行目に示すように、差分（diff_ref_layer）が0である場合、即ち参照レイヤがない場合、ベースストリームのスライスヘッダと同様に、輝度スライスフラグと色差スライスフラグが含まれる。一方、４５乃至４７行目に示すように、差分（diff_ref_layer）が0以外である場合、即ち参照レイヤがある場合、参照レイヤのベースストリームのスライスヘッダに含まれる輝度スライスフラグおよび色差スライスフラグが、エンハンスメント画像の輝度スライスフラグおよび色差スライスフラグとされる。また、図２５の１行目に示すように、対応フラグ（sao_lcu_aligned_flag）が更新される。

[エンハンスメントストリームの符号化データのcoding_tree_unitのシンタックスの例]
エンハンスメントストリームの符号化データのcoding_tree_unitのシンタックスは、情報（sao）を除いて、図１３のシンタクスと同様であるので、情報（sao）についてのみ説明する。

図２７および図２８は、エンハンスメントストリームの情報（sao）のシンタックスの例を示す図である。

図２７の６行目と７行目に示すように、エンハンスメントストリームのスライスヘッダに含まれる対応フラグ（sao_lcu_aligned_flag）が0である場合、エンハンスメントストリームの情報（sao）には、ベースストリームの情報（sao）と同様に左マージ情報が含まれる。一方、８行目と９行目に示すように、対応フラグ（sao_lcu_aligned_flag）がベース画像とエンハンスメント画像の間でLCU単位の対応が取れていることを示す1である場合、参照レイヤのベースストリームの情報（sao）に含まれる左マージ情報が、エンハンスメント画像の左マージ情報とされる。

また、１５行目と１６行目に示すように、対応フラグ（sao_lcu_aligned_flag）が0である場合、エンハンスメントストリームの情報（sao）には、ベースストリームの情報（sao）と同様に上マージ情報が含まれる。一方、１７行目と１８行目に示すように、対応フラグ（sao_lcu_aligned_flag）が1である場合、参照レイヤのベースストリームの情報（sao）に含まれる上マージ情報が、エンハンスメント画像の上マージ情報とされる。

さらに、２４行目と２５行目に示すように、対応フラグ（sao_lcu_aligned_flag）が0である場合、エンハンスメントストリームの情報（sao）には、ベースストリームの情報（sao）と同様に輝度タイプ情報が含まれる。一方、２６行目と２７行目に示すように、対応フラグ（sao_lcu_aligned_flag）が1である場合、参照レイヤのベースストリームの情報（sao）に含まれる輝度タイプ情報が、エンハンスメント画像の輝度タイプ情報とされる。

また、２９行目と３０行目に示すように、対応フラグ（sao_lcu_aligned_flag）が0である場合、エンハンスメントストリームの情報（sao）には、ベースストリームの情報（sao）と同様に色差タイプ情報が含まれる。一方、３１行目と３２行目に示すように、対応フラグ（sao_lcu_aligned_flag）が1である場合、参照レイヤのベースストリームの情報（sao）に含まれる色差タイプ情報が、エンハンスメント画像の色差タイプ情報とされる。

さらに、３５行目と３６行目に示すように、対応フラグ（sao_lcu_aligned_flag）が0である場合、エンハンスメントストリームの情報（sao）には、ベースストリームの情報（sao）と同様に絶対値(sao_offset_abs)が含まれる。一方、３７行目と３８行目に示すように、対応フラグ（sao_lcu_aligned_flag）が1である場合、エンハンスメントストリームの情報（sao）には、対応するLCUの参照レイヤとエンハンスメント画像の輝度信号や色差信号のオフセットの差分の絶対値(diff_sao_offset_abs)が生成情報として含まれる。

また、４１行目乃至４３行目に示すように、対応フラグ（sao_lcu_aligned_flag）が0である場合、エンハンスメントストリームの情報（sao）には、ベースストリームの情報（sao）と同様に絶対値(sao_offset_abs)が0以外である場合の符号(sao_offset_sign)が含まれる。

一方、図２７の４５行目および４６行目並びに図２８の１行目に示すように、対応フラグ（sao_lcu_aligned_flag）が1である場合、エンハンスメントストリームの情報（sao）には、絶対値(diff_sao_offset_abs)が0以外である場合の、対応するLCUの参照レイヤとエンハンスメント画像の輝度信号や色差信号のオフセットの差分の符号(diff_sao_offset_sign)が生成情報として含まれる。

[VPSのシンタックスの例]
図２９は、VPSのシンタックスの例を示す図である。

図２９の６行目に示すように、VPSには、scalabilityのレイヤ数を示す情報（vps_max_layer_minus1）が含まれる。また、７行目に示すように、VPSには、従来と同様に、temporal scalabilityのレイヤ数を示す情報（vps_max_sub_layer_minus1）が含まれる。

また、１５行目に示すように、VPSには、インデックスが0であるベースレイヤを特定する情報としてのベースレイヤと参照レイヤの差分（diff_ref_layer[0]）として0が含まれる。さらに、１６および１７行目に示すように、VPSには、各エンハンスメントレイヤの差分（diff_ref_layer）が含まれる。

ここで、現在のレイヤをcurr_layerとし、参照レイヤをref_layerとすると、参照レイヤref_layerは、差分diff_ref_layerを用いて以下の式（３）で表される。

ref_layer=curr_layer-diff_ref_layer ・・・（３）

従って、エンハンスメントレイヤの差分（diff_ref_layer）が0である場合、エンハンスメントストリームは、ベースストリームと同様に、他のレイヤの参照画像特定情報等を参照せずに生成される。

［ベース画像とエンハンスメント画像の共有関係］
図３０は、ベース画像とエンハンスメント画像の共有関係の例を示す図である。

図３０のＡに示すように、ベース画像のスライスとエンハンスメント画像のスライスが複数（図３０の例では2）対1で対応している場合、例えば、ベース画像の複数のスライスのうちの最も上のスライスの制御情報が、エンハンスメント画像のスライスの制御情報とされる。また、ベース画像の複数のスライスのうちの最も上のスライスのオフセットが、生成情報の生成に用いられる。

一方、図３０のＢに示すように、ベース画像のスライスとエンハンスメント画像のスライスが1対複数（図３０の例では2）で対応している場合、ベース画像のスライスの制御情報が、エンハンスメント画像の複数のスライスのそれぞれの制御情報とされる。また、ベース画像のスライスのオフセットが、エンハンスメント画像の複数のスライスのそれぞれの生成情報の生成に用いられる。

［符号化装置の処理の説明］
図３１は、図７の符号化装置１０の階層符号化処理を説明するフローチャートである。この階層符号化処理は、外部からベース画像とエンハンスメント画像が入力されたとき、開始される。

図３１のステップＳ１において、符号化装置１０のベース符号化部１１は、外部から入力されたベース画像をHEVC方式で符号化する。ベース符号化部１１は、ベース画像の符号化時に用いられた制御情報とオフセットをエンハンスメント符号化部１２に供給する。ベース符号化部１１は、符号化の結果得られる符号化データ、SPS,PPS等を含むベースストリームを、ベースストリームとして合成部１３に供給する。

ステップＳ２において、エンハンスメント符号化部１２は、外部から入力されたエンハンスメント画像からエンハンスメントストリームを生成するエンハンスメントストリーム生成処理を行う。このエンハンスメントストリーム生成処理の詳細は、後述する図３２を参照して説明する。

ステップＳ３において、合成部１３は、ベース符号化部１１から供給されるベースストリームとエンハンスメント符号化部１２から供給されるエンハンスメントストリームを合成し、VPSなどを付加して、全階層の符号化ストリームを生成する。合成部１３は、全階層の符号化ストリームを伝送部１４に供給する。

ステップＳ４において、伝送部１４は、合成部１３から供給される全階層の符号化ストリームを後述する復号装置に伝送する。

図３２は、図３１のステップＳ２のエンハンスメントストリーム生成処理の詳細を説明するフローチャートである。

図３２のステップＳ１１において、エンハンスメント符号化部１２の符号化部２１は、外部から入力信号として入力されるフレーム単位のエンハンスメント画像をHEVC方式に準ずる方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図３３および図３４を参照して説明する。

ステップＳ１２において、設定部２２は、SPSを設定する。ステップＳ１３において、設定部２２は、PPSを設定する。ステップＳ１４において、設定部２２は、設定されたSPSおよびPPSと、符号化部２１から供給される符号化データとから、エンハンスメントストリームを生成する。

ステップＳ１５において、設定部２２は、エンハンスメントストリームを合成部１３に供給し、処理を終了する。

図３３および図３４は、図３２のステップＳ１１の符号化処理の詳細を説明するフローチャートである。

図３３のステップＳ３１において、符号化部２１のA/D変換部３１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ３２に出力して記憶させる。

ステップＳ３２において、画面並べ替えバッファ３２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ３２は、並べ替え後のフレーム単位の画像を、演算部３３、イントラ予測部４６、および動き予測・補償部４７に供給する。

ステップＳ３３において、イントラ予測部４６は、候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部４６は、画面並べ替えバッファ３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部４６は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部４８に供給する。

また、動き予測・補償部４７は、候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部４７は、画面並べ替えバッファ３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部４７は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部４８に供給する。

ステップＳ３４において、予測画像選択部４８は、ステップＳ３３の処理によりイントラ予測部４６および動き予測・補償部４７から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部４８は、最適予測モードの予測画像を、演算部３３および加算部４０に供給する。

ステップＳ３５において、予測画像選択部４８は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ３５で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部４８は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部４７に通知する。

そして、ステップＳ３６において、動き予測・補償部４７は、インター予測モード情報、動きベクトル、および参照画像特定情報を可逆符号化部３６に供給し、処理をステップＳ３８に進める。

一方、ステップＳ３５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部４８は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部４６に通知する。そして、ステップＳ３７において、イントラ予測部４６は、イントラ予測モード情報を可逆符号化部３６に供給し、処理をステップＳ３８に進める。

ステップＳ３８において、演算部３３は、画面並べ替えバッファ３２から供給される画像から、予測画像選択部４８から供給される予測画像を減算することにより符号化を行う。演算部３３は、その結果得られる画像を、残差情報として直交変換部３４に出力する。

ステップＳ３９において、直交変換部３４は、演算部３３からの残差情報に対して直交変換を施し、その結果得られる直交変換係数を量子化部３５に供給する。

ステップＳ４０において、量子化部３５は、直交変換部３４から供給される係数を量子化し、その結果得られる係数を可逆符号化部３６と逆量子化部３８に供給する。

図３４のステップＳ４１において、逆量子化部３８は、量子化部３５から供給される量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部３９に供給する。

ステップＳ４２において、逆直交変換部３９は、逆量子化部３８から供給される直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部４０に供給する。

ステップＳ４３において、加算部４０は、逆直交変換部３９から供給される残差情報と、予測画像選択部４８から供給される予測画像を加算し、局部的に復号された画像を得る。加算部４０は、得られた画像をデブロックフィルタ４１に供給するとともに、フレームメモリ４４に供給する。

ステップＳ４４において、デブロックフィルタ４１は、加算部４０から供給される局部的に復号された画像に対して、デブロッキングフィルタ処理を行う。デブロックフィルタ４１は、その結果得られる画像を適応オフセットフィルタ４２に供給する。

ステップＳ４５において、適応オフセットフィルタ４２は、デブロックフィルタ４１から供給される画像に対して、図７のベース符号化部１１から供給される制御情報とオフセットを参照して、LCUごとに適応オフセットフィルタ処理を行う共有適応オフセットフィルタ処理を行う。この共有適応オフセットフィルタ処理の詳細は、図３５を参照して後述する。

ステップＳ４６において、適応ループフィルタ４３は、適応オフセットフィルタ４２から供給される画像に対して、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ４３は、その結果得られる画像をフレームメモリ４４に供給する。また、適応ループフィルタ４３は、適応ループフィルタ処理で用いられたフィルタ係数を可逆符号化部３６に供給する。

ステップＳ４７において、フレームメモリ４４は、適応ループフィルタ４３から供給される画像と加算部４０から供給される画像を蓄積する。フレームメモリ４４に蓄積された画像は、参照画像としてスイッチ４５を介してイントラ予測部４６または動き予測・補償部４７に出力される。

ステップＳ４８において、可逆符号化部３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像特定情報、オフセットとタイプ情報または生成情報、対応フラグ、並びにフィルタ係数を、符号化情報として可逆符号化する。

ステップＳ４９において、可逆符号化部３６は、量子化部３５から供給される量子化された係数を可逆符号化する。そして、可逆符号化部３６は、ステップＳ４８の処理で可逆符号化された符号化情報と可逆符号化された係数から、符号化データを生成し、蓄積バッファ３７に供給する。

ステップＳ５０において、蓄積バッファ３７は、可逆符号化部３６から供給される符号化データを、一時的に蓄積する。

ステップＳ５１において、レート制御部４９は、蓄積バッファ３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３５の量子化動作のレートを制御する。

ステップＳ５２において、蓄積バッファ３７は、記憶している符号化データを、図１５の設定部２２に出力する。そして、処理は、図３２のステップＳ１１に戻り、ステップＳ１２に進む。

なお、図３３および図３４の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。

図３５は、図３４のステップＳ４５の共有適応オフセットフィルタ処理の詳細を説明するフローチャートである。

図３５のステップＳ７１において、オフセットバッファ５０のシーケンスバッファ７１は、図７のベース符号化部１１から供給される制御情報のうちのシーケンスフラグを記憶する。ステップＳ７２において、スライスバッファ７２は、制御情報のうちのスライスフラグを記憶する。ステップＳ７３において、マージバッファ７３は、左マージフラグと上マージフラグを記憶する。

ステップＳ７４において、タイプバッファ７４は、制御情報のうちのタイプ情報を記憶する。ステップＳ７５において、値バッファ７５は、ベース符号化部１１から供給されるベース画像のオフセットを記憶する。

ステップＳ７６において、オンオフ設定部８１は、シーケンスバッファ７１からシーケンスフラグを読み出すとともに、スライスバッファ７２からスライスフラグを読み出し、シーケンスフラグとスライスフラグが1であるかどうかを判定する。ステップＳ７６でシーケンスフラグとスライスフラグが1であると判定された場合、オンオフ設定部８１は、適応オフセット処理を行うと判定し、処理部８４に適応オフセット処理を指示する。

そして、ステップＳ７７において、処理部８４は、オンオフ設定部８１からの適応オフセット処理の指示とScalability機能の種類に基づいて、対応フラグを生成する。ステップＳ７８において、処理部８４は、生成された対応フラグが1であるかどうかを判定し、対応フラグが1であると判定した場合、処理をステップＳ７９に進める。

ステップＳ７９において、マージ設定部８２は、マージバッファ７３から左マージフラグと上マージフラグを読み出し、処理部８４に供給する。ステップＳ８０において、処理部８４は、マージ設定部８２から供給される左マージフラグまたは上マージフラグが1であるかどうかを判定する。

ステップＳ８０で左マージフラと上マージフラグが1ではないと判定された場合、ステップＳ８１において、タイプ設定部８３は、タイプバッファ７４からタイプ情報を読み出し、処理部８４にタイプ情報を供給する。

ステップＳ８２において、処理部８４は、タイプ設定部８３から供給されるタイプ情報が表す種類の適応オフセット処理における処理対象のLCUに対するオフセットを算出し、生成部８６に供給する。そして、処理部８４は、タイプ設定部８３から供給されるタイプ情報を、処理対象のLCUのタイプ情報に決定する。処理部８４は、処理対象のLCUのタイプ情報とオフセットをオフセットバッファ８５に供給し、記憶させる。

ステップＳ８３において、処理部８４は、ステップＳ８２で算出されたオフセットを用いて、デブロックフィルタ４１による適応デブロックフィルタ処理後の画像に対して、ステップＳ８１で読み出されたタイプ情報が表す種類の適応オフセットフィルタ処理を行う。そして、処理部８４は、適応オフセットフィルタ処理後の画像を図１６の適応ループフィルタ４３に供給する。

ステップＳ８４において、生成部８６は、値バッファ７５からベース画像のオフセットを読み出す。ステップＳ８５において、生成部８６は、読み出されたベース画像のオフセットと、処理部８４から供給されるエンハンスメント画像のオフセットの差分を演算し、生成情報として図１６の可逆符号化部３６に供給する。そして、処理は図３４のステップＳ４５に戻り、ステップＳ４６に進む。

一方、ステップＳ８０で左マージフラグまたは上マージフラグが1であると判定された場合、ステップＳ８６において、処理部８４は、左マージフラグが1であるかどうかを判定する。ステップＳ８６で左マージフラグが1であると判定された場合、ステップＳ８７において、処理部８４は、オフセットバッファ８５から処理対象のLCUの左に隣接するLCUのオフセットとタイプ情報を読み出し、処理対象のLCUのオフセットとタイプ情報に決定する。処理部８４は、処理対象のLCUのタイプ情報とオフセットをオフセットバッファ８５に供給し、記憶させる。そして、処理はステップＳ８９に進む。

また、ステップＳ８６で左マージフラグが1ではないと判定された場合、即ち上マージフラグが1である場合、ステップＳ８８において、処理部８４は、オフセットバッファ８５から処理対象のLCUの上に隣接するLCUのオフセットとタイプ情報を読み出し、処理対象のLCUのオフセットとタイプ情報に決定する。処理部８４は、処理対象のLCUのタイプ情報とオフセットをオフセットバッファ８５に供給し、記憶させる。そして、処理はステップＳ８９に進む。

ステップＳ８９において、処理部８４は、ステップＳ８７またはＳ８８で読み出されたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、ステップＳ８７またはＳ８８で読み出されたタイプ情報が表す種類の適応オフセットフィルタ処理を行う。そして、処理部８４は、適応オフセットフィルタ処理後の画像を適応ループフィルタ４３に供給する。そして、処理は図３４のステップＳ４５に戻り、ステップＳ４６に進む。

ステップＳ７８で対応フラグが1ではないと判定された場合、処理はステップＳ９０に進む。ステップＳ９０において、処理部８４は、候補となる全ての種類およびオフセットの適応オフセットフィルタ処理を行うことにより、コスト関数が最小となる種類を表すタイプ情報とオフセットを、処理対象のLCUのタイプ情報とオフセットに決定する。処理部８４は、処理対象のLCUのタイプ情報とオフセットをオフセットバッファ８５に供給し、記憶させる。

ステップＳ９１において、処理部８４は、ステップＳ９０で決定されたオフセットを用いて、適応デブロックフィルタ処理後の画像に対して、ステップＳ９０で決定されたタイプ情報が表す種類の適応オフセットフィルタ処理を行う。そして、処理部８４は、適応オフセットフィルタ処理後の画像を適応ループフィルタ４３に供給する。

ステップＳ９２において、処理部８４は、ステップＳ９０で決定されたタイプ情報とオフセットを生成部８５に供給する。そして、生成部８５は、そのタイプ情報とオフセットを可逆符号化部３６に供給する。そして、処理は図３４のステップＳ４５に戻り、ステップＳ４６に進む。

一方、ステップＳ７６でシーケンスフラグまたはスライスフラグが1ではないと判定された場合、適応オフセットフィルタ処理は行われず、処理部８４は、デブロックフィルタ４１から供給される画像をそのまま適応ループフィルタ４３に供給する。そして、処理は図３４のステップＳ４５に戻り、ステップＳ４６に進む。

以上のように、符号化装置１０は、ベース画像の制御情報に基づいて、エンハンスメント画像に対して適応オフセット処理を行うので、ベースレイヤとエンハンスメントレイヤの間で制御情報を共有することができる。従って、エンハンスメント画像の制御情報をエンハンスメントストリームに含める必要がなく、符号化効率を向上させることができる。

また、符号化装置１０は、対応フラグが1であり、左マージフラグと上マージフラグが0である場合、生成情報を生成し、その生成情報をエンハンスメント画像のオフセットの代わりに伝送するので、符号化効率を向上させることができる。

[復号装置の第１実施の形態の構成例]
図３６は、図７の符号化装置１０から伝送される全階層の符号化ストリームを復号する、本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。

図３６の復号装置９０は、受け取り部９１、分離部９２、ベース復号部９３、およびエンハンスメント復号部９４により構成される。

受け取り部９１は、図７の符号化装置１０から伝送されてくる全階層の符号化ストリームを受け取り、分離部９２に供給する。

分離部９２は、受け取り部９１から供給される符号化ストリームからVPSを抽出し、そのVPSに含まれる差分（diff_ref_layer）に基づいて、エンハンスメントストリームの参照レイヤの有無を認識する。ここでは、符号化装置１０がベースレイヤをエンハンスメントストリームの参照レイヤとしているため、分離部９２は、参照レイヤの有りを認識する。

分離部９２は、参照レイヤの有りを認識した場合、参照レイヤの符号化ストリームを復号するベース復号部９３に、エンハンスメントストリームを復号するエンハンスメント復号部９４への制御情報とオフセットの供給を指示する。

また、分離部９２は、全階層の符号化ストリームからベースストリームを分離してベース復号部９３に供給し、エンハンスメントストリームを分離してエンハンスメント復号部９４に供給する。

ベース復号部９３は、従来のHEVC方式の復号装置と同様に構成され、分離部９２から供給されるベースストリームをHEVC方式で復号し、ベース画像を生成する。但し、ベース復号部９３は、ベース画像の復号時に用いられた制御情報とオフセットをエンハンスメント復号部９４に供給する。ベース復号部９３は、生成されたベース画像を出力する。

エンハンスメント復号部９４は、分離部９２から供給されるエンハンスメントストリームをHEVC方式に準ずる方式で復号し、エンハンスメント画像を生成する。このとき、エンハンスメント復号部９４は、ベース復号部９３から供給される制御情報とオフセットを参照してエンハンスメントストリームを復号する。エンハンスメント復号部９４は、生成されたエンハンスメント画像を出力する。

[エンハンスメント復号部の構成例]
図３７は、図３６のエンハンスメント復号部９４の構成例を示すブロック図である。

図３７のエンハンスメント復号部９４は、抽出部１１１と復号部１１２により構成される。

エンハンスメント復号部９４の抽出部１１１は、図３６の分離部９２から供給されるエンハンスメントストリームから、SPS,PPS、符号化データ等を抽出し、復号部１１２に供給する。

復号部１１２は、図３６のベース復号部９３から供給されるベース画像の制御情報とオフセットを参照して、抽出部１１１から供給される符号化データをHEVC方式に準ずる方式で復号する。このとき、復号部１１２は、必要に応じて、抽出部１１１から供給されるSPSやPPS等も参照する。復号部１１２は、復号の結果得られる画像を、エンハンスメント画像として出力する。

［復号部の構成例］
図３８は、図３７の復号部１１２の構成例を示すブロック図である。

図３８の復号部１１２は、蓄積バッファ１３１、可逆復号部１３２、逆量子化部１３３、逆直交変換部１３４、加算部１３５、デブロックフィルタ１３６、適応オフセットフィルタ１３７、適応ループフィルタ１３８、画面並べ替えバッファ１３９、D/A変換部１４０、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、動き補償部１４４、スイッチ１４５、およびオフセットバッファ１４６により構成される。

復号部１１２の蓄積バッファ１３１は、図３７の抽出部１１１から符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データを可逆復号部１３２に供給する。

可逆復号部１３２は、蓄積バッファ１３１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部１３２は、量子化された係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、動きベクトル、インター予測モード情報、参照画像特定情報などを動き補償部１４４に供給する。

また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４５に供給する。可逆復号部１３２は、符号化情報としての生成情報、または、オフセットおよびタイプ情報、並びに対応フラグを適応オフセットフィルタ１３７に供給し、フィルタ係数を適応ループフィルタ１３８に供給する。

逆量子化部１３３、逆直交変換部１３４、加算部１３５、デブロックフィルタ１３６、適応オフセットフィルタ１３７、適応ループフィルタ１３８、フレームメモリ１４１、スイッチ１４２、イントラ予測部１４３、および、動き補償部１４４は、図１６の逆量子化部３８、逆直交変換部３９、加算部４０、デブロックフィルタ４１、適応オフセットフィルタ４２、適応ループフィルタ４３、フレームメモリ４４、スイッチ４５、イントラ予測部４６、および、動き予測・補償部４７とそれぞれ同様の処理を行い、これにより、画像が復号される。

具体的には、逆量子化部１３３は、可逆復号部１３２からの量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。

逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対して逆直交変換を行う。逆直交変換部１３４は、逆直交変換の結果得られる残差情報を加算部１３５に供給する。

加算部１３５は、復号部として機能し、逆直交変換部１３４から供給される復号対象の画像としての残差情報と、スイッチ１４５から供給される予測画像を加算することにより、復号を行う。加算部１３５は、復号の結果得られる画像をデブロックフィルタ１３６に供給するとともに、フレームメモリ１４１に供給する。なお、スイッチ１４５から予測画像が供給されない場合、加算部１３５は、逆直交変換部１３４から供給される残差情報である画像を復号の結果得られる画像として、デブロックフィルタ１３６に供給するとともに、フレームメモリ１４１に供給して蓄積させる。

デブロックフィルタ１３６は、加算部１３５から供給される画像に対して適応デブロックフィルタ処理を行い、その結果得られる画像を適応オフセットフィルタ１３７に供給する。

適応オフセットフィルタ１３７は、オフセットバッファ１４６からベース画像の制御情報とオフセットを読み出す。適応オフセットフィルタ１３７は、ベース画像の制御情報およびオフセット、並びに、可逆復号部１３２からの生成情報、または、オフセットおよびタイプ情報と対応フラグとを用いて、LCUごとに、デブロックフィルタ１３６からの画像に対して適応オフセットフィルタ処理を行う。適応オフセットフィルタ１３７は、適応オフセットフィルタ処理後の画像を、適応ループフィルタ１３８に供給する。

適応ループフィルタ１３８は、適応オフセットフィルタ１３７から供給される画像に対して、可逆復号部１３２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１３８は、その結果得られる画像をフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。

画面並べ替えバッファ１３９は、適応ループフィルタ１３８から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１３９は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１４０に供給する。

D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位の画像をD/A変換し、エンハンスメント画像として出力する。フレームメモリ１４１は、適応ループフィルタ１３８から供給される画像と加算部１３５から供給される画像を蓄積する。フレームメモリ１４１に蓄積された画像は参照画像として読み出され、スイッチ１４２を介してイントラ予測部１４３または動き補償部１４４に供給される。

イントラ予測部１４３は、フレームメモリ１４１からスイッチ１４２を介して読み出された参照画像を用いて、可逆復号部１３２から供給されるイントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、その結果生成される予測画像をスイッチ１４５に供給する。

動き補償部１４４は、フレームメモリ１４１からスイッチ１４２を介して、参照画像設定部１４５から供給される参照画像特定情報により特定される参照画像を読み出す。動き補償部１４４は、可逆復号部１３２から供給される動きベクトルと参照画像を用いて、可逆復号部１３２から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１４４は、その結果生成される予測画像をスイッチ１４５に供給する。

スイッチ１４５は、可逆復号部１３２からイントラ予測モード情報が供給された場合、イントラ予測部１４３から供給される予測画像を加算部１３５に供給する。一方、可逆復号部１３２からインター予測モード情報が供給された場合、スイッチ１４５は、動き補償部１４４から供給される予測画像を加算部１３５に供給する。

オフセットバッファ１４６は、図３６のベース復号部９３から供給される制御情報とオフセットを記憶する。

[適応オフセットフィルタとオフセットバッファの構成例]
図３９は、図３８の適応オフセットフィルタ１３７とオフセットバッファ１４６の構成例を示すブロック図である。

図３９のオフセットバッファ１４６は、シーケンスバッファ１６１、スライスバッファ１６２、マージバッファ１６３、タイプバッファ１６４、および値バッファ１６５により構成される。

シーケンスバッファ１６１は、図３６のベース復号部９３から供給される制御情報のうちのシーケンスフラグを記憶する。スライスバッファ１６２は、制御情報のうちのスライスフラグを記憶する。マージバッファ１６３は、制御情報のうちの左マージフラグと上マージフラグを記憶する。タイプバッファ１６４は、制御情報のうちのタイプ情報を記憶する。値バッファ１６５は、ベース復号部９３から供給されるベース画像のオフセットを記憶する。

適応オフセットフィルタ１３７は、生成部１８０、オンオフ設定部１８１、マージ設定部１８２、タイプ設定部１８３、処理部１８４、およびオフセットバッファ１８５により構成される。

適応オフセットフィルタ１３７の生成部１８０は、オフセットバッファ１４６の値バッファ１６５からベース画像のオフセットを読み出す。生成部１８０は、読み出されたオフセットと図３８の可逆復号部１３２から供給される生成情報とを加算し、その結果得られる加算値をエンハンスメント画像のオフセットに決定する。生成部１８０は、決定されたオフセットを処理部１８４に供給する。

また、生成部１８０は、可逆復号部１３２から供給されるオフセット、タイプ情報、および対応フラグを、処理部１８４に供給する。

オンオフ設定部１８１は、シーケンスバッファ１６１からシーケンスフラグを読み出し、スライスバッファ１６２からスライスフラグを読み出す。オンオフ設定部１８１は、シーケンスフラグとスライスフラグに基づいて、適応オフセットフィルタ処理を行うかどうかを判定する。オンオフ設定部１８１は、適応オフセットフィルタ処理を行うと判定した場合、処理部１８４に適応オフセットフィルタ処理を指示する。

マージ設定部１８２は、マージバッファ１６３から左マージフラグと上マージフラグを読み出し、その左マージフラグと上マージフラグを処理部１８４に供給する。タイプ設定部１８３は、タイプバッファ１６４からタイプ情報を読み出し、そのタイプ情報を処理部１８４に供給する。

処理部１８４は、生成部１８０から供給される対応フラグが1であり、マージ設定部１８２からの左マージフラグまたは上マージフラグが1である場合、オフセットバッファ１８５から処理対象のLCUの左または上に隣接する復号画像のタイプ情報とオフセットを読み出す。そして、処理部１８４は、読み出されたタイプ情報とオフセットを処理対象のLCUのタイプ情報とオフセットに決定する。

一方、対応フラグが1であり、左マージフラグと上マージフラグが0である場合、処理部１８４は、タイプ設定部１８３から供給されるタイプ情報を処理対象のLCUのタイプ情報に決定し、生成部１８０から供給されるオフセットを処理対象のLCUのオフセットに決定する。

また、対応フラグが0である場合、処理部１８４は、生成部１８０から供給されるオフセットとタイプ情報を処理対象のLCUのオフセットとタイプ情報に決定する。そして、処理部１８４は、処理対象のLCUのタイプ情報とオフセットをオフセットバッファ１８５に供給し、記憶させる。

処理部１８４は、処理対象のLCUのオフセットを用いて、図３８のデブロックフィルタ１３６からの画像に対して、処理対象のLCUのタイプ情報が表す種類の適応オフセットフィルタ処理を行う。そして、処理部１８４は、適応オフセットフィルタ処理後の画像を図３８の適応ループフィルタ１３８に供給する。

［復号装置の処理の説明］
図４０は、図３６の復号装置９０の階層復号処理を説明するフローチャートである。

図４０のステップＳ１００において、復号装置９０の受け取り部９１は、図７の符号化装置１０から伝送されてくる全階層の符号化ストリームを受け取り、分離部９２に供給する。ステップＳ１０１において、分離部９２は、受け取り部９１から供給される符号化ストリームからVPSを抽出する。

ステップＳ１０２において、分離部９２は、VPSに含まれる差分（diff_ref_layer）に基づいて、エンハンスメントストリームの参照レイヤの有りを認識する。ステップＳ１０３において、分離部９２は、参照レイヤの符号化ストリームを復号するベース復号部９３に、エンハンスメントストリームを復号するエンハンスメント復号部９４への制御情報とオフセットの供給を指示する。

ステップＳ１０４において、分離部９２は、全階層の符号化ストリームからベースストリームとエンハンスメントストリームを分離する。分離部９２は、ベースストリームをベース復号部９３に供給し、エンハンスメントストリームをエンハンスメント復号部９４に供給する。

ステップＳ１０５において、ベース復号部９３は、分離部９２から供給されるベースストリームをHEVC方式で復号し、ベース画像を生成する。このとき、ベース復号部９３は、ベース画像の復号時に用いられた制御情報とオフセットをエンハンスメント復号部９４に供給する。ベース復号部９３は、生成されたベース画像を出力する。

ステップＳ１０６において、エンハンスメント復号部９４は、ベース復号部９３から供給される制御情報とオフセットを参照して、分離部９２から供給されるエンハンスメントストリームからエンハンスメント画像を生成するエンハンスメント画像生成処理を行う。このエンハンスメント画像生成処理の詳細は、後述する図４１を参照して説明する。

図４１は、図３７のエンハンスメント復号部９４のエンハンスメント画像生成処理を説明するフローチャートである。

図４１のステップＳ１１１において、エンハンスメント復号部９４の抽出部１１１は、分離部９２から供給されるエンハンスメントストリームから、SPS,PPS、符号化データ等を抽出し、復号部１１２に供給する。

ステップＳ１１２において、復号部１１２は、必要に応じて抽出部１１１から供給されるSPSやPPS、ベース復号部９３から供給される制御情報とオフセットなどを参照して、抽出部１１１から供給される符号化データをHEVC方式に準ずる方式で復号する復号処理を行う。この復号処理の詳細は、後述する図４２を参照して説明する。そして、処理は終了する。

図４２は、図４１のステップＳ１１２の復号処理の詳細を説明するフローチャートである。

図４２のステップＳ１３１において、エンハンスメント復号部１１２の蓄積バッファ１３１は、図３７の抽出部１１１からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ１３１は、蓄積されている符号化データを可逆復号部１３２に供給する。

ステップＳ１３２において、可逆復号部１３２は、蓄積バッファ１３１からの符号化データを可逆復号し、量子化された係数と符号化情報を得る。可逆復号部１３２は、量子化された係数を逆量子化部１３３に供給する。また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部１４３に供給し、動きベクトル、インター予測モード情報、参照画像特定情報などを動き補償部１４４に供給する。

また、可逆復号部１３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ１４５に供給する。可逆復号部１３２は、符号化情報としての生成情報、またはオフセットおよびタイプ情報、並びに対応フラグを適応オフセットフィルタ１３７に供給し、フィルタ係数を適応ループフィルタ１３８に供給する。

ステップＳ１３３において、逆量子化部１３３は、可逆復号部１３２からの量子化された係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部１３４に供給する。

ステップＳ１３４において、動き補償部１４４は、可逆復号部１３２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１３４でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１３５に進む。

ステップＳ１３５において、動き補償部１４４は、可逆復号部１３２から供給される参照画像特定情報に基づいて参照画像を読み出し、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部１４４は、その結果生成される予測画像を、スイッチ１４５を介して加算部１３５に供給し、処理をステップＳ１３７に進める。

一方、ステップＳ１３４でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１４３に供給された場合、処理はステップＳ１３６に進む。

ステップＳ１３６において、イントラ予測部１４３は、フレームメモリ１４１からスイッチ１４２を介して読み出された参照画像を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部１４３は、イントラ予測処理の結果生成される予測画像を、スイッチ１４５を介して加算部１３５に供給し、処理をステップＳ１３７に進める。

ステップＳ１３７において、逆直交変換部１３４は、逆量子化部１３３からの直交変換係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３５に供給する。

ステップＳ１３８において、加算部１３５は、逆直交変換部１３４から供給される残差情報と、スイッチ１４５から供給される予測画像を加算する。加算部１３５は、その結果得られる画像をデブロックフィルタ１３６に供給するとともに、フレームメモリ１４１に供給する。

ステップＳ１３９において、デブロックフィルタ１３６は、加算部１３５から供給される画像に対してデブロッキングフィルタ処理を行い、ブロック歪を除去する。デブロックフィルタ１３６は、その結果得られる画像を適応オフセットフィルタ１３７に供給する。

ステップＳ１４０において、適応オフセットフィルタ１３７は、デブロックフィルタ１３６からの画像に対して、ベース復号部９３からの制御情報およびオフセットと可逆復号部１３２からの生成情報、または、オフセットおよびタイプ情報、並びに対応フラグとを参照して、LCUごとに適応オフセットフィルタ処理を行う共有適応オフセットフィルタ処理を行う。この共有適応オフセットフィルタ処理の詳細は、図４３を参照して後述する。

ステップＳ１４１において、適応ループフィルタ１３８は、適応オフセットフィルタ１３７から供給される画像に対して、可逆復号部１３２から供給されるフィルタ係数を用いて、LCUごとに適応ループフィルタ処理を行う。適応ループフィルタ１３８は、その結果得られる画像をフレームメモリ１４１および画面並べ替えバッファ１３９に供給する。

ステップＳ１４２において、フレームメモリ１４１は、加算部１３５から供給される画像と、適応ループフィルタ１３８から供給される画像を蓄積する。フレームメモリ１４１に蓄積された画像は、参照画像としてスイッチ１４２を介してイントラ予測部１４３または動き補償部１４４に供給される。

ステップＳ１４３において、画面並べ替えバッファ１３９は、適応ループフィルタ１３８から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１４０に供給する。

ステップＳ１４４において、D/A変換部１４０は、画面並べ替えバッファ１３９から供給されるフレーム単位の画像をD/A変換し、エンハンスメント画像として出力する。そして、処理は、図４１のステップＳ１１２に戻り、終了する。

図４３は、図４２のステップＳ１４０の共有適応オフセットフィルタ処理の詳細を説明するフローチャートである。

図４３のステップＳ１６１において、シーケンスバッファ１６１は、図３６のベース復号部９３から供給される制御情報のうちのシーケンスフラグを記憶する。ステップＳ１６２において、スライスバッファ１６２は、制御情報のうちのスライスフラグを記憶する。ステップＳ１６３において、マージバッファ１６３は、制御情報のうちの左マージフラグと上マージフラグを記憶する。

ステップＳ１６４において、タイプバッファ１６４は、制御情報のうちのタイプ情報を記憶する。ステップＳ１６５において、値バッファ１６５は、ベース復号部９３から供給されるオフセットを記憶する。ステップＳ１６６において、オンオフ設定部１８１は、シーケンスバッファ１６１からシーケンスフラグを読み出すとともに、スライスバッファ１６２からスライスフラグを読み出し、シーケンスフラグとスライスフラグが1であるかどうかを判定する。

ステップＳ１６６でシーケンスフラグとスライスフラグが1であると判定された場合、オンオフ設定部１８１は、適応オフセット処理を行うと判定し、処理部１８４に適応オフセット処理を指示する。そして、ステップＳ１６７において、処理部１８４は、可逆復号部１３２から生成部１８０を介して供給される対応フラグが1であるかどうかを判定する。

ステップＳ１６７で対応フラグが1であると判定された場合、ステップＳ１６８において、マージ設定部１８２は、左マージフラグと上マージフラグを読み出し、処理部１８４に供給する。ステップＳ１６９において、処理部１８４は、左マージフラグまたは上マージフラグが1であるかどうかを判定する。

ステップＳ１６９で左マージフラグと上マージフラグが1ではないと判定された場合、ステップＳ１７０において、生成部１８０は、可逆復号部１３２から供給されるタイプ情報と生成情報を取得する。

ステップＳ１７１において、生成部１８０は、値バッファ１６５からオフセットを読み出し、そのオフセットと生成情報を加算する。生成部１８０は、その結果得られる加算値を処理対象のLCUのオフセットに決定し、取得されたタイプ情報を処理対象のLCUのオフセットに決定し、処理部１８４に供給する。そして、処理はステップＳ１７６に進む。

一方、ステップＳ１６９で左マージフラグまたは上マージフラグが1であると判定された場合、ステップＳ１７２において、処理部１８４は、左マージフラグが1であるかどうかを判定する。ステップＳ１７２で左マージフラグが1であると判定された場合、ステップＳ１７３において、処理部１８４は、処理対象のLCUの左に隣接するLCUのオフセットとタイプ情報をオフセットバッファ１８５から読み出し、処理対象のLCUのオフセットとタイプ情報に決定する。そして、処理はステップＳ１７６に進む。

ステップＳ１７２において、処理部１８４は、左マージフラグが1ではないと判定された場合、即ち上マージフラグが0である場合、処理はステップＳ１７４に進む。ステップＳ１７４において、処理部１８４は、処理対象のLCUの右に隣接するLCUのオフセットとタイプ情報をオフセットバッファ１８５から読み出し、処理対象のLCUのオフセットとタイプ情報に決定する。そして、処理はステップＳ１７６に進む。

一方、ステップＳ１６７で対応フラグが1ではないと判定された場合、ステップＳ１７５において、生成部１８０は、可逆復号部１３２から供給されるオフセットとタイプ情報を取得し、処理部１８４に供給する。そして、処理部１８４は、生成部１８０から供給されるオフセットとタイプ情報を、処理対象のLCUのオフセットとタイプ情報に決定する。そして、処理は、ステップＳ１７６に進む。

ステップＳ１７６において、処理部１８４は、処理対象のLCUのオフセットを用いて、図３８のデブロックフィルタ１３６からの画像に対して、処理対象のLCUのタイプ情報が表す種類の適応オフセットフィルタ処理を行う。そして、処理部１８４は、適応オフセットフィルタ処理後の画像を図３８の適応ループフィルタ１３８に供給する。また、処理部１８４は、処理対象のLCUのタイプ情報とオフセットをオフセットバッファ１８５に供給し、記憶させる。そして、処理は、図４２のＳ１４０に戻り、ステップＳ１４１に進む。

以上のように、復号装置９０は、ベース画像の制御情報に基づいて、エンハンスメント画像に対して適応オフセット処理を行うので、ベースレイヤとエンハンスメントレイヤの間で制御情報を共有することができる。従って、エンハンスメント画像の制御情報をエンハンスメントストリームに含める必要がなく、符号化効率を向上させることができる。

また、復号装置９０は、対応フラグが1であり、左マージフラグと上マージフラグが0である場合、生成情報とベース画像のオフセットとからエンハンスメント画像のオフセットを生成し、そのオフセットとベース画像の制御情報とに基づいて適応オフセットフィルタ処理を行う。従って、符号化装置１０は、生成情報をエンハンスメント画像のオフセットの代わりに伝送することができ、符号化効率を向上させることができる。

なお、第１実施の形態では、レイヤ数は2であるものとしたが、レイヤ数は2以上であってもよい。また、参照レイヤは、ピクチャ単位で設定されてもよいし、GOP単位で設定されてもよい。

また、第１実施の形態では、ベース画像がHEVC方式で符号化されたが、AVC方式で符号化されるようにしてもよい。

さらに、第１実施の形態では、LCU単位でタイプ情報とオフセットが設定されたが、quad-treeに分割された領域単位でタイプ情報とオフセットが設定されるようにしてもよい。また、対応フラグやシーケンスフラグは、VPSに含まれるようにしてもよい。

＜多視画像点符号化・多視点画像復号への適用＞
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図４４は、多視点画像符号化方式の一例を示す。

図４４に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。Scalability機能により多視点画像符号化が行われる場合、ベースビューの画像は、ベースレイヤ画像として符号化され、ノンベースビューの画像がエンハンスメント画像として符号化される。

図４４のような多視点画像符号化を行う場合、各ビュー（同一ビュー）において、量子化パラメータの差分をとることもできる：
(1)base-view：
(1-1) dQP(base view)＝Current_CU_QP(base view)−LCU_QP(base view)
(1-2) dQP(base view)＝Current_CU_QP(base view)−Previsous_CU_QP(base view)
(1-3) dQP(base view)＝Current_CU_QP(base view)−Slice_QP(base view)
(2)non-base-view：
(2-1) dQP(non-base view)＝Current_CU_QP(non-base view)−LCU_QP(non-base view)
(2-2) dQP(non-base view)＝CurrentQP(non-base view)−PrevisousQP(non-base view)
(2-3) dQP(non-base view)＝Current_CU_QP(non-base view)−Slice_QP(non-base view)

多視点画像符号化を行う場合、各ビュー(異なるビュー)において、量子化パラメータの差分をとることもできる：
(3)base-view/ non-base view：
(3-1) dQP(inter-view)＝Slice_QP(base view)−Slice_QP(non-base view)
(3-2) dQP(inter-view)＝LCU_QP(base view)−LCU_QP(non-base view)
(4)non-base view / non-base view ：
(4-1) dQP(inter-view)＝Slice_QP(non-base view i)−Slice_QP(non-base view j)
(4-2) dQP(inter-view)＝LCU_QP(non-base view i)−LCU_QP(non-base view j)

この場合、上記(1)乃至(4)を組み合わせて用いることもできる。たとえば、ノンベースビューでは、ベースビューとノンベースビューとの間においてスライスレベルで量子化パラメータの差分をとる手法(3-1と2-3とを組み合わせる)、ベースビューとノンベースビューとの間においてLCUレベルで量子化パラメータの差分をとる手法(3-2と2-1とを組み合わせる)、が考えられる。このように、差分を繰り返して適用することにより、多視点符号化を行った場合においても、符号化効率を向上させることができる。

上述した手法と同様に、上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。

＜Scalability機能による符号化の他の例＞
図４５は、Scalability機能による符号化の他の例を示す。

図４５に示されるように、Scalability機能による符号化では、各レイヤ(同一レイヤ)において、量子化パラメータの差分をとることもできる：
(1)base-layer：
(1-1)dQP(base layer)＝Current_CU_QP(base layer)−LCU_QP(base layer)
(1-2)dQP(base layer)＝Current_CU_QP(base layer)−Previsous_CU_QP(base layer)
(1-3)dQP(base layer)＝Current_CU_QP(base layer)−Slice_QP(base layer)
(2)non-base-layer：
(2-1)dQP(non-base layer)＝Current_CU_QP(non-base layer)−LCU_QP(non-base layer)
(2-2)dQP(non-base layer)＝CurrentQP(non-base layer)−PrevisousQP(non-base layer)
(2-3)dQP(non-base layer)＝Current_CU_QP(non-base layer)−Slice_QP(non-base layer)

また、各レイヤ(異なるレイヤ)において、量子化パラメータの差分をとることもできる：
(3)base-layer/ non-base layer：
(3-1)dQP(inter-layer)＝Slice_QP(base layer)−Slice_QP(non-base layer)
(3-2)dQP(inter-layer)＝LCU_QP(base layer)−LCU_QP(non-base layer)
(4)non-base layer / non-base layer ：
(4-1)dQP(inter-layer)＝Slice_QP(non-base layer i)−Slice_QP(non-base layer j)
(4-2)dQP(inter-layer)＝LCU_QP(non-base layer i)−LCU_QP(non-base layer j)

この場合、上記(1)乃至(4)を組み合わせて用いることもできる。たとえば、ノンベースレイヤでは、ベースレイヤとノンベースレイヤとの間においてスライスレベルで量子化パラメータの差分をとる手法(3-1と2-3とを組み合わせる)、ベースレイヤとノンベースレイヤとの間においてLCUレベルで量子化パラメータの差分をとる手法(3-2と2-1とを組み合わせる)、が考えられる。このように、差分を繰り返して適用することにより、階層符号化を行った場合においても、符号化効率を向上させることができる。

上述した手法と同様に、上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。

＜第３実施の形態＞
[本技術を適用したコンピュータの説明]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図４６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。

バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。

入力部６０６は、キーボード、マウス、マイクロホンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。

以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜第４実施の形態＞
［テレビジョン装置の構成例］
図４７は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、階層構造を有する画像のフィルタ処理を制御する情報を共有することができる。

＜第５実施の形態＞
［携帯電話機の構成例］
図４８は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。

データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、階層構造を有する画像のフィルタ処理を制御する情報を共有することができる。

＜第６実施の形態＞
［記録再生装置の構成例］
図４９は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。

セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された記録再生装置では、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、階層構造を有する画像のフィルタ処理を制御する情報を共有することができる。

＜第７実施の形態＞
［撮像装置の構成例］
図５０は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部８６２、カメラ信号処理部８６３、画像データ処理部８６４、表示部８６５、外部インタフェース部８６６、メモリ部８６７、メディアドライブ９６８、ＯＳＤ部８６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部８６４や外部インタフェース部８６６、メモリ部８６７、メディアドライブ９６８、ＯＳＤ部８６９、制御部９７０等は、バス９７２を介して接続されている。

光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部８６２の撮像面に結像させる。撮像部８６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部８６３に供給する。

カメラ信号処理部８６３は、撮像部８６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部８６３は、カメラ信号処理後の画像データを画像データ処理部８６４に供給する。

画像データ処理部８６４は、カメラ信号処理部８６３から供給された画像データの符号化処理を行う。画像データ処理部８６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部８６６やメディアドライブ９６８に供給する。また、画像データ処理部８６４は、外部インタフェース部８６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部８６４は、復号化処理を行うことにより生成された画像データを表示部８６５に供給する。また、画像データ処理部８６４は、カメラ信号処理部８６３から供給された画像データを表示部８６５に供給する処理や、ＯＳＤ部８６９から取得した表示用データを、画像データに重畳させて表示部８６５に供給する。

ＯＳＤ部８６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部８６４に出力する。

外部インタフェース部８６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部８６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部８６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メディアドライブ９６８から符号化データを読み出し、それを外部インタフェース部８６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部８６６を介して取得し、それを画像データ処理部８６４に供給したりすることができる。

メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触IC（Integrated Circuit）カード等であってもよい。

また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

制御部９７０は、ＣＰＵを用いて構成されている。メモリ部８６７は、制御部９７０により実行されるプログラムや制御部９７０が処理を行う上で必要な各種のデータ等を記憶する。メモリ部８６７に記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングで制御部９７０により読み出されて実行される。制御部９７０は、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された撮像装置では、画像データ処理部８６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、階層構造を有する画像のフィルタ処理を制御する情報を共有することができる。

＜スケーラブル符号化の応用例＞
［第１のシステム］
次に、scalability機能による符号化であるスケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図５１に示される例のように、伝送するデータの選択のために利用される。

図５１に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。

その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバーフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。

例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。

配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。

このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバーフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。

なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。

そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。

なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。

もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。

［第２のシステム］
また、スケーラブル符号化は、例えば、図５２に示される例のように、複数の通信媒体を介する伝送のために利用される。

図５２に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。

端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。

端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバーフローの発生を抑制することができる。

また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。

このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。

もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。

［第３のシステム］
また、スケーラブル符号化は、例えば、図５３に示される例のように、符号化データの記憶に利用される。

図５３に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。

スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。

このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。

例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。

なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。

なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。

また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。

また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。

以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。

なお、本明細書では、制御情報などの各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

本技術は、MPEG,H.26ｘ等のように、離散コサイン変換等の直交変換と動き補償によって圧縮されたビットストリームを、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際、または光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置や復号装置に適用することができる。

また、本明細書では、HEVC方式に準ずる方式で符号化および復号する場合を例にして説明したが、本技術の適用範囲はこれに限らない。Spatial Scalability、SNR Scalabilityのように、ベース画像とエンハンスメント画像が1対1で対応するように符号化対象の画像を階層化し、適応オフセット処理を用いて符号化する符号化装置、および、対応する復号装置であれば、他の方式の符号化装置および復号装置に適用することもできる。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、第１実施の形態と第２実施の形態を組み合わせてもよい。この場合、階層間で参照画像特定情報と重み付け情報が共有される。

なお、本技術は、以下のような構成もとることができる。

（１）
階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいて、第２の階層の復号画像に対してフィルタ処理を行うフィルタ処理部と、
前記フィルタ処理部によりフィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の画像を符号化し、符号化データを生成する符号化部と、
前記符号化部により生成された前記符号化データを伝送する伝送部と
を備える符号化装置。
（２）
前記制御情報は、前記フィルタ処理を行うかどうかを表すGOP（Group of Picture）単位の情報である
前記（１）に記載の符号化装置。
（３）
前記制御情報は、前記フィルタ処理を行うかどうかを表すスライス単位の情報である
前記（１）に記載の符号化装置。
（４）
前記制御情報は、前記フィルタ処理の種類を表す情報である
前記（１）乃至（３）のいずれかに記載の符号化装置。
（５）
前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
前記制御情報は、前記フィルタ処理のオフセットおよび種類が、隣接する前記第２の階層の復号画像に対する前記フィルタ処理のオフセットおよび種類と同一であるかどうかを表すマージ情報である
前記（１）乃至（４）のいずれかに記載の符号化装置。
（６）
前記第１の階層の画像の前記フィルタ処理のオフセットと、前記第２の階層の画像の前記フィルタ処理のオフセットを用いて、前記第１の階層の画像の前記オフセットから前記第２の階層の画像の前記オフセットを生成する際に用いる生成情報を生成する生成部
をさらに備え、
前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
前記伝送部は、前記生成情報を伝送する
前記（１）乃至（５）のいずれかに記載の符号化装置。
（７）
前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
前記伝送部は、前記第２の階層の画像の前記フィルタ処理のオフセットを伝送する
前記（１）乃至（５）のいずれかに記載の符号化装置。
（８）
符号化装置が、
階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいて、第２の階層の復号画像に対してフィルタ処理を行うフィルタ処理ステップと、
前記フィルタ処理ステップの処理によりフィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の画像を符号化し、符号化データを生成する符号化ステップと、
前記符号化ステップの処理により生成された前記符号化データを伝送する伝送ステップと
を含む符号化方法。
（９）
階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいてフィルタ処理が行われた第２の階層の復号画像を参照画像として用いて、符号化された前記第２の階層の画像の符号化データを受け取る受け取り部と、
前記受け取り部により受け取られた前記符号化データを復号し、前記第２の階層の復号画像を生成する復号部と、
前記制御情報に基づいて、前記復号部により生成された前記第２の階層の復号画像に対してフィルタ処理を行うフィルタ処理部と
を備え、
前記復号部は、前記フィルタ処理部によりフィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の符号化データを復号する
復号装置。
（１０）
前記制御情報は、前記フィルタ処理を行うかどうかを表すGOP（Group of Picture）単位の情報である
前記（９）に記載の復号装置。
（１１）
前記制御情報は、前記フィルタ処理を行うかどうかを表すスライス単位の情報である
前記（９）に記載の復号装置。
（１２）
前記制御情報は、前記フィルタ処理の種類を表す情報である
前記（９）乃至(１１)のいずれかに記載の復号装置。
（１３）
前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
前記制御情報は、前記フィルタ処理のオフセットおよび種類が、隣接する前記第２の階層の復号画像に対する前記フィルタ処理のオフセットおよび種類と同一であるかどうかを表すマージ情報である
前記（９）乃至(１２)のいずれかに記載の復号装置。
（１４）
前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
前記受け取り部は、前記第１の階層の画像の前記フィルタ処理のオフセットと、前記第２の階層の画像の前記フィルタ処理のオフセットを用いて生成された、前記第１の階層の画像の前記オフセットから前記第２の階層の画像の前記オフセットを生成する際に用いる生成情報を受け取り、
前記フィルタ処理部は、前記生成情報と前記第１の階層の画像の前記オフセットとから前記第２の階層の画像の前記オフセットを生成し、前記第２の階層の画像の前記オフセットと前記制御情報とに基づいて、前記フィルタ処理を行う
前記（９）乃至(１３)のいずれかに記載の復号装置。
（１５）
前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
前記受け取り部は、前記第２の階層の画像の前記フィルタ処理のオフセットを受け取り、
前記フィルタ処理部は、前記受け取り部により受け取られた前記第２の階層の画像の前記オフセットと前記制御情報とに基づいて、前記フィルタ処理を行う
前記（９）乃至(１３)のいずれかに記載の復号装置。
（１６）
復号装置が、
階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいてフィルタ処理が行われた第２の階層の復号画像を参照画像として用いて、符号化された前記第２の階層の画像の符号化データを受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記符号化データを復号し、前記第２の階層の復号画像を生成する復号ステップと、
前記制御情報に基づいて、前記復号ステップの処理により生成された前記第２の階層の復号画像に対してフィルタ処理を行うフィルタ処理ステップと
を備え、
前記復号ステップの処理では、前記フィルタ処理ステップの処理によりフィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の符号化データを復号する
復号方法。

１０ 符号化装置， １４ 伝送部， ３３ 演算部， ４２ 適応オフセットフィルタ， ８６ 生成部， ９０ 復号装置， ９１ 受け取り部， １３５ 加算部， １３７ 適応オフセットフィルタ

Claims (16)

1. 階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいて、第２の階層の復号画像に対してフィルタ処理を行うフィルタ処理部と、
   前記フィルタ処理部によりフィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の画像を符号化し、符号化データを生成する符号化部と、
   前記符号化部により生成された前記符号化データを伝送する伝送部と
   を備える符号化装置。
2. 前記制御情報は、前記フィルタ処理を行うかどうかを表すGOP（Group of Picture）単位の情報である
   請求項１に記載の符号化装置。
3. 前記制御情報は、前記フィルタ処理を行うかどうかを表すスライス単位の情報である
   請求項１に記載の符号化装置。
4. 前記制御情報は、前記フィルタ処理の種類を表す情報である
   請求項１に記載の符号化装置。
5. 前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
   前記制御情報は、前記フィルタ処理のオフセットおよび種類が、隣接する前記第２の階層の復号画像に対する前記フィルタ処理のオフセットおよび種類と同一であるかどうかを表すマージ情報である
   請求項１に記載の符号化装置。
6. 前記第１の階層の画像の前記フィルタ処理のオフセットと、前記第２の階層の画像の前記フィルタ処理のオフセットを用いて、前記第１の階層の画像の前記オフセットから前記第２の階層の画像の前記オフセットを生成する際に用いる生成情報を生成する生成部
   をさらに備え、
   前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
   前記伝送部は、前記生成情報を伝送する
   請求項１に記載の符号化装置。
7. 前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
   前記伝送部は、前記第２の階層の画像の前記フィルタ処理のオフセットを伝送する
   請求項１に記載の符号化装置。
8. 符号化装置が、
   階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいて、第２の階層の復号画像に対してフィルタ処理を行うフィルタ処理ステップと、
   前記フィルタ処理ステップの処理によりフィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の画像を符号化し、符号化データを生成する符号化ステップと、
   前記符号化ステップの処理により生成された前記符号化データを伝送する伝送ステップと
   を含む符号化方法。
9. 階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいてフィルタ処理が行われた第２の階層の復号画像を参照画像として用いて、符号化された前記第２の階層の画像の符号化データを受け取る受け取り部と、
   前記受け取り部により受け取られた前記符号化データを復号し、前記第２の階層の復号画像を生成する復号部と、
   前記制御情報に基づいて、前記復号部により生成された前記第２の階層の復号画像に対してフィルタ処理を行うフィルタ処理部と
   を備え、
   前記復号部は、前記フィルタ処理部によりフィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の符号化データを復号する
   復号装置。
10. 前記制御情報は、前記フィルタ処理を行うかどうかを表すGOP（Group of Picture）単位の情報である
    請求項９に記載の復号装置。
11. 前記制御情報は、前記フィルタ処理を行うかどうかを表すスライス単位の情報である
    請求項９に記載の復号装置。
12. 前記制御情報は、前記フィルタ処理の種類を表す情報である
    請求項９に記載の復号装置。
13. 前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
    前記制御情報は、前記フィルタ処理のオフセットおよび種類が、隣接する前記第２の階層の復号画像に対する前記フィルタ処理のオフセットおよび種類と同一であるかどうかを表すマージ情報である
    請求項９に記載の復号装置。
14. 前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
    前記受け取り部は、前記第１の階層の画像の前記フィルタ処理のオフセットと、前記第２の階層の画像の前記フィルタ処理のオフセットを用いて生成された、前記第１の階層の画像の前記オフセットから前記第２の階層の画像の前記オフセットを生成する際に用いる生成情報を受け取り、
    前記フィルタ処理部は、前記生成情報と前記第１の階層の画像の前記オフセットとから前記第２の階層の画像の前記オフセットを生成し、前記第２の階層の画像の前記オフセットと前記制御情報とに基づいて、前記フィルタ処理を行う
    請求項９に記載の復号装置。
15. 前記フィルタ処理は、SAO(Sample adaptive offset)処理であり、
    前記受け取り部は、前記第２の階層の画像の前記フィルタ処理のオフセットを受け取り、
    前記フィルタ処理部は、前記受け取り部により受け取られた前記第２の階層の画像の前記オフセットと前記制御情報とに基づいて、前記フィルタ処理を行う
    請求項９に記載の復号装置。
16. 復号装置が、
    階層構造を有する画像の第１の階層の画像を符号化する際に用いるフィルタ処理を制御する情報である制御情報に基づいてフィルタ処理が行われた第２の階層の復号画像を参照画像として用いて、符号化された前記第２の階層の画像の符号化データを受け取る受け取りステップと、
    前記受け取りステップの処理により受け取られた前記符号化データを復号し、前記第２の階層の復号画像を生成する復号ステップと、
    前記制御情報に基づいて、前記復号ステップの処理により生成された前記第２の階層の復号画像に対してフィルタ処理を行うフィルタ処理ステップと
    を備え、
    前記復号ステップの処理では、前記フィルタ処理ステップの処理によりフィルタ処理された前記第２の階層の復号画像を参照画像として用いて、前記第２の階層の符号化データを復号する
    復号方法。

Images