JP6824034B2

JP6824034B2 - 画像復号装置および方法

Info

Publication number: JP6824034B2
Application number: JP2016511513A
Authority: JP
Inventors: 祐一荒木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-03-31
Filing date: 2015-03-17
Publication date: 2021-02-03
Anticipated expiration: 2035-03-17
Also published as: US20170099501A1; US10440397B2; US20190281323A1; JPWO2015151791A1; US10779009B2; WO2015151791A1

Description

本開示は、画像復号装置および方法に関し、特に、復号処理の負荷の増大を抑制することができるようにした画像復号装置および方法に関する。

動画像符号化効率の向上を目的として、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められておりバージョン１（version 1）の策定は既に完了している（例えば、非特許文献１参照）。

Benjamin Bross, Gary J. Sullivan, Ye-Kui Wang, "Editors' proposed corrections to HEVC version 1", JCTVC-M0432_v3, 2013/4/25

そのバージョン１では、8x8, 16x16, 32x32, 64x64のコーディングユニット（CU（Coding Unit））ごとにロスレスで符号化することが可能で、その場合は、デブロッキングフィルタ（Deblocking filter）やサンプルアダプティブオフセット（SAO（Sample Adaptive Offset））等のループフィルタ（loop filter）処理によってピクセルの値を変えてはいけない。また、Coding Unit ごとに量子化パラメータ（Qp）を変えることが可能であり、コーディングユニット同士の境界のエッジ（edge）に対してデブロッキングフィルタ処理を行う場合、各コーディングユニットの量子化パラメータ（Qp）の値を参照しなければならない。

そのため、ループフィルタ処理においては各コーディングユニットの情報を参照しなければならず、復号処理の負荷が増大するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、復号処理の負荷の増大を抑制することができるようにするものである。

本技術の一側面は、画像データが係数変換および量子化されて符号化された符号化データを分割された第１のデータ単位で復号することにより、復号画像データを生成する復号部と、前記第１のデータ単位で設定された情報を参照するかを示すフラグを生成し、前記符号化データのヘッダ情報の、前記復号画像データに対するフィルタ処理以外の処理に関する複数のパラメータの値が全て、前記第１のデータ単位で設定された情報を参照する必要がないことを示す場合、前記フラグに、第２のデータ単位の前記フィルタ処理を行うことを示す値をセットし、前記複数のパラメータの値の内の少なくとも１つが、前記第１のデータ単位で設定された情報を参照する必要があることを示す場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットするフィルタ制御部と、前記復号部により生成された前記復号画像データに対して、前記フィルタ制御部によって生成された前記フラグに応じたデータ単位のフィルタ処理を行うフィルタ処理部とを備える画像復号装置である。

前記複数のパラメータは、PCMデータに対するフィルタ処理に関するパラメータを含み、前記フィルタ制御部は、前記PCMデータに対するフィルタ処理に関するパラメータの値が、前記PCMデータに対するフィルタ処理が無効であることを示す場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットすることができる。

前記PCMデータに対するフィルタ処理に関するパラメータは、pcm_loop_filter_disabled_flagであり、前記フィルタ制御部は、前記pcm_loop_filter_disabled_flagの値が１である場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットすることができる。

前記複数のパラメータは、係数変換および量子化に関するパラメータを含み、前記フィルタ制御部は、前記係数変換および量子化に関するパラメータの値が、前記第１のデータ単位でフィルタ処理をスキップする可能性があることを示す場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットすることができる。

前記係数変換および量子化に関するパラメータは、transquant_bypass_enabled_flagであり、前記フィルタ制御部は、前記transquant_bypass_enabled_flagの値が１である場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットすることができる。

前記複数のパラメータは、量子化に関するパラメータを含み、前記フィルタ制御部は、前記量子化に関するパラメータの値が、が前記第１のデータ単位で量子化パラメータが変化する可能性があることを示す場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットすることができる。

前記量子化に関するパラメータは、cu_qp_delta_enabled_flagであり、前記フィルタ制御部は、前記cu_qp_delta_enabled_flagの値が１である場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットすることができる。

前記第１のデータ単位は、CU（Coding Unit）であり、前記第２のデータ単位は、CTB（Coding Tree Block）であるようにすることができる。
前記フィルタ制御部は、前記符号化データのヘッダ情報の、前記復号画像データに対するフィルタ処理以外の処理に関する複数のパラメータの値が全て、前記第１のデータ単位で設定された情報を参照する必要がないことを示し、かつ、ピクチャが１つのスライスで構成されることを示す場合、前記フラグに、前記第２のデータ単位の前記フィルタ処理を行うことを示す値をセットすることができる。
前記フィルタ制御部は、前記符号化データのヘッダ情報の、前記復号画像データに対するフィルタ処理以外の処理に関する複数のパラメータの値が全て、前記第１のデータ単位で設定された情報を参照する必要がないことを示し、ピクチャが複数のスライスで構成され、かつ、ピクチャ内の各スライスヘッダのslice_qp_deltaが同じである場合、前記フラグに、前記第２のデータ単位の前記フィルタ処理を行うことを示す値をセットすることができる。
前記フィルタ処理部は、前記フィルタ処理としてデブロッキングフィルタ処理を行うことができる。
前記フィルタ処理部は、前記フィルタ処理としてサンプルアダプティブオフセット処理を行うことができる。

本技術の一側面は、また、画像データが係数変換および量子化されて符号化された符号化データを分割された第１のデータ単位で復号することにより、復号画像データを生成し、前記第１のデータ単位で設定された情報を参照するかを示すフラグを生成し、前記符号化データのヘッダ情報の、前記復号画像データに対するフィルタ処理以外の処理に関する複数のパラメータの値が全て、前記第１のデータ単位で設定された情報を参照する必要がないことを示す場合、前記フラグに、第２のデータ単位の前記フィルタ処理を行うことを示す値をセットし、前記複数のパラメータの値の内の少なくとも１つが、前記第１のデータ単位で設定された情報を参照する必要があることを示す場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットし、生成された前記復号画像データに対して、生成された前記フラグに応じたデータ単位の前記フィルタ処理を行う画像復号方法である。

本技術の一側面においては、画像データが係数変換および量子化されて符号化された符号化データが分割された第１のデータ単位で復号されることにより、復号画像データが生成され、第１のデータ単位で設定された情報を参照するかを示すフラグが生成され、符号化データのヘッダ情報の、復号画像データに対するフィルタ処理以外の処理に関する複数のパラメータの値が全て、第１のデータ単位で設定された情報を参照する必要がないことを示す場合、そのフラグに、第２のデータ単位の前記フィルタ処理を行うことを示す値がセットされ、複数のパラメータの値の内の少なくとも１つが、第１のデータ単位で設定された情報を参照する必要があることを示す場合、そのフラグに、第１のデータ単位のフィルタ処理を行うことを示す値がセットされ、その生成された復号画像データに対して、その生成されたフラグに応じたデータ単位のフィルタ処理が行われる。

本開示によれば、画像データが符号化された符号化データを復号することができる。特に、復号処理の負荷の増大を抑制することができる。

コーディングユニットの構成例を説明する図である。コーディングユニット単位の情報の例を説明する図である。コーディングユニット単位の情報の例を説明する図である。画像復号装置の主な構成例を示すブロック図である。シーケンスパラメータセットのシンタクスの例を示す図である。シーケンスパラメータセットのシンタクスの例を示す図である。フィルタ制御部の主な構成例を示すブロック図である。ピクチャパラメータセットのシンタクスの例を示す図である。ピクチャパラメータセットのシンタクスの例を示す図である。スライスヘッダのシンタクスの例を示す図である。スライスヘッダのシンタクスの例を示す図である。スライスヘッダのシンタクスの例を示す図である。ループフィルタの主な構成例を示すブロック図である。コーディングユニットのシンタクスの例を示す図である。コーディングユニットのシンタクスの例を示す図である。復号処理の流れの例を説明するフローチャートである。フィルタ制御情報生成処理の流れの例を説明するフローチャートである。デブロッキングフィルタ用制御情報生成処理の流れの例を説明するフローチャートである。 SAO用制御情報生成処理の流れの例を説明するフローチャートである。ループフィルタ処理の流れの例を説明するフローチャートである。デブロッキングフィルタ処理の流れの例を説明するフローチャートである。 CU単位デブロッキングフィルタ処理の流れの例を説明するフローチャートである。 CTB単位デブロッキングフィルタ処理の流れの例を説明するフローチャートである。 SAO処理の流れの例を説明するフローチャートである。 CU単位SAO処理の流れの例を説明するフローチャートである。 CTB単位SAO処理の流れの例を説明するフローチャートである。多視点画像符号化方式の例を示す図である。本技術を適用した多視点画像符号化装置の主な構成例を示す図である。本技術を適用した多視点画像復号装置の主な構成例を示す図である。階層画像符号化方式の例を示す図である。本技術を適用した階層画像符号化装置の主な構成例を示す図である。本技術を適用した階層画像復号装置の主な構成例を示す図である。コンピュータの主な構成例を示すブロック図である。テレビジョン装置の概略的な構成の一例を示すブロック図である。携帯電話機の概略的な構成の一例を示すブロック図である。記録再生装置の概略的な構成の一例を示すブロック図である。撮像装置の概略的な構成の一例を示すブロック図である。ビデオセットの概略的な構成の一例を示すブロック図である。ビデオプロセッサの概略的な構成の一例を示すブロック図である。ビデオプロセッサの概略的な構成の他の例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像復号装置）
２．第２の実施の形態（多視点画像復号装置）
３．第３の実施の形態（階層画像復号装置）
４．第４の実施の形態（コンピュータ）
５．第５の実施の形態（応用例）
６．第６の実施の形態（セット・ユニット・モジュール・プロセッサ）

＜１．第１の実施の形態＞
＜HEVC＞
HEVCでは固定サイズの符号化単位としてコーディングツリーブロック（CTB（Coding tree block））が定義されている。１ピクチャの画像データは、そのCTBで分割されて符号化されており、デコーダにおいては、各CTBの符号化データが順に復号される。そのCTBはさらに8x8, 16x16, 32x32, 64x64のコーディングユニット（CU（Coding Unit））に分割することが可能である。

図１は、CUの分割例である。図１の例の場合では、１CTBが19個のCUに分割されている。

ところで、シーケンスパラメータセット（SPS（Sequence Parameter Set））において、PCMが存在するか否かを示すフラグ情報であるpcm_enabled_flagが「0」の場合、そのSPSに含まれる、PCMが有効のときループフィルタを無効にするか否かを示すフラグ情報であるpcm_loop_filter_disabled_flagの値は暗黙的に「0」となる。また、そのシーケンス内のCUに含まれる、そのCUにおいてpcm_sampleおよびtransform_treeのシンタクス構造が存在するか否かを示すフラグ情報であるpcm_flagの値も暗黙的に「0」となる。

これに対して、pcm_enabled_flag = 1の場合、pcm_loop_filter_disabled_flagが存在し、CU毎にpcm_flagが存在する。

同様に、ピクチャパラメータセット（PPS（Picture Parameter Set））において、transquant_bypass_enabled_flagの値が「1」の場合、CUごとに、そのCUにおいてスケーリング、変換処理、ループフィルタをスキップするか否かを示すフラグ情報であるcu_transquant_bypass_flag が存在する。

図２は、pcm_flag = 1やcu_transquant_bypass_flag = 1であるCUが存在する場合の、CTBの構成例を示す図である。図２の例の場合、CU4のpcm_flagが「1」であり、CU10のcu_transquant_bypass_flagが「1」である。

pcm_loop_filter_disabled_flag = 1かつpcm_flag = 1のCU（すなわち、PCMデータのCU）や、cu_transquant_bypass_flag = 1のCU（ロスレスのCU）に対して、デブロッキングフィルタやサンプルアダプティブオフセット（SAO（Sample Adaptive Offset））の処理を行う場合、HEVCの規格としてそのCU内のピクセル値を変えてはいけない。すなわち、これらのCU内のピクセル値は、フィルタ処理がかけられた後、フィルタ処理を行う前の値に戻される。

また、PPSにおいて、このPPSに、輝度信号の符号化ツリーブロックサイズとcu_qp_delta_absとcu_qp_delta_sign_flagを含む最小の符号化ユニットサイズとの差分を示すdiff_cu_qp_delta_depthが存在するか否か、かつ、変換ユニット（TU（Transform Unit））に、カレント符号化ユニットの量子化パラメータとその予測値との差分値を示すcu_qp_delta_absが存在し得るか否かを示すフラグ情報であるcu_qp_delta_enabled_flagが「1」の場合、CU毎に、量子化パラメータQp_Yを変えることができる。

図３は、CU毎にそのQp_Yの値が変わる例を示す図である。ここではCU4, CU9, CU10のQp_Yがそれぞれ10, 20, 15であり、デブロッキングフィルタの処理で計算されるqPL = ( ( QpQ + QpP + 1 ) >> 1 ) の値はCUの境界ごとに異なる値となる。

図２、図３のような場合においてデブロッキングフィルタ処理を行うときは、CU単位でpcm_flag, cu_transquant_bypass_flag, Qp_Yを取得し、処理に利用する必要がある。また、図２、図３のような場合においてSAO処理を行うときは、CU単位で pcm_flag, cu_transquant_bypass_flagを取得し、処理に利用する必要がある。

図１に示されるように、CTBには、すなわち、ピクチャには、多数のCUを形成することができるので、このように各CUの情報を参照すると、フィルタ処理の負荷が増大するおそれがあった。

換言するに、ピクチャ内の全CUについて、pcm_flag = 0， cu_transquant_bypass_flag = 0, Qp_Y = 固定値であれば、デブロッキングフィルタ処理やSAO処理において、これらのCU単位の情報を参照する必要は無く、フィルタ処理の負荷の増大を抑制することができる。

＜フィルタ制御＞
そこで、符号化データのヘッダ情報に対応するデータ単位毎に設定された情報に応じて、画像データが符号化された符号化データを再帰的に分割されたCU（Coding Unit）毎に復号することにより生成された復号画像データに対してフィルタ処理を行うようにする。このようにすることにより、不要に小さなデータ単位の情報を用いることを抑制することができ、復号処理の負荷の増大を抑制することができる。

ヘッダ情報とは、各階層（シーケンス/ピクチャ/スライス/タイル/最大符号化単位/符号化単位等）に対して、各階層に設定されたデータに先立ってパース（参照する）情報又は各階層に設定されたデータとは独立してパース（参照する）情報を意味する。例えば、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、スライスヘッダ（Slice Header）、ナルユニットタイプ（nal_unit_typ）、SEI（Supplemental Enhancement Information）等の情報がヘッダ情報に該当する。ヘッダ情報は、ビットストリームのシンタクスとして明示的に定義された情報だけではなく、各階層の先頭に位置する情報も含む。

＜画像復号装置＞
図４は、本技術を適用した画像処理装置の一態様である画像復号装置の主な構成例を示すブロック図である。図４に示される画像復号装置１００は、図示せぬ画像符号化装置が画像データをHEVC符号化方式により符号化して生成した符号化データを復号する。

図４に示されるように画像復号装置１００は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、ループフィルタ１１６、および画面並べ替えバッファ１１７を有する。また、画像復号装置１００は、フレームメモリ１１８、イントラ予測部１１９、インター予測部１２０、および予測画像選択部１２１を有する。さらに、画像復号装置１００は、フィルタ制御部１２２を有する。

蓄積バッファ１１１は、符号化側から伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ１１１は、その伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部１１２に供給する。可逆復号部１１２は、蓄積バッファ１１１より供給された符号化データをHEVC方式で復号する。例えば、可逆復号部１１２は、その符号化データを再帰的に分割されたCU（Coding Unit）毎に復号する。可逆復号部１１２は、復号して得られた量子化された係数データを、逆量子化部１１３に供給する。

また、可逆復号部１１２は、符号化データに付加された最適な予測モードに関する情報に基づいて、最適な予測モードとしてイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部１１９およびインター予測部１２０の内、選択されたと判定したモードの方に供給する。例えば符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部１１９に供給される。また、例えば符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報がインター予測部１２０に供給される。

さらに、可逆復号部１１２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を逆量子化部１１３に供給する。

また、可逆復号部１１２は、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、スライスヘッダ等のヘッダ情報を、フィルタ制御部１２２に供給する。

逆量子化部１１３は、可逆復号部１１２により復号されて得られた量子化された係数データを、符号化側の量子化方式に対応する方式で逆量子化する。逆量子化部１１３は、得られた係数データを逆直交変換部１１４に供給する。

逆直交変換部１１４は、逆量子化部１１３から供給される直交変換係数を、符号化側の直交変換方式に対応する方式で逆直交変換する。逆直交変換部１１４は、この逆直交変換処理により、符号化側において直交変換される前の状態に対応する残差データを得る。逆直交変換されて得られた残差データは、演算部１１５に供給される。

演算部１１５は、逆直交変換部１１４から残差データを取得する。また、演算部１１５は、予測画像選択部１２１を介して、イントラ予測部１１９若しくはインター予測部１２０から予測画像を取得する。演算部１１５は、差分画像と予測画像とを加算し、符号化側において予測画像が減算される前の画像に対応する再構成画像を得る。演算部１１５は、その再構成画像をループフィルタ１１６およびイントラ予測部１１９に供給する。

ループフィルタ１１６は、供給された再構成画像に対して、デブロックフィルタ処理やSAO処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ１１６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ１１６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、SAO処理を行うことにより、リンギングの低減や画素値のズレの補正等による画質改善を行う。

なお、ループフィルタ１１６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ１１６が、符号化側から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。

ループフィルタ１１６は、フィルタ処理結果である復号画像を画面並べ替えバッファ１１７およびフレームメモリ１１８に供給する。

画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、符号化側において符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。画面並べ替えバッファ１１７は、フレームの順番を並べ替えた復号画像データを画像復号装置１００の外部に出力する。

フレームメモリ１１８は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、インター予測部１２０等の外部の要求に基づいて、記憶している復号画像を参照画像として、インター予測部１２０に供給する。

イントラ予測部１１９には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部１１２から適宜供給される。イントラ予測部１１９は、符号化側において用いられたイントラ予測モードで、演算部１１５から供給される再構成画像を参照画像として用いてイントラ予測を行い、予測画像を生成する。イントラ予測部１１９は、生成した予測画像を予測画像選択部１２１に供給する。

インター予測部１２０は、ヘッダ情報を復号して得られた情報（最適予測モード情報、参照画像情報等）を可逆復号部１１２から取得する。

インター予測部１２０は、可逆復号部１１２から取得された最適予測モード情報が示すインター予測モードで、フレームメモリ１１８から取得した参照画像を用いてインター予測を行い、予測画像を生成する。

予測画像選択部１２１は、イントラ予測部１１９からの予測画像またはインター予測部１２０からの予測画像を、演算部１１５に供給する。そして、演算部１１５においては、動きベクトルが用いられて生成された予測画像と逆直交変換部１１４から供給される残差データとが加算されて元の画像が復号される。すなわち、再構成画像が生成される。

フィルタ制御部１２２は、例えば、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、スライスヘッダ等の、符号化側から伝送されたヘッダ情報を、可逆復号部１１２を介して取得する。フィルタ制御部１２２は、取得したヘッダ情報に基づいて、ループフィルタ１１６のフィルタ処理に用いられる情報のデータ単位を決定する。例えば、フィルタ制御部１２２は、CU単位の情報を用いるか否かを選択する。

フィルタ制御部１２２は、その決定（選択）したデータ単位の情報を用いてループフィルタ処理を行うようにループフィルタ１１６の動作を制御するフィルタ制御情報を生成し、そのフィルタ制御情報をループフィルタ１１６に供給する。

シーケンスパラメータセット（SPS）のシンタクスの例を図５および図６に示す。上述したように、図５の下から４行目に示されるpcm_enabled_flagが「１」の場合、図６の上から３行目に示されるように、pcm_loop_filter_disabled_flagが存在し、CU毎にpcm_flagが存在する。

このような場合に、フィルタ制御部１２２は、SPSやPPS等、各種ヘッダ情報を参照し、その値に基づいて、フィルタ制御情報を生成する。

＜フィルタ制御部＞
図７にそのフィルタ制御部１２２の主な構成例を示す。図７に示されるように、フィルタ制御部１２２は、デブロッキングフィルタ用制御情報生成部１３１とSAO用制御情報生成部１３２とを有する。

デブロッキングフィルタ用制御情報生成部１３１は、可逆復号部１１２から供給されるSPS、PPS、スライスヘッダ等のヘッダ情報を参照して、デブロッキングフィルタ処理に用いられる情報のデータ単位を決定する。例えば、デブロッキングフィルタ用制御情報生成部１３１は、これらのヘッダ情報の値に対する条件がCU単位毎に設定された情報を参照する必要が無いことを示す場合、フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップさせる。換言するに、例えば、デブロッキングフィルタ用制御情報生成部１３１は、これらのヘッダ情報の値に対する条件がCU単位毎に設定された情報を参照する必要があることを示す場合、フィルタ処理を行う際に参照するCU単位毎に設定された情報を参照させる。

例えば、デブロッキングフィルタ用制御情報生成部１３１は、ヘッダ情報に基づいて、PCMデータに対するフィルタ処理が無効の場合、CU単位の情報を用いることを選択する。例えば、デブロッキングフィルタ用制御情報生成部１３１は、シーケンスパラメータセット（SPS）のpcm_loop_filter_disabled_flag（図６の上から３行目）を参照し、その値が真（「１」）の場合、CU単位の情報を用いることを選択する。

また、例えば、デブロッキングフィルタ用制御情報生成部１３１は、ヘッダ情報に基づいて、CU単位でフィルタ処理をスキップする可能性がある場合、CU単位の情報を用いることを選択する。例えば、デブロッキングフィルタ用制御情報生成部１３１は、ピクチャパラメータセット（PPS）のtransquant_bypass_enabled_flagを参照し、その値が真（「１」）の場合、CU単位の情報を用いることを選択する。

ピクチャパラメータセット（PPS）のシンタクスの例を図８および図９に示す。図８の上から２２行目に示されるtransquant_bypass_enabled_flagが真（「１」）の場合、CU毎にcu_transquant_bypass_flagが存在する。そこで、この場合、デブロッキングフィルタ用制御情報生成部１３１は、デブロッキングフィルタ処理の際にCU単位の情報を用いることを選択する。

さらに、例えば、デブロッキングフィルタ用制御情報生成部１３１は、ヘッダ情報に基づいて、CU単位で量子化パラメータが変化する可能性がある場合、CU単位の情報を用いることを選択する。例えば、デブロッキングフィルタ用制御情報生成部１３１は、ピクチャパラメータセット（PPS）のcu_qp_delta_enabled_flagを参照し、その値が真（「１」）の場合、CU単位の情報を用いることを選択する。

図８の上から１４行目に示されるcu_qp_delta_enabled_flagが真（「１」）の場合、CU毎に、diff_cu_qp_delta_depthおよびcu_qp_delta_absのうち、少なくともいずれか一方が存在し得る。つまり、CU単位で量子化パラメータが変化する可能性がある。そこで、この場合、デブロッキングフィルタ用制御情報生成部１３１は、デブロッキングフィルタ処理の際にCU単位の情報を用いることを選択する。

また、例えば、デブロッキングフィルタ用制御情報生成部１３１は、処理対象であるカレントピクチャ内に複数のスライスが存在し、かつ、スライス毎に量子化パラメータが変化する可能性がある場合、CU単位の情報を用いることを選択する。例えば、デブロッキングフィルタ用制御情報生成部１３１は、スライスヘッダ（slice_segment_header）のslice_qp_deltaをスライス同士で比較し、互いに同一でない場合、CU単位の情報を用いることを選択する。

スライスヘッダのシンタクスの例を図１０、図１１、および図１２に示す。図１１の上から２９行目に示されるslice_qp_deltaがスライス同士で共通でない場合、デブロッキングフィルタ用制御情報生成部１３１は、デブロッキングフィルタ処理の際にCU単位の情報を用いることを選択する。

これに対して、pcm_loop_filter_disabled_flag, transquant_bypass_enabled_flag, cu_qp_delta_enabled_flagのいずれも値が偽（「０」）であり、かつ、スライス毎に量子化パラメータが変化する可能性がない場合（例えば、ピクチャが１つのスライスで構成される場合、または、ピクチャ内の各スライスヘッダのslice_qp_deltaが同じ場合）、デブロッキングフィルタ用制御情報生成部１３１は、デブロッキングフィルタ処理の際にCU単位の情報を用いないことを選択する。

デブロッキングフィルタ用制御情報生成部１３１は、デブロッキングフィルタ用制御情報dbk_simple_flagを生成し、その値を、以上のような選択（決定）を反映させる値に決定する。例えば、デブロッキングフィルタ用制御情報生成部１３１は、デブロッキングフィルタ処理の際にCU単位の情報を用いない場合、dbk_simple_flag = 1をセットする。また、例えば、デブロッキングフィルタ用制御情報生成部１３１は、デブロッキングフィルタ処理の際にCU単位の情報を用いる場合、dbk_simple_flag = 0をセットする。

デブロッキングフィルタ用制御情報生成部１３１は、このように生成したdbk_simple_flagを、ループフィルタ１１６に供給する。

SAO用制御情報生成部１３２は、可逆復号部１１２から供給されるSPSやPPS等のヘッダ情報を参照して、SAO処理に用いられる情報のデータ単位を決定する。例えば、SAO用制御情報生成部１３２は、これらのヘッダ情報の値に対する条件がCU単位毎に設定された情報を参照する必要が無いことを示す場合、フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップさせる。換言するに、例えば、SAO用制御情報生成部１３２は、これらのヘッダ情報の値に対する条件がCU単位毎に設定された情報を参照する必要があることを示す場合、フィルタ処理を行う際に参照するCU単位毎に設定された情報を参照させる。

例えば、SAO用制御情報生成部１３２は、ヘッダ情報に基づいて、PCMデータに対するフィルタ処理が無効の場合、CU単位の情報を用いることを選択する。例えば、SAO用制御情報生成部１３２は、シーケンスパラメータセット（SPS）のpcm_loop_filter_disabled_flag（図６の上から３行目）を参照し、その値が真（「１」）の場合、CU単位の情報を用いることを選択する。

また、例えば、SAO用制御情報生成部１３２は、ヘッダ情報に基づいて、CU単位でフィルタ処理をスキップする可能性がある場合、CU単位の情報を用いることを選択する。例えば、SAO用制御情報生成部１３２は、ピクチャパラメータセット（PPS）のtransquant_bypass_enabled_flag（図８の上から２２行目）を参照し、その値が真（「１」）の場合、CU単位の情報を用いることを選択する。

これに対して、pcm_loop_filter_disabled_flag, transquant_bypass_enabled_flagのいずれも値が偽（「０」）である場合、SAO用制御情報生成部１３２は、SAO処理の際にCU単位の情報を用いないことを選択する。

SAO用制御情報生成部１３２は、SAO用制御情報sao_simple_flagを生成し、その値を、以上のような選択（決定）を反映させる値に決定する。例えば、SAO用制御情報生成部１３２は、SAO処理の際にCU単位の情報を用いない場合、sao_simple_flag = 1をセットする。また、例えば、SAO用制御情報生成部１３２は、SAO処理の際にCU単位の情報を用いる場合、sao_simple_flag = 0をセットする。

SAO用制御情報生成部１３２は、このように生成したsao_simple_flagを、ループフィルタ１１６に供給する。

＜ループフィルタ＞
図１３は、ループフィルタ１１６の主な構成例を示すブロック図である。図１３に示されるように、ループフィルタ１１６は、デブロッキングフィルタ処理部１４１およびSAO処理部１４２を有する。

デブロッキングフィルタ処理部１４１は、演算部１１５から供給される再構成画像に対してデブロッキングフィルタ処理を行う。デブロッキングフィルタ処理部１４１は、その際、フィルタ制御部１２２から供給されるデブロッキングフィルタ用制御情報dbk_simple_flagを取得し、その値に基づいてデブロッキングフィルタ処理を行う。つまり、デブロッキングフィルタ処理部１４１は、ヘッダ情報に対応するデータ単位毎に設定された情報に応じて、デブロッキングフィルタ処理を行う。

例えば、dbk_simple_flag == 0の場合、デブロッキングフィルタ処理部１４１は、CU単位の情報を用いてデブロッキングフィルタ処理を行う。つまり、デブロッキングフィルタ処理部１４１は、ヘッダ情報の値に対する条件がCU単位毎に設定された情報を参照する必要があることを示す場合、フィルタ処理を行う際に参照するCU単位毎に設定された情報を参照してデブロッキングフィルタ処理を行う。例えば、デブロッキングフィルタ処理部１４１は、CUのcu_transquant_bypass_flagやpcm_flagを参照し、その値を用いてデブロッキングフィルタ処理を行う。

CUのシンタクスの例を図１４および図１５に示す。図１４の例の場合、上から３行目にcu_transquant_bypass_flagが存在し、上から１６行目にpcm_flagが存在する。デブロッキングフィルタ処理部１４１は、これらの値を用いてデブロッキングフィルタ処理を行う。

また、例えば、dbk_simple_flag == 1の場合、デブロッキングフィルタ処理部１４１は、CU単位の情報を用いずにデブロッキングフィルタ処理を行う。つまり、デブロッキングフィルタ処理部１４１は、ヘッダ情報の値に対する条件がCU単位毎に設定された情報を参照する必要が無いことを示す場合、フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップしてデブロッキングフィルタ処理を行う。デブロッキングフィルタ処理部１４１は、デブロッキングフィルタ処理を行った再構成画像をSAO処理部１４２に供給する。

SAO処理部１４２は、デブロッキングフィルタ処理部１４１から供給されるデブロッキングフィルタ処理が行われた再構成画像に対してSAO処理を行う。SAO処理部１４２は、その際、フィルタ制御部１２２から供給されるSAO用制御情報sao_simple_flagを取得し、その値に基づいてSAO処理を行う。つまり、SAO処理部１４２は、ヘッダ情報に対応するデータ単位毎に設定された情報に応じて、SAO処理を行う。

例えば、sao_simple_flag == 0の場合、SAO処理部１４２は、CU単位の情報を用いてSAO処理を行う。つまり、SAO処理部１４２は、ヘッダ情報の値に対する条件がCU単位毎に設定された情報を参照する必要があることを示す場合、フィルタ処理を行う際に参照するCU単位毎に設定された情報を参照してSAO処理を行う。例えば、SAO処理部１４２は、CUのcu_transquant_bypass_flag（図１４の上から３行目）やpcm_flag（図１４の上から１６行目）を参照し、その値を用いてSAO処理を行う。

また、例えば、sao_simple_flag == 1の場合、SAO処理部１４２は、CU単位の情報を用いずにSAO処理を行う。つまり、SAO処理部１４２は、ヘッダ情報の値に対する条件がCU単位毎に設定された情報を参照する必要が無いことを示す場合、フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップしてSAO処理を行う。SAO処理部１４２は、SAO処理を行った再構成画像（すなわち、復号画像）を画面並べ替えバッファ１１７やフレームメモリ１１８に供給する。

以上のようにヘッダ情報に対応するデータ単位毎に設定された情報に応じてループフィルタ処理を行うことにより、画像復号装置１００は、不要に小さいデータ単位の情報を参照せずにループフィルタ処理を行うことができるので、復号処理の負荷の増大を抑制することができる。

＜復号処理の流れ＞
次に、画像復号装置１００により実行される各処理の流れの例を説明する。最初に、復号処理の流れの例を、図１６のフローチャートを参照して説明する。

復号処理が開始されると、ステップＳ１０１において、蓄積バッファ１１１は、伝送されてきたビットストリームを蓄積する。ステップＳ１０２において、可逆復号部１１２は、蓄積バッファ１１１から供給されるビットストリームを復号する。すなわち、符号化側により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた画像情報以外の各種情報も復号される。

ステップＳ１０３において、フィルタ制御部１２２は、フィルタ制御情報を生成する。

ステップＳ１０４において、逆量子化部１１３は、ステップＳ１０２の処理により得られた、量子化された係数を逆量子化する。

ステップＳ１０５において、逆直交変換部１１４は、ステップＳ１０４の処理により得られた直交変換係数を逆直交変換する。この処理により、輝度成分の残差データと色差成分の予測残差データが復元される。

ステップＳ１０６において、イントラ予測部１１９若しくはインター予測部１２０は、予測処理を行い、予測画像を生成する。つまり、可逆復号部１１２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部１１９が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、インター予測部１２０が、符号化の際に最適とされたインター予測モードで予測画像を生成する。

ステップＳ１０７において、演算部１１５は、ステップＳ１０５の処理により復元された残差データに、ステップＳ１０６において生成された予測画像を加算する。これにより再構成画像が得られる。

ステップＳ１０８において、ループフィルタ１１６は、ステップＳ１０７の処理により得られた再構成画像に対して、デブロックフィルタ処理やSAO処理等を含むループフィルタ処理を行う。

ステップＳ１０９において、画面並べ替えバッファ１１７は、ステップＳ１０８の処理により得られた復号画像のフレームの並べ替えを行う。すなわち、符号化の際に並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。フレームが並べ替えられた復号画像は、画像復号装置１００の外部に出力される。

ステップＳ１１０において、フレームメモリ１１８は、ステップＳ１０８の処理により得られた復号画像を記憶する。

ステップＳ１１０の処理が終了すると、復号処理が終了する。

＜フィルタ制御情報生成処理の流れ＞
次に、このような復号処理のステップＳ１０３において実行されるフィルタ制御情報生成処理の流れの例を、図１７のフローチャートを参照して説明する。

フィルタ制御情報生成処理が開始されると、フィルタ制御部１２２のデブロッキングフィルタ用制御情報生成部１３１は、ステップＳ１２１において、デブロッキングフィルタ用制御情報生成処理を行う。

ステップＳ１２２において、フィルタ制御部１２２のSAO用制御情報生成部１３２は、SAO用制御情報生成処理を行う。

ステップＳ１２２の処理が終了すると、フィルタ制御情報生成処理が終了し、処理は図１６に戻る。

＜デブロッキングフィルタ用制御情報生成処理の流れ＞
次に、図１８のフローチャートを参照して、図１７のステップＳ１２１において実行されるデブロッキングフィルタ用制御情報生成処理の流れの例を説明する。

デブロッキングフィルタ用制御情報生成処理が開始されると、デブロッキングフィルタ用制御情報生成部１３１は、ステップＳ１３１において、is_first_slice = 0を設定する。

ステップＳ１３２において、デブロッキングフィルタ用制御情報生成部１３１は、pcm_loop_filter_disabled_flag == 0であるか否かを判定する。pcm_loop_filter_disabled_flag == 0であると判定された場合、処理はステップＳ１３３に進む。

ステップＳ１３３において、デブロッキングフィルタ用制御情報生成部１３１は、transquant_bypass_enabled_flag == 0であるか否かを判定する。transquant_bypass_enabled_flag == 0であると判定された場合、処理はステップＳ１３４に進む。

ステップＳ１３４において、デブロッキングフィルタ用制御情報生成部１３１は、cu_qp_delta_enabled_flag == 0であるか否かを判定する。cu_qp_delta_enabled_flag == 0であると判定された場合、処理はステップＳ１３５に進む。

ステップＳ１３５において、デブロッキングフィルタ用制御情報生成部１３１は、処理対象であるカレントピクチャのスライスの数（slice segment数）が「１」であるか否かを判定する。デブロッキングフィルタ用制御情報生成部１３１は、ピクチャが複数のスライスで構成される場合に、フィルタ処理を行う際に参照するCU単位毎に設定された情報を参照させる。したがって、slice segment数が複数であると判定された場合、処理はステップＳ１３６に進む。

ステップＳ１３６において、デブロッキングフィルタ用制御情報生成部１３１は、is_first_slice == 0であるか否か、すなわち、処理対象であるカレントスライスが、カレントピクチャの最初のスライスであるか否かを判定する。そして、カレントスライスがカレントピクチャの最初のスライスである（つまり、is_first_slice == 0）と判定された場合、処理は、ステップＳ１３７に進む。

ステップＳ１３７において、デブロッキングフィルタ用制御情報生成部１３１は、is_first_slice = 1, first_slice_qp_delta = slice_qp_deltaを設定する。ステップＳ１３７の処理が終了すると、処理はステップＳ１３６に戻り、それ以降の処理を繰り返す。

また、ステップＳ１３６において、is_first_slice == 1 である、すなわち、カレントスライスがカレントピクチャの最初のスライスでないと判定された場合、処理はステップＳ１３８に進む。

ステップＳ１３８において、デブロッキングフィルタ用制御情報生成部１３１は、slice_qp_delta == first_slice_qp_deltaであるか否か、つまり、カレントスライスの量子化パラメータがカレントピクチャの最初のスライスの量子化パラメータと一致するか否かを判定する。slice_qp_delta == first_slice_qp_deltaである、つまり、カレントスライスの量子化パラメータがカレントピクチャの最初のスライスの量子化パラメータと一致すると判定された場合、処理は、ステップＳ１３９に進む。つまり、デブロッキングフィルタ用制御情報生成部１３１は、ピクチャが複数のスライスで構成される場合に、ピクチャ内の各スライスヘッダのslice_qp_deltaが同じであれば、フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップさせる。

ステップＳ１３９において、デブロッキングフィルタ用制御情報生成部１３１は、カレントスライスが、カレントピクチャに属する最後のスライス（slice segment）であるか否かを判定する。最後でないと判定された場合、処理はステップＳ１３６に戻り、それ以降の処理を繰り返す。

また、ステップＳ１３９において、カレントスライスが、カレントピクチャに属する最後のスライス（slice segment）であると判定された場合、処理はステップＳ１４０に進む。

また、ステップＳ１３５において、カレントピクチャのスライスの数（slice segment数）が「１」であると判定された場合、ステップＳ１３６乃至ステップＳ１３９の処理が省略され、処理はステップＳ１４０に進む。つまり、デブロッキングフィルタ用制御情報生成部１３１は、ピクチャが１つのスライスで構成される場合に、フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップさせる。

ステップＳ１４０において、デブロッキングフィルタ用制御情報生成部１３１は、デブロッキングフィルタ用制御情報dbk_simple_flagを生成し、その値を「１」にセットする。

ステップＳ１４０の処理が終了すると、処理は図１７に戻る。

また、ステップＳ１３２において、pcm_loop_filter_disabled_flag == 1であると判定された場合、処理はステップＳ１４１に進む。

さらに、ステップＳ１３３において、transquant_bypass_enabled_flag == 1であると判定された場合、処理はステップＳ１４１に進む。

また、ステップＳ１３４において、cu_qp_delta_enabled_flag == 1であると判定された場合、処理はステップＳ１４１に進む。

また、ステップＳ１３８において、slice_qp_delta == first_slice_qp_deltaでない、つまり、カレントスライスの量子化パラメータがカレントピクチャの最初のスライスの量子化パラメータと一致しないと判定された場合、処理は、ステップＳ１４１に進む。

ステップＳ１４１において、デブロッキングフィルタ用制御情報生成部１３１は、デブロッキングフィルタ用制御情報dbk_simple_flagを生成し、その値を「０」にセットする。

ステップＳ１４１の処理が終了すると、処理は図１７に戻る。

＜SAO制御情報生成処理の流れ＞
次に、図１９のフローチャートを参照して、図１７のステップＳ１２２において実行されるSAO用制御情報生成処理の流れの例を説明する。

SAO用制御情報生成処理が開始されると、SAO用制御情報生成部１３２は、ステップＳ１５１において、pcm_loop_filter_disabled_flag == 0であるか否かを判定する。pcm_loop_filter_disabled_flag == 0であると判定された場合、処理はステップＳ１５２に進む。

ステップＳ１５２において、SAO用制御情報生成部１３２は、transquant_bypass_enabled_flag == 0であるか否かを判定する。transquant_bypass_enabled_flag == 0であると判定された場合、処理はステップＳ１５３に進む。

ステップＳ１５３において、SAO用制御情報生成部１３２は、SAO用制御情報sao_simple_flagを生成し、その値を「１」にセットする。ステップＳ１５３の処理が終了するとSAO用制御情報生成処理が終了し、処理は図１７に戻る。

ところで、ステップＳ１５１において、pcm_loop_filter_disabled_flag == 1であると判定された場合、処理はステップＳ１５４に進む。また、ステップＳ１５２において、transquant_bypass_enabled_flag == 1であると判定された場合、処理はステップＳ１５４に進む。

ステップＳ１５４において、SAO用制御情報生成部１３２は、SAO用制御情報sao_simple_flagを生成し、その値を「０」にセットする。ステップＳ１５４の処理が終了するとSAO用制御情報生成処理が終了し、処理は図１７に戻る。

＜ループフィルタ処理の流れ＞
次に、図１６のステップＳ１０８において実行されるループフィルタ処理の流れの例を、図２０のフローチャートを参照して説明する。

ループフィルタ処理が開始されると、ループフィルタ１１６のデブロッキングフィルタ処理部１４１は、ステップＳ１６１において、デブロッキングフィルタ処理を行う。

ステップＳ１６２において、ループフィルタ１１６のSAO処理部１４２は、SAO処理を行う。

ステップＳ１６２の処理が終了するとループフィルタ処理が終了し、処理は図１６に戻る。

＜デブロッキングフィルタ処理の流れ＞
次に、図２１のフローチャートを参照して、図２０のステップＳ１６１において実行されるデブロッキングフィルタ処理の流れの例を説明する。

デブロッキングフィルタ処理が開始されると、デブロッキングフィルタ処理部１４１は、ステップＳ１７１において、フィルタ制御部１２２から供給されるデブロッキングフィルタ用制御情報dbk_simple_flagの値が「１」であるか否かを判定する。dbk_simple_flag == 1であると判定された場合、処理はステップＳ１７２に進む。

ステップＳ１７２において、デブロッキングフィルタ処理部１４１は、CU単位の情報を利用しないCTB単位のデブロッキングフィルタ処理を行う。ステップＳ１７２の処理が終了すると、デブロッキングフィルタ処理が終了し、処理は、図２０に戻る。

また、ステップＳ１７１において、dbk_simple_flag == 0であると判定された場合、処理はステップＳ１７３に進む。

ステップＳ１７３において、デブロッキングフィルタ処理部１４１は、CU単位の情報を利用するCU単位のデブロッキングフィルタ処理を行う。ステップＳ１７３の処理が終了すると、デブロッキングフィルタ処理が終了し、処理は、図２０に戻る。

＜CU単位デブロッキングフィルタ処理の流れ＞
次に、図２２のフローチャートを参照して、図２１のステップＳ１７３において実行されるCU単位デブロッキングフィルタ処理の流れの例を説明する。

CU単位デブロッキングフィルタ処理が開始されると、デブロッキングフィルタ処理部１４１は、ステップＳ１８１において、ピクチャ内のエッジ（edge）に対して、境界強度を算出する。

ステップＳ１８２において、デブロッキングフィルタ処理部１４１は、i = 0 を設定する。ステップＳ１８３において、デブロッキングフィルタ処理部１４１は、i番目のエッジの情報を取得する。

ステップＳ１８４において、デブロッキングフィルタ処理部１４１は、処理対象であるカレントエッジに対してデブロッキングフィルタをかけるか否かを判定する。デブロッキングフィルタをかけると判定された場合、処理は、ステップＳ１８５に進む。

ステップＳ１８５において、デブロッキングフィルタ処理部１４１は、そのカレントエッジに隣接するピクセルが属するCUの情報を取得する。

ステップＳ１８６において、デブロッキングフィルタ処理部１４１は、CUの量子化パラメータQp_YからqP_Lを算出し、デブロッキングフィルタ用のパラメータであるβとtcとを導出する。

ステップＳ１８７において、デブロッキングフィルタ処理部１４１は、カレントエッジに対してデブロッキングフィルタをかける。

ステップＳ１８８において、デブロッキングフィルタ処理部１４１は、そのカレントエッジに隣接するピクセルが属するCUにおいて、(pcm_flag == 1 and pcm_loop_filter_disabled_flag = 1) or （cu_transquant_bypass_flag = 1）であれば、デブロッキングフィルタをかけることによって値が変わったピクセルの値を、デブロッキングフィルタをかける前の値に戻す。

ステップＳ１８８の処理が終了すると、処理は、ステップＳ１８９に進む。また、ステップＳ１８４において、デブロッキングフィルタをかけないと判定された場合、処理はステップＳ１８９に進む。

ステップＳ１８９において、デブロッキングフィルタ処理部１４１は、カレントエッジがカレントピクチャの最後のエッジであるか否かを判定する。カレントエッジがカレントピクチャの最後のエッジでないと判定された場合、処理は、ステップＳ１９０に進む。

ステップＳ１９０において、デブロッキングフィルタ処理部１４１は、i = i + 1を設定する。すなわち、処理対象を次のエッジに移す。ステップＳ１９０のの処理が終了すると、処理はステップＳ１８３に戻り、それ以降の処理を繰り返す。

また、ステップＳ１８９において、カレントエッジがカレントピクチャの最後のエッジであると判定された場合、CU単位デブロッキングフィルタ処理が終了し、処理は図２１に戻る。

以上のように、CU単位の情報を利用するデブロッキングフィルタ処理は、各CUを参照しなければならず、処理の負荷が大きい。ヘッダ情報を確認せずにデブロッキングフィルタ処理を行う場合、このCU単位のデブロッキングフィルタ処理を行わなければならない。したがって、仮にCU単位の情報が不要であっても、CU単位の情報を参照しなければならず、不要にデブロッキングフィルタ処理の負荷が増大するおそれがあった。

＜CTB単位デブロッキングフィルタ処理の流れ＞
次に、図２３のフローチャートを参照して、図２１のステップＳ１７２において実行されるCTB単位デブロッキングフィルタ処理の流れの例を説明する。

CTB単位デブロッキングフィルタ処理が開始されると、デブロッキングフィルタ処理部１４１は、ステップＳ２０１において、ピクチャ内のエッジに対して境界強度を算出する。

ステップＳ２０２において、デブロッキングフィルタ処理部１４１は、ピクチャで共通のβ、tcを導出する。

ステップＳ２０３において、デブロッキングフィルタ処理部１４１は、i = 0を設定する。

ステップＳ２０４において、デブロッキングフィルタ処理部１４１は、i番目のエッジの情報を取得する。

ステップＳ２０５において、デブロッキングフィルタ処理部１４１は、デブロッキングフィルタをかけるか否かを判定する。デブロッキングフィルタをかけると判定された場合、処理はステップＳ２０６に進む。

ステップＳ２０６において、デブロッキングフィルタ処理部１４１は、そのカレントエッジに対してデブロッキングフィルタをかける。ステップＳ２０６の処理が終了すると、処理はステップＳ２０７に進む。また、ステップＳ２０５において、デブロッキングフィルタ処理をかけないと判定されると、ステップＳ２０６の処理が省略され、処理はステップＳ２０７に進む。

ステップＳ２０７において、デブロッキングフィルタ処理部１４１は、カレントエッジがカレントピクチャの最後のエッジであるか否かを判定する。カレントエッジがカレントピクチャの最後のエッジでないと判定された場合、処理は、ステップＳ２０８に進む。

ステップＳ２０８において、デブロッキングフィルタ処理部１４１は、i = i + 1を設定する。ステップＳ２０８の処理が終了すると、処理はステップＳ２０４に戻り、それ以降の処理を繰り返す。

また、ステップＳ２０７において、カレントエッジがカレントピクチャの最後のエッジであると判定された場合、CU単位デブロッキングフィルタ処理が終了し、処理は図２１に戻る。

以上のように、CTB単位の情報を利用するデブロッキングフィルタ処理は、各CUを参照せずにデブロッキングフィルタ処理を行うことができ、処理の負荷の増大を抑制することができる。つまり、デブロッキングフィルタ処理部１４１は、上述したように、ヘッダ情報を参照してCU単位の情報が不要であることを確認し、その必要・不要に応じて、CU単位のデブロッキングフィルタ処理とCTB単位のデブロッキングフィルタ処理とを適切に使い分ける。このようにすることにより、デブロッキングフィルタ処理部１４１は、デブロッキングフィルタ処理の負荷の不要な増大を抑制することができる。

＜SAO処理の流れ＞
次に、図２４のフローチャートを参照して、図２０のステップＳ１６２において実行されるSAO処理の流れの例を説明する。

SAO処理が開始されると、SAO処理部１４２は、ステップＳ２１１において、フィルタ制御部１２２から供給されるSAO用制御情報sao_simple_flagの値が「１」であるか否かを判定する。sao_simple_flag == 1であると判定された場合、処理はステップＳ２１２に進む。

ステップＳ２１２において、SAO処理部１４２は、CU単位の情報を利用しないCTB単位のSAO処理を行う。ステップＳ２１２の処理が終了すると、デブロッキングフィルタ処理が終了し、処理は、図２０に戻る。

また、ステップＳ２１１において、sao_simple_flag == 0であると判定された場合、処理はステップＳ２１３に進む。

ステップＳ２１３において、デブロッキングフィルタ処理部１４１は、CU単位の情報を利用するCU単位のSAO処理を行う。ステップＳ２１３の処理が終了すると、SAO処理が終了し、処理は、図２０に戻る。

＜CU単位SAO処理の流れ＞
次に、図２５のフローチャートを参照して、図２４のステップＳ２１３において実行されるCU単位SAO処理の流れの例を説明する。

CU単位SAO処理が開始されると、SAO処理部１４２は、ステップＳ２２１において、i = 0を設定する。

ステップＳ２２２において、SAO処理部１４２は、i番目のCTBの情報を取得する。

ステップＳ２２３において、SAO処理部１４２は、SaoTypeIdx == 0であるか否かを判定する。SaoTypeIdx == 0でないと判定された場合、処理はステップＳ２２４に進む。

ステップＳ２２４において、SAO処理部１４２は、SaoOffsetValを算出し、j = 0を設定する。

ステップＳ２２５において、SAO処理部１４２は、j番目のCUの情報を取得する。

ステップＳ２２６において、SAO処理部１４２は、（pcm_flag == 1 and pcm_loop_filter_disabled_flag =1） or （cu_transquant_bypass_flag == 1）であるか否かを判定する。（pcm_flag == 1 and pcm_loop_filter_disabled_flag =1） or （cu_transquant_bypass_flag == 1）でないと判定された場合、処理はステップＳ２２７に進む。

ステップＳ２２７において、SAO処理部１４２は、CUに対するオフセットを加算する。ステップＳ２２７の処理が終了すると、処理はステップＳ２２８に進む。また、ステップＳ２２６において、（pcm_flag == 1 and pcm_loop_filter_disabled_flag =1） or （cu_transquant_bypass_flag == 1）であると判定された場合、処理はステップＳ２２８に進む。

ステップＳ２２８において、SAO処理部１４２は、カレントCUが処理対象であるカレントCTBの最後のCUであるか否かを判定する。最後のCUでないと判定された場合、処理はステップＳ２２９に進む。

ステップＳ２２９において、SAO処理部１４２は、j = j + 1を設定する。すなわち、処理対象を次のCUに移す。ステップＳ２２９の処理が終了すると、処理は、ステップＳ２２５に戻り、それ以降の処理を繰り返す。つまり、カレントCTB内の全てのCUについてステップＳ２２５乃至ステップＳ２２８の一連の処理が行われる。

また、ステップＳ２２８において、最後のCUであると判定された場合、処理はステップＳ２３０に進む。また、ステップＳ２２３において、SaoTypeIdx == 0であると判定された場合、処理はステップＳ２３０に進む。

ステップＳ２３０において、SAO処理部１４２は、カレントピクチャの最後のCTBであるか否かを判定する。最後のCTBではないと判定された場合、処理はステップＳ２３１に進む。

ステップＳ２３１において、SAO処理部１４２は、i = i + 1 を設定する。すなわち、処理対象を次のCTBに移す。ステップＳ２３１の処理が終了すると、処理はステップＳ２３５に戻り、それ以降の処理を繰り返す。

また、ステップＳ２３０において、最後のCTBであると判定された場合、CU単位SAO処理が終了し、処理は図２４に戻る。

以上のように、CU単位の情報を利用するSAO処理は、各CUを参照しなければならず、処理の負荷が大きい。ヘッダ情報を確認せずにSAO処理を行う場合、このCU単位のSAO処理を行わなければならない。したがって、仮にCU単位の情報が不要であっても、CU単位の情報を参照しなければならず、不要にSAO処理の負荷が増大するおそれがあった。

＜CTB単位SAO処理の流れ＞
次に、図２６のフローチャートを参照して、図２４のステップＳ２１２において実行されCTB単位SAO処理の流れの例を説明する。

CTB単位SAO処理が開始されると、SAO処理部１４２は、ステップＳ２４１において、i = 0を設定する。

ステップＳ２４２において、SAO処理部１４２は、i番目のCTBの情報を取得する。

ステップＳ２４３において、SAO処理部１４２は、SaoTypeIdx == 0であるか否かを判定する。SaoTypeIdx == 0でないと判定された場合、処理は、ステップＳ２４４に進む。

ステップＳ２４４において、SAO処理部１４２は、SaoOffsetValを算出する。

ステップＳ２４５において、SAO処理部１４２は、CTBに対するオフセットを加算する。ステップＳ２４５の処理が終了すると、処理は、ステップＳ２４６に進む。また、ステップＳ２４３において、SaoTypeIdx == 0であると判定される場合、処理は、ステップＳ２４６に進む。

ステップＳ２４６において、SAO処理部１４２は、カレントピクチャの最後のCTBであるか否かを判定する。最後のCTBでないと判定された場合、処理はステップS２４７に進む。

ステップＳ２４７において、SAO処理部１４２は、i = i + 1を設定する。つまり、処理対象を次のCTBに移す。ステップＳ２４７の処理が終了すると、処理は、ステップＳ２４２に戻り、それ以降の処理を繰り返す。

また、ステップＳ２４６において、最後のCTBであると判定された場合、CTB単位SAO処理が終了し、処理は図２４に戻る。

以上のように、CTB単位の情報を利用するSAO処理は、各CUを参照せずにSAO処理を行うことができ、処理の負荷の増大を抑制することができる。つまり、SAO処理部１４２は、上述したように、ヘッダ情報を参照してCU単位の情報が不要であることを確認し、その必要・不要に応じて、CU単位のSAO処理とCTB単位のSAO処理とを適切に使い分ける。このようにすることにより、SAO処理部１４２は、SAO処理の負荷の不要な増大を抑制することができる。

つまり、符号化されたビットストリーム内からデブロッキングフィルタ処理をCTB単位で行うことができるか否かをあらかじめ計算することで、CTB単位で行うことが可能な場合はデブロッキングフィルタ処理の負荷を削減することができる。

同様に、符号化されたビットストリーム内からSAO処理をCTB単位で行うことができるかのフラグをあらかじめ計算することで、CTB単位で行うことが可能な場合はSAOの処理の負荷を削減することが可能になる。

したがって、以上のように各処理を実行することにより、画像復号装置１００は、フィルタ処理の際に、不要に小さい単位の情報を参照しなくてよいので、処理の負荷の増大を抑制することができる。

本技術の適用範囲は、画像データが符号化された符号化データを復号可能な、復号の際にフィルタ処理を行うあらゆる画像復号装置に適用することができる。

また、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像復号装置に適用することができる。

＜２．第２の実施の形態＞
＜多視点画像復号への適用＞
上述した一連の処理は、多視点画像復号に適用することができる。図２７は、多視点画像符号化方式の一例を示す。

図２７に示されるように、多視点画像は、複数の視点（ビュー（view））の画像を含む。この多視点画像の複数のビューは、他のビューの情報を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの情報を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューの符号化・復号は、ベースビューの情報を利用するようにしても良いし、他のノンベースビューの情報を利用するようにしてもよい。

図２７の例のような多視点画像を符号化する場合、多視点画像は、視点毎に符号化される。そして、そのようにして得られた符号化データを復号する場合、各視点の符号化データは、それぞれ（すなわち視点毎に）復号される。このような各視点の復号に対して、第１の実施の形態において上述した方法を適用するようにしてもよい。このようにすることにより、各視点の画像について、復号処理の負荷の増大を抑制することができる。つまり、多視点画像の場合も同様に、復号処理の負荷の増大を抑制することができる。

＜多視点画像符号化装置＞
図２８は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図２８に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。

符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

＜多視点画像復号装置＞
図２９は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図２９に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。

逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

例えば、このような多視点画像復号装置６１０の復号部６１２および復号部６１３として、上述した画像復号装置１００を適用すればよい。このようにすることにより、多視点画像の符号化データの復号においても、第１の実施の形態において説明した方法を適用することができる。すなわち、多視点画像復号装置６１０は、多視点画像の符号化データの復号処理の負荷の増大を抑制することができる。

＜３．第３の実施の形態＞
＜階層画像復号への適用＞
また、上述した一連の処理は、階層画像復号（スケーラブル復号）に適用することができる。図３０は、階層画像符号化方式の一例を示す。

階層画像符号化（スケーラブル符号化）は、画像データを、所定のパラメータについてスケーラビリティ（scalability）機能を有するように、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化するものである。階層画像復号は、その階層画像符号化（スケーラブル復号）は、その階層画像符号化に対応する復号である。

図３０に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。つまり、階層化された画像（階層画像）は、その所定のパラメータの値が互いに異なる複数の階層（レイヤ）の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ（エンハンスメントレイヤとも称する）とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。

一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ（差分データ）により構成される。例えば、１の画像をベースレイヤとノンベースレイヤ（エンハンスメントレイヤとも称する）に２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。

このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。

図３０の例のような階層画像を符号化する場合、階層画像は、レイヤ毎に符号化される。そして、そのようにして得られた符号化データを復号する場合、各レイヤの符号化データは、それぞれ（すなわちレイヤ毎に）復号される。このような各レイヤの復号に対して、第１の実施の形態において上述した方法を適用するようにしてもよい。このようにすることにより、各レイヤの画像について、復号処理の負荷の増大を抑制することができる。つまり、階層画像の場合も同様に、復号処理の負荷の増大を抑制することができる。

＜階層画像符号化装置＞
図３１は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図３１に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。

符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

＜階層画像復号装置＞
図３２は、上述した階層画像復号を行う階層画像復号装置を示す図である。図３２に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。

逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

例えば、このような階層画像復号装置６３０の復号部６３２および復号部６３３として、上述した画像復号装置１００を適用すればよい。このようにすることにより、階層画像の符号化データの復号においても、第１の実施の形態において説明した方法を適用することができる。すなわち、階層画像復号装置６３０は、以上の各実施の形態において説明した各種方法で符号化された階層画像の符号化データを正しく復号することができる。したがって、階層画像復号装置６３０は、階層画像の符号化データの復号処理の負荷の増大を抑制することができる。

＜４．第４の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図３３に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。

その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

上述した実施形態に係る画像復号装置は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

＜５．第５の実施の形態＞
＜第１の応用例：テレビジョン受像機＞
図３４は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（I/F）部９０９、制御部９１０、ユーザインタフェース（I/F）部９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース部９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４が、画像復号装置１００の機能を有するようにしてもよい。つまり、デコーダ９０４が、符号化データを第１の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置９００は、受信した符号化ビットストリームの復号処理の負荷の増大を抑制することができる。

＜第２の応用例：携帯電話機＞
図３５は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。

さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、例えば画像処理部９２７が、画像復号装置１００の機能を有するようにしてもよい。つまり、画像処理部９２７が、符号化データを第１の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機９２０は、符号化ストリーム（映像ストリーム）の復号処理の負荷の増大を抑制することができる。

＜第３の応用例：記録再生装置＞
図３６は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データおよび映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース（I/F）部９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、およびユーザインタフェース（I/F）部９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。

外部インタフェース部９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、IEEE（Institute of Electrical and Electronic Engineers）1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データおよび音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース部９４２は、記録再生装置９４０における伝送部としての役割を有する。

エンコーダ９４３は、外部インタフェース部９４２から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

HDD９４４は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像および音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVD（Digital Versatile Disc）ディスク（DVD-Video、DVD-RAM（DVD - Random Access Memory）、DVD-R（DVD - Recordable）、DVD-RW（DVD - Rewritable）、DVD+R（DVD + Recordable）、DVD+RW（DVD + Rewritable）等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像および音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。

OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、例えばデコーダ９４７が、画像復号装置１００の機能を有するようにしてもよい。つまり、デコーダ９４７が、符号化データを第１の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、記録再生装置９４０は、符号化ビットストリームの復号処理の負荷の増大を抑制することができる。

＜第４の応用例：撮像装置＞
図３７は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（I/F）部９６６、メモリ部９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース（I/F）部９７１、およびバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、OSD９６９、および制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース部９６６は、例えばUSB入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、例えば画像処理部９６４が、画像復号装置１００の機能を有するようにしてもよい。つまり、画像処理部９６４が、符号化データを第１の実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、撮像装置９６０は、符号化データの復号処理の負荷の増大を抑制することができる。

なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。

＜６．第６の実施の形態＞
＜実施のその他の例＞
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

＜ビデオセット＞
本技術をセットとして実施する場合の例について、図３８を参照して説明する。図３８は、本技術を適用したビデオセットの概略的な構成の一例を示している。

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。

図３８に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。

図３８に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。

図３８の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。

プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。

図３８のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。

ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。

ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。

RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。

なお、図３８において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。

外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。

パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。

フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図３８に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。

アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。

コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。

例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。

なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。

カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。

センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。

以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。

＜ビデオプロセッサの構成例＞
図３９は、本技術を適用したビデオプロセッサ１３３２（図３８）の概略的な構成の一例を示している。

図３９の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。

図３９に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。

ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図３８）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１等に出力する。

フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。

メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。

エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。

ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。

オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。

オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１等に供給する。

多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。

逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。

ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。

また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１等に供給し、各種記録媒体に記録させる。

さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。

また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。

ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。

また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。

オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、上述した画像復号装置１００の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図２６を参照して上述した効果と同様の効果を得ることができる。

なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、画像復号装置１００の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

＜ビデオプロセッサの他の構成例＞
図４０は、本技術を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示している。図４０の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。

より具体的には、図４０に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。

制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。

図４０に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。

ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。

ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。

画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。

内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。

コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。

図４０に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。

MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。

MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。

メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。

多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。

ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２等向けのインタフェースである。

次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。

さらに、例えば、コネクティビティ１３２１等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給され図示せぬ他の装置に伝送される。

なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、上述した画像復号装置１００を実現する機能ブロックを有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図２６を参照して上述した効果と同様の効果を得ることができる。

なお、コーデックエンジン１５１６において、本技術（すなわち、画像復号装置１００の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。

＜装置への適用例＞
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図３４）、携帯電話機９２０（図３５）、記録再生装置９４０（図３６）、撮像装置９６０（図３７）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図２６を参照して上述した効果と同様の効果を得ることができる。

なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図２６を参照して上述した効果と同様の効果を得ることができる。

つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図３４）、携帯電話機９２０（図３５）、記録再生装置９４０（図３６）、撮像装置９６０（図３７）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図２６を参照して上述した効果と同様の効果を得ることができる。

また、本明細書では、各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

なお、本技術は以下のような構成も取ることができる。
（１）画像データが符号化された符号化データを再帰的に分割されたCU（Coding Unit）毎に復号することにより、復号画像データを生成する復号部と、
前記符号化データのヘッダ情報に対応するデータ単位毎に設定された情報に応じて、前記復号部により生成された前記復号画像データに対してフィルタ処理を行うフィルタ処理部と
を備える画像復号装置。
（２）前記フィルタ処理部は、前記フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップして、前記復号画像データに対して前記フィルタ処理を行う
（１）に記載の画像復号装置。
（３）前記フィルタ処理部は、前記ヘッダ情報の値に対する条件がCU単位毎に設定された情報を参照する必要がないことを示す場合、前記フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップする
（２）に記載の画像復号装置。
（４）前記フィルタ処理部は、CTB（Coding Tree Block）単位で、前記復号画像データに対してフィルタ処理を行う
（３）に記載の画像復号装置。
（５）前記フィルタ処理部は、前記フィルタ処理として、デブロッキングフィルタ処理を行う
（３）または（４）に記載の画像復号装置。
（６）前記フィルタ処理部は、前記条件として以下の式を満たす場合に、前記フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップする：
pcm_loop_filter_disabled_flag == 0
transquant_bypass_enabled_flag ==0
cu_qp_delta_enabled_flag == 0
（５）に記載の画像復号装置。
（７）前記フィルタ処理部は、ピクチャが１つのスライスで構成される場合に、前記フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップする
（６）に記載の画像復号装置。
（８）前記フィルタ処理部は、ピクチャが複数のスライスで構成される場合に、ピクチャ内の各スライスヘッダのslice_qp_deltaが同じ場合に、前記フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップする
（６）または（７）に記載の画像復号装置。
（９）前記フィルタ処理部は、前記フィルタ処理として、サンプルアダプティブオフセット処理
を行う
（３）乃至（８）のいずれかに記載の画像復号装置。
（１０）前記フィルタ処理部は、前記条件として以下の式を満たす場合に、前記フィルタ処理を行う際に参照するCU単位毎に設定された情報に対する参照をスキップする：
pcm_loop_filter_disabled_flag == 0
transquant_bypass_enabled_flag ==0
（９）に記載の画像復号装置。
（１１）画像データが符号化された符号化データを再帰的に分割されたCU（Coding Unit）毎に復号することにより、復号画像データを生成し、
前記符号化データのヘッダ情報に対応するデータ単位毎に設定された情報に応じて、生成された前記復号画像データに対してフィルタ処理を行う
画像復号方法。

１００画像復号装置，１１２可逆復号部，１１６ループフィルタ，１２２フィルタ制御部，１３１デブロッキングフィルタ用制御情報生成部，１３２ SAO用制御情報生成部，１４１デブロッキングフィルタ処理部，１４２ SAO処理部

Claims

画像データが係数変換および量子化されて符号化された符号化データを分割された第１のデータ単位で復号することにより、復号画像データを生成する復号部と、
前記第１のデータ単位で設定された情報を参照するかを示すフラグを生成し、
前記符号化データのヘッダ情報の、前記復号画像データに対するフィルタ処理以外の処理に関する複数のパラメータの値が全て、前記第１のデータ単位で設定された情報を参照する必要がないことを示す場合、前記フラグに、第２のデータ単位の前記フィルタ処理を行うことを示す値をセットし、
前記複数のパラメータの値の内の少なくとも１つが、前記第１のデータ単位で設定された情報を参照する必要があることを示す場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットする
フィルタ制御部と、
前記復号部により生成された前記復号画像データに対して、前記フィルタ制御部によって生成された前記フラグに応じたデータ単位のフィルタ処理を行うフィルタ処理部と
を備える画像復号装置。
前記複数のパラメータは、PCMデータに対するフィルタ処理に関するパラメータを含み、
前記フィルタ制御部は、前記PCMデータに対するフィルタ処理に関するパラメータの値が、前記PCMデータに対するフィルタ処理が無効であることを示す場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットする
請求項１に記載の画像復号装置。
前記PCMデータに対するフィルタ処理に関するパラメータは、pcm_loop_filter_disabled_flagであり、
前記フィルタ制御部は、前記pcm_loop_filter_disabled_flagの値が１である場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットする
請求項２に記載の画像復号装置。
前記複数のパラメータは、係数変換および量子化に関するパラメータを含み、
前記フィルタ制御部は、前記係数変換および量子化に関するパラメータの値が、前記第１のデータ単位でフィルタ処理をスキップする可能性があることを示す場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットする
請求項１に記載の画像復号装置。
前記係数変換および量子化に関するパラメータは、transquant_bypass_enabled_flagであり、
前記フィルタ制御部は、前記transquant_bypass_enabled_flagの値が１である場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットする
請求項４に記載の画像復号装置。
前記複数のパラメータは、量子化に関するパラメータを含み、
前記フィルタ制御部は、前記量子化に関するパラメータの値が、前記第１のデータ単位で量子化パラメータが変化する可能性があることを示す場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットする
請求項１に記載の画像復号装置。
前記量子化に関するパラメータは、cu_qp_delta_enabled_flagであり、
前記フィルタ制御部は、前記cu_qp_delta_enabled_flagの値が１である場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットする
請求項６に記載の画像復号装置。
前記第１のデータ単位は、CU（Coding Unit）であり、前記第２のデータ単位は、CTB（Coding Tree Block）である
請求項１に記載の画像復号装置。
前記フィルタ制御部は、前記符号化データのヘッダ情報の、前記復号画像データに対するフィルタ処理以外の処理に関する複数のパラメータの値が全て、前記第１のデータ単位で設定された情報を参照する必要がないことを示し、かつ、ピクチャが１つのスライスで構成されることを示す場合、前記フラグに、前記第２のデータ単位の前記フィルタ処理を行うことを示す値をセットする
請求項１に記載の画像復号装置。
前記フィルタ制御部は、前記符号化データのヘッダ情報の、前記復号画像データに対するフィルタ処理以外の処理に関する複数のパラメータの値が全て、前記第１のデータ単位で設定された情報を参照する必要がないことを示し、ピクチャが複数のスライスで構成され、かつ、ピクチャ内の各スライスヘッダのslice_qp_deltaが同じである場合、前記フラグに、前記第２のデータ単位の前記フィルタ処理を行うことを示す値をセットする
請求項１に記載の画像復号装置。
前記フィルタ処理部は、前記フィルタ処理としてデブロッキングフィルタ処理を行う
請求項１に記載の画像復号装置。
前記フィルタ処理部は、前記フィルタ処理としてサンプルアダプティブオフセット処理を行う
請求項１に記載の画像復号装置。
画像データが係数変換および量子化されて符号化された符号化データを分割された第１のデータ単位で復号することにより、復号画像データを生成し、
前記第１のデータ単位で設定された情報を参照するかを示すフラグを生成し、
前記符号化データのヘッダ情報の、前記復号画像データに対するフィルタ処理以外の処理に関する複数のパラメータの値が全て、前記第１のデータ単位で設定された情報を参照する必要がないことを示す場合、前記フラグに、第２のデータ単位の前記フィルタ処理を行うことを示す値をセットし、
前記複数のパラメータの値の内の少なくとも１つが、前記第１のデータ単位で設定された情報を参照する必要があることを示す場合、前記フラグに、前記第１のデータ単位の前記フィルタ処理を行うことを示す値をセットし、
生成された前記復号画像データに対して、生成された前記フラグに応じたデータ単位の前記フィルタ処理を行う
画像復号方法。