JPWO2013031315A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】互いに性質の異なるパラメータを共通的なパラメータセットに含める場合に、パラメータの冗長な伝送を回避すること。【解決手段】画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを、符号化ストリームのパラメータセットから取得する取得部と、前記取得部により取得される前記補助識別子を用いて参照される前記パラメータグループ内のパラメータを用いて、前記画像を復号する復号部と、を備える画像処理装置を提供する。【選択図】図９

Description

本開示は、画像処理装置及び画像処理方法に関する。

画像符号化方式の標準仕様の１つであるＨ．２６４／ＡＶＣでは、画像の符号化及び復号のために用いられるパラメータを格納するためのシーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）という２種類のパラメータセットが定義されている。ＳＰＳは主にシーケンスごとに変化し得るパラメータを格納するためのパラメータセットであり、ＰＰＳは主にピクチャごとに変化し得るパラメータを格納するためのパラメータセットである。しかし、実際には、ＰＰＳに格納されるパラメータのうち、複数のピクチャにわたって変化しないものも少なくない。

Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式であるＨＥＶＣ（High Efficiency Video Coding）の標準化作業では、ＳＰＳ及びＰＰＳとは異なる新たなパラメータセットである適応パラメータセット（ＡＰＳ：Adaptation Parameter Set）を導入することが提案されている（下記非特許文献１参照）。ＡＰＳは、主にピクチャごとに適応的に設定されるパラメータを格納するためのパラメータセットである。ピクチャごとに実際に変化する可能性が高くデータ量の多いパラメータをＰＰＳではなくＡＰＳに格納することで、更新されるパラメータのみをＡＰＳを用いて符号化側から復号側へ適時に伝送し、更新されないパラメータについては冗長な伝送を回避することができる。下記非特許文献１によれば、適応ループフィルタ（ＡＬＦ：Adaptive Loop Filter）及びサンプル適応オフセット（ＳＡＯ：Sample Adaptive Offset）に関連するパラメータがＡＰＳに格納される。

JCTVC-F747r3, "Adaptation Parameter Set (APS)", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011

上述したＡＬＦ及びＳＡＯに関連するパラメータ以外にも、ＰＰＳよりもＡＰＳに含めることが望ましいパラメータは存在する。量子化行列に関連するパラメータ及び適応補間フィルタ（ＡＩＦ：Adaptive Interpolation Filter）に関連するパラメータは、その一例である。互いに性質の異なるパラメータを１つのパラメータセットに含めれば、その更新頻度の違いが符号化効率の最適化の妨げとなり得るものの、パラメータセットの種類を無制限に増やすことができる訳ではない。

従って、互いに性質の異なるパラメータを共通的なパラメータセットに含める場合にも、更新の必要性に応じてパラメータの冗長な伝送を回避することのできる仕組みが提供されることが望ましい。

本開示によれば、画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを、符号化ストリームのパラメータセットから取得する取得部と、前記取得部により取得される前記補助識別子を用いて参照される前記パラメータグループ内のパラメータを用いて、前記画像を復号する復号部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。

また、本開示によれば、画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを、符号化ストリームのパラメータセットから取得することと、取得された前記補助識別子を用いて参照される前記パラメータグループ内のパラメータを用いて、前記画像を復号することと、を含む画像処理方法が提供される。

また、本開示によれば、画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを設定する設定部と、前記画像を符号化することにより生成される符号化ストリームのパラメータセット内に、前記設定部により設定される前記パラメータグループ及び前記補助識別子を挿入する符号化部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。

また、本開示によれば、画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを設定することと、設定された前記パラメータグループ及び前記補助識別子を、前記画像を符号化することにより生成される符号化ストリームのパラメータセット内に挿入することと、を含む画像処理方法が提供される。

本開示によれば、互いに性質の異なるパラメータを共通的なパラメータセットに含める場合に、パラメータの冗長な伝送を回避することができる。

一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 第１の手法に従って構成される符号化ストリームの一例を示す説明図である。 第１の手法に従って定義されるＡＰＳのシンタックスの一例を示す説明図である。 第１の手法に従って定義されるスライスヘッダのシンタックスの一例を示す説明図である。 第１の手法の一変形例に従って定義されるＡＰＳのシンタックスの一例を示す説明図である。 第２の手法に従って構成される符号化ストリームの一例を示す説明図である。 第２の手法に従って定義されるＡＬＦ用ＡＰＳのシンタックスの一例を示す説明図である。 第２の手法に従って定義されるＳＡＯ用ＡＰＳのシンタックスの一例を示す説明図である。 第２の手法に従って定義されるＱＭ用ＡＰＳのシンタックスの一例を示す説明図である。 第２の手法に従って定義されるスライスヘッダのシンタックスの一例を示す説明図である。 第３の手法に従って構成される符号化ストリームの一例を示す説明図である。 第３の手法に従って定義されるＡＰＳのシンタックスの一例を示す説明図である。 第３の手法に従って定義されるスライスヘッダのシンタックスの一例を示す説明図である。 代表的な符号化ツールごとのパラメータの特徴を一覧化した表である。 第３の手法の一変形例に従って構成される符号化ストリームの一例について説明するための説明図である。 図１に示したシンタックス符号化部の詳細な構成の一例を示すブロック図である。 一実施形態に係る符号化処理の流れの一例を示すフローチャートである。 図１５に示したＡＰＳ符号化処理の詳細な流れの一例を示すフローチャートである。 図１５に示したスライスヘッダ符号化処理の詳細な流れの一例を示すフローチャートである。 一実施形態に係る画像復号装置の構成の一例を示すブロック図である。 図１８に示したシンタックス復号部の詳細な構成の一例を示すブロック図である。 一実施形態に係る復号処理の流れの一例を示すフローチャートである。 図２０に示したＡＰＳ復号処理の詳細な流れの一例を示すフローチャートである。 図２０に示したスライスヘッダ復号処理の詳細な流れの一例を示すフローチャートである。 マルチビューコーデックについて説明するための説明図である。 一実施形態に係る画像符号化処理のマルチビューコーデックへの適用について説明するための説明図である。 一実施形態に係る画像復号処理のマルチビューコーデックへの適用について説明するための説明図である。 スケーラブルコーデックについて説明するための説明図である。 一実施形態に係る画像符号化処理のスケーラブルコーデックへの適用について説明するための説明図である。 一実施形態に係る画像復号処理のスケーラブルコーデックへの適用について説明するための説明図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
１−１．全体的な構成例
１−２．パラメータセットの構成の概略
１−３．シンタックス符号化部の構成例
２．一実施形態に係る符号化時の処理の流れ
２−１．処理の概略
２−２．ＡＰＳ符号化処理
２−３．スライスヘッダ符号化処理
３．一実施形態に係る画像復号装置の構成例
３−１．全体的な構成例
３−２．シンタックス復号部の構成例
４．一実施形態に係る復号時の処理の流れ
４−１．処理の概略
４−２．ＡＰＳ復号処理
４−３．スライスヘッダ復号処理
５．様々なコーデックへの適用
５−１．マルチビューコーデック
５−２．スケーラブルコーデック
６．応用例
７．まとめ

＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、シンタックス符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ（ＤＦ）２４、適応オフセット部（ＳＡＯ）２５、適応ループフィルタ（ＡＬＦ）２６、フレームメモリ２７、セレクタ２８及び２９、イントラ予測部３０、並びに動き探索部４０を備える。

Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１２へ出力する。

並べ替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並び替える。並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０及び動き探索部４０へ出力する。

減算部１３には、並べ替えバッファ１２から入力される画像データ、及び後に説明するイントラ予測部３０又は動き探索部４０から入力される予測画像データが供給される。減算部１３は、並べ替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。

直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。

量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）をシンタックス符号化部１６及び逆量子化部２１へ出力する。量子化部１５による量子化処理（及び逆量子化部２１による逆量子化処理）において用いられる量子化行列（ＱＭ）は、画像の内容に応じて切替えられ得る。量子化行列を定義するＱＭ関連パラメータは、後述するシンタックス符号化部１６により符号化ストリームのヘッダ領域に挿入される。量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、シンタックス符号化部１６へ出力される量子化データのビットレートを変化させてもよい。

シンタックス符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。シンタックス符号化部１６による可逆符号化は、例えば、可変長符号化又は算術符号化などであってよい。また、シンタックス符号化部１６は、画像の復号の際に参照される様々なパラメータを設定し又は取得し、それらパラメータを符号化ストリームのヘッダ領域に挿入する。Ｈ．２６４／ＡＶＣでは、画像の符号化及び復号のために用いられるパラメータは、シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）という２種類のパラメータセット内で伝送される。これらＳＰＳ及びＰＰＳに加えて、ＨＥＶＣでは、主にピクチャごとに適応的に設定されるパラメータを伝送するための適応パラメータセット（ＡＰＳ）が導入される。シンタックス符号化部１６により生成される符号化ストリームは、ＮＡＬ（Network Abstraction Layer：ネットワーク抽象レイヤ）ユニットという単位でビットストリームへマッピングされる。ＳＰＳ、ＰＰＳ及びＡＰＳは、非ＶＣＬ ＮＡＬユニットへマッピングされる。一方、各スライスの量子化データは、ＶＣＬ（Video Coding Layer：ビデオ符号化レイヤ） ＮＡＬユニットへマッピングされる。各スライスはスライスヘッダを有し、スライスヘッダ内で当該スライスを復号するためのパラメータが参照される。シンタックス符号化部１６は、このように生成される符号化ストリームを蓄積バッファ１７へ出力する。シンタックス符号化部１６の詳細な構成について、後にさらに説明する。

蓄積バッファ１７は、シンタックス符号化部１６から入力される符号化ストリームを一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。

逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。

逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。

加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又は動き探索部４０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２７へ出力する。

デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを適応オフセット部２５へ出力する。

適応オフセット部２５は、ＤＦ後の復号画像の各画素値に適応的に決定されるオフセット値を加えることにより、復号画像の画質を向上させる。一般的なサンプル適応オフセット（ＳＡＯ）処理では、オフセット値の設定パターン（以下、オフセットパターンという）として、２種類のバンドオフセット、６種類のエッジオフセット及びオフセットなし、という９種類のパターンが利用可能である。このようなオフセットパターン及びオフセット値は、画像の内容に応じて切替えられ得る。これらＳＡＯ関連パラメータは、上述したシンタックス符号化部１６により符号化ストリームのヘッダ領域に挿入される。適応オフセット部２５は、適応オフセット処理の結果として、オフセットされた画素値を有する復号画像データを適応ループフィルタ２６へ出力する。

適応ループフィルタ２６は、ＳＡＯ後の復号画像をフィルタリングすることにより、復号画像と原画像との誤差を最小化する。適応ループフィルタ２６は、典型的には、ウィーナフィルタ（Wiener Filter）を用いて実現される。適応ループフィルタ２６による適応ループフィルタ（ＡＬＦ）処理において用いられるウィーナフィルタのフィルタ係数は、画像の内容に応じて切替えられ得る。フィルタ係数及びフィルタのＯｎ／Ｏｆｆ切替え用のフラグを含むＡＬＦ関連パラメータは、上述したシンタックス符号化部１６により符号化ストリームのヘッダ領域に挿入される。適応ループフィルタ２６は、適応ループフィルタ処理の結果として、原画像との差の最小化された復号画像データをフレームメモリ２７へ出力する。

フレームメモリ２７は、加算部２３から入力される復号画像データ、及び適応ループフィルタ２６から入力されるＡＬＦ後の復号画像データを記憶媒体を用いて記憶する。

セレクタ２８は、インター予測のために使用されるＡＬＦ後の復号画像データをフレームメモリ２７から読み出し、読み出した復号画像データを参照画像データとして動き探索部４０に供給する。また、セレクタ２８は、イントラ予測のために使用されるＤＦ前の復号画像データをフレームメモリ２７から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。

セレクタ２９は、インター予測モードにおいて、動き探索部４０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報をシンタックス符号化部１６へ出力する。また、セレクタ２９は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報をシンタックス符号化部１６へ出力する。セレクタ２９は、インター予測モードとイントラ予測モードとを、イントラ予測部３０及び動き探索部４０から出力されるコスト関数値の大きさに応じて切り替える。

イントラ予測部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びフレームメモリ２７から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部３０は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２９へ出力する。

動き探索部４０は、並べ替えバッファ１２から入力される原画像データ、及びセレクタ２８を介して供給される復号画像データに基づいて、インター予測（フレーム間予測）のための動き探索処理を行う。そして、動き探索部４０は、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２９へ出力する。

［１−２．パラメータセットの構成の概略］
上述した画像符号化装置１０によって扱われるパラメータのうち、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ及びＱＭ関連パラメータは、ピクチャごとに適応的に更新され得る値を有し、かつ比較的データサイズも大きいという性質を有する。従って、これらパラメータは、他のパラメータと共にＰＰＳに格納されるよりも、ＡＰＳに格納される方が適切である。但し、これらパラメータをＡＰＳに格納する手法として、いくつかの手法が考えられる。

（１）第１の手法
第１の手法は、１つのＡＰＳ内で対象の全てのパラメータを列挙し、当該ＡＰＳを一意に識別する識別子であるＡＰＳ ＩＤを用いて各パラメータを参照する、という手法である。図２は、第１の手法に従って構成される符号化ストリームの一例を示している。

図２を参照すると、シーケンスの先頭に位置するピクチャＰ０の冒頭に、ＳＰＳ８０１、ＰＰＳ８０２及びＡＰＳ８０３が挿入されている。ＰＰＳ８０２は、ＰＰＳ ＩＤ“Ｐ０”により識別される。ＡＰＳ８０３は、ＡＰＳ ＩＤ“Ａ０”により識別される。ＡＰＳ８０３は、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ及びＱＭ関連パラメータを含む。ピクチャＰ０内のスライスデータに付加されているスライスヘッダ８０４は、参照ＰＰＳ ＩＤ“Ｐ０”を含み、これは当該スライスデータを復号するためにＰＰＳ８０２内のパラメータが参照されることを意味する。同様に、スライスヘッダ８０４は、参照ＡＰＳ ＩＤ“Ａ０”を含み、これは当該スライスデータを復号するためにＡＰＳ８０３内のパラメータが参照されることを意味する。

ピクチャＰ０に続くピクチャＰ１には、ＡＰＳ８０５が挿入されている。ＡＰＳ８０５は、ＡＰＳ ＩＤ“Ａ１”により識別される。ＡＰＳ８０５は、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ及びＱＭ関連パラメータを含む。ＡＰＳ８０５に含まれるＡＬＦ関連パラメータ及びＳＡＯ関連パラメータはＡＰＳ８０３から更新されているが、ＱＭ関連パラメータは更新されていない。ピクチャＰ１内のスライスデータに付加されているスライスヘッダ８０６は、参照ＡＰＳ ＩＤ“Ａ１”を含み、これは当該スライスデータを復号するためにＡＰＳ８０５内のパラメータが参照されることを意味する。

ピクチャＰ１に続くピクチャＰ２には、ＡＰＳ８０７が挿入されている。ＡＰＳ８０７は、ＡＰＳ ＩＤ“Ａ２”により識別される。ＡＰＳ８０７は、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ及びＱＭ関連パラメータを含む。ＡＰＳ８０７に含まれるＡＬＦ関連パラメータ及びＱＭ関連パラメータはＡＰＳ８０５から更新されているが、ＳＡＯ関連パラメータは更新されていない。ピクチャＰ２内のスライスデータに付加されているスライスヘッダ８０８は、参照ＡＰＳ ＩＤ“Ａ２”を含み、これは当該スライスデータを復号するためにＡＰＳ８０７内のパラメータが参照されることを意味する。

図３は、第１の手法に従って定義されるＡＰＳのシンタックスの一例を示している。図３の第２行において、当該ＡＰＳを一意に識別するためのＡＰＳ ＩＤが特定される。第１３行〜第１７行では、ＡＬＦ関連パラメータが特定される。第１８行〜第２３行では、ＳＡＯ関連パラメータが特定される。第２４行〜第２８行では、ＱＭ関連パラメータが特定される。第２４行の“aps_qmatrix_flag”は、当該ＡＰＳ内にＱＭ関連パラメータが設定されているかを示す存在フラグである。当該ＡＰＳ内にＱＭ関連パラメータが設定されていることを第２４行の存在フラグが示している場合（aps_qmatrix_flag＝１）に、当該ＡＰＳ内で関数qmatrix_param()を用いて量子化行列パラメータが設定され得る。なお、関数qmatrix_param()の具体的な内容は当業者にとって既知であるため、ここではその説明を省略する。

図４は、第１の手法に従って定義されるスライスヘッダのシンタックスの一例を示す説明図である。図４の第５行では、当該スライスに設定すべきパラメータのうちＰＰＳに含まれるパラメータを参照するための参照ＰＰＳ ＩＤが特定される。第８行では、当該スライスに設定すべきパラメータのうちＡＰＳに含まれるパラメータを参照するための参照ＡＰＳ ＩＤが特定される。

第１の手法によれば、パラメータの種類によらず、ＡＰＳに含まれる全てのパラメータを１つのＡＰＳ ＩＤを用いて参照することができる。そのため、パラメータの符号化及び復号のためのロジックが極めて単純化され、装置の実装は容易となる。また、存在フラグを用いて、ＡＰＳに包含可能な様々な符号化ツールに関連するパラメータのうち、量子化行列パラメータのみを部分的に更新し、又は量子化行列パラメータのみを部分的に更新しないことが可能となる。即ち、量子化行列の更新の必要性が生じたタイミングでのみＡＰＳに量子化行列パラメータを含めることができるため、ＡＰＳ内で量子化行列パラメータを効率的に伝送することができる。

（２）第１の手法の変形例
ＡＰＳ内の量子化行列パラメータの符号量をより削減するために、以下に説明する変形例に係る手法が採用されてもよい。

図５は、第１の手法の一変形例に従って定義されるＡＰＳのシンタックスの一例を示している。図５に示したシンタックスにおいて、第２４行〜第３１行では、ＱＭ関連パラメータが特定される。第２４行の“aps_qmatrix_flag”は、当該ＡＰＳ内にＱＭ関連パラメータが設定されているかを示す存在フラグである。第２５行の“ref_aps_id_present_flag”は、当該ＡＰＳのＱＭ関連パラメータとして過去参照ＩＤが使用されるかを示す過去参照ＩＤ存在フラグである。過去参照ＩＤが使用されることを過去参照ＩＤ存在フラグが示している場合（ref_aps_id_present_flag＝１）には、第２７行において、過去参照ＩＤ“ref_aps_id”が設定される。過去参照ＩＤは、当該ＡＰＳよりも前に符号化され又は復号されるＡＰＳのＡＰＳ ＩＤを参照するための識別子である。過去参照ＩＤが使用される場合には、参照元の（後の）ＡＰＳ内には量子化行列パラメータは設定されない。この場合、参照元のＡＰＳに対応する量子化行列として、過去参照ＩＤにより示される参照先のＡＰＳの量子化行列パラメータに基づいて設定される量子化行列が、再利用される。なお、過去参照ＩＤが参照元のＡＰＳのＡＰＳ ＩＤを参照すること（いわゆる自己参照）は、禁止されてもよい。その代わりに、自己参照が行われているＡＰＳに対応する量子化行列として、既定の量子化行列が設定されてもよい。過去参照ＩＤが使用されない場合（ref_aps_id_present_flag＝０）には、第３１行の関数“qmatrix_param()”を用いて、当該ＡＰＳ内に量子化行列パラメータが設定され得る。

このように、既に符号化され又は復号された量子化行列を過去参照ＩＤを用いて再利用することで、同じ量子化行列パラメータが繰り返しＡＰＳ内に設定されることが回避される。それにより、ＡＰＳ内の量子化行列パラメータの符号量を削減することができる。なお、図５では、過去のＡＰＳを参照するためにＡＰＳ ＩＤが使用される例を示したが、過去のＡＰＳを参照する手法はかかる例に限定されない。例えば、参照元のＡＰＳと参照先のＡＰＳとの間のＡＰＳの数などの他のパラメータが、過去のＡＰＳを参照するために用いられてもよい。また、過去参照ＩＤ存在フラグが使用される代わりに、過去参照ＩＤが所定の値（例えばマイナス１）を示すか否かに応じて、過去のＡＰＳの参照と新たな量子化行列パラメータの設定とが切り替えられてもよい。

（３）第２の手法
第２の手法は、パラメータの種類ごとに異なるＡＰＳ（異なるＮＡＬユニット）内にパラメータを格納し、各ＡＰＳを一意に識別するＡＰＳ ＩＤを用いて各パラメータを参照する、という手法である。図６は、第２の手法に従って構成される符号化ストリームの一例を示している。

図６を参照すると、シーケンスの先頭に位置するピクチャＰ０の冒頭に、ＳＰＳ８１１、ＰＰＳ８１２、ＡＰＳ８１３ａ、ＡＰＳ８１３ｂ及びＡＰＳ８１３ｃが挿入されている。ＰＰＳ８１２は、ＰＰＳ ＩＤ“Ｐ０”により識別される。ＡＰＳ８１３ａはＡＬＦ関連パラメータ用のＡＰＳであり、ＡＰＳ ＩＤ“Ａ００”により識別される。ＡＰＳ８１３ｂはＳＡＯ関連パラメータ用のＡＰＳであり、ＡＰＳ ＩＤ“Ａ１０”により識別される。ＡＰＳ８１３ｃはＱＭ関連パラメータ用のＡＰＳであり、ＡＰＳ ＩＤ“Ａ２０”により識別される。ピクチャＰ０内のスライスデータに付加されているスライスヘッダ８１４は、参照ＰＰＳ ＩＤ“Ｐ０”を含み、これは当該スライスデータを復号するためにＰＰＳ８１２内のパラメータが参照されることを意味する。同様に、スライスヘッダ８１４は、参照ＡＰＳ＿ＡＬＦ ＩＤ“Ａ００”、参照ＡＰＳ＿ＳＡＯ ＩＤ“Ａ１０”及び参照ＡＰＳ＿ＱＭ ＩＤ“Ａ２０”を含み、これらは当該スライスデータを復号するためにＡＰＳ８１３ａ、８１３ｂ及び８１３ｃ内のパラメータが参照されることを意味する。

ピクチャＰ０に続くピクチャＰ１には、ＡＰＳ８１５ａ及びＡＰＳ８１５ｂが挿入されている。ＡＰＳ８１５ａはＡＬＦ関連パラメータ用のＡＰＳであり、ＡＰＳ ＩＤ“Ａ０１”により識別される。ＡＰＳ８１５ｂはＳＡＯ関連パラメータ用のＡＰＳであり、ＡＰＳ ＩＤ“Ａ１１”により識別される。ピクチャＰ０からＱＭ関連パラメータは更新されないため、ＱＭ関連パラメータ用のＡＰＳは挿入されていない。ピクチャＰ１内のスライスデータに付加されているスライスヘッダ８１６は、参照ＡＰＳ＿ＡＬＦ ＩＤ“Ａ０１”、参照ＡＰＳ＿ＳＡＯ ＩＤ“Ａ１１”及び参照ＡＰＳ＿ＱＭ ＩＤ“Ａ２０”を含む。これらは、当該スライスデータを復号するためにＡＰＳ８１５ａ、８１５ｂ及び８１３ｃ内のパラメータが参照されることを意味する。

ピクチャＰ１に続くピクチャＰ２には、ＡＰＳ８１７ａ及びＡＰＳ８１７ｃが挿入されている。ＡＰＳ８１７ａはＡＬＦ関連パラメータ用のＡＰＳであり、ＡＰＳ ＩＤ“Ａ０２”により識別される。ＡＰＳ８１７ｃはＱＭ関連パラメータ用のＡＰＳであり、ＡＰＳ ＩＤ“Ａ２１”により識別される。ピクチャＰ１からＳＡＯ関連パラメータは更新されないため、ＳＡＯ関連パラメータ用のＡＰＳは挿入されていない。ピクチャＰ２内のスライスデータに付加されているスライスヘッダ８１８は、参照ＡＰＳ＿ＡＬＦ ＩＤ“Ａ０２”、参照ＡＰＳ＿ＳＡＯ ＩＤ“Ａ１１”及び参照ＡＰＳ＿ＱＭ ＩＤ“Ａ２１”を含む。これらは、当該スライスデータを復号するためにＡＰＳ８１７ａ、８１５ｂ及び８１７ｃ内のパラメータが参照されることを意味する。

図７Ａは、第２の手法に従って定義されるＡＬＦ用ＡＰＳのシンタックスの一例を示している。図７Ａの第２行において、当該ＡＰＳを一意に識別するためのＡＰＳ＿ＡＬＦ ＩＤが特定される。第１１行〜第１５行では、ＡＬＦ関連パラメータが特定される。図７Ｂは、第２の手法に従って定義されるＳＡＯ用ＡＰＳのシンタックスの一例を示している。図７Ｂの第２行において、当該ＡＰＳを一意に識別するためのＡＰＳ＿ＳＡＯ ＩＤが特定される。第１１行〜第１６行では、ＳＡＯ関連パラメータが特定される。図７Ｃは、第２の手法に従って定義されるＱＭ用ＡＰＳのシンタックスの一例を示している。図７Ｃの第２行において、当該ＡＰＳを一意に識別するためのＡＰＳ＿ＱＭ ＩＤが特定される。第４行〜第８行では、ＱＭ関連パラメータが特定される。

図８は、第２の手法に従って定義されるスライスヘッダのシンタックスの一例を示す説明図である。図８の第５行では、当該スライスに設定すべきパラメータのうちＰＰＳに含まれるパラメータを参照するための参照ＰＰＳ ＩＤが特定される。第８行では、当該スライスに設定すべきパラメータのうちＡＬＦ用ＡＰＳに含まれるパラメータを参照するための参照ＡＰＳ＿ＡＬＦ ＩＤが特定される。第９行では、当該スライスに設定すべきパラメータのうちＳＡＯ用ＡＰＳに含まれるパラメータを参照するための参照ＡＰＳ＿ＳＡＯ ＩＤが特定される。第１０行では、当該スライスに設定すべきパラメータのうちＱＭ用ＡＰＳに含まれるパラメータを参照するための参照ＡＰＳ＿ＱＭ ＩＤが特定される。

第２の手法によれば、パラメータの種類ごとに異なるＡＰＳが用いられる。この場合にも、更新の必要性がないパラメータについて冗長的なパラメータの伝送が行われない。そのため、符号化効率は最適化され得る。しかし、第２の手法では、ＡＰＳの対象とされるパラメータの種類が増加するほど、ＡＰＳの種類を識別するための識別子であるＮＡＬユニットタイプ（nal_unit_type）の種類も増加する。ＨＥＶＣの標準仕様において、拡張のために確保されているＮＡＬユニットタイプ（nal_unit_type）の数には制限がある。従って、ＡＰＳのために多数のＮＡＬユニットタイプを消費するような第２の手法は、仕様の将来の拡張の柔軟性を損なう可能性がある。

（４）第３の手法
第３の手法は、ＡＰＳに含まれるべきパラメータをＡＰＳ ＩＤとは別に定義される識別子ごとにグループ化し、１つのＡＰＳ内に１つ以上のグループに属するパラメータを含める、という手法である。本明細書では、ＡＰＳ ＩＤとは別に定義されグループごとに付与される当該識別子を、補助識別子（ＳＵＢ ＩＤ）という。また、補助識別子により識別されるグループを、パラメータグループという。各パラメータは、スライスヘッダにおいて補助識別子を用いて参照される。図９は、第３の手法に従って構成される符号化ストリームの一例を示している。

図９を参照すると、シーケンスの先頭に位置するピクチャＰ０の冒頭に、ＳＰＳ８２１、ＰＰＳ８２２及びＡＰＳ８２３が挿入されている。ＰＰＳ８２２は、ＰＰＳ ＩＤ“Ｐ０”により識別される。ＡＰＳ８２３は、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ及びＱＭ関連パラメータを含む。ＡＬＦ関連パラメータは、１つのグループに属し、ＡＬＦ用の補助識別子であるＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ０”により識別される。ＳＡＯ関連パラメータは、１つのグループに属し、ＳＡＯ用の補助識別子であるＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ０”により識別される。ＱＭ関連パラメータは、１つのグループに属し、ＱＭ用の補助識別子であるＳＵＢ＿ＱＭ ＩＤ“ＡＱ０”により識別される。ピクチャＰ０内のスライスデータに付加されているスライスヘッダ８２４は、参照ＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ０”、参照ＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ０”及び参照ＳＵＢ＿ＱＭ ＩＤ“ＡＱ０”を含む。これらは、当該スライスデータを復号するために、ＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ０”に属するＡＬＦ関連パラメータ、ＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ０”に属するＳＡＯ関連パラメータ及びＳＵＢ＿ＱＭ ＩＤ“ＡＱ０”に属するＱＭ関連パラメータが参照されることを意味する。

ピクチャＰ０に続くピクチャＰ１には、ＡＰＳ８２５が挿入されている。ＡＰＳ８２５は、ＡＬＦ関連パラメータ及びＳＡＯ関連パラメータを含む。ＡＬＦ関連パラメータは、ＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ１”により識別される。ＳＡＯ関連パラメータは、ＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ１”により識別される。ピクチャＰ０からＱＭ関連パラメータは更新されないため、ＡＰＳ８２５にＱＭ関連パラメータは含まれていない。ピクチャＰ１内のスライスデータに付加されているスライスヘッダ８２６は、参照ＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ１”、参照ＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ１”及び参照ＳＵＢ＿ＱＭ ＩＤ“ＡＱ０”を含む。これらは、当該スライスデータを復号するために、ＡＰＳ８２５内のＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ１”に属するＡＬＦ関連パラメータ及びＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ１”に属するＳＡＯ関連パラメータ、並びにＡＰＳ８２３内のＳＵＢ＿ＱＭ ＩＤ“ＡＱ０”に属するＱＭ関連パラメータが参照されることを意味する。

ピクチャＰ１に続くピクチャＰ２には、ＡＰＳ８２７が挿入されている。ＡＰＳ８２７は、ＡＬＦ関連パラメータ及びＱＭ関連パラメータを含む。ＡＬＦ関連パラメータは、ＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ２”により識別される。ＱＭ関連パラメータは、ＳＵＢ＿ＱＭ ＩＤ“ＡＱ１”により識別される。ピクチャＰ１からＳＡＯ関連パラメータは更新されないため、ＡＰＳ８２７にＳＡＯ関連パラメータは含まれていない。ピクチャＰ２内のスライスデータに付加されているスライスヘッダ８２８は、参照ＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ２”、参照ＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ１”及び参照ＳＵＢ＿ＱＭ ＩＤ“ＡＱ１”を含む。これらは、当該スライスデータを復号するために、ＡＰＳ８２７内のＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ２”に属するＡＬＦ関連パラメータ及びＳＵＢ＿ＱＭ ＩＤ“ＡＱ１”に属するＱＭ関連パラメータ、並びにＡＰＳ８２５内のＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ１”に属するＳＡＯ関連パラメータが参照されることを意味する。

図１０は、第３の手法に従って定義されるＡＰＳのシンタックスの一例を示している。図３の第２行〜第４行において、３つのグループ存在フラグ“aps_adaptive_loop_filter_flag”、“aps_sample_adaptive_offset_flag”及び“aps_qmatrix_flag”が特定される。グループ存在フラグは、各グループに属するパラメータが当該ＡＰＳ内に含まれるか否かを示す。図１０の例ではＡＰＳ ＩＤはシンタックスから省略されているが、当該ＡＰＳを識別するためのＡＰＳ ＩＤがシンタックス内に追加されてもよい。第１２行〜第１７行では、ＡＬＦ関連パラメータが特定される。第１３行の“sub_alf_id”は、ＡＬＦ用の補助識別子である。第１８行〜第２４行では、ＳＡＯ関連パラメータが特定される。第１９行の“sub_sao_id”は、ＳＡＯ用の補助識別子である。第２５行〜第３０行では、ＱＭ関連パラメータが特定される。第２６行の“sub_qmatrix_id”は、ＱＭ用の補助識別子である。

図１１は、第３の手法に従って定義されるスライスヘッダのシンタックスの一例を示す説明図である。図１１の第５行では、当該スライスに設定すべきパラメータのうちＰＰＳに含まれるパラメータを参照するための参照ＰＰＳ ＩＤが特定される。第８行では、当該スライスに設定すべきパラメータのうちＡＬＦ関連パラメータを参照するための参照ＳＵＢ＿ＡＬＦ ＩＤが特定される。第９行では、当該スライスに設定すべきパラメータのうちＳＡＯ関連パラメータを参照するための参照ＳＵＢ＿ＳＡＯ ＩＤが特定される。第１０行では、当該スライスに設定すべきパラメータのうちＱＭ関連パラメータを参照するための参照ＳＵＢ＿ＱＭ ＩＤが特定される。

第３の手法によれば、補助識別子を用いてＡＰＳ内のパラメータがグループ化され、更新の必要性がないパラメータグループのパラメータについて冗長的なパラメータの伝送が行われない。そのため、符号化効率は最適化され得る。また、パラメータの種類が増加してもＡＰＳの種類は増加しないため、上述した第２の手法のようにＮＡＬユニットタイプが数多く消費されることがない。従って、第３の手法は、将来の拡張の柔軟性を損なうこともない。

（５）パラメータのグループ化の基準
図９〜図１１の例では、ＡＰＳに含まれるパラメータが、ＡＬＦ、ＳＡＯ及びＱＭという関連する符号化ツールに応じてグループ化されている。しかしながら、これはパラメータのグループ化の一例に過ぎない。また、ＡＰＳには、他の符号化ツールに関連するパラメータが含まれてもよい。例えば、適応補間フィルタ（ＡＩＦ：Adaptive Interpolation Filter）のフィルタ係数などのＡＩＦ関連パラメータは、ＡＰＳに含められ得るパラメータの一例である。以下、図１２を参照しながら、ＡＰＳに含まれるパラメータのグループ化の様々な基準について述べる。

図１２に示された表は、代表的な符号化ツールごとのパラメータの特徴として、「パラメータの内容」、「更新頻度」及び「データサイズ」を一覧化している。

適応ループフィルタ（ＡＬＦ）は、復号画像と原画像との誤差を最小化するように適応的に決定されるフィルタ係数で復号画像を２次元フィルタリングするフィルタ（典型的には、ウィーナフィルタ）である。ＡＬＦ関連パラメータは、各ブロックに適用されるフィルタ係数とＣＵ（Coding Unit）ごとのＯｎ／Ｏｆｆフラグとを含む。ＡＬＦのフィルタ係数のデータサイズは、他の種類のパラメータと比較して非常に大きい。そのため、通常、符号量の多いＩピクチャについてはＡＬＦ関連パラメータは伝送されるが、符号量の小さいＢピクチャについてはＡＬＦ関連パラメータの伝送は省略され得る。これは、符号量の小さいピクチャについてデータサイズの大きいＡＬＦ関連パラメータを伝送することが利得の観点から非効率的であるためである。ＡＬＦのフィルタ係数は、ほとんどの場合、ピクチャごとに変化する。フィルタ係数は画像の内容に依存するため、過去に設定されたフィルタ係数を再利用できる可能性は低い。

サンプル適応オフセット（ＳＡＯ）は、復号画像の各画素値に適応的に決定されるオフセット値を加えることにより、復号画像の画質を向上させるツールである。ＳＡＯ関連パラメータは、オフセットパターン及びオフセット値を含む。ＳＡＯ関連パラメータのデータサイズは、ＡＬＦ関連パラメータほどには大きくない。ＳＡＯ関連パラメータもまた、原則としてピクチャごとに変化する。但し、ＳＡＯ関連パラメータには、画像の内容がわずかに変化してもあまり変化しないという性質があるため、過去に設定されたパラメータ値を再利用できる可能性がある。

量子化行列（ＱＭ）は、直交変換によって画像データから変換される変換係数を量子化する際に用いられる量子化スケールを要素とする行列である。ＱＭ関連パラメータは、量子化行列を１次元化し及び予測符号化することにより生成されるパラメータである。ＱＭ関連パラメータのデータサイズは、ＳＡＯ関連パラメータよりも大きい。量子化行列は、原則として全てのピクチャに必要とされるが、画像の内容が大きく変化しなければ必ずしもピクチャごとに更新されなくてよい。そのため、量子化行列は、同じ種別（Ｉ／Ｐ／Ｂピクチャなど）のピクチャについて、又はＧＯＰごとに再利用され得る。

適応補間フィルタ（ＡＩＦ）は、動き補償の際に用いられる補間フィルタのフィルタ係数をサブピクセル位置ごとに適応的に変化させるツールである。ＡＩＦ関連パラメータは、サブピクセル位置ごとのフィルタ係数を含む。ＡＩＦ関連パラメータのデータサイズは、上述した３種類のパラメータと比較すると小さい。ＡＩＦ関連パラメータは、原則としてピクチャごとに変化する。但し、ピクチャの種別が同じであれば補間の特性が類似する傾向があることから、同じ種別（Ｉ／Ｐ／Ｂピクチャなど）のピクチャについてＡＩＦ関連パラメータを再利用することができる。

上述したようなパラメータの性質に基づいて、例えば、ＡＰＳに含まれるパラメータをグループ化するための次の３通りの基準を採用することができる。
基準Ａ）符号化ツールに応じたグループ化
基準Ｂ）更新頻度に応じたグループ化
基準Ｃ）パラメータの再利用の可能性に応じたグループ化

基準Ａは、関連する符号化ツールに応じてパラメータをグループ化する、という基準である。図９〜図１１に例示したパラメータセットの構成は、基準Ａに基づいている。パラメータの性質は概して関連する符号化ツールに応じて決まるため、符号化ツールごとにパラメータをグループ化することで、パラメータの様々な性質に応じて適時かつ効率的にパラメータを更新することが可能となる。

基準Ｂは、更新頻度に応じてパラメータをグループ化する、という基準である。図１２に示したように、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータおよびＡＩＦ関連パラメータは、いずれも原則として毎ピクチャ更新され得る。そこで、例えばこれらパラメータを１つのパラメータグループに、ＱＭ関連パラメータを他のパラメータグループにグループ化することができる。この場合には、基準Ａと比較してパラメータグループの数が少なくなる。その結果、スライスヘッダで特定すべき補助識別子の数も少なくなるため、スライスヘッダの符号量を削減することができる。一方、同じパラメータグループに属するパラメータの更新頻度は互いに類似するため、更新されないパラメータが他のパラメータの更新のために冗長的に伝送される可能性も低く保たれる。

基準Ｃは、パラメータの再利用の可能性に応じてパラメータをグループ化する、という基準である。ＡＬＦ関連パラメータについては再利用の可能性は低いが、ＳＡＯ関連パラメータ及びＡＩＦ関連パラメータについてはある程度の再利用の可能性がある。ＱＭ関連パラメータについては、複数のピクチャにわたってパラメータが再利用される可能性が高い。従って、このような再利用の可能性に応じてパラメータをグループ化することで、再利用されるパラメータをＡＰＳ内で冗長的に伝送することを回避することができる。

（５）第３の手法の変形例
上述した第３の手法では、図１１に例示したように、ＡＰＳ内のパラメータをグループ化するパラメータグループの数だけ参照ＳＵＢ ＩＤがスライスヘッダ内で特定されることになる。参照ＳＵＢ ＩＤのために要する符号量は、おおよそスライスヘッダの数とパラメータグループの数との積に比例する。このような符号量をより削減するために、以下に説明する変形例に係る手法が採用されてもよい。

第３の手法の変形例では、補助識別子の組合せに関連付けられる組合せＩＤが、ＡＰＳ又は他のパラメータセット内で定義される。そして、ＡＰＳ内に含まれるパラメータは、組合せＩＤを通じてスライスヘッダから参照され得る。図１３は、第３の手法のこのような変形例に従って構成される符号化ストリームの一例を示している。

図１３を参照すると、シーケンスの先頭に位置するピクチャＰ０の冒頭に、ＳＰＳ８３１、ＰＰＳ８３２及びＡＰＳ８３３が挿入されている。ＰＰＳ８３２は、ＰＰＳ ＩＤ“Ｐ０”により識別される。ＡＰＳ８３３は、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ及びＱＭ関連パラメータを含む。ＡＬＦ関連パラメータは、ＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ０”により識別される。ＳＡＯ関連パラメータは、ＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ０”により識別される。ＱＭ関連パラメータは、ＳＵＢ＿ＱＭ ＩＤ“ＡＱ０”により識別される。さらに、ＡＰＳ８３３は、組合せの定義として、組合せＩＤ“Ｃ００”＝｛ＡＡ０，ＡＳ０，ＡＱ０｝を含む。ピクチャＰ０内のスライスデータに付加されているスライスヘッダ８３４は、組合せＩＤ“Ｃ００”を含む。これは、当該スライスデータを復号するために、組合せＩＤ“Ｃ００”にそれぞれ関連付けられているＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ０”に属するＡＬＦ関連パラメータ、ＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ０”に属するＳＡＯ関連パラメータ及びＳＵＢ＿ＱＭ ＩＤ“ＡＱ０”に属するＱＭ関連パラメータが参照されることを意味する。

ピクチャＰ０に続くピクチャＰ１には、ＡＰＳ８３５が挿入されている。ＡＰＳ８３５は、ＡＬＦ関連パラメータ及びＳＡＯ関連パラメータを含む。ＡＬＦ関連パラメータは、ＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ１”により識別される。ＳＡＯ関連パラメータは、ＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ１”により識別される。ピクチャＰ０からＱＭ関連パラメータは更新されないため、ＡＰＳ８３５にＱＭ関連パラメータは含まれていない。さらに、ＡＰＳ８３５は、組合せの定義として、組合せＩＤ“Ｃ０１”＝｛ＡＡ１，ＡＳ０，ＡＱ０｝、組合せＩＤ“Ｃ０２”＝｛ＡＡ０，ＡＳ１，ＡＱ０｝及び組合せＩＤ“Ｃ０３”＝｛ＡＡ１，ＡＳ１，ＡＱ０｝を含む。ピクチャＰ１内のスライスデータに付加されているスライスヘッダ８３６は、組合せＩＤ“Ｃ０３”を含む。これは、当該スライスデータを復号するために、組合せＩＤ“Ｃ０３”にそれぞれ関連付けられているＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ１”に属するＡＬＦ関連パラメータ、ＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ１”に属するＳＡＯ関連パラメータ及びＳＵＢ＿ＱＭ ＩＤ“ＡＱ０”に属するＱＭ関連パラメータが参照されることを意味する。

ピクチャＰ１に続くピクチャＰ２には、ＡＰＳ８３７が挿入されている。ＡＰＳ８３７は、ＡＬＦ関連パラメータを含む。ＡＬＦ関連パラメータは、ＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ２”により識別される。ピクチャＰ１からＳＡＯ関連パラメータ及びＱＭ関連パラメータは更新されないため、ＡＰＳ８３７にＳＡＯ関連パラメータ及びＱＭ関連パラメータは含まれていない。さらに、ＡＰＳ８３７は、組合せの定義として、組合せＩＤ“Ｃ０４”＝｛ＡＡ２，ＡＳ０，ＡＱ０｝及び組合せＩＤ“Ｃ０５”＝｛ＡＡ２，ＡＳ１，ＡＱ０｝を含む。ピクチャＰ２内のスライスデータに付加されているスライスヘッダ８３８は、組合せＩＤ“Ｃ０５”を含む。これは、当該スライスデータを復号するために、組合せＩＤ“Ｃ０５”にそれぞれ関連付けられているＳＵＢ＿ＡＬＦ ＩＤ“ＡＡ２”に属するＡＬＦ関連パラメータ、ＳＵＢ＿ＳＡＯ ＩＤ“ＡＳ１”に属するＳＡＯ関連パラメータ及びＳＵＢ＿ＱＭ ＩＤ“ＡＱ０”に属するＱＭ関連パラメータが参照されることを意味する。

なお、本変形例において、補助識別子の全ての組合せについて組合せＩＤが定義されなくてよく、スライスヘッダにおいて実際に参照される補助識別子の組合せについてのみ組合せＩＤが定義されてよい。また、補助識別子の組合せは、対応するパラメータが格納されているＡＰＳとは異なるＡＰＳ内で定義されてもよい。

このように、補助識別子の組合せに関連付けられる組合せＩＤを用いてＡＰＳ内のパラメータを参照することで、スライスヘッダから各パラメータを参照するために要する符号量を削減することができる。

［１−３．シンタックス符号化部の構成例］
図１４は、図１に示したシンタックス符号化部１６の詳細な構成の一例を示すブロック図である。図１４を参照すると、シンタックス符号化部１６は、符号化制御部１１０、パラメータ取得部１１５及び符号化部１２０を有する。

（１）符号化制御部
符号化制御部１１０は、シンタックス符号化部１６により行われる符号化処理を制御する。例えば、符号化制御部１１０は、画像ストリーム内のシーケンス、ピクチャ、スライス及びＣＵなどの処理単位を認識し、パラメータ取得部１１５により取得されるパラメータをパラメータの種類に応じてＳＰＳ、ＰＰＳ、ＡＰＳ又はスライスヘッダなどのヘッダ領域に挿入する。例えば、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ及びＱＭ関連パラメータは、これらパラメータが参照されるスライスよりも前に挿入されるＡＰＳ内で、符号化部１２０により符号化される。また、符号化制御部１１０は、いずれかのパラメータセット内で、図１３に例示したような組合せＩＤを符号化部１２０に符号化させてもよい。

（２）パラメータ取得部
パラメータ取得部１１５は、ストリームのヘッダ領域に挿入される様々なパラメータを設定し又は取得する。例えば、パラメータ取得部１１５は、量子化部１５から量子化行列を表すＱＭ関連パラメータを取得する。また、パラメータ取得部１１５は、適応オフセット部２５からＳＡＯ関連パラメータを、適応ループフィルタ２６からＡＬＦ関連パラメータを取得する。そして、パラメータ取得部１１５は、取得したパラメータを符号化部１２０へ出力する。

（３）符号化部
符号化部１２０は、量子化部１５から入力される量子化データ及びパラメータ取得部１１５から入力されるパラメータを符号化し、符号化ストリームを生成する。本実施形態において、符号化部１２０により生成される符号化ストリームは、ＳＰＳ、ＰＰＳ及びＡＰＳという３種類のパラメータセットを含む。ＡＰＳには、主にピクチャごとに適応的に設定される、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ及びＱＭ関連パラメータ（並びにＡＩＦ関連パラメータなどの他のパラメータ）が含まれ得る。符号化部１２０は、これらパラメータを、上述した第１〜第３の手法のいずれに従って符号化してもよい。例えば、符号化部１２０は、これらパラメータをＡＰＳ ＩＤとは異なる補助識別子であるＳＵＢ ＩＤごとにグループ化してパラメータグループを形成し、パラメータグループごとにパラメータをＡＰＳ内で符号化し得る。この場合、符号化部１２０は、図１０に例示したように、補助識別子として、ＡＬＦ関連パラメータにＳＵＢ＿ＡＬＦ ＩＤを、ＳＡＯ関連パラメータにＳＵＢ＿ＳＡＯ ＩＤを、ＱＭ関連パラメータにＳＵＢ＿ＱＭ ＩＤをそれぞれ設定する。そして、符号化部１２０は、これらパラメータを共通的なＡＰＳ内で符号化する。また、符号化部１２０は、いずれかのパラメータセット内で、図１３に例示したように設定される組合せＩＤを符号化し得る。

また、符号化部１２０により生成される符号化ストリームの各スライスには、スライスヘッダが付加される。符号化部１２０は、スライスヘッダ内で、当該スライスに設定されるべきパラメータを参照する際に用いられる、参照用パラメータを符号化する。参照用パラメータとは、図１１に例示した参照ＳＵＢ＿ＡＬＦ ＩＤ、参照ＳＵＢ＿ＳＡＯ ＩＤ及び参照ＳＵＢ＿ＱＭ ＩＤであってもよく、又は図１３に例示した参照組合せＩＤであってもよい。

符号化部１２０によるパラメータの符号化は、例えば、ＶＬＣ（可変長符号化：Variable Length Coding）方式で行われてもよく、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）方式で行われてもよい。符号化部１２０により生成される符号化ストリームは、蓄積バッファ１７へ出力される。

＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図１５〜図１７を用いて、本実施形態に係る画像符号化装置１０のシンタックス符号化部１６による符号化処理の流れを説明する。

［２−１．処理の概略］
図１５は、本実施形態に係るシンタックス符号化部１６による符号化処理の流れの一例を示すフローチャートである。

図１５を参照すると、まず、符号化制御部１１０により１つのピクチャが認識され（ステップＳ１００）、当該ピクチャがシーケンスの先頭のピクチャであるかが判定される（ステップＳ１０２）。ここで、当該ピクチャがシーケンスの先頭のピクチャである場合には、符号化ストリームにＳＰＳが挿入され、ＳＰＳ内のパラメータが符号化部１２０により符号化される（ステップＳ１０４）。

次に、符号化制御部１１０は、シーケンスの先頭であるか又はＰＰＳ内のパラメータに更新が発生しているかを判定する（ステップＳ１０６）。ここで、シーケンスの先頭であり又はＰＰＳ内のパラメータに更新が発生している場合には、符号化ストリームにＰＰＳが挿入され、ＰＰＳ内のパラメータが符号化部１２０により符号化される（ステップＳ１０８）。

次に、符号化制御部１１０は、シーケンスの先頭であるか又はＡＰＳ内のパラメータに更新が発生しているかを判定する（ステップＳ１１０）。ここで、シーケンスの先頭であり又はＡＰＳ内のパラメータに更新が発生している場合には、符号化ストリームにＡＰＳが挿入され、ＡＰＳ内のパラメータが符号化部１２０により符号化される（ステップＳ１１２）。

次に、符号化部１２０は、スライスヘッダの符号化（ステップＳ１１４）及びスライスデータの符号化（ステップＳ１１６）をピクチャ内の全てのスライスについて繰り返す（ステップＳ１１８）。そして、ピクチャ内の全てのスライスについてスライスヘッダ及びスライスデータの符号化が終了すると、処理はステップＳ１２０へ進む。そして、次のピクチャが存在する場合には、処理はステップＳ１００へ戻る（ステップＳ１２０）。一方、次のピクチャが存在しない場合には、図１５に示した符号化処理は終了する。

［２−２．ＡＰＳ符号化処理］
図１６は、図１５のステップＳ１１２に相当するＡＰＳ符号化処理の詳細な流れの一例を示すフローチャートである。なお、ここでは、説明の簡明さのために、パラメータのグループ化に関連する主な処理ステップのみを示している。

図１６を参照すると、まず、符号化部１２０は、ＡＰＳ内でグループ別存在フラグを符号化する（ステップＳ１３０）。グループ別存在フラグは、例えば図３に示した“aps_adaptive_loop_filter_flag”、“aps_sample_adaptive_offset_flag”及び“aps_qmatrix_flag”に相当し、パラメータをグループ化するグループごとに符号化され得る。

次に、符号化制御部１１０は、パラメータの符号化にＣＡＢＡＣ方式を用いるかを判定する（ステップＳ１３２）。そして、ＣＡＢＡＣ方式が用いられる場合には、符号化部１２０は、ＣＡＢＡＣ関連パラメータを符号化する（ステップＳ１３４）。

次に、符号化制御部１１０は、パラメータ取得部１１５により取得されるＡＬＦ関連パラメータが更新されるかを判定する（ステップＳ１３６）。そして、ＡＬＦ関連パラメータが更新される場合には、符号化部１２０は、ＡＬＦ関連パラメータに新たなＳＵＢ＿ＡＬＦ ＩＤを付与し（ステップＳ１３８）、ＡＬＦ関連パラメータを符号化する（ステップＳ１４０）。

次に、符号化制御部１１０は、パラメータ取得部１１５により取得されるＳＡＯ関連パラメータが更新されるかを判定する（ステップＳ１４２）。そして、ＳＡＯ関連パラメータが更新される場合には、符号化部１２０は、ＳＡＯ関連パラメータに新たなＳＵＢ＿ＳＡＯ ＩＤを付与し（ステップＳ１４４）、ＳＡＯ関連パラメータを符号化する（ステップＳ１４６）。

次に、符号化制御部１１０は、パラメータ取得部１１５により取得されるＱＭ関連パラメータが更新されるかを判定する（ステップＳ１４８）。そして、ＱＭ関連パラメータが更新される場合には、符号化部１２０は、ＱＭ関連パラメータに新たなＳＵＢ＿ＱＭ ＩＤを付与し（ステップＳ１５０）、ＱＭ関連パラメータを符号化する（ステップＳ１５２）。

図１６には示していないものの、符号化部１２０は、さらに、補助識別子の組合せと組合せＩＤとを関連付ける組合せ定義についてのパラメータをＡＰＳ内で符号化してもよい。

［２−３．スライスヘッダ符号化処理］
図１７は、図１５のステップＳ１１４に相当するスライスヘッダ符号化処理の詳細な流れの一例を示すフローチャートである。なお、ここでは、説明の簡明さのために、グループ化されたパラメータの参照に関連する主な処理ステップのみを示している。

図１７を参照すると、まず、符号化制御部１１０は、符号化ツールとしてＡＬＦが有効であるかを判定する（ステップＳ１６０）。符号化ツールが有効であるか否かは、例えば、符号化ツールごとにＳＰＳ内で特定される有効フラグ（ＡＬＦについては“adaptive_loop_filter_enabled_flag”など）の値から判定され得る。ＡＬＦが有効である場合には、符号化部１２０は、当該スライスについて参照すべきＡＬＦ関連パラメータに付与されたＳＵＢ＿ＡＬＦ ＩＤを識別する（ステップＳ１６２）。そして、符号化部１２０は、識別したＳＵＢ＿ＡＬＦ ＩＤを参照ＳＵＢ＿ＡＬＦ ＩＤとしてスライスヘッダ内で符号化する（ステップＳ１６４）。

次に、符号化制御部１１０は、符号化ツールとしてＳＡＯが有効であるかを判定する（ステップＳ１６６）。ＳＡＯが有効である場合には、符号化部１２０は、参照すべきＳＡＯ関連パラメータに付与されたＳＵＢ＿ＳＡＯ ＩＤを識別する（ステップＳ１６８）。そして、符号化部１２０は、識別したＳＵＢ＿ＳＡＯ ＩＤを参照ＳＵＢ＿ＳＡＯ ＩＤとしてスライスヘッダ内で符号化する（ステップＳ１７０）。

次に、符号化制御部１１０は、符号化ツールとして量子化行列の指定が有効であるかを判定する（ステップＳ１７２）。量子化行列の指定が有効である場合には、符号化部１２０は、参照すべきＱＭ関連パラメータに付与されたＳＵＢ＿ＱＭ ＩＤを識別する（ステップＳ１７４）。そして、符号化部１２０は、識別したＳＵＢ＿ＱＭ ＩＤを参照ＳＵＢ＿ＱＭ ＩＤとしてスライスヘッダ内で符号化する（ステップＳ１７６）。

＜３．一実施形態に係る画像復号装置の構成例＞
本節では、上述した画像符号化装置１０により符号化される符号化ストリームから画像を復号する画像復号装置６０の構成の一例について説明する。

［３−１．全体的な構成例］
図１８は、本実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図１８を参照すると、画像復号装置６０は、蓄積バッファ６１、シンタックス復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ（ＤＦ）６６、適応オフセット部（ＳＡＯ）６７、適応ループフィルタ（ＡＬＦ）６８、並べ替えバッファ６９、Ｄ／Ａ（Digital to Analogue）変換部７０、フレームメモリ７１、セレクタ７２及び７３、イントラ予測部８０、並びに動き補償部９０を備える。

蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを一時的に蓄積する。

シンタックス復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。符号化ストリームに含まれる量子化データは、シンタックス復号部６２により復号され、逆量子化部６３へ出力される。また、シンタックス復号部６２は、符号化ストリームのヘッダ領域に多重化されている様々なパラメータを復号する。ここで復号されるパラメータは、例えば、上述したＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ及びＱＭ関連パラメータを含み得る。シンタックス復号部６２により復号されるパラメータは、画像内の各スライスを復号する際に参照される。シンタックス復号部６２の詳細な構成について、後にさらに説明する。

逆量子化部６３は、シンタックス復号部６２による復号後の量子化データを逆量子化する。本実施形態において、逆量子化部６３による逆量子化処理は、シンタックス復号部６２により復号されるＱＭ関連パラメータを用いて行われる。逆量子化部６３は、例えば、ＱＭ関連パラメータから再構築される量子化行列の要素により示される量子化ステップで量子化データに含まれる変換係数を逆量子化し、逆量子化された変換係数データを逆直交変換部６４へ出力する。

逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。

加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７３から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ７１へ出力する。

デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを適応オフセット部６７へ出力する。

適応オフセット部６７は、ＤＦ後の復号画像の各画素値に適応的に決定されるオフセット値を加えることにより、復号画像の画質を向上させる。本実施形態において、適応オフセット部６７による適応オフセット処理は、シンタックス復号部６２により復号されるＳＡＯ関連パラメータを用いて行われる。適応オフセット部６７は、例えば、ＳＡＯ関連パラメータにより示されるオフセットパターンに従って、各画素値をオフセットする。適応オフセット部６７は、適応オフセット処理の結果として、オフセットされた画素値を有する復号画像データを適応ループフィルタ６８へ出力する。

適応ループフィルタ６８は、ＳＡＯ後の復号画像をフィルタリングすることにより、復号画像と原画像との誤差を最小化する。本実施形態において、適応ループフィルタ６８による適応ループフィルタ処理は、シンタックス復号部６２により復号されるＡＬＦ関連パラメータを用いて行われる。適応ループフィルタ６８は、例えば、ＡＬＦ関連パラメータにより示されるフィルタ係数を有するウィーナフィルタを、復号画像の各ブロックに適用する。適応ループフィルタ６８は、適応ループフィルタ処理の結果として、フィルタリングされた復号画像データを並べ替えバッファ６９及びフレームメモリ７１へ出力する。

並べ替えバッファ６９は、適応ループフィルタ６８から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ６９は、生成した画像データをＤ／Ａ変換部７０へ出力する。

Ｄ／Ａ変換部７０は、並べ替えバッファ６９から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部７０は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。

フレームメモリ７１は、加算部６５から入力されるＤＦ前の復号画像データ、及び適応ループフィルタ６８から入力されるＡＬＦ後の復号画像データを記憶媒体を用いて記憶する。

セレクタ７２は、シンタックス復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ７１からの画像データの出力先をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７２は、イントラ予測モードが指定された場合には、フレームメモリ７１から供給されるＤＦ前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７２は、インター予測モードが指定された場合には、フレームメモリ７１から供給されるＡＬＦ後の復号画像データを参照画像データとして動き補償部９０へ出力する。

セレクタ７３は、シンタックス復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７３は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７３は、インター予測モードが指定された場合には、動き補償部９０から出力される予測画像データを加算部６５へ供給する。

イントラ予測部８０は、シンタックス復号部６２から入力されるイントラ予測に関する情報とフレームメモリ７１からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７３へ出力する。

動き補償部９０は、シンタックス復号部６２から入力されるインター予測に関する情報とフレームメモリ７１からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部９０は、動き補償処理の結果として生成される予測画像データをセレクタ７３へ出力する。

［３−２．シンタックス復号部の構成例］
図１９は、図１８に示したシンタックス復号部６２の詳細な構成の一例を示すブロック図である。図１９を参照すると、シンタックス復号部６２は、復号制御部１６０、復号部１６５及び設定部１７０を有する。

（１）復号制御部
復号制御部１６０は、シンタックス復号部６２により行われる復号処理を制御する。例えば、復号制御部１６０は、各ＮＡＬユニットのＮＡＬユニットタイプに基づいて、符号化ストリームに含まれるＳＰＳ、ＰＰＳ、ＡＰＳ及びスライスを認識する。そして、復号制御部１６０は、ＳＰＳ、ＰＰＳ及びＡＰＳに含まれるパラメータ、並びに各スライスのスライスヘッダに含まれるパラメータを復号部１６５に復号させる。また、復号制御部１６０は、各スライスのスライスデータを復号部１６５に復号させる。

（２）復号部
復号部１６５は、復号制御部１６０による制御の下、符号化ストリームに含まれるパラメータ及びデータを復号する。例えば、復号部１６５は、ＳＰＳ、ＰＰＳ及びＡＰＳなどのパラメータセットを復号する。復号部１６５は、これらパラメータを、上述した第１〜第３の手法のいずれに従って復号してもよい。例えば、ＡＰＳは、ＡＰＳ ＩＤとは別に定義される補助識別子であるＳＵＢ ＩＤごとにグループ化されるパラメータを含み得る。一例として、ＡＰＳに含まれるパラメータは、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ、ＱＭ関連パラメータ及びＡＩＦ関連パラメータのうちの１つ以上を含み得る。これらパラメータは、上述した基準Ａ、基準Ｂ若しくは基準Ｃのいずれか、又は他の基準に従ってＡＰＳ内でグループ化される。復号部１６５は、復号したこれらパラメータを補助識別子と関連付けて設定部１７０へ出力する。また、復号部１６５は、複数の補助識別子の組合せに関連付けられる組合せＩＤがＡＰＳ又は他のパラメータセット内で符号化されている場合には、当該組合せＩＤを復号し、復号した組合せＩＤを設定部１７０へ出力する。

また、復号部１６５は、スライスヘッダを復号する。スライスヘッダには、既に復号されたＡＰＳ内のパラメータを参照するために使用される参照用パラメータが含まれる。参照用パラメータとは、例えば、ＡＰＳ内でパラメータをグループ化するために使用された補助識別子（ＳＵＢ ＩＤ）を指定する参照ＳＵＢ ＩＤであってもよい。その代わりに、参照用パラメータとは、複数の補助識別子の組合せに関連付けられる組合せＩＤを指定する参照組合せＩＤであってもよい。復号部１６５は、これら参照用パラメータをスライスヘッダから復号すると、復号した参照用パラメータを設定部１７０へ出力する。

さらに、復号部１６５は、スライスデータから各スライスの量子化データを復号し、復号した量子化データを逆量子化部６３へ出力する。

（３）設定部
設定部１７０は、復号部１６５により復号されるパラメータを画像内の各スライスに設定する。本実施形態において、設定部１７０により設定されるパラメータは、ＡＬＦ関連パラメータ、ＳＡＯ関連パラメータ、ＱＭ関連パラメータ及びＡＩＦ関連パラメータのうちの１つ以上を含み得る。設定部１７０は、例えば、各スライスヘッダから復号される参照用パラメータが参照ＳＵＢ ＩＤである場合には、当該参照ＳＵＢ ＩＤに適合するＳＵＢ ＩＤを用いて参照されるパラメータを当該スライスに設定してもよい。また、設定部１７０は、各スライスヘッダから復号される参照用パラメータが参照組合せＩＤである場合には、当該参照組合せＩＤと関連付けられているＳＵＢ ＩＤを用いて参照されるパラメータを当該スライスに設定してもよい。例えば、設定部１７０により各スライスに設定されるＡＬＦ関連パラメータは、適応ループフィルタ６８における適応ループフィルタ処理の際に使用される。設定部１７０により各スライスに設定されるＳＡＯ関連パラメータは、適応オフセット部６７における適応オフセット処理の際に使用される。設定部１７０により各スライスに設定されるＱＭ関連パラメータは、逆量子化部６３における逆量子化処理の際に使用される。

＜４．一実施形態に係る復号時の処理の流れ＞
次に、図２０〜図２２を用いて、本実施形態に係る画像復号装置６０のシンタックス復号部６２による復号処理の流れを説明する。

［４−１．処理の概略］
図２０は、本実施形態に係るシンタックス復号部６２による復号処理の流れの一例を示すフローチャートである。

図２０の例において、復号制御部１６０により符号化ストリーム内のＳＰＳが認識されると（ステップＳ２００）、認識されたＳＰＳに含まれるパラメータが復号部１６５により復号される（ステップＳ２０２）。また、復号制御部１６０によりＰＰＳが認識されると（ステップＳ２０４）、認識されたＰＰＳに含まれるパラメータが復号部１６５により復号される（ステップＳ２０６）。また、復号制御部１６０によりＡＰＳが認識されると（ステップＳ２０８）、認識されたＡＰＳに含まれるパラメータが復号部１６５により復号される（ステップＳ２１０）。また、復号制御部１６０によりスライスが認識されると（ステップＳ２１２）、復号部１６５により、認識されたスライスのスライスヘッダに含まれるパラメータが復号され（ステップＳ２１４）、さらに当該スライスのスライスデータが復号される（ステップＳ２１６）。

復号制御部１６０は、符号化ストリームの終了を監視し、符号化ストリームが終了するまでこのような復号処理を繰り返す（ステップＳ２１８）。次のピクチャが存在する場合には、処理はステップＳ２００へ戻る。符号化ストリームの終了が検出された場合には、図２０に示した復号処理は終了する。

［４−２．ＡＰＳ復号処理］
図２１は、図２０のステップＳ２１０に相当するＡＰＳ復号処理の詳細な流れの一例を示すフローチャートである。なお、ここでは、説明の簡明さのために、パラメータのグループ化に関連する主な処理ステップのみを示している。

図２１を参照すると、まず、復号部１６５は、ＡＰＳ内のグループ別存在フラグを復号する（ステップＳ２３０）。グループ別存在フラグは、例えば上述した“aps_adaptive_loop_filter_flag”、“aps_sample_adaptive_offset_flag”及び“aps_qmatrix_flag”に相当し、パラメータをグループ化するグループごとに復号され得る。

次に、復号制御部１６０は、パラメータの復号にＣＡＢＡＣ方式を用いるかを判定する（ステップＳ２３２）。そして、ＣＡＢＡＣ方式が用いられる場合には、復号部１６５は、ＣＡＢＡＣ関連パラメータを復号する（ステップＳ２３４）。

次に、復号制御部１６０は、グループ別存在フラグの値に基づいて、当該ＡＰＳ内にＡＬＦ関連パラメータが存在するかを判定する（ステップＳ２３６）。ここで、ＡＬＦ関連パラメータが存在する場合には、復号部１６５は、ＡＬＦ関連パラメータを復号し（ステップＳ２３８）、復号したＡＬＦ関連パラメータをＳＵＢ＿ＡＬＦ ＩＤと関連付ける（ステップＳ２４０）。

次に、復号制御部１６０は、グループ別存在フラグの値に基づいて、当該ＡＰＳ内にＳＡＯ関連パラメータが存在するかを判定する（ステップＳ２４２）。ここで、ＳＡＯ関連パラメータが存在する場合には、復号部１６５は、ＳＡＯ関連パラメータを復号し（ステップＳ２４４）、復号したＳＡＯ関連パラメータをＳＵＢ＿ＳＡＯ ＩＤと関連付ける（ステップＳ２４６）。

次に、復号制御部１６０は、グループ別存在フラグの値に基づいて、当該ＡＰＳ内にＱＭ関連パラメータが存在するかを判定する（ステップＳ２４８）。ここで、ＱＭ関連パラメータが存在する場合には、復号部１６５は、ＱＭ関連パラメータを復号し（ステップＳ２５０）、復号したＱＭ関連パラメータをＳＵＢ＿ＱＭ ＩＤと関連付ける（ステップＳ２５２）。

図２１には示していないものの、復号部１６５は、複数の補助識別子の組合せに関連付けられる組合せＩＤが当該ＡＰＳ内で符号化されている場合には、さらに当該組合せＩＤを復号してもよい。

［４−３．スライスヘッダ復号処理］
図２２は、図２０のステップＳ２１４に相当するスライスヘッダ復号処理の詳細な流れの一例を示すフローチャートである。なお、ここでは、説明の簡明さのために、グループ化されたパラメータの参照に関連する主な処理ステップのみを示している。

図２２を参照すると、まず、復号制御部１６０は、符号化ツールとしてＡＬＦが有効であるかを判定する（ステップＳ２６０）。復号ツールが有効であるか否かは、例えば、復号ツールごとにＳＰＳ内で特定される上述した有効フラグの値から判定され得る。ＡＬＦが有効である場合には、復号部１６５は、参照すべきＡＬＦ関連パラメータに付与された補助識別子を示す参照ＳＵＢ＿ＡＬＦ ＩＤをスライスヘッダから復号する（ステップＳ２６２）。そして、設定部１７０は、復号された参照ＳＵＢ＿ＡＬＦ ＩＤに適合するＳＵＢ＿ＡＬＦ ＩＤと関連付けられているＡＬＦ関連パラメータを、当該スライスに設定する（ステップＳ２６４）。

次に、復号制御部１６０は、符号化ツールとしてＳＡＯが有効であるかを判定する（ステップＳ２６６）。ＳＡＯが有効である場合には、復号部１６５は、参照すべきＳＡＯ関連パラメータに付与された補助識別子を示す参照ＳＵＢ＿ＳＡＯ ＩＤをスライスヘッダから復号する（ステップＳ２６８）。そして、設定部１７０は、復号された参照ＳＵＢ＿ＳＡＯ ＩＤに適合するＳＵＢ＿ＳＡＯ ＩＤと関連付けられているＳＡＯ関連パラメータを、当該スライスに設定する（ステップＳ２７０）。

次に、復号制御部１６０は、符号化ツールとして量子化行列の指定が有効であるかを判定する（ステップＳ２７２）。量子化行列の指定が有効である場合には、復号部１６５は、参照すべきＱＭ関連パラメータに付与された補助識別子を示す参照ＳＵＢ＿ＱＭ ＩＤをスライスヘッダから復号する（ステップＳ２７４）。そして、設定部１７０は、復号された参照ＳＵＢ＿ＱＭ ＩＤに適合するＳＵＢ＿ＱＭ ＩＤと関連付けられているＱＭ関連パラメータを、当該スライスに設定する（ステップＳ２７６）。

＜５．様々なコーデックへの適用＞
本開示に係る技術は、画像の符号化及び復号に関連する様々なコーデックに適用可能である。本節では、本開示に係る技術がマルチビューコーデック及びスケーラブルコーデックにそれぞれ適用される例について説明する。

［５−１．マルチビューコーデック］
マルチビューコーデックは、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図２３は、マルチビューコーデックについて説明するための説明図である。図２３を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図２３の例では、ビューＩＤが“０”であるビューがベースビューであり、ビューＩＤが“１”又は“２”である２つのビューがノンベースビューである。これらマルチビューの画像データを符号化する際、ベースビューのフレームについての符号化情報に基づいてノンベースビューのフレームを符号化することにより、全体としての符号化ストリームのデータサイズが圧縮され得る。

上述したマルチビューコーデックに従った符号化処理において、符号化ストリームのＡＰＳ内に、ＡＰＳ ＩＤとは異なる補助識別子と、当該補助識別子により識別されるパラメータグループとが挿入される。マルチビューコーデックに従った復号処理において、当該補助識別子が符号化ストリームのＡＰＳから取得され、上記パラメータグループ内のパラメータへの参照が、取得された補助識別子を用いて行われる。各ビューで利用される制御パラメータは、ビューごとに設定されてもよい。また、ベースビューにおいて設定された制御パラメータが、ノンベースビューにおいて再利用されてもよい。また、ビュー間で制御パラメータが再利用されるか否かを示すフラグが、追加的に指定されてもよい。

図２４は、上述した画像符号化処理のマルチビューコーデックへの適用について説明するための説明図である。図２４を参照すると、一例としてのマルチビュー符号化装置６１０の構成が示されている。マルチビュー符号化装置６１０は、第１符号化部６２０、第２符号化部６３０及び多重化部６４０を備える。

第１符号化部６２０は、ベースビュー画像を符号化し、ベースビューの符号化ストリームを生成する。第２符号化部６３０は、ノンベースビュー画像を符号化し、ノンベースビューの符号化ストリームを生成する。多重化部６４０は、第１符号化部６２０により生成されるベースビューの符号化ストリームと、第２符号化部６３０により生成される１つ以上のノンベースビューの符号化ストリームとを多重化し、マルチビューの多重化ストリームを生成する。

図２４に例示した第１符号化部６２０及び第２符号化部６３０は、上述した実施形態に係る画像符号化装置１０と同等の構成を有する。それにより、各ビューの符号化ストリームのＡＰＳ内で、パラメータをパラメータグループにグループ化することができる。

図２５は、上述した画像復号処理のマルチビューコーデックへの適用について説明するための説明図である。図２５を参照すると、一例としてのマルチビュー復号装置６６０の構成が示されている。マルチビュー復号装置６６０は、逆多重化部６７０、第１復号部６８０及び第２復号部６９０を備える。

逆多重化部６７０は、マルチビューの多重化ストリームをベースビューの符号化ストリーム及び１つ以上のノンベースビューの符号化ストリームに逆多重化する。第１復号部６８０は、ベースビューの符号化ストリームからベースビュー画像を復号する。第２復号部６９０は、ノンベースビューの符号化ストリームからノンベースビュー画像を復号する。

図２５に例示した第１復号部６８０及び第２復号部６９０は、上述した実施形態に係る画像復号装置６０と同等の構成を有する。それにより、各ビューの符号化ストリームのＡＰＳ内のパラメータにパラメータグループ単位でアクセスして、各ビューの画像を復号することができる。

［５−２．スケーラブルコーデック］
スケーラブルコーデックは、いわゆる階層符号化を実現するための画像符号化方式である。図２６は、スケーラブルコーデックについて説明するための説明図である。図２６を参照すると、空間解像度、時間解像度又は画質の異なる３つのレイヤのフレームのシーケンスが示されている。各レイヤには、レイヤＩＤ（layer_id）が付与される。これら複数のレイヤのうち、最も解像度（又は画質）の低いレイヤが、ベースレイヤ（base layer）である。ベースレイヤ以外のレイヤは、エンハンスメントレイヤと呼ばれる。図２６の例では、レイヤＩＤが“０”であるレイヤがベースレイヤであり、レイヤＩＤが“１”又は“２”である２つのレイヤがエンハンスメントレイヤである。これらマルチレイヤの画像データを符号化する際、ベースレイヤのフレームについての符号化情報に基づいてエンハンスメントレイヤのフレームを符号化することにより、全体としての符号化ストリームのデータサイズが圧縮され得る。

上述したスケーラブルコーデックに従った符号化処理において、符号化ストリームのＡＰＳ内に、ＡＰＳ ＩＤとは異なる補助識別子と、当該補助識別子により識別されるパラメータグループとが挿入される。スケーラブルコーデックに従った復号処理において、当該補助識別子が符号化ストリームのＡＰＳから取得され、上記パラメータグループ内のパラメータへの参照が、取得された補助識別子を用いて行われる。各レイヤで利用される制御パラメータは、レイヤごとに設定されてもよい。また、ベースレイヤにおいて設定された制御パラメータが、エンハンスメントレイヤにおいて再利用されてもよい。また、レイヤ間で制御パラメータが再利用されるか否かを示すフラグが、追加的に指定されてもよい。

図２７は、上述した画像符号化処理のスケーラブルコーデックへの適用について説明するための説明図である。図２７を参照すると、一例としてのスケーラブル符号化装置７１０の構成が示されている。スケーラブル符号化装置７１０は、第１符号化部７２０、第２符号化部７３０及び多重化部７４０を備える。

第１符号化部７２０は、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。第２符号化部７３０は、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。多重化部７４０は、第１符号化部７２０により生成されるベースレイヤの符号化ストリームと、第２符号化部７３０により生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。

図２７に例示した第１符号化部７２０及び第２符号化部７３０は、上述した実施形態に係る画像符号化装置１０と同等の構成を有する。それにより、各レイヤの符号化ストリームのＡＰＳ内で、パラメータをパラメータグループにグループ化することができる。

図２８は、上述した画像復号処理のスケーラブルコーデックへの適用について説明するための説明図である。図２８を参照すると、一例としてのスケーラブル復号装置７６０の構成が示されている。スケーラブル復号装置７６０は、逆多重化部７７０、第１復号部７８０及び第２復号部７９０を備える。

逆多重化部７７０は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。第１復号部７８０は、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。第２復号部７９０は、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。

図２８に例示した第１復号部７８０及び第２復号部７９０は、上述した実施形態に係る画像復号装置６０と同等の構成を有する。それにより、各レイヤの符号化ストリームのＡＰＳ内のパラメータにパラメータグループ単位でアクセスして、各ビューの画像を復号することができる。

＜６．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

［６−１．第１の応用例］
図２９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。従って、テレビジョン装置９００での画像の復号に際して、パラメータの冗長な伝送を回避して符号化効率を向上することができる。

［６−２．第２の応用例］
図３０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。従って、携帯電話機９２０での画像の符号化及び復号に際して、パラメータの冗長な伝送を回避して符号化効率を向上することができる。

［６−３．第３の応用例］
図３１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。従って、記録再生装置９４０での画像の符号化及び復号に際して、パラメータの冗長な伝送を回避して符号化効率を向上することができる。

［６−４．第４の応用例］
図３２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。従って、撮像装置９６０での画像の符号化及び復号に際して、パラメータの冗長な伝送を回避して符号化効率を向上することができる。

＜７．まとめ＞
ここまで、図１〜図３２を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について詳細に説明した。上述した実施形態によれば、互いに性質の異なるパラメータを共通的なパラメータセットに含める場合に、パラメータの冗長な伝送が回避される。例えば、あるパラメータセットに含められ得るパラメータが、何らかの基準でグループ化される。各パラメータグループに属するパラメータは、更新の必要性のあるタイミングでのみ、パラメータセット内でパラメータグループ単位で符号化される。各パラメータグループには、パラメータセット識別子とは別に設定される補助識別子が付与される。画像内の各スライスの復号の際には、補助識別子を用いてこれらパラメータが参照される。従って、パラメータセットの種類を増やすことなく、例えば仕様上でその数に制限のあるＮＡＬユニットタイプを増やすことなく、互いに性質の異なるパラメータを更新の必要性に応じて柔軟に１つのパラメータセット内で符号化し又は符号化しないことが可能となる。それにより、パラメータの冗長な伝送を回避し、符号化効率を向上することができる。

また、本実施形態では、パラメータをグループ化する基準として、パラメータの更新頻度と関係する基準が用いられ得る。パラメータの更新頻度と関係する基準とは、例えば、パラメータの更新頻度そのもの、関連する符号化ツールの種類又はパラメータの再利用の可能性に応じた基準であってよい。このように、パラメータの更新頻度と関係する基準を用いてパラメータをグループ化することにより、グループを過剰に細分化せずとも、パラメータの更新の必要性に応じた適時かつ効率的なグループ単位でのパラメータの符号化が可能となる。従って、各グループのパラメータを参照するための補助識別子の増加が符号化効率に悪影響を及ぼすことも防止される。

また、各グループのパラメータを参照するために、補助識別子の組合せに関連付けられる組合せＩＤが用いられる場合には、スライスヘッダの符号量を一層削減することができる。

なお、本明細書では、様々なパラメータが、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これらパラメータを伝送する手法はかかる例に限定されない。例えば、各パラメータは、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを、符号化ストリームのパラメータセットから取得する取得部と、
前記取得部により取得される前記補助識別子を用いて参照される前記パラメータグループ内のパラメータを用いて、前記画像を復号する復号部と、
を備える画像処理装置。
（２）
前記パラメータグループは、前記画像を復号する際の更新頻度に応じてパラメータをグループ化する、前記（１）に記載の画像処理装置。
（３）
前記パラメータグループは、前記画像を復号する際に使用される符号化ツールに応じてパラメータをグループ化する、前記（１）に記載の画像処理装置。
（４）
前記符号化ツールは、量子化行列、適応ループフィルタ、サンプル適応オフセット及び適応補間フィルタのうちの少なくとも２つを含む、前記（３）に記載の画像処理装置。
（５）
前記パラメータグループは、各パラメータの再利用の可能性に応じてパラメータをグループ化する、前記（１）に記載の画像処理装置。
（６）
前記復号部は、前記符号化ストリームのスライスヘッダ内で指定される前記補助識別子を用いて、当該スライスに設定されるパラメータを参照する、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記取得部は、前記符号化ストリームから、複数の前記補助識別子の組合せに関連付けられる組合せ識別子を取得し、
前記復号部は、前記符号化ストリームのスライスヘッダ内で指定される前記組合せ識別子に関連付けられる前記補助識別子を用いて、当該スライスに設定されるパラメータを参照する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（８）
前記パラメータセットは、シーケンスパラメータセット及びピクチャパラメータセットとは異なるＮＡＬ（Network Abstraction Layer）ユニットであり、
前記補助識別子は、前記ＮＡＬユニットを識別するパラメータセット識別子とは異なる識別子である、
前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記パラメータセットは、ＡＰＳ（Adaptation Parameter Set）であり、
前記パラメータセット識別子は、ＡＰＳ＿ＩＤである、
前記（８）に記載の画像処理装置。
（１０）
画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを、符号化ストリームのパラメータセットから取得することと、
取得された前記補助識別子を用いて参照される前記パラメータグループ内のパラメータを用いて、前記画像を復号することと、
を含む画像処理方法。
（１１）
画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを設定する設定部と、
前記画像を符号化することにより生成される符号化ストリームのパラメータセット内に、前記設定部により設定される前記パラメータグループ及び前記補助識別子を挿入する符号化部と、
を備える画像処理装置。
（１２）
前記パラメータグループは、前記画像を復号する際の更新頻度に応じてパラメータをグループ化する、前記（１１）に記載の画像処理装置。
（１３）
前記パラメータグループは、前記画像を復号する際に使用される符号化ツールに応じてパラメータをグループ化する、前記（１１）に記載の画像処理装置。
（１４）
前記符号化ツールは、量子化行列、適応ループフィルタ、サンプル適応オフセット及び適応補間フィルタのうちの少なくとも２つを含む、前記（１３）に記載の画像処理装置。
（１５）
前記パラメータグループは、各パラメータの再利用の可能性に応じてパラメータをグループ化する、前記（１１）に記載の画像処理装置。
（１６）
前記符号化部は、前記符号化ストリームのスライスヘッダ内に、当該スライスに設定されるパラメータを参照するために使用される前記補助識別子を挿入する、前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）
前記設定部は、複数の前記補助識別子の組合せに関連付けられる組合せ識別子を設定し、
前記符号化部は、前記符号化ストリームのスライスヘッダ内に、当該スライスに設定されるパラメータを参照するために使用される前記補助識別子に関連付けられる前記組合せ識別子を挿入する、
前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（１８）
前記パラメータセットは、シーケンスパラメータセット及びピクチャパラメータセットとは異なるＮＡＬ（Network Abstraction Layer）ユニットであり、
前記補助識別子は、前記ＮＡＬユニットを識別するパラメータセット識別子とは異なる識別子である、
前記（１１）〜（１７）のいずれか１項に記載の画像処理装置。
（１９）
前記パラメータセットは、ＡＰＳ（Adaptation Parameter Set）であり、
前記パラメータセット識別子は、ＡＰＳ＿ＩＤである、
前記（１８）に記載の画像処理装置。
（２０）
画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを設定することと、
設定された前記パラメータグループ及び前記補助識別子を、前記画像を符号化することにより生成される符号化ストリームのパラメータセット内に挿入することと、
を含む画像処理方法。

１０ 画像処理装置（画像符号化装置）
６０ 画像処理装置（画像復号装置）

図１０は、第３の手法に従って定義されるＡＰＳのシンタックスの一例を示している。図１０の第２行〜第４行において、３つのグループ存在フラグ“aps_adaptive_loop_filter_flag”、“aps_sample_adaptive_offset_flag”及び“aps_qmatrix_flag”が特定される。グループ存在フラグは、各グループに属するパラメータが当該ＡＰＳ内に含まれるか否かを示す。図１０の例ではＡＰＳ ＩＤはシンタックスから省略されているが、当該ＡＰＳを識別するためのＡＰＳ ＩＤがシンタックス内に追加されてもよい。第１２行〜第１７行では、ＡＬＦ関連パラメータが特定される。第１３行の“sub_alf_id”は、ＡＬＦ用の補助識別子である。第１８行〜第２４行では、ＳＡＯ関連パラメータが特定される。第１９行の“sub_sao_id”は、ＳＡＯ用の補助識別子である。第２５行〜第３０行では、ＱＭ関連パラメータが特定される。第２６行の“sub_qmatrix_id”は、ＱＭ用の補助識別子である。

図２８に例示した第１復号部７８０及び第２復号部７９０は、上述した実施形態に係る画像復号装置６０と同等の構成を有する。それにより、各レイヤの符号化ストリームのＡＰＳ内のパラメータにパラメータグループ単位でアクセスして、各レイヤの画像を復号することができる。

Claims (20)

1. 画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを、符号化ストリームのパラメータセットから取得する取得部と、
   前記取得部により取得される前記補助識別子を用いて参照される前記パラメータグループ内のパラメータを用いて、前記画像を復号する復号部と、
   を備える画像処理装置。
2. 前記パラメータグループは、前記画像を復号する際の更新頻度に応じてパラメータをグループ化する、請求項１に記載の画像処理装置。
3. 前記パラメータグループは、前記画像を復号する際に使用される符号化ツールに応じてパラメータをグループ化する、請求項１に記載の画像処理装置。
4. 前記符号化ツールは、量子化行列、適応ループフィルタ、サンプル適応オフセット及び適応補間フィルタのうちの少なくとも２つを含む、請求項３に記載の画像処理装置。
5. 前記パラメータグループは、各パラメータの再利用の可能性に応じてパラメータをグループ化する、請求項１に記載の画像処理装置。
6. 前記復号部は、前記符号化ストリームのスライスヘッダ内で指定される前記補助識別子を用いて、当該スライスに設定されるパラメータを参照する、請求項１に記載の画像処理装置。
7. 前記取得部は、前記符号化ストリームから、複数の前記補助識別子の組合せに関連付けられる組合せ識別子を取得し、
   前記復号部は、前記符号化ストリームのスライスヘッダ内で指定される前記組合せ識別子に関連付けられる前記補助識別子を用いて、当該スライスに設定されるパラメータを参照する、
   請求項１に記載の画像処理装置。
8. 前記パラメータセットは、シーケンスパラメータセット及びピクチャパラメータセットとは異なるＮＡＬ（Network Abstraction Layer）ユニットであり、
   前記補助識別子は、前記ＮＡＬユニットを識別するパラメータセット識別子とは異なる識別子である、
   請求項１に記載の画像処理装置。
9. 前記パラメータセットは、ＡＰＳ（Adaptation Parameter Set）であり、
   前記パラメータセット識別子は、ＡＰＳ＿ＩＤである、
   請求項８に記載の画像処理装置。
10. 画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを、符号化ストリームのパラメータセットから取得することと、
    取得された前記補助識別子を用いて参照される前記パラメータグループ内のパラメータを用いて、前記画像を復号することと、
    を含む画像処理方法。
11. 画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを設定する設定部と、
    前記画像を符号化することにより生成される符号化ストリームのパラメータセット内に、前記設定部により設定される前記パラメータグループ及び前記補助識別子を挿入する符号化部と、
    を備える画像処理装置。
12. 前記パラメータグループは、前記画像を復号する際の更新頻度に応じてパラメータをグループ化する、請求項１１に記載の画像処理装置。
13. 前記パラメータグループは、前記画像を復号する際に使用される符号化ツールに応じてパラメータをグループ化する、請求項１１に記載の画像処理装置。
14. 前記符号化ツールは、量子化行列、適応ループフィルタ、サンプル適応オフセット及び適応補間フィルタのうちの少なくとも２つを含む、請求項１３に記載の画像処理装置。
15. 前記パラメータグループは、各パラメータの再利用の可能性に応じてパラメータをグループ化する、請求項１１に記載の画像処理装置。
16. 前記符号化部は、前記符号化ストリームのスライスヘッダ内に、当該スライスに設定されるパラメータを参照するために使用される前記補助識別子を挿入する、請求項１１に記載の画像処理装置。
17. 前記設定部は、複数の前記補助識別子の組合せに関連付けられる組合せ識別子を設定し、
    前記符号化部は、前記符号化ストリームのスライスヘッダ内に、当該スライスに設定されるパラメータを参照するために使用される前記補助識別子に関連付けられる前記組合せ識別子を挿入する、
    請求項１１に記載の画像処理装置。
18. 前記パラメータセットは、シーケンスパラメータセット及びピクチャパラメータセットとは異なるＮＡＬ（Network Abstraction Layer）ユニットであり、
    前記補助識別子は、前記ＮＡＬユニットを識別するパラメータセット識別子とは異なる識別子である、
    請求項１１に記載の画像処理装置。
19. 前記パラメータセットは、ＡＰＳ（Adaptation Parameter Set）であり、
    前記パラメータセット識別子は、ＡＰＳ＿ＩＤである、
    請求項１８に記載の画像処理装置。
20. 画像を符号化し又は復号する際に用いられる１つ以上のパラメータを含むパラメータグループと当該パラメータグループを識別する補助識別子とを設定することと、
    設定された前記パラメータグループ及び前記補助識別子を、前記画像を符号化することにより生成される符号化ストリームのパラメータセット内に挿入することと、
    を含む画像処理方法。
    

Images