以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
1.概要
1−1.スケーラブル符号化
1−2.色域スケーラビリティ
1−3.エンコーダの基本的な構成例
1−4.デコーダの基本的な構成例
2.一実施形態に係るEL符号化部の構成例
2−1.全体的な構成
2−2.色域予測部の詳細な構成
2−3.シンタックスの例
3.一実施形態に係る符号化時の処理の流れ
3−1.概略的な流れ
3−2.色域予測処理
4.一実施形態に係るEL復号部の構成例
4−1.全体的な構成
4−2.色域予測部の詳細な構成
5.一実施形態に係る復号時の処理の流れ
5−1.概略的な流れ
5−2.色域予測処理
6.応用例
6−1.様々な製品への応用
6−2.スケーラブル符号化の様々な用途
6−3.その他
7.まとめ
<1.概要>
[1−1.スケーラブル符号化]
スケーラブル符号化においては、一連の画像をそれぞれ含む複数のレイヤが符号化される。ベースレイヤ(base layer)は、最初に符号化される、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ(enhancement layer)と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、ベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤの数は、2つ以上のいかなる数であってもよい。3つ以上のレイヤが符号化される場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。
図1は、スケーラブル符号化される3つのレイヤL1、L2及びL3を示している。レイヤL1はベースレイヤであり、レイヤL2及びL3はエンハンスメントレイヤである。レイヤL2のレイヤL1に対する空間解像度の比は、2:1である。レイヤL3のレイヤL1に対する空間解像度の比は、4:1である。なお、ここでの解像度比は一例に過ぎず、例えば1.5:1などの非整数の解像度比が使用されてもよい。レイヤL1のブロックB1は、ベースレイヤのピクチャ内の符号化処理の処理単位である。レイヤL2のブロックB2は、ブロックB1と共通するシーンを映したエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックB2は、レイヤL1のブロックB1に対応する。レイヤL3のブロックB3は、ブロックB1及びB2と共通するシーンを映したより上位のエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックB3は、レイヤL1のブロックB1及びレイヤL2のブロックB2に対応する。
[1−2.色域スケーラビリティ]
図1に例示したレイヤ構造において、画像のテクスチャは、共通するシーンを映したレイヤ間で類似する。即ち、レイヤL1内のブロックB1、レイヤL2内のブロックB2、及びレイヤL3内のブロックB3のテクスチャは類似する。従って、例えばブロックB1を参照ブロックとして用いてブロックB2又はブロックB3の画素を予測し、又はブロックB2を参照ブロックとして用いてブロックB3の画素を予測すれば、高い予測精度が得られる可能性がある。このようなレイヤ間の予測を、インターレイヤ予測という。非特許文献2では、インターレイヤ予測のためのいくつかの手法が提案されている。それら手法のうち、イントラBL予測では、ベースレイヤの復号画像(リコンストラクト画像)が、エンハンスメントレイヤの復号画像を予測するための参照画像として使用される。イントラ残差予測及びインター残差予測では、ベースレイヤの予測誤差(残差)画像が、エンハンスメントレイヤの予測誤差画像を予測するための参照画像として使用される。
ここで、例えばレイヤL1の画像がHDテレビジョン画像であり、レイヤL2の画像がUHDテレビジョン画像であるものとする。図2は、BT.709及びBT.2020により表現される色域について説明するための説明図である。図2を参照すると、所定の拘束条件を用いて3次元の色空間を2次元平面へマッピングした色域グラフが示されている。グラフ中の十字マークは、白色がマッピングされる位置を示す。グラフ中の破線は、BT.709が表現することのできる色の範囲を示す。グラフ中の実線は、BT.2020が表現することのできる色の範囲を示す。グラフ中の点線は、人間の視覚が識別することのできる色の範囲を示す。図2から理解されるように、BT.2020は、BT.709よりも多彩な色を表現することができる。レイヤL1の各画素がBT.709で表現され、レイヤL2の各画素がBT.2020で表現される場合、インターレイヤ予測に際して、参照画像(レイヤL1の画像)についての解像度の変換(即ち、アップサンプリング)及び色域の変換が行われる。通常は、色域の変換は、3次元の画素ベクトルに3行3列の変換行列を乗算することにより行われる。しかし、非特許文献3において説明されているように、BT.709とBT.2020との間の関係を、色成分ごとに独立した線型的な関係に近似することができる。そこで、非特許文献3は、色域の変換に要する計算の複雑性及び時間を低減するための簡略化された手法を提案している。
図3Aは、非特許文献3により提案されている色域予測のための予測モードを示す表である。図3Aを参照すると、予測モードの番号は「0」、「1」及び「2」のいずれかであり、即ち3種類の予測モードの候補が存在する。予測モード番号=「0」の場合、次の式(1)〜式(3)ように、ビットシフト(ビットインクリメント)によって各色成分のBT.709の画素値(Y709,U709,V709)からBT.2020の画素値(Y2020,U2020,V2020)が予測される。このような予測モードを、本明細書ではビットシフトモードという。
予測モード番号=「1」or「2」の場合、次の式(4)〜式(6)のように、ゲインgi及びオフセットoi(i=1,2,3)を用いた線形的な変換によって、各色成分について、BT.709の画素値からBT.2020の画素値が予測される。
予測モード番号=「1」の場合、ゲイン及びオフセットの値として予め仕様化される固定値が使用される。予測モード番号=「1」の予測モードを、本明細書では固定パラメータモードという。予測モード番号=「2」の場合、ゲイン及びオフセットの値として適応的に指定される可変値が使用される。予測モード番号=「2」の予測モードを、本明細書では適応パラメータモードという。適応パラメータモードが選択される場合、6種類の予測パラメータ(3つのゲイン及び3つのオフセット)が予測パラメータとして追加的に符号化される。
図3B及び図3Cは、非特許文献3より提案されている予測パラメータのシンタックスについて説明するための説明図である。図3Bの第1行の“pps_extension_flag”は、PPS(Picture Parameter Set)が色域予測のための拡張されたシンタックスを含むか否かを示すフラグである。図3Bの第5行の“color_pred_data()”は、色域スケーラビリティ用のシンタックスの関数であり、その内容は図3Cに示されている。図3Cの第1行の“color_prediction_model”は選択される予測モードを示すパラメータであり、図3Aに例示した「0」、「1」及び「2」のいずれかの値をとる。適応パラメータモード(“color_prediction_model=2”)の場合、第3行においてゲインの分母に対応するビット数(“numFractionBits”)が、第5行においてI番目の色成分についてのゲインの分子(“color_prediction_gain[I]”)が、第6行においてI番目の色成分についてのオフセット(“color_prediction_offset[I]”)がそれぞれ指定される。
適応パラメータモードは、3通りの予測モードの中で、最も高い予測精度を期待することのできるモードである。しかしながら、適応パラメータモードにおいてピクチャごとに上述した予測パラメータが符号化されるとすれば、符号量が増加する。そこで、以下に説明する実施形態において、符号量の増加を抑制するために、色域スケーラビリティにおけるこれら予測パラメータをより効率的に符号化するための仕組みを説明する。
[1−3.エンコーダの基本的な構成例]
図4は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置10の概略的な構成を示すブロック図である。図4を参照すると、画像符号化装置10は、ベースレイヤ(BL)符号化部1a、エンハンスメントレイヤ(EL)符号化部1b、共通メモリ2及び多重化部3を備える。
BL符号化部1aは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。EL符号化部1bは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ2は、レイヤ間で共通的に利用される情報を記憶する。多重化部3は、BL符号化部1aにより生成されるベースレイヤの符号化ストリームと、EL符号化部1bにより生成される1つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
[1−4.デコーダの基本的な構成例]
図5は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置60の概略的な構成を示すブロック図である。図5を参照すると、画像復号装置60は、逆多重化部5、ベースレイヤ(BL)復号部6a、エンハンスメントレイヤ(EL)復号部6b及び共通メモリ7を備える。
逆多重化部5は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び1つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。BL復号部6aは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。EL復号部6bは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ7は、レイヤ間で共通的に利用される情報を記憶する。
図4に例示した画像符号化装置10において、ベースレイヤの符号化のためのBL符号化部1aの構成と、エンハンスメントレイヤの符号化のためのEL符号化部1bの構成とは、互いに類似する。BL符号化部1aにより生成され又は取得されるいくつかのパラメータ及び画像は、共通メモリ2を用いてバッファリングされ、EL符号化部1bにより再利用され得る。次節では、そのようなEL符号化部1bの構成について詳細に説明する。
同様に、図5に例示した画像復号装置60において、ベースレイヤの復号のためのBL復号部6aの構成と、エンハンスメントレイヤの復号のためのEL復号部6bの構成とは、互いに類似する。BL復号部6aにより生成され又は取得されるいくつかのパラメータ及び画像は、共通メモリ7を用いてバッファリングされ、EL復号部6bにより再利用され得る。さらに次の節では、そのようなEL復号部6bの構成について詳細に説明する。
<2.一実施形態に係るEL符号化部の構成例>
[2−1.全体的な構成]
図6は、図4に示したEL符号化部1bの構成の一例を示すブロック図である。図6を参照すると、EL符号化部1bは、並び替えバッファ11、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、ループフィルタ24、フレームメモリ25、セレクタ26及び27、イントラ予測部30、インター予測部35並びに色域予測部40を備える。
並び替えバッファ11は、一連の画像データに含まれる画像を並び替える。並び替えバッファ11は、符号化処理に係るGOP(Group of Pictures)構造に応じて画像を並び替えた後、並び替え後の画像データを減算部13、イントラ予測部30、インター予測部35及び色域予測部40へ出力する。
減算部13には、並び替えバッファ11から入力される画像データ、及び後に説明するイントラ予測部30又はインター予測部35から入力される予測画像データが供給される。減算部13は、並び替えバッファ11から入力される画像データと予測画像データとの差分である予測誤差データを計算し、計算した予測誤差データを直交変換部14へ出力する。
直交変換部14は、減算部13から入力される予測誤差データについて直交変換を行う。直交変換部14により実行される直交変換は、例えば、離散コサイン変換(Discrete Cosine Transform:DCT)又はカルーネン・レーベ変換などであってよい。HEVCにおいて、直交変換は、TU(変換単位:Transform Unit)と呼ばれるブロックごとに実行される。TUは、CU(符号化単位:Coding Unit)を分割することにより形成されるブロックである。直交変換部14は、直交変換処理により取得される変換係数データを量子化部15へ出力する。
量子化部15には、直交変換部14から入力される変換係数データ、及び後に説明するレート制御部18からのレート制御信号が供給される。量子化部15は、レート制御信号に従って決定される量子化ステップで変換係数データを量子化する。量子化部15は、量子化後の変換係数データ(以下、量子化データという)を可逆符号化部16及び逆量子化部21へ出力する。
可逆符号化部16は、量子化部15から入力される量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。また、可逆符号化部16は、符号化ストリームを復号する際に参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。可逆符号化部16により符号化されるパラメータは、後に説明するイントラ予測に関する情報及びインター予測に関する情報を含み得る。色域の予測に関連する予測パラメータもまた符号化され得る。そして、可逆符号化部16は、生成した符号化ストリームを蓄積バッファ17へ出力する。
蓄積バッファ17は、可逆符号化部16から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ17は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部(例えば、通信インタフェース又は周辺機器との接続インタフェースなど)へ出力する。
レート制御部18は、蓄積バッファ17の空き容量を監視する。そして、レート制御部18は、蓄積バッファ17の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部15へ出力する。例えば、レート制御部18は、蓄積バッファ17の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部18は、蓄積バッファ17の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
逆量子化部21、逆直交変換部22及び加算部23は、ローカルデコーダを構成する。逆量子化部21は、量子化部15により使用されたものと同じ量子化ステップで、エンハンスメントレイヤの量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部21は、復元した変換係数データを逆直交変換部22へ出力する。
逆直交変換部22は、逆量子化部21から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。直交変換と同様、逆直交変換は、TUごとに実行される。そして、逆直交変換部22は、復元した予測誤差データを加算部23へ出力する。
加算部23は、逆直交変換部22から入力される復元された予測誤差データとイントラ予測部30又はインター予測部35から入力される予測画像データとを加算することにより、復号画像データ(エンハンスメントレイヤのリコンストラクト画像)を生成する。そして、加算部23は、生成した復号画像データをループフィルタ24及びフレームメモリ25へ出力する。
ループフィルタ24は、画質の向上を目的とするフィルタ群を含む。デブロックフィルタ(DF)は、画像の符号化時に生じるブロック歪みを軽減するフィルタである。サンプル適応オフセット(SAO)フィルタは、各画素値に適応的に決定されるオフセット値を加えるフィルタである。適応ループフィルタ(ALF)は、SAO後の画像と原画像との誤差を最小化するフィルタである。ループフィルタ24は、加算部23から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データをフレームメモリ25へ出力する。
フレームメモリ25は、加算部23から入力されるエンハンスメントレイヤの復号画像データ、ループフィルタ24から入力されるエンハンスメントレイヤのフィルタリング後の復号画像データ、及び色域予測部40から入力されるベースレイヤの参照画像データを記憶媒体を用いて記憶する。
セレクタ26は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部30に供給する。また、セレクタ26は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとしてインター予測部35に供給する。さらに、イントラ予測部30又はインター予測部35においてインターレイヤ予測が実行される場合、セレクタ26は、ベースレイヤの参照画像データをイントラ予測部30又はインター予測部35へ供給する。
セレクタ27は、イントラ予測モードにおいて、イントラ予測部30から出力されるイントラ予測の結果としての予測画像データを減算部13へ出力すると共に、イントラ予測に関する情報を可逆符号化部16へ出力する。また、セレクタ27は、インター予測モードにおいて、インター予測部35から出力されるインター予測の結果としての予測画像データを減算部13へ出力すると共に、インター予測に関する情報を可逆符号化部16へ出力する。セレクタ27は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。
イントラ予測部30は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、HEVCのPU(予測単位:Prediction Unit)ごとにイントラ予測処理を行う。例えば、イントラ予測部30は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部30は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部30は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。イントラ予測部30は、エンハンスメントレイヤにおける予測モードセットに、インターレイヤ予測の一種であるイントラBL予測を含めてもよい。イントラBL予測では、エンハンスメントレイヤ内の予測対象ブロックに対応するベースレイヤ内のコロケーテッドブロックが参照ブロックとして使用され、当該参照ブロックの復号画像に基づいて予測画像が生成される。また、イントラ予測部30は、インターレイヤ予測の一種であるイントラ残差予測を含めてもよい。イントラ残差予測では、ベースレイヤ内のコロケーテッドブロックである参照ブロックの予測誤差画像に基づいてイントラ予測の予測誤差が予測され、予測された予測誤差の加算された予測画像が生成される。イントラ予測部30は、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ27へ出力する。
インター予測部35は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、HEVCのPUごとにインター予測処理を行う。例えば、インター予測部35は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部35は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部35は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。インター予測部35は、エンハンスメントレイヤにおける予測モードセットに、インターレイヤ予測の一種であるインター残差予測を含めてもよい。インター残差予測では、ベースレイヤ内のコロケーテッドブロックである参照ブロックの予測誤差画像に基づいてインター予測の予測誤差が予測され、予測された予測誤差の加算された予測画像が生成される。インター予測部35は、選択した最適な予測モードを表す予測モード情報と動き情報とを含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ27へ出力する。
色域予測部40は、共通メモリ2によりバッファリングされるベースレイヤの画像(復号画像又は予測誤差画像)を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。また、色域予測部40は、ベースレイヤの画像とは異なる色域をエンハンスメントレイヤの画像が有する場合に、アップサンプリングしたベースレイヤの画像の色域を、エンハンスメントレイヤの画像と同等の色域に変換する。本実施形態において、色域予測部40は、ベースレイヤ及びエンハンスメントレイヤの色域の間の色成分ごとに独立した線型的な関係を前提とし、ベースレイヤの画像からエンハンスメントレイヤの画像を近似的に予測することにより、色域を変換する。色域予測部40により色域の変換されたベースレイヤの画像は、フレームメモリ25に格納され、イントラ予測部30又はインター予測部35により、インターレイヤ予測において参照画像として使用され得る。また、色域予測部40は、色域の予測のために使用されるいくつかのパラメータを生成する。色域予測部40により生成されるパラメータは、例えば、予測モードを示す予測モードパラメータを含む。また、予測モードとして適応パラメータモードが選択される場合には、色域予測部40により生成されるパラメータは、色成分ごとの予測パラメータ、即ちゲイン及びオフセットを含む。色域予測部40は、さらに予測パラメータの過去の値からの差分を計算し、計算した差分を可逆符号化部16へ出力する。予測モードパラメータ及び予測パラメータの差分は、可逆符号化部16により符号化され得る。
[2−2.色域予測部の詳細な構成]
図7は、図6に示した色域予測部40の構成の一例を示すブロック図である。図7を参照すると、色域予測部40は、アップサンプリング部41、予測モード設定部42、パラメータ計算部43及び色域変換部44を有する。
(1)アップサンプリング部
アップサンプリング部41は、共通メモリ2から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。より具体的には、アップサンプリング部41は、解像度比に応じて順に走査される補間画素の各々について、予め定義されるフィルタ係数でベースレイヤの画像をフィルタリングすることにより補間画素値を計算する。それにより、参照ブロックとして使用されるベースレイヤの画像の空間解像度が、エンハンスメントレイヤと同等の解像度まで高められる。アップサンプリング部41は、アップサンプリング後の画像をパラメータ計算部43及び色域変換部44へ出力する。
(2)予測モード設定部
予測モード設定部42は、色域予測のための予測モードの候補のうち、予め定義され又は動的に選択される予測モードを、色域予測部40に設定する。予測モードの候補は、上述したビットシフトモード、固定パラメータモード及び適応パラメータモードを含み得る。ある実施例において、予測モード設定部42は、ピクチャごとに最適な予測モードを設定し得る。他の実施例において、予測モード設定部42は、スライスごとに最適な予測モードを設定し得る。1つのピクチャは、1つ以上のスライスを有し得る。また別の実施例において、予測モード設定部42は、シーケンスごとに予測モードを設定し、1つのシーケンス内の複数のピクチャ及び複数のスライスにわたって同じ予測モードを維持し得る。予測モード設定部42は、予測モードの各候補について符号化効率又は予測精度を評価し、最適な予測モードを選択してもよい。予測モード設定部42は、設定した予測モードを示す予測モードパラメータを、可逆符号化部16へ出力する。
(3)パラメータ計算部
パラメータ計算部43は、予測モード設定部42により適応パラメータモードが設定された場合に、又は予測モード設定部42により適応パラメータモードの符号化効率若しくは予測精度が評価される場合に、適応パラメータモードにおいて使用されるべき予測パラメータを計算する。当該予測パラメータは、式(4)〜式(6)に示したゲインgi及びオフセットoi(i=1,2,3)を含む。ここで、下付き文字のiは、3種類の色成分の各々を意味する。ゲインgiは、ベースレイヤの画素値に乗算される係数である。オフセットoiは、ベースレイヤの画素値とゲインgiとの積に加算される数値である。パラメータ計算部43は、例えば、アップサンプリング部41から入力されるアップサンプリング後のベースレイヤの画像を並び替えバッファ11から入力される原画像に最も近付けることのできるようなゲイン及びオフセットを、色成分ごとに計算し得る。
さらに、パラメータ計算部43は、予測モード設定部42により予測モードとして適応パラメータモードが設定された場合に、ゲイン及びオフセットの過去の値からの差分を計算する。ここでの過去の値とは、例えば、ピクチャごとにゲイン及びオフセットが計算される場合には、前回のピクチャについて計算された値であってよい。スライスごとにゲイン及びオフセットが計算される場合には、前回のピクチャの同じ位置のスライス(co-located slice)について計算された値であってよい。パラメータ計算部43は、前回のピクチャ又は前回のピクチャの同じ位置のスライスにビットシフトモードが設定された場合には、ビットシフト量に対応するゲイン及びオフセットの値を差分の基礎として使用し得る。また、パラメータ計算部43は、前回のピクチャ又は前回のピクチャの同じ位置のスライスに固定パラメータモードが設定された場合には、予め定義される固定的なゲイン及びオフセットの値を差分の基礎として使用し得る。パラメータ計算部43は、計算したゲイン及びオフセットの差分を、可逆符号化部16へ出力する。なお、ゲインの値は、小数値を含み得る。そこで、予測モード設定部42は、ゲインの値を分母及び分子に分解し、分母及び分子の差分をそれぞれ計算して可逆符号化部16へ出力してよい。また、予測モード設定部42は、符号化効率を高め及び計算コストを低減するために、ゲインの分母の値を2の整数乗のみに制限してもよい。この場合、分母の値の2を底とする対数が、予測パラメータとして使用されてもよい。
(4)色域変換部
色域変換部44は、予測モード設定部42により設定される予測モードに従って、アップサンプリング部41から入力されるアップサンプリング後のベースレイヤの画像の色域を、エンハンスメントレイヤの画像と同等の色域に変換する。例えば、色域変換部44は、ビットシフトモードが設定された場合には、式(1)〜式(3)に従って、アップサンプリング後のベースレイヤの画素値を所定のビットシフト量nshiftだけ左方へシフトさせることにより、予測画素値を計算する。ビットシフト量nshiftは、例えばHDテレビジョン画像からUHDテレビジョン画像への変換の場合には、2又は4であってよい。また、色域変換部44は、固定パラメータモードが設定された場合には、式(4)〜式(6)に従って、アップサンプリング後のベースレイヤの画素値に固定的なゲインを乗算し、さらに固定的なオフセットを加算することにより、予測画素値を計算する。また、色域変換部44は、適応パラメータモードが設定された場合には、固定的なゲイン及びオフセットの代わりに、パラメータ計算部43により適応的に計算されるゲイン及びオフセットを用いて、予測画素値を計算する。それにより、インターレイヤ予測のための参照画像が生成される。色域変換部44は、このように生成されるインターレイヤ予測のための参照画像(色域の変換されたベースレイヤの画像)を、フレームメモリ25に格納する。
[2−3.シンタックスの例]
(1)基本的な例
予測モード設定部42から出力される予測モードパラメータ及びパラメータ計算部43から出力される予測パラメータ(色成分ごとのゲイン及びオフセット)の差分は、図6に示した可逆符号化部16により符号化され、エンハンスメントレイヤの符号化ストリームに挿入され得る。図8は、色域予測のためのこれら符号化パラメータのシンタックスの一例について説明するための説明図である。
図8に示したシンタックスは、例えばPPSに含まれてもよく、又はスライスヘッダに含まれてもよい。シンタックスの第1行の“color_gamut_prediction_flag”は、当該PPS又は当該スライスヘッダが色域予測のための拡張されたシンタックスを含むか否かを示すフラグである。第3行の“color_prediction_model”は、予測モード設定部42により設定された予測モードを示す予測モードパラメータである。図3Aを用いて説明したように、予測モードパラメータが「0」に等しい場合、予測モードはビットシフトモードである。予測モードパラメータが「1」に等しい場合、予測モードは固定パラメータモードである。予測モードパラメータが「2」に等しい場合、予測モードは適応パラメータモードである。なお、これら例に限定されず、他の種類の予測モードが採用されてもよい。第5行以降の予測パラメータは、予測モードパラメータが適応パラメータモードを示す場合に符号化される。第10行の“delta_luma_log2_gain_denom”は、輝度成分のゲインの分母の値の2を底とする対数の、過去の値からの差分である。第11行の“delta_luma_gain_color_gamut”は、輝度成分のゲインの分子の値の、過去の値からの差分である。第12行の“delta_luma_offset_color_gamut”は、輝度成分のオフセットの値の、過去の値からの差分である。なお、第5行の“luma_gain_color_gamut_flag”がゼロを示す場合、これら輝度成分の予測パラメータの差分の符号化は省略されてよい。この場合、予測パラメータの過去の値がそのまま最新のピクチャ又はスライスにおいても使用され得る(即ち、差分ゼロ)。第15行の“delta_chroma_log2_gain_denom”は、色差成分のゲインの分母の値の2を底とする対数の、過去の値からの差分である。なお、図8では2つの色差成分について共通の分母が使用される例を示しているが、2つの色差成分について別個の分母が使用されてもよく、又は輝度成分のゲインの分母と色差成分のゲインの分母とが共通化されてもよい。第17行の“delta_chroma_gain_color_gamut[j]”は、j番目(j=1,2)の色差成分のゲインの分子の値の、過去の値からの差分である。第18行の“delta_chroma_offset_color_gamut[j]”は、j番目の色差成分のオフセットの値の、過去の値からの差分である。なお、第7行の“chroma_gain_color_gamut_flag”がゼロを示す場合、これら色差成分の予測パラメータの差分の符号化は省略されてよい。この場合、予測パラメータの過去の値がそのまま最新のピクチャ又はスライスにおいても使用され得る(即ち、差分ゼロ)。
図8の例では、PPS又はスライスヘッダごとに予測モードパラメータ“color_prediction_model”が符号化される。この場合、最新のピクチャ又はスライスの予測モードパラメータが適応パラメータモードを示す場合であっても、差分の基礎となる前回のピクチャ又は前回のピクチャの同じ位置のスライスについて、予測モードパラメータが適応パラメータモードを示していたとは限らない。例えば、前回の予測モードパラメータがビットシフトモードを示す場合、図8のシンタックスにおいて“delta_”というプレフィックスの付された差分パラメータは、予測パラメータの最新の値(ゲイン又はオフセット)からビットシフト量に対応するパラメータ値を減算することにより計算される差分をそれぞれ表す。例えば、ビットシフト量nshiftが2に等しい場合には、対応するゲインの値は、22=4である。ビットシフト量nshiftに関わらず、対応するオフセットの値はゼロであってよい。また、前回の予測モードパラメータが固定パラメータモードを示す場合、図8のシンタックスにおける差分パラメータは、予測パラメータの最新の値(ゲイン又はオフセット)から固定的なパラメータ値(ゲインgi_fixed又はオフセットoi_fixed)を減算することにより計算される差分をそれぞれ表す。ゲインgi_fixed及びオフセットoi_fixedは、符号化されず、エンコーダ及びデコーダにおいて予め記憶される。前回の予測モードパラメータが適応パラメータモードを示す場合、図8のシンタックスにおける差分パラメータは、予測パラメータの最新の値(ゲイン又はオフセット)から前回のパラメータ値(ゲインgi_prev又はオフセットoi_prev)を減算することにより計算される差分をそれぞれ表す。図9は、ここで説明したゲイン及びオフセットの差分の基礎を、表形式で示している。なお、シーケンスの先頭などにおいて、過去の値が存在しない場合には、差分の基礎は、ゼロであってもよく又は固定的なパラメータ値(ゲインgi_fixed若しくはオフセットoi_fixed)であってもよい。
(2)シーケンスごとの予測モードパラメータの符号化
なお、図8の第1行の拡張フラグ“color_gamut_prediction_flag”及び第3行の予測モードパラメータ“color_prediction_model”は、シーケンスごとに符号化され、SPS(Sequence Parameter Set)に挿入されてもよい。この場合、1つのシーケンス内では同じ予測モードが維持される。1つのシーケンス内で予測モードが変更されなければ、図9に例示したような前回の予測モードに依存する差分の基礎の切替えが不要となるため、差分計算の複雑さが緩和され、装置の実装が容易となる。また、拡張フラグ及び予測モードパラメータのための符号量を削減することもできる。
(3)スライスごとの予測パラメータの符号化
図3B及び図3Cを用いて説明したように、既存の手法において、色域予測のための予測モードパラメータ及び予測パラメータは、ピクチャごとに符号化され、PPSへ挿入される。しかし、画像の部分領域ごとに異なる色域が使用される用途を想定すると、予測モードパラメータ及び予測パラメータの差分をスライスごとに符号化することが有益である。例えば、図10に示した例において、ベースレイヤ画像IMB1は、4つのタイルTB1、TB2、TB3及びTB4に分割される。エンハンスメントレイヤ画像IME1は、4つのタイルTE1、TE2、TE3及びTE4に分割される。4つのタイルは、それぞれ異なるカメラにより撮像される映像を映し出す。例えば、ベースレイヤ画像IMB1は4つの地点に設置されるカメラからの合成映像の低解像度バージョンであり、エンハンスメントレイヤ画像IME1は同じ合成映像の高解像度バージョンであり得る。そして、例えばタイルTE2及びタイルTE4は色域としてBT.2020を使用し、その他のベースレイヤ及びエンハンスメントレイヤのタイルは色域としてBT.709を使用するものとする。この場合、タイルTE2及びタイルTE4に相当するスライスのスライスヘッダにおいてそれぞれ予測モードパラメータ及び予測パラメータを符号化することにより、タイルごとに最適な色域予測を可能とし、符号化効率を高めることができる。
(4)重み付け予測のためのシンタックスの再利用
図8に例示した色域予測の予測パラメータのシンタックスは、HEVCにおいて導入される重み付け予測(Weighted Prediction)に関連するパラメータのシンタックスに類似する。重み付け予測は、フェードイン及びフェードアウトなどのエフェクトが適用される映像についてインター予測の予測精度を改善するために導入される技術である。図11は、重み付け予測関連パラメータについて非特許文献1により定義されているシンタックスを示している。
図11の第2行の“luma_log2_weight_denom”及び第4行の“delta_chroma_log2_weight_denom”は、それぞれ輝度成分及び色差成分の重みの分母の値を、重み付け予測において使用され得るL0参照フレーム及びL1参照フレームについて共通的に特定する。第5行から第20行は、L0参照フレームについての残りの重み付け予測関連パラメータを特定する。第21行から第38行は、双予測(bi-prediction)が可能である場合に、L1参照フレームについての残りの重み付け予測関連パラメータを特定する。なお、個々のパラメータの意味は非特許文献1に記載されている。
次の表1は、図11に示した重み付け予測関連パラメータと、図8に例示した色域予測のパラメータとの間のマッピングの一例を示している。表1から理解されるように、図8に例示した色域予測のパラメータのうち、拡張フラグ“color_gamut_prediction_flag”及び予測モードパラメータ“color_prediction_model”以外の全てのパラメータは、重み付け予測のためのいずれかのパラメータにマッピング可能である。個々のパラメータの役割は例えば重み付け予測関連パラメータの値が必ずしも過去の値からの差分を意味しない点で相違し得るものの、互いにマッピングされるパラメータの型は同等である。色域予測では参照フレームが1つのみ(ベースレイヤ画像)であるため、参照フレーム番号に相当する引数i及び変数“num_ref_idx_l0_active_minus1”は不要となる。
そこで、ある実施例において、可逆符号化部16は、例えば、重み付け予測関連パラメータと共用されるシンタックスを有するヘッダ(スライスヘッダ)内に、色域予測の予測パラメータの差分を符号化してもよい。それにより、新たなシンタックスを定義することが不要となり、シンタックスの冗長性が低減され、エンコーダ及びデコーダの実装及びバージョンアップの際の互換性の確保が容易となる。なお、拡張フラグ“color_gamut_prediction_flag”及び予測モードパラメータ“color_prediction_model”は、SPS、PPS又はスライスヘッダにおいて別途符号化され得る。また、重み付け予測関連パラメータ及び色域予測のためのパラメータのいずれが符号化されているかを示すフラグが追加的に符号化されてもよい。
なお、フェードイン及びフェードアウトなどのエフェクトは、通常、ベースレイヤ及びエンハンスメントレイヤの双方に同じように適用される。従って、符号化効率を高めるために、レイヤ間で重み付け予測関連パラメータを再利用することが有益である。エンハンスメントレイヤにおいてベースレイヤの重み付け予測関連パラメータが再利用される場合、可逆符号化部16は、エンハンスメントレイヤ固有の重み付け予測関連パラメータを符号化しない。この場合、非特許文献1により定義されている図11のシンタックスは、エンハンスメントレイヤにおいて重み付け予測のために使用されない。そこで、重み付け予測関連パラメータの代わりに、同じシンタックスで色域予測の予測パラメータの差分を符号化することにより、シンタックスの定義を効率的に活用することができる。この場合、L1参照フレームのパラメータのためのシンタックス(図11の第21行から第38行)は使用されなくてよい。また、参照フレーム数(マイナス1)に対応する変数“num_ref_idx_l0_active_minus1”の値は、ゼロである(即ち、色域を変換すべきベースレイヤ画像の数が1である)と見なされてよい。
また、別の実施例において、エンハンスメントレイヤでも重み付け予測関連パラメータが符号化され、その一部が色域予測のために再利用されてもよい。例えば、輝度成分及び色差成分のゲインの分母として、図11に示した“luma_log2_weight_denom”及び“delta_chroma_log2_weight_denom”により特定される分母が再利用され得る。この場合、可逆符号化部16は、図8に示した“delta_luma_log2_gain_denom”及び“delta_chroma_log2_gain_denom”を符号化しない。それにより、色域予測のために追加的に必要とされる符号量を削減し、符号化効率を高めることができる。
(5)予測パラメータの2つのバージョンの提供
前項では、重み付け予測関連パラメータのシンタックスを色域予測の予測パラメータのために再利用する際に、L1参照フレームのパラメータのためのシンタックスは使用されなくてもよいと説明した。しかしながら、ある変形例において、L0参照フレームの及びL1参照フレームのパラメータのためのシンタックスの双方を再利用して、色域予測の予測パラメータの2つのバージョンが提供されてもよい。
例えば、色域予測部40のパラメータ計算部43は、予測モード設定部42により適応パラメータモードが設定され又は適応パラメータモードの符号化効率若しくは予測精度が評価される場合に、ゲインgi及びオフセットoi(i=1,2,3)の第1のバージョンを計算する。また、パラメータ計算部43は、ゲインgi及びオフセットoi(i=1,2,3)の第2のバージョンも計算する。そして、色域変換部44は、エンハンスメントレイヤの画像を予測するために、即ちインターレイヤ予測のための参照画像を生成するために、これら予測パラメータの第1のバージョン及び第2のバージョンを選択的に使用する。さらに、パラメータ計算部43は、予測パラメータの第1のバージョンについての過去の値からの差分と、予測パラメータの第2のバージョンについての過去の値からの差分とを計算してもよい。可逆符号化部16は、第1のバージョンについて計算される差分を、重み付け予測関連パラメータと共用されるシンタックスのL0参照フレーム用の部分へ符号化する。また、可逆符号化部16は、第2のバージョンについて計算される差分を、重み付け予測関連パラメータと共用されるシンタックスのL1参照フレーム用の部分へ符号化する。
以下、エンハンスメントレイヤの画像を予測する際に使用すべきバージョンを切り替えるための2つの例示的な手法について説明する。
(5−1)第1の手法
第1の手法において、予測パラメータの第1のバージョン及び第2のバージョンは、画素値が属するバンドに応じて選択的に使用される。ここでの画素値のバンドとは、限定ではないものの、輝度成分については明るさ、色差成分については鮮やかさに相当し得る。
図12は、画素値が属するバンドに応じた予測パラメータの選択的な使用について説明するための説明図である。図12には、輝度成分(Y)及び色差成分(Cb/Cr)の画素値のレンジを表現する2本のバーが示されており、ビット深度が8ビットである場合にはこれらレンジは0から255までである。輝度成分のレンジは、境界値を基準に下側のバンドPb11及び上側のバンドPb12に区分されており、図12の例では輝度成分の境界値は128(即ち、レンジの中央)に等しい。そして、色域変換部44は、(例えば、アップサンプリング画像の)輝度成分の画素値がバンドPb11に属する場合には、当該画素値から予測画素値を計算する際に、予測パラメータの第1のバージョンを使用し得る。また、色域変換部44は、輝度成分の画素値がバンドPb12に属する場合には、当該画素値から予測画素値を計算する際に、予測パラメータの第2のバージョンを使用し得る。また、色差成分のレンジは、2つの境界値を基準に内側のバンドPb21及び外側のバンドPb22に区分されており、図12の例では色差成分の境界値は64及び191(即ち、レンジの1/4の値及び3/4の値)に等しい。そして、色域変換部44は、(例えば、アップサンプリング画像の)色差成分の画素値がバンドPb21に属する場合には、当該画素値から予測画素値を計算する際に、予測パラメータの第1のバージョンを使用し得る。また、色域変換部44は、色差成分の画素値がバンドPb22に属する場合には、当該画素値から予測画素値を計算する際に、予測パラメータの第2のバージョンを使用し得る。
使用すべきバージョンの切替えのための上記境界値は、予めエンコーダ及びデコーダの双方にとって既知であってもよい。その代わりに、可逆符号化部16は、上記境界値を特定する境界情報をさらに符号化してもよい。境界情報は、例えば、輝度成分について、レンジの中央の基準値(例えば、ビット深度が8ビットであれば128)に加算される輝度成分用の調整値を示し得る。また、境界情報は、色差成分について、レンジの1/4に等しい第1の基準値から減算され及びレンジの3/4に等しい第2の基準値に加算される、色差成分用の調整値を示し得る。
図13は、第1の手法によって実現される予測モデルを輝度成分について簡略的に表現するグラフである。図13のグラフの横軸はベースレイヤの輝度成分の画素値に対応し、当該画素値は例えばBT.709で表現される。縦軸はエンハンスメントレイヤの輝度成分の画素値に対応し、当該画素値は例えばBT.2020で表現される。太線は、ベースレイヤの画素値から適応パラメータモードのゲイン及びオフセットを用いて予測されるエンハンスメントレイヤの予測画素値の軌跡を示している。この軌跡は、横軸上の境界値Yborderの左側のバンドPb11及び右側のバンドP12において、異なる傾きと切片とを有し、折れ線状を呈する。このような折れ線状の軌跡を描く予測モデルが利用可能となれば、予測モデルが完全に線形(即ち、直線状の軌跡)である既存の手法と比較して、色域予測の予測誤差を低減し、符号化効率を向上させることが可能となる。境界値Yborderは、ベースレイヤの輝度成分の画素値の最大値Ymaxの半分(Ymax/2)に等しくてもよく、Ymax/2に調整値dYを加算した値に等しくてもよい。調整値dYの追加的な符号化は、境界値Yborderが適応的に制御され得ることを意味する。この場合、色域予測の予測モデルの柔軟性が拡張される結果として、予測精度を一層高めることが可能となる。
図14は、図12を用いて説明した手法に関連するシンタックスの一例について説明するための説明図である。図14に示したシンタックスにおける行番号は、図11に示した重み付け予測関連パラメータのシンタックスの行番号に対応する。なお、重み付け予測関連パラメータのシンタックスのうちのL1参照フレームのパラメータのための部分は、説明の簡明さのために図から省略されている。図14を参照すると、第2行の後に、追加的なフラグ“inter_layer_pred_flag”が定義されている。当該フラグ“inter_layer_pred_flag”は、このシンタックスが色域予測パラメータのために利用される場合に真(True)に設定される。第13行の後のパラメータ“delta_pix_value_luma[i]”は、輝度成分についての上述した境界情報である。一例として、パラメータ“delta_pix_value_luma[i]”は、輝度成分について、レンジの中央の基準値に加算される輝度成分用の調整値を特定する。第18行の後のパラメータ“delta_pix_value_chroma[i][j]”は、色差成分についての上述した境界情報である。一例として、パラメータ“delta_pix_value_chroma[i][j]”は、色差成分について、レンジの1/4に等しい第1の基準値から減算され及びレンジの3/4に等しい第2の基準値に加算される、色差成分用の調整値を特定する。なお、図14に示したこれら追加的なパラメータは、スライスヘッダではなくスライスヘッダの拡張(extension)に含まれてもよい。
(5−2)第2の手法
第2の手法において、予測パラメータの第1のバージョン及び第2のバージョンは、画素が属する画像領域に応じて選択的に使用される。ここでの画像領域とは、ピクチャ、スライス又はタイルをセグメント化することにより形成され得る個々の領域に相当し得る。
図15は、画素が属する画像領域に応じた予測パラメータの選択的な使用について説明するための説明図である。図15を参照すると、画像IM2が示されている。画像IM2は、例えばアップサンプリング部41から出力され得るアップサンプリング画像であってよい。画像IM2は、上方の画像領域PA1及び下方の画像領域PA2にセグメント化されている。色域変換部44は、例えば画像領域PA1に属する画素について予測画素値を計算する際に予測パラメータの第1のバージョンを使用し、画像領域PA2に属する画素について予測画素値を計算する際に予測パラメータの第2のバージョンを使用し得る。
使用すべきバージョンの切替えのための領域境界は、予めエンコーダ及びデコーダの双方にとって既知であってもよい(例えば、ピクチャ、スライス又はタイルを2つに等分する境界、など)。その代わりに、可逆符号化部16は、上記領域境界を特定する境界情報をさらに符号化してもよい。境界情報は、例えば、ラスタスキャン順で領域境界の後に続く最初のLCU(図中のLCU Lborder)を指定する情報であってもよい。領域境界の後に続く最初のLCUは、ピクチャ、スライス又はタイルの所定の場所からカウントされるLCUの数で指定されてもよく、又は当該最初のLCUのヘッダに含められるフラグで指定されてもよい。前者の場合における所定の場所とは、ピクチャ、スライス若しくはタイルの先頭であってもよく、又はそれらの中間点(例えば、総LCU数のちょうど半分の場所)であってもよい。後者の場合には、1ビットのフラグのみを符号化パラメータに追加するだけで、2つのバージョンの予測パラメータの切替えのための領域境界を適応的に制御することが可能となる。なお、HEVCの既存の仕様において、スライスのサイズを直接的に示すサイズ情報は符号化されない。よって、デコーダは、通常、スライスを復号している最中に(当該スライスの復号が完了する前に)当該スライスのサイズを認識しない。従って、領域境界を特定する境界情報を追加的に符号化することは、領域境界が固定的(例えば、スライスを2つに等分する境界、など)であるケースでも有益である。
図16は、図15を用いて説明した手法に関連するシンタックスの一例について説明するための説明図である。図16に示したシンタックスにおける行番号は、図11に示した重み付け予測関連パラメータのシンタックスの行番号に対応する。なお、重み付け予測関連パラメータのシンタックスのうちのL1参照フレームのパラメータのための部分は、説明の簡明さのために図から省略されている。図16を参照すると、第2行の後に、図14に示したものと同様の追加的なフラグ“inter_layer_pred_flag”が定義されている。当該フラグ“inter_layer_pred_flag”は、このシンタックスが色域予測パラメータのために利用される場合に真(True)に設定される。当該フラグの後のパラメータ“delta_num_ctb”は、上述した境界情報である。パラメータ“delta_num_ctb”は、ラスタスキャン順で領域境界の後に続く最初のLCUを、LCUの数で指定する情報である。LCUの数がピクチャ、スライス又はタイルの中間点からカウントされる場合には、パラメータ“delta_num_ctb”は正又は負の整数を示し得る。なお、図16に示したこれら追加的なパラメータもまた、スライスヘッダではなくスライスヘッダの拡張(extension)に含まれてもよい。
このように画像領域ごとに異なるバージョンの予測パラメータが利用可能となれば、それぞれの画像領域において最適な予測モデルを色域予測に適用することが可能となる。例えば風景画像中の青空領域とそれ以外の領域とで、ゲイン及びオフセットの最適な組合せは異なる。そのような場合に、領域ごとに最適化されたゲイン及びオフセットを色域予測のために使用することで、色域予測の予測誤差を低減し、符号化効率を向上させることができる。領域境界を特定する境界情報の追加的な符号化は、領域境界の場所が適応的に制御され得ることを意味する。この場合、画像の内容に合わせて領域境界を移動させて色域予測の予測誤差をより一層低減することが可能となる。
(5−3)色成分ごとの制御
一変形例において、予測パラメータの2つのバージョンを提供するという本項で述べた手法は、輝度成分にのみ適用され、色差成分には適用されなくてもよい。この場合、色差成分の色域予測のために、画素値が属するバンド又は画素が属する画像領域に関わらず、重み付け予測関連パラメータのシンタックスのうちのL0参照フレームのための部分に符号化され及び当該部分から復号され得る予測パラメータ(典型的には、ゲイン及びオフセット)が利用される。L1参照フレームのための部分に含まれる色差成分についてのパラメータは、可変長符号化によって最も短い符号語にマッピングされ得る任意の値(例えばゼロ)に設定されてよい(その値は、色差成分の色域予測において無視され得る)。一般的に、主観的な画質への色差成分の寄与は輝度成分の寄与と比較してより小さいため、このように色差成分の色域予測の精度を選択的に抑制することで、わずかな画質の犠牲を伴うだけで予測パラメータの符号量を削減することができる。
また、色差成分の解像度が輝度成分の解像度と等しいことをクロマフォーマットが示す場合には輝度成分及び色差成分の双方について予測パラメータの2つのバージョンが提供され、色差成分の解像度が輝度成分の解像度よりも低いことをクロマフォーマットが示す場合には色差成分について予測パラメータの1つのバージョンのみが提供されてもよい。例えば、クロマフォーマットが4:2:0の場合、色差成分の解像度は、垂直方向及び水平方向の双方において輝度成分よりも低い。クロマフォーマットが4:2:2の場合、色差成分の解像度は、水平方向において輝度成分よりも低い。これらケースでは、色域予測の予測精度の低下が符号化効率に与える影響は、輝度成分と比較してより小さい。よって、これらケースにおいて色差成分についてのみ色域予測をより粗く実行することで、予測パラメータの符号量を効果的に低減することができる。
(6)ビットシフトを実行するタイミングの制御
上述したように、高精細(HD)テレビジョンと超高精細(UHD)テレビジョンとの間では、画像サイズ、色域及びビット深度が異なる。これら3つの属性を変換する処理がそれぞれ別個に実行されるとすれば、インターレイヤの処理全体のために要する処理コストは非常に大きくなる。そこで、JCTVC−O0194(“SCE4: Test 5.1 results on bit-depth and color-gamut scalability”,Alireza Aminlou, el. al, 2013年10月23-11月1日)は、アップサンプリングのフィルタ演算の中にビットシフト演算を組み込むことで、処理コストを抑制することを提案している。
図17A〜図17Cは、JCTVC−O0194において提案された手法について説明するための説明図である。図17Aの例において、ベースレイヤの画像サイズは2K(例えば、1920×1080画素)、色域はBT.709、ビット深度は8ビットである。エンハンスメントレイヤの画像サイズは4K(例えば、3840×2160画素)、色域はBT.2020、ビット深度は10ビットである。インターレイヤ予測において、アップサンプリング部41は、アップサンプリングと共にビットシフトを実行する(ステップS1)。例えば、フィルタ演算における2つの項の加算は1ビット分の左シフトに、4つの項の加算は2ビット分の左シフトに相当し得る。従って、ビットシフトは、実質的にはアップサンプリングと同時に行われ得る。その後、色域変換部44は、アップサンプリング部41から入力されるアップサンプリング後の画像の色域を変換する(ステップS3)。ここでの色域の変換は、重み付け予測に類似する線形的な変換であってよい。
図17Bの例において、ベースレイヤの画像サイズは2K、色域はBT.709、ビット深度は8ビットである。エンハンスメントレイヤの画像サイズは2K、色域はBT.2020、ビット深度は10ビットである。インターレイヤ予測において、アップサンプリング部41は、レイヤ間で解像度が同じであるため、ビットシフトのみを実行する(ステップS2)。その後、色域変換部44は、アップサンプリング部41から入力されるアップサンプリング後の画像の色域を変換する(ステップS3)。
図17Cの例において、ベースレイヤの画像サイズは2K、色域はBT.709、ビット深度は8ビットである。エンハンスメントレイヤの画像サイズは4K、色域はBT.709、ビット深度は10ビットである。インターレイヤ予測において、アップサンプリング部41は、アップサンプリングと共にビットシフトを実行する(ステップS1)。レイヤ間で色域は同じであるため、色域変換部44は、色域変換を実行しない。
図17A及び図17Cのケースでは、アップサンプリングとビットシフトとが同時に実行されるため、これらが別個に実行されるケースと比較して、インターレイヤ予測のために要する処理コストが抑制される。一方で、図17Bのケースでは、色域変換自体がビットシフトに類似する演算を含んでいるにも関わらず、ビットシフトが色域変換から独立して実行されるため、処理コストの観点で改善の余地がある。
そこで、一実施例において、色域変換部44が色域変換の演算においてビットシフトを併せて実行することを可能とする。特に重み付け予測のためのシンタックスが再利用されることを想定すると、色域変換の演算は、次のように表現され得る。
式(7)において、Xkはk番目の色成分の変換前の画素値、Xk,Predはk番目の色成分の変換後の画素値である。wk、nk及びokは、k番目の色成分に適用される、それぞれ重み(ゲイン)の分子、2を底とする重みの分母の対数、及びオフセットである。ここで、レイヤ間のビット深度の差をmビットとすると、色域変換部44がmビット分のビットシフト(左シフト)を色域変換と同時に実行する際の演算は、次のように表現され得る。
ビットシフトをアップサンプリングと同時に実行することも、ビットシフトを色域変換と同時に実行することも可能である場合、ビットシフトを実行するタイミングがエンコーダとデコーダとで(又は別々の実装を有するデコーダの間で)異なってしまう可能性が生じる。例えば、エンコーダが色域変換と同時にビットシフトを実行したにも関わらず、デコーダがアップサンプリングと同時にビットシフトを実行すると、インターレイヤ予測の精度が低下する。そこで、本実施例において、可逆符号化部16は、ビットシフトの実行タイミングを制御するビットシフト制御フラグをさらに符号化する。ビットシフト制御フラグは、例えば、エンハンスメントレイヤのビット深度がベースレイヤのビット深度よりも大きい場合に、インターレイヤ予測の際のビットシフトを色域変換と同時に実行すべきか、又はアップサンプリングと同時に実行すべきか、を示す制御パラメータである。
図18A〜図18Cは、インターレイヤ予測の処理コストを抑制するための新たな手法について説明するための説明図である。図18Aの例におけるベースレイヤ及びエンハンスメントレイヤの属性は、図17Aと同様である。但し、ビットシフト制御フラグは“1”(重み付け予測と同時にビットシフトを実行)を示す。この場合、インターレイヤ予測において、アップサンプリング部41は、ビット深度を高めるためのビットシフトを行うことなく、アップサンプリングを実行する(ステップS4)。その後、色域変換部44は、上の式(8)のように、アップサンプリング部41から入力されるアップサンプリング後の画像の色域を変換すると同時に、ビットシフトを実行する(ステップS6)。
図18Bの例におけるベースレイヤ及びエンハンスメントレイヤの属性は、図17Bと同様である。但し、ビットシフト制御フラグは“1”(重み付け予測と同時にビットシフトを実行)を示す。この場合、インターレイヤ予測において、アップサンプリング部41は、ビットシフトもアップサンプリングも実行しない。色域変換部44は、上の式(8)のように、ベースレイヤの画像の色域を変換すると同時に、ビットシフトを実行する(ステップS6)。
図18Cの例におけるベースレイヤ及びエンハンスメントレイヤの属性は、図17Cと同様である。但し、ビットシフト制御フラグは“0”(アップサンプリングと同時にビットシフトを実行)を示す。この場合、インターレイヤ予測において、アップサンプリング部41は、アップサンプリングと共にビットシフトを実行する(ステップS5)。レイヤ間で色域は同じであるため、色域変換部44は、色域変換を実行しない。
図17A〜図17Cと図18A〜図18Cとを対比すると、特に画像サイズがレイヤ間で変化しない第2の例(図17B及び図18B)に関し、新たな手法で処理ステップが削減されていることが理解される。また、新たな手法では、ビットシフト制御フラグの存在が、ビットシフトを実行するタイミングを適応的に切り替えてインターレイヤ予測の処理ステップ数を最小化することを可能としている。
図19は、図18A〜図18Cを用いて説明した手法に関連するシンタックスの一例について説明するための説明図である。図19に示したシンタックスにおける行番号は、図11に示した重み付け予測関連パラメータのシンタックスの行番号に対応する。なお、重み付け予測関連パラメータのシンタックスのうちのL1参照フレームのパラメータのための部分は、説明の簡明さのために図から省略されている。図19を参照すると、第1行の後に、レイヤIDがゼロでない(即ち、当該レイヤがエンハンスメントレイヤである)場合に符号化される、2つの符号化パラメータ“weighted_prediction_and_bit_shift_luma_flag”及び“weighted_prediction_and_bit_shift_chroma_flag”が定義されている。このうち、前者は、輝度成分のビットシフトの実行タイミングを制御するためのビットシフト制御フラグである。後者は、色差成分のビットシフトの実行タイミングを制御するためのビットシフト制御フラグである。これらフラグは、ビットシフトを色域変換と同時に実行すべき場合には真(True)に、ビットシフトをアップサンプリングと同時に実行すべき場合には偽(False)に設定される。画像サイズ及びビット深度は色成分ごとに異なるように定義され得るため、輝度成分及び色差成分について別々にビットシフト制御フラグを符号化することで、それら属性の定義に合せてビットシフトの実行タイミングを柔軟に制御することが可能となる。なお、ここでの例に限定されず、輝度成分及び色差成分の双方について単一のビットシフト制御フラグが符号化されてもよい。また、レイヤ間でビット深度が同じである場合には、ビットシフト制御フラグの符号化は省略されてもよく、又はフラグが特定の値(例えば、ゼロ)に設定されてもよい。また、インターレイヤ予測ではなくレイヤ内のインター予測における重み付け予測のために図19のシンタックスが利用される場合にも、ビットシフト制御フラグの符号化は省略されてもよく、又はフラグが特定の値(例えば、ゼロ)に設定されてもよい。
<3.一実施形態に係る符号化時の処理の流れ>
[3−1.概略的な流れ]
図20は、一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
図20を参照すると、まず、BL符号化部1aは、ベースレイヤの符号化処理を実行し、ベースレイヤの符号化ストリームを生成する(ステップS11)。
共通メモリ2は、ベースレイヤの符号化処理において生成されるベースレイヤの画像(復号画像及び予測誤差画像の一方又は双方)及びレイヤ間で再利用されるパラメータをバッファリングする(ステップS12)。レイヤ間で再利用されるパラメータは、重み付け予測関連パラメータを含んでもよい。
次に、EL符号化部1bは、エンハンスメントレイヤの符号化処理を実行し、エンハンスメントレイヤの符号化ストリームを生成する(ステップS13)。ここで実行されるエンハンスメントレイヤの符号化処理において、共通メモリ2によりバッファリングされているベースレイヤの画像は、色域予測部40によりアップサンプリングされ、その色域は変換される。そして、色域変換後のベースレイヤの画像は、インターレイヤ予測において参照画像として使用され得る。
次に、多重化部3は、BL符号化部1aにより生成されるベースレイヤの符号化ストリームと、EL符号化部1bにより生成されるエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する(ステップS14)。
[3−2.色域予測処理]
(1)第1の例
図21は、エンハンスメントレイヤの符号化処理における色域予測処理の流れの第1の例を示すフローチャートである。ここで説明する色域予測処理は、ピクチャ又はスライスごとに繰り返される。
図21を参照すると、まず、アップサンプリング部41は、共通メモリ2から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする(ステップS20)。
次に、予測モード設定部42は、色域予測のための予測モードの候補のうちのいずれかの予測モードを、ピクチャ(又はスライス)に設定する(ステップS22)。予測モード設定部42は、予め定義される予測モードを設定してもよく、又は予測モードの各候補についての符号化効率若しくは予測精度の評価に基づいて動的に選択される予測モードを設定してもよい。
次に、可逆符号化部16は、予測モード設定部42により設定された予測モードを示す予測モードパラメータを符号化する(ステップS25)。可逆符号化部16により符号化された予測モードパラメータは、例えばPPS又はスライスヘッダへ挿入される。
その後の処理は、予測モード設定部42により設定された予測モードに依存して分岐する(ステップS26、S28)。例えば、設定された予測モードが適応パラメータモードである場合、パラメータ計算部43は、色域の予測(変換)のために使用すべき最適なゲイン及びオフセットの値を計算する(ステップS30)。また、パラメータ計算部43は、計算した最適なゲイン及びオフセットの値の過去の値からの差分を計算する。そして、可逆符号化部16は、パラメータ計算部43により計算されたゲイン及びオフセットの差分を符号化する(ステップS32)。可逆符号化部16により符号化されたこれら予測パラメータの差分は、例えばPPS又はスライスヘッダへ挿入される。
設定された予測モードが適応パラメータモード又は固定パラメータモードである場合、色域変換部44は、式(4)〜式(6)に従って、アップサンプリング後のベースレイヤの画素値に適応的に計算された又は固定的なゲインを乗算し、さらにオフセットを加算することにより、各画素の予測画素値を計算する(ステップS34)。
設定された予測モードがビットシフトモードである場合、色域変換部44は、式(1)〜式(3)に従って、アップサンプリング後のベースレイヤの画素値を所定のビットシフト量だけ左方へシフトさせることにより、各画素の予測画素値を計算する(ステップS36)。
処理対象のピクチャ又はスライス内の全ての予測画素値が計算されると、色域変換部44は、色域変換後のベースレイヤの画像、即ち色域予測の結果としての予測画像を、フレームメモリ25に格納する(ステップS38)。
その後、未処理の次のピクチャ又はスライスが存在する場合には、処理はステップS20へ戻り、次のピクチャ又はスライスについて上述した処理が繰り返される(ステップS40)。
(2)第2の例
図22は、エンハンスメントレイヤの符号化処理における色域予測処理の流れの第2の例を示すフローチャートである。
図22を参照すると、まず、予測モード設定部42は、色域予測のための予測モードの候補のうちのいずれかの予測モードを、シーケンスに設定する(ステップS21)。次に、可逆符号化部16は、予測モード設定部42により設定された予測モードを示す予測モードパラメータを符号化する(ステップS23)。可逆符号化部16により符号化された予測モードパラメータは、SPSへ挿入される。
ステップS24〜ステップS40の処理は、シーケンス内のピクチャ又はスライスごとに繰り返される。
アップサンプリング部41は、共通メモリ2から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする(ステップS24)。
さらに、予測モード設定部42により設定された予測モードに依存して、処理は分岐する(ステップS26、S28)。例えば、設定された予測モードが適応パラメータモードである場合、パラメータ計算部43は、色域の予測(変換)のために使用すべき最適なゲイン及びオフセットの値を計算する(ステップS30)。また、パラメータ計算部43は、計算した最適なゲイン及びオフセットの値の過去の値からの差分を計算する。そして、可逆符号化部16は、パラメータ計算部43により計算されたゲイン及びオフセットの差分を符号化する(ステップS32)。可逆符号化部16により符号化されたこれら予測パラメータの差分は、例えばPPS又はスライスヘッダへ挿入される。
設定された予測モードが適応パラメータモード又は固定パラメータモードである場合、色域変換部44は、式(4)〜式(6)に従って、アップサンプリング後のベースレイヤの画素値に適応的に計算された又は固定的なゲインを乗算し、さらにオフセットを加算することにより、各画素の予測画素値を計算する(ステップS34)。
設定された予測モードがビットシフトモードである場合、色域変換部44は、式(1)〜式(3)に従って、アップサンプリング後のベースレイヤの画素値を所定のビットシフト量だけ左方へシフトさせることにより、各画素の予測画素値を計算する(ステップS36)。
処理対象のピクチャ又はスライス内の全ての予測画素値が計算されると、色域変換部44は、色域変換後のベースレイヤの画像、即ち色域予測の結果としての予測画像を、フレームメモリ25に格納する(ステップS38)。
その後、シーケンス内に未処理の次のピクチャ又はスライスが存在する場合には、処理はステップS24へ戻り、次のピクチャ又はスライスについてアップサンプリング及び色域変換が繰り返される(ステップS40)。また、シーケンス内の全てのピクチャ又は全てのスライスについて色域変換が終了した場合には、次のシーケンスが存在するかがさらに判定される(ステップS42)。そして、次のシーケンスが存在する場合には、処理はステップS21へ戻り、次のシーケンスについて上述した処理が繰り返される。
(3)第3の例
図23は、エンハンスメントレイヤの符号化処理における色域予測処理の流れの第3の例を示すフローチャートである。
図23を参照すると、まず、予測モード設定部42は、色域予測のための予測モードの候補のうちのいずれかの予測モードを、シーケンスに設定する(ステップS21)。次に、可逆符号化部16は、予測モード設定部42により設定された予測モードを示す予測モードパラメータを符号化する(ステップS23)。可逆符号化部16により符号化された予測モードパラメータは、SPSへ挿入される。
ステップS24〜ステップS41の処理は、シーケンス内のスライスごとに繰り返される。
アップサンプリング部41は、共通メモリ2から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする(ステップS24)。ここでのアップサンプリングのフィルタ演算は、インターレイヤ予測のためのビットシフトを含んでもよく、又は含まなくてもよい。
さらに、予測モード設定部42により設定された予測モードに依存して、処理は分岐する(ステップS26、S28)。例えば、設定された予測モードが適応パラメータモードである場合、パラメータ計算部43は、色域の予測(変換)のために使用すべき最適なゲイン及びオフセットの値を計算する(ステップS30)。また、パラメータ計算部43は、計算した最適なゲイン及びオフセットの値の過去の値からの差分を計算する。そして、可逆符号化部16は、計算されたゲイン及びオフセットの差分を、重み付け予測関連パラメータのシンタックスを再利用することにより符号化する(ステップS33)。可逆符号化部16により符号化されたこれら予測パラメータの差分は、スライスヘッダへ挿入される。上述したビットシフト制御フラグがシンタックスにおいて採用される場合には、符号化されたビットシフト制御フラグもまた、ここでスライスヘッダへ挿入され得る。
設定された予測モードが適応パラメータモード又は固定パラメータモードである場合、色域変換部44は、式(4)〜式(6)に従って、アップサンプリング後のベースレイヤの画素値に適応的に計算された又は固定的なゲインを乗算し、さらにオフセットを加算することにより、各画素の予測画素値を計算する(ステップS34)。ステップS24においてビットシフトが行われていない場合には、ここでの予測画素値の計算がビットシフトを含んでもよい。
設定された予測モードがビットシフトモードである場合、色域変換部44は、式(1)〜式(3)に従って、アップサンプリング後のベースレイヤの画素値を所定のビットシフト量だけ左方へシフトさせることにより、各画素の予測画素値を計算する(ステップS36)。
処理対象のスライス内の全ての予測画素値が計算されると、色域変換部44は、色域変換後のベースレイヤの画像、即ち色域予測の結果としての予測画像を、フレームメモリ25に格納する(ステップS38)。
その後、シーケンス内に未処理の次のスライスが存在する場合には、処理はステップS24へ戻り、次のスライスについてアップサンプリング及び色域変換が繰り返される(ステップS41)。また、シーケンス内の全てのスライスについて色域変換が終了した場合には、次のシーケンスが存在するかがさらに判定される(ステップS42)。そして、次のシーケンスが存在する場合には、処理はステップS21へ戻り、次のシーケンスについて上述した処理が繰り返される。
(4)第4の例
図24は、エンハンスメントレイヤの符号化処理における色域予測処理の流れの第4の例を示すフローチャートである。
図24を参照すると、まず、予測モード設定部42は、色域予測のための予測モードの候補のうちのいずれかの予測モードを、シーケンスに設定する(ステップS21)。次に、可逆符号化部16は、予測モード設定部42により設定された予測モードを示す予測モードパラメータを符号化する(ステップS23)。可逆符号化部16により符号化された予測モードパラメータは、SPSへ挿入される。
ステップS24〜ステップS41の処理は、シーケンス内のスライスごとに繰り返される。
アップサンプリング部41は、共通メモリ2から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする(ステップS24)。ここでのアップサンプリングのフィルタ演算は、インターレイヤ予測のためのビットシフトを含んでもよく、又は含まなくてもよい。
さらに、予測モード設定部42により設定された予測モードに依存して、処理は分岐する(ステップS26、S28)。例えば、設定された予測モードが適応パラメータモードである場合、パラメータ計算部43は、色域の予測(変換)のために使用すべきゲイン及びオフセットの第1のバージョンを計算する(ステップS31a)。同様に、パラメータ計算部43は、ゲイン及びオフセットの第2のバージョンを計算する(ステップS31b)。これら第1のバージョン及び第2のバージョンは、それぞれ、画素値のレンジのうちの第1のバンド及び第2のバンドのために使用すべき最適な値のセットを含んでもよい。その代わりに、これら第1のバージョン及び第2のバージョンは、それぞれ、第1の画像領域及び第2の画像領域のために使用すべき最適な値のセットを含んでもよい。また、パラメータ計算部43は、第1のバージョン及び第2のバージョンについて、ゲイン及びオフセットの値の過去の値からの差分をそれぞれ計算する。そして、可逆符号化部16は、重み付け予測関連パラメータのシンタックスのL0参照フレーム用の部分及びL1参照フレーム用の部分へ、第1のバージョン及び第2のバージョンについて計算された予測パラメータの差分をそれぞれ符号化する(ステップS33b)。可逆符号化部16により符号化されたこれら予測パラメータの差分は、スライスヘッダへ挿入される。上述したビットシフト制御フラグがシンタックスにおいて採用される場合には、符号化されたビットシフト制御フラグもまた、ここでスライスヘッダへ挿入され得る。
その後の処理の流れは、画素値が属するバンド又は画素が属する画像領域に応じた予測パラメータのバージョンの切替えがステップS34において行われ得ることを除き、図23を用いて説明した第3の例と同様であってよい。なお、可逆符号化部16は、ステップS33bにおいて、予測パラメータのバージョンの切替えのためのバンド間の境界値又は画像領域間の領域境界を特定する境界情報を、例えばスライスヘッダ又はスライスヘッダの拡張へ、追加的に符号化してもよい。
(5)処理順序の変形例
既存の手法によれば、インターレイヤ予測において、色域変換は、アップサンプリング(及び必要に応じてビットシフト)が実行された後に実行される。図21〜図24のフローチャートも、そのような処理順序を踏襲している。しかしながら、色域変換の処理コストは変換対象の画素数に比例するため、アップサンプリングによって増加した画素を対象として色域変換を実行することは、処理コストの観点で最適とは言えない。また、ビットシフト後の拡張されたビット深度を有する画素を対象として色域変換を実行することは、色域変換の演算に要する処理リソース(例えば、レジスタの所要ビット数)もより多くなることを意味する。そこで、一変形例として、色域予測部40は、エンハンスメントレイヤの空間解像度(画像サイズ)がベースレイヤの空間解像度よりも高い場合に、ベースレイヤ画像の色域を変換した後、変換された当該画像をアップサンプリングすることにより、エンハンスメントレイヤ画像を予測してもよい。
図25Aは、既存のインターレイヤ予測の処理順序の一例について説明するための説明図である。図25Aには、一例として図17Aと同様の2つの処理ステップが示されている。まず、ベースレイヤのスライスデータに含まれる画像の画像サイズ及びビット深度(例えば、2K/8ビット)は、アップサンプリング及びビットシフトによってそれぞれ(例えば、4K/10ビットに)高められる。次に、アップサンプリング後の画像の色域が、予測パラメータに従ってエンハンスメントレイヤの色域に変換される。
図25Bは、一変形例における新たなインターレイヤ予測の処理順序の一例について説明するための説明図である。本変形例において、まず、色域予測部40は、ベースレイヤのスライスデータに含まれる画像の色域を、予測パラメータに従ってエンハンスメントレイヤの色域に変換する。次に、色域予測部40は、色域変換後の画像の画像サイズ(例えば、2K)を、アップサンプリングによって(例えば、4Kに)高める。ビットシフトは、色域変換と同時に実行されてもよく、又はアップサンプリングと同時に実行されてもよい。ビットシフトを実行すべきタイミングが、ビットシフト制御フラグによって指定されてもよい。このような新たな処理順序によれば、色域変換の変換対象の画素数及びビット深度が既存の処理順序のケースと比較して低減されるため、インターレイヤ予測の処理コストが一層抑制される。
<4.一実施形態に係るEL復号部の構成例>
[4−1.全体的な構成]
図26は、図5に示したEL復号部6bの構成の一例を示すブロック図である。図26を参照すると、EL復号部6bは、蓄積バッファ61、可逆復号部62、逆量子化部63、逆直交変換部64、加算部65、ループフィルタ66、並び替えバッファ67、D/A(Digital to Analogue)変換部68、フレームメモリ69、セレクタ70及び71、イントラ予測部80、インター予測部85並びに色域予測部90を備える。
蓄積バッファ61は、逆多重化部5から入力されるエンハンスメントレイヤの符号化ストリームを記憶媒体を用いて一時的に蓄積する。
可逆復号部62は、蓄積バッファ61から入力されるエンハンスメントレイヤの符号化ストリームから、符号化の際に使用された符号化方式に従ってエンハンスメントレイヤの量子化データを復号する。また、可逆復号部62は、符号化ストリームのヘッダ領域に挿入されている情報を復号する。可逆復号部62により復号される情報は、例えば、イントラ予測に関する情報及びインター予測に関する情報を含み得る。色域予測のためのパラメータもまた、エンハンスメントレイヤにおいて復号され得る。可逆復号部62は、量子化データを逆量子化部63へ出力する。また、可逆復号部62は、イントラ予測に関する情報をイントラ予測部80へ出力する。また、可逆復号部62は、インター予測に関する情報をインター予測部85へ出力する。また、可逆復号部62は、色域予測のためのパラメータを色域予測部90へ出力する。
逆量子化部63は、可逆復号部62から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、エンハンスメントレイヤの変換係数データを復元する。逆量子化部63は、復元した変換係数データを逆直交変換部64へ出力する。
逆直交変換部64は、符号化の際に使用された直交変換方式に従い、逆量子化部63から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。逆直交変換部64は、生成した予測誤差データを加算部65へ出力する。
加算部65は、逆直交変換部64から入力される予測誤差データと、セレクタ71から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部65は、生成した復号画像データをループフィルタ66及びフレームメモリ69へ出力する。
ループフィルタ66は、EL符号化部1bのループフィルタ24と同様、ブロック歪みを軽減するデブロックフィルタ、各画素値にオフセット値を加えるサンプル適応オフセットフィルタ、及び原画像との誤差を最小化する適応ループフィルタを含む。ループフィルタ66は、加算部65から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データを並び替えバッファ67及びフレームメモリ69へ出力する。
並び替えバッファ67は、ループフィルタ66から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ67は、生成した画像データをD/A変換部68へ出力する。
D/A変換部68は、並び替えバッファ67から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、D/A変換部68は、例えば、画像復号装置60と接続されるディスプレイ(図示せず)にアナログ画像信号を出力することにより、エンハンスメントレイヤの画像を表示させる。
フレームメモリ69は、加算部65から入力されるフィルタリング前の復号画像データ、ループフィルタ66から入力されるフィルタリング後の復号画像データ、及び色域予測部90から入力されるベースレイヤの参照画像データを記憶媒体を用いて記憶する。
セレクタ70は、可逆復号部62により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ69からの画像データの出力先をイントラ予測部80とインター予測部85との間で切り替える。例えば、セレクタ70は、イントラ予測モードが指定された場合には、フレームメモリ69から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部80へ出力する。また、セレクタ70は、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部85へ出力する。さらに、イントラ予測部80又はインター予測部85においてインターレイヤ予測が実行される場合、セレクタ70は、ベースレイヤの参照画像データをイントラ予測部80又はインター予測部85へ供給する。
セレクタ71は、可逆復号部62により取得されるモード情報に応じて、加算部65へ供給すべき予測画像データの出力元をイントラ予測部80とインター予測部85との間で切り替える。例えば、セレクタ71は、イントラ予測モードが指定された場合には、イントラ予測部80から出力される予測画像データを加算部65へ供給する。また、セレクタ71は、インター予測モードが指定された場合には、インター予測部85から出力される予測画像データを加算部65へ供給する。
イントラ予測部80は、可逆復号部62から入力されるイントラ予測に関する情報とフレームメモリ69からの参照画像データとに基づいてエンハンスメントレイヤのイントラ予測処理を行い、予測画像データを生成する。イントラ予測処理は、PUごとに実行される。イントラ予測部80は、イントラ予測モードとしてイントラBL予測又はイントラ残差予測が指定された場合には、予測対象ブロックに対応するベースレイヤ内のコロケーテッドブロックを参照ブロックとして使用する。イントラBL予測の場合、イントラ予測部80は、参照ブロックの復号画像に基づいて予測画像を生成する。イントラ残差予測の場合、イントラ予測部80は、参照ブロックの予測誤差画像に基づいてイントラ予測の予測誤差を予測し、予測した予測誤差の加算された予測画像を生成する。イントラ予測部80は、生成したエンハンスメントレイヤの予測画像データをセレクタ71へ出力する。
インター予測部85は、可逆復号部62から入力されるインター予測に関する情報とフレームメモリ69からの参照画像データとに基づいてエンハンスメントレイヤのインター予測処理(動き補償処理)を行い、予測画像データを生成する。インター予測処理は、PUごとに実行される。インター予測部85は、インター予測モードとしてインター残差予測が指定された場合には、予測対象ブロックに対応するベースレイヤ内のコロケーテッドブロックを参照ブロックとして使用する。インター残差予測の場合、インター予測部85は、参照ブロックの予測誤差画像に基づいてインター予測の予測誤差を予測し、予測した予測誤差の加算された予測画像を生成する。インター予測部85は、生成したエンハンスメントレイヤの予測画像データをセレクタ71へ出力する。
色域予測部90は、共通メモリ7によりバッファリングされるベースレイヤの画像(復号画像又は予測誤差画像)を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。また、色域予測部90は、ベースレイヤの画像とは異なる色域をエンハンスメントレイヤの画像が有する場合に、アップサンプリングしたベースレイヤの画像の色域を、エンハンスメントレイヤの画像と同等の色域に変換する。本実施形態において、色域予測部90は、ベースレイヤ及びエンハンスメントレイヤの色域の間の色成分ごとに独立した線型的な関係を前提とし、ベースレイヤの画像からエンハンスメントレイヤの画像を近似的に予測することにより、色域を変換する。色域予測部90により色域の変換されたベースレイヤの画像は、フレームメモリ69に格納され、イントラ予測部80又はインター予測部85により、インターレイヤ予測において参照画像として使用され得る。色域予測部90は、色域の予測のための予測モードを示す予測モードパラメータを、可逆復号部62から取得する。また、色域予測部90は、予測モードパラメータが適応パラメータモードを示す場合には、予測パラメータの過去の値からの差分を、可逆復号部62からさらに取得する。そして、色域予測部90は、可逆復号部62から取得されるこれらパラメータを用いて、アップサンプリング後のベースレイヤの画像からエンハンスメントレイヤの画像を予測する。
[4−2.色域予測部の詳細な構成]
図27は、図26に示した色域予測部90の構成の一例を示すブロック図である。図27を参照すると、色域予測部90は、アップサンプリング部91、予測モード設定部92、パラメータ計算部93及び色域変換部94を有する。
(1)アップサンプリング部
アップサンプリング部91は、共通メモリ7から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。より具体的には、アップサンプリング部91は、解像度比に応じて順に走査される補間画素の各々について、予め定義されるフィルタ係数でベースレイヤの画像をフィルタリングすることにより補間画素値を計算する。それにより、参照ブロックとして使用されるベースレイヤの画像の空間解像度が、エンハンスメントレイヤと同等の解像度まで高められる。アップサンプリング部91は、アップサンプリング後の画像を色域変換部94へ出力する。
(2)予測モード設定部
予測モード設定部92は、色域予測のための予測モードの候補のうち、可逆復号部62により復号される予測モードパラメータにより示される予測モードを、色域予測部90に設定する。予測モードの候補は、上述したビットシフトモード、固定パラメータモード及び適応パラメータモードを含み得る。ある実施例において、予測モード設定部92は、PPSから復号される予測モードパラメータに従って、予測モードを設定し得る。他の実施例において、予測モード設定部92は、スライスヘッダから復号される予測モードパラメータに従って、予測モードを設定し得る。また別の実施例において、予測モード設定部92は、SPSから復号される予測モードパラメータに従って、予測モードを設定し得る。SPSから予測モードパラメータが復号される場合、1つのシーケンス内で同じ予測モードが維持され得る。
(3)パラメータ計算部
パラメータ計算部93は、予測モード設定部92により適応パラメータモードが設定された場合に、色域予測のために使用されるべき予測パラメータを、可逆復号部62により復号される予測パラメータの差分を用いて計算する。ここでの予測パラメータは、式(4)〜式(6)に示したゲインgi及びオフセットoi(i=1,2,3)を含む。
より具体的には、パラメータ計算部93は、適応パラメータモードにおいて、可逆復号部62から取得されるゲイン及びオフセットの差分を、それぞれゲイン及びオフセットの過去の値に加算することにより、ゲイン及びオフセットの最新の値を計算する。ここでの過去の値とは、例えば、ピクチャごとにゲイン及びオフセットが計算される場合には、前回のピクチャについて計算された値であってよい。スライスごとにゲイン及びオフセットが計算される場合には、前回のピクチャの同じ位置のスライスについて計算された値であってよい。パラメータ計算部93は、最新の予測モードパラメータが適応パラメータモードを示し、前回の予測モードパラメータがビットシフトモードを示す場合には、可逆復号部62により復号される差分を、ビットシフト量に対応する予測パラメータ値に加算する。また、パラメータ計算部93は、最新の予測モードパラメータが適応パラメータモードを示し、前回の予測モードパラメータが固定パラメータモードを示す場合には、可逆復号部62により復号される差分を、予め定義される固定的な予測パラメータ値に加算する。ゲイン及びオフセットの差分をどのような過去の値(即ち、差分の基礎)にそれぞれ加算すべきかは、図9に示されている。パラメータ計算部93は、計算したゲイン及びオフセットの最新の値を、色域変換部94へ出力する。なお、ゲインの値は、小数値を含み得るため、その分母及び分子の差分が別々に復号され得る。従って、パラメータ計算部93は、復号された差分からゲインの分母及び分子をそれぞれ計算し得る。色域変換部94によるゲインの乗算は、実際には、整数である分子の乗算と、分母での除算に相当するシフト演算とにより行われ得る。ゲインの分母の値の範囲は、計算コストを低減するために2の整数乗のみに制限されてもよい。この場合、分母の値の2を底とする対数が、予測パラメータとして使用されてもよい。
(4)色域変換部
色域変換部94は、予測モード設定部92により設定される予測モードに従って、アップサンプリング部91から入力されるアップサンプリング後のベースレイヤの画像の色域を、エンハンスメントレイヤの画像と同等の色域に変換する。例えば、色域変換部94は、ビットシフトモードが設定された場合には、式(1)〜式(3)に従って、アップサンプリング後のベースレイヤの画素値を所定のビットシフト量nshiftだけ左方へシフトさせることにより、予測画素値を計算する。また、色域変換部94は、固定パラメータモードが設定された場合には、式(4)〜式(6)に従って、アップサンプリング後のベースレイヤの画素値に固定的なゲインを乗算し、さらに固定的なオフセットを加算することにより、予測画素値を計算する。また、色域変換部94は、適応パラメータモードが設定された場合には、固定的なゲイン及びオフセットの代わりに、パラメータ計算部93により適応的に計算されるゲイン及びオフセットを用いて、予測画素値を計算する。それにより、インターレイヤ予測のための参照画像が生成される。色域変換部94は、このように生成されるインターレイヤ予測のための参照画像(色域の変換されたベースレイヤの画像)を、フレームメモリ69に格納する。
可逆復号部62により復号される予測モードパラメータ及び予測パラメータ(色成分ごとのゲイン及びオフセット)の差分のシンタックスの例は、図8に示されている。これらパラメータは、可逆復号部62によりエンハンスメントレイヤの符号化ストリームから復号され得る。図8に示したシンタックスは、例えばPPSに含まれてもよく、又はスライスヘッダに含まれてもよい。上述したように、予測モードパラメータ及び予測パラメータの差分がスライスヘッダから復号される例は、画像の部分領域ごとに異なる色域が使用される用途において有益である。また、拡張フラグ“color_gamut_prediction_flag”及び予測モードパラメータ“color_prediction_model”は、シーケンスごとにSPSから復号されてもよい。この場合、1つのシーケンス内では同じ予測モードが維持される。
さらに、ある実施例において、可逆復号部62は、表1に示したマッピングに従い、重み付け予測関連パラメータと共用されるシンタックスを有するヘッダ(スライスヘッダ)から、色域予測の予測パラメータの差分を復号してもよい。このようなシンタックスの再利用により、シンタックスの冗長性が低減され、エンコーダ及びデコーダの実装及びバージョンアップの際の互換性の確保が容易となる。但し、拡張フラグ“color_gamut_prediction_flag”及び予測モードパラメータ“color_prediction_model”は、SPS、PPS又はスライスヘッダから別途復号されてよい。また、可逆復号部62は、重み付け予測関連パラメータ及び色域予測のためのパラメータのいずれが符号化されているかを示すフラグを復号し、復号した当該フラグに応じて色域予測のためのパラメータを復号してもよい。レイヤ間で重み付け予測関連パラメータが再利用される場合には、可逆復号部62は、エンハンスメントレイヤ固有の重み付け予測関連パラメータを復号せず、その代わりに同じシンタックスで色域予測の予測パラメータの差分を復号し得る。この場合、L1参照フレームのパラメータのためのシンタックス(図11の第21行から第38行)は使用されなくてよい。また、参照フレーム数(マイナス1)に対応する変数“num_ref_idx_l0_active_minus1”の値は、ゼロである(即ち、色域を変換すべきベースレイヤ画像の数が1である)と見なされてよい。
また、別の実施例において、可逆復号部62は、重み付け予測関連パラメータの一部を色域予測のために再利用してもよい。例えば、輝度成分及び色差成分のゲインの分母として、図11に示した“luma_log2_weight_denom”及び“delta_chroma_log2_weight_denom”により特定される分母が再利用され得る。この場合、可逆復号部62は、図8に示した“delta_luma_log2_gain_denom”及び“delta_chroma_log2_gain_denom”を復号しない。
また、ある変形例において、可逆復号部62は、重み付け予測関連パラメータと共用されるシンタックスのL0参照フレーム用の部分から色域予測の予測パラメータの第1のバージョンの差分を復号し、及び当該シンタックスのL1参照フレーム用の部分から色域予測の予測パラメータの第2のバージョンの差分を復号してもよい。この場合、パラメータ計算部93は、色域予測の予測パラメータの第1のバージョンを当該第1のバージョンについて復号された差分を用いて計算し、色域予測の予測パラメータの第2のバージョンを当該第2のバージョンについて復号された差分を用いて計算する。そして、色域変換部94は、予測パラメータの第1のバージョン及び第2のバージョンを、エンハンスメントレイヤの画像を予測するために、即ちインターレイヤ予測のための参照画像を生成するために選択的に使用する。
上記変形例において、色域変換部94は、例えば、画素値が属するバンドに応じて、予測パラメータの第1のバージョン及び第2のバージョンのうち使用すべきバージョンを選択してもよい。使用すべきバージョンの切替えのためのバンド間の境界に対応する境界値は、予めエンコーダ及びデコーダの双方にとって既知であってもよく、又は適応的に設定されてもよい。境界値が適応的に設定される場合、色域変換部94は、可逆復号部62によりさらに復号され得る境界情報により特定される境界値に従って、画素値が属するバンドを判定する。そして、色域変換部94は、その判定結果に基づいて、予測パラメータの第1のバージョン又は第2のバージョンのうち使用すべきバージョンを選択し得る。
その代わりに、上記変形例において、色域変換部94は、例えば、画素が属する画像領域に応じて、予測パラメータの第1のバージョン及び第2のバージョンのうち使用すべきバージョンを選択してもよい。使用すべきバージョンの切替えのための領域境界は、予めエンコーダ及びデコーダの双方にとって既知であってもよく、又は適応的に設定されてもよい。領域境界が適応的に設定される場合、色域変換部94は、可逆復号部62によりさらに復号され得る境界情報により特定される領域境界に従って、画素が属する画像領域を判定する。そして、色域変換部94は、その判定結果に基づいて、予測パラメータの第1のバージョン又は第2のバージョンのうち使用すべきバージョンを選択し得る。
このような変形例によれば、既存の手法と比較して色域予測の予測誤差が低減され、予測誤差データの符号量は減少する。その結果として、符号化効率が高められる。予測パラメータの2つのバージョンを提供するという手法は、上述したように、輝度成分にのみ適用され、色差成分には適用されなくてもよい。
また、一実施例において、色域変換部94は、エンハンスメントレイヤのビット深度がベースレイヤのビット深度よりも大きい場合に、エンハンスメントレイヤの画像を予測する際のビットシフトを色域変換と同時に実行することを、可能とされる。可逆復号部62は、エンハンスメントレイヤの制御パラメータとして、インターレイヤ予測の際のビットシフトを色域変換と同時に実行すべきかを示すビットシフト制御フラグを復号する。そして、色域変換部94は、ビットシフトを色域変換と同時に実行すべきであることをビットシフト制御フラグが示す場合にはビットシフトを色域変換と同時に実行し、そうでない場合にはビットシフトを例えばアップサンプリングと同時に実行する。それにより、ビットシフトを実行するタイミングを適応的に切り替えて、インターレイヤ予測の処理ステップ数を最小化することが可能となる。その結果、既存の手法と比較して、インターレイヤ予測の処理コストが抑制され得る。可逆復号部62は、輝度成分及び色差成分について別々にビットシフト制御フラグを復号してもよい。この場合、色成分ごとの設定(画像サイズ及びビット深度の設定)に合わせたより柔軟な制御が可能となる。ビットシフト制御フラグは、典型的には、図19に例示したように、スライスヘッダから復号され得る。しかしながら、かかる例に限定されず、ビットシフト制御フラグは、SPS又はPPSなどの他の場所から復号されてもよい。
<5.一実施形態に係る復号時の処理の流れ>
[5−1.概略的な流れ]
図28は、一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
図28を参照すると、まず、逆多重化部5は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームに逆多重化する(ステップS60)。
次に、BL復号部6aは、ベースレイヤの復号処理を実行し、ベースレイヤの符号化ストリームからベースレイヤ画像を再構築する(ステップS61)。
共通メモリ7は、ベースレイヤの復号処理において生成されるベースレイヤの画像(復号画像及び予測誤差画像の一方又は双方)及びレイヤ間で再利用されるパラメータをバッファリングする(ステップS62)。レイヤ間で再利用されるパラメータは、重み付け予測関連パラメータを含んでもよい。
次に、EL復号部6bは、エンハンスメントレイヤの復号処理を実行し、エンハンスメントレイヤ画像を再構築する(ステップS63)。ここで実行されるエンハンスメントレイヤの復号処理において、共通メモリ7によりバッファリングされているベースレイヤの画像は、色域予測部90によりアップサンプリングされ、その色域は変換される。そして、色域変換後のベースレイヤの画像は、インターレイヤ予測において参照画像として使用され得る。
[5−2.色域予測処理]
(1)第1の例
図29は、エンハンスメントレイヤの復号処理における色域予測処理の流れの第1の例を示すフローチャートである。ここで説明する色域予測処理は、ピクチャ又はスライスごとに繰り返される。
図29を参照すると、まず、アップサンプリング部91は、共通メモリ7から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする(ステップS70)。
また、可逆復号部62は、色域予測のために設定されるべき予測モードを示す予測モードパラメータを、PPS又はスライスヘッダから復号する(ステップS72)。そして、予測モード設定部92は、復号された予測モードパラメータにより示される予測モードを、ピクチャ(又はスライス)に設定する(ステップS75)。
その後の処理は、予測モード設定部92により設定された予測モードに依存して分岐する(ステップS76、S78)。例えば、設定された予測モードが適応パラメータモードである場合、可逆復号部62は、PPS又はスライスヘッダからゲイン及びオフセットの値の過去の値からの差分を復号する(ステップS80)。そして、パラメータ計算部93は、復号されたゲイン及びオフセットの差分をゲイン及びオフセットの過去の値に加算することにより、最新のピクチャ又はスライスについて使用すべきゲイン及びオフセットを計算する(ステップS82)。
設定された予測モードが適応パラメータモード又は固定パラメータモードである場合、色域変換部94は、式(4)〜式(6)に従って、アップサンプリング後のベースレイヤの画素値に適応的に計算された又は固定的なゲインを乗算し、さらにオフセットを加算することにより、各画素の予測画素値を計算する(ステップS84)。
設定された予測モードがビットシフトモードである場合、色域変換部94は、式(1)〜式(3)に従って、アップサンプリング後のベースレイヤの画素値を所定のビットシフト量だけ左方へシフトさせることにより、各画素の予測画素値を計算する(ステップS86)。
処理対象のピクチャ又はスライス内の全ての予測画素値が計算されると、色域変換部94は、色域変換後のベースレイヤの画像、即ち色域予測の結果としての予測画像を、フレームメモリ69に格納する(ステップS88)。
その後、未処理の次のピクチャ又はスライスが存在する場合には、処理はステップS70へ戻り、次のピクチャ又はスライスについて上述した処理が繰り返される(ステップS90)。
(2)第2の例
図30は、エンハンスメントレイヤの復号処理における色域予測処理の流れの第2の例を示すフローチャートである。
図30を参照すると、まず、可逆復号部62は、色域予測のために設定されるべき予測モードを示す予測モードパラメータを、SPSから復号する(ステップS71)。そして、予測モード設定部92は、復号された予測モードパラメータにより示される予測モードを、シーケンスに設定する(ステップS73)。
ステップS74〜ステップS90の処理は、シーケンス内のピクチャ又はスライスごとに繰り返される。
アップサンプリング部91は、共通メモリ7から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする(ステップS74)。
さらに、予測モード設定部92により設定された予測モードに依存して、処理は分岐する(ステップS76、S78)。例えば、設定された予測モードが適応パラメータモードである場合、可逆復号部62は、PPS又はスライスヘッダからゲイン及びオフセットの値の過去の値からの差分を復号する(ステップS80)。そして、パラメータ計算部93は、復号されたゲイン及びオフセットの差分をゲイン及びオフセットの過去の値にそれぞれ加算することにより、最新のピクチャ又はスライスについて使用すべきゲイン及びオフセットを計算する(ステップS82)。
設定された予測モードが適応パラメータモード又は固定パラメータモードである場合、色域変換部94は、式(4)〜式(6)に従って、アップサンプリング後のベースレイヤの画素値に適応的に計算された又は固定的なゲインを乗算し、さらにオフセットを加算することにより、各画素の予測画素値を計算する(ステップS84)。
設定された予測モードがビットシフトモードである場合、色域変換部94は、式(1)〜式(3)に従って、アップサンプリング後のベースレイヤの画素値を所定のビットシフト量だけ左方へシフトさせることにより、各画素の予測画素値を計算する(ステップS86)。
処理対象のピクチャ又はスライス内の全ての予測画素値が計算されると、色域変換部94は、色域変換後のベースレイヤの画像、即ち色域予測の結果としての予測画像を、フレームメモリ69に格納する(ステップS88)。
その後、シーケンス内に未処理の次のピクチャ又はスライスが存在する場合には、処理はステップS74へ戻り、次のピクチャ又はスライスについてアップサンプリング及び色域変換が繰り返される(ステップS90)。また、シーケンス内の全てのピクチャ又は全てのスライスについて色域変換が終了した場合には、次のシーケンスが存在するかがさらに判定される(ステップS92)。そして、次のシーケンスが存在する場合には、処理はステップS71へ戻り、次のシーケンスについて上述した処理が繰り返される。
(3)第3の例
図31は、エンハンスメントレイヤの復号処理における色域予測処理の流れの第3の例を示すフローチャートである。
図31を参照すると、まず、可逆復号部62は、色域予測のために設定されるべき予測モードを示す予測モードパラメータを、SPSから復号する(ステップS71)。そして、予測モード設定部92は、復号された予測モードパラメータにより示される予測モードを、シーケンスに設定する(ステップS73)。
ステップS74〜ステップS91の処理は、シーケンス内のスライスごとに繰り返される。
アップサンプリング部91は、共通メモリ7から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする(ステップS74)。
さらに、予測モード設定部92により設定された予測モードに依存して、処理は分岐する(ステップS76、S78)。例えば、設定された予測モードが適応パラメータモードである場合、可逆復号部62は、重み付け予測関連パラメータのシンタックスを再利用することにより符号化されているゲイン及びオフセットの値の過去の値からの差分を、スライスヘッダから復号する(ステップS81)。そして、パラメータ計算部93は、復号されたゲイン及びオフセットの差分をゲイン及びオフセットの過去の値にそれぞれ加算することにより、最新のスライスについて使用すべきゲイン及びオフセットを計算する(ステップS82)。
設定された予測モードが適応パラメータモード又は固定パラメータモードである場合、色域変換部94は、式(4)〜式(6)に従って、アップサンプリング後のベースレイヤの画素値に適応的に計算された又は固定的なゲインを乗算し、さらにオフセットを加算することにより、各画素の予測画素値を計算する(ステップS84)。なお、符号化ストリームから復号され得るビットシフト制御フラグに従って、ここでの予測画素値の計算が、インターレイヤ予測のためのビットシフトを含んでもよい。また、ビットシフトは、ステップS74におけるアップサンプリングのフィルタ演算に含まれてもよい。
設定された予測モードがビットシフトモードである場合、色域変換部94は、式(1)〜式(3)に従って、アップサンプリング後のベースレイヤの画素値を所定のビットシフト量だけ左方へシフトさせることにより、各画素の予測画素値を計算する(ステップS86)。
処理対象のスライス内の全ての予測画素値が計算されると、色域変換部94は、色域変換後のベースレイヤの画像、即ち色域予測の結果としての予測画像を、フレームメモリ69に格納する(ステップS88)。
その後、シーケンス内に未処理の次のスライスが存在する場合には、処理はステップS74へ戻り、次のスライスについてアップサンプリング及び色域変換が繰り返される(ステップS91)。また、シーケンス内の全てのスライスについて色域変換が終了した場合には、次のシーケンスが存在するかがさらに判定される(ステップS92)。そして、次のシーケンスが存在する場合には、処理はステップS71へ戻り、次のシーケンスについて上述した処理が繰り返される。
(4)第4の例
図32は、エンハンスメントレイヤの復号処理における色域予測処理の流れの第4の例を示すフローチャートである。
図32を参照すると、まず、可逆復号部62は、色域予測のために設定されるべき予測モードを示す予測モードパラメータを、SPSから復号する(ステップS71)。そして、予測モード設定部92は、復号された予測モードパラメータにより示される予測モードを、シーケンスに設定する(ステップS73)。
ステップS74〜ステップS91の処理は、シーケンス内のスライスごとに繰り返される。
アップサンプリング部91は、共通メモリ7から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする(ステップS74)。
さらに、予測モード設定部92により設定された予測モードに依存して、処理は分岐する(ステップS76、S78)。例えば、設定された予測モードが適応パラメータモードである場合、可逆復号部62は、重み付け予測関連パラメータのシンタックスのL0参照フレーム用の部分及びL1参照フレーム用の部分から、予測パラメータの第1のバージョン及び第2のバージョンについての差分をそれぞれ復号する(ステップS81b)。そして、パラメータ計算部93は、第1のバージョンについて復号されたゲイン及びオフセットの差分をゲイン及びオフセットの過去の値にそれぞれ加算することにより、最新のスライスについて使用すべき予測パラメータの第1のバージョンを計算する(ステップS83a)。同様に、パラメータ計算部93は、第2のバージョンについて復号されたゲイン及びオフセットの差分をゲイン及びオフセットの過去の値にそれぞれ加算することにより、最新のスライスについて使用すべき予測パラメータの第2のバージョンを計算する(ステップS83b)。これら第1のバージョン及び第2のバージョンは、それぞれ、画素値のレンジのうちの第1のバンド及び第2のバンドのために使用すべき最適な値のセットを含んでもよい。その代わりに、これら第1のバージョン及び第2のバージョンは、それぞれ、第1の画像領域及び第2の画像領域のために使用すべき最適な値のセットを含んでもよい。
その後の処理の流れは、画素値が属するバンド又は画素が属する画像領域に応じた予測パラメータのバージョンの切替えがステップS84において行われ得ることを除き、図31を用いて説明した第3の例と同様であってよい。なお、可逆復号部62は、ステップS81bにおいて、予測パラメータのバージョンの切替えのためのバンド間の境界値又は画像領域間の領域境界を特定する境界情報を、例えばスライスヘッダ又はスライスヘッダの拡張から、追加的に復号してもよい。
(5)処理順序の変形例
図29〜図32のフローチャートは、アップサンプリングの実行後に色域変換が実行される例を示している。しかしながら、図25A及び図25Bを用いて説明したように、一変形例として、色域予測部90は、エンハンスメントレイヤの空間解像度(画像サイズ)がベースレイヤの空間解像度よりも高い場合に、ベースレイヤ画像の色域を変換した後、変換された当該画像をアップサンプリングすることにより、エンハンスメントレイヤ画像を予測してもよい。そのような処理順序によれば、色域変換の変換対象の画素数及びビット深度が既存の処理順序のケースと比較して低減されるため、インターレイヤ予測の処理コストを一層抑制することができる。
<6.応用例>
[6−1.様々な製品への応用]
上述した実施形態に係る画像符号化装置10及び画像復号装置60は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。
(1)第1の応用例
図33は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。
チューナ902は、アンテナ901を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ902は、復調により得られた符号化ビットストリームをデマルチプレクサ903へ出力する。即ち、チューナ902は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。
デマルチプレクサ903は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ904へ出力する。また、デマルチプレクサ903は、符号化ビットストリームからEPG(Electronic Program Guide)などの補助的なデータを抽出し、抽出したデータを制御部910に供給する。なお、デマルチプレクサ903は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ904は、デマルチプレクサ903から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ904は、復号処理により生成される映像データを映像信号処理部905へ出力する。また、デコーダ904は、復号処理により生成される音声データを音声信号処理部907へ出力する。
映像信号処理部905は、デコーダ904から入力される映像データを再生し、表示部906に映像を表示させる。また、映像信号処理部905は、ネットワークを介して供給されるアプリケーション画面を表示部906に表示させてもよい。また、映像信号処理部905は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部905は、例えばメニュー、ボタン又はカーソルなどのGUI(Graphical User Interface)の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部906は、映像信号処理部905から供給される駆動信号により駆動され、表示デバイス(例えば、液晶ディスプレイ、プラズマディスプレイ又はOLEDなど)の映像面上に映像又は画像を表示する。
音声信号処理部907は、デコーダ904から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ908から音声を出力させる。また、音声信号処理部907は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース909は、テレビジョン装置900と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース909を介して受信される映像ストリーム又は音声ストリームが、デコーダ904により復号されてもよい。即ち、外部インタフェース909もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。
制御部910は、CPU(Central Processing Unit)などのプロセッサ、並びにRAM(Random Access Memory)及びROM(Read Only Memory)などのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置900の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース911から入力される操作信号に応じて、テレビジョン装置900の動作を制御する。
ユーザインタフェース911は、制御部910と接続される。ユーザインタフェース911は、例えば、ユーザがテレビジョン装置900を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース911は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部910へ出力する。
バス912は、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、音声信号処理部907、外部インタフェース909及び制御部910を相互に接続する。
このように構成されたテレビジョン装置900において、デコーダ904は、上述した実施形態に係る画像復号装置60の機能を有する。それにより、テレビジョン装置900が色域の互いに異なるレイヤについて色域予測を実行する際に、高い予測精度を達成しながら符号量の増加を抑制することができる。
(2)第2の応用例
図34は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
アンテナ921は、通信部922に接続される。スピーカ924及びマイクロホン925は、音声コーデック923に接続される。操作部932は、制御部931に接続される。バス933は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、及び制御部931を相互に接続する。
携帯電話機920は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン925により生成されるアナログ音声信号は、音声コーデック923に供給される。音声コーデック923は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック923は、圧縮後の音声データを通信部922へ出力する。通信部922は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック923へ出力する。音声コーデック923は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部931は、操作部932を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部931は、文字を表示部930に表示させる。また、制御部931は、操作部932を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部922へ出力する。通信部922は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部931へ出力する。制御部931は、表示部930に電子メールの内容を表示させると共に、電子メールデータを記録再生部929の記憶媒体に記憶させる。
記録再生部929は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部926は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部927へ出力する。画像処理部927は、カメラ部926から入力される画像データを符号化し、符号化ストリームを記録再生部929の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部928は、画像処理部927により符号化された映像ストリームと、音声コーデック923から入力される音声ストリームとを多重化し、多重化したストリームを通信部922へ出力する。通信部922は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部922は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部928へ出力する。多重分離部928は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部927、音声ストリームを音声コーデック923へ出力する。画像処理部927は、映像ストリームを復号し、映像データを生成する。映像データは、表示部930に供給され、表示部930により一連の画像が表示される。音声コーデック923は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
このように構成された携帯電話機920において、画像処理部927は、上述した実施形態に係る画像符号化装置10及び画像復号装置60の機能を有する。それにより、携帯電話機920が色域の互いに異なるレイヤについて色域予測を実行する際に、高い予測精度を達成しながら符号量の増加を抑制することができる。
(3)第3の応用例
図35は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。
記録再生装置940は、チューナ941、外部インタフェース942、エンコーダ943、HDD(Hard Disk Drive)944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)948、制御部949、及びユーザインタフェース950を備える。
チューナ941は、アンテナ(図示せず)を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ941は、復調により得られた符号化ビットストリームをセレクタ946へ出力する。即ち、チューナ941は、記録再生装置940における伝送手段としての役割を有する。
外部インタフェース942は、記録再生装置940と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース942は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース942を介して受信される映像データ及び音声データは、エンコーダ943へ入力される。即ち、外部インタフェース942は、記録再生装置940における伝送手段としての役割を有する。
エンコーダ943は、外部インタフェース942から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ943は、符号化ビットストリームをセレクタ946へ出力する。
HDD944は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD944は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ945は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ945に装着される記録媒体は、例えばDVDディスク(DVD−Video、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等)又はBlu−ray(登録商標)ディスクなどであってよい。
セレクタ946は、映像及び音声の記録時には、チューナ941又はエンコーダ943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD944又はディスクドライブ945へ出力する。また、セレクタ946は、映像及び音声の再生時には、HDD944又はディスクドライブ945から入力される符号化ビットストリームをデコーダ947へ出力する。
デコーダ947は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ947は、生成した映像データをOSD948へ出力する。また、デコーダ904は、生成した音声データを外部のスピーカへ出力する。
OSD948は、デコーダ947から入力される映像データを再生し、映像を表示する。また、OSD948は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部949は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置940の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース950から入力される操作信号に応じて、記録再生装置940の動作を制御する。
ユーザインタフェース950は、制御部949と接続される。ユーザインタフェース950は、例えば、ユーザが記録再生装置940を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部949へ出力する。
このように構成された記録再生装置940において、エンコーダ943は、上述した実施形態に係る画像符号化装置10の機能を有する。また、デコーダ947は、上述した実施形態に係る画像復号装置60の機能を有する。それにより、記録再生装置940が色域の互いに異なるレイヤについて色域予測を実行する際に、高い予測精度を達成しながら符号量の増加を抑制することができる。
(4)第4の応用例
図36は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置960は、光学ブロック961、撮像部962、信号処理部963、画像処理部964、表示部965、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、制御部970、ユーザインタフェース971、及びバス972を備える。
光学ブロック961は、撮像部962に接続される。撮像部962は、信号処理部963に接続される。表示部965は、画像処理部964に接続される。ユーザインタフェース971は、制御部970に接続される。バス972は、画像処理部964、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、及び制御部970を相互に接続する。
光学ブロック961は、フォーカスレンズ及び絞り機構などを有する。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部962は、画像信号を信号処理部963へ出力する。
信号処理部963は、撮像部962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部963は、カメラ信号処理後の画像データを画像処理部964へ出力する。
画像処理部964は、信号処理部963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部964は、生成した符号化データを外部インタフェース966又はメディアドライブ968へ出力する。また、画像処理部964は、外部インタフェース966又はメディアドライブ968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部964は、生成した画像データを表示部965へ出力する。また、画像処理部964は、信号処理部963から入力される画像データを表示部965へ出力して画像を表示させてもよい。また、画像処理部964は、OSD969から取得される表示用データを、表示部965へ出力する画像に重畳してもよい。
OSD969は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部964へ出力する。
外部インタフェース966は、例えばUSB入出力端子として構成される。外部インタフェース966は、例えば、画像の印刷時に、撮像装置960とプリンタとを接続する。また、外部インタフェース966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置960にインストールされ得る。さらに、外部インタフェース966は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース966は、撮像装置960における伝送手段としての役割を有する。
メディアドライブ968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD(Solid State Drive)のような非可搬性の記憶部が構成されてもよい。
制御部970は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置960の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース971から入力される操作信号に応じて、撮像装置960の動作を制御する。
ユーザインタフェース971は、制御部970と接続される。ユーザインタフェース971は、例えば、ユーザが撮像装置960を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部970へ出力する。
このように構成された撮像装置960において、画像処理部964は、上述した実施形態に係る画像符号化装置10及び画像復号装置60の機能を有する。それにより、撮像装置960が色域の互いに異なるレイヤについて色域予測を実行する際に、高い予測精度を達成しながら符号量の増加を抑制することができる。
[6−2.スケーラブル符号化の様々な用途]
上述したスケーラブル符号化の利点は、様々な用途において享受され得る。以下、3つの用途の例について説明する。
(1)第1の例
第1の例において、スケーラブル符号化は、データの選択的な伝送のために利用される。図37を参照すると、データ伝送システム1000は、ストリーム記憶装置1001及び配信サーバ1002を含む。配信サーバ1002は、ネットワーク1003を介して、いくつかの端末装置と接続される。ネットワーク1003は、有線ネットワークであっても無線ネットワークであってもよく、又はそれらの組合せであってもよい。図37には、端末装置の例として、PC(Personal Computer)1004、AV機器1005、タブレット装置1006及び携帯電話機1007が示されている。
ストリーム記憶装置1001は、例えば、画像符号化装置10により生成される多重化ストリームを含むストリームデータ1011を記憶する。多重化ストリームは、ベースレイヤ(BL)の符号化ストリーム及びエンハンスメントレイヤ(EL)の符号化ストリームを含む。配信サーバ1002は、ストリーム記憶装置1001に記憶されているストリームデータ1011を読み出し、読み出したストリームデータ1011の少なくとも一部分を、ネットワーク1003を介して、PC1004、AV機器1005、タブレット装置1006、及び携帯電話機1007へ配信する。
端末装置へのストリームの配信の際、配信サーバ1002は、端末装置の能力又は通信環境などの何らかの条件に基づいて、配信すべきストリームを選択する。例えば、配信サーバ1002は、端末装置が扱うことのできる画質を上回るほど高い画質を有する符号化ストリームを配信しないことにより、端末装置における遅延、オーバフロー又はプロセッサの過負荷の発生を回避してもよい。また、配信サーバ1002は、高い画質を有する符号化ストリームを配信しないことにより、ネットワーク1003の通信帯域が占有されることを回避してもよい。一方、配信サーバ1002は、これら回避すべきリスクが存在しない場合、又はユーザとの契約若しくは何らかの条件に基づいて適切だと判断される場合に、多重化ストリームの全てを端末装置へ配信してもよい。
図37の例では、配信サーバ1002は、ストリーム記憶装置1001からストリームデータ1011を読み出す。そして、配信サーバ1002は、高い処理能力を有するPC1004へ、ストリームデータ1011をそのまま配信する。また、AV機器1005は低い処理能力を有するため、配信サーバ1002は、ストリームデータ1011から抽出されるベースレイヤの符号化ストリームのみを含むストリームデータ1012を生成し、ストリームデータ1012をAV機器1005へ配信する。また、配信サーバ1002は、高い通信レートで通信可能であるタブレット装置1006へストリームデータ1011をそのまま配信する。また、携帯電話機1007は低い通信レートでしか通信できないため、配信サーバ1002は、ベースレイヤの符号化ストリームのみを含むストリームデータ1012を携帯電話機1007へ配信する。
このように多重化ストリームを用いることにより、伝送されるトラフィックの量を適応的に調整することができる。また、個々のレイヤがそれぞれ単独に符号化されるケースと比較して、ストリームデータ1011の符号量は削減されるため、ストリームデータ1011の全体が配信されるとしても、ネットワーク1003に掛かる負荷は抑制される。さらに、ストリーム記憶装置1001のメモリリソースも節約される。
端末装置のハードウエア性能は、装置ごとに異なる。また、端末装置において実行されるアプリケーションのケイパビリティも様々である。さらに、ネットワーク1003の通信容量もまた様々である。データ伝送のために利用可能な容量は、他のトラフィックの存在に起因して、時々刻々と変化し得る。そこで、配信サーバ1002は、ストリームデータの配信を開始する前に、配信先の端末装置との間のシグナリングを通じて、端末装置のハードウエア性能及びアプリケーションケイパビリティなどに関する端末情報と、ネットワーク1003の通信容量などに関するネットワーク情報とを取得してもよい。そして、配信サーバ1002は、取得した情報に基づいて、配信すべきストリームを選択し得る。
なお、復号すべきレイヤの抽出は、端末装置において行われてもよい。例えば、PC1004は、受信した多重化ストリームから抽出され復号されるベースレイヤ画像をその画面に表示してもよい。また、PC1004は、受信した多重化ストリームからベースレイヤの符号化ストリームを抽出してストリームデータ1012を生成し、生成したストリームデータ1012を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
図37に示したデータ伝送システム1000の構成は一例に過ぎない。データ伝送システム1000は、いかなる数のストリーム記憶装置1001、配信サーバ1002、ネットワーク1003、及び端末装置を含んでもよい。
(2)第2の例
第2の例において、スケーラブル符号化は、複数の通信チャネルを介するデータの伝送のために利用される。図38を参照すると、データ伝送システム1100は、放送局1101及び端末装置1102を含む。放送局1101は、地上波チャネル1111上で、ベースレイヤの符号化ストリーム1121を放送する。また、放送局1101は、ネットワーク1112を介して、エンハンスメントレイヤの符号化ストリーム1122を端末装置1102へ送信する。
端末装置1102は、放送局1101により放送される地上波放送を受信するための受信機能を有し、地上波チャネル1111を介してベースレイヤの符号化ストリーム1121を受信する。また、端末装置1102は、放送局1101と通信するための通信機能を有し、ネットワーク1112を介してエンハンスメントレイヤの符号化ストリーム1122を受信する。
端末装置1102は、例えば、ユーザからの指示に応じて、ベースレイヤの符号化ストリーム1121を受信し、受信した符号化ストリーム1121からベースレイヤ画像を復号してベースレイヤ画像を画面に表示してもよい。また、端末装置1102は、復号したベースレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
また、端末装置1102は、例えば、ユーザからの指示に応じて、ネットワーク1112を介してエンハンスメントレイヤの符号化ストリーム1122を受信し、ベースレイヤの符号化ストリーム1121とエンハンスメントレイヤの符号化ストリーム1122とを多重化することにより多重化ストリームを生成してもよい。また、端末装置1102は、エンハンスメントレイヤの符号化ストリーム1122からエンハンスメントレイヤ画像を復号してエンハンスメントレイヤ画像を画面に表示してもよい。また、端末装置1102は、復号したエンハンスメントレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
上述したように、多重化ストリームに含まれる各レイヤの符号化ストリームは、レイヤごとに異なる通信チャネルを介して伝送され得る。それにより、個々のチャネルに掛かる負荷を分散させて、通信の遅延若しくはオーバフローの発生を抑制することができる。
また、何らかの条件に応じて、伝送のために使用される通信チャネルが動的に選択されてもよい。例えば、データ量が比較的多いベースレイヤの符号化ストリーム1121は帯域幅の広い通信チャネルを介して伝送され、データ量が比較的少ないエンハンスメントレイヤの符号化ストリーム1122は帯域幅の狭い通信チャネルを介して伝送され得る。また、特定のレイヤの符号化ストリーム1122が伝送される通信チャネルが、通信チャネルの帯域幅に応じて切り替えられてもよい。それにより、個々のチャネルに掛かる負荷をより効果的に抑制することができる。
なお、図38に示したデータ伝送システム1100の構成は一例に過ぎない。データ伝送システム1100は、いかなる数の通信チャネル及び端末装置を含んでもよい。また、放送以外の用途において、ここで説明したシステムの構成が利用されてもよい。
(3)第3の例
第3の例において、スケーラブル符号化は、映像の記憶のために利用される。図39を参照すると、データ伝送システム1200は、撮像装置1201及びストリーム記憶装置1202を含む。撮像装置1201は、被写体1211を撮像することにより生成される画像データをスケーラブル符号化し、多重化ストリーム1221を生成する。多重化ストリーム1221は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。そして、撮像装置1201は、多重化ストリーム1221をストリーム記憶装置1202へ供給する。
ストリーム記憶装置1202は、撮像装置1201から供給される多重化ストリーム1221を、モードごとに異なる画質で記憶する。例えば、ストリーム記憶装置1202は、通常モードにおいて、多重化ストリーム1221からベースレイヤの符号化ストリーム1222を抽出し、抽出したベースレイヤの符号化ストリーム1222を記憶する。これに対し、ストリーム記憶装置1202は、高画質モードにおいて、多重化ストリーム1221をそのまま記憶する。それにより、ストリーム記憶装置1202は、高画質での映像の記録が望まれる場合にのみ、データ量の多い高画質のストリームを記録することができる。そのため、画質の劣化のユーザへの影響を抑制しながら、メモリリソースを節約することができる。
例えば、撮像装置1201は、監視カメラであるものとする。撮像画像に監視対象(例えば侵入者)が映っていない場合には、通常モードが選択される。この場合、撮像画像は重要でない可能性が高いため、データ量の削減が優先され、映像は低画質で記録される(即ち、ベースレイヤの符号化ストリーム1222のみが記憶される)。これに対し、撮像画像に監視対象(例えば、侵入者である被写体1211)が映っている場合には、高画質モードが選択される。この場合、撮像画像は重要である可能性が高いため、画質の高さが優先され、映像は高画質で記録される(即ち、多重化ストリーム1221が記憶される)。
図39の例では、モードは、例えば画像解析結果に基づいて、ストリーム記憶装置1202により選択される。しかしながら、かかる例に限定されず、撮像装置1201がモードを選択してもよい。後者の場合、撮像装置1201は、通常モードにおいて、ベースレイヤの符号化ストリーム1222をストリーム記憶装置1202へ供給し、高画質モードにおいて、多重化ストリーム1221をストリーム記憶装置1202へ供給してもよい。
なお、モードを選択するための選択基準は、いかなる基準であってもよい。例えば、マイクロフォンを通じて取得される音声の大きさ又は音声の波形などに応じて、モードが切り替えられてもよい。また、周期的にモードが切り替えられてもよい。また、ユーザからの指示に応じてモードが切り替えられてもよい。さらに、選択可能なモードの数は、階層化されるレイヤの数を超えない限り、いかなる数であってもよい。
図39に示したデータ伝送システム1200の構成は一例に過ぎない。データ伝送システム1200は、いかなる数の撮像装置1201を含んでもよい。また、監視カメラ以外の用途において、ここで説明したシステムの構成が利用されてもよい。
[6−3.その他]
(1)マルチビューコーデックへの応用
マルチビューコーデックは、マルチレイヤコーデックの一種であり、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図40は、マルチビューコーデックについて説明するための説明図である。図40を参照すると、3つの視点においてそれぞれ撮影される3つのビューのフレームのシーケンスが示されている。各ビューには、ビューID(view_id)が付与される。これら複数のビューのうちいずれか1つのビューが、ベースビュー(base view)に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図40の例では、ビューIDが“0”であるビューがベースビューであり、ビューIDが“1”又は“2”である2つのビューがノンベースビューである。これらビューが階層的に符号化される場合、各ビューがレイヤに相当し得る。図中に矢印で示したように、ノンベースビューの画像は、ベースビューの画像を参照して符号化され及び復号される(他のノンベースビューの画像も参照されてよい)。
図41は、マルチビューコーデックをサポートする画像符号化装置10vの概略的な構成を示すブロック図である。図41を参照すると、画像符号化装置10vは、第1レイヤ符号化部1c、第2レイヤ符号化部1d、共通メモリ2及び多重化部3を備える。
第1レイヤ符号化部1cの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像を受け取ることを除き、図4を用いて説明したBL符号化部1aの機能と同等である。第1レイヤ符号化部1cは、ベースビュー画像を符号化し、第1レイヤの符号化ストリームを生成する。第2レイヤ符号化部1dの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像を受け取ることを除き、図4を用いて説明したEL符号化部1bの機能と同等である。第2レイヤ符号化部1dは、ノンベースビュー画像を符号化し、第2レイヤの符号化ストリームを生成する。共通メモリ2は、レイヤ間で共通的に利用される情報を記憶する。多重化部3は、第1レイヤ符号化部1cにより生成される第1レイヤの符号化ストリームと、第2レイヤ符号化部1dにより生成される第2レイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
図42は、マルチビューコーデックをサポートする画像復号装置60vの概略的な構成を示すブロック図である。図42を参照すると、画像復号装置60vは、逆多重化部5、第1レイヤ復号部6c、第2レイヤ復号部6d及び共通メモリ7を備える。
逆多重化部5は、マルチレイヤの多重化ストリームを第1レイヤの符号化ストリーム及び第2レイヤの符号化ストリームに逆多重化する。第1レイヤ復号部6cの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図5を用いて説明したBL復号部6aの機能と同等である。第1レイヤ復号部6cは、第1レイヤの符号化ストリームからベースビュー画像を復号する。第2レイヤ復号部6dの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図5を用いて説明したEL復号部6bの機能と同等である。第2レイヤ復号部6dは、第2レイヤの符号化ストリームからノンベースビュー画像を復号する。共通メモリ7は、レイヤ間で共通的に利用される情報を記憶する。
マルチビューの画像データを符号化し又は復号する際、ビュー間で色域が異なる場合には、本開示に係る技術に従って、ビュー間の色域の変換が制御されてもよい。それにより、スケーラブル符号化のケースと同様に、マルチビューコーデックにおいても、色域予測の高い予測精度を達成しながら符号量の増加を抑制することができる。
(2)ストリーミング技術への応用
本開示に係る技術は、ストリーミングプロトコルに適用されてもよい。例えば、MPEG−DASH(Dynamic Adaptive Streaming over HTTP)では、解像度などのパラメータが互いに異なる複数の符号化ストリームがストリーミングサーバにおいて予め用意される。そして、ストリーミングサーバは、複数の符号化ストリームからストリーミングすべき適切なデータをセグメント単位で動的に選択し、選択したデータを配信する。このようなストリーミングプロトコルにおいて、本開示に係る技術に従って、符号化ストリーム間の色域の予測が制御されてもよい。
<7.まとめ>
ここまで、図1〜図42を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、第1レイヤ(例えば、ベースレイヤ)とは異なる色域を有する第2レイヤ(例えば、エンハンスメントレイヤ)の画像を第1レイヤの画像から予測する際に使用される予測パラメータの過去の値からの差分が、符号化ストリームから復号される。そして、復号された当該差分を用いて上記予測パラメータが計算され、計算された予測パラメータを用いて第2レイヤの画像が予測される。色域の予測(変換)のために最適な予測パラメータが動的に変化するとしても、そのパラメータ値のフレームごとの変化は小さいと考えられる。従って、予測パラメータ値そのものを符号化する手法と比較して、上述した差分を符号化し及び復号する手法により、色域スケーラビリティにおいて高い予測精度を達成しながら符号量の増加を抑制することができる。
また、上述した実施形態によれば、色域の予測のために使用される上記予測パラメータは、第1レイヤの色成分ごとの画素値に乗算されるゲイン、及びオフセットを含む。これらゲイン及びオフセットの最適値は、フレームごとに大きく変化しない。よって、上述した差分を符号化し及び復号する手法をこれらゲイン及びオフセットに適用することが有益である。なお、かかる例に限定されず、ゲイン及びオフセットの一方についてのみ差分が符号化され及び復号されてもよい。また、ゲインに対応する分母及び分子の一方について差分が計算されてもよく、又はその双方について差分が計算されてもよい。
また、上述した実施形態によれば、予測モードパラメータが適応パラメータモードを示す場合に、上記差分を用いて計算される予測パラメータを用いて、第2レイヤの画像が予測される。従って、本開示に係る技術は、適応パラメータモードのみが使用されるケースのみならず、ビットシフトモード及び固定パラメータモードなどを含む複数の予測モードの候補から予測モードが選択されるケースにも適用可能である。
また、ある実施例によれば、前回のフレームと最新のフレームとの間で予測モードが異なる場合にも、差分の基礎としてビットシフト量に対応する予測パラメータ値又は固定的な予測パラメータ値が使用され得る。従って、フレームごとに最適な予測モードを選択しつつ、先頭のフレーム以外の全てのフレームで、上記予測パラメータの差分を符号化することができる。
また、ある実施例によれば、シーケンスごとに予測モードパラメータが符号化され及び復号され得る。この場合、1つのシーケンス内で予測モードが変化しないため、差分計算の複雑さを緩和することができる。その結果、装置の実装が容易となる。また、予測モードパラメータのための符号量を削減することができる。
また、ある実施例によれば、スライスごとに上記予測パラメータの差分が復号され得る。この場合、画像の部分領域ごとに異なる色域が使用される用途において、部分領域ごとに最適な色域予測を可能とし、符号化効率を高めることができる。
また、ある実施例によれば、重み付け予測関連パラメータと共用されるシンタックスを有するヘッダから、上記予測パラメータの差分が復号される。この場合、シンタックスの冗長性が低減され、エンコーダ及びデコーダの実装及びバージョンアップの際の互換性の確保が容易となる。また、ある変形例によれば、重み付け予測関連パラメータのシンタックスのL0参照フレーム用の部分及びL1参照フレーム用の部分の双方を活用して、色域予測のための予測パラメータの2つのバージョンが符号化され及び復号され得る。この場合、より柔軟で予測精度の高い色域予測モデルを用いることが可能となるため、色域スケーラビリティの符号化効率を向上させることができる。
また、ある実施例によれば、インターレイヤ予測の際のビットシフトを色域変換と同時に実行すべきかを示す制御パラメータが符号化され、及び復号され得る。この場合、ビットシフトを実行するタイミング(例えば、アップサンプリングと同時、又は色域変換と同時)を適応的に切り替えて、インターレイヤ予測の処理コストを抑制することが可能となる。また、一変形例によれば、アップサンプリングの実行前に、色域変換が実行され得る。この場合、色域変換の変換対象の画素数が少なくなるため、色域変換の処理コストが一層低減され得る。
なお、本明細書に記述したCU、PU及びTUとの用語は、HEVCにおいて、個々のブロックに関連付けられるシンタックスをも含む論理的な単位を意味する。画像の一部分としての個々のブロックのみに着目する場合、これらは、CB(Coding Block)、PB(Prediction Block)及びTB(Transform Block)との用語にそれぞれ置き換えられてもよい。CBは、CTB(Coding Tree Block)を四分木(Quad-Tree)状に階層的に分割することにより形成される。1つの四分木の全体がCTBに相当し、CTBに対応する論理的な単位はCTU(Coding Tree Unit)と呼ばれる。HEVCにおけるCTB及びCBは、符号化処理の処理単位である点でH.264/AVCにおけるマクロブロックに類似する役割を有する。但し、CTB及びCBは、そのサイズが固定的でない点でマクロブロックと異なる(マクロブロックのサイズは常に16×16画素である)。CTBのサイズは16×16画素、32×32画素及び64×64画素から選択され、符号化ストリーム内でパラメータにより指定される。CBのサイズは、CTBの分割の深さによって変化し得る。
また、本明細書では、色域予測の制御に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像(スライス若しくはブロックなど、画像の一部であってもよい)と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像(又はビットストリーム)とは別の伝送路上で伝送されてもよい。また、情報は、画像(又はビットストリーム)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されてもよい。さらに、情報と画像(又はビットストリーム)とは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1レイヤとは異なる色域を有する第2レイヤの画像を前記第1レイヤの画像から予測する際に使用される予測パラメータの過去の値からの差分を復号する復号部と、
前記復号部により復号される前記差分を用いて計算される前記予測パラメータを用いて、前記第1レイヤの画像から前記第2レイヤの画像を予測する予測部と、
を備える画像処理装置。
(2)
前記予測パラメータは、前記第1レイヤの画素値に乗算されるゲイン、及びオフセットを含む、前記(1)に記載の画像処理装置。
(3)
前記復号部は、予測モードを示す予測モードパラメータをさらに復号し、
前記予測部は、前記予測モードパラメータが適応パラメータモードを示す場合に、前記予測パラメータを用いて前記第2レイヤの画像を予測する、
前記(1)又は前記(2)に記載の画像処理装置。
(4)
前記復号部は、スライスごとに前記予測パラメータの前記差分を復号する、前記(3)に記載の画像処理装置。
(5)
前記予測部は、最新の予測モードパラメータが前記適応パラメータモードを示し、前回の予測モードパラメータがビットシフトモードを示す場合には、前記復号部により復号される前記差分をビットシフト量に対応する予測パラメータ値に加算することにより、最新の前記予測パラメータを計算する、前記(3)又は前記(4)に記載の画像処理装置。
(6)
前記予測部は、最新の予測モードパラメータが前記適応パラメータモードを示し、前回の予測モードパラメータが固定パラメータモードを示す場合には、前記復号部により復号される前記差分を予め定義される固定的な予測パラメータ値に加算することにより、最新の前記予測パラメータを計算する、前記(3)〜(5)のいずれか1項に記載の画像処理装置。
(7)
前記復号部は、シーケンスごとに前記予測モードパラメータを復号する、前記(3)又は前記(4)に記載の画像処理装置。
(8)
前記復号部は、重み付け予測関連パラメータと共用されるシンタックスを有するヘッダから、前記差分を復号する、前記(1)〜(7)のいずれか1項に記載の画像処理装置。
(9)
前記復号部は、前記第2レイヤにおいて前記重み付け予測関連パラメータを復号せず、
前記第2レイヤにおいて前記第1レイヤの前記重み付け予測関連パラメータが再利用される、
前記(8)に記載の画像処理装置。
(10)
前記予測パラメータの第1のバージョンが、前記重み付け予測関連パラメータと共用される前記シンタックスのL0参照フレーム用の部分から復号される差分を用いて計算され、
前記予測パラメータの第2のバージョンが、前記重み付け予測関連パラメータと共用される前記シンタックスのL1参照フレーム用の部分から復号される差分を用いて計算され、
前記予測部は、前記予測パラメータの前記第1のバージョン及び前記予測パラメータの前記第2のバージョンを、前記第2レイヤの画像を予測するために選択的に使用する、
前記(8)又は前記(9)に記載の画像処理装置。
(11)
前記予測部は、画素値が属するバンドに応じて、前記予測パラメータの前記第1のバージョン及び前記予測パラメータの前記第2のバージョンのうち使用すべきバージョンを選択する、前記(10)に記載の画像処理装置。
(12)
前記復号部は、前記使用すべきバージョンの切替えのための境界値を特定する境界情報をさらに復号する、前記(11)に記載の画像処理装置。
(13)
前記予測部は、画素が属する画像領域に応じて、前記予測パラメータの前記第1のバージョン及び前記予測パラメータの前記第2のバージョンのうち使用すべきバージョンを選択する、前記(10)に記載の画像処理装置。
(14)
前記復号部は、前記使用すべきバージョンの切替えのための領域境界を特定する境界情報をさらに復号する、前記(13)に記載の画像処理装置。
(15)
前記復号部は、前記第2レイヤのビット深度が前記第1レイヤのビット深度よりも大きい場合に、前記第2レイヤの画像を予測する際のビットシフトを色域変換と同時に実行すべきかを示す制御パラメータ、をさらに復号し、
前記予測部は、前記第2レイヤの画像を予測する際の前記ビットシフトを色域変換と同時に実行すべきであることを前記制御パラメータが示す場合に、前記ビットシフトをアップサンプリングではなく色域変換と同時に実行する、
前記(1)〜(14)のいずれか1項に記載の画像処理装置。
(16)
前記復号部は、輝度成分及び色差成分について別々に前記制御パラメータを復号する、前記(15)に記載の画像処理装置。
(17)
前記予測部は、前記第2レイヤの空間解像度が前記第1レイヤの空間解像度よりも高い場合に、前記第1レイヤの画像の色域を前記予測パラメータを用いて変換した後、変換された当該画像をアップサンプリングすることにより、前記第2レイヤの画像を予測する、前記(1)〜(16)のいずれか1項に記載の画像処理装置。
(18)
第1レイヤとは異なる色域を有する第2レイヤの画像を前記第1レイヤの画像から予測する際に使用される予測パラメータの過去の値からの差分を復号することと、
復号される前記差分を用いて計算される前記予測パラメータを用いて、前記第1レイヤの画像から前記第2レイヤの画像を予測することと、
を含む画像処理方法。
(19)
第1レイヤとは異なる色域を有する第2レイヤの画像を復号する際に参照される前記第1レイヤの画像から、前記第2レイヤの画像を予測する予測部と、
前記予測部により使用される予測パラメータの過去の値からの差分を符号化する符号化部と、
を備える画像処理装置。
(20)
前記予測パラメータは、前記第1レイヤの画素値に乗算されるゲイン、及びオフセットを含む、前記(19)に記載の画像処理装置。
(21)
前記符号化部は、前記差分に基づいて前記第2レイヤの画像が予測される場合に、予測モードとして適応パラメータモードを示す予測モードパラメータをさらに符号化する、前記(19)又は前記(20)に記載の画像処理装置。
(22)
前記符号化部は、スライスごとに前記予測パラメータの前記差分を符号化する、前記(21)に記載の画像処理装置。
(23)
前記符号化部は、最新の予測モードパラメータが前記適応パラメータモードを示し、前回の予測モードパラメータがビットシフトモードを示す場合には、前記予測パラメータの最新の値からビットシフト量に対応するパラメータ値を減算することにより計算される前記差分を符号化する、前記(21)又は前記(22)に記載の画像処理装置。
(24)
前記符号化部は、最新の予測モードパラメータが前記適応パラメータモードを示し、前回の予測モードパラメータが固定パラメータモードを示す場合には、前記予測パラメータの最新の値から予め定義される固定的なパラメータ値を減算することにより計算される前記差分を符号化する、前記(21)〜(23)のいずれか1項に記載の画像処理装置。
(25)
前記符号化部は、シーケンスごとに前記予測モードパラメータを符号化する、前記(21)又は前記(22)に記載の画像処理装置。
(26)
前記符号化部は、重み付け予測関連パラメータと共用されるシンタックスを有するヘッダにおいて前記差分を符号化する、前記(19)〜(25)のいずれか1項に記載の画像処理装置。
(27)
前記符号化部は、前記第2レイヤにおいて前記重み付け予測関連パラメータを符号化せず、
前記第2レイヤにおいて前記第1レイヤの前記重み付け予測関連パラメータが再利用される、
前記(26)に記載の画像処理装置。
(28)
前記予測部は、前記予測パラメータの第1のバージョン及び前記予測パラメータの第2のバージョンを、前記第2レイヤの画像を予測するために選択的に使用し、
前記符号化部は、前記予測パラメータの前記第1のバージョンについて計算される前記差分を、前記重み付け予測関連パラメータと共用される前記シンタックスのL0参照フレーム用の部分へ符号化し、前記予測パラメータの前記第2のバージョンについて計算される前記差分を、前記重み付け予測関連パラメータと共用される前記シンタックスのL1参照フレーム用の部分へ符号化する、
前記(26)又は前記(27)に記載の画像処理装置。
(29)
前記予測部は、画素値が属するバンドに応じて、前記予測パラメータの前記第1のバージョン及び前記予測パラメータの前記第2のバージョンのうち使用すべきバージョンを選択する、前記(28)に記載の画像処理装置。
(30)
前記符号化部は、前記使用すべきバージョンの切替えのための境界値を特定する境界情報をさらに符号化する、前記(29)に記載の画像処理装置。
(31)
前記予測部は、画素が属する画像領域に応じて、前記予測パラメータの前記第1のバージョン及び前記予測パラメータの前記第2のバージョンのうち使用すべきバージョンを選択する、前記(28)に記載の画像処理装置。
(32)
前記符号化部は、前記使用すべきバージョンの切替えのための領域境界を特定する境界情報をさらに符号化する、前記(31)に記載の画像処理装置。
(33)
前記符号化部は、前記第2レイヤのビット深度が前記第1レイヤのビット深度よりも大きい場合に、前記第2レイヤの画像を予測する際のビットシフトを色域変換と同時に実行すべきかを示す制御パラメータ、をさらに符号化する、前記(19)〜(32)のいずれか1項に記載の画像処理装置。
(34)
前記符号化部は、輝度成分及び色差成分について別々に前記制御パラメータを符号化する、前記(33)に記載の画像処理装置。
(35)
前記予測部は、前記第2レイヤの空間解像度が前記第1レイヤの空間解像度よりも高い場合に、前記第1レイヤの画像の色域を前記予測パラメータを用いて変換した後、変換された当該画像をアップサンプリングすることにより、前記第2レイヤの画像を予測する、前記(19)〜(34)のいずれか1項に記載の画像処理装置。
(36)
第1レイヤとは異なる色域を有する第2レイヤの画像を復号する際に参照される前記第1レイヤの画像から、前記第2レイヤの画像を予測することと、
前記第2レイヤの画像を予測するために使用される予測パラメータの過去の値からの差分を符号化することと、
を含む画像処理方法。