WO2014097816A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2014097816A1
WO2014097816A1 PCT/JP2013/081406 JP2013081406W WO2014097816A1 WO 2014097816 A1 WO2014097816 A1 WO 2014097816A1 JP 2013081406 W JP2013081406 W JP 2013081406W WO 2014097816 A1 WO2014097816 A1 WO 2014097816A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
quantization
unit
quantization parameter
encoded
Prior art date
Application number
PCT/JP2013/081406
Other languages
English (en)
French (fr)
Inventor
佐藤　数史
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP13863956.2A priority Critical patent/EP2908526A4/en
Priority to MX2017001340A priority patent/MX367546B/es
Priority to CA2894637A priority patent/CA2894637A1/en
Priority to AU2013365309A priority patent/AU2013365309A1/en
Priority to KR1020157013021A priority patent/KR102258356B1/ko
Priority to KR1020217015631A priority patent/KR102307099B1/ko
Priority to JP2014553036A priority patent/JP6406014B2/ja
Priority to SG11201504504YA priority patent/SG11201504504YA/en
Priority to CN201380064914.8A priority patent/CN104871539B/zh
Priority to RU2015122700A priority patent/RU2639250C2/ru
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/441,671 priority patent/US9967578B2/en
Priority to EP17181919.6A priority patent/EP3273691B1/en
Priority to CN201811100458.9A priority patent/CN109068136B/zh
Priority to MX2015007443A priority patent/MX345489B/es
Priority to BR112015013768A priority patent/BR112015013768A2/pt
Publication of WO2014097816A1 publication Critical patent/WO2014097816A1/ja
Priority to ZA2015/03589A priority patent/ZA201503589B/en
Priority to PH12015501311A priority patent/PH12015501311A1/en
Priority to US15/892,972 priority patent/US10368082B2/en
Priority to AU2018201160A priority patent/AU2018201160B2/en
Priority to US16/406,616 priority patent/US10609400B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Television Systems (AREA)

Abstract

【課題】マルチレイヤコーデックにおいて、量子化に関連するパラメータをレイヤ間で再利用して符号化効率を高めること。 【解決手段】第１レイヤの色差成分に設定される第１の量子化パラメータオフセットに基づいて、前記第１レイヤを参照して復号される第２レイヤの色差成分に第２の量子化パラメータオフセットを設定する制御部と、前記制御部により設定された前記第２の量子化パラメータオフセットを用いて算出される量子化パラメータで、前記第２レイヤの色差成分の変換係数データを逆量子化する逆量子化部と、を備える画像処理装置を提供する。

Description

画像処理装置及び画像処理方法
　本開示は、画像処理装置及び画像処理方法に関する。
　現在、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ－ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint　Collaboration　Team-Video　Coding）により、ＨＥＶＣ（High　Efficiency　Video　Coding）と呼ばれる画像符号化方式の標準化が進められている（例えば、下記非特許文献１参照）。
　ＨＥＶＣは、ＭＰＥＧ２及びＡＶＣ（Advanced　Video　Coding）などの既存の画像符号化方式と同様、シングルレイヤの符号化のみならず、スケーラブル符号化をも提供する（例えば、下記非特許文献２参照）。ＨＥＶＣのスケーラブル符号化技術を、ＳＨＶＣ（Scalable　HEVC）ともいう。ＳＨＶＣでは、エンハンスメントレイヤがＨＥＶＣ方式で符号化される一方で、ベースレイヤはＨＥＶＣ方式で符号化されてもよく、又はＨＥＶＣ方式以外の画像符号化方式（例えば、ＡＶＣ方式）で符号化されてもよい。
　スケーラブル符号化とは、一般には、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化において階層化される典型的な属性は、主に次の３種類である。
　　－空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
　　－時間スケーラビリティ：フレームレートが階層化される。
　　－ＳＮＲ（Signal　to　Noise　Ratio）スケーラビリティ：ＳＮ比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。
　スケーラブル符号化では、レイヤ間で再利用可能なパラメータを１つのレイヤ内でのみ符号化することで、符号化効率を高めることができる（例えば、下記非特許文献３参照）。
Benjamin　Bross,　Woo-Jin　Han,　Jens-Rainer　Ohm,　Gary　J.　Sullivan,　Thomas　Wiegand,　"High　Efficiency　Video　Coding　(HEVC)　text　specification　draft　9"（JCTVC-K1003_v9,　2012年10月10-19日） Jill　Boyce,　Ye-Kui　Wang,　"NAL　unit　header　and　parameter　set　designs　for　HEVC　extensions"（JCTVC-K1007，　2012年10月10-19日） Jill　Boyce,　Kawamura　Kei,　Haricharan　Lakshman,　"TE6:　Inter-layer　syntax　prediction　from　AVC　base　layer"（JCTVC-K1106v2，　2012年10月10-19日）
　しかしながら、これまでに提案されてきたスケーラブル符号化の手法によれば、直交変換後の変換係数データの量子化に関連する多くのパラメータは、レイヤ間で再利用されない。符号化効率を最適化するためには、量子化に関連するパラメータもまた、レイヤ間で可能な限り再利用されることが望ましい。この点は、スケーラブル符号化のみならず、インターレイヤ予測をサポートするマルチレイヤコーデック一般について同様である。マルチレイヤコーデックの他の例は、マルチビューコーデックである。
　本開示によれば、第１レイヤの色差成分に設定される第１の量子化パラメータオフセットに基づいて、前記第１レイヤを参照して復号される第２レイヤの色差成分に第２の量子化パラメータオフセットを設定する制御部と、前記制御部により設定された前記第２の量子化パラメータオフセットを用いて算出される量子化パラメータで、前記第２レイヤの色差成分の変換係数データを逆量子化する逆量子化部と、を備える画像処理装置が提供される。
　上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。
　また、本開示によれば、第１レイヤの色差成分に設定される第１の量子化パラメータオフセットに基づいて、前記第１レイヤを参照して復号される第２レイヤの色差成分に第２の量子化パラメータオフセットを設定することと、設定された前記第２の量子化パラメータオフセットを用いて算出される量子化パラメータで、前記第２レイヤの色差成分の変換係数データを逆量子化することと、を含む画像処理方法が提供される。
　また、本開示によれば、第１レイヤを参照して符号化される第２レイヤの色差成分の変換係数データを所与の量子化パラメータで量子化する量子化部と、前記第１レイヤの色差成分に設定された第１の量子化パラメータオフセットと前記所与の量子化パラメータとに基づいて算出される、前記第２レイヤの色差成分の第２の量子化パラメータオフセットを符号化する符号化部と、を備える画像処理装置が提供される。
　上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
　また、本開示によれば、第１レイヤを参照して符号化される第２レイヤの色差成分の変換係数データを所与の量子化パラメータで量子化することと、前記第１レイヤの色差成分に設定された第１の量子化パラメータオフセットと前記所与の量子化パラメータとに基づいて算出される、前記第２レイヤの色差成分の第２の量子化パラメータオフセットを符号化することと、を含む画像処理方法が提供される。
　本開示に係る技術によれば、マルチレイヤコーデックにおいて、量子化に関連するパラメータをレイヤ間で再利用して符号化効率を高めることができる。
スケーラブル符号化について説明するための説明図である。 レート制御の粒度について説明するための説明図である。 量子化パラメータと量子化ステップとの間の関係の一例を示す説明図である。 ＣＴＢ内予測及びＣＴＢ間予測におけるブロック間の参照関係の一例を示す説明図である。 一実施形態に係る画像符号化装置の概略的な構成を示すブロック図である。 一実施形態に係る画像復号装置の概略的な構成を示すブロック図である。 図５に示したＥＬ符号化部の構成の一例を示すブロック図である。 図７に示した量子化制御部の構成の一例を示すブロック図である。 量子化行列の再利用について説明するための第１の説明図である。 量子化行列の再利用について説明するための第２の説明図である。 量子化行列の再利用について説明するための第３の説明図である。 量子化行列の再利用について説明するための第４の説明図である。 一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。 エンハンスメントレイヤの符号化処理における量子化に関連する処理の流れの一例を示すフローチャートである。 図６に示したＥＬ復号部の構成の一例を示すブロック図である。 図１２に示した逆量子化制御部の構成の一例を示すブロック図である。 一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。 エンハンスメントレイヤの復号処理における逆量子化に関連する処理の流れの一例を示すフローチャートである。 一実施形態において採用され得るエンハンスメントレイヤのシンタックスの一例について説明するための第１の説明図である。 一実施形態において採用され得るエンハンスメントレイヤのシンタックスの一例について説明するための第２の説明図である。 一実施形態において採用され得るエンハンスメントレイヤのシンタックスの一例について説明するための第３の説明図である。 エンハンスメントレイヤのシンタックスの第１の変形例について説明するための説明図である。 エンハンスメントレイヤのシンタックスの第２の変形例について説明するための説明図である。 許容され又は禁止され得るコーデックの組合せについて説明するための第１の説明図である。 許容され又は禁止され得るコーデックの組合せについて説明するための第２の説明図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化の用途の第１の例について説明するための説明図である。 スケーラブル符号化の用途の第２の例について説明するための説明図である。 スケーラブル符号化の用途の第３の例について説明するための説明図である。 マルチビューコーデックについて説明するための説明図である。 マルチビューコーデックのための画像符号化装置の概略的な構成を示すブロック図である。 マルチビューコーデックのための画像復号装置の概略的な構成を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。 コンテンツ再生システムの概要を示す説明図である。 コンテンツ再生システムにおけるデータの流れの一例を示す説明図である。 ＭＰＤの具体的な例を示す説明図である。 コンテンツサーバの構成の一例を示すブロック図である。 コンテンツ再生装置の構成の一例を示すブロック図である。 コンテンツサーバの構成の他の例を示すブロック図である。 Ｗｉ－ＦｉのＰ２Ｐモードで形成される無線通信システムにおける基本的な動作シーケンスを示すシーケンス図の前半部である。 Ｗｉ－ＦｉのＰ２Ｐモードで形成される無線通信システムにおける基本的な動作シーケンスを示すシーケンス図の後半部である。 拡張された動作シーケンスのためのＭＡＣフレームのフレームフォーマットの一例を示す説明図である。 拡張された動作シーケンスを示すシーケンス図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．概要
　　　１－１．スケーラブル符号化
　　　１－２．一般的なレート制御
　　　１－３．色差成分の量子化パラメータ
　　　１－４．量子化行列
　　　１－５．エンコーダの基本的な構成例
　　　１－６．デコーダの基本的な構成例
　　２．一実施形態に係るＥＬ符号化部の構成例
　　　２－１．全体的な構成
　　　２－２．量子化制御部の詳細な構成
　　３．一実施形態に係る符号化時の処理の流れ
　　　３－１．概略的な流れ
　　　３－２．量子化に関連する処理
　　４．一実施形態に係るＥＬ復号部の構成例
　　　４－１．全体的な構成
　　　４－２．逆量子化制御部の詳細な構成
　　５．一実施形態に係る復号時の処理の流れ
　　　５－１．概略的な流れ
　　　５－２．逆量子化に関連する処理
　　　５－３．シンタックスの例
　　６．コーデックの組合せの例
　　７．応用例
　　　７－１．様々な製品への応用
　　　７－２．スケーラブル符号化の様々な用途
　　　７－３．他のコーデックへの応用
　　　７－４．様々な実装レベル
　　　７－５．ＭＰＥＧ－ＤＡＳＨを利用するシステム
　　　７－６．Ｗｉ－ＦｉのＰ２Ｐモードを利用するシステム
　　８．まとめ
　＜１．概要＞
　　［１－１．スケーラブル符号化］
　スケーラブル符号化においては、一連の画像をそれぞれ含む複数のレイヤが符号化される。ベースレイヤ（base　layer）は、最初に符号化される、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement　layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、ベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤの数は、２つ以上のいかなる数であってもよい。３つ以上のレイヤが符号化される場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。
　図１は、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３を示している。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。なお、ここでは、様々な種類のスケーラビリティのうち、空間スケーラビリティを例にとっている。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。なお、ここでの解像度比は一例に過ぎず、例えば１．５：１などの非整数の解像度比が使用されてもよい。レイヤＬ１のブロックＢ１は、ベースレイヤのピクチャ内の符号化処理の処理単位である。レイヤＬ２のブロックＢ２は、ブロックＢ１と共通するシーンを映したエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ２は、レイヤＬ１のブロックＢ１に対応する。レイヤＬ３のブロックＢ３は、ブロックＢ１及びＢ２と共通するシーンを映したより上位のエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ３は、レイヤＬ１のブロックＢ１及びレイヤＬ２のブロックＢ２に対応する。
　このようなレイヤ構造において、画像の周波数特性は、共通するシーンを映したレイヤ間で類似する。例えば、レイヤＬ１内のブロックＢ１の画像が平坦でその高周波成分が小さい場合、レイヤＬ２内のブロックＢ２の画像の高周波成分もまた小さい可能性が高い。レイヤＬ２内のブロックＢ２とレイヤＬ３内のブロックＢ３との間にも同じことが言える。
　　［１－３．一般的なレート制御］
　画像の周波数特性は、直交変換の結果として発生する変換係数データのビット数を左右する。符号化ストリームのビットレートを一定に保つために、通常、変換係数データのビット数が多ければ、変換係数データは、より大きい量子化ステップで量子化される。期待されるビットレートを実現するためのレート制御方式の一例は、ＭＰＥＧ２テストモデルにおいて示されている。ＭＰＥＧ２テストモデルでは、まず、ＧＯＰに割当てられるビット量と、ＧＯＰ内の各ピクチャのピクチャタイプ及び複雑度（Global　Complexity　Measure）とに基づいて、ピクチャごとの割当て符号量が決定される。そして、各ピクチャ内のマクロブロックごとの量子化パラメータ（量子化スケールコード）が、マクロブロックごとに算出されるアクティビティと当該ピクチャの割当て符号量とに基づいて算出される。ここでのアクティビティは、画像の複雑さを表す指標の一種である。なお、ＭＰＥＧ２テストモデルにおけるレート制御方式の詳細は、次のＷｅｂページにおいて公開されている。
－参考ＵＲＬ　http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.html
　ところで、ＭＰＥＧ２方式では、１６×１６画素のサイズを有するマクロブロックごとに上述した量子化スケールコードが決定される。ＨＥＶＣ方式においてマクロブロックに相当するＬＣＵ（最大符号化単位：Largest　Coding　Unit）の最大サイズは、６４×６４画素である。しかし、レート制御の粒度が大き過ぎると、量子化ステップが局所的に画像の複雑さに適合しない領域が生じ得る。例えば、図２において、上段に示された画像の正規化アクティビティを６４×６４画素の粒度で算出した結果が中段に、当該正規化アクティビティを１６×１６画素の粒度で算出した結果が下段に示されている。ここでは、より高いアクティビティが白色で示されている。図２から理解されるように、６４×６４画素の粒度でレート制御を行うと、例えば複雑さが低いにも関わらず大きい量子化ステップで量子化され、又は複雑さが高いにも関わらず小さい量子化ステップでしか量子化されない領域が多く発生し得る。
　上述したブロックサイズに起因する不都合を回避してレート制御を適切に実行するために、ＨＥＶＣ方式では、ＬＣＵよりも小さいブロックの単位で量子化ステップを制御する手法が採用されている。より具体的には、上記非特許文献１に記載されたＰＰＳ（Picture　Parameter　Set）のシンタックスを参照すると、cu_qp_delta_enabled_flagがTrueである場合に、diff_cu_qp_delta_depthというサイズ情報によって、量子化ステップを指定する単位となるブロックのサイズが指定される。実際には、量子化ステップの対数がＳＮ（Signal　to　Noise）比と比例関係にあるため、量子化ステップが直接的に指定される代わりに、量子化パラメータがブロックごとに指定される。量子化パラメータｑｐ（quantization　parameter）に対応する量子化ステップをＳ（ｑｐ）とすると、量子化ステップＳ（ｑｐ）が次式を満たすように、量子化パラメータｑｐと量子化ステップＳ（ｑｐ）との間の関係が定義される。
Figure JPOXMLDOC01-appb-M000001
　ＨＥＶＣ方式では、量子化パラメータ及び量子化ステップのレンジが最適化されるように、変数ａ＝６、変数ｂ＝２という値が採用されている。この場合の量子化パラメータｑｐと量子化ステップＳ（ｑｐ）との間の関係を図３に示す。図３に示したように、量子化パラメータｑｐの値が６増えるごとに、量子化ステップＳ（ｑｐ）の値は２倍になる。
　量子化パラメータは実際には、複数の量子化関連パラメータの組合せによって指定される。上記非特許文献１に記載されたシンタックスを参照すると、ＰＰＳ内のpic_init_qp_minus26及びスライスヘッダ内のslice_qp_deltaというパラメータによって、量子化パラメータが初期化される（SliceQPY＝26＋pic_init_qp_minus26＋slice_qp_delta）。個々のＣＵ（Coding　Unit）の量子化パラメータは、上の隣接ＣＵ及び左の隣接ＣＵの一方若しくは双方の量子化パラメータから予測され（ＣＴＢ内予測）、又は復号順で直前のＣＵの量子化パラメータから予測される（ＣＴＢ間予測）。図４には、ＣＴＢ（Coding　Tree　Block）内及びＣＴＢ間の量子化パラメータの予測における参照関係が例示されている。上の隣接ＣＵ及び左の隣接ＣＵの双方が参照可能な場合のＣＴＢ内予測では、量子化パラメータの予測値は、上の隣接ＣＵ及び左の隣接ＣＵの量子化パラメータ（TopQP，LeftQP）の平均値（（TopQP＋LeftQP＋1）>>１）に等しい。そして、ＴＵ（Transform　Unit）内のcu_qp_delta_abs及びcu_qp_delta_signにより示される残差を上述した予測値に加算することにより、個々の量子化パラメータの値が算出される。
　　［１－３．色差成分の量子化パラメータ］
　前項で説明した量子化パラメータの算出手法は、主に輝度成分の量子化パラメータについての手法である。色差成分については、輝度成分の量子化パラメータにオフセットを加算することにより、色差成分のために調整された量子化パラメータを使用することができる。上記非特許文献１に記載されたシンタックスを参照すると、色差成分の量子化パラメータのオフセットは、ＰＰＳ内のpic_cb_qp_offset及びpic_cr_qp_offset、並びにスライスヘッダ内のslice_cb_qp_offset及びslice_cr_qp_offsetによって指定される。pic_cb_qp_offsetとslice_cb_qp_offsetとの和がＣｂ成分の量子化パラメータのオフセットであり、pic_cr_qp_offsetとslice_cr_qp_offsetとの和がＣｒ成分の量子化パラメータのオフセットである。
　なお、ＨＥＶＣ方式における輝度成分の量子化パラメータと色差成分の量子化パラメータとの間の具体的な関係式は、上記非特許文献１に記載されている。ＡＶＣ方式との相違点として、ＡＶＣ方式では、Ｃｂ成分及びＣｒ成分のオフセットが等しい場合に、１つのchroma_qp_index_offsetのみがＰＰＳ内で符号化される。これに対し、ＨＥＶＣ方式では、上述したように、Ｃｂ成分及びＣｒ成分のそれぞれのオフセットが、ＰＰＳ及びスライスヘッダ内で符号化される。従って、ＨＥＶＣ方式の方がスライス単位で柔軟に色差成分の量子化パラメータを調整可能である。また、ＡＶＣ方式では、色差成分の量子化パラメータの上限値は３９である一方、ＨＥＶＣ方式では、色差成分の量子化パラメータの上限値は輝度成分と同じ５１である。従って、ＨＥＶＣ方式では、ＨＲＤ（Hypothetical　Reference　Decoder）バッファのオーバフローを、色差成分の変換係数データの情報量を削減することにより回避することが容易である。
　　［１－４．量子化行列］
　量子化行列（スケーリングリストともいう）は、画像の高周波成分を感知しにくいという人間の視覚特性を利用して、高周波成分を低周波成分よりも粗く量子化するために導入される技術である。量子化行列が利用される場合、前項までに説明した量子化パラメータに対応する量子化ステップそのものの代わりに、量子化行列の各要素の値でスケーリングされた量子化ステップが、変換係数データを量子化し及び逆量子化するために使用される。ＡＶＣ方式では、４×４画素及び８×８画素のサイズをそれぞれ有する量子化行列が利用可能である。これに対し、ＨＥＶＣ方式では、４×４画素、８×８画素、１６×１６画素及び３２×３２画素のサイズをそれぞれ有する量子化行列が利用可能である。但し、ＨＥＶＣ方式では、符号量の削減のために、１６×１６画素及び３２×３２画素の量子化行列は、直流成分を除いて、それぞれ８×８画素のサイズで符号化され、使用時に当該８×８画素のサイズからゼロ次オーダホールドでアップサンプリングされる。直流成分は別途符号化される。
　このように、ＨＥＶＣ方式の現在の仕様では、量子化に関連する様々なパラメータが符号化される。ここで、上述したように、画像の周波数特性は、レイヤ間で類似する。また、画像の周波数特性は、変換係数データのビット数を左右し、そのビット数は量子化によって制御される。従って、レイヤ間で共通するパラメータを用いて、スケーラブル符号化におけるベースレイヤ及びエンハンスメントレイヤの量子化を制御することにより、適切なレート制御を実現しつつ、量子化に関連するパラメータの符号量を削減することができるものと期待される。そこで、量子化に関連するパラメータをレイヤ間で再利用するための画像処理装置の実施形態について、次節より詳細に説明する。
　　［１－５．エンコーダの基本的な構成例］
　図５は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置１０の概略的な構成を示すブロック図である。図５を参照すると、画像符号化装置１０は、ベースレイヤ（ＢＬ）符号化部１ａ、エンハンスメントレイヤ（ＥＬ）符号化部１ｂ、共通メモリ２及び多重化部３を備える。
　ＢＬ符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。ＥＬ符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
　　［１－６．デコーダの基本的な構成例］
　図６は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置６０の概略的な構成を示すブロック図である。図６を参照すると、画像復号装置６０は、逆多重化部５、ベースレイヤ（ＢＬ）復号部６ａ、エンハンスメントレイヤ（ＥＬ）復号部６ｂ及び共通メモリ７を備える。
　逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。ＢＬ復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。ＥＬ復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
　図５に例示した画像符号化装置１０において、ベースレイヤの符号化のためのＢＬ符号化部１ａの構成と、エンハンスメントレイヤの符号化のためのＥＬ符号化部１ｂの構成とは、互いに類似する。ＢＬ符号化部１ａにより生成され又は取得されるいくつかのパラメータは、共通メモリ２を用いてバッファリングされ、ＥＬ符号化部１ｂにより再利用される。次節では、そのようなＥＬ符号化部１ｂの構成について詳細に説明する。
　同様に、図６に例示した画像復号装置６０において、ベースレイヤの復号のためのＢＬ復号部６ａの構成と、エンハンスメントレイヤの復号のためのＥＬ復号部６ｂの構成とは、互いに類似する。ＢＬ復号部６ａにより生成され又は取得されるいくつかのパラメータは、共通メモリ７を用いてバッファリングされ、ＥＬ復号部６ｂにより再利用される。さらに次の節では、そのようなＥＬ復号部６ｂの構成について詳細に説明する。
　＜２．一実施形態に係るＥＬ符号化部の構成例＞
　　［２－１．全体的な構成］
　図７は、図５に示したＥＬ符号化部１ｂの構成の一例を示すブロック図である。図７を参照すると、ＥＬ符号化部１ｂは、並び替えバッファ１１、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、インター予測部３５並びに量子化制御部４０を備える。
　並び替えバッファ１１は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１１は、符号化処理に係るＧＯＰ（Group　of　Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０、及びインター予測部３５へ出力する。
　減算部１３には、並び替えバッファ１１から入力される画像データ、及び後に説明するイントラ予測部３０又はインター予測部３５から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
　直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete　Cosine　Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
　量子化部１５には、直交変換部１４から変換係数データが入力されると共に、後に説明する量子化制御部４０から量子化パラメータが入力される。量子化部１５には、量子化制御部４０から量子化行列もまた入力され得る。量子化部１５は、入力される量子化パラメータ（及び量子化行列）から決定される量子化ステップで、エンハンスメントレイヤの変換係数データを量子化し、量子化データ（量子化された変換係数データ）を生成する。そして、量子化部１５は、量子化データを可逆符号化部１６及び逆量子化部２１へ出力する。
　可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。また、可逆符号化部１６は、符号化ストリームを復号する際に参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。可逆符号化部１６により符号化されるパラメータは、後に説明するイントラ予測に関する情報、インター予測に関する情報及び量子化関連パラメータを含み得る。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
　蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
　レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化制御部４０へ出力する。レート制御部１８は、上述したＭＰＥＧ２テストモデルと同等のレート制御方式又はその他のレート制御方式に従って、符号化ストリームのレートを制御してよい。量子化制御部４０へ出力されるレート制御信号は、量子化パラメータ及び量子化行列を含み得る。
　逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。逆量子化部２１には、量子化部１５から量子化データが入力されると共に、後に説明する量子化制御部４０から量子化パラメータが入力される。逆量子化部２１には、量子化制御部４０から量子化行列もまた入力され得る。逆量子化部２１は、入力される量子化パラメータ（及び量子化行列）から決定される量子化ステップで、エンハンスメントレイヤの量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２１は、復元した変換係数データを逆直交変換部２２へ出力する。
　逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
　加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部３５から入力される予測画像データとを加算することにより、復号画像データ（エンハンスメントレイヤのリコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
　デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
　フレームメモリ２５は、加算部２３から入力される復号画像データ及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
　セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部３５に供給する。
　セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部３５から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。
　イントラ予測部３０は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣ方式の予測単位（ＰＵ）ごとにイントラ予測処理を行う。例えば、イントラ予測部３０は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。そして、イントラ予測部３０は、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
　インター予測部３５は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣ方式の予測単位ごとにインター予測処理を行う。例えば、インター予測部３５は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部３５は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部３５は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。そして、インター予測部３５は、選択した最適な予測モードを表す予測モード情報と動き情報とを含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
　量子化制御部４０は、共通メモリ２によりバッファリングされる情報を用いて、ＥＬ符号化部１ｂにおける量子化処理及び逆量子化処理を制御する。また、量子化制御部４０は、量子化関連パラメータを生成する。本実施形態において、量子化制御部４０により生成される量子化関連パラメータは、量子化パラメータを決定する際に使用されるパラメータ、及び量子化行列を決定する際に使用されるパラメータを含み得る。本明細書では、量子化パラメータを決定する際に使用されるパラメータをＱＰ（Quantization　Parameter）パラメータ、量子化行列を決定する際に使用されるパラメータをＳＬ（Scaling　List）パラメータという。
　ＱＰパラメータは、主に輝度成分に関連するパラメータ群と、色差成分に関連するパラメータ群とを含む。一例として、輝度成分に関連するパラメータ群は、ピクチャ単位のパラメータであるpic_init_qp_minus26、スライス単位のパラメータであるslice_qp_delta、並びにＣＵ単位のパラメータであるcu_qp_delta_abs及びcu_qp_delta_signを含み得る。色差成分に関連するパラメータ群は、スライス単位のパラメータであるslice_cbE_qp_offset及びslice_crE_qp_offsetを含み得る。既存の手法において生成される色差成分に関連するピクチャ単位のパラメータpic_cb_qp_offset及びpic_cr_qp_offsetは、本実施形態では生成されない。
　ベースレイヤに設定された量子化行列がエンハンスメントレイヤにおいて再利用されない場合には、エンハンスメントレイヤに設定すべき１つ以上のサイズの量子化行列を指定するＳＬパラメータが生成される。量子化行列がレイヤ間で再利用される場合において、ベースレイヤがＨＥＶＣ方式で符号化されるときは、ＳＬパラメータは生成されなくてよい。量子化行列がレイヤ間で再利用される場合において、ベースレイヤがＡＶＣ方式で符号化されるときは、エンハンスメントレイヤに設定すべき１６×１６画素及び３２×３２画素のサイズの量子化行列を指定するＳＬパラメータが生成され得る。量子化行列がレイヤ間で再利用される場合に、量子化行列が再利用されることを示すフラグ及びどのレイヤの量子化行列を再利用すべきかを示す情報などが、ＳＬパラメータとして生成されてもよい。
　なお、変換係数データを量子化し及び逆量子化するために実際に使用される量子化ステップ（又は量子化パラメータ）は、例えば、レート制御部１８から入力されるレート制御信号により指定されてもよい。その代わりに、実際に使用される量子化ステップ（又は量子化パラメータ）は、予めユーザにより指定されてもよい。
　　［２－２．量子化制御部の詳細な構成］
　図８は、図７に示した量子化制御部４０の構成の一例を示すブロック図である。図８を参照すると、量子化制御部４０は、ＱＰ設定部４１、ＱＰパラメータ生成部４２、ＳＬ設定部４３及びＳＬパラメータ生成部４４を有する。
　　　（１）ＱＰ設定部
　ＱＰ設定部４１は、エンハンスメントレイヤの輝度成分及び色差成分の変換係数データを量子化する際に量子化部１５により実際に使用される量子化パラメータを、エンハンスメントレイヤの各ブロックに設定する。ＱＰ設定部４１により設定される当該量子化パラメータは、逆量子化部２１が量子化データを逆量子化する際にも使用される。ここでのブロックは、ＬＣＵと等しいサイズ又はＬＣＵよりも小さいサイズを有し得る。例えば、ＱＰ設定部４１は、レート制御部１８から入力されるレート制御信号に従って、輝度成分（Ｙ）の量子化パラメータ及び色差成分（Ｃｂ，Ｃｒ）の量子化パラメータを設定してもよい。その代わりに、ＱＰ設定部４１は、予めユーザにより指定される輝度成分の量子化パラメータ及び色差成分の量子化パラメータを設定してもよい。そして、ＱＰ設定部４１は、エンハンスメントレイヤの各ブロックに設定した量子化パラメータ（ＱＰ（ＥＬ））を、量子化部１５、逆量子化部２１及びＱＰパラメータ生成部４２へ出力する。
　　　（２）ＱＰパラメータ生成部
　ＱＰパラメータ生成部４２は、ＱＰ設定部４１から入力されるエンハンスメントレイヤの量子化パラメータと共通メモリ２によりバッファリングされるベースレイヤのＱＰパラメータとに基づいて、エンハンスメントレイヤのＱＰパラメータを生成する。輝度成分のＱＰパラメータは、上記非特許文献１に記載された仕様に従って生成されてよい。
　例えば、ベースレイヤがＨＥＶＣ方式で符号化される場合、ベースレイヤのＣｂ成分のＱＰパラメータは、pic_cb_qp_offset及びslice_cb_qp_offsetを含み得る。エンハンスメントレイヤのＣｂ成分について実際に使用される所与の量子化パラメータに対応する量子化パラメータオフセットをcbE_qp_offsetとすると、エンハンスメントレイヤのＣｂ成分のＱＰパラメータslice_cbE_qp_offsetは、例えば、次式に従って生成されてよい：
Figure JPOXMLDOC01-appb-M000002
　同様に、ベースレイヤがＨＥＶＣ方式で符号化される場合、ベースレイヤのＣｒ成分のＱＰパラメータは、pic_cr_qp_offset及びslice_cr_qp_offsetを含み得る。エンハンスメントレイヤのＣｒ成分について実際に使用される所与の量子化パラメータに対応する量子化パラメータオフセットをcrE_qp_offsetとすると、エンハンスメントレイヤのＣｒ成分のＱＰパラメータslice_crE_qp_offsetは、例えば、次式に従って生成されてよい：
Figure JPOXMLDOC01-appb-M000003
　式（２）及び式（３）によれば、ＱＰパラメータ生成部４２により生成されるＱＰパラメータslice_cbE_qp_offset及びslice_crE_qp_offsetは、エンハンスメントレイヤの量子化パラメータオフセット（cbE_qp_offset／crE_qp_offset）とベースレイヤの量子化パラメータオフセット（cbB_qp_offset／crB_qp_offset）との間の差分に等しい。ここでのベースレイヤの量子化パラメータオフセット（cbB_qp_offset／crB_qp_offset）は、ピクチャ単位のオフセットとスライス単位のオフセットとの和である。
　ＱＰパラメータslice_cbE_qp_offset及びslice_crE_qp_offsetを生成するために、式（２）及び式（３）の代わりに、次の式（４）及び式（５）が使用されてもよい。
Figure JPOXMLDOC01-appb-M000004
　式（４）及び式（５）によれば、ＱＰパラメータ生成部４２により生成されるＱＰパラメータslice_cbE_qp_offset及びslice_crE_qp_offsetは、エンハンスメントレイヤの量子化パラメータオフセットとベースレイヤのピクチャ単位の量子化パラメータオフセット（pic_cb_qp_offset／pic_cr_qp_offset）との間の差分に等しい。
　ベースレイヤがＡＶＣ方式で符号化される場合、ベースレイヤの色差成分のＱＰパラメータは、スライス単位の量子化パラメータオフセットを含まず、ピクチャ単位のchroma_qp_index_offset及びsecond_chroma_qp_index_offsetを含み得る。second_chroma_qp_index_offsetが存在しない場合には、エンハンスメントレイヤのＱＰパラメータslice_cbE_qp_offset及びslice_crE_qp_offsetは、例えば、次の式（６）及び式（７）に従ってそれぞれ生成され得る：
Figure JPOXMLDOC01-appb-M000005
　second_chroma_qp_index_offsetが存在する場合には、上記式（７）は、次の式（８）に置き換えられる：
Figure JPOXMLDOC01-appb-M000006
　ＱＰパラメータ生成部４２は、このように生成されるエンハンスメントレイヤのＱＰパラメータslice_cbE_qp_offset及びslice_crE_qp_offsetを、可逆符号化部１６へ出力する。
　なお、上述した例に限定されず、量子化制御部４０は、レイヤ間でＱＰパラメータを再利用しなくてもよい。また、ＱＰパラメータ生成部４２は、レイヤ間で色差成分のＱＰパラメータを再利用すべきか、即ちベースレイヤの量子化パラメータオフセットに基づいてエンハンスメントレイヤの量子化パラメータオフセットを設定すべきかを示すＱＰパラメータ再利用フラグを生成してもよい。ＱＰパラメータ再利用フラグは、典型的には、可逆符号化部１６によりＰＰＳ内に符号化される。ＱＰパラメータ再利用フラグが“True”を示す場合には、エンハンスメントレイヤにおいて、スライス単位のslice_cbE_qp_offset及びslice_crE_qp_offsetのみが、スライスヘッダ内に符号化され得る。ＱＰパラメータ再利用フラグが“False”を示す場合には、エンハンスメントレイヤにおいて、ピクチャ単位のpic_cb_qp_offset及びpic_cr_qp_offsetもまた、ＰＰＳ内に符号化され得る。
　　　（３）ＳＬ設定部
　ＳＬ設定部４３は、エンハンスメントレイヤの輝度成分及び色差成分の変換係数データを量子化する際に量子化部１５により実際に使用され得る量子化行列を、エンハンスメントレイヤの各ブロックに設定する。ＳＬ設定部４３により設定される当該量子化行列は、逆量子化部２１が量子化データを逆量子化する際にも使用され得る。例えば、ＳＬ設定部４３は、レート制御部１８から入力されるレート制御信号に従って、各色成分（Ｙ，Ｃｂ，Ｃｒ）の各予測モード（イントラ／インター）の４×４画素、８×８画素、１６×１６画素及び３２×３２画素のサイズを有する量子化行列をそれぞれ設定してもよい。その代わりに、ＳＬ設定部４３は、予めユーザにより指定される量子化行列を設定してもよい。そして、ＳＬ設定部４３は、エンハンスメントレイヤの各ブロックに設定した量子化行列（ＳＬ（ＥＬ））を、量子化部１５、逆量子化部２１及びＳＬパラメータ生成部４４へ出力する。
　　　（４）ＳＬパラメータ生成部
　量子化行列がレイヤ間で再利用される場合において、ＳＬパラメータ生成部４４による処理は、ベースレイヤがＨＥＶＣ方式で符号化されるか否かに依存して異なる。上記非特許文献２によれば、ベースレイヤがＨＥＶＣ方式で符号化されるか否かは、ＶＰＳ（Video　Parameter　Set）内に符号化されるフラグavc_base_layer_flagにより示される。図９Ａ～図９Ｄは、量子化行列の再利用について説明するための説明図である。
　図９Ａの例では、ベースレイヤはＨＥＶＣ方式で符号化される。この場合、ベースレイヤにおいて、４×４画素、８×８画素、１６×１６画素及び３２×３２画素の量子化行列が設定される。従って、エンハンスメントレイヤではそれら量子化行列を再利用すればよいため、ＳＬパラメータ生成部４４は、エンハンスメントレイヤのＳＬパラメータを生成しない。これは、可逆符号化部１６がエンハンスメントレイヤの量子化行列を符号化しないことを意味する。なお、ベースレイヤにおいては、これら量子化行列を指定するＳＬパラメータが、それぞれジグザグスキャンなどの手法で生成される。但し、１６×１６画素及び３２×３２画素の量子化行列のためのＳＬパラメータは、各量子化行列を８×８画素のサイズにダウンサンプリングした上で生成される（図中の網掛け部分）。
　図９Ｂの例では、ベースレイヤはＡＶＣ方式で符号化される。この場合、４×４画素及び８×８画素の量子化行列は、ベースレイヤにおいて各ブロックに設定され、エンハンスメントレイヤにおいて再利用される。従って、ＳＬパラメータ生成部４４は、４×４画素及び８×８画素の量子化行列を指定するＳＬパラメータを生成しない。一方、１６×１６画素及び３２×３２画素の量子化行列は、ベースレイヤにおいて設定されない。従って、ＳＬパラメータ生成部４４は、ＳＬ設定部４３により設定されるエンハンスメントレイヤの１６×１６画素及び３２×３２画素の量子化行列を指定するＳＬパラメータを生成する。なお、これらＳＬパラメータは、各量子化行列を８×８画素のサイズにダウンサンプリングした上で生成される（図中の網掛け部分）。
　図９Ｃの例では、ベースレイヤはＡＶＣ方式で符号化される。図９Ｂの例と異なり、ここでは、ベースレイヤの量子化行列は、そのサイズに関わらず、エンハンスメントレイヤにおいて再利用されない。従って、ＳＬパラメータ生成部４４は、ＳＬ設定部４３により設定されるエンハンスメントレイヤの４×４画素、８×８画素、１６×１６画素及び３２×３２画素の量子化行列を指定するＳＬパラメータを生成する。なお、１６×１６画素及び３２×３２画素の量子化行列についてのＳＬパラメータは、各量子化行列を８×８画素のサイズにダウンサンプリングした上で生成される。
　図９Ｂに例示した手法によれば、画像符号化方式に関わらず量子化行列が再利用可能であることから、量子化行列を指定するために要する符号量は最小化され得る。一方、図９Ｃに示した手法によれば、画像符号化方式が共通するレイヤ間でのみ量子化行列が再利用される。後者の場合、画像符号化方式の特性に合わせた最適な量子化行列を使用しつつ、量子化行列を可能な限り再利用して符号化効率を高めることができる。
　ＨＥＶＣ方式では、あるエンハンスメントレイヤについて１つ以上の下位レイヤが存在し得る。そこで、ＳＬパラメータ生成部４４により生成されるＳＬパラメータは、どのレイヤの量子化行列を再利用すべきかを指定する参照レイヤ情報を含んでもよい。図９Ｄの例では、レイヤＢＬ０及びレイヤＢＬ１は、エンハンスメントレイヤＥＬ２の下位レイヤであり、共にＨＥＶＣ方式で符号化される。エンハンスメントレイヤＥＬ２において、４×４画素及び８×８画素の量子化行列は、レイヤＢＬ０から再利用される。また、１６×１６画素及び３２×３２画素の量子化行列は、レイヤＢＬ１から再利用される。従って、ＳＬパラメータ生成部４４により生成される参照レイヤ情報（ref_layer）は、４×４画素及び８×８画素についてはレイヤＢＬ０を指定し、１６×１６画素及び３２×３２画素についてはレイヤＢＬ１を指定する。参照レイヤ情報は、量子化行列の異なるサイズ又は異なる種類（色成分と予測モード（イントラ／インター）との組合せ）について別々に生成され及び符号化されてもよい。その代わりに、複数のサイズ又は複数の種類にわたって共通的な単一の参照レイヤ情報が生成され及び符号化されてもよい。
　あるサイズ及び種類の量子化行列がレイヤ間で再利用されない場合には、ＳＬパラメータ生成部４４は、ＳＬ設定部４３により設定される当該サイズ及び種類のエンハンスメントレイヤ固有の量子化行列を指定するＳＬパラメータを生成する。
　ＳＬ設定部４３は、エンハンスメントレイヤのＳＬパラメータを生成した場合には、生成したＳＬパラメータを可逆符号化部１６へ出力する。
　なお、上述したように、量子化制御部４０は、レイヤ間で量子化行列を再利用しなくてもよい。ＳＬパラメータ生成部４４は、レイヤ間で量子化行列を再利用すべきか、即ちベースレイヤの量子化行列に基づいてエンハンスメントレイヤの量子化行列を生成すべきかを示す量子化行列再利用フラグを生成してもよい。量子化行列再利用フラグは、典型的には、可逆符号化部１６によりＳＰＳ又はＰＰＳ内に符号化される。量子化行列再利用フラグが“True”を示す場合には、エンハンスメントレイヤの量子化行列は、ベースレイヤの量子化行列から複製され又予測される。エンハンスメントレイヤにおいて、量子化行列の予測の残差が追加的に符号化されてもよい。ＳＬパラメータ生成部４４は、エンハンスメントレイヤの量子化行列を設定するための設定手法フラグを生成してもよい。設定手法フラグは、複製及び予測のいずれかを示し得る。ＳＬパラメータ生成部４４は、量子化行列再利用フラグ及び設定手法フラグを、量子化行列の異なるサイズ又は異なる種類について別々に生成してもよい。
　＜３．一実施形態に係る符号化時の処理の流れ＞
　　［３－１．概略的な流れ］
　図１０は、一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
　図１０を参照すると、まず、ＢＬ符号化部１ａは、ベースレイヤの符号化処理を実行し、ベースレイヤの符号化ストリームを生成する（ステップＳ１１）。
　共通メモリ２は、ベースレイヤの符号化処理において生成される量子化関連パラメータをバッファリングする（ステップＳ１２）。ここでバッファリングされる量子化関連パラメータは、例えば、ベースレイヤの各ブロックに設定された色差成分の量子化パラメータオフセット、及び量子化行列を含み得る。
　次に、ＥＬ符号化部１ｂは、共通メモリ２によりバッファリングされている情報を用いて、エンハンスメントレイヤの符号化処理を実行し、エンハンスメントレイヤの符号化ストリームを生成する（ステップＳ１３）。
　次に、多重化部４は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成されるエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する（ステップＳ１４）。
　　［３－２．量子化に関連する処理］
　図１１は、エンハンスメントレイヤの符号化処理（図１０のステップＳ１３）における量子化に関連する処理の流れの一例を示すフローチャートである。図１１に示した処理は、例えば、エンハンスメントレイヤ画像内のスライスごとに繰り返され得る。
　図１１を参照すると、まず、ＱＰ設定部４１は、レート制御部１８により決定され又はユーザにより指定される各色成分の量子化パラメータを、スライス内の各ブロックに設定する（ステップＳ２１）。また、ＳＬ設定部４３は、レート制御部１８により決定され又はユーザにより指定される１つ以上の量子化行列を、スライス内の各ブロックに設定する（ステップＳ２２）。
　次に、ＱＰパラメータ生成部４２は、ＱＰ設定部４１によりエンハンスメントレイヤに設定された量子化パラメータに基づき、共通メモリ２によりバッファリングされている情報を用いて、エンハンスメントレイヤのＱＰパラメータを生成する（ステップＳ２３）。例えば、ＱＰパラメータ生成部４２は、色差成分のＱＰパラメータとして、上記式（２）及び式（３）、又は上記式（４）及び式（５）に従い、量子化パラメータオフセット差分slice_cbE_qp_offset及びslice_crE_qp_offsetを生成する。
　また、ＳＬパラメータ生成部４４は、レイヤ間で量子化行列が再利用されるかを判定する（ステップＳ２４）。レイヤ間で量子化行列が再利用される場合には、ＳＬパラメータ生成部４４は、さらに、ベースレイヤの符号化方式がＨＥＶＣ方式であるかを判定する（ステップＳ２５）。レイヤ間で量子化行列が再利用されない場合、又はベースレイヤの符号化方式がＨＥＶＣ方式ではない場合、ＳＬパラメータ生成部４４は、エンハンスメントレイヤのＳＬパラメータを生成する（ステップＳ２６）。例えば、ＳＬパラメータ生成部４４は、レイヤ間で量子化行列が再利用されない場合、必要とされる全てのエンハンスメントレイヤの量子化行列を指定するＳＬパラメータを生成し得る。また、ＳＬパラメータ生成部４４は、レイヤ間で量子化行列が再利用される場合において、ベースレイヤの符号化方式がＡＶＣ方式であるときは、エンハンスメントレイヤの１６×１６画素及び３２×３２画素の量子化行列を指定するＳＬパラメータを生成し得る。
　次に、量子化部１５は、量子化制御部４０により設定された量子化パラメータ（及び量子化行列）から決定される量子化ステップで、エンハンスメントレイヤの変換係数データを量子化し、量子化データを生成する（ステップＳ２７）。そして、量子化部１５は、量子化データを可逆符号化部１６及び逆量子化部２１へ出力する。
　次に、可逆符号化部１６は、量子化部１５から入力される量子化データを符号化して、エンハンスメントレイヤの符号化ストリームを生成する（ステップＳ２８）。また、可逆符号化部１６は、量子化制御部４０から入力される（ＱＰパラメータ及びＳＬパラメータを含み得る）量子化関連パラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する（ステップＳ２９）。そして、可逆符号化部１６は、エンハンスメントレイヤの符号化ストリームを蓄積バッファ１７へ出力する。
　次に、逆量子化部２１は、量子化制御部４０により設定された量子化パラメータ（及び量子化行列）から決定される量子化ステップで、エンハンスメントレイヤの量子化データを逆量子化し、変換係数データを復元する（ステップＳ３０）。そして、逆量子化部２１は、復元した変換係数データを逆直交変換部２２へ出力する。
　その後、逆直交変換、フィルタリング、イントラ予測及びインター予測などの後続の処理が実行される。
　＜４．一実施形態に係るＥＬ復号部の構成例＞
　　［４－１．全体的な構成］
　図１２は、図６に示したＥＬ復号部６ｂの構成の一例を示すブロック図である。図１２を参照すると、ＥＬ復号部６ｂは、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital　to　Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部７５、インター予測部８０並びに逆量子化制御部９０を備える。
　蓄積バッファ６１は、逆多重化部５から入力されるエンハンスメントレイヤの符号化ストリームを記憶媒体を用いて一時的に蓄積する。
　可逆復号部６２は、蓄積バッファ６１から入力されるエンハンスメントレイヤの符号化ストリームから、符号化の際に使用された符号化方式に従ってエンハンスメントレイヤの量子化データを復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている情報を復号する。可逆復号部６２により復号される情報は、例えば、イントラ予測に関する情報、インター予測に関する情報及び量子化関連パラメータを含み得る。可逆復号部６２は、イントラ予測に関する情報をイントラ予測部７５へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部８０へ出力する。また、可逆復号部６２は、量子化データを逆量子化部６３へ出力すると共に、量子化関連パラメータを逆量子化制御部９０へ出力する。
　逆量子化部６３は、可逆復号部６２から入力される量子化データを、逆量子化制御部９０から入力される量子化パラメータ（及び量子化行列）から決定される量子化ステップで逆量子化し、エンハンスメントレイヤの変換係数データを復元する。そして、逆量子化部６３は、復元した変換係数データを逆直交変換部６４へ出力する。
　逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
　加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
　デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
　並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
　Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、エンハンスメントレイヤの画像を表示させる。
　フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
　セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部７５とインター予測部８０との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部７５へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部８０へ出力する。
　セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部７５とインター予測部８０との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部７５から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、インター予測部８０から出力される予測画像データを加算部６５へ供給する。
　イントラ予測部７５は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部７５は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。
　インター予測部８０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤの動き補償処理を行い、予測画像データを生成する。そして、インター予測部８０は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。
　逆量子化制御部９０は、可逆復号部６２により復号される量子化関連パラメータ及び共通メモリ７によりバッファリングされる情報を用いて、ＥＬ復号部６ｂにおける逆量子化処理を制御する。本実施形態において、量子化関連パラメータは、量子化パラメータを決定する際に使用されるＱＰパラメータ、及び量子化行列を決定する際に使用されるＳＬパラメータを含み得る。
　　［４－２．逆量子化制御部の詳細な構成］
　図１３は、図１２に示した逆量子化制御部９０の構成の一例を示すブロック図である。図１３を参照すると、逆量子化制御部９０は、ＱＰパラメータ取得部９１、ＱＰ設定部９２、ＳＬパラメータ取得部９３及びＳＬ設定部９４を有する。
　　　（１）ＱＰパラメータ取得部
　ＱＰパラメータ取得部９１は、エンハンスメントレイヤの符号化ストリームから可逆復号部６２により復号されるＱＰパラメータを取得する。ＱＰパラメータ取得部９１により取得される輝度成分のＱＰパラメータは、上述したpic_init_qp_minus26、slice_qp_delta、cu_qp_delta_abs及びcu_qp_delta_signを含み得る。また、ＱＰパラメータ取得部９１により取得される色差成分のＱＰパラメータは、Ｃｂ成分についての量子化パラメータオフセット差分slice_cbE_qp_offset、及びＣｒ成分についての量子化パラメータオフセット差分slice_crE_qp_offsetを含み得る。
　さらに、ＱＰパラメータ取得部９１は、可逆復号部６２によりＱＰパラメータ再利用フラグが復号された場合に、復号された当該ＱＰパラメータ再利用フラグを取得してもよい。ＱＰパラメータ取得部９１は、取得したこれらエンハンスメントレイヤのＱＰパラメータを、ＱＰ設定部９２へ出力する。
　　　（２）ＱＰ設定部
　ＱＰ設定部９２は、エンハンスメントレイヤの変換係数データを逆量子化する際に逆量子化部６３により使用される量子化パラメータを、エンハンスメントレイヤの各ブロックに設定する。ここでのブロックは、ＬＣＵと等しいサイズ又はＬＣＵよりも小さいサイズを有し得る。
　例えば、ＱＰ設定部９２は、輝度成分について、pic_init_qp_minus26及びslice_qp_deltaを用いてＣＵごとに予測される量子化パラメータの予測値にcu_qp_delta_abs及びcu_qp_delta_signにより示される残差を加算することにより、量子化パラメータを算出する。そして、ＱＰ設定部９２は、算出した量子化パラメータを逆量子化部６３へ出力する。
　また、ＱＰ設定部９２は、色差成分について、ベースレイヤの量子化パラメータオフセットに基づいて、エンハンスメントレイヤに量子化パラメータオフセットを設定する。エンハンスメントレイヤのＣｂ成分及びＣｒ成分の量子化パラメータオフセットcbE_qp_offset及びcrE_qp_offsetは、例えば、次の式（９）及び式（１０）に従ってそれぞれ生成されてよい：
Figure JPOXMLDOC01-appb-M000007
　式（９）及び式（１０）において、右辺の第１項は、ＱＰパラメータ取得部９１により取得される量子化パラメータオフセット差分slice_cbE_qp_offset及びslice_crE_qp_offsetである。右辺の第２項は、ベースレイヤの量子化パラメータオフセットcbB_qp_offset及びcrB_qp_offsetである。第１の手法において、ベースレイヤの量子化パラメータオフセットcbB_qp_offset及びcrB_qp_offsetは、次の式（１１）及び式（１２）の通り、ピクチャ単位のオフセットとスライス単位のオフセットとの和に等しい。
Figure JPOXMLDOC01-appb-M000008
　第２の手法において、ベースレイヤの量子化パラメータオフセットcbB_qp_offset及びcrB_qp_offsetは、次の式（１３）及び式（１４）の通り、ピクチャ単位のオフセットに等しい。
Figure JPOXMLDOC01-appb-M000009
　いずれの手法においても、ベースレイヤの量子化パラメータオフセットcbB_qp_offset及びcrB_qp_offsetは、共通メモリ７によりバッファリングされるベースレイヤのＱＰパラメータから決定される。
　ＱＰ設定部９２は、さらに、上述したいずれかの手法に従って算出した量子化パラメータオフセットと輝度成分の量子化パラメータとの和を所定の関係式に入力することにより、エンハンスメントレイヤの色差成分の量子化パラメータを算出する。ここで使用される関係式は、上記非特許文献１に記載されている。そして、ＱＰ設定部９２は、算出した量子化パラメータを逆量子化部６３へ出力する。
　なお、ＱＰ設定部９２は、ＱＰパラメータ取得部９１により取得され得るＱＰパラメータ再利用フラグが色差成分について量子化パラメータオフセットを再利用すべきこと（即ち、ベースレイヤの量子化パラメータオフセットに基づいてエンハンスメントレイヤの量子化パラメータオフセットを設定すべきこと）を示している場合に、色差成分についての上述した処理を実行してもよい。ＱＰパラメータ再利用フラグが量子化パラメータオフセットを再利用すべきことを示していない場合には、ＱＰ設定部９２は、ベースレイヤの量子化パラメータオフセットを参照することなく、エンハンスメントレイヤの色差成分の量子化パラメータオフセットを設定し得る。
　　　（３）ＳＬパラメータ取得部
　ＳＬパラメータ取得部９３は、ベースレイヤがＨＥＶＣ方式以外の画像符号化方式（例えば、ＡＶＣ方式）で符号化されている場合に、エンハンスメントレイヤの符号化ストリームから、可逆復号部６２により復号されるＳＬパラメータを取得する。例えば、ＳＬパラメータ取得部９３は、ベースレイヤがＡＶＣ方式で符号化される場合に、１６×１６画素及び３２×３２画素のサイズを有する量子化行列を指定するＳＬパラメータを取得する。また、ＳＬパラメータ取得部９３は、レイヤ間で量子化行列が再利用されない場合にも、エンハンスメントレイヤの符号化ストリームから、可逆復号部６２により復号されるＳＬパラメータを取得する。この場合、４×４画素～３２×３２画素のサイズを有する量子化行列を指定するＳＬパラメータが取得される。なお、１６×１６画素以上のサイズを有する量子化行列のＳＬパラメータは、典型的には、図９Ｂを用いて説明したように、８×８画素のサイズに各量子化行列をダウンサンプリングした上で符号化されている。ＳＬパラメータ取得部９３は、取得したエンハンスメントレイヤのＳＬパラメータを、ＳＬ設定部９４へ出力する。なお、ＳＬパラメータ取得部９３は、レイヤ間で量子化行列が再利用される場合において、ベースレイヤがＨＥＶＣ方式で符号化されているときは、エンハンスメントレイヤのＳＬパラメータを取得しなくてよい。ＳＬパラメータ取得部９３は、ベースレイヤがＨＥＶＣ方式で符号化されているか否かを、ＶＰＳから復号されるフラグavc_base_layer_flagを参照することにより判定し得る。
　さらに、ＳＬパラメータ取得部９３は、可逆復号部６２により量子化行列再利用フラグ及び設定手法フラグが復号された場合に、復号された当該量子化行列再利用フラグ及び設定手法フラグをＳＬ設定部９４へ出力してもよい。
　　　（４）ＳＬ設定部
　ＳＬ設定部９４は、エンハンスメントレイヤの輝度成分及び色差成分の変換係数データを逆量子化する際に逆量子化部６３により使用される量子化行列を、エンハンスメントレイヤに設定する。
　例えば、ＳＬ設定部９４は、ベースレイヤがＨＥＶＣ方式又はＡＶＣ方式で符号化されている場合に、４×４画素及び８×８画素のサイズを有するベースレイヤの量子化行列を、共通メモリ７から取得する。例えば、ＳＬ設定部９４は、取得したベースレイヤの量子化行列から、対応するエンハンスメントレイヤの量子化行列を複製してもよい。その代わりに、ＳＬ設定部９４は、取得したベースレイヤの量子化行列から、対応するエンハンスメントレイヤの量子化行列を予測してもよい。後者の場合、量子化行列の予測の残差がエンハンスメントレイヤの符号化ストリームから追加的に復号され、当該残差が予測された量子化行列に加算され得る。ＳＬ設定部９４は、ＳＬパラメータ取得部９３により取得される設定手法フラグに従って、エンハンスメントレイヤの量子化行列を複製すべきか又は予測すべきかを選択してもよい。
　ＳＬ設定部９４は、ベースレイヤがＨＥＶＣ方式で符号化されている場合には、１６×１６画素及び３２×３２画素のサイズを有するベースレイヤの量子化行列をも、共通メモリ７から取得する。そして、ＳＬ設定部９４は、取得したベースレイヤの量子化行列から、対応するエンハンスメントレイヤの量子化行列を複製し又は予測する。ＳＬ設定部９４は、ベースレイヤがＡＶＣ方式で符号化されている場合には、ベースレイヤの量子化行列に基づくことなく、ＳＬパラメータ取得部９３から入力されるＳＬパラメータに従って、１６×１６画素及び３２×３２画素のサイズを有するエンハンスメントレイヤの量子化行列をそれぞれ生成する。
　なお、ＳＬ設定部９４は、ＳＬパラメータ取得部９３により取得され得る量子化行列再利用フラグが量子化行列を再利用しないこと（即ち、エンハンスメントレイヤの符号化ストリームから量子化行列を復号すべきこと）を示している場合には、ベースレイヤの量子化行列に基づくことなく、必要とされる全ての量子化行列をエンハンスメントレイヤのＳＬパラメータに従って生成し得る。量子化行列再利用フラグ及び設定手法フラグは、異なる量子化行列サイズ、異なる予測モード又は異なる色成分について別々にエンハンスメントレイヤの符号化ストリームから復号されてもよい。
　＜５．一実施形態に係る復号時の処理の流れ＞
　　［５－１．概略的な流れ］
　図１４は、一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
　図１４を参照すると、まず、逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームに逆多重化する（ステップＳ６０）。
　次に、ＢＬ復号部６ａは、ベースレイヤの復号処理を実行し、ベースレイヤの符号化ストリームからベースレイヤ画像を再構築する（ステップＳ６１）。
　共通メモリ７は、ベースレイヤの復号処理において復号される量子化関連パラメータをバッファリングする（ステップＳ６２）。ここでバッファリングされる量子化関連パラメータは、例えば、ベースレイヤの各ブロックに設定された色差成分の量子化パラメータオフセット、及び量子化行列を含み得る。
　次に、ＥＬ復号部６ｂは、共通メモリ７によりバッファリングされている情報を用いて、エンハンスメントレイヤの復号処理を実行し、エンハンスメントレイヤ画像を再構築する（ステップＳ６３）。
　　［５－２．逆量子化に関連する処理］
　図１５は、エンハンスメントレイヤの復号処理（図１４のステップＳ６３）における逆量子化に関連する処理の流れの一例を示すフローチャートである。図１５に示した処理は、例えば、エンハンスメントレイヤ画像内のスライスごとに繰り返され得る。
　図１５を参照すると、まず、ＱＰパラメータ取得部９１は、エンハンスメントレイヤの符号化ストリームから可逆復号部６２により復号されるＱＰパラメータを取得する（ステップＳ７１）。そして、ＱＰパラメータ取得部９１は、取得したエンハンスメントレイヤのＱＰパラメータを、ＱＰ設定部９２へ出力する。
　また、ＳＬパラメータ取得部９３は、例えば量子化行列再利用フラグを参照することにより、レイヤ間で量子化行列が再利用されるかを判定する（ステップＳ７２）。レイヤ間で量子化行列が再利用される場合には、ＳＬパラメータ取得部９３は、さらに、ベースレイヤの符号化方式がＨＥＶＣ方式であるかを判定する（ステップＳ７３）。レイヤ間で量子化行列が再利用されない場合、又はベースレイヤの符号化方式がＨＥＶＣ方式ではない場合、ＳＬパラメータ取得部９３は、エンハンスメントレイヤの符号化ストリームから可逆復号部６２により復号されるエンハンスメントレイヤのＳＬパラメータを取得する（ステップＳ７４）。そして、ＳＬパラメータ取得部９３は、取得したエンハンスメントレイヤのＳＬパラメータを、ＳＬ設定部９４へ出力する。
　次に、ＱＰ設定部９２は、エンハンスメントレイヤの量子化パラメータを、エンハンスメントレイヤの各ブロックに設定する（ステップＳ７５）。例えば、ＱＰ設定部９２は、色差成分について、ベースレイヤの量子化パラメータオフセットとＱＰパラメータにより示される量子化パラメータオフセット差分とに基づいて、エンハンスメントレイヤの量子化パラメータオフセットを算出する。また、ＱＰ設定部９２は、算出した当該量子化パラメータオフセットと輝度成分の量子化パラメータとの和を所定の関係式に入力することにより、エンハンスメントレイヤの量子化パラメータを算出する。そして、ＱＰ設定部９２は、算出した量子化パラメータを逆量子化部６３へ出力する。
　なお、ＱＰ設定部９２は、ＱＰパラメータ再利用フラグがベースレイヤの量子化パラメータオフセットを再利用すべきことを示さない場合には、色差成分について、ベースレイヤの量子化パラメータオフセットを参照することなく、ＱＰパラメータにより示される量子化パラメータオフセットをエンハンスメントレイヤに設定し得る。
　また、ＳＬ設定部９４は、エンハンスメントレイヤの量子化行列を、エンハンスメントレイヤの各ブロックに設定する（ステップＳ７６）。例えば、ＳＬ設定部９４は、ベースレイヤがＨＥＶＣ方式又はＡＶＣ方式で符号化されている場合に、４×４画素及び８×８画素のサイズを有するベースレイヤの量子化行列を、共通メモリ７から取得する。また、ＳＬ設定部９４は、ベースレイヤがＨＥＶＣ方式で符号化されている場合に、１６×１６画素及び３２×３２画素のサイズを有するベースレイヤの量子化行列をも、共通メモリ７から取得する。そして、ＳＬ設定部９４は、取得したベースレイヤの量子化行列から対応するエンハンスメントレイヤの量子化行列を複製し又は予測することにより、エンハンスメントレイヤの量子化行列を設定する。ＳＬ設定部９４は、ベースレイヤがＡＶＣ方式で符号化されている場合には、ＳＬパラメータ取得部９３から入力されるＳＬパラメータに従って、１６×１６画素及び３２×３２画素のサイズを有するエンハンスメントレイヤの量子化行列を設定する。そして、ＳＬ設定部９４は、設定した量子化行列を逆量子化部６３へ出力する。
　なお、ＳＬ設定部９４は、量子化行列再利用フラグがベースレイヤの量子化行列を再利用しないことを示している場合には、必要とされる全てのエンハンスメントレイヤの量子化行列を、ＳＬパラメータ取得部９３から入力されるＳＬパラメータに従って設定し得る。
　次に、可逆復号部６２は、エンハンスメントレイヤの符号化ストリームから、エンハンスメントレイヤの量子化データを復号する（ステップＳ７７）。そして、可逆復号部６２は、復号した量子化データを逆量子化部６３へ出力する。
　次に、逆量子化部６３は、逆量子化制御部９０から入力される量子化パラメータ（及び量子化行列）から決定される量子化ステップで、エンハンスメントレイヤの量子化データを逆量子化し、変換係数データを復元する（ステップＳ７８）。そして、逆量子化部６３は、復元した変換係数データを逆直交変換部６４へ出力する。
　その後、逆直交変換、予測画像と予測誤差との加算、及びフィルタリングなどの後続の処理が実行される。
　　［５－３．シンタックスの例］
　　　（１）基本的な例
　図１６Ａ～図１６Ｃは、本開示に係る技術のために採用され得るエンハンスメントレイヤのシンタックスの一例について説明するための説明図である。ここでは、エンハンスメントレイヤのＰＰＳにおいて、ＱＰパラメータ再利用フラグ及び量子化行列再利用フラグが符号化される。
　図１６Ａ及び図１６Ｂには、一例としてのＰＰＳのシンタックスが示されている。図１６Ａにおいて、第１５行には、ＱＰパラメータ再利用フラグ“BL_chroma_qp_offset_flag”が存在する。ＱＰパラメータ再利用フラグが“False”を示す場合、レイヤ間で量子化パラメータオフセットは再利用されず、第１８行及び第１９行においてピクチャ単位の量子化パラメータオフセット“pic_cb_qp_offset”及び“pic_cr_qp_offset”が符号化される。ＱＰパラメータ再利用フラグが“True”を示す場合、ピクチャ単位の量子化パラメータオフセット“pic_cb_qp_offset”及び“pic_cr_qp_offset”の符号化は省略される。
　図１６Ｂにおいて、第５２行には、エンハンスメントレイヤのＳＬパラメータのための関数“scaling_list_data()”が存在する。図１６Ｃには、関数“scaling_list_data()”の具体的なシンタックスが示されている。図１６Ｃにおいて、第２行には、量子化行列再利用フラグ“BL_scaling_list_flag”が存在する。量子化行列再利用フラグが“True”を示す場合、レイヤ間で量子化行列が再利用される。但し、量子化行列再利用フラグが“True”であって、ベースレイヤがＡＶＣ方式で符号化される場合には、４×４画素及び８×８画素の量子化行列のみが再利用される（第７行参照。“sizeID=0”は４×４画素のサイズを、“sizeID=1”は８×８画素のサイズを意味する）。量子化行列が再利用されない場合、第８行以降でエンハンスメントレイヤの量子化行列を指定するＳＬパラメータが符号化される。
　なお、ここで説明したシンタックスは一例に過ぎない。例えば、ＱＰパラメータ再利用フラグ及び量子化行列再利用フラグは、それぞれ、ＰＰＳ以外のヘッダ領域（例えば、ＳＰＳなど）において符号化されてもよい。また、量子化行列が再利用される場合において、ＰＰＳは、上述した設定手法フラグ、又は量子化行列が予測される場合の残差データを含んでもよい。
　　　（２）変形例
　図１６Ｄ及び図１６Ｅは、エンハンスメントレイヤのシンタックスの変形例をそれぞれ示している。これら変形例では、ＥＬ符号化部１ｂにより符号化され及びＥＬ復号部６ｂにより復号されるＳＬパラメータは、図９Ｄを用いて説明したような参照レイヤ情報を含む。
　図１６Ｄに示した第１の変形例では、量子化行列の複数のサイズ及び複数の種類にわたって共通的な単一の参照レイヤ情報が符号化される。図１６ＤのＳＰＳの拡張（sps_extension()）の第３行のフラグcopy_scaling_list_from_ref_layer_flagは、参照レイヤ情報により指定される下位レイヤの量子化行列に基づいてエンハンスメントレイヤの量子化行列を生成すべきかを示す量子化行列再利用フラグである。量子化行列再利用フラグが“True”を示す場合、第５行の参照レイヤ情報scaling_list_ref_layerがさらに符号化される。一例として、参照レイヤ情報scaling_list_ref_layerは、参照先のレイヤに付与されるレイヤ番号（例えば、符号無し６ビットの整数など）を用いて、量子化行列の複製又は予測の基礎となる下位レイヤを指定してよい。ＰＰＳの拡張（pps_extension()）もまた、ＳＰＳの拡張と同様のシンタックスの参照レイヤ情報を含み得る。
　図１６Ｅに示した第２の変形例では、量子化行列のサイズ及び種類ごとに異なる参照レイヤ情報が符号化される。図１６ＥのＳＰＳの拡張の第３行及びＰＰＳの拡張の第３行の関数scaling_list_extension()は、参照レイヤ情報のためのシンタックスを定義する。関数scaling_list_extension()の第２行は、変数sizeIdで特定される量子化行列の４通りのサイズについての繰り返しを意味する。それに続く第３行は、変数matrixIdで特定される量子化行列の６通りの種類についての繰り返しを意味する（色差成分の最大サイズは１６×１６画素であるため、３２×３２画素については種類は２通りのみである）。各繰り返し中の第４行のフラグcopy_scaling_list_from_ref_layer_flag[sizeId][matrixId]は、レイヤ間で量子化行列を再利用すべきかを示す量子化行列再利用フラグである。量子化行列再利用フラグが“True”を示す場合、第６行の参照レイヤ情報scaling_list_ref_layer[sizeId][matrixId]がさらに符号化される。ここでも、参照レイヤ情報は、例えば参照先のレイヤに付与されるレイヤ番号を用いて、量子化行列の複製又は予測の基礎となる下位レイヤを指定してよい。
　なお、図９Ｃを用いて説明したように画像符号化方式の共通するレイヤ間でのみ量子化行列が再利用される場合において、最下位のベースレイヤがＡＶＣ方式で符号化されるときは、参照レイヤ情報は、最下位のベースレイヤの番号（例えば、ゼロ）以外のレイヤ番号を示し得る（通常、ＳＨＶＣでは、ＡＶＣ方式で符号化可能なレイヤは最下位レイヤのみである）。
　ここで説明したような参照レイヤ情報が導入されれば、再利用すべき量子化行列を複数の下位レイヤから柔軟に選択することで、エンハンスメントレイヤにおいて最適な量子化行列を使用し、符号化効率を効果的に高めることができる。
　＜６．コーデックの組合せの例＞
　本開示に係る技術は、様々なコーデックの組合せでのスケーラブル符号化に適用可能である。多重化されるレイヤの数は、２つ以上のいかなる数であってもよい。但し、標準化されていないコーデックの組合せが利用されると、デコーダが正常に動作しない可能性が生じ得る。そこで、予め定義されるコーデックの組合せのみが、階層的に符号化されることを許容されてもよい。その代わりに、いくつかのコーデックの組合せが、階層的に符号化されることを禁止されてもよい。
　図１７Ａ及び図１７Ｂは、許容され又は禁止され得るコーデックの組合せについて説明するための説明図である。
　図１７Ａを参照すると、最も下位の第１のレイヤＬ１０から最も上位の第５のレイヤＬ１４までの５つのレイヤが示されている。第１のレイヤＬ１０及び第２のレイヤＬ１１は、ＭＰＥＧ２方式で符号化される。第３のレイヤＬ１２及び第４のレイヤＬ１３は、ＡＶＣ方式で符号化される。第５のレイヤＬ１４は、ＨＥＶＣ方式で符号化される。これらレイヤのうち、第１のレイヤＬ１０及び第２のレイヤＬ１１を階層的に符号化することは、コーデックが共通しているため、許容される。第２のレイヤＬ１１及び第３のレイヤＬ１２を階層的に符号化することは、ＭＰＥＧ２方式とＡＶＣ方式との組合せが標準化されていないため、禁止され得る。第３のレイヤＬ１２及び第４のレイヤＬ１３を階層的に符号化することは、コーデックが共通しているため、許容される。第４のレイヤＬ１３及び第５のレイヤＬ１４を階層的に符号化することは、ＡＶＣ方式とＨＥＶＣ方式との組合せが標準化されるため、許容される。図１７Ａの例では、第１のレイヤＬ１０及び第２のレイヤＬ１１の多重化ストリームと、第３のレイヤＬ１２、第４のレイヤＬ１３及び第５のレイヤＬ１４の多重化ストリームとは、スケーラブル符号化ではなく、サイマルキャスト符号化（simulcast-coding）によって多重化され得る。
　図１７Ｂを参照すると、最も下位の第１のレイヤＬ２０から最も上位の第５のレイヤＬ２４までの５つのレイヤが示されている。第１のレイヤＬ２０及び第２のレイヤＬ２１は、ＡＶＣ方式で符号化される。第３のレイヤＬ２２及び第４のレイヤＬ２３は、ＭＰＥＧ２方式で符号化される。第５のレイヤＬ２４は、ＨＥＶＣ方式で符号化される。これらレイヤのうち、第１のレイヤＬ２０及び第２のレイヤＬ２１を階層的に符号化することは、コーデックが共通しているため、許容される。第２のレイヤＬ２１及び第３のレイヤＬ２２を階層的に符号化することは、ＡＶＣ方式とＭＰＥＧ２方式との組合せが標準化されていないため、禁止され得る。第３のレイヤＬ２２及び第４のレイヤＬ２３を階層的に符号化することは、コーデックが共通しているため、許容される。第４のレイヤＬ２３及び第５のレイヤＬ２４を階層的に符号化することは、ＭＰＥＧ２方式とＨＥＶＣ方式との組合せが標準化されるため、許容される。図１７Ｂの例では、第１のレイヤＬ２０及び第２のレイヤＬ２１の多重化ストリームと、第３のレイヤＬ２２、第４のレイヤＬ２３及び第５のレイヤＬ２４の多重化ストリームとは、スケーラブル符号化ではなく、サイマルキャスト符号化によって多重化され得る。
　＜７．応用例＞
　　［７－１．様々な製品への応用］
　上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
　　　（１）第１の応用例
　図１８は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
　チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic　Program　Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
　デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
　映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical　User　Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
　表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
　音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
　外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　制御部９１０は、ＣＰＵ（Central　Processing　Unit）などのプロセッサ、並びにＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
　ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
　バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
　このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００が画像をマルチレイヤコーデックで復号する際に、量子化に関連するパラメータをレイヤ間で再利用して符号化効率を高めることができる。
　　　（２）第２の応用例
　図１９は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
　アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
　携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
　音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
　記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
　また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
　また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０が画像をマルチレイヤコーデックで符号化し又は復号する際に、量子化に関連するパラメータをレイヤ間で再利用して符号化効率を高めることができる。
　　　（３）第３の応用例
　図２０は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
　記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard　Disk　Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen　Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
　チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
　外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
　エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
　ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ－ｒａｙ（登録商標）ディスクなどであってよい。
　セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
　デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
　ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
　制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
　ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
　このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０が画像をマルチレイヤコーデックで符号化し又は復号する際に、量子化に関連するパラメータをレイヤ間で再利用して符号化効率を高めることができる。
　　　（４）第４の応用例
　図２１は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
　光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
　光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
　信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
　画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
　ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
　外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
　メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid　State　Drive）のような非可搬性の記憶部が構成されてもよい。
　制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
　ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
　このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０が画像をマルチレイヤコーデックで符号化し又は復号する際に、量子化に関連するパラメータをレイヤ間で再利用して符号化効率を高めることができる。
　　［７－２．スケーラブル符号化の様々な用途］
　上述したスケーラブル符号化の利点は、様々な用途において享受され得る。以下、３つの用途の例について説明する。
　　　（１）第１の例
　第１の例において、スケーラブル符号化は、データの選択的な伝送のために利用される。図２２を参照すると、データ伝送システム１０００は、ストリーム記憶装置１００１及び配信サーバ１００２を含む。配信サーバ１００２は、ネットワーク１００３を介して、いくつかの端末装置と接続される。ネットワーク１００３は、有線ネットワークであっても無線ネットワークであってもよく、又はそれらの組合せであってもよい。図２２には、端末装置の例として、ＰＣ（Personal　Computer）１００４、ＡＶ機器１００５、タブレット装置１００６及び携帯電話機１００７が示されている。
　ストリーム記憶装置１００１は、例えば、画像符号化装置１０により生成される多重化ストリームを含むストリームデータ１０１１を記憶する。多重化ストリームは、ベースレイヤ（ＢＬ）の符号化ストリーム及びエンハンスメントレイヤ（ＥＬ）の符号化ストリームを含む。配信サーバ１００２は、ストリーム記憶装置１００１に記憶されているストリームデータ１０１１を読み出し、読み出したストリームデータ１０１１の少なくとも一部分を、ネットワーク１００３を介して、ＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６、及び携帯電話機１００７へ配信する。
　端末装置へのストリームの配信の際、配信サーバ１００２は、端末装置の能力又は通信環境などの何らかの条件に基づいて、配信すべきストリームを選択する。例えば、配信サーバ１００２は、端末装置が扱うことのできる画質を上回るほど高い画質を有する符号化ストリームを配信しないことにより、端末装置における遅延、オーバフロー又はプロセッサの過負荷の発生を回避してもよい。また、配信サーバ１００２は、高い画質を有する符号化ストリームを配信しないことにより、ネットワーク１００３の通信帯域が占有されることを回避してもよい。一方、配信サーバ１００２は、これら回避すべきリスクが存在しない場合、又はユーザとの契約若しくは何らかの条件に基づいて適切だと判断される場合に、多重化ストリームの全てを端末装置へ配信してもよい。
　図２２の例では、配信サーバ１００２は、ストリーム記憶装置１００１からストリームデータ１０１１を読み出す。そして、配信サーバ１００２は、高い処理能力を有するＰＣ１００４へ、ストリームデータ１０１１をそのまま配信する。また、ＡＶ機器１００５は低い処理能力を有するため、配信サーバ１００２は、ストリームデータ１０１１から抽出されるベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を生成し、ストリームデータ１０１２をＡＶ機器１００５へ配信する。また、配信サーバ１００２は、高い通信レートで通信可能であるタブレット装置１００６へストリームデータ１０１１をそのまま配信する。また、携帯電話機１００７は低い通信レートでしか通信できないため、配信サーバ１００２は、ベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を携帯電話機１００７へ配信する。
　このように多重化ストリームを用いることにより、伝送されるトラフィックの量を適応的に調整することができる。また、個々のレイヤがそれぞれ単独に符号化されるケースと比較して、ストリームデータ１０１１の符号量は削減されるため、ストリームデータ１０１１の全体が配信されるとしても、ネットワーク１００３に掛かる負荷は抑制される。さらに、ストリーム記憶装置１００１のメモリリソースも節約される。
　端末装置のハードウエア性能は、装置ごとに異なる。また、端末装置において実行されるアプリケーションのケイパビリティも様々である。さらに、ネットワーク１００３の通信容量もまた様々である。データ伝送のために利用可能な容量は、他のトラフィックの存在に起因して、時々刻々と変化し得る。そこで、配信サーバ１００２は、ストリームデータの配信を開始する前に、配信先の端末装置との間のシグナリングを通じて、端末装置のハードウエア性能及びアプリケーションケイパビリティなどに関する端末情報と、ネットワーク１００３の通信容量などに関するネットワーク情報とを取得してもよい。そして、配信サーバ１００２は、取得した情報に基づいて、配信すべきストリームを選択し得る。
　なお、復号すべきレイヤの抽出は、端末装置において行われてもよい。例えば、ＰＣ１００４は、受信した多重化ストリームから抽出され復号されるベースレイヤ画像をその画面に表示してもよい。また、ＰＣ１００４は、受信した多重化ストリームからベースレイヤの符号化ストリームを抽出してストリームデータ１０１２を生成し、生成したストリームデータ１０１２を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
　図２２に示したデータ伝送システム１０００の構成は一例に過ぎない。データ伝送システム１０００は、いかなる数のストリーム記憶装置１００１、配信サーバ１００２、ネットワーク１００３、及び端末装置を含んでもよい。
　　　（２）第２の例
　第２の例において、スケーラブル符号化は、複数の通信チャネルを介するデータの伝送のために利用される。図２３を参照すると、データ伝送システム１１００は、放送局１１０１及び端末装置１１０２を含む。放送局１１０１は、地上波チャネル１１１１上で、ベースレイヤの符号化ストリーム１１２１を放送する。また、放送局１１０１は、ネットワーク１１１２を介して、エンハンスメントレイヤの符号化ストリーム１１２２を端末装置１１０２へ送信する。
　端末装置１１０２は、放送局１１０１により放送される地上波放送を受信するための受信機能を有し、地上波チャネル１１１１を介してベースレイヤの符号化ストリーム１１２１を受信する。また、端末装置１１０２は、放送局１１０１と通信するための通信機能を有し、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信する。
　端末装置１１０２は、例えば、ユーザからの指示に応じて、ベースレイヤの符号化ストリーム１１２１を受信し、受信した符号化ストリーム１１２１からベースレイヤ画像を復号してベースレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したベースレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
　また、端末装置１１０２は、例えば、ユーザからの指示に応じて、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信し、ベースレイヤの符号化ストリーム１１２１とエンハンスメントレイヤの符号化ストリーム１１２２とを多重化することにより多重化ストリームを生成してもよい。また、端末装置１１０２は、エンハンスメントレイヤの符号化ストリーム１１２２からエンハンスメントレイヤ画像を復号してエンハンスメントレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したエンハンスメントレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
　上述したように、多重化ストリームに含まれる各レイヤの符号化ストリームは、レイヤごとに異なる通信チャネルを介して伝送され得る。それにより、個々のチャネルに掛かる負荷を分散させて、通信の遅延若しくはオーバフローの発生を抑制することができる。
　また、何らかの条件に応じて、伝送のために使用される通信チャネルが動的に選択されてもよい。例えば、データ量が比較的多いベースレイヤの符号化ストリーム１１２１は帯域幅の広い通信チャネルを介して伝送され、データ量が比較的少ないエンハンスメントレイヤの符号化ストリーム１１２２は帯域幅の狭い通信チャネルを介して伝送され得る。また、特定のレイヤの符号化ストリーム１１２２が伝送される通信チャネルが、通信チャネルの帯域幅に応じて切り替えられてもよい。それにより、個々のチャネルに掛かる負荷をより効果的に抑制することができる。
　なお、図２３に示したデータ伝送システム１１００の構成は一例に過ぎない。データ伝送システム１１００は、いかなる数の通信チャネル及び端末装置を含んでもよい。また、放送以外の用途において、ここで説明したシステムの構成が利用されてもよい。
　　　（３）第３の例
　第３の例において、スケーラブル符号化は、映像の記憶のために利用される。図２４を参照すると、データ伝送システム１２００は、撮像装置１２０１及びストリーム記憶装置１２０２を含む。撮像装置１２０１は、被写体１２１１を撮像することにより生成される画像データをスケーラブル符号化し、多重化ストリーム１２２１を生成する。多重化ストリーム１２２１は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。そして、撮像装置１２０１は、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給する。
　ストリーム記憶装置１２０２は、撮像装置１２０１から供給される多重化ストリーム１２２１を、モードごとに異なる画質で記憶する。例えば、ストリーム記憶装置１２０２は、通常モードにおいて、多重化ストリーム１２２１からベースレイヤの符号化ストリーム１２２２を抽出し、抽出したベースレイヤの符号化ストリーム１２２２を記憶する。これに対し、ストリーム記憶装置１２０２は、高画質モードにおいて、多重化ストリーム１２２１をそのまま記憶する。それにより、ストリーム記憶装置１２０２は、高画質での映像の記録が望まれる場合にのみ、データ量の多い高画質のストリームを記録することができる。そのため、画質の劣化のユーザへの影響を抑制しながら、メモリリソースを節約することができる。
　例えば、撮像装置１２０１は、監視カメラであるものとする。撮像画像に監視対象（例えば侵入者）が映っていない場合には、通常モードが選択される。この場合、撮像画像は重要でない可能性が高いため、データ量の削減が優先され、映像は低画質で記録される（即ち、ベースレイヤの符号化ストリーム１２２２のみが記憶される）。これに対し、撮像画像に監視対象（例えば、侵入者である被写体１２１１）が映っている場合には、高画質モードが選択される。この場合、撮像画像は重要である可能性が高いため、画質の高さが優先され、映像は高画質で記録される（即ち、多重化ストリーム１２２１が記憶される）。
　図２４の例では、モードは、例えば画像解析結果に基づいて、ストリーム記憶装置１２０２により選択される。しかしながら、かかる例に限定されず、撮像装置１２０１がモードを選択してもよい。後者の場合、撮像装置１２０１は、通常モードにおいて、ベースレイヤの符号化ストリーム１２２２をストリーム記憶装置１２０２へ供給し、高画質モードにおいて、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給してもよい。
　なお、モードを選択するための選択基準は、いかなる基準であってもよい。例えば、マイクロフォンを通じて取得される音声の大きさ又は音声の波形などに応じて、モードが切り替えられてもよい。また、周期的にモードが切り替えられてもよい。また、ユーザがらの指示に応じてモードが切り替えられてもよい。さらに、選択可能なモードの数は、階層化されるレイヤの数を超えない限り、いかなる数であってもよい。
　図２４に示したデータ伝送システム１２００の構成は一例に過ぎない。データ伝送システム１２００は、いかなる数の撮像装置１２０１を含んでもよい。また、監視カメラ以外の用途において、ここで説明したシステムの構成が利用されてもよい。
　　［７－３．他のコーデックへの応用］
　　　（１）マルチビューコーデックへの応用
　マルチビューコーデックは、マルチレイヤコーデックの一種であり、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図２５は、マルチビューコーデックについて説明するための説明図である。図２５を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base　view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図２５の例では、ビューＩＤが“０”であるビューがベースビューであり、ビューＩＤが“１”又は“２”である２つのビューがノンベースビューである。これらビューが階層的に符号化される場合、各ビューがレイヤに相当し得る。図中に矢印で示したように、ノンベースビューの画像は、ベースビューの画像を参照して符号化され及び復号される（他のノンベースビューの画像も参照されてよい）。
　図２６は、マルチビューコーデックをサポートする画像符号化装置１０ｖの概略的な構成を示すブロック図である。図２６を参照すると、画像符号化装置１０ｖは、第１レイヤ符号化部１ｃ、第２レイヤ符号化部１ｄ、共通メモリ２及び多重化部３を備える。
　第１レイヤ符号化部１ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像を受け取ることを除き、図５を用いて説明したＢＬ符号化部１ａの機能と同等である。第１レイヤ符号化部１ｃは、ベースビュー画像を符号化し、第１レイヤの符号化ストリームを生成する。第２レイヤ符号化部１ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像を受け取ることを除き、図５を用いて説明したＥＬ符号化部１ｂの機能と同等である。第２レイヤ符号化部１ｄは、ノンベースビュー画像を符号化し、第２レイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１レイヤ符号化部１ｃにより生成される第１レイヤの符号化ストリームと、第２レイヤ符号化部１ｄにより生成される第２レイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
　図２７は、マルチビューコーデックをサポートする画像復号装置６０ｖの概略的な構成を示すブロック図である。図２７を参照すると、画像復号装置６０ｖは、逆多重化部５、第１レイヤ復号部６ｃ、第２レイヤ復号部６ｄ及び共通メモリ７を備える。
　逆多重化部５は、マルチレイヤの多重化ストリームを第１レイヤの符号化ストリーム及び第２レイヤの符号化ストリームに逆多重化する。第１レイヤ復号部６ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図６を用いて説明したＢＬ復号部６ａの機能と同等である。第１レイヤ復号部６ｃは、第１レイヤの符号化ストリームからベースビュー画像を復号する。第２レイヤ復号部６ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図６を用いて説明したＥＬ復号部６ｂの機能と同等である。第２レイヤ復号部６ｄは、第２レイヤの符号化ストリームからノンベースビュー画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
　本開示に係る技術に従って、マルチビューの画像データを符号化し又は復号する際、ベースビューの量子化に関連するパラメータをノンベースビューにおいて再利用することにより、全体としての符号量を削減することができる。それにより、スケーラブル符号化のケースと同様に、マルチビューコーデックにおいても、符号化効率を一層向上させることができる。
　　　（２）ストリーミング技術への応用
　本開示に係る技術は、ストリーミングプロトコルに適用されてもよい。例えば、ＭＰＥＧ－ＤＡＳＨ（Dynamic　Adaptive　Streaming　over　HTTP）では、解像度などのパラメータが互いに異なる複数の符号化ストリームがストリーミングサーバにおいて予め用意される。そして、ストリーミングサーバは、複数の符号化ストリームからストリーミングすべき適切なデータをセグメント単位で動的に選択し、選択したデータを配信する。このようなストリーミングプロトコルにおいて、１つの符号化ストリームの量子化に関連するパラメータが他の符号化ストリームにおいて再利用されてもよい。
　　［７－４．様々な実装レベル］
　本開示に係る技術は、例えば、システムＬＳＩ（Large　Scale　Integration）などのプロセッサ、複数のプロセッサを用いるモジュール、複数のモジュールを用いるユニット、ユニットにさらにその他の機能を付加したセットなどの様々な実装レベルにおいて実現されてよい。
　　　（１）ビデオセット
　本開示に係る技術をセットとして実現する場合の例について、図２８を参照して説明する。図２８は、ビデオセットの概略的な構成の一例を示すブロック図である。
　近年、電子機器は多機能化している。電子機器の開発又は製造は、個々の機能ごとに行われた後、複数の機能を統合する段階へと進む。従って、電子機器の一部のみを製造し又は販売する事業者が存在する。当該事業者は、単一の機能若しくは互いに関連する複数の機能を有する構成要素を提供し、又は統合的な機能群を有するセットを提供する。図２８に示したビデオセット１３００は、画像の符号化及び復号（いずれか一方でもよい）のための構成要素と、それら機能に関連する他の機能を有する構成要素とを統合的に含むセットである。
　図２８を参照すると、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、及びフロントエンドモジュール１３１４を含むモジュール群と、コネクティビティモジュール１３２１、カメラ１３２２、及びセンサ１３２３を含む関連機能のためのデバイス群と、を有する。
　モジュールは、互いに関連するいくつかの機能のための部品を集約することにより形成される構成要素である。モジュールは、どのような物理的構成を有していてもよい。一例として、モジュールは、同一の又は異なる機能を有する複数のプロセッサと、抵抗及びコンデンサなどの電子回路素子と、その他のデバイスとを回路基板に一体的に配置することにより形成され得る。モジュールに他のモジュール又はプロセッサなどを組合せることにより、別のモジュールが形成されてもよい。
　図２８の例では、ビデオモジュール１３１１において、画像処理に関する機能のための部品が集約されている。ビデオモジュール１３１１は、アプリケーションプロセッサ１３３１、ビデオプロセッサ１３３２、ブロードバンドモデム１３３３、及びベースバンドモジュール１３３４を有する。
　プロセッサは、例えばＳＯＣ（System　On　a　Chip）又はシステムＬＳＩ（Large　Scale　Integration）であってよい。ＳｏＣ又はシステムＬＳＩは、所定のロジックを実装するハードウェアを含んでもよい。また、ＳｏＣ又はシステムＬＳＩは、ＣＰＵと、当該ＣＰＵに所定の機能を実行させるためのプログラムを記憶する非一時的な有形の媒体（non-transitory　tangible　media）とを含んでもよい。プログラムは、例えば、ＲＯＭにより記憶され、実行時にＲＡＭ（Random　Access　Memory）に読み込まれた上でＣＰＵにより実行され得る。
　アプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。アプリケーションプロセッサ１３３１において実行されるアプリケーションは、画像処理のための何らかの演算に加えて、例えばビデオプロセッサ１３３２及びその他の構成要素の制御を行ってもよい。ビデオプロセッサ１３３２は、画像の符号化及び復号に関する機能を有するプロセッサである。なお、アプリケーションプロセッサ１３３１及びビデオプロセッサ１３３２は、１つのプロセッサに一体化されてもよい（図中の点線１３４１参照）。
　ブロードバンドモデム１３３３は、インターネット又は公衆交換電話網などのネットワークを介する通信に関する処理を行うモジュールである。例えば、ブロードバンドモデム１３３３は、送信データを含むデジタル信号をアナログ信号に変換するためのデジタル変調、及び受信データを含むアナログ信号をデジタル信号に変換するためのデジタル復調を実行する。ブロードバンドモデム１３３３により処理される送信データ及び受信データは、例えば、画像データ、画像データの符号化ストリーム、アプリケーションデータ、アプリケーションプログラム及び設定データなどの任意の情報を含み得る。
　ベースバンドモジュール１３３４は、フロントエンドモジュール１３１４を介して送受信されるＲＦ（Radio　Frequency）信号のためのベースバンド処理を行うモジュールである。例えば、ベースバンドモジュール１３３４は、送信データを含む送信ベースバンド信号を変調し及びＲＦ信号へと周波数変換して、ＲＦ信号をフロントエンドモジュール１３１４へ出力する。また、ベースバンドモジュール１３３４は、フロントエンドモジュール１３１４から入力されるＲＦ信号を周波数変換し及び復調して、受信データを含む受信ベースバンド信号を生成する。
　外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられる、ビデオモジュール１３１１からアクセス可能なメモリデバイスである。多数のフレームを含む映像データのような大規模データが外部メモリ１３１２に格納される場合、外部メモリ１３１２は、例えばＤＲＡＭ（Dynamic　Random　Access　Memory）のような比較的安価で大容量の半導体メモリを含み得る。
　パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１及びフロントエンドモジュール１３１４への電力供給を制御するモジュールである。
　フロントエンドモジュール１３１４は、ベースバンドモジュール１３３４に接続され、フロントエンド機能を提供するモジュールである。図２８の例において、フロントエンドモジュール１３１４は、アンテナ部１３５１、フィルタ１３５２及び増幅部１３５３を有する。アンテナ部１３５１は、無線信号を送信し又は受信する１つ以上のアンテナ素子と、アンテナスイッチなどの関連する構成要素とを有する。アンテナ部１３５１は、増幅部１３５３により増幅されるＲＦ信号を無線信号として送信する。また、アンテナ部１３５１は、無線信号として受信されるＲＦ信号をフィルタ１３５２へ出力し、当該ＲＦ信号をフィルタ１３５２にフィルタリングさせる。
　コネクティビティモジュール１３２１は、ビデオセット１３００の外部接続に関する機能を有するモジュールである。コネクティビティモジュール１３２１は、任意の外部接続プロトコルをサポートしてよい。例えば、コネクティビティモジュール１３２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１（例えばＷｉ－Ｆｉ（登録商標））、ＮＦＣ（Near　Field　Communication）又はＩｒＤＡ（InfraRed　Data　Association）などの無線接続プロトコルをサポートするサブモジュールと、対応するアンテナとを有していてもよい。また、コネクティビティモジュール１３２１は、ＵＳＢ（Universal　Serial　Bus）又はＨＤＭＩ（High-Definition　Multimedia　Interface）などの有線接続プロトコルをサポートするサブモジュールと、対応する接続端子とを有していてもよい。
　また、コネクティビティモジュール１３２１は、磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリなどの記憶媒体、又はＳＳＤ（Solid　State　Drive）若しくはＮＡＳ（Network　Attached　Storage）などのストレージデバイスへのデータの書込み及び当該記憶媒体からのデータの読出しを行うドライブを含んでもよい。コネクティビティモジュール１３２１は、これら記憶媒体又はストレージデバイスを含んでもよい。また、コネクティビティモジュール１３２１は、画像を出力するディスプレイ又は音声を出力するスピーカへの接続性を提供してもよい。
　カメラ１３２２は、被写体を撮像することにより撮像画像を取得するモジュールである。カメラ１３２２により取得される一連の撮像画像は、映像データを構成する。カメラ１３２２により生成される映像データは、例えば、必要に応じてビデオプロセッサ１３３２により符号化され、外部メモリ１３１２により又はコネクティビティモジュール１３２１に接続される記憶媒体により記憶され得る。
　センサ１３２３は、例えば、ＧＰＳセンサ、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、角速度センサ、角加速度センサ、速度センサ、加速度センサ、ジャイロセンサ、地磁気センサ、衝撃センサ及び温度センサのうちの１つ以上を含み得るモジュールである。センサ１３２３により生成されるセンサデータは、例えば、アプリケーションプロセッサ１３３１によりアプリケーションの実行のために利用され得る。
　このように構成されたビデオセット１３００において、本開示に係る技術は、例えば、ビデオプロセッサ１３３２において利用され得る。この場合、ビデオセット１３００は、本開示に係る技術を適用したセットとなる。
　なお、ビデオセット１３００は、画像データを処理する様々な種類の装置として実現されてよい。例えば、ビデオセット１３００は、図１８～図２１を用いて説明したテレビジョン装置９００、携帯電話機９２０、記録再生装置９４０又は撮像装置９６０に相当してもよい。また、ビデオセット１３００は、図２２を用いて説明したデータ伝送システム１０００におけるＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６若しくは携帯電話機１００７などの端末装置、図２３を用いて説明したデータ伝送システム１１００における放送局１１０１若しくは端末装置１１０２、又は、図２４を用いて説明したデータ伝送システム１２００における撮像装置１２０１若しくはストリーム記憶装置１２０２に相当してもよい。さらに、ビデオセット１３００は、図３１に例示するコンテンツ再生システム、又は図４０に例示する無線通信システムに含まれる装置に相当してもよい。
　　　（２）ビデオプロセッサ
　図２９は、ビデオプロセッサ１３３２の概略的な構成の一例を示すブロック図である。ビデオプロセッサ１３３２は、入力映像信号及び入力音声信号をそれぞれ符号化して映像データ及び音声データを生成する機能と、符号化された映像データ及び音声データを復号して出力映像信号及び出力音声信号を生成する機能と、を有する。
　図２９を参照すると、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１スケーリング部１４０２、第２スケーリング部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、メモリ制御部１４０６、エンコード・デコードエンジン１４０７、ビデオＥＳ（Elementary　Stream）バッファ１４０８Ａ及び１４０８Ｂ、オーディオＥＳバッファ１４０９Ａ及び１４０９Ｂ、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（ＭＵＸ）１４１２、逆多重化部（ＤＥＭＵＸ）１４１３、並びに、ストリームバッファ１４１４を有する。
　ビデオ入力処理部１４０１は、例えばコネクティビティモジュール１３２１から入力された映像信号をデジタル画像データに変換する。第１スケーリング部１４０２は、ビデオ入力処理部１４０１から入力される画像データについてフォーマット変換及びスケーリング（拡大／縮小）を行う。第２スケーリング部１４０３は、ビデオ出力処理部１４０４へ出力される画像データについてのフォーマット変換及びスケーリング（拡大／縮小）を行う。第１スケーリング部１４０２及び第２スケーリング部１４０３におけるフォーマット変換は、例えば、４：２：２／Ｙ－Ｃｂ－Ｃｒ方式と４：２：０／Ｙ－Ｃｂ－Ｃｒ方式との間の変換などであってよい。ビデオ出力処理部１４０４は、デジタル画像データを出力映像信号に変換し、出力映像信号を例えばコネクティビティモジュール１３２１へ出力する。
　フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１スケーリング部１４０２、第２スケーリング部１４０３、ビデオ出力処理部１４０４、及びエンコード・デコードエンジン１４０７によって共用される、画像データを記憶するメモリデバイスである。フレームメモリ１４０５は、例えばＤＲＡＭなどの半導体メモリを用いて実現されてよい。
　メモリ制御部１４０６は、エンコード・デコードエンジン１４０７から入力される同期信号に基づき、アクセス管理テーブル１４０６Ａに記憶されるフレームメモリ１４０５についてのアクセススケジュールに従って、フレームメモリ１４０５へのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１スケーリング部１４０２及び第２スケーリング部１４０３などにおいて実行される処理に依存し、メモリ制御部１４０６により更新される。
　エンコード・デコードエンジン１４０７は、画像データを符号化して符号化映像ストリームを生成するためのエンコード処理、並びに、符号化映像ストリームから画像データを復号するためのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、符号化映像ストリームをビデオＥＳバッファ１４０８Ａに順次書き込む。また、例えば、ビデオＥＳバッファ１４０８Ｂから符号化映像ストリームを順次読み出し、復号した画像データをフレームメモリ１４０５に書き込む。エンコード・デコードエンジン１４０７は、これら処理において、フレームメモリ１４０５を作業領域として使用し得る。エンコード・デコードエンジン１４０７は、例えば、各ＬＣＵ（Largest　Coding　Unit）の処理を開始するタイミングで、メモリ制御部１４０６へ同期信号を出力する。
　ビデオＥＳバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成された符号化映像ストリームをバッファリングする。ビデオＥＳバッファ１４０８Ａによりバッファリングされる符号化映像ストリームは、多重化部１４１２へ出力される。ビデオＥＳバッファ１４０８Ｂは、逆多重化部１４１３から入力される符号化映像ストリームをバッファリングする。ビデオＥＳバッファ１４０８Ｂによりバッファリングされる符号化映像ストリームは、エンコード・デコードエンジン１４０７へ出力される。
　オーディオＥＳバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成された符号化音声ストリームをバッファリングする。オーディオＥＳバッファ１４０９Ａによりバッファリングされる符号化音声ストリームは、多重化部１４１２へ出力される。オーディオＥＳバッファ１４０９Ｂは、逆多重化部１４１３から入力される符号化音声ストリームをバッファリングする。オーディオＥＳバッファ１４０９Ｂによりバッファリングされる符号化音声ストリームは、オーディオデコーダ１４１１へ出力される。
　オーディオエンコーダ１４１０は、例えばコネクティビティモジュール１３２１から入力される入力音声信号をデジタル変換し、例えばＭＰＥＧオーディオ方式又はＡＣ３（Audio　Code　number　3）方式などの音声符号化方式に従って入力音声信号を符号化する。オーディオエンコーダ１４１０は、符号化音声ストリームをオーディオＥＳバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオＥＳバッファ１４０９Ｂから入力される符号化音声ストリームから音声データを復号し、アナログ信号へ変換する。オーディオデコーダ１４１１は、再生されたアナログ音声信号として、例えばコネクティビティモジュール１３２１へ音声信号を出力する。
　多重化部１４１２は、符号化映像ストリームと符号化音声ストリームとを多重化して、多重化ビットストリームを生成する。多重化ビットストリームのフォーマットは、いかなるフォーマットであってもよい。多重化部１４１２は、所定のヘッダ情報をビットストリームに付加してもよい。また、多重化部１４１２は、ストリームのフォーマットを変換してもよい。例えば、多重化部１４１２は、符号化映像ストリームと符号化音声ストリームとが多重化されたトランスポートストリーム（転送用フォーマットのビットストリーム）を生成し得る。また、多重化部１４１２は、符号化映像ストリームと符号化音声ストリームとが多重化されたファイルデータ（記録用フォーマットのデータ）を生成し得る。
　逆多重化部１４１３は、多重化部１４１２による多重化とは逆の手法で、多重化ビットストリームから符号化映像ストリーム及び符号化音声ストリームを逆多重化する。即ち、逆多重化部１４１３は、ストリームバッファ１４１４から読み出されるビットストリームから映像ストリームと音声ストリームとを抽出（又は分離）する。逆多重化部１４１３は、ストリームのフォーマットを変換（逆変換）してもよい。例えば、逆多重化部１４１３は、コネクティビティモジュール１３２１又はブロードバンドモデム１３３３から入力され得るトランスポートストリームをストリームバッファ１４１４を介して取得し、当該トランスポートストリームを映像ストリームと音声ストリームとに変換してもよい。また、逆多重化部１４１３は、コネクティビティモジュール１３２１により記憶媒体から読み出されるファイルデータをストリームバッファ１４１４を介して取得し、当該ファイルデータを映像ストリームと音声ストリームとに変換してもよい。
　ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部１４１２から入力されるトランスポートストリームをバッファリングし、所定のタイミングで又は外部からの要求に応じて、例えばコネクティビティモジュール１３２１又はブロードバンドモデム１３３３へトランスポートストリームを出力する。また、例えば、ストリームバッファ１４１４は、多重化部１４１２から入力されるファイルデータをバッファリングし、所定のタイミングで又は外部からの要求に応じて、例えばコネクティビティモジュール１３２１へ、当該ファイルデータを記録のために出力する。さらに、ストリームバッファ１４１４は、例えばコネクティビティモジュール１３２１又はブロードバンドモデム１３３３を介して取得されるトランスポートストリームをバッファリングし、所定のタイミングで又は外部からの要求に応じて、当該トランスポートストリームを逆多重化部１４１３へ出力する。また、ストリームバッファ１４１４は、例えばコネクティビティモジュール１３２１により記憶媒体から読み出されたファイルデータをバッファリングし、所定のタイミングで又は外部からの要求に応じて、当該ファイルデータを逆多重化部１４１３へ出力する。
　このように構成されたビデオプロセッサ１３３２において、本開示に係る技術は、例えば、エンコード・デコードエンジン１４０７において利用され得る。この場合、ビデオプロセッサ１３３２は、本開示に係る技術を適用したチップ又はモジュールとなる。
　図３０は、ビデオプロセッサ１３３２の概略的な構成の他の例を示すブロック図である。図３０の例において、ビデオプロセッサ１３３２は、映像データを所定の方式で符号化し及び復号する機能を有する。
　図３０を参照すると、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、内部メモリ１５１５、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化／逆多重化部１５１８、ネットワークインタフェース１５１９、及びビデオインタフェース１５２０を有する。
　制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６などの、ビデオプロセッサ１３３２内の様々な処理部の動作を制御する。制御部１５１１は、例えば、メインＣＰＵ１５３１、サブＣＰＵ１５３２及びシステムコントローラ１５３３を有する。メインＣＰＵ１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラムを実行する。メインＣＰＵ１５３１は、プログラムの実行を通じて生成される制御信号を各処理部に供給する。サブＣＰＵ１５３２は、メインＣＰＵ１５３１の補助的な役割を果たす。例えば、サブＣＰＵ１５３２は、メインＣＰＵ１５３１が実行するプログラムの子プロセス及びサブルーチンを実行する。システムコントローラ１５３３は、メインＣＰＵ１５３１及びサブＣＰＵ１５３２によるプログラムの実行を管理する。
　ディスプレイインタフェース１５１２は、制御部１５１１による制御の下、画像データを例えばコネクティビティモジュール１３２１へ出力する。例えば、ディスプレイインタフェース１５１２は、デジタル画像データから変換されるアナログ画像信号又はデジタル画像データそのものを、コネクティビティモジュール１３２１に接続されるディスプレイへ出力する。ディスプレイエンジン１５１３は、制御部１５１１による制御の下、画像データの属性が出力先のディスプレイの仕様に適合するように、画像データについてのフォーマット変換、サイズ変換及び色域変換などを実行する。画像処理エンジン１５１４は、制御部１５１１による制御の下、画像データについて、画質改善などの目的を有するフィルタリング処理を含み得る画像処理を実行する。
　内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられるメモリデバイスである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６の間で画像データを入出力する際に利用される。内部メモリ１５１５は、いかなる種類のメモリデバイスであってもよい。例えば、内部メモリ１５１５は、ブロック単位の画像データ及び関連するパラメータを記憶するための、比較的小さいメモリサイズを有していてもよい。内部メモリ１５１５は、例えばＳＲＡＭ（Static　Random　Access　Memory）のような（例えば、外部メモリ１３１２に対して相対的に）小容量だが応答速度の速いメモリであってもよい。
　コーデックエンジン１５１６は、画像データを符号化して符号化映像ストリームを生成するためのエンコード処理、並びに、符号化映像ストリームから画像データを復号するためのデコード処理を行う。コーデックエンジン１５１６によりサポートされる画像符号化方式は、任意の１つ又は複数の方式であってよい。図３０の例において、コーデックエンジン１５１６は、ＭＰＥＧ－２　Ｖｉｄｅｏ用ブロック１５４１、ＡＶＣ／Ｈ．２６４用ブロック１５４２、ＨＥＶＣ／Ｈ．２６５用ブロック１５４３、ＨＥＶＣ／Ｈ．２６５（スケーラブル）用ブロック１５４４、ＨＥＶＣ／Ｈ．２６５（マルチビュー）用ブロック１５４５、及びＭＰＥＧ－ＤＡＳＨ用ブロック１５５１を有する。これら機能ブロックは、それぞれ、対応する画像符号化方式に従って画像データを符号化し及び復号する。
　ＭＰＥＧ－ＤＡＳＨ用ブロック１５５１は、画像データをＭＰＥＧ－ＤＡＳＨ方式に従って伝送することを可能とするための機能ブロックである。ＭＰＥＧ－ＤＡＳＨ用ブロック１５５１は、標準仕様に準拠するストリームの生成、及び生成したストリームの伝送の制御を実行する。伝送される画像データの符号化及び復号は、コーデックエンジン１５１６に含まれる他の機能ブロックにより実行されてよい。
　メモリインタフェース１５１７は、ビデオプロセッサ１３３２を外部メモリ１３１２と接続するためのインタフェースである。画像処理エンジン１５１４又はコーデックエンジン１５１６により生成されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２へ出力される。また、外部メモリ１３１２から入力されるデータは、メモリインタフェース１５１７を介して画像処理エンジン１５１４又はコーデックエンジン１５１６へ供給される。
　多重化／逆多重化部１５１８は、符号化映像ストリーム及び関連するビットストリームの多重化及び逆多重化を行う。多重化の際に、多重化／逆多重化部１５１８は、多重化ストリームに所定のヘッダ情報を付加してもよい。また、逆多重化の際に、多重化／逆多重化部１５１８は、分離された個々のストリームに所定のヘッダ情報を付加してもよい。即ち、多重化／逆多重化部１５１８は、多重化又は逆多重化と共にフォーマット変換を実行し得る。例えば、多重化／逆多重化部１５１８は、複数のビットストリームと転送用フォーマットを有する多重化ストリームであるトランスポートストリームとの間の変換及び逆変換、並びに、複数のビットストリームと記録用フォーマットを有するファイルデータとの間の変換及び逆変換をサポートしてもよい。
　ネットワークインタフェース１５１９は、例えば、ビデオプロセッサ１３３２をブロードバンドモデム１３３３又はコネクティビティモジュール１３２１へ接続するためのインタフェースである。ビデオインタフェース１５２０は、例えば、ビデオプロセッサ１３３２をコネクティビティモジュール１３２１又はカメラ１３２２へ接続するためのインタフェースである。
　このように構成されたビデオプロセッサ１３３２において、本開示に係る技術は、例えば、コーデックエンジン１５１６において利用され得る。この場合、ビデオプロセッサ１３３２は、本開示に係る技術を適用したチップ又はモジュールとなる。
　なお、ビデオプロセッサ１３３２の構成は、上述した２つの例に限定されない。例えば、ビデオプロセッサ１３３２は、１つの半導体チップとして実現されてもよく、又は複数の半導体チップとして実現されてもよい。また、ビデオプロセッサ１３３２は、複数の半導体を積層することにより形成される３次元積層ＬＳＩ、又は複数のＬＳＩの組合せとして実現されてもよい。
　　［７－５．ＭＰＥＧ－ＤＡＳＨを利用するシステム］
　　　（１）コンテンツ再生システムの概要
　まず、図３１～図３３を用いて、本開示に係る技術を適用可能なコンテンツ再生システムについて概略的に説明する。図３１は、コンテンツ再生システムの概要を示す説明図である。図３１に示したコンテンツ再生システムは、コンテンツサーバ１６１０及び１６１１と、ネットワーク１６１２と、コンテンツ再生装置（クライアント装置）１６２０（１６２０Ａ、１６２０Ｂ及び１６２０Ｃ）と、を含む。
　コンテンツサーバ１６１０及び１６１１は、ネットワーク１６１２を介してコンテンツ再生装置１６２０と接続されている。ネットワーク１６１２は、ネットワーク１６１２に接続される装置により送信され又は受信される情報のための、有線又は無線の伝送路である。例えば、ネットワーク１６１２は、インターネット、公衆交換電話網若しくは衛星通信網などのパブリックネットワークであってもよく、又はＥｔｈｅｒｎｅｔ（登録商標）を含むＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）若しくはＩＰ－ＶＰＮ（Internet　Protocol-Virtual　Private　Network）などのプライベートネットワークであってもよい。
　コンテンツサーバ１６１０は、コンテンツデータを符号化することにより生成される符号化データ及び関連するメタデータを含むデータファイルを蓄積するデータベースを有するサーバ装置である。コンテンツサーバ１６１０がＭＰ４ファイルフォーマットに従ってデータファイルを生成する場合、符号化データは「mdat」ボックスに、メタデータは「moov」ボックスにそれぞれ格納され得る。コンテンツデータは、音楽、講演又はラジオ番組などの音声コンテンツを含んでもよい。また、コンテンツデータは、映画、テレビジョンプログラム又はビデオプログラムなどの映像コンテンツを含んでもよい。また、コンテンツデータは、写真、文書、絵画又は図表などの画像コンテンツを含んでもよい。さらに、コンテンツデータは、ゲームデータ又はソフトウエアプログラムなどの他の種類のコンテンツを含んでもよい。
　コンテンツサーバ１６１０は、同一のコンテンツについて、互いに異なるビットレートで複数のデータファイルを生成する。また、コンテンツサーバ１６１１は、コンテンツ再生装置１６２０からのコンテンツ再生要求への応答として、コンテンツサーバ１６１０のＵＲＬに加えて当該ＵＲＬに付加すべきパラメータに関する情報をコンテンツ再生装置１６２０へ送信する。
　図３２は、上述したコンテンツ再生システムにおけるデータの流れの一例を示す説明図である。コンテンツサーバ１６１０は、同一のコンテンツを異なるビットレートで符号化し、例えば、図３２に示したような２ＭｂｐｓのファイルＡ、１．５ＭｂｐｓのファイルＢ及び１ＭｂｐｓのファイルＣを生成する。相対的に、ファイルＡは高いビットレートを、ファイルＢは標準的なビットレートを、ファイルＣは低いビットレートをそれぞれ有する。
　また、図３２に示したように、各ファイルの符号化データは複数のセグメントに区分される。例えば、ファイルＡの符号化データは「Ａ１」、「Ａ２」、「Ａ３」、…「Ａｎ」というセグメントに、ファイルＢの符号化データは「Ｂ１」、「Ｂ２」、「Ｂ３」、…「Ｂｎ」というセグメントに、ファイルＣの符号化データは「Ｃ１」、「Ｃ２」、「Ｃ３」、…「Ｃｎ」というセグメントにそれぞれ区分されている。
　各セグメントは、例えば、ＭＰ４のシンクサンプル（sync　samples）（例えば、ＩＤＲピクチャを含むサンプル）で開始され、セグメント単体で再生可能な１つ以上のサンプルのシーケンスであってよい。例えば、１秒当たり３０フレームの映像データが１５フレーム分の固定長を有するＧＯＰ構造で符号化される場合、各セグメントは、４個のＧＯＰに相当する２秒分の映像及び音声を含んでもよく、又は２０個のＧＯＰに相当する１０秒分の映像及び音声を含んでもよい。ファイルＡ、ファイルＢ及びファイルＣ内の同じ位置のセグメントの時間的な再生範囲は、典型的には、同一である。例えば、セグメント「Ａ２」、セグメント「Ｂ２」及びセグメント「Ｃ２」の再生範囲は同一である。各セグメントが再生時に２秒分の時間長を占める場合、セグメント「Ａ２」、セグメント「Ｂ２」及びセグメント「Ｃ２」の再生範囲は、いずれもコンテンツの２秒目から４秒目の範囲に相当し得る。
　コンテンツサーバ１６１０は、このような複数のセグメントを含むファイルＡ～ファイルＣを生成し、生成したファイルＡ～ファイルＣを記憶する。そして、コンテンツサーバ１６１０は、図３２に示したように、各ファイルに含まれるセグメントをコンテンツ再生装置１６２０へストリーミングする。コンテンツ再生装置１６２０は、順次受信されるセグメントに基づいて、コンテンツを再生する。
　コンテンツサーバ１６１０は、各符号化データのビットレート情報及びアクセス情報を含むプレイリストファイル（以下、ＭＰＤ（Media　Presentation　Description）という）をコンテンツ再生装置１６２０へ送信する。コンテンツ再生装置１６２０は、コンテンツサーバ１６１０から受信されるＭＰＤに基づき、複数のビットレートのうちのいずれかのビットレートを選択し、選択したビットレートに対応するセグメントの送信をコンテンツサーバ１６１０に要求する。
　図３３は、ＭＰＤの具体的な例を示す説明図である。図３３に示したように、ＭＰＤには、異なるビットレート（bandwidth）を有する複数の符号化データに関するアクセス情報が含まれる。図３３に示したＭＰＤは、２５６Ｋｂｐｓ、５１２Ｋｂｐｓ、１．０２４Ｍｂｐｓ、１．３８４Ｍｂｐｓ、１．５３６Ｍｂｐｓ及び２．０４８Ｍｂｐｓのビットレートをそれぞれ有する６通りの符号化データが存在することを示している。また、当該ＭＰＤは、各符号化データに関するアクセス情報を含む。コンテンツ再生装置１６２０は、このようなＭＰＤを参照することにより、ストリーミング再生されるコンテンツのビットレートを動的に選択することができる。
　なお、図３１にはコンテンツ再生装置１６２０の一例として携帯端末を示しているが、コンテンツ再生装置１６２０はかかる例に限定されない。例えば、コンテンツ再生装置１６２０は、ＰＣ、ＰＤＡ、スマートフォン、コンテンツレコーダ、コンテンツプレーヤ、ゲーム機器又はデジタル家電機器などの端末装置であってもよい。
　　　（２）コンテンツサーバの構成例
　図３４は、コンテンツサーバ１６１０の構成の一例を示すブロック図である。図３４を参照すると、コンテンツサーバ１６１０は、ファイル生成部１６３１、記憶部１６３２及び通信部１６３３を備える。
　ファイル生成部１６３１は、コンテンツデータを符号化するエンコーダ１６４１を有し、同一のコンテンツデータから互いに異なるビットレートを有する複数の符号化データを生成する。また、ファイル生成部１６３１は、上述したＭＰＤを生成する。例えば、ファイル生成部１６３１は、２５６Ｋｂｐｓ、５１２Ｋｂｐｓ、１．０２４Ｍｂｐｓ、１．３８４Ｍｂｐｓ、１．５３６Ｍｂｐｓ及び２．０４８Ｍｂｐｓのビットレートをそれぞれ有する６通りの符号化データを生成し、図３３に例示したようなＭＰＤを生成し得る。
　記憶部１６３２は、ファイル生成部１６３１により生成される複数の符号化データ及び対応するＭＰＤを記憶する。記憶部１６３２は、不揮発性メモリ、磁気ディスク、光ディスク又はＭＯ（Magneto　Optical）ディスクなどの記憶媒体を含み得る。例えば、不揮発性メモリは、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　Read-Only　Memory）又はＥＰＲＯＭ（Erasable　Programmable　ROM）であってよい。磁気ディスクは、ハードディスク又は円盤型磁性体ディスクであってよい。光ディスクは、ＣＤ（Compact　Disc）、ＤＶＤ－Ｒ（Digital　Versatile　Disc　Recordable）又はＢＤ（Blu-Ray　Disc（登録商標））であってよい。
　通信部１６３３は、コンテンツ再生装置１６２０との間の通信のための通信インタフェース又は機能エンティティである。通信部１６３３は、ネットワーク１６１２を介して、コンテンツ再生装置１６２０と通信する。より具体的には、通信部１６３３は、ＨＴＴＰサーバとしての機能を有する。例えば、通信部１６３３は、ＭＰＤをコンテンツ再生装置１６２０へ提供する。そして、通信部１６３３は、コンテンツ再生装置１６２０においてＭＰＤに基づいて選択されるビットレートを有する符号化データのセグメントを、コンテンツ再生装置１６２０からのＨＴＴＰリクエストに応じて、ＨＴＴＰレスポンスとしてコンテンツ再生装置１６２０へ送信する。
　　　（３）コンテンツ再生装置の構成例
　図３５は、コンテンツ再生装置１６２０の構成の一例を示すブロック図である。図３５を参照すると、コンテンツ再生装置１６２０は、通信部１６５１、記憶部１６５２、再生部１６５３、選択部１６５４及び位置取得部１６５６を備える。
　通信部１６５１は、コンテンツサーバ１６１０との間の通信のための通信インタフェース又は機能エンティティである。通信部１６５１は、コンテンツサーバ１６１０へＨＴＴＰリクエストを送信し、コンテンツサーバ１６１０からＨＴＴＰレスポンスを受信する。即ち、通信部１６５１は、ＨＴＴＰクライアントとして動作し得る。通信部１６５１は、ＨＴＴＰレンジ（HTTP　Range）リクエストを利用することにより、コンテンツサーバ１６１０から、対象のコンテンツのＭＰＤ及び符号化データのセグメントを選択的に取得することができる。
　記憶部１６５２は、コンテンツの再生に関する様々なデータを記憶する。例えば、記憶部１６５２は、通信部１６５１によりコンテンツサーバ１６１０から取得されるセグメントを順次バッファリングする。記憶部１６５２によりバッファリングされるセグメントは、例えばＦＩＦＯ（First　In　First　Out）の原理に従って、再生部１６５３へ出力され得る。また、記憶部１６５２は、コンテンツサーバ１６１０から受信されるＭＰＤに記述されている、コンテンツのＵＲＬに付加すべきパラメータの定義を記憶する。また、記憶部１６５２は、後述するコンテンツサーバ１６１１から受信されるパラメータ選択情報を記憶してもよい。
　再生部１６５３は、記憶部１６５２によりバッファリングされるセグメントを順次取得し、取得したセグメントからコンテンツデータを復号する。そして、再生部１６５３は、復号したコンテンツデータについてＤＡ変換及びレンダリングを実行し、コンテンツを再生する。
　選択部１６５４は、ＭＰＤにおいて定義された複数のビットレートのうち再生部１６５３による再生に適したビットレートを動的に選択する。そして、選択したビットレートに対応する符号化データのセグメントを取得するためのＨＴＴＰリクエストを、通信部１６５１からコンテンツサーバ１６１０へ送信させる。
　位置取得部１６５６は、コンテンツ再生装置１６２０の現在位置を示す位置データを取得するモジュールである。位置取得部１６５６は、例えばＧＰＳ（Global　Positioning　System）受信器であってもよい。その代わりに、位置取得部１６５６は、無線ネットワークを使用して現在位置を取得する測位エンジンであってもよい。
　　　（４）コンテンツサーバの構成の他の例
　図３６は、コンテンツサーバ１６１１の構成の一例を示すブロック図である。図３６を参照すると、コンテンツサーバ１６１１は、記憶部１６７１及び通信部１６７２を備える。
　記憶部１６７１は、各コンテンツへアクセスするためのＵＲＬを特定するＵＲＬ情報を記憶する。また、記憶部１６７１は、各コンテンツのＵＲＬに付加すべきパラメータをコンテンツ再生装置１６２０が選択する際に参照され得るパラメータ選択情報を記憶する。パラメータ選択情報は、例えば、クライアントの現在位置、クライアントのユーザＩＤ、クライアントが有するメモリのメモリサイズ及びクライアントが有するストレージの容量などの指標に、対応するパラメータをマッピングし得る。
　通信部１６７２は、コンテンツ再生装置１６２０との間の通信のための通信インタフェース又は機能エンティティである。通信部１６７２は、ネットワーク１６１２を介して、コンテンツ再生装置１６２０と通信する。より具体的には、通信部１６７２は、コンテンツ再生装置１６２０からのリクエストに応じて、記憶部１６７１により記憶されているＵＲＬ情報及びパラメータ選択情報をコンテンツ再生装置１６２０へ送信する。コンテンツ再生装置１６２０は、コンテンツサーバ１６１１から受信されるパラメータ選択情報に従って、コンテンツサーバ１６１０へコンテンツのストリーミングを要求する際にＵＲＬに付加すべきパラメータを選択してもよい。
　図３１～図３６を用いて説明したコンテンツ再生システムにおいて、本開示に係る技術は、例えば、コンテンツサーバ１６１０のエンコーダ１６４１において利用され得る。
　　［７－６．Ｗｉ－ＦｉのＰ２Ｐモードを利用するシステム］
　本節では、本開示に係る技術がＷｉ－ＦｉのＰ２Ｐモードを利用するシステムに応用される例について説明する。
　　　（１）基本的な動作シーケンス
　図３７及び図３８は、Ｗｉ－ＦｉのＰ２Ｐモードで形成される無線通信システムにおける基本的な動作シーケンスを示すシーケンス図である。ここでは、第１無線通信装置１７０１と第２無線通信装置１７０２との間でＰ２Ｐ（Peer　to　Peer）接続が確立され、特定のアプリケーションの動作が開始されるまでのシーケンスが示されている。より具体的には、図示したシーケンスは、Ｗｉ－Ｆｉアライアンスにおいて標準化されたＷｉ－Ｆｉダイレクト（Ｗｉ－Ｆｉ　Ｐ２Ｐとも呼ばれ得る）の仕様に従っている。
　まず、第１無線通信装置１７０１と第２無線通信装置１７０２との間で、デバイスディスカバリ手続が実行される（ステップＳ１７１１）。デバイスディスカバリ手続において、例えば、第１無線通信装置１７０１は、プローブリクエスト（応答要求信号）をブロードキャストする。そして、第１無線通信装置１７０１は、プローブリクエストを受信した第２無線通信装置１７０２から、プローブレスポンス（応答信号）を受信する。それにより、第１無線通信装置１７０１及び第２無線通信装置１７０２は、互いの存在を発見する。また、デバイスディスカバリ手続において、各装置のデバイス名及びタイプ（テレビジョン装置、ＰＣ、スマートフォンなど）などの属性情報が交換され得る。
　次に、第１無線通信装置１７０１と第２無線通信装置１７０２との間でサービスディスカバリ手続が実行される（ステップＳ１７１２）。サービスディスカバリ手続において、例えば、第１無線通信装置１７０１は、第２無線通信装置１７０２へサービスディスカバリクエリを送信することにより、第２無線通信装置１７０２がサポートしているサービス又はプロトコルを問合せる。そして、第１無線通信装置１７０１は、第２無線通信装置１７０２からサービスディスカバリレスポンスを受信することにより、第２無線通信装置１７０２がサポートしているサービス又はプロトコルを認識する。各装置によりサポートされ得るプロトコルの例は、ＤＬＮＡ（Digital　Living　Network　Alliance）を含み得る。また、各装置によりサポートされ得るサービスの例は、ＤＬＮＡのＤＭＲ（Digital　Media　Renderer）を含み得る。
　次に、ユーザにより、接続相手を選択するための操作（接続相手選択操作）が行われる（ステップＳ１７１３）。接続相手選択操作は、第１無線通信装置１７０１及び第２無線通信装置１７０２の一方においてのみ行われてもよく、又は双方において行われてもよい。例えば、第１無線通信装置１７０１のディスプレイに、接続相手選択画面が表示される。そして、ユーザは、接続相手選択画面に選択肢として表示された第２無線通信装置１７０２を、所定のユーザ入力によって選択する。
　接続相手選択操作の後、第１無線通信装置１７０１と第２無線通信装置１７０２との間で、グループオーナの交渉（Group　Owner　Negotiation）が実行される（ステップＳ１７１４）。ここでは、交渉の結果として、第１無線通信装置１７０１がグループオーナ１７１５になり、第２無線通信装置１７０２がクライアント１７１６になるものとする。
　次に、第１無線通信装置１７０１と第２無線通信装置１７０２との間で、アソシエーション（Ｌ２リンク）が確立され（ステップＳ１７１７）、さらにセキュアリンクが確立される（ステップＳ１７１８）。さらに、第１無線通信装置１７０１と第２無線通信装置１７０２との間で、ＩＰアドレスの割当て（ステップＳ１７１９）、及び、ＳＳＤＰ（Simple　Service　Discovery　Protocol）を用いたＬ３上でのＬ４セットアップ（ステップＳ１７２０）が実行される。なお、Ｌ２は第２層（データリンク層）、Ｌ３は第３層（ネットワーク層）、Ｌ４は第４層（トランスポート層）をそれぞれ意味する。
　次に、ユーザにより、特定のアプリケーションを起動するための操作（アプリケーション起動操作）が行われる（ステップＳ１７２１）。アプリケーション起動操作は、第１無線通信装置１７０１及び第２無線通信装置１７０２の一方においてのみ行われてもよく、又は双方において行われてもよい。例えば、第１無線通信装置１７０１のディスプレイに、アプリケーション指定／起動画面が表示される。そして、ユーザは、アプリケーション指定／起動画面にリストアップされた候補のうちの所望のアプリケーションを、所定のユーザ入力によって指定する。
　アプリケーション起動操作の後、指定されたアプリケーションが第１無線通信装置１７０１及び第２無線通信装置１７０２において起動し、アプリケーションのトラフィックがこれら装置の間で交換される（ステップＳ１７２２）。
　ここで、Ｗｉ－Ｆｉダイレクトよりも前に標準化されたＩＥＥＥ８０２．１１の仕様においても、アクセスポイント（ＡＰ）とステーション（ＳＴＡ）との間でＰ２Ｐ接続を確立することは可能であった。しかし、それら過去の仕様によれば、Ｌ２リンクが確立される前に、接続相手のタイプ又はどのようなサービスを接続相手がサポートしているかなどの情報を知ることはできなかった。これに対し、Ｗｉ－Ｆｉダイレクトにおいては、デバイスディスカバリ手続及びサービスディスカバリ手続において、接続相手についての情報を事前に取得することができる。そして、ユーザは、取得された接続相手についての情報を参照して、所望の接続相手を選択することができる。
　　　（２）拡張された動作シーケンス
　上述したデバイスディスカバリ手続及びサービスディスカバリ手続の仕組みを拡張し、Ｌ２リンクが確立される前に所望のアプリケーションをユーザに指定させることにより、Ｌ２リンク確立後のアプリケーション起動操作を省略することも可能である。そうした拡張のためのＭＡＣフレームのフレームフォーマットの一例を図３９に、動作シーケンスの一例を図４０にそれぞれ示す。
　図３９を参照すると、Ｌ２接続の確立を試行する際に送信されるアソシエーションリクエスト／レスポンスのＭＡＣフレームのフレームフォーマットの一例が示されている。Frame　Controlフィールド１７５１からSequence　Controlフィールド１７５６までの６個のフィールドは、ＭＡＣヘッダを構成する。例えば、Frame　Controlフィールド１７５１には、アソシエーションリクエストとアソシエーションレスポンスとを識別するための値が設定される。その他のフィールドの多くはＩＥＥＥ８０２．１１－２００７仕様書において定義された情報要素（ＩＥ）のためのフィールドであるものの、いくつかのフィールドは拡張されている。
　Information　Element　IDフィールド１７６１には、Vendor　Specific　IEフィールド１７６０にベンダ固有の情報が設定されることを示す値（１０進数で１２７）が設定される。この場合、Vendor　Specific　IEフィールド１７６０において、Lengthフィールド１７６２、OUIフィールド１７６３及びVendor　Specific　Contentフィールド１７６４が続く。本拡張において、Vendor　Specific　Contentフィールド１７６４は、IE　Typeフィールド１７６５、及び１つ以上のSubelementフィールド１７６６を含む。Subelementフィールド１７６６は、例えば、起動されるべきアプリケーションを識別するフィールド１７６７、アプリケーションに関連するデバイスの役割を識別するフィールド１７６８、アプリケーションに対応するポート番号を含み得るＬ４セットアップ情報のためのフィールド１７６９及びアプリケーションのケイパビリティに関する情報のためのフィールド１７７０のうちの１つ以上を含んでよい。ケイパビリティに関する情報は、例えば、ＤＬＮＡアプリケーションについて、音声配信、音声再生、映像配信及び映像再生をそれぞれ実行可能かを特定する情報を含んでよい。
　上述した拡張されたアソシエーションリクエスト及びアソシエーションレスポンスは、例えば、図４０のシーケンスにおいて、第１無線通信装置１７０１と第２無線通信装置１７０２との間のアソシエーション（Ｌ２リンク）の確立の試行の際に交換される（ステップＳ１７１７ｂ）。アソシエーションリクエストは、接続相手選択操作（ステップＳ１７１３ｂ）においてユーザにより指定されたアプリケーションを特定し得る。そして、Ｌ２リンクの確立後に、アプリケーション起動操作が行われることなく、ユーザにより事前に指定されたアプリケーションが自動的に起動する（ステップＳ１７２０ｂ）。
　本節で説明した無線通信システムにおいて、本開示に係る技術は、例えば、アプリケーションのトラフィックに含まれる映像データを符号化し又は復号する際に利用されてよい。なお、本節で説明したシーケンス図は、説明の簡明さのために、動作シーケンスに含まれ得る処理ステップの一部のみを示している。実際には、動作シーケンスは、追加的なパケットの交換などのさらなる処理ステップを含んでもよい。
　＜８．まとめ＞
　ここまで、図１～図４０を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、第１レイヤを参照して復号される第２レイヤの色差成分の変換係数データを量子化し又は逆量子化する際に使用される量子化パラメータのための量子化パラメータオフセットが、上記第１レイヤの色差成分の量子化パラメータオフセットに基づいて設定される。従って、スケーラブル符号化において、量子化に関連するパラメータの冗長的な符号化を回避し、全体としての符号化効率を高めることができる。一般的に、色差成分の量子化パラメータの調整は、各画像に現れる色の傾向に依存する一方で、レイヤの相違（あるいは解像度の相違）には依存しない。従って、色差成分の量子化パラメータを調整するための量子化パラメータオフセットがレイヤ間で再利用されるとしても、調整を適切に行うことが可能である。
　また、上述した実施形態によれば、第２レイヤに設定される量子化パラメータオフセットは、第１レイヤの量子化パラメータオフセットと第２レイヤにおいて符号化され及び復号される量子化パラメータオフセット差分との和に等しい。かかる構成によれば、第１レイヤの量子化パラメータオフセットを再利用することにより符号量を削減しつつ、量子化パラメータオフセット差分を用いて第２レイヤの量子化パラメータオフセットを適応的に変化させることができる。それにより、第２レイヤの色差成分の画質を、例えばスライスごとに最適化することが可能となる。
　また、上述した実施形態によれば、第２レイヤの量子化パラメータオフセットは、第２レイヤのＣｂ成分及びＣｒ成分について別々に設定される。それにより、例えば、赤色の強い画像において階調を維持するためにＣｂ成分の量子化パラメータを相対的に低くし、又は青色の強い画像において階調を維持するためにＣｒ成分の量子化パラメータを相対的に低くするといったような柔軟な調整が可能となる。
　また、上述した実施形態によれば、第２レイヤの変換係数データを量子化し又は逆量子化する際に使用される量子化行列が、第１レイヤの量子化行列に基づいて設定される。この場合にも、マルチレイヤコーデックにおいて、量子化に関連するパラメータの冗長的な符号化を回避し、全体としての符号化効率を高めることができる。量子化行列の再利用のために参照すべきレイヤを指定する参照レイヤ情報が符号化され及び復号される場合には、第２レイヤにおいて、最適な量子化行列を柔軟に再利用することが可能となる。
　第１レイヤの量子化行列から第２レイヤの量子化行列が複製される場合には、第２レイヤの量子化行列のために符号は発生しない。第１レイヤの量子化行列から第２レイヤの量子化行列が予測される場合には、比較的小さい残差のための符号が発生するものの、第２レイヤにおいて符号量をある程度削減しつつ最適な量子化行列を使用することができる。
　また、上述した実施形態によれば、第１レイヤがＡＶＣ方式で符号化され、第２レイヤがＨＥＶＣ方式で符号化される場合には、８×８画素以下のサイズを有する量子化行列がレイヤ間で再利用される一方で、１６×１６画素以上のサイズを有する量子化行列は第２レイヤにおいて符号化され及び復号され得る。かかる構成によれば、量子化行列の再利用によって符号量を削減しつつ、不足する量子化行列を補完して装置の適切な動作を保証することができる。
　また、上述した実施形態によれば、量子化パラメータオフセットをレイヤ間で再利用すべきかを示すフラグ、量子化行列をレイヤ間で再利用すべきかを示すフラグ、第２レイヤの量子化行列の設定手法を指定するフラグなどの様々なフラグが符号化され及び復号され得る。量子化行列のためのこれらフラグは、異なる量子化行列サイズ、異なる予測モード又は異なる色成分について別々に符号化され及び復号されてよい。これらフラグの採用により、ユーザ要件、装置の性能、アプリケーションのケイパビリティ又は通信環境などの多様な条件に応じた柔軟な符号化処理の設計が可能となる。
　なお、本明細書では、量子化に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１レイヤの色差成分に設定される第１の量子化パラメータオフセットに基づいて、前記第１レイヤを参照して復号される第２レイヤの色差成分に第２の量子化パラメータオフセットを設定する制御部と、
　前記制御部により設定された前記第２の量子化パラメータオフセットを用いて算出される量子化パラメータで、前記第２レイヤの色差成分の変換係数データを逆量子化する逆量子化部と、
　を備える画像処理装置。
（２）
　前記第２の量子化パラメータオフセットは、前記第１の量子化パラメータオフセットと量子化パラメータオフセット差分との和に等しい、前記（１）に記載の画像処理装置。
（３）
　前記画像処理装置は、符号化ストリームから前記量子化パラメータオフセット差分を復号する復号部、をさらに備える、前記（２）に記載の画像処理装置。
（４）
　前記第１の量子化パラメータオフセットは、ピクチャ単位で前記第１レイヤに設定されるオフセットとスライス単位で前記第１レイヤに設定されるオフセットとの和に等しい、前記（１）～（３）のいずれか１項に記載の画像処理装置。
（５）
　前記第１の量子化パラメータオフセットは、ピクチャ単位で前記第１レイヤに設定されるオフセットに等しい、前記（１）～（３）のいずれか１項に記載の画像処理装置。
（６）
　前記制御部は、前記第２レイヤのＣｂ成分及びＣｒ成分について別々に、前記第２の量子化パラメータオフセットを設定する、前記（１）～（５）のいずれか１項に記載の画像処理装置。
（７）
　前記制御部は、符号化ストリームから復号される第１のフラグが前記第１の量子化パラメータオフセットに基づいて前記第２の量子化パラメータオフセットを設定すべきことを示している場合に、前記第１の量子化パラメータオフセットに基づいて前記第２の量子化パラメータオフセットを設定する、前記（１）～（６）のいずれか１項に記載の画像処理装置。
（８）
　前記制御部は、前記第１レイヤに設定される第１の量子化行列に基づいて、前記第２レイヤに第２の量子化行列を設定し、
　前記逆量子化部は、前記制御部により設定された前記第２の量子化行列を用いて、前記第２レイヤの変換係数データを逆量子化する、
　前記（１）～（７）のいずれか１項に記載の画像処理装置。
（９）
　前記制御部は、参照レイヤ情報が参照レイヤとして前記第１レイヤを指定する場合に、前記第１レイヤに設定される前記第１の量子化行列に基づいて、前記第２レイヤに前記第２の量子化行列を設定する、前記（８）に記載の画像処理装置。
（１０）
　前記制御部は、前記第１の量子化行列から前記第２の量子化行列を複製し又は予測する、前記（８）又は前記（９）に記載の画像処理装置。
（１１）
　前記制御部は、符号化ストリームから復号される第２のフラグが前記第１の量子化行列に基づいて前記第２の量子化行列を設定すべきことを示している場合に、前記第１の量子化行列に基づいて前記第２の量子化行列を設定する、前記（８）～（１０）のいずれか１項に記載の画像処理装置。
（１２）
　前記第２のフラグは、異なる量子化行列サイズ、異なる予測モード又は異なる色成分について別々に前記符号化ストリームから復号される、前記（１１）に記載の画像処理装置。
（１３）
　前記制御部は、符号化ストリームから復号される第３のフラグに従って、前記第２の量子化行列を設定するための設定手法を選択する、前記（１０）に記載の画像処理装置。
（１４）
　前記第３のフラグは、異なる量子化行列サイズ、異なる予測モード又は異なる色成分について別々に前記符号化ストリームから復号される、前記（１３）に記載の画像処理装置。
（１５）
　前記第２レイヤは、ＨＥＶＣ（High　Efficiency　Video　Coding）方式で符号化され、
　前記制御部は、前記第１レイヤがＡＶＣ（Advanced　Video　Coding）方式で符号化される場合には、８×８画素以下のサイズを有する前記第２の量子化行列を前記第１の量子化行列に基づいて前記第２レイヤに設定し、１６×１６画素以上のサイズを有する第３の量子化行列を前記第１の量子化行列に基づくことなく前記第２レイヤに設定する、
　前記（８）～（１４）のいずれか１項に記載の画像処理装置。
（１６）
　第１レイヤの色差成分に設定される第１の量子化パラメータオフセットに基づいて、前記第１レイヤを参照して復号される第２レイヤの色差成分に第２の量子化パラメータオフセットを設定することと、
　設定された前記第２の量子化パラメータオフセットを用いて算出される量子化パラメータで、前記第２レイヤの色差成分の変換係数データを逆量子化することと、
　を含む画像処理方法。
（１７）
　第１レイヤを参照して符号化される第２レイヤの色差成分の変換係数データを所与の量子化パラメータで量子化する量子化部と、
　前記第１レイヤの色差成分に設定された第１の量子化パラメータオフセットと前記所与の量子化パラメータとに基づいて算出される、前記第２レイヤの色差成分の第２の量子化パラメータオフセットを符号化する符号化部と、
　を備える画像処理装置。
（１８）
　前記量子化部は、所与の量子化行列を用いて、前記第２レイヤの変換係数データを量子化し、
　前記符号化部は、デコーダが前記第１レイヤに設定される量子化行列に基づいて前記所与の量子化行列を前記第２レイヤに設定すべきである場合に、前記所与の量子化行列を符号化しない、
　前記（１７）に記載の画像処理装置。
（１９）
　前記符号化部は、前記所与の量子化行列を設定する際に参照すべき参照レイヤとして前記第１レイヤを指定する参照レイヤ情報を符号化する、前記（１８）に記載の画像処理装置。
（２０）
　第１レイヤを参照して符号化される第２レイヤの色差成分の変換係数データを所与の量子化パラメータで量子化することと、
　前記第１レイヤの色差成分に設定された第１の量子化パラメータオフセットと前記所与の量子化パラメータとに基づいて算出される、前記第２レイヤの色差成分の第２の量子化パラメータオフセットを符号化することと、
　を含む画像処理方法。
　１０，１０ｖ　画像符号化装置（画像処理装置）
　１ａ　　　　　ベースレイヤ符号化部
　１ｂ　　　　　エンハンスメントレイヤ符号化部
　１５　　　　　量子化部
　１６　　　　　可逆符号化部
　２１　　　　　逆量子化部
　４０　　　　　量子化制御部
　６０，６０ｖ　画像復号装置（画像処理装置）
　６ａ　　　　　ベースレイヤ復号部
　６ｂ　　　　　エンハンスメントレイヤ復号部
　６２　　　　　可逆復号部
　６３　　　　　逆量子化部
　９０　　　　　逆量子化制御部
 

Claims (20)

  1. 　第１レイヤの色差成分に設定される第１の量子化パラメータオフセットに基づいて、前記第１レイヤを参照して復号される第２レイヤの色差成分に第２の量子化パラメータオフセットを設定する制御部と、
    　前記制御部により設定された前記第２の量子化パラメータオフセットを用いて算出される量子化パラメータで、前記第２レイヤの色差成分の変換係数データを逆量子化する逆量子化部と、
    　を備える画像処理装置。
  2. 　前記第２の量子化パラメータオフセットは、前記第１の量子化パラメータオフセットと量子化パラメータオフセット差分との和に等しい、請求項１に記載の画像処理装置。
  3. 　前記画像処理装置は、符号化ストリームから前記量子化パラメータオフセット差分を復号する復号部、をさらに備える、請求項２に記載の画像処理装置。
  4. 　前記第１の量子化パラメータオフセットは、ピクチャ単位で前記第１レイヤに設定されるオフセットとスライス単位で前記第１レイヤに設定されるオフセットとの和に等しい、請求項１に記載の画像処理装置。
  5. 　前記第１の量子化パラメータオフセットは、ピクチャ単位で前記第１レイヤに設定されるオフセットに等しい、請求項１に記載の画像処理装置。
  6. 　前記制御部は、前記第２レイヤのＣｂ成分及びＣｒ成分について別々に、前記第２の量子化パラメータオフセットを設定する、請求項１に記載の画像処理装置。
  7. 　前記制御部は、符号化ストリームから復号される第１のフラグが前記第１の量子化パラメータオフセットに基づいて前記第２の量子化パラメータオフセットを設定すべきことを示している場合に、前記第１の量子化パラメータオフセットに基づいて前記第２の量子化パラメータオフセットを設定する、請求項１に記載の画像処理装置。
  8. 　前記制御部は、前記第１レイヤに設定される第１の量子化行列に基づいて、前記第２レイヤに第２の量子化行列を設定し、
    　前記逆量子化部は、前記制御部により設定された前記第２の量子化行列を用いて、前記第２レイヤの変換係数データを逆量子化する、
    　請求項１に記載の画像処理装置。
  9. 　前記制御部は、参照レイヤ情報が参照レイヤとして前記第１レイヤを指定する場合に、前記第１レイヤに設定される前記第１の量子化行列に基づいて、前記第２レイヤに前記第２の量子化行列を設定する、請求項８に記載の画像処理装置。
  10. 　前記制御部は、前記第１の量子化行列から前記第２の量子化行列を複製し又は予測する、請求項８に記載の画像処理装置。
  11. 　前記制御部は、符号化ストリームから復号される第２のフラグが前記第１の量子化行列に基づいて前記第２の量子化行列を設定すべきことを示している場合に、前記第１の量子化行列に基づいて前記第２の量子化行列を設定する、請求項８に記載の画像処理装置。
  12. 　前記第２のフラグは、異なる量子化行列サイズ、異なる予測モード又は異なる色成分について別々に前記符号化ストリームから復号される、請求項１１に記載の画像処理装置。
  13. 　前記制御部は、符号化ストリームから復号される第３のフラグに従って、前記第２の量子化行列を設定するための設定手法を選択する、請求項１０に記載の画像処理装置。
  14. 　前記第３のフラグは、異なる量子化行列サイズ、異なる予測モード又は異なる色成分について別々に前記符号化ストリームから復号される、請求項１３に記載の画像処理装置。
  15. 　前記第２レイヤは、ＨＥＶＣ（High　Efficiency　Video　Coding）方式で符号化され、
    　前記制御部は、前記第１レイヤがＡＶＣ（Advanced　Video　Coding）方式で符号化される場合には、８×８画素以下のサイズを有する前記第２の量子化行列を前記第１の量子化行列に基づいて前記第２レイヤに設定し、１６×１６画素以上のサイズを有する第３の量子化行列を前記第１の量子化行列に基づくことなく前記第２レイヤに設定する、
    　請求項８に記載の画像処理装置。
  16. 　第１レイヤの色差成分に設定される第１の量子化パラメータオフセットに基づいて、前記第１レイヤを参照して復号される第２レイヤの色差成分に第２の量子化パラメータオフセットを設定することと、
    　設定された前記第２の量子化パラメータオフセットを用いて算出される量子化パラメータで、前記第２レイヤの色差成分の変換係数データを逆量子化することと、
    　を含む画像処理方法。
  17. 　第１レイヤを参照して符号化される第２レイヤの色差成分の変換係数データを所与の量子化パラメータで量子化する量子化部と、
    　前記第１レイヤの色差成分に設定された第１の量子化パラメータオフセットと前記所与の量子化パラメータとに基づいて算出される、前記第２レイヤの色差成分の第２の量子化パラメータオフセットを符号化する符号化部と、
    　を備える画像処理装置。
  18. 　前記量子化部は、所与の量子化行列を用いて、前記第２レイヤの変換係数データを量子化し、
    　前記符号化部は、デコーダが前記第１レイヤに設定される量子化行列に基づいて前記所与の量子化行列を前記第２レイヤに設定すべきである場合に、前記所与の量子化行列を符号化しない、
    　請求項１７に記載の画像処理装置。
  19. 　前記符号化部は、前記所与の量子化行列を設定する際に参照すべき参照レイヤとして前記第１レイヤを指定する参照レイヤ情報を符号化する、請求項１８に記載の画像処理装置。
  20. 　第１レイヤを参照して符号化される第２レイヤの色差成分の変換係数データを所与の量子化パラメータで量子化することと、
    　前記第１レイヤの色差成分に設定された第１の量子化パラメータオフセットと前記所与の量子化パラメータとに基づいて算出される、前記第２レイヤの色差成分の第２の量子化パラメータオフセットを符号化することと、
    　を含む画像処理方法。
PCT/JP2013/081406 2012-12-18 2013-11-21 画像処理装置及び画像処理方法 WO2014097816A1 (ja)

Priority Applications (20)

Application Number Priority Date Filing Date Title
US14/441,671 US9967578B2 (en) 2012-12-18 2013-11-21 Image processing device and image processing method
MX2017001340A MX367546B (es) 2012-12-18 2013-11-21 Dispositvo para procesamiento de imagen y método para procesamiento de imagen.
AU2013365309A AU2013365309A1 (en) 2012-12-18 2013-11-21 Image processing device and image processing method
KR1020157013021A KR102258356B1 (ko) 2012-12-18 2013-11-21 화상 처리 장치 및 화상 처리 방법
KR1020217015631A KR102307099B1 (ko) 2012-12-18 2013-11-21 화상 처리 장치 및 화상 처리 방법
JP2014553036A JP6406014B2 (ja) 2012-12-18 2013-11-21 画像処理装置及び画像処理方法
SG11201504504YA SG11201504504YA (en) 2012-12-18 2013-11-21 Image processing device and image processing method
EP17181919.6A EP3273691B1 (en) 2012-12-18 2013-11-21 Image processing device and image processing method
RU2015122700A RU2639250C2 (ru) 2012-12-18 2013-11-21 Устройство обработки изображения и способ обработки изображения
EP13863956.2A EP2908526A4 (en) 2012-12-18 2013-11-21 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CA2894637A CA2894637A1 (en) 2012-12-18 2013-11-21 Image processing device and image processing method
CN201380064914.8A CN104871539B (zh) 2012-12-18 2013-11-21 图像处理装置和图像处理方法
CN201811100458.9A CN109068136B (zh) 2012-12-18 2013-11-21 图像处理装置和图像处理方法、计算机可读存储介质
MX2015007443A MX345489B (es) 2012-12-18 2013-11-21 Dispositivo para procesamiento de imagen y metodo para procesamiento de imagen.
BR112015013768A BR112015013768A2 (pt) 2012-12-18 2013-11-21 dispositivo, e, método de processamento de imagem
ZA2015/03589A ZA201503589B (en) 2012-12-18 2015-05-21 Image processing device and image processing method
PH12015501311A PH12015501311A1 (en) 2012-12-18 2015-06-09 Image processing device and image processing method
US15/892,972 US10368082B2 (en) 2012-12-18 2018-02-09 Image processing device and image processing method
AU2018201160A AU2018201160B2 (en) 2012-12-18 2018-02-16 Image processing device and image processing method
US16/406,616 US10609400B2 (en) 2012-12-18 2019-05-08 Image processing device and image processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-275775 2012-12-18
JP2012275775 2012-12-18
JP2013-144930 2013-07-10
JP2013144930 2013-07-10

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/441,671 A-371-Of-International US9967578B2 (en) 2012-12-18 2013-11-21 Image processing device and image processing method
US15/892,972 Continuation US10368082B2 (en) 2012-12-18 2018-02-09 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2014097816A1 true WO2014097816A1 (ja) 2014-06-26

Family

ID=50978159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/081406 WO2014097816A1 (ja) 2012-12-18 2013-11-21 画像処理装置及び画像処理方法

Country Status (15)

Country Link
US (3) US9967578B2 (ja)
EP (2) EP2908526A4 (ja)
JP (2) JP6406014B2 (ja)
KR (2) KR102307099B1 (ja)
CN (2) CN109068136B (ja)
AU (2) AU2013365309A1 (ja)
BR (1) BR112015013768A2 (ja)
CA (1) CA2894637A1 (ja)
CO (1) CO7380755A2 (ja)
MX (2) MX345489B (ja)
PH (1) PH12015501311A1 (ja)
RU (2) RU2639250C2 (ja)
SG (1) SG11201504504YA (ja)
WO (1) WO2014097816A1 (ja)
ZA (1) ZA201503589B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US10356405B2 (en) * 2013-11-04 2019-07-16 Integrated Device Technology, Inc. Methods and apparatuses for multi-pass adaptive quantization
US20150195549A1 (en) * 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
US11039141B2 (en) 2014-10-03 2021-06-15 Nec Corporation Video coding device, video decoding device, video coding method, video decoding method and program
EP3041233A1 (en) * 2014-12-31 2016-07-06 Thomson Licensing High frame rate-low frame rate transmission technique
WO2017063168A1 (zh) * 2015-10-15 2017-04-20 富士通株式会社 图像编码方法、装置以及图像处理设备
CN106856571B (zh) * 2015-12-09 2019-12-06 阿里巴巴集团控股有限公司 一种转码方法及装置
WO2017171370A1 (ko) 2016-03-28 2017-10-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10432936B2 (en) * 2016-04-14 2019-10-01 Qualcomm Incorporated Apparatus and methods for perceptual quantization parameter (QP) weighting for display stream compression
WO2017197646A1 (zh) * 2016-05-20 2017-11-23 华为技术有限公司 一种通信方法和装置
BR112019025471A2 (pt) * 2017-06-09 2020-06-23 Sony Semiconductor Solutions Corporation Dispositivo de transmissão de figura, e, dispositivo de recepção de figura
WO2019009776A1 (en) * 2017-07-05 2019-01-10 Telefonaktiebolaget Lm Ericsson (Publ) DECODING VIDEO SAMPLE BLOCK
US11019339B2 (en) * 2017-07-12 2021-05-25 Futurewei Technologies, Inc. Fractional quantization parameter offset in video compression
CN109819253B (zh) * 2017-11-21 2022-04-22 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
US10873778B2 (en) * 2018-03-08 2020-12-22 Dish Network L.L.C. Reducing digital video recorder storage through reduced encoding of certain program portions
US11463763B2 (en) 2018-03-08 2022-10-04 Dish Network L.L.C. Reducing digital video recorder storage through reduced encoding of certain program portions
JP7105675B2 (ja) 2018-11-02 2022-07-25 株式会社東芝 送信装置、サーバ装置、送信方法およびプログラム
EP3993389A4 (en) * 2019-06-28 2022-08-17 Sony Semiconductor Solutions Corporation TRANSMITTER, RECEIVER AND TRANSPORT SYSTEM
TWI731579B (zh) * 2020-02-11 2021-06-21 日商東芝股份有限公司 傳輸裝置、通訊系統、傳輸方法及電腦程式產品
WO2023132532A1 (ko) * 2022-01-07 2023-07-13 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
US7263124B2 (en) * 2001-09-26 2007-08-28 Intel Corporation Scalable coding scheme for low latency applications
WO2003092297A1 (en) * 2002-04-23 2003-11-06 Nokia Corporation Method and device for indicating quantizer parameters in a video coding system
JP4196726B2 (ja) * 2003-05-14 2008-12-17 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
EP1675402A1 (en) * 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
US7995656B2 (en) * 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
JP2007006390A (ja) * 2005-06-27 2007-01-11 Sony Corp 画像処理装置、画像処理方法及びプログラム
EP1913778A4 (en) * 2005-07-08 2010-04-28 Lg Electronics Inc METHOD FOR MODELING THE CODING OF INFORMATION OF A VIDEO SIGNAL FOR COMPRESSING / DECOMPRESSING THE INFORMATION
JP2007266749A (ja) * 2006-03-27 2007-10-11 Sanyo Electric Co Ltd 符号化方法
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
CN101507282B (zh) * 2006-07-10 2012-06-27 夏普株式会社 用于组合多层比特流中的层的方法和系统
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
KR101375663B1 (ko) * 2007-12-06 2014-04-03 삼성전자주식회사 영상을 계층적으로 부호화/복호화하는 방법 및 장치
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US20100309975A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and transcoding system
US20120063515A1 (en) * 2010-09-09 2012-03-15 Qualcomm Incorporated Efficient Coding of Video Parameters for Weighted Motion Compensated Prediction in Video Coding
SG188255A1 (en) * 2010-09-30 2013-04-30 Panasonic Corp Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
BR112013019937B1 (pt) * 2011-02-10 2022-05-03 Velos Media International Limited Dispositivo e método de processamento de imagem
CN103535037B (zh) * 2011-05-20 2017-06-09 索尼公司 图像处理装置和图像处理方法
TWI575933B (zh) * 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
KR102030205B1 (ko) * 2012-01-20 2019-10-08 선 페이턴트 트러스트 시간 움직임 벡터 예측을 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
US20150229967A1 (en) * 2012-08-21 2015-08-13 Samsung Electronics Co., Ltd. Inter-layer video coding method and device for predictive information based on tree structure coding unit, and inter-layer video decoding method and device for predictive informationbased on tree structure coding unit
WO2014166328A1 (en) * 2013-04-08 2014-10-16 Mediatek Singapore Pte. Ltd. Method and apparatus for quantization matrix signaling and representation in scalable video coding

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS; WOO-JIN HAN; JENS-RAINER OHM; GARY J. SULLIVAN; THOMAS WIEGAND: "High Efficiency Video Coding (HEVC) text specification draft 9", JCTVC-KL003_V9, 10 October 2012 (2012-10-10)
EDOUARD FRANCOIS ET AL.: "On the derivation of chroma QPs", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG11 LLTH MEETING:SHANGHAI, CN, 19 October 2012 (2012-10-19), pages 1 - 12, XP030054848 *
JILL BOYCE; KAWAMURA KEI; HARICHARAN LAKSHMAN: "TE6: Inter-layer syntax prediction from AVC base layer", JCTVC-KLL06V2, 10 October 2012 (2012-10-10)
JILL BOYCE; YE-KUI WANG: "NAL unit header and parameter set designs for HEVC extensions", JCTVC-K1007, 10 October 2012 (2012-10-10)
JUNICHI TANAKA ET AL.: "Enhancement of quantization matrix coding for HEVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG11 6TH MEETING:TORINO, IT ,14- 22 JULY,2011, 22 July 2011 (2011-07-22), pages 1 - 11, XP030049468 *
See also references of EP2908526A4
YUNFEI WANG ET AL.: "CE4:Subtest 2.4 Layered quantization matrices representation and compression", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG11 8TH MEETING:SAN JOSE, CA , USA, 10 February 2012 (2012-02-10), pages 1 - 13, XP030051714 *

Also Published As

Publication number Publication date
MX2015007443A (es) 2015-09-16
US9967578B2 (en) 2018-05-08
JP6406014B2 (ja) 2018-10-17
CO7380755A2 (es) 2015-09-10
CA2894637A1 (en) 2014-06-26
CN104871539B (zh) 2018-11-13
RU2015122700A (ru) 2017-01-10
AU2013365309A1 (en) 2015-04-30
EP3273691A1 (en) 2018-01-24
CN109068136A (zh) 2018-12-21
SG11201504504YA (en) 2015-07-30
US10609400B2 (en) 2020-03-31
JP2019004497A (ja) 2019-01-10
ZA201503589B (en) 2017-04-26
MX345489B (es) 2017-02-02
EP2908526A1 (en) 2015-08-19
CN104871539A (zh) 2015-08-26
CN109068136B (zh) 2022-07-19
RU2639250C2 (ru) 2017-12-20
JP6610735B2 (ja) 2019-11-27
KR20150096381A (ko) 2015-08-24
KR102307099B1 (ko) 2021-10-01
BR112015013768A2 (pt) 2017-07-11
MX367546B (es) 2019-08-27
PH12015501311A1 (en) 2015-08-24
KR20210063474A (ko) 2021-06-01
EP2908526A4 (en) 2016-07-13
US20150256840A1 (en) 2015-09-10
US20180167625A1 (en) 2018-06-14
AU2018201160B2 (en) 2020-03-19
EP3273691B1 (en) 2021-09-22
US10368082B2 (en) 2019-07-30
AU2018201160A1 (en) 2018-03-08
RU2667719C1 (ru) 2018-09-24
US20190268613A1 (en) 2019-08-29
JPWO2014097816A1 (ja) 2017-01-12
KR102258356B1 (ko) 2021-05-31

Similar Documents

Publication Publication Date Title
JP6610735B2 (ja) 画像処理装置及び画像処理方法
AU2020200093B2 (en) Image processing device and method
JP6455434B2 (ja) 画像処理装置及び画像処理方法
US20230308646A1 (en) Image encoding device and method and image decoding device and method
WO2015146278A1 (ja) 画像処理装置及び画像処理方法
WO2014203763A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
JPWO2015005025A1 (ja) 画像処理装置及び画像処理方法
KR102197557B1 (ko) 화상 처리 장치 및 방법
WO2015052979A1 (ja) 画像処理装置及び画像処理方法
WO2014050311A1 (ja) 画像処理装置及び画像処理方法
WO2014203505A1 (en) Image decoding apparatus, image encoding apparatus, and image processing system
WO2015098231A1 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13863956

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013863956

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013365309

Country of ref document: AU

Date of ref document: 20131121

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14441671

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20157013021

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2014553036

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15126734

Country of ref document: CO

WWE Wipo information: entry into national phase

Ref document number: 12015501311

Country of ref document: PH

ENP Entry into the national phase

Ref document number: 2894637

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2015122700

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: IDP00201503525

Country of ref document: ID

Ref document number: MX/A/2015/007443

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015013768

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112015013768

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20150611