JPWO2013154028A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JPWO2013154028A1
JPWO2013154028A1 JP2014510138A JP2014510138A JPWO2013154028A1 JP WO2013154028 A1 JPWO2013154028 A1 JP WO2013154028A1 JP 2014510138 A JP2014510138 A JP 2014510138A JP 2014510138 A JP2014510138 A JP 2014510138A JP WO2013154028 A1 JPWO2013154028 A1 JP WO2013154028A1
Authority
JP
Japan
Prior art keywords
unit
scaling list
image
matrix
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014510138A
Other languages
English (en)
Inventor
義崇 森上
義崇 森上
佐藤　数史
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014510138A priority Critical patent/JPWO2013154028A1/ja
Publication of JPWO2013154028A1 publication Critical patent/JPWO2013154028A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

符号化効率を向上させることができるようにする画像処理装置および方法に関する。本技術の画像処理装置は、符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成する生成部と、前記生成部により生成された前記スケーリングリストに関する情報を符号化する符号化部と、前記符号化部により生成された前記スケーリングリストに関する情報の符号化データを伝送する伝送部とを備える。本技術は画像処理装置に適用することができる。

Description

本技術は、画像処理装置および方法に関する。
従来、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及した。
近年、H.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）より更なる符号化効率の向上を目的として、ITU-T（International Telecommunication Union Telecommunication Standardization Sector）と、ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission）の共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2012年2月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。
これらの符号化方式においては、符号化の際の量子化に用いられる量子化行列（スケーリングリスト（Scaling List））に関する情報を、復号側に伝送することができる。
Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand," High efficiency video coding (HEVC) text specification draft 6 ", JCTVC-H1003 ver20, 2012.2.17
しかしながら、これらの符号化方式では、スケーリングリストに関する情報の伝送において、画像の色フォーマットを考慮していなかった。そのため、例えば、輝度成分のみの（色成分が存在しない）モノクローム画像（白黒画像）を符号化する場合であっても、不要な、色成分に対するスケーリングリストに関する情報が伝送されていた。このような不要な情報の伝送により、符号化効率が低減してしまう恐れがあった。
本技術は、このような状況に鑑みて提案されたものであり、符号化効率を向上させることを目的とする。
本技術の一側面は、符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成する生成部と、前記生成部により生成された前記スケーリングリストに関する情報を符号化する符号化部と、前記符号化部により生成された前記スケーリングリストに関する情報の符号化データを伝送する伝送部とを備える画像処理装置である。
前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられるようにすることができる。
前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられるようにすることができる。
前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられるようにすることができる。
前記識別情報は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられるようにすることができる。
通常モードの場合、前記生成部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データを生成し、前記符号化部は、前記生成部により生成された前記差分データを符号化し、前記伝送部は、前記符号化部により生成された前記差分データの符号化データを伝送することができる。
コピーモードの場合、前記生成部は、参照先であるリファレンススケーリングリストを示す情報を生成し、前記符号化部は、前記生成部により生成された前記リファレンススケーリングリストを示す情報を符号化し、前記伝送部は、前記符号化部により生成された前記リファレンススケーリングリストを示す情報の符号化データを伝送することができる。
前記生成部は、前記リファレンススケーリングリストの候補が複数存在する場合のみ、前記リファレンススケーリングリストを示す情報を生成することができる。
前記画像データを符号化する画像データ符号化部と、前記画像データ符号化部により生成された前記画像データの符号化データを伝送する符号化データ伝送部とをさらに備えることができる。
本技術の一側面は、また、符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成し、生成された前記スケーリングリストに関する情報を符号化し、生成された前記スケーリングリストに関する情報の符号化データを伝送する画像処理方法である。
本技術の他の側面は、符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得する取得部と、前記取得部により取得された前記スケーリングリストに関する情報の符号化データを復号する復号部と、前記復号部により生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する生成部とを備える画像処理装置である。
前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられるようにすることができる。
前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられるようにすることができる。
前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられるようにすることができる。
前記識別情報は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられるようにすることができる。
通常モードの場合、前記取得部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データの符号化データを取得し、前記復号部は、前記取得部により取得された前記差分データの符号化データを復号し、前記生成部は、前記復号部により生成された前記差分データに基づいて前記カレントスケーリングリストを生成することができる。
コピーモードの場合、前記取得部は、参照先であるリファレンススケーリングリストを示す情報の符号化データを取得し、前記復号部は、前記取得部により取得された前記リファレンススケーリングリストを示す情報の符号化データを復号し、前記生成部は、前記復号部により生成された前記リファレンススケーリングリストを示す情報を用いて、前記カレントスケーリングリストを生成することができる。
前記生成部は、前記リファレンススケーリングリストを示す情報が伝送されない場合、前記リファレンススケーリングリストの識別情報に「０」をセットすることができる。
前記画像データの符号化データを取得する符号化データ取得部と、前記符号化データ取得部により取得された前記画像データの符号化データを復号する画像データ復号部とをさらに備えることができる。
本技術の他の側面は、また、符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得し、取得された前記スケーリングリストに関する情報の符号化データを復号し、生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する画像処理方法である。
本技術の一側面においては、符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられたスケーリングリストに関する情報が生成され、生成されたスケーリングリストに関する情報が符号化され、生成されたスケーリングリストに関する情報の符号化データが伝送される。
本技術の他の側面においては、符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられたスケーリングリストに関する情報の符号化データが取得され、取得されたスケーリングリストに関する情報の符号化データが復号され、生成されたスケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストが生成される。
本技術によれば、画像を処理することが出来る。特に、符号化効率を向上させることができる。
スケーリングリストのシンタクスの例を説明する図である。 色フォーマットの例を説明する図である。 スケーリングリストのシンタクスの他の例を説明する図である。 MatrixIDの割り当ての例を説明する図である。 MatrixIDの割り当ての例を説明する図である。 スケーリングリストのシンタクスの例を説明する図である。 画像符号化装置の主な構成例を示すブロック図である。 直交変換・量子化部の主な構成例を示すブロック図である。 行列処理部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 直交変換量子化処理の流れの例を説明するフローチャートである。 スケーリングリスト符号化処理の流れの例を説明するフローチャートである。 スケーリングリスト符号化処理の流れの例を説明する、図１２に続くフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 逆量子化・逆直交変換部の主な構成例を示すブロック図である。 行列生成部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 逆量子化・逆直交変換処理の流れの例を説明するフローチャートである。 スケーリングリスト復号処理の流れの例を説明するフローチャートである。 スケーリングリスト復号処理の流れの例を説明する、図１９に続くフローチャートである。 スケーリングリストのシンタクスの例を説明する図である。 スケーリングリスト符号化処理の流れの例を説明するフローチャートである。 スケーリングリスト符号化処理の流れの例を説明する、図２２に続くフローチャートである。 スケーリングリスト復号処理の流れの例を説明するフローチャートである。 スケーリングリスト復号処理の流れの例を説明する、図２４に続くフローチャートである。 スケーリングリストのシンタクスの例を説明する図である。 スケーリングリスト符号化処理の流れの例を説明するフローチャートである。 スケーリングリスト符号化処理の流れの例を説明する、図２７に続くフローチャートである。 スケーリングリスト復号処理の流れの例を説明するフローチャートである。 スケーリングリスト復号処理の流れの例を説明する、図２９に続くフローチャートである。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 階層画像符号化方式の例を示す図である。 本技術を適用した階層画像符号化装置の主な構成例を示す図である。 本技術を適用した階層画像復号装置の主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化利用の一例を示すブロック図である。 スケーラブル符号化利用の他の例を示すブロック図である。 スケーラブル符号化利用のさらに他の例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（他のシンタクス）
４．第４の実施の形態（さらに他のシンタクス）
５. 第５の実施の形態（多視点画像符号化装置、多視点画像復号装置）
６. 第６の実施の形態（階層画像符号化装置、階層画像復号装置）
７．第７の実施の形態（コンピュータ）
８．応用例
９. スケーラブル符号化の応用例
＜１．第１の実施の形態＞
＜１−１色フォーマットとマトリクスID＞
H.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）やHEVC（High Efficiency Video Coding）等の符号化方式においては、符号化の際の量子化に用いられる量子化行列（スケーリングリスト（Scaling List））に関する情報を、復号側に伝送することができる。復号側では、符号化側から伝送されたスケーリングリストに関する情報を用いて逆量子化を行うことができる。
図１は、AVCにおけるスケーリングリストのシンタクスの例を説明する図である。AVCの場合、伝送されるスケーリングリストに関する情報に対する処理において、図１に示されるシンタクスの上から３行目のように、符号化対象の画像データの色フォーマットを示す識別情報であるchroma_format_idcが参照される。
ただし、chroma_format_idcが「３」以外の場合、全て同様に処理が行われる。chroma_format_idcは、図２に示される表のように割り当てられている。つまり、chroma_format_idcが「０」（すなわち、色フォーマットがモノクローム）の場合も、そうでない場合と同様に、色成分（色差成分）に対するスケーリングリストについての処理が行われる。したがって、その分、符号化処理や復号処理が増大する恐れがあった。また、色フォーマットがモノクロームの場合も、そうでない場合と同様に、色成分（色差成分）に対するスケーリングリストに関する情報が伝送されることになるので、符号化効率が低減する恐れがあった。
また、図３は、HEVCにおけるスケーリングリストのシンタクスの他の例を説明する図である。HEVCの場合、伝送されるスケーリングリストに関する情報に対する処理において、図３に示されるシンタクスの上から５行目のように、マトリクスID（MatrixID）に応じて、実行する処理が制御される。
マトリクスID（MatrixID）は、スケーリングリストの種類を示す識別情報である。例えば、マトリクスIDは、数値によって識別する識別番号を含む。図４に、そのマトリクスID（MatrixID）の割り当ての例を示す。図４の例の場合、マトリクスIDは、サイズID（SizeID）、プレディクションタイプ（Prediction Type）、および色コンポーネントの種類（Colour component）の組み合わせ毎に割り当てられている。
サイズIDは、スケーリングリストのサイズを示す。プレディクションタイプは、ブロックの予測方法（例えば、イントラ予測かインター予測か）を示す。
HEVCの場合も、AVCの場合と同様に、符号化対象の画像データの色フォーマット（chroma_format_idc）が、図２に示される表のように割り当てられている。
しかしながら、図３のシンタクスの上から５行目に示されるように、この処理条件の判定においては、色フォーマット（chroma_format_idc）は、考慮（参照）されていない。つまり、chroma_format_idcが「０」（色フォーマットがモノクローム）の場合も、そうでない場合と同様に、色成分（色差成分）に対するスケーリングリストについての処理が行われる。したがって、その分、符号化処理や復号処理が増大する恐れがあった。
また、色フォーマットがモノクロームの場合も、そうでない場合と同様に、色成分（色差成分）に対するスケーリングリストに関する情報が伝送されることになるので、符号化効率が低減する恐れがあった。
そこで、スケーリングリストに関する情報の伝送において、量子化や逆量子化に用いられない不要な情報を伝送しないように制御する。例えば、符号化・復号対象の画像データ（または、伝送する画像データ）のフォーマットに応じて、スケーリングリストに関する情報の伝送、および、その伝送に関する処理の実行を制御する。換言するに、予め用意された複数のスケーリングリストの中の、量子化や逆量子化に用いられるスケーリングリストに関する情報のみを伝送するように制御する。
このようにすることにより、スケーリングリストに関する情報の伝送による符号量の増大を抑制し、符号化効率を向上させることができる。また、不要な情報の伝送に関する処理の実行を抑制することにより、符号化処理や復号処理の負荷を低減させることができる。
例えば、色成分についてのスケーリングリストに関する情報が不要な場合は、それを伝送しないようにする。換言するに、色成分についてのスケーリングリストに関する情報は、必要な場合のみ伝送されるようにする。
色成分についてのスケーリングリストに関する情報が不要であるか否かは、例えば、色フォーマットに応じて決定されるようにしてもよい。例えば、符号化される画像データの色フォーマットがモノクロームの場合、色成分についてのスケーリングリストに関する情報が伝送されないようにしてもよい。換言するに、符号化される画像データの色フォーマットがモノクロームでない場合、色成分についてのスケーリングリストに関する情報が伝送されるようにしてもよい。
このようにすることにより、色成分についてのスケーリングリストに関する情報の不要な伝送を抑制し、符号化効率を向上させることができる。また、色成分についてのスケーリングリストに関する情報の不要な伝送による、符号化処理や復号処理の負荷の増大を抑制することができる。
例えば、色成分についてのスケーリングリストに関する情報が不要であるか否かが、色フォーマットの識別情報（chroma_format_idc）の値に基づいて決定されるようにしてもよい。例えば、図２の表のように割り当てられたchroma_format_idcを参照し、その値が「０」である場合、色成分についてのスケーリングリストに関する情報が伝送されないようにしてもよい。換言するに、chroma_format_idcの値が「０」でない場合、色成分についてのスケーリングリストに関する情報が伝送されるようにしてもよい。このようにすることにより、色成分についてのスケーリングリストに関する情報の伝送が必要であるか否かを容易に判定することができる。
また、例えば、サイズID（SizeID）が大きい場合（例えば「３」の場合）、色成分についてのスケーリングリストに関する情報が伝送されないようにしてもよい。換言するに、サイズID（SizeID）が大きくない場合（例えば「２」以下の場合）、色成分についてのスケーリングリストに関する情報が伝送されるようにしてもよい。このようにすることにより、色成分についてのスケーリングリストに関する情報の不要な伝送を抑制し、符号化効率を向上させることができる。
スケーリングリストに関する情報の伝送の制御や、その伝送に関する処理の実行の制御は、スケーリングリストに対する識別情報であるマトリクスID（MatrixID）の割り当てを制御することにより行うようにしてもよい。
例えば、HEVCの場合、マトリクスIDは、図４に示されるように割り当てられている。しかしながら、色成分に対するスケーリングリストの伝送が不要な場合、その色成分についてのスケーリングリストに対するマトリクスIDの割り当ても不要である。そこで、このような場合、色成分についてのスケーリングリスト（図５のＡの斜線部分）に対するマトリクスIDの割り当てを省略し、輝度成分についてのスケーリングリストに対してのみマトリクスIDを割り当てるようにしてもよい。
その場合のマトリクスIDの割り当ては、図５のＢに示されるような表のようになる。このようにマトリクスIDの割り当てを制御し、マトリクスIDを用いて処理実行を制御するようにする。このようにすることにより、マトリクスIDが割り当てられていないスケーリングリストの伝送、およびその伝送に関する処理を、容易に省略することができる。
なお、上述したように、マトリクスIDは、識別番号を含むことができる。例えば、各スケーリングリストに対して、若い値から連番で互いに異なる識別番号が割り当てられる。その場合、マトリクスIDの割り当てを制御し、伝送しないスケーリングリストに対する割り当てを省略することにより、各スケーリングリストに割り当てるマトリクスIDの値をより小さくすることができる。これにより符号量を低減させることができる。特に、マトリクスIDを指数ゴロム符号化する場合、マトリクスIDの値を小さくすることにより、その符号量をより低減させることができる。
ところで、HEVCの場合、スケーリングリストに関する情報の伝送には、通常モードとコピーモード（copy mode）が存在する。通常モードの場合、スケーリングリストに関する情報として、量子化に用いられたスケーリングリストとその予測値との差分値が符号化されて伝送される。例えば、差分値は、DPCM（Differential Pulse Code Modulation）符号化され、さらに符号無し指数ゴロム符号化（unsigned exponential golomb coding）されて伝送される。
このようなHEVCと同様のスケーリングリストの伝送の通常モードにおいて、色成分についてのスケーリングリストとその予測値との差分値の符号化データの伝送、および、その伝送に関する処理の実行を、上述したように制御することにより、この符号化データを必要な場合のみ伝送する（不要な場合に伝送しない）ようにすることができる。
例えば、色成分についてのスケーリングリストに対するマトリクスIDの割り当てを制御することにより、chroma_format_idcの値が「０」でない場合や、サイズID（SizeID）が「２」以下の場合のみ、その符号化データが伝送されるようにしてもよい。このようにすることにより、通常モードにおけるスケーリングリストに関する情報の伝送による符号量の増大を抑制し、符号化効率を向上させることができる。また、符号化処理や復号処理の負荷を低減させることができる。
これに対して、コピーモードの場合、スケーリングリストに関する情報として、scaling_list_pred_matrix_id_deltaが伝送される。
scaling_list_pred_matrix_id_deltaは、処理対象のスケーリングリスト（カレントスケーリングリスト）のマトリクスID（MatrixID）と、参照するスケーリングリスト（リファレンススケーリングリスト）のマトリクスID（RefMatrixID）から「１」減算したものとの差分値である。つまり、scaling_list_pred_matrix_id_deltaは、以下の式（１）のように表すことができる。
Figure 2013154028
このscaling_list_pred_matrix_id_deltaは、符号無し指数ゴロム符号化（unsigned exponential golomb coding）されて伝送される。
このようなHEVCと同様のスケーリングリストの伝送のコピーモードにおいて、上述したようにマトリクスIDの割り当てを制御することにより、コピーモードにおいて伝送されるパラメータであるscaling_list_pred_matrix_id_deltaの値を制御するようにしてもよい。
例えば、上述したように、chroma_format_idcの値が「０」でない場合、図４に示されるように、マトリクスIDを、輝度成分についてのスケーリングリストと、色成分についてのスケーリングリストの両方に対して割り当てるようにしてもよい。換言するに、chroma_format_idcの値が「０」の場合、例えば、図５のＢに示されるように、輝度成分についてのスケーリングリストに対してのみマトリクスIDを割り当てるようにしてもよい。
図５のＢに示される割り当てパターンの場合、InterのマトリクスがIntraのとき、scaling_list_pred_matrix_id_deltaが「０」になる。つまり、図４に示される割り当てパターンの場合よりも、scaling_list_pred_matrix_id_deltaの伝送による符号量の増大を抑制し、符号化効率を向上させることができる。
また、このようにマトリクスIDの割り当てを制御することにより、色成分についてのスケーリングリストに関する情報の伝送が必要である場合も、そうでない場合も、マトリクスIDをより小さくすることができる。これにより、scaling_list_pred_matrix_id_deltaの値をより小さくすることができ、scaling_list_pred_matrix_id_deltaの伝送による符号量の増大を抑制し、符号化効率を向上させることができる。
特に、scaling_list_pred_matrix_id_deltaを、符号無し指数ゴロム符号化（unsigned exponential golomb coding）して伝送する場合、scaling_list_pred_matrix_id_deltaの値をより小さくすることで、符号量の増大をより抑制することができ、符号化効率をさらに向上させることができる。
なお、サイズID（SizeID）が「３」以上の場合、図４および図５のＢのいずれに示される割り当てパターンの場合も、マトリクスIDは、輝度成分に対してのみ割り当てられる。したがって、この場合、どちらのパターンが選択されるとしてもよい（図４のパターンが選択されるとみなすこともできるし、図５のＢのパターンが選択されるとみなすこともできる）。
以上のようにマトリクスIDの割り当てを制御することにより、スケーリングリストに関する情報の伝送、および、その伝送に関する処理の実行を制御する場合のシンタクスの例を図６に示す。図６の例の場合、シンタクスの上から第１行目において、色フォーマットの識別情報（chroma_format_idc）が取得され、上から第５行目において、その値が確認されている。そして、その値に応じて、条件におけるマトリクスIDの上限値が制御されている。
例えば、chroma_format_idcの値が「０」である場合（画像データの色フォーマットがモノクロームの場合）、マトリクスID（MatrixID）は、図５のＢのように割り当てられるので、「２」より小さい値に制限される。
また、例えば、サイズID（sizeID）が「３」である場合も、マトリクスIDは、図４若しくは図５のＢのように割り当てられるので、「２」より小さい値に制限される。
さらに、例えば、chroma_format_idcの値が「０」でなく、かつ、サイズIDが「３」でない場合、マトリクスIDは、図４のように割り当てられるので、「６」より小さい値に制限される。
このような制御に従って、通常モードの場合、図６のシンタクスの上から１０行目の処理が行われ、コピーモードの場合、図６のシンタクスの上から８行目の処理が行われる。
つまり、通常モードの場合も、コピーモードの場合も、画像データの色フォーマットがモノクロームであるか否かに応じて、上述したように処理が制御される。
なお、マトリクスIDは、予め設定されていても良い。例えば、マトリクスIDが予め図５のＢに示されるように設定されていてもよい。また、例えば、マトリクスIDが、符号化される画像データのフォーマット毎に、例えば図４や図５のＢのように、そのフォーマットに応じたパターンで設定されていても良い。その場合、例えば、用意された複数パターンの中から１パターンが、フォーマットに応じて選択されて使用される。
このようにすることにより、符号化効率を向上させることができる。また、符号化処理や復号処理の負荷を低減させることができる。スケーリングリストの伝送についてこのような制御を行う画像処理装置について以下に説明する。
＜１−２画像符号化装置＞
図７は、本技術を適用した画像処理装置としての画像符号化装置の主な構成例を示すブロック図である。
図７に示される画像符号化装置１００は、入力された画像データを符号化し、得られた符号化データを出力する、本技術を適用した画像処理装置である。画像符号化装置１００は、A/D（Analogue to Digital）変換部１０１（A/D）、並べ替えバッファ１０２、演算部１０３、直交変換・量子化部１０４、可逆符号化部１０５、蓄積バッファ１０６、逆量子化部１０７、逆直交変換部１０８、演算部１０９、デブロックフィルタ１１０、フレームメモリ１１１、セレクタ１１２、イントラ予測部１１３、動き探索部１１４、モード選択部１１５、およびレート制御部１１６を有する。
A/D変換部１０１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１０２へ出力する。
並べ替えバッファ１０２は、A/D変換部１０１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１０２は、符号化処理に係るGOP（Group of Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データを演算部１０３、イントラ予測部１１３、および動き探索部１１４へ出力する。
演算部１０３には、並べ替えバッファ１０２から入力される画像データ、および、後に説明するモード選択部１１５により選択される予測画像データが供給される。演算部１０３は、並べ替えバッファ１０２から入力される画像データとモード選択部１１５から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換・量子化部１０４へ出力する。
直交変換・量子化部１０４は、演算部１０３から入力される予測誤差データについて直交変換および量子化を行い、量子化された変換係数データ（以下、量子化データという）を可逆符号化部１０５および逆量子化部１０７へ出力する。直交変換・量子化部１０４から出力される量子化データのビットレートは、レート制御部１１６からのレート制御信号に基づいて制御される。直交変換・量子化部１０４の詳細な構成について、後にさらに説明する。
可逆符号化部１０５には、直交変換・量子化部１０４から入力される量子化データ、スケーリングリスト（量子化行列）に関する情報、並びに、モード選択部１１５により選択されるイントラ予測またはインター予測に関する情報が供給される。イントラ予測に関する情報は、例えば、ブロック毎の最適なイントラ予測モードを示す予測モード情報を含み得る。また、インター予測に関する情報は、例えば、ブロック毎の動きベクトルの予測のための予測モード情報、差分動きベクトル情報、および参照画像情報等を含み得る。
可逆符号化部１０５は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１０５による可逆符号化は、例えば、可変長符号化または算術符号化等であってよい。また、可逆符号化部１０５は、スケーリングリストに関する情報を、符号化ストリームの所定の位置に多重化する。さらに、可逆符号化部１０５は、上述したイントラ予測またはインター予測に関する情報を、符号化ストリームのヘッダ内に多重化する。そして、可逆符号化部１０５は、生成した符号化ストリームを蓄積バッファ１０６へ出力する。
蓄積バッファ１０６は、可逆符号化部１０５から入力される符号化ストリームを半導体メモリ等の記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１０６は、蓄積した符号化ストリームを、伝送路（または画像符号化装置１００からの出力線）の帯域に応じたレートで出力する。
逆量子化部１０７は、直交変換・量子化部１０４から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部１０７は、逆量子化処理により取得される変換係数データを、逆直交変換部１０８へ出力する。
逆直交変換部１０８は、逆量子化部１０７から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部１０８は、復元した予測誤差データを演算部１０９へ出力する。
演算部１０９は、逆直交変換部１０８から入力される復元された予測誤差データとモード選択部１１５から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、演算部１０９は、生成した復号画像データをデブロックフィルタ１１０およびフレームメモリ１１１へ出力する。
デブロックフィルタ１１０は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ１１０は、演算部１０９から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し（または少なくとも減少し）、フィルタリング後の復号画像データをフレームメモリ１１１へ出力する。
フレームメモリ１１１は、演算部１０９から入力される復号画像データ、および、デブロックフィルタ１１０から入力されるフィルタリング後の復号画像データを、記憶媒体を用いて記憶する。
セレクタ１１２は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ１１１から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部１１３に供給する。また、セレクタ１１２は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ１１１から読み出し、読み出した復号画像データを参照画像データとして動き探索部１１４に供給する。
イントラ予測部１１３は、並べ替えバッファ１０２から入力される符号化対象の画像データ、および、セレクタ１１２を介して供給される復号画像データに基づいて、各イントラ予測モードのイントラ予測処理を行う。
例えば、イントラ予測部１１３は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部１１３は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。
イントラ予測部１１３は、当該最適なイントラ予測モードを示す予測モード情報、予測画像データ、およびコスト関数値などのイントラ予測に関する情報を、モード選択部１１５へ出力する。
動き探索部１１４は、並べ替えバッファ１０２から入力される符号化対象の画像データ、および、セレクタ１１２を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。
例えば、動き探索部１１４は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部１１４は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部１１４は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部１１４は、選択した最適な予測モードを表す予測モード情報を含むインター予測に関する情報、予測画像データ、および、コスト関数値等のインター予測に関する情報を、モード選択部１１５へ出力する。
モード選択部１１５は、イントラ予測部１１３から入力されるイントラ予測に関するコスト関数値と動き探索部１１４から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部１１５は、イントラ予測およびインター予測のうちコスト関数値がより少ない予測手法を選択する。
例えば、モード選択部１１５は、イントラ予測を選択した場合、イントラ予測に関する情報を可逆符号化部１０５へ出力するとともに、予測画像データを演算部１０３および演算部１０９へ出力する。また、例えば、モード選択部１１５は、インター予測を選択した場合、インター予測に関する上述した情報を可逆符号化部１０５へ出力するとともに、予測画像データを演算部１０３および演算部１０９へ出力する。
レート制御部１１６は、蓄積バッファ１０６の空き容量を監視する。そして、レート制御部１１６は、蓄積バッファ１０６の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を直交変換・量子化部１０４へ出力する。例えば、レート制御部１１６は、蓄積バッファ１０６の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１１６は、蓄積バッファ１０６の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
＜１−３直交変換・量子化部＞
図８は、図７に示される画像符号化装置１００の直交変換・量子化部１０４の詳細な構成の一例を示すブロック図である。図８に示されるように、直交変換・量子化部１０４は、選択部１３１、直交変換部１３２、量子化部１３３、スケーリングリストバッファ１３４、および行列処理部１３５を有する。
選択部１３１は、サイズの異なる複数の変換単位から、符号化される画像データの直交変換のために使用される変換単位（TU）を選択する。選択部１３１により選択され得る変換単位のサイズの候補は、例えば、AVCでは4x4および8x8を含み、HEVCでは4x4（sizeID==0）、8x8（sizeID==1）、16x16（sizeID==2）、および32x32（sizeID==3）を含む。選択部１３１は、例えば、符号化される画像のサイズ若しくは画質、または、画像符号化装置１００の性能等に応じていずれかの変換単位を選択してよい。選択部１３１による変換単位の選択は、画像符号化装置１００を開発するユーザによってハンドチューニングされてもよい。そして、選択部１３１は、選択した変換単位のサイズを指定する情報を、直交変換部１３２、量子化部１３３、可逆符号化部１０５、および逆量子化部１０７へ出力する。
直交変換部１３２は、選択部１３１により選択された変換単位で、演算部１０３から供給される画像データ（即ち、予測誤差データ）を直交変換する。直交変換部１３２により実行される直交変換は、例えば、離散コサイン変換（DCT（Discrete Cosine Transform））またはカルーネン・レーベ変換などであってよい。そして、直交変換部１３２は、直交変換処理により取得される変換係数データを量子化部１３３へ出力する。
量子化部１３３は、選択部１３１により選択された変換単位に対応するスケーリングリストを用いて、直交変換部１３２により生成された変換係数データを量子化する。また、量子化部１３３は、レート制御部１１６からのレート制御信号に基づいて量子化ステップサイズを切り替えることにより、出力される量子化データのビットレートを変化させる。
また、量子化部１３３は、選択部１３１により選択され得る複数の変換単位にそれぞれ対応するスケーリングリストのセットを、スケーリングリストバッファ１３４に記憶させる。例えば、HEVCのように4x4、8x8、16x16及び32x32という４種類のサイズ（sizeID==0乃至3）の変換単位の候補が存在する場合、これら４種類のサイズにそれぞれ対応する４種類のスケーリングリストのセットが、スケーリングリストバッファ１３４により記憶され得る。
なお、あるサイズについて既定のスケーリングリストが使用される場合、既定のスケーリングリストが使用されること（ユーザにより定義されたスケーリングリストを使用しないこと）を示すフラグのみが、当該サイズと関連付けてスケーリングリストバッファ１３４により記憶されるようにしてもよい。
量子化部１３３により使用される可能性のあるスケーリングリストのセットは、典型的には、符号化ストリームのシーケンス毎に設定され得る。また、量子化部１３３は、シーケンス毎に設定したスケーリングリストのセットを、ピクチャ毎に更新してもよい。このようなスケーリングリストのセットの設定および更新を制御するための情報は、例えば、シーケンスパラメータセットおよびピクチャパラメータセットに挿入され得る。
スケーリングリストバッファ１３４は、半導体メモリなどの記憶媒体を用いて、選択部１３１により選択され得る複数の変換単位にそれぞれ対応するスケーリングリストのセットを一時的に記憶する。スケーリングリストバッファ１３４により記憶されるスケーリングリストのセットは、次に説明する行列処理部１３５による処理に際して参照される。
行列処理部１３５は、スケーリングリストバッファ１３４に記憶される、符号化（量子化）に用いられるスケーリングリストの伝送に関する処理を行う。例えば、行列処理部１３５は、スケーリングリストバッファ１３４に記憶されるスケーリングリストの符号化を行う。そして、行列処理部１３５により生成されたスケーリングリストの符号化データ（以下において、スケーリングリスト符号化データとも称する）は、可逆符号化部１０５へ出力され、符号化ストリームのヘッダ内に挿入され得る。
＜１−４行列処理部＞
図９は、図８の行列処理部１３５の主な構成例を示すブロック図である。図９に示されるように、行列処理部１３５は、予測部１６１、差分行列生成部１６２、差分行列サイズ変換部１６３、エントロピ符号化部１６４、復号部１６５、および出力部１６６を有する。
予測部１６１は、予測行列を生成する。図９に示されるように、予測部１６１は、コピー部１７１および予測行列生成部１７２を有する。
コピー部１７１は、コピーモードにおける処理を行う。コピーモードの場合、復号側においては、他のスケーリングリストを複製することにより、処理対象のスケーリングリストを生成する。つまり、コピーモードの場合、複製する他のスケーリングリストを指定する情報を伝送すればよい。したがって、コピー部１７１は、コピーモードにおいて動作し、処理対象のスケーリングリストと構成が同一の、他のスケーリングリストを、複製するスケーリングリスト（参照先）として指定する。
より具体的には、コピー部１７１は、参照先とするスケーリングリストのマトリクスID（RefMatrixID）（以下、リファレンスマトリクスIDとも称する）を、復号部１６５の記憶部２０２から取得する。
マトリクスID（MatrixID）は、図４若しくは図５のＢに示されるように割り当てられている。つまり、リファレンスマトリクスID（RefMatrixID）により、参照先であるリファレンスブロックのサイズ（sizeID）、予測タイプ（Prediction type）（イントラ予測であるかインター予測であるか）、および成分（Colour component）（輝度成分であるか色（色差）成分であるか）が示される。
コピー部１７１は、処理対象であるカレントスケーリングリストのサイズ（sizeID）、予測タイプ（Prediction type）、および成分（Colour component）から、そのマトリクスID（MatrixID）（以下、カレントマトリクスIDとも称する）を求める。コピー部１７１は、そのカレントマトリクスID（MatrixID）と、リファレンスマトリクスID（RefMatrixID）とを用いて、パラメータscaling_list_pred_matrix_id_deltaを、例えば式（１）のように算出する。
コピー部１７１は、算出したパラメータscaling_list_pred_matrix_id_deltaを、エントロピ符号化部１６４のexpG部１９３に供給して、符号無し指数ゴロム符号化（unsigned exponential golomb coding）させ、出力部１６６から行列処理部１３５の外部（可逆符号化部１０５や逆量子化部１０７）に出力させる。つまり、この場合、スケーリングリストの参照先を示すパラメータscaling_list_pred_matrix_id_deltaが、スケーリングリストに関する情報として、復号側に伝送される（符号化データに含められる）。したがって、画像符号化装置１００は、スケーリングリストに関する情報を伝送するための符号量の増大を抑制することができる。
また通常モードの場合、予測行列生成部１７２は、過去に伝送したスケーリングリスト（リファレンススケーリングリストとも称する）を復号部１６５の記憶部２０２から取得し、そのスケーリングリストを用いて予測行列を生成する（カレントスケーリングリストを予測する）。予測行列生成部１７２は、生成した予測行列を差分行列生成部１６２に供給する。
差分行列生成部１６２は、予測部１６１（予測行列生成部１７２）から供給された予測行列と、行列処理部１３５に入力されるスケーリングリストとの差分である差分行列（残差行列）を生成する。図９に示されるように、差分行列生成部１６２は、予測行列サイズ変換部１８１、演算部１８２、および量子化部１８３を有する。
予測行列サイズ変換部１８１は、予測行列生成部１７２から供給される予測行列のサイズを、必要に応じて、行列処理部１３５に入力されるスケーリングリストのサイズに合わせるように変換（以下、コンバートとも称する）する。
例えば、予測行列のサイズがカレントスケーリングリストのサイズより大きい場合、予測行列サイズ変換部１８１は、予測行列を縮小変換（以下、ダウンコンバートとも称する）する。より具体的には、例えば、予測行列が16x16であり、カレントスケーリングリストが8x8の場合、予測行列サイズ変換部１８１は、予測行列を8x8にダウンコンバートする。なお、このダウンコンバートの方法は、任意である。例えば、予測行列サイズ変換部１８１が、フィルタを用いて（演算により）予測行列の要素の数を減らすようにしてもよい（以下、ダウンサンプルとも称する）。また、例えば、予測行列サイズ変換部１８１が、フィルタを用いずに、一部の要素（例えば、２次元の要素の偶数部分のみ）を間引くことにより、予測行列の要素の数を減らすようにしてもよい（以下、サブサンプルとも称する）。
また、例えば、予測行列のサイズがカレントスケーリングリストのサイズより小さい場合、予測行列サイズ変換部１８１は、予測行列を拡大変換（以下、アップコンバートとも称する）する。より具体的には、例えば、予測行列が8x8であり、カレントスケーリングリストが16x16の場合、予測行列サイズ変換部１８１は、予測行列を16x16にアップコンバートする。なお、このアップコンバートの方法は、任意である。例えば、予測行列サイズ変換部１８１が、フィルタを用いて（演算により）予測行列の要素の数を増やすようにしてもよい（以下、アップサンプルとも称する）。また、例えば、予測行列サイズ変換部１８１が、フィルタを用いずに、予測行列の各要素を複製することにより、予測行列の要素の数を増やすようにしてもよい（以下、逆サブサンプルとも称する）。
予測行列サイズ変換部１８１は、サイズをカレントスケーリングリストに合わせた予測行列を演算部１８２に供給する。
演算部１８２は、予測行列サイズ変換部１８１から供給される予測行列から、カレントスケーリングリストを減算し、差分行列（残差行列）を生成する。演算部１８２は、算出した差分行列を量子化部１８３に供給する。
量子化部１８３は、演算部１８２から供給された差分行列を量子化する。量子化部１８３は、その差分行列の量子化結果を、差分行列サイズ変換部１６３に供給する。また、量子化部１８３は、この量子化に用いた量子化パラメータ等の情報を、出力部１６６に供給し、行列処理部１３５の外部（可逆符号化部１０５や逆量子化部１０７）に出力させる。なお、この量子化部１８３を省略する（つまり、差分行列の量子化を行わない）ようにしてもよい。
差分行列サイズ変換部１６３は、差分行列生成部１６２（量子化部１８３）から供給される差分行列（量子化データ）のサイズを、必要に応じて、伝送の際に許容される最大サイズ（以下、伝送サイズとも称する）以下にコンバートする。この最大サイズは、任意であるが、例えば、8x8である。
画像符号化装置１００から出力される符号化データは、例えば、伝送路や記憶媒体を介して、画像符号化装置１００に対応する画像復号装置に伝送され、その画像復号装置により復号される。例えば、画像符号化装置１００においては、このような伝送における、すなわち、画像符号化装置１００から出力される符号化データにおける、差分行列（量子化データ）のサイズの上限（最大サイズ）が設定されている。差分行列サイズ変換部１６３は、差分行列のサイズが、この最大サイズより大きい場合、最大サイズ以下となるように、差分行列をダウンコンバートする。
なお、このダウンコンバートの方法は、上述した予測行列のダウンコンバートの場合と同様に任意である。例えば、フィルタ等を用いるダウンサンプルであってもよいし、要素を間引くサブサンプルであってもよい。
また、ダウンコンバート後の差分行列のサイズは、最大サイズより小さければどのサイズであってもよい。ただし、一般的には、コンバート前後のサイズ差が大きいほど誤差が大きくなるので、最大サイズにダウンコンバートするのが望ましい。
差分行列サイズ変換部１６３は、ダウンコンバートした差分行列を、エントロピ符号化部１６４に供給する。なお、差分行列のサイズが最大サイズより小さい場合、このダウンコンバートは不要であるので、差分行列サイズ変換部１６３は、入力された差分行列をそのままエントロピ符号化部１６４に供給する（つまり、ダウンコンバートが省略される）。
エントロピ符号化部１６４は、差分行列サイズ変換部１６３から供給された差分行列（量子化データ）を所定の方法で符号化する。図９に示されるようにエントロピ符号化部１６４は、重複判定部１９１、DPCM部１９２、およびexpG部１９３を有する。
重複判定部１９１は、差分行列サイズ変換部１６３から供給された差分行列の対称性を判定し、その残差（差分行列）が１３５度の対称行列である場合、重複しているデータである対称部分のデータ（行列要素）を削除する。残差が１３５度の対称行列でない場合、重複判定部１９１は、このデータ（行列要素）の削除を省略する。重複判定部１９１は、必要に応じて対称部分が削除された差分行列のデータを、DPCM部１９２に供給する。
DPCM部１９２は、重複判定部１９１から供給された、必要に応じて対称部分が削除された差分行列のデータをDPCM符号化し、DPCMデータを生成する。DPCM部１９２は、生成したDPCMデータを、expG部１９３に供給する。
expG部１９３は、DPCM部１９２から供給されるDPCMデータに対して、符号つき・符号なしのexponential golomb符号（以下、指数ゴロム符号とも称する）を行う。expG部１９３は、その符号化結果を復号部１６５および出力部１６６に供給する。
なお、expG部１９３は、上述したように、コピー部１７１から供給される、パラメータscaling_list_pred_matrix_id_deltaを、符号無し指数ゴロム符号化（unsigned exponential golomb coding）する。expG部１９３は、生成した符号無し指数ゴロム符号を出力部１６６に供給する。
復号部１６５は、expG部１９３から供給されるデータから、カレントスケーリングリストを復元する。復号部１６５は、復元したカレントスケーリングリストに関する情報を、過去に伝送したスケーリングリストとして、予測部１６１に供給する。
図９に示されるように、復号部１６５は、スケーリングリスト復元部２０１および記憶部２０２を有する。
スケーリングリスト復元部２０１は、エントロピ符号化部１６４（expG部１９３）から供給される指数ゴロム符号を復号し、行列処理部１３５に入力されるスケーリングリストを復元する。例えば、スケーリングリスト復元部２０１は、指数ゴロム符号をエントロピ符号化部１６４の符号化方法に対応する方法で復号し、差分行列サイズ変換部１６３によるサイズ変換の逆変換を行い、量子化部１８３による量子化に対応する逆量子化を行い、得られた差分行列を、予測行列から減算することにより、カレントスケーリングリストを復元する。
スケーリングリスト復元部２０１は、復元したカレントスケーリングリストを記憶部２０２に供給し、そのマトリクスID（MatrixID）と関連付けて記憶させる。
記憶部２０２は、スケーリングリスト復元部２０１から供給されるスケーリングリストに関する情報を記憶する。この記憶部２０２に記憶されるスケーリングリストに関する情報は、時間的に後に処理される他の直交変換単位の予測行列生成に利用される。つまり、記憶部２０２は、記憶しているスケーリングリストに関する情報を、過去に伝送したスケーリングリストに関する情報（リファレンススケーリングリストに関する情報）として、予測部１６１に供給する。
なお、記憶部２０２は、このように復元されたカレントスケーリングリストに関する情報を記憶する代わりに、行列処理部１３５に入力されるカレントスケーリングリストに関する情報を、そのマトリクスID（MatrixID）と関連付けて記憶するようにしてもよい。その場合、スケーリングリスト復元部２０１を省略することができる。
出力部１６６は、供給される各種情報を行列処理部１３５の外部に出力する。例えば、コピーモードの場合、出力部１６６は、expG部１９３から供給される、スケーリングリストの参照先を示すパラメータscaling_list_pred_matrix_id_deltaの符号無し指数ゴロム符号を、可逆符号化部１０５および逆量子化部１０７に供給する。また、例えば、通常モードの場合、出力部１６６は、expG部１９３から供給される指数ゴロム符号、および、量子化部１８３から供給される量子化パラメータを、可逆符号化部１０５および逆量子化部１０７に供給する。
可逆符号化部１０５は、このように供給されるスケーリングリストに関する情報を符号化ストリームに含め、復号側に提供する。例えば、可逆符号化部１０５は、scaling_list_present_flagやscaling_list_pred_mode_flag等のスケーリングリストパラメータを、例えば、APS（Adaptation parameter set）に格納する。もちろん、スケーリングリストパラメータの格納場所は、APSに限らない。例えば、SPS（Sequence parameter set）やPPS（Picture parameter set）等、任意の位置に格納するようにしてもよい。
また、行列処理部１３５は、制御部２１０をさらに有する。制御部２１０は、スケーリングリストの符号化のモード（例えば、通常モードおよびコピーモード）を制御したり、マトリクスIDの割り当てパターンを制御したりする。
図９に示されるように、制御部２１０は、マトリクスID制御部２１１およびモード制御部２１２を有する。マトリクスID制御部２１１は、例えば、VUI（Video usability information）からchroma_format_idcを取得し、その値に基づいて、マトリクスIDの割り当てパターンを制御する。
例えば、上述したように、マトリクスIDの割り当てパターンとして、輝度成分と色成分の両方に対してマトリクスIDを割り当てるパターン（図４）と、輝度成分に対してのみマトリクスIDを割り当てるパターン（図５のＢ）とが用意されるとする。マトリクスID制御部２１１は、例えば、chroma_format_idcの値が「０」の場合、輝度成分に対してのみマトリクスIDを割り当てるパターンを選択し、それ以外の場合、輝度成分と色成分の両方に対してマトリクスIDを割り当てるパターンを選択する。
なお、マトリクスID制御部２１１は、例えば、サイズID（sizeID）が「３」以上である場合、輝度成分に対してのみマトリクスIDを割り当てるパターン（図４および図５のＢ）を選択する。
マトリクスID制御部２１１は、以上のように選択したマトリクスIDの割り当てパターンを示す制御情報を予測部１６１に供給する。
予測部１６１のコピー部１７１若しくは予測行列生成部１７２（選択されたモードに対応する方）は、この割り当てパターンに従って、上述した処理を行う。これにより、コピー部１７１および予測行列生成部１７２は、色成分に対するスケーリングリストに関する処理を、必要な場合のみ行うことができ、符号化効率を向上させることができるだけでなく、それぞれが行う処理の負荷を低減させることができる。つまり、符号化処理の負荷が低減される。
モード制御部２１２は、スケーリングリストの符号化のモードを制御する。例えば、モード制御部２１２は、スケーリングリストの符号化を、通常モードで行うか、コピーモードで行うかを選択する。例えば、モード制御部２１２は、スケーリングリストの符号化のモードを示すフラグscaling_list_pred_mode_flagを設定し、それを予測部１６１に供給する。予測部１６１のコピー部１７１および予測行列生成部１７２の内、そのモードを示すフラグscaling_list_pred_mode_flagの値に対応する方が、スケーリングリストを処理する。
また、例えば、モード制御部２１２は、スケーリングリストの符号化を行うか否かを示すフラグscaling_list_present_flagの生成も行う。モード制御部２１２は、生成したスケーリングリストの符号化を行うか否かを示すフラグscaling_list_present_flag、並びに、スケーリングリストの符号化のモードを示すフラグscaling_list_pred_mode_flagを出力部１６６に供給する。
出力部１６６は、供給されたそれらのフラグ情報を、可逆符号化部１０５に供給する。可逆符号化部１０５は、このように供給されるスケーリングリストに関する情報を符号化ストリーム（例えばAPS等）に含め、復号側に提供する。
復号側の装置は、これらのフラグ情報に基づいて、スケーリングリストの符号化が行われたか否か、行われた場合、そのモードは何であるかを、容易かつ正確に把握することができる。
以上のように、予測部１６１乃至出力部１６６が、制御部２１０により選択されたモードにおいて必要な場合のみ、色成分に対するスケーリングリストについての処理を行い、その色成分に対するスケーリングリストに関する情報を伝送させる。したがって、画像符号化装置１００は、スケーリングリストに関する情報を伝送するための符号量の増大を抑制し、符号化効率を向上させることができる。また、画像符号化装置１００は、符号化処理の負荷の増大を抑制することができる。
＜１−５符号化処理の流れ＞
次に、画像符号化装置１００により実行される各種処理について説明する。最初に、図１０のフローチャートを参照して、符号化処理の流れの例を説明する。
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ１０３において、イントラ予測部１１３は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１０４において、動き探索部１１４は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
ステップＳ１０５において、モード選択部１１５は、イントラ予測部１１３および動き探索部１１４から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、モード選択部１１５は、イントラ予測部１１３により生成された予測画像と、動き探索部１１４により生成された予測画像のいずれか一方を選択する。
ステップＳ１０６において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、ステップＳ１０５の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１０７において、直交変換・量子化部１０４は、直交変換量子化処理を実行し、ステップＳ１０６の処理により生成された差分情報を直交変換し、さらにその直交変換を量子化する。
ステップＳ１０７の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０８において、逆量子化部１０７は、ステップＳ１０７の処理により量子化された直交変換係数を、その量子化に対応する方法で逆量子化する。ステップＳ１０９において、逆直交変換部１０８は、ステップＳ１０８の処理により得られた直交変換係数を、ステップＳ１０７の処理に対応する方法で逆直交変換する。
ステップＳ１１０において、演算部１０９は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。ステップＳ１１１においてデブロックフィルタ１１０は、ステップＳ１１０の処理により生成された画像をフィルタリングする。これによりブロック歪み等が除去される。
ステップＳ１１２において、フレームメモリ１１１は、ステップＳ１１１の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１１１には、デブロックフィルタ１１０によりフィルタ処理されていない画像も演算部１０９から供給され、記憶される。
このフレームメモリ１１１に記憶された画像は、ステップＳ１０３の処理やステップＳ１０４の処理に利用される。
ステップＳ１１３において、可逆符号化部１０５は、ステップＳ１０７の処理により量子化された変換係数を符号化し、符号化データを生成する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
なお、可逆符号化部１０５は、ステップＳ１０５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。例えば、イントラ予測モードが選択された場合、可逆符号化部１０５は、イントラ予測モード情報を符号化する。また、例えば、インター予測モードが選択された場合、可逆符号化部１０５は、インター予測モード情報を符号化する。これらの情報は、例えばヘッダ情報等として符号化データに付加（多重化）される。
ステップＳ１１４において蓄積バッファ１０６は、ステップＳ１１３の処理により生成された符号化データを蓄積する。蓄積バッファ１０６に蓄積された符号化データは、適宜読み出され、任意の伝送路（通信路だけでなく記憶媒体等も含む）を介して復号側の装置に伝送される。
ステップＳ１１５においてレート制御部１１６は、ステップＳ１１４の処理により蓄積バッファ１０６に蓄積された圧縮画像に基づいて、オーバフローあるいはアンダフローが発生しないように、直交変換・量子化部１０４の量子化動作のレートを制御する。
ステップＳ１１５の処理が終了すると、符号化処理が終了される。
＜１−６直交変換量子化処理の流れ＞
次に、図１１のフローチャートを参照して、図１０のステップＳ１０７において実行される直交変換量子化処理の流れの例を説明する。
直交変換量子化処理が開始されると、ステップＳ１３１において、選択部１３１は、カレントブロックのサイズを決定する。ステップＳ１３２において、直交変換部１３２は、ステップＳ１３１において決定されたサイズのカレントブロックの予測誤差データを直交変換する。
ステップＳ１３３において、量子化部１３３は、ステップＳ１３２において得られた、カレントブロックの予測誤差データの直交変換係数を量子化する。
ステップＳ１３３の処理が終了すると、処理は、図１０に戻る。
＜１−７スケーリングリスト符号化処理の流れ＞
次に、図１２および図１３のフローチャートを参照して、行列処理部１３５により実行されるスケーリングリスト符号化処理の流れの例を説明する。スケーリングリスト符号化処理は、量子化に用いられるスケーリングリストに関する情報を符号化して伝送する処理である。
処理が開始されると、モード制御部２１２（図９）は、図１２のステップＳ１５１において、scaling_list_present_flagやscaling_list_pred_mode_flag等のフラグ情報を含むスケーリングリストパラメータを設定する。
ステップＳ１５２において、マトリクスID制御部２１１は、VUIからchroma_format_idcを取得する。ステップＳ１５３において、マトリクスID制御部２１１は、chroma_format_idcが「０」であるか否かを判定する。chroma_format_idcが「０」であると判定された場合、処理は、ステップＳ１５４に進む。
ステップＳ１５４において、マトリクスID制御部２１１は、MatrixIDをモノクローム仕様に変更する。つまり、マトリクスID制御部２１１は、図５のＢに示されるような、輝度成分に対してのみマトリクスIDを割り当てるパターンを選択する。ステップＳ１５４の処理が終了すると、処理は、ステップＳ１５５に進む。
また、ステップＳ１５３において、chroma_format_idcが「０」でない（モノクロームでない）と判定された場合、処理は、ステップＳ１５５に進む。
ステップＳ１５５において、出力部１６６は、スケーリングリストに関する情報を伝送することを示すscaling_list_present_flagを伝送する。もちろん、スケーリングリストに関する情報を伝送しない場合、この処理は省略される。つまり、ステップＳ１５１において、scaling_list_present_flagが設定された場合、そのscaling_list_present_flagが伝送され、設定されなかった場合、この処理は省略される。
ステップＳ１５６において、出力部１６６は、scaling_list_present_flagを伝送したか否かを判定する。ステップＳ１５５においてscaling_list_present_flagを伝送していないと判定された場合、つまり、スケーリングリストに関する情報を伝送しない場合、スケーリングリスト符号化処理が終了する。
また、ステップＳ１５６において、scaling_list_present_flagを伝送したと判定された場合、つまり、スケーリングリストに関する情報を伝送する場合、処理は、図１３に進む。
図１３のステップＳ１６１において、マトリクスID制御部２１１は、サイズIDおよびマトリクスIDを初期値（例えば「０」）に設定する（sizeID=0 , MatrixID=0）。
ステップＳ１６２において、出力部１６６は、通常モードの場合、現在のsizeIDおよびMatrixIDに対応する（カレントスケーリングリストの）scaling_list_pred_mode_flagの伝送を行う。もちろん、ステップＳ１５１においてscaling_list_pred_mode_flagが設定されていない場合、すなわち、コピーモードの場合は、この処理は省略される。
ステップＳ１６３において、出力部１６６は、scaling_list_pred_mode_flagを伝送したか否かを判定する。ステップＳ１６２においてscaling_list_pred_mode_flagが伝送されたと判定された場合、すなわち、通常モードの場合、処理は、ステップＳ１６４に進む。
ステップＳ１６４において、通常モードの処理が行われる。例えば、予測行列生成部１７２、差分行列生成部１６２、差分行列サイズ変換部１６３、エントロピ符号化部１６４、復号部１６５、および出力部１６６等の各処理部は、カレントスケーリングリスト（つまり、現在のsizeIDおよびMatrixIDに対応するスケーリングリスト）を符号化し、可逆符号化部１０５に伝送させる。ステップＳ１６４の処理が終了すると、処理は、ステップＳ１６６に進む。
また、ステップＳ１６３において、コピーモードの場合、すなわち、ステップＳ１６２においてscaling_list_pred_mode_flagが伝送されていないと判定された場合、処理は、ステップＳ１６５に進む。
ステップＳ１６５において、コピーモードの処理が行われる。例えば、コピー部１７１が、上述した式（１）のようにしてscaling_list_pred_matrix_id_deltaを生成し、出力部１６６が、そのscaling_list_pred_matrix_id_deltaを可逆符号化部１０５に伝送させる。ステップＳ１６５の処理が終了すると、処理は、ステップＳ１６６に進む。
ステップＳ１６６において、マトリクスID制御部２１１は、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）か否かを判定する。
サイズIDが「３」でない（sizeID!=3）、若しくは、マトリクスIDが「１」でない（matrixID!=1）と判定された場合、処理は、ステップＳ１６７に進む。
ステップＳ１６７において、マトリクスID制御部２１１は、chroma_format_idcが「０」であり（chroma_format_idc==0）、かつ、マトリクスIDが「１」である（matrixID==1）か、マトリクスIDが「５」である（matrixID==5）か、または、そのいずれにも該当しないかを判定する。
chroma_format_idcが「０」であり（chroma_format_idc==0）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、または、マトリクスIDが「５」である（matrixID==5）と判定された場合、処理は、ステップＳ１６８に進む。
この場合、現在のsizeIDに対する全てのマトリクスIDが処理済みである。そこで、マトリクスID制御部２１１は、ステップＳ１６８において、サイズIDを「＋１」インクリメントし（sizeID++）、マトリクスIDを「０」にする（MatrixID=0）。
ステップＳ１６８の処理が終了すると、処理は、ステップＳ１６２に戻る。
また、ステップＳ１６７において、chroma_format_idcが「０」であるもののマトリクスIDが「１」でない（「０」である）と判定された場合、若しくは、chroma_format_idcが「０」でなく（「１」以上であり）、かつ、マトリクスIDが「５」でない（「４」以下である）と判定された場合、処理は、ステップＳ１６９に進む。
この場合、現在のsizeIDに対して未処理のマトリクスIDが存在する。そこで、マトリクスID制御部２１１は、ステップＳ１６９において、マトリクスIDを「＋１」インクリメントする（MatrixID++）。
ステップＳ１６９の処理が終了すると、処理は、ステップＳ１６２に戻る。
つまり、ステップＳ１６２乃至ステップＳ１６７、並びに、ステップＳ１６９の各処理が繰り返し実行され、現在のサイズIDに対する全てマトリクスIDのスケーリングリストが処理される。
また、ステップＳ１６２乃至ステップＳ１６９の各処理が繰り返し実行され、全てのスケーリングリストが処理される。
ステップＳ１６６において、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、全てのスケーリングリストが処理されたので、スケーリングリスト符号化処理が終了する。
以上のように、サイズIDとマトリクスIDを用いて、スケーリングリストの符号化処理が制御されるので、画像符号化装置１００は、不要なスケーリングリストに関する情報についての処理や伝送を省略することができ、符号化効率を低減させることができるとともに、符号化処理の負荷を低減させることができる。
＜２．第２の実施の形態＞
＜２−１画像復号装置＞
図１４は、本技術を適用した画像処理装置である画像復号装置の主な構成例を示すブロック図である。図１４に示される画像復号装置３００は、画像符号化装置１００（図７）により生成された符号化データを復号する、本技術を適用した画像処理装置である。図１４に示されるように、画像復号装置３００は、蓄積バッファ３０１、可逆復号部３０２、逆量子化・逆直交変換部３０３、演算部３０４、デブロックフィルタ３０５、並べ替えバッファ３０６、D/A（Digital to Analogue）変換部３０７、フレームメモリ３０８、セレクタ３０９、イントラ予測部３１０、動き補償部３１１、並びにセレクタ３１２を有する。
蓄積バッファ３０１は、伝送路を介して入力される符号化ストリームを、記憶媒体を用いて一時的に蓄積する。
可逆復号部３０２は、蓄積バッファ３０１から符号化ストリームを読み出し、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部３０２は、符号化ストリームに多重化されている情報を復号する。符号化ストリームに多重化されている情報とは、例えば、上述したスケーリングリストに関する情報、並びに、ブロックヘッダ内のイントラ予測に関する情報およびインター予測に関する情報を含み得る。可逆復号部３０２は、復号後の量子化データおよびスケーリングリストを生成するための情報を、逆量子化・逆直交変換部３０３に供給する。また、可逆復号部３０２は、イントラ予測に関する情報をイントラ予測部３１０に供給する。また、可逆復号部３０２は、インター予測に関する情報を動き補償部３１１に供給する。
逆量子化・逆直交変換部３０３は、可逆復号部３０２から供給される量子化データについて逆量子化および逆直交変換を行うことにより、予測誤差データを生成する。そして、逆量子化・逆直交変換部３０３は、生成した予測誤差データを演算部３０４に供給する。
演算部３０４は、逆量子化・逆直交変換部３０３から供給される予測誤差データと、セレクタ３１２から供給される予測画像データとを加算することにより、復号画像データを生成する。そして、演算部３０４は、生成した復号画像データをデブロックフィルタ３０５およびフレームメモリ３０８に供給する。
デブロックフィルタ３０５は、演算部３０４から供給される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並べ替えバッファ３０６およびフレームメモリ３０８に供給する。
並べ替えバッファ３０６は、デブロックフィルタ３０５から供給される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ３０６は、生成した画像データをD/A変換部３０７に供給する。
D/A変換部３０７は、並べ替えバッファ３０６から供給されるデジタル形式の画像データをアナログ形式の画像信号に変換し、そのアナログ形式の画像信号を、画像復号装置３００の外部に出力する。例えば、D/A変換部３０７は、画像復号装置３００と接続されるディスプレイ（図示せず）にアナログ形式の画像信号を出力することにより、画像を表示させる。
フレームメモリ３０８は、演算部３０４から供給されるフィルタリング前の復号画像データ、および、デブロックフィルタ３０５から供給されるフィルタリング後の復号画像データを、記憶媒体を用いて記憶する。
セレクタ３０９は、可逆復号部３０２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ３０８からの画像データの出力先をイントラ予測部３１０と動き補償部３１１との間で切り替える。例えば、セレクタ３０９は、イントラ予測モードが指定された場合、フレームメモリ３０８から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部３１０に供給する。また、セレクタ３０９は、インター予測モードが指定された場合、フレームメモリ３０８から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部３１１に供給する。
イントラ予測部３１０は、可逆復号部３０２から供給されるイントラ予測に関する情報とフレームメモリ３０８から供給される参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部３１０は、生成した予測画像データをセレクタ３１２に供給する。
動き補償部３１１は、可逆復号部３０２から供給されるインター予測に関する情報とフレームメモリ３０８からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部３１１は、生成した予測画像データをセレクタ３１２に供給する。
セレクタ３１２は、可逆復号部３０２により取得されるモード情報に応じて、画像内のブロックごとに、演算部３０４に供給すべき予測画像データの出力元をイントラ予測部３１０と動き補償部３１１との間で切り替える。例えば、セレクタ３１２は、イントラ予測モードが指定された場合、イントラ予測部３１０から出力される予測画像データを演算部３０４に供給する。また、セレクタ３１２は、インター予測モードが指定された場合、動き補償部３１１から出力される予測画像データを演算部３０４に供給する。
＜２−２逆量子化・逆直交変換部＞
図１５は、図１４の逆量子化・逆直交変換部３０３の主な構成例を示すブロック図である。
図１５に示されるように、逆量子化・逆直交変換部３０３は、行列生成部３３１、選択部３３２、逆量子化部３３３、および逆直交変換部３３４を有する。
行列生成部３３１は、可逆復号部３０２においてビットストリームから抽出され、供給されたスケーリングリストに関する情報の符号化データを復号し、スケーリングリストを生成する。行列生成部３３１は、生成したスケーリングリストを逆量子化部３３３に供給する。
選択部３３２は、サイズの異なる複数の変換単位から、復号される画像データの逆直交変換のために使用される変換単位（TU）を選択する。選択部３３２により選択され得る変換単位のサイズの候補は、例えば、H.264/AVCでは4x4および8x8を含み、HEVCでは4x4（sizeID==0）、8x8（sizeID==1）、16x16（sizeID==2）、および32x32（sizeID==3）を含む。選択部３３２は、例えば、符号化ストリームのヘッダ内に含まれるLCU、SCU、およびsplit_flagに基づいて、変換単位を選択してもよい。そして、選択部３３２は、選択した変換単位のサイズを指定する情報を、逆量子化部３３３および逆直交変換部３３４に供給する。
逆量子化部３３３は、選択部３３２により選択された変換単位に対応するスケーリングリストを用いて、画像の符号化の際に量子化された変換係数データを逆量子化する。そして、逆量子化部３３３は、逆量子化した変換係数データを逆直交変換部３３４に供給する。
逆直交変換部３３４は、符号化の際に使用された直交変換方式に従い、逆量子化部３３３により逆量子化された変換係数データを上記選択された変換単位で逆直交変換することにより、予測誤差データを生成する。そして、逆直交変換部３３４は、生成した予測誤差データを演算部３０４に供給する。
＜２−３行列生成部＞
図１６は、図１５の行列生成部３３１の主な構成例を示すブロック図である。図１６に示されるように、行列生成部３３１は、パラメータ解析部３５１、予測部３５２、エントロピ復号部３５３、スケーリングリスト復元部３５４、出力部３５５、および記憶部３５６を有する。
パラメータ解析部３５１は、可逆復号部３０２（図１４）から供給される、スケーリングリストに関する各種フラグやパラメータを解析する。また、パラメータ解析部３５１は、その解析結果に従って、各部を制御する。
例えば、パラメータ解析部３５１は、scaling_list_pred_mode_flagが存在しない場合、コピーモードであると判断する。パラメータ解析部３５１は、その場合、例えば、エントロピ復号部３５３のexpG部３７１にscaling_list_pred_matrix_id_deltaの指数ゴロム符号を供給する。パラメータ解析部３５１は、例えば、expG部３７１を制御し、その符号無し指数ゴロム符号を復号させる。また、パラメータ解析部３５１は、例えば、expG部３７１を制御し、復号して得られたscaling_list_pred_matrix_id_deltaを予測部３５２のコピー部３６１に供給させる。
また、パラメータ解析部３５１は、コピーモードであると判定した場合、例えば、予測部３５２のコピー部３６１を制御し、scaling_list_pred_matrix_id_deltaからリファレンスマトリクスID（RefMatrixID）を算出させる。さらに、パラメータ解析部３５１は、例えば、コピー部３６１を制御し、算出したリファレンスマトリクスIDを用いて、リファレンススケーリングリストを特定し、そのリファレンススケーリングリストを複製してカレントスケーリングリストを生成させる。さらに、パラメータ解析部３５１は、例えば、コピー部３６１を制御し、生成されたカレントスケーリングリストを出力部３５５に供給させる。
また、パラメータ解析部３５１は、例えば、scaling_list_pred_mode_flagが存在する場合、通常モードであると判断する。パラメータ解析部３５１は、その場合、例えば、エントロピ復号部３５３のexpG部３７１に、量子化に用いられたスケーリングリストとその予測値との差分値の指数ゴロム符号を供給する。また、パラメータ解析部３５１は、予測行列生成部３６２を制御して予測行列を生成させる。
予測部３５２は、パラメータ解析部３５１の制御に従って、予測行列やカレントスケーリングリストを生成する。図１６に示されるように、予測部３５２は、コピー部３６１および予測行列生成部３６２を有する。
コピー部３６１は、コピーモードの場合、リファレンススケーリングリストを複製し、それをカレントスケーリングリストとする。より具体的には、コピー部３６１は、expG部３７１から供給されたscaling_list_pred_matrix_id_deltaからリファレンスマトリクスID（RefMatrixID）を算出し、そのリファレンスマトリクスIDに対応するリファレンススケーリングリストを記憶部３５６から読み出す。コピー部３６１は、そのリファレンススケーリングリストを複製してカレントスケーリングリストを生成する。コピー部３６１は、このように生成したカレントスケーリングリストを出力部３５５に供給する。
予測行列生成部３６２は、通常モードの場合、過去に伝送されたスケーリングリストを用いて予測行列を生成する（予測する）。つまり、予測行列生成部３６２は、画像符号化装置１００の予測行列生成部１７２（図７）が生成する予測行列と同様の予測行列を生成する。予測行列生成部３６２は、生成した予測行列をスケーリングリスト復元部３５４の予測行列サイズ変換部３８１に供給する。
エントロピ復号部３５３は、パラメータ解析部３５１から供給される指数ゴロム符号を復号する。図１６に示されるように、エントロピ復号部３５３は、expG部３７１、逆DPCM部３７２、および逆重複判定部３７３を有する。
expG部３７１は、符号つき若しくは符号なしのexponential golomb復号（以下、指数ゴロム復号とも称する）を行い、DPCMデータを復元する。expG部３７１は、復元したDPCMデータを、逆DPCM部３７２に供給する。
また、expG部３７１は、scaling_list_pred_matrix_id_deltaの符号無し指数ゴロム符号を復号し、参照先を示すパラメータであるscaling_list_pred_matrix_id_deltaを得る。scaling_list_pred_matrix_id_deltaを得ると、expG部３７１は、その参照先を示すパラメータであるscaling_list_pred_matrix_id_deltaを、予測部３５２のコピー部３６１に供給する。
逆DPCM部３７２は、重複部分が削除されたデータに対してDPCM復号して、DPCMデータから残差データを生成する。逆DPCM部３７２は、生成した残差データを、逆重複判定部３７３に供給する。
逆重複判定部３７３は、残差データが１３５度の対称行列の、重複する対称部分のデータ（行列要素）が削除されたものである場合、その対称部分のデータを復元する。つまり、１３５度の対称行列の差分行列が復元される。なお、残差データが１３５度の対称行列でない場合、逆重複判定部３７３は、対称部分のデータの復元を行わずに、その残差データを差分行列とする。逆重複判定部３７３は、このようにして復元した差分行列をスケーリングリスト復元部３５４（差分行列サイズ変換部３８２）に供給する。
スケーリングリスト復元部３５４は、スケーリングリストを復元する。図１６に示されるように、スケーリングリスト復元部３５４は、予測行列サイズ変換部３８１、差分行列サイズ変換部３８２、逆量子化部３８３、および演算部３８４を有する。
予測行列サイズ変換部３８１は、予測部３５２（予測行列生成部３６２）から供給される予測行列のサイズが、復元されるカレントスケーリングリストのサイズと異なる場合、その予測行列のサイズをコンバートする。
例えば、予測行列のサイズがカレントスケーリングリストのサイズより大きい場合、予測行列サイズ変換部３８１は、予測行列をダウンコンバートする。また、例えば、予測行列のサイズがカレントスケーリングリストのサイズより小さい場合、予測行列サイズ変換部３８１は、予測行列をアップコンバートする。コンバートの方法は、画像符号化装置１０の予測行列サイズ変換部１８１（図９）と同一の方法が選択される。
予測行列サイズ変換部３８１は、サイズをスケーリングリストに合わせた予測行列を演算部３８４に供給する。
差分行列サイズ変換部３８２は、伝送された差分行列のサイズがカレントスケーリングリストのサイズより小さい場合、その差分行列のサイズをカレントスケーリングリストサイズにアップコンバートする。アップコンバートの方法は、任意である。例えば、画像符号化装置１００の差分行列サイズ変換部１６３（図９）が行ったダウンコンバートの方法に対応するようにしてもよい。
例えば、差分行列サイズ変換部１６３が、差分行列をダウンサンプルした場合、差分行列サイズ変換部３８２は、その差分行列をアップサンプルするようにしてもよい。また、差分行列サイズ変換部１６３が、差分行列をサブサンプルした場合、差分行列サイズ変換部３８２は、その差分行列を逆サブサンプルするようにしてもよい。
なお、差分行列が量子化処理に用いられたときのサイズで伝送される場合、差分行列サイズ変換部３８２は、差分行列のアップコンバートを省略する（若しくは、１倍のアップコンバートを行うようにしてもよい）。
差分行列サイズ変換部３８２は、このように必要に応じてアップコンバートした差分行列を、逆量子化部３８３に供給する。
逆量子化部３８３は、画像符号化装置１００の量子化部１８３（図９）の量子化に対応する方法で、供給された差分行列（量子化データ）を逆量子化し、逆量子化された差分行列を演算部３８４に供給する。なお、量子化部１８３が省略される場合、すなわち、差分行列サイズ変換部３８２から供給される差分行列が量子化データでない場合、この逆量子化部３８３を省略することができる。
演算部３８４は、予測行列サイズ変換部３８１から供給される予測行列と、逆量子化部３８３から供給される差分行列とを加算し、カレントスケーリングリストを復元する。演算部３８４は、復元したスケーリングリストを出力部３５５および記憶部３５６に供給する。
出力部３５５は、供給される情報を行列生成部３３１の外部に出力する。例えば、コピーモードの場合、出力部３５５は、コピー部３６１から供給されるカレントスケーリングリストを、逆量子化部３８３に供給する。また、例えば、通常モードの場合、出力部３５５は、スケーリングリスト復元部３５４（演算部３８４）から供給されるカレント領域のスケーリングリストを、逆量子化部３８３に供給する。
記憶部３５６は、スケーリングリスト復元部３５４（演算部３８４）から供給されるスケーリングリストを、そのマトリクスID（MatrixID）とともに記憶する。この記憶部３５６に記憶されるスケーリングリストに関する情報は、時間的に後に処理される他の直交変換単位の予測行列生成に利用される。つまり、記憶部３５６は、記憶しているスケーリングリストに関する情報を、リファレンススケーリングリストに関する情報として、予測部３５２等に供給する。
さらに、行列生成部３３１は、マトリクスID制御部３９１を有する。マトリクスID制御部３９１は、例えば、VUI（Video usability information）からchroma_format_idcを取得し、その値に基づいて、マトリクスIDの割り当てパターンを制御する。
例えば、上述したように、マトリクスIDの割り当てパターンとして、輝度成分と色成分の両方に対してマトリクスIDを割り当てるパターン（図４）と、輝度成分に対してのみマトリクスIDを割り当てるパターン（図５のＢ）とが用意されるとする。マトリクスID制御部３９１は、例えば、chroma_format_idcの値が「０」の場合、輝度成分に対してのみマトリクスIDを割り当てるパターンを選択し、それ以外の場合、輝度成分と色成分の両方に対してマトリクスIDを割り当てるパターンを選択する。
なお、マトリクスID制御部３９１は、例えば、サイズID（sizeID）が「３」以上である場合、輝度成分に対してのみマトリクスIDを割り当てるパターン（図４および図５のＢ）を選択する。
マトリクスID制御部３９１は、以上のように選択したマトリクスIDの割り当てパターンを示す制御情報を予測部３５２に供給する。
予測部３５２のコピー部３６１若しくは予測行列生成部３６２（選択されたモードに対応する方）は、この割り当てパターンに従って、上述した処理を行う。これにより、コピー部３６１および予測行列生成部３６２は、色成分に対するスケーリングリストに関する処理を、必要な場合のみ行うことができ、符号化効率の向上を実現させることができるだけでなく、それぞれが行う処理の負荷を低減させることができる。つまり、復号処理の負荷が低減される。
以上のように、パラメータ解析部３５１乃至記憶部３５６が、パラメータ解析部３５１により特定されたモードにおいて必要な場合のみ、色成分に対するスケーリングリストについての処理を行う。したがって、画像復号装置３００は、スケーリングリストに関する情報を伝送するための符号量の増大の抑制を実現し、符号化効率の向上を実現させることができる。また、画像復号装置３００は、復号処理の負荷の増大を抑制することができる。
＜２−４復号処理の流れ＞
次に、画像復号装置３００により実行される各種処理について説明する。最初に、図１７のフローチャートを参照して、復号処理の流れの例を説明する。
復号処理が開始されると、ステップＳ３０１において、蓄積バッファ３０１は、伝送されてきた符号化データを蓄積する。ステップＳ３０２において、可逆復号部３０２は、蓄積バッファ３０１から供給される符号化データを復号する。すなわち、図７の可逆符号化部１０５により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、量子化に関するパラメータ等の情報も復号される。
ステップＳ３０３において、逆量子化・逆直交変換部３０３は、逆量子化逆直交変換処理を行い、ステップＳ３０２の処理により得られた、量子化された直交変換係数を逆量子化し、得られた直交変換係数をさらに逆直交変換する。
これにより図７の直交変換・量子化部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
ステップＳ３０４において、イントラ予測部３１０または動き補償部３１１は、可逆復号部３０２から供給される予測モード情報に対応して画像の予測処理を行う。すなわち、可逆復号部３０２からイントラ予測モード情報が供給された場合、イントラ予測部３１０は、イントラ予測モードのイントラ予測処理を行う。また、可逆復号部３０２からインター予測モード情報が供給された場合、動き補償部３１１は、インター予測処理（動き予測および動き補償を含む）を行う。
ステップＳ３０５において、演算部３０４は、ステップＳ３０３の処理により得られた差分情報に、ステップＳ３０４の処理により得られた予測画像を加算する。これにより元の画像データ（再構成画像）が復号される。
ステップＳ３０６において、デブロックフィルタ３０５は、ステップＳ３０５の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
ステップＳ３０７において、画面並べ替えバッファ３０６は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１００の画面並べ替えバッファ１０２（図７）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ３０８において、D/A変換部３０７は、画面並べ替えバッファ３０６においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データは、例えば、図示せぬディスプレイに出力され、その画像が表示される。
ステップＳ３０９において、フレームメモリ３０８は、ステップＳ３０６の処理によりフィルタリングされた復号画像を記憶する。
＜２−５逆量子化・逆直交変換処理の流れ＞
次に、図１８のフローチャートを参照して、図１７のステップＳ３０３において実行される逆量子化・逆直交変換処理の流れの例を説明する。
逆量子化処理が開始されると、ステップＳ３２１において、選択部３３２は、符号化側から伝送されたサイズ情報を可逆復号部３０２から取得し、カレントブロックのTUサイズを特定する。
ステップＳ３２２において、逆量子化部３３３は、ステップＳ３２１において得られたTUサイズのカレントブロックについて、符号化側から伝送された量子化データを可逆復号部３０２から取得し、逆量子化する。
ステップＳ３２３において、逆直交変換部３３４は、ステップＳ３２２において逆量子化されて得られた、直交変換係数を逆直交変換する。
ステップＳ３２３の処理が終了すると、処理は、図１７に戻る。
＜２−６スケーリングリスト復号処理の流れ＞
次に、図１９および図２０のフローチャートを参照して、行列生成部３３１により実行されるスケーリングリスト復号処理の流れの例を説明する。スケーリングリスト復号処理は、符号化された、量子化に用いられるスケーリングリストに関する情報を復号する処理である。
処理が開始されると、マトリクスID制御部３９１は、図１９のステップＳ３４１において、VUIからchroma_format_idcを取得する。ステップＳ３４２において、マトリクスID制御部３９１は、chroma_format_idcが「０」であるか否かを判定する。chroma_format_idcが「０」であると判定された場合、処理は、ステップＳ３４３に進む。
ステップＳ３４３において、マトリクスID制御部３９１は、MatrixIDをモノクローム仕様に変更する。つまり、マトリクスID制御部３９１は、図５のＢに示されるような、輝度成分に対してのみマトリクスIDを割り当てるパターンを選択する。ステップＳ３４３の処理が終了すると、処理は、ステップＳ３４４に進む。
また、ステップＳ３４２において、chroma_format_idcが「０」でない（モノクロームでない）と判定された場合、処理は、ステップＳ３４４に進む。つまり、この場合、図４に示されるような、輝度成分および色差成分に対してマトリクスIDを割り当てるパターンを選択する。
ステップＳ３４４において、パラメータ解析部３５１は、スケーリングリストに関する情報を伝送することを示すscaling_list_present_flagを取得する。例えば、可逆復号部３０２は、APSからscaling_list_present_flagを抽出し、行列生成部３３１に供給する。パラメータ解析部３５１は、そのscaling_list_present_flagを取得する。
なお、スケーリングリストに関する情報が伝送されない場合、このスケーリングリストに関する情報を伝送することを示すscaling_list_present_flagは伝送されない。つまり、その場合、ステップＳ３４４の処理は失敗に終わる（取得することができない）。
ステップＳ３４５において、パラメータ解析部３５１は、ステップＳ３４４の処理結果を判定する。つまり、パラメータ解析部３５１は、scaling_list_present_flagが存在する否か（ステップＳ３４４においてscaling_list_present_flagを取得することができたか否か）を判定する。
scaling_list_present_flagが存在しないと判定された場合、処理は、ステップＳ３４６に進む。
この場合、スケーリングリストに関する情報を伝送されないので、出力部３５５は、ステップＳ３４６において、予め用意された所定のスケーリングリストであるデフォルトマトリクスをカレントスケーリングリストとしてセットし、出力する。ステップＳ３４６の処理が終了すると、スケーリングリスト復号処理が終了する。
また、ステップＳ３４５において、scaling_list_present_flagが存在する、すなわち、ステップＳ３４４において、scaling_list_present_flagの取得に成功したと判定された場合、処理は、図２０に進む。
図２０のステップＳ３５１において、マトリクスID制御部３９１は、サイズIDおよびマトリクスIDを初期値（例えば「０」）に設定する（sizeID=0 , MatrixID=0）。
ステップＳ３５２において、パラメータ解析部３５１は、通現在のsizeIDおよびMatrixIDに対応する（カレントスケーリングリストの）scaling_list_pred_mode_flagを取得する。
例えば、可逆復号部３０２は、APSからscaling_list_pred_mode_flagを抽出し、行列生成部３３１に供給する。パラメータ解析部３５１は、そのscaling_list_pred_mode_flagを取得する。
なお、コピーモードの場合、このscaling_list_pred_mode_flagは伝送されない。つまり、その場合、ステップＳ３５２の処理は失敗に終わる（取得することができない）。
ステップＳ３５３において、パラメータ解析部３５１は、ステップＳ３５２の処理結果を判定する。つまり、パラメータ解析部３５１は、scaling_list_pred_mode_flagが存在する否か（ステップＳ３５２においてscaling_list_pred_mode_flagを取得することができたか否か）を判定する。
scaling_list_pred_mode_flagが存在しないと判定された場合、処理は、ステップＳ３５４に進む。
この場合、通常モードである。したがって、ステップＳ３５４において、通常モードの処理が行われる。例えば、予測行列生成部３６２、エントロピ復号部３５３、スケーリングリスト復元部３５４、出力部３５５、および記憶部３５６等の各処理部は、カレントスケーリングリスト（つまり、現在のsizeIDおよびMatrixIDに対応するスケーリングリスト）の符号化データを復号して、カレントスケーリングリストを得る。カレントスケーリングリストが得られると、出力部３５５は、そのカレントスケーリングリストを、逆量子化部３３３に供給する。
ステップＳ３５４の処理が終了すると、処理は、ステップＳ３５７に進む。
また、ステップＳ３５３において、scaling_list_pred_mode_flagが存在する、すなわち、ステップＳ３５２において、scaling_list_pred_mode_flagの取得に成功したと判定された場合、処理は、ステップＳ３５５に進む。
この場合、コピーモードである。したがって、ステップＳ３５５およびステップＳ３５６において、コピーモードの処理が行われる。
ステップＳ３５５において、コピー部３６１は、scaling_list_pred_matrix_id_deltaを取得する。例えば、可逆復号部３０２は、画像符号化装置１００から伝送された符号化データからscaling_list_pred_matrix_id_deltaを抽出し、行列生成部３３１に供給する。コピー部３６１は、そのscaling_list_pred_matrix_id_deltaを取得する。
ステップＳ３５６において、コピー部３６１は、リファレンスマトリクスID（RefMatrixID）として、（MatrixID-scaling_list_pred_matrix_id_delta-1）をセットする。コピー部３６１は、そのリファレンスマトリクスID（RefMatrixID）が示すリファレンススケーリングリストを記憶部３５６から取得し、複製して、カレントスケーリングリストとする。出力部３５５は、そのカレントスケーリングリストを逆量子化部３３３に供給する。
ステップＳ３５６の処理が終了すると、処理は、ステップＳ３５７に進む。
ステップＳ３５７において、マトリクスID制御部３９１は、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）か否かを判定する。
サイズIDが「３」でない（sizeID!=3）、若しくは、マトリクスIDが「１」でない（matrixID!=1）と判定された場合、処理は、ステップＳ３５８に進む。
ステップＳ３５８において、マトリクスID制御部３９１は、chroma_format_idcが「０」であり（chroma_format_idc==0）、かつ、マトリクスIDが「１」である（matrixID==1）か、マトリクスIDが「５」である（matrixID==5）か、または、そのいずれにも該当しないかを判定する。
chroma_format_idcが「０」であり（chroma_format_idc==0）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、または、マトリクスIDが「５」である（matrixID==5）と判定された場合、処理は、ステップＳ３５９に進む。
この場合、現在のsizeIDに対する全てのマトリクスIDが処理済みである。そこで、マトリクスID制御部３９１は、ステップＳ３５９において、サイズIDを「＋１」インクリメントし（sizeID++）、マトリクスIDを「０」にする（MatrixID=0）。
ステップＳ３５９の処理が終了すると、処理は、ステップＳ３５２に戻る。
また、ステップＳ３５８において、chroma_format_idcが「０」であるもののマトリクスIDが「１」でない（「０」である）と判定された場合、若しくは、chroma_format_idcが「０」でなく（「１」以上であり）、かつ、マトリクスIDが「５」でない（「４」以下である）と判定された場合、処理は、ステップＳ３６０に進む。
この場合、現在のsizeIDに対して未処理のマトリクスIDが存在する。そこで、マトリクスID制御部３９１は、ステップＳ３６０において、マトリクスIDを「＋１」インクリメントする（MatrixID++）。
ステップＳ３６０の処理が終了すると、処理は、ステップＳ３５２に戻る。
つまり、ステップＳ３５２乃至ステップＳ３５８、並びに、ステップＳ３６０の各処理が繰り返し実行され、現在のサイズIDに対する全てマトリクスIDのスケーリングリストの符号化データが復号される。
また、ステップＳ３５２乃至ステップＳ３６０の各処理が繰り返し実行され、全てのスケーリングリストの符号化データが復号される。
ステップＳ３５７において、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、全てのスケーリングリストの符号化データが復号されたので、スケーリングリスト復号処理が終了する。
以上のように、サイズIDとマトリクスIDを用いて、スケーリングリストの復号処理が制御されるので、画像復号装置３００は、不要なスケーリングリストに関する情報についての処理や伝送の省略を実現することができ、符号化効率の低減を実現させることができるとともに、復号処理の負荷を低減させることができる。
＜３．第３の実施の形態＞
＜３−１シンタクスの他の例＞
以上に説明したように、コピーモードの場合、リファレンススケーリングリストを示す情報としてscaling_list_pred_matrix_id_deltaが伝送される。ただし、リファレンススケーリングリストとなり得るスケーリングリストが１つしか存在しない場合（つまり参照先の候補が１つしか存在しない場合）、scaling_list_pred_matrix_id_deltaが存在しなくても、画像復号装置３００は、参照先（リファレンススケーリングリスト）を特定することができる。
例えば、chroma_format_idcが「０」であり、マトリクスIDの割り当てパターンが図５のＢのように設定される場合、スケーリングリストが２つしか存在しない。このような場合、リファレンススケーリングリストとなり得るスケーリングリストは、他方のスケーリングリストの１つのみである。したがって、このような場合、参照先を示すパラメータであるscaling_list_pred_matrix_id_deltaは不要である。
このようにリファレンススケーリングリストが明らかである場合、リファレンススケーリングリストを特定するための情報であるscaling_list_pred_matrix_id_deltaの伝送を省略するようにしてもよい。図２１は、この場合のスケーリングリストのシンタクスの例を説明する図である。
図２１の例のシンタクスの場合、図６の例の場合と同様の制御に加え、上から第７行目において、色フォーマットの識別情報（chroma_format_idc）の値が確認され、chroma_format_idcが「０」でない場合、scaling_list_pred_matrix_id_deltaが取得され、chroma_format_idcが「０」である場合、scaling_list_pred_matrix_id_deltaが取得されないように制御されている。
換言するに、画像符号化装置１００は、このシンタクスに従うように、色フォーマットがモノクロームでない場合、scaling_list_pred_matrix_id_deltaを伝送し、色フォーマットがモノクロームである場合、scaling_list_pred_matrix_id_deltaを伝送しない。
そして、画像復号装置３００は、このシンタクスに従って、色フォーマットがモノクロームでない場合、scaling_list_pred_matrix_id_deltaを取得し、色フォーマットがモノクロームである場合、scaling_list_pred_matrix_id_deltaを取得しない。
このように、scaling_list_pred_matrix_id_deltaの伝送を省略することにより、画像符号化装置１００は、符号化効率をさらに向上させることができる。また、画像符号化装置１００は、scaling_list_pred_matrix_id_deltaの算出も省略することができるので、符号化処理の負荷を、さらに低減させることができる。
また、このように、scaling_list_pred_matrix_id_deltaの伝送を省略することにより、画像復号装置３００は、さらなる符号化効率の向上を実現させることができる。また、画像復号装置３００は、scaling_list_pred_matrix_id_deltaの取得も省略することができるので、復号処理の負荷を、さらに低減させることができる。
＜３−２スケーリングリスト符号化処理の流れ＞
図２２および図２３のフローチャートを参照して、この場合の、画像符号化装置１００によるスケーリングリスト符号化処理の流れの例を説明する。
図２２および図２３に示されるように、この場合も各処理は、図１２および図１３のフローチャートを参照して説明した場合と基本的に同様に実行される。
例えば、図２２のステップＳ４０１乃至ステップＳ４０６の各処理は、図１２のステップＳ１５１乃至ステップＳ１５６の各処理と同様に実行される。
また、図２３のステップＳ４１１乃至ステップＳ４１４の各処理も、図１３のステップＳ１６１乃至ステップＳ１６４の各処理と同様に実行される。
ただし、図２３のステップＳ４１３において、コピーモードの場合、すなわち、scaling_list_pred_mode_flagを伝送していないと判定された場合、処理は、ステップＳ４１５に進む。
ステップＳ４１５において、マトリクスID制御部２１１は、chroma_format_idcが「０」であるか否かを判定する。ここで、chroma_format_idcが「０」でないと判定された場合（chroma_format_idc!=0）、処理は、ステップＳ４１６に進む。
ステップＳ４１６の処理は、図１３のステップＳ１６５の処理と同様に実行される。ステップＳ４１６の処理が終了すると、処理は、ステップＳ４１７に進む。
また、ステップＳ４１５において、chroma_format_idcが「０」であると判定された場合（chroma_format_idc==0）、ステップＳ４１６の処理は省略され、処理は、ステップＳ４１７に進む。
以上のように、chroma_format_idcが「０」でないと判定された場合のみ、参照先を示すパラメータscaling_list_pred_matrix_id_deltaが伝送される。
それ以外の処理は、図１２および図１３の例の場合と同様であり、ステップＳ４１７乃至ステップＳ４２０の各処理も、図１３のステップＳ１６６乃至ステップＳ１６９の各処理と同様に実行される。
このように制御することにより、画像符号化装置１００は、符号化効率を向上させることができ、符号化処理の負荷を低減させることができる。
＜３−３スケーリングリスト復号処理の流れ＞
図２４および図２５のフローチャートを参照して、この場合の、画像復号装置３００によるスケーリングリスト復号処理の流れの例を説明する。
図２４および図２５に示されるように、この場合も各処理は、図１９および図２０のフローチャートを参照して説明した場合と基本的に同様に実行される。
例えば、図２４のステップＳ４５１乃至ステップＳ４５６の各処理は、図１９のステップＳ３４１乃至ステップＳ３４６の各処理と同様に実行される。
また、図２５のステップＳ４６１乃至ステップＳ４６４の各処理も、図２０のステップＳ３５１乃至ステップＳ３５４の各処理と同様に実行される。
ただし、図２５のステップＳ４６３において、コピーモードの場合、すなわち、scaling_list_pred_mode_flagが存在しないと判定された場合、処理は、ステップＳ４６５に進む。
ステップＳ４６５において、マトリクスID制御部３９１は、chroma_format_idcが「０」であるか否かを判定する。ここで、chroma_format_idcが「０」であると判定された場合（chroma_format_idc==0）、処理は、ステップＳ４６６に進む。
ステップＳ４６６において、コピー部３６１は、scaling_list_pred_matrix_id_deltaが伝送されていないので、リファレンスマトリクスID（RefMatrixID）として、「０」をセットする。ステップＳ４６６の処理が終了すると、処理は、ステップＳ４６９に進む。
また、ステップＳ４６５において、chroma_format_idcが「０」でないと判定された場合（chroma_format_idc!=0）、処理は、ステップＳ４６７に進む。
ステップＳ４６７およびステップＳ４６８の各処理は、図２０のステップＳ３５５およびステップＳ３５６の各処理と同様に行われる。
つまり、chroma_format_idcが「０」でないと判定された場合のみ、参照先を示すパラメータscaling_list_pred_matrix_id_deltaが伝送される。そして、その参照先を示すパラメータであるscaling_list_pred_matrix_id_deltaに基づいてリファレンススケーリングリストが特定される。chroma_format_idcが「０」であると判定された場合、参照先を示すパラメータscaling_list_pred_matrix_id_deltaが伝送されないが、リファレンススケーリングリストとなることが自明のスケーリングリストが設定される。
それ以外の処理は、図１９および図２０の例の場合と同様であり、ステップＳ４６９乃至ステップＳ４７２の各処理も、図２０のステップＳ３５７乃至ステップＳ３６０の各処理と同様に実行される。
このように制御することにより、画像復号装置３００は、符号化効率の向上を実現させることができ、復号処理の負荷を低減させることができる。
＜４．第４の実施の形態＞
＜４−１シンタクスの他の例＞
なお、図４に示されるように、サイズIDが「３」の場合、マトリクスIDは２つ割り当てられる。したがって、サイズIDが「３」であり、かつ、マトリクスIDが「１」の場合、scaling_list_pred_matrix_id_deltaの伝送を省略するようにしてもよい。図２６は、この場合のスケーリングリストのシンタクスの例を説明する図である。
図２６の例のシンタクスの場合、図３の例の場合と同様の制御に加え、上から第７行目において、scaling_list_pred_mode_flagの存在だけでなく、サイズIDが「３」であり、かつ、マトリクスIDが「１」であるか否か（!(sizeID==3&&matrixID==1)）が確認される。
そして、コピーモードであって、かつ、サイズIDが「３」以外であるか、若しくは、マトリクスIDが「１」以外である場合、scaling_list_pred_matrix_id_deltaが取得され、通常モードである場合、または、サイズIDが「３」であり、かつ、マトリクスIDが「１」である場合、scaling_list_pred_matrix_id_deltaが取得されないように制御される。
換言するに、画像符号化装置１００は、このような条件に従って、scaling_list_pred_matrix_id_deltaを伝送するか否かを制御する。そして、画像復号装置３００は、こような条件に従って、scaling_list_pred_matrix_id_deltaを取得するか否かを制御する。
このように、scaling_list_pred_matrix_id_deltaの伝送を省略することにより、画像符号化装置１００は、符号化効率をさらに向上させることができる。また、画像符号化装置１００は、scaling_list_pred_matrix_id_deltaの算出も省略することができるので、符号化処理の負荷を、さらに低減させることができる。
また、このように、scaling_list_pred_matrix_id_deltaの伝送を省略することにより、画像復号装置３００は、さらなる符号化効率の向上を実現させることができる。また、画像復号装置３００は、scaling_list_pred_matrix_id_deltaの取得も省略することができるので、復号処理の負荷を、さらに低減させることができる。
＜４−２スケーリングリスト符号化処理の流れ＞
図２７および図２８のフローチャートを参照して、この場合の、画像符号化装置１００によるスケーリングリスト符号化処理の流れの例を説明する。
図２７および図２８に示されるように、この場合も各処理は、図１２および図１３のフローチャートを参照して説明した場合と基本的に同様に実行される。
例えば、図２７のステップＳ５０１乃至ステップＳ５０３の各処理は、図１２のステップＳ１５１、ステップＳ１５５、およびステップＳ１５６の各処理と同様に実行される。
つまり、図２７の例の場合、図１２のステップＳ１５２乃至ステップＳ１５４の処理が省略されている。もちろん、図２７の例においても、図１２の場合と同様に、ステップＳ１５２乃至ステップＳ１５４の各処理と同様の処理を行うようにしてもよい。
また、図２８のステップＳ５１１乃至ステップＳ５１４の各処理も、図１３のステップＳ１６１乃至ステップＳ１６４の各処理と同様に実行される。
ただし、図２８のステップＳ５１３において、コピーモードの場合、すなわち、scaling_list_pred_mode_flagを伝送していないと判定された場合、処理は、ステップＳ５１５に進む。
ステップＳ５１５において、マトリクスID制御部２１１は、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）か否かを判定する。
サイズIDが「３」でない（sizeID!=3）、若しくは、マトリクスIDが「１」でない（matrixID!=1）と判定された場合、処理は、ステップＳ５１６に進む。
ステップＳ５１６の処理は、図１３のステップＳ１６５の処理と同様に実行される。ステップＳ５１６の処理が終了すると、処理は、ステップＳ５１７に進む。また、ステップＳ５１５において、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、ステップＳ５１６の処理は省略され、処理は、ステップＳ５１７に進む。
つまり、サイズIDが「３」でないと判定された場合、若しくは、マトリクスIDが「１」でないと判定された場合のみ、scaling_list_pred_matrix_id_deltaが伝送される。
それ以外の処理は、図１２および図１３の例の場合と同様であり、ステップＳ５１７乃至ステップＳ５２０の各処理も、図１３のステップＳ１６６乃至ステップＳ１６９の各処理と同様に実行される。
このように制御することにより、画像符号化装置１００は、符号化効率を向上させることができ、符号化処理の負荷を低減させることができる。
＜４−３スケーリングリスト復号処理の流れ＞
図２９および図３０のフローチャートを参照して、この場合の、画像復号装置３００によるスケーリングリスト復号処理の流れの例を説明する。
図２９および図３０に示されるように、この場合も各処理は、図１９および図２０のフローチャートを参照して説明した場合と基本的に同様に実行される。
例えば、図２９のステップＳ５５１乃至ステップＳ５５３の各処理は、図１９のステップＳ３４４乃至ステップＳ３４６の各処理と同様に実行される。
つまり、図２９の例の場合、図１９のステップＳ３４１乃至ステップＳ３４３の処理が省略されている。もちろん、図２９の例においても、図１９の場合と同様に、ステップＳ３４１乃至ステップＳ３４３の各処理と同様の処理を行うようにしてもよい。
また、図３０のステップＳ５６１乃至ステップＳ５６４の各処理も、図２０のステップＳ３５１乃至ステップＳ３５４の各処理と同様に実行される。
ただし、図３０のステップＳ５６３において、コピーモードの場合、すなわち、scaling_list_pred_mode_flagが存在しないと判定された場合、処理は、ステップＳ５６５に進む。
ステップＳ５６５において、マトリクスID制御部３９１は、サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）か否かを判定する。
サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、処理は、ステップＳ５６６に進む。
ステップＳ５６６において、コピー部３６１は、scaling_list_pred_matrix_id_deltaが伝送されていないので、リファレンスマトリクスID（RefMatrixID）として、「０」をセットする。ステップＳ５６６の処理が終了すると、処理は、ステップＳ５６９に進む。
また、ステップＳ５６５において、サイズIDが「３」でない（sizeID!=3）、若しくは、マトリクスIDが「１」でない（matrixID!=1）と判定された場合、処理は、ステップＳ５６７に進む。
ステップＳ５６７およびステップＳ５６８の各処理は、図２０のステップＳ３５５およびステップＳ３５６の各処理と同様に行われる。
つまり、サイズIDが「３」でない（sizeID!=3）、若しくは、マトリクスIDが「１」でない（matrixID!=1）と判定された場合のみ、scaling_list_pred_matrix_id_deltaが伝送され、そのscaling_list_pred_matrix_id_deltaに基づいてリファレンススケーリングリストが特定される。サイズIDが「３」であり（sizeID==3）、かつ、マトリクスIDが「１」である（matrixID==1）と判定された場合、scaling_list_pred_matrix_id_deltaが伝送されないが、リファレンススケーリングリストとなることが自明のスケーリングリストが設定される。
それ以外の処理は、図１９および図２０の例の場合と同様であり、ステップＳ５６９乃至ステップＳ５７２の各処理も、図２０のステップＳ３５７乃至ステップＳ３６０の各処理と同様に実行される。
このように制御することにより、画像復号装置３００は、符号化効率の向上を実現させることができ、復号処理の負荷を低減させることができる。
＜５．第５の実施の形態＞
＜多視点画像符号化・多視点画像復号への適用＞
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図３１は、多視点画像符号化方式の一例を示す。
図３１に示されるように、多視点画像は、複数の視点（ビュー（view））の画像を含む。この多視点画像の複数のビューは、他のビューの画像を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの画像を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューは、ベースビューの画像を利用するようにしても良いし、他のノンベースビューの画像を利用するようにしてもよい。
図３１のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、以上の各実施の形態において説明した方法を適用するようにしてもよい。このようにすることにより、各ビューの符号化効率を向上させることができる。
さらに、各ビューの符号化・復号において、以上の各実施の形態において説明した方法において使用されるフラグやパラメータを共有するようにしてもよい。このようにすることにより、符号化効率を向上させることができる。
より具体的には、例えば、スケーリングリストに関する情報（例えばパラメータやフラグ等）を、各ビューの符号化・復号において共有するようにしてもよい。
もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。
例えば、スケーリングリストやスケーリングリストに関する情報をシーケンスパラメータセット（SPS（Sequence Parameter Set））やピクチャパラメータセット（PPS（Picture Parameter Set））において伝送する場合、それら（SPSやPPS）がビュー間で共有されるのであれば、スケーリングリストやスケーリングリストに関する情報も自ずと共有されることになる。このようにすることにより、符号化効率を向上させることができる。
また、ベースビューのスケーリングリスト（量子化マトリクス）の行列要素をビュー間の視差値に応じて変更するようにしても良い。さらに、ベースビューのスケーリングリスト（量子化マトリクス）の行列要素に関してノンベースビュー用の行列要素を調整するためのオフセット値を伝送するようにしてもよい。これらのようにすることにより、符号化効率を向上させることができる。
例えば、ビュー毎のスケーリングリストを予め別途伝送するようにしてもよい。ビュー毎にスケーリングリストを変更する場合、その予め伝送したスケーリングリストとの差分を示す情報のみを伝送すればよい。この差分を示す情報は、任意である。例えば、4x4や8x8を単位とする情報であってもよいし、行列同士の差分であってもよい。
なお、ビュー間で、SPSやPPSを共有しないが、スケーリングリストやスケーリングリストに関する情報を共有するときは、他のビューのSPSやPPSを参照することができる（つまり、他のビューの、スケーリングリストやスケーリングリストに関する情報を利用することができる）ようにしてもよい。
また、このような多視点画像を、YUVの各画像と、ビュー間の視差量に対応する奥行き画像（Depth）とをそれぞれコンポーネントとする画像として表す場合、各コンポーネント（Ｙ,Ｕ,Ｖ,Depth）の画像に対して互いに独立したスケーリングリストやスケーリングリストに関する情報を用いるようにしてもよい。
例えば、奥行き画像（Depth）は、エッジの画像であるので、スケーリングリストは不要である。したがって、SPSやPPSにおいてスケーリングリストの利用が指定されている場合であっても、奥行き画像（Depth）に対しては、スケーリングリストを適用しない（若しくは行列要素が全て同一（FLAT）なスケーリングリストを適用する）ようにしてもよい。
＜多視点画像符号化装置＞
図３２は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図３２に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。
符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１００（図７）を適用することができる。つまり、各ビューに対する符号化において、符号化効率を向上させることができ、各ビューの画質の低減を抑制することができる。また、符号化部６０１および符号化部６０２は、互いに同一のフラグやパラメータを用いて、量子化や逆量子化等の処理を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率を向上させることができる。
＜多視点画像復号装置＞
図３３は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図３３に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。
逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置３００（図１４）を適用することができる。つまり、各ビューに対する復号において、符号化効率を向上させることができ、各ビューの画質の低減を抑制することができる。また、復号部６１２および復号部６１３は、互いに同一のフラグやパラメータを用いて、量子化や逆量子化等の処理を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率を向上させることができる。
＜６．第６の実施の形態＞
＜階層画像符号化・階層画像復号への適用＞
上述した一連の処理は、階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）に適用することができる。図３４は、階層画像符号化方式の一例を示す。
階層画像符号化（スケーラブル符号化）は、画像データを、所定のパラメータについてスケーラビリティ（scalability）機能を有するように、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化するものである。階層画像復号は、その階層画像符号化（スケーラブル復号）は、その階層画像符号化に対応する復号である。
図３４に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。つまり、階層化された画像（階層画像）は、その所定のパラメータの値が互いに異なる複数の階層（レイヤ）の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ（エンハンスメントレイヤとも称する）とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。
一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ（差分データ）により構成される。例えば、１の画像をベースレイヤとノンベースレイヤ（エンハンスメントレイヤとも称する）に２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
図３４の例のような階層画像を符号化・復号する場合、各レイヤの画像を符号化・復号するが、この各レイヤの符号化・復号に対して、以上の各実施の形態において説明した方法を適用するようにしてもよい。このようにすることにより、各レイヤの符号化効率を向上させることができる。
さらに、各レイヤの符号化・復号において、以上の各実施の形態において説明した方法において使用されるフラグやパラメータを共有するようにしてもよい。このようにすることにより、符号化効率を向上させることができる。
より具体的には、例えば、スケーリングリストに関する情報（例えば、パラメータやフラグ等）を、各レイヤの符号化・復号において共有するようにしてもよい。
もちろん、これら以外の必要な情報も、各レイヤの符号化・復号において共有するようにしてもよい。
このような階層画像の例として、空間解像度によって階層化したもの（空間解像度スケーラビリティとも称する）がある（spatial scalability）。空間解像度スケーラビリティを有する階層画像の場合、階層毎に画像の解像度が異なる。例えば、空間的に最も低解像度の画像の階層をベースレイヤとされ、ベースレイヤよりも高解像度の画像の階層をノンベースレイヤ（エンハンスメントレイヤ）とされる。
ノンベースレイヤ（エンハンスメントレイヤ）の画像データは、他の階層から独立したデータとし、ベースレイヤの場合と同様に、その画像データのみによりその階層の解像度の画像を得ることができるようにしてもよいが、その階層の画像と他の階層（例えば１つ下の階層）の画像との差分画像に対応するデータとするのが一般的である。この場合、ベースレイヤの階層の解像度の画像は、そのベースレイヤの画像データのみにより得られるが、ノンベースレイヤ（エンハンスメントレイヤ）の階層の解像度の画像は、その階層の画像データと、他の階層（例えば１つ下の階層）の画像データを合成することにより得られる。このようにすることにより、階層間の画像データの冗長性を抑制することができる。
このような空間解像度スケーラビリティを有する階層画像は、階層毎に画像の解像度が異なるので、各階層の符号化・復号の処理単位の解像度も互いに異なる。したがって、各階層の符号化・復号においてスケーリングリスト（量子化マトリクス）を共有する場合、スケーリングリスト（量子化マトリクス）を各階層の解像度比に応じてアップコンバートするようにしてもよい。
例えば、ベースレイヤの画像の解像度が２Ｋ（例えば1920x1080）とし、ノンベースレイヤ（エンハンスメントレイヤ）の画像の解像度が４Ｋ（例えば、3840x2160）とする。この場合、例えば、ベースレイヤの画像（２Ｋ画像）の16x16は、ノンベースレイヤの画像（４Ｋ画像）の32x32に相当する。スケーリングリスト（量子化マトリクス）もこのような解像度比に応じて適宜アップコンバートする。
例えば、ベースレイヤの量子化・逆量子化に用いられる4x4のスケーリングリストは、ノンベースレイヤの量子化・逆量子化において8x8にアップコンバートされて使用される。同様に、ベースレイヤの8x8のスケーリングリストは、ノンベースレイヤにおいて16x16にアップコンバートされる。同様に、ベースレイヤにおいて16x16にアップコンバートされて使用されるスケーリングリストは、ノンベースレイヤにおいて32x32にアップコンバートされる。
なお、スケーラビリティ性を持たせるパラメータは、空間解像度に限らず、例えば、時間解像度がある（temporal scalability）。時間解像度スケーラビリティを有する階層画像の場合、階層毎に画像のフレームレートが異なる。また、その他にも、例えば、階層毎に画像データのビット深度が異なるビット深度スケーラビリティ（bit-depth scalability）や、階層毎にコンポーネントのフォーマットが異なるクロマスケーラビリティ（chroma scalability）等がある。
また、その他にも、例えば、階層毎に画像の信号雑音比（SNR（Signal to Noise ratio））が異なるSNRスケーラビリティ（SNR scalability）がある。
画質向上のためには、信号雑音比が低い画像程、量子化誤差をより小さくするのが望ましい。そのため、SNRスケーラビリティの場合、各階層の量子化・逆量子化には、信号雑音比に応じた、互いに異なるスケーリングリスト（共通でないスケーリングリスト）が用いられるようにするのが望ましい。そのため、上述したようにスケーリングリストを階層間で共有する場合、ベースレイヤのスケーリングリストの行列要素に関して、エンハンスメントレイヤの行列要素を調整するためのオフセット値を伝送するようにしてもよい。より具体的には、その共通のスケーリングリストと、実際に用いられるスケーリングリストとの差分を示す情報を、階層毎に伝送するようにしてもよい。例えば、各階層のシーケンスパラメータセット（SPS（Sequence Parameter Set））やピクチャパラメータセット（PPS（Picture Parameter Set））において、その差分を示す情報を伝送するようにしてもよい。この差分を示す情報は、任意である。例えば、両スケーリングリストの要素毎の差分値を要素とする行列であってもよいし、差分を示す関数であってもよい。
＜階層画像符号化装置＞
図３５は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図３５に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。
符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１００（図７）を適用することができる。つまり、各レイヤに対する符号化において、符号化効率を向上させることができ、各レイヤの画質の低減を抑制することができる。また、符号化部６２１および符号化部６２２は、互いに同一のフラグやパラメータを用いて、量子化や逆量子化等の処理を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率を向上させることができる。
＜階層画像復号装置＞
図３６は、上述した階層画像復号を行う階層画像復号装置を示す図である。図３６に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。
逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置３００（図１４）を適用することができる。つまり、各レイヤに対する復号において、符号化効率を向上させることができ、各レイヤの画質の低減を抑制することができる。また、復号部６３２および復号部６３３は、互いに同一のフラグやパラメータを用いて、量子化や逆量子化等の処理を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率を向上させることができる。
＜７．第７の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータ等が含まれる。
図３７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図３７に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータ８００では、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を解して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ８００では、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくことができる。
なお、コンピュータ８００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
上述した実施形態に係る画像符号化装置１００（図７）および画像復号装置３００（図１４）は、衛星放送、ケーブルTV（テレビジョン放送）などの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜８．応用例＞
＜８−１．テレビジョン装置＞
図３８は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置３００（図１４）の機能を有する。したがって、テレビジョン装置９００は、符号化効率の向上を実現することができる。
＜８−２．携帯電話機＞
図３９は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１００（図７）の機能、および、画像復号装置３００（図１４）の機能を有する。従って、携帯電話機９２０は、符号化効率を向上させることができる。
また、以上においては携帯電話機９２０として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機９２０と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機９２０の場合と同様に、本技術を適用した画像符号化装置および画像復号装置を適用することができる。
＜８−３．記録再生装置＞
図４０は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送部としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４またはディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４またはディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１００（図７）の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置３００（図１４）の機能を有する。従って、記録再生装置９４０は、符号化効率を向上させることができる。
＜８−４．撮像装置＞
図４１は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像データを生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送部としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１００（図７）の機能、および、画像復号装置３００（図１４）の機能を有する。従って、撮像装置９６０は、符号化効率を向上させることができる。
＜９．スケーラブル符号化の応用例＞
＜９−１．データ伝送システム＞
次に、スケーラブル符号化（階層（画像）符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図５７に示される例のように、伝送するデータの選択のために利用される。
図４２に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。
その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。
なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
そして、以上のような図４２のようなデータ伝送システム１０００においても、図３４乃至図３６を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図３４乃至図３６を参照して上述した効果と同様の効果を得ることができる。
＜９−２．データ伝送システム＞
また、スケーラブル符号化は、例えば、図４３に示される例のように、複数の通信媒体を介する伝送のために利用される。
図４３に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。
端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。
端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
そして、以上のような図４３のようなデータ伝送システム１１００においても、図３４乃至図３６を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図３４乃至図３６を参照して上述した効果と同様の効果を得ることができる。
＜９−３．撮像システム＞
また、スケーラブル符号化は、例えば、図４４に示される例のように、符号化データの記憶に利用される。
図４４に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。
スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。
このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。
以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。
そして、以上のような図４４のような撮像システム１２００においても、図３４乃至図３６を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図３４乃至図３６を参照して上述した効果と同様の効果を得ることができる。
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。
もちろん、本技術を適用した画像符号化装置および画像復号装置は、上述した装置以外の装置やシステムにも適用可能である。
なお、本明細書では、スケーリングリストに関する情報が、符号化側から復号側へ伝送される例について説明した。スケーリングリストに関する情報を伝送する手法は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
なお、本技術は以下のような構成も取ることができる。
（１） 符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成する生成部と、
前記生成部により生成された前記スケーリングリストに関する情報を符号化する符号化部と、
前記符号化部により生成された前記スケーリングリストに関する情報の符号化データを伝送する伝送部と
を備える画像処理装置。
（２） 前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
前記（１）に記載の画像処理装置。
（３） 前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
前記（２）に記載の画像処理装置。
（４）前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられる
前記（３）に記載の画像処理装置。
（５） 前記識別情報は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられる
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 通常モードの場合、
前記生成部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データを生成し、
前記符号化部は、前記生成部により生成された前記差分データを符号化し、
前記伝送部は、前記符号化部により生成された前記差分データの符号化データを伝送する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） コピーモードの場合、
前記生成部は、参照先であるリファレンススケーリングリストを示す情報を生成し、
前記符号化部は、前記生成部により生成された前記リファレンススケーリングリストを示す情報を符号化し、
前記伝送部は、前記符号化部により生成された前記リファレンススケーリングリストを示す情報の符号化データを伝送する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記生成部は、前記リファレンススケーリングリストの候補が複数存在する場合のみ、前記リファレンススケーリングリストを示す情報を生成する
前記（７）に記載の画像処理装置。
（９） 前記画像データを符号化する画像データ符号化部と、
前記画像データ符号化部により生成された前記画像データの符号化データを伝送する符号化データ伝送部と
をさらに備える前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成し、
生成された前記スケーリングリストに関する情報を符号化し、
生成された前記スケーリングリストに関する情報の符号化データを伝送する
画像処理方法。
（１１） 符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得する取得部と、
前記取得部により取得された前記スケーリングリストに関する情報の符号化データを復号する復号部と、
前記復号部により生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する生成部と
を備える画像処理装置。
（１２） 前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
前記（１１）に記載の画像処理装置。
（１３） 前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
前記（１２）に記載の画像処理装置。
（１４） 前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられる
前記（１３）に記載の画像処理装置。
（１５） 前記識別番号は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられる
前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 通常モードの場合、
前記取得部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データの符号化データを取得し、
前記復号部は、前記取得部により取得された前記差分データの符号化データを復号し、
前記生成部は、前記復号部により生成された前記差分データに基づいて前記カレントスケーリングリストを生成する
前記（１１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） コピーモードの場合、
前記取得部は、参照先であるリファレンススケーリングリストを示す情報の符号化データを取得し、
前記復号部は、前記取得部により取得された前記リファレンススケーリングリストを示す情報の符号化データを復号し、
前記生成部は、前記復号部により生成された前記リファレンススケーリングリストを示す情報を用いて、前記カレントスケーリングリストを生成する
前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１８） 前記生成部は、前記リファレンススケーリングリストを示す情報が伝送されない場合、前記リファレンススケーリングリストの識別情報に「０」をセットする
前記（１７）に記載の画像処理装置。
（１９） 前記画像データの符号化データを取得する符号化データ取得部と、
前記符号化データ取得部により取得された前記画像データの符号化データを復号する画像データ復号部と
をさらに備える前記（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得し、
取得された前記スケーリングリストに関する情報の符号化データを復号し、
生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する
画像処理方法。
１００ 画像符号化装置， １０４ 直交変換・量子化部， １３１ 選択部， １３２ 直交変換部， １３３ 量子化部， １３４ スケーリングリストバッファ， １３５ 行列処理部， １６１ 予測部， １６６ 出力部， １７１ コピー部， １７２ 予測行列生成部， ２１０ 制御部， ２１１ マトリクスID制御部， ２１２ モード制御部， ３００ 画像復号装置， ３０３ 逆量子化・逆直交変換部， ３３１ 行列生成部， ３３２ 選択部， ３３３ 逆量子化部， ３３４ 逆直交変換部， ３５１ パラメータ解析部， ３５２ 予測部， ３５５ 出力部， ３６１ コピー部， ３６２ 予測行列生成部， ３９１ マトリクスID制御部

Claims (20)

  1. 符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成する生成部と、
    前記生成部により生成された前記スケーリングリストに関する情報を符号化する符号化部と、
    前記符号化部により生成された前記スケーリングリストに関する情報の符号化データを伝送する伝送部と
    を備える画像処理装置。
  2. 前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
    請求項１に記載の画像処理装置。
  3. 前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
    請求項２に記載の画像処理装置。
  4. 前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられる
    請求項３に記載の画像処理装置。
  5. 前記識別情報は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられる
    請求項１に記載の画像処理装置。
  6. 通常モードの場合、
    前記生成部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データを生成し、
    前記符号化部は、前記生成部により生成された前記差分データを符号化し、
    前記伝送部は、前記符号化部により生成された前記差分データの符号化データを伝送する
    請求項１に記載の画像処理装置。
  7. コピーモードの場合、
    前記生成部は、参照先であるリファレンススケーリングリストを示す情報を生成し、
    前記符号化部は、前記生成部により生成された前記リファレンススケーリングリストを示す情報を符号化し、
    前記伝送部は、前記符号化部により生成された前記リファレンススケーリングリストを示す情報の符号化データを伝送する
    請求項１に記載の画像処理装置。
  8. 前記生成部は、前記リファレンススケーリングリストの候補が複数存在する場合のみ、前記リファレンススケーリングリストを示す情報を生成する
    請求項７に記載の画像処理装置。
  9. 前記画像データを符号化する画像データ符号化部と、
    前記画像データ符号化部により生成された前記画像データの符号化データを伝送する符号化データ伝送部と
    をさらに備える請求項１に記載の画像処理装置。
  10. 符号化する画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報を生成し、
    生成された前記スケーリングリストに関する情報を符号化し、
    生成された前記スケーリングリストに関する情報の符号化データを伝送する
    画像処理方法。
  11. 符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得する取得部と、
    前記取得部により取得された前記スケーリングリストに関する情報の符号化データを復号する復号部と、
    前記復号部により生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する生成部と
    を備える画像処理装置。
  12. 前記識別情報は、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
    請求項１１に記載の画像処理装置。
  13. 前記識別情報は、予め用意された複数のスケーリングリストの中の、前記画像データの量子化に用いられるスケーリングリストに対して割り当てられる
    請求項１２に記載の画像処理装置。
  14. 前記識別情報は、数値によって対象を識別する識別番号よりなり、前記画像データの量子化に用いられるスケーリングリストに対して小さい識別番号が割り当てられる
    請求項１３に記載の画像処理装置。
  15. 前記識別情報は、前記画像データの色フォーマットがモノクロームの場合、輝度成分に対するスケーリングリストに対してのみ割り当てられる
    請求項１１に記載の画像処理装置。
  16. 通常モードの場合、
    前記取得部は、前記識別情報が割り当てられた前記スケーリングリストとその予測値との差分データの符号化データを取得し、
    前記復号部は、前記取得部により取得された前記差分データの符号化データを復号し、
    前記生成部は、前記復号部により生成された前記差分データに基づいて前記カレントスケーリングリストを生成する
    請求項１１に記載の画像処理装置。
  17. コピーモードの場合、
    前記取得部は、参照先であるリファレンススケーリングリストを示す情報の符号化データを取得し、
    前記復号部は、前記取得部により取得された前記リファレンススケーリングリストを示す情報の符号化データを復号し、
    前記生成部は、前記復号部により生成された前記リファレンススケーリングリストを示す情報を用いて、前記カレントスケーリングリストを生成する
    請求項１１に記載の画像処理装置。
  18. 前記生成部は、前記リファレンススケーリングリストを示す情報が伝送されない場合、前記リファレンススケーリングリストの識別情報に「０」をセットする
    請求項１７に記載の画像処理装置。
  19. 前記画像データの符号化データを取得する符号化データ取得部と、
    前記符号化データ取得部により取得された前記画像データの符号化データを復号する画像データ復号部と
    をさらに備える請求項１１に記載の画像処理装置。
  20. 符号化された画像データのフォーマットに応じてスケーリングリストに対する識別情報が割り当てられた前記スケーリングリストに関する情報の符号化データを取得し、
    取得された前記スケーリングリストに関する情報の符号化データを復号し、
    生成された前記スケーリングリストに関する情報に基づいて、処理対象であるカレントスケーリングリストを生成する
    画像処理方法。
JP2014510138A 2012-04-13 2013-04-04 画像処理装置および方法 Pending JPWO2013154028A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014510138A JPWO2013154028A1 (ja) 2012-04-13 2013-04-04 画像処理装置および方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012091611 2012-04-13
JP2012091611 2012-04-13
JP2014510138A JPWO2013154028A1 (ja) 2012-04-13 2013-04-04 画像処理装置および方法

Publications (1)

Publication Number Publication Date
JPWO2013154028A1 true JPWO2013154028A1 (ja) 2015-12-17

Family

ID=49327596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014510138A Pending JPWO2013154028A1 (ja) 2012-04-13 2013-04-04 画像処理装置および方法

Country Status (3)

Country Link
US (1) US20150043637A1 (ja)
JP (1) JPWO2013154028A1 (ja)
WO (1) WO2013154028A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5904266B2 (ja) 2012-02-29 2016-04-13 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
US20170302920A1 (en) * 2014-09-19 2017-10-19 Telefonaktiebolaget Lm Ericsson (Publ) Methods, encoders and decoders for coding of video sequencing
CN112040237A (zh) 2015-07-16 2020-12-04 杜比实验室特许公司 用于hdr和宽色域信号的信号整形和编码
US11272180B2 (en) 2016-07-04 2022-03-08 Sony Corporation Image processing apparatus and method
WO2018142823A1 (en) * 2017-01-31 2018-08-09 Sharp Kabushiki Kaisha Systems and methods for scaling transform coefficient level values
CN113228651A (zh) * 2018-12-26 2021-08-06 韩国电子通信研究院 量化矩阵编码/解码方法和装置以及存储比特流的记录介质
EP4231641A1 (en) * 2019-03-10 2023-08-23 HFI Innovation Inc. Mehtod and apparatus of the quantization matrix computation and representation for video coding
JP2020150338A (ja) 2019-03-11 2020-09-17 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
WO2020192633A1 (en) * 2019-03-25 2020-10-01 Mediatek Inc. Method and apparatus of the quantization matrix computation and representation for video coding
WO2020207493A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Transform coding based on matrix-based intra prediction
CN113748676A (zh) * 2019-04-16 2021-12-03 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
CN113711604B (zh) 2019-04-20 2023-10-27 北京字节跳动网络技术有限公司 视频编解码中色度和亮度语法元素的信令
CN113728647B (zh) 2019-05-01 2023-09-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
CN113812150B (zh) 2019-05-01 2023-11-28 北京字节跳动网络技术有限公司 使用滤波的基于矩阵的帧内预测
EP3954115A4 (en) 2019-05-22 2023-04-19 Beijing Bytedance Network Technology Co., Ltd. MATRIX-BASED INTRAPREDICTION USING UPSAMPLING
CN113785574B (zh) 2019-05-30 2022-10-11 北京字节跳动网络技术有限公司 色度分量的自适应环路滤波
WO2020239017A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. One-step downsampling process in matrix-based intra prediction
KR20220016833A (ko) 2019-06-05 2022-02-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반의 인트라 예측을 위한 컨텍스트 결정
CN113940068A (zh) * 2019-06-11 2022-01-14 Lg 电子株式会社 基于缩放列表参数的视频或图像编译
EP3994883A1 (en) * 2019-07-02 2022-05-11 InterDigital VC Holdings France, SAS Chroma format dependent quantization matrices for video encoding and decoding
WO2021004434A1 (en) * 2019-07-06 2021-01-14 Mediatek Inc. Signaling of quantization matrices
JP7303367B2 (ja) * 2019-07-08 2023-07-04 エルジー エレクトロニクス インコーポレイティド スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング
CN114270817A (zh) 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 基于位置的系数缩放
CN117579823A (zh) 2019-10-28 2024-02-20 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
JP7402016B2 (ja) * 2019-11-06 2023-12-20 オッポ広東移動通信有限公司 画像復号装置及び画像符号化装置
CN110944098A (zh) * 2019-11-27 2020-03-31 维沃移动通信有限公司 一种图像处理方法及电子设备
CN115720265A (zh) * 2019-12-18 2023-02-28 腾讯科技（深圳）有限公司 视频编解码方法、装置、设备及存储介质
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
EP4066493A4 (en) * 2020-01-01 2023-03-08 ByteDance Inc. CROSS-COMPONENT ADAPTIVE LOOP FILTERING FOR VIDEO CODING
US11641469B2 (en) * 2020-01-13 2023-05-02 Qualcomm Incorporated Signaling scaling matrices in video coding
WO2021197447A1 (en) * 2020-04-01 2021-10-07 Beijing Bytedance Network Technology Co., Ltd. Controlling quantization parameter delta signaling
WO2021204137A1 (en) 2020-04-07 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Clipping operation for reference picture wrap around
JP2023521588A (ja) 2020-04-09 2023-05-25 北京字節跳動網絡技術有限公司 映像コーディングにおけるデブロッキング信号通知
WO2021204251A1 (en) 2020-04-10 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
WO2021209061A1 (en) 2020-04-17 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
JP2023523409A (ja) 2020-04-26 2023-06-05 バイトダンス インコーポレイテッド 映像コーディング構文要素の条件付き信号通知
US11563964B2 (en) * 2020-11-12 2023-01-24 Tencent America LLC Method and apparatus for video coding
CN113411615B (zh) * 2021-06-22 2023-01-10 深圳市大数据研究院 一种面向虚拟现实的纬度自适应的全景图像编码方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4716453A (en) * 1985-06-20 1987-12-29 At&T Bell Laboratories Digital video transmission system
US5150208A (en) * 1990-10-19 1992-09-22 Matsushita Electric Industrial Co., Ltd. Encoding apparatus
JP2876258B2 (ja) * 1991-01-23 1999-03-31 株式会社リコー デジタル電子スチルカメラ
KR940011605B1 (ko) * 1991-12-20 1994-12-22 삼성전자 주식회사 고정비트율 설정에 의한 영상압축방식
JPH08181987A (ja) * 1994-12-22 1996-07-12 Canon Inc 符号化装置
KR100387229B1 (ko) * 1995-11-01 2003-08-21 삼성전자주식회사 영상부호화장치
KR100355375B1 (ko) * 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
IT1289206B1 (it) * 1996-09-12 1998-09-29 Sgs Thomson Microelectronics Metodo di ricompressione e decompressione adpcm di un flusso di dati digitali costituente un segnale video digitale e stimatore
US6067118A (en) * 1997-12-16 2000-05-23 Philips Electronics North America Corp. Method of frame-by-frame calculation of quantization matrices
JP4099682B2 (ja) * 1998-09-18 2008-06-11 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6658157B1 (en) * 1999-06-29 2003-12-02 Sony Corporation Method and apparatus for converting image information
US7295609B2 (en) * 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP3748261B2 (ja) * 2003-06-17 2006-02-22 沖電気工業株式会社 Ａｄｐｃｍ方式復号器
ES2563295T3 (es) * 2004-01-30 2016-03-14 Panasonic Intellectual Property Corporation Of America Procedimiento de decodificación de imágenes en movimiento que utiliza matrices de cuantificación adicionales
US20050190836A1 (en) * 2004-01-30 2005-09-01 Jiuhuai Lu Process for maximizing the effectiveness of quantization matrices in video codec systems
US7620103B2 (en) * 2004-12-10 2009-11-17 Lsi Corporation Programmable quantization dead zone and threshold for standard-based H.264 and/or VC1 video encoding
US7373009B2 (en) * 2005-02-09 2008-05-13 Lsi Corporation Method and apparatus for efficient transmission and decoding of quantization matrices
JP4737711B2 (ja) * 2005-03-23 2011-08-03 富士ゼロックス株式会社 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
CN101444103B (zh) * 2006-05-17 2013-04-17 富士通株式会社 图像压缩装置、压缩方法、以及图像恢复装置、恢复方法
KR101119970B1 (ko) * 2007-02-05 2012-02-22 삼성전자주식회사 적응적인 양자화 스텝을 이용한 영상의 부호화, 복호화방법 및 장치
US8213498B2 (en) * 2007-05-31 2012-07-03 Qualcomm Incorporated Bitrate reduction techniques for image transcoding
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
JP5502336B2 (ja) * 2009-02-06 2014-05-28 パナソニック株式会社 映像信号符号化装置及び、映像信号符号化方法
MX2012004556A (es) * 2009-10-30 2012-05-08 Panasonic Corp Metodo de descodificacion de imagenes, metodo de codificacion de imagenes, dispositivo descodificador de imagenes, dispositivo codificador de imagenes, programas y circuitos integrados.
US9167252B2 (en) * 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
JP5871628B2 (ja) * 2011-11-07 2016-03-01 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置

Also Published As

Publication number Publication date
US20150043637A1 (en) 2015-02-12
WO2013154028A1 (ja) 2013-10-17

Similar Documents

Publication Publication Date Title
JP6635184B2 (ja) 画像処理装置および方法
WO2013154028A1 (ja) 画像処理装置および方法
JP6296180B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム