JPWO2013094385A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JPWO2013094385A1
JPWO2013094385A1 JP2013550202A JP2013550202A JPWO2013094385A1 JP WO2013094385 A1 JPWO2013094385 A1 JP WO2013094385A1 JP 2013550202 A JP2013550202 A JP 2013550202A JP 2013550202 A JP2013550202 A JP 2013550202A JP WO2013094385 A1 JPWO2013094385 A1 JP WO2013094385A1
Authority
JP
Japan
Prior art keywords
unit
matrix
size
quantization matrix
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013550202A
Other languages
English (en)
Other versions
JP5904212B2 (ja
Inventor
田中　潤一
潤一 田中
央二 中神
央二 中神
義崇 森上
義崇 森上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013550202A priority Critical patent/JP5904212B2/ja
Publication of JPWO2013094385A1 publication Critical patent/JPWO2013094385A1/ja
Application granted granted Critical
Publication of JP5904212B2 publication Critical patent/JP5904212B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本開示は、量子化行列の符号量の増大を抑制することができるようにする画像処理装置および方法に関する。
本開示の画像処理装置は、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を、前記伝送サイズから量子化又は逆量子化の処理単位であるブロックサイズと同じサイズに、アップコンバートするアップコンバート部を備える。本開示は、例えば、画像データを処理する画像処理装置に適用することができる。

Description

本開示は、画像処理装置および方法に関する。
映像符号化方式の標準仕様の１つであるH.264/AVC（Advanced Video Coding）では、High Profile以上のプロファイルにおいて、画像データの量子化の際に、直交変換係数の成分ごとに異なる量子化ステップを用いることができる。直交変換係数の成分ごとの量子化ステップは、直交変換の単位と同等のサイズで定義される量子化行列（スケーリングリストともいう）及び基準のステップ値に基づいて設定され得る。
例えば、イントラ予測モードにおいて変換単位のサイズが４×４である場合、インター予測モードにおいて変換単位のサイズが４×４である場合、イントラ予測モードにおいて変換単位のサイズが８×８である場合、および、インター予測モードにおいて変換単位のサイズが８×８である場合のそれぞれについて、量子化行列の既定値が定められている。また、ユーザは、シーケンスパラメータセット又はピクチャパラメータセットにおいて、既定値とは異なる独自の量子化行列を指定することができる。量子化行列が使用されない場合には、量子化の際に使用される量子化ステップは、全ての成分について等しい値となる。
H.264/AVCに続く次世代の映像符号化方式として標準化が進められているHEVC（High Efficiency Video Coding）では、従来のマクロブロックに相当する符号化単位としてCU（Coding Unit）という概念が導入されている（例えば、非特許文献１参照）。符号化単位のサイズの範囲は、シーケンスパラメータセットにおいて、LCU（LargestCoding Unit）及びSCU（Smallest Coding Unit）という２のべき乗の値の組で指定される。そして、split_flagを用いて、LCU及びSCUで指定された範囲内の具体的な符号化単位のサイズが特定される。
HEVCでは、１つの符号化単位は、１つ以上の直交変換の単位、即ち１つ以上の変換単位（TU（Transform Unit））に分割され得る。変換単位のサイズとしては、４×４、８×８、１６×１６及び３２×３２のいずれかが利用可能である。従って、量子化行列もまた、これら変換単位の候補のサイズごとに指定され得る。
ところで、H.264/AVCでは、１ピクチャ内で１つの変換単位のサイズについて１つの量子化行列のみを指定することが可能であった。これに対して、１ピクチャ内で１つの変換単位のサイズについて複数の量子化行列の候補を指定し、RD（Rate-Distortion）の最適化の観点でブロックごとに適応的に量子化行列を選択することが提案されている（例えば、非特許文献２参照）。
JCTVC-B205, "Test Model under Consideration", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010 VCEG-AD06, "Adaptive Quantization Matrix Selection on KTA Software", ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 30th Meeting: Hangzhou, China, 23 - 24 October, 2006
しかしながら、変換単位のサイズが大きくなれば、対応する量子化行列のサイズも大きくなり、伝送する量子化マトリクスの符号量も大きくなる。さらに、変換単位のサイズが大きくなれば、オーバーヘッドは大きくなり、量子化行列を切り替えることが圧縮効率の観点で問題になる恐れがあった。
本開示は、このような状況に鑑みて提案されたものであり、量子化行列の符号量の増加を抑制することができるようにすることを目的とする。
本開示の一側面は、画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を受け取る受け取り部と、前記受け取り部により受け取られた符号化データを復号処理して量子化データを生成する復号部と、前記受け取り部により受け取られた量子化行列を、前記伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートするアップコンバート部と、前記アップコンバート部によりアップコンバートされた量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部とを備える画像処理装置である。
前記受け取り部により受け取られた量子化行列は、前記伝送サイズとしてデフォルト量子化行列サイズと同じサイズであるようにすることができる。
前記受け取り部により受け取られた量子化行列は、前記伝送サイズとしてデフォルト量子化行列の最大サイズと同じサイズであるようにすることができる。
前記伝送サイズは、８×８であり、前記受け取り部により受け取られた量子化行列は、８×８サイズであるようにすることができる。
前記アップコンバート部は、前記受け取り部により受け取られた量子化行列の行列要素に対して補間処理を行うことにより、前記伝送サイズ以下に制限された量子化行列をアップコンバートすることができる。
前記アップコンバート部は、前記受け取り部により受け取られた量子化行列の行列要素に対して最近傍補間処理を行うことにより、前記伝送サイズ以下に制限された量子化行列をアップコンバートすることができる。
前記伝送サイズは、８×８であり、前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記最近傍補間処理を行うことにより、１６×１６サイズの量子化行列にアップコンバートすることができる。
前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記最近傍補間処理を行うことにより、３２×３２サイズの量子化行列にアップコンバートすることができる。
前記アップコンバート部は、前記伝送サイズ以下に制限された正方の量子化行列の行列要素に対して補間処理を行うことにより、非正方の量子化行列にアップコンバートすることができる。
前記伝送サイズは、８×８であり、前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、８×３２サイズの量子化行列又は３２×８サイズの量子化行列にアップコンバートすることができる。
前記伝送サイズは、８×８であり、前記アップコンバート部は、４×４サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、４×１６サイズの量子化行列又は１６×４サイズの量子化行列にアップコンバートすることができる。
前記伝送サイズは、８×８であり、前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、２×３２サイズの量子化行列、３２×２サイズの量子化行列、１×１６サイズの量子化行列、又は１６×１サイズの量子化行列にアップコンバートすることができる。
復号処理する際の処理単位であるコーディングユニットと変換処理をする際の処理単位であるトランスフォームユニットとが階層構造を有し、前記復号部は、前記符号化データを、階層構造を有する単位で復号処理し、前記アップコンバート部は、前記受け取り部により受け取られた量子化行列を、前記伝送サイズから逆量子化を行う処理単位であるトランスフォームユニットのサイズに、アップコンバートすることができる。
前記量子化行列は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列として設定されており、前記受け取り部は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列を受け取り、前記アップコンバート部は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列を用いて、前記受け取り部により受け取られた量子化行列をアップコンバートすることができる。
前記伝送サイズは、８×８であり、前記アップコンバート部は、逆量子化する際の処理単位であるブロックサイズが１６×１６である場合に、第１の量子化行列をアップコンバートし、逆量子化する際の処理単位であるブロックサイズが３２×３２である場合に、前記第１の量子化行列と行列要素が異なる第２の量子化行列をアップコンバートすることができる。
本開示の一側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置が、画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を受け取り、受け取られた符号化データを復号処理して量子化データを生成し、受け取られた量子化行列を、前記伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートし、アップコンバートされた量子化行列を用いて、生成された量子化データを逆量子化する画像処理方法である。
本開示の他の側面は、伝送の際に許容される最大サイズである伝送サイズから、画像を量子化した量子化データを逆量子化する際の処理単位であるブロックサイズと同じサイズにアップコンバートする際に用いる量子化行列を設定する設定部と、前記設定部により設定された量子化行列を用いて、前記画像を量子化して量子化データを生成する量子化部と、前記量子化部により生成された量子化データを符号化処理して、符号化データを生成する符号化部と、前記符号化部により生成された符号化データと、前記設定部により設定された、前記伝送サイズ以下に制限された量子化行列とを伝送する伝送部とを備える画像処理装置である。
前記伝送サイズは、８×８であり、前記設定部により設定される量子化行列は、８×８であるようにすることができる。
前記量子化行列は、８×８サイズから１６×１６サイズ又は３２×３２サイズにアップコンバートする際に用いる量子化行列であるようにすることができる。
本開示の他の側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置が、伝送の際に許容される最大サイズである伝送サイズから、画像を量子化した量子化データを逆量子化する際の処理単位であるブロックサイズと同じサイズにアップコンバートする際に用いる量子化行列を設定し、設定された量子化行列を用いて、前記画像を量子化して量子化データを生成し、生成された量子化データを符号化処理して、符号化データを生成し、生成された符号化データと、設定された、前記伝送サイズ以下に制限された量子化行列とを伝送する画像処理方法である。
本開示の一側面においては、画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列が受け取られ、受け取られた符号化データが復号処理されて量子化データが生成され、受け取られた量子化行列が、伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートされ、アップコンバートされた量子化行列が用いられて、生成された量子化データが逆量子化される。
本開示の他の側面においては、伝送の際に許容される最大サイズである伝送サイズから、画像を量子化した量子化データを逆量子化する際の処理単位であるブロックサイズと同じサイズにアップコンバートする際に用いる量子化行列が設定され、設定された量子化行列が用いられて、画像が量子化されて量子化データが生成され、生成された量子化データが符号化処理されて、符号化データが生成され、生成された符号化データと、設定された、伝送サイズ以下に制限された量子化行列とが伝送される。
本開示によれば、画像を処理することが出来る。特に、量子化行列の符号量の増加を抑制することができる。
画像符号化装置の主な構成例を示すブロック図である。 直交変換・量子化部の主な構成例を示すブロック図である。 行列処理部の主な構成例を示すブロック図である。 行列処理部の主な構成例を示すブロック図である。 ダウンサンプルの例を説明する図である。 重複部分を削除する様子の例を説明する図である。 量子化行列符号化処理の流れの例を説明するフローチャートである。 シンタクスの例を示す図である。 シンタクスの例を示す図である。 シンタクスの例を示す図である。 シンタクスの例を示す図である。 シンタクスの例を示す図である。 シンタクスの例を示す図である。 量子化スケール設定領域の例を示す図である。 量子化スケール設定領域の例を示す図である。 画像復号装置の主な構成例を示すブロック図である。 逆量子化・逆直交変換部の主な構成例を示すブロック図である。 行列生成部の主な構成例を示すブロック図である。 行列生成部の主な構成例を示すブロック図である。 最近傍補間処理の例を説明する図である。 行列生成処理の流れの例を説明するフローチャートである。 行列処理部の他の構成例を示すブロック図である。 量子化行列符号化処理の流れの、他の例を説明するフローチャートである。 行列生成部の他の構成例を示すブロック図である。 差分行列伝送の様子の例を説明する図である。 アップコンバートの様子の例を説明する図である。 アップコンバートの様子の例を説明する図である。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 階層画像符号化方式の例を示す図である。 本技術を適用した階層画像符号化装置の主な構成例を示す図である。 本技術を適用した階層画像復号装置の主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の主な構成例を示すブロック図である。 モバイル端末器の主な構成例を示すブロック図である。 記録再生機の主な構成例を示すブロック図である。 撮像装置の主な構成例を示すブロック図である。 スケーラブル符号化利用の一例を示すブロック図である。 スケーラブル符号化利用の他の例を示すブロック図である。 スケーラブル符号化利用のさらに他の例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置、画像復号装置）
２．第２の実施の形態（画像符号化装置、画像復号装置）
３．第３の実施の形態（アップコンバート）
４．第４の実施の形態（多視点画像符号化・多視点画像復号装置）
５．第５の実施の形態（階層画像符号化・階層画像復号装置）
６．第６の実施の形態（コンピュータ）
７．第７の実施の形態（テレビジョン受像機）
８．第８の実施の形態（携帯電話機）
９．第９の実施の形態（記録再生装置）
１０．第１０の実施の形態（撮像装置）
１１．スケーラブル符号化の応用例
＜１．第１の実施の形態＞
［１−１．画像符号化装置］
図１は、本開示の一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１に示される画像符号化装置１０は、入力された画像データを符号化し、得られた符号化データを出力する、本技術を適用した画像処理装置である。図１を参照すると、画像符号化装置１０は、A/D（Analogue to Digital）変換部１１（A/D）、並べ替えバッファ１２、減算部１３、直交変換・量子化部１４、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６、イントラ予測部３０、動き探索部４０、及びモード選択部５０を備える。
A/D変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１２へ出力する。
並べ替えバッファ１２は、A/D変換部１１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１２は、符号化処理に係るGOP（Group of Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部１３、イントラ予測部３０、および動き探索部４０へ出力する。
減算部１３には、並べ替えバッファ１２から入力される画像データ、および、後に説明するモード選択部５０により選択される予測画像データが供給される。減算部１３は、並べ替えバッファ１２から入力される画像データとモード選択部５０から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換・量子化部１４へ出力する。
直交変換・量子化部１４は、減算部１３から入力される予測誤差データについて直交変換および量子化を行い、量子化された変換係数データ（以下、量子化データという）を可逆符号化部１６および逆量子化部２１へ出力する。直交変換・量子化部１４から出力される量子化データのビットレートは、レート制御部１８からのレート制御信号に基づいて制御される。直交変換・量子化部１４の詳細な構成について、後にさらに説明する。
可逆符号化部１６には、直交変換・量子化部１４から入力される量子化データ、復号側で量子化行列を生成するための情報、並びに、モード選択部５０により選択されるイントラ予測またはインター予測に関する情報が供給される。イントラ予測に関する情報は、例えば、ブロック毎の最適なイントラ予測モードを示す予測モード情報を含み得る。また、インター予測に関する情報は、例えば、ブロック毎の動きベクトルの予測のための予測モード情報、差分動きベクトル情報、および参照画像情報等を含み得る。さらに、復号側で量子化行列を生成するための情報には、伝送する量子化行列（若しくは、量子化行列とその予測行列との差分行列）の最大サイズを示す識別情報を含み得る。
可逆符号化部１６は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化または算術符号化等であってよい。また、可逆符号化部１６は、後に詳しく説明する量子化行列を生成するための情報を、符号化ストリーム（例えばシーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ等）内に多重化する。さらに、可逆符号化部１６は、上述したイントラ予測またはインター予測に関する情報を、符号化ストリーム内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリ等の記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路（または画像符号化装置１０からの出力線）の帯域に応じたレートで出力する。
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を直交変換・量子化部１４へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
逆量子化部２１は、直交変換・量子化部１４から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとモード選択部５０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４およびフレームメモリ２５へ出力する。
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
フレームメモリ２５は、加算部２３から入力される復号画像データ、および、デブロックフィルタ２４から入力されるフィルタリング後の復号画像データを、記憶媒体を用いて記憶する。
セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部４０に供給する。
イントラ予測部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ、および、セレクタ２６を介して供給される復号画像データ（すなわち参照画像データ）に基づいて、各イントラ予測モードのイントラ予測処理を行う。例えば、イントラ予測部３０は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部３０は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。さらに、イントラ予測部３０は、選択したイントラ予測モードの予測画像データとともに、当該最適なイントラ予測モードを示す予測モード情報やコスト関数値等のイントラ予測に関する情報を、モード選択部５０へ出力する。
動き探索部４０は、並べ替えバッファ１２から入力される符号化対象の画像データ、および、セレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部４０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部４０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部４０は、選択したインター予測モードの予測画像データとともに、当該最適なインター予測モードを示す予測モード情報やコスト関数値等のインター予測に関する情報を、モード選択部５０へ出力する。
モード選択部５０は、イントラ予測部３０から入力されるイントラ予測に関するコスト関数値と動き探索部４０から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部５０は、イントラ予測およびインター予測のうちコスト関数値がより少ない予測手法を選択する。モード選択部５０は、イントラ予測を選択した場合、イントラ予測に関する情報を可逆符号化部１６へ出力するとともに、予測画像データを減算部１３および加算部２３へ出力する。また、モード選択部５０は、インター予測を選択した場合、インター予測に関する情報を可逆符号化部１６へ出力するとともに、予測画像データを減算部１３および加算部２３へ出力する。
［１−２．直交変換・量子化部の構成例］
図２は、図１に示した画像符号化装置１０の直交変換・量子化部１４の詳細な構成の一例を示すブロック図である。図２を参照すると、直交変換・量子化部１４は、選択部１１０、直交変換部１２０、量子化部１３０、量子化行列バッファ１４０、および行列処理部１５０を有する。
（１）選択部
選択部１１０は、サイズの異なる複数の変換単位から、符号化される画像データの直交変換のために使用される変換単位（TU）を選択する。選択部１１０により選択され得る変換単位のサイズの候補は、例えば、H.264／AVC（Advanced Video Coding）では４×４および８×８を含み、HEVC（High Efficiency Video Coding）では４×４、８×８、１６×１６及び３２×３２を含む。選択部１１０は、例えば、符号化される画像のサイズ若しくは画質、または、装置の性能等に応じていずれかの変換単位を選択してよい。選択部１１０による変換単位の選択は、装置を開発するユーザによってハンドチューニングされてもよい。そして、選択部１１０は、選択した変換単位のサイズを指定する情報を、直交変換部１２０、量子化部１３０、可逆符号化部１６、および逆量子化部２１へ出力する。
（２）直交変換部
直交変換部１２０は、選択部１１０により選択された変換単位で、減算部１３から供給される画像データ（即ち、予測誤差データ）を直交変換する。直交変換部１２０により実行される直交変換は、例えば、離散コサイン変換（DCT（Discrete Cosine Transform））またはカルーネン・レーベ変換などであってよい。そして、直交変換部１２０は、直交変換処理により取得される変換係数データを量子化部１３０へ出力する。
（３）量子化部
量子化部１３０は、選択部１１０により選択された変換単位に対応する量子化行列を用いて、直交変換部１２０により生成された変換係数データを量子化する。また、量子化部１３０は、レート制御部１８からのレート制御信号に基づいて量子化ステップを切替えることにより、出力される量子化データのビットレートを変化させる。
また、量子化部１３０は、選択部１１０により選択され得る複数の変換単位にそれぞれ対応する量子化行列のセットを、量子化行列バッファ１４０に記憶させる。例えば、HEVCのように４×４、８×８、１６×１６及び３２×３２という４種類のサイズの変換単位の候補が存在する場合、これら４種類のサイズにそれぞれ対応する４種類の量子化行列のセットが、量子化行列バッファ１４０により記憶され得る。なお、あるサイズについて既定の量子化行列が使用される場合、既定の量子化行列が使用されること（ユーザにより定義された量子化行列を使用しないこと）を示すフラグのみが、当該サイズと関連付けて量子化行列バッファ１４０により記憶されるようにしてもよい。
量子化部１３０により使用される可能性のある量子化行列のセットは、典型的には、符号化ストリームのシーケンス毎に設定され得る。また、量子化部１３０は、シーケンス毎に設定した量子化行列のセットを、ピクチャ毎に更新してもよい。このような量子化行列のセットの設定および更新を制御するための情報は、例えば、シーケンスパラメータセットおよびピクチャパラメータセットに挿入され得る。
（４）量子化行列バッファ
量子化行列バッファ１４０は、半導体メモリなどの記憶媒体を用いて、選択部１１０により選択され得る複数の変換単位にそれぞれ対応する量子化行列のセットを一時的に記憶する。量子化行列バッファ１４０により記憶される量子化行列のセットは、次に説明する行列処理部１５０による処理に際して参照される。
（５）行列処理部
行列処理部１５０は、符号化ストリームのシーケンス毎およびピクチャ毎に、量子化行列バッファ１４０に記憶されている量子化行列のセットを参照し、ある１つのサイズの変換単位に対応する量子化行列から他の１つ以上のサイズの変換単位に対応する量子化行列を生成するための情報を生成する。量子化行列の生成の基礎となる変換単位のサイズは、典型的には、複数の変換単位のサイズのうち最小のサイズであってよい。即ち、HEVCのように４×４、８×８、１６×１６、および３２×３２という４種類のサイズの変換単位の候補が存在する場合、例えば４×４の量子化行列から他のサイズの量子化行列を生成するための情報が生成され得る。行列処理部１５０により生成される情報は、例えば、後に説明する基礎行列情報および差分行列情報を含み得る。そして、行列処理部１５０により生成された情報は、可逆符号化部１６へ出力され、符号化ストリームのヘッダ内に挿入され得る。
なお、本明細書では、主に最小のサイズの量子化行列からより大きいサイズの量子化行列が生成される例について説明する。しかしながら、かかる例に限定されず、最小ではないサイズの量子化行列から、より小さいサイズの量子化行列、および、より大きいサイズの量子化行列のうち、少なくともいずれか一方が生成されるようにしてもよい。
［１−３．行列処理部の詳細な構成例］
図３は、図２に示した直交変換・量子化部１４の行列処理部１５０のさらに詳細な構成の一例を示すブロック図である。図３を参照すると、行列処理部１５０は、予測部１５２及び差分演算部１５４を含む。
（１）予測部
予測部１５２は、量子化行列バッファ１４０に記憶されている量子化行列のセットを取得し、取得したセットに含まれる第１の量子化行列からより大きいサイズの第２の量子化行列を予測する（予測行列（予測量子化行列とも称する）を生成する）。
予測部１５２は、４×４の量子化行列SL1から予測行列PSL2を生成すると、生成した予測行列PSL2を差分演算部１５４へ出力する。また、予測部１５２は、例えば、量子化行列のセットに含まれる８×８の量子化行列SL2から１６×１６の予測行列PSL3を予測し、予測行列PSL3を差分演算部１５４へ出力する。さらに、予測部１５２は、量子化行列のセットに含まれる１６×１６の量子化行列SL3から３２×３２の予測行列PSL4を予測し、予測行列PSL4を差分演算部１５４へ出力する。また、予測部１５２は、上述した予測行列PSL2、PSL3、およびPSL4の生成の基礎とした４×４の量子化行列SL1を特定する基礎行列情報を、可逆符号化部１６へ出力する。
（２）差分演算部
差分演算部１５４は、予測部１５２から入力される予測行列PSL2、PSL3、およびPSL4と対応する量子化行列SL2、SL3、およびSL4との差分（残差とも称する）を表す差分行列（残差行列とも称する）DSL2、DSL3、およびDSL4を算出する。
そして、差分演算部１５４は、これら差分行列DSL2、DSL3、およびDSL4を表す差分行列情報を可逆符号化部１６へ出力する。
なお、行列処理部１５０は、あるサイズについて既定の量子化行列が使用される場合、当該サイズの量子化行列の予測と差分演算とを実行することなく、既定の量子化行列が使用されることを示すフラグのみを、対応するサイズと関連付けて可逆符号化部１６へ出力する。また、差分演算部１５４は、予測行列と量子化行列との差分がゼロである場合、差分行列情報を出力する代わりに、差分が存在しないことを示すフラグのみを可逆符号化部１６へ出力し得る。また、行列処理部１５０は、ピクチャの切り替わりのタイミングで量子化行列が更新されない場合、量子化行列が更新されないことを示すフラグのみを可逆符号化部１６へ出力し得る。
［１−４．行列処理部の詳細な構成例］
図４は、行列処理部１５０のさらに詳細な構成の一例を示すブロック図である。図４を参照すると、行列処理部１５０は、予測部１６１、差分行列生成部１６２、差分行列サイズ変換部１６３、エントロピ符号化部１６４、復号部１６５、および出力部１６６を有する。
本技術の重要な点は、符号化側において、サイズの大きい（例えば３２×３２）量子化行列に対して、小さいサイズ（例えば１６×１６）で残差行列（残差信号）を生成・伝送し、復号側において、小さいサイズの残差行列を拡大（アップサンプリング）してから予測量子化行列に加算することである。
アプローチとしては以下が考えられる。
アプローチ１：
閾値となる最大の量子化行列を伝送して、それ以上の大きさの場合はアップサンプリングする手法である。この手法を用いると、デコーダが保持する最大の量子化行列が規定できるので使用メモリを削減できる。この場合、最大のサイズを示す識別情報をエンコーダ側から伝送して、デコーダ側で利用してもよい。また、規格のレベル又はプロファイルに応じて最大サイズが規定されるようにしてもよい（例えば、高いプロファイル・レベルほどサイズを大きく規定する）。
アプローチ２：
量子化行列ごとにアップサンプリングするかを示す識別情報、アップサンプリングする階層を伝送する。この手法を用いると、アップサンプリングしない場合は、デコーダは最大サイズの量子化行列をサポートする必要があるが、圧縮の応用例として適用することができる。
予測部１６１は、予測行列を生成する。図４に示されるように、予測部１６１は、コピー部１７１および予測行列生成部１７２を有する。
コピーモードの場合、コピー部１７１は、過去に伝送した量子化行列を複製し、それを予測行列とする（処理対象の直交変換単位の量子化行列を予測する）。より具体的には、コピー部１７１は、過去に伝送した量子化行列のサイズとリストID（ListID）を復号部１６５の記憶部２０２から取得する。サイズは、量子化行列の大きさ（例えば４×４乃至３２×３２等）を示す情報である。リストIDは、量子化の対象となる予測誤差データの種類を示す情報である。
例えば、リストIDは、その量子化対象が、イントラ予測された予測画像を用いて生成される輝度成分の予測誤差データ（IntraLuma）であるか、イントラ予測された予測画像を用いて生成される色差成分（Cr）の予測誤差データ（IntraCr）であるか、イントラ予測された予測画像を用いて生成される色差成分（Cb）の予測誤差データ（IntraCb）であるか、若しくは、インター予測された予測画像を用いて生成される輝度成分の予測誤差データ（InterLuma）であるかを示す識別情報を含む。
コピー部１７１は、行列処理部１５０に入力された量子化行列（処理対象の直交変換単位の量子化行列）と同じサイズの過去に伝送した量子化行列を複製対象として選択し、その複製対象とする量子化行列のリストIDを出力部１６６に供給し、行列処理部１５０の外部（可逆符号化部１６や逆量子化部２１）に出力させる。つまり、この場合、過去に伝送した量子化行列を複製して生成した予測行列を示す情報として、ListIDのみが復号側に伝送される（符号化データに含められる）ので、画像符号化装置１０は、量子化行列の符号量の増大を抑制することができる。
また通常の場合、予測行列生成部１７２は、過去に伝送した量子化行列を復号部１６５の記憶部２０２から取得し、その量子化行列を用いて予測行列を生成する（処理対象の直交変換単位の量子化行列を予測する）。予測行列生成部１７２は、生成した予測行列を差分行列生成部１６２に供給する。
差分行列生成部１６２は、予測部１６１（予測行列生成部１７２）から供給された予測行列と、行列処理部１５０に入力される量子化行列との差分である差分行列（残差行列）を生成する。図４に示されるように、差分行列生成部１６２は、予測行列サイズ変換部１８１、演算部１８２、および量子化部１８３を有する。
予測行列サイズ変換部１８１は、予測行列生成部１７２から供給される予測行列のサイズを、行列処理部１５０に入力される量子化行列のサイズに合わせるように変換（以下、コンバートとも称する）する。
例えば、予測行列のサイズが量子化行列のサイズより大きい場合、予測行列サイズ変換部１８１は、予測行列を縮小変換（以下、ダウンコンバートとも称する）する。より具体的には、例えば、予測行列が１６×１６であり、量子化行列が８×８の場合、予測行列サイズ変換部１８１は、予測行列を８×８にダウンコンバートする。なお、このダウンコンバートの方法は、任意である。例えば、予測行列サイズ変換部１８１が、フィルタを用いて（演算により）予測行列の要素の数を減らすようにしてもよい（以下、ダウンサンプルとも称する）。また、例えば図５に示されるように、予測行列サイズ変換部１８１が、フィルタを用いずに、一部の要素（例えば、２次元の要素の偶数部分（図５の黒部分）のみ）を間引くことにより、予測行列の要素の数を減らすようにしてもよい（以下、サブサンプルとも称する）。
また、例えば、予測行列のサイズが量子化行列のサイズより小さい場合、予測行列サイズ変換部１８１は、予測行列を拡大変換（以下、アップコンバートとも称する）する。より具体的には、例えば、予測行列が８×８であり、量子化行列が１６×１６の場合、予測行列サイズ変換部１８１は、予測行列を１６×１６にアップコンバートする。なお、このアップコンバートの方法は、任意である。例えば、予測行列サイズ変換部１８１が、フィルタを用いて（演算により）予測行列の要素の数を増やすようにしてもよい（以下、アップサンプルとも称する）。また、例えば、予測行列サイズ変換部１８１が、フィルタを用いずに、予測行列の各要素を複製することにより、予測行列の要素の数を増やすようにしてもよい（以下、逆サブサンプルとも称する）。
予測行列サイズ変換部１８１は、サイズを量子化行列に合わせた予測行列を演算部１８２に供給する。
演算部１８２は、予測行列サイズ変換部１８１から供給される予測行列から、行列処理部１５０に入力された量子化行列を減算し、差分行列（残差行列）を生成する。演算部１８２は、算出した差分行列を量子化部１８３に供給する。
量子化部１８３は、演算部１８２から供給された差分行列を量子化する。量子化部１８３は、その差分行列の量子化結果を、差分行列サイズ変換部１６３に供給する。また、量子化部１８３は、この量子化に用いた量子化パラメータ等の情報を、出力部１６６に供給し、行列処理部１５０の外部（可逆符号化部１６や逆量子化部２１）に出力させる。なお、この量子化部１８３を省略する（つまり、差分行列の量子化を行わない）ようにしてもよい。
差分行列サイズ変換部１６３は、差分行列生成部１６２（量子化部１８３）から供給される差分行列（量子化データ）のサイズを、必要に応じて、伝送の際に許容される最大サイズ（以下、伝送サイズとも称する）以下にコンバートする。この最大サイズは、任意であるが、例えば、８×８である。
画像符号化装置１０から出力される符号化データは、例えば、伝送路や記憶媒体を介して、画像符号化装置１０に対応する画像復号装置に伝送され、その画像復号装置により復号される。画像符号化装置１０においては、このような伝送における、すなわち、画像符号化装置１０から出力される符号化データにおける、差分行列（量子化データ）のサイズの上限（最大サイズ）が設定されている。
差分行列サイズ変換部１６３は、差分行列のサイズが、この最大サイズより大きい場合、最大サイズ以下となるように、差分行列をダウンコンバートする。
なお、このダウンコンバートの方法は、上述した予測行列のダウンコンバートの場合と同様に任意である。例えば、フィルタ等を用いるダウンサンプルであってもよいし、要素を間引くサブサンプルであってもよい。
また、ダウンコンバート後の差分行列のサイズは、最大サイズより小さければどのサイズであってもよい。ただし、一般的には、コンバート前後のサイズ差が大きいほど誤差が大きくなるので、最大サイズにダウンコンバートするのが望ましい。
差分行列サイズ変換部１６３は、ダウンコンバートした差分行列を、エントロピ符号化部１６４に供給する。なお、差分行列のサイズが最大サイズより小さい場合、このダウンコンバートは不要であるので、差分行列サイズ変換部１６３は、入力された差分行列をそのままエントロピ符号化部１６４に供給する（つまり、ダウンコンバートが省略される）。
エントロピ符号化部１６４は、差分行列サイズ変換部１６３から供給された差分行列（量子化データ）を所定の方法で符号化する。図４に示されるようにエントロピ符号化部１６４は、重複判定部(135degree部)１９１、DPCM（Differential Pulse Code Modulation）部１９２、およびexpG部１９３を有する。
重複判定部１９１は、差分行列サイズ変換部１６３から供給された差分行列の対称性を判定し、残差が１３５度の対象行列である場合、例えば図６に示されるように、重複しているデータである対称部分のデータ（行列要素）を削除する。残差が１３５度の対象行列でない場合、重複判定部１９１は、このデータ（行列要素）の削除を省略する。重複判定部１９１は、必要に応じて対称部分が削除された差分行列のデータを、DPCM部１９２に供給する。
DPCM部１９２は、重複判定部１９１から供給された、必要に応じて対称部分が削除された差分行列のデータをDPCM符号化し、DPCMデータを生成する。DPCM部１９２は、生成したDPCMデータを、expG部１９３に供給する。
expG部１９３は、DPCM部１９２から供給されるDPCMデータに対して、符号つき・符号なしのexponential golomb符号（以下、拡張ゴロム符号とも称する）を行う。expG部１９３は、その符号化結果を復号部１６５および出力部１６６に供給する。
復号部１６５は、expG部１９３から供給されるデータから、量子化行列を復元する。復号部１６５は、復元した量子化行列に関する情報を、過去に伝送した量子化行列として、予測部１６１に供給する。
図４に示されるように、復号部１６５は、量子化行列復元部２０１および記憶部２０２を有する。
量子化行列復元部２０１は、エントロピ符号化部１６４（expG部１９３）から供給される拡張ゴロム符号を復号し、行列処理部１５０に入力される量子化行列を復元する。例えば、量子化行列復元部２０１は、拡張ゴロム符号をエントロピ符号化部１６４の符号化方法に対応する方法で復号し、差分行列サイズ変換部１６３によるサイズ変換の逆変換を行い、量子化部１８３による量子化に対応する逆量子化を行い、得られた差分行列を、予測行列から減算することにより、量子化行列を復元する。
量子化行列復元部２０１は、復元した量子化行列を記憶部２０２に供給し、そのサイズやリストIDと関連付けて記憶させる。
記憶部２０２は、量子化行列復元部２０１から供給される量子化行列に関する情報を記憶する。この記憶部２０２に記憶される量子化行列に関する情報は、時間的に後に処理される他の直交変換単位の予測行列生成に利用される。つまり、記憶部２０２は、記憶している量子化行列に関する情報を、過去に伝送した量子化行列に関する情報として、予測部１６１に供給する。
なお、記憶部２０２は、このように復元された量子化行列に関する情報を記憶する代わりに、行列処理部１５０に入力される量子化行列を、そのサイズやリストIDと関連付けて記憶するようにしてもよい。その場合、量子化行列復元部２０１を省略することができる。
出力部１６６は、供給される各種情報を行列処理部１５０の外部に出力する。例えば、コピーモードの場合、出力部１６６は、コピー部１７１から供給される予測行列のリストIDを、可逆符号化部１６および逆量子化部２１に供給する。また、例えば、通常の場合、出力部１６６は、expG部１９３から供給される拡張ゴロム符号、および、量子化部１８３から供給される量子化パラメータを、可逆符号化部１６および逆量子化部２１に供給する。
また、出力部１６６は、量子化行列（量子化行列とその予測行列との差分行列）の伝送の際に許容される最大サイズ（伝送サイズ）を示す識別情報を、復号側で量子化行列を生成するための情報として可逆符号化部１６に供給する。可逆符号化部１６は、上述したように、その量子化行列を生成するための情報を符号化ストリームに含め、復号側に提供する。なお、この伝送サイズを示す識別情報をレベルやプロファイル等によって予め規定するようにしてもよい。その場合、その伝送サイズに関する情報が、符号化側の装置と復号側の装置とで予め共有されるので、上述した識別情報の伝送を省略することができる。
以上のように、行列処理部１５０が、伝送する量子化行列（差分行列）のサイズを伝送サイズ以下にダウンコンバートするので、画像符号化装置１０は、量子化行列の符号量の増加を抑制することができる。
［１−５．量子化行列符号化処理の流れ］
次に、図７のフローチャートを参照して、図４の行列処理部１５０により実行される量子化行列符号化処理の流れの例を説明する。
量子化行列符号化処理が開始されると、ステップＳ１０１において、予測部１６１は、処理対象の直交変換単位であるカレント領域（注目領域とも称する）の量子化行列を取得する。
ステップＳ１０２において、予測部１６１は、コピーモードであるか否かを判定する。コピーモードでないと判定した場合、予測部１６１は、処理をステップＳ１０３に進める。
ステップＳ１０３において、予測行列生成部１７２は、過去に伝送された量子化行列を、記憶部２０２から取得し、その量子化行列を用いて、予測行列を生成する。
ステップＳ１０４において、予測行列サイズ変換部１８１は、ステップＳ１０３において生成された予測行列のサイズが、ステップＳ１０１において取得されたカレント領域（注目領域）の量子化行列と異なるか否かを判定する。サイズが異なると判定した場合、予測行列サイズ変換部１８１は、処理をステップＳ１０５に進める。
ステップＳ１０５において、予測行列サイズ変換部１８１は、ステップＳ１０３において生成された予測行列のサイズを、ステップＳ１０１において取得されたカレント領域の量子化行列のサイズにコンバートする。
ステップＳ１０５の処理が終了すると、予測行列サイズ変換部１８１は、処理をステップＳ１０６に進める。また、ステップＳ１０４において、予測行列のサイズと量子化行列のサイズが同一であると判定した場合、予測行列サイズ変換部１８１は、ステップＳ１０５の処理を省略し（ステップＳ１０５の処理を行わずに）、処理をステップＳ１０６に進める。
ステップＳ１０６において、演算部１８２は、予測行列から量子化行列を減算し、予測行列と量子化行列の差分行列を算出する。
ステップＳ１０７において、量子化部１８３は、ステップＳ１０６において生成された差分行列を量子化する。なお、この処理は省略するようにしてもよい。
ステップＳ１０８において、差分行列サイズ変換部１６３は、量子化された差分行列のサイズが伝送サイズ（伝送の際に許容される最大サイズ）より大きいか否かを判定する。伝送サイズより大きいと判定した場合、差分行列サイズ変換部１６３は、処理をステップＳ１０９に進め、差分行列を伝送サイズ以下にダウンコンバートする。
ステップＳ１０９の処理を終了すると、差分行列サイズ変換部１６３は、処理をステップＳ１１０に進める。また、ステップＳ１０８において、量子化された差分行列のサイズが伝送サイズ以下であると判定した場合、差分行列サイズ変換部１６３は、ステップＳ１０９の処理を省略し（ステップＳ１０９の処理を行わずに）、処理をステップＳ１１０に進める。
ステップＳ１１０において、重複判定部１９１は、量子化された差分行列が、１３５度の対称性を有するか否かを判定する。１３５度の対称性を有すると判定した場合、重複判定部１９１は、処理をステップＳ１１１に進める。
ステップＳ１１１において、重複判定部１９１は、量子化された差分行列の重複部分（重複データ）を削除する。重複データを削除すると、重複判定部１９１は、処理をステップＳ１１２に進める。
また、ステップＳ１１０において、量子化された差分行列が１３５度の対称性を有さないと判定した場合、重複判定部１９１は、ステップＳ１１１の処理を省略し（ステップＳ１１１の処理を行わずに）、処理をステップＳ１１２に進める。
ステップＳ１１２において、DPCM部１９２は、適宜重複部分が削除された差分行列をDPCM符号化する。
ステップＳ１１３において、expG部１９３は、ステップＳ１１２において生成されたDPCMデータに、正負を表す符号が存在するか否かを判定する。符号が存在すると判定した場合、expG部１９３は、処理をステップＳ１１４に進める。
ステップＳ１１４において、expG部１９３は、DPCMデータに対して、符号付きの拡張ゴロム符号化を行う。出力部１６６は、生成された拡張ゴロム符号を、可逆符号化部１６および逆量子化部２１に出力する。ステップＳ１１４の処理が終了すると、expG部１９３は、処理をステップＳ１１６に進める。
また、ステップＳ１１３において、符号が存在しないと判定した場合、expG部１９３は、処理をステップＳ１１５に進める。
ステップＳ１１５において、expG部１９３は、DPCMデータに対して、符号無しの拡張ゴロム符号化を行う。出力部１６６は、生成された拡張ゴロム符号を、可逆符号化部１６および逆量子化部２１に出力する。ステップＳ１１５の処理が終了すると、expG部１９３は、処理をステップＳ１１６に進める。
また、ステップＳ１０２において、コピーモードであると判定した場合、コピー部１７１は、過去に伝送された量子化行列を複製してそれを予測行列とする。出力部１６６は、その予測行列に対応するリストIDを、予測行列を示す情報として、可逆符号化部１６および逆量子化部２１に出力する。そして、コピー部１７１は、処理をステップＳ１１６に進める。
ステップＳ１１６において、量子化行列復元部２０１は、量子化行列を復元する。ステップＳ１１７において、記憶部２０２は、ステップＳ１１６において復元された量子化行列を記憶する。
ステップＳ１１７の処理が終了すると、行列処理部１５０は、量子化行列符号化処理を終了する。
行列処理部１５０が、以上のように処理を行うことにより、画像符号化装置１０は、量子化行列の符号量の増加を抑制することができる。
［１−６．シンタクス］
図８乃至図１３は、本技術を適用した場合の、シンタクスの例を示す図である。図８乃至図１３に示されるように、量子化行列に関する各種パラメータやフラグが、例えば、符号化データに付加されて復号側に伝送される。なお、これらの情報を付加する符号化データの位置は任意である。また、これらの情報を、符号化データとは独立して復号側に伝送させるようにしても良い。
［１−７．量子化スケール］
ここで図１２に記載の第１量子化スケール乃至第４量子化スケールについて説明する。４種類の量子化スケール（Qscale0乃至Qscale3）が特定される。これら量子化スケールは、量子化行列の各要素の値を量子化して符号量をより少なくするために採用され得るパラメータである。
より具体的には、例えば、８×８の量子化行列に対して、図１４および図１５に示されるような４つの量子化スケール設定領域Ａ１乃至Ａ４が定義される。量子化スケール設定領域Ａ１は、DC成分を含む低域信号に対応する要素群のための領域である。
量子化スケール設定領域Ａ２およびＡ３は、それぞれ中間域の信号に対応する要素群のための領域である。量子化スケール設定領域Ａ４は、高域信号に対応する要素群のための領域である。このような領域毎に、量子化行列の要素の値を量子化するための量子化スケールが設定され得る。
例えば、図１５を参照すると、量子化スケール設定領域Ａ１についての第１の量子化スケール（Qscale0）は"１"である。これは、低域信号に対応する要素群については量子化行列の値が量子化されないことを意味する。
これに対して、量子化スケール設定領域Ａ２についての第２の量子化スケール（Qscale1）は"２"である。量子化スケール設定領域Ａ３についての第３の量子化スケール（Qscale2）は"３"である。量子化スケール設定領域Ａ４についての第４の量子化スケール（Qscale3）は"４"である。量子化スケールが大きくなるほど、量子化により生じる誤差は増加する。
しかしながら、一般的に、高域信号については、ある程度の誤差が許容され得る。従って、高い符号化効率を達成することが望まれる場合、量子化行列の量子化のためのこのような量子化スケールの設定によって、量子化行列の定義に要する符号量を、画質を大きく劣化させることなく効果的に削減することができる。
なお、図１４および図１５に示した量子化スケール設定領域の配置は一例に過ぎない。例えば、量子化行列のサイズごとに異なる数の量子化スケール設定領域が定義されてもよい（例えば、サイズが大きいほど多くの量子化スケール設定領域を定義され得る）。
また、量子化スケール設定領域の境界の位置も図１４の例に限定されない。通常、量子化行列を一次元化する際のスキャンパターンはジグザグスキャンである。そのため、図１４に示したような右上から左下にかけての斜めの領域境界が用いられることが好ましい。
しかしながら、量子化行列の要素間の相関、または、使用されるスキャンパターン等に応じて、縦方向または横方向に沿った領域境界が用いられてもよい。つまり、領域境界の傾斜の角度は任意であり、複数の候補の中から所望の角度の傾斜パターンが選択されるようにしてもよい。さらに、量子化スケール設定領域の配置（領域の数及び境界の位置や傾斜等）は、符号化効率の観点で適応的に選択されてもよい。例えば、フラットに近い量子化行列が定義される場合、より少ない数の量子化スケール設定領域が選択されてもよい。
次に、本開示の一実施形態に係る画像復号装置の構成例について説明する。
［１−８．画像復号装置の全体的な構成例］
図１６は、本開示の一実施形態に係る画像復号装置３００の構成の一例を示すブロック図である。図１６に示される画像復号装置３００は、画像符号化装置１０により生成された符号化データを復号する、本技術を適用した画像処理装置である。図１６を参照すると、画像復号装置３００は、蓄積バッファ３１１、可逆復号部３１２、逆量子化・逆直交変換部３１３、加算部３１５、デブロックフィルタ３１６、並べ替えバッファ３１７、D/A（Digital to Analogue）変換部３１８、フレームメモリ３１９、セレクタ３２０及び３２１、イントラ予測部３３０、並びに動き補償部３４０を有する。
蓄積バッファ３１１は、伝送路を介して入力される符号化ストリームを、記憶媒体を用いて一時的に蓄積する。
可逆復号部３１２は、蓄積バッファ３１１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部３１２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、上述した量子化行列を生成するための基礎行列情報および差分行列情報、並びにブロックヘッダ内のイントラ予測に関する情報およびインター予測に関する情報を含み得る。可逆復号部３１２は、復号後の量子化データおよび量子化行列を生成するための情報を、逆量子化・逆直交変換部３１３へ出力する。また、可逆復号部３１２は、イントラ予測に関する情報をイントラ予測部３３０へ出力する。また、可逆復号部３１２は、インター予測に関する情報を動き補償部３４０へ出力する。
逆量子化・逆直交変換部３１３は、可逆復号部３１２から入力される量子化データについて逆量子化および逆直交変換を行うことにより、予測誤差データを生成する。そして、逆量子化・逆直交変換部３１３は、生成した予測誤差データを加算部３１５へ出力する。
加算部３１５は、逆量子化・逆直交変換部３１３から入力される予測誤差データと、セレクタ３２１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部３１５は、生成した復号画像データをデブロックフィルタ３１６およびフレームメモリ３１９へ出力する。
デブロックフィルタ３１６は、加算部３１５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並べ替えバッファ３１７およびフレームメモリ３１９へ出力する。
並べ替えバッファ３１７は、デブロックフィルタ３１６から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ３１７は、生成した画像データをD/A変換部３１８へ出力する。
D/A変換部３１８は、並べ替えバッファ３１７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、D/A変換部３１８は、例えば、画像復号装置３００と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
フレームメモリ３１９は、加算部３１５から入力されるフィルタリング前の復号画像データ、および、デブロックフィルタ３１６から入力されるフィルタリング後の復号画像データを、記憶媒体を用いて記憶する。
セレクタ３２０は、可逆復号部３１２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ３１９からの画像データの出力先をイントラ予測部３３０と動き補償部３４０との間で切り替える。例えば、セレクタ３２０は、イントラ予測モードが指定された場合、フレームメモリ３１９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部３３０へ出力する。また、セレクタ３２０は、インター予測モードが指定された場合、フレームメモリ３１９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部３４０へ出力する。
セレクタ３２１は、可逆復号部３１２により取得されるモード情報に応じて、画像内のブロックごとに、加算部３１５へ供給すべき予測画像データの出力元をイントラ予測部３３０と動き補償部３４０との間で切り替える。例えば、セレクタ３２１は、イントラ予測モードが指定された場合、イントラ予測部３３０から出力される予測画像データを加算部３１５へ供給する。セレクタ３２１は、インター予測モードが指定された場合、動き補償部３４０から出力される予測画像データを加算部３１５へ供給する。
イントラ予測部３３０は、可逆復号部３１２から入力されるイントラ予測に関する情報とフレームメモリ３１９からの参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部３３０は、生成した予測画像データをセレクタ３２１へ出力する。
動き補償部３４０は、可逆復号部３１２から入力されるインター予測に関する情報とフレームメモリ３１９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部３４０は、生成した予測画像データをセレクタ３２１へ出力する。
［１−９．逆量子化・逆直交変換部の構成例］
図１７は、図１６に示した画像復号装置３００の逆量子化・逆直交変換部３１３の主な構成の一例を示すブロック図である。図１７を参照すると、逆量子化・逆直交変換部３１３は、行列生成部４１０、選択部４３０、逆量子化部４４０、および逆直交変換部４５０を有する。
（１）行列生成部
行列生成部４１０は、符号化ストリームのシーケンス毎およびピクチャ毎に、ある１つのサイズの変換単位に対応する量子化行列から、他の１つ以上のサイズの変換単位に対応する量子化行列を生成する。量子化行列の生成の基礎となる変換単位のサイズは、典型的には、複数の変換単位のサイズのうち最小のサイズであってよい。本実施形態では、行列生成部４１０は、最小のサイズである４×４の量子化行列から、より大きいサイズについての差分行列情報を用いて、８×８、１６×１６及び３２×３２の量子化行列を生成する。
（２）選択部
選択部４３０は、サイズの異なる複数の変換単位から、復号される画像データの逆直交変換のために使用される変換単位（TU）を選択する。選択部４３０により選択され得る変換単位のサイズの候補は、例えば、H.264/AVCでは４×４および８×８を含み、HEVCでは４×４、８×８、１６×１６、および３２×３２を含む。選択部４３０は、例えば、符号化ストリームのヘッダ内に含まれるLCU、SCU、およびsplit_flagに基づいて、変換単位を選択してもよい。そして、選択部４３０は、選択した変換単位のサイズを指定する情報を、逆量子化部４４０および逆直交変換部４５０へ出力する。
（３）逆量子化部
逆量子化部４４０は、選択部４３０により選択された変換単位に対応する量子化行列を用いて、画像の符号化の際に量子化された変換係数データを逆量子化する。ここで逆量子化処理のために用いられる量子化行列は、行列生成部４１０により生成される行列を含む。即ち、例えば選択部４３０により８×８、１６×１６、または３２×３２の変換単位が選択された場合、選択された変換単位に対応する量子化行列として、行列生成部４１０により４×４の量子化行列から生成された量子化行列が用いられ得る。そして、逆量子化部４４０は、逆量子化した変換係数データを逆直交変換部４５０へ出力する。
（４）逆直交変換部
逆直交変換部４５０は、符号化の際に使用された直交変換方式に従い、逆量子化部４４０により逆量子化された変換係数データを上記選択された変換単位で逆直交変換することにより、予測誤差データを生成する。そして、逆直交変換部４５０は、生成した予測誤差データを加算部３１５へ出力する。
［１−１０．行列生成部の構成例］
図１８は、図１７に示した逆量子化・逆直交変換部３１３の行列生成部４１０のさらに詳細な構成の一例を示すブロック図である。図１８を参照すると、行列生成部４１０は、基礎行列取得部５１２、差分取得部５１４、予測部５１６、再構築部５１８、および量子化行列バッファ５２０を有する。
（１）基礎行列取得部
基礎行列取得部５１２は、可逆復号部３１２から入力される基礎行列情報を取得する。本実施形態において、基礎行列情報は、上述したように、例えば、最小のサイズである４×４（または８×８）の量子化行列SL1を特定する情報である。そして、基礎行列取得部５１２は、取得した基礎行列情報から特定される４×４の量子化行列SL1を量子化行列バッファ５２０に記憶させる。なお、基礎行列取得部５１２は、シーケンス毎またはピクチャ毎に取得される行列種別フラグが「０」であれば、基礎行列情報を取得することなく、既定の４×４の量子化行列を量子化行列バッファ５２０に記憶させる。また、基礎行列取得部５１２は、ピクチャ毎に取得される更新フラグが「０」であれば、以前の処理によって量子化行列バッファ５２０に記憶させた量子化行列SL1を更新しない。また、基礎行列取得部５１２は、４×４の量子化行列SL1を予測部５１６へ出力する。
（２）差分取得部
差分取得部５１４は、可逆復号部３１２から入力される差分行列情報（残差行列情報）を取得する。本実施形態において、差分行列情報は、上述したように、４×４の量子化行列SL1から予測される予測行列PSL2、PSL3、およびPSL4と量子化行列SL2、SL3、およびSL4との差分を表す差分行列DSL2、DSL3、およびDSL4を特定する情報である。差分取得部５１４は、差分行列情報により特定される差分行列DSL2、DSL3、およびDSL4を、再構築部５１８へ出力する。なお、差分取得部５１４は、シーケンス毎またはピクチャ毎に取得される行列種別フラグが「０」であるか、若しくは、差分フラグが「０」であれば、差分行列情報を取得することなく、対応するサイズの差分行列をゼロ行列とする。また、差分取得部５１４は、ピクチャ毎に取得される更新フラグが「０」であれば、対応するサイズについて差分行列を出力しない。
（３）予測部
予測部５１６は、基礎行列取得部５１２から入力される基礎行列、即ち本実施形態においては４×４の量子化行列SL1から、より大きいサイズの８×８の予測行列PSL2を算出する。また、予測部５１６は、算出された８×８の予測行列PSL2を用いて再構築部５１８により再構築される量子化行列SL2から、１６×１６の予測行列PSL3を算出する。さらに、予測部５１６は、算出された１６×１６の予測行列PSL3を用いて再構築部５１８により再構築される量子化行列SL3から、３２×３２の予測行列PSL4を算出する。予測部５１６は、予測行列PSL2、PSL3、およびPSL4をそれぞれ再構築部５１８へ出力する。なお、予測部５１６は、行列種別フラグが「０」であるサイズについては予測行列を生成せず、より大きいサイズの予測行列の算出のために、既定の量子化行列を使用する。また、基礎行列取得部５１２は、更新フラグが「０」であるサイズについても予測行列を生成せず、より大きいサイズの予測行列の算出のために、以前の処理で生成された量子化行列を使用する。
（４）再構築部
再構築部５１８は、予測部５１６から入力される予測行列PSL2、PSL3、およびPSL4と差分取得部５１４から入力される差分行列DSL2、DSL3、およびDSL4とを加算することにより、量子化行列SL2、SL3、およびSL4をそれぞれ再構築する。
そして、再構築部５１８は、再構築した８×８、１６×１６、および３２×３２の量子化行列SL2、SL3、およびSL4を量子化行列バッファ５２０に記憶させる。なお、再構築部５１８は、シーケンス毎またはピクチャ毎に取得される行列種別フラグが「０」であれば、対応するサイズの量子化行列として既定の量子化行列を量子化行列バッファ５２０に記憶させる。また、基礎行列取得部５１２は、ピクチャ毎に取得される更新フラグが「０」であれば、以前の処理によって量子化行列バッファ５２０に記憶させた対応するサイズの量子化行列SL2、SL3、またはSL4を更新しない。
（５）量子化行列バッファ
量子化行列バッファ５２０は、基礎行列取得部５１２により特定される量子化行列SL1、並びに、再構築部５１８により再構築される量子化行列SL2、SL3、およびSL4を一時的に記憶する。量子化行列バッファ５２０により記憶されるこれら量子化行列SL1、SL2、SL3、およびSL4は、量子化された変換係数データの逆量子化部４４０による逆量子化処理のために用いられる。
［１−１１．行列生成部の詳細な構成例］
図１９は、図１８に示した行列生成部４１０のさらに詳細な構成の一例を示すブロック図である。図１９を参照すると、行列生成部４１０は、パラメータ解析部５３１、予測部５３２、エントロピ復号部５３３、量子化行列復元部５３４、出力部５３５、および記憶部５３６を有する。
パラメータ解析部５３１は、可逆復号部３１２から供給される、量子化行列に関する各種フラグやパラメータを解析する。また、パラメータ解析部５３１は、その解析結果に従って、可逆復号部３１２から供給される、差分行列の符号化データ等、各種情報を予測部５３２またはエントロピ復号部５３３に供給する。
例えば、パラメータ解析部５３１は、pred_modeが０なら、コピーモードと判断し、pred_matrix_id_deltaをコピー部５４１に供給する。また、例えば、パラメータ解析部５３１は、pred_modeが１なら、全スキャンモード（通常の場合）と判断し、pred_matrix_id_deltaおよびpred_size_id_deltaを予測行列生成部５４２に供給する。
また、パラメータ解析部５３１は、例えばresidual_flagがtrueである場合、可逆復号部３１２から供給される量子化行列の符号化データ（拡張ゴロム符号）をエントロピ復号部５３３のexpG部５５１に供給する。さらに、パラメータ解析部５３１は、residual_symmetry_flagをexpG部５５１に供給する。
さらに、パラメータ解析部５３１は、residual_down_sampling_flagを量子化行列復元部５３４の差分行列サイズ変換部５６２に供給する。
予測部５３２は、パラメータ解析部５３１の制御に従って、予測行列を生成する。図１９に示されるように、予測部５３２は、コピー部５４１および予測行列生成部５４２を有する。
コピー部５４１は、コピーモードの場合、過去に伝送された量子化行列を複製し、それを予測行列とする。より具体的には、コピー部５４１は、pred_matrix_id_deltaに対応する、カレント領域の量子化行列と同一サイズの、過去に伝送された量子化行列を記憶部５３６から読み出し、その量子化行列を予測画像とし、その予測画像を出力部５３５に供給する。
予測行列生成部５４２は、通常の場合、過去に伝送された量子化行列を用いて予測行列を生成する（予測する）。より具体的には、予測行列生成部５４２は、pred_matrix_id_deltaおよびpred_size_id_deltaに対応する過去に伝送された量子化行列を記憶部５３６から読み出し、それを用いて予測行列を生成する。つまり、予測行列生成部５４２は、画像符号化装置１０の予測行列生成部１７２（図４）が生成する予測行列と同様の予測行列を生成する。予測行列生成部５４２は、生成した予測行列を量子化行列復元部５３４の予測行列サイズ変換部５６１に供給する。
エントロピ復号部５３３は、パラメータ解析部５３１から供給される拡張ゴロム符号から差分行列を復元する。図１９に示されるように、エントロピ復号部５３３は、expG部５５１、逆DPCM部５５２、および逆重複判定部５５３を有する。
expG部５５１は、符号つき若しくは符号なしのexponential golomb復号（以下、拡張ゴロム復号とも称する）を行い、DPCMデータを復元する。expG部５５１は、復元したDPCMデータを、residual_symmetry_flagとともに、逆DPCM部５５２に供給する。
逆DPCM部５５２は、重複部分が削除されたデータに対してDPCM復号して、DPCMデータから残差データを生成する。逆DPCM部５５２は、生成した残差データを、residual_symmetry_flagとともに、逆重複判定部５５３に供給する。
逆重複判定部５５３は、residual_symmetry_flagがtrueである場合、すなわち、残差データが１３５度の対象行列の、重複する対称部分のデータ（行列要素）が削除されたものである場合、その対称部分のデータを復元する。つまり、１３５度の対象行列の差分行列が復元される。なお、residual_symmetry_flagがtrueで無い場合、すなわち、残差データが１３５度の対象行列でない行列である場合、逆重複判定部５５３は、対称部分のデータの復元を行わずに、その残差データを差分行列とする。逆重複判定部５５３は、このようにして復元した差分行列を量子化行列復元部５３４（差分行列サイズ変換部５６２）に供給する。
量子化行列復元部５３４は、量子化行列を復元する。図１９に示されるように、量子化行列復元部５３４は、予測行列サイズ変換部５６１、差分行列サイズ変換部５６２、逆量子化部５６３、および演算部５６４を有する。
予測行列サイズ変換部５６１は、予測部５３２（予測行列生成部５４２）から供給される予測行列のサイズが、復元されるカレント領域の量子化行列のサイズと異なる場合、その予測行列のサイズをコンバートする。
例えば、予測行列のサイズが量子化行列のサイズより大きい場合、予測行列サイズ変換部５６１は、予測行列をダウンコンバートする。また、例えば、予測行列のサイズが量子化行列のサイズより小さい場合、予測行列サイズ変換部５６１は、予測行列をアップコンバートする。コンバートの方法は、画像符号化装置１０の予測行列サイズ変換部１８１（図４）と同一の方法が選択される。
予測行列サイズ変換部５６１は、サイズを量子化行列に合わせた予測行列を演算部５６４に供給する。
差分行列サイズ変換部５６２は、residual_down_sampling_flagがtrueの場合、すなわち、伝送された差分行列のサイズが逆量子化するカレント領域のサイズより小さい場合、その差分行列のサイズを逆量子化するカレント領域に応じたサイズにアップコンバートする。アップコンバートの方法は、任意である。例えば、画像符号化装置１０の差分行列サイズ変換部１６３（図４）が行ったダウンコンバートの方法に対応するようにしてもよい。
例えば、差分行列サイズ変換部１６３が、差分行列をダウンサンプルした場合、差分行列サイズ変換部５６２は、その差分行列をアップサンプルするようにしてもよい。また、差分行列サイズ変換部１６３が、差分行列をサブサンプルした場合、差分行列サイズ変換部５６２は、その差分行列を逆サブサンプルするようにしてもよい。
例えば、差分行列サイズ変換部５６２は、一般的な線形補間ではなく、図２０に示されるように、最近傍補間処理(nearest neighbor)で補間するようにしてもよい。この最近傍補間処理を用いることにより、保持するメモリを低減させることができる。
これにより、サイズの大きな量子化行列を伝送しない場合でも、サイズの小さな量子化行列からアップサンプリングする際に、アップサンプリング後のデータを保持する必要がなくなり、アップサンプリングする際の演算に伴うデータを格納する際にも、中間バッファ等も不要となる。
なお、residual_down_sampling_flagがtrueでない場合、すなわち、差分行列が量子化処理に用いられたときのサイズで伝送される場合、差分行列サイズ変換部５６２は、差分行列のアップコンバートを省略する（若しくは、１倍のアップコンバートを行うようにしてもよい）。
差分行列サイズ変換部５６２は、このように必要に応じてアップコンバートした差分行列を、逆量子化部５６３に供給する。
逆量子化部５６３は、画像符号化装置１０の量子化部１８３（図４）の量子化に対応する方法で、供給された差分行列（量子化データ）を逆量子化し、逆量子化された差分行列を演算部５６４に供給する。なお、量子化部１８３が省略される場合、すなわち、差分行列サイズ変換部５６２から供給される差分行列が量子化データでない場合、この逆量子化部５６３を省略することができる。
演算部５６４は、予測行列サイズ変換部５６１から供給される予測行列と、逆量子化部５６３から供給される差分行列とを加算し、カレント領域の量子化行列を復元する。演算部５６４は、復元した量子化行列を出力部５３５および記憶部５３６に供給する。
出力部５３５は、供給される情報を行列生成部４１０の外部に出力する。例えば、コピーモードの場合、出力部５３５は、コピー部５４１から供給される予測行列をカレント領域の量子化行列として、逆量子化部４４０に供給する。また、例えば、通常の場合、出力部５３５は、量子化行列復元部５３４（演算部５６４）から供給されるカレント領域の量子化行列を、逆量子化部４４０に供給する。
記憶部５３６は、量子化行列復元部５３４（演算部５６４）から供給される量子化行列を、そのサイズやリストIDとともに記憶する。この記憶部５３６に記憶される量子化行列に関する情報は、時間的に後に処理される他の直交変換単位の予測行列生成に利用される。つまり、記憶部５３６は、記憶している量子化行列に関する情報を、過去に伝送された量子化行列に関する情報として、予測部５３２に供給する。
以上のように、行列生成部４１０が、伝送サイズ以下のサイズの量子化行列（差分行列）を逆量子化するカレント領域に応じたサイズにアップコンバートするので、画像復号装置３００は、量子化行列の符号量の増加を抑制することができる。
［１−１２．量子化行列復号処理の流れ］
図２１のフローチャートを参照して、以上のような行列生成部４１０により実行される量子化行列復号処理の流れの例を説明する。
量子化行列復号処理が開始されると、ステップＳ３０１において、パラメータ解析部５３１は、領域０乃至領域３の量子化値（Qscale0乃至Qscale3）を読み込む。
パラメータ解析部５３１は、ステップＳ３０２において、pred_modeを読み込み、ステップＳ３０３において、pred_modeが０であるか否かを判定する。pred_modeが０であると判定した場合、パラメータ解析部５３１は、コピーモードと判定し、処理をステップＳ３０４に進める。
ステップＳ３０４において、パラメータ解析部５３１は、pred_matrix_id_deltaを読み込む。ステップＳ３０５において、コピー部５４１は、伝送済みの量子化行列を複製し、予測行列とする。コピーモードの場合、その予測行列がカレント領域の量子化行列として出力される。ステップＳ３０５の処理が終了すると、コピー部５４１は、量子化行列復号処理を終了する。
また、ステップＳ３０３において、pred_modeが０でないと判定した場合、パラメータ解析部５３１は、全スキャンモード（通常の場合）と判定し、処理をステップＳ３０６に進める。
ステップＳ３０６において、パラメータ解析部５３１は、pred_matrix_id_delta、pred_size_id_delta、およびresidual_flagを読み込む。ステップＳ３０７において、予測行列生成部５４２は、伝送済みの量子化行列から予測行列を生成する。
ステップＳ３０８において、パラメータ解析部５３１は、residual_flagがtrueであるか否かを判定する。residual_flagがtrueでないと判定された場合、残差行列が存在しないので、ステップＳ３０７において生成された予測行列が、カレント領域の量子化行列として出力される。したがって、この場合、パラメータ解析部５３１は、量子化行列復号処理を終了する。
また、ステップＳ３０８において、residual_flagがtrueであると判定した場合、パラメータ解析部５３１は、処理をステップＳ３０９に進める。
ステップＳ３０９において、パラメータ解析部５３１は、residual_down_sampling_flagおよびresidual_symmetry_flagを読み込む。
ステップＳ３１０において、expG部５５１および逆DPCM部５５２は、残差行列の拡張ゴロム符号を復号し、残差データを生成する。
ステップＳ３１１において、逆重複判定部５５３は、residual_symmetry_flagがtrueであるか否かを判定する。residual_symmetry_flagがtrueであると判定した場合、逆重複判定部５５３は、処理をステップＳ３１２に進め、その残差データの、削除された重複部分を復元する（inverse symmetry処理を行う）。このようにして１３５度に対象行列な差分行列が生成されると、逆重複判定部５５３は、処理をステップＳ３１３に進める。
また、ステップＳ３１１において、residual_symmetry_flagがtrueでないと判定した場合（残差データが、１３５度に対象行列でない差分行列である場合）、逆重複判定部５５３は、ステップＳ３１２の処理を省略し（inverse symmetry処理を行わずに）、処理をステップＳ３１３に進める。
ステップＳ３１３において、差分行列サイズ変換部５６２は、residual_down_sampling_flagがtrueであるか否かを判定する。residual_down_sampling_flagがtrueであると判定した場合、差分行列サイズ変換部５６２は、処理をステップＳ３１４に進め、差分行列を、逆量子化するカレント領域に応じたサイズにアップコンバートする。差分行列をアップコンバートすると差分行列サイズ変換部５６２は、処理をステップＳ３１５に進める。
また、ステップＳ３１３において、residual_down_sampling_flagがtrueでないと判定した場合、差分行列サイズ変換部５６２は、ステップＳ３１２の処理を省略し（差分行列をアップコンバートせずに）、処理をステップＳ３１５に進める。
ステップＳ３１５において、演算部５６４は、予測行列に差分行列を加算し、カレント領域の量子化行列を生成する。ステップＳ３１５の処理が終了すると、量子化行列復号処理が終了される。
以上のように、量子化行列復号処理を行うことにより、画像復号装置３００は、量子化行列の符号量の増加を抑制することができる。
＜２．第２の実施の形態＞
［２−１．行列処理部の他の例］
図２２は、本技術を適用した行列処理部１５０の他の構成例を示すブロック図である。
図２２の例の場合、行列処理部１５０は、図４の構成の差分行列サイズ変換部１６３が省略されている。つまり、量子化部１８３の出力は、エントロピ符号化部１６４の重複判定部１９１に供給される。
また、図２２の行列処理部１５０は、量子化行列サイズ変換部７０１を有する。
量子化行列サイズ変換部７０１は、行列処理部１５０に入力される量子化係数のサイズを、伝送の際の最大サイズ（伝送サイズ）以下の所定のサイズにコンバートする。このコンバート後のサイズは、伝送サイズ以下である限り任意であるが、取りうる範囲の最小サイズとすることにより、量子化行列の符号量を出来るだけ低減させることができるとともに、量子化行列サイズ変換部７０１や予測行列サイズ変換部１８１の処理をダウンコンバートのみとすることができ、量子化行列サイズ変換部７０１や予測行列サイズ変換部１８１の処理を簡易化（容易化）することができる。
この場合、予測行列サイズ変換部１８１は、予測行列を、この量子化行列のダウンコンバート後のサイズにコンバートする。
なお、第１の実施の形態の場合と同様に、これらのコンバート（ダウンコンバート）の方法は任意であり、ダウンサンプリングであってもよいし、サブサンプルであってもよい。
つまり、この場合、量子化行列サイズ変換部７０１によるコンバート後の量子化行列と同サイズの差分行列が符号化されて伝送される。
したがって、この場合も画像符号化装置１０は、第１の実施の形態の場合と同様に、量子化行列の符号量の増加を抑制することができる。
［２−２．量子化行列符号化処理の流れの他の例］
この場合の量子化行列符号化処理の流れの例は、図２３に示されるフローチャートのようになる。
つまり、量子化行列符号化処理が開始されると、量子化行列サイズ変換部７０１は、ステップＳ６０１において、カレント領域の量子化行列を取得すると、ステップＳ６０２において、その量子化行列を、予め定められた所定のサイズにダウンコンバートする。
ステップＳ６０３乃至ステップＳ６０８の各処理は、図７のステップＳ１０２乃至ステップＳ１０７の各処理同様に実行される。図７のステップＳ１０８およびステップＳ１０９に対応する処理は行われず（省略され）、ステップＳ６０９乃至ステップＳ６１６の各処理は、図７のステップＳ１１０乃至ステップＳ１１７の各処理と同様に実行される。
行列処理部１５０が、以上のように量子化行列符号化処理を行うことにより、画像符号化装置１０は、第１の実施の形態の場合と同様に、量子化行列の符号量の増加を抑制することができる。
［２−３．行列生成部の他の例］
図２４は、画像復号装置３００の行列生成部４１０の他の構成例を示すブロック図である。図２４に示される行列生成部４１０は、図２２の行列処理部１５０に対応する処理部である。つまり、図２４に示される行列生成部４１０は、図２２の行列処理部１５０により生成された量子化行列に関する符号化データ（各種フラグやパラメータ、並びに、差分行列から生成した拡張ゴロム符号等）を復号し、カレント領域の量子化行列を復元する。
この場合も、行列生成部４１０は、基本的に図１９の例と同様の構成を有するが、図１９の例と異なり、差分行列サイズ変換部５６２は省略される。したがって、逆重複判定部５５３から出力される差分行列は、逆量子化部５６３に供給される。
また、図２４の例の場合、行列生成部４１０は、図１９の例の場合と異なり、量子化行列サイズ変換部７２１を有する。
この量子化行列サイズ変換部７２１は、図２２の量子化行列サイズ変換部７０１に対応し、量子化行列サイズ変換部７０１の処理の逆処理を行う処理部である。つまり、量子化行列サイズ変換部７２１は、伝送の際に許容される最大サイズ（伝送サイズ）よりも小さな量子化行列を、逆量子化するカレント領域に応じたサイズにアップコンバートする。
量子化行列サイズ変換部７２１は、演算部５６４が、差分行列に予測行列を加算して生成した量子化行列を取得する。この量子化行列のサイズは、量子化行列サイズ変換部７０１によりダウンコンバートされた後のサイズである。量子化行列サイズ変換部７２１は、その量子化行列のサイズを、逆量子化するカレント領域に応じたサイズに、アップコンバートする。量子化行列サイズ変換部７２１は、アップコンバートした量子化行列を出力部５３５に供給して、逆量子化部４４０に供給させたり、記憶部５３６に供給して記憶させたりする。
したがって、この場合も、行列生成部４１０が、伝送サイズ以下にダウンコンバートされて伝送された量子化行列を逆量子化するカレント領域に応じたサイズにアップコンバートするので、画像復号装置３００は、量子化行列の符号量の増加を抑制することができる。
この場合の量子化行列復号処理の流れは、基本的に、図２１のフローチャートを参照して説明した通りである。ただし、ステップＳ３１４において残差行列がアップコンバートされる代わりに、量子化行列サイズ変換部７２１が、ステップＳ３１５の処理により生成された量子化行列をアップコンバートする。
行列生成部４１０が、以上のように量子化行列復号処理を行うことにより、画像復号装置３００は、第１の実施の形態の場合と同様に、量子化行列の符号量の増加を抑制することができる。
＜３．第３の実施の形態＞
［アップコンバート］
図２５は、差分行列の伝送の様子の例を説明する図である。画像符号化装置１０（図１）から画像復号装置３００（図１６）への伝送の際の量子化行列（量子化行列とその予測行列との差分行列）のサイズは、予め定められた所定の最大サイズ（伝送サイズ）以下のサイズに制限される。例えば、画像符号化装置１０から画像復号装置３００へ伝送される量子化行列のサイズは、予め用意される基礎行列（デフォルト量子化行列とも称する）のサイズ（デフォルト量子化行列サイズとも称する）と同じサイズに制限される。つまり、この場合、伝送サイズは、デフォルト量子化行列サイズの最大値となる。例えば、デフォルト量子化行列として４×４の量子化行列と８×８の量子化行列とが設定されるとすると、伝送サイズは８×８である。
つまり、画像符号化装置１０は、量子化処理において使用された量子化行列がその伝送サイズより大きい場合、量子化行列や予測行列をその伝送サイズ以下にダウンコンバートするか、若しくは、求めた差分行列を伝送サイズ以下にダウンコンバートすることにより、その伝送サイズ以下の差分行列を生成する。このダウンコンバートは、例えば、差分行列サイズ変換部１６３、予測行列サイズ変換部１８１、および量子化行列サイズ変換部７０１等において行われる。
画像復号装置３００は、伝送された差分行列、若しくは、その差分行列から求めた量子化行列を、逆量子化するカレント領域に応じたサイズにアップコンバートし、逆量子化処理において使用する。つまり、伝送サイズが、デフォルト量子化行列サイズの最大値である場合、画像復号装置３００は、デフォルト量子化行列サイズと同じサイズの量子化行列を受け取る。例えば、画像復号装置３００は、デフォルト量子化行列の最大サイズと同じサイズの量子化行列を受け取る。画像復号装置３００は、受け取った量子化行列を用いて、若しくは、その量子化行列をアップコンバートして得られた量子化行列を用いて逆量子化処理を行う。なお、このアップコンバートは、例えば、差分行列サイズ変換部５６２、予測行列サイズ変換部５６１、および量子化行列サイズ変換部７２１等において行われる。
なお、画像符号化装置１０は、量子化処理において使用された量子化行列（差分行列）とは別の、伝送の際に許容される最大サイズ（伝送サイズ）よりも小さなサイズの量子化行列（差分行列）を画像復号装置３００に伝送することもできる。例えば、画像符号化装置１０は、互いにサイズの異なる複数の量子化行列（差分行列）を用意し、その中から選択した量子化行列を量子化処理に用いることができる。その場合、画像符号化装置１０は、用意された行列群中の、伝送サイズよりも大きなサイズの量子化行列を用いて量子化処理を行うとき、その量子化行列をダウンコンバートする代わりに、その行列群中の、伝送サイズよりも小さなサイズの量子化行列（差分行列）を伝送するようにすることもできる。つまり、この場合、画像符号化装置１０におけるサイズ変換（ダウンコンバート）が省略される。付言するに、画像符号化装置１０が、伝送サイズよりも小さなサイズの量子化行列（差分行列）をアップコンバートして量子化処理を行うこともできる。この場合も同様に、画像符号化装置１０におけるサイズ変換（ダウンコンバート）が省略される。
いずれにしろ、実際にサイズ変換（ダウンコンバート）が行われるか否かに関わらず、伝送サイズ以下のサイズの量子化行列（差分行列）のみが伝送される。つまり、画像復号装置３００は、画像符号化装置１０において実際にサイズ変換（ダウンコンバート）が行われたか否かに関わらず、伝送された量子化行列を、逆量子化するカレント領域（例えばCUやTU等）に応じたサイズにサイズ変換（アップコンバート）する。
量子化処理において使用された際のサイズと、伝送時のサイズが同じ場合のみ、画像復号装置３００は、量子化行列（差分行列）のサイズ変換（アップコンバート）を省略する（１倍のサイズ変換を行うようにしても良い）。
例えば、伝送サイズを８×８とする。この場合、例えば、差分行列は、８×８の正方行列や４×４の正方行列として伝送される。例えば、図２５の上段に示されるように、８×８の正方行列として伝送される場合、差分行列は、画像復号装置３００において、１６×１６の正方行列や、３２×３２の正方行列等、逆量子化するカレント領域に応じたサイズにアップコンバートされる。また、例えば、図２５の下段に示されるように、４×４の正方行列として伝送される場合、差分行列は、８×８の正方行列等、逆量子化するカレント領域に応じたサイズにアップコンバートされる。
もちろん、この差分行列は、図２５に示される例以外のサイズ（例えば、６４×６４の正方行列）へのアップコンバートも可能である。
なお、逆量子化するカレント領域のサイズが伝送された量子化行列のサイズと等しい場合、このアップコンバートは省略され（若しくは、１倍のサイズ変換が行われ）、８×８の差分行列は、８×８の正方行列のまま利用される。同様に、４×４の差分行列は、４×４の正方行列のまま利用される。
例えば、画像符号化装置１０は、４×４の量子化行列を用いて４×４のブロックに対する量子化を行い、８×８の量子化行列を用いて８×８のブロックに対する量子化を行い、８×８の量子化行列をアップコンバートして１６×１６の量子化行列を生成し、その１６×１６の量子化行列を用いて１６×１６のブロックに対する量子化を行い、８×８の量子化行列をアップコンバートして３２×３２の量子化行列を生成し、その３２×３２の量子化行列を用いて３２×３２のブロックに対する量子化を行い、４×４の量子化行列と８×８の量子化行列を画像復号装置３００に伝送するとする。この場合も、画像復号装置３００は、画像符号化装置１０と同様に、受け取った４×４の量子化行列を用いて４×４のブロックに対する量子化を行い、受け取った８×８の量子化行列を用いて８×８のブロックに対する量子化を行う。また、画像復号装置３００は、画像符号化装置１０と同様に、受け取った８×８の量子化行列をアップコンバートして１６×１６の量子化行列を生成し、その１６×１６の量子化行列を用いて１６×１６のブロックに対する量子化を行い、受け取った８×８の量子化行列をアップコンバートして３２×３２の量子化行列を生成し、その３２×３２の量子化行列を用いて３２×３２のブロックに対する量子化を行う。
次に、画像復号装置３００におけるサイズ変換（アップコンバート）の様子について説明する。図２６にアップコンバートの様子の例を示す。以下に、差分行列サイズ変換部５６２（図１９）による処理を例に説明する。
アップコンバートの具体的な方法な任意である。例えば、最近傍補間処理（nearest neighbor）により実現される。最近傍補間処理は、補間前の行列の各要素を複製することにより、その要素の近傍の要素を補間する処理である。近傍の要素とは、補間前の行列の要素に隣接する要素、若しくは、補間前の行列の要素の近傍に位置する要素のことである。
例えば、要素数を縦方向および横方向にそれぞれ２倍にする最近傍補間（×２最近傍補間）処理は、補間前の行列の各要素から２×２の正方行列を生成する処理である。つまり、補間前の行列の各要素を用いて近傍の３要素が補間される。近傍の３要素とは、例えば、補間前の行列の要素の右に隣接する要素、下に隣接する要素、および右下に隣接する要素である。補間前の行列の各要素についてこのような処理が行われることにより、正方行列の縦方向および横方向の要素数がそれぞれ２倍に変換される。
図２０の例の場合、４×４の正方行列が、最近傍補間され、８×８の正方行列が生成される。図２０に示される行列において、グレーの四角が補間前の行列の要素である。この各要素が複製され、それぞれの近傍の要素（図２０に示される行列の白地の四角）が補間される。
もちろん、これら以外の位置の要素（例えば、上に隣接する要素や左に隣接する要素等）を近傍の３要素としても良い。処理順に応じた向きに補間するようにするのが望ましい。また、補間の際に元の要素を複製するように説明したが、所定の演算により補間する要素の値を決定するようにしてもよい。ただし、上述したように複製することにより、補間処理の負荷を低減させることができる（より容易に補間を行うことができる）。
図２６に戻り、伝送された差分行列は、複数のサイズにアップコンバートすることができる。例えば、図２６に示されるように、８×８の差分行列は、１６×１６の正方行列や３２×３２の正方行列にアップコンバート可能である。
例えば、８×８の差分行列は、×２最近傍補間処理を行うことにより、１６×１６の差分行列にアップコンバートされる。さらに、その１６×１６の差分行列に対して×２最近傍補間処理を行うことにより、３２×３２の差分行列にアップコンバートされる。もちろん、さらに×２最近傍補間処理を繰り返すことにより、６４×６４以上の正方行列へのアップコンバートも可能である。つまり、×２最近傍補間処理を繰り返し行うことにより、その繰り返した回数に応じたサイズの正方行列へのアップコンバートが可能になる。
なお、最近傍補間処理による行列の拡大比は任意であり、上述した２倍に限らない。例えば、要素数を縦方向および横方向にそれぞれ４倍にする最近傍補間（×４最近傍補間）処理も実現可能である。×４最近傍補間処理も、拡大比が異なるだけで、基本的に×２最近傍補間処理と同様である。つまり、×４最近傍補間処理の場合、補間前の行列の各要素から、その要素を左上とする４×４の正方行列が生成される。つまり、補間前の行列の１要素からその近傍の１５要素が補間される。補間前の行列の各要素についてこのような処理が行われることにより、正方行列の縦方向および横方向の要素数がそれぞれ４倍に変換される。
図２６において点線矢印で示されるように、８×８の差分行列に対して、この×４最近傍補間処理を行うことによっても、３２×３２の差分行列へのアップコンバートが可能である。つまり、具体的には、１つの８×８の量子化行列（若しくは差分行列）がアップコンバートされて、１６×１６の量子化行列（若しくは差分行列）と３２×３２の量子化行列（若しくは差分行列）との両方が生成されるようにしてもよいし、１６×１６の量子化行列（若しくは差分行列）と３２×３２の量子化行列（若しくは差分行列）とが、互いに異なる８×８の量子化行列（若しくは差分行列）をアップコンバートすることにより生成されるようにしてもよい。前者の場合、４×４の量子化行列（若しくは差分行列）と８×８の量子化行列（若しくは差分行列）とが画像符号化装置１０から画像復号装置３００に伝送されるようにすればよい。また、後者の場合、４×４の量子化行列（若しくは差分行列）、１６×１６にアップコンバートすることができる８×８の量子化行列（若しくは差分行列）、および、３２×３２にアップコンバートすることができる８×８の量子化行列（若しくは差分行列）とが画像符号化装置１０から画像復号装置３００に伝送されるようにすればよい。
以上のように最近傍補間を用いることにより、差分行列サイズ変換部５６２は、容易に差分行列のサイズ変換を行うことができる。
さらに、このような最近傍補間処理は、非正方行列へのアップコンバートにも適用することができる。
例えば、８×８の差分行列は、×２最近傍補間処理が行われることにより、１６×１６の正方行列に変換され、さらに、その正方行列の所定のラインの要素を間引きすることにより、縦４×横１６の非正方行列に変換される。
その際、１６ラインから４ラインが抽出されれば良く、間引くラインは任意である。例えば、４ライン毎にいずれかの１ラインが抽出されるようにしてもよい。また、例えば、上から１番目のライン、５番目のライン、９番目のライン、１３番目のラインが抽出されるようにしてもよい。さらに、例えば、上から３番目のライン、７番目のライン、１１番目のライン、１５番目のラインが抽出されるようにしてもよい。抽出されるラインは予め定められていても良いし、所定の方法により１６ラインの中から任意の４ラインが（若しくは、４ライン毎に１ラインが）選択されるようにしてもよい。
また、例えば、８×８の差分行列は、×２最近傍補間処理が２回行われることにより、若しくは、×４最近傍補間処理が行われることにより、３２×３２の正方行列に変換され、さらに、その正方行列の所定のラインの要素を間引きすることにより、縦８×横３２の非正方行列に変換される。
その際、上述した縦４×横１６の非正方行列の場合と同様に、３２ラインから８ラインが抽出されれば良く、間引くラインは任意である。例えば、上から１番目のライン、５番目のライン、９番目のライン、１３番目のライン、１７番目のライン、２１番目のライン、２５番目のライン、および２９番目のラインが抽出されるようにしてもよい。抽出されるラインは予め定められていても良いし、所定の方法により３２ラインの中から任意の８ラインが（若しくは、４ライン毎に１ラインが）選択されるようにしてもよい。
以上においては、縦：横＝１：４の非正方行列に変換する場合について説明したが、変換後の行列の縦横比は任意である。例えば、正方行列の要素を、ライン毎に間引く代わりに、ラインの場合と同様に列毎に間引くことにより、縦：横＝４：１の非正方行列へのサイズ変換が可能になる。
また、例えば、“CE6.b1 Report on Short Distance Intra Prediction Method”（JCTVC-E278，2011年3月）において、サイズの小さい非正方形の予測単位を使用して符号化効率を向上させる、短距離イントラ予測法（Short Distance Intra Prediction Method）を提案している。短距離イントラ予測法では、例えば１×４画素、２×８画素、４×１６画素、４×１画素、８×２画素、１６×４画素などの様々なサイズの予測単位が画像内に設定され得る。この場合、予測単位の垂直方向のサイズ及び水平方向のサイズのうちいずれのサイズがより大きいかは、予測単位の設定に依存する。
ライン若しくは列の間引き量を調整することにより、このような様々な縦横比の非正方行列へのサイズ変換が可能になる。例えば、１６×１６の正方行列から、１ライン抽出することにより、縦：横＝１：１６の非正方行列へのサイズ変換が実現される。同様に、３２×３２の正方行列から、いずれかの２ライン抽出することにより、縦：横＝２：３２の非正方行列へのサイズ変換が実現される。
以上のように最近傍補間を用いることにより、差分行列サイズ変換部５６２は、差分行列の非正方行列へのサイズ変換も容易に行うことができる。
以上においては、最近傍補間処理とライン（若しくは列）の間引きを併用することにより、非正方行列へのサイズ変換を実現するように説明したが、これに限らず、例えば、最近傍補間処理のみにより、非正方行列へのサイズ変換を実現することもできる。
例えば、図２７のＡに示されるように、４×４正方行列を横方向にのみ４倍（×４水平方向最近傍補間）することにより、４×１６の非正方行列へのサイズ変換を実現することができる。×４水平方向最近傍補間は、補間前の行列の各要素から１×４の非正方行列を生成する処理である。つまり、補間前の行列の各要素を用いて近傍の３要素が補間される。近傍の３要素とは、例えば、補間前の行列の要素の右に隣接して横方向に並ぶ３要素である。補間前の行列の各要素についてこのような処理が行われることにより、正方行列の横方向の要素数のみが４倍される。
また例えば、図２７のＡに示されるように、４×４正方行列を縦方向にのみ４倍（×４垂直方向最近傍補間）することにより、１６×４の非正方行列へのサイズ変換を実現することができる。×４垂直方向最近傍補間は、補間前の行列の各要素から４×１の非正方行列を生成する処理である。つまり、補間前の行列の各要素を用いて近傍の３要素が補間される。近傍の３要素とは、例えば、補間前の行列の要素の下に隣接して縦方向に並ぶ３要素である。補間前の行列の各要素についてこのような処理が行われることにより、正方行列の縦方向の要素数のみが４倍される。
８×８の正方行列も同様にサイズ変換することができる。例えば、図２７のＢに示されるように、８×８正方行列に対して×４水平方向最近傍補間処理を行うことにより、８×３２の非正方行列へのサイズ変換を実現することができる。また、例えば、図２７のＢに示されるように、８×８正方行列に対して×４垂直方向最近傍補間処理を行うことにより、３２×８の非正方行列へのサイズ変換を実現することができる。
以上のように最近傍補間を用いることにより、差分行列サイズ変換部５６２は、差分行列の非正方行列へのサイズ変換も容易に行うことができる。
なお、上述したような最近傍補間を用いたサイズ変換は、任意のサイズの行列に対して行うことができる。また、量子化行列や予測行列をサイズ変換する場合も、上述した差分行列の場合と同様に、最近傍補間を用いてサイズ変換することができる。つまり、量子化行列サイズ変換部７２１も同様に、最近傍補間を用いて容易に量子化行列のサイズ変換を行うことができる。予測行列サイズ変換部５６１も同様である。
また、以上においては、量子化行列、予測行列、または、それらの差分行列のサイズ変換処理について説明したが、このサイズ変換処理は、実際に、サイズを変換した行列を生成する処理であってもよいが、実際には行列のデータを生成せずに、メモリからの行列の各要素の読み出し方を設定する処理（行列データの読み出し制御）であってもよい。
上述したサイズ変換処理の場合、サイズ変換後の行列の各要素は、サイズ変換前の行列のいずれかの要素により構成される。つまり、例えば、一部の要素のみを読み出したり、１つの要素を複数回読み出したりする等の所定の方法で、メモリに格納されているサイズ変換前の行列の要素を読み出せば、サイズ変換後の行列を生成することができる。換言するに、その各要素の読み出し方法を定義する（行列データの読み出し制御を行う）ことにより、上述したサイズ変換が実質的に実現される。このような方法を用いることにより、サイズ変換後の行列データをメモリに書き込む等の処理が不要になる。また、サイズ変換後の行列データの読み出し方は、基本的に最近傍補間の仕方等で決まるので、予め用意されている複数の選択肢の中から適切なものを選択する程度の、比較的低負荷の処理で実現可能である。したがって、このような方法を用いることにより、サイズ変換の負荷が低減される。
つまり、以上において説明したサイズ変換処理は、実際にサイズ変換後の行列のデータを生成処理も含むが、このような行列データの読み出し制御も含む。
以上においては、差分行列がダウンコンバートされて伝送されるか、ダウンコンバートされた量子化行列から生成された差分行列が伝送されるように説明したが、本技術は、量子化行列に関する情報の符号量を低減させることができればよい。したがって、これらの例に限らず、例えば、予測処理を省略し、差分行列の代わりに、カレント領域の量子化行列がダウンコンバートされて伝送されるようにしてもよい。その場合、復号側では、伝送された量子化行列を、逆量子化するカレント領域に応じたサイズにアップコンバートするだけでよい。この場合、伝送する量子化行列に対して、第１の実施の形態乃至第３の実施の形態において上述したDPCM符号化・復号を用いた符号化処理・復号処理は、行っても良いし行わなくても良い。もちろん、この伝送する量子化行列に対する符号化処理・復号処理は、どのようなものであってもよく、上述した例に限らない。
また、例えば、量子化行列のサイズやリストID等の、量子化行列に関するパラメータやフラグ等の情報も、例えば前回伝送した情報との差分をとり、その差分を伝送する等して、その符号量を低減させるようにしてもよい。
＜４．第４の実施の形態＞
［多視点画像符号化・多視点画像復号への適用］
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図２８は、多視点画像符号化方式の一例を示す。
図２８に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。
図２８のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、第１の実施の形態乃至第３の実施の形態において上述した方法を適用するようにしてもよい。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
さらに、各ビューの符号化・復号において、第１の実施の形態乃至第３の実施の形態において上述した方法において使用されるフラグやパラメータを共有するようにしてもよい。例えば、量子化行列を、各ビューの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。
例えば、量子化行列をシーケンスパラメータセット（SPS（Sequence Parameter Set））やピクチャパラメータセット（PPS（Picture Parameter Set））において伝送する場合、それら（SPSやPPS）がビュー間で共有されるのであれば、量子化行列も自ずと共有されることになる。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
また、ベースビューの量子化行列の行列要素をビュー間の視差値に応じて変更するようにしても良い。さらに、ベースビューの量子化行列の行列要素に関してノンベースビュー行列要素を調整するためのオフセット値を伝送するようにしてもよい。これらのようにすることにより、量子化行列の符号量の増加を抑制することができる。
例えば、ビュー毎の量子化行列を予め別途伝送するようにしてもよい。ビュー毎に量子化行列を変更する場合、その予め伝送した量子化行列との差分を示す情報のみを伝送すればよい。この差分を示す情報は、任意である。例えば、４×４や８×８を単位とする情報であってもよいし、行列同士の差分であってもよい。
なお、ビュー間で、SPSやPPSを共有しないが、量子化行列を共有するときは、他のビューのSPSやPPSを参照することができる（つまり、他のビューの量子化行列を利用することができる）ようにしてもよい。
また、このような多視点画像を、YUVの各画像と、ビュー間の視差量に対応する奥行き画像（Depth）とをそれぞれコンポーネントとする画像として表す場合、各コンポーネント（Ｙ,Ｕ,Ｖ,Depth）の画像に対して互いに独立した量子化行列を用いるようにしてもよい。
例えば、奥行き画像（Depth）は、エッジの画像であるので、量子化行列は不要である。したがって、SPSやPPSにおいて量子化行列の利用が指定されている場合であっても、奥行き画像（Depth）に対しては、量子化行列を適用しない（若しくは行列要素が全て同一（FLAT）な量子化行列を適用する）ようにしてもよい。
［多視点画像符号化装置］
図２９は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図２９に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。
符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１０（図１）を適用することができる。つまり、例えば、上述したように、符号化部６０１および符号化部６０２は、互いに同一の量子化行列を用いて、量子化処理等を行うことができる。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
［多視点画像復号装置］
図３０は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図３０に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。
逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置３００（図１６）を適用することができる。つまり、例えば、上述したように、復号部６１２および復号部６１３は、互いに同一の量子化行列を用いて、逆量子化処理等を行うことができる。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
＜５．第５の実施の形態＞
［階層画像符号化・階層画像復号への適用］
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図３１は、階層画像符号化方式の一例を示す。
図３１に示されるように、階層画像は、複数の階層の画像を含み、その複数の階層のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤ（エンハンスメントレイヤとも称する）の画像として扱われる。
図３１のような階層画像を符号化・復号する場合、各階層の画像を符号化・復号するが、この各階層の符号化・復号に対して、上述した方法を適用するようにしてもよい。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
さらに、各階層の符号化・復号において、第１の実施の形態乃至第３の実施の形態において上述した方法において使用されるフラグやパラメータを共有するようにしてもよい。例えば、量子化行列を、各階層の符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各階層の符号化・復号において共有するようにしてもよい。
このような階層画像の例として、空間解像度によって階層化したもの（空間解像度スケーラビリティとも称する）がある（spatial scalability）。空間解像度スケーラビリティを有する階層画像の場合、階層毎に画像の解像度が異なる。例えば、空間的に最も低解像度の画像の階層をベースレイヤとされ、ベースレイヤよりも高解像度の画像の階層をノンベースレイヤ（エンハンスメントレイヤ）とされる。
ノンベースレイヤ（エンハンスメントレイヤ）の画像データは、他の階層から独立したデータとし、ベースレイヤの場合と同様に、その画像データのみによりその階層の解像度の画像を得ることができるようにしてもよいが、その階層の画像と他の階層（例えば１つ下の階層）の画像との差分画像に対応するデータとするのが一般的である。この場合、ベースレイヤの階層の解像度の画像は、そのベースレイヤの画像データのみにより得られるが、ノンベースレイヤ（エンハンスメントレイヤ）の階層の解像度の画像は、その階層の画像データと、他の階層（例えば１つ下の階層）の画像データを合成することにより得られる。このようにすることにより、階層間の画像データの冗長性を抑制することができる。
このような空間解像度スケーラビリティを有する階層画像は、階層毎に画像の解像度が異なるので、各階層の符号化・復号の処理単位の解像度も互いに異なる。したがって、各階層の符号化・復号において量子化行列を共有する場合、量子化行列を各階層の解像度比に応じてアップコンバートするようにしてもよい。
例えば、ベースレイヤの画像の解像度が２Ｋ（例えば1920×1080）とし、ノンベースレイヤ（エンハンスメントレイヤ）の画像の解像度が４Ｋ（例えば、3840×2160）とする。この場合、例えば、ベースレイヤの画像（２Ｋ画像）の１６×１６は、ノンベースレイヤの画像（４Ｋ画像）の３２×３２に相当する。量子化行列もこのような解像度比に応じて適宜アップコンバートする。
例えば、ベースレイヤの量子化・逆量子化に用いられる４×４の量子化行列は、ノンベースレイヤの量子化・逆量子化において８×８にアップコンバートされて使用される。同様に、ベースレイヤの８×８の量子化行列は、ノンベースレイヤにおいて１６×１６にアップコンバートされる。同様に、ベースレイヤにおいて１６×１６にアップコンバートされて使用される量子化行列は、ノンベースレイヤにおいて３２×３２にアップコンバートされる。
なお、スケーラビリティ性を持たせるパラメータは、空間解像度に限らず、例えば、時間解像度がある（temporal scalability）。時間解像度スケーラビリティを有する階層画像の場合、階層毎に画像のフレームレートが異なる。また、その他にも、例えば、階層毎に画像データのビット深度が異なるビット深度スケーラビリティ（bit-depth scalability）や、階層毎にコンポーネントのフォーマットが異なるクロマスケーラビリティ（chroma scalability）等がある。
また、その他にも、例えば、階層毎に画像の信号雑音比（SNR（Signal to Noise ratio））が異なるSNRスケーラビリティ（SNR scalability）がある。
画質向上のためには、信号雑音比が低い画像程、量子化誤差をより小さくするのが望ましい。そのため、SNRスケーラビリティの場合、各階層の量子化・逆量子化には、信号雑音比に応じた、互いに異なる量子化行列（共通でない量子化行列）が用いられるようにするのが望ましい。そのため、上述したように量子化行列を階層間で共有する場合、ベースレイヤの量子化行列の行列要素に関して、エンハンスメントレイヤの行列要素を調整するためのオフセット値を伝送するようにしてもよい。より具体的には、その共通の量子化行列と、実際に用いられる量子化行列との差分を示す情報を、階層毎に伝送するようにしてもよい。例えば、各階層のシーケンスパラメータセット（SPS（Sequence Parameter Set））やピクチャパラメータセット（PPS（Picture Parameter Set））において、その差分を示す情報を伝送するようにしてもよい。この差分を示す情報は、任意である。例えば、両量子化行列の要素毎の差分値を要素とする行列であってもよいし、差分を示す関数であってもよい。
［階層画像符号化装置］
図３２は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図３２に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。
符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１０（図１）を適用することができる。つまり、例えば、上述したように、符号化部６２１および符号化部６２２は、互いに同一の量子化行列を用いて、量子化処理等を行うことができる。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
［階層画像復号装置］
図３３は、上述した階層画像復号を行う階層画像復号装置を示す図である。図３３に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。
逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置３００（図１６）を適用することができる。つまり、例えば、上述したように、復号部６３２および復号部６３３は、互いに同一の量子化行列を用いて、量子化処理等を行うことができる。このようにすることにより、量子化行列の符号量の増加を抑制することができる。
＜６．第６の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図３４に示されるようなコンピュータとして構成されるようにしてもよい。
図３４において、コンピュータ８００のCPU（Central Processing Unit）８０１は、ROM（Read Only Memory）８０２に記憶されているプログラム、または記憶部８１３からRAM（Random Access Memory）８０３にロードされたプログラムに従って各種の処理を実行する。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU８０１、ROM８０２、およびRAM８０３は、バス８０４を介して相互に接続されている。このバス８０４にはまた、入出力インタフェース８１０も接続されている。
入出力インタフェース８１０には、キーボード、マウス、タッチパネル、および入力端子などよりなる入力部８１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）、およびOELD（Organic ElectroLuminescence Display）などよりなるディスプレイ、並びにスピーカ等の任意の出力デバイスや出力端子等よりなる出力部８１２、ハードディスクやフラッシュメモリ等の任意の記憶媒体やその記憶媒体の入出力を制御する制御部等により構成される記憶部８１３、モデム、LANインタフェース、USB（Universal Serial Bus）、並びにBluetooth（登録商標）等、有線や無線の任意の通信デバイスよりなる通信部８１４が接続されている。通信部８１４は、例えばインターネットを含むネットワークを介して他の通信デバイスとの通信処理を行う。
入出力インタフェース８１０にはまた、必要に応じてドライブ８１５が接続される。そのドライブ８１５には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８２１が適宜装着される。ドライブ８１５は、例えばCPU８０１の制御に従って、自身に装着されたリムーバブルメディア８２１からコンピュータプログラムやデータ等を読み出す。その読み出されたデータやコンピュータプログラムは、例えば、RAM８０３に供給される。また、リムーバブルメディア８２１から読み出されたコンピュータプログラムは、必要に応じて記憶部８１３にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図３４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM８０２や、記憶部８１３に含まれるハードディスクなどで構成される。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態に係る画像符号化装置１０（図１）および画像復号装置３００（図１６）は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜７．第７の実施の形態＞
［テレビジョン装置］
図３５は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置３００（図１６）の機能を有する。したがって、テレビジョン装置９００は、量子化行列の符号量の増大を抑制することができる。
＜８．第８の実施の形態＞
［携帯電話機］
図３６は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０（図１）の機能、および、画像復号装置３００（図１６）の機能を有する。従って、携帯電話機９２０は、量子化行列の符号量の増大を抑制することができる。
また、以上においては携帯電話機９２０として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機９２０と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機９２０の場合と同様に、本技術を適用した画像符号化装置および画像復号装置を適用することができる。
＜９．第９の実施の形態＞
［記録再生装置］
図３７は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送部としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４またはディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４またはディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０（図１）の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置３００（図１６）の機能を有する。従って、記録再生装置９４０は、量子化行列の符号量の増大を抑制することができる。
＜１０．第１０の実施の形態＞
［撮像装置］
図３８は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送部としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０（図１）の機能、および、画像復号装置３００（図１６）の機能を有する。従って、撮像装置９６０は、量子化行列の符号量の増大を抑制することができる。
もちろん、本技術を適用した画像符号化装置および画像復号装置は、上述した装置以外の装置やシステムにも適用可能である。
＜１１．スケーラブル符号化の応用例＞
［第１のシステム］
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図３９に示される例のように、伝送するデータの選択のために利用される。
図３９に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。
その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。
なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
そして、以上のような図３９のようなデータ伝送システム１０００においても、図３１乃至図３３を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図３１乃至図３３を参照して上述した効果と同様の効果を得ることができる。
［第２のシステム］
また、スケーラブル符号化は、例えば、図４０に示される例のように、複数の通信媒体を介する伝送のために利用される。
図４０に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。
端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。
端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
そして、以上のような図４０のデータ伝送システム１１００においても、図３１乃至図３３を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図３１乃至図３３を参照して上述した効果と同様の効果を得ることができる。
［第３のシステム］
また、スケーラブル符号化は、例えば、図４１に示される例のように、符号化データの記憶に利用される。
図４１に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。
スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。
このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。
以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。
そして、以上のような図４１の撮像システム１２００においても、図３１乃至図３３を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図３１乃至図３３を参照して上述した効果と同様の効果を得ることができる。
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。
なお、本明細書では、量子化行列及び量子化行列に関連するパラメータが、符号化側から復号側へ伝送される例について説明した。量子化行列及び量子化行列に関連するパラメータを伝送する手法は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を受け取る受け取り部と、
前記受け取り部により受け取られた符号化データを復号処理して量子化データを生成する復号部と、
前記受け取り部により受け取られた量子化行列を、前記伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートするアップコンバート部と、
前記アップコンバート部によりアップコンバートされた量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部と
を備える画像処理装置。
（２） 前記受け取り部により受け取られた量子化行列は、前記伝送サイズとしてデフォルト量子化行列サイズと同じサイズである
（１）並びに（３）乃至（１９）のいずれかに記載の画像処理装置。
（３） 前記受け取り部により受け取られた量子化行列は、前記伝送サイズとしてデフォルト量子化行列の最大サイズと同じサイズである
（１）、（２）、並びに（４）乃至（１９）のいずれかに記載の画像処理装置。
（４） 前記伝送サイズは、８×８であり、
前記受け取り部により受け取られた量子化行列は、８×８サイズである
（１）乃至（３）並びに（５）乃至（１９）のいずれかに記載の画像処理装置。
（５） 前記アップコンバート部は、前記受け取り部により受け取られた量子化行列の行列要素に対して補間処理を行うことにより、前記伝送サイズ以下に制限された量子化行列をアップコンバートする
（１）乃至（４）並びに（６）乃至（１９）のいずれかに記載の画像処理装置。
（６） 前記アップコンバート部は、前記受け取り部により受け取られた量子化行列の行列要素に対して最近傍補間処理を行うことにより、前記伝送サイズ以下に制限された量子化行列をアップコンバートする
（１）乃至（５）並びに（７）乃至（１９）のいずれかに記載の画像処理装置。
（７） 前記伝送サイズは、８×８であり、
前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記最近傍補間処理を行うことにより、１６×１６サイズの量子化行列にアップコンバートする
（１）乃至（６）並びに（８）乃至（１９）のいずれかに記載の画像処理装置。
（８） 前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記最近傍補間処理を行うことにより、３２×３２サイズの量子化行列にアップコンバートする
（１）乃至（７）並びに（９）乃至（１９）のいずれかに記載の画像処理装置。
（９） 前記アップコンバート部は、前記伝送サイズ以下に制限された正方の量子化行列の行列要素に対して補間処理を行うことにより、非正方の量子化行列にアップコンバートする
（１）乃至（８）並びに（１０）乃至（１９）のいずれかに記載の画像処理装置。
（１０） 前記伝送サイズは、８×８であり、
前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、８×３２サイズの量子化行列又は３２×８サイズの量子化行列にアップコンバートする
（１）乃至（９）並びに（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１１） 前記伝送サイズは、８×８であり、
前記アップコンバート部は、４×４サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、４×１６サイズの量子化行列又は１６×４サイズの量子化行列にアップコンバートする
（１）乃至（１０）並びに（１２）乃至（１９）のいずれかに記載の画像処理装置。
（１２） 前記伝送サイズは、８×８であり、
前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、２×３２サイズの量子化行列、３２×２サイズの量子化行列、１×１６サイズの量子化行列、又は１６×１サイズの量子化行列にアップコンバートする
（１）乃至（１１）並びに（１３）乃至（１９）のいずれかに記載の画像処理装置。
（１３） 復号処理する際の処理単位であるコーディングユニットと変換処理をする際の処理単位であるトランスフォームユニットとが階層構造を有し、
前記復号部は、前記符号化データを、階層構造を有する単位で復号処理し、
前記アップコンバート部は、前記受け取り部により受け取られた量子化行列を、前記伝送サイズから逆量子化を行う処理単位であるトランスフォームユニットのサイズに、アップコンバートする
（１）乃至（１２）並びに（１４）乃至（１９）のいずれかに記載の画像処理装置。
（１４） 前記量子化行列は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列として設定されており、
前記受け取り部は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列を受け取り、
前記アップコンバート部は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列を用いて、前記受け取り部により受け取られた量子化行列をアップコンバートする
（１）乃至（１３）並びに（１５）乃至（１９）のいずれかに記載の画像処理装置。
（１５） 前記伝送サイズは、８×８であり、
前記アップコンバート部は、逆量子化する際の処理単位であるブロックサイズが１６×１６である場合に、第１の量子化行列をアップコンバートし、逆量子化する際の処理単位であるブロックサイズが３２×３２である場合に、前記第１の量子化行列と行列要素が異なる第２の量子化行列をアップコンバートする
（１）乃至（１４）並びに（１６）乃至（１９）のいずれかに記載の画像処理装置。
（１６） 前記受け取り部は、アップコンバートするサイズに応じて異なる量子化行列を受け取り、
前記アップコンバート部は、アップコンバートするサイズ応じた量子化行列を用いてアップコンバートする
（１）乃至（１５）並びに（１７）乃至（１９）のいずれかに記載の画像処理装置。
（１７） 前記受け取り部は、第１のサイズにアップコンバートする際に用いる第１の量子化行列と第１のサイズより大きな第２のサイズにアップコンバートする際に用いる第２の量子化行列とを受け取り、
前記アップコンバート部は、変換単位が第１のサイズの場合、前記受け取り部により受け取られた前記第１の量子化行列をアップコンバートする
（１）乃至（１６）、（１８）、並びに（１９）のいずれかに記載の画像処理装置。
（１８） 前記アップコンバート部は、変換単位が第２のサイズの場合、前記受け取り部により受け取られた前記第２の量子化行列をアップコンバートする
（１）乃至（１７）並びに（１９）のいずれかに記載の画像処理装置。
（１９） 前記第１のサイズは１６×１６であり、
前記第２のサイズは３２×３２である
（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 画像処理装置の画像処理方法であって、
前記画像処理装置が、
画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を受け取り、
受け取られた符号化データを復号処理して量子化データを生成し、
受け取られた量子化行列を、前記伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートし、
アップコンバートされた量子化行列を用いて、生成された量子化データを逆量子化する
画像処理方法。
（２１） 伝送の際に許容される最大サイズである伝送サイズから、画像を量子化した量子化データを逆量子化する際の処理単位であるブロックサイズと同じサイズにアップコンバートする際に用いる量子化行列を設定する設定部と、
前記設定部により設定された量子化行列を用いて、前記画像を量子化して量子化データを生成する量子化部と、
前記量子化部により生成された量子化データを符号化処理して、符号化データを生成する符号化部と、
前記符号化部により生成された符号化データと、前記設定部により設定された、前記伝送サイズ以下に制限された量子化行列とを伝送する伝送部と
を備える画像処理装置。
（２２） 前記伝送サイズは、８×８であり、
前記設定部により設定される量子化行列は、８×８である
（２１）並びに（２３）乃至（２５）のいずれかに記載の画像処理装置。
（２３） 前記量子化行列は、８×８サイズから１６×１６サイズ又は３２×３２サイズにアップコンバートする際に用いる量子化行列である
（２１）、（２２）、（２４）、および（２５）のいずれかに記載の画像処理装置。
（２４） 前記量子化行列は、３２×３２サイズにアップコンバートする際に用いる量子化行列である
（２１）乃至（２３）、並びに（２５）のいずれかに記載の画像処理装置。
（２５） 符号化処理する際の処理単位であるコーディングユニットと変換処理をする際の処理単位であるトランスフォームユニットとが階層構造を有し、
前記符号化部は、前記量子化データを、階層構造を有する単位で符号化処理する
（２１）乃至（２４）のいずれかに記載の画像処理装置。
（２６） 画像処理装置の画像処理方法であって、
前記画像処理装置が、
伝送の際に許容される最大サイズである伝送サイズから、画像を量子化した量子化データを逆量子化する際の処理単位であるブロックサイズと同じサイズにアップコンバートする際に用いる量子化行列を設定し、
設定された量子化行列を用いて、前記画像を量子化して量子化データを生成し、
生成された量子化データを符号化処理して、符号化データを生成し、
生成された符号化データと、設定された、前記伝送サイズ以下に制限された量子化行列とを伝送する
画像処理方法。
１０ 画像符号化装置， １４ 直交変換・量子化部， １６ 可逆符号化部， １５０ 行列処理部， １５２ 予測部， １５４ 差分演算部， １６１ 予測部， １６２ 差分行列生成部， １６３ 差分行列サイズ変換部， １６４ エントロピ符号化部， １６５ 復号部， １６６ 出力部， １７１ コピー部， １７２ 予測行列生成部， １８１ 予測行列サイズ変換部， １８２ 演算部， １８３ 量子化部， １９１ 重複判定部， １９２ DPCM部， １９３ expG部， ２０１ 量子化行列復元部， ２０２ 記憶部， ３００ 画像復号装置， ３１３ 逆量子化・逆直交変換部， ４１０ 行列生成部， ５３１ パラメータ解析部， ５３２ 予測部， ５３３ エントロピ復号部， ５３４ 量子化行列復元部， ５３５ 出力部， ５３６ 記憶部， ５４１ コピー部， ５４２ 予測行列生成部， ５５１ expG部， ５５２ 逆DPCM部， ５５３ 逆重複判定部， ５６１ 予測行列サイズ変換部， ５６２ 差分行列サイズ変換部， ５６３ 逆量子化部， ５６４ 演算部， ７０１ 量子化行列サイズ変換部， ７２１ 量子化行列サイズ変換部

Claims (20)

  1. 画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を受け取る受け取り部と、
    前記受け取り部により受け取られた符号化データを復号処理して量子化データを生成する復号部と、
    前記受け取り部により受け取られた量子化行列を、前記伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートするアップコンバート部と、
    前記アップコンバート部によりアップコンバートされた量子化行列を用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部と
    を備える画像処理装置。
  2. 前記受け取り部により受け取られた量子化行列は、前記伝送サイズとしてデフォルト量子化行列サイズと同じサイズである
    請求項１に記載の画像処理装置。
  3. 前記受け取り部により受け取られた量子化行列は、前記伝送サイズとしてデフォルト量子化行列の最大サイズと同じサイズである
    請求項２に記載の画像処理装置。
  4. 前記伝送サイズは、８×８であり、
    前記受け取り部により受け取られた量子化行列は、８×８サイズである
    請求項３に記載の画像処理装置。
  5. 前記アップコンバート部は、前記受け取り部により受け取られた量子化行列の行列要素に対して補間処理を行うことにより、前記伝送サイズ以下に制限された量子化行列をアップコンバートする
    請求項１に記載の画像処理装置。
  6. 前記アップコンバート部は、前記受け取り部により受け取られた量子化行列の行列要素に対して最近傍補間処理を行うことにより、前記伝送サイズ以下に制限された量子化行列をアップコンバートする
    請求項５に記載の画像処理装置。
  7. 前記伝送サイズは、８×８であり、
    前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記最近傍補間処理を行うことにより、１６×１６サイズの量子化行列にアップコンバートする
    請求項６に記載の画像処理装置。
  8. 前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記最近傍補間処理を行うことにより、３２×３２サイズの量子化行列にアップコンバートする
    請求項６に記載の画像処理装置。
  9. 前記アップコンバート部は、前記伝送サイズ以下に制限された正方の量子化行列の行列要素に対して補間処理を行うことにより、非正方の量子化行列にアップコンバートする
    請求項１に記載の画像処理装置。
  10. 前記伝送サイズは、８×８であり、
    前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、８×３２サイズの量子化行列又は３２×８サイズの量子化行列にアップコンバートする
    請求項９に記載の画像処理装置。
  11. 前記伝送サイズは、８×８であり、
    前記アップコンバート部は、４×４サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、４×１６サイズの量子化行列又は１６×４サイズの量子化行列にアップコンバートする
    請求項９に記載の画像処理装置。
  12. 前記伝送サイズは、８×８であり、
    前記アップコンバート部は、８×８サイズの量子化行列の行列要素に対して前記補間処理を行うことにより、２×３２サイズの量子化行列、３２×２サイズの量子化行列、１×１６サイズの量子化行列、又は１６×１サイズの量子化行列にアップコンバートする
    請求項９に記載の画像処理装置。
  13. 復号処理する際の処理単位であるコーディングユニットと変換処理をする際の処理単位であるトランスフォームユニットとが階層構造を有し、
    前記復号部は、前記符号化データを、階層構造を有する単位で復号処理し、
    前記アップコンバート部は、前記受け取り部により受け取られた量子化行列を、前記伝送サイズから逆量子化を行う処理単位であるトランスフォームユニットのサイズに、アップコンバートする
    請求項１に記載の画像処理装置。
  14. 前記量子化行列は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列として設定されており、
    前記受け取り部は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列を受け取り、
    前記アップコンバート部は、逆量子化する際の処理単位であるブロックサイズに応じて行列要素が異なる量子化行列を用いて、前記受け取り部により受け取られた量子化行列をアップコンバートする
    請求項１に記載の画像処理装置。
  15. 前記伝送サイズは、８×８であり、
    前記アップコンバート部は、逆量子化する際の処理単位であるブロックサイズが１６×１６である場合に、第１の量子化行列をアップコンバートし、逆量子化する際の処理単位であるブロックサイズが３２×３２である場合に、前記第１の量子化行列と行列要素が異なる第２の量子化行列をアップコンバートする
    請求項１４に記載の画像処理装置。
  16. 画像処理装置の画像処理方法であって、
    前記画像処理装置が、
    画像を符号化処理した符号化データと、伝送の際に許容される最大サイズである伝送サイズ以下に制限された量子化行列を受け取り、
    受け取られた符号化データを復号処理して量子化データを生成し、
    受け取られた量子化行列を、前記伝送サイズから逆量子化する際の処理単位であるブロックサイズと同じサイズに、アップコンバートし、
    アップコンバートされた量子化行列を用いて、生成された量子化データを逆量子化する
    画像処理方法。
  17. 伝送の際に許容される最大サイズである伝送サイズから、画像を量子化した量子化データを逆量子化する際の処理単位であるブロックサイズと同じサイズにアップコンバートする際に用いる量子化行列を設定する設定部と、
    前記設定部により設定された量子化行列を用いて、前記画像を量子化して量子化データを生成する量子化部と、
    前記量子化部により生成された量子化データを符号化処理して、符号化データを生成する符号化部と、
    前記符号化部により生成された符号化データと、前記設定部により設定された、前記伝送サイズ以下に制限された量子化行列とを伝送する伝送部と
    を備える画像処理装置。
  18. 前記伝送サイズは、８×８であり、
    前記設定部により設定される量子化行列は、８×８である
    請求項１７に記載の画像処理装置。
  19. 前記量子化行列は、８×８サイズから１６×１６サイズ又は３２×３２サイズにアップコンバートする際に用いる量子化行列である
    請求項１８に記載の画像処理装置。
  20. 画像処理装置の画像処理方法であって、
    前記画像処理装置が、
    伝送の際に許容される最大サイズである伝送サイズから、画像を量子化した量子化データを逆量子化する際の処理単位であるブロックサイズと同じサイズにアップコンバートする際に用いる量子化行列を設定し、
    設定された量子化行列を用いて、前記画像を量子化して量子化データを生成し、
    生成された量子化データを符号化処理して、符号化データを生成し、
    生成された符号化データと、設定された、前記伝送サイズ以下に制限された量子化行列とを伝送する
    画像処理方法。
JP2013550202A 2011-12-19 2012-11-30 画像処理装置および方法、記録媒体、並びに、プログラム Active JP5904212B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013550202A JP5904212B2 (ja) 2011-12-19 2012-11-30 画像処理装置および方法、記録媒体、並びに、プログラム

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2011277745 2011-12-19
JP2011277745 2011-12-19
JP2012008462 2012-01-18
JP2012008462 2012-01-18
JP2012039216 2012-02-24
JP2012039216 2012-02-24
PCT/JP2012/081057 WO2013094385A1 (ja) 2011-12-19 2012-11-30 画像処理装置および方法
JP2013550202A JP5904212B2 (ja) 2011-12-19 2012-11-30 画像処理装置および方法、記録媒体、並びに、プログラム

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2015033125A Division JP5967235B2 (ja) 2011-12-19 2015-02-23 画像処理装置および方法、記録媒体、並びに、プログラム
JP2016045171A Division JP6075483B2 (ja) 2011-12-19 2016-03-09 画像処理装置および方法、記録媒体、並びに、プログラム
JP2016045170A Division JP6075482B2 (ja) 2011-12-19 2016-03-09 画像処理装置および方法、記録媒体、並びに、プログラム

Publications (2)

Publication Number Publication Date
JPWO2013094385A1 true JPWO2013094385A1 (ja) 2015-04-27
JP5904212B2 JP5904212B2 (ja) 2016-04-13

Family

ID=48668284

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2013550202A Active JP5904212B2 (ja) 2011-12-19 2012-11-30 画像処理装置および方法、記録媒体、並びに、プログラム
JP2015033125A Active JP5967235B2 (ja) 2011-12-19 2015-02-23 画像処理装置および方法、記録媒体、並びに、プログラム
JP2016045171A Active JP6075483B2 (ja) 2011-12-19 2016-03-09 画像処理装置および方法、記録媒体、並びに、プログラム
JP2016045170A Active JP6075482B2 (ja) 2011-12-19 2016-03-09 画像処理装置および方法、記録媒体、並びに、プログラム
JP2017001207A Active JP6296179B2 (ja) 2011-12-19 2017-01-06 画像処理装置および方法、記録媒体、並びに、プログラム
JP2017001208A Active JP6296180B2 (ja) 2011-12-19 2017-01-06 画像処理装置および方法、記録媒体、並びに、プログラム

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2015033125A Active JP5967235B2 (ja) 2011-12-19 2015-02-23 画像処理装置および方法、記録媒体、並びに、プログラム
JP2016045171A Active JP6075483B2 (ja) 2011-12-19 2016-03-09 画像処理装置および方法、記録媒体、並びに、プログラム
JP2016045170A Active JP6075482B2 (ja) 2011-12-19 2016-03-09 画像処理装置および方法、記録媒体、並びに、プログラム
JP2017001207A Active JP6296179B2 (ja) 2011-12-19 2017-01-06 画像処理装置および方法、記録媒体、並びに、プログラム
JP2017001208A Active JP6296180B2 (ja) 2011-12-19 2017-01-06 画像処理装置および方法、記録媒体、並びに、プログラム

Country Status (15)

Country Link
US (7) US9635354B2 (ja)
EP (1) EP2797322A4 (ja)
JP (6) JP5904212B2 (ja)
KR (6) KR102094557B1 (ja)
CN (6) CN108924563B (ja)
AR (1) AR089223A1 (ja)
AU (3) AU2012355057B2 (ja)
CA (1) CA2856348C (ja)
HK (1) HK1258600A1 (ja)
MX (3) MX346765B (ja)
MY (2) MY194502A (ja)
PH (2) PH12014501332A1 (ja)
SG (2) SG10201407305TA (ja)
TW (5) TWI620433B (ja)
WO (1) WO2013094385A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
KR102094557B1 (ko) * 2011-12-19 2020-03-27 소니 주식회사 화상 처리 장치 및 방법
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
US9967559B1 (en) * 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
EP3510775A4 (en) * 2016-09-13 2020-03-04 MediaTek Inc. METHOD FOR SEVERAL QUANTIFICATION MATRIX SETS FOR VIDEO CODING
KR102459734B1 (ko) * 2017-08-30 2022-10-28 삼성전자 주식회사 영상처리장치 및 그 제어방법
CN111373757B (zh) * 2017-11-24 2022-10-21 索尼公司 图像处理设备和方法
CN116233459A (zh) * 2018-03-30 2023-06-06 松下电器（美国）知识产权公司 编码装置、解码装置以及存储介质
US10659781B2 (en) * 2018-04-02 2020-05-19 Tencent America LLC Concatenated coding units in flexible tree structure
JP2020098984A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
JP2020098983A (ja) 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
WO2020179715A1 (ja) * 2019-03-01 2020-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JP2020150340A (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
JP2020150338A (ja) 2019-03-11 2020-09-17 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
JP7267785B2 (ja) * 2019-03-11 2023-05-02 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
CN113728640B (zh) * 2019-04-23 2024-08-02 北京字节跳动网络技术有限公司 帧内预测和残差编解码
CN113841403A (zh) * 2019-05-15 2021-12-24 现代自动车株式会社 影像解码装置中使用的逆量化装置和方法
WO2020231228A1 (ko) * 2019-05-15 2020-11-19 현대자동차주식회사 영상 복호화 장치에서 이용하는 역양자화장치 및 방법
TWI813988B (zh) * 2021-05-05 2023-09-01 宏正自動科技股份有限公司 影像傳輸方法以及影像傳輸系統

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100234194B1 (ko) * 1997-03-26 1999-12-15 윤종용 이전계층 양자화표를 이용한 다중계층 부호화기의 부호화방법
JP4099682B2 (ja) * 1998-09-18 2008-06-11 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6529634B1 (en) 1999-11-08 2003-03-04 Qualcomm, Inc. Contrast sensitive variance based adaptive block size DCT image compression
KR100584552B1 (ko) * 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치
MXPA05006718A (es) * 2003-02-21 2005-09-08 Matsushita Electric Ind Co Ltd Metodo de codificacion de imagenes y metodo de decodificacion de imagenes.
EP1665133A4 (en) * 2004-01-20 2009-05-13 Panasonic Corp IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING APPARATUS, IMAGE DECODING APPARATUS, AND CORRESPONDING PROGRAM
CN100542262C (zh) * 2004-01-30 2009-09-16 松下电器产业株式会社 逆量化方法图像解码方法和设备及处理器
JP4146444B2 (ja) * 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置
JP2007053554A (ja) * 2005-08-17 2007-03-01 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム
JP4114885B2 (ja) * 2005-10-31 2008-07-09 松下電器産業株式会社 画像符号化装置、方法、及びプログラム
WO2007094100A1 (ja) * 2006-02-13 2007-08-23 Kabushiki Kaisha Toshiba 動画像符号化／復号化方法及び装置並びにプログラム
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
CN100409693C (zh) * 2006-07-13 2008-08-06 王国秋 用于图像和视频压缩的正交变换方法
CN101123723B (zh) * 2006-08-11 2011-01-12 北京大学 基于图形处理器的数字视频解码方法
JP5257215B2 (ja) * 2009-04-16 2013-08-07 ソニー株式会社 画像符号化装置と画像符号化方法
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
CN102224731A (zh) * 2009-09-22 2011-10-19 松下电器产业株式会社 图像编码装置、图像解码装置、图像编码方法及图像解码方法
CN101674478B (zh) * 2009-10-19 2012-09-19 浙江大学 基于压缩域的视频超分辨率方法
WO2011052216A1 (ja) * 2009-10-30 2011-05-05 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
EP2495973B1 (en) * 2009-10-30 2019-02-27 Sun Patent Trust Decoding method, decoder apparatus, encoding method, and encoder apparatus
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101633153B1 (ko) * 2010-04-01 2016-06-23 소니 주식회사 화상 처리 장치 및 방법
JP5871906B2 (ja) * 2010-04-26 2016-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号方法、プログラムおよび復号装置
DK3177017T3 (da) * 2010-06-04 2020-03-02 Sony Corp Kodning af en qp og en delta qp for billedblokke, der er større end en minimumsstørrelse
US9167252B2 (en) * 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
KR102094557B1 (ko) * 2011-12-19 2020-03-27 소니 주식회사 화상 처리 장치 및 방법
CN106744780B (zh) 2017-03-22 2019-06-28 广东光华科技股份有限公司 一种高压实锂离子电池正极材料磷酸铁锂的制备方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6013009531; Ｍｉｎｈｕａ　Ｚｈｏｕ，　Ｖｉｖｉｅｎｎｅ　Ｓｚｅ: Ｎｏｎ-ＣＥ０４：　Ｃａｒｒｉａｇｅ　ｏｆ　ｌａｒｇｅ　ｂｌｏｃｋ　ｓｉｚｅ　ｑｕａｎｔｉｚａｔｉｏｎ　ｍａｔｒｉｃｅｓ　ｗｉｔｈ　ｕｐ-ｓａｍｐｌｉｎｇ , 20111119, Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ-ＶＣ） *
JPN6013009533; Ｘｉｍｉｎ　Ｚｈａｎｇ，　Ｓｈａｎ　Ｌｉｕ，　Ｓｈａｗｍｉｎ　Ｌｅｉ: Ｍｅｔｈｏｄ　ａｎｄ　ｓｙｎｔａｘ　ｆｏｒ　ｑｕａｎｔｉｚａｔｉｏｎ　ｍａｔｒｉｃｅｓ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ , 20111121, Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ-ＶＣ） *

Also Published As

Publication number Publication date
TW201703523A (zh) 2017-01-16
SG10201407305TA (en) 2014-12-30
KR20200023499A (ko) 2020-03-04
AU2016203936B2 (en) 2017-05-18
CN108924566B (zh) 2022-06-28
TWI577175B (zh) 2017-04-01
US11758139B2 (en) 2023-09-12
TWI559742B (zh) 2016-11-21
PH12014501332B1 (en) 2014-09-15
JP6075482B2 (ja) 2017-02-08
JP5904212B2 (ja) 2016-04-13
JP2017085641A (ja) 2017-05-18
AU2017203441B2 (en) 2018-08-02
TW201720156A (zh) 2017-06-01
MX2022016363A (es) 2023-04-04
CN108924564B (zh) 2022-12-16
EP2797322A1 (en) 2014-10-29
AU2012355057A2 (en) 2014-07-24
US20210211670A1 (en) 2021-07-08
KR20200023500A (ko) 2020-03-04
PH12014501332A1 (en) 2014-09-15
MY194502A (en) 2022-11-30
CN103988508B (zh) 2018-10-12
CN108924566A (zh) 2018-11-30
KR20140109875A (ko) 2014-09-16
HK1258600A1 (zh) 2019-11-15
KR102094557B1 (ko) 2020-03-27
TWI620433B (zh) 2018-04-01
AR089223A1 (es) 2014-08-06
CA2856348C (en) 2021-06-08
JP6075483B2 (ja) 2017-02-08
US20200112723A1 (en) 2020-04-09
AU2012355057A1 (en) 2014-07-10
AU2016203936A1 (en) 2016-07-07
AU2012355057B2 (en) 2016-08-18
US20170353726A1 (en) 2017-12-07
CN104469376A (zh) 2015-03-25
JP6296179B2 (ja) 2018-03-20
KR20200023501A (ko) 2020-03-04
JP2017085642A (ja) 2017-05-18
US20140321539A1 (en) 2014-10-30
MX346765B (es) 2017-03-31
US20170155904A1 (en) 2017-06-01
CN104469376B (zh) 2018-05-15
US20240205405A1 (en) 2024-06-20
AU2017203441A1 (en) 2017-06-08
SG11201402920TA (en) 2014-11-27
JP2016129422A (ja) 2016-07-14
TW201545538A (zh) 2015-12-01
EP2797322A4 (en) 2015-07-22
TW201332373A (zh) 2013-08-01
MX2014007054A (es) 2014-08-01
TWI519138B (zh) 2016-01-21
CN103988508A (zh) 2014-08-13
PH12016502471B1 (en) 2017-04-17
MY174497A (en) 2020-04-23
US9781422B2 (en) 2017-10-03
CN108924563A (zh) 2018-11-30
JP2016131381A (ja) 2016-07-21
US10136135B2 (en) 2018-11-20
US10560697B2 (en) 2020-02-11
US20190028708A1 (en) 2019-01-24
CA2856348A1 (en) 2013-06-27
JP2015100135A (ja) 2015-05-28
MX2020004342A (es) 2020-08-06
PH12016502471A1 (en) 2017-04-17
CN108924564A (zh) 2018-11-30
CN108924565B (zh) 2022-04-29
CN108924563B (zh) 2022-11-15
KR20200023497A (ko) 2020-03-04
TW201707451A (zh) 2017-02-16
US9635354B2 (en) 2017-04-25
KR20200023498A (ko) 2020-03-04
TWI577174B (zh) 2017-04-01
JP6296180B2 (ja) 2018-03-20
CN108924565A (zh) 2018-11-30
WO2013094385A1 (ja) 2013-06-27
JP5967235B2 (ja) 2016-08-10

Similar Documents

Publication Publication Date Title
JP6296179B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP6075486B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160229

R151 Written notification of patent or utility model registration

Ref document number: 5904212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250