JP5670444B2 - 符号化装置および復号装置 - Google Patents

符号化装置および復号装置 Download PDF

Info

Publication number
JP5670444B2
JP5670444B2 JP2012514768A JP2012514768A JP5670444B2 JP 5670444 B2 JP5670444 B2 JP 5670444B2 JP 2012514768 A JP2012514768 A JP 2012514768A JP 2012514768 A JP2012514768 A JP 2012514768A JP 5670444 B2 JP5670444 B2 JP 5670444B2
Authority
JP
Japan
Prior art keywords
unit
value
difference value
side information
unit region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012514768A
Other languages
English (en)
Other versions
JPWO2011142279A1 (ja
Inventor
将伸 八杉
将伸 八杉
知宏 猪飼
知宏 猪飼
山本　智幸
智幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012514768A priority Critical patent/JP5670444B2/ja
Publication of JPWO2011142279A1 publication Critical patent/JPWO2011142279A1/ja
Application granted granted Critical
Publication of JP5670444B2 publication Critical patent/JP5670444B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像を符号化し符号化データを生成する符号化装置に関する。また、そのような符号化装置を用いて生成された符号化データを復号する復号装置に関する。
動画像を効率的に伝送または記録するために、動画像符号化装置が用いられている。具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ２６４／ＡＶＣと略記）（非特許文献１）、および、ＶＣＥＧ(Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ)における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式などが挙げられる。
このような符号化方式においては、普通、動画像を構成する画像（ピクチャ）を分割することにより得られるスライス、スライスを分割することにより得られるマクロブロック、マクロブロックを分割することにより得られるサブマクロブロック、及び、マクロブロックまたはサブマクロブロックを分割することより得られるブロックからなる階層構造により管理される。
Ｈ２６４／ＡＶＣ方式の動画像符号化装置は、（１）画像をＤＣＴ変換し、（２）ＤＣＴ変換（離散コサイン変換）により得られた周波数成分を量子化し、（３）量子化された周波数成分を可変長符号化することによって、符号化画像を得る。量子化の際に用いる量子化ステップは、マクロブロック毎に変更可能であり、動画像符号化装置は、この量子化ステップの大きさを指定する量子化パラメータを符号化して、符号化画像と共に動画像復号装置に提供するように構成されている。
上記量子化パラメータの符号化処理について、図７（ａ）、図１１および図１２を参照しながら、詳細に説明する。
図７（ａ）は、マクロブロックＭＢ１〜ＭＢｎから構成されるスライスを模式的に示した図である。また、図１２は、マクロブロックＭＢ１〜ＭＢｎに割り当てられる量子化パラメータの差分値の例を示した図であり、図１１は、量子化パラメータの差分値と符号番号と符号番号を２値化した場合に出力される２値列との関係を示した表である。
図１２に示すように、動画像符号化装置は、ピクチャごとに、該ピクチャの量子化パラメータのデフォルト値pic＿init＿qp（以下、「ピクチャデフォルトＱＰ値」と称する）を決定する。そして、ピクチャに含まれる各スライスについて、該スライスの量子化パラメータのデフォルト値SliceQPY（以下、「スライスデフォルトＱＰ値」と称する）を決定する。さらに、動画像符号化装置は、各スライスについて、該スライスのスライスデフォルトＱＰ値から該スライスを含むピクチャのピクチャデフォルトＱＰ値を引き算して得られる差分値slice＿qp＿deltaを生成する。
また、動画像符号化装置は、スライスに含まれるマクロブロックＭＢｉ（ｉ＝１〜ｎ）についてスライスごとにラスタスキャン順で量子化パラメータQPYを決定するとともに、決定した量子化パラメータからラスタスキャン順で１つ前のマクロブロックＭＢｉ―１の量子化パラメータを引き算して得られる差分値mb＿qp＿delta（以下、「ＱＰ差分値」とも称する）を、マクロブロックＭＢｉのＱＰ差分値として決定する。なお、ラスタスキャン順で最初のマクロブロックＭＢ１のＱＰ差分値mb＿qp＿deltaは、マクロブロックＭＢ１について決定した量子化パラメータからマクロブロックＭＢ１を含むスライスのスライスデフォルトＱＰ値SliceQPYを引き算した値である。
動画像符号化装置は、以上のように生成したＱＰ差分値mb＿qp＿deltaを、図１１の表に基づいて２値化する。すなわち、ＱＰ差分値は、その絶対値がｎである場合、ユーナリバイナリゼーションにより長さが２ｎまたは２ｎ＋１の２値列に変換される。
このような動画像符号化装置および動画像復号装置の処理には以下の利点がある。
すなわち、１）動画像復号装置の復号画像の主観画質を損なうことなく、符号化画像（主情報）の符号量を効率的に削減することが可能である。また、２）量子化パラメータを適切に調整することにより１フレームあたりの符号化画像の符号量を目標レートに保つことが可能である。
さらに、３）後に参照画像として扱われる画像をよりも小さい量子化ステップで量子化することにより、後に生成する予測残差の符号量を削減し、ひいては、動画像全体の符号量を削減することが可能である。４）ＲＤ（レート歪み）コストが小さくなるよう量子化パラメータの値を調整することにより、符号化効率を向上させることが可能である。
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４（０３／２００９）
しかしながら、上記従来の構成では、符号化画像（主情報）の符号量を削減できるものの、主情報とともに動画像復号装置にサイド情報として供給するＱＰ差分値の符号量は十分に削減できているとは言えない。例えば、ＱＰ差分値の符号量は、動画像復号装置に供給する符号化データ全体の１０％程度を占有してしまうこともある。これは、図１１からわかるように、ＱＰ差分値の符号量がＱＰ差分値の絶対値に比例して大きくなるためである。
本発明は、上記課題に鑑みて成されたものであり、その主な目的は、復号装置に供給する量子化パラメータの符号量を従来に比べてより削減することが可能な符号化装置、および、そのような符号化装置から供給された量子化パラメータに基づいて逆量子化することが可能な復号装置を実現することにある。
本発明に係る符号化装置は、上記課題を解決するために、符号化すべき入力画像を構成する複数の単位領域の各々について、該単位領域内の画像に対し量子化パラメータの値に応じた量子化を行う符号化装置において、各単位領域を符号化する際に用いる量子化パラメータを設定する設定手段であって、各単位領域について、該単位領域における量子化パラメータの差が予め定められたｎ個の差分値の何れかに一致するように、各単位領域の量子化パラメータを設定する設定手段と、上記ｎ個の差分値の各々をｎ個の整数の何れかに１対１に変換する変換規則に従って、各単位領域について、該単位領域における量子化パラメータと上記所定の基準値との差を整数に変換する変換手段と、上記変換手段により変換された上記整数の絶対値の大きさに応じた長さの２値列を生成する２値列生成手段と、を備え、上記ｎ個の整数は上記ｎ個の差分値よりも絶対値の総和が小さいことを特徴としている。
ここで、従来の符号化装置では、各単位領域について該単位領域における量子化パラメータの差を、直接、差の絶対値の大きさに応じた長さの２値列を生成するようになっている。
一方、本発明に係る符号化装置では、各単位領域について、該単位領域における量子化パラメータの差を整数に変換し、整数の絶対値の大きさに応じた長さの２値列を生成するようになっている。また、上記ｎ個の整数は、上記量子化パラメータの差の候補となるｎ個の差分値よりも、絶対値の総和が小さいことから、統計的には、上記変換の対象となる差分値の絶対値に比べ、上記変換により得られる整数の絶対値のほうが、値が小さくなる。
したがって、本発明に係る符号化装置は、従来の符号化装置に比べて、上記量子化パラメータの差から生成する２値列の長さが小さくなる。これにより、復号装置に供給する量子化パラメータの符号量を従来に比べてより削減することができるという効果を奏する。
本発明に係る復号装置は、上記課題を解決するために、符号化データを復号することによって、復号画像を構成する各単位領域に関する量子化パラメータを設定する復号装置において、上記符号化データから各単位領域に関する２値列のデータを抽出する抽出手段と、上記抽出手段が抽出した各２値列のデータから各単位領域に関する２値列の長さに応じた整数値を生成する整数生成手段と、ｎ個の整数と、量子化パラメータに関するｎ個の差分値と、が１対１に対応付けられている情報に基づいて、上記整数生成手段が生成した各単位領域に関する整数値から、各単位領域に関する差分値を特定する特定手段と、を備え、各単位領域に関する量子化パラメータは、上記特定手段が特定した各差分値から生成されることを特徴としている。
上記の構成によれば、本発明に係る符号化装置から上記２値列を含む符号化データが入力された場合に、本発明に係る復号装置は、上記符号化データに基づいて各単位領域に関する差分値を適切に特定することができる。すなわち、本発明に係る復号装置は、本発明に係る符号化装置から供給された各単位領域に関する量子化パラメータを適切に特定することができる。
したがって、本発明に係る復号装置は、本発明に係る符号化装置から供給された量子化パラメータに基づいて逆量子化することが可能であるという効果を奏する。
また、本発明に係る符号化装置は、上記課題を解決するために、符号化すべき入力画像を構成する複数の単位領域の各々について、該単位領域内の画像に対し量子化パラメータの値に応じた量子化を行う符号化装置において、上記複数の単位領域の各々について、該単位領域を構成する複数の第３単位領域を所定の順序で選択する選択手段と、上記複数の単位領域の各々について、該単位領域に含まれる量子化の対象となる第３単位領域の中から上記選択手段が最初に選択した第３単位領域に関し、該第３単位領域の量子化パラメータの差分値を決定する決定手段と、上記複数の単位領域の各々について、該単位領域に含まれる量子化の対象となる各第３単位領域内の画像に対して量子化を行うために参照する上記量子化パラメータの値を、上記決定手段が該単位領域内において決定した上記量子化パラメータの差分値から算出する算出手段と、を備えていることを特徴としている。ここで、「画像に対して量子化を行う」こととは、入力画像と予測画像の残差画像を量子化すること、及び、残差画像を周波数変換して得られる変換係数を量子化すること、の何れのであってもよい。
上記の構成によれば、本発明に係る符号化装置は、各単位領域について該単位領域の中から選択した１つの第３単位領域について量子化パラメータの差分値を決定し、その量子化パラメータの差分値を用いて、量子化の対象となる各第３単位領域の量子化パラメータを決定する。一方、上記特徴を備えていない符号化装置は、量子化の対象となる各第３単位領域の量子化パラメータを決定し、各第３単位領域の量子化パラメータから、各第３単位領域の量子化パラメータの差分値を決定する。
すなわち、復号装置側で逆量子化を行うためには、本発明に係る符号化装置は、１つの単位領域あたり、量子化パラメータの差分値を１つ決定して復号装置に伝送すればよいが、上記特徴を備えていない符号化装置は、単位領域に含まれる各第３単位領域について量子化パラメータの差分値を復号装置に伝送する必要がある。
したがって、本発明に係る符号化装置は、量子化パラメータの符号量を従来に比べてより削減することが可能であるという効果を奏する。
本発明に係る復号装置は、符号化データを復号することによって、復号画像を構成する各単位領域に関する量子化パラメータを特定する復号装置において、上記復号画像を構成する各単位領域について、該単位領域を構成する複数の第３単位領域を所定の順序で選択する選択手段と、上記復号画像を構成する各単位領域について、該単位領域に含まれる逆量子化の対象となる第３単位領域の中から上記選択手段が最初に選択した第３単位領域に関し、該第３単位領域の量子化パラメータの差分値を、上記符号化データから読み出す読出手段と、上記復号画像を構成する各単位領域について、該単位領域に含まれる逆量子化の対象となる各第３単位領域内の量子化画像に対して逆量子化を行うために参照する上記量子化パラメータの値を、上記読出手段が該単位領域内において読み出した上記量子化パラメータの差分値から特定する特定手段と、を備えていることを特徴としている。ここで、量子化画像とは、たとえば、符号化データから復号された量子化済みのＤＣＴ係数によって構成される周波数領域上の画像のことであり、量子化画像に対して逆量子化及び逆周波数変換を行うことによって、空間領域上の復号画像が得られる。
上記の構成によれば、本発明に係る復号装置は、各単位領域について該単位領域の中から選択した１つの第３単位領域における量子化パラメータの差分値を読み出し、その差分値を用いて、該単位領域内における逆量子化の対象となる各第３単位領域の量子化パラメータを決定する。
一方、上記特徴を備えていない復号装置は、各単位領域について該単位領域内の逆量子化の対象となる各第３単位領域から量子化パラメータの差分値を読み出し、読み出した各差分値を用いて、該単位領域内における逆量子化の対象となる各第３単位領域の量子化パラメータを決定する。
したがって、本発明に係る復号装置は、逆量子化を行うために用いるべき量子化パラメータをより少ない負荷で特定することができる。
以上のように、本発明に係る符号化装置は、復号装置に供給する量子化パラメータの符号量を従来に比べてより削減することが可能である。また、復号装置は、そのような符号化装置から供給された量子化パラメータに基づいて逆量子化することが可能である。
実施形態に係る動画像符号化装置の構成を示すブロック図である。 実施形態に係る動画像符号化装置が備えるサイド情報生成部およびサイド情報符号化部の動作を示すフローチャートである。 実施形態に係る動画像符号化装置が備えるサイド情報生成部およびサイド情報符号化部の別の動作を示すフローチャートである。 実施形態に係る動画像復号装置の構成を示すブロック図である。 実施形態に係る動画像復号装置が備えるサイド情報復号部およびＭＢ設定部の動作を示すフローチャートである。 実施形態に係る動画像復号装置が備えるサイド情報復号部およびＭＢ設定部の別の動作を示すフローチャートである。 （ａ）（ｂ）は、それぞれ、スライスの構成を模式的に示した図である。 （ａ）〜（ｅ）は、ＱＰ差分値テーブルの具体例を示す図である。 （ａ）は、インデックスの値と、ユーナリバイナリゼーションの入力値となる符号番号と、ユーナリバイナリゼーションの出力値となる２値列と、の関係を示した図であり、（ｂ）は、インデックスの値と、固定長バイナリゼーションの出力値となる２値列と、の関係を示した図である。 （ａ）（ｂ）は、それぞれ、ＱＰ差分値テーブルを符号化する場合の符号量の一例を示した図である。 従来技術を示すものであり、ＱＰ差分値と、ユーナリバイナリゼーションの入力値となる符号番号と、ユーナリバイナリゼーションの出力値となる２値列と、の関係を示した図である。 ピクチャごとに設定されるピクチャデフォルトＱＰ値、スライス毎に設定されるスライスデフォルトＱＰ値、並びに、マクロブロックごとに設定されるＱＰ値およびＱＰ差分値の一例を示した図である。 サイド情報に含まれる各情報を階層的に示した図である。 別の実施形態に係る動画像復号装置の構成を示すブロック図である。 別の実施形態に係る動画像符号化装置の構成を示すブロック図である。 ピクチャパラメータセットの一例を示す図である。 ＱＰ差分値が符号化されるＣＵの各ＱＰ符号化単位領域における位置を模式的に示した図である。 coding_unitシンタックスの一例を示す図である。（ａ）はシンタックスの前半部分を示しており、（ｂ）はシンタックスの後半部分を示している。 coding_unitシンタックスの別の一例を示す図である。（ａ）はシンタックスの前半部分を示しており、（ｂ）はシンタックスの後半部分を示している。 coding_unitシンタックスの別の一例を示す図である。（ａ）はシンタックスの前半部分を示しており、（ｂ）はシンタックスの後半部分を示している。 transform_treeシンタックスの一例を示す図である。 別の実施形態に係る動画像符号化装置の構成を示すブロック図である。 transform_treeシンタックスの別の一例を示す図である。 transform_treeシンタックスの別の一例を示す図である。 別の実施形態に係る動画像復号装置の構成を示すブロック図である。 別の実施形態に係る動画像符号化装置の構成を示すブロック図である。 coding_unitシンタックスの別の一例を示す図である。（ａ）はシンタックスの前半部分を示しており、（ｂ）はシンタックスの後半部分を示している。 coding_unitシンタックスの別の一例を示す図である。（ａ）はシンタックスの前半部分を示しており、（ｂ）はシンタックスの後半部分を示している。 別の実施形態に係る動画像復号装置の構成を示すブロック図である。 別の実施形態に係る動画像符号化装置の構成を示すブロック図である。 coding_unitシンタックスの別の一例を示す図である。（ａ）はシンタックスの前半部分を示しており、（ｂ）はシンタックスの後半部分を示している。 別の実施形態に係る動画像復号装置の構成を示すブロック図である。 別の実施形態に係る動画像符号化装置の構成を示すブロック図である。 coding_unitシンタックスの別の一例を示す図である。（ａ）はシンタックスの前半部分を示しており、（ｂ）はシンタックスの後半部分を示している。 別の実施形態に係る動画像復号装置の構成を示すブロック図である。 別の実施形態に係る動画像符号化装置の構成を示すブロック図である。
〔実施形態１〕
（動画像符号化装置）
以下では、本実施形態に係る動画像符号化装置（符号化装置）２について、図１〜図３、図６〜図１０、および図１２を参照して説明する。図１は、動画像符号化装置２の構成を示すブロック図である。図１に示すように、動画像符号化装置２は、サイド情報決定部２１、サイド情報符号化部２２、ＭＢ設定部２３、ＭＢ符号化部２４、可変長符号多重化部２５、ＭＢ復号部２６、および、フレームメモリ２７を備えている。
動画像符号化装置２は、概略的に言えば、入力画像＃１００を符号化することによって符号化データ＃１を生成し、出力する装置である。動画像符号化装置２は、その一部に、Ｈ２６４／ＡＶＣ規格に採用されている技術を用いている動画像符号化装置である。
また、入力画像＃１００の符号化処理には、ＤＣＴ変換や量子化等の処理が含まれるが、動画像符号化装置２は、マクロブロック（量子化単位領域）ごとに量子化レベルを切り替えて量子化処理を施すようになっている。
サイド情報決定部２１は、入力画像＃１００に基づいて、サイド情報を決定し、決定したサイド情報をサイド情報＃２１として出力する。そして、サイド情報＃２１は、ＭＢ設定部２３に入力されると共に、サイド情報符号化部２２に供給される。ここで、サイド情報＃２１は、入力画像＃１００に関するパラメータの集合であるピクチャ・パラメータ・セット、入力画像＃１００に含まれるスライス毎のヘッダ情報であるスライスヘッダ、スライスに含まれるマクロブロック毎のパラメータの集合であるマクロブロックレイヤ等から構成されるようになっている。ピクチャ・パラメータ・セットおよびスライスヘッダには、それぞれ、ピクチャデフォルトＱＰ値、および、スライスデフォルトＱＰ値のピクチャデフォルトＱＰ値に対する差分値が含まれるようになっている。
また、サイド情報決定部２１は、スライス毎に、該スライスに含まれるマクロブロックに割り当て可能なＱＰ値に制限を課すためのＱＰ差分値の集合を決定する。すなわち、スライスに含まれるマクロブロックＭＢｉに割り当て可能なＱＰ値は、同じスライスに含まれるマクロブロックＭＢｉ―１に割り当てたＱＰ値とのＱＰ差分値が上記ＱＰ差分値の集合に含まれるように制限される。
さらに、サイド情報決定部２１は、スライス（テーブル生成単位領域）毎に、該スライスに関するＱＰ差分値テーブルを生成し、対応するスライスヘッダ内に生成したＱＰ差分値テーブルを含めるようになっている。ここで、スライスに関するＱＰ差分値テーブルとは、上記ＱＰ差分値の集合に含まれる各ＱＰ差分値に、該ＱＰ差分値を指し示すインデックス（ＱＰ差分値ごとに互いに異なる整数）を関連づけることにより生成されるテーブルであるが、ＱＰ差分値テーブルは、（付記事項３）に後述するように、ＱＰ差分値テーブルの生成規則を符号化するものでも良い。また、動画像符号化装置と動画像復号装置が所定のＱＰ差分値テーブルを複数個備えることとし、そのＱＰ差分値テーブルを切り替えるためのインデックスを符号化する構成としても良い。そして、サイド情報決定部２１は、マクロブロックＭＢｉに割り当てたＱＰ値とマクロブロックＭＢｉ―１に割り当てたＱＰ値とのＱＰ差分値を指し示すインデックスをマクロブロックレイヤに含めるようになっている。なお、サイド情報決定部２１が、上記ＱＰ差分値の集合をどのように決定するか、また、ＱＰ差分値テーブルをどのように生成するかについては後述する。
サイド情報符号化部２２は、サイド情報＃２１を符号化し、符号化済サイド情報＃２２を出力する。符号化済サイド情報＃２２は、可変長符号多重化部２５に供給される。
ＭＢ設定部２３は、サイド情報＃２１に基づいて、入力画像＃１００を複数のスライスに分割し、さらに、各スライスを複数のマクロブロックに分割し、各マクロブロックに関するマクロブロック画像＃２３を出力する。また、ＭＢ設定部２３は、サイド情報＃２１に基づいて、マクロブロック画像＃２３に関する量子化パラメータの値（ＱＰ値）を算出する（詳細については後述する）。そして、マクロブロック画像＃２３は、算出したＱＰ値とともに、ＭＢ符号化部２４に順次供給される。
ＭＢ符号化部２４は、順次入力されるマクロブロック画像＃２３について、ＭＢ符号化データ＃２４を生成して可変長符号多重化部２５に供給する。ＭＢ符号化部２４がＭＢ符号化データ＃２４を生成する処理は具体的には以下の通りである。
すなわち、ＭＢ符号化部２４は、マクロブロック画像＃２３を構成する各ブロックをＤＣＴ変換するとともに、ともに供給されるＱＰ値に基づく量子化レベルで各ブロックの各ＤＣＴ係数を量子化する。そして、ＭＢ符号化部２４は、量子化により得られたデータに可変長符号化処理を施すことによりＭＢ符号化データ＃２４を生成する。
可変長符号多重化部２５は、符号化済サイド情報＃２２と、ＭＢ符号化データ＃２４とを多重化することによって符号化データ＃１を生成し、出力する。
ＭＢ復号部２６は、入力された個々のマクロブロックに対応するＭＢ符号化データ＃２４を順次復号することにより、個々のマクロブロックに対応する復号画像＃２６を生成し、出力する。復号画像＃２６は、フレームメモリ２７に供給される。
フレームメモリ２７には、入力された復号画像＃２６が記録される。特定のマクロブロックを符号化する時点では、当該マクロブロックよりもラスタスキャン順で先行する全てのマクロブロックに対応する復号画像がフレームメモリ２７に記録されている。
（ＱＰ差分値の集合の決定方法、および、ＱＰ差分値テーブルの生成方法）
サイド情報決定部２１はマクロブロックに割り当て可能なＱＰ値に制限を課すためのＱＰ差分値の集合を任意の方法により決定できるが、以下に具体例を挙げる。
例１）要素として含まれる各ＱＰ差分値がfactor*（−１）j+1* Ceil（ｊ／２）（ｊ＝０、１、２、・・）であるようなＱＰ差分値の集合を決定する。
例２）要素として含まれる各ＱＰ差分値が、０または（−１）j+1*factor{Ceil(j/2)-1} （ｊ＝１、２、・・）であるようなＱＰ差分値の集合を決定する。
例３）要素として含まれる各ＱＰ差分値が、０、１、−１、またはfactor*（−１）j+1* Ceil（ｊ／２）＋３（ｊ＝３、４、・・）であるようなＱＰ差分値の集合を決定する。
なお、上記例１〜例３のいずれの場合においても、スライス毎にスライスタイプを判定し、スライスタイプがＩスライスの場合にfactor（所定の値）=3,スライスタイプがＰスライスの場合にfactor=2、スライスタイプがＢスライスの場合にfactor=1となるようにＱＰ差分値の集合を決定する。以下、上記例１〜上記例３の各決定方法をmethod=0,1,2で識別することとする。
次に例１〜例３のようにＱＰ差分値の集合を決定した場合における、ＱＰ差分値テーブルの生成方法の具体例について以下に説明する。
例１のようにＱＰ差分値の集合を決定した場合、Ｐスライスのスライスヘッダに含めるＱＰ差分値テーブルは、例えば、図８（ｂ）に示すようなテーブルになる。
すなわち、サイド情報決定部２１がスライスヘッダに含めるＱＰ差分値テーブルは、各ＱＰ差分値mb＿qp＿delta[j]=２*（−１）j+1*Ceil（ｊ／２）（ｊ＝０〜８）に、インデックスmb＿qp＿delta＿index[j]=（−１）j+1*Ceil（ｊ／２）を関連付けたテーブルとなる。例１の場合、ＱＰ差分値とインデックスの関係は、ＱＰ差分値＝factor*インデックスとなる。
また、例２のようにＱＰ差分値の集合を決定した場合、Ｐスライスのスライスヘッダに含めるＱＰ差分値テーブルは、例えば、図８（ｃ）に示すようなテーブルになる。
すなわち、サイド情報決定部２１がスライスヘッダに含めるＱＰ差分値テーブルは、ＱＰ差分値０にインデックス０を関連づけ、各ＱＰ差分値mb＿qp＿delta[j]=（−１）j+1*２{Ceil(j/2)-1}（ｊ＝１〜８）に、インデックスmb＿qp＿delta＿index[j]=（−１）j+1* Ceil（ｊ／２）を関連付けたテーブルとなる。
例３のようにＱＰ差分値の集合を決定した場合、サイド情報決定部２１がスライスヘッダに含めるＱＰ差分値テーブルは、ＱＰ差分値０、１、−１にそれぞれインデックス０、１、−１を関連づけ、各ＱＰ差分値mb＿qp＿delta[j]=（−１）j+1*factor{Ceil(j/2)-1}（ｊ＝３・・）に、インデックスmb＿qp＿delta＿index[j]=（−１）j+1* Ceil（ｊ／２）＋３（ｊ＝３・・）を関連付けたテーブルとなる。
以上のように、サイド情報決定部２１は、各ＱＰ差分値に、該ＱＰ差分値の絶対値よりも絶対値が小さいインデックスを関連づけたＱＰ差分値テーブル（図８（ａ）〜図８（ｃ）に示すようなテーブル）を生成することが望ましいが、サイド情報決定部２１が生成するＱＰ差分値テーブルは少なくとも以下のような特性を持っていればよい。
すなわち、各インデックスを符号番号に変換してユーナリバイナリゼーションに基づく量子化処理を施した場合に出力される全量子化データの符号量が、各ＱＰ差分値を符号番号に変換してユーナリバイナリゼーションに基づく量子化処理を施した場合に出力される全量子化データの符号量より少なくなるようなものであれば、ＱＰ差分値テーブルはいかなるものであっても構わない。例えば、ＱＰ差分値テーブルは、ＱＰ差分値とインデックスとが１対１に対応づけられたテーブルであって、各ＱＰ差分値の絶対値の総和よりも各インデックスの絶対値の総和が小さくなるようなテーブルであればよい。
（サイド情報決定部２１およびサイド情報符号化部２２の動作について）
次に、サイド情報決定部２１およびサイド情報符号化部２２の動作について、図２を参照しながら説明する。すなわち、入力画像＃１００に含まれる図７（ａ）に示すような各スライスについて、動画像符号化装置２が、ＱＰ差分値テーブルを生成してからスライス内の各マクロブロックＭＢｉのマクロブロックレイヤに格納したインデックスを符号化するまでの各部の動作について以下に説明する。
図２は、上記動作の流れを示すフローチャートである。
図２に示すように、サイド情報決定部２１は、入力画像＃１００に含まれるスライスのスライスタイプに応じたＱＰ差分値テーブルを生成し、サイド情報＃２１内の対応するスライスヘッダに含める（ステップＳ４１）。
次に、サイド情報決定部２１は、上記スライス内のマクロブロックＭＢｉ（ｉ＝１、２、・・）のＱＰ値を決定する（ステップＳ４２）。
具体的には、サイド情報決定部２１は、マクロブロックＭＢｉのＱＰ値を、Ｈ２６４／ＡＶＣ規格において規定された範囲内の値に暫定的に定める。そして、サイド情報決定部２１は、暫定的に定めたマクロブロックＭＢｉのＱＰ値から、すでに決定したマクロブロックＭＢｉ−１のＱＰ値（ｉ＝１の場合にはスライスデフォルトＱＰ値）を引いた値（暫定ＱＰ差分値）が、ＱＰ差分値テーブルにＱＰ差分値として含まれているか否かを判定する。
そして、含まれていると判定した場合には、サイド情報決定部２１は、暫定的に定めたＱＰ値を、マクロブロックＭＢｉのＱＰ値として決定する。一方、含まれていないと判定した場合には、サイド情報決定部２１は、ＱＰ差分値テーブルに含まれている複数のＱＰ差分値のうち暫定ＱＰ差分値に最も近いＱＰ差分値をマクロブロックＭＢｉ−１のＱＰ値（ｉ＝１の場合にはスライスデフォルトＱＰ値）に加算した値をマクロブロックＭＢｉのＱＰ値として決定する。
以上のように、各マクロブロックのＱＰ値を決定した後、サイド情報決定部２１は、先頭マクロブロックＭＢ１のＱＰ値からスライスデフォルトＱＰ値を引き算することにより、先頭マクロブロックＭＢ１に関するＱＰ差分値を求める。そして、サイド情報決定部２１は、直前のステップＳ４１にて生成したＱＰ差分値テーブルを参照して、該ＱＰ差分値をインデックスに変換する（ステップＳ４３）。サイド情報決定部２１は、得られたインデックスをサイド情報＃２１内の対応するマクロブロックレイヤに含める。
ここでは、ＱＰ差分値テーブルを用いて、ＱＰ差分値からインデックスへの変換を行ったが、ＱＰ差分値とインデックスとの関係が四則演算などの演算で定義されるものである場合には、ＱＰ差分値テーブルを用いずとも変換は可能である。以下、ＱＰ差分値からインデックスへの演算による変換、もしくは、インデックスからＱＰ差分値への演算による変換を定める規則を変換規則と呼ぶ。例えば、例１の場合は、変換規則がＱＰ差分値＝インデックス×factorとなるので、ＱＰ差分値テーブルによらず演算によりＱＰ差分値からインデックスへの変換が可能である。
さらに、サイド情報決定部２１は、ＱＰ差分値がまだ算出されていない別のマクロブロックＭＢｉ（ｉ＞１）について、マクロブロックＭＢｉに関するＱＰ差分値を、マクロブロックＭＢｉのＱＰ値からマクロブロックＭＢｉ−１のＱＰ値を引き算することにより求める。そして、サイド情報決定部２１は、直前のステップＳ４１にて生成したＱＰ差分値テーブルを参照して、該ＱＰ差分値をインデックスに変換する（ステップＳ４４）。サイド情報決定部２１は、得られたインデックスをサイド情報＃２１内の対応するマクロブロックレイヤに含める。
ステップＳ４４の後、サイド情報決定部２１は、ステップＳ４４における処理の対象となったマクロブロックがスライス内の最後のマクロブロックＭＢｎであるか否かを判定する（ステップＳ４５）。最後のマクロブロックＭＢｎでないと判定された場合、ステップＳ４４に戻る。一方、最後のマクロブロックＭＢｎであると判定された場合、ステップＳ４６に進む。
サイド情報決定部２１は、ステップＳ４１〜ステップＳ４４における処理が施されていないスライスが入力画像＃１００内に存在するか否かを判定する（ステップＳ４６）。存在すると判定された場合、ステップＳ４１〜ステップＳ４４における処理がまだ施されていない別のスライスについてステップＳ４１〜ステップＳ４４の処理を施す。一方、存在しないと判定された場合、サイド情報決定部２１は、マクロブロックレイヤにインデックスが含まれ、スライスヘッダにＱＰ差分値テーブルが含まれているサイド情報＃２１を、サイド情報符号化部２２およびＭＢ設定部２３に供給し、ステップＳ４７に進む。
サイド情報＃２１が入力されたサイド情報符号化部２２は、サイド情報＃２１の各マクロブロックレイヤに含まれているインデックスについて、該インデックスを符号番号に変換し、符号番号を入力として、ユーナリバイナリゼーションに基づく２値化処理を施す。すなわち、図９（ａ）に示すようなテーブルに基づいて、絶対値ｎのインデックスを、長さ２ｎの２値列または長さ２ｎ＋１の２値列（すなわち、インデックスの絶対値の大きさに応じた長さの２値列）に変換する（ステップＳ４７）。
さらに、サイド情報符号化部２２は、ステップＳ４７の処理によって各マクロブロックレイヤに格納された２値列を算術符号化するとともに、サイド情報＃２１の各スライスヘッダに含まれているＱＰ差分値テーブルを符号化する（ステップＳ４８）。サイド情報符号化部２２は、Ｓ４８の処理を含むサイド情報＃２１全体の符号化処理を行った後、符号化済サイド情報＃２２を可変長符号多重化部２５に供給する。
以上、サイド情報決定部２１およびサイド情報符号化部２２の動作について説明したが、ここで、サイド情報＃２１が入力されたＭＢ設定部２３の動作について説明する。
前述したように、ＭＢ設定部２３は、入力画像＃１００を複数のスライスに分割し、さらに、各スライスを複数のマクロブロックに分割する。そして、ＭＢ設定部２３は、各マクロブロックに関するマクロブロック画像＃２３を、そのマクロブロック画像＃２３に関するＱＰ値とともに、ＭＢ符号化部２４に順次供給する。
ＭＢ設定部２３は、入力されたサイド情報＃２１に基づいてＭＢ符号化部２４に供給する上記ＱＰ値を以下のように算出する。
すなわち、ＭＢ設定部２３は、マクロブロック画像＃２３に対応するマクロブロックレイヤに含まれているインデックスと、マクロブロック画像＃２３がその一部を構成するスライスに対応するスライスヘッダに含まれているＱＰ差分値テーブルと、を参照する。
そして、ＭＢ設定部２３は、ＱＰ差分値テーブルにおいて、参照したインデックスに関連づけられているＱＰ差分値を参照する。さらに、ＭＢ設定部２３は、直前にＭＢ符号化部２４に供給したマクロブロック画像＃２３に関するＱＰ値に該ＱＰ差分値を加算した値を、ＭＢ符号化部２４にこれから供給するＱＰ値とする。
なお、入力されたＱＰ値に基づいてマクロブロック画像＃２３を量子化および符号化するＭＢ符号化部２４、並びに、可変長符号多重化部２５〜フレームメモリ２７は、Ｈ２６４／ＡＶＣ規格に準拠した動作を行うものであるので、詳細については省略することとする。
（ＱＰ差分値テーブルの符号化について）
サイド情報符号化部２２によるＱＰ差分値の符号化について具体的に説明する。
サイド情報符号化部２２は、ＱＰ差分値テーブルのサイズ（すなわち、テーブルに含まれるインデックス（ＱＰ差分値）の個数）と、各ＱＰ差分値と、を符号化する。
例えば、図８（ｂ）に示すようなＱＰ差分値テーブルをサイド情報決定部２１が生成していた場合、サイド情報符号化部２２は、ＱＰ差分値テーブルのサイズ９と、各ＱＰ差分値（−８、−６、・・、０、・・６、８）と、を符号化する。あるいは、サイド情報符号化部２２は、各ＱＰ差分値をそのまま符号化する代わりに、インデックス０に対応するＱＰ差分値についてはそのまま符号化し、他のインデックスについては、該インデックスのＱＰ差分値から該インデックスより１だけ小さいインデックスのＱＰ差分値を引き算した差分を符号化するようにしてもよい。
なお、ＱＰ差分値、または上記ＱＰ差分値の差分を、ユーナリバイナリゼーションにより符号化してもよい。
ユーナリバイナリゼーションを用いて図８（ｂ）のＱＰ差分値テーブルを符号化する場合の符号量を、各ＱＰ差分値をそのまま符号化する場合、および、インデックス０に対応するＱＰ差分値についてはそのまま符号化し、他のインデックスについてはＱＰ差分値の差分を符号化する場合のそれぞれについて、図１０（ａ）および図１０（ｂ）を参照しながら以下に示す。なお、図１０（ａ）および図１０（ｂ）のmb＿qp＿delta[i]はインデックスｉのＱＰ差分値を示しており、図１０（ｂ）において、dd[i,i-1]=mb＿qp＿delta[i]-mb＿qp＿delta[i-1]である。
各ＱＰ差分値をそのまま符号化する場合、図１０（ａ）に示すように、ＱＰ差分値mb＿qp＿delta[-4](＝-8)は符号番号１６に変換されるので、ＱＰ差分値の符号量は１７になる。他のＱＰ差分値についても同様であり、各ＱＰ差分値の符号量の合計は８５ビットになる。
また、インデックス０に対応するＱＰ差分値についてはそのまま符号化し、他のインデックスについてはＱＰ差分値の差分を符号化する場合、図１０（ｂ）に示すように、インデックス０に対応するＱＰ差分値（mb＿qp＿delta[0]＝0）は、符号番号０に変換されるので符号量は１になる。また、他のインデックスiについてはＱＰ差分値の差分dd[i,i-1]=2が符号番号3に変換されるので符号量は4になる。したがって、符号量の合計は、２９ビットになる。
（変形例）
サイド情報決定部２１およびサイド情報符号化部２２の動作の変形例について、図３および図７（ｂ）を参照しながら以下に説明する。図３は、本変形例に係るサイド情報決定部２１およびサイド情報符号化部２２の動作を示すフローチャートである。また、図７（ｂ）は、複数の拡大マクロブロック（第２単位領域）から構成されているスライスであって各拡大マクロブロックが複数のマクロブロックから構成されているスライスを示す図である。ここで、拡大マクロブロックは、内部に含まれる全マクロブロックが互いに画素特性が類似するように構成される。
本変形例では、動画像符号化装置２は、拡大マクロブロックに含まれる複数のマクロブロックの各々についてＱＰ差分値を決定するが、ＱＰ差分値を決定するマクロブロックは、拡大マクロブロック内においてラスタスキャン順に選択されるようになっている。例えば、図７（ｂ）の拡大マクロブロックＬＭＢ１に含まれる４つのマクロブロックのＱＰ差分値は、ＭＢ１、ＭＢ２、ＭＢ３、ＭＢ４の順に決定されるようになっている。
また、動画像符号化装置２は、スライスに含まれる複数の拡大マクロブロックの各々について上記処理を行うが、上記処理の対象となる拡大マクロブロックは、スライス内においてラスタスキャン順に選択されるようになっている。例えば、図７（ｂ）のスライスに含まれる複数の拡大マクロブロックに対する上記処理は、拡大マクロブロックＬＭＢ１、ＬＭＢ２、ＬＭＢ３・・の順に行うようになっている。なお、図７（ｂ）および上記説明からわかるように、図中においてマクロブロックに付した符号ＭＢｉ（ｉ＝１、２、・・）のｉの値はスライス内でマクロブロックが選択される順序を示している。
本変形例では、動画像符号化装置２は、拡大マクロブロック内の先頭のマクロブロック（特定の単位領域）については、Ｈ２６４／ＡＶＣ規格に基づく方法でＱＰ値（以下では上記先頭のマクロブロックのＱＰ値をＱＰheadとも記載する）を割り当てる。そして、動画像符号化装置２は、ＱＰ差分値をインデックスに変換せずに直接符号番号に変換し、符号番号をユーナリバイナリゼーションにより２値列に変換する。
一方、動画像符号化装置２は、先頭以外のマクロブロックについては、同じ拡大マクロブロックの先頭のマクロブロックについて割り当てたＱＰ値に対するＱＰ差分値を、図８（ｅ）に示すＱＰ差分値テーブルに基づいてインデックスに変換する。そして、動画像符号化装置２は、インデックスを符号番号に変換し、符号番号をユーナリバイナリゼーションにより２値列に変換する。
ここで、図８（ｅ）からわかるように、本変形例で先頭以外のマクロブロックに割り当て可能なＱＰ値の候補の数（ＱＰhead−２、ＱＰhead、ＱＰhead＋２の３個）は、上記実施形態において各マクロブロックに割り当て可能なＱＰ値の候補の数（図８（ａ）のテーブルを用いた場合の１３個や図８（ｂ）〜図８（ｄ）のテーブルを用いた場合の９個）より少なくなっている。また、本変形例で先頭以外のマクロブロックに決定可能なＱＰ差分値の絶対値の最大値は、０に近い所定の値である２となっている。
なお、拡大マクロブロック内の各マクロブロックは画像特性が類似しているため、上記のようにして各マクロブロックに割り当てるＱＰ値を略一定にしても、適切でないＱＰ値を割り当てることによるマクロブロック画像の画質の劣化や無駄な符号量の増加等が起こりにくいと考えられる。また、ＱＰ差分値テーブルのサイズが小さくなるため、ＱＰ差分値テーブルを符号化する場合の符号量も削減されるメリットや、インデックスの絶対値の最大値がたかだか１になるので、インデックスから変換された２値列の符号量も２以下と小さくなるメリットがある。
以下、サイド情報決定部２１およびサイド情報符号化部２２の変形例に係る動作について、図３を参照しながら説明する。
図３に示すように、サイド情報決定部２１は、図８（ｅ）に示すようなＱＰ差分値テーブルを生成し、サイド情報＃２１内の対応するスライスヘッダに含める（ステップＳ６１）。
以下のＳ６２〜Ｓ６８の処理は、対象となる拡大マクロブロック（例えばＬＭＢ１）全体を構成する複数のマクロブロックの中からラスタスキャン順に選択した各マクロブロックについて、選択した順（例えば、ＭＢ１、ＭＢ２、ＭＢ３、ＭＢ４の順）に行われる。また、上記対象となる拡大マクロブロックは、スライス全体を構成する複数の拡大マクロブロックの中からラスタスキャン順（ＬＭＢ１、ＬＭＢ２・・の順）に選択される。
ステップＳ６２において、サイド情報決定部２１は、選択したマクロブロックＭＢｉがスライス内の先頭マクロブロックＭＢ１であるか否かを判定する。
先頭マクロブロックＭＢ１であると判定された場合（ステップＳ６２においてＹＥＳ）、サイド情報決定部２１は、マクロブロックＭＢ１のＱＰ値をＨ２６４／ＡＶＣ規格に基づく方法で決定する。そして、サイド情報決定部２１は、決定したＱＰ値からスライスデフォルトＱＰ値を引き算したＱＰ差分値を、対応するマクロブロックレイヤに格納し(ステップＳ６７)、ステップＳ６８に進む。
一方、先頭マクロブロックＭＢ１でないと判定された場合（ステップＳ６２においてＮＯ）、選択したマクロブロックＭＢｉがいずれかの拡大マクロブロック内の先頭マクロブロック（ＭＢ５やＭＢ９等）であるか否かを判定する（ステップＳ６３）。
拡大マクロブロック内の先頭マクロブロックであると判定された場合（ステップＳ６３においてＹＥＳ）、サイド情報決定部２１は、マクロブロックＭＢｉのＱＰ値をＨ２６４／ＡＶＣ規格に基づく方法で決定する。そして、サイド情報決定部２１は、決定したＱＰ値から、マクロブロックＭＢｉ−１について決定したＱＰ値を引き算したＱＰ差分値を、対応するマクロブロックレイヤに格納し(ステップＳ６６)、ステップＳ６８に進む。
一方、先頭マクロブロックでないと判定された場合（ステップＳ６３においてＮＯ）、そのマクロブロックのＱＰ差分値を決定する（ステップＳ６４）。
具体的には、サイド情報決定部２１は、マクロブロックのＱＰ値をＨ２６４／ＡＶＣ規格に基づいて暫定的に定める。そして、サイド情報決定部２１は、暫定的に定めたＱＰ値から、該マクロブロックと同じ拡大マクロブロックに含まれる先頭マクロブロックのＱＰ値を引いた値（暫定ＱＰ差分値）が、ＱＰ差分値テーブルにＱＰ差分値として含まれているか否かを判定する。
そして、含まれていると判定した場合には、サイド情報決定部２１は、暫定的に定めたＱＰ値を、マクロブロックＭＢｉのＱＰ値として決定する。一方、含まれていないと判定した場合には、サイド情報決定部２１は、ＱＰ差分値テーブルに含まれている複数のＱＰ差分値のうち暫定ＱＰ差分値に最も近いＱＰ差分値をマクロブロックＭＢｉのＱＰ差分値として決定する。つまり、ステップＳ６４にて拡大マクロブロックの先頭以外のマクロブロックについて決定すべきＱＰ差分値の候補の数は、拡大マクロブロックの先頭マクロブロックについて決定すべきＱＰ差分値の候補の数よりも少なくなることになる。なお、決定したＱＰ差分値をマクロブロックＭＢｉ−１のＱＰ値に加算した値をマクロブロックＭＢｉのＱＰ値として決定する。
サイド情報決定部２１は、直前のステップＳ６１にて生成したＱＰ差分値テーブルを参照して、ステップＳ６４にて決定したＱＰ差分値をインデックスに変換する。サイド情報決定部２１は、得られたインデックスをサイド情報＃２１内の対応するマクロブロックレイヤに含め（ステップＳ６５）、ステップＳ６８に進む。
ステップＳ６８において、サイド情報決定部２１は、処理の対象となったマクロブロックがスライス内の最後のマクロブロックであるか否かを判定する。最後のマクロブロックでないと判定された場合（ステップＳ６８においてＮＯ）、ステップＳ６２に戻る。一方、最後のマクロブロックであると判定された場合（ステップＳ６８においてＹＥＳ）、ステップＳ６９に進む。
サイド情報決定部２１は、ステップＳ６１〜ステップＳ６８における処理が施されていないスライスが入力画像＃１００内に存在するか否かを判定する（ステップＳ６９）。存在すると判定された場合、ステップＳ６１〜ステップＳ６８における処理がまだ施されていない別のスライスについてステップＳ６１〜ステップＳ６８の処理を施す。一方、存在しないと判定された場合、サイド情報決定部２１は、サイド情報＃２１を、サイド情報符号化部２２およびＭＢ設定部２３に供給し、ステップＳ７０に進む。
サイド情報＃２１が入力されたサイド情報符号化部２２は、サイド情報＃２１の各マクロブロックレイヤに含まれているインデックスまたはＱＰ差分値を符号番号に変換し、符号番号を入力として、ユーナリバイナリゼーションに基づく２値化処理を施す（ステップＳ７０）。
さらに、サイド情報符号化部２２は、サイド情報＃２１の各スライスヘッダに含まれているＱＰ差分値テーブルを符号化する（ステップＳ７１）。サイド情報符号化部２２は、Ｓ７０の処理を含むサイド情報＃２１全体の符号化処理を行った後、符号化済サイド情報＃２２を可変長符号多重化部２５に供給する。
以上、サイド情報決定部２１およびサイド情報符号化部２２の動作について説明したが、ここで、サイド情報＃２１が入力されたＭＢ設定部２３の動作について説明する。
ＭＢ設定部２３は、ＭＢ符号化部２４にマクロブロック画像＃２３とともに供給するＱＰ値を、入力されたサイド情報＃２１に基づいて以下のように算出する。
すなわち、供給すべきマクロブロック画像＃２３が拡大マクロブロック内の先頭マクロブロック以外のマクロブロックである場合、ＭＢ設定部２３は、マクロブロック画像＃２３に対応するマクロブロックレイヤに含まれているインデックスと、マクロブロック画像＃２３がその一部を構成するスライスに対応するスライスヘッダに含まれているＱＰ差分値テーブルと、を参照する。そして、ＭＢ設定部２３は、ＱＰ差分値テーブルにおいて、参照したインデックスに関連づけられているＱＰ差分値を参照する。さらに、ＭＢ設定部２３は、直前にＭＢ符号化部２４に供給したマクロブロック画像＃２３に関するＱＰ値に該ＱＰ差分値を加算した値を、ＭＢ符号化部２４にこれから供給するＱＰ値とする。
一方、供給すべきマクロブロック画像＃２３が拡大マクロブロック内の先頭マクロブロックである場合、ＭＢ設定部２３は、マクロブロック画像＃２３に対応するマクロブロックレイヤに含まれているＱＰ差分値を参照する。ＭＢ設定部２３は、直前にＭＢ符号化部２４に供給したマクロブロック画像＃２３に関するＱＰ値に該ＱＰ差分値を加算した値を、ＭＢ符号化部２４にこれから供給するＱＰ値とする。
＜動画像符号化装置に関する付記事項＞
なお、ＱＰ差分値テーブルは、図８（ａ）〜図８（ｃ）のように、各ＱＰ差分値に、該ＱＰ差分値の絶対値よりも絶対値が小さいインデックスを関連づけたテーブルであることが望ましいと述べたが、サイド情報決定部２１は、そうでない図８（ｄ）のようなテーブルを生成してもよい。図８（ｄ）のテーブルは以下のように生成されるものである。
すなわち、先に述べたように、ステップＳ４２において、サイド情報決定部２１は、スライス内のマクロブロックＭＢ１〜ＭＢｎの各々について、該マクロブロックのＱＰ値を決定するために、該スライスについて決定したＱＰ差分値の集合の中から該マクロブロックのＱＰ差分値を決定する。
サイド情報決定部２１は、決定したｎ個のＱＰ差分値から定まる最頻値(図８（ｄ）において０)、２番目に頻度の高い値（図８（ｄ）において４）、３番目に頻度の高い値(図８（ｄ）において−６)・・の順に、それぞれ、インデックス０、１、−１、・・・を関連づけたテーブルを生成する。すなわち、テーブルにおいて、頻度が高いＱＰ差分値ほど絶対値の小さいインデックスに関連づけられることになる。また、各頻度、すなわち、各ＱＰ差分値がｎ個のＱＰ差分値からなるグループの中に含まれる割合は、サイド情報決定部２１により算出される。なお、このように、頻度の高いＱＰ差分値ほど絶対値の小さいインデックスが割り当てられるようにＱＰ差分値テーブルを生成する場合、ＱＰ差分値テーブルに含まれる各ＱＰ差分値の絶対値の総和と各インデックスの絶対値の総和とは、等しくなっていてもよい。
以上、本実施形態に係る動画像符号化装置２について説明を行ったが、本発明は、以上の構成に限定されるものではない。
（付記事項１）
上記実施形態では、量子化単位領域がマクロブロックであるものとしたが、これに限られない。すなわち、ＱＰ値の決定、ＱＰ差分値のインデックスへの変換、およびインデックスの２値化、並びに、ＱＰ値による画像の量子化をマクロブロック単位で行うものとものとしたが、マクロブロック単位でなくマクロブロックよりも大きい単位やマクロブロックより小さい単位（パーティション単位や８画素ｘ８ラインのブロック単位、４画素ｘ４ラインのブロック単位等）で行ってもよい。
また、上記実施形態では、テーブル生成単位領域がスライスであるものとしたが、これに限られない。すなわち、ＱＰ差分値テーブルの生成をスライス単位で行うものとしたが、ＱＰ差分値テーブルの生成を、スライスより大きい単位（ピクチャ単位等）やスライスより小さい単位（マクロブロック単位等）で行うようにしてもよい。マクロブロック単位でfactorの値に応じたＱＰ差分値テーブルを生成する場合、例えば、マクロブロックレイヤのマクロブロックタイプを参照して、マクロブロックタイプがイントラマクロブロックであればfactor=3と決定し、マクロブロックタイプがインターマクロブロックである場合にはfactor=2と決定するようにしてもよい。
ただし、どのようにテーブル生成単位領域のサイズ、および量子化単位領域のサイズを決定した場合であっても、テーブル生成単位領域は、複数の量子化単位領域を包含するように構成される必要がある。
また、ＱＰ差分値テーブルをテーブル生成単位領域ごとに生成しないようにしてもよい。すなわち、予め定められたＱＰ差分値テーブルを図示しない記憶部に保持しておき、テーブル生成単位領域ごとに生成するＱＰ差分値テーブルに代えて、上記記憶部に保持しているＱＰ差分値テーブルを用いてもよい。この場合、動画像符号化装置２は、ＱＰ差分値テーブルの符号化および符号化したＱＰ差分値テーブルの外部への出力を行わなくてもよい。これは、動画像復号装置１が、同じＱＰ差分値テーブルを保持していれば、サイド情報符号化データ＃１１ａを復号した後、インデックスからＱＰ差分値を導出することができるからである。
（付記事項２）
上記実施形態では、スライス毎にスライスタイプを判定し、スライスタイプに応じてfactorの値を決定し、factorの値に応じたＱＰ差分値テーブルを生成するものとしたが、ＱＰ差分値テーブルの生成は以下のように行っても良い。
すなわち、最初に、サイド情報決定部２１は、スライスに含まれるマクロブロックＭＢ１〜ＭＢｎのＱＰ値を、Ｈ２６４／ＡＶＣ規格に基づく方法で暫定的に定める。そして、サイド情報決定部２１は、得られたｎ個のＱＰ値の分散を算出し、分散の値の大きさに応じてfactorの値を決定する。具体的には、例えば、分散がＳ1以上である場合にfactor=3と決定し、分散がＳ2以上Ｓ1未満である場合にfactor=2と決定し、分散がＳ2未満である場合にfactor=1と決定するようにしてもよい。最後にサイド情報決定部２１は、このように決定されたfactorの値に応じたＱＰ差分値テーブルを生成する。
（付記事項３）
上記実施形態では、ＱＰ差分値テーブルを符号化する場合に、各ＱＰ差分値を符号化するものとしたが、以下のようにＱＰ差分値テーブルを符号化してもよい。すなわち、図８（ｂ）のＱＰ差分値テーブルや図８（ｃ）のＱＰ差分値テーブルのように、factorの値と、ＱＰ差分値テーブルのサイズと、から定まるＱＰ差分値テーブルを符号化する場合には、各ＱＰ差分値を符号化する代わりにfactorの値を符号化するようにしてもよい。この場合、ＱＰ差分値テーブルの符号量がより削減されることになる。また、同一のfactorからＱＰ差分値テーブルを算出する算出方法には例１〜例３に示すように複数の算出方法が存在する。ここでは例１〜例３の各算出方法の中から算出方法を１つ選択して使用してもよい。この場合、ＱＰ差分値テーブルの算出方法を決定するために必要な情報を明示的に符号化してもよい。すなわち、methodとfactorの両方を符号化するものでも構わない。
なお、符号化データとして外部に出力する情報は、各ＱＰ差分値と、各インデックスと、を１対１に対応付ける情報であれば、いかなるものであっても構わない。すなわち、該情報は、各ＱＰ差分値を符号化したものであってもよいし、factorの値を符号化したものであってもよい。また、ＱＰ差分値テーブルに登録されるインデックスの範囲がスライス毎に変更され得る場合には、該情報に、各ＱＰ差分値またはfactorの値に加え、各インデックスの値を含めてもよい。
なお、動画像符号化装置と動画像復号装置が所定の変換規則、もしくは、ＱＰ差分値テーブルを複数個備えることとし、その変換規則（ＱＰ差分値テーブル）を切り替えるための変換規則インデックス（粗さ指定フラグ）を符号化する構成としても良い。変換規則インデックスを符号化する場合、例えば、mb＿qp＿delta = mb＿qp＿delta_indexとなる変換規則を識別するインデックスが０、等価なＱＰ差分値テーブルが図８（ｂ）のＱＰ差分値テーブルで示される変換規則を識別するインデックスが１、等価なＱＰ差分値テーブルが図８（ｃ）で示される変換規則を識別するインデックスが２となるような０〜２の変換規則インデックスを符号化する構成でも良い。
また、ＱＰ差分値テーブルを識別する粗さ指定フラグは、２値のフラグであっても構わない。例えば、等価な変換規則がmb＿qp＿delta = mb＿qp＿delta_indexとなるようなＱＰ差分値テーブルを識別する粗さ指定フラグの値を０とし、図８（ａ）のＱＰ差分値テーブルを識別する粗さ指定フラグの値を１としても良い。
（付記事項４）
上記実施形態では、インデックスを２値列に変換するためにユーナリバイナリゼーションを用いるものとしたが、必ずしもこの構成に限定されない。すなわち、インデックスを２値列に変換するために、ユーナリバイナリゼーションと、図９（ｂ）に示すような固定長バイナリゼーションとを使い分けてもよい。さらには、これらのバイナリゼーションにより得られた２値列に対し、別の符号化を施してもよい。例えば、Ｈ．２６４／ＡＶＣで規定されているようなコンテキスト適応算術符号化（ＣＡＢＡＣ）を適用することができる。
具体的には、サイド情報符号化部２２は、ユーナリバイナリゼーションを用いるか、固定長バイナリゼーションを用いるかをスライス毎に決定してもよい。この場合、サイド情報符号化部２２は、例えば、スライス内の各マクロブロックについて、対応するマクロブロックレイヤに格納されているインデックスを参照する。そして、サイド情報符号化部２２は、参照した複数個のインデックスの中に各インデックスの値ｉ（ｉ＝０、１、・・・）が含まれる確率が略一定であるか（確率の最大値と最小値との差が所定の閾値以下であるか）否かを判定し、略一定である場合には固定長バイナリゼーション、そうでない場合にはユーナリバイナリゼーションを用いるようにしてもよい。
なお、固定長バイナリゼーションにより得られる２値列の長さは、２を底とする、とり得るＱＰ差分値の個数の対数値に依存することになる。例えば、とり得るＱＰ差分値の個数が７であれば、２値列の長さは３になる。したがって、ＱＰ差分値テーブルを用いてとり得るＱＰ差分値に制限をかけた場合、制限をかけない場合に比べ２値列の長さが小さくなり、符号量も削減されることになる。
(付記事項５)
本発明では、量子化単位領域のＱＰ差分値を、該量子化単位領域のＱＰ値と所定の基準値と、の差をとることにより求める。上記実施形態では、この所定の基準値を、処理順で該量子化単位領域の直前の量子化単位領域のＱＰ値としていたが、本発明はこれに限定されない。すなわち、ＱＰ差分値を求める量子化単位領域に隣接する量子化単位領域（例えば、左や上に隣接する量子化単位領域）のＱＰ値を上記所定の基準値としてもよい。あるいは、ＱＰ差分値を求める量子化単位領域に近接する（すなわち、該量子化単位領域から所定の範囲内にある）量子化単位領域のＱＰ値を上記所定の基準値としてもよいし、量子化単位よりも大きな処理単位毎に変化する値（例えば、スライスデフォルトＱＰ値）を上記所定の基準値としてもよい。あるいは、上記所定の基準値を特定の定数値（例えば、０）にしてもよい。
（動画像符号化装置２の利点）
以上のように、動画像符号化装置２では、サイド情報決定部２１が、符号化順序が連続する２つのマクロブロックからなる各対のＱＰ差分値がｎ個のＱＰ差分値のいずれかになるように、各マクロブロックのＱＰ値を設定する。例えば、動画像符号化装置２は、マクロブロックＭＢ３のマクロブロックＭＢ２に対するＱＰ差分値が図８（ｄ）のＱＰ差分値テーブルに登録される９個のＱＰ差分値−９、−２、・・３、８のひとつである１になるように、マクロブロックＭＢ３のＱＰ値を決定する。そして、マクロブロックＭＢ３のマクロブロックＭＢ２に対するＱＰ差分値１を、９個のインデックスのうちの、ＱＰ差分値１に対応するインデックス２に変換する。
また、サイド情報符号化部２２は、インデックスからその絶対値の大きさに応じた長さの２値列を生成する。例えば、サイド情報符号化部２２は、インデックス２から長さ４の２値列「１１１０」を生成し、インデックス３から長さ６の２値列「１１１１１０」を生成する。
なお、ｎ個のインデックスはｎ個の差分値よりも絶対値の総和が小さくなっている。例えば、図８（ｄ）のＱＰ差分値テーブルでは、９個のインデックスの絶対値の総和は２０であり、９個のＱＰ差分値の絶対値の総和は３４である。このため、マクロブロックＭＢ１〜ＭＢｎの各ＱＰ差分値から従来のように該ＱＰ差分値の絶対値の大きさに応じた長さの２値列を生成するよりも、マクロブロックＭＢ１〜ＭＢｎの各ＱＰ差分値を対応するインデックスに変換するとともにインデックスの絶対値の大きさに応じた長さの２値列を生成するほうが、一般的に、ｎ個の２値列の合計長が短くなる（すなわち、符号量が小さくなる）。
これにより、動画像符号化装置２は、量子化パラメータの符号量を従来に比べてより削減することが可能である。
（動画像復号装置）
実施形態に係る動画像復号装置（復号装置）１の構成について、図４〜図１０、図１２を参照して説明する。動画像復号装置１は、その一部に、Ｈ２６４／ＡＶＣ規格に採用されている技術を用いている動画像復号装置である。
動画像復号装置１は、概略的に言えば、動画像符号化装置２から入力される符号化データ＃１を復号することによって復号画像＃２を生成し、出力する装置である。
図４は、動画像復号装置１の構成を示すブロック図である。図４に示すように、動画像復号装置１は、可変長符号逆多重化部１１、サイド情報復号部１２、ＭＢ設定部１３、ＭＢ復号部１４、および、フレームメモリ１５を備えている。
動画像復号装置１に入力された符号化データ＃１は可変長符号逆多重化部１１へ入力される。可変長符号逆多重化部１１は、入力された符号化データ＃１を逆多重化することによって、符号化データ＃１を、サイド情報に関する符号化データであるサイド情報符号化データ＃１１ａと、ピクチャに関する符号化データである符号化データ＃１１ｂと、に分離し、サイド情報符号化データ＃１１ａをサイド情報復号部１２に、符号化データ＃１１ｂをＭＢ設定部１３にそれぞれ出力する。
サイド情報復号部１２では、サイド情報符号化データ＃１１ａからサイド情報＃１２を復号し、サイド情報＃１２をＭＢ設定部１３に出力する。サイド情報＃１２は、入力画像＃１００に関するパラメータの集合であるピクチャ・パラメータ・セット、入力画像＃１００に含まれるスライス毎のヘッダ情報であるスライスヘッダ、スライスに含まれるマクロブロック毎のパラメータの集合であるマクロブロックレイヤ等から構成される。
ＭＢ設定部１３では、入力されたサイド情報＃１２に基づいて、符号化データ＃１１ｂを複数のスライスに分割し、各スライスを個々のマクロブロックに対応する符号化データ＃１３に分離し、ＭＢ復号部１４に対して順次出力する。ＭＢ設定部１３は、後述するように、サイド情報＃１２に基づいて、符号化データ＃１３を逆量子化するためのＱＰ値を求め、求めたＱＰ値を符号化データ＃１３とともにＭＢ復号部１４に出力する。
ＭＢ復号部１４は、入力された個々のマクロブロック（逆量子化単位領域）に対応する符号化データ＃１３を順次復号および逆量子化することにより、個々のマクロブロックに対応する復号画像＃２を生成し、出力する。また、復号画像＃２は、フレームメモリ１５に対しても出力される。
フレームメモリ１５には、復号画像＃２が記録される。フレームメモリ１５には、特定のマクロブロックを復号する時点において、当該マクロブロックよりも処理順で先行する全てのマクロブロックに対応する復号画像が記録されている。
符号化データ＃１１ｂを構成する全てのマクロブロックに対して、ＭＢ復号部１４によるマクロブロック単位の復号画像生成処理が終わった時点で、動画像復号装置１に入力された符号化データに対応する復号画像＃２の生成処理が完了する。
（サイド情報復号部１２およびＭＢ設定部１３の動作について）
次に、サイド情報復号部１２およびＭＢ設定部１３の動作について、図５を参照しながら説明する。図５は、サイド情報復号部１２およびＭＢ設定部１３の動作の流れを示すフローチャートである。
図５に示すように、サイド情報復号部１２は、サイド情報符号化データ＃１１ａから、各スライスヘッダに含まれているＱＰ差分値テーブルを復号する（ステップＳ１）。そして、サイド情報復号部１２は、サイド情報符号化データ＃１１ａから、各マクロブロックレイヤに含まれているインデックスを取り出す（ステップ２）。具体的には、動画像符号化装置２のサイド情報符号化部２２がステップＳ４８にて算術符号化したデータを算術復号して２値列を生成し、２値列に対して、ユーナリバイナリゼーションの逆処理（２値列の多値化）を施すことにより、インデックスを取り出す。そして、サイド情報復号部１２は、ＱＰ差分値テーブルおよびインデックスを含むサイド情報＃１２をＭＢ設定部１３に供給する。
そして、ＭＢ設定部１３は、符号化データ＃１３とともにＭＢ復号部１４に順次出力するＱＰ値を算出する（ステップＳ３）。
具体的には、ＭＢ設定部１３は、サイド情報＃１２のスライスヘッダに含まれているＱＰ差分値テーブルと、サイド情報＃１２のマクロブロックレイヤ（符号化データ＃１３が表わすマクロブロックに対応するマクロブロックレイヤ）に含まれているインデックスと、を参照する。ここで、サイド情報＃１２のスライスヘッダとは、符号化データ＃１３が表わすマクロブロックがその一部を構成するスライスに対応するスライスヘッダである。そして、ＭＢ設定部１３は、ＱＰ差分値テーブルにおいて該インデックスに関連づけられているＱＰ差分値を参照し、該ＱＰ差分値からＱＰ値を算出する。
なお、入力された符号化データ＃１３を復号し、さらに、ともに入力されたＱＰ値に基づいて逆量子化するＭＢ復号部１４、および、フレームメモリ１５は、Ｈ２６４／ＡＶＣ規格に準拠した動作を行うものであるので、詳細については省略することとする。
（変形例）
サイド情報復号部１２およびＭＢ設定部１３の動作の変形例について、図６および図７（ｂ）を参照しながら以下に説明する。図６は、サイド情報復号部１２およびＭＢ設定部１３の動作を示すフローチャートである。
サイド情報復号部１２およびＭＢ設定部１３の本変形例に係る動作は、動画像符号化装置２のサイド情報決定部２１およびサイド情報符号化部２２が変形例に係る動作を行った場合に、行うべき動作である。
図６に示すように、サイド情報復号部１２は、サイド情報符号化データ＃１１ａから、各スライスヘッダに含まれているＱＰ差分値テーブルを復号する（ステップＳ２１）。
以下のＳ２２以降の処理は、サイド情報符号化データ＃１１ａに含まれる全マクロブロックレイヤに対して施される。また、Ｓ２２以降の処理を施すマクロブロックレイヤは、動画像符号化装置２のサイド情報決定部２１が処理対象とするマクロブロックを選択する順序と同じ順序で選択される。図７（ｂ）のスライスに即して言えば、マクロブロックＭＢｉに対応するマクロブロックレイヤに対するＳ２２以降の処理はｉ番目に行われる。
サイド情報復号部１２は、選択したマクロブロックレイヤが拡大マクロブロック（第２単位領域）内の先頭マクロブロック（特定の単位領域）のマクロブロックレイヤであるか否かを判定する（ステップＳ２２）。
先頭マクロブロックのマクロブロックレイヤでないと判定された場合（ステップＳ２２においてＮＯ）、サイド情報復号部１２は、サイド情報符号化データ＃１１ａから、マクロブロックレイヤに含まれているインデックスを取り出す（ステップＳ２３）。具体的には、動画像符号化装置２のサイド情報符号化部２２がステップＳ７０にて生成した２値列に対して、ユーナリバイナリゼーションの逆処理（２値列の多値化）を施すことにより、インデックスを取り出す。そして、サイド情報復号部１２は、ＱＰ差分値テーブルおよびインデックスを含むサイド情報＃１２をＭＢ設定部１３に供給する。
さらに、ＭＢ設定部１３は、符号化データ＃１３とともにＭＢ復号部１４に出力するＱＰ値を算出する（ステップＳ２４）。
具体的には、ＭＢ設定部１３は、サイド情報＃１２のスライスヘッダに含まれているＱＰ差分値テーブルと、マクロブロックレイヤに含まれているインデックスと、を参照する。そして、ＭＢ設定部１３は、ＱＰ差分値テーブルにおいて該インデックスに関連づけられているＱＰ差分値を参照し、該ＱＰ差分値からＨ２６４／ＡＶＣ規格に基づく方法でＱＰ値を算出する。
一方、先頭マクロブロックのマクロブロックレイヤであると判定された場合（ステップＳ２２においてＹＥＳ）、サイド情報復号部１２は、サイド情報符号化データ＃１１ａから、マクロブロックレイヤに含まれているＱＰ差分値を取り出し、ＭＢ設定部１３はＱＰ値を算出する（ステップ２５）。具体的には、動画像符号化装置２のサイド情報符号化部２２がステップＳ７０にて生成した２値列に対して、ユーナリバイナリゼーションの逆処理（２値列の多値化）を施すことにより多値化された整数値に対応するＱＰ差分値を取り出す。そして、サイド情報復号部１２は、ＱＰ差分値を含むサイド情報＃１２をＭＢ設定部１３に供給し、ＭＢ設定部１３は、サイド情報＃１２に含まれているＱＰ差分値からＨ２６４／ＡＶＣ規格に基づく方法でＱＰ値を算出する。
すべてのマクロブロックレイヤに対してステップＳ２３およびステップＳ２４の処理（または、ステップＳ２５の処理）を施した場合（ステップＳ２６においてＹＥＳ）、処理を終了する。まだ該処理を施していないマクロブロックレイヤが存在する場合（ステップＳ２６においてＮＯ）、ステップＳ２２に戻る。
＜動画像復号装置に関する付記事項＞
以上、本実施形態に係る動画像復号装置１について説明を行ったが、本発明は、以上の構成に限定されるものではない。
（付記事項１）
上記実施形態では、逆量子化単位領域がマクロブロックであるものとしたが、これに限られない。すなわち、逆量子化単位領域のサイズが動画像符号化装置２における量子化単位領域のサイズと同一であれば、逆量子化単位領域はマクロブロックよりも大きい単位領域またはマクロブロックよりも小さい単位領域であっても構わない。
また、上記実施形態では、各逆量子化単位領域の画像の逆量子化に用いるＱＰ値をＱＰ差分値から算出するが、インデックスからＱＰ差分値を求めるために、スライスヘッダ内のＱＰ差分値テーブルを参照した。すなわち、インデックスからＱＰ差分値を求めるために参照するＱＰ差分値テーブルをスライス毎に切り替えていた。しかし、本発明に係る復号装置はこれに限定されない。すなわち、動画像符号化装置２におけるテーブル生成単位領域と同一のサイズの単位領域ごとに、参照するＱＰ差分値テーブルを切り替えるようになっていればよい。
（付記事項２）
ＱＰ差分値テーブルを復号する具体的な処理は以下のようになっていればよい。
すなわち、ＱＰ差分値テーブルの符号化データがＱＰ差分値テーブルに含まれる各ＱＰ差分値の符号化データを含む場合、各ＱＰ差分値をユーナリバイナリゼーションの逆処理により復号してもよい。
また、ＱＰ差分値テーブルの符号化データがfactorの値とＱＰ差分値テーブルのサイズとを含んでいる場合、これらを復号することになる。この場合、復号により得られたfactorの値およびＱＰ差分値テーブルのサイズに基づいて、ＱＰ差分値テーブルを生成すればよい。すなわち、ＱＰ差分値テーブルのサイズが2n+1であり、factorの値がfである場合、インデックスを-n,-n+1,・・,0,・・,n-1,nとし、それぞれに対応するＱＰ差分値を-1*f*n,-1*f*(n-1),・・,0, f*(n-1),f*nとするＱＰ差分値テーブルを生成すればよい。
（動画像復号装置１の利点）
以上のように、動画像復号装置１は、復号画像を構成する各マクロブロックに関する量子化パラメータを設定する処理を行うが、サイド情報復号部１２が符号化データ＃１から各マクロブロックに関する２値列のデータを抽出する。そして、サイド情報復号部１２は、各２値列のデータから２値列の長さに応じたインデックスを生成する。
そして、ＭＢ設定部１３は、互いに異なるｎ個のインデックスと、ｎ個のＱＰ差分値と、が１対１に対応付けられているＱＰ差分値テーブルを参照することにより、サイド情報復号部１２が各マクロブロックについて生成したインデックスから、各マクロブロックのＱＰ差分値を特定する。その後、ＭＢ設定部１３は、Ｈ２６４／ＡＶＣ規格に基づく方法で各ＱＰ差分値から各マクロブロックのＱＰ値を算出する。
したがって、動画像復号装置１は、算出したＱＰ値を用いて各マクロブロックに逆量子化処理を施すことにより、各マクロブロックが構成する復号画像を生成することができる。
〔実施形態２〕
（符号化データ）
まず、実施形態２以降の各実施形態に係る動画像符号化装置によって生成され、実施形態２以降の各本実施形態に係る動画像復号装置によって参照される符号化データについて図１３を参照しながら説明する。なお、以下の説明における、動画像符号化装置の符号「４」、動画像復号装置の符号「３」、符号化データの符号「＃４」は、それぞれ、実施形態２に係る動画像符号化装置、実施形態２に係る動画像復号装置、実施形態２において参照される符号化データを示している。実施形態３以降の各実施形態に係る動画像符号化装置および動画像復号装置によって参照される符号化データについても、以下の説明において用いられている符号を、当該実施形態において使用される符号に置き換えて読むことにより理解できることは言うまでもない。
〔符号化データの構成〕
図１３を用いて、動画像符号化装置４によって生成され、動画像復号装置３によって復号される符号化データ＃４の構成例について説明する。符号化データ＃４は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
符号化データ＃４におけるピクチャレイヤ以下の階層の構造を図１３に示す。図１３の（ａ）〜（ｄ）は、それぞれ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置３が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図１３の（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃４に含まれるデータであって、添え字を付している他のデータについても同様である。
ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置３が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置４が符号化の際に用いた可変長符号化のモードを示す符号化モード情報（entropy_coding_mode_flag）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。
entorpy_coding_mode_flagが０の場合、当該ピクチャＰＩＣＴは、ＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）によって符号化されている。また、entorpy_coding_mode_flagが１である場合、当該ピクチャＰＩＣＴは、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）によって符号化されている。
なお、ピクチャヘッダＰＨは、ピクチャ・パラメータ・セット（ＰＰＳ：Picture Parameter Set）とも称される。
図１６は、ピクチャ・パラメータ・セットに含まれているシンタックスを示す図である。図１６に示すように、ピクチャ・パラメータ・セットには、シンタックスlog2_min_delta_qualt_coding_unit_size_minus4が含まれている。本実施形態に係る動画像復号装置は、このシンタックスを参照することによって、サイズ情報としてMinDeltaQuantCodingUnitSizeを生成する。
なお、図１６に示したDescriptor（記述子）u(1)は、これらの記述子に関連付けられたシンタックスが１ビットで固定長符号化されることを示しており、u(2)は、この記述子に関連付けられたシンタックスが２ビットで固定長符号化されることを示しており、ue(v)は、この記述子に関連付けられたシンタックスが可変長符号化されることを示している（以下のシンタックステーブルにおいても同様）。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置３が参照するデータの集合が規定されている。スライスＳは、図１３の（ｂ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1〜ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）のシーケンスを含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
また、スライスヘッダＳＨには、動画像復号装置１の備えるループフィルタ（不図示）によって参照されるフィルタパラメータが含まれていてもよい。
（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置３が参照するデータの集合が規定されている。
ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのパーティションに分割される。
ツリーブロックＴＢＬＫの上記パーティションは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するパーティションを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのパーティション）のサイズの縦横とも半分である。
また、各符号化ノードのとり得るサイズは、符号化データ＃４のシーケンスパラメータセットＳＰＳに含まれる、符号化ノードのサイズ指定情報および最大階層深度（maximum hierarchical depth）に依存する。例えば、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、最大階層深度が３である場合には、当該ツリーブロックＴＢＬＫ以下の階層における符号化ノードは、３種類のサイズ、すなわち、６４×６４画素、３２×３２画素、および１６×１６画素の何れかをとり得る。
（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置３が参照する符号化パラメータが含まれる。具体的には、図１３の（ｃ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp（qp_delta）が含まれる。
ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置３が参照するデータの集合が規定されている。
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、Ｎ×２Ｎ、および、Ｎ×Ｎなどがある。
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
（ＣＵ情報のデータ構造）
続いて、図１３の（ｄ）を参照しながらＣＵ情報に含まれるデータの具体的な内容について説明する。図１３の（ｄ）に示すように、ＣＵ情報は、具体的には、スキップフラグＳＫＩＰ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含む。
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報におけるＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
ＰＴ情報ＰＴＩは、ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、動画像復号装置３により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図１３の（ｄ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報より構成される。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。
また、予測情報ＰＩｎｆｏは、対象ＰＵの形状、サイズ、および、位置を指定する情報が含まれる。上述のとおり予測画像の生成は、ＰＵを単位として行われる。予測情報ＰＩｎｆｏの詳細については後述する。
ＴＴ情報ＴＴＩは、ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。
ＴＴ情報ＴＴＩは、図１３の（ｄ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。
また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から２×２画素までのサイズをとり得る。
各量子化予測残差ＱＤは、動画像符号化装置４が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
（予測情報ＰＩｎｆｏ）
上述のとおり、予測情報ＰＩｎｆｏには、インター予測情報およびイントラ予測情報の２種類がある。
インター予測情報には、動画像復号装置３が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、インター予測情報には、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータが含まれる。
インター予測パラメータには、参照画像インデックスと、推定動きベクトルインデックスと、動きベクトル残差とが含まれる。
一方、イントラ予測情報には、動画像復号装置３が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、イントラ予測情報には、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
以下、実施形態２以降では、特に断りがない限り、「ＴＵ」を変換ツリーの最下位階層にある変換ブロックの意味で用いている。さらに、「ＬＣＵ」を符号化ツリーの最上位階層にあるＣＵの意味で用いている。
（動画像復号装置）
本実施形態に係る動画像復号装置は、次に説明する動画像符号化装置４から供給される符号化データ＃４を復号して復号画像＃３を生成する装置である。
以下では、本実施形態に係る動画像復号装置について図面を参照しながら詳細に説明する。
最初に、本実施形態に係る動画像復号装置の構成について図１４を参照しながら説明する。図１４は、動画像復号装置３の構成を示すブロック図である。図１４に示すように、動画像復号装置３は、可変長符号逆多重化部３１、サイド情報復号部３２、ＣＵ設定部３３、ＣＵ復号部３４、および、フレームメモリ１５を備えている。
動画像復号装置３に入力された符号化データ＃４は可変長符号逆多重化部３１へ入力される。可変長符号逆多重化部３１は、入力された符号化データ＃４を逆多重化することによって、符号化データ＃４を、サイド情報に関する符号化データであるサイド情報符号化データ＃３１ａと、ピクチャに関する符号化データである符号化データ＃３１ｂとに分離し、サイド情報符号化データ＃３１ａをサイド情報復号部３２に、符号化データ＃３１ｂをＣＵ設定部３３にそれぞれ出力する。
サイド情報復号部３２では、サイド情報符号化データ＃３１ａを復号してサイド情報＃３２を生成し、サイド情報＃３２をＣＵ設定部３３に出力する。
サイド情報復号部３２では、サイド情報符号化データ＃３１ａを復号する処理において、ＱＰ符号化単位領域のサイズを示すサイズ情報の符号化データを復号することにより、サイド情報＃３２の一部として上記サイズ情報を生成する。具体的には、サイド情報復号部３２は、サイド情報符号化データ＃３１ａに含まれているlog2_min_delta_qualt_coding_unit_size_minus4に対して以下の式１の演算を行い、上記サイズ情報としてMinDeltaQuantCodingUnitSizeを生成する。式１において「＜＜」は、左ビットシフト演算を示している。
Figure 0005670444
また、サイド情報復号部３２では、サイド情報符号化データ＃３１ａを復号する処理において、各ＱＰ符号化単位領域のＱＰ差分値の符号化データを復号することにより、サイド情報＃３２の一部として上記ＱＰ差分値を生成する。
サイド情報復号部３２は、より具体的には、符号化データ＃４に含まれるcoding_unitシンタックス（図１８参照）を参照して各ＣＵに対して順次以下の処理を行う。すなわち、サイド情報復号部３２は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共にＱＰ符号化単位領域のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合に、復号可能状態を示すフラグ(deltaQuantAvail)の値を復号可能状態を示す”true”に設定する。そして、サイド情報復号部３２は、deltaQuantAvailが復号可能状態において、スキップブロック以外のＣＵを復号する時点で、ＱＰ差分値を復号する。すなわち、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグを参照すると、coding_unitシンタックスに含まれるcu_qp_deltaを復号し、該スキップフラグを参照したＣＵのＱＰ差分値を、復号されたcu_qp_deltaの値に設定する。続いて、サイド情報復号部３２は、deltaQuantAvailの値を”false”に設定する。
サイド情報復号部３２は、deltaQuantAvailの値が”false”である状態のときに、値が「０」のスキップフラグを参照すると、ＱＰ差分値に０を設定する。すなわち、該スキップフラグを参照したＣＵの直前に復号したＣＵにおけるqpの値を、該スキップフラグを参照したＣＵについてのqpとして用いる。
あるいは、隣接するブロックと同じ予測パラメータを用いるＣＵであるマージブロックを考慮して以下のようにcu_qp_deltaを復号しても良い。サイド情報復号部３２は、各ＱＰ符号化単位領域について、該ＱＰ符号化単位領域全体を構成する１以上の各ＣＵについて、ラスタスキャン順に該ＣＵのスキップフラグと該ＣＵのマージフラグとを参照するようにしてもよい。この場合、サイド情報復号部３２は、各ＱＰ符号化単位領域について、値が「０」であるスキップフラグと値が「０」であるマージフラグとが該ＱＰ符号化単位領域において初めて参照されるＣＵのＱＰ差分値をcu_qp_deltaから復号する。
具体的には、サイド情報復号部３２は、符号化データ＃４に含まれるcoding_unitシンタックス（図１９参照）を参照して各ＣＵに対して順次以下の処理を行ってもよい。すなわち、サイド情報復号部３２は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共にＱＰ符号化単位領域のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合に、復号可能状態を示すフラグ(deltaQuantAvail)の値を”true”に設定する。その後、サイド情報復号部３２は、スキップブロックでも、マージブロックでもないＣＵを復号する時点において、cu_qp_deltaを復号する。すなわち、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグと値が「０」のマージフラグとを同時に参照すると、coding_unitシンタックスに含まれるcu_qp_deltaを復号し、該スキップフラグを参照したＣＵのＱＰ差分値を、復号されたcu_qp_deltaの値に設定する。続いて、サイド情報復号部３２は、deltaQuantAvailの値を”false”に設定する。
サイド情報復号部３２は、deltaQuantAvailの値が”false”である状態のときに、スキップブロックもしくはマージブロックのＣＵを復号する時点においては、ＱＰ差分値の符号化は行わない。すなわち、deltaQuantAvailの値が”false”である状態のときに、値が「１」のスキップフラグを参照すると、あるいは、値が「０」のスキップフラグと値が「１」のマージフラグとを同時に参照すると、ＱＰ差分値に０を設定する。この場合、該スキップフラグを参照したＣＵの直前に復号したＣＵのqpの値を、該スキップフラグを参照したＣＵについてのqpとして用いる。
以上のようなサイド情報復号部３２の処理によって、各ＱＰ符号化単位領域についてqpがユニークに定まることになる。また、各ＱＰ符号化単位領域についてユニークに定まったqpは、該ＱＰ符号化単位領域に含まれる各ＣＵに対して共通に用いられる。
ＣＵ設定部３３では、入力されたサイド情報＃３２に基づいて、符号化データ＃３１ｂを複数のスライスに分割し、各スライスを複数のＱＰ符号化単位領域に分割し、各ＱＰ符号化単位領域を個々のＣＵに対応する符号化データ＃３３ｂに分離し、ＣＵ復号部３４に対して順次出力する。また、ＣＵ設定部３３は、各ＱＰ符号化単位領域について、該ＱＰ符号化単位領域の個々のＣＵに対応する符号化データ＃３３ｂに加えて、サイド情報＃３２に含まれている該ＱＰ符号化単位領域のＱＰ差分値＃３３ａをＣＵ復号部３４に対して出力する。
ＣＵ復号部３４は、入力された個々のＣＵ（逆量子化単位領域）に対応する符号化データ＃３３ｂを順次復号および逆量子化することにより、個々のＣＵに対応する復号画像＃３４を生成し、出力する。また、復号画像＃３４は、フレームメモリ１５に対しても出力される。
具体的には、ＣＵ復号部３４は、ＣＵに対応する符号化データ＃３３ｂを復号および逆量子化する際には、該ＣＵが属するＱＰ符号化単位領域のＱＰ差分値＃３３ａからＱＰ値を求めて逆量子化処理を行う。
符号化データ＃３１ｂを構成する全てのＣＵに対して、ＣＵ復号部３４によるＣＵ単位の復号画像生成処理が終わった時点で、動画像復号装置３に入力された符号化データに対応する復号画像＃３の生成処理が完了する。
以上のように、動画像復号装置は、ＣＵごとにＱＰ差分値の符号化データを復号するのではなく、１以上のＣＵからなるＱＰ符号化単位領域ごとにＱＰ差分値の符号化データを復号するので、従来よりも少ない符号量の符号化データからで復号画像を生成することができる。
また、残差データを含まないＣＵであるスキップブロックではqpを必要としない。このことを考慮してスキップフラグが「１」である場合にはＱＰ差分値を復号せず、スキップフラグが「０」である場合のみＱＰ差分値を復号することにより、符号化データにおけるＱＰ差分値の符号量を低減することができる。
また、スキップブロックと同様、一部の符号化データを省略することによって符号化データの符号量を低減するマージブロックでもＱＰ差分値を復号しないことにより、符号化データにおけるＱＰ差分値の符号量を低減することができる。
（動画像符号化装置）
本実施形態に係る動画像符号化装置は、入力画像を構成する各ＬＣＵを、ＪＣＴＶＴ−４０３に記載されているcoding_treeシンタックスを用いて複数のＣＵ（Coding Unit：量子化単位領域）に分割する処理を行う。coding_treeシンタックスを見るとわかるように、上記分割処理は、具体的には、第ｉ階層のＣＵのsplit_coding_unit_flagがtrueであるときに該ＣＵを４分の１のサイズを持つ第ｉ＋１階層の４つのＣＵに分割する処理を、再帰的に行う処理である。したがって、上記複数のＣＵのサイズは、一般的に同一ではない。
また、動画像符号化装置は、１つ以上のＣＵから構成されるＱＰ符号化単位領域（単位領域）ごとに、該ＱＰ符号化単位領域に属するたかだか１つのＣＵに関するＱＰ差分値を符号化するように構成されている。また、動画像符号化装置は、ＱＰ符号化単位領域のサイズを示すサイズ情報を符号化するように構成されている。
すなわち、本実施形態に係る動画像符号化装置は、実施形態１の動画像符号化装置のように量子化単位領域ごとにＱＰ差分値を符号化するのではなく、１以上の量子化単位領域からなるＱＰ符号化単位領域ごとにＱＰ差分値を符号化することによって、ＱＰ差分値の符号量を削減できるようになっている。
このようにして生成された、各ＱＰ符号化単位領域の符号化済みのＱＰ差分値と符号化済みのサイズ情報とは、後述する動画像復号装置に伝送される。そして、動画像復号装置は、１つのＱＰ符号化単位領域を構成する各量子化単位領域で共通のＱＰ差分値を使用して逆量子化を行うようになっている。
なお、上記のＱＰ符号化単位領域の構成要素となる領域（第３単位領域）は、ＣＵではなくＴＵであっても構わない。
以下では、本実施形態に係る動画像符号化装置について図面を参照しながら詳細に説明する。
最初に、本実施形態に係る動画像符号化装置４の構成について図１５を参照しながら説明する。図１５は、動画像符号化装置４の構成を示すブロック図である。図１５に示すように、動画像符号化装置４は、サイド情報決定部４１、サイド情報符号化部４２、ＣＵ設定部４３、ＣＵ符号化部４４、可変長符号多重化部２５、ＣＵ復号部４６、および、フレームメモリ２７を備えている。
サイド情報決定部４１は、入力画像＃１００に基づいて、サイド情報を決定し、決定したサイド情報をサイド情報＃４１として出力する。サイド情報＃４１（後述するサイド情報＃６１、＃８１等も同様）は、入力画像＃１００に関するパラメータの集合であるピクチャ・パラメータ・セット、入力画像＃１００に含まれるスライス毎のヘッダ情報であるスライスヘッダ、スライスに含まれるＣＵ毎のパラメータの集合であるＣＵ情報、ＣＵに含まれるＴＵ毎のパラメータの集合であるＴＵ情報等から構成される。
具体的には、サイド情報決定部４１は、スライス（またはピクチャ）ごとに所定のアルゴリズムに基づいてＱＰ符号化単位領域の（縦および横の）サイズを決定し、ＱＰ符号化単位領域のサイズを示すサイズ情報をサイド情報＃４１のスライスヘッダ（ピクチャ・パラメータ・セット）に格納する。
さらに、サイド情報決定部４１は、ピクチャ・パラメータ・セット（またはスライスヘッダ）内のＱＰ符号化単位領域のサイズ情報に基づいて、入力画像＃１００（または各スライス）を構成するＱＰ符号化単位領域を規定し、ＱＰ符号化単位領域ごとにたかだか１つのＣＵに関するＱＰ差分値（以下、単に、「ＱＰ符号化単位領域のＱＰ差分値」とも称する）を、該ＣＵのＣＵ情報の一部としてサイド情報＃４１に格納する。
サイド情報符号化部４２は、サイド情報＃４１を符号化し、サイド情報符号化データ＃４２を出力する。サイド情報符号化データ＃４２は、可変長符号多重化部２５に供給される。サイド情報符号化部４２は、サイド情報＃４１を符号化する処理において、各ＱＰ符号化単位領域のＱＰ差分値と、上記サイズ情報とを符号化する。
サイド情報符号化部４２は、具体的には、ＱＰ符号化単位領域のサイズに２を底とするような対数関数を適用するとともに得られた対数関数値から４を減算することにより、サイズ情報の符号化データを生成する。なお、ピクチャ・パラメータ・セットにサイズ情報が含まれている場合には、ピクチャ・パラメータ・セットの符号化データは、例えば、図１６に示すようなデータとなる（図１６において、log2_min_delta_qualt_coding_unit_size_minus4がサイズ情報の符号化データを表している）。
ＣＵ設定部４３は、サイド情報＃４１に基づいて、入力画像＃１００を複数のスライスに分割し、さらに、各スライスを複数のＣＵに分割し、各ＣＵに関するＣＵ画像＃４３を出力する。なお、前述したように、一般的には各ＣＵ画像のサイズは同一ではない。
また、ＣＵ設定部４３は、１つのＱＰ符号化単位領域を構成する複数のＣＵのＣＵ画像＃４３ｂとともに、サイド情報＃４１に格納されている該ＱＰ符号化単位領域のＱＰ差分値＃４３ａを出力する。
ＣＵ符号化部４４は、順次入力されるＣＵ画像＃４３ｂについて、予測画像生成部（図示せず）から送信される予測画像との予測残差をＤＣＴ変換するとともに、該ＣＵ画像＃４３ｂが属するＱＰ符号化単位領域のＱＰ差分値＃４３ａから定まるＱＰ値に応じた量子化レベルで、予測残差の各ＤＣＴ係数を量子化する。そして、ＣＵ符号化部４４は、量子化により得られたデータに可変長符号化処理を施すことによりＣＵ符号化データ＃４４を生成して可変長符号多重化部２５に供給する。
ＣＵ復号部４６は、入力された個々のＣＵ画像＃４３ｂに対応するＣＵ符号化データ＃４４を順次復号することにより、個々のＣＵに対応する復号画像＃４６を生成し、出力する。復号画像＃４６は、フレームメモリ２７に供給される。
なお、可変長符号多重化部２５およびフレームメモリ２７については実施形態１において説明したので、ここでは説明を省略する。
以上、動画像符号化装置４の構成について説明したが、以下では、ＱＰ符号化単位領域ごとにたかだか１つのＱＰ差分値を符号化するためにサイド情報決定部４１およびサイド情報符号化部４２が行う具体的な処理について図１７を参照しながら説明する。
図１７は、サイド情報決定部４１が規定するＱＰ符号化単位領域の一部（４つのＱＰ符号化単位領域）を模式的に示した図である。図１７において太線で囲まれた４つの正方形領域の各々がＱＰ符号化単位領域であり、細線で囲まれた計１２個の領域はＣＵを示している。また、図１７において斜線で描かれたＣＵは、ＱＰ差分値が符号化されるＣＵを示しており、点状模様で描かれたＣＵは、スキップブロックであることを示している。
サイド情報決定部４１は、規定した各ＱＰ符号化単位領域について、該ＱＰ符号化単位領域全体を構成する１以上の各ＣＵについて、規定の順序で（本実施形態ではラスタスキャン順に）該ＣＵのスキップフラグを参照する。サイド情報決定部４１は、各ＱＰ符号化単位領域について、値が「０」であるスキップフラグが該ＱＰ符号化単位領域において初めて参照されるＣＵのＱＰ値を算出し、直前に参照したＱＰ値（またはデフォルトＱＰ値）とのＱＰ差分値をサイド情報＃４１の一部としてサイド情報符号化部４２に出力する。
例えば、図１７の右上の符号化単位領域では、サイド情報決定部４１は、ラスタスキャン順で最初に位置するＣＵがスキップブロック(スキップフラグの値が「１」であるＣＵ)であるので、ラスタスキャン順で２番目に位置する斜線が描かれたＣＵのＱＰ値を算出し、デフォルトＱＰ値とのＱＰ差分値をサイド情報符号化部４２に出力することになる。
サイド情報符号化部４２は、ＱＰ符号化単位領域ごとに、サイド情報＃４１に格納されている該ＱＰ符号化単位領域内のたかだか１つのＣＵのＱＰ差分値を符号化する。
具体的には、サイド情報決定部４１およびサイド情報符号化部４２は、図１８に示すcoding_unitシンタックスを用いて各ＣＵに対して順次以下の処理を行う。すなわち、サイド情報決定部４１は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共にＱＰ符号化単位領域のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合に、符号化可能状態を示すフラグ(deltaQuantAvail)の値を”true”に設定する。そして、サイド情報決定部４１は、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグを参照すると、スキップフラグを参照したＣＵのＱＰ差分値をサイド情報＃４１の一部としてサイド情報符号化部４２に供給する。サイド情報符号化部４２は、ＱＰ差分値の符号化処理を実行してdeltaQuantAvailの値を”false”に設定する。
あるいは、サイド情報決定部４１は、規定した各ＱＰ符号化単位領域について、該ＱＰ符号化単位領域全体を構成する１以上の各ＣＵについて、ラスタスキャン順に該ＣＵのスキップフラグと該ＣＵのマージフラグとを参照するようにしてもよい。この場合、サイド情報決定部４１は、各ＱＰ符号化単位領域について、値が「０」であるスキップフラグと値が「０」であるマージフラグとが該ＱＰ符号化単位領域において初めて参照されるＣＵのＱＰ値を算出し、直前に参照したＣＵのＱＰ値（またはデフォルトＱＰ値）とのＱＰ差分値を、サイド情報＃４１の一部としてサイド情報符号化部４２に供給する。
具体的には、サイド情報決定部４１およびサイド情報符号化部４２は、図１９に示すcoding_unitシンタックスを用いて各ＣＵに対して順次以下の処理を行ってもよい。すなわち、サイド情報決定部４１は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共にＱＰ符号化単位領域のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合に、符号化可能状態を示すフラグ(deltaQuantAvail)の値を”true”に設定する。その後、サイド情報決定部４１は、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグと値が「０」のマージフラグとを同時に参照すると、スキップフラグを参照したＣＵのＱＰ差分値をサイド情報＃４１の一部としてサイド情報符号化部４２に供給する。サイド情報符号化部４２は、ＱＰ差分値の符号化処理を実行してdeltaQuantAvailの値を”false”に設定する。
以上のようなサイド情報決定部４１およびサイド情報符号化部４２の処理によって可変長符号多重化部２５は、サイド情報符号化部４２から、各ＱＰ符号化単位領域のＱＰ差分値とピクチャ・パラメータ・セット（各スライス）ごとに定まるＱＰ符号化単位領域のサイズ情報との符号化データを含むサイド情報符号化データ＃４２を受け取ることになる。また、可変長符号多重化部２５は、ＣＵ符号化部４４から受け取るＣＵ符号化データ＃４４とサイド情報符号化データ＃４２とを多重化することによって符号化データ＃４を生成し、出力する。
なお、サイド情報決定部４１は、スライスヘッダおよびピクチャ・パラメータ・セットに代えて、シーケンス・パラメータ・セットにＱＰ符号化単位領域のサイズ情報を格納してもよい。
（付記事項）
動画像符号化装置４のサイド情報符号化部４２は、ＱＰ符号化単位領域のサイズに２を底とするような対数関数を適用するとともに得られた対数関数値から４を減算した値を算出することにより、サイズ情報の符号化データを生成するものとしたが、本発明はこれに限られない。
すなわち、サイド情報符号化部４２は、ＬＣＵサイズとの相対的なサイズとしてＱＰ符号化単位領域のサイズを符号化しても構わない。例えば、ＱＰ符号化単位領域のサイズがＬＣＵサイズ(max_coding_unit_width)の２n分の１である場合にｎをサイズ情報の符号化データとして生成してもよい。
この場合、動画像復号装置３のサイド情報復号部３２は、サイド情報符号化データ＃３１ａに含まれているlog2_min_delta_qualt_coding_unit_size_to_lcuに対して以下の式２の演算を行い、上記サイズ情報としてMinDeltaQuantCodingUnitSizeを生成する。式２において「＞＞」は、右ビットシフト演算を示している。
Figure 0005670444
なお、上記のような、ＬＣＵサイズとの相対的なサイズとして符号化する、ＱＰ符号化単位領域のサイズの符号化方法は、以下の実施形態にも適応することが可能である。
〔実施形態３〕
（符号化データ）
本実施形態に係る符号化データ＃６の構成は、実施形態２において説明した符号化データ＃４の構成と略同様であるが、以下の点において異なる。すなわち、本実施形態に係る符号化データ＃６には、図２０に示すcoding_unitシンタックスおよび図２１に示すtransform_treeシンタックスが含まれている。図２０に示すcoding_unitシンタックスおよび図２１に示すtransform_treeシンタックスについては、以下の動画像復号装置及び動画像符号化装置と共に説明を行うことにする。
（動画像復号装置）
本実施形態に係る動画像復号装置は、実施形態２において説明した動画像復号装置３と略同様の構成である。また、本実施形態に係る動画像復号装置は、基本的に実施形態２において説明した動画像復号装置３と略同様の動作を行うことにより、符号化データ＃６を復号して復号画像＃３を生成できる。ただし、各ＱＰ符号化単位領域のＱＰ差分値は、サイド情報＃３２のＱＰ情報の一部ではなく、サイド情報＃３２のＴＵ情報の一部になっている。したがって、動画像復号装置３のＣＵ設定部３３は、サイド情報＃３２に含まれている各選択対象ＴＵのＴＵ情報を参照することにより、各ＱＰ符号化単位領域のＱＰ差分値を読み出すことになる。
この点についてより具体的に説明すれば以下の通りである。
本実施形態に係る動画像復号装置の備えるサイド情報復号部３２は、各ＱＰ符号化単位領域について、該ＱＰ符号化単位領域全体を構成する１以上の各ＣＵについて、ラスタスキャン順に該ＣＵのスキップフラグと該ＣＵの残差データ存在フラグ（residualDataPresentFlag）とを参照する。ここで、残差データ存在フラグは、ＣＵが、０でないＤＣＴ係数を少なくとも１つ以上含むＴＵを少なくとも１つ以上含む場合に、”True”になり、そうでない場合に”False”になるフラグである。
サイド情報復号部３２は、図２０のcoding unitシンタックスと、図２１のtransform_treeシンタックスと、を参照し、各ＣＵに対して順次以下の処理を行う。すなわち、図２０からわかるように、サイド情報復号部３２は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共にＱＰ符号化単位領域の縦および横のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合に、復号可能状態を示すフラグ(deltaQuantAvail)の値を”true”に設定する。そして、サイド情報復号部３２は、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグを参照すると、図２１のtransform_treeシンタックスにおける、residualDataPresentFlagの値を参照する。residualDataPresentFlagの値が「０」である場合、すなわち、該ＴＵが残差データを含まない場合、サイド情報復号部３２は、次のＣＵについてcoding unitシンタックスを参照する。なお、entropy_coding_mode_flagが０の場合、residualDataPresentFlagは、cuv_yuv_rootの値が０か否かにより定まる。cuv_yuv_rootが０以外の場合に”true”、cuv_yuv_rootが０の場合に”false”となる。
entropy_coding_mode_flagが０の場合、residualDataPresentFlagは、no_resisulal_data_flagの値が０以外であれば”true”、 no_resisulal_data_flagの値が０であれば”false”となる。
一方、residualDataPresentFlagの値が「１」である場合、すなわち、該ＴＵが残差データを含む場合、サイド情報復号部３２は、注目しているＣＵを構成する各ＴＵに対して図２１のtransform_treeシンタックスを参照する。その結果、サイド情報復号部３２は、０でないＤＣＴ係数を少なくとも１つ以上含むＴＵであって注目しているＣＵの中で規定の順序（例えば、ラスタスキャン順とは真逆の順序）において最初に復号するＴＵ（例えば、右下端のＴＵ。以下、「選択対象ＴＵ」とも称する）のcu_qp_deltaを復号し、当該最初に復号するＴＵについてのＱＰ差分値を、該復号されたcu_qp_deltaの値に設定する。その後、サイド情報復号部３２は、deltaQuantAvailの値を”false”に設定する。以上のようなサイド情報復号部３２の処理によって、各ＱＰ符号化単位領域についてqpがユニークに定まることになる。また、各ＱＰ符号化単位領域についてユニークに定まったqpは、該ＱＰ符号化単位領域に含まれる各ＣＵに対して共通に用いられる。
（動画像符号化装置）
本実施形態に係る動画像符号化装置について図面を参照しながら詳細に説明する。
本実施形態に係る動画像符号化装置は、実施形態２の動画像符号化装置４と同様、入力画像を構成する各ＬＣＵを、coding_treeシンタックスを用いて複数のＣＵ（Coding Unit：量子化単位領域）に分割する。また、本実施形態に係る動画像符号化装置は、動画像符号化装置４とは異なり、各ＣＵについて、図２０に示すcoding_unitシンタックスおよび図２１に示すtransform_treeシンタックスを用いて、該ＣＵを、変換ツリーを構成する複数の変換単位（ＴＵ）に分割する。
また、動画像符号化装置は、１以上の上記ＴＵから構成される所定のアルゴリズムに基づいて定められたＱＰ符号化単位領域ごとに、該ＱＰ符号化単位領域全体を構成する少なくとも一部のＴＵについてのみＱＰ差分値を符号化するように構成されている。ただし、本実施形態に係る動画像符号化装置が、該ＴＵに関するＱＰ差分値を符号化するのは、該ＴＵの予測残差が０でない（すなわち、０でないＤＣＴ係数が存在する）場合に限られている。ここで、０でないＤＣＴ係数が存在しないことは、該ＴＵの輝度成分の各ＤＣＴ係数および該ＴＵの色差成分の各ＤＣＴ係数がすべて０であることと等価である。そのため、本実施形態に係る動画像符号化装置は、実施形態２と異なり、符号化する必要がないＱＰ差分値を符号化してしまうという冗長な処理を減らすことができる。
以下、本実施形態に係る動画像符号化装置６について図２２を参照しながら説明する。図２２は、動画像符号化装置６の構成を示すブロック図である。図２２に示すように、動画像符号化装置６は、サイド情報決定部６１、サイド情報符号化部６２、ＣＵ設定部４３、ＣＵ符号化部４４、可変長符号多重化部２５、ＣＵ復号部４６、および、フレームメモリ２７を備えている。
ＣＵ設定部４３、ＣＵ符号化部４４、可変長符号多重化部２５、ＣＵ復号部４６、および、フレームメモリ２７については、実施形態１または２において説明したので、以下では、サイド情報決定部６１およびサイド情報符号化部６２について説明する。
サイド情報決定部６１は、規定した各ＱＰ符号化単位領域について、該ＱＰ符号化単位領域全体を構成する１以上の各ＣＵについて、ラスタスキャン順に該ＣＵのスキップフラグと該ＣＵの残差データ存在フラグ（residualDataPresentFlag）とを参照する。ここで、残差データ存在フラグは、ＣＵが、０でないＤＣＴ係数を少なくとも１つ以上含むＴＵを少なくとも１つ以上含む場合に、”True”になり、そうでない場合に”False”になるフラグである。サイド情報決定部６１は、各ＱＰ符号化単位領域について、値が「０」であるスキップフラグと値が「１」である残差データ存在フラグとが該ＱＰ符号化単位領域において初めて同時に参照されるＣＵのＱＰ値とデフォルトＱＰ値とのＱＰ差分値＃６３ａを、サイド情報＃６１の一部としてサイド情報符号化部６２に出力する。
サイド情報符号化部６２は、ＱＰ符号化単位領域ごとに、サイド情報決定部６１から受け取ったＱＰ差分値を符号化して符号化データ＃６２を生成する。
具体的には、サイド情報決定部６１およびサイド情報符号化部６２は、図２０のcoding unitシンタックスと、図２１のtransform_treeシンタックスと、を用いて各ＣＵに対して順次以下の処理を行う。すなわち、図２０からわかるように、サイド情報決定部６１は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共にＱＰ符号化単位領域の縦および横のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合に、符号化可能状態を示すフラグ(deltaQuantAvail)の値を”true”に設定する。そして、サイド情報決定部６１は、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグを参照すると、図２１のtransform_treeシンタックスを呼び出して、residualDataPresentFlagの値を参照する。residualDataPresentFlagの値が「０」である場合、サイド情報決定部６１は、次のＣＵについてcoding unitシンタックスを呼び出す。
一方、サイド情報決定部６１は、residualDataPresentFlagの値が「１」である場合、サイド情報決定部６１は、注目しているＣＵを構成する各ＴＵに対して図２１のtransform_treeシンタックスを適用する。その結果、サイド情報決定部６１は、０でないＤＣＴ係数を少なくとも１つ以上含むＴＵであって注目しているＣＵの中で規定の順序（例えば、ラスタスキャン順とは真逆の順序）において最初に参照するＴＵ（例えば、右下端のＴＵ。以下、「選択対象ＴＵ」とも称する）のＱＰ差分値を算出し、選択対象ＴＵのＱＰ差分値をＴＵ情報の一部としてサイド情報符号化部６２に供給する。サイド情報符号化部６２は、受け取ったＱＰ差分値に対して符号化処理を実行してdeltaQuantAvailの値を”false”に設定する。
以上のようなサイド情報決定部６１およびサイド情報符号化部６２の処理によって可変長符号多重化部２５は、サイド情報符号化部６２から、各ＱＰ符号化単位領域のＱＰ差分値とピクチャ（またはピクチャを構成する各スライス）ごとに定まるＱＰ符号化単位領域のサイズ情報との符号化データを含むサイド情報符号化データ＃６２を受け取ることになる。また、可変長符号多重化部２５は、ＣＵ符号化部４４から受け取るＣＵ符号化データ＃４４とサイド情報符号化データ＃６２とを多重化することによって符号化データ＃６を生成し、出力する。
（付記事項）
サイド情報決定部６１およびサイド情報符号化部６２は、図２１のtransform_treeシンタックスを用いる代わりに、図２３のtransform_treeシンタックスを用いてもよい。
すなわち、サイド情報決定部６１は、上記選択対象ＴＵのＱＰ差分値に加え、０でないＤＣＴ係数を少なくとも１つ以上含むＴＵであって注目しているＣＵ内の左上端に位置するＴＵのＱＰ差分値を、ＴＵ情報の一部としてサイド情報符号化部６２に供給してもよい。
さらに、サイド情報決定部６１およびサイド情報符号化部６２は、図２１のtransform_treeシンタックスを用いる代わりに、図２４のtransform_treeシンタックスを用いてもよい。
すなわち、サイド情報決定部６１は、注目しているＣＵのresidualDataPresentFlagの値が「１」である場合、該ＣＵ（すなわち、最上位階層のＴＵ）のＣＵ情報の一部として、該ＣＵのＱＰ差分値をサイド情報符号化部６２に供給してもよい。
〔実施形態４〕
（動画像復号装置）
本実施形態に係る動画像復号装置は、動画像符号化装置８から供給される符号化データ＃８を復号して復号画像＃７を生成する装置である。符号化データ＃７に含まれるcoding unitシンタックスの一例を図２７に示す。
以下では、本実施形態に係る動画像復号装置について図面を参照しながら詳細に説明する。
最初に、本実施形態に係る動画像復号装置の構成について図２５を参照しながら説明する。図２７は、動画像復号装置７の構成を示すブロック図である。図２５に示すように、動画像復号装置７は、可変長符号逆多重化部７１、サイド情報復号部７２、ＣＵ設定部７３、ＣＵ復号部７４、予測画像生成部７５、および、フレームメモリ１５を備えている。
動画像復号装置７に入力された符号化データ＃８は可変長符号逆多重化部７１へ入力される。可変長符号逆多重化部７１は、入力された符号化データ＃８を逆多重化することによって、符号化データ＃７を、サイド情報に関する符号化データであるサイド情報符号化データ＃７１ａと、ピクチャに関する符号化データである符号化データ＃７１ｂと、に分離し、サイド情報符号化データ＃７１ａをサイド情報復号部７２に、符号化データ＃７１ｂをＣＵ設定部７３にそれぞれ出力する。
サイド情報復号部７２では、サイド情報符号化データ＃７１ａを復号してサイド情報＃７２を生成し、サイド情報＃７２をＣＵ設定部７３に出力する。
サイド情報復号部７２は、サイド情報符号化データ＃７１ａを復号する処理の中で、各ＣＵの予測モード＃８８ｍの符号データを復号することにより、サイド情報＃７２の一部となる各ＣＵの予測モード＃８８ｍを生成する。
また、サイド情報復号部７２は、サイド情報符号化データ＃７１ａを復号する処理の中で、サイド情報符号化データ＃７１ａに含まれている第１ＱＰ符号化単位領域（単位領域）および第２ＱＰ符号化単位領域（第４単位領域）のサイズ情報の符号化データを復号することにより、サイド情報＃７２の一部として上記２つのサイズ情報を生成する。具体的には、サイド情報復号部７２は、サイド情報符号化データ＃７１ａに含まれているlog2_min_delta_qualt_coding_unit_size_minus4に対して前述した式１の演算を行い、第１ＱＰ符号化単位領域のサイズ情報としてMinDeltaQuantCodingUnitSizeを生成する。
また、サイド情報復号部７２は、サイド情報符号化データ＃７１ａに含まれているlog2_min_intra_delta_qualt_coding_unit_size_minus4に対しても同様の演算を行い、第２ＱＰ符号化単位領域のサイズ情報としてMinIntraDeltaQuantCodingUnitSizeを生成する。
サイド情報復号部７２によるＱＰ差分値７３ａの復号処理についてより具体的に説明すれば以下の通りである。
サイド情報復号部７２は、図２７のcoding unitシンタックスを参照して、各ＣＵに対して順次以下の処理を行う。すなわち、図２７からわかるように、サイド情報復号部７２は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共に第１ＱＰ符号化単位領域のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合に、deltaQuantAailの値を”true”に設定する。
そして、サイド情報復号部７２は、各スキップフラグの値を参照し、値が“０”であるようなスキップフラグを参照した場合に、ＣＵ画像をイントラ符号化する場合におけるＱＰ差分値の復号可能状態を示すフラグ（deltaQuantAvailIntra）を”true”に設定する。さらに、サイド情報復号部７２は、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグを参照すると、coding_unitシンタックスに含まれるcu_qp_deltaを復号し、該スキップフラグを参照したＣＵのＱＰ差分値を、復号されたcu_qp_deltaの値に設定する。続いて、サイド情報復号部７２は、deltaQuantAvailの値とdeltaQuantAvailIntraの値とを”false”に設定する。
また、サイド情報復号部７２は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共に第２ＱＰ符号化単位領域のサイズ（MinIntraDeltaQuantCodingUnitSize）の整数倍に一致し、尚且つ、deltaQuantAvailIntraの値が”true”である場合にも、coding_unitシンタックスに含まれるcu_qp_deltaを復号し、該スキップフラグを参照したＣＵのＱＰ差分値を、復号されたcu_qp_deltaの値に設定する。
ＣＵ設定部７３では、入力されたサイド情報＃７２に基づいて、符号化データ＃７１ｂを複数のスライスに分割し、各スライスを個々のＣＵに対応する符号化データ＃７３ｂに分離し、ＣＵ復号部７４に対して順次出力する。また、ＣＵ設定部７３は、各符号化データ＃７３ｂとともに、サイド情報＃７２に含まれている各ＣＵの予測モード＃７３ｍと各選択対象ＣＵのＱＰ差分値７３ａとをＣＵ復号部７４に対して出力する。また、ＣＵ設定部７３は、各ＣＵの予測モード＃７３ｍを予測画像生成部７５に対して出力する。
ＣＵ復号部７４は、入力された個々のＣＵ（逆量子化単位領域）に対応する符号化データ＃７３ｂを順次復号および逆量子化することにより、個々のＣＵに対応する復号画像＃７４を生成し、出力する。また、復号画像＃７４は、フレームメモリ１５に対しても出力される。
具体的には、ＣＵ復号部７４は、入力されたサイド情報＃７２に格納されている第１ＱＰ符号化単位領域および第２ＱＰ符号化単位領域のサイズを参照し、生成すべき復号画像の全領域を構成する各ＱＰ符号化単位領域を規定する。
そして、ＣＵ復号部７４は、各ＣＵの逆量子化に用いるＱＰ差分値を以下のように決定する。すなわち、逆量子化の対象となっているＣＵが選択対象ＣＵである場合、ＣＵ復号部７４は、ＣＵ設定部７３から受け取った当該選択対象ＣＵのＱＰ差分値＃７３ｂと直前に逆量子化したＣＵのＱＰ値とから、当該選択対象ＣＵのＱＰ値を求める。そして、ＣＵ復号部７４は、選択対象ＣＵのＱＰ値に応じた量子化レベルで逆量子化を行う。
一方、逆量子化の対象となっているＣＵが選択対象ＣＵでない場合、該ＣＵの逆量子化に用いるＱＰ差分値を以下のように決定する。すなわち、ＣＵ復号部７４は、ＣＵ設定部７３から受信した当該ＣＵの予測モード＃７３ｍがインター予測画像を示す場合、当該ＣＵが属する第１ＱＰ符号化単位領域内の選択対象ＣＵのＱＰ差分値＃７３ｂと、直前に逆量子化したＣＵのＱＰ値とから、逆量子化の対象となっているＣＵのＱＰ値を求める。そして、ＣＵ復号部７４は、当該ＣＵのＱＰ値に応じた量子化レベルで逆量子化を行う。
逆に、ＣＵ復号部７４は、ＣＵ設定部７３から受信した当該ＣＵの予測モード＃７３ｍがイントラ予測モードを示す場合、当該ＣＵが属する第２ＱＰ符号化単位領域内の選択対象ＣＵのＱＰ差分値＃７３ｂと、直前に逆量子化したＣＵのＱＰ値とから、逆量子化の対象となっているＣＵのＱＰ値を求める。そして、ＣＵ復号部７４は、当該ＣＵのＱＰ値に応じた量子化レベルで逆量子化を行う。
ＣＵ復号部７４は、以上のようにして逆量子化を行い、さらにＤＣＴ逆変換を行って、予測残差を生成する。そして、ＣＵ復号部７４は、予測画像生成部７５から受け取った、符号化データ＃７３ｂに対応する予測画像＃７５と、予測残差と、を加算して復号画像＃７４を生成する。
予測画像生成部７５は、ＣＵ設定部７３から送られる予測モード＃７３ｍに基づいて、フレームメモリ１５に格納された復号画像＃７４からイントラ予測画像を生成するか、また、フレームメモリ１５に格納されている参照画像＃７４を用いて、動きベクトルを算出し、動きベクトルに基づいた動き補償を行い、インター予測画像を生成する。予測画像生成部７５は、生成したいずれかの予測画像＃７５を出力する。
符号化データ＃７１ｂを構成する全てのＣＵに対して、ＣＵ復号部７４によるＣＵ単位の復号画像生成処理が終わった時点で、動画像復号装置７に入力された符号化データに対応する復号画像＃７の生成処理が完了する。
以上のように、動画像復号装置は、ＣＵごとにＱＰ差分値の符号化データを復号するのではなく、選択対象ＣＵについてのみＱＰ差分値の符号化データを復号するので、従来よりも少ない符号量の符号化データから復号画像を生成することができる。
また、以上のように、deltaQuantAvailIntraフラグを導入することによって、サイド情報決定部８１が選択対象ＣＵのＱＰ差分値を重複してサイド情報符号化部８２に供給してしまうことを防止することができる。
（動画像符号化装置）
入力画像中にインター符号化すべき領域が相対的に多い場合、ＱＰ差分値の個数を多くすることによってＱＰ値の精度を高めて量子化を行ったとしても、予測残差の符号量の削減量がＱＰ差分値の符号量の増加量を下回り、符号化効率が低下することがわかっている。
本実施形態に係る動画像符号化装置は、入力画像中にインター符号化すべき領域が相対的に多いほど、相対的に少ない数のＱＰ差分値を符号化するようになっている。すなわち、入力画像中にイントラ符号化すべき領域が相対的に多いほど、相対的に多い数のＱＰ差分値を符号化するようになっている。
本実施形態に係る動画像符号化装置について図面を参照しながら詳細に説明する。
最初に、本実施形態に係る動画像符号化装置８の構成について図２６を参照しながら説明する。図２６は、動画像符号化装置８の構成を示すブロック図である。図２６に示すように、動画像符号化装置８は、サイド情報決定部８１、サイド情報符号化部８２、ＣＵ設定部８３、ＣＵ符号化部８４、可変長符号多重化部２５、ＣＵ復号部４６、フレームメモリ２７、および予測画像生成部８８を備えている。サイド情報決定部８１、サイド情報符号化部８２および予測画像生成部８８について説明する。
可変長符号多重化部２５、ＣＵ復号部４６、およびフレームメモリ２７については実施形態１または２で説明したので、以下ではその他の構成要素について説明する。
予測画像生成部８８は、フレームメモリ２７に格納された復号画像＃４６からイントラ予測画像＃８８ａを生成する。また、予測画像生成部８８は、フレームメモリ２７に格納されている参照画像＃４６を用いて、動きベクトルを算出し、動きベクトルに基づいた動き補償を行い、インター予測画像＃８８ｂを生成する。
さらに、予測画像生成部８８は、イントラ予測画像と、インター予測画像と、入力画像＃１００とを比較し、イントラ予測画像、または、インター予測画像のうち、何れか一方を選択し、予測画像＃８８として出力する。また、予測画像生成部８８は、イントラ予測画像、または、インター予測画像のうち、何れを選択したのかを表す情報である予測モード＃８８ｍを出力する。
サイド情報決定部８１は、入力画像＃１００および各ＣＵに関する予測モード＃８８ｍに基づいて、サイド情報を決定し、決定したサイド情報をサイド情報＃８１として出力する。具体的には、サイド情報決定部８１は、スライス（またはピクチャ）ごとに所定のアルゴリズムに基づいて第１ＱＰ符号化単位領域のサイズおよび第２ＱＰ符号化単位領域のサイズを決定し、各ＱＰ符号化単位領域のサイズを示すサイズ情報をサイド情報＃８１のスライスヘッダ（またはピクチャ・パラメータ・セット）に格納する。ここで、サイド情報決定部８１は、第１ＱＰ符号化単位領域のサイズを、第２ＱＰ符号化単位領域のサイズよりも相対的に大きいサイズに決定する。より具体的には、サイド情報決定部８１は、第１ＱＰ符号化単位領域（単位領域）が複数の第２ＱＰ符号化単位領域（第４単位領域）から構成されるように、第１ＱＰ符号化単位領域および第２ＱＰ符号化単位領域のサイズを決定する。
さらに、サイド情報決定部８１は、ピクチャ・パラメータ・セット（またはスライスヘッダ）内の第１ＱＰ符号化単位領域のサイズ情報および第２ＱＰ符号化単位領域のサイズに基づいて、入力画像＃１００（または各スライス）を構成する第１ＱＰ符号化単位領域および第２ＱＰ符号化単位領域を規定し、予測モード＃８８ｍに基づいて後述する処理によって選択された各ＣＵ（以下、「選択対象ＣＵ」とも称する）のＱＰ差分値を、該ＣＵのＣＵ情報の一部としてサイド情報＃８１に格納する。また、サイド情報決定部８１は、各ＣＵの予測モード＃８８ｍをサイド情報＃８１に格納する。
サイド情報符号化部８２は、サイド情報＃８１を符号化してサイド情報符号化データ＃８２を出力する。
サイド情報符号化部８２は、サイド情報＃８１を符号化する処理の中で、サイド情報決定部８１から受け取った各ＱＰ差分値を符号化するが、符号化済みの各ＱＰ差分値はサイド情報符号化データ＃８２の一部を構成するようになっている。
同様に、サイド情報符号化部８２は、サイド情報＃８１を符号化する処理の中で、各ＱＰ符号化単位領域のサイズ情報を符号化するが、符号化済みの各サイズ情報はサイド情報符号化データ＃８２の一部を構成するようになっている。
サイド情報符号化部８２は、具体的には、第１ＱＰ符号化単位領域および第２のＱＰ符号化単位領域の各々について、ＱＰ符号化単位領域のサイズに２を底とするような対数関数を適用するとともに得られた対数関数値から４を減算することにより、サイズ情報の各符号化データを生成する。
ＣＵ設定部８３は、サイド情報＃８１に基づいて、入力画像＃１００を複数のスライスに分割し、各スライスを複数のＣＵに分割し、各ＣＵに関するＣＵ画像＃８３ｂを出力する。
また、ＣＵ設定部８３は、各ＣＵのＣＵ画像＃８３ｂを出力する際に、その一部のＣＵについては当該ＣＵのＣＵ画像＃８３ｂとともにサイド情報＃８１に含まれている当該ＣＵのＱＰ差分値＃８３ａをＣＵ符号化部８４に出力する。
ＣＵ符号化部８４は、順次入力されるＣＵ画像＃８３ｂについて、予測画像生成部（図示せず）から送信される予測画像との予測残差をＤＣＴ変換する。
そして、ＣＵ符号化部８４は、入力されるＣＵ画像＃８３ｂについて予測画像生成部８８から送信される予測画像がインター予測画像である場合（すなわち、予測画像生成部８８から送信される予測モード＃８８ｍがインター予測モードを示す場合）、該ＣＵ画像＃８３ｂが属する第１ＱＰ符号化単位領域内の選択対象ＣＵのＱＰ差分値＃８３ａから定まるＱＰ値に応じた量子化レベルで、予測残差の各ＤＣＴ係数を量子化する。
一方、ＣＵ符号化部８４は、入力されるＣＵ画像＃８３ｂについて予測画像生成部８８から送信される予測画像がイントラ予測画像である場合（すなわち、予測画像生成部８８から送信される予測モード＃８８ｍがイントラ予測モードを示す場合）、該ＣＵ画像＃８３ｂが属する第２ＱＰ符号化単位領域内の選択対象ＣＵのＱＰ差分値＃８３ａから定まるＱＰ値に応じた量子化レベルで、予測残差の各ＤＣＴ係数を量子化する。
ＣＵ符号化部８４は、以上のＤＣＴ変換および量子化処理により得られたＣＵ符号化データ＃８４を可変長符号多重化部２５に出力する。
以上、動画像符号化装置８の構成について説明したが、以下では、サイド情報決定部８１およびサイド情報符号化部８２が行う具体的な処理について説明する。
サイド情報決定部８１は、サイド情報＃８１に基づいて、各第１ＱＰ符号化単位領域について、該第１ＱＰ符号化単位領域全体を構成する１以上の各ＣＵについて、ラスタスキャン順に該ＣＵのスキップフラグを参照する。ＣＵ設定部８３は、各第１ＱＰ符号化単位領域について、値が「０」であるスキップフラグが該第１ＱＰ符号化単位領域において初めて参照されるＣＵ（選択対象ＣＵ）のＱＰ値とデフォルトＱＰ値とのＱＰ差分値＃８３ａを算出する。
また、サイド情報決定部８１は、上記各ＣＵのスキップフラグを参照する処理に付随して、上記各ＣＵについて該ＣＵが第２ＱＰ符号化領域内の左上端に位置するＣＵであり、尚且つ、予測画像生成部８８から送られる該ＣＵの予測モード＃８８ｍがイントラ予測モードである（すなわち、判定処理の結果が真である）か否かを判定するようになっている。サイド情報決定部８１は、上記各ＣＵについて該ＣＵに対する上記判定処理の結果が真であると判定した場合、該ＣＵ（選択対象ＣＵ）のＱＰ値とデフォルトＱＰ値とのＱＰ差分値＃８３ａを算出する。
そして、サイド情報決定部８１は、各選択対象ＣＵのＱＰ差分値８１をＣＵ設定部８３とサイド情報符号化部８２とに供給する。
サイド情報符号化部８２は、サイド情報決定部８１から受け取った各ＱＰ差分値を符号化して、各ＱＰ差分値の符号化データを符号化データ＃８２の一部として生成する。
具体的には、サイド情報決定部８１およびサイド情報符号化部８２は、図２７のcoding unitシンタックスを用いて各ＣＵに対して順次以下の処理を行う。すなわち、図２７からわかるように、サイド情報決定部８１は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共に第１ＱＰ符号化単位領域のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合に、deltaQuantAailの値を”true”に設定する。
そして、サイド情報決定部８１は、各スキップフラグの値を参照し、値が“０”であるようなスキップフラグを参照した場合に、ＣＵ画像をイントラ符号化する場合におけるＱＰ差分値の符号化可能状態を示すフラグ（deltaQuantAvailIntra）を”true”に設定する。さらに、サイド情報決定部８１は、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグを参照すると、スキップフラグを参照したＣＵのＱＰ差分値をサイド情報＃８１の一部としてサイド情報符号化部８２に供給する。サイド情報符号化部８２は、ＱＰ差分値の符号化処理を実行してdeltaQuantAvailの値とdeltaQuantAvailIntraの値とを”false”に設定する。
また、サイド情報決定部８１は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共に第２ＱＰ符号化単位領域のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致し、尚且つ、deltaQuantAvailIntraの値が”true”である場合にも、スキップフラグを参照したＣＵのＱＰ差分値をサイド情報＃８１の一部としてサイド情報符号化部８２に供給するようになっている。
以上のようなサイド情報決定部８１およびサイド情報符号化部８２の処理によって可変長符号多重化部２５は、サイド情報符号化部８２から、選択対象ＣＵのＱＰ差分値とピクチャ（またはピクチャを構成する各スライス）ごとに定まる第１ＱＰ符号化単位領域および第２ＱＰ符号化単位領域のサイズ情報との符号化データを含むサイド情報符号化データ＃８２を受け取ることになる。また、可変長符号多重化部２５は、ＣＵ符号化部８４から受け取るＣＵ符号化データ＃８４とサイド情報符号化データ＃８２とを多重化することによって符号化データ＃８を生成し、出力する。スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共に第１ＱＰ符号化単位領域のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合に、deltaQuantAailの値を”true”に設定する。
そして、サイド情報決定部８１は、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグを参照すると、図２１のtransform_treeシンタックスを呼び出して、residualDataPresentFlagの値を参照する。residualDataPresentFlagの値が「０」である場合、サイド情報決定部６１は、次のＣＵについてcoding unitシンタックスを呼び出す。
なお、上記では、ＣＵの左上座標のｘ成分およびｙ成分が共にＱＰ符号化単位領域のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合という判定を行っているが、同じ位置のＣＵを判定できる別の判定方法を用いても構わない。例えば、以下に示すＣＵ座標インデックスで判定を行うことができる。ＣＵ座標インデックスとは、あるＬＣＵを最大限に分割した場合にできるＣＵに対し、ＬＣＵ左上からラスタスキャンで復号する順番で０、１、２と増加するような、ＣＵの位置を示すインデックスのことである。ＬＣＵを最大限に分割しない場合にもＣＵ毎に、対応する位置からＣＵ座標インデックスを割り振ることができる。最小ＣＵサイズが４×４ブロックである場合には、ＣＵ座標インデックスが例えば０、４、８、１２である場合の判定を行うと、MinDeltaQuantCodingUnitSize＝８、すなわちＱＰ符号化単位領域が８×８とすることができる。
また、上記では、ＣＵの左上座標のｘ成分およびｙ成分が共にＱＰ符号化単位領域のサイズ（MinDeltaQuantCodingUnitSize）の整数倍に一致する場合としているが、ｘ成分とｙ成分で異なるＱＰ符号化単位領域のサイズを用いても構わない。この場合、ＣＵの左上座標のｘ成分がＱＰ符号化単位領域の幅MinDeltaQuantCodingUnitWidthの整数倍、かつ、ＣＵの左上座標のｙ成分がＱＰ符号化単位領域の高さMinDeltaQuantCodingUnitHeightの整数倍のように判定を行う。
（付記事項）
上記実施形態では、サイド情報決定部８１が図２７のcoding unitシンタックスに従って選択対象ＣＵを決定し、サイド情報符号化部８２が図２７のcoding unitシンタックスに従って選択対象ＣＵのＱＰ差分値を符号化するものとした。対応する動画像復号装置では、サイド情報復号部７２が、図２７のcoding unitシンタックスに従って、選択対象ＣＵのＱＰ差分値を復号するものとした。しかしながら、本発明はこれに限定されない。すなわち、サイド情報決定部８１が図２８のcoding unitシンタックスを用いて選択対象ＣＵを決定してもよい。対応する動画像復号装置では、サイド情報復号部７２が、図２８のcoding unitシンタックスを参照して、選択対象ＣＵのＱＰ差分値を復号してもよい。
すなわち、図２７のcoding unitに代えて、ＣＵの予測モードに応じた分岐処理を行うようなシンタックスを構成するようにしてもよい。具体的には、図２８のcoding unitシンタックスのように、ＣＵの予測モードがイントラ予測モードであるときとインター予測モードであるときとマージモードであるときとダイレクトモードであるときとで、サイド情報符号化部８２が符号化する、もしくは、サイド情報復号部７２が復号のために参照するcu_qp_deltaがシンタックス中の別々の場所に記載されるようになっていてもよい（換言すれば、サイド情報符号化部８２がcu_qp_deltaの符号化を行うステップは、ＣＵの予測モードの符号化に続くステップであり、予測モードの種別毎にcu_qp_deltaの符号化の有無を異なるものとしてよい。サイド情報復号部７２がcu_qp_deltaを復号するステップは、ＣＵの予測モードの復号に続くステップであり、該予測モード毎のステップであってもよい）。
なお、図２８のcoding unitシンタックスを見るとわかるように、予測モードがスキップモードである場合にはＱＰ差分値を符号化せず、予測モードがイントラ予測モードである場合には、MinIntraDeltaCodingUnitSize以上のサイズを持つＣＵについてのみＱＰ差分値を符号化し、予測モードがイントラ予測モードでもスキップモードでない場合には、MinDeltaCodingUnitSize以上のサイズを持つＣＵについてのみＱＰ差分値を符号化するようにしてもよい。
（付記事項）
なお、上記実施形態において、量子化の対象となっているＣＵのＱＰ値（cu_qp）を、直前に参照したＱＰ値（pred_qp）と量子化の対象となっているＣＵのＱＰ差分値との和によって求めている。ここで、直前に参照したＱＰ値（ＱＰ予測値）は、量子化の対象となっているＣＵの左側に位置するＣＵのＱＰ値であってもよいし、ラスタスキャン順で量子化の対象となっているＣＵの直前の位置にあるＣＵのＱＰ値であってもよい。あるいは、直前に参照したＱＰ値は、量子化の対象となっているＣＵの左側に位置するＣＵのＱＰ値と量子化の対象となっているＣＵの上側に位置するＣＵのＱＰ値との平均値であってもよい。
〔実施形態５〕
（動画像復号装置）
本実施形態に係る動画像復号装置は、次に説明する動画像符号化装置１０から供給される符号化データ＃１０を復号して復号画像＃９を生成する装置である。符号化データ＃１０に含まれるcoding_unitシンタックスの一例を図３１に示す。
以下では、本実施形態に係る動画像復号装置について図面を参照しながら詳細に説明する。
最初に、本実施形態に係る動画像復号装置の構成について図２９を参照しながら説明する。図２９は、動画像復号装置９の構成を示すブロック図である。図２９に示すように、動画像復号装置９は、可変長符号逆多重化部９１、サイド情報復号部９２、ＣＵ設定部９３、ＣＵ復号部９４、および、フレームメモリ１５を備えている。
動画像復号装置９に入力された符号化データ＃１０は可変長符号逆多重化部９１へ入力される。可変長符号逆多重化部９１は、入力された符号化データ＃９を逆多重化することによって、符号化データ＃９を、サイド情報に関する符号化データであるサイド情報符号化データ＃９１ａと、ピクチャに関する符号化データである符号化データ＃９１ｂとに分離し、サイド情報符号化データ＃９１ａをサイド情報復号部９２に、符号化データ＃９１ｂをＣＵ設定部９３にそれぞれ出力する。
サイド情報復号部９２では、サイド情報符号化データ＃９１ａを復号してサイド情報＃９２を生成し、サイド情報＃９２をＣＵ設定部９３に出力する。
サイド情報復号部９２では、サイド情報符号化データ＃９１ａを復号する処理において、ＱＰ符号化単位領域のサイズを示すサイズ情報の符号化データを復号することにより、サイド情報＃９２の一部として上記サイズ情報を生成する。
また、サイド情報復号部９２では、サイド情報符号化データ＃９１ａを復号する処理において、各ＬＣＵについて、該ＬＣＵを構成する各ＱＰ符号化単位領域のＱＰ差分値の符号化データ、または、該ＬＣＵのＱＰ差分値の符号化データを復号することにより、サイド情報＃９２の一部としてＱＰ差分値を生成する。
サイド情報復号部９２によるＱＰ差分値の復号処理についてより具体的に説明すれば以下の通りである。
サイド情報復号部９２は、符号化データ＃１０のスライスヘッダ（ピクチャ・パラメータ・セット）に含まれるサイズ情報（MinDeltaQuantCodingUnitSize）を復号し、ＱＰ符号化単位領域の（縦および横の）サイズを決定する。
また、サイド情報復号部９２は、各ＬＣＵのdeltaQuantAvailCUフラグを復号する。
サイド情報復号部９２は、該ＬＣＵのdeltaQuantAvailCUの値が”false”である場合に、該ＬＣＵの量子化に用いるＱＰ差分値の復号をＬＣＵ単位で行う（すなわち、該ＬＣＵにおいてたかだか１つのＱＰ差分値を復号する）ことを決定する。そして、サイド情報復号部９２は、そのＱＰ差分値を、該ＬＣＵに含まれる各ＣＵの復号に利用する。
一方、サイド情報復号部９２は、該ＬＣＵのdeltaQuantAvailCUの値が”true”である場合に、該ＬＣＵの量子化に用いるＱＰ差分値の復号をＣＵ単位で行うことを決定する。そして、サイド情報復号部９２は、ＱＰ符号化単位領域ごとにたかだか１つ選択される選択対象ＣＵのＱＰ差分値を復号する。
以下では、サイド情報復号部９２が各ＬＣＵに対して行う具体的な処理について図３１のcoding_unitシンタックスを参照しながら説明する。
サイド情報復号部９２は、ＬＣＵを構成する１以上の各ＣＵについて、対象ＣＵに対して以下の処理を行う。
サイド情報復号部９２は、対象ＣＵがＬＣＵの左上端に位置するＣＵである場合(すなわち、対象ＣＵの左上座標のｘ成分およびｙ成分がそれぞれmax_coding_unit_widthおよびmax_coding_unit_heightの整数倍である場合)にdeltaQuantAvailLCUフラグを”true”に設定する。そして、サイド情報復号部９２は、対象ＣＵが属するＱＰ符号化単位領域の左上端に対象ＣＵが位置し（すなわち、対象ＣＵの左上座標のｘ成分およびｙ成分がMinDeltaQuantCodingUnitSizeの整数倍であり)、尚且つ、deltaQuantAvailCUフラグが”true”である場合にdeltaQuantAvailフラグを”true”に設定する。
ここで、deltaQuantAvailLCUフラグ、deltaQuantAvailCUフラグ、deltaQuantAvailフラグの意味は以下の通り、deltaQuantAvailLCUフラグは、ＬＣＵ単位で符号化されるdeltaQuantAvailCUフラグの符号化／復号を制御するためのフラグであり、deltaQuantAvailCU の符号化／復号可能状態を示す。deltaQuantAvailCUフラグは、ＱＰ差分値をＬＣＵ単位で符号化するか、ＣＵ単位で符号化するかを選択するためのフラグであり、ＬＣＵ単位で符号化する場合に”false”、ＣＵ単位で符号化する際に”true”となる。deltaQuantAvailは、ＣＵ単位で符号化する場合における、ＱＰ符号化単位を制御するためのフラグであり、qp_deltaの符号化／復号可能状態を示す。
サイド情報復号部９２は、さらに対象ＣＵのスキップフラグの値が“０”であってdeltaQuantAvailLCUフラグが”true”である場合に、対象ＣＵ（すなわち、選択対象ＣＵ）のqp_deltaを復号し、対象ＣＵについてのＱＰ差分値に設定する。また、deltaQuantAvailCUフラグを復号し、尚且つ、deltaQuantAvailLCUフラグを”false”に設定する。なお、図３１では、qp_delta の後にdeltaQuantAvailCUフラグが位置するシンタックスとなっているが、qp_delta の前にdeltaQuantAvailCUフラグが位置するシンタックスであっても構わない。
また、サイド情報復号部９２は、対象ＣＵのスキップフラグの値が“０”であってdeltaQuantAvailフラグが”true”である場合にも、対象ＣＵ（すなわち、選択対象ＣＵ）のqp_deltaを復号し、対象ＣＵについてのＱＰ差分値に設定する。また、deltaQuantAvailフラグを”false”に設定する。
以上の説明および図３１のcoding_unitシンタックスからわかるように、ＬＣＵのdeltaQuantAvailCUフラグが”false”である限り、deltaQuantAvailフラグは”true”になり得ない。そのため、ＬＣＵ内において値が“０”であるようなスキップフラグがラスタスキャン順で最初に参照されるただ１つのＣＵについてのＱＰ差分値が復号される。したがって、deltaQuantAvailCUフラグが”false”の場合、ＬＣＵ単位でＱＰ差分値が復号されることになる。
一方、ＬＣＵのdeltaQuantAvailCUフラグが”true”である場合、ＱＰ符号化単位領域の左上端に位置する対象ＣＵに図３１のcoding_unitシンタックスを適用するたびに、deltaQuantAvailフラグは”true“になる。そのため、ＱＰ符号化単位領域ごとにたかだか１つ選択される選択対象ＣＵのＱＰ差分値が復号されることになる。
また、図３１のcoding_unitシンタックスからわかるように、ＬＣＵの中で最初に値が“０”であるようなスキップフラグが参照されるＣＵについてＱＰ差分値の復号を行う際に、当該ＬＣＵ内でその後に参照するＣＵについてＱＰ差分値の復号を行うか否かが決定されることになる。
ＣＵ設定部９３では、入力されたサイド情報＃９２に基づいて、符号化データ＃９１ｂを複数のスライスに分割し、各スライスを複数のＱＰ符号化単位領域に分割し、各ＱＰ符号化単位領域を個々のＣＵに対応する符号化データ＃９３ｂに分離し、ＣＵ復号部９４に対して順次出力する。
また、ＣＵ設定部９３は、各ＬＣＵについて、該ＬＣＵのdeltaQuantAvailCUフラグを参照する。このdeltaQuantAvailCUフラグは、前述のＬＣＵ単位でＱＰ差分値を符号化するかＱＰ符号化領域単位でＬＣＵを符号化するかを示すフラグである。ＣＵ設定部９３は、該ＬＣＵのdeltaQuantAvailCUフラグが“true”である場合に、該ＬＣＵに属する各ＣＵのＣＵ情報を参照し、ＣＵ情報内にＱＰ差分値が含まれているＣＵについてはそのＱＰ差分値を、ＣＵ復号部９４に出力する。
一方、ＣＵ設定部９３は、該ＬＣＵのdeltaQuantAvailCUフラグが“false”である場合に、該ＬＣＵのＣＵ情報内に含まれているＱＰ差分値を、ＣＵ復号部９４に出力する。
さらに、ＣＵ設定部９３は、各ＬＣＵのdeltaQuantAvailCUフラグをＣＵ復号部９４に出力する。
ＣＵ復号部９４は、入力された個々のＣＵ（逆量子化単位領域）に対応する符号化データ＃９３ｂを順次復号および逆量子化することにより、個々のＣＵに対応する復号画像＃９４を生成し、出力する。また、復号画像＃９４は、フレームメモリ１５に対しても出力される。
具体的には、ＣＵ復号部９４は、ＣＵに対応する符号化データ＃９３ｂを復号および逆量子化する際には、ＣＵが属するＬＣＵにおけるdeltaQuantAvailCUフラグの値に応じて、該ＣＵが属するＱＰ符号化単位領域または該ＬＣＵのＱＰ差分値＃９３ａからＱＰ値を求めて逆量子化処理を行う。
符号化データ＃９１ｂを構成する全てのＣＵに対して、ＣＵ復号部９４によるＣＵ単位の復号画像生成処理が終わった時点で、動画像復号装置９に入力された符号化データに対応する復号画像＃９の生成処理が完了する。
以上のように、動画像復号装置は、ＣＵごとにＱＰ差分値の符号化データを復号するのではなく、各ＬＣＵについてＬＣＵ単位またはＬＣＵを構成するＱＰ符号化単位領域ごとにＱＰ差分値の符号化データを復号するので、従来よりも少ない符号量の符号化データからで復号画像を生成することができる。
（動画像符号化装置）
本実施形態に係る動画像符号化装置は、実施形態２に係る動画像符号化装置と同様に、入力画像を構成する各ＬＣＵを、ＪＣＴＶＣ−Ｃ４０３に記載されているcoding_treeシンタックスを用いて複数のＣＵ（Coding Unit：量子化単位領域）に分割する処理を行う。但し、本実施形態にて説明するシンタックスは、ＪＣＴＶＣ−Ｃ４０３に記載されているシンタックスよりも一部簡略化してある（coding_treeシンタックスを用いる他の実施形態についても同様）。
ただし、本実施形態に係る動画像符号化装置は、実施形態２に係る動画像符号化装置とは異なり、入力画像を構成する各ＬＣＵについて、該ＬＣＵの量子化に用いるＱＰ差分値の符号化をＬＣＵ単位で行うか、該ＬＣＵを構成するＱＰ符号化領域単位で行うかを、後述するdeltaQuantAvailCUフラグに基づいて決定するように構成されている。
以下では、本実施形態に係る動画像符号化装置について図面を参照しながら詳細に説明する。
最初に、本実施形態に係る動画像符号化装置１０の構成について図３０を参照しながら説明する。図３０は、動画像符号化装置１０の構成を示すブロック図である。図３０に示すように、動画像符号化装置１０は、サイド情報決定部１０１、サイド情報符号化部１０２、ＣＵ設定部４３、ＣＵ符号化部４４、可変長符号多重化部２５、ＣＵ復号部４６、および、フレームメモリ２７を備えている。
サイド情報決定部１０１は、入力画像＃１００に基づいて、サイド情報を決定し、決定したサイド情報をサイド情報＃１０１として出力する。
具体的には、サイド情報決定部１０１は、ＱＰ符号化単位領域の（縦および横の）サイズを決定し、ＱＰ符号化単位領域のサイズを示すサイズ情報（MinDeltaQuantCodingUnitSize）をサイド情報＃１０１のスライスヘッダ（ピクチャ・パラメータ・セット）に格納する。
また、サイド情報決定部１０１は、入力画像＃１００を構成する各ＬＣＵについて、所定のアルゴリズムに基づいて定められている、該ＬＣＵのdeltaQuantAvailCUフラグを復号する。
サイド情報決定部１０１は、該ＬＣＵのdeltaQuantAvailCUの値が”false”である場合に、該ＬＣＵの量子化に用いるＱＰ差分値の符号化をＬＣＵ単位で行う（すなわち、該ＬＣＵにおいてたかだか１つのＱＰ差分値を符号化する）ことを決定する。そして、サイド情報決定部１０１は、そのＱＰ差分値をサイド情報＃１０１を構成するＬＣＵのＣＵ情報内に格納する。
一方、サイド情報決定部１０１は、該ＬＣＵのdeltaQuantAvailCUの値が”true”である場合に、該ＬＣＵの量子化に用いるＱＰ差分値の符号化をＣＵ単位で行うことを決定する。そして、サイド情報決定部１０１は、ＱＰ符号化単位領域ごとにたかだか１つ選択される選択対象ＣＵのＱＰ差分値を、サイド情報＃１０１を構成するその選択対象ＣＵのＣＵ情報内に格納する。
サイド情報符号化部１０２は、サイド情報＃１０１を符号化し、サイド情報符号化データ＃１０２を出力する。サイド情報符号化データ＃１０２は、可変長符号多重化部２５に供給される。サイド情報符号化部１０２は、サイド情報＃１０１を符号化する処理において、各ＱＰ差分値と、上記サイズ情報とを符号化する。
なお、ＣＵ設定部４３、ＣＵ符号化部４４、ＣＵ復号部４６、可変長符号多重化部２５およびフレームメモリ２７については実施形態１または２において説明したので、ここでは説明を省略する。
以上、動画像符号化装置１０の構成について説明したが、以下では、サイド情報決定部１０１およびサイド情報符号化部１０２が入力画像＃１００を構成する各ＬＣＵに対して行う具体的な処理について図３１のcoding_unitシンタックスを参照しながら説明する。
サイド情報決定部１０１は、ＬＣＵを構成する１以上の各ＣＵについて、対象ＣＵに対して以下の処理を行う。
サイド情報決定部１０１は、対象ＣＵがＬＣＵの左上端に位置するＣＵである場合(すなわち、対象ＣＵの左上座標のｘ成分およびｙ成分がそれぞれmax_coding_unit_widthおよびmax_coding_unit_heightの整数倍である場合)にdeltaQuantAvailLCUフラグを”true”に設定する。そして、サイド情報決定部１０１は、対象ＣＵが属するＱＰ符号化単位領域の左上端に対象ＣＵが位置し（すなわち、対象ＣＵの左上座標のｘ成分およびｙ成分がMinDeltaQuantCodingUnitSizeの整数倍であり)、尚且つ、deltaQuantAvailCUフラグが”true”である場合にdeltaQuantAvailフラグを”true”に設定する。
さらに、サイド情報決定部１０１は、対象ＣＵのスキップフラグの値が“０”であってdeltaQuantAvailLCUフラグが”true”である場合に、対象ＣＵ（すなわち、選択対象ＣＵ）のＱＰ差分値を対象ＣＵのＣＵ情報内に格納するとともに、deltaQuantAvailCUフラグを復号し、尚且つ、deltaQuantAvailLCUフラグを”false”に設定する。
また、サイド情報決定部１０１は、対象ＣＵのスキップフラグの値が“０”であってdeltaQuantAvailフラグが”true”である場合にも、対象ＣＵ（すなわち、選択対象ＣＵ）のＱＰ差分値を対象ＣＵのＣＵ情報内に格納するとともに、deltaQuantAvailフラグを”false”に設定する。
このようにしてＣＵ情報内に格納されたＱＰ差分値は、ＬＣＵのdeltaQuantAvailフラグとともに、サイド情報＃１０１の一部としてサイド情報符号化部１０２に供給される。
サイド情報符号化部１０２は、サイド情報＃１０１を符号化してサイド情報符号化データ＃１０２を可変長符号多重化部２５に供給する。
以上の説明および図３１のcoding_unitシンタックスからわかるように、ＬＣＵのdeltaQuantAvailCUフラグが”false”である限り、deltaQuantAvailフラグは”true”になり得ない。そのため、ＬＣＵ内において値が“０”であるようなスキップフラグがラスタスキャン順で最初に参照されるただ１つのＣＵのＣＵ情報にＱＰ差分値が格納される。したがって、deltaQuantAvailCUフラグが”false”の場合、ＬＣＵ単位でＱＰ差分値が符号化されることになる。
一方、ＬＣＵのdeltaQuantAvailCUフラグが”true”である場合、ＱＰ符号化単位領域の左上端に位置する対象ＣＵに図３１のcoding_unitシンタックスを適用するたびに、deltaQuantAvailフラグは”true“になる。そのため、ＱＰ符号化単位領域ごとにたかだか１つ選択される選択対象ＣＵのＱＰ差分値が符号化されることになる。
また、図３１のcoding_unitシンタックスからわかるように、ＬＣＵの中で最初に値が“０”であるようなスキップフラグが参照されるＣＵについてＱＰ差分値の符号化を行う際に、当該ＬＣＵ内でその後に参照するＣＵについてＱＰ差分値の符号化を行うか否かが決定されることになる。
以上のようなサイド情報決定部１０１およびサイド情報符号化部１０２の処理によって可変長符号多重化部２５は、サイド情報符号化部１０２から、各ＬＣＵについてＬＣＵ単位またはＱＰ符号化単位領域単位で定まるＱＰ差分値とピクチャ・パラメータ・セット（各スライス）ごとに定まるＱＰ符号化単位領域のサイズ情報とdeltaQuantAvailCUフラグとの符号化データを含むサイド情報符号化データ＃１０２を受け取ることになる。また、可変長符号多重化部２５は、ＣＵ符号化部４４から受け取るＣＵ符号化データ＃４４とサイド情報符号化データ＃１０２とを多重化することによって符号化データ＃１０を生成し、出力する。
〔実施形態６〕
（動画像復号装置）
本実施形態に係る動画像復号装置は、次に説明する動画像符号化装置１１２から供給される符号化データ＃１１２を復号して復号画像＃１１１を生成する装置である。符号化データ＃１１２に含まれるcoding_unitシンタックスの一例を図３４に示す。
以下では、本実施形態に係る動画像復号装置について図面を参照しながら詳細に説明する。
最初に、本実施形態に係る動画像復号装置の構成について図３２を参照しながら説明する。図３２は、動画像復号装置１１１の構成を示すブロック図である。図３２に示すように、動画像復号装置１１１は、可変長符号逆多重化部１１１１、サイド情報復号部１１１２、ＣＵ設定部１１１３、ＣＵ復号部１１１４、および、フレームメモリ１５を備えている。
動画像復号装置１１１に入力された符号化データ＃１１２は可変長符号逆多重化部１１１１へ入力される。可変長符号逆多重化部１１１１は、入力された符号化データ＃１１２を逆多重化することによって、符号化データ＃１１２を、サイド情報に関する符号化データであるサイド情報符号化データ＃１１１１ａと、ピクチャに関する符号化データである符号化データ＃１１１１ｂとに分離し、サイド情報符号化データ＃１１１１ａをサイド情報復号部１１１２に、符号化データ＃１１１１ｂをＣＵ設定部１１１３にそれぞれ出力する。
サイド情報復号部１１１２では、サイド情報符号化データ＃１１１１ａを復号してサイド情報＃１１１２を生成し、サイド情報＃１１１２をＣＵ設定部１１１３に出力する。
サイド情報復号部１１１２では、サイド情報符号化データ＃１１１１ａを復号する処理において、ＩスライスＱＰ符号化単位領域、Ｑスライス符号化単位領域およびＰスライス符号化単位領域の各ＱＰ符号化単位領域のサイズを示すサイズ情報の符号化データを復号することにより、サイド情報＃１１１２の一部として上記サイズ情報を生成する。
また、サイド情報復号部１１１２では、サイド情報符号化データ＃１１１１ａを復号する処理において、各ＬＣＵについて、該ＬＣＵを構成する各対象ＱＰ符号化単位領域のＱＰ差分値の符号化データを復号することにより、サイド情報＃１１１２の一部としてＱＰ差分値を生成する。ここで、サイド情報復号部１１１２は、ＬＣＵを構成する各対象ＱＰ符号化単位領域が３種類のＱＰ符号化単位領域のうちのいずれに該当するかを、該ＬＣＵが属するスライスのスライスヘッダ内のスライスタイプを参照することにより認識する。
サイド情報復号部１１１２によるＱＰ差分値の復号処理についてより具体的に説明すれば以下の通りである。
サイド情報復号部１１１２は、量子化処理の対象となる各ＬＣＵについて、該ＬＣＵが属するスライスのスライスタイプに応じて異なるサイズの３つのＱＰ符号化単位領域（Ｉスライス用ＱＰ符号化単位領域、Ｑスライス用ＱＰ符号化単位領域、およびＢスライス用ＱＰ符号化単位領域）のいずれかのＱＰ符号化単位領域（「対象ＱＰ符号化単位領域」とも称する）を規定するようになっている。例えば、サイド情報復号部１１１２はＬＣＵが属するスライスのスライスタイプがＩスライスである場合には、対象ＱＰ符号化単位領域としてＩスライス用ＱＰ符号化単位領域を規定する。
そして、サイド情報復号部１１１２は、規定した各対象ＱＰ符号化単位領域について、該対象ＱＰ符号化単位領域全体を構成する１以上の各ＣＵについて、ラスタスキャン順に該ＣＵのスキップフラグを参照する。サイド情報復号部１１１２は、各対象ＱＰ符号化単位領域について、値が「０」であるスキップフラグが該ＱＰ符号化単位領域において初めて参照されるＣＵについて、図３４に示すcu_qp_deltaを復号し、当該ＣＵについてのＱＰ差分値に設定する。
具体的には、サイド情報復号部１１１２は、図３４に示すcoding_unitシンタックスを用いて各ＣＵに対して順次以下の処理を行う。すなわち、サイド情報復号部１１１２は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共に対象ＱＰ符号化単位領域のサイズ（ＬＣＵが属するスライスのスライスタイプがＩスライスの場合にはMinIDeltaQuantCodingUnitSize。ＢスライスおよびＰスライスの場合には、それぞれ、MinBDeltaQuantCodingUnitSizeおよびMinPDeltaQuantCodingUnitSize）の整数倍に一致する場合に、復号可能状態を示すフラグ(deltaQuantAvail)の値を”true”に設定する。そして、サイド情報復号部１１１２は、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグを参照すると、スキップフラグを参照したＣＵについてのcu_qp_deltaを復号し、当該ＣＵについてのＱＰ差分値に設定する。その後、deltaQuantAvailの値を”false”に設定する。
ＣＵ設定部１１１３では、入力されたサイド情報＃１１１２に基づいて、符号化データ＃１１１１ｂを複数のスライスに分割し、各スライスを複数の対象ＱＰ符号化単位領域に分割し、各対象ＱＰ符号化単位領域を個々のＣＵに対応する符号化データ＃１１１３ｂに分離し、ＣＵ復号部１１１４に対して順次出力する。
ＣＵ復号部１１１４は、入力された個々のＣＵ（逆量子化単位領域）に対応する符号化データ＃１１１３ｂを順次復号および逆量子化することにより、個々のＣＵに対応する復号画像＃１１１４を生成し、出力する。また、復号画像＃１１１４は、フレームメモリ１５に対しても出力される。
具体的には、ＣＵ復号部１１１４は、ＣＵに対応する符号化データ＃１１１３ｂを復号および逆量子化する際には、ＣＵが属する対象ＱＰ符号化単位領域におけるＱＰ差分値＃１１１３ａからＱＰ値を求めて逆量子化処理を行う。
符号化データ＃１１１１ｂを構成する全てのＣＵに対して、ＣＵ復号部１１１４によるＣＵ単位の復号画像生成処理が終わった時点で、動画像復号装置１１１に入力された符号化データに対応する復号画像＃１１１の生成処理が完了する。
以上のように、動画像復号装置は、ＣＵごとにＱＰ差分値の符号化データを復号するのではなく、ＣＵが属するスライスのスライスタイプに応じて定まる対象ＱＰ符号化単位領域ごとにＱＰ差分値の符号化データを復号するので、従来よりも少ない符号量の符号化データから復号画像を生成することができる。
（動画像符号化装置）
本実施形態に係る動画像符号化装置１１２は、入力画像を構成するスライスにＩスライスが多い場合と、Ｐスライスが多い場合と、Ｂスライスが多い場合とで、異なる粒度（個数）のＱＰ差分値を符号化するように構成されている。
以下、本実施形態に係る動画像符号化装置１１２について図３３を参照しながら説明する。図３３は、動画像符号化装置１１２の構成を示すブロック図である。図３３に示すように、動画像符号化装置１１２は、サイド情報決定部１１２１、サイド情報符号化部１１２２、ＣＵ設定部４３、ＣＵ符号化部４４、可変長符号多重化部２５、ＣＵ復号部４６、および、フレームメモリ２７を備えている。
ＣＵ設定部４３、ＣＵ符号化部４４、可変長符号多重化部２５、ＣＵ復号部４６、および、フレームメモリ２７については、実施形態１または２において説明したので、以下では、サイド情報決定部１１２１およびサイド情報符号化部１１２２について説明する。
サイド情報決定部１１２１は、量子化処理の対象となる各ＬＣＵについて、該ＬＣＵが属するスライスのスライスタイプに応じて異なるサイズの３つのＱＰ符号化単位領域（Ｉスライス用ＱＰ符号化単位領域、Ｑスライス用ＱＰ符号化単位領域、およびＢスライス用ＱＰ符号化単位領域）のいずれかのＱＰ符号化単位領域（「対象ＱＰ符号化単位領域」とも称する）を規定するようになっている。例えば、サイド情報決定部１１２１は、ＬＣＵが属するスライスのスライスタイプがＩスライスである場合には、対象ＱＰ符号化単位領域としてＩスライス用ＱＰ符号化単位領域を規定する。
そして、サイド情報決定部１１２１は、規定した各対象ＱＰ符号化単位領域について、該対象ＱＰ符号化単位領域全体を構成する１以上の各ＣＵについて、ラスタスキャン順に該ＣＵのスキップフラグを参照する。サイド情報決定部１１２１は、各対象ＱＰ符号化単位領域について、値が「０」であるスキップフラグが該ＱＰ符号化単位領域において初めて参照されるＣＵのＱＰ値を算出し、直前に参照したＱＰ値（またはデフォルトＱＰ値）とのＱＰ差分値をサイド情報の一部としてサイド情報符号化部１１２２に出力する。
具体的には、サイド情報決定部１１２１およびサイド情報符号化部１１２２は、図３４に示すcoding_unitシンタックスを用いて各ＣＵに対して順次以下の処理を行う。すなわち、サイド情報決定部１１２１は、スキップフラグ（skip_flag）を参照するＣＵの左上座標のｘ成分およびｙ成分が共に対象ＱＰ符号化単位領域のサイズ（ＬＣＵが属するスライスのスライスタイプがＩスライスの場合にはMinIDeltaQuantCodingUnitSize。ＢスライスおよびＰスライスの場合には、それぞれ、MinBDeltaQuantCodingUnitSizeおよびMinPDeltaQuantCodingUnitSize）の整数倍に一致する場合に、符号化可能状態を示すフラグ(deltaQuantAvail)の値を”true”に設定する。そして、サイド情報決定部１１２１は、deltaQuantAvailの値が”true”である状態で値が「０」のスキップフラグを参照すると、スキップフラグを参照したＣＵのＱＰ差分値をサイド情報＃４１の一部としてサイド情報符号化部１１２２に供給する。サイド情報符号化部１１２２は、ＱＰ差分値の符号化処理を実行してdeltaQuantAvailの値を”false”に設定する。
以上のようなサイド情報決定部１１２１およびサイド情報符号化部１１２２の処理によって、可変長符号多重化部２５は、サイド情報符号化部１１２２から、３種類のＱＰ符号化単位領域のサイズ情報と各対象ＱＰ符号化単位領域のＱＰ差分値との符号化データを含むサイド情報符号化データ＃１１２２を受け取ることになる。また、可変長符号多重化部２５は、ＣＵ符号化部４４から受け取るＣＵ符号化データ＃４４とサイド情報符号化データ＃１１２２とを多重化することによって符号化データ＃１１２を生成し、出力する。
（付記事項）
なお、本実施形態に係る動画像符号化装置１１２は、入力画像を構成するスライスにＩスライスが多い場合と、Ｐスライスが多い場合と、Ｂスライスが多い場合とで、異なる粒度（個数）のＱＰ差分値を符号化するように構成されているが、本発明はこれに限定されない。すなわち、動画像符号化装置は、Ｐスライスが多い場合とＢスライスが多い場合とで符号化するＱＰ差分値を符号化する粒度（個数）が同程度になるように構成してもよい。すなわち、MinIDeltaQuantCodingUnitSizeとMinBDeltaQuantCodingUnitSizeとMinPDeltaQuantCodingUnitSizeとの各値を、次式が成立するような値に設定してもよい。
Figure 0005670444
また、MinIDeltaQuantCodingUnitSize、MinBDeltaQuantCodingUnitSize、MinPDeltaQuantCodingUnitSizeは、ピクチャ・パラメータ・セットもしくは、シーケンス・パラメータ・セット、もしくは、スライスヘッダなどで符号化データ中に符号化する構成としても構わない。
〔実施形態７〕
（動画像復号装置）
本実施形態に係る動画像復号装置は、その次に説明する動画像符号化装置１１４から供給される符号化データ＃１１４を復号して復号画像＃１１３を生成する装置である。
以下では、本実施形態に係る動画像復号装置について図面を参照しながら詳細に説明する。
最初に、本実施形態に係る動画像復号装置の構成について図３５を参照しながら説明する。図３５は、動画像復号装置１１３の構成を示すブロック図である。図３５に示すように、動画像復号装置１１３は、可変長符号逆多重化部１１３１、サイド情報復号部１１３２、ＣＵ設定部１１３３、ＣＵ復号部１１３４、および、フレームメモリ１５を備えている。
動画像復号装置１１３に入力された符号化データ＃１１４は可変長符号逆多重化部１１３１へ入力される。可変長符号逆多重化部１１３１は、入力された符号化データ＃１１４を逆多重化することによって、符号化データ＃１１４を、サイド情報に関する符号化データであるサイド情報符号化データ＃１１３１ａと、ピクチャに関する符号化データである符号化データ＃１１３１ｂとに分離し、サイド情報符号化データ＃１１３１ａをサイド情報復号部１１３２に、符号化データ＃１１３１ｂをＣＵ設定部１１３３にそれぞれ出力する。
サイド情報復号部１１３２では、サイド情報符号化データ＃１１３１ａを復号してサイド情報＃１１３２を生成し、サイド情報＃１１３２をＣＵ設定部１１３３に出力する。
サイド情報復号部１１３２では、サイド情報符号化データ＃１１３１ａを復号する処理において、ＱＰ符号化単位領域のサイズを示すサイズ情報の符号化データを復号することにより、サイド情報＃１１３２の一部として上記サイズ情報を生成する。
また、サイド情報復号部１１３２では、サイド情報符号化データ＃１１３１ａを復号する処理において、各スライスヘッダの変換規則インデックスの符号化データを復号することにより、サイド情報＃１１３２の一部として上記変換規則インデックスを生成する。ここで、変換規則インデックスとは、実施形態１において説明した各変換規則を識別するインデックスのことである。
さらに、サイド情報復号部１１３２では、サイド情報符号化データ＃１１３１ａを復号する処理において、各ＱＰ符号化単位領域のインデックス(qp_delta_index)の符号化データを復号することにより、サイド情報＃１１３２の一部として上記インデックスを生成する。
ＣＵ設定部１１３３では、入力されたサイド情報＃１１３２に基づいて、符号化データ＃１１３１ｂを複数のスライスに分割し、各スライスを複数のＱＰ符号化単位領域に分割し、各ＱＰ符号化単位領域を個々のＣＵに対応する符号化データ＃１１３３ｂに分離し、ＣＵ復号部３４に対して順次出力する。また、ＣＵ設定部１１３３は、各ＱＰ符号化単位領域について、サイド情報＃１１３２に含まれている変換規則インデックスから特定される変換規則を用いて、同じくサイド情報＃１１３２に含まれている該ＱＰ符号化単位領域のインデックスから、ＣＵ復号部１１３４に対して出力すべきＱＰ差分値を算出する。そして、ＣＵ設定部１１３３は、該ＱＰ符号化単位領域の個々のＣＵに対応する符号化データ＃１１３３ｂに加えて、変換規則を用いて算出したＱＰ差分値＃１１３３ａをＣＵ復号部１１３４に対して出力する。
ＣＵ復号部１１３４は、入力された個々のＣＵ（逆量子化単位領域）に対応する符号化データ＃１１３３ｂを順次復号および逆量子化することにより、個々のＣＵに対応する復号画像＃１１３４を生成し、出力する。また、復号画像＃１１３４は、フレームメモリ１５に対しても出力される。
具体的には、ＣＵ復号部１１３４は、ＣＵに対応する符号化データ＃１１３３ｂを復号および逆量子化する際には、該ＣＵが属するＱＰ符号化単位領域のＱＰ差分値＃１１３３ａからＱＰ値を求めて逆量子化処理を行う。
符号化データ＃１１３１ｂを構成する全てのＣＵに対して、ＣＵ復号部１１３４によるＣＵ単位の復号画像生成処理が終わった時点で、動画像復号装置１１３に入力された符号化データに対応する復号画像＃１１３の生成処理が完了する。
以上のように、動画像復号装置は、ＱＰ符号化単位領域ごとにＱＰ差分値の符号化データを復号するのではなく、ＱＰ差分値よりも値が小さい（または図８（ｄ）のようにＱＰ差分値よりも小さいことが多い）インデックスの符号化データを復号する。したがって、変換規則インデックスの符号化による符号量の増分があっても、ＱＰ差分値を生成するために受信する符号化データの符号量は全体としてより少なくなる。そのため、動画像復号装置は、より少ないデータ量の符号化データからＱＰ差分値を生成することができる。
（動画像符号化装置）
本実施形態に係る動画像符号化装置は、実施形態２に係る動画像符号化装置と同様に、入力画像を構成する各ＬＣＵを、ＪＣＴＶＣ−Ｃ４０３に記載されているcoding_treeシンタックスを用いて複数のＣＵ（Coding Unit：量子化単位領域）に分割する処理を行う。
また、本実施形態に係る動画像符号化装置は、ＱＰ符号化単位領域のサイズを示すサイズ情報を符号化するように構成されている。
一方、本実施形態に係る動画像符号化装置は、実施形態２に係る動画像符号化装置とは異なり、ＱＰ符号化単位領域ごとに、該ＱＰ符号化単位領域に属するたかだか１つのＣＵに関するＱＰ差分値に代えて、実施形態１において説明した該ＱＰ差分値を指し示すインデックスを符号化するように構成されている。また、実施形態１と同様に、本実施形態に係る動画像符号化装置は、実施形態１において説明したＱＰ差分値とインデックスとの関係を表した変換規則の変換規則インデックスを符号化するように構成されている。
以下では、本実施形態に係る動画像符号化装置について図面を参照しながら詳細に説明する。
最初に、本実施形態に係る動画像符号化装置１１４の構成について図３６を参照しながら説明する。図３６は、動画像符号化装置１１４の構成を示すブロック図である。図３６に示すように、動画像符号化装置１１４は、サイド情報決定部１１４１、サイド情報符号化部１１４２、ＣＵ設定部４３、ＣＵ符号化部４４、可変長符号多重化部２５、ＣＵ復号部４６、および、フレームメモリ２７を備えている。
サイド情報決定部１１４１は、入力画像＃１００に基づいて、サイド情報を決定し、決定したサイド情報をサイド情報＃１１４１として出力する。サイド情報＃１１４１は、入力画像＃１００に関するパラメータの集合であるピクチャ・パラメータ・セット、入力画像＃１００に含まれるスライス毎のヘッダ情報であるスライスヘッダ、スライスに含まれるＣＵ毎のパラメータの集合であるＣＵ情報、ＣＵに含まれるＴＵ毎のパラメータの集合であるＴＵ情報等から構成される。
具体的には、サイド情報決定部１１４１は、スライス（またはピクチャ）ごとに所定のアルゴリズムに基づいてＱＰ符号化単位領域の（縦および横の）サイズを決定し、ＱＰ符号化単位領域のサイズを示すサイズ情報をサイド情報＃１１４１のスライスヘッダ（ピクチャ・パラメータ・セット）に格納する。
また、サイド情報決定部１１４１は、スライス毎に、該スライスに含まれるＣＵに割り当て可能なＱＰ値に制限を課すためのＱＰ差分値の集合を決定する。すなわち、スライスに含まれるＣＵに割り当て可能なＱＰ値は、同じスライスに含まれる直前のＣＵに割り当てたＱＰ値とのＱＰ差分値が上記ＱＰ差分値の集合に含まれるように制限される。
さらに、サイド情報決定部１１４１は、スライス毎に、該スライスに関する変換規則を定め、対応するスライスヘッダ内に該変換規則を識別する変換規則インデックスを含めるようになっている。
そして、サイド情報決定部１１４１は、ピクチャ・パラメータ・セット（またはスライスヘッダ）内のＱＰ符号化単位領域のサイズ情報に基づいて、入力画像＃１００（または各スライス）を構成するＱＰ符号化単位領域を規定する。さらに、サイド情報決定部１１４１は、ＱＰ符号化単位領域ごとにたかだか１つ選択したＣＵ（選択対象ＣＵ）について、ＱＰ差分値テーブルを参照することによりＱＰ差分値（qp_delta）をインデックス(qp_delta_index)に変換する。そして、サイド情報決定部１１４１は、選択対象ＣＵのＣＵ情報にインデックスを格納したサイド情報＃１１４１をサイド情報符号化部１１４２に出力するとともに、ＱＰ差分値をＣＵ設定部４３に出力する。
サイド情報符号化部１１４２は、サイド情報＃１１４１を符号化し、サイド情報符号化データ＃１１４２を出力する。サイド情報符号化データ＃１１４２は、可変長符号多重化部２５に供給される。サイド情報符号化部１１４２は、サイド情報＃１１４１を符号化する処理において、各ＱＰ符号化単位領域のインデックスと、上記サイズ情報と、変換規則インデックスとを符号化する。より具体的には、サイド情報符号化部１１４２は、各ＱＰ符号化単位領域のインデックスを、インデックスの絶対値の大きさに応じた長さの２値列に符号化する。
なお、ＣＵ設定部４３、ＣＵ符号化部４４、ＣＵ復号部４６、可変長符号多重化部２５およびフレームメモリ２７については実施形態１または２において説明したので、ここでは説明を省略する。
（動画像復号装置１１３および動画像符号化装置１１４の変形例１）
動画像符号化装置１１４のサイド情報決定部１１４１は、スライス毎に変換規則を定めるものとしたが、サイド情報決定部１１４１は、各スライスについて、所定の複数種類の変換規則の中からいずれか１つの変換規則を選択するものとしてもよい。
例えば、サイド情報決定部１１４１は、qp_delta＝qp_delta_indexで表される変換規則と、qp_delta＝qp_delta_index *２で表される変換規則（等価なＱＰ差分値テーブルが図８（ｂ）で表されるような変換規則）と、等価なＱＰ差分値テーブルが図８（ｃ）で表されるような変換規則と、の中からいずれかの変換規則を選択し、変換規則テーブルを参照して、該変換規則を示す変換規則インデックスをサイド情報＃１１４１のスライスヘッダ内に格納してもよい。ここで、変換規則テーブルは、変換規則と変換規則インデックスとが関連づけられたテーブルであり、動画像符号化装置１１４と動画像復号装置１１３とは、共通の変換規則テーブルをそれぞれの記憶部（図示せず）に備えている。変換規則テーブルは、例えば、qp_delta＝qp_delta_indexで表される変換規則を識別する変換規則インデックスを０とし、qp_delta＝qp_delta_index *２で表される変換規則を識別する変換規則インデックスを１とし、等価なＱＰ差分値テーブルが図８（ｃ）で表されるような変換規則を識別する変換規則インデックスを２とするようなテーブルが挙げられる。
また、サイド情報決定部１１４１は、各スライスについて、所定の複数種類のＱＰ差分値テーブルの中からいずれか１つのＱＰ差分値テーブルを選択するものとしてもよい。
例えば、サイド情報決定部１１４１は、qp_deltaとqp_delta_indexとが同値となるようなＱＰ差分値テーブルおよび図８（ａ）のようなＱＰ差分値テーブルのどちらかのＱＰ差分値テーブルを選択して、テーブル選択用情報を参照して、該ＱＰ差分値テーブルを示す粗さ指定フラグをサイド情報＃１１４１のスライスヘッダ内に格納してもよい。ここで、テーブル選択用情報は、ＱＰ差分値テーブルと粗さ指定フラグとが関連づけられたテーブルであり、動画像符号化装置１１４と動画像復号装置１１３とは、共通のテーブル選択用情報をそれぞれの記憶部（図示せず）に備えている。
また、動画像符号化装置１１４と動画像復号装置１１３は、前者のＱＰ差分値テーブルを示す２値フラグである粗さ指定フラグ「０」と規定し、後者のＱＰ差分値テーブルを示す粗さ指定フラグ「１」と規定してもよい。
上記２つの例の場合、動画像復号装置１１３では、サイド情報復号部１１３２が、サイド情報符号化データ＃１１３１ａを復号する処理において、各スライスヘッダの変換規則インデックス（粗さ指定フラグ）の符号化データを復号することにより、サイド情報＃１１３２の一部として上記変換規則インデックス（粗さ指定フラグ）を生成する。
ＣＵ設定部１１３３は、記憶部（図示せず）に格納されている変換規則テーブルを参照して、サイド情報＃１１３２のスライスヘッダに含まれている変換規則インデックス（粗さ指定フラグ）から、同じく記憶部に格納されている、変換規則を表す演算アルゴリズム情報（ＱＰ差分値テーブル）を特定する。そして、ＣＵ設定部１１３３は、各ＱＰ符号化単位領域について、サイド情報＃１１３２に含まれている該ＱＰ符号化単位領域内の選択対象ＣＵのインデックスを、特定された演算情報（ＱＰ差分値テーブル）に基づいてＣＵ復号部１１３４に対して出力すべきＱＰ差分値に変換することになる。
なお、上記複数種類のＱＰ差分値テーブルは、予測モードに応じて定まるようなＱＰ差分値テーブルとなっていてもよい。例えば、上記複数種類のＱＰ差分値テーブルは、イントラ予測モード用のＱＰ差分値テーブルと、その他の予測モード用のＱＰ差分値テーブルとからなる２種類のＱＰ差分値テーブルであってもよい。そして、イントラ予測モード用のＱＰ差分値テーブルがqp_deltaとqp_delta_indexとが同値となるようなＱＰ差分値テーブルであり、その他の予測モード用のＱＰ差分値テーブルが図８（ｂ）のようなＱＰ差分値テーブルとなっていてもよい。
この場合、サイド情報決定部１１４１は、図示しない予測画像生成部から受け取った選択対象ＣＵの予測モードがイントラ予測モードである場合には、前者のＱＰ差分値テーブルを参照して選択対象ＣＵのＱＰ差分値をインデックスに変換する。一方、サイド情報決定部１１４１は、図示しない予測画像生成部から受け取った選択対象ＣＵの予測モードがインター予測モード等の他の予測モードである場合には、後者のＱＰ差分値テーブルを参照して選択対象ＣＵのＱＰ差分値をインデックスに変換する。
また、上記複数種類のＱＰ差分値テーブルは、スライスタイプに応じて定まるようなＱＰ差分値テーブルとなっていてもよい。例えば、上記複数種類のＱＰ差分値テーブルは、ＩスライスおよびＢスライス用のＱＰ差分値テーブルと、Ｐスライス用のＱＰ差分値テーブルとからなる２種類のＱＰ差分値テーブルであってもよい。
例えば、サイド情報決定部１１４１は、ＩスライスおよびＢスライスについては、実施形態１に記載されているような方法でfactorが１となるようなＱＰ差分値の集合を決定し、ＱＰ差分値の集合からＩスライスおよびＢスライス用のＱＰ差分値テーブルを生成してもよい。同様に、サイド情報決定部１１４１は、Ｐスライスについては、実施形態１に記載されているような方法でfactorが２となるようなＱＰ差分値の集合を決定し、ＱＰ差分値の集合からＰスライス用のＱＰ差分値テーブルを生成してもよい。
この場合、選択対象ＣＵが属するスライスのスライスタイプがＩスライスまたはＢスライスである場合には前者のＱＰ差分値テーブルを参照して選択対象ＣＵのＱＰ差分値をインデックスに変換する。一方、選択対象ＣＵが属するスライスのスライスタイプがＰスライスである場合には後者のＱＰ差分値テーブルを参照して選択対象ＣＵのＱＰ差分値をインデックスに変換する。
なお、上記複数種類の演算規則についても、上記複数種類のＱＰ差分値テーブルと同様のことがあてはまる。
（動画像復号装置１１３および動画像符号化装置１１４の変形例２）
実施形態５では、入力画像＃１００を構成する各ＬＣＵについて、ＬＣＵ単位でＱＰ差分値を符号化するかＬＣＵを構成するＱＰ符号化領域単位でＱＰ差分値を符号化するかを、deltaQuantAvailCUフラグの真偽に応じて決定する動画像符号化装置について説明した。
動画像符号化装置１１４は、実施形態６に係る動画像符号化装置と同様に、ＬＣＵ単位でインデックス（qp_delta_index）を符号化するかＬＣＵを構成するＱＰ符号化単位領域でインデックスを符号化するかを、deltaQuantAvailCUフラグの真偽に応じて決定してもよい。
さらに、動画像符号化装置１１４のサイド情報決定部１１４１は、各選択対象ＣＵについて、スライス（ＬＣＵまたはＣＵ）ごとに定めた複数種類の変換規則からいずれか１つの変換規則を選択し、選択した変換規則を用いてＱＰ差分値をインデックスに変換してもよい。この場合、サイド情報決定部１１４１は、選択対象ＣＵのインデックスとともに選択した変換規則の変換規則インデックスを選択対象ＣＵのＣＵ情報に格納する。
なお、サイド情報決定部１１４１は、上記複数種類の変換規則がスライスまたはＬＣＵごとに定められている場合には、各ＬＣＵについて１つの変換規則を選択し、選択した変換規則を示す変換規則インデックスをＬＣＵのＣＵ情報に含めてもよい。同様に、サイド情報決定部１１４１は、上記複数種類の変換規則がスライスごとに定められている場合には、各スライスについて１つの変換規則を選択し、選択した変換規則を示す変換規則インデックスをスライスヘッダに含めてもよい。
例えば、サイド情報決定部１１４１は、qp_deltaとqp_delta_indexとが同値となるような変換規則と等価なＱＰ差分値テーブルが図８（ｂ）で表されるような変換規則とのどちらの変換規則を使用するかをスライス毎に選択するものとしてもよい。
この場合、サイド情報決定部１１４１は、ＬＣＵ単位でインデックス(qp_delta_index)を決定する場合には選択対象ＣＵのＱＰ差分値から前者の変換規則を用いてサイド情報＃１１４１に格納すべきインデックスを算出し、ＱＰ符号化単位領域単位でインデックス(qp_delta_index)を決定する場合には選択対象ＣＵのＱＰ差分値から後者の変換規則を用いてサイド情報＃１１４１に格納すべきインデックスを算出してもよい。
また、動画像符号化装置１１４は、入力画像＃１００を構成する各スライスについて、スライス単位でインデックスを符号化するかスライスを構成するＬＣＵ（またはＱＰ符号化単位領域）単位でインデックスを符号化するかを、決定してもよい。
この場合、サイド情報決定部１１４１は、スライス単位でインデックスを決定する場合には選択対象ＣＵのＱＰ差分値から前者の変換規則を用いてサイド情報＃１１４１に格納すべきインデックスを算出し、ＬＣＵ（またはＱＰ符号化単位領域）単位でインデックスを決定する場合には選択対象ＣＵのＱＰ差分値から後者の変換規則を用いてサイド情報＃１１４１に格納すべきインデックスを算出してもよい。
この場合、動画像復号装置１１３のＣＵ設定部１１３３は、各ＬＣＵについて、サイド情報＃１１３２内の該ＬＣＵのＣＵ情報に含まれているdeltaQuantAvailCUを参照する。ＣＵ設定部１１３３は、該ＬＣＵのdeltaQuantAvailCUフラグが“true”である場合に、該ＬＣＵに属する各ＣＵのＣＵ情報を参照し、ＣＵ情報内にインデックスが含まれているＣＵについてはそのインデックスから、スライスヘッダ内に含まれている変換規則インデックスが表す変換規則を用いてＱＰ差分値１１３３ａを算出する。一方、該ＬＣＵのdeltaQuantAvailCUフラグが“false”である場合に、該ＬＣＵのＣＵ情報を参照し、ＣＵ情報内に含まれているインデックスを、スライスヘッダ内に含まれている変換規則インデックスが示す変換規則を用いてＱＰ差分値１１３３ａに変換する。
そして、ＣＵ設定部１１３３は、ＱＰ差分値１１３３ａをＣＵ復号部１１３４に出力する。その他は、変形例１に係る動画像復号装置１１３と同様の動作を行う。
なお、上記実施形態１における、マクロブロックは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの後継規格として提案されているＨＥＶＣ（High Efficiency Video Coding）のＬＣＵ（最大コーディングユニット：Largest Coding Unit、コーディングツリー（Coding Tree）のrootと呼ばれることもある）に相当し、サブマクロブロックおよびブロックは、ＨＥＶＣのＣＵ（コーディングユニット：Coding Unit、コーディングツリーのleafと呼ばれることもある）、ＰＵ（Prediction Unit）、又はＴＵ（transformation Unit）に相当するものである。
最後に、シンタックスが示された各図において用いられている変数の説明を以下に示しておく。
Figure 0005670444
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
以上のように、本発明に係る符号化装置は、上記ｎ個の差分値と、上記ｎ個の整数と、の１対１の対応関係を示す情報を生成する情報生成手段をさらに備え、上記情報生成手段が生成した上記情報を符号化データとして上記２値列とともに外部に出力することが望ましい。
上記の構成によれば、上記符号化装置は、上記２値列と上記対応関係を示す情報とが入力された場合に上記差分値を復号可能な復号装置に上記差分値の復号を行わせることができ、また、上記ｎ個の差分値と上記ｎ個の整数との１対１の対応関係を符号化すべき入力画像に応じて適宜変更することができるというさらなる効果を奏する。
本発明に係る符号化装置では、上記ｎ個の差分値は上記ｎ個の整数にそれぞれ所定の値を乗算することにより得られる値となっており、上記情報は上記所定の値そのものであることが望ましい。
上記の構成によれば、上記ｎ個の差分値と、上記ｎ個の整数と、の１対１の対応関係を示す情報が、１個の所定の値で表わされるので、外部に符号化データとして出力する上記情報の符号量を削減することができるというさらなる効果を奏する。
本発明に係る符号化装置では、上記変換手段は、上記ｎ個の差分値のうち絶対値がｉ番目に小さい差分値を、上記ｎ個の整数のうち絶対値がｉ番目に小さい整数に変換するように構成されており、該整数の絶対値は、該差分値の絶対値よりも小さいことが好ましい。
上記の構成によれば、本発明に係る符号化装置は、単位領域に関する差分値をｎ個の差分値の中からどのように決定したとしても、差分値を絶対値がより小さい整数に変換する。
したがって、本発明に係る符号化装置は、復号装置に供給する量子化パラメータの符号量を確実に削減することができるというさらなる効果を奏する。
本発明に係る符号化装置は、上記ｎ個の差分値の各々について、上記変換手段が変換する各単位領域の差から構成されるグループに占める該差分値の割合を算出する算出手段をさらに備え、上記変換手段は、変換の対象となる差分値が上記算出手段が算出した上記割合が大きい差分値であるほど変換により得られる整数の絶対値が小さくなるように構成されていることが望ましい。
上記の構成によれば、本発明に係る符号化装置は、上記変換手段が変換する各単位領域の差から構成されるグループに占める割合が大きい差分値ほど、絶対値が小さい整数に変換する（すなわち、整数から生成される２値列の長さも短くなる）。
したがって、本発明に係る符号化装置は、復号装置に供給する量子化パラメータの符号量をより効率的に削減することができるというさらなる効果を奏する。
本発明に係る符号化装置では、上記入力画像は複数の第２単位領域から構成され、且つ、各第２単位領域は複数の上記単位領域から構成されており、上記設定手段が、各第２単位領域について予め定めた特定の単位領域の量子化パラメータを設定する場合には、該単位領域と、該単位領域より符号化順序が若い単位領域と、からなる対における量子化パラメータの差は、上記ｎ個の差分値以外の値をとり得るようになっており、上記２値列生成手段は、該対における量子化パラメータの差から、差の絶対値の大きさに応じた長さの２値列を生成することが望ましい。
一般に、画像特性が互いに類似している（すなわち、量子化パラメータを近い値にすることが適切な）各単位領域から構成される領域が第２単位領域（例えば、拡大マクロブロック）として設定された場合、第２単位領域内の特定の単位領域（例えば、拡大マクロブロック内の左上隅のマクロブロック）を除く残りの単位領域の各々については、該単位領域の量子化パラメータを、該単位領域と該単位領域より符号化順序が若い単位領域と、からなる対における量子化パラメータの差が十分小さくなるように設定すれば、適切に量子化を行うことが可能である。
したがって、本発明に係る符号化装置は、上記残りの単位領域の各々の量子化パラメータを設定する場合における、該単位領域と該単位領域より符号化順序が若い単位領域と、からなる対における量子化パラメータの差の候補の数ｎを十分に小さくしても適切に量子化することができる。これにより、本発明に係る符号化装置は、ｎ個の整数と、量子化パラメータに関するｎ個の差分値と、が１対１に対応付けられている情報を保持する記憶領域を節約することができるというさらなる効果を奏する。
本発明に係る復号装置では、上記符号化データには、ｎ個の整数と、量子化パラメータに関するｎ個の差分値と、を１対１に対応付ける情報が含まれており、上記抽出手段が、上記符号化データから上記情報を抽出することが望ましい。
上記の構成によれば、本発明に係る復号装置は、上記符号化データから上記情報を抽出することができるので、本発明に係る符号化装置から供給された量子化パラメータに基づいて逆量子化するために自装置に予め上記情報を保持していなくてもよいというさらなる効果を奏する。
本発明に係る復号装置では、上記抽出手段が上記符号化データから抽出する上記情報は所定の値であり、上記特定手段は、上記整数生成手段が生成した整数値に上記抽出手段が抽出した上記所定の値を乗算することにより、上記差分値を特定することが望ましい。
上記の構成によれば、上記符号化データに含まれる上記情報は所定の値であるため、本発明に係る復号装置は、上記差分値を特定するために上記情報を保持する記憶領域を節約することができるというさらなる効果を奏する。
本発明に係る復号装置では、上記復号画像は複数の第２単位領域から構成され、且つ、各第２単位領域は複数の上記単位領域から構成されており、上記特定手段は、上記復号画像全体を構成する複数の単位領域のうち各第２単位領域について予め定めた特定の単位領域を除く残りの単位領域の各々について、該単位領域に関する整数値から該単位領域に関する差分値を上記情報に基づいて特定するようになっており、上記特定手段は、上記特定の単位領域については、上記整数生成手段が生成した整数値そのものを差分値として特定することが望ましい。
上記の構成によれば、本発明に係る復号装置は、上記残りの単位領域の各々について、該単位領域に関する整数値から該単位領域に関する差分値を、ｎ個の整数と、量子化パラメータに関するｎ個の差分値と、が１対１に対応付けられている情報に基づいて特定する。ここで、符号化データを供給する符号化装置側において、画像特性が互いに類似している（すなわち、量子化パラメータを近い値にすることが適切な）各単位領域から構成される領域が第２単位領域（例えば、拡大マクロブロック）として設定し、かつ、上記残りの単位領域について決定する差分値の候補の数ｎを小さくしておけば、本発明に係る復号装置は、上記情報を保持するための記憶領域を節約することができるというさらなる効果を奏する。
なお、上記ｎ個の差分値と、上記ｎ個の整数と、の１対１の対応関係を示す情報を含む符号化データも本発明の範疇に含まれる。
なお、本発明に係る符号化装置は、上記第３単位領域を符号化単位（ＣＵ：Coding Unit）とするか、または、変換単位（ＴＵ：Transformation Unit）とすることができる。
また、本発明に係る符号化装置は、上記第３単位領域がＣＵであり、上記単位領域がＬＣＵであり、上記複数のＬＣＵの各々について、該ＬＣＵ内の画像に対して上記算出手段が算出した上記量子化パラメータの値に応じた量子化を行うか、該ＬＣＵを構成する各ＣＵについて、該ＣＵ内の画像に対して該ＣＵの量子化パラメータの値に応じた量子化を行うか、を所定の基準に基づいて決定する第２決定手段をさらに備えることができる。
本発明に係る符号化装置は、上記の各構成によっても、量子化パラメータの符号量を従来に比べてより削減することが可能であるという効果を奏する。
本発明に係る符号化装置は、上記第３単位領域はＣＵであって、上記単位領域を構成する複数の第４単位領域の各々について、上記選択手段が該第４単位領域内で最初に選択するＣＵの予測モードがイントラ予測モードであるかを否かを判定する判定手段をさらに備え、上記算出手段は、上記予測モードがイントラ予測モードであると判定された第４単位領域内の量子化の対象となる各ＣＵの画像に対して量子化を行うために参照する上記量子化パラメータの値を、該第４単位領域が属する単位領域について上記決定手段が決定した上記量子化パラメータの差分値に代えて、該第４単位領域内で最初に選択されたＣＵの量子化パラメータの差分値から算出することが望ましい。
上記の構成によれば、本発明に係る符号化装置は、各第４単位領域について該第４単位領域内で最初に選択されるＣＵの予測モードがイントラ予測モードである場合に、該第４単位領域と該第４単位領域が属する単位領域内の他の第４単位領域とで量子化パラメータの差分値が異なるような量子化パラメータを用いて、該第４単位領域内の画像に対して量子化を行うことができる。
換言すれば、本発明に係る符号化装置は、入力画像内に予測モードがイントラ予測モードとなるようなＣＵが多く含まれる場合には、入力画像内に予測モードがインター予測モードとなるようなＣＵが多く含まれる場合に比べて、復号装置に出力する量子化パラメータの差分値の個数が相対的に多くなる。
なお、入力画像内に予測モードがイントラ予測モードとなるようなＣＵが多く含まれる場合、入力画像内に予測モードがインター予測モードとなるようなＣＵが多く含まれる場合に比べ、量子化の精度を上げることによって符号化データの符号量は大きく削減されることがわかっている。
したがって、本発明に係る符号化装置は、入力画像内に占める予測モードがイントラ予測モードとなるようなＣＵと予測モードがインター予測モードとなるようなＣＵとの比率に応じて、符号化データの符号量を適切に削減することができるというさらなる効果を奏する。
本発明に係る符号化装置は、上記入力画像を構成する複数のスライスの各々について該スライスのスライスタイプを判定する判定手段と、記複数のスライスの各々について、該スライスを構成する各単位領域のサイズを、上記判定手段が判定したスライスタイプに応じたサイズに設定する単位領域設定手段と、をさらに備えていることが望ましい。
上記の構成によれば、本発明に係る符号化装置は、上記量子化パラメータの差分値が同一となるような各量子化パラメータを用いて量子化を行うべき単位領域のサイズを、その単位領域が属するスライスのスライスタイプに応じて適切に設定することにより、符号化データの符号量をより削減することができるというさらなる効果を奏する。
本発明に係る符号化装置は、ｎ組（ｎ：任意の整数）の上記量子化パラメータの差分値と整数とが１対１の対応関係になるような変換規則に従って、上記決定手段が各単位領域について決定した上記差分値を対応する整数に変換する変換手段と、上記変換手段による変換により得られた上記整数の絶対値の大きさに応じた長さの２値列を生成する２値列生成手段と、をさらに備え、ｎ個の上記整数はｎ個の上記差分値よりも絶対値の総和が小さいことが望ましい。
上記の構成によれば、本発明に係る符号化装置は、量子化パラメータの各差分値について該差分値から変換された整数の絶対値を２値列に変換する。ここで、ｎ個の上記整数はｎ個の上記差分値よりも絶対値の総和が小さいので、上記変換後の２値列の長さの総和は、統計的には、量子化パラメータの各差分値について該差分値の絶対値を２値列に変換した場合における変換後の２値列の長さの総和よりも小さくなることが多いと言える。
したがって、本発明に係る符号化装置は、量子化パラメータの差分値の符号量をより削減することができるというさらなる効果を奏する。
また、本発明に係る復号装置は、上記第３単位領域を符号化単位（ＣＵ：Coding Unit）とするか、または、変換単位（ＴＵ：Transformation Unit）とすることができる。
また、本発明に係る復号装置は、上記第３単位領域はＣＵであり、上記単位領域はＬＣＵであり、上記複数のＬＣＵの各々について、該ＬＣＵ内の量子化画像に対して上記特定手段が特定した上記量子化パラメータの値に応じた逆量子化を行うか、該ＬＣＵを構成する各ＣＵについて、該ＣＵ内の量子化画像に対して該ＣＵの量子化パラメータの値に応じた逆量子化を行うか、を所定の基準に基づいて決定することができる。
上記の各構成によっても、本発明に係る復号装置は、逆量子化を行うために用いるべき量子化パラメータをより少ない負荷で特定することができる。
本発明に係る復号装置は、上記第３単位領域はＣＵであって、上記単位領域を構成する複数の第４単位領域の各々について、上記選択手段が該第４単位領域内で最初に選択するＣＵの予測モードがイントラ予測モードであるかを否かを判定する判定手段をさらに備え、上記特定手段は、上記予測モードがイントラ予測モードであると判定された第４単位領域内の逆量子化の対象となる各ＣＵの量子化画像に対して逆量子化を行うために参照する上記量子化パラメータの値を、該第４単位領域が属する単位領域について上記読出手段が読み出した上記量子化パラメータの差分値に代えて、該第４単位領域内で最初に選択されたＣＵの量子化パラメータの差分値から特定することが望ましい。
上記の構成によれば、本発明に係る符号化装置は、各ＣＵの予測モードがイントラ予測モードであるか否かを判定する判定手段を備えた本発明に係る符号化装置から送信されるより小さい符号量の符号化データを復号して、復号画像を生成することができるというさらなる効果を奏する。
本発明に係る復号装置は、上記復号画像を構成する複数のスライスの各々について該スライスのスライスタイプを判定する判定手段と、上記複数のスライスの各々について、該スライスを構成する各単位領域のサイズを、上記判定手段が判定したスライスタイプに応じたサイズに設定する単位領域設定手段と、をさらに備えていることが望ましい。
上記の構成によれば、本発明に係る復号装置は、同様の判定手段を備えた本発明に係る符号化装置から送信された符号化データを復号して、復号画像を生成することができるというさらなる効果を奏する。
本発明に係る復号装置は、上記読出手段が、量子化パラメータの差分値に代えて、該差分値に対応する整数を上記符号化データから読み出すように構成されている読出手段であり、ｎ組（ｎ：任意の整数）の上記量子化パラメータの差分値と整数とが１対１の対応関係になるような変換規則に従って、上記読出手段が各単位領域について読み出した上記整数を、対応する上記差分値に変換する変換手段をさらに備え、上記特定手段が、各単位領域について、該単位領域に含まれる逆量子化の対象となる各第３単位領域内の量子化画像に対して逆量子化を行うために参照する上記量子化パラメータの値を、上記読出手段が該単位領域内において読み出した上記整数を上記変換手段が変換することにより得られた量子化パラメータの差分値から特定するように構成されており、ｎ個の上記整数はｎ個の上記差分値よりも絶対値の総和が小さいことが望ましい。
上記の構成によれば、本発明に係る復号装置は、上記変換規則に従って量子化パラメータの差分値を整数に変換する変換手段を備えた本発明に係る符号化装置から送信された符号化データを復号して、復号画像を生成することができるというさらなる効果を奏する。
本発明は、画像を符号化し符号化データを生成する符号化装置、そのような符号化装置を用いて生成された符号化データを復号する復号装置に好適に適用することができる。
１ 動画像復号装置（復号装置）
１１ 可変長符号逆多重化部
１２ サイド情報復号部（抽出手段、特定手段）
１３ ＭＢ設定部（特定手段）
１４ ＭＢ復号部
１５ フレームメモリ
２ 動画像符号化装置（符号化装置）
２１ サイド情報決定部（設定手段、変換手段、算出手段）
２２ サイド情報符号化部（２値列生成手段）
２３ ＭＢ設定部
２４ ＭＢ符号化部
２５ 可変長符号多重化部
２６ ＭＢ復号部
２７ フレームメモリ
３ 動画像復号装置
３１ 可変長符号逆多重化部
３２ サイド情報復号部（選択手段、読出手段）
３３ ＣＵ設定部
３４ ＣＵ復号部（特定手段）
４ 動画像符号化装置
４１ サイド情報決定部（選択手段、決定手段）
４２ サイド情報符号化部
４３ ＣＵ設定部
４４ ＣＵ符号化部（算出手段）
４６ ＣＵ復号部
７ 動画像復号装置
７４ ＣＵ復号部（判定手段）
８ 動画像符号化装置
８１ サイド情報決定部（判定手段）
９ 動画像復号装置
９２ サイド情報復号部（決定手段）
１０ 動画像復号装置
１０１ サイド情報決定部（第２決定手段）
１１１ 動画像復号装置
１１１２ サイド情報復号部（判定手段、単位領域設定手段）
１１２ 動画像符号化装置
１１２１ サイド情報決定部（判定手段、単位領域設定手段）
１１３ 動画像復号装置
１１３３ ＣＵ設定部（読出手段、変換手段）
１１４ 動画像符号化装置
１１４１ サイド情報決定部（変換手段）
１１４２ サイド情報符号化部（２値列生成手段）

Claims (18)

  1. 符号化すべき入力画像を構成する複数の単位領域の各々について、該単位領域内の画像に対し量子化パラメータの値に応じた量子化を行う符号化装置において、
    各単位領域を符号化する際に用いる量子化パラメータを設定する設定手段であって、各単位領域について、該単位領域における量子化パラメータと所定の基準値との差が予め定められたｎ個の差分値の何れかに一致するように、各単位領域の量子化パラメータを設定する設定手段と、
    上記ｎ個の差分値の各々をｎ個の整数の何れかに１対１に変換する変換規則に従って、各単位領域について、該単位領域における量子化パラメータと上記所定の基準値との差を整数に変換する変換手段と、
    上記変換手段により変換された上記整数の絶対値の大きさに応じた長さの２値列を生成する２値列生成手段と、を備え、上記ｎ個の整数は上記ｎ個の差分値よりも絶対値の総和が小さいことを特徴とする符号化装置。
  2. 請求項１に記載の符号化装置であって、
    上記ｎ個の差分値と、上記ｎ個の整数と、の１対１の対応関係を示す情報を生成する情報生成手段をさらに備え、
    上記情報生成手段が生成した上記情報を符号化データとして上記２値列とともに外部に出力することを特徴とする符号化装置。
  3. 請求項２に記載の符号化装置であって、
    上記ｎ個の差分値は上記ｎ個の整数にそれぞれ所定の値を乗算することにより得られる値となっており、上記情報は上記所定の値そのものであることを特徴とする符号化装置。
  4. 請求項１または２に記載の符号化装置であって、
    上記変換手段は、上記ｎ個の差分値のうち絶対値がｉ番目に小さい差分値を、上記ｎ個の整数のうち絶対値がｉ番目に小さい整数に変換するように構成されており、該整数の絶対値は、該差分値の絶対値よりも小さいことを特徴とする符号化装置。
  5. 請求項１または２に記載の符号化装置であって、
    上記ｎ個の差分値の各々について、上記変換手段が変換する各単位領域の差から構成されるグループに占める該差分値の割合を算出する算出手段をさらに備え、
    上記変換手段は、変換の対象となる差分値が上記算出手段が算出した上記割合が大きい差分値であるほど変換により得られる整数の絶対値が小さくなるように構成されていることを特徴とする符号化装置。
  6. 符号化データを復号することによって、復号画像を構成する各単位領域に関する量子化パラメータを設定する復号装置において、
    上記符号化データから各単位領域に関する２値列のデータを抽出する抽出手段と、
    上記抽出手段が抽出した各２値列のデータから各単位領域に関する２値列の長さに応じた整数値を生成する整数生成手段と、
    ｎ個の整数と、量子化パラメータに関するｎ個の差分値と、が１対１に対応付けられている情報に基づいて、上記整数生成手段が生成した各単位領域に関する整数値から、各単位領域に関する差分値を特定する特定手段と、を備え、
    各単位領域に関する量子化パラメータは、上記特定手段が特定した各差分値から生成されることを特徴とする復号装置。
  7. 請求項６に記載の復号装置であって、
    上記符号化データには、ｎ個の整数と、量子化パラメータに関するｎ個の差分値と、を１対１に対応付ける情報が含まれており、
    上記抽出手段は、上記符号化データから上記情報を抽出することを特徴とする復号装置。
  8. 請求項７に記載の復号装置であって、
    上記抽出手段が上記符号化データから抽出する上記情報は所定の値であり、
    上記特定手段は、上記整数生成手段が生成した整数値に上記抽出手段が抽出した上記所定の値を乗算することにより、上記差分値を特定することを特徴とする復号装置。
  9. 符号化すべき入力画像を構成する複数の単位領域の各々について、該単位領域内の画像に対し量子化パラメータの値に応じた量子化を行う符号化装置において、
    上記複数の単位領域の各々について、該単位領域を構成する複数の第３単位領域を所定の順序で選択する選択手段と、
    上記複数の単位領域の各々について、該単位領域に含まれる量子化の対象となる第３単位領域の中から上記選択手段が最初に選択した第３単位領域に関し、該第３単位領域の量子化パラメータの差分値を決定する決定手段と、
    上記複数の単位領域の各々について、該単位領域に含まれる量子化の対象となる各第３単位領域内の画像に対して量子化を行うために参照する上記量子化パラメータの値を、上記決定手段が該単位領域内において決定した上記量子化パラメータの差分値から算出する算出手段と、
    上記複数の単位領域の各々について、該単位領域内の所定のフラグである第１のフラグが偽である場合には量子化パラメータの差分値をたかだか１つ符号化することを決定し、該単位領域内の第１のフラグが真である場合には量子化パラメータの差分値を上記第３単位領域単位で符号化することを決定する第２決定手段と、を備えていることを特徴とする符号化装置。
  10. 第１のフラグを符号化するか否かを制御するためのフラグである第２のフラグの値を決定する第３決定手段を更に備えている、ことを特徴とする請求項９に記載の符号化装置。
  11. 第１のフラグが真である場合に、量子化パラメータの差分値が符号化されているか否かを示す第３のフラグの値を決定する第４決定手段を更に備えている、ことを特徴とする請求項９または１０に記載の符号化装置。
  12. 符号化すべき入力画像を構成する複数の単位領域の各々について、該単位領域内の画像に対し量子化パラメータの値に応じた量子化を行う符号化装置において、
    上記複数の単位領域の各々について、該単位領域を構成する複数の第３単位領域を所定の順序で選択する選択手段と、
    上記複数の単位領域の各々について、該単位領域に含まれる量子化の対象となる第３単位領域の中から上記選択手段が最初に選択した第３単位領域に関し、該第３単位領域の量子化パラメータの差分値を決定する決定手段と、
    上記複数の単位領域の各々について、該単位領域に含まれる量子化の対象となる各第３単位領域内の画像に対して量子化を行うために参照する上記量子化パラメータの値を、上記決定手段が該単位領域内において決定した上記量子化パラメータの差分値から算出する算出手段と、を備え、
    上記第３単位領域はＣＵであり、
    上記単位領域を構成する複数の第４単位領域の各々について、上記選択手段が該第４単位領域内で最初に選択するＣＵの予測モードがイントラ予測モードであるか否かを判定する判定手段をさらに備え、
    上記算出手段は、上記予測モードがイントラ予測モードであると判定された第４単位領域内の量子化の対象となる各ＣＵの画像に対して量子化を行うために参照する上記量子化パラメータの値を、該第４単位領域が属する単位領域について上記決定手段が決定した上記量子化パラメータの差分値に代えて、該第４単位領域内で最初に選択されたＣＵの量子化パラメータの差分値から算出することを特徴とする符号化装置。
  13. 符号化すべき入力画像を構成する複数の単位領域の各々について、該単位領域内の画像に対し量子化パラメータの値に応じた量子化を行う符号化装置において、
    上記複数の単位領域の各々について、該単位領域を構成する複数の第３単位領域を所定の順序で選択する選択手段と、
    上記複数の単位領域の各々について、該単位領域に含まれる量子化の対象となる第３単位領域の中から上記選択手段が最初に選択した第３単位領域に関し、該第３単位領域の量子化パラメータの差分値を決定する決定手段と、
    上記複数の単位領域の各々について、該単位領域に含まれる量子化の対象となる各第３単位領域内の画像に対して量子化を行うために参照する上記量子化パラメータの値を、上記決定手段が該単位領域内において決定した上記量子化パラメータの差分値から算出する算出手段と、
    上記入力画像を構成する複数のスライスの各々について該スライスのスライスタイプを判定する判定手段と、
    上記複数のスライスの各々について、該スライスを構成する各単位領域のサイズを、上記判定手段が判定したスライスタイプに応じたサイズに設定する単位領域設定手段と、を備えていることを特徴とする符号化装置。
  14. 符号化データを復号することによって、復号画像を構成する各単位領域に関する量子化パラメータを特定する復号装置において、
    上記復号画像を構成する各単位領域について、該単位領域を構成する複数の第３単位領域を所定の順序で選択する選択手段と、
    上記復号画像を構成する各単位領域について、該単位領域に含まれる逆量子化の対象となる第３単位領域の中から上記選択手段が最初に選択した第３単位領域に関し、該第３単位領域の量子化パラメータの差分値を、上記符号化データから読み出す読出手段と、
    上記復号画像を構成する各単位領域について、該単位領域に含まれる逆量子化の対象となる各第３単位領域内の量子化画像に対して逆量子化を行うために参照する上記量子化パラメータの値を、上記読出手段が該単位領域内において読み出した上記量子化パラメータの差分値から特定する特定手段と、
    上記復号画像を構成する各単位領域について、該単位領域内の所定のフラグである第１のフラグが偽である場合には量子化パラメータの差分値をたかだか１つ復号することを決定し、該単位領域内の第１のフラグが真である場合には量子化パラメータの差分値を第３単位領域単位で復号することを決定する決定手段と、を備えていることを特徴とする復号装置。
  15. 第１のフラグを復号するか否か決定するための第２のフラグの値に基づいて、第１のフラグを復号するか否かを決定する第２決定手段を更に備えている、ことを特徴とする請求項１４に記載の復号装置。
  16. 第１のフラグが真である場合、量子化パラメータの差分値を復号するか否か決定するための第３のフラグの値に基づいて、量子化パラメータの差分値を復号するか否かを決定する第３決定手段を更に備えている、ことを特徴とする請求項１４または１５に記載の復号装置。
  17. 符号化データを復号することによって、復号画像を構成する各単位領域に関する量子化パラメータを特定する復号装置において、
    上記復号画像を構成する各単位領域について、該単位領域を構成する複数の第３単位領域を所定の順序で選択する選択手段と、
    上記復号画像を構成する各単位領域について、該単位領域に含まれる逆量子化の対象となる第３単位領域の中から上記選択手段が最初に選択した第３単位領域に関し、該第３単位領域の量子化パラメータの差分値を、上記符号化データから読み出す読出手段と、
    上記復号画像を構成する各単位領域について、該単位領域に含まれる逆量子化の対象となる各第３単位領域内の量子化画像に対して逆量子化を行うために参照する上記量子化パラメータの値を、上記読出手段が該単位領域内において読み出した上記量子化パラメータの差分値から特定する特定手段と、を備え、
    上記第３単位領域はＣＵであり、
    上記単位領域を構成する複数の第４単位領域の各々について、上記選択手段が該第４単位領域内で最初に選択するＣＵの予測モードがイントラ予測モードであるか否かを判定する判定手段をさらに備え、
    上記特定手段は、上記予測モードがイントラ予測モードであると判定された第４単位領域内の逆量子化の対象となる各ＣＵの量子化画像に対して逆量子化を行うために参照する上記量子化パラメータの値を、該第４単位領域が属する単位領域について上記読出手段が読み出した上記量子化パラメータの差分値に代えて、該第４単位領域内で最初に選択されたＣＵの量子化パラメータの差分値から特定することを特徴とする復号装置。
  18. 符号化データを復号することによって、復号画像を構成する各単位領域に関する量子化パラメータを特定する復号装置において、
    上記復号画像を構成する各単位領域について、該単位領域を構成する複数の第３単位領域を所定の順序で選択する選択手段と、
    上記復号画像を構成する各単位領域について、該単位領域に含まれる逆量子化の対象となる第３単位領域の中から上記選択手段が最初に選択した第３単位領域に関し、該第３単位領域の量子化パラメータの差分値を、上記符号化データから読み出す読出手段と、
    上記復号画像を構成する各単位領域について、該単位領域に含まれる逆量子化の対象となる各第３単位領域内の量子化画像に対して逆量子化を行うために参照する上記量子化パラメータの値を、上記読出手段が該単位領域内において読み出した上記量子化パラメータの差分値から特定する特定手段と、
    上記復号画像を構成する複数のスライスの各々について該スライスのスライスタイプを判定する判定手段と、
    上記複数のスライスの各々について、該スライスを構成する各単位領域のサイズを、上記判定手段が判定したスライスタイプに応じたサイズに設定する単位領域設定手段と、を備えていることを特徴とする復号装置。
JP2012514768A 2010-05-13 2011-04-28 符号化装置および復号装置 Expired - Fee Related JP5670444B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012514768A JP5670444B2 (ja) 2010-05-13 2011-04-28 符号化装置および復号装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2010111475 2010-05-13
JP2010111475 2010-05-13
JP2011052178 2011-03-09
JP2011052178 2011-03-09
JP2012514768A JP5670444B2 (ja) 2010-05-13 2011-04-28 符号化装置および復号装置
PCT/JP2011/060444 WO2011142279A1 (ja) 2010-05-13 2011-04-28 符号化装置、復号装置、およびデータ構造

Publications (2)

Publication Number Publication Date
JPWO2011142279A1 JPWO2011142279A1 (ja) 2013-07-22
JP5670444B2 true JP5670444B2 (ja) 2015-02-18

Family

ID=44914335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012514768A Expired - Fee Related JP5670444B2 (ja) 2010-05-13 2011-04-28 符号化装置および復号装置

Country Status (3)

Country Link
US (4) US20130058410A1 (ja)
JP (1) JP5670444B2 (ja)
WO (1) WO2011142279A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120016980A (ko) 2010-08-17 2012-02-27 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
US8965139B2 (en) 2010-09-29 2015-02-24 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
US9749630B2 (en) * 2010-09-30 2017-08-29 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US20120189052A1 (en) * 2011-01-24 2012-07-26 Qualcomm Incorporated Signaling quantization parameter changes for coded units in high efficiency video coding (hevc)
JP5972888B2 (ja) 2011-09-29 2016-08-17 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
CN108632608B (zh) 2011-09-29 2022-07-29 夏普株式会社 图像解码装置、图像解码方法、图像编码装置及图像编码方法
CN107835419B (zh) * 2011-10-18 2021-05-14 株式会社Kt 视频信号解码方法
WO2013108634A1 (ja) * 2012-01-18 2013-07-25 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
JP2013168932A (ja) * 2012-01-18 2013-08-29 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
US9426465B2 (en) * 2013-08-20 2016-08-23 Qualcomm Incorporated Sub-PU level advanced residual prediction
FR3047379A1 (fr) * 2016-01-29 2017-08-04 Orange Procede de codage et decodage de donnees, dispositif de codage et decodage de donnees et programmes d'ordinateur correspondants
EP3306922A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for encoding a picture using rate-distortion based block splitting
WO2018143289A1 (ja) * 2017-02-02 2018-08-09 シャープ株式会社 画像符号化装置及び画像復号装置
CN107331142A (zh) * 2017-08-07 2017-11-07 普诚创智（成都）科技有限公司 遥控编解码系统
EP3499870B1 (en) * 2017-12-14 2023-08-23 Axis AB Efficient blending using encoder
US10638146B2 (en) * 2018-10-01 2020-04-28 Tencent America LLC Techniques for QP coding for 360 image and video coding
KR20240010542A (ko) * 2018-12-17 2024-01-23 삼성전자주식회사 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
US11863789B2 (en) * 2020-03-31 2024-01-02 Tencent America LLC Method for signaling rectangular slice partitioning in coded video stream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011075A (ja) * 2008-06-26 2010-01-14 Toshiba Corp 動画像符号化及び動画像復号化の方法及び装置
JP2010502102A (ja) * 2006-08-25 2010-01-21 トムソン ライセンシング 低減された解像度の分割の方法及び装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
US6181822B1 (en) * 1993-05-12 2001-01-30 The Duck Corporation Data compression apparatus and method
US5706009A (en) * 1994-12-29 1998-01-06 Sony Corporation Quantizing apparatus and quantizing method
US6037985A (en) * 1996-10-31 2000-03-14 Texas Instruments Incorporated Video compression
US6088392A (en) * 1997-05-30 2000-07-11 Lucent Technologies Inc. Bit rate coder for differential quantization
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US7386176B2 (en) * 2002-11-15 2008-06-10 Ricoh Company, Ltd. Image sending apparatus and image receiving apparatus for sending and receiving code sequence data
KR100584552B1 (ko) * 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치
JP4407249B2 (ja) * 2003-11-18 2010-02-03 ソニー株式会社 データ処理装置およびその方法と符号化装置、その方法及びプログラム
US20050190836A1 (en) * 2004-01-30 2005-09-01 Jiuhuai Lu Process for maximizing the effectiveness of quantization matrices in video codec systems
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
JP3846488B2 (ja) * 2004-05-10 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
US8045614B2 (en) * 2005-05-11 2011-10-25 Dolby Laboratories Licensing Corporation Quantization control for variable bit depth
US7961783B2 (en) * 2005-07-07 2011-06-14 Mediatek Incorporation Methods and systems for rate control in video encoder
JP2009500941A (ja) * 2005-07-08 2009-01-08 エルジー エレクトロニクス インコーポレイティド 情報を圧縮／圧縮解除するためにビデオ信号のコーディング情報をモデリングする方法
EP1911290A4 (en) * 2005-07-08 2010-04-28 Lg Electronics Inc METHOD FOR MODELING A VIDEO SIGNAL CODE INFORMATION FOR COMPRESSING / DECOMPRIMING CODING INFORMATION
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US7894523B2 (en) * 2005-09-05 2011-02-22 Lg Electronics Inc. Method for modeling coding information of a video signal for compressing/decompressing coding information
KR20070037248A (ko) * 2005-09-30 2007-04-04 삼성전자주식회사 영상 부호화장치 및 방법, 영상 복호화장치 및 방법과 이를채용한 디스플레이 구동회로 및 방법
US9479794B2 (en) * 2005-11-10 2016-10-25 Freescale Semiconductor, Inc. Resource efficient video processing via prediction error computational adjustments
WO2007058515A1 (en) * 2005-11-21 2007-05-24 Electronics And Telecommunications Research Institute Method and apparatus for controlling bitrate of scalable video stream
US8107751B2 (en) * 2007-03-16 2012-01-31 Sharp Laboratories Of America, Inc. DPCM with adaptive range and PCM escape mode
MX2009009947A (es) * 2007-04-16 2009-09-24 Toshiba Kk Metodo y dispositivo de codificacion de imagenes y de descodificacion de imagenes.
JP5212373B2 (ja) * 2007-09-12 2013-06-19 ソニー株式会社 画像処理装置及び画像処理方法
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
EP2144449A1 (en) * 2008-07-07 2010-01-13 BRITISH TELECOMMUNICATIONS public limited company Video quality measurement
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US20110274162A1 (en) * 2010-05-04 2011-11-10 Minhua Zhou Coding Unit Quantization Parameters in Video Coding
US8588297B2 (en) * 2009-12-23 2013-11-19 Oracle America, Inc. Quantization parameter prediction
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
WO2011097903A1 (zh) * 2010-02-11 2011-08-18 华为技术有限公司 多声道信号编码、解码方法、装置及编解码系统
US8675726B2 (en) * 2010-02-18 2014-03-18 Blackberry Limited Method and encoder for constrained soft-decision quantization in data compression
US8660177B2 (en) * 2010-03-24 2014-02-25 Sony Computer Entertainment Inc. Parallel entropy coding
HUE047906T2 (hu) * 2010-06-04 2020-05-28 Sony Corp QP és delta QP kódolása egy minimális méretnél nagyobb képblokkoknál
KR101449679B1 (ko) * 2010-08-18 2014-10-15 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법
US9749630B2 (en) * 2010-09-30 2017-08-29 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US20120114034A1 (en) * 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
WO2012170910A1 (en) * 2011-06-10 2012-12-13 Bytemobile, Inc. Macroblock-level adaptive quantization in quality-aware video optimization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010502102A (ja) * 2006-08-25 2010-01-21 トムソン ライセンシング 低減された解像度の分割の方法及び装置
JP2010011075A (ja) * 2008-06-26 2010-01-14 Toshiba Corp 動画像符号化及び動画像復号化の方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013059273; 大久保　榮　監修: 改訂三版Ｈ．２６４／ＡＶＣ教科書 第１版, 20090101, ｐ．１６０, 株式会社インプレスＲ＆Ｄ *

Also Published As

Publication number Publication date
US10306251B2 (en) 2019-05-28
US10904547B2 (en) 2021-01-26
US11336912B2 (en) 2022-05-17
WO2011142279A1 (ja) 2011-11-17
JPWO2011142279A1 (ja) 2013-07-22
US20160165255A1 (en) 2016-06-09
US20210092423A1 (en) 2021-03-25
US20130058410A1 (en) 2013-03-07
US20190238874A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
JP5670444B2 (ja) 符号化装置および復号装置
CN111263148B (zh) 帧内预测及帧内模式译码
US9609349B2 (en) Apparatus for decoding a moving picture
JP6297670B2 (ja) ハイレベルシンタックスのみのスケーラブルビデオコーディングのための、レイヤ間参照ピクチャ制限
KR101671156B1 (ko) 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
JP6542251B2 (ja) マルチレイヤビットストリームのためのｓｐｓ時間ｉｄネスティング情報の導出
EP2725798B1 (en) Apparatus for adaptively encoding and decoding a quantization parameter based on a quadtree structure
KR100809298B1 (ko) 플래그 인코딩 방법, 플래그 디코딩 방법, 및 상기 방법을이용한 장치
KR20130085977A (ko) 변환 유닛 내의 다수 부호 비트 은폐
JP6114787B2 (ja) 復号装置及び符号化装置
KR20110056388A (ko) 적응적 세그먼트화를 사용하는 비디오 인코딩 시스템 및 방법
KR20080047351A (ko) 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는방법
JP2017507539A (ja) マルチレイヤコーディングにおいて回復点補足エンハンスメント情報（ｓｅｉ）メッセージと領域リフレッシュ情報ｓｅｉメッセージとをコーディングするための方法
US9473789B2 (en) Apparatus for decoding a moving picture
KR101822725B1 (ko) Hls-전용 스케일러블 비디오 코딩을 위한 층 간 참조 화상 생성
US20220360782A1 (en) Image data encoding and decoding
WO2012090962A1 (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造、ならびに、算術復号装置、算術符号化装置
GB2585067A (en) Image data encoding and decoding
WO2018123317A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置及びプログラム
WO2022209032A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システム
JP2022111285A (ja) 画像符号化装置、画像復号装置、及びプログラム
CN114788276A (zh) 图像数据编码和解码
JP2012182753A (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141217

R150 Certificate of patent or registration of utility model

Ref document number: 5670444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees