JPWO2018131523A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

本開示は、ブロックの２つの頂点の動きベクトルに基づいてブロックの予測画像を生成する場合に、長方形のブロックの予測画像を高精度で生成することができるようにする画像処理装置および画像処理方法に関する。予測部は、PUの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、PUの予測画像を生成する。本開示は、例えば、２つの動きベクトルに基づくアフィン変換による動き補償を行い、インター予測処理を行う画像符号化装置等に適用することができる。

Description

本開示は、画像処理装置および画像処理方法に関し、特に、ブロックの２つの頂点の動きベクトルに基づいてブロックの予測画像を生成する場合に、長方形のブロックの予測画像を高精度で生成することができるようにした画像処理装置および画像処理方法に関する。

ITU-T(International Telecommunication Union Telecommunication Standardization Sector)の次世代ビデオ符号化を探索するJVET（Joint Video Exploration Team）では、２つの頂点の動きベクトルに基づいて参照画像をアフィン変換することによりインター予測処理（Affine motion compensation (MC) prediction）を行うことが提案されている（例えば、非特許文献１および２参照）。これにより、インター予測処理時に、画面間の並進移動（平行移動）や回転方向の動き、並びに、拡大や縮小といった形状の変化を補償して予測画像を生成することができる。

また、JVETでは、CU(Coding Unit)を形成する技術として、非特許文献３に記載されているQTBT(Quad tree plus binary tree)と呼ばれる技術が採用されている。従って、CUの形状は、正方形だけでなく、長方形になる可能性がある。

Jianle Chen等,"Algorithm Description of Joint Exploration Test Model 4(JVET-C1001)", JVET of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,26 May-1 June 2016 Feng Zou,"Improved affine motion prediction(JVET-C0062)",JVET of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,26 May-1 June 2016 "EE2.1: Quadtree plus binary tree structure integration with JEM tools（JVET-C0024）" ,JVET of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,２０１６年５月１６日

PU（Prediction Unit）がCUと同一の長方形のブロックである場合、インター予測処理におけるアフィン変換を、PUの短辺の２つの頂点の動きベクトルに基づいて行うと、長辺の２つの頂点の動きベクトルに基づいて行う場合に比べて、動きベクトルの誤差による予測精度の低下が大きくなる。

しかしながら、インター予測処理のアフィン変換で用いられる２つの動きベクトルに対応する頂点のPUにおける位置を、PUの形状に応じて変更することは考案されていなかった。従って、PUの形状が長方形である場合、高精度で予測画像を生成することができない場合があった。

本開示は、このような状況に鑑みてなされたものであり、ブロックの２つの頂点の動きベクトルに基づいてブロックの予測画像を生成する場合に、長方形のブロックの予測画像を高精度で生成することができるようにするものである。

本開示の一側面の画像処理装置は、ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、前記ブロックの予測画像を生成する予測部を備える画像処理装置である。

本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。

本開示の一側面においては、ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、前記ブロックの予測画像が生成される。

本開示の一側面によれば、予測画像を生成することができる。また、本開示の一側面によれば、ブロックの２つの頂点の動きベクトルに基づいてブロックの予測画像を生成する場合に、長方形のブロックの予測画像を高精度で生成することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

１つの動きベクトルに基づいて動き補償を行うインター予測処理を説明する図である。 １つの動きベクトルと回転角に基づいて動き補償を行うインター予測処理を説明する図である。 ２つの動きベクトルに基づいて動き補償を行うインター予測処理を説明する図である。 ３つの動きベクトルに基づいて動き補償を行うインター予測処理を説明する図である。 ３つの動きベクトルに基づくアフィン変換前後のブロックを説明する図である。 QTBTを説明する図である。 長方形のPUに対する２つの動きベクトルに基づくインター予測処理を説明する図である。 長方形のPUに対する誤差が発生した２つの動きベクトルに基づくインター予測処理を説明する図である。 長方形のPUに対する３つの動きベクトルに基づくインター予測処理を説明する図である。 画像符号化装置の一実施の形態の構成例を示すブロック図である。 ２つの動きベクトル情報を説明する図である。 隣接ベクトルを説明する図である。 Affine flagが１であるCUの領域を示す例である。 Affine flagが１であるCUの領域の境界の例を示す図である。 Affine flagが１であるCUの領域の境界の他の例を示す図である。 画像符号化処理を説明するフローチャートである。 インター予測処理モード設定処理の第１の例を説明するフローチャートである。 インター予測処理モード設定処理の第２の例を説明するフローチャートである。 マージアフィン変換モード符号化処理を説明するフローチャートである。 AMVPアフィン変換モード符号化処理を説明するフローチャートである。 Affine flag符号化処理を説明するフローチャートである。 画像復号装置の一実施の形態の構成例を示すブロック図である。 画像復号処理を説明するフローチャートである。 マージアフィン変換モード復号処理を説明するフローチャートである。 AMVPアフィン変換モード復号処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。 ネットワークシステムの概略的な構成の一例を示すブロック図である。

以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
０．本開示の前提（図１乃至図９）
１．第１実施の形態：画像処理装置（図１０乃至図２５）
２．第２実施の形態：コンピュータ（図２６）
３．第３実施の形態：テレビジョン装置（図２７）
４．第４実施の形態：携帯電話機（図２８）
５．第５実施の形態：記録再生装置（図２９）
６．第６実施の形態：撮像装置(図３０)
７．第７実施の形態：ビデオセット（図３１乃至図３３）
８．第８実施の形態：ネットワークシステム（図３４）

＜本開示の前提＞
（１つの動きベクトルに基づいて動き補償を行うインター予測処理の説明）
図１は、１つの動きベクトルに基づいて動き補償を行うインター予測処理を説明する図である。

なお、以下では、特に断りの無い限り、画像（ピクチャ）の横方向（水平方向）をｘ方向とし、縦方向（垂直方向）をｙ方向とする。

図１に示すように、１つの動きベクトルに基づいて動き補償を行うインター予測処理では、予測対象のPU１１（カレントブロック）に対して１つの動きベクトルｖ_ｃ（ｖ_ｃｘ，ｖ_ｃｙ）が決定される。そして、PU１１を含むピクチャ１０とは異なる時刻の参照画像内の、PU１１から動きベクトルｖ_ｃだけ離れた位置に存在するPU１１と同一のサイズのブロック１３を、動きベクトルｖ_ｃに基づいて並進移動することにより、PU１１の予測画像が生成される。

即ち、１つの動きベクトルに基づいて動き補償を行うインター予測処理では、参照画像に対してアフィン変換が行われず、画面間の並進移動のみを補償した予測画像が生成される。また、インター予測処理に用いられるパラメータは、ｖ_ｃｘとｖ_ｃｙの２つである。このようなインター予測処理は、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）などで採用されている。

（１つの動きベクトルと回転角に基づいて動き補償を行うインター予測処理の説明）
図２は、１つの動きベクトルと回転角に基づいて動き補償を行うインター予測処理を説明する図である。

図２に示すように、１つの動きベクトルと回転角に基づいて動き補償を行うインター予測処理では、予測対象のPU１１に対して１つの動きベクトルｖ_ｃ（ｖ_ｃｘ，ｖ_ｃｙ）と回転角θが決定される。そして、PU１１を含むピクチャ１０とは異なる時刻の参照画像内の、PU１１から動きベクトルｖ_ｃだけ離れた位置に回転角θの傾きで存在するPU１１と同一のサイズのブロック２１を、動きベクトルｖ_ｃと回転角θに基づいてアフィン変換することにより、PU１１の予測画像が生成される。

即ち、１つの動きベクトルと回転角に基づいて動き補償を行うインター予測処理では、１つの動きベクトルと回転角に基づいて参照画像に対してアフィン変換が行われる。これにより、画面間の並進移動と回転方向の動きを補償した予測画像が生成される。従って、１つの動きベクトルに基づいて動き補償を行うインター予測処理に比べて、予測画像の精度が向上する。また、インター予測処理に用いられるパラメータは、ｖ_ｃｘ，ｖ_ｃｙ、およびθの３つである。

（２つの動きベクトルに基づいて動き補償を行うインター予測処理の説明）
図３は、２つの動きベクトルに基づいて動き補償を行うインター予測処理を説明する図である。

図３に示すように、２つの動きベクトルに基づいて動き補償を行うインター予測処理では、予測対象のPU３１に対して、PU３１の左上の頂点Ａにおける動きベクトルｖ_０（ｖ_０ｘ，ｖ_０ｙ）と右上の頂点Ｂにおける動きベクトルｖ_１（ｖ_１ｘ，ｖ_１ｙ）が決定される。

そして、PU３１を含むピクチャとは異なる時刻の参照画像内の、頂点Ａから動きベクトルｖ_０だけ離れた点Ａ´を左上の頂点とし、頂点Ｂから動きベクトルｖ_１だけ離れた点Ｂ´を右上の頂点とするブロック３２を、動きベクトルｖ_０と動きベクトルｖ_１に基づいてアフィン変換することにより、PU３１の予測画像が生成される。

具体的には、PU３１が所定のサイズのブロック（以下、動き補償単位ブロックという）に分割される。そして、各動き補償単位ブロックの動きベクトルｖ（ｖ_ｘ，ｖ_ｙ）が、動きベクトルｖ_０（ｖ_０ｘ，ｖ_０ｙ）と動きベクトルｖ_１（ｖ_１ｘ，ｖ_１ｙ）に基づいて、以下の式（１）により求められる。

なお、Ｗは、PU３１のｘ方向のサイズであり、Ｈは、PU３１のｙ方向のサイズである。従って、PU３１が正方形である場合、ＷとＨは等しい。また、x,yは、それぞれ、動き補償単位ブロックのｘ方向、ｙ方向の位置である。式（１）によれば、動き補償単位ブロックの位置に基づいて、動き補償単位ブロックの動きベクトルｖが決定される。

そして、参照画像内の、各動き補償単位ブロックから動きベクトルｖだけ離れた動き補償単位ブロックと同一のサイズのブロックを、動きベクトルｖに基づいて並進移動することにより、各動き補償単位ブロックの予測画像を生成する。

以上のように、２つの動きベクトルに基づいて動き補償を行うインター予測処理では、２つの動きベクトルに基づいて参照画像に対してアフィン変換が行われる。これにより、画面間の並進移動および回転方向の動きだけでなく、拡大や縮小といった形状の変化を補償した予測画像が生成される。従って、１つの動きベクトルと回転角に基づいて動き補償を行うインター予測処理に比べて、予測画像の精度が向上する。また、インター予測処理に用いられるパラメータは、ｖ_０ｘ，ｖ_０ｙ，ｖ_１ｘ、およびｖ_１ｙの４つである。このようなインター予測処理は、JEM（Joint Exploration Model）参照ソフトウエアで採用されている。

なお、２つの動きベクトルに基づくアフィン変換は、アフィン変換前後のブロックが矩形であることを前提としたアフィン変換である。アフィン変換前後のブロックが矩形以外の四角形である場合にもアフィン変換を行うためには、３つの動きベクトルが必要である。

（３つの動きベクトルに基づいて動き補償を行うインター予測処理の説明）
図４は、３つの動きベクトルに基づいて動き補償を行うインター予測処理を説明する図である。

図４に示すように、３つの動きベクトルに基づいて動き補償を行うインター予測処理では、予測対象のPU３１に対して、動きベクトルｖ_０（ｖ_０ｘ，ｖ_０ｙ）と動きベクトルｖ_１（ｖ_１ｘ，ｖ_１ｙ）だけでなく、左下の頂点Ｃの動きベクトルｖ_２（ｖ_２ｘ，ｖ_２ｙ）が決定される。

そして、PU３１を含むピクチャとは異なる時刻の参照画像内の、頂点Ａから動きベクトルｖ_０だけ離れた点Ａ´を左上の頂点とし、頂点Ｂから動きベクトルｖ_１だけ離れた点Ｂ´を右上の頂点とし、頂点Ｃから動きベクトルｖ_２だけ離れた点Ｃ´を左下の頂点とするブロック４２を、動きベクトルｖ_０乃至ｖ_２に基づいてアフィン変換することにより、PU３１の予測画像が生成される。

即ち、３つの動きベクトルに基づいて動き補償を行うインター予測処理では、３つの動きベクトルに基づいて参照画像に対してアフィン変換が行われる。これにより、ブロック４２が図５のＡに示すように並進移動（Translation）したり、図５のＢに示すようにスキュー（Skew）したり、図５のＣに示すように回転（Rotation）したり、図５のＤに示すように拡大または縮小（Scaling）したりする。

その結果、画面間の並進移動および回転方向の動き、並びに、拡大や縮小、およびスキューといった形状の変化を補償した予測画像が生成される。なお、図５では、アフィン変換前のブロック４２を実線で示し、アフィン変換後のブロック４２を点線で示している。

これに対して、図３で説明した２つの動きベクトルに基づいて動き補償を行うインター予測処理では、予測画像に対して、画面間の並進移動および回転方向の動き、並びに、拡大や縮小といった形状の変化を補償することができるが、スキューを補償することはできない。従って、３つの動きベクトルに基づいて動き補償を行うインター予測処理では、２つの動きベクトルに基づいて動き補償を行うインター予測処理に比べて、予測画像の精度が向上する。

しかしながら、３つの動きベクトルに基づいて動き補償を行うインター予測処理では、インター予測処理に用いられるパラメータは、ｖ_０ｘ，ｖ_０ｙ，ｖ_１ｘ，ｖ_１ｙ，ｖ_２ｘ、およびｖ_２ｙの６つである。従って、１つの動きベクトルと回転角度、または、２つの動きベクトルに基づいて動き補償を行うインター予測処理に比べて、インター予測処理に用いられるパラメータの数が増加する。よって、アフィン変換を用いたインター予測処理の予測精度の向上とオーバーヘッドの抑制とは、トレードオフの関係になる。

そこで、JVETでは、制御信号により、２つの動きベクトルに基づいて動き補償を行うインター予測処理と３つの動きベクトルに基づいて動き補償を行うインター予測処理を切り替える技術が提案されている。

（QTBTの説明）
MPEG2（Moving Picture Experts Group 2(ISO/IEC 13818-2)）やAVCなどの旧来の画像符号化方式では、符号化処理は、マクロブロックと呼ばれる処理単位で実行される。マクロブロックは、16x16画素の均一なサイズを有するブロックである。これに対し、HEVCでは、符号化処理は、CUと呼ばれる処理単位（符号化単位）で実行される。CUは、最大符号化単位であるLCU（Largest Coding Unit）を再帰的に分割することにより形成される、可変的なサイズを有するブロックである。選択可能なCUの最大サイズは、64x64画素である。選択可能なCUの最小サイズは、8x8画素である。最小サイズのCUは、SCU（Smallest Coding Unit）と呼ばれる。なお、CUの最大サイズは、64x64画素に限定されず、より大きい128x128画素、256x256画素などのブロックサイズとしてもよい。

このように、可変的なサイズを有するCUが採用される結果、HEVCでは、画像の内容に応じて画質及び符号化効率を適応的に調整することが可能である。予測符号化のための予測処理は、PUと呼ばれる処理単位で実行される。PUは、CUをいくつかの分割パタンのうちの１つで分割することにより形成される。また、PUは、輝度(Y)及び色差(Cb,Cr)毎のPB(Prediction Block)と呼ばれる処理単位から構成される。さらに、直交変換処理は、TU（Transform Unit）と呼ばれる処理単位で実行される。TUは、CU又はPUをある深さまで分割することにより形成される。また、TUは、輝度(Y)及び色差(Cb,Cr)毎のTB(Transform Block)と呼ばれる処理単位（変換ブロック）から構成される。

以下においては、画像（ピクチャ）の部分領域や処理単位として「ブロック」を用いて説明する場合がある（処理部のブロックではない）。この場合の「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、この場合の「ブロック」には、例えば、TB、TU、PB、PU、SCU、CU、LCU（CTB）、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。

図６は、JVETにおいて採用されたQTBTを説明する図である。

HEVCでは、１つのブロックを水平方向および垂直方向に分割して４（=2x2）個のサブブロックにのみすることができる。これに対して、QTBTでは、１つのブロックを４（=2x2）個のサブブロックだけでなく、水平方向および垂直方向のいずれか一方にのみ分割して２（=1x2,2x1）個のサブブロックにもすることができる。即ち、QTBTでは、CUの形成は、１つのブロックの４個または２個のサブブロックへの分割を再帰的に繰り返すことにより行われ、結果として四分木（Quad-Tree）状、または、２分木（Binary-Tree）状のツリー構造が形成される。なお、以下では、PUとTUは、CUと同一であるものとする。

（長方形のPUに対する２つの動きベクトルに基づくインター予測処理の説明）
図７および図８は、長方形のPUに対する２つの動きベクトルに基づくインター予測処理を説明する図である。

図７の例では、予測対象のPU６１が、ｘ方向のサイズＷに比べてｙ方向のサイズＨが大きい縦長の長方形である。この場合、PU６１に対して、図３の場合と同様に、２つの動きベクトルに基づいて動き補償を行うインター予測処理が行われると、図７に示すように、PU６１を含むピクチャとは異なる時刻の参照画像内のブロック６２を、動きベクトルｖ_０と動きベクトルｖ_１に基づいてアフィン変換することにより、PU６１の予測画像が生成される。なお、ブロック６２は、頂点Ａから動きベクトルｖ_０だけ離れた点Ａ´を左上の頂点とし、頂点Ｂから動きベクトルｖ_１だけ離れた点Ｂ´を右上の頂点とするブロックである。

ここで、図８に示すように、動きベクトルｖ_０に誤差ｅ_０が発生し、動きベクトルｖ_１に誤差ｅ_１が発生すると、参照画像内のブロック７１を、動きベクトルｖ_０＋ｅ_０と動きベクトルｖ_１＋ｅ_１に基づいてアフィン変換することにより、PU６１の予測画像が生成される。なお、ブロック７１は、頂点Ａから動きベクトルｖ_０＋ｅ_０だけ離れた点Ａ´´を左上の頂点とし、頂点Ｂから動きベクトルｖ_１＋ｅ_１だけ離れた点Ｂ´´を右上の頂点とするブロックである。

PU６１の各動き補償ブロックの動きベクトルｖの誤差は、その動きベクトルｖの計算に用いられる動きベクトルｖ_０の誤差ｅ_０と動きベクトルｖ_１の誤差ｅ_１の影響を受ける。また、その影響は、動きベクトルｖ_０に対応する頂点Ａと動きベクトルｖ_１に対応する頂点Ｂから遠いほど大きい。

また、図７および図８の例では、頂点Ａと頂点Ｂは、PU６１の短辺方向であるｘ方向に並んでいるため、頂点Ａに対向する頂点Ｃと頂点Ａの距離、および、頂点Ｂに対向する頂点Ｄと頂点Ｂの距離は大きい。

従って、ブロック６２とブロック７１のズレは大きくなる。よって、予測画像の精度が低下し、PU６１と予測画像との残差が大きくなる。その結果、直交変換された残差が量子化によりゼロにされない場合、量子化後の残差を含む符号化ストリームの符号化効率が悪化する。また、直交変換された残差が量子化によりゼロにされる場合、予測画像の精度が低下しているため、復号画像の画質が低下する。

（長方形のPUに対する３つの動きベクトルに基づくインター予測処理の説明）
図９は、長方形のPUに対する３つの動きベクトルに基づくインター予測処理を説明する図である。

縦長の長方形のPU６１に対して、図４の場合と同様に、３つの動きベクトルに基づいて動き補償を行うインター予測処理が行われると、図９に示すように、PU６１を含むピクチャとは異なる時刻の参照画像内のブロック７２を、動きベクトルｖ_０乃至ｖ_２に基づいてアフィン変換することにより、PU６１の予測画像が生成される。なお、ブロック７２は、頂点Ａから動きベクトルｖ_０だけ離れた点Ａ´を左上の頂点とし、頂点Ｂから動きベクトルｖ_１だけ離れた点Ｂ´を右上の頂点とし、頂点Ｃから動きベクトルｖ_２だけ離れた点Ｃ´を左下の頂点とするブロックである。

ここで、図９に示すように、動きベクトルｖ_０乃至ｖ_３にそれぞれ誤差ｅ_１乃至ｅ_２が発生すると、参照画像内のブロック７３を、動きベクトルｖ_０＋ｅ_０，ｖ_１＋ｅ_１、およびｖ_２＋ｅ_２に基づいてアフィン変換することにより、PU６１の予測画像が生成される。なお、ブロック７３は、頂点Ａから動きベクトルｖ_０＋ｅ_０だけ離れた点Ａ´´を左上の頂点とし、頂点Ｂから動きベクトルｖ_１＋ｅ_１だけ離れた点Ｂ´´を右上の頂点とし、頂点Ｃから動きベクトルｖ_２＋ｅ_２だけ離れた点Ｃ´´を左下の頂点とするブロックである。

この場合、動きベクトルｖ_２＋ｅ_２により、図８の場合のように、PU６１内の下側の動き補償ブロックほど動きベクトルｖの誤差が大きくなることを防止することができる。

しかしながら、上述したように、３つの動きベクトルに基づくインター予測処理では、パラメータの数が６つであるため、オーバーヘッドが大きくなり、符号化効率が低下する。従って、本開示では、サイズＨとサイズＷの大小関係に基づいて、２つの動きベクトルに対応する頂点の位置を変更することにより、２つの動きベクトルに基づくインター予測処理の予測精度を向上させる。

＜第１実施の形態＞
（画像符号化装置の構成例）
図１０は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成例を示すブロック図である。図１０の画像符号化装置１００は、AVCやHEVCのように、画像とその予測画像との予測残差を符号化する装置である。例えば、画像符号化装置１００は、HEVCの技術や、JVETにて提案された技術を実装している。

なお、図１０においては、処理部やデータの流れ等の主なものを示しており、図１０に示されるものが全てとは限らない。つまり、画像符号化装置１００において、図１０においてブロックとして示されていない処理部が存在したり、図１０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図１０の画像符号化装置１００は、制御部１０１、演算部１１１、変換部１１２、量子化部１１３、符号化部１１４、逆量子化部１１５、逆変換部１１６、演算部１１７、フレームメモリ１１８、および予測部１１９を有する。画像符号化装置１００は、入力されるフレーム単位の動画像であるピクチャに対してCUごとに符号化を行う。

具体的には、画像符号化装置１００の制御部１０１は、外部からの入力およびRDO（Rate-Distortion Optimization）等に基づいて、符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）を設定する。

ヘッダ情報Hinfoは、例えば、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、スライスヘッダ（SH）等の情報を含む。例えば、ヘッダ情報Hinfoには、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、CUサイズの最大値MaxCUSize／最小値MinCUSizeなどを規定する情報が含まれる。もちろん、ヘッダ情報Hinfoの内容は任意であり、上述した例以外のどのような情報がこのヘッダ情報Hinfoに含まれるようにしてもよい。

予測情報Pinfoには、例えば、PU（CU）の形成時の各分割階層における水平方向または垂直方向の分割の有無を示すsplit flagが含まれる。また、予測情報Pinfoには、PUごとに、そのPUの予測処理がイントラ予測処理であるか、または、インター予測処理であるかを示すモード情報pred_mode_flagが含まれる。

モード情報pred_mode_flagがインター予測処理を示す場合、予測情報Pinfoには、Merge flag、Affine flag、動きベクトル情報、参照画像を特定する参照画像特定情報などが含まれる。Merge flagは、インター予測処理のモードが、マージモードであるか、または、AMVPモードであるかを示す情報である。マージモードとは、処理対象のPUに隣接する符号化済みの隣接PUの動きベクトルに基づいて生成される動きベクトル（以下、隣接ベクトルという）を含む候補の中から選択された予測ベクトルに基づいてインター予測処理を行うモードである。AMVPモードとは、処理対象のPUの動きベクトルに基づいてインター予測処理を行うモードである。Merge flagは、マージモードであることを示す場合１であり、AMVPモードであることを示す場合０である。

Affine flagは、インター予測処理において、アフィン変換モードで動き補償を行うか、または、並進移動モードで動き補償を行うかを示す情報である。並進移動モードとは、１つの動きベクトルに基づいて参照画像に対して並進移動を行うことにより動き補償を行うモードである。アフィン変換モードとは、２つの動きベクトルに基づいて参照画像に対してアフィン変換を行うことにより動き補償を行うモードである。Affine flag（複数ベクトル予測情報）は、アフィン変換モードで動き補償を行うことを示す場合１であり、並進移動モードで動き補償を行うことを示す場合０である。

動きベクトル情報は、Merge flagが１である場合、隣接ベクトルを含む候補の中から予測ベクトルを特定する予測ベクトル情報であり、Merge flagが０である場合、予測ベクトル情報、および、予測ベクトルと処理対象のPUの動きベクトルとの差分である。また、Affine flagが１である場合、予測情報Pinfoには、２つの動きベクトル情報が含められ、Affine flagが０である場合、１つの動きベクトル情報が含められる。

モード情報pred_mode_flagがイントラ予測処理を示す場合、予測情報Pinfoには、そのイントラ予測処理のモードであるイントラ予測モードを示すイントラ予測モード情報などが含まれる。もちろん、予測情報Pinfoの内容は任意であり、上述した例以外のどのような情報がこの予測情報Pinfoに含まれるようにしてもよい。

変換情報Tinfoには、TBのサイズを示すTBSizeなどが含まれる。もちろん、変換情報Tinfoの内容は任意であり、上述した例以外のどのような情報がこの変換情報Tinfoに含まれるようにしてもよい。

演算部１１１は、入力されるピクチャを順に符号化対象のピクチャとし、予測情報Pinfoのsplit flagに基づいて、符号化対象のピクチャに対して符号化対象のCU（PU,TU）を設定する。演算部１１１は、符号化対象のPUの画像I（カレントブロック）から、予測部１１９から供給されたPUの予測画像Ｐ（予測ブロック）を減算して予測残差Ｄを求め、それを変換部１１２に供給する。

変換部１１２は、制御部１０１から供給される変換情報Tinfoに基づいて、演算部１１１から供給される予測残差Ｄに対して直交変換等を行い、変換係数Coeffを導出する。変換部１１２は、変換係数Coeffを量子化部１１３に供給する。

量子化部１１３は、制御部１０１から供給される変換情報Tinfoに基づいて、変換部１１２から供給される変換係数Coeffをスケーリング（量子化）し、量子化変換係数レベルlevelを導出する。量子化部１１３は、量子化変換係数レベルlevelを符号化部１１４および逆量子化部１１５に供給する。

符号化部１１４は、量子化部１１３から供給される量子化変換係数レベルlevel等を所定の方法で符号化する。例えば、符号化部１１４は、シンタックステーブルの定義に沿って、制御部１０１から供給される符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）と、量子化部１１３から供給される量子化変換係数レベルlevelを、各シンタックス要素のシンタックス値へ変換する。そして、符号化部１１４は、各シンタックス値を符号化（例えば、CABAC(Context-based Adaptive Binary Arithmetic Coding)などの算術符号化）する。

符号化部１１４は、例えば、符号化の結果得られる各シンタックス要素のビット列である符号化データを多重化し、符号化ストリームとして出力する。

逆量子化部１１５は、制御部１０１から供給される変換情報Tinfoに基づいて、量子化部１１３から供給される量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを導出する。逆量子化部１１５は、その変換係数Coeff_IQを逆変換部１１６に供給する。この逆量子化部１１５により行われる逆量子化は、量子化部１１３により行われる量子化の逆処理であり、後述する画像復号装置において行われる逆量子化と同様の処理である。

逆変換部１１６は、制御部１０１から供給される変換情報Tinfoに基づいて、逆量子化部１１５から供給される変換係数Coeff_IQに対して逆直交変換等を行い、予測残差Ｄ’を導出する。逆変換部１１６は、その予測残差Ｄ’を演算部１１７に供給する。この逆変換部１１６により行われる逆直交変換は、変換部１１２により行われる直交変換の逆処理であり、後述する画像復号装置において行われる逆直交変換と同様の処理である。

演算部１１７は、逆変換部１１６から供給される予測残差Ｄ’と、予測部１１９より供給される、その予測残差Ｄ’に対応する予測画像Ｐとを加算して局所的な復号画像Recを導出する。演算部１１７は、その局所的な復号画像Recをフレームメモリ１１８に供給する。

フレームメモリ１１８は、演算部１１７より供給される局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ１１８内のバッファへ格納する。フレームメモリ１１８は、予測部１１９により指定される復号画像を参照画像としてバッファより読み出し、予測部１１９に供給する。また、フレームメモリ１１８は、復号画像の生成に係るヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfoなどを、フレームメモリ１１８内のバッファに格納するようにしても良い。

予測部１１９は、予測情報Pinfoのモード情報pred_mode_flagに基づいて、フレームメモリ１１８に格納された符号化対象のCUと同一時刻の復号画像を参照画像として取得する。そして、予測部１１９は、参照画像を用いて、符号化対象のPUに対して、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。

また、予測部１１９は、予測情報Pinfoのモード情報pred_mode_flagと参照画像特定情報に基づいて、フレームメモリ１１８に格納された符号化対象のCUとは異なる時刻の復号画像を参照画像として取得する。予測部１１９は、Merge flag、Affine flag、および動きベクトル情報に基づいて、参照画像に対して並進移動モードまたはアフィン変換モードで動き補償を行い、マージモードまたはAMVPモードのインター予測処理を行う。

予測部１１９は、イントラ予測処理またはインター予測処理の結果生成される符号化対象のPUの予測画像Ｐを演算部１１１や演算部１１７に供給する。

（２つの動きベクトル情報の説明）
図１１は、制御部１０１によりRDOに基づいて設定される２つの動きベクトル情報を説明する図である。

図１１のＡに示すように、予測対象のPU１２１がｙ方向のサイズＨに比べてｘ方向のサイズＷが大きい横長の長方形である場合、制御部１０１は、RDOに基づいて、PU１２１の左上の頂点Ａの動きベクトルｖ_０と右上の頂点Ｂの動きベクトルｖ_１の動きベクトル情報を設定する。即ち、制御部１０１は、RDOに基づいて、サイズＨとサイズＷのうちの大きいサイズＷの方向であるｘ方向に並ぶ２つの頂点Ａと頂点Ｂの動きベクトルｖ_０とｖ_１の動きベクトル情報を設定する。

従って、予測部１１９は、PU１２１とは異なる時刻の参照画像内のブロック１２２を、設定された２つの動きベクトル情報に対応する動きベクトルｖ_０と動きベクトルｖ_１に基づいてアフィン変換することにより、PU１２１の予測画像を生成する。なお、ブロック１２２は、頂点Ａから動きベクトルｖ_０だけ離れた点Ａ´を左上の頂点とし、頂点Ｂから動きベクトルｖ_１だけ離れた点Ｂ´を右上の頂点とするブロックである。

ここで、図１１のＡに示すように、動きベクトルｖ_０に誤差ｅ_０が発生し、動きベクトルｖ_１に誤差ｅ_１が発生すると、予測部１１９は、参照画像内のブロック１２３を、動きベクトルｖ_０＋ｅ_０と動きベクトルｖ_１＋ｅ_１に基づいてアフィン変換することにより、PU１２１の予測画像を生成する。なお、ブロック１２３は、頂点Ａから動きベクトルｖ_０＋ｅ_０だけ離れた点Ａ´´を左上の頂点とし、頂点Ｂから動きベクトルｖ_１＋ｅ_１だけ離れた点Ｂ´´を右上の頂点とするブロックである。

PU１２１の各動き補償ブロックの動きベクトルｖの誤差は、その動きベクトルｖの計算に用いられる動きベクトルｖ_０の誤差ｅ_０と動きベクトルｖ_１の誤差ｅ_１の影響を受ける。また、その影響は、動きベクトルｖ_０に対応する頂点Ａと動きベクトルｖ_１に対応する頂点Ｂから遠いほど大きい。

しかしながら、図１１のＡでは、頂点Ａと頂点Ｂは、PU１２１の長辺方向であるｘ方向に並んでいるため、頂点Ａに対向する頂点Ｃと頂点Ａの距離、および、頂点Ｂに対向する頂点Ｄと頂点Ｂの距離は小さい。従って、ブロック１２２とブロック１２３のズレは、PU１２１の短辺方向に並ぶ頂点Ａと頂点Ｃの動きベクトルに基づいてアフィン変換を行う場合に比べて、小さくなる。

一方、図１１のＢに示すように、予測対象のPU１３１がｘ方向のサイズＷに比べてｙ方向のサイズＨが大きい縦長の長方形である場合、制御部１０１は、RDOに基づいて、PU１３１の左上の頂点Ａの動きベクトルｖ_０と左下の頂点Ｃの動きベクトルｖ_２の動きベクトル情報を設定する。即ち、制御部１０１は、RDOに基づいて、サイズＷとサイズＨのうちの大きいサイズＨの方向であるｙ方向に並ぶ２つの頂点Ａと頂点Ｃの動きベクトルｖ_０とｖ_２の動きベクトル情報を設定する。

従って、予測部１１９は、PU１３１とは異なる時刻の参照画像内のブロック１３２を、設定された２つの動きベクトル情報に対応する動きベクトルｖ_０と動きベクトルｖ_２に基づいてアフィン変換することにより、PU１３１の予測画像を生成する。なお、ブロック１３２は、頂点Ａから動きベクトルｖ_０だけ離れた点Ａ´を左上の頂点とし、頂点Ｃから動きベクトルｖ_２だけ離れた点Ｃ´を左下の頂点とするブロックである。

ここで、図１１のＢに示すように、動きベクトルｖ_０に誤差ｅ_０が発生し、動きベクトルｖ_２に誤差ｅ_２が発生すると、予測部１１９は、参照画像内のブロック１３３を、動きベクトルｖ_０＋ｅ_０と動きベクトルｖ_２＋ｅ_２に基づいてアフィン変換することにより、PU１３１の予測画像を生成する。なお、ブロック１３３は、頂点Ａから動きベクトルｖ_０＋ｅ_０だけ離れた点Ａ´´を左上の頂点とし、頂点Ｃから動きベクトルｖ_２＋ｅ_２だけ離れた点Ｃ´´を左下の頂点とするブロックである。

この場合、PU１３１の各動き補償ブロックの動きベクトルｖ（ｖ_ｘ，ｖ_ｙ）は、以下の式（２）により求められ、動きベクトルｖの誤差は、その動きベクトルｖの計算に用いられる動きベクトルｖ_０の誤差ｅ_０と動きベクトルｖ_２の誤差ｅ_２の影響を受ける。また、その影響は、動きベクトルｖ_０に対応する頂点Ａと動きベクトルｖ_２に対応する頂点Ｃから遠いほど大きい。

しかしながら、図１１のＢでは、頂点Ａと頂点Ｃは、PU１３１の長辺方向であるｙ方向に並んでいるため、頂点Ａに対向する頂点Ｂと頂点Ａの距離、および、頂点Ｃに対向する頂点Ｄと頂点Ｃの距離は小さい。従って、ブロック１３２とブロック１３３のズレは、PU１３１の短辺方向に並ぶ頂点Ａと頂点Ｂの動きベクトルに基づいてアフィン変換を行う場合に比べて、小さくなる。

なお、動きベクトルｖ_０乃至ｖ_２に誤差が発生していない場合、動きベクトルｖ_０と動きベクトルｖ_１に基づくアフィン変換により生成される予測画像と、動きベクトルｖ_０と動きベクトルｖ_２に基づくアフィン変換により生成される予測画像は同一である。

（隣接ベクトルの説明）
図１２は、予測ベクトルの候補となる隣接ベクトルを説明する図である。

予測部１１９は、図１２の予測対象のPU１５１の左上の頂点Ａの動きベクトルｖ_０の予測ベクトルｐｖ_０の候補となる隣接ベクトルを、頂点Ａを頂点とするPU１５１の左上の符号化済みのPUであるブロックａ、上側の符号化済みのPUであるブロックｂ、または左側の符号化済みのPUであるブロックｃの動きベクトルに基づいて生成する。

また、予測部１１９は、PU１５１の右上の頂点Ｂの動きベクトルｖ_１の予測ベクトルｐｖ_１の候補となる隣接ベクトルを、頂点Ｂを頂点とするPU１５１の上側の符号化済みのPUであるブロックｄ、または、右上側の符号化済みのPUであるブロックｅの動きベクトルに基づいて生成する。

予測部１１９は、頂点Ｃの動きベクトルｖ_２の予測ベクトルｐｖ_２の候補となる隣接ベクトルを、頂点Ｃを頂点とするPU１５１の左側の符号化済みのPUであるブロックｆ、または、左下側の符号化済みのPUであるブロックｇの動きベクトルに基づいて生成する。なお、ブロックａ乃至ｇの動きベクトルは、予測部１１９において保持される、ブロックに対して１つの動きベクトルである。

以上により、予測ベクトルｐｖ_０乃至ｐｖ_２の候補となる隣接ベクトルの生成に用いられる動きベクトルの組み合わせの候補は、１２（＝３×２×２）通りある。予測部１１９は、この１２通りの組み合わせの候補のうち、以下の式（３）により求められるDVが最も小さくなる組み合わせを、予測ベクトルｐｖ_０乃至ｐｖ_２の候補となる隣接ベクトルの生成に用いられる動きベクトルの組み合わせとして選択する。

なお、ｖ_０ｘ´，ｖ_０ｙ´は、予測ベクトルｐｖ_０の生成に用いられるブロックａ乃至ｃのいずれかのｘ方向、ｙ方向の動きベクトルである。ｖ_１ｘ´，ｖ_１ｙ´は、予測ベクトルｐｖ_１の生成に用いられるブロックｄおよびｅのいずれかのｘ方向、ｙ方向の動きベクトルである。ｖ_２ｘ´，ｖ_２ｙ´は、予測ベクトルｐｖ_２の生成に用いられるブロックｆおよびｇのいずれかのｘ方向、ｙ方向の動きベクトルである。

式（３）によれば、動きベクトルｖ_０´（ｖ_０ｘ´，ｖ_０ｙ´）乃至ｖ_２´（ｖ_２ｘ´，ｖ_２ｙ´）に基づくアフィン変換により、２つの動きベクトルに基づくアフィン変換では不可能なスキュー以外が行われる場合、DVが小さくなる。

（Affine flagの符号化の説明）
図１３は、Affine flagが１であるCU（PU）の領域を示す例である。

なお、図１３において、画像１７０内の白色の矩形は、Affine flagが０であるCU（PU）を表し、斜線が付された矩形は、Affine flagが１であるCU（PU）を表す。また、図１３では、図面を見やすくするため、画像１７０内の一部のCUのみを図示している。

図１３に示すように、画像１７０内のAffine flagが１であるCU（PU）の領域１７１は、まとまって存在していると推測される。

従って、例えば、図１４のＡに示すように、サイズＷがサイズＨに比べて大きい横長のPU１９１が存在する場合、PU１９１のｘ方向の上辺の頂点Ａおよび頂点Ｂに隣接するブロックａ乃至ｅのAffine flagが１であるとき、PU１９１の下辺が領域１７１の境界１９２である可能性が高い。従って、PU１９１のAffine flagは１である可能性が高い。

また、図１４のＢに示すように、PU１９１のｘ方向の下辺の頂点Ｃに隣接するブロックｆおよびｇのAffine flagが１であるとき、PU１９１の上辺が境界１９２である可能性が高い。従って、PU１９１のAffine flagは１である可能性が高い。

一方、図１５のＡに示すように、サイズＨがサイズＷに比べて大きい縦長のPU１９３が存在する場合、PU１９３のｙ方向の左辺の頂点Ａおよび頂点Ｃに隣接するブロックａ乃至ｃ，ｆ、およびｇのAffine flagが１であるとき、PU１９３の右辺が領域１７１の境界１９４である可能性が高い。従って、PU１９３のAffine flagは１である可能性が高い。

また、図１５のＢに示すように、PU１９３のｙ方向の右辺の頂点Ｂに隣接するブロックｄおよびｅのAffine flagが１であるとき、PU１９３の左辺が境界１９４である可能性が高い。従って、PU１９３のAffine flagは１である可能性が高い。

よって、符号化部１１４は、PU（CU）のｘ方向のサイズＷとy方向のサイズＨのうちの大きいサイズの方向の辺の頂点に隣接する隣接PUのAffine flagが１であるかどうかに基づいて、そのPUのAffine flagのCABACの確率モデルのコンテキストを切り替える。

具体的には、符号化部１１４は、横長のPU１９１のAffine flagをCABACで符号化する場合、ブロックａ乃至ｅ、または、ブロックｆおよびｇのうちの所定数以上のブロックのAffine flagが１であるとき、Affine flagが１である可能性が高いことを確率モデルのコンテキストとして用いる。

一方、ブロックａ乃至ｅ、または、ブロックｆおよびｇのうちの所定数未満のブロックのAffine flagが１であるとき、符号化部１１４は、Affine flagが１である可能性が低いことを確率モデルのコンテキストとして用いる。

また、縦長のPU１９３のAffine flagをCABACで符号化する場合、符号化部１１４は、ブロックａ乃至ｃ，ｆ、およびｇ、または、ブロックｄおよびｅのうちの所定数以上のブロックのAffine flagが１であるとき、Affine flagが１である可能性が高いことを確率モデルのコンテキストとして用いる。

一方、ブロックａ乃至ｃ，ｆ、およびｇ、または、ブロックｄおよびｅのうちの所定数未満のブロックのAffine flagが１であるとき、符号化部１１４は、Affine flagが１である可能性が低いことを確率モデルのコンテキストとして用いる。

さらに、PUが正方形である場合、符号化部１１４は、ブロックａ乃至ｅのうちの所定数以上のブロックのAffine flagが１であるとき、Affine flagが１である可能性が高いことを確率モデルのコンテキストとして用いる。

一方、ブロックａ乃至ｅのうちの所定数未満のブロックのAffine flagが１であるとき、符号化部１１４は、Affine flagが１である可能性が低いことを確率モデルのコンテキストとして用いる。

そして、符号化部１１４は、Affine flagが１である可能性が高いことを確率モデルのコンテキストとして用いてAffine flagをCABACで符号化する場合、CABACの確率モデルを、１である確率が高くなるように設定して符号化を行う。これにより、Affine flagが１である場合の符号量が、Affine flagが０である場合の符号量に比べて小さくなる。

また、符号化部１１４は、Affine flagが１である可能性が低いことをコンテキストとして用いてAffine flagをCABACで符号化する場合、CABACの確率モデルを、０である確率が高くなるように設定して符号化を行う。これにより、Affine flagが０である場合の符号量が、Affine flagが１である場合の符号量に比べて小さくなる。

その結果、符号化部１１４は、オーバーヘッドであるAffine flagの符号量を削減し、符号化効率を向上させることができる。

なお、Affine flagが１であるブロックの数が所定数以上であるかどうかで、コンテキストを切り替えるのではなく、Affine flagが１であるブロックの数で、コンテキストを切り替えるようにしてもよい。この場合、例えば、Affine flagが１であるブロックの数に応じて、CABACの確率モデルの１である確率が変更される。

また、符号化部１１４は、ブロックａ乃至ｇのAffine flagに基づいて、CABACの確率モデルのコンテキストを切り替えるのではなく、Affine flagに割り当てる符号（ビット列）を切り替えるようにしてもよい。

この場合、符号化部１１４は、CABACの確率モデルを、１である確率が高くなるように設定する代わりに、１であるAffine flagに割り当てる符号の符号長（ビット長）を、０であるAffine flagに比べて短くする。また、符号化部１１４は、CABACの確率モデルを、０である確率が高くなるように設定する代わりに、０であるAffine flagに割り当てる符号の符号長を、１であるAffine flagに比べて短くする。

（画像処理装置の処理の説明）
図１６は、図１０の画像符号化装置１００の画像符号化処理を説明するフローチャートである。

図１６のステップＳ１１において、制御部１０１は、外部からの入力およびRDO等に基づいて、符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）を設定する。制御部１０１は、設定された符号化パラメータを各ブロックへ供給する。

ステップＳ１２において、予測部１１９は、予測情報Pinfoのモード情報pred_mode_flagが、インター予測処理を示すかどうかを判定する。ステップＳ１２でインター予測処理を示すと判定された場合、ステップＳ１３において、予測部１１９は、予測情報PinfoのMerge flagが１であるかどうかを判定する。

ステップＳ１３でMerge flagが１であると判定された場合、ステップＳ１４において、予測部１１９は、予測情報PinfoのAffine flagが１であるかどうかを判定する。ステップＳ１４でAffine flagが１であると判定された場合、処理はステップＳ１５に進む。

ステップＳ１５において、予測部１１９は、アフィン変換モードで動き補償を行い、マージモードのインター予測処理を行うことにより生成された予測画像Ｐを用いて符号化対象の画像Ｉを符号化するマージアフィン変換モード符号化処理を行う。このマージアフィン変換モード符号化処理の詳細は、後述する図１９を参照して説明する。マージアフィン変換モード符号化処理の終了後、画像符号化処理は終了する。

一方、ステップＳ１４でAffine flagが１ではないと判定された場合、即ちAffine flagが０である場合、処理はステップＳ１６に進む。

ステップＳ１６において、予測部１１９は、並進移動モードで動き補償を行い、マージモードのインター予測処理を行うことにより生成された予測画像Ｐを用いて符号化対象の画像Ｉを符号化するマージモード符号化処理を行う。マージモード符号化処理の終了後、画像符号化処理は終了する。

また、ステップＳ１３でMerge flagが１ではないと判定された場合、即ちMerge flagが０である場合、ステップＳ１７において、予測部１１９は、予測情報PinfoのAffine flagが１であるかどうかを判定する。ステップＳ１７でAffine flagが１であると判定された場合、処理はステップＳ１８に進む。

ステップＳ１８において、予測部１１９は、アフィン変換モードで動き補償を行い、AMVPモードのインター予測処理を行うことにより生成された予測画像Ｐを用いて符号化対象の画像Ｉを符号化するAMVPアフィン変換モード符号化処理を行う。このAMVPアフィン変換モード符号化処理の詳細は、後述する図２０を参照して説明する。AMVPアフィン変換モード符号化処理の終了後、画像符号化処理は終了する。

一方、ステップＳ１７でAffine flagが１ではないと判定された場合、即ちAffine flagが０である場合、処理はステップＳ１９に進む。

ステップＳ１９において、予測部１１９は、並進移動モードで動き補償を行い、AMVPモードのインター予測処理を行うことにより生成された予測画像Ｐを用いて符号化対象の画像Ｉを符号化するAMVPモード符号化処理を行う。AMVPモード符号化処理の終了後、画像符号化処理は終了する。

また、ステップＳ１２でインター予測処理を示さないと判定された場合、即ちモード情報pred_mode_flagがイントラ予測処理を示す場合、処理はステップＳ２０に進む。

ステップＳ２０において、予測部１１９は、イントラ予測処理により生成された予測画像Ｐを用いて符号化対象の画像Ｉを符号化するイントラ符号化処理を行う。そして、画像符号化処理は終了する。

図１７は、図１６のステップＳ１１の処理のうちの、Merge flag とAffine flagを設定するインター予測処理モード設定処理の第１の例を説明するフローチャートである。このインター予測処理モード設定処理は、例えば、PU（CU）単位で行われる。

図１７のステップＳ４１において、制御部１０１は、各ブロックを制御して、処理対象のPU（CU）に対して、候補となるMerge flag とAffine flag以外の予測情報Pinfoごとにマージモード符号化処理を行い、ＲＤコストＪ_ＭＲＧを計算する。なお、ＲＤコストの計算は、符号化の結果得られる発生ビット量（符号量）、復号画像のSSE（Error Sum of Squares）などに基づいて行われる。

ステップＳ４２において、制御部１０１は、各ブロックを制御して、処理対象のPU（CU）に対して候補となるMerge flag とAffine flag以外の予測情報PinfoごとにAMVPモード符号化処理を行い、ＲＤコストＪ_ＡＭＶＰを計算する。

ステップＳ４３において、制御部１０１は、各ブロックを制御して、処理対象のPU（CU）に対して、候補となるMerge flag とAffine flag以外の予測情報Pinfoごとにマージアフィン変換モード符号化処理を行い、ＲＤコストＪ_{ＭＲＧＡＦＦＩＮＥ}を計算する。

ステップＳ４４において、制御部１０１は、各ブロックを制御して、処理対象のPU（CU）に対して候補となるMerge flag とAffine flag以外の予測情報PinfoごとにAMVPアフィン変換モード符号化処理を行い、ＲＤコストＪ_{ＡＭＶＰＡＦＦＩＮＥ}を計算する。

ステップＳ４５において、制御部１０１は、ＲＤコストＪ_ＭＲＧが、ＲＤコストＪ_ＭＲＧ，Ｊ_ＡＭＶＰ，Ｊ_{ＭＲＧＡＦＦＩＮＥ}、およびＪ_{ＡＭＶＰＡＦＦＩＮＥ}の中で最小であるかどうかを判定する。

ステップＳ４５でＲＤコストＪ_ＭＲＧが最小であると判定された場合、ステップＳ４６において、制御部１０１は、処理対象のPUのMerge flagを１に設定し、Affine flagを０に設定する。そして、インター予測処理モード設定処理は終了する。

ステップＳ４５でＲＤコストＪ_ＭＲＧが最小ではないと判定された場合、処理はステップＳ４７に進む。ステップＳ４７において、制御部１０１は、ＲＤコストＪ_ＡＭＶＰが、ＲＤコストＪ_ＭＲＧ，Ｊ_ＡＭＶＰ，Ｊ_{ＭＲＧＡＦＦＩＮＥ}、およびＪ_{ＡＭＶＰＡＦＦＩＮＥ}の中で最小であるかどうかを判定する。

ステップＳ４７でＲＤコストＪ_ＡＭＶＰが最小であると判定された場合、ステップＳ４８において、制御部１０１は、処理対象のPUのMerge flagとAffine flagを０に設定し、インター予測処理モード設定処理を終了する。

一方、ステップＳ４７でＲＤコストＪ_ＡＭＶＰが最小ではないと判定された場合、処理はステップＳ４９に進む。ステップＳ４９において、制御部１０１は、ＲＤコストＪ_{ＭＲＧＡＦＦＩＮＥ}が、ＲＤコストＪ_ＭＲＧ，Ｊ_ＡＭＶＰ，Ｊ_{ＭＲＧＡＦＦＩＮＥ}、およびＪ_{ＡＭＶＰＡＦＦＩＮＥ}の中で最小であるかどうかを判定する。

ステップＳ４９でＲＤコストＪ_{ＭＲＧＡＦＦＩＮＥ}が最小であると判定された場合、ステップＳ５０において、制御部１０１は、処理対象のPUのMerge flagとAffine flagを１に設定し、インター予測処理モード設定処理を終了する。

一方、ステップＳ４９でＲＤコストＪ_{ＭＲＧＡＦＦＩＮＥ}が最小ではないと判定された場合、即ちＲＤコストＪ_{ＡＭＶＰＡＦＦＩＮＥ}がＲＤコストＪ_ＭＲＧ，Ｊ_ＡＭＶＰ，Ｊ_{ＭＲＧＡＦＦＩＮＥ}、およびＪ_{ＡＭＶＰＡＦＦＩＮＥ}の中で最小である場合、処理はステップＳ５１に進む。ステップＳ５１において、制御部１０１は、処理対象のPUのMerge flagを０に設定し、Affine flagを１に設定する。そして、インター予測処理モード設定処理は終了する。

図１８は、図１６のステップＳ１１の処理のうちの、Merge flag とAffine flagを設定するインター予測処理モード設定処理の第２の例を説明するフローチャートである。このインター予測処理モード設定処理は、例えば、PU（CU）単位で行われる。

図１８のステップＳ７１およびＳ７２の処理は、図１７のステップＳ４１およびＳ４２の処理と同様であるので、説明は省略する。

ステップＳ７３において、制御部１０１は、処理対象のPUのｙ方向のサイズＨがｘ方向のサイズＷに比べて小さいかどうかを判定する。ステップＳ７３でサイズＨがサイズＷに比べて小さいと判定された場合、即ち処理対象のPUの形状が横長の長方形である場合、処理はステップＳ７４に進む。

ステップＳ７４において、制御部１０１は、処理対象のPUに隣接するブロックａ乃至ｅ、または、ブロックｆおよびｇのうちの所定数以上のブロックのAffine flagが１であるかどうかを判定する。

ステップＳ７４でブロックａ乃至ｅ、または、ブロックｆおよびｇのうちの所定数以上のブロックのAffine flagが１であると判定された場合、制御部１０１は、処理対象のPUのAffine flagが１である可能性が高いと判断し、処理をステップＳ７８に進める。

一方、ステップＳ７３でサイズＨがサイズＷに比べて小さくはないと判定された場合、処理はステップＳ７５に進む。ステップＳ７５において、制御部１０１は、処理対象のPUのｙ方向のサイズＨがｘ方向のサイズＷに比べて大きいかどうかを判定する。ステップＳ７５でサイズＨがサイズＷに比べて大きいと判定された場合、即ち処理対象のPUの形状が縦長の長方形である場合、処理はステップＳ７６に進む。

ステップＳ７６において、制御部１０１は、処理対象のPUに隣接するブロックａ乃至ｃ，ｆ、およびｇ、または、ブロックｄおよびｅのうちの所定数以上のブロックのAffine flagが１であるかどうかを判定する。

ステップＳ７６でブロックａ乃至ｃ，ｆ、およびｇ、または、ブロックｄおよびｅのうちの所定数以上のブロックのAffine flagが１であると判定された場合、制御部１０１は、処理対象のPUのAffine flagが１である可能性が高いと判断する。そして、制御部１０１は、処理をステップＳ７８に進める。

一方、ステップＳ７５でサイズＨがサイズＷに比べて大きくはないと判定された場合、即ちサイズＨとサイズＷが同一である場合、処理はステップＳ７７に進む。ステップＳ７７において、制御部１０１は、処理対象のPUに隣接するブロックａ乃至ｇのうちの所定数以上のブロックのAffine flagが１であるかどうかを判定する。

ステップＳ７７でブロックａ乃至ｇのうちの所定数以上のブロックのAffine flagが１であると判定された場合、制御部１０１は、処理対象のPUのAffine flagが１である可能性が高いと判断し、処理をステップＳ７８に進める。

ステップＳ７８およびＳ７９の処理は、図１７のステップＳ４３およびＳ４４の処理と同様であるので、説明は省略する。ステップＳ７９の処理後、処理はステップＳ８０に進む。

ステップＳ７４でブロックａ乃至ｅ、または、ブロックｆおよびｇのうちの所定数未満のブロックのAffine flagが１であると判定された場合、制御部１０１は、処理対象のPUのAffine flagが１である可能性が低いと判断する。そして、制御部１０１は、ステップＳ７８およびＳ７９をスキップし、処理をステップＳ８０に進める。

また、ステップＳ７６でブロックａ乃至ｃ，ｆ、およびｇ、または、ブロックｄおよびｅのうちの所定数未満のブロックのAffine flagが１であると判定された場合、制御部１０１は、処理対象のPUのAffine flagが１である可能性が低いと判断する。そして、制御部１０１は、ステップＳ７８およびＳ７９をスキップし、処理をステップＳ８０に進める。

さらに、ステップＳ７７でブロックａ乃至ｇのうちの所定数未満のブロックのAffine flagが１であると判定された場合、制御部１０１は、処理対象のPUのAffine flagが１である可能性が低いと判断する。そして、制御部１０１は、ステップＳ７８およびＳ７９をスキップし、処理をステップＳ８０に進める。

ステップＳ８０において、制御部１０１は、ＲＤコストＪ_ＭＲＧが、計算されたＲＤコストＪ_ＭＲＧ，Ｊ_ＡＭＶＰ，Ｊ_{ＭＲＧＡＦＦＩＮＥ}、およびＪ_{ＡＭＶＰＡＦＦＩＮＥ}、または、ＲＤコストＪ_ＭＲＧおよびＪ_ＡＭＶＰの中で最小であるかどうかを判定する。

ステップＳ８０でＲＤコストＪ_ＭＲＧが最小であると判定された場合、ステップＳ８１において、制御部１０１は、処理対象のPUのMerge flagを１に設定し、Affine flagを０に設定する。そして、インター予測処理モード設定処理は終了する。

ステップＳ８０でＲＤコストＪ_ＭＲＧが最小ではないと判定された場合、処理はステップＳ８２に進む。ステップＳ８２において、制御部１０１は、計算されたＲＤコストＪ_ＭＲＧ，Ｊ_ＡＭＶＰ，Ｊ_{ＭＲＧＡＦＦＩＮＥ}、およびＪ_{ＡＭＶＰＡＦＦＩＮＥ}、または、ＲＤコストＪ_ＭＲＧおよびＪ_ＡＭＶＰの中で最小であるかどうかを判定する。

ステップＳ８２でＲＤコストＪ_ＡＭＶＰが最小であると判定された場合、ステップＳ８３において、制御部１０１は、処理対象のPUのMerge flagとAffine flagを０に設定し、インター予測処理モード設定処理を終了する。

一方、ステップＳ８２でＲＤコストＪ_ＡＭＶＰが最小ではないと判定された場合、処理はステップＳ８４に進む。ステップＳ８４において、制御部１０１は、ＲＤコストＪ_{ＭＲＧＡＦＦＩＮＥ}が、計算されたＲＤコストＪ_ＭＲＧ，Ｊ_ＡＭＶＰ，Ｊ_{ＭＲＧＡＦＦＩＮＥ}、およびＪ_{ＡＭＶＰＡＦＦＩＮＥ}、または、ＲＤコストＪ_ＭＲＧおよびＪ_ＡＭＶＰの中で最小であるかどうかを判定する。

ステップＳ８４でＲＤコストＪ_{ＭＲＧＡＦＦＩＮＥ}が最小であると判定された場合、ステップＳ８５において、制御部１０１は、処理対象のPUのMerge flagとAffine flagを１に設定し、インター予測処理モード設定処理を終了する。

一方、ステップＳ８４でＲＤコストＪ_{ＭＲＧＡＦＦＩＮＥ}が最小ではないと判定された場合、即ちＲＤコストＪ_{ＡＭＶＰＡＦＦＩＮＥ}が、計算されたＲＤコストＪ_ＭＲＧ，Ｊ_ＡＭＶＰ，Ｊ_{ＭＲＧＡＦＦＩＮＥ}、およびＪ_{ＡＭＶＰＡＦＦＩＮＥ}、または、ＲＤコストＪ_ＭＲＧおよびＪ_ＡＭＶＰの中で最小である場合、処理はステップＳ８６に進む。ステップＳ８６において、制御部１０１は、処理対象のPUのMerge flagを０に設定し、Affine flagを１に設定する。そして、インター予測処理モード設定処理は終了する。

以上のように、図１８のインター予測処理モード設定処理では、図１３で説明したようにAffine flagが１であるPUの領域が画像内にまとまって存在していると推測して、処理対象のPUに隣接する所定数以上のブロックのAffine flagが１である場合にのみ、ステップＳ７８およびＳ７９の処理が行われる。従って、図１７のインター予測処理モード設定処理に比べて、計算量を削減することができる。

図１９は、マージアフィン変換モード符号化処理を説明するフローチャートである。このマージアフィン変換モード符号化処理は、例えば、CU（PU）単位で行われる。

図１９のステップＳ１０１において、予測部１１９は、処理対象のPUのサイズＨがサイズＷに比べて大きいかどうかを判定する。ステップＳ１０１で処理対象のPUのサイズＨがサイズＷに比べて大きいと判定された場合、即ち処理対象のPUの形状が縦長の長方形である場合、処理はステップＳ１０２に進む。

ステップＳ１０２において、予測部１１９は、予測ベクトル情報に基づいて、予測ベクトルｐｖ_０および予測ベクトルｐｖ_２を決定する。具体的には、予測部１１９は、予測ベクトル情報が隣接ベクトルを特定する情報である場合、保持しているブロックａ乃至ｇの動きベクトルに基づいて、予測ベクトルｐｖ_０乃至ｐｖ_２となる隣接ベクトルの生成に用いられる動きベクトルの全ての組み合わせのＤＶを計算する。そして、予測部１１９は、ＤＶが最も小さくなる動きベクトルの組み合わせを用いて、予測ベクトルｐｖ_０および予測ベクトルｐｖ_２を決定する。そして、処理はステップＳ１０４に進む。

一方、ステップＳ１０１で処理対象のPUのサイズＨがサイズＷに比べて大きくはないと判定された場合、即ち、処理対象のPUの形状が正方形または横長の長方形である場合、処理はステップＳ１０３に進む。

ステップＳ１０３において、予測部１１９は、予測ベクトル情報に基づいて、予測ベクトルｐｖ_０および予測ベクトルｐｖ_１を決定する。具体的には、予測部１１９は、予測ベクトル情報が隣接ベクトルを特定する情報である場合、保持しているブロックａ乃至ｇの動きベクトルに基づいて、予測ベクトルｐｖ_０乃至ｐｖ_２となる隣接ベクトルの生成に用いられる動きベクトルの全ての組み合わせのＤＶを計算する。そして、予測部１１９は、ＤＶが最も小さくなる動きベクトルの組み合わせを用いて、予測ベクトルｐｖ_０および予測ベクトルｐｖ_１を決定する。そして、処理はステップＳ１０４に進む。

なお、サイズＨがサイズＷと同一である場合、即ち、処理対象のPUの形状が正方形である場合、予測部１１９は、ステップＳ１０３の処理ではなく、ステップＳ１０２の処理を行うようにしてもよい。

ステップＳ１０４において、予測部１１９は、ステップＳ１０２またはＳ１０３で決定された各予測ベクトルを、処理対象のPUの動きベクトルとして用いて、上述した式（１）または（２）により、各動き補償ブロックの動きベクトルｖを計算する。

具体的には、ステップＳ１０２で予測ベクトルｐｖ_０と予測ベクトルｐｖ_２が決定される場合、予測部１１９は、予測ベクトルｐｖ_０を動きベクトルｖ_０とし、予測ベクトルｐｖ_２を動きベクトルｖ_２として、式（２）により動きベクトルｖを計算する。

一方、ステップＳ１０３で予測ベクトルｐｖ_０と予測ベクトルｐｖ_１が決定される場合、予測部１１９は、予測ベクトルｐｖ_０を動きベクトルｖ_０とし、予測ベクトルｐｖ_１を動きベクトルｖ_１として、式（１）により動きベクトルｖを計算する。

ステップＳ１０５において、予測部１１９は、動き補償ブロックごとに、動きベクトルｖに基づいて、フレームメモリ１１８に格納された参照画像特定情報により特定される参照画像のブロックを並進移動させることにより、参照画像に対してアフィン変換を行う。予測部１１９は、アフィン変換により動き補償が行われた参照画像を予測画像Ｐとして、演算部１１１や演算部１１７に供給する。

ステップＳ１０６において、演算部１１１は、画像Iと予測画像Ｐとの差分を予測残差Ｄとして演算し、それを変換部１１２に供給する。このようにして求められた予測残差Ｄは、元の画像Ｉに比べてデータ量が低減される。したがって、画像Ｉをそのまま符号化する場合に比べて、データ量を圧縮することができる。

ステップＳ１０７において、変換部１１２は、制御部１０１から供給される変換情報Tinfoに基づいて、演算部１１１から供給される予測残差Ｄに対して直交変換等を行い、変換係数Coeffを導出する。変換部１１２は、変換係数Coeffを量子化部１１３に供給する。

ステップＳ１０８において、量子化部１１３は、制御部１０１から供給される変換情報Tinfoに基づいて、変換部１１２から供給される変換係数Coeffをスケーリング（量子化）し、量子化変換係数レベルlevelを導出する。量子化部１１３は、量子化変換係数レベルlevelを符号化部１１４および逆量子化部１１５に供給する。

ステップＳ１０９において、逆量子化部１１５は、制御部１０１から供給される変換情報Tinfoに基づいて、量子化部１１３から供給される量子化変換係数レベルlevelを、ステップＳ１０８の量子化の特性に対応する特性で逆量子化する。逆量子化部１１５は、その結果得られる変換係数Coeff_IQを逆変換部１１６に供給する。

ステップＳ１１０において、逆変換部１１６は、制御部１０１から供給される変換情報Tinfoに基づいて、逆量子化部１１５から供給される変換係数Coeff_IQに対して、ステップＳ１０７の直交変換等に対応する方法で逆直交変換等を行い、予測残差Ｄ’を導出する。

ステップＳ１１１において、演算部１１７は、ステップＳ１１０の処理により導出された予測残差Ｄ’を、予測部１１９から供給される予測画像Ｐと加算することにより、局所的な復号画像Recを生成する。

ステップＳ１１２において、フレームメモリ１１８は、ステップＳ１１１の処理により得られた、局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ１１８内のバッファへ記憶する。

ステップＳ１１３において、符号化部１１４は、図１６のステップＳ１１の処理により設定された符号化パラメータとステップＳ１０８の処理により得られた量子化変換係数レベルlevelを所定の方法で符号化する。符号化部１１４は、その結果得られる符号化データを多重化し、符号化ストリームとして画像符号化装置１００の外部に出力する。この符号化ストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。

ステップＳ１１３の処理が終了すると、マージアフィン変換モード符号化処理が終了する。

図２０は、AMVPアフィン変換モード符号化処理を説明するフローチャートである。このAMVPアフィン変換モード符号化処理は、例えば、CU（PU）単位で行われる。

図２０のステップＳ１３１乃至Ｓ１３３は、図１９のステップＳ１０１乃至Ｓ１０３の処理と同様であるので、説明は省略する。

ステップＳ１３４において、予測部１１９は、ステップＳ１３２またはＳ１３３で決定された各予測ベクトルと、その予測ベクトルに対応する動きベクトル情報のうちの差分とをそれぞれ加算し、処理対象のPUの動きベクトルを計算する。

具体的には、ステップＳ１３２で予測ベクトルｐｖ_０と予測ベクトルｐｖ_２が決定される場合、予測部１１９は、予測ベクトルｐｖ_０と、動きベクトル情報のうちの予測ベクトルｐｖ_０と処理対象のPUの動きベクトルとの差分ｄｖ_０とを加算する。そして、予測部１１９は、加算の結果得られる動きベクトルを、処理対象のPUの動きベクトルｖ_０とする。また、予測部１１９は、予測ベクトルｐｖ_２と、動きベクトル情報のうちの予測ベクトルｐｖ_２と処理対象のPUの動きベクトルとの差分ｄｖ_２とを加算し、その結果得られる動きベクトルを、処理対象のPUの動きベクトルｖ_２とする。

一方、ステップＳ１３３で予測ベクトルｐｖ_０と予測ベクトルｐｖ_１が決定される場合、予測部１１９は、予測ベクトルｐｖ_０と差分ｄｖ_０とを加算し、その結果得られる動きベクトルを、処理対象のPUの動きベクトルｖ_０とする。また、予測部１１９は、予測ベクトルｐｖ_１と、動きベクトル情報のうちの予測ベクトルｐｖ_１と処理対象のPUの動きベクトルとの差分ｄｖ_１とを加算し、その結果得られる動きベクトルを、処理対象のPUの動きベクトルｖ_１とする。

ステップＳ１３５において、予測部１１９は、ステップＳ１３４で計算された処理対象のPUの動きベクトルを用いて、上述した式（１）または（２）により、各動き補償ブロックの動きベクトルｖを計算する。

具体的には、ステップＳ１３４で動きベクトルｖ_０と動きベクトルｖ_２が決定される場合、予測部１１９は、動きベクトルｖ_０と動きベクトルｖ_２を用いて、式（２）により動きベクトルｖを計算する。

一方、ステップＳ１３４で動きベクトルｖ_０と動きベクトルｖ_１が決定される場合、予測部１１９は、動きベクトルｖ_０と動きベクトルｖ_１を用いて、式（１）により動きベクトルｖを計算する。

ステップＳ１３６乃至Ｓ１４４の処理は、図１９のステップＳ１０５乃至Ｓ１１３の処理と同様であるので、説明は省略する。

図２１は、図１９のステップＳ１１３および図２０のステップＳ１４４の処理のうちの、Affine flagを符号化するAffine flag符号化処理を説明するフローチャートである。

図２１のステップＳ１６１およびステップＳ１６２の処理は、予測部１１９ではなく符号化部１１４が行う点を除いて、図１８のステップＳ７３およびＳ７４の処理と同様であるので、説明は省略する。

ステップＳ１６２でブロックａ乃至ｅ、または、ブロックｆおよびｇのうちの所定数以上のブロックのAffine flagが１であると判定された場合、符号化部１１４は、処理対象のPUのAffine flagが１である可能性が高いと判断する。そして、符号化部１１４は、処理をステップＳ１６３に進める。

ステップＳ１６３において、符号化部１１４は、Affine flagが１である可能性が高いことを確率モデルのコンテキストとして用いて、Affine flagをCABACで符号化し、Affine flag符号化処理を終了する。

一方、ステップＳ１６１でサイズＨがサイズＷより小さくはないと判定された場合、処理はステップＳ１６４に進む。ステップＳ１６４乃至Ｓ１６６の処理は、制御部１０１ではなく符号化部１１４により行われる点を除いて、図１８のステップＳ７５乃至Ｓ７７と同様でるので、説明は省略する。

ステップＳ１６５でブロックａ乃至ｃ，ｆ、およびｇ、または、ブロックｄおよびｅのうちの所定数以上のブロックのAffine flagが１であると判定された場合、符号化部１１４は、処理対象のPUのAffine flagが１である可能性が高いと判断する。そして、符号化部１１４は、処理をステップＳ１６３に進める。

また、ステップＳ１６６でブロックａ乃至ｇのうちの所定数以上のブロックのAffine flagが１であると判定された場合、符号化部１１４は、処理対象のPUのAffine flagが１である可能性が高いと判断する。そして、符号化部１１４は、処理をステップＳ１６３に進める。

一方、ステップＳ１６２でブロックａ乃至ｅ、または、ブロックｆおよびｇのうちの所定数未満のブロックのAffine flagが１であると判定された場合、符号化部１１４は、処理対象のPUのAffine flagが１である可能性が低いと判断する。そして、符号化部１１４は、処理をステップＳ１６７に進める。

また、ステップＳ１６５でブロックａ乃至ｃ，ｆ、およびｇ、または、ブロックｄおよびｅのうちの所定数未満のブロックのAffine flagが１であると判定された場合、符号化部１１４は、処理対象のPUのAffine flagが１である可能性が低いと判断する。そして、符号化部１１４は、処理をステップＳ１６７に進める。

さらに、ステップＳ１６６でブロックａ乃至ｇのうちの所定数未満のブロックのAffine flagが１であると判定された場合、符号化部１１４は、処理対象のPUのAffine flagが１である可能性が低いと判断する。そして、符号化部１１４は、処理をステップＳ１６７に進める。

ステップＳ１６７において、符号化部１１４は、Affine flagが１である可能性が低いことをコンテキストとして用いて、Affine flagをCABACで符号化し、Affine flag符号化処理を終了する。

以上のように、画像符号化装置１００は、アフィン変換によるインター予測処理を行う場合に、PUのｘ方向のサイズＷとy方向のサイズＨのうちの大きいサイズの方向に並ぶ頂点の２つの動きベクトルに基づいて、PUの予測画像Ｐを生成する。従って、長方形のPUの頂点の動きベクトルに発生した誤差の予測画像Ｐの精度への影響を抑制することができる。

その結果、長方形のPUの予測画像Ｐを高精度で生成することができる。これにより、量子化変換係数レベルlevelがゼロではない場合、量子化変換係数レベルlevelの情報量を削減し、符号化効率を向上することができる。また、量子化変換係数レベルlevelがゼロである場合、復号画像の画質を向上させることができる。

また、画像符号化装置１００は、２つの動きベクトルに基づいてアフィン変換を行うので、３つの動きベクトルに基づいてアフィン変換を行う場合に比べて、オーバーヘッドを削減し、符号化効率を向上させることができる。

（画像復号装置の構成例）
図２２は、図１０の画像符号化装置１００により生成された符号化ストリームを復号する、本技術を適用した画像処理装置としての画像復号装置の一実施の形態の構成例を示すブロック図である。図２２の画像復号装置２００は、画像符号化装置１００により生成された符号化ストリームを、画像符号化装置１００における符号化方法に対応する復号方法で復号する。例えば、画像復号装置２００は、HEVCに提案された技術や、JVETにて提案された技術を実装している。

なお、図２２においては、処理部やデータの流れ等の主なものを示しており、図２２に示されるものが全てとは限らない。つまり、画像復号装置２００において、図２２においてブロックとして示されていない処理部が存在したり、図２２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図２２の画像復号装置２００は、復号部２１１、逆量子化部２１２、逆変換部２１３、演算部２１４、フレームメモリ２１５、および予測部２１６を有する。画像符号化装置１００は、画像符号化装置１００により生成された符号化ストリームに対してCUごとに復号を行う。

具体的には、画像復号装置２００の復号部２１１は、画像符号化装置１００により生成された符号化ストリームを、符号化部１１４における符号化方法に対応する所定の復号方法で復号する。例えば、復号部２１１は、シンタックステーブルの定義に沿って、符号化ストリームのビット列から、符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）と量子化変換係数レベルlevelを復号する。復号部２１１は、符号化パラメータに含まれるsplit flagに基づいてLCUを分割し、各量子化変換係数レベルlevelに対応するCUを順に復号対象のCU（PU,TU）に設定する。

復号部２１１は、符号化パラメータを各ブロックへ供給する。例えば、復号部２１１は、予測情報Pinfoを予測部２１６に供給し、変換情報Tinfoを逆量子化部２１２と逆変換部２１３に供給し、ヘッダ情報Hinfoを各ブロックに供給する。また、復号部２１１は、量子化変換係数レベルlevelを逆量子化部２１２に供給する。

逆量子化部２１２は、復号部２１１から供給される変換情報Tinfoに基づいて、復号部２１１から供給される量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、変換係数Coeff_IQを導出する。この逆量子化は、画像符号化装置１００の量子化部１１３（図１０）により行われる量子化の逆処理である。なお、逆量子化部１１５（図１０）は、この逆量子化部２１２と同様の逆量子化を行う。逆量子化部２１２は、得られた変換係数Coeff_IQを逆変換部２１３に供給する。

逆変換部２１３は、復号部２１１から供給される変換情報Tinfo等に基づいて、逆量子化部２１２より供給される変換係数Coeff_IQに対して逆直交変換等を行い、予測残差Ｄ’を導出する。この逆直交変換は、画像符号化装置１００の変換部１１２（図１０）により行われる直交変換の逆処理である。なお、逆変換部１１６は、この逆変換部２１３と同様の逆直交変換を行う。逆変換部２１３は、得られた予測残差Ｄ’を演算部２１４に供給する。

演算部２１４は、逆変換部２１３から供給される予測残差Ｄ’とその予測残差Ｄ’に対応する予測画像Ｐとを加算し、局所的な復号画像Recを導出する。演算部２１４は、得られた局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、得られた復号画像を画像復号装置２００の外部に出力する。また、演算部２１４は、その局所的な復号画像Recをフレームメモリ２１５にも供給する。

フレームメモリ２１５は、演算部２１４より供給される局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、フレームメモリ２１５内のバッファに格納する。フレームメモリ２１５は、予測部２１６により指定される復号画像を参照画像としてバッファより読み出し、予測部２１６に供給する。また、フレームメモリ２１５は、その復号画像の生成に係るヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfoなどをフレームメモリ２１５内のバッファに格納するようにしても良い。

予測部２１６は、予測情報Pinfoのモード情報pred_mode_flagに基づいて、フレームメモリ２１５に格納された符号化対象のCUと同一時刻の復号画像を参照画像として取得する。そして、予測部２１６は、参照画像を用いて、符号化対象のPUに対して、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。

また、予測部２１６は、予測情報Pinfoのモード情報pred_mode_flagと参照画像特定情報に基づいて、フレームメモリ２１５に格納された符号化対象のCUとは異なる時刻の復号画像を参照画像として取得する。予測部２１６は、図１０の予測部１１９と同様に、Merge flag、Affine flag、および動きベクトル情報に基づいて、参照画像に対して、並進移動モードまたはアフィン変換モードで動き補償を行い、マージモードまたはAMVPモードのインター予測処理を行う。予測部２１６は、イントラ予測処理またはインター予測処理の結果生成される予測画像Ｐを演算部２１４に供給する。

（画像復号装置の処理）
図２３は、図２２の画像復号装置２００の画像復号処理を説明するフローチャートである。

ステップＳ２０１において、復号部２１１は、画像復号装置２００に供給される符号化ストリームを復号し、符号化パラメータと量子化変換係数レベルlevelを得る。復号部２１１は、符号化パラメータを各ブロックへ供給する。また、復号部２１１は、量子化変換係数レベルlevelを逆量子化部２１２に供給する。

ステップＳ２０２において、復号部２１１は、符号化パラメータに含まれるsplit flagに基づいてLCUを分割し、各量子化変換係数レベルlevelに対応するCUを復号対象のCU（PU,TU）に設定する。後述するステップＳ２０３乃至Ｓ２１１の処理は、復号対象のCU（PU,TU）ごとに行われる。

ステップＳ２０３乃至Ｓ２０５の処理は、予測部１１９ではなく予測部２１６により行われる点を除いて、図１６のステップＳ１２乃至Ｓ１４の処理と同様であるので、説明は省略する。

ステップＳ２０５でAffine flagが１であると判定された場合、処理はステップＳ２０６に進む。ステップＳ２０６において、予測部２１６は、アフィン変換モードで動き補償を行い、マージモードのインター予測処理を行うことにより生成された予測画像Ｐを用いて復号対象の画像を復号するマージアフィン変換モード復号処理を行う。このマージアフィン変換モード復号処理の詳細は、後述する図２４を参照して説明する。マージアフィン変換モード復号処理の終了後、画像復号処理は終了する。

一方、ステップＳ２０５でAffine flagが１ではないと判定された場合、即ちAffine flagが０である場合、処理はステップＳ２０７に進む。ステップＳ２０７において、予測部２１６は、並進移動モードで動き補償を行い、マージモードのインター予測処理を行うことにより生成された予測画像Ｐを用いて復号対象の画像を復号するマージモード復号処理を行う。マージモード復号処理の終了後、画像復号処理は終了する。

また、ステップＳ２０４でMerge flagが１ではないと判定された場合、即ちMerge flagが０である場合、ステップＳ２０８において、予測部２１６は、予測情報PinfoのAffine flagが１であるかどうかを判定する。ステップＳ２０８でAffine flagが１であると判定された場合、処理はステップＳ２０９に進む。

ステップＳ２０９において、予測部２１６は、アフィン変換モードで動き補償を行い、AMVPモードのインター予測処理を行うことにより生成された予測画像Ｐを用いて復号対象の画像を復号するAMVPアフィン変換モード復号処理を行う。このAMVPアフィン変換モード復号処理の詳細は、後述する図２５を参照して説明する。AMVPアフィン変換モード復号処理の終了後、画像復号処理は終了する。

一方、ステップＳ２０８でAffine flagが１ではないと判定された場合、即ちAffine flagが０である場合、処理はステップＳ２１０に進む。

ステップＳ２１０において、予測部２１６は、並進移動モードで動き補償を行い、AMVPモードのインター予測処理を行うことにより生成された予測画像Ｐを用いて復号対象の画像を復号するAMVPモード復号処理を行う。AMVPモード復号処理の終了後、画像復号処理は終了する。

また、ステップＳ２０３でインター予測処理を示さないと判定された場合、即ちモード情報pred_mode_flagがイントラ予測処理を示す場合、処理はステップＳ２１１に進む。

ステップＳ２１１において、予測部２１６は、イントラ予測処理により生成された予測画像Ｐを用いて復号対象の画像を復号するイントラ復号処理を行う。そして、画像復号処理は終了する。

図２４は、図２３のステップＳ２０６のマージアフィン変換モード復号処理を説明するフローチャートである。

ステップＳ２３１において、逆量子化部２１２は、図２３のステップＳ２０１の処理により得られた量子化変換係数レベルlevelを逆量子化して変換係数Coeff_IQを導出する。この逆量子化は、画像符号化処理のステップＳ１０８（図１９）において行われる量子化の逆処理であり、画像符号化処理のステップＳ１０９（図１９）において行われる逆量子化と同様の処理である。

ステップＳ２３２において、逆変換部２１３は、ステップＳ２３１の処理により得られた変換係数Coeff_IQに対して逆直交変換等を行い、予測残差Ｄ'を導出する。この逆直交変換は、画像符号化処理のステップＳ１０７（図１９）において行われる直交変換の逆処理であり、画像符号化処理のステップＳ１１０（図１９）において行われる逆直交変換と同様の処理である。

ステップＳ２３３乃至Ｓ２３７の処理は、予測部１１９ではなく予測部２１６により行われる点を除いて、図１９のステップＳ１０１乃至Ｓ１０５の処理と同様であるので、説明は省略する。

ステップＳ２３８において、演算部２１４は、逆変換部２１３から供給される予測残差Ｄ’を、予測部２１６から供給される予測画像Ｐと加算し、局所的な復号画像Recを導出する。演算部２１４は、得られた局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、得られた復号画像を画像復号装置２００の外部に出力する。また、演算部２１４は、その局所的な復号画像Recをフレームメモリ２１５に供給する。

ステップＳ２３９において、フレームメモリ２１５は、演算部２１４より供給される局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、フレームメモリ２１５内のバッファに記憶する。そして、処理は、図２３のステップＳ２０６に戻り、画像復号処理を終了する。

図２５は、図２３のステップＳ２０９のAMVPアフィン変換モード復号処理を説明するフローチャートである。

図２５のステップＳ２５１およびＳ２５２の処理は、図２４のステップＳ２３１およびＳ２３２の処理と同様であるので、説明は省略する。

ステップＳ２５３乃至Ｓ２５８の処理は、予測部１１９ではなく予測部２１６により行われる点を除いて、図２０のステップＳ１３１乃至Ｓ１３６の処理と同様であるので、説明は省略する。

ステップＳ２５９およびＳ２６０の処理は、図２４のステップＳ２３８およびＳ２３９の処理と同様であるので、説明は省略する。

以上のように、画像復号装置２００は、アフィン変換によるインター予測処理を行う場合に、PUのｘ方向のサイズＷとy方向のサイズＨのうちの大きいサイズの方向に並ぶ頂点の２つの動きベクトルに基づいて、PUの予測画像Ｐを生成する。従って、長方形のPUの頂点の動きベクトルに発生した誤差の予測画像Ｐの精度への影響を抑制することができる。その結果、長方形のPUの予測画像Ｐを高精度で生成することができる。

なお、画像符号化装置１００と画像復号装置２００が、イントラ予測処理やインター予測処理の代わりに、イントラＢＣ予測処理を行う場合、イントラＢＣ予測処理における動き補償をインター予測処理における動き補償と同様に行うようにしてもよい。

＜第２実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ８００において、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。

バス８０４には、さらに、入出力インタフェース８１０が接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、及びドライブ８１５が接続されている。

入力部８１１は、キーボード、マウス、マイクロホンなどよりなる。出力部８１２は、ディスプレイ、スピーカなどよりなる。記憶部８１３は、ハードディスクや不揮発性のメモリなどよりなる。通信部８１４は、ネットワークインタフェースなどよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８２１を駆動する。

以上のように構成されるコンピュータ８００では、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ８００では、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくことができる。

なお、コンピュータ８００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜第３実施の形態＞
図２７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（I/F）部９０９、制御部９１０、ユーザインタフェース（I/F）部９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース部９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４が、上述した画像復号装置２００の機能を有するようにしてもよい。つまり、デコーダ９０４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置９００は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

また、このように構成されたテレビジョン装置９００において、映像信号処理部９０５が、例えば、デコーダ９０４から供給される画像データを符号化し、得られた符号化データを、外部インタフェース部９０９を介してテレビジョン装置９００の外部に出力させることができるようにしてもよい。そして、その映像信号処理部９０５が、上述した画像符号化装置１００の機能を有するようにしてもよい。つまり、映像信号処理部９０５が、デコーダ９０４から供給される画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置９００は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

＜第４実施の形態＞
図２８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。

さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像符号化装置１００の機能を有するようにしてもよい。つまり、画像処理部９２７が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機９２０は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

また、このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像復号装置２００の機能を有するようにしてもよい。つまり、画像処理部９２７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機９２０は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

＜第５実施の形態＞
図２９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データおよび映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース（I/F）部９４２、エンコーダ９４３、HDD（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）部９４８、制御部９４９、およびユーザインタフェース（I/F）部９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。

外部インタフェース部９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、IEEE（Institute of Electrical and Electronic Engineers）1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データおよび音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース部９４２は、記録再生装置９４０における伝送部としての役割を有する。

エンコーダ９４３は、外部インタフェース部９４２から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

HDD部９４４は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD部９４４は、映像および音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVD（Digital Versatile Disc）ディスク（DVD-Video、DVD-RAM（DVD - Random Access Memory）、DVD-R（DVD - Recordable）、DVD-RW（DVD - Rewritable）、DVD+R（DVD + Recordable）、DVD+RW（DVD + Rewritable）等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像および音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD部９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD部９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD部９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。

OSD部９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD部９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、例えばエンコーダ９４３が、上述した画像符号化装置１００の機能を有するようにしてもよい。つまり、エンコーダ９４３が、画像データを、以上の各実施の形態において説明方法で符号化するようにしてもよい。このようにすることにより、記録再生装置９４０は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

また、このように構成された記録再生装置９４０において、例えばデコーダ９４７が、上述した画像復号装置２００の機能を有するようにしてもよい。つまり、デコーダ９４７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、記録再生装置９４０は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

＜第６実施の形態＞
図３０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（I/F）部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、制御部９７０、ユーザインタフェース（I/F）部９７１、およびバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、および制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD部９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD部９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース部９６６は、例えばUSB入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した画像符号化装置１００の機能を有するようにしてもよい。つまり、画像処理部９６４が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、撮像装置９６０は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

また、このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した画像復号装置２００の機能を有するようにしてもよい。つまり、画像処理部９６４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、撮像装置９６０は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

＜第７実施の形態＞
また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。図３１は、本技術を適用したビデオセットの概略的な構成の一例を示している。

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。

図３１に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。

図３１に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。

図３１の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。

プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。

図３１のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。

ビデオプロセッサ１３３２は、画像の符号化・復号（その一方または両方）に関する機能を有するプロセッサである。

ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。

RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。

なお、図３１において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。

外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。

パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。

フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図３１に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。

アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。

コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。

例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。

なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。

カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。

センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。

以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。

（ビデオプロセッサの構成例）
図３２は、本技術を適用したビデオプロセッサ１３３２（図３１）の概略的な構成の一例を示している。

図３２の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。

図３２に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。

ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図３１）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１等に出力する。

フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。

メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。

エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。

ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。

オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。

オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１等に供給する。

多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。

逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。

ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。

また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１等に供給し、各種記録媒体に記録させる。

さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。

また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。

ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリームまたはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。

また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。

オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、上述した画像符号化装置１００の機能若しくは画像復号装置２００の機能またはその両方を有するようにしてもよい。このようにすることにより、ビデオプロセッサ１３３２は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、画像符号化装置１００の機能若しくは画像復号装置２００の機能またはその両方）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

（ビデオプロセッサの他の構成例）
図３３は、本技術を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示している。図３３の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。

より具体的には、図３３に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。

制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。

図３３に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。

ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。

ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。

画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。

内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。

コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化または符号化データの復号を行うようにしてもよい。

図３３に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。

MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。

MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。

メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４またはコーデックエンジン１５１６）に供給される。

多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。

ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２等向けのインタフェースである。

次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。

さらに、例えば、コネクティビティ１３２１等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給され図示せぬ他の装置に伝送される。

なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、上述した画像符号化装置１００の機能若しくは画像復号装置２００の機能またはその両方を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、コーデックエンジン１５１６において、本技術（すなわち、画像符号化装置１００の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。

（装置への適用例）
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図２７）、携帯電話機９２０（図２８）、記録再生装置９４０（図２９）、撮像装置９６０（図３０）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図２７）、携帯電話機９２０（図２８）、記録再生装置９４０（図２９）、撮像装置９６０（図３０）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

＜第８実施の形態＞
また、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。図３４は、本技術を適用したネットワークシステムの概略的な構成の一例を示している。

図３４に示されるネットワークシステム１６００は、機器同士が、ネットワークを介して画像（動画像）に関する情報を授受するシステムである。このネットワークシステム１６００のクラウドサービス１６０１は、自身に通信可能に接続されるコンピュータ１６１１、AV（Audio Visual）機器１６１２、携帯型情報処理端末１６１３、IoT（Internet of Things）デバイス１６１４等の端末に対して、画像（動画像）に関するサービスを提供するシステムである。例えば、クラウドサービス１６０１は、所謂動画配信（オンデマンドやライブ配信）のような、画像（動画像）のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス１６０１は、端末から画像（動画像）のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス１６０１は、端末同士の画像（動画像）のコンテンツの授受を仲介するサービスを提供する。

クラウドサービス１６０１の物理構成は任意である。例えば、クラウドサービス１６０１は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ（端末）や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。

コンピュータ１６１１は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。AV機器１６１２は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末１６１３は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。IoTデバイス１６１４は、例えば、機械、家電、家具、その他の物、ICタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス１６０１に接続し（セッションを確立し）、クラウドサービス１６０１と情報の授受を行う（すなわち通信を行う）ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス１６０１を介して行うようにしてもよいし、クラウドサービス１６０１を介さずに行うようにしてもよい。

以上のようなネットワークシステム１６００に本技術を適用し、端末間や、端末とクラウドサービス１６０１との間で画像（動画像）のデータが授受される際に、その画像データを各実施の形態において上述したように符号化・復号するようにしてもよい。つまり、端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１が、それぞれ、上述した画像符号化装置１００や画像復号装置２００の機能を有するようにしてもよい。このようにすることにより、画像データを授受する端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１は、図１０乃至図２５を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、符号化データ（ビットストリーム）に関する各種情報は、符号化データに多重化されて伝送され又は記録されるようにしてもよいし、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

また、上述したように、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本開示は、以下のような構成もとることができる。

（１）
ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、前記ブロックの予測画像を生成する予測部
を備える画像処理装置。
（２）
前記予測部は、前記ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向の辺の頂点に隣接する隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成される場合、前記ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、前記ブロックの予測画像を生成する
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて前記ブロックの予測画像を生成することを示す複数ベクトル予測情報を符号化する符号化部
をさらに備える
前記（１）または（２）に記載の画像処理装置。
（４）
前記符号化部は、前記ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向の辺の頂点に隣接する隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成されるかどうかに基づいて、前記複数ベクトル予測情報を符号化する
ように構成された
前記（３）に記載の画像処理装置。
（５）
前記符号化部は、前記隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成されるかどうかに基づいて、前記複数ベクトル予測情報の符号化における確率モデルのコンテキストを切り替える
ように構成された
前記（４）に記載の画像処理装置。
（６）
前記符号化部は、前記隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成されるかどうかに基づいて、前記複数ベクトル予測情報の符号を切り替える
ように構成された
前記（４）に記載の画像処理装置。
（７）
前記符号化部は、前記隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成される場合、前記隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成されない場合に比べて符号量が小さくなるように、前記複数ベクトル予測情報を符号化する
ように構成された
前記（４）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記予測部は、前記ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、前記ブロックの参照画像をアフィン変換することにより、前記ブロックの予測画像を生成する
ように構成された
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記ブロックは、１つのブロックの水平方向および垂直方向の少なくとも一方への分割を再帰的に繰り返すことにより生成される
ように構成された
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
画像処理装置が、
ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、前記ブロックの予測画像を生成するステップ
を含む画像処理方法。

１００ 画像符号化装置, １１４ 符号化部， １１９ 予測部， １２１，１３１，１９１，１９３ PU， ２００ 画像復号装置, ２１６ 予測部

Claims (10)

1. ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、前記ブロックの予測画像を生成する予測部
   を備える画像処理装置。
2. 前記予測部は、前記ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向の辺の頂点に隣接する隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成される場合、前記ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、前記ブロックの予測画像を生成する
   ように構成された
   請求項１に記載の画像処理装置。
3. 前記ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて前記ブロックの予測画像を生成することを示す複数ベクトル予測情報を符号化する符号化部
   をさらに備える
   請求項１に記載の画像処理装置。
4. 前記符号化部は、前記ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向の辺の頂点に隣接する隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成されるかどうかに基づいて、前記複数ベクトル予測情報を符号化する
   ように構成された
   請求項３に記載の画像処理装置。
5. 前記符号化部は、前記隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成されるかどうかに基づいて、前記複数ベクトル予測情報の符号化における確率モデルのコンテキストを切り替える
   ように構成された
   請求項４に記載の画像処理装置。
6. 前記符号化部は、前記隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成されるかどうかに基づいて、前記複数ベクトル予測情報の符号を切り替える
   ように構成された
   請求項４に記載の画像処理装置。
7. 前記符号化部は、前記隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成される場合、前記隣接ブロックの予測画像が、前記隣接ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて生成されない場合に比べて符号量が小さくなるように、前記複数ベクトル予測情報を符号化する
   ように構成された
   請求項４に記載の画像処理装置。
8. 前記予測部は、前記ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、前記ブロックの参照画像をアフィン変換することにより、前記ブロックの予測画像を生成する
   ように構成された
   請求項１に記載の画像処理装置。
9. 前記ブロックは、１つのブロックの水平方向および垂直方向の少なくとも一方への分割を再帰的に繰り返すことにより生成される
   ように構成された
   請求項１に記載の画像処理装置。
10. 画像処理装置が、
    ブロックの縦方向と横方向のサイズのうちの大きいサイズの方向に並ぶ２つの頂点の動きベクトルに基づいて、前記ブロックの予測画像を生成するステップ
    を含む画像処理方法。

Images