JPWO2012128241A1 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

本技術は、デコード画像の画質を向上させることができる画像処理装置、画像処理方法、及び、プログラムに関する。補正部は、例えば、視差等の所定のデータに対応する値を画素値とするデプス画像であり、画素値として取り得る値が、所定のデータの最大値と最小値とに応じて、所定の規定値に規定されるデプス画像を、少なくとも量子化して逆量子化することにより得られるデコード画像の画素値を、規定値に補正する。本技術は、例えば、色画像の画素ごとの視差に関するデプス情報を、画素値として有するデプス画像等の符号化、及び、復号に適用できる。

Description

本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、例えば、画像を、少なくとも量子化して逆量子化することにより得られるデコード画像の画質を向上させることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。

3D(Dimension)画像等の複数の視点の画像を符号化する符号化方式としては、例えば、AVC(Advanced Video Coding)(H.264/AVC)方式を拡張したMVC(Multiview Video Coding)方式等がある。

MVC方式では、符号化対象となる画像は、被写体からの光に対応する値を、画素値として有する色画像であり、複数の視点の色画像それぞれは、必要に応じて、その視点の色画像の他、他の視点の色画像をも参照して、符号化される。

すなわち、MVC方式では、複数の視点の色画像のうちの、１つの視点の色画像が、ベースビュー(Base View)の画像とされ、他の視点の色画像は、ディペンデントビュー(Dependent View)の画像とされる。

そして、ベースビューの画像（色画像）は、そのベースビューの画像のみを参照して符号化され、ディペンデントビューの画像（色画像）は、そのディペンデントビューの画像の他、他のディペンデントビューの画像をも必要に応じて参照して、符号化される。

ところで、近年においては、複数の視点の画像として、各視点の色画像の他に、各視点の色画像の画素ごとの視差に関する視差情報を、画素値として有する視差情報画像を採用し、各視点の色画像と各視点の視差情報画像とを符号化する符号化方式として、例えば、MPEG3DV方式等の規格が策定されつつある。

MPEG3DV方式では、各視点の色画像と、各視点の視差情報画像とのそれぞれを、原則として、MVC方式と同様にして符号化することが提案されている。また、MPEG3DV方式では、視差情報画像について、各種の取り扱いが提案されている（例えば、非特許文献１を参照）。

"Draft Call for Proposals on 3D Video Coding Technology", NTERNATIONAL ORGANISATION FOR STANDARDISATION, ORGANISATION INTERNATIONALE DE NORMALISATION, ISO/IEC JTC1/SC29/WG11, CODING OF MOVING PICTURES AND AUDIO, ISO/IEC JTC1/SC29/WG11, MPEG2010/N11679, Guangzhou, China, October 2010

視差情報画像については、MVC方式と同様にして符号化して復号すると、その復号によって得られるデコード画像の画質が劣化することがある。

本技術は、このような状況に鑑みてなされたものであり、デコード画像の画質を向上させることができるようにするものである。

本技術の一側面の画像処理装置、又は、プログラムは、所定のデータに対応する値を画素値とする画像であり、前記画素値として取り得る値が、前記所定のデータの最大値と最小値とに応じて、所定の規定値に規定される画像を、少なくとも量子化して逆量子化することにより得られるデコード画像の画素値を、前記規定値に補正する補正部を備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。

本技術の一側面の画像処理方法は、所定のデータに対応する値を画素値とする画像であり、前記画素値として取り得る値が、前記所定のデータの最大値と最小値とに応じて、所定の規定値に規定される画像を、少なくとも量子化して逆量子化することにより得られるデコード画像の画素値を、前記規定値に補正するステップを含む画像処理方法である。

以上のような一側面においては、所定のデータに対応する値を画素値とする画像であり、前記画素値として取り得る値が、前記所定のデータの最大値と最小値とに応じて、所定の規定値に規定される画像を、少なくとも量子化して逆量子化することにより得られるデコード画像の画素値が、前記規定値に補正される。

なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術の一側面によれば、デコード画像の画質を向上させることができる。

複数の視点の画像を生成する多視点画像生成装置の構成例を示すブロック図である。 視差画像の取り扱いを説明する図である。 本技術の概要を説明する図である。 本技術を適用した多視点画像エンコーダの一実施の形態の構成例を示すブロック図である。 MVC方式の予測符号化において、予測画像を生成するときに参照するピクチャを説明する図である。 MVC方式でのピクチャの符号化（及び復号）順を説明する図である。 エンコーダ１１の構成例を示すブロック図である。 MVC(AVC)方式のマクロブロックタイプを説明する図である。 MVC(AVC)方式の予測ベクトル(PMV)を説明する図である。 MVC(AVC)方式の予測ベクトルを説明する図である。 エンコーダ２２の構成例を示すブロック図である。 補正部２３２の構成例を示すブロック図である。 マッピング情報の例を示す図である。 視点#2の視差画像D#2を符号化する符号化処理を説明するフローチャートである。 補正処理を説明するフローチャートである。 画素値変更処理を説明するフローチャートである。 画素値補正処理を説明するフローチャートである。 本技術を適用した多視点画像デコーダの一実施の形態の構成例を示すブロック図である。 デコーダ３１１の構成例を示すブロック図である。 デコーダ３２２の構成例を示すブロック図である。 補正部４６２の構成例を示すブロック図である。 視点#2の視差画像D#2の符号化データを復号する復号処理を説明するフローチャートである。 補正処理を説明するフローチャートである。 画素値補正処理を説明するフローチャートである。 ヘッダ情報に含められる予測器フラグの例を示す図である。 ヘッダ情報に含められる予測器フラグの例を示す図である。 ヘッダ情報に含められる予測器フラグの例を示す図である。 規定値への補正と、撮影視差ベクトルdのダイナミックレンジ|dmax-dmin|との関係を説明する図である。 規定値への補正と、対象ブロックの量子化ステップとの関係を説明する図である。 エンコーダ２２の他の構成例を示すブロック図である。 補正部５３２の構成例を示すブロック図である。 視点#2の視差画像D#2を符号化する符号化処理を説明するフローチャートである。 補正処理を説明するフローチャートである。 画素値補正処理を説明するフローチャートである。 デコーダ３２２の構成例を示すブロック図である。 補正部６６２の構成例を示すブロック図である。 視点#2の視差画像D#2の符号化データを復号する復号処理を説明するフローチャートである。 視差と奥行きについて説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 本技術を適用したテレビジョン装置の概略構成例を示す図である。 本技術を適用した携帯電話機の概略構成例を示す図である。 本技術を適用した記録再生装置の概略構成例を示す図である。 本技術を適用した撮像装置の概略構成例を示す図である。

［本明細書におけるデプス画像（視差情報画像）の説明］
図３８は、視差と奥行きについて説明する図である。

図３８に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。

・・・（ａ）

なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。

式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差情報画像）とする。

なお、デプス画像（視差情報画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差情報画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。

視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

なお、式（ｂ）において、Ｄ_ｍａｘは、視差ｄの最大値であり、Ｄ_ｍｉｎは、視差ｄの最小値である。最大値Ｄ_ｍａｘと最小値Ｄ_ｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

なお、式（ｃ）において、Ｚ_ｆａｒは、奥行きＺの最大値であり、Ｚ_ｎｅａｒは、奥行きＺの最小値である。最大値Ｚ_ｆａｒと最小値Ｚ_ｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差情報画像）とする。ここでは、デプス画像（視差情報画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。

なお、デプス画像（視差情報画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップ（視差マップ）とする。

［複数の視点の画像］

以下、図面を参照して、本技術の一実施の形態について説明するが、その前に、前段階の準備として、複数の視点の画像について説明する。

図１は、複数の視点の画像を生成する多視点画像生成装置の構成例を示すブロック図である。

多視点画像生成装置では、複数の視点としての、例えば、２つの視点の画像を撮影するために、２つのカメラ４１及び４２が、異なる視点の色画像を撮影することができる位置に設置されている。

ここで、本実施の形態では、説明を簡単にするために、カメラ４１及び４２は、ある水平面上の一直線上の異なる位置に、その直線に垂直な方向に光軸を向けて配置されていることとする。

カメラ４１は、そのカメラ４１が配置されている位置で、被写体を撮影し、動画像である色画像C#1を出力する。

さらに、カメラ４１は、他の任意の１つのカメラである、例えば、カメラ４２の位置を、基準の視点として、色画像C#1の各画素について、基準の視点に対する視差を表す視差ベクトルd1を出力する。

カメラ４２は、そのカメラ４２が配置されている位置で、被写体を撮影し、動画像である色画像C#2を出力する。

さらに、カメラ４２は、他の任意の１つのカメラである、例えば、カメラ４１の位置を、基準の視点として、色画像C#2の各画素について、基準の視点に対する視差を表す視差ベクトルd2を出力する。

ここで、色画像の横（水平）方向を、x軸とし、縦（垂直）方向を、y軸とする２次元平面を、色画像平面ということとすると、カメラ４１及び４２は、色画像平面に直交し、x軸と平行な平面（水平面）上の一直線上に配置されている。したがって、視差ベクトルd1及びd2は、y成分が0で、x成分が、カメラ４１及び４２の水平方向の位置関係等に対応する値のベクトルとなる。

なお、カメラ４１及び４２が出力する視差ベクトルd1及びd2を、後述する、MEによって求められる視差を表す視差ベクトルと区別するために、以下、撮影視差ベクトルd1及びd2ともいう。

カメラ４１が出力する色画像C#1、及び、撮影視差ベクトルd1、並びに、カメラ４２が出力する色画像C#2、及び、撮影視差ベクトルd2は、多視点画像情報生成部４３に供給される。

多視点画像情報生成部４３は、カメラ４１及び４２からの色画像C#1を、そのまま出力する。

また、多視点画像情報生成部４３は、カメラ４１からの撮影視差ベクトルd1から、色画像#1の画素ごとの視差に関する視差情報(デプス情報)を求め、その視差情報を、画素値として有する視差情報画像(デプス画像)D#1を生成して出力する。

さらに、多視点画像情報生成部４３は、カメラ４２からの撮影視差ベクトルd2から、色画像#2の画素ごとの視差に関する視差情報を求め、その視差情報を、画素値として有する視差情報画像D#2を生成して出力する。

ここで、上述したように、視差情報（デプス情報）としては、例えば、撮影視差ベクトル(視差)に対応する値である視差値（値Ｉ）や、被写体までの距離（奥行きＺ）に対応する値である奥行き値(値ｙ)がある。

いま、視差情報画像の画素値が、例えば、8ビットで表される0ないし255の整数値をとることとする。さらに、撮影視差ベクトル（のx成分）をdで表すとともに、（例えば、ピクチャや、１つのコンテンツとしての動画像等で）撮影視差ベクトル（のx成分）の最大値と最小値を、それぞれ、dmax（Dmax）とdmin(Dmin)と表すこととする。

この場合、視差値ν（値Ｉ）は、例えば、撮影視差ベクトル（のx成分）dと、その最大値dmax及び最小値dminを用いて、式（１）に従って求められる。

ν＝255×(d-dmin)／(dmax-dmin)
・・・（１）

なお、式（１）の視差値νは、式（２）に従って、撮影視差ベクトル（のx成分）dに変換することができる。

d＝ν×(dmax-dmin)／255＋dmin
・・・（２）

また、奥行きＺは、カメラ４１及び４２が配置されている直線上から、被写体までの距離を表す。

カメラ４１については（カメラ４２についても同様）、カメラ４１と一直線上に配置されているカメラ４２との距離（基準の視点との距離）である基線長をLと、カメラ４１の焦点距離をfと、それぞれ表すこととすると、被写体までの距離Z(奥行きＺ)は、撮影視差ベクトル（のx成分）d(d1)を用い、式（３）に従って求めることができる。

Z＝(L/d)×f
・・・（３）

視差情報である視差値νと被写体までの距離Zとは（さらには、撮影視差ベクトルdも）、式（１）ないし式（３）に従って相互に変換することができるので、等価な情報である。

ここで、以下では、画素値として視差値ν（値Ｉ）を有する視差情報画像（デプス画像）を、視差画像ともいい、画素値として、奥行き値(値ｙ)を有する画像を、奥行き画像ともいう。

なお、以下では、視差情報画像として、視差画像、及び、奥行き画像のうちの、例えば、視差画像を用いることとするが、視差情報画像としては、奥行き画像を用いることも可能である。

多視点画像情報生成部４３は、以上の色画像#1及び#2、並びに、視差画像（視差情報画像）D#1及び#2の他に、視差情報のメタデータである視差関連情報（デプス関連情報）を出力する。

すなわち、多視点画像情報生成部４３には、外部から、カメラ４１と４２との距離（カメラ４１及び４２それぞれと、基準の視点との距離）である基線長L、及び、焦点距離fが供給される。

多視点画像情報生成部４３は、カメラ４１からの撮影視差ベクトルd1、及び、カメラ４１からの撮影視差ベクトルd2のそれぞれについて、撮影視差ベクトル（のx成分）dの最大値dmax及び最小値dminを検出する。

そして、多視点画像情報生成部４３は、撮影視差ベクトルdの最大値dmax及び最小値dmin、並びに、基線長L、及び、焦点距離fを、視差関連情報として出力する。

なお、ここでは、説明を簡単にするため、カメラ４１及び４２を、色画像平面に直交する同一の平面上の一直線上に配置し、撮影視差ベクトルd（d1及びd2）が、y成分が0のベクトルであることとしたが、カメラ４１及び４２それぞれは、色画像平面に直交する異なる平面上に配置することができる。この場合、撮影視差ベクトルdは、x成分及びy成分とも、0以外の値になりうるベクトルとなる。

以下、複数の視点の画像である、多視点画像情報生成部４３が出力する色画像C#1及びC#2、並びに、視差画像D#1及びD#2を、同じく、多視点画像情報生成部４３が出力する視差関連情報を必要に応じて用いて符号化し、復号する方法について説明する。

［視差画像の取り扱い］

図２は、非特許文献１で提案されている視差画像の取り扱いを説明する図である。

非特許文献１では、図１で説明したように、視差画像の画素値である視差値νが、8ビットで表される0ないし255の整数値をとることとして、視差値νと、撮影視差ベクトル（のx成分）dとの間に、式（１）及び式（２）で表される関係を持たせることが提案されている。

式（１）及び式（２）によれば、撮影視差ベクトルdの最小値dminが、画素値である視差値νの最小値である0になり、撮影視差ベクトルdの最大値dmaxが、画素値である視差値νの最大値である255になるように、撮影視差ベクトルdが、視差値νにマッピングされる。

したがって、視差画像の画素値である視差値νは、撮影視差ベクトルdの最小値dminと最大値dmaxとに応じて、取り得る値が、所定の値（以下、規定値ともいう）に規定される。

すなわち、撮影視差ベクトルdのダイナミックレンジ、つまり、最大値dmaxと最小値dminとの差dmax-dminが、例えば、５１であれば、視差値νが取り得る値は、図２に示すように、5（＝255/(dmax-dmin)＝255/51）おきの整数値の規定値0,5,10,・・・に規定される（定まる）。

したがって、視差画像は、所定のデータとしての撮影視差ベクトルdに対応する値（視差値ν）を画素値とする画像であり、その画素値として取り得る値が、撮影視差ベクトルdの最大値dmaxと最小値dminとに応じて、所定の規定値に規定される画像である、ということができる。

なお、奥行き画像も、視差画像と同様に扱うことができる。

ところで、視差画像を、例えば、MVC方式等のように、少なくとも量子化を行って符号化するとともに、少なくとも逆量子化を行って復号する場合には、量子化及び逆量子化によって生じる量子化雑音（量子化歪み）（量子化誤差）に起因して、復号の結果得られるデコード画像（視差画像）の画質が劣化する（原画像と異なる画素値になる）ことがある。

そこで、本技術では、視差画像の画素値である視差値νが取り得る値が、撮影視差ベクトルdの最大値dmaxと最小値dminとに応じて規定される規定値になるという特性を利用して、視差画像のデコード画像の画質を向上させる。

［本技術の概要］

図３は、本技術の概要を説明する図である。

上述したように、視差画像を、例えば、MVC方式で符号化して復号すると、量子化及び逆量子化によって生じる量子化歪みに起因して、復号の結果得られるデコード画像の画質が劣化する。

すなわち、例えば、いま、図３に示すように、視差画像のある画素値としての視差値νが10である場合に、視差画像をMVC方式で符号化して復号することにより得られるデコード画像の画素値（以下、復号後画素値ともいう）は、量子化歪みに起因して、原画像（符号化前の視差画像）の画素値と異なる、例えば、8等になる。

ここで、視差画像の視差値νが取り得る値である規定値が、0,5,10,・・・であるとすると、視差値νが規定値ではない8であることは、あり得ない。

そこで、本技術では、復号後画素値を、現在の値である8から、規定値0,5,10,・・・のうちの、現在の値に最も近い値（最近傍の値）である10に補正（シフト）する。

その結果、本技術によれば、デコード画像の画素値（復号後画素値）が、原画像の画素値（符号化前の視差画像の視差値ν）に一致することとなり、デコード画像の画質を向上させることができる。

なお、本技術においては、デコード画像の復号後画素値のすべてを、現在の値から、規定値のうちの、現在の値に最も近い値に補正することができる。

但し、復号後画素値によっては、現在の値を、補正しない方が、補正するよりも、原画像の画素値に近い場合があり得る。

そこで、視差画像を符号化するエンコーダ側では、復号後画素値を補正するかどうかを、例えば、マクロブロック等の所定の単位で判定（判断）し、復号後画素値を、規定値に補正するか、又は、そのままとする（補正しない）かを表す、例えば、1ビットの補正フラグを出力することができる。

そして、視差画像を復号するデコーダ側では、補正フラグに基づいて、復号後画素値を、規定値に補正するか、又は、そのままとすることができる。

［本技術を適用した多視点画像エンコーダの一実施の形態］

図４は、本技術を適用した多視点画像エンコーダの一実施の形態の構成例を示すブロック図である。

図４の多視点画像エンコーダは、例えば、MVC方式を利用して、複数の視点の画像を符号化するエンコーダであり、以下では、MVC方式と同様の処理については、適宜、説明を省略する。

なお、多視点画像エンコーダは、MVC方式を利用するエンコーダに限定されるものではない。

また、以下では、複数の視点の画像として、２つの視点#1及び#2の色画像である視点#1の色画像C#1、及び、視点#2の色画像C#2、並びに、その２つの視点#1及び#2の視差情報画像である視点#1の視差画像D#1、及び、視点#2の視差画像D#2を採用することとする。

さらに、例えば、視点#1の色画像C#1、及び、視差画像D#1を、ベースビューの画像とし、残りの視点#2の色画像C#2、及び、視差画像D#2を、ディペンデントビューの画像として扱うこととする。

なお、複数の視点の画像としては、３つ以上の視点の色画像、及び、視差情報画像を採用することができ、その３つ以上の視点の色画像、及び、視差情報画像のうちの、任意の１つの視点の色画像、及び、視差情報画像を、ベースビューの画像とし、残りの視点の色画像、及び、視差情報画像を、ディペンデントビューの画像として扱うことができる。

図４において、多視点画像エンコーダは、エンコーダ１１，１２，２１，２２，DPB３１、及び、多重化部３２を有し、多視点画像エンコーダには、図１の多視点画像生成装置が出力する視点#1の色画像C#1、及び、視差画像D#1、視点#2の色画像C#2、及び、視差画像D#2、並びに、視差関連情報が供給される。

エンコーダ１１には、視点#1の色画像C#1と、視差関連情報とが供給される。

エンコーダ１１は、視点#1の色画像C#1を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#1の色画像C#1の符号化データを、多重化部３２に供給する。

エンコーダ１２には、視点#2の色画像C#2と、視差関連情報とが供給される。

エンコーダ１２は、視点#2の色画像C#2を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#2の色画像C#2の符号化データを、多重化部３２に供給する。

エンコーダ２１には、視点#1の視差画像D#1と、視差関連情報とが供給される。

エンコーダ２１は、視点#1の視差画像D#1を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#1の視差画像D#1の符号化データを、多重化部３２に供給する。

エンコーダ２２には、視点#2の視差画像D#2と、視差関連情報とが供給される。

エンコーダ２２は、視点#2の視差画像D#2を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#2の視差画像D#2の符号化データを、多重化部３２に供給する。

DPB３１は、エンコーダ１１，１２，２１、及び、２２それぞれで、符号化対象の画像を符号化し、ローカルデコードすることにより得られるローカルデコード後の画像（デコード画像）を、予測画像の生成時に参照する参照ピクチャ（の候補）として一時記憶する。

すなわち、エンコーダ１１，１２，２１、及び、２２は、符号化対象の画像を予測符号化する。そのため、エンコーダ１１，１２，２１、及び、２２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。

DPB３１は、エンコーダ１１，１２，２１、及び、２２それぞれで得られるデコード画像を一時記憶する、いわば共用のバッファであり、エンコーダ１１，１２，２１、及び、２２それぞれは、DPB３１に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照ピクチャを選択する。そして、エンコーダ１１，１２，２１、及び、２２それぞれは、参照ピクチャを用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。

DPB３１は、エンコーダ１１，１２，２１、及び、２２で共用されるので、エンコーダ１１，１２，２１、及び、２２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。

多重化部３２は、エンコーダ１１，１２，２１、及び、２２のそれぞれからの符号化データを多重化し、その結果得られる多重化データを出力する。

多重化部３２が出力する多重化データは、図示せぬ記録媒体に記録され、又は、図示せぬ伝送媒体を介して伝送される。

なお、視差関連情報は、多重化部３２において、符号化データとともに多重化することができる。

［MVC方式の概要］

図５は、MVC方式の予測符号化において、予測画像を生成するときに参照するピクチャを説明する図である。

いま、ベースビューの画像である視点#1の画像のピクチャを、（表示）時刻順に、p11,p12,p13,・・・と表すとともに、ディペンデントビューの画像である視点#2の画像のピクチャを、時刻順に、p21,p22,p23,・・・と表すこととする。

ベースビューのピクチャである、例えば、ピクチャp12は、そのベースビューのピクチャである、例えば、ピクチャp11やp13を、必要に応じて参照して、予測符号化される。

すなわち、ベースビューのピクチャp12については、そのベースビューの他の時刻のピクチャであるピクチャp11やp13のみを参照し、予測（予測画像の生成）を行うことができる。

また、ディペンデントビューのピクチャである、例えば、ピクチャp22は、そのディペンデントビューのピクチャである、例えば、ピクチャp21やp23、さらには、他のビューであるベースビューのピクチャp12を、必要に応じて参照して、予測符号化される。

すなわち、ディペンデントビューのピクチャp22は、そのディペンデントビューの他の時刻のピクチャであるピクチャp21やp23の他、他のビューの、ピクチャp22と同一時刻のピクチャであるベースビューのピクチャp12を参照し、予測を行うことができる。

ここで、符号化対象のピクチャと同一のビューのピクチャを参照して行われる予測を、時間予測ともいい、符号化対象のピクチャと異なるビューのピクチャを参照して行われる予測を、視差予測ともいう。

以上のように、MVC方式では、ベースビューのピクチャについては、時間予測のみを行うことができ、ディペンデントビューのピクチャについては、時間予測と視差予測を行うことができる。

なお、MVC方式において、視差予測において参照する、符号化対象のピクチャと異なるビューのピクチャは、符号化対象のピクチャと同一時刻のピクチャでなければならない。

図４の多視点画像エンコーダを構成するエンコーダ１１，１２，２１、及び、２２は、原則として、MVC方式に従って、予測（予測画像の生成）を行う。

図６は、MVC方式でのピクチャの符号化（及び復号）順を説明する図である。

図５と同様に、ベースビューの画像である視点#1の画像のピクチャを、（表示）時刻順に、p11,p12,p13,・・・と表すとともに、ディペンデントビューの画像である視点#2の画像のピクチャを、時刻順に、p21,p22,p23,・・・と表すこととする。

いま、説明を簡単にするために、各ビューのピクチャが、時刻順に符号化されることとすると、まず、ベースビューの最初の時刻t=1のピクチャp11が符号化され、その後、ディペンデントビューの、同一時刻t=1のピクチャp21が符号化される。

ディペンデントビューの、同一時刻t=1のピクチャ（すべて）の符号化が終了すると、ベースビューの次の時刻t=2のピクチャp12が符号化され、その後、ディペンデントビューの、同一時刻t=2のピクチャp22が符号化される。

以下、同様の順番で、ベースビューのピクチャ、及び、ディペンデントビューのピクチャは、符号化されていく。

図４の多視点画像エンコーダを構成するエンコーダ１１，１２，２１、及び、２２では、MVC方式に従った順番で、ピクチャが符号化される。

［エンコーダ１１の構成例］

図７は、図４のエンコーダ１１の構成例を示すブロック図である。

なお、図４のエンコーダ１２も、エンコーダ１１と同様に構成され、例えば、MVC方式に従って、画像の符号化を行う。

図７において、エンコーダ１１は、A/D(Analog/Digital)変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、及び、予測画像選択部１２４を有する。

A/D変換部１１１には、符号化対象の画像（動画像）である視点#1の色画像C#1のピクチャが、表示順に、順次、供給される。

A/D変換部１１１は、そこに供給されるピクチャが、アナログ信号である場合には、そのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給する。

画面並び替えバッファ１１２は、A/D変換部１１１からのピクチャを一時記憶し、あらかじめ決められたGOP(Group of Pictures)の構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。

画面並び替えバッファ１１２から読み出されたピクチャは、演算部１１３、画面内予測部１２２、及び、インター予測部１２３に供給される。

演算部１１３には、画面並び替えバッファ１１２から、ピクチャが供給される他、予測画像選択部１２４から、画面内予測部１２２、又は、インター予測部１２３で生成された予測画像が供給される。

演算部１１３は、画面並び替えバッファ１１２から読み出されたピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。

そして、演算部１１３は、対象ブロックの画素値から、予測画像選択部１２４から供給される予測画像の画素値を減算した減算値を、必要に応じて演算し、直交変換部１１４に供給する。

直交変換部１１４は、演算部１１３からの対象ブロック（の画素値、又は、予測画像が減算された残差）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給する。

量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、可変長符号化部１１６に供給する。

可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化（例えば、CAVLC(Context-Adaptive Variable Length Coding)等）や、算術符号化（例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)等）等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ１１７に供給する。

なお、可変長符号化部１１６には、量子化部１１５から量子化値が供給される他、画面内予測部１２２やインター予測部１２３から、符号化データのヘッダに含めるヘッダ情報が供給される。

可変長符号化部１１６は、画面内予測部１２２やインター予測部１２３からの、ヘッダ情報を符号化し、符号化データのヘッダに含める。

蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶し、所定のデータレートで出力する。

蓄積バッファ１１７から出力された符号化データは、多重化部３２（図４）に供給される。

量子化部１１５で得られた量子化値は、可変長符号化部１１６に供給される他、逆量子化部１１８にも供給され、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０において、ローカルデコードが行われる。

すなわち、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給する。

逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給する。

演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード画像を得て、デブロッキングフィルタ１２１に供給する。

デブロッキングフィルタ１２１は、演算部１２０からのデコード画像をフィルタリングすることにより、デコード画像に生じたブロック歪を除去（低減）し、DPB３１（図４）に供給する。

ここで、DPB３１は、デブロッキングフィルタ１２１からのデコード画像、すなわち、エンコーダ１１において符号化されてローカルデコードされた色画像C#1のピクチャを、時間的に後に行われる予測符号化（演算部１１３で予測画像の減算が行われる符号化）に用いる予測画像を生成するときに参照する参照ピクチャ（の候補）として記憶する。

図４で説明したように、DPB３１は、エンコーダ１１，１２，２１、及び、２２で共用されるので、エンコーダ１１において符号化されてローカルデコードされた色画像C#1のピクチャの他、エンコーダ１２において符号化されてローカルデコードされた色画像C#2のピクチャ、エンコーダ２１において符号化されてローカルデコードされた視差画像D#1のピクチャ、及び、エンコーダ２２において符号化されてローカルデコードされた視差画像D#2のピクチャも記憶する。

なお、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０によるローカルデコードは、例えば、参照ピクチャとなることが可能な参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャを対象として行われ、DPB３１では、Iピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像が記憶される。

画面内予測部１２２は、対象ピクチャが、イントラ予測（画面内予測）され得るIピクチャ、Pピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB３１から、対象ピクチャのうちの、既にローカルデコードされている部分（デコード画像）を読み出す。そして、画面内予測部１２２は、DPB３１から読み出した、対象ピクチャのうちのデコード画像の一部を、画面並び替えバッファ１１２から供給される対象ピクチャの対象ブロックの予測画像とする。

さらに、画面内予測部１２２は、予測画像を用いて対象ブロックを符号化するのに要する符号化コスト、すなわち、対象ブロックの、予測画像に対する残差等を符号化するのに要する符号化コストを求め、予測画像とともに、予測画像選択部１２４に供給する。

インター予測部１２３は、対象ピクチャが、インター予測され得るPピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB３１から、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、参照ピクチャ（の候補）として読み出す。

また、インター予測部１２３は、画面並び替えバッファ１１２から供給される対象ピクチャの対象ブロックと、参照ピクチャとを用いたME(Motion Estimation)によって、対象ブロックと、参照ピクチャの、対象ブロックに対応する対応ブロック（対象ブロックとのSAD(Sum of Absolute Differences)等の符号化コストを最小にするブロック（領域））とのずれ（視差、動き）を表すずれベクトルを検出する。

ここで、参照ピクチャが、対象ピクチャと同一のビューのピクチャ、つまり、視点#2の視差画像D#2の、対象ピクチャとは時刻が異なるピクチャである場合、対象ブロックと参照ピクチャとを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照ピクチャとの間の動き（時間的なずれ）を表す動きベクトルとなる。

また、参照ピクチャが、対象ピクチャと異なるビューのピクチャ、つまり、ここでは、視点#1の視差画像D#1の、対象ピクチャと時刻が同一のピクチャである場合、対象ブロックと参照ピクチャとを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照ピクチャとの間の視差（空間的なずれ）を表す視差ベクトルとなる。

以上のように、MEによって求められる視差ベクトルを、図１で説明した撮影視差ベクトルと区別するために、計算視差ベクトルともいう。

本実施の形態では、説明を簡単にするため、撮影視差ベクトルは、y成分が0のベクトルであることとしたが、MEによって検出される計算視差ベクトルは、対象ブロックと、参照ピクチャの、対象ブロックとのSAD等を最小にするブロック（対応ブロック）とのずれ（位置関係）を表すので、y成分が0になるとは限らない。

インター予測部１２３は、対象ブロックのずれベクトルに従って、DPB３１からの参照ピクチャのMC(Motion Compensation)であるずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。

すなわち、インター予測部１２３は、参照ピクチャの、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（領域）である対応ブロックを、予測画像として取得する。

さらに、インター予測部１２３は、対象ブロックを予測画像を用いて符号化するのに要する符号化コストを、所定のコスト関数に従い、予測画像の生成に用いる参照ピクチャや、後述するマクロブロックタイプ等が異なるインター予測モードごとに求める。

そして、インター予測部１２３は、符号化コストが最小のインター予測モードを、最適なインター予測モードである最適インター予測モードとして、その最適インター予測モードで得られた予測画像と符号化コストとを、予測画像選択部１２４に供給する。

ここで、ずれベクトル（視差ベクトル、動きベクトル）に基づいて、予測画像を生成することを、ずれ予測（視差予測、動き予測）、又は、ずれ補償（視差補償、動き補償）ともいう。なお、ずれ予測には、必要に応じて、ずれベクトルの検出が含まれる。

予測画像選択部１２４は、画面内予測部１２２、及び、インター予測部１２３それぞれからの予測画像のうちの、符号化コストが小さい方を選択し、演算部１１３、及び、１２０に供給する。

ここで、画面内予測部１２２は、イントラ予測に関する情報を、ヘッダ情報として、可変長符号化部１１６に供給し、インター予測部１２３は、インター予測に関する情報（ずれベクトルの情報や、参照ピクチャに割り当てられた、予測画像の生成に用いられる参照ピクチャを特定するための参照インデクス等）を、ヘッダ情報として、可変長符号化部１１６に供給する。

可変長符号化部１１６は、画面内予測部１２２、及び、インター予測部１２３それぞれからのヘッダ情報のうちの、符号化コストが小さい予測画像が生成された方からのヘッダ情報を選択し、符号化データのヘッダに含める。

［マクロブロックタイプ］

図８は、MVC(AVC)方式のマクロブロックタイプを説明する図である。

MVC方式では、対象ブロックとなるマクロブロックは、横×縦が１６×１６画素のブロックであるが、ME（及び、予測画像の生成）は、マクロブロックをパーティションに分割して、パーティションごとに行うことができる。

すなわち、MVC方式では、マクロブロックを、１６×１６画素、１６×８画素、８×１６画素、又は８×８画素のうちのいずれかのパーティションに分割して、各パーティションごとに、MEを行って、すれベクトル（動きベクトル、計算視差ベクトル）を検出することができる。

また、MVC方式では、８×８画素のパーティションは、さらに、８×８画素、８×４画素、４×８画素、又は４×４画素のうちのいずれかのサブパーティションに分割し、各サブパーティションごとに、MEを行って、すれベクトル（動きベクトル、計算視差ベクトル）を検出することができる。

マクロブロックタイプは、マクロブロックを、どのようなパーティション（さらには、サブパーティション）に分割するかを表す。

インター予測部１２３（図７）のインター予測では、各マクロブロックタイプの符号化コストが、各インター予測モードの符号化コストとして算出され、符号化コストが最小のインター予測モード（マクロブロックタイプ）が、最適インター予測モードとして選択される。

［予測ベクトル(PMV(Predicted Motion Vector))］

図９は、MVC(AVC)方式の予測ベクトル(PMV)を説明する図である。

インター予測部１２３（図７）のインター予測では、MEによって、対象ブロックのずれベクトル（動きベクトル、計算視差ベクトル）が検出され、そのずれベクトルを用いて、予測画像が生成される。

ずれベクトルは、復号側において、画像を復号するのに必要であるため、ずれベクトルの情報を符号化して、符号化データに含める必要があるが、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化することがある。

すなわち、MVC方式では、図７に示したように、マクロブロックが、８×８画素のパーティションに分割され、さらに、その８×８画素のパーティションそれぞれが、４×４画素のサブパーティションに分割されることがある。この場合、１つのマクロブロックは、最終的には、４×４個のサブパーティションに分割されるため、１つのマクロブロックに対して、１６（＝４×４）個のずれベクトルが生じることがあり、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化する。

そこで、MVC(AVC)方式では、ずれベクトルを予測するベクトル予測が行われ、そのベクトル予測によって得られる予測ベクトルに対する、ずれベクトルの残差が、ずれベクトルの情報（ずれベクトル情報（視差ベクトル情報、動きベクトル情報））として符号化される。

すなわち、あるマクロブロックXが、符号化対象の対象ブロックであるとする。また、説明を簡単にするため、対象ブロックXは、１６×１６画素のパーティションに分割される（対象ブロックXが、そのまま、パーティションとされる）こととする。

対象ブロックXのずれベクトルmvXの予測ベクトルPMVXは、図９に示すように、対象ブロックXが符号化されるときに、（ラスタスキャン順で）既に符号化されているマクロブロックのうちの、対象ブロックXの上に隣接するマクロブロックAのずれベクトルmvA、左に隣接するマクロブロックBのずれベクトルmvB、及び、右斜め上に隣接するマクロブロックCのずれベクトルmvCを用い、式（４）に従って算出される。

PMVX＝med(mvA,mvB,mvC)
・・・（４）

ここで、式（４）において、med()は、かっこ内の値のメディアン（中央値）を表す。

なお、対象ブロックXが、ピクチャの右端のマクロブロックである場合等、マクロブロックCのずれベクトルmvCが、利用可能でない（unavailableである）場合には、ずれベクトルmvCに代えて、対象ブロックXの左斜め上に隣接するマクロブロックDのずれベクトルmvDを用いて、予測ベクトルPMVXが算出される。

また、式（４）に従った予測ベクトルPMVXの算出は、x成分とy成分とのそれぞれについて、独立に行われる。

インター予測部１２３（図７）では、対象ブロックXのずれベクトルmvXと、その予測ベクトルPMVXとの差分mvX−PMVが、対象ブロックXのずれベクトル情報として、ヘッダ情報に含められる。

図１０は、MVC(AVC)方式の予測ベクトルを、さらに、説明する図である。

対象ブロックのずれベクトルの予測ベクトルの生成の方法は、対象ブロックの周辺のマクロブロックの予測画像の生成に用いられる参照ピクチャに割り当てられている参照インデクス（以下、予測用の参照インデクスともいう）によって異なる。

ここで、MVC(AVC)方式の参照ピクチャ（となりうる参照ピクチャ）と、参照インデクスについて説明する。

AVC方式では、予測画像を生成するときに、複数のピクチャを、参照ピクチャとすることができる。

そして、AVC方式のコーデックでは、参照ピクチャは、デコード（ローカルデコード）後に、DPBと呼ばれるバッファに記憶される。

DPBでは、短期間に参照されるピクチャは、短時間参照ピクチャ(used for short-term reference)として、長期間にわたって参照されるピクチャは、長時間参照ピクチャ(used for long-term reference)として、参照されないピクチャは、非参照ピクチャ(unused for reference)として、それぞれマーキングされる。

DPBを管理する管理方式としては、移動窓メモリ管理方式(Sliding window process)と、適応メモリ管理方式(Adaptive memory control process)との２種類がある。

移動窓メモリ管理方式では、DPBが、FIFO(First In First Out)方式で管理され、DPBに記憶されたピクチャは、frame_numの小さいピクチャから順に開放される（非参照ピクチャとなる）。

すなわち、移動窓メモリ管理方式では、I(Intra)ピクチャ、P(Predictive)ピクチャ、及び、参照可能なB(Bi-directional Predictive)ピクチャであるBsピクチャは、短時間参照ピクチャとして、DPBに記憶される。

そして、DPBが参照ピクチャ（となりうるピクチャ）を記憶することができるだけの参照ピクチャが記憶された後は、DPBに記憶された短時間参照ピクチャの中で、最も早く（古い）短時間参照ピクチャが開放される。

なお、DPBに、長時間参照ピクチャが記憶されている場合、移動窓メモリ管理方式は、DPBに記憶されている長時間参照ピクチャには、影響しない。すなわち、移動窓メモリ管理方式において、参照ピクチャの中で、FIFO方式で管理されるのは、短時間参照ピクチャだけである。

適応メモリ管理方式では、MMCO(Memory management control operation)と呼ばれるコマンドを用いて、DPBに記憶されるピクチャが管理される。

MMCOコマンドによれば、DPBに記憶される参照ピクチャを対象として、短時間参照ピクチャを非参照ピクチャに設定することや、短時間参照ピクチャに対し、長時間参照ピクチャを管理するための参照インデクスであるlong-term frame indexを割り当てることで、短時間参照ピクチャを長時間参照ピクチャに設定すること、long-term frame indexの最大値を設定すること、すべての参照ピクチャを非参照ピクチャに設定すること等を行うことができる。

AVC方式では、DPBに記憶された参照ピクチャの動き補償を行うことで、予測画像を生成するインター予測が行われるが、Bピクチャ（Bsピクチャを含む）のインター予測には、最大で、2ピクチャの参照ピクチャを用いることができる。その2ピクチャの参照ピクチャを用いるインター予測は、それぞれ、L0(List 0)予測、及び、L1(List 1)予測と呼ばれる。

Bピクチャ（Bsピクチャを含む）については、インター予測として、L0予測、若しくは、L1予測、又は、L0予測とL1予測との両方が用いられる。Pピクチャについては、インター予測として、L0予測だけが用いられる。

インター予測において、予測画像の生成に参照する参照ピクチャは、参照リスト(Reference Picture List)により管理される。

参照リストでは、予測画像の生成に参照する参照ピクチャを指定するためのインデクスである参照インデクス(Reference Index)が、DPBに記憶された参照ピクチャに割り当てられる。

対象ピクチャが、Pピクチャである場合、上述したように、Pピクチャについては、インター予測として、L0予測だけが用いられるので、参照インデクスの割り当ては、L0予測についてだけ行われる。

また、対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、上述したように、Bピクチャについては、インター予測として、L0予測とL1予測との両方が用いられることがあるので、参照インデクスの割り当ては、L0予測とL1予測との両方について行われる。

ここで、L0予測についての参照インデクスを、L0インデクスともいい、L1予測についての参照インデクスを、L1インデクスともいう。

対象ピクチャが、Pピクチャである場合、AVC方式のデフォルト（規定値）では、DPBに記憶された参照ピクチャに対し、復号順が後の参照ピクチャほど、値が小さい参照インデクス（L0インデクス）が割り当てられる。

参照インデクスは、0以上の整数値であり、最小値は、0である。したがって、対象ピクチャが、Pピクチャである場合には、対象ピクチャの直前に復号された参照ピクチャに、L0インデクスとして、0が割り当てられる。

対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、AVCのデフォルトでは、DPBに記憶された参照ピクチャに対し、POC(Picture Order Count)順、つまり、表示順に、参照インデクス（L0インデクス、及び、L1インデクス）が割り当てられる。

すなわち、L0予測については、表示順で、対象ピクチャの時間的に前の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL0インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に後の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL0インデクスが割り当てられる。

また、L1予測については、表示順で、対象ピクチャの時間的に後の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL1インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に前の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL1インデクスが割り当てられる。

なお、以上のAVC方式のデフォルトでの参照インデクス（L0インデクス、及び、L1インデクス）の割り当ては、短時間参照ピクチャを対象として行われる。長時間参照ピクチャへの参照インデクスの割り当ては、短時間参照ピクチャに、参照インデクスが割り当てられた後に行われる。

したがって、AVCのデフォルトでは、長時間参照ピクチャには、短時間参照ピクチャよりも大きい値の参照インデクスが割り当てられる。

AVC方式において、参照インデクスの割り当てとしては、以上のようなデフォルトの方法で割り当てを行う他、Reference Picture List Reorderingと呼ばれるコマンド（以下、RPLRコマンドともいう）を用いて、任意の割り当てを行うことができる。

なお、RPLRコマンドを用いて、参照インデクスの割り当てが行われた後、参照インデクスが割り当てられていない参照ピクチャがある場合には、その参照ピクチャには、参照インデクスが、デフォルトの方法で割り当てられる。

いま、図１０に示すように、マクロブロックX（図１０において影を付してあるブロック）が対象ブロックであるとすると、その対象ブロックXのずれベクトルmvXの予測ベクトルPMVXは、対象ブロックXの上に隣接するマクロブロックA、左に隣接するマクロブロックB、及び、右斜め上に隣接するマクロブロックCそれぞれの予測用の参照インデクス（マクロブロックA，B、及び、Cそれぞれの予測画像の生成に用いられた参照ピクチャに割り当てられていた参照インデクス）によって異なる方法で求められる。

例えば、いま、対象ブロックXの予測用の参照インデクスref_idxが0であるとする。

図１０のＡに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0のマクロブロックが、１つだけ存在する場合には、その１つのマクロブロック（予測用の参照インデクスref_idxが0のマクロブロック）のずれベクトルが、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXとされる。

ここで、図１０のＡでは、対象ブロックXに隣接する３つのマクロブロックAないしCのうちの、マクロブロックAだけが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvAが、対象ブロックX（のずれベクトルmvX）の予測ベクトルPMVXとされる。

また、図１０のＢに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0のマクロブロックが、２つ以上存在する場合には、その、予測用の参照インデクスref_idxが0の２つ以上のマクロブロックのずれベクトルのメディアンが、対象ブロックXの予測ベクトルPMVXとされる。

ここで、図１０のＢでは、対象ブロックXに隣接する３つのマクロブロックAないしCのすべてが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvA、マクロブロックBのずれベクトルmvB、及び、マクロブロックCのずれベクトルmvCのメディアンmed(mvA,mvB,mvC)が、対象ブロックXの予測ベクトルPMVXとされる。

また、図１０のＣに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0のマクロブロックが、１つも存在しない場合には、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。

ここで、図１０のＣでは、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが0のマクロブロックは存在しないので、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。

なお、MVC(AVC)方式では、値が0の参照インデクスrev_idxが割り当てられた参照ピクチャを用いて、対象ブロックの符号化を行う場合には、対象ブロックを、スキップマクロブロックとすることができる。

スキップマクロブロックについては、予測画像との残差も、ずれベクトルの情報も符号化されない。そして、復号時には、予測ベクトルが、そのまま、スキップマクロブロックのずれベクトルに採用され、参照ピクチャの、スキップマクロブロックの位置からずれベクトルだけずれた位置のブロック（対応ブロック）のコピーが、スキップマクロブロックの復号結果とされる。

対象ブロックをスキップマクロブロックとするか否かは、エンコーダの仕様によるが、例えば、符号化データの符号量や、対象ブロックの符号化コスト等に基づいて決定（判定）される。

［エンコーダ２２の構成例］

図１１は、図４のエンコーダ２２の構成例を示すブロック図である。

エンコーダ２２は、符号化対象の画像である視点#2の視差画像D#2の符号化を、MVC方式を利用して行う。

図１１において、エンコーダ２２は、A/D変換部２１１、画面並び替えバッファ２１２、演算部２１３、直交変換部２１４、量子化部２１５、可変長符号化部２１６、蓄積バッファ２１７、逆量子化部２１８、逆直交変換部２１９、演算部２２０、デブロッキングフィルタ２２１、画面内予測部２２２、インター予測部２２３、予測画像選択部２２４、マッピング情報生成部２３１、及び、補正部２３２を有する。

A/D変換部２１１ないし予測画像選択部２２４は、図７のエンコーダ１１のA/D変換部１１１ないし予測画像選択部１２４と、それぞれ同様に構成されるので、その説明は、適宜省略する。

図１１において、DPB３１には、デブロッキングフィルタ２２１から、デコード画像、すなわち、エンコーダ２２において符号化されてローカルデコードされた視差画像（以下、デコード視差画像ともいう）D#2のピクチャが供給され、参照ピクチャ（となりうるピクチャ）として記憶される。

また、DPB３１には、図４や図７で説明したように、エンコーダ１１において符号化されてローカルデコードされた色画像C#1のピクチャ、エンコーダ１２において符号化されてローカルデコードされた色画像C#2のピクチャ、及び、エンコーダ２１において符号化されてローカルデコードされた視差画像（デコード視差画像）D#1のピクチャも供給されて記憶される。

マッピング情報生成部２３１には、視差関連情報（図４）としての、エンコーダ２２の符号化対象の視差画像D#2の撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等が供給される。

マッピング情報生成部２３１は、視差関連情報に基づいて、視差画像D#2の画素値である視差値νが取り得る規定値の情報を求め、マッピング情報として、補正部２３２に供給する。

すなわち、マッピング情報生成部２３１は、視差画像D#2の撮影視差ベクトルdの最大値dmaxと最小値dminとに応じて、式（１）の視差値νが取り得る規定値を求め、各規定値と、その規定値に変換（マッピング）される撮影視差ベクトルdとの対応を表した一覧等を、マッピング情報として生成し、補正部２３２に供給する。

なお、視差関連情報（のうちの、少なくともマッピング情報を生成するのに必要な情報である撮影視差ベクトルdの最大値dmax及び最小値dmin）は、マッピング情報生成部２３１に供給される他、可変長符号化部２１６にも供給される。可変長符号化部２１６では、視差関連情報が、ヘッダ情報として、符号化データのヘッダに含められる。

補正部２３２には、マッピング情報生成部２３１からマッピング情報が供給される他、演算部２２０から、対象ブロックを復号（ローカルデコード）したデコード画像（デコード視差画像D#2）が供給される。

さらに、補正部２３２には、画面並び替えバッファ２１２から、原画像としての視差画像D#2の対象ピクチャが供給される。

補正部２３２は、マッピング情報生成部２３１からのマッピング情報、及び、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロック（以下、原対象ブロックともいう）を用いて、演算部２２０からの対象ブロックのデコード画像（以下、復号後対象ブロックともいう）の画素値である復号後画素値を補正し、その補正後の対象ブロック（以下、補正後対象ブロックともいう）を、デブロッキングフィルタ２２１に供給する。

また、補正部２３２は、復号後画素値の補正に関する補正フラグを生成し、ヘッダ情報として、可変長符号化部２１６に供給する。

ここで、可変長符号化部２１６では、ヘッダ情報としての補正フラグが、符号化データのヘッダに含められる。

なお、図４のエンコーダ２１も、図１１のエンコーダ２２と同様に構成される。但し、ベースビューの画像である視差画像D#1を符号化するエンコーダ２１では、インター予測において、視差予測は行われない。

図１２は、図１１の補正部２３２の構成例を示すブロック図である。

図１２において、補正部２３２は、画素値変更部２５１、及び、画素値補正部２５２を有する。

画素値変更部２５１には、演算部２２０から、対象ブロックのデコード視差画像D#2である復号後対象ブロックが供給されるとともに、マッピング情報生成部２３１から、マッピング情報が供給される。

画素値変更部２５１は、演算部２２０からの復号後対象ブロックの画素値である復号後画素値を、マッピング情報生成部２３１からのマッピング情報に基づいて規定値に変更し、その変更後の画素値である変更後画素値からなる対象ブロック（以下、変更後対象ブロックともいう）を、画素値補正部２５２に供給する。

ここで、変更後対象ブロックの画素値（変更後画素値）は、すべて規定値である。

画素値補正部２５２には、画面並び替えバッファ２１２から、対象ピクチャが供給されるとともに、演算部２２０から、復号後対象ブロックが供給される。

画素値補正部２５２は、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロック、すなわち、符号化前の対象ブロック（原画像である視差画像D#2の対象ブロック）である原対象ブロック、画素値変更部２５１からの、画素値が規定値に変更された変更後対象ブロック、及び、演算部２２０からの復号後対象ブロックに基づいて、復号後対象ブロックの画素値（復号後画素値）を補正し、その補正後の対象ブロックである補正後対象ブロックを、デブロッキングフィルタ２２１に供給する。

すなわち、画素値補正部２５２は、変更後対象ブロックの各画素値と、原対象ブロックの各画素値との差に対応するSAD（以下、変更後対象ブロックについてのSADともいう）と、復号後対象ブロックの各画素値と、原対象ブロックの各画素値との差に対応するSAD（以下、復号後対象ブロックについてのSADともいう）とに基づいて、復号後対象ブロックについてのSADが、変更後対象ブロックについてのSAD以下であれば、復号後対象ブロックを、補正後対象ブロックとする（復号後対象ブロックの画素値をそのままとする）。

一方、復号後対象ブロックについてのSADが、変更後対象ブロックについてのSAD以下でなければ、画素値補正部２５２は、変更後対象ブロックを、補正後対象ブロックとする（復号後対象ブロックの画素値を、変更後対象ブロックの画素値である規定値に補正する）。

以上のように、画素値補正部２５２では、復号後対象ブロックの（画素値の）、原対象ブロック（の画素値）に対する誤差としてのSADが、変更後対象ブロックの（画素値の）、原対象ブロック（の画素値）に対する誤差としてのSAD以下であれば、復号後対象ブロックは、補正されず、そのまま、補正後対象ブロックとされる。

また、画素値補正部２５２では、復号後対象ブロックの（画素値の）、原対象ブロックに対する誤差が、変更後対象ブロックの、原対象ブロックに対する誤差以下でなければ、復号後対象ブロックは補正され、画素値がすべて規定値になっている変更後対象ブロックとされる。

画素値補正部２５２は、その他、補正後対象ブロック（の画素値）が、変更後対象ブロック（の画素値である規定値）に補正されているのか、又は、復号後対象ブロック（の画素値）のままであるのかを表す補正フラグを生成し、可変長符号化部２１６に供給する。

図１３は、図１１のマッピング情報生成部２３１が生成するマッピング情報の例を示す図である。

マッピング情報生成部２３１は、視差画像D#2の撮影視差ベクトルdの最大値dmaxと最小値dminとに応じて、式（１）の視差値νが取り得る規定値を求め、各規定値と、その規定値にされる撮影視差ベクトルdとの対応を表した一覧を、マッピング情報として生成する。

図１３のマッピング情報によれば、撮影視差ベクトルd＝dmin，dmin+1，dmin+2，・・・が、それぞれ、視差画像D#2において、規定値である視差値ν＝0，5，10，・・・に変換（マッピング）されていることを認識することができる。

図１４は、図１１のエンコーダ２２が行う、視点#2の視差画像D#2を符号化する符号化処理を説明するフローチャートである。

ステップＳ１１において、A/D変換部２１１は、そこに供給される視点#2の視差画像D#2のピクチャのアナログ信号をA/D変換し、画面並び替えバッファ２１２に供給して、処理は、ステップＳ１２に進む。

ステップＳ１２では、画面並び替えバッファ２１２は、A/D変換部２１１からの視差画像D#2のピクチャを一時記憶し、あらかじめ決められたGOPの構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。

画面並び替えバッファ２１２から読み出されたピクチャは、演算部２１３、画面内予測部２２２、インター予測部２２３、及び、補正部２３２に供給され、処理は、ステップＳ１２からステップＳ１３に進む。

ステップＳ１３では、演算部２１３は、画面並び替えバッファ２１２からの視差画像D#2のピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。

そして、演算部２１３は、対象ブロックの画素値と、予測画像選択部２２４から供給される予測画像の画素値との差分（残差）を、必要に応じて演算し、直交変換部２１４に供給して、処理は、ステップＳ１３からステップＳ１４に進む。

ステップＳ１４では、直交変換部２１４は、演算部２１３からの対象ブロックに対して直交変換を施し、その結果得られる変換係数を、量子化部２１５に供給して、処理は、ステップＳ１５に進む。

ステップＳ１５において、量子化部２１５は、直交変換部２１４から供給される変換係数を量子化し、その結果得られる量子化値を、逆量子化部２１８、及び、可変長符号化部２１６に供給して、処理は、ステップＳ１６に進む。

ステップＳ１６では、逆量子化部２１８は、量子化部２１５からの量子化値を、変換係数に逆量子化し、逆直交変換部２１９に供給して、処理は、ステップＳ１７に進む。

ステップＳ１７では、逆直交変換部２１９は、逆量子化部２１８からの変換係数を逆直交変換し、演算部２２０に供給して、処理は、ステップＳ１８に進む。

ステップＳ１８では、演算部２２０は、逆直交変換部２１９から供給されるデータに対して、必要に応じて、予測画像選択部２２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード視差画像D#2である復号後対象ブロックを求める。そして、演算部２２０は、復号後対象ブロックを、補正部２３２に供給して、処理は、ステップＳ１８からステップＳ１９に進む。

ステップＳ１９では、マッピング情報生成部２３１は、視差関連情報に基づいて、視差画像D#2の対象ピクチャの画素値である視差値νが取り得る規定値の情報を求め、マッピング情報として、補正部２３２に供給して、処理は、ステップＳ２０に進む。

ステップＳ２０では、補正部２３２は、マッピング情報生成部２３１からのマッピング情報、及び、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロックである原対象ブロックを用いて、演算部２２０からの復号後対象ブロック（の画素値である復号後画素値）を補正する補正処理を行う。そして、補正部２３２は、補正処理後の対象ブロックである補正後対象ブロックを、デブロッキングフィルタ２２１に供給して、処理は、ステップＳ２０からステップＳ２１に進む。

ステップＳ２１は、デブロッキングフィルタ２２１は、補正部２３２からの補正後対象ブロックとしてのデコード視差画像D#2をフィルタリングし、DPB３１（図４）に供給して記憶させ、処理は、ステップＳ２２に進む。

ステップＳ２２では、画面内予測部２２２は、次に符号化の対象となるマクロブロックである次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行う。

すなわち、画面内予測部２２２は、次の対象ブロックについて、DPB３１に記憶されたデコード視差画像D#2のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行う。

そして、画面内予測部２２２は、イントラ予測の予測画像を用いて、対象ブロックを符号化するのに要する符号化コストを求め、イントラ予測の予測画像とともに、予測画像選択部２２４に供給して、処理は、ステップＳ２２からステップＳ２３に進む。

ステップＳ２３では、インター予測部２２３は、次の対象ブロックについて、DPB３１に記憶されたデコード視差画像D#1やD#2のピクチャを、参照ピクチャとして、インター予測処理を行う。

すなわち、インター予測部２２３は、次の対象ブロックについて、DPB３１に記憶されたデコード視差画像D#1やD#2のピクチャを参照ピクチャとして用いて、インター予測（視差予測、時間予測）を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。

さらに、インター予測部２２３は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、符号化コストとともに、予測画像選択部２２４に供給して、処理は、ステップＳ２３からステップＳ２４に進む。

ステップＳ２４では、予測画像選択部２２４は、画面内予測部２２２からの予測画像（イントラ予測の予測画像）、及び、インター予測部２２３からの予測画像（インター予測の予測画像）のうちの、例えば、符号化コストが小さい方の予測画像を選択し、演算部２１３及び２２０に供給して、処理は、ステップＳ２５に進む。

ここで、予測画像選択部２２４がステップＳ２７で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ１３やＳ１８の処理で用いられる。

また、画面内予測部２２２は、ステップＳ２２のイントラ予測処理において得られるイントラ予測に関する情報を、ヘッダ情報として、可変長符号化部２１６に供給し、インター予測部２２３は、ステップＳ２３のインター予測処理で得られるインター予測に関する情報（最適インター予測モードを表すモード関連情報や、ずれベクトル情報、予測用の参照インデクス等）を、ヘッダ情報として、可変長符号化部２１６に供給する。

ステップＳ２５では、可変長符号化部２１６は、量子化部２１５からの量子化値に対して、可変長符号化を施し、符号化データを得る。

さらに、可変長符号化部２１６は、画面内予測部２２２、及び、インター予測部２２３それぞれからのヘッダ情報のうちの、符号化コストが小さい予測画像が生成された方からのヘッダ情報を選択し、符号化データのヘッダに含める。

また、可変長符号化部２１６は、視差関連情報や、ステップＳ２０で行われる補正処理によって補正部２３２が出力する補正フラグを、符号化データのヘッダに含める。

そして、可変長符号化部２１６は、符号化データを、蓄積バッファ２１７に供給して、処理は、ステップＳ２５からステップＳ２６に進む。

ステップＳ２６では、蓄積バッファ２１７は、可変長符号化部２１６からの符号化データを一時記憶し、所定のデータレートで出力する。

蓄積バッファ２１７から出力された符号化データは、多重化部３２（図４）に供給される。

エンコーダ２２では、以上のステップＳ１１ないしＳ２６の処理が、適宜繰り返し行われる。

図１５は、図１４のステップＳ２０で、図１２の補正部２３２が行う補正処理を説明するフローチャートである。

ステップＳ３１において、補正部２３２（図１２）は、演算部２２０からの、対象ブロックのデコード視差画像D#2である復号後対象ブロックを取得し、画素値変更部２５１、及び、画素値補正部２５２に供給して、処理は、ステップＳ３２に進む。

ステップＳ３２では、補正部２３２は、マッピング情報生成部２３１からのマッピング情報を取得し、画素値変更部２５１に供給して、処理は、ステップＳ３３に進む。

ステップＳ３３では、画素値変更部２５１は、演算部２２０からの復号後対象ブロックの画素値である復号後画素値を、マッピング情報生成部２３１からのマッピング情報に基づいて、規定値に変更する画素値変更処理を行う。

そして、画素値変更部２５１は、画素値変更処理によって得られる、規定値に変更された画素値である変更後画素値からなる対象ブロックである変更後対象ブロックを、画素値補正部２５２に供給して、処理は、ステップＳ３４に進む。

ステップＳ３４では、補正部２３２は、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロックである原対象ブロックを取得し、画素値補正部２５２に供給して、処理は、ステップＳ３５に進む。

ステップＳ３５では、画素値補正部２５２は、画面並び替えバッファ２１２からの原対象ブロック、画素値変更部２５１からの変更後対象ブロック、及び、演算部２２０からの復号後対象ブロックに基づいて、復号後対象ブロックの画素値（復号後画素値）を補正する画素値補正処理を行い、処理は、ステップＳ３６に進む。

ステップＳ３６では、画素値補正部２５２は、ステップＳ３５の画素値補正処理によって得られる対象ブロックである補正後対象ブロックを、デブロッキングフィルタ２２１に供給して、処理は、ステップＳ３７に進む。

ステップＳ３７では、画素値補正部２５２は、ステップＳ３５の画素値補正処理によって得られる、対象ブロックについての補正フラグを、可変長符号化部２１６に供給（出力）して、処理はリターンする。

図１６は、図１５のステップＳ３３で、図１２の画素値変更部２５１が行う画素値変更処理を説明するフローチャートである。

ステップＳ４１において、画素値変更部２５１は、復号後対象ブロックから、まだ、注目画素に選択していない画素の１つを、注目画素に選択して、処理は、ステップＳ４２に進む。

ステップＳ４２では、画素値変更部２５１は、マッピング情報生成部２３１からのマッピング情報に基づいて、注目画素の画素値（復号後画素値）を挟む２つの規定値valueA及びvalueBを検出して、処理は、ステップＳ４３に進む。

ここで、規定値valueAは、マッピング情報から得られる規定値の中で、注目画素の画素値以下（又は未満）の最大の規定値であり、規定値valueBは、マッピング情報から得られる規定値の中で、注目画素の画素値より大きい（又は以上の）最小の規定値である。

ステップＳ４３では、画素値変更部２５１は、規定値valueAと注目画素の画素値Vとの差分絶対値|valueA-V|が、規定値valueBと注目画素の画素値Vとの差分絶対値|valueB-V|よりも大きいかどうかを判定する。

ステップＳ４３において、差分絶対値|valueA-V|が、差分絶対値|valueB-V|より大きくないと判定された場合、すなわち、マッピング情報から得られる規定値の中で、注目画素の画素値Vの最近傍が、規定値valueAである場合、処理は、ステップＳ４５に進み、画素値変更部２５１は、注目画素の画素値（復号後画素値）を、注目画素の画素値Vの最近傍である規定値valueAに変更して、処理は、ステップＳ４７に進む。

したがって、この場合、注目画素の画素値Vの変更後の変更後画素値は、規定値valueAとなる。

一方、ステップＳ４３において、差分絶対値|valueA-V|が、差分絶対値|valueB-V|より大きいと判定された場合、すなわち、マッピング情報から得られる規定値の中で、注目画素の画素値Vの最近傍が、規定値valueBである場合、処理は、ステップＳ４６に進み、画素値変更部２５１は、注目画素の画素値（復号後画素値）を、注目画素の画素値Vの最近傍である規定値valueBに変更して、処理は、ステップＳ４７に進む。

したがって、この場合、注目画素の画素値Vの変更後の変更後画素値は、規定値valueBとなる。

ステップＳ４７では、画素値変更部２５１は、復号後対象ブロックの画素値（復号後画素値）を、すべて、変更後画素値に変更したかどうかを判定する。

ステップＳ４７において、復号後対象ブロックの画素値のすべてを、まだ、変更後画素値に変更していないと判定された場合、処理は、ステップＳ４１に戻り、以下、同様の処理が繰り返される。

また、ステップＳ４７において、復号後対象ブロックの画素値のすべてを、変更後画素値に変更したと判定された場合、すなわち、復号後対象ブロックの画素値のすべてを、最近傍の規定値である変更後画素値に変更した変更後対象ブロックが得られた場合、画素値変更部２５１は、変更後対象ブロックを、画素値補正部２５２に供給して、処理はリターンする。

図１７は、図１５のステップＳ３５で、図１２の画素値補正部２５２が行う画素値補正処理を説明するフローチャートである。

ステップＳ５１において、画素値補正部２５２は、演算部２２０からの復号後対象ブロックと、画面並び替えバッファ２１２からの原対象ブロックとのSAD（復号後対象ブロックについてのSAD）であるSAD1を求め、処理は、ステップＳ５２に進む。

ステップＳ５２では、画素値補正部２５２は、画素値変更部２５１からの変更後対象ブロックと、画面並び替えバッファ２１２からの原対象ブロックとのSAD（変更後対象ブロックについてのSAD）であるSAD2を求めて、処理は、ステップＳ５３に進む。

ステップＳ５３では、画素値補正部２５２は、復号後対象ブロックについてのSAD1が、変更後対象ブロックについてのSAD2以下であるかどうかを判定する。

ステップＳ５３において、復号後対象ブロックについてのSAD1が、変更後対象ブロックについてのSAD2以下であると判定された場合、すなわち、復号後対象ブロックの（原対象ブロックに対する）誤差が、変更後対象ブロックの（原対象ブロックに対する）誤差以下であり、したがって、復号後対象ブロックの方が、変更後対象ブロックよりも画質が良い場合（復号後対象ブロックの方が、変更後対象ブロックよりも、原対象ブロックに似ている場合）、処理は、ステップＳ５４に進み、画素値補正部２５２は、復号後対象ブロックを、補正後対象ブロックとして（復号後対象ブロックの画素値を補正せずにそのままとして）、処理は、ステップＳ５５に進む。

ステップＳ５５では、画素値補正部２５２は、補正後対象ブロックが復号後対象ブロックであり、補正されていない旨を表す値である、例えば、0を、補正フラグに設定し、処理はリターンする。

また、ステップＳ５３において、復号後対象ブロックについてのSAD1が、変更後対象ブロックについてのSAD2以下でないと判定された場合、すなわち、復号後対象ブロックの（原対象ブロックに対する）誤差が、変更後対象ブロックの（原対象ブロックに対する）誤差より大きく、したがって、変更後対象ブロックの方が、復号後対象ブロックよりも画質が良い場合（変更後対象ブロックの方が、復号後対象ブロックよりも、原対象ブロックに似ている場合）、処理は、ステップＳ５６に進み、画素値補正部２５２は、変更後対象ブロックを、補正後対象ブロックとして（復号後対象ブロックの画素値を、変更後対象ブロックの変更後画素値である規定値に補正して）、処理は、ステップＳ５７に進む。

ステップＳ５７では、画素値補正部２５２は、補正後対象ブロックが変更後対象ブロックであり、規定値に補正されている旨を表す値である、例えば、1を、補正フラグに設定し、処理はリターンする。

［本技術を適用した多視点画像デコーダの一実施の形態］

図１８は、本技術を適用した多視点画像デコーダの一実施の形態の構成例を示すブロック図である。

図１８の多視点画像デコーダは、例えば、MVC方式を利用して、複数の視点の画像を符号化したデータを復号するデコーダであり、以下では、MVC方式と同様の処理については、適宜、説明を省略する。

なお、多視点画像デコーダは、MVC方式を利用するデコーダに限定されるものではない。

図１８の多視点画像デコーダでは、図４の多視点画像エンコーダが出力する多重化データが、２つの視点#1及び#2の色画像である視点#1の色画像C#1、及び、視点#2の色画像C#2、並びに、その２つの視点#1及び#2の視差情報画像である視点#1の視差画像D#1、及び、視点#2の視差画像D#2に復号される。

図１８において、多視点画像デコーダは、分離部３０１、デコーダ３１１，３１２，３２１，３２２、及び、DPB３３１を有する。

図４の多視点画像エンコーダが出力する多重化データは、図示せぬ記録媒体や伝送媒体を介して、分離部３０１に供給される。

分離部３０１は、そこに供給される多重化データから、色画像C#1の符号化データ、色画像C#2の符号化データ、視差画像D#1の符号化データ、及び、視差画像D#2の符号化データを分離する。

そして、分離部３０１は、色画像C#1の符号化データをデコーダ３１１に、色画像C#2の符号化データをデコーダ３１２に、視差画像D#1の符号化データをデコーダ３２１に、視差画像D#2の符号化データをデコーダ３２２に、それぞれ供給する。

デコーダ３１１は、分離部３０１からの色画像C#1の符号化データを復号し、その結果得られる色画像C#1を出力する。

デコーダ３１２は、分離部３０１からの色画像C#2の符号化データを復号し、その結果得られる色画像C#2を出力する。

デコーダ３２１は、分離部３０１からの視差画像D#1の符号化データを復号し、その結果得られる視差画像D#1を出力する。

デコーダ３２２は、分離部３０１からの視差画像D#2の符号化データを復号し、その結果得られる視差画像D#2を出力する。

DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２それぞれで、復号対象の画像を復号することにより得られる復号後の画像（デコード画像）を、予測画像の生成時に参照する参照ピクチャの候補として一時記憶する。

すなわち、デコーダ３１１，３１２，３２１、及び、３２２は、それぞれ、図４のエンコーダ１１，１２，２１、及び、２２で予測符号化された画像を復号する。

予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ３１１，３１２，３２１、及び、３２２は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる復号後の画像（デコード画像）を、DPB３３１に一時記憶させる。

DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２それぞれで得られる復号後の画像（デコード画像）を一時記憶する共用のバッファであり、デコーダ３１１，３１２，３２１、及び、３２２それぞれは、DPB３３１に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照ピクチャを選択し、その参照ピクチャを用いて、予測画像を生成する。

DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２で共用されるので、デコーダ３１１，３１２，３２１、及び、３２２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。

［デコーダ３１１の構成例］

図１９は、図１８のデコーダ３１１の構成例を示すブロック図である。

なお、図１８のデコーダ３１２も、デコーダ３１１と同様に構成され、例えば、MVC方式に従って、画像の符号化を行う。

図１９において、デコーダ３１１は、蓄積バッファ３４１、可変長復号部３４２、逆量子化部３４３、逆直交変換部３４４、演算部３４５、デブロッキングフィルタ３４６、画面並び替えバッファ３４７、D/A変換部３４８、画面内予測部３４９、インター予測部３５０、及び、予測画像選択部３５１を有する。

蓄積バッファ３４１には、分離部３０１（図１８）から、色画像C#1の符号化データが供給される。

蓄積バッファ３４１は、そこに供給される符号化データを一時記憶し、可変長復号部３４２に供給する。

可変長復号部３４２は、蓄積バッファ３４１からの符号化データを可変長復号することにより、量子化値やヘッダ情報を復元する。そして、可変長復号部３４２は、量子化値を、逆量子化部３４３に供給し、ヘッダ情報を、画面内予測部３４９、及び、インター予測部３５０に供給する。

逆量子化部３４３は、可変長復号部３４２からの量子化値を、変換係数に逆量子化し、逆直交変換部３４４に供給する。

逆直交変換部３４４は、逆量子化部３４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部３４５に供給する。

演算部３４５は、逆直交変換部３４４から供給されるマクロブロックを復号対象の対象ブロックとして、その対象ブロックに対して、必要に応じて、予測画像選択部３５１から供給される予測画像を加算することで、デコード画像を求め、デブロッキングフィルタ３４６に供給する。

デブロッキングフィルタ３４６は、演算部３４５からのデコード画像に対して、例えば、図７のデブロッキングフィルタ１２１と同様のフィルタリングを行い、そのフィルタリング後のデコード画像を、画面並び替えバッファ３４７に供給する。

画面並び替えバッファ３４７は、デブロッキングフィルタ３４６からのデコード画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、D/A(Digital/Analog)変換部３４８に供給する。

D/A変換部３４８は、画面並び替えバッファ３４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。

また、デブロッキングフィルタ３４６は、フィルタリング後のデコード画像のうちの、参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像を、DPB３３１に供給する。

ここで、DPB３３１は、デブロッキングフィルタ３４６からのデコード画像のピクチャ、すなわち、色画像C#1のピクチャを、時間的に後に行われる復号に用いる予測画像を生成するときに参照する参照ピクチャの候補として記憶する。

図１８で説明したように、DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２で共用されるので、デコーダ３１１において復号された色画像C#1のピクチャの他、デコーダ３１２において復号された色画像C#2のピクチャ、デコーダ３２１において復号された視差画像D#1のピクチャ、及び、デコーダ３２２において復号された視差画像D#2のピクチャも記憶する。

画面内予測部３４９は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックが、イントラ予測（画面内予測）で生成された予測画像を用いて符号化されているかどうかを認識する。

対象ブロックが、イントラ予測で生成された予測画像を用いて符号化されている場合、画面内予測部３４９は、図７の画面内予測部１２２と同様に、DPB３３１から、対象ブロックを含むピクチャ（対象ピクチャ）のうちの、既に復号されている部分（デコード画像）を読み出す。そして、画面内予測部３４９は、DPB３３１から読み出した、対象ピクチャのうちのデコード画像の一部を、対象ブロックの予測画像として、予測画像選択部３５１に供給する。

インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックが、インター予測で生成された予測画像を用いて符号化されているかどうかを認識する。

対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合、インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、予測用の参照インデクス、すなわち、対象ブロックの予測画像の生成に用いられた参照ピクチャに割り当てられている参照インデクスを認識する。

そして、インター予測部３５０は、DPB３３１に記憶されている参照ピクチャから、予測用の参照インデクスが割り当てられている参照ピクチャを読み出す。

さらに、インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられたずれベクトル（視差ベクトル、動きベクトル）を認識し、図７のインター予測部１２３と同様に、そのずれベクトルに従って、参照ピクチャのずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。

すなわち、インター予測部３５０は、参照ピクチャの、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。

そして、インター予測部３５０は、予測画像を、予測画像選択部３５１に供給する。

予測画像選択部３５１は、画面内予測部３４９から予測画像が供給される場合には、その予測画像を、インター予測部３５０から予測画像が供給される場合には、その予測画像を、それぞれ選択し、演算部３４５に供給する。

［デコーダ３２２の構成例］

図２０は、図１８のデコーダ３２２の構成例を示すブロック図である。

デコーダ３２２は、復号対象である視点#2の視差画像D#2の符号化データの復号を、MVC方式を利用して、すなわち、図１１のエンコーダ２２で行われるローカルデコードと同様にして行う。

図２０において、デコーダ３２２は、蓄積バッファ４４１、可変長復号部４４２、逆量子化部４４３、逆直交変換部４４４、演算部４４５、デブロッキングフィルタ４４６、画面並び替えバッファ４４７、D/A変換部４４８、画面内予測部４４９、インター予測部４５０、予測画像選択部４５１、マッピング情報生成部４６１、及び、補正部４６２を有する。

蓄積バッファ４４１ないし予測画像選択部４５１は、図１９の蓄積バッファ３４１ないし予測画像選択部３５１と、それぞれ同様に構成されるので、その説明は、適宜省略する。

図２０において、DPB３３１には、デブロッキングフィルタ４４６から、デコード画像、すなわち、デコーダ３２２において復号された視差画像であるデコード視差画像D#2のピクチャが供給され、参照ピクチャとして記憶される。

また、DPB３３１には、図１８や図１９で説明したように、デコーダ３１１において復号された色画像C#1のピクチャ、デコーダ３１２において復号された色画像C#2のピクチャ、及び、デコーダ３２１において復号された視差画像（デコード視差画像）D#1のピクチャも供給されて記憶される。

マッピング情報生成部４６１には、可変長復号部４４２からヘッダ情報に含まれる視差関連情報（図４）としての、エンコーダ３２２の復号対象の視差画像D#2の撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等が供給される。

マッピング情報生成部４６１は、図１１のマッピング情報生成部２３１と同様にして、視差関連情報に基づいて、視差画像D#2の画素値である視差値νが取り得る規定値の情報であるマッピング情報を求め、補正部４６２に供給する。

補正部４６２には、マッピング情報生成部４６１からマッピング情報が供給される他、演算部４４５から、対象ブロックを復号したデコード画像（デコード視差画像D#2）が供給される。

さらに、補正部４６２には、可変長復号部４４２からヘッダ情報に含まれる補正フラグが供給される。

補正部４６２は、可変長復号部４４２からの補正フラグに従い、マッピング情報生成部４６１からのマッピング情報を用いて、演算部４４５からの対象ブロックのデコード画像である復号後対象ブロック（の画素値である復号後画素値）を、図１１の補正部２３２と同様に補正し、その補正後の対象ブロックである補正後対象ブロックを、デブロッキングフィルタ４４６に供給する。

なお、図１８のデコーダ３２１も、図２０のデコーダ３２２と同様に構成される。但し、ベースビューの画像である視差画像D#1を復号するデコーダ３２１では、エンコーダ２１と同様に、インター予測において、視差予測は行われない。

図２１は、図２０の補正部４６２の構成例を示すブロック図である。

図２１において、補正部４６２は、画素値補正部４７１を有する。

画素値補正部４７１には、演算部４４５から、対象ブロックのデコード視差画像D#2である復号後対象ブロックが供給されるとともに、マッピング情報生成部４６１から、マッピング情報が供給される。

さらに、画素値補正部４７１には、可変長復号部４４２から補正フラグが供給される。

画素値補正部４７１は、可変長復号部４２２からの補正フラグから、対象ブロック（復号後対象ブロック）の補正フラグを取得し、その補正フラグに従って、演算部４４５からの復号後対象ブロックを補正し、その補正後の対象ブロックである補正後対象ブロックを、デブロッキングフィルタ４４６に供給する。

図２２は、図２０のデコーダ３２２が行う、視点#2の視差画像D#2の符号化データを復号する復号処理を説明するフローチャートである。

ステップＳ１１１において、蓄積バッファ４４１は、そこに供給される視点#2の視差画像D#2の符号化データを記憶し、処理は、ステップＳ１１２に進む。

ステップＳ１１２では、可変長復号部４４２は、蓄積バッファ４４１に記憶された符号化データを読み出して可変長復号することにより、量子化値やヘッダ情報を復元する。そして、可変長復号部４４２は、量子化値を、逆量子化部４４３に供給し、ヘッダ情報を、画面内予測部４４９、インター予測部４５０、マッピング情報生成部４６１、及び、補正部４６２に供給して、処理は、ステップＳ１１３に進む。

ステップＳ１１３では、逆量子化部４４３は、可変長復号部４４２からの量子化値を、変換係数に逆量子化し、逆直交変換部４４４に供給して、処理は、ステップＳ１１４に進む。

ステップＳ１１４では、逆直交変換部４４４は、逆量子化部４４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部４４５に供給して、処理は、ステップＳ１１５に進む。

ステップＳ１１５では、演算部４４５は、逆直交変換部４４４からのマクロブロックを復号対象の対象ブロック（残差画像）として、その対象ブロックに対して、必要に応じて、予測画像選択部４５１から供給される予測画像を加算することで、対象ブロックのデコード視差画像D#2である復号後対象ブロックを求める。そして、演算部４４５は、復号後対象ブロックを、補正部４６２に供給し、処理は、ステップＳ１１５からステップＳ１１６に進む。

ステップＳ１１６では、マッピング情報生成部４６１は、可変長復号部４４２からのヘッダ情報に含まれる視差関連情報としての、エンコーダ３２２の復号対象の視差画像D#2の撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dminに基づき、図１１のマッピング情報生成部２３１と同様にして、視差画像D#2の画素値である視差値νが取り得る規定値の情報であるマッピング情報を求める。そして、マッピング情報生成部４６１は、マッピング情報を、補正部４６２に供給して、処理は、ステップＳ１１７に進む。

ステップＳ１１７では、補正部４６２は、可変長復号部４４２からのヘッダ情報に含まれる補正フラグに従い、マッピング情報生成部４６１からのマッピング情報を用いて、演算部４４５からの復号後対象ブロックを、図１１の補正部２３２と同様にして補正する補正処理を行う。そして、補正部４６２は、補正後の復号後対象ブロックである補正後対象ブロックを、デブロッキングフィルタ４４６に供給して、処理は、ステップＳ１１７からステップＳ１１８に進む。

ステップＳ１１８では、デブロッキングフィルタ４４６は、補正部４６２からの補正後対象ブロックのデコード視差画像D#2に対して、フィルタリングを行い、そのフィルタリング後のデコード視差画像D#2を、DPB３３１、及び、画面並び替えバッファ４４７に供給して、処理は、ステップＳ１１９に進む。

ステップＳ１１９では、画面内予測部４４９、及び、インター予測部４５０が、可変長復号部４４２から供給されるヘッダ情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、インター予測のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを認識する。

そして、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されている場合には、画面内予測部４４９が、イントラ予測処理（画面内予測処理）を行う。

すなわち、画面内予測部４４９は、次の対象ブロックについて、DPB３３１に記憶されたデコード視差画像D#2のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行い、その予測画像を、予測画像選択部４５１に供給して、処理は、ステップＳ１１９からステップＳ１２０に進む。

また、次の対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合には、インター予測部４５０が、インター予測処理を行う。

すなわち、インター予測部４５０は、次の対象ブロックについて、DPB３３１に記憶されたデコード視差画像D#1やD#2のピクチャのうちの、可変長復号部４４２からのヘッダ情報に含まれる、次の対象ブロックの予測用の参照インデクスが割り当てられているピクチャを参照ピクチャに選択する。

さらに、インター予測部４５０は、可変長復号部４４２からのヘッダ情報に含まれるモード関連情報、及び、ずれベクトル情報を用いて、インター予測（視差補償、動き補償）を行うことにより、予測画像を生成し、その予測画像を、予測画像選択部４５１に供給して、処理は、ステップＳ１１９からステップＳ１２０に進む。

ステップＳ１２０では、予測画像選択部４５１は、画面内予測部４４９、及び、インター予測部４５０のうちの、予測画像が供給される方からの、その予測画像を選択し、演算部４４５に供給して、処理は、ステップＳ１２１に進む。

ここで、予測画像選択部４５１がステップＳ１２０で選択する予測画像が、次の対象ブロックの復号で行われるステップＳ１１５の処理で用いられる。

ステップＳ１２１では、画面並び替えバッファ４４７が、デブロッキングフィルタ４４６からのデコード視差画像D#2のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A変換部４４８に供給して、処理は、ステップＳ１２２に進む。

ステップＳ１２２では、D/A変換部３４８は、画面並び替えバッファ４４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。

デコーダ３２２では、以上のステップＳ１１１ないしＳ１２２の処理が、適宜繰り返し行われる。

図２３は、図２２のステップＳ１１７で、図２１の補正部４６２が行う補正処理を説明するフローチャートである。

ステップＳ１３１において、補正部４６２（図２１）は、演算部４４５からの、対象ブロックのデコード視差画像D#2である復号後対象ブロックを取得し、画素値補正部４７１に供給して、処理は、ステップＳ１３２に進む。

ステップＳ１３２では、補正部４６２は、マッピング情報生成部４６１からの、マッピング情報を取得し、画素値補正部４７１に供給して、処理は、ステップＳ１３３に進む。

ステップＳ１３３では、補正部４６２は、可変長復号部４４２からのヘッダ情報に含まれる（復号後対象ブロックの）補正フラグを取得し、画素値補正部４７１に供給して、処理は、ステップＳ１３４に進む。

ステップＳ１３４では、画素値補正部４７１は、可変長復号部４４２からの補正フラグに従い、必要に応じて、マッピング情報生成部４６１からのマッピング情報を用いて、演算部４４５からの復号後対象ブロックを補正する画素値補正処理を行い、処理は、ステップＳ１３５に進む。

ステップＳ１３５では、画素値補正部４７１は、ステップＳ１３４の画素値補正処理によって得られる対象ブロックである補正後対象ブロックを、デブロッキングフィルタ４４６に供給して、処理はリターンする。

図２４は、図２３のステップＳ１３４で、図２１の画素値補正部４７１が行う画素値補正処理を説明するフローチャートである。

ステップＳ１４１において、画素値補正部４７１は、可変長復号部４４２からの補正フラグが0及び1のうちのいずれであるかを判定する。

ステップＳ１４１において、補正フラグが0であると判定された場合、すなわち、視差画像D#2を符号化するエンコーダ２２において、復号後対象ブロックが補正されていない場合、処理は、ステップＳ１４２に進み、画素値補正部４７１は、復号後対象ブロックを補正した補正後対象ブロックとして、演算部４４５からの復号後対象ブロックを、そのまま採用し、処理はリターンする。

また、ステップＳ１４１において、補正フラグが1であると判定された場合、すなわち、視差画像D#2を符号化するエンコーダ２２において、復号後対象ブロックが規定値に補正されている場合、処理は、ステップＳ１４３に進み、画素値補正部４７１は、演算部４４５からの復号後対象ブロック、及び、マッピング情報生成部４６１からのマッピング情報を用い、図１６と同様の画素値変更処理を行う。

画素値補正部４７１が、画素値変更処理によって、図１６で説明したのと同様の、演算部４４５からの復号後対象ブロックの画素値のすべてを、最近傍の規定値である変更後画素値に変更した変更後対象ブロックを得ると、処理は、ステップＳ１４３からステップＳ１４４に進む。

ステップＳ１４４では、画素値補正部４７１は、復号後対象ブロックを補正した補正後対象ブロックとして、ステップＳ１４３の変更後対象ブロックで得られた変更後対象ブロックを採用し、処理はリターンする。

図２５ないし図２７は、符号化データがMVC(AVC)方式の符号化データである場合に、そのヘッダに含められる補正フラグを示している。

ここで、規定値への補正は、マクロブロックを最小単位として行うことができる。

また、規定値への補正は、対象ブロックを８×８画素のパーティション以上のサイズに分割するマクロブロックタイプ（8×8以上タイプ）、すなわち、対象ブロックを８×８画素のパーティションに分割するマクロブロックタイプ（8×8タイプ）や、対象ブロックを１６×８画素のパーティションに分割するマクロブロックタイプ（16×8タイプ）、対象ブロックを８×１６画素のパーティションに分割するマクロブロックタイプ（8×16タイプ）等のパーティションを最小単位として行うことができる。

さらに、規定値への補正は、対象ブロックを８×８画素のパーティションより小さいサイズのパーティション、すなわち、８×４画素、４×８画素、又は４×４画素のサブパーティションに分割するマクロブロックタイプ（8×8未満タイプ）のパーティション（サブパーティション）を最小単位として行うことができる。

規定値への補正を、マクロブロックを最小単位として行う場合、補正フラグは、マクロブロックを最小単位として設定される。

また、規定値への補正を、8×8以上タイプのパーティションを最小単位として行う場合、補正フラグは、8×8以上タイプのパーティションを最小単位として設定される。

さらに、規定値への補正を、8×8未満タイプのパーティション（サブパーティション）を最小単位として行う場合、補正フラグは、8×8未満タイプのパーティション（サブパーティション）を最小単位として設定される。

図２５は、マクロブロックを最小単位として設定される補正フラグを示す図である。

すなわち、図２５は、MVC方式のmb_pred(mb_type)のシンタクスを示している。

補正フラグを、マクロブロックを最小単位として設定する場合、補正フラグは、mb_pred(mb_type)に含められる。

図２５において、refinement_pixel_modeが、補正フラグを示している。

図２６は、8×8以上タイプのパーティションを最小単位として設定される補正フラグを示す図である。

すなわち、図２６は、MVC方式のmb_pred(mb_type)の一部のシンタクスを示している。

補正フラグを、8×8以上タイプのパーティションを最小単位として設定する場合、補正フラグは、mb_pred(mb_type)に含められる。

図２６において、refinement_pixel_mode[mbPartIdx]が、補正フラグを示している。

なお、補正フラグrefinement_pixel_mode[mbPartIdx]の引数mbPartIdxは、8×8以上タイプの各パーティションを区別するためのインデクスである。

図２７は、8×8未満タイプのパーティションを最小単位として設定される補正フラグを示す図である。

すなわち、図２７は、MVC方式のsub_mb_pred(mb_type)の一部のシンタクスを示している。

補正フラグを、8×8未満タイプのパーティションを最小単位として設定する場合、補正フラグは、mb_pred(mb_type)、及び、sub_mb_pred(mb_type)に含められる。

なお、補正フラグを、8×8未満タイプのパーティションを最小単位として設定する場合に、mb_pred(mb_type)に含められる、補正フラグは、図２６に示した通りであり、図２７は、sub_mb_pred(mb_type)に含められる補正フラグを示している。

図２７において、refinement_pixel_mode[mbPartIdx][subMbPartIdx]が、補正フラグを示している。

なお、補正フラグrefinement_pixel_mode[mbPartIdx][subMbPartIdx]の引数subMbPartIdxは、8×8未満タイプの各パーティションを区別するためのインデクスである。

ここで、補正フラグを、マクロブロックを最小単位として設定する場合には、符号化データのヘッダのデータ量（オーバーヘッドのデータ量）の増加を最小限に抑えることができる。

一方、補正フラグを、8×8未満タイプのパーティション（サブパーティション）を最小単位として設定する場合には、小さいサイズのパーティションごとに、画素値（復号後画素値）の補正を制御することができるので、デコード画像（デコード視差画像D#2）の画質をより向上させることができる。

また、補正フラグを、8×8以上タイプのパーティションを最小単位として設定する場合には、符号化データのヘッダのデータ量の増加を抑えつつ、マクロブロックを最小単位とする場合と、8×8未満タイプのパーティションを最小単位とする場合との中間の画質を実現することができる。

［規定値への補正と、撮影視差ベクトルdのダイナミックレンジ|dmax-dmin|、及び、量子化ステップとの関係］

図２８は、規定値への補正と、撮影視差ベクトルdのダイナミックレンジ|dmax-dmin|との関係を説明する図である。

視差画像D#2（視差画像D#1についても同様）の画素値である視差値νとなる規定値は、式（１）に従って求められるため、規定値どうしの間隔は、撮影視差ベクトルd2のダイナミックレンジ|dmax-dmin|が大きい場合は、狭くなり、ダイナミックレンジ|dmax-dmin|が小さい場合は、広くなる。

規定値どうしの間隔が狭い場合、その狭い規定値どうしの間隔に対する量子化歪みの影響が大であるため、復号後対象ブロックの画素値（復号後画素値）を、最近傍の規定値に補正（変更）しても、原画像の視差値νになっている規定値と異なる規定値に補正される可能性が高い。

すなわち、図２８に示すように、視差画像D#2（原画像）のある画素値としての視差値νが10である場合に、規定値どうしの間隔が狭いと、デコード視差画像D#2の対象ブロック（復号後対象ブロック）の復号後画素値は、量子化歪みに起因して、元の視差値νである10よりも、その視差値νと異なる規定値である15に近くなる可能性が高くなる。

この場合、復号後対象ブロックの復号後画素値を、最近傍の規定値に補正すると、元の視差値ν=10と異なる規定値である15に補正されることになる。

一方、規定値どうしの間隔が広い場合、その広い規定値どうしの間隔に対する量子化歪みの影響が小であるため、復号後対象ブロックの復号後画素値を、最近傍の規定値に補正すると、原画像の視差値νになっている規定値に補正される可能性が高い。

すなわち、図２８に示すように、視差画像D#2（原画像）のある画素値としての視差値νが10である場合に、規定値どうしの間隔が広ければ、デコード視差画像D#2の対象ブロック（復号後対象ブロック）の復号後画素値は、量子化歪みの影響を受けても、元の視差値ν=10である規定値に近くなる可能性が高い。

この場合、復号後対象ブロックの復号後画素値を、最近傍の規定値に補正することにより、元の視差値ν=10と同一の規定値に補正されることになる。

そこで、本技術では、規定値への補正を行うかどうかを、撮影視差ベクトルdのダイナミックレンジ|dmax-dmin|に基づいて判定することができる。

すなわち、本技術では、規定値どうしの間隔が狭くなる、ダイナミックレンジ|dmax-dmin|が大きい場合には、規定値への補正を、行わないこと（行わない可能性を高くすること）ができる。

また、本技術では、規定値どうしの間隔が広くなる、ダイナミックレンジ|dmax-dmin|が小さい場合には、規定値への補正を、行うこと（行う可能性を高くすること）ができる。

図２９は、規定値への補正と、対象ブロックの量子化ステップとの関係を説明する図である。

量子化ステップが大きい場合、量子化歪みが大きく（大きい傾向があり）、その結果、規定値どうしの間隔に対する量子化歪みの影響が大であるため、復号後対象ブロックの画素値（復号後画素値）を、最近傍の規定値に補正（変更）しても、原画像の視差値νになっている規定値と異なる規定値に補正される可能性が高い。

すなわち、図２９に示すように、視差画像D#2（原画像）のある画素値としての視差値νが10である場合に、量子化ステップが大であり、その結果、量子化歪みも大であると、デコード視差画像D#2の対象ブロック（復号後対象ブロック）の復号後画素値は、量子化歪みに起因して、元の視差値νである10よりも、その視差値νと異なる規定値である15に近くなる可能性が高くなる。

この場合、復号後対象ブロックの復号後画素値を、最近傍の規定値に補正すると、元の視差値ν=10と異なる規定値である15に補正されることになる。

一方、量子化ステップが小さい場合、量子化歪みは小さく（小さい傾向があり）、その結果、規定値どうしの間隔に対する量子化歪みの影響が小であるため、復号後対象ブロックの復号後画素値を、最近傍の規定値に補正すると、原画像の視差値νになっている規定値に補正される可能性が高い。

すなわち、図２９に示すように、視差画像D#2（原画像）のある画素値としての視差値νが10である場合に、量子化ステップが小であり、その結果、量子化歪みも小であると、デコード視差画像D#2の対象ブロック（復号後対象ブロック）の復号後画素値は、量子化歪みの影響を受けても、元の視差値ν=10である規定値に近くなる可能性が高い。

この場合、復号後対象ブロックの復号後画素値を、最近傍の規定値に補正することにより、元の視差値ν=10と同一の規定値に補正されることになる。

そこで、本技術では、規定値への補正を行うかどうかを、対象ブロックの量子化ステップに基づいて判定することができる。

すなわち、本技術では、量子化歪みが大になる、量子化ステップが大きい場合には、規定値への補正を、行わないこと（行わない可能性を高くすること）ができる。

また、本技術では、量子化歪みが小になる、量子化ステップが小さい場合には、規定値への補正を、行うこと（行う可能性を高くすること）ができる。

［エンコーダ２２の他の構成例］

図３０は、図４のエンコーダ２２の他の構成例を示すブロック図である。

なお、図中、図１１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

すなわち、図３０のエンコーダ２２は、A/D変換部２１１ないし予測画像選択部２２４、及び、マッピング情報生成部２３１を有する点で、図１１の場合と共通する。

但し、図３０のエンコーダ２２は、補正部２３２に代えて、補正部５３２が設けられており、閾値設定部５０１が新たに設けられている点で、図１１の場合と相違する。

閾値設定部５０１には、視差関連情報（図４）に含まれる、エンコーダ２２の符号化対象の視差画像D#2の撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dminが供給される。

閾値設定部５０１は、そこに供給される視差画像D#2の撮影視差ベクトルd2の最大値dmax及び最小値dminから、撮影視差ベクトルd2のダイナミックレンジである、最大値dmaxと最小値dminとの差分絶対値|dmax-dmin|を求める。

そして、閾値設定部５０１は、ダイナミックレンジ|dmax-dmin|に基づいて、規定値への補正を行うかどうかを判定するのに用いる閾値である補正閾値Thを設定し、補正部５３２に供給する。

すなわち、閾値設定部５０１は、例えば、引数の値が大であるほど、関数値が小さくなる関数を、補正閾値Thを算出する閾値用関数として用い、ダイナミックレンジ|dmax-dmin|を引数として、閾値用関数を演算し、その閾値用関数の関数値を、補正閾値Thとして求める。

したがって、本実施の形態では、ダイナミックレンジ|dmax-dmin|が大であるほど、小さな値の補正閾値Thが求められる。

本実施の形態では、後述するように、補正閾値Thが小さいほど、規定値への補正が行われにくくなる（補正閾値Thが大きいほど、規定値への補正が行われやすくなる）。

なお、閾値用関数としては、関数値が、連続値の関数や、２値以上の離散値の関数を採用することができる。

補正部５３２には、閾値設定部５０１から補正閾値Thが供給される他、マッピング情報生成部２３１からマッピング情報が供給されるとともに、演算部２２０から、復号後対象ブロック（デコード視差画像D#2）が供給される。

補正部５３２は、図１１の補正部２３２と同様に、マッピング情報生成部２３１からのマッピング情報を用いて、演算部２２０からの復号後対象ブロック（の画素値である復号後画素値）を規定値に補正し、その補正後の対象ブロックである補正後対象ブロックを、デブロッキングフィルタ２２１に供給する。

但し、補正部５３２は、復号後対象ブロック（の復号後画素値）を規定値に補正するかどうかを、閾値設定部５０１からの補正閾値Thと、量子化部２１５（及び逆量子化部２１８）での対象ブロックの量子化に用いられた量子化ステップ（マクロブロックのQp）とに基づいて判定する。

すなわち、補正部５３２は、対象ブロックの量子化ステップが、補正閾値Thより大きい場合、量子化歪みの影響が大きく、復号後画素値を最近傍の規定値に補正しても、正しい規定値（原対象ブロックの画素値）とは異なる規定値に補正される可能性が高いため、規定値への補正を行わず、復号後対象ブロックを、そのまま、補正後対象ブロックとして、デブロッキングフィルタ２２１に供給する。

一方、対象ブロックの量子化ステップが、補正閾値Thより大きくない場合、量子化歪みの影響が小さく、復号後画素値を最近傍の規定値に補正することにより、正しい規定値（原対象ブロックの画素値）に補正される可能性が高いため、補正部５３２は、規定値への補正を行う。

すなわち、補正部５３２は、図１１の補正部２３２と同様に、復号後画素値を最近傍の規定値に変更した変更後画素値からなる変更後対象ブロックを求め、その変更後対象ブロックを、補正後対象ブロックとして、デブロッキングフィルタ２２１に供給する。

図３１は、図３０の補正部５３２の構成例を示すブロック図である。

なお、図中、図１２の補正部２３２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図３１において、補正部５３２は、画素値変更部２５１、及び、画素値補正部５５２を有する。

したがって、補正部５３２は、画素値変更部２５１を有する点で、図１２の補正部２３２と共通し、画素値補正部２５２に代えて、画素値補正部５５２を有する点で、図１２の補正部２３２と相違する。

画素値補正部５５２には、画素値変更部２５１から、演算部２２０からの復号後対象ブロックの画素値である復号後画素値を、マッピング情報生成部２３１からのマッピング情報に基づいて規定値に変更した、その変更後の画素値である変更後画素値からなる対象ブロックである変更後対象ブロックが供給される。

また、画素値補正部５５２には、演算部２２０から、復号後対象ブロックが供給されるとともに、閾値設定部５０１から、補正閾値Thが供給される。

画素値補正部５５２は、復号後対象ブロック（の復号後画素値）を規定値に補正するかどうかを、閾値設定部５０１からの補正閾値Thと、対象ブロックの量子化ステップ（マクロブロックのQp）との大小関係に基づいて判定する。

すなわち、画素値補正部５５２は、対象ブロックの量子化ステップが、補正閾値Thより大きい場合、量子化歪みの影響が大きく、復号後画素値を最近傍の規定値に補正しても、正しい規定値（原対象ブロックの画素値）とは異なる規定値に補正される可能性が高いため、規定値への補正を行わないと判定する。

そして、画素値補正部５５２は、演算部２２０からの復号後対象ブロックを、そのまま、補正後対象ブロックとして、デブロッキングフィルタ２２１に供給する。

一方、対象ブロックの量子化ステップが、補正閾値Thより大きくない場合、量子化歪みの影響が小さく、復号後画素値を最近傍の規定値に補正することにより、正しい規定値（原対象ブロックの画素値）に補正される可能性が高いため、画素値補正部５５２は、規定値への補正を行うと判定する。

そして、画素値補正部５５２は、画素値変更部２５１からの、復号後画素値を最近傍の規定値に変更した変更後画素値からなる変更後対象ブロックを、補正後対象ブロックとして、デブロッキングフィルタ２２１に供給する。

以上のように、補正部５３２では、対象ブロックの量子化ステップが、補正閾値Thより大きくない場合に、規定値への補正が行われるので、補正閾値Thが小さいほど、規定値への補正が行われにくくなり、補正閾値Thが大きいほど、規定値への補正が行われやすくなる。

ここで、図２８で説明したように、ダイナミックレンジ|dmax-dmin|が大であると、規定値どうしの間隔が狭くなり、量子化歪みの影響が大であるため、復号後対象ブロックの画素値（復号後画素値）を、最近傍の規定値に補正しても、原画像の視差値νになっている規定値と異なる規定値に補正される可能性が高い。

そこで、ダイナミックレンジ|dmax-dmin|が大である場合には、規定値への補正がされにくくなるように、閾値設定部５０１（図３０）は、補正閾値Thとして、小さな値を設定する。

一方、図２８で説明したように、ダイナミックレンジ|dmax-dmin|が小であると、規定値どうしの間隔が広くなり、量子化歪みの影響が小であるため、復号後対象ブロックの復号後画素値を、最近傍の規定値に補正すれば、原画像の視差値νになっている規定値に補正される可能性が高い。

そこで、ダイナミックレンジ|dmax-dmin|が小である場合には、規定値への補正がされやすくなるように、閾値設定部５０１（図３０）は、補正閾値Thとして、大きな値を設定する。

図３２は、図３０のエンコーダ２２が行う、視点#2の視差画像D#2を符号化する符号化処理を説明するフローチャートである。

ステップＳ２１１ないしステップＳ２１８では、図１４のステップＳ１１ないしＳ１８と、それぞれ同様の処理が行われる。

そして、演算部２２０が、ステップＳ２１８において得られた復号後対象ブロックを、補正部５３２に供給し、処理は、ステップＳ２１８からステップＳ２１９に進む。

ステップＳ２１９では、マッピング情報生成部２３１は、図１４のステップＳ１９と同様に、視差関連情報に基づいて、マッピング情報を求め（生成し）、補正部５３２に供給して、処理は、ステップＳ２２０に進む。

ステップＳ２２０では、閾値設定部５０１は、視差関連情報に含まれる撮影視差ベクトルd2の最大値dmax及び最小値dminから、撮影視差ベクトルd2のダイナミックレンジ|dmax-dmin|を求める。

そして、閾値設定部５０１は、ダイナミックレンジ|dmax-dmin|に基づいて、上述したように、ダイナミックレンジ|dmax-dmin|が大であるほど、小さな値の補正閾値Th（ダイナミックレンジ|dmax-dmin|が小であるほど、大きな値の補正閾値Th）を設定し、補正部５３２に供給して、処理は、ステップＳ２２０からステップＳ２２１に進む。

ステップＳ２２１では、補正部５３２は、マッピング情報生成部２３１からのマッピング情報、及び、閾値設定部５０１からの補正閾値Thを用いて、演算部２２０からの復号後対象ブロック（の画素値である復号後画素値）を補正する補正処理を行う。そして、補正部５３２は、補正処理後の対象ブロックである補正後対象ブロックを、デブロッキングフィルタ２２１に供給して、処理は、ステップＳ２２１からステップＳ２２２に進む。

以下、ステップＳ２２２ないしＳ２２７では、図１４のステップＳ２１ないし２６と、それぞれ同様の処理が行われる。

なお、図１４のステップＳ２５では、可変長符号化部２１６が、図１１の補正部２３２が出力する補正フラグを、符号化データのヘッダに含めるが、図３０の補正部５３２は、補正フラグを出力しないので、図１４のステップＳ２５に対応する図３２のステップＳ２２６では、可変長符号化部２１６において、補正フラグは、符号化データのヘッダに含められない。

図３３は、図３２のステップＳ２２１で、図３１の補正部５３２が行う補正処理を説明するフローチャートである。

ステップＳ２３１ないしＳ２３３において、図１５のステップＳ３１ないしＳ３３と、それぞれ同様の処理が行われる。

すなわち、ステップＳ２３１において、補正部５３２（図３１）は、演算部２２０からの復号後対象ブロックを取得し、画素値変更部２５１、及び、画素値補正部５５２に供給して、処理は、ステップＳ２３２に進む。

ステップＳ２３２では、補正部５３２は、マッピング情報生成部２３１からのマッピング情報を取得し、画素値変更部２５１に供給して、処理は、ステップＳ２３３に進む。

ステップＳ２３３では、画素値変更部２５１は、演算部２２０からの復号後対象ブロック（の復号後画素値）を、マッピング情報生成部２３１からのマッピング情報に基づいて規定値に変更する、図１６と同様の画素値変更処理を行う。

そして、画素値変更部２５１は、画素値変更処理によって得られる、規定値に変更された画素値である変更後画素値からなる対象ブロックである変更後対象ブロックを、画素値補正部５５２に供給して、処理は、ステップＳ２３４に進む。

ステップＳ２３４では、補正部５３２は、閾値設定部５０１から、補正閾値Thを取得し、画素値補正部５５２に供給して、処理は、ステップＳ２３５に進む。

ステップＳ２３５では、画素値補正部５５２は、画素値変更部２５１からの変更後対象ブロック、演算部２２０からの復号後対象ブロック、閾値設定部５０１からの補正閾値Thに基づいて、復号後対象ブロックの画素値（復号後画素値）を補正する画素値補正処理を行い、処理は、ステップＳ２３６に進む。

ステップＳ２３６では、画素値補正部５５２は、ステップＳ２３５の画素値補正処理によって得られる対象ブロックである補正後対象ブロックを、デブロッキングフィルタ２２１に供給して、処理はリターンする。

図３４は、図３３のステップＳ２３５で、図３１の画素値補正部５５２が行う画素値補正処理を説明するフローチャートである。

ステップＳ２５１において、画素値補正部５５２は、対象ブロックの量子化ステップ（量子化部２１５（図３０）において、対象ブロックの量子化に用いられる量子化ステップ）が、閾値設定部５０１からの補正閾値Thより大きいかどうかを判定する。

ステップＳ２５１において、対象ブロックの量子化ステップが補正閾値Thより大きいと判定された場合、すなわち、規定値どうしの間隔との比較で、量子化歪み（の影響）が大きい場合、処理は、ステップＳ２５２に進み、画素値補正部５５２は、復号後対象ブロックを、補正後対象ブロックとして（復号後対象ブロックの画素値を補正せずにそのままとして）、処理はリターンする。

また、ステップＳ２５１において、対象ブロックの量子化ステップが補正閾値Thより大きくないと判定された場合、すなわち、規定値どうしの間隔との比較で、量子化歪みが小さい場合、処理は、ステップＳ２５３に進み、画素値補正部５５２は、画素値変更部２５１からの変更後対象ブロックを、補正後対象ブロックとして（復号後対象ブロックの画素値を、変更後対象ブロックの変更後画素値である規定値に補正して）、処理はリターンする。

［デコーダ３２２の他の構成例］

図３５は、図１８のデコーダ３２２の他の構成例を示すブロック図である。

すなわち、図３５は、エンコーダ２２が図３０に示したように構成される場合のデコーダ３２２の構成例を示している。

なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図３５において、デコーダ３２２は、蓄積バッファ４４１ないし予測画像選択部４５１、及び、マッピング情報生成部４６１を有する点で、図２０の場合と共通する。

但し、図３５のデコーダ３２２は、補正部４６２に代えて、補正部６６２が設けられているとともに、閾値設定部６０１が新たに設けられている点で、図２０の場合と相違する。

閾値設定部６０１には、可変長復号部４４２からヘッダ情報に含まれる、デコーダ３２２の復号対象の視差画像D#2の撮影視差ベクトルd2の最大値dmax及び最小値dminが供給される。

閾値設定部６０１は、図３０の閾値設定部５０１と同様に、可変長復号部４４２からの撮影視差ベクトルd2の最大値dmax及び最小値dminから、撮影視差ベクトルd2のダイナミックレンジ|dmax-dmin|を求め、そのダイナミックレンジ|dmax-dmin|に基づいて、補正閾値Thを設定する。そして、閾値設定部６０１は、補正閾値Thを、補正部６６２に供給する。

補正部６６２には、閾値設定部６０１から補正閾値Thが供給される他、マッピング情報生成部４６１からマッピング情報が供給されるとともに、演算部４４５から、復号後対象ブロック（デコード視差画像D#2）が供給される。

補正部６６２は、図２０の補正部５３２と同様に、復号後対象ブロック（の復号後画素値）を規定値に補正するかどうかを、閾値設定部６０１からの補正閾値Thと、逆量子化部４４３での対象ブロックの逆量子化に用いられた量子化ステップ（図３０の量子化部２１５での対象ブロックの量子化に用いられた量子化ステップに等しい）とに基づいて判定する。

そして、補正部６６２は、その判定の結果に従い、マッピング情報生成部４６１からのマッピング情報を用いて、演算部４４５からの復号後対象ブロック（の画素値である復号後画素値）を規定値に補正し、その補正後の対象ブロックである補正後対象ブロックを、デブロッキングフィルタ４４６に供給する。

図３６は、図３５の補正部６６２の構成例を示すブロック図である。

図３６において、補正部６６２は、画素値変更部６７１、及び、画素値補正部６７２を有する。

画素値変更部６７１、及び、画素値補正部６７２は、図３１の補正部５３２を構成する画素値変更部２５１、及び、画素値補正部５５２と、それぞれ同様の処理を行う。

すなわち、画素値変更部６７１には、演算部４４５から、対象ブロックのデコード視差画像D#2である復号後対象ブロックが供給されるとともに、マッピング情報生成部４６１から、マッピング情報が供給される。

画素値変更部６７１は、図３１（及び図１２）の画素値変更部２５１と同様に、演算部４４５からの復号後対象ブロックの画素値である復号後画素値を、マッピング情報生成部４６１からのマッピング情報に基づいて規定値に変更し、その変更後の画素値である変更後画素値からなる対象ブロックである変更後対象ブロックを、画素値補正部６７２に供給する。

画素値補正部６７２には、画素値変更部６７１から、変更後対象ブロックが供給される他、演算部４４５から、復号後対象ブロックが供給されるとともに、閾値設定部６０１から、補正閾値Thが供給される。

画素値補正部６７２は、図３１の画素値補正部５５２と同様に、演算部４４５からの復号後対象ブロック（の復号後画素値）を規定値に補正するかどうかを、閾値設定部６０１からの補正閾値Thと、対象ブロックの量子化ステップ（逆量子化部４４３（図３５）での対象ブロックの逆量子化に用いられた量子化ステップ）との大小関係に基づいて判定する。

すなわち、画素値補正部６７２は、対象ブロックの量子化ステップが、補正閾値Thより大きい場合、量子化歪みの影響が大きく、復号後画素値を最近傍の規定値に補正しても、正しい規定値（原対象ブロックの画素値）とは異なる規定値に補正される可能性が高いため、規定値への補正を行わないと判定する。

そして、画素値補正部６７２は、演算部４４５からの復号後対象ブロックを、そのまま、補正後対象ブロックとして、デブロッキングフィルタ４４６に供給する。

一方、対象ブロックの量子化ステップが、補正閾値Thより大きくない場合、量子化歪みの影響が小さく、復号後画素値を最近傍の規定値に補正することにより、正しい規定値（原対象ブロックの画素値）に補正される可能性が高いため、画素値補正部６７２は、規定値への補正を行うと判定する。

そして、画素値補正部６７２は、画素値変更部６７１からの、復号後画素値を最近傍の規定値に変更した変更後画素値からなる変更後対象ブロックを、補正後対象ブロックとして、デブロッキングフィルタ４４６に供給する。

図３７は、図３５のデコーダ３２２が行う、視点#2の視差画像D#2の符号化データを復号する復号処理を説明するフローチャートである。

ステップＳ３１１ないしＳ３１５において、図２２のステップＳ１１１ないしＳ１１５と、それぞれ同様の処理が行われる。

そして、演算部４４５が、ステップＳ３１５において得られた復号後対象ブロックを、補正部６６２に供給し、処理は、ステップＳ３１５からステップＳ３１６に進む。

ステップＳ３１６では、マッピング情報生成部４６１は、マッピング情報を求め、補正部６６２に供給して、処理は、ステップＳ３１６からステップＳ３１７に進む。

ステップＳ３１７では、閾値設定部６０１が、補正閾値Thを設定し、補正部６６２に供給して、処理は、ステップＳ３１８に進む。

ステップＳ３１８では、補正部６６２が、マッピング情報生成部４６１からのマッピング情報、及び、閾値設定部６０１からの補正閾値Thを用いて、演算部４４５からの復号後対象ブロック（の画素値である復号後画素値）を補正する、図３３と同様の補正処理を行う。そして、補正部６６２は、補正処理後の対象ブロックである補正後対象ブロックを、デブロッキングフィルタ４４６に供給して、処理は、ステップＳ３１８からステップＳ３１９に進む。

以下、ステップＳ３１９ないしＳ３２３では、図２０のステップＳ１１８ないしＳ１２２と、それぞれ同様の処理が行われる。

なお、以上においては、ダイナミックレンジ|dmax-dmin|と量子化ステップとの両方に基づいて、規定値への補正を行うかどうかを判定することとしたが、すなわち、ダイナミックレンジ|dmax-dmin|に基づいて、補正閾値Thを設定し、その補正閾値Thを用いた量子化ステップの閾値処理によって、規定値への補正を行うかどうかを判定することとしたが、規定値への補正を行うかどうかの判定は、ダイナミックレンジ|dmax-dmin|、及び、量子化ステップのうちの一方に基づいて行うことが可能である。

すなわち、規定値への補正を行うかどうかは、例えば、固定の閾値を設定し、その固定の閾値を用いて、ダイナミックレンジ|dmax-dmin|、又は、量子化ステップの閾値処理を行うことによって判定することが可能である。

［本技術を適用したコンピュータの説明］

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図３９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク８０５やROM８０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体８１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体８１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク８０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)８０２を内蔵しており、CPU８０２には、バス８０１を介して、入出力インタフェース８１０が接続されている。

CPU８０２は、入出力インタフェース８１０を介して、ユーザによって、入力部８０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)８０３に格納されているプログラムを実行する。あるいは、CPU８０２は、ハードディスク８０５に格納されたプログラムを、RAM(Random Access Memory)８０４にロードして実行する。

これにより、CPU８０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース８１０を介して、出力部８０６から出力、あるいは、通信部８０８から送信、さらには、ハードディスク８０５に記録等させる。

なお、入力部８０７は、キーボードや、マウス、マイク等で構成される。また、出力部８０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

［テレビジョン装置の構成例］
図４０は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、デコード画像の画質を向上させることができる。

［携帯電話機の構成例］
図４１は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。

データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、デコード画像の画質を向上させることができる。

［記録再生装置の構成例］
図４２は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。

セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された記録再生装置では、デコーダ９４７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、デコード画像の画質を向上させることができる。

［撮像装置の構成例］
図４３は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。

光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。

カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。

画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。

ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。

外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。

メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。

また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、デコード画像の画質を向上させることができる。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

すなわち、本技術は、視差画像（視差情報画像）の、MVCを利用した符号化、及び、復号に限定されるものではない。

本技術は、所定のデータに対応する値を画素値とする画像であり、画素値として取り得る値が、所定のデータの最大値と最小値とに応じて、所定の規定値に規定される画像を対象として、少なくとも量子化を行う符号化、及び、その符号化結果を、少なくとも逆量子化する復号に適用可能である。

１１，１２，２１，２２ エンコーダ， ３１ DPB， ３２ 多重化部， ４１，４２ カメラ， ４３ 多視点画像情報生成部， １１１ A/D変換部， １１２ 画面並び替えバッファ， １１３ 演算部， １１４ 直交変換部， １１５ 量子化部， １１６ 可変長符号化部， １１７ 蓄積バッファ， １１８ 逆量子化部， １１９ 逆直交変換部， １２０ 演算部， １２１ デブロッキングフィルタ， １２２ 画面内予測部， １２３ インター予測部， １２４ 予測画像選択部， ２１１ A/D変換部， ２１２ 画面並び替えバッファ， ２１３ 演算部， ２１４ 直交変換部， ２１５ 量子化部， ２１６ 可変長符号化部， ２１７ 蓄積バッファ， ２１８ 逆量子化部， ２１９ 逆直交変換部， ２２０ 演算部， ２２１ デブロッキングフィルタ， ２２２ 画面内予測部， ２２３ インター予測部， ２２４ 予測画像選択部， ２３１ マッピング情報生成部， ２３２ 補正部， ２５１ 画素値変更部， ２５２ 画素値補正部， ３０１ 分離部， ３１１，３１２，３２１，３２２ デコーダ， ３３１ DPB， ３４１ 蓄積バッファ， ３４２ 可変長復号部， ３４３ 逆量子化部， ３４４ 逆直交変換部， ３４５ 演算部， ３４６ デブロッキングフィルタ， ３４７ 画面並び替え部， ３４８ D/A変換部， ３４９ 画面内予測部， ３５０ インター予測部， ３５１ 予測画像選択部， ４４１ 蓄積バッファ， ４４２ 可変長復号部， ４４３ 逆量子化部， ４４４ 逆直交変換部， ４４５ 演算部， ４４６ デブロッキングフィルタ， ４４７ 画面並び替え部， ４４８ D/A変換部， ４４９ 画面内予測部， ４５０ インター予測部， ４５１ 予測画像選択部， ４６１ マッピング情報生成部， ４６２ 補正部， ４７１ 画素値補正部， ５０１ 閾値設定部， ５３２ 補正部， ５５２ 画素値補正部， ６０１ 閾値設定部， ６６２ 補正部， ６７１ 画素値変更部， ６７２ 画素値補正部， ８０１ バス， ８０２ CPU， ８０３ ROM， ８０４ RAM， ８０５ ハードディスク， ８０６ 出力部， ８０７ 入力部， ８０８ 通信部， ８０９ ドライブ， ８１０ 入出力インタフェース， ８１１ リムーバブル記録媒体

Claims (11)

1. 所定のデータに対応する値を画素値とする画像であり、前記画素値として取り得る値が、前記所定のデータの最大値と最小値とに応じて、所定の規定値に規定される画像を、少なくとも量子化して逆量子化することにより得られるデコード画像の画素値を、前記規定値に補正する補正部を備える
   画像処理装置。
2. 前記補正部は、前記デコード画像の画素値を、その画素値に最も近い前記規定値に補正する
   請求項１に記載の画像処理装置。
3. 前記補正部は、前記デコード画像の画素値を、その画素値に最も近い前記規定値に変更した変更後の画素値と、原画像の画素値との差、及び、前記デコード画像の画素値と、原画像の画素値との差に基づいて、前記デコード画像の画素値を、その画素値に最も近い前記規定値に補正するか、又は、そのままとする
   請求項２に記載の画像処理装置。
4. 前記補正部は、前記デコード画像の画素値を、その画素値に最も近い前記規定値に補正するか、又は、そのままとするかを表す補正フラグを出力する
   請求項３に記載の画像処理装置。
5. 前記補正部は、前記デコード画像の画素値を、その画素値に最も近い前記規定値に補正するか、又は、そのままとするかを表す補正フラグを取得し、前記補正フラグに基づいて、前記デコード画像の画素値を、その画素値に最も近い前記規定値に補正するか、又は、そのままとする
   請求項２に記載の画像処理装置。
6. 前記補正部は、前記所定のデータの最大値と最小値との差に基づいて、前記デコード画像の画素値を、その画素値に最も近い前記規定値に補正するか、又は、そのままとする
   請求項２に記載の画像処理装置。
7. 前記補正部は、前記画像を量子化する量子化ステップに基づいて、前記デコード画像の画素値を、その画素値に最も近い前記規定値に補正するか、又は、そのままとする
   請求項２に記載の画像処理装置。
8. 前記補正部は、
   前記量子化ステップが所定の閾値より大である場合、前記デコード画像の画素値を、そのままとし、
   前記量子化ステップが所定の閾値より大でない場合、前記デコード画像の画素値を、その画素値に最も近い前記規定値に補正し、
   前記所定のデータの最大値と最小値との差に基づいて、前記所定の閾値を設定する閾値設定部をさらに備える
   請求項７に記載の画像処理装置。
9. 前記画像は、色画像の画素ごとの視差に関するデプス情報を画素値として有するデプス画像である
   請求項１に記載の画像処理装置。
10. 所定のデータに対応する値を画素値とする画像であり、前記画素値として取り得る値が、前記所定のデータの最大値と最小値とに応じて、所定の規定値に規定される画像を、少なくとも量子化して逆量子化することにより得られるデコード画像の画素値を、前記規定値に補正する
    ステップを含む画像処理方法。
11. 所定のデータに対応する値を画素値とする画像であり、前記画素値として取り得る値が、前記所定のデータの最大値と最小値とに応じて、所定の規定値に規定される画像を、少なくとも量子化して逆量子化することにより得られるデコード画像の画素値を、前記規定値に補正する補正部
    として、コンピュータを機能させるためのプログラム。

Images