JP6061150B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、ある視点の画像の、他の視点の画像に対する視差を表す視差ベクトルの予測ベクトルとして、予測精度の良いベクトルを求めることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。

3D(Dimension)画像等の複数の視点の画像を符号化する符号化方式としては、例えば、AVC(Advanced Video Coding)(H.264/AVC)方式を拡張したMVC(Multiview Video Coding)方式等がある。

MVC方式では、符号化対象となる画像は、被写体からの光に対応する値を、画素値として有する色画像であり、複数の視点の色画像それぞれは、必要に応じて、その視点の色画像の他、他の視点の色画像をも参照して、符号化される。

すなわち、MVC方式では、複数の視点の色画像のうちの、１つの視点の色画像が、ベースビュー(Base View)の画像とされ、他の視点の色画像は、ディペンデントビュー(Dependent View)の画像とされる。

そして、ベースビューの色画像は、そのベースビューの画像のみを参照して符号化され、ディペンデントビューの色画像は、そのディペンデントビューの画像の他、他のビューの画像をも必要に応じて参照して符号化される。

すなわち、ディペンデントビューの色画像については、必要に応じて、他のビューの色画像を参照して予測画像を生成する視差予測が行われ、その予測画像を用いて符号化される。

ここで、ある視点#1の色画像を、ベースビューの画像とするとともに、他の視点#2の色画像を、ディペンデントビューの画像とする。

MVC方式において、視点#2の色画像について、視点#1の色画像を参照して視差予測が行われ、その視差予測により得られる予測画像を用いて符号化（予測符号化）が行われる場合、視点#2の色画像の符号化対象の、例えば、マクロブロックである対象ブロックの、視点#1の色画像に対する視差を表す視差ベクトルが検出される。

さらに、MVC方式では、対象ブロックの視差ベクトルを予測した予測ベクトルが求められ、視差ベクトルと予測ベクトルとの差分である残差ベクトルが符号化される。

MVC方式において、残差ベクトルの符号量は、残差ベクトルが大であるほど多くなる傾向があるので、残差ベクトルの大きさが小さければ、つまり、予測ベクトルの予測精度が良ければ（予測ベクトルが視差ベクトルに似ているほど）、符号化効率を向上させることができる。

ところで、近年においては、複数の視点の画像として、各視点の色画像の他に、各視点の色画像の画素ごとの視差に関する視差情報を、画素値として有する視差情報画像（デプス画像）を採用し、各視点の色画像と各視点の視差情報画像とを符号化する符号化方式として、例えば、MPEG3DV方式等の規格が策定されつつある。

MPEG3DV方式では、各視点の色画像と、各視点の視差情報画像とのそれぞれが、原則として、MVC方式と同様にして符号化される。

MVC方式では、色画像の対象ブロックの周辺のブロックの視差ベクトルから、対象ブロックの（視差ベクトルの）予測ベクトルが求められるが、対象ブロックが、例えば、前景となっているオブジェクトの境界部分である場合には、その対象ブロックの周辺のブロックとして、前景のブロックや、背景のブロック、さらには、オクルージョンが生じている部分のブロックが混在することがあるため、そのようなブロックから求められる、対象ブロックの予測ベクトルについては、予測精度が悪くなることがある。

そこで、視差情報画像に基づいて、色画像の、対象ブロックの周辺のブロックの視差ベクトルのうちの１つを、対象ブロックの予測ベクトルとして選択する方法が提案されている（例えば、非特許文献１を参照）。

Tadashi Uchiumi, Makoto Ohtsu, Junsei Sato, Yoshiya Yamamoto, Atsutoshi Shimeno, "A Method of Disparity Vector Prediction using Depth Map", NTERNATIONAL ORGANISATION FOR STANDARDISATION, ORGANISATION INTERNATIONALE DE NORMALISATION, ISO/IEC JTC1/SC29/WG11,CODING OF MOVING PICTURES AND AUDIO, ISO/IEC JTC1/SC29/WG11, MPEG2010/M18367, October 2010, Guangzhou, CN

上述のように、視差情報画像に基づいて、色画像の、対象ブロックの周辺のブロックの視差ベクトルのうちの１つを、対象ブロックの予測ベクトルとして選択するのでは、予測性の良い予測ベクトルを得ることが困難な場合がある。

本技術は、このような状況に鑑みてなされたものであり、視差ベクトルの予測ベクトルとして、予測精度の良いベクトルを求めることができるようにするものである。

本技術の第１の側面の画像処理装置、又は、プログラムは、第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルを、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成する予測ベクトル生成部を備え、前記予測ベクトル生成部は、前記同一位置ブロックとの差が所定の閾値以上である、前記同一位置ブロックの周辺のブロックである周辺デプスブロックの個数に基づいて、前記デプス情報利用予測方式、または、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルを生成し、前記同一位置ブロックとの差が前記所定の閾値以上である前記周辺デプスブロックの個数が所定の個数以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。

本技術の第１の側面の画像処理方法は、画像処理装置が、第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルを、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成する予測ベクトル生成ステップを含み、前記予測ベクトル生成ステップの処理では、前記同一位置ブロックとの差が所定の閾値以上である、前記同一位置ブロックの周辺のブロックである周辺デプスブロックの個数に基づいて、前記デプス情報利用予測方式、または、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルを生成し、前記同一位置ブロックとの差が前記所定の閾値以上である前記周辺デプスブロックの個数が所定の個数以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する画像処理方法である。

以上のような第１の側面においては、第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルが、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成される。具体的には、前記同一位置ブロックとの差が所定の閾値以上である、前記同一位置ブロックの周辺のブロックである周辺デプスブロックの個数に基づいて、前記デプス情報利用予測方式、または、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルが生成され、前記同一位置ブロックとの差が前記所定の閾値以上である前記周辺デプスブロックの個数が所定の個数以上である場合、前記デプス情報利用予測方式で前記予測ベクトルが生成される。
本技術の第２の側面の画像処理装置、又は、プログラムは、第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルを、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成する予測ベクトル生成部を備え、前記予測ベクトル生成部は、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの分散に基づいて、前記デプス情報利用予測方式、または、前記周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルを生成し、前記周辺色ブロックの視差ベクトルの分散が所定の閾値以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する画像処理装置、又は、画像処理装置としてコンピュータを機能させるためのプログラムである。
本技術の第２の側面の画像処理方法は、画像処理装置が、第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルを、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成する予測ベクトル生成ステップを含み、前記予測ベクトル生成ステップの処理では、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの分散に基づいて、前記デプス情報利用予測方式、または、前記周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルを生成し、前記周辺色ブロックの視差ベクトルの分散が所定の閾値以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する画像処理方法である。
以上のような第２の側面においては、第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルが、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成される。具体的には、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの分散に基づいて、前記デプス情報利用予測方式、または、前記周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルが生成され、前記周辺色ブロックの視差ベクトルの分散が所定の閾値以上である場合、前記デプス情報利用予測方式で前記予測ベクトルが生成される。

なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術によれば、視差ベクトルの予測ベクトルとして、予測精度の良いベクトルを求めることができる。

SAD最小予測方式を説明する図である。 SAD最小予測方式を説明する図である。 本技術の概要を説明する図である。 本技術を適用した多視点画像エンコーダの一実施の形態の構成例を示すブロック図である。 多視点画像エンコーダにおいて符号化の対象となる複数の視点の画像を生成する多視点画像生成装置の構成例を示すブロック図である。 MVC方式の予測符号化において、予測画像を生成するときに参照するピクチャを説明する図である。 MVC方式でのピクチャの符号化（及び復号）順を説明する図である。 エンコーダ１１の構成例を示すブロック図である。 MVC(AVC)方式のマクロブロックタイプを説明する図である。 MVC(AVC)方式の予測ベクトル(PMV)を説明する図である。 MVC(AVC)方式の予測ベクトルと参照インデクスとの関係を説明する図である。 エンコーダ１２の構成例を示すブロック図である。 視差予測部２３２の構成例を示すブロック図である。 視点#2の色画像C#2を符号化する符号化処理を説明するフローチャートである。 視差予測処理を説明するフローチャートである。 予測ベクトル生成処理を説明するフローチャートである。 ベクトル予測処理を説明する図である。 ベクトル予測処理を説明するフローチャートである。 本技術を適用した多視点画像デコーダの一実施の形態の構成例を示すブロック図である。 デコーダ３１１の構成例を示すブロック図である。 デコーダ３１２の構成例を示すブロック図である。 視差予測部４６２の構成例を示すブロック図である。 視点#2の色画像C#2の符号化データを復号する復号処理を説明するフローチャートである。 視差予測処理を説明するフローチャートである。 予測ベクトル生成処理を説明するフローチャートである。 符号化コストに基づいて、視差情報利用予測方式、及び、MVC方式の予測精度を推定する方法を説明する図である。 視差予測部２３２の構成例を示すブロック図である。 視差予測処理を説明するフローチャートである。 予測ベクトル生成処理を説明するフローチャートである。 ベクトル予測処理を説明するフローチャートである。 視差ベクトル検出処理を説明するフローチャートである。 視差予測部４６２の構成例を示すブロック図である。 視差予測処理を説明するフローチャートである。 予測ベクトル生成処理を説明するフローチャートである。 ヘッダ情報に含められる予測器フラグの例を示す図である。 ヘッダ情報に含められる予測器フラグの例を示す図である。 ヘッダ情報に含められる予測器フラグの例を示す図である。 視差ベクトルのばらつき具合に基づいて、視差情報利用予測方式、及び、MVC方式の予測精度を推定する方法を説明する図である。 視差予測部２３２の構成例を示すブロック図である。 予測ベクトル生成処理を説明するフローチャートである。 ベクトル予測処理を説明するフローチャートである。 視差予測部４６２の構成例を示すブロック図である。 予測ベクトル生成処理を説明するフローチャートである。 視差と奥行きについて説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 本技術を適用したテレビジョン装置の概略構成例を示す図である。 本技術を適用した携帯電話機の概略構成例を示す図である。 本技術を適用した記録再生装置の概略構成例を示す図である。 本技術を適用した撮像装置の概略構成例を示す図である。

[本明細書におけるデプス画像（視差情報画像）の説明]
図４４は、視差と奥行きについて説明する図である。

図４４に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。

・・・（ａ）

なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。

式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差情報画像）とする。

なお、デプス画像（視差情報画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差情報画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。

視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

なお、式（ｂ）において、Ｄ_ｍａｘは、視差ｄの最大値であり、Ｄ_ｍｉｎは、視差ｄの最小値である。最大値Ｄ_ｍａｘと最小値Ｄ_ｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。

なお、式（ｃ）において、Ｚ_ｆａｒは、奥行きＺの最大値であり、Ｚ_ｎｅａｒは、奥行きＺの最小値である。最大値Ｚ_ｆａｒと最小値Ｚ_ｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。

このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差情報画像）とする。ここでは、デプス画像（視差情報画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。

なお、デプス画像（視差情報画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップとする。

以下、図面を参照して、本技術の一実施の形態について説明するが、その前に、前段階の準備として、複数の視点の色画像、及び、視差情報画像(デプス画像)を対象とした符号化、及び、復号において、視差ベクトルの予測ベクトルを求める方法の一例であるSAD最小予測方式（SAD最小予測器）について説明する。

［SAD最小予測方式］

図１は、非特許文献１において、視差ベクトルの予測ベクトルを求める方法として提案されているSAD最小予測方式を説明する図である。

いま、複数の視点の画像として、２つの視点の色画像である視点#1の色画像C#1、及び、視点#1と異なる視点#2の色画像C#2、並びに、２つの視点の視差情報画像である視点#1の視差情報画像D#1、及び、視点#2の視差情報画像D#2があるとする。

なお、視差情報画像D#i（ここでは、i=1,2）は、色画像C#iの画素ごとの視差に関する視差情報（デプス情報）を、画素値として有する画像である。

また、ここでは、視点#1の色画像C#1、及び、視点#2の色画像C#2のうちの、視点#1の色画像C#1（のピクチャ）を参照ピクチャとして、視点#2の色画像C#2の予測画像を生成する視差予測において用いられる視差ベクトルの予測ベクトルを求めることとする。

いま、視点#2の色画像C#2の、先頭からt番目（時刻t）のピクチャである第tピクチャのあるブロック（マクロブロック）CXが、符号化（又は復号）対象の対象ブロックであるとする。

ここで、色画像C#2の対象ブロックを有するピクチャ、つまり、符号化対象のピクチャを、対象ピクチャともいう。

MVC方式では、色画像C#2の対象ブロックCXの（視差ベクトルの）予測ベクトルが、その対象ブロックCXの周辺のブロック（以下、周辺色ブロックともいう）のうちの、（ラスタスキャン順で）既に符号化（復号）済みのブロックの視差ベクトルから求められる。

すなわち、MVC方式では、対象ブロックCXの左に隣接する周辺色ブロックCA、上に隣接する周辺色ブロックCB、及び、右斜め上に隣接する周辺色ブロックCCそれぞれの視差ベクトルのメディアン（中央値）を、対象ブロックCXの予測ベクトルとして求めるベクトル予測方式（以下、メディアン予測方式、又は、メディアン予測器ともいう）によって、予測ベクトルが求められる。

なお、メディアン予測方式において、対象ブロックCXの予測ベクトルとしてのメディアンの算出は、x成分とy成分とのそれぞれについて、独立に行われる。

いま、図１に示すように、色画像C#2に、背景と、その背景の手前側に存在するオブジェクトとしての矩形の前景とが写っており、対象ブロックCXが、前景の境界部分のブロックであるとする。

すなわち、例えば、対象ブロックCXが、矩形の前景の左上のブロックの右隣のブロックであるとする。

この場合、対象ブロックCXの左に隣接する周辺色ブロックCAは、矩形の前景の左上のブロックとなる。また、対象ブロックCXの上に隣接する周辺色ブロックCB、及び、右斜め上に隣接する周辺色ブロックCCは、背景のブロックとなる。

色画像C#2において、前景と背景とでは、視差が比較的大きく異なるため、前景のブロックである対象ブロックCXと、背景のブロックである周辺色ブロックCB及びCCそれぞれとでは、視差ベクトルが大きく異なる。

また、前景のブロックである対象ブロックCXと周辺色ブロックCAとでは、視差ベクトルがほぼ同様のベクトルとなる。

したがって、この場合、前景のブロックである対象ブロックCXの予測ベクトルとしては、例えば、前景のブロックである周辺色ブロックCAを採用することで、精度の良い予測ベクトルを求めることができる。

しかしながら、メディアン予測方式（メディアン予測器）では、周辺色ブロックCA,CB、及び、CCそれぞれの視差ベクトルのメディアンが、対象ブロックCXの予測ベクトルとして求められるため、周辺色ブロックCAないしCCの中で、数が多い背景のブロックである周辺色ブロックCB及びCCの視差ベクトルが、前景のブロックである対象ブロックCXの予測ベクトルとして採用される。

この場合、対象ブロックCXの予測ベクトルの予測精度は、悪くなる。

そこで、SAD最小予測方式（SAD最小予測器）では、視差情報画像D#2の、対象ブロックCXと同一位置のブロックである同一位置ブロックDXと、その同一位置ブロックDXの周辺のブロック（以下、周辺視差ブロックともいう）のうちの、左、上、及び右斜め上に隣接するブロックDA，DB、及び、DCそれぞれとのSAD(Sum of Absolute Differences)が求められる。

そして、SAD最小予測方式では、視差情報画像D#2の周辺視差ブロック(周辺デプスブロック)DA，DB、及び、DCのうちの、同一位置ブロックDXとのSADが最小の周辺視差ブロック（以下、SAD最小視差ブロックともいう）が検出され、色画像C#2の周辺色ブロックCAないしCCのうちの、SAD最小視差ブロックと同一位置の周辺色ブロックの視差ベクトルが、対象ブロックCXの予測ベクトルとして採用される。

視差情報画像D#2において、同一位置ブロックDXと周辺視差ブロックとのSADは、同一位置ブロックDXと周辺視差ブロックとが、例えば、同一のオブジェクトのブロックである場合等の、視差がない（少ない）被写体のブロックである場合に、小さくなる。

図１の視差情報画像D#2については、同一位置ブロックDX、及び、周辺視差ブロックDAは、前景のブロックであり、周辺視差ブロックDB、及び、DCは、背景のブロックである。したがって、周辺視差ブロックDAないしDCの中では、同一位置ブロックDXと同様の前景のブロックである周辺視差ブロックDAが、同一位置ブロックDXとのSADが最小のSAD最小視差ブロックとなる。

その結果、SAD最小予測方式では、色画像C#2の周辺色ブロックCAないしCCのうちの、SAD最小視差ブロックDAと同一位置の周辺色ブロックDAの視差ベクトルが、対象ブロックCXの予測ベクトルとして採用され、精度の良い予測ベクトルを求めることができる。

以上のように、SAD最小予測方式では、視差情報画像D#2を用い、色画像C#2の周辺色ブロックCAないしCCの中で、対象ブロックCXと同一のオブジェクトが写っている周辺色ブロックCAが検出（判定）され、その周辺色ブロックCAの視差ベクトルが、対象ブロックCXの予測ベクトルに採用される。

しかしながら、SAD最小予測方式は、メディアン予測方式と同様の予測精度（性能）となることがあり、また、メディアン予測方式よりも、予測精度が悪くなることがある。

図２は、SAD最小予測方式（SAD最小予測器）が、メディアン予測方式と同様の予測精度となる場合と、メディアン予測方式（メディアン予測器）よりも、予測精度が悪くなる場合とを説明する図である。

すなわち、図２のＡは、SAD最小予測方式が、メディアン予測方式と同様の予測精度となる場合を説明する図である。

図２のＡでは、図１と同様に、色画像C#2に、背景と、その背景の手前側に存在するオブジェクトとしての矩形の前景とが写っている。

そして、図２のＡでは、対象ブロックCXが、矩形の前景の左上のブロックになっている。

このため、対象ブロックCXの左に隣接する周辺色ブロックCA、上に隣接する周辺色ブロックCB、及び、右斜め上に隣接する周辺色ブロックCCは、いずれも、背景のブロックになっている。

以上のように、対象ブロックCXが、前景のブロックであり、周辺色ブロックCAないしCCが、背景のブロックになっている場合には、対象ブロックCXの視差ベクトルは、周辺色ブロックCAないしCCのうちのいずれの視差ベクトルとも大きく異なる（相関が低い）。

したがって、周辺色ブロックCAないしCCの視差ベクトルのメディアンを、対象ブロックCXの予測ベクトルとして求めるメディアン予測方式であっても、視差情報画像D#2のSAD最小視差ブロックと同一位置の周辺色ブロックの視差ベクトルを、対象ブロックCXの予測ベクトルとして求めるSAD最小予測方式であっても、予測ベクトルの予測精度は悪くなる。

図２のＢは、SAD最小予測方式が、メディアン予測方式よりも、予測精度が悪くなる場合を説明する図である。

図２のＢでは、図１と同様に、色画像C#2に、背景と、その背景の手前側に存在するオブジェクトとしての矩形の前景とが写っている。

さらに、図２のＢでは、図１と同様に、対象ブロックCXが、矩形の前景の左上のブロックの右隣のブロックになっている。

したがって、対象ブロックCXの左に隣接する周辺色ブロックCAは、矩形の前景の左上のブロックになっており、対象ブロックCXの上に隣接する周辺色ブロックCB、及び、右斜め上に隣接する周辺色ブロックCCは、背景のブロックになっている。

以上のように、対象ブロックCX、及び、周辺色ブロックCAが、前景のブロックであり、周辺色ブロックCB及びCCが、背景のブロックである場合、図１で説明したように、視差情報画像D#2の周辺視差ブロックDAないしDCのうちの、周辺視差ブロックDAが、SAD最小視差ブロックとなり、SAD最小予測方式によれば、SAD最小視差ブロックDAと同一位置の周辺色ブロックCAの視差ベクトルが、対象ブロックCXの予測ベクトルとして採用される。

しかしながら、図２のＢに示したように、対象ブロックCXの左に隣接する周辺色ブロックCAが、矩形の前景の左上のブロック（前景の境界に接するブロック、又は、境界を含むブロック）である場合には、オクルージョンの影響で、いずれも前景のブロックである対象ブロックCX、及び、周辺色ブロックCAそれぞれの予測ベクトルが、大きく異なるベクトル（相関のない（低い）ベクトル）になることがある。

すなわち、色画像C#2のブロック（マクロブロック）については、その色画像C#2の視点#2とは異なる、例えば、視点#1の色画像C#1（のピクチャ）を参照ピクチャとして、ME(Motion Estimation)（動き検出）が行われることによって、参照ピクチャである色画像C#1（のピクチャ）において、例えば、色画像C#2のブロックとのSADを最小にする領域としてのブロック（以下、対応ブロックともいう）との位置のずれを表すベクトルであるずれベクトルが、視差ベクトルとして検出される。

したがって、色画像C#2のブロックに写っている部分（テクスチャ）の全体が、色画像C#1にも写っていれば、色画像C#1に写っている、色画像C#2のブロックに写っている部分と同様の部分を対応ブロックとして、その対応ブロックとの位置のずれを表すずれベクトルが、視差ベクトルとして検出される。

しかしながら、特に、前景の境界部分では、視差の影響により、オクルージョン、すなわち、視点#2の色画像#2には写っているが、視点#1の色画像#1には写っていない部分（や、色画像#1には写っているが、色画像#2には写っていない部分）が生じる。

したがって、例えば、色画像C#2のブロックに写っている（前景の）部分の一部が、色画像C#1に写っていない場合があり、この場合、色画像C#2のブロックに写っている部分とは異なる部分が写っている色画像C#1のブロックが、対応ブロックとなり、視差と大きく異なるベクトルが、視差ベクトルとして検出されることがある。

図２のＢでは、前景の境界にある周辺色ブロックCAについて、オクルージョンの影響により、前景の視差とは大きく異なる視差ベクトルが検出されている。

上述したように、SAD最小予測方式によれば、周辺色ブロックCAの視差ベクトルが、対象ブロックCXの予測ベクトルとして採用されるが、周辺色ブロックCAの視差ベクトルが、オクルージョンの影響により、前景の視差とは大きく異なる場合には、メディアン予測方式で求められる予測ベクトルの方が、予測精度が良いことがある。

なお、図２で説明したことは、対象ブロックCXが、前景の左上の境界部分のブロックである場合の他、例えば、前景の右上の境界部分のブロックである場合等にも生じうる。

そこで、本技術では、予測ベクトルを生成するベクトル予測方式として、視差情報画像から、対象ブロックの予測ベクトルを生成する視差情報利用予測方式を採用する。

視差情報利用予測方式(デプス情報利用予測方式)によれば、視差情報画像(デプス画像)から、対象ブロックの予測ベクトルを生成するので、平均的に、予測精度が良い予測ベクトルを求めることができる。

したがって、予測ベクトルの生成にあたっては、視差情報利用予測方式のみを採用することができる。

但し、以下では、視差情報利用予測方式に加えて、例えば、MVC方式（のメディアン予測方式）等の他のベクトル予測方式も採用し、視差情報利用予測方式を含む複数のベクトル予測方式を、適応的に切り替える方法、すなわち、視差情報利用予測方式、及び、他のベクトル予測方式のそれぞれで生成される予測ベクトルの中から、予測精度が高いと推定される予測ベクトルを、対象ブロックの処理に用いる予測ベクトルとして採用する方法について説明する。

［本技術の概要］

図３は、本技術の概要を説明する図である。

図３では、図２のＡと同様に、色画像C#2に、背景と、その背景の手前側に存在するオブジェクトとしての矩形の前景とが写っており、色画像C#2の対象ブロックCXが、矩形の前景の左上のブロックになっている。

このため、対象ブロックCXの左に隣接する周辺色ブロックCA、上に隣接する周辺色ブロックCB、及び、右斜め上に隣接する周辺色ブロックCCは、いずれも、背景のブロックになっている。

以上のように、対象ブロックCXが、前景のブロックであり、周辺色ブロックCAないしCCが、背景のブロックになっている場合には、図２のＡで説明したように、メディアン予測方式（メディアン予測器）であっても、SAD最小予測方式（SAD最小予測器）であっても、予測ベクトルの予測精度は悪くなることがある。

そこで、本技術では、視差情報画像D#2の、対象ブロックと同一位置のブロックである同一位置ブロックDXと、その同一位置ブロックDXの周辺のブロックのうちの、左、上、及び、右斜め上に隣接する周辺視差ブロックDA，DB、及び、DCそれぞれとの差に相当するSADが求められる。

そして、本技術では、視差情報画像D#2の周辺視差ブロックDAないしDCそれぞれと同一位置ブロックDXとのSADに基づいて、視差情報利用予測方式（視差情報利用予測器）で生成される予測ベクトルと、他のベクトル予測方式としての、例えば、メディアン予測方式（メディアン予測器）で生成される予測ベクトルとのうちの、予測精度が高いと推定される予測ベクトルが、対象ブロックCXの処理に用いる予測ベクトルとして生成される。

すなわち、本技術では、視差情報画像D#2の周辺視差ブロックDAないしDCの３個の周辺視差ブロックの中で、同一位置ブロックDXとのSADが所定の閾値以上である（又は、所定の閾値より大きい）周辺視差ブロックの数が判定される。

ここで、周辺視差ブロックと同一位置ブロックDXとのSADによれば、その周辺視差ブロックと同一位置の色画像C#2の周辺色ブロックと、対象ブロックCX（同一位置ブロックDXと同一位置の色画像C#2のブロック）とに、同一のオブジェクトが写っているかどうかを判定（推定）することができる。

すなわち、周辺視差ブロックの中で、同一位置ブロックDXとのSADが所定の閾値以上である周辺視差ブロックと同一位置の色画像C#2の周辺色ブロックには、対象ブロックCXとは異なるオブジェクトが写っていると推定される。

本技術では、同一位置ブロックDXとのSADが所定の閾値以上である周辺視差ブロックの数が、例えば、半分以上の２個以上でない場合には、メディアン予測方式で生成される予測ベクトルの予測精度に問題がないと推定し、メディアン予測方式で、対象ブロックCXの予測ベクトルが生成される。

一方、同一位置ブロックDXとのSADが所定の閾値以上である周辺視差ブロックの数が、半分以上の２個以上である場合には、視差情報利用予測方式で生成される予測ベクトルの方が、メディアン予測方式で生成される予測ベクトルよりも、予測精度が高いと推定し、視差情報利用予測方式で、対象ブロックCXの予測ベクトルが生成される。

ここで、視差情報利用予測方式では、視差情報画像D#2から、色画像C#2の対象ブロックの予測ベクトルが生成される。

すなわち、視差情報利用予測方式では、視差情報画像D#2の、対象ブロックと同一位置のブロック（同一位置ブロック）DXの画素値である視差情報を用いて、所定の演算を行うことにより、予測ベクトルが生成される。

［本技術を適用した多視点画像エンコーダの一実施の形態］

図４は、本技術を適用した多視点画像エンコーダの一実施の形態の構成例を示すブロック図である。

図４の多視点画像エンコーダは、例えば、MVC方式を利用して、複数の視点の画像を符号化するエンコーダであり、以下では、MVC方式と同様の処理については、適宜、説明を省略する。

なお、多視点画像エンコーダは、MVC方式を利用するエンコーダに限定されるものではない。

また、以下では、複数の視点の画像として、２つのビューの色画像である視点#1の色画像C#1、及び、視点#2の色画像C#2、並びに、その２つのビューの視差情報画像である視点#1の視差情報画像D#1、及び、視点#2の視差情報画像D#2を採用することとする。

さらに、例えば、視点#1の色画像C#1、及び、視差情報画像D#1を、ベースビューの画像とし、残りの視点#2の色画像C#2、及び、視差情報画像D#2を、ディペンデントビューの画像として扱うこととする。

なお、複数の視点の画像としては、３つ以上の視点の色画像、及び、視差情報画像を採用することができ、その３つ以上の視点の色画像、及び、視差情報画像のうちの、任意の１つの視点の色画像、及び、視差情報画像を、ベースビューの画像とし、残りの視点の色画像、及び、視差情報画像を、ディペンデントビューの画像として扱うことができる。

図４において、多視点画像エンコーダは、エンコーダ１１，１２，２１，２２，DPB３１、及び、多重化部３２を有する。

エンコーダ１１には、視点#1の色画像C#1と、視差関連情報（デプス関連情報）とが供給される。

ここで、視差関連情報（デプス関連情報）は、視差情報(デプス情報)のメタデータであり、その詳細については、後述する。

エンコーダ１１は、視点#1の色画像C#1を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#1の色画像C#1の符号化データを、多重化部３２に供給する。

エンコーダ１２には、視点#2の色画像C#2と、視差関連情報とが供給される。

エンコーダ１２は、視点#2の色画像C#2を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#2の色画像C#2の符号化データを、多重化部３２に供給する。

エンコーダ２１には、視点#1の視差情報画像D#1と、視差関連情報とが供給される。

エンコーダ２１は、視点#1の視差情報画像D#1を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#1の視差情報画像D#1の符号化データを、多重化部３２に供給する。

エンコーダ２２には、視点#2の視差情報画像D#2と、視差関連情報とが供給される。

エンコーダ２２は、視点#2の視差情報画像D#2を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#2の視差情報画像D#2の符号化データを、多重化部３２に供給する。

DPB３１は、エンコーダ１１，１２，２１、及び、２２それぞれで、符号化対象の画像を符号化し、ローカルデコードすることにより得られるローカルデコード後の画像（デコード画像）を、予測画像の生成時に参照する参照ピクチャ（の候補）として一時記憶する。

すなわち、エンコーダ１１，１２，２１、及び、２２は、符号化対象の画像を予測符号化する。そのため、エンコーダ１１，１２，２１、及び、２２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。

DPB３１は、エンコーダ１１，１２，２１、及び、２２それぞれで得られるデコード画像を一時記憶する、いわば共用のバッファであり、エンコーダ１１，１２，２１、及び、２２それぞれは、DPB３１に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照ピクチャを選択する。そして、エンコーダ１１，１２，２１、及び、２２それぞれは、参照ピクチャを用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。

DPB３１は、エンコーダ１１，１２，２１、及び、２２で共用されるので、エンコーダ１１，１２，２１、及び、２２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。

多重化部３２は、エンコーダ１１，１２，２１、及び、２２のそれぞれからの符号化データを多重化し、その結果得られる多重化データを出力する。

多重化部３２が出力する多重化データは、図示せぬ記録媒体に記録され、又は、図示せぬ伝送媒体を介して伝送される。

［多視点画像生成装置］

図５は、図４の多視点画像エンコーダにおいて符号化の対象となる複数の視点の画像を生成する多視点画像生成装置の構成例を示すブロック図である。

多視点画像生成装置では、複数の視点としての、例えば、２つの視点の画像を撮影するために、２つのカメラ４１及び４２が、異なる視点の色画像を撮影することができる位置に設置されている。

ここで、本実施の形態では、説明を簡単にするために、カメラ４１及び４２は、ある水平面上の一直線上の異なる位置に、その直線に垂直な方向に光軸を向けて配置されていることとする。

カメラ４１は、そのカメラ４１が配置されている位置で、被写体を撮影し、動画像である色画像C#1を出力する。

さらに、カメラ４１は、他の任意の１つのカメラであるカメラ４２の位置を、基準の視点として、色画像C#1の各画素について、基準の視点に対する視差を表す視差ベクトルd1を出力する。

カメラ４２は、そのカメラ４２が配置されている位置で、被写体を撮影し、動画像である色画像C#2を出力する。

さらに、カメラ４２は、他の任意の１つのカメラであるカメラ４１の位置を、基準の視点として、色画像C#2の各画素について、基準の視点に対する視差を表す視差ベクトルd2を出力する。

ここで、色画像の横（水平）方向を、x軸とし、縦（垂直）方向を、y軸とする２次元平面を、色画像平面ということとすると、カメラ４１及び４２は、色画像平面に直交する平面（水平面）上の一直線上に配置されている。したがって、視差ベクトルd1及びd2は、y成分が0で、x成分が、カメラ４１及び４２の水平方向の位置関係等に対応する値のベクトルとなる。

なお、カメラ４１及び４２が出力する視差ベクトル（視差）d1及びd2を、色画像C#1及びC#2を用いたMEによって求められる視差を表す視差ベクトルと区別するために、以下、撮影視差ベクトルd1及びd2ともいう。

カメラ４１が出力する色画像C#1、及び、撮影視差ベクトルd1、並びに、カメラ４２が出力する色画像C#2、及び、撮影視差ベクトルd2は、多視点画像情報生成部４３に供給される。

多視点画像情報生成部４３は、カメラ４１及び４２からの色画像C#1を、そのまま出力する。

また、多視点画像情報生成部４３は、カメラ４１からの撮影視差ベクトルd1から、色画像#1の画素ごとの視差に関する視差情報を求め、その視差情報を、画素値として有する視差情報画像D#1を生成して出力する。

さらに、多視点画像情報生成部４３は、カメラ４２からの撮影視差ベクトルd2から、色画像#2の画素ごとの視差に関する視差情報を求め、その視差情報を、画素値として有する視差情報画像D#2を生成して出力する。

上述したように、視差情報（デプス情報）としては、例えば、撮影視差ベクトルに対応する値である視差値（値Ｉ）や、被写体までの距離（奥行き）を表す奥行きＺの正規化後の値ｙがある。

いま、視差情報画像の画素値が、例えば、8ビットで表される0ないし255の整数値をとることとする。さらに、撮影視差ベクトル（のx成分）をdで表すとともに、（例えば、ピクチャや、１つのコンテンツとしての動画像等で）撮影視差ベクトル（のx成分）の最大値と最小値を、それぞれ、dmaxとdminと表すこととする。

この場合、視差値ν（値Ｉ）は、上述したように、例えば、撮影視差ベクトル（のx成分）dと、その最大値dmax（D_ｍａｘ）及び最小値dmin（Ｄ_ｍｉｎ）を用いて、例えば、式（１）に従って求められる。

ν＝255×(d-dmin)／(dmax-dmin)
・・・（１）

なお、式（１）の視差値νは、式（２）に従って、撮影視差ベクトル（のx成分）dに変換することができる。

d＝ν×(dmax-dmin)／255＋dmin
・・・（２）

また、奥行きＺは、カメラ４１及び４２が配置されている直線上から、被写体までの距離を表す。

カメラ４１については（カメラ４２についても同様）、カメラ４１と一直線上に配置されているカメラ４２との距離（基準の視点との距離）である基線長をLと、カメラ４１の焦点距離をfと、それぞれ表すこととすると、奥行きZは、撮影視差ベクトル（のx成分）d(d1)を用い、式（３）に従って求めることができる。

Z＝(L/d)×f
・・・（３）

視差情報である視差値νと奥行きZとは、式（１）ないし式（３）に従って相互に変換することができるので、等価な情報である。

ここで、以下では、画素値として視差値νを有する視差情報画像（デプス画像）を、視差画像ともいい、画素値として、奥行きZの正規化後の値ｙを有する画像を、奥行き画像ともいう。

なお、以下では、視差情報画像として、視差画像、及び、奥行き画像のうちの、例えば、視差画像を用いることとするが、視差情報画像としては、奥行き画像を用いることも可能である。

多視点画像情報生成部４３は、以上の色画像#1及び#2、並びに、視差画像D#1及び#2の他に、視差関連情報を出力する。

すなわち、多視点画像情報生成部４３には、外部から、カメラ４１と４２との距離（カメラ４１及び４２それぞれと、基準の視点との距離）である基線長L、及び、焦点距離fが供給される。

多視点画像情報生成部４３は、カメラ４１からの撮影視差ベクトルd1、及び、カメラ４１からの撮影視差ベクトルd2のそれぞれについて、撮影視差ベクトル（のx成分）dの最大値dmax及び最小値dminを検出する。

そして、多視点画像情報生成部４３は、撮影視差ベクトルdの最大値dmax及び最小値dmin、並びに、基線長L、及び、焦点距離fを、視差関連情報として出力する。

多視点画像情報生成部４３が出力する色画像C#1及びC#2、視差画像D#1及びD#2、並びに、視差関連情報は、図４の多視点画像エンコーダに供給される。

なお、ここでは、説明を簡単にするため、カメラ４１及び４２を、色画像平面に直交する同一の平面上の一直線上に配置し、撮影視差ベクトルd（d1及びd2）が、y成分が0のベクトルであることとしたが、カメラ４１及び４２それぞれは、色画像平面に直交する異なる平面上に配置することができる。この場合、撮影視差ベクトルdは、x成分及びy成分とも、0以外の値になりうるベクトルとなる。

［MVC方式の概要］

図６は、MVC方式の予測符号化において、予測画像を生成するときに参照するピクチャを説明する図である。

いま、ベースビューの画像である視点#1の画像のピクチャを、（表示）時刻順に、p11,p12,p13,・・・と表すとともに、ディペンデントビューの画像である視点#2の画像のピクチャを、時刻順に、p21,p22,p23,・・・と表すこととする。

ベースビューのピクチャである、例えば、ピクチャp12は、そのベースビューのピクチャである、例えば、ピクチャp11やp13を、必要に応じて参照して、予測符号化される。

すなわち、ベースビューのピクチャp12については、そのベースビューの他の時刻のピクチャであるピクチャp11やp13のみを参照し、予測（予測画像の生成）を行うことができる。

また、ディペンデントビューのピクチャである、例えば、ピクチャp22は、そのディペンデントビューのピクチャである、例えば、ピクチャp21やp23、さらには、他のビューであるベースビューのピクチャp12を、必要に応じて参照して、予測符号化される。

すなわち、ディペンデントビューのピクチャp22は、そのディペンデントビューの他の時刻のピクチャであるピクチャp21やp23の他、他のビューのピクチャであるベースビューのピクチャp12を参照し、予測を行うことができる。

ここで、符号化対象のピクチャと同一のビューの（他の時刻の）ピクチャを参照して行われる予測を、時間予測ともいい、符号化対象のピクチャと異なるビューのピクチャを参照して行われる予測を、視差予測ともいう。

以上のように、MVC方式では、ベースビューのピクチャについては、時間予測のみを行うことができ、ディペンデントビューのピクチャについては、時間予測と視差予測を行うことができる。

なお、MVC方式において、視差予測において参照する、符号化対象のピクチャと異なるビューのピクチャは、符号化対象のピクチャと同一の時刻のピクチャでなければならない。

図４の多視点画像エンコーダを構成するエンコーダ１１，１２，２１、及び、２２は、原則として、MVC方式に従って、予測（予測画像の生成）を行う。

図７は、MVC方式でのピクチャの符号化（及び復号）順を説明する図である。

図６と同様に、ベースビューの画像である視点#1の画像のピクチャを、（表示）時刻順に、p11,p12,p13,・・・と表すとともに、ディペンデントビューの画像である視点#2の画像のピクチャを、時刻順に、p21,p22,p23,・・・と表すこととする。

いま、説明を簡単にするために、各ビューのピクチャが、時刻順に符号化されることとすると、まず、ベースビューの最初の時刻t=1のピクチャp11が符号化され、その後、ディペンデントビューの、同一時刻t=1のピクチャp21が符号化される。

ディペンデントビューの、同一時刻t=1のピクチャ（すべて）の符号化が終了すると、ベースビューの次の時刻t=2のピクチャp12が符号化され、その後、ディペンデントビューの、同一時刻t=2のピクチャp22が符号化される。

以下、同様の順番で、ベースビューのピクチャ、及び、ディペンデントビューのピクチャは、符号化されていく。

図４の多視点画像エンコーダを構成するエンコーダ１１，１２，２１、及び、２２では、MVC方式に従った順番で、ピクチャが符号化される。

［エンコーダ１１の構成例］

図８は、図４のエンコーダ１１の構成例を示すブロック図である。

なお、図４のエンコーダ２１及び２２も、エンコーダ１１と同様に構成され、例えば、MVC方式に従って、画像の符号化を行う。

図８において、エンコーダ１１は、A/D(Analog/Digital)変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、及び、予測画像選択部１２４を有する。

A/D変換部１１１には、符号化対象の画像（動画像）であるビュー#1の色画像C#1のピクチャが、表示順に、順次、供給される。

A/D変換部１１１は、そこに供給されるピクチャが、アナログ信号である場合には、そのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給する。

画面並び替えバッファ１１２は、A/D変換部１１１からのピクチャを一時記憶し、あらかじめ決められたGOP(Group of Pictures)の構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。

画面並び替えバッファ１１２から読み出されたピクチャは、演算部１１３、画面内予測部１２２、及び、インター予測部１２３に供給される。

演算部１１３には、画面並び替えバッファ１１２から、ピクチャが供給される他、予測画像選択部１２４から、画面内予測部１２２、又は、インター予測部１２３で生成された予測画像が供給される。

演算部１１３は、画面並び替えバッファ１１２から読み出されたピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。

そして、演算部１１３は、対象ブロックの画素値から、予測画像選択部１２４から供給される予測画像の画素値を減算した減算値を、必要に応じて演算し、直交変換部１１４に供給する。

直交変換部１１４は、演算部１１３からの対象ブロック（の画素値、又は、予測画像が減算された残差）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給する。

量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、可変長符号化部１１６に供給する。

可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化（例えば、CAVLC(Context-Adaptive Variable Length Coding)等）や、算術符号化（例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)等）等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ１１７に供給する。

なお、可変長符号化部１１６には、量子化部１１５から量子化値が供給される他、画面内予測部１２２やインター予測部１２３から、符号化データのヘッダに含めるヘッダ情報が供給される。

可変長符号化部１１６は、画面内予測部１２２やインター予測部１２３からの、ヘッダ情報を符号化し、符号化データのヘッダに含める。

蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶し、所定のデータレートで出力する。

蓄積バッファ１１７から出力された符号化データは、多重化部３２（図４）に供給される。

量子化部１１５で得られた量子化値は、可変長符号化部１１６に供給される他、逆量子化部１１８にも供給され、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０において、ローカルデコードが行われる。

すなわち、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給する。

逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給する。

演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード画像を得て、デブロッキングフィルタ１２１に供給する。

デブロッキングフィルタ１２１は、演算部１２０からのデコード画像をフィルタリングすることにより、デコード画像に生じたブロック歪を除去（低減）し、DPB３１（図４）に供給する。

ここで、DPB３１は、デブロッキングフィルタ１２１からのデコード画像、すなわち、エンコーダ１１において符号化されてローカルデコードされた色画像C#1のピクチャを、時間的に後に行われる予測符号化（演算部１１３で予測画像の減算が行われる符号化）に用いる予測画像を生成するときに参照する参照ピクチャ（の候補）として記憶する。

図４で説明したように、DPB３１は、エンコーダ１１，１２，２１、及び、２２で共用されるので、エンコーダ１１において符号化されてローカルデコードされた色画像C#1のピクチャの他、エンコーダ１２において符号化されてローカルデコードされた色画像C#2のピクチャ、エンコーダ２１において符号化されてローカルデコードされた視差画像D#1のピクチャ、及び、エンコーダ２２において符号化されてローカルデコードされた視差画像D#2のピクチャも記憶する。

なお、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０によるローカルデコードは、例えば、参照ピクチャとなることが可能な参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャを対象として行われ、DPB３１では、Iピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像が記憶される。

画面内予測部１２２は、対象ピクチャが、イントラ予測（画面内予測）され得るIピクチャ、Pピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB３１から、対象ピクチャのうちの、既にローカルデコードされている部分（デコード画像）を読み出す。そして、画面内予測部１２２は、DPB３１から読み出した、対象ピクチャのうちのデコード画像の一部を、画面並び替えバッファ１１２から供給される対象ピクチャの対象ブロックの予測画像とする。

さらに、画面内予測部１２２は、予測画像を用いて対象ブロックを符号化するのに要する符号化コスト、すなわち、対象ブロックの、予測画像に対する残差等を符号化するのに要する符号化コストを求め、予測画像とともに、予測画像選択部１２４に供給する。

インター予測部１２３は、対象ピクチャが、インター予測され得るPピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB３１から、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、参照ピクチャとして読み出す。

また、インター予測部１２３は、画面並び替えバッファ１１２からの対象ピクチャの対象ブロックと、参照ピクチャとを用いたMEによって、対象ブロックと、参照ピクチャの、対象ブロックに対応する対応ブロック（例えば、対象ブロックとのSADを最小にするブロック）とのずれ（視差、動き）を表すずれベクトルを検出する。

ここで、参照ピクチャが、対象ピクチャと同一のビューのピクチャである場合、対象ブロックと参照ピクチャとを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照ピクチャとの間の動き（時間的なずれ）を表す動きベクトルとなる。

また、参照ピクチャが、対象ピクチャと異なるビューのピクチャである場合、対象ブロックと参照ピクチャとを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照ピクチャとの間の視差（空間的なずれ）を表す視差ベクトルとなる。

以上のように、MEによって求められる視差ベクトルを、図５で説明した撮影視差ベクトルと区別するために、計算視差ベクトルともいう。

本実施の形態では、説明を簡単にするため、撮影視差ベクトルは、y成分が0のベクトルであることとしたが、MEによって検出される計算視差ベクトルは、対象ブロックと、参照ピクチャの、対象ブロックとのSAD等を最小にするブロック（対応ブロック）とのずれ（位置関係）を表すので、y成分が0になるとは限らない。

インター予測部１２３は、対象ブロックのずれベクトルに従って、DPB３１からの参照ピクチャのMC(Motion Compensation)であるずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。

すなわち、インター予測部１２３は、参照ピクチャの、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（領域）である対応ブロックを、予測画像として取得する。

さらに、インター予測部１２３は、対象ブロックを予測画像を用いて符号化するのに要する符号化コストを、後述するマクロブロックタイプ等が異なるインター予測モードごとに求める。

そして、インター予測部１２３は、符号化コストが最小のインター予測モードを、最適なインター予測モードである最適インター予測モードとして、その最適インター予測モードで得られた予測画像と符号化コストとを、予測画像選択部１２４に供給する。

ここで、ずれベクトル（視差ベクトル、動きベクトル）に基づいて、予測画像を生成することを、ずれ予測（視差予測、動き予測）、又は、ずれ補償（視差補償、動き補償）ともいう。なお、ずれ予測には、必要に応じて、ずれベクトルの検出が含まれる。

予測画像選択部１２４は、画面内予測部１２２、及び、インター予測部１２３それぞれからの予測画像のうちの、符号化コストが小さい方を選択し、演算部１１３、及び、１２０に供給する。

なお、画面内予測部１２２は、イントラ予測に関する情報を、ヘッダ情報として、可変長符号化部１１６に供給し、インター予測部１２３は、インター予測に関する情報（ずれベクトルの情報や、参照ピクチャに割り当てられている参照インデクス等）を、ヘッダ情報として、可変長符号化部１１６に供給する。

可変長符号化部１１６は、画面内予測部１２２、及び、インター予測部１２３それぞれからのヘッダ情報のうちの、符号化コストが小さい予測画像が生成された方からのヘッダ情報を選択し、符号化データのヘッダに含める。

［マクロブロックタイプ］

図９は、MVC(AVC)方式のマクロブロックタイプを説明する図である。

MVC方式では、対象ブロックとなるマクロブロックは、横×縦が１６×１６画素のブロックであるが、ME（及び、予測画像の生成）は、マクロブロックをパーティションに分割して、パーティションごとに行うことができる。

すなわち、MVC方式では、マクロブロックを、１６×１６画素、１６×８画素、８×１６画素、又は８×８画素のうちのいずれかのパーティションに分割して、各パーティションごとに、MEを行って、すれベクトル（動きベクトル、又は、計算視差ベクトル）を検出することができる。

また、MVC方式では、８×８画素のパーティションは、さらに、８×８画素、８×４画素、４×８画素、又は４×４画素のうちのいずれかのサブパーティションに分割し、各サブパーティションごとに、MEを行って、すれベクトル（動きベクトル、又は、計算視差ベクトル）を検出することができる。

マクロブロックタイプは、マクロブロックを、どのようなパーティション（さらには、サブパーティション）に分割するかを表す。

インター予測部１２３（図８）のインター予測では、各マクロブロックタイプの符号化コストが、各インター予測モードの符号化コストとして算出され、符号化コストが最小のインター予測モード（マクロブロックタイプ）が、最適インター予測モードとして選択される。

［予測ベクトル(PMV(Predicted Motion Vector))］

図１０は、MVC(AVC)方式の予測ベクトル(PMV)を説明する図である。

インター予測部１２３（図８）のインター予測では、MEによって、対象ブロックのずれベクトル（動きベクトル、又は、計算視差ベクトル）が検出され、そのずれベクトルを用いて、予測画像が生成される。

ずれベクトルは、復号側において、画像を復号するのに必要であるため、ずれベクトルの情報を符号化して、符号化データに含める必要があるが、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化することがある。

すなわち、MVC方式では、図９に示したように、マクロブロックが、８×８画素のパーティションに分割され、さらに、その８×８画素のパーティションそれぞれが、４×４画素のサブパーティションに分割されることがある。この場合、１つのマクロブロックは、最終的には、４×４個のサブパーティションに分割されるため、１つのマクロブロックに対して、１６（＝４×４）個のずれベクトルが生じることがあり、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化する。

そこで、MVC(AVC)方式では、ずれベクトルを予測するベクトル予測が行われ、そのベクトル予測によって得られる予測ベクトルに対する、ずれベクトルの残差（残差ベクトル）が符号化される。

例えば、符号化対象の対象ブロックXであるマクロブロックが、１６×１６画素のパーティションに分割される（対象ブロックXが、そのまま、パーティションとされる）場合、そのパーティションである対象ブロックXについては、メディアン予測方式で、予測ベクトルPMVXが生成される。

すなわち、１６×１６画素のパーティションについては、予測ベクトルPMVXが、対象ブロックXの左に隣接するマクロブロックAのずれベクトルmvA、上に隣接するマクロブロックBのずれベクトルmvB、及び、右斜め上に隣接するマクロブロックCのずれベクトルmvCから、式（４）に従って算出される。

PMVX＝med(mvA,mvB,mvC)
・・・（４）

ここで、式（４）において、med()は、かっこ内の値のメディアン（中央値）を表す。

なお、対象ブロックXが、ピクチャの右端のマクロブロックである場合等、マクロブロックCのずれベクトルmvCが、利用可能でない（unavailableである）場合には、ずれベクトルmvCに代えて、対象ブロックXの左斜め上に隣接するマクロブロックのずれベクトルを用いて、予測ベクトルPMVXが算出される。

また、式（４）に従った予測ベクトルPMVXの算出は、x成分とy成分とのそれぞれについて、独立に行われる。

例えば、符号化対象の対象ブロックXであるマクロブロックが、８×８画素の４つのパーティションX1,X2,X3、及び、X4に分割される場合、例えば、右上のパーティションX2については、メディアン予測方式で、すなわち、パーティションX2の左に隣接するパーティションX1のずれベクトル、上に隣接するマクロブロックBのずれベクトル、及び、右斜め上に隣接するマクロブロックCのずれベクトルのメディアンが、予測ベクトルとして算出される。

その他のパーティションX1,X3、及び、X4については、MVC(AVC)方式に規定されているように、予測ベクトルが算出される。

例えば、符号化対象の対象ブロックXであるマクロブロックが、８×１６画素の２つの左右のパーティションXL及びXRに分割される場合、左のパーティションXLについては、その左のパーティションXLの左に隣接するマクロブロックAのずれベクトルが、そのまま、予測ベクトルとされる。

また、右のパーティションXRについては、その右のパーティションXLの右上に隣接するマクロブロックCのずれベクトルが、そのまま、予測ベクトルとされる。

例えば、符号化対象の対象ブロックXであるマクロブロックが、１６×８画素の２つの上下のパーティションXU及びXDに分割される場合、下のパーティションXDについては、その下のパーティションXDの左に隣接するマクロブロックAのずれベクトルが、そのまま、予測ベクトルとされる。

また、上のパーティションXUについては、その上のパーティションXUの上に隣接するマクロブロックBのずれベクトルが、そのまま、予測ベクトルとされる。

インター予測部１２３（図８）では、対象ブロックXのずれベクトルmvXと、その予測ベクトルPMVXとの差分である残差ベクトルmvX−PMVが、ヘッダ情報に含められる。

図１１は、MVC(AVC)方式で生成される予測ベクトルと参照インデクスとの関係を説明する図である。

MVC方式で生成される予測ベクトルは、対象ブロックの周辺のマクロブロックの予測画像の生成に用いられる参照ピクチャに割り当てられている参照インデクス（以下、予測用の参照インデクスともいう）によって異なる。

ここで、MVC(AVC)方式の参照ピクチャ（となりうるピクチャ）と、参照インデクスについて説明する。

AVC方式では、予測画像を生成するときに、複数のピクチャを、参照ピクチャとすることができる。

そして、AVC方式のコーデックでは、参照ピクチャは、デコード（ローカルデコード）後に、DPBと呼ばれるバッファに記憶される。

DPBでは、短期間に参照されるピクチャは、短時間参照ピクチャ(used for short-term reference)として、長期間にわたって参照されるピクチャは、長時間参照ピクチャ(used for long-term reference)として、参照されないピクチャは、非参照ピクチャ(unused for reference)として、それぞれマーキングされる。

DPBを管理する管理方式としては、移動窓メモリ管理方式(Sliding window process)と、適応メモリ管理方式(Adaptive memory control process)との２種類がある。

移動窓メモリ管理方式では、DPBが、FIFO(First In First Out)方式で管理され、DPBに記憶されたピクチャは、frame_numの小さいピクチャから順に開放される（非参照ピクチャとなる）。

すなわち、移動窓メモリ管理方式では、I(Intra)ピクチャ、P(Predictive)ピクチャ、及び、参照可能なB(Bi-directional Predictive)ピクチャであるBsピクチャは、短時間参照ピクチャとして、DPBに記憶される。

そして、DPBが参照ピクチャ（となりうる参照ピクチャ）を記憶することができるだけの参照ピクチャが記憶された後は、DPBに記憶された短時間参照ピクチャの中で、最も早く（古い）短時間参照ピクチャが開放される。

なお、DPBに、長時間参照ピクチャが記憶されている場合、移動窓メモリ管理方式は、DPBに記憶されている長時間参照ピクチャには、影響しない。すなわち、移動窓メモリ管理方式において、参照ピクチャの中で、FIFO方式で管理されるのは、短時間参照ピクチャだけである。

適応メモリ管理方式では、MMCO(Memory management control operation)と呼ばれるコマンドを用いて、DPBに記憶されるピクチャが管理される。

MMCOコマンドによれば、DPBに記憶される参照ピクチャを対象として、短時間参照ピクチャを非参照ピクチャに設定することや、短時間参照ピクチャに対し、長時間参照ピクチャを管理するための参照インデクスであるlong-term frame indexを割り当てることで、短時間参照ピクチャを長時間参照ピクチャに設定すること、long-term frame indexの最大値を設定すること、すべての参照ピクチャを非参照ピクチャに設定すること等を行うことができる。

AVC方式では、DPBに記憶された参照ピクチャの動き補償（ずれ補償）を行うことで、予測画像を生成するインター予測が行われるが、Bピクチャ（Bsピクチャを含む）のインター予測には、最大で、2ピクチャの参照ピクチャを用いることができる。その2ピクチャの参照ピクチャを用いるインター予測は、それぞれ、L0(List 0)予測、及び、L1(List 1)予測と呼ばれる。

Bピクチャ（Bsピクチャを含む）については、インター予測として、L0予測、若しくは、L1予測、又は、L0予測とL1予測との両方が用いられる。Pピクチャについては、インター予測として、L0予測だけが用いられる。

インター予測において、予測画像の生成に参照する参照ピクチャは、参照リスト(Reference Picture List)により管理される。

参照リストでは、予測画像の生成に参照する参照ピクチャ（となりうる参照ピクチャ）を指定するためのインデクスである参照インデクス(Reference Index)が、DPBに記憶された参照ピクチャ（になりうるピクチャ）に割り当てられる。

対象ピクチャが、Pピクチャである場合、上述したように、Pピクチャについては、インター予測として、L0予測だけが用いられるので、参照インデクスの割り当ては、L0予測についてだけ行われる。

また、対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、上述したように、Bピクチャについては、インター予測として、L0予測とL1予測との両方が用いられることがあるので、参照インデクスの割り当ては、L0予測とL1予測との両方について行われる。

ここで、L0予測についての参照インデクスを、L0インデクスともいい、L1予測についての参照インデクスを、L1インデクスともいう。

対象ピクチャが、Pピクチャである場合、AVC方式のデフォルト（既定値）では、DPBに記憶された参照ピクチャに対し、復号順が後の参照ピクチャほど、値が小さい参照インデクス（L0インデクス）が割り当てられる。

参照インデクスは、0以上の整数値であり、最小値は、0である。したがって、対象ピクチャが、Pピクチャである場合には、対象ピクチャの直前に復号された参照ピクチャに、L0インデクスとして、0が割り当てられる。

対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、AVCのデフォルトでは、DPBに記憶された参照ピクチャに対し、POC(Picture Order Count)順、つまり、表示順に、参照インデクス（L0インデクス、及び、L1インデクス）が割り当てられる。

すなわち、L0予測については、表示順で、対象ピクチャの時間的に前の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL0インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に後の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL0インデクスが割り当てられる。

また、L1予測については、表示順で、対象ピクチャの時間的に後の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL1インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に前の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL1インデクスが割り当てられる。

なお、以上のAVC方式のデフォルトでの参照インデクス（L0インデクス、及び、L1インデクス）の割り当ては、短時間参照ピクチャを対象として行われる。長時間参照ピクチャへの参照インデクスの割り当ては、短時間参照ピクチャに、参照インデクスが割り当てられた後に行われる。

したがって、AVCのデフォルトでは、長時間参照ピクチャには、短時間参照ピクチャよりも大きい値の参照インデクスが割り当てられる。

AVC方式において、参照インデクスの割り当てとしては、以上のようなデフォルトの方法で割り当てを行う他、Reference Picture List Reorderingと呼ばれるコマンド（以下、RPLRコマンドともいう）を用いて、任意の割り当てを行うことができる。

なお、RPLRコマンドを用いて、参照インデクスの割り当てが行われた後、参照インデクスが割り当てられていない参照ピクチャがある場合には、その参照ピクチャには、参照インデクスが、デフォルトの方法で割り当てられる。

MVC(AVC)方式では、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXは、図１１に示すように、対象ブロックXの左に隣接するマクロブロックA、上に隣接するマクロブロックB、及び、右斜め上に隣接するマクロブロックCそれぞれの予測用の参照インデクス（マクロブロックA，B、及び、Cそれぞれの予測画像の生成に用いられた参照ピクチャに割り当てられている参照インデクス）によって異なる方法で求められる。

すなわち、いま、対象ブロックXの予測用の参照インデクスref_idxが、例えば、0であるとする。

図１１のＡに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、１つだけ存在する場合には、その１つのマクロブロック（予測用の参照インデクスref_idxが0のマクロブロック）のずれベクトルが、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXとされる。

ここで、図１１のＡでは、対象ブロックXに隣接する３つのマクロブロックAないしCのうちの、マクロブロックBだけが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvBが、対象ブロックX（のずれベクトルmvX）の予測ベクトルPMVXとされる。

また、図１１のＢに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、２つ以上存在する場合には、その、予測用の参照インデクスref_idxが0の２つ以上のマクロブロックのずれベクトルのメディアンが、対象ブロックXの予測ベクトルPMVXとされる（メディアン予測方式で、予測ベクトルPMVXが求められる）。

ここで、図１１のＢでは、対象ブロックXに隣接する３つのマクロブロックAないしCのすべてが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvA、マクロブロックBのずれベクトルmvB、及び、マクロブロックCのずれベクトルmvCのメディアンmed(mvA,mvB,mvC)が、対象ブロックXの予測ベクトルPMVXとされる。

また、図１１のＣに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0であるマクロブロックが、１つも存在しない場合には、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。

ここで、図１１のＣでは、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが0のマクロブロックは存在しないので、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。

なお、MVC(AVC)方式では、対象ブロックXの予測用の参照インデクスref_idxが0である場合、対象ブロックXをスキップマクロブロック（スキップモード）として符号化することができる。

スキップマクロブロックについては、対象ブロックの残差も、残差ベクトルも符号化されない。そして、復号時には、予測ベクトルが、そのまま、スキップマクロブロックのずれベクトルに採用され、参照ピクチャの、スキップマクロブロックの位置からずれベクトル（予測ベクトル）だけずれた位置のブロック（対応ブロック）のコピーが、スキップマクロブロックの復号結果とされる。

対象ブロックをスキップマクロブロックとするか否かは、エンコーダの仕様によるが、例えば、符号化データの符号量や、対象ブロックの符号化コスト等に基づいて決定（判定）される。

［エンコーダ１２の構成例］

図１２は、図４のエンコーダ１２の構成例を示すブロック図である。

エンコーダ１２は、符号化対象の画像である視点（ビュー）#2の色画像C#2の符号化を、MVC方式を利用して行うが、そのときの予測ベクトルの生成（ベクトル予測）を、図３で説明したようにして行う。

図１２において、エンコーダ１２は、A/D変換部２１１、画面並び替えバッファ２１２、演算部２１３、直交変換部２１４、量子化部２１５、可変長符号化部２１６、蓄積バッファ２１７、逆量子化部２１８、逆直交変換部２１９、演算部２２０、デブロッキングフィルタ２２１、画面内予測部２２２、予測画像選択部２２４、MBインデクス計算部２３１、及び、視差予測部２３２を有する。

A/D変換部２１１ないし画面内予測部２２２、及び、予測画像選択部２２４は、図８のエンコーダ１１のA/D変換部１１１ないし画面内予測部１２２、及び、予測画像選択部１２４と、それぞれ同様に構成されるので、その説明は、適宜省略する。

図１２において、DPB３１には、デブロッキングフィルタ２２１から、デコード画像、すなわち、エンコーダ１２において符号化されてローカルデコードされた色画像（以下、デコード色画像ともいう）C#2のピクチャが供給され、参照ピクチャ（となりうるピクチャ）として記憶される。

また、DPB３１には、図４や図８で説明したように、エンコーダ１１において符号化されてローカルデコードされた色画像（デコード色画像）C#1のピクチャ、エンコーダ２１において符号化されてローカルデコードされた視差画像（デコード視差画像）D#1、及び、エンコーダ２２において符号化されてローカルデコードされた視差画像（デコード視差画像）D#2のピクチャも供給されて記憶される。

エンコーダ１２では、デブロッキングフィルタ２２１からのデコード色画像C#2のピクチャの他、エンコーダ１１で得られるデコード色画像C#1のピクチャ、及び、エンコーダ２２で得られるデコード視差画像D#2が、符号化対象である色画像C#2の符号化に用いられる。このため、図１２では、エンコーダ１１で得られるデコード色画像C#1、及び、エンコーダ２２で得られるデコード視差画像D#2が、DPB３１に供給されることを示す矢印を、図示してある。

MBインデクス計算部２３１は、視差予測部２３２において予測画像を生成する色画像C#2の対象ブロック（の位置）を特定するための情報であるMBインデクスを求め（計算し）、視差予測部２３２に供給する。

視差予測部２３２には、視差関連情報（図４）としての、撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin、基線長L、焦点距離fが供給される。

視差予測部２３２は、視差関連情報、さらには、DPB３１に記憶されたデコード視差画像D#2のピクチャ（対象ピクチャと同一時刻のピクチャ）を必要に応じて用い、DPB３１に記憶された視点#1のデコード色画像D#1のピクチャを参照ピクチャとして、対象ブロックの視差予測（予測画像の生成）を行う。

すなわち、視差予測部２３２は、DPB３１に記憶されたデコード色画像C#1のピクチャを参照ピクチャとして、MEを行うことにより、対象ブロックの計算視差ベクトルを求める。

さらに、視差予測部２３２は、対象ブロックの計算視差ベクトルに従って、DPB３１に記憶されたデコード色画像C#1のピクチャを参照ピクチャとするMCを行うことにより、対象ブロックの予測画像を生成する。

また、視差予測部２３２は、各マクロブロックタイプについて、参照ピクチャから視差予測によって得られる予測画像を用いた対象ブロックの符号化（予測符号化）に要する符号化コストを算出する。

そして、視差予測部２３２は、符号化コストが最小のマクロブロックタイプを、最適インター予測モードとして選択し、その最適インター予測モードで生成された予測画像を、予測画像選択部２２４に供給する。

さらに、視差予測部２３２は、最適インター予測モード等の情報を、ヘッダ情報として、可変長符号化部２１６に出力する。

なお、上述したように、参照ピクチャには、参照インデクスが割り当てられており、視差予測部２３２において、最適インター予測モードで生成された予測画像を生成するときに参照された参照ピクチャに割り当てられた参照インデクスは、対象ブロックの予測用の参照インデクスに選択され、ヘッダ情報の１つとして、可変長符号化部２１６に出力される。

また、図１２においては、説明を簡単にするために、エンコーダ１２に、インター予測のうちの視差予測だけを行う視差予測部２３２を設けてあるが、エンコーダ１２では、図８のエンコーダ１１のインター予測部１２３と同様に、視差予測の他、時間予測も行うことができる。

エンコーダ１２において、視差予測、及び、時間予測の両方を行う場合、視差予測で参照されうる参照ピクチャであるデコード色画像C#1のピクチャと、時間予測で参照されうる参照ピクチャであるデコード色画像C#2のピクチャ（対象ピクチャとは時刻が異なる他時刻ピクチャ）とに、参照インデクスが割り当てられる。

そして、エンコーダ１２では、視差予測で生成される予測画像と、時間予測で生成される予測画像とのうちの、例えば、対象ブロックの符号化コストが小さい方の予測画像を生成するのに参照された参照ピクチャに割り当てられた参照インデクスが、対象ブロックの予測用の参照インデクスに選択され、ヘッダ情報の１つとされる。

図１３は、図１２の視差予測部２３２の構成例を示すブロック図である。

図１３において、視差予測部２３２は、視差検出部２４１、視差補償部２４２、予測ベクトル生成部２４３、コスト関数算出部２４４、モード選択部２４５、並びに、符号化情報バッファ２４６を有する。

視差検出部２４１には、DPB３１に記憶された参照ピクチャであるデコード色画像C#1のピクチャが供給されるとともに、画面並び替えバッファ２１２から、符号化対象の色画像C#2のピクチャ（対象ピクチャ）が供給される。

さらに、視差検出部２４１には、MBインデクス計算部２３１から、対象ブロックのMBインデクスが供給されるとともに、予測ベクトル生成部２４３から予測ベクトル情報が供給される。

視差検出部２４１は、MBインデクス計算部２３１からのMBインデクスに基づいて、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロックを認識する。

そして、視差検出部２４１は、MVC方式と同様に、対象ブロックと、参照ピクチャであるデコード色画像C#1のピクチャとを用いてMEを行うことにより、対象ブロックと、デコード色画像C#1のピクチャにおいて、例えば、対象ブロックとのSADを最小にする対応ブロックとのずれを表すずれベクトル、すなわち、対象ブロックの、視点#1に対する視差を表す計算視差ベクトルmvを、マクロブロックタイプごとに検出する。

なお、ここでは、説明を簡単にするため、デコード色画像C#1のピクチャにおいて、対象ブロックとのSADを最小にするブロックを、計算視差ベクトルmvを求めるのに用いる対応ブロックとしているが、視差検出部２４１では、その他、例えば、式COST＝D＋λRで表される、対象ブロックの符号化コストCOSTを最小にする対応ブロック（ひいては、計算視差ベクトルmv）を検出することができる。

ここで、式COST＝D＋λRにおいて、Dは、対象ブロックと、デコード色画像C#1のピクチャの、対象ブロックから計算視差ベクトルmvだけ移動した位置のブロックとのSADを表し、λは、Rに対する重みであり、対象ブロックの残差（対象ブロックと対応ブロックとの残差）の量子化ステップに応じて設定される。

また、式COST＝D＋λRにおいて、Rは、計算視差ベクトルmvの符号量に相当する値である。

なお、MVC方式では、計算視差ベクトルmvとその予測ベクトルとの残差ベクトルが符号化されるので、値Rとしては、残差ベクトルの符号量に相当する値を採用することができる。

値Rとして、残差ベクトルの符号量に相当する値を採用する場合、視差検出部２４１は、予測ベクトルを、予測ベクトル生成部２４３から供給される予測ベクトル情報から認識し、その予測ベクトルと、計算視差ベクトルmvとから、残差ベクトルを求める。

視差検出部２４１は、対象ブロックの計算視差ベクトルmvを検出すると、その計算視差ベクトルmvと、予測ベクトル生成部２４３から供給される予測ベクトル情報から得られる予測ベクトルとの差分である残差ベクトルを求め、視差補償部２４２に供給する。

視差補償部２４２には、視差検出部２４１から、計算視差ベクトルmvの残差ベクトルが供給される他、DPB３１に記憶された参照ピクチャであるデコード色画像C#1のピクチャが供給される。

さらに、視差補償部２４２には、予測ベクトル生成部２４３から予測ベクトル情報が供給される。

視差補償部２４２は、視差検出部２４１からの残差ベクトルと、予測ベクトル生成部２４３からの予測ベクトル情報とから、対象ブロックの計算視差ベクトルmvを復元する。

さらに、視差補償部２４２は、DPB３１からのデコード色画像C#1のピクチャを、参照ピクチャとして、その参照ピクチャのずれ補償（視差補償）を、対象ブロックの計算視差ベクトルmvを用いて、MVC方式と同様にして行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成する。

すなわち、視差補償部２４２は、デコード色画像C#1のピクチャの、対象ブロックの位置から、計算視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。

そして、視差補償部２４２は、予測画像を、視差検出部２４１からの残差ベクトル、及び、予測画像を生成するのに用いた参照ピクチャ（ここでは、デコード色画像C#1のピクチャ）に割り当てられている参照インデクスとともに、コスト関数算出部２４４に供給する。

予測ベクトル生成部２４３には、DPB３１記憶されたデコード視差画像D#2のピクチャが供給されるとともに、MBインデクス計算部２３１からMBインデクスが供給される。

また、予測ベクトル生成部２４３には、撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等の視差関連情報（図４）が供給される。

さらに、予測ベクトル生成部２４３には、符号化情報バッファ２４６から、既に符号化が行われた、色画像C#2の、対象ブロックの周辺の周辺色ブロック、すなわち、例えば、図３の周辺色ブロックCAないしCCの符号化情報が供給される。

ここで、周辺色ブロックの符号化情報には、その周辺色ブロックが、対象ブロックとして符号化されたときの、後述するモード関連情報、計算視差ベクトル、参照インデクス（予測用の参照インデクス）が含まれる。

予測ベクトル生成部２４３は、MBインデクス計算部２３１からのMBインデクスに基づいて、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロックを認識する。

さらに、予測ベクトル生成部２４３は、符号化情報バッファ２４６からの周辺色ブロックCAないしCCそれぞれの符号化情報に基づき、視差情報利用予測方式で生成される予測ベクトルと、MVC方式で生成される予測ベクトルとのうちの、予測精度が高いと推定される予測ベクトルを、対象ブロックの処理に用いる予測ベクトルとして生成する。

予測ベクトル生成部２４３は、各マクロブロックタイプ（図９）について、予測ベクトルを生成し、予測ベクトル情報として、視差検出部２４１、視差補償部２４２、及び、コスト関数算出部２４４に供給する。

ここで、予測ベクトル生成部２４３に供給される視差関連情報は、予測ベクトルを、視差情報利用予測方式で生成するときに用いられる。

すなわち、視差情報利用予測方式で、予測ベクトルを生成する場合、予測ベクトル生成部２４３は、DPB３１からのデコード視差画像D#2のピクチャ（対象ピクチャと同一時刻のピクチャ）の、対象ブロックと同一位置のブロック（同一位置ブロック）の画素値である視差値νを、視差関連情報に含まれる撮影視差ベクトルd(d2)の最大値dmax及び最小値dminを用い、式（２）に従って、画素ごとの撮影視差ベクトルd(d2)に変換する。

ここで、視差情報画像として、視差画像ではなく、奥行き画像を用いる場合には、視差関連情報に含まれる基線長L、及び、焦点距離fを用い、式（３）に従って、奥行き画像の画素値である値ｙの正規化前の値である奥行きZが、撮影視差ベクトルdに変換される。

そして、予測ベクトル生成部２４３は、同一位置ブロックの各画素の撮影視差ベクトルd(d2)の、例えば、平均値（平均ベクトル）を求める演算を行い、その平均値を、視差情報利用予測方式の予測ベクトルとする。

コスト関数算出部２４４には、視差補償部２４２から、予測画像、残差ベクトル、及び、参照インデクスが供給されるとともに、予測ベクトル生成部２４３から、予測ベクトル情報が供給されるとともに、画面並び替え部バッファ２１２から、色画像C#2の対象ピクチャが供給される。

コスト関数算出部２４４は、マクロブロックタイプ（図９）ごとに、画面並び替えバッファ２１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、符号化コストを算出する所定のコスト関数に従って求める。

すなわち、コスト関数算出部２４４は、視差補償部２４２からの残差ベクトル情報から認識される残差ベクトルの符号量に対応する値MVを求めるとともに、視差補償部２４２からの参照インデクス（予測用の参照インデクス）の符号量に対応する値INを求める。

さらに、コスト関数算出部２４４は、視差補償部２４２からの予測画像に対する、対象ブロックの残差に対応する値DであるSADを求める。

そして、コスト関数算出部２４４は、例えば、λ1及びλ2を重みとして、式COST＝D＋λ1×MV＋λ2×INに従い、マクロブロックタイプごとの符号化コストCOSTを求める。

コスト関数算出部２４４は、マクロブロックタイプごとの符号化コスト（コスト関数値）を求めると、符号化コストを、参照インデクス、予測画像、及び、残差ベクトルとともに、モード選択部２４５に供給する。

モード選択部２４５は、コスト関数算出部２４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。

さらに、モード選択部２４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択する。

そして、モード選択部２４５は、最適インター予測モードを表すモード関連情報、最適インター予測モードの参照インデクス（予測用の参照インデクス）、及び、最適インター予測モードの残差ベクトル等を、ヘッダ情報として、可変長符号化部２１６に供給する。

さらに、モード選択部２４５は、最適インター予測モードの予測画像と符号化コスト（最小コスト）を、予測画像選択部２２４に供給する。

なお、モード選択部２４５は、最小コストが得られた参照インデクスが、値が0の参照インデクスである場合には、例えば、最小コスト等に基づいて、対象ブロックを、スキップマクロブロックとして符号化するかどうかの判定を行う。

モード選択部２４５において、対象ブロックを、スキップマクロブロックとして符号化すると判定された場合、最適インター予測モードは、対象ブロックを、スキップマクロブロックとして符号化するスキップモードとされる。

また、モード選択部２４５は、予測ベクトル生成部２４３からコスト関数算出部２４４に供給される予測ベクトル情報から、最適インター予測モードでの対象ブロックの符号化に用いられた予測ベクトルを認識し、その予測ベクトルと、最適インター予測モードの残差ベクトルとを加算することで、対象ブロックの計算視差ベクトルを復元する。

そして、モード選択部２４５は、対象ブロックの計算視差ベクトル、モード関連情報、及び、予測用の参照インデクスを、対象ブロックの符号化情報として、符号化情報バッファ２４６に供給する。

符号化情報バッファ２４６は、モード選択部２４６からの符号化情報を一時記憶する。

図１４は、図１２のエンコーダ１２が行う、視点#2の色画像C#2を符号化する符号化処理を説明するフローチャートである。

ステップＳ１１において、A/D変換部２１１は、そこに供給される視点#2の色画像C#2のピクチャのアナログ信号をA/D変換し、画面並び替えバッファ２１２に供給して、処理は、ステップＳ１２に進む。

ステップＳ１２では、画面並び替えバッファ２１２は、A/D変換部２１１からの色画像C#2のピクチャを一時記憶し、あらかじめ決められたGOPの構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。

画面並び替えバッファ２１２から読み出されたピクチャは、演算部２１３、画面内予測部２２２、及び、視差予測部２３２に供給され、処理は、ステップＳ１２からステップＳ１３に進む。

ステップＳ１３では、演算部２１３は、画面並び替えバッファ２１２からの色画像C#2のピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。

そして、演算部２１３は、対象ブロックの画素値と、予測画像選択部２２４から供給される予測画像の画素値との差分（残差）を、必要に応じて演算し、直交変換部２１４に供給して、処理は、ステップＳ１３からステップＳ１４に進む。

ステップＳ１４では、直交変換部２１４は、演算部２１３からの対象ブロックに対して直交変換を施し、その結果得られる変換係数を、量子化部２１５に供給して、処理は、ステップＳ１５に進む。

ステップＳ１５において、量子化部２１５は、直交変換部２１４から供給される変換係数を量子化し、その結果得られる量子化値を、逆量子化部２１８、及び、可変長符号化部２１６に供給して、処理は、ステップＳ１６に進む。

ステップＳ１６では、逆量子化部２１８は、量子化部２１５からの量子化値を、変換係数に逆量子化し、逆直交変換部２１９に供給して、処理は、ステップＳ１７に進む。

ステップＳ１７では、逆直交変換部２１９は、逆量子化部２１８からの変換係数を逆直交変換し、演算部２２０に供給して、処理は、ステップＳ１８に進む。

ステップＳ１８では、演算部２２０は、逆直交変換部２１９から供給されるデータに対して、必要に応じて、予測画像選択部２２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード色画像C#2を求める。そして、演算部２２０は、対象ブロックをローカルデコードしたデコード色画像C#2を、デブロッキングフィルタ２２１に供給して、処理は、ステップＳ１８からステップＳ１９に進む。

ステップＳ１９では、デブロッキングフィルタ２２１は、演算部２２０からのデコード色画像C#2をフィルタリングし、DPB３１（図４）に供給して、処理は、ステップＳ２０に進む。

ステップＳ２０では、DPB３１が、デブロッキングフィルタ２２１からのデコード色画像C#2を記憶し、処理は、ステップＳ２１に進む。

ステップＳ２１では、DPB３１が、色画像D#1を符号化するエンコーダ１１から、その色画像C#1を符号化して、ローカルデコードすることにより得られるデコード色画像C#1が供給されるのを待って、そのデコード色画像C#1を記憶し、処理は、ステップＳ２２に進む。

ステップＳ２２では、DPB３１が、視差画像D#2を符号化するエンコーダ２２から、その視差画像D#2を符号化して、ローカルデコードすることにより得られるデコード視差画像D#2が供給されるのを待って、そのデコード視差画像D#2を記憶し、処理は、ステップＳ２３に進む。

ステップＳ２３では、MBインデクス計算部２３１が、次に符号化の対象となるマクロブロックである次の対象ブロックのMBインデクスを求め、視差予測部２３２に供給して、処理は、ステップＳ２４に進む。

ステップＳ２４では、画面内予測部２２２は、次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行う。

すなわち、画面内予測部２２２は、次の対象ブロックについて、DPB３１に記憶されたデコード色画像C#2のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行う。

そして、画面内予測部２２２は、イントラ予測の予測画像を用いて、次の対象ブロックを符号化するのに要する符号化コストを求め、イントラ予測の予測画像とともに、予測画像選択部２２４に供給して、処理は、ステップＳ２４からステップＳ２５に進む。

ステップＳ２５では、視差予測部２３２は、次の対象ブロックについて、デコード色画像C#1のピクチャを、参照ピクチャとして、視差予測処理を行う。

すなわち、視差予測部２３２は、次の対象ブロックについて、DPB３１に記憶されたデコード色画像C#1のピクチャを用いて、視差予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、予測画像や符号化コスト等を求める。

さらに、視差予測部２３２は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、符号化コストとともに、予測画像選択部２２４に供給して、処理は、ステップＳ２５からステップＳ２６に進む。

ステップＳ２６では、予測画像選択部２２４は、画面内予測部２２２からの予測画像（イントラ予測の予測画像）、及び、視差予測部２３２からの予測画像（インター予測の予測画像）のうちの、例えば、符号化コストが小さい方の予測画像を選択し、演算部２１３及び２２０に供給して、処理は、ステップＳ２７に進む。

ここで、予測画像選択部２２４がステップＳ２６で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ１３やＳ１８の処理で用いられる。

また、画面内予測部２２２は、ステップＳ２４のイントラ予測処理において得られるイントラ予測に関する情報を、ヘッダ情報として、可変長符号化部２１６に供給し、視差予測部２３２は、ステップＳ２５の視差予測処理で得られる視差予測（インター予測）に関する情報（最適インター予測モードを表すモード関連情報等）を、ヘッダ情報として、可変長符号化部２１６に供給する。

ステップＳ２７では、可変長符号化部２１６は、量子化部２１５からの量子化値に対して、可変長符号化を施し、符号化データを得る。

さらに、可変長符号化部２１６は、画面内予測部２２２、及び、視差予測部２３２それぞれからのヘッダ情報のうちの、符号化コストが小さい予測画像が生成された方からのヘッダ情報を選択し、符号化データのヘッダに含める。

そして、可変長符号化部２１６は、符号化データを、蓄積バッファ２１７に供給して、処理は、ステップＳ２７からステップＳ２８に進む。

ここで、可変長符号化部２１６（図１２）には、その他、視差関連情報（撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等）も供給される。可変長符号化部２１６は、視差関連情報も、符号化データのヘッダ等に含める。

なお、視差関連情報は、可変長符号化部２１６において、符号化データのヘッダに含めるのではなく、例えば、多重化部４（図４）において多重化することができる。

ステップＳ２８では、蓄積バッファ２１７は、可変長符号化部２１６からの符号化データを一時記憶し、所定のデータレートで出力する。

蓄積バッファ２１７から出力された符号化データは、多重化部３２（図４）に供給される。

エンコーダ１２では、以上のステップＳ１１ないしＳ２８の処理が、適宜繰り返し行われる。

図１５は、図１４のステップＳ２５で、図１３の視差予測部２３２が行う視差予測処理を説明するフローチャートである。

ステップＳ４１において、視差予測部２３２は、MBインデクス計算部２３１から供給される（次の）対象ブロックのMBインデクスを取得し、視差検出部２４１、及び、予測ベクトル生成部２４３に供給して、処理は、ステップＳ４２に進む。

ステップＳ４２において、視差予測部２３２は、DPB３１から、参照ピクチャであるデコード色画像C#1のピクチャを取得するとともに、デコード視差画像D#2を取得する。

そして、視差予測部２３２は、デコード色画像C#1のピクチャを、視差検出部２４１、及び、視差補償部２４２に供給するとともに、デコード視差画像D#2を、予測ベクトル生成部２４３に供給して、処理は、ステップＳ４３に進む。

ステップＳ４３では、予測ベクトル生成部２４３は、MBインデクス計算部２３１からのMBインデクスに基づいて、画面並び替えバッファ２１２から供給される対象ピクチャにおける（次の）対象ブロックを認識する。

さらに、予測ベクトル生成部２４３は、符号化情報バッファ２４６に記憶された符号化情報や、DPB３１からのデコード視差画像D#2、その他、視差関連情報等を必要に応じて用いて、各マクロブロックタイプ（図９）について、（次の）対象ブロックの予測ベクトルを生成する予測ベクトル生成処理を行う。

そして、予測ベクトル生成部２４３は、予測ベクトル生成処理によって得られた対象ブロックの予測ベクトルを、予測ベクトル情報として、視差検出部２４１、視差補償部２４２、及び、コスト関数算出部２４４に供給し、処理は、ステップＳ４３からステップＳ４４に進む。

ステップＳ４４では、視差検出部２４１は、MBインデクス計算部２３１からのMBインデクスに基づいて、画面並び替えバッファ２１２から供給される対象ピクチャにおける対象ブロックを認識する。

そして、視差検出部２４１は、（次の）対象ブロックについて、DPB３１からのデコード色画像C#1のピクチャを参照ピクチャとして用いてMEを行うことにより、対象ブロックの、視点#1に対する視差を表す計算視差ベクトルmvを検出する。

さらに、視差検出部２４１は、対象ブロックの計算視差ベクトルmvと、予測ベクトル生成部２４３から供給される予測ベクトル情報から得られる予測ベクトルとの差分である残差ベクトルを求めて、視差補償部２４２に供給し、処理は、ステップＳ４４からステップＳ４５に進む。

ステップＳ４５では、視差補償部２４２は、視差検出部２４１からの残差ベクトルと、予測ベクトル生成部２４３からの予測ベクトル情報とから、対象ブロックの計算視差ベクトルmvを復元する。

さらに、視差補償部２４２は、DPB３１からのデコード色画像C#1のピクチャを、参照ピクチャとして、対象ブロックの計算視差ベクトルmvに従ってMCを行うことにより、（次の）対象ブロックの予測画像を生成する。

すなわち、視差補償部２４２は、デコード色画像C#1のピクチャの、対象ブロックの位置から、計算視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。

そして、視差補償部２４２は、予測画像を、視差検出部２４１からの残差ベクトル、及び、予測画像を生成するのに用いた参照ピクチャ（ここでは、デコード色画像C#1のピクチャ）に割り当てられている参照インデクスとともに、コスト関数算出部２４４に供給して、処理は、ステップＳ４５からステップＳ４６に進む。

ステップＳ４６では、コスト関数算出部２４４は、マクロブロックタイプ（図９）ごとに、画面並び替えバッファ２１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、所定のコスト関数に従って求め、視差補償部２４２からの参照インデクス、予測画像、及び、残差ベクトルとともに、モード選択部２４５に供給して、処理は、ステップＳ４７に進む。

ステップＳ４７では、モード選択部２４５は、コスト関数算出部２４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。

さらに、モード選択部２４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択して、処理は、ステップＳ４７からステップＳ４８に進む。

ステップＳ４８では、モード選択部２４５は、最適インター予測モードの予測画像と符号化コスト（最小コスト）を、予測画像選択部２２４に供給して、処理は、ステップＳ４９に進む。

ステップＳ４９では、モード選択部２４５は、最適インター予測モードを表すモード関連情報、最適インター予測モードの参照インデクス（予測用の参照インデクス）、及び、最適インター予測モードの残差ベクトルを、ヘッダ情報として、可変長符号化部２１６に供給する。

さらに、ステップＳ４９では、モード選択部２４５は、予測ベクトル生成部２４３からコスト関数算出部２４４に供給される予測ベクトル情報から、最適インター予測モードでの対象ブロックの符号化に用いられた予測ベクトルを認識し、その予測ベクトルと、最適インター予測モードの残差ベクトルとを加算することで、対象ブロックの計算視差ベクトルを復元する。

そして、モード選択部２４５は、対象ブロックの計算視差ベクトル、モード関連情報、及び、予測用の参照インデクスを、対象ブロックの符号化情報として、符号化情報バッファ２４６に供給して記憶させ、処理はリターンする。

図１６は、図１５のステップＳ４３で予測ベクトル生成部２４３（図１３）が行う予測ベクトル生成処理を説明するフローチャートである。

ステップＳ５１において、予測ベクトル生成部２４３は、符号化情報バッファ２４６から、既に符号化が行われた、色画像C#2の対象ブロックの周辺の周辺色ブロック、すなわち、例えば、図３の３個の周辺色ブロックCAないしCCの符号化情報を取得し、処理は、ステップＳ５２に進む。

ステップＳ５２では、予測ベクトル生成部２４３は、DPB３１からのデコード視差画像D#2のピクチャ（対象ピクチャと同一時刻のピクチャ）から、対象ブロックと同一位置のブロック（同一位置ブロック）と、その同一位置ブロックの周辺の周辺視差ブロック（ステップＳ５１で符号化情報が取得された周辺色ブロックと同一位置の周辺視差ブロック）、すなわち、例えば、図３の３個の周辺視差ブロックDAないしDCを取得し、処理は、ステップＳ５３に進む。

以下、ステップＳ５３ないしＳ５６では、各マクロブロックタイプについて、対象ブロックの予測ベクトルを生成するベクトル予測処理が行われ、処理は、リターンする。

すなわち、ステップＳ５３において、予測ベクトル生成部２４３は、対象ブロックを１６×１６画素のパーティションに分割するマクロブロックタイプ（16×16タイプ）について、ベクトル予測処理を行い、処理は、ステップＳ５４に進む。

ステップＳ５４では、予測ベクトル生成部２４３は、対象ブロックを１６×８画素のパーティションに分割するマクロブロックタイプ（16×8タイプ）について、ベクトル予測処理を行い、処理は、ステップＳ５５に進む。

ステップＳ５５では、予測ベクトル生成部２４３は、対象ブロックを８×１６画素のパーティションに分割するマクロブロックタイプ（8×16タイプ）について、ベクトル予測処理を行い、処理は、ステップＳ５６に進む。

ステップＳ５６では、予測ベクトル生成部２４３は、対象ブロックを８×８画素以下のパーティションに分割する各マクロブロックタイプ（8×8以下タイプ）について、ベクトル予測処理を行い、処理はリターンする。

図１７は、図１６のステップＳ５３ないしＳ５６で予測ベクトル生成部２４３（図１３）が各マクロブロックタイプについて行うベクトル予測処理を説明する図である。

予測ベクトル生成部２４３は、ベクトル予測処理において、色画像C#2の、対象ブロックCXの周辺の周辺色ブロック（例えば、図３の３個の周辺色ブロックCAないしCC）の中の、予測画像を生成するのに参照する参照ピクチャを表す参照インデクスが、対象ブロックと一致する参照インデクス一致ブロックについて、（デコード）視差画像D#2の、参照インデクス一致ブロックと同一位置の周辺視差ブロック（例えば、図３の３個の周辺視差ブロックDAないしDC）と、同一位置ブロックDXとの差を求める。

さらに、予測ベクトル生成部２４３は、ベクトル予測処理において、参照インデクス一致ブロックと同一位置の周辺視差ブロックと、同一位置ブロックとの差に基づいて、視差情報利用予測方式の予測ベクトル、及び、MVC方式の予測ベクトルのうちの、予測精度が高いと推定される予測ベクトルを、対象ブロックCXの処理に用いる予測ベクトルとして生成する。

すなわち、例えば、16×16タイプについては、予測ベクトル生成部２４３は、色画像C#2の、例えば、MVC方式で予測ベクトルを生成するときに用いられる３個の周辺色ブロック、つまり、図１０に示した、対象ブロックXの左に隣接する周辺色ブロックA、上に隣接する周辺色ブロックB、及び、右斜め上に隣接する周辺色ブロックCの符号化情報に基づいて、その周辺色ブロックAないしCの中の、予測用の参照インデクスが、対象ブロックXと一致する参照インデクス一致ブロックの数を求める。

ここで、16×16タイプについては、参照インデクス一致ブロックの数の範囲は、０ないし３個となる。

参照インデクス一致ブロックの数が０個である場合、予測ベクトル生成部２４３は、視差情報利用予測方式（視差情報利用予測器）で、対象ブロックの予測ベクトルを生成する。

ここで、MVC方式では、参照インデクス一致ブロックの数が０個である場合、図１１で説明したように、0ベクトルが、対象ブロックの予測ベクトルとされる。

一方、視差情報利用予測方式によれば、図１３で説明したように、デコード視差画像D#2のピクチャの、対象ブロックと同一位置のブロック（同一位置ブロック）の画素値である視差値νから求められる撮影視差ベクトルd(d2)の平均値が、対象ブロックの予測ベクトルとされる。

デコード視差画像D#2から求められる撮影視差ベクトルd(d2)は、色画像C#2の視差を表すベクトルであるから、そのような撮影視差ベクトルd(d2)から予測ベクトルを求めることにより、MVC方式で求められる0ベクトルの予測ベクトルよりも、予測精度が良い予測ベクトルが得られると推定される。

参照インデクス一致ブロックの数が１個以上である場合、予測ベクトル生成部２４３は、参照インデクス一致ブロックについて、その参照インデクス一致ブロックと同一位置の周辺視差ブロック（図３の周辺視差ブロックDAないしDC）と、同一位置ブロック（図３の同一位置ブロックDX）との差に対応する値としてのSAD（以下、視差SADともいう）を求める。

そして、予測ベクトル生成部２４３は、視差SADが所定の閾値を超える参照インデクス一致ブロックの数に基づいて、視差情報利用予測方式の予測ベクトル、及び、MVC方式の予測ベクトルのうちの、予測精度が高いと推定される予測ベクトルを、対象ブロックの予測ベクトルとして生成する。

すなわち、参照インデクス一致ブロックの数が１個であり、そのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が０個である場合、つまり、参照インデクス一致ブロックの数が１個だけであり、その参照インデクス一致ブロックの視差SADが所定の閾値以下である場合、予測ベクトル生成部２４３は、MVC方式で、対象ブロックの予測ベクトルを生成する。

ここで、MVC方式では、参照インデクス一致ブロックの数が１個である場合、図１１で説明したように、その参照インデクス一致ブロックの計算視差ベクトルが、対象ブロックの予測ベクトルとされる。

参照インデクス一致ブロックの数が１個だけであり、その参照インデクス一致ブロックの視差SADが所定の閾値以下である場合、その１個の参照インデクス一致ブロックと、対象ブロックとには、同一の被写体が写っている（視差に大きな違いがない）（視差に相関がある）と推定される。

したがって、そのような参照インデクス一致ブロックの計算視差ベクトルを、対象ブロックの予測ベクトルとすることで、撮影視差ベクトルd(d2)から予測ベクトルを求める視差情報利用予測方式以上の予測精度の予測ベクトルが得られると推定される。

参照インデクス一致ブロックの数が１個であり、そのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が１個である場合、つまり、参照インデクス一致ブロックの数が１個だけであり、その参照インデクス一致ブロックの視差SADが所定の閾値を超える場合、予測ベクトル生成部２４３は、視差情報利用予測方式で、対象ブロックの予測ベクトルを生成する。

ここで、参照インデクス一致ブロックの視差SADが所定の閾値を超える場合、その参照インデクス一致ブロックと、対象ブロックとには、異なる被写体が写っている（視差に大きな違いがある）（視差に相関がない）と推定される。

したがって、そのような参照インデクス一致ブロックの計算視差ベクトルを、対象ブロックの予測ベクトルとするよりも、撮影視差ベクトルd(d2)から予測ベクトルを求める視差情報利用予測方式の方が、予測精度が良い予測ベクトルが得られると推定される。

参照インデクス一致ブロックの数が２個であり、そのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が０個である場合、つまり、参照インデクス一致ブロックの数が２個であり、その２個の参照インデクス一致ブロックの視差SADのいずれも所定の閾値以下である場合、予測ベクトル生成部２４３は、MVC方式で、対象ブロックの予測ベクトルを生成する。

ここで、MVC方式では、参照インデクス一致ブロックの数が２個（以上）である場合、図１１で説明したように、その２個（以上）の参照インデクス一致ブロックの計算視差ベクトルを用いたメディアン予測方式（メディアン予測器）により、対象ブロックの予測ベクトルが求められる。

そして、周辺色ブロックAないしCのうちの、２個の周辺色ブロックが、参照インデクス一致ブロックであり、その２個の参照インデクス一致ブロックの視差SADのいずれも所定の閾値以下である場合、その２個の参照インデクス一致ブロックと、対象ブロックとには、同一の被写体が写っている（視差に大きな違いがない）と推定される。

したがって、視差SADが所定の閾値以下の２個の参照インデクス一致ブロックの計算視差ベクトルどうし、さらには、その参照インデクス一致ブロックの計算視差ベクトルと対象ブロックの計算視差ベクトルとは、似ている。

よって、視差SADが所定の閾値以下の２個の参照インデクス一致ブロックの計算視差ベクトルのうちのいずれかを、対象ブロックの予測ベクトルとすることにより、撮影視差ベクトルd(d2)から予測ベクトルを求める視差情報利用予測方式以上の予測精度の予測ベクトルが得られると推定される。

３個の周辺色ブロックAないしCの中に、視差SADが所定の閾値以下の２個の参照インデクス一致ブロックが含まれる場合には、メディアン予測方式によれば、その、視差SADが所定の閾値以下の２個の参照インデクス一致ブロックのうちのいずれかの計算視差ベクトルが、対象ブロックの予測ベクトルとされるので、予測精度の良い予測ベクトルを得ることができる。

参照インデクス一致ブロックの数が２個であり、そのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が１個である場合、つまり、参照インデクス一致ブロックの数が２個であり、その２個の参照インデクス一致ブロックのうちの１個の参照インデクス一致ブロックの視差SADが所定の閾値を超え、他の１個の参照インデクス一致ブロックの視差SADが所定の閾値以下である場合、予測ベクトル生成部２４３は、視差情報利用予測方式で、対象ブロックの予測ベクトルを生成する。

ここで、MVC方式では、上述したように、参照インデクス一致ブロックの数が２個以上である場合、その２個以上の参照インデクス一致ブロックの計算視差ベクトルを用いたメディアン予測方式（メディアン予測器）により、対象ブロックの予測ベクトルが求められる。

メディアン予測方式に用いられる周辺色ブロックAないしCのうちの、２個の周辺色ブロックが、参照インデクス一致ブロックであり、その２個の参照インデクス一致ブロックのうちの一方の参照インデクス一致ブロックの視差SADが所定の閾値を超え、他方の参照インデクス一致ブロックの視差SADが所定の閾値以下である場合、一方の参照インデクス一致ブロックと、他方の参照インデクス一致ブロックとには、異なる被写体が写っており（視差に大きな違いがある）と推定されるとともに、他方の参照インデクス一致ブロックと、対象ブロックとには、同一の被写体が写っている（視差に大きな違いがない）と推定される。

したがって、視差SADが所定の閾値を超える（一方の）参照インデクス一致ブロックの計算視差ベクトルと、視差SADが所定の閾値以下の（他方の）参照インデクス一致ブロックの計算視差ベクトルは、似ていない。

また、視差SADが所定の閾値以下の参照インデクス一致ブロックの計算視差ベクトルを、対象ブロックの予測ベクトルとすることにより、予測精度の予測ベクトルが得られると推定される。

しかしながら、２個の参照インデクス一致ブロックが、視差SADが所定の閾値を超える１個の参照インデクス一致ブロックと、視差SADが所定の閾値以下の１個の参照インデクス一致ブロックとである場合には、メディアン予測方式によれば、視差SADが所定の閾値以下の参照インデクス一致ブロックの計算視差ベクトルが、対象ブロックの予測ベクトルとされるとは限らない。

すなわち、メディアン予測方式によれば、視差SADが所定の閾値以下の参照インデクス一致ブロック以外の周辺色ブロックの計算視差ベクトルが、対象ブロックの予測ベクトルとされることがあり、その場合、予測精度が悪くなる。

そこで、参照インデクス一致ブロックの数が２個であり、そのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が１個である場合には、予測ベクトル生成部２４３は、予測精度が悪くなるMVC方式（メディアン予測方式）ではなく、視差情報利用予測方式で、対象ブロックの予測ベクトルを生成する。

参照インデクス一致ブロックの数が２個であり、そのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が２個である場合、予測ベクトル生成部２４３は、視差情報利用予測方式で、対象ブロックの予測ベクトルを生成する。

すなわち、参照インデクス一致ブロックの数が２個であり、その２個の参照インデクス一致ブロックのいずれの視差SADも所定の閾値を超える場合、上述の、参照インデクス一致ブロックの数が２個であり、その２個のうちの１個の参照インデクス一致ブロックの視差SADが所定の閾値を超える場合と同様に、メディアン予測方式の予測精度は悪くなるので、相対的に予測精度が良い視差情報利用予測方式で、対象ブロックの予測ベクトルが生成される。

参照インデクス一致ブロックの数が３個であり、そのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が０個である場合、上述の、参照インデクス一致ブロックの数が２個であり、その２個の参照インデクス一致ブロックのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が０個である場合と同様に、MVC方式（メディアン予測方式）によれば、撮影視差ベクトルd(d2)から予測ベクトルを求める視差情報利用予測方式以上の予測精度の予測ベクトルが得られると推定される。

このため、予測ベクトル生成部２４３は、MVC方式（メディアン予測方式）で、対象ブロックの予測ベクトルを生成する。

参照インデクス一致ブロックの数が３個であり、そのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が１個である場合、つまり、３個の参照インデクス一致ブロックのうちの１個の参照インデクス一致ブロックの視差SADが所定の閾値を超え、他の２個の参照インデクス一致ブロックの視差SADが所定の閾値以下である場合、予測ベクトル生成部２４３は、MVC方式で、対象ブロックの予測ベクトルを生成する。

ここで、MVC方式では、上述したように、参照インデクス一致ブロックの数が３個である場合、その３個の参照インデクス一致ブロックである３個の周辺色ブロックの計算視差ベクトルを用いたメディアン予測方式（メディアン予測器）により、対象ブロックの予測ベクトルが求められる。

メディアン予測方式に用いられる周辺色ブロックすべてが、参照インデクス一致ブロックであり、その３個の参照インデクス一致ブロックのうちの１個の参照インデクス一致ブロックの視差SADが所定の閾値を超え、他の２個の参照インデクス一致ブロックの視差SADが所定の閾値以下である場合、１個の参照インデクス一致ブロックと、他の２個の参照インデクス一致ブロックとには、異なる被写体が写っており（視差に大きな違いがある）と推定されるとともに、他の２個の参照インデクス一致ブロックと、対象ブロックとには、同一の被写体が写っている（視差に大きな違いがない）と推定される。

したがって、視差SADが所定の閾値以下の２個の参照インデクス一致ブロックの計算視差ベクトルどうしは、似ている。

そして、視差SADが所定の閾値以下の２個の参照インデクス一致ブロックの計算視差ベクトルのうちのいずれかを、対象ブロックの予測ベクトルとすることにより、撮影視差ベクトルd(d2)から予測ベクトルを求める視差情報利用予測方式以上の予測精度の予測ベクトルが得られると推定される。

３個の周辺色ブロックに、視差SADが所定の閾値以下の２個の参照インデクス一致ブロックが含まれる場合には、メディアン予測方式によれば、その、視差SADが所定の閾値以下の２個の参照インデクス一致ブロックのうちのいずれかの計算視差ベクトルが、対象ブロックの予測ベクトルとされるので、予測精度の良い予測ベクトルを得ることができる。

参照インデクス一致ブロックの数が３個であり、そのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が２個である場合、つまり、３個の参照インデクス一致ブロックのうちの２個の参照インデクス一致ブロックの視差SADが所定の閾値を超え、他の１個の参照インデクス一致ブロックの視差SADが所定の閾値以下である場合、予測ベクトル生成部２４３は、視差情報利用予測方式で、対象ブロックの予測ベクトルを生成する。

ここで、MVC方式では、上述したように、参照インデクス一致ブロックの数が３個である場合、その３個以上の参照インデクス一致ブロックである３個の周辺色ブロックの計算視差ベクトルを用いたメディアン予測方式（メディアン予測器）により、対象ブロックの予測ベクトルが求められる。

メディアン予測方式に用いられる周辺色ブロックすべてが、参照インデクス一致ブロックであり、その３個の参照インデクス一致ブロックのうちの２個の参照インデクス一致ブロックの視差SADが所定の閾値を超え、他の１個の参照インデクス一致ブロックの視差SADが所定の閾値以下である場合、２個の参照インデクス一致ブロックと、他の１個の参照インデクス一致ブロックとには、異なる被写体が写っており（視差に大きな違いがある）と推定されるとともに、他の１個の参照インデクス一致ブロックと、対象ブロックとには、同一の被写体が写っている（視差に大きな違いがない）と推定される。

したがって、視差SADが所定の閾値を超える２個の参照インデクス一致ブロックの計算視差ベクトルと、視差SADが所定の閾値以下の他の１個の参照インデクス一致ブロックの計算視差ベクトルは、似ていない。

また、視差SADが所定の閾値以下の（他の１個の）参照インデクス一致ブロックの計算視差ベクトルを、対象ブロックの予測ベクトルとすることにより、予測精度の予測ベクトルが得られると推定される。

しかしながら、３個の周辺色ブロックが、視差SADが所定の閾値を超える２個の参照インデクス一致ブロックと、視差SADが所定の閾値以下の１個の参照インデクス一致ブロックとである場合には、メディアン予測方式によれば、視差SADが所定の閾値以下の参照インデクス一致ブロックの計算視差ベクトルが、対象ブロックの予測ベクトルとされるとは限らない。

すなわち、メディアン予測方式によれば、視差SADが所定の閾値以下の参照インデクス一致ブロック以外の周辺色ブロックの計算視差ベクトルが、対象ブロックの予測ベクトルとされることがあり、その場合、予測精度が悪くなる。

そこで、参照インデクス一致ブロックの数が３個であり、そのうちの、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が２個である場合には、予測ベクトル生成部２４３は、予測精度が悪くなるMVC方式（メディアン予測方式）ではなく、視差情報利用予測方式で、対象ブロックの予測ベクトルを生成する。

参照インデクス一致ブロックの数が３個であり、その３個の参照インデクス一致ブロックのいずれの視差SADも所定の閾値を超える場合、上述の、参照インデクス一致ブロックの数が３個であり、その３個のうちの２個の参照インデクス一致ブロックの視差SADが所定の閾値を超える場合と同様に、メディアン予測方式の予測精度は悪くなるので、予測ベクトル生成部２４３では、相対的に予測精度が良い視差情報利用予測方式で、対象ブロックの予測ベクトルが生成される。

なお、予測ベクトル生成部２４３は、16×16タイプ以外のマクロブロックタイプについても、16×16×タイプの場合と同様に、ベクトル予測処理を行う。

但し、参照インデクス一致ブロックとしてカウントする対象は、例えば、MVC方式で予測ベクトルを生成するときに用いられる周辺色ブロックとなる。

すなわち、例えば、16×16タイプについては、MVC方式で予測ベクトルを生成するときに用いられる周辺色ブロックは、図１０に示したように、対象ブロックXの左に隣接する周辺色ブロックA、上に隣接する周辺色ブロックB、及び、右斜め上に隣接する周辺色ブロックCの３つであるため、その３つの周辺色ブロックAないしCが、参照インデクス一致ブロックとしてカウントする対象となる。

また、例えば、8×16タイプや、16×8タイプについては、MVC方式で予測ベクトルを生成するときに用いられる周辺色ブロックが、対象ブロックXの左に隣接する周辺色ブロックAの１つだけや、上に隣接する周辺色ブロックBの１つだけ、右斜め上に隣接する周辺色ブロックCの１つだけであるため、その１つの周辺色ブロックが、参照インデクス一致ブロックとしてカウントする対象となる。

したがって、8×16タイプや、16×8タイプについては、参照インデクス一致ブロックの数の範囲は、０ないし１個となる。

図１８は、図１６のステップＳ５３ないしＳ５６で予測ベクトル生成部２４３（図１３）が各マクロブロックタイプについて行うベクトル予測処理を説明するフローチャートである。

ステップＳ６１において、予測ベクトル生成部２４３は、符号化情報に基づき、色画像C#2の、対象ブロックの周辺の周辺色ブロック（例えば、図３の３個の周辺色ブロックCAないしCC）の中の、予測画像を生成するのに参照する参照ピクチャを表す参照インデクスが、対象ブロックと一致する参照インデクス一致ブロックの数を判定する。

ステップＳ６１において、参照インデクス一致ブロックの数が０個であると判定された場合、処理は、ステップＳ６７に進み、予測ベクトル生成部２４３は、視差情報利用予測方式によって、デコード視差画像D#2から、対象ブロックの予測ベクトルを生成し、処理は、リターンする。

また、ステップＳ６１において、参照インデクス一致ブロックの数が１個以上であると判定された場合、処理は、ステップＳ６２に進み、予測ベクトル生成部２４３は、参照インデクス一致ブロックについて、その参照インデクス一致ブロックと同一位置の、デコード視差画像D#2の周辺視差ブロック（例えば、図３の周辺視差ブロックDAないしDC）と、同一位置ブロック（図３の同一位置ブロックDX）との差に対応する値としてのSADである視差SADを求め、処理は、ステップＳ６３に進む。

ステップＳ６３では、予測ベクトル生成部２４３は、参照インデクス一致ブロックの数が１個であり、かつ、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が、１個であるかどうかを判定する。

ステップＳ６３において、参照インデクス一致ブロックの数が１個であり、かつ、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が、１個であると判定された場合、処理は、ステップＳ６７に進み、予測ベクトル生成部２４３は、視差情報利用予測方式によって、デコード視差画像D#2から、対象ブロックの予測ベクトルを生成し、処理は、リターンする。

また、ステップＳ６３において、参照インデクス一致ブロックの数が１個でないと判定されるか、又は、参照インデクス一致ブロックの数が１個であっても、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が、１個でないと判定された場合、処理は、ステップＳ６４に進み、予測ベクトル生成部２４３は、参照インデクス一致ブロックの数が２個であり、かつ、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が、１個以上であるかどうかを判定する。

ステップＳ６４において、参照インデクス一致ブロックの数が２個であり、かつ、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が、１個以上であると判定された場合、処理は、ステップＳ６７に進み、予測ベクトル生成部２４３は、視差情報利用予測方式によって、デコード視差画像D#2から、対象ブロックの予測ベクトルを生成し、処理は、リターンする。

また、ステップＳ６４において、参照インデクス一致ブロックの数が２個でないと判定されるか、又は、参照インデクス一致ブロックの数が２個であっても、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が、１個以上でないと判定された場合、処理は、ステップＳ６５に進み、予測ベクトル生成部２４３は、参照インデクス一致ブロックの数が３個であり、かつ、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が、２個以上であるかどうかを判定する。

ステップＳ６５において、参照インデクス一致ブロックの数が３個であり、かつ、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が、２個以上であると判定された場合、処理は、ステップＳ６７に進み、予測ベクトル生成部２４３は、視差情報利用予測方式によって、デコード視差画像D#2から、対象ブロックの予測ベクトルを生成し、処理は、リターンする。

また、ステップＳ６５において、参照インデクス一致ブロックの数が３個でないと判定されるか、又は、参照インデクス一致ブロックの数が３個であっても、視差SADが所定の閾値を超える参照インデクス一致ブロックの数が、２個以上でないと判定された場合、処理は、ステップＳ６６に進み、予測ベクトル生成部２４３は、MVC方式によって、対象ブロックの予測ベクトルを生成し、処理は、リターンする。

以上のように、ベクトル予測処理において、参照インデクス一致ブロックと同一位置の周辺視差ブロックと、同一位置ブロックとの差に対応する視差SADに基づいて、視差情報利用予測方式の予測ベクトル、及び、MVC方式の予測ベクトルのうちの、予測精度が高いと推定される予測ベクトルを、対象ブロックの処理に用いる予測ベクトルとして生成することにより、予測精度の良い予測ベクトルを得ることができる。

［本技術を適用した多視点画像デコーダの一実施の形態］

図１９は、本技術を適用した多視点画像デコーダの一実施の形態の構成例を示すブロック図である。

図１９の多視点画像デコーダは、例えば、MVC方式を利用して、複数の視点の画像を符号化したデータを復号するデコーダであり、以下では、MVC方式と同様の処理については、適宜、説明を省略する。

なお、多視点画像デコーダは、MVC方式を利用するデコーダに限定されるものではない。

図１９の多視点画像デコーダでは、図４の多視点画像エンコーダが出力する多重化データが、２つの視点#1及び#2の色画像である視点#1の色画像C#1、及び、視点#2の色画像C#2、並びに、その２つの視点#1及び#2の視差情報画像である視点#1の視差画像D#1、及び、視点#2の視差画像D#2に復号される。

図１９において、多視点画像デコーダは、分離部３０１、デコーダ３１１，３１２，３２１，３２２、及び、DPB３３１を有する。

図４の多視点画像エンコーダが出力する多重化データは、図示せぬ記録媒体や伝送媒体を介して、分離部３０１に供給される。

分離部３０１は、そこに供給される多重化データから、色画像C#1の符号化データ、色画像C#2の符号化データ、視差画像D#1の符号化データ、及び、視差画像D#2の符号化データを分離する。

そして、分離部３０１は、色画像C#1の符号化データをデコーダ３１１に、色画像C#2の符号化データをデコーダ３１２に、視差画像D#1の符号化データをデコーダ３２１に、視差画像D#2の符号化データをデコーダ３２２に、それぞれ供給する。

デコーダ３１１は、分離部３０１からの色画像C#1の符号化データを復号し、その結果得られる色画像C#1を出力する。

デコーダ３１２は、分離部３０１からの色画像C#2の符号化データを復号し、その結果得られる色画像C#2を出力する。

デコーダ３２１は、分離部３０１からの視差画像D#1の符号化データを復号し、その結果得られる視差画像D#1を出力する。

デコーダ３２２は、分離部３０１からの視差画像D#2の符号化データを復号し、その結果得られる視差画像D#2を出力する。

DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２それぞれで、復号対象の画像を復号することにより得られる復号後の画像（デコード画像）を、予測画像の生成時に参照する参照ピクチャ（の候補）として一時記憶する。

すなわち、デコーダ３１１，３１２，３２１、及び、３２２は、それぞれ、図４のエンコーダ１１，１２，２１、及び、２２で予測符号化された画像を復号する。

予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ３１１，３１２，３２１、及び、３２２は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB３３１に一時記憶させる。

DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２それぞれで得られる復号後の画像（デコード画像）を一時記憶する共用のバッファであり、デコーダ３１１，３１２，３２１、及び、３２２それぞれは、DPB３３１に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照ピクチャを選択し、その参照ピクチャを用いて、予測画像を生成する。

DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２で共用されるので、デコーダ３１１，３１２，３２１、及び、３２２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。

［デコーダ３１１の構成例］

図２０は、図１９のデコーダ３１１の構成例を示すブロック図である。

なお、図１９のデコーダ３２１及び３２２も、デコーダ３１１と同様に構成され、例えば、MVC方式に従って、画像の符号化を行う。

図２０において、デコーダ３１１は、蓄積バッファ３４１、可変長復号部３４２、逆量子化部３４３、逆直交変換部３４４、演算部３４５、デブロッキングフィルタ３４６、画面並び替えバッファ３４７、D/A変換部３４８、画面内予測部３４９、インター予測部３５０、及び、予測画像選択部３５１を有する。

蓄積バッファ３４１には、分離部３０１（図１９）から、色画像C#1の符号化データが供給される。

蓄積バッファ３４１は、そこに供給される符号化データを一時記憶し、可変長復号部３４２に供給する。

可変長復号部３４２は、蓄積バッファ３４１からの符号化データを可変長復号することにより、量子化値やヘッダ情報を復元する。そして、可変長復号部３４２は、量子化値を、逆量子化部３４３に供給し、ヘッダ情報を、画面内予測部３４９、及び、インター予測部３５０に供給する。

逆量子化部３４３は、可変長復号部３４２からの量子化値を、変換係数に逆量子化し、逆直交変換部３４４に供給する。

逆直交変換部３４４は、逆量子化部３４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部３４５に供給する。

演算部３４５は、逆直交変換部３４４から供給されるマクロブロックを復号対象の対象ブロックとして、その対象ブロックに対して、必要に応じて、予測画像選択部３５１から供給される予測画像を加算することで、デコード画像を求め、デブロッキングフィルタ３４６に供給する。

デブロッキングフィルタ３４６は、演算部３４５からのデコード画像に対して、例えば、図８のデブロッキングフィルタ１２１と同様のフィルタリングを行い、そのフィルタリング後のデコード画像を、画面並び替えバッファ３４７に供給する。

画面並び替えバッファ３４７は、デブロッキングフィルタ３４６からのデコード画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、D/A(Digital/Analog)変換部３４８に供給する。

D/A変換部３４８は、画面並び替えバッファ３４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。

また、デブロッキングフィルタ３４６は、フィルタリング後のデコード画像のうちの、参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像を、DPB３３１に供給する。

ここで、DPB３３１は、デブロッキングフィルタ３４６からのデコード画像のピクチャ、すなわち、色画像C#1のピクチャを、時間的に後に行われる復号に用いる予測画像を生成するときに参照する参照ピクチャとして記憶する。

図１９で説明したように、DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２で共用されるので、デコーダ３１１において復号された色画像C#1のピクチャの他、デコーダ３１２において復号された色画像C#2のピクチャ、デコーダ３２１において復号された視差画像D#1のピクチャ、及び、デコーダ３２２において復号された視差画像D#2のピクチャも記憶する。

画面内予測部３４９は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックが、イントラ予測（画面内予測）で生成された予測画像を用いて符号化されているかどうかを認識する。

対象ブロックが、イントラ予測で生成された予測画像を用いて符号化されている場合、画面内予測部３４９は、図８の画面内予測部１２２と同様に、DPB３３１から、対象ブロックを含むピクチャ（対象ピクチャ）のうちの、既に復号されている部分（デコード画像）を読み出す。そして、画面内予測部３４９は、DPB３３１から読み出した、対象ピクチャのうちのデコード画像の一部を、対象ブロックの予測画像として、予測画像選択部３５１に供給する。

インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックが、インター予測で生成された予測画像を用いて符号化されているかどうかを認識する。

対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合、インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、予測用の参照インデクス、すなわち、対象ブロックの予測画像の生成に用いられた参照ピクチャに割り当てられている参照インデクスを認識する。

そして、インター予測部３５０は、DPB３３１に記憶されている参照ピクチャから、予測用の参照インデクスが割り当てられている参照ピクチャを読み出す。

さらに、インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられたずれベクトル（視差ベクトル、動きベクトル）を認識し、図８のインター予測部１２３と同様に、そのずれベクトルに従って、参照ピクチャのずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。

すなわち、インター予測部３５０は、参照ピクチャの、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。

そして、インター予測部３５０は、予測画像を、予測画像選択部３５１に供給する。

予測画像選択部３５１は、画面内予測部３４９から予測画像が供給される場合には、その予測画像を、インター予測部３５０から予測画像が供給される場合には、その予測画像を、それぞれ選択し、演算部３４５に供給する。

［デコーダ３２２の構成例］

図２１は、図１９のデコーダ３１２の構成例を示すブロック図である。

デコーダ３１２は、復号対象である視点#2の色画像C#2の符号化データの復号を、MVC方式を利用して、すなわち、図１２のエンコーダ１２で行われるローカルデコードと同様にして行う。

図２１において、デコーダ３１２は、蓄積バッファ４４１、可変長復号部４４２、逆量子化部４４３、逆直交変換部４４４、演算部４４５、デブロッキングフィルタ４４６、画面並び替えバッファ４４７、D/A変換部４４８、画面内予測部４４９、予測画像選択部４５１、MBインデクス計算部４６１、及び、視差予測部４６２を有する。

蓄積バッファ４４１ないし画面内予測部４４９、及び、予測画像選択部４５１は、図２０の蓄積バッファ３４１ないし画面内予測部３４９、及び、予測画像選択部３５１と、それぞれ同様に構成されるので、その説明は、適宜省略する。

図２１において、DPB３３１には、デブロッキングフィルタ４４６から、デコード画像、すなわち、デコーダ３１２において復号された色画像であるデコード色画像C#2のピクチャが供給され、参照ピクチャとして記憶される。

また、DPB３３１には、図１９や図２０で説明したように、デコーダ３１１において復号された色画像（デコード色画像）C#1のピクチャ、デコーダ３２１において復号された視差画像（デコード視差画像）D#1のピクチャ、及び、デコーダ３２２において復号された視差画像（デコード視差画像）D#2のピクチャも供給されて記憶される。

但し、デコーダ３１２では、デブロッキングフィルタ４４６からのデコード色画像C#2のピクチャの他、デコーダ３１１で得られるデコード色画像C#1、及び、デコーダ３２２で得られるデコード視差画像D#2が、復号対象である色画像C#2の復号に用いられるので、図２１では、デコーダ３１１で得られるデコード色画像C#1、及び、デコーダ３２２で得られるデコード視差画像D#2が、DPB３３１に供給されることを示す矢印を、図示してある。

MBインデクス計算部４６１は、図１２のMBインデクス計算部２３１と同様に、対象ブロックのMBインデクスを求め、視差予測部４６２に供給する。

視差予測部４６２は、可変長復号部４４２からのヘッダ情報に基づき、対象ブロックが、視差予測（インター予測）で生成された予測画像を用いて符号化されているかどうかを認識する。

対象ブロックが、視差予測で生成された予測画像を用いて符号化されている場合、視差予測部４６２は、可変長復号部４４２からのヘッダ情報に基づき、予測用の参照インデクス、すなわち、対象ブロックの予測画像の生成に用いられた参照ピクチャに割り当てられている参照インデクスを認識（取得）する。

そして、視差予測部４６２は、DPB３３１に記憶されているデコード色画像C#1のピクチャのうちの、予測用の参照インデクスが割り当てられているピクチャを、参照ピクチャとして選択する。

さらに、視差予測部４６２は、可変長復号部４４２からのヘッダ情報に基づき、候補ブロックの予測画像の生成に用いられた計算視差ベクトルを復元し、図１２の視差予測部２３２と同様に、その計算視差ベクトルに従って、視差予測を行うことで、予測画像を生成する。

すなわち、視差予測部４６２は、参照ピクチャの、対象ブロックの位置から、その対象ブロックの計算視差ベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。

そして、視差予測部４６２は、予測画像を、予測画像選択部４５１に供給する。

なお、図２１においては、説明を簡単にするため、図１２のエンコーダ１２の場合と同様に、デコーダ３２２に、インター予測のうちの視差予測だけを行う視差予測部４６２を設けてあるが、図１２のエンコーダ１２が、視差予測の他、時間予測も行う場合には、デコーダ３２２でも、エンコーダ１２で行われるのと同様にして、視差予測、及び、時間予測（による予測画像の生成）が行われる。

図２２は、図２１の視差予測部４６２の構成例を示すブロック図である。

図２２において、視差予測部４６２は、予測ベクトル生成部４７１、及び、視差補償部４７２を有する。

予測ベクトル生成部４７１には、DPB３３１記憶されたデコード視差画像D#2のピクチャが供給されるとともに、MBインデクス計算部４６１からMBインデクスが供給される。

また、予測ベクトル生成部４７１には、可変長復号部４４２からのヘッダ情報に含まれる撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等の視差関連情報（図４）が供給される。

さらに、予測ベクトル生成部４７１には、可変長復号部４４２からのヘッダ情報に含まれる、既に復号が行われた、色画像C#2のブロックのうちの、対象ブロックの、例えば、左、上、右斜め上にそれぞれ隣接する周辺色ブロック、すなわち、例えば、図３の周辺色ブロックCAないしCCの符号化情報、及び、対象ブロックの符号化情報が供給される。

ここで、可変長復号部４４２からのヘッダ情報に含まれる周辺色ブロックの符号化情報には、その周辺色ブロックのモード関連情報（マクロブロックタイプ）、及び、参照インデクス（予測用の参照インデクス）が含まれ、可変長復号部４４２からのヘッダ情報に含まれる対象ブロックの符号化情報には、その対象ブロックのモード関連情報（マクロブロックタイプ）、残差ベクトル、及び、参照インデクス（予測用の参照インデクス）が含まれる。

また、予測ベクトル生成部４７１には、視差補償部４７２から、既に復号が行われた周辺色ブロックの計算視差ベクトルが供給される。

予測ベクトル生成部４７１は、MBインデクス計算部４６１からのMBインデクスに基づいて、対象ピクチャにおける対象ブロックを認識する。

さらに、予測ベクトル生成部４７１は、DPB３３１記憶されたデコード視差画像D#2のピクチャ、視差関連情報、符号化情報、及び、視差補償部４７２からの周辺色ブロックの計算視差ベクトル等を必要に応じて用い、図１３の予測ベクトル生成部２４３と同様に、対象ブロックの予測ベクトルを生成し、視差補償部４７２に供給する。

すなわち、予測ベクトル生成部４７１は、対象ブロックの符号化情報に基づき、対象ブロックのマクロブロックモードを認識し、そのマクロブロックモードについて、視差情報利用予測方式で生成される予測ベクトルと、MVC方式で生成される予測ベクトルとのうちの、予測精度が高いと推定される予測ベクトルを、対象ブロックの予測ベクトルとして生成する。

ここで、予測ベクトル生成部４７１に供給される視差関連情報は、図１３の予測ベクトル生成部２４３の場合と同様に、予測ベクトルを、視差情報利用予測方式で生成するときに用いられる。

視差補償部４７２には、予測ベクトル生成部４７１から対象ブロックの予測ベクトルが供給される他、可変長復号部４４２からのヘッダ情報に含まれる、対象ブロックのモード関連情報、残差ベクトル、及び、予測用の参照インデクスが供給される。

さらに、視差補償部４７２には、DPB３３１に記憶された参照ピクチャであるデコード色画像C#1のピクチャが供給される。

視差補償部４７２は、可変長復号部４４２からの残差ベクトルと、予測ベクトル生成部４７１からの予測ベクトルとを加算することで、対象ブロックの計算視差ベクトルmvを復元する。

さらに、視差補償部４７２は、DPB３３１に記憶されたデコード色画像C#1のピクチャのうちの、可変長復号部４４２からの予測用の参照インデクスが割り当てられているピクチャを、参照ピクチャとして、その参照ピクチャのずれ補償（視差補償）を、対象ブロックの計算視差ベクトルmvを用いて、MVC方式と同様にして行うことで、可変長復号部４４２からのモード関連情報が表すマクロブロックタイプについて、対象ブロックの予測画像を生成する。

すなわち、視差補償部４７２は、デコード色画像C#1のピクチャの、対象ブロックの位置から、計算視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。

そして、視差補償部４７２は、予測画像を、予測画像選択部４５１に供給する。

図２３は、図２１のデコーダ３２２が行う、視点#2の色画像C#2の符号化データを復号する復号処理を説明するフローチャートである。

ステップＳ１１１において、蓄積バッファ４４１は、そこに供給される視点#2の色画像C#2の符号化データを記憶し、処理は、ステップＳ１１２に進む。

ステップＳ１１２では、可変長復号部４４２は、蓄積バッファ４４１に記憶された符号化データを読み出して可変長復号することにより、量子化値やヘッダ情報を復元する。そして、可変長復号部４４２は、量子化値を、逆量子化部４４３に供給し、ヘッダ情報を、画面内予測部４４９、及び、視差予測部４５０に供給して、処理は、ステップＳ１１３に進む。

ステップＳ１１３では、逆量子化部４４３は、可変長復号部４４２からの量子化値を、変換係数に逆量子化し、逆直交変換部４４４に供給して、処理は、ステップＳ１１４に進む。

ステップＳ１１４では、逆直交変換部４４４は、逆量子化部４４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部４４５に供給して、処理は、ステップＳ１１５に進む。

ステップＳ１１５では、演算部４４５は、逆直交変換部４４４からのマクロブロックを復号対象の対象ブロック（残差画像）として、その対象ブロックに対して、必要に応じて、予測画像選択部４５１から供給される予測画像を加算することで、デコード画像を求める。そして、演算部４４５は、デコード画像を、デブロッキングフィルタ４４６に供給し、処理は、ステップＳ１１５からステップＳ１１６に進む。

ステップＳ１１６では、デブロッキングフィルタ４４６は、演算部４４５からのデコード画像に対して、フィルタリングを行い、そのフィルタリング後のデコード画像（デコード色画像C#2）を、DPB３３１、及び、画面並び替えバッファ４４７に供給して、処理は、ステップＳ１１７に進む。

ステップＳ１１７では、DPB３３１が、デブロッキングフィルタ４４６からのデコード色画像C#2を記憶し、処理は、ステップＳ１１８に進む。

ステップＳ１１８では、DPB３３１が、色画像C#1を復号するデコーダ３１１から、デコード色画像C#1が供給されるのを待って、そのデコード色画像C#1を記憶し、処理は、ステップＳ１１９に進む。

ステップＳ１１９では、DPB３３１が、視差画像D#2を復号するデコーダ３２２から、デコード視差画像D#2が供給されるのを待って、そのデコード視差画像D#2を記憶し、処理は、ステップＳ１２０に進む。

ステップＳ１２０では、画面内予測部４４９、及び、視差予測部４６２が、可変長復号部４４２から供給されるヘッダ情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、視差予測（インター予測）のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを認識する。

そして、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されている場合には、画面内予測部４４９が、イントラ予測処理（画面内予測処理）を行う。

すなわち、画面内予測部４４９は、次の対象ブロックについて、DPB３３１に記憶されたデコード色画像C#2のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行い、その予測画像を、予測画像選択部４５１に供給して、処理は、ステップＳ１２０からステップＳ１２１に進む。

また、次の対象ブロックが、視差予測（インター予測）で生成された予測画像を用いて符号化されている場合には、視差予測部４６２が、視差予測処理（インター予測処理）を行う。

すなわち、視差予測部４６２は、次の対象ブロックについて、DPB３３１に記憶されたデコード色画像C#1のピクチャのうちの、可変長復号部４４２からのヘッダ情報に含まれる、次の対象ブロックの予測用の参照インデクスが割り当てられているピクチャを参照ピクチャに選択する。

さらに、視差予測部４６２は、可変長復号部４４２からのヘッダ情報に含まれるモード関連情報等を用いて、視差予測（視差補償）を行うことにより、予測画像を生成し、その予測画像を、予測画像選択部４５１に供給して、処理は、ステップＳ１２０からステップＳ１２１に進む。

ステップＳ１２１では、予測画像選択部４５１は、画面内予測部４４９、及び、視差予測部４６２のうちの、予測画像が供給される方からの、その予測画像を選択し、演算部４４５に供給して、処理は、ステップＳ１２２に進む。

ここで、予測画像選択部４５１がステップＳ１２１で選択する予測画像が、次の対象ブロックの復号で行われるステップＳ１１５の処理で用いられる。

ステップＳ１２２では、画面並び替えバッファ４４７が、デブロッキングフィルタ４４６からのデコード視差画像D#2のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A変換部４４８に供給して、処理は、ステップＳ１２３に進む。

ステップＳ１２３では、D/A変換部３４８は、画面並び替えバッファ４４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。

デコーダ３１２では、以上のステップＳ１１１ないしＳ１２３の処理が、適宜繰り返し行われる。

図２４は、図２３のステップＳ１２０で、図２２の視差予測部４６２が行う視差予測処理を説明するフローチャートである。

ステップＳ１３１において、視差予測部４６２は、MBインデクス計算部４６１から、（次の）対象ブロックのMBインデクスを取得し、予測ベクトル生成部４７１に供給する。

さらに、視差予測部４６２は、可変長復号部４４２からのヘッダ情報に含まれる撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等の視差関連情報（図４）を取得し、予測ベクトル生成部４７１に供給する。

また、視差予測部４６２は、可変長復号部４４２からのヘッダ情報に含まれる（次の）対象ブロックの符号化情報（モード関連情報、残差ベクトル、及び、予測用の参照インデクス）を取得し、予測ベクトル生成部４７１、及び、視差補償部４７２に供給して、処理は、ステップＳ１３１からステップＳ１３２に進む。

ステップＳ１３２において、視差予測部４６２は、DPB３３１から、デコード視差画像D#2のピクチャ（対象ピクチャと同一時刻のピクチャ）を取得し、予測ベクトル生成部４７１に供給して、処理は、ステップＳ１３３に進む。

ステップＳ１３３では、予測ベクトル生成部４７１は、MBインデクス計算部４６１からのMBインデクスに基づいて、対象ピクチャにおける（次の）対象ブロックを認識し、その対象ブロックの予測ベクトルを生成する予測ベクトル生成処理を行う。

そして、予測ベクトル生成部４７１は、予測ベクトル生成処理によって得られた対象ブロックの予測ベクトルを、視差補償部４７２に供給し、処理は、ステップＳ１３３からステップＳ１３４に進む。

ステップＳ１３４では、視差補償部４７２は、可変長復号部４４２からのヘッダ情報に含まれる対象ブロックの残差ベクトルと、予測ベクトル生成部４７１からの予測ベクトルとを加算することにより、対象ブロックの計算視差ベクトルmvを復元し、処理は、ステップＳ１３５に進む。

なお、視差補償部４７２では、対象ブロックの計算視差ベクトルmvが、予測ベクトル生成部４７１に供給される。予測ベクトル生成部４７１では、視差補償部４７２から供給されるの計算視差ベクトルmvを、後に対象ブロックとなるブロックの周辺色ブロックの計算視差ベクトルとして用いて、上述のステップＳ１３３の予測ベクトル生成処理が行われる。

ステップＳ１３５では、視差補償部４７２は、DPB３３１から、対象ブロックの予測用インデクスが割り当てられているデコード色画像C#1のピクチャを、参照ピクチャとして取得して、処理は、ステップＳ１３６に進む。

ステップＳ１３６では、視差補償部４７２は、DPB３３１からの参照ピクチャであるデコード色画像C#1のピクチャについて、対象ブロックの計算視差ベクトルmvに従ってMCを行うことにより、対象ブロックの予測画像を生成して、処理は、ステップＳ１３７に進む。

すなわち、視差補償部４７２は、デコード色画像C#1のピクチャの、対象ブロックの位置から、計算視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。

ステップＳ１３７では、視差補償部４７２は、予測画像を、予測画像選択部４５１に供給して、処理はリターンする。

図２５は、図２４のステップＳ１３３で予測ベクトル生成部４７１（図２２）が行う予測ベクトル生成処理を説明するフローチャートである。

ステップＳ１４１において、予測ベクトル生成部４７１は、可変長復号部４４２からのヘッダ情報から、既に符号化が行われた、色画像C#2の周辺色ブロック（例えば、図３の３個の周辺色ブロックCAないしCC）の符号化情報を取得し、処理は、ステップＳ１４２に進む。

ステップＳ１４２では、予測ベクトル生成部４７１は、DPB３３１からのデコード視差画像D#2のピクチャ（対象ピクチャと同一時刻のピクチャ）から、対象ブロックと同一位置のブロック（同一位置ブロック）と、その同一位置ブロックの周辺の周辺視差ブロック（ステップＳ１４１で符号化情報を取得した周辺色ブロックと同一位置の、デコード視差画像D#2のピクチャのブロック）（例えば、図３の３個の周辺視差ブロックDAないしDC）を取得し、処理は、ステップＳ１４３に進む。

ステップＳ１４３では、予測ベクトル生成部４７１は、ステップＳ１４１及びＳ１４２で取得した情報等を必要に応じて用いて、対象ブロックの符号化情報に含まれるモード関連情報が表す最適インター予測モードとしてのマクロブロックモードについて、図１７及び図１８で説明したのと同様のベクトル予測処理を行うことで、そのマクロブロックモードについての対象ブロックの予測ベクトルを生成する。

そして、予測ベクトル生成部４７１は、対象ブロックの予測ベクトルを、視差補償部４７２に供給して、処理はリターンする。

なお、以上においては、視差情報利用予測方式の他のベクトル予測方式として、MVC方式（メディアン予測方式）を採用したが、視差情報利用予測方式の他のベクトル予測方式としては、その他、例えば、図１及び図２で説明したSAD最小予測方式等を採用することができる。

［符号化コストに基づいて、予測精度を推定する方法］

図２６は、符号化コストに基づいて、視差情報利用予測方式、及び、MVC方式（メディアン予測方式）の予測精度を推定する方法を説明する図である。

ここで、図３では、視差（情報）画像D#2の周辺視差ブロックDAないしDCそれぞれと同一位置ブロックDXとのSAD（視差SAD）に基づいて、視差情報利用予測方式、及び、メディアン予測方式（MVC方式）の予測精度を推定し、視差情報利用予測方式、及び、メディアン予測方式のうちの、予測精度が良いと推定されるベクトル予測方式で、予測ベクトルを生成したが、視差情報利用予測方式、及び、メディアン予測方式の予測精度は、その他、対象ブロックの符号化コストに基づいて推定することができる。

図２６では、図２のＡ及び図３と同様に、色画像C#2に、背景と、その背景の手前側に存在するオブジェクトとしての矩形の前景とが写っており、色画像C#2の対象ブロックCXが、矩形の前景の左上のブロックになっている。

このため、対象ブロックCXの左に隣接する周辺色ブロックCA、上に隣接する周辺色ブロックCB、及び、右斜め上に隣接する周辺色ブロックCCは、いずれも、背景のブロックになっている。

以上のように、対象ブロックCXが、前景のブロックであり、周辺色ブロックCAないしCCが、背景のブロックになっている場合には、図２のＡで説明したように、メディアン予測方式（メディアン予測器）であっても、SAD最小予測方式（SAD最小予測器）であっても、予測ベクトルの予測精度は悪くなることがある。

そこで、本技術では、視差情報利用予測方式（視差情報利用予測器）の予測ベクトルPMVDを用いて、対象ブロックを符号化したときの符号化コストCOSTDと、メディアン予測方式（メディアン予測器）の予測ベクトルPMVCを用いて、対象ブロックを符号化したときの符号化コストCOSTCとが算出される。

そして、符号化コストCOSTD及びCOSTCに基づき、視差情報利用予測方式の予測ベクトルPMVD、及び、メディアン予測方式の予測ベクトルPMVCのうちの、符号化コストが小さい方の予測ベクトルが、対象ブロックの予測ベクトルに選択される。

なお、以上のように、符号化コストCOSTD及びCOSTCに基づき、対象ブロックの予測ベクトルを選択する場合には、デコーダ側では、符号化コストCOSTD及びCOSTCを算出することが困難であるため、本技術では、視差情報利用予測方式の予測ベクトルPMVD、及び、メディアン予測方式の予測ベクトルPMVCのうちの符号化コストが小さい方（対象ブロックの予測ベクトルに選択された方）を表すフラグである予測器フラグを、デコーダ側に送信する。

そして、デコーダ側では、予測器フラグに基づいて、視差情報利用予測方式の予測ベクトルPMVD、及び、メディアン予測方式の予測ベクトルPMVCのうちの一方が、対象ブロックの予測ベクトルとして生成される。

図２７は、符号化コストに基づいて、予測精度を推定する場合の、図１２の視差予測部２３２の構成例を示すブロック図である。

図２７において、視差予測部２３２は、視差検出部５４１、視差補償部５４２、予測ベクトル生成部５４３、コスト関数算出部５４４、モード選択部５４５、並びに、符号化情報バッファ５４６を有する。

視差検出部５４１には、DPB３１に記憶された参照ピクチャであるデコード色画像C#1のピクチャが供給されるとともに、画面並び替えバッファ２１２から、符号化対象の色画像C#2のピクチャ（対象ピクチャ）が供給される。

さらに、視差検出部５４１には、MBインデクス計算部２３１から、対象ブロックのMBインデクスが供給されるとともに、予測ベクトル生成部５４３から予測ベクトル情報が供給される。

視差検出部５４１は、MBインデクス計算部２３１からのMBインデクスに基づいて、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロックを認識する。

そして、視差検出部５４１は、MVC方式と同様に、対象ブロックと、参照ピクチャであるデコード色画像C#1のピクチャとを用いてMEを行うことにより、対象ブロックと、デコード色画像C#1のピクチャにおいて、対象ブロックとのSADを最小にする対応ブロックとのずれを表すずれベクトル、すなわち、対象ブロックの、視点#1に対する視差を表す計算視差ベクトルmvを、マクロブロックタイプごとに検出する。

さらに、視差検出部５４１は、予測ベクトル生成部５４３からの予測ベクトル情報から、視差情報利用予測方式の予測ベクトルPMVDと、MVC方式（メディアン予測方式）の予測ベクトルPMVCとを認識し、その予測ベクトルPMVD及びPMVCそれぞれについて、符号化コストを算出する。

すなわち、予測ベクトル生成部５４３から視差検出部５４１に供給される予測ベクトル情報には、視差情報利用予測方式の予測ベクトルPMVD、及び、その予測ベクトルPMVDを表す予測器フラグ（例えば、１ビットのフラグ）と、MVC方式の予測ベクトルPMVC、及び、その予測ベクトルPMVCを表す予測器フラグとが含まれている。

視差検出部５４１は、視差情報利用予測方式の予測ベクトルPMVDを用いて、対象ブロックを符号化したときの符号化コスト（予測ベクトルPMVDについての符号化コスト）COSTDと、MVC方式の予測ベクトルPMVCを用いて、対象ブロックを符号化したときの符号化コスト（予測ベクトルPMVCについての符号化コスト）COSTCとを、例えば、式COST＝D＋λRに従って算出する。

ここで、式COST＝D＋λRにおいて、Dは、対象ブロックと、デコード色画像C#1のピクチャの、対象ブロックから計算視差ベクトルmvだけ移動した位置のブロック（対応ブロック）とのSADを表し、λは、Rに対する重みであり、対象ブロックの残差の量子化ステップに応じて設定される。

また、式COST＝D＋λRにおいて、Rは、計算視差ベクトルmvと予測ベクトルとの差である残差ベクトルの符号量に相当する値である。MVC方式では、残差ベクトルの大きさが大であるほど、符号量は大になる。

視差検出部５４１は、予測ベクトルPMVDについての符号化コストCOSTDと、予測ベクトルPMVCについての符号化コストCOSTCとを求めると、その符号化コストCOSTD及びCOSTCのうちの小さい方のコストが得られる予測ベクトル（以下、最小コスト予測ベクトルともいう）を、予測ベクトル生成部５４３から供給される予測ベクトル情報に含まれる視差情報利用予測方式の予測ベクトルPMVD、及び、MVC方式の予測ベクトルPMVCの中から選択し、対象ブロックの予測ベクトルとする。

すなわち、視差検出部５４１は、視差情報利用予測方式の予測ベクトルPMVD、及び、MVC方式の予測ベクトルPMVCのうちの、符号化コストが小さい方（最小）の予測ベクトルの予測精度が高いと推定し、その符号化コストが小さい予測ベクトルを、対象ブロックの予測ベクトルに選択する。

そして、視差検出部５４１は、対象ブロックの計算視差ベクトルmvと、最小コスト予測ベクトルとの差分である残差ベクトルを求め、その最小コスト予測ベクトルを表す予測器フラグとともに、視差補償部５４２に供給する。

視差補償部５４２には、視差検出部５４１から、計算視差ベクトルmvの残差ベクトル、及び、予測器フラグが供給される他、DPB３１に記憶された参照ピクチャであるデコード色画像C#1のピクチャが供給される。

さらに、視差補償部５４２には、予測ベクトル生成部５４３から予測ベクトル情報が供給される。

視差補償部５４２は、視差検出部５４１からの予測器フラグに基づき、予測ベクトル生成部５４３からの予測ベクトル情報に含まれる視差情報利用予測方式の予測ベクトルPMVD、及び、MVC方式の予測ベクトルPMVCの中から、対象ブロックの予測ベクトルとしての最小コスト予測ベクトルを選択する。

さらに、視差補償部５４２は、視差検出部５４１からの残差ベクトルと、対象ブロックの予測ベクトル（最小コスト予測ベクトル）とを加算することで、対象ブロックの計算視差ベクトルmvを復元する。

そして、視差補償部５４２は、DPB３１からのデコード色画像C#1のピクチャを、参照ピクチャとして、その参照ピクチャのずれ補償（視差補償）を、対象ブロックの計算視差ベクトルmvを用いて、MVC方式と同様にして行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成する。

そして、視差補償部５４２は、予測画像を、視差検出部５４１からの残差ベクトル、予測画像を生成するのに用いた参照ピクチャ（ここでは、デコード色画像C#1のピクチャ）に割り当てられている参照インデクス、及び、視差検出部５４１からの予測器フラグ（最小コスト予測ベクトルを表す予測器フラグ）とともに、コスト関数算出部５４４に供給する。

予測ベクトル生成部５４３には、DPB３１記憶されたデコード視差画像D#2のピクチャが供給されるとともに、MBインデクス計算部２３１からMBインデクスが供給される。

また、予測ベクトル生成部５４３には、撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等の視差関連情報（図４）が供給される。

さらに、予測ベクトル生成部５４３には、符号化情報バッファ５４６から、既に符号化が行われた、色画像C#2の対象ブロックの周辺の周辺色ブロック、すなわち、例えば、図２６（図３）の周辺色ブロックCAないしCCの符号化情報が供給される。

ここで、周辺色ブロックの符号化情報には、図１３の場合と同様に、その周辺色ブロックが、対象ブロックとして符号化されたときのモード関連情報、計算視差ベクトル、参照インデクス（予測用の参照インデクス）が含まれる。

予測ベクトル生成部５４３は、MBインデクス計算部２３１からのMBインデクスに基づいて、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロックを認識する。

さらに、予測ベクトル生成部５４３は、視差関連情報や、デコード視差画像D#2のピクチャ等を用い、図１３の予測ベクトル生成部２４３と同様にして、各マクロブロックタイプ（図９）について、視差情報利用予測方式で、予測ベクトルPMVDを生成するとともに、その視差情報利用予測方式の予測ベクトルPMVCを表す予測器フラグを生成する。

また、予測ベクトル生成部５４３は、符号化情報バッファ５４６からの符号化情報のうちの、対象ブロックの周辺の周辺色ブロックCAないしCCの符号化情報等を用い、図１３の予測ベクトル生成部２４３と同様にして、各マクロブロックタイプ（図９）について、MVC方式で、予測ベクトルPMVCを生成するとともに、そのMVC方式の予測ベクトルPMVCを表す予測器フラグを生成する。

そして、予測ベクトル生成部５４３は、各マクロブロックタイプ（図９）についての、視差情報利用予測方式の予測ベクトルPMVD、及び、その予測ベクトルPMVDを表す予測器フラグと、MVC方式の予測ベクトルPMVC、及び、その予測ベクトルPMVCを表す予測器フラグとを、予測ベクトル情報として、視差検出部５４１、及び、視差補償部５４２に供給する。

コスト関数算出部５４４には、視差補償部５４２から、予測画像、残差ベクトル、参照インデクス、及び、予測器フラグが供給される他、画面並び替え部バッファ２１２から、色画像C#2の対象ピクチャが供給される。

コスト関数算出部５４４は、図１３のコスト関数算出部２４４と同様に、マクロブロックタイプ（図９）ごとに、画面並び替えバッファ２１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、所定のコスト関数に従って求める。

コスト関数算出部５４４は、マクロブロックタイプごとの符号化コスト（コスト関数値）を求めると、符号化コストを、参照インデクス、予測画像、残差ベクトル、及び、予測器フラグとともに、モード選択部５４５に供給する。

モード選択部５４５は、コスト関数算出部５４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。

さらに、モード選択部５４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択する。

そして、モード選択部５４５は、最適インター予測モードを表すモード関連情報、最適インター予測モードの参照インデクス（予測用の参照インデクス）、及び、最適インター予測モードの残差ベクトル、及び、最適インター予測モードの予測器フラグ等を、ヘッダ情報として、可変長符号化部２１６に供給する。

さらに、モード選択部５４５は、最適インター予測モードの予測画像と符号化コスト（最小コスト）を、予測画像選択部２２４に供給する。

なお、モード選択部５４５では、その他、図１３のモード選択部２４５と同様に、対象ブロックを、スキップマクロブロックとして符号化するかどうかの判定も行われる。

また、モード選択部５４５は、視差検出部５４１から、最適インター予測モードでの対象ブロックの符号化に用いられた対象ブロックの計算視差ベクトルを取得する。

そして、モード選択部５４５は、対象ブロックの計算視差ベクトル、モード関連情報、及び、予測用の参照インデクスを、対象ブロックの符号化情報として、符号化情報バッファ５４６に供給する。

符号化情報バッファ５４６は、モード選択部５４６からの符号化情報を一時記憶する。

図２８は、図１４のステップＳ２５で、図２７の視差予測部２３２が行う視差予測処理を説明するフローチャートである。

ステップＳ２４１において、視差予測部２３２は、MBインデクス計算部２３１から、（次の）対象ブロックのMBインデクスを取得し、視差検出部５４１、及び、予測ベクトル生成部５４３に供給して、処理は、ステップＳ２４２に進む。

ステップＳ２４２において、視差予測部２３２は、DPB３１から、参照ピクチャであるデコード色画像C#1のピクチャを取得するとともに、デコード視差画像D#2を取得する。

そして、視差予測部２３２は、デコード色画像C#1のピクチャを、視差検出部５４１、及び、視差補償部５４２に供給するとともに、デコード視差画像D#2を、予測ベクトル生成部５４３に供給して、処理は、ステップＳ２４３に進む。

ステップＳ２４３では、予測ベクトル生成部５４３は、MBインデクス計算部２３１からのMBインデクスに基づいて、画面並び替えバッファ２１２から供給される対象ピクチャにおける（次の）対象ブロックを認識する。

さらに、予測ベクトル生成部５４３は、符号化情報バッファ５４６に記憶された符号化情報や、DPB３１に記憶されたデコード視差画像D#2、その他、視差関連情報等を必要に応じて用いて、各マクロブロックタイプ（図９）について、（次の）対象ブロックの予測ベクトルを生成する予測ベクトル生成処理を行う。

ここで、予測ベクトル生成部５４３では、予測ベクトル生成処理において、例えば、視差情報利用予測方式の予測ベクトルPMVD、及び、その予測ベクトルPMVDを表す予測器フラグと、MVC方式の予測ベクトルPMVC、及び、その予測ベクトルPMVCを表す予測器フラグが生成される。

予測ベクトル生成部５４３は、予測ベクトル生成処理によって得られた視差情報利用予測方式の予測ベクトルPMVD、及び、その予測ベクトルPMVDを表す予測器フラグと、MVC方式の予測ベクトルPMVC、及び、その予測ベクトルPMVCを表す予測器フラグを、予測ベクトル情報として、視差検出部５４１、及び、視差補償部５４２に供給し、処理は、ステップＳ２４３からステップＳ２４４に進む。

ステップＳ２４４では、視差検出部５４１は、MBインデクス計算部２３１からのMBインデクスに基づいて、画面並び替えバッファ２１２から供給される対象ピクチャにおける対象ブロックを認識する。

そして、視差検出部５４１は、（次の）対象ブロックについて、計算視差ベクトルmvを検出するとともに、その対象ブロックの符号化に用いる予測ベクトルを選択する（計算）視差ベクトル検出処理を行う。

すなわち、視差ベクトル検出処理では、視差検出部５４１は、MVC方式と同様に、（次の）対象ブロックについて、DPB３１からのデコード色画像C#1のピクチャを参照ピクチャとして用いてMEを行うことにより、対象ブロックの、視点#1に対する視差を表す計算視差ベクトルmvを検出する。

さらに、視差検出部５４１は、予測ベクトル生成部５４３からの予測ベクトル情報に含まれる視差情報利用予測方式の予測ベクトルPMVDを用いて、対象ブロックを符号化したときの符号化コスト（予測ベクトルPMVDについての符号化コスト）COSTDを算出する。

また、視差検出部５４１は、予測ベクトル生成部５４３からの予測ベクトル情報に含まれるMVC方式の予測ベクトルPMVCを用いて、対象ブロックを符号化したときの符号化コスト（予測ベクトルPMVCについての符号化コスト）COSTCを算出する。

そして、視差検出部５４１は、予測ベクトルPMVD及びPMVCの中で、符号化コストCOSTD及びCOSTCのうちの小さい方の符号化コストが得られる予測ベクトル（最小コスト予測ベクトル）を、対象ブロックの予測ベクトルに選択する。

さらに、視差検出部５４１は、対象ブロックの計算視差ベクトルmvと、最小コスト予測ベクトルである予測ベクトルとの差分である残差ベクトルを求め、その予測ベクトル（最小コスト予測ベクトル）を表す予測器フラグとともに、視差補償部５４２に供給して、処理は、ステップＳ２４４からステップＳ２４５に進む。

ステップＳ２４５では、視差補償部５４２は、視差検出部５４１からの残差ベクトル、及び、予測器フラグと、予測ベクトル生成部５４３からの予測ベクトル情報とから、対象ブロックの計算視差ベクトルmvを復元する。

さらに、視差補償部５４２は、DPB３１からのデコード色画像C#1のピクチャを、参照ピクチャとして、対象ブロックの計算視差ベクトルmvに従ってMCを行うことにより、（次の）対象ブロックの予測画像を生成する。

すなわち、視差補償部５４２は、デコード色画像C#1のピクチャの、対象ブロックの位置から、計算視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。

そして、視差補償部５４２は、予測画像を、視差検出部５４１からの残差ベクトル、及び、予測器フラグ、並びに、予測画像を生成するのに用いた参照ピクチャ（ここでは、デコード色画像C#1のピクチャ）に割り当てられている参照インデクスとともに、コスト関数算出部５４４に供給して、処理は、ステップＳ２４５からステップＳ２４６に進む。

ステップＳ２４６では、コスト関数算出部５４４は、マクロブロックタイプ（図９）ごとに、画面並び替えバッファ２１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、所定のコスト関数に従って求め、視差補償部５４２からの参照インデクス、予測器フラグ、予測画像、及び、残差ベクトルとともに、モード選択部５４５に供給して、処理は、ステップＳ２４７に進む。

ステップＳ２４７では、モード選択部５４５は、コスト関数算出部５４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。

さらに、モード選択部５４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択して、処理は、ステップＳ２４７からステップＳ２４８に進む。

ステップＳ２４８では、モード選択部５４５は、最適インター予測モードの予測画像と符号化コスト（最小コスト）を、予測画像選択部２２４に供給して、処理は、ステップＳ２４９に進む。

ステップＳ２４９では、モード選択部５４５は、最適インター予測モードを表すモード関連情報、最適インター予測モードの参照インデクス（予測用の参照インデクス）、最適インター予測モードの残差ベクトル、及び、最適インター予測モードの予測器フラグを、ヘッダ情報として、可変長符号化部２１６に供給する。

さらに、ステップＳ２４９では、モード選択部５４５は、視差検出部５４１から、最適インター予測モードでの対象ブロックの符号化に用いられた対象ブロックの計算視差ベクトルを取得する。

そして、モード選択部５４５は、対象ブロックの計算視差ベクトル、モード関連情報、及び、予測用の参照インデクスを、対象ブロックの符号化情報として、符号化情報バッファ５４６に供給して記憶させ、処理はリターンする。

図２９は、図２８のステップＳ２４３で図２７の予測ベクトル生成部５４３が行う予測ベクトル生成処理を説明するフローチャートである。

ステップＳ２５１において、予測ベクトル生成部５４３は、符号化情報バッファ５４６から、既に符号化が行われた、色画像C#2の対象ブロックの周辺色ブロック（例えば、図２６（図３）の３個の周辺色ブロックCAないしCC）の符号化情報を取得し、処理は、ステップＳ２５２に進む。

ステップＳ２５２では、予測ベクトル生成部５４３は、DPB３１からのデコード視差画像D#2のピクチャ（対象ピクチャと同一時刻のピクチャ）から、対象ブロックと同一位置のブロック（同一位置ブロック）を取得し、処理は、ステップＳ２５３に進む。

以下、ステップＳ２５３ないしＳ２５６では、各マクロブロックタイプについて、ステップＳ２５１で取得した符号化情報、及び、ステップＳ２５２で取得した同一位置ブロックを必要に応じて用いて、視差情報利用予測方式の予測ベクトルPMVD、及び、その予測ベクトルPMVDを表す予測器フラグと、MVC方式の予測ベクトルPMVC、及び、その予測ベクトルPMVCを表す予測器フラグとを生成するベクトル予測処理が行われ、処理は、リターンする。

すなわち、ステップＳ２５３において、予測ベクトル生成部５４３は、16×16タイプについて、ベクトル予測処理を行い、処理は、ステップＳ２５４に進む。

ステップＳ２５４では、予測ベクトル生成部５４３は、16×8タイプについて、ベクトル予測処理を行い、処理は、ステップＳ２５５に進む。

ステップＳ２５５では、予測ベクトル生成部５４３は、8×16タイプについて、ベクトル予測処理を行い、処理は、ステップＳ２５６に進む。

ステップＳ２５６では、予測ベクトル生成部５４３は、8×8以下タイプについて、ベクトル予測処理を行い、処理はリターンする。

図３０は、図２９のステップＳ２５３ないしＳ２５６で図２７の予測ベクトル生成部５４３が各マクロブロックタイプについて行うベクトル予測処理を説明するフローチャートである。

ステップＳ２６１において、予測ベクトル生成部５４３は、周辺色ブロックの符号化情報に基づき、図１１で説明したようにして、MVC方式の予測ベクトルPMVCを求めるとともに、その予測ベクトルPMVCを表す予測器フラグを生成し、処理は、ステップＳ２６２に進む。

ステップＳ２６２では、予測ベクトル生成部５４３は、同一位置ブロック、すなわち、デコード視差画像D#2の、対象ブロックと同一位置のブロックから、視差情報利用予測方式の予測ベクトルPMVDを求めるとともに、その予測ベクトルPMVDを表す予測器フラグを生成し、処理はリターンする。

図３１は、図２８のＳ２４４において図２７の視差検出部５４１が行う視差ベクトル検出処理を説明するフローチャートである。

ステップＳ２７１において、視差検出部５４１は、対象ブロックについて、DPB３１からのデコード色画像C#1のピクチャを参照ピクチャとして用いてMEを行うことにより、対象ブロックの計算視差ベクトルmvを検出し、処理は、ステップＳ２７２に進む。

ステップＳ２７２では、視差検出部５４１は、予測ベクトル生成部５４３からの予測ベクトル情報に含まれるMVC方式の予測ベクトルPMVCを用いて、対象ブロックを符号化したときの符号化コスト（予測ベクトルPMVCについての符号化コスト）COSTCを算出し、処理は、ステップＳ２７３に進む。

ステップＳ２７３では、視差検出部５４１は、予測ベクトル生成部５４３からの予測ベクトル情報に含まれる視差情報利用予測方式（視差情報利用予測器）の予測ベクトルPMVDを用いて、対象ブロックを符号化したときの符号化コスト（予測ベクトルPMVDについての符号化コスト）COSTDを算出し、処理は、ステップＳ２７４に進む。

ステップＳ２７４では、視差検出部５４１は、符号化コストCOSTCと、符号化コストCOSTDとの大小関係を判定する。

ステップＳ２７４において、符号化コストCOSTCが、符号化コストCOSTDより大きいと判定された場合、処理は、ステップＳ２７５に進み、視差検出部５４１は、視差情報利用予測方式の予測ベクトルPMVDを、対象ブロックの予測ベクトルとしての最小コスト予測ベクトルに選択し、対象ブロックの予測ベクトルが、視差情報利用予測方式の予測ベクトルPMVDであることを表す値「視差画像モード」を、予測器フラグに設定して、処理はリターンする。

また、ステップＳ２７４において、符号化コストCOSTCが、符号化コストCOSTDより大きくないと判定された場合、処理は、ステップＳ２７６に進み、視差検出部５４１は、MVC方式の予測ベクトルPMVCを、対象ブロックの予測ベクトルとしての最小コスト予測ベクトルに選択し、対象ブロックの予測ベクトルが、MVC方式の予測ベクトルPMVCであることを表す値「MVCモード」を、予測器フラグに設定して、処理はリターンする。

以上のように、図２７の視差予測部２３２において、視差情報利用予測方式の予測ベクトルPMVDと、他のベクトル予測方式としてのMVC方式の予測ベクトルPMVCとを生成し、予測ベクトルPMVDとを用いた場合と、予測ベクトルPMVCとを用いた場合とのそれぞれについて、対象ブロックの符号化に要する符号化コストCOSTD及びCOSTCを算出し、符号化コストCOSTD及びCOSTCに基づいて、予測ベクトルPMVD及びPMVDのうちの、符号化コストが小さい方が、予測精度が高いと推定される予測ベクトルであるとして、対象ブロックの処理に用いる予測ベクトルに選択することにより、残差ベクトルの符号量が少なくなる、予測精度の良い予測ベクトルを得ることができる。

また、残差ベクトルの符号量が少なくなることにより、対象ブロックの残差に、符号量を割り当てることができ、その結果、色画像C#2の復号画像の画質を向上させることができる。

なお、図２７の視差予測部２３２では、予測ベクトルPMVD及びPMVDのうちの、対象ブロックの予測ベクトルに選択された方を表す予測器フラグが生成され、符号化データのヘッダ情報に含められるので、デコーダ側では、その予測器フラグに基づいて、対象ブロックの予測ベクトルを、容易に求めることができる。

ここで、予測器フラグは、符号化データのヘッダ情報に含める他、符号化データとは、別に提供（送信）することが可能である。

図３２は、図１２の視差予測部２３２が図２７に示したように構成される場合の、図２１の視差予測部４６２の構成例を示すブロック図である。

なお、図中、図２２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。

図３２において、視差予測部４６２は、視差補償部４７２を有する点で、図２２の場合と共通する。

但し、図３２において、視差予測部４６２は、予測ベクトル生成部４７１に代えて、予測ベクトル生成部６７１を有する点で、図２２の場合と相違する。

予測ベクトル生成部６７１には、DPB３３１記憶されたデコード視差画像D#2のピクチャが供給されるとともに、MBインデクス計算部４６１からMBインデクスが供給される。

また、予測ベクトル生成部６７１には、可変長復号部４４２からのヘッダ情報に含まれる撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等の視差関連情報（図４）が供給される。

さらに、予測ベクトル生成部６７１には、可変長復号部４４２からのヘッダ情報に含まれる、既に復号が行われた、色画像C#2の対象ブロックの周辺の周辺色ブロック（例えば、図２６（図３）の周辺色ブロックCAないしCC）の符号化情報、及び、対象ブロックの符号化情報が供給される。

ここで、可変長復号部４４２からのヘッダ情報に含まれる周辺色ブロックの符号化情報には、その周辺色ブロックのモード関連情報（マクロブロックタイプ）、及び、参照インデクス（予測用の参照インデクス）が含まれ、可変長復号部４４２からのヘッダ情報に含まれる対象ブロックの符号化情報には、その対象ブロックのモード関連情報（マクロブロックタイプ）、残差ベクトル、及び、参照インデクス（予測用の参照インデクス）が含まれる。

また、予測ベクトル生成部６７１には、可変長復号部４４２からのヘッダ情報に含まれる対象ブロックの予測器フラグが供給される。

さらに、予測ベクトル生成部６７１には、視差補償部４７２から、既に復号が行われた周辺色ブロックの計算視差ベクトルが供給される。

予測ベクトル生成部６７１は、MBインデクス計算部４６１からのMBインデクスに基づいて、対象ピクチャにおける対象ブロックを認識する。

さらに、予測ベクトル生成部６７１は、可変長復号部４４２からのヘッダ情報に含まれる予測器フラグ、視差関連情報、及び、符号化情報、DPB３３１記憶されたデコード視差画像D#2のピクチャ、及び、視差補償部４７２からの周辺色ブロックの計算視差ベクトルを必要に応じて用い、図２７の予測ベクトル生成部５４３と同様に、視差情報利用予測方式の予測ベクトルPMVD、又は、MVC方式の予測ベクトルPMVCを生成し、対象ブロックの予測ベクトルとして、視差補償部４７２に供給する。

すなわち、予測ベクトル生成部６７１は、予測器フラグに基づいて、対象ブロックの予測ベクトルを生成するベクトル予測方式を認識する。

さらに、予測ベクトル生成部６７１は、対象ブロックの符号化情報に基づき、対象ブロックのマクロブロックモードを認識し、そのマクロブロックモードについて、視差情報利用予測方式、及び、MVC方式のうちの、予測器フラグに基づいて認識した方のベクトル予測方式で、対象ブロックの予測ベクトルを生成する。

図３３は、図２３のステップＳ１２０で、図３２の視差予測部４６２が行う視差予測処理を説明するフローチャートである。

ステップＳ３３１において、視差予測部４６２は、MBインデクス計算部４６１から、（次の）対象ブロックのMBインデクスを取得し、予測ベクトル生成部６７１に供給する。

さらに、視差予測部４６２は、可変長復号部４４２からのヘッダ情報に含まれる撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等の視差関連情報（図４）を取得し、予測ベクトル生成部６７１に供給する。

また、視差予測部４６２は、可変長復号部４４２からのヘッダ情報に含まれる（次の）対象ブロックの符号化情報（モード関連情報、残差ベクトル、及び、予測用の参照インデクス）、及び、予測器フラグを取得し、予測ベクトル生成部６７１、及び、視差補償部４７２に供給して、処理は、ステップＳ３３１からステップＳ３３２に進む。

ステップＳ３３２において、視差予測部４６２は、DPB３３１から、デコード視差画像D#2のピクチャ（対象ピクチャと同一時刻のピクチャ）を取得し、予測ベクトル生成部６７１に供給して、処理は、ステップＳ３３３に進む。

ステップＳ３３３では、予測ベクトル生成部６７１は、MBインデクス計算部４６１からのMBインデクスに基づいて、対象ピクチャにおける（次の）対象ブロックを認識する。さらに、予測ベクトル生成部６７１は、予測器フラグに基づき、ステップＳ３３１及びＳ３３２で供給される情報を必要に応じて用いて、視差情報利用予測方式、又は、MVC方式で、対象ブロックの予測ベクトルを生成する予測ベクトル生成処理を行う。

そして、予測ベクトル生成部６７１は、予測ベクトル生成処理によって得られた対象ブロックの予測ベクトルを、視差補償部４７２に供給し、処理は、ステップＳ３３３からステップＳ３３４に進む。

以下、ステップＳ３３４ないしＳ３３７では、図２４のステップＳ１３４ないしＳ１３７とそれぞれ同様の処理が行われる。

図３４は、図３３のステップＳ３３３で図３２の予測ベクトル生成部６７１が行う予測ベクトル生成処理を説明するフローチャートである。

ステップＳ３４１において、予測ベクトル生成部６７１は、予測器フラグが、値「視差画像モード」及び「MVCモード」のうちのいずれに設定されているかを判定する。

ステップＳ３４１において、予測器フラグが、値「視差画像モード」に設定されていると判定された場合、処理は、ステップＳ３４２に進み、予測ベクトル生成部６７１は、デコード視差画像D#2から、視差情報利用予測方式（視差情報利用予測器）の予測ベクトルPMVDを、対象ブロックの予測ベクトルとして生成し、処理はリターンする。

また、ステップＳ３４１において、予測器フラグが、値「MVCモード」に設定されていると判定された場合、処理は、ステップＳ３４３に進み、予測ベクトル生成部６７１は、対象ブロックの符号化情報、並びに、周辺色ブロックの符号化情報及び計算視差ベクトルを必要に応じて用いて、図１０で説明したようにして、MVC方式の予測ベクトルPMVCを、対象ブロックの予測ベクトルとして生成し、処理はリターンする。

以上のように、図３２の予測ベクトル生成部６７１では、予測器フラグによって、対象ブロックの予測ベクトルが、視差情報利用予測方式の予測ベクトルPMVDであるか、又は、MVC方式の予測ベクトルPMVCであるかを認識することができるので、図２２の予測ベクトル生成部４７１に比較して、処理の負荷が軽減される。

なお、以上においては、エンコーダ１２において、視差情報利用予測方式の予測ベクトルと、MVC方式の予測ベクトルとのうちの、符号化コストが小さい方の予測ベクトルである最小コスト予測ベクトルを、対象ブロックの予測ベクトルに選択し、その最小コスト予測ベクトルを表す予測器フラグを、デコーダ３１２に送信することとしたが、その他、エンコーダ１２では、例えば、視差情報利用予測方式の予測ベクトル、及び、その他の１以上のベクトルの中で、符号化コストが最小のベクトルを、対象ブロックの予測ベクトルに選択することができる。

すなわち、エンコーダ１２では、例えば、視差情報利用予測方式の予測ベクトル、周辺色ブロックCA，CB、及び、CC（図３）（図２６）の計算視差ベクトルの４個のベクトルの中で、符号化コストが最小のベクトルを、対象ブロックの予測ベクトルに選択することができる。

この場合、予測器フラグは、対象ブロックの予測ベクトルが、視差情報利用予測方式の予測ベクトル、周辺色ブロックCA，CB、及び、CCの計算視差ベクトルの４個のベクトルのうちのいずれであるかを表すフラグとなる。

図３５ないし図３７は、ヘッダ情報に含められる予測器フラグの例を示す図である。

図２７で説明したように、モード選択部５４５において、予想器フラグは、ヘッダ情報に含められて、可変長符号化部２１６に供給される。

可変長符号化部２１６では、ヘッダ情報が、符号化データのヘッダに含められる。

図３５ないし図３７は、符号化データがMVC(AVC)方式の符号化データである場合に、そのヘッダに含められる予測器フラグを示している。

ここで、予測器フラグは、マクロブロックを最小単位として設定することができる。

また、予測器フラグは、対象ブロックを８×８画素のパーティション以上のサイズに分割するマクロブロックタイプ（以下、8×8以上タイプともいう）、すなわち、対象ブロックを８×８画素のパーティションに分割するマクロブロックタイプ（8×8タイプ）や、対象ブロックを１６×８画素のパーティションに分割するマクロブロックタイプ（16×8タイプ）、対象ブロックを８×１６画素のパーティションに分割するマクロブロックタイプ（8×16タイプ）のパーティションを最小単位として設定することができる。

さらに、予測器フラグは、対象ブロックを８×８画素のパーティションより小さいサイズのパーティション、すなわち、８×４画素、４×８画素、又は４×４画素のサブパーティションに分割するマクロブロックタイプ（以下、8×8未満タイプともいう）のパーティション（サブパーティション）を最小単位として設定することができる。

図３５は、マクロブロックを最小単位として設定される予測器フラグを示す図である。

すなわち、図３５は、MVC方式のmb_pred(mb_type)のシンタクスを示している。

予測器フラグを、マクロブロックを最小単位として設定する場合、予測器フラグは、mb_pred(mb_type)に含められる。

図３５において、mv_pred_mode_l0及びmv_pred_mode_l1が、予測器フラグを示している。

また、図３５において、mv_pred_mode_l0は、L0予測が行われる場合に使用される予測器フラグであり、mv_pred_mode_l1は、L1予測が行われる場合に使用される予測器フラグである。

図３６は、8×8以上タイプのパーティションを最小単位として設定される予測器フラグを示す図である。

すなわち、図３６は、MVC方式のmb_pred(mb_type)の一部のシンタクスを示している。

予測器フラグを、8×8以上タイプのパーティションを最小単位として設定する場合、予測器フラグは、mb_pred(mb_type)に含められる。

図３６において、mv_pred_mode_l0[mbPartIdx]及びmv_pred_mode_l1[mbPartIdx]が、予測器フラグを示している。

また、図３６において、mv_pred_mode_l0[mbPartIdx]は、L0予測が行われる場合に使用される予測器フラグであり、mv_pred_mode_l1[mbPartIdx]は、L1予測が行われる場合に使用される予測器フラグである。

なお、予測器フラグmv_pred_mode_l0[mbPartIdx]及びmv_pred_mode_l1[mbPartIdx]の引数mbPartIdxは、8×8以上タイプの各パーティションを区別するためのインデクスである。

図３７は、8×8未満タイプのパーティションを最小単位として設定される予測器フラグを示す図である。

すなわち、図３７は、MVC方式のsub_mb_pred(mb_type)の一部のシンタクスを示している。

予測器フラグを、8×8未満タイプのパーティションを最小単位として設定する場合、予測器フラグは、mb_pred(mb_type)、及び、sub_mb_pred(mb_type)に含められる。

なお、予測器フラグを、8×8未満タイプのパーティションを最小単位として設定する場合に、mb_pred(mb_type)に含められる、予測器フラグは、図３６に示した通りであり、図３７は、sub_mb_pred(mb_type)に含められる予測器フラグを示している。

図３７において、mv_pred_mode_l0[mbPartIdx][subMbPartIdx]及びmv_pred_mode_l1[mbPartIdx][subMbPartIdx]が、予測器フラグを示している。

また、図３７において、mv_pred_mode_l0[mbPartIdx][subMbPartIdx]は、L0予測が行われる場合に使用される予測器フラグであり、mv_pred_mode_l1[mbPartIdx][subMbPartIdx]は、L1予測が行われる場合に使用される予測器フラグである。

なお、予測器フラグmv_pred_mode_l0[mbPartIdx][subMbPartIdx]及びmv_pred_mode_l1[mbPartIdx][subMbPartIdx]の引数subMbPartIdxは、8×8未満タイプの各パーティションを区別するためのインデクスである。

ここで、予測器フラグを、マクロブロックを最小単位として設定する場合には、符号化データのヘッダのデータ量（オーバーヘッドのデータ量）の増加を最小限に抑えることができる。

一方、予測器フラグを、8×8未満タイプのパーティション（サブパーティション）を最小単位として設定する場合には、小さいサイズのパーティションごとに、予測ベクトルを制御することができるので、予測精度を向上させることができる。

また、予測器フラグを、8×8以上タイプのパーティションを最小単位として設定する場合には、符号化データのヘッダのデータ量の増加を抑えつつ、マクロブロックを最小単位とする場合と、8×8未満タイプのパーティションを最小単位とする場合との中間の予測精度を実現することができる。

［視差ベクトルのばらつき具合に基づいて、予測精度を推定する方法］

図３８は、視差ベクトルのばらつき具合に基づいて、視差情報利用予測方式、及び、MVC方式（メディアン予測方式）の予測精度を推定する方法を説明する図である。

ここで、図３では、視差（情報）画像D#2の周辺視差ブロックDAないしDCそれぞれと同一位置ブロックDXとの視差SADに基づいて、視差情報利用予測方式、及び、メディアン予測方式（MVC方式）の予測精度を推定し、視差情報利用予測方式、及び、メディアン予測方式のうちの、予測精度が良いと推定されるベクトル予測方式で、予測ベクトルを生成したが、視差情報利用予測方式、及び、メディアン予測方式の予測精度は、その他、対象ブロックの周辺の周辺色ブロックの計算視差ベクトルのばらつき具合に基づいて推定することができる。

図３８では、図２のＡ及び図３と同様に、色画像C#2に、背景と、その背景の手前側に存在するオブジェクトとしての矩形の前景とが写っており、色画像C#2の対象ブロックCXが、矩形の前景の左上のブロックになっている。

このため、対象ブロックCXの左に隣接する周辺色ブロックCA、上に隣接する周辺色ブロックCB、及び、右斜め上に隣接する周辺色ブロックCCは、いずれも、背景のブロックになっている。

以上のように、対象ブロックCXが、前景のブロックであり、周辺色ブロックCAないしCCが、背景のブロックになっている場合には、図２のＡで説明したように、メディアン予測方式（メディアン予測器）であっても、SAD最小予測方式（SAD最小予測器）であっても、予測ベクトルの予測精度は悪くなることがある。

そこで、本技術では、対象ブロックの周辺の、既に符号化（復号）された周辺色ブロックCAないしCCそれぞれの計算視差ベクトルのばらつき具合としての、例えば、分散（や標準偏差等）が求められる。

そして、本技術では、周辺色ブロックCAないしCCそれぞれの計算視差ベクトルのばらつき具合としての分散に基づいて、視差情報利用予測方式（視差情報利用予測器）で生成される予測ベクトルと、他のベクトル予測方式としての、例えば、メディアン予測方式（メディアン予測器）で生成される予測ベクトルとのうちの、予測精度が高いと推定される予測ベクトルが、対象ブロックCXの処理に用いる予測ベクトルとして生成される。

すなわち、本技術では、周辺色ブロックCAないしCCそれぞれの計算視差ベクトルのばらつき具合としての分散（以下、周辺ベクトル分散ともいう）が求められ、その分散が所定の閾値以上であるかどうかが判定される。

そして、周辺ベクトル分散が、所定の閾値以上でない場合、すなわち、周辺色ブロックCAないしCCそれぞれの計算視差ベクトルに、それほど違いがない場合には、メディアン予測方式で生成される予測ベクトルの予測精度に問題がないと推定し、メディアン予測方式（MVC方式）で、対象ブロックCXの予測ベクトルが生成される。

一方、周辺ベクトル分散が、所定の閾値以上である場合、すなわち、周辺色ブロックCAないしCCそれぞれの計算視差ベクトルのばらつき具合が、大きい場合には、視差情報利用予測方式で生成される予測ベクトルの方が、メディアン予測方式で生成される予測ベクトルよりも、予測精度が高いと推定し、視差情報利用予測方式で、対象ブロックCXの予測ベクトルが生成される。

図３９は、符号化コストに基づいて、予測精度を推定する場合の、図１２の視差予測部２３２の構成例を示すブロック図である。

なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図３９において、視差予測部２３２は、視差検出部２４１、視差補償部２４２、コスト関数算出部２４４、モード選択部２４５、及び、符号化情報バッファ２４６を有する点で、図１３の場合と共通する。

但し、図３９では、視差予測部２３２は、予測ベクトル生成部２４３に代えて、予測ベクトル生成部７４３を有する点で、図１３の場合と異なる。

予測ベクトル生成部７４３には、DPB３１記憶されたデコード視差画像D#2のピクチャが供給されるとともに、MBインデクス計算部２３１からMBインデクスが供給される。

また、予測ベクトル生成部７４３には、撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等の視差関連情報（図４）が供給される。

さらに、予測ベクトル生成部７４３には、符号化情報バッファ２４６から、既に符号化が行われた、色画像C#2の対象ブロックの周辺の周辺色ブロック（例えば、図３８の周辺色ブロックCAないしCC）の符号化情報が供給される。

ここで、周辺色ブロックの符号化情報には、図１３で説明したように、その周辺色ブロックが、対象ブロックとして符号化されたときのモード関連情報、計算視差ベクトル、参照インデクス（予測用の参照インデクス）が含まれる。

予測ベクトル生成部７４３は、MBインデクス計算部２３１からのMBインデクスに基づいて、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロックを認識する。

さらに、予測ベクトル生成部７４３は、符号化情報バッファ２４６からの符号化情報のうちの、対象ブロックの周辺の周辺色ブロック（例えば、図３８の周辺色ブロックCAないしCC）それぞれの符号化情報等に基づき、視差情報利用予測方式で生成される予測ベクトルと、MVC方式で生成される予測ベクトルとのうちの、予測精度が高いと推定される予測ベクトルを、対象ブロックの処理に用いる予測ベクトルとして生成する。

予測ベクトル生成部７４３は、各マクロブロックタイプ（図９）について、予測ベクトルを生成し、予測ベクトル情報として、視差検出部２４１、視差補償部２４２、及び、コスト関数算出部２４４に供給する。

図４０は、図１５のステップＳ４３で図３９の予測ベクトル生成部７４３が行う予測ベクトル生成処理を説明するフローチャートである。

ステップＳ４５１において、予測ベクトル生成部７４３は、符号化情報バッファ２４６から、既に符号化が行われた、色画像C#2の対象ブロックの周辺の周辺色ブロック、すなわち、例えば、図３８（図３）の３個の周辺色ブロックCAないしCCの符号化情報を取得し、処理は、ステップＳ４５２に進む。

ステップＳ４５２では、予測ベクトル生成部７４３は、DPB３１からのデコード視差画像D#2のピクチャ（対象ピクチャと同一時刻のピクチャ）から、対象ブロックと同一位置のブロック（同一位置ブロック）を取得し、処理は、ステップＳ４５３に進む。

以下、ステップＳ４５３ないしＳ４５６では、各マクロブロックタイプについて、ステップＳ４５１及びＳ４５２で取得した情報を必要に応じて用いて、対象ブロックの予測ベクトルを生成するベクトル予測処理が行われ、処理は、リターンする。

すなわち、ステップＳ４５３において、予測ベクトル生成部７４３は、6×16タイプについて、ベクトル予測処理を行い、処理は、ステップＳ４５４に進む。

ステップＳ４５４では、予測ベクトル生成部７４３は、16×8タイプについて、ベクトル予測処理を行い、処理は、ステップＳ４５５に進む。

ステップＳ４５５では、予測ベクトル生成部７４３は、8×16タイプについて、ベクトル予測処理を行い、処理は、ステップＳ４５６に進む。

ステップＳ４５６では、予測ベクトル生成部７４３は、8×8以下タイプについて、ベクトル予測処理を行い、処理はリターンする。

図４１は、図４０のステップＳ４５３ないしＳ４５６で図３９の予測ベクトル生成部７４３（図３９）が各マクロブロックタイプについて行うベクトル予測処理を説明するフローチャートである。

ステップＳ４６１において、予測ベクトル生成部７４３は、符号化情報に基づき、色画像C#2の、対象ブロックの周辺の周辺色ブロック（例えば、図３８の３個の周辺色ブロックCAないしCC）の中の、参照インデクスが、対象ブロックと一致する参照インデクス一致ブロックの数を判定する。

ステップＳ４６１において、参照インデクス一致ブロックの数が０個であると判定された場合、処理は、ステップＳ４６４に進み、予測ベクトル生成部７４３は、図１３の予測ベクトル生成部２４３と同様に、視差情報利用予測方式によって、デコード視差画像D#2から、対象ブロックの予測ベクトルを生成し、処理は、リターンする。

また、ステップＳ４６１において、参照インデクス一致ブロックの数が１個であると判定された場合、処理は、ステップＳ４６５に進み、予測ベクトル生成部７４３は、MVC方式によって、対象ブロックの予測ベクトルを生成し、処理は、リターンする。

一方、ステップＳ４６１において、参照インデクス一致ブロックの数が２個以上（ここでは、２個又は３個）であると判定された場合、処理は、ステップＳ４６２に進み、予測ベクトル生成部７４３は、対象ブロックの周辺の周辺色ブロック（例えば、図３８の３個の周辺色ブロックCAないしCC）のうちの、２個以上の参照インデクス一致ブロックそれぞれの計算視差ベクトルのばらつき具合としての分散である周辺ベクトル分散を求め、処理は、ステップＳ４６３に進む。

ステップＳ４６３では、予測ベクトル生成部７４３は、周辺ベクトル分散が、所定の閾値以上であるかどうかを判定する。

ステップＳ４６３において、周辺ベクトル分散が、所定の閾値以上であると判定された場合、対象ブロックと周辺色ブロックとの間で、視差の相関がなく、MVC方式の予測ベクトルの予測精度が悪いと推定されるので、処理は、ステップＳ４６４に進み、予測ベクトル生成部７４３は、視差情報利用予測方式によって、デコード視差画像D#2から、対象ブロックの予測ベクトルを生成し、処理は、リターンする。

また、ステップＳ４６３において、周辺ベクトル分散が、所定の閾値以上でないと判定された場合、MVC方式の予測ベクトルの予測精度が良いと推定されるので、処理は、ステップＳ４６５に進み、予測ベクトル生成部７４３は、MVC方式によって、対象ブロックの予測ベクトルを生成し、処理は、リターンする。

図４２は、図１２の視差予測部２３２が図３９に示したように構成される場合の、図２１の視差予測部４６２の構成例を示すブロック図である。

なお、図中、図２２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。

図４２において、視差予測部４６２は、視差補償部４７２を有する点で、図２２の場合と共通する。

但し、図４２において、視差予測部４６２は、予測ベクトル生成部４７１に代えて、予測ベクトル生成部８７１を有する点で、図２２の場合と相違する。

予測ベクトル生成部８７１には、DPB３３１記憶されたデコード視差画像D#2のピクチャが供給されるとともに、MBインデクス計算部４６１からMBインデクスが供給される。

また、予測ベクトル生成部８７１には、可変長復号部４４２からのヘッダ情報に含まれる撮影視差ベクトルd（視点#2の撮影視差ベクトルd2）の最大値dmax及び最小値dmin等の視差関連情報（図４）が供給される。

さらに、予測ベクトル生成部８７１には、可変長復号部４４２からのヘッダ情報に含まれる、既に復号が行われた、色画像C#2の象ブロックの周辺の周辺色ブロック（例えば、図３８の周辺色ブロックCAないしCC）の符号化情報、及び、対象ブロックの符号化情報が供給される。

ここで、図２２の場合と同様に、可変長復号部４４２からのヘッダ情報に含まれる周辺色ブロックの符号化情報には、その周辺色ブロックのモード関連情報（マクロブロックタイプ）、及び、参照インデクス（予測用の参照インデクス）が含まれ、可変長復号部４４２からのヘッダ情報に含まれる対象ブロックの符号化情報には、その対象ブロックのモード関連情報（マクロブロックタイプ）、残差ベクトル、及び、参照インデクス（予測用の参照インデクス）が含まれる。

また、予測ベクトル生成部８７１には、視差補償部４７２から、既に復号が行われた周辺色ブロックの計算視差ベクトルが供給される。

予測ベクトル生成部８７１は、MBインデクス計算部４６１からのMBインデクスに基づいて、対象ピクチャにおける対象ブロックを認識する。

さらに、予測ベクトル生成部８７１は、DPB３３１記憶されたデコード視差画像D#2のピクチャ、視差関連情報、符号化情報、及び、視差補償部４７２からの周辺色ブロックの計算視差ベクトルを必要に応じて用い、図３９の予測ベクトル生成部７４３と同様に、対象ブロックの予測ベクトルを生成し、視差補償部４７２に供給する。

すなわち、予測ベクトル生成部８７１は、対象ブロックの符号化情報に基づき、対象ブロックのマクロブロックモードを認識し、そのマクロブロックモードについて、視差情報利用予測方式で生成される予測ベクトルと、MVC方式で生成される予測ベクトルとのうちの、予測精度が高いと推定される予測ベクトルを、対象ブロックの予測ベクトルとして生成する。

図４３は、図２４のステップＳ１３３で図４２の予測ベクトル生成部８７１が行う予測ベクトル生成処理を説明するフローチャートである。

ステップＳ５４１において、予測ベクトル生成部８７１は、可変長復号部４４２からのヘッダ情報から、既に符号化が行われた、色画像C#2の周辺色ブロック（例えば、図３８の３個の周辺色ブロックCAないしCC）の符号化情報を取得し、処理は、ステップＳ５４２に進む。

ステップＳ５４２では、予測ベクトル生成部８７１は、DPB３３１からのデコード視差画像D#2のピクチャ（対象ピクチャと同一時刻のピクチャ）から、対象ブロックと同一位置のブロック（同一位置ブロック）を取得し、処理は、ステップＳ５４３に進む。

ステップＳ５４３では、予測ベクトル生成部８７１は、ステップＳ５４１及びＳ５４２で取得した情報等を必要に応じて用いて、対象ブロックの符号化情報に含まれるモード関連情報が表す最適インター予測モードとしてのマクロブロックモードについて、図４１で説明したのと同様のベクトル予測処理を行うことで、そのマクロブロックモードについての対象ブロックの予測ベクトルを生成する。

そして、予測ベクトル生成部８７１は、対象ブロックの予測ベクトルを、視差補償部４７２に供給して、処理はリターンする。

以上のように、色画像C#2の、対象ブロックの周辺の周辺色ブロックの計算視差ベクトルのばらつき具合としての周辺ベクトル分散に基づいて、視差情報利用予測方式の予測ベクトル、及び、MVC方式の予測ベクトルのうちの、予測精度が高いと推定される予測ベクトルを、対象ブロックの処理に用いる予測ベクトルとして生成する場合には、周辺ベクトル分散の方が、視差SADよりも少ない演算量で求めることができるので、図３で説明した視差SADに基づく場合よりも容易に、予測精度の良い予測ベクトルを得ることができる。

なお、以上においては、視差情報利用予測方式の他のベクトル予測方式として、MVC方式（メディアン予測方式）を採用したが、視差情報利用予測方式の他のベクトル予測方式としては、その他、例えば、図１及び図２で説明したSAD最小予測方式を採用することができる。

［本技術を適用したコンピュータの説明］

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図４５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク８０５やROM８０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体８１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体８１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク８０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)８０２を内蔵しており、CPU８０２には、バス８０１を介して、入出力インタフェース８１０が接続されている。

CPU８０２は、入出力インタフェース８１０を介して、ユーザによって、入力部８０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)８０３に格納されているプログラムを実行する。あるいは、CPU８０２は、ハードディスク８０５に格納されたプログラムを、RAM(Random Access Memory)８０４にロードして実行する。

これにより、CPU８０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース８１０を介して、出力部８０６から出力、あるいは、通信部８０８から送信、さらには、ハードディスク８０５に記録等させる。

なお、入力部８０７は、キーボードや、マウス、マイク等で構成される。また、出力部８０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

すなわち、本技術は、MVCを利用した符号化、及び、復号に限定されるものではない。すなわち、本技術は、予測ベクトルを用いて、複数の視点の画像の符号化、及び、復号を行う場合に適用することができる。

［テレビジョン装置の構成例］
図４６は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、視差ベクトルの予測ベクトルとして、予測精度の良いベクトルを求めることができる。

［携帯電話機の構成例］
図４７は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。

データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、視差ベクトルの予測ベクトルとして、予測精度の良いベクトルを求めることができる。

［記録再生装置の構成例］
図４８は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。

セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された記録再生装置では、デコーダ９４７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、視差ベクトルの予測ベクトルとして、予測精度の良いベクトルを求めることができる。

［撮像装置の構成例］
図４９は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。

光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。

カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。

画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。

ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。

外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。

メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。

また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、視差ベクトルの予測ベクトルとして、予測精度の良いベクトルを求めることができる。

１１，１２，２１，２２ エンコーダ， ３１ DPB， ３２ 多重化部， ４１，４２ カメラ， ４３ 多視点画像情報生成部， １１１ A/D変換部， １１２ 画面並び替えバッファ， １１３ 演算部， １１４ 直交変換部， １１５ 量子化部， １１６ 可変長符号化部， １１７ 蓄積バッファ， １１８ 逆量子化部， １１９ 逆直交変換部， １２０ 演算部， １２１ デブロッキングフィルタ， １２２ 画面内予測部， １２３ インター予測部， １２４ 予測画像選択部， ２１１ A/D変換部， ２１２ 画面並び替えバッファ， ２１３ 演算部， ２１４ 直交変換部， ２１５ 量子化部， ２１６ 可変長符号化部， ２１７ 蓄積バッファ， ２１８ 逆量子化部， ２１９ 逆直交変換部， ２２０ 演算部， ２２１ デブロッキングフィルタ， ２２２ 画面内予測部， ２２４ 予測画像選択部， ２３１ MBインデクス計算部， ２３２ 視差予測部， ２４１ 視差検出部， ２４２ 視差補償部， ２４３ 予測ベクトル生成部， ２４４ コスト関数算出部， ２４５ モード選択部， ２４６ 符号化情報バッファ， ３０１ 分離部， ３１１，３１２，３２１，３２２ デコーダ， ３３１ DPB， ３４１ 蓄積バッファ， ３４２ 可変長復号部， ３４３ 逆量子化部， ３４４ 逆直交変換部， ３４５ 演算部， ３４６ デブロッキングフィルタ， ３４７ 画面並び替え部， ３４８ D/A変換部， ３４９ 画面内予測部， ３５０ インター予測部， ３５１ 予測画像選択部， ４４１ 蓄積バッファ， ４４２ 可変長復号部， ４４３ 逆量子化部， ４４４ 逆直交変換部， ４４５ 演算部， ４４６ デブロッキングフィルタ， ４４７ 画面並び替え部， ４４８ D/A変換部， ４４９ 画面内予測部， ４５１ 予測画像選択部， ４６１ MBインデクス計算部， ４６２ 視差予測部， ４７１ 予測ベクトル生成部， ４７２ 視差補償部， ５４１ 視差検出部， ５４２ 視差補償部， ５４３ 予測ベクトル生成部， ５４４ コスト関数算出部， ５４５ モード選択部， ５４６ 符号化情報バッファ， ６７１，７４３，８７１ 予測ベクトル生成部， ８０１ バス， ８０２ CPU， ８０３ ROM， ８０４ RAM， ８０５ ハードディスク， ８０６ 出力部， ８０７ 入力部， ８０８ 通信部， ８０９ ドライブ， ８１０ 入出力インタフェース， ８１１ リムーバブル記録媒体

Claims (9)

1. 第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルを、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成する予測ベクトル生成部
   を備え、
   前記予測ベクトル生成部は、前記同一位置ブロックとの差が所定の閾値以上である、前記同一位置ブロックの周辺のブロックである周辺デプスブロックの個数に基づいて、前記デプス情報利用予測方式、または、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルを生成し、前記同一位置ブロックとの差が前記所定の閾値以上である前記周辺デプスブロックの個数が所定の個数以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する
   画像処理装置。
2. 前記予測ベクトル生成部は、
   前記第２の視点の色画像の前記周辺色ブロックの中の、予測画像を生成するのに参照する参照ピクチャを表す参照インデクスが、前記対象ブロックと一致する参照インデクス一致ブロックについて、前記第２の視点のデプス画像の、前記参照インデクス一致ブロックと同一位置の前記周辺デプスブロックと、前記同一位置ブロックとの差を求め、
   前記同一位置ブロックとの差が前記所定の閾値以上である、前記参照インデクス一致ブロックと同一位置の前記周辺デプスブロックの個数が所定の個数以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する
   請求項１に記載の画像処理装置。
3. 前記対象ブロックを、視差ベクトルを検出するパーティションに分割するパターンを表すブロックタイプごとに、前記対象ブロックの符号化に要する符号化コストを算出するコスト算出部と、
   前記符号化コストに基づいて、前記対象ブロックを符号化するブロックタイプを選択する選択部と
   をさらに備え、
   前記予測ベクトル生成部は、各ブロックタイプについて、前記予測ベクトルを生成する
   請求項１に記載の画像処理装置。
4. 画像処理装置が、
   第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルを、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成する予測ベクトル生成ステップ
   を含み、
   前記予測ベクトル生成ステップの処理では、前記同一位置ブロックとの差が所定の閾値以上である、前記同一位置ブロックの周辺のブロックである周辺デプスブロックの個数に基づいて、前記デプス情報利用予測方式、または、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルを生成し、前記同一位置ブロックとの差が前記所定の閾値以上である前記周辺デプスブロックの個数が所定の個数以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する
   画像処理方法。
5. 第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルを、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成する予測ベクトル生成部
   を備え、
   前記予測ベクトル生成部は、前記同一位置ブロックとの差が所定の閾値以上である、前記同一位置ブロックの周辺のブロックである周辺デプスブロックの個数に基づいて、前記デプス情報利用予測方式、または、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルを生成し、前記同一位置ブロックとの差が前記所定の閾値以上である前記周辺デプスブロックの個数が所定の個数以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する
   画像処理装置として、コンピュータを機能させるためのプログラム。
6. 第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルを、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成する予測ベクトル生成部
   を備え、
   前記予測ベクトル生成部は、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの分散に基づいて、前記デプス情報利用予測方式、または、前記周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルを生成し、前記周辺色ブロックの視差ベクトルの分散が所定の閾値以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する
   画像処理装置。
7. 前記予測ベクトル生成部は、
   前記周辺色ブロックの中の、予測画像を生成するのに参照する参照ピクチャを表す参照インデクスが、前記対象ブロックと一致する参照インデクス一致ブロックの視差ベクトルの分散を求め、
   前記参照インデクス一致ブロックの視差ベクトルの分散が所定の閾値以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する
   請求項６に記載の画像処理装置。
8. 画像処理装置が、
   第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルを、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成する予測ベクトル生成ステップ
   を含み、
   前記予測ベクトル生成ステップの処理では、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの分散に基づいて、前記デプス情報利用予測方式、または、前記周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルを生成し、前記周辺色ブロックの視差ベクトルの分散が所定の閾値以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する
   画像処理方法。
9. 第１の視点と異なる第２の視点の色画像の処理対象の対象ブロックの、前記第１の視点の色画像に対する視差を表す視差ベクトルの予測ベクトルを、前記第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する前記第２の視点のデプス画像の前記対象ブロックと同一位置のブロックである同一位置ブロックの画素値である前記デプス情報に対応する視差を表すベクトルを前記予測ベクトルとして生成するデプス情報利用予測方式で生成する予測ベクトル生成部
   を備え、
   前記予測ベクトル生成部は、前記対象ブロックの周辺のブロックである周辺色ブロックの視差ベクトルの分散に基づいて、前記デプス情報利用予測方式、または、前記周辺色ブロックの視差ベクトルの中央値を前記予測ベクトルとして生成する周辺予測方式で前記予測ベクトルを生成し、前記周辺色ブロックの視差ベクトルの分散が所定の閾値以上である場合、前記デプス情報利用予測方式で前記予測ベクトルを生成する
   画像処理装置として、コンピュータを機能させるためのプログラム。

Images