JPWO2012128242A1 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JPWO2012128242A1
JPWO2012128242A1 JP2013505962A JP2013505962A JPWO2012128242A1 JP WO2012128242 A1 JPWO2012128242 A1 JP WO2012128242A1 JP 2013505962 A JP2013505962 A JP 2013505962A JP 2013505962 A JP2013505962 A JP 2013505962A JP WO2012128242 A1 JPWO2012128242 A1 JP WO2012128242A1
Authority
JP
Japan
Prior art keywords
prediction
unit
image
vector
occlusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013505962A
Other languages
English (en)
Inventor
良知 高橋
良知 高橋
しのぶ 服部
しのぶ 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2012128242A1 publication Critical patent/JPWO2012128242A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技術は、予測ベクトルとして、予測精度の良いベクトルを求めることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。予測ベクトル生成部では、色画像の画素ごとの視差に関するデプス情報を画素値として有するデプス画像の処理対象の対象ブロックの、その対象ブロックのピクチャと異なる他のピクチャに対するずれを表すずれベクトルの予測ベクトルが生成される。予測ベクトル生成部では、対象ブロックが、他のピクチャに対応点が存在しないオクルージョン部分を含むオクルージョンブロックであるかどうかによって、異なるベクトル予測方式で、予測ベクトルが生成される。本発明は、例えば、視差に関するデプス画像の符号化や復号において、予測画像を生成するのに用いられる視差ベクトルの予測ベクトルを生成する場合に適用できる。

Description

本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、例えば、ある視点の画像の、他の視点の画像に対する視差を表す視差ベクトル等の予測ベクトルとして、予測精度の良いベクトルを求めることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
3D(Dimension)画像等の複数の視点の画像を符号化する符号化方式としては、例えば、AVC(Advanced Video Coding)(H.264/AVC)方式を拡張したMVC(Multiview Video Coding)方式等がある。
MVC方式では、符号化対象となる画像は、被写体からの光に対応する値を、画素値として有する色画像であり、複数の視点の色画像それぞれは、必要に応じて、その視点の色画像の他、他の視点の色画像をも参照して、符号化される。
すなわち、MVC方式では、複数の視点の色画像のうちの、１つの視点の色画像が、ベースビュー(Base View)の画像とされ、他の視点の色画像は、ディペンデントビュー(Dependent View)の画像とされる。
そして、ベースビューの色画像は、そのベースビューの画像のみを参照して符号化され、ディペンデントビューの色画像は、そのディペンデントビューの画像の他、他のビューの画像をも必要に応じて参照して符号化される。
すなわち、ディペンデントビューの色画像については、必要に応じて、他のビューの色画像を参照して予測画像を生成する視差予測が行われ、その予測画像を用いて符号化される。
ここで、ある視点#1を、ベースビューとするとともに、他の視点#2を、ディペンデントビューとする。
MVC方式において、視点#2の色画像について、視点#1の色画像を参照して視差予測が行われ、その視差予測により得られる予測画像を用いて符号化（予測符号化）が行われる場合、視点#2の色画像の符号化対象の、例えば、横×縦が16×16画素のマクロブロックである対象ブロックの、視点#1の色画像に対する視差を表す視差ベクトルが検出される。
さらに、MVC方式では、対象ブロックの視差ベクトルを予測した予測ベクトルが求められ、視差ベクトルと予測ベクトルとの差分である残差ベクトルが符号化される。
MVC方式において、残差ベクトルの符号量は、残差ベクトルが大であるほど多くなる傾向があるので、残差ベクトルの大きさが小さければ、つまり、予測ベクトルの予測精度が良ければ（予測ベクトルが視差ベクトルに似ているほど）、符号化効率を向上させることができる。
ところで、近年においては、複数の視点の画像として、各視点の色画像の他に、各視点の色画像の画素ごとの視差に関する視差情報を、画素値として有する視差情報画像を採用し、各視点の色画像と各視点の視差情報画像とを符号化する符号化方式として、例えば、MPEG3DV方式等の規格が策定されつつある。
MPEG3DV方式では、各視点の色画像と、各視点の視差情報画像とのそれぞれが、原則として、MVC方式と同様にして符号化される。
MVC方式では、色画像について、対象ブロックの周辺のブロックの視差ベクトルから、対象ブロックの（視差ベクトルの）予測ベクトルが求められるが、視差情報画像についても、同様に、視差ベクトルの予測ベクトルを求める方法が提案されている（例えば、非特許文献１を参照）。
"Draft Call for Proposals on 3D Video Coding Technology", INTERNATIONAL ORGANISATION FOR STANDARDISATION, ORGANISATION INTERNATIONALE DE NORMALISATION, ISO/IEC JTC1/SC29/WG11, CODING OF MOVING PICTURES AND AUDIO, ISO/IEC JTC1/SC29/WG11, MPEG2010/N11679, Guangzhou, China, October 2010
ところで、ディペンデントビューである視点#2の視差情報画像には、視差の影響により、ベースビューである視点#1の視差情報画像に対応点がない部分であるオクルージョン部分が存在することがある。
そして、オクルージョン部分については、MVC方式では、予測精度の悪い予測ベクトルが求められることがある。
本技術は、このような状況に鑑みてなされたものであり、予測ベクトルとして、予測精度の良いベクトルを求めることができるようにするものである。
本技術の一側面の画像処理装置、又は、プログラムは、色画像の画素ごとの視差に関するデプス情報を画素値として有するデプス画像の処理対象の対象ブロックの、前記対象ブロックのピクチャと異なる他のピクチャに対するずれを表すずれベクトルの予測ベクトルを、前記対象ブロックが、前記他のピクチャに対応点が存在しないオクルージョン部分を含むオクルージョンブロックであるかどうかによって、異なるベクトル予測方式で生成する予測ベクトル生成部を備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
本技術の一側面の画像処理方法は、色画像の画素ごとの視差に関するデプス情報を画素値として有するデプス画像の処理対象の対象ブロックの、前記対象ブロックのピクチャと異なる他のピクチャに対するずれを表すずれベクトルの予測ベクトルを、前記対象ブロックが、前記他のピクチャに対応点が存在しないオクルージョン部分を含むオクルージョンブロックであるかどうかによって、異なるベクトル予測方式で生成するステップを含む画像処理方法である。
本技術の一側面においては、色画像の画素ごとの視差に関するデプス情報を画素値として有するデプス画像の処理対象の対象ブロックの、前記対象ブロックのピクチャと異なる他のピクチャに対するずれを表すずれベクトルの予測ベクトルが、前記対象ブロックが、前記他のピクチャに対応点が存在しないオクルージョン部分を含むオクルージョンブロックであるかどうかによって、異なるベクトル予測方式で生成される。
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、予測精度の良い予測ベクトルを求めることができる。
MVC方式で、視差情報画像の視差ベクトルの予測ベクトルを求める方法を説明する図である。 本技術の概要を説明する図である。 近接予測方式での、対象ブロックの予測ベクトルの生成方法を説明する図である。 近接予測方式での、対象ブロックの予測ベクトルの生成方法を説明する図である。 本技術を適用した多視点画像エンコーダの一実施の形態の構成例を示すブロック図である。 多視点画像エンコーダにおいて符号化の対象となる複数の視点の画像を生成する多視点画像生成装置の構成例を示すブロック図である。 MVC方式の予測符号化において、予測画像を生成するときに参照するピクチャを説明する図である。 MVC方式でのピクチャの符号化（及び復号）順を説明する図である。 エンコーダ１１の構成例を示すブロック図である。 MVC(AVC)方式のマクロブロックタイプを説明する図である。 MVC(AVC)方式の予測ベクトルを説明する図である。 MVC(AVC)方式の予測ベクトルを説明する図である。 エンコーダ２２の構成例を示すブロック図である。 視差予測部２３４の構成例を示すブロック図である。 視点#2の視差画像D#2を符号化する符号化処理を説明するフローチャートである。 オクルージョン検出処理を説明するフローチャートである。 オクルージョン検出処理を説明する図である。 視差予測処理を説明するフローチャートである。 予測ベクトル生成処理を説明するフローチャートである。 予測ベクトル生成処理を説明するフローチャートである。 本技術を適用した多視点画像デコーダの一実施の形態の構成例を示すブロック図である。 デコーダ３１１の構成例を示すブロック図である。 デコーダ３２２の構成例を示すブロック図である。 視差予測部４６４の構成例を示すブロック図である。 視点#2の視差画像D#2の符号化データを復号する復号処理を説明するフローチャートである。 視差予測処理を説明するフローチャートである。 エンコーダ２２の他の構成例を示すブロック図である。 視差予測部５３４の構成例を示すブロック図である。 視差予測処理を説明するフローチャートである。 予測ベクトル生成処理を説明するフローチャートである。 予測ベクトル生成処理を説明するフローチャートである。 デコーダ３２２の他の構成例を示すブロック図である。 視差予測部６６４の構成例を示すブロック図である。 視点#2の視差画像D#2の符号化データを復号する復号処理を説明するフローチャートである。 視差予測処理を説明するフローチャートである。 予測ベクトル生成処理を説明するフローチャートである。 予測ベクトル生成処理を説明するフローチャートである。 ヘッダ情報に含められる予測器フラグの例を示す図である。 ヘッダ情報に含められる予測器フラグの例を示す図である。 ヘッダ情報に含められる予測器フラグの例を示す図である。 視差と奥行きについて説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 本技術を適用したテレビジョン装置の概略構成例を示す図である。 本技術を適用した携帯電話機の概略構成例を示す図である。 本技術を適用した記録再生装置の概略構成例を示す図である。 本技術を適用した撮像装置の概略構成例を示す図である。
[本明細書におけるデプス画像（視差情報画像）の説明]
図４１は、視差と奥行きについて説明する図である。
図４１に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
Figure 2012128242
・・・（ａ）
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像（視差情報画像）とする。
なお、デプス画像（視差情報画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差情報画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure 2012128242
なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure 2012128242
なお、式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像（視差情報画像）とする。ここでは、デプス画像（視差情報画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
なお、デプス画像（視差情報画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報（視差情報）とする。更に、値I又は値yをマッピングしたものをデプスマップ（視差マップ）とする。
以下、図面を参照して、本技術の一実施の形態について説明するが、その前に、前段階の準備として、複数の視点の色画像、及び、視差情報画像(デプス画像)を対象とした符号化、及び、復号において、視差情報画像について、視差ベクトルの予測ベクトルを、MVC方式で求める方法について説明する。
［MVC方式での予測ベクトルの生成］
図１は、MVC方式で、視差情報画像の視差ベクトルの予測ベクトルを求める方法を説明する図である。
なお、前述したように、MVC方式で、視差情報画像の視差ベクトルの予測ベクトルを求めることについては、非特許文献１に記載されている。
いま、複数の視点の画像として、２つの視点の色画像である視点#1の色画像C#1、及び、視点#1と異なる視点#2の色画像C#2、並びに、２つの視点の視差情報画像である視点#1の視差情報画像D#1、及び、視点#2の視差情報画像D#2があるとする。
なお、視差情報画像D#i（ここでは、i=1,2）は、色画像C#iの画素ごとの視差に関する視差情報（デプス情報）を、画素値として有する画像である。
また、ここでは、視点#1の視差情報画像D#1、及び、視点#2の視差情報画像D#2のうちの、視点#1の視差情報画像D#1（のピクチャ）を参照ピクチャとして、視点#2の視差情報画像D#2の予測画像を生成する視差予測において用いられる視差ベクトルの予測ベクトルを求めることとする。
いま、視点#2の視差情報画像D#2の、先頭からt番目（時刻t）のピクチャである第tピクチャのあるブロック（マクロブロック）Xが、符号化（又は復号）対象の対象ブロックであるとする。
ここで、視差情報画像D#2の対象ブロックを有するピクチャ、つまり、符号化対象のピクチャを、対象ピクチャともいう。
MVC方式では、視差情報画像D#2の対象ブロックXの（視差ベクトルの）予測ベクトルが、その対象ブロックXの周辺のブロック（以下、周辺ブロックともいう）のうちの、（ラスタスキャン順で）既に符号化（復号）済みのブロックの視差ベクトルから求められる。
すなわち、MVC方式では、図１に示すように、対象ブロックXの上に隣接する周辺ブロックA、左に隣接する周辺ブロックB、及び、右斜め上に隣接する周辺ブロックCそれぞれの視差ベクトルのメディアン（中央値）を、対象ブロックXの予測ベクトルとして求めるベクトル予測方式（以下、メディアン予測方式、又は、メディアン予測器ともいう）によって、予測ベクトルが求められる。
なお、メディアン予測方式において、対象ブロックXの予測ベクトルとしてのメディアンの算出は、x成分とy成分とのそれぞれについて、独立に行われる。
いま、図１に示すように、視差情報画像D#1及びD#2に、背景（の視差情報）と、その背景の手前側に存在するオブジェクトとしての矩形の前景（の視差情報）とが写っていることとする。
また、ここでは、説明を簡単にするため、色画像C#1及びC#2は、同一の水平面上に配置された２つのカメラによって、その２つのカメラの位置を結ぶ直線に直交する方向を撮影することによって得られた色画像であるとする。
さらに、視点#1の色画像C#1は、２つのカメラのうちの、被写体（撮影方向）に向かって、右側のカメラで撮影された色画像であり、視点#2の色画像C#2は、２つのカメラのうちの左側のカメラで撮影された色画像であるとする。
この場合、視点#2の視差情報画像D#2の、ほぼ中央に、前景が写っているとすると、視点#1の視差情報画像D#1では、前景は、図１に示すように、視差の影響で、中央より、やや左側に写る。
したがって、視点#1の視差情報画像D#1においては、視点#2の視差情報画像D#2の前景の左側に写っている背景の一部が、前景によって隠され、見えない状態になっている。
その結果、視点#2の視差情報画像D#2には、その視差情報画像D#2には写っている前景の左側に写っている背景の一部（図１において斜線を付してある部分）が、視点#1の視差情報画像D#1に対応点が存在しないオクルージョン部分となる。
ここで、視差情報画像D#2において、オクルージョン部分を含むブロック（マクロブロック）を、オクルージョンブロックともいい、オクルージョンブロック以外のブロックを、非オクルージョンブロックともいう。
上述のように、視点#1の色画像C#1が、２つのカメラのうちの右側のカメラで撮影された色画像であり、視点#2の色画像C#2が、２つのカメラのうちの左側のカメラで撮影された色画像である場合、すなわち、視点#1が右側に位置し、視点#2が左側に位置する場合、視点#2の視差情報画像D#2では、前景の左側の接する背景の部分が、オクルージョン部分となる。したがって、オクルージョン部分の左側は、背景になり、右側は、前景になる。
視差情報画像については、画素値が視差情報であるため、前景の画素値は、前景に奥行き方向の大きな凹凸がない限り、ほぼ同様の値となる。同様に、背景の画素値も、ほぼ同様の値となる。また、前景と背景とでは、一般に、奥行き方向の位置が比較的異なるため（前景が手前側に位置し、背景が奥側に位置するため）、画素値も、比較的異なる。
以上のように、視差情報画像については、前景の画素値は、ほぼ同様の値となり、背景の画素値も、ほぼ同様の値となる。
したがって、視差情報画像D#1（のピクチャ）を参照ピクチャとして用いて、視差情報画像D#2のブロックの、参照ピクチャである視差情報画像D#1に対するずれを表すずれベクトルとしての視差ベクトルを、ME(Motion Estimation)によって検出すると、ほとんどの場合、視差ベクトルは、図１に示すように、（ほぼ）0ベクトルになる。
しかしながら、視差情報画像D#2のオクルージョンブロックについては、参照ピクチャである視差画像情報D#1の、オクルージョンブロックと同一の位置に、そのオクルージョンブロックに写っている背景が写っていないため（前景が写っているため）、視差ベクトルは、0ベクトルにならない。
すなわち、視差情報画像D#2のオクルージョンブロックについては、図１に示すように、オクルージョンブロックから、視差画像情報D#1の、オクルージョン部分と同一位置のオクルージョン対応部分の左の外部側に写る背景を指すようなベクトルが、視差ベクトルとして検出される。
したがって、視差情報画像D#2のオクルージョンブロックが対象ブロックになっている場合には、図１に示すように、対象ブロックXの視差ベクトルは、上に隣接する周辺ブロックAの視差ベクトルと一致することはあるが、左に隣接する周辺ブロックBや、右斜め上に隣接する周辺ブロックCの視差ベクトルとは、大きく異なる（相関が小さくなる）。
上述したように、MVC方式では、対象ブロックの周辺の周辺ブロックの視差ベクトルのメディアンが、対象ブロック（の視差ベクトル）の予測ベクトルとして求められるため、オクルージョンブロックの左に隣接する周辺ブロックB、及び、右斜め上に隣接する周辺ブロックCの視差ベクトルが、オクルージョンブロックの視差ベクトルと大きく異なる場合には、オクルージョンブロックの視差ベクトルの予測ベクトルとして、その視差ベクトルとは大きく異なるベクトルが求められることになる。
オクルージョンブロックの視差ベクトルの予測ベクトルが、その視差ベクトルと大きく異なる場合、すなわち、予測ベクトルの予測精度が悪い場合、視差ベクトルと予測ベクトルとの差である残差ベクトルが大になるから、MVC方式では、残差ベクトルの符号量が多くなって、符号化効率が劣化することになる。
そこで、特に、オクルージョン部分については、予測精度が良い予測ベクトルを生成することができるように、MVC方式とは異なるベクトル予測方式を採用することが望ましい。
本技術では、オクルージョン部分（オクルージョンブロック）のベクトル予測方式として、第２の視点#2の視差情報画像D#2の対象ブロックから、第１の視点#1の視差情報画像D#1のピクチャの、オクルージョン部分と同一位置のオクルージョン対応部分の外部側に近接する近接部分へのベクトルを、対象ブロックの予測ベクトルとして生成する近接予測方式を採用する。
［本技術の概要］
図２は、本技術の概要を説明する図である。
図２では、図１と同様に、視点#1が右側に位置し、視点#2が左側に位置しており、視点#2の視差情報画像D#2において、前景の左側の接する背景の部分が、オクルージョン部分になっている。したがって、オクルージョン部分の左側は、背景であり、右側は、前景である。
本技術では、視点#2の視差情報画像D#2の処理対象の対象ブロックの視差ベクトルを、対象ピクチャと異なる他のピクチャである視点#1の視差情報画像D#1（のピクチャ）を参照ピクチャとして生成するときに、対象ブロック（の視差ベクトル）の予測ベクトルを、対象ブロックが、参照ピクチャとしての視点#1の視差情報画像D#1に対応点が存在しないオクルージョン部分を含むオクルージョンブロックであるかどうかによって、異なるベクトル予測方式で生成する。
そのため、本技術では、視点#2の視差情報画像D#2のオクルージョン部分が検出される。
オクルージョン部分の検出は、参照ピクチャである視点#1の視差情報画像D#1をワーピングすることにより得られる、その視差情報画像D#1を視点#2で得られる画像に変換したワープド視差情報画像D'#1を用いて行われる。
すなわち、視点#1の視差情報画像D#1のワーピングでは、例えば、視差情報画像D#1の各画素（値）が、各画素における視点#1と#2との間の視差に相当する分だけ移動されることで、ワープド視差情報画像（ワープドデプス画像）D'#1が生成される。
そのため、ワープド視差情報画像D'#1では、視差情報画像D#2には写っているが、視差情報画像D#1には写っていない部分は、図２に示すように、画素値がない、いわば穴あき状態となる。
したがって、ワープド視差情報画像D'#1の画素値がない部分（以下、画素値なし部分ともいう）を検出し、視差情報画像D#2の、画素値なし部分と同一位置の部分を検出することにより、オクルージョン部分を検出することができる。
本技術では、対象ブロックが、オクルージョン部分を含むオクルージョンブロックである場合、対象ブロックから、参照ピクチャである第１の視点#1の視差情報画像D#1の、オクルージョン部分と同一位置のオクルージョン対応部分の外部側の背景に近接する近接部分へのベクトルを、対象ブロックの予測ベクトルとして生成する近接予測方式で、対象ブロックの予測ベクトルを生成する。
そのため、本技術では、例えば、視差情報画像D#2の対象ピクチャにおいて処理対象となりうる各ブロックを、（視差がある）水平方向にスキャンすることにより、ブロックにおいて、オクルージョン部分が開始している開始画素Sと終了している終了画素Eとが検出される。
図２では、視差情報画像D#2の対象ピクチャにおいて、水平方向（左から右方向）（x方向）に並ぶ、ある３つのブロック（マクロブロック）B#1，B#2、及び、B#3が、オクルージョン部分を含むオクルージョンブロックになっている。
そして、そのブロックB#1ないしB#3それぞれについて、オクルージョン部分の開始画素Sと終了画素Eとが検出されている。
図２では、ブロックB#1のオクルージョン部分の開始画素S#1は、（ブロックの左から）8画素目になっており、終了画素E#1は、16画素目になっている。ブロックB#2については、開始画素S#2は、1画素目になっており、終了画素E#2は、16画素目になっている。ブロックB#3については、開始画素S#3は、1画素目になっており、終了画素E#3は、12画素目になっている。
近接予測方式では、オクルージョンブロックであるブロックB#i（ここでは、i=1,2,3）については、例えば、式（１）にしたがって、ブロックB#iの予測ベクトルPMV#i（のx成分）が求められる。
PMV#i＝PMV#(i-1)−(E#i-S#i+1)
・・・（１）
ここで、式（１）によれば、対象ブロックB#iの左隣のオクルージョンブロックB#(i-1)の予測ベクトルPMV#(i-1)から、オクルージョンブロックの開始画素S#iから終了画素E#iまでの画素数E#i-S#i+1を減算することにより、対象ブロックB#iの予測ベクトルPMV#iが求められる。
なお、式（１）において、対象ブロックB#iの左隣のブロックB#(i-1)が、オクルージョンブロックでない場合、式（１）の計算に関する限り、そのブロックB#(i-1)の予測ベクトルPMV#(i-1)は、0ベクトルとされる。
また、ここでは、説明を簡単にするため、視点#1及び#2が同一平面上に存在することを前提としており、したがって、式（１）の予測ベクトルPMV#iのy成分は、0であり、式（１）は、予測ベクトルPMV#iのx成分を表している。
式（１）によれば、対象ブロックB#iから、視差情報画像D#1のオクルージョン対応部分の左の境界の外部側に接する近接部分である背景へのベクトルが、対象ブロックB#iの予測ベクトルPMV#iとして生成される。
図３は、近接予測方式での、対象ブロックの予測ベクトルの生成方法を説明する図である。
図３は、図２で説明したように、視点#1が右側に位置し、視点#2が左側に位置しており、視点#2の視差情報画像D#2において、前景の左側の接する背景の部分が、オクルージョン部分になっている場合、つまり、オクルージョン部分の左側が、背景であり、右側が、前景である場合の、近接予測方式での、オクルージョンブロックの予測ベクトルの生成方法を示している。
ここで、図３においては、視差情報画像D#2のオクルージョン部分を含む一部の領域R#2を拡大するとともに、視差情報画像D#1の、領域R#2と同一位置の領域R#1を拡大して示してある。
図３では、視差情報画像D#2の対象ピクチャにおいて、水平方向に並ぶ、ある３つのブロックB#1，B#2、及び、B#3が、オクルージョン部分を含むオクルージョンブロックになっており、ブロックB#iについての、開始画素及び終了画素が、それぞれ、S#i及びE#iで表されている。
視点#1が右側に位置し、視点#2が左側に位置しており、視点#2の視差情報画像D#2において、前景の左側の接する背景の部分が、オクルージョン部分になっている場合、図２で説明したように、近接予測方式では、式（１）に従って、オクルージョンブロックであるブロックB#iの予測ベクトルPMV#iが、符号化順（復号順）であるラスタスキャン順に求められる。
ここで、式（１）によれば、ブロックB#1の予測ベクトルPMV#1は、式PMV#1＝−(E#1-S#1+1)で、ブロックB#2の予測ベクトルPMV#2は、式PMV#2＝PMV#1−(E#2-S#2+1)で、ブロックB#3の予測ベクトルPMV#3は、式PMV#3＝PMV#2−(E#3-S#3+1)で、それぞれ表される。
オクルージョンブロックであるブロックB#iの予測ベクトルPMV#iは、いずれも、対象ブロックB#iから、視差情報画像D#1のオクルージョン対応部分の左の境界の外部側に接する近接部分である背景、すなわち、視差情報画像D#1において、前景の左に接する背景の部分へのベクトルとなる。
図４は、近接予測方式での、対象ブロックの予測ベクトルの生成方法を説明する図である。
図４では、図２及び図３の場合とは、視点#1及び#2の位置が、左右逆になっている。
すなわち、図４は、視点#1が左側に位置し、視点#2が右側に位置しており、その結果、視点#2の視差情報画像D#2において、前景の右側の接する背景の部分が、オクルージョン部分になっている場合、つまり、オクルージョン部分の右側が、背景であり、左側が、前景である場合の、近接予測方式での、オクルージョンブロックの予測ベクトルの生成方法を示している。
ここで、図４では、図３の場合と同様に、視差情報画像D#2のオクルージョン部分を含む一部の領域R#2を拡大するとともに、視差情報画像D#1の、領域R#2と同一位置の領域R#1を拡大して示してある。
さらに、図４では、図３と同様に、視差情報画像D#2の対象ピクチャにおいて、水平方向に並ぶ、ある３つのブロックB#1，B#2、及び、B#3が、オクルージョン部分を含むオクルージョンブロックになっており、ブロックB#iについての、開始画素及び終了画素が、それぞれ、S#i及びE#iで表されている。
視点#1が左側に位置し、視点#2が右側に位置しており、視点#2の視差情報画像D#2において、前景の右側の接する背景の部分が、オクルージョン部分になっている場合、近接予測方式では、オクルージョンブロックであるブロックB#i（ここでは、i=1,2,3）の予測ベクトルPMV#iは、例えば、式（２）にしたがって求められる。
PMV#i＝PMV#(i-1)−(E#(i-1)-S#(i-1)+1)
・・・（２）
ここで、式（２）によれば、対象ブロックB#iの左隣のオクルージョンブロックB#(i-1)の予測ベクトルPMV#(i-1)から、オクルージョンブロックの開始画素S#(i-1)から終了画素E#(i-1)までの画素数E#(i-1)-S#(i-1)+1を減算することにより、対象ブロックB#iの予測ベクトルPMV#iが求められる。
なお、式（２）において、対象ブロックB#iの左隣のブロックB#(i-1)が、オクルージョンブロックでない場合、式（２）の計算に関する限り、そのブロックB#(i-1)の予測ベクトルPMV#(i-1)は、対象ブロックを先頭にして水平方向に連続して並ぶオクルージョンブロックB#iの開始画素S#iから終了画素E#iまでの画素数の総和Σ（E#i-S#i+1）とされる。対象ブロックを先頭にして水平方向に連続して並ぶオクルージョンブロックB#iの数がN個であり、そのN個のオクルージョンブロックのうちの先頭からi番目のオクルージョンブロックB#iの開始画素及び終了画素が、それぞれ、S#i及びE#iで表される場合、総和Σ（E#i-S#i+1）のΣは、iを、1からNまでの整数値に変えてのサメーションを表す。
また、ここでは、説明を簡単にするため、視点#1及び#2が同一平面上に存在することを前提としており、したがって、式（２）の予測ベクトルPMV#iのy成分は、式（１）の場合と同様に、0であり、式（２）は、予測ベクトルPMV#iのx成分を表している。
式（２）によれば、対象ブロックB#iから、視差情報画像D#1のオクルージョン対応部分の右の境界の外部側に接する近接部分である背景へのベクトルが、対象ブロックB#iの予測ベクトルPMV#iとして生成される。
近接予測方式では、式（２）に従って、オクルージョンブロックであるブロックB#iの予測ベクトルPMV#iが、符号化順（復号順）であるラスタスキャン順に求められる。
ここで、式（２）によれば、ブロックB#1の予測ベクトルPMV#1は、式PMV#1＝(E#1-S#1+1)＋(E#2-S#2+1)＋(E#3-S#3+1)で、ブロックB#2の予測ベクトルPMV#2は、式PMV#2＝PMV#1−(E#1-S#1+1)で、ブロックB#3の予測ベクトルPMV#3は、式PMV#3＝PMV#2−(E#2-S#2+1)で、それぞれ表される。
オクルージョンブロックであるブロックB#iの予測ベクトルPMV#iは、いずれも、対象ブロックB#iから、視差情報画像D#1のオクルージョン対応部分の右の境界の外部側に接する近接部分である背景、すなわち、視差情報画像D#1において、前景の右に接する背景の部分へのベクトルとなる。
図１で説明したように、視差情報画像D#2のオクルージョンブロックについては、オクルージョンブロックから、視差画像情報D#1の、オクルージョン部分と同一位置のオクルージョン対応部分の外部側に写る背景を指すようなベクトルが、視差ベクトルとして検出される。
一方、近接予測方式では、図２ないし図４で説明したように、対象ブロックB#iから、視差情報画像D#1のオクルージョン対応部分の境界の外部側に接する近接部分である背景へのベクトルが、対象ブロックB#iの予測ベクトルPMV#iとして生成される。
したがって、近接予測方式によれば、オクルージョンブロックの予測ベクトルとして、予測精度の良いベクトル、すなわち、視差ベクトルに似たベクトルを得ることができ、その結果、残差ベクトルが小になって、符号化効率を向上させることができる。
なお、近接予測方式では、視差情報画像D#2のオクルージョン部分の画素値（視差情報）が、参照ピクチャである視差情報画像D#1の、オクルージョン部分と同一位置のオクルージョン対応部分に接する背景の画素値（視差情報）と、ほぼ同様の値であることを前提として、予測精度の良い予測ベクトルが求められるが、視差情報画像については、この前提は、一般に成立することが多い。
［本技術を適用した多視点画像エンコーダの一実施の形態］
図５は、本技術を適用した多視点画像エンコーダの一実施の形態の構成例を示すブロック図である。
図５の多視点画像エンコーダは、例えば、MVC方式を利用して、複数の視点の画像を符号化するエンコーダであり、以下では、MVC方式と同様の処理については、適宜、説明を省略する。
なお、多視点画像エンコーダは、MVC方式を利用するエンコーダに限定されるものではない。
また、以下では、複数の視点の画像として、２つの視点#1及び#2の色画像である視点#1の色画像C#1、及び、視点#2の色画像C#2、並びに、その２つの視点#1及び#2の視差情報画像である視点#1の視差情報画像D#1、及び、視点#2の視差情報画像D#2を採用することとする。
さらに、例えば、視点#1の色画像C#1、及び、視差情報画像D#1を、ベースビューの画像とし、残りの視点#2の色画像C#2、及び、視差情報画像D#2を、ディペンデントビューの画像として扱うこととする。
なお、複数の視点の画像としては、３つ以上の視点の色画像、及び、視差情報画像を採用することができ、その３つ以上の視点の色画像、及び、視差情報画像のうちの、任意の１つの視点の色画像、及び、視差情報画像を、ベースビューの画像とし、残りの視点の色画像、及び、視差情報画像を、ディペンデントビューの画像として扱うことができる。
図５において、多視点画像エンコーダは、エンコーダ１１，１２，２１，２２，DPB３１、及び、多重化部３２を有する。
エンコーダ１１には、ビュー#1の色画像C#1と、視差関連情報（デプス関連情報）とが供給される。
ここで、視差関連情報は、視差情報のメタデータであり、その詳細については、後述する。
エンコーダ１１は、視点（ビュー）#1の色画像C#1を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#1の色画像C#1の符号化データを、多重化部３２に供給する。
エンコーダ１２には、視点#2の色画像C#2と、視差関連情報とが供給される。
エンコーダ１２は、視点#2の色画像C#2を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#2の色画像C#2の符号化データを、多重化部３２に供給する。
エンコーダ２１には、視点#1の視差情報画像D#1と、視差関連情報とが供給される。
エンコーダ２１は、視点#1の視差情報画像D#1を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#1の視差情報画像D#1の符号化データを、多重化部３２に供給する。
エンコーダ２２には、視点#2の視差情報画像D#2と、視差関連情報とが供給される。
エンコーダ２２は、視点#2の視差情報画像D#2を、必要に応じて、視差関連情報を用いて符号化し、その結果得られる視点#2の視差情報画像D#2の符号化データを、多重化部３２に供給する。
DPB３１は、エンコーダ１１，１２，２１、及び、２２それぞれで、符号化対象の画像を符号化し、ローカルデコードすることにより得られるローカルデコード後の画像（デコード画像）を、予測画像の生成時に参照する参照ピクチャ（の候補）として一時記憶する。
すなわち、エンコーダ１１，１２，２１、及び、２２は、符号化対象の画像を予測符号化する。そのため、エンコーダ１１，１２，２１、及び、２２は、予測符号化に用いる予測画像を生成するのに、符号化対象の画像を符号化した後、ローカルデコードを行って、デコード画像を得る。
DPB３１は、エンコーダ１１，１２，２１、及び、２２それぞれで得られるデコード画像を一時記憶する、いわば共用のバッファであり、エンコーダ１１，１２，２１、及び、２２それぞれは、DPB３１に記憶されたデコード画像から、符号化対象の画像を符号化するのに参照する参照ピクチャを選択する。そして、エンコーダ１１，１２，２１、及び、２２それぞれは、参照ピクチャを用いて、予測画像を生成し、その予測画像を用いて、画像の符号化（予測符号化）を行う。
DPB３１は、エンコーダ１１，１２，２１、及び、２２で共用されるので、エンコーダ１１，１２，２１、及び、２２それぞれは、自身で得られたデコード画像の他、他のエンコーダで得られたデコード画像をも参照することができる。
多重化部３２は、エンコーダ１１，１２，２１、及び、２２のそれぞれからの符号化データを多重化し、その結果得られる多重化データを出力する。
多重化部３２が出力する多重化データは、図示せぬ記録媒体に記録され、又は、図示せぬ伝送媒体を介して伝送される。
［多視点画像生成装置］
図６は、図５の多視点画像エンコーダにおいて符号化の対象となる複数の視点の画像を生成する多視点画像生成装置の構成例を示すブロック図である。
多視点画像生成装置では、複数の視点としての、例えば、２つの視点の画像を撮影するために、２つのカメラ４１及び４２が、異なる視点の色画像を撮影することができる位置に設置されている。
ここで、本実施の形態では、説明を簡単にするために、カメラ４１及び４２は、ある水平面上の一直線上の異なる位置に、その直線に垂直な方向に光軸を向けて配置されていることとする。
また、図６では、カメラ４１は、（被写体に向かって）（撮影方向に向かって）、カメラ４２の右側に配置されており、したがって、カメラ４２は、カメラ４１の左側に配置されている。
カメラ４１は、そのカメラ４１が配置されている位置で、被写体を撮影し、動画像である色画像C#1を出力する。
さらに、カメラ４１は、例えば、他の任意の１つのカメラであるカメラ４２の位置を、基準の視点として、色画像C#1の各画素について、基準の視点に対する視差を表す視差ベクトルd1を出力する。
カメラ４２は、そのカメラ４２が配置されている位置で、被写体を撮影し、動画像である色画像C#2を出力する。
さらに、カメラ４２は、例えば、他の任意の１つのカメラであるカメラ４１の位置を、基準の視点として、色画像C#2の各画素について、基準の視点に対する視差を表す視差ベクトルd2を出力する。
ここで、色画像の横（水平）方向を、x軸とし、縦（垂直）方向を、y軸とする２次元平面を、色画像平面ということとすると、カメラ４１及び４２は、色画像平面に直交する平面（水平面）上の一直線上に配置されている。したがって、視差ベクトルd1及びd2は、y成分が0で、x成分が、カメラ４１及び４２の水平方向の位置関係等に対応する値のベクトルとなる。
なお、カメラ４１及び４２が出力する視差ベクトルd1及びd2を、後述する、MEによって求められる視差を表す視差ベクトルと区別するために、以下、撮影視差ベクトルd1及びd2ともいう。
カメラ４１が出力する色画像C#1、及び、撮影視差ベクトルd1、並びに、カメラ４２が出力する色画像C#2、及び、撮影視差ベクトルd2は、多視点画像情報生成部４３に供給される。
多視点画像情報生成部４３は、カメラ４１及び４２からの色画像C#1を、そのまま出力する。
また、多視点画像情報生成部４３は、カメラ４１からの撮影視差ベクトルd1から、色画像#1の画素ごとの視差に関する視差情報を求め、その視差情報を、画素値として有する視差情報画像D#1を生成して出力する。
さらに、多視点画像情報生成部４３は、カメラ４２からの撮影視差ベクトルd2から、色画像#2の画素ごとの視差に関する視差情報を求め、その視差情報を、画素値として有する視差情報画像D#2を生成して出力する。
ここで、上述したように、視差情報(デプス情報)としては、例えば、撮影視差ベクトルに対応する値である視差値（値Ｉ）や、被写体までの距離（奥行き）を表す奥行きＺを正規化した奥行き値(値ｙ)がある。
いま、視差情報画像(デプス画像)の画素値が、例えば、8ビットで表される0ないし255の整数値をとることとする。さらに、撮影視差ベクトル（のx成分）（視差）をdで表すとともに、（例えば、ピクチャや、１つのコンテンツとしての動画像等で）撮影視差ベクトル（のx成分）（視差）の最大値と最小値を、それぞれ、dmax（Dmax）とdmin（Dmin）と表すこととする。
この場合、上述したように、視差値ν（値Ｉ）は、例えば、撮影視差ベクトル（のx成分）（視差）dと、その最大値dmax（Dmax）及び最小値dmin（Dmin）を用いて、式（３）に従って求められる。
ν＝255×(d-dmin)／(dmax-dmin)
・・・（３）
なお、式（３）の視差値νは、式（４）に従って、撮影視差ベクトル（のx成分）dに変換することができる。
d＝ν×(dmax-dmin)／255＋dmin
・・・（４）
また、奥行きＺは、カメラ４１及び４２が配置されている直線上から、被写体までの距離を表す。
カメラ４１については（カメラ４２についても同様）、カメラ４１と一直線上に配置されているカメラ４２との距離（基準の視点との距離）である基線長をLと、カメラ４１の焦点距離をfと、それぞれ表すこととすると、奥行きZは、撮影視差ベクトル（のx成分）d(d1)を用い、式（５）に従って求めることができる。
Z＝(L/d)×f
・・・（５）
視差情報（デプス情報）である視差値ν（値Ｉ）と奥行きZとは、式（３）ないし式（５）を用いて相互に変換することができるので、等価な情報である。
ここで、以下では、画素値として視差値ν（値Ｉ）を有する視差情報画像(デプス画像)を、視差画像ともいい、画素値として、奥行き値（値ｙ）を有する画像を、奥行き画像ともいう。
なお、以下では、視差情報画像(デプス画像)として、視差画像、及び、奥行き画像のうちの、例えば、視差画像を用いることとするが、視差情報画像（デプス画像）としては、奥行き画像を用いることも可能である。
多視点画像情報生成部４３は、以上の色画像#1及び#2、並びに、視差画像D#1及び#2の他に、視差関連情報を出力する。
すなわち、多視点画像情報生成部４３には、外部から、カメラ４１と４２との距離（カメラ４１及び４２それぞれと、基準の視点との距離）である基線長L、焦点距離f、及び、カメラ４１及び４２の位置関係を表す位置情報が供給される。
ここで、位置情報は、例えば、カメラ４１及び４２が、基準の視点となっているカメラ４２及び４１に対して、左側、又は、右側のいずれに位置しているのかを表す。図６では、位置情報は、カメラ４１が、カメラ４２の右側に位置していること（カメラ４２が、カメラ４１の左側に位置していること）を表す。この場合、位置情報によれば、視点#1が右側に位置し、視点#2が左側に位置していることを認識することができる。
多視点画像情報生成部４３は、カメラ４１からの撮影視差ベクトルd1、及び、カメラ４１からの撮影視差ベクトルd2のそれぞれについて、撮影視差ベクトル（のx成分）dの最大値dmax及び最小値dminを検出する。
そして、多視点画像情報生成部４３は、撮影視差ベクトルdの最大値dmax及び最小値dmin、基線長L、焦点距離f、並びに、位置情報を、視差関連情報として出力する。
多視点画像情報生成部４３が出力する色画像C#1及びC#2、視差画像D#1及びD#2、並びに、視差関連情報は、図５の多視点画像エンコーダに供給される。
なお、ここでは、説明を簡単にするため、カメラ４１及び４２を、色画像平面に直交する同一の平面上の一直線上に配置し、撮影視差ベクトルd（d1及びd2）が、y成分が0のベクトルであることとしたが、カメラ４１及び４２それぞれは、色画像平面に直交する異なる平面上に配置することができる。この場合、撮影視差ベクトルdは、x成分及びy成分とも、0以外の値になりうるベクトルとなる。
［MVC方式の概要］
図７は、MVC方式の予測符号化において、予測画像を生成するときに参照するピクチャを説明する図である。
いま、ベースビューの画像である視点#1の画像のピクチャを、（表示）時刻順に、p11,p12,p13,・・・と表すとともに、ディペンデントビューの画像である視点#2の画像のピクチャを、時刻順に、p21,p22,p23,・・・と表すこととする。
ベースビューのピクチャである、例えば、ピクチャp12は、そのベースビューのピクチャである、例えば、ピクチャp11やp13を、必要に応じて参照して、予測符号化される。
すなわち、ベースビューのピクチャp12については、そのベースビューの他の時刻のピクチャであるピクチャp11やp13のみを参照し、予測（予測画像の生成）を行うことができる。
また、ディペンデントビューのピクチャである、例えば、ピクチャp22は、そのディペンデントビューのピクチャである、例えば、ピクチャp21やp23、さらには、他のビューであるベースビューのピクチャp12を、必要に応じて参照して、予測符号化される。
すなわち、ディペンデントビューのピクチャp22は、そのディペンデントビューの他の時刻のピクチャであるピクチャp21やp23の他、他のビューのピクチャであるベースビューのピクチャp12を参照し、予測を行うことができる。
ここで、符号化対象のピクチャと同一のビューのピクチャを参照して行われる予測を、時間予測ともいい、符号化対象のピクチャと異なるビューのピクチャを参照して行われる予測を、視差予測ともいう。
以上のように、MVC方式では、ベースビューのピクチャについては、時間予測のみを行うことができ、ディペンデントビューのピクチャについては、時間予測と視差予測を行うことができる。
なお、MVC方式において、視差予測において参照する、符号化対象のピクチャと異なるビューのピクチャは、符号化対象のピクチャと同一の時刻のピクチャでなければならない。
図５の多視点画像エンコーダを構成するエンコーダ１１，１２，２１、及び、２２は、MVC方式に従って、予測（予測画像の生成）を行う。
図８は、MVC方式でのピクチャの符号化（及び復号）順を説明する図である。
図７と同様に、ベースビューの画像である視点#1の画像のピクチャを、（表示）時刻順に、p11,p12,p13,・・・と表すとともに、ディペンデントビューの画像である視点#2の画像のピクチャを、時刻順に、p21,p22,p23,・・・と表すこととする。
いま、説明を簡単にするために、各ビューのピクチャが、時刻順に符号化されることとすると、まず、ベースビューの最初の時刻t=1のピクチャp11が符号化され、その後、ディペンデントビューの、同一時刻t=1のピクチャp21が符号化される。
ディペンデントビューの、同一時刻t=1のピクチャ（すべて）の符号化が終了すると、ベースビューの次の時刻t=2のピクチャp12が符号化され、その後、ディペンデントビューの、同一時刻t=2のピクチャp22が符号化される。
以下、同様の順番で、ベースビューのピクチャ、及び、ディペンデントビューのピクチャは、符号化されていく。
図５の多視点画像エンコーダを構成するエンコーダ１１，１２，２１、及び、２２では、MVC方式に従った順番で、ピクチャが符号化される。
［エンコーダ１１の構成例］
図９は、図５のエンコーダ１１の構成例を示すブロック図である。
なお、図５のエンコーダ１２及び２１も、エンコーダ１１と同様に構成され、例えば、MVC方式に従って、画像の符号化を行う。
図９において、エンコーダ１１は、A/D(Analog/Digital)変換部１１１、画面並び替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可変長符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、逆直交変換部１１９、演算部１２０、デブロッキングフィルタ１２１、画面内予測部１２２、インター予測部１２３、及び、予測画像選択部１２４を有する。
A/D変換部１１１には、符号化対象の画像（動画像）である視点#1の色画像C#1のピクチャが、表示順に、順次、供給される。
A/D変換部１１１は、そこに供給されるピクチャが、アナログ信号である場合には、そのアナログ信号をA/D変換し、画面並び替えバッファ１１２に供給する。
画面並び替えバッファ１１２は、A/D変換部１１１からのピクチャを一時記憶し、あらかじめ決められたGOP(Group of Pictures)の構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
画面並び替えバッファ１１２から読み出されたピクチャは、演算部１１３、画面内予測部１２２、及び、インター予測部１２３に供給される。
演算部１１３には、画面並び替えバッファ１１２から、ピクチャが供給される他、予測画像選択部１２４から、画面内予測部１２２、又は、インター予測部１２３で生成された予測画像が供給される。
演算部１１３は、画面並び替えバッファ１１２から読み出されたピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
そして、演算部１１３は、対象ブロックの画素値から、予測画像選択部１２４から供給される予測画像の画素値を減算した減算値を、必要に応じて演算し、直交変換部１１４に供給する。
直交変換部１１４は、演算部１１３からの対象ブロック（の画素値、又は、予測画像が減算された残差）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部１１５に供給する。
量子化部１１５は、直交変換部１１４から供給される変換係数を量子化し、その結果得られる量子化値を、可変長符号化部１１６に供給する。
可変長符号化部１１６は、量子化部１１５からの量子化値に対して、可変長符号化（例えば、CAVLC(Context-Adaptive Variable Length Coding)等）や、算術符号化（例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)等）等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ１１７に供給する。
なお、可変長符号化部１１６には、量子化部１１５から量子化値が供給される他、画面内予測部１２２やインター予測部１２３から、符号化データのヘッダに含めるヘッダ情報が供給される。
可変長符号化部１１６は、画面内予測部１２２やインター予測部１２３からの、ヘッダ情報を符号化し、符号化データのヘッダに含める。
蓄積バッファ１１７は、可変長符号化部１１６からの符号化データを一時記憶し、所定のデータレートで出力する。
蓄積バッファ１１７から出力された符号化データは、多重化部３２（図５）に供給される。
量子化部１１５で得られた量子化値は、可変長符号化部１１６に供給される他、逆量子化部１１８にも供給され、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０において、ローカルデコードが行われる。
すなわち、逆量子化部１１８は、量子化部１１５からの量子化値を、変換係数に逆量子化し、逆直交変換部１１９に供給する。
逆直交変換部１１９は、逆量子化部１１８からの変換係数を逆直交変換し、演算部１２０に供給する。
演算部１２０は、逆直交変換部１１９から供給されるデータに対して、必要に応じて、予測画像選択部１２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード画像を得て、デブロッキングフィルタ１２１に供給する。
デブロッキングフィルタ１２１は、演算部１２０からのデコード画像をフィルタリングすることにより、デコード画像に生じたブロック歪を除去（低減）し、DPB３１（図５）に供給する。
ここで、DPB３１は、デブロッキングフィルタ１２１からのデコード画像、すなわち、エンコーダ１１において符号化されてローカルデコードされた色画像C#1のピクチャを、時間的に後に行われる予測符号化（演算部１１３で予測画像の減算が行われる符号化）に用いる予測画像を生成するときに参照する参照ピクチャ（の候補）として記憶する。
図５で説明したように、DPB３１は、エンコーダ１１，１２，２１、及び、２２で共用されるので、エンコーダ１１において符号化されてローカルデコードされた色画像C#1のピクチャの他、エンコーダ１２において符号化されてローカルデコードされた色画像C#2のピクチャ、エンコーダ２１において符号化されてローカルデコードされた視差画像D#1のピクチャ、及び、エンコーダ２２において符号化されてローカルデコードされた視差画像D#2のピクチャも記憶する。
なお、逆量子化部１１８、逆直交変換部１１９、及び、演算部１２０によるローカルデコードは、例えば、参照ピクチャとなることが可能な参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャを対象として行われ、DPB３１では、Iピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像が記憶される。
画面内予測部１２２は、対象ピクチャが、イントラ予測（画面内予測）され得るIピクチャ、Pピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB３１から、対象ピクチャのうちの、既にローカルデコードされている部分（デコード画像）を読み出す。そして、画面内予測部１２２は、DPB３１から読み出した、対象ピクチャのうちのデコード画像の一部を、画面並び替えバッファ１１２から供給される対象ピクチャの対象ブロックの予測画像とする。
さらに、画面内予測部１２２は、予測画像を用いて対象ブロックを符号化するのに要する符号化コスト、すなわち、対象ブロックの、予測画像に対する残差等を符号化するのに要する符号化コストを求め、予測画像とともに、予測画像選択部１２４に供給する。
インター予測部１２３は、対象ピクチャが、インター予測され得るPピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、DPB３１から、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、参照ピクチャとして読み出す。
また、インター予測部１２３は、画面並び替えバッファ１１２からの対象ピクチャの対象ブロックと、参照ピクチャとを用いたMEによって、対象ブロックと、参照ピクチャの、対象ブロックに対応する対応ブロック（例えば、対象ブロックとのSAD(Sum of Absolute Differences)等を最小にするブロック）とのずれ（視差、動き）を表すずれベクトルを検出する。
ここで、参照ピクチャが、対象ピクチャと同一のビュー（視点）のピクチャである場合、対象ブロックと参照ピクチャとを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照ピクチャとの間の動き（時間的なずれ）を表す動きベクトルとなる。
また、参照ピクチャが、対象ピクチャと異なるビューのピクチャである場合、対象ブロックと参照ピクチャとを用いたMEによって検出されるずれベクトルは、対象ブロックと、参照ピクチャとの間の視差（空間的なずれ）を表す視差ベクトルとなる。
以上のように、MEによって求められる視差ベクトルを、図６で説明した撮影視差ベクトルと区別するために、計算視差ベクトルともいう。
本実施の形態では、説明を簡単にするため、撮影視差ベクトルは、y成分が0のベクトルであることとしたが、MEによって検出される計算視差ベクトルは、対象ブロックと、参照ピクチャの、対象ブロックとのSAD等を最小にする領域としてのブロック（対応ブロック）とのずれ（位置関係）を表すので、y成分が0になるとは限らない。
インター予測部１２３は、対象ブロックのずれベクトルに従って、DPB３１からの参照ピクチャのずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。
すなわち、インター予測部１２３は、参照ピクチャの、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（領域）である対応ブロックを、予測画像として取得する。
さらに、インター予測部１２３は、対象ブロックを予測画像を用いて符号化するのに要する符号化コストを、予測画像の生成に用いる参照ピクチャや、後述するマクロブロックタイプ等が異なるインター予測モードごとに求める。
そして、インター予測部１２３は、符号化コストが最小のインター予測モードを、最適なインター予測モードである最適インター予測モードとして、その最適インター予測モードで得られた予測画像と符号化コストとを、予測画像選択部１２４に供給する。
予測画像選択部１２４は、画面内予測部１２２、及び、インター予測部１２３それぞれからの予測画像のうちの、符号化コストが小さい方を選択し、演算部１１３、及び、１２０に供給する。
ここで、画面内予測部１２２は、イントラ予測に関する情報を、ヘッダ情報として、可変長符号化部１１６に供給し、インター予測部１２３は、インター予測に関する情報（ずれベクトルの情報や、参照ピクチャに割り当てられている参照インデクス等）を、ヘッダ情報として、可変長符号化部１１６に供給する。
可変長符号化部１１６は、画面内予測部１２２、及び、インター予測部１２３それぞれからのヘッダ情報のうちの、符号化コストが小さい予測画像が生成された方からのヘッダ情報を選択し、符号化データのヘッダに含める。
［マクロブロックタイプ］
図１０は、MVC(AVC)方式のマクロブロックタイプを説明する図である。
マクロブロックは、横×縦が１６×１６画素のブロックであるが、MVC方式では、ME（及び、予測画像の生成）は、マクロブロックをパーティションに分割して、パーティションごとに行うことができる。
すなわち、MVC方式では、マクロブロックを、１６×１６画素、１６×８画素、８×１６画素、又は８×８画素のうちのいずれかのパーティションに分割して、各パーティションごとに、MEを行って、すれベクトル（動きベクトル、又は、計算視差ベクトル）を検出することができる。
また、MVC方式では、８×８画素のパーティションは、さらに、８×８画素、８×４画素、４×８画素、又は４×４画素のうちのいずれかのサブパーティションに分割し、各サブパーティションごとに、MEを行って、すれベクトル（動きベクトル、又は、計算視差ベクトル）を検出することができる。
マクロブロックタイプは、マクロブロックを、どのようなパーティション（さらには、サブパーティション）に分割するかを表す。
インター予測部１２３（図９）のインター予測では、各マクロブロックタイプの符号化コストが、各インター予測モードの符号化コストとして算出され、符号化コストが最小のインター予測モード（マクロブロックタイプ）が、最適インター予測モードとして選択される。
［予測ベクトル(PMV(Predicted Motion Vector))］
図１１は、MVC(AVC)方式の予測ベクトル(PMV)を説明する図である。
インター予測部１２３（図９）のインター予測では、MEによって、対象ブロックのずれベクトル（動きベクトル、又は、計算視差ベクトル）が検出され、そのずれベクトルを用いて、予測画像が生成される。
ずれベクトルは、デコーダ側において、画像を復号するのに必要であるため、ずれベクトルの情報を符号化して、符号化データに含める必要があるが、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化することがある。
すなわち、MVC方式では、図１０に示したように、マクロブロックが、８×８画素のパーティションに分割され、さらに、その８×８画素のパーティションそれぞれが、４×４画素のサブパーティションに分割されることがある。この場合、１つのマクロブロックは、最終的には、４×４個のサブパーティションに分割されるため、１つのマクロブロックに対して、１６（＝４×４）個のずれベクトルが生じることがあり、ずれベクトルを、そのまま符号化すると、ずれベクトルの符号量が多くなって、符号化効率が劣化する。
そこで、MVC(AVC)方式では、ずれベクトルを予測するベクトル予測が行われ、そのベクトル予測によって得られる予測ベクトルに対する、ずれベクトルの残差が符号化される。
すなわち、あるマクロブロックXが、符号化対象の対象ブロックであるとする。また、説明を簡単にするため、対象ブロックXは、１６×１６画素のパーティションに分割される（対象ブロックXが、そのまま、パーティションとされる）こととする。
対象ブロックXのずれベクトルmvXの予測ベクトルPMVXは、図１１に示すように、対象ブロックXが符号化されるときに、（ラスタスキャン順で）既に符号化されているマクロブロックのうちの、対象ブロックXの上に隣接するマクロブロックAのずれベクトルmvA、左に隣接するマクロブロックBのずれベクトルmvB、及び、右斜め上に隣接するマクロブロックCのずれベクトルmvCを用い、式（６）に従って算出される。
PMVX＝med(mvA,mvB,mvC)
・・・（６）
ここで、式（６）において、med()は、かっこ内の値のメディアン（中央値）を表す。
なお、対象ブロックXが、ピクチャの右端のマクロブロックである場合等、マクロブロックCのずれベクトルmvCが、利用可能でない（unavailableである）場合には、ずれベクトルmvCに代えて、対象ブロックXの左斜め上に隣接するマクロブロックDのずれベクトルmvDを用いて、予測ベクトルPMVXが算出される。
また、式（６）に従った予測ベクトルPMVXの算出は、x成分とy成分とのそれぞれについて、独立に行われる。
インター予測部１２３（図９）では、対象ブロックXのずれベクトルmvXと、その予測ベクトルPMVXとの差分mvX−PMVが、対象ブロックXのずれベクトルの情報として、ヘッダ情報に含められる。
図１２は、MVC(AVC)方式の予測ベクトルを、さらに説明する図である。
MVC方式の予測ベクトルの生成方法は、対象ブロックの周辺のブロック（マクロブロック）の予測画像の生成に用いられる参照ピクチャに割り当てられている参照インデクス（以下、予測用の参照インデクスともいう）によって異なる。
ここで、MVC(AVC)方式の参照ピクチャと、参照インデクスについて説明する。
AVC方式では、予測画像を生成するときに、複数のピクチャを、参照ピクチャとすることができる。
そして、AVC方式のコーデックでは、参照ピクチャは、デコード（ローカルデコード）後に、DPBと呼ばれるバッファに記憶される。
DPBでは、短期間に参照されるピクチャは、短時間参照ピクチャ(used for short-term reference)として、長期間にわたって参照されるピクチャは、長時間参照ピクチャ(used for long-term reference)として、参照されないピクチャは、非参照ピクチャ(unused for reference)として、それぞれマーキングされる。
DPBを管理する管理方式としては、移動窓メモリ管理方式(Sliding window process)と、適応メモリ管理方式(Adaptive memory control process)との２種類がある。
移動窓メモリ管理方式では、DPBが、FIFO(First In First Out)方式で管理され、DPBに記憶されたピクチャは、frame_numの小さいピクチャから順に開放される（非参照ピクチャとなる）。
すなわち、移動窓メモリ管理方式では、I(Intra)ピクチャ、P(Predictive)ピクチャ、及び、参照可能なB(Bi-directional Predictive)ピクチャであるBsピクチャは、短時間参照ピクチャとして、DPBに記憶される。
そして、DPBが参照ピクチャ（となりうる参照ピクチャ）を記憶することができるだけの参照ピクチャが記憶された後は、DPBに記憶された短時間参照ピクチャの中で、最も早く（古い）短時間参照ピクチャが開放される。
なお、DPBに、長時間参照ピクチャが記憶されている場合、移動窓メモリ管理方式は、DPBに記憶されている長時間参照ピクチャには、影響しない。すなわち、移動窓メモリ管理方式において、参照ピクチャの中で、FIFO方式で管理されるのは、短時間参照ピクチャだけである。
適応メモリ管理方式では、MMCO(Memory management control operation)と呼ばれるコマンドを用いて、DPBに記憶されるピクチャが管理される。
MMCOコマンドによれば、DPBに記憶される参照ピクチャを対象として、短時間参照ピクチャを非参照ピクチャに設定することや、短時間参照ピクチャに対し、長時間参照ピクチャを管理するための参照インデクスであるlong-term frame indexを割り当てることで、短時間参照ピクチャを長時間参照ピクチャに設定すること、long-term frame indexの最大値を設定すること、すべての参照ピクチャを非参照ピクチャに設定すること等を行うことができる。
AVC方式では、DPBに記憶された参照ピクチャの動き補償を行うことで、予測画像を生成するインター予測が行われるが、Bピクチャ（Bsピクチャを含む）のインター予測には、最大で、2ピクチャの参照ピクチャを用いることができる。その2ピクチャの参照ピクチャを用いるインター予測は、それぞれ、L0(List 0)予測、及び、L1(List 1)予測と呼ばれる。
Bピクチャ（Bsピクチャを含む）については、インター予測として、L0予測、若しくは、L1予測、又は、L0予測とL1予測との両方が用いられる。Pピクチャについては、インター予測として、L0予測だけが用いられる。
インター予測において、予測画像の生成に参照する参照ピクチャは、参照リスト(Reference Picture List)により管理される。
参照リストでは、予測画像の生成に参照する参照ピクチャを指定するためのインデクスである参照インデクス(Reference Index)が、DPBに記憶された参照ピクチャに割り当てられる。
対象ピクチャが、Pピクチャである場合、上述したように、Pピクチャについては、インター予測として、L0予測だけが用いられるので、参照インデクスの割り当ては、L0予測についてだけ行われる。
また、対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、上述したように、Bピクチャについては、インター予測として、L0予測とL1予測との両方が用いられることがあるので、参照インデクスの割り当ては、L0予測とL1予測との両方について行われる。
ここで、L0予測についての参照インデクスを、L0インデクスともいい、L1予測についての参照インデクスを、L1インデクスともいう。
対象ピクチャが、Pピクチャである場合、AVC方式のデフォルト（既定値）では、DPBに記憶された参照ピクチャに対し、復号順が後の参照ピクチャほど、値が小さい参照インデクス（L0インデクス）が割り当てられる。
参照インデクスは、0以上の整数値であり、最小値は、0である。したがって、対象ピクチャが、Pピクチャである場合には、対象ピクチャの直前に復号された参照ピクチャに、L0インデクスとして、0が割り当てられる。
対象ピクチャが、Bピクチャ（Bsピクチャを含む）である場合、AVCのデフォルトでは、DPBに記憶された参照ピクチャに対し、POC(Picture Order Count)順、つまり、表示順に、参照インデクス（L0インデクス、及び、L1インデクス）が割り当てられる。
すなわち、L0予測については、表示順で、対象ピクチャの時間的に前の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL0インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に後の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL0インデクスが割り当てられる。
また、L1予測については、表示順で、対象ピクチャの時間的に後の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL1インデクスが割り当てられ、その後、表示順で、対象ピクチャの時間的に前の参照ピクチャに対し、対象ピクチャに近い参照ピクチャほど、値が小さいL1インデクスが割り当てられる。
なお、以上のAVC方式のデフォルトでの参照インデクス（L0インデクス、及び、L1インデクス）の割り当ては、短時間参照ピクチャを対象として行われる。長時間参照ピクチャへの参照インデクスの割り当ては、短時間参照ピクチャに、参照インデクスが割り当てられた後に行われる。
したがって、AVCのデフォルトでは、長時間参照ピクチャには、短時間参照ピクチャよりも大きい値の参照インデクスが割り当てられる。
AVC方式において、参照インデクスの割り当てとしては、以上のようなデフォルトの方法で割り当てを行う他、Reference Picture List Reorderingと呼ばれるコマンド（以下、RPLRコマンドともいう）を用いて、任意の割り当てを行うことができる。
なお、RPLRコマンドを用いて、参照インデクスの割り当てが行われた後、参照インデクスが割り当てられていない参照ピクチャがある場合には、その参照ピクチャには、参照インデクスが、デフォルトの方法で割り当てられる。
MVC(AVC)方式では、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXは、図１２に示すように、対象ブロックXの上に隣接するマクロブロックA、左に隣接するマクロブロックB、及び、右斜め上に隣接するマクロブロックCそれぞれの予測用の参照インデクス（マクロブロックA，B、及び、Cそれぞれの予測画像の生成に用いられた参照ピクチャに割り当てられていた参照インデクス）によって異なる方法で求められる。
すなわち、いま、対象ブロックXの予測用の参照インデクスref_idxが、例えば、0であるとする。
すなわち、図１２のＡに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0のマクロブロックが、１つだけ存在する場合には、その１つのマクロブロック（予測用の参照インデクスref_idxが0のマクロブロック）のずれベクトルが、対象ブロックXのずれベクトルmvXの予測ベクトルPMVXとされる。
ここで、図１２のＡでは、対象ブロックXに隣接する３つのマクロブロックAないしCのうちの、マクロブロックAだけが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvAが、対象ブロックX（のずれベクトルmvX）の予測ベクトルPMVXとされる。
また、図１２のＢに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0のマクロブロックが、２つ以上存在する場合には、その、予測用の参照インデクスref_idxが0の２つ以上のマクロブロックのずれベクトルのメディアンが、対象ブロックXの予測ベクトルPMVXとされる。
ここで、図１２のＢでは、対象ブロックXに隣接する３つのマクロブロックAないしCのすべてが、予測用の参照インデクスref_idxが0のマクロブロックになっており、そのため、マクロブロックAのずれベクトルmvA、マクロブロックBのずれベクトルmvB、及び、マクロブロックCのずれベクトルmvCのメディアンmed(mvA,mvB,mvC)が、対象ブロックXの予測ベクトルPMVXとされる。
また、図１２のＣに示すように、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが対象ブロックXと同一の0のマクロブロックが、１つも存在しない場合には、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。
ここで、図１２のＣでは、対象ブロックXに隣接する３つのマクロブロックAないしCの中に、予測用の参照インデクスref_idxが0のマクロブロックは存在しないので、0ベクトルが、対象ブロックXの予測ベクトルPMVXとされる。
なお、MVC方式では、値が0の参照インデクスrev_idxが割り当てられた参照ピクチャを用いて、対象ブロックの符号化を行う場合には、対象ブロックを、スキップマクロブロックとすることができる。
スキップマクロブロックについては、残差（対象ブロックと予測画像との残差）も、ずれベクトルの情報も符号化されない。そして、デコーダ側では、予測ベクトルが、そのまま、スキップマクロブロックのずれベクトルに採用され、参照ピクチャの、スキップマクロブロックの位置からずれベクトルだけずれた位置のブロック（対応ブロック）のコピーが、スキップマクロブロックの復号結果とされる。
対象ブロックをスキップマクロブロックとするか否かは、エンコーダの仕様によるが、例えば、符号化データの符号量や、対象ブロックの符号化コスト等に基づいて決定（判定）される。
［エンコーダ２２の構成例］
図１３は、図５のエンコーダ２２の構成例を示すブロック図である。
エンコーダ２２は、符号化対象の画像である視点#2の視差画像D#2の符号化を、MVC方式を利用して、すなわち、図３で説明したようにして行う。
図１３において、エンコーダ２２は、A/D変換部２１１、画面並び替えバッファ２１２、演算部２１３、直交変換部２１４、量子化部２１５、可変長符号化部２１６、蓄積バッファ２１７、逆量子化部２１８、逆直交変換部２１９、演算部２２０、デブロッキングフィルタ２２１、画面内予測部２２２、予測画像選択部２２４、ワーピング部２３１、ワープドピクチャバッファ２３２、オクルージョン検出部２３３、及び、視差予測部２３４を有する。
A/D変換部２１１ないし画面内予測部２２２、及び、予測画像選択部２２４は、図９のエンコーダ１１のA/D変換部１１１ないし画面内予測部１２２、及び、予測画像選択部１２４と、それぞれ同様に構成されるので、その説明は、適宜省略する。
図１３において、DPB３１には、デブロッキングフィルタ２２１から、デコード画像、すなわち、エンコーダ２２において符号化されてローカルデコードされた視差画像（以下、デコード視差画像ともいう）D#2のピクチャが供給され、参照ピクチャとして記憶される。
また、DPB３１には、図５や図９で説明したように、エンコーダ１１において符号化されてローカルデコードされた色画像C#1のピクチャ、エンコーダ１２において符号化されてローカルデコードされた色画像C#2のピクチャ、及び、エンコーダ２１において符号化されてローカルデコードされた視差画像（デコード視差画像）D#1のピクチャも供給されて記憶される。
エンコーダ２２では、デブロッキングフィルタ２２１からのデコード視差画像D#2のピクチャの他、エンコーダ２１で得られるデコード視差画像D#1が、符号化対象である視差画像D#2の符号化に用いられるので、図１３では、エンコーダ２１で得られるデコード視差画像D#1が、DPB３１に供給されることを示す矢印を、図示してある。
ワーピング部２３１には、視差関連情報（図５）としての、撮影視差ベクトルd（視点#1の撮影視差ベクトルd1）の最大値dmax及び最小値dmin、基線長L、焦点距離f、及び、位置情報が供給される。
ワーピング部２３１は、DPB３１に記憶された、デコード視差画像D#1及びD#2のピクチャのうちの、デコード視差画像D#1のピクチャ（対象ピクチャと同一時刻のピクチャ）を取得する（読み出す）。
そして、ワーピング部２３１は、視差関連情報を必要に応じて用いて、DPB３１から取得したデコード視差画像D#1のピクチャをワーピングすることにより、そのデコード視差画像D#1のピクチャを視点#2で得られる画像（視差画像）に変換したワープド画像であるワープド視差画像D'#1のピクチャを生成する。
すなわち、ワーピング部２３１は、デコード視差画像D#1のピクチャの各画素の画素値である視差値νを、撮影視差ベクトルdの最大値dmax及び最小値dminを用い、式（４）に従って、画素ごとの撮影視差ベクトルd(d1)に変換する。
ここで、視差情報画像として、視差画像ではなく、奥行き画像を用いる場合には、基線長L、及び、焦点距離fを用い、式（５）に従って、奥行き画像の画素値である奥行き値の正規化前の奥行きZが、撮影視差ベクトルdに変換される。
ワーピング部２３１は、デコード視差画像D#1のピクチャの各画素を、その画素の撮影視差ベクトルdに従って移動するワーピングを行うことにより、ワープド視差画像D'#1のピクチャを生成する。
ワーピング部２３１は、デコード視差画像D#1のピクチャのワーピングによって、ワープド視差画像D'#1のピクチャを生成すると、そのワープド視差画像D'#1のピクチャを、ワープドピクチャバッファ２３２に供給する。
ここで、ワーピング部２３１に供給される視差関連情報は、可変長符号化部２１６にも供給され、必要に応じて、ヘッダ情報として、符号化データのヘッダに含められる。
なお、視差関連情報は、符号化データのヘッダに含めるのではなく、多重化部３２（図５）において、符号化データとともに多重化することができる。
ワープドピクチャバッファ２３２は、ワーピング部２３１からのワープド視差画像D'#1のピクチャを、一時記憶する。
なお、本実施の形態では、DPB３１とは別に、ワープド視差画像D'#1のピクチャを記憶するワープドピクチャバッファ２３２を設けてあるが、DPB３１とワープドピクチャバッファ２３２とは、１つのバッファで兼用することが可能である。
オクルージョン検出部２３３は、図２で説明したように、ワープドピクチャバッファ２３２に記憶されたワープド視差画像D'#1のピクチャ（対象ピクチャと同一時刻のピクチャ）において、画素値がない部分（画素値なし部分）を検出する。
さらに、オクルージョン検出部２３３は、視差画像D#2の対象ピクチャの、画素値なし部分と同一位置の部分を、オクルージョン部分として検出する。
そして、オクルージョン検出部２３３は、図２で説明したように、視差画像D#2の対象ピクチャにおいて処理対象となりうる各ブロックについて、（視差がある）水平方向にスキャンすることにより、オクルージョン部分が開始している開始画素Sと終了している終了画素Eとを検出する。
オクルージョン検出部２３３は、対象ピクチャの各ブロックの開始画素S及び終了画素Eを検出すると、その開始画素S及び終了画素Eを、オクルージョン情報として、視差予測部２３４に供給する。
視差予測部２３４は、DPB３１に記憶された視点#1のデコード視差画像D#1のピクチャを参照ピクチャとして、対象ブロックの視差予測（予測画像の生成）を行う。
すなわち、視差予測部２３４は、DPB３１に記憶されたデコード視差画像D#1のピクチャを参照ピクチャとして、MEを行うことにより、対象ブロックの計算視差ベクトルを求める。
さらに、視差予測部２３４は、対象ブロックの計算視差ベクトルに従って、DPB３１に記憶されたデコード視差画像D#1のピクチャを参照ピクチャとするMC(Motion Compensation)（動き補償）を行うことにより、対象ブロックの予測画像を生成する。
また、視差予測部２３４は、各マクロブロックタイプについて、参照ピクチャから視差予測によって得られる予測画像を用いた対象ブロックの符号化（予測符号化）に要する符号化コストを算出する。
そして、視差予測部２３４は、符号化コストが最小のマクロブロックタイプを、最適インター予測モードとして選択し、その最適インター予測モードで生成された予測画像を、予測画像選択部２２４に供給する。
さらに、視差予測部２３４は、最適インター予測モード等の情報を、ヘッダ情報として、可変長符号化部２１６に出力する。
なお、上述したように、参照ピクチャには、参照インデクスが割り当てられており、視差予測部２３４において、最適インター予測モードで生成された予測画像を生成するときに参照された参照ピクチャに割り当てられた参照インデクスは、対象ブロックの予測用の参照インデクスに選択され、ヘッダ情報の１つとして、可変長符号化部２１６に出力される。
さらに、視差予測部２３４では、オクルージョン検出部４６３からのオクルージョン情報を必要に応じて用いて、対象ブロックの（計算視差ベクトルの）予測ベクトルが求められる。そして、視差予測部２３４では、対象ブロックの計算視差ベクトルと予測ベクトルとの差である残差ベクトルが求められ、ヘッダ情報の１つとして、可変長符号化部２１６に出力される。
また、図１３においては、説明を簡単にするために、エンコーダ２２に、インター予測のうちの視差予測だけを行う視差予測部２３４を設けてあるが、エンコーダ２２では、図９のエンコーダ１１のインター予測部１２３と同様に、視差予測の他、時間予測も行うことができる。
エンコーダ２２において、視差予測、及び、時間予測の両方を行う場合、視差予測で参照されうる参照ピクチャであるデコード視差画像D#1のピクチャと、時間予測で参照されうる参照ピクチャであるデコード視差画像D#2のピクチャ（対象ピクチャとは時刻が異なる他時刻ピクチャ）とに、参照インデクスが割り当てられる。
そして、エンコーダ２２では、視差予測で生成される予測画像と、時間予測で生成される予測画像とのうちの、例えば、対象ブロックの符号化コストが小さい方の予測画像を生成するのに参照された参照ピクチャに割り当てられた参照インデクスが、対象ブロックの予測用の参照インデクスに選択され、ヘッダ情報の１つとされる。
図１４は、図１３の視差予測部２３４の構成例を示すブロック図である。
図１４において、視差予測部２３４は、視差検出部２４１、視差補償部２４２、予測ベクトル生成部２４３、コスト関数算出部２４４、及び、モード選択部２４５を有する。
視差検出部２４１には、DPB３１に記憶された参照ピクチャであるデコード視差画像D#1のピクチャが供給されるとともに、画面並び替えバッファ２１２から、符号化対象の視差画像D#2のピクチャ（対象ピクチャ）が供給される。
視差検出部２４１は、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロックについて、MVC方式と同様に、デコード視差画像D#1のピクチャを参照ピクチャとして用いたMEを行うことにより、対象ブロックと、デコード視差画像D#1のピクチャにおいて、例えば、対象ブロックとのSADを最小にする対応ブロックとのずれを表すずれベクトル、すなわち、対象ブロックの、視点#1に対する視差を表す計算視差ベクトルmvを、マクロブロックタイプごとに検出する。
なお、ここでは、説明を簡単にするため、デコード視差画像D#1のピクチャにおいて、対象ブロックとのSADを最小にするブロックを、計算視差ベクトルmvを求めるのに用いる対応ブロックとしているが、視差検出部２４１では、その他、例えば、式COST＝D＋λRで表される、対象ブロックの符号化コストCOSTを最小にする対応ブロック（ひいては、計算視差ベクトルmv）を検出することができる。
ここで、式COST＝D＋λRにおいて、Dは、対象ブロックと、デコード視差画像D#1のピクチャの、対象ブロックから計算視差ベクトルmvだけ移動した位置のブロックとのSADを表し、λは、Rに対する重みであり、対象ブロックの残差（対象ブロックと予測画像との残差）の量子化ステップに応じて設定される。
また、式COST＝D＋λRにおいて、Rは、計算視差ベクトルmvの符号量に相当する値である。
なお、MVC方式では、計算視差ベクトルmvとその予測ベクトルとの残差ベクトルが符号化されるので、値Rとしては、残差ベクトルの符号量に相当する値を採用することができる。
値Rとして、残差ベクトルの符号量に相当する値を採用する場合、視差検出部２４１は、予測ベクトルを、予測ベクトル生成部２４３から供給される予測ベクトル情報から認識し、その予測ベクトルと、計算視差ベクトルmvとから、残差ベクトルを求める。
視差検出部２４１は、対象ブロックの計算視差ベクトルmvを検出すると、その計算視差ベクトルmvと、予測ベクトル生成部２４３から供給される予測ベクトル情報から得られる予測ベクトルとの差分である残差ベクトルを求め、視差補償部２４２に供給する。
視差補償部２４２には、視差検出部２４１から、計算視差ベクトルmvの残差ベクトルが供給される他、DPB３１に記憶された参照ピクチャであるデコード視差画像D#1のピクチャが供給される。
さらに、視差補償部２４２には、予測ベクトル生成部２４３から予測ベクトル情報が供給される。
視差補償部２４２は、視差検出部２４１からの残差ベクトルと、予測ベクトル生成部２４３からの予測ベクトル情報とから、対象ブロックの計算視差ベクトルmvを復元する。
さらに、視差補償部２４２は、DPB３１からのデコード視差画像D#1のピクチャを、参照ピクチャとして、その参照ピクチャのずれ補償（視差補償）を、対象ブロックの計算視差ベクトルmvを用いて、MVC方式と同様にして行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成する。
すなわち、視差補償部２４２は、デコード視差画像D#1のピクチャの、対象ブロックの位置から、計算視差ベクトルmvだけずれた位置のブロック（領域）である対応ブロックを、予測画像として取得する。
そして、視差補償部２４２は、予測画像を、視差検出部２４１からの残差ベクトル、及び、予測画像を生成するのに用いた参照ピクチャ（ここでは、デコード視差画像D#1のピクチャ）に割り当てられている参照インデクスとともに、コスト関数算出部２４４に供給する。
予測ベクトル生成部２４３には、オクルージョン検出部２３３から、オクルージョン情報としての開始画素S及び終了画素Eが供給される。
予測ベクトル生成部２４３は、オクルージョン検出部２３３からのオクルージョン情報を用いて、対象ブロックが、オクルージョンブロックであるかどうかを判定する。
そして、予測ベクトル生成部２４３は、対象ブロックが、オクルージョンブロックであるかどうかによって異なるベクトル予測方式で、対象ブロックの予測ベクトルを生成する。
すなわち、予測ベクトル生成部２４３は、対象ブロックが、オクルージョンブロックである場合、図２ないし図４で説明した近接予測方式で、対象ブロックの予測ベクトルを生成する。
また、予測ベクトル生成部２４３は、対象ブロックが、オクルージョンブロックでない場合（非オクルージョンブロックである場合）、図１１及び図１２で説明したMVC方式で、対象ブロックの予測ベクトルを生成する。
予測ベクトル生成部２４３は、各マクロブロックタイプ（図１０）について、予測ベクトルを生成し、予測ベクトル情報として、視差検出部２４１、視差補償部２４２、及び、コスト関数算出部２４４に供給する。
コスト関数算出部２４４には、視差補償部２４２から、予測画像、残差ベクトル、及び、参照インデクスが供給されるとともに、予測ベクトル生成部２４３から、予測ベクトル情報が供給される他、画面並び替え部バッファ２１２から、視差画像D#2の対象ピクチャが供給される。
コスト関数算出部２４４は、マクロブロックタイプ（図１０）ごとに、画面並び替えバッファ２１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、符号化コストを算出する所定のコスト関数に従って求める。
すなわち、コスト関数算出部２４４は、視差補償部２４２からの残差ベクトルの符号量に対応する値MVを求めるとともに、視差補償部２４２からの参照インデクス（予測用の参照インデクス）の符号量に対応する値INを求める。
さらに、コスト関数算出部２４４は、視差補償部２４２からの予測画像に対する、対象ブロックの残差に対応する値DであるSADを求める。
そして、コスト関数算出部２４４は、例えば、λ1及びλ2を重みとして、式COST＝D＋λ1×MV＋λ2×INに従い、マクロブロックタイプごとの符号化コストCOSTを求める。
コスト関数算出部２４４は、マクロブロックタイプごとの符号化コスト（コスト関数値）を求めると、符号化コストを、参照インデクス、予測画像、及び、残差ベクトルとともに、モード選択部２４５に供給する。
モード選択部２４５は、コスト関数算出部２４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
さらに、モード選択部２４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択する。
そして、モード選択部２４５は、最適インター予測モードを表すモード関連情報、並びに、最適インター予測モードの参照インデクス（予測用の参照インデクス）、及び、残差ベクトル等を、ヘッダ情報として、可変長符号化部２１６に供給する。
さらに、モード選択部２４５は、最適インター予測モードの予測画像と符号化コスト（最小コスト）を、予測画像選択部２２４に供給する。
なお、モード選択部２４５は、最小コストが得られた参照インデクスが、値が0の参照インデクスである場合には、例えば、最小コスト等に基づいて、対象ブロックを、スキップマクロブロックとして符号化するかどうかの判定を行う。
モード選択部２４５において、対象ブロックを、スキップマクロブロックとして符号化すると判定された場合、最適インター予測モードは、対象ブロックを、スキップマクロブロックとして符号化するスキップモードとされる。
図１５は、図１３のエンコーダ２２が行う、視点#2の視差画像D#2を符号化する符号化処理を説明するフローチャートである。
ステップＳ１１において、A/D変換部２１１は、そこに供給される視点#2の視差画像D#2のピクチャのアナログ信号をA/D変換し、画面並び替えバッファ２１２に供給して、処理は、ステップＳ１２に進む。
ステップＳ１２では、画面並び替えバッファ２１２は、A/D変換部２１１からの視差画像D#2のピクチャを一時記憶し、あらかじめ決められたGOPの構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
画面並び替えバッファ２１２から読み出されたピクチャは、演算部２１３、画面内予測部２２２、及び、視差予測部２３４に供給され、処理は、ステップＳ１２からステップＳ１３に進む。
ステップＳ１３では、演算部２１３は、画面並び替えバッファ２１２からの視差画像D#2のピクチャを、符号化対象の対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロックを、順次、符号化対象の対象ブロックとする。
そして、演算部２１３は、対象ブロックの画素値と、予測画像選択部２２４から供給される予測画像の画素値との差分（残差）を、必要に応じて演算し、直交変換部２１４に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
ステップＳ１４では、直交変換部２１４は、演算部２１３からの対象ブロックに対して直交変換を施し、その結果得られる変換係数を、量子化部２１５に供給して、処理は、ステップＳ１５に進む。
ステップＳ１５において、量子化部２１５は、直交変換部２１４から供給される変換係数を量子化し、その結果得られる量子化値を、逆量子化部２１８、及び、可変長符号化部２１６に供給して、処理は、ステップＳ１６に進む。
ステップＳ１６では、逆量子化部２１８は、量子化部２１５からの量子化値を、変換係数に逆量子化し、逆直交変換部２１９に供給して、処理は、ステップＳ１７に進む。
ステップＳ１７では、逆直交変換部２１９は、逆量子化部２１８からの変換係数を逆直交変換し、演算部２２０に供給して、処理は、ステップＳ１８に進む。
ステップＳ１８では、演算部２２０は、逆直交変換部２１９から供給されるデータに対して、必要に応じて、予測画像選択部２２４から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード視差画像D#2を求める。そして、演算部２２０は、対象ブロックをローカルデコードしたデコード視差画像D#2を、デブロッキングフィルタ２２１に供給して、処理は、ステップＳ１８からステップＳ１９に進む。
ステップＳ１９では、デブロッキングフィルタ２２１は、演算部２２０からのデコード視差画像D#2をフィルタリングし、DPB３１（図５）に供給して、処理は、ステップＳ２０に進む。
ステップＳ２０では、DPB３１が、視差画像D#1を符号化するエンコーダ２１から、その視差画像D#1を符号化して、ローカルデコードすることにより得られるデコード視差画像D#1が供給されるのを待って、そのデコード視差画像D#1を記憶し、処理は、ステップＳ２１に進む。
ステップＳ２１では、DPB３１が、デブロッキングフィルタ２２１からのデコード視差画像D#2を記憶し、処理は、ステップＳ２２に進む。
ステップＳ２２では、ワーピング部２３１が、DPB３１に記憶されたデコード視差画像D#1のピクチャをワーピングすることにより、ワープド視差画像D'#1のピクチャを生成し、ワープドピクチャバッファ２３２に供給して、処理は、ステップＳ２３に進む。
ステップＳ２３では、ワープドピクチャバッファ２３２が、ワーピング部２３１からのワープド視差画像D'#1のピクチャを記憶し、処理は、ステップＳ２４に進む。
ステップＳ２４では、オクルージョン検出部２３３が、ワープドピクチャバッファ２３２に記憶されたワープド視差画像D'#1のピクチャを用いて、視差画像D#2の対象ピクチャのオクルージョン部分を検出するオクルージョン検出処理を行う。
そして、オクルージョン検出部２３３は、オクルージョン検出処理によって得られるオクルージョン情報を、視差予測部２３４に供給して、処理は、ステップＳ２４からステップＳ２５に進む。
ステップＳ２５では、画面内予測部２２２は、次に符号化の対象となるマクロブロックである次の対象ブロックについて、イントラ予測処理（画面内予測処理）を行う。
すなわち、画面内予測部２２２は、次の対象ブロックについて、DPB３１に記憶されたデコード視差画像D#2のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行う。
そして、画面内予測部２２２は、イントラ予測の予測画像を用いて、対象ブロックを符号化するのに要する符号化コストを求め、イントラ予測の予測画像とともに、予測画像選択部２２４に供給して、処理は、ステップＳ２５からステップＳ２６に進む。
ステップＳ２６では、視差予測部２３４は、次の対象ブロックについて、DPB３１に記憶されたデコード視差画像D#1のピクチャを参照ピクチャとして、視差予測処理を行う。
すなわち、視差予測部２３４は、次の対象ブロックについて、DPB３１に記憶されたデコード視差画像D#1のピクチャを参照画像として、視差予測を行うことにより、マクロブロックタイプ等が異なるインター予測モードごとに、計算視差ベクトルや、予測ベクトル、予測画像、符号化コスト等を求める。
さらに、視差予測部２３４は、符号化コストが最小のインター予測モードを、最適インター予測モードとして、その最適インター予測モードの予測画像を、符号化コストとともに、予測画像選択部２２４に供給して、処理は、ステップＳ２６からステップＳ２７に進む。
ステップＳ２７では、予測画像選択部２２４は、画面内予測部２２２からの予測画像（イントラ予測の予測画像）、及び、視差予測部２３４からの予測画像（インター予測の予測画像）のうちの、例えば、符号化コストが小さい方の予測画像を選択し、演算部２１３及び２２０に供給して、処理は、ステップＳ２８に進む。
ここで、予測画像選択部２２４がステップＳ２７で選択する予測画像が、次の対象ブロックの符号化で行われるステップＳ１３やＳ１８の処理で用いられる。
また、画面内予測部２２２は、ステップＳ２５のイントラ予測処理において得られるイントラ予測に関する情報を、ヘッダ情報として、可変長符号化部２１６に供給し、視差予測部２３４は、ステップＳ２６の視差予測処理で得られる視差予測（インター予測）に関する情報（最適インター予測モードを表すモード関連情報等）を、ヘッダ情報として、可変長符号化部２１６に供給する。
ステップＳ２８では、可変長符号化部２１６は、量子化部２１５からの量子化値に対して、可変長符号化を施し、符号化データを得る。
さらに、可変長符号化部２１６は、画面内予測部２２２、及び、視差予測部２３４それぞれからのヘッダ情報のうちの、符号化コストが小さい予測画像が生成された方からのヘッダ情報を選択し、符号化データのヘッダに含める。
そして、可変長符号化部２１６は、符号化データを、蓄積バッファ２１７に供給して、処理は、ステップＳ２８からステップＳ２９に進む。
ステップＳ２９では、蓄積バッファ２１７は、可変長符号化部２１６からの符号化データを一時記憶し、所定のデータレートで出力する。
蓄積バッファ２１７から出力された符号化データは、多重化部３２（図５）に供給される。
エンコーダ２２では、以上のステップＳ１１ないしＳ２９の処理が、適宜繰り返し行われる。
図１６は、図１５のステップＳ２４で、図１３のオクルージョン検出部２３３が行うオクルージョン検出処理を説明するフローチャートである。
ステップＳ３１において、オクルージョン検出部２３３は、図２で説明したように、ワープドピクチャバッファ２３２に記憶されたワープド視差画像D'#1のピクチャにおいて、画素値がない部分（画素値なし部分）を検出する。
さらに、オクルージョン検出部２３３は、視差画像D#2の、画素値なし部分と同一位置の部分を、オクルージョン部分として検出し、処理は、ステップＳ３１からステップＳ３２に進む。
ステップＳ３２では、オクルージョン検出部２３３は、視差画像D#2の対象ピクチャを、例えば、マクロブロックを構成する水平ラインごとにスキャンし、対象ピクチャにおいて、オクルージョン部分の（水平方向（x方向）の）開始位置及び終了位置であるオクルージョン開始位置SS及びオクルージョン終了位置EEを検出する。
すなわち、オクルージョン検出部２３３は、例えば、対象ピクチャの上から１番目の水平ラインを、x方向（左から右方向）にスキャンし、対象ピクチャの上から１段目のマクロブロックの系列（スライス）について、オクルージョン部分が開始する画素の位置を、オクルージョン開始位置SSとして検出するとともに、オクルージョン部分が終了する画素の位置を、オクルージョン終了位置EEとして検出する。
さらに、オクルージョン検出部２３３は、例えば、対象ピクチャの上から１７（＝１６×（２−１）＋１）番目の水平ラインを、x方向にスキャンし、対象ピクチャの上から２段目のマクロブロックの系列について、オクルージョン部分が開始する画素の位置を、オクルージョン開始位置SSとして検出するとともに、オクルージョン部分が終了する画素の位置を、オクルージョン終了位置EEとして検出する。
また、オクルージョン検出部２３３は、例えば、対象ピクチャの上から３３（＝１６×（３−１）＋１）番目の水平ラインを、x方向にスキャンし、対象ピクチャの上から３段目のマクロブロックの系列について、オクルージョン部分が開始する画素の位置を、オクルージョン開始位置SSとして検出するとともに、オクルージョン部分が終了する画素の位置を、オクルージョン終了位置EEとして検出する。
以下、同様に、オクルージョン検出部２３３は、例えば、対象ピクチャの上から１６×（ｋ−１）＋１）番目の水平ラインを、x方向にスキャンし、対象ピクチャの上からｋ段目のマクロブロックの系列について、オクルージョン部分が開始する画素の位置を、オクルージョン開始位置SSとして検出するとともに、オクルージョン部分が終了する画素の位置を、オクルージョン終了位置EEとして検出する。
ここで、オクルージョン開始位置SS及びオクルージョン終了位置EEは、対象ピクチャの左（左端）からの画素数（左から、何番目の画素であるか）を表す。
以上のようにして、対象ピクチャの最下段のマクロブロックの系列についてまで、オクルージョン開始位置SS及びオクルージョン終了位置EEが検出されると、処理は、ステップＳ３２からステップＳ３３に進み、オクルージョン検出部２３３は、対象ピクチャから、例えば、符号化順で、まだ、注目ブロックに選択していないマクロブロックを、注目ブロックに選択し、処理は、ステップＳ３４に進む。
ステップＳ３４では、オクルージョン検出部２３３は、対象ピクチャにおいて、注目ブロックが存在する段数のマクロブロックの系列について検出されたオクルージョン開始位置SS及びオクルージョン終了位置EEに基づいて、注目ブロックが、オクルージョンブロックであるかどうかを認識し、処理は、ステップＳ３５に進む。
ステップＳ３５では、オクルージョン検出部２３３は、注目ブロックがオクルージョンブロックであるかどうかを判定する。
ステップＳ３５において、注目ブロックがオクルージョンブロックであると判定された場合、処理は、ステップＳ３６に進み、オクルージョン検出部２３３は、オクルージョンブロックである注目ブロックについて、図２ないし図４で説明したオクルージョン部分が開始している開始画素Sと終了している終了画素Eとを検出して記憶し、処理は、ステップＳ３８に進む。
また、ステップＳ３５において、注目ブロックがオクルージョンブロックでないと判定された場合、処理は、ステップＳ３７に進み、オクルージョン検出部２３３は、非オクルージョンブロックである注目ブロックの開始画素S及び終了画素E（としての変数）に、オクルージョンブロックでない旨を表す値（例えば、オクルージョンブロックの開始画素S及び終了画素Eとして取り得ない0や-1等の値）をセットし、処理は、ステップＳ３８に進む。
ステップＳ３８では、オクルージョン検出部２３３は、対象ピクチャのすべてのマクロブロックを、注目ブロックとして、開始画素S及び終了画素Eを求めたかどうかを判定する。
ステップＳ３８において、対象ピクチャのすべてのマクロブロックが、まだ、注目ブロックとされていないと判定された場合、処理は、ステップＳ３３に戻り、対象ピクチャから、符号化順で、まだ、注目ブロックに選択していないマクロブロックが、注目ブロックに新たに選択され、以下、同様の処理が繰り返される。
また、ステップＳ３８において、対象ピクチャのすべてのマクロブロックが、注目ブロックとされたと判定された場合、処理はリターンする。
なお、図１６のオクルージョン検出処理は、対象ピクチャについて、１回だけ行えば良い。
また、図１６では、オクルージョン検出処理を、マクロブロックを最小単位として行うことにより、マクロブロックごとに、そのマクロブロックにおいて、オクルージョン部分が開始している開始画素Sと終了している終了画素Eとを検出したが、オクルージョン検出処理は、その他、視差予測部２３４において、計算視差ベクトルを検出する単位（MEを行う単位）で行うことができる。
すなわち、オクルージョン検出処理は、図１０で説明したパーティション（サブパーティション）単位で行うことができる。
この場合、オクルージョン検出処理を行う最小の単位は、４×４画素のパーティション（サブパーティション）となる。
図１７は、オクルージョン検出部２３３（図１３）が行うオクルージョン検出処理（図１６）を説明する図である。
すなわち、図１７のＡは、オクルージョン検出部２３３が、図１６のステップＳ３４において、注目ブロックが存在する段数のマクロブロックの系列について検出されたオクルージョン開始位置SS及びオクルージョン終了位置EEに基づいて、注目ブロックが、オクルージョンブロックであるかどうかを認識する処理を説明する図である。
なお、図１７では、図２と同様に、視点#1が右側に位置し、視点#2が左側に位置しており、視点#2の視差画像D#2において、前景の左側の接する背景の部分が、オクルージョン部分になっていることとする。したがって、オクルージョン部分の左側は、背景になっており、右側は、前景になっている。
また、図１７では、マクロブロックの左端の画素の位置が、SBで表され、右端の画素の位置がEBで表されている。位置SB及びEBは、対象ピクチャの左（左端）からの画素数（左から、何番目の画素であるか）を表す。したがって、EB-SB+1は、マクロブロックのx方向の幅である16画素である。
図１６で説明したように、オクルージョン開始位置SS及びオクルージョン終了位置EEは、対象ピクチャの左（左端）からの画素数（左から、何番目の画素であるか）を表す。
したがって、マクロブロックの左端の画素の位置SB、及び、右端の画素の位置EBが、式SB≦SS≦EB≦EE、式SS≦SB＜EB≦EE、式SS≦SB≦EE≦EB、及び、式SB≦SS≦SE≦EBのうちのいずれかを満たす場合、そのマクロブロックには、オクルージョン部分が含まれる。
オクルージョン検出部２３３は、マクロブロックの左端の画素の位置SB、及び、右端の画素の位置EBが、式SB≦SS≦EB≦EE、式SS≦SB＜EB≦EE、式SS≦SB≦EE≦EB、及び、式SB≦SS≦SE≦EBのうちのいずれかを満たす場合に、そのマクロブロックが、オクルージョンブロックであると認識する。
図１７では、ブロック（マクロブロック）B#1，B#2、及び、B#3が、オクルージョンブロックであると認識されている。
図１７のＢは、オクルージョン検出部２３３は、図１６のステップＳ３６において、オクルージョンブロックであるマクロブロックについて、オクルージョン部分が開始している開始画素Sと終了している終了画素Eとを検出する処理を説明する図である。
ここで、オクルージョンブロックであるブロック（マクロブロック）B#iについて、オクルージョン部分が開始している開始画素S#iと終了している終了画素E#iとは、そのマクロブロックの左からの画素数（左から、何番目の画素であるか）を表す。
いま、図１７のＡに示すように、オクルージョンブロックであるブロックB#1，B#2、及び、B#3が、それぞれ、対象ブロックの左から２，３、及び、４番目のブロックであるとする。
さらに、図１７のＢに示すように、オクルージョン部分のオクルージョン開始位置SSが24画素目であり、オクルージョン終了位置EEが60画素目であるとする。
この場合、マクロブロックのx方向の画素数は16画素であるため、図１７のＢに示すように、ブロックB#1の開始画素S#1と終了画素E#1は、それぞれ、8画素目と16画素目になる。
また、ブロックB#2の開始画素S#2と終了画素E#2は、それぞれ、1画素目と16画素目になり、ブロックB#3の開始画素S#3と終了画素E#3は、それぞれ、1画素目と12画素目になる。
図１８は、図１５のステップＳ２６で、図１４の視差予測部２３４が行う視差予測処理を説明するフローチャートである。
ステップＳ４１において、予測ベクトル生成部２４３は、オクルージョン検出部２３３から供給されるオクルージョン情報を必要に応じて用いて、各マクロブロックタイプ（図１０）について、（次の）対象ブロックの予測ベクトルを生成する予測ベクトル生成処理を行う。
そして、予測ベクトル生成部２４３は、予測ベクトル生成処理によって得られた対象ブロックの予測ベクトルを、予測ベクトル情報として、視差検出部２４１、視差補償部２４２、及び、コスト関数算出部２４４に供給し、処理は、ステップＳ４１からステップＳ４２に進む。
ステップＳ４２において、視差予測部２３４は、DPB３１から、参照ピクチャであるデコード視差画像D#1のピクチャを取得し、視差検出部２４１、及び、視差補償部２４２に供給して、処理は、ステップＳ４３に進む。
ステップＳ４３では、視差検出部２４１は、画面並び替えバッファ２１２から供給される対象ピクチャにおける（次の）対象ブロックについて、DPB３１からのデコード視差画像D#1のピクチャを参照ピクチャとして用いてMEを行うことにより、対象ブロックの、視点#1に対する視差を表す計算視差ベクトルmvを検出する。
さらに、視差検出部２４１は、対象ブロックの計算視差ベクトルmvと、予測ベクトル生成部２４３から供給される予測ベクトル情報から得られる予測ベクトルとの差分である残差ベクトルを求めて、視差補償部２４２に供給し、処理は、ステップＳ４３からステップＳ４３に進む。
ステップＳ４３では、視差補償部２４２は、視差検出部２４１からの残差ベクトルと、予測ベクトル生成部２４３からの予測ベクトル情報とから、対象ブロックの計算視差ベクトルmvを復元する。
さらに、視差補償部２４２は、DPB３１からのデコード視差画像D#1のピクチャを、参照ピクチャとして、対象ブロックの計算視差ベクトルmvに従ってMCを行うことにより、（次の）対象ブロックの予測画像を生成する。
すなわち、視差補償部２４２は、デコード視差画像D#1のピクチャの、対象ブロックの位置から、計算視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。
そして、視差補償部２４２は、予測画像を、視差検出部２４１からの残差ベクトル、及び、予測画像を生成するのに用いた参照ピクチャ（ここでは、デコード視差画像D#1のピクチャ）に割り当てられている参照インデクスとともに、コスト関数算出部２４４に供給して、処理は、ステップＳ４４からステップＳ４５に進む。
ステップＳ４５では、コスト関数算出部２４４は、マクロブロックタイプ（図１０）ごとに、画面並び替えバッファ２１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、所定のコスト関数に従って求め、視差補償部２４２からの参照インデクス、予測画像、及び、残差ベクトルとともに、モード選択部２４５に供給して、処理は、ステップＳ４６に進む。
ステップＳ４６では、モード選択部２４５は、コスト関数算出部２４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
さらに、モード選択部２４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択して、処理は、ステップＳ４６からステップＳ４７に進む。
ステップＳ４７では、モード選択部２４５は、最適インター予測モードの予測画像と符号化コスト（最小コスト）を、予測画像選択部２２４に供給して、処理は、ステップＳ４８に進む。
ステップＳ４８では、モード選択部２４５は、最適インター予測モードを表すモード関連情報、最適インター予測モードの参照インデクス（予測用の参照インデクス）、及び、最適インター予測モードの残差ベクトルを、ヘッダ情報として、可変長符号化部２１６に供給して、処理はリターンする。
図１９は、図１８のステップＳ４１で予測ベクトル生成部２４３（図１４）が行う予測ベクトル生成処理を説明するフローチャートである。
なお、図１９は、図２及び図３で説明したように、視点#1が右側に位置し、視点#2が左側に位置しており、視点#2の視差画像D#2において、前景の左側の接する背景の部分が、オクルージョン部分になっている場合、つまり、オクルージョン部分の左側が、背景であり、右側が、前景である場合の、予測ベクトル生成処理を示している。
予測ベクトル生成部２４３において、エンコーダ２２（図１３）での符号化対象の視差画像D#2の視点#2が、参照ピクチャとなる視差画像D#1の視点#1の左側に位置するかどうかは、ワーピング部２３１に供給される位置情報から認識される。
予測ベクトル生成部２４３は、視点#2が、視点#1の左側に位置する場合に、図１９のフローチャートに従った予測ベクトル生成処理を行う。
ステップＳ６１において、予測ベクトル生成部２４３は、オクルージョン検出部２３３からオクルージョン情報としての、対象ピクチャの各ブロックの開始画素Sと終了画素Eを取得して、処理は、ステップＳ６２に進む。
ステップＳ６２では、予測ベクトル生成部２４３は、オクルージョン検出部２３３からのオクルージョン情報に基づいて、対象ブロックが、オクルージョンブロックであるかどうかを判定する。
ここで、オクルージョン検出部２３３では、図１６で説明したように、非オクルージョンブロックの開始画素S及び終了画素E（としての変数）には、オクルージョンブロックでない旨を表す値（オクルージョンブロックの開始画素S及び終了画素Eとして取り得ない0や-1等の値）がセットされる。
したがって、予測ベクトル生成部２４３では、オクルージョン情報としての、対象ブロックの開始画素S及び終了画素Eに基づいて、対象ブロックが、オクルージョンブロックであるかどうかを判定することができる。
ステップＳ６２において、対象ブロックが、オクルージョンブロックでないと判定された場合、すなわち、対象ブロックが、非オクルージョンブロックである場合、処理は、ステップＳ６３に進み、予測ベクトル生成部２４３は、MVC方式で、対象ブロックの予測ベクトルPMVを生成して、処理はリターンする。
また、ステップＳ６２において、対象ブロックが、オクルージョンブロックであると判定された場合、処理は、ステップＳ６４に進み、以下、予測ベクトル生成部２４３では、オクルージョンブロックである対象ブロックの予測ベクトルPMVが、図２及び図３で説明した、近接予測方式で生成される。
すなわち、ステップＳ６４では、予測ベクトル生成部２４３は、オクルージョン情報に基づき、オクルージョンブロックである対象ブロックの左隣のブロックが、非オクルージョンブロックであるかどうかを判定する。
ステップＳ６４において、対象ブロックの左隣のブロックが、非オクルージョンブロックであると判定された場合、すなわち、対象ピクチャの、対象ブロックの段（スライス）を、x方向にスキャンしたときに、対象ブロックから、オクルージョン部分が開始している場合、処理は、ステップＳ６５に進み、予測ベクトル生成部２４３は、オクルージョン情報としての対象ブロックの開始画素S及び終了画素Eを用い、式（１）と同様の式PMV＝(-(E-S+1),0)に従って、対象ブロックの予測ベクトルPMVを求め（生成し）、処理はリターンする。
また、ステップＳ６４において、対象ブロックの左隣のブロックが、非オクルージョンブロックでないと判定された場合、すなわち、対象ブロックの左隣のブロックが、オクルージョンブロックである場合、処理は、ステップＳ６６に進み、予測ベクトル生成部２４３は、オクルージョン情報としての対象ブロックの開始画素S及び終了画素E、及び、対象ブロックの左隣のブロック（オクルージョンブロック）の、既に求められている予測ベクトルPMVL＝(PMVLx,PMVLy)のx成分を用い、式（１）と同様の式PMV＝(PMVLx-(E-S+1),0)に従って、対象ブロックの予測ベクトルPMVを求め、処理はリターンする。
なお、ステップＳ６６では、式PMV＝(PMVLx-(E-S+1),0)の他、例えば、式PMV＝(PMVLx-(E-S+1),PMVLy)に従って、対象ブロックの予測ベクトルを求めることができる。
図２０は、図１８のステップＳ４１で予測ベクトル生成部２４３（図１４）が行う予測ベクトル生成処理を説明するフローチャートである。
なお、図２０は、図４で説明したように、視点#1が左側に位置し、視点#2が右側に位置しており、視点#2の視差画像D#2において、前景の右側の接する背景の部分が、オクルージョン部分になっている場合、つまり、オクルージョン部分の右側が、背景であり、左側が、前景である場合の、予測ベクトル生成処理を示している。
予測ベクトル生成部２４３において、エンコーダ２２（図１３）での符号化対象の視差画像D#2の視点#2が、参照ピクチャとなる視差画像D#1の視点#1の右側に位置するかどうかは、ワーピング部２３１に供給される位置情報から認識される。
予測ベクトル生成部２４３は、視点#2が、視点#1の右側に位置する場合に、図２０のフローチャートに従った予測ベクトル生成処理を行う。
ステップＳ７１において、予測ベクトル生成部２４３は、オクルージョン検出部２３３からオクルージョン情報としての、対象ピクチャの各ブロックの開始画素Sと終了画素Eを取得して、処理は、ステップＳ７２に進む。
ステップＳ７２では、予測ベクトル生成部２４３は、オクルージョン検出部２３３からのオクルージョン情報に基づいて、対象ブロックが、オクルージョンブロックであるかどうかを判定する。
ステップＳ７２において、対象ブロックが、オクルージョンブロックでないと判定された場合、すなわち、対象ブロックが、非オクルージョンブロックである場合、処理は、ステップＳ７３に進み、予測ベクトル生成部２４３は、MVC方式で、対象ブロックの予測ベクトルPMVを生成して、処理はリターンする。
また、ステップＳ７２において、対象ブロックが、オクルージョンブロックであると判定された場合、処理は、ステップＳ７４に進み、以下、予測ベクトル生成部２４３では、オクルージョンブロックである対象ブロックの予測ベクトルPMVが、図４で説明した、近接予測方式で生成される。
すなわち、ステップＳ７４では、予測ベクトル生成部２４３は、オクルージョンブロックである対象ブロックの左隣のブロックが、非オクルージョンブロックであるかどうかを判定する。
ステップＳ７４において、対象ブロックの左隣のブロックが、非オクルージョンブロックであると判定された場合、すなわち、対象ピクチャの、対象ブロックの段（スライス）を、x方向にスキャンしたときに、対象ブロックから、オクルージョン部分が開始している場合、処理は、ステップＳ７５に進み、予測ベクトル生成部２４３は、オクルージョン情報から、対象ブロックを先頭として、x方向に連続して並ぶオクルージョンブロックを認識し、処理は、ステップＳ７６に進む。
ここで、対象ブロックを先頭として、x方向に連続して並ぶオクルージョンブロックの先頭からi番目のブロックを、B#iと表すこととする。また、対象ブロックを先頭として、x方向に連続して並ぶオクルージョンブロックの数がN個であるとする。
この場合、対象ブロックを先頭とする、x方向に連続して並ぶオクルージョンブロック先頭のブロック（対象ブロック）は、B#1で表され、最後のブロックは、B#Nで表される。
ステップＳ７６では、予測ベクトル生成部２４３は、オクルージョン情報としての、対象ブロックを先頭とする、x方向に連続して並ぶオクルージョンブロックのすべてのブロックB#1ないしB#Nの開始画素S#1ないしS#N及び終了画素E#1ないしE#Nを用い、式（２）と同様の式PMV#1＝(Σ(E#i-S#i+1),0)＝((E#1-S#1+1)+(E#2-S#2+1)+・・・+(E#N-S#N+1),0)に従って、対象ブロックB#1の予測ベクトルPMV#1を求め、処理はリターンする。
また、ステップＳ７４において、対象ブロックの左隣のブロックが、非オクルージョンブロックでないと判定された場合、すなわち、対象ブロックの左隣のブロックが、オクルージョンブロックである場合、処理は、ステップＳ７６に進み、予測ベクトル生成部２４３は、オクルージョン情報としての対象ブロックB#iの左隣のブロックB#(i-1)の開始画素S#(i-1)及び終了画素E#(i-1)、及び、対象ブロックの左隣のブロック（オクルージョンブロック）の、既に求められている予測ベクトルPMV#(i-1)を用い、式（２）と同様の式PMV#i＝PMV#(i-1)−((E#(i-1)-S#(i-1)+1),0)に従って、対象ブロックの予測ベクトルPMV#iを求め、処理はリターンする。
［本技術を適用した多視点画像デコーダの一実施の形態］
図２１は、本技術を適用した多視点画像デコーダの一実施の形態の構成例を示すブロック図である。
図２１の多視点画像デコーダは、例えば、MVC方式を利用して、複数の視点の画像を符号化したデータを復号するデコーダであり、以下では、MVC方式と同様の処理については、適宜、説明を省略する。
なお、多視点画像デコーダは、MVC方式を利用するデコーダに限定されるものではない。
図２１の多視点画像デコーダでは、図５の多視点画像エンコーダが出力する多重化データが、２つの視点#1及び#2の色画像である視点#1の色画像C#1、及び、視点#2の色画像C#2、並びに、その２つの視点#1及び#2の視差画像である視点#1の視差画像D#1、及び、視点#2の視差画像D#2に復号される。
図２１において、多視点画像デコーダは、分離部３０１、デコーダ３１１，３１２，３２１，３２２、及び、DPB３３１を有する。
図５の多視点画像エンコーダが出力する多重化データは、図示せぬ記録媒体や伝送媒体を介して、分離部３０１に供給される。
分離部３０１は、そこに供給される多重化データから、色画像C#1の符号化データ、色画像C#2の符号化データ、視差画像D#1の符号化データ、及び、視差画像D#2の符号化データを分離する。
そして、分離部３０１は、色画像C#1の符号化データをデコーダ３１１に、色画像C#2の符号化データをデコーダ３１２に、視差画像D#1の符号化データをデコーダ３２１に、視差画像D#2の符号化データをデコーダ３２２に、それぞれ供給する。
デコーダ３１１は、分離部３０１からの色画像C#1の符号化データを復号し、その結果得られる色画像C#1を出力する。
デコーダ３１２は、分離部３０１からの色画像C#2の符号化データを復号し、その結果得られる色画像C#2を出力する。
デコーダ３２１は、分離部３０１からの視差画像D#1の符号化データを復号し、その結果得られる視差画像D#1を出力する。
デコーダ３２２は、分離部３０１からの視差画像D#2の符号化データを復号し、その結果得られる視差画像D#2を出力する。
DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２それぞれで、復号対象の画像を復号することにより得られる復号後の画像（デコード画像）を、予測画像の生成時に参照する参照ピクチャの候補として一時記憶する。
すなわち、デコーダ３１１，３１２，３２１、及び、３２２は、それぞれ、図５のエンコーダ１１，１２，２１、及び、２２で予測符号化された画像を復号する。
予測符号化された画像を復号するには、その予測符号化で用いられた予測画像が必要であるため、デコーダ３１１，３１２，３２１、及び、３２２は、予測符号化で用いられた予測画像を生成するために、復号対象の画像を復号した後、予測画像の生成に用いる、復号後の画像を、DPB３３１に一時記憶させる。
DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２それぞれで得られる復号後の画像（デコード画像）を一時記憶する共用のバッファであり、デコーダ３１１，３１２，３２１、及び、３２２それぞれは、DPB３３１に記憶されたデコード画像から、復号対象の画像を復号するのに参照する参照ピクチャを選択し、その参照ピクチャを用いて、予測画像を生成する。
DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２で共用されるので、デコーダ３１１，３１２，３２１、及び、３２２それぞれは、自身で得られたデコード画像の他、他のデコーダで得られたデコード画像をも参照することができる。
［デコーダ３１１の構成例］
図２２は、図２１のデコーダ３１１の構成例を示すブロック図である。
なお、図２１のデコーダ３１２及び３２１も、デコーダ３１１と同様に構成され、例えば、MVC方式に従って、画像の符号化を行う。
図２２において、デコーダ３１１は、蓄積バッファ３４１、可変長復号部３４２、逆量子化部３４３、逆直交変換部３４４、演算部３４５、デブロッキングフィルタ３４６、画面並び替えバッファ３４７、D/A変換部３４８、画面内予測部３４９、インター予測部３５０、及び、予測画像選択部３５１を有する。
蓄積バッファ３４１には、分離部３０１（図２１）から、色画像C#1の符号化データが供給される。
蓄積バッファ３４１は、そこに供給される符号化データを一時記憶し、可変長復号部３４２に供給する。
可変長復号部３４２は、蓄積バッファ３４１からの符号化データを可変長復号することにより、量子化値やヘッダ情報を復元する。そして、可変長復号部３４２は、量子化値を、逆量子化部３４３に供給し、ヘッダ情報を、画面内予測部３４９、及び、インター予測部３５０に供給する。
逆量子化部３４３は、可変長復号部３４２からの量子化値を、変換係数に逆量子化し、逆直交変換部３４４に供給する。
逆直交変換部３４４は、逆量子化部３４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部３４５に供給する。
演算部３４５は、逆直交変換部３４４から供給されるマクロブロックを復号対象の対象ブロックとして、その対象ブロックに対して、必要に応じて、予測画像選択部３５１から供給される予測画像を加算することで、デコード画像を求め、デブロッキングフィルタ３４６に供給する。
デブロッキングフィルタ３４６は、演算部３４５からのデコード画像に対して、例えば、図９のデブロッキングフィルタ１２１と同様のフィルタリングを行い、そのフィルタリング後のデコード画像を、画面並び替えバッファ３４７に供給する。
画面並び替えバッファ３４７は、デブロッキングフィルタ３４６からのデコード画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、D/A(Digital/Analog)変換部３４８に供給する。
D/A変換部３４８は、画面並び替えバッファ３４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
また、デブロッキングフィルタ３４６は、フィルタリング後のデコード画像のうちの、参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像を、DPB３３１に供給する。
ここで、DPB３３１は、デブロッキングフィルタ３４６からのデコード画像のピクチャ、すなわち、色画像C#1のピクチャを、時間的に後に行われる復号に用いる予測画像を生成するときに参照する参照ピクチャ（の候補）として記憶する。
図２１で説明したように、DPB３３１は、デコーダ３１１，３１２，３２１、及び、３２２で共用されるので、デコーダ３１１において復号された色画像C#1のピクチャの他、デコーダ３１２において復号された色画像C#2のピクチャ、デコーダ３２１において復号された視差画像D#1のピクチャ、及び、デコーダ３２２において復号された視差画像D#2のピクチャも記憶する。
画面内予測部３４９は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックが、イントラ予測（画面内予測）で生成された予測画像を用いて符号化されているかどうかを認識する。
対象ブロックが、イントラ予測で生成された予測画像を用いて符号化されている場合、画面内予測部３４９は、図９の画面内予測部１２２と同様に、DPB３３１から、対象ブロックを含むピクチャ（対象ピクチャ）のうちの、既に復号されている部分（デコード画像）を読み出す。そして、画面内予測部３４９は、DPB３３１から読み出した、対象ピクチャのうちのデコード画像の一部を、対象ブロックの予測画像として、予測画像選択部３５１に供給する。
インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックが、インター予測で生成された予測画像を用いて符号化されているかどうかを認識する。
対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合、インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、予測用の参照インデクス、すなわち、対象ブロックの予測画像の生成に用いられた参照ピクチャに割り当てられている参照インデクスを認識する。
そして、インター予測部３５０は、DPB３３１に記憶されている参照ピクチャから、予測用の参照インデクスが割り当てられている参照ピクチャを、参照ピクチャとして読み出す。
さらに、インター予測部３５０は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックの予測画像の生成に用いられたずれベクトル（視差ベクトル、動きベクトル）を認識し、図９のインター予測部１２３と同様に、そのずれベクトルに従って、参照ピクチャのずれ補償（動き分のずれを補償する動き補償、又は、視差分のずれを補償する視差補償）を行うことで、予測画像を生成する。
すなわち、インター予測部３５０は、参照ピクチャの、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
そして、インター予測部３５０は、予測画像を、予測画像選択部３５１に供給する。
予測画像選択部３５１は、画面内予測部３４９から予測画像が供給される場合には、その予測画像を、インター予測部３５０から予測画像が供給される場合には、その予測画像を、それぞれ選択し、演算部３４５に供給する。
［デコーダ３２２の構成例］
図２３は、図２１のデコーダ３２２の構成例を示すブロック図である。
デコーダ３２２は、復号対象である視点#2の視差画像D#2の符号化データの復号を、MVC方式を利用して、すなわち、図１３のエンコーダ２２で行われるローカルデコードと同様にして行う。
図２３において、デコーダ３２２は、蓄積バッファ４４１、可変長復号部４４２、逆量子化部４４３、逆直交変換部４４４、演算部４４５、デブロッキングフィルタ４４６、画面並び替えバッファ４４７、D/A変換部４４８、画面内予測部４４９、予測画像選択部４５１、ワーピング部４６１、ワープドピクチャバッファ４６２、オクルージョン検出部４６３、及び、視差予測部４６４を有する。
蓄積バッファ４４１ないし画面内予測部４４９、及び、予測画像選択部４５１は、図２２の蓄積バッファ３４１ないし画面内予測部３４９、及び、予測画像選択部３５１と、それぞれ同様に構成されるので、その説明は、適宜省略する。
図２３において、DPB３３１には、デブロッキングフィルタ４４６から、デコード画像、すなわち、デコーダ３２２において復号された視差画像であるデコード視差画像D#2のピクチャが供給され、参照ピクチャとなりうる参照ピクチャとして記憶される。
また、DPB３３１には、図２１や図２２で説明したように、デコーダ３１１において復号された色画像C#1のピクチャ、デコーダ３１２において復号された色画像C#2のピクチャ、及び、デコーダ３２１において復号された視差画像（デコード視差画像）D#1のピクチャも供給されて記憶される。
但し、デコーダ３２２では、デブロッキングフィルタ４４６からのデコード視差画像D#2のピクチャの他、デコーダ３２１で得られるデコード視差画像D#1が、復号対象である視差画像D#2の復号に用いられるので、図２３では、デコーダ３２１で得られるデコード視差画像D#1が、DPB３３１に供給されることを示す矢印を、図示してある。
ワーピング部４６１には、可変長復号部４４２から、視差関連情報としての、撮影視差ベクトルd（視点#1の撮影視差ベクトルd1）の最大値dmax及び最小値dmin、基線長L、焦点距離f、並びに、位置情報が供給される。
ワーピング部４６１は、DPB３３１に記憶された、デコード視差画像D#1及びD#2のピクチャのうちの、デコード視差画像D#1のピクチャを取得する（読み出す）。
そして、ワーピング部４６１は、図１３のワーピング部２３１と同様に、視差関連情報を必要に応じて用いて、DPB３３１から取得したデコード視差画像D#1のピクチャをワーピングすることにより、そのデコード視差画像D#1のピクチャを視点#2で得られる画像（視差画像）に変換したワープド画像であるワープド視差画像D'#1のピクチャを生成する。
ワーピング部４６１は、デコード視差画像D#1のピクチャのワーピングによって、ワープド視差画像D'#1のピクチャを生成すると、そのワープド視差画像D'#1のピクチャを、ワープドピクチャバッファ４６２に供給する。
ワープドピクチャバッファ４６２は、ワーピング部４６１からのワープド視差画像D'#1のピクチャを、一時記憶する。
なお、本実施の形態では、DPB３３１とは別に、ワープド視差画像D'#1のピクチャを記憶するワープドピクチャバッファ４６２を設けてあるが、DPB３３１とワープドピクチャバッファ４６２とは、１つのバッファで兼用することが可能である。
オクルージョン検出部４６３は、図１３のオクルージョン検出部２３３と同様に、視差画像D#2のオクルージョン部分を検出し、そのオクルージョン部分のオクルージョン情報を、視差予測部４６４に供給する。
すなわち、オクルージョン検出部４６３は、図２で説明したように、ワープドピクチャバッファ４６２に記憶されたワープド視差画像D'#1のピクチャ（対象ピクチャと同一時刻のピクチャ）において、画素値がない部分（画素値なし部分）を検出する。
さらに、オクルージョン検出部４６３は、視差画像D#2の対象ピクチャの、画素値なし部分と同一位置の部分を、オクルージョン部分として検出する。
そして、オクルージョン検出部４６３は、視差画像D#2の対象ピクチャにおいて処理対象となりうる各ブロックについて、（視差がある）水平方向にスキャンすることにより、オクルージョン部分が開始している開始画素Sと終了している終了画素Eとを検出する。
オクルージョン検出部４６３は、対象ピクチャの各ブロックの開始画素S及び終了画素Eを検出すると、その開始画素S及び終了画素Eを、オクルージョン情報として、視差予測部４６４に供給する。
視差予測部４６４は、可変長復号部３４２からのヘッダ情報に基づき、対象ブロックが、視差予測（インター予測）で生成された予測画像を用いて符号化されているかどうかを認識する。
対象ブロックが、視差予測で生成された予測画像を用いて符号化されている場合、視差予測部４６４は、可変長復号部３４２からのヘッダ情報から、予測用の参照インデクス、すなわち、対象ブロックの予測画像の生成に用いられた参照ピクチャに割り当てられている参照インデクスを認識（取得）する。
そして、視差予測部４６４は、DPB３３１に記憶されている、対象ブロックの予測用の参照インデクスが割り当てられている参照ピクチャとしてのデコード視差画像D#1のピクチャを取得する。
また、視差予測部２３４は、図１３の視差予測部２３４と同様に、オクルージョン検出部４６３からのオクルージョン情報を必要に応じて用いて、対象ブロックの（計算視差ベクトルの）予測ベクトルを求める。そして、視差予測部２３４では、その予測ベクトルと、可変長復号部３４２からのヘッダ情報に含まれる残差ベクトルとを加算することで、対象ブロックの予測画像の生成に用いられたずれベクトルとしての計算視差ベクトルを復元する。
さらに、視差予測部４６４は、対象ブロックの計算視差ベクトルに従い、図１３の視差予測部２３４と同様に、その計算視差ベクトルに従って、視差予測を行うことで、予測画像を生成する。
すなわち、視差予測部４６４は、参照ピクチャであるデコード視差画像D#のピクチャの、対象ブロックの位置から、その対象ブロックの計算視差ベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
そして、視差予測部４６４は、予測画像を、予測画像選択部４５１に供給する。
なお、図２３においては、説明を簡単にするため、図１３のエンコーダ２２の場合と同様に、デコーダ３２２に、インター予測のうちの視差予測を行う視差予測部４６４を設けてあるが、図１３のエンコーダ２２が、視差予測の他、時間予測も行う場合には、デコーダ３２２でも、エンコーダ２２で行われるのと同様にして、視差予測、及び、時間予測（による予測画像の生成）が行われる。
図２４は、図２３の視差予測部４６４の構成例を示すブロック図である。
図２４において、視差予測部４６４は、予測ベクトル生成部４７１、及び、視差補償部４７２を有する。
予測ベクトル生成部４７１には、オクルージョン検出部４６３から、オクルージョン情報としての開始画素S及び終了画素Eが供給される。
予測ベクトル生成部４７１は、図１４の予測ベクトル生成部２４３と同様に、オクルージョン検出部４６３からのオクルージョン情報を必要に応じて用い、対象ブロックが、オクルージョンブロックであるかどうかによって異なるベクトル予測方式で、対象ブロックの予測ベクトル（最適インター予測モードの予測ベクトル）を生成する。
すなわち、予測ベクトル生成部４７１は、対象ブロックが、オクルージョンブロックである場合には、近接予測方式で、予測ベクトルを生成し、対象ブロックが、オクルージョンブロックでない場合には、MVC方式で、予測ベクトルを生成する。
そして、予測ベクトル生成部４７１は、対象ブロックの予測ベクトルを、視差補償部４７２に供給する。
なお、予測ベクトル生成部４７１において、近接予測方式で、予測ベクトルを生成する場合には、図１４の予測ベクトル生成部２４３の場合と同様に、デコーダ３２２での復号対象の視差画像D#2の視点#2が、参照ピクチャとなる視差画像D#1の視点#1の左側に位置するか、又は、右側に位置するかを認識する必要があるが、その認識は、可変長復号部４４２（図２３）からワーピング部４６１に供給される位置情報を用いて行われる。
視差補償部４７２には、予測ベクトル生成部４７１から対象ブロックの予測ベクトルが供給される他、可変長復号部４４２からのヘッダ情報に含まれる、対象ブロックのモード関連情報、残差ベクトル、及び、予測用の参照インデクスが供給される。
さらに、視差補償部４７２には、DPB３３１に記憶された参照ピクチャであるデコード視差画像D#1のピクチャが供給される。
視差補償部４７２は、可変長復号部４４２からの残差ベクトルと、予測ベクトル生成部４７１からの予測ベクトルとを加算することで、対象ブロックの計算視差ベクトルmvを復元する。
さらに、視差補償部４７２は、DPB３３１に記憶されたデコード視差画像D#1のピクチャのうちの、可変長復号部４４２からの予測用の参照インデクスが割り当てられているピクチャを、参照ピクチャとして、その参照ピクチャのずれ補償（視差補償）を、対象ブロックの計算視差ベクトルmvを用いて、MVC方式と同様にして行うことで、可変長復号部４４２からのモード関連情報が表すマクロブロックタイプについて、対象ブロックの予測画像を生成する。
すなわち、視差補償部４７２は、デコード視差画像D#1のピクチャの、対象ブロックの位置から、計算視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。
そして、視差補償部４７２は、予測画像を、予測画像選択部４５１に供給する。
図２５は、図２３のデコーダ３２２が行う、視点#2の視差画像D#2の符号化データを復号する復号処理を説明するフローチャートである。
ステップＳ１１１において、蓄積バッファ４４１は、そこに供給される視点#2の視差画像D#2の符号化データを記憶し、処理は、ステップＳ１１２に進む。
ステップＳ１１２では、可変長復号部４４２は、蓄積バッファ４４１に記憶された符号化データを読み出して可変長復号することにより、量子化値やヘッダ情報を復元する。そして、可変長復号部４４２は、量子化値を、逆量子化部４４３に供給し、ヘッダ情報を、画面内予測部４４９、及び、視差予測部４５０に供給して、処理は、ステップＳ１１３に進む。
ステップＳ１１３では、逆量子化部４４３は、可変長復号部４４２からの量子化値を、変換係数に逆量子化し、逆直交変換部４４４に供給して、処理は、ステップＳ１１４に進む。
ステップＳ１１４では、逆直交変換部４４４は、逆量子化部４４３からの変換係数を逆直交変換し、マクロブロック単位で、演算部４４５に供給して、処理は、ステップＳ１１５に進む。
ステップＳ１１５では、演算部４４５は、逆直交変換部４４４からのマクロブロックを復号対象の対象ブロックとして、その対象ブロック（残差画像）に対して、必要に応じて、予測画像選択部４５１から供給される予測画像を加算することで、デコード画像を求める。そして、演算部４４５は、デコード画像を、デブロッキングフィルタ４４６に供給し、処理は、ステップＳ１１５からステップＳ１１６に進む。
ステップＳ１１６では、デブロッキングフィルタ４４６は、演算部４４５からのデコード画像に対して、フィルタリングを行い、そのフィルタリング後のデコード画像（デコード視差画像D#2）を、DPB３３１、及び、画面並び替えバッファ４４７に供給して、処理は、ステップＳ１１７に進む。
ステップＳ１１７では、DPB３３１が、視差画像D#1を復号するデコーダ３２１から、デコード視差画像D#1が供給されるのを待って、そのデコード視差画像D#1を記憶し、処理は、ステップＳ１１８に進む。
ステップＳ１１８では、DPB３３１が、デブロッキングフィルタ４４６からのデコード視差画像D#2を記憶し、処理は、ステップＳ１１９に進む。
ステップＳ１１９では、ワーピング部４６１が、DPB３３１に記憶されたデコード視差画像D#1のピクチャをワーピングすることにより、ワープド視差画像D'#1のピクチャを生成し、ワープドピクチャバッファ４６２に供給して、処理は、ステップＳ１２０に進む。
ステップＳ１２０では、ワープドピクチャバッファ４６２が、ワーピング部４６１からのワープド視差画像D'#1のピクチャを記憶し、処理は、ステップＳ１２１に進む。
ステップＳ１２１では、オクルージョン検出部４６３が、ワープドピクチャバッファ４６２に記憶されたワープド視差画像D'#1のピクチャを用いて、視差画像D#2の対象ピクチャのオクルージョン部分を検出するオクルージョン検出処理を、図１６の場合と同様にして行う。
そして、オクルージョン検出部２３３は、オクルージョン検出処理によって得られるオクルージョン情報を、視差予測部４６４に供給して、処理は、ステップＳ１２１からステップＳ１２２に進む。
ステップＳ１２２では、画面内予測部４４９、及び、視差予測部４６４が、可変長復号部４４２から供給されるヘッダ情報に基づき、次の対象ブロック（次に復号対象となるマクロブロック）が、イントラ予測（画面内予測）、及び、視差予測（インター予測）のうちのいずれの予測方式で生成された予測画像を用いて符号化されているかを認識する。
そして、次の対象ブロックが、画面内予測で生成された予測画像を用いて符号化されている場合には、画面内予測部４４９が、イントラ予測処理（画面内予測処理）を行う。
すなわち、画面内予測部４４９は、次の対象ブロックについて、DPB３３１に記憶されたデコード視差画像D#2のピクチャから、予測画像（イントラ予測の予測画像）を生成するイントラ予測（画面内予測）を行い、その予測画像を、予測画像選択部４５１に供給して、処理は、ステップＳ１２２からステップＳ１２３に進む。
また、次の対象ブロックが、視差予測（インター予測）で生成された予測画像を用いて符号化されている場合には、視差予測部４６４が、視差予測処理（インター予測処理）を行う。
すなわち、視差予測部４６４は、次の対象ブロックについて、DPB３３１に記憶されたデコード視差画像D#1のピクチャ、可変長復号部４４２からのヘッダ情報に含まれるモード関連情報、予測用の参照インデクス、及び、残差ベクトル、並びに、オクルージョン検出部４６３からのオクルージョン情報を必要に応じて用いて、視差予測（視差補償）を行うことにより、予測画像を生成する。
そして、視差予測部４６４は、予測画像を、予測画像選択部４５１に供給して、処理は、ステップＳ１２２からステップＳ１２３に進む。
ステップＳ１２３では、予測画像選択部４５１は、画面内予測部４４９、及び、視差予測部４６４のうちの、予測画像が供給される方からの、その予測画像を選択し、演算部４４５に供給して、処理は、ステップＳ１２４に進む。
ここで、予測画像選択部４５１がステップＳ１２３で選択する予測画像が、次の対象ブロックの復号で行われるステップＳ１１５の処理で用いられる。
ステップＳ１２４では、画面並び替えバッファ４４７が、デブロッキングフィルタ４４６からのデコード視差画像D#2のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並びに並び替え、D/A変換部４４８に供給して、処理は、ステップＳ１２５に進む。
ステップＳ１２５では、D/A変換部３４８は、画面並び替えバッファ４４７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
デコーダ３２２では、以上のステップＳ１１１ないしＳ１２５の処理が、適宜繰り返し行われる。
図２６は、図２５のステップＳ１２２で、図２４の視差予測部４６４が行う視差予測処理を説明するフローチャートである。
ステップＳ１３１において、予測ベクトル生成部４７１は、オクルージョン検出部４６３から供給されるオクルージョン情報を必要に応じて用いて、（次の）対象ブロックの予測ベクトルを生成する予測ベクトル生成処理を、図１９や図２０で説明したようにして行う。
そして、予測ベクトル生成部４７１は、予測ベクトル生成処理によって得られた対象ブロックの予測ベクトルを、視差補償部４７２に供給し、処理は、ステップＳ１３１からステップＳ１３２に進む。
ステップＳ１３２では、視差予測部４６４は、可変長復号部４４２からのヘッダ情報に含まれる（次の）対象ブロックのモード関連情報、残差ベクトル、及び、予測用の参照インデクスを取得し、視差補償部４７２に供給して、処理は、ステップＳ１３２からステップＳ１３３に進む。
ステップＳ１３２において、視差補償部４７２は、DPB３３１から、予測用の参照インデクスが割り当てられているデコード視差画像D#1のピクチャ（対象ピクチャと同一時刻のピクチャ）を、参照ピクチャとして取得し、処理は、ステップＳ１３４に進む。
ステップＳ１３４では、視差補償部４７２は、可変長復号部４４２からのヘッダ情報に含まれる対象ブロックの残差ベクトルと、予測ベクトル生成部４７１からの予測ベクトルとを加算することにより、対象ブロックの計算視差ベクトルmvを復元し、処理は、ステップＳ１３５に進む。
ステップＳ１３５では、視差補償部４７２は、DPB３３１からの参照ピクチャであるデコード視差画像D#1のピクチャについて、対象ブロックの計算視差ベクトルmvに従ってMCを行うことにより、対象ブロックの予測画像を生成して、処理は、ステップＳ１３６に進む。
すなわち、視差補償部４７２は、デコード視差画像D#1のピクチャの、対象ブロックの位置から、計算視差ベクトルmvだけずれた位置のブロックである対応ブロックを、予測画像として取得する。
ステップＳ１３６では、視差補償部４７２は、予測画像を、予測画像選択部４５１に供給して、処理はリターンする。
［エンコーダ２２の他の構成例］
図２７は、図５のエンコーダ２２の他の構成例を示すブロック図である。
なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図２７のエンコーダ２２は、A/D変換部２１１ないし画面内予測部２２２、予測画像選択部２２４、ワーピング部２３１、ワープドピクチャバッファ２３２、及び、オクルージョン検出部２３３を有する点で、図１３の場合と共通する。
但し、図２７のエンコーダ２２は、視差予測部２３４に代えて、視差予測部５３４を有する点で、図１３の場合と相違する。
図１３の視差予測部２３４では、近接予測方式において、式（１）や式（２）で説明したように、対象ブロックB#iの左隣のオクルージョンブロックB#(i-1)の予測ベクトルPMV#(i-1)から、オクルージョンブロックの開始画素Sから終了画素Eまでの画素数E-S+1を減算することにより、対象ブロックB#iの予測ベクトルPMV#iとして、いわば、画素単位の精度のベクトルを求めたが、図２７の視差予測部５３４では、近接予測方式において、対象ブロックB#iの左隣のオクルージョンブロックB#(i-1)の予測ベクトルPMV#(i-1)から、オクルージョンブロックのx方向の画素数（以下、オクルージョンブロックの幅ともいう）を減算することにより、対象ブロックB#iの予測ベクトルPMV#iとして、いわば、オクルージョンブロックの幅単位の精度のベクトルが求められる。
さらに、視差予測部５３４は、対象ブロックの予測ベクトルを生成するベクトル予測方式を表すフラグである予測器フラグを出力する。
したがって、視差予測部５３４で求められる予測ベクトルの予測精度は、視差予測部２３４（図１３）で求められる予測ベクトルの予測精度より多少劣化するものの、デコーダ側では、予測器フラグを用いて、容易に（オクルージョン検出処理を行わずに）、予測ベクトルを生成することができる。
視差予測部５３４は、以上のように、近接予測方式の予測ベクトルとして、オクルージョンブロックの幅単位の精度のベクトルを生成すること、及び、予測ベクトルを生成するベクトル予測方式を表すフラグである予測器フラグを出力することを除き、図１３の視差予測部２３４と同様の処理を行う。
図２８は、図２７の視差予測部５３４の構成例を示すブロック図である。
図２８において、視差予測部５３４は、視差検出部５４１、視差補償部５４２、予測ベクトル生成部５４３、コスト関数算出部５４４、及び、モード選択部５４５を有する。
視差検出部５４１ないしモード選択部５４５のうちの、視差検出部５４１、視差補償部５４２、コスト関数算出部５４４、及び、モード選択部５４５は、予測器フラグを扱うことを除き、図１４の視差検出部２４１、視差補償部２４２、コスト関数算出部２４４、及び、モード選択部２４５と、それぞれ同様の処理を行う。
予測ベクトル生成部５４３は、近接予測方式の予測ベクトルとして、オクルージョンブロックの幅単位の精度のベクトルを生成すること、及び、予測器フラグを扱うことを除き、図１４の予測ベクトル生成部２４３と同様の処理を行う。
すなわち、視差検出部５４１には、DPB３１に記憶された参照ピクチャであるデコード視差画像D#1のピクチャが供給されるとともに、画面並び替えバッファ２１２から、符号化対象の視差画像D#2のピクチャ（対象ピクチャ）が供給される。
視差検出部５４１は、画面並び替えバッファ２１２からの対象ピクチャにおける対象ブロックについて、MVC方式と同様に、デコード視差画像D#1のピクチャを参照ピクチャとして用いたMEを行うことにより、対象ブロックの計算視差ベクトルmvを、マクロブロックタイプごとに検出する。
さらに、視差検出部５４１は、対象ブロックの計算視差ベクトルmvと、予測ベクトル生成部５４３から供給される予測ベクトル情報から得られる予測ベクトルとの差分である残差ベクトルを求める。
ここで、予測ベクトル生成部５４３から視差検出部５４１に供給される予測ベクトル情報には、予測ベクトルと、その予測ベクトルのベクトル予測方式（ここでは、MVC方式、又は、近接予測方式）を表す予測器フラグとが含まれる。
視差検出部５４１は、残差ベクトルを、その残差ベクトルを求めるのに用いた予測ベクトルのベクトル予測方式を表す、予測ベクトル情報に含まれる予測器フラグとともに、視差補償部５４２に供給する。
視差補償部５４２には、視差検出部５４１から、計算視差ベクトルmvの残差ベクトル及び予測器フラグが供給される他、DPB３１に記憶された参照ピクチャであるデコード視差画像D#1のピクチャが供給される。
さらに、視差補償部５４２には、予測ベクトル生成部５４３から予測ベクトル情報が供給される。
視差補償部５４２は、視差検出部５４１からの残差ベクトルと、予測ベクトル生成部５４３からの予測ベクトル情報とから、対象ブロックの計算視差ベクトルmvを復元する。
さらに、視差補償部５４２は、DPB３１からのデコード視差画像D#1のピクチャを、参照ピクチャとして、その参照ピクチャのずれ補償（視差補償）を、対象ブロックの計算視差ベクトルmvを用いて、MVC方式と同様にして行うことで、対象ブロックの予測画像を、マクロブロックタイプごとに生成する。
そして、視差補償部５４２は、予測画像を、視差検出部５４１からの残差ベクトル、予測器フラグ、及び、予測画像を生成するのに用いた参照ピクチャ（ここでは、デコード視差画像D#1のピクチャ）に割り当てられている参照インデクスとともに、コスト関数算出部５４４に供給する。
予測ベクトル生成部５４３には、オクルージョン検出部２３３から、オクルージョン情報としての開始画素S及び終了画素Eが供給される。
予測ベクトル生成部５４３は、オクルージョン検出部２３３からのオクルージョン情報を用いて、対象ブロックが、オクルージョンブロックであるかどうかを判定する。
そして、予測ベクトル生成部５４３は、対象ブロックが、オクルージョンブロックである場合、図２ないし図４で説明した近接予測方式で、対象ブロックの予測ベクトルを生成する。
また、予測ベクトル生成部５４３は、対象ブロックが、オクルージョンブロックでない場合（非オクルージョンブロックである場合）、図１１及び図１２で説明したMVC方式で、対象ブロックの予測ベクトルを生成する。
なお、予測ベクトル生成部５４３は、近接予測方式の予測ベクトルを生成する場合には、オクルージョンブロックの幅単位の精度のベクトルを生成する。
予測ベクトル生成部５４３は、各マクロブロックタイプ（図１０）について、予測ベクトルを生成し、その予測ベクトルのベクトル予測方式を表す予測器フラグとともに、予測ベクトル情報として、視差検出部５４１、視差補償部５４２、及び、コスト関数算出部５４４に供給する。
コスト関数算出部５４４には、視差補償部５４２から、予測画像、残差ベクトル、予測器フラグ、及び、参照インデクスが供給されるとともに、予測ベクトル生成部５４３から、予測ベクトル情報が供給される他、画面並び替え部バッファ２１２から、視差画像D#2の対象ピクチャが供給される。
コスト関数算出部５４４は、マクロブロックタイプ（図１０）ごとに、画面並び替えバッファ２１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、例えば、図１４のコスト関数算出部２４４で用いられるのと同様のコスト関数に従って求める。
コスト関数算出部５４４は、マクロブロックタイプごとの符号化コスト（コスト関数値）を求めると、符号化コストを、参照インデクス、予測画像、残差ベクトル、及び、予測器フラグとともに、モード選択部５４５に供給する。
モード選択部５４５は、コスト関数算出部５４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
さらに、モード選択部５４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択する。
そして、モード選択部５４５は、最適インター予測モードを表すモード関連情報、並びに、最適インター予測モードの参照インデクス（予測用の参照インデクス）、残差ベクトル、及び、予測器フラグ等を、ヘッダ情報として、可変長符号化部２１６に供給する。
さらに、モード選択部５４５は、最適インター予測モードの予測画像と符号化コスト（最小コスト）を、予測画像選択部２２４に供給する。
ここで、上述の場合には、予測器フラグは、可変長符号化部２１６において、符号化データのヘッダに含められることとなるが、予測器フラグは、符号化データのヘッダに含める他、符号化データとは、別に提供（送信）することが可能である。
図２７のエンコーダ２２では、図１５で説明したのと同様の符号化処理が行われる。但し、図１５のステップＳ２６では、視差予測部５３４が、図１３の視差予測部２３４に代わって、視差予測処理を行う。
図２９は、図１５のステップＳ２６で、図２８の視差予測部５３４が行う視差予測処理を説明するフローチャートである。
ステップＳ２４１において、予測ベクトル生成部５４３は、オクルージョン検出部２３３から供給されるオクルージョン情報を必要に応じて用いて、各マクロブロックタイプ（図１０）について、（次の）対象ブロックの予測ベクトルを、MVC方式、又は、近接予測方式で生成する予測ベクトル生成処理を行う。
但し、予測ベクトル生成部５４３は、近接予測方式では、オクルージョンブロックの幅単位の精度の予測ベクトルを求める。
そして、予測ベクトル生成部５４３は、予測ベクトル生成処理によって得られた対象ブロックの予測ベクトルと、その予測ベクトルのベクトル予測方式を表す予測器フラグとを、予測ベクトル情報として、視差検出部５４１、視差補償部５４２、及び、コスト関数算出部５４４に供給し、処理は、ステップＳ２４１からステップＳ２４２に進む。
ステップＳ２４２において、視差予測部５３４は、DPB３１から、参照ピクチャであるデコード視差画像D#1のピクチャを取得し、視差検出部５４１、及び、視差補償部５４２に供給して、処理は、ステップＳ２４３に進む。
ステップＳ２４３では、視差検出部５４１は、画面並び替えバッファ２１２から供給される対象ピクチャにおける（次の）対象ブロックについて、DPB３１からのデコード視差画像D#1のピクチャを参照ピクチャとして用いてMEを行うことにより、対象ブロックの、視点#1に対する視差を表す計算視差ベクトルmvを検出する。
さらに、視差検出部５４１は、対象ブロックの計算視差ベクトルmvと、予測ベクトル生成部５４３から供給される予測ベクトル情報から得られる予測ベクトルとの差分である残差ベクトルを求め、その残差ベクトルを求めるのに用いた予測ベクトルの予測器フラグとともに、視差補償部５４２に供給し、処理は、ステップＳ２４３からステップＳ２４４に進む。
ステップＳ２４４では、視差補償部５４２は、視差検出部５４１からの残差ベクトルと、予測ベクトル生成部５４３からの予測ベクトル情報とから、対象ブロックの計算視差ベクトルmvを復元する。
さらに、視差補償部５４２は、DPB３１からのデコード視差画像D#1のピクチャを、参照ピクチャとして、対象ブロックの計算視差ベクトルmvに従ってMCを行うことにより、（次の）対象ブロックの予測画像を生成する。
そして、視差補償部５４２は、予測画像を、視差検出部５４１からの残差ベクトル、及び、予測器フラグ、並びに、予測画像を生成するのに用いた参照ピクチャ（ここでは、デコード視差画像D#1のピクチャ）に割り当てられている参照インデクスとともに、コスト関数算出部５４４に供給して、処理は、ステップＳ２４４からステップＳ２４５に進む。
ステップＳ２４５では、コスト関数算出部５４４は、マクロブロックタイプ（図１０）ごとに、画面並び替えバッファ２１２からの対象ピクチャの対象ブロックの符号化に要する符号化コストを、所定のコスト関数に従って求め、視差補償部５４２からの参照インデクス、予測画像、残差ベクトル、及び、予測器フラグとともに、モード選択部５４５に供給して、処理は、ステップＳ２４６に進む。
ステップＳ２４６では、モード選択部５４５は、コスト関数算出部５４４からのマクロブロックタイプごとの符号化コストの中から、最小値である最小コストを検出する。
さらに、モード選択部５４５は、最小コストが得られたマクロブロックタイプを、最適インター予測モードに選択して、処理は、ステップＳ２４６からステップＳ２４７に進む。
ステップＳ２４７では、モード選択部５４５は、最適インター予測モードの予測画像と符号化コスト（最小コスト）を、予測画像選択部２２４に供給して、処理は、ステップＳ２４８に進む。
ステップＳ２４８では、モード選択部５４５は、最適インター予測モードを表すモード関連情報、並びに、最適インター予測モードの参照インデクス（予測用の参照インデクス）、残差ベクトル、及び、予測器フラグを、ヘッダ情報として、可変長符号化部２１６に供給して、処理はリターンする。
図３０は、図２９のステップＳ２４１で予測ベクトル生成部５４３（図２８）が行う予測ベクトル生成処理を説明するフローチャートである。
なお、図３０は、図１９の場合と同様に、視点#1が右側に位置し、視点#2が左側に位置しており、視点#2の視差画像D#2において、前景の左側の接する背景の部分が、オクルージョン部分になっている場合、つまり、オクルージョン部分の左側が、背景であり、右側が、前景である場合（図３）の、予測ベクトル生成処理を示している。
予測ベクトル生成部５４３において、エンコーダ２２（図２７）での符号化対象の視差画像D#2の視点#2が、参照ピクチャとなる視差画像D#1の視点#1の左側に位置するかどうかは、ワーピング部２３１（図２７）に供給される位置情報から認識される。
予測ベクトル生成部５４３は、視点#2が、視点#1の左側に位置する場合に、図３０のフローチャートに従った予測ベクトル生成処理を行う。
ステップＳ２６１において、予測ベクトル生成部５４３は、図１９のステップＳ６１と同様に、オクルージョン検出部２３３からオクルージョン情報としての、対象ピクチャの各ブロックの開始画素Sと終了画素Eを取得して、処理は、ステップＳ２６２に進む。
ステップＳ２６２では、予測ベクトル生成部５４３は、図１９のステップＳ６２と同様に、オクルージョン検出部２３３からのオクルージョン情報に基づいて、対象ブロックが、オクルージョンブロックであるかどうかを判定する。
ステップＳ２６２において、対象ブロックが、オクルージョンブロックでないと判定された場合、すなわち、対象ブロックが、非オクルージョンブロックである場合、処理は、ステップＳ２６３に進み、予測ベクトル生成部５４３は、MVC方式で、対象ブロックの予測ベクトルPMVを生成して、処理は、ステップＳ２６４に進む。
ステップＳ２６４では、予測ベクトル生成部５４３は、予測ベクトルPMVが、MVC方式の予測ベクトルであることを表す値「MVC方式」を、予測器フラグに設定し、処理はリターンする。
また、ステップＳ２６２において、対象ブロックが、オクルージョンブロックであると判定された場合、処理は、ステップＳ２６５に進み、以下、予測ベクトル生成部５４３では、オクルージョンブロックである対象ブロックの予測ベクトルPMVが、近接予測方式で生成される。
すなわち、ステップＳ２６５では、予測ベクトル生成部５４３は、オクルージョン情報に基づき、オクルージョンブロックである対象ブロックの左隣のブロック（符号化済みのブロック）が、非オクルージョンブロックであるかどうかを判定する。
ステップＳ２６５において、対象ブロックの左隣のブロックが、非オクルージョンブロックであると判定された場合、すなわち、対象ピクチャの、対象ブロックの段（スライス）を、x方向にスキャンしたときに、対象ブロックから、オクルージョン部分が開始している場合、処理は、ステップＳ２６６に進み、予測ベクトル生成部５４３は、オクルージョンブロックの幅（オクルージョンブロックのx方向の画素数）BK_SIZE_Xを用い、式PMV＝(-BK_SIZE_X,0)に従って、対象ブロックの予測ベクトルPMVとしての、オクルージョンブロックの幅単位の精度の予測ベクトルを求め（生成し）、処理は、ステップＳ２６７に進む。
ここで、図１９のステップＳ６５では、対象ブロックの開始画素S及び終了画素Eを用い、式PMV＝(-(E-S+1),0)に従って、画素単位の精度の予測ベクトルPMVが求められるが、ステップＳ２６６では、対象ブロックの開始画素S及び終了画素Eに代えて、オクルージョンブロックの幅BK_SIZE_Xを用いて、オクルージョンブロックの幅単位の精度の予測ベクトルPMVが求められる。
ステップＳ２６７では、予測ベクトル生成部５４３は、予測ベクトルPMVが、近接予測方式の予測ベクトルであることを表す値「近接予測方式」を、予測器フラグに設定し、処理はリターンする。
また、ステップＳ２６５において、対象ブロックの左隣のブロックが、非オクルージョンブロックでないと判定された場合、すなわち、対象ブロックの左隣のブロックが、オクルージョンブロックである場合、処理は、ステップＳ２６８に進み、予測ベクトル生成部５４３は、式（１）の対象ブロックの開始画素S及び終了画素Eに代えて、オクルージョンブロックの幅BK_SIZE_Xを用いるとともに、対象ブロックの左隣のブロック（オクルージョンブロック）の、既に求められている予測ベクトルPMVL＝(PMVLx,PMVLy)のx成分を用い、式PMV＝(PMVLx-BK_SIZE_X,0)に従って、対象ブロックの予測ベクトルPMVとしての、オクルージョンブロックの幅単位の精度の予測ベクトルを求め、処理は、ステップＳ２６７に進む。
ステップＳ２６７では、予測ベクトル生成部５４３は、上述したように、予測器フラグに、値「近接予測方式」を設定し、処理はリターンする。
なお、ステップＳ２６８では、式PMV＝(PMVLx-BK_SIZE_X,0)の他、例えば、式PMV＝(PMVLx-BK_SIZE_X,PMVLy)に従って、対象ブロックの予測ベクトルを求めることができる。
図３１は、図２９のステップＳ２４１で予測ベクトル生成部５４３（図２８）が行う予測ベクトル生成処理を説明するフローチャートである。
なお、図３１は、図２０の場合と同様に、視点#1が左側に位置し、視点#2が右側に位置しており、視点#2の視差画像D#2において、前景の右側の接する背景の部分が、オクルージョン部分になっている場合、つまり、オクルージョン部分の右側が、背景であり、左側が、前景である場合（図４）の、予測ベクトル生成処理を示している。
予測ベクトル生成部５４３において、エンコーダ２２（図２７）での符号化対象の視差画像D#2の視点#2が、参照ピクチャとなる視差画像D#1の視点#1の右側に位置するかどうかは、ワーピング部２３１に供給される位置情報から認識される。
予測ベクトル生成部５４３は、視点#2が、視点#1の右側に位置する場合に、図３１のフローチャートに従った予測ベクトル生成処理を行う。
ステップＳ２７１ないしステップＳ２７５において、予測ベクトル生成部５４３は、図３０のステップＳ２６１ないしＳ２６５とそれぞれ同様の処理を行う。
そして、ステップＳ２７５において、対象ブロックの左隣のブロックが、非オクルージョンブロックであると判定された場合、すなわち、対象ピクチャの、対象ブロックの段（スライス）を、x方向にスキャンしたときに、対象ブロックから、オクルージョン部分が開始している場合、処理は、ステップＳ２７６に進み、予測ベクトル生成部５４３は、オクルージョン情報から、対象ブロックを先頭として、x方向に連続して並ぶオクルージョンブロックの数Nを認識（検出）し、処理は、ステップＳ２７７に進む。
ここで、対象ブロックを先頭として、x方向に連続して並ぶオクルージョンブロックの先頭からi番目のブロックを、B#iと表すこととすると、対象ブロックを先頭とする、x方向に連続して並ぶオクルージョンブロック先頭のブロック（対象ブロック）は、B#1で表され、最後のブロックは、B#Nで表される。
ステップＳ２７７では、予測ベクトル生成部５４３は、対象ブロックを先頭とする、x方向に連続して並ぶオクルージョンブロックであるN個のブロックB#1ないしB#Nそれぞれの幅BK_SIZE_Xの総和N×BK_SIZE_Xを用い、式PMV#1＝(N×BK_SIZE_X,0)に従って、対象ブロックB#1の予測ベクトルPMV#1を求め、処理は、ステップＳ２７８に進む。
ここで、図２０のステップＳ７６では、オクルージョンブロックの開始画素S及び終了画素Eを用い、画素単位の精度の予測ベクトルPMV#1が求められるが、ステップＳ２７７では、開始画素S及び終了画素Eに代えて、オクルージョンブロックの幅BK_SIZE_Xを用いて、オクルージョンブロックの幅単位の精度の予測ベクトルPMV#1が求められる。
ステップＳ２７８では、予測ベクトル生成部５４３は、図３０のステップＳ２６７と同様に、予測器フラグに、値「近接予測方式」を設定し、処理はリターンする。
また、ステップＳ２７５において、対象ブロックの左隣のブロックが、非オクルージョンブロックでないと判定された場合、すなわち、対象ブロックの左隣のブロックが、オクルージョンブロックである場合、処理は、ステップＳ２７９に進み、予測ベクトル生成部５４３は、式（２）の対象ブロックB#iの左隣のブロックB#(i-1)の開始画素S#(i-1)及び終了画素E#(i-1)に代えて、オクルージョンブロックの幅BK_SIZE_Xを用いるとともに、対象ブロックの左隣のブロック（オクルージョンブロック）の、既に求められている予測ベクトルPMV#(i-1)を用い、式PMV#i＝PMV#(i-1)−(BK_SIZE_X,0)に従って、対象ブロックの予測ベクトルPMV#iとしての、オクルージョンブロックの幅単位の精度の予測ベクトルを求め、処理は、ステップＳ２７８に進む。
ステップＳ２７８では、上述したように、予測ベクトル生成部５４３は、予測器フラグに、値「近接予測方式」を設定し、処理はリターンする。
［デコーダ３２２の他の構成例］
図３２は、図２１のデコーダ３２２の他の構成例を示すブロック図である。
すなわち、図３２は、エンコーダ２２が図２７に示したように構成される場合のデコーダ３２２の構成例を示している。
図３２において、図２３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図３２のデコーダ３２２は、蓄積バッファ４４１、可変長復号部４４２、逆量子化部４４３、逆直交変換部４４４、演算部４４５、デブロッキングフィルタ４４６、画面並び替えバッファ４４７、D/A変換部４４８、画面内予測部４４９、及び、予測画像選択部４５１を有する点で、図２３の場合と共通する。
但し、図３２のデコーダ３２２は、ワーピング部４６１、ワープドピクチャバッファ４６２、及び、オクルージョン検出部４６３が設けられておらず、視差予測部４６４に代えて、視差予測部６６４が設けられている点で、図２３の場合と相違する。
図２３の視差予測部４６４では、図１３の視差予測部２３４と同様にして、MVC方式の予測ベクトル、又は、近接予測方式の予測ベクトルを求めるとともに、近接予測方式の予測ベクトルとして、画素単位の精度のベクトルを求めるが、図３２の視差予測部６６４では、予測器フラグに基づいて、MVC方式の予測ベクトル、又は、近接予測方式の予測ベクトルが求められるとともに、近接予測方式の予測ベクトルとして、オクルージョンブロックの幅単位の精度のベクトルが求められる。
なお、視差予測部６６４は、その他については、図２３の視差予測部４６４と同様の処理を行う。
図３３は、図３２の視差予測部６６４の構成例を示すブロック図である。
図３３において、視差予測部６６４は、予測ベクトル生成部７７１、及び、視差補償部４７２を有する。
したがって、視差予測部６６４は、視差補償部４７２を有する点で、図２４の視差予測部４６４と共通し、予測ベクトル生成部４７１に代えて、予測ベクトル生成部７７１が設けられている点で、図２４の視差予測部４６４と異なる。
予測ベクトル生成部７７１には、可変長復号部４４２から、ヘッダ情報に含まれる予測器フラグが供給される。
予測ベクトル生成部７７１は、予測器フラグに基づいて、MVC方式、又は、近接予測方式で、予測ベクトルを生成し、視差補償部４７２に供給する。
なお、予測ベクトル生成部７７１において、近接予測方式で、予測ベクトルを生成する場合には、図２８の予測ベクトル生成部５４３の場合と同様に、デコーダ３２２での復号対象の視差画像D#2の視点#2が、参照ピクチャとなる視差画像D#1の視点#1の左側に位置するか、又は、右側に位置するかを認識する必要がある。予測ベクトル生成部７７１において、復号対象の視差画像D#2の視点#2が、参照ピクチャとなる視差画像D#1の視点#1の左側に位置するか、又は、右側に位置するかは、可変長復号部４４２（図３２）で得られるヘッダ情報に含まれる位置情報に基づいて認識される。
図３４は、図３２のデコーダ３２２が行う、視点#2の視差画像D#2の符号化データを復号する復号処理を説明するフローチャートである。
デコーダ３２２では、ステップＳ３１１ないしＳ３１８において、図２５のステップＳ１１１ないしＳ１１８と、それぞれ同様の処理が行われる。
そして、デコーダ３２２では、図２５のステップＳ１１９ないしＳ１２１の処理（に相当する処理）は行われず、ステップＳ３１９ないしＳ３２２において、図２５のステップＳ１２２ないしＳ１２５と、それぞれ同様の処理が行われる。
但し、ステップＳ３１９において、視差予測処理（インター予測処理）は、視差予測部６６４（図３３）が、視差予測部４６４（図２４）に代わって行う。
図３５は、図３４のステップＳ３１９で、図３３の視差予測部６６４が行う視差予測処理を説明するフローチャートである。
ステップＳ３３１において、視差予測部６６４は、可変長復号部４４２から、予測器フラグを取得し、予測ベクトル生成部７７１に供給して、処理は、ステップＳ３３２に進む。
ステップＳ３３２では、予測ベクトル生成部７７１は、予測器フラグに基づいて、MVC方式、又は、近接予測方式で、（次の）対象ブロックの予測ベクトルを生成する予測ベクトル生成処理を、図２８の予測ベクトル生成部５４３と同様にして行う。
そして、予測ベクトル生成部７７１は、予測ベクトル生成処理によって得られた対象ブロックの予測ベクトルを、視差補償部４７２に供給し、処理は、ステップＳ３３２からステップＳ３３３に進む。
以下、ステップＳ３３３ないしＳ３３７では、図２６のステップＳ１３２ないしＳ１３６と、それぞれ同様の処理が行われる。
図３６、及び、図３７は、図３５のステップＳ３３２で予測ベクトル生成部７７１（図３３）が行う予測ベクトル生成処理を説明するフローチャートである。
図３６は、図１９や図３０の場合と同様に、視点#1が右側に位置し、視点#2が左側に位置しており、視点#2の視差画像D#2において、前景の左側の接する背景の部分が、オクルージョン部分になっている場合、つまり、オクルージョン部分の左側が、背景であり、右側が、前景である場合（図３）の、図３５のステップＳ３３２の予測ベクトル生成処理を示している。
なお、予測ベクトル生成部７７１において、復号対象の視差画像D#2の視点#2が、参照ピクチャとなる視差画像D#1の視点#1の左側に位置するか、又は、右側に位置するかは、可変長復号部４４２（図３２）で得られるヘッダ情報に含まれる位置情報に基づいて認識される。
ステップＳ４１１において、予測ベクトル生成部７７１は、対象ブロックの予測器フラグに、値「MVC方式」、及び、値「近接予測方式」のうちのいずれが設定されているかを判定する。
ステップＳ４１１において、対象ブロックの予測器フラグに、値「MVC方式」が設定されていると判定された場合、すなわち、対象ブロックが非オクルージョンブロックである場合、処理は、ステップＳ４１２に進み、予測ベクトル生成部７７１は、MVC方式で、対象ブロックの予測ベクトルPMVを生成し、処理はリターンする。
また、ステップＳ４１１において、対象ブロックの予測器フラグに、値「近接予測方式」が設定されていると判定された場合、すなわち、対象ブロックがオクルージョンブロックである場合、処理は、ステップＳ４１３に進み、予測ベクトル生成部７７１は、オクルージョンブロックである対象ブロックの左隣のブロック（復号済みのブロック）の予測器フラグに、値「MVC方式」、及び、値「近接予測方式」のうちのいずれが設定されているかを判定する。
ステップＳ４１３において、対象ブロックの左隣のブロックの予測器フラグに、値「MVC方式」が設定されていると判定された場合、すなわち、対象ブロックの左隣のブロックが、非オクルージョンブロックであり、したがって、対象ピクチャの、対象ブロックの段（スライス）を、x方向にスキャンしたときに、対象ブロックから、オクルージョン部分が開始している場合、処理は、ステップＳ４１４に進み、予測ベクトル生成部７７１は、図３０のステップＳ２６６と同様に、オクルージョンブロックの幅（オクルージョンブロックのx方向の画素数）BK_SIZE_Xを用い、式PMV＝(-BK_SIZE_X,0)に従って、対象ブロックの予測ベクトルPMVとしての、オクルージョンブロックの幅単位の精度の予測ベクトルを求め（生成し）、処理はリターンする。
また、ステップＳ４１３において、対象ブロックの左隣のブロックの予測器フラグに、値「近接予測方式」が設定されていると判定された場合、すなわち、対象ブロックの左隣のブロックが、オクルージョンブロックである場合、処理は、ステップＳ４１５に進み、予測ベクトル生成部７７１は、図３０のステップＳ２６８と同様に、オクルージョンブロックの幅BK_SIZE_Xと、対象ブロックの左隣のブロック（オクルージョンブロック）の、既に求められている予測ベクトルPMVL＝(PMVLx,PMVLy)のx成分を用い、式PMV＝(PMVLx-BK_SIZE_X,0)に従って、対象ブロックの予測ベクトルPMVとしての、オクルージョンブロックの幅単位の精度の予測ベクトルを求め、処理はリターンする。
図３７は、図２０や図３１の場合と同様に、視点#1が左側に位置し、視点#2が右側に位置しており、視点#2の視差画像D#2において、前景の右側の接する背景の部分が、オクルージョン部分になっている場合、つまり、オクルージョン部分の右側が、背景であり、左側が、前景である場合の、図３５のステップＳ３３２の予測ベクトル生成処理を示している。
図３７では、ステップＳ４２１ないしＳ４２３において、図３６のステップＳ４１１ないしＳ４１３と、それぞれ同様の処理が行われる。
そして、ステップＳ４２３において、対象ブロックの左隣のブロックの予測器フラグに、値「MVC方式」が設定されていると判定された場合、すなわち、対象ブロックの左隣のブロックが、非オクルージョンブロックであり、したがって、対象ピクチャの、対象ブロックの段（スライス）を、x方向にスキャンしたときに、対象ブロックから、オクルージョン部分が開始している場合、処理は、ステップＳ４２４に進み、予測ベクトル生成部７７１は、ステップＳ４２４及びＳ４２５において、図３１のステップＳ２７６及びＳ２７７と同様にして、近接予測方式の予測ベクトルを生成する。
すなわち、ステップＳ４２４において、予測ベクトル生成部７７１は、予測器フラグに基づいて、対象ブロックを先頭として、x方向に連続して並ぶオクルージョンブロック（予測器フラグに、値「近接予測方式」が設定されているブロック）の数Nを認識し、処理は、ステップＳ４２５に進む。
ここで、対象ブロックを先頭として、x方向に連続して並ぶオクルージョンブロックの先頭からi番目のブロックを、B#iと表すこととすると、対象ブロックを先頭とする、x方向に連続して並ぶオクルージョンブロック先頭のブロック（対象ブロック）は、B#1で表され、最後のブロックは、B#Nで表される。
ステップＳ４２５では、予測ベクトル生成部７７１は、対象ブロックを先頭とする、x方向に連続して並ぶオクルージョンブロックであるN個のブロックB#1ないしB#Nそれぞれの幅BK_SIZE_Xの総和N×BK_SIZE_Xを用い、式PMV#1＝(N×BK_SIZE_X,0)に従って、対象ブロックB#1の予測ベクトルPMV#1としての、オクルージョンブロックの幅単位の精度の予測ベクトルを求め、処理はリターンする。
また、ステップＳ４２３において、対象ブロックの左隣のブロックの予測器フラグに、値「近接予測方式」が設定されていると判定された場合、すなわち、対象ブロックの左隣のブロックが、オクルージョンブロックである場合、処理は、ステップＳ４２６に進み、予測ベクトル生成部７７１は、オクルージョンブロックの幅BK_SIZE_Xと、対象ブロックの左隣のブロック（オクルージョンブロック）の、既に求められている予測ベクトルPMV#(i-1)を用い、式PMV#i＝PMV#(i-1)−(BK_SIZE_X,0)に従って、対象ブロックの予測ベクトルPMV#iとしての、オクルージョンブロックの幅単位の精度の予測ベクトルを求め、処理はリターンする。
以上のように、図３２のデコーダ３２２では、視差予測部６６４（図３３）において、予測器フラグに基づいて、容易に（オクルージョン検出処理を行わずに）、予測精度の良い予測ベクトルを生成することができる。
なお、図３２のデコーダ３２２では、図２７のエンコーダ２２と同様に、ワープド視差画像D'#1を生成し、そのワープド視差画像D'#1から、オクルージョン情報を求め、そのオクルージョン情報に基づき、図２８の予測ベクトル生成部５４３と同様にして（予測器フラグを用いずに）、予測ベクトルを生成することが可能である。
図３８ないし図４０は、ヘッダ情報に含められる予測器フラグの例を示す図である。
図２８で説明したように、モード選択部５４５において、予想器フラグは、ヘッダ情報に含められて、可変長符号化部２１６に供給される。
可変長符号化部２１６では、ヘッダ情報が、符号化データのヘッダに含められる。
図３８ないし図４０は、符号化データがMVC(AVC)方式の符号化データである場合に、そのヘッダに含められる予測器フラグを示している。
ここで、予測器フラグは、マクロブロックを最小単位として設定することができる。
また、予測器フラグは、対象ブロックを８×８画素のパーティション以上のサイズに分割するマクロブロックタイプ（8×8以上タイプ）、すなわち、対象ブロックを８×８画素のパーティションに分割するマクロブロックタイプ（8×8タイプ）や、対象ブロックを１６×８画素のパーティションに分割するマクロブロックタイプ（16×8タイプ）、対象ブロックを８×１６画素のパーティションに分割するマクロブロックタイプ（8×16タイプ）のパーティションを最小単位として設定することができる。
さらに、予測器フラグは、対象ブロックを８×８画素のパーティションより小さいサイズのパーティション、すなわち、８×４画素、４×８画素、又は４×４画素のサブパーティションに分割するマクロブロックタイプ（8×8未満タイプ）のパーティション（サブパーティション）を最小単位として設定することができる。
図３８は、マクロブロックを最小単位として設定される予測器フラグを示す図である。
すなわち、図３８は、MVC方式のmb_pred(mb_type)のシンタクスを示している。
予測器フラグを、マクロブロックを最小単位として設定する場合、予測器フラグは、mb_pred(mb_type)に含められる。
図３８において、mv_pred_mode_l0及びmv_pred_mode_l1が、予測器フラグを示している。
また、図３８において、mv_pred_mode_l0は、L0予測が行われる場合に使用される予測器フラグであり、mv_pred_mode_l1は、L1予測が行われる場合に使用される予測器フラグである。
図３９は、8×8以上タイプのパーティションを最小単位として設定される予測器フラグを示す図である。
すなわち、図３９は、MVC方式のmb_pred(mb_type)の一部のシンタクスを示している。
予測器フラグを、8×8以上タイプのパーティションを最小単位として設定する場合、予測器フラグは、mb_pred(mb_type)に含められる。
図３９において、mv_pred_mode_l0[mbPartIdx]及びmv_pred_mode_l1[mbPartIdx]が、予測器フラグを示している。
また、図３９において、mv_pred_mode_l0[mbPartIdx]は、L0予測が行われる場合に使用される予測器フラグであり、mv_pred_mode_l1[mbPartIdx]は、L1予測が行われる場合に使用される予測器フラグである。
なお、予測器フラグmv_pred_mode_l0[mbPartIdx]及びmv_pred_mode_l1[mbPartIdx]の引数mbPartIdxは、8×8以上タイプの各パーティションを区別するためのインデクスである。
図４０は、8×8未満タイプのパーティションを最小単位として設定される予測器フラグを示す図である。
すなわち、図４０は、MVC方式のsub_mb_pred(mb_type)の一部のシンタクスを示している。
予測器フラグを、8×8未満タイプのパーティションを最小単位として設定する場合、予測器フラグは、mb_pred(mb_type)、及び、sub_mb_pred(mb_type)に含められる。
なお、予測器フラグを、8×8未満タイプのパーティションを最小単位として設定する場合に、mb_pred(mb_type)に含められる、予測器フラグは、図３９に示した通りであり、図４０は、sub_mb_pred(mb_type)に含められる予測器フラグを示している。
図４０において、mv_pred_mode_l0[mbPartIdx][subMbPartIdx]及びmv_pred_mode_l1[mbPartIdx][subMbPartIdx]が、予測器フラグを示している。
また、図４０において、mv_pred_mode_l0[mbPartIdx][subMbPartIdx]は、L0予測が行われる場合に使用される予測器フラグであり、mv_pred_mode_l1[mbPartIdx][subMbPartIdx]は、L1予測が行われる場合に使用される予測器フラグである。
なお、予測器フラグmv_pred_mode_l0[mbPartIdx][subMbPartIdx]及びmv_pred_mode_l1[mbPartIdx][subMbPartIdx]の引数subMbPartIdxは、8×8未満タイプの各パーティションを区別するためのインデクスである。
ここで、予測器フラグを、マクロブロックを最小単位として設定する場合には、符号化データのヘッダのデータ量（オーバーヘッドのデータ量）の増加を最小限に抑えることができる。
一方、予測器フラグを、8×8未満タイプのパーティション（サブパーティション）を最小単位として設定する場合には、小さいサイズのパーティションごとに、予測ベクトルを制御することができるので、予測精度を向上させることができる。
また、予測器フラグを、8×8以上タイプのパーティションを最小単位として設定する場合には、符号化データのヘッダのデータ量の増加を抑えつつ、マクロブロックを最小単位とする場合と、8×8未満タイプのパーティションを最小単位とする場合との中間の予測精度を実現することができる。
なお、以上においては、近接予測方式と異なるベクトル予測方式として、MVC方式（メディアン予測方式）を採用したが、近接予測方式と異なるベクトル予測方式としては、その他のベクトル予測方式を採用することができる。
また、本実施の形態では、本技術を、視差画像D#2の対象ピクチャと同一時刻の視差画像D#1のピクチャ（対象ピクチャと異なる他のピクチャ）に対する、視差画像D#2の対象ブロックのずれを表す計算視差ベクトルの予測ベクトルを求めるのに適用した場合について説明したが、本技術は、対象ピクチャと異なる時刻の視差画像D#2のピクチャ（対象ピクチャと異なる他のピクチャ）に対する、視差画像D#2の対象ブロックのずれを表す動きベクトルの予測ベクトルを求める場合にも、適用可能である。
すなわち、オクルージョン部分は、視差画像D#2の対象ピクチャと同一時刻の視差画像D#1のピクチャを参照ピクチャとして、視差画像D#2の対象ブロックの視差予測を行う場合（対象ピクチャと参照ピクチャとの間に視差がある場合）の他、視差画像D#2の対象ピクチャと異なる時刻の視差画像D#2のピクチャを参照ピクチャとして、視差画像D#2の対象ブロックの時間予測を行う場合（対象ピクチャと参照ピクチャとの間に動きがある場合）にも生じるので、本技術は、時間予測で検出される動きベクトルの予測ベクトルを求める場合にも適用することができる。
［本技術を適用したコンピュータの説明］
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図４２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク８０５やROM８０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体８１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体８１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク８０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)８０２を内蔵しており、CPU８０２には、バス８０１を介して、入出力インタフェース８１０が接続されている。
CPU８０２は、入出力インタフェース８１０を介して、ユーザによって、入力部８０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)８０３に格納されているプログラムを実行する。あるいは、CPU８０２は、ハードディスク８０５に格納されたプログラムを、RAM(Random Access Memory)８０４にロードして実行する。
これにより、CPU８０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース８１０を介して、出力部８０６から出力、あるいは、通信部８０８から送信、さらには、ハードディスク８０５に記録等させる。
なお、入力部８０７は、キーボードや、マウス、マイク等で構成される。また、出力部８０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
［テレビジョン装置の構成例］
図４３は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、予測ベクトルとして、予測精度の良いベクトルを求めることができる。
［携帯電話機の構成例］
図４４は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、予測ベクトルとして、予測精度の良いベクトルを求めることができる。
［記録再生装置の構成例］
図４５は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、デコーダ９４７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、予測ベクトルとして、予測精度の良いベクトルを求めることができる。
［撮像装置の構成例］
図４６は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、予測ベクトルとして、予測精度の良いベクトルを求めることができる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
すなわち、本技術は、MVCを利用した符号化、及び、復号に限定されるものではない。すなわち、本技術は、予測ベクトルを用いて、視差情報画像の符号化、及び、復号を行う場合に適用することができる。
１１，１２，２１，２２ エンコーダ， ３１ DPB， ３２ 多重化部， ４１，４２ カメラ， ４３ 多視点画像情報生成部， １１１ A/D変換部， １１２ 画面並び替えバッファ， １１３ 演算部， １１４ 直交変換部， １１５ 量子化部， １１６ 可変長符号化部， １１７ 蓄積バッファ， １１８ 逆量子化部， １１９ 逆直交変換部， １２０ 演算部， １２１ デブロッキングフィルタ， １２２ 画面内予測部， １２３ インター予測部， １２４ 予測画像選択部， ２１１ A/D変換部， ２１２ 画面並び替えバッファ， ２１３ 演算部， ２１４ 直交変換部， ２１５ 量子化部， ２１６ 可変長符号化部， ２１７ 蓄積バッファ， ２１８ 逆量子化部， ２１９ 逆直交変換部， ２２０ 演算部， ２２１ デブロッキングフィルタ， ２２２ 画面内予測部， ２２４ 予測画像選択部， ２３１ ワーピング部， ２３２ ワープドピクチャバッファ， ２３３ オクルージョン検出部， ２３４ 視差予測部， ２４１ 視差検出部， ２４２ 視差補償部， ２４３ 予測ベクトル生成部， ２４４ コスト関数算出部， ２４５ モード選択部， ３０１ 分離部， ３１１，３１２，３２１，３２２ デコーダ， ３３１ DPB， ３４１ 蓄積バッファ， ３４２ 可変長復号部， ３４３ 逆量子化部， ３４４ 逆直交変換部， ３４５ 演算部， ３４６ デブロッキングフィルタ， ３４７ 画面並び替え部， ３４８ D/A変換部， ３４９ 画面内予測部， ３５０ インター予測部， ３５１ 予測画像選択部， ４４１ 蓄積バッファ， ４４２ 可変長復号部， ４４３ 逆量子化部， ４４４ 逆直交変換部， ４４５ 演算部， ４４６ デブロッキングフィルタ， ４４７ 画面並び替え部， ４４８ D/A変換部， ４４９ 画面内予測部， ４５１ 予測画像選択部， ４６１ ワーピング部， ４６２ ワープドピクチャバッファ， ４６３ オクルージョン検出部， ４６４ 視差予測部， ４７１ 予測ベクトル生成部， ４７２ 視差補償部， ５３４ 視差予測部， ５４１ 視差検出部， ５４２ 視差補償部， ５４３ 予測ベクトル生成部， ５４４ コスト関数算出部， ５４５ モード選択部， ６６４ 視差予測部， ７７１ 予測ベクトル生成部， ８０１ バス， ８０２ CPU， ８０３ ROM， ８０４ RAM， ８０５ ハードディスク， ８０６ 出力部， ８０７ 入力部， ８０８ 通信部， ８０９ ドライブ， ８１０ 入出力インタフェース， ８１１ リムーバブル記録媒体

Claims (12)

  1. 色画像の画素ごとの視差に関するデプス情報を画素値として有するデプス画像の処理対象の対象ブロックの、前記対象ブロックのピクチャと異なる他のピクチャに対するずれを表すずれベクトルの予測ベクトルを、前記対象ブロックが、前記他のピクチャに対応点が存在しないオクルージョン部分を含むオクルージョンブロックであるかどうかによって、異なるベクトル予測方式で生成する予測ベクトル生成部を備える
    画像処理装置。
  2. 前記予測ベクトル生成部は、第１の視点と異なる第２の視点の色画像の画素ごとの視差に関するデプス情報を画素値として有する第２の視点のデプス画像の前記対象ブロックの、前記第１の視点のデプス画像のピクチャに対するずれを表すずれベクトルである視差ベクトルの予測ベクトルを、前記対象ブロックが、前記第１の視点のデプス画像のピクチャに対応点が存在しないオクルージョン部分を含むオクルージョンブロックであるかどうかによって、異なるベクトル予測方式で生成する
    請求項１に記載の画像処理装置。
  3. 前記第１の視点のデプス画像のピクチャをワーピングすることにより、前記第１の視点のデプス画像のピクチャを前記第２の視点で得られる画像に変換したワープドデプス画像のピクチャを生成するワーピング部と、
    前記ワープドデプス画像のピクチャを用いて、前記対象ブロックのピクチャである対象ピクチャのオクルージョン部分を検出するオクルージョン検出部と
    をさらに備える請求項２に記載の画像処理装置。
  4. 前記予測ベクトル生成部は、前記対象ブロックが、前記オクルージョンブロックである場合、前記対象ブロックから、前記第１の視点のデプス画像のピクチャの、前記オクルージョン部分と同一位置のオクルージョン対応部分の外部側に近接する近接部分へのベクトルを、前記対象ブロックの予測ベクトルとして生成する近接予測方式で、前記対象ブロックの予測ベクトルを生成する
    請求項３に記載の画像処理装置。
  5. 前記オクルージョン検出部は、前記対象ピクチャにおいて前記処理対象となりうる各ブロックについて、水平方向にスキャンすることにより、オクルージョン部分が開始している開始画素と終了している終了画素とを検出し、
    前記予測ベクトル生成部は、前記近接予測方式において、前記対象ブロックの左隣のオクルージョンブロックの予測ベクトルから、前記オクルージョンブロックの前記開始画素から前記終了画素までの画素数を減算することにより求められる、前記対象ブロックから、前記オクルージョン対応部分の境界の外部側に接する前記近接部分へのベクトルを、前記対象ブロックの予測ベクトルとして生成する
    請求項４に記載の画像処理装置。
  6. 前記予測ベクトル生成部は、前記対象ブロックの左隣のオクルージョンブロックの予測ベクトルから、前記対象ブロックの前記開始画素から前記終了画素までの画素数を減算することにより求められる、前記対象ブロックから、前記オクルージョン対応部分の境界の外部側に接する前記近接部分へのベクトルを、前記対象ブロックの予測ベクトルとして生成する
    請求項５に記載の画像処理装置。
  7. 前記予測ベクトル生成部は、前記近接予測方式において、前記対象ブロックの左隣のオクルージョンブロックの予測ベクトルから、前記オクルージョンブロックの水平方向の画素数を減算することにより求められる、前記対象ブロックから、前記オクルージョン対応部分の外部側に近接する前記近接部分へのベクトルを、前記対象ブロックの予測ベクトルとして生成する
    請求項４に記載の画像処理装置。
  8. 前記予測ベクトル生成部は、前記対象ブロックの予測ベクトルのベクトル予測方式を表す予測器フラグを出力する
    請求項７に記載の画像処理装置。
  9. 前記予測ベクトル生成部は、前記対象ブロックの予測ベクトルのベクトル予測方式を表す予測器フラグを取得し、その予測器フラグが表すベクトル予測方式で、前記対象ブロックの予測ベクトルを生成する
    請求項４に記載の画像処理装置。
  10. 前記予測ベクトル生成部は、前記予測器フラグが、前記近接予測方式を表している場合、前記対象ブロックの左隣のオクルージョンブロックの予測ベクトルから、前記オクルージョンブロックの水平方向の画素数を減算することにより求められる、前記対象ブロックから、前記オクルージョン対応部分の外部側に近接する前記近接部分へのベクトルを、前記対象ブロックの予測ベクトルとして生成する
    請求項９に記載の画像処理装置。
  11. 色画像の画素ごとの視差に関するデプス情報を画素値として有するデプス画像の処理対象の対象ブロックの、前記対象ブロックのピクチャと異なる他のピクチャに対するずれを表すずれベクトルの予測ベクトルを、前記対象ブロックが、前記他のピクチャに対応点が存在しないオクルージョン部分を含むオクルージョンブロックであるかどうかによって、異なるベクトル予測方式で生成する
    ステップを含む画像処理方法。
  12. 色画像の画素ごとの視差に関するデプス情報を画素値として有するデプス画像の処理対象の対象ブロックの、前記対象ブロックのピクチャと異なる他のピクチャに対するずれを表すずれベクトルの予測ベクトルを、前記対象ブロックが、前記他のピクチャに対応点が存在しないオクルージョン部分を含むオクルージョンブロックであるかどうかによって、異なるベクトル予測方式で生成する予測ベクトル生成部
    として、コンピュータを機能させるためのプログラム。
JP2013505962A 2011-03-18 2012-03-19 画像処理装置、画像処理方法、及び、プログラム Pending JPWO2012128242A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011061794 2011-03-18
JP2011061794 2011-03-18
PCT/JP2012/056975 WO2012128242A1 (ja) 2011-03-18 2012-03-19 画像処理装置、画像処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JPWO2012128242A1 true JPWO2012128242A1 (ja) 2014-07-24

Family

ID=46879389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013505962A Pending JPWO2012128242A1 (ja) 2011-03-18 2012-03-19 画像処理装置、画像処理方法、及び、プログラム

Country Status (4)

Country Link
US (1) US9445092B2 (ja)
JP (1) JPWO2012128242A1 (ja)
CN (1) CN103416064A (ja)
WO (1) WO2012128242A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3247116A1 (en) * 2012-07-27 2017-11-22 HFI Innovation Inc. Method of constrain disparity vector derivation in 3d video coding
JP2014075687A (ja) * 2012-10-04 2014-04-24 Seiko Epson Corp 画像データ圧縮装置、画像データ伸張装置、表示装置、画像処理システム、画像データ圧縮方法及び画像データ伸張方法
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
EP3061233B1 (en) 2013-10-25 2019-12-11 Microsoft Technology Licensing, LLC Representing blocks with hash values in video and image coding and decoding
EP3061253A1 (en) 2013-10-25 2016-08-31 Microsoft Technology Licensing, LLC Hash-based block matching in video and image coding
WO2015131325A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
US10368092B2 (en) * 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
CN105706450B (zh) 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
JP6365153B2 (ja) * 2014-09-10 2018-08-01 株式会社ソシオネクスト 画像符号化方法および画像符号化装置
KR102358276B1 (ko) 2014-09-30 2022-02-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 코딩을 위한 해시 기반 인코더 결정
JP2017069617A (ja) * 2015-09-28 2017-04-06 ルネサスエレクトロニクス株式会社 半導体装置および画像符号化方法
DE102017103588A1 (de) * 2016-02-24 2017-08-24 Jtekt Corporation Analysevorrichtung und analysesystem
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US10586308B2 (en) * 2017-05-09 2020-03-10 Adobe Inc. Digital media environment for removal of obstructions in a digital image scene
CN109005355B (zh) * 2018-09-28 2020-10-09 维沃移动通信有限公司 一种拍摄方法及移动终端
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4131933B2 (ja) 2003-01-22 2008-08-13 日本電信電話株式会社 画像データへの立体情報埋め込み方法、装置、プログラム、および記録媒体
JP2006513661A (ja) 2003-01-23 2006-04-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ バックグラウンド動きベクトル検出方法及び装置
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
US7596243B2 (en) * 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
CA2672924C (en) * 2006-12-28 2014-07-22 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
JP5325638B2 (ja) * 2008-11-26 2013-10-23 日立コンシューマエレクトロニクス株式会社 画像復号化方法
JP2010157826A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
WO2010073513A1 (ja) * 2008-12-26 2010-07-01 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム、ならびに画像復号装置、画像復号方法およびそのプログラム
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP6061150B2 (ja) * 2011-03-18 2017-01-18 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
BR112014004062A2 (pt) * 2011-08-31 2017-03-07 Sony Corp dispositivos e métodos de codificação e decodificação
WO2013031575A1 (ja) * 2011-08-31 2013-03-07 ソニー株式会社 画像処理装置および画像処理方法
JP2013207755A (ja) * 2012-03-29 2013-10-07 Sony Corp 画像処理装置および方法

Also Published As

Publication number Publication date
US9445092B2 (en) 2016-09-13
US20140002603A1 (en) 2014-01-02
CN103416064A (zh) 2013-11-27
WO2012128242A1 (ja) 2012-09-27

Similar Documents

Publication Publication Date Title
WO2012128242A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6061150B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
EP3047649B1 (en) Combined bi-predictive merging candidates for 3d video coding
EP3092805B1 (en) Block-based advanced residual prediction for 3d video coding
WO2012121052A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
KR102187723B1 (ko) 3 차원（3ｄ）비디오 코딩을 위한 진보된 병합 모드
EP3011746B1 (en) More accurate advanced residual prediction (arp) for texture coding
US9350972B2 (en) Encoding device and encoding method, and decoding device and decoding method
WO2012157443A1 (ja) 画像処理装置、及び、画像処理方法
WO2012147622A1 (ja) 画像処理装置、及び、画像処理方法
US9438926B2 (en) Constraints on neighboring block based disparity vector (NBDV) techniques for 3D video
KR20170071608A (ko) 화상 처리 장치 및 방법
US20130259131A1 (en) Image processing apparatus and method
WO2016104179A1 (ja) 画像処理装置および画像処理方法
WO2012128241A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
KR20080007069A (ko) 비디오 신호 디코딩 방법 및 장치
WO2013157439A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法