WO2013031575A1

WO2013031575A1 - 画像処理装置および画像処理方法

Info

Publication number: WO2013031575A1
Application number: PCT/JP2012/071030
Authority: WO
Inventors: 裕音櫻井; 良知高橋; しのぶ服部
Original assignee: ソニー株式会社
Priority date: 2011-08-31
Filing date: 2012-08-21
Publication date: 2013-03-07
Also published as: JPWO2013031575A1; US20140321546A1; CN103748881A

Abstract

本技術は、視差画像に関する情報を用いて視差画像の符号化効率を改善することができるようにする画像処理装置および画像処理方法に関する。デプス用補正部は、デプス画像を対象として、デプス画像の画素値としての奥行き方向の位置を表す奥行き値を正規化する際に用いる、奥行き方向の位置のレンジを示す奥行きレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行う。輝度用補正部は、デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する。符号化対象のデプス画像は、デプス予測画像を用いて符号化され、デプスストリームが生成される。本技術は、例えば、デプス画像の符号化装置に適用することができる。

Description

画像処理装置および画像処理方法

　本技術は、画像処理装置および画像処理方法に関し、特に、視差画像に関する情報を用いて視差画像の符号化効率を改善することができるようにした画像処理装置および画像処理方法に関する。

　近年、３Ｄ画像が注目されており、多視点の３Ｄ画像の生成に用いられる視差画像の符号化方法が提案されている（例えば、非特許文献１参照）。なお、視差画像とは、その視差画像に対応する視点のカラー画像の各画素と、その画素に対応する、基点となる視点のカラー画像の画素の画面上の位置の水平方向の距離を表す視差値からなる画像である。

　また、現在、AVC（Advanced Video Coding）方式より更なる符号化効率の向上を目的として、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められており、2011年8月現在、Draftとして、非特許文献２が発行されている。

"Call for Proposals on 3D Video Coding Technology",ISO/IEC JTC1/SC29/WG11,MPEG2011/N12036,Geneva,Switzerland,March 2011 Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,GaryJ.Sullivian,"WD3:Working Draft3 of High-Efficiency Video Coding",JCTVC-E603_d5(version5),2011年5月20日

　しかしながら、視差画像に関する情報を用いて視差画像の符号化効率を向上させる符号化方法は考案されていなかった。

　本技術は、このような状況に鑑みてなされたものであり、視差画像に関する情報を用いて視差画像の符号化効率を改善することができるようにするものである。

　本技術の第１の側面の画像処理装置は、デプス画像を対象として、前記デプス画像の画素値としての奥行き方向の位置を表す奥行き値を正規化する際に用いる、前記奥行き方向の位置のレンジを示す奥行きレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、前記動き予測部により生成された前記デプス予測画像を用いて、符号化対象のデプス画像を符号化してデプスストリームを生成する符号化部とを備える画像処理装置である。

　本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理装置に対応するものである。

　本技術の第１の側面においては、デプス画像を対象として、前記デプス画像の画素値としての奥行き方向の位置を表す奥行き値を正規化する際に用いる、前記奥行き方向の位置のレンジを示す奥行きレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理が行われ、前記デプス重み付け予測処理が行われた後に、重み係数とオフセットを用いた重み付け予測処理が行われてデプス予測画像が生成され、前記デプス予測画像を用いて、符号化対象のデプス画像が符号化されてデプスストリームが生成される。

　本技術の第２の側面の画像処理装置は、デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とを受け取る受け取り部と、前記受け取り部により受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としての奥行き方向の位置を示す奥行き値を正規化する際に用いる前記奥行き方向の位置のレンジを示す奥行きレンジに基づくデプス重み係数とデプスオフセットを算出し、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、前記動き予測部により生成された前記デプス予測画像を用いて、前記受け取り部により受け取られた前記デプスストリームを復号する復号部とを備える画像処理装置である。

　本技術の第２の側面の画像処理方法は、本技術の第２の側面の画像処理装置に対応するものである。

　本技術の第２の側面においては、デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とが受け取られ、受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としての奥行き方向の位置を示す奥行き値を正規化する際に用いる前記奥行き方向の位置のレンジを示す奥行きレンジに基づくデプス重み係数とデプスオフセットが算出され、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理が行われ、前記デプス重み付け予測処理が行われた後に、重み係数とオフセットを用いた重み付け予測処理が行われてデプス予測画像が生成され、生成された前記デプス予測画像を用いて、前記デプスストリームが復号される。

　本技術の第３の側面の画像処理装置は、デプス画像を対象として、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる、前記ディスパリティのレンジを示すディスパリティレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、前記動き予測部により生成された前記デプス予測画像を用いて、符号化対象のデプス画像を符号化してデプスストリームを生成する符号化部とを備える画像処理装置である。

　本技術の第３の側面の画像処理方法は、本技術の第３の側面の画像処理装置に対応するものである。

　本技術の第３の側面においては、デプス画像を対象として、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる、前記ディスパリティのレンジを示すディスパリティレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理が行われ、前記デプス重み付け予測処理が行われた後に、重み係数とオフセットを用いた重み付け予測処理が行われてデプス予測画像が生成され、生成された前記デプス予測画像を用いて、符号化対象のデプス画像が符号化されてデプスストリームが生成される。

　本技術の第４の側面の画像処理装置は、デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とを受け取る受け取り部と、前記受け取り部により受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる前記ディスパリティのレンジを示すディスパリティレンジに基づくデプス重み係数とデプスオフセットを算出し、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、前記動き予測部により生成された前記デプス予測画像を用いて、前記受け取り部により受け取られた前記デプスストリームを復号する復号部とを備える画像処理装置である。

　本技術の第４の側面の画像処理方法は、本技術の第４の側面の画像処理装置に対応するものである。

　本技術の第４の側面においては、デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とが受け取られ、受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる前記ディスパリティのレンジを示すディスパリティレンジに基づくデプス重み係数とデプスオフセットが算出され、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理が行われ、前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理が行われてデプス予測画像が生成され、生成された前記デプス予測画像を用いて、受け取られた前記デプスストリームが復号される。

　本技術の第１および第３の側面によれば、視差画像に関する情報を用いて視差画像の符号化効率を改善することができる。

　また、本技術の第２および第４の側面によれば、視差画像に関する情報を用いて符号化することにより符号化効率が改善された視差画像の符号化データを復号することができる。

本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。視点生成用情報の視差最大値と視差最小値を説明する図である。視点生成用情報の視差精度パラメータを説明する図である。視点生成用情報のカメラ間距離を説明する図である。図１の多視点画像符号化部の構成例を示すブロック図である。符号化部の構成例を示すブロック図である。符号化ビットストリームの構成例を示す図である。図７のPPSのシンタックスの例を示す図である。スライスヘッダのシンタックスの例を示す図である。スライスヘッダのシンタックスの例を示す図である。図１の符号化装置の符号化処理を説明するフローチャートである。図１１の多視点符号化処理の詳細を説明するフローチャートである。図１２の視差画像符号化処理の詳細を説明するフローチャートである。図１２の視差画像符号化処理の詳細を説明するフローチャートである。本技術を適用した復号装置の一実施の形態の構成例を示すブロック図である。図１５の多視点画像復号部の構成例を示すブロック図である。復号部の構成例を示すブロック図である。図１５の復号装置１５０の復号処理を説明するフローチャートである。図１８の多視点復号処理の詳細を説明するフローチャートである。図１６の視差画像復号処理の詳細を説明するフローチャートである。予測画像の補正に用いられる情報の伝送方法を説明する図である。第２の伝送方法における符号化ビットストリームの構成例を示す図である。第３の伝送方法における符号化ビットストリームの構成例を示す図である。スライス符号化部の構成例を示すブロック図である。符号化部の構成例を示すブロック図である。補正部の構成例を示すブロック図である。視差値と奥行き方向の位置について説明するための図である。撮像される物体の位置関係の一例を示す図である。奥行き方向の位置の最大と最小の関係を説明する図である。撮像される物体の位置関係と輝度について説明するための図である。撮像される物体の位置関係と輝度について説明するための図である。撮像される物体の位置関係と輝度について説明するための図である。視差画像符号化処理の詳細を説明するフローチャートである。視差画像符号化処理の詳細を説明するフローチャートである。予測画像生成処理について説明するためのフローチャートである。スライス復号部の構成例を示すブロック図である。復号部の構成例を示すブロック図である。補正部の構成例を示すブロック図である。視差画像復号処理の詳細を説明するフローチャートである。予測画像生成処理について説明するためのフローチャートである。コンピュータの一実施の形態の構成例を示す図である。本技術を適用したテレビジョン装置の概略構成例を示す図である。本技術を適用した携帯電話機の概略構成例を示す図である。本技術を適用した記録再生装置の概略構成例を示す図である。本技術を適用した撮像装置の概略構成例を示す図である。

　＜一実施の形態＞
　［符号化装置の一実施の形態の構成例］
　図１は、本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。

　図１の符号化装置５０は、多視点カラー画像撮像部５１、多視点カラー画像補正部５２、多視点視差画像補正部５３、視点生成用情報生成部５４、および多視点画像符号化部５５により構成される。

　符号化装置５０は、所定の視点の視差画像を、視差画像に関する情報を用いて符号化する。

　具体的には、符号化装置５０の多視点カラー画像撮像部５１は、多視点のカラー画像を撮像し、多視点カラー画像として多視点カラー画像補正部５２に供給する。また、多視点カラー画像撮像部５１は、外部パラメータ、視差最大値、および視差最小値（詳細は後述する）を生成する。多視点カラー画像撮像部５１は、外部パラメータ、視差最大値、および視差最小値を視点生成用情報生成部５４に供給するとともに、視差最大値と視差最小値を多視点視差画像生成部５３に供給する。

　なお、外部パラメータは、多視点カラー画像撮像部５１の水平方向の位置を定義するパラメータである。また、視差最大値と視差最小値は、それぞれ、多視点視差画像においてとり得る世界座標上の視差値の最大値、最小値である。

　多視点カラー画像補正部５２は、多視点カラー画像撮像部５１から供給される多視点カラー画像に対して、色補正、輝度補正、歪み補正等を行う。これにより、補正後の多視点カラー画像における多視点カラー画像撮像部５１の水平方向（X方向）の焦点距離は、全視点で共通となる。多視点カラー画像補正部５２は、補正後の多視点カラー画像を多視点補正カラー画像として多視点視差画像生成部５３と多視点画像符号化部５５に供給する。

　多視点視差画像生成部５３は、多視点カラー画像撮像部５１から供給される視差最大値と視差最小値に基づいて、多視点カラー画像補正部５２から供給される多視点補正カラー画像から、多視点の視差画像を生成する。具体的には、多視点視差画像生成部５３は、多視点の各視点について、多視点補正カラー画像から各画素の視差値を求め、その視差値を視差最大値と視差最小値に基づいて正規化する。そして、多視点視差画像生成部５３は、多視点の各視点について、正規化された各画素の視差値を視差画像の各画素の画素値とする視差画像を生成する。

　また、多視点視差画像生成部５３は、生成された多視点の視差画像を多視点視差画像として多視点画像符号化部５５に供給する。さらに、多視点視差画像生成部５３は、多視点視差画像の画素値の精度を表す視差精度パラメータを生成し、視点生成用情報生成部５４に供給する。

　視点生成用情報生成部５４は、多視点の補正カラー画像と視差画像を用いて、その多視点以外の視点のカラー画像を生成する際に用いられる視点生成用情報を生成する。具体的には、視点生成用情報生成部５４は、多視点カラー画像撮像部５１から供給される外部パラメータに基づいて、カメラ間距離を求める。カメラ間距離とは、多視点視差画像の視点ごとに、その視点のカラー画像を撮像するときの多視点カラー画像撮像部５１の水平方向の位置と、そのカラー画像と視差画像に対応する視差を有するカラー画像を撮像するときの多視点カラー画像撮像部５１の水平方向の位置の距離である。

　視点生成用情報生成部５４は、多視点カラー画像撮像部５１からの視差最大値と視差最小値、カメラ間距離、および多視点視差画像生成部５３からの視差精度パラメータを視点生成用情報とする。視点生成用情報生成部５４は、生成された視点生成用情報を多視点画像符号化部５５に供給する。

　多視点画像符号化部５５は、多視点カラー画像補正部５２から供給される多視点補正カラー画像をHEVC方式で符号化する。また、多視点画像符号化部５５は、視点生成用情報生成部５４から供給される視点生成用情報のうちの視差最大値、視差最小値、およびカメラ間距離を視差に関する情報として用いて、多視点視差画像生成部５３から供給される多視点視差画像を、HEVC方式に準じた方式で符号化する。

　また、多視点画像符号化部５５は、視点生成用情報生成部５４から供給される視点生成用情報のうちの視差最大値、視差最小値、およびカメラ間距離を差分符号化し、多視点視差画像を符号化する際に用いる符号化に関する情報（符号化パラメータ）に含める。そして、多視点画像符号化部５５は、符号化された多視点補正カラー画像および多視点視差画像、差分符号化された視差最大値、視差最小値、およびカメラ間距離を含む符号化に関する情報、視点生成用情報生成部５４からの視差精度パラメータ等からなるビットストリームを、符号化ビットストリームとして伝送する。

　以上のように、多視点画像符号化部５５は、視差最大値、視差最小値、およびカメラ間距離を差分符号化して伝送するので、視点生成用情報の符号量を削減することができる。快適な３Ｄ画像を提供するために、視差最大値、視差最小値、およびカメラ間距離はピクチャ間で大きく変化させない可能性が高いため、差分符号化を行うことは符号量の削減において有効である。

　なお、符号化装置５０では、多視点視差画像が、多視点補正カラー画像から生成されたが、多視点カラー画像の撮像時に、視差値を検出するセンサにより生成されてもよい。

　［視点生成用情報の説明］
　図２は、視点生成用情報の視差最大値と視差最小値を説明する図である。

　なお、図２において、横軸は、正規化前の視差値であり、縦軸は、視差画像の画素値である。

　図２に示すように、多視点視差画像生成部５３は、各画素の視差値を、視差最小値Dminと視差最大値Dmaxを用いて、例えば0乃至255の値に正規化する。そして、多視点視差画像生成部５３は、0乃至255のいずれかの値である正規化後の各画素の視差値を画素値として、視差画像を生成する。

　即ち、視差画像の各画素の画素値Ｉは、その画素の正規化前の視差値d、視差最小値Dmin、および視差最大値Dmaxは、以下の式（１）で表される。

　従って、後述する復号装置では、以下の式（２）により、視差画像の各画素の画素値Ｉから、視差最小値Dminと視差最大値Dmaxを用いて、正規化前の視差値dを復元する必要がある。

　よって、視差最小値Dminと視差最大値Dmaxが、復号装置に伝送される。

　図３は、視点生成用情報の視差精度パラメータを説明する図である。

　図３の上段に示すように、正規化後の視差値1当たりの正規化前の視差値が0.5である場合、視差精度パラメータは、視差値の精度0.5を表すものとなる。また、図３の下段に示すように、正規化後の視差値1当たりの正規化前の視差値が1である場合、視差精度パラメータは、視差値の精度1.0を表すものとなる。

　図３の例では、1番目の視点である視点＃１の正規化前の視差値が1.0であり、2番目の視点である視点＃２の正規化前の視差値が0.5である。従って、視点＃１の正規化後の視差値は、視差値の精度が0.5であっても1.0であっても、1.0である。一方、視点＃２の視差値は、視差値の精度が0.5である場合0.5であり、視差値の精度が1.0である場合0である。

　図４は、視点生成用情報のカメラ間距離を説明する図である。

　図４に示すように、視点＃１の、視点＃２を基点とする視差画像のカメラ間距離は、視点＃１の外部パラメータが表す位置と、視点＃２の外部パラメータが表す位置の距離である。

　［多視点画像符号化部の構成例］
　図５は、図１の多視点画像符号化部５５の構成例を示すブロック図である。

　図５の多視点画像符号化部５５は、スライス符号化部６１、スライスヘッダ符号化部６２、PPS符号化部６３、およびSPS符号化部６４により構成される。

　多視点画像符号化部５５のスライス符号化部６１は、多視点カラー画像補正部５２から供給される多視点補正カラー画像に対して、HEVC方式でスライス単位の符号化を行う。また、スライス符号化部６１は、図１の視点生成用情報生成部５４から供給される視点生成用情報のうちの視差最大値、視差最小値、およびカメラ間距離を視差に関する情報として用いて、多視点視差画像生成部５３からの多視点視差画像に対して、HEVC方式に準じた方式でスライス単位の符号化を行う。スライス符号化部６１は、符号化の結果得られるスライス単位の符号化データ等をスライスヘッダ符号化部６２に供給する。

　スライスヘッダ符号化部６２は、視点生成用情報生成部５４から供給される視点生成用情報のうちの視差最大値、視差最小値、およびカメラ間距離を、現在の処理対象のスライスの視差最大値、視差最小値、およびカメラ間距離とし、保持する。

　また、スライスヘッダ符号化部６２は、現在の処理対象のスライスの視差最大値、視差最小値、およびカメラ間距離が、それぞれ、そのスライスより符号化順で１つ前のスライスの視差最大値、視差最小値、およびカメラ間距離と一致するかどうかを、同一のPPSが付加される単位（以下では、同一PPS単位という）で判定する。

　そして、同一PPS単位を構成する全てのスライスの視差最大値、視差最小値、およびカメラ間距離が、符号化順で１つ前のスライスの視差最大値、視差最小値、およびカメラ間距離と一致すると判定された場合、スライスヘッダ符号化部６２は、その同一PPS単位を構成する各スライスの符号化データのスライスヘッダとして、そのスライスの視差最大値、視差最小値、およびカメラ間距離以外の符号化に関する情報を付加し、PPS符号化部６３に供給する。また、スライスヘッダ符号化部６２は、視差最大値、視差最小値、およびカメラ間距離の差分符号化結果の伝送の無しを表す伝送フラグをPPS符号化部６３に供給する。

　一方、同一PPS単位を構成する少なくとも1つのスライスの視差最大値、視差最小値、およびカメラ間距離が、符号化順で１つ前のスライスの視差最大値、視差最小値、およびカメラ間距離と一致しないと判定された場合、スライスヘッダ符号化部６２は、イントラタイプのスライスの符号化データには、スライスヘッダとして、そのスライスの視差最大値、視差最小値、およびカメラ間距離を含む符号化に関する情報を付加し、PPS符号化部６３に供給する。

　また、スライスヘッダ符号化部６２は、インタータイプのスライスについては、そのスライスの視差最大値、視差最小値、およびカメラ間距離を差分符号化する。具体的には、スライスヘッダ符号化部６２は、インタータイプのスライスの視差最大値、視差最小値、およびカメラ間距離から、そのスライスより符号化順で1つ前のスライスの視差最大値、視差最小値、およびカメラ間距離を、それぞれ減算し、差分符号化結果とする。そして、スライスヘッダ符号化部６２は、インタータイプのスライスの符号化データに、スライスヘッダとして視差最大値、視差最小値、およびカメラ間距離の差分符号化結果を含む符号化に関する情報を付加し、PPS符号化部６３に供給する。

　また、この場合、スライスヘッダ符号化部６２は、視差最大値、視差最小値、およびカメラ間距離の差分符号化結果の伝送の有りを表す伝送フラグをPPS符号化部６３に供給する。

　PPS符号化部６３は、スライスヘッダ符号化部６２から供給される伝送フラグと、図１の視点生成用情報生成部５４から供給される視点生成用情報のうちの視差精度パラメータとを含むPPSを生成する。PPS符号化部６３は、同一PPS単位で、スライスヘッダ符号化部６２から供給されるスライスヘッダが付加されたスライス単位の符号化データにPPSを付加し、SPS符号化部６４に供給する。

　SPS符号化部６４は、SPSを生成する。そして、SPS符号化部６４は、シーケンス単位で、PPS符号化部６３から供給されるPPSが付加された符号化データにSPSを付加する。SPS符号化部６４は、伝送部として機能し、その結果得られるビットストリームを符号化ビットストリームとして伝送する。

　［スライス符号化部の構成例］
　図６は、図５のスライス符号化部６１のうちの任意の１視点の視差画像を符号化する符号化部の構成例を示すブロック図である。即ち、スライス符号化部６１のうちの多視点視差画像を符号化する符号化部は、視点数分の図６の符号化部１２０により構成される。

　図６の符号化部１２０は、A/D変換部１２１、画面並べ替えバッファ１２２、演算部１２３、直交変換部１２４、量子化部１２５、可逆符号化部１２６、蓄積バッファ１２７、逆量子化部１２８、逆直交変換部１２９、加算部１３０、デブロックフィルタ１３１、フレームメモリ１３２、画面内予測部１３３、動き予測・補償部１３４、補正部１３５、選択部１３６、およびレート制御部１３７により構成される。

　符号化部１２０のA/D変換部１２１は、図１の多視点視差画像生成部５３から供給される所定の視点のフレーム単位の多重化画像をA/D変換し、画面並べ替えバッファ１２２に出力して記憶させる。画面並べ替えバッファ１２２は、記憶した表示の順番のフレーム単位の視差画像を、GOP（Group　of　Picture）構造に応じて、符号化のための順番に並べ替え、演算部１２３、画面内予測部１３３、および動き予測・補償部１３４に出力する。

　演算部１２３は、符号化部として機能し、選択部１３６から供給される予測画像と、画面並べ替えバッファ１２２から出力された符号化対象の視差画像の差分を演算することにより、符号化対象の視差画像を符号化する。具体的には、演算部１２３は、画面並べ替えバッファ１２２から出力された符号化対象の視差画像から、選択部１３６から供給される予測画像を減算する。演算部１２３は、減算の結果得られる画像を、残差情報として直交変換部１２４に出力する。なお、選択部１３６から予測画像が供給されない場合、演算部１２３は、画面並べ替えバッファ１２２から読み出された視差画像をそのまま残差情報として直交変換部１２４に出力する。

　直交変換部１２４は、演算部１２３からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部１２５に供給する。

　量子化部１２５は、直交変換部１２４から供給される係数を量子化する。量子化された係数は、可逆符号化部１２６に入力される。

　可逆符号化部１２６は、量子化部１２５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。可逆符号化部１２６は、可逆符号化の結果得られる符号化データを蓄積バッファ１２７に供給し、蓄積させる。

　蓄積バッファ１２７は、可逆符号化部１２６から供給される符号化データを、一時的に記憶し、スライス単位でスライスヘッダ符号化部６２に供給する。

　また、量子化部１２５より出力された、量子化された係数は、逆量子化部１２８にも入力され、逆量子化された後、逆直交変換部１２９に供給される。

　逆直交変換部１２９は、逆量子化部１２８から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部１３０に供給する。

　加算部１３０は、逆直交変換部１２９から供給される復号対象の視差画像としての残差情報と、選択部１３６から供給される予測画像を加算して、局部的に復号された視差画像を得る。なお、選択部１３６から予測画像が供給されない場合、加算部１３０は、逆直交変換部１２９から供給される残差情報を局部的に復号された視差画像とする。加算部１３０は、局部的に復号された視差画像をデブロックフィルタ１３１に供給するとともに、参照画像として画面内予測部１３３に供給する。

　デブロックフィルタ１３１は、加算部１３０から供給される局部的に復号された視差画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１３１は、その結果得られる視差画像をフレームメモリ１３２に供給し、蓄積させる。フレームメモリ１３２に蓄積された視差画像は、参照画像として動き予測・補償部１３４に出力される。

　画面内予測部１３３は、加算部１３０から供給された参照画像を用いて、候補となる全てのイントラ予測モードの画面内予測を行い、予測画像を生成する。

　また、画面内予測部１３３は、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、画面内予測部１３３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。画面内予測部１３３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１３６に供給する。画面内予測部１３３は、選択部１３６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、最適イントラ予測モード等を示す画面内予測情報を図５のスライスヘッダ符号化部６２に供給する。この画面内予測情報は、符号化に関する情報としてスライスヘッダに含まれる。

　なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。

　具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（３）で表わされるコスト関数値が各予測モードに対して算出される。

　Cost(Mode)=D＋λ・R　・・・（３）

　Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

　一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（４）で表わされるコスト関数が各予測モードに対して算出される。

　Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit　・・・（４）

　Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

　Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。

　動き予測・補償部１３４は、画面並べ替えバッファ１２２から供給される視差画像と、フレームメモリ１３２から供給される参照画像とに基づいて、候補となる全てのインター予測モードの動き予測処理を行い、動きベクトルを生成する。具体的には、動き予測・補償部１３４は、インター予測モードごとに、参照画像と、画面並べ替えバッファ１２２から供給される視差画像のマッチングを行い、動きベクトルを生成する。

　なお、インター予測モードとは、インター予測の対象とするブロックのサイズ、予測方向、および参照インデックスを表す情報である。予測方向には、インター予測の対象とする視差画像よりも表示時刻が早い参照画像を用いた前方向の予測（L0予測）、インター予測の対象とする視差画像よりも表示時刻が遅い参照画像を用いた後方向の予測（L1予測）、およびインター予測の対象とする視差画像よりも表示時刻が早い参照画像と遅い参照画像を用いた両方向の予測（Bi-prediction）がある。また、参照インデックスとは、参照画像を特定するための番号であり、例えば、インター予測の対象とする視差画像に近い画像の参照インデックスほど番号が小さい。

　また、動き予測・補償部１３４は、予測画像生成部として機能し、インター予測モードごとに、生成された動きベクトルに基づいて、フレームメモリ１３２から参照画像を読み出すことにより、動き補償処理を行う。動き予測・補償部１３４は、その結果生成される予測画像を補正部１３５に供給する。

　補正部１３５は、図１の視点生成用情報生成部５４から供給される視点生成用情報のうちの視差最大値、視差最小値、およびカメラ間距離を視差画像に関する情報として用いて、予測画像を補正する際に用いる補正係数を生成する。補正部１３５は、動き予測・補償部１３４から供給される各インター予測モードの予測画像を、補正係数を用いて補正する。

　ここで、符号化対象の視差画像の被写体の奥行方向の位置Z_cと予測画像の被写体の奥行方向の位置Z_pは、以下の式（５）で表される。

　なお、式（５）において、L_c,L_pは、それぞれ、符号化対象の視差画像のカメラ間距離、予測画像のカメラ間距離である。fは、符号化対象の視差画像と予測画像に共通の焦点距離である。また、d_c,d_pは、それぞれ、符号化対象の視差画像の正規化前の視差値の絶対値、予測画像の正規化前の視差値の絶対値である。

　また、符号化対象の視差画像の視差値I_cと予測画像の視差値I_pは、正規化前の視差値の絶対値d_c,d_pを用いて、以下の式（６）で表される。

　なお、式（６）において、D^c _min,D^p _minは、それぞれ、符号化対象の視差画像の視差最小値、予測画像の視差最小値である。D^c _max,D^p _maxは、それぞれ、符号化対象の視差画像の視差最大値、予測画像の視差最大値である。

　従って、符号化対象の視差画像の被写体の奥行方向の位置Z_cと予測画像の被写体の奥行方向の位置Z_pが同一であっても、カメラ間距離L_cとL_p、視差最小値D^c _minとD^p _min、および視差最大値D^c _max,D^p _maxの少なくとも1つが異なると、視差値I_cと視差値I_pは異なってしまう。

　そこで、補正部１３５は、位置Z_cと位置Z_pが同一である場合に視差値I_cと視差値I_pが同一となるように予測画像を補正する補正係数を生成する。

　具体的には、位置Z_cと位置Z_pが同一である場合、上述した式（５）より、以下の式（７）が成立する。

　また、式（７）を変形すると、以下の式（８）になる。

　そして、上述した式（６）を用いて、式（８）の正規化前の視差値の絶対値d_c,d_pを視差値I_cと視差値I_pに置換すると、以下の式（９）になる。

　これにより、視差値I_cは、視差値I_pを用いて以下の式（１０）で表される。

　従って、補正部１３５は、式（１０）のａとbを補正係数として生成する。そして、補正部１３５は、補正係数ａ，ｂと視差値I_pを用いて、式（１０）における視差値I_cを補正後の予測画像の視差値として求める。

　また、補正部１３５は、補正後の予測画像を用いて、各インター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、補正部１３５は、最適インター予測モードで生成された予測画像とコスト関数値とを選択部１３６に供給する。

　さらに、補正部１３５は、選択部１３６から最適インター予測モードで生成された予測画像の選択が通知された場合、動き情報をスライスヘッダ符号化部６２に出力する。この動き情報は、最適インター予測モード、予測ベクトルインデックス、現在の動きベクトルから予測ベクトルインデックスが表す動きベクトルを減算した差分である動きベクトル残差等により構成される。なお、予測ベクトルインデックスとは、復号済みの視差画像の予測画像の生成に用いられた候補となる動きベクトルのうちの1つの動きベクトルを特定する情報である。動き情報は、符号化に関する情報としてスライスヘッダに含まれる。

　選択部１３６は、画面内予測部１３３および補正部１３５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、選択部１３６は、最適予測モードの予測画像を、演算部１２３および加算部１３０に供給する。また、選択部１３６は、最適予測モードの予測画像の選択を画面内予測部１３３または補正部１３５に通知する。

　レート制御部１３７は、蓄積バッファ１２７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１２５の量子化動作のレートを制御する。

　［符号化ビットストリームの構成例］
　図７は、符号化ビットストリームの構成例を示す図である。

　なお、図７では、説明の便宜上、多視点視差画像のスライスの符号化データのみを記載しているが、実際には、符号化ビットストリームには、多視点カラー画像のスライスの符号化データも配置される。このことは、後述する図２２および図２３においても同様である。

　図７の例では、0番目のPPSであるPPS#0の同一PPS単位を構成する1つのイントラタイプのスライスと2つのインタータイプのスライスの視差最大値、視差最小値、およびカメラ間距離が、それぞれ、符号化順で1つ前のスライスの視差最大値、視差最小値、およびカメラ間距離と一致しない。従って、PPS#0には、伝送の有りを表す伝送フラグ「1」が含まれる。また、図７の例では、PPS#0の同一PPS単位を構成するスライスの視差精度が0.5であり、PPS#0には、視差精度パラメータとして視差精度0.5を表す「1」が含まれる。

　さらに、図７の例では、PPS#0の同一PPS単位を構成するイントラタイプのスライスの視差最小値が10であり、視差最大値が50であり、カメラ間距離が100である。従って、そのスライスのスライスヘッダには、視差最小値「10」、視差最大値「50」、およびカメラ間距離「100」が含まれる。

　また、図７の例では、PPS#0の同一PPS単位を構成する1番目のインタータイプのスライスの視差最小値が9であり、視差最大値が48であり、カメラ間距離が105である。従って、そのスライスのスライスヘッダには、そのスライスの視差最小値「9」から、符号化順で1つ前のイントラタイプのスライスの視差最小値「10」を減算した差分「-1」が、視差最小値の差分符号化結果として含まれる。同様に、視差最大値の差分「-2」が視差最大値の差分符号化結果として含まれ、カメラ間距離の差分「5」がカメラ間距離の差分符号化結果として含まれる。

　さらに、図７の例では、PPS#0の同一PPS単位を構成する2番目のインタータイプのスライスの視差最小値が7であり、視差最大値が47であり、カメラ間距離が110である。従って、そのスライスのスライスヘッダには、そのスライスの視差最小値「7」から、符号化順で1つ前の1番目のインタータイプのスライスの視差最小値「9」を減算した差分「-2」が、視差最小値の差分符号化結果として含まれる。同様に、視差最大値の差分「-1」が視差最大値の差分符号化結果として含まれ、カメラ間距離の差分「5」がカメラ間距離の差分符号化結果として含まれる。

　また、図７の例では、1番目のPPSであるPPS#1の同一PPS単位を構成する1つのイントラタイプのスライスと2つのインタータイプのスライスの視差最大値、視差最小値、およびカメラ間距離が、それぞれ、符号化順で1つ前のスライスの視差最大値、視差最小値、およびカメラ間距離と一致する。即ち、PPS#1の同一PPS単位を構成する1つのイントラタイプのスライスと2つのインタータイプのスライスの視差最小値、視差最大値、カメラ間距離は、それぞれ、PPS#0の同一PPS単位を構成する2番目のインタータイプのスライスと同一の「7」、「47」、「110」である。従って、PPS#1には、伝送の無しを表す伝送フラグ「0」が含まれる。また、図７の例では、PPS#1の同一PPS単位を構成するスライスの視差精度が0.5であり、PPS#1には、視差精度パラメータとして視差精度0.5を表す「1」が含まれる。

　[PPSのシンタックスの例]
　図８は、図７のPPSのシンタックスの例を示す図である。

　図８に示すように、PPSには、視差精度パラメータ（disparity_precision）と伝送フラグ（dsiparity_pic_same_flag）が含まれる。視差精度パラメータは、例えば、視差精度1を表す場合「0」であり、視差精度0.25を表す場合「2」である。また、上述したように、視差精度パラメータは、視差精度0.5を表す場合「1」である。また、伝送フラグは、上述したように、伝送の有りを表す場合「1」であり、伝送の無しを表す場合「0」である。

　[スライスヘッダのシンタックスの例]
　図９および図１０は、スライスヘッダのシンタックスの例を示す図である。

　図１０に示すように、伝送フラグが1であり、スライスのタイプがイントラタイプである場合、スライスヘッダには、視差最小値（minimum_disparity）、視差最大値（maximum_disparity）、およびカメラ間距離（translation_x）が含まれる。

　一方、伝送フラグが1であり、スライスのタイプがインタータイプである場合、スライスヘッダには、視差最小値の差分符号化結果（delta_minimum_disparity）、視差最大値の差分符号化結果（delta_maximum_disparity）、およびカメラ間距離の差分符号化結果（delta_translation_x）が含まれる。

　[符号化装置の処理の説明]
　図１１は、図１の符号化装置５０の符号化処理を説明するフローチャートである。

　図１１のステップＳ１１１において、符号化装置５０の多視点カラー画像撮像部５１は、多視点のカラー画像を撮像し、多視点カラー画像として多視点カラー画像補正部５２に供給する。

　ステップＳ１１２において、多視点カラー画像撮像部５１は、視差最大値、視差最小値、および外部パラメータを生成する。多視点カラー画像撮像部５１は、視差最大値、視差最小値、および外部パラメータを視点生成用情報生成部５４に供給するとともに、視差最大値と視差最小値を多視点視差画像生成部５３に供給する。

　ステップＳ１１３において、多視点カラー画像補正部５２は、多視点カラー画像撮像部５１から供給される多視点カラー画像に対して、色補正、輝度補正、歪み補正等を行う。これにより、補正後の多視点カラー画像における多視点カラー画像撮像部５１の水平方向（X方向）の焦点距離は、全視点で共通となる。多視点カラー画像補正部５２は、補正後の多視点カラー画像を多視点補正カラー画像として多視点視差画像生成部５３と多視点画像符号化部５５に供給する。

　ステップＳ１１４において、多視点視差画像生成部５３は、多視点カラー画像撮像部５１から供給される視差最大値と視差最小値に基づいて、多視点カラー画像補正部５２から供給される多視点補正カラー画像から、多視点の視差画像を生成する。そして、多視点視差画像生成部５３は、生成された多視点の視差画像を多視点視差画像として多視点画像符号化部５５に供給する。

　ステップＳ１１５において、多視点視差画像生成部５３は、視差精度パラメータを生成し、視点生成用情報生成部５４に供給する。

　ステップＳ１１６において、視点生成用情報生成部５４は、多視点カラー画像撮像部５１から供給される外部パラメータに基づいて、カメラ間距離を求める。

　ステップＳ１１７において、視点生成用情報生成部５４は、多視点カラー画像撮像部５１からの視差最大値および視差最小値、カメラ間距離、並びに多視点視差画像生成部５３からの視差精度パラメータを視点生成用情報として生成する。視点生成用情報生成部５４は、生成された視点生成用情報を多視点画像符号化部５５に供給する。

　ステップＳ１１８において、多視点画像符号化部５５は、多視点カラー画像補正部５２からの多視点補正カラー画像と多視点視差画像生成部５３からの多視点視差画像を符号化する多視点符号化処理を行う。この多視点符号化処理の詳細については、後述する図１２を参照して説明する。

　ステップＳ１１９において、多視点画像符号化部５５は、多視点符号化処理の結果得られる符号化ビットストリームを伝送し、処理を終了する。

　図１２は、図１１のステップＳ１１８の多視点符号化処理を説明するフローチャートである。

　図１２のステップＳ１３１において、多視点画像符号化部５５のスライス符号化部６１（図５）は、多視点カラー画像補正部５２からの多視点補正カラー画像と、多視点視差画像生成部５３からの多視点視差画像を、スライス単位で符号化する。具体的には、スライス符号化部６１は、多視点補正カラー画像をHEVC方式で符号化するカラー画像符号化処理をスライス単位で行う。また、スライス符号化部６１は、図１の視点生成用情報生成部５４から供給される視点生成用情報のうちの視差最大値、視差最小値、およびカメラ間距離を用いて、多視点視差画像をHEVC方式に準じた方式で符号化する視差画像符号化処理をスライス単位で行う。この視差画像符号化処理の詳細は、後述する図１３および図１４を参照して説明する。スライス符号化部６１は、符号化の結果得られるスライス単位の符号化データをスライスヘッダ符号化部６２に供給する。

　ステップＳ１３２において、スライスヘッダ符号化部６２は、視点生成用情報生成部５４から供給される視点生成用情報のうちのカメラ間距離、視差最大値、および視差最小値を、現在の処理対象のスライスのカメラ間距離、視差最大値、および視差最小値とし、保持する。

　ステップＳ１３３において、スライスヘッダ符号化部６２は、同一PPS単位を構成する全てのスライスのカメラ間距離、視差最大値、および視差最小値が、それぞれ、そのスライスより符号化順で１つ前のスライスのカメラ間距離、視差最大値、および視差最小値と一致するかどうかを判定する。

　ステップＳ１３３でカメラ間距離、視差最大値、および視差最小値が一致すると判定された場合、ステップＳ１３４において、スライスヘッダ符号化部６２は、カメラ間距離、視差最大値、および視差最小値の差分符号化結果の伝送の無しを表す伝送フラグを生成し、PPS符号化部６３に供給する。

　ステップＳ１３５において、スライスヘッダ符号化部６２は、ステップＳ１３３の処理対象である同一PPS単位を構成する各スライスの符号化データに、スライスヘッダとして、そのスライスのカメラ間距離、視差最大値、および視差最小値以外の符号化に関する情報を付加する。なお、この符号化に関する情報には、スライス符号化部６１から供給される画面内予測情報または動き情報が含まれる。そして、スライスヘッダ符号化部６２は、その結果得られる同一PPS単位を構成する各スライスの符号化データをPPS符号化部６３に供給し、処理をステップＳ１４０に進める。

　一方、ステップＳ１３３でカメラ間距離、視差最大値、および視差最小値が一致しないと判定された場合、ステップＳ１３６において、スライスヘッダ符号化部６２は、カメラ間距離、視差最大値、および視差最小値の差分符号化結果の伝送の有りを表す伝送フラグをPPS符号化部６３に供給する。なお、後述するステップＳ１３７乃至Ｓ１３９の処理は、ステップＳ１３３の処理対象である同一PPS単位を構成するスライスごとに行われる。

　ステップＳ１３７において、スライスヘッダ符号化部６２は、ステップＳ１３３の処理対象である同一PPS単位を構成するスライスのタイプがイントラタイプであるかどうかを判定する。ステップＳ１３７でスライスのタイプがイントラタイプであると判定された場合、ステップＳ１３８において、スライスヘッダ符号化部６２は、そのスライスの符号化データに、スライスヘッダとして、そのスライスのカメラ間距離、視差最大値、および視差最小値を含む符号化に関する情報を付加する。なお、この符号化に関する情報には、スライス符号化部６１から供給される画面内予測情報または動き情報も含まれる。そして、スライスヘッダ符号化部６２は、その結果得られるスライス単位の符号化データをPPS符号化部６３に供給し、処理をステップＳ１４０に進める。

　一方、ステップＳ１３７でスライスのタイプがイントラタイプではないと判定された場合、即ちスライスのタイプがインタータイプである場合、処理はステップＳ１３９に進む。ステップＳ１３９において、スライスヘッダ符号化部６２は、そのスライスのカメラ間距離、視差最大値、および視差最小値を差分符号化し、そのスライスの符号化データに、差分符号化結果を含む符号化に関する情報をスライスヘッダとして付加する。なお、この符号化に関する情報には、スライス符号化部６１から供給される画面内予測情報または動き情報も含まれる。そして、スライスヘッダ符号化部６２は、その結果得られるスライス単位の符号化データをPPS符号化部６３に供給し、処理をステップＳ１４０に進める。

　ステップＳ１４０において、PPS符号化部６３は、スライスヘッダ符号化部６２から供給される伝送フラグと、図１の視点生成用情報生成部５４から供給される視点生成用情報のうちの視差精度パラメータを含むPPSを生成する。

　ステップＳ１４１において、PPS符号化部６３は、同一PPS単位で、スライスヘッダ符号化部６２から供給されるスライスヘッダが付加されたスライス単位の符号化データにPPSを付加し、SPS符号化部６４に供給する。

　ステップＳ１４２において、SPS符号化部６４は、SPSを生成する。

　ステップＳ１４３において、SPS符号化部６４は、シーケンス単位で、PPS符号化部６３から供給されるPPSが付加された符号化データにSPSを付加し、符号化ビットストリームを生成する。そして、処理は図１１のステップＳ１１８に戻り、ステップＳ１１９に進む。

　図１３および図１４は、図５のスライス符号化部６１の視差画像符号化処理の詳細を説明するフローチャートである。この視差画像符号化処理は、視点ごとに行われる。

　図１３のステップＳ１６０において、符号化部１２０のA/D変換部１２１は、多視点視差画像生成部５３から入力された所定の視点のフレーム単位の視差画像をA/D変換し、画面並べ替えバッファ１２２に出力して記憶させる。

　ステップＳ１６１において、画面並べ替えバッファ１２２は、記憶した表示の順番のフレームの視差画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２２は、並べ替え後のフレーム単位の視差画像を、演算部１２３、画面内予測部１３３、および動き予測・補償部１３４に供給する。

　ステップＳ１６２において、画面内予測部１３３は、加算部１３０から供給される参照画像を用いて、候補となる全てのイントラ予測モードの画面内予測処理を行う。このとき、画面内予測部１３３は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、画面内予測部１３３は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。画面内予測部１３３は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部１３６に供給する。

　ステップＳ１６３において、動き予測・補償部１３４は、画面並べ替えバッファ１２２から供給される視差画像と、フレームメモリ１３２から供給される参照画像とに基づいて、動き予測・補償処理を行う。

　具体的には、動き予測・補償部１３４は、画面並べ替えバッファ１２２から供給される視差画像と、フレームメモリ１３２から供給される参照画像とに基づいて、候補となる全てのインター予測モードの動き予測処理を行い、動きベクトルを生成する。また、動き予測・補償部１３４は、インター予測モードごとに、生成された動きベクトルに基づいて、フレームメモリ１３２から参照画像を読み出すことにより、動き補償処理を行う。動き予測・補償部１３４は、その結果生成される予測画像を補正部１３５に供給する。

　ステップＳ１６４において、補正部１３５は、図１の視点生成用情報生成部５４から供給される視点生成用情報のうちの視差最大値、視差最小値、およびカメラ間距離に基づいて、補正係数を算出する。

　ステップＳ１６５において、補正部１３５は、動き予測・補償部１３４から供給される各インター予測モードの予測画像を、補正係数を用いて補正する。

　ステップＳ１６６において、補正部１３５は、補正後の予測画像を用いて、各インター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、補正部１３５は、最適インター予測モードで生成された予測画像とコスト関数値とを選択部１３６に供給する。

　ステップＳ１６７において、選択部１３６は、画面内予測部１３３および補正部１３５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部１３６は、最適予測モードの予測画像を、演算部１２３および加算部１３０に供給する。

　ステップＳ１６８において、選択部１３６は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１６８で最適予測モードが最適インター予測モードであると判定された場合、選択部１３６は、最適インター予測モードで生成された予測画像の選択を補正部１３５に通知する。

　そして、ステップＳ１６９において、補正部１３５は、動き情報をスライスヘッダ符号化部６２（図５）に出力し、処理をステップＳ１７１に進める。

　一方、ステップＳ１６８で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部１３６は、最適イントラ予測モードで生成された予測画像の選択を画面内予測部１３３に通知する。

　そして、ステップＳ１７０において、画面内予測部１３３は、画面内予測情報をスライスヘッダ符号化部６２に出力し、処理をステップＳ１７１に進める。

　ステップＳ１７１において、演算部１２３は、画面並べ替えバッファ１２２から供給される視差画像から、選択部１３６から供給される予測画像を減算する。演算部１２３は、減算の結果得られる画像を、残差情報として直交変換部１２４に出力する。

　ステップＳ１７２において、直交変換部１２４は、演算部１２３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１２５に供給する。

　ステップＳ１７３において、量子化部１２５は、直交変換部１２４から供給される係数を量子化する。量子化された係数は、可逆符号化部１２６と逆量子化部１２８に入力される。

　ステップＳ１７４において、可逆符号化部１２６は、量子化部１２５から供給される量子化された係数を可逆符号化する。

　図１４のステップＳ１７５において、可逆符号化部１２６は、可逆符号化処理の結果得られる符号化データを蓄積バッファ１２７に供給し、蓄積させる。

　ステップＳ１７６において、蓄積バッファ１２７は、蓄積されている符号化データをスライスヘッダ符号化部６２に出力する。

　ステップＳ１７７において、逆量子化部１２８は、量子化部１２５から供給される量子化された係数を逆量子化する。

　ステップＳ１７８において、逆直交変換部１２９は、逆量子化部１２８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３０に供給する。

　ステップＳ１７９において、加算部１３０は、逆直交変換部１２９から供給される残差情報と、選択部１３６から供給される予測画像を加算し、局部的に復号された視差画像を得る。加算部１３０は、得られた視差画像をデブロックフィルタ１３１に供給するとともに、参照画像として画面内予測部１３３に供給する。

　ステップＳ１８０において、デブロックフィルタ１３１は、加算部１３０から供給される局部的に復号された視差画像に対してフィルタリングを行うことにより、ブロック歪を除去する。

　ステップＳ１８１において、デブロックフィルタ１３１は、フィルタリング後の視差画像をフレームメモリ１３２に供給し、蓄積させる。フレームメモリ１３２に蓄積された視差画像は、参照画像として動き予測・補償部１３４に出力される。そして、処理は終了する。

　なお、図１３および図１４のステップＳ１６２乃至Ｓ１８１の処理は、例えば、コーディングユニット単位で行われる。また、図１３および図１４の視差画像符号化処理では、説明を簡単化するため、常に、画面内予測処理と動き補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。

　以上のように、符号化装置５０は、視差画像に関する情報を用いて予測画像を補正し、補正後の予測画像を用いて視差画像を符号化する。より詳細には、符号化装置５０は、視差画像に関する情報としてカメラ間距離、視差最大値、および視差最小値を用いて、予測画像と視差画像の間で、奥行方向の被写体の位置が同一である場合に視差値が同一となるように予測画像を補正し、補正後の予測画像を用いて視差画像を符号化する。従って、視差画像に関する情報によって生じる予測画像と視差画像の差分が削減され、符号化効率が向上する。特に、視差画像に関する情報がピクチャごとに変化するとき、符号化効率が向上する。

　また、符号化装置５０は、予測画像の補正に用いられる情報として、補正係数そのものではなく、補正係数の算出に用いられるカメラ間距離、視差最大値、および視差最小値を伝送する。ここで、カメラ間距離、視差最大値、および視差最小値は、視点生成用情報の一部である。従って、カメラ間距離、視差最大値、および視差最小値を、予測画像の補正に用いられる情報および視点生成用情報の一部として共有させることができる。その結果、符号化ビットストリームの情報量を削減することができる。

　[復号装置の一実施の形態の構成例]
　図１５は、図１の符号化装置５０から伝送される符号化ビットストリームを復号する、本技術を適用した復号装置の一実施の形態の構成例を示すブロック図である。

　図１５の復号装置１５０は、多視点画像復号部１５１、視点合成部１５２、および多視点画像表示部１５３により構成される。復号装置１５０は、符号化装置５０から伝送されてくる符号化ビットストリームを復号し、その結果得られる多視点カラー画像、多視点視差画像、および視点生成用情報を用いて表示視点のカラー画像を生成して表示する。

　具体的には、復号装置１５０の多視点画像復号部１５１は、図１の符号化装置５０から伝送されてくる符号化ビットストリームを受け取る。多視点画像復号部１５１は、受け取られた符号化ビットストリームに含まれるPPSから視差精度パラメータと伝送フラグを抽出する。また、多視点画像復号部１５１は、伝送フラグに応じて、符号化ビットストリームのスライスヘッダからカメラ間距離、視差最大値、および視差最小値を抽出する。多視点画像復号部１５１は、視差精度パラメータ、カメラ間距離、視差最大値、および視差最小値からなる視点生成用情報を生成し、視点合成部１５２に供給する。

　また、多視点画像復号部１５１は、符号化ビットストリームに含まれるスライス単位の多視点補正カラー画像の符号化データを、図１の多視点画像符号化部５５の符号化方式に対応する方式で復号し、多視点補正カラー画像を生成する。また、多視点画像復号部１５１は、復号部として機能する。多視点画像復号部１５１は、カメラ間距離、視差最大値、および視差最小値を用いて、符号化ビットストリームに含まれる多視点視差画像の符号化データを、多視点画像符号化部５５の符号化方式に対応する方式で復号し、多視点視差画像を生成する。多視点画像復号部１５１は、生成された多視点補正カラー画像および多視点視差画像を視点合成部１５２に供給する。

　視点合成部１５２は、多視点画像復号部１５１からの視点生成用情報を用いて、多視点画像復号部１５１からの多視点視差画像に対して、多視点画像表示部１５３に対応する視点数の表示視点へのワーピング処理を行う。具体的には、視点合成部１５２は、視点生成用情報に含まれるカメラ間距離、視差最大値、および視差最小値等に基づいて、視差精度パラメータに対応する精度で、多視点視差画像に対して表示視点へのワーピング処理を行う。なお、ワーピング処理とは、ある視点の画像から別の視点の画像へ幾何変換する処理である。また、表示視点には、多視点カラー画像に対応する視点以外の視点が含まれる。

　また、視点合成部１５２は、ワーピング処理の結果得られる表示視点の視差画像を用いて、多視点画像復号部１５１から供給される多視点補正カラー画像に対して、表示視点へのワーピング処理を行う。視点合成部１５２は、その結果得られる表示視点のカラー画像を、多視点合成カラー画像として多視点画像表示部１５３に供給する。

　多視点画像表示部１５３は、視点合成部１５２から供給される多視点合成カラー画像を、視点ごとに視認可能な角度が異なるように表示する。視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに複数の視点から３Ｄ画像を見ることができる。

　以上のように、視点合成部１５２は、視差精度パラメータに基づいて、視点精度パラメータに対応する精度で、多視点視差画像に対する表示視点へのワーピング処理を行うので、視点合成部１５２は、無駄に高精度のワーピング処理を行う必要がない。

　また、視点合成部１５２は、カメラ間距離に基づいて、多視点視差画像に対する表示視点へのワーピング処理を行うので、ワーピング処理後の多視点視差画像の視差値に対応する視差が適正な範囲ではない場合、カメラ間距離に基づいて、視差値を適正な範囲の視差に対応する値に修正することができる。

　[多視点画像復号部の構成例]
　図１６は、図１５の多視点画像復号部１５１の構成例を示すブロック図である。

　図１６の多視点画像復号部１５１は、SPS復号部１７１、PPS復号部１７２、スライスヘッダ復号部１７３、およびスライス復号部１７４により構成される。

　多視点画像復号部１５１のSPS復号部１７１は、受け取り部として機能し、図１の符号化装置５０から伝送されてくる符号化ビットストリームを受け取り、その符号化ビットストリームのうちのSPSを抽出する。SPS復号部１７１は、抽出されたSPSとSPS以外の符号化ビットストリームをPPS復号部１７２に供給する。

　PPS復号部１７２は、SPS復号部１７１から供給されるSPS以外の符号化ビットストリームからPPSを抽出する。PPS復号部１７２は、抽出されたPPS、SPS、およびSPSとPPS以外の符号化ビットストリームをスライスヘッダ復号部１７３に供給する。

　スライスヘッダ復号部１７３は、PPS復号部１７２から供給されるSPSとPPS以外の符号化ビットストリームからスライスヘッダを抽出する。スライスヘッダ復号部１７３は、PPS復号部１７２からのPPSに含まれる伝送フラグが伝送の有りを表す「1」である場合、スライスヘッダに含まれるカメラ間距離、視差最大値、および視差最小値を保持するか、または、カメラ間距離、視差最大値、および視差最小値の差分符号化結果に基づいて保持されているカメラ間距離、視差最大値、および視差最小値を更新する。スライスヘッダ復号部１７３は、保持されているカメラ間距離、視差最大値、および視差最小値、並びに、PPSに含まれる視差精度パラメータから視点生成用情報を生成し、視点合成部１５２に供給する。

　さらに、スライスヘッダ復号部１７３は、SPS,PPS、およびスライスヘッダのカメラ間距離、視差最大値、および視差最小値に関する情報以外、並びに、SPS,PPS、およびスライスヘッダ以外の符号化ビットストリームであるスライス単位の符号化データを、スライス復号部１７４に供給する。また、スライスヘッダ復号部１７３は、カメラ間距離、視差最大値、および視差最小値をスライス復号部１７４に供給する。

　スライス復号部１７４は、スライスヘッダ復号部１７３から供給されるSPS,PPS、およびスライスヘッダのカメラ間距離、視差最大値、および視差最小値に関する情報以外に基づいて、スライス符号化部６１（図５）における符号化方式に対応する方式で、スライス単位の多重化カラー画像の符号化データを復号する。また、スライス復号部１７４は、SPS,PPS、スライスヘッダのカメラ間距離、視差最大値、および視差最小値関する情報以外、並びに、カメラ間距離、視差最大値、および視差最小値に基づいて、スライス符号化部６１における符号化方式に対応する方式で、スライス単位の多重化視差画像の符号化データを復号する。スライスヘッダ復号部１７３は、復号の結果得られる多視点補正カラー画像と多視点視差画像を、図１５の視点合成部１５２に供給する。

　［スライス復号部の構成例］
　図１７は、図１６のスライス復号部１７４のうちの任意の１視点の視差画像を復号する復号部の構成例を示すブロック図である。即ち、スライス復号部１７４のうちの多視点視差画像を復号する復号部は、視点数分の図１７の復号部２５０により構成される。

　図１７の復号部２５０は、蓄積バッファ２５１、可逆復号部２５２、逆量子化部２５３、逆直交変換部２５４、加算部２５５、デブロックフィルタ２５６、画面並べ替えバッファ２５７、D/A変換部２５８、フレームメモリ２５９、画面内予測部２６０、動きベクトル生成部２６１、動き補償部２６２、補正部２６３、およびスイッチ２６４により構成される。

　復号部２５０の蓄積バッファ２５１は、図１６のスライスヘッダ復号部１７３からスライス単位の所定の視点の視差画像の符号化データを受け取り、蓄積する。蓄積バッファ２５１は、蓄積されている符号化データを可逆復号部２５２に供給する。

　可逆復号部２５２は、蓄積バッファ２５１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数を得る。可逆復号部２５２は、量子化された係数を逆量子化部２５３に供給する。

　逆量子化部２５３、逆直交変換部２５４、加算部２５５、デブロックフィルタ２５６、フレームメモリ２５９、画面内予測部２６０、動き補償部２６２、および補正部２６３は、図６の逆量子化部１２８、逆直交変換部１２９、加算部１３０、デブロックフィルタ１３１、フレームメモリ１３２、画面内予測部１３３、動き予測・補償部１３４、および補正部１３５とそれぞれ同様の処理を行い、これにより、所定の視点の視差画像が復号される。

　具体的には、逆量子化部２５３は、可逆復号部２５２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部２５４に供給する。

　逆直交変換部２５４は、逆量子化部２５３からの係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部２５５に供給する。

　加算部２５５は、復号部として機能し、逆直交変換部２５４から供給される復号対象の視差画像としての残差情報と、スイッチ２６４から供給される予測画像を加算することにより、復号対象の視差画像を復号する。加算部２５５は、その結果得られる視差画像をデブロックフィルタ２５６に供給するとともに、参照画像として画面内予測部２６０に供給する。なお、スイッチ２６４から予測画像が供給されない場合、加算部２５５は、逆直交変換部２５４から供給される残差情報である視差画像をデブロックフィルタ２５６に供給するとともに、参照画像として画面内予測部２６０に供給する。

　デブロックフィルタ２５６は、加算部２５５から供給される視差画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２５６は、その結果得られる視差画像をフレームメモリ２５９に供給し、蓄積させるとともに、画面並べ替えバッファ２５７に供給する。フレームメモリ２５９に蓄積された視差画像は、参照画像として動き補償部２６２に供給される。

　画面並べ替えバッファ２５７は、デブロックフィルタ２５６から供給される視差画像をフレーム単位で記憶する。画面並べ替えバッファ２５７は、記憶した符号化のための順番のフレーム単位の視差画像を、元の表示の順番に並び替え、D/A変換部２５８に供給する。

　D/A変換部２５８は、画面並べ替えバッファ２５７から供給されるフレーム単位の視差画像をD/A変換し、所定の視点の視差画像として視点合成部１５２（図１５）に供給する。

　画面内予測部２６０は、加算部２５５から供給される参照画像を用いて、スライスヘッダ復号部１７３（図１６）から供給される画面内予測情報が表す最適イントラ予測モードの画面内予測を行い、予測画像を生成する。そして、画面内予測部２６０は、予測画像をスイッチ２６４に供給する。

　動きベクトル生成部２６１は、保持されている動きベクトルのうちの、スライスヘッダ復号部１７３から供給される動き情報に含まれる予測ベクトルインデックスが表す動きベクトルと、動きベクトル残差とを加算し、動きベクトルを復元する。動きベクトル生成部２６１は、復元された動きベクトルを保持する。また、動きベクトル生成部２６１は、復元された動きベクトルと、動き情報に含まれる最適インター予測モード等を動き補償部２６２に供給する。

　動き補償部２６２は、予測画像生成部として機能し、動きベクトル生成部２６１から供給される動きベクトルと最適インター予測モードに基づいて、フレームメモリ２５９から参照画像を読み出すことにより、動き補償処理を行う。動き補償部２６２は、その結果生成される予測画像を補正部２６３に供給する。

　補正部２６３は、図６の補正部１３５と同様に、図１６のスライスヘッダ復号部１７３から供給される視差最大値、視差最小値、およびカメラ間距離に基づいて、予測画像を補正する際に用いる補正係数を生成する。また、補正部２６３は、補正部１３５と同様に、動き補償部２６２から供給される最適インター予測モードの予測画像を、補正係数を用いて補正する。補正部２６３は、補正後の予測画像をスイッチ２６４に供給する。

　スイッチ２６４は、画面内予測部２６０から予測画像が供給された場合、その予測画像を加算部２５５に供給し、動き補償部２６２から予測画像が供給された場合、その予測画像を加算部２５５に供給する。

　[復号装置の処理の説明]
　図１８は、図１５の復号装置１５０の復号処理を説明するフローチャートである。この復号処理は、例えば、図１の符号化装置５０から符号化ビットストリームが伝送されてきたとき、開始される。

　図１８のステップＳ２０１において、復号装置１５０の多視点画像復号部１５１は、図１の符号化装置５０から伝送されてくる符号化ビットストリームを受け取る。

　ステップＳ２０２において、多視点画像復号部１５１は、受け取られた符号化ビットストリームを復号する多視点復号処理を行う。この多視点復号処理の詳細は、後述する図１９を参照して説明する。

　ステップＳ２０３において、視点合成部１５２は、カラー画像生成部として機能し、多視点画像復号部１５１から供給される視点生成用情報、多視点補正カラー画像、および多視点視差画像を用いて、多視点合成カラー画像を生成する。

　ステップＳ２０４において、多視点画像表示部１５３は、視点合成部１５２から供給される多視点合成カラー画像を、視点ごとに視認可能な角度が異なるように表示し、処理を終了する。

　図１９は、図１８のステップＳ２０２の多視点復号処理の詳細を説明するフローチャートである。

　図１９のステップＳ２２１において、多視点画像復号部１５１のSPS復号部１７１（図１６）は、受け取られた符号化ビットストリームのうちのSPSを抽出する。SPS復号部１７１は、抽出されたSPSとSPS以外の符号化ビットストリームをPPS復号部１７２に供給する。

　ステップＳ２２２において、PPS復号部１７２は、SPS復号部１７１から供給されるSPS以外の符号化ビットストリームからPPSを抽出する。PPS復号部１７２は、抽出されたPPS、SPS、およびSPSとPPS以外の符号化ビットストリームをスライスヘッダ復号部１７３に供給する。

　ステップＳ２２３において、スライスヘッダ復号部１７３は、PPS復号部１７２から供給されるPPSに含まれる視差精度パラメータを視点生成用情報の一部として視点合成部１５２に供給する。

　ステップＳ２２４において、スライスヘッダ復号部１７３は、PPS復号部１７２からのPPSに含まれる伝送フラグが伝送の有りを表す「1」であるかどうかを判定する。なお、以降のステップＳ２２５乃至Ｓ２３４の処理は、スライス単位で行われる。

　ステップＳ２２４で伝送フラグが伝送の有りを表す「1」であると判定された場合、処理はステップＳ２２５に進む。ステップＳ２２５において、スライスヘッダ復号部１７３は、PPS復号部１７２から供給されるSPSとPPS以外の符号化ビットストリームから、視差最大値、視差最小値、およびカメラ間距離、または、視差最大値、視差最小値、およびカメラ間距離の差分符号化結果を含むスライスヘッダを抽出する。

　ステップＳ２２６において、スライスヘッダ復号部１７３は、スライスのタイプがイントラタイプであるかどうかを判定する。ステップＳ２２６でスライスのタイプがイントラタイプであると判定された場合、処理はステップＳ２２７に進む。

　ステップＳ２２７において、スライスヘッダ復号部１７３は、ステップＳ２２５で抽出されたスライスヘッダに含まれる視差最小値を保持し、視点生成用情報の一部として視点合成部１５２に供給する。

　ステップＳ２２８において、スライスヘッダ復号部１７３は、ステップＳ２２５で抽出されたスライスヘッダに含まれる視差最大値を保持し、視点生成用情報の一部として視点合成部１５２に供給する。

　ステップＳ２２９において、スライスヘッダ復号部１７３は、ステップＳ２２５で抽出されたスライスヘッダに含まれるカメラ間距離を保持し、視点生成用情報の一部として視点合成部１５２に供給する。そして、処理はステップＳ２３５に進む。

　一方、ステップＳ２２６でスライスのタイプがイントラタイプではないと判定された場合、即ちスライスのタイプがインタータイプである場合、処理はステップＳ２３０に進む。

　ステップＳ２３０において、スライスヘッダ復号部１７３は、ステップＳ２２５で抽出されたスライスヘッダに含まれる視差最小値の差分符号化結果を、保持されている視差最小値に加算する。スライスヘッダ復号部１７３は、加算により復元された視差最小値を視点生成用情報の一部として視点合成部１５２に供給する。

　ステップＳ２３１において、スライスヘッダ復号部１７３は、ステップＳ２２５で抽出されたスライスヘッダに含まれる視差最大値の差分符号化結果を、保持されている視差最大値に加算する。スライスヘッダ復号部１７３は、加算により復元された視差最大値を視点生成用情報の一部として視点合成部１５２に供給する。

　ステップＳ２３２において、スライスヘッダ復号部１７３は、ステップＳ２２５で抽出されたスライスヘッダに含まれるカメラ間距離の差分符号化結果を、保持されているカメラ間距離に加算する。スライスヘッダ復号部１７３は、加算により復元されたカメラ間距離を視点生成用情報の一部として視点合成部１５２に供給する。そして、処理はステップＳ２３５に進む。

　一方、ステップＳ２２４で伝送フラグが伝送の有りを表す「1」ではないと判定された場合、即ち伝送フラグが伝送の無しを表す「0」である場合、処理はステップＳ２３３に進む。

　ステップＳ２３３において、スライスヘッダ復号部１７３は、PPS復号部１７２から供給されるSPSとPPS以外の符号化ビットストリームから、視差最大値、視差最小値、およびカメラ間距離、および、視差最大値、視差最小値、およびカメラ間距離の差分符号化結果を含まないスライスヘッダを抽出する。

　ステップＳ２３４において、スライスヘッダ復号部１７３は、保持されている視差最大値、視差最小値、およびカメラ間距離、即ち符号化順で1つ前のスライスの視差最大値、視差最小値、およびカメラ間距離を、処理対象のスライスの視差最大値、視差最小値、およびカメラ間距離とすることにより、処理対象のスライスの視差最大値、視差最小値、およびカメラ間距離を復元する。そして、スライスヘッダ復号部１７３は、復元された視差最大値、視差最小値、およびカメラ間距離を、視点生成用情報の一部として視点合成部１５２に供給し、処理をステップＳ２３５に進める。

　ステップＳ２３５において、スライス復号部１７４は、スライス符号化部６１（図５）における符号化方式に対応する方式で、スライス単位の符号化データを復号する。具体的には、スライス復号部１７４は、スライスヘッダ復号部１７３からのSPS,PPS、およびカメラ間距離、視差最大値、および視差最小値に関する情報以外のスライスヘッダに基づいて、スライス符号化部６１における符号化方式に対応する方式で、スライス単位の多視点カラー画像の符号化データを復号する。また、スライス復号部１７４は、スライスヘッダ復号部１７３からのSPS,PPS、カメラ間距離、視差最大値、および視差最小値に関する情報以外のスライスヘッダ、並びに、カメラ間距離、視差最大値、および視差最小値に基づいて、スライス符号化部６１における符号化方式に対応する方式で、スライス単位の多視点補正画像の符号化データを復号する視差画像復号処理を行う。この視差画像復号処理の詳細は、後述する図２０を参照して説明する。スライスヘッダ復号部１７３は、復号の結果得られる多視点補正カラー画像と多視点視差画像を、図１５の視点合成部１５２に供給する。

　図２０は、図１６のスライス復号部１７４の視差画像復号処理の詳細を説明するフローチャートである。この視差画像復号処理は、視点ごとに行われる。

　図２０のステップＳ２６１において、復号部２５０の蓄積バッファ２５１は、図１６のスライスヘッダ復号部１７３から所定の視点の視差画像のスライス単位の符号化データを受け取り、蓄積する。蓄積バッファ２５１は、蓄積されている符号化データを可逆復号部２５２に供給する。

　ステップＳ２６２において、可逆復号部２５２は、蓄積バッファ２５１から供給される符号化データを可逆復号し、その結果得られる量子化された係数を逆量子化部２５３に供給する。

　ステップＳ２６３において、逆量子化部２５３は、可逆復号部２５２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部２５４に供給する。

　ステップＳ２６４において、逆直交変換部２５４は、逆量子化部２５３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２５５に供給する。

　ステップＳ２６５において、動きベクトル生成部２６１は、図１６のスライスヘッダ復号部１７３から動き情報が供給されたかどうかを判定する。ステップＳ２６５で動き情報が供給されたと判定された場合、処理はステップＳ２６６に進む。

　ステップＳ２６６において、動きベクトル生成部２６１は、動き情報と保持している動きベクトルに基づいて動きベクトルを復元し、保持する。動きベクトル生成部２６１は、復元された動きベクトルと、動き情報に含まれる最適インター予測モード等を動き補償部２６２に供給する。

　ステップＳ２６７において、動き補償部２６２は、動きベクトル生成部２６１から供給される動きベクトルと最適インター予測モードに基づいて、フレームメモリ２５９から参照画像を読み出すことにより動き補償処理を行う。動き補償部２６２は、動き補償処理の結果生成される予測画像を補正部２６３に供給する。

　ステップＳ２６８において、補正部２６３は、図６の補正部１３５と同様に、図１６のスライスヘッダ復号部１７３から供給される視差最大値、視差最小値、およびカメラ間距離に基づいて、補正係数を算出する。

　ステップＳ２６９において、補正部２６３は、補正部１３５と同様に、動き補償部２６２から供給される最適インター予測モードの予測画像を、補正係数を用いて補正する。補正部２６３は、補正後の予測画像を、スイッチ２６４を介して加算部２５５に供給し、処理をステップＳ２７１に進める。

　一方、ステップＳ２６５で動き情報が供給されていないと判定された場合、即ち画面内予測情報がスライスヘッダ復号部１７３から画面内予測部２６０に供給された場合、処理はステップＳ２７０に進む。

　ステップＳ２７０において、画面内予測部２６０は、加算部２５５から供給される参照画像を用いて、スライスヘッダ復号部１７３から供給される画面内予測情報が示す最適イントラ予測モードの画面内予測処理を行う。画面内予測部２６０は、その結果生成される予測画像を、スイッチ２６４を介して加算部２５５に供給し、処理をステップＳ２７１に進める。

　ステップＳ２７１において、加算部２５５は、逆直交変換部２５４から供給される残差情報と、スイッチ２６４から供給される予測画像を加算する。加算部２５５は、その結果得られる視差画像をデブロックフィルタ２５６に供給するとともに、参照画像として画面内予測部２６０に供給する。

　ステップＳ２７２において、デブロックフィルタ２５６は、加算部２５５から供給される視差画像に対してフィルタリングを行い、ブロック歪を除去する。

　ステップＳ２７３において、デブロックフィルタ２５６は、フィルタリング後の視差画像をフレームメモリ２５９に供給し、蓄積させるとともに、画面並べ替えバッファ２５７に供給する。フレームメモリ２５９に蓄積された視差画像は、参照画像として動き補償部２６２に供給される。

　ステップＳ２７４において、画面並べ替えバッファ２５７は、デブロックフィルタ２５６から供給される視差画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の視差画像を、元の表示の順番に並び替え、D/A変換部２５８に供給する。

　ステップＳ２７５において、D/A変換部２５８は、画面並べ替えバッファ２５７から供給されるフレーム単位の視差画像をD/A変換し、所定の視点の視差画像として図１５の視点合成部１５２に供給する。

　以上のように、復号装置１５０は、視差画像に関する情報を用いて補正された予測画像を用いて符号化することにより符号化効率が向上された視差画像の符号化データと、その視差画像に関する情報を含む符号化ビットストリームを受け取る。そして、復号装置１５０は、視差画像に関する情報を用いて予測画像を補正し、補正後の予測画像を用いて視差画像の符号化データを復号する。

　より詳細には、復号装置１５０は、視差画像に関する情報としてカメラ間距離、視差最大値、および視差最小値を用いて補正された予測画像を用いて符号化された符号化データと、カメラ間距離、視差最大値、および視差最小値とを受け取る。そして、復号装置１５０は、カメラ間距離、視差最大値、および視差最小値を用いて予測画像を補正し、補正後の予測画像を用いて視差画像の符号化データを復号する。これにより、復号装置１５０は、視差画像に関する情報を用いて補正された予測画像を用いて符号化することにより符号化効率が向上された視差画像の符号化データを復号することができる。

　なお、符号化装置５０は、予測画像の補正に用いられる情報として、視差最大値、視差最小値、およびカメラ間距離をスライスヘッダに含めて伝送したが、伝送方法は、これに限定されない。

　［予測画像の補正に用いられる情報の伝送方法の説明］
　図２１は、予測画像の補正に用いられる情報の伝送方法を説明する図である。

　図２１の第１の伝送方法は、上述したように、予測画像の補正に用いられる情報として、視差最大値、視差最小値、およびカメラ間距離をスライスヘッダに含めて伝送する方法である。この場合、予測画像の補正に用いられる情報と視点生成用情報を共有させ、符号化ビットストリームの情報量を削減することができる。しかしながら、復号装置１５０において、視差最大値、視差最小値、およびカメラ間距離を用いて補正係数を算出する必要があり、復号装置１５０の処理負荷は後述する第２の伝送方法に比べて大きい。

　一方、図２１の第２の伝送方法は、予測画像の補正に用いられる情報として補正係数そのものをスライスヘッダに含めて伝送する方法である。この場合、視差最大値、視差最小値、およびカメラ間距離は、予測画像の補正に用いられないため、視点生成用情報の一部として、例えば、符号化時に参照する必要がないSEI（Supplemental Enhancement Information）に含めて伝送される。第２の伝送方法では、補正係数が伝送されるので、復号装置１５０において補正係数を算出する必要がなく、復号装置１５０の処理負荷は第１の伝送方法に比べて小さい。しかしながら、補正係数が新たに伝送されるので、符号化ビットストリームの情報量は多くなる。

　なお、上述した説明では、予測画像は、視差最大値、視差最小値、およびカメラ間距離を用いて補正されたが、他の視差に関する情報（例えば、多視点カラー画像撮像部５１の奥行き方向の撮像位置を表す撮像位置情報など）も用いて補正されるようにすることもできる。

　この場合、図２１の第３の伝送方法により、予測画像の補正に用いられる情報として、視差最大値、視差最小値、カメラ間距離、および他の視差に関する情報を用いて生成された補正係数である追加補正係数がスライスヘッダに含められて伝送される。このように、視差最大値、視差最小値、およびカメラ間距離以外の視差に関する情報も用いて予測画像が補正される場合、視差に関する情報による予測画像と視差画像の差分をより削減し、符号化効率を向上させることができる。しかしながら、追加補正係数が新たに伝送されるので、第１の伝送方法に比べて符号化ビットストリームの情報量は多くなる。また、視差最大値、視差最小値、およびカメラ間距離を用いて補正係数を算出する必要があるので、第２の伝送方法に比べて復号装置１５０の処理負荷は大きい。

　図２２は、第２の伝送方法で予測画像の補正に用いられる情報を伝送する場合の符号化ビットストリームの構成例を示す図である。

　図２２の例では、PPS#0の同一PPS単位を構成する1つのイントラタイプのスライスと2つのインタータイプのスライスの補正係数が、それぞれ、符号化順で1つ前のスライスの補正係数と一致しない。従って、PPS#0には、伝送の有りを表す伝送フラグ「1」が含まれる。なお、ここでは、伝送フラグは、補正係数の伝送の有無を表すフラグである。

　また、図２２の例では、PPS#0の同一PPS単位を構成するイントラタイプのスライスの補正係数aが1であり、補正係数bが0である。従って、そのスライスのスライスヘッダには、補正係数a「1」と補正係数b「0」が含まれる。

　さらに、図２２の例では、PPS#0の同一PPS単位を構成する1番目のインタータイプのスライスの補正係数aが3であり、補正係数bが2である。従って、そのスライスのスライスヘッダには、そのスライスの補正係数a「3」から、符号化順で1つ前のイントラタイプのスライスの補正係数a「1」を減算した差分「+2」が、補正係数の差分符号化結果として含まれる。同様に、補正係数bの差分「+2」が補正係数bの差分符号化結果として含まれる。

　また、図２２の例では、PPS#0の同一PPS単位を構成する2番目のインタータイプのスライスの補正係数aが0であり、補正係数bが-1である。従って、そのスライスのスライスヘッダには、そのスライスの補正係数a「0」から、符号化順で1つ前の1番目のインタータイプのスライスの補正係数a「3」を減算した差分「-3」が、補正係数の差分符号化結果として含まれる。同様に、補正係数bの差分「-3」が補正係数bの差分符号化結果として含まれる。

　また、図２２の例では、PPS#1の同一PPS単位を構成する1つのイントラタイプのスライスと2つのインタータイプのスライスの補正係数が、それぞれ、符号化順で1つ前のスライスの補正係数と一致する。従って、PPS#1には、伝送の無しを表す伝送フラグ「0」が含まれる。

　図２３は、第３の伝送方法で予測画像の補正に用いられる情報を伝送する場合の符号化ビットストリームの構成例を示す図である。

　図２３の例では、PPS#0の同一PPS単位を構成する1つのイントラタイプのスライスと2つのインタータイプのスライスの視差最小値、視差最大値、カメラ間距離、および追加補正係数が、それぞれ、符号化順で1つ前のスライスの視差最小値、視差最大値、カメラ間距離、および追加補正係数と一致しない。従って、PPS#0には、伝送の有りを表す伝送フラグ「1」が含まれる。なお、ここでは、伝送フラグは、視差最小値、視差最大値、カメラ間距離、および追加補正係数の伝送の有無を表すフラグである。

　また、図２３の例では、PPS#0の同一PPS単位を構成するスライスの視差最小値、視差最大値、およびカメラ間距離は、図７の場合と同様であり、各スライスのスライスヘッダに含まれる視差最小値、視差最大値、およびカメラ間距離に関する情報は図７と同様であるので、説明は省略する。

　また、図２３の例では、PPS#0の同一PPS単位を構成するイントラタイプのスライスの追加補正係数は5である。従って、そのスライスのスライスヘッダには、追加補正係数「5」が含まれる。

　さらに、図２３の例では、PPS#0の同一PPS単位を構成する1番目のインタータイプのスライスの追加補正係数が7である。従って、そのスライスのスライスヘッダには、そのスライスの追加補正係数「7」から、符号化順で1つ前のイントラタイプのスライスの追加補正係数「5」を減算した差分「+2」が、追加補正係数の差分符号化結果として含まれる。

　また、図２３の例では、PPS#0の同一PPS単位を構成する2番目のインタータイプのスライスの追加補正係数が8である。従って、そのスライスのスライスヘッダには、そのスライスの追加補正係数「8」から、符号化順で1つ前の1番目のインタータイプのスライスの追加補正係数「7」を減算した差分「+1」が、追加補正係数の差分符号化結果として含まれる。

　また、図２３の例では、PPS#1の同一PPS単位を構成する1つのイントラタイプのスライスと2つのインタータイプのスライスの視差最小値、視差最大値、カメラ間距離、および追加補正係数が、それぞれ、符号化順で1つ前のスライスの視差最小値、視差最大値、カメラ間距離、および追加補正係数と一致する。従って、PPS#1には、伝送の無しを表す伝送フラグ「0」が含まれる。

　符号化装置５０は、図２１の第１乃至第３の伝送方法のいずれの方法で、予測画像の補正に用いられる情報を伝送するようにしてもよい。また、符号化装置５０は、伝送方法として採用した、第１乃至第３の伝送方法のうちの１つの伝送方法を識別する識別情報（例えば、フラグ、ＩＤなど）を、符号化ビットストリームに含めて伝送するようにしてもよい。さらに、図２１の第１乃至第３の伝送方法は、符号化ビットストリームを利用するアプリケーションに応じて、符号化ビットストリームのデータ量と復号の処理負荷のバランスを考慮して適宜選択することが可能である。

　また、本実施の形態では、予測画像の補正に用いられる情報は、符号化に関する情報としてスライスヘッダに配置されたが、予測画像の補正に用いられる情報の配置領域は、符号化時に参照される領域であれば、スライスヘッダに限定されない。例えば、予測画像の補正に用いられる情報は、PPSのNALユニット等の既存のNAL(Network Abstraction Layer)ユニットや、HEVC規格で提案されているAPS（Adaptation Parameter Set）のNALユニット等の新たなNALユニットに配置されるようにすることができる。

　例えば、補正係数や追加補正係数が複数のピクチャ間で共通である場合、その複数のピクチャに適応可能なNALユニット（例えば、PPSのNALユニット等）に、その共通の値を配置させることにより、伝送効率を向上させることができる。即ち、この場合、複数のピクチャ間で共通の補正係数や追加補正係数を伝送すればよいので、スライスヘッダに配置させる場合のように、スライスごとに補正係数や追加補正係数を伝送する必要がない。

　従って、例えば、カラー画像が、フラッシュやフェード効果を有するカラー画像である場合、視差最小値、視差最大値、カメラ間距離等などのパラメータが変化しない傾向があるため、補正係数や追加補正係数はPPSのNALユニットなどに配置させ、伝送効率を向上させる。

　補正係数や追加補正係数は、例えば、ピクチャごとに異なる場合、スライスヘッダに配置させ、複数のピクチャ間で共通である場合、スライスヘッダよりも上のレイヤ(例えば、PPSのNALユニット等)に配置することができる。

　さらに、視差画像は、その視差画像に対応する視点のカラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる画像（奥行き画像）であってもよい。この場合、視差最大値と視差最小値は、ぞれぞれ、多視点視差画像においてとり得る奥行方向の位置の世界座標値の最大値、最小値である。

　また、本技術は、HEVC方式以外のAVC,MVC（Multiview Video Coding）等の符号化方式にも適用することができる。

　＜スライス符号化部の他の構成＞
　図２４は、多視点画像符号化部５５（図１）を構成するスライス符号化部６１（図５）とスライスヘッダ符号化部６２を抜き出した図である。図２４では、図５に示したスライス符号化部６１、スライスヘッダ符号化部６２と区別を付けるために、異なる符号を付して説明するが、基本的な処理は、図５に示したスライス符号化部６１、スライスヘッダ符号化部６２と同様であるので、その説明は適宜省略する。

　スライス符号化部３０１は、上記したスライス符号化部６１と同様の符号化を行う。すなわち、スライス符号化部３０１は、多視点カラー画像補正部５２（図１）から供給される多視点補正カラー画像に対して、HEVC方式でスライス単位の符号化を行う。

　またスライス符号化部３０１は、図１の視点生成用情報生成部５４から供給される視点生成用情報のうちの視差最大値、視差最小値、およびカメラ間距離を視差に関する情報として用いて、多視点視差画像生成部５３からの多視点視差画像に対して、HEVC方式に準じた方式でスライス単位の符号化を行う。スライス符号化部３０１は、符号化の結果得られるスライス単位の符号化データ等をスライスヘッダ符号化部３０２に出力する。

　スライスヘッダ符号化部３０２は、視点生成用情報生成部５４（図１）から供給される視点生成用情報のうちの視差最大値、視差最小値、およびカメラ間距離を、現在の処理対象のスライスの視差最大値、視差最小値、およびカメラ間距離とし、保持する。また、スライスヘッダ符号化部６２は、現在の処理対象のスライスの視差最大値、視差最小値、およびカメラ間距離が、それぞれ、そのスライスより符号化順で１つ前のスライスの視差最大値、視差最小値、およびカメラ間距離と一致するかどうかを、同一PPS単位で判定する。

　なお、視差画像として奥行き方向の位置（距離）を表す奥行き値からなる奥行き画像が用いられる場合、上記した視差最大値と視差最小値は、ぞれぞれ、多視点視差画像においてとり得る奥行方向の位置の世界座標値の最大値、最小値となる。ここでは、視差最大値と視差最小値との記載をする部分であっても、視差画像として奥行き方向の位置を表す奥行き値からなる奥行き画像が用いられる場合には、奥行方向の位置の世界座標値の最大値、最小値と適宜読み替えられる。

　図２５は、スライス符号化部３０１の内部構成例を示す図である。図２５に示したスライス符号化部３０１は、A/D変換部３２１、画面並べ替えバッファ３２２、演算部３２３、直交変換部３２４、量子化部３２５、可逆符号化部３２６、蓄積バッファ３２７、逆量子化部３２８、逆直交変換部３２９、加算部３３０、デブロックフィルタ３３１、フレームメモリ３３２、画面内予測部３３３、動き予測・補償部３３４、補正部３３５、選択部３３６、およびレート制御部３３７により構成される。

　図２５に示したスライス符号化部３０１は、図６に示した符号化部１２０と同様の構成を有している。すなわち、図２５に示したスライス符号化部３０１のA/D変換部３２１乃至レート制御部３３７は、それぞれ、図６に示した符号化部１２０のA/D変換部１２１乃至レート制御部１３７と同様の機能を有している。よって、ここではその詳細な説明は省略する。

　図２５に示したスライス符号化部３０１は、図６に示した符号化部１２０と構成は同じであるが、補正部３３５の内部構成が、図６に示した符号化部１２０の補正部１３５と異なる。図２６に補正部３３５の構成を示す。

　図２６に示した補正部３３５は、デプス用補正部３４１、輝度用補正部３２、コスト算出部３４３、および設定部３４４から構成されている。これらの各部が行う処理については、フローチャートを参照し後述する。

　図２７は、視差と奥行きについて説明するための図である。図２７中、Ｃ１は、カメラＣ１が設置されている位置を表し、Ｃ２は、カメラＣ２が設置されている位置を示す。カメラＣ１とカメラＣ２により、異なる視点の色画像（カラー画像）を撮影することができるようになされている。またカメラＣ１とカメラＣ２は、距離Ｌだけ離れて設置されている。Ｍは、撮像対象とされている物体であり、対象物Ｍと記述する。ｆは、カメラＣ１の焦点距離を表す。

　このような関係のとき、次式が満たされる。
　Ｚ＝（Ｌ／Ｄ）×ｆ
この式において、Ｚは、視差画像（奥行き画像）の被写体の奥行き方向の位置（対象物ＭとカメラＣ１（カメラＣ２）との奥行方向の距離）である。Ｄは撮影視差ベクトル（のx成分）を表し、視差値を表す。すなわちＤは、２つのカメラ間で生じる視差である。具体的には、Ｄ（ｄ）は、カメラＣ１で撮像されたカラー画像上の対象物Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラＣ２で撮像されたカラー画像上の対象物Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値である。上述した式に示すように、視差値Ｄと位置Ｚは一意に変換可能である。従って、以下では、視差画像と奥行き画像を総称してデプス画像とする。上述した式の関係が満たされること、特に、視差値Ｄと奥行き方向の位置Ｚの関係についてさらに説明を続ける。

　図２８と図２９は、カメラにより撮像される画像、奥行き、奥行き値の関係について説明するための図である。カメラ４０１は、筒４１１、顔４１２、家４１３を撮像する。カメラ４０１に近い側から順に、筒４１１、顔４１２、家４１３が配置されている。このとき、カメラ４０１に一番近い位置に配置されている筒４１１の奥行き方向の位置が奥行き方向の位置の世界座標値の最小値Ｚnearに設定され、カメラ４０１から一番遠い位置に配置されている家４１３の位置が奥行方向の位置の世界座標値の最大値Ｚfarに設定される。

　図２９は、視点生成用情報の奥行き方向の位置の最小値Ｚnearと最大値Ｚfarとの関係を説明する図である。図２９において、横軸は、正規化前の奥行き方向の位置の逆数であり、縦軸は、デプス画像の画素値である。図２９に示すように、各画素の画素値としての奥行き値は、最大値Ｚfarの逆数と最小値Ｚnearの逆数が用いられて、例えば0乃至255の値に正規化される。そして、0乃至255のいずれかの値である正規化後の各画素の奥行き値を画素値として、デプス画像が生成される。

　図２９に示したグラフは、図２に示したグラフに対応している。図２９に示したグラフは、視点生成用情報の奥行きの位置の最小値と最大値との関係を示したフラグであり、図２に示したグラフは、視点生成用情報の視差最大値と視差最小値の関係を示したグラフである。

　図２を参照して説明したように、視差画像の各画素の画素値Ｉは、その画素の正規化前の視差値d、視差最小値Dmin、および視差最大値Dmaxを用いて、式（１）で表された。ここで、再度式（１）を、式（１１）として以下に示す。

　また、奥行き画像の各画素の画素値ｙは、その画素の正規化前の奥行き値１／Ｚ、最小値Ｚnear、および最大値Ｚfarを用いて、以下の式（１３）で表される。なお、ここでは、奥行き値として位置Ｚの逆数が用いられるものとするが、奥行き値としては位置Ｚそのものを用いることもできる。

　式（１３）からわかるように、デプス画像の画素値ｙは、最大値Ｚfarと最小値Ｚnearから算出される値である。この最大値Ｚfarと最小値Ｚnearは、図２８を参照して説明したように、撮像される物体の位置関係に依存して決定される値である。よって、撮像される画像内の物体の位置関係が変わったときには、その変化に応じて最大値Ｚfarと最小値Ｚnearもそれぞれ変化する。

　ここで、図３０を参照し、物体の位置関係が変化したときについて説明する。図３０の左側は時刻Ｔ₀のときのカメラ４０１で撮像される画像の位置関係を示し、図２８に示した位置関係と同様の位置関係を示している。時刻Ｔ₀から時刻Ｔ₁に変化したとき、カメラ４０１の近くに位置していた筒４１１がなくなり、顔４１２と家４１３の位置関係には変化がなかった場合を想定する。

　この場合、時刻Ｔ₀から時刻Ｔ₁に変化したときに、最小値Ｚnearは最小値Ｚnear’に変化する。すなわち、時刻Ｔ₀では、筒４１１の奥行方向の位置Ｚが最小値Ｚnearであったのに対して、時刻Ｔ₁では、筒４１１がなくなることで、カメラ４０１から一番近い位置の物体が顔４１２に変化し、その変化に伴い、最小値Ｚnear（Ｚnear’）の位置が、顔４１２の位置Ｚに変化する。

　時刻Ｔ₀のときの最小値Ｚnearと最大値Ｚfarの差分（レンジ）を奥行き方向の位置のレンジを示す奥行きレンジＡとし、時刻Ｔ₁のときの最小値Ｚnear’と最大値Ｚfarの差分（レンジ）を、奥行きレンジＢとする。この場合、奥行きレンジＡから奥行きレンジＢに変化したことになる。ここで、上記したように、式（１３）を再度参照するに、奥行き画像の画素値ｙは、最大値Ｚfarと最小値Ｚnearから算出される値であるため、このように、奥行きレンジＡから奥行きレンジＢに変化したときには、そのような値を用いて算出される画素値も変化することになる。

　例えば、図３０の左側に、時刻Ｔ₀の奥行き画像４２１を示したが、筒４１１は手前にあるために、筒４１１の画素値は大きく（明るく）、顔４１２と家４１３の画素値は、筒４１１よりも遠くに位置するため筒４１１よりも小さい（暗い）。同様に、図３０の右側に、時刻Ｔ₁の奥行き画像５２２を示したが、筒４１１が無くなったために、奥行きレンジが小さくなり、奥行き画像４２１に比べて顔４１２の画素値が大きく（明るく）なる。これは、上記したように、奥行きレンジが変化するために、同一の位置Ｚであっても、最大値Ｚfarと最小値Ｚnearを用いて式（１３）により求められる画素値ｙが変化するからである。

　しかしながら、時刻Ｔ₀と時刻Ｔ₁において、顔４１２の位置は変化していないため、時刻Ｔ₀と時刻Ｔ₁において顔４１２の奥行き画像の画素値に急激な変化がないことが好ましい。すなわち、このように、奥行き方向の位置（距離）の最大値と最小値のレンジが急激に変わると、奥行き方向の位置が同一であっても、奥行き画像の画素値（輝度値）が大幅に変化し、予測が当たらなくなる可能性がある。そこで、このようなことが無いように制御される場合について説明する。

　図３１は、図３０に示した図と同じである。しかしながら、図３１に示した右側に示した時刻Ｔ₁における物体の位置関係は、カメラ４０１の手前側に筒４１１’が位置していると想定し、最小値Ｚnearに変化がないとして処理する。このように処理することで、上記した奥行きレンジＡと奥行きレンジＢが変化すること無く処理することが可能となる。よって、奥行き方向の距離の最大値と最小値のレンジが急激に変わることを防ぎ、奥行き方向の位置が同一である場合に奥行き画像の画素値（輝度値）が大幅に変化するようなことなく、予測が当たらなくなる可能性を低減させることが可能となる。

　また、図３２に示したように、物体の位置関係が変化する場合も想定される。図３２に示した物体の位置関係において、図３２の左側に示した時刻Ｔ₀のときの位置関係は、図３０や図３１に示した場合と同じであり、カメラ４０１に近い位置から順に、筒４１１、顔４１２、家４１３が位置している場合である。

　このような状態から、時刻Ｔ₁のときに、顔４１２がカメラ４０１の方に移動し、筒４１１もカメラ４０１の方に移動した場合、まず、図３２に示したように、最小値Ｚnearが最小値Ｚnear’になるため、最大値Ｚfarとの差分が変化し、奥行きレンジが変化することになる。このような奥行き方向の位置の最大値と最小値のレンジの急激な変化は、図３１を参照して説明したように、筒４１１の位置が変わらないとして処理することで、奥行き方向の位置が同一である場合に奥行き画像の画素値（輝度値）が大幅に変化するようなことを防ぐことが可能である。

　図３２に示した場合、顔４１２もカメラ４０１方向に移動しているため、顔４１２の奥行き方向の位置は、時刻Ｔ₀のときの顔４１２の奥行き方向の位置よりも小さく（奥行き画像の画素値（輝度値）が高く）なる。しかしながら、上記したような奥行き方向の位置が同一である場合に奥行き画像の画素値（輝度値）が大幅に変化することを防ぐ処理が行われると、顔４１２の奥行き画像の画素値が奥行き方向の位置に対応する適切な画素値（輝度値）に設定されない可能性がある。そこで、図３１を参照して説明したような処理が行われた後に、顔４１２などの画素値（輝度値）が適切な画素値（輝度値）となるような処理が実行されるようにする。このように、奥行き方向の位置が同一である場合に奥行き画像の画素値が大幅に変化するようなことを防ぐ処理が行われるとともに、適切な画素値（輝度値）となるような処理が行われるようにする。

　このような処理が行われるときのデプス画像の符号化に関わる処理について、図３３、図３４のフローチャートを参照して説明する。図３３、図３４は、図２４乃至図２６に示したスライス符号化部３０１の視差画像符号化処理の詳細を説明するフローチャートである。この視差画像符号化処理は、視点ごとに行われる。

　図２４乃至図２６に示したスライス符号化部３０１は、図５、図６に示したスライス符号化部６１と基本的に同様の構成を有するが、補正部３３５の内部構成が異なると説明した。よって、補正部３３５が行う処理以外の処理は、基本的に、図５、図６に示したスライス符号化部６１と同様な処理、すなわち、図１３、図１４に示したフローチャートの処理と同様な処理として行われる。ここでは、図１３、図１４に示したフローチャートで説明した部分と重複する部分に関する説明は省略する。

　図３３のステップＳ３００乃至Ｓ３０３、ステップＳ３０５乃至Ｓ３１３の処理は、図１３のステップS１６０乃至Ｓ１６３、ステップＳ１６６乃至Ｓ１７４の処理と同様に行われる。但し、ステップＳ３０５の処理は、図２６のコスト算出部３４３により行われ、ステップＳ３０８の処理は、設定部３４４により行われる。また、図３４のステップＳ３１４乃至Ｓ３２０の処理は、図１４のステップＳ１７５乃至Ｓ１８１の処理と同様に行われる。すなわち、ステップＳ３０４において実行される予測画像生成処理が、図１３に示したフローチャートの処理と異なる以外は、基本的に同一の処理が実行される。

　ここで、ステップＳ３０４において実行される予測画像生成処理について、図３５のフローチャートを参照して説明する。ステップＳ３３１において、デプス用補正部３４１（図２６）は、処理対象のデプス画像の画素値が視差値（ディスパリティ）であるか否かが判断される。

　ステップＳ３３１において、処理対象のデプス画像の画素値が視差値であると判断された場合、ステップＳ３３２に処理が進められる。ステップＳ３３２において、視差値用の補正係数が算出される。視差値用の補正係数は、以下の式（１４）で求められる。

　式（１４）において、Ｖref’，Ｖrefは、それぞれ、補正後の視差画像の予測画像の視差値、補正前の視差画像の予測画像の視差値である。またＬ_cur,Ｌ_refは、それぞれ、符号化対象の視差画像のカメラ間距離、視差画像の予測画像のカメラ間距離である。Ｆ_cur,Ｆ_refは、それぞれ符号化対象の視差画像の焦点距離、視差画像の予測画像の焦点距離である。Ｄcur_min,Ｄref_minは、それぞれ、符号化対象の視差画像の視差最小値、視差画像の予測画像の視差最小値である。Ｄcur_max,Ｄref_maxは、それぞれ、符号化対象の視差画像の視差最大値、視差画像の予測画像の視差最大値である。

　デプス用補正部３４１は、視差値用の補正係数として、式（１４）のaとｂを補正係数として生成する。補正係数aは、ディスパリティの重み係数（ディスパリティ重み係数）であり、補正係数bは、ディスパリティのオフセット（ディスパリティオフセット）である。デプス用補正部３４１は、このディスパリティ重み係数とディスパリティオフセットから、上記した式（１４）に基づき、補正後のデプス画像の予測画像の画素値を算出する。

　ここでの処理は、デプス画像としての視差画像を対象とした、その視差画像の画素値としてのディスパリティを正規化する際に用いる、ディスパリティのレンジを示すディスパリティレンジに基づいて、デプス重み係数としてのディスパリティ重み係数とデプスオフセットとしてのディスパリティオフセットを用いた重み付け予測処理である。ここでは、適宜、デプス重み付け予測処理と記述する。

　一方、ステップＳ３３１において、処理対象のデプス画像の画素値が視差値ではないと判断された場合、ステップＳ３３３に処理が進められる。ステップＳ３３３において、奥行き方向の位置（距離）用の補正係数が算出される。奥行き方向の位置（距離）用の補正係数は、以下の式（１５）で求められる。

　式（１５）において、Ｖref’，Ｖrefは、それぞれ、補正後の奥行き画像の予測画像の画素値、補正前の奥行き画像の予測画像の画素値である。またＺcur_near,Ｚref_nearは、それぞれ、符号化対象の奥行き画像の一番近い被写体の奥行方向の位置（最小値Ｚnear）、奥行き画像の予測画像の一番近い被写体の奥行方向の位置（最小値Ｚnear）である。Ｚcur_far,Ｚref_farは、それぞれ、符号化対象の奥行き画像の一番遠い被写体の奥行方向の位置（最大値Ｚfar）、奥行き画像の予測画像の一番遠い被写体の奥行方向の位置（最大値Ｚfar）である。

　デプス用補正部３４１は、奥行き方向の位置用の補正係数として、式（１５）のａとｂを補正係数として生成する。補正係数aは、奥行き値の重み係数（奥行き重み係数）であり、補正係数bは、奥行き値のオフセット（奥行きオフセット）である。デプス用補正部３４１は、この奥行き重み係数と奥行きオフセットから、上記した式（１５）に基づき、補正後のデプス画像の予測画像の画素値を算出する。

　ここでの処理は、デプス画像としての奥行き画像を対象とした、その奥行き画像の画素値としての奥行き値を正規化する際に用いる奥行きレンジに基づいて、デプス重み係数としての奥行き重み係数とデプスオフセットとしての奥行きオフセットを用いた重み付け予測処理である。ここでは、適宜、デプス重み付け予測処理と記述する。

　このように、処理対象のデプス画像の画素値が視差値（Ｄ）であるか、奥行き方向の位置（距離）（Ｚ）を表す奥行き値１／Ｚであるかにより異なる式が用いられて補正係数が算出される。また補正係数が用いられて、一旦、補正後の予測画像が算出される。ここで、一旦と記載したのは、後段において、輝度値の補正が行われるためである。このようにして補正係数が算出されると、ステップＳ３３４に処理が進められる。

　このようにして補正係数が算出された場合、設定部３４４は、視差値用の補正係数を算出したのか、奥行き方向の位置（距離）用の補正係数を算出したのかを示す情報を生成し、スライスヘッダ符号化部３０２等を介して復号側に伝送する。

　換言すれば、設定部３４４は、奥行方向の位置（距離）を表す奥行き値を正規化する際に用いる奥行きレンジに基づいてデプス重み付け予測処理を行うか、または、視差値を正規化する際に用いるディスパリティレンジに基づいてデプス重み付け予測処理を行うかを判断し、その判断に基づき、どちらの予測処理を行ったかを識別するデプス識別データを設定し、そのデプス識別データが、復号側に伝送される。

　このデプス識別データは、設定部３４４により設定され、スライスヘッダ符号化部３０２によりスライスヘッダに含まれて送信されるようにすることができる。このようなデプス識別データを符号化側と復号側で共有できるようにすると、復号側において、デプス識別データを参照することで、奥行方向の位置（距離）を表す奥行き値を正規化する際に用いる奥行きレンジに基づいてデプス重み付け予測処理を行うか、または、視差を表す視差値を正規化する際に用いるディスパリティレンジに基づいてデプス重み付け予測処理を行うかを判断することが可能となる。

　また、スライスの種類により補正係数を算出するか否かを判断し、スライスの種類によっては補正係数を算出しないようにしても良い。具体的には、スライスの種類が、Ｐスライス、ＳＰスライス、Ｂスライスである場合には、補正係数を算出し（デプス重み付け予測処理を行い）、その他のスライスである場合には、補正係数を算出しないようにしても良い。

　なお、１ピクチャは複数のスライスから構成されるため、スライスの種類により補正係数を算出するか否かを判断する構成は、ピクチャの種類（ピクチャタイプ）により補正係数を算出するか否かを判断するような構成とすることもできる。例えば、ピクチャタイプがＢピクチャである場合には、補正係数を算出しないようにすることができる。ここでは、スライスの種類により補正係数が算出されるか否かが決定されるとして説明を続ける。

　Ｐスライス、ＳＰスライスの場合において、デプス重み付け予測処理を行った場合には、設定部３４４は、例えば、depth_weighted_pred_flagを１に設定し、デプス重み付け予測処理を行わなかった場合には、設定部３４４は、depth_weighted_pred_flagを０に設定し、このdepth_weighted_pred_flagが、例えば、スライスヘッダ符号化部３０２によりスライスヘッダに含まれて送信されるようにしても良い。

　また、Ｂスライスの場合において、デプス重み付け予測処理を行った場合には、設定部３４４は、例えば、depth_weighted_bipred_flagを１に設定し、デプス重み付け予測処理を行わなかった（デプス重み付け予測処理をスキップした）場合には、設定部３４４は、depth_weighted_bipred_flagを０に設定し、このdepth_weighted_bipred_flagが、例えば、スライスヘッダ符号化部３０２によりスライスヘッダに含まれて送信されるようにしても良い。

　以上により、復号側においては、depth_weighted_pred_flagやdepth_weighted_bipred_flagを参照することで、補正係数を算出する必要があるか否かを判断することができるようになる。換言すれば、復号側において、スライスの種類により補正係数を算出するか否かを判断し、スライスの種類によっては補正係数を算出しないように制御するといった処理を行うことができるようになる。

　ステップＳ３３４において、輝度用補正部３４２により輝度用の補正係数が算出される。輝度用の補正係数は、例えば、AVC方式における輝度補正を適用し、算出することができる。AVC方式における輝度補正も、上記したデプス重み付け予測処理と同じく、重み係数とオフセットを用いた重み付け予測処理が行われることで、補正される。

　すなわち、上記したデプス重み付け予測処理により補正された予測画像が生成され、その補正された予測画像に対して、輝度値を補正するための重み付け予測処理が行われ、デプス画像を符号化する際に用いられる予測画像（デプス予測画像）が生成される。

　この輝度用の補正係数の場合も、補正係数を算出した場合と、算出していない場合とを識別するデータを設定し、復号側に伝送するようにしても良い。例えば、Ｐスライス、ＳＰスライスの場合において、輝度値の補正係数を算出した場合には、例えば、weighted_pred_flagを１に設定し、輝度値の補正係数を算出しなかった場合には、weighted_pred_flagを０に設定し、このweighted_pred_flagを、例えば、スライスヘッダ符号化部３０２によりスライスヘッダに含まれて送信されるようにしても良い。

　また、Ｂスライスの場合において、輝度値の補正係数を算出した場合には、例えば、weighted_bipred_flagを１に設定し、輝度値の補正係数を算出しなかった場合には、weighted_bipred_flagを０に設定し、このweighted_bipred_flagを、例えば、スライスヘッダ符号化部３０２によりスライスヘッダに含まれて送信されるようにしても良い。

　このように、まず、ステップＳ３３２またはステップＳ３３３において、正規化のずれを直し、同一の座標系に変換する効果を得てから、ステップＳ３３４において、輝度のずれを直す処理が実行される。仮に、先に輝度を直してから、正規化のずれを直す処理を実行するようにすると、最小値Ｚnearと最大値Ｚfarの関係性が崩れてしまい、適切に正規化のずれを直すことができない可能性がある。よって、先に正規化のずれを直し、その後、輝度のずれを直すのが良い。

　なおここでは、正規化のずれを直すデプス重み付け予測処理と、輝度値を補正する重み付け予測処理が行われるとして説明をしたが、どちらか一方のみの予測処理が行われるように構成することも可能である。

　このようにして、補正係数が算出されると、ステップＳ３３５に処理が進められる。ステップＳ３３５において輝度用補正部３４２により予測画像が生成される。この予測画像の生成は、既に説明したので、その説明は省略する。また生成されたデプス予測画像を用いてデプス画像が符号化されて、符号化データ（デプスストリーム）が生成され、復号側に伝送される。

　このようにして生成された画像を受け取り処理する復号装置について説明する。

　＜スライス復号部の構成＞
　図３６は、多視点画像復号部１５１（図１５）を構成するスライスヘッダ復号部１７３とスライス復号部１７４（図１６）を抜き出した図である。図３６では、図１６に示したスライスヘッダ復号部１７３、スライス復号部１７４と区別が付けるために、異なる符号を付して説明するが、基本的な処理は、図５に示したスライスヘッダ復号部１７３とスライス復号部１７４と同様であるので、その説明は適宜省略する。

　スライス復号部５５２は、スライスヘッダ復号部５５１から供給されるSPS,PPS、およびスライスヘッダのカメラ間距離、視差最大値、および視差最小値に関する情報以外に基づいて、スライス符号化部３０１（図２４）における符号化方式に対応する方式で、スライス単位の多重化カラー画像の符号化データを復号する。

　また、スライス復号部５５２は、SPS,PPS、スライスヘッダのカメラ間距離、視差最大値、および視差最小値関する情報以外、並びに、カメラ間距離、視差最大値、および視差最小値に基づいて、スライス符号化部３０１（図２４）における符号化方式に対応する方式で、スライス単位の多重化視差画像（多重化デプス画像）の符号化データを復号する。スライス復号部５５２は、復号の結果得られる多視点補正カラー画像と多視点視差画像を、図１５の視点合成部１５２に供給する。

　図３７は、図３５のスライス復号部５５２のうちの任意の１視点のデプス画像を復号する復号部の構成例を示すブロック図である。即ち、スライス復号部５３２のうちの多視点視差画像を復号する復号部は、視点数分の図３７のスライス復号部５５２により構成される。

　図３７のスライス復号部５５２は、蓄積バッファ５７１、可逆復号部５７２、逆量子化部５７３、逆直交変換部５７４、加算部５７５、デブロックフィルタ５７６、画面並べ替えバッファ５７７、D/A変換部５７８、フレームメモリ５７９、画面内予測部５８０、動きベクトル生成部５８１、動き補償部５８２、補正部５８３、およびスイッチ５８４により構成される。

　図３７に示したスライス復号部５５２は、図１７に示した復号部２５０と同様の構成を有している。すなわち、図３７に示したスライス復号部５５２の蓄積バッファ５７１乃至スイッチ５８４は、それぞれ、図１７に示した蓄積バッファ２５１乃至スイッチ５３４と同様の機能を有している。よってここではその詳細な説明は省略する。

　図３７に示したスライス復号部５５２と、図１７に示した復号部２５０は、同様の構成を有しているが補正部５８３の内部構成が、図１７に示した補正部２６３と異なる。図３８に、補正部５８３の構成を示す。

　図３８に示した補正部５８３は、選択部６０１、設定部６０２、デプス用補正部６０３、および輝度用補正部６０４から構成されている。これらの各部が行う処理については、フローチャートを参照し説明する。

　図３９は、デプス画像の復号処理に関わる処理について説明するためのフローチャートである。すなわち、上述した符号化側の処理で、所定の視点のデプス画像に関する情報を用いて補正された所定の視点のデプス画像のデプス予測画像を用いて符号化された所定の視点のデプス画像のデプスストリームと、所定の視点のデプス画像に関する情報とを受け取る側において実行される処理について説明する。

　図３９は、図３６乃至図３８に示したスライス復号部５５２の視差画像復号処理の詳細を説明するフローチャートである。この視差画像復号処理は、視点ごとに行われる。

　図３９に示したスライス復号部５５２は、図１６、図１７に示したスライス復号部１７４と基本的に同様の構成を有するが、補正部５８３の内部構成が異なると説明した。よって、補正部５８３が行う処理以外の処理は、基本的に、図１６、図１７に示したスライス復号部５３２と同様な処理、すなわち、図２０に示したフローチャートの処理と同様な処理として行われる。ここでは、図２０に示したフローチャートで説明した部分と重複する部分に関する説明は省略する。

　図３９のステップＳ３５１乃至Ｓ３５７、ステップＳ３５９乃至Ｓ３６４の処理は、図２０のステップＳ２６１乃至Ｓ２６７、ステップＳ２７０乃至Ｓ２７５の処理と同様に行われる。すなわち、ステップＳ３５８において実行される予測画像生成処理が、図２０に示したフローチャートの処理と異なる以外は、基本的に同一の処理が実行される。

　ここで、ステップＳ３５８において実行される予測画像生成処理について、図４０のフローチャートを参照して説明する。

　ステップＳ３７１において、処理対象のスライスがＰスライスまたはＳＰスライスであるかが判断される。ステップＳ３７１において、処理対象のスライスがＰスライスまたはＳＰスライスであると判断された場合、ステップＳ３７２に処理が進められる。ステップＳ３７２において、depth_weighted_pred_flag＝１であるか否かが判断される。

　ステップＳ３７２において、depth_weighted_pred_flag＝１であると判断された場合、ステップＳ３７３に処理が進められ、ステップＳ３７２において、depth_weighted_pred_flag＝１ではないと判断された場合、ステップＳ３７３乃至Ｓ３７５の処理はスキップされ、ステップＳ３７６に処理が進められる。

　ステップＳ３７３において、処理対象のデプス画像の画素値が視差値であるか否かが判断される。ステップＳ３７３において、処理対象のデプス画像の画素値が視差値であると判断された場合、ステップＳ３７４に処理が進められる。

　ステップＳ３７４において、デプス用補正部６０３により、視差値用の補正係数が算出される。デプス用補正部６０３は、図２６のデプス用補正部３４１と同様に、視差最大値、視差最小値、およびカメラ間距離に基づいて、補正係数（ディスパリティ重み係数とディスパリティオフセット）を算出する。補正係数が算出されると、一旦、補正後の予測画像を算出する。ここで“一旦”と記載したのは、符号化側と同じく、後段処理でさらに輝度値を補正するため、復号に用いる最終的な予測画像ではないからである。

　一方、ステップＳ３７３において、処理対象のデプス画像の画素値は視差値ではないと判断された場合、ステップＳ３７５に処理が進められる。この場合、処理対象のデプス画像の画素値は、奥行き方向の位置（距離）を表す奥行き値であるため、ステップＳ３７５において、デプス用補正部６０３は、図２６のデプス用補正部３４１と同様に、奥行き方向の位置（距離）の最大値、最小値に基づいて、補正係数（奥行き重み係数と奥行きオフセット）を算出する。補正係数が算出されると、一旦、補正後の予測画像を算出する。ここで“一旦”と記載したのは、符号化側と同じく、後段処理でさらに輝度値を補正するため、復号に用いる最終的な予測画像ではないからである。

　ステップＳ３７４またはステップＳ３７５において、補正係数が算出された場合、またはステップＳ３７２において、depth_weighted_pred_flag＝１ではないと判断された場合、ステップＳ３７６に処理が進められる。

　ステップＳ３７６において、weighted_pred_flag＝１であるか否かが判断される。ステップＳ３７６において、weighted_pred_flag＝１であると判断された場合、ステップＳ３７７に処理が進められる。ステップＳ３７７において、輝度用補正部６０４により、輝度用の補正係数が算出される。輝度用補正部６０４は、図２６の輝度用補正部３４２と同様に、所定の方式に基づき算出された輝度用の補正係数を算出する。この算出された補正係数が用いられて、輝度値が補正された予測画像が算出される。

　このようにして、輝度用の補正係数が算出された場合、または、ステップＳ３７６において、weighted_pred_flag＝１ではないと判断された場合、ステップＳ３８５に処理が進められる。ステップＳ３８５において、算出された補正係数などが用いられ、予測画像が生成される。

　一方、ステップＳ３７１において、処理対象のスライスがＰスライスまたはＳＰスライスではないと判断された場合、ステップＳ３７８に処理が進められ、処理対象のスライスが、Ｂスライスであるか否かが判断される。ステップＳ３７８において、処理対象のスライスが、Ｂスライスであると判断された場合、ステップＳ３７９に処理が進められ、Ｂスライスではないと判断された場合、ステップＳ３８５に処理が進められる。

　ステップＳ３７９において、depth_weighted_bipred_flag＝１であるか否かが判断される。ステップＳ３７９において、depth_weighted_bipred_flag＝１であると判断された場合、ステップＳ３８０に処理が進められ、depth_weighted_bipred_flag＝１ではないと判断された場合、ステップＳ３８０乃至Ｓ３８２の処理はスキップされ、ステップＳ３８３に処理が進められる。

　ステップＳ３８０において、処理対象のデプス画像の画素値が視差値であるか否かが判断される。ステップＳ３８０において、処理対象のデプス画像の画素値が視差値であると判断された場合、ステップＳ３８１に処理が進められ、デプス用補正部６０３により、視差値用の補正係数が算出される。デプス用補正部６０３は、図２６のデプス用補正部３４１と同様に、視差最大値、視差最小値、およびカメラ間距離に基づいて、補正係数を算出する。この算出された補正係数が用いられて、補正された予測画像が算出される。

　一方、ステップＳ３８０において、処理対象のデプス画像の画素値が視差値ではないと判断された場合、ステップＳ３８２に処理が進められる。この場合、処理対象のデプス画像の画素値は、奥行き方向の位置（距離）を表す奥行き値であるため、ステップＳ３８２において、デプス用補正部６０３は、図２６のデプス用補正部３４１と同様に、奥行き方向の位置（距離）の最大値、最小値に基づいて、補正係数を算出する。この算出された補正係数が用いられて、補正された予測画像が算出される。

　ステップＳ３８１またはステップＳ３８２において、補正係数が算出された場合、またはステップＳ３７９において、depth_weighted_bipred_flag＝１ではないと判断された場合、ステップＳ３８３に処理が進められる。

　ステップＳ３８３において、weighted_bipred_idc＝１であるか否かが判断される。ステップＳ３８３において、weighted_bipred_idc＝１であると判断された場合、ステップＳ３８３に処理が進められる。ステップＳ３８３において、輝度用補正部６０４により、輝度用の補正係数が算出される。輝度用補正部６０４は、図２６の輝度用補正部３４２と同様に、所定の方式、例えばAVC方式に基づき算出された輝度用の補正係数を算出する。この算出された補正係数が用いられて、輝度値が補正された予測画像が算出される。

　このようにして、輝度用の補正係数が算出された場合、ステップＳ３８３において、weighted_bipred_idc＝１ではないと判断された場合、またはステップＳ３７８において、処理対象のスライスがＢスライスではないと判断された場合、ステップＳ３８５に処理が進められる。ステップＳ３８５において、算出された補正係数などが用いられ、予測画像が生成される。

　このようにして、ステップＳ３５８（図３９）における予測画像生成処理が実行されると、ステップＳ３６０に処理が進められる。ステップＳ３６０以降の処理は、図２０のステップＳ２７１以降の処理と同様に行われ、その説明は既にしたので、ここでは省略する。

　このように、処理対象のデプス画像の画素値が視差値である場合と、視差値でない場合とで、視差値用の補正係数と奥行き方向の位置（距離）用の補正係数を、それぞれ算出するようにしたことで、予測画像が視差値から生成される場合と、奥行き方向の位置を表す奥行き値から生成される場合とで適切に対応することができ、適切な補正係数を算出することが可能となる。また、輝度用の補正係数も算出するようにすることで、輝度補正も適切に行うことが可能となる。

　なおここでは、処理対象のデプス画像の画素値が視差値である場合と、視差値でない場合（奥行き値である場合）とで、視差値用の補正係数と奥行き方向の位置（距離）用の補正係数が、それぞれ算出されるとして説明したが、どちらか一方が算出されるようにしても良い。例えば、符号化側と復号側で、処理対象のデプス画像の画素値としては視差値を用い、視差値用の補正係数が算出されると設定されている場合には、視差値用の補正係数だけが算出されれば良い。また例えば、符号化側と復号側で、処理対象のデプス画像の画素値としては奥行方向の位置（距離）を表す奥行き値を用い、奥行き方向の位置（距離）用の補正係数が算出されると設定されている場合には、奥行方向の位置（距離）用の補正係数だけが算出されれば良い。

　＜演算精度１について＞
上記したように、符号化側は、例えば、ステップＳ３３３（図３５）において奥行き方向の位置用の補正係数を算出し、復号側は、例えば、ステップＳ３７５（図４０）において、奥行き方向の位置用の補正係数を算出する。このように、符号化側と復号側は、奥行き方向の位置用の補正係数をそれぞれ算出するが、この算出される補正係数は、同じでなければ、異なる予測画像が生成されることになるため、符号化側と復号側で同一の補正係数が算出される必要がある。換言すれば、符号化側と復号側で、演算精度が同一である必要がある。

　なおここでは、奥行き方向の位置（距離）用の補正係数を例にあげて説明を続けるが、視差値用の補正係数についても同様である。

　ここで、奥行き方向の位置用の補正係数を算出する際に用いられる式（１５）を、式（１６）として再度以下に示す。

　この式（１６）のうち、補正係数ａの部分を、以下の式（１７）のように表す。

　式（１７）におけるＡ，Ｂ，Ｃ，Ｄは、それぞれ固定小数点化された値とするために、以下の式（１８）から算出される。
　Ａ＝ＩＮＴ（｛１＜＜ｓｈｉｆｔ｝／Ｚref_near）
　Ｂ＝ＩＮＴ（｛１＜＜ｓｈｉｆｔ｝／Ｚref_far）
　Ｃ＝ＩＮＴ（｛１＜＜ｓｈｉｆｔ｝／Ｚcur_near）
　Ｄ＝ＩＮＴ（｛１＜＜ｓｈｉｆｔ｝／Ｚcur_far）　　　・・・（１８）

　式（１７）において、Ａは、（１／Ｚref_near）であるが、（１／Ｚref_near）は小数点以下の数値を含む値になる可能性がある。仮に、小数点以下の値を含むときに、小数点以下を切り捨てるなどの処理が行われた場合、その切り捨てられた小数点以下の数値により、符号化側と復号側で演算精度に違いが出る可能性がある。

　例えば、整数部分が大きな値の場合には、仮に小数点以下の数値を切り捨てたとしても、数値全体に占める小数点以下の数値の割合は小さいため、さほど演算精度に誤差はでないが、整数部分が小さな値の場合、例えば整数部分が０であるような場合には、小数点以下の数値が重要であり、そのような小数点以下の数値を切り捨てると演算精度に誤差がでる可能性がある。

　そこで、上記したように、固定小数点化することで、小数点以下の数値が重要である場合に、その小数点以下の数値が切り捨てられることがないように制御することが可能となる。また、上記したＡ，Ｂ，Ｃ，Ｄは、それぞれ固定小数点化されるが、これらの値から算出される補正係数ａも、以下の式（１９）が満たされるような値とされる。

　ａ＝｛（Ａ－Ｂ）＜＜ｄｅｎｏｍ｝／（Ｃ－Ｄ）　　　・・・（１９）
式（１９）において、ｄｅｎｏｍとしては、ＡＶＣで定義されているluma_log2_weight_denomを用いることができる。

　例えば、１／Ｚの値が、０．１２３４５であった場合に、Ｍbit ｓｈｉｆｔした後、ＩＮＴに丸めて整数として扱われる場合、以下のようになる。
　０．１２３４５　→　×１０００ＩＮＴ（１２３．４５）＝１２３
この場合、１０００が乗算された値である１２３．４５のＩＮＴが算出されることで、１２３という整数値が１／Ｚの値として用いられる。またこの場合、×１０００という情報が符号化側と復号側で共有されれば、演算精度をマッチさせることが可能となる。

　このように、浮動小数が入ってきた場合には、固定小数に変換し、固定小数からさらに整数へと変換される。固定小数は、例えば、整数Ｍbit、小数Ｎbitで表され、ＭとＮは規格により設定される。また、整数は、例えば、整数部Ｎ桁、小数部Ｍ桁とされ、整数値ａ、小数値ｂとされる。例えば、１２．２５の場合、Ｎ＝４、Ｍ＝２、ａ＝１１００、ｂ＝０．０１となる。またこのとき、（ａ＜＜Ｍ＋ｂ）＝１１０００１となる。

　このように、補正係数ａの部分は、式（１８）と式（１９）に基づいて算出されるようにしても良い。そして、このｓｈｉｆｔとｄｅｎｏｍの値を、符号化側と復号側で共有するように構成すれば、符号化側と復号側で演算精度を合わせることが可能となる。共有の方法として、符号化側から復号側にｓｈｉｆｔとｄｅｎｏｍの値を供給することで、実現できる。また、符号化側と復号側で、同一のｓｈｉｆｔとｄｅｎｏｍの値を使うと設定、換言すれば固定値として設定されているようにすることで、実現できる。

　ここでは、補正係数ａの部分を例にあげて説明したが、補正係数ｂの部分も同様に算出されるようにしても良い。また、上記したｓｈｉｆｔは、位置Ｚの精度以上とするようにしても良い。すなわち、ｓｈｉｆｔで乗算される値が、位置Ｚの値より大きいようになるように、ｓｈｉｆｔが設定されているようにしても良い。さらに換言すれば、位置Ｚの精度が、ｓｈｉｆｔの精度以下に設定されるようにしても良い。

　また、ｓｈｉｆｔやｄｅｎｏｍを伝送する場合、depth_weighted_pred_flagとともに伝送するようにしても良い。ここでは、補正係数ａと補正係数ｂ、換言すれば、位置Ｚの重み係数とオフセットが、符号化側と復号側で共有されるとして説明したが、さらに、演算順序も設定され、共有されるようにしても良い。

　このような演算精度を設定する設定部を、デプス用補正部３４１（図２６）が備えるように構成することが可能である。そのようにした場合、デプス用補正部３４１は、デプス画像を対象として、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行う際に、その演算に用いる演算精度を設定するように構成することができる。また、上記したように、デプス用補正部３４１は、設定された演算精度に従って、デプス画像に対してデプス重み付け予測処理を行い、その結果得られるデプス予測画像を用いて、デプス画像を符号化してデプスストリームを生成するように構成されるようにすることができる。

　演算の順序が異なると、同一の補正係数が算出されない可能性があるため、演算順序も符号化側と復号側で共有されるようにしても良い。またその共有の仕方は、上記した場合と同じく、伝送されることで共有されるようにしても良いし、固定値として設定されているようにすることで共有されるようにしても良い。

　また、シフト演算のシフト量を示すシフトパラメータを設定し、生成されたデプスストリームとともに、設定されたシフトパラメータが伝送、受け取りされるようにしても良い。シフトパラメータは、シーケンス単位で固定、GOP、Picture（ピクチャ）、Slice（スライス）単位で可変とするようにしても良い。

　＜演算精度２について＞
　上記した式（１６）における補正係数ａの部分を変形すると、以下の式（２０）で表すことができる。

　この式（２０）において、分子の（Ｚcur_near×Ｚcur_far）、分母の（Ｚref_near×Ｚref_far）は、Ｚ同士を乗算しているため、オーバーフローする可能性がある。例えば、３２bit上限とし、ｄｅｎｏｍ＝５とした場合、残り２７ｂｉｔとなるため、このような設定がされていたときには、１３ｂｉｔ×１３ｂｉｔが限界となる。よってこの場合、Ｚの値としては、±４０９６までしか使えないことになるが、Ｚの値としては、例えば、１万といった４０９６よりも大きな値が用いられることも想定される。

　よって、Ｚ×Ｚの部分がオーバーフローしないように制御し、かつＺの値の範囲を広げるために、式（２０）により補正係数ａを算出する場合、以下の式（２１）が満たされるＺの値にすることで、補正係数ａが算出されるようにする。

　Ｚnear ＝Ｚnear ＜＜ｘ
　Ｚfar ＝Ｚfar ＜＜ｙ　　　・・・（２１）
この式（２１）が満たされるように、ＺnearとＺfarの精度をｓｈｉｆｔで下げて、オーバーフローしないように制御される。

　このｘやｙといったｓｈｉｆｔ量は、上記した場合と同じく、符号化側から復号側に伝送されることで、共有されるようにしても良いし、固定値として、符号化側と復号側で共有するようにしても良い。

　補正係数a,bに用いる情報、精度に関する情報（シフト量）は、スライスヘッダに含まれてもよいし、SPSやPPS等のNAL(Network Abstraction Layer)ユニットに含まれるようにしてもよい。

　＜第２実施の形態＞
　[本技術を適用したコンピュータの説明]
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

　そこで、図４１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

　プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。

　あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

　なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

　コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。

　CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。

　これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。

　なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

　本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して通信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。

　また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。

　＜第３実施の形態＞
　［テレビジョン装置の構成例］
　図４２は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

　チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

　デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

　映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

　表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

　音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

　外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

　制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

　制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

　なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

　このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、視差画像に関する情報を用いて符号化することにより符号化効率が改善された視差画像の符号化データを復号することができる。

　＜第４実施の形態＞
　［携帯電話機の構成例］
　図４３は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

　また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

　携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

　音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

　また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

　なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。

　データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

　多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

　このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、視差画像に関する情報を用いて視差画像の符号化効率を改善することができる。また、視差画像に関する情報を用いて符号化することにより符号化効率が改善された視差画像の符号化データを復号することができる。

　＜第５実施の形態＞
　［記録再生装置の構成例］
　図４４は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

　記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

　チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

　外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

　エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

　ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

　ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ－ｒａｙディスク等である。

　セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

　デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

　ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

　制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

　制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

　このように構成された記録再生装置では、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、視差画像に関する情報を用いて符号化することにより符号化効率が改善された視差画像の符号化データを復号することができる。

　＜第６実施の形態＞
　［撮像装置の構成例］
　図４５は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

　撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。

　光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。

　カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。

　画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。

　ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。

　外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。

　メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。

　また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

　制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

　このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、視差画像に関する情報を用いて視差画像の符号化効率を改善することができる。また、視差画像に関する情報を用いて符号化することにより符号化効率が改善された視差画像の符号化データを復号することができる。

　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　なお、本技術は、以下のような構成もとることができる。

　（１）
　デプス画像を対象として、前記デプス画像の画素値としての奥行き方向の位置を表す奥行き値を正規化する際に用いる、前記奥行き方向の位置のレンジを示す奥行きレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、
　前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、
　前記動き予測部により生成された前記デプス予測画像を用いて、符号化対象のデプス画像を符号化してデプスストリームを生成する符号化部と
　を備える画像処理装置。
　（２）
　前記奥行きレンジに基づいて前記デプス重み付け予測処理を行ったか、前記デプス画像の画素値としての視差値を正規化する際に用いる、前記視差値のレンジを示すディスパリティレンジに基づいて前記デプス重み付け予測処理を行ったかを識別するデプス識別データを設定する設定部と、
　前記符号化部により生成された前記デプスストリームと前記設定部により設定された前記デプス識別データとを伝送する伝送部と
　をさらに備える
　前記（１）に記載の画像処理装置。
　（３）
　前記デプス画像を符号化する際のピクチャタイプに応じて、前記デプス動き予測部による前記デプス重み付け予測処理を行うかを選択する制御部
　をさらに備える
　前記（１）または（２）に記載の画像処理装置。
　（４）
　前記制御部は、前記デプス画像をBピクチャとして符号化する場合、前記デプス動き予測部による前記デプス重み付け予測処理をスキップするように、前記デプス動き予測部を制御する
　前記（３）に記載の画像処理装置。
　（５）
　前記デプス画像を符号化する際のピクチャタイプに応じて、前記動き予測部による前記重み付け予測処理を行うかを選択する制御部
　をさらに備える
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）
　画像処理装置が、
　デプス画像を対象として、前記デプス画像の画素値としての奥行き方向の位置を表す奥行き値を正規化する際に用いる、前記奥行き方向の位置のレンジを示す奥行きレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測ステップと、
　前記デプス動き予測ステップの処理による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測ステップと、
　前記動き予測ステップの処理により生成された前記デプス予測画像を用いて、符号化対象のデプス画像を符号化してデプスストリームを生成する符号化ステップと
　を含む画像処理方法。
　（７）
　デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とを受け取る受け取り部と、
　前記受け取り部により受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としての奥行き方向の位置を示す奥行き値を正規化する際に用いる前記奥行き方向の位置のレンジを示す奥行きレンジに基づくデプス重み係数とデプスオフセットを算出し、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、
　前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、
　前記動き予測部により生成された前記デプス予測画像を用いて、前記受け取り部により受け取られた前記デプスストリームを復号する復号部と
　を備える画像処理装置。
　（８）
　前記受け取り部は、符号化時に前記奥行きレンジに基づいて前記デプス重み付け予測処理を行ったか、前記デプス画像の画素値としての視差値を正規化する際に用いる前記視差値のレンジを示すディスパリティレンジに基づいて前記デプス重み付け予測処理を行ったかを識別するデプス識別データを受け取り、
　前記デプス動き予測部は、前記受け取り部により受け取られた前記デプス識別データにしたがって、前記デプス重み付け予測処理を行う
　前記（７）に記載の画像処理装置。
　（９）
　前記デプスストリームを復号する際のピクチャタイプに応じて、前記デプス動き予測部による前記デプス重み付け予測処理を行うかを選択する制御部
　をさらに備える
　前記（７）または（８）に記載の画像処理装置
　（１０）
　前記制御部は、前記デプスストリームをBピクチャとして復号する場合、前記デプス動き予測部による前記デプス重み付け予測処理をスキップするように、前記デプス動き予測部を制御する
　前記（９）に記載の画像処理装置
　（１１）
　前記デプスストリームを復号する際のピクチャタイプに応じて、前記動き予測部による前記重み付け予測処理を行うかを選択する制御部
　をさらに備える
　前記（７）乃至（１０）のいずれかに記載の画像処理装置
　（１２）
　画像処理装置が、
　デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とを受け取る受け取りステップと、
　前記受け取りステップの処理により受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としての奥行き方向の位置を示す奥行き値を正規化する際に用いる前記奥行き方向の位置のレンジを示す奥行きレンジに基づくデプス重み係数とデプスオフセットを算出し、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測ステップと、
　前記デプス動き予測ステップの処理による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測ステップと、
　前記動き予測ステップの処理により生成された前記デプス予測画像を用いて、前記受け取りステップの処理により受け取られた前記デプスストリームを復号する復号ステップと
　を含む画像処理方法。
　（１３）
　デプス画像を対象として、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる、前記ディスパリティのレンジを示すディスパリティレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、
　前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、
　前記動き予測部により生成された前記デプス予測画像を用いて、符号化対象のデプス画像を符号化してデプスストリームを生成する符号化部と
　を備える画像処理装置。
　（１４）
　前記デプス画像のタイプに応じて、前記デプス重み付け予測処理を変更するように、前記デプス重み付け予測部を制御する制御部
　をさらに備え、
　前記デプス動き予測部は、前記デプス画像を対象として、前記デプス画像の画素値としての奥行き方向の位置を示す奥行き値を正規化する際に用いる、前記奥行き方向の位置のレンジを示す奥行きレンジに基づいて、前記デプス重み付け予測処理を行う
　前記（１３）に記載の画像処理装置。
　（１５）
　前記制御部は、前記デプス画像のタイプが前記奥行き値を画素値とするタイプであるか、または、前記ディスパリティを画素値とするタイプであるかに応じて、前記デプス重み付け予測処理を変更する
　前記（１４）に記載の画像処理装置。
　（１６）
　前記重み付け予測処理を行わせるか、または、スキップさせるように、前記動き予測部を制御する制御部
　をさらに備える
　前記（１３）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）
　前記重み付け予測処理を行うか、または、スキップするかを識別する重み付け予測識別データを設定する設定部と、
　前記符号化部により生成された前記デプスストリームと、前記設定部により設定された前記重み付け予測識別データとを伝送する伝送部と
　をさらに備える
　前記（１３）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）
　画像処理装置が、
　デプス画像を対象として、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる、前記ディスパリティのレンジを示すディスパリティレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測ステップと、
　前記デプス動き予測ステップの処理による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測ステップと、
　前記動き予測ステップの処理により生成された前記デプス予測画像を用いて、符号化対象のデプス画像を符号化してデプスストリームを生成する符号化ステップと
　を含む画像処理方法。
　（１９）
　デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とを受け取る受け取り部と、
　前記受け取り部により受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる前記ディスパリティのレンジを示すディスパリティレンジに基づくデプス重み係数とデプスオフセットを算出し、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、
　前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、
　前記動き予測部により生成された前記デプス予測画像を用いて、前記受け取り部により受け取られた前記デプスストリームを復号する復号部と
　を備える画像処理装置。
　（２０）
　画像処理装置が、
　デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とを受け取る受け取りステップと、
　前記受け取りステップの処理により受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる前記ディスパリティのレンジを示すディスパリティレンジに基づくデプス重み係数とデプスオフセットを算出し、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測ステップと、
　前記デプス動き予測ステップの処理による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測ステップと、
　前記動き予測ステップの処理により生成された前記デプス予測画像を用いて、前記受け取りステップの処理で受け取られた前記デプスストリームを復号する復号ステップと
　を含む画像処理方法。

　５０　符号化装置，　６４　SPS符号化部，　１２３　演算部，　１３４　動き予測・補償部，　１３５　補正部，　１５０　復号装置，　１５２　視点合成部，　１７１　SPS復号部，　２５５　加算部，　２６２　動き補償部，　２６３　補正部

Claims

　デプス画像を対象として、前記デプス画像の画素値としての奥行き方向の位置を表す奥行き値を正規化する際に用いる、前記奥行き方向の位置のレンジを示す奥行きレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、
　前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、
　前記動き予測部により生成された前記デプス予測画像を用いて、符号化対象のデプス画像を符号化してデプスストリームを生成する符号化部と
　を備える画像処理装置。
　前記奥行きレンジに基づいて前記デプス重み付け予測処理を行ったか、前記デプス画像の画素値としての視差値を正規化する際に用いる、前記視差値のレンジを示すディスパリティレンジに基づいて前記デプス重み付け予測処理を行ったかを識別するデプス識別データを設定する設定部と、
　前記符号化部により生成された前記デプスストリームと前記設定部により設定された前記デプス識別データとを伝送する伝送部と
　をさらに備える
　請求項１に記載の画像処理装置。
　前記デプス画像を符号化する際のピクチャタイプに応じて、前記デプス動き予測部による前記デプス重み付け予測処理を行うかを選択する制御部
　をさらに備える
　請求項１に記載の画像処理装置。
　前記制御部は、前記デプス画像をBピクチャとして符号化する場合、前記デプス動き予測部による前記デプス重み付け予測処理をスキップするように、前記デプス動き予測部を制御する
　請求項３に記載の画像処理装置。
　前記デプス画像を符号化する際のピクチャタイプに応じて、前記動き予測部による前記重み付け予測処理を行うかを選択する制御部
　をさらに備える
　請求項１に記載の画像処理装置。
　画像処理装置が、
　デプス画像を対象として、前記デプス画像の画素値としての奥行き方向の位置を表す奥行き値を正規化する際に用いる、前記奥行き方向の位置のレンジを示す奥行きレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測ステップと、
　前記デプス動き予測ステップの処理による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測ステップと、
　前記動き予測ステップの処理により生成された前記デプス予測画像を用いて、符号化対象のデプス画像を符号化してデプスストリームを生成する符号化ステップと
　を含む画像処理方法。
　デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とを受け取る受け取り部と、
　前記受け取り部により受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としての奥行き方向の位置を示す奥行き値を正規化する際に用いる前記奥行き方向の位置のレンジを示す奥行きレンジに基づくデプス重み係数とデプスオフセットを算出し、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、
　前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、
　前記動き予測部により生成された前記デプス予測画像を用いて、前記受け取り部により受け取られた前記デプスストリームを復号する復号部と
　を備える画像処理装置。
　前記受け取り部は、符号化時に前記奥行きレンジに基づいて前記デプス重み付け予測処理を行ったか、前記デプス画像の画素値としての視差値を正規化する際に用いる前記視差値のレンジを示すディスパリティレンジに基づいて前記デプス重み付け予測処理を行ったかを識別するデプス識別データを受け取り、
　前記デプス動き予測部は、前記受け取り部により受け取られた前記デプス識別データにしたがって、前記デプス重み付け予測処理を行う
　請求項７に記載の画像処理装置。
　前記デプスストリームを復号する際のピクチャタイプに応じて、前記デプス動き予測部による前記デプス重み付け予測処理を行うかを選択する制御部
　をさらに備える
　請求項７に記載の画像処理装置
　前記制御部は、前記デプスストリームをBピクチャとして復号する場合、前記デプス動き予測部による前記デプス重み付け予測処理をスキップするように、前記デプス動き予測部を制御する
　請求項９に記載の画像処理装置
　前記デプスストリームを復号する際のピクチャタイプに応じて、前記動き予測部による前記重み付け予測処理を行うかを選択する制御部
　をさらに備える
　請求項７に記載の画像処理装置
　画像処理装置が、
　デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とを受け取る受け取りステップと、
　前記受け取りステップの処理により受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としての奥行き方向の位置を示す奥行き値を正規化する際に用いる前記奥行き方向の位置のレンジを示す奥行きレンジに基づくデプス重み係数とデプスオフセットを算出し、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測ステップと、
　前記デプス動き予測ステップの処理による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測ステップと、
　前記動き予測ステップの処理により生成された前記デプス予測画像を用いて、前記受け取りステップの処理により受け取られた前記デプスストリームを復号する復号ステップと
　を含む画像処理方法。
　デプス画像を対象として、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる、前記ディスパリティのレンジを示すディスパリティレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、
　前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、
　前記動き予測部により生成された前記デプス予測画像を用いて、符号化対象のデプス画像を符号化してデプスストリームを生成する符号化部と
　を備える画像処理装置。
　前記デプス画像のタイプに応じて、前記デプス重み付け予測処理を変更するように、前記デプス重み付け予測部を制御する制御部
　をさらに備え、
　前記デプス動き予測部は、前記デプス画像を対象として、前記デプス画像の画素値としての奥行き方向の位置を示す奥行き値を正規化する際に用いる、前記奥行き方向の位置のレンジを示す奥行きレンジに基づいて、前記デプス重み付け予測処理を行う
　請求項１３に記載の画像処理装置。
　前記制御部は、前記デプス画像のタイプが前記奥行き値を画素値とするタイプであるか、または、前記ディスパリティを画素値とするタイプであるかに応じて、前記デプス重み付け予測処理を変更する
　請求項１４に記載の画像処理装置。
　前記重み付け予測処理を行わせるか、または、スキップさせるように、前記動き予測部を制御する制御部
　をさらに備える
　請求項１３に記載の画像処理装置。
　前記重み付け予測処理を行うか、または、スキップするかを識別する重み付け予測識別データを設定する設定部と、
　前記符号化部により生成された前記デプスストリームと、前記設定部により設定された前記重み付け予測識別データとを伝送する伝送部と
　をさらに備える
　請求項１３に記載の画像処理装置。
　画像処理装置が、
　デプス画像を対象として、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる、前記ディスパリティのレンジを示すディスパリティレンジに基づいて、デプス重み係数とデプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測ステップと、
　前記デプス動き予測ステップの処理による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測ステップと、
　前記動き予測ステップの処理により生成された前記デプス予測画像を用いて、符号化対象のデプス画像を符号化してデプスストリームを生成する符号化ステップと
　を含む画像処理方法。
　デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とを受け取る受け取り部と、
　前記受け取り部により受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる前記ディスパリティのレンジを示すディスパリティレンジに基づくデプス重み係数とデプスオフセットを算出し、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測部と、
　前記デプス動き予測部による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測部と、
　前記動き予測部により生成された前記デプス予測画像を用いて、前記受け取り部により受け取られた前記デプスストリームを復号する復号部と
　を備える画像処理装置。
　画像処理装置が、
　デプス画像に関する情報を用いて補正された前記デプス画像の予測画像を用いて符号化されたデプスストリームと、前記デプス画像に関する情報とを受け取る受け取りステップと、
　前記受け取りステップの処理により受け取られた前記デプス画像に関する情報を用いて、前記デプス画像の画素値としてのディスパリティを正規化する際に用いる前記ディスパリティのレンジを示すディスパリティレンジに基づくデプス重み係数とデプスオフセットを算出し、前記デプス画像を対象として前記デプス重み係数と前記デプスオフセットを用いたデプス重み付け予測処理を行うデプス動き予測ステップと、
　前記デプス動き予測ステップの処理による前記デプス重み付け予測処理を行った後に、重み係数とオフセットを用いた重み付け予測処理を行ってデプス予測画像を生成する動き予測ステップと、
　前記動き予測ステップの処理により生成された前記デプス予測画像を用いて、前記受け取りステップの処理で受け取られた前記デプスストリームを復号する復号ステップと
　を含む画像処理方法。