JPWO2014103966A1 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム - Google Patents

Abstract

複数の異なる視点の画像からなる多視点画像を符号化・復号する際に、処理対象画像とは異なる視点に対する参照画像と、参照画像中の被写体に対するデプスマップである参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化・復号を行う画像符号化・復号装置であって、処理対象画像を分割した処理対象領域に対して、参照デプスマップ上での対応領域である参照デプス領域を設定する参照デプス領域設定部と、参照デプス領域におけるデプス情報を処理対象領域に対するデプス情報として、参照画像から、処理対象領域に対する視点間予測画像を生成する視点間予測部とを有する。

Description

本発明は、多視点画像を符号化及び復号する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラムに関する。
本願は、２０１２年１２月２７日に、日本に出願された特願２０１２−２８４６１６号に基づき優先権を主張し、その内容をここに援用する。

従来から、複数のカメラで同じ被写体と背景を撮影した複数の画像からなる多視点画像（Multiview images：マルチビューイメージ）が知られている。この複数のカメラで撮影した動画像のことを多視点動画像（または多視点映像）という。以下の説明では１つのカメラで撮影された画像（動画像）を”２次元画像（動画像）”と称し、同じ被写体と背景とを位置や向き（以下、視点と称する）が異なる複数のカメラで撮影した２次元画像（２次元動画像）群を”多視点画像（多視点動画像）”と称する。

２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めることができる。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間（同じ時刻の異なる２次元画像間）で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。

ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償予測、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。

Ｈ．２６４で使われている動き補償予測技術の詳細については、例えば非特許文献１に記載されている。Ｈ．２６４で使われている動き補償予測技術の概要を説明する。Ｈ．２６４の動き補償予測は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照フレームを持つことを許可している。各ブロックで異なる動きベクトルを使用することで、被写体ごとに異なる動きを補償した精度の高い予測を実現している。一方、各ブロックで異なる参照フレームを使用することで、時間変化によって生じるオクルージョンを考慮した精度の高い予測を実現している。

次に、従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、どちらの場合でも、同じ方法でカメラ間の相関を利用することができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。

多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償予測を同じ時刻の異なるカメラで撮影された画像に適用した”視差補償予測”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。図１５は、カメラ間で生じる視差を示す概念図である。図１５に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。

視差補償予測では、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラ対や位置ごとに変化するため、視差補償予測を行う領域ごとに視差情報を符号化することが必要である。実際に、Ｈ．２６４の多視点動画像符号化方式では、視差補償予測を用いるブロックごとに視差情報を表すベクトルを符号化している。

視差情報によって与えられる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の３次元位置を示す１次元量で表すことができる。被写体の３次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として表現する場合もある。どのような表現を用いたとしても本質的な違いはないため、以下では、表現による区別をせずに、それら３次元位置を示す情報をデプスと表現する。

図１６はエピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。例えば、図１６に示すように、第１のカメラ画像においてｍの位置に投影された被写体に対する第２のカメラ画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に、投影される。

非特許文献２では、この性質を利用して、参照フレームに対するデプスマップ（距離画像）によって与えられる各被写体の３次元情報に従って、参照フレームから符号化対象フレームに対する予測画像を合成することで、精度の高い予測画像を生成し、効率的な多視点動画像の符号化を実現している。なお、このデプスに基づいて生成される予測画像は視点合成画像、視点補間画像、または視差補償画像と呼ばれる。

さらに、特許文献１では、最初に参照フレームに対するデプスマップを符号化対象フレームに対するデプスマップへと変換し、その変換されたデプスマップを用いて対応点を求めることで、必要な領域に対してのみ視点合成画像を生成することを可能にしている。これによって、符号化対象または復号対象となるフレームの領域ごとに、予測画像を生成する方法を切り替えながら画像または動画像を符号化または復号する場合において、視点合成画像を生成するための処理量や、視点合成画像を一時的に蓄積するためのメモリ量の削減を実現している。

特開２０１０−２１８４４号公報

ITU-T Recommendation H.264 (03/2009), "Advanced video coding for generic audiovisual services", March, 2009. Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.

特許文献１に記載の方法によれば、符号化対象フレームに対してデプスが得られるため、符号対象フレームの画素から参照フレーム上の対応する画素を求めることが可能となる。これにより、符号化対象フレームの指定された領域のみに対して視点合成画像を生成することで、符号化対象フレームの一部の領域にしか視点合成画像を必要としない場合には、常に１フレーム分の視点合成画像を生成する場合に比べて、処理量や要求されるメモリの量を削減することができる。

しかしながら、符号化対象フレームの全体に対して視点合成画像が必要になる場合は、参照フレームに対するデプスマップから符号化対象フレームに対するデプスマップを合成する必要が生じるため、参照フレームに対するデプスマップから直接、視点合成画像を生成する場合よりも、その処理量が増加してしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、処理対象フレームの視点合成画像を生成する際に、視点合成画像の品質低下を抑えつつ、少ない演算量で視点合成画像を生成することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラムを提供することを目的とする。

本発明は、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対するデプスマップである参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号装置であって、前記復号対象画像を分割した復号対象領域に対して、前記参照デプスマップ上での対応領域である参照デプス領域を設定する参照デプス領域設定部と、前記参照デプス領域におけるデプス情報を前記復号対象領域に対するデプス情報として、前記参照画像から、前記復号対象領域に対する視点間予測画像を生成する視点間予測部とを備える。

本発明の画像復号装置は、前記復号対象領域に対して、参照デプスマップに対する視差ベクトルであるデプス参照視差ベクトルを設定するデプス参照視差ベクトル設定部をさらに有してもよく、前記参照デプス設定部では、前記デプス参照視差ベクトルによって示される領域を前記参照デプス領域として設定してもよい。

本発明の画像復号装置において、前記デプス参照視差ベクトル設定部では、前記復号対象領域に隣接する領域を復号する際に使用した視差ベクトルを用いて、前記デプス参照視差ベクトルを設定してもよい。

本発明の画像復号装置において、前記デプス参照視差ベクトル設定部では、前記復号対象領域と同位置の前記参照デプスマップ上の領域に対するデプス情報を用いて、前記デプス参照視差ベクトルを設定してもよい。

本発明の画像復号装置において、前記視点間予測部では、前記復号対象領域を分割した予測領域ごとに、対応する前記参照デプス領域内のデプス情報を用いて、代表デプスを設定してもよく、当該代表デプスと前記参照画像から視点合成画像を生成することで、前記復号対象領域に対する視点間予測画像を生成してもよい。

本発明の画像復号装置において、前記視点間予測部では、前記復号対象領域を分割した予測領域ごとに、対応する前記参照デプス領域内のデプス情報を用いて、前記参照画像に対する視差ベクトルである画像参照視差ベクトルを設定してもよく、当該画像参照視差ベクトルと前記参照画像とを用いて視差補償画像を生成することで、前記復号対象領域に対する視点間予測画像を生成してもよい。

本発明の画像復号装置は、前記画像参照視差ベクトルを蓄積する画像参照視差ベクトル蓄積部と、前記蓄積された画像参照視差ベクトルを用いて、前記復号対象領域に隣接する領域に対する予測視差情報を生成する視差予測部とを更に有してもよい。

本発明の画像復号装置において、前記視差予測部では、前記復号対象領域に隣接する領域に対するデプス参照視差ベクトルを生成してもよい。

本発明の画像復号装置において、前記画像参照視差ベクトルを補正するベクトルである補正視差ベクトルを設定する補正視差ベクトル部をさらに有してもよく、前記視点間予測部では、前記画像参照視差ベクトルを前記補正視差ベクトルで補正したベクトルと、前記参照画像とを用いて視差補償画像を生成することで、前記視点間予測画像を生成してもよい。

本発明の画像復号装置において、前記補正視差ベクトル設定部では、前記復号対象領域に対して１つのベクトルを前記補正視差ベクトルとして設定してもよい。

本発明の画像復号装置は、前記参照デプス領域内のデプス情報に基づいて、前記復号対象領域内の領域分割を設定する予測領域分割設定部をさらに有してもよく、前記視点間予測部では、前記領域分割に従って得られる領域を、前記予測領域としてもよい。

本発明は、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対するデプスマップである参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号方法であって、前記復号対象画像を分割した復号対象領域に対して、前記参照デプスマップ上での対応領域である参照デプス領域を設定する参照デプス領域設定ステップと、前記参照デプス領域におけるデプス情報を前記復号対象領域に対するデプス情報として、前記参照画像から、前記復号対象領域に対する視点間予測画像を生成する視点間予測ステップとを有する。

本発明は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対するデプスマップである参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記符号化対象画像を分割した符号化対象領域に対して、前記参照デプスマップ上での対応領域である参照デプス領域を設定する参照デプス領域設定部と、前記参照デプス領域におけるデプス情報を前記符号化対象領域に対するデプス情報として、前記参照画像から、前記符号化対象領域に対する視点間予測画像を生成する視点間予測部とを備える。

本発明は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対するデプスマップである参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記符号化対象画像を分割した符号化対象領域に対して、前記参照デプスマップ上での対応領域である参照デプス領域を設定する参照デプス領域設定ステップと、前記参照デプス領域におけるデプス情報を前記符号化対象領域に対するデプス情報として、前記参照画像から、前記符号化対象領域に対する視点間予測画像を生成する視点間予測ステップとを有する。

本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。

本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。

本発明によれば、処理対象フレーム以外に対するデプスマップを用いて、処理対象フレームの視点合成画像を生成する際に、処理対象フレーム以外に対するデプスマップを直接参照して用いることで、処理対象フレームに対してデプスマップを生成する処理を省き、少ない演算量で視点合成画像を生成することができるという効果が得られる。

本発明の一実施形態における画像符号化装置を示すブロック図である。 図１に示す画像符号化装置の動作を示すフローチャートである。 図２に示すブロックｂｌｋに対する視点合成画像を生成する処理（ステップＳ１４）の詳細な処理動作を示すフローチャートである。 図１に示す画像符号化装置の変形例を示すブロック図である。 図１に示す画像符号化装置の動作の変形例を示すフローチャートである。 図１に示す画像符号化装置の他の変形例を示すブロック図である。 本発明の一実施形態における画像復号装置を示すブロック図である。 図７に示す画像復号装置の動作を示すフローチャートである。 図７に示す画像復号装置の変形例を示すブロック図である。 図７に示す画像復号装置の動作の変形例を示すフローチャートである。 図７に示す画像復号装置の動作の他の変形例を示すフローチャートである。 図７に示す画像復号装置の他の変形例を示すブロック図である。 画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 カメラ間で生じる視差を示す概念図である。 エピポーラ幾何拘束を示す概念図である。

以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。以下の説明においては、第１のカメラ（カメラＡという）、第２のカメラ（カメラＢという）の２つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラＡの画像を参照画像としてカメラＢの画像を符号化または復号するものとして説明する。
なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、カメラＡとカメラＢとの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、文献「Oliver Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。

以下の説明では、画像や映像フレーム、デプスマップに対して、記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素によってサンプリングされた画像信号や、それに対するデプスを示すものとする。また、座標値やブロックに対応付け可能なインデックス値とベクトルの加算によって、その座標やブロックをベクトルの分だけずらした位置の座標値やブロックを表すものとする。

図１は本実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照画像入力部１０３、参照画像メモリ１０４、参照デプスマップ入力部１０５、参照デプスマップメモリ１０６、視差ベクトル設定部１０７、視点合成画像生成部１０８及び画像符号化部１０９を備えている。

符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下では、この符号化対象となる画像を符号化対象画像と称する。ここではカメラＢの画像を入力するものとする。また、符号化対象画像を撮影したカメラ（ここではカメラＢ）を符号化対象カメラと称する。
符号化対象画像メモリ１０２は、入力した符号化対象画像を記憶する。参照画像入力部１０３は、視点合成画像（視差補償画像）を生成する際に参照する画像を入力する。以下では、ここで入力された画像を参照画像と呼ぶ。ここではカメラＡの画像を入力するものとする。
参照画像メモリ１０４は、入力された参照画像を記憶する。以下では、参照画像を撮影したカメラ（ここではカメラＡ）を参照カメラと称する。

参照デプスマップ入力部１０５は、視点合成画像を生成する際に参照するデプスマップを入力する。ここでは、参照画像に対するデプスマップを入力するものとするが、別のカメラに対するデプスマップでも構わない。以下では、このデプスマップを参照デプスマップと称する。
デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここでは視差量が得られれば構わないので、デプスマップではなく、視差量を直接表現した視差マップを用いても構わない。なお、ここではデプスマップとして画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。参照デプスマップメモリ１０６は、入力された参照デプスマップを記憶する。以下では、参照デプスマップに対応するカメラ（ここではカメラＡ）を参照デプスカメラと称する。

視差ベクトル設定部１０７は、符号化対象フレームまたは符号化対象フレームを分割したブロックごとに、参照デプスマップに対する視差ベクトルを設定する。視点合成画像生成部１０８（視点間予測部）は、参照デプスマップを用いて、符号化対象画像の画素と参照画像の画素との対応関係を求め、符号化対象画像に対する視点合成画像を生成する。画像符号化部１０９は、視点合成画像を用いて、符号化対象画像に対して予測符号化を行い符号データであるビットストリームを出力する。

次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。 符号化対象画像入力部１０１は、符号化対象画像を入力し、符号化対象画像メモリ１０２に記憶する（ステップＳ１１）。次に、参照画像入力部１０３は参照画像を入力し、参照画像メモリ１０４に記憶する。これと並行して、参照デプスマップ入力部１０５は参照デプスマップを入力し、参照デプスマップメモリ１０６に記憶する（ステップＳ１２）。

ステップＳ１２で入力される参照画像、参照デプスマップは、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。参照デプスマップに関しては、既に符号化済みのものを復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなども、復号側で同じものが得られるものとして用いることができる。

次に、画像符号化装置１００は、符号化対象画像を分割したブロックごとに、視点合成画像を作りながら、符号化対象画像を符号化する。すなわち、符号化対象画像のブロックのインデックスを示す変数ｂｌｋを０に初期化した後（ステップＳ１３）、ｂｌｋを１ずつ加算しながら（ステップＳ１６）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１７）、以下の処理（ステップＳ１４、ステップＳ１５）を繰り返す。なお、ｎｕｍＢｌｋｓは符号化対象画像中の符号化処理を行う単位ブロックの個数を表す。

符号化対象画像のブロックごとに行われる処理では、まず、視差ベクトル設定部１０７及び視点合成画像生成部１０８において、ブロックｂｌｋに対する視点合成画像を生成する（ステップＳ１４）。ここでの処理は後で詳しく説明する。

次に、視点合成画像を得た後に、画像符号化部１０９は、視点合成画像を予測画像として、符号化対象画像を予測符号化して出力する（ステップＳ１５）。符号化の結果得られるビットストリームが画像符号化装置１００の出力となる。なお、復号側で正しく復号可能であるならば、符号化にはどのような方法を用いてもよい。

ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化では、ブロックごとに、符号化対象画像と予測画像との差分信号を生成し、差分画像に対してＤＣＴなどの周波数変換を施し、その結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。

本実施形態では、全てのブロックにおいて視点合成画像を予測画像として用いたが、ブロックごとに異なる方法で生成された画像を予測画像として用いても構わない。その場合、どの方法で生成された画像を予測画像として用いたかを、復号側で判別できる必要がある。例えば、Ｈ．２６４のように、予測画像を生成する方法（モードやベクトル情報など）を示した情報を符号化し、ビットストリームに含めることで、復号側で判断できるようにしても構わない。

次に、図３を参照して、図１に示す視差ベクトル設定部１０７及び視点合成画像生成部１０８の処理動作を説明する。図３は、図２に示す符号化対象画像を分割したブロックｂｌｋ（符号化対象領域）に対する視点合成画像を生成する処理（ステップＳ１４）の詳細な処理動作を示すフローチャートである。まず、視差ベクトル設定部１０７（参照デプス領域設定部）は、ブロックｂｌｋに対して、対応する参照デプスマップ上のブロック（参照デプス領域）を示すための視差ベクトルｄｖ（デプス参照視差ベクトル）を設定する（ステップＳ１４０１、参照デプス領域設定ステップおよびデプス参照視差ベクトル設定ステップ）。どのような方法を用いて、視差ベクトルを設定しても構わないが、復号側で同じ視差ベクトルが得られる必要がある。

視差ベクトルｄｖは、例えば、ブロックｂｌｋと同じ位置の参照デプスマップのデプス値から求めることができる。具体的には、視差ベクトルｄｖは、ブロックｂｌｋと同じ位置の参照デプスマップのブロック内に存在するデプス値の最大値、最小値、中央値、平均値などを用いることができる。また、視差ベクトルは、ブロックｂｌｋと同じ位置の参照デプスマップ上のブロック内の全ての画素に対するデプス値ではなく、中央や４頂点に位置する画素など、特定の画素に対するデプス値のみを用いて求めても構わない。

また、別の方法としては、参照デプスマップ上を探索することで任意のベクトルを視差ベクトルとして設定し、設定した視差ベクトルを符号化することで復号側へ通知しても構わない。この場合、図４に示すように、画像符号化装置１００は視差ベクトル符号化部１１０と多重化部１１１とを更に備えればよい。図４は、図１に示す画像符号化装置１００の変形例を示すブロック図である。視差ベクトル符号化部１１０は、視差ベクトル設定部１０７の設定した視差ベクトルを符号化し、多重化部１１１は、視差ベクトルのビットストリームと、符号化対象画像のビットストリームとを多重化して出力する。

なお、ブロックごとに視差ベクトルを設定して符号化するのではなく、フレームやスライスなどの大きな単位ごとにグローバルな視差ベクトルを設定して、そのフレームやスライス内のブロックでは同じ視差ベクトルとして、設定されたグローバル視差ベクトルを用いても構わない。この場合、図５に示すように、ブロックごとに行われる処理の前に（ステップＳ１３の前に）、参照デプスマップに対する視差ベクトルを設定し（ステップＳ１８）、図３に示すステップＳ１４０１をスキップすればよい。図５は、図２に示す動作の変形例を示すフローチャートである。

グローバル視差ベクトルは、様々な方法を用いて設定することができる。例えば、グローバル視差ベクトルを設定する領域全体を１つのブロックとみなして、ブロックマッチングを行うことでベクトルを求めても構わない。また、グローバル視差ベクトルを設定する領域全体を複数のブロックに分割して、ブロックごとにブロックマッチングを行うことで得られた複数のベクトルから尤もらしいベクトルを選択することで、１つのグローバル視差ベクトルを求めても構わない。また、設定した領域と同位置の参照デプスマップ上の領域に対するデプス値を解析することで、１つのデプス値を求め、そのデプス値に対応する視差ベクトルをグローバル視差ベクトルとしても構わない。

さらに別の方法としては、ブロックｂｌｋを符号化するまでに符号化されたブロックにおいて符号化されたベクトル情報から、ブロックｂｌｋに対する視差ベクトルを設定しても構わない。具体的には、ブロックｂｌｋに空間的または時間的に隣接するブロックやフレームなどを符号化する際に視差補償予測を用いた場合、そのブロックには何らかの視差ベクトルが符号化されている。したがって、予め定められた方法に従って、それらの視差ベクトルから、ブロックｂｌｋにおける視差ベクトルを求めても構わない。

予め定められた方法として、隣接ブロックにおける視差ベクトルからメディアン予測を行う方法や、特定のブロックにおける視差ベクトルをそのまま用いる方法がある。この場合、図６に示すように、画像符号化装置１００はベクトル情報メモリ１１２を更に備えるようにすればよい。図６は、図１に示す画像符号化装置１００の変形例を示すブロック図である。ベクトル情報メモリ１１２は、画像符号化部１０９で予測画像を生成する際に用いたベクトル情報を蓄積する。蓄積されたベクトル情報は、視差ベクトル設定部１０７で別のブロックｂｌｋに対する視差ベクトルを設定する際に利用される。

また、この方法を、前述の視差ベクトルを符号化することで任意のベクトルを視差ベクトルとする方法と組み合わせても構わない。例えば、設定された任意のベクトルと、ブロックｂｌｋを符号化するまでに符号化されたブロックにおいて符号化されたベクトル情報から推定したベクトルとの差分ベクトルを生成し、その差分ベクトルを符号化しても構わない。

図３に戻り、ブロックｂｌｋに対する視差ベクトルを設定したら、次に、ブロックｂｌｋを分割したサブブロックごとに、視点合成画像を生成する。すなわち、サブブロックのインデックスを示す変数ｓｂｌｋを０に初期化した後（ステップＳ１４０２）、ｓｂｌｋを１ずつ加算しながら（ステップＳ１４０６）、ｓｂｌｋがｎｕｍＳＢｌｋｓになるまで（ステップＳ１４０７）、以下の処理（ステップＳ１４０３〜Ｓ１４０５）を繰り返す。
ここで、ｎｕｍＳＢｌｋｓはブロックｂｌｋ内のサブブロックの個数を表す。

なお、サブブロックの大きさや形状は様々なものを用いることができるが、復号側で同じサブブロック分割が得られる必要がある。サブブロックの大きさは、例えば、縦×横で、２画素×２画素、４画素×４画素、８画素×８画素など、予め定められた分割を用いても構わない。なお、予め定められた分割としては、１画素×１画素（すなわち画素ごと）や、ブロックｂｌｋと同じサイズ（すなわち分割を行わない）を用いても構わない。

復号側と同じサブブロック分割を用いる別の方法として、サブブロック分割の方法を符号化することで復号側へ通知しても構わない。この場合、サブブロック分割の方法に対するビットストリームは、符号化対象画像のビットストリームと多重化され、画像符号化装置１００の出力するビットストリームの一部となる。なお、サブブロック分割の方法を選択する場合は、１つのサブブロックに含まれる画素が参照画像に対してできるだけ同じ視差を持ち、できるだけ少ない数のサブブロックに分割するような方法を選ぶことで、後述する視点合成画像の生成処理によって、高品質な予測画像を少ない処理量で生成することが可能となる。なお、この場合、復号側ではビットストリームからサブブロック分割を示す情報を復号し、復号された情報に基づいた方法にしたがってサブブロック分割を行う。

更に別の方法として、ステップＳ１４０１で設定された視差ベクトルｄｖによって示される参照デプスマップ上のブロックｂｌｋ＋ｄｖに対するデプスからサブブロック分割（符号化対象領域内の領域分割）を決定しても構わない（予測領域分割設定ステップ）。例えば、参照デプスマップのブロックｂｌｋ＋ｄｖのデプスをクラスタリングすることでサブブロック分割を求めることができる。また、クラスタリングを行うのではなく、予め定められた分割の種類の中から、最も正しくデプスが分類される分割を選択するようにしても構わない。

サブブロックごとに行われる処理では、まず、参照デプスマップを用いて、サブブロックｓｂｌｋに対して１つのデプス値を決定する（ステップＳ１４０３）。具体的には、ステップＳ１４０１で設定された視差ベクトルｄｖによって示される参照デプスマップ上のブロックｓｂｌｋ＋ｄｖ内の画素に対するデプスから、１つのデプス値を決定する。

ブロック内の画素に対するデプスから１つのデプスを決定する方法には様々な方法を用いることができる。ただし、復号側と同じ方法を用いることが必要である。例えば、ブロック内の画素に対するデプス値の平均値・最大値・最小値・中央値のいずれかを用いても構わない。また、ブロックの４頂点の画素に対するデプス値の平均値・最大値・最小値・中央値のいずれかを用いても構わない。更に、ブロックの特定の場所（左上や中央など）におけるデプス値を用いても構わない。

なお、視差ベクトルｄｖが小数画素で与えられた場合、ブロック内のある場所に対するデプス値を利用する際に、その位置のデプス値が参照デプスマップには存在しないことになる。その場合、対応する小数画素位置に対するデプス値を補間して求めた後に用いても構わないし、整数画素位置へ丸めることで整数画素位置に対するデプス値を用いても構わない。

サブブロックｓｂｌｋに対してデプス値が得られたら、次に、そのデプス値から参照画像に対する視差ベクトルｓｄｖ（画像参照視差ベクトル）を求める（ステップＳ１４０４）。デプス値から視差ベクトルへの変換は与えられたカメラパラメータ等の定義に従って行う。なお、サブブロックに対する座標値が必要な場合は、サブブロックの左上など特定の位置の画素位置やサブブロックの中央位置を用いることができる。また、カメラ配置が一次元平行の場合、サブブロックの位置によらず、視差の向きはカメラの配置に依存し、視差量はデプス値に依存するため、予め作成したルックアップテーブルを参照することで、デプス値から視差ベクトルを求めることができる。

次に、得られた視差ベクトルｓｄｖと参照画像とを用いて、サブブロックｓｂｌｋに対する視差補償画像（視点間予測画像）を生成する（ステップＳ１４０５、視点間予測ステップ）。ここでの処理は、与えられたベクトルと参照画像とを用いるだけで、従来の視差補償予測や動き補償予測と同様の方法を用いることができる。

なお、ステップＳ１４０４とステップＳ１４０５とで実現される処理は、サブブロックｂｌｋに対して１つのデプス値が与えられた際に、視点合成画像を生成する処理の一例である。ここででは、サブブロックに対して与えられた１つのデプス値から視点合成画像を生成できれば、別の方法を用いても構わない。例えば、サブブロックが１つのデプス平面に属すると仮定することで、参照画像上の対応領域（サブブロックと同じ形状や大きさである必要はない）を同定し、その対応領域に対する参照画像をワーピングすることで視点合成画像を生成しても構わない。

また、カメラの投影モデルをモデル化、多視点画像の平行化（レクティフィケーション）、デプスなどの誤差が存在するため、デプスからカメラパラメータに基づいて求めた視差ベクトルには誤差が含まれる。それを補償するために、視差ベクトルｓｄｖに対して参照画像上での補正ベクトルｃｍｖを用いても構わない。その場合、ステップＳ１４０５では、ベクトルｓｄｖ＋ｃｍｖを視差ベクトルとして視差補償画像を生成する。なお、どのようなベクトルを補正ベクトルとしても構わないが、効率的な補正ベクトルの設定には、符号化対象領域における視差補償画像と符号化対象画像の誤差や、符号化対象領域におけるレート歪みコストの最小化を用いることができる。

補正ベクトルは復号側で同じものが得られれば、任意のベクトルを用いても構わない。
例えば、任意のベクトルを設定し、そのベクトルを符号化することで復号側へ通知しても構わない。符号化して伝送する場合は、ブロックｂｌｋごとに一つの補正ベクトルを設定することで、その符号化で必要となる符号量を抑えることができる。

なお、補正ベクトルが符号化されている場合は、復号側ではビットストリームから適切なタイミング（サブブロック毎やブロック毎）でベクトルを復号し、復号したベクトルを補正ベクトルとして使用する。

ブロックやサブブロックごとに、使用したカメラ間予測画像に関する情報を蓄積する場合、デプスを用いた視点合成画像を参照したことを示す情報を蓄積しても構わないし、実際にカメラ間予測画像を生成する際に使用した情報（画像参照視差ベクトル）を蓄積しても構わない（画像参照視差ベクトル蓄積ステップ）。なお、蓄積された情報は、別のブロックや別のフレームを符号化または復号する際に参照される。例えば、あるブロックに対するベクトル情報（視差補償予測に用いるベクトルなど）を符号化または復号する際に、そのブロック周辺の既に符号化済みブロックに蓄積されているベクトル情報から、予測ベクトル情報を生成して、予測ベクトル情報との差分のみ符号化または復号しても構わない。別の例としては、あるブロックに対する視差ベクトルｄｖを、そのブロック周辺の既に符号化または復号済みのブロックに蓄積されているベクトル情報を用いて設定しても構わない。

デプスを用いた視点合成画像を参照したことを示す情報としては、対応する予測モード情報を蓄積しても構わないし、予測モードとしてはフレーム間予測モードに対応する情報を蓄積し、その際の参照フレームとして視点合成画像に対応する参照フレーム情報を蓄積しても構わない。また、ベクトル情報として、視差ベクトルｄｖを蓄積しても構わないし、視差ベクトルｄｖと補正ベクトルｃｍｖとを蓄積しても構わない。

実際にカメラ間予測画像を生成する際に使用した情報としては、予測モードとしてはフレーム間予測モードに対応する情報を蓄積し、その際の参照フレームとして参照画像を蓄積しても構わない。また、ベクトル情報としては、サブブロックごとに、参照画像に対する視差ベクトルｓｄｖまたは補正された参照画像に対する視差ベクトルｓｄｖ＋ｃｍｖを蓄積しても構わない。なお、ワーピング等を用いた場合など、サブブロック内で２つ以上のベクトルが使用されている場合がある。その場合は、全てのベクトルを蓄積しても構わないし、予め定められた方法で、サブブロックごとに１つのベクトルを選択して蓄積しても構わない。１つのベクトルを選択する方法としては、例えば、視差量が最大のベクトルとする方法や、サブブロックの特定の位置（左上など）におけるベクトルとする方法などがある。

次に、画像復号装置について説明する。図７は、本実施形態における画像復号装置の構成を示すブロック図である。画像復号装置２００は、図７に示すように、ビットストリーム入力部２０１、ビットストリームメモリ２０２、参照画像入力部２０３、参照画像メモリ２０４、参照デプスマップ入力部２０５、参照デプスマップメモリ２０６、視差ベクトル設定部２０７、視点合成画像生成部２０８、及び画像復号部２０９を備えている。

ビットストリーム入力部２０１は、復号対象となる画像を符号化した符号データのビットストリームを入力する。以下では、この復号対象となる画像を復号対象画像と呼ぶ。ここではカメラＢの画像を指す。また、以下では、復号対象画像を撮影したカメラ（ここではカメラＢ）を復号対象カメラと呼ぶ。
ビットストリームメモリ２０２は、入力した復号対象画像に対するビットストリームを記憶する。参照画像入力部２０３は、視点合成画像（視差補償画像）を生成する際に参照する画像を入力する。以下では、ここで入力された画像を参照画像と呼ぶ。ここではカメラＡの画像が入力されるものとする。参照画像メモリ２０４は、入力した参照画像を記憶する。以下では、参照画像を撮影したカメラ（ここではカメラＡ）を参照カメラと称する。

参照デプスマップ入力部２０５は、視点合成画像を生成する際に参照するデプスマップを入力する。ここでは、参照画像に対するデプスマップを入力するものとするが、別のカメラに対するデプスマップでも構わない。以下では、このデプスマップを参照デプスマップと呼ぶ。
デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここでは視差量が得られれば構わないので、デプスマップではなく、視差量を直接表現した視差マップを用いても構わない。

なお、ここではデプスマップとして画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。参照デプスマップメモリ２０６は、入力された参照デプスマップを記憶する。以下では、参照デプスマップに対応するカメラ（ここではカメラＡ）を参照デプスカメラと呼ぶ。

視差ベクトル設定部２０７は、復号対象画像または復号対象画像を分割したブロックごとに、参照デプスマップに対する視差ベクトルを設定する。視点合成画像生成部２０８（視点間予測部）は、参照デプスマップを用いて、復号対象画像の画素と参照画像の画素との対応関係を求め、復号対象画像に対する視点合成画像を生成する。画像復号部２０９は、視点合成画像を用いて、ビットストリームから復号対象画像を復号して復号画像を出力する。

次に、図８を参照して、図７に示す画像復号装置２００の動作を説明する。図８は、図７に示す画像復号装置２００の動作を示すフローチャートである。
ビットストリーム入力部２０１は、復号対象画像を符号化したビットストリームを入力し、ビットストリームメモリ２０２に記憶する（ステップＳ２１）。これと並行して、参照画像入力部２０３は参照画像を入力し、参照画像メモリ２０４に記憶する。また、参照デプスマップ入力部２０５は参照デプスマップを入力し、参照デプスマップメモリ２０６に記憶する（ステップＳ２２）。

ステップＳ２２で入力される参照画像と参照デプスマップは、符号化側で使用されたものと同じものとする。これは画像符号化装置１００で使用したものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。参照デプスマップに関しては、別途復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなどを用いることもある。

次に、画像復号装置２００は、復号対象画像を分割したブロックごとに、視点合成画像を作りながら、ビットストリームから復号対象画像を復号する。すなわち、復号対象画像のブロックのインデックスを示す変数ｂｌｋを０に初期化した後（ステップＳ２３）、ｂｌｋを１ずつ加算しながら（ステップＳ２６）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ２７）、以下の処理（ステップＳ２４、ステップＳ２５）を繰り返す。なお、ｎｕｍＢｌｋｓは復号対象画像中の復号処理を行う単位ブロックの個数を表す。

復号対象画像のブロックごとに行われる処理では、まず、視差ベクトル設定部２０７（参照デプス領域設定部）及び視点合成画像生成部２０８（視点間予測部）において、ブロックｂｌｋに対する視点合成画像を生成する（ステップＳ２４）。ここでの処理は前述の図２に示すステップＳ１４（図３に示すステップＳ１４０１〜Ｓ１４０７）と同じであるので詳細な説明を省略する。予測領域分割設定部としての視点合成画像生成部２０８によるサブブロック分割（符号化対象領域内の領域分割）、サブブロックごとに行われる処理についても同様である。

次に、視点合成画像が得られたならば、画像復号部２０９は、視点合成画像を予測画像として用いながら、ビットストリームから復号対象画像を復号して出力する（ステップＳ２５）。この結果得られる復号画像が画像復号装置２００の出力となる。なお、ビットストリームを正しく復号できるならば、復号にはどのような方法を用いてもよい。一般的には、符号化時に用いられた方法に対応する方法が用いられる。

ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化で符号化されている場合は、ブロックごとに、エントロピー復号、逆２値化、逆量子化などを施した後、ＩＤＣＴなど逆周波数変換を施して予測残差信号を得た後、予測画像を加え、画素値範囲でクリッピングすることで復号を行う。

本実施形態では、全てのブロックにおいて視点合成画像を予測画像として用いたが、ブロックごとに異なる方法で生成された画像を予測画像として用いても構わない。その場合、どの方法で生成された画像を予測画像として用いたかを、判別して適切な予測画像を使用する必要がある。例えば、Ｈ．２６４のように、予測画像を生成する方法（モードやベクトル情報など）を示した情報が符号化されて、ビットストリームに含まれている場合、その情報を復号することで適切な予測画像を選択して復号を行っても構わない。

なお、図８に示すステップＳ２４の詳細処理は図３に示す処理動作と同等であるが、視差ベクトルｄｖを設定するステップＳ１４０１では、符号化側と同じ処理を行う必要がある。その一つの方法として、視差ベクトルｄｖがビットストリームに多重化されている場合がある。この場合、図９に示すように、画像復号装置２００はビットストリーム分離部２１０と視差ベクトル復号部２１１（デプス参照視差ベクトル設定部）とを更に備えればよい。図９は、図７に示す画像復号装置２００の変形例を示すブロック図である。

ビットストリーム分離部２１０は、入力されたビットストリームを視差ベクトルｄｖに対するビットストリームと、復号対象画像に対するビットストリームとに分離する。また、視差ベクトル復号部２１１では、分離されたビットストリームから視差ベクトルｄｖを復号し、復号された視差ベクトルが視点合成画像生成部２０８で使用される。すなわち、図１０に示すようにブロックｂｌｋごとに視差ベクトルを復号した後に（ステップＳ２８）、視点合成画像の生成（ステップＳ２４）及び復号対象画像の復号（ステップＳ２５）を行う。図１０は、図８に示す動作の変形例を示すフローチャートである。

なお、ブロックごとに視差ベクトルを復号するのではなく、フレームやスライスなどの大きな単位ごとにグローバルな視差ベクトルを復号して、そのフレームやスライス内のブロックでは同じ視差ベクトルとして、復号されたグローバル視差ベクトルを用いても構わない。この場合、図１１に示すように、ブロックごとに行われる処理の前に、参照デプスマップに対する視差ベクトルを復号する（ステップＳ２９）。図１１は、図８に示す動作の変形例を示すフローチャートである。

別の方法としては、ブロックｂｌｋを復号するまでに復号されたブロックにおいて復号されたベクトル情報から、ブロックｂｌｋに対する視差ベクトルを設定しても構わない。
具体的には、ブロックｂｌｋに空間的または時間的に隣接するブロックやフレームなどを復号する際に視差補償予測を用いた場合、そのブロックには何らかの視差ベクトルが復号されている。したがって、予め定められた方法に従って、それらの視差ベクトルから、ブロックｂｌｋにおける視差ベクトルを求めても構わない。
予め定められた方法として、隣接ブロックにおける視差ベクトルからメディアン予測を行う方法や、特定のブロックにおける視差ベクトルをそのまま用いる方法がある。この場合、図１２に示すように、画像復号装置２００はベクトル情報メモリ２１２（画像参照視差ベクトル蓄積部）を更に備えればよい。図１２は、図７に示す画像復号装置２００に変形例を示すブロック図である。ベクトル情報メモリ２１２は、画像復号部２０９で予測画像を生成する際に用いたベクトル情報を蓄積する。蓄積されたベクトル情報は、視差ベクトル設定部２０７で別のブロックｂｌｋに対する視差ベクトルを設定する際に利用される。

また、この方法を、前述の視差ベクトルを復号することで任意のベクトルを視差ベクトルとする方法と組み合わせても構わない。例えば、ブロックｂｌｋを復号するまでに復号されたブロックにおいて復号されたベクトル情報から推定したベクトルに対して、ビットストリームから復号されたベクトルを加算し、視差ベクトルｄｖとしても構わない。なお、前述したように、ブロックｂｌｋと同じ位置の参照デプスマップのデプス値から視差ベクトルｄｖを求めても構わない。

前述した説明においては、１フレーム中のすべての画素を符号化及び復号する処理を説明したが、一部の画素にのみ適用し、その他の画素では、Ｈ．２６４／ＡＶＣなどで用いられる画面内予測符号化や動き補償予測符号化などを用いて符号化または復号を行ってもよい。その場合には、画素ごとにどの方法を用いて予測したかを示す情報を符号化及び復号する必要がある。また、画素ごとではなくブロック毎に別の予測方式を用いて符号化または復号を行ってもよい。なお、一部の画素やブロックに対してのみ視点合成画像を用いた予測を行う場合は、その画素に対してのみ視点合成画像を生成する処理（図２に示すステップＳ１４、図８に示すステップＳ２４、Ｓ２８）を行うようにすることで、視点合成処理にかかる演算量を削減することが可能となる。

また、前述した説明においては、１フレームを符号化及び復号する処理を説明したが、複数フレーム繰り返すことで動画像符号化にも適用することができる。また、動画像の一部のフレームや一部のブロックにのみ適用することもできる。さらに、前述した説明では画像符号化装置及び画像復号装置の構成及び処理動作を説明したが、これら画像符号化装置及び画像復号装置の各部の動作に対応した処理動作によって本発明の画像符号化方法及び画像復号方法を実現することができる。

さらに、前述した説明においては、参照デプスマップが符号化対象カメラまたは復号対象カメラとは異なるカメラで撮影された画像に対するデプスマップであるとして説明を行ったが、符号化対象画像または復号対象画像とは異なる時刻に、符号化対象カメラまたは復号対象カメラによって撮影された画像に対するデプスマップを、参照デプスマップとして用いることができる。その場合、ステップＳ１４０１、ステップＳ１８、ステップＳ２８、ステップＳ２９では、視差ベクトルではなく動きベクトルを設定または復号する。

図１３は、前述した画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。
図１３に示すシステムは、プログラムを実行するＣＰＵ５０と、メモリ５１と、符号化対象画像入力部５２と、参照画像入力部５３と、参照デプスマップ入力部５４と、プログラム記憶装置５５と、ビットストリーム出力部５６とが、バスで接続された構成になっている。
ＲＡＭ等のメモリ５１は、ＣＰＵ５０がアクセスするプログラムやデータを格納する。符号化対象画像入力部５２は、カメラ等からの符号化対象の画像信号を入力する。この符号化対象画像入力部５２は、画像信号を記憶するディスク装置等の記憶部でもよい。参照画像入力部５３は、カメラ等からの参照対象の画像信号を入力する。この参照画像入力部５３は、画像信号を記憶するディスク装置等の記憶部でもよい。参照デプスマップ入力部５４は、デプスカメラ等からの符号化対象画像を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する。この参照デプスマップ入力部５４は、デプスマップを記憶するディスク装置等の記憶部でもよい。プログラム記憶装置５５は、画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５５１を格納する。ビットストリーム出力部５６は、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５５１を実行することにより生成されたビットストリームを、例えばネットワークを介して出力する。このビットストリーム出力部５６は、ビットストリームを記憶するディスク装置等の記憶部でもよい。

図１４は、前述した画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。
図１４に示すシステムは、プログラムを実行するＣＰＵ６０と、メモリ５１と、ビットストリーム入力部６２と、参照画像入力部６３と、参照デプスマップ入力部６４と、プログラム記憶装置６５と、復号対象画像出力部６６とが、バスで接続された構成になっている。
ＲＡＭ等のメモリ５１は、ＣＰＵ６０がアクセスするプログラムやデータを格納する。ビットストリーム入力部６２は、画像符号化装置が本手法により符号化したビットストリームを入力する。このビットストリーム入力部６２は、画像信号を記憶するディスク装置等の記憶部でもよい。参照画像入力部６３は、カメラ等からの参照対象の画像信号を入力する。この参照画像入力部６３は、画像信号を記憶するディスク装置等の記憶部でもよい。参照デプスマップ入力部６４は、デプスカメラ等からの復号対象を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する。この参照デプスマップ入力部６４は、デプス情報を記憶するディスク装置等の記憶部でもよい。プログラム記憶装置６５は、画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６５１を格納する。復号対象画像出力部６６は、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、ビットストリームを復号して得られた復号対象画像を、再生装置などに出力する。この復号対象画像出力部６６は、画像信号を記憶するディスク装置等の記憶部でもよい。

また、図１に示す画像符号化装置１００及び図７に示す画像復号装置２００における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理と画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

符号化（復号）対象画像を撮影したカメラとは異なる位置から撮影された画像に対するデプスマップを用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を少ない演算量で達成することが不可欠な用途に適用できる。

１０１・・・符号化対象画像入力部
１０２・・・符号化対象画像メモリ
１０３・・・参照画像入力部
１０４・・・参照画像メモリ
１０５・・・参照デプスマップ入力部
１０６・・・参照デプスマップメモリ
１０７・・・視差ベクトル設定部
１０８・・・視点合成画像生成部
１０９・・・画像符号化部
１１０・・・視差ベクトル符号化部
１１１・・・多重化部
１１２・・・ベクトル情報メモリ
２０１・・・ビットストリーム入力部
２０２・・・ビットストリームメモリ
２０３・・・参照画像入力部
２０４・・・参照画像メモリ
２０５・・・参照デプスマップ入力部
２０６・・・参照デプスマップメモリ
２０７・・・視差ベクトル設定部
２０８・・・視差合成画像生成部
２０９・・・画像復号部
２１０・・・ビットストリーム分離部
２１１・・・視差ベクトル復号部
２１２・・・ベクトル情報メモリ

Claims (16)

1. 複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対するデプスマップである参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号装置であって、
   前記復号対象画像を分割した復号対象領域に対して、前記参照デプスマップ上での対応領域である参照デプス領域を設定する参照デプス領域設定部と、
   前記参照デプス領域におけるデプス情報を前記復号対象領域に対するデプス情報として、前記参照画像から、前記復号対象領域に対する視点間予測画像を生成する視点間予測部と
   を備える画像復号装置。
2. 前記復号対象領域に対して、参照デプスマップに対する視差ベクトルであるデプス参照視差ベクトルを設定するデプス参照視差ベクトル設定部をさらに有し、
   前記参照デプス設定部では、前記デプス参照視差ベクトルによって示される領域を前記参照デプス領域として設定する請求項１に記載の画像復号装置。
3. 前記デプス参照視差ベクトル設定部では、前記復号対象領域に隣接する領域を復号する際に使用した視差ベクトルを用いて、前記デプス参照視差ベクトルを設定する請求項２に記載の画像復号装置。
4. 前記デプス参照視差ベクトル設定部では、前記復号対象領域と同位置の前記参照デプスマップ上の領域に対するデプス情報を用いて、前記デプス参照視差ベクトルを設定する請求項２に記載の画像復号装置。
5. 前記視点間予測部では、前記復号対象領域を分割した予測領域ごとに、対応する前記参照デプス領域内のデプス情報を用いて、代表デプスを設定し、当該代表デプスと前記参照画像から視点合成画像を生成することで、前記復号対象領域に対する視点間予測画像を生成する請求項１から４のいずれか１項に記載の画像復号装置。
6. 前記視点間予測部では、前記復号対象領域を分割した予測領域ごとに、対応する前記参照デプス領域内のデプス情報を用いて、前記参照画像に対する視差ベクトルである画像参照視差ベクトルを設定し、当該画像参照視差ベクトルと前記参照画像とを用いて視差補償画像を生成することで、前記復号対象領域に対する視点間予測画像を生成する請求項１から４のいずれか１項に記載の画像復号装置。
7. 前記画像参照視差ベクトルを蓄積する画像参照視差ベクトル蓄積部と、
   前記蓄積された画像参照視差ベクトルを用いて、前記復号対象領域に隣接する領域に対する予測視差情報を生成する視差予測部とを更に有する請求項６に記載の画像復号装置。
8. 前記視差予測部では、前記復号対象領域に隣接する領域に対するデプス参照視差ベクトルを生成する請求項７に記載の画像復号装置。
9. 前記画像参照視差ベクトルを補正するベクトルである補正視差ベクトルを設定する補正視差ベクトル部をさらに有し、
   前記視点間予測部では、前記画像参照視差ベクトルを前記補正視差ベクトルで補正したベクトルと、前記参照画像とを用いて視差補償画像を生成することで、前記視点間予測画像を生成する請求項６に記載の画像復号装置。
10. 前記補正視差ベクトル設定部では、前記復号対象領域に対して１つのベクトルを前記補正視差ベクトルとして設定する請求項９に記載の画像復号装置。
11. 前記参照デプス領域内のデプス情報に基づいて、前記復号対象領域内の領域分割を設定する予測領域分割設定部をさらに有し、
    前記視点間予測部では、前記領域分割に従って得られる領域を、前記予測領域とする請求項５から１０のいずれか１項に記載の画像復号装置。
12. 複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照画像と、前記参照画像中の被写体に対するデプスマップである参照デプスマップとを用いて、異なる視点間で画像を予測しながら復号を行う画像復号方法であって、
    前記復号対象画像を分割した復号対象領域に対して、前記参照デプスマップ上での対応領域である参照デプス領域を設定する参照デプス領域設定ステップと、
    前記参照デプス領域におけるデプス情報を前記復号対象領域に対するデプス情報として、前記参照画像から、前記復号対象領域に対する視点間予測画像を生成する視点間予測ステップと
    を有する画像復号方法。
13. 複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対するデプスマップである参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化装置であって、
    前記符号化対象画像を分割した符号化対象領域に対して、前記参照デプスマップ上での対応領域である参照デプス領域を設定する参照デプス領域設定部と、
    前記参照デプス領域におけるデプス情報を前記符号化対象領域に対するデプス情報として、前記参照画像から、前記符号化対象領域に対する視点間予測画像を生成する視点間予測部と
    を備える画像符号化装置。
14. 複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体に対するデプスマップである参照デプスマップとを用いて、異なる視点間で画像を予測しながら符号化を行う画像符号化方法であって、
    前記符号化対象画像を分割した符号化対象領域に対して、前記参照デプスマップ上での対応領域である参照デプス領域を設定する参照デプス領域設定ステップと、
    前記参照デプス領域におけるデプス情報を前記符号化対象領域に対するデプス情報として、前記参照画像から、前記符号化対象領域に対する視点間予測画像を生成する視点間予測ステップと
    を有する画像符号化方法。
15. コンピュータに、請求項１２に記載の画像復号方法を実行させるための画像復号プログラム。
16. コンピュータに、請求項１４に記載の画像符号化方法を実行させるための画像符号化プログラム。

Images