JPWO2014050830A1 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 - Google Patents

Abstract

画像符号化方法は、参照デプスマップを、対象画像に撮影された被写体のデプスマップである仮想デプスマップに変換するステップと、被写体の前後関係によって生じる参照デプスマップ内にデプス値が存在しないオクルージョン領域に対して、参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることによりオクルージョン領域のデプス値を生成するステップと、オクルージョン領域のデプス値を生成した後の仮想デプスマップと参照画像とから、符号化対象画像に対する視差補償画像を生成することで、視点間の画像予測を行うステップとを有する。

Description

本発明は、多視点画像を符号化及び復号する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体に関する。
本願は、２０１２年９月２５日に、日本に出願された特願２０１２−２１１１５５号に基づき優先権を主張し、その内容をここに援用する。

従来から、複数のカメラで同じ被写体と背景を撮影した複数の画像からなる多視点画像が知られている。この複数のカメラで撮影した動画像のことを多視点動画像（または多視点映像）という。以下の説明では１つのカメラで撮影された画像（動画像）を“２次元画像（動画像）”と称し、同じ被写体と背景とを位置や向き（以下、視点と称する）が異なる複数のカメラで撮影した２次元画像（２次元動画像）群を“多視点画像（多視点動画像）”と称する。

２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めることができる。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。

ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償予測、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。

Ｈ．２６４で使われている動き補償予測技術の詳細については、例えば非特許文献１に記載されている。Ｈ．２６４で使われている動き補償予測技術の概要を説明する。Ｈ．２６４の動き補償予測は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照フレームを持つことを許可している。各ブロックで異なる動きベクトルを使用することで、被写体ごとに異なる動きを補償した精度の高い予測を実現している。一方、各ブロックで異なる参照フレームを使用することで、時間変化によって生じるオクルージョンを考慮した精度の高い予測を実現している。

次に、従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、カメラ間の相関を利用する方法はどちらの場合でも、同じ方法を用いることができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。

多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償予測を同じ時刻の異なるカメラで撮影された画像に適用した“視差補償予測”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。図２１は、カメラ間で生じる視差を示す概念図である。図２１に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。

視差補償予測では、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラ対や位置ごとに変化するため、視差補償予測を行う領域ごとに視差情報を符号化することが必要である。実際に、Ｈ．２６４の多視点符号化方式では、視差補償予測を用いるブロックごとに視差情報を表すベクトルを符号化している。

視差情報によって与えられる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の３次元位置を示す１次元量で表すことができる。被写体の３次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として表現する場合もある。どのような表現を用いたとしてもその物理的な意味に本質的な違いはないため、以下では、表現による区別をせずに、それら３次元位置を示す情報をデプスと表現する。

図２２はエピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。例えば、図２２に示すように、第１のカメラ画像においてｍの位置に投影された被写体に対する第２のカメラ画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に、投影される。

非特許文献２では、この性質を利用して、参照フレームに対するデプスマップ（距離画像）によって与えられる各被写体の３次元情報に従って、参照フレームから符号化対象フレームに対する予測画像を合成することで、精度の高い予測画像を生成し、効率的な多視点動画像の符号化を実現している。なお、このデプスに基づいて生成される予測画像は視点合成画像、視点補間画像、または視差補償画像と呼ばれる。

さらに、特許文献１では、最初に参照フレームに対するデプスマップ（参照デプスマップ）を符号化対象フレームに対するデプスマップ（仮想デプスマップ）へと変換し、その変換されたデプスマップ（仮想デプスマップ）を用いて対応点を求めることで、必要な領域に対してのみ視点合成画像を生成することを可能にしている。これによって、符号化対象または復号対象となるフレームの領域ごとに、予測画像を生成する方法を切り替えながら画像または動画像を符号化または復号する場合において、視点合成画像を生成するための処理量や、視点合成画像を一時的に蓄積するためのメモリ量の削減を実現している。

特開２０１０−２１８４４号公報

ITU-T Recommendation H.264 (03/2009), "Advanced video coding for generic audiovisual services", March, 2009. Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006. Y. Mori, N. Fukushima, T. Fuji, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV", In Proceedings of 3DTV-CON2008, pp.229-232, May 2008.

特許文献１の方法によれば、符号化対象フレームに対してデプスが得られるため、符号対象フレームの画素から参照フレーム上の対応する画素を求めることが可能となる。これにより、符号化対象フレームの指定された領域のみに対して視点合成画像を生成することで、常に１フレーム分の視点合成画像を生成する場合に比べて、処理量や要求されるメモリの量を削減することができる。

しかしながら、参照フレームに対するデプスマップ（参照デプスマップ）から符号化対象フレームに対するデプスマップ（仮想デプスマップ）を合成する方法では、図１１に示すように、符号化対象フレームを撮影した視点からは観測可能だが、参照フレームを撮影した視点からは観測不可能な符号化対象フレーム上の領域（以下、オクルージョン領域ＯＣＣと称する）に対しては、デプス情報が得られないという問題がある。図１１は、オクルージョン領域ＯＣＣが発生する状況を示す説明図である。これは、参照フレームに対するデプスマップ上に、対応するデプス情報が存在しないためである。デプス情報が得られない結果、視点合成画像を生成することができない状況が発生する。

特許文献１では、変換して得られた符号化対象フレームに対するデプスマップ（仮想デプスマップ）に対して、実空間での連続性を仮定した補正をすることで、オクルージョン領域ＯＣＣに対してもデプス情報を生成する方法も提供している。この場合、オクルージョン領域ＯＣＣは周辺のオブジェクトによって遮蔽されていた領域となるため、実空間での連続性を仮定した補正では、オクルージョン領域の周辺の背景オブジェクトＯＢＪ−Ｂのデプス、または、前景オブジェクトＯＢＪ−Ｆと背景オブジェクトＯＢＪ−Ｂとを滑らかにつなぐデプスが、オクルージョン領域ＯＣＣのデプスとして与えられる。

図１３は、オクルージョン領域ＯＣＣに対して、その周辺の背景オブジェクトＯＢＪ−Ｂのデプスが与えられた場合（すなわち、背景オブジェクトの連続性を仮定して、オクル―ジョン領域ＯＣＣにデプスが与えられた場合）のデプスマップを示す。この場合、符号化対象フレームのオクリュージョン領域ＯＣＣにおけるデプス値として、背景オブジェクトＯＢＪ−Ｂのデプス値が与えられる。従って、生成された仮想デプスマップを用いて視点合成画像を生成すると、図１９に示すように、参照フレームではオクルージョンのために背景オブジェクトＯＢＪ−Ｂが前景オブジェクトＯＢＪ−Ｆに遮蔽されているため、オクルージョン領域ＯＣＣ上の画素は、参照フレーム上の前景オブジェクトＯＢＪ−Ｆ上の画素と対応づけられ、視点合成画像の品質が低下してしまう。図１９は、オクル―ジョン領域ＯＣＣにおいて背景オブジェクトの連続性を仮定した場合に、オクルージョン領域ＯＣＣを含む符号化対象フレームに生成される視点合成画像を示す説明図である。

一方、図１４は、オクルージョン領域ＯＣＣに対して、前景オブジェクトＯＢＪ−Ｆと背景オブジェクトＯＢＪ−Ｂとを滑らかにつなぐデプスが与えられた場合（すなわち、被写体の連続性を仮定してオクル―ジョン領域ＯＣＣにデプスが与えられた場合）のデプスマップを示す。この場合、符号化対象フレームのオクリュージョン領域ＯＣＣにおけるデプス値として、視点から近いことを示すデプス値から視点から遠いことを示すデプス値まで連続的に変化するデプス値が与えられる。そのような仮想デプスマップを用いて視点合成画像を生成すると、図２０に示すように、オクル―ジョン領域ＯＣＣ上の画素は、参照フレーム上の前景オブジェクトＯＢＪ−Ｆの画素と背景オブジェクトＯＢＪ−Ｂの画素との間に対応づけられる。図２０は、オクルージョン領域ＯＣＣに対して前景オブジェクトＯＢＪ−Ｆと背景オブジェクトＯＢＪ−Ｂとを滑らかにつなぐデプスを与えた状況において、オクルージョン領域ＯＣＣを含む符号化対象フレームに生成される視点合成画像を示す説明図である。この時のオクルージョン領域ＯＣＣの画素値は前景オブジェクトＯＢＪ−Ｆの画素と背景オブジェクトＯＢＪ−Ｂの画素を補間することで得られる。すなわち、オクルージョン領域ＯＣＣの画素は前景オブジェクトＯＢＪ−Ｆと背景オブジェクトＯＢＪ−Ｂとが混ざった値を持つことになり、現実では基本的に発生しない状況であるため、視点合成画像の品質は低下してしまう。

このようなオクルージョン領域に対しては、非特許文献３に代表されるように、オクルージョン領域の周辺領域で得られる視点合成画像を用いてインペイント処理を行うことで、視点合成画像を生成することが可能である。しかしながら、インペイント処理を行うためには、オクルージョン領域の周辺領域に対しても視点合成画像を生成する必要があるため、符号化対象フレームの指定された領域のみに対して視点合成画像を生成して処理量や一時メモリの量を削減することができるという特許文献１の効果が得られなくなる。

本発明は、このような事情に鑑みてなされたもので、参照フレームに対してデプスマップを用いて、符号化処理または復号処理対象のフレームの視点合成画像を生成する際に、視点合成画像の品質の低下を抑えつつ、高い符号化効率とメモリ容量及び演算量の削減を実現することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体を提供することを目的とする。

本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記参照デプスマップを、前記符号化対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換ステップと、前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しないオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成ステップと、前記オクルージョン領域のデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記符号化対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測ステップとを有する。

本発明の画像符号化方法においては、前記オクルージョン領域デプス生成ステップでは、前記参照デプスマップ上において前記オクルージョン領域を遮蔽する被写体の連続性を仮定することにより前記オクルージョン領域のデプス値を生成するようにしてもよい。

本発明の画像符号化方法においては、前記オクルージョン領域に対応する前記参照デプスマップ上の画素境界を決定するオクルージョン発生画素境界決定ステップをさらに有してもよく、前記オクルージョン領域デプス生成ステップでは、前記オクルージョン発生画素境界に隣接する前記参照デプスマップの画素の組ごとに、前記参照デプスマップ上で前記視点から近いことを示すデプス値を持つ画素の位置において、前記視点から近いことを示すデプス値を持つ画素と同じデプス値から、前記視点から遠いことを示すデプス値を持つ画素と同じデプス値まで、前記被写体が連続的に存在すると仮定して、前記オクルージョン領域のデプス値を生成するようにしてもよい。

本発明の画像符号化方法においては、前記オクルージョン領域を前記参照デプスマップ上で遮蔽する領域に対する前記仮想デプスマップ上の被写体領域を決定する被写体領域決定ステップと、前記被写体領域を前記オクルージョン領域の方向へ画素を伸張する被写体領域伸張ステップとをさらに有してもよく、前記オクルージョン領域デプス生成ステップでは、前記伸張して生成された画素と、前記オクルージョン領域に隣接し前記被写体領域とは反対方向に存在する画素との間でデプス値を滑らかに補間することにより前記オクルージョン領域のデプス値を生成するようにしてもよい。

本発明の画像符号化方法においては、前記デプスマップ変換ステップでは、前記参照デプスマップの参照画素ごとに前記仮想デプスマップ上の対応画素を求め、前記参照画素に対するデプスと同じ３次元位置を示すデプスを、前記対応画素に割り当てることにより仮想デプスマップへの変換を行うようにしてもよい。

また、本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、前記参照デプスマップを、前記復号対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換ステップと、前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しないオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成ステップと、前記オクルージョン領域のデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記復号対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測ステップとを有する。

本発明の画像復号方法においては、前記オクルージョン領域デプス生成ステップでは、前記参照デプスマップ上において前記オクルージョン領域を遮蔽する被写体の連続性を仮定することにより前記オクルージョン領域のデプス値を生成するようにしてもよい。

本発明の画像復号方法においては、前記オクルージョン領域に対応する前記参照デプスマップ上の画素境界を決定するオクルージョン発生画素境界決定ステップをさらに有してもよく、前記オクルージョン領域デプス生成ステップでは、前記オクルージョン発生画素境界に隣接する前記参照デプスマップの画素の組ごとに、前記参照デプスマップ上で前記視点から近いことを示すデプス値を持つ画素の位置において、前記視点から近いことを示すデプス値を持つ画素と同じデプス値から、前記視点から遠いことを示すデプス値を持つ画素と同じデプス値まで、前記被写体が連続的に存在すると仮定して、当該仮定された被写体のデプスを前記復号対象画像上のデプスへと変換することで前記オクルージョン領域のデプス値を生成するようにしてもよい。

本発明の画像復号方法においては、前記オクルージョン領域を前記参照デプスマップ上で遮蔽する領域に対する前記仮想デプスマップ上の被写体領域を決定する被写体領域決定ステップと、前記被写体領域を前記オクルージョン領域の方向へ画素を伸張する被写体領域伸張ステップとをさらに有してもよく、前記オクルージョン領域デプス生成ステップでは、前記伸張して生成された画素と、前記オクルージョン領域に隣接し前記被写体領域とは反対方向に存在する画素との間でデプス値を滑らかに補間することにより前記オクルージョン領域のデプス値を生成するようにしてもよい。

本発明の画像復号方法においては、前記デプスマップ変換ステップでは、前記参照デプスマップの参照画素ごとに前記仮想デプスマップ上の対応画素を求め、前記参照画素に対するデプスと同じ３次元位置を示すデプスを、前記対応画素に割り当てることにより仮想デプスマップへの変換を行うようにしてもよい。

本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記参照デプスマップを、前記符号化対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換部と、前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しないオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成部と、前記オクルージョン領域のデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記符号化対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測部とを備える。

本発明の画像符号化装置においては、前記オクルージョン領域デプス生成部は、前記参照デプスマップ上において前記オクルージョン領域を遮蔽する被写体の連続性を仮定することにより前記オクルージョン領域のデプス値を生成するようにしてもよい。

さらに、本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、前記参照デプスマップを、前記復号対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換部と、前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しないオクルージョン領域に対して、前記参照画像において遮蔽されている被写体同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成部と、前記オクルージョン領域のデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記復号対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測部とを備える。

本発明の画像復号装置においては、前記オクルージョン領域デプス生成部は、前記参照カメラデプスマップ上において前記オクルージョン領域を遮蔽する被写体の連続性を仮定することにより前記オクルージョン領域のデプス値を生成するようにしてもよい。

本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。

本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。

本発明は、前記画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明は、前記画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、参照フレームに対してデプスマップを用いて、符号化処理または復号処理対象のフレームの視点合成画像を生成する際に、視点合成画像の品質の低下を抑えつつ、高い符号化効率とメモリ容量及び演算量の削減を実現することができるという効果が得られる。

本発明の一実施形態における画像符号化装置の構成を示すブロック図である。 図１に示す画像符号化装置の動作を示すフローチャートである。 図１に示す画像符号化装置における、符号化対象画像を符号化する動作の他の例を示すフローチャートである。 図２、図３に示す参照カメラデプスマップの変換処理の処理動作を示すフローチャートである。 図１に示すデプスマップ変換部における、参照カメラデプスマップから仮想デプスマップを生成する動作を示すフローチャートである。 本発明の一実施形態における画像復号装置の構成を示すブロック図である。 図６に示す画像復号装置の動作を示すフローチャートである。 図６に示す画像復号装置における、復号対象画像を復号する動作の他の例を示すフローチャートである。 本発明の一実施例の画像符号化装置の構成の他の例を示すブロック図である。 本発明の一実施例の画像復号装置の構成の他の例を示すブロック図である。 符号化対象フレームにおいて発生するオクルージョン領域示す説明図である。 本発明の一実施例における、オクルージョン領域に対するデプスを生成する動作を示す説明図である。 背景オブジェクトの連続性を仮定して、オクリュージョン領域を含む符号化対象領域の仮想デプスマップを作成する従来の処理を示す断面図である。 前景オブジェクトと背景オブジェクトとの連続性を仮定して、オクリュージョン領域を含む符号化対象領域の仮想デプスマップを作成する従来の処理の他の例を示す断面図である。 前景オブジェクトの連続性を仮定して、オクリュージョン領域を含む符号化対象領域の仮想デプスマップを作成する本発明の一実施例の処理を示す断面図である。 前景オブジェクトを伸張させた後に被写体の連続性を仮定して、オクリュージョン領域を含む符号化対象領域の仮想デプスマップを作成する本発明の他の実施例の処理を示す断面図である。 図１５に示す仮想デプスマップを用いて作成される、オクルージョン領域を含む符号化対象領域の視差補償画像を生成する本発明の一実施例の処理を示す断面図である。 図１６に示す仮想デプスマップを用いて作成される、オクルージョン領域を含む符号化対象領域の視差補償画像を生成する本発明の他の実施例の処理を示す断面図である。 図１３に示す仮想デプスマップを用いて作成される、オクルージョン領域を含む符号化対象領域の視差補償画像を生成する従来の処理を示す断面図である。 図１４に示す仮想デプスマップを用いて作成される、オクルージョン領域を含む符号化対象領域の視差補償画像を生成する従来の処理の他の例を示す断面図である。 カメラ（視点）間で生じる視差を示す断面図である。 エピポーラ幾何拘束を説明するための概念図である。

以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。以下の説明においては、第１のカメラ（カメラＡという）、第２のカメラ（カメラＢという）の２つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラＡの画像を参照画像としてカメラＢの画像を符号化または復号するものとして説明する。
なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、カメラＡとカメラＢの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、文献「Oliver Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。

以下の説明では、画像や映像フレーム、デプスマップに対して、記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素によってサンプリングされた画像信号や、それに対するデプスを示すものとする。また、デプスはカメラから離れる（視差が小さい）ほど小さな値を持つ情報であるとする。デプスの大小とカメラからの距離の関係が逆に定義されている場合は、デプスに対する値の大きさの記述を適宜読み替える必要がある。

図１は本実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照カメラ画像入力部１０３、参照カメラ画像メモリ１０４、参照カメラデプスマップ入力部１０５、デプスマップ変換部１０６、仮想デプスマップメモリ１０７、視点合成画像生成部１０８及び画像符号化部１０９を備えている。

符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下では、この符号化対象となる画像を符号化対象画像と称する。ここではカメラＢの画像を入力するものとする。また、符号化対象画像を撮影したカメラ（ここではカメラＢ）を符号化対象カメラと称する。符号化対象画像メモリ１０２は、入力した符号化対象画像を記憶する。参照カメラ画像入力部１０３は、視点合成画像（視差補償画像）を生成する際に参照画像となる画像を入力する。ここではカメラＡの画像を入力するものとする。参照カメラ画像メモリ１０４は、入力された参照画像を記憶する。

参照カメラデプスマップ入力部１０５は、参照画像に対するデプスマップを入力する。
以下では、この参照画像に対するデプスマップを参照カメラデプスマップまたは参照デプスマップと称する。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここではデプスマップとして画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照カメラデプスマップに対応するカメラを参照カメラと称する。

デプスマップ変換部１０６は、参照カメラデプスマップ（参照デプスマップ）を用いて、符号化対象画像に対するデプスマップを生成する。この符号化対象画像に対して生成されたデプスマップを仮想デプスマップと呼ぶ。仮想デプスマップメモリ１０７は、生成された仮想デプスマップを記憶する。

視点合成画像生成部１０８は、仮想デプスマップメモリ１０７から得られる仮想デプスマップを用いて、符号化対象画像の画素と参照カメラ画像の画素との対応関係を求め、符号化対象画像に対する視点合成画像を生成する。画像符号化部１０９は、視点合成画像を用いて、符号化対象画像に対して予測符号化を行い符号データであるビットストリームを出力する。

次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像を入力し、符号化対象画像メモリ１０２に記憶する（ステップＳ１）。次に、参照カメラ画像入力部１０３は、参照カメラ画像を入力し、参照カメラ画像メモリ１０４に記憶する。これと並行して、参照カメラデプスマップ入力部１０５は参照カメラデプスマップを入力し、デプスマップ変換部１０６へ出力する（ステップＳ２）。

なお、ステップＳ２で入力される参照カメラ画像、参照カメラデプスマップは、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。参照カメラデプスマップに関しては、既に符号化済みのものを復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなども、復号側で同じものが得られるものとして用いることができる。

次に、デプスマップ変換部１０６は、参照カメラデプスマップから仮想デプスマップを生成し、仮想デプスマップメモリ１０７に記憶する（ステップＳ３）。ここでの処理の詳細については後述する。

次に、視点合成画像生成部１０８は、参照カメラ画像メモリ１０４に記憶されている参照カメラ画像と、仮想デプスマップメモリ１０７に記憶されている仮想デプスマップとから、符号化対象画像に対する視点合成画像を生成し、画像符号化部１０９へ出力する（ステップＳ４）。ここでの処理は、符号化対象画像に対するデプスマップと、符号化対象カメラとは異なるカメラで撮影された画像とを用いて、符号化対象カメラの画像を合成する方法であれば、どのような方法を用いても構わない。

例えば、まず、符号化対象画像の１つの画素を選択し、仮想デプスマップ上で対応する画素のデプス値を用いて、参照カメラ画像上の対応点を求める。次に、その対応点の画素値を求める。そして、得られた画素値を選択した符号化対象画像の画素と同じ位置の視点合成画像の画素値として割り当てる。この処理を符号化対象画像の全ての画素に対して行うことで、１フレーム分の視点合成画像が得られる。なお、参照カメラ画像上の対応点が、フレーム外になった場合は、画素値なしとしても構わないし、あらかじめ定められた画素値を割り当てても構わないし、最も近いフレーム内の画素の画素値やエピポーラ直線状で最も近いフレーム内の画素の画素値を割り当てても構わない。ただし、どのように決定するかは復号側と同じにする必要がある。さらに、１フレーム分の視点合成画像が得られた後に、ローパスフィルタ等のフィルタをかけても構わない。

次に、視点合成画像が得られた後に、画像符号化部１０９は、視点合成画像を予測画像として、符号化対象画像を予測符号化して出力する（ステップＳ５）。符号化の結果得られるビットストリームが画像符号化装置１００の出力となる。なお、復号側で正しく復号可能であるならば、符号化にはどのような方法を用いてもよい。

ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化では、画像を予め定められた大きさのブロックに分割して、ブロックごとに、符号化対象画像と予測画像との差分信号を生成し、差分画像に対してＤＣＴ（discrete cosine transform）などの周波数変換を施し、その結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。

なお、予測符号化処理をブロックごとに行う場合、視点合成画像の生成処理（ステップＳ４）と符号化対象画像の符号化処理（ステップＳ５）をブロック毎に交互に繰り返すことで、符号化対象画像を符号化してもよい。その場合の処理動作を図３を参照して説明する。図３は、視点合成画像の生成処理と符号化対象画像の符号化処理をブロック毎に交互に繰り返すことで、符号化対象画像を符号化する動作を示すフローチャートである。図３において、図２に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。図３に示す処理動作では予測符号化処理を行う単位となるブロックのインデックスをｂｌｋとし、符号化対象画像中のブロック数をｎｕｍＢｌｋｓで表している。

まず、符号化対象画像入力部１０１は、符号化対象画像を入力し、符号化対象画像メモリ１０２に記憶する（ステップＳ１）。次に、参照カメラ画像入力部１０３は参照カメラ画像を入力し、参照カメラ画像メモリ１０４に記憶する。これと並行して、参照カメラデプスマップ入力部１０５は参照カメラデプスマップを入力し、デプスマップ変換部１０６へ出力する（ステップＳ２）。

次に、デプスマップ変換部１０６は、参照カメラデプスマップ入力部１０５から出力する参照カメラデプスマップに基づき仮想デプスマップを生成し、仮想デプスマップメモリ１０７に記憶する（ステップＳ３）。そして、視点合成画像生成部１０８は、変数ｂｌｋに０を代入する（ステップＳ６）。

次に、視点合成画像生成部１０８は、参照カメラ画像メモリ１０４に記憶されている参照カメラ画像と、仮想デプスマップメモリ１０７に記憶されている仮想デプスマップとから、ブロックｂｌｋに対する視点合成画像を生成し、画像符号化部１０９へ出力する（ステップＳ４ａ）。続いて、視点合成画像を得た後に、画像符号化部１０９は、視点合成画像を予測画像として、ブロックｂｌｋに対する符号化対象画像を予測符号化して出力する（ステップＳ５ａ）。そして、視点合成画像生成部１０８は、変数ｂｌｋをインクリメントし（ｂｌｋ←ｂｌｋ＋１，ステップＳ７）、ｂｌｋ＜ｎｕｍＢｌｋｓを満たすか否かを判定する（ステップＳ８）。この判定の結果、ｂｌｋ＜ｎｕｍＢｌｋｓを満たしていればステップＳ４ａに戻って処理を繰り返し、ｂｌｋ＝ｎｕｍＢｌｋｓを満たした時点で処理を終了する。

次に、図４を参照して、図１に示すデプスマップ変換部１０６の処理動作を説明する。
図４は、図２、図３に示す参照カメラデプスマップの変換処理（ステップＳ３）の処理動作を示すフローチャートである。この処理では、３つのステップによって、参照カメラデプスマップから仮想デプスマップを生成する。各ステップでは、仮想デプスマップの異なる領域に対してデプス値を生成する。

まず、デプスマップ変換部１０６は、符号化対象画像と参照カメラデプスマップとの両方に写っている領域に対する仮想デプスマップを生成する（ステップＳ２１）。この領域は、参照カメラデプスマップに含まれているデプス情報であり、仮想デプスマップにも存在すべき情報となるため、参照カメラデプスマップを変換することで求める仮想デプスマップが得られる。どのような処理を用いても構わないが、例えば、非特許文献３に記載の方法を用いても構わない。

別の方法としては、参照カメラデプスマップから各画素の３次元位置が得られるため、被写体空間の３次元モデルを復元し、復元されたモデルを符号化対象カメラから観測した際のデプスを求めることで、この領域に対する仮想デプスマップを生成することもできる。更に別の方法としては、参照カメラデプスマップの画素ごとに、その画素のデプス値を用いて、仮想デプスマップ上の対応点を求め、その対応点に変換したデプス値を割り当てることで生成することができる。ここで、変換したデプス値とは、参照カメラデプスマップに対するデプス値を、仮想デプスマップに対するデプス値へと変換したものである。デプス値を表現する座標系として、参照カメラデプスマップと仮想デプスマップとで、共通の座標系を用いる場合は、変換せずに参照カメラデプスマップのデプス値を使用することになる。

なお、対応点は必ずしも仮想デプスマップの整数画素位置として得られるわけではないため、参照カメラデプスマップ上で隣接する画素との、仮想デプスマップ上での連続性を仮定することで、仮想デプスマップの各画素に対するデプス値を補間して生成する必要がある。ただし、参照カメラデプスマップ上で隣接する画素に対して、そのデプス値の変化が予め定められた範囲内の場合においてのみ連続性を仮定する。これは、デプス値が大きく異なる画素には、異なる被写体が写っていると考えられ、実空間における被写体の連続性を仮定できないためである。また、得られた対応点から１つまたは複数の整数画素位置を求め、その画素に対して変換したデプス値を割り当てても構わない。この場合、デプス値の補間を行う必要がなくなり、演算量を削減することができる。

また、被写体の前後関係によって、参照カメラ画像の一部の領域が、参照カメラ画像の別の領域によって遮蔽され、符号化対象画像には写らない領域が存在するため、この方法を用いる場合は、前後関係を考慮しながら、対応点にデプス値を割り当てる必要がある。
ただし、符号化対象カメラと参照カメラの光軸が同一平面上に存在する場合、符号化対象カメラと参照カメラとの位置関係に従って、参照カメラデプスマップの画素を処理する順序を決定し、その決定された順序に従って処理を行うことで、前後関係を考慮せずに、得られた対応点に対して常に上書き処理を行うことで、仮想デプスマップを生成することができる。具体的には、符号化対象カメラが参照カメラよりも右に存在している場合、参照カメラデプスマップの画素を各行で左から右にスキャンする順で処理し、符号化対象カメラが参照カメラよりも左に存在している場合、参照カメラデプスマップの画素を各行で右から左にスキャンする順で処理することで、前後関係を考慮する必要がなくなる。なお、前後関係を考慮する必要がなくなることによって、演算量を削減することができる。

ステップＳ２１が終了した時点で、デプス値が得られていない仮想デプスマップの領域は、参照カメラデプスマップにおいて写っていない領域となる。図１１は、オクルージョン領域ＯＣＣが発生する状況を示す説明図である。図１１に示す通り、この領域には、被写体の前後関係によって写っていない領域（オクルージョン領域ＯＣＣ）と、参照カメラデプスマップのフレーム外に対応するために写っていない領域（フレーム外領域ＯＵＴ）の２種類の領域が存在する。そこで、デプスマップ変換部１０６は、オクルージョン領域ＯＣＣに対してデプスを生成する（ステップＳ２２）。

オクルージョン領域ＯＣＣに対するデプスを生成する第１の方法は、オクルージョン領域ＯＣＣの周辺の前景オブジェクトＯＢＪ−Ｆと同じデプス値を割り当てる方法である。オクルージョン領域ＯＣＣに含まれる画素ごとに割り当てるデプス値を求めても構わないし、オクルージョン領域ＯＣＣのラインごとやオクルージョン領域ＯＣＣ全体など、複数画素に対して１つのデプス値を求めても構わない。なお、オクルージョン領域ＯＣＣのラインごとに求める場合は、エピポーラ直線が一致する画素のラインごとに求めても構わない。

具体的な処理としては、同一のデプス値を割り当てる画素の集合ごとに、まず、オクルージョン領域ＯＣＣの画素群を、参照カメラデプスマップ上で遮蔽する前景オブジェクトＯＢＪ−Ｆが存在する仮想デプスマップ上の１つ以上の画素を決定する。次に、決定した前景オブジェクトＯＢＪ−Ｆの画素の持つデプス値から割り当てるデプス値を決定する。複数の画素が得られた場合は、それらの画素に対するデプス値の平均値、中央値、最大値、最も多く表れた値のいずれかによって１つのデプス値を決定する。最後に、決定したデプス値を、その同一のデプスを割り当てる画素の集合に含まれる全ての画素に割り当てる。

なお、同一のデプスを割り当てる画素の集合ごとに、前景オブジェクトＯＢＪ−Ｆが存在する画素を決定する際に、符号化対象カメラと参照カメラの位置関係から、オクルージョン領域ＯＣＣを、参照カメラデプスマップ上で遮蔽する被写体が存在する仮想デプスマップ上の方向を決定し、その方向に対してのみ探索を行うことで、前景オブジェクトＯＢＪ−Ｆが存在する画素を決定するのに必要な処理を削減しても構わない。

さらに、ラインごとに１つのデプス値を割り当てた場合に、前景オブジェクトＯＢＪ−Ｆから遠いオクルージョン領域ＯＣＣにおいて、複数ラインにわたって同じデプス値となるように、デプス値が滑らかに変化するように修正しても構わない。その際、前景オブジェクトＯＢＪ−Ｆから近い画素から遠い画素へと、デプス値は単調に増加または減少するように変化させるものとする。

オクルージョン領域ＯＣＣに対するデプスを生成する第２の方法は、オクルージョン領域ＯＣＣの周辺の背景オブジェクトＯＢＪ−Ｂに対する参照デプスマップ上の画素に対して、対応関係が得られるデプス値を割り当てる方法である。具体的な処理としては、まず、オクルージョン領域ＯＣＣの周辺の背景オブジェクトＯＢＪ−Ｂに対する１つ以上の画素を選択し、そのオクルージョン領域ＯＣＣに対する背景オブジェクトデプス値として決定する。複数の画素を選択した場合は、それらの画素に対するデプス値の平均値、中央値、最小値、最も多く表れた値のいずれかによって１つの背景オブジェクトデプス値を決定する。

背景オブジェクトデプス値が得られたら、オクルージョン領域ＯＣＣの画素ごとに、背景オブジェクトデプス値より大きく、参照カメラデプスマップ上の背景オブジェクトＯＢＪ−Ｂに対応する領域と対応関係が得られるデプス値のなかで、最小のデプス値を求め、仮想デプスマップのデプス値として割り当てる。

ここで、図１２を参照して、オクルージョン領域ＯＣＣに対するデプスを生成する第２の方法の別の実現方法を説明する。図１２は、オクルージョン領域ＯＣＣに対するデプスを生成する動作を示す説明図である。
まず、参照カメラデプスマップ上の前景オブジェクトＯＢＪ−Ｆに対する画素と背景オブジェクトＯＢＪ−Ｂに対する画素との境界であり、仮想デプスマップにおいてオクルージョン領域ＯＣＣが発生する境界Ｂを求める（Ｓ１２−１）。次に、得られた境界に隣接する前景オブジェクトＯＢＪ−Ｆの画素を１画素Ｅだけ、隣接する背景オブジェクトＯＢＪ−Ｂの向きに伸張する（Ｓ１２−２）。この時、伸張して得られた画素は、元の背景オブジェクトＯＢＪ−Ｂの画素に対するデプス値と、隣接する前景オブジェクトＯＢＪ−Ｆの画素に対するデプス値の２つのデプス値を持つ。
次に、その画素Ｅにおいて前景オブジェクトＯＢＪ−Ｆと背景オブジェクトＯＢＪ−Ｂとが連続していると仮定Ａして（Ｓ１２−３）、仮想デプスマップを生成する（Ｓ１２−４）。すなわち、参照カメラデプスマップ上の画素Ｅの位置において、参照カメラから近いことを示すデプス値を持つ画素と同じデプス値から、参照カメラから遠いことを示すデプス値を持つ画素と同じデプス値まで、被写体が連続的に存在すると仮定して、仮定された被写体のデプスを符号化対象画像上のデプスへと変換することで、オクルージョン領域ＯＣＣの画素に対するデプス値を決定する。

ここでの最後の処理は、伸張して得られた画素に対する仮想デプスマップ上の対応点を、デプス値を変化させながら複数回求めることに相当する。なお、伸張して得られた画素に対して、元の背景オブジェクトＯＢＪ−Ｂの画素に対するデプス値を用いて得られる対応点と、隣接する前景オブジェクトＯＢＪ−Ｆの画素に対するデプス値を用いて得られる対応点とを求めて、その対応点間で線形補間を行うことで、オクルージョン領域ＯＣＣの画素に対するデプス値を求めても構わない。

一般に、オクルージョン領域ＯＣＣに対するデプス値の割り当てでは、オクルージョン領域ＯＣＣは前景オブジェクトＯＢＪ−Ｆによって遮蔽される領域であることから、そのような実空間での構造を考慮して、図１３に示すように、背景オブジェクトＯＢＪ−Ｂの連続性を仮定して、周辺の背景オブジェクトＯＢＪ−Ｂに対するデプス値を割り当てる。
図１３は、背景オブジェクトＯＢＪ−Ｂの連続性を仮定して、オクル―ジョン領域ＯＣＣの周辺の背景オブジェクトＯＢＪ−Ｂに対するデプス値を割り当てる動作を示す説明図である。また、図１４に示すように、参照カメラにおける被写体の連続性を考慮して、周辺領域の前景オブジェクトＯＢＪ−Ｆと背景オブジェクトＯＢＪ−Ｂとの間を補間したデプス値を割り当てることもある。
図１４は、周辺領域の前景オブジェクトＯＢＪ−Ｆと背景オブジェクトＯＢＪ−Ｂとの間を補間したデプス値を割り当てる動作を示す説明図である。

しかしながら、前述したオクルージョン領域ＯＣＣに対するデプスを生成する第１の方法は、図１５に示すように、実空間での構造を無視して、前景オブジェクトＯＢＪ−Ｆの連続性を仮定した処理となる。図１５は、前景オブジェクトＯＢＪ−Ｆの連続性を仮定した処理動作を示す説明図である。
図１５において、符号化対象フレームの仮想デプスマップは、オクル―ジョン領域ＯＣＣに、デプス値として前景オブジェクトＯＢＪ−Ｆのデプス値が与えられることによって作成される。
また、第２の方法も、図１６に示すように、オブジェクトの形状を変化させる処理となる。図１６は、オブジェクトの形状を変化させる処理動作を示す説明図である。
図１６において、符号化対象フレームの仮想デプスマップは、オクル―ジョン領域ＯＣＣに、デプス値として前景オブジェクトＯＢＪ−Ｆを図１２のＳ１２−２に示すように伸張させた後に、Ｓ１２−４に示すような連続性が仮定された被写体のデプス値が与えられることによって作成される。すなわち、図１６のオクル―ジョン領域ＯＣＣには、デプス値として視点から近いことを示すデプス値から遠いことを示すデプス値まで図１６の右方向に連続的に変化するデプス値が与えられる。
これらの仮定では、参照カメラに対して与えられた参照カメラデプスマップと矛盾することになる。実際に、このような仮定をした場合、図１５および図１６において破線の楕円で囲んだ画素において、デプス値の矛盾Ｉ１およびＩ２がそれぞれ発生していることが確認できる。図１５の場合では、参照カメラデプスマップにおいては、背景オブジェクトＯＢＪ−Ｂのデプス値が存在するはずの位置に、仮定した被写体空間では前景オブジェクトＯＢＪ−Ｆのデプス値が存在してしまう。図１６の場合では、参照カメラデプスマップにおいては、背景オブジェクトＯＢＪ−Ｂのデプス値が存在するはずの位置に、仮定した被写体空間では前景オブジェクトＯＢＪ−Ｆと背景オブジェクトＯＢＪ−Ｂとをつなぐオブジェクトのデプス値が存在してしまう。

したがって、この方法では参照カメラデプスマップ上のオクルージョン領域ＯＣＣに対して、矛盾のないデプス値を生成することができない。しかし、このように生成された図１５および図１６に示された仮想デプスマップを用いて、符号化対象画像の画素ごとに対応点を求めて視点合成画像を合成した場合、各々図１７および図１８に示すように、オクルージョン領域ＯＣＣの画素には背景オブジェクトＯＢＪ−Ｂの画素値が割り当てられることになる。

一方、従来の方法で矛盾の生じない仮想デプスマップを生成した場合は、図１９および図２０に示すように、オクルージョン領域ＯＣＣの画素に前景オブジェクトＯＢＪ−Ｆの画素値が割り当てられることや、前景オブジェクトＯＢＪ−Ｆと背景オブジェクトＯＢＪ−Ｂの中間に対応するため、その両者から補間した画素値が割り当てることになる。図１９および図２０は、前景オブジェクトＯＢＪ−Ｆの画素値や補間した画素値が割り当てられることを示す説明図である。オクルージョン領域ＯＣＣは前景オブジェクトＯＢＪ−Ｆによって遮蔽される領域であることから、背景オブジェクトＯＢＪ−Ｂが存在すると想定されるため、前述した手法の方が従来手法よりも、品質の高い視点合成画像を生成できることになる。

なお、従来手法で生成された仮想デプスマップを用いて視点合成画像を生成する際に、符号化対象画像の画素に対する仮想デプスマップのデプス値と、参照カメラ画像上の対応点に対する参照カメラデプスマップのデプス値を比較して、前景オブジェクトＯＢＪ−Ｆによる遮蔽が発生しているか否か（それらのデプス値の差が小さいか否か）を判定して、遮蔽が発生していない（デプス値の差が小さい）場合にのみ、参照カメラ画像から画素値を生成することにすることで、誤った視点合成画像が生成されるのを防ぐことは可能である。

しかしながら、そのような方法では、遮蔽の発生の有無をチェックことによる演算量の増加が発生する。さらに、遮蔽が発生していた画素に対しては、視点合成画像を生成できない、または、画像復元（インペインティング）などの手法によって更なる演算量をかけて視点合成画像を生成する必要が生じてしまう。したがって、前述した手法を用いて仮想デプスマップを生成することで、少ない演算量で高品質な視点合成画像を生成できるという効果が得られる。

図４に戻り、オクルージョン領域ＯＣＣに対するデプスの生成が終了したら、デプスマップ変換部１０６は、フレーム外領域ＯＵＴに対するデプスを生成する（ステップＳ２３）。なお、連続するフレーム外領域ＯＵＴに対して１つのデプス値を割り当てても構わないし、ラインごとに１つのデプス値を割り当てても構わない。具体的にはデプス値を決定するフレーム外領域ＯＵＴに隣接する画素のデプス値の最小値や、その最小値よりさらに小さな値の任意のデプス値を割り当てる方法がある。

なお、フレーム外領域ＯＵＴに対しては視点合成画像を生成しないのであれば、フレーム外領域ＯＵＴに対してはデプスを生成しなくても構わない。ただし、その場合は視点合成画像を生成するステップ（ステップＳ４またはステップＳ４ａ）において、有効なデプス値が与えられていない画素について、対応点を求めず、画素値を割り当てないもしくはデフォルトの画素値を割り当てるような視点合成画像の生成方法を用いる必要がある。

次に、図５を参照して、カメラ配置が一次元平行の場合に、デプスマップ変換部１０６の具体的な動作の一例を説明する。なお、カメラ配置が一次元平行とは、カメラの理論投影面が同一平面上に存在し、光軸が互いに平行な状態である。また、ここではカメラは水平方向に隣り合って設置されており、参照カメラが符号化対象カメラの左側に存在しているとする。このとき、画像平面上の水平ライン上の画素に対するエピポーラ直線は、同じ高さに存在する水平なライン状となる。このため、視差は常に水平方向にしか存在していないことになる。さらに投影面が同一平面上に存在するため、デプスを光軸方向の座標軸に対する座標値として表現する場合、カメラ間でデプスの定義軸が一致することになる。

図５は、デプスマップ変換部１０６が参照カメラデプスマップから仮想デプスマップを生成する動作を示すフローチャートである。図５においては、参照カメラデプスマップをＲＤｅｐｔｈ、仮想デプスマップをＶＤｅｐｔｈと表記している。カメラ配置が一次元平行であるため、ラインごとに参照カメラデプスマップを変換して、仮想デプスマップを生成する。すなわち、参照カメラデプスマップのラインを示すインデックスをｈ、参照カメラデプスマップのライン数をＨｅｉｇｈｔとすると、デプスマップ変換部１０６は、ｈを０で初期化した後（ステップＳ３１）、ｈを１ずつ加算しながら（ステップＳ４５）、ｈがＨｅｉｇｈｔになるまで（ステップＳ４６）、以下の処理（ステップＳ３２〜ステップＳ４４）を繰り返す。

ラインごとに行う処理では、まず、デプスマップ変換部１０６は、参照カメラデプスマップのデプスをワーピングする（ステップＳ３２〜ステップＳ４２）。その後、フレーム外領域ＯＵＴに対するデプスを生成する（ステップＳ４３〜Ｓ４４）ことで、１ライン分の仮想デプスマップを生成する。

参照カメラデプスマップのデプスをワーピングする処理は、参照カメラデプスマップの画素ごとに行われる。すなわち、水平方向の画素位置を示すインデックスをｗ、１ラインの総画素数をＷｉｄｔｈとすると、デプスマップ変換部１０６は、ｗを０で、直前の画素のデプスをワーピングした仮想デプスマップ上の画素位置ｌａｓｔＷを−１で初期化した後（ステップＳ３２）、ｗを１ずつ加算しながら（ステップＳ４１）、ｗがＷｉｄｔｈになるまで（ステップＳ４２）、以下の処理（ステップＳ３３〜ステップＳ４０）を繰り返す。

参照カメラデプスマップの画素ごとに行われる処理では、まず、デプスマップ変換部１０６は、参照カメラデプスマップの値から、画素（ｈ，ｗ）の仮想デプスマップに対する視差ｄｖを求める（ステップＳ３３）。ここでの処理は、デプスの定義によって異なる。
なお、視差ｄｖは視差の方向を持ったベクトル量とし、参照カメラデプスマップの画素（ｈ，ｗ）が仮想デプスマップ上の画素（ｈ，ｗ＋ｄｖ）と対応することを示すものとする。

次に、視差ｄｖが得られたら、デプスマップ変換部１０６は、仮想デプスマップ上の対応画素がフレーム内に存在するか否かをチェックする（ステップＳ３４）。ここでは、カメラの位置関係による制約からｗ＋ｄｖが負であるか否かをチェックする。ｗ＋ｄｖが負の場合、対応画素が存在しないため、参照カメラデプスマップの画素（ｈ，ｗ）に対するデプスはワーピングせずに、画素（ｈ，ｗ）に対する処理を終了する。

ｗ＋ｄｖが０以上の場合、デプスマップ変換部１０６は、仮想デプスマップの対応画素（ｈ，ｗ＋ｄｖ）に参照カメラデプスマップの画素（ｈ，ｗ）に対するデプスをワーピングする（ステップＳ３５）。次に、デプスマップ変換部１０６は、直前の画素のデプスをワーピングした位置と今回ワーピングを行った位置との位置関係をチェックする（ステップＳ３６）。具体的には、直前の画素と今回の画素の参照カメラデプスマップ上での左右の順序が、仮想デプスマップ上でも同じか否かを判定する。位置関係が反転している場合は、直前に処理した画素よりも今回処理した画素の方がカメラに近い被写体が写っていたと判断され、特別な処理を行わず、ｌａｓｔＷをｗ＋ｄｖに更新して（ステップＳ４０）、画素（ｈ，ｗ）に対する処理を終了する。

一方、位置関係が反転していない場合、デプスマップ変換部１０６は、直前の画素のデプスをワーピングした位置ｌａｓｔＷと今回ワーピングを行った位置ｗ＋ｄｖの間に存在する仮想デプスマップの画素に対するデプスを生成する。そして、直前の画素のデプスをワーピングした位置と今回ワーピングを行った位置の間に存在する仮想デプスマップの画素に対するデプスを生成する処理では、まず、デプスマップ変換部１０６は、直前の画素と今回ワーピングを行った画素に同一の被写体が写っていたか否かをチェックする（ステップＳ３７）。どのような方法を用いて判定を行っても構わないが、ここでは被写体の実空間での連続性から、同一被写体に対するデプスの変化は小さいと仮定した判定を行う。
具体的には、直前の画素のデプスをワーピングした位置と今回ワーピングを行った位置の差から得られる視差の差が予め定められた閾値より小さいか否かを判定する。

次に、位置の差が閾値より小さかった場合、デプスマップ変換部１０６は、２つの画素には同一の被写体が写っていたと判断し、直前の画素のデプスをワーピングした位置ｌａｓｔＷと今回ワーピングを行った位置ｗ＋ｄｖの間に存在する仮想デプスマップの画素に対するデプスを被写体の連続性を仮定して補間する（ステップＳ３８）。デプスの補間にはどのような方法を用いても構わないが、例えば、ｌａｓｔＷのデプスとｗ＋ｄｖのデプスを線形補間することで行っても構わないし、ｌａｓｔＷのデプスまたはｗ＋ｄｖのデプスのどちらか一方と同じデプスを割り当てることで行っても構わない。

一方、位置の差が閾値以上だった場合、デプスマップ変換部１０６は、２つの画素には異なる被写体が写っていたと判断する。なお、その位置関係より、今回処理した画素よりも直前に処理した画素の方がカメラに近い被写体が写っていたと判断できる。すなわち、２つの画素の間はオクルージョン領域ＯＣＣであり、次に、このオクルージョン領域ＯＣＣに対してデプスを生成する（ステップＳ３９）。オクルージョン領域ＯＣＣに対するデプスの生成方法は、前述の通り複数の方法が存在する。前述の第１の方法、すなわち、オクルージョン領域ＯＣＣの周辺の前景オブジェクトＯＢＪ−Ｆのデプス値を割り当てる場合は、直前に処理した画素のデプスＶＤｅｐｔｈ［ｈ，ｌａｓｔＷ］を割り当てる。一方、前述の第２の方法、すなわち、前景オブジェクトＯＢＪ−Ｆを伸張させ、背景と連続的にデプスを割り当てる場合は、ＶＤｅｐｔｈ［ｈ，ｌａｓｔＷ］をＶＤｅｐｔｈ［ｈ，ｌａｓｔＷ＋１］にコピーし、（ｈ，ｌａｓｔＷ＋１）から（ｈ，ｗ＋ｄｖ）の間に存在する仮想デプスマップの画素については、ＶＤｅｐｔｈ［ｈ，ｌａｓｔＷ＋１］とＶＤｅｐｔｈ［ｈ，ｗ＋ｄｖ］のデプスを線形補間することで生成する。

次に、直前の画素のデプスをワーピングした位置と今回ワーピングを行った位置の間に存在する仮想デプスマップの画素に対するデプスの生成が終了したら、デプスマップ変換部１０６は、ｌａｓｔＷをｗ＋ｄｖに更新して（ステップＳ４０）、画素（ｈ，ｗ）に対する処理を終了する。

次に、フレーム外領域ＯＵＴに対するデプスの生成処理では、まず、デプスマップ変換部１０６は、参照カメラデプスマップのワーピング結果を確認し、フレーム外領域ＯＵＴが存在するか否かを判定する（ステップＳ４３）。フレーム外領域ＯＵＴが存在しない場合は、何もせずに終了する。一方、フレーム外領域ＯＵＴが存在する場合、デプスマップ変換部１０６は、フレーム外領域ＯＵＴに対するデプスを生成する（ステップＳ４４）。どのような方法を用いても構わないが、例えば、フレーム外領域ＯＵＴの全ての画素に対して、最後にワーピングしたデプスＶＤｅｐｔｈ［ｈ，ｌａｓｔＷ］を割り当てても構わない。

図５に示す処理動作は、参照カメラが符号化対象カメラの左側に設置されている場合の処理であるが、参照カメラと符号化対象カメラの位置関係が逆の場合は、処理する画素の順序や画素位置の判定条件を逆にすればよい。具体的には、ステップＳ３２では、ｗはＷｉｄｔｈ−１で、ｌａｓｔＷはＷｉｄｔｈで初期化し、ステップＳ４１ではｗを１ずつ減算し、ｗが０未満になるまで（ステップＳ４２）、前述の処理（ステップＳ３３〜ステップＳ４０）を繰り返す。また、ステップＳ３４の判定条件はｗ＋ｄｖ＞＝Ｗｉｄｔｈ、ステップＳ３６の判定条件はｌａｓｔＷ＞ｗ＋ｄｖ、ステップＳ３７の判定条件はｌａｓｔＷ−ｗ−ｄｖ＞ｔｈとなる。

また、図５に示す処理動作は、カメラ配置が一次元平行の場合の処理であるが、カメラ配置が一次元コンバージェンスの場合も、デプスの定義によっては同じ処理動作を適用することが可能である。具体的には、デプスを表現する座標軸が参照カメラデプスマップと仮想デプスマップとで同一の場合に、同じ処理動作を適用することが可能である。また、デプスの定義軸が異なる場合は、参照カメラデプスマップの値を直接、仮想デプスマップに割り当てるのではなく、参照カメラデプスマップのデプスによってあらわされる３次元位置を、デプスの定義軸に従って変換した後に、仮想デプスマップに割り当てるだけで、基本的には同じ処理動作を適用することができる。

次に、画像復号装置について説明する。図６は、本実施形態における画像復号装置の構成を示すブロック図である。画像復号装置２００は、図６に示すように、符号データ入力部２０１、符号データメモリ２０２、参照カメラ画像入力部２０３、参照カメラ画像メモリ２０４、参照カメラデプスマップ入力部２０５、デプスマップ変換部２０６、仮想デプスマップメモリ２０７、視点合成画像生成部２０８及び画像復号部２０９を備えている。

符号データ入力部２０１は、復号対象となる画像の符号データを入力する。以下では、この復号対象となる画像を復号対象画像と呼ぶ。ここではカメラＢの画像を指す。また、以下では、復号対象画像を撮影したカメラ（ここではカメラＢ）を復号対象カメラと呼ぶ。符号データメモリ２０２は、入力した復号対象画像である符号データを記憶する。参照カメラ画像入力部２０３は、視点合成画像（視差補償画像）を生成する際に参照画像となる画像を入力する。ここではカメラＡの画像を入力する。参照カメラ画像メモリ２０４は、入力した参照画像を記憶する。

参照カメラデプスマップ入力部２０５は、参照画像に対するデプスマップを入力する。
以下では、この参照画像に対するデプスマップを参照カメラデプスマップと呼ぶ。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここではデプスマップとして画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照カメラデプスマップに対応するカメラを参照カメラと呼ぶ。

デプスマップ変換部２０６は、参照カメラデプスマップを用いて、復号対象画像に対するデプスマップを生成する。以下では、この復号対象画像に対して生成されたデプスマップを仮想デプスマップと呼ぶ。仮想デプスマップメモリ２０７は、生成した仮想デプスマップを記憶する。視点合成画像生成部２０８は、仮想デプスマップから得られる復号対象画像の画素と参照カメラ画像の画素との対応関係を用いて、復号対象画像に対する視点合成画像を生成する。画像復号部２０９は、視点合成画像を用いて、符号データから復号対象画像を復号して復号画像を出力する。

次に、図７を参照して、図６に示す画像復号装置２００の動作を説明する。図７は、図６に示す画像復号装置２００の動作を示すフローチャートである。まず、符号データ入力部２０１は、復号対象画像の符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ５１）。これと並行して、参照カメラ画像入力部２０３は参照画像を入力し、参照カメラ画像メモリ２０４に記憶する。また、参照カメラデプスマップ入力部２０５は参照カメラデプスマップを入力し、デプスマップ変換部２０６へ出力する（ステップＳ５２）。

なお、ステップＳ５２で入力される参照カメラ画像、参照カメラデプスマップは、符号化側で使用されたものと同じものとする。これは符号化装置で使用したものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。参照カメラデプスマップに関しては、別途復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなどを用いることもある。

次に、デプスマップ変換部２０６は、参照カメラデプスマップを変換して仮想デプスマップを生成し、仮想デプスマップメモリ２０７に記憶する（ステップＳ５３）。ここでの処理は、符号化対象画像と復号対象画像など、符号化と復号が異なるだけで、図２に示すステップＳ３と同じである。

次に、仮想デプスマップを得た後、視点合成画像生成部２０８は、参照カメラ画像メモリ２０４に記憶された参照カメラ画像と、仮想デプスマップメモリ２０７に記憶された仮想デプスマップとから、復号対象画像に対する視点合成画像を生成し、画像復号部２０９へ出力する（ステップＳ５４）。ここでの処理は、符号化対象画像と復号対象画像など、符号化と復号が異なるだけで、図２に示すステップＳ４と同じである。

次に、視点合成画像を得たに後、画像復号部２０９は、視点合成画像を予測画像として用いながら、符号データから復号対象画像を復号して復号画像を出力する（ステップＳ５５）。この復号の結果得られる復号画像が画像復号装置２００の出力となる。なお、符号データ（ビットストリーム）を正しく復号できるならば、復号にはどのような方法を用いてもよい。一般的には、符号化時に用いられた方法に対応する方法が用いられる。

ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化で符号化されている場合は、画像を予め定められた大きさのブロックに分割して、ブロックごとに、エントロピー復号、逆２値化、逆量子化などを施した後、ＩＤＣＴなど逆周波数変換を施して予測残差信号を得た後、予測画像を加え、画素値範囲でクリッピングすることで復号を行う。

なお、復号処理をブロックごとに行う場合、視点合成画像の生成処理と復号対象画像の復号処理をブロック毎に交互に繰り返すことで、復号対象画像を復号してもよい。その場合の処理動作を図８を参照して説明する。図８は、視点合成画像の生成処理と復号対象画像の復号処理をブロック毎に交互に繰り返すことで、復号対象画像を復号する動作を示すフローチャートである。図８において、図７に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。図８に示す処理動作では復号処理を行う単位となるブロックのインデックスをｂｌｋとし、復号対象画像中のブロック数をｎｕｍＢｌｋｓで表している。

まず、符号データ入力部２０１は、復号対象画像の符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ５１）。これと並行して、参照カメラ画像入力部２０３は参照画像を入力し、参照カメラ画像メモリ２０４に記憶する。また、参照カメラデプスマップ入力部２０５は参照カメラデプスマップを入力し、デプスマップ変換部２０６へ出力する（ステップＳ５２）。

次に、デプスマップ変換部２０６は、参照カメラデプスマップから仮想デプスマップを生成し、仮想デプスマップメモリ２０７に記憶する（ステップＳ５３）。そして、視点合成画像生成部２０８は、変数ｂｌｋに０を代入する（ステップＳ５６）。

次に、視点合成画像生成部２０８は、参照カメラ画像と仮想デプスマップとから、ブロックｂｌｋに対する視点合成画像を生成し、画像復号部２０９へ出力する（ステップＳ５４ａ）。続いて、画像復号部２０９は、視点合成画像を予測画像として用いながら、符号データからブロックｂｌｋに対する復号対象画像を復号して出力する（ステップＳ５５ａ）。そして、視点合成画像生成部２０８は、変数ｂｌｋをインクリメントし（ｂｌｋ←ｂｌｋ＋１，ステップＳ５７）、ｂｌｋ＜ｎｕｍＢｌｋｓを満たすか否かを判定する（ステップＳ５８）。この判定の結果、ｂｌｋ＜ｎｕｍＢｌｋｓを満たしていればステップＳ５４ａに戻って処理を繰り返し、ｂｌｋ＝ｎｕｍＢｌｋｓを満たした時点で処理を終了する。

このように、参照フレームに対するデプスマップから、処理対象フレームに対するデプスマップを生成する際に、実空間での幾何制約ではなく、オクルージョン領域ＯＣＣで生成される視点合成画像の品質を考慮することで、指定された領域のみに対する視点合成画像の生成と、高品質な視点合成画像の生成の両立を実現し、多視点画像の効率的かつ軽量な画像符号化を実現することができる。これにより、参照フレームに対してデプスマップを用いて、処理対象フレーム（符号化対象フレームまたは復号対象フレーム）の視点合成画像を生成する際に、視点合成画像の品質を低下させることなく、ブロックごとに視点合成画像を生成することで、高い符号化効率とメモリ容量及び演算量の削減とを両立することが可能となる。

前述した説明においては、１フレーム中のすべての画素を符号化及び復号する処理を説明したが、一部の画素にのみ適用し、その他の画素では、Ｈ．２６４／ＡＶＣなどで用いられる画面内予測符号化や動き補償予測符号化などを用いて符号化または復号を行ってもよい。その場合には、画素ごとにどの方法を用いて予測したかを示す情報を符号化及び復号する必要がある。また、画素ごとではなくブロック毎に別の予測方式を用いて符号化または復号を行ってもよい。なお、一部の画素やブロックに対してのみ視点合成画像を用いた予測を行う場合は、その画素に対してのみ視点合成画像を生成する処理（ステップＳ４、Ｓ７、Ｓ５４及びＳ５４ａ）を行うようにすることで、視点合成処理にかかる演算量を削減することが可能となる。

また、前述した説明においては、１フレームを符号化及び復号する処理を説明したが、複数フレーム繰り返すことで動画像符号化にも適用することができる。また、動画像の一部のフレームや一部のブロックにのみ適用することもできる。さらに、前述した説明では画像符号化装置および画像復号装置の構成及び処理動作を説明したが、これら画像符号化装置および画像復号装置の各部の動作に対応した処理動作によって本発明の画像符号化方法および画像復号方法を実現することができる。

図９は、前述した画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図９に示すシステムは、ＣＰＵ５０と、ＲＡＭ等のメモリ５１と、符号化対象画像入力部５２と、参照カメラ画像入力部５３と、参照カメラデプスマップ入力部５４と、プログラム記憶装置５５と、多重化符号データ出力部５６とが、バスで接続された構成になっている。
ＣＰＵ５０は、プログラムを実行する。ＲＡＭ等のメモリ５１は、ＣＰＵ５０がアクセスするプログラムやデータを格納する。符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）は、カメラ等からの符号化対象の画像信号を入力する。参照カメラ画像入力部５３（ディスク装置等による画像信号を記憶する記憶部でもよい）は、カメラ等からの参照対象の画像信号を入力する。参照カメラデプスマップ入力部５４（ディスク装置等によるデプスマップを記憶する記憶部でもよい）は、デプスカメラ等からの符号化対象画像を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する。プログラム記憶装置５５は、第１実施形態として説明した画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５５１を格納する。多重化符号データ出力部５６（ディスク装置等による多重化符号データを記憶する記憶部でもよい）は、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５５１を実行することにより生成された符号データを、例えばネットワークを介して出力する。

図１０は、前述した画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図１０に示すシステムは、ＣＰＵ６０と、ＲＡＭ等のメモリ５１と、符号データ入力部６２と、参照カメラ画像入力部６３と、参照カメラデプスマップ入力部６４と、プログラム記憶装置６５と、復号対象画像出力部６６とが、バスで接続された構成になっている。
ＣＰＵ６０は、プログラムを実行する。ＲＡＭ等のメモリ５１は、ＣＰＵ６０がアクセスするプログラムやデータを格納する。符号データ入力部６２（ディスク装置等による画像信号を記憶する記憶部でもよい）は、画像符号化装置が本手法により符号化した符号データを入力する。参照カメラ画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）は、カメラ等からの参照対象の画像信号を入力する。参照カメラデプスマップ入力部６４（ディスク装置等によるデプス情報を記憶する記憶部でもよい）は、デプスカメラ等からの復号対象を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する。プログラム記憶装置６５は、第２実施形態として説明した画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６５１を格納する。復号対象画像出力部６６（ディスク装置等による画像信号を記憶する記憶部でもよい）は、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、符号データを復号して得られた復号対象画像を、再生装置などに出力する。

また、図１に示す画像符号化装置、図６に示す画像復号装置における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理と画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

参照フレームに対する被写体の３次元位置を表すデプスマップを用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を少ない演算量で達成することが不可欠な用途に適用できる。

１００・・・画像符号化装置
１０１・・・符号化対象画像入力部
１０２・・・符号化対象画像メモリ
１０３・・・参照カメラ画像入力部
１０４・・・参照カメラ画像メモリ
１０５・・・参照カメラデプスマップ入力部
１０６・・・デプスマップ変換部
１０７・・・仮想デプスマップメモリ
１０８・・・視点合成画像生成部
１０９・・・画像符号化部
２００・・・画像復号装置
２０１・・・符号データ入力部
２０２・・・符号データメモリ
２０３・・・参照カメラ画像入力部
２０４・・・参照カメラ画像メモリ
２０５・・・参照カメラデプスマップ入力部
２０６・・・デプスマップ変換部
２０７・・・仮想デプスマップメモリ
２０８・・・視点合成画像生成部
２０９・・・画像復号部

本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記参照デプスマップを、前記符号化対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換ステップと、前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しない仮想デプスマップ上で生ずるオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成ステップと、前記オクルージョン領域に対するデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記符号化対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測ステップとを有する。

本発明の画像符号化方法においては、前記オクルージョン領域に対応する前記参照デプスマップ上の画素境界を決定するオクルージョン発生画素境界決定ステップをさらに有し、前記オクルージョン領域デプス生成ステップでは、前記画素境界に隣接する前記参照デプスマップの画素のうち、前記参照デプスマップ上で前記視点から近いことを示すデプス値を持つ画素を、視点から遠いことを示すデプス値を持つ画素の向きに伸張し、伸張した画素の位置において、前記視点から近いことを示すデプス値を持つ画素と同じデプス値から、前記視点から遠いことを示すデプス値を持つ画素と同じデプス値まで、前記被写体が連続的に存在すると仮定して、当該仮定された被写体のデプスを前記符号化対象画像上のデプスへと変換することで、前記オクルージョン領域のデプス値を生成するようにしてもよい。

また、本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、前記参照デプスマップを、前記復号対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換ステップと、前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しない仮想デプスマップ上で生ずるオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成ステップと、前記オクルージョン領域に対するデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記復号対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測ステップとを有する。

本発明の画像復号方法においては、前記オクルージョン領域に対応する前記参照デプスマップ上の画素境界を決定するオクルージョン発生画素境界決定ステップをさらに有し、
前記オクルージョン領域デプス生成ステップでは、前記画素境界に隣接する前記参照デプスマップの画素のうち、前記参照デプスマップ上で前記視点から近いことを示すデプス値を持つ画素を、視点から遠いことを示すデプス値を持つ画素の向きに伸張し、伸張した画素の位置において、前記視点から近いことを示すデプス値を持つ画素と同じデプス値から、前記視点から遠いことを示すデプス値を持つ画素と同じデプス値まで、前記被写体が連続的に存在すると仮定して、当該仮定された被写体のデプスを前記復号対象画像上のデプスへと変換することで、前記オクルージョン領域のデプス値を生成するようにしてもよい。

本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記参照デプスマップを、前記符号化対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換部と、前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しない仮想デプスマップ上で生ずるオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成部と、前記オクルージョン領域に対するデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記符号化対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測部とを備える。

さらに、本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、前記参照デプスマップを、前記復号対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換部と、前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しない仮想デプスマップ上で生ずるオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成部と、前記オクルージョン領域に対するデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記復号対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測部とを備える。

図１０は、前述した画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図１０に示すシステムは、ＣＰＵ６０と、ＲＡＭ等のメモリ６１と、符号データ入力部６２と、参照カメラ画像入力部６３と、参照カメラデプスマップ入力部６４と、プログラム記憶装置６５と、復号対象画像出力部６６とが、バスで接続された構成になっている。ＣＰＵ６０は、プログラムを実行する。ＲＡＭ等のメモリ６１は、ＣＰＵ６０がアクセスするプログラムやデータを格納する。符号データ入力部６２（ディスク装置等による画像信号を記憶する記憶部でもよい）は、画像符号化装置が本手法により符号化した符号データを入力する。参照カメラ画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）は、カメラ等からの参照対象の画像信号を入力する。参照カメラデプスマップ入力部６４（ディスク装置等によるデプス情報を記憶する記憶部でもよい）は、デプスカメラ等からの復号対象を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する。プログラム記憶装置６５は、第２実施形態として説明した画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６５１を格納する。復号対象画像出力部６６（ディスク装置等による画像信号を記憶する記憶部でもよい）は、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、符号データを復号して得られた復号対象画像を、再生装置などに出力する。

Claims (18)

1. 複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、
   前記参照デプスマップを、前記符号化対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換ステップと、
   前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しないオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成ステップと、
   前記オクルージョン領域のデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記符号化対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測ステップと
   を有する画像符号化方法。
2. 前記オクルージョン領域デプス生成ステップでは、前記参照デプスマップ上において前記オクルージョン領域を遮蔽する被写体の連続性を仮定することにより前記オクルージョン領域のデプス値を生成する請求項１に記載の画像符号化方法。
3. 前記オクルージョン領域に対応する前記参照デプスマップ上の画素境界を決定するオクルージョン発生画素境界決定ステップをさらに有し、
   前記オクルージョン領域デプス生成ステップでは、前記オクルージョン発生画素境界に隣接する前記参照デプスマップの画素の組ごとに、前記参照デプスマップ上で前記視点から近いことを示すデプス値を持つ画素の位置において、前記視点から近いことを示すデプス値を持つ画素と同じデプス値から、前記視点から遠いことを示すデプス値を持つ画素と同じデプス値まで、前記被写体が連続的に存在すると仮定して、当該仮定された被写体のデプスを前記符号化対象画像上のデプスへと変換することで、前記オクルージョン領域のデプス値を生成する請求項１に記載の画像符号化方法。
4. 前記オクルージョン領域を前記参照デプスマップ上で遮蔽する領域に対する前記仮想デプスマップ上の被写体領域を決定する被写体領域決定ステップと、
   前記被写体領域を前記オクルージョン領域の方向へ画素を伸張する被写体領域伸張ステップとをさらに有し、
   前記オクルージョン領域デプス生成ステップでは、前記伸張して生成された画素と、前記オクルージョン領域に隣接し前記被写体領域とは反対方向に存在する画素との間でデプス値を滑らかに補間することにより前記オクルージョン領域のデプス値を生成する請求項１に記載の画像符号化方法。
5. 前記デプスマップ変換ステップでは、前記参照デプスマップの参照画素ごとに前記仮想デプスマップ上の対応画素を求め、前記参照画素に対するデプスと同じ３次元位置を示すデプスを、前記対応画素に割り当てることにより仮想デプスマップへの変換を行う請求項１から４のいずれか１項に記載の画像符号化方法。
6. 多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、
   前記参照デプスマップを、前記復号対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換ステップと、
   前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しないオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成ステップと、
   前記オクルージョン領域のデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記復号対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測ステップと
   を有する画像復号方法。
7. 前記オクルージョン領域デプス生成ステップでは、前記参照デプスマップ上において前記オクルージョン領域を遮蔽する被写体の連続性を仮定することにより前記オクルージョン領域のデプス値を生成する請求項６に記載の画像復号方法。
8. 前記オクルージョン領域に対応する前記参照デプスマップ上の画素境界を決定するオクルージョン発生画素境界決定ステップをさらに有し、
   前記オクルージョン領域デプス生成ステップでは、前記オクルージョン発生画素境界に隣接する前記参照デプスマップの画素の組ごとに、前記参照デプスマップ上で前記視点から近いことを示すデプス値を持つ画素の位置において、前記視点から近いことを示すデプス値を持つ画素と同じデプス値から、前記視点から遠いことを示すデプス値を持つ画素と同じデプス値まで、前記被写体が連続的に存在すると仮定して、当該仮定された被写体のデプスを前記復号対象画像上のデプスへと変換することで、前記オクルージョン領域のデプス値を生成する請求項６に記載の画像復号方法。
9. 前記オクルージョン領域を前記参照デプスマップ上で遮蔽する領域に対する前記仮想デプスマップ上の被写体領域を決定する被写体領域決定ステップと、
   前記被写体領域を前記オクルージョン領域の方向へ画素を伸張する被写体領域伸張ステップとをさらに有し、
   前記オクルージョン領域デプス生成ステップでは、前記伸張して生成された画素と、前記オクルージョン領域に隣接し前記被写体領域とは反対方向に存在する画素との間でデプス値を滑らかに補間することにより前記オクルージョン領域のデプス値を生成する請求項６に記載の画像復号方法。
10. 前記デプスマップ変換ステップでは、前記参照デプスマップの参照画素ごとに前記仮想デプスマップ上の対応画素を求め、前記参照画素に対するデプスと同じ３次元位置を示すデプスを、前記対応画素に割り当てることにより仮想デプスマップへの変換を行う請求項６から９のいずれか１項に記載の画像復号方法。
11. 複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、
    前記参照デプスマップを、前記符号化対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換部と、
    前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しないオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成部と、
    前記オクルージョン領域のデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記符号化対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測部と
    を備える画像符号化装置。
12. 前記オクルージョン領域デプス生成部は、前記参照デプスマップ上において前記オクルージョン領域を遮蔽する被写体の連続性を仮定することにより前記オクルージョン領域のデプス値を生成する請求項１１に記載の画像符号化装置。
13. 多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプスマップである参照デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、
    前記参照デプスマップを、前記復号対象画像中の被写体のデプスマップである仮想デプスマップに変換するデプスマップ変換部と、
    前記被写体の前後関係によって生じる前記参照デプスマップ内にデプス値が存在しないオクルージョン領域に対して、前記参照画像において遮蔽されている被写体と同じ被写体上の領域に対して対応関係が得られるデプス値を割り当てることにより前記オクルージョン領域のデプス値を生成するオクルージョン領域デプス生成部と、
    前記オクルージョン領域のデプス値を生成した後の前記仮想デプスマップと前記参照画像とから、前記復号対象画像に対する視差補償画像を生成することで、視点間の画像予測を行う視点間画像予測部と
    を備える画像復号装置。
14. 前記オクルージョン領域デプス生成部は、前記参照デプスマップ上において前記オクルージョン領域を遮蔽する被写体の連続性を仮定することにより前記オクルージョン領域のデプス値を生成する請求項１３に記載の画像復号装置。
15. コンピュータに、請求項１から５のいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
16. コンピュータに、請求項６から１０のいずれか１項に記載の画像復号方法を実行させるための画像復号プログラム。
17. 請求項１５に記載の画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
18. 請求項１６に記載の画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images