JP5883153B2

JP5883153B2 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体

Info

Publication number: JP5883153B2
Application number: JP2014538497A
Authority: JP
Inventors: 信哉志水; 志織杉本; 木全　英明; 英明木全; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-09-25
Filing date: 2013-09-24
Publication date: 2016-03-09
Anticipated expiration: 2033-09-24
Also published as: WO2014050827A1; CN104871534A; KR20150034205A; US20150249839A1; JPWO2014050827A1; KR101648094B1

Description

本発明は、多視点画像を符号化及び復号する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体に関する。
本願は、２０１２年９月２５日に日本へ出願された特願２０１２−２１１１５４号に基づき優先権を主張し、その内容をここに援用する。

従来から、複数のカメラで同じ被写体と背景を撮影した複数の画像からなる多視点画像が知られている。この複数のカメラで撮影した動画像のことを多視点動画像（または多視点映像）という。以下の説明では１つのカメラで撮影された画像（動画像）を“２次元画像（動画像）”と称し、同じ被写体と背景とを位置や向き（以下、視点と称する）が異なる複数のカメラで撮影した２次元画像（２次元動画像）群を“多視点画像（多視点動画像）”と称する。

２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めることができる。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。

ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償予測、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。

Ｈ．２６４で使われている動き補償予測技術の詳細については、例えば非特許文献１に記載されている。Ｈ．２６４で使われている動き補償予測技術の概要を説明する。Ｈ．２６４の動き補償予測は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照フレームを持つことを許可している。各ブロックで異なる動きベクトルを使用することで、被写体ごとに異なる動きを補償した精度の高い予測を実現している。一方、各ブロックで異なる参照フレームを使用することで、時間変化によって生じるオクルージョンを考慮した精度の高い予測を実現している。

次に、従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、カメラ間の相関を利用する方法はどちらの場合でも、同じ方法を用いることができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。

多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償予測を同じ時刻の異なるカメラで撮影された画像に適用した“視差補償予測”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。図１３は、カメラ間で生じる視差を示す概念図である。図１３に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。

視差補償予測では、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラ対や位置ごとに変化するため、視差補償予測を行う領域ごとに視差情報を符号化することが必要である。実際に、Ｈ．２６４の多視点符号化方式では、視差補償予測を用いるブロックごとに視差情報を表すベクトルを符号化している。

視差情報によって与えられる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の３次元位置を示す１次元量で表すことができる。被写体の３次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として被写体の３次元位置を表現する場合もある。どのような表現を用いたとしてもその物理的な意味に本質的な違いはないため、以下では、表現による区別をせずに、それら３次元位置を示す情報をデプスと表現する。

図１４はエピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。例えば、図１４に示すように、第１のカメラ画像においてｍの位置に投影された被写体に対する第２のカメラ画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に投影され、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に、投影される。

非特許文献２では、この性質を利用して、参照フレームに対するデプスマップ（距離画像）によって与えられる各被写体の３次元情報に従って、参照フレームから符号化対象フレームに対する予測画像を合成することで、精度の高い予測画像を生成し、効率的な多視点動画像の符号化を実現している。なお、このデプスに基づいて生成される予測画像は視点合成画像、視点補間画像、または視差補償画像と呼ばれる。

さらに、特許文献１では、最初に参照フレームに対するデプスマップを符号化対象フレームに対するデプスマップへと変換し、その変換されたデプスマップを用いて対応点を求めることで、必要な領域に対してのみ視点合成画像を生成することを可能にしている。これによって、符号化対象または復号対象となるフレームの領域ごとに、予測画像を生成する方法を切り替えながら画像または動画像を符号化または復号する場合において、視点合成画像を生成するための処理量や、視点合成画像を一時的に蓄積するためのメモリ量の削減を実現している。

日本国特開２０１０−２１８４４号公報

ITU-T Recommendation H.264 (03/2009), "Advanced video coding for generic audiovisual services", March, 2009. Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.

特許文献１に記載の方法によれば、符号化対象フレームに対してデプスが得られるため、符号化対象フレームの画素から参照フレーム上の対応する画素を求めることが可能となる。これにより、符号化対象フレームの指定された領域のみに対して視点合成画像を生成することで、符号化対象フレームの一部の領域にしか視点合成画像が必要ない場合には、常に１フレーム分の視点合成画像を生成する場合に比べて、処理量や要求されるメモリの量を削減することができる。

しかしながら、符号化対象フレームの全体に対して視点合成画像が必要になる場合は、参照フレームに対するデプスマップから符号化対象フレームに対するデプスマップを合成する必要が生じるため、参照フレームに対するデプスマップから直接、視点合成画像を生成する場合よりも、その処理量が増加してしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、処理対象フレームの視点合成画像を生成する際に、視点合成画像の品質を著しく低下させることなく、少ない演算量で視点合成画像を生成することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体を提供することを目的とする。

本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成ステップと、前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを前記縮小デプスマップから生成する仮想デプスマップ生成ステップと、前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップとを有する。

好ましくは、本発明の画像符号化方法における前記縮小デプスマップ生成ステップでは、前記参照視点デプスマップを縦方向または横方向のいずれか一方に対してのみ縮小する。

好ましくは、本発明の画像符号化方法における前記縮小デプスマップ生成ステップでは、前記縮小デプスマップの画素ごとに、前記参照視点デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記縮小デプスマップを生成する。

本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択ステップと、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成ステップと、前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップとを有する。

好ましくは、本発明の画像符号化方法は、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記参照視点デプスマップを部分領域に分割する領域分割ステップをさらに有し、前記サンプル画素選択ステップでは、前記部分領域ごとに前記サンプル画素を選択する。

好ましくは、本発明の画像符号化方法における前記領域分割ステップでは、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記部分領域の形状を決定する。

好ましくは、本発明の画像符号化方法における前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素、または、最も視点から遠いことを示すデプスを持つ画素のいずれか一方を前記サンプル画素として選択する。

好ましくは、本発明の画像符号化方法における前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素と最も視点から遠いことを示すデプスを持つ画素とを前記サンプル画素として選択する。

本発明は、複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成ステップと、前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを前記縮小デプスマップから生成する仮想デプスマップ生成ステップと、前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップとを有する。

好ましくは、本発明の画像復号方法における前記縮小デプスマップ生成ステップでは、前記参照視点デプスマップを縦方向または横方向のいずれか一方に対してのみ縮小する。

好ましくは、本発明の画像復号方法における前記縮小デプスマップ生成ステップでは、前記縮小デプスマップの画素ごとに、前記参照視点デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記縮小デプスマップを生成する。

本発明は、複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択ステップと、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成ステップと、前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップとを有する。

好ましくは、本発明の画像復号方法は、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記参照視点デプスマップを部分領域に分割する領域分割ステップをさらに有し、前記サンプル画素選択ステップでは、前記部分領域ごとにサンプル画素を選択する。

好ましくは、本発明の画像復号方法における前記領域分割ステップでは、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記部分領域の形状を決定する。

好ましくは、本発明の画像復号方法における前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素、または、最も視点から遠いことを示すデプスを持つ画素のいずれか一方を前記サンプル画素として選択する。

好ましくは、本発明の画像復号方法における前記サンプル画素選択ステップは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素と最も視点から遠いことを示すデプスを持つ画素とを前記サンプル画素として選択する。

本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成部と、前記縮小デプスマップを変換することにより、前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部とを備える。

本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択部と、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部とを備える。

本発明は、複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成部と、前記縮小デプスマップを変換することにより、前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部とを備える。

本発明は、複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択部と、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部とを備える。

本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。

本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。

本発明は、前記画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明は、前記画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、処理対象フレームの視点合成画像を生成する際に、視点合成画像の品質を著しく低下させることなく、少ない演算量で視点合成画像を生成することができるという効果が得られる。

本発明の一実施形態における画像符号化装置の構成を示すブロック図である。図１に示す画像符号化装置１００の動作を示すフローチャートである。視点合成画像の生成処理と符号化対象画像の符号化処理をブロック毎に交互に繰り返すことで、符号化対象画像を符号化する動作を示すフローチャートである。図２、図３に示す参照カメラデプスマップを変換する処理（ステップＳ３）の処理動作を示すフローチャートである。図２、図３に示す参照カメラデプスマップを変換する処理（ステップＳ３）の処理動作を示すフローチャートである。図２、図３に示す参照カメラデプスマップを変換する処理（ステップＳ３）の処理動作を示すフローチャートである。参照カメラデプスマップから仮想デプスマップを生成する動作を示すフローチャートである。本発明の一実施形態における画像復号装置の構成を示すブロック図である。図８に示す画像復号装置２００の動作を示すフローチャートである。視点合成画像の生成処理と復号対象画像の復号処理をブロック毎に交互に繰り返すことで、復号対象画像を復号する動作を示すフローチャートである。画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。カメラ間で生じる視差を示す概念図である。エピポーラ幾何拘束の概念図である。

以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。以下の説明においては、第１のカメラ（カメラＡという）、第２のカメラ（カメラＢという）の２つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラＡの画像を参照画像としてカメラＢの画像を符号化または復号するものとして説明する。なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、この情報は、カメラＡとカメラＢの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、参考文献１「Olivier Faugeras, “Three-Dimensional Computer Vision”, pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。

以下の説明では、画像や映像フレーム、デプスマップに対して、記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素によってサンプリングされた画像信号や、それに対するデプスを示すものとする。また、デプスはカメラから離れる（視差が小さい）ほど小さな値を持つ情報であるとする。デプスの大小とカメラからの距離の関係が逆に定義されている場合は、デプスに対する値の大きさの記述を適宜読み替える必要がある。

図１は本実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照カメラ画像入力部１０３、参照カメラ画像メモリ１０４、参照カメラデプスマップ入力部１０５、デプスマップ変換部１０６、仮想デプスマップメモリ１０７、視点合成画像生成部１０８及び画像符号化部１０９を備えている。

符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下では、この符号化対象となる画像を符号化対象画像と称する。ここではカメラＢの画像を入力するものとする。また、符号化対象画像を撮影したカメラ（ここではカメラＢ）を符号化対象カメラと称する。符号化対象画像メモリ１０２は、入力した符号化対象画像を記憶する。参照カメラ画像入力部１０３は、視点合成画像（視差補償画像）を生成する際に参照画像となる参照カメラ画像を入力する。ここではカメラＡの画像を入力するものとする。参照カメラ画像メモリ１０４は、入力された参照カメラ画像を記憶する。

参照カメラデプスマップ入力部１０５は、参照カメラ画像に対するデプスマップを入力する。以下では、この参照カメラ画像に対するデプスマップを参照カメラデプスマップと称する。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここではデプスマップが画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照カメラデプスマップに対応するカメラを参照カメラと称する。

デプスマップ変換部１０６は、参照カメラデプスマップを用いて、符号化対象画像に撮影された被写体のデプスマップであり、符号化対象画像よりも低い解像度のデプスマップを生成する。すなわち、生成されるデプスマップは符号化対象カメラと同じ位置や向きで、解像度の低いカメラで撮影された画像に対するデプスマップと考えることも可能である。以下では、ここで生成されたデプスマップを仮想デプスマップと称する。仮想デプスマップメモリ１０７は、生成された仮想デプスマップを記憶する。

視点合成画像生成部１０８は、仮想デプスマップから得られる符号化対象画像の画素と参照カメラ画像の画素との対応関係を用いて、符号化対象画像に対する視点合成画像を生成する。画像符号化部１０９は、視点合成画像を用いて、符号化対象画像に対して予測符号化を行い符号データであるビットストリームを出力する。

次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像を入力し、入力された符号化対象画像を符号化対象画像メモリ１０２に記憶する（ステップＳ１）。次に、参照カメラ画像入力部１０３は参照カメラ画像を入力し、入力された参照カメラ画像を参照カメラ画像メモリ１０４に記憶する。これと並行して、参照カメラデプスマップ入力部１０５は参照カメラデプスマップを入力し、入力された参照カメラデプスマップをデプスマップ変換部１０６へ出力する（ステップＳ２）。

なお、ステップＳ２で入力される参照カメラ画像、参照カメラデプスマップは、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。参照カメラデプスマップに関しては、既に符号化済みのものを復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなども、復号側で同じものが得られるものとして用いることができる。

次に、デプスマップ変換部１０６は、参照カメラデプスマップ入力部１０５から出力する参照カメラデプスマップに基づき仮想デプスマップを生成し、生成された仮想デプスマップを仮想デプスマップメモリ１０７に記憶する（ステップＳ３）。なお、仮想デプスマップの解像度は、復号側と同じであれば、どのような解像度を設定しても構わない。例えば、符号化対象画像に対して予め定められた縮小率の解像度を設定しても構わない。ここでの処理の詳細については後述する。

次に、視点合成画像生成部１０８は、参照カメラ画像メモリ１０４に記憶されている参照カメラ画像と、仮想デプスマップメモリ１０７に記憶されている仮想デプスマップとから、符号化対象画像に対する視点合成画像を生成し、生成された視点合成画像を画像符号化部１０９へ出力する（ステップＳ４）。ここでの処理は、符号化対象画像より低い解像度の符号化対象カメラに対するデプスマップと、符号化対象カメラとは異なるカメラで撮影された画像とを用いて、符号化対象カメラの画像を合成する方法であれば、どのような方法を用いても構わない。

例えば、まず、仮想デプスマップの１つの画素を選択し、符号化対象画像上で対応する領域を求め、デプス値から参照カメラ画像上での対応領域を求める。次に、その対応領域における画像の画素値を求める。そして、得られた画素値を符号化対象画像上で同定された領域の視点合成画像の画素値として割り当てる。この処理を仮想デプスマップの全ての画素に対して行うことで、１フレーム分の視点合成画像が得られる。なお、参照カメラ画像上の対応点が、フレーム外になった場合は、画素値なしとしても構わないし、あらかじめ定められた画素値を割り当てても構わないし、最も近いフレーム内の画素の画素値やエピポーラ直線上で最も近いフレーム内の画素の画素値を割り当てても構わない。ただし、どのように画素値を決定するかは復号側と同じにする必要がある。さらに、１フレーム分の視点合成画像が得られた後に、ローパスフィルタ等のフィルタをかけても構わない。

次に、視点合成画像を得た後に、画像符号化部１０９は、視点合成画像を予測画像として、符号化対象画像を予測符号化して符号化結果を出力する（ステップＳ５）。符号化の結果得られるビットストリームが画像符号化装置１００の出力となる。なお、復号側で正しく復号可能であるならば、符号化にはどのような方法を用いてもよい。

ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化では、画像を予め定められた大きさのブロックに分割して、ブロックごとに、符号化対象画像と予測画像との差分信号を生成し、差分画像に対してＤＣＴ（Discrete Cosine Transform）などの周波数変換を施し、その結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。

なお、予測符号化処理をブロックごとに行う場合、視点合成画像の生成処理（ステップＳ４）と符号化対象画像の符号化処理（ステップＳ５）をブロック毎に交互に繰り返すことで、符号化対象画像を符号化してもよい。その場合の処理動作を図３を参照して説明する。図３は、視点合成画像の生成処理と符号化対象画像の符号化処理をブロック毎に交互に繰り返すことで、符号化対象画像を符号化する動作を示すフローチャートである。図３において、図２に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。図３に示す処理動作では予測符号化処理を行う単位となるブロックのインデックスをｂｌｋとし、符号化対象画像中のブロック数をｎｕｍＢｌｋｓで表している。

まず、符号化対象画像入力部１０１は、符号化対象画像を入力し、入力された符号化対象画像を符号化対象画像メモリ１０２に記憶する（ステップＳ１）。次に、参照カメラ画像入力部１０３は参照カメラ画像を入力し、入力された参照カメラ画像を参照カメラ画像メモリ１０４に記憶する。これと並行して、参照カメラデプスマップ入力部１０５は参照カメラデプスマップを入力し、入力された参照カメラデプスマップをデプスマップ変換部１０６へ出力する（ステップＳ２）。

次に、デプスマップ変換部１０６は、参照カメラデプスマップ入力部１０５から出力する参照カメラデプスマップに基づき仮想デプスマップを生成し、生成された仮想デプスマップを仮想デプスマップメモリ１０７に記憶する（ステップＳ３）。そして、視点合成画像生成部１０８は、変数ｂｌｋに０を代入する（ステップＳ６）。

次に、視点合成画像生成部１０８は、参照カメラ画像メモリ１０４に記憶されている参照カメラ画像と、仮想デプスマップメモリ１０７に記憶されている仮想デプスマップとから、ブロックｂｌｋに対する視点合成画像を生成し、生成された視点合成画像を画像符号化部１０９へ出力する（ステップＳ４ａ）。続いて、視点合成画像を得た後に、画像符号化部１０９は、視点合成画像を予測画像として、ブロックｂｌｋに対する符号化対象画像を予測符号化して符号化結果を出力する（ステップＳ５ａ）。そして、視点合成画像生成部１０８は、変数ｂｌｋをインクリメントし（ｂｌｋ←ｂｌｋ＋１，ステップＳ７）、ｂｌｋ＜ｎｕｍＢｌｋｓを満たすか否かを判定する（ステップＳ８）。この判定の結果、ｂｌｋ＜ｎｕｍＢｌｋｓを満たしていればステップＳ４ａに戻って処理を繰り返し、ｂｌｋ＝ｎｕｍＢｌｋｓを満たした時点で処理を終了する。

次に、図４〜図６を参照して、図１に示すデプスマップ変換部１０６の処理動作を説明する。図４〜図６は、図２、図３に示す参照カメラデプスマップを変換する処理（ステップＳ３）の処理動作を示すフローチャートである。ここでは、参照デプスマップから仮想デプスマップを生成する方法として、３つの異なる方法について説明する。どの方法を用いても構わないが、復号側と同じ方法を用いる必要がある。なお、フレームなど一定の大きさごとに使用する方法を変更する場合は、使用した方法を示す情報を符号化して復号側に通知しても構わない。

始めに、図４を参照して、第１の方法による処理動作を説明する。まず、デプスマップ変換部１０６は、参照カメラデプスマップから、符号化対象画像に対するデプスマップを合成する（ステップＳ２１）。すなわち、ここで得られるデプスマップの解像度は符号化対象画像と同じである。ここでの処理には、復号側で実行可能な方法であれば、どのような方法を用いても構わないが、例えば、参考文献２「Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, “View Generation with 3D Warping Using Depth Information for FTV”, In Proceedings of 3DTV-CON2008, pp.229-232, May 2008.」に記載の方法を用いても構わない。

別の方法としては、参照カメラデプスマップから各画素の３次元位置が得られるため、被写体空間の３次元モデルを復元し、復元されたモデルを符号化対象カメラから観測した際のデプスを求めることで、この領域（符号化対象画像）に対する仮想デプスマップを生成するようにしてもよい。更に別の方法としては、参照カメラデプスマップの画素ごとに、その画素のデプス値を用いて、仮想デプスマップ上の対応点を求め、その対応点に変換したデプス値を割り当てることで仮想デプスマップを生成するようにしてもよい。ここで、変換したデプス値とは、参照カメラデプスマップに対するデプス値を、仮想デプスマップに対するデプス値へと変換したものである。デプス値を表現する座標系として、参照カメラデプスマップと仮想デプスマップとで、共通の座標系を用いる場合は、変換せずに参照カメラデプスマップのデプス値を使用することになる。

なお、対応点は必ずしも仮想デプスマップの整数画素位置として得られるわけではないため、参照カメラデプスマップ上で隣接する画素にそれぞれ対応した仮想デプスマップ上の位置の間での連続性を仮定することで、仮想デプスマップの各画素に対するデプス値を補間して対応点を生成する必要がある。ただし、参照カメラデプスマップ上で隣接する画素に対して、そのデプス値の変化が予め定められた範囲内の場合においてのみ連続性を仮定する。これは、デプス値が大きく異なる画素には、異なる被写体が写っていると考えられ、実空間における被写体の連続性を仮定できないためである。また、得られた対応点から１つまたは複数の整数画素位置を求め、その整数画素位置にある画素に対して変換したデプス値を割り当てても構わない。この場合、デプス値の補間を行う必要がなくなり、演算量を削減することができる。

また、被写体の前後関係によって、参照カメラ画像の一部の領域に写っている被写体が、参照カメラ画像の別の領域に写っている被写体によって遮蔽され、符号化対象画像には写らない被写体が存在する参照カメラ画像上の領域が存在するため、この方法を用いる場合は、前後関係を考慮しながら、対応点にデプス値を割り当てる必要がある。ただし、符号化対象カメラと参照カメラの光軸が同一平面上に存在する場合、符号化対象カメラと参照カメラとの位置関係に従って、参照カメラデプスマップの画素を処理する順序を決定し、その決定された順序に従って処理を行うことで、前後関係を考慮せずに、得られた対応点に対して常に上書き処理を行うことで、仮想デプスマップを生成することができる。具体的には、符号化対象カメラが参照カメラよりも右に存在している場合、参照カメラデプスマップの画素を各行で左から右にスキャンする順で処理し、符号化対象カメラが参照カメラよりも左に存在している場合、参照カメラデプスマップの画素を各行で右から左にスキャンする順で処理することで、前後関係を考慮する必要がなくなる。なお、前後関係を考慮する必要がなくなることによって、演算量を削減することができる。

さらに、あるカメラで撮影された画像に対するデプスマップから別のカメラで撮影された画像に対するデプスマップを合成する場合、その両方に共通して写っている領域に対してしか有効なデプスが得られない。有効なデプスが得られなかった領域については、特許文献１に記載の方法などを用いて、推定したデプス値を割り当てても構わないし、有効な値がないままとしても構わない。

次に、符号化対象画像に対するデプスマップの合成が終了したら、デプスマップ変換部１０６は、合成して得られたデプスマップを縮小することで、目標とする解像度の仮想デプスマップを生成する（ステップＳ２２）。復号側で同じ方法が使用可能であれば、デプスマップを縮小する方法として、どのような方法を用いても構わない。例えば、仮想デプスマップの画素ごとに、合成して得られたデプスマップで対応する複数の画素を設定し、それらの画素に対するデプス値の平均値や、中間値、最頻値などを求めて、仮想デプスマップのデプス値とする方法がある。なお、単純に平均値を求めるではなく、画素間の距離に応じて重みを計算し、その重みを用いて平均値や中間値などを求めても構わない。なお、ステップＳ２１において、有効な値がないままとしてあった領域については、その画素の値は平均値等の計算において考慮しない。

別の方法としては、仮想デプスマップの画素ごとに、合成して得られたデプスマップで対応する複数の画素を設定し、それらの画素に対するデプス値のうち、最もカメラに近いことを示すデプスを選択する方法がある。これにより、主観的により重要な手前に存在する被写体に対しての予測効率が向上するため、少ない符号量で主観的に優れた符号化を実現することが可能となる。

なお、ステップＳ２１において、一部の領域に対して有効なデプスが得られないままとした場合、最後に、生成された仮想デプスマップにおいて、有効なデプスが得られなかった領域に対して、特許文献１に記載の方法などを用いて、推定したデプス値を割り当てても構わない。

次に、図５を参照して、第２の方法による処理動作を説明する。まず、デプスマップ変換部１０６は、参照カメラデプスマップを縮小する（ステップＳ３１）。復号側で同じ処理を実行可能であれば、どのような方法を用いて縮小を行っても構わない。例えば、前述のステップＳ２２と同様の方法を用いて縮小を行っても構わない。なお、縮小後の解像度は、復号側が同じ解像度へと縮小可能であれば、どのような解像度へと縮小しても構わない。例えば、予め定められた縮小率の解像度へと変換しても構わないし、仮想デプスマップと同じでも構わない。ただし、縮小後のデプスマップの解像度は、仮想デプスマップの解像度と同じか、それよりも高いものとする。

また、縦横のどちらか一方についてのみ縮小を行っても構わない。縦横のどちらに縮小を行うかを決定する方法は、どのような方法を用いても構わない。例えば、予め定めておいても構わないし、符号化対象カメラと参照カメラの位置関係に従って決定しても構わない。符号化対象カメラと参照カメラの位置関係に従って決定する方法としては、視差の発生する方向と出来るだけ異なる方向を、縮小を行う方向とする方法がある。すなわち、符号化対象カメラと参照カメラとが左右平行に並んでいる場合、縦方向についてのみ縮小を行う。このように決定することで、次のステップにおいて、高い精度の視差を用いた処理が可能となり、高品質な仮想デプスマップを生成することが可能となる。

次に、デプスマップ変換部１０６は、参照カメラデプスマップの縮小が終了したら、縮小したデプスマップから仮想デプスマップを合成する（ステップＳ３２）。ここでの処理は、デプスマップの解像度が異なる点を除いて、ステップＳ２１と同じである。なお、縮小して得られたデプスマップの解像度が、仮想デプスマップの解像度と異なる際に、縮小して得られたデプスマップの画素ごとに、仮想デプスマップ上の対応画素を求めると、縮小して得られたデプスマップの複数の画素が、仮想デプスマップの１画素と対応関係を持つことになる。このとき、小数画素精度での誤差が最も小さい画素のデプス値を割り当てることで、より高品質な仮想デプスマップを生成可能となる。また、その複数の画素群のうち、最もカメラに近いことを示すデプス値を選択することで、主観的により重要な手前に存在する被写体に対しての予測効率を向上させても構わない。

このように、仮想デプスマップを合成する際に用いるデプスマップの画素数を削減することで、合成の際に必要となる対応点や３次元モデルの計算に必要な演算量を削減することが可能となる。

次に、図６を参照して、第３の方法による処理動作を説明する。第３の方法では、まず、デプスマップ変換部１０６は、参照カメラデプスマップの画素の中から、複数のサンプル画素を設定する（ステップＳ４１）。サンプル画素の選択方法は、復号側が同じ選択を実現可能であれば、どのような方法を用いても構わない。例えば、参照カメラデプスマップの解像度と仮想デプスマップの解像度の比に従って、参照カメラデプスマップを複数の領域に分割し、領域ごとに、一定の規則に従ってサンプル画素を選択しても構わない。一定の規則とは、例えば、領域内の特定の位置に存在する画素や、カメラから最も遠いことを示すデプスを持つ画素や、カメラから最も近いことを示すデプスを持つ画素などを選択することである。なお、領域ごとに複数の画素を選択しても構わない。すなわち、領域内の四隅に存在する４つの画素や、カメラから最も遠いことを示すデプスを持つ画素とカメラから最も近いことを示すデプスを持つ画素の２つの画素、カメラから近いことを示すデプスを持つ画素を順に３つなど、複数の画素をサンプル画素としても構わない。

なお、領域分割の方法としては、参照カメラデプスマップの解像度と仮想デプスマップの解像度の比に加えて、符号化対象カメラと参照カメラの位置関係を用いても構わない。例えば、視差の発生する方向と出来るだけ異なる方向にのみ、解像度の比に応じて複数画素の幅を設定し、もう一方（視差の発生する方向）には１画素分の幅を設定する方法がある。また、仮想デプスマップの解像度以上のサンプル画素を選択することで、次のステップにおいて、有効なデプスの得られない画素の数を減らし、高品質な仮想デプスマップを生成することが可能となる。

次に、デプスマップ変換部１０６は、サンプル画素の設定が終了したら、参照カメラデプスマップのサンプル画素のみを用いて、仮想デプスマップを合成する（ステップＳ４２）。ここでの処理は、一部の画素を用いて合成を行う点を除いて、ステップＳ３２と同じである。

このように、仮想デプスマップを合成する際に用いる参照カメラデプスマップの画素を制限することで、合成の際に必要となる対応点や３次元モデルの計算に必要な演算量を削減することが可能となる。また、第２の方法と異なり、参照カメラデプスマップを縮小するのに必要となる演算や一時メモリを削減することが可能である。

また、以上説明した３つの方法とは別の方法として、参照カメラデプスマップから仮想デプスマップを直接生成しても構わない。その場合の処理は、第２の方法において縮小率を１倍とした場合や、第３の方法において参照カメラデプスマップの全ての画素をサンプル画素として設定した場合に等しい。

ここで、図７を参照して、カメラ配置が一次元平行の場合に、デプスマップ変換部１０６の具体的な動作の一例を説明する。なお、カメラ配置が一次元平行とは、カメラの理論投影面が同一平面上に存在し、光軸が互いに平行な状態である。また、ここではカメラは水平方向に隣り合って設置されており、参照カメラが符号化対象カメラの左側に存在しているとする。このとき、画像平面上の水平ライン上の画素に対するエピポーラ直線は、同じ高さに存在する水平なライン状となる。このため、視差は常に水平方向にしか存在していないことになる。さらに投影面が同一平面上に存在するため、デプスを光軸方向の座標軸に対する座標値として表現する場合、カメラ間でデプスの定義軸が一致することになる。

図７は、参照カメラデプスマップから仮想デプスマップを生成する動作を示すフローチャートである。図７においては参照カメラデプスマップをＲＤｅｐｔｈ、仮想デプスマップをＶＤｅｐｔｈと表記している。カメラ配置が一次元平行であるため、ラインごとに、参照カメラデプスマップを変換して、仮想デプスマップを生成する。すなわち、仮想デプスマップのラインを示すインデックスをｈ、仮想デプスマップのライン数をＨｅｉｇｈｔとすると、デプスマップ変換部１０６は、ｈを０で初期化した後（ステップＳ５１）、ｈに１ずつ加算しながら（ステップＳ６５）、ｈがＨｅｉｇｈｔになるまで（ステップＳ６６）、以下の処理（ステップＳ５２〜ステップＳ６４）を繰り返す。

ラインごとに行う処理では、まず、デプスマップ変換部１０６は、参照カメラデプスマップから１ライン分の仮想デプスマップを合成する（ステップＳ５２〜ステップＳ６２）。その後、そのライン上で参照カメラデプスマップからデプスが生成できなかった領域が存在するか否かを判定し（ステップＳ６３）、そのような領域が存在する場合はデプスを生成する（ステップＳ６４）。どのような方法を用いても構わないが、例えば、デプスが生成されなかった領域内の全ての画素に対して、そのライン上に生成されたデプスのうち、最も右側に存在するデプス（ＶＤｅｐｔｈ［ｌａｓｔ］）を割り当てても構わない。

参照カメラデプスマップから１ライン分の仮想デプスマップを合成する処理では、まず、デプスマップ変換部１０６は、仮想デプスマップのラインｈに対応するサンプル画素集合Ｓを決定する（ステップＳ５２）。このとき、カメラ配置が一次元平行であることから、参照カメラデプスマップと仮想デプスマップのライン数の比がＮ：１である場合、サンプル画素集合は参照カメラデプスマップのラインＮ×ｈからライン｛Ｎ×（ｈ＋１）−１｝の中から選択することになる。

サンプル画素集合の決定にはどのような方法を用いても構わない。例えば、画素列（縦方向の画素の集合）ごとに最もカメラに近いことを示すデプス値を持つ画素をサンプル画素として選択しても構わない。また１列ごとではなく、複数列ごとに１つの画素をサンプル画素として選択しても構わない。このときの列の幅は、参照カメラデプスマップと仮想デプスマップの列数の比に基づいて決定しても構わない。サンプル画素集合が決定したら、直前に処理したサンプル画素をワーピングした仮想デプスマップ上の画素位置ｌａｓｔを（ｈ，−１）で初期化する（ステップＳ５３）。

次に、デプスマップ変換部１０６は、サンプル画素集合が決定したら、サンプル画素集合に含まれる画素ごとに、参照カメラデプスマップのデプスをワーピングする処理を繰り返す。すなわち、サンプル画素集合から処理したサンプル画素を取り除きながら（ステップＳ６１）、サンプル画素集合が空集合になるまで（ステップＳ６２）、以下の処理（ステップＳ５４〜ステップＳ６０）を繰り返す。

サンプル画素集合が空集合になるまで繰り返される処理では、デプスマップ変換部１０６が、サンプル画素集合の中から、参照カメラデプスマップ上で最も左に位置する画素ｐを処理するサンプル画素として選択する（ステップＳ５４）。次に、デプスマップ変換部１０６は、サンプル画素ｐに対する参照カメラデプスマップの値から、サンプル画素ｐが仮想デプスマップ上で対応する点ｃｐを求める（ステップＳ５５）。対応点ｃｐが得られたら、デプスマップ変換部１０６は、その対応点が仮想デプスマップのフレーム内に存在するか否かをチェックする（ステップＳ５６）。対応点がフレーム外となる場合、デプスマップ変換部１０６は、何もせずにサンプル画素ｐに対する処理を終了する。

一方、対応点ｃｐが仮想デプスマップのフレーム内の場合、デプスマップ変換部１０６は、対応点ｃｐに対する仮想カメラデプスマップの画素に参照カメラデプスマップの画素ｐに対するデプスを割り当てる（ステップＳ５７）。次に、デプスマップ変換部１０６は、直前のサンプル画素のデプスを割り当てた位置ｌａｓｔと今回のサンプル画素のデプスを割り当てた位置ｃｐとの間に、別の画素が存在するか否かを判定する（ステップＳ５８）。そのような画素が存在する場合、デプスマップ変換部１０６は、画素ｌａｓｔと画素ｃｐの間に存在する画素にデプスを生成する（ステップＳ５９）。どのような処理を用いてデプスを生成しても構わない。例えば、画素ｌａｓｔと画素ｃｐのデプスを線形補間しても構わない。

次に、画素ｌａｓｔと画素ｃｐの間のデプスの生成が終了したら、または、画素ｌａｓｔと画素ｃｐの間に他の画素が存在しなかった場合、デプスマップ変換部１０６は、ｌａｓｔをｃｐに更新して（ステップＳ６０）、サンプル画素ｐに対する処理を終了する。

図７に示す処理動作は、参照カメラが符号化対象カメラの左側に設置されている場合の処理であるが、参照カメラと符号化対象カメラの位置関係が逆の場合は、処理する画素の順序や画素位置の判定条件を逆にすればよい。具体的には、ステップＳ５３では、ｌａｓｔを（ｈ，Ｗｉｄｔｈ）で初期化し、ステップＳ５４では、参照カメラデプスマップ上で最も右に位置するサンプル画素集合の中の画素ｐを処理するサンプル画素として選択し、ステップＳ６３では、ｌａｓｔより左側に画素が存在するか否かを判定し、ステップＳ６４では、ｌａｓｔより左側のデプスを生成する。なお、Ｗｉｄｔｈは仮想デプスマップの横方向の画素数である。

また、図７に示す処理動作は、カメラ配置が一次元平行の場合の処理であるが、カメラ配置が一次元コンバージェンスの場合も、デプスの定義によっては同じ処理フローを適用することが可能である。具体的には、デプスを表現する座標軸が参照カメラデプスマップと仮想デプスマップとで同一の場合に、同じ処理フローを適用することが可能である。また、デプスの定義軸が異なる場合は、参照カメラデプスマップの値を直接、仮想デプスマップに割り当てるのではなく、参照カメラデプスマップのデプスによってあらわされる３次元位置を、デプスの定義軸に従って変換した後に、変換により得られた３次元位置を仮想デプスマップに割り当てるだけで、基本的には同じフローを適用することができる。

次に、画像復号装置について説明する。図８は、本実施形態における画像復号装置の構成を示すブロック図である。画像復号装置２００は、図８に示すように、符号データ入力部２０１、符号データメモリ２０２、参照カメラ画像入力部２０３、参照カメラ画像メモリ２０４、参照カメラデプスマップ入力部２０５、デプスマップ変換部２０６、仮想デプスマップメモリ２０７、視点合成画像生成部２０８、および画像復号部２０９を備えている。

符号データ入力部２０１は、復号対象となる画像の符号データを入力する。以下では、この復号対象となる画像を復号対象画像と呼ぶ。ここでは、復号対象画像はカメラＢの画像を指す。また、以下では、復号対象画像を撮影したカメラ（ここではカメラＢ）を復号対象カメラと呼ぶ。符号データメモリ２０２は、入力した復号対象画像である符号データを記憶する。参照カメラ画像入力部２０３は、視点合成画像（視差補償画像）を生成する際に参照画像となる参照カメラ画像を入力する。ここではカメラＡの画像が入力される。参照カメラ画像メモリ２０４は、入力した参照カメラ画像を記憶する。

参照カメラデプスマップ入力部２０５は、参照カメラ画像に対するデプスマップを入力する。以下では、この参照カメラ画像に対するデプスマップを参照カメラデプスマップと呼ぶ。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここではデプスマップが画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照カメラデプスマップに対応するカメラを参照カメラと呼ぶ。

デプスマップ変換部２０６は、参照カメラデプスマップを用いて、復号対象画像に撮影された被写体のデプスマップであり、復号対象画像よりも低い解像度のデプスマップを生成する。すなわち、生成されるデプスマップは復号対象カメラと同じ位置や向きで、解像度の低いカメラで撮影された画像に対するデプスマップと考えることも可能である。以下では、ここで生成されたデプスマップを仮想デプスマップと呼ぶ。仮想デプスマップメモリ２０７は、生成した仮想デプスマップを記憶する。視点合成画像生成部２０８は、仮想デプスマップから得られる復号対象画像の画素と参照カメラ画像の画素との対応関係を用いて、復号対象画像に対する視点合成画像を生成する。画像復号部２０９は、視点合成画像を用いて、符号データから復号対象画像を復号して復号画像を出力する。

次に、図９を参照して、図８に示す画像復号装置２００の動作を説明する。図９は、図８に示す画像復号装置２００の動作を示すフローチャートである。まず、符号データ入力部２０１は、復号対象画像の符号データを入力し、入力された符号データを符号データメモリ２０２に記憶する（ステップＳ７１）。これと並行して、参照カメラ画像入力部２０３は参照カメラ画像を入力し、入力された参照カメラ画像を参照カメラ画像メモリ２０４に記憶する。また、参照カメラデプスマップ入力部２０５は参照カメラデプスマップを入力し、入力された参照カメラデプスマップをデプスマップ変換部２０６へ出力する（ステップＳ７２）。

なお、ステップＳ７２で入力される参照カメラ画像、参照カメラデプスマップは、符号化側で使用されたものと同じものとする。これは符号化装置で使用したものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。参照カメラデプスマップに関しては、別途復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなどを用いることもある。

次に、デプスマップ変換部２０６は、参照カメラデプスマップから仮想デプスマップを生成し、生成された仮想デプスマップを仮想デプスマップメモリ２０７に記憶する（ステップＳ７３）。ここでの処理は、符号化対象画像と復号対象画像など、符号化と復号が異なる点を除いて、図２に示すステップＳ３と同じである。

次に、仮想デプスマップが得られたならば、視点合成画像生成部２０８は、参照カメラ画像と仮想デプスマップとから、復号対象画像に対する視点合成画像を生成し、生成された視点合成画像を画像復号部２０９へ出力する（ステップＳ７４）。ここでの処理は、符号化対象画像と復号対象画像など、符号化と復号が異なる点を除いて、図２に示すステップＳ４と同じである。

次に、視点合成画像が得られたならば、画像復号部２０９は、視点合成画像を予測画像として用いながら、符号データから復号対象画像を復号して復号結果を出力する（ステップＳ７５）。復号の結果得られる復号画像が画像復号装置２００の出力となる。なお、符号データ（ビットストリーム）を正しく復号できるならば、復号にはどのような方法を用いてもよい。一般的には、符号化時に用いられた方法に対応する方法が用いられる。

ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化で符号化されている場合は、画像を予め定められた大きさのブロックに分割して、ブロックごとに、エントロピー復号、逆２値化、逆量子化などを施した後、ＩＤＣＴ（Inverse Discrete Cosine Transform）など逆周波数変換を施して予測残差信号を得た後、予測残差信号に対して予測画像を加え、得られた結果を画素値範囲でクリッピングすることで復号を行う。

なお、復号処理をブロックごとに行う場合、視点合成画像の生成処理（ステップＳ７４）と復号対象画像の復号処理（ステップＳ７５）をブロック毎に交互に繰り返すことで、復号対象画像を復号してもよい。その場合の処理動作を図１０を参照して説明する。図１０は、視点合成画像の生成処理と復号対象画像の復号処理をブロック毎に交互に繰り返すことで、復号対象画像を復号する動作を示すフローチャートである。図１０において、図９に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。図１０に示す処理動作では復号処理を行う単位となるブロックのインデックスをｂｌｋとし、復号対象画像中のブロック数をｎｕｍＢｌｋｓで表している。

まず、符号データ入力部２０１は、復号対象画像の符号データを入力し、入力された符号データを符号データメモリ２０２に記憶する（ステップＳ７１）。これと並行して、参照カメラ画像入力部２０３は参照カメラ画像を入力し、入力された参照カメラ画像を参照カメラ画像メモリ２０４に記憶する。また、参照カメラデプスマップ入力部２０５は参照カメラデプスマップを入力し、入力された参照カメラデプスマップをデプスマップ変換部２０６へ出力する（ステップＳ７２）。

次に、デプスマップ変換部２０６は、参照カメラデプスマップから仮想デプスマップを生成し、生成された仮想デプスマップを仮想デプスマップメモリ２０７に記憶する（ステップＳ７３）。そして、視点合成画像生成部２０８は、変数ｂｌｋに０を代入する（ステップＳ７６）。

次に、視点合成画像生成部２０８は、参照カメラ画像と仮想デプスマップとから、ブロックｂｌｋに対する視点合成画像を生成し、生成された視点合成画像を画像復号部２０９へ出力する（ステップＳ７４ａ）。続いて、画像復号部２０９は、視点合成画像を予測画像として用いながら、符号データからブロックｂｌｋに対する復号対象画像を復号して復号結果を出力する（ステップＳ７５ａ）。そして、視点合成画像生成部２０８は、変数ｂｌｋをインクリメントし（ｂｌｋ←ｂｌｋ＋１，ステップＳ７７）、ｂｌｋ＜ｎｕｍＢｌｋｓを満たすか否かを判定する（ステップＳ７８）。この判定の結果、ｂｌｋ＜ｎｕｍＢｌｋｓを満たしていればステップＳ７４ａに戻って処理を繰り返し、ｂｌｋ＝ｎｕｍＢｌｋｓを満たした時点で処理を終了する。

このように、参照フレームに対するデプスマップから、処理対象フレームに対する解像度の小さなデプスマップを生成することで、指定された領域のみに対する視点合成画像の生成を少ない演算量および消費メモリで実現し、多視点画像の効率的かつ軽量な画像符号化を実現することができる。これにより、参照フレームに対するデプスマップを用いて、処理対象フレーム（符号化対象フレームまたは復号対象フレーム）の視点合成画像を生成する際に、視点合成画像の品質を著しく低下させることなく、少ない演算量で、ブロックごとに視点合成画像を生成することが可能になる。

上述した説明においては、１フレーム中のすべての画素を符号化および復号する処理を説明したが、一部の画素にのみ本発明の実施形態の処理を適用し、その他の画素では、Ｈ．２６４／ＡＶＣなどで用いられる画面内予測符号化や動き補償予測符号化などを用いて符号化または復号を行ってもよい。その場合には、画素ごとにどの方法を用いて予測したかを示す情報を符号化および復号する必要がある。また、画素ごとではなくブロック毎に別の予測方式を用いて符号化または復号を行ってもよい。なお、一部の画素やブロックに対してのみ視点合成画像を用いた予測を行う場合は、その画素に対してのみ視点合成画像を生成する処理（ステップＳ４、Ｓ４ａ、Ｓ７４およびＳ７４ａ）を行うようにすることで、視点合成画像の生成処理にかかる演算量を削減することが可能となる。

また、上述した説明においては、１フレームを符号化および復号する処理を説明したが、複数フレームについて処理を繰り返すことで本発明の実施形態を動画像符号化にも適用することができる。また、動画像の一部のフレームや一部のブロックにのみ本発明の実施形態を適用することもできる。さらに、上述した説明では画像符号化装置および画像復号装置の構成及び処理動作を説明したが、これら画像符号化装置および画像復号装置の各部の動作に対応した処理動作によって本発明の画像符号化方法および画像復号方法を実現することができる。

図１１は、前述した画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図１１に示すシステムは、プログラムを実行するＣＰＵ（Central Processing Unit）５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ（Random Access Memory）等のメモリ５１と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照カメラ画像入力部５３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの符号化対象画像を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する参照カメラデプスマップ入力部５４（ディスク装置等によるデプスマップを記憶する記憶部でもよい）と、上述した画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５５１が格納されたプログラム記憶装置５５と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５５１を実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部５６（ディスク装置等による符号データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。

図１２は、前述した画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図１２に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、画像符号化装置が本手法により符号化した符号データを入力する符号データ入力部６２（ディスク装置等による符号データを記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照カメラ画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの復号対象を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する参照カメラデプスマップ入力部６４（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、上述した画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６５１が格納されたプログラム記憶装置６５と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、符号データを復号して得られた復号対象画像を、再生装置などに出力する復号対象画像出力部６６（ディスク装置等による画像信号を記憶する記憶部でもよい）とが、バスで接続された構成になっている。

また、図１に示す画像符号化装置及び図８に示す画像復号装置における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理と画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

本発明は、参照フレームに対する被写体の３次元位置を表すデプスマップを用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を少ない演算量で達成することが不可欠な用途に適用できる。

１００・・・画像符号化装置、１０１・・・符号化対象画像入力部、１０２・・・符号化対象画像メモリ、１０３・・・参照カメラ画像入力部、１０４・・・参照カメラ画像メモリ、１０５・・・参照カメラデプスマップ入力部、１０６・・・デプスマップ変換部、１０７・・・仮想デプスマップメモリ、１０８・・・視点合成画像生成部、１０９・・・画像符号化部、２００・・・画像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・参照カメラ画像入力部、２０４・・・参照カメラ画像メモリ、２０５・・・参照カメラデプスマップ入力部、２０６・・・デプスマップ変換部、２０７・・・仮想デプスマップメモリ、２０８・・・視点合成画像生成部、２０９・・・画像復号部

Claims

複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、
前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成ステップと、
前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを前記縮小デプスマップから生成する仮想デプスマップ生成ステップと、
前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップと
を有する画像符号化方法。
前記縮小デプスマップ生成ステップでは、前記参照視点デプスマップを縦方向または横方向のいずれか一方に対してのみ縮小する請求項１に記載の画像符号化方法。
前記縮小デプスマップ生成ステップでは、前記縮小デプスマップの画素ごとに、前記参照視点デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記縮小デプスマップを生成する請求項１または請求項２に記載の画像符号化方法。
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、
前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択ステップと、
前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成ステップと、
前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップと
を有する画像符号化方法。
前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記参照視点デプスマップを部分領域に分割する領域分割ステップをさらに有し、
前記サンプル画素選択ステップでは、前記部分領域ごとに前記サンプル画素を選択する請求項４に記載の画像符号化方法。
前記領域分割ステップでは、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記部分領域の形状を決定する請求項５に記載の画像符号化方法。
前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素、または、最も視点から遠いことを示すデプスを持つ画素のいずれか一方を前記サンプル画素として選択する請求項５または請求項６に記載の画像符号化方法。
前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素と最も視点から遠いことを示すデプスを持つ画素とを前記サンプル画素として選択する請求項５または請求項６に記載の画像符号化方法。
複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、
前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成ステップと、
前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを前記縮小デプスマップから生成する仮想デプスマップ生成ステップと、
前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップと
を有する画像復号方法。
前記縮小デプスマップ生成ステップでは、前記参照視点デプスマップを縦方向または横方向のいずれか一方に対してのみ縮小する請求項９に記載の画像復号方法。
前記縮小デプスマップ生成ステップでは、前記縮小デプスマップの画素ごとに、前記参照視点デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記縮小デプスマップを生成する請求項９または請求項１０に記載の画像復号方法。
複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、
前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択ステップと、
前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成ステップと、
前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップと
を有する画像復号方法。
前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記参照視点デプスマップを部分領域に分割する領域分割ステップをさらに有し、
前記サンプル画素選択ステップでは、前記部分領域ごとにサンプル画素を選択する請求項１２に記載の画像復号方法。
前記領域分割ステップでは、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記部分領域の形状を決定する請求項１３に記載の画像復号方法。
前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素、または、最も視点から遠いことを示すデプスを持つ画素のいずれか一方を前記サンプル画素として選択する請求項１３または請求項１４に記載の画像復号方法。
前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素と最も視点から遠いことを示すデプスを持つ画素とを前記サンプル画素として選択する請求項１３または請求項１４に記載の画像復号方法。
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、
前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成部と、
前記縮小デプスマップを変換することにより、前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、
前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部と
を備える画像符号化装置。
複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、
前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択部と、
前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、
前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部と
を備える画像符号化装置。
複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、
前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成部と、
前記縮小デプスマップを変換することにより、前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、
前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部と
を備える画像復号装置。
複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、
前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択部と、
前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、
前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部と
を備える画像復号装置。
コンピュータに、請求項１から８のいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
コンピュータに、請求項９から１６のいずれか１項に記載の画像復号方法を実行させるための画像復号プログラム。
請求項２１に記載の画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
請求項２２に記載の画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。