WO2015141613A1

WO2015141613A1 - 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム

Info

Publication number: WO2015141613A1
Application number: PCT/JP2015/057631
Authority: WO
Inventors: 信哉志水; 志織杉本
Original assignee: 日本電信電話株式会社
Priority date: 2014-03-20
Filing date: 2015-03-16
Publication date: 2015-09-24
Also published as: KR20160118363A; JPWO2015141613A1; JP6307152B2; CN106063273A; US20170070751A1

Abstract

　多視点画像符号化において、符号化対象画像とは異なる視点の参照視点画像と該参照視点画像に対するデプスマップを用いて、符号化対象領域に対する第１の視点合成画像を生成する。この第１の視点合成画像を用いて、前記符号化対象領域を画面内予測する際に参照される既に符号化済みの画素群である参照画素に対する第２の視点合成画像を生成する。前記参照画素に対する復号画像と前記第２の視点合成画像を用いて、前記符号化対象領域に対する画面内予測画像を生成する。

Description

画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム

　本発明は、多視点画像を符号化及び復号する画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラムに関する。
　本願は、２０１４年３月２０日に出願された特願２０１４－０５８９０２号に基づき優先権を主張し、その内容をここに援用する。

　従来から、複数のカメラで同じ被写体と背景を撮影した複数の画像からなる多視点画像（Multiview images：マルチビューイメージ）が知られている。この複数のカメラで撮影した動画像のことを多視点動画像（または多視点映像）という。
　以下の説明では、１つのカメラで撮影された画像（動画像）を”２次元画像（動画像）”と称し、同じ被写体と背景とを位置や向き（以下、視点と称する）が異なる複数のカメラで撮影した２次元画像（２次元動画像）群を”多視点画像（多視点動画像）”と称する。

　２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めることができる。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間（同じ時刻の異なる２次元画像間）で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。

　ここで、２次元動画像の符号化技術に関する従来技術を説明する。
　国際符号化標準であるＨ．２６４、Ｈ．２６５、ＭＰＥＧ－２、ＭＰＥＧ－４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償予測、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６５では、過去あるいは未来の複数枚のフレームと符号化対象フレームとの時間相関を利用した符号化が可能である。

　Ｈ．２６５で使われている動き補償予測技術の詳細については、例えば非特許文献１に記載されている。Ｈ．２６５で使われている動き補償予測技術の概要を説明する。
　Ｈ．２６５の動き補償予測は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照フレームを持つことを許可している。各ブロックで異なる動きベクトルを使用することで、被写体毎に異なる動きを補償した精度の高い予測を実現している。一方、各ブロックで異なる参照フレームを使用することで、時間変化によって生じるオクルージョンを考慮した精度の高い予測を実現している。

　次に、従来の多視点画像や多視点動画像の符号化方式について説明する。
　多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、どちらの場合でも、同じ方法でカメラ間の相関を利用することができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。

　多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償予測を同じ時刻の異なるカメラで撮影された画像に適用した”視差補償予測”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。
　図７は、カメラ間で生じる視差を示す概念図である。図７に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。

　視差補償予測では、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラ対や位置毎に変化するため、視差補償予測を行う領域毎に視差情報を符号化することが必要である。
　実際に、Ｈ．２６５の多視点動画像符号化方式では、視差補償予測を用いるブロック毎に視差情報を表すベクトルを符号化している。

　視差情報によって与えられる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の３次元位置を示す１次元量で表すことができる。
　被写体の３次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として表現する場合もある。
　どのような表現を用いたとしても本質的な違いはないため、以下では、表現による区別をせずに、それら３次元位置を示す情報をデプスと表現する。

　図８は、エピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点は、エピポーラ線という直線上に拘束される。このとき、その点の画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。
　例えば、図８に示すように、第１のカメラ画像においてｍの位置に投影された被写体に対する第２のカメラ画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に、投影される。

　非特許文献２では、この性質を利用して、参照フレームに対するデプスマップ（距離画像）によって与えられる各被写体の３次元情報に従って、参照フレームから符号化対象フレームに対する合成画像を生成し、領域毎の予測画像の候補とすることで、精度の高い予測を実現し、効率的な多視点動画像の符号化を実現している。
　なお、このデプスに基づいて生成される合成画像は視点合成画像、視点補間画像、または視差補償画像と呼ばれる。

　さらに、非特許文献３では、デプスマップの精度が低い場合や、実空間上では同じ点であっても視点間で画像信号が微妙に異なる場合など、十分な品質の視点合成画像が生成できない状況であっても、視点合成画像を予測画像とした際の予測残差を、空間的または時間的に予測符号化することで、符号化する予測残差の量を削減し、効率的な多視点動画像の符号化を実現している。

　非特許文献３に記載の方法によれば、デプスマップから得られる被写体の三次元情報を用いて生成した視点合成画像を予測画像とした際の予測残差を、空間的または時間的に予測符号化することで、視点合成画像の品質が高くない場合においても、頑健に効率的な符号化を実現することが可能である。

ITU-T Recommendation H.265 (04/2013), "High efficiency video coding", April, 2013. S. Shimizu, H. Kimata, and Y. Ohtani, "Adaptive appearance compensated view synthesis prediction for Multiview Video Coding", Image Processing (ICIP), 2009 16th IEEE International Conference, pp.2949-2952,7-10 Nov. 2009. S. Shimizu and H. Kimata, "MVC view synthesis residual prediction", JVT Input Contribution, JVT-X084, June, 2007.

　しかしながら、非特許文献２や非特許文献３に記載の方法では、視点合成画像を利用するか否かにかかわらず、画像全体に対して視点合成画像を生成して蓄積しなくてはならないため、処理負荷やメモリ消費量が増加してしまうという問題がある。

　視点合成画像が必要となる領域に対するデプスマップを推定することで、画像の一部に対して視点合成画像を生成することも可能である。しかしながら、残差予測を行う場合、予測対象の領域に加えて残差予測における参照画素群に対しても視点合成画像を生成する必要があるため、残差予測を行うことで処理負荷やメモリアクセスが増大するという問題は依然として存在する。
　特に、視点合成画像を予測画像とした際の予測残差を空間的に予測する場合、参照する画素群は予測対象の領域に隣接する１行または１列の画素群となり、本来は使用しないブロックサイズでの視差補償予測を行う必要が生じる。このため、実装やメモリアクセスが複雑になるという問題がある。

　本発明は、このような事情に鑑みてなされたもので、処理やメモリアクセスの複雑化を抑えながら、視点合成画像を予測画像とした際の予測残差を空間的に予測符号化することを実現することができる画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラムを提供することを目的とする。

　本発明は、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら、前記符号化対象画像を分割した領域である符号化対象領域毎に符号化を行う画像符号化装置であって、
　前記参照視点画像と前記参照デプスマップとを用いて、前記符号化対象領域に対する第１の視点合成画像を生成する符号化対象領域視点合成画像生成手段と、
　前記符号化対象領域を画面内予測する際に参照される既に符号化済みの画素群を参照画素として設定する参照画素設定手段と、
　前記第１の視点合成画像を用いて、前記参照画素に対する第２の視点合成画像を生成する参照画素視点合成画像生成手段と、
　前記参照画素に対する復号画像と前記第２の視点合成画像を用いて、前記符号化対象領域に対する画面内予測画像を生成する画面内予測画像生成手段と
　を有することを特徴とする画像符号化装置を提供する。

　典型的には、前記画面内予測画像生成手段は、前記符号化対象領域に対する前記符号化対象画像と前記第１の視点合成画像との差分画像に対する画面内予測画像である差分画面内予測画像を生成し、当該差分画面内予測画像と前記第１の視点合成画像とを用いて前記画面内予測画像を生成する。

　好適例では、前記符号化対象領域に対して画面内予測方法を設定する画面内予測方法設定手段をさらに有し、
　前記参照画素設定手段は、前記画面内予測方法を用いる際に参照される既に符号化済みの画素群を参照画素とし、
　前記画面内予測画像生成手段は、前記画面内予測方法に基づいて前記画面内予測画像を生成する。

　この場合、前記参照画素視点合成画像生成手段は、前記画面内予測方法に基づいて、前記第２の視点合成画像を生成するようにしても良い。

　別の好適例では、前記参照画素視点合成画像生成手段は、前記画面内予測方法に基づいて、前記第２の視点合成画像を生成する。

　この場合、前記参照画素視点合成画像生成手段は、前記符号化対象領域内において該符号化対象領域外の画素と接する画素群に対応する前記第１の視点合成画像の画素群を用いて、前記第２の視点合成画像を生成するようにしても良い。

　本発明はまた、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら、前記復号対象画像を分割した領域である復号対象領域毎に復号を行う画像復号装置であって、
　前記参照視点画像と前記参照デプスマップとを用いて、前記復号対象領域に対する第１の視点合成画像を生成する復号対象領域視点合成画像生成手段と、
　前記復号対象領域を画面内予測する際に参照される既に復号済みの画素群を参照画素として設定する参照画素設定手段と、
　前記第１の視点合成画像を用いて、前記参照画素に対する第２の視点合成画像を生成する参照画素視点合成画像生成手段と、
　前記参照画素に対する復号画像と前記第２の視点合成画像を用いて、前記復号対象領域に対する画面内予測画像を生成する画面内予測画像生成手段と
　を有することを特徴とする画像復号装置も提供する。

　典型的には、前記画面内予測画像生成手段は、前記復号対象領域に対する前記復号対象画像と前記第１の視点合成画像との差分画像に対する画面内予測画像である差分画面内予測画像を生成し、当該差分画面内予測画像と前記第１の視点合成画像とを用いて前記画面内予測画像を生成する。

　好適例では、前記復号対象領域に対して画面内予測方法を設定する画面内予測方法設定手段をさらに有し、
　前記参照画素設定手段は、前記画面内予測方法を用いる際に参照される既に復号済みの画素群を参照画素とし、
　前記画面内予測画像生成手段は、前記画面内予測方法に基づいて前記画面内予測画像を生成する。

　別の好適例では、前記参照画素視点合成画像生成手段は、前記第１の視点合成画像から外挿することで前記第２の視点合成画像を生成する。

　この場合、前記参照画素視点合成画像生成手段は、前記復号対象領域内において該復号対象領域外の画素と接する画素群に対応する前記第１の視点合成画像の画素群を用いて、前記第２の視点合成画像を生成するようにしても良い。

　本発明はまた、複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら、前記符号化対象画像を分割した領域である符号化対象領域毎に符号化を行う画像符号化方法であって、
　前記参照視点画像と前記参照デプスマップとを用いて、前記符号化対象領域に対する第１の視点合成画像を生成する符号化対象領域視点合成画像生成ステップと、
　前記符号化対象領域を画面内予測する際に参照される既に符号化済みの画素群を参照画素として設定する参照画素設定ステップと、
　前記第１の視点合成画像を用いて、前記参照画素に対する第２の視点合成画像を生成する参照画素視点合成画像生成ステップと、
　前記参照画素に対する復号画像と前記第２の視点合成画像を用いて、前記符号化対象領域に対する画面内予測画像を生成する画面内予測画像生成ステップと
　を備えることを特徴とする画像符号化方法も提供する。

　本発明はまた、複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら、前記復号対象画像を分割した領域である復号対象領域毎に復号を行う画像復号方法であって、
　前記参照視点画像と前記参照デプスマップとを用いて、前記復号対象領域に対する第１の視点合成画像を生成する復号対象領域視点合成画像生成ステップと、
　前記復号対象領域を画面内予測する際に参照される既に復号済みの画素群を参照画素として設定する参照画素設定ステップと、
　前記第１の視点合成画像を用いて、前記参照画素に対する第２の視点合成画像を生成する参照画素視点合成画像生成ステップと、
　前記参照画素に対する復号画像と前記第２の視点合成画像を用いて、前記復号対象領域に対する画面内予測画像を生成する画面内予測画像生成ステップと
　を備えることを特徴とする画像復号方法も提供する。

　本発明はまた、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムも提供する。

　本発明はまた、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムも提供する。

　本発明によれば、多視点画像または多視点動画像を符号化または復号する際に、処理やメモリアクセスの複雑化を抑えながら、視点合成画像を予測画像とした際の予測残差を空間的に予測符号化することができるという効果が得られる。

本発明の実施形態における画像符号化装置の構成を示すブロック図である。図１に示す画像符号化装置１００の動作を示すフローチャートである。本発明の実施形態における画像復号装置の構成を示すブロック図である。図３に示す画像復号装置２００の動作を示すフローチャートである。画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。カメラ間で生じる視差を示す概念図である。エピポーラ幾何拘束の概念図である。

　以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。
　以下の説明においては、第１の視点（視点Ａという）、第２の視点（視点Ｂという）の２つの視点から撮影された多視点画像を符号化する場合を想定し、視点Ａの画像を参照視点画像として視点Ｂの画像を符号化または復号するものとして説明する。
　なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、視点Ａと視点Ｂの位置関係を表す外部パラメータや、カメラ等による画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。
　これらのカメラパラメータに関する詳しい説明は、例えば、文献「Oliver Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。

　以下の説明では、画像や映像フレーム、デプスマップに対して、記号［］で挟んで示す、位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素によってサンプリングされた画像信号や、それに対するデプスを示すものとする。
　また、座標値やブロックに対応付け可能なインデックス値とベクトルの加算によって、その座標やブロックをベクトルの分だけずらした位置の座標値やブロックを表すものとする。

　図１は本実施形態における画像符号化装置の構成を示すブロック図である。
　画像符号化装置１００は、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照視点画像入力部１０３、参照視点画像メモリ１０４、参照デプスマップ入力部１０５、参照デプスマップメモリ１０６、符号化対象領域視点合成画像生成部１０７、参照画素設定部１０８、参照画素視点合成画像生成部１０９、イントラ予測画像生成部１１０、予測残差符号化部１１１、予測残差復号部１１２、復号画像メモリ１１３、及び、４つの加算器１１４、１１５、１１６、１１７を備えている。

　符号化対象画像入力部１０１は、符号化対象となる画像を画像符号化装置１００に入力する。以下では、この符号化対象となる画像を符号化対象画像と称する。ここでは視点Ｂの画像を入力するものとする。また、符号化対象画像に対する視点（ここでは視点Ｂ）を符号化対象視点と称する。
　符号化対象画像メモリ１０２は、入力した符号化対象画像を記憶する。
　参照視点画像入力部１０３は、視点合成画像（視差補償画像）を生成する際に参照する画像を画像符号化装置１００に入力する。以下では、ここで入力された画像を参照視点画像と呼ぶ。ここでは視点Ａの画像を入力するものとする。
　参照視点画像メモリ１０４は、入力した参照視点画像を記憶する。

　参照デプスマップ入力部１０５は、視点合成画像を生成する際に参照するデプスマップを画像符号化装置１００に入力する。ここでは、参照視点画像に対するデプスマップを入力するものとするが、別の視点の画像に対するデプスマップでも構わない。以下では、このデプスマップを参照デプスマップと称する。
　なお、デプスマップとは、対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えば視点Ｂにおけるカメラ）に対する視差量を用いることができる。
　また、ここでは視差量が得られれば構わないので、デプスマップではなく、視差量を直接表現した視差マップを用いても構わない。
　なお、ここではデプスマップとして画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。
　以下では、参照デプスマップに対応する視点（ここでは視点Ａ）を参照デプス視点と称する。
　参照デプスマップメモリ１０６は、入力した参照デプスマップを記録する。

　符号化対象領域視点合成画像生成部１０７は、参照デプスマップを用いて、符号化対象画像の画素と参照視点画像の画素との対応関係を求め、符号化対象領域における視点合成画像を生成する。
　参照画素設定部１０８は、符号化対象領域に対してイントラ（画面内）予測を行う際に参照する画素群を設定する。以下では、設定された画素群をまとめて参照画素と称する。
　参照画素視点合成画像生成部１０９は、符号化対象領域に対する視点合成画像を用いて、参照画素に対する視点合成画像を生成する。

　イントラ予測画像生成部１１０では、参照画素に対する視点合成画像と（参照画素設定部１０８から出力される）参照画素における復号画像との差分画像（加算器１１６から出力される）を用いて、符号化対象領域における符号化対象画像と視点合成画像の差分画像に対するイントラ予測画像を生成する。以下では、この差分画像に対するイントラ予測画像を、差分イントラ予測画像と称する。
　加算器１１４は、視点合成画像と差分イントラ予測画像とを加算する。
　加算器１１５は、符号化対象画像と、加算器１１４の出力の差分を求めることによって、予測残差を出力する。
　予測残差符号化部１１１では、符号化対象領域における符号化対象画像の予測残差（加算器１１５の出力）を符号化する。
　予測残差復号部１１２では、符号化された予測残差を復号する。
　加算器１１７は、加算器１１４の出力と復号された予測残差とを加算して、復号された符号化対象画像を出力する。
　復号画像メモリ１１３では、復号された符号化対象画像を記憶する。

　次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。
　まず、符号化対象画像入力部１０１は符号化対象画像Ｏｒｇを画像符号化装置１００に入力し、符号化対象画像メモリ１０２に記憶する。参照視点画像入力部１０３は参照視点画像を画像符号化装置１００に入力し、参照視点画像メモリ１０４に記憶する。参照デプスマップ入力部１０５は参照デプスマップを画像符号化装置１００に入力し、参照デプスマップメモリ１０６に記憶する（ステップＳ１０１）。

　なお、ステップＳ１０１で入力される参照視点画像と参照デプスマップは、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。
　参照デプスマップに関しては、既に符号化済みのものを復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなども、復号側で同じものが得られるものとして用いることができる。

　また、他の視点に対する画像符号化装置などが別途存在し、必要な領域の画像やデプスマップをそのつど取得することが可能な場合、画像符号化装置１００の内部に画像やデプスマップのメモリを備える必要はなく、下記で説明する領域毎に必要な情報を、適切なタイミングで画像符号化装置１００に入力するようにしても構わない。

　符号化対象画像、参照視点画像、参照デプスマップの入力が終了したら、符号化対象画像を予め定められた大きさの領域に分割し、分割した領域毎に、符号化対象画像の画像信号を予測符号化する（ステップＳ１０２～Ｓ１１２）。
　すなわち、符号化対象領域インデックスをｂｌｋ、符号化対象画像中の総符号化対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ１０２）、その後、ｂｌｋに１を加算しながら（ステップＳ１１１）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１１２）、以下の処理（ステップＳ１０３～Ｓ１１０）を繰り返す。
　一般的な符号化では、１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、復号側と同じであればその他の大きさのブロックに分割してもよい。また、場所毎に異なる大きさのブロックに分割しても構わない。

　符号化対象領域毎に繰り返される処理では、まず、符号化対象領域視点合成画像生成部１０７は、符号化対象領域ｂｌｋに対する視点合成画像Ｓｙｎを生成する（ステップＳ１０３）。
　ここでの処理は、参照視点画像と参照デプスマップとを用いて、符号化対象領域ｂｌｋに対する画像を合成する方法であれば、どのような方法を用いても構わない。例えば、非特許文献２や文献「L. Zhang, G. Tech, K. Wegner, and S. Yea, "Test Model 7of 3D-HEVC and MV-HEVC", Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Doc. JCT3V-G1005, San Jose, US, Jan. 2014.」に記載されている方法を用いても構わない。

　次に、参照画素設定部１０８は、復号画像メモリ１１３に記憶されている既に符号化済みの領域に対する復号画像Ｄｅｃから、符号化対象領域ｂｌｋに対するイントラ予測を行う際に用いる参照画素Ｒｅｆを設定する（ステップＳ１０４）。どのようなイントラ予測を用いても構わないが、イントラ予測の方法に基づいて参照画素が設定される。
　例えば、非特許文献１に記載の動画像圧縮符号化標準Ｈ．２６５（通称ＨＥＶＣ）のイントラ予測の方法を用いる場合、符号化対象領域の大きさをＮ画素×Ｎ画素（Ｎは２以上の自然数）とすると、符号化対象領域ｂｌｋの近傍４Ｎ＋１個の画素を参照画素として設定する。
　具体的には、符号化対象領域ｂｌｋ内の左上の画素位置を［ｘ，ｙ］＝［０，０］とすると、ｘ＝－１かつ－１≦ｙ≦２Ｎ－１、または、－１≦ｘ≦２Ｎ－１かつｙ＝－１の画素位置の参照画素となる。参照画像は、これらの位置に対する復号画像が復号画像メモリに含まれているか否かに従って、下記の通り準備される。
（１）参照画素の全ての画素位置に対して復号画像が得られている場合は、Ｒｅｆ［ｘ，ｙ］＝Ｄｅｃ［ｘ，ｙ］とする。
（２）参照画素の全ての画素位置に対して復号画像が得られていない場合は、Ｒｅｆ［ｘ，ｙ］＝１＜＜（ＢｉｔＤｅｐｔｈ－１）とする。
　なお、＜＜は左ビットシフト演算を表し、ＢｉｔＤｅｐｔｈは符号化対象画像の画素値のビット深度を表す。
（３）その他の場合：
　・［－１，２Ｎ－１］～［－１，－１］～［２Ｎ－１，－１］の順で４Ｎ＋１個の参照画素の画素位置を走査し、最初に復号画像が存在する位置［ｘ_０，ｙ_０］を求める。
　・Ｒｅｆ［－１，２Ｎ－１］＝Ｄｅｃ［ｘ_０，ｙ_０］とする。
　・［－１，２Ｎ－２］～［－１，－１］の順に走査し、注目画素位置［－１，ｙ］における復号画像が得られている場合は、Ｒｅｆ［－１，ｙ］＝Ｄｅｃ［－１，ｙ］とする。［－１，ｙ］における復号画像が得られていない場合は、Ｒｅｆ［－１，ｙ］＝Ｒｅｆ［－１，ｙ＋１］とする。
　・［０，－１］～［２Ｎ－１，－１］の順に走査し、注目画素位置［ｘ，－１］における復号画像が得られている場合は、Ｒｅｆ［ｘ，－１］＝Ｄｅｃ［ｘ，－１］とする。［ｘ，－１］における復号画像が得られていない場合は、Ｒｅｆ［ｘ，－１］＝Ｒｅｆ［ｘ－１，－１］とする。

　なお、ＨＥＶＣのイントラ予測の一種である方向性予測では、このようにして設定された参照画素を直接使用するのではなく、間引き転写と呼ばれる処理によって参照画素を更新した後に、更新された参照画像を用いて予測画像を生成する。前述の説明では間引き転写を行う前の参照画素を設定しているが、間引き転写を行い、更新した参照画素を新たに参照画素として設定しても構わない。間引き転写に関する詳しい説明は、非特許文献１（第8.4.4.2.6節，pp. 109-111）に記載されている。

　参照画素の設定が完了したら、次に、参照画素視点合成画像生成部１０９は、参照画素に対する視点合成画像Ｓｙｎ’を生成する（ステップＳ１０５）。ここでの処理は、復号側で同じ処理が可能であり、符号化対象領域ｂｌｋに対する視点合成画像を用いて生成が行われれば、どのような方法を用いても構わない。
　例えば、参照画素の画素位置毎に、符号化対象領域ｂｌｋ内で最も距離が近い画素に対する視点合成画像を割り当てても構わない。前述のＨＥＶＣにおける参照画素の場合、生成される参照画素に対する視点合成画像は次の（１）～（５）式で表される。
　Ｓｙｎ’［－１，－１］＝Ｓｙｎ［０，０］　　　　　　　　　　・・・（１）
　Ｓｙｎ’［－１，ｙ］＝Ｓｙｎ［０，ｙ］（０≦ｙ≦Ｎ－１）　　・・・（２）
　Ｓｙｎ’［－１，ｙ］＝Ｓｙｎ［０，Ｎ－１］（Ｎ≦ｙ≦２Ｎ－１）　・・・（３）
　Ｓｙｎ’［ｘ，－１］＝Ｓｙｎ［ｘ，０］（０≦ｘ≦Ｎ－１）　　・・・（４）
　Ｓｙｎ’［ｘ，－１］＝Ｓｙｎ［Ｎ－１，０］（０≦ｘ≦２Ｎ－１）　・・・（５）

　別の方法としては、参照画素の画素位置毎に、符号化対象領域と隣接する画素には当該隣接する画素の（符号化対象領域における）視点合成画像を割り当て、符号化対象領域と隣接しない画素には、斜め４５度方向にある最も近い符号化対象領域内の画素の視点合成画像を割り当てても構わない。
　前述のＨＥＶＣにおける参照画素の場合、この方式によれば、生成される参照画素に対する視点合成画像は次の（６）～（１０）式で表される。
　Ｓｙｎ’［－１，－１］＝Ｓｙｎ［０，０］　　　　　　　　　　　・・・（６）
　Ｓｙｎ’［－１，ｙ］＝Ｓｙｎ［０，ｙ］　　（０≦ｙ≦Ｎ－１）　・・・（７）
　Ｓｙｎ’［－１，ｙ］＝Ｓｙｎ［ｙ－Ｎ，Ｎ－１］（Ｎ≦ｙ≦２Ｎ－１）・・・（８）
　Ｓｙｎ’［ｘ，－１］＝Ｓｙｎ［ｘ，０］　　（０≦ｘ≦Ｎ－１）　・・・（９）
　Ｓｙｎ’［ｘ，－１］＝Ｓｙｎ［Ｎ－１，ｘ－Ｎ］（Ｎ≦ｘ≦２Ｎ－１）・・・（１０）

　なお、斜め４５度以外の角度を用いても構わないし、使用するイントラ予測の予測方向に基づいた角度を用いても構わない。例えばイントラ予測の予測方向にある最も近い符号化対象画像内の画素の視点合成画像を割り当てても構わない。

　さらに別の方法としては、符号化対象領域に対する視点合成画像を解析して外挿処理することで生成しても構わない。外挿処理には任意のアルゴリズムを用いても構わない。例えば、イントラ予測で用いられる予測方向を用いた外挿であっても、イントラ予測で用いられる予測方向とは無関係で符号化対象領域に対する視点合成画像のテクスチャの方向性を考慮した外挿であっても構わない。
　また、ここではイントラ予測の方法に関わらず、イントラ予測で参照される可能性のある画素全てに対して視点合成画像を生成したが、事前にイントラ予測の方法を決定し、その方法に基づいて実際に参照される画素に対してのみ視点合成画像を生成しても構わない。

　ＨＥＶＣのイントラ方向性予測を行う場合のように、参照画素が隣接画素から間引き転写によって更新されている場合、直接更新後の位置に対する視点合成画像を生成しても構わない。また、参照画素の更新を行う場合と同様に、更新前の参照画素に対する視点合成画像を生成した後に、参照画素に対して行う更新と同じ方法で参照画素に対する視点合成画像の更新を行うことで、更新後の参照画素位置に対する視点合成画像を生成しても構わない。

　参照画素に対する視点合成画像の生成が完了したら、加算器１１６は、参照画素視点合成画像生成部１０９の出力と、参照画素設定部１０８の出力の差分（参照画素に対する差分画像ＶＳＲｅｓ）を次の（１１）式に従って生成する（ステップＳ１０６）。
　なお、ここではＲｅｆとＳｙｎを同じ比率で減算しているが、重み付け減算を行っても構わない。その場合は復号側と同じ重みを利用する必要がある。
　ＶＳＲｅｓ［ｘ，ｙ］＝Ｒｅｆ［ｘ，ｙ］－Ｓｙｎ’［ｘ，ｙ］　・・・（１１）

　次に、イントラ予測画像生成部１１０において、参照画素に対する差分画像を用いて、符号化対象領域ｂｌｋにおける差分イントラ予測画像ＲＰｒｅｄを生成する（ステップＳ１０７）。参照画素を用いて予測画像を生成するものであれば、どのようなイントラ予測の方法を用いても構わない。

　差分イントラ予測画像が得られたら、符号化対象領域ｂｌｋにおける符号化対象画像の予測画像Ｐｒｅｄを、次の（１２）式に示す通り、視点合成画像と差分イントラ予測画像の和を画素毎に加算器１１４によって計算することで生成する（ステップＳ１０８）。
　Ｐｒｅｄ［ｂｌｋ］＝Ｓｙｎ［ｂｌｋ］＋ＲＰｒｅｄ［ｂｌｋ］　・・・（１２）
　ここでは、視点合成画像と差分イントラ予測画像を加算した結果をそのまま予測画像としているが、画素毎に、加算結果を符号化対象画像の画素値の値域でクリッピングした結果を予測画像としても構わない。
　さらに、ここではＳｙｎとＲＰｒｅｄを同じ比率で加えているが、重み付け加算を行っても構わない。その場合は復号側と同じ重みを利用する必要がある。
　また、ここでの重みは、参照画像に対する差分画像を生成する際の重みに従って決定してもよい。例えば、参照画像に対する差分画像を生成する際のＳｙｎに対する比率とここでのＳｙｎの比率を同一にしても構わない。

　予測画像が得られたら、加算器１１５は、加算器１１４の出力と、符号化対象画像メモリ１０２に記憶されている符号化対象画像との差分（予測残差）を求める。そして、予測残差符号化部１１１は、符号化対象画像と予測画像の差分である予測残差を符号化する（ステップＳ１０９）。符号化の結果得られるビットストリームが、画像符号化装置１００の出力となる。
　なお、符号化の方法には、どのような方法を用いてもよい。ＭＰＥＧ－２やＨ．２６４／ＡＶＣ、ＨＥＶＣなどの一般的な符号化では、差分残差に対して、ＤＣＴなどの周波数変換、量子化、２値化、エントロピー符号化を順に施すことで符号化を行う。

　次に、予測残差復号部１１２は予測残差Ｒｅｓを復号し、（１３）式で示すように、予測画像Ｐｒｅｄと予測残差を加算器１１７によって足し合わせることで、復号画像Ｄｅｃを生成する（ステップＳ１１０）。
　Ｄｅｃ［ｂｌｋ］＝Ｐｒｅｄ［ｂｌｋ］＋Ｒｅｓ［ｂｌｋ］　・・・（１３）
　なお・BR>A予測画像と予測残差を足し合わせた後に画素値の値域でクリッピングを行っても構わない。
　得られた復号画像は、他の符号化領域の予測に使用するために、復号画像メモリ１１３に記憶される。
　なお、予測残差の復号には、符号化時に用いた手法に対応する手法を用いる。例えば、ＭＰＥＧ－２やＨ．２６４／ＡＶＣ、ＨＥＶＣなどの一般的な符号化であれば、ビットストリームに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施すことで復号を行う。
　ここではビットストリームから復号を行うものとしたが、符号化側での処理がロスレスになる直前のデータを受け取り、簡略化した復号処理によって復号処理を行ってもよい。すなわち、前述の例であれば、符号化時に量子化処理を加えた後の値を受け取り、その量子化後の値に逆量子化、周波数逆変換を順に施すことで復号処理を行うことが可能である。

　また、ここでは、画像符号化装置１００は、画像信号に対するビットストリームを出力している。すなわち、画像サイズ等の情報を示すパラメータセットやヘッダは、必要に応じて、画像符号化装置１００の出力したビットストリームに対して、別途追加されるものとする。

　次に、本実施形態における画像復号装置について説明する。図３は本実施形態における画像復号装置の構成を示すブロック図である。
　画像復号装置２００は、図３に示すように、ビットストリーム入力部２０１、ビットストリームメモリ２０２、参照視点画像入力部２０３、参照視点画像メモリ２０４、参照デプスマップ入力部２０５、参照デプスマップメモリ２０６、復号対象領域視点合成画像生成部２０７、参照画素設定部２０８、参照画素視点合成画像生成部２０９、イントラ予測画像生成部２１０、予測残差復号部２１１、復号画像メモリ２１２、及び、３つの加算器２１３、２１４、２１５を備えている。

　ビットストリーム入力部２０１は、復号対象となる画像のビットストリームを画像復号装置２００に入力する。以下では、この復号対象となる画像を復号対象画像と呼ぶ。ここでは視点Ｂの画像を指す。また、以下では、復号対象画像に対する視点（ここでは視点Ｂ）を復号対象視点と称する。
　ビットストリームメモリ２０２は、入力した復号対象画像に対するビットストリームを記憶する。
　参照視点画像入力部２０３は、視点合成画像（視差補償画像）を生成する際に参照する画像を画像復号装置２００に入力する。以下では、ここで入力された画像を参照視点画像と呼ぶ。ここでは視点Ａの画像を入力するものとする。
　参照視点画像メモリ２０４は、入力した参照視点画像を記憶する。

　参照デプスマップ入力部２０５は、視点合成画像を生成する際に参照するデプスマップを画像復号装置２００に入力する。ここでは、参照視点画像に対するデプスマップを入力するものとするが、別の視点の画像に対するデプスマップでも構わない。以下では、このデプスマップを参照デプスマップと称する。
　なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えば視点Ｂにおけるカメラ）に対する視差量を用いることができる。
　また、ここでは視差量が得られれば構わないので、デプスマップではなく、視差量を直接表現した視差マップを用いても構わない。
　なお、ここではデプスマップとして画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。
　以下では、参照デプスマップに対応する視点（ここでは視点Ａ）を参照デプス視点と称する。
　参照デプスマップメモリ２０６は、入力した参照デプスマップを記憶する。

　復号対象領域視点合成画像生成部２０７は、参照デプスマップを用いて、復号対象画像の画素と参照視点画像の画素との対応関係を求め、復号対象領域における視点合成画像を生成する。
　参照画素設定部２０８は、復号対象領域に対してイントラ予測を行う際に参照する画素群を設定する。以下では、設定された画素群をまとめて参照画素と称する。
　参照画像視点合成画像生成部２０９は、復号対象領域における視点合成画像を用いて、参照画素における視点合成画像を生成する。

　加算器２１５は、参照画素における、復号画像と視点合成画像の差分画像を出力する。
　イントラ予測画像生成部２１０では、この、参照画素における復号画像と視点合成画像の差分画像を用いて、復号化対象領域における復号対象画像と視点合成画像の差分画像に対するイントラ予測画像を生成する。以下では差分画像に対するイントラ予測画像を差分イントラ予測画像と称する。
　予測残差復号部２１１では、ビットストリームから復号対象領域における復号対象画像の予測残差を復号する。
　加算器２１３は、復号対象領域における視点合成画像と差分イントラ予測画像を加算して出力する。
　加算器２１４は、加算器２１３の出力と復号された予測残差とを加算して出力する。
　復号画像メモリ２１２では、復号された復号対象画像を記憶する。

　次に、図４を参照して、図３に示す画像復号装置２００の動作を説明する。図４は、図３に示す画像復号装置２００の動作を示すフローチャートである。
　まず、ビットストリーム入力部２０１は、復号対象画像を符号化した結果のビットストリームを画像復号装置２００に入力し、ビットストリームメモリ２０２に記憶する。参照視点画像入力部２０３は参照視点画像を画像復号装置２００に入力し、参照視点画像メモリ２０４に記憶する。参照デプスマップ入力部２０５は参照デプスマップを画像復号装置２００に入力し、参照デプスマップメモリ２０６に記憶する（ステップＳ２０１）。

　なお、ステップＳ２０１で入力される参照視点画像と参照デプスマップは、符号化側で使用されたものと同じものとする。これは画像符号化装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。
　参照デプスマップに関しては、別途復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなどを用いることもある。

　また、他の視点に対する画像復号装置などが別途存在し、必要な領域の画像やデプスマップをそのつど取得することが可能な場合、画像復号装置２００の内部に画像やデプスマップのメモリを備える必要はなく、下記で説明する領域毎に必要な情報を、適切なタイミングで画像復号装置２００に入力するようにしても構わない。

　ビットストリーム、参照視点画像、参照デプスマップの入力が終了したら、復号対象画像を予め定められた大きさの領域に分割し、分割した領域毎に、復号対象画像の画像信号を復号する（ステップＳ２０２～Ｓ２１１）。
　すなわち、復号対象領域インデックスをｂｌｋ、復号対象画像中の総復号対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ２０２）、その後、ｂｌｋに１を加算しながら（ステップＳ２１０）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ２１１）、以下の処理（ステップＳ２０３～Ｓ２０９）を繰り返す。
　一般的な復号では、１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、符号化側と同じであればその他の大きさのブロックに分割してもよい。また、場所毎に異なる大きさのブロックに分割しても構わない。

　復号対象領域毎に繰り返される処理では、まず、復号対象領域視点合成画像生成部２０７は、復号対象領域ｂｌｋにおける視点合成画像Ｓｙｎを生成する（ステップＳ２０３）。
　ここでの処理は前述した符号化時のステップＳ１０３と同じである。なお、ドリフト等の符号化ノイズの発生を抑えるためには、符号化時に使用された方法と同じ方法を用いる必要があるが、そのような符号化ノイズの発生を許容する場合には、符号化時に使用された方法と異なる方法を使用しても構わない。

　次に、参照画素設定部２０８は、復号画像メモリ２１２に記憶されている既に復号済みの領域に対する復号画像Ｄｅｃから、復号対象領域ｂｌｋに対するイントラ予測を行う際に用いる参照画素Ｒｅｆを設定する（ステップＳ２０４）。ここでの処理は前述した符号化時のステップＳ１０４と同じである。
　なお、符号化時と同じ方法であるならば、どのようなイントラ予測を用いても構わないが、イントラ予測の方法に基づいて参照画素が設定される。

　参照画素の設定が完了したら、次に、参照画素視点合成画像生成部２０９は、参照画素に対する視点合成画像Ｓｙｎ’を生成する（ステップＳ２０５）。ここでの処理は前述した符号化時のステップＳ１０５と同じであり、符号化時と同じ方法であるならば、どのような方法を用いても構わない。

　参照画素に対する視点合成画像の生成が完了したら、加算器２１５は、参照画素に対する差分画像ＶＳＲｅｓを生成する（ステップＳ２０６）。その後、生成した参照画素に対する差分画像を用いて、イントラ予測画像生成部２１０は、差分イントラ予測画像ＲＰｒｅｄを生成する（ステップＳ２０７）。
　ここでの処理は前述した符号化時のステップＳ１０６およびＳ１０７と同じであり、符号化時と同じ方法であるならば、どのような方法を用いても構わない。

　差分イントラ予測画像が得られたら、加算器２１３は、復号対象領域ｂｌｋにおける復号対象画像の予測画像Ｐｒｅｄを生成する（ステップＳ２０８）。ここでの処理は前述した符号化時のステップＳ１０８と同じである。

　予測画像が得られたら、予測残差復号部２１１は、ビットストリームから復号対象領域ｂｌｋの予測残差を復号し、予測画像と予測残差を加算器２１４によって足し合わせることで復号画像Ｄｅｃを生成する（ステップＳ２０９）。
　なお、復号には符号化時に用いられた方法に対応する方法を用いる。例えば、ＭＰＥＧ－２やＨ．２６４／ＡＶＣ、ＨＥＶＣなどの一般的な符号化が用いられている場合は、ビットストリームに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施すことで復号を行う。
　得られた復号画像は、画像復号装置２００の出力になると共に、他の復号対象領域の予測に使用するために、復号画像メモリ２１２に記憶される。

　また、ここでは、画像復号装置２００には画像信号に対するビットストリームが入力される。すなわち、画像サイズ等の情報を示すパラメータセットやヘッダは、必要に応じて、画像復号装置２００の外側で解釈され、復号に必要な情報は画像復号装置２００へ通知されるものとする。

　前述した説明においては、画像全体を符号化／復号する処理として説明したが、画像の一部分のみに適用することも可能である。この場合、処理を適用するか否かを判断して、それを示すフラグを符号化または復号してもよいし、なんらか別の手段でそれを指定してもよい。例えば、領域毎の予測画像を生成する手法を示すモードの１つとして表現するようにしてもよい。

　また、複数のイントラ予測の方法から領域毎に１つを選択しながら符号化又は復号を行っても構わない。その場合、領域毎に用いるイントラ予測の方法が符号化時と復号時で一致している必要がある。
　どのように一致させても構わないが、使用したイントラ予測の方法をモード情報として符号化し、ビットストリーム内に含めて復号側へ通知しても構わない。この場合、復号時には、ビットストリームから、領域毎に使用したイントラ予測の方法を示す情報を復号し、復号した情報に基づいて差分イントラ予測画像の生成を行う必要がある。
　なお、そのような情報を符号化せずに符号化側と同じイントラ予測の方法を用いる手法としては、フレーム内の位置や既に復号済みの情報を用いて、符号化側と復号側で同一の推定処理を行うことで、同じイントラ予測の方法を用いることができる。

　前述した説明においては、１フレームを符号化及び復号する処理を説明したが、複数フレーム繰り返すことで動画像符号化にも適用することができる。また、動画像の一部のフレームや一部のブロックにのみ適用することもできる。
　さらに、前述した説明では画像符号化装置及び画像復号装置の構成及び処理動作を説明したが、これら画像符号化装置及び画像復号装置の各部の動作に対応した処理動作によって本発明の画像符号化方法及び画像復号方法を実現することができる。

　また、前述した説明においては、参照デプスマップが符号化対象カメラまたは復号対象カメラとは異なるカメラで撮影された画像に対するデプスマップであるとして説明を行ったが、符号化対象画像または復号対象画像とは異なる時刻に、符号化対象カメラまたは復号対象カメラによって撮影された画像に対するデプスマップを、参照デプスマップとして用いても構わない。

　図５は、前述した画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。
　図５に示すシステムは：
・プログラムを実行するＣＰＵ５０
・ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１
・カメラ等からの符号化対象の画像信号を画像符号化装置内に入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）
・カメラ等からの参照視点の画像信号を画像符号化装置内に入力する参照視点画像入力部５３（ディスク装置等による画像信号を記憶する記憶部でもよい）
・（デプス情報を取得するための）デプスカメラ等からの、符号化対象視点及び参照視点画像と同じシーンを撮影したカメラに対するデプスマップを画像符号化装置内に入力する参照デプスマップ入力部５４（ディスク装置等によるデプスマップを記憶する記憶部でもよい）
・画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５５１が格納されたプログラム記憶装置５５
・ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５５１を実行することにより生成されたビットストリームを、例えばネットワークを介して出力するビットストリーム出力部５６（ディスク装置等によるビットストリームを記憶する記憶部でもよい）　とが、バスで接続された構成になっている。

　図６は、前述した画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図６に示すシステムは：

・プログラムを実行するＣＰＵ６０
・ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１
・画像符号化装置が本手法により符号化したビットストリームを画像復号装置内に入力するビットストリーム入力部６２（ディスク装置等による画像信号を記憶する記憶部でもよい）
・カメラ等からの参照視点の画像信号を画像復号装置内に入力する参照視点画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）
・デプスカメラ等からの、復号対象画像及び参照視点画像と同じシーンを撮影したカメラに対するデプスマップを画像復号装置内に入力する参照デプスマップ入力部６４（ディスク装置等によるデプス情報を記憶する記憶部でもよい）
・画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６５１が格納されたプログラム記憶装置６５
・ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、ビットストリームを復号して得られた復号対象画像を、再生装置などに出力する復号対象画像出力部６６（ディスク装置等による画像信号を記憶する記憶部でもよい）
　とが、バスで接続された構成になっている。

　以上説明したように、視点合成画像を予測画像とした場合の予測残差を空間的に予測符号化する際に、予測対象領域に対する視点合成画像から、予測残差時の参照画像における視点合成画像を推定することで、視点合成画像生成における視差補償予測の処理を複雑化させずに、少ない処理量で多視点画像及び多視点動画像を符号化／復号することができる。

　前述した実施形態における画像符号化装置１００及び画像復号装置２００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
　なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
　また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

　以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

　符号化（復号）対象画像を撮影したカメラとは異なる位置から撮影された画像とその画像中の被写体に対するデプスマップを用いて、符号化（復号）対象画像に対する視点合成画像を用いた予測符号化を行う際に、視点合成画像が必要な領域の増加に伴うメモリアクセスや処理の増加及び複雑化を抑えながら、符号化（復号）対象画像と視点合成画像の差分画像を空間的に予測符号化することで、高い符号化効率を達成することが不可欠な用途に適用できる。

１００・・・画像符号化装置
１０１・・・符号化対象画像入力部
１０２・・・符号化対象画像メモリ
１０３・・・参照視点画像入力部
１０４・・・参照視点画像メモリ
１０５・・・参照デプスマップ入力部
１０６・・・参照デプスマップメモリ
１０７・・・符号化対象領域視点合成画像生成部
１０８・・・参照画素設定部
１０９・・・参照画素視点合成画像生成部
１１０・・・イントラ予測画像生成部
１１１・・・予測残差符号化部
１１２・・・予測残差復号部
１１３・・・復号画像メモリ
１１４、１１５、１１６、１１７・・・加算器
２００・・・画像復号装置
２０１・・・ビットストリーム入力部
２０２・・・ビットストリームメモリ
２０３・・・参照視点画像入力部
２０４・・・参照視点画像メモリ
２０５・・・参照デプスマップ入力部
２０６・・・参照デプスマップメモリ
２０７・・・復号対象領域視点合成画像生成部
２０８・・・参照画素設定部
２０９・・・参照画素視点合成画像生成部
２１０・・・イントラ予測画像生成部
２１１・・・予測残差復号部
２１２・・・復号画像メモリ
２１３、２１４、２１５・・・加算器

Claims

　複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら、前記符号化対象画像を分割した領域である符号化対象領域毎に符号化を行う画像符号化装置であって、
　前記参照視点画像と前記参照デプスマップとを用いて、前記符号化対象領域に対する第１の視点合成画像を生成する符号化対象領域視点合成画像生成手段と、
　前記符号化対象領域を画面内予測する際に参照される既に符号化済みの画素群を参照画素として設定する参照画素設定手段と、
　前記第１の視点合成画像を用いて、前記参照画素に対する第２の視点合成画像を生成する参照画素視点合成画像生成手段と、
　前記参照画素に対する復号画像と前記第２の視点合成画像を用いて、前記符号化対象領域に対する画面内予測画像を生成する画面内予測画像生成手段と
　を有することを特徴とする画像符号化装置。
　前記画面内予測画像生成手段は、前記符号化対象領域に対する前記符号化対象画像と前記第１の視点合成画像との差分画像に対する画面内予測画像である差分画面内予測画像を生成し、当該差分画面内予測画像と前記第１の視点合成画像とを用いて前記画面内予測画像を生成することを特徴とする請求項１に記載の画像符号化装置。
　前記符号化対象領域に対して画面内予測方法を設定する画面内予測方法設定手段をさらに有し、
　前記参照画素設定手段は、前記画面内予測方法を用いる際に参照される既に符号化済みの画素群を参照画素とし、
　前記画面内予測画像生成手段は、前記画面内予測方法に基づいて前記画面内予測画像を生成することを特徴とする請求項１に記載の画像符号化装置。
　前記参照画素視点合成画像生成手段は、前記画面内予測方法に基づいて、前記第２の視点合成画像を生成することを特徴とする請求項３に記載の画像符号化装置。
　前記参照画素視点合成画像生成手段は、前記第１の視点合成画像から外挿することで前記第２の視点合成画像を生成することを特徴とする請求項１に記載の画像符号化装置。
　前記参照画素視点合成画像生成手段は、前記符号化対象領域内において該符号化対象領域外の画素と接する画素群に対応する前記第１の視点合成画像の画素群を用いて、前記第２の視点合成画像を生成することを特徴とする請求項５に記載の画像符号化装置。
　複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら、前記復号対象画像を分割した領域である復号対象領域毎に復号を行う画像復号装置であって、
　前記参照視点画像と前記参照デプスマップとを用いて、前記復号対象領域に対する第１の視点合成画像を生成する復号対象領域視点合成画像生成手段と、
　前記復号対象領域を画面内予測する際に参照される既に復号済みの画素群を参照画素として設定する参照画素設定手段と、
　前記第１の視点合成画像を用いて、前記参照画素に対する第２の視点合成画像を生成する参照画素視点合成画像生成手段と、
　前記参照画素に対する復号画像と前記第２の視点合成画像を用いて、前記復号対象領域に対する画面内予測画像を生成する画面内予測画像生成手段と
　を有することを特徴とする画像復号装置。
　前記画面内予測画像生成手段は、前記復号対象領域に対する前記復号対象画像と前記第１の視点合成画像との差分画像に対する画面内予測画像である差分画面内予測画像を生成し、当該差分画面内予測画像と前記第１の視点合成画像とを用いて前記画面内予測画像を生成することを特徴とする請求項７に記載の画像復号装置。
　前記復号対象領域に対して画面内予測方法を設定する画面内予測方法設定手段をさらに有し、
　前記参照画素設定手段は、前記画面内予測方法を用いる際に参照される既に復号済みの画素群を参照画素とし、
　前記画面内予測画像生成手段は、前記画面内予測方法に基づいて前記画面内予測画像を生成することを特徴とする請求項７に記載の画像復号装置。
　前記参照画素視点合成画像生成手段は、前記画面内予測方法に基づいて、前記第２の視点合成画像を生成することを特徴とする請求項９に記載の画像復号装置。
　前記参照画素視点合成画像生成手段は、前記第１の視点合成画像から外挿することで前記第２の視点合成画像を生成することを特徴とする請求項７に記載の画像復号装置。
　前記参照画素視点合成画像生成手段は、前記復号対象領域内において該復号対象領域外の画素と接する画素群に対応する前記第１の視点合成画像の画素群を用いて、前記第２の視点合成画像を生成することを特徴とする請求項１１に記載の画像復号装置。
　複数の異なる視点の画像からなる多視点画像を符号化する際に、符号化対象画像とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら、前記符号化対象画像を分割した領域である符号化対象領域毎に符号化を行う画像符号化方法であって、
　前記参照視点画像と前記参照デプスマップとを用いて、前記符号化対象領域に対する第１の視点合成画像を生成する符号化対象領域視点合成画像生成ステップと、
　前記符号化対象領域を画面内予測する際に参照される既に符号化済みの画素群を参照画素として設定する参照画素設定ステップと、
　前記第１の視点合成画像を用いて、前記参照画素に対する第２の視点合成画像を生成する参照画素視点合成画像生成ステップと、
　前記参照画素に対する復号画像と前記第２の視点合成画像を用いて、前記符号化対象領域に対する画面内予測画像を生成する画面内予測画像生成ステップと
　を備えることを特徴とする画像符号化方法。
　複数の異なる視点の画像からなる多視点画像の符号データから、復号対象画像を復号する際に、復号対象画像とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像中の被写体に対する参照デプスマップとを用いて、異なる視点間で画像を予測しながら、前記復号対象画像を分割した領域である復号対象領域毎に復号を行う画像復号方法であって、
　前記参照視点画像と前記参照デプスマップとを用いて、前記復号対象領域に対する第１の視点合成画像を生成する復号対象領域視点合成画像生成ステップと、
　前記復号対象領域を画面内予測する際に参照される既に復号済みの画素群を参照画素として設定する参照画素設定ステップと、
　前記第１の視点合成画像を用いて、前記参照画素に対する第２の視点合成画像を生成する参照画素視点合成画像生成ステップと、
　前記参照画素に対する復号画像と前記第２の視点合成画像を用いて、前記復号対象領域に対する画面内予測画像を生成する画面内予測画像生成ステップと
　を備えることを特徴とする画像復号方法。
　コンピュータに、請求項１３に記載の画像符号化方法を実行させるための画像符号化プログラム。
　コンピュータに、請求項１４に記載の画像復号方法を実行させるための画像復号プログラム。