JP5219199B2 - 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は，多視点画像および多視点動画像において，既知の映像信号と距離情報とを用いて，別の視点の距離情報や映像信号を生成する方法である。また，それを用いた多視点画像および多視点動画像の符号化および復号技術に関するものである。

多視点画像とは，複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり，多視点動画像（多視点映像）とは，その動画像のことである。以下では，１つのカメラで撮影された動画像を“２次元動画像”と呼び，同じ被写体と背景を撮影した２次元動画像群を多視点動画像と呼ぶ。

２次元動画像は，時間方向に関して高い相関があり，その相関を利用することによって符号化効率を高めている。一方，多視点画像や多視点動画像では，各カメラが同期されていた場合，同じ時間に対応した各カメラの映像は全く同じ状態の被写体と背景を別の位置から撮影したものなので，カメラ間で高い相関がある。多視点画像や多視点動画像の符号化においては，この相関を利用することによって符号化効率を高めることができる。

まず，２次元動画像の符号化技術に関する従来技術を述べる。国際符号化標準であるＨ．２６４，ＭＰＥＧ−２，ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では，動き補償，直交変換，量子化，エントロピー符号化という技術を利用して，高効率な符号化を行う。動き補償と呼ばれる技術がフレーム間の時間相関を利用する方法である。

Ｈ．２６４で使われている動き補償技術の詳細については，下記の非特許文献１に記載されているが，以下で概要を説明する。Ｈ．２６４の動き補償では，符号化対象フレームを様々なサイズのブロックに分割し，各ブロックで異なる動きベクトルを持つことを可能にし，局所的な映像変化に対しても高い符号化効率を達成している。また，参照フレームの候補として，符号化対象フレームに対して過去もしくは未来の既に符号化済みの複数枚のフレームを用意し，各ブロックで異なる参照フレームを用いることを可能にしている。これによって，時間変化によってオクルージョンが生じるような映像に対しても高い符号化効率を達成している。

次に，従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と，多視点動画像の符号化方法との違いは，多視点動画像にはカメラ間の相関に加えて，時間方向の相関が同時に存在するということである。しかし，カメラ間の相関を利用する方法はどちらの場合でも，同じ方法を用いることができる。そのため，ここでは多視点動画像の符号化において用いられる方法について説明する。

多視点動画像の符号化については，動き補償を同じ時刻の異なる視点に置かれたカメラで撮影された画像に適用した“視差補償”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで，視差とは，異なる位置に配置されたカメラの画像平面上で，被写体上の同じ位置が投影される位置の差である。

図１７に，このカメラ間で生じる視差の概念図を示す。この概念図では，光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。一般的に，異なるカメラの画像平面上で被写体上の同じ位置が投影される位置は対応点と呼ばれる。視差補償は，この対応関係に基づいて，符号化対象フレームの各画素値を参照フレームから予測して，その予測残差と，対応関係を示す視差情報とを符号化する。

多くの手法では，視差を画像平面上でのベクトルとして表現する。例えば，非特許文献２では，ブロック単位で視差補償を行う仕組みを用いているが，ブロック単位の視差を２次元ベクトルで，すなわち２つのパラメータ（ｘ成分およびｙ成分）で表現する。つまり，この手法では，２パラメータで構成される視差情報と予測残差を符号化する。

一方，非特許文献３に記載の手法では，カメラパラメータを符号化に利用し，エピポーラ幾何拘束に基づき視差ベクトルを１次元の情報として表現することにより，予測情報を効率的に符号化する。

エピポーラ幾何拘束の概念図を図１８に示す。エピポーラ幾何拘束によれば，２台のカメラ（カメラ１とカメラ２）において，片方の画像上の点に対応するもう片方の画像上の点は，エピポーラ線という直線上に拘束される。なお，この手法ではエピポーラ線上の位置を示すために，カメラから被写体までの距離という１つのパラメータを用いている。

エピポーラ幾何拘束によって距離が示す情報は被写体の三次元位置であり，被写体の三次元位置はカメラに因らないため，同じ被写体上の点に対して複数の距離を符号化することは冗長であり符号化効率を低下してしまう。そのため，符号化対象フレームごとに，そのフレームを撮影したカメラから被写体までの距離を符号化する非特許文献３の手法では，同じ被写体に対する距離情報を複数符号化することが生じるため，効率的な符号化を実現することができない。

一方，特許文献１の手法では，この問題を解決するために，参照フレームに対して，そのフレームを撮影しているカメラから被写体までの距離を符号化することで，カメラの台数にかかわらず，同じ参照フレームを利用する符号化対象フレームにおける視差補償を実現し，効率的な符号化を実現している。

従来の視差補償画像を予測画像として用いる符号化処理および復号処理の例を，図１９ないし図２２に示すフローチャートに従って説明する。

図１９は，従来の符号化処理の全体の処理の流れを示す。まず，符号化対象フレーム，参照フレームおよび参照距離情報を入力する［Ｘ１］。参照距離情報は，参照フレームの各画素ごとの被写体からカメラまでの距離を示す情報である。次に，入力した参照距離情報を用いて，参照フレームの各画素の符号化対象フレームに対する視差ベクトルを計算する［Ｘ２］。視差ベクトルを算出したならば，参照フレームの各画素の映像信号を視差ベクトルによって示される画素に複写して視差補償画像を生成する［Ｘ３］。その後，同位置の視差補償画像を予測画像として用いながら，符号化対象フレームをブロックごとに符号化する［Ｘ４］。

図２０に，図１９の信号符号化処理Ｘ４の詳細フローを示す。符号化対象フレームをブロックごとに符号化するにあたって，まずブロックのインデックスｂｌｋを０に初期化する［Ｘ４０１］。次に，インデックスｂｌｋで示されるブロックについて，図１９の処理Ｘ３で生成した視差補償画像Ｓｙｎｔｈ［ｂｌｋ］を予測画像候補として使用しながら，入力した符号化対象フレームＯｒｇ［ｂｌｋ］を符号化する［Ｘ４０２］。その後，ｂｌｋに１を加算し［Ｘ４０３］，ｂｌｋがフレームのブロック数ｎｕｍＢｌｋｓになるまで［Ｘ４０４］，すなわち，フレーム内の全ブロックの符号化が終了するまで，処理［Ｘ４０２］に戻って同様に処理を繰り返す。

図２１は，従来の復号処理の全体の処理の流れを示す。まず，復号対象フレームの符号化データ，参照フレームおよび参照距離情報を入力する［Ｙ１］。次に，入力した参照距離情報を用いて，参照フレームの各画素の復号対象フレームに対する視差ベクトルを計算する［Ｙ２］。視差ベクトルを算出したならば，参照フレームの各画素の映像信号を視差ベクトルによって示される画素に複写して視差補償画像を生成する［Ｙ３］。その後，同位置の視差補償画像を予測画像として用いながら，復号対象フレームをブロックごとに復号する［Ｙ４］。

図２２に，図２１の信号復号処理Ｙ４の詳細フローを示す。復号対象フレームをブロックごとに復号するにあたって，まずブロックのインデックスｂｌｋを０に初期化する［Ｙ４０１］。次に，インデックスｂｌｋで示されるブロックについて，図２１の処理Ｙ３で生成した視差補償画像Ｓｙｎｔｈ［ｂｌｋ］をカメラ間予測時の予測信号として使用しながら，入力した復号対象フレームＤｅｃ［ｂｌｋ］を復号する［Ｙ４０２］。その後，ｂｌｋに１を加算し［Ｙ４０３］，ｂｌｋがフレームのブロック数ｎｕｍＢｌｋｓになるまで［Ｙ４０４］，すなわち，フレーム内の全ブロックの復号が終了するまで，処理［Ｙ４０２］に戻って同様に処理を繰り返す。
"Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 ｜ISO/IEC 14496-10 AVC), Draft 7" ，Document JVT-E022d7 ，September 2002．(pp.10-13,pp.62-73) Hideaki. Kimata and Masaki. Kitahara，"Preliminary results on multiple view video coding(3DAV) "，document M10976 MPEG Redmond Meeting，July，2004. Sehoon Yea，Jongdae Oh，Serdar Ince ，Emin Martinian，and Anthony Vetro ，"Report on Core Experiment CE3 of Multiview Coding ，"Joint Video Team(JVT) of ISO/IEC MPEG & ITU-T VCEG Doc. JVT-T106，July 2006. 特開２００７−０３６８００号公報

従来の多視点動画像の符号化方法によれば，カメラパラメータが既知である場合に，エピポーラ幾何拘束を利用して，カメラの台数にかかわらず，参照フレームに対してカメラから被写体までの距離という１次元情報を符号化するだけで，全カメラの符号化対象フレームに対する視差補償が実現でき，多視点動画像を効率的に符号化することが可能である。

しかしながら，従来の手法では参照フレームの領域ごとに視差を示す情報が与えられるため，符号化対象フレームのある領域に対する視差を直接求めることができない。そのため，従来手法では，あるフレームの符号化処理を開始する前に，参照フレームの映像信号とそのフレーム対して与えられた距離情報とから，符号化対象フレームの各領域が視差補償予測を用いるかどうかにかかわらず，符号化対象フレーム全体の視差補償予測による予測映像信号を生成し，その予測映像信号を一時的に蓄積する必要がある。復号側も同様に，あるフレームの復号処理を開始する前に，復号対象フレームの各領域が視差補償予測を用いて符号化されているかどうかにかかわらず，復号対象フレーム全体の視差補償による予測映像信号を生成し，その予測映像信号を一時的に蓄積する必要がある。

また，オクルージョンやノイズ，輝度変化の影響を受けて予測品質の低下を抑えるために，ある処理対象フレームに対して，複数の参照フレームを視差補償予測に利用する場合，その枚数と同じフレーム数の予測映像信号を一時的に蓄積可能な容量のメモリを備えなければならない。

多視点動画像の符号化・復号処理では，視点数と同じ数の２次元動画像を同時に処理しなくてはならない。そのため，視点ごとに必要となるメモリ量が大きい場合，全体として非常に大容量のメモリが必要となってしまう。このことは，コスト・消費電力・データ転送時間・小型化などの面で非常に大きな問題である。

さらに，Ｈ．２６４／ＡＶＣなどが符号化効率向上のために採用している方式のように，あるブロックの映像信号を符号化するにあたって，複数存在する映像予測方法から１つの方法を選択して符号化が行われている場合，カメラ間での映像予測が行われてないブロックが多数存在する。しかしながら，従来手法ではあるフレームを処理する前に，そのフレーム全体に対して視差補償予測した場合の予測信号を生成しなくてはならない。このことは復号時に必要のない無駄な演算を行っていることになり，リアルタイム処理および消費電力の削減のためには大きな問題である。

また，従来手法では参照フレームの領域ごとに処理フレーム上の対応領域を求めるため，処理対象フレームのブロック内では複数の視差ベクトルが用いられることになる。この場合，予測信号において自然画像では存在しないブロックノイズと呼ばれる不連続な映像信号が生成される。このような不連続な予測信号を用いた場合，その予測残差が通常とは異なる周波数成分を持つことになり，その符号化効率が低下するという問題がある。

本発明はかかる事情に鑑みてなされたものであって，処理対象フレーム（符号化対象フレームまたは復号対象フレーム）で用いる参照フレームに対して距離情報が与えられている際に，処理開始前に処理対象フレーム全体の予測映像信号を生成するのではなく，処理開始前に処理対象フレームの距離情報を生成し，ブロックごとにその生成された距離情報を用いて予測映像信号を生成することで，必要となるメモリ容量を削減し，また復号側での演算量を削減することが可能な効率的な多視点画像符号化を実現することを目的とする。

前述した課題を解決するために，本発明では，参照フレームに対して与えられた距離情報を用いて直接予測映像信号を生成・蓄積するのではなく，複数の参照フレームのそれぞれに対して与えられた距離情報から１つの処理対象フレームに対する距離情報を生成・蓄積し，必要に応じて処理ブロックごとに蓄積されている処理対象フレームに対する距離情報を用いて，その処理ブロックに対する予測映像信号のみを生成する。

これによってフレーム全体の予測映像信号ではなく，フレーム全体の距離情報のみを蓄積すれば済む。通常，映像信号は３チャンネル分のデータであり，距離情報は１チャンネル，つまりモノクロ映像分のデータであるため，これによって必要なメモリ容量を削減することが可能である。特に，複数の参照フレームを用いる場合に，距離情報は参照フレームによって変化しないため，１つの処理対象フレームに対して１フレーム分のデータだけを蓄積すれば十分であり，参照フレームの数と同じフレーム数分のデータを蓄積しなくてはならない従来手法よりも必要なメモリ容量が少なくなることは明らかである。

参照フレームに対して与えられた距離情報から処理対象フレームに対する距離情報を生成する処理は，まず参照フレームを撮影したカメラによって被写体が撮影される際の物理現象に従って被写体の三次元位置を復元し，次に復元された三次元位置を持った被写体が処理対象フレームを撮影したカメラによって撮影される際の物理現象に従って，処理対象フレームから撮影された被写体までの距離情報を復元する。このように，ここで行われる処理はカメラによる撮影プロセスという物理現象に従って行われるため，カメラ撮影による射影変換を十分にモデル化することが可能であれば，非常に高い精度で実現可能である。

複数の参照フレームを用いる場合，１つの参照フレームに対して与えられた距離情報から１つの処理対象フレームに対する距離情報を生成すると，参照フレーム数に等しいフレーム数の距離情報が生成されることになる。１フレーム分の符号化・復号処理を行う間，それらの全てを蓄積する場合には，予測映像信号を蓄積するほどではないが，多くのメモリが必要となる。そこで本発明では，上記の処理に加えて，生成された複数フレーム分の処理対象フレームに対する距離情報から，１フレーム分の処理対象フレームに対する距離情報を生成し，全ての参照フレームで共通して使用する手段を備える。

具体的には，各参照フレームに対して与えられた距離情報から処理対象フレームに対する距離情報をそれぞれ生成した後，同じ領域において複数得られた距離情報からフィルタ処理などによって１つの距離情報を生成することでメモリ量を削減する。

また，参照フレームによらない距離情報を生成することによって，オクルージョンの発生が検知できなくなる問題が生じる。これは生成された距離情報は，領域ごとに，対応関係が存在する参照フレームに対して，処理対象フレーム上の領域と参照フレーム上の領域との対応関係を与えるが，対応関係が存在するか否かの情報を含まないためである。そこで本発明では，上記の処理に加えて，処理ブロックの持つ距離情報と，そのブロックに対応する参照フレーム上のブロックの持つ距離情報とを比較することで，オクルージョンの発生を検知する手段を備える。

本発明によれば，使用する参照フレームの枚数によらず，少ない量のメモリのみを使用した多視点画像や多視点動画像の符号化および復号を実現することが可能になる。

以下，本発明を実施の形態に従って詳細に説明する。なお，以下の説明では，映像や距離情報に対して，記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで，その位置の画素によってサンプリングされた映像信号や距離情報を示すものとする。また，距離情報はカメラから離れるほど大きな値を持つ情報であるとし，カメラパラメータを定義する三次元座標系における距離を与えるものとする。ただし，この条件を満たす距離情報に変換可能な情報（例えばインデックスを用いて各距離情報を表現したもの）であれば，変換を必要に応じて行うことで，本発明の手法を適用することによる効果を得ることが可能である。

以下の説明では，各カメラのカメラパラメータは既に得られているものとする。カメラ番号をｖｉｅｗとして，カメラの内部パラメータ行列をＡ_view，回転行列をＲ_view，並進ベクトルをｔ_viewで表す。カメラパラメータの表現法には様々なものがあるため，以下で用いる数式は，カメラパラメータの定義に従って変更する必要がある。なお，本実施例では，画像座標ｍと世界座標Ｍの対応関係が，次の式で得られるカメラパラメータ表現を用いているものとする。

チルダ記号は任意スカラ倍を許した斉次座標を表す。

〔多視点映像符号化装置（第１の参考例）〕
まず，本発明の実施例を説明するための第１の参考例（以下，参考例１）について説明する。ここで説明する参考例１では，２つのカメラで撮影された多視点動画像を符号化する場合を想定し，カメラ１で撮影された映像を参照画像として，カメラ２で撮影された映像を符号化する方法について説明する。

参考例１に係る映像符号化装置の構成図を，図１に示す。図１に示すように，多視点映像符号化装置１００は，符号化対象となるカメラ２のフレームを入力する符号化対象画像入力部１０１と，入力された符号化対象フレームを蓄積する符号化対象画像メモリ１０２と，参照フレームとなるカメラ１のフレームを入力する参照カメラ画像入力部１０３と，その参照フレームを蓄積する参照カメラ画像メモリ１０４と，参照フレームに対する距離情報を入力する参照カメラ距離情報入力部１０５と，カメラの投影モデルを利用して距離情報を三次元空間へ逆投影する距離情報逆投影部１０６と，カメラの投影モデルに従って三次元点をカメラ２へと再投影する距離情報再投影部１０７と，符号化対象フレームに対する距離情報を蓄積する処理フレーム距離情報メモリ１０８と，参照フレームの映像信号と符号化対象フレームに対する距離情報とから符号化対象フレームの合成画像を生成する視点合成画像生成部１０９と，その生成された合成画像を予測画像として使用しながら符号化対象フレームを符号化する画像符号化部１１０とを備える。

図２に，このようにして構成される多視点映像符号化装置１００の実行する処理フローを示す。この処理フローに従って，参考例１の多視点映像符号化装置１００の実行する処理について詳細に説明する。

まず，参照カメラ距離情報入力部１０５より参照距離情報ＲｅｆＤｅｐｔｈが入力される［Ａ１］。この参照距離情報とは，参照フレームに対する距離情報のことである。ここで入力される参照距離情報は，一旦任意の符号化手法を用いて符号化され，その符号化データから復号されたものとする。これは復号装置で得られる情報と同じ情報を用いることで，ドリフト歪みと呼ばれる符号化ノイズの発生を抑えるためである。ただし，ドリフト歪みの発生を許容する場合には，符号化前のオリジナルの情報が入力されてもかまわない。

次に，参照距離情報から符号化対象フレームに対する距離情報であるところの処理フレーム距離情報ＣｕｒＤｅｐｔｈを生成し，処理フレーム距離情報メモリ１０８に蓄積する［Ａ２］。ここでの処理は後で詳しく説明する。

その後，符号化対象画像入力部１０１より符号化対象フレームＯｒｇが入力され，参照カメラ画像入力部１０３より参照フレームＲｅｆとなるカメラ１の画像が入力され，それぞれ符号化対象画像メモリ１０２および参照カメラ画像メモリ１０４に蓄積される［Ａ３］。なお，参照カメラ画像入力部１０３では，一旦任意の符号化手法を用いて符号化され，その符号化データから復号された参照フレームＲｅｆが入力されるものとする。これは復号装置で得られる情報と同じ情報を用いることで，ドリフト歪みと呼ばれる符号化ノイズの発生を抑えるためである。ただし，ドリフト歪みの発生を許容する場合，符号化前のオリジナルの情報が入力されてもかまわない。

次に，視点合成画像生成部１０９で参照フレームと処理フレーム距離情報とを用いて符号化単位ブロックごとに視点合成画像を生成しながら，画像符号化部１１０で符号化対象フレームを符号化する［Ａ４］。ここでの処理の詳細は後で詳しく説明する。

図３に，図２の処理Ａ２で行われる参照距離情報から処理フレーム距離情報を生成する処理の詳細フローを示す。

最初に，処理フレーム距離情報ＣｕｒＤｅｐｔｈを初期化する［Ａ２０１］。この初期化では，全ての位置において処理フレーム距離情報は取り得る最大値を持つように設定される。

次に参照距離情報の画素ごとに，処理フレーム距離情報を徐々に生成する［Ａ２０２−Ａ２０８］。つまり，参照距離情報の画素インデックスをｐｉｘ，画素数をｎｕｍＰｉｘｓで表すと，ｐｉｘを０で初期化した後［Ａ２０２］，ｐｉｘに１を加算しながら［Ａ２０７］，ｐｉｘがｎｕｍＰｉｘｓになるまで［Ａ２０８］，次の処理［Ａ２０３−Ａ２０６］を繰り返す。

参照距離情報ＲｅｆＤｅｐｔｈの画素ごとに繰り返される処理では，まず距離情報逆投影部１０６で画素ｐｉｘを三次元座標系へ逆投影することで三次元点ｇを取得する［Ａ２０３］。具体的には，この処理は次の（式１）を用いて行われる。ここで，（ｕ_pix ，ｖ_pix ）は，画素ｐｉｘでの画像平面上での座標値を表す。

次に，距離情報再投影部１０７で三次元点ｇを符号化対象フレームへ再投影し，符号化対象フレーム上で三次元点ｇが投影される位置ｐと，カメラ２から三次元点ｇまでの距離ｄを取得する［Ａ２０４］。具体的には，この処理は次の（式２）を用いて行われる。なお，ｐは（ｘ，ｙ）で表される。

再投影される位置ｐとその距離ｄの情報が得られたならば，処理フレーム距離情報メモリ１０８における位置ｐの処理フレーム距離情報を更新する。ただし，カメラ位置や向きが変わることによってオクルージョンが発生するため，既に得られている位置ｐの処理フレーム距離情報ＣｕｒＤｅｐｔｈ［ｐ］と，新しく得られた距離ｄとを比較し［Ａ２０５］，新しく得られた距離ｄのほうがカメラに近いことを示す場合にのみＣｕｒＤｅｐｔｈ［ｐ］をｄに更新する［Ａ２０６］。

全ての参照距離情報の画素に対して上記の処理が終わった後，実空間での連続性を鑑みて得られた処理フレーム距離情報ＣｕｒＤｅｐｔｈを補正する［Ａ２０９］。具体的には，中央値フィルタやbi-lateralフィルタなどのノイズ除去を行う空間フィルタを適用する。この処理は距離情報が離散的にサンプリングされ，変換元と変換先が同じサンプリングではないために生じた誤った距離情報の値を補正するために行われる。サンプリング間隔に起因するノイズであると考えられるため，そのノイズは空間的に大量に固まって生じるものではない。したがって，中央値フィルタやbi-lateralフィルタなどのノイズフィルタを施すことで，空間的に特異な値を持った距離情報の値を，周辺の距離情報の値と同じような値に補正することが可能である。なお，この処理はカメラ１とカメラ２が非常に近くに存在する場合などでは，サンプリングに起因するノイズは発生しないため，省略することが可能である。ただし，復号装置で同様の処理を行う場合には，符号化装置でこの処理を省略するとドリフト歪みが発生することになる。

図４に，図２の処理Ａ４で行われる符号化単位ブロックごとに視点合成画像を生成しながら，符号化対象フレームを符号化する処理の第１の詳細フローを示す。

ここでの処理は，符号化単位ブロックごとに行われる。つまり，符号化単位ブロックインデックスをｂｌｋ，総符号化単位ブロック数をｎｕｍＢｌｋｓとすると，ｂｌｋを０で初期化した後［Ａ４１１］，ｂｌｋに１を加算しながら［Ａ４１８］，ｂｌｋがｎｕｍＢｌｋｓになるまで［Ａ４１９］，視点合成画像Ｓｙｎｔｈを生成する処理［Ａ４１２−Ａ４１６］を行い，生成されたＳｙｎｔｈを予測画像候補として用いながら符号化対象フレームＯｒｇ［ｂｌｋ］を符号化する処理［Ａ４１７］を繰り返す。

なお，視点合成画像を予測画像候補として用いながら符号化対象フレームを符号化する画像符号化には，映像予測を行うものであればどのような手法を用いることもできる。例えば，Ｈ．２６４／ＡＶＣのように入力画像と予測画像の差分信号を生成し，その差分信号に直交変換，量子化，エントロピー符号化を施すことで符号化を行うことができる。その際に，視点合成画像以外も予測画像の候補として準備し，符号化効率が最適となる予測方法をブロックごとに適応的に選択してもかまわない。例えば，対応点ベクトルを別途符号化することで参照フレームを用いて視差補償予測を行ったり，カメラ２の既に符号化済みフレームの復号画像を用いて動き補償予測を行ったりすることも可能である。

視点合成画像を生成する処理は，符号化単位ブロックｂｌｋに含まれる画素ごとに，参照フレーム上の対応画素を求め，対応画素における映像信号をその画素の視点合成画像信号とすることで行われる。つまり，画素インデックスをｐｅｌ，ブロック符号化単位ブロックｂｌｋに含まれる画素数をｎｕｍＰｅｌｓ_blk とすると，ｐｅｌを０で初期化した後［Ａ４１２］，ｐｅｌに１を加算しながら［Ａ４１５］，ｐｅｌがｎｕｍＰｅｌｓ_blk になるまで［Ａ４１６］，次の（式３）に従って符号化対象フレーム上の画素ｂｌｋ_pel の参照フレーム上の対応画素ｃｐを求め［Ａ４１３］，画素ｃｐの画素値Ｒｅｆ［ｃｐ］を画素ｂｌｋ_pel における視点合成画像Ｓｙｎｔｈ［ｐｅｌ］とする処理［Ａ４１４］を繰り返す。

なお，（ｕ_blk,pel ，ｖ_blk,pel ）は，符号化対象フレーム上の画素ｂｌｋ_pel の位置であり，（ｃｐ_x ，ｃｐ_y ）は，参照フレーム上の対応画素中の位置であり，ｓは，スカラ値である。

ここで，Ｓｙｎｔｈは処理中の符号化単位ブロックに対する視点合成画像を保持できれば十分であり，符号化対象フレーム全体の視点合成画像を保持する必要はない。すなわち，視点合成画像Ｓｙｎｔｈの生成と画像符号化とを符号化単位ブロックごとに交互に行うことで，視点合成画像Ｓｙｎｔｈを同時には高々符号化単位ブロック分しか生成しないで済むことになる。

図５に，図２の処理Ａ４で行われる符号化単位ブロックごとに視点合成画像を生成しながら，符号化対象フレームを符号化する処理の第２の詳細フローを示す。

上記図４を用いて説明した処理フローと本処理フローとの違いは，符号化単位ブロックごとに視点合成画像を生成する処理［Ａ４１２−Ａ４１６］と，処理［Ａ４２２−Ａ４２３］との違いだけである。したがって，以下の説明では処理［Ａ４２２−Ａ４２３］についてのみ説明を行う。

ここで行われる視点合成画像生成は，符号化単位ブロックｂｌｋに対する処理フレーム距離情報ＣｕｒＤｅｐｔｈ［ｂｌｋ］（画素ごとに１つの距離情報を持つため距離情報の集合となる）を用いて，ブロックｂｌｋに対する１つの代表距離情報ｄｅｐを生成し［Ａ４２２］，その代表距離情報ｄｅｐを用いて符号化対象フレームのブロックｂｌｋに対応する参照フレーム上のブロックｂｌｋ′を求め［Ａ４２３］，そのブロックにおける参照フレームの画像信号を視点合成画像とする。

代表距離情報ｄｅｐはブロックｂｌｋにおけるＣｕｒＤｅｐｔｈ［ｂｌｋ］の代表値となるため，ＣｕｒＤｅｐｔｈ［ｂｌｋ］の平均値や中央値，または最も多く現れる値などを用いて表すことができる。

ブロックｂｌｋに対応する参照フレーム上のブロックｂｌｋ′を求める処理では，ブロックｂｌｋの中央またはブロックの角の座標をｂｌｋ_pel として，上記（式３）を用いて求まったｃｐをブロックｂｌｋ′の中央またはブロックの角の座標とすることで求めることができる。

ブロック内で複数の距離情報を使用して予測信号を生成するということは，ブロック内で複数のベクトルを用いて対応点を求めて予測信号を生成することに等しい。一般に，予測信号を生成する際に複数のベクトルを用いて対応点を求めると，予測信号にブロックノイズが発生し，周波数領域での予測残差の符号化効率が低下する。しかし，ここでの処理のようにブロックに対して１つの代表距離情報を生成することによって，ブロック内では１つのベクトルのみを用いて対応点を求めることと同じになるため，予測信号にブロックノイズが発生せず，予測残差の符号化効率が低下するのを防ぐことができる。なお，ここではブロックに対して１つの代表距離情報を生成したが，ブロックを複数のサブブロックに分割して，サブブロックごとに１つの代表距離情報を生成することで，予測効率の低下を抑えつつ予測信号におけるブロックノイズ発生を抑制することが可能となる。

〔多視点映像符号化装置（第１の実施例）〕
次に，本発明の第１の実施例（以下，実施例１）について説明する，ここで説明する実施例１は，Ｎ個のカメラで撮影された多視点動画像を符号化する場合を想定し，カメラ１〜カメラＮ−１で撮影された映像を参照画像として，カメラＮで撮影された映像を符号化する方法について説明を行う。なお，特別な説明がない限り，参考例１で用いた記号は本実施例においても同様の意味で用いる。

実施例１に係る映像符号化装置の構成図を，図６に示す。図６に示すように，多視点映像符号化装置２００は，符号化対象となるカメラＮのフレームを入力する符号化対象画像入力部２０１と，入力された符号化対象フレームを蓄積する符号化対象画像メモリ２０２と，参照フレームとなるカメラ１からカメラＮ−１のフレームを入力する参照カメラ画像入力部２０３と，その参照フレーム群を蓄積する参照カメラ画像メモリ２０４と，各参照フレームに対する距離情報を入力する参照カメラ距離情報入力部２０５と，カメラの投影モデルを利用して距離情報を三次元空間へ逆投影する距離情報逆投影部２０６と，カメラの投影モデルに従って三次元点をカメラＮへと再投影する距離情報再投影部２０７と，各参照距離情報を変換することで得られた距離情報群を一時的に蓄積する処理フレーム距離情報候補メモリ２０８と，各参照距離情報から変換することで得られた距離情報群を１つの符号化対象フレームに対する距離情報へと統合する距離情報統合部２０９と，生成された符号化対象フレームに対する距離情報を蓄積する処理フレーム距離情報メモリ２１０と，参照フレームの映像信号と符号化対象フレームに対する距離情報とから符号化対象フレームの合成画像を生成する視点合成画像生成部２１１と，その生成された合成画像を予測画像として使用しながら符号化対象フレームを符号化する画像符号化部２１２とを備える。

図７に，このようにして構成される多視点映像符号化装置２００の実行する処理フローを示す。この処理フローに従って，多視点映像符号化装置２００の実行する処理について詳細に説明する。

まず，参照距離情報を入力し，各参照距離情報を符号化対象フレームに対する距離情報の候補へと変換する。つまり，参照するカメラのインデックスをｒｅｆとすると，ｒｅｆを０で初期化した後［Ｂ１］，ｒｅｆに１を加算しながら［Ｂ４］，ｒｅｆがＮ−１になるまで［Ｂ５］，参照カメラ距離情報入力部２０５よりカメラｒｅｆに対する参照距離情報ＲｅｆＤｅｐｔｈ_ref を入力し［Ｂ２］，参照距離情報ＲｅｆＤｅｐｔｈ_ref から符号化対象フレームに対する距離情報の候補であるところの処理フレーム距離情報候補ＴｅｍｐＤｅｐｔｈ_ref を生成し，処理フレーム距離情報候補メモリ２０８に一時的に蓄える処理Ｂ３を繰り返す。

処理Ｂ３は，上記参考例１の処理Ａ２で行われる処理と同じである。ただし，処理Ａ２における参照距離情報ＲｅｆＤｅｐｔｈを参照距離情報ＲｅｆＤｅｐｔｈ_ref に，処理フレーム距離情報ＣｕｒＤｅｐｔｈを処理フレーム距離情報候補ＴｅｍｐＤｅｐｔｈ_ref に，カメラ１をカメラｒｅｆに，カメラ２をカメラＮに，距離情報逆投影部１０６を距離情報逆投影部２０６，距離情報再投影部１０７を距離情報再投影部２０７に，それぞれ読み替える必要がある。

全ての参照距離情報に関する処理が終了したならば，距離情報統合部２０９で，処理フレーム距離情報候補群から，処理フレーム距離情報ＣｕｒＤｅｐｔｈを生成し，処理フレーム距離情報メモリ２１０に蓄積する［Ｂ６］。ここでの処理は，処理フレーム距離情報の各画素位置に対して，同じ画素位置に対する各処理フレーム距離情報候補がもつ距離の値の集合を用いて，１つの距離を求めることを，画素ごとに繰り返す。したがって，処理フレーム距離情報におけるある画素位置をｐｐとすると，以下の（式４）で表すことが可能である。

なお，上バー付きのδ（）は，引数が０の場合には０を返し，それ以外の場合には１を返すデルタ関数の０と１を反転したような関数であり，ｍａｘ＿ｄは距離情報の取り得る最大値である。

上記の（式４）は，処理フレーム距離情報候補の平均値を処理フレーム距離情報とする方法であり，このほかに中央値を用いる方法（式５）や，カメラに近いことを表す情報を用いる方法（式６）などを用いることも可能である。

ここで，ｍｅｄｉａｎ（）は中央値を返す関数，ｍｉｎ（）は最小値を返す関数である。ＴＥＭＰ＿ＤＥＰＴＨは画素位置ｐｐの処理フレーム距離情報候補の集合であり，次の（式７）で表すことが可能である。なお，入力される参照距離情報に含まれるノイズ成分を考慮して，ＴＥＭＰ＿ＤＥＰＴＨから外れる値を事前に除外してから，上記の処理を適用してもかまわない。

なお，この処理Ｂ６が終了した後は，処理フレーム距離情報候補メモリ２０８に蓄積した参照フレーム距離情報候補を開放してもかまわない。

処理フレーム距離情報が生成されたならば，参照カメラ画像入力部２０３より参照フレームＲｅｆ_ref となるカメラｒｅｆの画像を入力して参照カメラ画像メモリ２０４に蓄積し，符号化対象画像入力部２０１より符号化対象フレームＯｒｇを入力して符号化対象画像メモリ２０２に蓄える［Ｂ７］。

その後，視点合成画像生成部２１１で参照フレームと処理フレーム距離情報とを用いて符号化単位ブロックごとに視点合成画像を生成しながら，画像符号化部２１２で符号化対象フレームを符号化する［Ｂ８］。ここでの処理は，参考例１における処理Ａ４の処理と同じである。ただし，実施例１では複数の参照フレームを使用するため，各符号化単位ブロックに対して，参照フレームごとにその参照フレームにおける対応画素や対応ブロックを求め，その領域の映像信号を視点合成画像の１つとして，複数の視点合成画像を生成し，それぞれを符号化時の予測画像の候補とする。また，Ｈ．２６４／ＡＶＣの双予測のように，複数の参照フレームに対して生成された視点合成画像の平均値を新たな視点合成画像として予測画像の候補に加えてもかまわない。

図８は，図６に示す多視点映像符号化装置２００の派生形の実施の形態を示している。図６の多視点映像符号化装置２００に，図８に示す多視点映像符号化装置２００′のように，入力された参照距離情報群を蓄積するための参照カメラ距離情報メモリ２１３を追加し，これによりオクルージョンを考慮した視点合成画像の生成を可能にするようにしてもよい。

この場合の多視点映像符号化の処理フローは前述の実施例１におけるフローと同じであるが，処理Ｂ８内の視点合成画像を生成する部分の処理は，図９に示すフローに従う。このフローはある参照フレームｒｅｆを用いて，符号化対象フレーム内のブロックｂｌｋに対する視点合成画像を生成するフローである。以下，このフローに従って視点合成画像を生成する処理について説明を行う。

まず，視点合成画像はブロック内の画素ごとに行うため，画素インデックスｐｅｌを０で初期化した後［Ｂ８０１］，ｐｅｌに１を加算しながら［Ｂ８０６］，ｐｅｌがブロック内の画素数ｎｕｍＰｅｌｓ_blk になるまで［Ｂ８０７］，次の（式８）に従って符号化対象フレーム上の画素ｂｌｋ_pel の参照フレームｒｅｆ上の対応画素ｃｐおよび復元距離情報ｒｄを求め［Ｂ８０２］，対応画素に対する参照距離情報ＲｅｆＤｅｐｔｈ_ref ［ｃｐ］と復元距離情報ｒｄとの差を予め定められた閾値ｔｈと比較し［Ｂ８０３］，閾値より小さければ参照フレームｒｅｆの対応画素における画素値Ｒｅｆ_ref ［ｃｐ］を画素ｂｌｋ_pel における参照フレームｒｅｆを使用した際の視点合成画像Ｓｙｎｔｈ_ref ［ｐｅｌ］とし［Ｂ８０４］，そうでなければ視点合成画像が定義できないことを示す情報ＮＯＮ＿ＤＥＦをＳｙｎｔｈ_ref ［ｐｅｌ］とする処理［Ｂ８０５］を繰り返す。ここで，復元距離情報とは，参照フレームを撮影したカメラから符号化対象フレーム上の画素ｂｌｋ_pel に撮影されていた被写体までの距離を表す。

ここでは画素ごとに対応画素を求めて視点合成画像を生成したが，図５を用いて説明したように，ブロックごとに代表距離情報を求めて対応ブロックを求めることも可能である。その場合，対応ブロックにおける参照距離情報から代表参照距離情報を比較し，代表距離情報と代表参照距離情報との差が予め定められた閾値より小さいかどうかを判定する。そして閥値より小さければ，求まった対応ブロックにおける参照フレームｒｅｆの映像信号が視点合成画像となり，そうでなければ，ブロック全体で視点合成画像を生成できないとすればよい。

なお，どの参照フレームを視点合成画像の生成に用いたかを示す情報を符号化する場合，ブロック全体で視点合成画像が生成できない場合には，その参照フレームを示すためにシンタックスを割り当てなくすることで，さらに符号量を節約することも可能である。また，シンタックスを算術符号化する場合においては，その参照フレームを示すシンタックスが発生する確率を低く設定することでも符号化効率を向上させることが可能である。また，Ｈ．２６４／ＡＶＣの双予測のように，複数の方式で生成した予測画像の平均値を実際の予測画像とするような場合，視点合成画像が定義できない画素を除外して平均値を取ることで，全体の予測効率低下を回避することが可能である。

〔多視点映像復号装置（第２の参考例）〕
次に，本発明の実施例を説明するための第２の参考例（以下，参考例２）について説明する。ここで説明する参考例２では，２つのカメラで撮影された多視点動画像を符号化したデータを復号する場合を想定し，カメラ１で撮影された映像を参照画像として，カメラ２で撮影された映像を復号する方法について説明を行う。

参考例２に係る映像復号装置の構成図を図１０に示す。図１０に示すように，多視点映像復号装置３００は，復号対象となるカメラ２のフレームの符号化データを入力する符号化データ入力部３０１と，入力された符号化データを蓄積する符号化データメモリ３０２と，参照フレームとなるカメラ１のフレームを入力する参照カメラ画像入力部３０３と，その参照フレームを蓄積する参照カメラ画像メモリ３０４と，参照フレームに対する距離情報を入力する参照カメラ距離情報入力部３０５と，カメラの投影モデルを利用して距離情報を三次元空間へ逆投影する距離情報逆投影部３０６と，カメラの投影モデルに従って三次元点をカメラ２へと再投影する距離情報再投影部３０７と，復号対象フレームに対する距離情報を蓄積する処理フレーム距離情報メモリ３０８と，参照フレームの映像信号と復号対象フレームに対する距離情報とから復号対象フレームの合成画像を生成する視点合成画像生成部３０９と，その生成された合成画像を予測画像として使用しながら復号対象フレームを復号する画像復号部３１０とを備える。

図１１に，このようにして構成される多視点映像復号装置３００の実行する処理フローを示す。この処理フローに従って，参考例２の多視点映像復号装置３００の実行する処理について詳細に説明する。

まず，参照カメラ距離情報入力部３０５より参照距離情報ＲｅｆＤｅｐｔｈが入力される［Ｃ１］。この参照距離情報とは，参照フレームに対する距離情報のことである。ここで入力される参照距離情報は，一旦任意の符号化手法を用いて符号化された符号化データから復号されたものとする。ただし，何らかの手法でオリジナルの情報が得られるのであれば，オリジナルの情報が入力されてもかまわない。しかしながら，符号化時に使用したものと同じものを入力しない場合，ドリフト歪みが発生することになる。

次に，参照距離情報から復号対象フレームに対する距離情報であるところの処理フレーム距離情報ＣｕｒＤｅｐｔｈを生成し，処理フレーム距離情報メモリ３０８に蓄積する［Ｃ２］。ここでの処理は参考例１のＡ２の処理と同じである。ただし，符号化対象フレームは復号対象フレームに読み替える必要がある。

その後，符号化データ入力部３０１より符号化データが入力され，参照カメラ画像入力部３０３より参照フレームＲｅｆとなるカメラ１の画像が入力され，それぞれ符号化データメモリ３０２および参照カメラ画像メモリ３０４に蓄積される［Ｃ３］。なお，一旦任意の符号化手法を用いて符号化された符号化データから復号された参照フレームが入力されるものとする。ただし，何らかの手法でオリジナルの情報が得られるのであれば，オリジナルの情報が入力されてもかまわない。しかしながら，符号化時に使用したものと同じものを入力しない場合，ドリフト歪みが発生することになる。

そして，視点合成画像生成部３０９で参照フレームと処理フレーム距離情報とを用いて，復号単位ブロックごとに必要に応じて視点合成画像を生成しながら，画像復号部３１０で復号対象フレームＤｅｃを復号する［Ｃ４］。ここでの処理の詳細は後で詳しく説明する。

図１２に，図１１の処理Ｃ４で行われる復号単位ブロックごとに必要に応じて視点合成画像を生成しながら，復号対象フレームを復号する処理の第１の詳細フローを示す。

ここでの処理は，復号単位ブロックごとに行われる。つまり復号単位ブロックインデックスをｂｌｋ，総復号単位ブロック数をｎｕｍＢｌｋｓとすると，ｂｌｋを０で初期化した後［Ｃ４１０１］，ｂｌｋに１を加算しながら［Ｃ４１１０］，ｂｌｋがｎｕｍＢｌｋｓになるまで［Ｃ４１１１］，ブロックｂｌｋが視点合成画像Ｓｙｎｔｈを使用して符号化されているかどうかをチェックし［Ｃ４１０２］，視点合成画像を使用していない場合には，そのブロックにおいては視点合成画像を生成せずに復号を行い［Ｃ４１０３］，視点合成画像を使用している場合には，そのブロックにおける視点合成画像Ｓｙｎｔｈのみを生成する処理［Ｃ４１０４−Ｃ４１０８］を行い，生成されたＳｙｎｔｈを用いてそのブロックの復号対象フレームＤｅｃ［ｂｌｋ］を復号する処理［Ｃ４１０９］を繰り返す。

なお，視点合成画像を予測画像として復号対象フレームを復号する方法には，符号化に用いられた符号化方法に対する復号方法を用いる必要がある。例えば，Ｈ．２６４／ＡＶＣのように入力画像と予測画像の差分信号を生成し，その差分信号に直交変換，量子化，エントロピー符号化を施すことで符号化が行われている場合には，符号化データに含まれるビット列をエントロピー復号，逆量子化，逆直交変換を施して得られた信号に，予測画像であるところの視点合成画像を加えることで復号を行う。

視点合成画像を生成する処理は，復号単位ブロックｂｌｋに含まれる画素ごとに，参照フレーム上の対応画素を求め，対応画素における映像信号をその画素の視点合成画像信号とすることで行われる。つまり，画素インデックスをｐｅｌ，ブロック復号単位ブロックｂｌｋに含まれる画素数をｎｕｍＰｅｌｓ_blk とすると，ｐｅｌを０で初期化した後［Ｃ４１０４］，ｐｅｌに１を加算しながら［Ｃ４１０７］，ｐｅｌがｎｕｍＰｅｌｓ_blk になるまで［Ｃ４１０８］，前述の（式３）に従って復号対象フレーム上の画素ｂｌｋ_pel の参照フレーム上の対応画素ｃｐを求め［Ｃ４１０５］，画素ｃｐの画素値Ｒｅｆ［ｃｐ］を画素ｂｌｋ_pel における視点合成画像Ｓｙｎｔｈ［ｐｅｌ］とする処理［Ｃ４１０６］を繰り返す。

ここで，Ｓｙｎｔｈは処理中の復号単位ブロックに対する視点合成画像を保持できれば十分であり，復号対象フレーム全体の視点合成画像を保持する必要はない。すなわち，視点合成画像Ｓｙｎｔｈの生成と画像復号とを復号単位ブロックごとに交互に行うことで，視点合成画像Ｓｙｎｔｈを同時には高々復号単位ブロック分しか生成しないで済むことになる。

図１３に，図１１の処理Ｃ４で行われる復号単位ブロックごとに必要に応じて視点合成画像を生成しながら，復号対象フレームを復号する処理の第２の詳細フローを示す。

上記図１２を用いて説明した処理フローと本処理フローとの違いは，復号単位ブロックごとに視点合成画像を生成する処理［Ｃ４１０４−Ｃ４１０８］と処理［Ｃ４２０４−Ｃ４２０６］との違いだけである。したがって，以下の説明では，処理［Ｃ４２０４−Ｃ４２０６］についてのみ説明を行う。

ここで行われる視点合成画像生成は，復号単位ブロックｂｌｋに対する処理フレーム距離情報ＣｕｒＤｅｐｔｈ［ｂｌｋ］（画素ごとに１つ距離情報を持つため距離情報の集合となる）を用いて，ブロックｂｌｋに対する１つの代表距離情報ｄｅｐを生成し［Ｃ４２０４］，その代表距離情報ｄｅｐを用い復号対象フレームのブロックｂｌｋに対応する参照フレーム上のブロックｂｌｋ′を求め［Ｃ４２０５］，そのブロックにおける参照フレームの画像信号を視点合成画像とする。

代表距離情報ｄｅｐはブロックｂｌｋにおけるＣｕｒＤｅｐｔｈ［ｂｌｋ］の代表値となるため，ＣｕｒＤｅｐｔｈ［ｂｌｋ］の平均値や中央値，または最も多く現れる値などを用いて表すことができる。

ブロックｂｌｋに対応する参照フレーム上のブロックｂｌｋ′を求める処理では，ブロックｂｌｋの中央またはブロックの角の座標をｂｌｋ_pel として，上記（式３）を用いて求まったｃｐをブロックｂｌｋの中央またはブロックの角の座標とすることで求めることができる。

〔多視点映像復号装置（第２の実施例）〕
次に，本発明の第２の実施例（以下，実施例２）について説明する。ここで説明する実施例２では，Ｎ個のカメラで撮影された多視点動画像の符号化データを復号する場合を想定し，カメラ１〜カメラＮ−１で撮影された映像を参照画像として，カメラＮで撮影された映像を復号する方法について説明を行う。なお，本実施例において特別な説明がない限り，参考例２で用いた記号は同様の意味で用いる。

実施例２に係る多視点映像復号装置の構成図を図１４に示す。図１４に示すように，多視点映像復号装置４００は，復号対象となるカメラＮのフレームの符号化データを入力する符号化データ入力部４０１と，入力された符号化データを蓄積する符号化データメモリ４０２と，参照フレームとなるカメラ１からカメラＮ−１のフレームを入力する参照カメラ画像入力部４０３と，その参照フレーム群を蓄積する参照カメラ画像メモリ４０４と，各参照フレームに対する距離情報を入力する参照カメラ距離情報入力部４０５と，カメラの投影モデルを利用して距離情報を三次元空間へ逆投影する距離情報逆投影部４０６と，カメラの投影モデルに従って三次元点をカメラＮへと再投影する距離情報再投影部４０７と，各参照距離情報を変換することで得られた距離情報群を一時的に蓄積する処理フレーム距離情報候補メモリ４０８と，各参照距離情報から変換することで得られた距離情報群を１つの復号対象フレームに対する距離情報へと統合する距離情報統合部４０９と，生成された復号対象フレームに対する距離情報を蓄積する処理フレーム距離情報メモリ４１０と，参照フレームの映像信号と処理フレーム距離情報とから必要に応じて復号対象フレームの合成画像を生成する視点合成画像生成部４１１と，その生成された合成画像を予測画像として使用しながら復号対象フレームを復号する画像復号部４１２とを備える。

図１５に，このようにして構成される多視点映像復号装置４００の実行する処理フローを示す。この処理フローに従って，実施例２の多視点映像復号装置４００の実行する処理について詳細に説明する。

まず，参照距離情報の入力し各参照距離情報を復号対象フレームに対する距離情報の候補へと変換する。つまり，参照するカメラのインデックスをｒｅｆとすると，ｒｅｆを０で初期化した後［Ｄ１］，ｒｅｆに１を加算しながら［Ｄ４］，ｒｅｆがＮ−１になるまで［Ｄ５］，参照カメラ距離情報入力部４０５よりカメラｒｅｆに対する参照距離情報ＲｅｆＤｅｐｔｈ_ref を入力し［Ｄ２］，参照距離情報ＲｅｆＤｅｐｔｈ_ref から復号対象フレームに対する距離情報の候補であるところの処理フレーム距離情報候補ＴｅｍｐＤｅｐｔｈ_ref を生成し処理フレーム距離情報候補メモリ４０８に一時的に蓄える処理［Ｄ３］を繰り返す。処理Ｄ３は上記参考例２の処理Ｃ２で行われる処理と同じである。ただし，処理Ｃ２における参照距離情報ＲｅｆＤｅｐｔｈを参照距離情報ＲｅｆＤｅｐｔｈ_ref に，処理フレーム距離情報ＣｕｒＤｅｐｔｈを処理フレーム距離情報候補ＴｅｍｐＤｅｐｔｈ_ref に，カメラ１をカメラｒｅｆに，カメラ２をカメラＮに，距離情報逆投影部３０６を距離情報逆投影部４０６，距離情報再投影部３０７を距離情報再投影部４０７に，それぞれ読み替える必要がある。

全ての参照距離情報に関する処理が終了したならば，距離情報統合部４０９で，処理フレーム距離情報候補群から，処理フレーム距離情報ＣｕｒＤｅｐｔｈを生成し，処理フレーム距離情報メモリ４１０に蓄積する［Ｄ６］。ここでの処理は，実施例１の処理Ｂ６と同じである。実施例１の場合と同様に，この処理Ｄ６が終了した後は，処理フレーム距離情報候補メモリに蓄積した参照フレーム距離情報候補を開放してもかまわない。

処理フレーム距離情報が生成されたならば，参照カメラ画像入力部４０３より参照フレームＲｅｆ_ref となるカメラｒｅｆの画像を入力して参照カメラ画像メモリ４０４に蓄積し，符号化データ入力部４０１より符号化データを入力して符号化データメモリ４０２に蓄える［Ｄ７］。

そして，視点合成画像生成部４１１で参照フレームと処理フレーム距離情報とを用いて，復号単位ブロックごとに必要に応じて視点合成画像を生成しながら，画像復号部４１２で符号化データより復号対象フレームを復号する［Ｄ８］。ここでの処理は，参考例２における処理Ｃ４の処理と同じである。ただし，実施例２では複数の参照フレームが存在するため，復号単位ブロックごとに符号化データに含まれる参照フレームを指定する情報を復号し，その参照フレームにおける対応画素や対応ブロックを求め，その領域の映像信号を視点合成画像とする。また，Ｈ．２６４／ＡＶＣの双予測のように，複数の参照フレームを使用して符号化されていることを示すデータが符号化データに含まれていた場合，指定された参照フレームそれぞれに対して視点合成画像を生成し，その平均値を新たな視点合成画像としてもかまわない。

図１６は，図１４に示す多視点映像復号装置４００の派生形の実施の形態を示している。実施例２として説明した多視点映像復号装置４００に，図１６に示す多視点映像復号装置４００′のように，入力された参照距離情報群を蓄積するための参照カメラ距離情報メモリ４１３を追加することで，オクルージョンを考慮した視点合成画像の生成を可能にしている。

この場合の多視点映像復号の処理フローは，前述の実施例２におけるフローと同じであるが，処理Ｄ８内の視点合成画像を生成する部分の処理は，前述の実施例１の際に，図９を用いて説明した処理と同じである。ただし，符号化対象という記載は復号対象と読み替える必要がある。

以上説明した処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

また，以上の実施の形態では多視点映像符号化装置および多視点映像復号装置を中心に説明したが，これら多視点映像符号化装置および多視点映像復号装置の各部の動作に対応したステップによって本発明の多視点画像符号化方法および多視点画像復号方法を実現することができる。

以上の実施の形態による作用・効果について説明する。

（１）メモリ使用量の削減
本実施の形態では，処理対象フレームに対する視差補償画像を生成して蓄積するのではなく，処理視点に対する距離情報（処理フレーム距離情報）を生成して蓄積する。一般に映像信号は蓄積に３チャンネルを使用するが，距離情報は１チャンネルで済む。したがって，視差補償に必要なメモリを約３分の１に削減できる。これは，例えば符号化時においては，図２に示す処理Ａ２，Ａ４の作用，復号時においては，図１１に示す処理Ｃ２，Ｃ４の作用による。予測信号の生成では，処理フレーム距離情報における処理ブロックの距離情報から，視差ベクトルを計算し，参照フレームから１ブロック分の映像信号を複写することで実現する。

（２）視差補償が使用されていないブロックに対するデコード処理の高速化
従来技術では，視差補償予測の予測信号の生成処理は処理対象フレーム全体に対して行われるため，処理ブロックごとに視差補償予測の必要性を判定して，その予測信号の生成処理を省略することはできない。これに対し，本実施の形態では，視差補償予測の予測信号の生成処理が処理ブロックごとに行われるようになっているため，必要な処理ブロックだけカメラ間予測の予測信号を生成することで，不必要な処理ブロックのカメラ間予測の予測信号を生成する処理を省略することができる。これは，例えば図１２に示す処理Ｃ４１０２の判定処理によって，処理Ｃ４１０３を実行するか処理［Ｃ４１０４−Ｃ４１０９］を実行するかを切り分けることによって実現される。

（３）符号化効率の向上
本実施の形態では，予測信号にブロックノイズが発生するのを抑制することが可能になる。従来技術では，参照フレームの画素ごとに設定された視差ベクトルを用いて視差補償画像を生成するため，処理ブロックでいくつの視差ベクトルを使用するか制御することができない。処理ブロック内で複数の視差ベクトルを用いると，予測信号が不連続になるため，周波数領域での残差符号化効率が低下する。これに対し，本実施の形態では，例えば図２の処理Ａ４，図１１の処理Ｃ４において，処理ブロックごとに使用する視差ベクトルの数を制御することで，処理ブロック内での不連続性をなくすことができる。

以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものでないことは明らかである。したがって，本発明の精神および範囲を逸脱しない範囲で構成要素の追加，省略，置換，その他の変更を行っても良い。

参考例１の多視点映像符号化装置の構成例を示す図である。 参考例１における多視点映像符号化装置の処理フローチャートである。 参照カメラが１つの場合の参照距離情報から処理フレーム距離情報を生成する処理を詳細に示したフローチャートである。 ブロック毎に視点合成画像を画素ベースで生成しながら符号化対象フレームを符号化する処理を詳細に示したフローチャートである。 ブロック毎に視点合成画像をブロックベースで生成しながら符号化対象フレームを符号化する処理を詳細に示したフローチャートである。 実施例１の多視点映像符号化装置の構成例を示す図である。 実施例１における多視点映像符号化装置の処理フローチャートである。 実施例１の多視点映像符号化装置の派生形である多視点映像符号化装置の構成例を示す図である。 オクルージョンを考慮しながら視点合成画像を生成する処理を詳細に示したフローチャートである。 参考例２の多視点映像復号装置の構成例を示す図である。 参考例２における多視点映像復号装置の処理フローチャートである。 必要に応じて画素ベースで視点合成画像を生成しながらブロック毎に復号対象フレームを復号する処理を詳細に示したフローチャートである。 必要に応じてブロックベースで視点含成画像を生成しながらブロック毎に復号対象フレームを復号する処理を詳細に示したフローチャートである。 実施例２の多視点映像復号装置の構成例を示す図である。 実施例２における多視点映像復号装置の処理フローチャートである。 実施例２の多視点映像復号装置の派生形である多視点映像復号装置の構成例を示す図である。 カメラ間で発生する視差を概念的に示した図である。 カメラ間に存在するエピポーラ幾何拘束を概念的に示した図である。 従来の符号化処理の全体の処理フローチャートである。 図１９の信号符号化処理Ｘ４を詳細に示したフローチャートである。 従来の復号処理の全体の処理フローチャートである。 図２１の信号復号処理Ｙ４を詳細に示したフローチャートである。

符号の説明

１００，２００ 多視点映像符号化装置
１０１，２０１ 符号化対象画像入力部
１０２，２０２ 符号化対象画像メモリ
１０３，２０３，３０３，４０３ 参照カメラ画像入力部
１０４，２０４，３０４，４０４ 参照カメラ画像メモリ
１０５，２０５，３０５，４０５ 参照カメラ距離情報入力部
１０６，２０６，３０６，４０６ 距離情報逆投影部
１０７，２０７，３０７，４０７ 距離情報再投影部
１０８，２１０，３０８，４１０ 処理フレーム距離情報メモリ
１０９，２１１，３０９，４１１ 視点合成画像生成部
１１０，２１２ 画像符号化部
２０８，４０８ 処理フレーム距離情報候補メモリ
２０９，４０９ 距離情報統合部
２１３，４１３ 参照カメラ距離情報メモリ
３００，４００ 多視点映像復号装置
３０１，４０１ 符号化データ入力部
３０２，４０２ 符号化データメモリ
３１０，４１２ 画像復号部

Claims (24)

1. 多視点画像を符号化するにあたり，それぞれ異なるカメラで撮影された複数の参照画像に対するカメラから被写体までの距離を示す参照距離情報群を用いて，カメラ間の画像予測をしながら多視点画像を符号化する多視点画像符号化方法において，
   符号化対象画像を符号化するにあたってカメラ間の画像信号の予測に用いる，既に符号化済みのカメラ画像を復号した参照カメラ画像を設定する参照カメラ画像設定ステップと，
   前記参照距離情報から，参照カメラ画像に撮影された被写体上の点の三次元座標を計算する距離情報逆投影ステップと，
   前記距離情報逆投影ステップで得られた三次元座標値を持つ被写体上の各点を，符号化対象画像を撮影したカメラに投影することで，符号化対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報再投影ステップと，
   符号化対象画像の画素ごとに，その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて，その画素における符号化対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合ステップと，
   符号化対象画像の画素ごとに，その画素における前記処理フレーム距離情報を用いて，前記参照カメラ画像上の対応画素を同定し，その対応画素における画像信号を用いて，その画素における視点合成画像を生成する視点合成画像生成ステップと，
   前記視点合成画像生成ステップで生成された視点合成画像を予測画像の候補として用いて，符号化対象画像を符号化する画像符号化ステップと，
   を有することを特徴とする多視点画像符号化方法。
2. 請求項１に記載の多視点画像符号化方法において，
   前記視点合成画像生成ステップでは，符号化対象画像の画素ごとに，その画素における前記処理フレーム距離情報を用いて，前記参照カメラ画像上の対応画素と，前記参照カメラ画像を撮影したカメラからその対応画素における被写体までの距離を表す復元距離情報とを同定し，復元距離情報とその対応画素に対して与えられた前記参照距離情報との差が，予め定められた範囲内の場合にのみ，その画素における視点合成画像を生成すること
   を特徴とする多視点画像符号化方法。
3. 請求項１または請求項２に記載の多視点画像符号化方法において，
   前記視点合成画像生成ステップでは，符号化対象画像のブロックごとに，そのブロックに含まれる画素に対する前記処理フレーム距離情報から１つの代表距離情報を生成し，その代表距離情報を用いて，そのブロックに対する参照カメラ画像上の対応領域を同定することで，符号化対象画像の画素に対する対応画素を同定すること
   を特徴とする多視点画像符号化方法。
4. 請求項１から請求項３までのいずれか１項に記載の多視点画像符号化方法において，
   前記処理フレーム距離情報を実空間での連続性を仮定した補正方法を用いて補正する距離情報補正ステップを有し，
   前記視点合成画像生成ステップでは，前記距離情報補正ステップで補正された処理フレーム距離情報を用いること
   を特徴とする多視点画像符号化方法。
5. 請求項１から請求項４までのいずれか１項に記載の多視点画像符号化方法において，
   前記視点合成画像生成ステップと前記画像符号化ステップとを，符号化単位ブロックごとに交互に行うことで，視点合成画像を同時には高々符号化単位ブロック分しか生成しないこと
   を特徴とする多視点画像符号化方法。
6. 多視点画像を符号化した符号化データを復号するにあたり，カメラ間予測に用いる参照画像を撮影したカメラから被写体までの距離を示す，複数の参照画像のそれぞれに対する参照距離情報を用いて，カメラ間の画像予測をしながら多視点画像を復号する多視点画像復号方法において，
   復号対象画像を復号するにあたってカメラ間の画像信号の予測に用いる，既に復号済みの参照カメラ画像を設定する参照カメラ画像設定ステップと，
   前記参照距離情報から，参照カメラ画像に撮影された被写体上の点の三次元座標を計算する距離情報逆投影ステップと，
   前記距離情報逆投影ステップで得られた三次元座標値を持つ被写体上の各点を，復号対象画像を撮影したカメラに投影することで，復号対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報再投影ステップと，
   復号対象画像の画素ごとに，その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて，その画素における復号対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合ステップと，
   復号対象画像の画素ごとに，その画素がカメラ間の画像予測を用いて符号化されている場合に限り，その画素における前記処理フレーム距離情報を用いて，前記参照カメラ画像上の対応画素を同定し，その対応画素における画像信号を用いて，その画素における視点合成画像を生成する視点合成画像生成ステップと，
   前記視点合成画像生成ステップで生成された視点合成画像を予測画像として用いて，復号対象画像を復号する画像復号ステップと，
   を有することを特徴とする多視点画像復号方法。
7. 請求項６に記載の多視点画像復号方法において，
   前記視点合成画像生成ステップでは，復号対象画像の画素ごとに，その画素がカメラ間の画像予測を用いて符号化されている場合に限り，その画素における前記処理フレーム距離情報を用いて，前記参照カメラ画像上の対応画素と，前記参照カメラ画像を撮影したカメラからその対応画素における被写体までの距離を表す復元距離情報とを同定し，復元距離情報とその対応画素に対して与えられた前記参照距離情報との差が，予め定められた範囲内の場合にのみ，その画素における視点合成画像を生成すること
   を特徴とする多視点画像復号方法。
8. 請求項６または請求項７に記載の多視点画像復号方法において，
   前記視点合成画像生成ステップでは，復号対象画像のブロックごとに，そのブロックがカメラ間の画像予測を用いて符号化されている場合に限り，そのブロックに含まれる画素に対する前記処理フレーム距離情報から１つの代表距離情報を生成し，その代表距離情報を用いて，そのブロックに対する参照カメラ画像上の対応領域を同定することで，復号対象画像の画素に対する対応画素を同定すること
   を特徴とする多視点画像復号方法。
9. 請求項６から請求項８までのいずれか１項に記載の多視点画像復号方法において，
   前記処理フレーム距離情報を実空間での連続性を仮定した補正方法を用いて補正する距離情報補正ステップを有し，
   前記視点合成画像生成ステップでは，前記距離情報補正ステップで補正された処理フレーム距離情報を用いること
   を特徴とする多視点画像復号方法。
10. 請求項６から請求項９までのいずれか１項に記載の多視点画像復号方法において，
    前記視点合成画像生成ステップと前記画像復号ステップとを，復号単位ブロックごとに交互に行うことで，視点合成画像を同時には高々復号単位ブロック分しか生成しないこと
    を特徴とする多視点画像復号方法。
11. 多視点画像を符号化するにあたり，それぞれ異なるカメラで撮影された複数の参照画像に対するカメラから被写体までの距離を示す参照距離情報群を用いて，カメラ間の画像予測をしながら多視点画像を符号化する多視点画像符号化装置において，
    符号化対象画像を符号化するにあたってカメラ間の画像信号の予測に用いる，既に符号化済みのカメラ画像を復号した参照カメラ画像を設定する参照カメラ画像設定手段と，
    前記参照距離情報から，参照カメラ画像に撮影された被写体上の点の三次元座標を計算する距離情報逆投影手段と，
    前記距離情報逆投影手段で得られた三次元座標値を持つ被写体上の各点を，符号化対象画像を撮影したカメラに投影することで，符号化対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報再投影手段と，
    符号化対象画像の画素ごとに，その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて，その画素における符号化対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合手段と，
    符号化対象画像の画素ごとに，その画素における前記処理フレーム距離情報を用いて，前記参照カメラ画像上の対応画素を同定し，その対応画素における画像信号を用いて，その画素における視点合成画像を生成する視点合成画像生成手段と，
    前記視点合成画像生成手段で生成された視点合成画像を予測画像の候補として用いて，符号化対象画像を符号化する画像符号化手段と，
    を備えることを特徴とする多視点画像符号化装置。
12. 請求項１１に記載の多視点画像符号化装置において，
    前記視点合成画像生成手段は，符号化対象画像の画素ごとに，その画素における前記処理フレーム距離情報を用いて，前記参照カメラ画像上の対応画素と，前記参照カメラ画像を撮影したカメラからその対応画素における被写体までの距離を表す復元距離情報とを同定し，復元距離情報とその対応画素に対して与えられた前記参照距離情報との差が，予め定められた範囲内の場合にのみ，その画素における視点合成画像を生成すること
    を特徴とする多視点画像符号化装置。
13. 請求項１１または請求項１２に記載の多視点画像符号化装置において，
    前記視点合成画像生成手段は，符号化対象画像のブロックごとに，そのブロックに含まれる画素に対する前記処理フレーム距離情報から１つの代表距離情報を生成し，その代表距離情報を用いて，そのブロックに対する参照カメラ画像上の対応領域を同定することで，符号化対象画像の画素に対する対応画素を同定すること
    を特徴とする多視点画像符号化装置。
14. 請求項１１から請求項１３までのいずれか１項に記載の多視点画像符号化装置において，
    前記処理フレーム距離情報を実空間での連続性を仮定した補正方法を用いて補正する距離情報補正手段を備え，
    前記視点合成画像生成手段は，前記距離情報補正手段で補正された処理フレーム距離情報を用いること
    を特徴とする多視点画像符号化装置。
15. 請求項１１から請求項１４までのいずれか１項に記載の多視点画像符号化装置において，
    前記視点合成画像生成手段と前記画像符号化手段とを，符号化単位ブロックごとに交互に動作させることで，視点合成画像を同時には高々符号化単位ブロック分しか生成しないこと
    を特徴とする多視点画像符号化装置。
16. 多視点画像を符号化した符号化データを復号するにあたり，カメラ間予測に用いる参照画像を撮影したカメラから被写体までの距離を示す，複数の参照画像のそれぞれに対する参照距離情報を用いて，カメラ間の画像予測をしながら多視点画像を復号する多視点画像復号装置において，
    復号対象画像を復号するにあたってカメラ間の画像信号の予測に用いる，既に復号済みの参照カメラ画像を設定する参照カメラ画像設定手段と，
    前記参照距離情報から，参照カメラ画像に撮影された被写体上の点の三次元座標を計算する距離情報逆投影手段と，
    前記距離情報逆投影手段で得られた三次元座標値を持つ被写体上の各点を，復号対象画像を撮影したカメラに投影することで，復号対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報再投影手段と，
    復号対象画像の画素ごとに，その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて，その画素における復号対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合手段と，
    復号対象画像の画素ごとに，その画素がカメラ間の画像予測を用いて符号化されている場合に限り，その画素における前記処理フレーム距離情報を用いて，前記参照カメラ画像上の対応画素を同定し，その対応画素における画像信号を用いて，その画素における視点合成画像を生成する視点合成画像生成手段と，
    前記視点合成画像生成手段で生成された視点合成画像を予測画像として用いて，復号対象画像を復号する画像復号手段と，
    を備えることを特徴とする多視点画像復号装置。
17. 請求項１６に記載の多視点画像復号装置において，
    前記視点合成画像生成手段は，復号対象画像の画素ごとに，その画素がカメラ間の画像予測を用いて符号化されている場合に限り，その画素における前記処理フレーム距離情報を用いて，前記参照カメラ画像上の対応画素と，前記参照カメラ画像を撮影したカメラからその対応画素における被写体までの距離を表す復元距離情報とを同定し，復元距離情報とその対応画素に対して与えられた前記参照距離情報との差が，予め定められた範囲内の場合にのみ，その画素における視点合成画像を生成すること
    を特徴とする多視点画像復号装置。
18. 請求項１６または請求項１７に記載の多視点画像復号装置において，
    前記視点合成画像生成手段は，復号対象画像のブロックごとに，そのブロックがカメラ間の画像予測を用いて符号化されている場合に限り，そのブロックに含まれる画素に対する前記処理フレーム距離情報から１つの代表距離情報を生成し，その代表距離情報を用いて，そのブロックに対する参照カメラ画像上の対応領域を同定することで，復号対象画像の画素に対する対応画素を同定すること
    を特徴とする多視点画像復号装置。
19. 請求項１６から請求項１８までのいずれか１項に記載の多視点画像復号装置において，
    前記処理フレーム距離情報を実空間での連続性を仮定した補正方法を用いて補正する距離情報補正手段を備え，
    前記視点合成画像生成手段は，前記距離情報補正手段で補正された処理フレーム距離情報を用いること
    を特徴とする多視点画像復号装置。
20. 請求項１６から請求項１９までのいずれか１項に記載の多視点画像復号装置において，
    前記視点合成画像生成手段と前記画像復号手段とを，復号単位ブロックごとに交互に動作させることで，視点合成画像を同時には高々復号単位ブロック分しか生成しないこと
    を特徴とする多視点画像復号装置。
21. 請求項１から請求項５までのいずれか１項に記載の多視点画像符号化方法をコンピュータに実行させるための多視点画像符号化プログラム。
22. 請求項１から請求項５までのいずれか１項に記載の多視点画像符号化方法をコンピュータに実行させるための多視点画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
23. 請求項６から請求項１０までのいずれか１項に記載の多視点画像復号方法をコンピュータに実行させるための多視点画像復号プログラム。
24. 請求項６から請求項１０までのいずれか１項に記載の多視点画像復号方法をコンピュータに実行させるための多視点画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images