JP4964827B2 - 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は，多視点距離情報の符号化および復号技術に関するものである。

多視点画像とは，複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり，多視点動画像（多視点映像）とは，その動画像のことである。また，ここで言う距離情報とは，ある画像に対して与えられる領域ごとのカメラから被写体までの距離を表す情報である。多視点距離情報とは，多視点画像に対する距離情報であり，通常の距離情報複数個からなる集合となる。カメラから被写体までの距離はシーンの奥行きということもできるため，距離情報は奥行き情報と呼ばれることもある。

一般に，このような距離情報は，カメラで撮影された結果の２次元平面に対して与えられるため，その距離を画像の画素値にマッピングすることで距離画像として表される。２次元平面のある点に対する情報としては，１つの距離という情報のみになるため，グレースケール画像として表現することが可能である。なお，距離画像は奥行き画像やデプスマップ(Depth Map) と呼ばれることもある。

距離情報の利用用途の１つとして立体画像がある。一般的な立体画像の表現は，観測者の右目用の画像と左目用の画像からなるステレオ画像であるが，あるカメラにおける画像とその距離情報とを用いて立体画像を表現することができる（詳しい技術は非特許文献１を参照）。

このような１視点における映像と距離情報とを用いて表現された立体映像を符号化する方式には，ＭＰＥＧ−Ｃ Ｐａｒｔ．３（ＩＳＯ／ＩＥＣ ２３００２−３）を使用することが可能である（詳しい内容は非特許文献２を参照）。

多視点距離情報は，単視点の距離情報を用いて表現可能な立体映像よりも，大きな視差を持った立体映像を表現するのに利用される（詳細は非特許文献３を参照）。

また，このような立体映像を表現する用途以外に，多視点距離情報は，鑑賞者が撮影カメラの配置を気にせずに自由に視点を移動できる自由視点映像を生成するデータの１つとしても使用される。このような撮影カメラとは別のカメラからシーンを見ているとしたときの合成画像を任意視点画像と呼ぶことがあり，Image-based Rendering の分野で盛んにその生成法が検討されている。多視点映像と多視点距離情報とから任意視点映像を生成する代表的な手法としては，非特許文献４に記載の手法がある。

前述の通り，距離情報はグレースケール動画像とみなすことができ，被写体は実空間上で連続的に存在し，瞬間的に移動することができないため，画像信号と同様に空間的相関および時間的相関を持つと言える。したがって，通常の映像信号を符号化するために用いられる画像符号化方式や動画像符号化方式によって，距離情報は空間的冗長性や時間的冗長性を取り除きながら効率的に符号化される。実際にＭＰＥＧ−Ｃ Ｐａｒｔ．３では，既存の動画像符号化方式を用いて距離情報の符号化を行っている。

ここで，従来の一般的な映像信号の符号化方式について説明する。一般に被写体が実空間上で空間的および時間的連続性を持つことから，その見え方は空間的および時間的に高い相関をもつ。映像信号の符号化ではそのような相関性を利用して高い符号化効率を達成している。

具体的には，符号化対象ブロックの映像信号を既に符号化済みの映像信号から予測して，その予測残差のみを符号化することで，符号化される必要のある情報を減らし，高い符号化効率を達成する。代表的な映像信号の予想の手法としては，単視点映像では，隣接するブロックから空間的に予測信号を生成する画面内予測や，近接時刻に撮影された符号化済みフレームから被写体の動きを推定して時間的に予測信号を生成する動き補償予測があり，多視点映像では，これらの他に別のカメラで撮影された符号化済みフレームから被写体の視差を推定してカメラ間で予測信号を生成する視差補償予測がある。各手法の詳細は，非特許文献５，非特許文献６などに記載されている。

また，多視点距離情報を符号化するにあたって，多視点距離情報を三次元モデルに変換して符号化することもできる。多視点距離情報から三次元モデルを構築する手法としては，非特許文献７に記載された技術がある。

図９に，多視点距離情報から三次元モデルを生成して，三次元モデルを符号化する従来手法のフローチャートを示す。

入力された多視点距離情報を構成する入力視点カメラを表すインデックスをｖｉｅｗとし，多視点距離情報を構成する視点数をｎｕｍＶｉｅｗｓとする。まず，入力視点カメラごとの距離情報Ｄ_viewを入力する［Ｘ１］。次に，ｖｉｅｗを０に初期化した後［Ｘ２］，ｖｉｅｗに１を加算しながら［Ｘ４］，ｖｉｅｗがｎｕｍＶｉｅｗｓになるまで［Ｘ５］，距離情報Ｄ_viewから被写体の三次元点を復元する［Ｘ３］。すべての入力視点カメラｖｉｅｗの距離情報から復元した被写体の三次元点から三次元モデルを計算し［Ｘ６］，その三次元モデルを符号化する［Ｘ７］。

このようにして生成された三次元モデルの符号化データを復号すれば，デコーダ側で任意の視点からの距離情報を求めることができる。

また，非特許文献８には，距離情報を補助情報として用いながら，全体的に効率的な多視点映像符号化を実現するための符号化手法が記載されている。
C. Fehn ，P. Kauff，M. Op de Beeck，F. Emst ，W. IJsselsteijn ，M. Pollefeys，L. Van Gool ，E. Ofek and I. Sexton ，"An Evolutionary and Optimised Approach on 3D-TV "，Proceedings of International Broadcast Conference ，pp.357-365，Amsterdam ，The Netherlands ，September 2002. W.H.A. Bruls，C. Varekamp ，R. Klein Gunnewiek，B. Barenbrug and A. Bourge，"Enabling Introduction of Stereoscopic(3D) Video: Formats and Compression Standards"，Proceedings of IEEE International Conference on Image Processing，pp.I-89-I-92，San Antonio ，USA ，September 2007. A. Smolic ，K. Mueller，P. Merkle ，N. Atzpadin ，C. Fehn ，M. Mueller，O. Schreer，R. Tanger ，P. Kauff and T. Wiegand ，"Multi-view video plus depth(MVD) format for advanced 3D video systems "，Joint Video Team of ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6 ，Doc. JVT-W100 ，San Jose，USA ，April 2007. C. L. Zitnick ，S. B. Kang，M. Uyttendaele，S. A. J. Winder and R. Szeliski ，"High-quality Video View Interpolation Using a Layered Representation", ACM Transactions on Graphics，vol.23，no.3，pp.600-608，August 2004. ITU-T Rec.H.264/ISO/IEC 11496-10，"Advanced Video Coding "，Final Committee Draft ，Document JVT-E022 ，September 2002． H. Kimata and M. Kitahara ，"Preliminary results on multiple view video coding(3DAV) "，document M10976 MPEG Redmond Meeting，July，2004. M. I. Fanany，and I. Kumazawa ，"A neural network for recovering 3D shape from erroneous and few depth maps of shaded images "，Pattern Recogn. Lett. ，vol.25，no.4，pp.377-389，Mar. 2004. Shinya Shimizu，Masaki Kitahara ，Hideaki Kimata，Kazuto Kamikura and Yoshiyuki Yashima ．"View Scalable Multiview Video Coding using 3-D Warping with Depth Map "，IEEE Transactions on Circuits and Systems for Video Technology，Vol.17，No.11 ，pp.1485-1495，2007.

被写体は実空間上で連続であるため高い空間相関をもち，瞬間的に移動することが不可能であるため高い時間相関を持つ。したがって，空間相関と時間相関とを利用する既存の映像符号化方式を用いることで，グレースケール画像として表した距離情報を効率的に符号化することが可能である。

また，カメラ間相関を利用する既存の多視点映像符号化方式を用いることで，グレースケール画像群として表した多視点距離情報を効率的に符号化することが可能である。

しかしながら，カメラによって被写体の絶対位置は変化しないため，各カメラの距離情報を符号化する既存の手法を用いた場合，精度良く予測が行えたとしても，本質的には同じ意味を表す情報を重複して符号化していることになり，効率的な多視点距離情報の符号化を実現することができない。

与えられた多視点距離情報から撮影した被写体の三次元モデルを構築して，その三次元モデルを符号化することで，同じ被写体上の点の位置を示す情報を複数回符号化するのを回避することが可能である。多視点距離情報から三次元モデルを構築する手法としては，非特許文献７に記載されている方法がある。この方法を用いれば，本質的に同じ意味を持つ情報を重複して符号化しなくてもよい。しかしながら，この方法では，各視点で独立していた多視点距離情報を，１箇所にまとめて独立性を排除して処理を行う。そして，１つの高品質な三次元モデルを構築するためにはグローバルな最適化問題を繰り返し演算などによって解く必要がある。このため，非常に多くの並列化できない演算が必要となってしまうという問題がある。

さらに，三次元モデルを用いることで同じ情報が重複することはなくなるが，一般的な三次元モデル表現である三次元メッシュモデルでは，静的シーンであってもメッシュの各頂点の三次元座標とそれら頂点の連結情報を符号化しなければならない。これにより効率的な符号化を実現できない。動的シーンでは，さらにフレームごとに変化するメッシュ情報である動的３次元メッシュモデルを符号化する必要が生じ，グレースケール映像で表される動的距離情報よりも効率的な符号化が困難である。

本発明は係る事情に鑑みてなされたものであって，多視点距離情報をいくつかの代表視点における広範囲距離情報に統合することで，効率的な多視点距離情報符号化を並列演算可能な手法で実現することを目的とする。

前述の課題を解決するために，本発明では多視点距離情報を符号化するに当たり，１つまたは複数の代表視点カメラを定め，符号化対象の多視点距離情報から代表視点カメラに対する広範囲距離情報を生成し，その代表視点カメラごとに得られる広範囲距離情報を符号化することで，効率的な多視点距離情報符号化を実現する。

多視点距離情報から広範囲距離情報を生成する処理は，次の３段階の処理によって構成される。
（１）まず，入力された多視点距離情報を構成する各距離情報から，それに対するカメラ情報を用いて被写体上の三次元点を復元する。
（２）次に，復元された各三次元点が代表視点カメラによって撮影される投影面上の位置を同定し，その位置に対して代表視点カメラからその三次元点までの距離を割り当てる。
（３）最後に，代表視点カメラの投影面上の位置ごとに複数得られた距離から１つの距離を選択する。

つまり，広域距離情報の生成処理は，入力視点カメラによってサンプリングされた点を逆投影して求める処理と，求められた点を代表視点カメラに対して再投影する処理とを用いて構成される。これらの処理は物理現象を利用しているため，カメラによる射影変換を十分にモデル化することが可能であれば非常に高い精度で代表視点カメラに対する広範囲距離情報を構築することができる。

このような処理により多視点距離情報を広範囲距離情報へと変換することによって，入力視点カメラごとに与えられた同じ被写体に対する距離情報が，代表視点カメラにおいては１つの距離情報となるため，本発明によって同じ被写体に対する距離情報は設定した代表視点カメラの個数だけ符号化すればよくなる。つまり，多視点距離情報を構成する入力視点カメラの個数と同じ回数も三次元位置を表す距離情報を符号化するのを避けることができるため，効率的な符号化が可能となる。

さらに，多視点距離情報のまま符号化する場合には，撮影空間が複数に分割されるため，その分割された空間をまたぐような相関を利用して符号化することができない。一方，広範囲距離情報に変換して符号化する場合，三次元モデルのように効率的な符号化が困難な表現ではないだけでなく，被写体位置の空間相関や時間相関をシーン全体で利用できるようになるため，この点に関しても本発明が効率的な符号化を実現できると言える。

なお，たとえ広範囲距離情報を生成する場合であっても，常に１つの代表視点カメラしか用いない場合には，オクルージョンが発生する部分の距離情報を表現することができない。しかしながら，本発明において，複数の代表視点カメラを設定した場合には，オクルージョンが発生する部分の距離情報を表現することができる。

多視点距離情報には同じ被写体上の点に対する距離が複数含まれているため，広範囲距離情報を生成する過程で，復元した三次元点を代表視点カメラへ再投影すると，同じ位置に対して複数の三次元点が投影される。このとき，各三次元点は必ずしも同じ距離を与えるとは限らない。この距離の揺らぎはサンプリング間隔の違いによる影響，投影処理の精度，ノイズの影響によるものであるため，カメラ投影面上の注目位置を含む予め定められた領域に対して与えられた距離のうち，最も多く現れている距離や中央値，平均値を選択することで，多視点距離情報の測定ノイズを低減し，高品質な広範囲距離情報の生成が可能となる。

また，あるカメラに対して手前に存在する被写体が存在する場合，その被写体よりも遠くに存在する被写体を同じカメラから観測することができない。そのため，カメラ投影面上の注目位置を含む予め定められた領域に対して与えられた距離のうち，最も基準としているカメラに近いことを示す距離を選択することで，物理現象に合致した広範囲距離情報を生成することが可能となる。なお，常に最も近いことを示す距離を選ぶのではなく，明らかに遠方に存在する距離のみを取り除いて平均値などを取ることによって，よりノイズにロバストに高品質な広範囲距離情報を生成することも可能となる。

高品質な広範囲距離情報を生成することは，本質的には無駄な情報である測定誤差に対して符号を浪費することがなくなるため，これらの処理によってさらに効率的な多視点距離情報の符号化が実現できるといえる。

復号装置では，以上のようにして生成され符号化された広範囲距離情報を復号し，その広範囲距離情報によって表される各代表視点カメラを基準とした距離情報から，各画素に撮影された被写体上の三次元点を復元し，復号対象の多視点距離情報を構成する距離情報が基準としている復号対象視点カメラごとに，被写体上の各三次元点に対して，その点が復号対象視点カメラによって撮影される際の投影面上での位置と，その復号対象視点カメラから被写体上の点までの距離とを計算することにより，復号対象視点カメラを基準とした距離情報を生成することができる。ここで，復号対象視点カメラを基準とした距離情報とは，目的とする視点位置におけるカメラで撮影された画像の各画素に対して，その画像を撮影したカメラからその画素に写っている被写体までの距離を表す情報である。

本発明における広範囲距離情報の生成処理は，前述の通り，距離情報を用いた逆投影処理，復元された三次元点の再投影処理，複数の候補から１つの値を決定する処理で構成される。逆投影処理および再投影処理は射影変換を用いた処理であり，各カメラで独立した処理であるため，高速な並列演算によって処理することが可能である。また，最後の複数の候補から１つの値を決定する処理は，入力された多視点距離情報に含まれるノイズ成分を除去するために行われる処理であるため，フィルタ演算などの軽量な処理によって構成することができる。

復号時においても，各代表視点カメラに対する処理，または復号対象視点カメラに対する処理を並列に実行することができ，高速演算が可能である。

以上のように，本発明では，同じ意味を持つ距離情報を多数重複して符号化しないために，入力された多視点距離情報を小数の代表視点カメラに対する広範囲距離情報へと変換して符号化を行う。この広範囲距離情報は多視点距離情報を視点ごとに独立させたまま処理できるため，符号量削減と並列演算処理とを両立することが可能となる。

ある代表視点における広範囲距離情報を符号化する際には，既に符号化済みの別の代表視点における広範囲距離情報から，符号化対象の代表視点の広域距離情報を予測し，その差分のみを符号化することで，さらに効率的な符号化を実現することが可能である。

これは異なる視点であっても，オクルージョンが発生している領域以外においては同じ距離情報を持つため，予測した差分には符号化や測定ノイズに起因する値という小さな値のみが残されることになり，相対的に符号化すべき信号が小さくなることから，効率的な符号化が実現できるといえる。

本発明によれば，視点数が非常に多い場合においても，符号化対象の多視点距離情報から撮影シーンを包含する視野角の広い広範囲距離情報を生成することで，同じ意味を持つ距離情報が多数重複して符号化するのを回避した効率的な多視点距離情報符号化を並列演算可能な手法で実現することが可能となる。

以下，本発明を実施の形態に従って詳細に説明する。なお，以下の説明では，あるカメラに対する距離情報はグレースケール画像として表されるものとする。

〔多視点距離情報符号化装置〕
まず，本発明の実施の形態に係る多視点距離情報符号化装置について説明する。図１に，多視点距離情報符号化装置の構成例を示す。

図１に示すように，多視点距離情報符号化装置１００は，符号化対象となる距離情報入力部１０１と，入力された多視点距離情報を格納する距離情報メモリ１０２と，符号化対象の多視点距離情報が対象としているカメラ群のカメラパラメータ等を入力するカメラ情報入力部１０３と，入力された多視点カメラ情報を格納するカメラ情報メモリ１０４と，広範囲距離情報が基準とするカメラを決定する代表視点設定部１０５と，入力された各カメラに対する距離情報を代表視点に対する距離情報へと変換する距離情報変換部１０６と，変換された距離情報群を蓄積する変換距離情報メモリ１０７と，変換距離情報を用いて代表視点における広範囲距離情報を生成する広範囲距離情報生成部１０８と，生成された広範囲距離情報群を蓄積する広範囲距離情報メモリ１０９と，広範囲距離情報を予測符号化する広範囲距離情報符号化部１１０と，代表視点群のカメラ情報を符号化する代表視点情報符号化部１１１とを備える。

距離情報変換部１０６は，距離情報メモリ１０２に格納された各カメラを基準とした距離情報から，各画素に撮影された被写体上の点の三次元座標を計算する三次元点復元部１０６１と，三次元点復元部１０６１で得られた三次元座標値を持つ被写体上の各点に対して，その点が代表視点カメラによって撮影される際の投影面上での位置と，そのカメラから被写体上の点までの距離を計算する三次元点再投影部１０６２とを備える。

図２に，このようにして構成される多視点距離情報符号化装置１００の実行する処理フローを示す。この処理フローに従って，図１に示す多視点距離情報符号化装置１００が実行する処理について詳細に説明する。

まず，距離情報入力部１０１より，符号化対象となる多視点距離情報が入力され，距離情報メモリ１０２に格納される［Ａ１］。以下では符号化対象となる多視点距離情報の各視点の距離情報を，インデックスｖｉｅｗを用いてＤ_viewと表す。なお，各距離情報に記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで，その視点において特定の画素によってサンプリングされた距離情報を示すものとする。

次に，多視点距離情報が基準としている各カメラのカメラパラメータ等の情報がカメラ情報入力部１０３より入力され，カメラ情報メモリ１０４に格納される［Ａ２］。以下では，Ｄ_viewが基準としているカメラの内部パラメータ行列をＡ_view，回転行列をＲ_view，並進ベクトルをｔ_viewで表す。カメラパラメータの表現法には様々なものがあるため，以下で用いる数式は，カメラパラメータの定義に従って変更する必要がある。

なお，本実施例では，画像座標ｍと世界座標Ｍの対応関係が，次の式で得られるカメラパラメータ表現を用いているものとする。

Ａ，Ｒ，ｔは，それぞれカメラの内部パラメータ行列，回転行列，並進ベクトルを表し，チルダ記号は任意スカラ倍を許した斉次座標を表す。ＡとＲは３×３の行列であり，ｔは三次元ベクトルである。

本実施例では，各時刻・各カメラの距離情報は，グレースケール画像として与えられるものとする。そのグレースケール画像の解像度やカメラから被写体までの距離を画素値に対応付ける際に必要な情報も，処理Ａ２で入力されるカメラ情報に含まれるものとする。例えば，対応付けを行う方法によって必要な情報が変化するが，ルックアップテーブル（Look up table ）や，最小値ＭｉｎＤ_view・最大値ＭａｘＤ_view・ステップ数ＳｔｅｐＤ_viewなどが距離と画素値の対応付けに必要な情報となる。後者の場合，距離ｄを量子化するための計算式Ｓ_view（ｄ）は，距離の値そのものを一様量子化する場合には（式１）で表すことができ，距離の逆数を一様量子化する場合には（式２）で表すことができる。

符号化対象の多視点距離情報に関する入力が終了した後，代表視点設定部１０５において，広範囲距離情報を生成する基準となる代表視点カメラの集合ＲＥＰを決定し［Ａ３］，そのカメラ情報を代表視点情報符号化部１１１で符号化する［Ａ４］。代表視点カメラとして，予め定められたカメラ群を用いても構わないし，外部から与えても構わないし，入力された多視点距離情報やカメラ情報を用いて適切なカメラ群を決定しても構わない。ただし，多視点距離情報によって表されるシーンのほぼ全てをＲＥＰに対する広範囲距離情報がカバーできる必要がある。

例えば，撮影シーンが平面やほぼ無限遠に存在する風景を撮影したものであるならば，ＲＥＰは多視点距離情報の基準となっている多視点カメラのうち任意の１つのカメラ位置で，その視野角をシーン全体をカバーするように拡大したものとなる。また，何らかの単純な物体がある場合には，入力多視点カメラが１次元配列の場合には，基本的に入力多視点カメラのうち両端に存在するカメラと同じ位置で，その視野角が広いものとすることができる。入力情報に応じて自動的にＲＥＰを選択する手法の一例は後で詳しく述べる。

なお，シーンに応じて最小の要素数となるＲＥＰを選択したほうが符号化効率は高まるが，入力多視点カメラの個数から数を十分に減らすことが可能であれば，符号化対象となる信号の量を減らすことができるため，最小でなくても効率的な多視点距離情報の符号化を実現することが可能である。例えば，両端のみだけではなく，さらに中心のカメラ位置も代表視点カメラに含めても十分効率的な符号化を実現可能である。

本実施例では，入力された多視点距離情報に対して毎回代表視点カメラ群を決定することになっているが，時間的に連続したシーンに対する複数の多視点距離情報を符号化する場合には，前回決定された代表視点カメラ群を繰り返し用いることで，代表視点カメラ群の決定処理および代表視点カメラ情報の符号化処理を省略することが可能である。

代表視点カメラが決定したならば，入力された多視点距離情報から各代表視点カメラにおける広範囲距離情報を生成し符号化する［Ａ５−Ａ１４］。つまり，ＲＥＰに含まれる代表視点カメラを識別するインデックスをｒｅｐとし，ＲＥＰの要素数をｎｕｍＲｅｐｓとすると，ｒｅｐを０に初期化した後［Ａ５］，ｒｅｐに１を加算しながら［Ａ１３］，ｒｅｐがｎｕｍＲｅｐｓになるまで［Ａ１４］，以下の処理［Ａ６−Ａ１２］を繰り返す。

代表視点カメラごとに行われる処理では，まず，広範囲距離情報の生成が行われ［Ａ６−Ａ１１］，その後，生成された広範囲距離情報の符号化が行われる［Ａ１２］。

広範囲距離情報の生成処理は，入力視点カメラごとに与えられた距離情報から被写体の三次元点を復元し，その三次元点を代表視点カメラに対して再投影することで，代表視点カメラに対する変換距離情報を生成するステップ［Ａ６−Ａ１０］と，得られた複数の変換距離情報を用いて１つの距離情報を生成するステップ［Ａ１１］とからなる。

入力視点カメラごとに代表視点，カメラに対する変換距離情報を生成する処理は，入力された多視点距離情報を構成する入力視点カメラを表すインデックスをｖｉｅｗ，入力された多視点距離情報を構成する視点数をｎｕｍＶｉｅｗｓとすると，ｖｉｅｗを０に初期化した後［Ａ６］，ｖｉｅｗに１を加算しながら［Ａ９］，ｖｉｅｗがｎｕｍＶｉｅｗｓになるまで［Ａ１０］，距離情報変換部１０６内の三次元点復元部１０６１でｖｉｅｗに対応する距離情報Ｄ_viewから被写体上の三次元点群を復元し［Ａ７］，距離情報変換部１０６内の三次元点再投影部１０６２で復元された三次元点群を代表視点カメラｒｅｐに対して再投影することで，変換距離情報Ｄ′_rep,viewを生成する［Ａ８］。生成された変換距離情報は，変換距離情報メモリ１０７に格納される。三次元点復元部１０６１および三次元点再投影部１０６２で行われる処理の詳細は後で記述する。

入力された全ての距離情報から代表視点カメラｒｅｐに対する変換距離情報が得られたなら，広範囲距離情報生成部１０８において，それらを用いて１つの代表視点カメラｒｅｐに対する広範囲距離情報ＬＤ_rep を生成し，広範囲距離情報メモリ１０９に格納する［Ａ１１］。ここでの統合処理には様々な方法を用いることができるが，例えば同じ画素位置に対して与えられた変換距離情報の平均値や中央値を，その画素位置における広範囲距離情報とする方法がある。数式を用いるならば，次の（式３）や（式４）で表される。

また，広範囲距離情報の全ての画素位置に対して，入力された多視点距離情報を構成する距離情報が対応関係を持つとは限らない。そのような画素位置においては，変換距離情報に意味のない値が格納されていると考えられる。したがって，そのような意味のない値を用いて広範囲距離情報を生成するのを避けるために，同じ画素位置に対して与えられた変換距離情報のうち，有効範囲内の変換距離情報に対する平均値や中央値を，その画素位置における広範囲距離情報とすることで，より正確な広範囲距離情報を生成することが可能である。

平均値や中央値を用いるのではなく，同じ画素位置に対して与えられた変換距離情報のうち，最も代表視点カメラに近いことを示す距離情報を，その画素位置における広範囲距離情報とする方法もある。これは視点が固定されている場合，何らかの物体が手前にある場合，その後ろに存在する物体を観察することができないという事実を利用するため，より正しい広範囲距離情報を得ることができる。なお，常に最も近いことを表す距離情報を用いる場合，入力された多視点距離情報がノイズの影響を受けて誤った値を選択してしまう可能性がある。そのため，同じ画素位置に対して与えられた変換距離情報のうち，最も近いことを表す距離情報を含む一定範囲内の距離を示すもの，もしくは，代表視点に近いものから順に予め定められた複数個の平均値や中央値を用いることで，より信頼度の高い広範囲距離情報を生成することが可能となる。

なお，ここでの説明では全ての入力視点カメラｖｉｅｗからの変換距離情報を同等に扱ったが，変換前と変換後のカメラ位置や向きが近いほど，より正確な距離情報を持っていると考えることができるため，距離情報を求める際に，変換前と変換後のカメラ位置や向きの類似度にもとづいて重み付け平均値を用いることで，より精度を高めることも可能である。

生成された広範囲距離情報は，その後，広範囲距離情報符号化部１１０で符号化される［Ａ１２］。ここでの符号化はどのような手法を用いても構わない。例えば，前述の通り距離情報はグレースケール画像とみなすことが可能であるため，ＪＰＥＧやＪＰＥＧ２０００といった画像符号化手法を用いて効率的に符号化することが可能であるし，時間的に複数のフレームを符号化するのであれば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの動画像符号化方式を用いることで効率的に符号化することができる。また，代表視点カメラが複数存在する場合，非特許文献８に記載されているような多視点画像符号化手法や多視点映像符号化手法を用いて符号化を行うことで，全体として効率的な符号化を実現することができる。

本実施例では，代表視点カメラごとに広範囲距離情報を生成して符号化しているが，先に全ての代表視点カメラに対する広範囲距離情報を生成してから符号化を行っても構わない。また，変換距離情報の生成も代表視点カメラごとに行っているが，まとめて先に変換を行っても構わない。

また，本実施例では，三次元点の復元処理が代表視点カメラごとに繰り返される。しかしながら，三次元点の復元処理は入力視点カメラのみに依存して，代表視点カメラに依存しない処理である。そのため，一度計算された三次元点を蓄積することによって，代表視点カメラが異なる場合であっても入力視点カメラが同じ場合に，蓄積されている三次元点を利用することで，三次元点の復元処理［Ａ７］を省略することが可能である。

図３に，処理Ａ７で行われる距離情報から被写体上の三次元点群を復元する処理の詳細フローを示す。ここでは，入力視点カメラｖｉｅｗに対する距離情報Ｄ_viewを用いて，被写体上の三次元点群を復元する処理を例にとって説明する。

ここでの処理は，距離情報の画素ごとに行われる。つまり，距離情報の画素インデックスをｐｉｘ，画素数をｎｕｍＰｉｘｓで表すと，ｐｉｘを０で初期化した後［Ｂ１］，ｐｉｘに１を加算しながら［Ｂ３］，ｐｉｘがｎｕｍＰｉｘｓになるまで［Ｂ４］，次の（式５）で表されるｐｉｘにおける距離の値を用いた入力視点カメラｖｉｅｗに対する逆投影処理が実行される［Ｂ２］。

なお，ｇ_pix がｐｉｘに対する復元された三次元点の座標を表し，（ｕ_pix ，ｖ_pix ）はｐｉｘに対する入力された距離情報のグレースケール画像上での位置を表す。

図４に，処理Ａ８で行われる三次元点群を代表視点カメラに対して再投影することで変換距離情報を生成する処理の詳細フローを示す。ここでは，入力視点カメラｖｉｅｗの距離情報から復元された三次元点集合｛ｇ_pix ｝を代表視点カメラｒｅｐに対して再投影することで変換距離情報Ｄ′_rep,viewを生成する処理を例にとって説明する。

まず，Ｄ′_rep,viewの初期化が行われる［Ｃ１］。この初期化では全ての画素に対する値として，最もカメラから遠いことを示す値を代入する。そして三次元点ごとに再投影処理を実行し，得られた画素位置に代表視点ｒｅｐからその三次元点までの距離を代入していく。

三次元点は入力視点カメラｖｉｅｗに対する距離情報と同じ数だけ存在するため，ｐｉｘを０で初期化した後［Ｃ２］，ｐｉｘに１を加算しながら［Ｃ６］，ｐｉｘがｎｕｍＰｉｘｓになるまで［Ｃ７］，次の処理を繰り返す［Ｃ３−Ｃ５］。

三次元点ごとに繰り返される処理では，まず，次の（式６）に従って三次元点ｇ_pix の投影処理が行われる［Ｃ３］。すなわち，三次元点ｇ_pix を代表視点カメラｒｅｐに対して投影することで，代表視点カメラｒｅｐの投影面に投影される位置ｐｏｓと，三次元点ｇ_pix と代表視点カメラｒｅｐとの距離ｄとを計算する。（式６）において，（ｘ_pix ，ｙ_pix ，ｚ_pix ）は，ｇ_pix が投影される代表視点カメラｒｅｐの投影面上の画素位置の斉次座標を表し，ｚ_pix が代表視点カメラｒｅｐからｇ_pix までの距離ｄを表す。

次に，三次元座標が代表視点ｒｅｐの示すカメラに対して投影されると考えたときに，その被写体がサンプリングされる座標位置（ｘ_pix ／ｚ_pix ，ｙ_pix ／ｚ_pix ）において，既に得られていた距離と現在の処理で得られた距離ｄとを比較する［Ｃ４］。具体的には（式７）で示す比較が行われる。

比較の結果，既に得られていた距離のほうがカメラに近い距離を表していれば，その三次元点に対する処理を終了し，次の画素に対して処理を行う。一方，比較の結果，新たに得られた距離ｄのほうがカメラに近い距離を表していれば，次の（式８）に従って量子化処理を行い，処理中の三次元点が代表視点カメラｒｅｐの示すカメラに投影される位置（ｘ_pix ／ｚ_pix ，ｙ_pix ／ｚ_pix ）の距離情報を更新する［Ｃ５］。

なお，図４の変換処理では，処理Ｃ５で量子化処理が行われ，その値を処理Ｃ４で逆量子化する可能性がある。演算量の削減のために，別途画素位置ごとに距離バッファを定義し，処理Ｃ５では，量子化を行わずに距離の値をそのまま距離バッファに蓄積し，処理Ｃ４では，逆量子化を行わずに距離バッファに蓄えられた距離の値を用いて比較しても構わない。その場合，処理Ｃ１では無限遠方を示す距離の値で初期化し，処理Ｃ７の比較が成立しなかった後で，距離バッファに蓄えられた距離の値を量子化して変換後の距離情報を生成する。

本実施例では，与えられた距離情報から三次元点群を復元する処理と，三次元点群を代表視点カメラに対して再投影することで変換距離情報を生成する処理とを分離して行った。どちらの処理も入力視点カメラの距離情報ごとに繰り返される処理を持つため，図５で示されるフローに従って連結して行うこともできる。

なお，本フローではカメラ位置が変化しないにも関わらず逆投影と再投影とを行うことで，無駄な演算がされるのを防ぐために，カメラパラメータのチェックを行っている［Ｄ２］。ただし，カメラパラメータが同一であっても量子化手法に違いが存在する場合，異なる距離情報となるため，量子化手法を考慮した距離情報の複写を行う［Ｄ４］。この処理は，具体的には次の（式９）で表される。

図５における処理Ｄ８は，図３に示す処理Ｂ２の逆投影処理に対応し，図５における処理Ｄ９，Ｄ１０，Ｄ１１は，図４に示す処理Ｃ３，Ｃ４，Ｃ５の再投影処理に対応している。

図６は，入力された多視点カメラ情報および多視点距離情報に応じて代表視点カメラ群ＲＥＰを決定する手法の一例を示した処理フローである。この処理は，図２に示す処理Ａ３において，代表視点カメラ群を自動的に選択する場合に行う処理である。

まず，ＲＥＰの初期化が行われる［Ｅ１］。具体的には，入力された多視点カメラ群の中で，端に位置するカメラと同じ位置で撮影シーン全体を包含する視野角を持ったカメラを初期集合とする。多視点カメラの配置が１次元であれば，両端に位置するカメラと同じ位置のものを含め，２次元であれば対角線上に存在する両端のカメラと同じ位置のものを含める。

次に，定められたＲＥＰに対して実際に広範囲距離情報を生成し［Ｅ２］，その広範囲距離情報群から多視点距離情報を復元し［Ｅ３］，その復元率を調べる［Ｅ４］。なお，復元率は入力視点ごとに計算され，入力距離情報に対する復元された距離情報が得られた領域の比率で表すことができる。

広範囲距離情報を生成する処理は，上述の実施例の処理［Ａ５−Ａ１４］の処理と同じである。なお，処理Ａ１２の符号化処理は必ずしも行う必要はない。広範囲距離情報群から多視点距離情報を復元する処理は，後に述べる図８に示す実施例の処理［Ｆ５−Ｆ１３］と同じである。

そして，計算された復元率が全ての視点において予め定められた閾値を超えているかどうかをチェックする［Ｅ５］。もし閾値を超えていれば，そのときのＲＥＰを代表視点カメラ集合とし，そうでなければ，最も復元率が低かった視点と同じ位置で撮影シーン全体を包含する視野角を持ったカメラをＲＥＰに追加して，処理［Ｅ２−Ｅ５］を同様に繰り返す。

〔多視点距離情報復号装置〕
次に，本発明の実施の形態に係る多視点復号装置について説明する。図７に，多視点距離情報復号装置の構成例を示す。

図７に示すように，多視点距離情報復号装置２００は，復号対象の多視点距離情報を復号するのに必要となる広範囲距離情報の符号化データを入力する広範囲距離情報符号化データ入力部２０１と，入力された広範囲距離情報符号化データを復号する広範囲距離情報復号部２０２と，復号された広範囲距離情報群を蓄積する広範囲距離情報メモリ２０３と，広範囲距離情報が基準としている代表視点カメラのカメラ情報の符号化データを入力する代表視点情報符号化データ入力部２０４と，代表視点情報の符号化データを復号する代表視点情報復号部２０５と，代表視点情報を用いて広範囲距離情報から多視点距離情報を生成する多視点距離情報生成部２０６とを備える。

多視点距離情報生成部２０６は，広範囲距離情報メモリ２０３に蓄積された広範囲距離情報群によって表される各カメラを基準とした距離情報から，各画素に撮影された被写体上の三次元座標を計算する三次元点復元部２０６１と，復号対象の多視点距離情報を構成する距離情報が基準としている復号対象視点カメラごとに，三次元点復元部２０６１によって得られた三次元座標値を持つ被写体上の各点に対して，その点が復号対象視点カメラによって撮影される際の投影面上での位置と，その復号対象視点カメラから被写体上の点までの距離を計算し，その位置と距離とを対応付けて蓄積する三次元点再投影部２０６２と，復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，三次元点再投影部２０６２によって得られた同じ位置を持つ距離の値を用いて，その位置におけるその復号対象視点カメラを基準とした距離情報を生成する距離情報生成部２０６３とを備える。

図８に，このようにして構成される多視点距離情報復号装置２００が実行する処理フローを示す。この処理フローに従って，本実施例の多視点距離情報復号装置２００が実行する処理について詳細に説明する。

まず，代表視点情報符号化データ入力部２０４より，符号化データに含まれる広範囲距離情報群が基準としている代表視点カメラ群を表す情報の符号化データが入力され［Ｆ１］，代表視点情報復号部２０５において，代表視点カメラ群ＤｅｃＲＥＰを復号する［Ｆ２］。

なお，予め定められた代表視点カメラ群を用いる場合には，代表視点情報符号化データ入力部２０４と代表視点情報復号部２０５を備える必要はなく，処理Ｆ１およびＦ２を削除することができる。その場合，以下の説明では，ＤｅｃＲＥＰには予め定められた代表視点カメラ群の情報が格納されているとする。

また，時間的に連続な多視点距離情報を復号するような場合，毎回代表視点の変更が行われるとは限らない。そのような場合，新しい代表視点情報符号化データが送られてきたときのみ，処理Ｆ１およびＦ２を実行し，送られてこなかった場合には，直前に用いたＤｅｃＲＥＰをそのまま用いる。

ここでのカメラを示す情報とは，カメラの内部パラメータ行列Ａ_r ，回転行列Ｒ_r ，並進ベクトルｔ_r だけでなく，解像度や距離を画素値に対応付けるのに必要な情報も含まれる。以下では，距離ｄを画素値に対応付ける関数をＳ_r （ｄ）と表す。なお，ｒは広範囲距離情報を識別するためのインデックスであり，０からｎｕｍＤＲｅｐｓ−１までの値である。ｎｕｍＤＲｅｐｓはＤｅｃＲＥＰの要素数を表す。

次に，広範囲距離情報符号化データ入力部２０１より，ＤｅｃＲＥＰの各代表視点カメラを基準とした広範囲距離情報の符号化データが入力され［Ｆ３］，広範囲距離情報復号部２０２において広範囲距離情報群｛ＤｅｃＬＤ_r ｝を復号し，広範囲距離情報メモリ２０３に格納する［Ｆ４］。

ここでの復号方法は入力された符号化データを生成する際に用いられた符号化手法に対する復号手法であれば，どのような手法を用いても構わない。例えば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの動画像符号化の国際標準方式に準拠した方式で符号化されている場合，ＭＰＥＧ−２やＨ．２６４／ＡＶＣに準拠した復号方式を用いることとなる。

広範囲距離情報の復号が終了したなら，多視点距離情報生成部２０６にて，復号対象の多視点距離情報を構成する視点カメラごとに距離情報を生成して出力する。つまり，復号対象視点インデックスをｖ，復号対象視点数をｎｕｍＤＶｉｅｗｓとすると，ｖを０に初期化した後［Ｆ５］，ｖに１を加算しながら［Ｆ１２］，ｖがｎｕｍＤＶｉｅｗｓになるまで［Ｆ１３］，以下の処理［Ｆ６−Ｆ１１］を繰り返す。

１つの復号対象視点の距離情報を生成する処理は，代表視点カメラごとに与えられた広範囲距離情報から被写体の三次元点を復元し，その三次元点を復号対象視点カメラに対して再投影することで，復号対象視点カメラに対する変換距離情報を生成するステップ［Ｆ６−Ｆ１０］と，得られた複数の変換距離情報を用いて１つの距離情報を生成するステップ［Ｆ１１］とからなる。

代表視点カメラごとに入力視点カメラに対する変換距離情報を生成する処理は，代表視点カメラインデックスｒを０に初期化した後［Ｆ６］，ｒに１を加算しながら［Ｆ９］，ｒがｎｕｍＤＲｅｐｓになるまで［Ｆ１０］，多視点距離情報生成部２０６内の三次元点復元部２０６１で代表視点カメラｒｅｐに対する広範囲距離情報ＤｅｃＬＤ_r から被写体上の三次元点群を復元し［Ｆ７］，多視点距離情報生成部２０６内の三次元点再投影部２０６２で，復元された三次元点群を復号対象視点カメラｖに対して再投影することで変換距離情報ＤｅｃＤ′_v,r を生成する［Ｆ８］。ここで行われる処理は，前述の図３および図４を用いて説明を行った処理と同じである。ただし，Ｄ′をＤｅｃＤ′に，入力視点カメラｖｉｅｗを代表視点カメラｒに，代表視点カメラｒｅｐを復号対象視点カメラｖに，それぞれ読み替える必要がある。

得られた複数の変換距離情報群｛ＤｅｃＤ′_v,r ｝_r を用いて復号対象視点カメラｖに対する復号距離情報ＤｅｃＤ_v を生成する処理Ｆ１１は，図２で説明した処理Ａ１１の処理と同じである。例えば，同じ画素位置に対して与えられた距離情報の平均値や中央値，もしくは同じ画素位置に対して与えられた距離情報のうち最もカメラに近いことを示す値を，その画素位置における復号距離情報の値とする方法などがある。なお，符号化装置における処理Ａ１１の処理とこの処理Ｆ１１の処理を必ずしも一致させる必要はない。

以上説明した処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

また，以上の実施の形態では多視点距離情報符号化装置および多視点距離情報復号装置を中心に説明したが，これらの装置の各部の動作に対応したステップによって本発明の多視点距離情報符号化方法および多視点距離情報復号方法を実現することができる。

以上の実施の形態による作用・効果について説明する。

（１）多視点距離情報の符号量削減
多視点距離情報の符号量が削減される理由は，同じ被写体上の点を示す距離情報を符号化する回数が削減されるからである。これは，例えば図２の処理Ａ３，Ａ８，Ａ１１の作用による。図２の処理Ａ３によって代表視点群，すなわち代表視点カメラの集合を決定する際に，入力視点数よりも少ない数の代表視点カメラを設定する。これにより，同じ位置を示す情報は最大でも代表視点カメラの個数だけの符号化で済むことになる。

また，図２の処理Ａ８によって，入力された多視点距離情報から復元した被写体の三次元点群（図２の処理Ａ７で生成される）を代表視点カメラの投影面に対して投影し，同じ被写体上の点は同じ位置の距離情報としてサンプリングされる。図２の処理Ａ１１においては，同じ位置でサンプリングされた複数の距離情報から１つの距離情報を生成する。これらの作用によって，多視点距離情報の符号量が削減されることになる。

（２）並列演算可能性向上
各処理がカメラに独立した幾何変換処理またはフィルタ処理で構成可能であることから，並列演算可能性が向上する。これは，例えば図２の処理Ａ８，Ａ１１の作用による。図２の処理Ａ８の作用として，同じ被写体上の点を同定する処理が各入力視点カメラで並列演算できることが挙げられる。ここでの処理は幾何変換処理である。また，図２の処理Ａ１１の作用として，ある被写体に対して１つの距離情報を決定する処理が各代表視点カメラで並列演算できることが挙げられる。ここでの処理はフィルタ演算で実現できる。

一方，図９に示したような従来手法における処理Ｘ６は，並列化不可能である。

（３）符号化効率向上と並列演算可能性向上の両立
この本実施の形態による効果について，２つの従来手法（三次元モデルを使用する場合と使用しない場合）と比較して説明する。
〔三次元モデルを使用する場合の従来手法〕
この場合には，同じ被写体上の点を示す距離情報を複数符号化しなくてよい。したがって，符号量の削減は可能である。しかし，入力された多視点距離情報をグローバルに扱うため，並列処理は不可能である。
〔三次元モデルを使用しない場合の従来手法〕
この場合には，入力された多視点距離情報を視点ごとに扱うため，並列処理が可能である。しかし，同じ被写体上の点を示す距離情報を複数回符号化する。したがって，符号量削減は不可能である。
〔本発明の実施の形態の場合〕
本発明の実施の形態では，同じ被写体上の点を示す距離情報を複数符号化しなくてよい。したがって，符号量の削減が可能である。さらに，広範囲距離情報はローカルに距離情報を取り扱って生成される。したがって，並列処理が可能になっている。

以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものでないことは明らかである。したがって，本発明の精神および範囲を逸脱しない範囲で構成要素の追加，省略，置換，その他の変更を行っても良い。

本発明に係る多視点距離情報符号化装置の構成例を示す図である。 多視点距離情報符号化フローチャートである。 距離情報から被写体上の三次元点を復元する処理の詳細フローチャートである。 復元された被写体上の三次元点を再投影することによって定められたカメラにおける距離情報を生成する処理の詳細フローチャートである。 距離情報の変換処理（被写体上の三次元座標復元・復元された三次元点の再投影）の詳細フローチャートである。 代表視点集合ＲＥＰを決定する手法の一例を示した処理フローチャートである。 本発明に係る多視点距離情報復号装置の構成例を示す図である。 多視点距離情報復号フローチャートである。 三次元モデルを生成する従来手法を示すフローチャートである。

符号の説明

１００ 多視点距離情報符号化装置
１０１ 距離情報入力部
１０２ 距離情報メモリ
１０３ カメラ情報入力部
１０４ カメラ情報メモリ
１０５ 代表視点設定部
１０６ 距離情報変換部
１０６１ 三次元点復元部
１０６２ 三次元点再投影部
１０７ 変換距離情報メモリ
１０８ 広範囲距離情報生成部
１０９ 広範囲距離情報メモリ
１１０ 広範囲距離情報符号化部
１１１ 代表視点情報符号化部
２００ 多視点距離情報復号装置
２０１ 広範囲距離情報符号化データ入力部
２０２ 広範囲距離情報復号部
２０３ 広範囲距離情報メモリ
２０４ 代表視点情報符号化データ入力部
２０５ 代表視点情報復号部
２０６ 多視点距離情報生成部
２０６１ 三次元点復元部
２０６２ 三次元点再投影部
２０６３ 距離情報生成部

Claims (24)

1. 多視点カメラによって撮影された各画像の各画素に対して，カメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報を符号化する多視点距離情報符号化方法において，
   前記多視点距離情報を構成する各カメラを基準とした距離情報から，各画素に撮影された被写体上の点の三次元座標を計算する三次元座標復元ステップと，
   前記三次元座標復元ステップで得られた三次元座標値を持つ被写体上の各点に対して，その点が予め定められたカメラによって撮影される際の投影面上での位置と，そのカメラから被写体上の点までの距離を計算する三次元座標再投影ステップと，
   前記予め定められたカメラの投影面上の位置ごとに，前記三次元座標再投影ステップによって同じ位置が得られた１つまたは複数の被写体上の点の持つ距離の値を用いて，その位置における前記予め定められたカメラに対する距離情報を生成する広範囲距離情報生成ステップと，
   前記広範囲距離情報生成ステップで生成された距離情報を符号化する広範囲距離情報符号化ステップと，
   を有することを特徴とする多視点距離情報符号化方法。
2. 請求項１に記載の多視点距離情報符号化方法において，
   撮影を行った多視点カメラの中のいずれかのカメラと同じ位置および向きで，撮影シーンの全背景を視野角内に含む代表視点カメラを，前記予め定められたカメラとして１つまたは複数設定する代表視点カメラ設定ステップと，
   前記代表視点カメラ設定ステップで設定された代表視点カメラの情報を符号化する代表視点カメラ情報符号化ステップと，を有し，
   前記三次元座標再投影ステップでは，前記代表視点カメラ設定ステップで設定された代表視点カメラごとに，前記三次元座標復元ステップで得られた三次元座標値を持つ被写体上の各点に対して，その点が投影される位置と，そのカメラから被写体上の点までの距離とを計算し，
   前記広範囲距離情報生成ステップでは，前記代表視点カメラ設定ステップで設定された代表視点カメラごとに，そのカメラに対する距離情報を生成すること
   を特徴とする多視点距離情報符号化方法。
3. 請求項１または請求項２に記載の多視点距離情報符号化方法において，
   前記三次元座標復元ステップを，前記多視点距離情報を構成する各カメラごとに並列に実行すること
   を特徴とする多視点距離情報符号化方法。
4. 請求項１，請求項２または請求項３に記載の多視点距離情報符号化方法において，
   前記予め定められたカメラが複数ある場合に，前記三次元座標再投影ステップおよび前記広範囲距離情報符号化ステップの少なくともいずれかを，前記予め定められたカメラごとに並列に実行すること
   を特徴とする多視点距離情報符号化方法。
5. 請求項１から請求項４までのいずれか１項に記載の多視点距離情報符号化方法において，
   前記広範囲距離情報生成ステップでは，ある位置に対して複数の被写体上の点が得られた場合，それらの点の持つ距離の値の平均値，または，それらの点の持つ距離の値の中央値，または，それらの点の持つ距離の値の中で最も多く存在する値を，その位置における広範囲距離情報とすること
   を特徴とする多視点距離情報符号化方法。
6. 請求項１から請求項４までのいずれか１項に記載の多視点距離情報符号化方法において，
   前記広範囲距離情報生成ステップでは，ある位置に対して複数の被写体上の点が得られた場合，それらの点の持つ距離の値の中で基準としている前記予め定められたカメラに最も近いことを示す値を，その位置における広範囲距離情報とすること
   を特徴とする多視点距離情報符号化方法。
7. 多視点カメラで撮影された各画像の各画素に対して，その画像を撮影したカメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報の符号化データを復号する多視点距離情報復号方法において，
   符号化データから，１つまたは複数の予め定められたカメラごとに，そのカメラを基準とした広範囲距離情報を復号する広範囲距離情報復号ステップと，
   前記広範囲距離情報によって表される各カメラを基準とした距離情報から，各画素に撮影された被写体上の三次元座標を計算する三次元座標復元ステップと，
   復号対象の多視点距離情報を構成する距離情報が基準としている復号対象視点カメラごとに，前記三次元座標復元ステップで得られた三次元座標値を持つ被写体上の各点に対して，その点が復号対象視点カメラによって撮影される際の投影面上での位置と，その復号対象視点カメラから被写体上の点までの距離とを計算する三次元座標再投影ステップと，
   前記復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，前記三次元座標再投影ステップによって同じ位置が得られた１つまたは複数の被写体上の点の持つ距離の値を用いて，その位置におけるその復号対象視点カメラを基準とした距離情報を生成する多視点距離情報復元ステップと，
   を有することを特徴とする多視点距離情報復号方法。
8. 請求項７に記載の多視点距離情報復号方法において，
   符号化データから，符号化データに含まれる広範囲距離情報が基準とする１つまたは複数の代表視点カメラの情報を復号する代表視点カメラ情報復号ステップを有し，
   前記広範囲距離情報復号ステップでは，前記代表視点カメラを基準とした広範囲距離情報を復号すること
   を特徴とする多視点距離情報復号方法。
9. 請求項７または請求項８に記載の多視点距離情報復号方法において，
   前記予め定められたカメラが複数ある場合に，前記広範囲距離情報復号ステップおよび前記三次元座標復元ステップの少なくともいずれかを，前記予め定められたカメラごとに並列に実行すること
   を特徴とする多視点距離情報復号方法。
10. 請求項７，請求項８または請求項９に記載の多視点距離情報復号方法において，
    前記三次元座標再投影ステップおよび前記多視点距離情報復元ステップの少なくともいずれかを，前記復号対象視点カメラごとに並列に実行すること
    を特徴とする多視点距離情報復号方法。
11. 請求項７から請求項１０までのいずれか１項に記載の多視点距離情報復号方法において，
    前記多視点距離情報復元ステップでは，ある復号対象視点カメラの位置ごとに，その位置に対して得られた複数の被写体上の点の持つ距離の値の平均値，または，その位置に対して得られた複数の被写体上の点の持つ距離の値の中央値，または，その位置に対して得られた複数の被写体上の点の持つ距離の値の中で最も多く現れた値を計算し，その値をその復号対象視点カメラのその位置における距離情報とすること
    を特徴とする多視点距離情報復号方法。
12. 請求項７から請求項１０までのいずれか１項に記載の多視点距離情報復号方法において，
    前記多視点距離情報復元ステップでは，ある復号対象視点カメラの位置ごとに，その位置に対して得られた複数の被写体上の点の持つ距離の値の中で前記復号対象視点カメラに最も近いことを示す値を計算し，その値をその復号対象視点カメラのその位置における距離情報とすること
    を特徴とする多視点距離情報復号方法。
13. 多視点カメラによって撮影された各画像の各画素に対して，カメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報を符号化する多視点距離情報符号化装置において，
    前記多視点距離情報を構成する各カメラを基準とした距離情報から，各画素に撮影された被写体上の点の三次元座標を計算する三次元座標復元手段と，
    前記三次元座標復元手段で得られた三次元座標値を持つ被写体上の各点に対して，その点が予め定められたカメラによって撮影される際の投影面上での位置と，そのカメラから被写体上の点までの距離を計算し，その位置と距離とを対応付けて蓄積する三次元座標再投影手段と，
    前記予め定められたカメラの投影面上の位置ごとに，前記三次元座標再投影手段によって得られた同じ位置を持つ距離の値を用いて，その位置における前記予め定められたカメラに対する距離情報を生成する広範囲距離情報生成手段と，
    前記広範囲距離情報生成手段で生成された距離情報を符号化する広範囲距離情報符号化手段と，
    を備えることを特徴とする多視点距離情報符号化装置。
14. 請求項１３に記載の多視点距離情報符号化装置において，
    撮影を行った多視点カメラの中のいずれかのカメラと同じ位置および向きで，撮影シーンの全背景を視野角内に含む代表視点カメラを，前記予め定められたカメラとして１つまたは複数設定する代表視点カメラ設定手段と，
    前記代表視点カメラ設定手段で設定された代表視点カメラの情報を符号化する代表視点カメラ情報符号化手段と，を備え，
    前記三次元座標再投影手段は，前記代表視点カメラ設定手段で設定された代表視点カメラごとに，前記三次元座標復元ステップで得られた三次元座標値を持つ被写体上の各点に対して，その点が投影される位置と，そのカメラから被写体上の点までの距離を計算し，
    前記広範囲距離情報生成手段は，前記代表視点カメラ設定手段で設定された代表視点カメラごとに，そのカメラに対する距離情報を生成すること
    を特徴とする多視点距離情報符号化装置。
15. 請求項１３または請求項１４に記載の多視点距離情報符号化装置において，
    前記広範囲距離情報生成手段は，ある位置に対して複数の被写体上の点が得られた場合，それらの点の持つ距離の値の平均値，または，それらの点の持つ距離の値の中央値，または，それらの点の持つ距離の値の中で最も多く存在する値を，その位置における広範囲距離情報とすること
    を特徴とする多視点距離情報符号化装置。
16. 請求項１３または請求項１４に記載の多視点距離情報符号化装置において，
    前記広範囲距離情報生成手段は，ある位置に対して複数の被写体上の点が得られた場合，それらの点の持つ距離の値の中で基準としている前記予め定められたカメラに最も近いことを示す値を，その位置における広範囲距離情報とすること
    を特徴とする多視点距離情報符号化装置。
17. 多視点カメラで撮影された各画像の各画素に対して，その画像を撮影したカメラからその画素に写っている被写体までの距離を表した距離情報の集合によって表される多視点距離情報の符号化データを復号する多視点距離情報復号装置において，
    符号化データから，１つまたは複数の予め定められたカメラごとに，そのカメラを基準とした広範囲距離情報を復号する広範囲距離情報復号手段と，
    前記広範囲距離情報によって表される各カメラを基準とした距離情報から，各画素に撮影された被写体上の三次元座標を計算する三次元座標復元手段と，
    復号対象の多視点距離情報を構成する距離情報が基準としている復号対象視点カメラごとに，前記三次元座標復元手段で得られた三次元座標値を持つ被写体上の各点に対して，その点が復号対象視点カメラによって撮影される際の投影面上での位置と，その復号対象視点カメラから被写体上の点までの距離を計算し，その位置と距離とを対応付けて蓄積する三次元座標再投影手段と，
    前記復号対象視点カメラおよびその復号対象視点カメラの投影面上の位置ごとに，前記三次元座標再投影手段によって得られた同じ位置を持つ距離の値を用いて，その位置におけるその復号対象視点カメラを基準とした距離情報を生成する多視点距離情報復元手段と，
    を備えることを特徴とする多視点距離情報復号装置。
18. 請求項１７に記載の多視点距離情報復号装置において，
    符号化データから，符号化データに含まれる広範囲距離情報が基準とする１つまたは複数の代表視点カメラの情報を復号する代表視点カメラ情報復号手段を備え，
    前記広範囲距離情報復号手段は，前記代表視点カメラを基準とした広範囲距離情報を復号すること
    を特徴とする多視点距離情報復号装置。
19. 請求項１７または請求項１８に記載の多視点距離情報復号装置において，
    前記多視点距離情報復元手段は，ある復号対象視点カメラの位置ごとに，その位置に対して得られた複数の被写体上の点の持つ距離の値の平均値，または，その位置に対して得られた複数の被写体上の点の持つ距離の値の中央値，または，その位置に対して得られた複数の被写体上の点の持つ距離の値の中で最も多く現れた値を計算し，その値をその復号対象視点カメラのその位置における距離情報とすること
    を特徴とする多視点距離情報復号装置。
20. 請求項１７または請求項１８に記載の多視点距離情報復号装置において，
    前記多視点距離情報復元手段は，ある復号対象視点カメラの位置ごとに，その位置に対して得られた複数の被写体上の点の持つ距離の値の中で前記復号対象視点カメラに最も近いことを示す値を計算し，その値をその復号対象視点カメラのその位置における距離情報とすること
    を特徴とする多視点距離情報復号装置。
21. 請求項１から請求項６までのいずれか１項に記載の多視点距離情報符号化方法をコンピュータに実行させるための多視点距離情報符号化プログラム。
22. 請求項１から請求項６までのいずれか１項に記載の多視点距離情報符号化方法をコンピュータに実行させるための多視点距離情報符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
23. 請求項７から請求項１２までのいずれか１項に記載の多視点距離情報復号方法をコンピュータに実行させるための多視点距離情報復号プログラム。
24. 請求項７から請求項１２までのいずれか１項に記載の多視点距離情報復号方法をコンピュータに実行させるための多視点距離情報復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images