JP4838275B2 - 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は，多視点距離情報の符号化および復号技術に関するものである。

多視点画像とは，複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり，多視点動画像（多視点映像）とは，その動画像のことである。また，ここで言う距離情報とは，ある画像に対して与えられる領域ごとのカメラから被写体までの距離を表す情報である。多視点距離情報とは，多視点画像に対する距離情報であり，通常の距離情報複数個からなる集合となる。カメラから被写体までの距離はシーンの奥行きということもできるため，距離情報は奥行き情報と呼ばれることもある。

一般に，このような距離情報はカメラで撮影された結果の２次元平面に対して与えられるため，その距離を画像の画素値にマッピングすることで距離画像として表される。２次元平面のある点に対する情報としては１つの距離という情報のみになるため，距離画像はグレースケール画像として表現することが可能である。なお，距離画像は奥行き画像やデプスマップ(Depth Map) と呼ばれることもある。

距離情報の利用用途の１つとして立体画像がある。一般的な立体画像の表現では，観測者の右目用の画像と左目用の画像からなるステレオ画像であるが，あるカメラにおける画像とその距離情報とを用いて立体画像を表現することができる（詳しい技術は非特許文献１を参照）。

このような１視点における映像と距離情報とを用いて表現された立体映像を符号化する方式には，ＭＰＥＧ−Ｃ Ｐａｒｔ．３（ＩＳＯ／ＩＥＣ ２３００２−３）を使用することが可能である（詳しい内容は非特許文献２を参照）。

多視点距離情報は，単視点の距離情報を用いて表現可能な立体映像よりも，大きな視差を持った立体映像を表現するのに利用される（詳細は非特許文献３を参照）。

また，このような立体映像を表現する用途以外に，多視点距離情報は，鑑賞者が撮影カメラの配置を気にせずに自由に視点を移動できる自由視点映像を生成するデータの１つとしても使用される。このような撮影カメラとは別のカメラからシーンを見ているとしたときの合成画像を仮想視点画像と呼ぶことがあり，Ｉｍａｇｅ−ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇの分野で盛んにその生成法が検討されている。多視点映像と多視点距離情報とから仮想視点映像を生成する代表的な手法としては，非特許文献４に記載されている手法がある。

前述のとおり，距離情報はグレースケール動画像とみなすことができ，被写体は実空間上で連続的に存在し，瞬間的に移動することができないため，画像信号と同様に空間的相関および時間的相関を持つと言える。したがって，通常の映像信号を符号化するために用いられる画像符号化方式や動画像符号化方式によって，距離情報は空間的冗長性や時間的冗長性を取り除きながら効率的に符号化される。実際にＭＰＥＧ−Ｃ Ｐａｒｔ．３では，既存の動画像符号化方式を用いて符号化を行っている。

ここで，従来の一般的な映像信号の符号化方式について説明する。一般に被写体が実空間上で空間的および時間的連続性を持つことから，その見え方は空間的および時間的に高い相関を持つ。映像信号の符号化では，そのような相関性を利用して高い符号化効率を達成している。

具体的には，符号化対象ブロックの映像信号を既に符号化済みの映像信号から予測して，その予測残差のみを符号化することで，符号化される必要のある情報を減らし，高い符号化効率を達成する。代表的な映像信号の予想の手法としては，単視点映像では，隣接するブロックから空間的に予測信号を生成する画面内予測や，近接時刻に撮影された符号化済みフレームから被写体の動きを推定して時間的に予測信号を生成する動き補償予測があり，多視点映像では，これらの他に別のカメラで撮影された符号化済みフレームから被写体の視差を推定して，カメラ間で予測信号を生成する視差補償予測がある。各手法の詳細は，非特許文献５，非特許文献６などに記載されている。
C.Fehn, P.Kauff, M.Op de Beeck, F.Emst, W.IJsselsteijn, M.Pollefeys, L.Van Gool, E.Ofek and I.Sexton, "An Evolutionary and Optimised Approach on 3D-TV ", Proceedings of International Broadcast Conference, pp. 357-365, Amsterdam, The Netherlands, September 2002. W.H.A. Bruls, C.Varekamp, R.Klein Gunnewiek, B.Barenbrug and A.Bourge,"Enabling Introduction of Stereoscopic(3D）Video: Formats and Compression Standards", Proceedings of IEEE International Conference on Image Processing, pp.I-89-I-92, San Antonio, USA, September 2007. A.Smolic, K.Mueller, P.Merkle, N.Atzpadin, C.Fehn, M.Mueller, O.Schreer, R.Tanger, P.Kauff and T.Wiegand, "Multi-view video plus depth (MVD) format for advanced 3D video systems", Joint Video Team of ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, Doc. JVT-W100, San Jose, USA, April 2007. C.L.Zitnick, S.B.Kang, M.Uyttendaele, S.A.J.Winder, and R.Szeliski, "High-quality Video View Interpolation Using a Layered Representation", ACM Transactions on Graphics, vol.23, no.3, pp.600-608, August 2004. ITU-T Rec.H.264/ISO/IEC 11496-10, "Advanced Video Coding ", Final Committee Draft, Document JVT-E022, September 2002. H.Kimata and M.Kitahara,"Preliminary results on multiple view video coding （3DAV）", document M10976 MPEG Redmond Meeting, July, 2004.

被写体は実空間上で連続であるため高い空間相関を持ち，瞬間的に移動することが不可能であるため高い時間相関を持つ。したがって，空間相関と時間相関とを利用する既存の映像符号化方式を用いることで，グレースケール画像として表した距離情報を効率的に符号化することが可能である。

しかしながら，図７のようにカメラの位置や向きが異なる場合，同じ被写体であっても，カメラから被写体までの距離は異なる。そのような場合，同じ被写体であってもフレームごとに距離が異なるため，時間的もしくは空間的にその距離を精度よく予測することは不可能である。

シーン全体の明るさの変化等に対応するために，ルックアップテーブル(Look up table) やＨ．２６４／ＡＶＣの重み付き予測等を用いて，参照先の元の値と参照する値を変化させることで，フレームごとに変化する値を効率的に予測する手法がある。

このような手法では，ある与えられた値に対して唯一の変換後の値を与えるため，多対一の変換になる。しかしながら，図８に示すように，あるカメラからは同じ距離の被写体であっても，別のカメラからは異なる距離の被写体になる場合がある。この場合，変換は一対多の変換を取り扱う必要があり，従来の処理では効率的な予測を行うことができない。

また，図９のようにカメラによって表現したい距離の範囲が異なる場合がある。このように表現範囲が異なる場合，全てに共通する表現範囲を設定すると表現に必要なビット深度を増加させてしまうため，符号化効率の低下を招く。さらに，表現範囲だけでなく距離のサンプリング間隔も異なる場合，全てを含むサンプリング点を作ることは必要なビット深度の大幅な増大を招いてしまう。

本発明は係る事情に鑑みてなされたものであって，参照として用いる距離情報に対して適切な変換を行うことで，従来よりも効率的に距離情報を符号化することを目的とする。

前述の課題を解決するために，本発明ではある距離情報を符号化するに当たり，参照する距離情報を，符号化対象の距離情報を表すのに用いられているものと同じ距離の軸，表現範囲，サンプリング間隔で表現するように変換することで，符号化対象と参照先とでカメラが異なる場合においても，ビット深度の増大を招かずに，効率的な予測符号化を可能にする。

この変換によって，距離情報に含まれるカメラの移動による値の変化を取り除くことができ，カメラの移動による位置の変化と被写体の移動による位置と値の変化を予測して符号化するだけでよくなる。つまり，予測しなくてはならなかった情報が少なくなることからも，効率的な予測符号化を実現できることは明らかである。

なお，具体的な変換は，参照先の距離情報とそのカメラ情報とから観測された被写体の三次元位置を同定し，その三次元位置から符号化対象のカメラまでの距離を計算することで行われる。なお，この変換はカメラによって実空間のオブジェクトが撮影される際の物理現象に従って行われるため，カメラによる射影変換を十分にモデル化することが可能であれば非常に高い精度で変換を実現することができる。

さらに，参照距離情報の値のみを変換するのではなく，その符号化対象カメラで観測されると考えられる位置へ変換することで，参照距離情報と符号化対象距離情報との間に存在するカメラの位置の変化による値の変化だけでなく，カメラの位置の変化による位置の変化を取り除くことが可能となる。これによりさらに予測しなくてはならない成分が少なくなり，より効率的な予測符号化を実現することが可能となる。

この際に複数の変換された参照距離情報を用いて，位置ごとに平均値や中央値，最もカメラに近いことを表す値を取るような距離情報を求めて，新たな距離情報を合成し，符号化時の参照として用いても構わない。多視点距離情報で同じ時刻で別のカメラの距離情報が複数参照距離情報となっているような場合には，このような処理をすることで参照距離情報に含まれるノイズ等の影響を低減させることができるほか，オクルージョンの影響を減らすことが可能となる。なお，オクルージョンとはカメラが異なることによって一方では観測できるが，他方では観測できない領域のことである。このオクルージョンの領域はカメラの組み合わせによって異なるため，複数のカメラに対する距離情報を統合することでオクルージョン領域を減らすことが可能である。

参照距離情報の値のみを変換するのではなく，その符号化対象カメラで観測されると考えられる位置へ変換した際，変換した参照距離情報を普通に参照するのではなく，予めその値を符号化対象距離情報から減算し，その差分のみを符号化することで，符号化対象の情報を減らし効率的な符号化を実現できる。

特に，多視点距離情報で同じ時刻で別のカメラの距離情報が複数参照距離情報となっているような場合には，このような減算処理によって生成される差分距離情報に残る成分は，参照カメラと符号化対象カメラのサンプリング間隔や表現範囲の違いから発生する成分と，オクルージョン部分の成分である。通常の映像符号化では領域ごとに１つの予測方法を選ばなくてはならないため，このような減算処理を行わなかった場合，前者のような参照カメラと符号化対象カメラのサンプリング間隔や表現範囲の違いが発生する領域では，空間方向の予測を用いればサンプリングの違いなどに依存した予測誤差を，時間方向の予測を用いれば被写体の動きによる予測誤差を，符号化しなくてはならない。

一方，減算処理をすることによって，サンプリングの違いに依存した値のみが残っているため，それを時間方向に予測することで符号化すべき情報をさらに小さくすることが可能である。後者のオクルージョン部分に関しては，差分にも時間的に予測可能な成分がそのまま残るため減算処理を行うことによるデメリットはない。したがって，前者の領域で符号化効率を上げられる分だけ，このような減算処理を行うことで全体の符号化効率を向上させることが可能である。

なお，この場合においても，複数の変換された参照距離情報を用いて，位置ごとに平均値や中央値，最もカメラに近いことを表す値を取るような距離情報を求めて，新たな距離情報を合成し，この合成距離情報を符号化対象距離情報から減算してもよい。この場合，参照距離情報に含まれるノイズ等の影響を低減させることができるほか，オクルージョンの領域を少なくすることができる。ノイズの影響が少なくなることは明らかに符号化に好影響であり，オクルージョン領域が少なくなることは，減算処理を行っても符号化効率が向上しない領域が少なくなり，減算処理を行うことで符号化効率の向上する領域が多くなることを示すため，さらに差分距離情報を効率的に符号化することが可能になる。

本発明によれば，参照対象の距離情報と符号化対象の距離情報の基準とするカメラの位置や向き，および距離の表現範囲やサンプリング間隔などが異なる場合においても，参照対象の距離情報を適切に変換することで，従来に比べて効率よく距離情報を符号化することを可能にする。

以下，実施の形態に従って本発明を詳細に説明する。まず，第１の実施例（以下，実施例１）について説明する。本発明の実施例１に係る距離情報符号化装置の構成図を図１に示す。

図１に示すように，距離情報符号化装置１００は，符号化対象となる距離情報を入力する距離情報入力部１０１と，入力された距離情報を格納する距離情報メモリ１０２と，符号化対象の距離情報が対象としているカメラのカメラパラメータ等を入力するカメラ情報入力部１０３と，符号化対象の距離情報を予測符号化するに当たり参照する既に符号化され復号された距離情報を入力する参照距離情報入力部１０４と，参照距離情報が対象としているカメラのカメラパラメータ等を入力する参照カメラ情報入力部１０５と，参照三次元点復元手段を持ち，これを用いて参照距離情報の変換を行う参照距離情報変換部１０６と，変換された参照距離情報を格納する参照距離情報メモリ１０７と，参照距離情報メモリ１０７に蓄積されている距離情報を参照しながら距離情報メモリ１０２に蓄積されている距離情報を予測符号化する距離情報符号化部１０８とを備える。

図２に，このようにして構成される距離情報符号化装置１００の実行する処理フローを示す。この処理フローに従って，距離情報符号化装置１００の実行する処理について詳細に説明する。

まず，距離情報入力部１０１より，符号化対象となる距離情報が入力され，距離情報メモリ１０２に格納される［ステップＡ１］。以下では，符号化対象の距離情報はＤ_inと表し，記号［］で挟まれた位置を識別する情報を付加することで特定の領域の距離情報を表す。

次に，Ｄ_inが基準としているカメラのカメラパラメータ等の情報がカメラ情報入力部１０３より入力される［ステップＡ２］。以下では，Ｄ_inに対するカメラの内部パラメータ行列をＡ_in，回転行列をＲ_in，並進ベクトルをｔ_inで表す。カメラパラメータの表現法には様々なものがあるため，以下で用いる数式はカメラパラメータの定義に従って変更する必要がある。なお，本実施例では画像座標ｍと世界座標Ｍの対応関係が，式Ｍ^* ＝ＲＡ^-1ｍ^* ＋ｔで得られるカメラパラメータ表現を用いているものとする。なお，Ａ，Ｒ，ｔはそれぞれカメラの内部パラメータ行列，回転行列，並進ベクトルを表し，Ｍ^* ，ｍ^* はそれぞれＭ，ｍの任意スカラ倍を許した斉次座標を表す。ＡとＲは３×３の行列であり，ｔは三次元ベクトルである。

本実施例では，各時刻・各カメラの距離情報はグレースケール画像として与えられるものとする。カメラから被写体までの距離を画素値に対応付ける際に必要な情報も，ステップＡ２の処理で入力されるカメラ情報に含まれるものとする。例えば，対応付けを行う方法によって必要な情報が変化するが，ルックアップテーブル(Look up table) や，最小値ＭｉｎＤ_in・最大値ＭａｘＤ_in・ステップ数ＳｔｅｐＤ_inなどが距離と画素値の対応付けに必要な情報となる。後者の場合，距離ｄを量子化するための計算式Ｓ_in（ｄ）は，距離の値そのものを一様量子化する場合には式１で表され，距離の逆数を一様量子化する場合には式２で表すことができる。

符号化対象の距離情報に関する入力が終了したら，予測符号化に用いる参照距離情報を用意する［ステップＡ３−Ａ８］。ここでの処理は，参照先として用いる既に符号化済みの距離情報を復号した距離情報ごとに行われる。つまり，参照候補となる距離情報フレームを表すインデックスをｒｅｆ，参照候補フレーム数をｎｕｍＲｅｆｓとすると，ｒｅｆを０に初期化した後［ステップＡ３］，ｒｅｆに１を加算しながら［ステップＡ７］，ｒｅｆがｎｕｍＲｅｆｓになるまで［ステップＡ８］，以下のステップＡ４−Ａ６の処理を繰り返す。

参照候補ごとに行われる処理では，まず参照候補となる既に符号化済みの距離情報を復号した参照距離情報が，参照距離情報入力部１０４より入力される［ステップＡ４］。以下では，インデックスｒｅｆの参照距離情報はＤ_ref と表し，記号［］で挟まれた位置を識別する情報を付加することで特定の領域の距離情報を表す。

次に，参照カメラ情報入力部１０５より，Ｄ_ref が基準としているカメラ情報が入力される［ステップＡ５］。ここでのカメラ情報には，符号化対象カメラに対するカメラ情報と同様に，カメラパラメータとカメラから被写体までの距離を画素値に対応付ける際に必要な情報とが含まれる。以下では，Ｄ_ref に対するカメラの内部パラメータ行列をＡ_ref ，回転行列をＲ_ref ，並進ベクトルをｔ_ref ，カメラから被写体までの距離ｄを量子化するための関数をＳ_ref （ｄ）と表す。

参照距離情報と参照カメラ情報が得られたら，参照距離情報変換部１０６で参照距離情報Ｄ_ref を変換し，参照距離情報メモリ１０７に格納する［ステップＡ６］。ここでの変換の詳細は後で記述する。

全ての参照距離情報の変換が終了したら，距離情報符号化部１０８で，参照距離情報メモリ１０７に格納されている参照距離情報を，予測符号化における参照候補として使用しながら，距離情報メモリ１０２に格納されている符号化対象距離情報を予測符号化する［ステップＡ９］。なお，ここでの予測符号化には，どのような手法を用いても構わない。例えば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの動画像符号化の国際標準方式に準拠した方式で符号化してもよい。

図３に，図２のステップＡ６における参照距離情報の変換処理の詳細フローを示す。変換処理では，まず，Ｄ_inに対するカメラのカメラパラメータとＤ_ref に対するカメラのカメラパラメータとの比較が行われる［ステップＢ１］。具体的には，回転行列のＲ_inとＲ_ref とが等しく，それぞれの並進ベクトル（ｔ_in，ｔ_ref ）の第三成分が等しいかどうかがチェックされる。この条件を満たす場合，Ｄ_inに対するカメラとＤ_ref に対するカメラの相対的な位置関係が，向きが同じであり，その向きに対して垂直な位置ずれしかないことになり，カメラから被写体までの距離が変化しない。なお，ここでの判定は完全に一致する必要はなく，違いがカメラパラメータの推定誤差を考慮した一定の範囲内に収まれば一致すると判定してもよい。

カメラパラメータに対するチェックを満たす場合，次に，量子化の関数のチェックを行う［ステップＢ２］。例えば，ルックアップテーブル(Look up table) を用いた量子化を行っている場合には，その数値が等しいかどうか，最小値・最大値・ステップ数を用いた量子化を行っている場合には，それぞれの値が等しいかどうかをチェックする。量子化関数が等しいと判断された場合には，変換が全く行われず，Ｄ_ref の変換後の値Ｄ′_ref はＤ_ref として終了する［ステップＢ３］。

一方，量子化関数が異なると判定された場合には，サンプル毎にＳ_ref を用いた逆量子化とＳ_inを用いた再量子化を行い，Ｄ′_ref の値を生成する［ステップＢ４−Ｂ７］。ここでは，サンプルのインデックスをｐｉｘ，サンプル数をｎｕｍＰｉｘｓと表してある。具体的には，ｐｉｘを０で初期化した後［ステップＢ４］，ｐｉｘに１を加算しながら［ステップＢ６］，ｐｉｘがｎｕｍＰｉｘｓになるまで［ステップＢ７］，次の式による逆量子化・再量子化を実行する［ステップＢ５］。

Ｄ′_ref ［ｐｉｘ］＝Ｓ_in（Ｓ_ref ^-1（Ｄ_ref ［ｐｉｘ］）） （式３）
カメラパラメータに対するチェックを満たさない場合，サンプル毎にＤ_ref に対するカメラパラメータを用いて逆投影を行うことで三次元座標を復元し，復元した三次元座標をＤ_inに対するカメラパラメータを用いて再投影を行うことで距離の変換を行う［ステップＢ８−Ｂ１３］。ここでは，サンプルのインデックスをｐｉｘ，サンプル数をｎｕｍＰｉｘｓと表してある。具体的には，ｐｉｘを０で初期化した後［ステップＢ８］，ｐｉｘに１を加算しながら［ステップＢ１２］，ｐｉｘがｎｕｍＰｉｘｓになるまで［ステップＢ１３］，以下の処理［ステップＢ９−Ｂ１１］を繰り返す。

サンプル毎に繰り返される処理では，まず，逆投影処理による三次元座標の復元が行われる［ステップＢ９］。ここでの処理は，次の式４で表される。なお，ｇ_pix が三次元座標値を表し，（ｕ_pix ，ｖ_pix ）はグレースケール画像上でのｐｉｘの位置を表す。

次に，得られた三次元座標を再投影する処理が行われる［ステップＢ１０］。ここでの処理は次の式５で表される。なお，（ｘ_pix ，ｙ_pix ，ｚ_pix ）はｇ_pix に対応する画像座標系での斉次座標値である。

上記のようなカメラパラメータの定義で，上記式４および式５に従った逆投影および再投影を行う場合，式５の左辺の第三成分が変換後の距離の値となる。この値は量子化されていないため，最後に量子化処理が次の式６に従って行われる［ステップＢ１１］。

Ｄ′_ref ［ｐｉｘ］＝Ｓ_in（ｚ_pix ） （式６）
また，図４に示すフローに従って，ステップＡ６における参照距離情報の変換処理を実行する方法もある。変換処理の大部分は上記で説明した図３に示すフローによる変換と同じである。このフローに従う場合，まずＤ′_ref の初期化が行われる［ステップＣ１］。この初期化では，全ての画素に対する値として，最もカメラから遠いことを示す値が代入される。

次に，Ｄ_inに対するカメラのカメラパラメータとＤ_ref に対するカメラのカメラパラメータとの比較が行われる［ステップＣ２］。具体的には，回転行列のＲ_inとＲ_ref とが等しく，かつ，並進ベクトルのｔ_inとｔ_ref とが等しいかどうかがチェックされる。このカメラパラメータに対するチェックを満たす場合の処理［ステップＣ３−Ｃ８］は，既に説明した図３の処理［ステップＢ２−Ｂ７］と同じである。

カメラパラメータに対するチェックを満たさない場合，画素毎にＤ_ref に対するカメラパラメータを用いて逆投影を行うことで三次元座標を復元し，復元した三次元座標をＤ_inに対するカメラパラメータを用いて再投影を行うことで距離の変換を行う［ステップＣ９−Ｃ１５］。ここでは，画素のインデックスをｐｉｘ，画素数をｎｕｍＰｉｘｓと表してある。具体的には，ｐｉｘを０で初期化した後［ステップＣ９］，ｐｉｘに１を加算しながら［ステップＣ１４］，ｐｉｘがｎｕｍＰｉｘｓになるまで［ステップＣ１５］，以下の処理を繰り返す［ステップＣ１０−Ｃ１３］。

画素ごとに繰り返される処理の前半［ステップＣ１０−Ｃ１１］は，図３の処理［ステップＢ９−Ｂ１０］と同様であり，それぞれ，逆投影処理による三次元座標の復元［ステップＣ１０］，得られた三次元座標の再投影処理［ステップＣ１１］が行われる。なお，それぞれの処理は前述の式４および式５で表される。

次に，三次元座標が符号化対象カメラに対して投影されると考えたときに，その被写体がサンプリングされる位置（ｘ_pix ／ｚ_pix ，ｙ_pix ／ｚ_pix ）において，既に得られていた距離と現在の処理で得られた距離とを比較する［ステップＣ１２］。具体的には，次の式７で示す比較が行われる。

ｚ_pix ＜Ｓ_in ^-1（Ｄ′_ref ［ｘ_pix ／ｚ_pix ，ｙ_pix ／ｚ_pix ］） （式７）
比較の結果，既に得られていた距離のほうがカメラに近い距離を表していれば，そのまま当該画素に対する処理を終了し，次の画素に対して処理を行う。

一方，比較の結果，新たに得られた距離のほうがカメラに近い距離を表していれば，次の式８に従って量子化処理が行われ，処理中の三次元点が符号化対象カメラに投影されるとする位置（ｘ_pix ／ｚ_pix ，ｙ_pix ／ｚ_pix ）の距離情報を更新する［ステップＣ１３］。

Ｄ′_ref ［ｘ_pix ／ｚ_pix ，ｙ_pix ／ｚ_pix ］＝Ｓ_in（ｚ_pix ） （式８）
なお，図４の変換処理では，ステップＣ１３で量子化処理が行われ，その値をステップＣ１２で逆量子化する可能性がある。演算量の削減のために，別途画素位置ごとに距離バッファを定義し，ステップＣ１３では，量子化を行わず距離の値をそのまま距離バッファに蓄積し，ステップＣ１２では，逆量子化を行わず距離バッファに蓄えられた距離の値を用いて比較しても構わない。その場合，ステップＣ１では，無限遠方を示す距離の値で初期化し，ステップＣ１５の比較が成立しなかった後で，距離バッファに蓄えられた距離の値を量子化して変換後の距離情報を生成する。

図４の変換処理を用いて参照距離情報を変換した場合にも，距離情報符号化部１０８で行われる予測符号化処理では，実施例１で説明したのと同様に，参照距離情報メモリ１０７に格納されている距離情報を参照として用いながら符号化することで効率的な符号化を行うことができる。

また，図４の変換処理を用いた場合には，予め定められたインデックスｒｅｆに対応する参照距離情報メモリ１０７に格納されている距離情報を，符号化対象距離情報から減じて，その差分距離情報を同様にして生成された既に符号化済みの別の時刻もしくは別のカメラの差分距離情報から予測しながら符号化しても構わない。図４の変換処理が距離の値だけでなく位置も符号化対象に対応するように変換するため，このような画素ごとの減算で生成される差分距離情報のほとんどの値がゼロになり，オクルージョン部分等のみを既に符号化済みの情報から予測して符号化することで，効率的な符号化を達成できるためである。

さらに予め定められたインデックスｒｅｆに対応するものだけを用いるのではなく，参照距離情報メモリ１０７に格納されている距離情報から各画素位置でカメラに最も近いことを示す距離情報によって構築された新たな距離情報を生成し，この構築された距離情報を，符号化対象距離情報から減じて，差分距離情報を符号化する方法もある。なお，新たな距離情報の構築には画素ごとに平均値や中央値を取る手法もある。このように複数の参照距離情報を用いることで，オクルージョン部分を減らし，ノイズによる参照距離情報の誤差の影響を少なくすることができ，効率的な符号化を達成できる。

次に，第２の実施例（以下，実施例２）について説明する。本発明の実施例２に係る距離情報復号装置の構成図を図５に示す。図５に示すように，距離情報復号装置２００は，復号対象となる距離情報の符号化データを入力する距離情報符号化データ入力部２０１と，入力された符号化データを格納する符号化データメモリ２０２と，復号対象の距離情報が対象としているカメラのカメラパラメータ等を入力するカメラ情報入力部２０３と，復号対象の距離情報符号化データが予測符号化で参照している既に復号された距離情報を入力する参照距離情報入力部２０４と，参照距離情報が対象としているカメラのカメラパラメータ等を入力する参照カメラ情報入力部２０５と，参照三次元点復元手段を持ち，これを用いて参照距離情報の変換を行う参照距離情報変換部２０６と，変換された参照距離情報を格納する参照距離情報メモリ２０７と，参照距離情報メモリ２０７に蓄積されている距離情報を参照しながら符号化データメモリ２０２に蓄積されている符号化データを実際に復号する距離情報復号部２０８とを備える。

図６に，このようにして構成される距離情報復号装置２００の実行する処理フローを示す。この処理フローに従って，距離情報復号装置２００の実行する処理について詳細に説明する。

まず，距離情報符号化データ入力部２０１より，復号対象となる距離情報の符号化データが入力され，符号化データメモリ２０２に格納される［ステップＤ１］。

次に，復号対象の距離情報が基準としているカメラのカメラパラメータ等の情報がカメラ情報入力部２０３より入力される［ステップＤ２］。以下では，復号対象の距離情報に対するカメラの内部パラメータ行列をＡ_out ，回転行列をＲ_out ，並進ベクトルをｔ_out で表す。なお，カメラパラメータの定義は実施例１と同じである。

本実施例では，距離情報はグレースケール画像として表されるものとする。カメラから被写体までの距離を画素値に対応付ける際に必要な情報も，ステップＤ２の処理で入力されるカメラ情報に含まれるものとする。なお，この情報に関する具体例は実施例１で述べたため，ここでは省略する。以下では，距離ｄを画素値に対応付ける関数をＳ_out （ｄ）と表す。

次に，復号対象の距離情報を予測符号化する際に用いられた参照距離情報を用意する［ステップＤ３−Ｄ８］。ここでの処理は，参照先として用いられた既に復号済みの距離情報ごとに行われる。つまり，参照候補となる距離情報フレームを表すインデックスをｒｅｆ，参照候補フレーム数をｎｕｍＲｅｆｓとすると，ｒｅｆを０に初期化した後［ステップＤ３］，ｒｅｆに１を加算しながら［ステップＤ７］，ｒｅｆがｎｕｍＲｅｆｓになるまで［ステップＤ８］，以下のステップＤ４−Ｄ６の処理を繰り返す。

参照候補ごとに行われる処理では，まず参照候補となる既に復号済みの参照距離情報が，参照距離情報入力部２０４より入力される［ステップＤ４］。以下では，インデックスｒｅｆの参照距離情報はＤ_ref と表し，記号［］で挟まれた位置を識別する情報を付加することで特定の領域の距離情報を表す。

次に，参照カメラ情報入力部２０５より，Ｄ_ref が基準としているカメラ情報が入力される［ステップＤ５］。ここでのカメラ情報には，復号対象カメラに対するカメラ情報と同様に，カメラパラメータとカメラから被写体までの距離を画素値に対応付ける際に必要な情報とが含まれる。

以下では，Ｄ_ref に対するカメラの内部パラメータ行列をＡ_ref ，回転行列をＲ_ref ，並進ベクトルをｔ_ref ，カメラから被写体までの距離ｄを量子化するための関数をＳ_ref （ｄ）と表す。

参照距離情報と参照カメラ情報が得られたら，参照距離情報変換部２０６で参照距離情報Ｄ_ref を変換し，参照距離情報メモリ２０７に格納する［ステップＤ６］。ここでの変換は実施例１で行われたものと同様である。なお，対応する説明および図３および図４の添え字ｉｎを添え字ｏｕｔに読み替える必要がある。

全ての参照距離情報の変換が終了したら，距離情報復号部２０８で，参照距離情報メモリ２０７に格納されている参照距離情報を参照しながら，符号化データメモリ２０２に格納されている符号化データを復号する［ステップＤ９］。なお，ここでの復号方法は入力された符号化データを生成する際に用いられた符号化手法に対する復号手法であれば，どのような手法を用いても構わない。例えば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの動画像符号化の国際標準方式に準拠した方式で符号化されている場合，ＭＰＥＧ−２やＨ．２６４／ＡＶＣに準拠した復号方式を用いることとなる。

なお，この実施例２では符号化データを解析する前に，全ての参照距離情報候補に対して変換を行っているが，符号化データを順に復号し，参照の事実が判明した段階で，必要な部分のみを変換しても構わない。このようにすることで無駄な変換処理が行われるのを防ぎ，演算量を削減することが可能である。

実施例１の場合と同様に，図４の変換処理を用いた場合には，距離情報復号部２０８では，予め定められたインデックスｒｅｆに対応する参照距離情報メモリ２０７に格納されている距離情報を，復号対象の距離情報から減算した差分距離情報を符号化データから復号し，その差分距離情報に，インデックスｒｅｆに対応する変換した距離情報を加えることで，復号対象距離情報を復号する方法がある。

また，予め定められたインデックスｒｅｆに対応するものだけを用いるのではなく，参照距離情報メモリ２０７に格納されている距離情報から各画素位置でカメラに最も近いことを示す距離情報によって構築された新たな距離情報を生成し，この構築された距離情報を復号対象距離情報から減じて生成された差分距離情報を符号化データから復号し，構築した距離情報を加えて復号対照距離情報を復号する方法もある。なお，新たな距離情報の構築には画素ごとに平均値や中央値を取る手法もある。

以上説明した処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

また，以上の実施の形態では距離情報符号化装置および距離情報復号装置を中心に説明したが，これらの装置の各部の動作に対応したステップによって本発明の距離情報符号化方法および距離情報復号方法を実現することができる。

以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものでないことは明らかである。したがって，本発明の精神および範囲を逸脱しない範囲で構成要素の追加，省略，置換，その他の変更を行っても良い。

実施例１の距離情報符号化装置の構成を示す図である。 実施例１における距離情報符号化フローチャートである。 実施例１および実施例２における参照距離情報の変換処理フローチャートである。 図３とは別の参照距離情報の変換処理フローチャートである。 実施例２の距離情報復号装置の構成を示す図である。 実施例２における距離情報復号フローチャートである。 カメラの位置や向きによって同じ被写体に対する距離が異なることを示す図である。 被写体によってカメラ間の距離の差が異なることを示す図である。 カメラによって必要な距離の表現範囲が異なることを示す図である。

符号の説明

１００ 距離情報符号化装置
１０１ 距離情報入力部
１０２ 距離情報メモリ
１０３ カメラ情報入力部
１０４ 参照距離情報入力部
１０５ 参照カメラ情報入力部
１０６ 参照距離情報変換部
１０７ 参照距離情報メモリ
１０８ 距離情報符号化部
２００ 距離情報復号装置
２０１ 距離情報符号化データ入力部
２０２ 符号化データメモリ
２０３ カメラ情報入力部
２０４ 参照距離情報入力部
２０５ 参照カメラ情報入力部
２０６ 参照距離情報変換部
２０７ 参照距離情報メモリ
２０８ 距離情報復号部

Claims (18)

1. カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化方法において，
   符号化対象の距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための符号化対象カメラ情報を設定する符号化対象カメラ情報設定ステップと，
   上記符号化対象の距離情報の予測に用いる既に符号化済みの距離情報を復号した参照距離情報を設定する参照距離情報設定ステップと，
   上記参照距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための参照カメラ情報を設定する参照カメラ情報設定ステップと，
   上記参照カメラ情報と上記参照距離情報とを用いて，参照距離情報によって示される被写体の三次元座標を計算する参照三次元点復元ステップと，
   上記符号化対象カメラ情報によって示されるカメラから，上記参照三次元点復元ステップで計算された三次元座標値によって表現される点までの距離を求める変換参照距離設定ステップと，
   上記変換参照距離設定ステップで求められた距離を，上記符号化対象カメラ情報によって示される量子化手法で量子化することで変換参照距離情報を設定する変換参照距離情報設定ステップと，
   上記変換参照距離情報を参照対象として用いて，符号化対象距離情報を予測符号化する距離情報符号化ステップと，
   を有することを特徴とする距離情報符号化方法。
2. カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化方法において，
   符号化対象の距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための符号化対象カメラ情報を設定する符号化対象カメラ情報設定ステップと，
   上記符号化対象の距離情報の予測に用いる既に符号化済みの距離情報を復号した参照距離情報を設定する参照距離情報設定ステップと，
   上記参照距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための参照カメラ情報を設定する参照カメラ情報設定ステップと，
   上記参照カメラ情報と上記参照距離情報とを用いて，参照距離情報によって示される被写体の三次元座標を計算する参照三次元点復元ステップと，
   上記符号化対象カメラ情報によって示されるカメラから，上記参照三次元点復元ステップで計算された三次元座標値によって表現される点までの距離を求める変換参照距離設定ステップと，
   上記参照三次元点復元ステップで計算された三次元点が，符号化対象カメラで撮影された画像上で観測される位置を求める変換先位置設定ステップと，
   上記変換参照距離設定ステップで求められた距離を，上記符号化対象カメラ情報によって示される量子化手法で量子化した値を，上記変換先位置設定ステップで求められた位置の変換参照距離情報として設定する変換参照距離情報設定ステップと，
   上記変換参照距離情報を参照対象として用いて，符号化対象距離情報を予測符号化する距離情報符号化ステップと，
   を有することを特徴とする距離情報符号化方法。
3. 請求項２に記載の距離情報符号化方法において，
   １つないしは複数の変換参照距離情報を用いて，符号化対象カメラにおける合成距離情報を生成する合成距離情報設定ステップと，
   上記符号化対象の距離情報から上記合成距離情報を減算することで差分距離情報を生成する差分距離情報設定ステップとを有し，
   上記距離情報符号化ステップでは，上記差分距離情報を符号化すること，
   を特徴とする距離情報符号化方法。
4. 請求項３に記載の距離情報符号化方法において，
   上記合成距離情報設定ステップでは，位置ごとに与えられた変換参照距離情報の中で最もカメラに近いことを示す距離情報，または位置ごとに与えられた変換参照距離情報の平均値もしくは中央値を，その位置の合成距離情報とすること，
   を特徴とする距離情報符号化方法。
5. カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号方法において，
   復号対象の距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための復号対象カメラ情報を設定する復号対象カメラ情報設定ステップと，
   上記復号対象の距離情報の予測に用いる既に復号済みの距離情報を参照距離情報として設定する参照距離情報設定ステップと，
   上記参照距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための参照カメラ情報を設定する参照カメラ情報設定ステップと，
   上記参照カメラ情報と上記参照距離情報とを用いて，参照距離情報によって示される被写体の三次元座標を計算する参照三次元点復元ステップと，
   上記復号対象カメラ情報によって示されるカメラから，上記参照三次元点復元ステップで計算された三次元座標値によって表現される点までの距離を求める変換参照距離設定ステップと，
   上記変換参照距離設定ステップで求められた距離を，上記復号対象カメラ情報によって示される量子化手法で量子化することで変換参照距離情報を設定する変換参照距離情報設定ステップと，
   上記変換参照距離情報を参照対象として用いて，符号化データから距離情報を復号する距離情報復号ステップと，
   を有することを特徴とする距離情報復号方法。
6. カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号方法において，
   復号対象の距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための復号対象カメラ情報を設定する復号対象カメラ情報設定ステップと，
   上記復号対象の距離情報の予測に用いる既に復号済みの距離情報を参照距離情報として設定する参照距離情報設定ステップと，
   上記参照距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための参照カメラ情報を設定する参照カメラ情報設定ステップと，
   上記参照カメラ情報と上記参照距離情報とを用いて，参照距離情報によって示される被写体の三次元座標を計算する参照三次元点復元ステップと，
   上記復号対象カメラ情報によって示されるカメラから，上記参照三次元点復元ステップで計算された三次元座標値によって表現される点までの距離を求める変換参照距離設定ステップと，
   上記参照三次元点復元ステップで計算された三次元点が，符号化対象カメラで撮影された画像上で観測される位置を求める変換先位置設定ステップと，
   上記変換参照距離設定ステップで求められた距離を，上記符号化対象カメラ情報によって示される量子化手法で量子化した値を，上記変換先位置設定ステップで求められた位置の変換参照距離情報として設定する変換参照距離情報設定ステップと，
   上記変換参照距離情報を参照対象として用いて，符号化データから距離情報を復号する距離情報復号ステップと，
   を有することを特徴とする距離情報復号方法。
7. 請求項６に記載の距離情報復号方法において，
   １つないしは複数の変換参照距離情報を用いて，符号化対象カメラにおける合成距離情報を生成する合成距離情報設定ステップと，
   復号対象距離情報から上記合成距離情報を減算した差分距離情報を，符号化データから復号する差分距離情報復号ステップとを有し，
   上記距離情報復号ステップでは，上記差分距離情報に上記合成距離情報を加えることで復号対象距離情報を復号すること，
   を特徴とする距離情報復号方法。
8. 請求項７に記載の距離情報復号方法において，
   上記合成距離情報設定ステップでは，位置ごとに与えられた変換参照距離情報の中で最もカメラに近いことを示す距離情報，または位置ごとに与えられた変換参照距離情報の平均値もしくは中央値を，その位置の合成距離情報とすること，
   を特徴とする距離情報復号方法。
9. カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化装置において，
   符号化対象の距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための符号化対象カメラ情報を設定する符号化対象カメラ情報設定手段と，
   上記符号化対象の距離情報の予測に用いる既に符号化済みの距離情報を復号した参照距離情報を設定する参照距離情報設定手段と，
   上記参照距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための参照カメラ情報を設定する参照カメラ情報設定手段と，
   上記参照カメラ情報と上記参照距離情報とを用いて，参照距離情報によって示される被写体の三次元座標を計算する参照三次元点復元手段と，
   上記符号化対象カメラ情報によって示されるカメラから，上記参照三次元点復元手段で計算された三次元座標値によって表現される点までの距離を求める変換参照距離設定手段と，
   上記変換参照距離設定手段で求められた距離を，上記符号化対象カメラ情報によって示される量子化手法で量子化することで変換参照距離情報を設定する変換参照距離情報設定手段と，
   上記変換参照距離情報を参照対象として用いて，符号化対象距離情報を予測符号化する距離情報符号化手段と，
   を備えることを特徴とする距離情報符号化装置。
10. カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報を符号化する距離情報符号化装置において，
    符号化対象の距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための符号化対象カメラ情報を設定する符号化対象カメラ情報設定手段と，
    上記符号化対象の距離情報の予測に用いる既に符号化済みの距離情報を復号した参照距離情報を設定する参照距離情報設定手段と，
    上記参照距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための参照カメラ情報を設定する参照カメラ情報設定手段と，
    上記参照カメラ情報と上記参照距離情報とを用いて，参照距離情報によって示される被写体の三次元座標を計算する参照三次元点復元手段と，
    上記符号化対象カメラ情報によって示されるカメラから，上記参照三次元点復元手段で計算された三次元座標値によって表現される点までの距離を求める変換参照距離設定手段と，
    上記参照三次元点復元手段で計算された三次元点が，符号化対象カメラで撮影された画像上で観測される位置を求める変換先位置設定手段と，
    上記変換参照距離設定手段で求められた距離を，上記符号化対象カメラ情報によって示される量子化手法で量子化した値を，上記変換先位置設定手段で求められた位置の変換参照距離情報として設定する変換参照距離情報設定手段と，
    上記変換参照距離情報を参照対象として用いて，符号化対象距離情報を予測符号化する距離情報符号化手段と，
    を備えることを特徴とする距離情報符号化装置。
11. 請求項１０に記載の距離情報符号化装置において，
    １つないしは複数の変換参照距離情報を用いて，符号化対象カメラにおける合成距離情報を生成する合成距離情報設定手段と，
    上記符号化対象の距離情報から上記合成距離情報を減算することで差分距離情報を生成する差分距離情報設定手段とを備え，
    上記距離情報符号化手段は，上記差分距離情報を符号化すること，
    を特徴とする距離情報符号化装置。
12. カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号装置において，
    復号対象の距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための復号対象カメラ情報を設定する復号対象カメラ情報設定手段と，
    上記復号対象の距離情報の予測に用いる既に復号済みの距離情報を参照距離情報として設定する参照距離情報設定手段と，
    上記参照距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための参照カメラ情報を設定する参照カメラ情報設定手段と，
    上記参照カメラ情報と上記参照距離情報とを用いて，参照距離情報によって示される被写体の三次元座標を計算する参照三次元点復元手段と，
    上記復号対象カメラ情報によって示されるカメラから，上記参照三次元点復元手段で計算された三次元座標値によって表現される点までの距離を求める変換参照距離設定手段と，
    上記変換参照距離設定手段で求められた距離を，上記復号対象カメラ情報によって示される量子化手法で量子化することで変換参照距離情報を設定する変換参照距離情報設定手段と，
    上記変換参照距離情報を参照対象として用いて，符号化データから距離情報を復号する距離情報復号手段と，
    を備えることを特徴とする距離情報復号装置。
13. カメラで撮影された画像に対するカメラから被写体までの距離を表す距離情報の符号化データを復号する距離情報復号装置において，
    復号対象の距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための復号対象カメラ情報を設定する復号対象カメラ情報設定手段と，
    上記復号対象の距離情報の予測に用いる既に復号済みの距離情報を参照距離情報として設定する参照距離情報設定手段と，
    上記参照距離情報において被写体の撮影を行ったカメラのパラメータと，カメラから被写体までの距離を画素値に量子化するための参照カメラ情報を設定する参照カメラ情報設定手段と，
    上記参照カメラ情報と上記参照距離情報とを用いて，参照距離情報によって示される被写体の三次元座標を計算する参照三次元点復元手段と，
    上記復号対象カメラ情報によって示されるカメラから，上記参照三次元点復元手段で計算された三次元座標値によって表現される点までの距離を求める変換参照距離設定手段と，
    上記参照三次元点復元手段で計算された三次元点が，符号化対象カメラで撮影された画像上で観測される位置を求める変換先位置設定手段と，
    上記変換参照距離設定手段で求められた距離を，上記符号化対象カメラ情報によって示される量子化手法で量子化した値を，上記変換先位置設定手段で求められた位置の変換参照距離情報として設定する変換参照距離情報設定手段と，
    上記変換参照距離情報を参照対象として用いて，符号化データから距離情報を復号する距離情報復号手段と，
    を備えることを特徴とする距離情報復号装置。
14. 請求項１３に記載の距離情報復号装置において，
    １つないしは複数の変換参照距離情報を用いて，符号化対象カメラにおける合成距離情報を生成する合成距離情報設定手段と，
    復号対象距離情報から上記合成距離情報を減算した差分距離情報を，符号化データから復号する差分距離情報復号手段とを備え，
    上記距離情報復号手段では，上記差分距離情報に上記合成距離情報を加えることで復号対象距離情報を復号すること，
    を特徴とする距離情報復号装置。
15. 請求項１から請求項４までのいずれか１項に記載の距離情報符号化方法をコンピュータに実行させるための距離情報符号化プログラム。
16. 請求項１５に記載の距離情報符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
17. 請求項５から請求項８までのいずれか１項に記載の距離情報復号方法をコンピュータに実行させるための距離情報復号プログラム。
18. 請求項１７に記載の距離情報復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images