JP5809574B2

JP5809574B2 - 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム

Info

Publication number: JP5809574B2
Application number: JP2012019176A
Authority: JP
Inventors: 信哉志水; 志織杉本; 木全　英明; 英明木全; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-01-31
Filing date: 2012-01-31
Publication date: 2015-11-11
Anticipated expiration: 2032-01-31
Also published as: JP2013157950A

Description

本発明は、映像情報等を符号化または復号する符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラムに関する。

自由視点映像とは、撮影空間内でのカメラの位置や向き（以下、視点と称する）をユーザが自由に指定できる映像のことである。自由視点映像では、ユーザが任意の視点を指定するため、その全ての可能性に対して映像を保持することは不可能である。そのため、自由視点映像は、指定された視点の映像を生成するのに必要な情報群によって構成される。なお、自由視点映像は、自由視点テレビ、任意視点映像、任意視点テレビなどと呼ばれることもある。

自由視点映像は様々なデータ形式を用いて表現されるが、最も一般的な形式として映像とその映像の各フレームに対するデプスマップ（距離画像）を用いる方式がある（例えば、非特許文献１参照）。ここで、デプスマップとは、カメラから被写体までのデプス（距離）を画素ごとに表現したものであり、被写体の三次元的な位置を表現している。デプスは二つのカメラ間の視差の逆数に比例しているため、ディスパリティマップ（視差画像）と呼ばれることもある。コンピュータグラフィックスの分野では、デプスはＺバッファに蓄積された情報となるためＺ画像やＺマップと呼ばれることもある。なお、カメラから被写体までの距離の他に、表現対象空間上に張られた三次元座標系のＺ軸に対する座標値をデプスとして用いることもある。

一般に、撮影された画像に対して水平方向をＸ軸、垂直方向をＹ軸とするため、Ｚ軸はカメラの向きと一致するが、複数のカメラに対して共通の座標系を用いる場合など、Ｚ軸がカメラの向きと一致しない場合もある。以下では、距離・Ｚ値を区別せずにデプスと呼び、デプスを画素値として表した画像をデプスマップと呼ぶ。ただし、厳密にはディスパリティマップでは基準となるカメラ対を設定する必要がある。

デプスを画素値として表す際に、物理量に対応する値をそのまま画素値とする方法と、最小値と最大値の間をある数に量子化して得られる値を用いる方法と、最小値からの差をあるステップ幅で量子化して得られる値を用いる方法がある。表現したい範囲が限られている場合には、最小値などの付加情報を用いるほうがデプスを高精度に表現することができる。また、等間隔に量子化する際に、物理量をそのまま量子化する方法と物理量の逆数を量子化する方法とがある。距離の逆数は視差に比例した値となるため、距離を高精度に表現する必要がある場合には、前者が使用され、視差を高精度に表現する必要がある場合には、後者が使用されることが多い。以下では、デプスの画素値化の方法や量子化の方法に関係なく、デプスが画像として表現されたものを全てデプスマップと呼ぶ。

デプスマップは、各画素が一つの値を持つ画像として表現されるため、グレースケール画像とみなすことができる。また、被写体が実空間上で連続的に存在し、瞬間的に離れた位置へ移動することができないため、画像信号と同様に空間的相関及び時間的相関を持つと言える。したがって、通常の画像信号や映像信号を符号化するために用いられる画像符号化方式や映像符号化方式によって、デプスマップや連続するデプスマップで構成される映像を空間的冗長性や時間的冗長性を取り除きながら効率的に符号化することが可能である。以下では、デプスマップとその映像を区別せずにデプスマップと呼ぶ。

ここで、一般的な映像符号化について説明する。規格Ｈ．２６４／ＡＶＣに代表される近年の映像符号化では、被写体が空間的及び時間的に連続しているという特徴を利用して効率的な符号化を実現するために、映像の各フレームをマクロブロックと呼ばれる処理単位ブロックに分割し、マクロブロックごとにその映像信号を空間的または時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化する。映像信号を空間的に予測する場合は、例えば空間的な予測の方向を示す情報が予測情報となり、時間的に予測する場合は、例えば参照するフレームを示す情報とそのフレーム中の位置を示す情報とが予測情報となる。通常の映像符号化では、劇的に符号量を削減するために、主観品質を考慮しながらこの予測残差をロッシー符号化することで効率的な符号化を実現している（規格Ｈ．２６４／ＡＶＣの詳細については、例えば、非特許文献２参照）。

予測残差をロッシー符号化することで、符号化したフレームにはノイズが重畳する。映像信号を時間的に予測する際に、そのような符号化ノイズが重畳したフレームを参照フレームとして用いると、予測信号にもノイズが重畳し、予測効率が低下してしまう。そのため、符号化したフレームに対してノイズを低減するフィルタを適用することで予測効率を向上している。ＨＥＶＣと呼ばれる新しい映像符号化では、デブロッキングフィルタと適応的インループフィルタが用いられている（ＨＥＶＣの詳細については、例えば、非特許文献３参照）。

しかしながら、これらのフィルタでは写っている被写体の違いを区別しないため、デプスマップのような値が被写体に大きく依存するようなフレームにおいては、適切なノイズ除去を実現できないという問題がある。この問題に対して、デプスマップに対応する映像フレームが一緒に符号化される場合、非特許文献４では、映像フレームにおける画素ごとの類似度を用いることで、画素毎に写っている被写体を区別しながらフィルタ処理を行うことで、値が被写体に大きく依存するようなフレームにおいても適切なノイズ除去を実現している。

Y. Mori, N. Fukusima, T. Fuji, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV ",In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008. Rec. ITU-T H.264,"Advanced video coding for generic audiovisual services", March 2009. B. Boss, W.-J. Han, J.-R. Ohm, G. J. Sullivan, and T. Wiegand,"WD5: Working Draft 5 of High-Efficiency Video Coding", JCTVC-G1103_d0, pp.129-150, 7th JCT-VC Meeting, November 2011. S. Liu, P. Lai, D. Tian, and C. W. Chen,"New Depth Coding Techniques With Utilization of Corresponding Video", IEEE Transactions on Broadcasting, vol.57, no.2, pp.551-561, June 2011.

しかしながら、非特許文献４の方法では、フィルタ対象画素の周辺に存在する複数の参照画素ごとに、フィルタ対象画素に対する類似度を計算し、その類似度による参照画素の画素値の重み付き和によってフィルタ結果を生成するため、処理フレームは平滑されることになり、デプスマップで重要な強いエッジを保つことができない。また、符号化処理によって失ってしまった強いエッジを復元することもできない。

この問題に対して、類似度に基づいて参照画素を絞り込む事で、平滑化の影響を弱めることができる。特に参照画素を１つに絞り込むことで被写体に依存したエッジを生成することができる。しかしながら、そのような方法では、類似度の高い参照画素にノイズが含まれる場合に、ノイズを除去できないだけでなく、ノイズを拡散してしまうという問題がある。

また、デプスマップに対応する映像フレームも符号化されていることから、そこから算出される類似度も符号化ノイズの影響を受ける。そのため、類似度を直接用いた絞込みでは適切な参照画素を絞りこむことができない。特に参照画素を１つに絞込む際に、誤った参照画素が選択されてしまった場合は、本来は存在しなかったエッジを生成してノイズを増加させてしまうことがある。

本発明は、このような事情に鑑みてなされたもので、符号化結果の品質向上及び予測効率改善により符号量を削減することができる符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラムを提供することを目的とする。

本発明は、映像情報に対応するデプスマップの符号化を行う符号化方法であって、前記デプスマップの符号化対象フレーム情報の予測情報を生成する予測ステップと、前記符号化対象フレーム情報と前記予測情報とから生成した予測残差情報を符号化した符号化予測残差情報と、該符号化予測残差情報を復号した復号予測残差情報を出力する予測残差符号化ステップと、前記予測ステップにおいて用いた予測方法を示す情報と、前記符号化予測残差情報とを符号化して出力する符号化ステップと、前記予測情報と、前記復号予測残差情報とから生成した一時復号情報を出力する一時復号ステップと、前記符号化対象フレーム情報の各処理対象画素に対して参照画素を設定する参照画素設定ステップと、前記符号化対象フレーム情報に対応する前記映像情報を用いて、前記参照画素と、前記処理対象画素との類似度を計算する類似度計算ステップと、前記類似度と、前記一時復号情報とから、前記処理対象画素の復号情報に対する信頼度分布情報を推定する信頼度分布推定ステップと、前記符号化対象フレーム情報の前記処理対象画素毎に、前記信頼度分布情報において、最大の信頼度を与える画素値を、前記復号情報として出力する復号ステップとを有し、前記予測ステップにおいては、前記復号ステップにより出力する前記復号情報に基づいて前記予測情報を出力することを特徴とする。

本発明は、前記信頼度分布推定ステップは、前記符号化対象フレーム情報の各処理対象画素に対する前記信頼度分布情報を初期化する信頼度分布初期化ステップと、前記信頼度分布情報を更新する範囲を設定する更新範囲設定ステップと、前記更新する範囲に含まれる画素値毎に、前記参照画素の重み係数を設定する重み係数設定ステップと、前記類似度と前記重み係数とを用いて、前記更新する範囲に含まれる画素値の更新信頼度を計算する更新信頼度計算ステップと、前記更新信頼度に基づいて前記信頼度分布情報を更新する信頼度情報更新ステップとを含むことを特徴とする。

本発明は、前記符号化対象フレーム情報の各処理対象画素に対して、前記参照画素の画素値の最大値と最小値とから、前記信頼度の定義域を設定する定義域設定ステップを更に含み、前記信頼度分布推定ステップでは、前記符号化対象フレーム情報の前記処理対象画素毎に設定された前記定義域に対してのみ、前記信頼度分布情報を推定することを特徴とする。

本発明は、映像情報に対応するデプスマップ情報が符号化された符号データを復号する復号方法であって、前記符号データから予測方法を示す情報と復号予測残差情報を復号する復号ステップと、前記復号された前記予測方法を示す情報に従って復号対象フレーム情報の予測情報を出力する予測ステップと、前記予測情報と、前記復号予測残差情報とから一時復号情報を生成する一時復号ステップと、前記復号対象フレーム情報の各処理対象画素に対して参照画素を設定する参照画素設定ステップと、前記復号対象フレーム情報に対応する前記映像情報を用いて、前記参照画素と、前記処理対象画素との類似度を計算する類似度計算ステップと、前記類似度と、前記一時復号情報とから、前記処理対象画素の復号情報に対する信頼度分布情報を推定する信頼度分布推定ステップと、前記復号対象フレーム情報の前記処理対象毎に、前記信頼度分布情報において、最大の信頼度を与える画素値を、前記復号情報として出力する復号ステップとを有し、前記予測ステップにおいては、前記復号ステップにより出力する前記復号情報に基づいて前記予測情報を出力することを特徴とする。

本発明は、前記信頼度分布推定ステップは、前記復号対象フレーム情報の各処理対象画素に対する前記信頼度分布情報を初期化する信頼度分布初期化ステップと、前記信頼度分布情報を更新する範囲を設定する更新範囲設定ステップと、前記更新する範囲に含まれる画素値毎に、前記参照画素の重み係数を設定する重み係数設定ステップと、前記類似度と前記重み係数とを用いて、前記更新する範囲に含まれる画素値の更新信頼度を計算する更新信頼度計算ステップと前記更新信頼度に基づいて前記信頼度分布情報を更新する信頼度情報更新ステップとを含むことを特徴とする。

本発明は、前記復号対象フレーム情報の各処理対象画素に対して、前記参照画素の画素値の最大値と最小値とから、前記信頼度の定義域を設定する定義域設定ステップを更に含み、前記信頼度分布推定ステップでは、前記復号対象フレーム情報の前記処理対象画素毎に設定された前記定義域に対してのみ、前記信頼度分布情報を推定することを特徴とする。

本発明は、映像情報に対応するデプスマップの符号化を行う符号化装置であって、前記デプスマップの符号化対象フレーム情報の予測情報を生成する予測手段と、前記符号化対象フレーム情報と前記予測情報とから生成した予測残差情報を符号化した符号化予測残差情報と、該符号化予測残差情報を復号した復号予測残差情報を出力する予測残差符号化手段と、前記予測手段において用いた予測方法を示す情報と、前記符号化予測残差情報とを符号化して出力する符号化手段と、前記予測情報と、前記復号予測残差情報とから生成した一時復号情報を出力する一時復号手段と、前記符号化対象フレーム情報の各処理対象画素に対して参照画素を設定する参照画素設定手段と、前記符号化対象フレーム情報に対応する前記映像情報を用いて、前記参照画素と、前記処理対象画素との類似度を計算する類似度計算手段と、前記類似度と、前記一時復号情報とから、前記処理対象画素の復号情報に対する信頼度分布情報を推定する信頼度分布推定手段と、前記符号化対象フレーム情報の前記処理対象画素毎に、前記信頼度分布情報において、最大の信頼度を与える画素値を、前記復号情報として出力する復号手段とを備え、前記予測手段は、前記復号手段により出力する前記復号情報に基づいて前記予測情報を出力することを特徴とする。

本発明は、前記信頼度分布推定手段は、前記符号化対象フレーム情報の各処理対象画素に対する前記信頼度分布情報を初期化する信頼度分布初期化手段と、前記信頼度分布情報を更新する範囲を設定する更新範囲設定手段と、前記更新する範囲に含まれる画素値毎に、前記参照画素の重み係数を設定する重み係数設定手段と、前記類似度と前記重み係数とを用いて、前記更新する範囲に含まれる画素値の更新信頼度を計算する更新信頼度計算手段と、前記更新信頼度に基づいて前記信頼度分布情報を更新する信頼度情報更新手段とを含むことを特徴とする。

本発明は、前記符号化対象フレーム情報の各処理対象画素に対して、前記参照画素の画素値の最大値と最小値とから、前記信頼度の定義域を設定する定義域設定手段を更に備え、前記信頼度分布推定手段では、前記符号化対象フレーム情報の前記処理対象画素毎に設定された前記定義域に対してのみ、前記信頼度分布情報を推定することを特徴とする。

本発明は、映像情報に対応するデプスマップ情報が符号化された符号データを復号する復号装置であって、前記符号データから予測方法を示す情報と復号予測残差情報を復号する復号手段と、前記復号された前記予測方法を示す情報に従って復号対象フレーム情報の予測情報を出力する予測手段と、前記予測情報と、前記復号予測残差情報とから一時復号情報を生成する一時復号手段と、前記復号対象フレーム情報の各処理対象画素に対して参照画素を設定する参照画素設定手段と、前記復号対象フレーム情報に対応する前記映像情報を用いて、前記参照画素と、前記処理対象画素との類似度を計算する類似度計算手段と、前記類似度と、前記一時復号情報とから、前記処理対象画素の復号情報に対する信頼度分布情報を推定する信頼度分布推定手段と、前記復号対象フレーム情報の前記処理対象画素毎に、前記信頼度分布情報において、最大の信頼度を与える画素値を、前記復号情報として出力する復号手段とを備え、前記予測手段は、前記復号手段により出力する前記復号情報に基づいて前記予測情報を出力することを特徴とする。

本発明は、前記信頼度分布推定手段は、前記復号対象フレーム情報の各処理対象画素に対する前記信頼度分布情報を初期化する信頼度分布初期化手段と、前記信頼度分布情報を更新する範囲を設定する更新範囲設定手段と、前記更新する範囲に含まれる画素値毎に、前記参照画素の重み係数を設定する重み係数設定手段と、前記類似度と前記重み係数とを用いて、前記更新する範囲に含まれる画素値の更新信頼度を計算する更新信頼度計算手段と前記更新信頼度に基づいて前記信頼度分布情報を更新する信頼度情報更新手段とを含むことを特徴とする。

本発明は、前記復号対象フレーム情報の各処理対象画素に対して、前記参照画素の画素値の最大値と最小値とから、前記信頼度の定義域を設定する定義域設定手段を更に備え、前記信頼度分布推定手段では、前記復号対象フレーム情報の前記処理対象画素毎に設定された前記定義域に対してのみ、前記信頼度分布情報を推定することを特徴とする。

本発明は、コンピュータを前記符号化装置として機能させるための符号化プログラムである。

本発明は、コンピュータを前記復号装置として機能させるための復号プログラムである。

本発明によれば、デプスマップのように被写体に大きく依存した値を持つデータをそれに対応する映像と一緒に伝送する場合、符号化によって発生したノイズを低減するとともに、符号化によって平滑化されてしまったエッジを復元することが可能となる。そのため、符号化結果の品質向上及び予測効率改善による符号量の削減を達成することが可能になるという効果が得られる。

本発明の第１実施形態によるデプスマップ符号化装置の構成を示すブロック図である。復号フレームフィルタ部の構成を示すブロック図である。図１に示すデプスマップ符号化装置の処理フローチャートである。フィルタ処理の詳細を示すフローチャートである。信頼度の定義域を制限することで演算量を削減したフィルタ処理の詳細を示すフローチャートである。参照画素ごとに信頼度分布の更新範囲を設定して、一部の信頼度のみを更新することで信頼度分布を推定することで、フィルタ処理を行う場合のフローチャートである。参照画素ごとに信頼度分布の更新範囲を設定して、一部の信頼度のみを更新することで信頼度分布を推定することで、フィルタ処理を行う場合のより具体的な処理の例を記載したフローチャートである。本発明の第２実施形態によるデプスマップ復号装置の構成を示すブロック図である。図８に示すデプスマップ復号装置の処理フローチャートである。デプスマップ符号化装置をコンピュータとソフトウェアプログラムによって構成する場合のハードウェア構成例を示す図である。デプスマップ復号装置をコンピュータとソフトウェアプログラムによって構成する場合のハードウェア構成例を示す図である。

以下、図面を参照して、本発明の一実施形態によるデプスマップ符号化装置を説明する。図１は同実施形態におけるデプスマップ符号化装置の構成を示すブロック図である。デプスマップ符号化装置１００は、符号化対象デプスマップ入力部１０１、デプスマップメモリ１０２、映像入力部１０３、映像メモリ１０４、デプス予測部１０５、予測残差符号化部１０６、可変長符号化部１０７、ビットストリーム出力部１０８、復号フレームフィルタ部１０９及び参照フレームメモリ１１０を備える。

符号化対象デプスマップ入力部１０１は、符号化対象となるデプスマップ情報を入力する。以下の説明では、この符号化対象となるデプスマップ情報のことを符号化対象デプスマップと称し、特に処理を行うフレームを符号化対象フレームと称する。デプスマップメモリ１０２は、入力した符号化対象デプスマップを記憶する。映像入力部１０３は、符号化対象デプスマップに対応する映像情報を入力する。この映像の各フレームの各画素に写っている被写体のデプスが符号化対象デプスマップで表される。以下の説明では、この映像情報を補助映像と称し、符号化対象フレームに対する補助映像のフレームを補助映像フレームと称する。映像メモリ１０４は、入力された映像を記憶する。

デプス予測部１０５は、符号化対象フレームに対する予測信号を生成する。予測残差符号化部１０６は、符号化対象フレーム（原信号）と予測信号との差分の予測残差信号を符号化し、符号化対象予測残差値とその復号値に対応する復号予測残差信号を出力する。可変長符号化部１０７は、予測方法を示す情報と符号化対象予測残差値を可変長符号化してビットストリームを生成する。ビットストリーム出力部１０８は、符号化結果となるビットストリームを出力する。復号フレームフィルタ部１０９は、補助映像フレーム（補助映像信号）を用いながら、予測信号と復号予測残差信号の和で得られる一時復号信号にフィルタをかける。フィルタ結果の復号信号は参照フレームメモリ１１０に蓄えられ、映像予測に使用される。

次に、図２を参照して、図１に示す復号フレームフィルタ部１０９の詳細な構成を説明する。図２は、図１に示す復号フレームフィルタ部１０９の構成を示すブロック図である。復号フレームフィルタ部１０９は、類似度算出部１０９１、信頼度分布推定部１０９２及び画素値決定部１０９３を備える。

類似度算出部１０９１は、一時復号信号と補助映像信号を用いてフィルタ対象画素に対する類似度を参照画素毎に算出する。信頼度分布推定部１０９２は、参照画素の類似度と画素値から画素値に対する真値としての確からしさの分布を推定する。以下の説明においてはこの真値としての確からしさのことを信頼度と称する。画素値決定部１０９３は類似度分布に基づいてフィルタ対象画素に対するフィルタ結果の画素値を決定し、復号信号として出力する。

次に、図３を参照して、図１に示すデプスマップ符号化装置１００の動作を説明する。図３は、図１に示すデプスマップ符号化装置１００の動作を示すフローチャートである。ここでは符号化対象デプスマップ中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、複数フレームで構成されるデプスマップの符号化が実現できる。

まず、符号化対象デプスマップ入力部１０１は符号化対象フレームを入力し、デプスマップメモリ１０２に記憶しする。一方、映像入力部１０３は補助映像フレームを入力し、映像メモリ１０４に記憶する（ステップＳ１０１）。なお、ここでは入力された符号化対象フレームが順次符号化されるものとしているが、入力順と符号化順は必ずしも一致している必要はない。入力順と符号化順が異なる場合は、次に符号化するフレームが入力されるまで、入力されたデプスマップ及び補助映像のフレームはデプスマップメモリ１０２及び映像メモリ１０４に記憶する。記憶した符号化対象フレーム及び補助映像フレームは、以下において説明する符号化処理による符号化が完了したら、各メモリから削除しても構わない。

また、ステップＳ１０１で入力する補助映像フレームは、既に符号化済みの補助映像を復号して得られたものなど、復号側で得ることのできる補助映像のフレームとする。これは、復号装置で得られる情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されても構わない。その他の復号側で得られる補助映像として、別の視点の符号化済み補助映像を復号したものを用いて合成された補助映像を用いても構わない。

符号化対象フレームと補助映像フレームの記憶が終了したら、デプス予測部１０５は、符号化対象フレームに対する予測信号を生成する（ステップＳ１０２）。予測信号の生成にはどのような方法を用いても構わない。一般的な符号化では、空間的な相関や時間的な相関を利用して、参照フレームメモリ１１０に記憶されている符号化対象フレームの既に符号化した部分や過去に符号化したフレームの復号信号から予測信号を生成する。代表的な方法としては、被写体の空間的な連続性を利用したイントラ予測や、被写体の動きを補償しながら被写体のデプスの時間的な連続性を利用して予測する動き補償予測がある。これら予測方法の詳細については、例えば非特許文献２及び非特許文献３に記載されており、公知であるため詳細な説明を省略する。

予測信号が生成されたら、予測方法及び予測残差の符号化を行う（ステップＳ１０３）。予測方法とは予測信号を生成する方法を指定するための情報であり、イントラ予測と動き補償予測が利用可能な場合は、どちらの予測を用いたのか、イントラ予測を用いた場合はどのようなイントラ予測を用いたのか、動き補償予測の場合はどの参照フレームを用いてどのような動きを補償したのかなどを示す情報が予測方法である。どのような方法を用いて予測方法を符号化しても構わない。例えば、非特許文献２や非特許文献３では、予測方法を２値化して得られるバイナリ列をコンテキスト適応型エントロピー符号化によって符号化を行っている。ここでは、可変長符号化部１０７で可変長符号化するものとする。

予測残差とは、符号化対象フレームと予測信号との画素ごとの差分信号である。予測残差もどのように符号化しても構わない。ＭＰＥＧやＪＰＥＧに代表される一般的な符号化では、まず、直交変換などを用いて、予測残差信号を周波数領域での係数情報へと変換する。

次に、各係数情報をターゲットとするビットレートや品質に基づいて量子化する。そして、得られた量子化代表値をエントロピー符号化等の可変長符号化を用いて符号化を行う。予測残差信号は予測残差符号化部１０６により変換・量子化し、得られた量子化代表値を符号化対象予測残差値として、可変長符号化部１０７において可変長符号化を行う。

ビットストリーム出力部１０８は、可変長符号化部１０７の出力であるビットストリームをデプスマップ符号化装置１００の出力結果として出力する。なお、符号化順と出力順が一致しない場合は、ビットストリームメモリを更に備え、可変長符号化部１０７の出力を一時的に記憶した後に、ビットストリーム出力部１０８はビットストリームメモリから出力を行っても構わない。

予測方法及び予測残差の符号化が終了したら、符号化した予測残差を復号する（ステップＳ１０４）。ここで行う復号は、ビットストリームを復号することで行っても構わないし、エントロピー符号化等でロスレス符号化する前までの情報を復号することで行っても構わない。ここでは、予測残差信号符号化部１０６おいて変換・量子化して得られた量子化代表値を逆量子化・逆変換を行うことで復号予測残差信号を得る。

予測残差の復号が終了したら、得られた復号予測残差信号と予測信号との和信号を生成することで一時復号信号を生成する（ステップＳ１０５）。そして、復号フレームフィルタ部１０９は、一時復号信号にフィルタ処理を施して復号信号を生成し（ステップＳ１０６）、得られた復号信号を以降のデプスマップに対する予測信号の生成に利用するために参照フレームメモリ１１０に記憶する（ステップＳ１０７）。この処理（ステップＳ１０１〜Ｓ１０７）は全フレームについて行う（ステップＳ１０８）。

つぎに、図４を参照して、図１に示す復号フレームフィルタ部１０９が、図３に示す一時復号信号をフィルタリングするフィルタ処理（ステップＳ１０６）について詳細に説明する。図４は、フィルタ処理の詳細動作を示すフローチャートである。ここでは１フレーム分の一時復号信号が得られた後にフィルタ処理を行う場合について説明するが、部分ごとにフィルタ処理を行っても構わない。その場合、フィルタ済みの領域やフィルタ前の領域について、一時復号信号が得られないことになるが、その場合はそれらの領域を後述する参照画素群に選ばないとしたり、フィルタ済みの領域については参照フレームメモリ１１０に記憶されている対応する復号信号を代わりに用いたり、別途一時復号信号を記憶しておいて使用しても構わない。

まず、処理対象フレームの一時復号信号と、それに対する補助映像信号とを入力する（ステップＳ１６１１）。続いて、フィルタ対象とする画素を１つ選択して設定する（ステップＳ１６１２）。そして、フィルタ対象画素から一定の距離内に存在する画素群を参照画素群として設定する（ステップＳ１６１３）。なお、フィルタ対象画素自身を参照画素に含めても構わない。また、距離はどのように設定しても構わないが復号側と同じものが使用される必要がある。ただし、ドリフト等の符号化ノイズが発生しても構わない場合は、この限りではない。例えば、画像空間におけるマンハッタン距離やユークリッド距離に従って条件を設定しても構わない。

次に、類似度算出部１０９１は、参照画素群の設定が完了したら、処理対象画素との類似度を補助映像信号を用いて参照画素ごとに求める（ステップＳ１６１４）。類似度にはどのような定義を用いても構わないが、処理対象画素との距離が近いほど、補助映像信号が近いほど、より大きな類似度となるような定義を用いる。これらの条件に加えて、一時復号信号が近いほど大きな類似度となるように設定しても構わない。

例えば、処理対象画素ｐに対する参照画素ｑの類似度Ｓ_ｐ（ｑ）は（１）式で与えられる。

ここで、ｆ，ｇ，ｈは引数が一致するときに最大値をとるような非負の関数であり、Ｉ及びＤは、それぞれ引数で与えられる画素位置の補助映像信号の画素値と一時復号信号の画素値を表す。例えば、ｆ，ｇ，ｈとして、引数の差のノルムに対するガウス関数を用いても構わない。

また、デプスマップはカメラから被写体までの距離を示す情報であるため、（２）〜（４）式のように、参照画素の位置と組み合わせることで三次元座標を構築し、その三次元座標を用いて類似度を定義しても構わない。

次に、各参照画素に対する類似度の計算が終了したら、信頼度分布推定部１０９２は、参照画素に対する一時復号信号の画素値と類似度の組を用いて、画素値に対する信頼度分布を推定する（ステップＳ１６１５）。どのような信頼度分布を仮定しても構わないし、与えられた情報からどのように信頼度分布を推定しても構わない。

例えば、信頼度分布を多項式で近似できるものとし、最小二乗法を用いてその多項式を求めても構わない。また、信頼度分布をガウス分布または混合ガウス分布であると仮定して、ＥＭアルゴリズム等で最尤推定しても構わない。

信頼度分布が推定できたら、画素値決定部１０９３は、得られた信頼度分布から最大の信頼度を与える画素値を見つけ、フィルタ対象画素のフィルタ結果として出力する（ステップＳ１６１６）。そして、全ての画素について処理が終わるまで、ステップＳ１６１２〜ステップＳ１６１６の処理が画素ごとに繰り返す（ステップＳ１６１７）。

例えば、類似度をそのまま信頼度としても構わない。その場合、参照画素ごとに画素値と類似度のデータが得られるため、信頼度分布を推定する際に、１つの画素値に対して複数の異なる信頼度のサンプルが得られる場合がある。この時、どちらか一方の信頼度（類似度）を選択しても構わない。

また、複数のサンプルがあるということは、その値である可能性が高いとも考えられるため、和によって信頼度を再定義しても構わない。また、類似度が確率のように０〜１の値で得られている場合、（５）式を用いて得られる値Ｒを新たな信頼度としても構わない。

また、和を用いて信頼度を再定義する際に、同じ画素値に対する類似度だけでなく、近い画素値に対する類似度も重みを付けて加算しても構わない。この場合、信頼度は（６）式で表される。

ここで、ＲＥＦ（ｐ）が画素ｐに対する参照画素群の集合であり、ｗは引数が０の時に最大値となる非負の関数である。

信頼度分布は画素値の値域全体に対して求めても構わないが、画素値空間は離散空間であるため、定義域を限定して求めることでその処理を高速化することが可能である。次に、定義域を限定した場合のフィルタ処理について説明する。図５は、定義域を限定した場合のフィルタ処理の動作示すフローチャートである。図５において、図４に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図５に示す動作が図４に示す動作と異なる点は、定義域を設定するステップ（ステップＳ１６２５）が追加され、信頼度分布を求めるステップ（ステップＳ１６２６）が定義域に対してのみ分布を求めるようになっている点である。

すなわち、参照画素ごとに類似度を計算した後、参照画素群における画素値の最大値と最小値を求め、それを信頼度の定義域として設定する（ステップＳ１６２５）。信頼度は画素値に対して単調増加または単調減少する可能性がある。また、全体としては単調増加、または単調減少でなくても、参照画素の画素値の最大値付近で増加関数となったり、参照画素の画素値の最小値付近で減少関数となったりすることもある。そのため、この方法のように参照画素群の画素値の最小値と最大値を用いて制限してしまう場合、正しい信頼度分布を求めることができない可能性がある。

しかしながら、一般にデプスマップは周辺の画素との相関が高く、周辺の画素と大きく異なる値をもつことは少ない。一方、参照画素の最大値付近で信頼度分布が増加関数または最小値付近で減少関数となる場合、後のステップＳ１６１６においてフィルタ後の値として選ばれる値は、どの参照画素とも大きく異なる値を持つことになる。そのため、フィルタ処理によって、一般ではありえないデプスマップを生成し、ノイズを新たに発生してしまうことになる。すなわち、上述のような最大値と最小値を用いた制限をすることで、演算量を減らすだけでなく、ノイズの発生を抑制することが可能である。

なお、参照画素の最大値や最小値より、少しだけ増加や減少することは十分に考えられ、そのような場合を考慮するために、最大値と最小値で得られる定義域を少しだけ拡大するようにしてもよい。

モデルを仮定した信頼度分布の推定では、得られる信頼度分布の精度はその仮定の確からしさに大きく依存する。また、複雑なモデルを用いると分布を推定する際の演算量が増加してしまうという問題がある。そこで、画素値空間が離散空間であることから、各画素値に対する信頼度を求めることで、分布を推定したとみなすことが可能である。このようにすることで複雑なモデルを仮定せずに、任意な形状の信頼度分布を求めることができる。具体的な手法として前述の（６）式に従って、全ての画素値に対して信頼度を計算する方法がある。

また、各画素値に対する信頼度を求める場合、参照画素ごとに求めた類似度を記憶し、画素値ごとに信頼度を再計算する処理を繰り返すのではなく、参照画素ごとに一部の画素値の信頼度を更新することを繰り返して、信頼度分布を得ても構わない。この動作を図６を参照して、説明する。図６は、参照画素ごとに一部の画素値の信頼度を更新することを繰り返して、信頼度分布を得る動作を示すフローチャートである。図６において、図４に示す動作と同一の部分には同一の符号を付し、その説明を省略する。

図６に示す動作が図４に示す動作と異なる点は、信頼度分布を初期化した後に（ステップＳ１６３４）、類似度を計算する処理（ステップＳ１６３６）とその類似度に従って参照画素の画素値周辺の信頼度分布を更新する処理（ステップＳ１６３７）とを、参照画素ごとに繰り返す（ステップＳ１６３５、ステップＳ１６３８）ことで、信頼度分布を生成している点である。なお、この処理動作では信頼度を更新する画素値を注目する参照画素の画素値±Ｌとしている。

このようにすることで、参照画素ごとに求めた類似度を記憶するメモリを削減できるのに加え、参照画素毎に限られた数の画素値の信頼度を更新するだけで済むため、トータルの演算量を削減することが可能である。全ての画素値に対する信頼度を更新する場合と比べて、信頼度分布の推定精度が低下すると考えられるが、参照画素の画素値から離れるほど、その参照画素が信頼度に与える影響は減衰すると考えられるため、一定範囲で更新を打ち切っても最大の信頼度を与える画素値を同定する精度は低下しない。すなわち、この方法によってフィルタのノイズ削減及びエッジの復元効果は低下しない。

次に、図７を参照して、更新動作について説明する。図７は、更新動作の一例を示すフローチャートである。まず、信頼度分布Ｒ_ｐを０で初期化し（ステップＳ１６５４）、参照画素毎に類似度分布の更新処理を繰り返しても構わない。すなわち、参照画素のインデックスをｉとし、参照画素数をｎｕｍＲｅｆｓとすると、ｉを０で初期化した後（ステップＳ１６５５）、ｉに１を加算しながら（ステップＳ１６６１）、ｉがｎｕｍＲｅｆｓより小さい間（ステップＳ１６６２）、フィルタ対象画素ｐの参照画素ｑｉに対する類似度Ｓ_ｐ（ｑ_ｉ）の計算処理（ステップＳ１６５６）と、信頼度分布の更新処理（ステップＳ１６５７〜Ｓ１６６０）とを交互に繰り返す。

信頼度分布の更新処理は、画素値オフセットｊを更新範囲の最小値−Ｌで初期化した後（ステップＳ１６５７）、ｊに１を加算しながら（ステップＳ１６５９）、ｊが更新範囲の最大値Ｌよりも大きくなるまで（ステップＳ１６６０）、参照画素ｑｉの画素値に画素値オフセットを加えた画素値、すなわちＤ（ｑ_ｉ）＋ｊに対する信頼度に、Ｓ_ｐ（ｑ_ｉ）にオフセット値の大きさに応じた重み係数ｗ（ｊ）を乗じた値を加算する処理（ステップＳ１６５８）を繰り返すことで行う。ｗ（ｊ）はｊ＝０のときに最大となる非負の関数であり、ガウス関数などを用いることができる。

なお、類似度Ｓ_ｐ（ｑ_ｉ）が、参照画素ｑ_ｉから推定されるフィルタ対象画素の画素値がＤ（ｑ_ｉ）である確率を表している場合、ステップＳ１６５８における信頼度分布を（７）式で更新するようにしても構わない。

このとき、演算回数を削減するために、ステップＳ１６５４で相違度分布Ｒ_ｐ’を１で初期化した後、ステップＳ１６５８において相違度分布を（８）式で更新し、ステップＳ１６１６で最小の相違度となる画素値をフィルタ対象画素と同位置の復号信号として設定しても構わない。

ある参照画素のフィルタ対象画素に対する類似度が高い場合、フィルタ対象画素の真の画素値はその参照画素の画素値に非常に近いと考えられる。そのため、上記のように参照画素の画素値を中心とする範囲で、参照画素の画素値からの距離に応じて減衰する重み係数をつけて、信頼度を更新することで正しい信頼度分布が得られる。また、フィルタ対象画素の真の画素値は、その参照画素の画素値とは大きく違わない可能性が高い、重み係数の減衰は非常に早いものと考えられる。一方、類似度が低い場合は、逆に、その参照画素の画素値とある程度異なる可能性も高いといえるため、重み係数の減衰は比較的緩やかである。

このことを反映させるために、重み係数の関数ｗをその参照画素の類似度に応じて変化させても構わない。すなわち、類似度が大きな場合には減衰が早い重み関数を用い、類似度が小さな場合には減衰の遅い重み関数を用いる。重み関数としてガウス関数を用いる場合は、類似度が大きいほど小さな分散のガウス関数を用いることに相当する。

また、共通の重み関数を用いる場合においても、更新範囲Ｌを参照画素の類似度に従って変化させることで、影響範囲を制御しても構わない。すなわち、参照画素の類似度が大きいほど更新範囲Ｌに小さな値を設定する。参照画素の類似度に従って重み関数を可変にする方法と比べて、精度は低下するが、少ないメモリ量で重み係数のテーブルを持つことが可能となる。

次に、本発明の一実施形態によるデプスマップ復号装置を説明する。図８は、同実施形態によるデプスマップ復号装置の構成を示すブロック図である。デプスマップ復号装置２００はビットストリーム入力部２０１、ビットストリームモリ２０２、映像入力部２０３、映像メモリ２０４、可変長復号部２０５、デプスマップ予測部２０６、予測残差復号部２０７、復号フレームフィルタ部２０８、参照フレームメモリ２０９及びデプスマップ出力部２１０を備える。

ビットストリーム入力部２０１は、復号対象となるデプスマップのビットストリームを入力する。以下の説明においては、この復号対象となるデプスマップのことを復号対象デプスマップと称し、特に処理を行うフレームを復号対象フレームと称する。ビットストリームメモリ２０２は入力されたビットストリームを記憶する。

映像入力部２０３は、復号対象デプスマップに対応する映像を入力する。この映像の各フレームの各画素に写っている被写体のデプスが復号対象デプスマップで表される。以下の説明においては、この映像を補助映像と称し、復号対象フレームに対する補助映像のフレームを補助映像フレームと称する。映像メモリ２０４は、入力された補助映像を記憶する。

可変長復号部２０５は、入力されたビットストリームにおいて可変長符号化されている予測方法を示す情報と復号対象予測残差値を復号する。デプスマップ予測部２０６は、復号された予測方法に従って復号対象フレームに対する予測信号を生成する。予測残差復号部２０７は、復号対象予測残差値から復号対象フレームと予測信号との差分の予測残差信号を復号して出力する。

復号フレームフィルタ部２０８は、補助映像フレーム（補助映像信号）を用いながら、予測信号と復号した予測残差信号の和で得られる一時復号信号にフィルタをかける。フィルタ結果の復号信号を参照フレームメモリ２０９に記憶し、映像予測に使用されるとともに、デプスマップ出力部２１０から出力される。なお、復号フレームフィルタ部２０８は符号化装置と同様に図２で示す構成と同様であるため、ここでは詳細な説明を省略する。

次に、図９を参照して、図８に示すデプスマップ復号装置２００の動作を説明する。図９は、図８に示すデプスマップ復号装置２００の動作を示すフローチャートである。ここでは復号対象デプスマップ中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、複数フレームで構成されるデプスマップの復号が実現できる。

まず、ビットストリーム入力部２０１は、復号対象デプスマップのビットストリームを入力し、ビットストリームメモリ２０２に記憶する。一方、映像入力部２０３は補助映像フレームを入力し、映像メモリ２０４に記憶する（ステップＳ２０１）。ここでは入力されたビットストリームから復号対象フレームを順次復号して出力するとしているが、入力順と出力順は必ずしも一致している必要はない。入力順と出力順が異なる場合は、次に出力するフレームが復号されるまで、復号されたフレームは参照フレームメモリ２０９に記憶され、デプスマップ出力部２１０は出力順に従って参照フレームメモリ２０９からデプスマップを読み出して出力する。記憶された補助映像フレームは、以下で説明する復号処理によって対応するフレームが復号されたら、各メモリから削除しても構わない。

また、ステップＳ２０１において入力する補助映像フレームは、符号化された補助映像を復号して得られたものなど、符号化時に使用した補助映像のフレームとする。これは、符号化装置で用いた情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用したものと異なるものが入力されても構わない。直接復号したもの以外としては、別の視点に対して復号した補助映像を用いて合成したものを用いても構わない。

符号データとデプスマップの格納が終了したら、可変長復号部２０５は、ビットストリームから復号対象フレームに対する予測信号を生成するための方法を示した情報を復号し、その情報を元に復号対象フレームに対する予測信号を生成する（ステップＳ２０２）。なお、予測信号の生成にはどのような方法を用いても構わない。一般的な符号化では、空間的な相関や時間的な相関を利用して、参照フレームメモリ２０９に記憶されている復号対象フレームの既に復号した部分や過去に復号したフレームの復号信号から予測信号を生成する。ただし、復号した情報に基づいて符号化時に使用された予測信号の生成方法と同じ方法を用いて予測信号を生成する。

次に、ビットストリームから予測残差信号を復号する（ステップＳ２０３）。復号処理は符号化処理に対応した方法を用いる。ここでは、可変長符号化部２０５でビットストリームから予測残差信号の周波数領域での量子化代表値であるところの復号対象予測残差値を復号し、復号した復号対象予測残差値を予測残差復号部２０７で逆量子化・逆変換することで予測残差信号を復号するものとする。

予測信号と予測残差信号が得られたら、その和信号で表される一時復号信号を生成する（ステップＳ２０４）。そして、復号フレームフィルタ部２０８は、一時復号信号にフィルタ処理を施すことで復号信号を生成する（ステップＳ２０５）。ここで行われる処理は、図３に示すステップＳ１０６と同じであり、図２〜図７を用いて上記説明したものと同じである。

次に、デプスマップ出力部２１０は、得られた復号信号をデプスマップ復号装置２００の出力結果として出力すると共に、以降のデプスマップに対する予測信号の生成に利用するために参照フレームメモリ２０９に記憶する（ステップＳ２０６）。この処理（ステップＳ２０１〜Ｓ２０６）は全フレームについて行う（ステップＳ２０７）。

前述した説明においては、符号化対象フレーム及び復号対象フレーム全体に対して、一度に予測信号の生成やフィルタ処理などを行っているが、処理対象のフレームを分割して、部分毎に処理を行っても構わない。また、予測信号の生成や予測方法を示す情報の符号化・復号、予測残差の符号化・復号などは部分毎に行って、フィルタ処理はフレーム全体に対する一時復号信号ができてから行っても構わない。その場合、一時復号信号を一時的に記憶する必要がある。また、予測信号の作成に一時復号信号を参照可能にしても構わない。

また、前述した説明においては、空間的に近接する画素のみを参照画素として設定しているが、時間方向の距離も考慮して処理済みのフレーム内の画素を参照画素として設定しても構わない。その場合、処理対象の画素に対して動きベクトルが得られる場合は、その動きベクトルを考慮して時間的な距離を定義しても構わない。なお、処理済みのフレーム内の画素を参照画素とする場合は、そのフレームに対する補助映像フレームを記憶しておく必要がある他、参照画素に対する類似度を設定するために一時復号信号を記憶しておくか、一時復号信号の代わりに復号信号を用いる必要がある。

以上説明した映像符号化及び映像復号の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。

次に、図１０を参照して、デプスマップ符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を説明する。図１０は、デプスマップ符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図１０に示すシステムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、カメラ等からの符号化対象のデプスマップの信号を入力する符号化対象デプスマップ入力部５２（ディスク装置等によるデプスマップの信号を記憶する記憶部でもよい）と、例えばネットワークを介して符号化対象デプスマップに対する映像を入力する映像入力部５３（ディスク装置等による映像信号を記憶する記憶部でもよい）を備える。また、図３に示す処理動作をＣＰＵ５０に実行させるソフトウェアプログラムであるデプスマップ符号化プログラム５４１が格納されたプログラム記憶装置５４と、ＣＰＵ５０がメモリ５１にロードされたデプスマップ符号化プログラム５４１を実行することにより生成されたビットストリームを、例えばネットワークを介して出力するビットストリーム出力部５５（ディスク装置等によるビットストリームを記憶する記憶部でもよい）とが、バスで接続された構成になっている。

なお、図示は省略するが、他に、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、一時復号信号記憶部、ビットストリーム記憶部などが用いられることもある。

次に、図１１を参照して、デプスマップ復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を説明する。図１１は、デプスマップ復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図１１に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、デプスマップ符号化装置が本手法により符号化したビットストリームを入力するビットストリーム入力部６２（ディスク装置等によるビットストリームを記憶する記憶部でもよい）と、例えばネットワークを介して復号対象のデプスマップに対する映像を入力する映像入力部６３（ディスク装置等による映像信号を記憶する記憶部でもよい）を備える。また、図９に処理動作をＣＰＵ６０に実行させるソフトウェアプログラムであるデプスマップ復号プログラム６４１が格納されたプログラム記憶装置６４と、ＣＰＵ６０がメモリ６１にロードされたデプスマップ復号プログラム６４１を実行することにより、ビットストリームを復号して得られた復号デプスマップを、再生装置などに出力する復号デプスマップ出力部６５とが、バスで接続された構成になっている。

また、本実施形態はデプスマップの符号化及び復号のみに限定されるものではないことは明らかである。すなわち、対応する映像情報と一緒に符号化及び復号する場合の被写体に大きく依存するようなデータ（例えば温度情報など）の符号化及び復号に適用できることは明らかである。

以上説明したように、映像とデプスマップとを構成要素に持つ自由視点映像データの符号化において、参照画素ごとに計算した類似度から、画素値に対する真値としての確からしさの分布を推定し、推定した分布に基づいてフィルタ処理を行うことで、デプスマップに生じる符号化ノイズの抑制と被写体に依存したエッジの復元とを両立し、フレーム間予測の予測効率を向上する新たな映像符号化技術の提供することができる。

なお、図１、８における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりデプスマップ符号化処理及びデプスマップ復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

対応する映像情報と一緒に符号化及び復号する場合の被写体に大きく依存するようなデータ（例えば温度情報など）の符号化及び復号することが不可欠な用途に適用できる。

１００・・・デプスマップ符号化装置、１０１・・・符号化対象デプスマップ入力部、１０２・・・デプスマップメモリ、１０３・・・映像入力部、１０４・・・映像メモリ、１０５・・・デプス予測部、１０６・・・予測残差符号化部、１０７・・・可変長符号化部、１０８・・・ビットストリーム出力部、１０９・・・復号フレームフィルタ部、１１０・・・参照フレームメモリ、２００・・・デプスマップ復号装置、２０１・・・ビットストリーム入力部、２０２・・・ビットストリームモリ、２０３・・・映像入力部、２０４・・・映像メモリ、２０５・・・可変長復号部、２０６・・・デプスマップ予測部、２０７・・・予測残差復号部、２０８・・・復号フレームフィルタ部、２０９・・・参照フレームメモリ、２１０・・・デプスマップ出力部、１０９１・・・類似度算出部、１０９２・・・信頼度分布推定部、１０９３・・・画素値決定部

Claims

映像情報に対応するデプスマップの符号化を行う符号化方法であって、
前記デプスマップの符号化対象フレーム情報の予測情報を生成する予測ステップと、
前記符号化対象フレーム情報と前記予測情報とから生成した予測残差情報を符号化した符号化予測残差情報と、該符号化予測残差情報を復号した復号予測残差情報を出力する予測残差符号化ステップと、
前記予測ステップにおいて用いた予測方法を示す情報と、前記符号化予測残差情報とを符号化して出力する符号化ステップと、
前記予測情報と、前記復号予測残差情報とから生成した一時復号情報を出力する一時復号ステップと、
前記符号化対象フレーム情報の各処理対象画素に対して参照画素を設定する参照画素設定ステップと、
前記符号化対象フレーム情報に対応する前記映像情報を用いて、前記参照画素と、前記処理対象画素との類似度を計算する類似度計算ステップと、
前記類似度と、前記一時復号情報とから、前記処理対象画素の復号情報に対する信頼度分布情報を推定する信頼度分布推定ステップと、
前記符号化対象フレーム情報の前記処理対象画素毎に、前記信頼度分布情報において、最大の信頼度を与える画素値を、前記復号情報として出力する復号ステップと
を有し、
前記予測ステップにおいては、前記復号ステップにより出力する前記復号情報に基づいて前記予測情報を出力することを特徴とする符号化方法。
前記信頼度分布推定ステップは、
前記符号化対象フレーム情報の各処理対象画素に対する前記信頼度分布情報を初期化する信頼度分布初期化ステップと、
前記信頼度分布情報を更新する範囲を設定する更新範囲設定ステップと、
前記更新する範囲に含まれる画素値毎に、前記参照画素の重み係数を設定する重み係数設定ステップと、
前記類似度と前記重み係数とを用いて、前記更新する範囲に含まれる画素値の更新信頼度を計算する更新信頼度計算ステップと、
前記更新信頼度に基づいて前記信頼度分布情報を更新する信頼度情報更新ステップと
を含むことを特徴とする請求項１に記載の符号化方法。
前記符号化対象フレーム情報の各処理対象画素に対して、前記参照画素の画素値の最大値と最小値とから、前記信頼度の定義域を設定する定義域設定ステップを更に含み、
前記信頼度分布推定ステップでは、前記符号化対象フレーム情報の前記処理対象画素毎に設定された前記定義域に対してのみ、前記信頼度分布情報を推定する
ことを特徴とする請求項１または請求項２に記載の符号化方法。
映像情報に対応するデプスマップ情報が符号化された符号データを復号する復号方法であって、
前記符号データから予測方法を示す情報と復号予測残差情報を復号する復号ステップと、
前記復号された前記予測方法を示す情報に従って復号対象フレーム情報の予測情報を出力する予測ステップと、
前記予測情報と、前記復号予測残差情報とから一時復号情報を生成する一時復号ステップと、
前記復号対象フレーム情報の各処理対象画素に対して参照画素を設定する参照画素設定ステップと、
前記復号対象フレーム情報に対応する前記映像情報を用いて、前記参照画素と、前記処理対象画素との類似度を計算する類似度計算ステップと、
前記類似度と、前記一時復号情報とから、前記処理対象画素の復号情報に対する信頼度分布情報を推定する信頼度分布推定ステップと、
前記復号対象フレーム情報の前記処理対象毎に、前記信頼度分布情報において、最大の信頼度を与える画素値を、前記復号情報として出力する復号ステップと
を有し、
前記予測ステップにおいては、前記復号ステップにより出力する前記復号情報に基づいて前記予測情報を出力することを特徴とする復号方法。
前記信頼度分布推定ステップは、
前記復号対象フレーム情報の各処理対象画素に対する前記信頼度分布情報を初期化する信頼度分布初期化ステップと、
前記信頼度分布情報を更新する範囲を設定する更新範囲設定ステップと、
前記更新する範囲に含まれる画素値毎に、前記参照画素の重み係数を設定する重み係数設定ステップと、
前記類似度と前記重み係数とを用いて、前記更新する範囲に含まれる画素値の更新信頼度を計算する更新信頼度計算ステップと
前記更新信頼度に基づいて前記信頼度分布情報を更新する信頼度情報更新ステップと
を含むことを特徴とする請求項４に記載の復号方法。
前記復号対象フレーム情報の各処理対象画素に対して、前記参照画素の画素値の最大値と最小値とから、前記信頼度の定義域を設定する定義域設定ステップを更に含み、
前記信頼度分布推定ステップでは、前記復号対象フレーム情報の前記処理対象画素毎に設定された前記定義域に対してのみ、前記信頼度分布情報を推定する
ことを特徴とする請求項４または請求項５に記載の復号方法。
映像情報に対応するデプスマップの符号化を行う符号化装置であって、
前記デプスマップの符号化対象フレーム情報の予測情報を生成する予測手段と、
前記符号化対象フレーム情報と前記予測情報とから生成した予測残差情報を符号化した符号化予測残差情報と、該符号化予測残差情報を復号した復号予測残差情報を出力する予測残差符号化手段と、
前記予測手段において用いた予測方法を示す情報と、前記符号化予測残差情報とを符号化して出力する符号化手段と、
前記予測情報と、前記復号予測残差情報とから生成した一時復号情報を出力する一時復号手段と、
前記符号化対象フレーム情報の各処理対象画素に対して参照画素を設定する参照画素設定手段と、
前記符号化対象フレーム情報に対応する前記映像情報を用いて、前記参照画素と、前記処理対象画素との類似度を計算する類似度計算手段と、
前記類似度と、前記一時復号情報とから、前記処理対象画素の復号情報に対する信頼度分布情報を推定する信頼度分布推定手段と、
前記符号化対象フレーム情報の前記処理対象画素毎に、前記信頼度分布情報において、最大の信頼度を与える画素値を、前記復号情報として出力する復号手段と
を備え、
前記予測手段は、前記復号手段により出力する前記復号情報に基づいて前記予測情報を出力することを特徴とする符号化装置。
前記信頼度分布推定手段は、
前記符号化対象フレーム情報の各処理対象画素に対する前記信頼度分布情報を初期化する信頼度分布初期化手段と、
前記信頼度分布情報を更新する範囲を設定する更新範囲設定手段と、
前記更新する範囲に含まれる画素値毎に、前記参照画素の重み係数を設定する重み係数設定手段と、
前記類似度と前記重み係数とを用いて、前記更新する範囲に含まれる画素値の更新信頼度を計算する更新信頼度計算手段と、
前記更新信頼度に基づいて前記信頼度分布情報を更新する信頼度情報更新手段と
を含むことを特徴とする請求項７に記載の符号化装置。
前記符号化対象フレーム情報の各処理対象画素に対して、前記参照画素の画素値の最大値と最小値とから、前記信頼度の定義域を設定する定義域設定手段を更に備え、
前記信頼度分布推定手段では、前記符号化対象フレーム情報の前記処理対象画素毎に設定された前記定義域に対してのみ、前記信頼度分布情報を推定する
ことを特徴とする請求項７または請求項８に記載の符号化装置。
映像情報に対応するデプスマップ情報が符号化された符号データを復号する復号装置であって、
前記符号データから予測方法を示す情報と復号予測残差情報を復号する復号手段と、
前記復号された前記予測方法を示す情報に従って復号対象フレーム情報の予測情報を出力する予測手段と、
前記予測情報と、前記復号予測残差情報とから一時復号情報を生成する一時復号手段と、
前記復号対象フレーム情報の各処理対象画素に対して参照画素を設定する参照画素設定手段と、
前記復号対象フレーム情報に対応する前記映像情報を用いて、前記参照画素と、前記処理対象画素との類似度を計算する類似度計算手段と、
前記類似度と、前記一時復号情報とから、前記処理対象画素の復号情報に対する信頼度分布情報を推定する信頼度分布推定手段と、
前記復号対象フレーム情報の前記処理対象画素毎に、前記信頼度分布情報において、最大の信頼度を与える画素値を、前記復号情報として出力する復号手段と
を備え、
前記予測手段は、前記復号手段により出力する前記復号情報に基づいて前記予測情報を出力することを特徴とする復号装置。
前記信頼度分布推定手段は、
前記復号対象フレーム情報の各処理対象画素に対する前記信頼度分布情報を初期化する信頼度分布初期化手段と、
前記信頼度分布情報を更新する範囲を設定する更新範囲設定手段と、
前記更新する範囲に含まれる画素値毎に、前記参照画素の重み係数を設定する重み係数設定手段と、
前記類似度と前記重み係数とを用いて、前記更新する範囲に含まれる画素値の更新信頼度を計算する更新信頼度計算手段と
前記更新信頼度に基づいて前記信頼度分布情報を更新する信頼度情報更新手段と
を含むことを特徴とする請求項１０に記載の復号装置。
前記復号対象フレーム情報の各処理対象画素に対して、前記参照画素の画素値の最大値と最小値とから、前記信頼度の定義域を設定する定義域設定手段を更に備え、
前記信頼度分布推定手段では、前記復号対象フレーム情報の前記処理対象画素毎に設定された前記定義域に対してのみ、前記信頼度分布情報を推定する
ことを特徴とする請求項１０または請求項１１に記載の復号装置。
コンピュータを請求項７から９のいずれか１項に記載の符号化装置として機能させるための符号化プログラム。
コンピュータを請求項１０から１２のいずれか１項に記載の復号装置として機能させるための復号プログラム。