JP5876933B2 - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 - Google Patents
動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP5876933B2 JP5876933B2 JP2014524809A JP2014524809A JP5876933B2 JP 5876933 B2 JP5876933 B2 JP 5876933B2 JP 2014524809 A JP2014524809 A JP 2014524809A JP 2014524809 A JP2014524809 A JP 2014524809A JP 5876933 B2 JP5876933 B2 JP 5876933B2
- Authority
- JP
- Japan
- Prior art keywords
- motion information
- depth map
- texture
- list
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 97
- 230000033001 locomotion Effects 0.000 claims description 790
- 238000006243 chemical reaction Methods 0.000 claims description 104
- 238000010586 diagram Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241001122767 Theaceae Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体に関する。
本願は、2012年7月9日に日本へ出願された特願2012−154066号に基づき優先権を主張し、その内容をここに援用する。
本願は、2012年7月9日に日本へ出願された特願2012−154066号に基づき優先権を主張し、その内容をここに援用する。
従来から、撮影空間内でのカメラの位置や向き(以下、視点と称する)をユーザが自由に指定することができる自由視点画像が知られている。自由視点画像では、ユーザが任意の視点を指定するため、その全ての可能性に対して画像を保持しておくことは不可能である。そのため、自由視点画像は、指定された視点の画像を生成するのに必要な情報群によって構成される。自由視点画像は様々なデータ形式を用いて表現されるが、最も一般的な形式として画像とその画像に対するデプスマップ(距離画像)を用いる方式がある(例えば、非特許文献1参照)。
ここで、デプスマップとは、カメラから被写体までのデプス(距離)を画素ごとに表現したものであり、被写体の三次元的な位置を表現している。デプスは2つのカメラ間の視差の逆数に比例しているため、ディスパリティマップ(視差画像)と呼ばれることもある。コンピュータグラフィックスの分野では、デプスはZバッファに記憶された情報となるため、Z画像やZマップと呼ばれることもある。なお、カメラから被写体までの距離の他に、表現対象空間上に張られた三次元座標系のZ軸に対する座標値をデプスとして用いることもある。一般に、撮影された画像に対して水平方向をX軸、垂直方向をY軸とするため、Z軸はカメラの向きと一致するが、複数のカメラに対して共通の座標系を用いる場合など、Z軸がカメラの向きと一致しない場合もある。以下では、距離・Z値を区別せずにデプスと呼び、デプスを画素値として表した画像をデプスマップと呼ぶ。ただし、厳密にはディスパリティマップでは基準となるカメラ対を設定する必要がある。
デプスを画素値として表す際に、物理量に対応する値をそのまま画素値とする方法と、最小値と最大値の間をある数に量子化して得られる値を用いる方法と、最小値からの差をあるステップ幅で量子化して得られる値を用いる方法がある。表現したい範囲が限られている場合には、最小値などの付加情報を用いる方がデプスを高精度に表現することができる。また、等間隔に量子化する際に、物理量をそのまま量子化する方法と物理量の逆数を量子化する方法とがある。距離の逆数は視差に比例した値となるため、距離を高精度に表現する必要がある場合には、前者が使用され、視差を高精度に表現する必要がある場合には、後者が使用されることが多い。以下では、デプスの画素値化の方法や量子化の方法に関係なく、デプスが画像として表現されたものを全てデプスマップと呼ぶ。
デプスマップは、各画素が1つの値を持つ画像として表現されるため、グレースケール画像とみなすことができる。また、被写体が実空間上で連続的に存在し、瞬間的に離れた位置へ移動することができないため、デプスマップは、画像信号と同様に空間的相関および時間的相関を持つと言える。したがって、通常の画像信号や映像信号を符号化するために用いられる画像符号化方式や動画像符号化方式によって、デプスマップやその動画像(デプスマップ動画像、デプスビデオ)を空間的冗長性や時間的冗長性を取り除きながら効率的に符号化することが可能である。
ここで、一般的な動画像符号化について説明する。動画像符号化では、被写体が空間的に連続しているという特徴を利用して効率的な符号化を実現するために、動画像を構成する各画像(ピクチャ、フレーム)を予め定められた画素数の処理単位ブロックに分割し、そのブロックごとに画像信号を空間的または時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化する。画像信号を空間的に予測する場合は、例えば空間的な予測の方向を示す情報が予測情報となり、時間的に予測する場合は、例えば参照する画像を示す情報とその参照する画像中の位置を示す情報とが予測情報となる。
画像信号の空間相関や時間相関は被写体やテクスチャに依存したものであるため、H.264/AVCに代表される近年の動画像符号化では、処理単位ブロックごとに画像信号にあわせてさらに細かいブロックへ分割し、そのブロックごとに異なる画像や領域を参照して画像信号を予測することを可能にしている。特に、H.264/AVCでは、ブロックごとに、時刻の異なる複数の画像の中から、1つまたは2つの画像を選択して参照することを可能にすることで、MPEG−2やMPEG−4の様に参照する画像が固定されている動画像符号化に対して、高い符号化効率を実現している(H.264/AVCの詳細については、例えば、非特許文献2参照)。これは、オクルージョンや周期的な被写体の動きが存在する際に、より時間相関の高い画像を参照できるためである。
この複数の参照可能な画像は参照ピクチャリストと呼ばれるリストの各エントリとして設定され、そのインデックス値を符号化することで、参照した画像を示している。参照ピクチャのインデックス値の符号化には、参照ピクチャのエントリ数が多いほど、または、そのインデックス値が大きいほど、多くの符号量を必要とする。そのため、時間相関の低い画像をリストから除外したり、より大きな値のインデックス値を時間相関の低い画像に割り当てたりすることで、より高い符号化効率を達成できる。この画像ごとの時間相関はシーケンスや処理対象の画像に依存するため、H.264/AVCでは、画像ごとに異なる参照ピクチャリストを構築することを可能にしている。
動画像とデプスマップ動画像とで構成される自由視点動画像の符号化においては、どちらも空間相関と時間相関を持つことから、通常の動画像符号化方式を用いて、それぞれを符号化することでデータ量を削減できる。例えばMPEG−C Part.3を用いて、動画像とそれに対するデプスマップ動画像を表現する場合は、それぞれを既存の動画像符号化方式を用いて符号化している。
また、動画像とデプスマップ動画像とを一緒に符号化する際に、動画像とデプスマップ動画像は同じ被写体や空間に対する情報であることから、その間に存在する相関を利用することで、効率的な符号化を実現する方法がある。非特許文献3では、動画像やデプスマップ動画像を符号化する際に用いる動き情報(参照ピクチャインデックスや動きベクトル)を共通化し重複して符号化することを避けることで、効率的な符号化を実現している。具体的には、動画像とデプスマップ動画像の両方を鑑みて1つの動き情報を生成して共通利用している。
Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV", In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.
Recommendation ITU-T H.264,"Advanced video coding for generic audiovisual services", March 2009.
I. Daribo, C. Tillier, and B. P. Popescu, "Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding", EURASIP Journal on Advances in Signal Processing, vol. 2009, Article ID 258920, 13 pages, 2009.
前述した非特許文献3のように、動画像とデプスマップ動画像とで共通の参照ピクチャリスト構造を持ち、動画像とデプスマップ動画像との間で動き情報を共有することで、符号化しなければならない動き情報の量を減らすことができるため、画像信号とデプスとで構成される自由視点動画像を高効率に圧縮符号化することができる。
しかしながら、動画像とデプスマップ動画像とは異なる性質を持ち、フレーム毎の時間相関の性質が異なるため、常に動き情報を共有した場合、適切な予測を行うことができず、予測残差が増大してしまうという問題がある。すなわち、前述した非特許文献3の方法では、動き情報の量を削減できたとしても、予測残差が大幅に増えてしまった場合、全体としての符号量は増大してしまい、効率的な圧縮符号化を実現できない。
また、デプスマップは多視点画像からのステレオマッチングや、赤外線などを用いた通常の画像撮影とは異なるセンサによって取得されるため、ノイズが多く、その時間相関は動画像に比べて極めて低いとされる。そのため、デプスマップの符号化においては、処理対象のフレームとは時刻が大きく離れているようなフレームを参照ピクチャリストに含めずに、少ないエントリしか持たない参照ピクチャリストを用いることで、参照ピクチャインデックスを効率的に符号化することを実現できる。しかしながら、動画像の参照ピクチャリストとその構造を共有してしまうと、多くのエントリを持つ参照ピクチャリストを用いて、参照ピクチャインデックスを符号化する必要が生じ、符号量が増大してしまう。
この問題に対する容易に類推可能な方法として、動画像とデプスマップ動画像とで、それぞれのデータを符号化する際に効率的となるような、互いに異なる参照ピクチャリストを用い、別途定められた領域ごとに動き情報が共有可能なのか否かを示すフラグを符号化する方法がある。しかしながら、この方法では各領域に対してフラグを符号化する生じるため、それに伴って符号量が増加してしまうという問題がある。また、動き情報を共有するためには、参照ピクチャリスト間で対応するエントリが同じ時刻および同じ種類の参照フレームである必要があり、動き情報が共有できる領域が少なく、動き情報の符号化に必要な符号量が増加してしまうという問題もある。
本発明は、このような事情に鑑みてなされたもので、動画像とデプスマップ動画像を構成要素に持つ自由視点動画像の符号化において、効率的な動画像符号化を実現する動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体を提供することを目的とする。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
好ましくは、本発明は、前記テクスチャ動画像を符号化する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、前記デプスマップ動き情報設定ステップは、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記変換動き情報を前記デプスマップ動き情報として設定する。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
好ましくは、本発明は、前記テクスチャ動画像を符号化する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の前記参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの性質が、変換後の前記参照フレームインデックスによって示される前記参照フレームリスト内のフレームの性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、前記テクスチャ動き情報に含まれる前記参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、前記共有動き情報リスト生成ステップは、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記変換動き情報を含んだ前記共有動き情報リストを生成する。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
好ましくは、本発明は、前記テクスチャ動画像を復号する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、前記デプスマップ動き情報設定ステップは、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記変換動き情報を前記デプスマップ動き情報として設定する。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
好ましくは、本発明は、前記テクスチャ動画像を復号する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、前記共有動き情報リスト生成ステップは、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記変換動き情報を含んだ前記共有動き情報リストを生成する。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部とを有する。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部とを備える。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号する動画像復号装置であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部とを備える。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号する動画像復号装置であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部とを備える。
本発明は、コンピュータに、前記動画像符号化方法を実行させるための動画像符号化プログラムである。
本発明は、コンピュータに、前記動画像復号方法を実行させるための動画像復号プログラムである。
本発明は、前記動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明は、前記動画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、動画像信号とその動画像に対する別のデプスマップ動画像のように同じ被写体の別の情報を表現したデータを一緒に符号化する場合に、それぞれで管理される参照ピクチャリストの各エントリに対する対応関係を示した変換テーブルを生成し、参照ピクチャを指定する情報をその対応関係に従って変換する。これによって、異なる参照ピクチャリストを使用する場合においても、動き情報を共有し、その符号量を削減することが可能となる。さらに、その対応関係から共有不可能な動き情報を判定することで、動き情報を共有するか否かを示す情報の符号化に必要な符号量を削減することが可能となる。これらの結果、効率的な動画像符号化を実現することができるようになるという効果が得られる。
以下、本発明の一実施形態を、図面を参照して説明する。なお、本実施形態の説明では、動画像の動き情報を参照して、その動画像に対応するデプスマップ動画像を符号化する場合について説明を行うが、デプスマップ動画像の動き情報を参照して、そのデプスマップ動画像に対応する動画像を符号化する場合にも、本発明を適用可能なことは明らかである。また、動画像やデプスマップ動画像だけに限らず、温度情報の動画像や別のカラーコンポーネントの動画像など、同じ被写体と空間が撮影された動画像として表現可能な任意のデータ対に対して、本発明を適用可能なことも明らかである。
まず、同実施形態における動画像符号化装置について説明する。図1は、本発明の実施形態による動画像符号化装置の構成を示すブロック図である。図1に示すように、動画像符号化装置100は、符号化対象デプスマップ入力部101、符号化対象デプスマップメモリ102、テクスチャ動き情報入力部103、テクスチャ動き情報メモリ104、テクスチャ参照フレームリスト入力部105、参照フレームリスト設定部106、変換テーブル生成部107、動き情報変換部108、動き情報設定部109、動き情報選択部110、動き情報符号化部111、予測画像生成部112、画像信号符号化部113、多重化部114、および参照フレームメモリ115を備えている。
符号化対象デプスマップ入力部101は、符号化対象となるデプスマップ動画像の各フレームを入力する。以下の説明においては、この符号化対象となるデプスマップのことを符号化対象デプスマップ動画像と呼び、特に処理を行うフレームを符号化対象デプスマップと呼ぶ。符号化対象デプスマップメモリ102は、入力された符号化対象デプスマップを記憶する。テクスチャ動き情報入力部103は、符号化対象デプスマップに対応する動画像のフレームにおける動き情報を入力する。ここでは符号化対象デプスマップ動画像に対応する動画像をテクスチャ動画像と呼び、符号化対象デプスマップに対応する動画像の1フレームをテクスチャフレームと呼ぶ。また、動き情報はテクスチャ動画像を符号化する際に使用されたものであり、画素またはブロックごとに参照フレームインデックスと動きベクトルとの組を用いて表現されたものである。テクスチャ動き情報メモリ104は、入力されたテクスチャ動き情報を記憶する。テクスチャ参照フレームリスト入力部105は、テクスチャフレームを符号化する際に使用した参照フレームリストを入力する。
参照フレームリスト設定部106は、符号化対象デプスマップを符号化するに当たって、使用する参照フレームリストを設定する。変換テーブル生成部107は、テクスチャ参照フレームリストに対する参照フレームインデックスを、設定された参照フレームリストに対する参照フレームインデックスへと変換するためのルックアップテーブルを生成する。動き情報変換部108は、生成されたルックアップテーブルに従って、テクスチャ動き情報における参照フレームインデックスを変換する。
動き情報設定部109は、符号化対象デプスマップに対する動き情報を設定する。動き情報選択部110は、テクスチャ動き情報を変換して得られる動き情報と、動き情報設定部109で設定された動き情報のどちらか一方を選択する。動き情報符号化部111は、与えられた動き情報を符号化する。予測画像生成部112は、選択された動き情報に従って符号化対象デプスマップに対する予測画像を生成する。画像信号符号化部113は、生成された予測画像を用いて符号化対象デプスマップを予測符号化する。多重化部114は、動き情報のビットストリームと画像信号のビットストリームを多重化して出力する。参照フレームメモリ115は、予測画像の生成に用いられる既に符号化済みのデプスマップの復号フレームを記憶する。
次に、図2を参照して、図1に示す動画像符号化装置100の動作を説明する。図2は、図1に示す動画像符号化装置100の動作を示すフローチャートである。ここでは符号化対象デプスマップ動画像中のある1フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、符号化対象デプスマップ動画像の符号化を実現することができる。
まず、符号化対象デプスマップ入力部101は、符号化対象デプスマップを入力し、符号化対象デプスマップメモリ102に記憶する(ステップS101)。これと並行して、テクスチャ動き情報入力部103は、テクスチャフレームを符号化した際に用いられた動き情報を入力し、テクスチャ動き情報メモリ104に記憶する。また、テクスチャ参照フレームリスト入力部105は、テクスチャフレームを符号化した際に用いられた参照フレームリストであるテクスチャ参照フレームリストを入力する(ステップS102)。
なお、符号化対象デプスマップ動画像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ115に記憶されているものとする。また、既に符号化したフレームを復号したフレーム以外にも、復号側で利用可能なフレームであれば、どのようなフレームが参照フレームメモリ115に含まれていてもよい。例えば、多視点デプスマップ動画像を一緒に符号化する場合に、他の視点に対するデプスマップ動画像のフレームを復号したフレームや、他の視点に対するデプスマップ動画像のフレームを復号したものから合成したフレームを参照フレームメモリ115に含めるようにする実施は好適である。更に、対応する多視点動画像を一緒に符号化する場合に、多視点動画像に対してステレオマッチングを適用することで推定したデプスマップを参照フレームメモリ115に含めるようにする実施は好適である。
また、本実施形態では入力された符号化対象デプスマップが順次符号化されるものとしているが、入力順と符号化順は必ずしも一致している必要はない。入力順と符号化順が異なる場合は、次に符号化するフレームが入力されるまで、入力されたフレーム、テクスチャ動き情報、テクスチャ参照フレームリストは、適切なメモリに記憶される。記憶された情報は、以下で説明する符号化処理によって対応するフレームが符号化されたら、そのメモリから削除してもよい。
ここでは符号化対象デプスマップとテクスチャ動き情報がフレーム単位で入力されることとしているが、シーケンス単位で入力してもよい。その場合は、ステップS102において、フレーム毎のテクスチャ参照フレームリストを入力し、入力されたテクスチャ参照フレームリストを記憶するメモリが必要となる。また、反対に符号化対象デプスマップとテクスチャ動き情報を符号化処理単位ごとに入力するものとしてもよい。その場合は、入力されたものを逐次処理することになるため、符号化対象デプスマップメモリ102およびテクスチャ動き情報メモリ104は不要である。
符号化対象デプスマップ、テクスチャ動き情報が記憶され、テクスチャ参照フレームリストの入力が終了したら、参照フレームリスト設定部106は、符号化対象デプスマップを符号化する際に使用する参照フレームリストを設定する(ステップS103)。具体的には、参照フレームメモリ115に記憶されているフレームに対して、重複が無いように参照フレームインデックスを割り当てる。なお、参照フレームメモリ115に記憶されている全ての復号フレームに対して、必ずしも参照フレームインデックスを割り当てる必要はない。また、複数の参照フレームリストを作成する場合、参照フレームリスト毎に、重複が無いように参照フレームインデックスを割り当てる。
ここで、参照フレームリストの作成において、どのような方法を用いて、参照フレームインデックスを割り当ててもよい。最も単純な方法としては、符号化対象デプスマップと撮影時刻が近いものから順に、小さな参照フレームインデックスを割り当てる方法がある。また、効率的な符号化を実現するために、符号化対象デプスマップと相関の高いフレームに対して、小さな参照フレームインデックスを割り当てる実施も好適である。更に、フレーム全体の相関ではなく、符号化対象デプスマップのブロックごとに、相関の高いフレームを探し、より多くのブロックに対して相関が高いフレームに対して、小さな参照フレームインデックスを割り当ててもよい。ブロックごとに相関が高いフレームを決定する際に、画像信号の相違度と動きベクトルの符号量の重み付け和を相関の尺度に用いる方法もある。
なお、復号側で同じ参照フレームリストが設定されなければならないため、復号側で使用不可能な条件に従って参照フレームリストが設定された場合は、設定された参照フレームリストを同定するために必要な情報を符号化して復号装置へ伝送する必要がある。
参照フレームリストの設定が終了したら、変換テーブル生成部107は、テクスチャ参照フレームリストに対する参照フレームインデックスを、設定した参照フレームリストに対する参照フレームインデックスへと変換するための変換規則を生成する(ステップS104)。変換規則の表現方法にはどのような方法を用いてもよいが、本実施形態では変換規則をルックアップテーブルとして表現する例について説明する。まず、テクスチャ参照フレームリストのエントリ数と同じ数のエントリを持つルックアップテーブルLUTを用意する。LUTに[]で囲まれた数字を与えることで、そのルックアップテーブルのエントリを参照するものとする。ここでは、参照フレームインデックスは0以上の整数であるとする。
次に、LUT[i]に対して、テクスチャ参照フレームリストの第iエントリに対するフレームと同じ性質を持つフレームの参照フレームリスト上のエントリ番号を割り当てる。ここで、同じ性質とは、時刻やカメラID、フレームの取得法(復号されたフレーム、合成されたフレーム、推定されたフレームなど)などが一致することである。具体的には、H.264では、復号順序を表すPOC(Picture Order Count)や、視点を表すview_idによって、そのフレームの種類を示しており、フレームの種類が一致する場合に同じ性質のフレームとして判断する。なお、参照フレームリスト上に対応するフレームが存在しない場合、そのテクスチャ参照フレームリストの参照フレームインデックスkに対するLUT[k]には−1を割り当てることで、対応なしを表現するものとする。
ここでは、同じ性質のフレームを持つものを同定したが、そのテクスチャ参照フレームリストや参照フレームリストが使用されるフレームとの相対的な性質が同じフレームを見つけ対応関係を生成するようにしてもよい。すなわち、POCが一致するものではなく、POC差分が一致するものを同定して対応関係を生成するようにしてもよい。
変換規則の生成が終了したら、符号化対象デプスマップを予め定められた大きさの領域に分割し、分割した領域ごとに、符号化対象デプスマップの動画像信号を符号化する(ステップS105〜S113)。すなわち、符号化対象領域インデックスをblk、1フレーム中の総符号化対象領域数をnumBlksで表すとすると、blkを0で初期化し(ステップS105)、その後、blkに1を加算しながら(ステップS112)、blkがnumBlksになるまで(ステップS113)、以下の処理(ステップS106〜ステップS111)を繰り返す。一般的な符号化では16画素×16画素のマクロブロックと呼ばれる処理単位ブロックへ符号化対象デプスマップを分割するが、復号側と同じであればその他の大きさのブロックに符号化対象デプスマップを分割してもよい。
符号化対象領域ごとに繰り返される処理では、まず、動き情報変換部108は動き情報が共有可能か否かをチェックする(ステップS106)。具体的には、変換規則を参照して、符号化対象領域blkに対するテクスチャ動き情報の参照フレームインデックスtexRefId[blk]が対応する符号化対象デプスマップに対する参照フレームインデックスが存在するか否かをチェックする。すなわち、LUT[texRefId[blk]]が−1以外か否かをチェックする。
LUT[texRefId[blk]]が−1以外の場合、動き情報が共有可能と判断され、動き情報変換部108はテクスチャ動き情報を変換し、符号化対象領域blkに対する動き情報とする(ステップS107)。変換はテクスチャ参照フレームインデックスをLUTによって変更し、対応領域を示すベクトル情報については変更を加えずそのままの値を維持することで行う。すなわち、符号化対象領域blkに対する動き情報の参照フレームインデックスRefId[blk]をLUT[texRefId[blk]]とし、ベクトル情報Vec[blk]をテクスチャ動き情報に含まれる符号化対象領域blkに対応するテクスチャベクトル情報texVec[blk]に設定する。
LUT[texRefId[blk]]が−1の場合、動き情報が共有不可能と判断し、動き情報設定部109は、符号化対象領域blkに対する動き情報(RefId[blk]およびVec[blk])を設定する(ステップS108)。ここで行われる処理にはどのようなものを用いてもよいが、一般的には、符号化対象領域blkにおける画像信号と類似する画像信号を持つ参照フレーム上の領域を同定することで行う。また、画像信号の比較だけでなく、参照フレームインデックスやベクトル情報の符号化に必要となる符号量も鑑みて、画像信号の差異と発生符号量の重み付け和で表されるレート歪みコストを最小とする参照フレーム上の領域を同定するようにしてもよい。
動き情報が共有不可能な場合、動き情報符号化部111は、設定された動き情報を符号化する(ステップS109)。どのような符号化方法を用いてもよいが、一般的に予測符号化が用いられる。すなわち、時間または空間的に隣接する領域で使用された動き情報から、予測動き情報を生成し、その差分情報のみを符号化する。
動き情報の変換または符号化が終了したら、予測画像生成部112は、符号化対象領域blkに対して得られた動き情報(RefId[blk]およびVec[blk])に従って、参照フレームメモリ115に記憶されたフレームを参照することで、符号化対象領域blkに対する予測画像を生成する(ステップS110)。基本的には、動き情報の参照フレームインデックスで示される参照フレームメモリ115上のフレームにおける、動き情報のベクトル情報で指定された領域の画像信号を複写することで予測画像は生成される。ただし、複写する際に画素補間や画素値の線形変換を行ってもよい。
予測画像の生成が終了したら、画像信号符号化部113は、生成された予測画像を用いて、符号化対象領域blkの画像信号(デプス情報)を符号化する(ステップS111)。復号側で正しく復号可能であるならば、符号化にはどのような方法を用いてもかまわない。MPEG−2やH.264/AVCなどの一般的な符号化では、ブロックblkの画像信号と予測画像との差分信号に対して、DCT(Discrete Cosine Transform)などの周波数変換、量子化、2値化、エントロピー符号化を順に施すことで符号化を行う。
このとき、生成された符号データによって復号側で得られる復号画像を生成し、その結果を参照フレームメモリ115に記憶する。ここでは、符号データを実際に復号して復号画像を得てもよいし、符号化時の処理がロスレスになる直前のデータと予測画像を使った、簡略化した復号処理によって復号画像を得てもよい。例えば、MPEG−2やH.264/AVCなどの一般的な符号化を用いて符号データが生成された場合は、量子化処理を加えた後の値に対して、逆量子化、周波数逆変換を順に施して得られた2次元信号に対して予測画像を加え、得られた結果を画素値の値域でクリッピングを行うことで復号画像を生成してもよい。
最後に、多重化部114は、動き情報の符号データと、画像信号の符号データとを多重化して出力する。なお、動き情報の符号データは動き情報の共有が可能と判断された場合には存在しないため、多重化を行う必要はない。なお、ブロックごとに多重化してもよいし、フレーム単位で多重化してもかまわない。
なお、本実施形態では、全ての共有可能な動き情報を共有するものとしたが、共有可能な場合でも、共有するか否かを示すフラグを符号化するものとし、共有可能な動き情報の一部のみを共有する実施も好適である。この場合の処理動作を図3に示す。図3は、共有可能な動き情報の一部のみを共有する場合の処理動作を示すフローチャートである。図3において、図2に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図3に示す処理動作が図2に示す処理動作と異なる点は、まず、全ての符号化対象領域blkに対して動き情報の推定処理(ステップS108a)が実行される点である。ここで設定された動き情報は符号化対象領域blkに対する動き情報の候補であって、必ずしも符号化対象領域blkで使われるものではない点が、図2に示す処理動作と異なる。
次の違いは、動き情報の共有が可能な場合に、テクスチャ動き情報を変換した後に、ステップS107で変換して得られた動き情報か、ステップS108aで設定された動き情報のどちらを使用するかを選択し、選択結果を示すフラグを符号化する処理(ステップS114)が実行され、その選択に従って動き情報を符号化するか否かの選択(ステップS115)が行われる点である。
このように領域ごとに共有するか否かを決定する場合においても、この処理動作によって、全ての符号化対象領域blkに対してフラグを符号化せず、動き情報が共有可能な領域に対してのみフラグを符号化すれば良くなるため、発生符号量を削減し、効率的な符号化を実現することができる。
また、本実施形態では、共有可能な動き情報が符号化対象領域ごとに1種類しか存在しないとした。しかし、例えば、符号化対象領域と空間的または時間的に隣接する既に符号化済みの領域で使用された動き情報との共有も可能にするといった、複数種類の動き情報から1つの動き情報を選択して共有を行う場合も考えられる。この場合、共有する候補となる動き情報のリストを生成し、そのリスト上のインデックスを符号化することになるが、そのリストを作成する際に、共有する候補となる動き情報が共有可能か否かを判定し(ステップS106相当)、共有可能な場合にのみ共有する候補となる動き情報を候補リストに追加し、共有不可能であれば候補リストから共有する候補となる動き情報を除外する。これによって候補リストのサイズを小さくすることができ、そのリスト上のインデックスの符号化にかかる符号量を削減することが可能である。
ここで、変換規則は変換前の動き情報に対する参照フレームリストと、符号化対象領域が使用する参照フレームリストとに従って決定されるため、参照フレームリストが異なる動き情報ごとに変換規則を生成する必要がある。また、2つの参照フレームリストの構成が同一の場合は、変換規則は必要なく、変換処理および共有可否の判定処理を行う必要はない。そのため、多くの符号化方式では空間的に隣接する領域では、同一の参照フレームリストを使用するため変換は必要なく、全ての動き情報が共有候補として候補リストに追加されることになる。
また、本実施形態では、テクスチャ参照フレームリストと参照フレームリストとを構造が全く異なるものとして設定可能としているが、基本的には同一の構造を用い、参照フレームリストのサイズのみを小さく設定する場合もある。その場合、変換規則を生成する必要はなく、テクスチャ動き情報の参照フレームインデックスが設定された参照フレームリストのサイズよりも大きな場合は、動き情報を共有不可能と判定し、そうでない場合は、動き情報を共有可能として判定してもよい。このとき、動き情報を変換する必要がないため、共有可能な場合は、テクスチャ動き情報がそのまま予測画像の生成に使用されることになる。
次に、動画像復号装置について説明する。図4は、本発明の実施形態による動画像復号装置の構成を示すブロック図である。動画像復号装置200は、図4に示すように、復号対象ビットストリーム入力部201、復号対象ビットストリームメモリ202、テクスチャ動き情報入力部203、テクスチャ動き情報メモリ204、テクスチャ参照フレームリスト入力部205、参照フレームリスト設定部206、変換テーブル生成部207、動き情報変換部208、分離部209、動き情報復号部210、動き情報選択部211、予測画像生成部212、画像信号復号部213、および参照フレームメモリ214を備えている。
復号対象ビットストリーム入力部201は、復号対象となるデプスマップ動画像のビットストリームを入力する。以下の説明においては、復号されるデプスマップ動画像のことを復号対象デプスマップ動画像と呼び、特に処理によって復号されるフレームを復号対象デプスマップと呼ぶ。復号対象ビットストリームメモリ202は入力された復号対象ビットストリームを記憶する。テクスチャ動き情報入力部203は、復号対象デプスマップに対応する動画像のフレームにおける動き情報を入力する。ここでは復号対象デプスマップ動画像に対応する動画像をテクスチャ動画像と呼び、復号対象デプスマップに対応する動画像の1フレームをテクスチャフレームと呼ぶ。また、動き情報はテクスチャ動画像を符号化したビットストリームを復号する際に使用されたものであり、画素またはブロックごとに参照フレームインデックスと動きベクトルとの組を用いて表現されたものである。テクスチャ動き情報メモリ204は、入力されたテクスチャ動き情報を記憶する。テクスチャ参照フレームリスト入力部205は、テクスチャフレームを復号する際に使用した参照フレームリストを入力する。
参照フレームリスト設定部206は、復号対象デプスマップを復号するに当たって、使用する参照フレームリストを設定する。変換テーブル生成部207は、テクスチャ参照フレームリストに対する参照フレームインデックスを、参照フレームリストに対する参照フレームインデックスへと変換するためのルックアップテーブルを生成する。動き情報変換部208は、生成されたルックアップテーブルに従って、テクスチャ動き情報における参照フレームインデックスを変換する。
分離部209は、入力されたビットストリームで多重化されている動き情報の符号データと画像信号の符号データとを分離する。動き情報復号部210は、動き情報の符号データから、復号対象デプスマップに対する一部の動き情報を復号する。動き情報選択部211は、テクスチャ動き情報を変換して得られる動き情報と、動き情報復号部210で復号された動き情報のどちらか一方を選択する。
予測画像生成部212は、選択された動き情報に従って復号対象デプスマップに対する予測画像を生成する。画像信号復号部213は、生成された予測画像を用いて、画像信号に対する符号データを復号して、復号デプスマップを生成する。参照フレームメモリ214は、予測画像の生成に用いられる既に復号済みのデプスマップを記憶する。
次に、図5を参照して、図4に示す動画像復号装置200の動作を説明する。図5は、図4に示す動画像復号装置200の動作を示すフローチャートである。ここでは復号対象デプスマップ動画像中のある1フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、デプスマップ動画像の復号を実現することができる。
まず、復号対象ビットストリーム入力部201は復号対象デプスマップ動画像の符号データを入力し、復号対象ビットストリームメモリ202に記憶する(ステップS201)。次に、テクスチャ動き情報入力部203は、テクスチャフレームを復号した際に用いられた動き情報を入力し、テクスチャ動き情報メモリ204に記憶する。これと並行して、テクスチャ参照フレームリスト入力部205は、テクスチャフレームを復号した際に用いられた参照フレームリストであるテクスチャ参照フレームリストを入力する(ステップS202)。
なお、復号対象デプスマップ動画像中の幾つかのフレームは既に復号されているものとし、その復号されたフレームが参照フレームメモリ214に記憶されているものとする。また、復号したフレーム以外にも、符号化側で利用可能なフレームであれば、どのようなフレームが参照フレームメモリ214に含まれていてもよい。ただし、符号化側と同じフレームが記憶されている必要がある。例えば、多視点デプスマップ動画像を復号する場合に、他の視点に対するデプスマップ動画像を復号して得られるフレームや、他の視点に対するデプスマップ動画像を復号して得られるフレームを用いて、復号対象デプスマップ動画像に対する視点のデプスマップを合成したフレームを参照フレームメモリ214に含める実施は好適である。更に、対応する多視点動画像を復号して得られた多視点動画像を用いたステレオマッチングによって、推定されたデプスマップを参照フレームメモリ214に含める実施も好適である。
また、ここでは入力されたビットストリームから復号対象デプスマップを順次復号して出力するとしているが、入力順と出力順は必ずしも一致している必要はない。入力順と出力順が異なる場合は、次に出力するフレームが復号されるまで、復号されたフレームは参照フレームメモリ214に記憶される。そして、参照フレームメモリ214に記憶されたフレームは、別途規定された出力順になったら動画像復号装置200から出力される。なお、参照フレームメモリ214からフレームが削除されるタイミングは、予測に用いる参照構造によって決定され、それ以降の復号対象デプスマップを復号する際に、参照フレームとして使用されないことが決定した時点か、それより後の任意のタイミングとなる。
ここでは、復号対象ビットストリームとテクスチャ動き情報がフレーム単位で入力されることとしているが、いずれか一方または両方をシーケンス単位で入力してもよい。その場合は、ステップS202において、フレーム毎のテクスチャ参照フレームリストを入力し、入力されたテクスチャ参照フレームリストを記憶するメモリが必要となる。また、復号対象ビットストリームとテクスチャ動き情報のいずれか一方または両方を、復号処理単位ごとに入力するものとしてもよい。その場合は、入力されたものを逐次処理することになるため、復号対象ビットストリームメモリ202およびテクスチャ動き情報メモリ204は不要である。
復号対象ビットストリームとテクスチャ動き情報が記憶され、テクスチャ参照フレームリストの入力が終了したら、参照フレームリスト設定部206は、復号対象デプスマップを復号する際に使用する参照フレームリストを設定する(ステップS203)。具体的には、参照フレームメモリ214に記憶されているフレームに対して、重複が無いように参照フレームインデックスを割り当てる。なお、参照フレームメモリ214に記憶されている全てのフレームに対して、必ずしも参照フレームインデックスを割り当てる必要はない。また、複数の参照フレームリストを作成する場合、参照フレームリスト毎に、重複が無いように参照フレームインデックスを割り当てる。ここで作成される参照フレームリストは符号化時に使用されたものと同じものである必要がある。すなわち、別途定められた同一のルールに従って参照フレームリストを作成するか、符号化時に使用された参照フレームリストを同定するための情報が別途与えられ、それに従って設定を行う。この符号化時に使用された参照フレームリストを同定するための情報がビットストリームに含まれている場合は、それを復号することで情報を得る。
参照フレームリストの設定が終了したら、変換テーブル生成部207は、テクスチャ参照フレームリストに対する参照フレームインデックスを、設定した参照フレームリストに対する参照フレームインデックスへと変換するための変換規則を生成する(ステップS204)。ここでの処理は前述したステップS104と同じである。
変換規則の生成が終了したら、復号対象デプスマップを予め定められた大きさの領域に分割し、分割した領域ごとに、復号対象デプスマップの動画像信号を復号する(ステップS205〜S212)。すなわち、復号対象領域インデックスをblk、1フレーム中の総復号対象領域数をnumBlksで表すとすると、blkを0で初期化し(ステップS205)、その後、blkに1を加算しながら(ステップS211)、blkがnumBlksになるまで(ステップS212)、以下の処理(ステップS206〜ステップS210)を繰り返す。処理領域のサイズは符号化側で使用されたものと同じ大きさとなる。一般的な符号化では16画素×16画素のマクロブロックと呼ばれる処理単位ブロックが使用されるが、符号化側と同じであればその他の大きさのブロックごとに処理を行う。
復号対象領域ごとに繰り返される処理において、まず、動き情報変換部208は動き情報が共有可能か否かをチェックする(ステップS206)。ここでの処理は前述したステップS106と同じである。動き情報が共有可能な場合、動き情報変換部208はテクスチャ動き情報を変換し、復号対象領域blkに対する動き情報とする(ステップS207)。ここでの処理は前述したステップS107と同じである。
動き情報が共有不可能な場合、分離部209は復号対象ビットストリームから、復号対象領域blkに対する動き情報の符号データを分離し、その符号データを動き情報復号部210で復号することにより、復号対象領域blkに対する動き情報を得る(ステップS208)。なお、分離された符号データから動き情報を復号する方法は符号化方法に応じて決定される。一般的には、動き情報は予測符号化されているため、時間または空間的に隣接する領域で使用された動き情報から、予測動き情報を生成し、その予測動き情報に対して、符号データを復号して得られる差分動き情報を加えることで、動き情報を復号する。また、復号対象ビットストリームから復号対象領域blkに対する動き情報を復号できるのであれば、必ずしも復号対象ビットストリームから復号対象領域blkに対する動き情報の符号データを分離する必要はない。
動き情報の変換または復号が終了したら、予測画像生成部212は、復号対象領域blkに対して得られた動き情報に従って、参照フレームメモリ214に記憶されたフレームを参照することで、復号対象領域blkに対する予測画像を生成する(ステップS209)。ここでの処理は前述したステップS110と同じである。
予測画像の生成が終了したら、分離部209は復号対象ビットストリームから、復号対象領域blkに対する画像信号(デプス情報)の符号データを分離し、画像信号復号部213で、生成された予測画像を用いて、その符号データから、復号対象領域blkの画像信号(デプス情報)を復号する(ステップS210)。復号結果は動画像復号装置200の出力となるとともに、参照フレームメモリ214に記憶する。復号処理は符号化時に用いた手法に対応する手法を用いる。例えば、MPEG−2やH.264/AVCなどの一般的な符号化が用いられている場合は、符号データに対して、エントロピー復号、逆2値化、逆量子化、IDCT(Inverse Discrete Cosine Transform)などの周波数逆変換を順に施し、得られた2次元信号に対して予測画像を加え、最後に、得られた結果を画素値の値域でクリッピングを行うことで画像信号を復号する。
なお、前述の説明では、全ての共有可能な動き情報を共有するものとしたが、共有可能な場合でも、共有するか否かを示すフラグが符号化されており、そのフラグに従って、共有可能な動き情報の一部のみを共有する実施も好適である。この場合の処理動作を図6に示す。図6は、共有可能な動き情報の一部のみを共有する場合の処理動作を示すフローチャートである。図6において、図5に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図6に示す処理動作が図5に示す処理動作と異なる点は、次の通りである。動き情報が共有可能であった場合(ステップS206がYES)、まず、動き情報を共有するか否かを示したフラグを復号し(ステップS213)、そのフラグが動き情報を共有することを示しているかをチェックする(ステップS214)。そして、フラグが動き情報を共有することを示している場合は、動き情報変換部208でテクスチャ動き情報を変換し、復号対象領域blkに対する動き情報とし(ステップS207)、そうでない場合は、符号データを動き情報復号部210で復号することにより、復号対象領域blkに対する動き情報を得る(ステップS208)。
このように領域ごとに共有するか否かが決定されている場合においても、全ての符号化対象領域blkに対してフラグが符号化されておらず、動き情報が共有可能な領域に対してのみフラグが符号化されているとして復号すれば良くなるため、フラグに対する符号量を削減し、効率的な符号化を実現することができる。
また、ここでは、共有可能な動き情報が復号対象領域ごとに1種類しか存在しないとした。しかし、例えば、復号対象領域と空間的または時間的に隣接する既に復号済みの領域で使用された動き情報との共有も可能にするといった、複数種類の動き情報から1つの動き情報を選択して共有を行う場合も考えられる。この場合、共有する候補となる動き情報のリストを生成し、そのリスト上のインデックスをビットストリームから復号することになるが、そのリストを作成する際に、共有する候補となる動き情報が共有可能か否かを判定し(ステップS206相当)、共有可能な場合にのみ共有する候補となる動き情報を候補リストに追加し、共有不可能であれば候補リストから共有する候補となる動き情報を除外する。これによって候補リストのサイズを小さくすることができ、そのリスト上のインデックスを少ない符号量で指定することが可能である。
ここで、変換規則は変換前の動き情報に対する参照フレームリストと、復号対象領域が使用する参照フレームリストとに従って決定されるため、参照フレームリストが異なる動き情報ごとに変換規則を生成する必要がある。また、2つの参照フレームリストの構成が同一の場合は、変換規則は必要なく、変換処理および共有可否の判定処理を行う必要はない。そのため、多くの符号化方式では空間的に隣接する領域では、同一の参照フレームリストを使用するため変換は必要なく、全ての動き情報が共有候補として候補リストに追加されることになる。
また、テクスチャ参照フレームリストと参照フレームリストとを構造が全く異なるものとして設定可能としているが、基本的には同一の構造を用い、参照フレームリストのサイズのみを小さく設定する場合もある。その場合、変換規則を生成する必要はなく、テクスチャ動き情報の参照フレームインデックスが設定された参照フレームリストのサイズよりも大きな場合は、動き情報を共有不可能と判定し、そうでない場合は、動き情報を共有可能として判定してもよい。このとき、動き情報を変換する必要がないため、共有可能な場合は、テクスチャ動き情報がそのまま予測画像の生成に使用されることになる。
以上のように、符号化対象のデプスマップに対する動画像を符号化した際の動き情報が復号側でも得られる場合、動き情報によって示される参照フレームの有無に従って、動き情報を再利用するか否かを決定し、動き情報を流用する場合は、参照構造を考慮して変換した動き情報を用いて予測画像を生成する。これによって、デプスマップの符号化時に動画像の符号化時とは異なる参照構造を用いた符号化を行うことが可能となり、動画像とは性質の異なるデプスマップの時間相関を利用した効率的な符号化を実現できる。また、動き情報を再利用するか否かを、参照フレームの有無によって判定することによって、その情報を示すための符号量を削減することが可能となる。
前述した説明においては、1つの視点に対する動画像を符号化/復号する処理を説明したが、複数のカメラで撮影された多視点画像や多視点動画像を符号化/復号する処理にも本発明の実施形態を適用可能である。また前述した説明においては、フレーム全体を符号化/復号する処理として説明したが、フレームの一部分のみに本発明の実施形態の処理を適用することも可能である。この場合、処理を適用するか否かを判断して、それを示すフラグを符号化/復号してもよいし、なんらか別の手段でそれを指定してもよい。
なお、図1に示す動画像符号化装置100及び図4に示す動画像復号装置200の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより動画像符号化処理及び動画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWW(World Wide Web)システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD(Compact Disc)−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM(Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
図7に、動画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは、プログラムを実行するCPU(Central Processing Unit)70と、CPU70がアクセスするプログラムやデータが記憶されるRAM等のメモリ71と、カメラ等からの符号化対象となるデプスマップの信号を入力する符号化対象デプスマップ入力部72(ディスク装置等によるデプスマップの動画像信号を記憶する記憶部でもよい)と、例えばネットワークを介して符号化対象デプスマップに対する動画像の動き情報を入力するテクスチャ動き情報入力部73(ディスク装置等による動き情報を記憶する記憶部でもよい)と、図2や図3に示す処理をCPU70に実行させるソフトウェアプログラムである動画像符号化プログラム741が記憶されたプログラム記憶装置74と、CPU70がメモリ71にロードされた動画像符号化プログラム741を実行することにより生成されたビットストリームを、例えばネットワークを介して出力するビットストリーム出力部75(ディスク装置等によるビットストリームを記憶する記憶部でもよい)とが、バスで接続された構成になっている。図示は省略するが、他に、参照フレームリスト入力部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、動画像信号符号データ記憶部、動き情報符号データ記憶部などが用いられることもある。
図8に、動画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは、プログラムを実行するCPU80と、CPU80がアクセスするプログラムやデータが記憶されるRAM等のメモリ81と、動画像符号化装置が本手法により符号化したビットストリームを入力するビットストリーム入力部82(ディスク装置等によるビットストリームを記憶する記憶部でもよい)と、例えばネットワークを介して復号対象のデプスマップに対する動画像の動き情報を入力するテクスチャ動き情報入力部83(ディスク装置等による動き情報を記憶する記憶部でもよい)と、図5や図6に示す処理をCPU80に実行させるソフトウェアプログラムである動画像復号プログラム841が記憶されたプログラム記憶装置84と、CPU80がメモリ81にロードされた動画像復号プログラム841を実行することにより、ビットストリームを復号して得られた復号デプスマップを、再生装置などに出力する復号デプスマップ出力部85とが、バスで接続された構成になっている。図示は省略するが、他に、参照フレームリスト入力部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、動画像信号符号データ記憶部、動き情報符号データ記憶部が用いられることもある。
以上説明したように、動画像とデプスマップ動画像を予測符号化する際に用いる動き情報を共有化し、この動き情報を適応的に用いて予測画像を生成することで、符号化効率を高めることができる。
以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
動画像とデプスマップ動画像を構成要素に持つ自由視点動画像の符号化において、効率的な動画像符号化を実現することが不可欠な用途に適用できる。
101・・・符号化対象デプスマップ入力部、102・・・符号化対象デプスマップメモリ、103・・・テクスチャ動き情報入力部、104・・・テクスチャ動き情報メモリ、105・・・テクスチャ参照フレームリスト入力部、106・・・参照フレームリスト設定部、107・・・変換テーブル生成部、108・・・動き情報変換部、109・・・動き情報設定部、110・・・動き情報選択部、111・・・動き情報符号化部、112・・・予測画像生成部、113・・・画像信号符号化部、114・・・多重化部、115・・・参照フレームメモリ、201・・・復号対象ビットストリーム入力部、202・・・復号対象ビットストリームメモリ、203・・・テクスチャ動き情報入力部、204・・・テクスチャ動き情報メモリ、205・・・テクスチャ参照フレームリスト入力部、206・・・参照フレームリスト設定部、207・・・変換テーブル生成部、208・・・動き情報変換部、209・・・分離部、210・・・動き情報復号部、211・・・動き情報選択部、212・・・予測画像生成部、213・・・画像信号復号部、214・・・参照フレームメモリ
Claims (32)
- デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像符号化方法。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像符号化方法。 - 前記テクスチャ動画像を符号化する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、
前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの前記性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、
前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、
前記デプスマップ動き情報設定ステップは、前記テクスチャ動き情報によって示されるフレームと同じ前記性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記変換動き情報を前記デプスマップ動き情報として設定する
請求項2に記載の動画像符号化方法。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像符号化方法。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像符号化方法。 - 前記テクスチャ動画像を符号化する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、
前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の前記参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が、変換後の前記参照フレームインデックスによって示される前記参照フレームリスト内のフレームの前記性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、
前記テクスチャ動き情報に含まれる前記参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、
前記共有動き情報リスト生成ステップは、前記テクスチャ動き情報によって示されるフレームと同じ前記性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記変換動き情報を含んだ前記共有動き情報リストを生成する
請求項5に記載の動画像符号化方法。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像復号方法。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像復号方法。 - 前記テクスチャ動画像を復号する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、
前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの前記性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、
前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、
前記デプスマップ動き情報設定ステップは、前記テクスチャ動き情報によって示されるフレームと同じ前記性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記変換動き情報を前記デプスマップ動き情報として設定する
請求項8に記載の動画像復号方法。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像復号方法。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像復号方法。 - 前記テクスチャ動画像を復号する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、
前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの前記性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、
前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、
前記共有動き情報リスト生成ステップは、前記テクスチャ動き情報によって示されるフレームと同じ前記性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記変換動き情報を含んだ前記共有動き情報リストを生成する
請求項11に記載の動画像復号方法。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を有する動画像符号化装置。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を備える動画像符号化装置。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号する動画像復号装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を備える動画像復号装置。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号する動画像復号装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を備える動画像復号装置。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像符号化方法。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像符号化方法。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像復号方法。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号方法であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
を有する動画像復号方法。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を有する動画像符号化装置。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を備える動画像符号化装置。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号する動画像復号装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を備える動画像復号装置。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号する動画像復号装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を備える動画像復号装置。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を備える動画像符号化装置。 - デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を備える動画像符号化装置。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を備える動画像復号装置。 - デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号装置であって、
予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラID、フレームの取得法の少なくとも1つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
前記共有動き情報リストに含まれる前記動き情報から1つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
を備える動画像復号装置。 - コンピュータに、請求項1から請求項6及び請求項17、請求項18のいずれか1項に記載の動画像符号化方法を実行させるための動画像符号化プログラム。
- コンピュータに、請求項7から請求項12及び請求項19、請求項20のいずれか1項に記載の動画像復号方法を実行させるための動画像復号プログラム。
- 請求項29に記載の動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項30に記載の動画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014524809A JP5876933B2 (ja) | 2012-07-09 | 2013-07-09 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012154066 | 2012-07-09 | ||
JP2012154066 | 2012-07-09 | ||
PCT/JP2013/068698 WO2014010573A1 (ja) | 2012-07-09 | 2013-07-09 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 |
JP2014524809A JP5876933B2 (ja) | 2012-07-09 | 2013-07-09 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5876933B2 true JP5876933B2 (ja) | 2016-03-02 |
JPWO2014010573A1 JPWO2014010573A1 (ja) | 2016-06-23 |
Family
ID=49916025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014524809A Active JP5876933B2 (ja) | 2012-07-09 | 2013-07-09 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150172694A1 (ja) |
JP (1) | JP5876933B2 (ja) |
KR (1) | KR20150020593A (ja) |
CN (1) | CN104509114A (ja) |
WO (1) | WO2014010573A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10165300B2 (en) * | 2016-10-28 | 2018-12-25 | Blackberry Limited | 3D transform and inter prediction for video coding |
CN113963164A (zh) * | 2021-11-15 | 2022-01-21 | 湖南大学 | 一种基于分组邻域强度差异编码的纹理特征提取方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BRPI0911447A2 (pt) * | 2008-04-25 | 2018-03-20 | Thomson Licensing | codificação de sinal de profundidade |
EP2269378A2 (en) * | 2008-04-25 | 2011-01-05 | Thomson Licensing | Multi-view video coding with disparity estimation based on depth information |
KR101260613B1 (ko) * | 2008-12-26 | 2013-05-03 | 닛뽕빅터 가부시키가이샤 | 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램 |
CN101986716B (zh) * | 2010-11-05 | 2012-07-04 | 宁波大学 | 一种快速深度视频编码方法 |
WO2012070500A1 (ja) * | 2010-11-22 | 2012-05-31 | ソニー株式会社 | 符号化装置および符号化方法、並びに、復号装置および復号方法 |
-
2013
- 2013-07-09 WO PCT/JP2013/068698 patent/WO2014010573A1/ja active Application Filing
- 2013-07-09 KR KR1020147036010A patent/KR20150020593A/ko not_active Application Discontinuation
- 2013-07-09 JP JP2014524809A patent/JP5876933B2/ja active Active
- 2013-07-09 CN CN201380033446.8A patent/CN104509114A/zh active Pending
- 2013-07-09 US US14/413,349 patent/US20150172694A1/en not_active Abandoned
Non-Patent Citations (1)
Title |
---|
JPN6013050387; Christian Bartnik et al: HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding , 20120203, Section 3.3, 3.3.4, ITU - Telecommunications Standardization Sector ST * |
Also Published As
Publication number | Publication date |
---|---|
CN104509114A (zh) | 2015-04-08 |
WO2014010573A1 (ja) | 2014-01-16 |
US20150172694A1 (en) | 2015-06-18 |
JPWO2014010573A1 (ja) | 2016-06-23 |
KR20150020593A (ko) | 2015-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5281624B2 (ja) | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム | |
JP5805849B2 (ja) | ビデオコード化における動きベクトル予測 | |
KR100919885B1 (ko) | 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치 | |
JP5844883B2 (ja) | 適応的フィルタリングを用いる映像の符号化方法及び装置、その復号化方法及び装置 | |
JP6232076B2 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム | |
JP5357199B2 (ja) | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラムおよび画像復号プログラム | |
JP5281623B2 (ja) | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム | |
RU2627302C1 (ru) | Способ и устройство для определения набора опорных картинок изображения | |
JP6571646B2 (ja) | マルチビュービデオのデコード方法及び装置 | |
WO2015056712A1 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム | |
JP5876933B2 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 | |
JP5729825B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム | |
KR20090040028A (ko) | 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체 | |
JP5706291B2 (ja) | 映像符号化方法,映像復号方法,映像符号化装置,映像復号装置およびそれらのプログラム | |
JP6386466B2 (ja) | 映像符号化装置及び方法、及び、映像復号装置及び方法 | |
JP6690944B2 (ja) | 視差動きベクトルの導出、そのような導出を使用した3dビデオコーディングおよびデコーディング | |
JP5711636B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム | |
JP5759357B2 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム | |
JPWO2015098827A1 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5876933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |