JP5876933B2 - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 - Google Patents

動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 Download PDF

Info

Publication number
JP5876933B2
JP5876933B2 JP2014524809A JP2014524809A JP5876933B2 JP 5876933 B2 JP5876933 B2 JP 5876933B2 JP 2014524809 A JP2014524809 A JP 2014524809A JP 2014524809 A JP2014524809 A JP 2014524809A JP 5876933 B2 JP5876933 B2 JP 5876933B2
Authority
JP
Japan
Prior art keywords
motion information
depth map
texture
list
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014524809A
Other languages
English (en)
Other versions
JPWO2014010573A1 (ja
Inventor
信哉 志水
信哉 志水
志織 杉本
志織 杉本
木全　英明
英明 木全
明 小島
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014524809A priority Critical patent/JP5876933B2/ja
Application granted granted Critical
Publication of JP5876933B2 publication Critical patent/JP5876933B2/ja
Publication of JPWO2014010573A1 publication Critical patent/JPWO2014010573A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体に関する。
本願は、２０１２年７月９日に日本へ出願された特願２０１２−１５４０６６号に基づき優先権を主張し、その内容をここに援用する。
従来から、撮影空間内でのカメラの位置や向き（以下、視点と称する）をユーザが自由に指定することができる自由視点画像が知られている。自由視点画像では、ユーザが任意の視点を指定するため、その全ての可能性に対して画像を保持しておくことは不可能である。そのため、自由視点画像は、指定された視点の画像を生成するのに必要な情報群によって構成される。自由視点画像は様々なデータ形式を用いて表現されるが、最も一般的な形式として画像とその画像に対するデプスマップ（距離画像）を用いる方式がある（例えば、非特許文献１参照）。
ここで、デプスマップとは、カメラから被写体までのデプス（距離）を画素ごとに表現したものであり、被写体の三次元的な位置を表現している。デプスは２つのカメラ間の視差の逆数に比例しているため、ディスパリティマップ（視差画像）と呼ばれることもある。コンピュータグラフィックスの分野では、デプスはＺバッファに記憶された情報となるため、Ｚ画像やＺマップと呼ばれることもある。なお、カメラから被写体までの距離の他に、表現対象空間上に張られた三次元座標系のＺ軸に対する座標値をデプスとして用いることもある。一般に、撮影された画像に対して水平方向をＸ軸、垂直方向をＹ軸とするため、Ｚ軸はカメラの向きと一致するが、複数のカメラに対して共通の座標系を用いる場合など、Ｚ軸がカメラの向きと一致しない場合もある。以下では、距離・Ｚ値を区別せずにデプスと呼び、デプスを画素値として表した画像をデプスマップと呼ぶ。ただし、厳密にはディスパリティマップでは基準となるカメラ対を設定する必要がある。
デプスを画素値として表す際に、物理量に対応する値をそのまま画素値とする方法と、最小値と最大値の間をある数に量子化して得られる値を用いる方法と、最小値からの差をあるステップ幅で量子化して得られる値を用いる方法がある。表現したい範囲が限られている場合には、最小値などの付加情報を用いる方がデプスを高精度に表現することができる。また、等間隔に量子化する際に、物理量をそのまま量子化する方法と物理量の逆数を量子化する方法とがある。距離の逆数は視差に比例した値となるため、距離を高精度に表現する必要がある場合には、前者が使用され、視差を高精度に表現する必要がある場合には、後者が使用されることが多い。以下では、デプスの画素値化の方法や量子化の方法に関係なく、デプスが画像として表現されたものを全てデプスマップと呼ぶ。
デプスマップは、各画素が１つの値を持つ画像として表現されるため、グレースケール画像とみなすことができる。また、被写体が実空間上で連続的に存在し、瞬間的に離れた位置へ移動することができないため、デプスマップは、画像信号と同様に空間的相関および時間的相関を持つと言える。したがって、通常の画像信号や映像信号を符号化するために用いられる画像符号化方式や動画像符号化方式によって、デプスマップやその動画像（デプスマップ動画像、デプスビデオ）を空間的冗長性や時間的冗長性を取り除きながら効率的に符号化することが可能である。
ここで、一般的な動画像符号化について説明する。動画像符号化では、被写体が空間的に連続しているという特徴を利用して効率的な符号化を実現するために、動画像を構成する各画像（ピクチャ、フレーム）を予め定められた画素数の処理単位ブロックに分割し、そのブロックごとに画像信号を空間的または時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化する。画像信号を空間的に予測する場合は、例えば空間的な予測の方向を示す情報が予測情報となり、時間的に予測する場合は、例えば参照する画像を示す情報とその参照する画像中の位置を示す情報とが予測情報となる。
画像信号の空間相関や時間相関は被写体やテクスチャに依存したものであるため、Ｈ．２６４／ＡＶＣに代表される近年の動画像符号化では、処理単位ブロックごとに画像信号にあわせてさらに細かいブロックへ分割し、そのブロックごとに異なる画像や領域を参照して画像信号を予測することを可能にしている。特に、Ｈ．２６４／ＡＶＣでは、ブロックごとに、時刻の異なる複数の画像の中から、１つまたは２つの画像を選択して参照することを可能にすることで、ＭＰＥＧ−２やＭＰＥＧ−４の様に参照する画像が固定されている動画像符号化に対して、高い符号化効率を実現している（Ｈ．２６４／ＡＶＣの詳細については、例えば、非特許文献２参照）。これは、オクルージョンや周期的な被写体の動きが存在する際に、より時間相関の高い画像を参照できるためである。
この複数の参照可能な画像は参照ピクチャリストと呼ばれるリストの各エントリとして設定され、そのインデックス値を符号化することで、参照した画像を示している。参照ピクチャのインデックス値の符号化には、参照ピクチャのエントリ数が多いほど、または、そのインデックス値が大きいほど、多くの符号量を必要とする。そのため、時間相関の低い画像をリストから除外したり、より大きな値のインデックス値を時間相関の低い画像に割り当てたりすることで、より高い符号化効率を達成できる。この画像ごとの時間相関はシーケンスや処理対象の画像に依存するため、Ｈ．２６４／ＡＶＣでは、画像ごとに異なる参照ピクチャリストを構築することを可能にしている。
動画像とデプスマップ動画像とで構成される自由視点動画像の符号化においては、どちらも空間相関と時間相関を持つことから、通常の動画像符号化方式を用いて、それぞれを符号化することでデータ量を削減できる。例えばＭＰＥＧ−Ｃ Ｐａｒｔ．３を用いて、動画像とそれに対するデプスマップ動画像を表現する場合は、それぞれを既存の動画像符号化方式を用いて符号化している。
また、動画像とデプスマップ動画像とを一緒に符号化する際に、動画像とデプスマップ動画像は同じ被写体や空間に対する情報であることから、その間に存在する相関を利用することで、効率的な符号化を実現する方法がある。非特許文献３では、動画像やデプスマップ動画像を符号化する際に用いる動き情報（参照ピクチャインデックスや動きベクトル）を共通化し重複して符号化することを避けることで、効率的な符号化を実現している。具体的には、動画像とデプスマップ動画像の両方を鑑みて１つの動き情報を生成して共通利用している。
Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV", In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008. Recommendation ITU-T H.264,"Advanced video coding for generic audiovisual services", March 2009. I. Daribo, C. Tillier, and B. P. Popescu, "Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding"， EURASIP Journal on Advances in Signal Processing, vol. 2009, Article ID 258920, 13 pages, 2009.
前述した非特許文献３のように、動画像とデプスマップ動画像とで共通の参照ピクチャリスト構造を持ち、動画像とデプスマップ動画像との間で動き情報を共有することで、符号化しなければならない動き情報の量を減らすことができるため、画像信号とデプスとで構成される自由視点動画像を高効率に圧縮符号化することができる。
しかしながら、動画像とデプスマップ動画像とは異なる性質を持ち、フレーム毎の時間相関の性質が異なるため、常に動き情報を共有した場合、適切な予測を行うことができず、予測残差が増大してしまうという問題がある。すなわち、前述した非特許文献３の方法では、動き情報の量を削減できたとしても、予測残差が大幅に増えてしまった場合、全体としての符号量は増大してしまい、効率的な圧縮符号化を実現できない。
また、デプスマップは多視点画像からのステレオマッチングや、赤外線などを用いた通常の画像撮影とは異なるセンサによって取得されるため、ノイズが多く、その時間相関は動画像に比べて極めて低いとされる。そのため、デプスマップの符号化においては、処理対象のフレームとは時刻が大きく離れているようなフレームを参照ピクチャリストに含めずに、少ないエントリしか持たない参照ピクチャリストを用いることで、参照ピクチャインデックスを効率的に符号化することを実現できる。しかしながら、動画像の参照ピクチャリストとその構造を共有してしまうと、多くのエントリを持つ参照ピクチャリストを用いて、参照ピクチャインデックスを符号化する必要が生じ、符号量が増大してしまう。
この問題に対する容易に類推可能な方法として、動画像とデプスマップ動画像とで、それぞれのデータを符号化する際に効率的となるような、互いに異なる参照ピクチャリストを用い、別途定められた領域ごとに動き情報が共有可能なのか否かを示すフラグを符号化する方法がある。しかしながら、この方法では各領域に対してフラグを符号化する生じるため、それに伴って符号量が増加してしまうという問題がある。また、動き情報を共有するためには、参照ピクチャリスト間で対応するエントリが同じ時刻および同じ種類の参照フレームである必要があり、動き情報が共有できる領域が少なく、動き情報の符号化に必要な符号量が増加してしまうという問題もある。
本発明は、このような事情に鑑みてなされたもので、動画像とデプスマップ動画像を構成要素に持つ自由視点動画像の符号化において、効率的な動画像符号化を実現する動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体を提供することを目的とする。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
好ましくは、本発明は、前記テクスチャ動画像を符号化する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、前記デプスマップ動き情報設定ステップは、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記変換動き情報を前記デプスマップ動き情報として設定する。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
好ましくは、本発明は、前記テクスチャ動画像を符号化する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の前記参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの性質が、変換後の前記参照フレームインデックスによって示される前記参照フレームリスト内のフレームの性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、前記テクスチャ動き情報に含まれる前記参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、前記共有動き情報リスト生成ステップは、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記変換動き情報を含んだ前記共有動き情報リストを生成する。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
好ましくは、本発明は、前記テクスチャ動画像を復号する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、前記デプスマップ動き情報設定ステップは、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記変換動き情報を前記デプスマップ動き情報として設定する。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号方法であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップとを有する。
好ましくは、本発明は、前記テクスチャ動画像を復号する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、前記共有動き情報リスト生成ステップは、前記テクスチャ動き情報によって示されるフレームと同じ性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記変換動き情報を含んだ前記共有動き情報リストを生成する。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部とを有する。
本発明は、デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部とを備える。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号する動画像復号装置であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部とを備える。
本発明は、デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号する動画像復号装置であって、予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部とを備える。
本発明は、コンピュータに、前記動画像符号化方法を実行させるための動画像符号化プログラムである。
本発明は、コンピュータに、前記動画像復号方法を実行させるための動画像復号プログラムである。
本発明は、前記動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明は、前記動画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、動画像信号とその動画像に対する別のデプスマップ動画像のように同じ被写体の別の情報を表現したデータを一緒に符号化する場合に、それぞれで管理される参照ピクチャリストの各エントリに対する対応関係を示した変換テーブルを生成し、参照ピクチャを指定する情報をその対応関係に従って変換する。これによって、異なる参照ピクチャリストを使用する場合においても、動き情報を共有し、その符号量を削減することが可能となる。さらに、その対応関係から共有不可能な動き情報を判定することで、動き情報を共有するか否かを示す情報の符号化に必要な符号量を削減することが可能となる。これらの結果、効率的な動画像符号化を実現することができるようになるという効果が得られる。
本発明の実施形態による動画像符号化装置の構成を示すブロック図である。 図１に示す動画像符号化装置１００の動作を示すフローチャートである。 共有可能な動き情報の一部のみを共有する場合の処理動作を示すフローチャートである。 本発明の実施形態による動画像復号装置の構成を示すブロック図である。 図４に示す動画像復号装置２００の動作を示すフローチャートである。 共有可能な動き情報の一部のみを共有する場合の処理動作を示すフローチャートである。 動画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 動画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。
以下、本発明の一実施形態を、図面を参照して説明する。なお、本実施形態の説明では、動画像の動き情報を参照して、その動画像に対応するデプスマップ動画像を符号化する場合について説明を行うが、デプスマップ動画像の動き情報を参照して、そのデプスマップ動画像に対応する動画像を符号化する場合にも、本発明を適用可能なことは明らかである。また、動画像やデプスマップ動画像だけに限らず、温度情報の動画像や別のカラーコンポーネントの動画像など、同じ被写体と空間が撮影された動画像として表現可能な任意のデータ対に対して、本発明を適用可能なことも明らかである。
まず、同実施形態における動画像符号化装置について説明する。図１は、本発明の実施形態による動画像符号化装置の構成を示すブロック図である。図１に示すように、動画像符号化装置１００は、符号化対象デプスマップ入力部１０１、符号化対象デプスマップメモリ１０２、テクスチャ動き情報入力部１０３、テクスチャ動き情報メモリ１０４、テクスチャ参照フレームリスト入力部１０５、参照フレームリスト設定部１０６、変換テーブル生成部１０７、動き情報変換部１０８、動き情報設定部１０９、動き情報選択部１１０、動き情報符号化部１１１、予測画像生成部１１２、画像信号符号化部１１３、多重化部１１４、および参照フレームメモリ１１５を備えている。
符号化対象デプスマップ入力部１０１は、符号化対象となるデプスマップ動画像の各フレームを入力する。以下の説明においては、この符号化対象となるデプスマップのことを符号化対象デプスマップ動画像と呼び、特に処理を行うフレームを符号化対象デプスマップと呼ぶ。符号化対象デプスマップメモリ１０２は、入力された符号化対象デプスマップを記憶する。テクスチャ動き情報入力部１０３は、符号化対象デプスマップに対応する動画像のフレームにおける動き情報を入力する。ここでは符号化対象デプスマップ動画像に対応する動画像をテクスチャ動画像と呼び、符号化対象デプスマップに対応する動画像の１フレームをテクスチャフレームと呼ぶ。また、動き情報はテクスチャ動画像を符号化する際に使用されたものであり、画素またはブロックごとに参照フレームインデックスと動きベクトルとの組を用いて表現されたものである。テクスチャ動き情報メモリ１０４は、入力されたテクスチャ動き情報を記憶する。テクスチャ参照フレームリスト入力部１０５は、テクスチャフレームを符号化する際に使用した参照フレームリストを入力する。
参照フレームリスト設定部１０６は、符号化対象デプスマップを符号化するに当たって、使用する参照フレームリストを設定する。変換テーブル生成部１０７は、テクスチャ参照フレームリストに対する参照フレームインデックスを、設定された参照フレームリストに対する参照フレームインデックスへと変換するためのルックアップテーブルを生成する。動き情報変換部１０８は、生成されたルックアップテーブルに従って、テクスチャ動き情報における参照フレームインデックスを変換する。
動き情報設定部１０９は、符号化対象デプスマップに対する動き情報を設定する。動き情報選択部１１０は、テクスチャ動き情報を変換して得られる動き情報と、動き情報設定部１０９で設定された動き情報のどちらか一方を選択する。動き情報符号化部１１１は、与えられた動き情報を符号化する。予測画像生成部１１２は、選択された動き情報に従って符号化対象デプスマップに対する予測画像を生成する。画像信号符号化部１１３は、生成された予測画像を用いて符号化対象デプスマップを予測符号化する。多重化部１１４は、動き情報のビットストリームと画像信号のビットストリームを多重化して出力する。参照フレームメモリ１１５は、予測画像の生成に用いられる既に符号化済みのデプスマップの復号フレームを記憶する。
次に、図２を参照して、図１に示す動画像符号化装置１００の動作を説明する。図２は、図１に示す動画像符号化装置１００の動作を示すフローチャートである。ここでは符号化対象デプスマップ動画像中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、符号化対象デプスマップ動画像の符号化を実現することができる。
まず、符号化対象デプスマップ入力部１０１は、符号化対象デプスマップを入力し、符号化対象デプスマップメモリ１０２に記憶する（ステップＳ１０１）。これと並行して、テクスチャ動き情報入力部１０３は、テクスチャフレームを符号化した際に用いられた動き情報を入力し、テクスチャ動き情報メモリ１０４に記憶する。また、テクスチャ参照フレームリスト入力部１０５は、テクスチャフレームを符号化した際に用いられた参照フレームリストであるテクスチャ参照フレームリストを入力する（ステップＳ１０２）。
なお、符号化対象デプスマップ動画像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ１１５に記憶されているものとする。また、既に符号化したフレームを復号したフレーム以外にも、復号側で利用可能なフレームであれば、どのようなフレームが参照フレームメモリ１１５に含まれていてもよい。例えば、多視点デプスマップ動画像を一緒に符号化する場合に、他の視点に対するデプスマップ動画像のフレームを復号したフレームや、他の視点に対するデプスマップ動画像のフレームを復号したものから合成したフレームを参照フレームメモリ１１５に含めるようにする実施は好適である。更に、対応する多視点動画像を一緒に符号化する場合に、多視点動画像に対してステレオマッチングを適用することで推定したデプスマップを参照フレームメモリ１１５に含めるようにする実施は好適である。
また、本実施形態では入力された符号化対象デプスマップが順次符号化されるものとしているが、入力順と符号化順は必ずしも一致している必要はない。入力順と符号化順が異なる場合は、次に符号化するフレームが入力されるまで、入力されたフレーム、テクスチャ動き情報、テクスチャ参照フレームリストは、適切なメモリに記憶される。記憶された情報は、以下で説明する符号化処理によって対応するフレームが符号化されたら、そのメモリから削除してもよい。
ここでは符号化対象デプスマップとテクスチャ動き情報がフレーム単位で入力されることとしているが、シーケンス単位で入力してもよい。その場合は、ステップＳ１０２において、フレーム毎のテクスチャ参照フレームリストを入力し、入力されたテクスチャ参照フレームリストを記憶するメモリが必要となる。また、反対に符号化対象デプスマップとテクスチャ動き情報を符号化処理単位ごとに入力するものとしてもよい。その場合は、入力されたものを逐次処理することになるため、符号化対象デプスマップメモリ１０２およびテクスチャ動き情報メモリ１０４は不要である。
符号化対象デプスマップ、テクスチャ動き情報が記憶され、テクスチャ参照フレームリストの入力が終了したら、参照フレームリスト設定部１０６は、符号化対象デプスマップを符号化する際に使用する参照フレームリストを設定する（ステップＳ１０３）。具体的には、参照フレームメモリ１１５に記憶されているフレームに対して、重複が無いように参照フレームインデックスを割り当てる。なお、参照フレームメモリ１１５に記憶されている全ての復号フレームに対して、必ずしも参照フレームインデックスを割り当てる必要はない。また、複数の参照フレームリストを作成する場合、参照フレームリスト毎に、重複が無いように参照フレームインデックスを割り当てる。
ここで、参照フレームリストの作成において、どのような方法を用いて、参照フレームインデックスを割り当ててもよい。最も単純な方法としては、符号化対象デプスマップと撮影時刻が近いものから順に、小さな参照フレームインデックスを割り当てる方法がある。また、効率的な符号化を実現するために、符号化対象デプスマップと相関の高いフレームに対して、小さな参照フレームインデックスを割り当てる実施も好適である。更に、フレーム全体の相関ではなく、符号化対象デプスマップのブロックごとに、相関の高いフレームを探し、より多くのブロックに対して相関が高いフレームに対して、小さな参照フレームインデックスを割り当ててもよい。ブロックごとに相関が高いフレームを決定する際に、画像信号の相違度と動きベクトルの符号量の重み付け和を相関の尺度に用いる方法もある。
なお、復号側で同じ参照フレームリストが設定されなければならないため、復号側で使用不可能な条件に従って参照フレームリストが設定された場合は、設定された参照フレームリストを同定するために必要な情報を符号化して復号装置へ伝送する必要がある。
参照フレームリストの設定が終了したら、変換テーブル生成部１０７は、テクスチャ参照フレームリストに対する参照フレームインデックスを、設定した参照フレームリストに対する参照フレームインデックスへと変換するための変換規則を生成する（ステップＳ１０４）。変換規則の表現方法にはどのような方法を用いてもよいが、本実施形態では変換規則をルックアップテーブルとして表現する例について説明する。まず、テクスチャ参照フレームリストのエントリ数と同じ数のエントリを持つルックアップテーブルＬＵＴを用意する。ＬＵＴに［］で囲まれた数字を与えることで、そのルックアップテーブルのエントリを参照するものとする。ここでは、参照フレームインデックスは０以上の整数であるとする。
次に、ＬＵＴ［ｉ］に対して、テクスチャ参照フレームリストの第ｉエントリに対するフレームと同じ性質を持つフレームの参照フレームリスト上のエントリ番号を割り当てる。ここで、同じ性質とは、時刻やカメラＩＤ、フレームの取得法（復号されたフレーム、合成されたフレーム、推定されたフレームなど）などが一致することである。具体的には、Ｈ．２６４では、復号順序を表すＰＯＣ（Picture Order Count）や、視点を表すｖｉｅｗ＿ｉｄによって、そのフレームの種類を示しており、フレームの種類が一致する場合に同じ性質のフレームとして判断する。なお、参照フレームリスト上に対応するフレームが存在しない場合、そのテクスチャ参照フレームリストの参照フレームインデックスｋに対するＬＵＴ［ｋ］には−１を割り当てることで、対応なしを表現するものとする。
ここでは、同じ性質のフレームを持つものを同定したが、そのテクスチャ参照フレームリストや参照フレームリストが使用されるフレームとの相対的な性質が同じフレームを見つけ対応関係を生成するようにしてもよい。すなわち、ＰＯＣが一致するものではなく、ＰＯＣ差分が一致するものを同定して対応関係を生成するようにしてもよい。
変換規則の生成が終了したら、符号化対象デプスマップを予め定められた大きさの領域に分割し、分割した領域ごとに、符号化対象デプスマップの動画像信号を符号化する（ステップＳ１０５〜Ｓ１１３）。すなわち、符号化対象領域インデックスをｂｌｋ、１フレーム中の総符号化対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ１０５）、その後、ｂｌｋに１を加算しながら（ステップＳ１１２）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１１３）、以下の処理（ステップＳ１０６〜ステップＳ１１１）を繰り返す。一般的な符号化では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ符号化対象デプスマップを分割するが、復号側と同じであればその他の大きさのブロックに符号化対象デプスマップを分割してもよい。
符号化対象領域ごとに繰り返される処理では、まず、動き情報変換部１０８は動き情報が共有可能か否かをチェックする（ステップＳ１０６）。具体的には、変換規則を参照して、符号化対象領域ｂｌｋに対するテクスチャ動き情報の参照フレームインデックスｔｅｘＲｅｆＩｄ［ｂｌｋ］が対応する符号化対象デプスマップに対する参照フレームインデックスが存在するか否かをチェックする。すなわち、ＬＵＴ［ｔｅｘＲｅｆＩｄ［ｂｌｋ］］が−１以外か否かをチェックする。
ＬＵＴ［ｔｅｘＲｅｆＩｄ［ｂｌｋ］］が−１以外の場合、動き情報が共有可能と判断され、動き情報変換部１０８はテクスチャ動き情報を変換し、符号化対象領域ｂｌｋに対する動き情報とする（ステップＳ１０７）。変換はテクスチャ参照フレームインデックスをＬＵＴによって変更し、対応領域を示すベクトル情報については変更を加えずそのままの値を維持することで行う。すなわち、符号化対象領域ｂｌｋに対する動き情報の参照フレームインデックスＲｅｆＩｄ［ｂｌｋ］をＬＵＴ［ｔｅｘＲｅｆＩｄ［ｂｌｋ］］とし、ベクトル情報Ｖｅｃ［ｂｌｋ］をテクスチャ動き情報に含まれる符号化対象領域ｂｌｋに対応するテクスチャベクトル情報ｔｅｘＶｅｃ［ｂｌｋ］に設定する。
ＬＵＴ［ｔｅｘＲｅｆＩｄ［ｂｌｋ］］が−１の場合、動き情報が共有不可能と判断し、動き情報設定部１０９は、符号化対象領域ｂｌｋに対する動き情報（ＲｅｆＩｄ［ｂｌｋ］およびＶｅｃ［ｂｌｋ］）を設定する（ステップＳ１０８）。ここで行われる処理にはどのようなものを用いてもよいが、一般的には、符号化対象領域ｂｌｋにおける画像信号と類似する画像信号を持つ参照フレーム上の領域を同定することで行う。また、画像信号の比較だけでなく、参照フレームインデックスやベクトル情報の符号化に必要となる符号量も鑑みて、画像信号の差異と発生符号量の重み付け和で表されるレート歪みコストを最小とする参照フレーム上の領域を同定するようにしてもよい。
動き情報が共有不可能な場合、動き情報符号化部１１１は、設定された動き情報を符号化する（ステップＳ１０９）。どのような符号化方法を用いてもよいが、一般的に予測符号化が用いられる。すなわち、時間または空間的に隣接する領域で使用された動き情報から、予測動き情報を生成し、その差分情報のみを符号化する。
動き情報の変換または符号化が終了したら、予測画像生成部１１２は、符号化対象領域ｂｌｋに対して得られた動き情報（ＲｅｆＩｄ［ｂｌｋ］およびＶｅｃ［ｂｌｋ］）に従って、参照フレームメモリ１１５に記憶されたフレームを参照することで、符号化対象領域ｂｌｋに対する予測画像を生成する（ステップＳ１１０）。基本的には、動き情報の参照フレームインデックスで示される参照フレームメモリ１１５上のフレームにおける、動き情報のベクトル情報で指定された領域の画像信号を複写することで予測画像は生成される。ただし、複写する際に画素補間や画素値の線形変換を行ってもよい。
予測画像の生成が終了したら、画像信号符号化部１１３は、生成された予測画像を用いて、符号化対象領域ｂｌｋの画像信号（デプス情報）を符号化する（ステップＳ１１１）。復号側で正しく復号可能であるならば、符号化にはどのような方法を用いてもかまわない。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化では、ブロックｂｌｋの画像信号と予測画像との差分信号に対して、ＤＣＴ（Discrete Cosine Transform）などの周波数変換、量子化、２値化、エントロピー符号化を順に施すことで符号化を行う。
このとき、生成された符号データによって復号側で得られる復号画像を生成し、その結果を参照フレームメモリ１１５に記憶する。ここでは、符号データを実際に復号して復号画像を得てもよいし、符号化時の処理がロスレスになる直前のデータと予測画像を使った、簡略化した復号処理によって復号画像を得てもよい。例えば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化を用いて符号データが生成された場合は、量子化処理を加えた後の値に対して、逆量子化、周波数逆変換を順に施して得られた２次元信号に対して予測画像を加え、得られた結果を画素値の値域でクリッピングを行うことで復号画像を生成してもよい。
最後に、多重化部１１４は、動き情報の符号データと、画像信号の符号データとを多重化して出力する。なお、動き情報の符号データは動き情報の共有が可能と判断された場合には存在しないため、多重化を行う必要はない。なお、ブロックごとに多重化してもよいし、フレーム単位で多重化してもかまわない。
なお、本実施形態では、全ての共有可能な動き情報を共有するものとしたが、共有可能な場合でも、共有するか否かを示すフラグを符号化するものとし、共有可能な動き情報の一部のみを共有する実施も好適である。この場合の処理動作を図３に示す。図３は、共有可能な動き情報の一部のみを共有する場合の処理動作を示すフローチャートである。図３において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図３に示す処理動作が図２に示す処理動作と異なる点は、まず、全ての符号化対象領域ｂｌｋに対して動き情報の推定処理（ステップＳ１０８ａ）が実行される点である。ここで設定された動き情報は符号化対象領域ｂｌｋに対する動き情報の候補であって、必ずしも符号化対象領域ｂｌｋで使われるものではない点が、図２に示す処理動作と異なる。
次の違いは、動き情報の共有が可能な場合に、テクスチャ動き情報を変換した後に、ステップＳ１０７で変換して得られた動き情報か、ステップＳ１０８ａで設定された動き情報のどちらを使用するかを選択し、選択結果を示すフラグを符号化する処理（ステップＳ１１４）が実行され、その選択に従って動き情報を符号化するか否かの選択（ステップＳ１１５）が行われる点である。
このように領域ごとに共有するか否かを決定する場合においても、この処理動作によって、全ての符号化対象領域ｂｌｋに対してフラグを符号化せず、動き情報が共有可能な領域に対してのみフラグを符号化すれば良くなるため、発生符号量を削減し、効率的な符号化を実現することができる。
また、本実施形態では、共有可能な動き情報が符号化対象領域ごとに１種類しか存在しないとした。しかし、例えば、符号化対象領域と空間的または時間的に隣接する既に符号化済みの領域で使用された動き情報との共有も可能にするといった、複数種類の動き情報から１つの動き情報を選択して共有を行う場合も考えられる。この場合、共有する候補となる動き情報のリストを生成し、そのリスト上のインデックスを符号化することになるが、そのリストを作成する際に、共有する候補となる動き情報が共有可能か否かを判定し（ステップＳ１０６相当）、共有可能な場合にのみ共有する候補となる動き情報を候補リストに追加し、共有不可能であれば候補リストから共有する候補となる動き情報を除外する。これによって候補リストのサイズを小さくすることができ、そのリスト上のインデックスの符号化にかかる符号量を削減することが可能である。
ここで、変換規則は変換前の動き情報に対する参照フレームリストと、符号化対象領域が使用する参照フレームリストとに従って決定されるため、参照フレームリストが異なる動き情報ごとに変換規則を生成する必要がある。また、２つの参照フレームリストの構成が同一の場合は、変換規則は必要なく、変換処理および共有可否の判定処理を行う必要はない。そのため、多くの符号化方式では空間的に隣接する領域では、同一の参照フレームリストを使用するため変換は必要なく、全ての動き情報が共有候補として候補リストに追加されることになる。
また、本実施形態では、テクスチャ参照フレームリストと参照フレームリストとを構造が全く異なるものとして設定可能としているが、基本的には同一の構造を用い、参照フレームリストのサイズのみを小さく設定する場合もある。その場合、変換規則を生成する必要はなく、テクスチャ動き情報の参照フレームインデックスが設定された参照フレームリストのサイズよりも大きな場合は、動き情報を共有不可能と判定し、そうでない場合は、動き情報を共有可能として判定してもよい。このとき、動き情報を変換する必要がないため、共有可能な場合は、テクスチャ動き情報がそのまま予測画像の生成に使用されることになる。
次に、動画像復号装置について説明する。図４は、本発明の実施形態による動画像復号装置の構成を示すブロック図である。動画像復号装置２００は、図４に示すように、復号対象ビットストリーム入力部２０１、復号対象ビットストリームメモリ２０２、テクスチャ動き情報入力部２０３、テクスチャ動き情報メモリ２０４、テクスチャ参照フレームリスト入力部２０５、参照フレームリスト設定部２０６、変換テーブル生成部２０７、動き情報変換部２０８、分離部２０９、動き情報復号部２１０、動き情報選択部２１１、予測画像生成部２１２、画像信号復号部２１３、および参照フレームメモリ２１４を備えている。
復号対象ビットストリーム入力部２０１は、復号対象となるデプスマップ動画像のビットストリームを入力する。以下の説明においては、復号されるデプスマップ動画像のことを復号対象デプスマップ動画像と呼び、特に処理によって復号されるフレームを復号対象デプスマップと呼ぶ。復号対象ビットストリームメモリ２０２は入力された復号対象ビットストリームを記憶する。テクスチャ動き情報入力部２０３は、復号対象デプスマップに対応する動画像のフレームにおける動き情報を入力する。ここでは復号対象デプスマップ動画像に対応する動画像をテクスチャ動画像と呼び、復号対象デプスマップに対応する動画像の１フレームをテクスチャフレームと呼ぶ。また、動き情報はテクスチャ動画像を符号化したビットストリームを復号する際に使用されたものであり、画素またはブロックごとに参照フレームインデックスと動きベクトルとの組を用いて表現されたものである。テクスチャ動き情報メモリ２０４は、入力されたテクスチャ動き情報を記憶する。テクスチャ参照フレームリスト入力部２０５は、テクスチャフレームを復号する際に使用した参照フレームリストを入力する。
参照フレームリスト設定部２０６は、復号対象デプスマップを復号するに当たって、使用する参照フレームリストを設定する。変換テーブル生成部２０７は、テクスチャ参照フレームリストに対する参照フレームインデックスを、参照フレームリストに対する参照フレームインデックスへと変換するためのルックアップテーブルを生成する。動き情報変換部２０８は、生成されたルックアップテーブルに従って、テクスチャ動き情報における参照フレームインデックスを変換する。
分離部２０９は、入力されたビットストリームで多重化されている動き情報の符号データと画像信号の符号データとを分離する。動き情報復号部２１０は、動き情報の符号データから、復号対象デプスマップに対する一部の動き情報を復号する。動き情報選択部２１１は、テクスチャ動き情報を変換して得られる動き情報と、動き情報復号部２１０で復号された動き情報のどちらか一方を選択する。
予測画像生成部２１２は、選択された動き情報に従って復号対象デプスマップに対する予測画像を生成する。画像信号復号部２１３は、生成された予測画像を用いて、画像信号に対する符号データを復号して、復号デプスマップを生成する。参照フレームメモリ２１４は、予測画像の生成に用いられる既に復号済みのデプスマップを記憶する。
次に、図５を参照して、図４に示す動画像復号装置２００の動作を説明する。図５は、図４に示す動画像復号装置２００の動作を示すフローチャートである。ここでは復号対象デプスマップ動画像中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、デプスマップ動画像の復号を実現することができる。
まず、復号対象ビットストリーム入力部２０１は復号対象デプスマップ動画像の符号データを入力し、復号対象ビットストリームメモリ２０２に記憶する（ステップＳ２０１）。次に、テクスチャ動き情報入力部２０３は、テクスチャフレームを復号した際に用いられた動き情報を入力し、テクスチャ動き情報メモリ２０４に記憶する。これと並行して、テクスチャ参照フレームリスト入力部２０５は、テクスチャフレームを復号した際に用いられた参照フレームリストであるテクスチャ参照フレームリストを入力する（ステップＳ２０２）。
なお、復号対象デプスマップ動画像中の幾つかのフレームは既に復号されているものとし、その復号されたフレームが参照フレームメモリ２１４に記憶されているものとする。また、復号したフレーム以外にも、符号化側で利用可能なフレームであれば、どのようなフレームが参照フレームメモリ２１４に含まれていてもよい。ただし、符号化側と同じフレームが記憶されている必要がある。例えば、多視点デプスマップ動画像を復号する場合に、他の視点に対するデプスマップ動画像を復号して得られるフレームや、他の視点に対するデプスマップ動画像を復号して得られるフレームを用いて、復号対象デプスマップ動画像に対する視点のデプスマップを合成したフレームを参照フレームメモリ２１４に含める実施は好適である。更に、対応する多視点動画像を復号して得られた多視点動画像を用いたステレオマッチングによって、推定されたデプスマップを参照フレームメモリ２１４に含める実施も好適である。
また、ここでは入力されたビットストリームから復号対象デプスマップを順次復号して出力するとしているが、入力順と出力順は必ずしも一致している必要はない。入力順と出力順が異なる場合は、次に出力するフレームが復号されるまで、復号されたフレームは参照フレームメモリ２１４に記憶される。そして、参照フレームメモリ２１４に記憶されたフレームは、別途規定された出力順になったら動画像復号装置２００から出力される。なお、参照フレームメモリ２１４からフレームが削除されるタイミングは、予測に用いる参照構造によって決定され、それ以降の復号対象デプスマップを復号する際に、参照フレームとして使用されないことが決定した時点か、それより後の任意のタイミングとなる。
ここでは、復号対象ビットストリームとテクスチャ動き情報がフレーム単位で入力されることとしているが、いずれか一方または両方をシーケンス単位で入力してもよい。その場合は、ステップＳ２０２において、フレーム毎のテクスチャ参照フレームリストを入力し、入力されたテクスチャ参照フレームリストを記憶するメモリが必要となる。また、復号対象ビットストリームとテクスチャ動き情報のいずれか一方または両方を、復号処理単位ごとに入力するものとしてもよい。その場合は、入力されたものを逐次処理することになるため、復号対象ビットストリームメモリ２０２およびテクスチャ動き情報メモリ２０４は不要である。
復号対象ビットストリームとテクスチャ動き情報が記憶され、テクスチャ参照フレームリストの入力が終了したら、参照フレームリスト設定部２０６は、復号対象デプスマップを復号する際に使用する参照フレームリストを設定する（ステップＳ２０３）。具体的には、参照フレームメモリ２１４に記憶されているフレームに対して、重複が無いように参照フレームインデックスを割り当てる。なお、参照フレームメモリ２１４に記憶されている全てのフレームに対して、必ずしも参照フレームインデックスを割り当てる必要はない。また、複数の参照フレームリストを作成する場合、参照フレームリスト毎に、重複が無いように参照フレームインデックスを割り当てる。ここで作成される参照フレームリストは符号化時に使用されたものと同じものである必要がある。すなわち、別途定められた同一のルールに従って参照フレームリストを作成するか、符号化時に使用された参照フレームリストを同定するための情報が別途与えられ、それに従って設定を行う。この符号化時に使用された参照フレームリストを同定するための情報がビットストリームに含まれている場合は、それを復号することで情報を得る。
参照フレームリストの設定が終了したら、変換テーブル生成部２０７は、テクスチャ参照フレームリストに対する参照フレームインデックスを、設定した参照フレームリストに対する参照フレームインデックスへと変換するための変換規則を生成する（ステップＳ２０４）。ここでの処理は前述したステップＳ１０４と同じである。
変換規則の生成が終了したら、復号対象デプスマップを予め定められた大きさの領域に分割し、分割した領域ごとに、復号対象デプスマップの動画像信号を復号する（ステップＳ２０５〜Ｓ２１２）。すなわち、復号対象領域インデックスをｂｌｋ、１フレーム中の総復号対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ２０５）、その後、ｂｌｋに１を加算しながら（ステップＳ２１１）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ２１２）、以下の処理（ステップＳ２０６〜ステップＳ２１０）を繰り返す。処理領域のサイズは符号化側で使用されたものと同じ大きさとなる。一般的な符号化では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックが使用されるが、符号化側と同じであればその他の大きさのブロックごとに処理を行う。
復号対象領域ごとに繰り返される処理において、まず、動き情報変換部２０８は動き情報が共有可能か否かをチェックする（ステップＳ２０６）。ここでの処理は前述したステップＳ１０６と同じである。動き情報が共有可能な場合、動き情報変換部２０８はテクスチャ動き情報を変換し、復号対象領域ｂｌｋに対する動き情報とする（ステップＳ２０７）。ここでの処理は前述したステップＳ１０７と同じである。
動き情報が共有不可能な場合、分離部２０９は復号対象ビットストリームから、復号対象領域ｂｌｋに対する動き情報の符号データを分離し、その符号データを動き情報復号部２１０で復号することにより、復号対象領域ｂｌｋに対する動き情報を得る（ステップＳ２０８）。なお、分離された符号データから動き情報を復号する方法は符号化方法に応じて決定される。一般的には、動き情報は予測符号化されているため、時間または空間的に隣接する領域で使用された動き情報から、予測動き情報を生成し、その予測動き情報に対して、符号データを復号して得られる差分動き情報を加えることで、動き情報を復号する。また、復号対象ビットストリームから復号対象領域ｂｌｋに対する動き情報を復号できるのであれば、必ずしも復号対象ビットストリームから復号対象領域ｂｌｋに対する動き情報の符号データを分離する必要はない。
動き情報の変換または復号が終了したら、予測画像生成部２１２は、復号対象領域ｂｌｋに対して得られた動き情報に従って、参照フレームメモリ２１４に記憶されたフレームを参照することで、復号対象領域ｂｌｋに対する予測画像を生成する（ステップＳ２０９）。ここでの処理は前述したステップＳ１１０と同じである。
予測画像の生成が終了したら、分離部２０９は復号対象ビットストリームから、復号対象領域ｂｌｋに対する画像信号（デプス情報）の符号データを分離し、画像信号復号部２１３で、生成された予測画像を用いて、その符号データから、復号対象領域ｂｌｋの画像信号（デプス情報）を復号する（ステップＳ２１０）。復号結果は動画像復号装置２００の出力となるとともに、参照フレームメモリ２１４に記憶する。復号処理は符号化時に用いた手法に対応する手法を用いる。例えば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化が用いられている場合は、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴ（Inverse Discrete Cosine Transform）などの周波数逆変換を順に施し、得られた２次元信号に対して予測画像を加え、最後に、得られた結果を画素値の値域でクリッピングを行うことで画像信号を復号する。
なお、前述の説明では、全ての共有可能な動き情報を共有するものとしたが、共有可能な場合でも、共有するか否かを示すフラグが符号化されており、そのフラグに従って、共有可能な動き情報の一部のみを共有する実施も好適である。この場合の処理動作を図６に示す。図６は、共有可能な動き情報の一部のみを共有する場合の処理動作を示すフローチャートである。図６において、図５に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図６に示す処理動作が図５に示す処理動作と異なる点は、次の通りである。動き情報が共有可能であった場合（ステップＳ２０６がＹＥＳ）、まず、動き情報を共有するか否かを示したフラグを復号し（ステップＳ２１３）、そのフラグが動き情報を共有することを示しているかをチェックする（ステップＳ２１４）。そして、フラグが動き情報を共有することを示している場合は、動き情報変換部２０８でテクスチャ動き情報を変換し、復号対象領域ｂｌｋに対する動き情報とし（ステップＳ２０７）、そうでない場合は、符号データを動き情報復号部２１０で復号することにより、復号対象領域ｂｌｋに対する動き情報を得る（ステップＳ２０８）。
このように領域ごとに共有するか否かが決定されている場合においても、全ての符号化対象領域ｂｌｋに対してフラグが符号化されておらず、動き情報が共有可能な領域に対してのみフラグが符号化されているとして復号すれば良くなるため、フラグに対する符号量を削減し、効率的な符号化を実現することができる。
また、ここでは、共有可能な動き情報が復号対象領域ごとに１種類しか存在しないとした。しかし、例えば、復号対象領域と空間的または時間的に隣接する既に復号済みの領域で使用された動き情報との共有も可能にするといった、複数種類の動き情報から１つの動き情報を選択して共有を行う場合も考えられる。この場合、共有する候補となる動き情報のリストを生成し、そのリスト上のインデックスをビットストリームから復号することになるが、そのリストを作成する際に、共有する候補となる動き情報が共有可能か否かを判定し（ステップＳ２０６相当）、共有可能な場合にのみ共有する候補となる動き情報を候補リストに追加し、共有不可能であれば候補リストから共有する候補となる動き情報を除外する。これによって候補リストのサイズを小さくすることができ、そのリスト上のインデックスを少ない符号量で指定することが可能である。
ここで、変換規則は変換前の動き情報に対する参照フレームリストと、復号対象領域が使用する参照フレームリストとに従って決定されるため、参照フレームリストが異なる動き情報ごとに変換規則を生成する必要がある。また、２つの参照フレームリストの構成が同一の場合は、変換規則は必要なく、変換処理および共有可否の判定処理を行う必要はない。そのため、多くの符号化方式では空間的に隣接する領域では、同一の参照フレームリストを使用するため変換は必要なく、全ての動き情報が共有候補として候補リストに追加されることになる。
また、テクスチャ参照フレームリストと参照フレームリストとを構造が全く異なるものとして設定可能としているが、基本的には同一の構造を用い、参照フレームリストのサイズのみを小さく設定する場合もある。その場合、変換規則を生成する必要はなく、テクスチャ動き情報の参照フレームインデックスが設定された参照フレームリストのサイズよりも大きな場合は、動き情報を共有不可能と判定し、そうでない場合は、動き情報を共有可能として判定してもよい。このとき、動き情報を変換する必要がないため、共有可能な場合は、テクスチャ動き情報がそのまま予測画像の生成に使用されることになる。
以上のように、符号化対象のデプスマップに対する動画像を符号化した際の動き情報が復号側でも得られる場合、動き情報によって示される参照フレームの有無に従って、動き情報を再利用するか否かを決定し、動き情報を流用する場合は、参照構造を考慮して変換した動き情報を用いて予測画像を生成する。これによって、デプスマップの符号化時に動画像の符号化時とは異なる参照構造を用いた符号化を行うことが可能となり、動画像とは性質の異なるデプスマップの時間相関を利用した効率的な符号化を実現できる。また、動き情報を再利用するか否かを、参照フレームの有無によって判定することによって、その情報を示すための符号量を削減することが可能となる。
前述した説明においては、１つの視点に対する動画像を符号化／復号する処理を説明したが、複数のカメラで撮影された多視点画像や多視点動画像を符号化／復号する処理にも本発明の実施形態を適用可能である。また前述した説明においては、フレーム全体を符号化／復号する処理として説明したが、フレームの一部分のみに本発明の実施形態の処理を適用することも可能である。この場合、処理を適用するか否かを判断して、それを示すフラグを符号化／復号してもよいし、なんらか別の手段でそれを指定してもよい。
なお、図１に示す動画像符号化装置１００及び図４に示す動画像復号装置２００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより動画像符号化処理及び動画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
図７に、動画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは、プログラムを実行するＣＰＵ（Central Processing Unit）７０と、ＣＰＵ７０がアクセスするプログラムやデータが記憶されるＲＡＭ等のメモリ７１と、カメラ等からの符号化対象となるデプスマップの信号を入力する符号化対象デプスマップ入力部７２（ディスク装置等によるデプスマップの動画像信号を記憶する記憶部でもよい）と、例えばネットワークを介して符号化対象デプスマップに対する動画像の動き情報を入力するテクスチャ動き情報入力部７３（ディスク装置等による動き情報を記憶する記憶部でもよい）と、図２や図３に示す処理をＣＰＵ７０に実行させるソフトウェアプログラムである動画像符号化プログラム７４１が記憶されたプログラム記憶装置７４と、ＣＰＵ７０がメモリ７１にロードされた動画像符号化プログラム７４１を実行することにより生成されたビットストリームを、例えばネットワークを介して出力するビットストリーム出力部７５（ディスク装置等によるビットストリームを記憶する記憶部でもよい）とが、バスで接続された構成になっている。図示は省略するが、他に、参照フレームリスト入力部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、動画像信号符号データ記憶部、動き情報符号データ記憶部などが用いられることもある。
図８に、動画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは、プログラムを実行するＣＰＵ８０と、ＣＰＵ８０がアクセスするプログラムやデータが記憶されるＲＡＭ等のメモリ８１と、動画像符号化装置が本手法により符号化したビットストリームを入力するビットストリーム入力部８２（ディスク装置等によるビットストリームを記憶する記憶部でもよい）と、例えばネットワークを介して復号対象のデプスマップに対する動画像の動き情報を入力するテクスチャ動き情報入力部８３（ディスク装置等による動き情報を記憶する記憶部でもよい）と、図５や図６に示す処理をＣＰＵ８０に実行させるソフトウェアプログラムである動画像復号プログラム８４１が記憶されたプログラム記憶装置８４と、ＣＰＵ８０がメモリ８１にロードされた動画像復号プログラム８４１を実行することにより、ビットストリームを復号して得られた復号デプスマップを、再生装置などに出力する復号デプスマップ出力部８５とが、バスで接続された構成になっている。図示は省略するが、他に、参照フレームリスト入力部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、動画像信号符号データ記憶部、動き情報符号データ記憶部が用いられることもある。
以上説明したように、動画像とデプスマップ動画像を予測符号化する際に用いる動き情報を共有化し、この動き情報を適応的に用いて予測画像を生成することで、符号化効率を高めることができる。
以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
動画像とデプスマップ動画像を構成要素に持つ自由視点動画像の符号化において、効率的な動画像符号化を実現することが不可欠な用途に適用できる。
１０１・・・符号化対象デプスマップ入力部、１０２・・・符号化対象デプスマップメモリ、１０３・・・テクスチャ動き情報入力部、１０４・・・テクスチャ動き情報メモリ、１０５・・・テクスチャ参照フレームリスト入力部、１０６・・・参照フレームリスト設定部、１０７・・・変換テーブル生成部、１０８・・・動き情報変換部、１０９・・・動き情報設定部、１１０・・・動き情報選択部、１１１・・・動き情報符号化部、１１２・・・予測画像生成部、１１３・・・画像信号符号化部、１１４・・・多重化部、１１５・・・参照フレームメモリ、２０１・・・復号対象ビットストリーム入力部、２０２・・・復号対象ビットストリームメモリ、２０３・・・テクスチャ動き情報入力部、２０４・・・テクスチャ動き情報メモリ、２０５・・・テクスチャ参照フレームリスト入力部、２０６・・・参照フレームリスト設定部、２０７・・・変換テーブル生成部、２０８・・・動き情報変換部、２０９・・・分離部、２１０・・・動き情報復号部、２１１・・・動き情報選択部、２１２・・・予測画像生成部、２１３・・・画像信号復号部、２１４・・・参照フレームメモリ

Claims (32)

  1. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像符号化方法。
  2. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像符号化方法。
  3. 前記テクスチャ動画像を符号化する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、
    前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの前記性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、
    前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、
    前記デプスマップ動き情報設定ステップは、前記テクスチャ動き情報によって示されるフレームと同じ前記性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記変換動き情報を前記デプスマップ動き情報として設定する
    請求項２に記載の動画像符号化方法。
  4. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像符号化方法。
  5. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像符号化方法。
  6. 前記テクスチャ動画像を符号化する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、
    前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の前記参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が、変換後の前記参照フレームインデックスによって示される前記参照フレームリスト内のフレームの前記性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、
    前記テクスチャ動き情報に含まれる前記参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、
    前記共有動き情報リスト生成ステップは、前記テクスチャ動き情報によって示されるフレームと同じ前記性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記変換動き情報を含んだ前記共有動き情報リストを生成する
    請求項５に記載の動画像符号化方法。
  7. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像復号方法。
  8. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像復号方法。
  9. 前記テクスチャ動画像を復号する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、
    前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの前記性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、
    前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、
    前記デプスマップ動き情報設定ステップは、前記テクスチャ動き情報によって示されるフレームと同じ前記性質を持つフレームが、前記参照フレームリストに含まれる場合には、前記変換動き情報を前記デプスマップ動き情報として設定する
    請求項８に記載の動画像復号方法。
  10. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像復号方法。
  11. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像復号方法。
  12. 前記テクスチャ動画像を復号する際に用いた参照フレームリストを、テクスチャ参照フレームリストとして設定するテクスチャ参照フレームリスト設定ステップと、
    前記テクスチャ参照フレームリストに対する参照フレームインデックスを、前記参照フレームリストに対する参照フレームインデックスへと変換する変換テーブルを生成する変換テーブル生成ステップであって、変換前の参照フレームインデックスによって示される前記テクスチャ参照フレームリスト内のフレームの時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が、変換後の参照フレームインデックスによって示される前記参照フレームリスト内のフレームの前記性質と等しくなるように前記変換テーブルを設定する変換テーブル生成ステップと、
    前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値を、前記変換テーブルによって変換して、変換動き情報を生成する動き情報変換ステップとをさらに有し、
    前記共有動き情報リスト生成ステップは、前記テクスチャ動き情報によって示されるフレームと同じ前記性質を持つフレームが、前記参照フレームリストに含まれる場合に、前記変換動き情報を含んだ前記共有動き情報リストを生成する
    請求項１１に記載の動画像復号方法。
  13. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を有する動画像符号化装置。
  14. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を備える動画像符号化装置。
  15. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号する動画像復号装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を備える動画像復号装置。
  16. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号する動画像復号装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を備える動画像復号装置。
  17. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像符号化方法。
  18. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成ステップと、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像符号化方法。
  19. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像復号方法。
  20. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号方法であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定ステップと、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定ステップと、
    前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成ステップであって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成ステップと、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定ステップと、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成ステップと
    を有する動画像復号方法。
  21. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を有する動画像符号化装置。
  22. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化する動画像符号化装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を備える動画像符号化装置。
  23. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号する動画像復号装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合には、前記テクスチャ動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を備える動画像復号装置。
  24. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号する動画像復号装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値と前記参照フレームリストのサイズを比較し、前記テクスチャ動き情報に含まれる参照フレームを指定するインデックス値が、前記参照フレームリストのサイズよりも小さい場合に、前記テクスチャ動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を備える動画像復号装置。
  25. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を備える動画像符号化装置。
  26. デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を符号化した際の動き情報を使用しながら、前記処理領域ごとに予測符号化を行う動画像符号化装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを生成するデプスマップ参照フレームリスト生成部と、
    前記処理領域に対応する前記テクスチャ動画像を符号化した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対して時間的または空間的に隣接する領域を符号化する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を備える動画像符号化装置。
  27. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップを予測しながら復号を行う動画像復号装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対応する前記参照フレーム上の領域を示すデプスマップ動き情報を設定するデプスマップ動き情報設定部であって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合には、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を前記デプスマップ動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を備える動画像復号装置。
  28. デプスマップ動画像の符号データを復号する際に、前記デプスマップ動画像を構成する各フレームを予め定められた大きさの処理領域に分割し、前記デプスマップ動画像に対応するテクスチャ動画像を復号した際の動き情報を使用しながら、前記処理領域ごとにデプスマップの信号を予測しながら復号を行う動画像復号装置であって、
    予測画像を生成する際に参照する参照フレームのリストである参照フレームリストを設定するデプスマップ参照フレームリスト設定部と、
    前記処理領域に対応する前記テクスチャ動画像を復号した際に使用された動き情報をテクスチャ動き情報として設定するテクスチャ動き情報設定部と、
    前記処理領域に対して時間的または空間的に隣接する領域を復号する際に使用した動き情報をリスト化した共有動き情報リストを生成する共有動き情報リスト生成部であって、前記テクスチャ動き情報によって示されるフレームと、時刻、カメラＩＤ、フレームの取得法の少なくとも１つを表す性質が同じであるフレームが、前記参照フレームリストに含まれる場合に、前記テクスチャ動き情報の参照フレームインデックスを前記同じ性質を持つフレームを示すインデックスに変更した動き情報を含んだ前記共有動き情報リストを生成する共有動き情報リスト生成部と、
    前記共有動き情報リストに含まれる前記動き情報から１つを選択して、前記選択された動き情報を前記処理領域に対する動き情報として設定するデプスマップ動き情報設定部と、
    前記設定されたデプスマップ動き情報に従って、前記処理領域に対する前記予測画像を生成する予測画像生成部と
    を備える動画像復号装置。
  29. コンピュータに、請求項１から請求項６及び請求項１７、請求項１８のいずれか１項に記載の動画像符号化方法を実行させるための動画像符号化プログラム。
  30. コンピュータに、請求項７から請求項１２及び請求項１９、請求項２０のいずれか１項に記載の動画像復号方法を実行させるための動画像復号プログラム。
  31. 請求項２９に記載の動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
  32. 請求項３０に記載の動画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2014524809A 2012-07-09 2013-07-09 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 Active JP5876933B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014524809A JP5876933B2 (ja) 2012-07-09 2013-07-09 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012154066 2012-07-09
JP2012154066 2012-07-09
PCT/JP2013/068698 WO2014010573A1 (ja) 2012-07-09 2013-07-09 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体
JP2014524809A JP5876933B2 (ja) 2012-07-09 2013-07-09 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP5876933B2 true JP5876933B2 (ja) 2016-03-02
JPWO2014010573A1 JPWO2014010573A1 (ja) 2016-06-23

Family

ID=49916025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014524809A Active JP5876933B2 (ja) 2012-07-09 2013-07-09 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US20150172694A1 (ja)
JP (1) JP5876933B2 (ja)
KR (1) KR20150020593A (ja)
CN (1) CN104509114A (ja)
WO (1) WO2014010573A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10165300B2 (en) * 2016-10-28 2018-12-25 Blackberry Limited 3D transform and inter prediction for video coding
CN113963164A (zh) * 2021-11-15 2022-01-21 湖南大学 一种基于分组邻域强度差异编码的纹理特征提取方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0911447A2 (pt) * 2008-04-25 2018-03-20 Thomson Licensing codificação de sinal de profundidade
EP2269378A2 (en) * 2008-04-25 2011-01-05 Thomson Licensing Multi-view video coding with disparity estimation based on depth information
KR101260613B1 (ko) * 2008-12-26 2013-05-03 닛뽕빅터 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램
CN101986716B (zh) * 2010-11-05 2012-07-04 宁波大学 一种快速深度视频编码方法
WO2012070500A1 (ja) * 2010-11-22 2012-05-31 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013050387; Ｃｈｒｉｓｔｉａｎ　Ｂａｒｔｎｉｋ　ｅｔ　ａｌ: ＨＥＶＣ　Ｅｘｔｅｎｓｉｏｎ　ｆｏｒ　Ｍｕｌｔｉｖｉｅｗ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　ａｎｄ　Ｍｕｌｔｉｖｉｅｗ　Ｖｉｄｅｏ　ｐｌｕｓ　Ｄｅｐｔｈ　Ｃｏｄｉｎｇ , 20120203, Ｓｅｃｔｉｏｎ　３．３，　３．３．４, ＩＴＵ　-　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ　Ｓｅｃｔｏｒ　ＳＴ *

Also Published As

Publication number Publication date
CN104509114A (zh) 2015-04-08
WO2014010573A1 (ja) 2014-01-16
US20150172694A1 (en) 2015-06-18
JPWO2014010573A1 (ja) 2016-06-23
KR20150020593A (ko) 2015-02-26

Similar Documents

Publication Publication Date Title
JP5281624B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP5805849B2 (ja) ビデオコード化における動きベクトル予測
KR100919885B1 (ko) 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치
JP5844883B2 (ja) 適応的フィルタリングを用いる映像の符号化方法及び装置、その復号化方法及び装置
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP5357199B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP5281623B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
RU2627302C1 (ru) Способ и устройство для определения набора опорных картинок изображения
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
WO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP5876933B2 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体
JP5729825B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR20090040028A (ko) 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP6690944B2 (ja) 視差動きベクトルの導出、そのような導出を使用した３ｄビデオコーディングおよびデコーディング
JP5711636B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
JP5759357B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JPWO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160122

R150 Certificate of patent or registration of utility model

Ref document number: 5876933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150