本発明によるインター予測方法は、復号ピクチャーバッファ(Decoded Picture Buffer;DPB)に保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行う段階と、前記インター予測によって生成される前記現在映像の残差データ及び動きベクトルを定める段階と、前記ロング・ターム参照映像のPOC(Picture Order Count)情報をMSB(Most Significant Bits)情報とLSB(Least Significant Bits)情報とに分割し、前記ロング・ターム参照映像を示すロング・ターム参照インデックスとして前記LSB情報を定める段階と、を含む。
一実施形態による前記LSB情報決定段階は、スライスヘッダに、現在スライスのインター予測のために用いられたロング・ターム参照映像のPOC情報のLSB情報を、前記ロング・ターム参照インデックスとして挿入する段階を含む。
一実施形態による前記LSB情報決定段階は、前記現在映像のPOC情報と前記ロング・ターム参照映像のPOC情報との差情報をMSB情報及びLSB情報で分割して、前記差情報のLSB情報を前記ロング・ターム参照インデックスとして定める段階を含む。
一実施形態による前記インター予測方法は、前記復号ピクチャーバッファに保存されたショート・ターム参照映像を用いて前記現在映像に対するインター予測を行う段階と、前記ショート・ターム参照映像を示すショート・ターム参照インデックスとして、前記ショート・ターム参照映像のPOC情報のLSB情報を定める段階と、を含む。
一実施形態による前記残差データ及び動きベクトル決定段階は、前記現在映像のブロック別に行われたインター予測結果によって、前記ブロック別に前記残差データ及び前記動きベクトルを定める段階を含む。
本発明の一実施形態による動き補償方法は、符号化された映像データ、動きベクトル及びロング・ターム参照インデックスを受信する段階と、前記符号化された映像データを復号化して現在映像の残差データを復元する段階と、前記ロング・ターム参照インデックスから前記現在映像のロング・ターム参照映像のPOC情報のLSB情報を読み取り、前記ロング・ターム参照映像のMSB情報及び前記LSB情報を用いて前記POC情報を定める段階と、復号ピクチャーバッファに保存された参照映像のうち前記定められたPOC情報に対応する前記ロング・ターム参照映像に基づいて、前記動きベクトル及び前記残差データを用いた動き補償を行って前記現在映像を復元する段階と、を含む。
一実施形態による前記POC情報決定段階は、前記現在映像のための複数のロング・ターム参照映像のうち、第1ロング・ターム参照映像のPOC情報のMSB情報から第2ロング・ターム参照映像のPOC情報のMSB情報を予測する段階と、前記受信されたロング・ターム参照インデックスから読み取られた第2ロング・ターム参照映像のPOC情報のLSB情報と、前記第2ロング・ターム参照映像のPOC情報のMSB情報とを合成して、前記第2ロング・ターム参照映像のPOC情報を復元する段階と、を含む。
一実施形態による前記POC情報決定段階は、前記ロング・ターム参照映像のPOC情報のMSB情報と前記LSB情報とを合成して、前記現在映像のPOC情報と前記ロング・ターム参照映像のPOC番号との差情報を復元する段階と、前記現在映像のPOC情報に前記復元された差情報ほど減算または加算することで前記ロング・ターム参照映像のPOC番号を定める段階と、を含む。
一実施形態による前記受信段階は、スライスヘッダから、現在スライスの動き補償のためのロング・ターム参照映像を示す前記ロング・ターム参照インデックスをパージングする段階を含む。
一実施形態による前記動き補償方法は、前記現在映像のインター予測のためのショート・ターム参照インデックスを受信する段階と、前記ショート・ターム参照インデックスから、前記現在映像のインター予測のためのショート・ターム参照映像のPOC情報のLSB情報を読み取る段階と、前記読み取られたショート・ターム参照映像のLSB情報及び、以前ショート・ターム参照映像のMSB情報を用いて前記ショート・ターム参照映像のPOC情報を定める段階と、前記復号ピクチャーバッファに保存された参照映像のうち、前記定められたPOC情報に対応する前記ショート・ターム参照映像を用いて前記現在映像に対する動き補償を行う段階と、をさらに含む。
一実施形態による前記受信段階は、前記現在映像のブロック別に符号化された映像データを受信する段階を含み、前記残差データの復元段階は、前記ブロック別に前記残差データ及び前記動きベクトルを復元する段階を含み、前記現在映像の復元段階は、前記ブロック別に前記残差データ及び前記動きベクトルを用いる動き補償を行うことで前記現在映像を復元する段階を含む。
本発明の一実施形態によるインター予測装置は、復号ピクチャーバッファに保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行うインター予測部と、前記ロング・ターム参照映像のPOC情報をMSB情報とLSB情報とに分割し、前記ロング・ターム参照映像を示すロング・ターム参照インデックスとして前記LSB情報を出力し、前記インター予測によって生成される前記現在映像の残差データ及び動きベクトルを出力する出力部と、を備える。
本発明の一実施形態による動き補償装置は、符号化された映像データ、動きベクトル及びロング・ターム参照インデックスを受信する受信部と、前記符号化された映像データを復号化して現在映像の残差データを復元し、前記ロング・ターム参照インデックスから前記現在映像のロング・ターム参照映像のPOC情報のLSB情報を読み取り、前記ロング・ターム参照映像のMSB情報及び前記LSB情報を用いて前記POC情報を定め、復号ピクチャーバッファに保存された参照映像のうち前記定められたPOC情報に対応する前記ロング・ターム参照映像に基づいて、前記動きベクトル及び前記残差データを用いた動き補償を行って前記現在映像を復元する動き補償部と、を備える。
本発明は、一実施形態による動き補償方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
本発明の一実施形態によるビデオ符号化装置は、映像のインター予測のための参照映像を保存する復号ピクチャーバッファと、前記復号ピクチャーバッファに保存されたロング・ターム参照映像を用いて、現在映像に対するインター予測を行って残差データを生成するインター予測部と、前記残差データに対して変換及び量子化を行って量子化された変換係数を生成する変換量子化部と、前記ロング・ターム参照映像のPOC情報をMSB情報とLSB情報とに分割し、前記ロング・ターム参照映像を示すロング・ターム参照インデックスとして前記LSB情報を定め、前記量子化された変換係数及び動きベクトルを含むシンボルに対してエントロピー符号化を行うエントロピー符号化部と、を備える。
本発明の一実施形態によるビデオ復号化装置は、ビデオストリームを受信し、前記受信されたビデオストリームに対してエントロピー復号化を行って符号化された映像データ、動きベクトル及びロング・ターム参照インデックスをパージングする受信部と、前記符号化された映像データに対して逆量子化及び逆変換を行って残差データを復元する逆量子化逆変換部と、動き補償のための参照映像を保存する復号ピクチャーバッファと、前記符号化された映像データを復号化して現在映像の残差データを復元し、前記ロング・ターム参照インデックスから前記現在映像のロング・ターム参照映像のPOC情報のLSB情報を読み取り、前記ロング・ターム参照映像のMSB情報及び前記LSB情報を用いて前記POC情報を定め、前記復号ピクチャーバッファに保存された参照映像のうち前記定められたPOC情報に対応する前記ロング・ターム参照映像に基づいて、前記動きベクトル及び前記残差データを用いた動き補償を行う動き補償部と、前記動き補償を通じて生成された復元映像に対してデブロッキングフィルタリングを行うインループ(in−loop)フィルタリング部と、を備える。
以下、図1Aないし図3を参照して、一実施形態によってロング・ターム参照映像を用いるインター予測方法及びインター予測装置と、動き補償方法及び動き補償装置とが開示される。また、図4及び図5を参照して、一実施形態によるインター予測を行うビデオ符号化装置と、動き補償を行うビデオ復号化装置とが開示される。また、図6ないし図18を参照して、一実施形態によるツリー構造の符号化単位に基づいて、一実施形態によるインター予測を伴うビデオ符号化技法及びビデオ復号化技法が開示される。以下、‘映像’は、ビデオの静止画または動画、すなわち、ビデオそのものを示す。
先ず、図1Aないし図3を参照して、一実施形態によってロング・ターム参照映像を用いるインター予測方法及びインター予測装置が開示される。また、図4及び図5を参照して一実施形態によるインター予測を伴うビデオ符号化方法及びビデオ復号化方法が開示される。
図1Aは、一実施形態によるインター予測装置10のブロック図である。一実施形態によるインター予測装置10は、インター予測部12及び出力部14を備える。
インター予測は、現在映像と他の映像との類似性を用いる。現在映像より先に復元された参照映像のうち、現在映像の現在領域と類似した参照領域が検出される。現在領域と参照領域との間の座標上の距離が動きベクトルで表現され、現在領域と参照領域との間のピクセル値の差が残差データで表現される。したがって、現在領域に対するインター予測によって、現在領域の映像情報を直接出力する代りに、参照映像を示すインデックス、動きベクトル及び残差データが出力される。
一実施形態によるインター予測装置10は、ビデオのそれぞれの映像のブロック別にインター予測を行える。ブロックのタイプは、正方形または長方形であり、任意の幾何学的形態であってもよい。一定のサイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位のうち、最大符号化単位、符号化単位、予測単位、変換単位などである。ツリー構造による符号化単位に基づいたビデオ符復号化方式は、図6ないし図18を参照して後述する。
現在映像のインター予測のために用いられる参照映像は、現在映像より先に復号化された映像でなければならない。一実施形態によるインター予測のための参照映像は、ショート・ターム参照映像とロング・ターム参照映像とに分類される。復号ピクチャーバッファは、以前映像の動き補償によって生成された復元映像を保存している。先に生成された復元映像は、他の映像のインター予測のための参照映像として用いられる。したがって、復号ピクチャーバッファに保存された復元映像のうち、現在映像のインター予測のための少なくとも一つのショート・ターム参照映像または少なくとも一つのロング・ターム参照映像が選択される。ショート・ターム参照映像は、復号化手順によって現在映像の直前または最近に復号化された映像である一方、ロング・ターム参照映像は、現在映像よりはるかに前に復号化されたが、他の映像のインター予測のための参照映像に使われるために選択されて復号ピクチャーバッファに保存された映像である。
復号ピクチャーバッファに保存された復元映像のうち、ショート・ターム参照映像とロング・ターム参照映像とは互いに区別されて選択される。ロング・ターム参照映像は、複数の映像のインター予測のために参照される映像であり、復号ピクチャーバッファに長期間保存された映像である。一方、現在映像及び次の映像のインター予測がそれぞれ行われつつ毎映像ごとに必要なショート・ターム参照映像は更新されるので、復号ピクチャーバッファにおいてもショート・ターム参照映像は頻繁に更新される。したがって、復号ピクチャーバッファに新たなショート・ターム参照映像が保存される場合、既に保存されていたショート・ターム参照映像のうち最も長く保存された映像から順次に削除される。
一実施形態によるインター予測部12は、復号ピクチャーバッファに保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行える。
一実施形態による出力部14は、インター予測部12のインター予測によって生成される現在映像の残差データ及び動きベクトルを出力する。
一実施形態による出力部14は、ロング・ターム参照映像を示すロング・ターム参照インデックスとして、ロング・ターム参照映像のPOC(Picture Order Count)情報のLSB(Least Significant Bits)情報を定める。一実施形態による出力部14は、ロング・ターム参照映像のPOC情報をMSB情報とLSB情報とに分割し、LSB情報のみをロング・ターム参照映像を示すロング・ターム参照インデックスとして出力する。
一実施形態によるインター予測部12は、スライスごとにロング・ターム参照映像を定める。よって、出力部14は、スライスヘッダにロング・ターム参照インデックスとして、現在スライスのインター予測のために用いられたロング・ターム参照映像のPOC情報のLSB情報を挿入する。スライスヘッダに現在スライスのブロックのための参照映像のPOC情報のLSB情報が挿入されて伝送される。
ロング・ターム参照映像は、スライスごとに定められ、インター予測は、スライス内のブロック別に行われる。すなわち、一実施形態によるインター予測部12は、ロング・ターム参照映像を参照して、現在スライスのブロックごとにインター予測を行える。よって、現在スライスのブロック別にロング・ターム参照映像のうち参照ブロックを定め、ブロック別に参照ブロックに対比して動きベクトル及び残差データが定められる。これによって出力部14は、現在スライスのブロック別に動きベクトル及び残差データを出力する。
他の実施形態による出力部14は、ロング・ターム参照映像のPOCと現在映像のPOC情報との差情報をMSB情報及びLSB情報に分割し、前記差情報のLSB情報をロング・ターム参照インデックスとして出力することもできる。
一実施形態によってインター予測部12が、ショート・ターム参照映像を参照して現在映像に対するインター予測を行う場合がある。この場合に出力部14は、ショート・ターム参照映像を示すショート・ターム参照インデックスとして、ショート・ターム参照映像のPOC情報のMSB情報及びLSB情報からLSB情報のみを出力する。
一実施形態によるインター予測装置10は、インター予測部12及び出力部14を総括的に制御する中央プロセッサ(図示せず)を備える。または、インター予測部12及び出力部14がそれぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が互いに有機的に作動することでインター予測装置10が全体的に作動することもある。または、一実施形態によるインター予測装置10の外部プロセッサ(図示せず)の制御によって、インター予測部12及び出力部14が制御されるることもある。
一実施形態によるインター予測装置10は、インター予測部12及び出力部14の入出力データが保存される一つ以上のデータ保存部(図示せず)を備える。インター予測装置10は、データ保存部(図示せず)のデータ入出力を担当するメモリ制御部(図示せず)を備えてもよい。
図1Bは、一実施形態によるインター予測方法のフローチャートである。
段階13で、インター予測装置10は、復号ピクチャーバッファに保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行える。段階15で、インター予測装置10は、インター予測によって現在映像の残差データ及び動きベクトルを定める。段階17で、インター予測装置10は、ロング・ターム参照映像のPOC情報をMSB情報とLSB情報とに分割し、ロング・ターム参照映像のPOC情報のLSB情報をロング・ターム参照インデックスとして定める。
段階13、15、17を通じて、インター予測装置10がロング・ターム参照映像を用いて現在映像に対してインター予測を行った結果として、現在映像の残差データ及び動きベクトルを出力し、現在映像のロング・ターム参照映像を示すための情報として、ロング・ターム参照映像のPOC情報のLSB情報を出力する。
図2Aは、一実施形態による動き補償装置20のブロック図である。一実施形態による動き補償装置20は、受信部22及び動き補償部24を備える。一実施形態による受信部22は、符号化された映像データ、動きベクトル及びロング・ターム参照インデックスを受信する。
インター予測の結果、現在映像と参照映像との間の動きベクトル及び残差データが生成される。参照映像、残差データ及び動きベクトルを用いて現在映像を復元する過程が動き補償である。一実施形態による動き補償部24は、受信部22を通じて受信した現在映像の残差データ及び動きベクトルを用いて動き補償を行うことで現在映像を復元する。
一実施形態による動き補償部24は、符号化された映像データを復号化して現在映像の残差データを復元する。符号化された映像データが量子化された変換係数である場合に、動き補償部24は、符号化された映像データに対して逆量子化及び逆変換を行って現在映像の残差データを復元し、残差データに対して動き補償を行える。
具体的に説明すれば、動き補償部24は、映像のブロック別に動き補償を行える。ブロックのタイプは、正方形または長方形であり、任意の幾何学的形態であるか、またはツリー構造の符号化単位、予測単位でありうる。図1Aを参照して前述したように、一定のサイズのデータ単位に制限されるものではない。
これによって受信部22は、現在映像のブロック別に符号化された映像データを受信し、動き補償部24は、ブロック別に残差データ及び動きベクトルを復元し、ブロック別に残差データ及び動きベクトルを用いる動き補償を行える。映像内のすべてのブロックに対する動き補償を行うことで現在映像が復元される。
一実施形態による動き補償部24は、ロング・ターム参照インデックスから現在映像のロング・ターム参照映像のPOC情報のLSB情報を読み取れる。動き補償部24は、ロング・ターム参照映像のPOC情報のMSB情報と、ロング・ターム参照インデックスから読み取られたLSB情報とを合成してロング・ターム参照映像のPOC情報を定める。
一実施形態による動き補償部24は、復号ピクチャーバッファに保存された参照映像から前記定められたロング・ターム参照映像のPOC情報に対応するロング・ターム参照映像を定める。動き補償部24は、定められたロング・ターム参照映像に基づいて、動きベクトル及び残差データを用いて現在映像に対する動き補償を行える。動き補償によって現在映像が復元される。
一実施形態による動き補償部24は、復号ピクチャーバッファに保存された現在映像のための複数のロング・ターム参照映像のうち、第1ロング・ターム参照映像のMSB情報から第2ロング・ターム参照映像のMSB情報を予測する。
例えば、動き補償部24は、第2ロング・ターム参照映像のPOC情報のLSB情報と、第1ロング・ターム参照映像のPOC情報のLSB情報とを比較して、第2ロング・ターム参照映像のPOC情報のMSB情報が既定の第1ロング・ターム参照映像のPOC情報のMSB情報に比べて増加したか、減少したか、または同一かを定める。これによって、第1ロング・ターム参照映像のPOC情報のMSB情報から、第2ロング・ターム参照映像のPOC情報のMSB情報が予測される。動き補償部24は、受信されたロング・ターム参照インデックスから読み取られた第2ロング・ターム参照映像のPOC情報のLSB情報と、前記予測された第2ロング・ターム参照映像のPOC情報のMSB情報とを合成して、第2ロング・ターム参照映像のPOC情報を復元する。
他の例として、動き補償部24は、現在映像のためのロング・ターム参照インデックスとして、現在ロング・ターム参照映像のPOC情報のLSB情報と、現在ロング・ターム参照映像のPOC情報のMSB情報とをいずれも受信することもある。この場合に動き補償部24は、受信されたロング・ターム参照インデックスから読み取られたロング・ターム参照映像のPOC情報のLSB情報とMSB情報とを合成してロング・ターム参照映像のPOC情報を復元する。
一実施形態による動き補償部24は、ロング・ターム参照インデックスから現在映像とロング・ターム参照映像のPOC情報との差情報のLSB情報を読み取れる。この場合、動き補償部24は、MSB情報とLSB情報とを合成して現在映像のPOC情報とロング・ターム参照映像のPOC番号との差情報を復元する。動き補償部24は、現在映像のPOC情報に復元された差情報を減算または加算することでロング・ターム参照映像のPOC番号を定める。
一実施形態による受信部22は、スライスヘッダから現在スライスのロング・ターム参照インデックスをパージングする。スライスヘッダから現在スライスのブロックのための参照映像のPOC情報のLSB情報がパージングされる。
他の例として、受信部22は、現在映像のインター予測のためのショート・ターム参照インデックスを受信することもある。ショート・ターム参照インデックスから現在映像のインター予測のためのショート・ターム参照映像のPOC情報のLSB情報が読み取られる。動き補償部24は、読み取られたショート・ターム参照映像のLSB情報及び以前ショート・ターム参照映像のMSB情報を用いてショート・ターム参照映像のPOC情報を定める。動き補償部24は、復号ピクチャーバッファに保存された参照映像のうち前記定められたPOC情報に対応するショート・ターム参照映像を用いて、現在映像に対する動き補償を行える。
図2Bは、一実施形態による動き補償方法のフローチャートである。段階21で、動き補償装置20は、符号化された映像データ、動きベクトル及びロング・ターム参照インデックスを受信する。段階23で、動き補償装置20は、符号化された映像データを復号化して現在映像の残差データを復元する。段階25で、動き補償装置20は、ロング・ターム参照インデックスから現在映像のロング・ターム参照映像のPOC情報のLSB情報を読み取り、ロング・ターム参照映像のPOC情報のMSB情報及びLSB情報を用いてロング・ターム参照映像のPOC情報を定める。段階27で、動き補償装置20は、復号ピクチャーに保存された参照映像のうち、段階25で定められたPOC情報に対応するロング・ターム参照映像に基づいて、動きベクトル及び残差データを用いて動き補償を行うことで現在映像を復元する。
すなわち、動き補償装置20は、復号ピクチャーバッファに保存された復元映像のから段階25で定められたPOC情報に対応するロング・ターム参照映像を選択し、選択されたロング・ターム参照映像のうち動きベクトルが示す参照領域を定める。定められた参照領域に残差データを合成して現在領域を定める動き補償を行える。動き補償装置20は、現在映像のブロック別に動き補償を行った結果、現在映像を復元する。
図1A及び図1Bを参照して前述したインター予測装置10及び、図2A及び図2Bを参照して前述した動き補償装置20によれば、映像のインター予測のために用いられる参照映像のうちロング・ターム参照映像を示す参照インデックスとして、ロング・ターム参照映像のPOC情報のLSB情報を利用する。ロング・ターム参照映像を識別するためにロング・ターム参照映像のみのための別個の映像番号を用いる必要なく、映像のPOC情報を用いてロング・ターム参照映像を示す。よって、ロング・ターム参照映像のみのための別個の映像番号を保存するための保存空間が節約される。また、ロング・ターム参照映像を示すインデックスの範囲を無限大まで拡張できる。
図3は、一実施形態によるロング・ターム参照映像のPOC情報のLSB情報及びMSB情報を示す。
一実施形態によるインター予測装置10及び一実施形態による動き補償装置20は、ロング・ターム参照映像を示すためにインデックスロング・ターム参照映像のPOC情報を用いる。また、POC情報は、MSB情報とLSB情報とに分割される。LSB情報の最大サイズは予め設定される。図3でLSB情報の範囲は0〜15であるので、LSB情報の最大サイズは16、すなわち、4ビットに設定されている。
POC情報をLSB情報の最大サイズで割れば、商はMSB情報として、残りはLSB情報として定められる。
したがって、POC情報が0、1、2、…、13、14、15まに増加する間にPOC情報のMSB情報はいずれも0であり、LSB情報は0、1、2、…、13、14、15に増加する。またPOC情報が16、17、18、…、30、31まに増加する間にPOC情報のMSB情報はいずれも1であり、LSB情報は0、1、2、…、13、14、15に増加する。またPOC情報が32、33、34、…、47まに増加する間にPOC情報のMSB情報はいずれも2であり、LSB情報は0、1、2、…、15に増加する。またPOC情報が48ならば、POC情報のMSB情報は3であり、LSB情報は0である。
図3でMSB情報0、1、2、3はいずれも16進数であり、それぞれ10進数で0、16、32、48を意味する。
POC情報が15から16に、31から32に、または47から48に増加する時、LSB情報は15から0に戻る。すなわち、LSB情報が順次に増加している途中で最大サイズの倍数に増加する度に、LSB情報は最大値から最小値に戻るラップアラウンド現象が発生する。
POC情報のMSB情報が既に確認された場合にさらにLSB情報さえ定められるならば、MSB情報とLSB情報とを結合してPOC情報が定められる。
したがって、一実施形態によるインター予測装置10は、ロング・ターム参照映像を示す参照インデックスを出力するために、ロング・ターム参照映像のPOC情報のLSB情報のみを出力する。一実施形態による動き補償装置20は、インター予測装置10から受信された参照インデックスからロング・ターム参照映像のPOC情報のLSB情報を読み取り、予め獲得したMSB情報にLSB情報を結合することでロング・ターム参照映像のPOC情報を復元する。
他の実施形態によるロング・ターム参照インデックスは、現在映像のPOC情報とロング・ターム参照映像のPOC情報との差情報のLSB情報を示す。この場合に動き補償装置20は、ロング・ターム参照インデックスから、現在映像のPOC情報とロング・ターム参照映像のPOC情報との差情報のLSB情報(DeltaPOCLtM1Lsb)を読み取れる。動き補償装置20は、既定の現在映像のPOC情報とロング・ターム参照映像のPOC情報との差情報のMSB情報(DeltaPOCLtM1Msb)と、読み取られたLSB情報(DeltaPOCLtM1Lsb)とを結合して、現在映像のPOC情報とロング・ターム参照映像のPOC情報との差情報(DeltaPOCLtM1)を定める(DeltaPOCLtM1=DeltaPOCLtM1Msb+DeltaPOCLtM1Lsb)。また、現在映像のPOC情報(PicOrderCnt)から前記定められた差情報(DeltaPOCLtM1)を減算すれば、現在映像のロング・ターム参照映像のPOC情報(RefPicSetLtCurr)が定められる(RefPicSetLtCurr=PicOrderCnt−DeltaPOCLtM1)。
一実施形態による動き補償装置20が、インター予測装置10からロング・ターム参照映像のPOC情報のMSB情報を受信する場合がある。この場合に動き補償装置20は、受信したロング・ターム参照映像のPOC情報のMSB情報とLSB情報とを結合してロング・ターム参照映像のPOC情報を復元する。
他の例として、動き補償装置20は、複数のロング・ターム参照映像のうち、既定の以前ロング・ターム参照映像のPOC情報のMSB情報に基づいて現在ロング・ターム参照映像のPOC情報のMSB情報を定める。例えば、現在ロング・ターム参照映像のPOC情報のMSB情報(POCLtM1Msb)は、i)以前ロング・ターム参照映像のPOC情報のMSB情報(prevPOCLtM1Msb)よりLSB情報の最大サイズ(MaxPOCLtLsb)ほど増加するか、ii)以前ロング・ターム参照映像のPOC情報のMSB情報(prevPOCLtM1Msb)よりLSB情報の最大サイズ(MaxPOCLtLsb)ほど減少するか、iii)以前ロング・ターム参照映像のPOC情報のMSB情報(prevPOCLtM1Msb)と同一に定められる。
例えば、動き補償装置20は、以前ロング・ターム参照映像のPOC情報のLSB情報と、現在ロング・ターム参照映像のPOC情報のLSB情報とを比較して、現在ロング・ターム参照映像のPOC情報のMSB情報が、以前ロング・ターム参照映像のPOC情報のMSB情報に比べて増減させるか、または同一に維持するかを定める。
第1の条件によれば、現在ロング・ターム参照映像のPOC情報のLSB情報(prevPOCLtLsbM1)が以前ロング・ターム参照映像のPOC情報のLSB情報(prevPOCLtLsbM1)より小さく、現在ロング・ターム参照映像と以前ロング・ターム参照映像のPOC情報のLSB情報との距離がLSB情報の最大サイズの半分((MaxPOCLtLsb/2)より大きいか、または小さな場合がある。第1の条件が満たされる場合に、現在ロング・ターム参照映像のPOC情報のMSB情報(POCLtM1Msb)は、以前ロング・ターム参照映像のPOC情報のMSB情報(prevPOCLtM1Msb)よりLSB情報の最大サイズ(MaxPOCLtLsb)ほど増加する。
[第1の条件による関係式]
if((POCLtM1Lsb<prevPOCLtM1Lsb)&&
((prevPOCLtM1Lsb−POCLtM1Lsb)>=(MaxPOCLtLsb/2)))
POCLtM1Msb=prevPOCLtM1Msb+MaxPOCLtLsb
すなわち、第1の条件では、以前ロング・ターム参照映像のPOC情報から現在ロング・ターム参照映像のPOC情報に増加する方向にLSB情報のラップアラウンド現象が発生したと判断され、現在ロング・ターム参照映像のPOC情報のMSB情報が相対的に増加する。
第2の条件によれば、現在ロング・ターム参照映像のPOC情報のLSB情報(prevPOCLtLsbM1)が以前ロング・ターム参照映像のPOC情報のLSB情報(prevPOCLtLsbM1)より大きく、現在ロング・ターム参照映像と以前ロング・ターム参照映像のPOC情報のLSB情報との距離がLSB情報の最大サイズの半分(MaxPOCLtLsb/2)より大きいか、または小さい。第2の条件が満たされる場合に、現在ロング・ターム参照映像のPOC情報のMSB情報(POCLtM1Msb)は、以前ロング・ターム参照映像のPOC情報のMSB情報(prevPOCLtM1Msb)よりLSB情報の最大サイズ(MaxPOCLtLsb)ほど減少する。
[第2の条件による関係式]
if((POCLtM1Lsb>prevPOCLtM1Lsb)&&
((prevPOCLtM1Lsb−POCLtM1Lsb)>=(MaxPOCLtLsb/2)))
POCLtM1Msb=prevPOCLtM1Msb−MaxPOCLtLsb
すなわち、第2の条件では、以前ロング・ターム参照映像のPOC情報から現在ロング・ターム参照映像のPOC情報に減少する方向にLSB情報のラップアラウンド現象が発生したと判断され、現在ロング・ターム参照映像のPOC情報のMSB情報が相対的に減少する。
第3の条件は、第1の条件と第2の条件以外の場合である。第3の条件に該当する場合に、現在ロング・ターム参照映像のPOC情報のMSB情報(POCLtM1Msb)は、以前ロング・ターム参照映像のPOC情報のMSB情報(prevPOCLtM1Msb)と同様に維持される。
[第3の条件による関係式]
POCLtM1Msb=prevPOCLtM1Msb
第1、第2、第3の条件をいずれも考慮して定められた現在ロング・ターム参照映像のPOC情報のMSB情報(POCLtM1Msb)が定められ、ロング・ターム参照インデックスから読み取られた現在ロング・ターム参照映像のPOC情報のLSB情報(POCLtM1Lsb)に、前記定められたMSB情報(POCLtM1Msb)を結合することで、現在ロング・ターム参照映像のPOC情報(POCLtM1)が定められる(POCLtM1=POCLtM1Msb+POCLtM1Lsb)。
前述された現在映像とロング・ターム参照映像のPOC情報との差情報のLSB情報がロング・ターム参照インデックスとして用いられる実施形態でも、現在映像と既定の以前ロング・ターム参照映像のPOC情報との差情報のLSB情報に基づいて、現在映像と現在ロング・ターム参照映像のPOC情報との差情報のLSB情報が増加するか、減少するか、または同一に維持されるかが定められる。
図4は、一実施形態によるインター予測を行うビデオ符号化装置40のブロック図である。
一実施形態によるビデオ符号化装置40は、復号ピクチャーバッファ42、インター予測部44、変換量子化部46及びエントロピー符号化部48を備える。
一実施形態による復号ピクチャーバッファ42は、先に復元された映像を保存している。復号ピクチャーバッファ42に保存された復元映像のうち映像のインター予測のための参照映像が定められる。一実施形態によるインター予測部44は、復号ピクチャーバッファ420に保存された復元映像から選択されたロング・ターム参照映像を用いて、現在映像に対するインター予測を行って残差データを生成する。インター予測部44は、一実施形態による前述したインター予測装置10と同じ動作を行える。
一実施形態による変換量子化部46は、インター予測部44で生成された残差データに対して変換及び量子化を行い、量子化された変換係数を生成する。一実施形態によるエントロピー符号化部48は、量子化された変換係数及び動きベクトルを含むシンボルに対してエントロピー符号化を行える。
したがって、ビデオ符号化装置40は、ビデオの映像に対してブロック別にインター予測を行い、インター予測によって生成されたブロック別残差データに対して変換及び量子化を行ってブロック別量子化された変換係数を生成し、量子化された変換係数に対してエントロピー符号化を行い、ビットストリームを出力することでビデオを符号化する。
一実施形態によるエントロピー符号化部48は、量子化された変換係数と共にインター予測によって定められた動きベクトルを出力する。したがって、量子化された変換係数及び動きベクトルを含むシンボルに対してエントロピー符号化が行われる。
またインター予測部44で定められたロング・ターム参照インデックスも、シンボルとして出力される。ロング・ターム参照インデックスは、ロング・ターム参照映像のPOC情報のLSB情報である。したがって、エントロピー符号化部48は、量子化された変換係数、動きベクトルとロング・ターム参照インデックスを含むシンボルに対してエントロピー符号化を行える。エントロピー符号化部48は、エントロピー符号化によって生成されたビットストリームを出力する。
また、ビデオ符号化装置40は、他の映像のインター予測のための参照映像を生成するために、復号ピクチャーバッファに保存された以前復元映像を参照して現在映像の残差データ及び動きベクトルを用いる動き補償を行い、現在映像の復元映像を生成する。よって、ビデオ符号化装置40は、動き補償のために動き補償装置20の動作を行える。
すなわち、ビデオ符号化装置40も、動き補償のためのロング・ターム参照映像を選択するために、一実施形態によるロング・ターム参照インデックスからPOC情報のLSB情報を読み取り、読み取られたLSB情報を用いてロング・ターム参照映像のPOC情報を復元する。ビデオ符号化装置40は、復号ピクチャーバッファに保存された復元映像から、復元されたPOC情報に対応するロング・ターム参照映像を選択し、選択されたロング・ターム参照映像に基づいて現在映像の残差データ及び動きベクトルを用いる動き補償を行える。
一実施形態によるビデオ符号化装置40は、ビデオ符号化結果を出力するために、ビデオ符号化装置40の内部に搭載されたビデオエンコードプロセッサまたは外部ビデオエンコードプロセッサと連係して作動することで、イントラ予測、インター予測、変換、量子化を含むビデオ符号化動作を行える。一実施形態によるビデオ符号化装置40が別個の内部ビデオエンコードプロセッサを備える場合だけではなく、ビデオ符号化装置40またはビデオ符号化装置40を制御する中央演算装置またはグラフィック演算装置がビデオエンコードプロセッシングモジュールを備える場合にも、一実施形態によるビデオ符号化動作が具現される。
図5は、一実施形態による動き補償を行うビデオ復号化装置50のブロック図である。一実施形態によるビデオ復号化装置50は、受信部52、逆量子化逆変換部54、復号ピクチャーバッファ56、動き補償部58及びインループ・フィルタリング部59を備える。
一実施形態による受信部52は、ビデオストリームを受信し、受信されたビデオストリームに対してエントロピー復号化を行い、符号化された映像データをパージングする。
一実施形態による逆量子化逆変換部54は、受信部52でパージングされた符号化された映像データに対して逆量子化及び逆変換を行い、残差データを復元する。
一実施形態による受信部52は、ビデオストリームから動きベクトルをパージングする。一実施形態による復号ピクチャーバッファ56は、先に復元された映像を保存し、復元映像は、他の映像の動き補償のための参照映像として用いられる。一実施形態による動き補償部58は、復号ピクチャーバッファに保存された参照映像に基づいて、動きベクトル及び残差データを用いた動き補償を行える。
インループ・フィルタリング部59は、動き補償部58によって復元され、出力された復元映像に対してデブロッキングフィルタリングを行える。インループ・フィルタリング部59は、最終復元映像を出力する。また、インループ・フィルタリング部59の出力映像は復号ピクチャーバッファ56に保存され、次の映像の動き補償のための参照映像として用いられる。
一実施形態によるビデオ復号化装置50は、ビデオの映像ごとにブロック別に復号化を行ってビデオを復元する。受信部52は、ブロック別に符号化されたデータ及び動きベクトルをパージングし、逆量子化逆変換部54は、ブロックごとに逆量子化及び逆変換を行ってブロック別に残差データを復元する。動き補償部58は、ブロックごとに参照映像のうち動きベクトルが示す参照ブロックを定め、参照ブロックに残差データを合成することで復元ブロックが生成される。
一実施形態による受信部52は、ビデオストリームからロング・ターム参照インデックスをパージングする。動き補償部58は、前述した動き補償装置20と同じ動作を行える。動き補償部58は、ロング・ターム参照インデックスから現在映像のロング・ターム参照映像のPOC情報のLSB情報を読み取り、ロング・ターム参照映像のMSB情報及びLSB情報を用いてロング・ターム参照映像のPOC情報を定める。動き補償部58は、復号ピクチャーバッファ59に保存された復元映像のうち定められたPOC情報に対応するロング・ターム参照映像に基づいて、動きベクトル及び残差データを用いた動き補償を行える。すなわち、動き補償部58は、ロング・ターム参照映像のうち動きベクトルが示す参照ブロックを定め、参照ブロックと残差データとを合成して現在ブロックを復元する。
一実施形態によるビデオ復号化装置50は、ビデオ復号化結果を出力するためにビデオ復号化装置50の内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連係して作動することで、逆量子化、逆変換、イントラ予測、動き補償を含むビデオ復号化動作を行える。一実施形態によるビデオ復号化装置50が別個の内部ビデオデコーディングプロセッサを備える場合だけではなく、ビデオ復号化装置50またはビデオ復号化装置50を制御する中央演算装置またはグラフィック演算装置がビデオデコーディングプロセッシングモジュールを備える場合にも、一実施形態によるビデオ復号化動作が具現される。
一実施形態によるインター予測装置10で、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対するインター予測のための予測単位が用いられる場合があるということは、前述した通りである。以下、図6ないし18を参照して、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置が開示される。
図6は、本発明の一実施形態によるツリー構造による符号化単位に基づいたビデオ符号化装置100のブロック図である。
一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、最大符号化単位分割部110、符号化単位決定部120及び出力部130を備える。以下、説明の便宜のために、一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、‘ビデオ符号化装置100’と略称する。
最大符号化単位分割部110は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切る。現在ピクチャーが最大符号化単位より大きければ、現在ピクチャーの映像データは、少なくとも一つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ32×32、64×64、128×128、256×256などのデータ単位であり、横及び縦のサイズが2の自乗である正方形のデータ単位である。映像データは、少なくとも一つの最大符号化単位別に符号化単位決定部120に出力される。
一実施形態による符号化単位は、最大サイズ及び深度に特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度と、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは減少するため、上位深度の符号化単位は、複数の下位深度の符号化単位を含む。
前述したように符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるため、最大符号化単位に含まれた空間領域の映像データが深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが、予め設定されている。
符号化単位決定部120は、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化し、少なくとも一つの分割領域別に最終符号化結果が出力される深度を定める。すなわち、符号化単位決定部120は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最も小さな符号化誤差が発生する深度を選択して符号化深度として定める。定められた符号化深度及び最大符号化単位別映像データは、出力部130に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも一つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも一つの符号化深度が定められる。
最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の数は増加する。また、一つの最大符号化単位に含まれる同一深度の符号化単位であっても、それぞれのデータに対する符号化誤差を測定して下位深度への分割如何が定められる。よって、一つの最大符号化単位に含まれるデータであっても、位置によって深度別符号化誤差が異なるため、位置によって符号化深度が異なって定められる。よって、一つの最大符号化単位に対して符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区切られる。
したがって、一実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位が定められる。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度と定められた深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域に対しては深度によって階層的に定められ、他の領域に対しては独立して定められる。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立して定められる。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に関する指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を示す。例えば、最大符号化単位の深度が0であれば、最大符号化単位が1回分割された符号化単位の深度は1と設定され、2回分割された符号化単位の深度が2と設定される。この場合、最大符号化単位から4回分割された符号化単位が最小符号化単位ならば、深度0ないし4の深度レベルが存在するので、第1最大深度は4、第2最大深度は5と設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。
最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるすべての深度別符号化単位に対して予測符号化及び変換を含む符号化が行われねばならない。以下、説明の便宜のために少なくとも一つの最大符号化単位のうち現在深度の符号化単位に基づいて予測符号化及び変換を説明する。
一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択できる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、すべての段階にわたって同じデータ単位が使われても、段階別にデータ単位が変更されてもよい。
例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために符号化単位と異なるデータ単位を選択する。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、これ以上分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、これ以上分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同じサイズのパーティションである。
例えば、サイズ2N×2N(但し、Nは、正の定数)の符号化単位がこれ以上分割されない場合、サイズ2N×2Nの予測単位になり、パーティションのサイズは、2N×2N、2N×N、N×2N、N×Nなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションだけではなく、1:nまたはn:1のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含む。
予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインタモードは、2N×2N、2N×N、N×2N、N×Nサイズのパーティションに対して行われる。また、スキップモードは、2N×2Nサイズのパーティションに対してのみ行われる。符号化単位以内の一つの予測単位ごとに独立して符号化が行われ、符号化誤差の最も小さな予測モードが選択される。
また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの変換を行える。符号化単位の変換のためには、符号化単位より小さいか、または同じサイズ変換単位に基づいて変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインタモードのための変換単位を含む。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さなサイズの変換単位に分割されつつ、符号化単位の残差データが変換深度によって、ツリー構造による変換単位によって区切られる。
一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2N×2Nの現在符号化単位の変換単位のサイズが2N×2Nならば、変換深度0、変換単位のサイズがN×Nならば、変換深度1、変換単位のサイズがN/2×N/2ならば、変換深度2に設定される。すなわち、変換単位に対しても、変換深度によってツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけではなく予測関連情報及び変換関連情報が必要である。よって、符号化単位決定部120は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションで分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを定める。
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位/パーティション、及び変換単位の決定方式については、図8ないし図18を参照して詳細に後述する。
符号化単位決定部120は、深度別符号化単位の符号化誤差をラグランジュ乗数(Lagrangian Multiplier)基盤の率−歪曲最適化技法を用いて測定できる。
出力部130は、符号化単位決定部120で定められた少なくとも一つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに関する情報を、ビットストリーム形態に出力する。
符号化された映像データは、映像の残差データの符号化結果である。
深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。
符号化深度情報は、現在深度に符号化せずに下位深度の符号化単位に符号化するかどうかを示す深度別分割情報を用いて定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位に符号化されるため、現在深度の分割情報はこれ以上下位深度に分割されないように定義される。逆に、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を用いた符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復して符号化が行われ、同一深度の符号化単位ごとに再帰的符号化が行われる。
一つの最大符号化単位内にツリー構造の符号化単位が定められ、符号化深度の符号化単位ごとに少なくとも一つの符号化モードに関する情報が定められねばならないので、一つの最大符号化単位については、少なくとも一つの符号化モードに関する情報が定められる。また、最大符号化単位のデータは、深度によって階層的に区切られて位置別に符号化深度が異なるので、データについて符号化深度及び符号化モードに関する情報が設定される。
したがって、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、該符号化深度及び符号化モードに関する符号化情報を割り当てる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるすべての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形のデータ単位である。
例えば、出力部130を通じて出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インタモードの推定方向に関する情報、インタモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。
ピクチャー、スライスまたはGOP別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどに挿入される。
また、現在ビデオに対して許容される変換単位の最大サイズに関する情報及び変換単位の最小サイズに関する情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどを通じて出力される。出力部130は、図1Aないし図6を参照して前述した予測に関する参照情報、予測情報、単一方向予測情報、第4スライスタイプを含むスライスタイプ情報などを符号化して出力する。
ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分したサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが2N×2Nならば、下位深度の符号化単位のサイズはN×Nである。また、2N×2Nサイズの現在符号化単位は、N×Nサイズの下位深度符号化単位を最大4個含む。
したがって、ビデオ符号化装置100は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を定めてツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに多様な予測モード、変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。
したがって、映像の解像度が非常に高いか、またはデータ量の非常に大きい映像を既存マクロブロック単位に符号化すれば、ピクチャーだマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなってデータ圧縮効率が減少する傾向がある。よって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増加させつつ映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が増大する。
図6のビデオ符号化装置100は、図1Aを参照して前述したインター予測装置10または図4を参照して前述したビデオ符号化装置40の動作を行える。
符号化単位決定部120及び出力部130は、インター予測装置10またはインター予測部44の動作を行える。最大符号化単位ごとに、ツリー構造による符号化単位別にインター予測のための予測単位を定め、予測単位ごとにインター予測を行える。
特に、インタモードである現在予測単位のインター予測のためにロング・ターム参照映像が用いられる場合に、ボックポピックチォバッファに保存されるロング・ターム参照映像を識別するためのロング・ターム参照インデックスとして、ロング・ターム参照映像のPOC情報を用いる。出力部130は、参照インデックスとして、ロング・ターム参照映像のPOC情報のLSB情報を出力できる。また、現在スライスで参照されるロング・ターム参照映像を示す参照インデックスをスライスヘッダに保存する。よって、出力部13は、スライスヘッダを通じて参照インデックスとして、ロング・ターム参照映像のPOC情報のLSB情報を伝送する。
また、符号化単位決定部120は、他の映像のインター予測のための参照映像を生成するために、復号ピクチャーバッファに保存された以前復元映像を参照して現在映像のための動き補償を行える。よって、符号化単位決定部120は、図5を参照して前述したビデオ復号化装置50の動作を行える。
すなわち、符号化単位決定部120も、動き補償のためのロング・ターム参照映像を選択するために、一実施形態によるロング・ターム参照インデックスからPOC情報のLSB情報を読み取り、読み取られたLSB情報を用いてロング・ターム参照映像のPOC情報を復元する。符号化単位決定部120は、復号ピクチャーバッファに保存された復元映像のうち、復元されたPOC情報に対応するロング・ターム参照映像を選択し、選択されたロング・ターム参照映像に基づいて動きベクトルと残差データを用いた動き補償を行える。
符号化単位決定部120は、予測単位別に行われる動き補償を行うので、選択されたロング・ターム参照映像のうち現在予測単位の動きベクトルが示す参照予測単位を定め、現在予測単位の残差データと定められた参照予測単位とを合成して現在予測単位を復元する。予測単位が復元されることで符号化単位が復元され、符号化単位が復元されることで最大符号化単位が復元され、最大符号化単位が復元されることで映像が復元される。
図7は、本発明の一実施形態によって、ツリー構造による符号化単位に基づいたビデオ復号化装置200のブロック図である。
一実施形態によってツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、受信部210、映像データ及び符号化情報抽出部220及び映像データ復号化部230を備える。以下、説明の便宜のために、一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、‘ビデオ復号化装置200’と略称する。
一実施形態によるビデオ復号化装置200の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図6及びビデオ符号化装置100を参照して前述したものと同一である。
受信部210は、符号化されたビデオに対するビットストリームを受信してパージングする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出して映像データ復号化部230に出力する。映像データ及び符号化情報抽出部220は、現在ピクチャーに対するヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットから、現在ピクチャーの符号化単位の最大サイズに関する情報を抽出する。
また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位に対する符号化深度及び符号化モードに関する情報を抽出する。抽出された符号化深度及び符号化モードに関する情報は、映像データ復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部230が最大符号化単位ごとに映像データを復号化させ得る。
最大符号化単位別符号化深度及び符号化モードに関する情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに関する情報は、該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されてもよい。
映像データ及び符号化情報抽出部220が抽出した最大符号化単位別符号化深度及び符号化モードに関する情報は、一実施形態によるビデオ符号化装置100のように符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行って最小符号化誤差を発生させると定められた符号化深度及び符号化モードに関する情報である。よって、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元する。
一実施形態による符号化深度及び符号化モードに関する符号化情報は、該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部220は、所定データ単位別に符号化深度及び符号化モードに関する情報を抽出できる。所定データ単位別に、該最大符号化単位の符号化深度及び符号化モードに関する情報が記録されていれば、同じ符号化深度及び符号化モードに関する情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。
映像データ復号化部230は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含む。
映像データ復号化部230は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行える。
また、映像データ復号化部230は、最大符号化単位別逆変換のために、符号化単位別にツリー構造による変換単位情報を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行える。逆変換を通じて、符号化単位の空間領域の画素値が復元される。
映像データ復号化部230は、深度別分割情報を用いて現在最大符号化単位の符号化深度を定める。もし、分割情報が現在深度でこれ以上分割されないことを示していれば、現在深度が符号化深度である。よって、映像データ復号化部230は、現在最大符号化単位の映像データに対して現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を用いて復号化する。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同じ分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部230によって同じ符号化モードに復号化する一つのデータ単位と見なされる。このように定められた符号化単位ごとに符号化モードに関する情報を獲得して現在符号化単位の復号化が行われる。
また、図7のビデオ復号化装置200のうち映像データ復号化部230は、図2Aを参照して前述した動き補償装置20、または図5を参照して前述した動き補償部58の動作を行える。
映像データ及び符号化情報抽出部220は、受信されたビットストリームからロング・ターム参照インデックスをパージングする。スライスヘッダからロング・ターム参照インデックスがパージングされる。
映像データ復号化部230は、最大符号化単位ごとにツリー構造による符号化単位別に、インター予測のための予測単位を定めて予測単位ごとにインター予測を行える。
特に、映像データ復号化部230は、ロング・ターム参照インデックスからロング・ターム参照映像のPOC情報のLSB情報を読み取れる。映像データ復号化部230は、既定のロング・ターム参照映像のPOC情報のMSB情報と読み取られたLSB情報とを結合してロング・ターム参照映像のPOC情報を復元する。
映像データ復号化部230は、予測単位別に行われる動き補償を行うので、ロング・ターム参照映像のうち現在予測単位の動きベクトルが示す参照予測単位を定め、参照予測単位に現在予測単位の残差データを合成して現在予測単位を復元する。予測単位が復元されることで符号化単位が復元され、符号化単位が復元されることで最大符号化単位が復元され、最大符号化単位が復元されることで映像が復元される。
結局、ビデオ復号化装置200は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って最小符号化誤差を発生させた符号化単位に関する情報を獲得し、現在ピクチャーに対する復号化に用いる。すなわち、最大符号化単位ごとに、最適符号化単位に定められたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
したがって、高い解像度の映像またはデータ量が過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を用いて、映像の特性に適応的に定められた符号化単位のサイズ及び符号化モードによって効率的に映像データを復号化して復元する。
図8は、本発明の一実施形態による符号化単位の概念を示す。
符号化単位の例は、符号化単位のサイズは、幅×高さで表現され、サイズ64×64の符号化単位から、32×32、16×16、8×8を含む。サイズ64×64の符号化単位はサイズ64×64、64×32、32×64、32×32のパーティションに分割され、サイズ32×32の符号化単位は、サイズ32×32、32×16、16×32、16×16のパーティションに、サイズ16×16の符号化単位は、サイズ16×16、16×8、8×16、8×8のパーティションに、サイズ8×8の符号化単位は、サイズ8×8、8×4、4×8、4×4のパーティションに分割される。
ビデオデータ310については、解像度は1920×1080、符号化単位の最大サイズは64、最大深度が2に設定されている。ビデオデータ320については、解像度は1920×1080、符号化単位の最大サイズは64、最大深度が3に設定されている。ビデオデータ330については、解像度は352×288、符号化単位の最大サイズは16、最大深度が1に設定されている。図8に示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
解像度が高いか、またはデータ量が多い場合に、符号化効率の向上だけではなく映像特性を正確に反映するために符号化サイズの最大サイズが相対的に大きいことが望ましい。よって、ビデオデータ330に比べて、解像度の高いビデオデータ310、320は、符号化サイズの最大サイズが64に選択される。
ビデオデータ310の最大深度は2であるので、ビデオデータ310の符号化単位315は、長軸サイズ64の最大符号化単位から、2回分割して深度が2階層深くなって長軸サイズが32、16の符号化単位まで含む。一方、ビデオデータ330の最大深度は1であるので、ビデオデータ330の符号化単位335は、長軸サイズ16の符号化単位から、1回分割して深度が1階層深くなって長軸サイズが8の符号化単位まで含む。
ビデオデータ320の最大深度は3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64の最大符号化単位から、3回分割して深度が3の階層深くなって長軸サイズが32、16、8の符号化単位まで含む。深度が深くなるほど詳細情報の表現能が向上する。
図9は、本発明の一実施形態による符号化単位に基づいた映像符号化部400のブロック図である。
一実施形態による映像符号化部400は、ビデオ符号化装置100の符号化単位決定部120で映像データの符号化にかかる作業を含む。すなわち、イントラ予測部410は、現在フレーム405のうちイントラモードの符号化単位に対してイントラ予測を行い、動き推定部420及び動き補償部425は、インタモードの現在フレーム405及び参照フレーム495を用いてインタ推定及び動き補償を行う。
イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、変換部430及び量子化部440を経て量子化された変換係数に出力される。量子化された変換係数は、逆量子化部460、逆変換部470を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びループ・フィルタリング部490を経て後処理され、参照フレーム495に出力される。量子化された変換係数は、エントロピー符号化部450を経てビットストリーム455に出力される。
一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素であるイントラ予測部410、動き推定部420、動き補償部425、変換部430、量子化部440、エントロピー符号化部450、逆量子化部460、逆変換部470、デブロッキング部480及びループ・フィルタリング部490がいずれも、最大符号化単位ごとに最大深度を考慮してツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わねばならない。
特に、イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを定め、変換部430は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを定めねばならない。
特に、動き推定部420でロング・ターム参照フレームを用いたインター予測を行った場合に、ロング・ターム参照インデックスとしてロング・ターム参照フレームのPOC情報が出力される。エントロピー符号化部450は、ロング・ターム参照インデックスとしてロング・ターム参照フレームのPOC情報のLSB情報を符号化して出力される。スライスヘッダに、現在スライスの予測単位のためのロング・ターム参照フレームのPOC情報のLSB情報が収録されて伝送される。
動き補償部425も、ロング・ターム参照インデックスから読み取られたPOC情報のLSB情報を用いてロング・ターム参照フレームのPOC情報を定める。動き補償部425は、復号ピクチャーバッファに保存された参照フレームのうち復元されたPOC情報に対応するロング・ターム参照フレームを選択し、選択されたロング・ターム参照フレームに基づいて現在フレームの残差データ及び動きベクトルを用いる動き補償を行える。
図10は、本発明の一実施形態による符号化単位に基づいた映像復号化部500のブロック図である。
ビットストリーム505がパージング部510を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。符号化された映像データは、エントロピー復号化部520及び逆量子化部530を経て逆量子化されたデータに出力され、逆変換部540を経て空間領域の映像データが復元される。
空間領域の映像データに対して、イントラ予測部550は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部560は、参照フレーム585を共に用いてインタモードの符号化単位に対して動き補償を行う。
イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループ・フィルタリング部580を経て後処理されて復元フレーム595に出力される。また、デブロッキング部570及びループ・フィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。
ビデオ復号化装置200の映像データ復号化部230で映像データを復号化するために、一実施形態による映像復号化部500のパージング部510以後の段階別作業が行われる。
一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部500の構成要素であるパージング部510、エントロピー復号化部520、逆量子化部530、逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループ・フィルタリング部580がいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。
特に、イントラ予測部550、動き補償部560は、ツリー構造による符号化単位それぞれごとにパーティション及び予測モードを定め、逆変換部540は、符号化単位ごとに変換単位のサイズを定めねばならない。
特に、パージング部510は、ビットストリーム505からロング・ターム参照インデックスをパージングできる。スライスヘッダから、現在スライスの予測単位のためのロング・ターム参照映像のPOC情報のLSB情報がパージングされる。動き補償部560は、現在ロング・ターム参照映像のPOC情報のLSB情報とMSB情報とを併合して現在ロング・ターム参照映像のPOC情報を復元し、復号ピクチャーバッファに保存されたロング・ターム参照映像のうち復元されたPOC情報に対応する現在ロング・ターム参照映像を定める。動き補償部560は、現在ロング・ターム参照映像のうち現在予測単位のための動きベクトルが示す参照予測単位を定め、参照予測単位と現在予測単位との残差データを結合して現在予測単位を復元する。
図11は、本発明の一実施形態による深度別符号化単位及びパーティションを示す。
一実施形態によるビデオ符号化装置100及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められ、ユーザの要求に応じて多様に設定される。予め設定された符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。
一実施形態による符号化単位の階層構造600は、符号化単位の最大高さ及び幅が64であり、最大深度が4である場合を示している。この時、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが示されている。
すなわち、符号化単位610は、符号化単位の階層構造600のうち最大符号化単位であり、深度が0であり、符号化単位のサイズ、すなわち、高さ及び幅が64×64である。縦軸に沿って深度が深くなりて、サイズ32×32である深度1の符号化単位620、サイズ16×16の深度2の符号化単位630、サイズ8×8の深度3の符号化単位640が存在する。サイズ4×4の深度3の符号化単位640は、最小符号化単位である。
それぞれの深度別に横軸に沿って符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64×64の符号化単位610が予測単位ならば、予測単位は、サイズ64×64の符号化単位610に含まれるサイズ64×64のパーティション610、サイズ64×32のパーティション612、サイズ32×64のパーティション614、サイズ32×32のパーティション616に分割される。
同様に、深度1のサイズ32×32の符号化単位620の予測単位は、サイズ32×32の符号化単位620に含まれるサイズ32×32のパーティション620、サイズ32×16のパーティション622、サイズ16×32のパーティション624、サイズ16×16のパーティション626に分割される。
同様に、深度2のサイズ16×16の符号化単位630の予測単位は、サイズ16×16の符号化単位630に含まれるサイズ16×16のパーティション630、サイズ16×8のパーティション632、サイズ8×16のパーティション634、サイズ8×8のパーティション636に分割される。
同様に、深度3のサイズ8×8の符号化単位640の予測単位は、サイズ8×8の符号化単位640に含まれるサイズ8×8のパーティション640、サイズ8×4のパーティション642、サイズ4×8のパーティション644、サイズ4×4のパーティション646に分割される。
一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の符号化深度を定めるために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。
同じ範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度1の符号化単位一つが含むデータに対して、深度2の符号化単位は4つが必要である。よって、同じデータの符号化結果を深度別に比較するために、一つの深度1の符号化単位及び4つの深度2の符号化単位を用いてそれぞれ符号化されねばならない。
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って深度別符号化単位の予測単位ごとに符号化を行い、該深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比べて最小符号化誤差が検索される。最大符号化単位610のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位610の符号化深度及びパーティションタイプとして選択される。
図12は、本発明の一実施形態による、符号化単位及び変換単位の関係を示す。
一実施形態によるビデオ符号化装置100または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程中に変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。
例えば、一実施形態によるビデオ符号化装置100または一実施形態によるビデオ復号化装置200において、現在符号化単位710が64×64サイズである時、32×32サイズの変換単位720を用いて変換が行われる。
また、64×64サイズの符号化単位710のデータを64×64サイズ以下の32×32、16×16、8×8、4×4サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。
図13は、本発明の一実施形態によって深度別符号化情報を示す。
一実施形態によるビデオ符号化装置100の出力部130は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとにパーティションタイプに関する情報800、予測モードに関する情報810、変換単位サイズに関する情報820を符号化して伝送する。
パーティションタイプに関する情報800は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に関する情報を示す。例えば、サイズ2N×2Nの現在符号化単位CU_0は、サイズ2N×2Nのパーティション802、サイズ2N×Nのパーティション804、サイズN×2Nのパーティション806、サイズN×Nのパーティション808のうちいずれか一つのタイプに分割されて用いられる。この場合、現在符号化単位のパーティションタイプに関する情報800は、サイズ2N×2Nのパーティション802、サイズ2N×Nのパーティション804、サイズN×2Nのパーティション806及びサイズN×Nのパーティション808のうち一つを示すように設定される。
予測モードに関する情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードに関する情報810を通じて、パーティションタイプに関する情報800の示すパーティションが、イントラモード812、インタモード814及びスキップモード816のうち一つで予測符号化の実行如何が設定される。
また、変換単位サイズに関する情報820は、現在符号化単位をいかなる変換単位に基づいて変換するかを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インタ変換単位サイズ826、第2イントラ変換単位サイズ828のうち一つである。
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報800、予測モードに関する情報810、変換単位サイズに関する情報820を抽出して復号化に用いる。
図14は、本発明の一実施形態による深度別符号化単位を示す。
深度の変化を示すために分割情報が用いられる。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるかどうかを示す。
深度0及び2N_0×2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0×2N_0サイズのパーティションタイプ912、2N_0×N_0サイズのパーティションタイプ914、N_0×2N_0サイズのパーティションタイプ916、N_0×N_0サイズのパーティションタイプ918を含む。予測単位が対称的な割合で分割されたパーティション912、914、916、918のみ例示されているが、前述したように、パーティションタイプはこれに限定されず、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。
パーティションタイプごとに、一つの2N_0×2N_0サイズのパーティション、2つの2N_0×N_0サイズのパーティション、2つのN_0×2N_0サイズのパーティション、4つのN_0×N_0サイズのパーティションごとに反復して予測符号化が行われねばならない。サイズ2N_0×2N_0、サイズN_0×2N_0及びサイズ2N_0×N_0及びサイズN_0×N_0のパーティションについては、イントラモード及びインタモードで予測符号化が行われる。スキップモードは、サイズ2N_0×2N_0のパーティションのみについて予測符号化が行われる。
サイズ2N_0×2N_0、2N_0×N_0及びN_0×2N_0のパーティションタイプ912、914、916のうち一つによる符号化誤差が最も小さければ、これ以上下位深度に分割する必要がない。
サイズN_0×N_0のパーティションタイプ918による符号化誤差が最も小さければ、深度0を1に変更しつつ分割し(920)、深度2及びサイズN_0×N_0のパーティションタイプの符号化単位930に対して反復して符号化を行って最小符号化誤差を検索する。
深度1及びサイズ2N_1×2N_1(=N_0×N_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1×2N_1のパーティションタイプ942、サイズ2N_1×N_1のパーティションタイプ944、サイズN_1×2N_1のパーティションタイプ946、サイズN_1×N_1のパーティションタイプ948を含む。
また、サイズN_1×N_1のパーティションタイプ948による符号化誤差が最も小さければ、深度1を深度2に変更しつつ分割し(950)、深度2及びサイズN_2×N_2の符号化単位960に対して反復して符号化を行って最小符号化誤差を検索する。
最大深度がdである場合、深度別符号化単位は、深度d−1である時まで設定され、分割情報は、深度d−2まで設定される。すなわち、深度d−2から分割(970)されて深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)×2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)×2N_(d−1)のパーティションタイプ992、サイズ2N_(d−1)×N_(d−1)のパーティションタイプ994、サイズN_(d−1)×2N_(d−1)のパーティションタイプ996、サイズN_(d−1)×N_(d−1)のパーティションタイプ998を含む。
パーティションタイプのうち、一つのサイズ2N_(d−1)×2N_(d−1)のパーティション、2つのサイズ2N_(d−1)×N_(d−1)のパーティション、2つのサイズN_(d−1)×2N_(d−1)のパーティション、4つのサイズN_(d−1)×N_(d−1)のパーティションごとに反復して予測符号化を通じる符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
サイズN_(d−1)×N_(d−1)のパーティションタイプ998による符号化誤差が最も小さいとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)はこれ以上下位深度への分割過程を経ず、現在最大符号化単位900に対する符号化深度が深度d−1と定められ、パーティションタイプは、N_(d−1)×N_(d−1)と定められる。また最大深度がdであるので、深度d−1の符号化単位952に対して分割情報は設定されない。
データ単位999は、現在最大符号化単位に対する‘最小単位’と称する。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割されたサイズの正方形のデータ単位である。このような反復的な符号化過程を通じて、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較して最も小さな符号化誤差が発生する深度を選択して符号化深度を定め、該パーティションタイプ及び予測モードが符号化深度の符号化モードと設定される。
このように深度0、1、…、d−1、dのすべての深度別最小符号化誤差を比較し、誤差の最も小さな深度が選択されて符号化深度と定められる。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報として符号化されて伝送される。また、深度0から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみが‘0’と設定され、符号化深度を除いた深度別分割情報は‘1’と設定されねばならない。
一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900に対する符号化深度及び予測単位に関する情報を抽出し、符号化単位912の復号化に用いる。一実施形態によるビデオ復号化装置200は、深度別分割情報を用いて分割情報が‘0’である深度を符号化深度と把握し、該深度に対する符号化モードに関する情報を用いて復号化に用いる。
図15ないし図17は、本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す。
符号化単位1010は、最大符号化単位に対して一実施形態によるビデオ符号化装置100が定めた符号化深度別符号化単位である。予測単位1060は、符号化単位1010のうちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。
深度別符号化単位1010は、最大符号化単位の深度が0であれば、符号化単位1012、1054は深度が1、符号化単位1014、1016、1018、1028、1050、1052は深度が2、符号化単位1020、1022、1024、1026、1030、1032、1048は深度が3、符号化単位1040、1042、1044、1046は深度が4である。
予測単位1060のうち一部のパーティション1014、1016、1022、1032、1048、1050、1052、1054は、符号化単位が分割された形態である。すなわち、パーティション1014、1022、1050、1054は、2N×Nのパーティションタイプであり、パーティション1016、1048、1052は、N×2Nのパーティションタイプ、パーティション1032は、N×Nのパーティションタイプである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同一である。
変換単位1070のうち一部1052の映像データに対しては、符号化単位に比べて小さなサイズのデータ単位に変換または逆変換が行われる。また、変換単位1014、1016、1022、1032、1048、1050、1052、1054は、予測単位1060のうち該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100及び一実施形態によるビデオ復号化装置200は、同じ符号化単位に対するイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であっても、それぞれ別個のデータ単位に基づいて行える。
これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適符号化単位が定められることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に関する分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下の表1は、一実施形態によるビデオ符号化装置100及び一実施形態によるビデオ復号化装置200で設定できる一例を示す。
一実施形態によるビデオ符号化装置100の出力部130は、ツリー構造による符号化単位に関する符号化情報を出力し、一実施形態によるビデオ復号化装置200の符号化情報抽出部220は、受信されたビットストリームから、ツリー構造による符号化単位に関する符号化情報を抽出する。
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるかどうかを示す。現在深度dの分割情報が0ならば、現在符号化単位が下位符号化単位にこれ以上分割されない深度が符号化深度であるので、符号化深度に対してパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって一段階さらに分割されねばならない場合には、分割された4個の下位深度の符号化単位ごとに独立して符号化が行われねばならない。
予測モードは、イントラモード、インタモード及びスキップモードのうち一つで示す。イントラモード及びインタモードは、すべてのパーティションタイプで定義され、スキップモードは、パーティションタイプ2N×2Nのみで定義される。
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションタイプ2N×2N、2N×N、N×2N及びN×Nと、非対称的な割合で分割された非対称的パーティションタイプ2N×NU、2N×ND、nL×2N、nR×2Nとを示す。非対称的パーティションタイプ2N×NU及び2N×NDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnL×2N及びnR×2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。
変換単位サイズは、イントラモードで2種のサイズ、インタモードで2種のサイズに設定される。すなわち、変換単位分割情報が0ならば、変換単位のサイズが現在符号化単位のサイズ2N×2Nに設定される。変換単位分割情報が1ならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ2N×2Nである現在符号化単位に対するパーティションタイプが対称形パーティションタイプであれば、変換単位のサイズは、N×N、非対称形パーティションタイプであれば、N/2×N/2に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含む。
したがって、隣接しているデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるかどうかが確認される。また、データ単位が保有している符号化情報を用いれば、該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。
したがって、現在符号化単位が周辺データ単位を参照して予測符号化が行われる場合、現在符号化単位に隣接している深度別符号化単位内のデータ単位の符号化情報が直接参照されて用いられる。
また他の実施形態として、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接している深度別符号化単位の符号化情報を用いて、深度別符号化単位内で現在符号化単位に隣接しているデータが検索されることで周辺符号化単位が参照されることもある。
図18は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。
最大符号化単位1300は符号化深度の符号化単位1302、1304、1306、1312、1314、1316、1318を含む。このうち一つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2N×2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2N×2N 1322、2N×N 1324、N×2N 1326、N×N 1328、2N×NU 1332、2N×ND 1334、nL×2N 1336及びnR×2N 1338のうち一つに設定される。
変換単位分割情報(TU size flag)は、変換インデックスの一種であり、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変わる。
例えば、パーティションタイプ情報が対称形パーティションタイプ2N×2N 1322、2N×N 1324、N×2N 1326及びN×N 1328のうち一つに設定されている場合、変換単位分割情報が0ならば、サイズ2N×2Nの変換単位1342が設定され、変換単位分割情報が1ならば、サイズN×Nの変換単位1344が設定される。
パーティションタイプ情報が非対称形パーティションタイプ2N×NU 1332、2N×ND 1334、nL×2N 1336及びnR×2N 1338のうち一つに設定された場合、変換単位分割情報(TU size flag)が0ならば、サイズ2N×2Nの変換単位1352が設定され、変換単位分割情報が1ならば、サイズN/2×N/2の変換単位1354が設定される。
図21を参照して前述された変換単位分割情報(TU size flag)は、0または1の値を持つフラッグであるが、一実施形態による変換単位分割情報が1ビットのフラッグに限定されるものではなく、設定によって0、1、2、3…などに増加しつつ変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として用いられる。
この場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に用いれば、実際に用いられた変換単位のサイズが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化できる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPSに挿入される。一実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報をビデオ復号化に用いる。
例えば、(a)現在符号化単位がサイズ64×64であり、最大変換単位サイズは32×32ならば、(a−1)変換単位分割情報が0である時に変換単位のサイズが32×32、(a−2)変換単位分割情報が1である時に変換単位のサイズが16×16、(a−3)変換単位分割情報が2である時に変換単位のサイズが8×8に設定される。
他の例として、(b)現在符号化単位がサイズ32×32であり、最小変換単位サイズは32×32ならば、(b−1)変換単位分割情報が0である時に変換単位のサイズが32×32に設定され、変換単位のサイズが32×32より小さくないため、これ以上の変換単位分割情報が設定されない。
さらに他の例として、(c)現在符号化単位がサイズ64×64であり、最大変換単位分割情報が1ならば、変換単位分割情報は0または1であり、他の変換単位分割情報が設定されない。
したがって、最大変換単位分割情報を‘MaxTransformSizeIndex’、最小変換単位サイズを‘MinTransformSize’、変換単位分割情報が0である場合の変換単位サイズを‘RootTuSize’と定義する時、現在符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’は、下記の関係式(1)のように定義される。
CurrMinTuSize
=max(MinTransformSize,RootTuSize/
(2^MaxTransformSizeIndex)) (1)
現在符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’と比べて、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’は、システム上採択可能な最大変換単位サイズを示す。すなわち、関係式(1)によれば、‘RootTuSize/(2^MaxTransformSizeIndex)’は、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘MinTransformSize’は、最小変換単位サイズであるので、これらのうち小さな値が、現在現在符号化単位で可能な最小変換単位サイズ‘CurrMinTuSize’である。
一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって変わる。
例えば、現在予測モードがインタモードならば、RootTuSizeは、下記の関係式(2)によって定められる。関係式(2)で‘MaxTransformSize’は、最大変換単位サイズ、‘PUSize’は、現在予測単位サイズを示す。
RootTuSize
=min(MaxTransformSize,PUSize (2)
すなわち、現在予測モードがインタモードならば、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’は、最大変換単位サイズ及び現在予測単位サイズのうち小さな値に設定される。
現在パーティション単位の予測モードがイントラモードならば、‘RootTuSize’は、下記の関係式(3)によって定められる。‘PartitionSize’は、現在パーティション単位のサイズを示す。
RootTuSize
=min(MaxTransformSize,PartitionSize) (3)
すなわち、現在予測モードがイントラモードならば、変換単位分割情報が0である場合の変換単位サイズである‘RootTuSize’は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さな値に設定される。
但し、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズ‘RootTuSize’は、単に一実施形態であり、現在最大変換単位サイズを定める要因がこれに限定されるものではないということに留意せねばならない。
図6ないし図19を参照して前述されたツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われつつ空間領域の映像データが復元され、ピクチャー及びピクチャーシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、または、ネットワークを通じて伝送される。
一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成でき、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM(Read Only Memory)、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的判読媒体(例えば、CD−ROM、DVDなど)のような記録媒体を含む。
これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は本発明に含まれていると解釈されねばならない。
図1Aないし図23を参照して前述された多視点ビデオ予測方法、多視点ビデオ予測復元方法、多視点ビデオ符号化方法及び多視点ビデオ復号化方法のそれぞれの実施形態をそれぞれ具現するためのプログラムがコンピュータで読み取り可能な記録媒体に保存されることで、独立したコンピュータシステムが前記記録媒体に保存された実施形態による動作を容易に具現できる。
説明の便宜のために、前記図1Aないし図18を参照して前述されたインター予測方法またはビデオ復号化方法は、‘本発明のビデオ符号化方法’と通称する。また、進んでも1ないし18を参照して前述された動き補償方法またはビデオ復号化方法は、‘本発明のビデオ復号化方法’と称する。
また、前記図1Aないし図18を参照して前述されたインター予測装置10、ビデオ符号化装置40、多視点ビデオ符号化装置100または映像符号化部400で構成されたビデオ符号化装置は、‘本発明のビデオ符号化装置’と通称する。また、前記図1Aないし図18を参照して前述された動き補償装置20、ビデオ復号化装置50、ビデオ復号化装置200または映像復号化部500で構成されたビデオ復号化装置は、‘本発明のビデオ復号化装置’と通称する。
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク26000である実施形態を、以下で詳細に説明する。
図19は、一実施形態によるプログラムが保存されたディスク26000の物理的構造を例示する。記録媒体として前述されたディスク26000は、ハードドライブ、CD−ROMディスク、ブルーレイディスク、DVDディスクである。ディスク26000は、複数の同心円のトラックtrで構成され、トラックは、周り方向に沿って所定数のセクターSeに分割される。前記前述された一実施形態によるプログラムを保存するディスク26000のうち特定領域に、前述された多視点ビデオ予測方法、多視点ビデオ予測復元方法、多視点ビデオ符号化方法及び多視点ビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
前述されたビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を用いて達成されたコンピュータシステムが、図20を参照して後述される。
図20は、ディスク26000を用いてプログラムを記録して読み取るためのディスクドライブ26300を示す。コンピュータ・システム26500は、ディスクドライブ26300を用いて、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムをディスク26000に保存できる。ディスク26000に保存されたプログラムをコンピュータシステム26500上で実行するために、ディスクドライブ26300によってディスク26000からプログラムが読み取られ、プログラムがコンピュータシステム26500に伝送される。
図19及び図20で例示されたディスク26000だけではなく、メモリカード、ROMカセット、SSD(Solid State Drive)にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述された実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムが後述される。
図21は、コンテンツ流通サービスを提供するためのコンテンツ供給システム11000の全体的構造を示す。通信システムのサービス領域は所定サイズのセルに分割され、各セルにベーススチーションとなる無線基地局11700、11800、11900、12000が設置される。
コンテンツ供給システム11000は、複数の独立デバイスを備える。例えば、コンピュータ12100、PDA(Personal Digital Assistant)12200、カメラ12300及び携帯電話12500のような独立デバイスが、インターネットサービス供給者11200、通信網11400、及び無線基地局11700、11800、11900、12000を経てインターネット11100に連結される。
しかし、コンテンツ供給システム11000は、図25に示された構造のみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局11700、11800、11900、12000を経ずに通信網11400に直接連結されてもよい。
ビデオカメラ12300は、デジタルビデオカメラのようにビデオ映像を撮影できる撮像デバイスである。携帯電話12500は、PDC(Personal Digital Communications)、CDMA(Code Division Multiple Access)、W−CDMA(Wideband Code Division Multiple Access)、GSM(登録商標)(Global System for Mobile Communications)、及びPHS(Personal Handyphone System)方式のような多様なプロトコルのうち少なくとも一つの通信方式を採択できる。
ビデオカメラ12300は、無線基地局11900及び通信網11400を経てストリーミングサーバ11300に連結される。ストリーミングサーバ11300は、ユーザがビデオカメラ12300を使って伝送したコンテンツを、リアルタイム放送でストリーミング伝送する。ビデオカメラ12300から受信されたコンテンツは、ビデオカメラ12300またはストリーミングサーバ11300によって符号化される。ビデオカメラ12300で撮影されたビデオデータは、コンピュータ12100を経てストリーミングサーバ11300に伝送される。
カメラ12600で撮影されたビデオデータも、コンピュータ12100を経てストリーミングサーバ11300に伝送される。カメラ12600は、デジタルカメラのように静止画とビデオ映像とをいずれも撮影できる撮像装置である。カメラ12600から受信されたビデオデータは、カメラ12600またはコンピュータ12100によって符号化される。ビデオ符号化及び復号化のためのソフトウェアは、コンピュータ12100がアクセスできるCD−ROMディスク、フロッピー(登録商標)ディスク、ハードディスクドライブ、SSD、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。
また携帯電話12500に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話12500から受信される。
ビデオデータは、ビデオカメラ12300、携帯電話12500またはカメラ12600に搭載されたLSI(Large Scale Integrated circuit)システムによって符号化される。
一実施形態によるコンテンツ供給システム11000において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ12300、カメラ12600、携帯電話12500または他の撮像デバイスを用いて録画されたコンテンツが符号化され、ストリーミングサーバ11300に伝送される。ストリーミングサーバ11300は、コンテンツデータを要請した他のクライアントにコンテンツデータをストリーミング伝送する。
クライアントは、符号化されたコンテンツデータを復号化できるデバイスであり、例えば、コンピュータ12100、PDA 12200、ビデオカメラ12300または携帯電話12500である。よって、コンテンツ供給システム11000は、クライアントが符号化されたコンテンツデータを受信して再生可能にする。またコンテンツ供給システム11000は、クライアントが符号化されたコンテンツデータを受信してリアルタイムに復号化して再生可能にし、個人放送を可能にする。
コンテンツ供給システム11000に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
図22及び図23を参照して、コンテンツ供給システム11000のうち携帯電話12500の一実施形態が詳細に後述される。
図22は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話12500の外部構造を示す。携帯電話12500は、機能が制限されておらず、応用プログラムを通じて相当部分の機能を変更または拡張できるスマートホンである。
携帯電話12500は、無線基地局12000とRF信号を交換するための内臓アンテナ12510を備え、カメラ12530によって撮影された映像、またはアンテナ12510によって受信されて復号化された映像をディスプレイするためのLCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diodes)画面のようなディスプレイ画面12520を含む。スマートホン12510は、制御ボタン、タッチパネルを含む動作パネル12540を備える。ディスプレイ画面12520がタッチスクリーンである場合、動作パネル12540は、ディスプレイ画面12520のタッチ感知パネルをさらに備える。スマートホン12510は、音声、音響を出力するためのスピーカ12580または他の形態の音響出力部と、音声、音響が入力されるマイクロホン12550または他の形態の音響入力部とを備える。スマートホン12510は、ビデオ及び静止画を撮影するためのCCDカメラのようなカメラ12530をさらに備える。また、スマートホン12510は、カメラ12530によって撮影されるか、電子メールで受信されるか、または他の形態で獲得されたビデオや静止画のような、符号化または復号化されたデータを保存するための記録媒体12570と、そして記録媒体12570を携帯電話12500に装着するためのスロット12560とを備える。記録媒体12570は、SDカードまたはプラスチックケースに内蔵されたEEPROM(Electrically Erasable and Programmable Read Only Memory)のような他の形態のフラッシュメモリである。
図23は、携帯電話12500の内部構造を示す。ディスプレイ画面12520及び動作パネル12540で構成された携帯電話12500の各パートを組織的に制御するために、電力供給回路12700、動作入力制御部12640、映像符号化部12720、カメラインターフェース12630、LCD制御部12620、映像復号化部12690、マルチフレクサ/デマルチプレクサ(MUX/DEMUX)12680、記録/判読部12670、変調/復調部12660及び音響処理部12650が、同期化バス12730を通じて中央制御部12710に連結される。
ユーザが電源ボタンを動作させて‘電源オフ’状態で‘電源オン’状態に設定すれば、電力供給回路12700は、バッテリーパックから携帯電話12500の各パートに電力を供給することで、携帯電話12500が動作モードにセットされる。
中央制御部12710は、CPU、ROM及びRAM(Random Access Memory)を含む。
携帯電話12500が外部に通信データを送信する過程では、中央制御部12710の制御によって携帯電話12500でデジタル信号が生成される、例えば、音響処理部12650ではデジタル音響信号が生成され、映像符号化部12720ではデジタル映像信号が生成され、動作パネル12540及び動作入力制御部12640を通じてメッセージのテキストデータが生成される。中央制御部12710の制御によってデジタル信号が変調/復調部12660に伝達されれば、変調/復調部12660は、デジタル信号の周波数帯域を変調し、通信回路12610は、帯域変調されたデジタル音響信号に対してD/A変換(Digital−Analog conversion)及び周波数変換処理を行う。通信回路12610から出力された送信信号は、アンテナ12510を通じて音声通信基地局または無線基地局12000に送出される。
例えば、携帯電話12500が通話モードである時、マイクロホン12550によって獲得された音響信号は、中央制御部12710の制御によって音響処理部12650でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調/復調部12660及び通信回路12610を経て送信信号に変換され、アンテナ12510を通じて送出される。
データ通信モードで電子メールのようなテキストメッセージが伝送される場合、動作パネル12540を用いてメッセージのテキストデータが入力され、テキストデータが動作入力制御部12640を通じて中央制御部12610に伝送される。中央制御部12610の制御によって、テキストデータは、変調/復調部12660及び通信回路12610を通じて送信信号に変換され、アンテナ12510を通じて無線基地局12000に送出される。
データ通信モードで映像データを送るために、カメラ12530によって撮影された映像データが、カメラインターフェース12630を通じて映像符号化部12720に提供される。カメラ12530によって撮影された映像データは、カメラインターフェース12630及びLCD制御部12620を通じてディスプレイ画面12520に直ちにディスプレイされる。
映像符号化部12720の構造は、前述された本発明のビデオ符号化装置の構造に相応する。映像符号化部12720は、カメラ12530から提供された映像データを、前述されたビデオ符号化装置100または映像符号化部400のビデオ符号化方式によって符号化して、圧縮符号化された映像データに変換し、符号化された映像データを多重化/逆多重化部12680に出力する。カメラ12530の録画途中で携帯電話12500のマイクロホン12550によって獲得された音響信号も、音響処理部12650を経てデジタル音響データに変換され、デジタル音響データは多重化/逆多重化部12680に伝達される。
多重化/逆多重化部12680は、音響処理部12650から提供された音響データと共に映像符号化部12720から提供された、符号化された映像データを多重化する。多重化されたデータは、変調/復調部12660及び通信回路12610を通じて送信信号に変換され、アンテナ12510を通じて送出される。
携帯電話12500が外部から通信データを受信する過程では、アンテナ12510を通じて受信された信号を、周波数復元及びA/D変換(Analog−Digital conversion)処理を通じてデジタル信号に変換する。変調/復調部12660は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によってビデオ復号化部12690、音響処理部12650またはLCD制御部12620に伝達される。
携帯電話12500は、通話モードである時、アンテナ12510を通じて受信された信号を増幅し、周波数変換及びA/D変換処理を通じてデジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部12710の制御によって変調/復調部12660及び音響処理部12650を経てアナログ音響信号に変換され、アナログ音響信号がスピーカ12580を通じて出力される。
データ通信モードでインターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ12510を通じて無線基地局12000から受信された信号は、変調/復調部12660の処理結果で多重化されたデータを出力し、多重化されたデータは多重化/逆多重化部12680に伝達される。
アンテナ12510を通じて受信した、多重化されたデータを復号化するために、多重化/逆多重化部12680は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス12730によって、符号化されたビデオデータストリームはビデオ復号化部12690に提供され、符号化されたオーディオデータストリームは音響処理部12650に提供される。
映像復号化部12690の構造は、前述された本発明のビデオ復号化装置の構造に相応する。映像復号化部12690は、前述されたビデオ復号化装置200または映像復号化部500のビデオ復号化方式を用いて、符号化されたビデオデータを復号化して復元されたビデオデータを生成し、復元されたビデオデータを、LCD制御部12620を経てディスプレイ画面12520に提供する。
これによって、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面12520でディスプレイされる。これと同時に、音響処理部12650もオーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ12580に提供する。これによって、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータもスピーカ12580で再生される。
携帯電話12500または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも備える送受信端末機であるか、前述された本発明のビデオ符号化装置のみを備える伝送端末機であるか、または、本発明のビデオ復号化装置のみを備える受信端末機である。
本発明の通信システムは、図21を参照して前述した構造に限定されるものではない。例えば、図24は、本発明による通信システムが適用されたデジタル放送システムを示す。図24の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を用いて、衛星または地上波ネットワークを通じて伝送されるデジタル放送を受信する。
具体的に説明すれば、放送局12890は、電波を通じてビデオデータストリームを通信衛星または放送衛星12900に伝送する。放送衛星12900は、放伝送号を伝送し、放伝送号は、家庭にあるアンテナ12860によって衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、TV受信機12810、セットトップボックス12870または他のデバイスによって復号化されて再生される。
再生装置12830で本発明のビデオ復号化装置が具現されることで、再生装置12830が、ディスク及びメモリカードのような記録媒体12820に記録された符号化されたビデオストリームを読み取って復号化する。これによって、復元されたビデオ信号は、例えば、モニタ12840で再生される。
衛星/地上波放送のためのアンテナ12860またはケーブルTV受信のためのケーブルアンテナ12850に連結されたセットトップボックス12870にも、本発明のビデオ復号化装置が搭載される。セットトップボックス12870の出力データもTVモニタ12880で再生される。
他の例として、セットトップボックス12870の代りにTV受信機12810自体に本発明のビデオ復号化装置が搭載されてもよい。
適宜なアンテナ12910を備える自動車12920が、衛星12800または無線基地局11700から送出される信号を受信する。自動車12920に搭載された自動車ナビゲーションシステム12930のディスプレイ画面に復号化されたビデオが再生される。
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に説明すれば、DVDレコーダによって映像信号がDVDディスク12960に保存されるか、または、ハードディスクレコーダ12950によってハードディスクに映像信号が保存される。他の例として、ビデオ信号はSDカード12970に保存されてもよい。ハードディスクレコーダ12950が一実施形態による本発明のビデオ復号化装置を備えれば、DVDディスク12960、SDカード12970または他の形態の記録媒体に記録されたビデオ信号がモニタ12880で再生される。
自動車ナビゲーションシステム12930は、図27のカメラ12530、カメラインターフェース12630及び映像符号化部12720を備えない。例えば、コンピュータ12100及びTV受信機12810も、図23のカメラ12530、カメラインターフェース12630及び映像符号化部12720を備えない。
図25は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を用いるクラウドコンピューティングシステムのネットワーク構造を示す。
本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ14000、ユーザDB 14100、コンピューティング資源14200及びユーザ端末機を備えて形成される。
クラウドコンピューティングシステムは、ユーザ端末機の要請に応じて、インターネットのような情報通信網を通じてコンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境で、サービス提供者は、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザに必要なサービスを提供する。サービスユーザは、アプリケーション、ストレージ、運用体制(OS)、保安(Security)などのコンピューティング資源を各ユーザ所有の端末に設置して使うものではなく、仮想化技術を通じて生成された仮想空間上のサービスを所望の時点に所望のほど選んで使う。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を通じてクラウドコンピューティングサーバ14000に接続する。ユーザ端末機は、クラウドコンピューティングサーバ14000からクラウドコンピューティングサービス、特に動画再生サービスを提供される。ユーザ端末機は、デスクトップPC 14300、スマートTV 14400、スマートホン14500、ノート型パソコン14600、PMP(Portable Multimedia Player)14700、タブレットPC 14800など、インターネット接続の可能なすべての電子器機である。
クラウドコンピューティングサーバ14000は、クラウド網に分散している複数のコンピューティング資源14200を統合してユーザ端末機に提供する。複数のコンピューティング資源14200は、様々なデータサービスを含み、ユーザ端末機からアップロードされたデータを含む。このいようにクラウドコンピューティングサーバ14000は、いろいろな所に分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザDB 14100には、クラウドコンピューティングサービスに加入されているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報とアドレス、名前など個人信用情報を含む。また、ユーザ情報は、動画のインデックスを含む。ここで、インデックスは、再生済みの動画リストと、再生中の動画リストと、再生中の動画の停止時点などを含む。
ユーザDB 14100に保存された動画に関する情報は、ユーザデバイスの同士で共有される。したがって、例えば、ノート型パソコン14600から再生要請されてノート型パソコン14600に所定動画サービスを提供した場合、ユーザDB 14100に所定動画サービスの再生ヒストリーが保存される。スマートホン14500から同じ動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ14000は、ユーザDB 14100を参照し、所定動画サービスを探して再生する。スマートホン14500がクラウドコンピューティングサーバ14000を通じて動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、前記図27を参照して前述した携帯電話12500の動作と類似している。
クラウドコンピューティングサーバ14000は、ユーザDB 14100に保存された所定動画サービスの再生ヒストリーを参照する。例えば、クラウドコンピューティングサーバ14000は、ユーザ端末機からユーザDB 14100に保存された動画に対する再生要請を受信する。動画が既に再生中であれば、クラウドコンピューティングサーバ14000は、ユーザ端末機の選択によって最初から再生するか、または以前停止時点から再生するかによってストリーミング方法が変わる。例えば、ユーザ端末機が最初から再生するように要請した場合には、クラウドコンピューティングサーバ14000がユーザ端末機に、該動画を最初のフレームからストリーミング伝送する。一方、ユーザ端末機が以前停止時点から続いて再生するように要請した場合には、クラウドコンピューティングサーバ14000がユーザ端末機に該動画を、停止時点のフレームからストリーミング伝送する。
この時にユーザ端末機は、図1Aないし図18を参照して前述した本発明のビデオ復号化装置を備える。他の例として、ユーザ端末機は、図1Aないし図18を参照して前述した本発明のビデオ符号化装置を備える。また、ユーザ端末機は、図1Aないし図18を参照して前述した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも備える。
図1Aないし図18を参照して前述された本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態が図19ないし図25で前述された。しかし、図1Aないし図18を参照して前述された本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されるか、または本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現される多様な実施形態は、図19ないし図25の実施形態に限定されるものではない。